專利名稱：信息處理設(shè)備和方法以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明所公開的示例性實施例涉及一種信息處理設(shè)備和方法以及程序。具體地，本發(fā)明所公開的示例性實施例涉及可以獲得采用手勢的魯棒的用戶界面的信息處理設(shè)備和方法以及程序。
背景技術(shù)：
近年來，在信息選擇用戶界面(UI)領(lǐng)域，關(guān)于采用使用身體的一部分(例如，手或手指)的非接觸手勢的UI代替通過信息輸入設(shè)備(諸如遠程控制器或鍵盤)的信息選擇的研究變得越來越活躍。所提出的采用手勢選擇信息的技術(shù)的示例包括檢測身體的一部分(諸如，手或指尖)的運動并將運動的量與屏幕上光標位置相關(guān)聯(lián)的指示操作以及指引手或姿勢的形狀與 信息的聯(lián)系的技術(shù)。這時，通過使用指示操作的信息選擇和使用關(guān)于例如手或姿勢的形狀的信息的確定操作的組合，來實現(xiàn)許多信息選擇操作。更具體地，在信息選擇操作中最經(jīng)常用到的指示操作中的一個是辨認手的位置的操作。這是直觀的并且十分容易理解的，因為信息是通過手的運動而選擇的。(參見，例如，Horo 等,"Realtime Pointing GestureRecognition Using Volume Intersection", TheJapan Society ofMechanical Engineers,Robotics and MechatronicsConference, 2006.)然而，憑借辨認手的位置的技術(shù)，依賴于作為估計目標的人體的手的位置，確定為左手還是右手的可能是困難的。例如，對于花費不多的使用靜態(tài)圖像的手檢測(該檢測通過將檢測到的皮膚顏色區(qū)域與檢測到的手的形狀進行匹配來辨認手)，可能不能彼此區(qū)別左手和右手的重疊。因此，提出了通過使用距離傳感器(諸如紅外傳感器)來辨認深度從而進行區(qū)別的技術(shù)。(參見，例如，Akahori 等·，"Interface of Home AppliancesTerminal onUseri s Gesture", ITX2001, 2001 (非專利文獻2).)另外，還提出了具有約束的辨認技術(shù)，例如當同時使用右手和左手時無效的技術(shù)、當右手和左手交叉時無效的技術(shù)以及僅當在預(yù)定區(qū)域中存在一只手時才能辨認運動的技術(shù)。(參見非專利文獻3)。引用列表非專利文獻(NPL)NPL I: Horoj Oka da，Inamuraj and Inabaj "Realtime PointingGestureRecognition Using Volume Intersection"，The Japan Society ofMechanicalEngineers，Robotics and Mechatronics Conference,2006NPL 2:Akahori andImai，"Interface of Home Appliances Terminalon User’s Gesture"，ITX2001，2001NPL 3:Nakamura, Takahashij and Tanaka,^Hands-Popie:AJapanese InputSystem Which Utilizes the Movement of Both Hands"，WISS，2006
發(fā)明內(nèi)容
技術(shù)問題然而，針對非專利文獻I中的技術(shù)，例如如果用戶通過指示操作從大的選項區(qū)域(諸如顯示在屏幕上的鍵盤)中選擇了輸入標志1，則因為必須大范圍地運動手或手指而同時保持手處于舉起狀態(tài)，因此用戶往往容易疲勞。即使當使用小的選項區(qū)域時，如果用于顯示選擇信息的設(shè)備的屏幕很大，則因為手或手指的運動量同樣很大，所以用戶也往往容易疲勞。在非專利文獻2和3的情況中，當雙手彼此互相重疊時難以區(qū)別右手和左手。即使當使用距離傳感器(諸如紅外傳感器)可辨認深度時，如果在距離傳感器基本相同距離處的雙手交叉，則存在很高的不能區(qū)別雙手的可能性。因此，提出了在非專利文獻3中所示的技術(shù)。即使憑借此技術(shù)，因為存在約束(例如不允許同時使用右手和左手、不允許交叉右手和左手以及僅當在預(yù)定區(qū)域中存在一只手時才能辨認運動)，所以限制了指示操作。
并且，據(jù)說人類空間感知特性導致在實際空間與遠處的感知到的空間之間的差另1J，并且這是在大屏幕上指示中所存在的問題(參見，例如，Shintani等，"Evaluation ofa Pointing Interface for a Large Screen withlmage Features”， Human InterfaceSymposium, 2009)。本發(fā)明所公開的示例性實施例提供一種即使使用采用簡單手勢的信息選擇操作也非常魯棒的用戶界面。問題的解決方案與示例性實施例一致的，一種設(shè)備包括接收單元，該接收單元被配置成接收與人體的第一部分相關(guān)的第一空間位置以及與人體的第二部分相關(guān)的第二空間位置。識別單元被配置成至少基于第一空間位置來識別一組目標，并且選擇單元被配置成基于第二空間位置來選擇已識別出的組中的目標。與另外的示例性實施例一致的，一種計算機實施的方法提供了界面的手勢控制。該方法包括接收與人體的第一部分相關(guān)的第一空間位置以及與人體的第二部分相關(guān)的第二空間位置。至少基于第一空間位置來識別一組目標。該方法包括至少基于第二空間位置，使用處理器選擇已識別的組中的目標。與另外的示例性實施例一致的，一種存儲程序的非暫態(tài)計算機可讀的存儲介質(zhì)，當通過處理器執(zhí)行所述程序時，程序使處理器執(zhí)行用于界面的手勢控制的方法。該方法包括接收與人體的第一部分相關(guān)的第一空間位置以及與人體的第二部分相關(guān)的第二空間位置。至少基于第一空間位置來識別一組目標。該方法包括至少基于第二空間位置來選擇已識別出的組中的目標。本發(fā)明的有利的效果根據(jù)本發(fā)明所公開的示例性實施例，可以獲得采用手勢的魯棒的用戶界面。


圖I是示出根據(jù)示例性實施例的信息輸入設(shè)備的配置的框圖；圖2示出了人體姿勢估計單元的配置示例；圖3是用于描述信息輸入處理的流程圖4是用于描述人體姿勢估計處理的流程圖；圖5是用于描述姿勢辨認處理的流程圖；圖6是用于描述姿勢辨認處理的示意圖；圖7是用于描述姿勢辨認處理的示意圖；圖8是用于描述姿勢辨認處理的示意圖；圖9是用于描述手勢辨認處理的流程圖；圖10是用于描述信息選擇處理的流程圖；
圖11是用于描述信息選擇處理的示意圖；圖12是用于描述信息選擇處理的不意圖；圖13是用于描述信息選擇處理的不意圖；圖14是用于描述信息選擇處理的示意圖；圖15是用于描述信息選擇處理的不意圖；圖16是用于描述信息選擇處理的不意圖；圖17示出通用的個人計算機的配置示例。
具體實施例方式信息輸入設(shè)備的配置示例圖I示出了根據(jù)示例性實施例的信息輸入設(shè)備的硬件實施例的配置示例。圖I中的信息輸入設(shè)備11響應(yīng)于用戶人體的動作(手勢)辨認輸入操作，并且顯示對應(yīng)的處理結(jié)
果O信息輸入設(shè)備11包括非接觸捕獲單元31、信息選擇控制單元32、信息選項數(shù)據(jù)庫33、信息裝置系統(tǒng)控制單元34、信息顯示控制單元35以及顯示單元36。非接觸捕獲單元31獲得包含用戶人體的圖像，生成對應(yīng)于在所獲得的圖像中的用戶人體姿勢的姿勢命令或生成對應(yīng)于作為按時序排列的姿勢的手勢的手勢命令，以及將生成的命令提供至信息選擇控制單元32。即，非接觸捕獲單元31辨認關(guān)于用戶人體處于非接觸狀態(tài)的姿勢或手勢，生成對應(yīng)的姿勢命令或手勢命令，以及將生成的命令提供至信息選擇控制單元32。更具體地,非接觸捕獲單元31包括成像單元51、人體姿勢估計單元52、姿勢存儲數(shù)據(jù)庫53、姿勢辨認單元54、分類的姿勢存儲數(shù)據(jù)庫55、手勢辨認單元56、姿勢歷史數(shù)據(jù)緩沖器57以及姿勢存儲數(shù)據(jù)庫58。成像單元51包括成像組件(諸如電耦合器件(CXD)或互補金屬氧化物半導體(CMOS))，該單元由信息選擇控制單元32所控制、獲得包含用戶人體的圖像以及將所獲得的圖像提供至人體姿勢估計單元52。人體姿勢估計單元52基于成像單元51所提供的包含用戶人體的圖像逐幀地辨認人體的姿勢，并且將與已辨認出的姿勢相關(guān)的姿勢信息提供至姿勢辨認單元54和手勢辨認單元56。更具體地，人體姿勢估計單元52從關(guān)于通過成像單元51所獲得的圖像的信息中提取表示人體姿勢的多個特征。然后，人體姿勢估計單元52對于每個姿勢使用多個提取的特征的向量和系數(shù)向量的要素的內(nèi)積之和來估計關(guān)于三維空間中人體的節(jié)點的坐標和角度的信息，其中系數(shù)向量登記在姿勢存儲數(shù)據(jù)庫53中、通過基于用于每個姿勢的多個特征的向量學習而獲得；并且人體姿勢估計單元52將具有這些信息的姿勢信息確定為參數(shù)。應(yīng)當注意，參照圖2在下面描述人體姿勢估計單元52的詳情。姿勢辨認單元54基于作為參數(shù)的具有關(guān)于人體的節(jié)點的坐標和角度的信息的姿勢信息，搜索與姿勢信息以及在分類的姿勢存儲數(shù)據(jù)庫55中所登記的之前分類的姿勢相關(guān)的姿勢命令。然后，姿勢辨認單元54將與所搜索的姿勢信息相關(guān)聯(lián)登記的姿勢辨認為用戶人體姿勢，并且將與姿勢信息以及所登記的姿勢相關(guān)的姿勢命令提供至信息選擇控制單元32。手勢辨認單元56在姿勢歷史數(shù)據(jù)緩沖器57中循序地累積人體姿勢估計單元52在預(yù)定的一段時間中逐幀所提供的姿勢信息。然后，手勢辨認單元56在與手勢存儲數(shù)據(jù)庫58中所登記的之前分類的手勢相聯(lián)系的按時序的姿勢信息中搜索對應(yīng)的手勢。手勢辨認單元56將與所搜索的按時序的姿勢信息相關(guān)的手勢辨認為由人體(已獲得其圖像)所做出的手勢。手勢辨認單元56從手勢存儲數(shù)據(jù)庫58中讀取與所辨認的手勢聯(lián)合登記的手勢命令，并且將其提供至信息選擇控制單元32。
在信息選項數(shù)據(jù)庫33中，登記了作為與非接觸捕獲單元31所提供的姿勢命令或手勢命令相聯(lián)系的選項的信息。信息選擇控制單元32基于非接觸捕獲單元31所提供的姿勢命令或手勢命令從信息選項數(shù)據(jù)庫33中選擇作為選項的信息，并且將其提供至信息顯示控制單元35。信息裝置系統(tǒng)控制單元34使信息裝置作為系統(tǒng)(未示出)或獨立的信息裝置來基于作為信息選擇控制單元32所提供的選項的信息來執(zhí)行各種處理。信息顯示控制單元35使顯示單元36顯示對應(yīng)于作為選項所選擇的信息的信息，該顯示單元包括例如液晶顯示器(IXD)。人體姿勢估計單元的配置示例接下來，參照圖2描述人體姿勢估計單元52的詳細配置示例。人體姿勢估計單元52包括面部檢測單元71、輪廓提取單元72、標準化處理區(qū)域提取單元73、特征提取單元74、姿勢估計單元75以及校正單元76。面部檢測單元71從成像單元51所提供的圖像中檢測面部圖像、識別檢測到的面部圖像的大小和位置以及將檢測到的面部圖像的大小和位置連同成像單元51所提供的圖像提供至輪廓提取單元72。輪廓提取單元72基于所獲得的圖像和面部檢測單元71所提供的表示面部圖像的大小和位置的信息，從所獲得的圖像中提取形成人體的輪廓，并且將提取的輪廓連同關(guān)于面部圖像的信息以及所獲得的圖像提供至標準化處理區(qū)域提取單元73。標準化處理區(qū)域提取單元73使用所獲得的圖像、表示面部圖像的位置和大小的信息以及輪廓信息從所獲得的圖像中提取在對于人體的姿勢信息的估計中所使用的區(qū)域作為標準化處理區(qū)域，并且將該區(qū)域連同圖像信息提供至特征提取單元74。除了面部圖像的位置和大小以及輪廓信息，特征提取單元74還從所獲得圖像中提取多個特征(例如邊緣、邊緣強度以及邊緣方向)，并且將具有多個特征的向量作為要素提供至姿勢估計單元75。姿勢估計單元75基于關(guān)于特征提取單元74所提供的作為要素的具有多個特征的向量的信息，從姿勢存儲數(shù)據(jù)庫53中讀取多個系數(shù)的向量。應(yīng)當注意，在以下描述中，作為要素具有多個特征的向量被稱為特征向量。另外，在姿勢存儲數(shù)據(jù)庫53中所登記的與特征向量相關(guān)的多個系數(shù)的向量被稱為系數(shù)向量。即，在姿勢存儲數(shù)據(jù)庫53中，存儲了通過學習之前確定的與用于每個姿勢的特征向量相聯(lián)系的系數(shù)向量(系數(shù)集)。姿勢估計單元75使用讀取的系數(shù)向量和特征向量的內(nèi)積之和確定姿勢信息，并且將姿勢信息提供至校正單元76。即，在此確定的姿勢信息是表示被設(shè)定為人體的多個節(jié)點的坐標位置和節(jié)點的角度的信息。校正單元76基于使用人體的面部圖像的大小所確定的約束(諸如手臂或腿的長度)校正由姿勢估計單元75所確定的姿勢信息 ，并且將校正過的姿勢信息提供至姿勢辨認單元54和手勢辨認單元56。關(guān)于信息輸入處理接下來，參照圖3的流程圖描述信息輸入處理。在步驟Sll中，非接觸捕獲單元31的成像單元51獲得包含作為用戶的人的區(qū)域的圖像，并且將所獲得的圖像提供至人體姿勢估計單元52。在步驟S12中，人體姿勢估計單元52執(zhí)行人體姿勢估計處理，估計人體姿勢以及將其作為姿勢信息提供至姿勢辨認單元54和手勢辨認單元56。人體姿勢估計處理在此，參照圖4的流程圖描述人體姿勢估計處理。在步驟S31中，面部檢測單元71基于成像單元51所提供的所獲得的圖像確定所獲得的作為用戶的人的面部圖像的位置和大小的信息，并且將確定的關(guān)于面部圖像的信息和所獲得的圖像提供至輪廓提取單元72。更具體地，面部檢測單元71確定作為用戶的人是否出現(xiàn)在圖像中。當人出現(xiàn)在圖像中時，面部檢測單元71檢測面部圖像的位置和大小。此時，當出現(xiàn)多個面部圖像時，面部圖像檢測單元71確定用于識別多個面部圖像的信息和多個面部圖像中的每一個的位置和大小。面部檢測單元71例如通過采用黑色和白色矩形模式(所謂的Haar模式)的方法來確定面部圖像的位置和大小。例如，使用Harr模式檢測面部圖像的方法利用了眼睛和嘴暗于其它區(qū)域的事實，并且代表了以下技術(shù)該技術(shù)代表與被稱為Harr模式的特定模式結(jié)合的面部的亮度并且依賴于這些模式的布置、坐標、大小以及數(shù)量檢測面部圖像。在步驟S32中，輪廓提取單元72通過測量與之前登記的背景區(qū)域的差別并且以與面部圖像檢測類似的方式(即，所謂的背景減除技術(shù))從背景區(qū)域中分離前景區(qū)域，從而僅提取前景區(qū)域作為輪廓。然后，輪廓提取單元72將提取的輪廓、關(guān)于面部圖像的信息以及所獲得的圖像提供至標準化處理區(qū)域提取單元73。應(yīng)當注意，輪廓提取單元72還可以通過背景減除技術(shù)之外的技術(shù)來提取輪廓。例如，還可以采用其它通用算法諸如使用具有預(yù)定的或更多的動作的區(qū)域作為前景區(qū)域的動作差別技術(shù)。在步驟S33中，標準化處理區(qū)域提取單元73使用關(guān)于作為面部圖像檢測結(jié)果的面部圖像的位置和大小的信息來設(shè)定標準化處理區(qū)域(即，用于姿勢估計的處理區(qū)域)。標準化處理區(qū)域提取單元73生成僅由形成人體的前景區(qū)域部分構(gòu)成的標準化處理區(qū)域，并且將其輸出至特征提取單元74，其中依照通過輪廓提取單元72所提取的目標人體的輪廓移除關(guān)于背景區(qū)域的信息。憑借該標準化處理區(qū)域，可以估計人體的姿勢而不考慮人體與成像單元51之間的位置關(guān)系。在步驟S34中，特征提取單元74提取諸如標準化處理區(qū)域中的邊緣、邊緣強度以及邊緣方向的特征，并且除了在面部圖像的位置和大小以及輪廓信息之外，還形成由到達姿勢估計單元75的多個特征構(gòu)成的特征向量。在步驟S35中，姿勢估計單元75讀取之前通過學習所確定的并與所提供的特征向量和來自姿勢存儲數(shù)據(jù)庫53的姿勢相關(guān)的系數(shù)向量(S卩，系數(shù)集)。然后，姿勢估計單元75通過特征向量和系數(shù)向量的內(nèi)積之和確定包括三維坐標中每個節(jié)點的位置和角度的姿勢信息，并且將姿勢信息提供至校正單元76。在步驟S36中，校正單元76基于約束(諸如人體的面部圖像的位置和大小以及人體的手臂或腿的長度)對包括每個節(jié)點的位置和角度的姿勢信息進行校正。在步驟S37中，校正單元76將已校正的姿勢信息提供至姿勢辨認單元54和手勢辨認單元56。在此，描述了基于特征向量通過學習在姿勢存儲數(shù)據(jù)庫53中所存儲的系數(shù)向量。如上所述，姿勢存儲數(shù)據(jù)庫53準備了從圖像信息所獲得的用于必要的姿勢的多個特征向量組和對應(yīng)于必要的姿勢的三維空間中的節(jié)點的坐標，并且存儲使用這些相互關(guān) 系通過學習所獲得的系數(shù)向量。即，姿勢存儲數(shù)據(jù)庫53確定從經(jīng)受標準化處理的圖像所獲得的身體的整個上半部的特征向量與在三維空間中的人體的節(jié)點位置的坐標之間的相互關(guān)系，并且估計人體的姿勢，該人體的姿勢提供將能夠被辨認的各種姿勢(例如右手和左手的交叉)。可以使用各種算法來確定系數(shù)向量。在此，作為示例描述了多重回歸分析。(i)通過圖像信息轉(zhuǎn)換所獲得的特征向量X ε R_m ( ε (印silon):被包含為要素),與(ii)形成包括三維空間中人體的節(jié)點的位置坐標和節(jié)點的角度的姿勢信息要素的姿勢信息向量X ε R_d之間的關(guān)系可以被表示為使用以下表達式的多重回歸分析表達式IY = Χβ + ε... (I)在此，m表示使用的特征的維度，并且d表示三維空間中人的節(jié)點的位置的坐標向量的維度。ε被稱為剩余向量并且代表用于學習的三維空間中人體的節(jié)點位置的坐標與通過多重回歸分析所確定的預(yù)測出的三維位置坐標之間的差別。在此，為了代表身體的上半部，估計了腰部、頭部、兩個肩部、兩個肘部以及兩個腕部共計8個節(jié)點的三維空間中的位置坐標(X，y, ζ)。通過將所獲得的特征向量和通過學習所獲得的偏回歸系數(shù)向量β (m*d)相乘，調(diào)用側(cè)(calling side)可以獲得在三維空間中人體的節(jié)點的位置的坐標的預(yù)測值。姿勢存儲數(shù)據(jù)庫53將偏回歸系數(shù)向量i3_(m*d)的要素(系數(shù)集)存儲為以上描述的系數(shù)向量。作為使用以上描述的學習數(shù)據(jù)集來確定系數(shù)向量β的技術(shù)，可以使用例如被稱為嶺回歸的多重回歸分析。典型的多重回歸分析使用最小二乘法來確定偏回歸系數(shù)向量β (m*d)，以依照使用以下表達式所表達的估值函數(shù)，來獲得預(yù)測值和真值(例如，三維空間中人體的節(jié)點位置的坐標和學習數(shù)據(jù)中的節(jié)點的角度)之間的最小平方差。表達式2η η{|Υ-Χβ I I2}... (2)對于嶺回歸，包含可選變量Y的項被添加到最小二乘法中的估值函數(shù)中，并且確定了下面的表達式具有最小值處的偏回歸系數(shù)向量β (m*d)。表達式3min{| Y-Xβ I |2+λ β β I |2}... (3)
在此，y是用于控制通過多重回歸等式和學習數(shù)據(jù)所獲得的模型的擬合“優(yōu)度”的參數(shù)。公知的是，不僅在多重回歸分析中并且在其它學習算法的使用中應(yīng)當充分地考慮被稱為過度擬合的問題。過度擬合是支持學習數(shù)據(jù)的低泛化性能學習，但是不可以擬合未知數(shù)據(jù)。包含出現(xiàn)在嶺回歸中的參數(shù)Y的項是用于控制關(guān)于學習數(shù)據(jù)的擬合優(yōu)度的參數(shù)，并且對于控制過度擬合是有效的。當參數(shù)Y小時，關(guān)于學習數(shù)據(jù)的擬合優(yōu)度高，但關(guān)于未知數(shù)據(jù)的擬合優(yōu)度低。相反地，當參數(shù)Y大時，關(guān)于學習數(shù)據(jù)的擬合優(yōu)度低，但是關(guān)于未知數(shù)據(jù)的擬合優(yōu)度高。調(diào)整參數(shù)Y以實現(xiàn)具有較高的泛化性能的姿勢存儲數(shù)據(jù)庫。應(yīng)當注意，在三維空間中的節(jié)點的位置的坐標可以被確定為當腰部的中心位置是原點時計算得到的坐標。即使當使用通過多重回歸分析所確定的系數(shù)向量β和特征向量的要素的內(nèi)積之和可以確定每個坐標位置和角度時，在學習中在人體的個部分(諸如手臂和腿)的長度之間的關(guān)系中也可能發(fā)生錯誤。因此，校正單元76基于各部分(諸如手臂和腿)的長度之間的關(guān)系在約束下對姿勢信息進行校正。憑借前述的人體姿勢信息處理，關(guān)于在三維空間中的用戶的身體的每個節(jié)點的位置的坐標和其角度的信息可以被確定為姿勢信息(即，姿勢信息向量)，并且被提供至姿勢辨認單元54和手勢辨認單元56。·在此，描述將返回至圖3的流程圖。當在步驟S12的處理中確定了用于人體的姿勢信息時，在步驟S13中，姿勢辨認單元54執(zhí)行姿勢辨認處理，并且基于姿勢信息通過將其與用于之前在分類的姿勢存儲數(shù)據(jù)庫55中所登記的每個姿勢的姿勢信息相比較來辨認姿勢。然后，姿勢辨認單元54讀取與所辨認出的在分類的姿勢存儲數(shù)據(jù)庫55中所登記的姿勢相關(guān)的姿勢命令，并且將其提供至信息選擇控制單元32。姿勢辨認處理在此，參照圖5的流程圖描述姿勢辨認處理。在步驟S51中，姿勢辨認單元54獲得姿勢信息，該信息包括人體姿勢估計單元52所提供的關(guān)于在三維空間中的用戶人體的每個節(jié)點的位置的坐標的信息和關(guān)于其角度的信息。在步驟S52中，姿勢辨認單元54讀取分類的姿勢存儲數(shù)據(jù)庫55中所登記的姿勢信息中的未被處理的姿勢信息，并且將其設(shè)定為作為處理目標的姿勢信息。在步驟S53中，姿勢辨認單元54比較作為處理目標的姿勢信息和人體姿勢估計單元52所提供的姿勢信息以確定其差別。更具體地，姿勢辨認單元54基于關(guān)于作為處理目標的姿勢信息中所包含的節(jié)點的位置的坐標的信息和所獲得的姿勢信息，確定鏈接兩個連續(xù)節(jié)點的部分的角度的差距，并且將其確定為差別。例如，當鏈接左肘部和左腕部的左前臂是部分的示例時，如圖6所示確定差別Θ。即圖6所示的差別Θ是向量V1 (31,32,33)與向量V2 Cb1, b2, b3)之間形成的角度，其中向量V1 Ca1, a2, a3)的原點是上級節(jié)點(即左肘部節(jié)點)，并且其基于作為處理目標的之前登記的姿勢信息從左肘部指向左腕部；向量V2 Cb1,b2，b3)基于通過人體姿勢估計單元52所估計的姿勢信息。通過以下表達式(4)的計算可以確定差別Θ。表達式4r\
taibi+a2b2+aab3β =COS-1....................................................................- ■ . (4；
‘ a|2+a22+a32 ·^以這樣的方式，姿勢辨認單元54對于通過計算從姿勢信息所獲得的所有節(jié)點中的每一個確定角度的差別Θ。在步驟S54中，姿勢辨認單元54確定是否所有確定的差別Θ都落入容限Θ th中。當在步驟S54中確定所有的差別Θ都落入到容限0 th中時，處理繼續(xù)至步驟S55。在步驟S55中，姿勢辨認單元54確定人體姿勢估計單元52所提供的姿勢信息與 被分類為作為處理目標的姿勢信息的姿勢匹配是非常有可能的，并且將作為處理目標的姿勢信息和關(guān)于被分類為姿勢信息的姿勢的信息存儲為候選。另一方面，當在步驟S54中確定不是所有的差別Θ都落入容限Θ時，確定所提供的信息與對應(yīng)于作為處理目標的姿勢信息的姿勢不匹配，跳過步驟S55的處理并且處理繼續(xù)至步驟S56。在步驟S56中，姿勢辨認單元54確定在分類的姿勢存儲數(shù)據(jù)庫55中是否存在未處理的姿勢信息。當確定存在未處理的姿勢信息時，處理返回至步驟S52。即，在確定不存在未處理的姿勢信息之前，重復(fù)從步驟S52至步驟S56的處理。然后，當在步驟S56中確定不存在未處理的姿勢信息時，處理進入步驟S57。在步驟S57中，姿勢辨認單元54確定是否存儲了用于對應(yīng)于候選的姿勢的姿勢信息。在步驟S57中，例如，當存儲了該信息時處理前進至步驟S58在步驟S58中，姿勢辨認單元54讀取在分類的姿勢存儲數(shù)據(jù)庫55中所登記的姿勢命令以及與在作為候選的姿勢中具有差別Θ的最小總和的姿勢相關(guān)聯(lián)的姿勢信息，并且將其提供至信息選擇控制單元32。另一方面，當在步驟S57中確定未存儲對應(yīng)于作為候選的姿勢的姿勢信息時，在步驟S59中姿勢辨認單元54將表示未分類的姿勢的姿勢命令提供至信息選擇控制單元32。憑借以上處理，當提供了與之前分類的姿勢相關(guān)的姿勢信息時，相關(guān)的姿勢命令被提供至信息選擇控制單元32。因此作為之前分類的姿勢，例如，如從圖7左側(cè)部分中上部起始的順序所示，可以識別并辨認，在頁面中關(guān)于左肘部用戶人體的左臂LH的手掌指向左側(cè)方向的姿勢(即姿勢201)、指向向下方向的姿勢(B卩，姿勢202)、指向右側(cè)方向的姿勢卿姿勢203)以及指向向上方向的姿勢(即，姿勢204)。并且，如在圖7右側(cè)部分中所示，可以識別并辨認，右臂RH的手掌(即，沿人體的第二部分放置的第二參考點)從頁面的右側(cè)起始順序地指向虛擬地布置在人前面的區(qū)域211至215的姿勢。此外，可辨認的姿勢可以是圖7中所示的姿勢之外的姿勢。例如，如在圖8中所示，從上面起始，還可以識別并辨認左臂LH在頁面中左上方和右臂RH在頁面中右下方的姿勢、左臂LH2和右臂RH2在頁面中右上方的姿勢、左臂LH3和右臂RH3在水平方向上的姿勢以及左臂LHl和右臂RHl交叉的姿勢。S卩，因為來自身體的位置關(guān)系不明確，所以例如僅使用手掌的位置(S卩，第一空間位置和/或第二空間位置)的識別可能導致在辨認中發(fā)生錯誤。然而，因為作為人體的姿勢而執(zhí)行辨認，所以兩個手臂均可以精確的辨認，并且可以消除錯誤辨認的發(fā)生。并且，因為作為姿勢而進行辨認，例如，即使兩個手臂交叉，也可以識別各自的手掌，從而可以減少錯誤辨認的發(fā)生，并且更復(fù)雜的姿勢也可以登記為可以識別的姿勢。此外，只要僅登記了身體的右側(cè)的運動或身體的左側(cè)的運動，就可以組合地識別左臂和右臂的姿勢，并且因此，可以減少所登記的姿勢信息量，而同時可以識別并辨認許多復(fù)雜的姿勢。在此，描述返回至圖3的流程圖。當在步驟S13中執(zhí)行姿勢辨認處理，識別了用戶人體的姿勢并且輸出了姿勢命令時，處理前進至步驟S14。在步驟S14中，手勢辨認單元56執(zhí)行手勢辨認處理，基于人體姿勢估計單元52循序地提供的姿勢信息，與在手勢存儲數(shù)據(jù)庫58中所登記的手勢信息進行比較，并且辨認手勢。然后，手勢辨認單元56將與所辨認出的在分類的姿勢存儲數(shù)據(jù)庫55中所登記的手勢相關(guān)的手勢命令提供至信息選擇控制單元32。手勢辨認處理在此，參照圖9的流程圖描述手勢辨認處理。 在步驟S71中，手勢辨認單元56在姿勢歷史數(shù)據(jù)緩沖器57中將人體姿勢估計單元52所提供的姿勢信息作為歷史存儲僅預(yù)定的一段時間。此時，手勢辨認單元56用最新幀的姿勢信息重寫最舊幀的姿勢信息，并且按時序?qū)⒃撟藙菪畔⑴c歷史幀相關(guān)聯(lián)地存儲預(yù)定的一段時間。在步驟S72中，手勢辨認單元56讀取在姿勢歷史數(shù)據(jù)緩沖器57中作為歷史按時序所存儲預(yù)定一段時間的姿勢信息作為姿勢信息。在步驟S73中，手勢辨認單元56讀取手勢存儲數(shù)據(jù)庫58中所登記的手勢信息中的與之前登記的手勢相關(guān)聯(lián)的未處理的手勢信息(即，第一空間位置和/或第二空間位置)，作為是處理目標的手勢信息。應(yīng)當注意，在手勢存儲數(shù)據(jù)庫58中，對應(yīng)于之前登記的手勢的按時序的姿勢信息被登記為手勢信息。在手勢存儲數(shù)據(jù)庫58中，與各個手勢相關(guān)聯(lián)地登記手勢命令。在步驟S74中，手勢辨認單元56通過模式匹配來比較作為處理目標的手勢信息和從姿勢歷史數(shù)據(jù)緩沖器57所讀取的姿勢信息。更具體地，例如，手勢辨認單元56使用連續(xù)動態(tài)規(guī)劃(DP)比較作為處理目標的手勢信息和從姿勢歷史數(shù)據(jù)緩沖器57中所讀取的姿勢信息。例如，連續(xù)DP是這樣一種算法該算法允許作為輸入的按時序的數(shù)據(jù)的時間軸的擴展和收縮，并且該算法執(zhí)行之前登記的按時間排列的數(shù)據(jù)之間的模式匹配。其特征在于不需要之前的學習。在步驟S75中，手勢辨認單元56通過模式匹配確定作為處理目標的手勢信息和從姿勢歷史數(shù)據(jù)緩沖器57中所讀取的姿勢信息是否彼此互相匹配。在步驟S75中，例如，當確定作為處理目標的手勢信息和從姿勢歷史數(shù)據(jù)緩沖器57中所讀取的姿勢信息彼此互相匹配時，處理繼續(xù)至步驟S76。在步驟S76中，手勢辨認單元56將對應(yīng)于作為處理目標的手勢信息的手勢存儲為候選。另一方面，當確定作為處理目標的手勢信息和從姿勢歷史數(shù)據(jù)緩沖器57中所讀取的姿勢信息彼此不互相匹配時，跳過步驟S76的處理。在步驟S77中，手勢辨認單元56確定在手勢存儲數(shù)據(jù)庫58中是否登記了未處理的信息。在步驟S77中，例如，當?shù)怯浟宋刺幚淼氖謩菪畔r，處理返回至步驟S73。S卩，在未處理的手勢信息為不存在之前，重復(fù)從步驟S73至步驟S77的處理。然后，當在步驟S77中確定不存在未處理的手勢信息時，處理繼續(xù)至步驟S78。在步驟S78中，手勢辨認單元56確定是否存儲了作為候選的手勢。當在步驟S78中確定存儲了作為候選的手勢時，處理繼續(xù)至步驟S79.在步驟S79中，手勢辨認單元56通過模式匹配將作為候選所存儲的手勢中最匹配的手勢辨認為通過用戶人體所做出的手勢。然后，手勢辨認單元56將與所辨認出的在手勢存儲數(shù)據(jù)庫58中所存儲的的手勢(即，對應(yīng)的第一手勢或第二手勢)相關(guān)的手勢命令(即，第一命令和/或第二命令)提供至信息選擇控制單元32。另一方面，在步驟S78中，當未存儲作為候選的手勢時，確定為做出了未登記的手勢。在步驟S80中，手勢辨認單元56將表示做出了未登記的手勢的手勢命令提供至信息選擇控制單元32。S卩，憑借以上處理例如確定了，包括從姿勢歷史數(shù)據(jù)緩沖器57所讀取的按時序的 姿勢信息的手勢信息被辨認為對應(yīng)于手掌循序地從左臂LH從左肘部起指向上方的狀態(tài)(如在圖7中最下面左側(cè)所示)運動至手掌在頁面中指向左上方向的狀態(tài)(如在圖7中最上面左側(cè)所示)的手勢。在這種情況中，辨認了左臂在第二象限中以通過圖7中的虛線所示的基本上為圓形的形式逆時針運動的手勢，并且輸出其對應(yīng)的手勢命令。類似地，辨認了手掌循序地從左臂LH從左肘部起指向頁面中左側(cè)方向的狀態(tài)(如在圖7中最上行左側(cè)所示)運動至其指向在頁面中向下方向的狀態(tài)(如通過在圖7中左側(cè)第二行中的箭頭202所示)的手勢。在這種情況中，辨認了左臂在頁面中的第三象限中以通過圖7中的虛線所示的基本上為圓形的形式逆時針運動的手勢，并且輸出其對應(yīng)的手勢命令。并且，辨認了手掌循序地從左臂LH從左肘部起指向頁面中向下方向的狀態(tài)(如在圖7中左側(cè)第二行所示)運動至其指向頁面中右側(cè)方向的狀態(tài)(如通過在圖7中左側(cè)第三行中的箭頭203所示)的手勢。在在這種情況中，辨認了左臂在頁面中的第四象限中以通過圖7中的虛線所示的基本上為圓形的形式逆時針運動的手勢，并且輸出其對應(yīng)的手勢命令。然后，辨認了手掌循序地從左臂LH從左肘部起指向右側(cè)方向的狀態(tài)(如在圖7中左側(cè)第三行所示)運動至其指向頁面中向上方向(如通過在圖7中左側(cè)最下面中的箭頭204所示)的手勢。在這種情況中，辨認了左臂在頁面中的第一象限中以通過圖7中的虛線所示的基本上為圓形的形式逆時針運動的手勢，并且輸出其對應(yīng)的手勢命令。此外，在圖7中的右側(cè)部分，如以上的順序所示，辨認了右手掌從虛擬設(shè)定的區(qū)域211至215的循序地運動。在這種情況中，識別了右臂在頁面中在左側(cè)方向上水平地運動的手勢，并且輸出其對應(yīng)的手勢命令。類似地，在圖7中的右側(cè)部分中，如以下的順序所示，辨認了右手掌從虛擬設(shè)定的區(qū)域215至211的循序地運動。在這種情況中，辨認了右臂在頁面中在右側(cè)方向上水平地運動的手勢，并且輸出其對應(yīng)的手勢命令。以這樣的方式，因為基于按時序辨認的姿勢信息來辨認手勢，所以如果簡單地基于手掌的運動路徑來辨認手勢可能發(fā)生的錯誤辨認(諸如未能確定是否通過右臂或左臂做出運動)可以被消除。作為結(jié)果，可以消除手勢的錯誤辨認，并且可以合適地辨認手勢。應(yīng)當注意，盡管作為被辨認的手勢的示例描述了基本上以圓形的形式以90度為單位旋轉(zhuǎn)手掌的手勢，但是可以使用所描述的示例之外的旋轉(zhuǎn)。例如，可能使用基本上橢圓形的形式、基本上菱形的形式、基本上方形的形式或者基本上矩形的形式，并且可能使用順時針的運動。旋轉(zhuǎn)的單位不限于90度，并且也可能使用其它角度。在此，描述返回至圖3的流程圖。
當在步驟S14中通過手勢辨認處理辨認了手勢，并且與已辨認的手勢相關(guān)的手勢命令被提供至信息選擇控制單元32時，處理繼續(xù)至步驟S15。在步驟S15中，信息選擇控制單元32執(zhí)行信息選擇處理，選擇與姿勢命令或手勢命令相關(guān)聯(lián)的、作為在選項數(shù)據(jù)庫33中所登記的選項的信息。信息選擇控制單元32將信息提供至使各種處理被執(zhí)行的信息裝置系統(tǒng)控制單元34，將信息提供至信息顯示控制單元35，以及在顯示單元36上顯示選擇的信息。此外，在步驟S16中，信息選擇控制單元32確定是否通過姿勢命令或手勢命令所表示處理完成。當確定了未表示處理完成時，處理返回至步驟S11。即，當未表示處理完成時，重復(fù)步驟Sll至步驟S16的處理。然后，當在步驟S16中確定表示了處理完成時，結(jié)束處理。信息選擇處理在此，參照圖10的流程圖描述信息選擇處理。應(yīng)當注意，盡管在此作為示例描述了選擇假名字符(日語音節(jié))作為信息的處理，但是也可以選擇其它信息。此時，描述了選擇字符的示例，在該示例中通過每當左臂以90度旋轉(zhuǎn)手掌(如在圖7中左側(cè)部分所示)運動一個字符來選擇一個輔音(包含被認為是輔音的濁音標記)，并且通過右手掌指向水平布置地區(qū)域211至215中的一個來選擇元音。在本說明書中，假名字符被表示為羅馬字(用于音譯日語的羅馬化的拼寫系統(tǒng))。此說明中所使用的輔音表示在布置了一組字符(即，一組目標)的列中的第一個字符，此說明中所使用的元音表示選擇的輔音(即，目標組中的目標)的列中的一組字符中所指定的字符。在步驟SlOl中，信息選擇控制單元32確定姿勢辨認單元54所提供的姿勢命令或手勢辨認單元56所提供的手勢命令是否是表示開始的姿勢命令或手勢命令。例如，如果通過左臂以360度旋轉(zhuǎn)手掌的手勢是表示開始的手勢，當辨認了通過左臂以360度旋轉(zhuǎn)手掌的這樣的手勢時，確定辨認出表示開始的手勢，并且處理繼續(xù)至步驟S102。在步驟S102中，信息選擇控制單元32在“A”列中的“A”中設(shè)置當前選擇的輔音和元音以進行初始化。另一方面，當在步驟SlOl中確定手勢不是表示開始的手勢時，處理繼續(xù)至步驟S103。在步驟S103中，信息選擇控制單元32確定通過手勢命令所辨認的手勢是否是以90度逆時針旋轉(zhuǎn)左臂的手勢。當在步驟S103中確定通過手勢命令所辨認的手勢是以90度逆時針旋轉(zhuǎn)左臂的手勢時，處理繼續(xù)至步驟S104。在步驟S104中，信息選擇控制單元32讀取作為在信息選項數(shù)據(jù)庫33中所登記的選項的信息，辨認出從當前輔音順時針運動至其近鄰的輔音，以及將辨認結(jié)果提供至信息裝置系統(tǒng)控制單元34和信息顯示控制單元35。S卩，例如，如在圖11左側(cè)部分或右側(cè)部分中所示，作為輔音，選擇了 “A”、“KA”、“ SA”、“ TA”、“NA”、“HA”、“MA”、“ YA”、“ RA”、“WA” 或“濁音標記”(類似于雙引號(“))(即識別了一組目標)。在這樣的情況中，如通過圖12最上面的狀態(tài)Pl中的選擇位置251所示，當選擇“A”列作為當前的輔音時，如果做出了從左臂LHll至左臂LH12以90度逆時針旋轉(zhuǎn)手掌的手勢(如通過圖12第二行的狀態(tài)P2中的箭頭261所示)，則選擇了順時針鄰近鄰列“KA”(如通過圖12第二行的狀態(tài)P2中的選擇位置262所示)。在步驟S105中，信息顯示控制單元35在顯示單元36上顯示表示作為從當前輔音順時針運動的近鄰而辨認的輔音的信息。即，例如在初始狀態(tài)中，例如，如在圖12最上側(cè)的狀態(tài)Pl中的顯示區(qū)域252所示，信息顯示控制單元35顯示作為缺省初始位置的“A”列中的“A”以在顯示單元36上顯示表示當前選擇的輔音的顯示信息。然后，在此，通過左臂LHll以90度逆時針旋轉(zhuǎn)手掌，信息顯示控制單元35基于信息選擇控制單元32所提供的信息主要地顯示“KA”(如在圖12中第二行中顯示區(qū)域263所示)以表示當前選擇的輔音切換至“KA”。應(yīng)當注意，此時在顯示區(qū)域263中，例如顯示了作為中心的“KA”，并且僅顯示了其逆時針方向上的近鄰“WA”、“濁音標記”以及“A”和其順時針方向上的近鄰“SA”、“TA”以及“NA”。這可以允許容易地辨認在當前選擇的輔音之前或之后可能選擇的輔音。 類似地，從此狀態(tài)起，當左臂從左臂LH12至左臂LH13以90度進一步運動并且手掌進一步逆時針運動時(如在圖12第三行中的狀態(tài)P3所示)，憑借步驟S103和S104的處理，選擇了 “KA”列的順時針鄰近“SA”(如通過選擇位置272所示)。然后，憑借步驟S105的處理，信息顯示控制單元35主要地顯示“SA”以表示當前選擇的輔音切換至“SA”列(如在圖12第三行的狀態(tài)P3的顯示區(qū)域273中所示)。另一方面，在步驟S103中確定不是逆時針90度旋轉(zhuǎn)的手勢時，處理繼續(xù)至步驟S106。在步驟S106中，信息選擇控制單元32確定通過手勢命令所辨認的手勢是否是順時針旋轉(zhuǎn)左臂90度的手勢。當在步驟S106中確定通過手勢命令所辨認的手勢是順時針旋轉(zhuǎn)左臂90度的手勢時，例如，處理繼續(xù)至步驟S107。在步驟S107中，信息選擇控制單元32讀取作為在信息選項數(shù)據(jù)庫33中所登記的選項的信息，辨認關(guān)于當前元音運動至其逆時針近鄰位置的輔音，以及將辨認結(jié)果提供至信息裝置系統(tǒng)控制單元34和信息顯示控制單元35。在步驟S108中，信息顯示控制單元35在顯示單元36上顯示表示運動至當前輔音的逆時針鄰近位置而辨認出的輔音的信息。S卩，這與在上述步驟S103至S105中的手掌順時針旋轉(zhuǎn)的處理相反。即，例如，當從圖12的第三行中的狀態(tài)P3起，手掌以180度進一步旋轉(zhuǎn)連同從左臂LH13至左臂LHll的運動時(如在第四行的狀態(tài)P4中的箭頭281所示)，憑借步驟S107和S108的處理，如通過選擇位置282所示，當手掌順時針運動90度時選擇了近鄰“KA”，并且當手掌進一步順時針運動90度時，選擇了 “A”。然后，憑借步驟S108的處理，信息顯示控制單元35主要地顯示“A”以表示當前選擇的輔音從“SA”切換至“A”(如在圖12的第四行的狀態(tài)P4中的顯示區(qū)域283所示)。另一方面，當在步驟S106中確定了不是順時針旋轉(zhuǎn)90度的手勢時，處理繼續(xù)至步驟 S109。在步驟S109中，信息選擇控制單元32確定姿勢辨認單元54所提供的姿勢命令或手勢辨認單元56所提供的手勢命令是否是用于選擇元音(即，已識別的目標組中的目標)的姿勢命令或手勢命令。例如，當手掌通過右臂選擇虛擬的布置在人前面的區(qū)域211至215中的一個時(如在圖7中所示)，在通過該區(qū)域識別元音的姿勢的情況中，辨認出表示手掌通過右臂指向區(qū)域211至215中的一個的姿勢的姿勢命令，確定識別了表示元音的手勢(即，識別了目標)，以及處理繼續(xù)至步驟S110。在步驟SllO中，信息選擇控制單元32讀取作為在信息選項數(shù)據(jù)庫33中所登記的選項的信息，辨認出對應(yīng)于被辨認為姿勢的右手掌的位置的元音，并且將辨認結(jié)果提供至信息裝置系統(tǒng)控制單元34和信息顯示控制單元35。SM列如，當選擇“TA”列作為輔音時，如果辨認了表示手掌通過右臂RH31指向虛擬地設(shè)置在人前面的區(qū)域21的姿勢的姿勢命令(如在圖13中最上行所示)，則選擇“TA”作為元音(如通過選擇位置311所示)。類似地，如在圖13第二行中所示，如果辨認了表示手 掌通過右臂RH32指向虛擬地設(shè)置在人前面的區(qū)域212的姿勢的姿勢命令(如在圖13中第二行中所示)，則選擇“TI”作為元音。如果辨認了表示手掌通過右臂RH32指向虛擬地設(shè)置在人前面的區(qū)域213至215的姿勢的姿勢命令(如在圖13中第二行至第五行中所示)，則選擇“TU”、“TE”以及“T0”作為其各自的元音。在步驟Slll中，信息顯示控制單元35在顯示單元36上顯示對應(yīng)于被辨認為所選擇的元音的字符。即，例如，顯示對應(yīng)于所選擇的元音的字符以使對應(yīng)于在圖13左側(cè)部分中的顯示位置311至315中的每個。另一方面，在步驟S109中確定其不是用于識別輔音的手勢，處理繼續(xù)至步驟S112。在步驟SI 12中，信息選擇控制單元32確定姿勢辨認單元54所提供的姿勢命令或手勢辨認單元56所提供的手勢命令是否是用于選擇確定的姿勢命令或手勢命令。例如，如果其是手掌連續(xù)地運動通過虛擬地布置在人前面的區(qū)域211至215并且選擇一個的手勢或手掌連續(xù)地運動通過虛擬地布置在人前面的區(qū)域211至215的手勢(如在圖7中所示)，則其被確定為表示辨認了確定的手勢，并且處理繼續(xù)至步驟S113。在步驟S113中，信息選擇控制單元32辨認具有當前選擇的輔音和確定的元音的字符，并且將辨認結(jié)果提供至信息裝置系統(tǒng)控制單元34和信息顯示控制單元35。在步驟SI 14中，信息顯示控制單元35在顯示單元36上顯示選擇的字符以使得基于信息選擇控制單元32所提供的信息而進行確定。并且，當在步驟S112中確定其是表示確定的手勢時，處理繼續(xù)至步驟S115。在步驟SI 15中，信息選擇控制單元32確定姿勢辨認單元54所提供的姿勢命令或手勢辨認單元56所提供的手勢命令是否是用于表示完成的姿勢命令或手勢命令。當在步驟S115中確定不是表示完成的姿勢命令或手勢命令時，信息選擇處理完成。另一方面，在步驟S115中，例如，當提供了表示雙臂的運動的姿勢命令時，信息選擇控制單元32在步驟S116中確定辨認了表示完成的姿勢命令，并且辨認出處理完成。以上描述的一系列處理總結(jié)如下。S卩，當做出了如在圖14的狀態(tài)Pll中的用戶人體的左臂LH51所示的以如通過箭頭351所示的基本上圓形的運動手掌的手勢時，其被確定為表示了開始，并且處理開始。此時，如在圖14中的狀態(tài)Pll所示，缺省地選擇“A”列作為輔音，并且還選擇了元音“A”。然后，做出了在箭頭361的方向上以90度逆時針旋轉(zhuǎn)在狀態(tài)Pll中的左臂LH51的手勢(如在狀態(tài)P12中通過LH52所示)，并且做出了指向通過從右臂RH51運動而由右臂RH52所表示的區(qū)域215的姿勢。在這種情況中，連同手勢，輔音從“A”列運動至“KA”列，并且此外，通過姿勢“KA”列中的“K0”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“K0”。接下來，做出了在箭頭371的方向上以270度順時針旋轉(zhuǎn)在狀態(tài)P12中的左臂LH52的手勢(如在狀態(tài)P13中通過LH53所示)，并且在不大量的運動右臂RH52的情況下做出了指向如通過右臂RH53所示的區(qū)域215的姿勢。在這種情況中，對于連同手勢的每個90度旋轉(zhuǎn)輔音通過“A”和“濁音標記”列運動至“WA”列，并且此外，通過姿勢，“WA”列中的“N”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“N”。并且，做出了在箭頭381的方向上以450度逆時針旋轉(zhuǎn)在狀態(tài)P13中的左臂LH53的手勢(如在狀態(tài)P12中通過LH52所示)，并且做出了指向通過從右臂RH53運動而來的右臂RH54所表示的區(qū)域212的姿勢。在這種情況中，對于連同手勢的每個90度旋轉(zhuǎn)輔音通過“濁音標記”、“A”、“KA”、“SA”以及“TA”列運動至“NA列”，并且此外，通過姿勢，“NA，，列中的“NI”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“NI”。 此外，做出了在箭頭391的方向上以90度順時針旋轉(zhuǎn)在狀態(tài)P14中的左臂LH54的手勢(如在狀態(tài)P15中通過LH55所示)，并且做出了指向右臂RH55以對于右臂RH54相同的方式所表示的區(qū)域212的姿勢。在這種情況中，連同手勢輔音運動至“TA”列，并且此外，通過姿勢，“TA”列中的“TI”被識別為元音。在這種情況中，做出了表示確定的手勢時，選擇 “TI”。以及，做出了在箭頭401的方向上以180度順時針旋轉(zhuǎn)在狀態(tài)P15中的左臂LH55的手勢(如在狀態(tài)P16中通過LH56所示)，并且做出了指向通過從右臂RH55運動而來的右臂RH56所表示的區(qū)域211的姿勢。在這種情況中，連同手勢輔音通過“NA”列運動至“HA”列，并且此外，通過姿勢，“HA”列中的“HA”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“HA”。最終，如在狀態(tài)P16中所示，如通過左臂LH57和右臂RH57所示，表示完成的一系列向下運動雙臂的手勢和姿勢導致了 “K0NNITIHA”(英語中意為“hello”)的確定和輸入。以這樣的方式，使用左臂和右臂的手勢和姿勢允許字符的輸入。這時，采用姿勢信息辨認了姿勢，并且采用姿勢信息的按時序排列的信息辨認了手勢。因此，基于人體的單個部分的運動或位置，可以消除如果選擇或者輸入選項時可能發(fā)生的錯誤辨認(諸如不能區(qū)別左臂和右臂)。在前述中，作為示例描述了基于人體的上半部的八個節(jié)點所獲得姿勢信息和部分的運動輸入字符的技術(shù)。然而，可能將以下三種狀態(tài)添加到特征中手指緊握在手掌中的狀態(tài)(石頭)、僅有食指和中指伸展的狀態(tài)(剪刀)以及打開手的狀態(tài)(布)。即使當使用與識別元音的方法中相同的方式時，這可以增加使用姿勢領(lǐng)命識別元音的方法的變化范圍，諸如允許在石頭狀態(tài)下常規(guī)字符的選擇、剪刀狀態(tài)下濁音標記的選擇以及布狀態(tài)下半濁音標記的選擇的切換(如在圖11中右側(cè)部分所示)。并且，在假名字符之外，用與以上描述的選擇輔音的方法類似的方式通過旋轉(zhuǎn)手勢也可能選擇“a”、“e”、“i”、“m”、“q”、“U”以及“y”(如在圖15中的左側(cè)部分中所示)。然后，用與以上描述的元音的選擇類似的方式可能在〃a，b，c，d"中選擇〃a”、在〃e，f，g，h〃中選擇〃e”、在〃i, j, k, 1〃中選擇〃i ”、在〃m, η, ο, ρ"中選擇〃m”、在〃q, r, s, t"中選擇〃q”、在〃u，v, w, x〃中選擇〃u”以及在〃y，z〃中選擇〃y〃。此外，如果啟用了采用手掌狀態(tài)的識別，用通過與以上描述的選擇輔音的方法類似的方式旋轉(zhuǎn)手勢，還可以選擇“a”、“h”、〃l”、“q”、以及“w”(如在圖15中右側(cè)部分所示)。然后，用與以上描述的元音的選擇類似的方式可能在〃a，b，c，d，e，f，g"中選擇〃a”、在〃h, i, j, k〃 中選擇 〃h”、在 〃q, r, s, t, u, v〃 中選擇 〃q”、以及在"w, x, y, z〃 選擇 〃w〃。以及，在圖15中右側(cè)部分中所示的情況中，即使未使用采用手掌的狀態(tài)的識別，可能增加虛擬地設(shè)置在人前面的區(qū)域211至215。在這種情況中，例如，可能使用具有區(qū)域501至509的九個(=3*3)區(qū)域的配置(如在圖16狀態(tài)P42中所示)。S卩，例如，如通過圖16的狀態(tài)P41中的用戶人體的左臂LH71所示，當做出了基本上以圓形的形狀運動手掌的手勢時(通過箭頭411所示)，確定表示了開始，并且開始處理。此時，如在圖16的狀態(tài)P41所示，缺省選擇“a”列作為輔音，并且還選擇“a”作為元音。然后，當做出了在箭頭412的方向上以90度逆時針旋轉(zhuǎn)在狀態(tài)P41中的左臂LH71·的手勢(如在狀態(tài)P42中通過LH72所示)，并且做出了指向通過從右臂RH71運動而來的右臂RH72所表示的區(qū)域503的姿勢時，連同手勢輔音從“a”列運動至“h”列，并且此外，通過姿勢“h”列中的“h”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“h”。接下來，當做出了在箭頭413的方向上以90度順時針旋轉(zhuǎn)在狀態(tài)P42中的左臂LH72的手勢(如在狀態(tài)P43中通過LH73所示)，并且做出了指向通過從右臂RH72運動而來的右臂RH73所表示的區(qū)域505的姿勢時，對于連同手勢的每個90度的旋轉(zhuǎn)輔音運動至“a”列，并且此外，通過姿勢“a”列中的“e”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“e”。并且，當做出了在箭頭414的方向上以180度逆時針旋轉(zhuǎn)在狀態(tài)P43中的左臂LH73的手勢(如在狀態(tài)P44中通過LH74所示)，并且做出了指向通過從右臂RH72運動而來的右臂RH73所表示的區(qū)域505的姿勢時，對于連同手勢的每個90度的旋轉(zhuǎn)輔音通過“h”列運動至“ I ”列，并且此外，通過姿勢“ I ”列中的“ I ”被識別為元音。在這種情況中，當做出了表示確定的手勢時，選擇“I”。此外，如通過狀態(tài)45中的左臂LH75和右臂RH75所示，當做出了表示確定的手勢而同時保持狀態(tài)P44時，再次選擇“I”。以及，如通過狀態(tài)P46中的左臂LH76所示，當做出了指向通過從右臂RH75運動至右臂RH76所表示的區(qū)域506的姿勢而同時保持狀態(tài)P45中的左臂LH75時，“I”列中的“ο”被識別為元音。在這種狀態(tài)中，當做出了表示確定的手勢時，選擇“O”。最終，如通過狀態(tài)Ρ47中的左臂LH77和右臂RH77所示，表示完成的一系列運動雙臂向下的手勢和姿勢輸入了 “hello”。應(yīng)當注意，在前面描述了通過對于每個90度的旋轉(zhuǎn)角度以單個字符運動輔音的示例。然而，可能不使用旋轉(zhuǎn)角度。例如，響應(yīng)于旋轉(zhuǎn)速度可能改變輔音運動的字符數(shù)量；對于高速度，可能增加運動的字符的數(shù)量，并且對于低速度，可能減少運動的字符的數(shù)量。并且，描述了使用三維空間中的人體的每個節(jié)點的位置和角度的坐標信息作為姿勢信息的示例。然而，可能添加諸如打開或閉合手掌或者打開或閉合眼睛以及嘴的信息以使其可區(qū)別。此外，在前述中，描述了輸入假名字符和字母表的字母作為選項的示例。然而，選項不限于字符，并且可能使用文件列表或文件夾列表選擇文件或文件夾。在這種情況中，類似于上述的元音或輔音，通過創(chuàng)建日期或文件大小可能識別并選擇文件或文件夾。一個這樣的文件的示例可以是照片文件。在這種情況中，類似于上述的元音或輔音，通過諸如獲得圖像的年份、月份、日期、星期或時間的信息可能分類并選擇文件。根據(jù)上述，在人體姿勢或手勢的辨認中，即使存在通過例如交叉右臂和左臂所導致的部分隱藏部分，也可以區(qū)別并辨認右臂和左臂，并且可以輸入信息而同時可以作出有限空間的最好的可能的使用。因此，可以從大量的信息選項中選擇期望的信息而不增加手臂的運動量，減少用戶疲勞的輸入操作的作用所導致的抑制了減少的輸入信息的意愿，以及可以實現(xiàn)具有容易操作的信息選擇處理。并且，同時辨認通過右手和左手做出的不同手勢允許高速信息選擇并且同樣允許通過連續(xù)操作(諸如類似單一操作的勾畫的操作)的選擇。此外，僅使用少量的簡單手勢(諸如用于確定操作的手的形狀的旋轉(zhuǎn)或改變，例如滑動操作)可以選擇并輸入大量的信息。因此，可以實現(xiàn)允許用戶容易的掌握操作并且即使是初學者也可以容易地使用的用戶界面。
附帶地，盡管可以通過硬件執(zhí)行上述的一系列處理，但是也可以通過軟件執(zhí)行。如果通過軟件執(zhí)行一系列處理，可以將形成軟件的程序從記錄介質(zhì)安裝到適當?shù)挠布ǖ挠嬎銠C上或安裝到能夠使用安裝在其上的各種程序執(zhí)行各種功能的計算機上(例如通用的個人計算機)。圖17示出了通用個人計算機的配置示例。個人計算機包括中央處理單元(CPU)1001。CPU 1001通過總線1004連接至輸入/輸出接口 1005?？偩€1004連接至只讀存儲器(ROM) 1002和隨機訪問存儲器(RAM) 1003。輸入/輸出接口 1005連接至包括用戶輸入操作命令的輸入裝置的輸入單元106(諸如，鍵盤或鼠標)，輸出單元1007用于將處理操作屏幕的圖像或處理的結(jié)果輸出至顯示裝置，存儲單元1008包括保持程序和各種數(shù)據(jù)的硬盤驅(qū)動器，以及通信單元1009包括例如局域網(wǎng)(LAN)適配器，并且通過網(wǎng)絡(luò)(通常通過因特網(wǎng))執(zhí)行通信處理。其通常連接至用于向可移動的介質(zhì)1011寫入數(shù)據(jù)和從可移動介質(zhì)1011讀取數(shù)據(jù)的驅(qū)動器1010，諸如磁盤(包括軟盤)、光盤(包括壓縮磁盤只讀存儲器(⑶-ROM)和數(shù)字激光視盤(DVD))、磁光盤(迷你光盤(MD))或半導體存儲器。CPU 1001依照ROM 1002中所存儲的程序或從安裝在存儲單元1008中的可移動介質(zhì)1011 (例如，磁盤、光盤、磁光盤或半導體存儲器)所讀取的并且載入到RRM 1003中的程序，執(zhí)行各種處理。如果需要，RAM1003還存儲CPU 1001執(zhí)行各種處理所需的數(shù)據(jù)。應(yīng)當注意,在本說明中，描述記錄介質(zhì)中所記錄的程序的步驟包括按時序地以聲明的順序執(zhí)行的處理，當然也包括不必按時序執(zhí)行并且以并行方式或基于個體的執(zhí)行的處理。在參照圖I的上述的信息處理設(shè)備11的功能組件要素中，非接觸捕獲單元31、信息選擇控制單元32、信息裝置系統(tǒng)光控制單元34、信息顯示控制單元35、顯示單元35、成像單元51、人體姿勢估計單元52、姿勢辨認單元54以及手勢辨認單元56可以實現(xiàn)為使用包括一個或多個集成電路的電路配置，或可以實現(xiàn)為通過CPU (中央處理單元)執(zhí)行存儲單元1008中所存儲的程序的軟件。存儲單元1008通過組合存儲設(shè)備(諸如ROM(例如ROM 1002)或RAM)，或可運動存儲介質(zhì)(例如，可運動介質(zhì)1011)(諸如光盤、磁盤或半導體存儲器)而實現(xiàn)，或者實現(xiàn)為任何額外的或替選的組合。參考標記列表11信息輸入設(shè)備31非接觸捕獲單元32信息選擇控制單元33信息選項數(shù)據(jù)庫34信息裝置系統(tǒng)控制單元
35信息顯示控制單元36顯示單元51成像單元52人體姿勢估計單元53姿勢存儲數(shù)據(jù)庫54姿勢辨認單元55分類的姿勢存儲數(shù)據(jù)庫56手勢辨認單元57姿勢歷史數(shù)據(jù)緩沖器，以及58手勢存儲數(shù)據(jù)庫
權(quán)利要求
1.一種設(shè)備，包括 接收單元，其被配置成接收與人體的第一部分相關(guān)的第一空間位置以及與所述人體的第二部分相關(guān)的第二空間位置； 識別單元，其被配置成至少基于所述第一空間位置來識別一組目標；以及 選擇單元，其被配置成基于所述第二空間位置來選擇所述已識別出的組中的目標。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中所述人體的所述第一部分在左肩部的末端，并且所述人體的所述第二部分在右肩部的末端。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中 所述第一空間位置與沿所述人體的所述第一部分布置的第一參考點相關(guān)；并且所述第二空間位置與沿所述人體的所述第二部分布置的第二參考點相關(guān)。
4.根據(jù)權(quán)利要求3所述的設(shè)備，還包括 被配置成從數(shù)據(jù)庫檢索與所述人體的所述第一部分和所述第二部分相關(guān)的姿勢信息的單元，所述姿勢信息包括對應(yīng)于所述第一參考點和所述第二參考點的多個空間位置。
5.根據(jù)權(quán)利要求4所述的設(shè)備，還包括 確定單元，其被配置成至少基于所述檢索到的姿勢信息，確定所述第一空間位置是否與第一手勢相關(guān)。
6.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述確定單元還被配置成 將所述第一空間位置和與所述第一參考點相關(guān)的所述姿勢信息進行比較；和當所述第一空間位置對應(yīng)于與所述第一參考點相關(guān)的所述姿勢信息的空間位置中的至少一個時，確定所述第一空間位置與所述第一手勢相關(guān)。
7.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述識別單元還被配置成 當所述第一空間位置與所述第一手勢相關(guān)時，為所述第一空間位置分配第一命令。
8.根據(jù)權(quán)利要求7所述的設(shè)備，其中所述識別單元還被配置成 依照所述第一命令識別所述一組目標。
9.根據(jù)權(quán)利要求4所述的設(shè)備，其中所述識別單元還被配置成 基于所述第一空間位置與對應(yīng)于所述第一參考點的所述姿勢信息的至少一個空間位置之間的比較，確定第一手勢的特征。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述特征包括速度、位移或角位移中的至少一個。
11.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述識別單元還被配置成 至少基于所述第一手勢的所述第一空間位置和所述特征來識別所述一組目標。
12.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述識別單元還被配置成 當所述第一空間位置不與所述第一手勢相關(guān)時，為所述第一空間位置分配通用命令。
13.根據(jù)權(quán)利要求5所述的設(shè)備，其中所述確定單元還被配置成 至少基于所述檢索到的姿勢信息，確定所述第二空間位置是否與第二手勢相關(guān)。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中所述確定單元還被配置成 將所述第二空間位置和與所述第二參考點相關(guān)的所述姿勢信息進行比較；和當所述第二空間位置對應(yīng)于與所述第二參考點相關(guān)的所述姿勢信息的空間位置中的至少一個時，確定所述第二空間位置與所述第二手勢相關(guān)。
15.根據(jù)權(quán)利要求14所述的設(shè)備，其中所述選擇單元還被配置成 當所述第二空間位置與所述第二手勢相關(guān)時，為所述第二空間位置分配第二命令。
16.根據(jù)權(quán)利要求15所述的設(shè)備，其中所述選擇單元還被配置成 至少基于所述第二命令選擇所述已識別出的組中的所述目標。
17.根據(jù)權(quán)利要求I所述的設(shè)備，還包括 成像單元，其被配置成捕獲至少包括所述人體的所述第一部分和所述第二部分的圖像。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其中所述檢索單元還被配置成 處理所捕獲的圖像以識別所述第一空間位置和所述第二空間位置。
19.根據(jù)權(quán)利要求I所述的設(shè)備，還包括 被配置成執(zhí)行對應(yīng)于所選擇的目標的功能的單元。
20.一種計算機可執(zhí)行的方法，所述方法用于界面的手勢控制，所述方法包括 接收與所述人體的第一部分相關(guān)的第一空間位置以及與所述人體的第二部分相關(guān)的第二空間位置； 至少基于所述第一空間位置來識別一組目標；以及 至少基于所述第二空間位置，來使用處理器選擇所述已識別出的組中的目標。
21.一種存儲程序的非暫態(tài)計算機可讀的存儲介質(zhì)，當通過處理器執(zhí)行所述程序時，所述程序使處理器執(zhí)行用于界面的手勢控制的方法，其包括 接收與所述人體的第一部分相關(guān)的第一空間位置以及與所述人體的第二部分相關(guān)的第二空間位置； 至少基于所述第一空間位置來識別一組目標；以及 至少基于所述第二空間位置來選擇已識別出的組中的目標。
全文摘要
一種設(shè)備和方法提供了用于提供手勢控制的邏輯。在一個實現(xiàn)中，設(shè)備包括接收單元，該接收單元被配置成接收與人體的第一部分相關(guān)的第一空間位置和與人體第二部分相關(guān)的第二空間位置。識別單元被配置成至少基于第一空間位置識別一組目標，以及選擇單元被配置成基于第二空間位置選擇已識別出的組中的目標。
文檔編號G06F3/01GK102906670SQ20118002575
公開日2013年1月30日 申請日期2011年5月25日 優(yōu)先權(quán)日2010年6月1日
發(fā)明者渡邊明香 申請人:索尼公司