專利名稱：計算機裝置的遠(yuǎn)程控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機裝置的控制，更具體但非排他地，涉及用于計算機裝置遠(yuǎn)程控制的系統(tǒng)和方法。
背景技術(shù)：
當(dāng)前，存在著用于遠(yuǎn)程控制計算機裝置的各種方法。某些當(dāng)前使用的方法使計算機用戶能夠使用一個或多個身體部位(諸如用戶的手臂或腿)以預(yù)定姿勢來控制計算機裝置。采用目前使用的方法，存在已定義的一組分立的姿勢。一旦用戶的身體部位看似與預(yù)定位置對齊，就檢測到姿勢。從而，該計算機裝置執(zhí)行預(yù)定功能。采用現(xiàn)有方法，各姿勢一旦被檢測到，便激活針對特定姿勢預(yù)先定義的計算機操作?，F(xiàn)有的方法通常包括初始設(shè)置階段。在該設(shè)置階段中，存在被定義的一組分立的姿勢以及針對該組中的各特定姿勢的計算機功能。該姿勢可通過各種目前使用的方法來檢測。例如，一些現(xiàn)有方法包括對數(shù)字視頻流的常規(guī)圖像分析。分析該視頻圖像以檢測主要身體部位的定位和位置。若身體部位與預(yù)定位置對齊，則由計算機裝置執(zhí)行預(yù)定功能。采用常規(guī)的圖像分析方法，對身體部位的檢測是通過分析視頻圖像中的各個像素來進行的。通過在某像素的顏色值與接近該像素的其他像素的值之間進行比較來分析該像素。也就是說，常規(guī)的圖像分析方法依賴于身體部位與背景對象之間在顏色上的顯著差異。其他當(dāng)前使用的方法是基于三維深度圖的計算量很大的計算。深度圖是以下圖像其在每個像素中保留距置于深度攝像機前的對象的一部分的距離。采用三維深度圖，可以證明對用戶的手的位置的提取是相對容易的，原因在于手通常放置在用戶身體的其他部位的前面。因此，可以將三維圖中所處的距離超過一定距離的那部分丟棄?？墒褂酶鞣N方法來計算深度圖。例如，在立體視覺方法中，用兩個以上的攝像機來捕捉用戶身體的圖像。比較并分析由攝像機捕捉的對象的圖像，以產(chǎn)生用戶身體表面上各點的深度位置的三維數(shù)據(jù)，從而生成深度圖。在陰影恢復(fù)形狀方法中，從幾個方向照亮用戶的身體。比較并分析身體的陰影，以產(chǎn)生用戶身體表面上各點的位置的三維數(shù)據(jù)，從而生成深度圖。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種用于計算機裝置的遠(yuǎn)程手控的設(shè)備，該設(shè)備包括手跟蹤器，被配置為跟蹤計算機裝置的用戶的手的運動；圖像呈現(xiàn)器(imagepresenter)，與手跟蹤器相關(guān)，該圖像呈現(xiàn)器被配置為向用戶呈現(xiàn)代表手的第一圖像和第二圖像，并與所跟蹤的運動一致地移動第一圖像；以及計算機控制器，與圖像呈現(xiàn)器相關(guān)并被配置為根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置，從而允許用戶通過移動手以使第一圖像和第二圖像產(chǎn)生交互，來控制計算機裝置。
根據(jù)本發(fā)明的第二方面，提供了一種用于計算機裝置的遠(yuǎn)程手控的計算機實現(xiàn)方法，該方法包括對計算機裝置編程以執(zhí)行包括以下各項的步驟跟蹤計算機裝置的用戶的手的運動，向用戶呈現(xiàn)代表手的第一圖像和第二圖像，并與所跟蹤的運動一致地移動第一圖像，以及根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置，從而允許用戶通過移動手以使第一圖像和第二圖像產(chǎn)生交互，來控制計算機裝置。根據(jù)本發(fā)明的第三方面，提供了一種存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)，該計算機可執(zhí)行指令用于執(zhí)行計算機裝置的遠(yuǎn)程手控的步驟，該步驟包括跟蹤計算機裝置的用戶的手的運動，向用戶呈現(xiàn)代表手的第一圖像和第二圖像，并與所跟蹤的運動一致地移動第一圖像，以及根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置，從而允許用戶通過移動手以使第一圖像和第二圖像產(chǎn)生交互，來控制計算機裝置。除非另有定義，否則本文使用的所有科技術(shù)語均具有與本發(fā)明所屬領(lǐng)域的普通技術(shù)人員通常理解的相同含義。本文提供的材料、方法以及實例僅是示例性的，且并不旨在進行限定。本發(fā)明的方法和系統(tǒng)的實現(xiàn)涉及手動、自動或其結(jié)合來執(zhí)行或完成一定的所選任務(wù)或步驟。而且，根據(jù)本發(fā)明的方法和系統(tǒng)的優(yōu)選實施方式的實際儀器和設(shè)備，數(shù)個所選步驟可通過硬件或通過在任何固件的任何操作系統(tǒng)上的軟件或其結(jié)合來執(zhí)行。例如，作為硬件，本發(fā)明的所選步驟可作為芯片或電路來實現(xiàn)。作為軟件，本發(fā)明的所選步驟可作為由使用任何合適的操作系統(tǒng)的計算機執(zhí)行的多個軟件指令來實現(xiàn)。無論何種情況，本發(fā)明的方法和系統(tǒng)的所選步驟均可被描述為由數(shù)據(jù)處理器(諸如用于執(zhí)行多個指令的計算平臺)來執(zhí)行。


參照附圖，本文僅以示例的方式描述本發(fā)明?，F(xiàn)在詳細(xì)地對附圖進行具體參考，需要強調(diào)的是，所示細(xì)節(jié)僅作為示例且僅用于對本發(fā)明的優(yōu)選實施方式進行示例性討論，以及是為了提供被認(rèn)為是本發(fā)明的原理和概念方面的最有用且最易理解的描述而被提出的。該描述結(jié)合附圖使得在實際中可以如何體現(xiàn)本發(fā)明的多種形式對于本領(lǐng)域技術(shù)人員來說是顯而易見的。附圖中圖I是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的設(shè)備的框圖。圖2是示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的方法的流程圖。圖3是示意性示出根據(jù)本發(fā)明示例性實施方式的存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)的框圖，其中，該可執(zhí)行指令用于執(zhí)行計算機裝置的遠(yuǎn)程手控的步驟。圖4示意性示出了根據(jù)本發(fā)明示例性實施方式的用光圖案投射的手。圖5示意性示出了根據(jù)本發(fā)明示例性實施方式的用具有強度記號的光圖案投射的手。圖6是示意性示出根據(jù)本發(fā)明示例性實施方式的使用計算機鍵盤的圖像的計算機裝置的遠(yuǎn)程手控的框圖。圖7是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第一姿勢的框圖。圖8是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第二姿勢的框圖。圖9是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第三姿勢的框圖。圖10是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第四姿勢的框圖。
圖11是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的系統(tǒng)的框圖。
具體實施例方式本實施方式包括用于計算機裝置的遠(yuǎn)程手控的設(shè)備及方法。根據(jù)本發(fā)明的示例性實施方式，連續(xù)跟蹤計算機裝置的用戶的手的運動。向用戶呈現(xiàn)代表手的第一圖像以及第二圖像。第一圖像可以是呈現(xiàn)在屏幕上的、用戶的手的完整且精確的動態(tài)圖像?？商鎿Q地，第一圖像還可由代表手指尖位置的五個光標(biāo)組成。第一圖像還可具有任何給出與第二圖像關(guān)聯(lián)的、有關(guān)指頭(即，手指、拇指或二者)位置的用戶信息的其他可視外觀，如下文更詳細(xì)描述的。當(dāng)用戶移動他的手(或僅他的手指或拇指)時，第一圖像與所跟蹤的運動一致地運動。也就是說，第一圖像的運動與用戶的手的運動相關(guān)。若用戶向左移動他的手，則第一圖像向左移動。若用戶彎曲他的一個手指，則第一圖像也彎曲該手指(或因此移動代表該手指尖位置的光標(biāo))等。作為選擇，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置，就好像第一圖像是用戶自己的手，而且第二圖像是呈現(xiàn)在觸摸屏上的⑶I，其允許用戶通過用他自己的手指觸摸該觸摸屏來與⑶I的菜單、按鈕等交互。也就是說，允許用戶通過移動用戶的手或手指以使第一圖像和第二圖像產(chǎn)生交互來控制計算機裝置。作為選擇，第二圖像還可以是代表計算機輸入裝置(比如說本領(lǐng)域已知的計算機鍵盤、計算機鼠標(biāo)、操縱桿等)的圖像。根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置，就好像圖像中的手是用戶自己的手，并且第二圖像是連接至計算機裝置的真實的計算機輸入裝置，例如任何標(biāo)準(zhǔn)計算機外圍設(shè)備(比如說鍵盤、操縱桿等)。因此，允許用戶通過移動用戶的手以使第一圖像和第二圖像產(chǎn)生交互來控制計算機裝置。
因此，利用用戶的手的運動的計算機裝置的遠(yuǎn)程控制是基于連續(xù)的用戶界面(continuous user interface),而不是基于局限于預(yù)定的一組特定姿勢的界面(盡管也可定義特定姿勢)。在一種實例中，若用戶移動他的手，則第一圖像在計算機鍵盤的圖像上方移動，并且若用戶以打字運動方式移動他的手指，則計算機裝置進行響應(yīng)，就好像用戶使用真實的鍵盤打字一樣，如下文更詳細(xì)描述。參照附圖和附帶的描述可更好地理解根據(jù)本發(fā)明示例性實施方式的設(shè)備和方法的原理和操作。在詳細(xì)說明本發(fā)明的至少一個實施方式之前，需要理解的是，本發(fā)明在其應(yīng)用方面不限于以下描述中所闡述的或在附圖中所示出的部件的結(jié)構(gòu)和配置的細(xì)節(jié)。本發(fā)明可以包括其他實施方式或能夠以各種方式被實施或執(zhí)行。同時，需要理解 的是，本文采用的措辭和術(shù)語是為了描述的目的，且不應(yīng)被看作限定。現(xiàn)參照圖1，其是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的設(shè)備的框圖。設(shè)備1000可在計算機裝置上實現(xiàn)，該計算機裝置可以是桌上型計算機、筆記本計算機、蜂窩電話等。設(shè)備1000還可以在可連接至計算機裝置的某裝置上(比如說在與計算機裝置通信的具有計算機處理器的單元上)實現(xiàn)。而且，設(shè)備1000可作為軟件、作為硬件或作為軟件和硬件的結(jié)合來實現(xiàn)。設(shè)備1000包括手跟蹤器110。手跟蹤器110，比如說使用以針對跟蹤手指和拇指的精細(xì)運動有用的圖案所構(gòu)造的光所投射的手的圖像，來跟蹤計算機裝置的用戶的手的運動，如下文更詳細(xì)描述。作為選擇，手跟蹤器110遠(yuǎn)離計算機裝置，如下文更詳細(xì)描述。設(shè)備1000還包括與手跟蹤器110通信的圖像呈現(xiàn)器120。圖像呈現(xiàn)器120呈現(xiàn)代表手的第一圖像以及第二圖像。作為選擇，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。作為選擇，第二圖像還可以代表諸如計算機鼠標(biāo)或計算機鍵盤的計算機輸入裝置，如下文更詳細(xì)描述。作為選擇，第二圖像是另一圖形對象、圖片等。第一圖像可以是呈現(xiàn)在屏幕上的、用戶的手的完整且精確的動態(tài)圖像?？商鎿Q地，第一圖像還可由代表手指尖位置的五個光標(biāo)組成。第一圖像還可具有任何給出與第二圖像相關(guān)的、關(guān)于指頭(即，手指、拇指或二者)位置的用戶信息的其他可視外觀。圖像呈現(xiàn)器120還將第一圖像與手跟蹤器110跟蹤的用戶的手的運動一致地移動，如下文更詳細(xì)描述。設(shè)備1000還包括與圖像呈現(xiàn)器120通信的計算機控制器130。作為選擇，計算機控制器130是桌上型計算機、筆記本計算機等的一部分，如下文更詳細(xì)描述。作為選擇，計算機控制器130是安裝在車內(nèi)的裝置的一部分，如下文更詳細(xì)描述。作為選擇，計算機控制器130是蜂窩電話(比如說智能電話)的一部分，如下文更詳細(xì)描述。計算機控制器130根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置。因此，計算機控制器130允許用戶通過移動手以使第一圖像和第二圖像產(chǎn)生交互來控制計算機裝置，如下文更詳細(xì)描述。
在一種實例中，若用戶移動他的手，則圖像呈現(xiàn)器120在計算機鍵盤的圖像上方移動第一圖像。若用戶以打字運動方式移動他的手指，則計算機控制器130控制計算機裝置，使該計算機裝置進行響應(yīng)，就好像用戶使用真實的鍵盤打字一樣，如下文更詳細(xì)描述。在第二實例中，若用戶移動他的手，則圖像呈現(xiàn)器120在計算機鼠標(biāo)的圖像上方移動第一圖像。若用戶以單擊運動方式移動他的手指，則第一圖像的手指以與手的動作的運動精確相關(guān)的單擊運動方式來運動。因此，計算機裝置根據(jù)第一圖像關(guān)于計算機鼠標(biāo)圖像的位置(即，第一圖像的手指置于在該圖像中的計算機鼠標(biāo)的按鍵上方)，進行響應(yīng)，就好像用戶單擊真實的計算機鼠標(biāo)的某個按鈕一樣。在第三實例中，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。計算機控制器130根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置?？刂朴嬎銠C裝置，就好像第一圖像是用戶自己的手，而且第二圖像是呈現(xiàn)在觸摸屏上的⑶I，其允許用戶通過用他的手指觸摸該觸摸屏來與GUI的菜單、按鈕等交互。作為選擇，手跟蹤器110使用用于跟蹤手的運動的二維視頻數(shù)據(jù)，比如說從連接至手跟蹤器110的攝像機連續(xù)輸出的二維視頻圖像，如下文更詳細(xì)描述。作為選擇，手跟蹤器110通過檢測在投射到手上的光圖案中的連續(xù)特征的分段(即，分割段)來跟蹤運動。光圖案具有在第一方向上的連續(xù)特征，并且在與第一方向基本垂直的方向上具有不連續(xù)(比如說周期性)特征，如下文更詳細(xì)描述。在一種實施方式中，光圖案包括相互平行(或接近平行)排列的若干條紋。手跟蹤器110可在光圖案中識別出由手的指頭(即，手指或拇指)分割條紋而產(chǎn)生的一簇(cluster)以上的一個或多個條紋分段，如下文更詳細(xì)描述。手跟蹤器110通過跟蹤由指頭分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤指頭的運動。作為選擇，手跟蹤器110還在光圖案中識別出由手掌分割條紋而產(chǎn)生的一簇以上的一個或多個條紋分段。手跟蹤器110通過跟蹤由手掌分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤手的運動。作為選擇，手跟蹤器110還可檢測在投射到手上的光圖案中沿著連續(xù)特征的記號的位置的移位。手跟蹤器110使用在手的跟蹤中所檢測到的移位，如下文更詳細(xì)描述。作為選擇，手跟蹤器110還識別指頭的深度運動(比如說類似于單擊或觸摸屏幕等操作的運動)，如下文更詳細(xì)描述。作為選擇，在檢測到由手指頭和手掌產(chǎn)生的條紋分段簇之后，只跟蹤手掌和指頭的條紋分段簇，從而跟蹤手的運動。因此，可去除該條紋分段簇之外的視頻數(shù)據(jù)部分，諸如背景條紋分段和附加圖像信息等。從而，可大大減少用于跟蹤運動的計算量和處理時間。作為選擇，設(shè)備1000還包括與手跟蹤器110通信的光投影機和攝像機，如下文更詳細(xì)描述。在一種實例中，光投影機、攝像機或這二者遠(yuǎn)離計算機裝置，如下文更詳細(xì)描述。作為選擇，光投影機包括如本領(lǐng)域已知的光源和微結(jié)構(gòu)元件。光源可以是如本領(lǐng)域已知的激光二極管、發(fā)光二極管(LED)以及任何發(fā)出光束的其他元件。由光源發(fā)出的光束通過微結(jié)構(gòu)元件傳播至用戶的手。微結(jié)構(gòu)元件改變光束以產(chǎn)生投射到用戶的手上的光圖案，如下文更詳細(xì)描述。作為選擇，該微結(jié)構(gòu)元件將光束轉(zhuǎn)換成截面強度分布可變的光束。從而，截面強度分布沿光束變化，因此提供了表示對象(比如說用戶的一個指頭)離光源的距離的信息，如下文更詳細(xì)描述。作為選擇，光投影機將在第一方向上具有連續(xù)特征并在基本垂直第一方向的方向上具有非連續(xù)特征的光圖案投射到手上，如下文更詳細(xì)描述。作為選擇，如本領(lǐng)域已知的，微結(jié)構(gòu)單元是衍射光學(xué)元件。如本領(lǐng)域已知的，衍射光學(xué)元件可利用將光束分成具有一維或二維空間布置的離散數(shù)量的點的周期性微結(jié)構(gòu)來獲得。作為選擇，諸如柱面微透鏡陣列或附加衍射元件的附加元件被用于從各點產(chǎn)生條紋。作為選擇，條紋用定位在沿著條紋的彼此相隔固定距離的相位記號來標(biāo)記，如下文更詳細(xì)描述。 如本領(lǐng)域已知的，使用諸如柱面微透鏡陣列的附加微結(jié)構(gòu)元件的可能優(yōu)勢在于附加元件可分散光束(諸如激光束)的零階光束。零階是從衍射元件輸出的光斑的中心，并且可以由相對高的能量來表征。將零階分散為諸如條紋的光結(jié)構(gòu)，可以讓激光束的強度增大，但不會超越眼睛的安全極限。作為選擇，光投影機還包括附加衍射元件，其相對于距反射該投射條紋的對象的距離來改變光圖案中各條紋的截面強度分布。截面強度分布是垂直于投射光的傳播方向的強度分布。作為選擇，強度分布變化是當(dāng)投射光傳播至對象并被該對象的表面反射回來時，沿著投射光經(jīng)過的距離逐漸進行的、從高斯截面強度分布到TopHat截面強度分布的漸變。作為選擇，如本領(lǐng)域已知的，強度分布變化是從具有單個峰值的強度分布向具有兩個以上峰值的強度分布等的漸變。沿著從具有光圖案的光投射的對象所反射的光經(jīng)過的距離，強度分布的變化可有助于在不同范圍的不同對象所反射的條紋之間進行區(qū)分，因此更有助于克服分段一致(segment unification)問題，如下文更詳細(xì)討論。而且，強度分布的改變還可被用于直接測量到對象(比如說用戶的手、手指和拇指)的距離。
攝像機可以是定位在光投影機附近的視頻攝像機，諸如網(wǎng)絡(luò)攝像頭或蜂窩電話的攝像機。攝像機捕捉用光圖案投射的手的一幅或多幅圖像，并將所捕捉的圖像傳送至手跟蹤器110。手跟蹤器110用捕捉到的圖像來跟蹤手的運動，如下文更詳細(xì)描述。
作為選擇，設(shè)備1000還包括與手跟蹤器110通信的姿勢識別器。姿勢識別器在跟蹤到的手的運動中檢測由設(shè)備1000的管理員預(yù)先定義的姿勢。在檢測到該姿勢時，計算機控制器130按照針對檢測到的姿勢預(yù)先定義的方式來控制計算機裝置，如下文更詳細(xì)描述。作為選擇，一旦檢測到預(yù)先定義的特定姿勢，圖像呈現(xiàn)器120就將第一圖像對齊到預(yù)定位置。在一種實例中，若用戶擺動他的手，則圖像呈現(xiàn)器120將第一圖像對齊到第二圖像(比如說計算機鍵盤圖像)上方的中心位置。作為選擇，一旦檢測到預(yù)先定義的特定姿勢，圖像呈現(xiàn)器120調(diào)整第一圖像(SP，手的圖像)的大小，如下文更詳細(xì)描述?，F(xiàn)參照圖2，其示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的方法的流程圖。 根據(jù)本發(fā)明的示例性實施方式的示例性方法可以在計算機裝置上實現(xiàn)，該計算機裝置是桌上型計算機、筆記本計算機、蜂窩電話等。該示例性方法還可在連接至計算機裝置的某裝置上實現(xiàn)，比如說在與該計算機裝置通信的具有計算機處理器的單元上，如上文更詳細(xì)描述。在該示例性方法中，對于計算機裝置的用戶的手的運動進行跟蹤(210)，比如說使用以用于跟蹤手指和拇指的精細(xì)運動的圖案而構(gòu)造的光投射的手的圖像，如下文更詳細(xì)描述。作為選擇，是用手跟蹤器110來跟蹤該運動，如上文更詳細(xì)描述。同時，比如說在計算機裝置的屏幕上，向用戶呈現(xiàn)(220)代表手的第一圖像和第二圖像。作為選擇，第二圖像和第一圖像通過圖像呈現(xiàn)器120而被呈現(xiàn)給用戶，如上文更詳細(xì)描述。作為選擇，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。作為選擇，第二圖像還可代表計算機輸入裝置，比如說鍵盤或計算機鼠標(biāo)，如下文更詳細(xì)描述。作為選擇，第二圖像是另一圖形對象、圖片等。第一圖像可以是在屏幕上呈現(xiàn)的、用戶的手的完整且精確的動態(tài)圖像?？商鎿Q地，第一圖像還可由表示手指尖位置的五個光標(biāo)組成。第一圖像還可具有給出與第二圖像相關(guān)的、關(guān)于指頭(即，手指和拇指)位置的用戶信息的其他可視外觀。第一圖像與手跟蹤器110跟蹤(210)的用戶的手的運動一致地運動，如下文更詳細(xì)描述。比如說，計算機控制器130根據(jù)第一圖像與第二圖像之間的交互來控制(230)計
算機裝置。因此，允許用戶通過移動手以使第一圖像和第二圖像產(chǎn)生交互來控制計算機裝置，如下文更詳細(xì)描述。在一種實例中，若用戶移動他的手，則第一圖像在計算機鍵盤的圖像上方移動。若用戶以打字運動方式移動他的手指，則控制(230)計算機裝置，以使計算機裝置進行響應(yīng)，就好像用戶使用連接至計算機裝置的真實的鍵盤打字一樣，如下文更詳細(xì)描述。在第二實例中，若用戶移動他的手，則第一圖像在計算機鼠標(biāo)的圖像上方移動。
若用戶以單擊運動方式移動他的手指，則第一圖像的手指以與手的移動的運動方式精確相關(guān)的單擊運動來移動。因此，計算機裝置根據(jù)第一圖像相對于計算機鼠標(biāo)圖像的位置(即，利用放置在第二圖像中的計算機鼠標(biāo)的按鍵上方的第一圖像的手指)，作出響應(yīng)，就好像用戶單擊真實的計算機鼠標(biāo)的某個按鈕一樣。在第三實例中，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。根據(jù)圖像之間的交互，比如說由計算機控制器130來控制(230)計算機裝置。計算機裝置被控制(230)，就好像第一圖像是用戶自己的手，而且第二圖像是呈現(xiàn)在觸摸屏上的GUI，其允許用戶通過用他的手指觸摸該觸摸屏來與GUI的菜單、按鈕等交互。作為選擇，使用二維視頻數(shù)據(jù)(比如說從連接至手跟蹤器110的攝像機連續(xù)輸出的二維視頻圖像)執(zhí)行對手的運動的跟蹤(210)，如上文更詳細(xì)描述。
作為選擇，通過檢測投射到手上的光圖案中的連續(xù)特征的分段(B卩，分割段)來跟蹤(210)運動。該光圖案在第一方向上具有連續(xù)特征，并在基本垂直第一方向的方向上具有不連續(xù)(比如說周期性)特征，如下文更詳細(xì)描述。在一種實例中，光圖案包括互相平行(或近似平行)排列的若干條紋。作為選擇，在光圖案中可以識別由手的指頭(B卩，手指或拇指)分割條紋而產(chǎn)生的一簇以上的一個或多個條紋分段，如下文更詳細(xì)描述。因此，通過跟蹤由指頭分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤(210)指頭的運動。作為選擇，還有比如說通過檢測在所跟蹤的簇中的分段數(shù)目的變化來識別指頭的深度運動(比如說類似于單擊或觸摸屏幕等操作的運動)，如下文更詳細(xì)描述。作為選擇，在光圖案中還有識別由手掌分割條紋而產(chǎn)生的一簇以上的一個或多個條紋分段。因此，通過跟蹤由手掌分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤(210 )手的運動。作為選擇，在投射到手上的光圖案中檢測沿著連續(xù)特征的記號的位置的移位。比如說，由手跟蹤器110對手進行跟蹤(210)時使用檢測到的移位，如下文更詳細(xì)描述。作為選擇，示例性方法還包括在所跟蹤(210)的手的運動中，檢測由設(shè)備1000的管理員預(yù)先定義的姿勢。一旦檢測到該姿勢，就以針對該檢測到的姿勢預(yù)先定義的方式匕如說通過計算機控制器130)來控制(230)計算機裝置，如下文更詳細(xì)描述。作為選擇，一旦檢測到預(yù)定姿勢，就將第一圖像對齊至預(yù)定位置。在一種實例中，若用戶擺動他的手，則圖像呈現(xiàn)器120將第一圖像對齊至第二圖像(比如說計算機鍵盤圖像或⑶I)上方的中心位置。作為選擇，一旦檢測到預(yù)定姿勢，就(比如說由圖像呈現(xiàn)器120)調(diào)整第一圖像的大小，如下文更詳細(xì)描述?，F(xiàn)參照圖3，其是示意性示出根據(jù)本發(fā)明示例性實施方式的存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)的框圖，其中，該計算機可執(zhí)行指令用于執(zhí)行計算機裝置的遠(yuǎn)程手控的步驟。根據(jù)本發(fā)明的示例性實施方式，提供了諸如CD-ROM、USB存儲器、便攜式硬盤、磁盤等的計算機可讀介質(zhì)3000。根據(jù)本發(fā)明的示例性實施方式，計算機可讀介質(zhì)3000存儲用于執(zhí)行計算機裝置的遠(yuǎn)程手控的步驟的計算機可執(zhí)行指令。計算機可執(zhí)行指令包括以下步驟比如說，通過使用以針對跟蹤手指和拇指的精細(xì)運動有用的圖案 構(gòu)造的光所投射的手的圖像，來跟蹤(310)計算機裝置的用戶的手的運動，如下文更詳細(xì)描述。計算機可執(zhí)行指令還包括以下步驟比如說在計算機裝置的屏幕上向用戶呈現(xiàn)(320)代表手的第一圖像和第二圖像，如上文更詳細(xì)描述。在步驟320中，第一圖像還與所跟蹤(310)的用戶的手的運動一致地運動，如下文更詳細(xì)描述。作為選擇，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。作為選擇，第二圖像還可代表計算機輸入裝置，比如說鍵盤或計算機鼠標(biāo)，如下文更詳細(xì)描述。作為選擇，第二圖像是另一圖形對象、圖片等。第一圖像可以是在屏幕上呈現(xiàn)的、用戶的手的完整且精確的動態(tài)圖像。可替換地，第一圖像還可由表示手指尖位置的五個光標(biāo)組成。第一圖像還可具有給出與第二圖像相關(guān)的、關(guān)于指頭(即，手指、拇指或二者)位置的用戶信息的其他可視外觀。計算機可執(zhí)行指令還包括以下步驟根據(jù)第一圖像與第二圖像之間的交互來控制(330)計算機裝置。因此，允許用戶通過移動手以使得第一圖像和第二圖像產(chǎn)生交互來控制計算機裝置，如下文更詳細(xì)描述。在一種實例中，若用戶移動他的手，則第一圖像在計算機鍵盤圖像的上方移動。若用戶以打字運動方式移動他的手指，則控制(330)計算機裝置，以使計算機裝置作出響應(yīng)，就好像用戶使用真實鍵盤打字一樣，如下文更詳細(xì)描述。在第二實例中，若用戶移動他的手，則第一圖像在計算機鼠標(biāo)的圖像上方移動。若用戶以單擊運動方式移動他的手指，則第一圖像的手指以與手的動作的運動方式精確相關(guān)的單擊運動來移動。因此，計算機裝置根據(jù)第一圖像相對于計算機鼠標(biāo)的圖像的位置(即，用放置在第二圖像中鼠標(biāo)的按鈕上方的第一圖像的手指)，作出響應(yīng)，就好像用戶單擊真實的計算機鼠標(biāo)的某個按鈕一樣。在第三實例中，第二圖像是計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。根據(jù)圖像之間的交互來控制計算機裝置，就好像第一圖像是用戶自己的手，而第二圖像是呈現(xiàn)在觸摸屏上的GUI，其允許用戶通過用他的手指觸摸該觸摸屏來與GUI的菜單、按鈕等交互。作為選擇，使用二維視頻數(shù)據(jù)(比如說從攝像機連續(xù)輸出的二維視頻圖像)進行對手的運動的跟蹤(310)，如上文更詳細(xì)描述。作為選擇，通過檢測投射到手上的光圖案中的連續(xù)特征的分段(即，分割段)來跟蹤(310)運動。該光圖案在第一方向上具有連續(xù)特征，并在與第一方向基本垂直的方向上具有非連續(xù)特征，如下文更詳細(xì)描述。在一種實例中，光圖案包括相互平行(或近似平行)排列的若干條紋。
作為選擇，這些指令還包括在光圖案中識別由手的指頭(B卩，手指或拇指)分割條紋而產(chǎn)生的一簇以上的一個或多個條紋分段，如下文更詳細(xì)描述。因此，可通過跟蹤由指頭分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤(310)指頭的運動。作為選擇，這些指令還包括比如說通過檢測在所跟蹤的簇中的分段數(shù)量的改變來識別指頭的深度運動，如下文更詳細(xì)描述。作為選擇，這些指令還包括在光圖案中識別由手掌分割條紋而產(chǎn)生的一簇以上的一個或多個條紋分段。因此，可通過跟蹤手掌分割(即，分開)條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤(310)手的運動。作為選擇，這些指令還包括在投射到手上的光圖案中檢測沿著連續(xù)特征的標(biāo)號的位置的移位。所檢測到的移位被用于對手進行跟蹤(310)，如下文更詳細(xì)描述。
作為選擇，這些指令還包括在所跟蹤(310)的手的運動中，檢測由管理員預(yù)先定義的姿勢。一旦檢測到姿勢，就按照針對所檢測到的姿勢預(yù)先定義的方式來控制(330)計算機裝置，如下文更詳細(xì)描述。作為選擇，這些指令還包括以下步驟一旦檢測到預(yù)定姿勢，將第一圖像對齊至預(yù)定位置。在一種實例中，若用戶擺動他的手，則將第一圖像對齊至第二圖像(比如說計算機鍵盤圖像或⑶I)上方的中心位置。作為選擇，這些指令還包括以下步驟一旦檢測到預(yù)定姿勢，就調(diào)整第一圖像的大小，如下文更詳細(xì)描述?，F(xiàn)參照圖4，其示意性示出了根據(jù)本發(fā)明示例性實施方式的用光圖案投射的手。根據(jù)示例性實施方式，使用被設(shè)計成能檢測手的運動的光圖案，執(zhí)行對手的運動(諸如手指和姆指的精細(xì)運動)的跟蹤。特別設(shè)計的光圖案允許即使在二維視頻數(shù)據(jù)中也能對運動進行跟蹤，其中，二維視頻數(shù)據(jù)不同于三維深度圖，它不提供根據(jù)距離將手與身體的其他部位很容易分離的功能，如上文更詳細(xì)描述。作為選擇，光圖案被特別設(shè)計為在二維視頻數(shù)據(jù)(比如說從常規(guī)視頻攝像機中連續(xù)輸出的視頻圖像)中跟蹤手指頭的運動。更具體地，光圖案可被設(shè)計為能根據(jù)由指頭產(chǎn)生的圖案變形在二維視頻數(shù)據(jù)中檢測并跟蹤指頭(即，手指和拇指)以及手掌，如下文更詳細(xì)描述。作為選擇，光圖案在第一方向(比如說X軸)上具有連續(xù)特征，并在與第一方向基本垂直的方向(比如說Y軸)上具有不連續(xù)(比如說周期性)特征。在針對這種圖案的一種實例中，光圖案包括相互平行(或近似平行)排列的若干條紋，如用圖4示意性所示。在將條紋圖案投射到手410和背景420(比如說手?jǐn)R置其上的桌子、墻壁等的表面)上的光投影機上方，在一定的Y軸距離處放置攝像機。選擇攝像機的位置，使得在攝像機、光投影機以及從用戶的手410和背景420反射回來的光之間產(chǎn)生三角效應(yīng)(triangulationeffect),正如本領(lǐng)域已知那樣。三角效應(yīng)在圖案中會引起沿著與用光圖案投射的對象存在顯著深度移位的條紋的點處的不連續(xù)性。
不連續(xù)性將條紋分割(B卩，劃分)成兩個以上的條紋分段，比如說位于手上的分段431、位于手左側(cè)的分段432以及位于手右側(cè)的分段433。這些產(chǎn)生深度移位的條紋分段可位于用戶的手掌或手指頭(其置于攝像機與用戶身體之間)的等值線上。也就是說，用戶的指頭或手掌將條紋分割成兩個以上的條紋分段。一旦檢測到這種條紋分段，就很容易隨該條紋分段到達該條紋分段的末端。因此，手跟蹤器110可分析二維視頻數(shù)據(jù)(比如說從攝像機向手跟蹤器110傳送的視頻流)，以產(chǎn)生條紋分段簇。例如，手跟蹤器110可在光圖案中識別由手的指頭分割條紋而產(chǎn)生的的一個或多個條紋分段的簇，比如說由手的中指反射的簇441的四個分段。因此，手跟蹤器110通過跟蹤指頭分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤指頭的運動。由指頭分割(B卩，劃分)條紋而產(chǎn)生的條紋分段簇包括在X軸上具有覆蓋部分的條紋分段。作為選擇，條紋分段簇中還具有相似長度(源自手指厚度)或相對接近的Y軸坐標(biāo)。在X軸上，分段針對豎直放置的指頭可具有完全重疊部分，或針對在X-Y平面中傾斜放置的指頭可具有部分重疊部分。作為選擇，手跟蹤器110比如說還通過檢測在所跟蹤的簇中的分段數(shù)目的改變來識別指頭的深度運動。例如，若用戶伸展用戶的中指，則該指頭與光投影機和攝像機的平面(X-Y平面)之間的角度發(fā)生改變。因此，簇441中的分段數(shù)目從四條減少到三條。作為選擇，手跟蹤器110還在光圖案中識別由手掌分割條紋而產(chǎn)生的一簇以上的一個或多個條紋分段。因此，通過跟蹤手掌分割條紋而產(chǎn)生的條紋分段簇，或通過跟蹤分段簇中的至少一個，來跟蹤(210)手的運動。手掌分割條紋而產(chǎn)生的條紋分段簇包括在X軸上與用戶的手指條紋分段簇重疊的上部條紋分段431。上部條紋分段431在X軸上與四個手指簇重疊，但未超過四個手指簇的底部分段的最小和最大X值。手掌分割條紋而產(chǎn)生的條紋分段簇還包括恰好在分段431下方的、與條紋分段431明顯重疊的一些條紋分段。手掌分割條紋而產(chǎn)生的條紋分段簇還包括延伸至用戶拇指的條紋分段簇451的底部的更長的條紋分段。指頭和手掌簇的取向可隨具體的手的位置和轉(zhuǎn)動而不同?，F(xiàn)參照圖5，其示意性示出了根據(jù)本發(fā)明示例性實施方式的、用具有強度記號的光圖案投射的手。
采用上文所示光圖案的一個問題是條紋分段一致性問題。在一定情況下，由手的背景反射的條紋分段可能與手反射的條紋分段混合。因此，可能無法找到手掌和指頭的條紋分段簇，進而無法對手進行跟蹤?？梢杂兄诳朔l紋分段一致性問題的一種方式是通過引入沿著各條紋的周期性記號，如圖5所示。作為選擇，該標(biāo)記是光強度320的形式，其沿著條紋變化，或在沿著條紋的恒定距離處出現(xiàn)特定形狀，諸如短垂線而且，對于周期性記號的引入，將攝像機放置成相對于光投影機在X軸上具有某一間隙，以及在Y軸上具有上文較詳細(xì)討論過的間隙。X軸上的間隙產(chǎn)生相對于對象的距離的、沿著條紋的記號位置的相位位移。因此，在由手反射的條紋分段與由背景反射的條紋分段混合的情況下，這些分段仍具有不同相位的周期性記號。作為選擇，謹(jǐn)慎選取攝像機與光投影機之間的縱橫距離比，使得當(dāng)這些分段混合時這些分段之間的記號的相位位移最大化。可以證實有助于克服混合分段問題的第二方式是通過改變攝像機和光投影機的設(shè)置，使得它們的Z軸位置也不同。可通過將攝像機和光投影機物理地定位在不同的Z軸位置處或者通過在所投射的圖案前方一定距離處布置負(fù)的或正的透鏡來使攝像機與光投影機之間的Z軸定位產(chǎn)生差異。因此，由對象反射的光圖案的條紋分段在不同對象距離處具有不同周期。從而，即使手反射的某個條紋分段與背景反射的條紋分段混合，相鄰的線由于不同的周期也不會混
口 ο可以證實有助于克服混合分段問題的第三方式是使用微結(jié)構(gòu)元件，其中，微結(jié)構(gòu)元件將光束轉(zhuǎn)換成橫截面強度分布變化的光束，如上文更詳細(xì)描述。橫截面強度分布根據(jù)對光圖案進行反射的對象距光投影機的距離而變化。因此，手反射的條紋分段的橫截面強度分布不同于背景反射的條紋分段的橫截面強度分布，如上文更詳細(xì)描述。根據(jù)本發(fā)明示例性實施方式的方法還可包括，通過檢測指頭分割條紋而產(chǎn)生的條紋分段簇的垂直運動、條紋分段上記號的水平運動或這兩者，來跟蹤手指頭的深度運動。作為選擇，通過檢測指頭分割條紋而產(chǎn)生的條紋分段簇的最高分段的垂直運動，來執(zhí)行對指頭的深度運動的跟蹤。最高分段代表在Z-Y平面中進行指頭的最顯著運動的指尖。作為選擇，通過檢測在所跟蹤的簇中的分段數(shù)目的變化來執(zhí)行對深度運動的跟蹤。也就是說，手指的深度運動(即，Z軸上的運動)可引起某個所跟蹤的指頭的條紋分段向上運動乃至消失、引起新的條紋分段出現(xiàn)等。現(xiàn)參照圖6，其是示意性示出根據(jù)本發(fā)明示例性實施方式的使用計算機鍵盤圖像的、計算機裝置的遠(yuǎn)程手控的框圖。根據(jù)本發(fā)明的示例性實施方式，連續(xù)跟蹤計算機裝置(比如說桌上計算機)的用戶的手610的運動。正如本領(lǐng)域已知的，在屏幕上向用戶呈現(xiàn)代表手的第一圖像620和代表諸如計算機鍵盤、計算機鼠標(biāo)、操縱桿等的計算機輸入裝置的第二圖像。第一圖像620可以是在屏幕上呈現(xiàn)的、用戶的手的完整且精確的動態(tài)圖像?？商鎿Q地，第一圖像620可由代表手610的指尖位置的五個光標(biāo)組成。第一圖像620還可具有給出相對于也在屏幕上顯示的計算機輸入裝置的、關(guān)于指頭(即，手指和拇指)位置的用戶信息的其他可視外觀。當(dāng)用戶移動他的手610 (或僅移動他的手指或拇指)時，第一圖像620與所跟蹤的運動一致地運動。也就是說，第一圖像620的運動與用戶自己的手610的運動相關(guān)。若用戶向左移動他的手610，則第一圖像620向左移動。若用戶彎曲他的一個手指，則第一圖像620也彎曲該手指等。根據(jù)第一圖像620與第二圖像之間的交互來控制計算機裝置，就好像圖像620中的手是用戶自己的手610，且輸入裝置就像是連接至計算機裝置的真實的計算機輸入裝置。該計算機輸入裝置可包括但不限于諸如鍵盤、操縱桿、計算機鼠標(biāo)等的標(biāo)準(zhǔn)外圍計算機裝置。因此，允許用戶通過移動用戶的手610以使第一圖像620和第二圖像產(chǎn)生交互來遠(yuǎn)程控制計算機裝置。從而，通過用戶的手610的運動的計算機裝置的遠(yuǎn)程控制是基于連續(xù)的用戶界面，而不是基于局限至預(yù)先定義的一組特定姿勢的界面(盡管也可定義特定姿勢)。
在一種實例中，若用戶移動他的手610，則第一圖像620在計算機鍵盤的圖像上方移動，并且若用戶以打字運動方式移動他的手指，則計算機裝置進行響應(yīng)，就好像用戶使用真實的鍵盤打字一樣，如下文更詳細(xì)描述。在一種實例中，第一圖像620的第二手指恰好在計算機鍵盤的圖像上的字母“C”上方。當(dāng)用戶用他的手610的第二手指做出按下動作時，第一圖像620的第二手指同時移動，并按下在屏幕上呈現(xiàn)的鍵盤圖像的字母‘C’。從而，計算機裝置進行響應(yīng)，就好像用戶使用用戶自己的手指按下了連線到計算機裝置的真實鍵盤的字母“C” 一樣。在該實例中，用戶的手在三維空間中的絕對位置并不重要，而僅需跟蹤用戶手指的運動。第一圖像620的運動盡管與用戶自己的手610的運動精確相關(guān)，但它能夠以不同的比例來執(zhí)行。也就是說，第一圖像620的大小可以不同于用戶真實的手610的大小。作為選擇，設(shè)備1000的姿勢識別器還允許用戶調(diào)整第一圖像620的大小，如下文更詳細(xì)描述?，F(xiàn)參照圖7，其是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第一姿勢的框圖。根據(jù)本發(fā)明示例性實施方式的設(shè)備可包括姿勢識別器，如上文更詳細(xì)描述。根據(jù)本發(fā)明示例性實施方式的第一示例性姿勢是復(fù)位姿勢，其中，用戶在攝像機前擺動他的手710 (比如說在橫向運動上快速小幅搖擺手指和手)。一旦檢測到復(fù)位姿勢，在屏幕上呈現(xiàn)的第一圖像移動至第二圖像上方的預(yù)定位置，比如說移至第二圖像中呈現(xiàn)的計算機輸入裝置上方的預(yù)定位置，或移至類似于在屏幕上呈現(xiàn)的圖形用戶界面的電子表格的第一條線上方的位置。在一種實例中，一旦檢測到該示例性復(fù)位姿勢，圖像呈現(xiàn)器120就將第一圖像移動至所顯示的計算機鍵盤的中央上方的位置，如上文更詳細(xì)描述。示例性復(fù)位姿勢還使得對指頭位置的檢測變得容易，因為示例性復(fù)位姿勢包括各指頭的單獨運動?，F(xiàn)參照圖8，其是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第二姿勢的框圖。第二示例性姿勢是調(diào)整大小姿勢，比如說用戶以預(yù)定方向轉(zhuǎn)動他的手的姿勢。
作為選擇，一旦檢測到示例性調(diào)整大小姿勢，圖像呈現(xiàn)器120就改變在屏幕上顯示的第一圖像的大小，而并不按照大小或縮放水平來改變第二圖像。例如，與全屏模式顯示的鍵盤圖像進行交互的用戶可能想使用更大的第一圖像(比如說手的圖像)，以便通過他的真實的手的相對較小的移動來完成從鍵盤的一側(cè)到達另一側(cè)(因為移動的幅度取決于手的圖像的大小)。然而，用戶可能需要更小的第一圖像(比如說手的圖像)，以選擇在他的網(wǎng)頁瀏覽器上具有較小字體的文本?？商鎿Q地，第一圖像(B卩，手的圖像)的大小保持恒定，而圖像呈現(xiàn)器120還可調(diào)整第二圖像(比如說鍵盤)的大小，使其收縮、擴大、放大或縮小，從而改變第一圖像與第二圖像之間的大小比例。
現(xiàn)參照圖9，其是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第三姿勢的框圖。第三示例性姿勢是單擊(或雙擊)姿勢，比如說用戶使用其手的一根或兩根手指進行單擊910的姿勢。作為選擇，一旦檢測到示例性單擊(或雙擊)姿勢，圖像呈現(xiàn)器120就按照與用戶手指的運動精確一致的單擊運動方式來移動第一圖像的手指。例如，可向用戶呈現(xiàn)計算機鼠標(biāo)圖像，并允許用戶將第一圖像移動至該第二圖像中計算機鼠標(biāo)上方的位置。當(dāng)用戶以單擊運動方式移動他自己的手指時，第一圖像的手指單擊計算機鼠標(biāo)圖像，進而計算機控制器130使計算機裝置作出響應(yīng)，就好像用戶利用其自己的手指單擊真實的計算機鼠標(biāo)一樣。現(xiàn)參照圖10，其是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的第四姿勢的框圖。第四示例性姿勢是縮放姿勢，諸如用戶比如說通過以拉運動的方式移動用戶的手1010，或通過將用戶的兩根手指彼此分開(類似于在智能電話的觸摸屏上手指彼此分開的運動)的姿勢，來拉近或簡單放大在計算機裝置的屏幕上呈現(xiàn)的圖像。在一種實例中，一旦檢測到手指彼此分開的運動，圖像呈現(xiàn)器120與用戶手指的運動同步，使第一圖像的兩根手指彼此分開。計算機控制器130控制計算機裝置(比如說蜂窩智能電話)，以拉近或放大計算機裝置的屏幕上呈現(xiàn)的圖像，從而向用戶提供類似于觸摸屏的功能，而不必讓用戶觸摸真實的觸摸屏。本發(fā)明的示例性實施方式提供了多種其他用戶姿勢，比如說用戶彎下其手指的向下滾屏姿勢，或用戶以相反方向移動其手指的向上滾屏姿勢。這些姿勢可用一只或兩只手、一根或兩根手指、手和指頭等完成。然而，采用本發(fā)明的示例性實施方式，通過用戶的手的運動的計算機裝置的遠(yuǎn)程控制是基于連續(xù)用戶界面，而不是基于局限至預(yù)先定義的一組特定姿勢的界面(盡管也可定義特定姿勢)。例如，計算機裝置的遠(yuǎn)程控制可基于用戶與計算機裝置的屏幕上呈現(xiàn)的計算機鍵盤圖像的連續(xù)交互。允許用戶在空中移動他的手，從而在鍵盤的上方移動第一圖像，以打字運動方式移動用戶的指頭，從而用第一圖像的手指在鍵盤上打字等，如上文更詳細(xì)描述。在另一實例中，用戶移動他的手，以通過交互來移動第一圖像，其中，第一圖像握住屏幕上呈現(xiàn)的計算機鼠標(biāo)、拖拽鼠標(biāo)等。計算機裝置在屏幕上移動光標(biāo)，就好像用戶用他自己的手拖拽真實鼠標(biāo)一樣。作為選擇，在該實例中，還允許用戶通過單個小幅的中指運動，讓鼠標(biāo)自動移動。因此，鼠標(biāo)從屏幕的一側(cè)自動移動到另一側(cè)，甚至該鼠標(biāo)移動經(jīng)過預(yù)定距離或時間(比如說
二秒)。在又一實例中，在計算機裝置的屏幕上向用戶呈現(xiàn)計算機應(yīng)用程序的圖形用戶界面(GUI)，諸如微軟公司的具有按鈕和菜單選項的Excel電子制表軟件，具有超鏈接、按鈕等的網(wǎng)頁。根據(jù)與用戶自己的手和手指的運動一致運動的手的圖像與⑶I的菜單、按鈕等之間的連續(xù)交互來控制計算機裝置，就好像用戶用其自己的手指觸摸呈現(xiàn)給用戶的GUI的觸
摸屏一樣。 現(xiàn)參照圖11，其是示意性示出根據(jù)本發(fā)明示例性實施方式的用于計算機裝置的遠(yuǎn)程手控的系統(tǒng)的框圖。用于計算機裝置的遠(yuǎn)程手控的示例性系統(tǒng)包括設(shè)備1000的部件，如上文更詳細(xì)描述。作為選擇，設(shè)備1000的一個以上的部件(比如說攝像機和光投影機)被安裝在移動單元1110上。該移動單元1110與設(shè)備1000的其他部件、與計算機裝置1120(比如說與屏幕結(jié)合在一起的計算機，像蘋果公司的iMac計算機、帶有計算機處理器的電視機等)或這二者無線連接。用戶將移動單元1110放置在桌子上。隨后，用戶可坐在靠近該桌子的椅子上，移動他的手，從而控制計算機裝置1120。用戶通過第一圖像(代表用戶的手)與在計算機裝置1120的屏幕上呈現(xiàn)的計算機鍵盤圖像交互，來控制計算機裝置1120，如上文更詳細(xì)描述。本發(fā)明的示例性方法和設(shè)備可被用于其他應(yīng)用。例如，在蜂窩電話上，設(shè)備1000使得用戶能夠滾屏、鍵入文本、縮放和單擊，而無需觸摸蜂窩電話。從而，蜂窩電話可以很小，但仍可允許與蜂窩電話進行交互，就好像該蜂窩電話具有完整大小的計算機鍵盤一樣。作為選擇，該蜂窩電話具有投影機，它可將圖像投射到墻壁上。使用設(shè)備1000，用戶可移動投射在蜂窩電話控制器的圖像附近的第一圖像，該控制器是常規(guī)的蜂窩電話按鍵或觸摸屏。因此，用戶可以讓第一圖像(比如說手的圖像)與電話的控制器的圖像交互，從而根據(jù)該交互來操作電話，就好像用戶直接用他自己的手來操作真實的電話控制器一樣。在另一實例中，該計算機裝置是安裝在車內(nèi)的計算機裝置(比如說GPS單元或電話單元)。在駕駛的同時，利用由這些裝置(B卩，小型按鍵或觸摸屏)通常提供的界面本質(zhì)來操作計算機裝置是危險的，因為駕駛員必須向旁邊看以便操作該計算機裝置，而不是通過車的前窗觀察道路。本實施方式的設(shè)備1000可被安裝在汽車的計算機裝置上(或與汽車的計算機裝置通信)。
手跟蹤器110可跟蹤駕駛員的手和手指的運動，從而能使駕駛員控制計算機裝置(比如說GPS或電話單元)，而不必使駕駛員的視線從路上轉(zhuǎn)移至操作該單元的小按鈕的手指上。作為選擇，在安裝在汽車前窗上的小屏幕上向駕駛員呈現(xiàn)手的圖像和GPS或電話單元的按鍵的圖像，而不明顯阻礙透過該窗的視線。駕駛員自己的手的實際且精確的位置可以改變。也就是說，駕駛員可在他覺得方便的地方單擊，從而實際撥打號碼或在GPS單元的導(dǎo)航系統(tǒng)中選擇他的目的地。因此，駕駛員可在通過安裝了屏幕的前窗進行觀看并將他的視線保持在路上的同時，用他在駕駛方向盤的任意區(qū)域的手來控制GPS或電話單元。而且，駕駛員能夠以復(fù)位運動方式擺動他的手，如上文更詳細(xì)描述。因此，第一圖像被定位在呈現(xiàn)在屏幕上的車載電話號碼或車載GPS單元的觸摸屏按鍵的圖像的中央。設(shè)備1000還可被安裝在樂器上，比如說合成器、DJ轉(zhuǎn)臺或由用戶的手的運動指揮的其他樂器，如上文更詳細(xì)描述?？梢云诖?，在本專利的有效期內(nèi)，將開發(fā)出許多相關(guān)裝置和系統(tǒng)，而且本文的術(shù)語的范圍，尤其是“計算機”、“CD_R0M”、“USB存儲器”、“硬盤”、“攝像機”、“衍射光學(xué)元件”、“激光二極管”以及“LED”等術(shù)語意在包括所有這種現(xiàn)有的新技術(shù)。需要理解的是，為清楚起見而在單獨實施方式的上下文中描述的本發(fā)明的某些特征也可以在與單個實施方式的組合中提供。相反，為簡潔起見而在單個實施方式的上下文中描述的本發(fā)明的各種特征，也可分別提供或以任何合適的子組合來提供。盡管已結(jié)合其具體實施方式
對本發(fā)明進行了描述，但很明顯，本領(lǐng)域技術(shù)人員顯然可以進行多種替代、修改和變更。因此，它意在涵蓋落入所附權(quán)利要求的精神和廣義范圍內(nèi)的所有這些替代、修改和變更。本說明書中所提及的所有出版物、專利和專利申請均通過引用結(jié)合于此說明書，與就像具體并單獨地指出各個出版物、專利或?qū)＠暾埼募ㄟ^引用結(jié)合于此具有同樣的程度。此外，本說明書中任何文獻的引用或證實不應(yīng)被解釋為是對這些文獻可有效作為本發(fā)明的現(xiàn)有技術(shù)的認(rèn)可。更一般性討論某些方法包括對數(shù)字視頻流的常規(guī)圖像分析。從而，分析視頻圖像以檢測感興趣的特定區(qū)域，通常是諸如手、面部、臂等身體部位。在檢測到身體部位的位置和定位之后，可檢測身體姿勢并進行轉(zhuǎn)換以控制在計算機屏幕或TV上顯示的媒介。對諸如用戶的手和手指的身體部位的檢測首先需要根據(jù)其顏色值來分析圖像中的各像素，并在其環(huán)境中將其與其他像素比較。這種方法可能面臨很高的計算耗時并且面臨相對高百分比的錯誤和誤讀。一個主要困難來自需要被檢測的手后面的背景。例如，該方法可能難以檢測穿顏色接近于他的皮膚顏色或帶有其他復(fù)雜圖案的襯衫的用戶的手。室內(nèi)照明也影響檢測性能。在該方法中，手朝向攝像機的角度也可能是一 個難題。手的形態(tài)隨著它的轉(zhuǎn)動而改變，并且指尖可能與朝向攝像機的手的其他部位在同一軸線上，因而不可通過顏色差異進行檢測。
用于手的檢測和姿勢識別的其他方法包括使用3D深度圖。深度圖是在每個像素中保留與置于深度攝像機前的對象的一部分的距離(用該像素來表示)的一種圖像。深度解決了在常規(guī)2D視頻分析中存在的許多問題。對于手的位置的提取是相對容易的，因為手通常被放置在身體的前方，因此，可通過切去圖像中超過特定距離的那部分而將其分離出來。采用這類方法，手以相同方式朝向攝像機的角度不再重要?？蓛H通過距離來檢測手或身體的最靠近的部分，而不必考慮背景顏色。然而，獲取全3D深度圖需要相對復(fù)雜的硬件和計
禪且昇里。人體的完整深度圖可能對于諸如比賽等的特定的姿勢識別應(yīng)用是重要的。例如，在網(wǎng)球比賽應(yīng)用中，如果他的手向后伸展準(zhǔn)備擊球或向前伸展來攔截接近球網(wǎng)的球，那么如何精確定位用戶是很重要的。然而，諸如姿勢驅(qū)動的虛擬鍵盤或鼠標(biāo)的其他應(yīng)用可不必為了控制該應(yīng)用而對于手和手指進行完整的3D深度繪圖。 因此，如上文更詳細(xì)教導(dǎo)，可以證明直接從光圖案圖像中提取姿勢而不必獲取全3D深度圖作為中間步驟的方法是有利的。基于圖像比較的解決方案可使用諸如網(wǎng)格圖案的結(jié)構(gòu)化光圖案，以便直接檢測姿勢?；诒容^的解決方案檢測網(wǎng)格圖案中的變形，并將該變形與預(yù)先定義的一組代表特定姿勢的網(wǎng)格圖案的變形進行比較。一旦被檢測到，該姿勢便激活了關(guān)聯(lián)于各姿勢的計算機動作。盡管基于圖像比較的解決方案直接對所捕捉的光圖案圖像提取手的姿勢，但它們被限制為一組不連續(xù)的預(yù)定姿勢，并且無法提供對用戶的手和手指的靈活跟蹤和表示，以及通過連續(xù)用戶界面對計算機裝置的控制，如上文更詳細(xì)描述。
權(quán)利要求
1.一種用于計算機裝置的遠(yuǎn)程手控的設(shè)備，所述設(shè)備包括 手跟蹤器，被配置為跟蹤所述計算機裝置的用戶的手的運動； 圖像呈現(xiàn)器，與所述手跟蹤器關(guān)聯(lián)，被配置為向所述用戶呈現(xiàn)代表所述手的第一圖像和第二圖像，并與跟蹤的所述運動一致地移動所述第一圖像；以及 計算機控制器，與所述圖像呈現(xiàn)器關(guān)聯(lián)，并且所述計算機控制器被配置為根據(jù)所述第一圖像與所述第二圖像之間的交互來控制所述計算機裝置，從而允許所述用戶通過移動所述手以使所述第一圖像和所述第二圖像產(chǎn)生所述交互，來控制所述計算機裝置。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述手跟蹤器還被配置為使用二維視頻數(shù)據(jù)，以跟蹤所述手的所述運動。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述手跟蹤器還被配置為通過檢測投射到所述手的光圖案中的連續(xù)特征的分段來跟蹤所述運動，所述光圖案在第一方向上具有所述連續(xù)特征，并在與所述第一方向基本垂直的方向上具有非連續(xù)特征。
4.根據(jù)權(quán)利要求3所述的設(shè)備，其中，所述光圖案包括基本上相互平行排列的多個條紋，所述手跟蹤器還被配置為在所述光圖案中識別由所述手的相應(yīng)指頭分割條紋而產(chǎn)生的至少一個條紋分段簇，并通過跟蹤由所述指頭分割條紋而產(chǎn)生的所述條紋分段簇來跟蹤所述指頭的運動。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，所述手跟蹤器還被配置為通過檢測在跟蹤的所述簇中的條紋分段數(shù)目的變化，來識別所述指頭的深度運動。
6.根據(jù)權(quán)利要求3所述的設(shè)備，其中，所述光圖案包括基本上相互平行排列的多個條紋，而且所述手跟蹤器還被配置為在所述光圖案中識別由所述手的手掌分割條紋而產(chǎn)生的至少一個條紋分段簇，并通過跟蹤由所述手掌分割條紋而產(chǎn)生的所述條紋分段簇來跟蹤所述手的運動。
7.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述手跟蹤器還被配置為通過在投射到所述手上的光圖案中檢測沿著連續(xù)特征的標(biāo)號的位置的位移來跟蹤所述運動。
8.根據(jù)權(quán)利要求I所述的設(shè)備，還包括光投影機，被配置為將在第一方向上具有連續(xù)特征并在與所述第一方向基本垂直的方向上具有非連續(xù)特征的光圖案投射到所述手；以及攝像機，與所述手跟蹤器關(guān)聯(lián)，并且所述攝像機被配置為通過捕捉用所述光圖案投射的所述手的圖像來獲取所述第一圖像。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述光投影機遠(yuǎn)離所述計算機裝置。
10.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述攝像機遠(yuǎn)離所述計算機裝置。
11.根據(jù)權(quán)利要求8所述的設(shè)備，其中，所述光投影機包括光源，被配置為發(fā)出光束；以及微結(jié)構(gòu)元件，被配置為改變所述光束從而產(chǎn)生所述光圖案。
12.根據(jù)權(quán)利要求11所述的設(shè)備，其中，所述微結(jié)構(gòu)元件還被配置為將所述光束轉(zhuǎn)換成橫截面強度分布沿所述光束變化的光束。
13.根據(jù)權(quán)利要求I所述的設(shè)備，還包括姿勢識別器，與所述手跟蹤器關(guān)聯(lián)，所述姿勢識別器被配置為在所跟蹤的所述手的運動中，檢測預(yù)定姿勢，其中，所述計算機控制器還被配置為按照針對檢測到的所述姿勢預(yù)先定義的方式來控制所述計算機裝置。
14.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述圖像呈現(xiàn)器還被配置為 在檢測到所述預(yù)定姿勢時，將所述第一圖像對齊至預(yù)定位置。
15.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述圖像呈現(xiàn)器還被配置為 在檢測到所述預(yù)定姿勢時，調(diào)整所述第一圖像的大小。
16.根據(jù)權(quán)利要求13所述的設(shè)備，其中，所述圖像呈現(xiàn)器還被配置為 在檢測到所述預(yù)定姿勢時，調(diào)整所述第二圖像的大小。
17.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述計算機控制器是移動電話的一部分。
18.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述計算機控制器是安裝在車輛上的裝置的一部分。
19.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述計算機控制器是樂器的一部分。
20.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述手跟蹤器遠(yuǎn)離所述計算機裝置。
21.根據(jù)權(quán)利要求I所述的設(shè)備，其中，所述第二圖像代表計算機輸入裝置。
22.一種用于計算機裝置的遠(yuǎn)程手控的計算機實現(xiàn)方法，所述方法包括對所述計算機裝置編程以執(zhí)行包括以下各項的步驟 a)跟蹤所述計算機裝置的用戶的手的運動； b)向所述用戶呈現(xiàn)代表所述手的第一圖像和第二圖像，并與跟蹤的所述運動一致地移動所述第一圖像；以及 c)根據(jù)所述第一圖像與所述第二圖像之間的交互來控制所述計算機裝置，從而允許所述用戶通過移動所述手以使所述第一圖像和所述第二圖像產(chǎn)生所述交互，來控制所述計算機裝置。
23.根據(jù)權(quán)利要求22所述的方法，其中，所述跟蹤手的運動是使用二維視頻數(shù)據(jù)來執(zhí)行的。
24.根據(jù)權(quán)利要求22所述的方法，其中，所述跟蹤手的運動還包括檢測在投射到所述手的光圖案中的連續(xù)特征的分段，所述光圖案在第一方向上具有所述連續(xù)特征，并在與所述第一方向基本垂直的方向上具有非連續(xù)特征。
25.根據(jù)權(quán)利要求24所述的方法，其中，所述光圖案包括大致相互平行排列的多個條紋，所述方法還包括在所述光圖案中識別由所述手的相應(yīng)指頭分割條紋而產(chǎn)生的至少一個條紋分段簇，并通過跟蹤由所述指頭分割條紋而產(chǎn)生的所述條紋分段簇來跟蹤所述指頭的運動。
26.根據(jù)權(quán)利要求25所述的方法，還包括通過檢測在跟蹤的所述簇中的條紋分段數(shù)目的變化，來識別所述指頭的深度運動。
27.根據(jù)權(quán)利要求24所述的方法，其中，所述光圖案包括大致相互平行排列的多個條紋，所述方法還包括在所述光圖案中識別由所述手的手掌分割條紋而產(chǎn)生的至少一個條紋分段簇，并通過跟蹤由所述手掌分割條紋而產(chǎn)生的所述條紋分段簇來跟蹤所述手的運動。
28.根據(jù)權(quán)利要求22所述的方法，其中，所述跟蹤手的運動還包括在投射到所述手的光圖案中檢測沿著連續(xù)特征的標(biāo)號的位置的位移。
29.根據(jù)權(quán)利要求22所述的方法，還包括在跟蹤所述手的運動中，檢測預(yù)定姿勢，以及按照針對檢測到的所述姿勢預(yù)先定義的方式來控制所述計算機裝置。
30.根據(jù)權(quán)利要求29所述的方法，還包括在檢測到所述預(yù)定姿勢時，將所述第一圖像對齊至預(yù)定位置。
31.根據(jù)權(quán)利要求29所述的方法，還包括在檢測到所述預(yù)定姿勢時，調(diào)整所述第一圖像的大小。
32.根據(jù)權(quán)利要求29所述的方法，還包括在檢測到所述預(yù)定姿勢時，調(diào)整所述第二圖像的大小。
33.根據(jù)權(quán)利要求22所述的方法，其中，所述第二圖像代表計算機輸入裝置。
34.一種存儲用于執(zhí)行計算機裝置的遠(yuǎn)程手控的步驟的計算機可執(zhí)行指令的計算機可讀介質(zhì)，所述步驟包括 a)跟蹤所述計算機裝置的用戶的手的運動； b)向所述用戶呈現(xiàn)代表所述手的第一圖像和第二圖像，并與跟蹤的所述運動一致地移動所述第一圖像；以及 c)根據(jù)所述第一圖像與所述第二圖像之間的交互來控制所述計算機裝置，從而允許所述用戶通過移動所述手以使所述第一圖像和所述第二圖像產(chǎn)生所述交互，來控制所述計算機裝置。
全文摘要
一種用于計算機裝置的遠(yuǎn)程手控的設(shè)備，該設(shè)備包括手跟蹤器，其被配置為跟蹤計算機裝置的用戶的手的運動；圖像呈現(xiàn)器，其與手跟蹤器相關(guān)，被配置為向用戶呈現(xiàn)代表手的第一圖像和第二圖像，并與所跟蹤的運動一致地移動第一圖像；以及計算機控制器，其與圖像呈現(xiàn)器相關(guān)，并被配置為根據(jù)第一圖像與第二圖像之間的交互來控制計算機裝置，從而允許用戶通過移動手以使第一圖像和第二圖像產(chǎn)生交互，來控制計算機裝置。
文檔編號G06F3/033GK102656543SQ201080052855
公開日2012年9月5日 申請日期2010年9月19日 優(yōu)先權(quán)日2009年9月22日
發(fā)明者伊斯雷爾·格羅辛格, 尼他耶·羅曼諾, 納道維·格羅辛格 申請人:泊布?xì)W斯技術(shù)有限公司