專利名稱：計(jì)算裝置接口的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體上涉及電子裝置。更具體來說，本發(fā)明涉及計(jì)算裝置接口。
背景技術(shù)：
在過去的幾十年中，電子裝置的使用已變得常見。特定來說，電子技術(shù)中的進(jìn)步已減少了越來越復(fù)雜且有用的電子裝置的成本。成本降低和消費(fèi)者需求已使電子裝置的使用 激增，使得其在現(xiàn)代社會(huì)中實(shí)際上普遍存在。由于電子裝置的使用已膨脹，因此對(duì)電子裝置的新的和改進(jìn)的特征存在需求。更具體來說，常常追求更快、更有效或具有更高質(zhì)量的執(zhí)行功能的電子裝置。許多電子裝置在操作期間使用一個(gè)或一個(gè)以上接口。舉例來說，計(jì)算機(jī)常常使用鍵盤和鼠標(biāo)來獲得用于交互的用戶輸入。其它電子裝置使用觸摸屏和/或觸摸板來獲得用于交互的用戶輸入。這些接口中的許多接口需要與一件硬件的直接物理交互。舉例來說，用戶必須在鍵盤上進(jìn)行鍵入以便經(jīng)由鍵盤輸入文本或命令。用戶必須物理地移動(dòng)和/或推動(dòng)鼠標(biāo)上的一個(gè)或一個(gè)以上按鈕以經(jīng)由鼠標(biāo)與計(jì)算機(jī)交互。在一些情況下，與一件硬件直接交互以將輸入或命令提供到計(jì)算裝置可能不方便或不是最佳的。舉例來說，在每次需要交互時(shí)用戶給出投影呈現(xiàn)以返回到計(jì)算機(jī)可能是不方便的。此外，當(dāng)用戶必須通過按壓方向墊來提供輸入時(shí)或當(dāng)用戶不熟悉如何操作接口裝置時(shí)，在給出呈現(xiàn)的同時(shí)攜帶例如鼠標(biāo)或棒等接口裝置可能是不方便的。如本論述內(nèi)容所說明，提供計(jì)算裝置接口的經(jīng)改進(jìn)的系統(tǒng)和方法可為有益的。

發(fā)明內(nèi)容
揭示一種經(jīng)配置以用于提供接口的計(jì)算裝置。所述計(jì)算裝置包含處理器和存儲(chǔ)在存儲(chǔ)器中的指令。所述計(jì)算裝置從投影器投影出投影圖像，且使用相機(jī)俘獲圖像。所述相機(jī)在可見光譜中操作。所述計(jì)算裝置校準(zhǔn)自身，且檢測(cè)手。所述計(jì)算裝置還基于搜索空間中的跟蹤圖案來跟蹤所述手，且執(zhí)行操作。校準(zhǔn)所述計(jì)算裝置可包含找到所述投影圖像的隅角，以及將所述投影圖像的坐標(biāo)映射到桌面空間。校準(zhǔn)所述計(jì)算裝置可包含確定手大小。所述手大小可基于所述投影圖像而確定，其中所述投影圖像包括多個(gè)橢圓。所述手大小可基于面部辨識(shí)而確定。所述手可在初始交互區(qū)域中檢測(cè)。所述計(jì)算裝置可進(jìn)一步跟蹤身體，且基于跟蹤所述身體而移動(dòng)所述初始交互區(qū)域。所述計(jì)算裝置可進(jìn)一步確定所述跟蹤圖案匹配于手。所述計(jì)算裝置可進(jìn)一步基于所述手的運(yùn)動(dòng)而動(dòng)態(tài)地改變所述搜索空間。所述跟蹤圖案可包含矩形中心暗區(qū)，所述矩形中心暗區(qū)在三側(cè)上由矩形亮外部區(qū)鄰接且在一側(cè)上由矩形暗外部區(qū)鄰接。所述操作可基于跟蹤所述手而執(zhí)行。所述計(jì)算裝置可進(jìn)一步基于手勢(shì)圖案而辨識(shí)手勢(shì)。辨識(shí)手勢(shì)可包含確定被跟蹤的手是否已停止移動(dòng)達(dá)一時(shí)間周期，以及將被跟蹤的手圖像縮放到固定大小。所述手勢(shì)圖案可包含矩形中心暗區(qū)，所述矩形中心暗區(qū)在兩側(cè)上由矩形亮外部區(qū)鄰接。 所述計(jì)算裝置可進(jìn)一步基于所述辨識(shí)出的手勢(shì)而執(zhí)行操作。所述計(jì)算裝置可進(jìn)一步當(dāng)針對(duì)某一百分比的若干幀辨識(shí)出所述手勢(shì)時(shí)執(zhí)行操作。所述手勢(shì)可基于拇指與食指之間的角度而辨識(shí)，且所述計(jì)算裝置可進(jìn)一步基于所述拇指與食指之間的所述角度而將光標(biāo)移動(dòng)遠(yuǎn)離所述手。所述計(jì)算裝置可進(jìn)一步在手周圍的區(qū)中較明亮地照射所述投影圖像。所述計(jì)算裝置可進(jìn)一步跟蹤多只手。所述計(jì)算裝置可進(jìn)一步辨識(shí)多個(gè)手勢(shì)。所述計(jì)算裝置可進(jìn)一步在 跟蹤所述手之前移除所述圖像的暗部分以避免跟蹤所述手的影子。所述計(jì)算裝置可進(jìn)一步在所述投影圖像的區(qū)域中提供所述圖像的改善的聚焦和曝光。所述操作可釋放光標(biāo)。還揭示一種用于提供接口的方法。所述方法包含從投影器投影出投影圖像，以及使用相機(jī)俘獲圖像。所述相機(jī)在可見光譜中操作。所述方法還包含校準(zhǔn)計(jì)算裝置，以及檢測(cè)手。所述方法還包含基于搜索空間中的跟蹤圖案來跟蹤所述手，以及執(zhí)行操作。還揭示一種用于提供接口的計(jì)算機(jī)程序產(chǎn)品。所述計(jì)算機(jī)程序產(chǎn)品包括具有指令的非暫時(shí)性有形計(jì)算機(jī)可讀媒體。所述指令包含用于致使計(jì)算裝置從投影器投影出投影圖像且使用相機(jī)俘獲圖像的代碼。所述相機(jī)在可見光譜中操作。所述指令還包含用于致使所述計(jì)算裝置校準(zhǔn)所述計(jì)算裝置且檢測(cè)手的代碼。所述指令還包含用于致使所述計(jì)算裝置基于搜索空間中的跟蹤圖案來跟蹤所述手且執(zhí)行操作的代碼。還揭示一種用于提供接口的設(shè)備。所述設(shè)備包含用于從投影器投影出投影圖像且使用相機(jī)俘獲圖像的裝置。所述相機(jī)在可見光譜中操作。所述設(shè)備還包含用于校準(zhǔn)所述設(shè)備且檢測(cè)手的裝置。所述設(shè)備還包含用于基于搜索空間中的跟蹤圖案來跟蹤所述手且執(zhí)行操作的裝置。


圖I是說明其中可實(shí)施計(jì)算裝置接口的計(jì)算裝置的一個(gè)配置的框圖；圖2是說明包含相機(jī)、計(jì)算裝置和投影器的電子裝置的一個(gè)配置的框圖；圖3是說明其中可實(shí)施計(jì)算裝置接口的計(jì)算裝置的更具體配置的框圖；圖4是說明用于提供計(jì)算裝置接口的方法的一個(gè)配置的流程圖；圖5是說明用于提供計(jì)算裝置接口的方法的更具體配置的流程圖；圖6是說明投影空間中的方格或棋盤圖案的一個(gè)配置的圖；圖7是說明投影空間到桌面空間中的映射的圖；圖8是說明用于手大小校準(zhǔn)的圖像的圖；圖9是說明用于提供計(jì)算裝置接口的方法的另一更具體配置的流程圖；圖10是說明用于提供計(jì)算裝置接口的方法的另一更具體配置的流程圖；圖IlA說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的一個(gè)實(shí)例；
圖IlB說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例；圖IlC說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例；圖IlD說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例；圖IlE說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例；圖12是說明用于提供計(jì)算裝置接口的方法的另一更具體配置的流程圖；圖13是說明用于提供計(jì)算裝置接口的方法的另一更具體配置的流程圖；圖14A是說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的一個(gè)實(shí)例的圖；圖14B是說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例的圖；
圖14C是說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例的圖；圖14D是說明根據(jù)本文揭示的系統(tǒng)和方法可使用的哈爾圖案的另一實(shí)例的圖；圖15說明可在電子裝置中利用的各種組件；以及圖16說明無線通信裝置內(nèi)可能包含的某些組件。
具體實(shí)施例方式如本文使用，術(shù)語(yǔ)“無線通信裝置”大體上表示電子裝置(例如，接入終端、客戶端裝置、客戶端臺(tái)等)，其可與基站或另一電子裝置無線地通信。無線通信裝置可替代地稱為移動(dòng)裝置、移動(dòng)臺(tái)、訂戶臺(tái)、用戶設(shè)備(UE)、遠(yuǎn)程臺(tái)、接入終端、移動(dòng)終端、終端、用戶終端、訂戶單元等。無線通信裝置的實(shí)例包含膝上型或桌上型計(jì)算機(jī)、蜂窩式電話、智能電話、無線調(diào)制解調(diào)器、電子讀取器、平板裝置、游戲系統(tǒng)等。無線通信裝置可根據(jù)一個(gè)或一個(gè)以上行業(yè)標(biāo)準(zhǔn)(例如，第三代合作伙伴計(jì)劃(3GPP)、Wi-Max、電氣電子工程師協(xié)會(huì)(IEEE)802. 11或Wi-Fi等)來操作。因此，一般術(shù)語(yǔ)“無線通信裝置”可包含根據(jù)行業(yè)標(biāo)準(zhǔn)以不同的命名來描述的無線通信裝置(例如，接入終端、用戶設(shè)備(UE)、遠(yuǎn)程終端等)。本文揭示的系統(tǒng)和方法呈現(xiàn)了實(shí)時(shí)手跟蹤和/或手勢(shì)接口。此接口允許計(jì)算裝置(例如，具有處理器和存儲(chǔ)器的電子裝置，例如智能電話、膝上型計(jì)算機(jī)等)、相機(jī)(例如，在視覺光譜中操作的相機(jī)，例如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器或相機(jī)、電荷耦合裝置(CCD)傳感器或相機(jī)、網(wǎng)絡(luò)攝像機(jī)等)和投影器(例如，微型投影器、標(biāo)準(zhǔn)投影器等)的組合使用一個(gè)表面(例如，墻壁、屏幕、白板等)作為交互式表面。在一個(gè)配置中，計(jì)算裝置經(jīng)校準(zhǔn)，檢測(cè)手，跟蹤手，并且辨識(shí)手勢(shì)以提供此接口。對(duì)本文揭示的系統(tǒng)和方法的測(cè)試已說明其在多種挑戰(zhàn)性環(huán)境中表現(xiàn)良好，例如當(dāng)用戶正在與具有許多皮膚狀色彩或大量運(yùn)動(dòng)的內(nèi)容交互時(shí)。投影器當(dāng)今由個(gè)人廣泛使用以與許多他人共享視覺內(nèi)容。投影系統(tǒng)通常使用輸入源(例如，膝上型計(jì)算機(jī)等)，且常常需要至少一個(gè)個(gè)人來控制運(yùn)行的應(yīng)用程序。在傳統(tǒng)的應(yīng)用中，此個(gè)人常常坐在膝上型計(jì)算機(jī)旁邊以能夠使用計(jì)算機(jī)的鼠標(biāo)和鍵盤以便使呈現(xiàn)前進(jìn)到下一或前一幻燈片，突出顯示內(nèi)容的部分，繪制，放大和縮小關(guān)注區(qū)，播放或暫停視頻剪輯，點(diǎn)擊用戶接口(UI)元件等。雖然坐在計(jì)算機(jī)旁邊在許多情形中是可接受的，但有時(shí)候呈現(xiàn)者將偏好于在面對(duì)他的聽眾時(shí)站在正共享的內(nèi)容旁邊對(duì)聽眾說話。然而，這可能需要呈現(xiàn)者在屏幕與計(jì)算機(jī)之間連續(xù)地走動(dòng)以便控制運(yùn)行的應(yīng)用程序。因此，開發(fā)允許用戶在站在投影圖像附近或投影圖像內(nèi)時(shí)控制計(jì)算裝置的系統(tǒng)和方法是有益的。將進(jìn)一步有利的是允許聽眾成員從遠(yuǎn)處控制計(jì)算裝置的機(jī)會(huì)，以便參與較聞等級(jí)的合作。存在一些手持式遙控器，其允許用戶不受投影器-計(jì)算裝置的約束。然而，從低到中等價(jià)格的版本常常具有有限的功能性，且不允許用戶在表面上自由地繪制、突出顯示、復(fù)制、粘貼或者與Π元件交互。無論成本如何，這些系統(tǒng)通常需要房間中的希望成為過程中的主動(dòng)參與者的每個(gè)人具有其自己的裝置，這可能并非總是可能的事情。假定人們?cè)谌粘Ｉ钪谐３Ｊ褂檬謩?shì)作為相互交流以及在他們身邊的世界中移動(dòng)和塑造對(duì)象的方式，允許參與者使用他們的手來遠(yuǎn)程地控制計(jì)算裝置可為有益的。舉例來說，希望成為一個(gè)會(huì)話中的主動(dòng)參與者的用戶可以使用他的手來繪制、突出顯示、放大、復(fù)制、粘貼和/或拖放投影的內(nèi)容。在一個(gè)配置中，正投影的內(nèi)容是來自具有嵌入式微型投影器的智能電話。舉例來說，一些智能電話可配備有微型投影器和相機(jī)。本文揭示的系統(tǒng)和方法描述用于與投影器一起使用的手勢(shì)辨識(shí)系統(tǒng)。舉例來說，本文揭示的系統(tǒng)和方法可使用在許多當(dāng)今的膝上型計(jì)算機(jī)和移動(dòng)電話上已變得常見的相 機(jī)。在這些相機(jī)可能已被包含以用于電話會(huì)議或用于拍照時(shí)，機(jī)載傳感器(例如，相機(jī))可代替鼠標(biāo)或鍵盤而用作輸入裝置。舉例來說，本文揭示的系統(tǒng)和方法可為個(gè)人提供將任一墻壁變?yōu)楦叨群献餍怨ぷ骺臻g的機(jī)會(huì)。這可為可能的，因?yàn)樵S多智能電話不僅配備有可用來跟蹤手的相機(jī)，而且配備有能夠投影15個(gè)流明的微型投影器，15個(gè)流明足以在中等亮的房間中產(chǎn)生對(duì)角線長(zhǎng)4英尺的圖像。根據(jù)本文揭示的系統(tǒng)和方法的一個(gè)配置，將投影區(qū)域的整個(gè)內(nèi)容置于相機(jī)的視場(chǎng)內(nèi)，且在會(huì)話開始之前完成一個(gè)校準(zhǔn)階段(持續(xù)例如15秒)。本發(fā)明如下描述在手勢(shì)辨識(shí)領(lǐng)域中的若干傳統(tǒng)的方法。手檢測(cè)是計(jì)算機(jī)視覺中的積極研究的領(lǐng)域，尤其是在給定其復(fù)雜性水平的情況下。當(dāng)與如今存在許多良好解決方案的面部檢測(cè)相比時(shí)，建立在所有環(huán)境中均良好工作的手檢測(cè)和跟蹤系統(tǒng)出于若干原因是困難的。首先，張開的手相對(duì)于正面面對(duì)的相機(jī)來說大致是人面部的一半大小，從而使得在相同分辨率下特征跟蹤更困難。在視頻圖形陣列(VGA)分辨率下，從跨越房間10英尺跟蹤手提供大致20個(gè)像素的寬度供辨識(shí)系統(tǒng)使用。這大約是可用于面部檢測(cè)算法的數(shù)據(jù)的一半。此外，不同于面部，手具有非常少的對(duì)于良好跟蹤有用的唯一特征。在相機(jī)-投影器情形中，為了屏幕處的用戶看見他們希望交互的內(nèi)容且能夠使用其指尖(而不是其指甲)來與其交互，他們必須背對(duì)相機(jī)站立。這可能需要跟蹤手的背部，手的背部(不同于面部)具有非常少的唯一特征。另外，人手自由移動(dòng)通過空間的方式可能比面部跟蹤提出更多挑戰(zhàn)，假定手是附接到較長(zhǎng)的肢體，所述肢體的多個(gè)關(guān)節(jié)提供比頸部更大的自由度。已提出許多手勢(shì)系統(tǒng)用于與計(jì)算裝置的基于視覺的交互。在一個(gè)手勢(shì)系統(tǒng)中，提出用于移動(dòng)性目的的實(shí)時(shí)手勢(shì)系統(tǒng)。所述系統(tǒng)中使用的主要特征是卡納德-盧卡斯-托馬斯(Kanade, Lucas and Tomasi,KLT)特征,其被置于來自檢測(cè)區(qū)域的“便于跟蹤的”皮膚色斑上。KLT特征是以卡納德、盧卡斯和托馬斯命名，他們發(fā)現(xiàn)沿著至少兩個(gè)方向的陡亮度梯度有利于有前途的用于跟蹤目的的特征。關(guān)于在開放計(jì)算機(jī)視覺(OpenCV)應(yīng)用程序編程接口(API)功能(例如，cvGoodFeaturesToTrack 和 cvCalcOpticalFlowPyrLK)中實(shí)施的那些算法的實(shí)驗(yàn)并未在用戶的手距相機(jī)幾英尺以上的情況產(chǎn)生良好結(jié)果。
已提出另一更復(fù)雜且計(jì)算上低效的手勢(shì)辨識(shí)算法，其使用偽二維隱式馬可夫模型(Hidden Markov Models)。此些系統(tǒng)在相機(jī)-投影器情形中將不會(huì)良好工作，因?yàn)樵诟鞣N投影內(nèi)容下對(duì)人皮膚的色調(diào)改變的測(cè)試展示出較寬的色域。舉例來說，相機(jī)所見的在不同投影光(可為寬廣色域)下的皮膚可能使得基于膚色檢測(cè)的方法低效。又一方法提出用于相機(jī)-投影器系統(tǒng)的實(shí)時(shí)手勢(shì)算法。在校準(zhǔn)階段期間，通過相機(jī)與投影屏幕的坐標(biāo)之間的多項(xiàng)式變形來對(duì)透視失真進(jìn)行建模。檢測(cè)和跟蹤是基于背景分段。然而，此方法需要靜態(tài)背景，其為在此揭示的系統(tǒng)和方法不保證的事情。本文揭示的系統(tǒng)和方法的設(shè)計(jì)中的一個(gè)動(dòng)機(jī)是設(shè)計(jì)可以在當(dāng)今移動(dòng)電話中找到的現(xiàn)代嵌入式處理器上實(shí)現(xiàn)實(shí)時(shí)性能(例如，小于50毫秒(ms)響應(yīng)時(shí)間)的系統(tǒng)。因此，另一方法由于復(fù)雜性水平而將不起作用。所述方法包含如下要求讀取兩個(gè)VGA圖像(一個(gè)是投影圖像，且另一個(gè)是相機(jī)在屏幕上如何看見此圖像)，從相機(jī)對(duì)圖像進(jìn)行剪切、變形和色彩校正以用于與實(shí)際圖像適當(dāng)對(duì)齊，且隨后在由不同圖像產(chǎn)生的剪影中搜索多只手。所述方法在50ms感知實(shí)時(shí)性能的要求下似乎不可行。

為了避免對(duì)用戶造成負(fù)擔(dān)，不考慮依賴于飛行時(shí)間(TOF)相機(jī)、需要在紅外(IR)光下工作的相機(jī)的其它類型的系統(tǒng)、立體攝像機(jī)或需要用戶佩戴特殊手套或?qū)⒂猩w子置于其手指上的那些系統(tǒng)。換句話說，本文揭示的系統(tǒng)和方法不需要用戶佩戴特殊手套或有色蓋子，且不需要用戶對(duì)他/她的手進(jìn)行標(biāo)記。此外，本文揭示的系統(tǒng)和方法不需要IR或TOF相機(jī)，因?yàn)檫@些相機(jī)可能加重裝置電池的負(fù)擔(dān)且消耗相對(duì)大量的能量。另外，本文揭示的系統(tǒng)和方法不需要使用多個(gè)(例如，立體)相機(jī)。本文揭示的系統(tǒng)和方法實(shí)現(xiàn)的一個(gè)目標(biāo)是跟蹤和/或交互的準(zhǔn)確性。舉例來說，本文揭示的系統(tǒng)和方法提供與圖形用戶接口(GUI)上的小按鈕交互的足夠分辨率。本文揭示的系統(tǒng)和方法的一個(gè)實(shí)例配置如下。在此配置中，描述四個(gè)不同階段兩步校準(zhǔn)階段，其將來自投影圖像的坐標(biāo)映射到計(jì)算裝置的顯示空間，且確定手大?。粓?zhí)行手檢測(cè)的階段(其允許用戶起始跟蹤過程)；用以基于圖案(例如，哈爾(Haar)特征)跟蹤手的階段；以及手勢(shì)辨識(shí)階段。在手勢(shì)辨識(shí)階段中，例如手指辨識(shí)是基于已映射到計(jì)算機(jī)鼠標(biāo)上的左按鈕的圖案(例如，四個(gè)圖案或哈爾特征)。已展示本文揭示的系統(tǒng)和方法針對(duì)多種不同內(nèi)容有良好表現(xiàn)的現(xiàn)場(chǎng)演示。使用戶參與任何新活動(dòng)的一個(gè)因素是對(duì)系統(tǒng)的某個(gè)方面提供低學(xué)習(xí)曲線，借此用戶可立即體驗(yàn)?zāi)撤N意義的愉悅。當(dāng)用戶的情緒從此初始愉快感覺平靜下來時(shí)，用戶可能隨后決定花費(fèi)更多時(shí)間來學(xué)習(xí)系統(tǒng)，可能甚至變?yōu)榫ǖ挠脩?。為了使本文揭示的系統(tǒng)和方法對(duì)新用戶具有最小的訓(xùn)練且仍提供高級(jí)功能性，所述系統(tǒng)和方法反映了許多用戶已使用其計(jì)算機(jī)的方式當(dāng)坐在他們的桌子后時(shí)。在那種環(huán)境中，用戶可能首先伸手去拿計(jì)算裝置鼠標(biāo)，將他們的手放在鼠標(biāo)上，將鼠標(biāo)移動(dòng)到桌子上的某個(gè)位置，所述位置將光標(biāo)映射到顯示器上的所需位置，且隨后按壓鼠標(biāo)按鈕中的一者來實(shí)現(xiàn)某個(gè)所需任務(wù)。本文揭示的系統(tǒng)和方法在一個(gè)配置中類似地起作用。舉例來說，用戶可走到投影圖像或顯示器，從某個(gè)初始交互區(qū)域(例如，指定為虛擬“鼠標(biāo)墊”的區(qū)域，用戶的食指伸出(如同在左鼠標(biāo)按鈕上方))“拾取”虛擬鼠標(biāo)，在光標(biāo)跟隨其手的同時(shí)將其手移動(dòng)到屏幕上的所需位置上方，且隨后在用戶接口(UI)元件上“點(diǎn)擊”或“點(diǎn)擊、保持并拖動(dòng)”或“釋放點(diǎn)擊”。
舉例來說，用戶可學(xué)習(xí)兩個(gè)直觀的手勢(shì)合上的手，其中食指伸出以模擬用戶將他的手?jǐn)R置于計(jì)算機(jī)鼠標(biāo)上且他的食指在左鼠標(biāo)按鈕上；以及同一手勢(shì)，但食指隱藏以模擬點(diǎn)擊或點(diǎn)擊并保持操作。釋放“鼠標(biāo)按鈕”是通過顯露所述手指以便返回到擱置位置來實(shí)現(xiàn)的。因此，這些手勢(shì)對(duì)于許多用戶學(xué)習(xí)起來較容易或直觀。本文揭示的系統(tǒng)和方法可為準(zhǔn)確的，且有近似實(shí)時(shí)的表現(xiàn)。舉例來說，本文的系統(tǒng)和方法能夠在50ms下定位手的位置，且足夠準(zhǔn)確以使得在典型的投影設(shè)置中(例如，投影圖像為90英寸寬乘65英寸高)用戶可在微軟視窗Vista的開始菜單上選擇Π元件。本文的系統(tǒng)和方法的另一目標(biāo)是使用零或最小校準(zhǔn)。此外，希望所述系統(tǒng)和方法不需要使用任何比例如投影器和具有VGA分辨率相機(jī)的膝上型計(jì)算機(jī)或電話更復(fù)雜的設(shè)備。因此，本文揭示的系統(tǒng)和方法的使用的簡(jiǎn)單性和容易性可鼓勵(lì)用戶使用所述系統(tǒng)和方法。如下文描述，本文揭示的系統(tǒng)和方法的一個(gè)配置包含校準(zhǔn)、手檢測(cè)、手跟蹤和手勢(shì)辨識(shí)。校準(zhǔn)可用于相機(jī)-投影器對(duì)配置。從相機(jī)視點(diǎn)俘獲的投影內(nèi)容的坐標(biāo)(稱為投影空間)映射到計(jì)算裝置顯示器上的那些坐標(biāo)(稱為桌面空間坐標(biāo))。舉例來說，投影空間中的 隅角A、B、C和D可映射到桌面空間中的隅角A’、B’、C’和D’。雖然稱為“桌面空間坐標(biāo)”，但映射可能占據(jù)或可能不占據(jù)整個(gè)計(jì)算裝置顯示器或“桌面”。由相機(jī)俘獲的圖像可能經(jīng)受相對(duì)于桌面空間坐標(biāo)的位置和比例差異，且可能經(jīng)受透視失真，因?yàn)閷?duì)象是3維(3D)環(huán)境的2維(2D)投影。為了產(chǎn)生變換矩陣，本文揭示的系統(tǒng)和方法的一個(gè)配置采用一次校準(zhǔn)。投影一個(gè)已知的校準(zhǔn)圖像。舉例來說，可將方格或棋盤圖案投影到投影空間中?？梢园l(fā)現(xiàn)方格或棋盤圖像的四個(gè)隅角(例如,使用OpenCV的cvFindChessboardCorners O函數(shù))。隨后可使用這些點(diǎn)來搜索投影空間的實(shí)際坐標(biāo)。為了使校準(zhǔn)過程成功完成，在一個(gè)配置中，正投影的內(nèi)容完全在相機(jī)的視場(chǎng)內(nèi)。本文揭示的系統(tǒng)和方法還可確定手大小以用于準(zhǔn)確跟蹤。決定相機(jī)所見的手的大小的主要因素是投影器可產(chǎn)生多大的圖像。投影器能力越強(qiáng)，其可距屏幕越遠(yuǎn)地放置以產(chǎn)生可能的最大圖像，這也可能需要相機(jī)距屏幕更遠(yuǎn)地放置。在一個(gè)配置中，投影具有不同半徑的圓的圖像。用戶將他/她的合上的拳頭放置于提供最緊密擬合的圓內(nèi)并持續(xù)一個(gè)時(shí)間(例如，2秒)?；趶?qiáng)度的改變，可識(shí)別用戶選擇的圓。本文揭示的系統(tǒng)和方法可用以檢測(cè)手。舉例來說，當(dāng)置于投影空間的經(jīng)標(biāo)記區(qū)域(稱為初始交互區(qū)域或虛擬“鼠標(biāo)墊”)中時(shí)，檢測(cè)用戶的手。這可起始手跟蹤。在一個(gè)配置中，虛擬鼠標(biāo)墊處于屏幕的右下角，且是在校準(zhǔn)階段期間確定的手大小的四倍大。在計(jì)算裝置正在運(yùn)行時(shí)，連續(xù)地區(qū)別此經(jīng)標(biāo)記區(qū)域中的傳入像素值與先前幀中的對(duì)應(yīng)像素。當(dāng)在亮度或發(fā)光度通道中觀察到的差的總和高于固定閾值時(shí)，進(jìn)入手跟蹤階段，其通過保證所述改變實(shí)際上是由于手引起而開始。本文揭示的系統(tǒng)和方法可用以跟蹤一個(gè)或一個(gè)以上手。舉例來說，本文揭示的系統(tǒng)和方法可使用如下事實(shí)人皮膚通常比在周圍區(qū)域中發(fā)現(xiàn)的材料(例如，屏幕、被粉刷的墻、白板等)吸收更多的光。給定此情形，可使用若干圖案(例如，五個(gè)新的哈爾特征)來尋找在投影光下相對(duì)于非皮膚材料具有類似于手和手腕的背部的反射性質(zhì)的對(duì)象。在一個(gè)配置中，在圖像中的最后已知的手位置處將圖案(例如，五個(gè)濾波器或哈爾特征)中的每一者應(yīng)用于覆蓋一個(gè)是測(cè)得的手大小四倍大的區(qū)域的數(shù)據(jù)。在此配置中，從左到右、從上到下逐個(gè)像素地掃描搜索空間。在給定濾波器的淺灰色區(qū)域的總和與對(duì)應(yīng)深灰色區(qū)域的總和之間的具有最大差的圖案被選定。隨后對(duì)照一組閾值(例如是預(yù)定的或離線計(jì)算的)檢查具有最佳擬合的濾波器。更具體來說，較亮區(qū)域或區(qū)(例如，三個(gè)區(qū)和“3”)中的平均像素值(例如，亮度、強(qiáng)度等)大于第一較暗區(qū)域或區(qū)(例如，“5”)中的平均像素值加上一個(gè)閾值(例如，20個(gè)亮度或強(qiáng)度等級(jí)-下文給出更多細(xì)節(jié))。第二較暗區(qū)域(例如，“4”)中的平均像素值經(jīng)檢查為小于第一較暗區(qū)域(例如，“5”)中的值減去一個(gè)閾值(例如，20)。另外，來自第一較暗或中心區(qū)域(例如，“5”)的平均像素值經(jīng)檢查為大于一值(例如，30個(gè)亮度或強(qiáng)度等級(jí))，這可幫助避免跟蹤頭部或手的影子。如果濾波器(例如，五個(gè)濾波器)中沒有任一者成功找到拳頭和手腕，那么可重復(fù)所述操作直到找到手為止。本文揭示的系統(tǒng)和方法可使用“像素值”、“強(qiáng)度”或“亮度”值。在一個(gè)配置中，例如，相機(jī)可針對(duì)紅色、綠色和藍(lán)色分量中的每一者輸出I個(gè)字節(jié)的數(shù)據(jù)。此數(shù)據(jù)可轉(zhuǎn)換為亮度(Y或Y’)、藍(lán)色差(Cb)和/或紅色差分量(Cr)。亮度分量可稱為“像素值”或“強(qiáng)度”。亮度分量可例如使用8位(I字節(jié))數(shù)字來表示。因此，亮度、像素值或強(qiáng)度可在從黑色的 0(其中所有位為O)到白色的255 (其中所有位為I)的值或等級(jí)范圍內(nèi)。可將“閾值”定義為某一強(qiáng)度值或某一數(shù)目的強(qiáng)度等級(jí)。舉例來說，可將閾值定義為20或30等。舉例來說，對(duì)于實(shí)時(shí)性能，計(jì)算積分圖像以供哈爾特征(例如，五個(gè)哈爾特征圖案)使用。對(duì)于三個(gè)水平和垂直的哈爾特征圖案，可計(jì)算積分圖像。對(duì)于在+45和-45度處的兩個(gè)濾波器，經(jīng)由所描述的旋轉(zhuǎn)總和面積表來計(jì)算積分圖像。一旦五個(gè)濾波器中的一者與準(zhǔn)則匹配，便可終止搜索。本文揭示的系統(tǒng)和方法可用于手勢(shì)辨識(shí)。舉例來說，可支持兩個(gè)不同的輸入動(dòng)作計(jì)算裝置的左鼠標(biāo)按鈕的按壓和釋放。舉例來說，具有伸出的食指的合上的拳頭可指示在鼠標(biāo)按鈕未被按下時(shí)，而隱藏食指則映射到按鈕被按壓。在一個(gè)配置中，當(dāng)被跟蹤的手已停止移動(dòng)某個(gè)間隔(例如，700毫秒(ms))時(shí)，所述系統(tǒng)和方法開始搜索食指的存在?？蔀榇耸褂萌舾?例如，4個(gè))哈爾特征。在一個(gè)配置中，手勢(shì)辨識(shí)通過首先將被跟蹤的手圖像縮放為固定大小的圖像(例如，針對(duì)640x480像素的網(wǎng)絡(luò)攝像機(jī)為40x40像素)而開始。所述縮放可取決于搜尋的對(duì)象(例如，手指)大小和/或相機(jī)的分辨率。應(yīng)注意，可另外地或替代地縮放哈爾特征或?yàn)V波器。基于(縮放的)圖像，計(jì)算積分圖像以用于在食指正指向水平或垂直方向時(shí)使用。針對(duì)選定的食指的準(zhǔn)則是亮區(qū)域(例如，“I”和“3”)的平均像素值應(yīng)當(dāng)大于暗區(qū)域(例如，“2”)中的值加上一個(gè)閾值(例如，30)。如果找到處于水平或垂直圖案中的手指，那么終止搜索。否則，在+45和-45度處計(jì)算旋轉(zhuǎn)的積分圖像。如果使用這些濾波器未找到食指，那么將手視為處于合上的拳頭手勢(shì)中。為了改善手指辨識(shí)器的穩(wěn)健性，將(例如)最大投票算法應(yīng)用于20個(gè)存儲(chǔ)幀的緩沖器。舉例來說，所述系統(tǒng)和方法可能要求在左鼠標(biāo)按鈕事件被觸發(fā)(到例如操作系統(tǒng)
(OS)的窗口管理器)之前緩沖器中的至少80%的圖像描繪隱藏的食指。為了檢測(cè)顯露的食指，所搜索的20個(gè)幀中的50%必須報(bào)告對(duì)例如食指的發(fā)現(xiàn)。針對(duì)食指的顯露對(duì)隱藏的較低閾值要求是應(yīng)歸于狀態(tài)機(jī)，所述狀態(tài)機(jī)可能要求僅在已檢測(cè)到點(diǎn)下鼠標(biāo)事件之后才觸發(fā)松開鼠標(biāo)事件。這用作過濾器以減少錯(cuò)誤肯定。
本文的系統(tǒng)和方法可根據(jù)如下的一個(gè)實(shí)例測(cè)試實(shí)施方案來實(shí)施。舉例來說，在一個(gè)實(shí)施方案中，所述系統(tǒng)和方法是充分利用OpenCV庫(kù)而以C來開發(fā)。使用HP Compaq6710b膝上型計(jì)算機(jī)，其配置有具有2GB RAM的英特爾酷睿2 (Intel Core 2Duo) T73002GHz處理器且運(yùn)行Windows XP。網(wǎng)絡(luò)攝像機(jī)是Creative Live!Cam Video IM Ultra,其能夠以30幀/秒(fps)俘獲VGA分辨率圖像。投影器是愛普生(EpsorOPowerLite 83+，其在92英寸寬乘65英寸高的屏幕上投影圖像。房間中的光照降低到66勒克斯，其中用戶可容易舒適地看見屏幕和彼此。當(dāng)投影具有128的紅綠藍(lán)(RGB)值的灰色圖像時(shí)在屏幕處的光為72勒克斯。在手跟蹤和手勢(shì)辨識(shí)階段期間，測(cè)得所述實(shí)施方案僅消耗23%的中央處理單元(CPU)。為了測(cè)量所述實(shí)施方案的準(zhǔn)確性，已經(jīng)熟悉系統(tǒng)的用戶可站在遠(yuǎn)離相機(jī)10英尺處且使用他的徒手來導(dǎo)航到屏幕上的四個(gè)預(yù)定的位置以便觸發(fā)點(diǎn)下鼠標(biāo)事件，之后是松開鼠標(biāo)事件，對(duì)若干次此情況進(jìn)行制表。正在投影的內(nèi)容是以全屏模式播放的視頻。為了確保視頻是隨機(jī)選擇的，在測(cè)試時(shí)選擇YouTube上在“現(xiàn)在正被觀看的視頻”類別中選擇50個(gè)最流行的視頻。在開發(fā)階段期間不使用所述視頻中的任一者。為了確保在整個(gè)測(cè)試期間播放的視頻不中斷，僅選擇長(zhǎng)度長(zhǎng)于I分鐘的視頻且在測(cè)試開始之前將其完全緩沖，且將手勢(shì)停用以免實(shí)際觸發(fā)鼠標(biāo)事 件，觸發(fā)鼠標(biāo)事件將使視頻暫停。在所述測(cè)試中，屏幕上的四個(gè)區(qū)被標(biāo)記為A、B、C、D且分別映射到一個(gè)矩形的左上、右上、左下和右下角，所述矩形具有在屏幕的底部1/3處居中的投影區(qū)域的1/2寬度和1/2高度。測(cè)試要求用戶從初始交互區(qū)域或虛擬鼠標(biāo)墊“拾取”光標(biāo)或虛擬鼠標(biāo)，將手導(dǎo)航到位置A，且在光標(biāo)成功跟蹤到所述位置的2英寸以內(nèi)時(shí)，在所述區(qū)上點(diǎn)擊。如果所述手勢(shì)得到正確辨識(shí)，那么用戶接著將通過顯露食指來釋放虛擬鼠標(biāo)按鈕。在此之后，用戶將接著將他/她的手向右移動(dòng)到位置B，向下移動(dòng)到位置C，且最終向左移動(dòng)到位置D，同樣在這三個(gè)位置中的每一者處進(jìn)行所述兩個(gè)手勢(shì)?？傊?，針對(duì)每一視頻進(jìn)行12次測(cè)量。以下在表I中針對(duì)50個(gè)視頻中的每一者展示4個(gè)測(cè)試的結(jié)果。所述結(jié)果說明本文揭示的系統(tǒng)和方法的以上實(shí)施方案在跟蹤手到預(yù)定位置中的每一者時(shí)是96%有效的。在光標(biāo)成功跟蹤手的192次中，檢測(cè)到點(diǎn)擊手勢(shì)157次，從而指示82%有效性。這157次成功的辨識(shí)中，此實(shí)施方案檢測(cè)到伴隨的釋放手勢(shì)154次。,__^ 所 #位背
BIiiS I 點(diǎn) m —嘗試 _ 200192157失敗—8353
W效性96% I 82%98% ~表I點(diǎn)擊手勢(shì)辨識(shí)的82%的有效性顯露出在手指檢測(cè)中存在改進(jìn)的空間。然而，在致力于選擇用戶將容易記住和學(xué)習(xí)的手勢(shì)的過程中，本文揭示的系統(tǒng)和方法跟蹤一手指，所述手指在給定VGA相機(jī)距屏幕10英尺的情況下大約為6個(gè)像素寬。在其它配置中，點(diǎn)擊手勢(shì)可映射到從這些距離更可見的動(dòng)作，可能是例如張開到合上的拳頭的動(dòng)作。任選地，可使用手跟蹤器來驅(qū)動(dòng)手勢(shì)引擎。舉例來說，在手已停止達(dá)一時(shí)間周期之后，光標(biāo)可固定于其當(dāng)前位置，同時(shí)用戶左右移動(dòng)他/她的手三次以表示點(diǎn)擊動(dòng)作。從右向左移動(dòng)手三次將表示點(diǎn)擊和保持動(dòng)作，之后是從右向左再三次以用于例如釋放按鈕。簡(jiǎn)單來說，在手勢(shì)系統(tǒng)的質(zhì)量與手勢(shì)集合的直觀性之間常常存在相反關(guān)系。用戶的手勢(shì)越簡(jiǎn)單，其將支持的復(fù)雜性常常越聞。根據(jù)本文揭示的系統(tǒng)和方法的可能動(dòng)作包含繪制、放大圖片(可能甚至富含皮膚狀色彩)或者暫停和播放YouTube視頻等。如上文論述，本文揭示的系統(tǒng)和方法提供實(shí)時(shí)和穩(wěn)健的手勢(shì)系統(tǒng)和方法，其允許計(jì)算裝置與微型或標(biāo)準(zhǔn)投影器的組合以使任何墻壁或屏幕變?yōu)椤澳軌蛴|摸的”表面(例如，用戶可通過相對(duì)于投影圖像的手勢(shì)來與計(jì)算裝置交互)。本文揭示的系統(tǒng)和方法的一個(gè)配置包括四個(gè)階段校準(zhǔn)、手檢測(cè)、手跟蹤以及手勢(shì)辨識(shí)。系統(tǒng)和方法可允許用戶使用他們的空手來從跨越房間10英尺處控制例如運(yùn)行投影應(yīng)用程序的計(jì)算裝置的單按鈕“鼠標(biāo)”。在進(jìn)行一個(gè)實(shí)施方案的200次測(cè)試之后，所述實(shí)施方案證實(shí)為在跟蹤用戶手中為96%有效的,在檢測(cè)指派于左鼠標(biāo)點(diǎn)擊的手勢(shì)中為82%有效的,且在檢測(cè)左鼠標(biāo)按鈕被釋放時(shí)具有98%的成功率。所述實(shí)施方案提供實(shí)時(shí)體驗(yàn)且僅耗用現(xiàn)代膝上型計(jì)算機(jī)上的23%的CPU。
本文揭示的系統(tǒng)和方法的其它配置可包含額外的功能性或特征。在一個(gè)配置中，所述系統(tǒng)和方法可包含用于“釋放”光標(biāo)或?qū)⒐鈽?biāo)保留在當(dāng)前位置的功能。舉例來說，可使用一手勢(shì)來允許用戶使他/她的手離開虛擬鼠標(biāo)(即，其中系統(tǒng)停止跟蹤手且將光標(biāo)留在其當(dāng)前位置)。舉例來說，可使用手勢(shì)辨識(shí)以使得當(dāng)用戶張開他/她的手(例如，伸展全部五個(gè)手指)時(shí)，所述系統(tǒng)和方法可將光標(biāo)留在其當(dāng)前位置且/或不繼續(xù)手跟蹤。在一個(gè)配置中，可添加對(duì)手的位置(例如，最后確定的手位置)的明亮“發(fā)光”效應(yīng)，以進(jìn)一步改善手跟蹤器和手勢(shì)引擎的穩(wěn)健性。通過實(shí)際上修改恰在手周圍投影的內(nèi)容，可減少或消除對(duì)來自高對(duì)比度圖像的性能的干擾。舉例來說，可修改投影圖像以使得用戶的手的最后跟蹤或確定的位置周圍的區(qū)域發(fā)亮或變亮。舉例來說，可將白色的圓置于投影圖像中位于最后確定的手位置周圍(進(jìn)而例如“遮蔽”投影圖像的部分)。這可改善本文的系統(tǒng)和方法的確定當(dāng)前手位置的能力(假定例如所述手沒有移動(dòng)太快)。在一個(gè)配置中，所述系統(tǒng)和方法可允許初始交互區(qū)域或虛擬鼠標(biāo)墊跟蹤用戶的身體或臀部，使得他/她無需每次都要走到鼠標(biāo)墊。舉例來說，可掃描屏幕的(下部)部分以找到在一個(gè)鄰接暗區(qū)旁邊的鄰接亮區(qū)，所述暗區(qū)在另一鄰接的亮區(qū)旁邊。暗區(qū)可指示(例如)用戶的身體、臀部或軀干的位置。此位置可用以將初始交互區(qū)域移動(dòng)到用戶旁邊。舉例來說，估計(jì)的手大小和/或面部大小(例如，基于校準(zhǔn)/面部辨識(shí))可用以估計(jì)用戶的身體(例如，臀部、軀干等)的大小。在一個(gè)配置中，可使用此估計(jì)的手大小的倍數(shù)。舉例來說，用戶的身體可經(jīng)估計(jì)為用戶的手的寬度的五倍。因此，可基于估計(jì)的身體大小來確定一個(gè)或一個(gè)以上哈爾圖案或?yàn)V波器。舉例來說，亮的左區(qū)可為手大小的2到3倍，暗(中心)區(qū)可為手大小的4到6倍和/或亮的右區(qū)可為手大小的2到3倍。在一個(gè)配置中，可僅當(dāng)例如不執(zhí)行手跟蹤時(shí)執(zhí)行此身體跟蹤。所述系統(tǒng)和方法還可使用面部檢測(cè)來估計(jì)手大小。舉例來說，可使用面部檢測(cè)來估計(jì)或確定面部大小，其可隨后用以估計(jì)拳頭大小(其可用以估計(jì)身體大小等)。舉例來說，可將拳頭大小估計(jì)為用戶的面部大小的1/6到1/4。本文的系統(tǒng)和方法可支持對(duì)(例如單個(gè)或多個(gè)用戶的)多只手的跟蹤。舉例來說，可提供若干虛擬鼠標(biāo)墊(可重疊和/或呈某個(gè)圖案)以允許對(duì)多只手的跟蹤。
本文揭示的系統(tǒng)和方法可支持除了鼠標(biāo)左擊之外的手勢(shì)，且支持將光標(biāo)延伸遠(yuǎn)離用戶的手以便到達(dá)屏幕的遠(yuǎn)角的能力。這可通過計(jì)算(例如)用戶的拇指與食指之間的角度來實(shí)現(xiàn)。舉例來說，可使用若干哈爾圖案或特征，其允許在多種不同角度下的匹配，例如0、15、30、45、60、75和90度。在90度圖案的匹配的情況下，可將光標(biāo)延伸到遠(yuǎn)離用戶的手的最大距離(例如，15英尺)直到O度圖案匹配下的最小距離。手的位置可用來確定用以搜索拇指的區(qū)域(例如，相對(duì)于手)?，F(xiàn)在參考圖描述各種配置，其中相同參考數(shù)字可指示功能上相似的元件。如圖中大體上描述和說明的系統(tǒng)和方法可以廣泛多種不同配置來布置和設(shè)計(jì)。因此，如圖中表示的若干配置的以下更詳細(xì)描述無意限制所主張的范圍，而是僅代表所述系統(tǒng)和方法。圖I是說明其中可實(shí)施計(jì)算裝置接口的計(jì)算裝置 104的一個(gè)配置100的框圖。計(jì)算裝置104的實(shí)例包含桌上型計(jì)算機(jī)、膝上型計(jì)算機(jī)、智能電話、蜂窩式電話、個(gè)人數(shù)字助理(PDA)、電子讀取器、包含處理器和存儲(chǔ)器的集成電路、游戲控制臺(tái)等。計(jì)算裝置104與相機(jī)102和/或投影器108通信和/或連接到相機(jī)102和/或投影器108。在一個(gè)配置中，計(jì)算裝置104產(chǎn)生待由投影器108投影的圖像。計(jì)算裝置104從相機(jī)102接收所俘獲的圖像或圖像數(shù)據(jù)。相機(jī)102、計(jì)算裝置104和/或投影器108可集成到一個(gè)裝置(例如，具有相機(jī)或微型投影器的智能電話)中，或可為單獨(dú)裝置(例如，網(wǎng)絡(luò)攝像機(jī)、膝上型計(jì)算機(jī)和標(biāo)準(zhǔn)投影器)。計(jì)算裝置104包含接口模塊106。接口模塊106可實(shí)施為硬件、軟件或兩者的組合。接口模塊106實(shí)現(xiàn)針對(duì)由相機(jī)102俘獲的圖像的手跟蹤和手勢(shì)辨識(shí)。舉例來說，接口模塊106校準(zhǔn)計(jì)算裝置104,檢測(cè)一個(gè)或一個(gè)以上手,跟蹤一個(gè)或一個(gè)以上手,且辨識(shí)手勢(shì)(例如，基于由相機(jī)102俘獲的圖像)。手跟蹤和/或手勢(shì)辨識(shí)可由接口模塊106使用以執(zhí)行操作或觸發(fā)命令。換句話說，計(jì)算裝置104可基于手跟蹤和/或手勢(shì)辨識(shí)而執(zhí)行操作和/或觸發(fā)命令。以此方式，接口模塊106實(shí)現(xiàn)手跟蹤和手勢(shì)辨識(shí)接口。舉例來說，計(jì)算裝置104可產(chǎn)生圖像，所述圖像由投影器108投影到墻壁、屏幕或表面上。接口模塊允許用戶通過將他/她的手移動(dòng)到投影圖像上(或前方)的位置和/或做手勢(shì)來與計(jì)算裝置104交互。由相機(jī)102俘獲的手移動(dòng)和/或手勢(shì)的圖像可由接口模塊106使用以確定手位置和/或是否曾執(zhí)行手勢(shì)。這可用以執(zhí)行動(dòng)作或操作，例如投影圖像中所示的圖標(biāo)上的“點(diǎn)擊”、放大或縮小、繪制、選擇、復(fù)制、粘貼、拖動(dòng)等。圖2是說明包含相機(jī)202、計(jì)算裝置204和投影器208的電子裝置210的一個(gè)配置的框圖。在一個(gè)配置中，舉例來說，相機(jī)202、計(jì)算裝置204和投影器208集成到一個(gè)電子裝置210中。舉例來說，電子裝置210可為無線通信裝置，例如蜂窩式電話、智能電話、膝上型計(jì)算機(jī)等。無線通信裝置可包含集成式數(shù)碼相機(jī)202、集成式微型投影器208和計(jì)算裝置(例如，集成處理器和存儲(chǔ)器)204。其它電子裝置210的實(shí)例包含桌上型計(jì)算機(jī)(具有集成式相機(jī)202和投影器208)和平板裝置(具有集成式相機(jī)202和投影器208)。計(jì)算裝置204可包含接口模塊206。舉例來說，接口模塊206可實(shí)施為具有在存儲(chǔ)器中的指令的軟件，所述指令由處理器執(zhí)行。在另一配置中，接口模塊106可直接以硬件實(shí)施。電子裝置210可經(jīng)配置以執(zhí)行本文揭示的方法。圖3是說明其中可實(shí)施計(jì)算裝置接口的計(jì)算裝置304的更具體配置的框圖。計(jì)算裝置304可與投影器308和相機(jī)302通信。如上文論述，投影器308、計(jì)算裝置304和/或相機(jī)302可為單獨(dú)裝置，或可集成到一個(gè)或一個(gè)以上裝置中。計(jì)算裝置304可產(chǎn)生圖像數(shù)據(jù)和/或?qū)D像數(shù)據(jù)發(fā)送到投影器308。投影器308可使用圖像數(shù)據(jù)產(chǎn)生投影圖像330。相機(jī)302在包含投影圖像330的相機(jī)俘獲區(qū)域328中俘獲圖像或圖像數(shù)據(jù)。相機(jī)302還可俘獲用戶332的全部或部分圖像或圖像數(shù)據(jù)。計(jì)算裝置304包含接口模塊306。在圖3中說明的配置中，接口模塊306包含校準(zhǔn)模塊312、手檢測(cè)模塊318、手跟蹤模塊320以及手勢(shì)辨識(shí)模塊324。校準(zhǔn)模塊312包含映射模塊314和手大小確定模塊316。映射模塊314用以將來自投影圖像330或投影空間的坐標(biāo)映射到“桌面空間”中。舉例來說，桌面空間可包含計(jì)算裝置304上的視覺交互空間或圖形用戶接口(GUI)的全部或部分，例如由計(jì)算裝置304產(chǎn)生的“桌面”或“窗”。在一個(gè)配置中，投影圖像330是桌面空間的圖像。舉例來說，桌面空間可包含一個(gè)或一個(gè)以上應(yīng)用程序、圖像、視頻等的圖標(biāo)、按鈕、交互式控件(例如，滑塊、撥號(hào)盤、無線電按鈕、文本框等)。這些桌面空間元件可投影為投影圖像330。 映射模塊314可將來自由相機(jī)302俘獲的投影圖像330的位置映射到桌面空間中的位置。為了實(shí)現(xiàn)此映射，計(jì)算裝置304可使用投影器308來投影可由映射模塊314使用的投影圖像330以確定映射。舉例來說，投影圖像330可為方格或棋盤圖案，映射模塊314可使用其來找到或確定投影圖像330或投影空間(來自例如相機(jī)302俘獲的圖像)的隅角。這些隅角可隨后映射到桌面空間的隅角。手大小確定模塊316用以確定用戶332的手334的大小(或大小的估計(jì))。舉例來說，計(jì)算裝置304使用投影器308來投影包含一系列圓或橢圓的圖像。手大小確定模塊316可確定用戶的手334在哪個(gè)圓中。舉例來說，用戶332將他/她的手334放置于緊密匹配于他/她的手334大小的圓或橢圓中。計(jì)算裝置304(例如，手大小確定模塊316)針對(duì)那個(gè)特定圓或橢圓檢測(cè)強(qiáng)度改變。手大小確定模塊316可隨后確定圓或橢圓的大小(例如，以像素為單位)是用戶332的手334大小。確定的手334大小可用以確定(例如)搜素空間333的大小。手檢測(cè)模塊318是可用以檢測(cè)何時(shí)用戶的手334正在用以與計(jì)算裝置304交互的模塊。舉例來說，手檢測(cè)模塊318可監(jiān)視投影圖像(或投影空間)中的初始交互區(qū)域338。在一個(gè)配置中，初始交互區(qū)域338是由手大小確定模塊316確定的手334大小的四倍大,且駐留在投影圖像330或投影空間的右下部分中?？墒褂枚鄠€(gè)初始交互區(qū)域338來適應(yīng)多只手和/或多個(gè)用戶332。舉例來說，多個(gè)初始交互區(qū)域338可重疊、放置于特定圖案(例如，棋盤)中，和/或可移動(dòng)(例如，與一個(gè)或一個(gè)以上用戶332 —起)。在一個(gè)配置中，初始交互區(qū)域338可為不同大小、可置于投影圖像330或投影空間的不同位置中，和/或可移動(dòng)(例如，可跟蹤用戶332的身體或軀干，且初始交互區(qū)域可例如與用戶332 —起移動(dòng)、在用戶332旁邊)。在一個(gè)配置中，舉例來說，計(jì)算裝置304可基于用戶332的身體位置來移動(dòng)初始交互區(qū)域338。計(jì)算裝置304可通過搜索對(duì)應(yīng)于用戶332的身體(例如，臀部、背側(cè)、軀干、背部等)的暗區(qū)域或圖案來實(shí)現(xiàn)此情況。計(jì)算裝置304可針對(duì)此暗區(qū)域或圖案(例如，投影圖像的底部1/10等)搜索投影圖像的僅一部分?？蓪⒂脩?32的身體的寬度估計(jì)為手334大小的倍數(shù)(例如，用戶332的拳頭大小的五倍)。計(jì)算裝置304可使用用戶332的身體的此跟蹤位置來移動(dòng)初始交互區(qū)域338，使得其在用戶332旁邊(例如，通過用戶332的腰部等)。因此，用戶332將不必在每次他/她想要“拾取” “虛擬鼠標(biāo)”或光標(biāo)時(shí)都移動(dòng)到投影圖像的右下角。為了跟蹤用戶332的身體，可使用一個(gè)或一個(gè)以上哈爾圖案或?yàn)V波器。舉例來說，一個(gè)圖案可包括在一個(gè)矩形中心暗區(qū)旁邊的矩形左亮區(qū)，所述矩形中心暗區(qū)在矩形右亮區(qū)旁邊。此圖案可用以搜索圖像數(shù)據(jù)以尋找圖像數(shù)據(jù)中指示身體位置的匹配。所述區(qū)的大小可基于校準(zhǔn)或基于確定的或估計(jì)的手334大小來確定或估計(jì)。舉例來說，計(jì)算裝置可通過使用一個(gè)或一個(gè)以上圓或橢圓的校準(zhǔn)或通過面部辨識(shí)來確定或估計(jì)手大小。左和/或右亮區(qū)的大小(例如，寬度)可為兩只到三只手大小(例如，寬度)的倍數(shù)，而中心暗區(qū)的大小(例如，寬度)可為三只到五只手大小(例如，寬度)。圖像數(shù)據(jù)中的圖案匹配的位置可用以移動(dòng)初始交互區(qū)域?？蓛H搜索投影圖像330的下部部分(例如，下部1/10)來尋找用戶332的身體。在一個(gè)配置中，可在未正在跟蹤手334時(shí)搜索用戶332的身體。在一個(gè)配置中，在未找到圖像數(shù)據(jù)中與圖案的匹配時(shí)，初始交互區(qū)域338可保持靜止。另外或替代地，可使用一個(gè)或一個(gè)以上額外圖案或?yàn)V波器(可類似于上述實(shí)例，但例如，一個(gè)或一個(gè)以上區(qū)可為不同的大小) 以便在用戶332的側(cè)面正面對(duì)相機(jī)302時(shí)跟蹤用戶332的身體。手檢測(cè)模塊318可監(jiān)視初始交互區(qū)域338以尋找用戶的手334。在一個(gè)配置中，手檢測(cè)模塊318計(jì)算當(dāng)前幀中的像素的亮度(例如，強(qiáng)度)或發(fā)光度與初始交互區(qū)域338中的一個(gè)或一個(gè)以上先前幀中的對(duì)應(yīng)像素的亮度或發(fā)光度之間的差?？蓪?duì)這些差進(jìn)行求和。如果(例如，亮度或發(fā)光度通道的)差的和高于閾值，那么這可指示手334在初始交互區(qū)域338中。當(dāng)此情況發(fā)生時(shí)，手檢測(cè)模塊318可指示手跟蹤模塊320應(yīng)開始跟蹤手334。手跟蹤模塊320可檢查或驗(yàn)證(例如，亮度或發(fā)光度的)改變以確保所述改變實(shí)際上是由于手334引起。手跟蹤模塊320用以跟蹤用戶的手334。手跟蹤模塊320可包含一個(gè)或一個(gè)以上跟蹤圖案322。跟蹤圖案322的實(shí)例包含哈爾特征圖案。跟蹤圖案322例如可包含兩個(gè)暗區(qū)。所述暗區(qū)中的一者可為由三個(gè)較亮的區(qū)圍繞的中心暗區(qū)(例如，表示用戶的手334的背部)。另一暗區(qū)可鄰近于中心暗區(qū)(例如，表示用戶332的手腕)。當(dāng)計(jì)算裝置304正在跟蹤手334 (可能已由手檢測(cè)模塊318起始)時(shí)，手跟蹤模塊320可掃描由相機(jī)302提供的圖像或圖像數(shù)據(jù)的特定搜索空間333。在一個(gè)配置中，搜索空間333約為由手大小確定模塊316確定的手334大小的四倍。計(jì)算裝置304 (例如，手跟蹤模塊320)可掃描搜索空間333以尋找與跟蹤圖案322中的一者的最佳擬合。如果未找到匹配，那么手跟蹤模塊320可繼續(xù)搜索手334 (和/或例如可在一時(shí)間周期中未找到手的情況下最終終止搜尋手334)。如果找到匹配，那么計(jì)算裝置304 (例如，手跟蹤模塊320)可使用匹配的定位和/或位置。在一個(gè)配置中，搜索空間333可基于手334的運(yùn)動(dòng)(例如，速度和方向)而動(dòng)態(tài)地改變(例如，增長(zhǎng)、收縮)。舉例來說，如果被跟蹤的手334正在特定方向上快速移動(dòng)，那么計(jì)算裝置304可尤其在運(yùn)動(dòng)方向上增加搜索空間的區(qū)域。在一個(gè)配置中，搜索空間333的區(qū)域尤其在用戶的手334正在緩慢移動(dòng)的情況下也可減小。還應(yīng)注意，搜索空間333可為任何大小，直到且包含相機(jī)俘獲區(qū)域328的大小。然而，可使用減小的搜索空間333(例如，用戶332的拳頭的大小的四倍)且計(jì)算上更高效。可對(duì)照一組閾值來檢查具有最佳擬合的濾波器或跟蹤圖案322。此檢查可幫助避免跟蹤用戶的頭部332或手334的影子336。一旦檢查到具有最佳擬合的濾波器或跟蹤圖案322 (且通過檢查)，則可使用匹配的定位和/或位置。舉例來說，匹配的位置可用以控制計(jì)算裝置304上的光標(biāo)的位置。換句話說，計(jì)算裝置304可將其光標(biāo)移動(dòng)到桌面空間中由所述匹配指示的位置。手勢(shì)辨識(shí)模塊324可使用手勢(shì)圖案326來檢測(cè)手勢(shì)。例如，手勢(shì)圖案326可為用以檢測(cè)特定手勢(shì)的哈爾特征，例如伸展或縮回一個(gè)或一個(gè)以上手指或者將手指放置于特定位置中。舉例來說，手勢(shì)圖案326可包含三個(gè)矩形區(qū)(例如，并排堆疊)。兩個(gè)外側(cè)區(qū)可為較亮區(qū)且內(nèi)部區(qū)可為較暗區(qū)。矩形區(qū)的群組可為垂直、水平和/或成角度(例如，±45° )。在一個(gè)配置中，計(jì)算裝置304(例如，手勢(shì)辨識(shí)模塊324)檢測(cè)何時(shí)被跟蹤的手334已停止移動(dòng)某個(gè)時(shí)間間隔(例如，700ms)。當(dāng)此情況發(fā)生時(shí)，手勢(shì)辨識(shí)模塊324將被跟蹤的手334圖像縮放為固定大小(例如，40x40)。舉例來說，基于手334的最后跟蹤的位置的區(qū)域可用以確定待搜索的圖像區(qū)域?；诖藞D像，計(jì)算積分圖像以在食指正指向水平或垂直方向時(shí)使用。如果找到水平或垂直圖案326中的手指，那么搜索終止。否則，計(jì)算+45°和-45°處 的旋轉(zhuǎn)的積分圖像。如果找到旋轉(zhuǎn)的手指，那么搜索也可終止。然而，如果未找到手指，那么計(jì)算裝置304 (例如，手勢(shì)辨識(shí)模塊324)可確定手334合上(沒有伸展的手指)。在一個(gè)配置中，計(jì)算裝置304可在辨識(shí)出特定手勢(shì)的情況下執(zhí)行操作和/或觸發(fā)事件。舉例來說，如果手勢(shì)辨識(shí)模塊324確定未找到手指，那么計(jì)算裝置304可觸發(fā)左鼠標(biāo)點(diǎn)下或點(diǎn)擊事件。此外，如果找到手指，那么計(jì)算裝置304可觸發(fā)鼠標(biāo)松開事件。因此，可模擬鼠標(biāo)點(diǎn)擊。在另一配置中，手勢(shì)辨識(shí)模塊324可使用“投票”操作或功能。舉例來說，手勢(shì)辨識(shí)模塊324可緩沖或存儲(chǔ)20個(gè)幀。在觸發(fā)左鼠標(biāo)事件之前，手勢(shì)辨識(shí)模塊324可能需要80%的緩沖幀來指示隱藏的手指。此外，在觸發(fā)鼠標(biāo)松開事件之前，手勢(shì)辨識(shí)模塊324可能需要20個(gè)幀中的50%指示伸展的手指。此外，計(jì)算裝置304可采用將僅允許跟在鼠標(biāo)點(diǎn)下事件之后的鼠標(biāo)松開事件的狀態(tài)機(jī)。這可用作濾波器以減少錯(cuò)誤肯定。額外配置可采用替代和/或額外特征。在一個(gè)配置中，計(jì)算裝置304可產(chǎn)生圍繞被跟蹤的手334的較亮區(qū)域或“發(fā)光”以改善跟蹤。舉例來說，計(jì)算裝置304可增加待投影的圖像中的被跟蹤的手334的位置周圍的若干像素的亮度。如上文提到，在一些配置中可同時(shí)跟蹤多只手和/或可同時(shí)辨識(shí)多個(gè)手勢(shì)。在一個(gè)配置中，計(jì)算裝置304可移除所俘獲的圖像的暗部分(例如，亮度Γ35)，之后執(zhí)行跟蹤和/或手勢(shì)辨識(shí)以避免檢測(cè)、跟蹤和/或辨識(shí)來自用戶的手334和/或手指的影子336的手勢(shì)。舉例來說，計(jì)算裝置304可確定來自所俘獲的圖像的非常暗(例如，低于特定閾值)的像素，且在圖案搜索中不考慮這些像素。在一個(gè)配置中，計(jì)算裝置304(例如，手勢(shì)辨識(shí)模塊324)可基于用戶的手334的拇指與食指之間的角度來辨識(shí)手勢(shì)。舉例來說，計(jì)算裝置304可基于用戶332的食指與拇指之間的角度來將光標(biāo)移動(dòng)遠(yuǎn)離用戶的手334。這可允許用戶依據(jù)配置而在投影圖像的不可到達(dá)的區(qū)域中控制光標(biāo)。舉例來說，計(jì)算裝置304可將完全伸展的拇指(例如，拇指與食指之間近似90° )解譯為使光標(biāo)移動(dòng)遠(yuǎn)離用戶的手334—特定距離(例如，若干像素、用戶的手334與投影圖像的邊緣之間的距離的百分比、若干只手334大小等)的命令。此距離可基于食指與拇指之間的角度的大小。舉例來說，在用戶332減小食指與拇指之間的角度時(shí)，所述距離可減小，直到光標(biāo)處于用戶的手334處且食指與拇指之間無角度為止。在一個(gè)配置中，方向可基于檢測(cè)到的手腕位置(例如，使得光標(biāo)直接延伸遠(yuǎn)離手334)。在另ー配置中，食指與拇指之間的角度可用于某個(gè)其它操作，例如放大/縮小操作。在ー個(gè)配置中，相機(jī)302提供投影圖像330的區(qū)域中的改善的聚焦、曝光和/或色彩再現(xiàn)。舉例來說，計(jì)算裝置304可命令相機(jī)302聚焦于投影圖像330上和/或針對(duì)投影圖像330改善其曝光和/或色彩再現(xiàn)。這可以相機(jī)俘獲區(qū)域328的其余部分為代價(jià)。舉例來說，在投影圖像330旁邊的相機(jī)俘獲區(qū)域328的其余部分的部分或全部可能脫焦或具有不良的曝光和/或色彩再現(xiàn)。另外或替代地，增強(qiáng)的聚焦、曝光和/或色彩再現(xiàn)可在另ー關(guān)注區(qū)上使用，例如搜索空間333或初始交互區(qū)域338。在ー個(gè)配置中，投影器308、相機(jī)302和用戶332全部在用于投影圖像330的表面(例如，墻壁、屏幕、白板等)的同一側(cè)上。在另ー配置中，投影器308可在用于投影圖像330的表面后方。應(yīng)注意，本文的系統(tǒng)和方法可應(yīng)用于處于任何位置的用戶的手334。舉例來說，可跟蹤用戶的手334的背部、前部或側(cè)面。用戶的手334可另外或替代地具有在不同時(shí)間伸展和/或隱藏的ー個(gè)或ー個(gè)以上手指。 圖4是說明用于提供計(jì)算裝置接ロ的方法400的ー個(gè)配置的流程圖。計(jì)算裝置104可經(jīng)校準(zhǔn)402。換句話說，計(jì)算裝置104可校準(zhǔn)402自身104。舉例來說，計(jì)算裝置104可找到由投影器108投影的圖像或投影空間(由相機(jī)102俘獲)的隅角。104可使用這些隅角來將投影空間映射到桌面空間。舉例來說，投影空間中的坐標(biāo)可映射到桌面空間中的坐標(biāo)(例如，借助于變換矩陣)。計(jì)算裝置104還可通過檢測(cè)投影圖像上的圓或橢圓中手334的存在來確定手334的大小。計(jì)算裝置104可檢測(cè)404初始交互區(qū)域中的手334。舉例來說，計(jì)算裝置104可檢測(cè)所俘獲的圖像的區(qū)域(例如，右下角或通過用戶332的軀干等)中的亮度或發(fā)光度的改變。計(jì)算裝置104可跟蹤406手334。舉例來說，計(jì)算裝置104可使用跟蹤圖案(例如，哈爾特征)來確定手334的定位和/或位置。舉例來說，計(jì)算裝置104可選擇針對(duì)給定濾波器在亮灰色區(qū)域的和與暗灰色區(qū)域的和之間具有最大差的跟蹤圖案?？蓪?duì)照ー組閾值來檢查具有最佳擬合的濾波器。如果檢查通過，那么計(jì)算裝置104可使用被跟蹤的手334的定位和/或位置。計(jì)算裝置104可辨識(shí)408手334的手勢(shì)。舉例來說，計(jì)算裝置104可檢測(cè)ー個(gè)或ー個(gè)以上手指或手334的移動(dòng),其可被解譯為手勢(shì)。在ー個(gè)配置中，計(jì)算裝置104使用手勢(shì)圖案來搜尋ー個(gè)或ー個(gè)以上手指。計(jì)算裝置104可將ー個(gè)或ー個(gè)以上手指的存在、不存在或移動(dòng)序列解譯為手勢(shì)。當(dāng)檢測(cè)到手勢(shì)時(shí)，其可用以觸發(fā)事件或操作。舉例來說，計(jì)算裝置104可將任何手指的不存在解譯為鼠標(biāo)點(diǎn)下事件，而手指的存在(在鼠標(biāo)點(diǎn)下事件之后)可解譯為鼠標(biāo)松開事件。在另ー配置中，計(jì)算裝置104可將手334 (或手指)的特定運(yùn)動(dòng)解譯為手勢(shì)。舉例來說，計(jì)算裝置104可將三次拳頭晃動(dòng)解譯為可觸發(fā)事件或操作的特定手勢(shì)。舉例來說，計(jì)算裝置104可緩沖ー個(gè)或ー個(gè)以上幀，且將拳頭和/或ー個(gè)或ー個(gè)以上手指的移動(dòng)匹配于指示手勢(shì)的特定圖案。經(jīng)緩沖的幀可另外或替代地用以增加手勢(shì)辨識(shí)的穩(wěn)健性。舉例來說，計(jì)算裝置104可能要求在觸發(fā)事件或操作之前某一百分比的經(jīng)緩沖幀指示特定檢測(cè)(例如，手指伸展、手指隱藏等)。
圖5是說明用于提供計(jì)算裝置接ロ的方法500的更具體配置的流程圖。更具體來說，圖5中說明的方法500給出關(guān)于校準(zhǔn)402計(jì)算裝置104的更多細(xì)節(jié)。計(jì)算裝置104可使用投影器108投影502用于校準(zhǔn)的圖像。舉例來說，計(jì)算裝置104可產(chǎn)生和投影(使用投影器108)方格或棋盤圖像或可用以確定由相機(jī)102俘獲的投影圖像的隅角的某個(gè)其它圖像。計(jì)算裝置104可基于所俘獲的用于校準(zhǔn)的圖像來將投影空間坐標(biāo)映射504到桌面空間坐標(biāo)。舉例來說，計(jì)算裝置104可通過搜尋亮度或發(fā)光度的ー個(gè)或ー個(gè)以上下降(例如，在邊緣處)而找到投影圖像的隅角。計(jì)算裝置104可將由相機(jī)102俘獲的投影圖像的隅角映射504到計(jì)算裝置104上的桌面空間的隅角。舉例來說，計(jì)算裝置104可基于投影圖像或投影空間的隅角的位置而產(chǎn)生變換矩陣。計(jì)算裝置104可投影506用于手334大小確定的圖像。舉例來說，計(jì)算裝置104可使用投影器108來投影包含一系列圓或橢圓的圖像。計(jì)算裝置104可基于所俘獲的用于手334大小確定的圖像來確定508手334大小。舉例來說，計(jì)算裝置104可使用由相機(jī)102俘獲的ー個(gè)或ー個(gè)以上圖像或圖像幀來確定用戶的手334放置于其中的投影圓或橢圓。舉例來說，計(jì)算裝置104可使用來自當(dāng)前幀的像素強(qiáng)度值且將其與來自ー個(gè)或ー個(gè)以上先前 幀的對(duì)應(yīng)像素強(qiáng)度值進(jìn)行比較。計(jì)算裝置104可檢測(cè)像素強(qiáng)度值的改變，其指示用戶已將他/她的手334放置于特定圓中。舉例來說，當(dāng)對(duì)應(yīng)于特定圓或橢圓的像素強(qiáng)度值從前一幀到當(dāng)前幀減小時(shí)，計(jì)算裝置104可確定具有減小的強(qiáng)度的所述特定圓或橢圓是用戶的手334或拳頭的大小。另外或替代地，計(jì)算裝置104可通過執(zhí)行面部辨識(shí)來估計(jì)用戶的手334的大小。在ー個(gè)配置中，計(jì)算裝置104可使用用戶332的頭部的大小(通過面部辨識(shí)而確定)以估計(jì)用戶的手334的大小。舉例來說，計(jì)算裝置104可將用戶的手334的大小估計(jì)為用戶332的頭部的大小的1/3。在另ー配置中，計(jì)算裝置104可使用圓或橢圓執(zhí)行手334大小確定，且還存儲(chǔ)基于用戶332的面部的校準(zhǔn)數(shù)據(jù)(使用面部辨識(shí))。舉例來說，計(jì)算裝置104可執(zhí)行用戶A的手334大小確定/校準(zhǔn)，且結(jié)合可用以辨識(shí)用戶A (經(jīng)由面部辨識(shí))的數(shù)據(jù)一起存儲(chǔ)與用戶332相關(guān)聯(lián)的確定/校準(zhǔn)數(shù)據(jù)。以此方式，下一次用戶A使用接ロ吋，計(jì)算裝置104可針對(duì)與所辨識(shí)用戶A的面部相關(guān)聯(lián)的手334大小而自動(dòng)校準(zhǔn)自身。圖6是說明投影空間640中的方格或棋盤圖案642的ー個(gè)配置的圖。計(jì)算裝置104可在投影空間640中產(chǎn)生且投影(使用投影器108)方格或棋盤圖案642的圖像。相機(jī)102可俘獲方格或棋盤圖案642的圖像且將圖像或圖像數(shù)據(jù)發(fā)送到計(jì)算裝置104。計(jì)算裝置104可使用圖像或圖像數(shù)據(jù)來確定投影空間640的隅角。舉例來說，計(jì)算裝置104可搜索方格或棋盤圖案642以尋找在邊緣處(例如，頂部、底部、左側(cè)、右側(cè)等)的亮度或發(fā)光度的ー個(gè)或ー個(gè)以上下降，以便確定隅角。投影空間640的隅角(由相機(jī)102俘獲)可用以確定變換矩陣。投影空間640的隅角可用以搜索投影空間640的實(shí)際坐標(biāo)。圖7是說明投影空間740到桌面空間748中的映射的圖。計(jì)算裝置104產(chǎn)生圖像且將所述圖像投影(使用投影器108)到投影空間740中。相機(jī)102俘獲投影圖像。然而，相機(jī)102可在可比投影空間740大的相機(jī)俘獲區(qū)域728中俘獲圖像。舉例來說，稱為投影空間740的從相機(jī)俘獲區(qū)域728(或視點(diǎn))俘獲的投影內(nèi)容的坐標(biāo)可映射到計(jì)算裝置104的顯示器上的那些坐標(biāo)或計(jì)算裝置104的顯示器上的一區(qū)中的坐標(biāo)(稱為桌面空間748坐標(biāo))。舉例來說，點(diǎn)A 744a、點(diǎn)B 744b、點(diǎn)C 744c和點(diǎn)D 744d(例如，隅角)分別映射到點(diǎn)A’ 746a、點(diǎn)B’ 746b、點(diǎn)C’ 746c和點(diǎn)D’ 746d。由相機(jī)102俘獲的圖像可經(jīng)受相對(duì)于桌面空間748坐標(biāo)的位置和比例差以及透視失真，因?yàn)閷?duì)象是3D環(huán)境的2D投影。圖8是說明用于手334大小校準(zhǔn)的圖像850的圖。舉例來說，計(jì)算裝置104可產(chǎn)生用于手334(例如，拳頭)大小校準(zhǔn)的圖像850，且可使用投影器108對(duì)其850進(jìn)行投影。在ー個(gè)配置中，用于手334大小校準(zhǔn)的圖像850包含用于手334大小校準(zhǔn)的圓或橢圓852。相機(jī)102俘獲用于手334大小校準(zhǔn)的圖像850的ー個(gè)或ー個(gè)以上圖像(例如，圖像數(shù)據(jù)幀)。計(jì)算裝置104隨后檢測(cè)圓或橢圓852中的一者(或例如一者以上)中的強(qiáng)度(例如，像素強(qiáng)度)的改變。舉例來說，計(jì)算裝置104將對(duì)應(yīng)于來自ー個(gè)或ー個(gè)以上先前幀的圓或橢圓的像素強(qiáng)度與當(dāng)前幀中的像素進(jìn)行比較。當(dāng)檢測(cè)到改變時(shí)，計(jì)算裝置104選擇對(duì)應(yīng)于強(qiáng)度改變的圓或橢圓852。在ー個(gè)配置中，計(jì)算裝置104可僅在針對(duì)若干幀檢測(cè)到改變之后(例如，當(dāng)改變持續(xù)例如2秒的時(shí)間周期時(shí))選擇圓或橢圓852。這可幫助避免例如當(dāng)用戶332走到圓或橢圓852前方時(shí)選擇圓或橢圓852。選定的圓或橢圓852可指示手334 (例如，拳頭)大小(例如，以像素?cái)?shù)目為單位)。
圖9是說明用于提供計(jì)算裝置接ロ的方法900的另一更具體配置的流程圖。更具體來說，圖9中說明的方法900給出關(guān)于檢測(cè)404初始交互區(qū)域中的手334 (例如，以轉(zhuǎn)變?yōu)槭指?的更多細(xì)節(jié)。計(jì)算裝置104可確定902初始交互區(qū)域。在ー個(gè)配置中，初始交互區(qū)域設(shè)定于投影圖像的右下角中，其大小大約為手334大小(例如在校準(zhǔn)期間確定)的四倍。在其它配置中，初始交互區(qū)域可放置或設(shè)定于另ー預(yù)定區(qū)域中，例如投影圖像的左下部分、投影圖像的中下部分，或某個(gè)其它區(qū)域中。在另ー配置中，計(jì)算裝置104可移動(dòng)初始交互區(qū)域。舉例來說，計(jì)算裝置104可跟蹤用戶332的位置(例如，用戶332的軀干或基于校準(zhǔn)的最暗I/η寬度等)，且將初始交互區(qū)域放置于用戶332的旁邊。以此方式，初始交互區(qū)域在用戶332移動(dòng)時(shí)移動(dòng)。因此，計(jì)算裝置104可確定902初始交互區(qū)域。計(jì)算裝置104可監(jiān)視904初始交互區(qū)域。舉例來說，計(jì)算裝置104可使用由相機(jī)102俘獲的圖像或圖像數(shù)據(jù)來監(jiān)視904初始交互區(qū)域中的像素的亮度或發(fā)光度值。在ー個(gè)配置中，計(jì)算裝置104存儲(chǔ)或緩沖對(duì)應(yīng)于初始交互區(qū)域的圖像數(shù)據(jù)(例如，像素)的ー個(gè)或ー個(gè)以上中貞。計(jì)算裝置104可確定906在初始交互區(qū)域中是否檢測(cè)到手334。在ー個(gè)配置中，計(jì)算裝置104計(jì)算ー個(gè)或ー個(gè)以上先前幀中的初始交互區(qū)域中的像素的亮度或發(fā)光度值與當(dāng)前幀中的像素的對(duì)應(yīng)值之間的差。在此配置中，計(jì)算裝置104計(jì)算這些差的和，將所述和與閾值進(jìn)行比較。如果差的和小于閾值，那么計(jì)算裝置104確定906在初始交互區(qū)域中未檢測(cè)到手334。在那種情況下，操作可返回到確定902初始交互區(qū)域。如果差的和大于閾值，那么計(jì)算裝置104確定906在初始交互區(qū)域中檢測(cè)到手334，且轉(zhuǎn)變?yōu)閳?zhí)行908手跟蹤。應(yīng)注意，此確定906可為初步的。舉例來說，一旦計(jì)算裝置104確定906在初始交互區(qū)域中已檢測(cè)到手334，便可在執(zhí)行908手跟蹤時(shí)執(zhí)行ー個(gè)或ー個(gè)以上操作以確保(例如，驗(yàn)證或檢查)亮度或發(fā)光度的改變是由于手334的存在而引起。圖10是說明用于提供計(jì)算裝置接ロ的方法1000的另一更具體配置的流程圖。計(jì)算裝置104可使用相機(jī)102俘獲1002用于手334跟蹤的圖像。舉例來說，相機(jī)102可俘獲ー個(gè)或ー個(gè)以上圖像或圖像數(shù)據(jù)，其被提供到計(jì)算裝置104。計(jì)算裝置104可接收、存儲(chǔ)(例如，緩沖)和/或使用這些圖像或圖像數(shù)據(jù)。
計(jì)算裝置104可確定1004最佳匹配于搜索空間中的圖像數(shù)據(jù)的圖案。換句話說，計(jì)算裝置104可確定1004在捜索空間中具有最佳擬合的圖案(例如，跟蹤圖案)。舉例來說，可使用若干哈爾特征圖案。在ー個(gè)配置中，使用五個(gè)哈爾圖案，每ー者包括五個(gè)矩形區(qū)域或區(qū)。中心“暗”矩形區(qū)由四個(gè)外部矩形區(qū)域或區(qū)圍繞或與四個(gè)外部矩形區(qū)域或區(qū)共享邊界(且例如表示用戶332的拳頭)。在四個(gè)外部區(qū)中，三個(gè)是較亮區(qū)且一個(gè)是暗區(qū)。舉例來說，圖案中的一者包含在中心暗區(qū)左邊的暗外部區(qū)。其它圖案可具有在中心暗區(qū)下方以及在中心暗區(qū)右邊的暗區(qū)。兩個(gè)其它圖案可具有在中心暗區(qū)左下方以及右下方的暗外部區(qū)。這兩個(gè)圖案可例如為具有在中心暗區(qū)正下方的暗外部區(qū)的圖案旋轉(zhuǎn)了 ±45°。這些圖案的實(shí)例在圖IlA到IlE中給出。計(jì)算裝置104可使用圖案來確定1004最佳匹配(例如，最佳擬合)捜索空間中的圖像數(shù)據(jù)的圖案。舉例來說，跟蹤用戶的手334可通過在比用戶的手334大的(圖像數(shù)據(jù)的)搜索空間或區(qū)域中搜尋由ー個(gè)或ー個(gè)以上較亮區(qū)圍繞的ー個(gè)或ー個(gè)以上暗區(qū)(例如，因?yàn)槠つw往往比投影表面吸收更多的光)來實(shí)現(xiàn)。在ー個(gè)配置中，捜索空間近似為確定的手334大小的大小的四倍，且位于用戶的手334的最后(確定)位置處(例如，居中)。計(jì)算裝置104從左到右且從上到下逐個(gè)像素地在捜索空間中掃描圖像數(shù)據(jù)。計(jì)算裝置104隨 后選擇最佳匹配的圖案(例如，濾波器或特征)，其針對(duì)給定濾波器在較亮(例如，淺灰)區(qū)域的和與暗(例如，深灰)區(qū)域的和之間具有最高或最大差(例如，在亮度、像素值或強(qiáng)度方面)。將具有最高或最大差的圖案選擇為搜索空間圖像數(shù)據(jù)中的最佳匹配或最佳擬合。最佳匹配圖案具有對(duì)應(yīng)于捜索空間中的可用以執(zhí)行操作(例如跟蹤手334)的圖像數(shù)據(jù)的位置和/或定向。更具體來說，舉例來說，可使用ー個(gè)或ー個(gè)以上圖案來找到圖像數(shù)據(jù)中的匹配。舉例來說，當(dāng)對(duì)應(yīng)于圖案的暗區(qū)的圖像數(shù)據(jù)的平均像素值(例如，亮度、強(qiáng)度等)比對(duì)應(yīng)于其它較亮區(qū)(例如，三個(gè)亮區(qū))的圖像數(shù)據(jù)的平均像素值暗ー閾值(例如，低20個(gè)亮度級(jí))時(shí)，可確定匹配。平均像素值可為例如一區(qū)中的像素值的和除以像素?cái)?shù)目。用以確定匹配的像素可對(duì)應(yīng)于圖像數(shù)據(jù)中的濾波器或圖案的當(dāng)前位置。計(jì)算裝置104可確定1006圖案是否匹配于手334。舉例來說，可執(zhí)行ー個(gè)或ー個(gè)以上檢查以驗(yàn)證所確定的圖案(例如，具有其位置和定向)匹配于手334且不是(例如)用戶的手334或用戶332的頭部的影子。換句話說，計(jì)算裝置104可檢查具有最佳擬合的圖案。舉例來說，可對(duì)照ー組閾值(例如，預(yù)定的閾值)來檢查具有最佳擬合的圖案或圖像數(shù)據(jù)。在ー個(gè)配置中，計(jì)算裝置104檢查以驗(yàn)證較亮外部區(qū)(例如，淺灰區(qū))中的平均像素值(例如在亮度或強(qiáng)度方面)大于中心暗區(qū)域中的平均像素值加上一個(gè)閾值(例如，20)。計(jì)算裝置104還可以檢查以驗(yàn)證暗(例如，深灰)外部區(qū)域中的平均像素值小于中心暗(例如，深灰)區(qū)域中的平均像素值減去一個(gè)閾值(例如，20)。這些上述檢查可幫助確保具有最佳擬合的圖案對(duì)應(yīng)于用戶的手334。另外，計(jì)算裝置104可檢查以驗(yàn)證來自中心暗區(qū)域的平均像素值大于ー值(例如，30)，其可幫助避免跟蹤用戶332的頭部或用戶的手334的影子。舉例來說，計(jì)算裝置確定先前提到的所有檢查是否被滿足(以便確定1006圖案是否匹配于手334)。舉例來說，計(jì)算裝置確定1006較亮外部區(qū)中的平均像素值是否大于來自暗區(qū)域的平均像素值加上閾值、暗外部區(qū)域中的平均像素值是否小于中心暗區(qū)域中的平均像素值減去閾值，以及中心暗區(qū)域中的平均像素值是否大于預(yù)定值。如果計(jì)算裝置104確定1006圖案不匹配于手334，那么操作可返回到俘獲1002用于手334跟蹤的圖像。換句話說，如果最佳匹配圖案或圖像數(shù)據(jù)(例如，具有最佳擬合)未通過檢查(例如，如果濾波器中無任ー者成功找到拳頭和手腕)，那么操作可返回到俘獲1002用于手334跟蹤的圖像(例如，重復(fù)操作1002、1004、1006直到找到手334和/或直到操作超時(shí)為止)。如果計(jì)算裝置104確定1006圖案匹配于手334，那么計(jì)算裝置104可基于最佳匹配于圖像數(shù)據(jù)的圖案而跟蹤1008手334。舉例來說，計(jì)算裝置104可將光標(biāo)移動(dòng)到匹配圖案的位置。更一般地，如果具有最佳擬合的圖案通過檢查，那么計(jì)算裝置104可基于具有最佳擬合的圖案來執(zhí)行操作(例如，跟蹤1008手)。舉例來說，計(jì)算裝置104可將其桌面空間中的光標(biāo)移動(dòng)到具有最佳擬合的圖案的對(duì)應(yīng)位置。可基于具有最佳擬合的圖案來執(zhí)行的其它操作的實(shí)例包含移動(dòng)桌面空間中的圖像(例如，平移或“拖動(dòng)”圖片、圖標(biāo)、文檔視圖等)、使用控件(例如，滑動(dòng)滑塊控件、轉(zhuǎn)動(dòng)撥號(hào)盤控件等)、執(zhí)行游戲動(dòng)作(例如，投擲虛擬球、在虛擬拳擊組件處擺拳等)和其它操作。也可使用最佳擬合圖案的位置。舉例來說，如果最佳擬合圖案指示用戶332的手腕與用戶的手334的位置相比是水平的、對(duì)角的或垂直的，那么計(jì)算裝置104可分別將虛擬撥號(hào)盤轉(zhuǎn)動(dòng)到對(duì)應(yīng)的水平、對(duì)角或垂直位置。此外，可使用一 系列最佳擬合位置。舉例來說，計(jì)算裝置104可在若干幀上跟蹤1008手334移動(dòng)。如果手334移動(dòng)匹配于特定路徑或運(yùn)動(dòng)(例如，三次晃動(dòng))，那么計(jì)算裝置104可執(zhí)行操作或觸發(fā)事件等。更具體來說，除了手勢(shì)辨識(shí)之外或替代于手勢(shì)辨識(shí)，跟蹤手334可用以觸發(fā)操作或事件?？苫诰哂凶罴褦M合的圖案來執(zhí)行許多其它額外和/或替代的操作。圖IlA說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案IlOOa(例如，跟蹤圖案)的一個(gè)實(shí)例。在此實(shí)例中，哈爾圖案IIOOa包括五個(gè)矩形區(qū)域或區(qū)1154a、1154b、1154c、1156d、1156e。更具體來說，哈爾圖案IlOOa包括中心暗區(qū)域E 1156e。中心暗區(qū)域E 1156e可表示(例如)用戶的手334或拳頭。外部亮區(qū)域A 1154a, B 1154b和C 1154c鄰接中心暗區(qū)域E 1156e(例如，分別在中心暗區(qū)域E 1156e的上方、右邊和下方)。外部暗區(qū)域D1156d鄰接暗區(qū)域E 1156e(例如，在左邊)。外部暗區(qū)域D 1156d可表示(例如)用戶332的手腕。圖IlB說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案IlOOb(例如，跟蹤圖案)的另ー實(shí)例。在此實(shí)例中，哈爾圖案I IOOb包括五個(gè)矩形區(qū)域或區(qū)1103a、1103b、1103c、1105d、1105e。更具體來說，哈爾圖案IlOOb包括中心暗區(qū)域E 1105e。中心暗區(qū)域E 1105e可表示(例如)用戶的手334或拳頭。外部亮區(qū)域A 1103a、B 1103b和C 1103c鄰接中心暗區(qū)域E 1105e(例如，分別在中心暗區(qū)域E 1105e的左上方、右上方和右下方)。外部暗區(qū)域D 1105d鄰接暗區(qū)域E 1105e(例如，左下方)。外部暗區(qū)域D 1105d可表示(例如)用戶332的手腕。如可觀察到，圖IlB中說明的哈爾圖案IlOOb可為圖IlC中說明的哈爾圖案IlOOc的-45°旋轉(zhuǎn)的實(shí)例。圖IlC說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案IlOOc(例如，跟蹤圖案)的另ー實(shí)例。在此實(shí)例中，哈爾圖案IIOOc包括五個(gè)矩形區(qū)域或區(qū)1107a、1107b、1107c、1109d、1109e。更具體來說，哈爾圖案IlOOc包括中心暗區(qū)域E 1109e。中心暗區(qū)域E 1109e可表示(例如)用戶的手334或拳頭。外部亮區(qū)域A 1107a, B 1107b和C 1107c鄰接中心暗區(qū)域E 1109e(例如，分別在中心暗區(qū)域E 1109e的左邊、上方和右邊)。外部暗區(qū)域D1109d鄰接暗區(qū)域E 1109e(例如，下方)。外部暗區(qū)域D 1109d可表示(例如)用戶332的手月:511。圖IlD說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案IlOOd(例如，跟蹤圖案)的另ー實(shí)例。在此實(shí)例中，哈爾圖案I IOOd包括五個(gè)矩形區(qū)域或區(qū)111 la、111 lb、1111C、1113d、1113e。更具體來說，哈爾圖案IlOOd包括中心暗區(qū)域E 1113e。中心暗區(qū)域E 1113e可表示(例如)用戶的手334或拳頭。外部亮區(qū)域A lllla、B Illlb和C Illlc鄰接中心暗區(qū)域E 1113e(例如，分別在中心暗區(qū)域E 1113e的左下方、左上方和右上方)。外部暗區(qū)域D 1113d鄰接暗區(qū)域E 1113e (例如，右下方)。外部暗區(qū)域D 1113d可表示(例如)用戶332的手腕。如可觀察到，圖IlD中說明的哈爾圖案IlOOd可為圖IlC中說明的哈爾圖案IlOOc的+45°旋轉(zhuǎn)的實(shí)例。圖IlE說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案IlOOe( 例如，跟蹤圖案)的另ー實(shí)例。在此實(shí)例中，哈爾圖案I IOOe包括五個(gè)矩形區(qū)域或區(qū)1115a、1115b、1115c、1117d、1117e。更具體來說，哈爾圖案IlOOe包括中心暗區(qū)域E 1117e。中心暗區(qū)域E 1117e可表示(例如)用戶的手334或拳頭。外部亮區(qū)域A 1115a、B 1115b和C 1115c鄰接中心暗區(qū)域E 1117e(例如，分別在中心暗區(qū)域E 1117e的下方、左邊和上方)。外部暗區(qū)域D1117d鄰接暗區(qū)域E 1117e (例如，右邊)。外部暗區(qū)域D 1117d可表示(例如)用戶332的手腕。圖IlA到IlE中說明的哈爾圖案IlOOa到IlOOe可為根據(jù)本文掲示的系統(tǒng)和方法使用的ー組哈爾圖案(如上文結(jié)合(例如)圖10描述)。圖12是說明用于提供計(jì)算裝置接ロ的方法1200的另一更具體配置的流程圖。更具體來說，圖12說明用于辨識(shí)408手334的手勢(shì)的更多細(xì)節(jié)。計(jì)算裝置104可監(jiān)視1202手跟蹤。在ー個(gè)配置中，計(jì)算裝置104可監(jiān)視被跟蹤的手334是否仍在移動(dòng)或已停止移動(dòng)(例如，歷時(shí)若干幀)。計(jì)算裝置104可確定1204被跟蹤的手334是否已停止移動(dòng)。舉例來說，計(jì)算裝置104可確定1204被跟蹤的手334是否已保持靜止或近似靜止(在某個(gè)范圍內(nèi))歷時(shí)若干幀或ー時(shí)間量。如果計(jì)算裝置104確定被跟蹤的手334尚未停止移動(dòng)(例如，已繼續(xù)移動(dòng))，那么操作可繼續(xù)或返回到監(jiān)視1202手334跟蹤。如果計(jì)算裝置104確定1204被跟蹤的手334尚未移動(dòng)(例如，已保持靜止歷時(shí)ー時(shí)間量(例如，700ms)或若干幀)，那么計(jì)算裝置104可將被跟蹤的手334圖像縮放1206到固定大小。舉例來說，計(jì)算裝置104可將圖像或圖像數(shù)據(jù)(使用相機(jī)102俘獲)縮放1206到特定尺寸(例如，40x40像素)?；蛘撸?jì)算裝置104可縮放濾波器或圖案的大小。這可產(chǎn)生圖像到濾波器的I對(duì)I映射，這可允許圖像對(duì)準(zhǔn)到正在搜尋的模板或圖案。舉例來說，可按比例縮小圖像以提供大的手指大小與圖案之間的較好對(duì)應(yīng)，或可按比例放大圖像以提供小的手指大小與圖案之間的較好對(duì)應(yīng)。計(jì)算裝置104可確定1208最佳匹配于搜索空間(例如，經(jīng)縮放的圖像)中的圖像數(shù)據(jù)(或例如最佳擬合于圖像數(shù)據(jù))的圖案(例如，手勢(shì)圖案)。舉例來說，計(jì)算裝置104可使用一組四個(gè)哈爾圖案來確定1208最佳匹配于經(jīng)縮放的圖像中的圖像數(shù)據(jù)的圖案。舉例來說，計(jì)算裝置104可通過在用戶的手334靜止時(shí)相對(duì)于用戶332的檢測(cè)到的手334 (例如，相對(duì)于用戶的手334或拳頭的檢測(cè)到的中心)來搜尋手指圖案(例如，亮和暗)來搜尋用戶332的手指。舉例來說，每ー圖案可包括三個(gè)矩形區(qū)或區(qū)域。暗(例如，深灰)區(qū)域或矩形可在兩個(gè)較亮(例如，淺灰)區(qū)域或矩形之間。換句話說，兩個(gè)較亮區(qū)域可在暗區(qū)域的相對(duì)側(cè)上鄰接暗區(qū)域。舉例來說，圖案中的一者可垂直對(duì)準(zhǔn)，另ー圖案可水平對(duì)準(zhǔn)，且其余兩個(gè)圖案可以±45°度對(duì)角線對(duì)準(zhǔn)。在ー個(gè)配置中，計(jì)算裝置104可使用經(jīng)縮放的圖像或圖像數(shù)據(jù)來計(jì)算積分圖像(例如，求和面積表)以供當(dāng)手指(例如，食指)正指向水平或垂直方向時(shí)使用。舉例來說，針對(duì)選定手指(食指)的準(zhǔn)則是外部較亮區(qū)域的平均像素值應(yīng)大于暗區(qū)域中的平均像素值加上一個(gè)閾值(例如，30)。如果找到水平或垂直圖案中的手指，那么搜索可終止。否則，計(jì)算裝置104可計(jì)算+45和-45度處的旋轉(zhuǎn)的積分圖像。如果使用濾波器未找到手指，那么計(jì)算裝置104可確定1208手334合上(例如，處于合上的拳頭手勢(shì))。也就是說，應(yīng)注意，確定1208最佳匹配于搜索空間中的圖像數(shù)據(jù)的圖案可包含確定所述組圖案中無圖案匹配于圖像數(shù)據(jù)(例如，未找到手指)。為了改善手勢(shì)辨識(shí)的穩(wěn)健性，可使用“投票”方法。當(dāng)辨識(shí)出例如手指時(shí)，可緩沖或存儲(chǔ)若干幀(例如，20個(gè))。計(jì)算裝置104可能要求在確定手指隱藏之前緩沖器中的最小百分比(例如，80%)的圖像描繪隱藏的食指。此外，計(jì)算裝置104可能要求在確定食指伸 展之前另ー最小百分比(例如，50%)的所捜索幀必須報(bào)告食指的發(fā)現(xiàn)?？墒褂冕槍?duì)伸展食指對(duì)隱藏食指的較低閾值要求，因?yàn)榭墒褂靡髢H在已檢測(cè)到點(diǎn)下鼠標(biāo)事件之后觸發(fā)松開鼠標(biāo)事件的狀態(tài)機(jī)。所述狀態(tài)機(jī)可充當(dāng)濾波器以減小錯(cuò)誤肯定。計(jì)算裝置104可確定1210最佳匹配圖案(例如可能不是所述組圖案中的圖案)是否對(duì)應(yīng)于ー操作。舉例來說，計(jì)算裝置104可將特定圖案或其缺乏解譯為用以執(zhí)行一操作的手勢(shì)。舉例來說，如果未找到手指，那么計(jì)算裝置104可將手指圖案的缺乏解譯為“鼠標(biāo)點(diǎn)下”或左鼠標(biāo)按鈕的按下事件或操作。此外，計(jì)算裝置104可將檢測(cè)到的伸展手指解譯為“鼠標(biāo)松開”或左鼠標(biāo)按鈕的釋放事件或操作。可使用許多其它手334的手勢(shì)的缺乏或存在。舉例來說，保持在特定位置(例如，食指與拇指之間的特定角度)的ー個(gè)或ー個(gè)以上手指可對(duì)應(yīng)于一事件或操作。如果計(jì)算裝置104確定1210最佳匹配圖案(如檢測(cè)到的，可能不是匹配圖案)不對(duì)應(yīng)于操作，那么計(jì)算裝置104可返回到監(jiān)視1202手334跟蹤。應(yīng)注意，此確定1210可使用狀態(tài)機(jī)來進(jìn)行。舉例來說，僅當(dāng)處于特定狀態(tài)時(shí)某些手勢(shì)(例如，圖案或其缺乏)可被有效地解譯為對(duì)應(yīng)于一事件或操作。舉例來說，檢測(cè)到的食指的存在不指示“鼠標(biāo)松開”事件，除非計(jì)算裝置104處于“鼠標(biāo)點(diǎn)下”狀態(tài)。應(yīng)注意，“鼠標(biāo)點(diǎn)下”事件和緊隨的“鼠標(biāo)松開”事件可構(gòu)成“點(diǎn)擊”(例如，用干與計(jì)算裝置104用戶接ロ(UI)交互)。如果計(jì)算裝置104確定1210最佳匹配圖案(可能不是所述組圖案中的圖案)對(duì)應(yīng)于ー操作，那么計(jì)算裝置104可執(zhí)行1212對(duì)應(yīng)于最佳匹配圖案(例如可能不是所述組圖案中的圖案)的操作。舉例來說，計(jì)算裝置104可執(zhí)行1212對(duì)應(yīng)于辨識(shí)出的手334手勢(shì)的操作。在ー個(gè)配置中，舉例來說，計(jì)算裝置104可使用指示伸展手勢(shì)的最佳匹配圖案的缺乏(例如，所檢測(cè)的手指的不存在)來將“鼠標(biāo)點(diǎn)下”或左鼠標(biāo)按鈕按下事件觸發(fā)到操作系統(tǒng)
(OS)的窗ロ管理器。在對(duì)應(yīng)操作的執(zhí)行1212后，計(jì)算裝置104可返回到監(jiān)視1202手跟蹤。根據(jù)本文掲示的系統(tǒng)和方法，可使用額外或替代的圖案和/或手勢(shì)來觸發(fā)操作的執(zhí)行1212。舉例來說，手勢(shì)可用以“釋放”光標(biāo)。舉例來說，可使用對(duì)應(yīng)于張開的手334 (例如，手指伸展)的ー個(gè)或ー個(gè)以上哈爾圖案。如果計(jì)算裝置104確定1208最佳匹配圖案為張開的手334且確定1210張開的手圖案對(duì)應(yīng)于光標(biāo)釋放操作，那么計(jì)算裝置104可通過使光標(biāo)留在其當(dāng)前位置而執(zhí)行1212所述操作。在ー個(gè)配置中，光標(biāo)可留在其當(dāng)前位置直到(例如)計(jì)算裝置104檢測(cè)到初始交互區(qū)域338中的手334為止。圖13是說明用于提供計(jì)算裝置接ロ的方法1300的另一更具體配置的流程圖。更具體來說，圖13說明用于辨識(shí)408手334手勢(shì)的更多細(xì)節(jié)，其中手勢(shì)涉及手指的使用。計(jì)算裝置104可監(jiān)視1302手跟蹤。在ー個(gè)配置中，計(jì)算裝置104可監(jiān)視被跟蹤的手334是否仍在移動(dòng)或已停止移動(dòng)(例如，歷時(shí)若干幀)。計(jì)算裝置104可確定1304被跟蹤的手334是否已停止移動(dòng)。舉例來說，計(jì)算裝置104可確定1304被跟蹤的手334是否已保持靜止或近似靜止(在某個(gè)范圍內(nèi))歷時(shí)若干幀或ー時(shí)間量。如果計(jì)算裝置104確定被跟蹤的手334尚未停止移動(dòng)(例如，已繼續(xù)移動(dòng))，那么操作可繼續(xù)或返回到監(jiān)視1302手334跟蹤。如果計(jì)算裝置104確定1304被跟蹤的手334尚未移動(dòng)(例如，已保持靜止歷時(shí)ー時(shí)間量(例如，700ms)或若干幀)，那么計(jì)算裝置104可將被跟蹤的手334圖像縮放1306到固定大小。舉例來說，計(jì)算裝置104可將圖像或圖像數(shù)據(jù)(使用相機(jī)102俘獲)縮放1306到特定尺寸(例如,40x40像素)ο 計(jì)算裝置104可搜索1308圖像以尋找指向水平或垂直方向的手指。舉例來說，計(jì)算裝置104可使用一組四個(gè)哈爾圖案(例如，手勢(shì)圖案)來確定在經(jīng)縮放的圖像中具有最佳匹配的圖案。舉例來說，每ー圖案可包括三個(gè)矩形區(qū)或區(qū)域。暗(例如，深灰)區(qū)域或矩形可在兩個(gè)較亮(例如，淺灰)區(qū)域或矩形之間。換句話說，兩個(gè)較亮區(qū)域可在暗區(qū)域的相對(duì)側(cè)上鄰接暗區(qū)域。舉例來說，圖案中的一者可垂直對(duì)準(zhǔn)，另ー圖案可水平對(duì)準(zhǔn)，且其余兩個(gè)圖案可以±45°度對(duì)角線對(duì)準(zhǔn)。暗區(qū)域可表示(例如)用戶332的手指。舉例來說，計(jì)算裝置104可使用經(jīng)縮放的圖像或圖像數(shù)據(jù)來計(jì)算積分圖像(例如，求和面積表)以供當(dāng)手指(例如，食指)正指向水平或垂直方向時(shí)使用。舉例來說，針對(duì)選定手指(食指)的準(zhǔn)則是外部較亮區(qū)域的平均像素值應(yīng)大于暗區(qū)域中的平均像素值加上一個(gè)閾值(例如，30)。計(jì)算裝置104可確定1310是否找到水平或垂直圖案中的手指。如果找到手指，那么搜索可終止且操作可返回到監(jiān)視1302手跟蹤。然而，如果未找到水平或垂直圖案中的手指，那么計(jì)算裝置104可捜索1312圖像以尋找指向?qū)蔷€方向的手指。舉例來說，計(jì)算裝置104可計(jì)算+45和-45度處的旋轉(zhuǎn)的積分圖像。計(jì)算裝置104可使用對(duì)角線圖案來確定1314是否找到或檢測(cè)到手指。如果計(jì)算裝置確定1314找到手指，那么計(jì)算裝置104可返回到監(jiān)視1302手跟蹤。如果計(jì)算裝置104確定1314使用濾波器未找到手指，那么計(jì)算裝置104可執(zhí)行1316操作。舉例來說，計(jì)算裝置104可確定手334合上(例如，處于合上的拳頭手勢(shì))，且合上的手334手勢(shì)對(duì)應(yīng)于“鼠標(biāo)點(diǎn)下”事件。計(jì)算裝置104可因此通過觸發(fā)“鼠標(biāo)點(diǎn)下”事件而執(zhí)行1316操作。為了改善手勢(shì)辨識(shí)的穩(wěn)健性，可使用“投票”方法。例如，當(dāng)辨識(shí)出手指時(shí)，可緩沖或存儲(chǔ)若干幀(例如，20個(gè))。計(jì)算裝置104可能要求在確定手指隱藏之前緩沖器中的最小百分比(例如，80%)的圖像描繪隱藏的食指。此外，計(jì)算裝置104可能要求在確定食指伸展之前另ー最小百分比(例如，50%)的所捜索幀必須報(bào)告食指的發(fā)現(xiàn)?？墒褂冕槍?duì)伸展食指對(duì)隱藏食指的較低閾值要求，因?yàn)榭墒褂靡髢H在已檢測(cè)到點(diǎn)下鼠標(biāo)事件之后觸發(fā)松開鼠標(biāo)事件的狀態(tài)機(jī)。所述狀態(tài)機(jī)可充當(dāng)濾波器以減小錯(cuò)誤肯定。圖14A是說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案1400a(例如，手勢(shì)圖案)的一個(gè)實(shí)例的圖。更具體來說，哈爾圖案1400a可用以檢測(cè)伸展手指。哈爾圖案1400a包括矩形暗區(qū)域B 1460b，其由矩形亮區(qū)域A 1458a和亮區(qū)域C 1458c鄰接。暗區(qū)域B1460b可表示(例如)用戶332的手指。特定來說，圖14A中說明的哈爾圖案1400a可用以檢測(cè)垂直伸展的手指。圖14B是說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案1400b (例如，手勢(shì)圖案)的另ー實(shí)例的圖。更具體來說，哈爾圖案1400b可用以檢測(cè)伸展手指。哈爾圖案1400b包括矩形暗區(qū)域B 1421b，其由矩形亮區(qū)域A 1419a和亮區(qū)域C 1419c鄰接。暗區(qū)域B1421b可表示(例如)用戶332的手指。特定來說，圖14B中說明的哈爾圖案1400b可用以檢測(cè)以對(duì)角方式伸展的手指(例如從右下到左上)?？捎^察到，圖14B中說明的哈爾圖案1400b是圖14A中說明的哈爾圖案1400a的+45°旋轉(zhuǎn)的哈爾圖案的實(shí)例。圖14C是說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案1400c(例如，手勢(shì)圖案)的另ー實(shí)例的圖。更具體來說，哈爾圖案1400c可用以檢測(cè)伸展手指。哈爾圖案1400c包括矩形暗區(qū)域C 1425b，其由矩形亮區(qū)域A 1423a和亮區(qū)域C 1423c鄰接。暗區(qū)域B1425b可表示(例如)用戶332的手指。特定來說，圖14C中說明的哈爾圖案1400c可用以檢測(cè) 以對(duì)角方式伸展的手指(例如從左下到右上)?？捎^察到，圖14C中說明的哈爾圖案1400c是圖14A中說明的哈爾圖案1400a的-45°旋轉(zhuǎn)的哈爾圖案的實(shí)例。圖14D是說明根據(jù)本文掲示的系統(tǒng)和方法可使用的哈爾圖案1400d(例如，手勢(shì)圖案)的另ー實(shí)例的圖。更具體來說，哈爾圖案1400d可用以檢測(cè)伸展手指。哈爾圖案1400d包括矩形暗區(qū)域D 1429b，其由矩形亮區(qū)域A 1427a和亮區(qū)域C 1427c鄰接。暗區(qū)域D1429b可表示(例如)用戶332的手指。特定來說，圖14D中說明的哈爾圖案1400d可用以檢測(cè)水平伸展的手指。在ー個(gè)配置中，與圖14A到D中說明的哈爾圖案相同和/或相似的哈爾圖案可用以檢測(cè)拇指與食指之間的角度。舉例來說，計(jì)算裝置304可搜索圖像數(shù)據(jù)(在被跟蹤的手旁邊(例如，在右邊或左邊，取決于使用哪只手)的區(qū)中)以尋找哈爾圖案匹配，以確定或估計(jì)用戶332的拇指與食指之間的角度?？蓲人鞅桓櫟氖?34左邊的圖像數(shù)據(jù)，其中(例如)用戶332正使用他/她的右手334(和/或已由計(jì)算裝置304指令使用右手334)?？衫缭谟脩舻氖?34已停止移動(dòng)時(shí)搜索圖像數(shù)據(jù)?？墒褂镁哂胁煌嵌鹊末`個(gè)或ー個(gè)以上哈爾圖案。舉例來說，可使用與圖14A中說明的亮-暗-亮圖案1400a相似的處于不同旋轉(zhuǎn)的圖案。舉例來說，可使用處于0、15、30、45、60、75和/或90度旋轉(zhuǎn)的圖案。匹配于圖像數(shù)據(jù)的圖案可指示用戶332的拇指與食指之間的角度。此角度可用以觸發(fā)操作，例如以對(duì)應(yīng)于所述角度的距離移動(dòng)或延伸光標(biāo)遠(yuǎn)離用戶的手334。舉例來說，90度角可對(duì)應(yīng)于以某個(gè)距離(例如，英尺、像素、到投影圖像330的邊緣的距離的百分比等)計(jì)的最大延伸，而O或15度可對(duì)應(yīng)于最小或無延伸，其中居間的角度對(duì)應(yīng)于其間的某一范圍的距離。圖15說明可在電子裝置1562中利用的各種組件。所說明的組件可位于同一物理結(jié)構(gòu)內(nèi)或單獨(dú)的外殼或結(jié)構(gòu)中。關(guān)于圖2論述的電子裝置210可類似于電子裝置1562而配置。此外，上文描述的相機(jī)102、202、302、計(jì)算裝置104、204、304和/或投影器108、208、308可各自類似于電子裝置1562而配置。電子裝置1562包含處理器1570。處理器1570可為通用單芯片或多芯片微處理器(例如，ARM)、專用微處理器(例如，數(shù)字信號(hào)處理器(DSP))、微控制器、可編程門陣列等。處理器1570可稱為中央處理單元(CPU)。雖然在圖15的電子裝置1562中僅展示單個(gè)處理器1570，但在替代配置中，可使用處理器的組合(例如，ARM和 DSP)。電子裝置1562還包含與處理器1570電子通信的存儲(chǔ)器1564。也就是說，處理器1570可從存儲(chǔ)器1564讀取信息和/或向存儲(chǔ)器1564寫入信息。存儲(chǔ)器1564可為能夠存儲(chǔ)電子信息的任何電子組件。存儲(chǔ)器1564可為隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、磁盤存儲(chǔ)媒體、光學(xué)存儲(chǔ)媒體、RAM中的快閃存儲(chǔ)器裝置、與處理器一起包含的板載存儲(chǔ)器、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除PROM(EEPROM)、寄存器等等，包含其組合。數(shù)據(jù)1568a和指令1566a可存儲(chǔ)在存儲(chǔ)器1564中。指令1566a可包含一個(gè)或ー個(gè)以上程序、例程、子例程、函數(shù)、過程、代碼等。指令1566a可包含單個(gè)計(jì)算機(jī)可讀語(yǔ)句或許多計(jì)算機(jī)可讀語(yǔ)句。指令1566a可為可由處理器1570執(zhí)行的，以實(shí)施上文描述的方法400、500、900、1000、1200、1300。執(zhí)行指令1566a可涉及使用存儲(chǔ)在存儲(chǔ)器1564中的數(shù)據(jù)1568a。圖15展示ー些指令1566b和數(shù)據(jù)1568b正被加載到處理器1570中。電子裝置1562還可包含用干與其它電子裝置通信的ー個(gè)或ー個(gè)以上通信接ロ 1570。通信接ロ 1570可基于有線通信技術(shù)、無線通信技術(shù)或兩者。不同類型的通信接ロ1570的實(shí)例包含串行端ロ、并行端ロ、通用串行總線(USB)、以太網(wǎng)適配器、IEEE 1394總線接ロ、小型計(jì)算機(jī)系統(tǒng)接ロ(SCSI)總線接ロ、紅外(IR)通信端ロ、藍(lán)牙無線通信適配器等
坐寸ο電子裝置1562還可包含ー個(gè)或ー個(gè)以上輸入裝置1572和ー個(gè)或ー個(gè)以上輸出裝置1574。不同種類的輸入裝置1572的實(shí)例包含鍵盤、鼠標(biāo)、麥克風(fēng)、遠(yuǎn)程控制裝置、按鈕、操縱桿、跟蹤球、觸摸板、光筆等。不同種類的輸出裝置1574的實(shí)例包含揚(yáng)聲器、打印機(jī)等。電子裝置1562中通常包含的ー種特定類型的輸出裝置是顯示裝置1576。與本文掲示的配置一起使用的顯示裝置1576可利用任何合適的圖像投影技術(shù)，例如陰極射線管(CRT)、液晶顯示器(IXD)、發(fā)光二極管(LED)、氣體等離子體、電致發(fā)光等。還可提供顯示器控制器1578以用于將存儲(chǔ)在存儲(chǔ)器1564中的數(shù)據(jù)轉(zhuǎn)換為展示于顯示裝置1576上的文本、圖形和/或運(yùn)動(dòng)圖像(適當(dāng)吋)。電子裝置1562的各種組件可通過一條或一條以上總線耦合在一起，所述總線可包含電カ總線、控制信號(hào)總線、狀態(tài)信號(hào)總線、數(shù)據(jù)總線等。為了簡(jiǎn)單起見，圖15中將各種總線說明為總線系統(tǒng)1580。應(yīng)注意，圖15僅說明電子裝置1562的ー種可能的配置。可利用各種其它架構(gòu)和組件。圖16說明無線通信裝置1682內(nèi)可包含的某些組件。先前描述的無線通信裝置可類似于圖16中所示的無線通信裝置1682來配置。無線通信裝置1682包含處理器1698。處理器1698可為通用單芯片或多芯片微處理器(例如，ARM)、專用微處理器(例如，數(shù)字信號(hào)處理器(DSP))、微控制器、可編程門陣列等。處理器1698可稱為中央處理單元(CPU)。雖然在圖16的無線通信裝置1682中僅展示單個(gè)處理器1698，但在替代配置中，可使用處理器的組合(例如，ARM和DSP)。無線通信裝置1682還包含與處理器1698電子通信的存儲(chǔ)器1684( S卩，處理器1698可從存儲(chǔ)器1684讀取信息和/或向存儲(chǔ)器1684寫入信息)。存儲(chǔ)器1684可為能夠存儲(chǔ)電子信息的任何電子組件。存儲(chǔ)器1684可為隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、磁盤存儲(chǔ)媒體、光學(xué)存儲(chǔ)媒體、RAM中的快閃存儲(chǔ)器裝置、與處理器一起包含的板載存儲(chǔ)器、可編程只讀存儲(chǔ)器(PROM)、可擦除可編程只讀存儲(chǔ)器(EPROM)、電可擦除PROM(EEPROM)、寄存器等等，包含其組合。數(shù)據(jù)1686a和指令1688a可存儲(chǔ)在存儲(chǔ)器1684中。指令1688a可包含一個(gè)或ー個(gè)以上程序、例程、子例程、函數(shù)、過程等。指令1688a可包含單個(gè)計(jì)算機(jī)可讀語(yǔ)句或許多計(jì)算機(jī)可讀語(yǔ)句。指令1688a可為可由處理器1698執(zhí)行的，以實(shí)施上文描述的方法400、500、900、1000、1200、1300。執(zhí)行指令1688a可涉及使用存儲(chǔ)在存儲(chǔ)器1684中的數(shù)據(jù)1686a。圖16展示ー些指令1688b和數(shù)據(jù)1686b正被加載到處理器1698中。無線通信裝置1682還可包含發(fā)射器1694和接收器1696以允許在無線通信裝置1682與遠(yuǎn)程位置(例如，基站或其它無線通信裝置)之間發(fā)射和接收信號(hào)。發(fā)射器1694和接收器1696可統(tǒng)稱為收發(fā)器1692。天線1690可電耦合到收發(fā)器1692。無線通信裝置1682還可包含(未圖示)多個(gè)發(fā)射器、多個(gè)接收器、多個(gè)收發(fā)器和/或多個(gè)天線。
無線通信裝置1682的各種組件可通過一條或一條以上總線耦合在一起，所述總線可包含電カ總線、控制信號(hào)總線、狀態(tài)信號(hào)總線、數(shù)據(jù)總線等。為了簡(jiǎn)單起見，圖16中將各種總線說明為總線系統(tǒng)1601。在以上描述中，參考數(shù)字有時(shí)已與各種術(shù)語(yǔ)結(jié)合使用。當(dāng)結(jié)合參考數(shù)字使用術(shù)語(yǔ)時(shí)，這可意味著指代在圖中的一者或一者以上中展示的特定元件。在無參考數(shù)字而使用木語(yǔ)的情況下，這可意味著大體上指代不限于任何特定圖的術(shù)語(yǔ)。術(shù)語(yǔ)“確定”涵蓋廣泛多種動(dòng)作，且因此“確定”可包含推算、計(jì)算、處理、導(dǎo)出、調(diào)查、查找(例如，在表格、數(shù)據(jù)庫(kù)或另ー數(shù)據(jù)結(jié)構(gòu)中查找)、斷定等。而且，“確定”可包含接收(例如，接收信息)、存取(例如，在存儲(chǔ)器中存取數(shù)據(jù))等等。而且，“確定”可包含解析、選擇、挑選、建立等等。除非另有明確規(guī)定，否則短語(yǔ)“基于”并不表示“僅基干”。換句話說，短語(yǔ)“基干”描述“僅基干”與“至少基于”兩者。本文描述的功能可存儲(chǔ)為處理器可讀或計(jì)算機(jī)可讀媒體上的ー個(gè)或ー個(gè)以上指令。術(shù)語(yǔ)“計(jì)算機(jī)可讀媒體”指代可由計(jì)算機(jī)或處理器存取的任何可用媒體。借助于實(shí)例而非限制，此媒體可包括RAM、ROM、EEPR0M、快閃存儲(chǔ)器、CD-ROM或其它光盤存儲(chǔ)裝置、磁盤存儲(chǔ)裝置或其它磁性存儲(chǔ)裝置，或可用以存儲(chǔ)呈指令或數(shù)據(jù)結(jié)構(gòu)形式的所需程序代碼且可由計(jì)算機(jī)存取的任何其它媒體。如本文中所使用的磁盤及光盤包括壓縮光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(DVD)、軟盤及Blu-ray 光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。應(yīng)注意，計(jì)算機(jī)可讀媒體可為有形的和非暫時(shí)性的。術(shù)語(yǔ)“計(jì)算機(jī)程序產(chǎn)品”指代與可由計(jì)算裝置或處理器執(zhí)行、處理或計(jì)算的代碼或指令(例如，“程序”)組合的計(jì)算裝置或處理器。如本文使用，術(shù)語(yǔ)“代碼”可指代可由計(jì)算裝置或處理器執(zhí)行的軟件、指令、代碼或數(shù)據(jù)。軟件或指令也可經(jīng)由傳輸媒體傳輸。舉例來說，如果使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶線路(DSL)或無線技術(shù)(例如，紅外線、無線電及微波)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸軟件，則同軸電纜、光纖電纜、雙絞線、DSL或無線技術(shù)(例如，紅外線、無線電及微波)包含在傳輸媒體的定義中。本文掲示的方法包括用于實(shí)現(xiàn)所描述方法的ー個(gè)或ー個(gè)以上步驟或動(dòng)作。在不偏離權(quán)利要求書的范圍的情況下，方法步驟及/或動(dòng)作可彼此互換。換句話說，除非正描述的方法的適當(dāng)操作需要步驟或動(dòng)作的特定次序，否則，在不脫離權(quán)利要求書的范圍的情況下，可修改特定步驟和/或動(dòng)作的次序和/或使用。應(yīng)理解，權(quán)利要求書不限于上文所說明的精確配置及組件。在不偏離權(quán)利要求書 的范圍的情況下，可在本文中所描述的系統(tǒng)、方法及設(shè)備的布置、操作及細(xì)節(jié)方面進(jìn)行各種修改、改變及變更。
權(quán)利要求
1.一種經(jīng)配置以用于提供接口的計(jì)算裝置，其包括 處理器； 存儲(chǔ)器，其與所述處理器電子通信； 存儲(chǔ)在所述存儲(chǔ)器中的指令，所述指令可執(zhí)行以 從投影器投影出投影圖像； 使用相機(jī)俘獲圖像，其中所述相機(jī)在可見光譜中操作； 校準(zhǔn)所述計(jì)算裝置； 檢測(cè)手； 基于搜索空間中的跟蹤圖案來跟蹤所述手；以及 執(zhí)行操作。
2.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中校準(zhǔn)所述計(jì)算裝置包括 找到所述投影圖像的隅角；以及 將所述投影圖像的坐標(biāo)映射到桌面空間。
3.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中校準(zhǔn)所述計(jì)算裝置包括確定手大小。
4.根據(jù)權(quán)利要求3所述的計(jì)算裝置，其中所述手大小是基于所述投影圖像而確定的，其中所述投影圖像包括多個(gè)橢圓。
5.根據(jù)權(quán)利要求3所述的計(jì)算裝置，其中所述手大小是基于面部辨識(shí)而確定的。
6.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述手是在初始交互區(qū)域中檢測(cè)。
7.根據(jù)權(quán)利要求6所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以 跟蹤身體；以及 基于跟蹤所述身體而移動(dòng)所述初始交互區(qū)域。
8.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以確定所述跟蹤圖案匹配于手。
9.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以基于所述手的運(yùn)動(dòng)而動(dòng)態(tài)地改變所述搜索空間。
10.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述跟蹤圖案包括矩形中心暗區(qū)，所述矩形中心暗區(qū)在三側(cè)上由矩形亮外部區(qū)鄰接且在一側(cè)上由矩形暗外部區(qū)鄰接。
11.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述操作是基于跟蹤所述手而執(zhí)行的。
12.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以基于手勢(shì)圖案而辨識(shí)手勢(shì)。
13.根據(jù)權(quán)利要求12所述的計(jì)算裝置，其中辨識(shí)手勢(shì)進(jìn)一步包括 確定被跟蹤的手是否已停止移動(dòng)一時(shí)間周期；以及 將被跟蹤的手圖像縮放到固定大小。
14.根據(jù)權(quán)利要求12所述的計(jì)算裝置，其中所述手勢(shì)圖案包括矩形中心暗區(qū)，所述矩形中心暗區(qū)在兩側(cè)上由矩形亮外部區(qū)鄰接。
15.根據(jù)權(quán)利要求12所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以基于所述辨識(shí)出的手勢(shì)而執(zhí)行操作。
16.根據(jù)權(quán)利要求12所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以當(dāng)針對(duì)某一百分比的若干幀辨識(shí)出所述手勢(shì)時(shí)執(zhí)行操作。
17.根據(jù)權(quán)利要求12所述的計(jì)算裝置，其中所述手勢(shì)是基于拇指與食指之間的角度來辨識(shí)，且其中所述指令進(jìn)一步可執(zhí)行以基于所述拇指與食指之間的所述角度而將光標(biāo)移動(dòng)遠(yuǎn)離所述手。
18.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以在手周圍的區(qū)中較明亮地照射所述投影圖像。
19.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以跟蹤多只手。
20.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以辨識(shí)多個(gè)手勢(shì)。
21.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以在跟蹤所述手之前移除所述圖像的暗部分以避免跟蹤所述手的影子。
22.根據(jù)權(quán)利要求I所述的計(jì)算裝置，其中所述指令進(jìn)一步可執(zhí)行以在所述投影圖像的區(qū)域中提供對(duì)所述圖像的改善的聚焦和曝光。
23.根據(jù)權(quán)利要求15所述的計(jì)算裝置，其中所述操作釋放光標(biāo)。
24.一種用于提供接口的方法，其包括 從投影器投影出投影圖像； 使用相機(jī)俘獲圖像，其中所述相機(jī)在可見光譜中操作； 校準(zhǔn)計(jì)算裝置； 通過所述計(jì)算裝置檢測(cè)手； 通過所述計(jì)算裝置基于搜索空間中的跟蹤圖案來跟蹤所述手；以及 通過所述計(jì)算裝置執(zhí)行操作。
25.根據(jù)權(quán)利要求24所述的方法，其中校準(zhǔn)所述計(jì)算裝置包括 找到所述投影圖像的隅角；以及 將所述投影圖像的坐標(biāo)映射到桌面空間。
26.根據(jù)權(quán)利要求24所述的方法，其中校準(zhǔn)所述計(jì)算裝置包括確定手大小。
27.根據(jù)權(quán)利要求26所述的方法，其中基于所述投影圖像而確定所述手大小，其中所述投影圖像包括多個(gè)橢圓。
28.根據(jù)權(quán)利要求26所述的方法，其中基于面部辨識(shí)而確定所述手大小。
29.根據(jù)權(quán)利要求24所述的方法，其中在初始交互區(qū)域中檢測(cè)所述手。
30.根據(jù)權(quán)利要求29所述的方法，其進(jìn)一步包括 跟蹤身體；以及 基于跟蹤所述身體而移動(dòng)所述初始交互區(qū)域。
31.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括確定所述跟蹤圖案匹配于手。
32.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括基于所述手的運(yùn)動(dòng)而動(dòng)態(tài)地改變所述搜索空間。
33.根據(jù)權(quán)利要求24所述的方法，其中所述跟蹤圖案包括矩形中心暗區(qū)，所述矩形中心暗區(qū)在三側(cè)上由矩形亮外部區(qū)鄰接且在一側(cè)上由矩形暗外部區(qū)鄰接。
34.根據(jù)權(quán)利要求24所述的方法，其中基于跟蹤所述手而執(zhí)行所述操作。
35.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括基于手勢(shì)圖案而辨識(shí)手勢(shì)。
36.根據(jù)權(quán)利要求35所述的方法，其中辨識(shí)手勢(shì)進(jìn)一步包括 確定被跟蹤的手是否已停止移動(dòng)達(dá)一時(shí)間周期；以及將被跟蹤的手圖像縮放到固定大小。
37.根據(jù)權(quán)利要求35所述的方法，其中所述手勢(shì)圖案包括矩形中心暗區(qū)，所述矩形中心暗區(qū)在兩側(cè)上由矩形亮外部區(qū)鄰接。
38.根據(jù)權(quán)利要求35所述的方法，其進(jìn)一步包括基于所述辨識(shí)出的手勢(shì)而執(zhí)行操作。
39.根據(jù)權(quán)利要求35所述的方法，其進(jìn)一步包括當(dāng)針對(duì)某一百分比的若干幀辨識(shí)出所述手勢(shì)時(shí)執(zhí)行操作。
40.根據(jù)權(quán)利要求35所述的方法，其中基于拇指與食指之間的角度來辨識(shí)所述手勢(shì)，且所述方法進(jìn)一步包括基于所述拇指與食指之間的所述角度而將光標(biāo)移動(dòng)遠(yuǎn)離所述手。
41.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括在手周圍的區(qū)中較明亮地照射所述投影圖像。
42.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括跟蹤多只手。
43.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括辨識(shí)多個(gè)手勢(shì)。
44.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括在跟蹤所述手之前移除所述圖像的暗部分以避免跟蹤所述手的影子。
45.根據(jù)權(quán)利要求24所述的方法，其進(jìn)一步包括在所述投影圖像的區(qū)域中提供對(duì)所述圖像的改善的聚焦和曝光。
46.根據(jù)權(quán)利要求38所述的方法，其中所述操作釋放光標(biāo)。
47.一種用于提供接口的計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括上面具有指令的非暫時(shí)性有形計(jì)算機(jī)可讀媒體，所述指令包括 用于致使計(jì)算裝置從投影器投影出投影圖像的代碼； 用于致使所述計(jì)算裝置使用相機(jī)俘獲圖像的代碼，其中所述相機(jī)在可見光譜中操作； 用于致使所述計(jì)算裝置校準(zhǔn)所述計(jì)算裝置的代碼； 用于致使所述計(jì)算裝置檢測(cè)手的代碼； 用于致使所述計(jì)算裝置基于搜索空間中的跟蹤圖案來跟蹤所述手的代碼；以及 用于致使所述計(jì)算裝置執(zhí)行操作的代碼。
48.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)程序產(chǎn)品，其中所述手是在初始交互區(qū)域中檢測(cè)。
49.根據(jù)權(quán)利要求47所述的計(jì)算機(jī)程序產(chǎn)品，其中所述指令進(jìn)一步包括用于致使所述計(jì)算裝置基于手勢(shì)圖案而辨識(shí)手勢(shì)的代碼。
50.一種用于提供接口的設(shè)備，其包括 用于從投影器投影出投影圖像的裝置； 用于使用相機(jī)俘獲圖像的裝置，其中所述相機(jī)在可見光譜中操作； 用于校準(zhǔn)所述設(shè)備的裝置； 用于檢測(cè)手的裝置； 用于基于搜索空間中的跟蹤圖案來跟蹤所述手的裝置；以及 用于執(zhí)行操作的裝置。
51.根據(jù)權(quán)利要求50所述的設(shè)備，其中所述手是在初始交互區(qū)域中檢測(cè)。
52.根據(jù)權(quán)利要求50所述的設(shè)備，其進(jìn)一步包括用于基于手勢(shì)圖案而辨識(shí)手勢(shì)的裝置。
全文摘要
本發(fā)明描述一種經(jīng)配置以用于提供接口的計(jì)算裝置。所述計(jì)算裝置包含處理器和存儲(chǔ)在存儲(chǔ)器中的指令。所述計(jì)算裝置從投影器投影出投影圖像。所述計(jì)算裝置還使用相機(jī)俘獲包含所述投影圖像的圖像。所述相機(jī)在可見光譜中操作。所述計(jì)算裝置校準(zhǔn)自身、檢測(cè)手，且基于搜索空間中的跟蹤圖案來跟蹤所述手。所述計(jì)算裝置還執(zhí)行操作。
文檔編號(hào)G06F3/041GK102822862SQ201180016602
公開日2012年12月12日 申請(qǐng)日期2011年4月1日 優(yōu)先權(quán)日2010年4月1日
發(fā)明者巴巴科·福魯坦保爾, 任劍鋒 申請(qǐng)人:高通股份有限公司