專利名稱：基于手勢(shì)的人機(jī)界面的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及基于手勢(shì)的人機(jī)界面，例如可用于控制在計(jì)算機(jī)上執(zhí)行的程序的圖形化用戶界面。盡管適合于很多類型的程序，不過特別感興趣于控制一個(gè)或更多個(gè)無(wú)人飛行器的飛行的程序。
背景技術(shù)：
人機(jī)界面已經(jīng)在過去的數(shù)十年發(fā)生了很大的改變。即使在計(jì)算機(jī)控制的較窄領(lǐng)域中，界面已經(jīng)從命令行演變成要求使用鼠標(biāo)或類似指點(diǎn)裝置以便選擇顯示給用戶的圖標(biāo)的圖形化用戶界面。最近以來(lái)，觸摸屏裝置已經(jīng)開始流行。當(dāng)觸摸屏裝置開啟基于手勢(shì)控制的可能性時(shí)，允許多點(diǎn)輸入的觸摸屏裝置特別有利。蘋果的iPhoneCTM)是觸摸可被用來(lái)選擇項(xiàng)目、 向上或向下滾屏、放大或縮小并旋轉(zhuǎn)項(xiàng)目的較好示例。例如，屏幕傾向于具有較慢的反應(yīng)時(shí)間、較差的精確性和較差的可靠性，而頻繁使用觸摸屏導(dǎo)致殘余物和灰塵的積累，殘余物和灰塵導(dǎo)致進(jìn)一步的性能退化。通過避免接觸屏幕，避免觸摸屏裝置的一些問題的系統(tǒng)已經(jīng)被提出。代之，用戶的手勢(shì)被監(jiān)測(cè)，并且提供基于檢測(cè)到的手勢(shì)的響應(yīng)。例如，監(jiān)測(cè)用戶的手的系統(tǒng)已經(jīng)被提出， 使得用手產(chǎn)生的手勢(shì)被用來(lái)選擇、滾動(dòng)、變焦、旋轉(zhuǎn)等，類似于依賴于觸摸屏幕的現(xiàn)有系統(tǒng)。

發(fā)明內(nèi)容
在此背景下，本發(fā)明屬于通過基于手勢(shì)的人機(jī)界面使用計(jì)算機(jī)系統(tǒng)的方法。該方法包括使用物體指向顯示在計(jì)算機(jī)系統(tǒng)的屏幕上的信息，并用至少兩個(gè)照相機(jī)捕捉屏幕前的景象。處理器被用來(lái)分析用照相機(jī)捕捉的景象以識(shí)別物體，以確定物體指向在屏幕上的何處和物體離屏幕的距離。之后，處理器響應(yīng)于物體指向何處和物體離屏幕的距離的確定來(lái)修改顯示在屏幕上的信息。以此方式，可以避免觸摸屏的缺點(diǎn)。此外，可以利用關(guān)于物體離屏幕多遠(yuǎn)的信息。 這個(gè)信息可以以不同的方式被使用。例如，可通過放大物體指向的屏幕部分來(lái)改變顯示在屏幕上的信息，放大率取決于從屏幕到物體所確定的距離。因此，靠近屏幕的指點(diǎn)可以被用來(lái)提供比在更遠(yuǎn)處的指點(diǎn)更大的放大率?？梢栽O(shè)定限值，使得比某距離更遠(yuǎn)的指點(diǎn)產(chǎn)生一致的放大率，而在距屏幕設(shè)定距離處放大率到達(dá)最大值。這些距離之間的放大率如何變化可以被控制，如，它可以線性地或按指數(shù)規(guī)律地變化。該方法可以包括追蹤物體的移動(dòng)以確定物體指向屏幕上的何處。該方法可以包括確定物體的縱向伸展以確定物體指向屏幕上的何處。這兩個(gè)可選的特征可以被用作可替換方案或者它們可以被用來(lái)相互增強(qiáng)。通過確定在一段時(shí)間內(nèi)物體離屏幕的距離，物體移動(dòng)的速度可以被確定。這個(gè)速度可以被用作對(duì)顯示在屏幕上的信息的進(jìn)一步的控制。物體向屏幕的快速移動(dòng)可以被解釋得與物體向屏幕的逐漸移動(dòng)不同。例如，逐漸移動(dòng)可以被解釋為單擊，而快速移動(dòng)可以被解釋為雙擊。可選地，該方法可以包括用兩個(gè)物體指向顯示在計(jì)算機(jī)系統(tǒng)的屏幕上的信息，并用至少兩個(gè)照相機(jī)捕捉屏幕前面的景象。處理器可以被用來(lái)分析照相機(jī)所捕捉的景象以識(shí)別物體，從而確定物體指向屏幕上的何處和物體離屏幕的距離。之后，處理器響應(yīng)于物體指向屏幕上何處和物體離屏幕的距離的確定來(lái)修改顯示在屏幕上的信息。這允許進(jìn)一步的功能。例如，該對(duì)物體可以被用來(lái)獨(dú)立地與屏幕上的不同控制交互作用，以調(diào)節(jié)音量控制并在某一區(qū)域上放大。這兩個(gè)物體還可以一起被使用。可以用物體操作顯示在屏幕上的圖像， 例如通過旋轉(zhuǎn)物體。例如，使左邊的物體向屏幕移動(dòng)并使右邊的物體遠(yuǎn)離屏幕移動(dòng)可以引起圖像繞豎直軸線順時(shí)針方向旋轉(zhuǎn)，并且使上面的物體向屏幕移動(dòng)并使下面的物體遠(yuǎn)離屏幕移動(dòng)可以引起圖像繞水平軸線旋轉(zhuǎn)，根據(jù)物體的相對(duì)對(duì)齊和物體之間的相對(duì)移動(dòng)也可以存在其它旋轉(zhuǎn)。很多不同的物體可以被用來(lái)指在屏幕上。例如，物體可以是用戶的手。優(yōu)選地，物體可以是用戶的手的伸展的手指。之后，手指的指尖可以是被用來(lái)確定離屏幕的距離的點(diǎn)。 手指伸展(extension)可以被用來(lái)確定用戶指向屏幕上的何處。本發(fā)明還在于包括基于手勢(shì)的人機(jī)界面的計(jì)算機(jī)系統(tǒng)。該計(jì)算機(jī)系統(tǒng)包括(a) 可被操作來(lái)顯示信息的屏幕，(b)被布置成捕捉屏幕前面的景象的至少兩個(gè)照相機(jī)，和(c) 處理器。處理器被布置成接收照相機(jī)提供的圖像并分析圖像，以識(shí)別指向顯示在屏幕上的信息的物體。處理器還被布置成確定物體指向屏幕上的何處和物體離屏幕的距離。處理器還被布置成響應(yīng)于物體指向何處和物體離屏幕的距離的確定來(lái)修改顯示在屏幕上的信息?？蛇x擇地，處理器被布置成追蹤物體的移動(dòng)以確定物體指向屏幕上的何處。此外或可替換地，處理器可以被布置成確定物體的縱向伸展，以確定物體指向屏幕上的何處。處理器可以被布置成放大物體指向的屏幕部分來(lái)改變顯示在屏幕上的信息，放大率取決于從屏幕到物體所確定的距離。如以上關(guān)于發(fā)明的方法所述的，兩個(gè)物體可以被用來(lái)修改顯示在屏幕上的信息。物體可以是用戶的手，例如用戶的手的伸展的手指。


為了使發(fā)明更容易被理解，僅通過示例參考附圖，其中圖1是簡(jiǎn)化視圖的透視圖，其示出了根據(jù)本發(fā)明的實(shí)施例的包括人機(jī)界面的系統(tǒng)，該系統(tǒng)包括兩個(gè)并排的屏幕和四個(gè)照相機(jī)；圖2是從用戶視角觀察的屏幕的透視圖，其示出了用戶通過指按鈕來(lái)選擇顯示在屏幕上的按鈕；圖3a到圖3d是系統(tǒng)的示意俯視圖，其示出了根據(jù)本發(fā)明的人機(jī)界面的實(shí)施例，該系統(tǒng)包括屏幕和一個(gè)或更多個(gè)照相機(jī)，示出了照相機(jī)的視場(chǎng)如何結(jié)合；圖!Be到圖池是圖3a到圖3d中示出的系統(tǒng)的示意正視圖，圖3e、圖3f、圖3g和圖3h分別對(duì)應(yīng)于圖3a、圖3b、圖3c和圖3d ；圖4是示出根據(jù)本發(fā)明的人機(jī)界面的實(shí)施例的系統(tǒng)的示意圖；以及圖fe到圖5c是屏幕的簡(jiǎn)化正視圖，其示出了根據(jù)本發(fā)明的由人機(jī)界面的實(shí)施例提供的變焦設(shè)備。
具體實(shí)施例方式圖中示出了包括基于手勢(shì)的人機(jī)界面的計(jì)算機(jī)系統(tǒng)10。計(jì)算機(jī)系統(tǒng)10包括被驅(qū)動(dòng)來(lái)顯示信息的一個(gè)或更多個(gè)屏幕12。信息的顯示可以由用戶通過用他的或她的手14在屏幕12前面做手勢(shì)來(lái)控制。這些手勢(shì)用被布置在屏幕12周圍的四個(gè)照相機(jī)16記錄。分析照相機(jī)16捕獲的圖像以確定用戶的手14的三維位置并追蹤手14的移動(dòng)。手14的移動(dòng)通過計(jì)算機(jī)系統(tǒng)10解釋，例如以識(shí)別對(duì)應(yīng)于顯示在屏幕12上的圖標(biāo)選擇或放大顯示在屏幕12上的區(qū)域。計(jì)算機(jī)系統(tǒng)10響應(yīng)于這些手勢(shì)來(lái)改變顯示在屏幕12上的信息。圖2示出了用戶將食指18向前朝顯示在屏幕12上的按鈕20移動(dòng)的示例。這個(gè)移動(dòng)模仿用戶按壓按鈕20，并且計(jì)算機(jī)系統(tǒng)10將此解釋為用戶選擇按鈕20。這可以引起計(jì)算機(jī)系統(tǒng)10在屏幕12上顯示新的圖像。盡管可以使用任意數(shù)量的屏幕12，不過圖1和圖2示出了使用兩個(gè)并排的屏幕12 的計(jì)算機(jī)系統(tǒng)10。用戶的手臂22被示意性地示出在屏幕12的前方。手臂22的移動(dòng)由被布置在屏幕12的四個(gè)外角處并朝向屏幕12的中心的四個(gè)照相機(jī)16捕獲。因此，當(dāng)用戶的手14在屏幕12的前面移動(dòng)時(shí)，照相機(jī)捕捉用戶的手14的移動(dòng)。使用四個(gè)照相機(jī)16能夠建立屏幕12前面的空間的三維圖。因此，在x、y、z坐標(biāo)系統(tǒng)中，物體的位置(例如用戶的手指18的指尖)可以被確定。在圖1和圖3中指示了這些坐標(biāo)軸。根據(jù)所有三個(gè)χ、y、ζ 軸的空間信息可以被用在人機(jī)界面中。圖3a到圖池示出了每個(gè)照相機(jī)16的視場(chǎng)M如何結(jié)合以提供空間體積，在其中計(jì)算機(jī)系統(tǒng)10能夠確定物體的位置。照相機(jī)16是相同的，并且也具有相同的視場(chǎng)M。圖 3a和圖!Be分別是單個(gè)屏幕12的平面圖和正視圖，其僅示出了單個(gè)照相機(jī)16 (為了清楚，照相機(jī)16被示意性地示為圓點(diǎn))。因此，它們較好地示出了從每個(gè)照相機(jī)16獲得的視場(chǎng)M。 圖北和圖3f分別是同一屏幕12的平面圖和正視圖，這次示出了被布置在屏幕12的右手邊緣上的兩個(gè)照相機(jī)16。這個(gè)圖示出了兩個(gè)照相機(jī)16的視場(chǎng)如何結(jié)合。圖3c和圖3g是屏幕12的平面圖和正視圖，示出了所有四個(gè)照相機(jī)16和它們的視場(chǎng)M。如果物體被捕捉在至少兩個(gè)照相機(jī)16的視場(chǎng)M以內(nèi)，則物體在屏幕12前面的位置可以被確定。因此，無(wú)論在圖3c和圖3g內(nèi)的何處存在視場(chǎng)M的重疊，物體的位置可以被確定。有用的核心區(qū)沈被示出在圖3d和圖池中，在該核心區(qū)中可以確定物體的位置。圖4更詳細(xì)地示出了計(jì)算機(jī)系統(tǒng)10。計(jì)算機(jī)系統(tǒng)10具有作為其集線器(hub)的計(jì)算機(jī)40。計(jì)算機(jī)40可以包括很多不同的部分，例如主處理器42、其中包括儲(chǔ)存在其內(nèi)的程序的存儲(chǔ)器，例如用于類似于屏幕12的外圍設(shè)備的驅(qū)動(dòng)器和用于操作類似于屏幕12的外圍設(shè)備的卡。如所見的，輸入端(feed)44將四個(gè)照相機(jī)16連接到圖像處理器46。圖像處理器 46可以是主處理器42的一部分，或者圖像處理器46可以被提供為單獨(dú)的處理器。無(wú)論是兩者中的哪一種形式，圖像處理器46都接收來(lái)自照相機(jī)16的圖像。圖像處理器46使用通常可用的軟件來(lái)處理圖像以改善它們的質(zhì)量。例如，可以改善亮度、對(duì)比度和清晰度以使得產(chǎn)生更高質(zhì)量的圖像。被處理的圖像被傳到主處理器42。儲(chǔ)存在存儲(chǔ)器中的圖像分析軟件由主處理器43檢索到并運(yùn)行，以分析處理的圖像，從而確定用戶指向屏幕12上的何處。應(yīng)當(dāng)知道，這種圖像分析軟件是常用的。一旦主處理器42已經(jīng)確定用戶指向屏幕上的何處，主處理器42確定屏幕12上呈現(xiàn)出的圖像是否需要改變。如果確定需要，則主處理器42產(chǎn)生必要的信號(hào)以引起顯示在屏幕12上的信息的必要改變。這些信號(hào)被傳到屏幕驅(qū)動(dòng)器/卡48，屏幕驅(qū)動(dòng)器/卡48提供被供應(yīng)到屏幕12的當(dāng)前信號(hào)。如圖4所示，計(jì)算機(jī)40可包括用于接收來(lái)自屏幕12的觸摸屏輸入的輸入裝置50， 即，意味著允許用戶通過觸摸屏幕12來(lái)選擇顯示在屏幕12上的圖標(biāo)。提供這個(gè)特征在某些情況下可能是有用的。例如，關(guān)鍵的選擇可能要求用戶觸摸屏幕12作為進(jìn)一步的步驟， 以確保用戶確定他們想做出那個(gè)選擇。例如，這可以被用于引起系統(tǒng)緊急關(guān)閉的按鈕此動(dòng)作明確是極端情況并且要求用戶觸摸屏幕12可以反映這一點(diǎn)。因此提供輸入裝置50。如以上提及的，主處理器42得到由圖像處理器46提供的仍被處理的圖像，并分析這些圖像以確定用戶是否指向屏幕12。這可以用常規(guī)的圖像識(shí)別技術(shù)(例如使用被用來(lái)識(shí)別與具有伸向一個(gè)屏幕12的食指18的手14相關(guān)的形狀的軟件)來(lái)進(jìn)行。之后主處理器 42確定手指18指向屏幕12上的何處。主處理器42可以針對(duì)一只手發(fā)揮此功能或針對(duì)被認(rèn)為適當(dāng)?shù)亩嘀皇謥?lái)發(fā)揮此功能。例如，主處理器42可以針對(duì)指在屏幕上的所有手來(lái)對(duì)其進(jìn)行確定。后面的說(shuō)明針對(duì)單個(gè)手指18的示例，如將被逐步理解的，對(duì)于被期望或者被確定指在屏幕12上的多個(gè)手指18，該方法可以被重復(fù)。主處理器42如何確定手指18指在屏幕12上的何處可以以不同的方式進(jìn)行。在一個(gè)實(shí)施例中，主處理器42識(shí)別食指18的指尖在χ、y、ζ坐標(biāo)系統(tǒng)內(nèi)的位置。 這可以通過對(duì)被四個(gè)照相機(jī)16捕獲的圖像進(jìn)行三角測(cè)量來(lái)進(jìn)行。在根據(jù)一組四個(gè)圖像識(shí)別了食指18的指尖的位置后，下一組四個(gè)圖像可以以相同的方式被處理，以便確定食指18 的指尖的下一個(gè)位置。以此方式，食指18的指尖可以被追蹤，并且如果它的運(yùn)動(dòng)繼續(xù)，那么它的移動(dòng)隨時(shí)間重復(fù)向前以確定它將碰屏幕12的位置。在可替換的實(shí)施例中，圖像被分析以確定食指18的伸展(extension)和手指18 指向的方向。當(dāng)然，這個(gè)技術(shù)可以與例如以上描述的實(shí)施例相結(jié)合，以識(shí)別何時(shí)手指18沿著它指向的方向移動(dòng)，因?yàn)檫@可以被解釋為手指18 “按壓”顯示在屏幕12上的物體。圖fe到圖5c示出了根據(jù)本發(fā)明所提供的變焦設(shè)備的實(shí)施例。提供側(cè)邊有四個(gè)照相機(jī)16的單個(gè)屏幕12，每個(gè)都已經(jīng)被描述過。照相機(jī)16和屏幕12被連接到計(jì)算機(jī)系統(tǒng) 10，如之前描述的，計(jì)算機(jī)系統(tǒng)10操作以提供基于手勢(shì)的人機(jī)界面。在圖fe到圖5c中所示的示例中，屏幕12顯示了圖80和相關(guān)信息。屏幕12的頂部具有標(biāo)題信息82，一列四個(gè)可選按鈕84設(shè)在屏幕12的左手邊緣。按鈕84可以帶有文本 86以表示可以選擇的新的信息屏或改變顯示在圖80上的信息。圖80占據(jù)了屏幕12的大部分并且被布置為偏向屏幕12的右下方。圖80將飛機(jī)88示為具有說(shuō)明其當(dāng)前飛行方向的箭頭的圓點(diǎn)。識(shí)別飛機(jī)88的信息還可以被顯示在圓點(diǎn)旁邊，如90處所示。進(jìn)一步的信息被提供在沿圖80的底部邊緣的一行框92中。用戶可能想放大例如圖80上的感興趣的飛機(jī)88，以例如更詳細(xì)地示出顯示在圖 80上的地理信息。為了這么做，用戶可以指向一個(gè)按鈕84以選擇縮放模式，并且之后可以指向圖80上的感興趣的飛機(jī)88。如圖恥和圖5c所示，這引起用戶指向的區(qū)域以更大的放大率被顯示在圓94中。圓94被顯示為覆蓋在背景圖80上。如本領(lǐng)域中已知的，變焦的圓94的邊緣和背景圖80在需要時(shí)可以合并。為了調(diào)節(jié)放大率因子，用戶僅使他或她的食指18向著或遠(yuǎn)離屏幕12 (即在ζ方向上)移動(dòng)。將食指18移向屏幕導(dǎo)致更大的放大率。
因此，用戶的手指18的χ、y位置被用來(lái)確定圖80上被放大的區(qū)域，手指18的ζ 位置被用來(lái)確定放大率。Z位置的上限值和下限值可以被設(shè)置成對(duì)應(yīng)于上限放大率因素和下限放大率因素。例如，放大率可以設(shè)置成1，而用戶的指尖18至少是離屏幕12的某距離 (如，30厘米)。而且，離屏幕的最小間隔(如，5厘米)可以被設(shè)置為最大放大率，使得如果用戶的手指18比5厘米更近地靠近屏幕12，放大率不再增加?？梢愿鶕?jù)需要選擇這些距離之間的放大率如何變化。例如，放大率可以隨距離線性地變化或者它可以遵循一些其它的關(guān)系，例如指數(shù)關(guān)系。圖恥和圖5c反映了如下情況，即用戶從圖恥中的開始位置將他們的食指18移動(dòng)得更靠近屏幕12同時(shí)指在感興趣的飛機(jī)88處，使得放大率增加，如圖5c所示。和朝向屏幕12移動(dòng)一樣，用戶橫向移動(dòng)他們的手指18，則放大率將增加并且放大的區(qū)域?qū)⒁苿?dòng)以跟隨手指18的橫向移動(dòng)。如本領(lǐng)域中的技術(shù)人員將意識(shí)到的，可以對(duì)上述實(shí)施例進(jìn)行修改，而不脫離于由隨附的權(quán)利要求限定的本發(fā)明的范圍。例如，屏幕12的數(shù)量可以從一到任意數(shù)自由變化。此外，屏幕12的類型可以改變。例如，屏幕12可以是像等離子屏幕、LCD屏幕、OLED屏幕的平屏幕，或者它可以是電子射線管或僅是圖像被投射到其上的表面。當(dāng)使用多個(gè)屏幕12時(shí)，他們不需要共同的類型。 盡管CCD照相機(jī)是優(yōu)選的，但使用的照相機(jī)16的類型還可以變化。照相機(jī)16可以用可見光操作，但可以使用其它波長(zhǎng)的電磁輻射。例如，紅外線照相機(jī)可以被用在低光條件下。軟件可以被設(shè)置為監(jiān)測(cè)任何物體并確定從屏幕12選擇什么物體。例如，上文描述的用戶的手指18?？商鎿Q地，可以使用例如棒狀物或棍的指點(diǎn)裝置。本發(fā)明可以被用來(lái)非常有效地訪問被布置成樹狀結(jié)構(gòu)的菜單。例如，手指18可以指向屏幕12上呈現(xiàn)出的按鈕或菜單選項(xiàng)以在屏幕12上產(chǎn)生新的信息顯示。之后，用戶可以移動(dòng)它們的手指18以指向另一個(gè)按鈕或菜單選項(xiàng)以在屏幕12上產(chǎn)生另一個(gè)新的信息顯示，等等。因此，通過僅移動(dòng)手指18使得它指向屏幕12的不同部分，允許用戶非?？焖俚匮灿[樹形菜單結(jié)構(gòu)。例如可以通過追蹤手指18的指尖來(lái)連續(xù)確定用戶的手指18的位置。這能夠使手指18的移動(dòng)速度被確定。這個(gè)速度之后可以被用來(lái)控制屏幕12上的信息。例如，朝向屏幕12移動(dòng)的速度可以被使用，使得逐漸移動(dòng)引起與快速移動(dòng)不同的反應(yīng)。還可以使用橫向移動(dòng)，使得不同的速度產(chǎn)生不同的結(jié)果。例如，較慢的橫向移動(dòng)可以引起顯示在屏幕12上的物體在屏幕內(nèi)來(lái)回移動(dòng)，即，從左到右較慢移動(dòng)可以將物體從中心位置移動(dòng)到屏幕12的右手邊緣上的位置。相反，快速移動(dòng)可也引起物體從屏幕12被移除，S卩，從左到右快速移動(dòng)可以引起物體飛出屏幕12的右手邊緣。如上提及的，主處理器42可以監(jiān)測(cè)多于一個(gè)類似于用戶手指18的物體。這能夠使多個(gè)物體被用來(lái)控制屏幕12上的信息。一對(duì)物體可以被用來(lái)與屏幕上的不同控制獨(dú)立地交互，例如以調(diào)節(jié)選擇新項(xiàng)目并改變與選擇的項(xiàng)目相關(guān)的信息的類型。兩個(gè)物體還可以一起使用。顯示在屏幕上的圖像可以用兩個(gè)手14操作。顯示在屏幕12上的物體可以旋轉(zhuǎn)。 例如，用戶可以將他們的手放在相同的高度，每個(gè)手的手指18指向顯示在屏幕12上的物體的左手和右手邊緣。通過使左手14向屏幕12移動(dòng)并使右手14遠(yuǎn)離屏幕12移動(dòng)，可以使物體繞垂直軸線順時(shí)針旋轉(zhuǎn)。如果一個(gè)手14放在另一個(gè)手上，物體可以繞水平軸線旋轉(zhuǎn)。旋轉(zhuǎn)軸線可以被限定為對(duì)應(yīng)于手指18的指尖之間的線。
權(quán)利要求
1.一種通過基于手勢(shì)的人機(jī)界面使用計(jì)算機(jī)系統(tǒng)的方法，所述方法包括使用物體指向顯示在所述計(jì)算機(jī)系統(tǒng)的屏幕上的信息；用至少兩個(gè)照相機(jī)來(lái)捕獲所述屏幕前面的景象；使用處理器來(lái)分析由所述照相機(jī)捕獲的所述景象以識(shí)別所述物體，以便確定所述物體指向所述屏幕上的何處和所述物體離所述屏幕的距離，并且響應(yīng)于對(duì)所述物體指向何處和所述物體離所述屏幕的距離的確定，修改顯示在所述屏幕上的所述信息。
2.根據(jù)權(quán)利要求1所述的方法，其包括追蹤所述物體的移動(dòng)以確定所述物體指向所述屏幕上的何處。
3.根據(jù)權(quán)利要求1所述的方法，其包括確定所述物體的縱向伸展以確定所述物體指向所述屏幕上的何處。
4.根據(jù)權(quán)利要求1所述的方法，其進(jìn)一步包括通過以某一放大率使所述物體指向的所述屏幕的部分放大來(lái)修改顯示在所述屏幕上的所述信息，該放大率取決于所述物體離所述屏幕的被確定的所述距離。
5.根據(jù)權(quán)利要求2所述的方法，其包括確定在一段時(shí)間所述物體離所述屏幕的距離并由此確定所述物體的移動(dòng)速度，并響應(yīng)于對(duì)所述物體朝向或遠(yuǎn)離所述屏幕移動(dòng)的速度的確定，使用所述處理器來(lái)修改顯示在所述屏幕上的所述信息。
6.根據(jù)權(quán)利要求3所述的方法，其包括在一段時(shí)間所述物體指向所述屏幕上的何處和確定所述物體在所述屏幕前面從該處橫向移動(dòng)的速度，并響應(yīng)于對(duì)所述物體移動(dòng)速度的確定，使用所述處理器來(lái)修改顯示在所述屏幕上的所述信息。
7.根據(jù)權(quán)利要求6所述的方法，其包括使用所述處理器來(lái)根據(jù)所述物體的不同移動(dòng)速度不同地修改顯示在所述屏幕上的所述信息。
8.根據(jù)權(quán)利要求1所述的方法，其包括使用兩個(gè)物體來(lái)指向顯示在所述計(jì)算機(jī)系統(tǒng)的所述屏幕上的信息，使用所述處理器來(lái)識(shí)別所述物體；確定所述物體指向所述屏幕上的何處和所述物體離所述屏幕的距離；并響應(yīng)于對(duì)所述物體指向何處和所述物體離所述屏幕的距離的確定來(lái)修改顯示在所述屏幕上的所述信息。
9.根據(jù)權(quán)利要求5所述的方法，其中所述物體是用戶的手的伸展的手指。
10.一種包括基于手勢(shì)的人機(jī)界面的計(jì)算機(jī)系統(tǒng)，所述系統(tǒng)包括可操作以顯示信息的屏幕；至少兩個(gè)照相機(jī)，其被布置成捕獲所述屏幕前面的景象；以及處理器，其被布置成接收由所述照相機(jī)提供的圖像，分析所述圖像以便識(shí)別指向顯示在所述屏幕上的信息處的物體，確定所述物體指向所述屏幕上的何處和所述物體離所述屏幕的距離，并響應(yīng)于對(duì)所述物體指向何處和所述物體離所述屏幕的距離的確定來(lái)修改顯示在所述屏幕上的所述信息。
11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)系統(tǒng)，其中所述處理器被布置成追蹤所述物體的移動(dòng)以確定所述物體指向所述屏幕上的何處。
12.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)系統(tǒng)，其中所述處理器被布置成確定所述物體的縱向伸展以確定所述物體指向所述屏幕上的何處。
13.根據(jù)權(quán)利要求12所述的計(jì)算機(jī)系統(tǒng)，其中所述處理器被布置成確定所述物體的移動(dòng)速度并響應(yīng)于對(duì)所述移動(dòng)速度的確定來(lái)修改顯示在所述屏幕上的所述信息。
14.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)系統(tǒng)，其中所述處理器被布置成以某一放大率使所述物體指向的所述屏幕的部分變焦，該放大率取決于所述物體離所述屏幕的被確定的所述距離。
15.根據(jù)權(quán)利要求11所述的計(jì)算機(jī)系統(tǒng)，其中所述物體是用戶的手的伸展的手指。
16.一種基于手勢(shì)的計(jì)算機(jī)系統(tǒng)的人機(jī)界面，所述界面包括 可操作以顯示信息的屏幕；至少兩個(gè)照相機(jī)，其被布置成捕獲所述屏幕前面的景象；以及處理器，其被布置成接收由所述照相機(jī)提供的圖像，分析所述圖像以便識(shí)別指向顯示在所述屏幕上的信息處的物體，確定所述物體指向所述屏幕上的何處和所述物體離所述屏幕的距離，并響應(yīng)于對(duì)所述物體指向何處和所述物體離所述屏幕的距離的確定來(lái)修改顯示在所述屏幕上的所述信息；其中所述處理器被布置成確定所述物體的移動(dòng)速度并響應(yīng)于對(duì)所述移動(dòng)速度的確定來(lái)修改顯示在所述屏幕上的所述信息。
17.根據(jù)權(quán)利要求16所述的界面，其中所述處理器被布置成以某一放大率使所述物體指向的所述屏幕的部分變焦，該放大率取決于所述物體離所述屏幕的被確定的所述距離。
18.根據(jù)權(quán)利要求17所述的界面，其中所述物體是用戶的手的伸展的手指。
19.根據(jù)權(quán)利要求16所述的界面，其中所述處理器被布置成確定所述物體的縱向伸展以確定所述物體指向所述屏幕上的何處。
全文摘要
本發(fā)明涉及基于手勢(shì)的人機(jī)界面，例如用于控制在計(jì)算機(jī)上執(zhí)行的程序的圖形化用戶界面。用戶的手勢(shì)被監(jiān)測(cè)并且提供基于檢測(cè)到的手勢(shì)的響應(yīng)。物體被用來(lái)指向顯示在屏幕上的信息。不僅響應(yīng)于對(duì)物體指向何處的確定而且響應(yīng)于對(duì)物體離屏幕的距離的確定，顯示在屏幕上的信息被修改。
文檔編號(hào)G06F3/01GK102279670SQ20111011507
公開日2011年12月14日 申請(qǐng)日期2011年4月28日 優(yōu)先權(quán)日2010年6月9日
發(fā)明者D·E·卡姆皮羅, D·L·S·吉蒙茲, N·P·奧茲, P·S·塔皮亞 申請(qǐng)人:波音公司