用戶界面設(shè)備的制作方法
【專利摘要】一種用戶界面設(shè)備(105)，包括相機(jī)(110、205)和處理器(210、230)，該相機(jī)(110、205)拍攝用戶(115)的面部和手指(125)的圖像，該處理器(210、230)使用所拍攝的圖像確定用戶(115)的面部特征(120)和手指(125)的空間位置，其中該處理器(210、230)進(jìn)一步確定用戶(115)正在觀看用戶界面設(shè)備(105)的屏幕(130)上的哪里，并且其中該處理器(210、230)監(jiān)視用戶(115)的面部特征(120)和手指(125)以獲得用戶界面設(shè)備(105)的屏幕上內(nèi)容的操縱指示。
【專利說明】用戶界面設(shè)備
【背景技術(shù)】
[0001]用戶界面對通過屏幕上內(nèi)容的操縱訪問信息的用戶提供便利。用戶可以實施例如鼠標(biāo)或跟蹤板來促動在用戶界面上顯示的屏幕上內(nèi)容。在如此做時，用戶可以操縱與屏幕上內(nèi)容關(guān)聯(lián)的任何數(shù)據(jù)。用戶還可以通過觸摸屏設(shè)備來與用戶界面交互，以實現(xiàn)類似任務(wù)。然而，實施這些設(shè)備的用戶可能在操作它們方面有困難。例如，用他或她的手指操縱屏幕上內(nèi)容的用戶在觸摸屏幕時遇到屏幕上各種對象的阻塞或覆蓋。此外，選擇屏幕上的小對象是困難的，尤其如果用戶的手指相對地大于該用戶界面設(shè)備被設(shè)計用于的平均用戶手指。此外，由于觸摸或不觸摸被操縱的屏幕上對象的二元功能，關(guān)于用戶可以對該屏幕上對象做什么存在限制。
[0002]隨著用戶界面也變得更多樣和獨特，在它們之間操縱或傳輸數(shù)據(jù)變得進(jìn)一步困難。實際上，由于各種用戶界面的多樣性和獨特性，用戶不得不對每個用戶界面使用或?qū)崿F(xiàn)多種控制。此外，用戶界面可能缺少用來在它們之間操縱數(shù)據(jù)的支持。
【專利附圖】

【附圖說明】
[0003]附圖圖示本文描述的原理的各示例，并且是本說明書的一部分。示例不限制權(quán)利要求的范圍。
[0004]圖1是根據(jù)本文描述的原理的一個示例的用戶界面系統(tǒng)的圖。
[0005]圖2是根據(jù)本文描述的原理的一個示例的用戶界面設(shè)備的框圖。
[0006]圖3是示出根據(jù)本文描述的原理的一個示例的操縱用戶界面設(shè)備的屏幕上內(nèi)容的方法的流程圖。
[0007]在圖中，相同的附圖標(biāo)記代表相似但不一定相同的要素。
【具體實施方式】
[0008]本系統(tǒng)、產(chǎn)品和方法公開一種用戶界面，該用戶界面實現(xiàn)相機(jī)跟蹤用戶眼睛和手指相對于該用戶界面的位置。用戶可以被允許通過例如將打開按壓(open-pinch)設(shè)置中的他們的食指和拇指保持距用戶界面的屏幕一距離，在任何屏幕上移動光標(biāo)。光標(biāo)在屏幕上的位置由線或向量確定，該線或向量由通過用戶的眼睛和手指限定的兩個空間點產(chǎn)生。因此，相機(jī)可以確定用戶的眼睛存在的空間點，確定用戶的手指或多個手指存在的空間點，并且確定或計算由這兩個點產(chǎn)生的線或向量，以確定用戶嘗試與用戶界面的屏幕上的哪個位置交互。
[0009]如上面簡要介紹的，觸摸屏系統(tǒng)的使用具有多種劣勢。具體地，像平板和智能電話之類的手持設(shè)備允許用戶直接與二維用戶界面交互，以繪出各種屏幕上內(nèi)容。手指以及有時的尖筆可以用來操縱該屏幕上內(nèi)容。然而，當(dāng)與用戶界面上的屏幕表面直接交互時，用戶可能覆蓋或阻擋其它屏幕上內(nèi)容或該屏幕上可操縱的其它對象。這直接地影響用戶與屏幕上內(nèi)容容易地交互的能力。
[0010]此外，用戶準(zhǔn)確地選擇或操縱用戶界面的屏幕上的對象可能是困難的。此問題在屏幕尺寸相對小、屏幕上的對象相對小、如果用戶手指相對大或這些組合的時可能發(fā)生。當(dāng)此發(fā)生時，用戶界面可能不能夠區(qū)分屏幕上的對象中的哪個(如果有的話)要被操縱。
[0011]進(jìn)一步，觸摸屏用戶界面是二元的，這可能限制用戶的交互表達(dá)性。具體地，除非用戶物理地觸摸屏幕，觸摸屏上的對象可能不能被操縱。因此，屏幕可能僅感應(yīng)所選擇的或未選擇的屏幕上對象。這進(jìn)一步限制用戶發(fā)起屏幕上內(nèi)容的猶豫狀態(tài)或臨時選擇狀態(tài)的能力。具有臨時地選擇觸摸屏上的屏幕上內(nèi)容的能力的期望，已經(jīng)導(dǎo)致不靈活的時間模式被用來確定用戶界面上所選擇的對象是否已經(jīng)選擇足夠長時間以有資格作為臨時選擇的對象。
[0012]更進(jìn)一步，觸摸屏的使用可能被證明是不希望的，尤其如果觸摸屏要被用于公共設(shè)置。使用單個設(shè)備的各種人可能導(dǎo)致細(xì)菌和病毒的傳播。結(jié)果，這可能有礙于用戶觸摸觸摸屏，從而引起由觸摸屏提供的服務(wù)的使用減少。
[0013]用戶界面還以各種形式出現(xiàn)，這些形式中的一些可能彼此不完全兼容。用戶界面的許多不同形式的使用可能導(dǎo)致用戶實現(xiàn)與每個用戶界面的不同交互方法。例如，用戶可能需要致動一個設(shè)備上的多個按鍵、使用另一設(shè)備上的遠(yuǎn)程控制、觸摸又一設(shè)備上的屏幕以及使用另一設(shè)備的外部硬件設(shè)備(如鼠標(biāo))。這可能導(dǎo)致對使用這些不同類型的輸入方法的用戶困惑和不滿意。此外，可能不存在允許用戶在各種顯示器之間操縱數(shù)據(jù)的交互支持。例如，瀏覽移動設(shè)備上的圖像的用戶可能希望將與該圖像關(guān)聯(lián)的數(shù)據(jù)移動至另一設(shè)備，以便在另一設(shè)備上觀察該圖像。因此，第一設(shè)備可通信地耦接至另一設(shè)備，并且將數(shù)據(jù)轉(zhuǎn)移至另一設(shè)備。這種信息的傳遞通常是通過這兩個設(shè)備之間的物理線纜或通過無線連接實現(xiàn)的。
[0014]在下面的描述中，為了進(jìn)行說明，闡述大量特定細(xì)節(jié)，以便提供對本發(fā)明的系統(tǒng)和方法的全面理解。然而，對本領(lǐng)域技術(shù)人員將顯而易見的是，本發(fā)明的裝置、系統(tǒng)和方法可以在沒有這些特定細(xì)節(jié)的情況下實踐。在本說明書中，對“示例”或類似語言的引用表明關(guān)于該示例描述的特定特征、結(jié)構(gòu)或特性如所描述的那樣被包括，但是可能不包括在其它示例中。
[0015]在本說明書和在所附權(quán)利要求中，術(shù)語“用戶界面”意味著被寬泛地理解為使用戶能與系統(tǒng)、程序或設(shè)備交互的任何硬件或硬件和軟件的組合。在本說明書的一個示例中，用戶界面可以包括屏幕。在另一示例中，用戶界面可以包括屏幕和相機(jī)。在又一示例中，用戶界面可以包括被集成到諸如平板計算機(jī)、智能電話、個人數(shù)字助理(PDA)、膝上型計算機(jī)或臺式計算機(jī)、電視和打印機(jī)等之類的移動設(shè)備內(nèi)的屏幕和相機(jī)。
[0016]此外，在本說明書和在所附權(quán)利要求中，術(shù)語“用戶界面設(shè)備”意味著被寬泛地理解為使用戶能通過任何硬件或硬件和軟件的組合與系統(tǒng)、程序或設(shè)備交互的任何設(shè)備。在一個示例中，用戶界面設(shè)備可以包括移動設(shè)備，如平板計算機(jī)、智能電話、個人數(shù)字助理(PDA)、膝上型計算機(jī)或臺式計算機(jī)、電視機(jī)和打印機(jī)等。
[0017]進(jìn)一步，在本說明書和所附權(quán)利要求書中，術(shù)語“屏幕上內(nèi)容”意味著被寬泛地理解為，代表在與諸如平板計算機(jī)、智能電話、個人數(shù)字助理(PDA)、膝上型計算機(jī)或臺式計算機(jī)、電視機(jī)和打印機(jī)等之類的移動設(shè)備關(guān)聯(lián)的二維屏幕上顯示的數(shù)據(jù)的任何數(shù)據(jù)或符號。
[0018]圖1是根據(jù)本文描述的原理的一個示例的用戶界面系統(tǒng)(100)的圖。系統(tǒng)(100)可以包括用戶界面設(shè)備(105)和相機(jī)(110)。如上面簡要描述的，用戶界面系統(tǒng)(100)檢測用戶(115)的眼睛(120)和手指(125)的空間位置。然后，系統(tǒng)(100)可以確定用戶(115)的面部特征或眼睛(120)和用戶的手指(125)的x、y、z坐標(biāo)或空間位置。系統(tǒng)還可以使用此信息計算用戶(115)正注視用戶界面設(shè)備(105)的屏幕(130)上的哪里。
[0019]如上面描述的，用戶界面設(shè)備(105)可以是平板計算機(jī)、智能電話、個人數(shù)字助理(PDA)、膝上型計算機(jī)、臺式計算機(jī)、電視機(jī)和打印機(jī)等。如下面將描述的，用戶界面設(shè)備(105)可以包含硬件或硬件和軟件的組合，該硬件或硬件和軟件的組合至少實現(xiàn)確定用戶(115)的眼睛(12)和手指(125)的空間位置以及通過使用這兩個空間位置的線或向量
(135)確定用戶界面設(shè)備(105)的屏幕(13)上的位置的功能。
[0020]相機(jī)(110)可以是在特定時間幀內(nèi)拍攝多個連續(xù)幀的任何類型的相機(jī)。在一個示例中，相機(jī)可以具有多達(dá)30幀每秒的幀速率。在另一示例中，幀速率可能大于30幀每秒。在另一示例中，用戶(115)可以被允許調(diào)整相機(jī)(110)的幀速率。這可以進(jìn)行，使得相機(jī)
(110)可以充分地確定用戶(115)的面部特征或眼睛(12)和手指(125)的空間位置，同時在產(chǎn)生和分析圖像時增加或減少圖像的處理時間。
[0021]相機(jī)(110)可以進(jìn)一步確定對象相對于用戶界面設(shè)備(105)的屏幕(130)的距離。在一個示例中，相機(jī)可以是確定對象距相機(jī)(110)的距離的范圍成像相機(jī)。然后可以處理由相機(jī)(Iio)拍攝的圖像，以確定用戶(115)的眼睛(120)和手指(125)的空間位置。此外，處理器可以與相機(jī)(110) —起用來識別人面部的面部特征以及用戶(115)的手指
(125)。相機(jī)(110)可以進(jìn)一步拍攝具有足夠分辨率的用戶(115)的面部圖像，以確定用戶(115)的面部、眼窩、眼球、瞳孔或它們的組合的位置。圖像的分辨率可以增加，以更準(zhǔn)確地確定用戶(115)正在注視屏幕(130)上的哪里。
[0022]在一個示例中，處理器可以進(jìn)一步用來跟蹤用戶的主要眼睛(120)并且忽視另一眼睛。在此示例中，用戶可以通過將信息輸入到用戶界面設(shè)備(105)內(nèi)來識別他或她的主要眼睛(120)。
[0023]在一個示例中，相機(jī)是三維成像相機(jī)，其使用各自同時拍攝圖像的多個鏡頭并且將此圖像合并以形成三維圖像。根據(jù)此三維圖像，系統(tǒng)(100)可以能夠確定用戶(115)的眼睛(120)和手指(125)的空間位置并且計算用戶(115)正注視的屏幕(130)上的位置。如前面介紹的，利用例如大約30幀每秒的幀速率，系統(tǒng)(100)可以確定用戶(115)是否正在調(diào)整他或她的手指(135)之間的距離至特定距離，從而確定用戶是否正在選擇用戶界面設(shè)備(105)的屏幕(130)上的任何屏幕上內(nèi)容。
[0024]圖2是根據(jù)本文描述的原理的一個示例的用戶界面設(shè)備(105)的框圖。用戶界面設(shè)備(105)可以包括使用戶(圖1，115)能夠操縱用戶界面設(shè)備(105)的屏幕(圖1的130)上的對象或數(shù)據(jù)的硬件或硬件和軟件。用戶界面設(shè)備(105)可以包括相機(jī)(205)、圖像處理器(210)、多個輸出設(shè)備(215)、輸入設(shè)備(220)、處理器(230)和數(shù)據(jù)存儲設(shè)備(234)，數(shù)據(jù)存儲設(shè)備(234)可以包括隨機(jī)存取存儲器(RAM) (250)、只讀存儲器(ROM) (255)、硬盤驅(qū)動器(HDD)存儲器(240)和閃存(245)等等。現(xiàn)在將更詳細(xì)地描述這些中的每個。
[0025]相機(jī)(205)可以是在特定時間幀內(nèi)拍攝多個連續(xù)幀的任何類型的相機(jī)。相機(jī)
(205)可以形成用戶界面設(shè)備(105)的一部分，或者可以是通過例如外圍設(shè)備適配器(260)通信地聯(lián)接至用戶界面設(shè)備(105)的外圍設(shè)備。如上面提到的，相機(jī)可以拍攝和處理用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的多個連續(xù)圖像，使得可以以充分高的速率確定用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的位置。例如，相機(jī)(105)可以拍攝用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的多個連續(xù)圖像，此多個連續(xù)圖像足以確定用戶是否正在移動他或她的眼睛(圖1，120)和/或手指(圖1，125)，這代表用戶(圖1，115)嘗試與用戶界面設(shè)備(105)的屏幕(圖1，130)上的屏幕上內(nèi)容交互。在一個示例中，幀速率可以小于或等于約每秒30幀。在另一示例中，幀速率可能超過每秒30幀。
[0026]用戶界面設(shè)備(105)還可以包括圖像處理器(210)。圖像處理器(210)可以包括硬件體系結(jié)構(gòu)，該硬件體系結(jié)構(gòu)從數(shù)據(jù)存儲設(shè)備(235)獲得可執(zhí)行代碼并且執(zhí)行該可執(zhí)行代碼。該可執(zhí)行代碼在由圖像處理器(210)執(zhí)行時，可以導(dǎo)致圖像處理器(210)至少實現(xiàn)確定用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的空間位置的功能。該可執(zhí)行代碼在由圖像處理器(210)執(zhí)行時，還可以導(dǎo)致圖像處理器基于用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的空間位置確定用戶界面設(shè)備(105)的屏幕(圖1，130)上的位置。圖像處理器(210)可以針對由相機(jī)(205)拍攝的每個幀這樣做。
[0027]用戶界面設(shè)備(105)可以進(jìn)一步包括多個輸出設(shè)備(215)。在一個示例中，輸出設(shè)備(215)是屏幕(圖1，130)。如上面描述的，屏幕(圖130)可以圖形地表示可以由用戶(圖1，115)操縱的數(shù)據(jù)。屏幕(130)上的數(shù)據(jù)的圖形表示可以由處理器(230)控制。處理器(230)還可以包括硬件體系結(jié)構(gòu)，該硬件體系結(jié)構(gòu)從數(shù)據(jù)存儲設(shè)備(235)獲得可執(zhí)行代碼并且執(zhí)行該可執(zhí)行代碼。該可執(zhí)行代碼在由處理器(230)執(zhí)行時，可以導(dǎo)致處理器(230)至少實現(xiàn)在屏幕(圖1，130)上顯示屏幕上內(nèi)容的功能。
[0028]在另一實例中，多個輸出設(shè)備可以包括像振動電機(jī)或其它致動器這樣的用來產(chǎn)生觸覺反饋的設(shè)備、揚聲器等等。這些其它輸出設(shè)備(215)可以與屏幕(圖1，130)協(xié)同工作，使得屏幕(圖1，130)上的視覺變化可以被用戶(圖1的115)感覺到或聽到。
[0029]用戶界面設(shè)備(105)可以進(jìn)一步包括數(shù)據(jù)存儲設(shè)備(235)和外圍設(shè)備適配器(260)。數(shù)據(jù)存儲設(shè)備(235)可以數(shù)字地存儲從與用戶界面設(shè)備(105)關(guān)聯(lián)的處理器(210、230)接收的或由處理器(210、230)產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)存儲設(shè)備(235)可以包括隨機(jī)存取存儲器(RAM) (250)、只讀存儲器(ROM) (255)、閃存(245)和硬盤驅(qū)動器(HDD)存儲器(240)。許多其它類型的存儲器是可用的，并且本說明書構(gòu)思使用可以適合本文描述的原理的特定應(yīng)用的任何類型數(shù)據(jù)存儲設(shè)備(235)的使用。在特定示例中，數(shù)據(jù)存儲設(shè)備(235)中的不同類型的存儲器可以用于不同的數(shù)據(jù)存儲需求。
[0030]外圍設(shè)備適配器(260)可以提供用戶界面設(shè)備(105)和相機(jī)(205)之間的接口。外圍設(shè)備適配器(260)從而可以使與所拍攝的圖像相關(guān)的數(shù)據(jù)傳輸能夠被提供給用戶界面設(shè)備(105)以及更具體地被提供給圖像處理器(210)。
[0031]輸入設(shè)備(230)還可以包含在用戶界面設(shè)備(105)中。在一個示例中，用戶界面設(shè)備(220)可以包括輸入設(shè)備(220)，如麥克風(fēng)、軟鍵字母數(shù)字鍵盤和硬件字母數(shù)字鍵盤等
坐寸ο
[0032]在用戶界面設(shè)備(105)的操作期間，用戶(圖1，115)可以通過將兩個手指(如食指和拇指)保持在用戶(圖1，115)的眼睛(圖1，120)和用戶界面設(shè)備(105)的屏幕(圖1，130)之間的打開按壓位置，操縱屏幕上內(nèi)容。如上面描述的，相機(jī)(205)可以以預(yù)定的幀速率拍攝多個連續(xù)圖片并且將那些圖像提供給圖像處理器(210)。除確定用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的空間位置以及確定用戶(圖1，115)正在注視屏幕(圖1，130)上哪里以外，用戶界面設(shè)備(105)可以進(jìn)一步確定用戶(圖1，115)是否正在用他或她的手指執(zhí)行表示任何屏幕上內(nèi)容的選擇或操縱的動作。
[0033]在一個示例中，用戶(圖1，115)可以拉近他或她的手指(圖1，125)之間的距離，這可以由用戶界面設(shè)備(105)解釋為用戶正在觀看的屏幕上內(nèi)容的選擇。用戶(圖1，115)在選擇該屏幕上內(nèi)容以后可以然后將該屏幕上內(nèi)容拖拽至屏幕上的其它位置，拖拽離開屏幕，或拖拽到臨時文件(如用于已經(jīng)刪除的數(shù)據(jù)的回收站)內(nèi)，或者進(jìn)一步通過打開與屏幕上內(nèi)容關(guān)聯(lián)的文件操縱屏幕上內(nèi)容。
[0034]在另一示例中，用戶(圖1，115)在選擇屏幕上內(nèi)容以后可以將屏幕上內(nèi)容拖拽到屏幕(圖1，130)以外，這形成內(nèi)容正被從用戶界面設(shè)備(105)中移除的暗示。如下面將介紹的，用戶(圖1，115)然后可以將該信息拖拽到另一用戶界面設(shè)備的屏幕上。
[0035]在又一示例中，用戶(圖1，115)在選擇屏幕上內(nèi)容以后可以將他或她的手指(圖1，125)更接近屏幕(圖1，130)或離屏幕(圖1，130)更遠(yuǎn)，以進(jìn)一步操縱被選擇的對象。例如，當(dāng)用戶(圖1，115)將他或她的手指(圖1，125)離屏幕(圖1，130)更遠(yuǎn)時，所選擇的對象可以增加尺寸。此外，當(dāng)用戶(圖1，115)將他或她的手指(圖1，125)離屏幕(圖1,130)更近時，所選擇的對象可以減小尺寸。
[0036]在另一示例中，用戶(圖1，115)可以使用單個手指(圖1，125)來操縱屏幕上內(nèi)容。在此示例中，相機(jī)(圖2，205)可以拍攝用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的圖像。然后，處理器(圖2，210、230)可以確定用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的空間位置，并且進(jìn)一步確定用戶(圖1，115)正在觀看屏幕(圖1，130)上的哪里。
[0037]在又一示例中，用戶(圖1，115)可以使用與用戶界面設(shè)備(105)關(guān)聯(lián)的其它輸入設(shè)備(220)來進(jìn)一步操縱所選擇的屏幕上內(nèi)容。例如，用戶(圖1，115)在選擇屏幕上內(nèi)容以后可以使用與用戶界面設(shè)備通信地聯(lián)接的麥克風(fēng)(270)，以例如通過說詞“打開”來打開所選擇的內(nèi)容。類似的動作可以通過此方法實現(xiàn)，本說明書構(gòu)思使用附加命令來進(jìn)一步操縱屏幕上內(nèi)容。
[0038]在再一示例中，用戶界面設(shè)備(105)以及更具體地圖像處理器(210)可以檢測用戶(圖1，115)的眨眼睛。在檢測眨眼睛以后，圖像處理器(210)可以將該眨眼睛解釋為例如項目打開命令，并且可以導(dǎo)致由用戶(圖1，115)選擇的屏幕上內(nèi)容被打開。此外，類似動作可以通過此方法實現(xiàn)，本說明書構(gòu)思使用眨眼睛來代表附加的或不同的命令，以便進(jìn)
一步操縱屏幕上內(nèi)容。
[0039]如前面提到的，用戶(圖1，115)可以以將信息傳遞或復(fù)制到分離的用戶界面設(shè)備上的方式操縱屏幕上內(nèi)容。因此，用戶界面設(shè)備(105)可以通信地聯(lián)接至另一用戶界面設(shè)備，使得第一用戶界面設(shè)備(105)的相機(jī)(205)可以跟蹤用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)離開第一用戶界面設(shè)備(105)的屏幕(圖1，130)并到第二第一用戶界面設(shè)備的屏幕上。在一個示例中，第二用戶界面設(shè)備還可以包括與第一用戶界面設(shè)備(105)的相機(jī)類似的相機(jī)，以類似地跟蹤用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)從第一用戶界面設(shè)備(105)到第二用戶界面設(shè)備。因此，用戶(圖1，115)可以虛擬地將屏幕上內(nèi)容從一個用戶界面設(shè)備(105)拖拽到另一個。處理器(210、230)可以用來在分離的用戶界面設(shè)備之間協(xié)調(diào)，以虛擬地在用戶界面設(shè)備之間傳遞信息和數(shù)據(jù)。此夕卜，處理器(210、230)可以執(zhí)行代碼，該代碼引起第一用戶界面設(shè)備(105)通過網(wǎng)絡(luò)適配器(265)將與所選擇的屏幕上內(nèi)容關(guān)聯(lián)的數(shù)據(jù)發(fā)送給第二用戶界面設(shè)備。因此，數(shù)據(jù)可以從一個用戶界面設(shè)備向另一個虛擬地和電子地轉(zhuǎn)移或復(fù)制。
[0040]用戶界面設(shè)備(105)可以進(jìn)一步允許用戶(圖1，115)使用任意多個手指或任意多組手指選擇多個屏幕上對象。在一個示例中，用戶(圖1，115)可以使用兩個手上的兩組拇指和食指來選擇多個屏幕上對象。特別地，相機(jī)可以拍攝用戶(圖1，115)的眼睛(圖1，120)和兩個手上的手指(圖1，125)的圖像并且將該圖像提供給圖像處理器(210)。如上面描述的，圖像處理器可以確定用戶(圖1，115)的眼睛(圖1，120)和兩個手上的手指(圖1，125)的位置并且確定用戶正在觀看的屏幕(圖1，130)上的位置。圖像處理器(210)可以確定用戶(圖1，115)正在觀看的屏幕(圖1，130)上的第一位置，確定用戶(圖1，115)是否正在選擇該屏幕上內(nèi)容，并且允許選擇該項目。當(dāng)選擇屏幕上內(nèi)容時，用戶(圖1，115)可以觀看其它屏幕上內(nèi)容并且用其它組手指(圖1，125)選擇該內(nèi)容。
[0041]在另一示例中，用戶界面設(shè)備(105)可以允許用戶(圖1，115)使用單組手指選擇屏幕(圖1，130)上的多個對象。在一個示例中，與上面描述的類似，用戶(圖1，115)可以使用多個單獨的手指來選擇屏幕(130)上的多個對象。在此示例中，圖像處理器(210)可以確定用戶(圖1，115)的眼睛(圖1，120)的位置以及多個用戶(圖1，115)手指(圖1，125)。然后，用戶界面設(shè)備(105)可以在用戶(圖1，115)朝向屏幕(圖1，130)移動手指時檢測屏幕上內(nèi)容的選擇。在另一示例中，用戶(圖1，115)可以使用處于打開按壓設(shè)置中的他或她的食指和拇指，使得多個屏幕上內(nèi)容對象表現(xiàn)為位于用戶(圖1，115)的拇指和食指之間。如上面描述的，然后用戶可以通過例如眨眼或可聽見地表示選擇命令，致動此屏幕上內(nèi)容的選擇。在此示例中，用戶(圖1，115)可以通過增大或減小用戶(圖1，115)的拇指和食指之間的空間來增大屏幕(圖1，130)上的可選擇區(qū)域的大小。
[0042]現(xiàn)在轉(zhuǎn)向圖3，示出描繪根據(jù)本文描述的原理的一個示例的操縱用戶界面設(shè)備的屏幕上內(nèi)容的方法的流程圖。該方法可以開始于相機(jī)(圖2，205)拍攝(框305)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的圖像。如上面提到的，相機(jī)可以是三維相機(jī)并且可以每秒拍攝任意多個順序幀。
[0043]在相機(jī)(圖2，205)拍攝(框305)用戶(圖1，115)的眼睛(圖1, 120)和手指(圖1，125)的圖像以后，圖像處理器(圖2，210)可以確定(框310)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的x、y、z空間位置。如上面介紹的，這可以通過處理器(圖1，210,230)執(zhí)行代碼使得確定(框310)這些空間位置來實現(xiàn)。
[0044]然后，處理器(圖2，210、230)可以確定(框315)用戶(圖1，115)正在觀看用戶界面設(shè)備(圖2，105)的屏幕(圖1，130)上的哪里。這可以使用早前確定(框310)的用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的空間位置來確定。
[0045]在已經(jīng)確定(框315)用戶(圖1，115)正在觀看屏幕(圖1，130)上的哪里以后，用戶界面設(shè)備(圖2，105)可以監(jiān)視(框320)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)以獲得屏幕上內(nèi)容的操縱指示。如上面描述的，用戶可以以多種方式操縱屏幕上內(nèi)容，如通過眨眼、通過說可聽見的命令或者通過增大或減小他或她的手指(圖1，125)之間的距離。[0046]當(dāng)用戶(圖1，115)已經(jīng)指示要操縱屏幕上內(nèi)容時，用戶界面設(shè)備(圖2，105)可以基于這些指示操縱(框325)屏幕上內(nèi)容。因此，屏幕上內(nèi)容將基于上面描述的用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的位置變化而變化。
[0047]在整個過程中，相機(jī)(圖2，205)可以繼續(xù)拍攝用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的第二多個圖像。然后，分析每個幀以確定(框310)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)的空間位置以及確定(框3150)用戶正觀看用戶界面設(shè)備(圖2，105)的屏幕(圖1，130)上的哪里。每個所拍攝(框205)的圖像可以用來監(jiān)視(框320)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)以獲得屏幕上內(nèi)容的操縱指示。
[0048]上面描述的方法可以結(jié)合包括非瞬態(tài)計算機(jī)可讀介質(zhì)的計算機(jī)程序產(chǎn)品實現(xiàn)，該非瞬態(tài)計算機(jī)可讀介質(zhì)具有隨其一起包含的計算機(jī)可用程序代碼，當(dāng)該計算機(jī)可用程序代碼由處理器執(zhí)行時執(zhí)行上面的過程和方法。具體地，該計算機(jī)程序產(chǎn)品可以包括在其內(nèi)包含的計算機(jī)可用程序代碼，當(dāng)該計算機(jī)可用程序代碼由處理器執(zhí)行時從相機(jī)(圖1，110)接收所拍攝的圖像并且確定(圖3，框310)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1,125)的空間位置。該計算機(jī)程序產(chǎn)品可以進(jìn)一步包括在其內(nèi)包含的計算機(jī)可用程序代碼，該計算機(jī)可用程序代碼在由處理器執(zhí)行時基于用戶(圖1，115)的眼睛(圖1，125)和手指(圖1，125)的空間位置確定(圖3，315)用戶(圖1，115)正觀看用戶界面設(shè)備(圖1，105)的屏幕(圖1，130)上的哪里。該計算機(jī)程序產(chǎn)品可以更進(jìn)一步地包括在其內(nèi)包含的計算機(jī)可用程序代碼，該計算機(jī)可用程序代碼在由處理器執(zhí)行時監(jiān)視(圖3，框320)用戶(圖1，115)的眼睛(圖1，120)和手指(圖1，125)以獲得屏幕上內(nèi)容的操縱指示。該計算機(jī)程序產(chǎn)品可以再進(jìn)一步包括在其內(nèi)包含的計算機(jī)可用程序代碼，該計算機(jī)可用程序代碼在由處理器執(zhí)行時基于用戶(圖1，115)的屏幕上內(nèi)容的操縱指示來操縱(圖3，325)屏眷上內(nèi)容。
[0049]本說明書和附圖描述了用戶界面設(shè)備。該用戶界面設(shè)備包括相機(jī)和處理器。該處理器可以從相機(jī)接收圖像并且確定用戶的面部特征和手指的空間位置，并且使用此信息來確定用戶如果觀看屏幕上內(nèi)容則觀看屏幕上哪里。該用戶界面設(shè)備可以具有多種優(yōu)勢，包括在不觸摸屏幕或使用鼠標(biāo)或跟蹤板的情況下操縱屏幕上內(nèi)容。此外，該用戶界面設(shè)備允許用戶將屏幕上內(nèi)容從用戶界面設(shè)備的屏幕拖拽至另一用戶界面設(shè)備的另一屏幕。更進(jìn)一步，本說明書的用戶界面設(shè)備允許用戶在不用例如手指阻擋屏幕上內(nèi)容觀看的情況下選擇屏眷上內(nèi)容。
[0050]已經(jīng)呈現(xiàn)前面的描述，來說明和描述所描述的原理的示例。該描述不旨在是詳盡的或?qū)⑦@些原理局限于所公開的任何精確形式。鑒于上面的教導(dǎo)，許多修改和變化是可能的。
【權(quán)利要求】
1.一種用戶界面設(shè)備(105)，包括: 相機(jī)(110、205)，拍攝用戶(115)的面部和手指(125)的圖像；以及 處理器(210、230)，使用所拍攝的圖像確定所述用戶(115)的面部特征(120)和手指(125)的空間位置； 其中所述處理器(210、230)進(jìn)一步確定所述用戶(115)正在觀看所述用戶界面設(shè)備(105)的屏幕(130)上的哪里；并且 其中所述處理器(210、230)監(jiān)視所述用戶(115)的面部特征(120)和手指(125)以獲得所述用戶界面設(shè)備(105)的屏幕上內(nèi)容的操縱指示。
2.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備(105)，其中所述相機(jī)(110、205)是三維相機(jī)。
3.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備(105)，其中所述處理器(210、230)通過確定所述用戶(115)的眼窩、眼球、瞳孔或眼窩、眼球、瞳孔的組合的位置，確定所述用戶(115)的面部特征(120)的空間位置。
4.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備，其中所述處理器(210、230)通過計算由所述用戶(115)的面部特征(120)和手指(125)的空間位置組成的向量，確定所述用戶(115)正在觀看所述用戶界面設(shè)備(105)的所述屏幕(130)上的哪里。
5.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備(105)，其中所述處理器(210、230)在所述處理器(210、230)已經(jīng)檢測到屏幕上內(nèi)容的操縱指示以后改變所述用戶界面設(shè)備(105)的所述屏幕上內(nèi)容。
6.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備(105)，其中所述用戶界面設(shè)備(105)的屏幕上內(nèi)容的操縱指示包括:所述眼睛(120)的眨動、所述用戶(115)的手指(125)中的兩個之間的距離增大、所述用戶(115)的手指(125)中的兩個之間的距離減小、所述用戶(115)的手指(125)和所述屏幕(130)之間的距離增大、所述用戶(115)的手指(125)和所述屏幕(130)之間的距離減小、用戶(115)的手指(125)的空間位置改變，或者這些的組合。
7.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備(105)，其中所述處理器(210、230)進(jìn)一步監(jiān)視來自所述用戶(115)的可聽提示以獲得所述用戶界面設(shè)備(105)的屏幕上內(nèi)容的操縱指/Jn ο
8.根據(jù)權(quán)利要求1所述的用戶界面設(shè)備(105)，其中所述相機(jī)(110、205)以每秒三十幀或更高的幀速率拍攝用戶(115)的面部特征(120)和手指(125)的多個順序圖像。
9.一種操縱用戶界面設(shè)備(105)上的屏幕上內(nèi)容的方法，包括: 用相機(jī)(110、205)拍攝用戶(115)的眼睛(120)和手指(125)的圖像； 用處理器(210、230)確定所述用戶(115)的眼睛(120)和手指(125)的空間位置； 用所述處理器(210、230)，使用所述用戶(115)的眼睛(120)和手指(125)的所述空間位置，確定所述用戶(115)正在觀看所述用戶界面設(shè)備(105)的屏幕上(130)上的哪里； 監(jiān)視所述用戶(115)的眼睛(120)和手指(125)以獲得屏幕上內(nèi)容的操縱指示；以及 基于所述用戶(115)的屏幕上內(nèi)容的操縱指示，操縱所述屏幕上內(nèi)容。
10.根據(jù)權(quán)利要求9所述的方法，其中所述相機(jī)(110、205)是三維相機(jī)。
11.根據(jù)權(quán)利要求9所 述的方法，其中確定所述用戶(105)正在觀看所述用戶界面設(shè)備(105)的所述屏幕上的哪里，是通過計算由所述用戶(115)的眼睛(120)和手指(125)的空間位置組成的向量實現(xiàn)的。
12.根據(jù)權(quán)利要求9所述的方法，進(jìn)一步包括當(dāng)所述處理器(210、230)已經(jīng)檢測到屏幕上內(nèi)容的操縱指示時改變所述用戶界面設(shè)備(105)的所述屏幕上內(nèi)容。
13.根據(jù)權(quán)利要求9所述的方法，其中所述處理器(210、230)進(jìn)一步監(jiān)視來自所述用戶(115)的可聽提示以獲得所述用戶界面設(shè)備(105)的屏幕上內(nèi)容的操縱指示。
14.一種用于操縱用戶界面設(shè)備(105)的屏幕上內(nèi)容的計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品包括: 非瞬態(tài)計算機(jī)可用存儲介質(zhì)(240、245、250、255)，具有與其一起包含的計算機(jī)可用程序代碼，所述計算機(jī)可用程序代碼包括: 使用由相機(jī)(110、205)拍攝的用戶(115)的面部特征(120)和手指(125)的圖像來確定所述用戶(115)的眼睛(120)和手指(125)的空間位置的計算機(jī)可用程序代碼； 使用所述用戶(115)的面部特征(120)和手指(125)的所述空間位置確定所述用戶(115)正在觀看所述用戶界面設(shè)備(105)的屏幕(130)上的哪里的計算機(jī)可用程序代碼；監(jiān)視所述用戶(115)的面部特征(120)和手指(125)以獲得屏幕上內(nèi)容的操縱指示的計算機(jī)可用程序代碼；以及 基于所述用戶(115)的屏幕上內(nèi)容的操縱指示來操縱所述屏幕上內(nèi)容的計算機(jī)可用程序代碼。
15.根據(jù)權(quán)利要求14 所述的計算機(jī)程序產(chǎn)品，其中所述相機(jī)(110、205)是三維相機(jī)。
【文檔編號】G06F3/01GK104040461SQ201180076209
【公開日】2014年9月10日 申請日期:2011年12月27日 優(yōu)先權(quán)日:2011年12月27日
【發(fā)明者】安迪·科伯恩, 馬克·比林赫斯特, 迪內(nèi)希·曼陀羅普 申請人:惠普發(fā)展公司，有限責(zé)任合伙企業(yè)