用戶接口程序化的縮放的制作方法
【專利說明】
【背景技術(shù)】
[0001]導(dǎo)航電子內(nèi)容來查找并選擇內(nèi)容的相關(guān)部分通常是重復(fù)的任務(wù)。在許多示例中，經(jīng)由與計算設(shè)備相關(guān)聯(lián)的顯示設(shè)備來向用戶顯示內(nèi)容項目。某些內(nèi)容項目可以是可由用戶經(jīng)由輸入設(shè)備或其它機(jī)制來選擇的。例如，利用觸摸屏設(shè)備，用戶可以通過對觸摸屏上的顯示內(nèi)容項目的位置進(jìn)行觸摸來選擇可選擇的內(nèi)容項目。
[0002]然而，在某些情形下，可能用太小以至于不允許有效的觸摸選擇的尺寸來顯示可選擇的內(nèi)容項目。例如，在兩個或更多個可選擇的內(nèi)容項目靠近在一起顯示并且尺寸很小的情況下，僅觸摸期望的項目而不會還觸摸到相鄰的項目可能是困難的或者特別繁瑣的。為了解決這個顧慮，某些觸摸屏設(shè)備使得用戶能夠經(jīng)由屏幕上的觸摸手勢來放大顯示的內(nèi)容項目，例如雙擊位置或執(zhí)行反向捏拉縮放手勢(在該手勢中，用戶在接觸屏幕時擴(kuò)大拇指與食指之間的距離)。
[0003]然而，使用這些觸摸手勢來放大內(nèi)容項目致使額外的努力和用戶的移動來準(zhǔn)備顯示設(shè)備和用于選擇的期望的項目。執(zhí)行這些手勢還增加了用戶形成選擇項目的意圖與實際選擇該項目之間的延遲。此外，這些觸摸手勢可能對于與不同的設(shè)備(例如，電視、安裝于墻上的顯示設(shè)備、可穿戴顯示設(shè)備、等等)相關(guān)聯(lián)的其它用戶接口是不適合的或者甚至是沒有作用的。

【發(fā)明內(nèi)容】

[0004]本文中公開了涉及用于對經(jīng)由顯示設(shè)備顯示的視覺元素進(jìn)行縮放的系統(tǒng)和方法的各實施例。例如，一個公開的實施例提供了一種用于縮放視覺元素的方法，該方法包括接收并使用凝視跟蹤數(shù)據(jù)來確定顯示設(shè)備的屏幕上的用戶正凝視的多個凝視位置。接收深度跟蹤數(shù)據(jù)并且該深度跟蹤數(shù)據(jù)用于確定用戶的指針(pointer)位于預(yù)先確定的位置處。
[0005]響應(yīng)于確定用戶的指針位于預(yù)先確定的位置處，鎖住屏幕上的鎖定凝視位置。鎖定凝視位置包括視覺元素的至少一部分。響應(yīng)于鎖住鎖定凝視位置，視覺元素被程序化地縮放預(yù)先確定的量至放大的尺寸。隨后接收選擇視覺元素的用戶輸入。
[0006]提供了本
【發(fā)明內(nèi)容】
，以便以簡化的形式介紹一系列概念，下面在【具體實施方式】中進(jìn)一步描述了這些概念。本
【發(fā)明內(nèi)容】
并非旨在識別所請求保護(hù)的主題的關(guān)鍵特征或重要特征，也并非旨在用于限制所請求保護(hù)的主題的范圍。此外，所請求保護(hù)的主題并非限制于解決了在本公開內(nèi)容的任何部分中所指出的任何缺點或所有缺點的實施方式。
【附圖說明】
[0007]圖1是根據(jù)本公開內(nèi)容的實施例的用于縮放視覺元素的用戶接口系統(tǒng)的示意性視圖。
[0008]圖2示出了根據(jù)本公開內(nèi)容的實施例的示例的頭戴式的顯示設(shè)備。
[0009]圖3是包括握持平板計算機(jī)的用戶、穿戴圖2中的頭戴式的顯示設(shè)備的用戶，以及與安裝于墻壁的顯示設(shè)備交互的用戶的房間的示意性透視圖。
[0010]圖4是顯示來自網(wǎng)頁的視覺元素的顯示設(shè)備屏幕的示意性視圖。
[0011]圖5是示出了用戶的手朝向屏幕移動的圖4中的屏幕的示意性視圖。
[0012]圖6是圖5中的屏幕和用戶的手的示意性透視圖。
[0013]圖7是圖5中的屏幕和用戶的手的示意性側(cè)視圖。
[0014]圖8是示出了用戶的手接近屏幕并且視覺元素被放大的圖5中的屏幕的示意性視圖。
[0015]圖9是示出了用戶的手進(jìn)一步接近屏幕并且視覺元素被進(jìn)一步放大的圖8中的屏幕的示意性視圖。
[0016]圖10是圖9中的屏幕和用戶的手的示意性透視圖。
[0017]圖11是圖9中的屏幕和用戶的手的示意性側(cè)視圖。
[0018]圖12是示出了用戶的手指觸摸屏幕并且視覺元素被進(jìn)一步放大的圖9中的屏幕的示意性視圖。
[0019]圖13A、圖13B以及圖13C是根據(jù)本公開內(nèi)容的實施例的用于對經(jīng)由顯示設(shè)備顯示的視覺元素進(jìn)行縮放的方法的流程圖。
[0020]圖14是計算設(shè)備的實施例的簡化的示意性例示。
【具體實施方式】
[0021]圖1示出了用于對經(jīng)由顯示設(shè)備顯示的視覺元素進(jìn)行縮放的用戶接口系統(tǒng)10的一個實施例的示意性視圖。用戶接口系統(tǒng)10包括可以儲存在計算設(shè)備22的大容量儲存器18中的縮放模塊14?？s放模塊14可以被加載到存儲器26中并且由計算設(shè)備22的處理器30來執(zhí)行，以執(zhí)行下面更詳細(xì)描述的方法和過程中的一個或多個方法和過程。
[0022]用戶接口系統(tǒng)10可以包括可操作地連接到計算設(shè)備22的顯示設(shè)備。在某些示例中，顯示設(shè)備可以包括經(jīng)由有線連接或無線連接而可操作地連接到計算設(shè)備22的分開的顯示設(shè)備34，例如獨立的顯示器、安裝于墻壁的顯示設(shè)備、交互式白板、等等。如下面更詳細(xì)地描述的，顯示設(shè)備34可以包括用于將一個或多個視覺元素38呈現(xiàn)給用戶的一個或多個顯示系統(tǒng)36、凝視跟蹤系統(tǒng)40、光學(xué)傳感器系統(tǒng)44、深度跟蹤系統(tǒng)46、方位傳感器系統(tǒng)48、以及麥克風(fēng)系統(tǒng)52。
[0023]在其它示例中，計算設(shè)備22可以被集成到顯示設(shè)備34中以形成單個設(shè)備。這些設(shè)備例如可以包括手持式智能電話、電子閱讀器、膝上計算機(jī)、筆記本和平板計算機(jī)、等等。將意識到，也可以使用具有各種形狀因數(shù)的許多其它類型和配置的顯示設(shè)備(不管與計算設(shè)備22分開還是與計算設(shè)備22集成在一起)并且它們落入本公開內(nèi)容的范圍內(nèi)。
[0024]計算設(shè)備22可以采用以下形式:臺式計算設(shè)備，諸如智能電話、膝上、筆記本或平板計算機(jī)之類的移動計算設(shè)備、網(wǎng)絡(luò)計算機(jī)、家庭娛樂計算機(jī)、交互式電視機(jī)、游戲系統(tǒng)、或者其它適當(dāng)類型的計算設(shè)備。下面參照圖14更詳細(xì)地描述了關(guān)于計算設(shè)備22的部件和計算方面的額外細(xì)節(jié)。
[0025]在其它示例中，顯示設(shè)備可以采用能夠創(chuàng)建混合現(xiàn)實環(huán)境58的支持虛擬現(xiàn)實或混合現(xiàn)實的設(shè)備的形式，例如頭戴式顯示(HMD)設(shè)備54。在這些示例中，用戶接口系統(tǒng)10可以包括混合現(xiàn)實顯示程序60，該混合現(xiàn)實顯示程序60可以經(jīng)由HMD設(shè)備54生成用于顯示的虛擬環(huán)境62。虛擬環(huán)境62可以包括以虛擬圖像(例如，經(jīng)由HMD設(shè)備54生成和顯示的三維(3D)全息物體和二維(2D)虛擬圖像)的形式的一個或多個視覺元素38。
[0026]計算設(shè)備22可以使用有線連接來可操作地與HMD設(shè)備54連接，或者可以采用經(jīng)由WiF1、藍(lán)牙、或者任何其它適當(dāng)?shù)臒o線通信協(xié)議的無線連接。例如，計算設(shè)備22可以通信地耦合到網(wǎng)絡(luò)64。網(wǎng)絡(luò)64可以采用以下形式:局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、有線網(wǎng)絡(luò)、無線網(wǎng)絡(luò)、個人局域網(wǎng)、或者它們的組合，并且網(wǎng)絡(luò)64可以包括互聯(lián)網(wǎng)。此外，圖1中所例示的示例示出了計算設(shè)備22作為與HMD設(shè)備54分開的部件。將意識到，在其它示例中，計算設(shè)備22可以集成到HMD設(shè)備54中。
[0027]現(xiàn)在還參照圖2，提供了以具有透明的顯示設(shè)備68的一副可穿戴眼鏡的形式的HMD設(shè)備200的一個示例。將意識到，在其它示例中，HMD設(shè)備200可以采用其它適當(dāng)?shù)男问剑渲?，在觀看者的一只眼睛或兩只眼睛前方支持透明的、半透明的或者不透明的顯示設(shè)備。還將意識到，圖1中示出的HMD設(shè)備54可以采用如下面更詳細(xì)描述的HMD設(shè)備200或者任何其它適當(dāng)?shù)腍MD設(shè)備的形式。
[0028]參照圖1和圖2中示出的示例，HMD設(shè)備54包括HMD顯示系統(tǒng)66和透明的顯示設(shè)備68，該透明的顯示設(shè)備68使得諸如全息物體之類的圖像能夠被傳送到用戶的眼睛70。透明的顯示設(shè)備68可以被配置為視覺上增強(qiáng)通過透明的顯示設(shè)備向觀看物理環(huán)境的用戶70顯現(xiàn)物理環(huán)境74。例如，可以由經(jīng)由透明的顯示設(shè)備68呈現(xiàn)的圖形內(nèi)容(例如，每個都具有相應(yīng)顏色和亮度的一個或多個像素)來增強(qiáng)物理環(huán)境74的顯現(xiàn)，以便創(chuàng)建混合現(xiàn)實環(huán)境58。
[0029]透明的顯示設(shè)備68還可以被配置為使得用戶能夠通過顯示虛擬物體表示的一個或多個部分透明的像素來觀看物理環(huán)境74中的物理的、現(xiàn)實世界的物體。如圖2中示出的，在一個示例中，透明的顯示設(shè)備68可以包括位于鏡頭204(舉例來說，例如，透視有機(jī)發(fā)光二極管(OLED)顯示設(shè)備)內(nèi)的圖像產(chǎn)生元素。作為另一個示例，透明的顯示設(shè)備68可以包括在鏡頭204的邊緣上的光調(diào)制器。在該示例中，鏡頭204可以作為用于將來自光調(diào)制器的光傳送到用戶的眼睛的導(dǎo)光設(shè)備。這種導(dǎo)光設(shè)備可以使得用戶能夠察覺到位于用戶正在觀看的物理環(huán)境74內(nèi)的3D全息圖像，同時還允許用戶觀看物理環(huán)境中的物理物體，從而創(chuàng)建混合現(xiàn)實的環(huán)境。
[0030]HMD設(shè)備54以及顯示設(shè)備34還可以包括各種傳感器和相關(guān)系統(tǒng)。例如，HMD設(shè)備54和顯示設(shè)備34可以包括凝視跟蹤系統(tǒng)40，該凝視跟蹤系統(tǒng)40包括被配置為從用戶的眼睛獲取以凝視跟蹤數(shù)據(jù)76的形式的圖像數(shù)據(jù)的一個或多個圖像傳感器。假設(shè)用戶已經(jīng)同意獲取并使用該信息，則凝視跟蹤系統(tǒng)40可以使用該信息來跟蹤用戶的眼睛的方位和/或移動。
[0031]在一個示例中，凝視跟蹤系統(tǒng)40包括被配置為檢測用戶的每只眼睛的凝視方向的凝視檢測子系統(tǒng)。該凝視檢測子系統(tǒng)可以被配置為以任何適當(dāng)?shù)姆绞絹泶_定用戶眼睛中的每只眼睛的凝視方向。例如，凝視檢測子系統(tǒng)可以包括被配置為使得從用戶的每只眼睛的角膜反射出閃爍的光的一個或多個光源，例如紅外光源。一個或多個圖像傳感器隨后可以被配置為捕捉用戶的眼睛的圖像。
[0032]可以使用如根據(jù)從圖像傳感器收集到的圖像數(shù)據(jù)所確定的閃爍的圖像和瞳孔的圖像，來確定每只眼睛的光軸。使用該信息，凝視跟蹤系統(tǒng)40隨后可以確定用戶正凝視的物理物體和/或虛擬物體的方向和/或用戶正凝視的物理物體和/或虛擬物體處于哪個位置。凝視跟蹤系統(tǒng)40還可以確定用戶正凝視物理物體或虛擬物體上的哪個位置。這些凝視跟蹤數(shù)據(jù)76隨后可以被提供給計算設(shè)備22。在某些示例中，凝視跟蹤系統(tǒng)40還可以用于經(jīng)由虹膜識別、視網(wǎng)膜掃描、或其它適當(dāng)?shù)难劬ο嚓P(guān)的生物識別技術(shù)來識別用戶。
[0033]將理解的是，凝視檢測子系統(tǒng)可以具有任何適當(dāng)數(shù)量的光源和圖像傳感器以及光源和圖像傳感器的任何適當(dāng)?shù)牟贾?。例如并參照圖2，HMD設(shè)備200的凝視跟蹤系統(tǒng)40可以利用至少一個面向內(nèi)的傳感器212。
[0034]HMD設(shè)備54和顯示設(shè)備34還可以包括從物理環(huán)境74接收物理環(huán)境數(shù)據(jù)80的傳感器系統(tǒng)。例如，HMD設(shè)備54和顯不設(shè)備34可以包括利用一個或多個面向外的傳感器(例如HMD設(shè)備200上的光學(xué)傳感器216)來捕獲圖像數(shù)據(jù)的光學(xué)傳感器系統(tǒng)44。一個或多個面向外的傳感器可以檢測其視野內(nèi)的移動，例如由用戶70或者由視野內(nèi)的人員或物理物體執(zhí)行的基于手勢的輸入或其它移動。一個或多個面向外的傳感器還可以從物理環(huán)境74和環(huán)境內(nèi)的物理物體捕獲2D圖像信息和深度信息。例如，一個或多個面向外的傳感器可以包括深度攝像頭、可見光攝像頭、紅外光攝像頭、和/或方位跟蹤攝像頭。
[0035]光學(xué)傳感器系統(tǒng)44可以包括經(jīng)由一個或多個深度攝像頭生成深度跟蹤數(shù)據(jù)86的深度跟蹤系統(tǒng)46。在一個示例中，每個深度攝像頭都可以包括立體視覺系統(tǒng)的左攝像頭和右攝像頭。來自這些深度攝像頭中的一個或多個深度攝像頭的時間分辨的(time-resolved) 圖像可以彼此注冊 (register) 和/或與來自諸如可見光譜攝像頭之類的另一個光學(xué)傳感器的圖像注冊，并可以進(jìn)行組合以產(chǎn)生深度分辨的視頻。
[0036]在其它示例中，結(jié)構(gòu)化的光深度攝像頭可以被配置為投影結(jié)構(gòu)化的紅外照明，并且被配置為對從照明投影到上面的場景所反射的照明