背景
計算機系統(tǒng)的傳統(tǒng)圖形用戶界面通過諸如鼠標的手動定點設備的幫助來導航。明顯的鼠標指針可被顯示在該界面上,以便向用戶指示當前正被指向的位置。然而,使用鼠標和鼠標指針與如今出現(xiàn)的特定自然用戶輸入(nui)模態(tài)不相容。在基于視覺的nui中,用戶可僅通過例如將手指指向預期顯示對象的方向來調用定點動作——對象定標、選擇、或激活。通過注視跟蹤輸入,用戶的局部化的、眼部凝視可被用于指導定點動作。
概述
本公開的一個實施例提供了一種用于提供用于基于注視的用戶界面導航的視覺反饋的方法。該方法包括,在顯示器上呈現(xiàn)表示能夠用于用戶交互的數字對象的第一圖像、識別用戶注視軸,并計算用戶注視軸通過該第一圖像的交點。接著識別該交點和第一圖像的參考位置之間的偏移距離,并將第二圖像呈現(xiàn)在顯示器上。第二圖像被呈現(xiàn)為從該交點移位取決于該偏移距離的量。
提供本
技術實現(xiàn)要素:
是為了以簡化的形式介紹將在以下詳細描述中進一步描述的一些概念。本概述并不旨在標識所要求保護主題的關鍵特征或必要特征,也不旨在用于限制所要求保護主題的范圍。要求包含的主題不被限制于解決在此公開中提及的現(xiàn)有技術的缺點的各實現(xiàn)。
附圖簡述
圖1示出了示例可穿戴顯示系統(tǒng)的各方面。
圖2示出了頭戴式顯示系統(tǒng)的示例顯示面板的各方面。
圖3和4示出了示例不可穿戴顯示系統(tǒng)的各方面。
圖5示意性地示出示例顯示系統(tǒng)的各方面。
圖6示出了提供一種用于基于注視的用戶界面導航的視覺反饋的示例方法。
圖7和8示出示例用戶界面的各方面。
圖9示出了提供用于基于注視的用戶界面導航的視覺反饋的另一種示例方法。
詳細描述
在一個或多個實現(xiàn)中基本相同的組件、過程步驟和其他元素被協(xié)調地標識并且以重復最小的方式描述。然而,將注意,同等地標識的各元素也可在一定程度上不同。將進一步注意到,本公開中包括的附圖是示意性的并且通常未按照比例繪制。當然,附圖中所示的各種繪圖比例、縱橫比、以及組件的數量可故意地失真,以更容易看到某些特征或關系。
圖1示出了要由佩戴者12a(同樣被描述為“用戶”)佩戴并使用的示例頭戴式顯示系統(tǒng)12a。所示顯示系統(tǒng)包括被定位成接近佩戴者的眼睛的立體、透視顯示部件。因此,顯示系統(tǒng)10a可被用于增強現(xiàn)實應用,其中現(xiàn)實世界圖像與虛擬顯示圖像混合。
圖1的顯示系統(tǒng)10a包括分開的右和左顯示面板14r和14l,以及電子地調制的調光屏16。在一些實施例中,右和左顯示面板從佩戴者的角度看是全部或部分透明的,以便給予佩戴者他或她的周圍環(huán)境的清晰視圖。控制器18a被操作地耦合到顯示面板、調光屏,和其它顯示系統(tǒng)部件。該控制器包括配置用于向顯示面板提供圖像信號并執(zhí)行在此描述的其它控制過程的邏輯和相關聯(lián)計算機存儲器。
圖2在一個非限制性實施例中示出了右或左顯示面板14(14r、14l)的各方面。顯示面板包括背光20和液晶顯示器(lcd)矩陣20。背光可包括發(fā)光二極管(led)的整體——例如,白led或紅、綠和藍led的某種分布。背光可被配置以便引導其發(fā)射光穿過lcd矩陣,該lcd矩陣基于來自控制器18a的控制信號形成顯示圖像。lcd矩陣可包括布置于矩形網格或其它幾何形狀上的眾多可單獨尋址的像素。在一些實施例中,發(fā)射紅光的像素可與發(fā)射綠和藍光的像素并置,使得lcd矩陣形成彩色圖像。在其它實施例中,反射硅上液晶(lcos)矩陣或數字微鏡陣列可被用于代替圖2的lcd矩陣。替換地,有源led矩陣或合適的掃描束技術可被用于形成右和左顯示圖像。盡管圖示出了分開的右和左顯示面板,跨雙眼延伸的單個顯示面板可被替代使用。
顯示面板14包括也可操作地耦合到控制器18a的傳感子系統(tǒng)22a。在所示的實施例中,傳感子系統(tǒng)包括眼睛成像相機24、軸上照明源26和軸下照明源26’。每個照明源發(fā)射眼睛成像相機的高靈敏度波長段的紅外(ir)或近紅外(nir)照明。每個照明源可包括發(fā)光二極管(led)、二極管激光器、放電照明源等。術語“軸上”和“軸下”指照明相對于眼睛成像相機的光軸a的方向。
通過任何合適的物鏡系統(tǒng),眼睛成像相機24跨一范圍的視場角度檢測光,將這樣的角度映射到傳感像素陣列的對應的像素。在一個實施例中,眼睛成像相機可以檢測與陣列像素的子集相關聯(lián)的多個波長通道——例如,紅、綠、藍等。可替換地,單色眼睛成像相機可被使用,其以灰度范圍成像可見、近紅外(nir)、紅外(ir),和/或紫外(uv)光。眼睛成像相機中曝光的所有像素的顏色或亮度值共同構成數字圖像。控制器18a可被配置來使用來自眼睛成像相機的輸出來跟蹤佩戴者12a的注視軸v。
相對于注視跟蹤而言,軸上和軸下照明服務于不同的目的。如圖2所示,軸下照明可創(chuàng)建從佩戴者的眼睛的角膜30反射的鏡面反射28。離軸照明也可被用于照亮眼睛以用于暗瞳摂效果,其中瞳孔32顯得比周圍的虹膜34更暗。相反,來自ir或nir源的軸上照明可被用于創(chuàng)建亮瞳摂效果,其中瞳孔顯得比周圍的虹膜更亮。更具體地,來自軸上照明源26的ir或nir照明照亮眼睛的視網膜36的回射組織,該回射組織將光通過瞳孔反射回去,形成瞳孔的亮圖像38。顯示面板14的光束轉向光學器件40允許眼睛成像相機和軸上照明源共享公共光軸a,而不管它們在顯示面板的外圍上的安排。在某些實施例中,眼睛成像相機可包括阻擋照明源的發(fā)射波段之外的傳輸以改善強環(huán)境光存在時亮瞳對比的波長過濾器。
來自眼睛成像相機24的數字圖像數據可被轉換成控制器18a中或控制器可通過網絡訪問的遠程計算機系統(tǒng)中的相關聯(lián)的邏輯。在那里,可處理圖像數據以便解析如瞳孔中心、瞳孔輪廓、和/或來自角膜的一個或多個鏡面反射28之類的特征。圖像數據中這些特征的位置可被用作把特征位置與注視軸v聯(lián)系起來的模型(例如多項式模型)中的輸入參數。在其中針對右眼和左眼來確定注視軸的各實施例中,控制器還可被配置來計算佩戴者的焦點作為右和左注視軸的交叉點。在某些實施例中,眼睛成像相機可被用來執(zhí)行虹膜或視網膜掃描功能來確定佩戴者12a的身份。
前面的附圖和描述標識了一個示例顯示系統(tǒng)10a。另外,截然不同的顯示系統(tǒng)也處于本公開的精神和范圍內。圖3示出了顯示系統(tǒng)10b和10c,其既不是頭戴式也不是可穿戴的。顯示系統(tǒng)10b是桌面計算機系統(tǒng)。代替近眼顯示面板14r和14l,顯示系統(tǒng)10b包括安排在觀看者12b的視線內的計算機監(jiān)視器14b,亦描述為“用戶”。顯示系統(tǒng)10c是具有觸摸屏顯示器14c的智能電話或平板。在圖3的實施例中,包括眼睛成像相機的傳感器子系統(tǒng)22bc被安排在每個顯示器的邊框之下。圖3中示出的顯示器不必是立體的。
圖4示出了家庭娛樂系統(tǒng)10d形式的顯示系統(tǒng)的又一個實施例。這一顯示系統(tǒng)還可用作游戲系統(tǒng)、多媒體系統(tǒng)、或生產力系統(tǒng)。它包括大尺寸的顯示器14d和顯示器外圍的傳感子系統(tǒng)22d。在此實施例中,控制器18d可采取操作地耦合到顯示器和傳感子系統(tǒng)的個人計算機(pc)或游戲系統(tǒng)的形式。在圖4的實施例中,傳感子系統(tǒng)采取帶有平面圖像相機24d和用于姿勢檢測的深度相機42的視覺系統(tǒng)形式。ir或nir照明源26d提供觀看者12d的照明供眼睛跟蹤和/或深度成像。在某些實施例中,傳感子系統(tǒng)22d可包括專用的軸上或軸下照明源,如以上描述的。
控制器18d——以及實際上任何在此描述的控制器——可包括用軟件和/或固件來實例化的各種功能處理引擎。這一方面在圖5中進一步解說。控制器18d中的手勢識別引擎44可被配置來:處理來自深度相機42的深度數據、標識深度數據中的一個或多個人類主體、計算所標識的主體的各種骨架特征,并從各骨架特征收集要被提供給在控制器上執(zhí)行的os46或應用48的各種姿勢或手勢信息。
在圖4所示的情形中,例如,觀看者12d正在基于注視軸或手部姿勢導航顯示器14d上呈現(xiàn)的用戶界面(ui)。在一個示例中,控制器18d中的注視跟蹤引擎50基于來自平面圖像相機24d的圖像數據來計算與用戶正注視的點對應的顯示屏坐標(x,y)。通過將他的注視移位到顯示屏上的其它點,觀看者可在顯示器上呈現(xiàn)的各ui元素52(例如,按鈕、滑塊、以及選項卡)之間導航。替換地或附加地,姿勢識別引擎44可被配置來基于觀看者的手相對于固定到觀看者的身體的坐標系的位置來計算ui坐標。
盡管在此描述了若干分開的顯示系統(tǒng)實施例,本發(fā)明也包括來自各實施例的各特征的任何合適的子組合。例如,來自頭戴式顯示系統(tǒng)的虛擬圖像可包括通過眼部注視可導航的ui元素。平板或智能電話可包括針對深度成像和姿勢檢測而配備的傳感子系統(tǒng)。家庭娛樂系統(tǒng)可包括通過無源偏振光學器件(亦稱“3d眼鏡)可觀看的大尺寸立體顯示器。眾多其它子組合也被構想。
本文的配置使得顯示系統(tǒng)10的用戶12能夠使用眼睛注視來探索、選擇、和/或激活顯示系統(tǒng)上表示的數字對象。進一步細化在用戶探索、選擇、和/或激活這樣的對象時向用戶提供反饋。如以下描述的,反饋可包括在3d空間中渲染的視覺效果。以此方式,用戶被使得能夠知曉他或她與用戶界面通過注視的交互,并給予了用戶針對視野中的現(xiàn)實和虛擬對象的注視的落點的準確感知。
圖6示出了一種提供用于基于注視的用戶界面導航的視覺反饋的示例方法54。在描述這個方法時,首先結合參考圖7并且接著參考圖8。這些附圖示出了用戶12的右眼和左眼58r、58l能看得到的示例用戶界面56的各方面。
在方法54的62處,表示數字對象62的第一圖像60被呈現(xiàn)在顯示器上。第一圖像可以是表示數字對象62的唯一圖像,或僅僅是表示同一數字對象的多個圖像中的前向或面向用戶的圖像。在某些實施例中,第一圖像可以是平面圖像。在某些實施例中,第一圖像可以是表示同一數字對象的立體圖像對之一。因此,相關聯(lián)的顯示系統(tǒng)可以是如上所述的立體顯示系統(tǒng)。在其中顯示系統(tǒng)為立體的實施例中,方法54中的各種操作可針對用戶12的右眼和左眼58的每一個眼睛分開地執(zhí)行。
數字對象62可具體化幾乎任何類型的數據結構。數字對象可以是例如照片、視頻、電子表格、幻燈片平臺、文檔、音軌,或應用對象。在其它示例中,數字對象可以是用戶界面控制元件,諸如按鈕或滑塊。圖7中的窗口包圍按鈕是具有用戶界面控制元件形式的數字對象的一個示例。一般而言,由第一圖像60表示的數字對象可以是可用于交互(例如,由用戶12定標、選擇、和/或激活)的對象。該第一圖像60可以是更大的顯示場景中包括其它虛擬顯示對象的圖像表示(例如圖7中的對象62’和62”)的一部分。
在方法54中,各種圖像表示可以以不同方式被錨定到用戶12觀察的環(huán)境。在一個實現(xiàn)中,第一圖像60可占據參考用戶視野固定定義的位置。該圖像可在用戶正前方顯現(xiàn)、沿著水平線在用戶左邊的30度顯現(xiàn),等等。在另一個實現(xiàn)中,第一圖像可占據參考全球坐標系統(tǒng)(例如gps坐標)定義的位置。在這些和其它實現(xiàn)中,第一圖像60可被渲染在錨定在該全球坐標系統(tǒng)中的另一虛擬顯示對象的前(即,面向用戶)表面上。
全球坐標系統(tǒng)和顯示系統(tǒng)10本地的坐標系統(tǒng)之間的互換通過顯示系統(tǒng)的傳感器組件的幫助來完成。例如,頭戴式顯示設備10a可包括:包括一個或多個加速度計、陀螺儀、和磁力計的慣性測量單元(imu)。來自imu的輸出使得顯示設備控制器能夠周期性地更新其在全球坐標系統(tǒng)內的位置和朝向,使得全球和本地坐標系統(tǒng)之間的大致坐標轉換可被計算。在非可穿戴實現(xiàn)中,操作地耦合到顯示器的視覺系統(tǒng)可被配置來響應于改變用戶位置或朝向來對該用戶進行成像并提供輸出。
在圖6中繼續(xù),在方法54的64處,用戶12的注視軸66基于來自合適的注視跟蹤組件的輸出而被識別。在某些實施例中,針對用戶的每只眼睛的不同的注視軸可被識別。替換地,可基于來自雙眼的注視識別單個、合成注視軸。在其中第一圖像60是平面圖像的各實施例中,注視軸可與第一圖像的圖像平面大致正交。
在某些實施例中,識別注視66軸的動作可包括基于來自被配置用于對用戶的眼睛進行成像的相機的信號來估計注視軸的坐標——例如,全球坐標或本地坐標。在其它實施例中,識別注視軸可包括基于來自非成像注視跟蹤傳感器(諸如眼電描記傳感器)的信號來估計注視軸的坐標。在其它實施例中,識別注視軸可包括基于用戶的骨骼跟蹤來估計注視軸的坐標。這樣的骨骼跟蹤可采用,如上所述,針對用戶的深度感測或平面圖像相機系統(tǒng)。該骨骼跟蹤方法在其中顯示器是靜態(tài)顯示器的各實施例中可能是有用的。
在某些實施例中,識別注視軸可包括將注視軸的本地坐標(即相對于顯示系統(tǒng)10而言本地)與全球坐標相關的動作。頭戴式imu(見上文)也可被用于這個目的。在某些實施例中,所識別的注視軸可以延伸不超過用戶的焦點——即,右和左注視軸的交點。該特征使得能夠基于表示那些對象的顯示圖像的深度來在多個同時呈現(xiàn)的數字對象中進行區(qū)分。
在方法54的可選步驟68中,可在顯示器上在其中注視軸和顯示平面(例如,顯示器的物理平面,或用于顯示3d虛擬圖像的焦平面)相交的坐標處渲染光標。光標可向用戶提供定義正在注視的方向(而不必是正被跟蹤的特定對象)的視覺反饋,,因為某些對象可能顯現(xiàn)在顯示屏或焦平面的后面或前面。光標可包括例如,諸如箭頭、或圖7的十字準線、或像素的發(fā)光集群的明顯的圖形。
在圖7表示的情形中,用戶注視軸66r和66l與數字對象62的第一圖像60相交。在諸如此的情形中,顯示系統(tǒng)可向用戶12提供額外的反饋。額外反饋可指示ui元素可用于在注視位置處的交互、正被交互、正被選擇或激活,等等。在一個實現(xiàn)中,如圖8所表示的,反饋可包括第二、背景圖像的同時顯示所導致的視差背景效果。在某些實現(xiàn)中,第二圖像可僅在第一圖像由用戶注視軸相交時顯現(xiàn)。在其它實現(xiàn)中,第二圖像可在用戶注視軸處于距第一圖像閾值距離內時被顯現(xiàn)。因此,在方法54的72處,用戶注視軸穿過第一圖像的交點被計算來作為目標點74。在替換的情形中,所計算的目標點可以是注視軸穿過環(huán)境中任何現(xiàn)實對象(例如,汽車、建筑物、建筑物墻體)的前表面的交叉點。此變體可在數字對象要在現(xiàn)實對象內被表示的情況中有用。
在圖6中繼續(xù),并且現(xiàn)在結合參考圖8,在方法54的76處,目標點74和第一圖像60的參考位置78之間的偏移距離d被識別。例如,參考位置可以是第一圖像的中心或邊。接著,在80,第二圖像82被呈現(xiàn)在顯示器上,從目標點移位取決于該偏移距離的量。在圖8中,第二圖像從第一圖像移位偏移距離d。此外,移位的方向是沿著連接目標點和參考位置的線離開目標點。圖8中所示的幾何形狀是若干可能的幾何形狀之一,它們給予用戶第二圖像被投射或投陰影離開目標點的感覺,就好像目標點是照明源。換言之,第二圖像82可以是第一圖像60的陰影圖像或副本。陰影圖像可被顯示在穿過第一圖像的平面之后,并在平行于該平面的方向上偏移離開交點。在某些實施例中,陰影圖像可以是第一圖像的更暗、漫射、或模糊的副本。更一般地,第二圖像可用是第一圖像的重新著色的副本。在這些和其它實施例中,第二圖像可以是第一圖像的經增量式旋轉的形式。
第二圖像82的模擬投射具有使得數字對象62的基本平面的圖像表示在接收用戶注視時顯得更有維度且明顯的效果。此外,其提供了動態(tài)效果,其中投射隨著用戶在任何方向上偏移他的注視(且進而目標點)穿過第一圖像60而改變。除了這些優(yōu)點,替換的和/或附加效果可被用來通過第二圖像82的呈現(xiàn)來向用戶揭示目標點相對于第一圖像60的位置。這樣的效果更一般地可包括添加、旋轉、重新著色、或以取決于偏移距離d的方式來變形第一圖像。
方法54可以以許多方式擴展,從而實現(xiàn)附加的優(yōu)點。例如,數字對象62的整體呈現(xiàn)可取決于用戶的注視的目標點來被修改。因此,在方法54的84處,第一圖像被修改以包括在交點處突出顯示第一圖像。例如,圖8的按鈕表示可包括被渲染在第一圖像60上的注視軸的交點處的發(fā)光突出顯示85。這個效果顯得目標點正向元素投射光。實際上,在第一圖像后面提供的偏移背景標識正可被用戶選擇的相關聯(lián)的數字對象;偏移背景的改變的偏移給予用戶有關他或她的相對于該元素的中央的注視位置的附加的指示。以上略述的效果創(chuàng)建了視覺趣味并鼓勵用戶探索用戶界面56上可用的各種對象。
以上方法的示例實現(xiàn)模式現(xiàn)在將參考圖9的方法86來進行描述。在方法86的88處,第一圖像60的平面上用戶注視軸66的交點被轉換到本地uv空間。在90,來自第一圖像的中心的2d偏移被傳遞到像素著色器。像素著色器是控制器18的功能引擎,其可控地將虛擬顯示圖像的所選像素加深。在92,交點從圖像平面投射到將包含第二圖像的xy平面。在94,投射的點的坐標被轉換使得所投射的位置與第一圖像的每個像素的uv坐標相匹配。在96,像素著色器被用于偏移被映射到底層虛擬顯示對象的正面上的紋理的2d位置。以此方式,圖像紋理將從圖像平面的中心在投射的注視點的方向上被偏移,反射通過圖像平面的中心。
從前述描述中顯而易見,本文所描述的方法和過程可被綁定到一個或多個計算機器的計算機系統(tǒng)。這樣的方法和過程可被實現(xiàn)為計算機應用程序或服務、應用編程接口(api)、庫和/或其它計算機程序產品。圖5以控制器18的形式示出了計算機系統(tǒng)的非限制性示例,其支持在此描述的方法和過程。該計算機系統(tǒng)包括邏輯機98和相關聯(lián)的計算機存儲器108。
邏輯機98包括被配置成執(zhí)行指令的一個或多個物理邏輯設備。邏輯機可被配置成執(zhí)行作為以下各項的一部分的指令:一個或多個應用、服務、程序、例程、庫、對象、組件、數據結構、或其它邏輯構造。這種指令可被實現(xiàn)以執(zhí)行任務、實現(xiàn)數據類型、轉換一個或多個組件的狀態(tài)、實現(xiàn)技術效果、或以其他方式得到期望結果。
邏輯機98可包括被配置成執(zhí)行軟件指令的一個或多個處理器。作為補充或替換,邏輯機可包括被配置成執(zhí)行硬件或固件指令的一個或多個硬件或固件邏輯機。邏輯機的處理器可以是單核或多核,且在其上執(zhí)行的指令可被配置用于串行、并行和/或分布式處理。邏輯機的各個組件可任選地分布在兩個或更多單獨設備上,這些設備可以位于遠程和/或被配置用于進行協(xié)同處理。邏輯機的各方面可由以云計算配置進行配置的可遠程訪問的聯(lián)網計算設備來虛擬化和執(zhí)行。
計算機存儲器108包括被配置成保持可由相關聯(lián)的邏輯機98執(zhí)行以實現(xiàn)此處描述的方法和過程的指令的一個或多個物理、計算機存儲器設備。在實現(xiàn)這些方法和過程時,可以變換計算機存儲器的狀態(tài)——例如以保存不同的數據。計算機存儲器可包括可移動的和/或內置設備;它可包括光學存儲器(例如,cd、dvd、hd-dvd、藍光碟等)、半導體存儲器(例如,ram、eprom、eeprom等)、和/或磁性存儲器(例如,硬盤驅動器、軟盤驅動器、磁帶驅動器、mram等)、以及其他。計算機存儲器可包括易失性、非易失性、動態(tài)、靜態(tài)、讀/寫、只讀、隨機存取、順序存取、位置可尋址、文件可尋址和/或內容可尋址設備。
可以理解,計算機存儲器108包括一個或多個物理設備。然而,本文描述的指令的各方面可替換地通過不由物理設備在有限時長內持有的通信介質(例如,電磁信號、光信號等)來傳播。
邏輯機98和計算機存儲器108的各方面可被一起集成到一個或多個硬件邏輯組件中。這些硬件邏輯組件可包括例如現(xiàn)場可編程門陣列(fpga)、程序和應用專用的集成電路(pasic/asic)、程序和應用專用的標準產品(pssp/assp)、片上系統(tǒng)(soc)以及復雜可編程邏輯器件(cpld)。
術語“引擎”可用于描述被實現(xiàn)來執(zhí)行特定功能的計算機系統(tǒng)的一方面。在某些情況下,可以經由執(zhí)行計算機存儲器所保持的指令的邏輯機來實例化引擎。將理解,可以從同一應用、服務、代碼塊、對象、庫、例程、api、函數等實例化不同的引擎。同樣,可以由不同的應用程序、服務、代碼塊、對象、例程、api、函數等實例化同一引擎。術語“引擎”可以包括單獨的可執(zhí)行文件、數據文件、庫、驅動器、腳本、數據庫記錄等或它們的集合。
通信系統(tǒng)102可被配置為將計算機系統(tǒng)通信地耦合到一個或多個其它機器。通信系統(tǒng)可包括與一個或多個不同通信協(xié)議兼容的有線和/或無線通信設備。作為非限制性示例,通信系統(tǒng)可被配置成用于經由無線電話網絡或者有線或無線局域網或廣域網來進行通信。在一些實施例中,通信系統(tǒng)可允許計算機器經由諸如因特網這樣的網絡將消息發(fā)送至其他設備以及/或者從其它設備接收消息。
將會理解,本文描述的配置和/或方式本質是示例性的,這些具體實施例或本文示例不應被視為限制性的,因為許多變體是可能的。本文描述的具體例程或方法可以表示任何數量的處理策略中的一個或多個。如此,所示和/或所述的各種動作可以以所示和/或所述順序、以其他順序、并行地執(zhí)行,或者被省略。同樣,上述過程的次序可以改變。
本公開的一個方面涉及一種用于提供用于基于注視的用戶界面導航的視覺反饋的方法。該方法包括下述動作:在顯示器上呈現(xiàn)表示能夠用于用戶交互的數字對象的第一圖像;識別用戶注視軸;計算用戶注視軸通過所述第一圖像的交點;識別所述交點和所述第一圖像的參考位置之間的偏移距離;以及將第二圖像呈現(xiàn)在所述顯示器上從所述交點移位取決于所述偏移距離的量。
在某些實現(xiàn)中,上述方法可進一步包括基于來自被配置用于對所述用戶的眼睛進行成像的相機的信號、或基于來自非成像注視跟蹤傳感器的信號、或基于所述用戶的骨骼跟蹤來估計所述注視軸的坐標的動作。在這個實現(xiàn)中,骨骼跟蹤可采用指向所述用戶的相機系統(tǒng),而所述顯示器可以是靜態(tài)顯示器。在某些實現(xiàn)中,以上方法可進一步包括基于來自所述用戶佩戴的慣性測量傳感器的信號來估計所述注視軸的坐標的動作。在這些和其它實現(xiàn)中,注視軸可延伸不超過所述用戶的焦點。在這些和其它實現(xiàn)中,第一圖像可以是表示所述數字對象的多個圖像中向前的圖像。在某些實現(xiàn)中,第二圖像是所述第一圖像的陰影圖像,所述陰影圖像顯現(xiàn)在穿過所述第一圖像的平面之后,并在平行于所述平面的方向上偏移離開所述交點。在此,陰影圖像可以是所述第一圖像的變暗的副本。在某些實現(xiàn)中,以上方法可進一步包括在交點處突出顯示所述第一圖像的動作。在這些和其它實現(xiàn)中,所述第二圖像可以是所述第一圖像的重新著色的副本,和/或所述第一圖像的經旋轉的形式,和/或立體圖像對之一。在某些實現(xiàn)中,數字對象可以是用戶界面控制元素。
本公開的另一個方面涉及可穿戴計算機設備,包括:被配置用于向佩戴者呈現(xiàn)虛擬圖像的近眼顯示器;被配置用于對所述佩戴者的眼睛進行成像的相機;以及,可操作地耦合到所述顯示器和所述相機的,具有處理器和相關聯(lián)的計算機存儲器的控制器,所述存儲器存儲使得所述處理器執(zhí)行以下的指令:在所述顯示器上呈現(xiàn)表示能夠用于與所述佩戴者進行交互的數字對象的第一圖像,接收來自所述相機的傳感信號,所述傳感信號指示所述佩戴者的注視軸,計算所述注視軸通過所述第一圖像的交點,并在所述顯示器上呈現(xiàn)遠離所述交點的第二圖像,所述第二圖像揭示相對于所述第一圖像的所述交點的位置。在一個實現(xiàn)中,顯示器可以是立體顯示器,并且所述呈現(xiàn)、接收、和計算的動作可針對所述佩戴者的每個眼睛分開地執(zhí)行。
本公開的另一個方面涉及一種用于提供用于基于注視的用戶界面導航的視覺反饋的方法。該方法包括下述動作:在顯示器上呈現(xiàn)表示能夠用于用戶交互的數字對象的第一圖像;識別所述用戶注視軸;計算所述注視軸通過所述第一圖像的交點;以及將第二圖像呈現(xiàn)在所述顯示器上遠離所述交點,所述第二圖像包括所述第一圖像的陰影圖像,所述陰影圖像顯現(xiàn)在穿過所述第一圖像的平面之后,并在平行于所述平面的方向上偏移離開所述交點。
在某些實現(xiàn)中,所述第一圖像可以是平面圖像,并且所述注視軸可以大致與所述平面正交。在這些和其它實現(xiàn)中,所述方法可進一步包括在所述交點突出顯示所述第一圖像的動作。
本公開的主題包括各種過程、系統(tǒng)和配置以及此處公開的其他特征、功能、動作和/或屬性、以及它們的任一和全部等價物的所有新穎且非顯而易見的組合和子組合。