眼睛跟蹤佩戴式設(shè)備和使用方法
【專利說明】眼睛跟蹤佩戴式設(shè)備和使用方法
[0001]相關(guān)申請數(shù)據(jù)
[0002]本申請要求共同未決臨時申請，即2012年12月6日提交的序列號分別為61/734，354,61/734, 294和61/734，342的權(quán)益，其全部公開以引用的方式明確地并入本文。
技術(shù)領(lǐng)域
[0003]本發(fā)明通常涉及用于眼睛跟蹤的裝置、系統(tǒng)和方法以產(chǎn)生注視映射，如確定空間中的位置或由一只或兩只眼睛觀察到的(一個或多個)物體。
【背景技術(shù)】
[0004]佩戴式設(shè)備和系統(tǒng)是有益的，因為使用靠近一只或兩只眼睛的平臺的眼睛測量降低由頭部移動和其他來源生成的測量誤差。歷史上，由于與佩戴式眼睛跟蹤設(shè)備有關(guān)的局限性，佩戴式應(yīng)用限于研宄、眼科手術(shù)和軍事領(lǐng)域。由于所需攝像機位置不便，導(dǎo)致佩戴式系統(tǒng)趨向于體積大且昂貴。慣例，制造成像和照明系統(tǒng)的困難在于要求實現(xiàn)不顯眼的外形因素。如果系統(tǒng)未連接到計算機，注視映射和/或注視確定可以是數(shù)據(jù)且計算密集導(dǎo)致有限的實時功能。最后，獲得更高精確度的一個方法是根據(jù)眼睛圖像中的位置和飽和度控制閃爍的存在。結(jié)果，戶外功能由以外來閃爍的形式的噪聲明顯限制。外來閃爍通常由在系統(tǒng)外部的光源(直接的或間接的)引起。
[0005]一個示例是在眼睛圖像中捕獲的、用戶眼睛中的場景的映像。對于類似的原因，依靠用于注視確定的浦肯野(Purkinje)圖像的眼睛跟蹤系統(tǒng)經(jīng)常與眼鏡和隱形佩戴者不相宜。

【發(fā)明內(nèi)容】

[0006]本發(fā)明針對用于眼睛跟蹤的裝置、系統(tǒng)和方法，例如，以產(chǎn)生注視映射，如確定空間中的位置或確定由一只或兩只眼睛觀察到的(一個或多個)物體。具體地，本文提出的方案可以與移動設(shè)備(如平板電腦)相配，該移動設(shè)備對環(huán)境照明條件如明亮的陽光成模塊化且/或是魯棒的。
[0007]本文裝置、系統(tǒng)和方法涉及應(yīng)用中的眼睛跟蹤，在應(yīng)用中，移動的佩戴式設(shè)備用于用戶視覺反饋和/或期望對一致的性能具有環(huán)境魯棒性。不像其他眼睛跟蹤系統(tǒng)，本文中的系統(tǒng)可以是低成本的和/或不引人注目的，其具有安裝在架構(gòu)上的部件，如類似于一副典型的太陽鏡或其他頭飾。由于眼睛移動對人的做決定的過程和技能提供有用的洞察力，則確定注視點位置的能力和/或使用眼睛移動來控制和/或與設(shè)備的寬陣列交互的能力可以是有用的。
[0008]佩戴式眼睛跟蹤設(shè)備中的一個障礙是不引人注目的攝像機位置。用于成像眼睛的理想位置是緊靠在眼睛前。歷史上，選擇移動攝像機和光學(xué)器件到頭部一側(cè)并包含熱鏡或其他反射鏡，或選擇將攝像機離軸移動到眼睛以下。后一種方法導(dǎo)致緊緊約束的機械設(shè)計以讓用戶看不到。另外，高視角使眼睛和瞳孔檢測復(fù)雜化。需要一種方案使眼睛能夠直視，同時能夠具有重量輕的、緊湊的外形因素。自由形式的光學(xué)表面是一個可能的方案，如在美國公開號2012/0162549中由高(Gao)等人和2012/0081800中由程(Cheng)等人公開的方案，其全部公開成果以引用的方式明確地并入本文。傳感器和耦合透鏡組件可以靠近太陽穴定位，且自由形式的光學(xué)器件如棱鏡或波導(dǎo)可以被設(shè)計，使得眼睛的正前方視圖在重量輕的、不引人注目的耳機的約束內(nèi)獲得。優(yōu)化自由形式的模塊的入射光瞳和厚度以成像眼睛，且補償透鏡可以連接到自由形式的光學(xué)器件的外表面以給用戶提供場景的無畸變視圖。補償透鏡可以包含或可以不包含用戶的處方(prescript1n)校正。
[0009]典型地，佩戴式設(shè)備與眼鏡不相宜或放置在眼鏡上。如果相反，用戶的處方被包含到光學(xué)系統(tǒng)設(shè)計，那么根據(jù)用戶的立足點，系統(tǒng)可以是體積小的和/或不靈活的。
[0010]為緩和一些耦合/反射光學(xué)器件的性能約束，由于目標(biāo)不是產(chǎn)生圖像數(shù)據(jù)而是產(chǎn)生眼睛跟蹤數(shù)據(jù)，所以光學(xué)精度可以代替光學(xué)空間傳遞函數(shù)的知識。實際上，這可以包括波前編碼技術(shù)和/或給出每個像素的實際位置(相對于使用陣列內(nèi)的像素的索引來表示空間距離)的二維(2D)查詢表的發(fā)展。為了成本效率，機械和光學(xué)設(shè)計的模塊化方法可以是有用的。
[0011]例如，緊湊的自由形式的波導(dǎo)可以結(jié)合到眼睛跟蹤產(chǎn)品一類中。在此系統(tǒng)中，傳感器、光源、耦合透鏡組件、自由形式的光學(xué)器件和補償透鏡中每個都可以是可以拆除和/或由不同的應(yīng)用專用和/或用戶專用的部件所取代的模塊。例如，在示例性實施例中，包括多個不同設(shè)計或配置的(例如六個設(shè)計)部件的工具箱，可以被提供用于更常規(guī)的視覺校正處方。
[0012]因為在從近眼顯示器(near-eye display “NED”)移動到眼睛跟蹤的唯一方案中移除顯示器緩和對設(shè)計的約束，如在美國公開號2012/0162549中公開那樣，模塊化方法可以是可行的。眼睛照明和用于跟蹤的眼睛圖像可以使用窄帶(通常在紅外附近)波長來執(zhí)行。這可以緩和對自由形式的光學(xué)器件設(shè)計內(nèi)的表面的設(shè)計的約束，因為不僅系統(tǒng)可以忍受用于眼睛跟蹤的圖像內(nèi)的空間畸變(正如所述的)，而且由于沒有用于投射的顯示(可見波長)，與像差有關(guān)的問題也可以在照明光束路徑中得以緩和。另外，用于自由形式的光學(xué)器件內(nèi)的全內(nèi)反射和/或反射鍍膜的條件可以更容易維持在眼睛跟蹤的唯一系統(tǒng)中。類似地，用于將圖像傳輸?shù)綌z像機的耦合光學(xué)器件(如在美國公開號2012/0162549中公開的那些器件)可以在能夠忍受空間畸變和/或像差的注視跟蹤系統(tǒng)中簡化和/或移除。
[0013]設(shè)計模塊化也可以增加照明配置和眼睛跟蹤的算法方法的靈活性。以軸上模式觀察眼睛的能力能夠?qū)崿F(xiàn)亮瞳孔跟蹤。通過結(jié)合設(shè)計內(nèi)的同軸閃爍源配置和軸外閃爍源配置，具有與攝像機的光學(xué)軸線同軸的照明的序列圖像(“亮瞳孔”或浦肯野圖像)和不具有與攝像機的光學(xué)軸線同軸的照明的序列圖像(暗瞳孔圖像)可以被減掉以使瞳孔隔離(甚至在FPGA或ASIC內(nèi))。亮瞳孔圖像中的輻照度分布可以給出軸上眼睛如何與投射照明和圖像采集有關(guān)的一些指示。可選地，暗瞳孔圖像中對眼睛的閃爍可以用來繼續(xù)進行角膜中心的計算。
[0014]移到模塊化方案能夠使外形因素具有靈活性，使得注視跟蹤設(shè)備可以結(jié)合至佩戴式設(shè)備，如太陽鏡、防護眼鏡、口罩、頭盔、耳機等等。設(shè)計中的這種靈活性擴大佩戴式眼睛跟蹤系統(tǒng)可以在其中被實施的用例數(shù)量。于是，局限性在于視頻壓縮、傳輸和處理的要求。為了緩和向與移動設(shè)備相配的無線的或已連接的便攜系統(tǒng)的過渡，深入到模塊中的仔細(xì)算法分解可以從CPU轉(zhuǎn)向集成到佩戴式設(shè)備的眼鏡(temple arm)(或其他位置)的嵌入式處理單元且可以減少數(shù)據(jù)傳輸所需的帶寬量。
[0015]一旦注視映射系統(tǒng)是真實移動的且是在環(huán)境上是魯棒的，可能的用例范圍明顯增加。例如，參考施工監(jiān)測期間的藍(lán)圖，倉庫庫存和專家-新手的運動訓(xùn)練可以使用對結(jié)構(gòu)移動、眼睛控制和/或戶外功能具有魯棒性的移動系統(tǒng)得以促進。
[0016]另外或可選地，可以理解，本文的任何設(shè)備可以包括一個或多個方法來利用可用環(huán)境亮度并且將眼睛檢測限制到窄波長范圍或一組范圍。對于眼睛跟蹤，只有近紅外(near-1nfrared, “IR”)光的窄帶可以用于眼睛成像，但經(jīng)過適當(dāng)設(shè)計之后，可以大體上允許百分之百(100% )的可見光(減去材料接口處的損耗)被傳輸用于穿戴者以觀察場景。也可以使用如鍍膜、光柵、濾波和/或多光源的技術(shù)。鍍膜可以包括金屬和介電材料和/或可以在功能上是反射的或抗反射的，包括二色性方案。
[0017]注視跟蹤系統(tǒng)在相對于給定用戶的臉部的結(jié)構(gòu)位置中的小的移動具有魯棒性且允許無限制的頭部移動，這一點通常是有用的。然而，在移動場景中，滿足這兩種情況可能是重要的。兩種情況可以通過相對于觀察平面的內(nèi)空間(成像和/或跟蹤一只或兩只眼睛)和外空間(成像用戶的周圍或“場景”)的合適的標(biāo)準(zhǔn)化來完成。注視點可以由左眼和右眼注視向量的收斂確定。隨后，信息可以通過移動設(shè)備作為場景攝像機視頻上的疊加(overlay)轉(zhuǎn)送給用戶。
[0018]例如，出于新手訓(xùn)練的目的，用于戶外三維(3D)注視點(point of regard，“POR”)而已優(yōu)化的頭盔式眼睛跟蹤眼鏡可以用于記錄執(zhí)行專門技能(如踢足球)的職業(yè)運動員(專家)的視覺行為。在此情況下，3D注視點可以疊加在場景圖像上。POR視頻和視數(shù)據(jù)可以被記錄在已連接的記錄設(shè)備上和/或可以無線地流到平板電腦或其他計算設(shè)備。隨