專利名稱：3d凝視跟蹤器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施例涉及用于跟蹤人的凝視以及確定人的環(huán)境中凝視所專注的“注視點”(POR)的方法和系統(tǒng)。
背景技術(shù)：
本領(lǐng)域中已知用于確定人的凝視的方向以及此人正在看什么的各種類型的眼睛跟蹤、或凝視跟蹤系統(tǒng)。作為示例，這些系統(tǒng)被用于人類工程和醫(yī)學研究、診斷以及使人們與計算機對接、或者計算機生成的人工環(huán)境。一般而言，這些系統(tǒng)用于確定個人的瞳孔的位置，以及該個人正沿其注視的凝視方向，其被定義為“凝視向量”的方向，該方向沿著從眼睛的轉(zhuǎn)動中心通過所定位的瞳孔的中心的線從眼睛延伸出。三維(3D)空間中的眼睛的位置被確定并被用來確定凝視向量所穿過的空間區(qū)域的坐標。所確定的區(qū)域的坐標(在下文中被稱為向量的“原點”)在空間中定位凝視向量。給定凝視向量的方向和原點，其與人的環(huán)境中的區(qū)域或?qū)ο蟮慕徊纥c被標識以確定此人正在注視著什么——其大概就是此人的注意力所指向的關(guān)注點。在下文中，POR被假定為與人的凝視方向同此人的環(huán)境中的對象或區(qū)域的交叉點相重合，并且被用來指代此交叉點、對象和/或區(qū)域。在下文中稱為“凝視跟蹤器”的凝視跟蹤系統(tǒng)，提供了人的凝視向量的方向和原點兩者，并且任選地提供此人的P0R。存在用于確定凝視向量的方向的侵入式及非侵式入方法和凝視跟蹤器。在一些侵入式凝視跟蹤器中，個人佩戴特殊的隱形眼鏡，該特殊的隱形眼鏡包括隨著眼睛和瞳孔移動的感應微線圈。高頻電磁場被用來跟蹤微線圈的定向以及由此跟蹤該個人的眼睛以及凝視方向。在一些侵入式凝視跟蹤器中，個人裝配有電極，該電極感測眼睛生成的偶極電場的定向中的變化以確定凝視的方向。非侵入式凝視跟蹤器和跟蹤方法常常對來自眼睛的不同結(jié)構(gòu)的表面的光的反射(稱為“Purkinje (薄暮現(xiàn)象)反射”)進行成像，并處理這些反射的圖像以確定其相對運動，以及據(jù)此的個人的凝視的方向的變化。凝視方向的變化被稱為參考凝視方向，用來確定個人的凝視方向。第一、第二、第三和第四Purkinje反射分別指來自角膜的前表面、來自角膜的背表面、來自晶狀體的前表面、和來自晶狀體的背表面的反射。對于給定的靜態(tài)光源，來自角膜的前表面的反射(即第一 Purkinje反射)是最強的，且按照慣例被稱為“閃爍(glint)”。閃爍的圖像的位置相對獨立于中等眼睛轉(zhuǎn)動(眼睛轉(zhuǎn)動達大致士 15° )的凝視方向以及頭部的固定位置。閃爍的圖像的位置通常被用來參考眼睛的特征的圖像和/或其他Purkinje反射的運動，以確定個人的凝視方向的變化。在許多非侵入式凝視跟蹤器中，瞳孔的圖像的位置相對于閃爍的圖像的位置的變化被用來確定凝視方向。在一些非侵入式凝視跟蹤器中，來自視網(wǎng)膜的光的反射(其常常不被分類為Purkinje反射)被用來對瞳孔成像以及跟蹤眼睛運動和凝視方向。視網(wǎng)膜像向后反射器那樣起作用，且進入瞳孔并被視網(wǎng)膜反射的光沿其進入眼睛的方向退出瞳孔并從背后照亮瞳孔。瞳孔的視網(wǎng)膜逆光產(chǎn)生熟悉的“光眼”或“紅眼”效應，這常常在用閃光燈獲取的個人的面部的圖像中看到。個人的光眼瞳孔圖像是由相機通過使用從與相機的光軸基本上相重合的方向?qū)€人的面部進行照明的光源來獲取的。相對于圖像中的閃爍的位置跟蹤圖像中光眼瞳孔的位置，以確定個人的凝視方向。光眼瞳孔圖像不是由離軸光源產(chǎn)生的，并且對于離軸光源，所成像的瞳孔看起來是暗的。在許多非侵入式凝視跟蹤器中，將“暗瞳孔圖像”的位置與閃爍的圖像的位置進行比較以確定凝視的方向。對于凝視跟蹤器的許多應用，要求個人的頭部相對于凝視跟蹤器的組件是穩(wěn)定的，以使得其可提供對凝視向量的方向和原點的可接受的準確的確定，以及據(jù)此確定此個人的P0R。對于一些凝視跟蹤器，個人的頭部由靜態(tài)支撐物(諸如在眼科檢查中常常使用的腮托或咬桿)保持穩(wěn)定，以相對于凝視跟蹤器的組件固定頭部和眼睛。對于諸如使用戶與虛擬或增強現(xiàn)實對接之類的應用，個人能夠自由地移動他或她的頭部是有益的，并且對于這些應用，個人通常佩戴包括凝視跟蹤器組件的帽盔(諸如頭盔或護目鏡)。帽盔將凝視跟蹤器保持在相對于個人的頭部基本上固定的位置處，并且提供眼睛相對于組件的固定、已知的距離和定向。已知的距離和定向有助于確定個人相對于帽盔的凝視向量方向和原點。相對于真實世界、虛擬或增強現(xiàn)實的凝視向量方向和原點是根據(jù)相對于帽盔的凝視方向和原點以及現(xiàn)實世界中帽盔的定向來確定的。帽盔的定向是使用各種光學、電磁和/或機械位置和定向傳感器系統(tǒng)中的任一個來確定的。一些凝視跟蹤器在沒有求助所佩戴的帽盔的情況下，提供凝視向量的方向和原點以及個人的P0R。然而，這些凝視跟蹤器通常是針對被限制于距凝視跟蹤器大致50cm與大致80cm之間的相對小的距離范圍的頭部位置來操作的。

發(fā)明內(nèi)容
本發(fā)明的實施例提供了三維(3D)凝視跟蹤器，其確定不受帽盔妨礙并享受在凝視跟蹤器的視野(FOV)中的運動自由的個人的凝視向量，該視野具有從跟蹤器延伸相對較大的距離的場深度。任選地，凝視跟蹤器確定其所確定的凝視向量的P0R。在本發(fā)明的實施例中，3D凝視跟蹤器包括3D相機，其獲取個人的距離圖像(range image)，該距離圖像提供個人的臉部和/或頭部的特征的3D空間坐標；以及在下文中被稱為“圖片相機”的相機，其獲取特征的對比度圖像(在下文中被稱為“圖片”)。處理器處理對比度圖像和距離圖像，以區(qū)分個人的眼睛以及眼睛的特征(例如，眼睛的瞳孔和/或明亮或暗色瞳孔)以及臉部和/或頭部的特征(諸如，鼻子、下巴和/或前額)，并確定特征的3D空間坐標。響應于所區(qū)分的特征及其3D空間坐標，處理器提供個人的凝視向量的方向和原點，以及任選地與凝視向量相關(guān)聯(lián)的P0R。任選地，3D相機包括被配置成提供FOV中的距離圖像的飛行時間(TOF) 3D相機，該FOV從凝視跟蹤器延伸至少Im(米)與: 之間的距離。任選地，F(xiàn)OV從凝視跟蹤器延伸等于大致30cm的距離。提供本發(fā)明內(nèi)容以便以簡化的形式介紹將在以下具體實施方式
中進一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標識所要求保護主題的關(guān)鍵特征或必要特征，也不旨在用于限制所要求保護主題的范圍。


以下參考本文所附的在本段后列出的各個附圖來描述本發(fā)明的各實施例的非限制性示例。在不止一個附圖中出現(xiàn)的相同的結(jié)構(gòu)、元素或部件通常在它們出現(xiàn)的所有圖中用相同的數(shù)字來標記。附圖中所示的組件的尺寸和特征通常是為了方便和清楚呈現(xiàn)而選擇的，并且不一定按比例顯示。圖1示意性地示出了根據(jù)本發(fā)明的實施例的包括確定個人的凝視向量和POR的TOF 3D相機的3D凝視跟蹤器；圖2A-2C示意性示出了根據(jù)本發(fā)明的實施例的可被3D凝視跟蹤器使用的作為凝視角的函數(shù)的眼睛的瞳孔與閃爍之間的關(guān)系。圖3A-3C示意性示出了關(guān)于凝視方向的確定的頭部定向的各方面；圖4示意性地示出了根據(jù)本發(fā)明的實施例的將光集中到個人的頭部以獲取距離圖像和圖片以便確定該個人的凝視方向和POR的3D凝視跟蹤器；圖5示意性示出了根據(jù)本發(fā)明的實施例的響應于眼睛距凝視跟蹤器的距離確定眼睛的凝視向量的原點及其相關(guān)聯(lián)的POR的各方面；以及圖6示意性地示出了根據(jù)本發(fā)明的實施例的包括確定個人的凝視向量和POR的立體3D相機的3D凝視跟蹤器。
具體實施例方式在以下詳細描述中，本發(fā)明的實施例的各方面是參照圖1中示意性示出的根據(jù)本發(fā)明的實施例的3D凝視跟蹤器來討論的，該3D凝視跟蹤器包括TOF3D相機和圖片相機。參照圖2A-2C討論了根據(jù)本發(fā)明的實施例的響應于由3D凝視跟蹤器獲取的眼睛閃爍和瞳孔的圖像確定凝視方向的各方面。參照圖3A-3C例示并討論了根據(jù)本發(fā)明的實施例的頭部定向?qū)Υ_定凝視方向的影響，以及由3D凝視跟蹤器確定頭部定向和凝視方向的各方面。參照圖4討論了根據(jù)本發(fā)明的實施例的用光錐跟蹤個人以提供對該個人的增強的照明的3D凝視跟蹤器的變體。參照圖5討論了根據(jù)本發(fā)明的實施例的使用由3D凝視跟蹤器獲取的距離圖像來確定凝視向量原點。圖6示意性地示出了包括通過三角測量確定距離的立體3D成像器的3D凝視跟蹤器的實施例。在討論中，除非另行說明，修改本發(fā)明的實施例的特征的條件或關(guān)系特征的諸如“基本上”和“大約”的副詞應被理解為條件或特征被定義在用于本申請的實施例的操作可接受的容差范圍以內(nèi)。圖1示意性地示出了根據(jù)本發(fā)明的實施例的對個人22進行成像的3D凝視跟蹤器20，該個人的頭部落在3D凝視跟蹤器的視野(FOV) 30內(nèi)。凝視跟蹤器通過在個人在FOV中四處移動以及參與活動時確定他或她的凝視向量和POR來跟蹤該個人的凝視。虛線61表示3D凝視跟蹤器的光軸，而虛線32、34和36勾勒出限定FOV 30的體積的截頭錐體。FOV具有從3D凝視跟蹤器20延伸的場深度，其具有由虛線32所定義的平面的位置示意性地指示的最小下邊界范圍，以及由虛擬36所定義的平面的位置示意性指示的最大上邊界范圍。在本發(fā)明的一些實施例中，下邊界等于或大于大致30cm。任選地，下邊界等于或大于大致50cm。在本發(fā)明的一些實施例中，上邊界等于或大于大致lm。任選地，上邊界等于或大于大致an。在本發(fā)明的一些實施例中，上邊界等于大致:3m。3D凝視跟蹤器20的視角是處于FOV 30中的線與通過光軸61的平面之間的最大可能的角。水平和垂直視角是分別包含光軸61的水平(與地面平行)和垂直(與地面垂直)平面的視角。在本發(fā)明的一些實施例中，水平和垂直視角中的至少一個等于或大于大致45°。任選地，視角中的至少一個等于或大于90°。在本發(fā)明的一些實施例中，視角中的至少一個等于大致120°或150°。作為示例，3D凝視跟蹤器20被假定為跟蹤個人的凝視以使該個人與計算機(未示出)視頻顯示器40對接。圖1中的框形箭頭示意性地表示個人的凝視向量，而虛線43將它們的方向指示為收斂至視頻顯示器40的左下角處的POR 44?？刂破鱉控制3D凝視跟蹤器20，并且通過合適的計算機編程接口(API)與視頻顯示計算機對接，以使得由3D凝視跟蹤器生成的信息適于顯示在視頻顯示器40上的圖像。3D凝視跟蹤器任選地包括光源50，該光源可由控制器M控制來發(fā)射一列光脈沖51 (由用附圖標記52表示的方波“脈沖”示意性地表示)，以對F0V30中的對象和人們(并且在圖1中，作為示例是個人22)進行照明。附圖標記52被用來指代光脈沖。雖然光脈沖52可包括由合適的發(fā)光二極管(LED)和/或激光提供的來自光譜的任意部分的光，但是光脈沖通常是視力安全的近紅外(NIR)光脈沖。被包括在3D凝視跟蹤器20中的(由具有與光軸61重合的光軸的透鏡60表示的)光學系統(tǒng)收集來自光脈沖52的被個人22的特征反射回3D凝視跟蹤器的光，并將所收集的光定向到光束分裂器62。光束分裂器62從透鏡60處接收到的光由框形箭頭64來示意性地表示，并且附圖標記64被用來指代光。光束分裂器62任選地將其從透鏡60處接收到的光的一半定向到具有光敏像素72的光電傳感器70——在下文中稱為“距離光電傳感器70”(圖1A)。光束分裂器62定向到距離光電傳感器70的光由框形箭頭74來表示，并且附圖標記74被用來指代光。光電傳感器70以快門方式打開或關(guān)閉以分別使得其能記錄光74或阻止其記錄光。任選地，如圖1中示意性示出的，快門操作是通過位于光束分裂器62與光電傳感器70之間的快門76來實現(xiàn)的，該快門由控制器M來控制以阻止或使得由光束分裂器62朝光電傳感器定向的光74傳播至光電傳感器。在一些實施例中，打開或關(guān)閉光電傳感器分別實現(xiàn)對光電傳感器進行快門打開和快門關(guān)閉。在自光源50輻射光脈沖列中的每個光脈沖52來對個人22進行照明之時起的預定時延之后，控制器M控制快門76來在短曝光時段內(nèi)對光電傳感器70進行快門打開。在曝光時段抵達3D凝視跟蹤器20的光74是由快門76傳送的，并且被成像到光電傳感器70以便由光電傳感器中的像素72來記錄。在短曝光時段期間由給定像素72記錄的光74的量是由像素上成像的特征從光脈沖反射并由光束分裂器62朝光電傳感器70定向的光74的總量的一部分。該量是該特征距3D凝視跟蹤器20的距離的函數(shù)。被像素72所記錄的由個人22的特征從光脈沖列51中的光脈沖反射的光的量提供該個人的距離圖像。控制器M使用由像素記錄的光的量來確定來自光脈沖52的光從光源50傳播到在像素上分別成像的個人的各特征并返回到3D凝視跟蹤器20的往返行程要花多久。控制器根據(jù)光速和往返行程時間來確定特征距3D凝視跟蹤器的距離。由個人22的特征反射的、被光學透鏡60收集并且不被光束分裂器62定向到光電傳感器70的光被光束分裂器定向到具有像素82的光電傳感器80(在下文中被稱為“圖片光電傳感器80”)?？蛐渭^84示意性地表示被光束分裂器62定向到圖片光電傳感器80的光，并且附圖標記84被用來指代光。任選地，位于光束分裂器62與光電傳感器80之間的快門84對光電傳感器進行快門操作。然而，與3D光電傳感器70不同，對光電傳感器80進行快門打開達相對長的曝光時段，長至足以使從脈沖52反射的被3D凝視跟蹤器20收集并被光束分裂器62定向到圖片光電傳感器80的基本上的所有的光被該光電傳感器記錄。圖片光電傳感器80由此提供個人22的對比度圖像88 (在下文中也被稱為“圖片88”)——類似于由相機捕獲的常規(guī)圖片。雖然，一般而言，在光電傳感器80上成像的個人22的圖片包括個人的頭部以及在該個人的接近鄰近區(qū)中的對象和可能的其他人的圖片，但是出于呈現(xiàn)方便起見，在圖片88中僅示出個人22的眼睛100?？刂破鱉使用各種模式識別算法中的任一種來處理圖片88，以標識和定位圖片中眼睛100的圖像，以及標識眼睛的可用于確定與該眼睛相關(guān)聯(lián)的凝視向量42的方向的至少一個特征。至少一個眼睛特征包括瞳孔、虹膜、虹膜與鞏膜之間的邊界、以及由眼睛反射掉的光生成的閃爍中的至少一個。由3D凝視跟蹤器20成像在光電傳感器80上的眼睛100的放大圖像在圖1中的插圖110中示意性地示出。就插頁中的眼睛示意性地示出閃爍101、瞳孔102、虹膜、鞏膜104、以及虹膜與鞏膜之間的邊界105。響應于至少一個所標識的眼睛特征，控制器M確定眼睛的凝視向量的方向。作為示例，在本發(fā)明的實施例中，控制器對根據(jù)圖片88中眼睛100的圖像里的閃爍101和瞳孔102的位置確定個人22的眼睛100的凝視向量方向。圖2A-2C示意性示出了眼睛100的各特征之間的關(guān)系，其可被用在本發(fā)明的實施例中用來響應于眼睛的閃爍101和瞳孔102的圖像確定個人22的凝視方向。圖2A和2B示出了眼睛100的示意性圓形截面120，其被假定為一球體，該球體具有表面121、轉(zhuǎn)動中心124、虹膜103以及具有位于與轉(zhuǎn)動中心1 相距距離“dp”處的中心122的瞳孔102。雖然眼睛并非是完美的球體，而是在角膜的位置處具有凸出的略微的卵形，但是將眼睛建模為球體提供了對確定凝視方向的各方面的定性和定量的洞察。典型地，眼睛具有等于大致24mm(毫米)的直徑，而Clp等于大致10mm。在圖2A和2B中，包括透鏡131和光電傳感器132的相機130被示出對眼睛100進行成像。對眼睛100進行成像的相機130的功能模擬3D凝視跟蹤器20中的透鏡60和圖片光敏面80對個人22的眼睛100的成像。可應用于相機130的成像原理也適用于3D凝視跟蹤器20對眼睛的成像。在圖2A中，作為示例，眼睛100的轉(zhuǎn)動中心1 被假定為沿著相機130的光軸135定位，并且眼睛被假定為由框形箭頭136所表示的光進行照明，該框形箭頭與光軸同軸。光被眼睛100的表面121反射以在光軸與眼睛表面的交叉點123處生成閃爍101。閃爍被成像在光電傳感器132上，并且閃爍圖像的中心位于光軸135與光電傳感器的交叉點137處。交叉點137處的圓圈138示意性地表示閃爍101的圖像。在該附圖中，眼睛100的凝視被假定為沿光軸135朝相機130定向。結(jié)果，瞳孔102與閃爍101對齊，并且瞳孔的中心122位于光軸135上。瞳孔102被成像在光電傳感器132上，并且瞳孔圖像的中心位于交叉點137處且與閃爍101的圖像138的中心重合。瞳孔102的圖像由實心圓140來示意性地表示，該實心圓140位于表示閃爍101的圖像的圓138的左邊。
圖2B示意性示出了如圖2A中那樣被成像的眼睛100，但是眼睛及其凝視方向向上“轉(zhuǎn)動”角度θ。結(jié)果，雖然閃爍101未移動，但是瞳孔102不再沿著光軸135與閃爍101對準。瞳孔102的中心122位于與光軸1；35相距距離Δ = dpsin θ之處，而瞳孔102的中心的圖像140不再位于交叉點137處且不再與閃爍101的中心重合。如果相機的放大倍率由“Μ”來表示，則閃爍101和瞳孔102的圖像138和140的中心相隔距離Δ I = ΜΔ = MdpSin θ。眼睛100的凝視方向θ可根據(jù)關(guān)系sin θ = (A1/Mdp)來確定。實際上，瞳孔和閃爍的圖像通常不是理想的圓形，并且通常A1被確定為瞳孔和閃爍的圖像的質(zhì)心之間的距離。圖2C示出了眼睛100的示意圖像150，并且在每個圖像中就眼睛繞通過眼睛的轉(zhuǎn)動中心1 的不同的軸轉(zhuǎn)動角度θ示出了由相機130(圖2Α和2Β)獲取的眼睛的閃爍101、瞳孔102、虹膜103、和鞏膜104的圖像。所有圖像與轉(zhuǎn)動中心1 沿光軸135的相同位置(圖2A和2B)相關(guān)聯(lián)。中心圖像151與針對圖2A中所示的眼睛的定向所獲取的眼睛100的圖像相對應，就中心圖像151而言，沒有眼睛的轉(zhuǎn)動(Θ =0)，且閃爍101沿光軸135與瞳孔102對準。其他眼睛圖像150中的每一個與轉(zhuǎn)動軸160相關(guān)聯(lián)，圖像中的眼睛以及眼睛的凝視的方向繞著該軸轉(zhuǎn)動相同的角度Θ。轉(zhuǎn)動軸穿過眼睛的轉(zhuǎn)動中心124(圖2A和2B)，與圖2C的平面平行，并且與指示眼睛繞著該軸轉(zhuǎn)動的方向的圓形箭頭161相關(guān)聯(lián)。眼睛的每個圖像150的凝視相對于中心圖像151的沿光軸135(圖2A和2B)的凝視方向的方向由框形箭頭163來示意性地指示。對于眼睛100的每個不同的轉(zhuǎn)動及其相關(guān)聯(lián)的凝視方向，閃爍101和瞳孔102的定向是不同的，并且閃爍與瞳孔的中心之間的定向和距離可被用來確定個人22的凝視方向。注意，本發(fā)明的實施例不限于根據(jù)以上的討論確定凝視方向。例如，一實施例可通過處理他或她的眼睛的圖像來確定其虹膜的中心或質(zhì)心而非瞳孔的中心或質(zhì)心來確定個人的凝視方向。該實施例可使用虹膜的中心或質(zhì)心相對于閃爍的質(zhì)心或中心的位置來確定凝視方向。在一些實施例中，從眼睛的圖像中被確定為屬于眼睛的鞏膜(由圖1和2C中的附圖標記104來指代)的區(qū)域相對于被確定為屬于虹膜的區(qū)域的分布來確定眼睛的凝視方向。在一些實施例中，Purkinje反射的相對運動——具體地是閃爍和第四Purkinje反射(其為來自眼睛晶狀體的背部的反射)——被用來確定凝視方向。圖2A-2C以及以上附圖的描述提供了用于從閃爍和瞳孔的圖像來確定凝視方向的方法的極簡化的說明。實際上，根據(jù)瞳孔和閃爍的圖像確定眼睛方向包括計及頭部運動、不同個體的眼睛結(jié)構(gòu)中的差異、以及有利的，用眼睛凝視方向校準眼睛的圖像。在圖3A-圖3C中針對簡化的環(huán)境集合示出了頭部定向?qū)δ暦较虻挠绊懸约皟H響應于眼睛的瞳孔和閃爍的相對位置確定凝視方向的局限性。所有附圖非常示意性地(在附圖的左側(cè))示出了對個人22進行成像以獲取個人的眼睛100的圖片的相機130的透視圖，所獲取的圖片用來響應于這些圖片中的閃爍101和瞳孔102相對位置來確定他或她的凝視方向。圖3AJB和3C中的箭頭170從附圖中的示意性透視圖分別指向由相機130捕獲的個人的示意圖片171、172和173。在圖;3B中，相機130被假定為在個人22的正前方，且其光軸135與該個人的鼻子對準并指向該個人的鼻子。該個人沿著由框形箭頭182所指示的方向略微朝上看。在由相
9機130獲取的個人的圖片172中，閃爍101因此在瞳孔102正下方。閃爍和瞳孔的相對位置指示個人與相機的對準，以及個人的凝視的略微朝上的方向。在圖3A中，相機130和個人22的相對位置的僅有的改變在于該個人的頭部在由圓形箭頭174所指示的方向上繞著穿過瞳孔102的中心以及閃爍101的中心的軸175順時針方向轉(zhuǎn)動。結(jié)果，該個人沿著框形箭頭181所指示的方向看，框形箭頭181相對于由圖;3B中的框形箭頭182指示的凝視方向轉(zhuǎn)動了。然而，雖然圖3A中的個人的凝視方向不同于圖3B中的，但是圖3A中的個人的圖片171中的瞳孔102和閃爍101的相對位置與圖中的那些相同。相對位置是相同的，因為頭部繞著通過瞳孔和閃爍的軸轉(zhuǎn)動。在圖3C中，相機130和個人22的位置相對于它們在圖中的位置的僅有的改變在于個人的頭部在由圓形箭頭176指示的方向上繞著逆時針轉(zhuǎn)動與圖3A中的轉(zhuǎn)動角度在量值上相同-但在方向上相反的角度。框形箭頭183指示圖3C中的個人22的凝視方向。雖然由框形箭頭183所指示的凝視方向不同于由框形箭頭181和182指示的凝視方向，但是圖片173中瞳孔102相對于閃爍101的位置與圖片171和172中的相同。對于圖3A-3C的討論中所述的條件，附圖171、172和173中的閃爍101和瞳孔102的圖像不區(qū)分由框形箭頭181、182和183表示的凝視方向。在沒有附加信息的情況下，諸如圖3A-3C中的個人的頭部的定向，由相機獲取的閃爍101和瞳孔102自身不消除由框形箭頭所指示的凝視方向的歧義。圖片171、173和174中的個人的特征的圖像(例如，鼻子的方向的圖像)可提供能用來確定個人的頭部的方向以及區(qū)分凝視方向的附加信息。在本發(fā)明的實施例中，控制器M處理由距離光電傳感器70獲取的距離圖像和/或圖1中所示的由圖片光電傳感器80獲取的個人22的圖片，以確定用來確定個人的凝視方向的個人22的頭部定向。例如，在本發(fā)明的實施例中，控制器處理個人22的距離圖像以確定個人的頭部的特征(在下文中被稱為“基準特征”)距3D凝視跟蹤器的距離，其可被有益地用來指示頭部的定向?；鶞侍卣骺砂娌刻卣?，諸如前額、眼睛、鼻尖、嘴唇和下巴、以及耳朵。個人22的眼睛和/或顴骨、和/或耳朵與3D凝視跟蹤器的距離可被用來確定個人的頭部的方位角。方位角是在個人連其頭部豎直站立時繞著通過個人的頭部的與地面垂直的軸的角?？身憫?D凝視跟蹤器20與個人的前額和下巴的距離來確定頭部繞著通過耳朵的軸的傾斜角(該軸在個人豎直站立時與地面平行)。在本發(fā)明的實施例中，響應于由圖片光電傳感器80(圖1)獲取的圖片中的他們的圖像來標識基準特征。與在圖片光電傳感器中的像素82上成像的基準特征的距離是根據(jù)距離光電傳感器70中由來自基準特征的光在其上成像的相應的像素72所提供的距離來確定的。為了便于確定距離光電傳感器70中的像素72與圖片光電傳感器80中的像素82的對應性，任選地，光電傳感器被配置成具有相等大小的像素，且被定位并安裝到3D凝視跟蹤器20中以使得類似的像素對FOV 30中相同的區(qū)域進行成像。在本發(fā)明的一些實施例中，像素72和82可具有不同的大小。例如，一般而言，光源52中的光的強度受到成本考慮因素以及用于使光源50 (圖1)和3D凝視跟蹤器20的組件保持在可接受的操作溫度的散熱需求的限制。另外，光脈沖的持續(xù)時間和由快門76提供的曝光時段相對較短，并且可短于10或20納秒。由個人22反射的來自光源50的可供距離光電傳感器70的每個像素72用來獲取個人的距離圖像的光的量可由此被限制。結(jié)果，對于距離光電傳感器70中用于記錄足以提供具有可接受的信噪比(SNR)的光的量的像素72，使像素相對較大是有益的。因此，在本發(fā)明的實施例中，通常為方形的像素72可有益地具有大于大致10 μ (微米)的側(cè)邊尺寸。另一方面，由于光電傳感器80的曝光時段可以比光電傳感器70的曝光時段至少長三倍，因此與在距離光電傳感器70上對個人進行成像相比，一般更多的光可用于在圖片光電傳感器80上對個人進行成像。為了解決眼睛的閃爍和瞳孔之間的距離，光電傳感器80中的像素82由此可有益地相對較小。一般而言，只要眼睛轉(zhuǎn)動且閃爍被局限在角膜，則眼睛每轉(zhuǎn)動一度，眼睛的閃爍與瞳孔之間的距離的最大變化為大致0.17mm。例如，對于個人的凝視的方向的角度θ變化1°，圖2Β中相對于附圖中的光軸135的距離Δ變化達大致0. 17mm。如果3D凝視跟蹤器20在圖片光電傳感器80上以大致10_2的放大倍率對個人22進行成像，則為了解決響應于瞳孔102與閃爍101之間的距離變化的θ的大致2°的變化，圖片光電傳感器中的像素72在側(cè)邊上有益地小于或等于大致2. 5 μ。在像素72和82大小不同的一些實施例中，距離和圖片光電傳感器70和80被對準以使得這兩個光電傳感器的一個中的較大的像素與這兩個光電傳感器的另一個中的較小的像素的瓦片(tile)基本上類似，并且對FOV 30中其類似的瓦片所成像的相同區(qū)域進行成像。例如，在距離光電傳感器70中的像素72沿著側(cè)邊為10μ而圖片光電傳感器80中的像素82沿著側(cè)邊為2. 5的本發(fā)明實施例中，距離光電傳感器70中的較大的像素72可與圖片光電傳感器80中包括16個小的2. 5 μ的像素82的方形瓦片相類似。在用于適應在距離光電傳感器70和圖片光電傳感器80上成像的不同需求和約束的本發(fā)明的一些實施例中，3D凝視跟蹤器包括用于獨立于彼此調(diào)節(jié)在光電傳感器上成像的放大倍率的光學器件。例如，本發(fā)明的實施例可包括光學元件，諸如位于光束分裂器62與圖片光電傳感器80之間的變焦透鏡光學器件(未示出)，控制器M控制該變焦透鏡光學器件來調(diào)節(jié)在圖片光電傳感器上形成的個人22的圖像的放大倍率。對于其中個人22遠離3D凝視跟蹤器20的情形中，控制器任選地控制變焦透鏡光學器件來對個人放大，并擴大眼睛100的圖像以及圖像中閃爍101與瞳孔102之間的距離。增大的放大倍率改進閃爍與瞳孔之間的距離的準確度，以及由此確定凝視方向。在本發(fā)明的實施例中，控制器M響應于由距離光電傳感器70所獲取的距離圖像提供的至個人22的距離來控制圖片光電傳感器80上的圖像的放大倍率，并且隨著由距離光電傳感器獲取的圖像指示個人22與3D凝視跟蹤器20的距離相應地增大和減小來增大和減小放大倍率。在本發(fā)明的一些實施例中，控制器M響應于由距離光電傳感器70提供的距離測量來控制光脈沖52中的光的強度。隨著個人22遠離或靠近3D凝視跟蹤器20地移動，控制器相應地增大和減小光脈沖52中的光的強度。根據(jù)距離來調(diào)節(jié)光強度可改善使用來自光源50的光的效率。對于由光源50傳送的恒定的光的強度，由像素72提供的用于確定個人22的特征的距離的信號的SNR與個人距3D凝視跟蹤器20的距離的平方成反比。隨著距離增大照明可至少部分地補償隨著個人遠離3D凝視跟蹤器20移動的個人22的照明的強度的減小。
在本發(fā)明的一些實施例中，光源50可被控制來將光脈沖52定向至具有所需方向和立體角的錐體(在下文中稱為“照明錐體”)，以將光集中到FOV 30中的有限區(qū)域，并改善來自光源的光被用來照明個人22的效率。在本發(fā)明的實施例中，控制器M響應于根據(jù)由距離光電傳感器70和/或圖片光電傳感器80獲取的圖像確定的FOV 30中個人22的面部和頭部的位置來控制錐體的方向和立體角，以將光集中在個人的面部或其一部分。通過對FOV 30中包含個人22的頭部或頭部的一部分(諸如包含眼睛的一部分)的有限區(qū)域進行照明，可用于對頭部和/或眼睛進行成像的光的強度可被增加，并且凝視向量確定的準確度得以改進。圖4示意性示出了根據(jù)本發(fā)明的實施例的類似于圖1中所示的3D凝視跟蹤器20的3D凝視跟蹤器320，其生成照明錐體322(用陰影示出)并將其定向成把光集中到FOV 30的有限部分，以對個人22的頭部和面部進行照明。照明錐體322的一部分由從光源50延伸至虛線3M所勾勒的任選的方形照明區(qū)域“A”的角落的虛線323來勾勒出。區(qū)域A是由來自光脈沖52的光照明的區(qū)域，并且被假定為位于個人22與3D凝視跟蹤器320相距距離D之處。區(qū)域A根據(jù)表達式Ω = A/D2來確定照明錐體322的立體角Ω。A任選地獨立于D，并且任選的，對于FOV 30內(nèi)的個人22的任何距離D而言，是恒定的。A任選地被確定成使得在3D凝視跟蹤器20獲取個人22的圖像要花費的時間內(nèi)，該個人通常不能沿著照明錐體的中心軸(未示出)足夠快地移動他或她的頭部來將頭部移出照明錐體 322。任選地，區(qū)域A是側(cè)邊長度等于50cm的方形區(qū)域。假定個人22的圖像由3D凝視跟蹤器20以每秒30幅圖像的視頻速率來獲取，3D凝視跟蹤器獲取圖像需要大致30ms (毫秒)。在30ms內(nèi)，以每小時10km(千米)移動的個人移動大致10cm。50cmx50cm的方形照明區(qū)域A由此通常足以定義可被定向成跟蹤和提供對在FOV 30中移動的個人的有益的照明的光錐。各種設備和方法中的任一個可被用在本發(fā)明的實施例的實踐中，用以生成和控制照明錐體322的方向和立體角。例如，光源可包括可控制成反射并定向由光源提供到錐體322的光的微型鏡面陣列。任選地，光源包括透鏡系統(tǒng)(例如，具有位于光源的光發(fā)射元件處的焦點的變焦透鏡系統(tǒng))，用于控制照明錐體322的立體角。在本發(fā)明的一些實施例中，光源包括轉(zhuǎn)動光源以定向照明錐體322來使個人22保持在照明錐體內(nèi)的機械系統(tǒng)。在本發(fā)明的一些實施例中，不同的光源可被打開或關(guān)閉，以使得在個人22于FOV 30中四處移動時該個人保持在較小角度的照明錐體內(nèi)。除了個人直接注視著對該個人成像的相機的稀少且通常無趣的情形之外，凝視方向自身不足以定義個人的凝視向量以及從其確定P0R。對于大多數(shù)情形，在空間上定位凝視向量以及確定該凝視向量的POR需要凝視向量的原點的三個空間坐標(例如，笛卡兒坐標系統(tǒng)的χ、y和ζ坐標)。在本發(fā)明的一實施例中，由距離光電傳感器70獲取的個人(諸如，3D凝視跟蹤器20的FOV 30中的個人22)的距離圖像和/或由圖片光電傳感器80提供的個人的圖片由控制器M來處理，以提供個人的凝視向量的原點的3D空間坐標。具體而言，響應于由距離光電傳感器70獲取的距離圖像確定的與3D凝視跟蹤器的距離被用來提供原點的ζ坐標。ζ坐標被任選地假定為沿W笛卡兒坐標系統(tǒng)的ζ軸測量的坐標，該系統(tǒng)的ζ軸與3D凝視跟蹤器20的光軸61 (圖1)平行。雖然個人的眼睛的三個空間坐標通常可根據(jù)對由相機獲取的個人的圖片的圖像分析來估計，此類估計對于距相機的有限距離范圍通常是實用的，并且通常與相對較大的誤差余量相關(guān)聯(lián)。TOF 3D相機(諸如3D凝視跟蹤器20中的距離光電傳感器70以及相關(guān)聯(lián)的光學器件)可提供具有相對較小的誤差余量的空間坐標(并且具體而言，距3D相機的距離的坐標以及由此的眼睛相對于相機的ζ坐標)。圖5示意性示出了極其簡化的配置，其示出了確定個人的眼睛與對個人成像的相機(未示出)的距離時的不確定性如何在從為眼睛確定的凝視向量標識個人的POR時生成不確定性。該附圖示出了在距視頻顯示器40的三個不同的距離處的不同的共線位置(由證示線201、202和203指示)處的眼睛(由橢圓形100示意性地表示)。位置被任意地定義成眼睛的轉(zhuǎn)動中心124的位置，且位于與視頻顯示器垂直的同一條線(稱為“ζ軸”)上。由證示線指示的位置由標記證示線的附圖標記201、202和203來指代，而眼睛由標記表示眼睛的橢圓形的附圖標記100來指代。眼睛與對該眼睛進行成像的相機的距離被假定為與眼睛同視頻顯示器40的距離相同。在每個位置201、202和203處，眼睛分別具有凝視向量221、222和223。每個凝視向量221,222和223分別沿從眼睛的轉(zhuǎn)動中心124穿過其瞳孔102的中心的虛線251,252和253延伸。所有凝視向量與ζ軸形成相同的傾斜角Θ。凝視向量221、222和223分別在相交點231、232和233處與視頻屏幕40相交，其中與凝視向量相關(guān)聯(lián)的虛線251、252和253與視頻屏幕相交。相交點231、232和233表示視頻顯示器40上的POR的位置，這些位置是分別根據(jù)凝視向量221、222和223來確定的。眼睛被假定為實際上位于“中間，，位置202處，并且相交點232，即，與眼睛相關(guān)聯(lián)的凝視向量222的實際P0R，位于中間位置處。位置201和203分別表示眼睛的ζ坐標的下邊界估計和上邊界估計，該ζ坐標可以是由對針對眼睛進行成像的圖片的圖像分析來合理地得到的。位置201與203之間的距離“ Δ Ζ”表示從圖像分析確定的眼睛的ζ坐標的不確定性。實際POR所處位置的伴生不確定性由視頻顯示器40上的相交點231與233之間的“不確定性距離(DOU)，，236來表示。由沿ζ軸的證示線241和242指示的ζ坐標通過附圖標記241和242來指代，并且分別表示由TOF 3D相機確定的眼睛的ζ坐標中的合理的上和下誤差邊界。作為示例，證示線241和242可表示包括光源50、距離光電傳感器70以及3D凝視跟蹤器20中的相關(guān)聯(lián)的光學元件的TOF 3D相機的ζ坐標下和上誤差邊界。Z坐標241與242之間的距離“ Δ Ζ*”表示由TOF相機確定的眼睛的ζ坐標的不確定性。如果眼睛100位于241處，則假定其凝視向量(未示出)沿著相對于ζ軸以角度θ從點241延伸的虛線257展開。眼睛將被確定為具有位于虛線257與視頻屏幕40的相交點247處的P0R。類似地，如果眼睛100位于位置242處，則其可被確定為具有位于虛線258與視頻屏幕40的相交點248處的P0R。不確定性生成相對應的DOU Μ4，其是相交點247與248之間的距離。由TOF 3D相機提供的DOU 244通常小于由圖像分析單獨提供的DOU 236。作為數(shù)值示例，假定個人的眼睛100位于距視頻顯示器40大致50cm的距離處，以及假定視頻顯示器具有大致60cm的對角線尺寸，以使得眼睛的凝視角度θ可常常
13大至30°。由圖像分析的個人的眼睛的ζ坐標的不確定性ΔΖ可被合理地假定為大致5cm((士2. 5cm)。不確定性導致眼睛的POR的位置的不確定性DOU 236，其可由表達式DOU236 = AZtan θ 來估計，對于 Δ Z = 5cm 且 θ = 30°，DOU 236 等于大致 3cm。另一方面，由TOF 3D相機確定的眼睛的ζ坐標的不確定性可被合理地假定為等于大致Icm(士0.5cm)，這導致對于θ =30°的POR的位置的不確定性DOU 244等于大致0. 6cm。例如，假定使用強度大于或等于大致50毫瓦且脈沖寬度在15到20ns之間的光脈沖對具有視角45°的FOV進行照明的TOF 3D相機在包括10 μ χ10 μ像素的光敏面上對FOV中的對象進行成像。相機通?？商峁┯删痛笾?. 5cm與3cm之間的距離測量而言ζ軸準確度等于大致Icm來表征的距離測量。在本發(fā)明的實施例中，為了校準圖1中所示的3D凝視跟蹤器20 (或圖4中的3D凝視跟蹤器320)，以及使3D凝視跟蹤器適應3D凝視跟蹤器的不同用戶的眼睛結(jié)構(gòu)和面部特征的差異，3D凝視跟蹤器以及視頻顯示器40上的顯示被控制以獲取用戶的校準圖像。在一實施例中，獲取用戶(諸如圖1中所示的個人22)的校準圖像包括針對FOV30中的多個不同“校準位置”中的每一個對個人進行成像。不同的校準位置的不同之處在于與凝視跟蹤器20的距離和/或FOV 30中的位置。對于每個校準位置，針對在個人的凝視被定向至的視頻顯示器40上呈現(xiàn)的多個不同的“校準P0R”的每一個獲取個人的距離圖像和圖片。任選地，對于多個校準位置，要求該個人將他或她的頭部保持在固定位置，并且僅移動眼睛來將凝視定向在不同的校準POR上。圖像被處理以針對校準位置和校準POR中的每一個提供個人的眼睛特征(諸如瞳孔、虹膜、鞏膜、閃爍和/或Purkinje反射)和/或基準特征的3D空間坐標。給定校準位置和POR的凝視向量任選地由視頻屏幕40上的給定校準位置和校準POR的位置的3D空間坐標來確定。眼睛特征和基準特征坐標以及相關(guān)聯(lián)的凝視向量作為合適的數(shù)據(jù)陣列中的參考數(shù)據(jù)來存儲。在本發(fā)明的實施例中，參考數(shù)據(jù)陣列被用來在個人在FOV 30中自由移動時確定個人22的凝視向量。在本發(fā)明的一些實施例中，為了確定個人22在FOV 30中在給定時間和位置的凝視向量，響應于參考數(shù)據(jù)陣列中的值，3D凝視跟蹤器20獲取該個人在該給定時間和位置的距離圖像和圖片。控制器M處理距離圖像和圖片以標識和確定個人的眼睛和基準特征的空間坐標。為了確定個人的頭部定向，控制器任選地確定基準特征的參考坐標的仿射變換，其根據(jù)諸如最小平方準則之類的最佳擬合準則最接近地再現(xiàn)針對基準特征確定的3D空間坐標。通過仿射變換對與參考坐標相關(guān)聯(lián)的頭部定向進行的變換提供頭部定向。相對于個人的頭部定向的凝視向量方向是響應于眼睛特征的坐標來確定的。任選地根據(jù)眼睛的空間坐標確定的頭部定向、凝視向量定向以及凝視向量原點定義凝視向量。在本發(fā)明的一些實施例中，控制器M響應于從距離圖像和圖片提供的個人的眼睛和基準特征的空間坐標來對參考數(shù)據(jù)值進行內(nèi)插，以確定個人22的凝視向量。在以上的討論中，3D凝視跟蹤器被示為包括TOF 3D相機，該TOF 3D相機雖然與圖片相機共享光學組件但與圖片相機分開。然而，本發(fā)明的實施例既不限于具有分開的距離和圖片相機的3D凝視跟蹤器，也不限于TOF 3D相機。在本發(fā)明的實施例中，3D凝視跟蹤器包括單個光電傳感器，其被用來獲取個人的距離圖像和個人的圖片兩者。對光電傳感器進行快門操作的快門被控制成在具有持續(xù)時間的曝光時段對光電傳感器進行快門打開以獲取個人的距離圖像，該持續(xù)時間不同于快門提供用于獲取個人的圖片的曝光時段的持續(xù)時間。并且，在本發(fā)明的實施例中，3D凝視跟蹤器包括立體3D成像器，其響應于由系統(tǒng)中的兩個在空間上分開的相機提供的特征的圖像展示的視差，確定距3D凝視跟蹤器的FOV中的個人的特征的距離。1圖6示意性示出了包括具有兩個在空間上分開的相機2M和255的立體3D成像器252的立體3D凝視跟蹤器250，該相機2M和255從不同的角度獲取3D凝視跟蹤器的FOV 256中的特征的圖片(對比度圖片)。立體3D凝視跟蹤器中的控制器257處理這些圖片以標識和定位眼睛和基準特征，并響應于距從其在這些圖片中展示的視差確定的特征的距離來對特征確定空間坐標。在本申請的說明書和權(quán)利要求書中，動詞“包括”、“包含”和“具有”及其組合中的每一個是用來指示該動詞的一個或多個賓語不一定是該動詞的一個或多個主語的組件、元素、或部分的完整列表。在本申請中作為示例提供了對本發(fā)明的各實施例的描述，而不旨在限制本發(fā)明的范圍。所描述的各實施例包括不同特征，并非所有這些特征都是本發(fā)明的所有實施例所需的。某些實施例只利用了特征的某一些或特征的可能組合。本領(lǐng)域的技術(shù)人員會想到所描述的本發(fā)明的各實施例的變型以及本發(fā)明的各實施例包括在所描述的各實施例中注明的特征的不同組合。本發(fā)明的范圍只由權(quán)利要求書來限定。
權(quán)利要求
1.一種用于為個人確定具有方向和原點的凝視向量0 的凝視跟蹤器(20)，所述凝視跟蹤器包括3D相機(70)，其獲取位于所述相機的視野(FOV) (30)中的個人的距離圖像；圖片相機(80)，其獲取所述3D相機的所述FOV (30)中的所述個人的圖片；以及控制器(M)，其處理所述距離圖像和所述圖片以確定所述個人的頭部和所述個人的眼睛的特征的空間坐標，以及確定所述眼睛的凝視向量的凝視方向和原點。
2.如權(quán)利要求1所述的凝視跟蹤器，其特征在于，所述FOV從所述凝視跟蹤器延伸等于或大于大致Im的距離。
3.如權(quán)利要求1或權(quán)利要求2所述的凝視跟蹤器，其特征在于，所述FOV從所述凝視跟蹤器延伸等于大致0. 3m的距離。
4.如權(quán)利要求1-3中的任一項所述的凝視跟蹤器，其特征在于，包括對所述FOV的至少一部分進行照明的光源(50)。
5.如權(quán)利要求4所述的凝視跟蹤器，其特征在于，所述控制器響應于由所述控制器確定的空間坐標來調(diào)節(jié)由所述光源提供的光的強度。
6.如權(quán)利要求4或權(quán)利要求5所述的凝視跟蹤器，其特征在于，所述控制器響應于由所述控制器確定的空間坐標來調(diào)節(jié)由所述光源提供的光的方向。
7.如在前權(quán)利要求中的任一項所述的凝視跟蹤器，其特征在于，所述特征包括所述個人的眼睛的至少一個特征，所述至少一個特征的空間坐標可被用來確定所述眼睛的凝視方向。
8.如在前權(quán)利要求中的任一項所述的凝視跟蹤器，其特征在于，所述特征包括所述個人的頭部的至少一個特征，所述至少一個特征的空間坐標可被用來確定所述頭部的定向。
9.如在前權(quán)利要求中的任一項所述的凝視跟蹤器，其特征在于，所述3D相機包括飛行時間(TOF) 3D相機(70)。
10.如權(quán)利要求9所述的凝視跟蹤器，其特征在于，所述TOF3D相機和所述圖片相機包括包含像素(72，82)的不同的光電傳感器，所述光電傳感器在所述像素上對光進行成像以分別獲取所述距離圖像和圖片。
11.如權(quán)利要求10所述的凝視跟蹤器，其特征在于，所述不同光電傳感器中的像素具有不同的大小。
12.如權(quán)利要求11所述的凝視跟蹤器，其特征在于，所述光電傳感器中所述3D相機在其上對光進行成像的像素大于所述光電傳感器中所述圖片相機在其上對光進行成像的像ο
13.如權(quán)利要求10-12中的任一項所述的凝視跟蹤器，其特征在于，包括用于獨立于彼此調(diào)節(jié)所述光電傳感器上的成像的放大倍率的光學器件。
14.如權(quán)利要求13所述的凝視跟蹤器，其特征在于，所述控制器響應于由所述控制器確定的空間坐標調(diào)節(jié)放大倍率。
15.一種用于確定個人的凝視方向的方法，所述方法包括獲取個人的距離圖像，其提供距所述個人的特征的距離；獲取所述個人的對比度圖像；以及處理所述距離圖像和所述對比度圖像以提供所述個人的凝視向量，所述凝視向量定義所述個人注視的方向。
全文摘要
本文描述了3D凝視跟蹤器。本發(fā)明的實施例提供了用于確定個人的凝視向量的凝視跟蹤器，其包括對個人進行成像的3D相機和圖片相機以及處理由相機獲取的圖像以確定凝視向量的凝視方向和原點的控制器。
文檔編號G02B27/00GK102551655SQ20111043659
公開日2012年7月11日 申請日期2011年12月13日 優(yōu)先權(quán)日2010年12月13日
發(fā)明者G·葉海弗 申請人:微軟公司