用于識別視線跟蹤場景參考位置的系統(tǒng)和方法
【專利摘要】本發(fā)明提供一種用于識別設(shè)備佩戴者的環(huán)境內(nèi)的參考位置的系統(tǒng)。該系統(tǒng)包括安裝在眼睛佩戴物或頭部佩戴物并連接到處理單元的場景攝像機。該系統(tǒng)可以識別在佩戴者環(huán)境內(nèi)自然出現(xiàn)的具有已知幾何形狀的對象或被有意地放置在佩戴者環(huán)境內(nèi)的已知位置上的對象。一個或多個光源可以安裝在頭部佩戴物上，以按照選擇的時刻和波長來照亮反射表面，從而幫助識別場景參考位置和從已知位置投射到眼睛表面上的閃爍。處理單元可以控制光源以調(diào)節(jié)照明等級，從而幫助識別環(huán)境內(nèi)的參考位置和眼睛表面上的相應(yīng)閃爍。對象可以在來自場景攝像機的視頻圖像內(nèi)被基本連續(xù)地識別，以提供參考位置的連續(xù)數(shù)據(jù)流。
【專利說明】用于識別視線跟蹤場景參考位置的系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及為視線跟蹤和其他應(yīng)用不引人注意地識別設(shè)備佩戴者的環(huán)境內(nèi)的參考位置的裝置、系統(tǒng)和方法。
【背景技術(shù)】
[0002]本文的裝置、系統(tǒng)和方法利用機器視覺技術(shù)來跟蹤由觀察者所觀察的位置和對象。視線跟蹤算法可以被認為需要兩個連續(xù)數(shù)據(jù)流來產(chǎn)生精確的跟蹤結(jié)果:1)眼睛跟蹤方法，以檢測瞳孔邊緣或眼睛內(nèi)的其他可識別參考點來計算眼睛的旋轉(zhuǎn)角和觀察方向，和2)頭部跟蹤方法，以將頭部的位置和取向定位在我們的三維世界中。
[0003]一般地，頭部跟蹤可以包括識別附連到頭部的剛性對象的位置(與頭部本身相對)。在這種情況下，附連到頭部的頭部佩戴物或眼睛佩戴物已經(jīng)知道幾何形狀和相對于頭部或可以計算的頭部上的參考點的位移。更具體地，為精確視線跟蹤，頭部跟蹤裝置應(yīng)當距離觀察者的一個或兩個眼球的旋轉(zhuǎn)點具有已知位移。此外，對于大部分應(yīng)用，相對于設(shè)備佩戴者的環(huán)境內(nèi)的參考點或?qū)ο?例如，顯示監(jiān)視器、移動計算設(shè)備、手表、光源、窗戶等)來確定視線跟蹤位置。
[0004]涉及機器視覺的應(yīng)用變得越來越普遍。部分地，這是由于電子和軟件研發(fā)行業(yè)的技術(shù)進步，和攝像機、信息處理單元和其他電子器件的成本降低。特別地，視線跟蹤越來越多地用在多種診斷、人的表現(xiàn)和控制應(yīng)用中。一小部分示例包括監(jiān)測一個個體的疲勞度、評估駕駛員或飛行員的意識、評估藥物或酒精的效果、診斷創(chuàng)傷后應(yīng)激障礙、跟蹤隨著年老的人的表現(xiàn)、確定訓(xùn)練或練習(xí)的效果、通過測量眼睛停留時間來評估廣告和網(wǎng)頁設(shè)計的效果、放大或改變受到觀察的特定對象或圖像(包括文字)的亮度、控制游戲的各種方面、獲取基礎(chǔ)臨床數(shù)據(jù)以評估神經(jīng)或認知障礙、診斷和監(jiān)測退行性眼部狀況、和允許在頸部下方具有有限的可動性或沒有可動性的個體通過使用一個或多個眼睛和眼瞼來控制計算機光標而進行通信。利用視線跟蹤的部門和行業(yè)包括軍事、醫(yī)藥、安全、人的表現(xiàn)、運動醫(yī)藥、康復(fù)工程、警察、研究實驗室和玩具。
[0005]在幾乎所有情況下，視線跟蹤精度的增加引起大部分應(yīng)用性能和便利性的增加。例如，隨著精度增加，可以更精確地測量用來量化在更小對象或?qū)ο蟮牟考系墓潭〞r間的眼睛停留時間。視線跟蹤可以更有效地應(yīng)用于利用更小屏幕的便攜設(shè)備，包括移動電話和手持顯示裝置。當視線跟蹤用于控制對于在屏幕內(nèi)的多個虛擬對象或圖標的光標參與的選擇時，由于使用更小的虛擬對象或圖標的能力，可以被同時顯示的可選擇對象的數(shù)量增多。每一級選擇處理中的數(shù)量增加的對象對于虛擬對象和相關(guān)動作可以被選擇的效率具有巨大影響(即，減少選擇等級的數(shù)量和/或減少時間)。類似地，增大或增加受到觀察的對象和文字的亮度等級可以顯著地增加受損傷個體的識別率和閱讀速率。
[0006]很多視線跟蹤系統(tǒng)使用距離眼睛位于相當遠距離處(例如大于十厘米(10cm))的攝像機和眼睛照射器。隨著離眼睛的距離增大，眼睛跟蹤裝置一般變得不突出；但是，眼鏡跟蹤裝置變得越來越難以精確地測量眼睛的位置，這是由于需要攝像機具有更高空間分辨率，并且由于范圍寬的頭部運動會引起跟蹤眼睛的能力完全喪失。很多視線跟蹤系統(tǒng)還利用定位成離開頭部一定距離處的明亮的(可見或不可見)“點”光源來在眼睛的表面上產(chǎn)生閃爍或亮點。這些閃爍可以用于產(chǎn)生從眼睛表面上的閃爍位置到環(huán)境中的已知位置(例如光源)的參考矢量。再次，頭部的范圍寬的運動會引起喪失跟蹤閃爍的能力和/或使閃爍與具體光源關(guān)聯(lián)的能力。
[0007]隨著現(xiàn)代微電子器件和微光學(xué)器件的到來，可以不顯眼地將用于視線跟蹤的部件安裝在眼睛佩戴物(例如，眼鏡框)或頭部佩戴物(例如，頭盔、面罩、護目鏡、虛擬現(xiàn)實顯示裝置)上，包括美國專利6，163，281,6, 542，081,7, 488，294或7，515，054中公開的那些裝置。在眼睛佩戴物或頭部佩戴物內(nèi)使用高精度光學(xué)器件，可以更精確地分辨眼睛和附近區(qū)域內(nèi)的結(jié)構(gòu)和反射、以及由設(shè)備佩戴者所觀察的場景。使用低功率微型攝像機和電子器件通過使用電池電源而使得頭部安裝系統(tǒng)能夠不被束縛。此外，無線通信的最新進展允許視線跟蹤結(jié)果被實時地傳送到其他計算、數(shù)據(jù)存儲或控制裝置。由于很多領(lǐng)域中的技術(shù)進步，基于眼睛佩戴物或頭部佩戴物的視線跟蹤系統(tǒng)可以不引人注意、重量輕、便攜且便于使用。

【發(fā)明內(nèi)容】

[0008]視線跟蹤包括基本連續(xù)地識別被觀察者觀察的位置和/或?qū)ο?。精確的視線跟蹤起因于在我們的三維世界中相對于識別的參考位置的眼睛跟蹤和頭部跟蹤的組合。本文的裝置、系統(tǒng)和方法利用安裝在眼睛佩戴物或頭部佩戴物上的不引人注意的場景攝像機來識別佩戴者環(huán)境中自然出現(xiàn)或有意放置的參考位置。
[0009]更具體地，本文的裝置、系統(tǒng)和方法可以促進為視線跟蹤和其他應(yīng)用不引人注意地識別在設(shè)備佩戴者的環(huán)境內(nèi)的參考位置。在一個實施例中，用于確定場景參考位置的系統(tǒng)和方法可以包括設(shè)備，該設(shè)備被構(gòu)造成被佩戴在人的頭上；場景攝像機，該場景攝像機連接到所述設(shè)備并定位成捕捉佩戴者的環(huán)境的圖像；場景處理器，該場景處理器可操作地連接到場景攝像機以確定在場景攝像機圖像內(nèi)的場景參考位置；眼睛跟蹤攝像機，該眼睛跟蹤攝像機連接到所述設(shè)備并定位成捕捉佩戴者的至少一個眼睛的眼睛跟蹤位置；和處理器，該處理器使用場景參考位置和眼睛跟蹤位置來確定被佩戴者觀察的位置。
[0010]可以使用對象的一個或多個特征(包括對象的形狀、尺寸或顏色)來識別場景內(nèi)的參考位置。各種幾何形狀之間的空間關(guān)系(例如，如在一維和二維條形碼、QR (即，快速響應(yīng))碼、矩陣(即，二維)碼等上發(fā)現(xiàn)的)也可以用于位置識別和定向。限定參考位置的對象可以被有意地放置在佩戴者的環(huán)境內(nèi)；例如，彩色紙張或塑料件、著色(例如，涂料或墨水)斑點、顯示屏內(nèi)的彩色(或黑白)區(qū)域、光源、和/或反射表面?？商鎿Q地，參考位置可以使用對象識別技術(shù)從未改變的佩戴者環(huán)境取出，例如顯示屏的角部、移動電話或閱讀器(例如，iPad"'成KindleM設(shè)備)的角部、更大對象的中心位置、顯示監(jiān)視器上的彩色的圖標或貼片、按鈕、對象上的標記、彩色圖案的邊緣等等。參考位置可以通過可見或不可見光來識別。這些識別可以基于所有對象或?qū)ο笞蛹奈恢?，例如，角部、空位、點或邊緣。來自參考位置的光可以利用環(huán)境光、從眼睛佩戴物或頭部佩戴物投射出的光、由參考位置自身產(chǎn)生的光、和/或來自其他來源的光。還可以是這兩種一般方法的組合(即，識別自然出現(xiàn)的對象和有意放置的對象兩者)。
[0011]根據(jù)前面的【背景技術(shù)】，本文的裝置、系統(tǒng)和方法可以提供用于各種應(yīng)用的改進的視線跟蹤方法和系統(tǒng)。
[0012]在示例性實施例中，一種方法包括使用“場景攝像機”，該場景攝像機附連到眼睛佩戴物或頭部佩戴物并且相對于佩戴眼睛佩戴物或頭部佩戴物的個體向外看。場景攝像機將圖像傳遞到經(jīng)編程的處理器以識別場景攝像機圖像內(nèi)的多個參考位置?？蛇x地，處理器可以連接到“模板”(即，已知對象的圖像、參考位置的構(gòu)造等)的數(shù)據(jù)庫、可以與該數(shù)據(jù)庫通信、或者可以以其他方式訪問該數(shù)據(jù)庫以識別參考位置。
[0013]根據(jù)一個實施例，系統(tǒng)和方法設(shè)置成使用識別具有已知幾何形狀和顏色的對象或?qū)ο蟮慕M成部分的圖像識別技術(shù)來識別參考位置。使用該方法的一般構(gòu)造是識別計算機顯示監(jiān)視器或移動計算/電話設(shè)備或其他電子對象的四個角部。這可以通過識別設(shè)備框架相對于背景場景的邊緣、顯示屏相對于顯示畫面的邊緣(即，對于基于LCD的設(shè)備或?qū)ο髞碚f是背光區(qū)域)、或以上兩者來實現(xiàn)。角部和/或邊緣可以基于顏色、紋理、相對于圓角幾何形狀的尖銳部、相對于其他可識別組成部分的尺寸、標記等等來識別。
[0014]根據(jù)另一實施例，系統(tǒng)和方法設(shè)置成產(chǎn)生參考位置，其中可識別的對象或表面已經(jīng)在已知位置處被增加到場景。例如，系統(tǒng)和方法可以使用方便地附連到(例如，使用粘結(jié)齊U、螺釘、夾子或其他緊固件等)對象上的紙張或塑料件，其可以基于顏色和/或形狀來識另|J。類似地，墨水或其他染色物質(zhì)可以施加到對象以產(chǎn)生具有可識別顏色或形狀的參考位置。施加的參考表面的顏色和/或形狀可以基于測量反射的可見或不可見的熒光、磷光或冷光。
[0015]根據(jù)另一實施例，系統(tǒng)和方法設(shè)置成使用可以附連到(例如使用粘結(jié)劑、緊固件等)任意表面(例如，由涂料、織物、塑料、紙等構(gòu)造的)反射貼片來產(chǎn)生明亮的反射點。這些反射表面可以基于棱鏡或平面反射鏡表面。這些反射表面可以使用位于眼睛佩戴物或頭部佩戴物上的一個或多個光源、通過環(huán)境光、和/或其他光源來照亮。光源的一個示例是定位成鄰近或遠離眼睛佩戴物或頭部佩戴物上的場景攝像機的單個或多個發(fā)光二極管(LED)。光源可以使用可見或不可見的電磁輻射波長，例如處于可見光譜以外的紅外或其他光，以避免干擾佩戴者和/或其他人的正?；顒印Ｔ谶@種構(gòu)造中，照明的定時可以由眼睛佩戴物或頭部佩戴物控制，可以不需要對眼睛佩戴物或頭部佩戴物外部的照明源進行供電。
[0016]根據(jù)另一實施例，系統(tǒng)和方法可以設(shè)置成不僅提供由眼睛佩戴物或頭部佩戴物照亮的明亮參考位置，還通過從參考點反射到眼球上的光產(chǎn)生參考閃爍。通過相對于視頻圖像獲取的定時來控制照亮的定時，可以在照亮和沒有照亮反射參考點和閃爍的情況下獲取圖像。從照明關(guān)閉時的圖像減去照明打開時的圖像，可以促進隔離反射源的位置的能力，反射源包括由場景攝像機獲取的圖像內(nèi)的參考點的位置和由(多個)眼睛跟蹤攝像機收集的圖像內(nèi)的相應(yīng)閃爍的位置。
[0017]控制器可以連接到(多個)攝像機和/或光源，控制器構(gòu)造成使用(多個)攝像機對在光源的各個反射的參考位置中的亮度進行采樣并且基于采樣的亮度來調(diào)制(多個)光源以在攝像機圖像內(nèi)提供期望的亮度等級。
[0018]可操作地連接到場景攝像機的處理單元可以獲取設(shè)備佩戴者的環(huán)境的圖像，以例如監(jiān)測和/或進一步分析場景的特征。場景處理單元和眼睛跟蹤處理單元可以是一個或多個單獨的處理器，或者可以是單個處理器和/或可以包括照明控制器以調(diào)節(jié)環(huán)境對于設(shè)備佩戴者的照明強度。[0019]在一個實施例中，照明控制器可以構(gòu)造成對光源的電流和/或電壓中的至少一個進行幅度調(diào)制，以在場景攝像機圖像的相應(yīng)區(qū)域中提供期望的亮度等級。附加地或可替換地，控制器可以構(gòu)造成對光源的電流和/或電壓進行脈寬調(diào)制以提供期望的亮度等級。
[0020]在這些示例中的任一個中，照明、參考位置跟蹤、眼睛跟蹤和視線跟蹤可以基本連續(xù)地或間歇地操作。例如，當場景攝像機未操作時，可以停用場景光源。這包括獲取攝像機圖像之間的時間。處理器、攝像機和照明還可以在不使用時被停用，以例如節(jié)約電力。照明源和其他電子器件還可以減小功率或關(guān)閉以增加設(shè)備佩戴者的安全性。
[0021]在示例性實施例中，系統(tǒng)包括眼睛佩戴物或頭部佩戴物框架、被導(dǎo)向為觀察設(shè)備佩戴者周圍的環(huán)境的場景攝像機、指向佩戴者的眼睛的至少一個攝像機、定位成朝向佩戴者的至少一個眼睛的一個或多個照明源、和一個或多個處理器，例如連接到場景攝像機以識別場景攝像機圖像內(nèi)的參考位置的場景處理單元和用于眼睛跟蹤的處理單元。該系統(tǒng)還可以包括位于框架上定位成遠離佩戴者的一個或多個光源，以例如當利用反射參考位置時提供場景照明。機器視覺技術(shù)被用在(多個)處理單元中以確定參考位置。在場景處理單元和眼睛跟蹤處理單元內(nèi)識別的參考位置然后可以用于視線跟蹤計算。
[0022]結(jié)合附圖考慮下列描述，本發(fā)明的其他方面和特征將更加顯而易見。
【專利附圖】

【附圖說明】
[0023]附圖示出本發(fā)明的示例性實施例，其中:
[0024]圖1是用于參考位置跟蹤和眼睛跟蹤的安裝在眼鏡框上的系統(tǒng)的示例的透視圖。
[0025]圖2是圖1的系統(tǒng)的部分剖視側(cè)視圖，示出場景攝像機和眼睛跟蹤攝像機之間的空間關(guān)系，和處理單元、場景攝像機、眼睛跟蹤攝像機和其他部件之間的連接。
[0026]圖3示出在包括移動計算/電話設(shè)備的未改變場景內(nèi)使用對象識別來檢測參考位置的示例性方法。
[0027]圖4示出包括提供參考對象的檢測參考位置的另一示例性方法，參考對象例如是位于顯示監(jiān)視器的四個(4)角部上的四個(4)可識別的彩色圓形紙張。
[0028]圖5示出包括提供“虛擬”可識別參考對象的檢測參考位置的另一示例性方法，“虛擬”可識別參考對象例如是在顯示監(jiān)視器的四個(4)角部上顯示的四個(4)彩色區(qū)域。
[0029]圖6是示出可以被場景攝像機檢測到作為參考位置的反射表面和可以被眼睛跟蹤攝像機檢測到的眼睛表面上的閃爍的照射路徑的示例。
【具體實施方式】
[0030]參考附圖，圖1示出系統(tǒng)10的示例性實施例，系統(tǒng)10包括具有場景攝像機12、兩個眼睛跟蹤攝像機13a、13b和處理單元14的眼鏡框架11。場景攝像機12在眼鏡框架11上取向為觀察遠離設(shè)備佩戴者的頭部15的區(qū)域，以跟蹤設(shè)備佩戴者的環(huán)境內(nèi)的一個或多個參考位置16a、16b。眼睛跟蹤攝像機13a和13b在眼鏡框架11上朝向頭部15取向，以跟蹤佩戴者的瞳孔、佩戴者的一個或兩個眼睛上的閃爍和/或其他參考點的位置。
[0031]在本實施例中，單個處理單元14可以由框架11承載，以例如獲取來自場景攝像機12以及眼睛跟蹤攝像機13a、13b的圖像，盡管應(yīng)當領(lǐng)會可以將分開的處理器(未示出)設(shè)置在框架11上或與框架11通信的遠程位置(未示出)。電源(例如電池)17可以由框架11承載，例如被包封在框架11的柄部中與容納處理單元14的位置相對。場景照射光源18a、18b可以可選地定位在場景攝像機12附近或者更遠離場景攝像機12。
[0032]在示例性實施例中，場景攝像機12可以包括(XD或CMOS或者包括有效區(qū)域(例如具有矩形或其他陣列的像素)的其他檢測器，以拍攝圖像并產(chǎn)生表示該圖像的視頻信號。場景攝像機12的有效區(qū)域可以具有任意期望形狀，例如方形或矩形等。此外，如有必要，攝像機12可以包括一個或多個濾鏡、透鏡等(例如，如圖6所示的濾鏡67和/或透鏡66)，以將圖像會聚在有效區(qū)域上、濾除不期望的光的強度和/或波長等。
[0033]在圖1所示的實施例中，場景攝像機12不顯眼地位于框架11的鼻梁25(圖2)上，從而使得對佩戴者正常視覺的干擾最小。用于(多個)場景攝像機的其他位置還可以包括框架11的外邊緣附近?？商鎿Q地，對于頭部佩戴物的情況，一個或多個場景攝像機可以例如位于頭部(未示出)的頂上。可以結(jié)合反射和/或折射光學(xué)部件，以例如將來自環(huán)境的不同區(qū)域的光朝向(多個)場景攝像機引導(dǎo)。
[0034]附加地或可替換地，多個場景攝像機19a、19b可以設(shè)置成彼此間隔開和/或指向多個參考位置16a、16b，以例如提供分開或重疊的視場。除了場景攝像機12外或代替場景攝像機12，多個場景攝像機16a、16b可以提供更高的分辨率、增加在不同光條件下的靈敏度和/或提供更寬的視場。使用多個場景攝像機的另一可能的優(yōu)點是對于每個攝像機使用不同的光學(xué)濾鏡(例如，參見圖6中的濾鏡67)，以例如隔離開顏色不同或優(yōu)先使用不同電磁輻射波長照射的參考源。
[0035]如果使用兩個(2)場景攝像機，這些場景攝像機可以例如被方便地定位在框架11的每個外部拐角附近(例如，圖1中表示為19a和19b的位置附近)或者頭部佩戴物(未示出)的橫向側(cè)。參考位置和相應(yīng)的場景攝像機取向可以在佩戴者的正常視場內(nèi)或者該范圍外部(包括朝向旁邊或頭部后方)?？梢钥蛇x地通過反射表面和折射透鏡在尺寸和/或位置方面控制(多個)視場。
[0036]圖2示出圖1所示的系統(tǒng)10的剖視圖和后側(cè)。從該透視圖可以看出安裝在眼鏡框架11內(nèi)的場景攝像機12和眼睛跟蹤攝像機13b之間沿著X、Y和Z方向的固定空間位移。圖2還示出可以將用于參考位置跟蹤和眼睛跟蹤的單個處理單元14嵌入在框架11的柄部內(nèi)的位置。在本示例性實施例中，處理單元14是現(xiàn)場可編程邏輯陣列(FPGA)。
[0037]處理單元14可以包括一個或多個控制器或處理器，例如用于操作系統(tǒng)10的各種部件的一個或多個硬件部件和/或軟件模塊。例如，處理單元14可以包括單獨的(未示出)或集成的控制器，以控制光源或攝像機、接收和/或處理來自攝像機12、13b的信號等?？蛇x的，處理單元14的一個或多個部件可以被承載于耳朵支架24上、框架11的透鏡支撐件上、鼻梁25、和/或眼睛佩戴物或頭部佩戴物內(nèi)的其他位置上，類似于利用本文中其他地方標識的附圖標記所描述的實施例。在圖1和圖2所示的示例性實施例中，單個處理單元14用于圖像獲取和用于處理參考位置與眼睛跟蹤功能兩者。
[0038](多個)線纜26可以包括連接到攝像機12、13b、電池17(圖1)、光源18a、18b (圖1)和/或框架11上的其他部件和/或處理單元14的單獨的線纜或線組。例如，單獨的線纜或線組(未示出)可以從攝像機12、13b等例如沿著邊緣嵌入在框架11中，直到被捕獲到線纜26內(nèi)，以例如根據(jù)需要減少框架11的整體輪廓和/或?qū)⑿盘柪@過任意鉸接區(qū)域或角部27引導(dǎo)至眼睛佩戴物或頭部佩戴物內(nèi)。[0039]處理單元14還可以包括用于存儲來自(多個)攝像機12、13b的圖像信號的存儲器(未示出)、用于編輯和/或處理圖像信號的濾波器、用于測量值計算的元件(也未示出)等等?？蛇x地，框架11和/或處理單元14可以包括用于傳輸數(shù)據(jù)、接收指令等的一個或多個發(fā)送器和/或接收器(未示出)。附加地或可替換地，至少某些處理可以由遠離框架11的部件和/或機載處理單元14執(zhí)行，類似于利用本文中其他地方標識的附圖標記所公開的實施例。例如，數(shù)據(jù)采集系統(tǒng)可以包括位于遠離處理單元14和/或框架11的一個或多個遠程位置的(例如在同一房間中、在監(jiān)測站附近、或更遠處的位置的)一個或多個接收器、處理器和/或顯示器(未示出)。這些顯示器可以包括由(多個)場景攝像機12和/或(多個)眼睛跟蹤攝像機13b產(chǎn)生的視圖、以及視線跟蹤測量結(jié)果和相關(guān)計算結(jié)果。
[0040]圖3是在涉及對象識別的機器視覺技術(shù)被用于在“未改變場景”(即，為建立參考位置，場景沒有由佩戴者/觀察者或觀察中涉及的任意其他人有意改變)內(nèi)利用已知幾何形狀和/或顏色來定位對象的情況下的參考位置跟蹤的示例。在本示例中，可以使用場景攝像機31來跟蹤常規(guī)移動電話或手持計算設(shè)備30的尺寸、取向和/或位置。圖像可以例如使用一個或多個透鏡33被聚焦在場景攝像機31上(場景攝像機31可以類似于圖1和圖2所示的場景攝像機12)，透鏡33可以由(多個)場景攝像機31 (未示出)承載或以其他方式連接到(多個)場景攝像機31。
[0041]在由場景攝像機31獲取的圖像內(nèi)，處理單元(未示出)可以掃描來自場景攝像機31的圖像的視場32，以找尋與移動計算設(shè)備的對象模板在形狀和顏色方面類似的對象。例如，處理單元可以包括或以其他方式訪問已知模板的數(shù)據(jù)庫，例如，將已知對象與識別它們的形狀和/或顏色的數(shù)據(jù)相關(guān)聯(lián)的表。數(shù)據(jù)庫可以包括已知對象的豎直和水平參考點36、
37、與映射到具體物理對象的參考對象等有關(guān)的詳細顏色和/或形狀信息，從而向處理單元提供足夠的信息來識別遇到的對象。如果找到具有適當屬性的對象，四邊形34 (在本示例中為矩形移動電話的四邊形)可以用于限定來自場景攝像機31的圖像內(nèi)的設(shè)備的邊界。四邊形34的側(cè)邊的尺寸可以用于相對于移動計算設(shè)備30內(nèi)的參考點來計算場景攝像機31的位置的取向。來自場景攝像機31的圖像內(nèi)的四邊形34的整體尺寸可以用于計算場景攝像機31 (即，固定到眼睛佩戴物或頭部佩戴物11)和移動計算設(shè)備30內(nèi)的參考點之間的距離。
[0042]參考對象內(nèi)的參考位置的示例包括與移動計算設(shè)備30的四(4)個角35a、35b、35c、35d相對應(yīng)的四邊形34的四(4)個角。參考對象的豎直真實尺寸36和水平真實尺寸37是場景攝像機處理單元已知的，并且與場景攝像機圖像中進行的測量一起，可以用于將從來自場景攝像機31的圖像內(nèi)測量的尺寸轉(zhuǎn)變成真實尺寸。
[0043]圖4是在參考對象已經(jīng)被有意地放置在佩戴者的環(huán)境內(nèi)的情況下參考位置跟蹤的示例。涉及對象識別的機器視覺技術(shù)用于利用已知的幾何形狀和/或顏色將這些對象定位在場景攝像機圖像內(nèi)。在這種情況下，具有已知的(多個)尺寸和(多個)顏色的四個(4)圓盤45a、45b、45c、45d已經(jīng)例如通過利用粘結(jié)劑進行連接而被附連到顯示監(jiān)視器40的四個(4)角部?？商鎿Q地，監(jiān)視器40或其他裝置可以包括在期望的位置處永久地附接到或以其他方式結(jié)合到該裝置的參考對象。
[0044]根據(jù)需要，任意數(shù)量的參考對象可以增加到佩戴者的環(huán)境，例如，兩個或三個、或者多于四個(未示出)。參考對象可以具有任意尺寸、形狀或顏色。參考對象可以都具有基本相同的尺寸、形狀和/或顏色；或者一個或多個參考對象可以具有不同的尺寸、形狀和/或顏色。在后一種示例中，尺寸、形狀或顏色的不同可以有助于明確地確定參考位置和相關(guān)對象的精確取向以例如唯一地識別移動計算設(shè)備30的每個角部。
[0045]進一步參考圖4，圖像可以例如使用透鏡43被聚焦在場景攝像機41 (場景攝像機41可以類似于場景攝像機12)上。采用由場景攝像機41獲取的圖像，處理單元(未示出)可以掃描場景攝像機41的視場42，以找尋與用于有意放置的參考對象的對象識別模板(例如訪問用于模板的數(shù)據(jù)庫)在形狀和/或顏色方面類似的對象，如本文中其他地方所述。當找到具有適當屬性的對象時，可以沿著豎直46和水平47方向測量參考對象45a、45b、45c、45d的中心或邊緣之間的距離。這些距離然后可以用于計算場景攝像機41相對于場景內(nèi)的參考點45a、45b、45c、45d的位置的取向。由參考對象45a、45b、45c、45d的四個(4)角部限定的四邊形的整體尺寸也可以用于計算場景攝像機41和場景內(nèi)的位置之間的距離。豎直46和水平47參考點之間的已知真實世界距離可以用于將在來自場景攝像機41的圖像內(nèi)測量的距離轉(zhuǎn)換成真實世界尺寸。
[0046]使用這些技術(shù)的頭部跟蹤和視線跟蹤的一個應(yīng)用是控制在監(jiān)視器40上顯示的計算機光標44的位置。使用視線跟蹤對光標的精確控制可以產(chǎn)生范圍廣泛的應(yīng)用，包括計算機瀏覽互聯(lián)網(wǎng)、控制游戲、產(chǎn)生文語轉(zhuǎn)換、在家庭或工業(yè)環(huán)境中打開/關(guān)閉燈光或其他環(huán)境控制等等。在觀察者被指令緊密地跟蹤對象(例如光標44)的同時跟蹤頭部和眼睛移動還可以在校正過程中使用，例如，該校正過程可以用于解釋(account for)視場42內(nèi)的空間像差，例如由大部分透鏡43產(chǎn)生的空間像差。
[0047]圖5示出在“虛擬”參考對象被有意地顯示在位于場景攝像機51的視場52內(nèi)的監(jiān)視器或屏幕50上的情況下參考位置的另一示例。“虛擬”參考對象可以例如是色塊、圖標、QR碼和/或不同于屏幕的背景的其他視覺圖案。例如，用于監(jiān)視器50的驅(qū)動器可以被改變或更換，以使得虛擬對象疊加在以其他方式顯示在監(jiān)視器50上的任意圖像。因此，即使當監(jiān)視器用于顯示圖像和/或以其他方式操作各種程序時，也可以存在虛擬對象。虛擬對象可以在監(jiān)視器50呈現(xiàn)的圖像中基本靜止，或者可以在例如本文其他地方描述的期間移動。
[0048]機器視覺技術(shù)可以用于利用場景內(nèi)的已知幾何形狀、空間關(guān)系和/或顏色定位這些“虛擬”對象。在圖5所示的示例中，四個(4) “虛擬”對象55a、55b、55c、55d被顯示在顯示監(jiān)視器50的四個(4)角部上。任意數(shù)量的“虛擬”參考對象可以被增加到場景攝像機51的場景52?！疤摂M”參考對象可以具有任意尺寸、形狀或顏色。“虛擬”參考對象可以都具有基本相同的尺寸、形狀、幾何形狀的空間分布和/或顏色；或者一個或多個“虛擬”參考對象可以具有不同的尺寸、形狀和/或顏色。在后一種示例中，尺寸、形狀、幾何形狀的空間分布和/或顏色的不同可以有助于明確地確定參考位置的旋轉(zhuǎn)取向，類似于本文的其他實施例。
[0049]當例如通過分析來自場景攝像機51的圖像的處理單元找到具有適當屬性的虛擬對象時，可以沿著豎直56和水平57方向測量參考對象55a、55b、55c、55d的中心之間的距離。這些距離可以用于計算場景攝像機51相對于設(shè)備佩戴者的環(huán)境內(nèi)的參考點55a、55b、55c、55d的位置的取向。由位于顯示屏的四個(4)角部的參考對象55a、55b、55c、55d限定的四邊形的整體尺寸可以用于計算場景攝像機51和場景內(nèi)的位置之間的距離。豎直56和水平57參考點之間的已知真實世界距離可以用于將在來自場景攝像機51的圖像內(nèi)測量的距離轉(zhuǎn)換成真實世界尺寸。例如，處理單元可以包括或訪問模板的數(shù)據(jù)庫，該數(shù)據(jù)庫包括足夠的信息來識別實際遇到的對象，類似于本文的其他實施例。使用這些技術(shù)的頭部跟蹤和視線跟蹤的可以用于例如控制在計算機監(jiān)視器50上顯示的光標54的位置和/或以其他方式與遇到的對象和/或其他附近的對象交互。
[0050]使用參考圖5所示的“虛擬”參考對象的優(yōu)點是在不需要對真實世界對象任意(硬件)修改的情況下產(chǎn)生可識別的參考對象的能力。例如，如果計算機(未示出)由圖1的系統(tǒng)10的佩戴者使用，則在使用系統(tǒng)10期間，軟件可以被加載到計算機上，以例如修改或更換(多個)監(jiān)視器驅(qū)動器和/或以其他方式使得虛擬參考對象被包括在計算機監(jiān)視器50上顯示的圖像中。相反，使用例如在如圖4所示的放置在計算機監(jiān)視器40的邊緣上的物理參考對象，消除了在監(jiān)視器40的可顯示區(qū)域內(nèi)進行任何疊加顯示(和相關(guān)軟件修改)的需要。
[0051]進一步參考圖4和圖5，可以將任意數(shù)量的真實參考對象與任意數(shù)量的“虛擬”參考對象組合在場景內(nèi)。使用來自一個或多個場景攝像機的圖像的機器視覺技術(shù)可以用于跟蹤任意數(shù)量的這些對象。例如，當沿著特定取向和方向觀察參考對象以識別由系統(tǒng)(例如圖1的系統(tǒng)10)操作或與系統(tǒng)通信的屏幕或設(shè)備時，可以使用對物理對象的跟蹤。然后，在物理對象已經(jīng)被用于識別監(jiān)視器或屏幕之后，當呈現(xiàn)出適當?shù)钠聊挥^察角度時，可以使用“虛擬”對象的識別。為了在屏幕上的局部區(qū)域內(nèi)產(chǎn)生高度精確的視線跟蹤，例如一旦視線跟蹤已經(jīng)確定佩戴者正觀察監(jiān)視器或屏幕上的位置，例如，期望的是動態(tài)地改變“虛擬”參考對象的位置或其他跟蹤特性。例如，當注意力集中到監(jiān)視器或屏幕的特定子集或區(qū)域時，可以使用更緊密間隔的更小的“虛擬”參考對象。處理單元然后可以棄用監(jiān)視器或屏幕上的虛擬對象區(qū)域外的圖像數(shù)據(jù)，以例如增強視線跟蹤的精度，減小存儲和/或處理的圖像數(shù)據(jù)的尺寸等等。
[0052]圖6示出利用反射參考貼片和相關(guān)位置的照明和光路的示例。在本示例中，照明源(例如一個或多個LED)60被包括在眼睛佩戴物或頭部佩戴物(未示出，例如圖1和圖2的框架11)內(nèi)或者以其他方式由眼睛佩戴物或頭部佩戴物承載。來自照明源60的電磁輻射被反射離開一個或多個反射貼片或表面61，所述一個或多個反射貼片或表面61已經(jīng)在已知位置處被增加到或嵌入在場景內(nèi)的一個或多個對象內(nèi)。在本示例性實施例中，光從附接到顯示監(jiān)視器或移動計算設(shè)備62的角部的圓盤61被反射。場景中的該反射表面和其他參考表面的位置可以從使用場景攝像機(圖6未示出，參見例如圖1和圖2中的場景攝像機12)收集的圖像來確定。
[0053]附加地參考圖6，從反射參考表面反射的光可以在眼睛64的表面上產(chǎn)生閃爍63。閃爍可以在使用(多個)眼睛跟蹤攝像機65收集的圖像內(nèi)作為高強度亮斑被檢測到。在眼睛佩戴物或頭部佩戴物內(nèi)，短工作距離透鏡66 —般被要求將來自眼睛64的圖像聚焦在眼睛跟蹤攝像機65上，濾鏡67可以可選地被包括在光路中以隔離由反射(熒光、磷光或冷光)參考位置表面產(chǎn)生的光波長。
[0054]閃爍63的中心和相應(yīng)參考位置61的中心之間的線段產(chǎn)生矢量68，矢量68可以用作視線跟蹤計算的輸入。這個參考矢量68與瞳孔69的中心的位置一起然后可以被用于相對于參考矢量68來計算視線跟蹤矢量70。計算視線跟蹤矢量70時的其他考慮還包括眼窩(即，視網(wǎng)膜的圖像感應(yīng)區(qū)域)中心相對于瞳孔69的測量中心的略偏移位置和在穿過角膜(未示出)的光路內(nèi)的折射。視線跟蹤矢量70指向由觀察者(S卩，眼睛佩戴物或頭部佩戴物的佩戴者)觀察的位置71。
[0055]參考圖1和圖6，相比于由場景攝像機12和眼睛跟蹤13a、13b攝像機的圖像獲取，在眼睛佩戴物或頭部佩戴物(例如框架11)上具有(多個)照明源的優(yōu)點是能夠方便地控制照明的定時和/或強度。通過從照明關(guān)閉時的圖像減去照明打開時的場景圖像和/或眼睛跟蹤攝像機圖像，來自參考位置16a、16b的反射可以更容易地在場景攝像機圖像中隔離，來自閃爍63的反射可以被更容易地在眼睛跟蹤攝像機圖像中隔離。此外，該方案消除了定位成遠離或束縛到位于眼睛佩戴物或頭部佩戴物內(nèi)的控制器或電源17的任意光源或其他被供電部件的需要。因此，如果參考對象附連到或被結(jié)合于設(shè)備的監(jiān)視器或屏幕中，這些參考對象不需要具有電源和/或控制器來產(chǎn)生光，但是可以僅反射來自(多個)照明源60的光。
[0056]任意數(shù)量的反射表面61可以用作參考位置和/或用于產(chǎn)生閃爍63的來源。任意數(shù)量的電磁輻射源可以產(chǎn)生可見光或不可見光。使用不可見光來產(chǎn)生在參考位置處的反射和眼睛上的閃爍特別方便，這是由于這種方案在設(shè)備佩戴者的部分上產(chǎn)生很少或不產(chǎn)生注意力分散(由于存在可能明亮的反射光)。具體地，CMOS攝像機能夠檢測對人眼不可見的近紅外光譜中的電磁輻射。CMOS攝像機還特別適合于期望低功率和/或小型化的應(yīng)用。
[0057]如本文其他地方所述并參考圖6，使用眼睛跟蹤攝像機65測量的閃爍63的亮度級別和使用(多個)場景攝像機12 (未示出，參見圖1)測量的從參考位置61的反射可以用在反饋模式中，以控制(多個)照明源60的強度。一個或多個照明源60可以用于照亮參考位置，例如安裝在整個眼睛佩戴物或頭部佩戴物的多個位置處的多個照明源60 (未示出)。使用多個照明源60從不同角度照亮設(shè)備佩戴者的環(huán)境可以幫助在不同的觀察角度在攝像機圖像中保持高強度反射。
[0058]在一個實施例中，驅(qū)動每個照明源60的電壓或電流的幅度可以用于控制光強度。這一般稱為“幅度調(diào)制”。在另一實施例中，控制電壓或電流的持續(xù)時間或“停留時間”可以被改變以控制光強度。這一般稱為“脈寬調(diào)制”?？蛇x地，還可以同時使用這兩個方案。
[0059]在示例性實施例中，每個照明源60可以包括LED(發(fā)光二極管)，LED構(gòu)造成發(fā)射相對窄或?qū)拵挼墓?，例如約640-700納米之間的一個或多個波長的近紅外光、寬帶可見光、白光等。可選地，一個或多個照明源60可以包括透鏡、濾光器、擴散器、反射器或其他特征(未示出)，以例如促進和/或控制設(shè)備佩戴者的環(huán)境的照明均勻性。(多個)照明源60可以基本連續(xù)地、周期性地或以其他方式間歇地操作，例如以使得由(多個)源60照亮期望場景圖像，然后圖像可以使用本文其他地方描述的系統(tǒng)和方法來處理。
[0060]為舉例和說明的目的已經(jīng)呈現(xiàn)了對示例性實施例的上述公開。這不期望是窮舉的，也不是要將本發(fā)明限制為公開的精確形式。根據(jù)上述公開內(nèi)容，本文描述的實施例的很多變化和修改對于本領(lǐng)域技術(shù)人員是顯而易見的。
[0061]此外，在描述代表性實施例時，說明書已經(jīng)將方法和/或處理按照特定的步驟順序呈現(xiàn)。但是，這些方法或處理不應(yīng)當限于所述的步驟的具體順序，而是要達到這些方法或處理不依賴于本文闡述的步驟的具體順序的程度。本領(lǐng)域技術(shù)人員將領(lǐng)會，可以存在步驟的其他順序。因此，說明書中闡述的步驟的具體順序不應(yīng)當理解為限制權(quán)利要求書。
[0062]盡管本發(fā)明容許有各種修改和替換形式，但是本發(fā)明的特定示例已經(jīng)在附圖中示出并且詳細地在本文中描述。但是，應(yīng)當理解，本發(fā)明不限于公開的具體形式或方法，相反，本發(fā)明將覆蓋落入所附權(quán)利要求書的范圍內(nèi)的所有修改、等同和替換形式。
【權(quán)利要求】
1.一種用于確定參考位置的系統(tǒng)，所述系統(tǒng)包括:設(shè)備，所述設(shè)備構(gòu)造成被佩戴在佩戴者的頭上；場景攝像機，所述場景攝像機安裝在所述設(shè)備上遠離所述佩戴者取向，以捕捉所述佩戴者的環(huán)境的場景攝像機圖像；眼睛跟蹤攝像機，所述眼睛跟蹤攝像機安裝在所述設(shè)備上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一個眼睛的眼睛跟蹤位置；和一個或多個處理器，所述一個或多個處理器連接到所述場景攝像機以確定所述場景攝像機圖像內(nèi)的場景參考位置并且連接到所述眼睛跟蹤攝像機，所述一個或多個處理器使用所述場景參考位置和所述眼睛跟蹤位置來確定被所述佩戴者觀察的位置。
2.根據(jù)權(quán)利要求1所述的系 統(tǒng)，其中，所述場景攝像機包括CCD和CMOS檢測器中的一個。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述一個或多個處理器包括現(xiàn)場可編程門陣列(FPGA)和專用集成電路(ASIC)中的至少一個。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述眼睛跟蹤攝像機包括用于捕捉所述佩戴者的第一個眼睛的眼睛跟蹤位置的第一眼睛跟蹤攝像機和用于捕捉所述佩戴者的第二個眼睛的眼睛跟蹤位置的第二眼睛跟蹤攝像機。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對象識別算法由所述一個或多個處理器使用來識別在視場內(nèi)的場景參考位置。
6.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，對象識別至少部分地基于對象的形狀、對象的顏色和對象的至少一個邊緣。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括模板的數(shù)據(jù)庫，所述模板的數(shù)據(jù)庫將已知對象映射到與各個已知對象關(guān)聯(lián)的場景參考位置，所述一個或多個處理器連接到所述數(shù)據(jù)庫以識別與從場景圖像獲取的所述場景參考位置關(guān)聯(lián)的對象。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述對象包括電子設(shè)備的顯示裝置，所述場景參考位置識別相對于所述顯示裝置固定的參考對象。
9.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，所述一個或多個處理器使用對象識別來識別顯示設(shè)備的至少一個角部的位置。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括附連到在所述場景攝像機的視場內(nèi)的對象上的附加參考對象，所述對象位于所述場景攝像機圖像內(nèi)以使得這些附加參考對象由所述一個或多個處理器識別。
11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，至少部分地基于顏色來識別所述附加參考對象。
12.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，至少部分地基于形狀來識別所述附加參考對象。
13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述附加參考對象附連到所述設(shè)備的表面。
14.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述附加參考對象被繪制在所述設(shè)備的表面上。
15.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中，所述附加參考對象包括顯示在所述對象的屏幕上的虛擬對象。
16.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括位于所述設(shè)備上的一個或多個光源，所述一個或多個光源遠離所述佩戴者取向，以照亮所述佩戴者的環(huán)境。
17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述一個或多個光源包括一個或多個發(fā)光二極管(LED)。
18.根據(jù)權(quán)利要求16所述的系統(tǒng)，其中，所述光源構(gòu)造成照亮所述佩戴者的環(huán)境內(nèi)的反射參考對象，以使得附加的反射參考對象能夠在所述場景攝像機圖像內(nèi)被識別。
19.根據(jù)權(quán)利要求16所述的系統(tǒng)，還包括控制器，所述控制器連接到所述一個或多個光源以將所述一個或多個光源調(diào)制到期望的亮度等級。
20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中，所述控制器構(gòu)造成對所述一個或多個光源的電流和電壓中的至少一個進行幅度調(diào)制以提供期望的亮度等級。
21.根據(jù)權(quán)利要求19所述的系統(tǒng)，其中，所述控制器構(gòu)造成對所述一個或多個光源的電流和電壓中的至少一個進行脈寬調(diào)制以提供期望的亮度等級。
22.一種用于視線跟蹤的系統(tǒng)，所述系統(tǒng)包括:電子對象，所述電子對象包括顯示裝置和位于所述顯示裝置周圍的多個反射參考對象；和設(shè)備，所述設(shè)備構(gòu)造成被佩戴在佩戴者的頭上，所述設(shè)備包括:a)場景攝像機，所述場景攝像機安裝在所述設(shè)備上遠離所述佩戴者取向，以捕捉所述佩戴者的環(huán)境的場景攝像機圖像；b)眼睛跟蹤攝像機，所述眼睛跟蹤攝像機安裝在所述設(shè)備上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一個眼睛的眼睛跟蹤位置；和c)一個或多個處理器，所述一個或多個處理器連接到所述場景攝像機以識別所述場景攝像機圖像內(nèi)的參考對象并且連接到所述眼睛跟蹤攝像機，所述一個或多個處理器使用所述場景攝像機圖像中的所述參考對象的位置和所述眼睛跟蹤位置來確定所述顯示裝置上被所述佩戴者觀察的位置。
23.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述設(shè)備還包括位于所述設(shè)備上的一個或多個光源，所述一個或多個光源遠離所述佩戴者取向以照亮所述參考對象，從而增強對所述場景攝像機圖像中的所述參考對象的識別。
24.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述一個或多個處理器包括控制器，所述控制器連接到所述一個或多個光源以將所述一個或多個光源調(diào)制到期望的亮度等級。
25.根據(jù)權(quán)利要求23所述的系統(tǒng)，其中，所述一個或多個處理器包括控制器，所述控制器連接到所述一個或多個光源以間歇性地操作所述一個或多個光源，以使得所述參考對象在所述場景攝像機圖像中被交替地照亮和未照亮，所述一個或多個處理器構(gòu)造成從所述場景攝像機圖像中減去照亮的和未照亮的圖像以增強對所述參考對象的識別。
26.根據(jù)權(quán)利要求22所述的系統(tǒng)，包括模板的數(shù)據(jù)庫，所述模板的數(shù)據(jù)庫將已知對象映射到與各個已知對象關(guān)聯(lián)的參考對象，所述一個或多個處理器連接到所述數(shù)據(jù)庫以基于在所述場景攝像機圖像中識別的所述參考對象來識別所述電子對象。
27.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述參考對象中的一個或多個通過粘結(jié)劑附連到所述電子對象。
28.根據(jù)權(quán)利要求22所述的系統(tǒng)，其中，所述參考對象中的一個或多個被結(jié)合到所述電子對象的殼體中。
29.一種用于視線跟蹤的系統(tǒng)，所述系統(tǒng)包括:電子對象，所述電子對象包括顯示裝置，所述電子對象構(gòu)造成包括在所述顯示裝置上呈現(xiàn)的圖像中的多個虛擬參考對象；和設(shè)備，所述設(shè)備構(gòu)造成被佩戴在佩戴者的頭上，所述設(shè)備包括:a)場景攝像機，所述場景攝像機安裝在所述設(shè)備上遠離所述佩戴者取向，以捕捉所述佩戴者的環(huán)境的場景攝像機圖像；b)眼睛跟蹤攝像機，所述眼睛跟蹤攝像機安裝在所述設(shè)備上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一個眼睛的眼睛跟蹤位置；和c)一個或多個處理器，所述一個或多個處理器連接到所述場景攝像機以識別所述場景攝像機圖像內(nèi)的虛擬參考對象并且連接到所述眼睛跟蹤攝像機，所述一個或多個處理器使用所述場景攝像機圖像中的所述虛擬參考對象的位置和所述眼睛跟蹤位置來確定所述顯示裝置上被所述佩戴者觀察的位置。
30.根據(jù)權(quán)利要求29所述的系統(tǒng)，還包括模板的數(shù)據(jù)庫，所述模板的數(shù)據(jù)庫將已知對象映射到與各個已知對象關(guān)聯(lián)的參考對象，所述一個或多個處理器連接到所述數(shù)據(jù)庫以基于在所述場景攝像機圖像中識別的所述虛擬參考對象來識別所述電子對象。
31.一種用于識別對象的系統(tǒng)，所述系統(tǒng)包括:設(shè)備，所述設(shè)備構(gòu)造成被佩戴在佩戴者的頭上；場景攝像機，所述場景攝像機安裝在所述設(shè)備上遠離所述佩戴者取向，以捕捉所述佩戴者的環(huán)境的場景攝 像機圖像；眼睛跟蹤攝像機，所述眼睛跟蹤攝像機安裝在所述設(shè)備上朝向所述佩戴者的眼睛取向，以捕捉所述佩戴者的至少一個眼睛的眼睛跟蹤位置；一個或多個處理器，所述一個或多個處理器連接到所述場景攝像機以確定所述場景攝像機圖像內(nèi)的場景參考位置并且連接到所述眼睛跟蹤攝像機；和模板的數(shù)據(jù)庫，所述模板的數(shù)據(jù)庫將已知對象映射到與各個已知對象關(guān)聯(lián)的場景參考位置，所述一個或多個處理器連接到所述數(shù)據(jù)庫以識別與從場景圖像獲取的所述場景參考位置相關(guān)聯(lián)的對象。
32.一種確定參考位置的方法，所述方法包括:將設(shè)備放置在佩戴者的頭上；在所述設(shè)備上提供場景攝像機，所述場景攝像機定位成捕捉所述佩戴者的環(huán)境的圖像，所述場景攝像機連接到場景處理器以確定從所述場景攝像機獲取的場景攝像機圖像內(nèi)的場景參考位置；和在所述設(shè)備上提供眼睛跟蹤攝像機，所述眼睛跟蹤攝像機定位成捕捉所述佩戴者的至少一個眼睛的眼睛跟蹤位置，所述眼睛跟蹤攝像機和所述場景攝像機連接到處理器以使用所述場景參考位置和所述眼睛跟蹤位置來確定被所述佩戴者觀察的位置。
33.根據(jù)權(quán)利要求32所述的方法，還包括在所述設(shè)備上提供第二眼睛跟蹤攝像機以跟蹤所述佩戴者的第二個眼睛的位置。
34.根據(jù)權(quán)利要求32所述的方法，其中，所述處理器利用對象識別算法來識別在視場內(nèi)的場景參考位置。
35.根據(jù)權(quán)利要求34所述的方法，其中，所述對象識別算法至少部分地基于對象的形狀。
36.根據(jù)權(quán)利要求34所述的方法，其中，所述對象識別算法至少部分地基于對象的顏色。
37.根據(jù)權(quán)利要求34所述的方法，其中，所述對象識別算法用于識別對象的至少一個邊緣的位置。
38.根據(jù)權(quán)利要求34所述的方法，其中，所述對象識別算法用于識別顯示裝置的至少一個角部的位置。
39.根據(jù)權(quán)利要求34所述的方法，還包括將附加參考對象定位在所述佩戴者的環(huán)境內(nèi)，以使得這些附加參考對象由所述場景處理器識別。
40.根據(jù)權(quán)利要求39所述的方法，其中，所述對象識別算法至少部分地基于所述附加參考對象的顏色來識別所述附加參考對象。
41.根據(jù)權(quán)利要求39所述的方法，其中，所述對象識別算法至少部分地基于所述附加參考對象的形狀來識別所述附加參考對象。
42.根據(jù)權(quán)利要求39所述的方法，還包括將所述參考對象附連到表面。
43.根據(jù)權(quán)利要求39所述的方法，還包括將所述參考對象繪制在表面上。
44.根據(jù)權(quán)利要求39所述的方法，還包括將所述附加參考對象基本上顯示為在屏幕上顯示的虛擬對象。
45.根據(jù)權(quán)利要求32所述的方法，還包括利用一個或多個光源來照亮所述佩戴者的環(huán)境。
46.根據(jù)權(quán)利要求45所述的方法，還包括將附加反射對象定位在所述佩戴者的環(huán)境內(nèi)，以使得所述附加反射對象在所述場景攝像機圖像內(nèi)被識別。
47.根據(jù)權(quán)利要求45所述的方法，還包括將所述一個或多個光源調(diào)制到期望的亮度等級。
48.根據(jù)權(quán)利要求47所述的方法，其中，通過對所述一個或多個光源的電流和電壓中的至少一個進行幅度調(diào)制來調(diào)制所述一個或多個光源以提供期望的亮度等級。
49.根據(jù)權(quán)利要求47所述的方法，其中，通過對所述一個或多個光源的電流和電壓中的至少一個進行脈寬調(diào)制來調(diào)制所述一個或多個光源以提供期望的亮度等級。
50.一種確定參考位置的方法，所述方法包括:將設(shè)備放置在佩戴者的頭上，所述設(shè)備包括場景攝像機和眼睛跟蹤攝像機，所述場景攝像機遠離所述佩戴者取向，所述眼睛跟蹤攝像機朝向所述佩戴者的至少一個眼睛取向；利用所述場景攝像機獲取所述佩戴者周圍的環(huán)境的場景圖像；識別場景攝像機圖像內(nèi)的場景參考位置，以識別環(huán)境內(nèi)的與所述場景參考位置關(guān)聯(lián)的對象；和分析所述場景攝像機圖像和眼睛跟蹤圖像以確定相對于所述對象被所述佩戴者觀察的位置。
【文檔編號】G06F3/00GK103748598SQ201280034239
【公開日】2014年4月23日 申請日期:2012年5月19日 優(yōu)先權(quán)日:2011年5月20日
【發(fā)明者】N·G·普布卡福爾, W·C·陶池, G·阿馬婭, D·勒布朗 申請人:愛福露恩斯公司