本公開涉及眼睛跟蹤系統(tǒng),并且更具體地,涉及用于眼睛跟蹤系統(tǒng)的改進校準。
背景技術(shù):
跟蹤用戶注視的系統(tǒng)(即,眼睛跟蹤系統(tǒng))正變得日益普及。跟蹤用戶眼睛的移動和注視點的能力允許更精細的用戶接口可能性。然而,歸因于從一個人到另一個人的眼球狀結(jié)構(gòu)的生理差異,這些眼睛跟蹤系統(tǒng)通常需要針對每一個用戶被校準。校準過程典型地通過以下來執(zhí)行:向用戶呈現(xiàn)一組點(一次一個),請求用戶將他們的注視固定在該已知點處同時估計視覺注視點。這個過程是繁瑣的,要求用戶協(xié)作且通常是非魯棒的。另外,這個過程要求活躍的顯示元件(例如,能夠由跟蹤校準系統(tǒng)控制)以及相對大的視野,這在某些平臺(包括,例如某些可佩戴設(shè)備和汽車環(huán)境)中可能是不存在的。
附圖說明
要求保護的主題的實施例的特征和益處隨著下面具體實施方式的進行并且在參照附圖時將變得清楚,其中相似的標號描繪相似的部分,并且其中:
圖1圖示了符合本公開的示例實施例的頂級系統(tǒng)圖。
圖2圖示了符合本公開的示例實施例的關(guān)于眼睛的橫截面視圖的校準角度。
圖3圖示了符合本公開的示例實施例的對象跟蹤。
圖4圖示了符合本公開的一個示例實施例的框圖。
圖5圖示了符合本公開的一個示例實施例的操作流程圖。
圖6圖示了符合本公開的另一示例實施例的平臺的系統(tǒng)圖。
盡管下面的具體實施方式將參考說明實施例而進行,但是許多可替代方案、修改及其變型對本領(lǐng)域技術(shù)人員來說將是清楚的。
具體實施方式
通常,本公開提供用于眼睛跟蹤系統(tǒng)的改進校準的系統(tǒng)、設(shè)備、方法和計算機可讀介質(zhì)。面向場景(或世界)攝像機可被配置以提供涵蓋周圍環(huán)境視場的視頻流,該周圍環(huán)境對于該系統(tǒng)的用戶是可見的。這個視頻流可包括有機會移動穿過該場景且被用戶的眼睛反射性地跟隨的對象。移動的對象可被檢測和分析以確定它們的在校準過程中使用的適合性,且以估計它們的視軸或視線。眼睛跟蹤攝像機也可被配置為提供圖像用于跟蹤用戶眼睛運動且將其與對象的運動進行相關(guān),例如,所述對象的運動如從面向場景攝像機視頻數(shù)據(jù)所確定的。當發(fā)現(xiàn)相關(guān)性(例如,超出統(tǒng)計顯著閾值的相關(guān)性)時,可計算與在對象上的眼睛注視相關(guān)聯(lián)的光軸或瞳孔軸的估計。視軸估計和光軸估計之間的差異可被用作眼睛跟蹤系統(tǒng)的校準基礎(chǔ),如將在下面更詳細描述的。
圖1圖示了符合本公開的一個示例實施例的頂級系統(tǒng)圖100。面向場景攝像機104可配置為提供視覺數(shù)據(jù),例如涵蓋周圍環(huán)境的視場的視頻流,該周圍環(huán)境對于該系統(tǒng)的用戶是可見的。眼睛跟蹤攝像機106也可配置為提供視覺數(shù)據(jù),例如用于跟蹤眼睛的運動的用戶眼睛108的圖像且特別是眼睛的光軸,如將在下面解釋的。來自面向場景攝像機104和眼睛跟蹤攝像機106的數(shù)據(jù)可被提供至眼睛跟蹤校準系統(tǒng)102,眼睛跟蹤校準系統(tǒng)102可被配置為生成校準參數(shù)且將這些參數(shù)提供至眼睛跟蹤系統(tǒng)110。然后眼睛跟蹤系統(tǒng)110可以在基于校準參數(shù)校正或調(diào)整的情況下,基于由眼睛跟蹤攝像機106提供的后續(xù)數(shù)據(jù)來跟蹤用戶眼睛的運動或注視點。
圖2圖示了符合本公開的示例實施例的關(guān)于眼睛的橫截面視圖200的校準角度。眼睛108包括晶狀體214,該晶狀體將例如在凝視點206處的對象的圖像聚焦在眼睛背部處的一個受體上。凹204是視覺受體的最大密度的區(qū)域,并因此能夠感知高分辨率的圖像。視軸(或視線)212可在該凹和凝視點之間繪出且表示用戶沿著其注視的實際路徑。相反,光軸(或瞳孔軸)208可繪出為通過瞳孔的中心且正交于晶狀體214的表面。光軸208表現(xiàn)為指示用戶正沿著其注視的路徑,但是實際上從真正的視軸212偏離角度kappa(k)210。
眼睛跟蹤設(shè)備通常依靠眼睛108的視覺檢查以估計光軸208??赏ㄟ^測量瞳孔(在晶狀體214的中心)正面向的方向來估計光軸208。換句話說,光軸在瞳孔的中心正交于晶狀體214的表面。然而kappa角度210因人而異,且必須通過對每個用戶的校準過程來估計,這是因為需要計算視軸。kappa角度210可表達為兩個相對正交分量phi(φ)和theta(θ)的合成,這兩個分量可以分別對應(yīng)于垂直維度和水平維度上的偏離。
除了kappa角度210之外,兩個其他的解剖學(xué)參數(shù)可被用于眼睛跟蹤校準:角膜曲率半徑(r)以及瞳孔平面與角膜曲率中心之間的距離(d)。
圖3圖示了符合本公開示例實施例的對象跟蹤300。人類眼睛通常以三種主要模式的其中一種進行操作:(1)凝視——其中眼睛維持對單個位置的視覺注視;(2)掃視——眼睛或頭部的快速移動,其通常發(fā)生在兩個凝視之間;以及(3)平滑追蹤——其中眼睛緊緊跟隨移動的對象。圖2圖示了沿路徑移動的對象(汽車)在多個位置和對應(yīng)時間點:t1、t2……tn302、304、306處的平滑追蹤。人類視覺系統(tǒng)本能地或反射性地跟隨移動的對象。
在某些實施例中,針對不同地移動的對象搜索由面向場景攝像機提供的視野,并且眼睛的相關(guān)聯(lián)平滑追蹤運動由眼睛跟蹤攝像機捕獲。當在足夠置信度的情況下發(fā)現(xiàn)對象運動和平滑追蹤運動之間的匹配時,匹配數(shù)據(jù)可被寄存或存儲在系統(tǒng)數(shù)據(jù)庫中。然后如下面所描述的,基于該數(shù)據(jù)來計算校準參數(shù)。
圖4圖示了符合本公開的示例實施例的框圖400。眼睛跟蹤校準系統(tǒng)被示出包括注視估計模塊404、場景分析模塊406、對象軌跡匹配模塊408和校準模塊410。
注視估計模塊404可以被配置為接收來自眼睛跟蹤攝像機106的圖像,并基于那些圖像估計用戶眼睛108在一段時間內(nèi)在多個點處的注視角度。注視角度對應(yīng)于光軸208,并且可使用在眼睛跟蹤領(lǐng)域中已知的任何合適的技術(shù)來估計。每一個注視角度點可與時間標記相關(guān)聯(lián)。
場景分析模塊406可被配置為分析從面向場景攝像機接收的視頻流,以檢測移動的對象并估計那些對象在一段時間內(nèi)在多個點處的角度位置。每一個對象點可與時間標記相關(guān)聯(lián)。對象檢測和識別可使用下面方法中的一個或多個來執(zhí)行:模板匹配、光流跟蹤、背景分割、尺度不變特征變換(sift)匹配、粒子濾波和/或正-負跟蹤。
對象運動檢測器可被配置為根據(jù)下面的準則中的一個或多個來拒絕不適于眼睛跟蹤校準的對象:
(a)對象視覺尺寸——大對象可能增加關(guān)于用戶注視點的不確定性。
(b)對象視覺速度-平滑跟蹤速度通常限于約每秒30度的最大值。
(c)對象運動——可能難以從凝視和掃視區(qū)分出相對小的對象運動。
(d)對象自遮擋——遮擋自己(例如,沿它們自己的軸旋轉(zhuǎn))的對象可能創(chuàng)建與該對象主體的總體運動不一致的注視模式。
(e)對象反差——具有相對低反差的對象可能增加關(guān)于用戶注視點的不確定性。
(f)對象區(qū)別性——當許多對象以相似模式移動時,運動可能增加關(guān)于用戶的注視正在跟蹤哪一個對象的不確定性。
另外,在某些實施例中,慣性傳感器可被采用來測量在世界坐標中面向場景攝像機的運動??梢跃芙^利用攝像機確定為在移動(即在真實世界中沒有移動)的對象。
對象軌跡匹配模塊408可被配置為將對象運動數(shù)據(jù)與注視數(shù)據(jù)進行匹配。對象運動點在用戶眼睛的坐標系中被轉(zhuǎn)換為光線。這可基于以下假設(shè):對象和面向場景攝像機之間的距離與攝像機和眼睛之間的距離相比相對大,在可佩戴設(shè)備中,攝像機和眼睛之間的距離可能只有幾厘米??商娲兀谀承嵤├?,深度或距離感測設(shè)備可被采用來估計對象和面向場景攝像機之間的距離。例如,立體攝像機可用于這個目的。
在這一點上,該對象軌跡匹配模塊408具有對象坐標[θi,φi,ti]obj和眼睛注視坐標[θj+θ0,φj+φ0,tj+t0]εye,其中θ0和φ0是校準角度(kappa)且t0表示兩個攝像機之間的時鐘采樣時間差??蓤?zhí)行重采樣以將對象坐標和眼睛注視坐標帶入共同的時間坐標系ti且消除t0偏離項。然后可以在所匹配的對象坐標和眼睛注視坐標之間計算距離測量結(jié)果,其最小化校準角度θ0和φ0:
在某些實施例中,該距離測量結(jié)果可以是歐幾米德范數(shù),即
在某些實施例中,附加的校準參數(shù)可被估計以包括角膜曲率半徑(r)以及瞳孔平面與角膜曲率中心之間的距離(d)。在這些實施例中,距離測量結(jié)果最小化計算包括r和d如下:
其中注視角度和校準參數(shù)r、d之間的函數(shù)關(guān)系可通過已知的方法從眼睛跟蹤設(shè)備的幾何結(jié)構(gòu)導(dǎo)出。數(shù)值優(yōu)化可經(jīng)受對每一個參數(shù)的預(yù)定義的約束。例如,參數(shù)可被限制在正常解剖學(xué)值的范圍之內(nèi)。
如果測得的距離超過閾值,則所匹配的數(shù)據(jù)可被拒絕。否則,所匹配的數(shù)據(jù)可被傳遞到校準模塊410。閾值可由統(tǒng)計模塊計算,該統(tǒng)計模塊計及與對象跟蹤和注視跟蹤相關(guān)聯(lián)的噪音以使匹配能滿足預(yù)定義的統(tǒng)計顯著性等級。將意識到的是,本公開的實施例依靠可以發(fā)生或可以不發(fā)生的自發(fā)對象跟蹤,不像假定用戶正在觀看通常為靜止點的已知對象的其他注視校準系統(tǒng)。因此,接受/拒絕準則對于確定用戶是否實際在注視對象是有用的,該對象通過場景分析模塊406來檢測。
校準模塊410可被配置為針對檢測到且被接受的一個或多個移動的對象收集如同模塊408提供的所匹配的對象運動數(shù)據(jù)和注視數(shù)據(jù)??梢灶A(yù)期對多個移動的對象的檢測和匹配改進在此描述的校準過程。
校準模塊410可配置為分析對象的運動的總空間覆蓋且判斷該覆蓋是否足以達到可接受的校準質(zhì)量。在某些實施例中,判斷標準可以基于達到或超出預(yù)定義的閾值的注視點極限。例如,
θmin<-30°,θmax>+30°,φmin<-20°,φmax>+20°
然后對象運動數(shù)據(jù)和注視數(shù)據(jù)的集合可在全部接受的對象上被優(yōu)化,使得對象運動數(shù)據(jù)和注視數(shù)據(jù)之間的距離測量結(jié)果將受制于校準角度θ0和φ0而最小化:
以生成作為結(jié)果的校準參數(shù)。相似地,在附加校準參數(shù)r、d要被估計的實施例中,該數(shù)值優(yōu)化可被表達為:
圖5圖示了符合本公開的一個示例實施例的操作500的流程圖。這些操作提供一種眼睛跟蹤系統(tǒng)的改進校準的方法。在操作510處,從面向場景攝像機接收視頻流。在操作520處,分析視頻流以檢測移動的對象,并估計移動的對象在一段時間內(nèi)的角位置。在操作530處,從眼睛跟蹤攝像機接收圖像并基于這些圖像在一段時間內(nèi)估計用戶眼睛的注視角度。在操作540處,針對每一個移動的對象,在對象角位置和注視角度之間計算第一距離測量結(jié)果。在操作550處,基于第一距離測量結(jié)果與距離測量結(jié)果閾值的比較,做出接受或拒絕每一個移動的對象在校準中使用的判斷。在操作560處,基于第二距離測量結(jié)果的最小化來估計眼睛跟蹤校準角度。在接受的移動的對象的角位置和注視角度之間計算第二距離測量結(jié)果。
圖6圖示了符合本公開的一個示例實施例的系統(tǒng)圖600。系統(tǒng)600可以是移動平臺610或計算設(shè)備,比如例如智能電話、智能平板計算機、個人數(shù)字助理(pda)、移動互聯(lián)網(wǎng)設(shè)備(mid)、雙用型平板計算機、筆記本計算機或者膝上型計算機,或者任何其他合適的設(shè)備。然而,將意識到的是,在此描述的系統(tǒng)的實施例不限于移動平臺,且在某些實施例中,系統(tǒng)600可以是工作站或臺式計算機。設(shè)備通??山?jīng)由顯示器元件660(比如例如觸摸屏、液晶顯示器(lcd)或者任何其他合適的顯示器類型)來向用戶呈現(xiàn)各種接口。
系統(tǒng)600示出為包括任何數(shù)量的處理器620和存儲器630。在某些實施例中,處理器620可實現(xiàn)為任何數(shù)量的處理器核心。處理器(或處理器核心)可以是任何類型的處理器,比如例如,微處理器、嵌入式處理器、數(shù)字信號處理器(dsp)、圖形處理器(gpu)、網(wǎng)絡(luò)處理器、現(xiàn)場可編程門陣列或配置為執(zhí)行代碼的其他設(shè)備。處理器可以是多線程核心,因為它們每一個核心可包括不止一個硬件線程上下文(或“邏輯處理器”)。存儲器630可耦合至處理器。存儲器630可以是本領(lǐng)域技術(shù)人員所已知的或以其他方式對于本領(lǐng)域技術(shù)人員可用的任何各種各樣的存儲器(包括存儲層級中的各層和/或高速緩沖存儲器)。將意識到的是,處理器和存儲器可被配置為存儲、托管和/或執(zhí)行一個或多個用戶應(yīng)用或其他軟件模塊。這些應(yīng)用可包括但不限于:例如,任何類型的計算、通信、數(shù)據(jù)管理、數(shù)據(jù)存儲和/或用戶接口任務(wù)。在某些實施例中,這些應(yīng)用可采用移動平臺610中的任何其他組件或與移動平臺610中的任何其他組件交互。
系統(tǒng)600還示出為包括網(wǎng)絡(luò)接口模塊640,其可包括無線通信能力,比如例如蜂窩通信、無線保真(wifi)、
系統(tǒng)600還示出為包括存儲系統(tǒng)650,例如硬盤驅(qū)動(hdd)或固態(tài)驅(qū)動(ssd)。
系統(tǒng)600還示出為包括輸入/輸出(i/o)系統(tǒng)或控制器650,其可以被配置為使能或者管理處理器620和系統(tǒng)600中的其他元件或在系統(tǒng)600之外的其他元件(未示出)之間的數(shù)據(jù)通信。
系統(tǒng)600進一步示出為包括眼睛跟蹤系統(tǒng)110、眼睛跟蹤校準系統(tǒng)102、面向場景攝像機104和眼睛跟蹤攝像機106,如前面描述的,它們被配置為提供具有改進的眼睛跟蹤校準的眼睛跟蹤能力。
將意識到的是,在某些實施例中,系統(tǒng)600中的各種組件可組合在片上系統(tǒng)(soc)架構(gòu)中。在某些實施例中,這些組件可以是硬件組件、固件組件、軟件組件或者硬件、固件或軟件的任何合適的組合。
在此描述的方法的實施例可以在一種系統(tǒng)中實現(xiàn),該系統(tǒng)包括其上個體地或組合地存儲有指令的一個或多個存儲介質(zhì),當所述指令由一個或多個處理器執(zhí)行時執(zhí)行該方法。在此,處理器可包括,例如系統(tǒng)cpu(如,核心處理器)和/或可編程電路。因此,意圖的是,根據(jù)在此描述的方法的操作可跨多個物理設(shè)備(比如例如在若干不同物理位置處的處理結(jié)構(gòu))分布。而且,意圖的是可以個體地或以子組合的方式執(zhí)行方法操作,如本領(lǐng)域技術(shù)人員將理解的。因此,并不是每一個流程圖中所有操作都需要被執(zhí)行,且本公開明確意圖這樣的操作的所有子組合都能實現(xiàn),如本領(lǐng)域普通技術(shù)人員將理解的。
存儲介質(zhì)可包括任何類型的有形介質(zhì),例如任何類型的盤,包括:軟盤、光學(xué)盤、致密盤只讀存儲器(cd-rom)、可重寫致密盤(cd-rw)、數(shù)字通用盤(dvd)和磁光盤;半導(dǎo)體器件,比如只讀存儲器(rom)、隨機存取存儲器(ram)(比如動態(tài)和靜態(tài)ram)、可擦除可編程只讀存儲器(eprom)、電可擦除可編程只讀存儲器(eeprom)、閃速存儲器、磁卡或光學(xué)卡或者適于存儲電子指令的任何類型的介質(zhì)。
如在此的任何實施例中所使用的,“電路”可以例如單個地或以任何組合地包括硬連線電路、可編程電路、狀態(tài)機電路,和/或存儲由可編程電路執(zhí)行的指令的固件。app可以體現(xiàn)為代碼或指令,所述代碼或指令可以在諸如主機處理器或其他可編程電路的可編程電路上執(zhí)行。如在此的任何實施例中所使用的,模塊可體現(xiàn)為電路。電路可體現(xiàn)為集成電路,比如集成電路芯片。
因此,本公開提供了用于眼睛跟蹤系統(tǒng)的改進校準的系統(tǒng)、設(shè)備、方法和計算機可讀介質(zhì)。接下來的示例涉及進一步的實施例。
根據(jù)示例1,提供了一種眼睛跟蹤校準系統(tǒng)。該系統(tǒng)可包括場景分析模塊,其被配置為從面向場景攝像機接收視頻流,并分析視頻流以檢測移動的對象和估計移動的對象在一段時間內(nèi)的角位置。本示例的系統(tǒng)也可以包括注視估計模塊,其被配置為從眼睛跟蹤攝像機接收圖像,并基于圖像來估計用戶眼睛在該段時間內(nèi)的注視角度。本示例的系統(tǒng)可進一步包括對象軌跡匹配模塊,其被配置為針對每一個移動的對象,計算對象角位置和注視角度之間的第一距離測量結(jié)果,且基于第一距離測量結(jié)果與距離測量結(jié)果閾值的比較,進一步判斷對于該每一個移動的對象在校準中使用的接受。本示例的系統(tǒng)可進一步包括校準模塊,其被配置為基于第二距離測量結(jié)果的最小化來估計眼睛跟蹤校準角度,在接受的移動的對象的角位置和注視角度之間計算第二距離測量結(jié)果。
示例2可包括示例1的主題,且場景分析模塊進一步被配置為基于模板匹配、光流跟蹤、背景分割、尺度不變特征變換(sift)匹配、粒子濾波和/或正-負跟蹤,來檢測移動的對象。
示例3可包括示例1和示例2中任一項的主題,且場景分析模塊進一步被配置為基于移動的對象的視覺尺寸超出尺寸閾值而拒絕移動的對象。
示例4可包括示例1-3中任一項的主題,且場景分析模塊進一步被配置為基于移動的對象的視覺速度超出速度閾值而拒絕移動的對象。
示例5可包括示例1-4中任一項的主題,且場景分析模塊進一步被配置為基于與移動的對象相關(guān)聯(lián)的注視角度的極限未能超出運動閾值的范圍的確定,而拒絕移動的對象。
示例6可包括示例1-5中任一項的主題,進一步包括慣性傳感器,其被配置為跟蹤面向場景攝像機的運動,使得場景分析模塊可進一步基于對象的運動與面向場景攝像機的運動的相關(guān)性,而拒絕移動的對象。
示例7可包括示例1-6中任一項的主題,且最小化基于牛頓-高斯算法或列文伯格-馬夸爾特算法。
示例8可包括示例1-7中任一項的主題,進一步包括深度測量設(shè)備,其被配置為估計移動的對象和面向場景攝像機之間的距離,所述距離用于移動的對象的位置從世界坐標系到眼睛坐標系的轉(zhuǎn)換。
示例9可包括示例1-8中任一項的主題,且對象軌跡匹配模塊進一步被配置為將所估計的對象角位置和所估計的注視角度重采樣至共同的時間坐標系。
根據(jù)示例10,提供了一種用于眼睛跟蹤校準的方法。該方法可包括從面向場景攝像機接收視頻流;分析視頻流以檢測移動的對象,并估計移動的對象在一段時間內(nèi)的角位置;從眼睛跟蹤攝像機接收圖像,并基于圖像來估計用戶眼睛在該段時間內(nèi)的注視角度;針對每一個移動的對象,計算對象角位置和注視角度之間的第一距離測量結(jié)果;基于第一距離測量結(jié)果與距離測量結(jié)果閾值的比較,判斷對于該每一個移動的對象在校準中使用的接受;以及基于第二距離測量結(jié)果的最小化來估計眼睛跟蹤校準角度,在接受的移動的對象的角位置和注視角度之間計算第二距離測量結(jié)果。
示例11可包括示例10中的主題,且進一步包括基于模板匹配、光流跟蹤、背景分割、尺度不變特征變換(sift)匹配、粒子濾波和/或正-負跟蹤,來檢測移動的對象。
示例12可包括示例10和示例11中任一項的主題,且進一步包括基于移動的對象的視覺尺寸超出尺寸閾值而拒絕移動的對象。
示例13可包括示例10-12中任一項的主題,且進一步包括基于移動的對象的視覺速度超出速度閾值而拒絕移動的對象。
示例14可包括示例10-13中任一項的主題,且進一步包括基于與移動的對象相關(guān)聯(lián)的注視角度的極限未能超出運動閾值的范圍的確定,而拒絕移動的對象。
示例15可包括示例10-14中任一項的主題,且進一步包括跟蹤面向場景攝像機的運動,并且基于對象的運動與面向場景攝像機的運動的相關(guān)性,而拒絕移動的對象。
示例16可包括示例10-15中任一項的主題,且最小化基于牛頓-高斯算法或列文伯格-馬夸爾特算法。
示例17可包括示例10-16中任一項的主題,且進一步包括估計移動的對象和面向場景攝像機之間的距離,所述距離用于移動的對象的位置從世界坐標系到眼睛坐標系的轉(zhuǎn)換。
示例18可包括示例10-17中任一項的主題,且進一步包括將所估計的對象角位置和所估計的注視角度重采樣至共同的時間坐標系。
根據(jù)示例19,提供了至少一個其上存儲有指令的計算機可讀存儲介質(zhì),所述指令當由處理器執(zhí)行時,導(dǎo)致施行根據(jù)示例10-18中任一項的方法的操作。
根據(jù)示例20,提供了一種用于眼睛跟蹤校準的系統(tǒng)。該系統(tǒng)可包括:用于從面向場景攝像機接收視頻流的構(gòu)件;用于分析視頻流以檢測移動的對象,并估計移動的對象在一段時間內(nèi)的角位置的構(gòu)件;用于從眼睛跟蹤攝像機接收圖像,并基于圖像來估計用戶眼睛在該段時間內(nèi)的注視角度的構(gòu)件;用于針對每一個移動的對象,計算對象角位置和注視角度之間的第一距離測量結(jié)果的構(gòu)件;用于基于第一距離測量結(jié)果與距離測量結(jié)果閾值的比較,判斷對于該每一個移動的對象在校準中使用的接受的構(gòu)件;以及用于基于第二距離測量結(jié)果的最小化來估計眼睛跟蹤校準角度的構(gòu)件,在接受的移動的對象的角位置和注視角度之間計算第二距離測量結(jié)果。
示例21可包括示例20中的主題,且進一步包括用于基于模板匹配、光流跟蹤、背景分割、尺度不變特征變換(sift)匹配、粒子濾波和/或正-負跟蹤,來檢測移動的對象的構(gòu)件。
示例22可包括示例20和示例21中任一項的主題,且進一步包括用于基于移動的對象的視覺尺寸超出尺寸閾值而拒絕移動的對象的構(gòu)件。
示例23可包括示例20-22中任一項的主題,且進一步包括用于基于移動的對象的視覺速度超出速度閾值而拒絕移動的對象的構(gòu)件。
示例24可包括示例20-23中任一項的主題,且進一步包括用于基于與移動的對象相關(guān)聯(lián)的注視角度的極限未能超出運動閾值的范圍的確定,而拒絕移動的對象的構(gòu)件。
示例25可包括示例20-24中任一項的主題,且進一步包括用于跟蹤面向場景攝像機的運動,并且基于對象的運動與面向場景攝像機的運動的相關(guān)性,而拒絕移動的對象的構(gòu)件。
示例26可包括示例20-25中任一項的主題,且最小化基于牛頓-高斯算法或列文伯格-馬夸爾特算法。
示例27可包括示例20-26中任一項的主題,且進一步包括用于估計移動的對象和面向場景攝像機之間的距離的構(gòu)件,所述距離用于移動的對象的位置從世界坐標系到眼睛坐標系的轉(zhuǎn)換。
示例28可包括示例20-27中任一項的主題,且進一步包括用于將所估計的對象角位置和所估計的注視角度重采樣至共同的時間坐標系的構(gòu)件。
在此已經(jīng)采用的術(shù)語和表達被用作描述性術(shù)語而非限制性術(shù)語,并且在此類術(shù)語和表達的使用中沒有排除所示出和描述的特征(或其部分)的任何等同物的意圖,并且應(yīng)認識到,在權(quán)利要求范圍內(nèi)的各種修改是可能的。相應(yīng)地,權(quán)利要求意圖覆蓋所有此類等同物。在此已經(jīng)描述了各種特征、方面和實施例。如本領(lǐng)域技術(shù)人員將理解的,這些特征、方面和實施例易于彼此組合以及進行變型和修改。因此,應(yīng)當認為本公開涵蓋了此類組合、變型和修改。