本發(fā)明涉及視線跟蹤領(lǐng)域，尤其涉及一種自由空間頭戴式視線跟蹤系統(tǒng)。
背景技術(shù)：
：視線跟蹤技術(shù)主要是利用眼動(dòng)測(cè)量設(shè)備記錄眼球的運(yùn)動(dòng)情況，從而判斷出人的視線方向，達(dá)到跟蹤人視線的目的。視覺(jué)是人們獲取信息的主要方式，由于視線具有直接性、自然性和雙向性等特點(diǎn)，使得視線跟蹤技術(shù)在人機(jī)交互、心理及行為分析等領(lǐng)域有著廣闊的應(yīng)用前景。目前的視線跟蹤系統(tǒng)主要基于圖像處理和計(jì)算機(jī)視覺(jué)的方法，大致可以分為遠(yuǎn)距離桌面式設(shè)備視線跟蹤方法和頭戴式設(shè)備視線跟蹤方法。遠(yuǎn)距離桌面式視線跟蹤系統(tǒng)由于距離眼部較遠(yuǎn)，對(duì)攝像頭的分辨率等性能有較高的要求，對(duì)頭部姿態(tài)和運(yùn)動(dòng)范圍的限制較大。頭戴式視線跟蹤系統(tǒng)的眼部視頻采集設(shè)備固定在頭上，實(shí)時(shí)采集眼部圖像，同時(shí)利用場(chǎng)景攝像頭拍攝場(chǎng)景圖像，利用算法從拍攝的眼部圖像中提取瞳孔中心等位置信息，進(jìn)而計(jì)算出注視點(diǎn)在場(chǎng)景圖像中的位置?，F(xiàn)有的頭戴式視線跟蹤系統(tǒng)常采用二維視線跟蹤模型，最常見的就是以瞳孔中心或者瞳孔-角膜反射向量作為視線特征量，再通過(guò)事先設(shè)定的標(biāo)定過(guò)程建立眼動(dòng)信息和凝視點(diǎn)之間的關(guān)系。這類方法的標(biāo)定方式較為復(fù)雜，穿戴者頭部難以自由移動(dòng)，使用過(guò)程中設(shè)備在穿戴者頭部不能移動(dòng)，難以在實(shí)際應(yīng)用中使用。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提供一種自由空間頭戴式視線跟蹤系統(tǒng)，其可以跟蹤計(jì)算穿戴者在三維自由空間中視線凝視區(qū)域的三維坐標(biāo)，拍攝穿戴者面前的場(chǎng)景視頻，并在場(chǎng)景視頻中標(biāo)注出穿戴者的凝視區(qū)域。本系統(tǒng)無(wú)需繁瑣的訓(xùn)練和標(biāo)定，穿戴者戴上即可使用；穿戴者頭部可以自由活動(dòng)，使用過(guò)程中設(shè)備在穿戴者頭部的可以自由移動(dòng)；經(jīng)過(guò)簡(jiǎn)單的標(biāo)定之后，可以獲得高精度的視線跟蹤效果。本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：一種自由空間頭戴式視線跟蹤系統(tǒng)，包括：頭戴式視頻采集裝置，同時(shí)采集4路近紅外眼部視頻和1路場(chǎng)景視頻，所述4路近紅外眼部視頻包括來(lái)自佩戴該頭戴式視頻采集裝置的穿戴者的左眼和右眼的各2路近紅外眼部視頻；立體視覺(jué)估算雙眼光軸單元，通過(guò)立體視覺(jué)的方法直接估算雙眼瞳孔和角膜球心坐標(biāo)，計(jì)算雙眼光軸直線方程；以及雙眼視線及凝視點(diǎn)估算單元，根據(jù)眼球Kappa角和雙眼光軸直線方程估算雙眼視軸直線方程，進(jìn)而計(jì)算出凝視點(diǎn)坐標(biāo)，映射出凝視點(diǎn)在場(chǎng)景視頻中的位置并進(jìn)行標(biāo)注，所述Kappa角是每個(gè)眼球的光軸和視軸之間的固定夾角可選地，所述頭戴式視頻采集裝置包括：固定裝置，主要包括2個(gè)鏡框和中間連接的鼻梁；眼部視頻采集裝置，包括在每個(gè)鏡框上放置的2個(gè)用于采集眼部視頻的近紅外微距攝像頭，兩個(gè)鏡框上共計(jì)放置4個(gè)近紅外微距攝像頭，其中：所述每個(gè)鏡框處的2個(gè)近紅外微距攝像頭平行放置在鏡框的下方；穿戴者戴上該頭戴式視頻采集裝置后，近紅外微距攝像頭拍攝到穿戴者的眼睛的全部區(qū)域；近紅外光源照明裝置，包括在每個(gè)鏡框周邊放置的2個(gè)以上的近紅外光源，所述近紅外光源的形狀和彼此之間的距離使眼部近紅外光照強(qiáng)度均勻適度，并且使攝像頭采集到的眼部視頻能看到清晰的瞳孔和每個(gè)近紅外光源在角膜表面反射形成的光斑；場(chǎng)景視頻采集裝置，包括在固定裝置的鼻梁上方放置的1個(gè)廣角可見光攝像頭，用于拍攝場(chǎng)景視頻?？蛇x地，所述固定裝置固定在眼鏡或其他頭戴式設(shè)備上?？蛇x地，所述近紅外微距攝像頭鏡頭上鍍上近紅外濾光膜或者鏡頭前面覆蓋近紅外濾光片。可選地，所述立體視覺(jué)估算雙眼光軸單元包括：眼部視頻中瞳孔和光斑中心提取單元，基于頭戴式視頻采集裝置采集到的4路眼部視頻，提取各路視頻中瞳孔和光斑中心的位置，其中，在眼部攝像頭采集到的眼部視頻中，在近紅外光照射下，瞳孔部分和周圍灰度值差別巨大且為橢圓形；近紅外光源在角膜表面反射形成的光斑也有明顯的灰度特征，根據(jù)瞳孔和光斑的灰度及形狀特征提取瞳孔和光斑中心的位置坐標(biāo)；立體視覺(jué)估算瞳孔和光斑中心三維坐標(biāo)單元，先標(biāo)定每個(gè)攝像頭的內(nèi)參數(shù)，然后再標(biāo)定出每個(gè)眼睛處2個(gè)攝像頭之間的旋轉(zhuǎn)平移矩陣，在每個(gè)眼睛處，根據(jù)2個(gè)攝像頭之間的旋轉(zhuǎn)平移矩陣和檢測(cè)到的瞳孔和光斑在圖像中的位置，通過(guò)立體視覺(jué)的方法，以其中任意選定的一個(gè)攝像頭的坐標(biāo)系為基準(zhǔn)，計(jì)算出瞳孔和每個(gè)光斑中心的三維坐標(biāo)；以及雙眼角膜球心三維坐標(biāo)及光軸估算單元，根據(jù)人體眼球模型，近紅外光源在眼球角膜表面反射形成的光斑為球面反射成像，立體視覺(jué)計(jì)算得到的光斑三維坐標(biāo)為近紅外光源在角膜球面反射形成的虛像位置坐標(biāo)，真實(shí)的近紅外光源與其虛像的連線經(jīng)過(guò)角膜球心，根據(jù)兩個(gè)紅外LED及其對(duì)應(yīng)虛像的三維坐標(biāo)，計(jì)算出角膜球心的三維坐標(biāo)，每個(gè)眼球角膜球心和瞳孔中心連線即為眼球光軸，通過(guò)立體視覺(jué)的方式獲得角膜球心和瞳孔中心的三維坐標(biāo)后，計(jì)算出每個(gè)眼球光軸的直線方程?？蛇x地，自由空間頭戴式視線跟蹤系統(tǒng)還包括雙眼Kappa角校正單元，通過(guò)穿戴者凝視外部近紅外光源校正雙眼Kappa角，進(jìn)一步提高視線跟蹤精度，其中，當(dāng)穿戴者凝視外部近紅外光源時(shí)，外部近紅外光源會(huì)在雙眼眼球角膜表面反射形成虛像，每個(gè)眼球處，該外部近紅外光源與虛像連線經(jīng)過(guò)眼球角膜球心，為該眼球此時(shí)的視軸，通過(guò)立體視覺(jué)求得該虛像的三維坐標(biāo)，獲得雙眼視軸的直線方程，結(jié)合雙眼光軸直線方程，進(jìn)而算出每個(gè)眼球的Kappa角?？蛇x地，所述雙眼視線及凝視點(diǎn)估算單元執(zhí)行以下操作：根據(jù)雙眼光軸直線方程及Kappa角的經(jīng)驗(yàn)值或標(biāo)定后的精確值，獲得視軸的直線方程；標(biāo)定左右雙眼處前面選取的基準(zhǔn)攝像頭坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣，以其中一個(gè)攝像頭的坐標(biāo)系為基準(zhǔn)世界坐標(biāo)系，根據(jù)左右雙眼的視軸直線方程和旋轉(zhuǎn)平移矩陣，計(jì)算其穿戴者關(guān)注的區(qū)域位置三維坐標(biāo)；標(biāo)定場(chǎng)景攝像頭坐標(biāo)系與基準(zhǔn)世界坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣，根據(jù)該旋轉(zhuǎn)平移矩陣和場(chǎng)景攝像頭投影矩陣，計(jì)算凝視點(diǎn)在場(chǎng)景視頻中的位置，并將其標(biāo)出。本發(fā)明通過(guò)頭戴式視頻采集裝置采集4路眼部視頻和1路場(chǎng)景視頻，采用立體視覺(jué)的方法直接估算穿戴者雙眼眼球瞳孔和角膜球心的三維坐標(biāo)，計(jì)算出雙眼光軸直線方程，結(jié)合雙眼Kappa角的經(jīng)驗(yàn)值或標(biāo)定后的精確值，即可獲得雙眼視軸直線方程，進(jìn)而估算出凝視點(diǎn)的三維坐標(biāo)并在場(chǎng)景視頻中標(biāo)出。通過(guò)穿戴者凝視近紅外燈，可以精確標(biāo)定雙眼Kappa角，進(jìn)一步提高跟蹤精度。本發(fā)明能跟蹤穿戴者在三維自由空間中雙目視線凝視點(diǎn)三維坐標(biāo)，并在場(chǎng)景視頻中標(biāo)出；無(wú)需繁瑣的訓(xùn)練和標(biāo)定，穿戴者戴上即可使用，用戶體驗(yàn)好；穿戴者頭部可以自由活動(dòng)，使用過(guò)程中設(shè)備在穿戴者頭部的可以自由移動(dòng)；經(jīng)過(guò)簡(jiǎn)單的標(biāo)定之后，可以獲得高精度的視線跟蹤效果。附圖說(shuō)明為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，而不對(duì)本發(fā)明的保護(hù)范圍構(gòu)成限制。圖1為本發(fā)明實(shí)施例提供的自由空間視線跟蹤光路圖。圖2為本發(fā)明實(shí)施例提供的自由空間頭戴式視線跟蹤系統(tǒng)框圖。圖3為本發(fā)明實(shí)施例提供的頭戴式視頻采集裝置結(jié)構(gòu)示意圖。圖4為本發(fā)明實(shí)施例提供的近紅外LED光源在角膜球面反射成像示意圖。圖5為本發(fā)明實(shí)施例提供的近紅外LED光源與虛像連接交于球心示意圖。圖6為本發(fā)明實(shí)施例提供的凝視外部近紅外光源校正Kappa角示意圖。具體實(shí)施方式下面對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明的保護(hù)范圍。本發(fā)明實(shí)施例提供一種自由空間頭戴式視線跟蹤系統(tǒng)的實(shí)現(xiàn)方法，其可以跟蹤穿戴者在三維自由空間中雙目視線凝視點(diǎn)三維坐標(biāo)，并在場(chǎng)景視頻中標(biāo)出；無(wú)需繁瑣的訓(xùn)練和標(biāo)定，穿戴者戴上即可使用，用戶體驗(yàn)好；用戶頭部可以自由活動(dòng)，使用過(guò)程中設(shè)備在穿戴者頭部的可以自由移動(dòng)；經(jīng)過(guò)簡(jiǎn)單的標(biāo)定之后，可以獲得高精度的視線跟蹤效果。如圖1所示為自由空間視線跟蹤光路圖。根據(jù)人眼的真實(shí)結(jié)構(gòu)，考慮了眼球鞏膜和角膜曲率的不同，整個(gè)眼球形狀類似與兩個(gè)不同大小的球體嵌套而成。人雙眼視線的交點(diǎn)即為關(guān)注的凝視點(diǎn)，視軸即是凝視點(diǎn)和視網(wǎng)膜黃斑中心點(diǎn)之間的連線，該連線經(jīng)過(guò)角膜球心。光軸為連接瞳孔中心和角膜球心的直線，視軸和光軸存在一定的夾角被稱為Kappa角。每個(gè)人眼球的Kappa角都是固定的，一般在5°左右。根據(jù)該光路圖，本發(fā)明先算得雙眼瞳孔和角膜球心三維坐標(biāo)，求出雙眼光軸直線方程，結(jié)合Kappa角的經(jīng)驗(yàn)值或校正后的精確值，即可求得雙眼視軸直線方程，進(jìn)而算出凝視點(diǎn)。如圖2所示為自由空間頭戴式視線跟蹤系統(tǒng)框圖。本發(fā)明主要包括：頭戴式視頻采集裝置10，眼部視頻中瞳孔和光斑中心提取單元20，立體視覺(jué)估算瞳孔和光斑中心三維坐標(biāo)單元30，雙眼角膜球心三維坐標(biāo)及光軸估算單元40，雙眼Kappa角校正單元50，雙眼視線及凝視點(diǎn)估算單元60。頭戴式視頻采集裝置10包括：固定裝置，眼部視頻采集裝置、近紅外光源照明裝置和場(chǎng)景視頻采集裝置。如圖3所示為頭戴式視頻采集裝置示意圖。如圖3所示，固定裝置主要包括2個(gè)鏡框和中間連接的鼻梁，可以固定在眼鏡或其他頭戴式設(shè)備上。眼部視頻采集裝置具體是通過(guò)在每個(gè)鏡框上放置2個(gè)近紅外微距攝像頭采集眼部視頻，兩個(gè)眼睛共計(jì)4個(gè)近紅外攝像頭。根據(jù)本發(fā)明的實(shí)施例，所述每個(gè)鏡框處的2個(gè)近紅外微距攝像頭盡量平行放置在鏡框的下方，間距1cm左右，能排除眼部睫毛等的干擾。穿戴者戴上該裝置后，近紅外微距攝像頭拍攝到穿戴者的眼睛的全部區(qū)域。攝像頭鏡頭上鍍上近紅外濾光膜或者鏡頭前面覆蓋近紅外濾光片，能濾除可見光，排除環(huán)境光照對(duì)眼部視頻采集的影響。近紅外光源照明裝置可以包括在每個(gè)鏡框周邊放置的2個(gè)以上的近紅外光源，近紅外光源形狀和布局應(yīng)當(dāng)使眼部近紅外光照強(qiáng)度均勻適度，攝像頭采集到的眼部視頻能看到清晰的瞳孔和每個(gè)近紅外光源在角膜表面反射形成的光斑。根據(jù)本發(fā)明的實(shí)施例，可以在每個(gè)鏡框的上邊緣和下邊緣分別放置兩個(gè)近紅外光源。場(chǎng)景視頻采集裝置是在固定裝置鼻梁上方放置1個(gè)廣角可見光攝像頭，拍攝場(chǎng)景視頻。眼部視頻中瞳孔和光斑中心提取單元20，基于頭戴式視頻采集裝置采集到的4路眼部視頻，提取各路視頻中瞳孔和光斑中心的位置。在眼部攝像頭采集到的眼部視頻中，在近紅外光照射下，瞳孔部分和周圍灰度值差別巨大且為橢圓形；近紅外光源在角膜表面反射形成的光斑也有明顯的灰度特征，且基本為圓形或橢圓形。根據(jù)瞳孔和光斑的灰度及形狀特征可以提取其中心位置坐標(biāo)。對(duì)于瞳孔中心坐標(biāo)檢測(cè)，其基本步驟如下：先根據(jù)邊緣或灰度信息粗定位瞳孔中心坐標(biāo)；再通過(guò)星射線法等精確檢測(cè)瞳孔邊緣；最后通過(guò)橢圓擬合及迭代篩選去噪精確定位瞳孔中心坐標(biāo)。對(duì)于耀斑中心的檢測(cè)，由于紅外LED相對(duì)于攝像頭的位置確定，攝像頭拍攝到的每個(gè)LED在角膜上形成的耀斑位置變化很小，特別是各LED形成的耀斑相對(duì)位置不會(huì)變化?；谖恢每梢詫⒍鄠€(gè)耀斑簡(jiǎn)單分割開，并對(duì)應(yīng)到相應(yīng)的LED。由于耀斑亮度明顯高于圖像其他部分，且為橢圓形。提取耀斑中心的算法與提取瞳孔中心基本一致。立體視覺(jué)估算瞳孔和光斑中心三維坐標(biāo)單元30，計(jì)算機(jī)立體視覺(jué)估算瞳孔和耀斑中心三維坐標(biāo)的基礎(chǔ)是完成多個(gè)攝像機(jī)標(biāo)定。攝像機(jī)進(jìn)行標(biāo)定后，不僅能夠得到準(zhǔn)確的各個(gè)攝像機(jī)內(nèi)外參數(shù)，而且還能夠得到多個(gè)攝像機(jī)之間的位置關(guān)系，即各攝像頭坐標(biāo)系之間的旋轉(zhuǎn)矩陣R和平移矢量T。攝像機(jī)最基本的成像模型就是針孔模型，針孔模型是基于共線性原理，即將現(xiàn)實(shí)空間中的物體點(diǎn)通過(guò)投影中心投影到成像平面上，通常把攝像機(jī)坐標(biāo)系的原點(diǎn)作為投影中心?？紤]攝像機(jī)內(nèi)部參數(shù)，整個(gè)投影矩陣如式1所示。xy1=sfx0Cx0fyCy001r11r12r13t1r21r22r23t2r31r32r33t3XYZ1---(1)]]>M=fx0Cx0fyCy001---(2)]]>W=[Rt]=r11r12r13t1r21r22r23t2r31r32r33t3---(3)]]>這里(X,Y,Z)是一個(gè)點(diǎn)的世界坐標(biāo)，(x,y)是點(diǎn)投影在圖像平面的坐標(biāo)，以像素為單位。s為尺度因子。如式2所示，M為攝像機(jī)內(nèi)參數(shù)矩陣，(Cx,Cy)是基準(zhǔn)點(diǎn)(通常在圖像的中心)，fx、fy是以像素為單位的焦距。內(nèi)參數(shù)矩陣不依賴場(chǎng)景的視圖，一旦計(jì)算出，可以被重復(fù)使用(只要焦距固定)。如式3所示，旋轉(zhuǎn)－平移矩陣W＝[R|t]被稱作外參數(shù)矩陣，它用來(lái)描述攝像機(jī)坐標(biāo)系相對(duì)于固定的世界坐標(biāo)系的旋轉(zhuǎn)和平移變換。也就是[R|t]將世界坐標(biāo)系中點(diǎn)(X,Y,Z)的坐標(biāo)變換到攝像機(jī)坐標(biāo)系中的坐標(biāo)。通過(guò)已知在世界坐標(biāo)系中位置的標(biāo)定靶，如棋盤格標(biāo)定靶，利用OpenCV中的單攝像機(jī)標(biāo)定算法，如張正友標(biāo)定法，我們可以較為精確地獲得各攝像機(jī)的尺度因子、攝像機(jī)內(nèi)部參數(shù)矩陣M，以及攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)-平移矩陣W。通過(guò)兩個(gè)攝像頭同時(shí)拍攝到的多幅標(biāo)定靶照片，結(jié)合已經(jīng)標(biāo)定得到的每個(gè)攝像頭的內(nèi)參數(shù)矩陣，使用OpenCV中的雙目攝像頭標(biāo)定算法，可以獲得各攝像機(jī)坐標(biāo)系之間的旋轉(zhuǎn)-平移矩陣。以雙目攝像頭某一攝像頭坐標(biāo)系為基準(zhǔn)，根據(jù)標(biāo)定好的雙目攝像頭的內(nèi)參數(shù)矩陣M1、M2，旋轉(zhuǎn)-平移矩陣W1、W2，以及雙目攝像頭拍攝圖像中對(duì)應(yīng)的[x1,y1]，[x2,y2]圖像平面坐標(biāo)，可以獲得式4、5。聯(lián)立兩式，采用最小二乘法可以解得三維空間中坐標(biāo)[X,Y,Z]。根據(jù)從雙目攝像頭拍攝到的眼部視頻圖像中檢測(cè)到的瞳孔中心和耀斑中心的位置，即可算出眼球瞳孔中心和耀斑中心的三維坐標(biāo)。x1y11=s1M1W1XYZ1---(4)]]>x2y21=s2M2W2XYZ1---(5)]]>雙眼角膜球心三維坐標(biāo)及光軸估算單元40。如圖4所示，單個(gè)近紅外LED燈在角膜表面反射形成的耀斑，是球面鏡反射成像。根據(jù)球面鏡反射成像規(guī)律，通過(guò)雙目攝像頭計(jì)算得到的耀斑三維坐標(biāo)為該LED燈球面反射形成的虛像位置坐標(biāo)。如圖5所示，根據(jù)球面鏡反射成像規(guī)律，真實(shí)的紅外LED燈與其虛像的連線經(jīng)過(guò)角膜球心，根據(jù)兩個(gè)紅外LED及其對(duì)應(yīng)虛像的三維坐標(biāo)，即可以計(jì)算出角膜球心的三維坐標(biāo)。通過(guò)雙目視覺(jué)的方式獲得角膜球心和瞳孔中心的三維坐標(biāo)后，即可算出每個(gè)眼球光軸的直線方程。雙眼Kappa角校正單元50，通過(guò)凝視外部近紅外LED燈的方式進(jìn)行Kappa角的校正。如圖6所示，當(dāng)穿戴者凝視外部的近紅外LED燈S時(shí)，燈S同時(shí)也會(huì)在雙眼角膜表面球面反射形成虛像s1、s2。燈S與眼球1處形成的虛像s1的連線Ss1經(jīng)過(guò)角膜球心c1，為眼球1的視軸直線；燈S與眼球2處形成的虛像s2的連線Ss2經(jīng)過(guò)角膜球心c2，為眼球2的視軸直線。從眼球1處的雙目攝像頭O11和O12拍攝到的眼部視頻中提取紅外LED燈S形成的耀斑，通過(guò)立體視覺(jué)的方法算出虛像s1的三維坐標(biāo)，結(jié)合前面求得的眼球1角膜球心c1的三維坐標(biāo)即可求得眼球1的視軸直線方程；從眼球2處的雙目攝像頭O21和O22拍攝到的眼部視頻中提取紅外LED燈S形成的耀斑，通過(guò)立體視覺(jué)的方法算出虛像s2的三維坐標(biāo)，結(jié)合前面求得的眼球2角膜球心c2的三維坐標(biāo)即可求得眼球2的視軸直線方程。再結(jié)合前面求得的雙眼光軸直線方程，可以算出穿戴者雙眼視軸和光軸的夾角Kappa角。雙眼視線及凝視點(diǎn)估算單元60，估算雙眼視軸直線方程，進(jìn)而計(jì)算出凝視點(diǎn)坐標(biāo)，映射出其在場(chǎng)景視頻中的位置并進(jìn)行標(biāo)注。如圖2所示，根據(jù)Kappa角的經(jīng)驗(yàn)值或標(biāo)定校正后的精確值，結(jié)合兩眼處獲得的光軸直線方程，可以估算出雙眼的視軸直線方程。根據(jù)標(biāo)定得到的左右雙眼處選取的基準(zhǔn)攝像頭坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣，以其中一個(gè)攝像頭的坐標(biāo)系為基準(zhǔn)世界坐標(biāo)系，根據(jù)左右雙眼的視軸直線方程，計(jì)算其穿戴者關(guān)注的區(qū)域位置三維坐標(biāo)。根據(jù)得到的場(chǎng)景攝像頭坐標(biāo)系與基準(zhǔn)世界坐標(biāo)系之間的旋轉(zhuǎn)平移矩陣和場(chǎng)景攝像頭投影矩陣，已知凝視點(diǎn)在世界坐標(biāo)系中的3維坐標(biāo)，經(jīng)過(guò)旋轉(zhuǎn)平移變換即可獲得該凝視點(diǎn)在場(chǎng)景攝像頭坐標(biāo)系中的坐標(biāo)，結(jié)合通過(guò)針孔成像模型中的投影矩陣，可以獲得其在場(chǎng)景攝像頭圖像中的位置，進(jìn)而進(jìn)行標(biāo)記。本發(fā)明能跟蹤穿戴者在三維自由空間中雙目視線凝視點(diǎn)三維坐標(biāo)，并在場(chǎng)景視頻中標(biāo)出；無(wú)需繁瑣的訓(xùn)練和標(biāo)定，穿戴者戴上即可使用，用戶體驗(yàn)好；穿戴者頭部可以自由活動(dòng)，使用過(guò)程中設(shè)備在穿戴者頭部的可以自由移動(dòng)；經(jīng)過(guò)簡(jiǎn)單的標(biāo)定之后，可以獲得高精度的視線跟蹤效果。盡管已經(jīng)參照本發(fā)明的特定示例性實(shí)施例示出并描述了本發(fā)明，但是本領(lǐng)域技術(shù)人員應(yīng)該理解，在不背離所附權(quán)利要求及其等同物限定的本發(fā)明的精神和范圍的情況下，可以對(duì)本發(fā)明進(jìn)行形式和細(xì)節(jié)上的多種改變。因此，本發(fā)明的范圍不應(yīng)該限于上述實(shí)施例，而是應(yīng)該不僅由所附權(quán)利要求來(lái)進(jìn)行確定，還由所附權(quán)利要求的等同物來(lái)進(jìn)行限定。當(dāng)前第1頁(yè)1 2 3