1.一種自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,包括:
頭戴式視頻采集裝置,同時采集4路近紅外眼部視頻和1路場景視頻,所述4路近紅外眼部視頻包括來自佩戴該頭戴式視頻采集裝置的穿戴者的左眼和右眼的各2路近紅外眼部視頻;
立體視覺估算雙眼光軸單元,通過立體視覺的方法直接估算雙眼瞳孔和角膜球心坐標,計算雙眼光軸直線方程;以及
雙眼視線及凝視點估算單元,根據眼球Kappa角和雙眼光軸直線方程估算雙眼視軸直線方程,進而計算出凝視點坐標,映射出凝視點在場景視頻中的位置并進行標注,所述Kappa角是每個眼球的光軸和視軸之間的固定夾角。
2.根據權利要求1所述自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,所述頭戴式視頻采集裝置包括:
固定裝置,主要包括2個鏡框和中間連接的鼻梁;
眼部視頻采集裝置,包括在每個鏡框上放置的2個用于采集眼部視頻的近紅外微距攝像頭,兩個鏡框上共計放置4個近紅外微距攝像頭,其中:所述每個鏡框處的2個近紅外微距攝像頭平行放置在鏡框的下方;穿戴者戴上該頭戴式視頻采集裝置后,近紅外微距攝像頭拍攝到穿戴者的眼睛的全部區(qū)域;
近紅外光源照明裝置,包括在每個鏡框周邊放置的2個以上的近紅外光源,所述近紅外光源的形狀和彼此之間的距離使眼部近紅外光照強度均勻適度,并且使攝像頭采集到的眼部視頻能看到清晰的瞳孔和每個近紅外光源在角膜表面反射形成的光斑;
場景視頻采集裝置,包括在固定裝置的鼻梁上方放置的1個廣角可見光攝像頭,用于拍攝場景視頻。
3.根據權利要求2所述的自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,所述固定裝置固定在眼鏡或其他頭戴式設備上。
4.根據權利要求2所述的自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,所述近紅外微距攝像頭鏡頭上鍍上近紅外濾光膜或者鏡頭前面覆蓋近紅外濾光片。
5.根據權利要求1所述的自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,所述立體視覺估算雙眼光軸單元包括:
眼部視頻中瞳孔和光斑中心提取單元,基于頭戴式視頻采集裝置采集到的4路眼部視頻,提取各路視頻中瞳孔和光斑中心的位置,其中,在眼部攝像頭采集到的眼部視頻中,在近紅外光照射下,瞳孔部分和周圍灰度值差別巨大且為橢圓形;近紅外光源在角膜表面反射形成的光斑也有明顯的灰度特征,根據瞳孔和光斑的灰度及形狀特征提取瞳孔和光斑中心的位置坐標;
立體視覺估算瞳孔和光斑中心三維坐標單元,先標定每個攝像頭的內參數,然后再標定出每個眼睛處2個攝像頭之間的旋轉平移矩陣,在每個眼睛處,根據2個攝像頭之間的旋轉平移矩陣和檢測到的瞳孔和光斑在圖像中的位置,通過立體視覺的方法,以其中任意選定的一個攝像頭的坐標系為基準,計算出瞳孔和每個光斑中心的三維坐標;以及
雙眼角膜球心三維坐標及光軸估算單元,根據人體眼球模型,近紅外光源在眼球角膜表面反射形成的光斑為球面反射成像,立體視覺計算得到的光斑三維坐標為近紅外光源在角膜球面反射形成的虛像位置坐標,真實的近紅外光源與其虛像的連線經過角膜球心,根據兩個紅外LED及其對應虛像的三維坐標,計算出角膜球心的三維坐標,每個眼球角膜球心和瞳孔中心連線即為眼球光軸,通過立體視覺的方式獲得角膜球心和瞳孔中心的三維坐標后,計算出每個眼球光軸的直線方程。
6.根據權利要求1所述的自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,還包括雙眼Kappa角校正單元,通過穿戴者凝視外部近紅外光源校正雙眼Kappa角,進一步提高視線跟蹤精度,其中,當穿戴者凝視外部近紅外光源時,外部近紅外光源會在雙眼眼球角膜表面反射形成虛像,每個眼球處,該外部近紅外光源與虛像連線經過眼球角膜球心,為該眼球此時的視軸,通過立體視覺求得該虛像的三維坐標,獲得雙眼視軸的直線方程,結合雙眼光軸直線方程,進而算出每個眼球的Kappa角。
7.根據權利要求1,自由空間頭戴式視線跟蹤系統(tǒng),其特征在于,所述雙眼視線及凝視點估算單元執(zhí)行以下操作:
根據雙眼光軸直線方程及Kappa角的經驗值或標定后的精確值,獲得視軸的直線方程;
標定左右雙眼處前面選取的基準攝像頭坐標系之間的旋轉平移矩陣,以其中一個攝像頭的坐標系為基準世界坐標系,根據左右雙眼的視軸直線方程和旋轉平移矩陣,計算其穿戴者關注的區(qū)域位置三維坐標;
標定場景攝像頭坐標系與基準世界坐標系之間的旋轉平移矩陣,根據該旋轉平移矩陣和場景攝像頭投影矩陣,計算凝視點在場景視頻中的位置,并將其標出。