專利名稱：一種基于雙光源的視線跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于雙光源的視線跟蹤方法，屬于視頻、多媒體信號(hào)處理技術(shù)領(lǐng) 域。
背景技術(shù)：
隨著計(jì)算機(jī)科學(xué)技術(shù)與產(chǎn)業(yè)的飛速發(fā)展，計(jì)算機(jī)的普通用戶急劇增長(zhǎng)，智能化的 人機(jī)交互也日益受到關(guān)注。作為人類獲取外界信息的重要途徑，視線也可以在智能化人機(jī) 交互中發(fā)揮它的巨大潛力，成為智能交互的有效工具。例如，我們可以通過視線來表達(dá)我們 主觀思想進(jìn)而實(shí)現(xiàn)對(duì)外界事物地直接操控
T. Hutchinson等在1989年率先提出了用視線與計(jì)算機(jī)進(jìn)行交互的思想。其誘人 的應(yīng)用前景吸引了無數(shù)國(guó)內(nèi)外的研究者們從圖像預(yù)處理、映射算法、校正等各方面對(duì)視線 跟蹤進(jìn)行研究。如今，視線跟蹤技術(shù)已日益成熟，其應(yīng)用也不斷得到人們的認(rèn)可，從殘疾人 輔助、游戲開發(fā)、外觀設(shè)計(jì)測(cè)評(píng)到3D盛行時(shí)代的自由視點(diǎn)視頻，無一不給我們的生活帶來 方便，更是有力地推動(dòng)了智能化科學(xué)技術(shù)的發(fā)展。
視線跟蹤的方法有眼電圖(EOG)、虹膜-鞏膜邊緣、角膜反射、瞳孔-角膜反射向量 等多種，其中，基于瞳孔-角膜反射向量的方法由于其精度較高，用戶使用舒適度高而備受 青睞。D. H. Yoo等運(yùn)用四光源于2001年提出的基于交比不變算法的視線跟蹤系統(tǒng)可以較為 精確地實(shí)現(xiàn)視線的估計(jì)。然而，由于受硬件集成、執(zhí)行速度及應(yīng)用前景的影響，人們更偏向 于采用更少的光源來實(shí)現(xiàn)視線的估計(jì)。目前，要想在頭部運(yùn)動(dòng)自由的情況下實(shí)現(xiàn)較為精確 的視線估計(jì)至少需要兩個(gè)紅外光源。而現(xiàn)有的兩光源視線跟蹤方法計(jì)算比較復(fù)雜，即便允 許頭動(dòng)，對(duì)頭動(dòng)的范圍也有很大的限制。因此找到一種簡(jiǎn)單實(shí)用的視線跟蹤映射方法具有 重要的理論研究意義和重大的實(shí)際應(yīng)用價(jià)值。發(fā)明內(nèi)容
針對(duì)現(xiàn)有雙光源視線跟蹤方法計(jì)算復(fù)雜、對(duì)頭部運(yùn)動(dòng)范圍限制性大的問題，本發(fā) 明提供一種計(jì)算復(fù)雜度低、對(duì)頭部運(yùn)動(dòng)限制性小、實(shí)用性強(qiáng)的基于雙光源的視線跟蹤方法。
根據(jù)人眼的注視特性以及相機(jī)的成像原理，如圖4所示，屏幕上的兩個(gè)光源L1, L2 與其對(duì)應(yīng)的在人眼角膜上形成的反射點(diǎn)Vtll，V02的連線以及屏幕上的注視點(diǎn)Q與瞳孔中心 Ptl的連線交于人眼的角膜曲率中心C;并且，根據(jù)球面折射原理，兩紅外光源在角膜上的反 射點(diǎn)Vtll，V02以及瞳孔中心Ptl與它們經(jīng)角膜球面折射后的像V1, V2以及P在同一徑向上，因 此，用V1, V2以及P分別來代替Vtll，V02以及Ptl不會(huì)影響注視點(diǎn)估計(jì)的結(jié)果。
在映射建立過程中，由于人眼球是一個(gè)球狀體，所以兩紅外光源在人眼中形成的 反射點(diǎn)V1, V2以及瞳孔中心在角膜上的折射點(diǎn)在Z軸方向上的坐標(biāo)值雖不相同，但相差甚 微。經(jīng)分析計(jì)算得出這三點(diǎn)在Z軸上的坐標(biāo)值可認(rèn)為近似相同，對(duì)注視點(diǎn)結(jié)果估計(jì)所造成 的誤差在X軸上最大為0. 9887cm,在Y軸上最大為0. 7852cm,并且誤差的趨勢(shì)呈現(xiàn)區(qū)域化 分布，因此可以結(jié)合二次定標(biāo)來減小由于近似而產(chǎn)生的誤差，使得最終估計(jì)出的注視點(diǎn)的誤差在實(shí)際應(yīng)用中處于可接受范圍之內(nèi)。
本發(fā)明的基于雙光源的視線跟蹤方法，具體步驟如下
(1)圖像預(yù)處理利用瞳孔和反射點(diǎn)灰度差的原理，對(duì)采集到的人臉圖像進(jìn)行預(yù) 處理，提取出人眼圖像中兩個(gè)反射點(diǎn)和瞳孔區(qū)域，并計(jì)算出兩個(gè)反射點(diǎn)及瞳孔中心在圖像 坐標(biāo)系中的坐標(biāo)，其中圖像坐標(biāo)系以圖像的左上角為坐標(biāo)原點(diǎn)，水平方向?yàn)閄軸，豎直方向 為Y軸；
(2)注視點(diǎn)估計(jì)根據(jù)圖像中瞳孔中心與兩反射點(diǎn)構(gòu)成的三角形和屏幕上注視點(diǎn) 及兩個(gè)紅外光源構(gòu)成的三角形近似為一對(duì)相似三角形來確定屏幕上注視點(diǎn)的近似位置。
(3)注視點(diǎn)校正運(yùn)用二次定標(biāo)的方法來校正人眼視軸與光軸固有的偏差以及因 近似而產(chǎn)生的估計(jì)誤差，得到最終的注視點(diǎn)位置。
所述步驟( 注視點(diǎn)估計(jì)的具體實(shí)現(xiàn)步驟為
A.根據(jù)人眼的注視特性及相機(jī)的成像原理得出瞳孔中心與兩反射點(diǎn)構(gòu)成的三角 形和屏幕上注視點(diǎn)及兩個(gè)紅外光源構(gòu)成的三角形的近似相似性關(guān)系；
B.根據(jù)三角形相似性來估計(jì)屏幕上注視點(diǎn)的近似位置。
所述步驟(3)注視點(diǎn)校正的具體實(shí)現(xiàn)步驟為
A區(qū)域劃分根據(jù)定標(biāo)點(diǎn)的個(gè)數(shù)及分布將整個(gè)屏幕劃分為五個(gè)區(qū)域；
B 一點(diǎn)定標(biāo)通過屏幕中間位置的定標(biāo)點(diǎn)進(jìn)行一點(diǎn)定標(biāo)；
C區(qū)域定位根據(jù)一點(diǎn)定標(biāo)后注視點(diǎn)的位置與各個(gè)定標(biāo)點(diǎn)之間的位置關(guān)系確定注 視點(diǎn)所在的區(qū)域；
D 二次定標(biāo)根據(jù)注視點(diǎn)所在的區(qū)域，用注視點(diǎn)所在區(qū)域內(nèi)的定標(biāo)點(diǎn)對(duì)一次定標(biāo) 后的注視點(diǎn)進(jìn)行二次定標(biāo)，得到最終的注視點(diǎn)位置。
本發(fā)明根據(jù)圖像中的瞳孔中心與兩反射點(diǎn)構(gòu)成的三角形和屏幕上注視點(diǎn)及兩個(gè) 紅外光源構(gòu)成的三角形近似為一對(duì)相似三角形來確定屏幕上注視點(diǎn)的近似位置，再通過二 次定標(biāo)來校正人眼視軸與光軸之間固有偏差及算法近似所造成的估計(jì)誤差，得到較為精確 的注視點(diǎn)估計(jì)值。該方法無需測(cè)量頭部距離屏幕的距離，計(jì)算復(fù)雜度低，對(duì)頭部運(yùn)動(dòng)魯棒性 強(qiáng)，實(shí)驗(yàn)過程自然舒適，易于實(shí)現(xiàn)，便于集成實(shí)際產(chǎn)品。




圖1是實(shí)現(xiàn)本發(fā)明方法的系統(tǒng)硬件圖。 圖2是本發(fā)明方法的流程圖。 圖3是本發(fā)明方法中圖像預(yù)處理過程的示意圖。 圖4是攝像機(jī)成像以及人眼注視原理示意圖。 圖5是本發(fā)明方法中坐標(biāo)位置的近似替代示意圖。 圖6是兩近似相似三角形的示意圖。 圖7是定標(biāo)點(diǎn)分布及屏幕區(qū)域劃分示意圖 圖8是注視點(diǎn)估計(jì)結(jié)果示意圖。 圖9是注視點(diǎn)估計(jì)精度分析示意圖。
具體實(shí)施方式
實(shí)現(xiàn)本發(fā)明基于雙光源的視線跟蹤方法的硬件系統(tǒng)如圖1所示，包括一個(gè)灰度攝 像機(jī)、兩個(gè)紅外光源以及一臺(tái)個(gè)人計(jì)算機(jī)。個(gè)人計(jì)算機(jī)采用2. 60GHZ奔騰雙核，計(jì)算機(jī)屏幕 尺寸34 X 27cm (寬X高)，計(jì)算機(jī)下方裝一個(gè)分辨率為694X1040的灰度攝像機(jī)，相機(jī)位 置在實(shí)驗(yàn)過程中保持不動(dòng)，顯示器的左下角以及右下角分別裝有一個(gè)1瓦的紅外光源L1和 L20測(cè)試者坐在距屏幕60—70cm的位置，頭部可以在20 X 20 X IOcm (寬X長(zhǎng)X深度)的 范圍內(nèi)移動(dòng)。
圖2給出了本發(fā)明的基于雙光源的視線跟蹤方法的流程圖，根據(jù)該流程，具體實(shí) 施步驟如下
1.通過圖像預(yù)處理確定圖像中反射點(diǎn)中心及瞳孔中心在圖像坐標(biāo)系中的坐標(biāo)，其 過程如圖3所示。根據(jù)瞳孔與角膜反射點(diǎn)的灰度差，提取出瞳孔及角膜反射點(diǎn)區(qū)域，并分別 得到它們的中心在圖像坐標(biāo)系中的坐標(biāo)位置Pi (Px，Py)、Vli (Vlix，Vliy)、v2i (v2ix, v2iy)。其中 圖像坐標(biāo)系以圖像的左上角為坐標(biāo)原點(diǎn)，水平方向?yàn)閄軸，豎直方向?yàn)閅軸。
2.注視點(diǎn)估計(jì)。根據(jù)圖像中的瞳孔中心與兩反射點(diǎn)構(gòu)成的三角形和屏幕上注視點(diǎn) 及兩個(gè)紅外光源構(gòu)成的三角形近似為一對(duì)相似三角形來確定屏幕上注視點(diǎn)近似位置。其具 體實(shí)現(xiàn)步驟為
(1)根據(jù)圖4所示的人眼的注視特性及相機(jī)的成像原理，得出瞳孔中心與兩反射 點(diǎn)構(gòu)成的三角形和屏幕上注視點(diǎn)及兩個(gè)紅外光源構(gòu)成的三角形的近似相似性關(guān)系。其具體 步驟如下
(a)根據(jù)相機(jī)的成像原理，將人臉圖像中角膜反射點(diǎn)及瞳孔中心在相機(jī)坐標(biāo)系中 的坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系中，其轉(zhuǎn)換關(guān)系如下式
Pi (pix，piy) — ρ (px, py, ρζ) = ρ (pixelpitchc (pix-ccerter) +Ox, pixelpitchr (piy-rcentCT)+oy，-x+oz)
Vli (vlix, vliy) — V1 (vlx, vly, vlz) = V1 (pixelpitchc (vlix-ccerter) +Ox, pixelpitchr (vliyTcenter) +Oy，_ 入 + )
v2i (v2ix，v2iy) — v2(v2x，v2y, v2z) = V2 (pixelpitchc (V2ix-Ccenter)+0X，Pixelpitchr (v 2iy-rcenter) +Oy，_ 入 + )
其中，空間坐標(biāo)系以電視機(jī)屏幕的左下角為原點(diǎn)，以平行于電視機(jī)屏幕的水平方 向的軸為X軸，以平行于電視機(jī)屏幕的豎直方向的軸為1，以垂直于電視機(jī)屏幕指向用戶的 方向的軸為 Z 軸。Pixe ； pitch。，pixelpitchr，Ccenter, rcenter 均是相機(jī)的固有參數(shù)，Ox, Oy, 0Z。 是相機(jī)光節(jié)點(diǎn)在世界坐標(biāo)系個(gè)坐標(biāo)軸上的坐標(biāo)值。λ是與相機(jī)焦距、焦距以及物距有關(guān)的 常量。從上述轉(zhuǎn)換關(guān)系式可以看出，由點(diǎn)P (Px，Py, Pz)，V1 (vlx, vly, vlz)和V2 (ν2χ，v2y, ν2ζ)構(gòu) 成的平面平行于屏幕且ApV1V2相似于ApiVliV2i。
(b)根據(jù)相機(jī)的成像原理，瞳孔中心P (Px，Py，Pz)在p0的連線上，紅外光源在角膜 上的反射點(diǎn)V1 (Vlx,Vly,Vlz),V2(V2x,V2y,VJ分別在V1O和V2O的連線上。嚴(yán)格的說，Pz，V2z和 V2z是不相等的，但它們相差不大，因此我們可以認(rèn)為Pz = V2z = Vlz，即點(diǎn)P和V2分別用直線 OP與平面Z = I的交點(diǎn)P"和直線OV2與平面Z = Vh的交點(diǎn)V2"代替，如圖6所示，并且 ΔΡ" V1V2“相似于三角形Apv1V20若人眼曲率中心C與P"的連線與屏幕的交點(diǎn)為Q，則 Q即為近似的注視點(diǎn)估計(jì)值，并且AQL1L2相似于Δ P" V1V2"，因此AQL1L2相似于Apv1V25并相似于ApiVli V2i ο (2)經(jīng)測(cè)量可得到兩個(gè)紅外光源的坐標(biāo)分別為L(zhǎng)1(Oj)和！^⑴力幻，‘和!^位于 同一水平線。由AQL1L2相似于ApiVliV2i，如圖5所示，利用相似三角的性質(zhì)，可以根據(jù)以 下等式得到屏幕上近似的注視點(diǎn)坐標(biāo)9( ，QJ。
權(quán)利要求
1.一種基于雙光源的視線跟蹤方法，其特征在于，包括以下步驟(1)圖像預(yù)處理利用瞳孔和反射點(diǎn)灰度差的原理，對(duì)采集到的人臉圖像進(jìn)行預(yù)處理， 提取出人眼圖像中兩個(gè)反射點(diǎn)和瞳孔區(qū)域，并計(jì)算出兩個(gè)反射點(diǎn)及瞳孔中心在圖像坐標(biāo) 系中的坐標(biāo)，其中圖像坐標(biāo)系以圖像的左上角為坐標(biāo)原點(diǎn)，水平方向?yàn)閄軸，豎直方向?yàn)閅 軸；(2)注視點(diǎn)估計(jì)根據(jù)圖像中瞳孔中心與兩反射點(diǎn)構(gòu)成的三角形和屏幕上注視點(diǎn)及兩 個(gè)紅外光源構(gòu)成的三角形近似為一對(duì)相似三角形來確定屏幕上注視點(diǎn)的近似位置；(3)注視點(diǎn)校正運(yùn)用二次定標(biāo)的方法來校正人眼視軸與光軸固有的偏差以及因近似 而產(chǎn)生的估計(jì)誤差，得到最終的注視點(diǎn)位置。
2.根據(jù)權(quán)利要求1所述的基于雙光源的視線跟蹤方法，其特征在于，所述步驟(2)注視 點(diǎn)估計(jì)的具體實(shí)現(xiàn)步驟為A.根據(jù)人眼的注視特性及相機(jī)的成像原理得出瞳孔中心與兩反射點(diǎn)構(gòu)成的三角形和 屏幕上注視點(diǎn)及兩個(gè)紅外光源構(gòu)成的三角形的近似相似性關(guān)系；B.根據(jù)三角形相似性來估計(jì)屏幕上注視點(diǎn)的近似位置。
3.根據(jù)權(quán)利要求1所述的基于雙光源的視線跟蹤方法，其特征在于，所述步驟(3)注視 點(diǎn)校正的具體實(shí)現(xiàn)步驟為A區(qū)域劃分根據(jù)定標(biāo)點(diǎn)的個(gè)數(shù)及分布將整個(gè)屏幕劃分為五個(gè)區(qū)域；B 一點(diǎn)定標(biāo)通過屏幕中間位置的定標(biāo)點(diǎn)進(jìn)行一點(diǎn)定標(biāo)；C區(qū)域定位根據(jù)一點(diǎn)定標(biāo)后注視點(diǎn)的位置與各個(gè)定標(biāo)點(diǎn)之間的位置關(guān)系確定注視點(diǎn) 所在的區(qū)域；D 二次定標(biāo)根據(jù)注視點(diǎn)所在的區(qū)域，用注視點(diǎn)所在區(qū)域內(nèi)的定標(biāo)點(diǎn)對(duì)一次定標(biāo)后的 注視點(diǎn)進(jìn)行二次定標(biāo)，得到最終的注視點(diǎn)位置。
全文摘要
本發(fā)明公開了一種基于雙光源的視線跟蹤方法，具體步驟如下(1)圖像預(yù)處理利用瞳孔和反射點(diǎn)灰度差的原理，對(duì)采集到的人臉圖像進(jìn)行預(yù)處理，提取出人眼圖像中兩個(gè)反射點(diǎn)和瞳孔區(qū)域，并計(jì)算出兩個(gè)反射點(diǎn)及瞳孔中心在圖像坐標(biāo)系中的坐標(biāo)；(2)注視點(diǎn)估計(jì)根據(jù)圖像中瞳孔中心與兩反射點(diǎn)構(gòu)成的三角形和屏幕上注視點(diǎn)及兩個(gè)紅外光源構(gòu)成的三角形近似為一對(duì)相似三角形來確定屏幕上注視點(diǎn)的近似位置；(3)注視點(diǎn)校正，得到最終的注視點(diǎn)位置。本發(fā)明無需測(cè)量人距屏幕間的距離，計(jì)算復(fù)雜度低，對(duì)頭部運(yùn)動(dòng)魯棒性強(qiáng)，實(shí)驗(yàn)過程自然舒適，易于實(shí)現(xiàn)，估計(jì)誤差在視線跟蹤系統(tǒng)應(yīng)用的誤差容許范圍之內(nèi)。
文檔編號(hào)G06T7/00GK102043952SQ20101061875
公開日2011年5月4日 申請(qǐng)日期2010年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者劉琚, 孫建德, 張 杰, 楊彩霞, 楊曉暉 申請(qǐng)人:山東大學(xué)