本發(fā)明涉及眼球追蹤技術，尤其涉及一種基于瞳孔特征實現(xiàn)視線追蹤的方法。

背景技術：

視線追蹤也稱眼動追蹤，是利用攝像設備實時觀測人眼的運動情況，通過一定的方法估算出視線的方向和視線落點坐標的一種技術，近年來該技術被引入到信息領域，并結合計算機視覺和圖像處理技術可以廣泛使用在心理分析、患者眼動交流、興趣數(shù)據(jù)分析、安全駕駛、人機交互和軍事模擬等眾多領域。視線追蹤技術實現(xiàn)的方法經(jīng)歷了近百年的發(fā)展，先后采用了機械記錄法、電流記錄法、電磁記錄法和當代的光學記錄法，對實驗人員的人眼侵入程度越來越小，精度也越來越高。

視線追蹤目前以光學記錄法為主，依賴于光學器件——CCD或CMOS圖像傳感器拍攝人眼圖像，而后通過人眼模型將人眼的特征點數(shù)據(jù)映射到視線的三維數(shù)據(jù)，從而估算出視線方向，這是光學記錄法的兩大步驟：特征提取和實現(xiàn)估計?？梢蕴崛〉娜搜厶卣髦饕牵汉缒ぶ行?、虹膜邊緣、瞳孔邊緣、瞳孔中心、鞏膜邊緣、外界光源在眼睛腫的反射點(普爾欽斑)。在這些人眼特征的基礎上衍生出的的估算方法有：

1.角膜反射法：外部光源照射到人眼，當眼睛運動的時候，反射點也會隨之運動，攝像機通過記錄反射點的變化來分析視線的方向。

2.瞳孔角膜反射法：它是角膜反射法的改進，它不僅需要檢測反射點的位置，而且還要檢測瞳孔中心的位置信息。瞳孔角膜反射法進一步細分為：瞳孔中心與角膜反射向量法、給予眼球三維模型的視線估計方法，這類方法會因為頭部運動造成準確性降低，因此常適用于穿戴式眼動跟蹤系統(tǒng)，利用眼球轉動時相對位置不變的眼部特征做參考，提取視線變化參數(shù)，通過幾何模型或映射模型獲取視線方向。

3.雙鋪金野法，利用光線經(jīng)過眼球時各個組織部分對光線的折射率不同的原理，分析光源反射產(chǎn)生的圖像，角膜反射回來的光線較強，成為第一普金野圖像，角膜后表面反射光線較弱為第二普金野圖像，從晶狀體前表面反射出來的圖像為第三普金野圖像，從晶狀體后表面反射回來的圖像位第四普金野圖像，從而估算眼球的視線方向，但是該系統(tǒng)的設備昂貴、設置復雜。

4.虹膜-鞏膜邊緣法，該法使用紅外光遠照射眼睛，反射的紅外光線被兩只光敏晶體管接受，當眼睛轉動的時候，兩只晶體管接受的反射量此增彼減，可以估算出視線的大致方向，但精度略低。

綜上所述，目前的眼動追蹤方法面臨的主要問題有：(1)眼睛的光照環(huán)境、特征選取、外部其他干擾因素等原因導致眼睛特征提取準確度和可靠性不足；(2)方法需要昂貴的設備作支撐；(3)需要較為復雜的光源設置，比如瞳孔角膜反射法，需要明暗交替的斷續(xù)光源照射眼睛以獲取明瞳和暗瞳；(4)受限于頭部運動，測量精度不高。

技術實現(xiàn)要素：

因此，為解決上述現(xiàn)有技術存在的技術缺陷和不足，本發(fā)明提供一種基于瞳孔特征實現(xiàn)視線追蹤的方法。

具體的，本發(fā)明實施例提供一種基于瞳孔特征實現(xiàn)視線追蹤的方法，其特征在于，包括：

提取用戶的瞳孔邊緣信息；

根據(jù)所述瞳孔邊緣信息，確定用戶的瞳孔中心點；

根據(jù)所述瞳孔中心點確定所述用戶觀察的目標點，以得到所述用戶的視線方向。

在上述實施例的基礎上，提取用戶的瞳孔邊緣信息，包括：

采用紅外采集設備獲取所述眼部圖像信息，所述紅外采集設備包括至少一個紅外燈源；

對所述眼部圖像信息進行處理，得到所述眼部圖像信息在指定方向上灰度的梯度值，并將所述灰度的梯度值達到最大值時所在的位置確定為瞳孔邊緣點的位置。

在上述實施例的基礎上，根據(jù)所述瞳孔邊緣信息，確定用戶的瞳孔中心點，包括：

提取所述瞳孔邊緣信息中的散點信息并將所述散點信息擬合，形成類橢圓曲線；

計算出所述類橢圓曲線長軸和短軸的交點，將所述交點確定為所述瞳孔中心點。

在上述實施例的基礎上，在提取用戶的瞳孔邊緣信息之前，還包括：

將屏幕和配備至少一個紅外光源的紅外采集設備放置于所述用戶眼睛前方的特定位置；

控制所述屏幕的不同位置依次出現(xiàn)K個點以引導所述用戶對所述K個點進行依次觀察，其中，K為大于等于2的整數(shù)；

控制所述紅外光源照射所述用戶的眼部區(qū)域并控制所述紅外采集設備對所述用戶的眼睛進行拍攝；

記錄并處理所述用戶對所述K個點進行依次觀察時的瞳孔邊緣信息，得到所述用戶的瞳孔中心點；

根據(jù)所述K個點的坐標(X,Y)和所述瞳孔中心點坐標(x，y)得到映射模型(X,Y)＝F(x,y)。

在上述實施例的基礎上，將屏幕和配備至少一個紅外光源的紅外采集設備放置于所述用戶眼睛前方的特定位置，包括：

將所述紅外采集設備放置于所述用戶眼睛的正前下方位置處并將所述屏幕放置于所述用戶眼睛的正前方，且所述紅外采集設備和所述用戶眼睛之間的距離滿足關系為：1/d+1/v＝1/f；其中，d為所述紅外采集設備和所述用戶眼睛之間的距離，f為所述紅外采集設備的焦距，v為所述紅外采集設備的像距。

在上述實施例的基礎上，記錄并處理所述用戶對所述K個點進行依次觀察時的瞳孔邊緣信息，得到所述用戶的瞳孔中心點，包括：

獲取經(jīng)過用戶眼睛反射后的紅外圖像并對所述紅外圖像進行預處理形成修正紅外圖像，以增加用戶的瞳孔區(qū)域圖像和非瞳孔區(qū)域圖像的對比度；

在所述修正紅外圖像上估算瞳孔中心點坐標(xmin，ymin)；

以坐標(xmin，ymin)為起點沿指定射線方向在所述修正紅外圖像上計算灰度的梯度值，并將梯度值達到最大值時所在的位置確定為瞳孔邊緣點的位置；

對多個所述瞳孔邊緣點進行擬合處理形成類橢圓曲線，以所述類橢圓曲線的中心作為所述瞳孔中心點。

在上述實施例的基礎上，獲取經(jīng)過用戶眼睛反射后的紅外圖像并對所述紅外圖像進行預處理形成修正紅外圖像，包括：

采用增強算子作用在所述紅外圖像的每個像素以使圖像亮度增強進而實現(xiàn)灰度對比度的增大，之后對所述紅外圖像采用拉普拉斯法進行圖像濾波處理；

其中，所述增強算子的公式為：

En＝c*lg(1+double(f0))；其中，En為增強算子，f0為原函數(shù)灰度值，c是常系數(shù)。

在上述實施例的基礎上，在所述修正紅外圖像上估算瞳孔中心點位置的坐標(xmin，ymin)，包括：

采用灰度積分法在所述修正紅外圖像上估算瞳孔中心位置的坐標(xmin，ymin)；其中，xmin和ymin的公式為：

其中，min表示取最小值運算，sum表示求和運算，f(i,j)表示在坐標(i，j)處圖像的灰度值。

在上述實施例的基礎上，對多個所述瞳孔邊緣點進行擬合處理形成類橢圓曲線，包括：

步驟a、從N個所述特征點中選取任意5個點，使用最小二乘法進行橢圓擬合形成第一類橢圓方程；

步驟b、對N個所述特征點利用隨機采樣一致性算法通過所述第一類橢圓方程進行局內點和局外點甄別，統(tǒng)計得到M個局內點和N-M個局外點；

步驟c、判斷局內點占有率是否小于第一閾值t1；若是，則確定所述5個點為非典型特征點，擬合橢圓為非典型特征橢圓，則重新執(zhí)行步驟a；若否，則確定所述5個點為典型特征點，則執(zhí)行步驟d；

步驟d、根據(jù)所述M個局內點任意選取5個點，利用最小二乘法對所述第一類橢圓方程進行優(yōu)化形成第二類橢圓方程，并對所述N個特征點利用隨機采樣一致性算法通過所述第二類橢圓方程進行局內點和局外點甄別，最終統(tǒng)計得到M1個局內點和N-M1局外點；

步驟e、判斷局內點占有率是否大于第二閾值t2；如是，則終止迭代，認為所述第二類橢圓方程為最優(yōu)方程；若否，則執(zhí)行步驟d。

在上述實施例的基礎上，根據(jù)所述K個點的坐標(X,Y)和所述瞳孔中心點坐標(x,y)得到映射模型(X,Y)＝F(x,y)，包括：

選取所述映射模型為：

通過所述K個點的坐標(X,Y)和對應的所述瞳孔中心點坐標(x,y)確定所述映射模型的參數(shù)a、b、c、d、e、f、g、h、k、l、m及n，以完成所述映射模型的建立。

本發(fā)明提供的基于瞳孔特征實現(xiàn)視線追蹤的方法的優(yōu)點有：不受環(huán)境干擾因素的影響和頭部運動的影響，準確度和可靠性高，且無需昂貴復雜的設備，成本低廉。

附圖說明

為了更清晰地說明本發(fā)明或現(xiàn)有技術的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作一簡單地介紹。顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。下面將結合附圖，對本發(fā)明的具體實施方式進行詳細的說明。

圖1為本發(fā)明實施例提供的一種基于瞳孔特征實現(xiàn)視線追蹤的方法的流程圖；

圖2為本發(fā)明實施例提供的紅外采集設備、屏幕和眼睛之間的位置示意圖。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合本發(fā)明的附圖，對本發(fā)明的技術方案進行清楚、完整的描述。顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明的實施例，本領域普通技術人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護范圍。

本發(fā)明實施例提供一種基于瞳孔特征實現(xiàn)視線追蹤的方法，請參考圖1，圖1為本發(fā)明實施例提供的一種基于瞳孔特征實現(xiàn)視線追蹤的方法的流程圖。如圖1所示，該方法包括：

提取用戶的瞳孔邊緣信息；

根據(jù)所述瞳孔邊緣信息，確定用戶的瞳孔中心點；

根據(jù)所述瞳孔中心點確定所述用戶觀察的目標點，以得到所述用戶的視線方向。

具體地，可以根據(jù)所述瞳孔中心點和用戶觀察目標點的匹配特點，具體確定所述用戶的視線方向。在本實施例中，用戶觀察目標點的匹配特點，可以通過大數(shù)據(jù)的方式確定，無需事先對該用戶進行訓練學習或者建模。

其中，在上述實施例中，提取用戶的瞳孔邊緣信息，具體可以為：

采用紅外采集設備獲取所述眼部圖像信息，所述紅外采集設備包括至少一個紅外燈源；

對所述眼部圖像信息進行處理，得到所述眼部圖像信息在指定方向上灰度的梯度值，并將所述灰度的梯度值達到最大值時所在的位置確定為瞳孔邊緣點的位置。

具體地，瞳孔內、外對紅外線的反射有很明顯的差異。拍攝的圖像在瞳孔區(qū)域光線較強，亮度高；在非瞳孔區(qū)則圖像較暗，亮度低。瞳孔區(qū)域灰度明顯低于其他區(qū)域，在邊緣位置處，梯度變化劇烈。過處理后的圖像信息中，在指定的方向上，瞳孔區(qū)的灰度值與非瞳孔區(qū)的灰度值在交界處有劇烈的變化，在交界處的梯度值也會達到最大，據(jù)此判斷出瞳孔邊緣點的位置。

例如，設f(i,j)為圖像f在坐標(i,j)處的灰度值，灰度值的偏微分為

則該方向的灰度梯度D最大的點即為邊緣點。

進一步地，在上述實施例的基礎上，根據(jù)所述瞳孔邊緣信息，確定用戶的瞳孔中心點，包括：

提取所述瞳孔邊緣信息中的散點信息并將所述散點信息擬合，形成類橢圓曲線；

計算出所述類橢圓曲線長軸和短軸的交點，將所述交點確定為所述瞳孔中心點。

進一步地，在上述實施例的基礎上，在提取用戶的瞳孔邊緣信息之前，還包括：

將屏幕和配備至少一個紅外光源的紅外采集設備放置于所述用戶眼睛前方的特定位置；

控制所述屏幕的不同位置依次出現(xiàn)K個點以引導所述用戶對所述K個點進行依次觀察，其中，K為大于等于2的整數(shù)；

控制所述紅外光源照射所述用戶的眼部區(qū)域并控制所述紅外采集設備對所述用戶的眼睛進行拍攝；

記錄并處理所述用戶對所述K個點進行依次觀察時的瞳孔邊緣信息，得到所述用戶的瞳孔中心點；

根據(jù)所述K個點的坐標(X,Y)和所述瞳孔中心點坐標(x，y)得到映射模型(X,Y)＝F(x,y)。

通過事先對該用戶的視線習慣進行訓練、建模以獲得該用戶的瞳孔中心和視線之間的匹配特點，而非通過大數(shù)據(jù)的方式事先預設該用戶的瞳孔中心和視線之間的匹配特點，可以提高視線追蹤的精度。

進一步地，在上述實施例的基礎上，將屏幕和配備至少一個紅外光源的紅外采集設備放置于所述用戶眼睛前方的特定位置，包括：

將所述紅外采集設備放置于所述用戶眼睛的正前下方位置處并將所述屏幕放置于所述用戶眼睛的正前方，且所述紅外采集設備和所述用戶眼睛之間的距離滿足關系為：1/d+1/v＝1/f；其中，d為所述紅外采集設備和所述用戶眼睛之間的距離，f為所述紅外采集設備的焦距，v為所述紅外采集設備的像距。

優(yōu)選地，經(jīng)過試驗，紅外采集設備放置于所述用戶眼睛的正前下方2cm-4cm處。請參考圖2，圖2為本發(fā)明實施例提供的紅外采集設備、屏幕和眼睛之間的位置示意圖。采用如圖2所述的拍攝方式，可以達到較好的拍攝效果。

進一步地，在上述實施例的基礎上，記錄并處理所述用戶對所述K個點進行依次觀察時的瞳孔邊緣信息，得到所述用戶的瞳孔中心點，具體可以為：

獲取經(jīng)過用戶眼睛反射后的紅外圖像并對所述紅外圖像進行預處理形成修正紅外圖像，以增加用戶的瞳孔區(qū)域圖像和非瞳孔區(qū)域圖像的對比度；

在所述修正紅外圖像上估算瞳孔中心點坐標(xmin，ymin)；

以坐標(xmin，ymin)為起點沿指定射線方向在所述修正紅外圖像上計算灰度的梯度值，并將梯度值達到最大值時所在的位置確定為瞳孔邊緣點的位置；

例如，設f(i,j)為圖像f在坐標(i,j)處的灰度值，灰度值的偏微分為

則該方向的灰度梯度D最大的點即為邊緣點。

隨后，對多個所述瞳孔邊緣點進行擬合處理形成類橢圓曲線，以所述類橢圓曲線的中心作為所述瞳孔中心點。

進一步地，在上述實施例的基礎上，獲取經(jīng)過用戶眼睛反射后的紅外圖像并對所述紅外圖像進行預處理形成修正紅外圖像，具體可以為：

采用增強算子作用在所述紅外圖像的每個像素以使圖像亮度增強進而實現(xiàn)灰度對比度的增大，之后對所述紅外圖像采用拉普拉斯法進行圖像濾波處理；

其中，所述增強算子的公式為：En＝c*lg(1+double(f0))；其中，En為增強算子，f0為原函數(shù)灰度值，c是常系數(shù)。其中，c的具體取值可根據(jù)實際情況設置，本發(fā)明在此不做限制。

進一步地，在上述實施例的基礎上，在所述修正紅外圖像上估算瞳孔中心點位置的坐標(xmin，ymin)，包括：

采用灰度積分法在所述修正紅外圖像上估算瞳孔中心位置的坐標(xmin，ymin)；其中，xmin和ymin的公式為：

其中，min表示取最小值運算，sum表示求和運算，f(i,j)表示在坐標(i，j)處圖像的灰度值。

因為瞳孔中心位置處最暗，通過上述求最小值的方法，可以估算出瞳孔中心的粗略位置。

進一步地，在上述實施例的基礎上，本發(fā)明采用最小二乘法(LSM)和隨機采樣一致性(RANSAC)混合迭代的一種算法，對多個所述瞳孔邊緣點進行擬合處理形成類橢圓曲線。本方法既能夠克服最小二乘法精度不高的缺點，又改進了RANSAC算法時效性的不足。具體步驟如下：

步驟a、從N個所述特征點中選取任意5個點，使用最小二乘法進行橢圓擬合形成第一類橢圓方程；

步驟b、對N個所述特征點利用隨機采樣一致性算法通過所述第一類橢圓方程進行局內點和局外點甄別，統(tǒng)計得到M個局內點和N-M個局外點；

在本實施例中，落在所述類橢圓上的點，視為局內點。當然，本發(fā)明不在此處做限制。

步驟c、判斷局內點占有率是否小于第一閾值t1；若是，則確定所述5個點為非典型特征點，擬合橢圓為非典型特征橢圓，則重新執(zhí)行步驟a；若否，則確定所述5個點為典型特征點，則執(zhí)行步驟d；

步驟d、根據(jù)所述M個局內點任意選取5個點，利用最小二乘法對所述第一類橢圓方程進行優(yōu)化形成第二類橢圓方程，并對所述N個特征點利用隨機采樣一致性算法通過所述第二類橢圓方程進行局內點和局外點甄別，最終統(tǒng)計得到M1個局內點和N-M1局外點；

步驟e、判斷局內點占有率是否大于第二閾值t2；如是，則終止迭代，認為所述第二類橢圓方程為最優(yōu)方程；若否，則執(zhí)行步驟d。

可選地，本發(fā)明實施例還提供另一種采用最小二乘法(LSM)和隨機采樣一致性(RANSAC)混合迭代的一種算法，對多個所述瞳孔邊緣點進行擬合處理形成類橢圓曲線。具體步驟如下：

步驟S1：從N個特征點中選取任意5個點，使用LSM進行橢圓擬合，將剩余的N-5個點利用RANSAC帶入橢圓方程進行局內點和局外點甄別，統(tǒng)計出N個點中共有M個局內點，N-M個局外點；

步驟S2：如果局內點占有率小于閾值t1，則認為步驟S1選取的5個點為非典型特征點，擬合橢圓為非典型特征橢圓，跳到步驟S1；若則認為步驟S1選取的5個點典型特征點，則跳往步驟S3；

步驟S3：將步驟S1中甄別出的M個局內特征點全部帶入LSM方程，求出優(yōu)化的橢圓方程，再次使用RANSAC算法，對N-M個特征點帶入新的橢圓方程進行局內點的再甄別，甄別的局內點為M1，局外點為N-M1；

步驟S4：計算局內點占有率若大于閾值t2，則終止迭代，認為當前的橢圓方程為最優(yōu)方程；若則認為局內點比例無法滿足閾值，跳入步驟S3，再次迭代。

進一步地，在上述實施例的基礎上，根據(jù)所述K個點的坐標(X,Y)和所述瞳孔中心點坐標(x,y)得到映射模型(X,Y)＝F(x,y)，包括：

選取所述映射模型為：

通過所述K個點的坐標(X,Y)和對應的所述瞳孔中心點坐標(x,y)確定所述映射模型的參數(shù)a、b、c、d、e、f、g、h、k、l、m及n，以完成所述映射模型的建立。

具體地，屏幕中依次出現(xiàn)的K個點的坐標記錄為X＝(X₁,X₂,X₃…X_k),Y＝(Y₁,Y₂,Y₃…Y_k)，對應的瞳孔中心坐標為x＝(x₁,x₂,x₃…x_k),y＝(y₁,y₂,y₃…y_k)，模型的建立則可以用下面的矩陣表達：

f(x,y)表示x和y的一種關系，代表著映射關系函數(shù)F絕非簡單的一次線性關系，M表示瞳孔中心位置和屏幕坐標之間的映射參數(shù)。

本發(fā)明建立的模型如下：

將該模型使用矩陣形式表達為：

則

在本模型中，取K＝6時，X，Y對應有6個屏幕坐標，瞳孔相應也有6個對應中心坐標，X＝|X₁,X₂,X₃,X₄,X₅,X₆|，Y＝|Y₁,Y₂,Y₃,Y₄,Y₅,Y₆|，同理，x＝|x₁,x₂,x₃,x₄,x₅,x₆|，y＝|y₁,y₂,y₃,y₄,y₅,y₆|，那么上面的矩陣可以進一步改寫為：

通過方程組求出a、b、c、d、e、f、g、h、k、l、m及n，進而得到所述映射模型。

綜上，本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術人員，依據(jù)本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上，本說明書內容不應理解為對本發(fā)明的限制，本發(fā)明的保護范圍應以所附的權利要求為準。