快速精確的人眼定位方法及基于人眼定位的視線估計方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及機器視覺與圖像處理領(lǐng)域，尤其涉及一種快速精確的人眼定位方法及 基于人眼定位的視線估計方法。
【背景技術(shù)】
[0002] 人眼定位技術(shù)是計算機視覺應(yīng)用中的一個重要組成部分。隨著計算機技術(shù)的迅速 發(fā)展，人眼定位經(jīng)常被用于人臉定位、虹膜識別、眼疾病檢測、視線跟蹤，人機交互及幫助殘 障人士的領(lǐng)域。
[0003] 在虹膜識別領(lǐng)域中，定位人眼中心和邊界是關(guān)鍵的一步，其直接影響到后續(xù)識別 的精確度。目前，這個領(lǐng)域中定位人眼有兩個最經(jīng)典的方法，一個是Daugman提出的基于圓 邊界微分積分算子；另一個是Wildes提出的先對圖像檢測邊界，再用Hough圓變換檢測。 這兩種方法都需要圖像具有較高的分辨率，并且定位人眼時間較長。
[0004] 近年來，隨著圖像采集技術(shù)的不斷發(fā)展，利用單個網(wǎng)絡(luò)攝像頭采集的圖像的質(zhì)量 得到顯著提高，因此針對普通攝像頭采集的低分辨率人臉圖像中的人眼定位獲得了人們的 高度關(guān)注。Valenti等人提出了一種基于圖像等灰度值點梯度投票的眼中心定位方法；Tim 等人提出了一種基于梯度均值的人眼中心定位方法；Markus等人利用改進的隨機森林方 法對人眼中心進行定位并取得了較高的精度和速度。然而，上述的這三種方法都只能獲取 人眼中心值卻不包含半徑，同時其中的第三種方法需要大量的人眼圖片進行訓(xùn)練。
[0005] 視線估計分為兩大類，一類是基于人眼圖像外觀方法，如Sugano等人利用整個人 眼圖像作為輸入信號，提取圖像中的特征然后用機器學(xué)習(xí)方法確定視線。然而這種方法對 頭部要求比較高，不能適應(yīng)大幅度的頭部運動；另一類是基于人眼模型的方法，利用人眼的 三維模型來確定視線方向，如基于反射光點的PCCR視線估計方法，然而這種方法需要外界 紅外光源的協(xié)助，也不能很好的克服大范圍的頭部運動。
[0006] 因此，盡管上述研宄者開展了大量工作，人眼定位與視線估計問題仍然沒有得到 很好的解決。主要原因在于人眼眼皮遮擋、光照亮度、閉眼、頭部大范圍運動等因素。此外， 現(xiàn)有的人眼定位與視線估計方法很少達到實時的效果。因此，本領(lǐng)域的技術(shù)人員致力于開 發(fā)一種快速精確的人眼定位方法，并據(jù)此開發(fā)一種基于人眼定位的視線估計方法。

【發(fā)明內(nèi)容】

[0007] 有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是提供一種快速精確的 人眼定位方法及基于人眼定位的視線估計方法，構(gòu)造的兩類卷積核中包含了人眼中心和邊 界的信息，提高了精度，利用傅立葉變換提高卷積速度從而快速定位人眼以及估計人眼視 線。
[0008] 為實現(xiàn)上述目的，本發(fā)明提供了一種人眼定位方法，用于定位人臉圖像中的人眼， 其特征在于，包括：
[0009] 步驟一、構(gòu)造兩類卷積核心與K'P其中r是卷積核的半徑且rG[rmin,rmax]，rmin 為最小半徑，為最大半徑；卷積核K^為具有中心權(quán)重的卷積核，K' 1?為不具有中心權(quán)重 的卷積核；
[0010] 步驟二、在所述人臉圖像上截取眼區(qū)域圖像部分I，將所述卷積核&與K' ^>別 與所述眼區(qū)域圖像部分I卷積，獲得多個卷積后的圖像部分仁=KjI和I' ^=K'r*I； 以半徑r遞增的順序，將I'除以I獲得商矩陣序列Dr=I' 獲得所述人眼的中心 (xp,yp)和半徑R:
[0011] (xp，yp，R) =argmax(Dr) 〇
[0012] 進一步地，所述步驟一中構(gòu)造的卷積核K1^為圓形邊界的卷積核，所述卷積核中的 圓形邊界上的點的像素值相同且和為1，其他像素值為〇 ;所述步驟一中構(gòu)造的卷積核 與卷積核心不同點在于其卷積核中心處帶有權(quán)重；
[0013] 進一步地，所述卷積核&的邊界包括左右對稱的左邊界和右邊界，所述左邊界和 所述右邊界皆分布在±36°的范圍內(nèi)。
[0014] 進一步地，所述步驟二中截取的眼區(qū)域圖像部分I為正方形，所述正方形的邊長 為所述人臉圖像的寬度的0. 22倍。
[0015] 進一步地，所述眼區(qū)域圖像部分為對應(yīng)左眼的左眼區(qū)域圖像部分或?qū)?yīng)右眼的右 眼區(qū)域圖像部分；以所述人臉圖像的左上角的頂點的位置為（〇,〇)，所述左眼區(qū)域圖像部 分的左上角的頂點的位置為（〇.58?，0.281〇，所述右眼區(qū)域圖像部分的左上角的頂點的位 置為（0. 2w，0. 28h)，所述w為所述人臉圖像的寬度，所述h為所述人臉圖像的高度。
[0016] 進一步地，所述最大半徑rmax和最小半徑rmin分別為對0. 2w和0.Iw取整后的值， 所述取整為向下取整。
[0017] 進一步地，所述步驟一中構(gòu)造的所述卷積核心與K'J勺個數(shù)皆為0.Iw取整后的 值，所述取整為向下取整。
[0018] 進一步地，所述步驟二中對于所述眼區(qū)域圖像部分中的每一個像素點獲得的所述 商的個數(shù)為〇.Iw-I取整后的值，所述取整為向下取整。
[0019] 進一步地，本發(fā)明還提供了一種基于人眼定位的視線估計方法，包括前面任何一 個權(quán)利要求所述的人眼定位方法，用于估計所述人臉圖像中的視線方向，其特征在于，還包 括
[0020] 步驟三、基于人臉特征訓(xùn)練，通過監(jiān)督下降的方法定位所述人臉圖像上的特征點， 所述特征點位于眼睛、眉毛、鼻子和嘴的輪廓上；
[0021] 步驟四、根據(jù)所述特征點，利用POSIT算法來確定所述人臉圖像中頭部朝向的三 個角度，所述三個角度為所述頭部的左右朝向角度、上下朝向角度及旋轉(zhuǎn)角度；
[0022] 步驟五、將所述人眼依次取為左眼和右眼，計算所述人眼的視線方向，包括
[0023] 根據(jù)所述人眼的中心與所述人眼的兩個眼角的中心的偏移比例來確定所述人眼 的視線相對于所述頭部朝向的偏移角度，所述偏移角度包括視線的左右偏移角度和視線的 上下偏移角度，其中
【主權(quán)項】
1. 一種人眼定位方法，用于定位人臉圖像中的人眼，其特征在于，包括： 步驟一、構(gòu)造兩類卷積核心與K' P其中r是卷積核的半徑且r e [rmin, rmax]，rmin為最 小半徑，rmax為最大半徑；卷積核Kr為具有中心權(quán)重的卷積核，K' 不具有中心權(quán)重的卷 積核； 步驟二、在所述人臉圖像上截取眼區(qū)域圖像部分I，將所述卷積核&與分別與所述 眼區(qū)域圖像部分I卷積，獲得多個卷積后的圖像部分仁=KjI和I/ =K/ *1;以半徑r 遞增的順序，將I' ^除以I 得商矩陣序列Dr= I' 獲得所述人眼的中心（Xp，yp) 和半徑 R : (xp, yp, R) = argmax (Dr) 〇
2. 如權(quán)利要求1所述的人眼定位方法，其中所述步驟一中構(gòu)造的卷積核L為圓形邊界 的卷積核，所述卷積核中的圓形邊界上的點的像素值相同且和為1，其他像素值為〇 ;所述 步驟一中構(gòu)造的卷積核K' 1?與卷積核K 1?不同點在于其卷積核中心處帶有權(quán)重。
3. 如權(quán)利要求2所述的人眼定位方法，其中所述卷積核L的邊界包括左右對稱的左邊 界和右邊界，所述左邊界和所述右邊界皆分布在±36°的范圍內(nèi)。
4. 如權(quán)利要3所述的人眼定位方法，其中所述步驟二中截取的眼區(qū)域圖像部分I為正 方形，所述正方形的邊長為所述人臉圖像的寬度的〇. 22倍。
5. 如權(quán)利要求4所述的人眼定位方法，其中所述眼區(qū)域圖像部分為對應(yīng)左眼的左眼 區(qū)域圖像部分或?qū)?yīng)右眼的右眼區(qū)域圖像部分；以所述人臉圖像的左上角的頂點的位置為 (〇,〇)，所述左眼區(qū)域圖像部分的左上角的頂點的位置為（0.58w，0.28h)，所述右眼區(qū)域圖 像部分的左上角的頂點的位置為（0. 2w，0. 28h)，所述w為所述人臉圖像的寬度，所述h為所 述人臉圖像的高度。
6. 如權(quán)利要求5所述的人眼定位方法，其中所述最大半徑r max和最小半徑r min分別為 對0.2w和0.1 w取整后的值，所述取整為向下取整。
7. 如權(quán)利要求6所述的人眼定位方法，其中所述步驟一中構(gòu)造的所述卷積核Kr與Γ ^ 的個數(shù)皆為0.1 w取整后的值，所述取整為向下取整。
8. 如權(quán)利要求7所述的人眼定位方法，其中所述步驟二中對于所述眼區(qū)域圖像部分中 的每一個像素點獲得的所述商的個數(shù)為〇. Iw-I取整后的值，所述取整為向下取整。
9. 一種基于人眼定位的視線估計方法，包括前面任何一個權(quán)利要求所述的人眼定位方 法，用于估計所述人臉圖像中的視線方向，其特征在于，還包括 步驟三、基于人臉特征訓(xùn)練，通過監(jiān)督下降的方法定位所述人臉圖像上的特征點，所述 特征點位于眼睛、眉毛、鼻子和嘴的輪廓上； 步驟四、根據(jù)所述特征點，利用POSIT算法來確定所述人臉圖像中頭部朝向的三個角 度，所述三個角度為所述頭部的左右朝向角度、上下朝向角度及旋轉(zhuǎn)角度； 步驟五、將所述人眼依次取為左眼和右眼，計算所述人眼的視線方向，包括 根據(jù)所述人眼的中心與所述人眼的兩個眼角的中心的偏移比例來確定所述人眼的視 線相對于所述頭部朝向的偏移角度，所述偏移角度包括視線的左右偏移角度和視線的上下 偏移角度，其中 所述視線的左右偏移角度為：
其中（by。）表 示所述人眼的兩個眼角的中心，（xp，yp)表示所述人眼的中心，α為所述兩個眼角的連線的 方向向量u與所述兩個眼角的中心（χ。^。）和所述人眼的中心（xp，yp)的連線的夾角，L為 所述兩個眼角之間的距離，γ為調(diào)整參數(shù)， 所述視線的上下偏移角度為：
其中β為與 所述兩個眼角的連線垂直的方向向量V與所述兩個眼角的中心（Xc;，y。）和所述人眼中心 (xp，yp)的連線的夾角，H為所述人眼睜開的大小，ε為調(diào)整參數(shù)， 步驟六、計算所述人眼的視線方向，所述視線方向包括視線的左右朝向角度、視線的上 下朝向角度和視線的旋轉(zhuǎn)角度，所述視線左右朝向角度為所述左眼和所述右眼的所述視線 的左右偏移角度的均值加上所述頭部的左右朝向角度，所述視線的上下朝向角度為所述左 眼和所述右眼的所述視線的上下偏移角度的均值加上所述頭部的上下朝向角度，所述視線 的旋轉(zhuǎn)角度為所述頭部的旋轉(zhuǎn)角度。
10.如權(quán)利要求9所述的基于人眼定位的視線估計方法，其中所述γ = 1. 5，ε = 1. 2。
【專利摘要】本發(fā)明公開了一種人眼定位方法，包括構(gòu)造兩類卷積核，每類分別包含不同的半徑的卷積核；在人臉圖像上截取眼區(qū)域圖像部分，將兩類不同半徑的卷積核分別與眼區(qū)域圖像卷積獲取卷積后的圖像，將兩類卷積后的圖像相除獲取卷積商矩陣。通過計算商矩陣最大值處對應(yīng)的位置及卷積核的半徑來獲得人眼的中心和半徑。本發(fā)明還公開了一種基于人眼定位的視線估計方法，通過對人臉圖像計算人臉特征點和頭部朝向，并結(jié)合人眼中心坐標、眼角坐標以及頭部朝向最終確定視線方向。本發(fā)明利用傅立葉變換來計算卷積，考慮了眼睛中心處的灰度值，減少了眉毛、眼皮、眼鏡以及光照對定位的干擾，能夠快速、準確的定位出人眼的中心及半徑以及估計人眼的視線方向。
【IPC分類】G06K9-00, G06K9-62
【公開號】CN104766059
【申請?zhí)枴緾N201510152613
【發(fā)明人】劉洪海, 蔡海濱, 張劍華, 陳勝勇, 朱向陽
【申請人】上海交通大學(xué)
【公開日】2015年7月8日
【申請日】2015年4月1日