一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法
【專(zhuān)利摘要】本發(fā)明提供了一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，結(jié)合BFS算法、圖像幾何特征和灰度特征的光斑特征提取方法，將光斑與對(duì)應(yīng)的光源進(jìn)行精確匹配；利用一維邊緣檢測(cè)算子和最小二乘橢圓擬合進(jìn)行循環(huán)擬合，去除噪點(diǎn)，直到橢圓中心固定的擬合方法，最終得到精確的瞳孔中心；并提出一種動(dòng)態(tài)自適應(yīng)的校準(zhǔn)方法，有效提高了現(xiàn)有的空間映射模型精度。
【專(zhuān)利說(shuō)明】一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域的追蹤方法，主要涉及一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤技術(shù)。
【背景技術(shù)】
[0002]人類(lèi)是一個(gè)高度依賴(lài)視覺(jué)的物種，計(jì)算出人們的注視點(diǎn)，可以產(chǎn)生方方面面的應(yīng)用，包括心理學(xué)、工業(yè)工程、商業(yè)廣告等等。例如，可以利用視覺(jué)追蹤技術(shù)進(jìn)行:
[0003]I)注意力分析。分析用戶(hù)最感興趣的網(wǎng)頁(yè)內(nèi)容，發(fā)現(xiàn)嬰幼兒成長(zhǎng)過(guò)程中的興趣等
坐寸ο
[0004]2)人機(jī)交互。可以用人眼代替手進(jìn)行各種操作，比如進(jìn)行殘疾人輔助、輔助駕駛、控制智能家電、網(wǎng)頁(yè)和PPT翻頁(yè)等等。視覺(jué)追蹤技術(shù)滲透到人們的生活中，將對(duì)提高人們的生活質(zhì)量產(chǎn)生巨大的作用。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有的基于CCD (Charge Coupled Device,電荷稱(chēng)合器件)攝像機(jī)的視線(xiàn)跟蹤技術(shù)瞳孔提取不準(zhǔn)確，人眼注視坐標(biāo)定位不準(zhǔn)確，以及對(duì)姿勢(shì)限制過(guò)多等方面的不足，本發(fā)明利用圖像的灰度分布進(jìn)行快速的人眼初定位。本發(fā)明提出一種結(jié)合BFS (廣度優(yōu)先搜索，Breadth First Search)算法、圖像幾何特征和灰度特征的光斑特征提取方法,能夠?qū)⒐獍吲c對(duì)應(yīng)的光源進(jìn)行精確匹配`；利用一維邊緣檢測(cè)算子和最小二乘橢圓擬合進(jìn)行循環(huán)擬合，去除噪點(diǎn)，直到橢圓中心固定的擬合方法，最終得到精確的瞳孔中心；并提出一種動(dòng)態(tài)自適應(yīng)的校準(zhǔn)方法，有效的提聞了現(xiàn)有的空間映射|旲型精度。
[0006]本發(fā)明提供了一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，包括以下步驟:
[0007]步驟1:將獲取到的彩色圖像轉(zhuǎn)換成灰度圖，對(duì)圖像進(jìn)行去噪處理；
[0008]步驟2:分析出圖像中灰度值最低的子區(qū)域，以這個(gè)灰度值作為域值將圖像分割成二值化圖像，利用所有小于閾值的點(diǎn)(xi，yi) (i=l…N)，N是直方圖中灰度小于閾值的點(diǎn)的個(gè)數(shù)，在二值化圖像粗定位瞳孔中心位置(xpupil，ypupil)，如式(I)和式(2):
【權(quán)利要求】
1.一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于，包括以下步驟: 步驟1:將獲取到的彩色圖像轉(zhuǎn)換成灰度圖，對(duì)圖像進(jìn)行去噪處理； 步驟2:分析出圖像中灰度值最低的子區(qū)域，以這個(gè)灰度值作為域值將圖像分割成二值化圖像，利用所有小于閾值的點(diǎn)(xi，yi) (i=l…N)，N是直方圖中灰度小于閾值的點(diǎn)的個(gè)數(shù)，在二值化圖像粗定位瞳孔中心位置(xpupil，ypupil)，如式(I)和式(2):
2.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟I中，用中值濾波法來(lái)去除噪聲。
3.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟2中，利用直方圖分析出圖像中灰度值最低的子區(qū)域。
4.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟3中，矩形區(qū)域的范圍是:70*70像素的矩形區(qū)域至90*90像素的矩形區(qū)域。
5.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟4中:采用廣度優(yōu)先方法搜索光斑。
6.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟8中，提取瞳孔的邊緣點(diǎn)集具體如下:將光斑區(qū)域灰度用低于域值的灰度值替換后，計(jì)算出瞳孔區(qū)域的質(zhì)心，以這個(gè)質(zhì)心為中心，沿著各個(gè)方向進(jìn)行一維邊緣點(diǎn)掃描，在二值化圖像中查找滿(mǎn)足灰度序列[111000]的點(diǎn)集，就是瞳孔的邊緣點(diǎn)集。
7.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟9中，去除候選邊緣點(diǎn)中離橢圓中心的距離過(guò)遠(yuǎn)的點(diǎn)的要求是:超過(guò)其他所有邊緣點(diǎn)5-10像素；變化小于3像素就認(rèn)為是穩(wěn)定的中心。
8.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟10中，計(jì)算注視點(diǎn)具體如下: 根據(jù)計(jì)算出的屏幕上四個(gè)光斑和瞳孔中心坐標(biāo)，利用射影幾何中的交比不變?cè)磉M(jìn)行空間坐標(biāo)的映射，P代表瞳孔的中心，g代表人眼在屏幕上的注視點(diǎn)，VI，V2, V3, V4分別是屏幕四個(gè)角上的近紅外光源IR1，IR2, IR3，IR4產(chǎn)生的光斑對(duì)應(yīng)的虛點(diǎn)； Uv, Uv2，UV3, Uv4分別是虛點(diǎn)VI，V2，V3，V4在圖像平面上的映射點(diǎn)，所以這4個(gè)點(diǎn)也是虛點(diǎn)，而人眼上的實(shí)際光斑GtI，Gt2, Gt3, Gt4在圖像中對(duì)應(yīng)的點(diǎn)是Um，UE2, UR3，Uk4 ;圖像中捕獲的光斑與空間映射關(guān)系中圖像平面上的虛點(diǎn)之間存在一個(gè)固定的比例關(guān)系，如式(7)所示，其中α是一個(gè)取值近似于2.0的理論常量，Ukp和UKi可以從捕獲的圖像中計(jì)算出來(lái)，Ukp是由系統(tǒng)中靠近攝像機(jī)光軸位置的近紅外光源所產(chǎn)生的光斑；所以，當(dāng)α取值為常量2.0的時(shí)候，Uvi, Uv2，Uv3，Uv4就能通過(guò)式(7)計(jì)算出來(lái)，這樣虛點(diǎn)和光斑之間的關(guān)系就確立， UVi=UEp+ a (UE1-UEp) (i=l, 2，3，4)(7) 根據(jù)交比不變?cè)?，IR1IR2的交比值等于V1V2的交比值，且V1V2的交比值等于UviUv2的交比值，所以IR1IR2的交比值等于UviUv2的交比值； 假定圖像平面的4個(gè)虛點(diǎn)坐標(biāo)為UVi=(Xiv，Yiv) (i=l, 2，3，4)，以這4個(gè)點(diǎn)為基礎(chǔ)擴(kuò)展出如圖4(a)中的交點(diǎn)，假設(shè)這些交點(diǎn)的坐標(biāo)為Um= (XiM, YiM) (i=l, 2，3，4)，UviUv2的交比值如式(8)所示，Uv2Uv3的交比值如式(9)所示，
9.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟4中的條件為:灰度大于閾值的單個(gè)連通區(qū)域里的像素點(diǎn)個(gè)數(shù)超過(guò)N個(gè)，N的取值取決于人眼圖像尺寸和分辨率。
10.根據(jù)權(quán)利要求1所述的一種基于自適應(yīng)校準(zhǔn)的非接觸式視線(xiàn)追蹤方法，其特征在于:步驟11中，校準(zhǔn)注視點(diǎn)具體如下: 屏幕區(qū)域被均勻地分成了 η個(gè)相同大小的矩形區(qū)域，所有矩形區(qū)域的中心就是校準(zhǔn)點(diǎn)集合，這些校準(zhǔn)點(diǎn)的坐標(biāo)根據(jù)屏幕和矩形區(qū)域的大小可以確定，η的取值取決于屏幕的大小和所期望達(dá)到的精度范圍， 校準(zhǔn)點(diǎn)的坐標(biāo)是集合是C，如式(12)所示，當(dāng)被試注視校準(zhǔn)點(diǎn)Ci的時(shí)候，實(shí)際計(jì)算出的注視點(diǎn)坐標(biāo)是Ei，如式(13)所示，式(14)中的點(diǎn)是圖像平面上，由屏幕4個(gè)角上的近紅外光源產(chǎn)生的光斑，式(15)中的點(diǎn)是圖像平面上，由靠近攝像機(jī)光軸位置的近紅外光源產(chǎn)生的光斑，式(16)是Ukp對(duì)應(yīng)的虛點(diǎn)，
【文檔編號(hào)】G06K9/00GK103761519SQ201310719654
【公開(kāi)日】2014年4月30日 申請(qǐng)日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】王軒, 韓楷, 張自力, 于成龍, 李鑫鑫, 張加佳, 劉猛, 趙海楠, 李曄, 漆舒漢, 關(guān)鍵, 張江濤, 劉博
申請(qǐng)人:哈爾濱工業(yè)大學(xué)深圳研究生院