注視點(diǎn)檢測(cè)裝置、注視點(diǎn)檢測(cè)方法、個(gè)人參數(shù)計(jì)算裝置、個(gè)人參數(shù)計(jì)算方法、程序、以及計(jì) ...的制作方法
【專利摘要】本發(fā)明的注視點(diǎn)檢測(cè)裝置檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，具備：眼球圖像取得單元，取得被測(cè)者的眼球圖像；反射點(diǎn)推定單元，根據(jù)眼球圖像推定反射從被測(cè)者的眼球光軸方向到來的光的第一反射點(diǎn)；補(bǔ)正反射點(diǎn)計(jì)算單元，基于表示被測(cè)者的視線方向與眼球光軸方向之差的個(gè)人參數(shù)，補(bǔ)正第一反射點(diǎn)，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及注視點(diǎn)檢測(cè)單元，基于補(bǔ)正反射點(diǎn)的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)。
【專利說明】
注視點(diǎn)檢測(cè)裝置、注視點(diǎn)檢測(cè)方法、個(gè)人參數(shù)計(jì)算裝置、個(gè)
人參數(shù)計(jì)算方法、程序、以及計(jì)算機(jī)可讀取的記錄介質(zhì)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)的注視點(diǎn)檢測(cè)裝置和注視點(diǎn)檢測(cè)方法、計(jì)算表示被測(cè)者的視線方向與被測(cè)者的眼球光軸方向之差的個(gè)人參數(shù)的個(gè)人參數(shù)計(jì)算裝置和個(gè)人參數(shù)計(jì)算方法、程序、以及計(jì)算機(jī)可讀取的記錄介質(zhì)。

【背景技術(shù)】
[0002]被測(cè)者注視點(diǎn)的檢測(cè)是構(gòu)筑當(dāng)前和未來信息環(huán)境所必須的重要技術(shù)。與注視點(diǎn)檢測(cè)有關(guān)的技術(shù)的應(yīng)用范圍很廣泛，例如使用注視點(diǎn)信息的用戶界面和普適周邊環(huán)境，人的行動(dòng)識(shí)別、理解和溝通分析等。因此，包括商業(yè)產(chǎn)品在內(nèi)，很多技術(shù)已經(jīng)得到了實(shí)用化。
[0003]在非專利文獻(xiàn)I記載的技術(shù)中，公開了使用眼球表面的環(huán)境反射像作為新的注視點(diǎn)檢測(cè)法的方法。該技術(shù)將眼球表面上反射的環(huán)境的像與環(huán)境攝像機(jī)拍攝的場(chǎng)景點(diǎn)進(jìn)行直接對(duì)應(yīng)，由此實(shí)現(xiàn)注視點(diǎn)檢測(cè)。該技術(shù)具有許多優(yōu)點(diǎn)，例如:(I)系統(tǒng)設(shè)置容易，(2)被測(cè)者無須裝配設(shè)備，(3)能夠應(yīng)對(duì)進(jìn)深不同的復(fù)雜環(huán)境。
[0004]現(xiàn)有技術(shù)文獻(xiàn)
[0005]專利文獻(xiàn)
[0006]非專利文獻(xiàn)I 使用眼球表面反射及高速有源光投影的非裝配的、無須事先校正的注視點(diǎn)推定”，圖像識(shí)別和理解研討會(huì)(MIRU2011)論文集，第2011卷，pp.41-48(2011)，中澤，Nitschke, Radkov,竹村(「眼球O表面反射i高速77''光投影全用P亡非裝著.事前校正不要々注視點(diǎn)推定」畫像O認(rèn)識(shí).理解'> ” 々厶(MIRU2011)論文集、第2011 卷、pp.41-48 (2011)、中澤，二予二夕，7 卜''二 7，竹村)


【發(fā)明內(nèi)容】

[0007]發(fā)明要解決的課題
[0008]在非專利文獻(xiàn)I記載的技術(shù)中，需要利用求出眼球表面上反射來自視線方向的光的反射點(diǎn)的方法。通過比較眼球圖像中的反射點(diǎn)處的圖像特征與環(huán)境圖像的圖像特征，能夠推定環(huán)境中的注視點(diǎn)。
[0009]該技術(shù)假定眼球光軸方向與被測(cè)者的視線方向相同。但是，現(xiàn)實(shí)中，眼球光軸方向與被測(cè)者的視線方向存在個(gè)人差，因此注視點(diǎn)的推定精度有限。
[0010]本發(fā)明鑒于上述問題而作，其目的在于提供考慮了表示被測(cè)者的視線方向與被測(cè)者的眼球光軸方向之差的個(gè)人參數(shù)的注視點(diǎn)檢測(cè)裝置、注視點(diǎn)檢測(cè)方法、個(gè)人參數(shù)計(jì)算裝置、個(gè)人參數(shù)計(jì)算方法、程序、以及計(jì)算機(jī)可讀取的記錄介質(zhì)。
[0011]用于解決課題的手段
[0012]本發(fā)明的注視點(diǎn)檢測(cè)裝置檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，具備:眼球圖像取得單元，取得被測(cè)者的眼球圖像；反射點(diǎn)推定單元，根據(jù)眼球圖像推定反射從被測(cè)者的眼球光軸方向到來的光的第一反射點(diǎn)；補(bǔ)正反射點(diǎn)計(jì)算單元，基于表示被測(cè)者的視線方向與眼球光軸方向之差的個(gè)人參數(shù)，補(bǔ)正第一反射點(diǎn)，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及注視點(diǎn)檢測(cè)單元，基于補(bǔ)正反射點(diǎn)的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)。
[0013]在一個(gè)實(shí)施方式中，注視點(diǎn)檢測(cè)裝置具備:姿勢(shì)計(jì)算單元，根據(jù)眼球圖像計(jì)算眼球的姿勢(shì)，反射點(diǎn)推定單元基于眼球的姿勢(shì)和眼球的幾何模型，推定第一反射點(diǎn)。
[0014]在一個(gè)實(shí)施方式中，反射點(diǎn)推定單元基于假定被測(cè)者的視線方向與被測(cè)者的眼球光軸方向平行的模型，推定第一反射點(diǎn)。
[0015]在一個(gè)實(shí)施方式中，周邊環(huán)境的光是LED陣列投影儀的光。
[0016]在一個(gè)實(shí)施方式中，周邊環(huán)境的光是圖案發(fā)光標(biāo)志的光。
[0017]本發(fā)明的注視點(diǎn)檢測(cè)方法檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，包括如下步驟:眼球圖像取得步驟，取得被測(cè)者的眼球圖像；反射點(diǎn)推定步驟，根據(jù)眼球圖像推定反射從被測(cè)者的眼球光軸方向到來的光的第一反射點(diǎn)；補(bǔ)正反射點(diǎn)計(jì)算步驟，基于表示被測(cè)者的視線方向與眼球光軸方向之差的個(gè)人參數(shù)，補(bǔ)正第一反射點(diǎn)，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及注視點(diǎn)檢測(cè)步驟，基于補(bǔ)正反射點(diǎn)的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)。
[0018]本發(fā)明的個(gè)人參數(shù)計(jì)算裝置計(jì)算表示被測(cè)者的視線方向與所述被測(cè)者的眼球光軸方向之差的個(gè)人參數(shù)，具備:眼球圖像取得單元，取得被測(cè)者的眼球圖像；反射點(diǎn)推定單元，根據(jù)眼球圖像推定反射從眼球光軸方向到來的光的第一反射點(diǎn)；反射點(diǎn)檢測(cè)單元，根據(jù)眼球圖像檢測(cè)反射從被測(cè)者的注視點(diǎn)到來的光的第二反射點(diǎn)；以及個(gè)人參數(shù)計(jì)算單元，基于第一反射點(diǎn)和第二反射點(diǎn)，計(jì)算被測(cè)者的個(gè)人參數(shù)。
[0019]在一個(gè)實(shí)施方式中，個(gè)人參數(shù)計(jì)算裝置具備:姿勢(shì)計(jì)算單元，根據(jù)眼球圖像計(jì)算眼球的姿勢(shì)，反射點(diǎn)推定單元基于眼球的姿勢(shì)和眼球的幾何模型，推定第一反射點(diǎn)。
[0020]在一個(gè)實(shí)施方式中，反射點(diǎn)推定單元基于假定被測(cè)者的視線方向與被測(cè)者的眼球光軸方向平行的模型，推定第一反射點(diǎn)。
[0021]本發(fā)明的個(gè)人參數(shù)計(jì)算方法計(jì)算表示被測(cè)者的視線方向與被測(cè)者的眼球光軸方向之差的個(gè)人參數(shù)，包括如下步驟:眼球圖像取得步驟，取得被測(cè)者的眼球圖像；反射點(diǎn)推定步驟，根據(jù)眼球圖像推定反射從眼球光軸方向到來的光的第一反射點(diǎn)；反射點(diǎn)檢測(cè)步驟，根據(jù)眼球圖像檢測(cè)反射從被測(cè)者的注視點(diǎn)到來的光的第二反射點(diǎn)；以及個(gè)人參數(shù)計(jì)算步驟，基于第一反射點(diǎn)和第二反射點(diǎn)，計(jì)算被測(cè)者的個(gè)人參數(shù)。
[0022]本發(fā)明的程序用于使計(jì)算機(jī)執(zhí)行注視點(diǎn)檢測(cè)處理，檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，所述程序包括如下步驟:眼球圖像取得步驟，取得被測(cè)者的眼球圖像；反射點(diǎn)推定步驟，根據(jù)眼球圖像推定反射從被測(cè)者的眼球光軸方向到來的光的第一反射點(diǎn)；補(bǔ)正反射點(diǎn)計(jì)算步驟，基于表示被測(cè)者的視線方向與眼球光軸方向之差的個(gè)人參數(shù)，補(bǔ)正第一反射點(diǎn)，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及注視點(diǎn)檢測(cè)步驟，基于補(bǔ)正反射點(diǎn)的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)。
[0023]本發(fā)明的程序用于使計(jì)算機(jī)執(zhí)行個(gè)人參數(shù)計(jì)算處理，計(jì)算表示被測(cè)者的視線方向與被測(cè)者的眼球光軸方向之差的個(gè)人參數(shù)，所述程序包括如下步驟:眼球圖像取得步驟，取得被測(cè)者的眼球圖像；反射點(diǎn)推定步驟，根據(jù)眼球圖像推定反射從眼球光軸方向到來的光的第一反射點(diǎn)；反射點(diǎn)檢測(cè)步驟，根據(jù)眼球圖像檢測(cè)反射從被測(cè)者的注視點(diǎn)到來的光的第二反射點(diǎn)；以及個(gè)人參數(shù)計(jì)算步驟，基于第一反射點(diǎn)和第二反射點(diǎn)，計(jì)算被測(cè)者的個(gè)人參數(shù)。
[0024]本發(fā)明的計(jì)算機(jī)可讀取的記錄介質(zhì)記錄有用于使計(jì)算機(jī)執(zhí)行注視點(diǎn)檢測(cè)處理的程序，所述注視點(diǎn)檢測(cè)處理檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，所述程序包括如下步驟:眼球圖像取得步驟，取得被測(cè)者的眼球圖像；反射點(diǎn)推定步驟，根據(jù)眼球圖像推定反射從被測(cè)者的眼球光軸方向到來的光的第一反射點(diǎn)；補(bǔ)正反射點(diǎn)計(jì)算步驟，基于表示被測(cè)者的視線方向與眼球光軸方向之差的個(gè)人參數(shù)，補(bǔ)正第一反射點(diǎn)，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及注視點(diǎn)檢測(cè)步驟，基于補(bǔ)正反射點(diǎn)的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)。
[0025]本發(fā)明的計(jì)算機(jī)可讀取的記錄介質(zhì)記錄有用于使計(jì)算機(jī)執(zhí)行個(gè)人參數(shù)計(jì)算處理的程序，所述個(gè)人參數(shù)計(jì)算處理計(jì)算表示被測(cè)者的視線方向與所述被測(cè)者的眼球光軸方向之差的個(gè)人參數(shù)，所述程序包括如下步驟:眼球圖像取得步驟，取得被測(cè)者的眼球圖像；反射點(diǎn)推定步驟，根據(jù)眼球圖像推定反射從眼球光軸方向到來的光的第二反射點(diǎn)；反射點(diǎn)檢測(cè)步驟，根據(jù)眼球圖像檢測(cè)反射從被測(cè)者的注視點(diǎn)到來的光的第一反射點(diǎn)；以及個(gè)人參數(shù)計(jì)算步驟，基于第一反射點(diǎn)和第二反射點(diǎn)，計(jì)算被測(cè)者的個(gè)人參數(shù)。

【專利附圖】

【附圖說明】
[0026]圖1是表示本發(fā)明實(shí)施方式I的注視點(diǎn)檢測(cè)裝置的示意圖。
[0027]圖2是表示本發(fā)明實(shí)施方式I的注視點(diǎn)檢測(cè)裝置的動(dòng)作的流程圖。
[0028]圖3(a)表示眼球的示意圖，(b)是表示眼球的近似幾何模型的示意圖。
[0029]圖4表示利用暗瞳孔法的瞳輪廓的檢測(cè)結(jié)果。
[0030]圖5是用于說明基于瞳投影像的眼球姿勢(shì)推定的示意圖。
[0031]圖6是表示眼球的表面反射與反射點(diǎn)的關(guān)系的示意圖。
[0032]圖7是表不使用LED-AP的系統(tǒng)結(jié)構(gòu)和使用圖案發(fā)光標(biāo)志的系統(tǒng)結(jié)構(gòu)的不意圖。
[0033]圖8是表示LED-AP的結(jié)構(gòu)的照片。
[0034]圖9是用于說明作為光源的LED的認(rèn)定的示意圖。
[0035]圖10是表示圖案發(fā)光標(biāo)志的結(jié)構(gòu)和眼球的反射像的照片。
[0036]圖11是本發(fā)明實(shí)施方式2的個(gè)人參數(shù)計(jì)算裝置的示意圖。
[0037]圖12是表示本發(fā)明實(shí)施方式2的個(gè)人參數(shù)計(jì)算裝置的動(dòng)作的流程圖。
[0038]圖13是表示注視點(diǎn)推定角度誤差的表。
[0039]圖14是表示條件I下的注視點(diǎn)推定結(jié)果的圖表。
[0040]圖15是表示條件2下的注視點(diǎn)推定結(jié)果的圖表。

【具體實(shí)施方式】
[0041]下面參考【專利附圖】

【附圖說明】本發(fā)明的注視點(diǎn)檢測(cè)裝置、注視點(diǎn)檢測(cè)方法、個(gè)人參數(shù)計(jì)算裝置以及個(gè)人參數(shù)計(jì)算方法的實(shí)施方式。但本發(fā)明不限于以下實(shí)施方式。
[0042]實(shí)施方式1:注視點(diǎn)檢測(cè)
[0043]圖1是表示本發(fā)明實(shí)施方式I的注視點(diǎn)檢測(cè)裝置100的示意圖。注視點(diǎn)檢測(cè)裝置100檢測(cè)被測(cè)者A對(duì)周邊環(huán)境的注視點(diǎn)PoG。周邊環(huán)境是指被測(cè)者A周邊的空間，可以是用XY坐標(biāo)表示的空間或用XYZ坐標(biāo)表示的空間。注視點(diǎn)檢測(cè)裝置100具備取得被測(cè)者A的眼球圖像的眼球圖像取得單元102、反射點(diǎn)推定單元104、補(bǔ)正反射點(diǎn)計(jì)算單元106、以及注視點(diǎn)檢測(cè)單元108。注視點(diǎn)檢測(cè)裝置100還可以具備環(huán)境光檢測(cè)裝置112。
[0044]眼球圖像取得單元102例如是數(shù)碼攝像機(jī)、CCD攝像機(jī)或者云臺(tái)變焦攝像機(jī)(pantilt zoom camera)，能夠檢測(cè)可見光區(qū)域的光。眼球圖像取得單元102取得靜止的被測(cè)者A的眼球或運(yùn)動(dòng)的被測(cè)者A的眼球的圖像。反射點(diǎn)推定單元104根據(jù)眼球圖像推定反射從被測(cè)者A的眼球光軸方向到來的光的第一反射點(diǎn)GRP (Gaze Reflect1n Point,注視反射點(diǎn))。注視點(diǎn)檢測(cè)裝置100還可以具備根據(jù)眼球圖像計(jì)算眼球姿勢(shì)的姿勢(shì)計(jì)算單元110。
[0045]反射點(diǎn)推定單元104基于眼球姿勢(shì)和眼球的幾何模型，根據(jù)眼球圖像推定第一反射點(diǎn)GRP。
[0046]補(bǔ)正反射點(diǎn)計(jì)算單元106基于表示被測(cè)者A的視線方向與眼球光軸方向之差的個(gè)人參數(shù)補(bǔ)正第一反射點(diǎn)GRP，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)cGRP (correctedGRP)。
[0047]環(huán)境光檢測(cè)裝置112例如是數(shù)碼攝像機(jī)、CXD攝像機(jī)或者云臺(tái)變焦攝像機(jī)(pantilt zoom camera),能夠檢測(cè)可見光區(qū)域的光。環(huán)境光檢測(cè)裝置112能夠檢測(cè)被測(cè)者A注視的被測(cè)者A周邊環(huán)境的光。周邊環(huán)境的光形成周邊環(huán)境的圖像。注視點(diǎn)檢測(cè)單元108基于補(bǔ)正反射點(diǎn)cGRP的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)PoG。例如，注視點(diǎn)檢測(cè)單元108比較由補(bǔ)正反射點(diǎn)計(jì)算單元106計(jì)算出的補(bǔ)正反射點(diǎn)cGRP的光與由環(huán)境光檢測(cè)裝置112檢測(cè)出的周邊環(huán)境的光，以檢測(cè)注視點(diǎn)PoG。
[0048]反射點(diǎn)推定單元104、補(bǔ)正反射點(diǎn)計(jì)算單元106、注視點(diǎn)檢測(cè)單元108、以及姿勢(shì)計(jì)算單元110例如可以是個(gè)人電腦等電子計(jì)算機(jī)。
[0049]此外，注視點(diǎn)檢測(cè)單元108基于補(bǔ)正反射點(diǎn)cGRP的光和周邊環(huán)境的光檢測(cè)注視點(diǎn)PoG，但周邊環(huán)境的光不限于由環(huán)境光檢測(cè)裝置112檢測(cè)。
[0050]例如，注視點(diǎn)檢測(cè)裝置100可以不具備環(huán)境光檢測(cè)裝置112，而取而代之以投影單元和投影光檢測(cè)單元。投影單元具有光源，向周邊環(huán)境投影光。投影單元例如是投影儀。投影單元例如向周邊環(huán)境投影表示景色的可見光或表示格雷碼圖案的可見光。如參考圖7詳細(xì)說明的那樣，投影單元還可以是LED陣列投影儀。在周邊環(huán)境是房間的墻壁的情況下，投影單元向房間的墻壁投影光。在周邊環(huán)境是山的巖壁的情況下，投影單元向凹凸的巖壁投影光。此外，若投影單元是三維影像裝置，則在除空氣以外不存在任何物體的空間內(nèi)也能夠投影由點(diǎn)陣構(gòu)成的真實(shí)的三維影像。
[0051]投影光檢測(cè)單元檢測(cè)從投影單元投影的投影光。投影光檢測(cè)單元例如是數(shù)碼攝像機(jī)或CCD攝像機(jī)，能夠檢測(cè)可見光區(qū)域的光。注視點(diǎn)檢測(cè)單元108比較由補(bǔ)正反射點(diǎn)計(jì)算單元106計(jì)算出的補(bǔ)正反射點(diǎn)cGRP的光與由投影光檢測(cè)單元檢測(cè)出的投影光，以檢測(cè)注視點(diǎn) PoG。
[0052]此外，例如，注視點(diǎn)檢測(cè)裝置100還可以不具備環(huán)境光檢測(cè)裝置112，而取而代之以顯示單元。顯示單元顯示周邊環(huán)境的光。顯示單元例如是發(fā)光的顯示板或監(jiān)視器畫面。如參考圖7詳細(xì)說明的那樣，顯示單元還可以是圖案發(fā)光標(biāo)志。周邊環(huán)境的光作為由顯示單元顯示的顯示像數(shù)據(jù)被發(fā)送到注視點(diǎn)檢測(cè)單元108。注視點(diǎn)檢測(cè)單元108比較由補(bǔ)正反射點(diǎn)計(jì)算單元106計(jì)算出的補(bǔ)正反射點(diǎn)cGRP的光與由顯示單元顯示的顯示像的光，以檢測(cè)注視點(diǎn)PoG。
[0053]圖2是表示注視點(diǎn)檢測(cè)裝置100的動(dòng)作的流程圖。參考圖1和圖2說明注視點(diǎn)檢測(cè)方法。如下述所示，由注視點(diǎn)檢測(cè)裝置100執(zhí)行步驟202至步驟208，從而實(shí)現(xiàn)本發(fā)明實(shí)施方式I的注視點(diǎn)檢測(cè)處理。
[0054]步驟202:眼球圖像取得單元102取得被測(cè)者A的眼球圖像。
[0055]步驟204:反射點(diǎn)推定單元104根據(jù)眼球圖像推定反射從被測(cè)者A的眼球光軸方向到來的光的第一反射點(diǎn)GRP。
[0056]步驟206:補(bǔ)正反射點(diǎn)計(jì)算單元106基于個(gè)人參數(shù)補(bǔ)正第一反射點(diǎn)GRP,計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)cGRP。
[0057]步驟208:注視點(diǎn)檢測(cè)單元108基于補(bǔ)正反射點(diǎn)cGRP的光和周邊環(huán)境的光，檢測(cè)注視點(diǎn)PoG。
[0058]此外，實(shí)現(xiàn)注視點(diǎn)檢測(cè)處理的裝置不限于注視點(diǎn)檢測(cè)裝置100。只要是具有眼球圖像取得單元102、反射點(diǎn)推定單元104、補(bǔ)正反射點(diǎn)計(jì)算單元106、以及注視點(diǎn)檢測(cè)單元108的功能的裝置，注視點(diǎn)檢測(cè)裝置100可以是任意裝置。例如，注視點(diǎn)檢測(cè)方法可以通過PC實(shí)現(xiàn)。另外，還可以通過構(gòu)成注視點(diǎn)檢測(cè)裝置100的一部分的PC實(shí)現(xiàn)。
[0059]在通過PC實(shí)現(xiàn)注視點(diǎn)檢測(cè)方法的情況下，以注視點(diǎn)檢測(cè)處理程序的形式執(zhí)行注視點(diǎn)檢測(cè)方法。該P(yáng)C具備存儲(chǔ)器和CPU。該存儲(chǔ)器中存儲(chǔ)注視點(diǎn)檢測(cè)處理程序。該CPU從該存儲(chǔ)器中讀取注視點(diǎn)檢測(cè)處理程序，分別控制具有眼球圖像取得單元102和反射點(diǎn)推定單元104的功能的單元，使具有眼球圖像取得單元102的功能的單元執(zhí)行步驟202，并使具有反射點(diǎn)推定單元104的功能的單元執(zhí)行步驟204。
[0060]該CPU還從該存儲(chǔ)器中讀取注視點(diǎn)檢測(cè)處理程序，分別控制具有補(bǔ)正反射點(diǎn)計(jì)算單元106和注視點(diǎn)檢測(cè)單元108的功能的單元,使具有補(bǔ)正反射點(diǎn)計(jì)算單元106的功能的單元執(zhí)行步驟206，并使具有注視點(diǎn)檢測(cè)單元108的功能的單元執(zhí)行步驟206。
[0061]從記錄有注視點(diǎn)檢測(cè)處理程序的PC外部的記錄介質(zhì)中讀出注視點(diǎn)檢測(cè)處理程序，由此能夠在該P(yáng)C的存儲(chǔ)器中安裝該處理程序。作為PC外部的記錄介質(zhì)，可以使用軟盤、⑶-ROM、⑶-R、DVD、MO等任意介質(zhì)。另外，經(jīng)由因特網(wǎng)等任意網(wǎng)絡(luò)下載注視點(diǎn)檢測(cè)處理程序，由此也能夠在該P(yáng)C的存儲(chǔ)器中安裝該處理程序。
[0062]下面說明注視點(diǎn)檢測(cè)裝置100及注視點(diǎn)檢測(cè)方法的詳細(xì)情況。本實(shí)施方式中，導(dǎo)入眼球的幾何模型。圖3(a)表示眼球的示意圖，圖3(b)表示眼球的近似幾何模型。眼球并非由單個(gè)球面構(gòu)成，而是由角膜部分的球面(角膜球面)和眼球主體(眼球面)這兩個(gè)不同的球面近似構(gòu)成。近似幾何模型中使用既定值(瞳半徑= 5.6_，角膜球半徑r。=7.7mm)。近似幾何模型在幾何上較為簡(jiǎn)單，容易進(jìn)行解析性處理。在眼球的表面反射解析中具有足夠的精度。
[0063]本實(shí)施方式中，在根據(jù)眼球圖像推定第一反射點(diǎn)GRP之前，先推定眼球的姿勢(shì)。姿勢(shì)計(jì)算單元110檢測(cè)瞳孔的輪廓和瞳的輪廓，根據(jù)眼球圖像計(jì)算眼球的姿勢(shì)。瞳孔的輪廓和瞳的輪廓的檢測(cè)使用紅外光實(shí)現(xiàn)。首先，使用暗瞳孔法提取瞳孔區(qū)域。暗瞳孔法是利用了瞳孔與其他區(qū)域的光反射和吸收特性的不同的方法。詳細(xì)情況可以參考如下文獻(xiàn)。
[0064]R.Kothari and J.L.MitchelI: " Detect1n of eye locat1ns inunconstrained visual images", Proc.1nt, Conf.0n Image Processing(ICIP),pp.519-522(1996).
[0065]圖4表不利用暗瞳孔法的瞳輪廓的檢測(cè)結(jié)果。圖4(a)表不第一巾貞，圖4(b)表不第二幀(紅外光亮燈)，圖4(c)表示瞳孔和瞳輪廓的檢測(cè)結(jié)果。在圖4(c)中，白色實(shí)線表示瞳輪廓，位于白色實(shí)線內(nèi)側(cè)的白色虛線表示利用暗瞳孔法得到的瞳孔輪廓，白色〇標(biāo)記表示瞳輪廓的中心，白色X標(biāo)記表示角膜球面的中心，白色Λ標(biāo)記表示第一反射點(diǎn)GRP。
[0066]眼球圖像取得單元102中安裝的紅外LED在第一幀時(shí)關(guān)閉，在第二幀時(shí)打開。在眼球區(qū)域中，瞳孔吸收來自外部的光，因此在兩幀中均表現(xiàn)為黑色，而其他區(qū)域反射光，因此在第二幀中表現(xiàn)得較亮。通過取第一幀與第二幀的拍攝圖像的差，能夠?qū)⒅递^小的區(qū)域視為瞳孔區(qū)域。
[0067]圖5是用于說明基于瞳投影像的眼球姿勢(shì)推定的示意圖。參考圖5繼續(xù)進(jìn)行說明。對(duì)瞳孔區(qū)域的輪廓適用基于RANSAC的橢圓擬合,得到橢圓B(x, y, cx, cy, a, b, Φ)。其中(cx，cy)為中心位置，a、b為短徑及長徑，Φ為旋轉(zhuǎn)角。使用瞳孔輪廓的推定結(jié)果進(jìn)行兩個(gè)步驟的最小化，推定瞳輪廓。
[0068]步驟S1:使用瞳孔的中心和旋轉(zhuǎn)角(cx，cy, Φ)，僅改變徑參數(shù)(a，b)對(duì)以下函數(shù)進(jìn)行最小化，得到瞳的徑的初始參數(shù)％、Iv
[0069]數(shù)式I
mal (%^v.CfJi V — Y" Γ.U.?1-SfWfib !
[0070], y
[0071 ] ?α?, _ = axg max evtd (cx, cw, a, k #) P)


s.,.6
[0072]此處4!^，7)是輸入圖像的1微分，&。>&，13(|>13。僅使用圖像的X微分是為了避開眼瞼的影響。另外，sgn(cx-x)用于評(píng)價(jià):從瞳的中心坐標(biāo)向外側(cè)方向存在有從黑眼珠到白眼珠的變化。
[0073]步驟S2:使用得到的徑的初始參數(shù)，用相同的評(píng)價(jià)函數(shù)收斂橢圓的全部參數(shù)，得到瞳輪廓的參數(shù)(cx，，cv’，a’，b’，Φ ’)。
[0074]使用這些參數(shù)，通過下式(3)得到視線方向g。
[0075]數(shù)式2
[0076]g = Sia T sin, - sin τ cm Φ - cos τ j.(3j
[0077]此處，τ表示瞳的進(jìn)深方向的傾角，通過τ = 土 arccos (rmin/rmax)求出。另外,據(jù)此，角膜球面的中心點(diǎn)C能夠使用L至C的已知長度屯(=5.6mm)和視線矢量g求出。
[0078]反射點(diǎn)推定單元104使用得到的眼球的三維姿勢(shì)，推定眼球表面上反射從注視點(diǎn)PoG入射的光的點(diǎn)(第一反射點(diǎn)GRP)。眼球圖像取得單元102對(duì)眼球表面反射像的拍攝視為與反射光學(xué)系統(tǒng)(Catad1ptic system)相同，使用作為反射球面的角膜球面的幾何模型和從眼球圖像取得單元102得到的眼球姿勢(shì)，能夠求出第一反射點(diǎn)GRP。非專利文獻(xiàn)I中，作為第一反射點(diǎn)GRP的推定模型，公開了透視投影模型和弱透視投影模型。
[0079]本實(shí)施方式中，描述利用弱透視投影模型作為第一反射點(diǎn)GRP的模型的例子。眼球表面上光的入射和反射可以認(rèn)為在一個(gè)平面內(nèi)產(chǎn)生。在弱透視投影模型的情況下，該面是包含瞳的投影像(橢圓)的短軸，垂直于圖像面的平面。若假定從被測(cè)者A的注視點(diǎn)PoG到來的光是來自眼球光軸方向的光，則光線的路徑如圖6(a)所示。圖6(a)表示如下情形:從被測(cè)者A的注視點(diǎn)PoG平行于視線方向(眼球光軸方向)入射的光在角膜表面上進(jìn)行反射，并入射到眼球圖像取得單元102。參考圖6(a)，使用角膜表面上的反射關(guān)系得到下式。
[0080]數(shù)式3
f，T
CJ * Hs:二 g * Iig, O:= I O I ;
L?
[0081]r.iT r 0.Λ ]τ
g = j eos τ shit , Iig= cosf amΘ ι.1JIJ




(4)
[0082]據(jù)此，使用表示眼球光軸方向的τ得到表示第一反射點(diǎn)GRP的角度Θ。
[0083]數(shù)式4
^ — nr { I — Jl:? ?.' ■' * 1.? j
[0084]
=-r/2|5)
[0085]另外，求出弱透視投影的局部投影面上瞳的中心與第一反射點(diǎn)GRP的距離I IS_I」如下。
[0086]數(shù)式5
[0087]I Is-1lI = rcsin Θ -dLCsin τ.(6)
[0088]接著，考慮將瞳中心視為物體中心的弱透視投影，通過下式求出眼球圖像中的第一反射點(diǎn)GRP的位置is。
[0089]數(shù)式6
[0090]is = iL+s.VsJ IS-1L| , s = rmax/rL, (7)
[0091]此處，s是弱透視投影的比例系數(shù)，iL是瞳中心的坐標(biāo)，Vsm是表示瞳的投影像(橢圓)的短軸的二維矢量。
[0092]補(bǔ)正反射點(diǎn)計(jì)算單元106以個(gè)人參數(shù)(δ X，δ y)為轉(zhuǎn)動(dòng)量,轉(zhuǎn)動(dòng)通過眼球姿勢(shì)推定得到的瞳中心坐標(biāo)系Re，從而對(duì)第一反射點(diǎn)GRP進(jìn)行補(bǔ)正，計(jì)算作為補(bǔ)正后的第一反射點(diǎn)的補(bǔ)正反射點(diǎn)cGRP。具體情況如下。
[0093]數(shù)式7
[0094]τ* 二 arcCfBtfcJ 11*^),丨:8)
' ,:eT 1..U er；..
[0095]w*fn —.(:} Κ.*#,；)/ ? I t ι.(y)
' 'L.J ….’ 11 W J '
[0096]= Iir.ι ? I*} R IRi,,(10)
[0097]其中，Rx和Rv是表示繞X軸、y軸的轉(zhuǎn)動(dòng)的矩陣。將此處得到的τ*作為τ代入式(6)，并將v*sm作為Vsm代入式(7)，從而得到補(bǔ)正反射點(diǎn)cGRP。
[0098]注視點(diǎn)檢測(cè)單元108基于補(bǔ)正反射點(diǎn)cGRP的光和周邊環(huán)境的光檢測(cè)注視點(diǎn)PoG。例如，注視點(diǎn)檢測(cè)單元108將表示補(bǔ)正反射點(diǎn)cGRP的光的數(shù)字?jǐn)?shù)據(jù)與表示周邊環(huán)境的光的數(shù)字?jǐn)?shù)據(jù)相對(duì)應(yīng)，從對(duì)應(yīng)的數(shù)字?jǐn)?shù)據(jù)中檢測(cè)周邊環(huán)境中包含的注視點(diǎn)PoG。此外，本說明書中，被測(cè)者A的注視點(diǎn)PoG表示被測(cè)者A注視的點(diǎn)、區(qū)域、或部分。
[0099]本實(shí)施方式中，例如，通過利用有源照明法，能夠得到表示周邊環(huán)境的光的數(shù)字?jǐn)?shù)據(jù)。例如，通過安裝LED陣列投影儀(LED-AP)或圖案發(fā)光標(biāo)志，能夠?qū)崿F(xiàn)有源照明法。
[0100]圖7表示使用LED-AP的系統(tǒng)結(jié)構(gòu)和使用圖案發(fā)光標(biāo)志的系統(tǒng)結(jié)構(gòu)。圖7 (a)是使用LED-AP的系統(tǒng)結(jié)構(gòu)，利用LED-AP高速地對(duì)場(chǎng)景投影光。通過由眼球圖像取得單元102取得眼球表面映出的反射光，能夠推定注視點(diǎn)PoG，作為場(chǎng)景中的任意點(diǎn)，得到注視點(diǎn)PoG。
[0101]圖7(b)是使用圖案發(fā)光標(biāo)志的系統(tǒng)結(jié)構(gòu)，該結(jié)構(gòu)將標(biāo)志安裝于注視對(duì)象物，由此得知是否注視該物體，或者注視多個(gè)對(duì)象物中的哪一對(duì)象物。雖然得到的注視信息以對(duì)象物體為單位，但只需在對(duì)象物上安裝小型標(biāo)志即可，因此能夠用更簡(jiǎn)單的結(jié)構(gòu)實(shí)現(xiàn)注視點(diǎn)推定。另外，還具有得到的注視數(shù)據(jù)的后續(xù)解析較為容易的優(yōu)點(diǎn)。
[0102]圖8表示LED-AP的結(jié)構(gòu)。圖8 (a)表示LED陣列(42LED)單元，包括高亮度LED (可見光或紅外光)和用于聚光的菲涅耳透鏡。圖8(b)表示LED陣列(9LED)單元。圖8 (c)及圖8(d)表示實(shí)驗(yàn)環(huán)境和光照?qǐng)D案。
[0103]LED-AP具備以格狀配置的高亮度LED群、透鏡、以及控制器。各LED能夠以0.05ms控制亮滅，每個(gè)LED能夠投影不同時(shí)間序列的二值圖案。另外，能夠分別改變各LED的方向，因此能夠?qū)⒄彰鞴馀渲脼楦采w廣大區(qū)域。
[0104]通過使各個(gè)LED的時(shí)間序列照明圖案具有唯一的ID,能夠從攝像機(jī)的拍攝圖像序列中復(fù)原ID，認(rèn)定作為光源的LED(圖9)。另一方面，環(huán)境中的空間分辨率由LED的數(shù)量決定，因此存在限制。為了彌補(bǔ)這一不足，組合線性插值來推定注視點(diǎn)PoG。也就是說，在眼球反射圖像中求出與第一反射點(diǎn)GRP較近的三個(gè)LED投影點(diǎn)，求出三個(gè)LED投影點(diǎn)與第一反射點(diǎn)GRP的相對(duì)位置關(guān)系。從環(huán)境圖像中也求出各LED的投影點(diǎn)，使用已經(jīng)取得的與第一反射點(diǎn)GRP的相對(duì)位置關(guān)系，推定環(huán)境圖像中的注視點(diǎn)PoG。處理流程如下。
[0105]首先，從眼球反射圖像序列中復(fù)原時(shí)間序列碼，求出每個(gè)像素的ID?；趶?fù)原了的ID進(jìn)行標(biāo)示，求出具有一定大小以上的面積的標(biāo)簽，將其重心位置作為對(duì)各LED的表面反射點(diǎn)。LED-AP使用可見光LED或紅外LED進(jìn)行安裝。由此，能夠在被測(cè)者A察覺不到投影光的情況下推定注視點(diǎn)PoG。
[0106]圖10表示圖案發(fā)光標(biāo)志的結(jié)構(gòu)和眼球的反射像。如圖10(a)所示，圖案發(fā)光標(biāo)志采用使LED-AP的各LED獨(dú)立的結(jié)構(gòu)，具備微控制器和紅外線LED。圖案發(fā)光標(biāo)志發(fā)出因各標(biāo)志而異的時(shí)間序列圖案。通過將標(biāo)志安裝到注視對(duì)象物上，能夠判定被測(cè)者A是否注視該對(duì)象物。
[0107]圖10 (b)表示被測(cè)者A的前面有兩種對(duì)象物體移動(dòng)的狀況。各個(gè)對(duì)象物體上安裝有圖案發(fā)光標(biāo)志。白色的橢圓表示瞳輪廓，白色的四邊形框表示第一反射點(diǎn)GRP?？梢钥闯?，圖案發(fā)光標(biāo)志之一與第一反射點(diǎn)GRP —致。
[0108]各標(biāo)志中安裝有微控制器，因此通過用實(shí)時(shí)時(shí)鐘進(jìn)行同步，能夠保持同步的發(fā)光圖案。根據(jù)該標(biāo)志在眼球表面上的第一反射點(diǎn)GRP與補(bǔ)正反射點(diǎn)cGRP的位置關(guān)系，能夠計(jì)算標(biāo)志與視線方向的角度，因此通過進(jìn)行基于角度的閾值處理等，能夠判定是否正在注視。
[0109]實(shí)施方式2:個(gè)人參數(shù)計(jì)算
[0110]圖11是本發(fā)明實(shí)施方式的個(gè)人參數(shù)計(jì)算裝置200的示意圖。個(gè)人參數(shù)計(jì)算裝置200計(jì)算表示被測(cè)者A的視線方向與被測(cè)者A的眼球光軸方向之差的個(gè)人參數(shù)。個(gè)人參數(shù)計(jì)算裝置200具備:眼球圖像取得單元102，取得被測(cè)者A的眼球圖像；反射點(diǎn)推定單元104，根據(jù)眼球圖像推定反射從眼球光軸方向到來的光的第一反射點(diǎn)GRP ;反射點(diǎn)檢測(cè)單元206，根據(jù)眼球圖像檢測(cè)反射從被測(cè)者A的注視點(diǎn)PoG到來的光的第二反射點(diǎn)(Calibrat1nreflect1n point，校準(zhǔn)反射點(diǎn))；以及個(gè)人參數(shù)計(jì)算單元208，基于第一反射點(diǎn)GRP和第二反射點(diǎn)CRP,計(jì)算被測(cè)者A的個(gè)人參數(shù)。
[0111]此外，眼球圖像取得單元102與參考圖1說明了的眼球圖像取得單元102具有相同的功能，反射點(diǎn)推定單元104與參考圖1說明了的反射點(diǎn)推定單元104具有相同的功能，因此省略詳細(xì)說明。
[0112]圖12是表示個(gè)人參數(shù)計(jì)算裝置200的動(dòng)作的流程圖。參考圖11、圖12說明個(gè)人參數(shù)計(jì)算方法。如下述所示，由個(gè)人參數(shù)計(jì)算裝置200執(zhí)行步驟302至步驟308，從而實(shí)現(xiàn)本發(fā)明實(shí)施方式2的個(gè)人參數(shù)計(jì)算處理。
[0113]步驟302:眼球圖像取得單元102取得被測(cè)者A的眼球圖像。
[0114]步驟304:反射點(diǎn)推定單元104根據(jù)眼球圖像推定第一反射點(diǎn)GRP。
[0115]步驟306:反射點(diǎn)檢測(cè)單元206根據(jù)眼球圖像檢測(cè)反射從被測(cè)者A的注視點(diǎn)PoG到來的光的第二反射點(diǎn)CRP。
[0116]步驟308:個(gè)人參數(shù)計(jì)算單元208基于第一反射點(diǎn)GRP和第二反射點(diǎn)CRP，計(jì)算被測(cè)者A的個(gè)人參數(shù)。
[0117]此外，實(shí)現(xiàn)個(gè)人參數(shù)計(jì)算處理的裝置不限于個(gè)人參數(shù)計(jì)算裝置200。只要是具有眼球圖像取得單元102、反射點(diǎn)推定單元104、反射點(diǎn)檢測(cè)單元206、以及個(gè)人參數(shù)計(jì)算單元208的功能的裝置，可以是任意裝置。例如，個(gè)人參數(shù)計(jì)算方法可以通過PC實(shí)現(xiàn)。另外，還可以通過構(gòu)成個(gè)人參數(shù)計(jì)算裝置200的一部分的PC實(shí)現(xiàn)。
[0118]在通過PC實(shí)現(xiàn)個(gè)人參數(shù)計(jì)算方法的情況下，以個(gè)人參數(shù)計(jì)算處理程序的形式執(zhí)行個(gè)人參數(shù)計(jì)算方法。該P(yáng)C具備存儲(chǔ)器和CPU。該存儲(chǔ)器中存儲(chǔ)個(gè)人參數(shù)計(jì)算處理程序。該CPU從該存儲(chǔ)器中讀取個(gè)人參數(shù)計(jì)算處理程序，分別控制具有眼球圖像取得單元102和反射點(diǎn)推定單元104的功能的單元，使具有眼球圖像取得單元102的功能的單元執(zhí)行步驟302，并使具有反射點(diǎn)推定單元104的功能的單元執(zhí)行步驟304。
[0119]該CPU還從該存儲(chǔ)器中讀取個(gè)人參數(shù)計(jì)算處理程序，分別控制具有反射點(diǎn)檢測(cè)單元206和個(gè)人參數(shù)計(jì)算單元208的功能的單元,使具有反射點(diǎn)檢測(cè)單元206的功能的單元執(zhí)行步驟306，并使具有個(gè)人參數(shù)計(jì)算單元208的功能的單元執(zhí)行步驟306。
[0120]從記錄有個(gè)人參數(shù)計(jì)算處理程序的PC外部的記錄介質(zhì)中讀出個(gè)人參數(shù)計(jì)算處理程序，由此能夠在該P(yáng)C的存儲(chǔ)器中安裝該處理程序。作為PC外部的記錄介質(zhì)，可以使用軟盤、⑶-ROM、⑶-R、DVD、MO等任意介質(zhì)。另外，經(jīng)由因特網(wǎng)等任意網(wǎng)絡(luò)下載個(gè)人參數(shù)計(jì)算處理程序，由此能夠在該P(yáng)C的存儲(chǔ)器中安裝該處理程序。
[0121]下面說明個(gè)人參數(shù)計(jì)算裝置200及個(gè)人參數(shù)計(jì)算方法的詳細(xì)情況。第一反射點(diǎn)GRP基于被測(cè)者A的視線方向與眼球光軸方向一致的假定進(jìn)行推定，但需要指出，被測(cè)者A的視線方向與眼球光軸方向并不一致。被測(cè)者A的視線方向與眼球光軸方向的偏差(個(gè)人參數(shù))是因人而異的值，需要在推定注視點(diǎn)之前通過某種方法取得。
[0122]對(duì)此，與第一反射點(diǎn)GRP的導(dǎo)出同樣，開發(fā)了通過利用眼球的表面反射圖像來計(jì)算個(gè)人參數(shù)的方法。這種新校正法與以往的校正法不同，被測(cè)者A僅注視場(chǎng)景中的一點(diǎn)即可，能夠大幅減輕校正所需的被測(cè)者A的負(fù)擔(dān)。
[0123]個(gè)人參數(shù)是由臉部坐標(biāo)系定義的固定參數(shù)。作為臉部坐標(biāo)系，將臉部前方定義為zfara，將從左眼到右眼的方向定義為Xf■，將yf.定義為與它們垂直的軸，則個(gè)人參數(shù)為繞Xface(tilt)軸的轉(zhuǎn)動(dòng)角1.5?3度，繞yf_(pan)軸的轉(zhuǎn)動(dòng)角4?5度左右。
[0124]以瞳為中心的坐標(biāo)系用Re = [Xe ye zj定義。其中，xe> ye是瞳圖像中的長軸和短軸方向。圖6(b)中表示通過瞳的投影像的短軸方向的平面(yeze-plane)。圖6 (b)中示出眼球光軸方向與視線方向的不同。被測(cè)者A的視線方向(g’ )與光軸方向(g)不一致。從視線方向到來的光在補(bǔ)正反射點(diǎn)cGRP(T)處反射，投影到圖像上的IT。
[0125]被測(cè)者A注視場(chǎng)景中的校正點(diǎn)，眼球圖像取得單元102取得被測(cè)者A的眼球圖像。反射點(diǎn)推定單元104根據(jù)眼球圖像推定第一反射點(diǎn)GRP。反射點(diǎn)檢測(cè)單元206從眼球圖像中得到第二反射點(diǎn)CRP后，個(gè)人參數(shù)計(jì)算單元208在該平面內(nèi)，能夠通過下式求出第一反射點(diǎn)GRP與第二反射點(diǎn)CRP之間的角度Y。
[0126]數(shù)式8
[0127]丨ft,— — lT\ =.(11 )



,S:ij — |τ ；.
[0128]? τ — aresin(cf|,c * oos τ 二二二二二 !— f 17)
?Sf...
[0129]其中，Ιτ、iT是第二反射點(diǎn)CRP的位置及其在圖像中的投影位置。
[0130]考慮第二反射點(diǎn)CRP處的眼球表面反射，通過下式得到該平面內(nèi)的個(gè)人參數(shù)δ χε。
[0131]數(shù)式9
[0132]2.( Y + δ xe) = τ + δ xe, (13)
[0133]δ xe = τ -2.Y.(I 4)
[0134]同樣，通過下式得到垂直于該面的面內(nèi)的個(gè)人參數(shù)5ye。
[0135]數(shù)式10.,.V..,,,.； I ι-1f ；— ,
[0136]---r J ■ iroiiii二二------:----1,I i I
[0137]其中，Vlni是瞳的投影像的長軸方向。
[0138]一般而言，眼球圖像取得單元102設(shè)置在臉部前方方向上，因而以上得到的臉部坐標(biāo)系下的個(gè)人參數(shù)能夠通過下式變換為攝像機(jī)坐標(biāo)系。
[0139]數(shù)式11
—.βΠ?:Ριι,
[οι 40] &:= arctftii fI,Hf;)
「?一 Ir,, e..1 III；, Il,
[0141]Λ'-- = arctaii1.: K.f I / j
"RftII"'1…■ r*:.'γ.j:⑷產(chǎn)，丄兌f細(xì)響.應(yīng)嫌抽二“咖，冊(cè)細(xì)^哪.制細(xì)了架I i
[0142]I*.~' I ^*--'? ^|--' feill O Μ?.；? 、/' I, — sill,:?)?Ι?Α !Η!.!! 5 |jifi j ?
'Π8)
[0143]θχ = [I O O] , ey = [O 10]，
[0144]ez = [O O 1]τ.
[0145]得到個(gè)人參數(shù)后,求出補(bǔ)正反射點(diǎn)cGRP。通過以個(gè)人參數(shù)(δ X，δ y)為轉(zhuǎn)動(dòng)量轉(zhuǎn)動(dòng)由姿勢(shì)計(jì)算單元110的眼球姿勢(shì)推定得到的瞳中心坐標(biāo)系Re，可得到補(bǔ)正反射點(diǎn)cGRP。
[0146]實(shí)施例
[0147]為了確認(rèn)本發(fā)明實(shí)施方式的有效性，除了本發(fā)明的實(shí)施方式以外，還在注視點(diǎn)檢測(cè)裝置的商用系統(tǒng)中安裝了常用的基于插值法的注視點(diǎn)檢測(cè)，進(jìn)行了比較?；诓逯捣ǖ淖⒁朁c(diǎn)檢測(cè)是商用系統(tǒng)中常用的系統(tǒng)，使用兩種紅外光源。一種光源用于基于暗瞳孔法的瞳孔檢測(cè)，另一種點(diǎn)光源(CAM-LED)用于得到眼球的表面反射。據(jù)此，使用瞳孔中心與CAM-LED的表面反射點(diǎn)的相對(duì)位置關(guān)系求出視線方向。在插值法中，利用4個(gè)校正點(diǎn)取得樣本點(diǎn)，作為校正點(diǎn)的線形插值表示輸入幀的瞳孔中心與CAM-LED的表面反射點(diǎn)的位置關(guān)系，從而求出注視點(diǎn)。
[0148]圖8(右下部)中示出基于LED-AP的實(shí)驗(yàn)環(huán)境。實(shí)驗(yàn)在通常的室內(nèi)照明環(huán)境下進(jìn)行，被測(cè)者A坐在與墻壁離開的位置處，注視墻壁上的20個(gè)點(diǎn)的標(biāo)志。眼球圖像取得單元102位于被測(cè)者A臉部的稍下方，臉部與眼球圖像取得單元102的距離約為0.6m。環(huán)境光檢測(cè)裝置112位于被測(cè)者A的后方，設(shè)置為能夠拍攝墻壁的全部標(biāo)志。
[0149]作為眼球圖像取得單元102,使用了 Point Grey Dragonfly Express攝像機(jī)(640 X 480像素，B/W，30Hz)，作為LED-AP的光源，使用了 9個(gè)飛利浦(Philips)公司生產(chǎn)的Luxeon Rebel高功率LED(3W，白色)。圖案光投影、拍攝以及圖像取得由PC(英特爾Core?7-9603.06GHz, 8GB RAM)進(jìn)行，圖像處理在該P(yáng)C上的Matlab R2010b和 Image ProcessingToolkit環(huán)境下進(jìn)行。在圖案發(fā)光標(biāo)志的實(shí)驗(yàn)中，被測(cè)者A與眼球圖像取得單元102的位置關(guān)系、圖像取得及處理設(shè)備的結(jié)構(gòu)也是同樣的，但使用了 4個(gè)低輸出(15mA)的近紅外LED。
[0150]為了評(píng)價(jià)不同進(jìn)深的環(huán)境下的注視點(diǎn)推定誤差，作為被測(cè)者A與墻壁的距離，以1900mm(條件I)和3000mm(條件2)的兩種設(shè)定進(jìn)行了實(shí)驗(yàn)。將條件I下得到的被測(cè)者A的個(gè)人參數(shù)適用于基于條件I的推定和基于條件2的推定。另外，插值法的校正也同樣在條件I下進(jìn)行。
[0151]圖13中示出被測(cè)者A的眼睛視為(X，y, z) = (900，600，1900) [mm]以及(900，600,3000) [mm]時(shí)的注視點(diǎn)推定角度誤差(現(xiàn)有方法(插值法)與導(dǎo)入個(gè)人參數(shù)的本發(fā)明的方法的比較)。單位為“deg(degree，度)”。另外，圖14中示出條件I下的注視點(diǎn)推定結(jié)果，圖15中示出條件2下的注視點(diǎn)推定結(jié)果。在圖14和圖15中，“ + ”表示注視對(duì)象標(biāo)志(Ground truth標(biāo)準(zhǔn))，“〇”、“.”、“Λ”、“▲”、以及“□”分別表示不同被測(cè)者的利用本發(fā)明方法的推定結(jié)果。被測(cè)者的數(shù)目為5個(gè)用戶(5個(gè)被測(cè)者)?！癤”表示用戶1(被測(cè)者I)的利用插值法的結(jié)果。
[0152]其中，LED-AP的投影光在本坐標(biāo)系中投影至(1490,1200)、(895，1200)、(300，1200)、 (1430,750)、 (835,750)、 (300,750)、 (1450，300)、 (820,300)、 (320，300)[mm]。另夕卜，眼球位于(900，600，1900) [mm](條件I)以及(900，600，3000) [mm](條件2)處?？梢源_認(rèn)，利用本發(fā)明的實(shí)施例(本發(fā)明的方法)，在進(jìn)深不同的兩種條件下均能夠以I度以下的誤差進(jìn)行推定?？梢钥闯觯逯捣m然在與進(jìn)行校正時(shí)相同的條件(條件I)下得到了良好的結(jié)果，但在具有不同進(jìn)深的條件下精度變差。
[0153]產(chǎn)業(yè)上的可利用性
[0154]根據(jù)本發(fā)明，能夠檢測(cè)店鋪內(nèi)的顧客的視線，因而能夠?qū)崿F(xiàn)經(jīng)濟(jì)效率更高的商品陳列，還能夠搭載到自動(dòng)售貨機(jī)上，實(shí)現(xiàn)銷售的高效化。另外，還能夠解析被測(cè)者A的視線在生活空間中的移動(dòng)，能夠設(shè)計(jì)被測(cè)者A易于使用的生活環(huán)境。另外，作為在用戶界面方面的應(yīng)用，能夠開發(fā)使用了生活空間中的視線信息的普適環(huán)境界面。例如，能夠?qū)︸{駛員的注視點(diǎn)進(jìn)行監(jiān)視和警告，因而能夠?qū)ζ嚨鹊陌踩{駛做出貢獻(xiàn)。
[0155]尤其是，作為從兒童或老人得到的信息，視線是重要的信息，非裝配型的視線追蹤界面可以起到很大作用。例如，在自閉癥等兒童發(fā)育缺陷的診斷中，視線信息是非常重要的，使用實(shí)驗(yàn)室環(huán)境下得到的視線信息能夠?qū)和M(jìn)行診斷。通過實(shí)現(xiàn)本發(fā)明實(shí)施方式的注視點(diǎn)檢測(cè)裝置、注視點(diǎn)檢測(cè)方法、個(gè)人參數(shù)計(jì)算裝置以及個(gè)人參數(shù)計(jì)算方法，能夠使用非裝配型裝置得到嬰幼兒的高精度的視線信息，在生命科學(xué)領(lǐng)域、機(jī)器人領(lǐng)域中都有望做出重大貢獻(xiàn)。
[0156]此外，根據(jù)本發(fā)明能夠推定被測(cè)者的周邊視覺。也就是說，本發(fā)明中取得被測(cè)者的眼球的表面反射圖像。因此，基于表面反射圖像，能夠判定位于被測(cè)者的周邊視野中的物體從被測(cè)者的注視中心位置出發(fā)以何種角度為被測(cè)者所看到。其結(jié)果是，能夠判定位于被測(cè)者的周邊視野中的物體是否為被測(cè)者所看到，或者觀測(cè)在多大的視野區(qū)域內(nèi)可看到物體。例如，對(duì)于汽車駕駛員而言，周邊視覺的信息(例如人的突然出現(xiàn)等狀況)是非常重要的，能夠正確地觀測(cè)周邊視覺的信息。
[0157]此外，根據(jù)現(xiàn)有的注視點(diǎn)檢測(cè)法，在檢測(cè)注視點(diǎn)之前，進(jìn)行例如眼球觀測(cè)攝像機(jī)中映出的被測(cè)者的瞳孔中心位置與被測(cè)者的注視點(diǎn)的校正。因此，在校正后眼球觀測(cè)攝像機(jī)與安裝位置發(fā)生了偏移的情況下，就無法推定被測(cè)者的注視點(diǎn)。根據(jù)本發(fā)明，根據(jù)被測(cè)者的眼球圖像推定眼球的姿勢(shì)，基于推定的眼球姿勢(shì)推定被測(cè)者的注視點(diǎn)，因此即使檢測(cè)注視點(diǎn)之前眼球觀測(cè)攝像機(jī)的安裝位置發(fā)生了偏移，也能夠抑制對(duì)注視點(diǎn)推定結(jié)果產(chǎn)生影響。
[0158]符號(hào)說明
[0159]A 被測(cè)者
[0160]PoG 注視點(diǎn)
[0161]GRP 第一反射點(diǎn)
[0162]CRP 第二反射點(diǎn)
[0163]cGRP補(bǔ)正反射點(diǎn)
[0164]100 注視點(diǎn)檢測(cè)裝置
[0165]102 眼球圖像取得單元
[0166]104反射點(diǎn)推定單元
[0167]106補(bǔ)正反射點(diǎn)計(jì)算單元
[0168]108注視點(diǎn)檢測(cè)單元
[0169]110姿勢(shì)計(jì)算單元
[0170]112環(huán)境光檢測(cè)裝置
[0171]200個(gè)人參數(shù)計(jì)算裝置
[0172]206反射點(diǎn)檢測(cè)單元
[0173]208個(gè)人參數(shù)計(jì)算單元
【權(quán)利要求】
1.一種注視點(diǎn)檢測(cè)裝置，檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，具備: 眼球圖像取得單元，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定單元，根據(jù)所述眼球圖像推定反射從所述被測(cè)者的眼球的光軸方向到來的光的第一反射點(diǎn)； 補(bǔ)正反射點(diǎn)計(jì)算單元，基于表示所述被測(cè)者的視線方向與所述眼球的所述光軸方向之差的個(gè)人參數(shù)，補(bǔ)正所述第一反射點(diǎn)，計(jì)算作為所述補(bǔ)正后的所述第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及 注視點(diǎn)檢測(cè)單元，基于所述補(bǔ)正反射點(diǎn)的光和所述周邊環(huán)境的光，檢測(cè)所述注視點(diǎn)。
2.根據(jù)權(quán)利要求1所述的注視點(diǎn)檢測(cè)裝置，其特征在于具備: 姿勢(shì)計(jì)算單元，根據(jù)所述眼球圖像計(jì)算所述眼球的姿勢(shì)， 所述反射點(diǎn)推定單元基于所述眼球的所述姿勢(shì)和所述眼球的幾何模型，推定所述第一反射點(diǎn)。
3.根據(jù)權(quán)利要求1或2所述的注視點(diǎn)檢測(cè)裝置，其特征在于， 所述反射點(diǎn)推定單元基于假定所述被測(cè)者的所述視線方向與所述被測(cè)者的所述眼球的所述光軸方向平行的模型，推定所述第一反射點(diǎn)。
4.根據(jù)權(quán)利要求1?3中任一項(xiàng)所述的注視點(diǎn)檢測(cè)裝置，其特征在于， 所述周邊環(huán)境的光是LED陣列投影儀的光。
5.根據(jù)權(quán)利要求1?3中任一項(xiàng)所述的注視點(diǎn)檢測(cè)裝置，其特征在于， 所述周邊環(huán)境的光是圖案發(fā)光標(biāo)志的光。
6.一種注視點(diǎn)檢測(cè)方法，檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，包括如下步驟: 眼球圖像取得步驟，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定步驟，根據(jù)所述眼球圖像推定反射從所述被測(cè)者的眼球的光軸方向到來的光的第一反射點(diǎn)； 補(bǔ)正反射點(diǎn)計(jì)算步驟，基于表示所述被測(cè)者的視線方向與所述眼球的所述光軸方向之差的個(gè)人參數(shù)，補(bǔ)正所述第一反射點(diǎn)，計(jì)算作為所述補(bǔ)正后的所述第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及 注視點(diǎn)檢測(cè)步驟，基于所述補(bǔ)正反射點(diǎn)的光和所述周邊環(huán)境的光，檢測(cè)所述注視點(diǎn)。
7.一種個(gè)人參數(shù)計(jì)算裝置，計(jì)算表示被測(cè)者的視線方向與所述被測(cè)者的眼球的光軸方向之差的個(gè)人參數(shù)，具備: 眼球圖像取得單元，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定單元，根據(jù)所述眼球圖像推定反射從所述眼球的光軸方向到來的光的第一反射點(diǎn)； 反射點(diǎn)檢測(cè)單元，根據(jù)所述眼球圖像檢測(cè)反射從所述被測(cè)者的注視點(diǎn)到來的光的第二反射點(diǎn)；以及 個(gè)人參數(shù)計(jì)算單元，基于所述第一反射點(diǎn)和所述第二反射點(diǎn)，計(jì)算所述被測(cè)者的所述個(gè)人參數(shù)。
8.根據(jù)權(quán)利要求7所述的個(gè)人參數(shù)計(jì)算裝置，其特征在于具備: 姿勢(shì)計(jì)算單元，根據(jù)所述眼球圖像計(jì)算所述眼球的姿勢(shì)， 所述反射點(diǎn)推定單元基于所述眼球的所述姿勢(shì)和所述眼球的幾何模型，推定所述第一反射點(diǎn)。
9.根據(jù)權(quán)利要求7或8所述的個(gè)人參數(shù)計(jì)算裝置，其特征在于， 所述反射點(diǎn)推定單元基于假定所述被測(cè)者的所述視線方向與所述被測(cè)者的所述眼球的所述光軸方向平行的模型，推定所述第一反射點(diǎn)。
10.一種個(gè)人參數(shù)計(jì)算方法，計(jì)算表示被測(cè)者的視線方向與所述被測(cè)者的眼球的光軸方向之差的個(gè)人參數(shù)，包括如下步驟: 眼球圖像取得步驟，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定步驟，根據(jù)所述眼球圖像推定反射從所述眼球的光軸方向到來的光的第二反射點(diǎn)； 反射點(diǎn)檢測(cè)步驟，根據(jù)所述眼球圖像檢測(cè)反射從所述被測(cè)者的注視點(diǎn)到來的光的第一反射點(diǎn)；以及 個(gè)人參數(shù)計(jì)算步驟，基于所述第一反射點(diǎn)和所述第二反射點(diǎn)，計(jì)算所述被測(cè)者的所述個(gè)人參數(shù)。
11.一種用于使計(jì)算機(jī)執(zhí)行檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)的注視點(diǎn)檢測(cè)處理的程序，所述程序包括如下步驟: 眼球圖像取得步驟，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定步驟，根據(jù)所述眼球圖像推定反射從所述被測(cè)者的眼球的光軸方向到來的光的第一反射點(diǎn)； 補(bǔ)正反射點(diǎn)計(jì)算步驟，基于表示所述被測(cè)者的視線方向與所述眼球的所述光軸方向之差的個(gè)人參數(shù)，補(bǔ)正所述第一反射點(diǎn)，計(jì)算作為所述補(bǔ)正后的所述第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及 注視點(diǎn)檢測(cè)步驟，基于所述補(bǔ)正反射點(diǎn)的光和所述周邊環(huán)境的光，檢測(cè)所述注視點(diǎn)。
12.一種用于使計(jì)算機(jī)執(zhí)行計(jì)算表示被測(cè)者的視線方向與所述被測(cè)者的眼球的光軸方向之差的個(gè)人參數(shù)的個(gè)人參數(shù)計(jì)算處理的程序，所述程序包括如下步驟: 眼球圖像取得步驟，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定步驟，根據(jù)所述眼球圖像推定反射從所述眼球的光軸方向到來的光的第二反射點(diǎn)； 反射點(diǎn)檢測(cè)步驟，根據(jù)所述眼球圖像檢測(cè)反射從所述被測(cè)者的注視點(diǎn)到來的光的第一反射點(diǎn)；以及 個(gè)人參數(shù)計(jì)算步驟，基于所述第一反射點(diǎn)和所述第二反射點(diǎn)，計(jì)算所述被測(cè)者的所述個(gè)人參數(shù)。
13.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有用于使計(jì)算機(jī)執(zhí)行注視點(diǎn)檢測(cè)處理的程序，所述注視點(diǎn)檢測(cè)處理檢測(cè)被測(cè)者對(duì)周邊環(huán)境的注視點(diǎn)，所述程序包括如下步驟: 眼球圖像取得步驟，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定步驟，根據(jù)所述眼球圖像推定反射從所述被測(cè)者的眼球的光軸方向到來的光的第一反射點(diǎn)； 補(bǔ)正反射點(diǎn)計(jì)算步驟，基于表示所述被測(cè)者的視線方向與所述眼球的所述光軸方向之差的個(gè)人參數(shù)，補(bǔ)正所述第一反射點(diǎn)，計(jì)算作為所述補(bǔ)正后的所述第一反射點(diǎn)的補(bǔ)正反射點(diǎn)；以及 注視點(diǎn)檢測(cè)步驟，基于所述補(bǔ)正反射點(diǎn)的光和所述周邊環(huán)境的光，檢測(cè)所述注視點(diǎn)。
14.一種計(jì)算機(jī)可讀取的記錄介質(zhì)，記錄有用于使計(jì)算機(jī)執(zhí)行個(gè)人參數(shù)計(jì)算處理的程序，所述個(gè)人參數(shù)計(jì)算處理計(jì)算表示被測(cè)者的視線方向與所述被測(cè)者的眼球的光軸方向之差的個(gè)人參數(shù)，所述程序包括如下步驟: 眼球圖像取得步驟，取得所述被測(cè)者的眼球圖像； 反射點(diǎn)推定步驟，根據(jù)所述眼球圖像推定反射從所述眼球的光軸方向到來的光的第二反射點(diǎn)； 反射點(diǎn)檢測(cè)步驟，根據(jù)所述眼球圖像檢測(cè)反射從所述被測(cè)者的注視點(diǎn)到來的光的第一反射點(diǎn)；以及 個(gè)人參數(shù)計(jì)算步驟，基于所述第一反射點(diǎn)和所述第二反射點(diǎn)，計(jì)算所述被測(cè)者的所述個(gè)人參數(shù)。
【文檔編號(hào)】A61B3/113GK104244807SQ201380013967
【公開日】2014年12月24日 申請(qǐng)日期:2013年7月24日 優(yōu)先權(quán)日:2012年7月31日
【發(fā)明者】中澤篤志, 克莉斯丁安·尼奇克 申請(qǐng)人:獨(dú)立行政法人科學(xué)技術(shù)振興機(jī)構(gòu)