專利名稱：一種適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及應(yīng)用于人機(jī)交互的視線跟蹤及技術(shù)領(lǐng)域，特別的涉及一種基于計(jì)算機(jī)圖像處理和模式識別領(lǐng)域基礎(chǔ)上開發(fā)的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法。
背景技術(shù)：
傳統(tǒng)的人機(jī)交互方式是“以計(jì)算機(jī)為中心”，即要求用戶要服從計(jì)算機(jī)的規(guī)定才能使用，因此有時(shí)需要有相應(yīng)的專業(yè)的訓(xùn)練才能進(jìn)行。而隨著技術(shù)發(fā)展及普及，信息社會更多 的要求進(jìn)行“以人為中心的人機(jī)交互”，令計(jì)算機(jī)為社會中的每個(gè)人服務(wù)，人機(jī)交互的中心應(yīng)當(dāng)轉(zhuǎn)變成以人為中心，達(dá)到人與計(jì)算機(jī)交互時(shí)就象是人類自身交互一樣的效果。其中，人類生活和活動在三維空間中，計(jì)算機(jī)也已被嵌入各種家用電器設(shè)備、生活空間和用具中，已不是以前那種大體積位置固定的器械，表現(xiàn)形式越發(fā)多元化。所以，人機(jī)交互也需要滿足能夠令用戶能在三維空間中方便的使用計(jì)算機(jī)，而不是必須要坐到計(jì)算機(jī)面前，通過鍵盤、鼠標(biāo)等方式進(jìn)行。事實(shí)上，從人機(jī)交互的發(fā)展史看，從最古老的人機(jī)交互穿孔卡，到鍵盤和鼠標(biāo)成為最主導(dǎo)方式，和現(xiàn)在利用人的感覺和動作(如語音、手寫、姿勢、視線、表情等)作為輸入方式的研發(fā)應(yīng)用的興起，人機(jī)交互經(jīng)歷了從人適應(yīng)計(jì)算機(jī)到計(jì)算機(jī)不斷地適應(yīng)人的發(fā)展過程。讓計(jì)算機(jī)能聽、能看、能說、能感覺被認(rèn)為是未來人機(jī)交互的主要發(fā)展方向。而要令計(jì)算機(jī)實(shí)現(xiàn)上述功能，簡單的手部動作操作鍵盤和鼠標(biāo)顯然不能滿足要求，所以人的其它感官器官也逐漸的參與到計(jì)算機(jī)的管理和使用中來，其中視線跟蹤技術(shù)是其中的重中之重，這種技術(shù)的目的是從用戶注視的信息推斷人們感興趣或引起注意的內(nèi)容，并通過人所注視的對象得到其指代對象，暗示對象之間的關(guān)系。早期的視線跟蹤技術(shù)主要應(yīng)用于心理學(xué)研究、助殘等領(lǐng)域，后來才被應(yīng)用于圖像壓縮及人機(jī)交互等可用性工程。視線跟蹤技術(shù)有著廣闊的應(yīng)用前景，例如可以幫助癱瘓病人或四肢麻痹，不能說話的人實(shí)現(xiàn)正常的人機(jī)交互過程。另外，還可以通過眼睛盯視對外部設(shè)備進(jìn)行控制，并實(shí)現(xiàn)多任務(wù)操作，比如在軍事上，飛行員如果發(fā)現(xiàn)了目標(biāo)，在手動操作應(yīng)付不過來的時(shí)候，可以通過眼睛瞄準(zhǔn)的同時(shí)，用眼睛來控制火控系統(tǒng)的發(fā)射，這樣便極大的增強(qiáng)了戰(zhàn)斗能力。視線跟蹤技術(shù)的研究涉及到多個(gè)交叉領(lǐng)域，其研究成果在航空航天相關(guān)領(lǐng)域、體育運(yùn)動、等各個(gè)領(lǐng)域有著廣泛的應(yīng)用前景。但是目前，用于實(shí)現(xiàn)視線跟蹤的系統(tǒng)設(shè)備的體積、重量都比較大，同時(shí)還限制了人的自由度，對人的干擾較大，使用起來很不方便，而且商用產(chǎn)品的價(jià)格普遍還比較昂貴，所以，令視線跟蹤設(shè)備的普及變得比較困難。因此，降低視線跟蹤系統(tǒng)或設(shè)備的硬件成本，發(fā)展非侵入式視線跟蹤技術(shù)是一種發(fā)展趨勢。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法。本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)一種適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，包括以下步驟。I)實(shí)時(shí)人臉及眼睛定位跟蹤通過常規(guī)視頻跟蹤攝像機(jī)實(shí)時(shí)捕獲到臉部及人眼的圖像，對人臉圖像進(jìn)行定位瞳孔的分析處理，所述的分析處理方式具體為采用Viola算法建立人臉分類器對人臉進(jìn)行檢測；同時(shí)再在人臉區(qū)域上使用Viola算法建立人眼分類器來定位人眼區(qū)域；接著，采用基于圖像灰度投影法定位瞳孔中心，實(shí)現(xiàn)人臉區(qū)域到人眼區(qū)域，以及人眼區(qū)域到瞳孔區(qū)域的圖像處理簡化過程。所述Viola算法建立人臉分類器的方法為 建立起基于cascade級聯(lián)搜索算法人臉檢測的生物特征識別算法模型，對已建立的人臉圖像庫提取基于積分圖的類矩形(Haar-Iike)特征，采用adaboost推進(jìn)訓(xùn)練算法對人臉圖像庫進(jìn)行分類器訓(xùn)練和進(jìn)行分類并獲得人臉分類器，結(jié)合膚色匹配做預(yù)處理。所述VViola算法建立人眼分類器的方法為建立起基于cascade級聯(lián)搜索算法人眼檢測的生物特征識別算法模型，對已建立的人臉圖像庫提取基于積分圖的類矩形(Haar-Iike)特征，采用adaboost推進(jìn)訓(xùn)練算法對人臉圖像庫進(jìn)行分類器訓(xùn)練和進(jìn)行分類并獲得人眼分類器，通過得到的分類器可以準(zhǔn)確的檢測與定位人眼。所述基于圖像灰度投影法定位瞳孔中心的方法為將人眼區(qū)域圖像轉(zhuǎn)變?yōu)榛叶葓D像，大小為m*n，按式
權(quán)利要求
1.一種適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于包括以下步驟 1)實(shí)時(shí)人臉及眼睛定位跟蹤 通過視頻跟蹤攝像機(jī)實(shí)時(shí)捕獲到臉部及人眼的圖像，對人臉圖像進(jìn)行定位瞳孔的分析處理，所述的分析處理方式具體為采用Viola算法建立人臉分類器對人臉進(jìn)行檢測；同時(shí)再在人臉區(qū)域上使用Viola算法建立人眼分類器來定位人眼區(qū)域；接著，采用基于圖像灰度投影法定位瞳孔中心，實(shí)現(xiàn)人臉區(qū)域到人眼區(qū)域，以及人眼區(qū)域到瞳孔區(qū)域的圖像處理簡化過程； 2)眼動生物特征信息提取 檢測和采集圖像中的人眼位置，提取眼睛子圖像，其中采用Viola算法建立人臉分類 器對人臉進(jìn)行檢測，同時(shí)再在人臉區(qū)域上使用Viola算法建立人眼分類器來定位人眼區(qū)域；進(jìn)一步，通過基于角膜反射原理及圖像處理的方法提取瞳孔的移動信息，經(jīng)過基于圖像灰度投影法定位瞳孔中心，并采用基于2D-DCT特征的EHMM，通過已收集的人眼圖像來分析和建立隱Markov模型，實(shí)現(xiàn)人眼狀態(tài)的判別； 3)建立基于眼睛生物特征信息的眼動模型 建立測量眼球的旋轉(zhuǎn)中心的模型和基于二維瞳孔移動信息與眼球非規(guī)則球體旋轉(zhuǎn)信息的三維眼動模型，定義從Purkinje斑點(diǎn)到瞳孔中心的二維向量為瞳孔-角膜反射向量，記作P-CR，并通過對人眼進(jìn)行攝像實(shí)時(shí)的獲取眼球信息并結(jié)合P-CR，生成人眼到注視物體的3維空間方向向量； 4)構(gòu)建眼動模型與眼睛注視物體的映射關(guān)系模型 采用視線跟蹤得知人在觀測各種外景和屏幕信息時(shí)的掃視選擇和注視過程，從而獲取人的視覺感知和綜合機(jī)理，建立起視場坐標(biāo)系與瞳孔坐標(biāo)系之間的變換關(guān)系，獲得人眼真實(shí)注視點(diǎn)在視場坐標(biāo)系中的坐標(biāo)，并計(jì)算出眼睛注視點(diǎn)，最后把注視點(diǎn)映射到使用者實(shí)際的注視物體之上，完成視場(實(shí)際眼睛注視點(diǎn))與眼睛圖像的匹配工作，實(shí)現(xiàn)視頻跟蹤攝像機(jī)視場與眼睛視場的對應(yīng)。
2.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的Viola算法建立人臉分類器的過程為 建立起基于cascade級聯(lián)搜索算法人臉檢測的生物特征識別算法模型，對已建立的人臉圖像庫提取基于積分圖的類矩形(Haar-Iike)特征，采用adaboost推進(jìn)訓(xùn)練算法對人臉圖像庫進(jìn)行分類器訓(xùn)練和進(jìn)行分類并獲得人臉分類器，結(jié)合膚色匹配做預(yù)處理。
3.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的Viola算法建立人眼分類器的過程為 建立起基于cascade級聯(lián)搜索算法人眼檢測的生物特征識別算法模型，對已建立的人臉圖像庫提取基于積分圖的類矩形(Haar-Iike)特征，采用adaboost推進(jìn)訓(xùn)練算法對人臉圖像庫進(jìn)行分類器訓(xùn)練和進(jìn)行分類并獲得人眼分類器，通過得到的分類器檢測與定位人眼。
4.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的基于圖像灰度投影法定位瞳孔中心的過程為 將人眼區(qū)域圖像轉(zhuǎn)變?yōu)榛叶葓D像，其大小為m*n，按式
5.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的步驟2中基于2D-DCT特征的EHMM進(jìn)行人眼狀態(tài)的識別的方法具體為 對人眼圖像進(jìn)行采樣并對每個(gè)采樣窗進(jìn)行2D-DCT變換，由2D-DCT變換后的低頻系數(shù)構(gòu)成觀察向量序列，根據(jù)狀態(tài)數(shù)和圖像均勻分割后得到的觀察向量初始化EHMM參數(shù)；進(jìn)一步，進(jìn)行基于瞳孔的眼動信息的提取方法通過雙重嵌套的Viterbi算法，對人眼圖像進(jìn)行重新分割，用Baumielch算法重估模型參數(shù)，對EHMM模型訓(xùn)練，得到基于EHMM的人眼狀態(tài)識別分類器，其中對人眼狀態(tài)進(jìn)行識別時(shí)，首先由待識別眼睛圖像構(gòu)造觀察向量序列，然后計(jì)算每一個(gè)訓(xùn)練模型產(chǎn)生觀察向量序列的似然值，具有最大似然值的訓(xùn)練模型即為待識別眼睛圖像所屬對象。
6.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的步驟4中建立眼動模型的方式具體為 由瞳孔二維信息與眼球形狀信息的結(jié)合所形成的三維方向向量(代表了視線的實(shí)際注視方向)，進(jìn)而建立眼動模型，具體的為根據(jù)人眼圖像信息計(jì)算出眼球半徑，定位眼球晶體中心，再計(jì)算出人眼到注視物體的三維空間方向向量；接著，通過圖像處理、改進(jìn)的普爾欽斑點(diǎn)法定位角膜曲面球心(Om)，結(jié)合瞳孔中心的二維平面信息，生成一個(gè)眼動的三維模型。
7.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的步驟4中，通過普爾欽(Purkinje)斑點(diǎn)法，在屏幕四個(gè)角分別設(shè)置紅外LED作為光源，經(jīng)過瞳孔上的角膜反射，通過帶有濾光片的攝像頭獲取每一幀圖像，其中，在攝像頭采集到人眼圖像中，瞳孔中心周圍會出現(xiàn)四個(gè)明顯的亮點(diǎn)，通過圖像處理的幾何約束的方法，先用Canny邊緣算子求出原圖像的邊緣圖，再采用Hough變換將眼球圖像從平面空間投影到參數(shù)空間，找出光斑圓心，可以準(zhǔn)確定位瞳孔中心和四個(gè)亮點(diǎn)的相對位置，然后以反射點(diǎn)作為基準(zhǔn)點(diǎn)，將瞳孔中心的坐標(biāo)值與其進(jìn)行數(shù)學(xué)運(yùn)算，進(jìn)而判斷出眼球的二維運(yùn)動平面方向。
8.根據(jù)權(quán)利要求I所述的適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，其特征在于所述的步驟4中包括注視點(diǎn)的標(biāo)定方法，具體如下 .1)構(gòu)建映射關(guān)系方程 設(shè)向量y為視場參照系的眼睛注視點(diǎn)，向量X為(人眼)參照系中瞳孔中心在其上的投影點(diǎn)，用函數(shù)F(*)代表從X到y(tǒng)的變換關(guān)系，P代表在標(biāo)定過程中所確定的統(tǒng)計(jì)性綜合參數(shù)向量，即原先未知的F(*)中的參數(shù)向量，則有y = F(x, P)； 確定函數(shù)F(x，P)的具體形式，并求得統(tǒng)計(jì)性綜合參數(shù)向量P的估計(jì)值p'，從而得到眼睛注視點(diǎn)位置的估計(jì)值y’ I' = F(x, P')； 2)確定統(tǒng)計(jì)性綜合參數(shù)向量P 確定統(tǒng)計(jì)性綜合參數(shù)向量P的估值P'，具體的，采用基于最小二乘曲線擬合的標(biāo)定算法，根據(jù)一組測量數(shù)據(jù)設(shè)計(jì)一個(gè)優(yōu)值函數(shù)，用于度量測量數(shù)據(jù)和選擇的參數(shù)模型之間一致性程度；同時(shí)調(diào)節(jié)模型參數(shù)，使優(yōu)值函數(shù)值最小，得到最佳擬合參數(shù)P ; 假定P為M維，共有N個(gè)測試點(diǎn)，將這M個(gè)可調(diào)參數(shù)Pi (i = 1，2，......，M)的模型對N個(gè)測試數(shù)據(jù)(xi, yi) i = I,......,N進(jìn)行擬合,定義具有N個(gè)分量的向量b，則有bi =y/Ri, i = I,......, N ； 其中Ri是第i個(gè)數(shù)據(jù)點(diǎn)的測量誤差，默認(rèn)值為I ;對向量P及N個(gè)數(shù)據(jù)，有yi (xi)=
全文摘要
本發(fā)明提供一種適用于人機(jī)交互的非接觸式自由空間視線跟蹤方法，包括以下步驟實(shí)時(shí)人臉及眼睛定位跟蹤、眼動生物特征信息提取、建立基于眼睛生物特征信息的眼動模型和構(gòu)建眼動模型與眼睛注視物體的映射關(guān)系模型等。本發(fā)明涉及到圖像處理、計(jì)算機(jī)視覺、模式識別等多個(gè)交叉領(lǐng)域，在新一代人機(jī)交互、殘疾人輔助、航空航天相關(guān)領(lǐng)域、體育運(yùn)動、汽車飛機(jī)駕駛、虛擬現(xiàn)實(shí)和游戲等領(lǐng)域有著廣泛的應(yīng)用前景，此外對提高殘疾人生活和自理水平，構(gòu)建和諧社會，提高我國人機(jī)交互、無人駕駛等高新技術(shù)領(lǐng)域的自主創(chuàng)新能力有著極大的現(xiàn)實(shí)意義。
文檔編號G06K9/00GK102749991SQ20121010718
公開日2012年10月24日 申請日期2012年4月12日 優(yōu)先權(quán)日2012年4月12日
發(fā)明者黃若浩 申請人:廣東百泰科技有限公司