一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，該系統(tǒng)是專門為眼睛健全的運動障礙殘疾人發(fā)明的一個控制系統(tǒng)。包括如下步驟：1）計算機首先輸出一個用戶界面，包括文字顯示框和簡易鍵盤，投影到頭戴式顯示器上，殘疾人觀察到顯示屏中鍵盤上的不同按鍵，眼球的中心位置就會發(fā)生變化。2）攝像頭將捕捉到眼球圖像，通過USB接口或者藍牙接口，將圖像信息傳送到PC機中，利用獲取到的眼球圖像。3）采用圖像預處理和瞳孔定位算法，根據前期校正過程中所建立的用戶眼睛特征與設備顯示屏所呈現(xiàn)內容之間的關系，利用眼球映射模型來計算視線的方向，判斷出用戶所看的鍵盤上的按鍵。4）輸出鍵盤按鍵所對應的信息到文字顯示框或改變鍵盤界面狀態(tài)。本發(fā)明不受外界光源影響，可以快速、準確地跟蹤眼球的運動，并實時、準確地顯示用戶視線選擇的按鍵信息。
【專利說明】一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)
【技術領域】
[0001 ] 專門為眼睛健全的運動障礙殘疾人發(fā)明的一個控制系統(tǒng)。利用瞳孔定位算法或者叫視線追蹤算法)和頭戴式眼睛操控裝置，用戶能夠通過眼球動作來進行電腦的操作，實現(xiàn)人機互動。
【背景技術】
[0002]目前，國際社會公認的全球殘疾人比例大約是全球總人口的10%。而就中國國家統(tǒng)計局于2006進行的第二次中國殘疾人抽樣調查結果顯示，全國各類殘疾人的總數達到8296萬人，以當時的中國人口總數計算，中國殘疾人占全國總人口的比例為6.34%。其中，肢體殘疾2412萬人，占各類殘疾人總數的29.07%，是人數最高的殘疾類型。
[0003]眼睛控制系統(tǒng)可以應用于許多領域，例如當前科技發(fā)展的主流領域——人機交互。人機交互的未來研究方向是多通道的人機交互，如同語音、自然語言和手勢輸入等，視線交互(也就是視線控制)也存在著非精確性，和其他的交互手段集合在一起，它可以提供隱性的約束信息和控制條件，從而消除在單一通道輸入帶來的可能的錯誤，提高精度，實現(xiàn)全方面的人機交互。通過與其它通道相結合，眼睛操控技術在人機交互領域有著廣闊的應用前景。使用眼睛控制系統(tǒng)，可以實現(xiàn)計算機、機器人、虛擬人和汽車等的智能化，讓它們可以理解人的意圖，了解人的狀態(tài)，自動地對人做出反應。
[0004]眼睛控制系統(tǒng)是專門為眼睛健全的運動障礙患者研發(fā)的一個控制系統(tǒng)。利用瞳孔定位算法(或者叫視線追蹤算法)和頭戴式眼睛操控裝置，用戶能夠通過眼球動作來控制電腦。對于幫助高位截癱、肌肉萎縮、中風、肢體損傷等殘疾人使用電腦有十分重要的意義。
[0005]近代視線追蹤技術的迅猛發(fā)展大概是從20世紀60年代開始。一直以來，美國和日本在這方面的研究都遠遠處在世界領先水平，而且已經將視線追蹤技術廣泛推向實用化和商業(yè)化。1988年末，美國弗吉尼亞大學推出的商用Erica系統(tǒng)是一種基于圖象處理方法和紅外電視的應用系統(tǒng)。它有非常高的處理速度，很強的實用性，用于幫助只能控制眼睛肌肉的重度殘廢人進行控制、通信、娛樂等，因此深受廣大殘疾人的歡迎。
[0006]2010年11月11日Tobii TX 300眼動儀以300 Hz頻率收集注視數據，并允許較大的頭動范圍。該系統(tǒng)專為有更高采樣頻率要求的研究如眼球運動而設計，如掃視、校正掃視、凝視、瞳孔大小變化和眨眼。
[0007]當今所有先進的戰(zhàn)斗機和攻擊機都把頭盔式瞄準具和顯示器作為其武器系統(tǒng)的一部分。目前歐洲、以色列、俄羅斯和美國Kopin，瑞典Saab公司已經相繼研制頭盔式瞄準具和顯示器，其中有的已經投入作戰(zhàn)使用。
[0008]2012年4月，Google發(fā)布了號稱Project Glass的智能眼鏡,盡管只發(fā)布了一個演示視頻，但據猜測應該采用了視網膜投影顯示器和視線追蹤技術顯示圖像和進行控制。這一些控制系統(tǒng)價格都較昂貴，實現(xiàn)困難、精度不高。
[0009]國內學者采用常規(guī)的Hough算法，不能準確瞳孔識別定位。同時，沒有使用校正模塊，導致精度不高。本專利采用改進的Hough算法和校正功能，提高精度、實現(xiàn)容易。
【發(fā)明內容】
[0010]本發(fā)明的要解決的技術問題是為眼睛健全的運動障礙患者研發(fā)的一個控制系統(tǒng)。利用瞳孔定位算法(或者叫視線追蹤算法)和頭戴式眼睛操控裝置，用戶能夠通過眼球動作來控制電腦。
[0011]為解決上述技術問題本發(fā)明的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，包括PC機，與PC機相連接的攝像頭，頭戴式顯示器，其特征在于包括如下步聚:
1)利用PC機輸出一個用戶界面，所述的用戶界面包括文字顯示框和簡易鍵盤，所述的用戶界面投影到頭戴式顯示器上；眼睛觀察顯示屏中顯示的鍵盤上的不同按鍵，眼球的中心位置會相應地發(fā)生變化；
2)攝像頭將捕捉到眼球的中心位置變化的圖像，通過USB接口或者藍牙接口，將圖像信息傳送到PC機中；
3)PC機對傳送過來的圖像信息分別通過預處理模塊、改進型hough算法處理模塊、光斑檢測算法處理模塊、眨眼檢測處理模塊、坐標轉換及校正算法處理模塊進行處理并計算出視線的方向，確定眼睛所觀察的顯示屏上所顯示的鍵盤上的按鍵；
4)PC機輸出鍵盤按鍵所對應的信息到文字顯示框或改變鍵盤界面狀態(tài)。
[0012]作為對本技術方案的進一步改進，改進型hough算法處理模塊的處理過程中，將系統(tǒng)進行過處理的圖像信息實現(xiàn)瞳孔粗定位、圖像截取、圖像濾波、常規(guī)hough算法、改進型hough算法的整合。
[0013]作為對本技術方案的進一步改進，預處理模塊處理過程中，對數據進行預處理，主要包括視頻讀取、彩色圖像轉化為灰度圖像、灰度圖像進行二值化。
[0014]首先，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，而且數據量減小，能凸顯出感興趣的目標的輪廓。其次，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像(轉換為黑白圖像)作為對本技術方案的進一步改進，光斑檢測算法處理模塊，系統(tǒng)采用的是OpenCV函數庫中所提供的基于最小二乘法的橢圓擬合函數，處理過程包括:
1)讀取改進型hough算法中截取的瞳孔區(qū)域圖像并采用極高的閾值對圖像進行二值化處理；
2)利用OpenCV函數庫中所提供的輪廓檢測函數，獲取普爾欽斑邊緣點的集合；
3)利用該集合進行橢圓擬合，得到普爾欽斑的中心坐標。
[0015]作為對本技術方案的進一步改進，所述的橢圓擬合算法包括以下步驟:
1)在普爾欽斑邊緣點中隨機選取6個；
2)利用最小二乘法計算橢圓參數；
3)遍歷所有邊緣點，求取各個點到已得到的橢圓之間的距離，如果小于某閾值，則稱該邊緣點為匹配點，記錄該邊緣點的編號；
4)遍歷完所有點之后，求取對于該擬合橢圓的匹配點的總個數；
5)比較匹配點總個數與匹配點最大值；
6)重復以上過程，獲得最優(yōu)橢圓參數，就可得到普爾欽斑的中心坐標。
[0016]作為對本技術方案的進一步改進，眨眼檢測處理模塊中要設置兩個標志(一個是判斷瞳孔位置標志，另外一個普爾欽斑標志)，眨眼檢測算法待兩個標志都從消失狀態(tài)恢復到存在狀態(tài)時，才判定為眨眼，并啟動相應功能。
[0017]眨眼是眼部運動可被利用的重要行為之一，合理利用眨眼，可以彌補眼球移動功能性的不足。在實時檢測過程中，改進型hough算法或光斑識別算法難免會因干擾而將瞳孔或光斑誤判斷為消失，所以要設置兩個標志。此外，為避免由于眨眼過程中閉眼時間過長而產生多次眨眼判斷的問題，眨眼檢測算法待兩個標志都從消失狀態(tài)恢復到存在狀態(tài)時，才判定為眨眼，并啟動相應功能。
[0018]作為對本技術方案的進一步改進，坐標轉換及校正算法處理模塊的坐標轉換包括以下兩個過程:
1)從截取出的瞳孔圖像中產生的瞳孔中心坐標和光斑中心坐標轉換到原眼部圖像坐標的過程；
2)從眼部圖像坐標轉換到鍵盤光標坐標的過程。
[0019]作為對本技術方案的進一步改進，坐標轉換及校正算法處理模塊的校正算法處理包括以下步驟:
O開啟校正功能后，簡易鍵盤界面會變成一個校正界面；
2)然后依次在界面中產生五個點，分別是正中間、右上角、左上角、左下角、右下角；
3)當產生一個點時，對該點眨一下眼啟動該點的校正程序，同時開始計時，一定時間后結束計時，該點消失并產生下一個校正點等待眨眼；
4)在該校正點的校正時間內記錄一系列視線向量，取這一系列視線向量的平均值作為該校正點的修正向量；
5 )正中間校正點產生的修正向量用于對所有視線方向參數進行修正；利用右上角校正點和左上角校正點的修正向量在縱向Y軸方向的平均值即可計算出眼部圖像坐標轉換到鍵盤圖像坐標時光標向上運動的放大倍數；類比得到向左、向下和向右運動的放大倍數。
[0020]作為對本技術方案的進一步改進，簡易鍵盤采用15鍵鍵盤實現(xiàn)完整的數字輸入功能。
[0021]本發(fā)明的系統(tǒng)方案:計算機首先輸出一個用戶界面(包括文字顯示框和簡易鍵盤)投影到頭戴式顯示器上，殘疾人觀察到顯示屏中鍵盤上的不同按鍵，眼球的中心位置就會發(fā)生變化，此時，攝像頭將捕捉到眼球圖像，通過USB接口或者藍牙接口，將圖像信息傳送到PC機中，利用獲取到的眼球圖像，采用圖像預處理和瞳孔定位算法，再根據前期校正過程中所建立的用戶眼睛特征與設備顯示屏所呈現(xiàn)內容之間的關系，利用眼球映射模型來計算視線的方向，判斷出用戶所看的鍵盤上的按鍵，最后輸出鍵盤按鍵所對應的信息到文字顯示框或改變鍵盤界面狀態(tài)。
【專利附圖】
【附圖說明】
[0022]圖1是基于瞳孔識別定位的頭戴式眼睛操控硬件系統(tǒng)框圖。
[0023]圖2是基于瞳孔識別定位的頭戴式眼睛操控軟件系統(tǒng)框圖。
[0024]圖3是基于瞳孔識別定位的頭戴式眼睛操控技術硬件系統(tǒng)組成示意圖。
[0025]圖4是基于瞳孔識別定位的頭戴式眼睛操控軟件流程圖。
[0026]圖5是基于瞳孔識別定位的頭戴式眼睛操控軟件界面圖。【具體實施方式】
[0027]實施例:
本發(fā)明的系統(tǒng)功能說明圖如圖1所示，本發(fā)明的基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，包括如下步聚:
1)計算機首先輸出一個用戶界面(包括文字顯示框和簡易鍵盤)投影到頭戴式顯示器上，殘疾人觀察到顯示屏中鍵盤上的不同按鍵，眼球的中心位置就會發(fā)生變化；
2)攝像頭將捕捉到眼球圖像，通過USB接口或者藍牙接口，將圖像信息傳送到PC機中，利用獲取到的眼球圖像；
3)采用圖像預處理和瞳孔定位算法，根據前期校正過程中所建立的用戶眼睛特征與設備顯示屏所呈現(xiàn)內容之間的關系，利用眼球映射模型來
計算視線的方向，判斷出用戶所看的鍵盤上的按鍵；
4)輸出鍵盤按鍵所對應的信息到文字顯示框或改變鍵盤界面狀態(tài)。
[0028]本發(fā)明可根據上述提供的系統(tǒng)功能說明圖與系統(tǒng)功能流程圖，本發(fā)明主要由硬件系統(tǒng)與軟件系統(tǒng)兩個部分組成:
1.硬件系統(tǒng)
頭戴式的實現(xiàn)難度相對較低，精度可達0.1度角，可搭配頭戴式顯示器，在一些特殊的應用如增強現(xiàn)實\虛擬現(xiàn)實中有很大作用。采用頭戴式方案。本發(fā)明硬件系統(tǒng)，頭戴式顯示器(HMD)以VGA接口連接電腦，傳輸實時影像，讓人得以觀察電腦上的信息。攝像頭以USB接口連接電腦，傳輸視線信息，通過圖像識別得出瞳孔中心和光斑中心，從而得出人的注視點。形成一個完整的信息環(huán)，實現(xiàn)信息的雙向傳輸，如圖3所示。
[0029]微距紅外攝像頭子系統(tǒng)，具有手動調焦鏡頭，使用紅外敏感的CMOS傳感器，自動弱光增強功能，帶USB接口，視頻分辨率640*480，以紅外LED提供照明，如圖3所示。
[0030]2.軟件系統(tǒng)
本發(fā)明可根據上述提供的系統(tǒng)功能可開發(fā)出基于OpenCV與VC++的眼睛控制系統(tǒng)應用軟件。
[0031]該應用軟件按模塊化的方法編寫程序。主要劃分為預處理算法、改進型hough算法、光斑識別算法、眨眼檢測算法和坐標轉換及校正算法五個模塊。其中改進型hough算法是本程序的核心模塊也是實現(xiàn)視線追蹤的關鍵部份。軟件實現(xiàn)的流程圖如圖4所示。
[0032]預處理模塊
對數據進行預處理，主要包括視頻讀取、彩色圖像轉化為灰度圖像、灰度圖像進行二值化。首先，圖像的二值化有利于圖像的進一步處理，使圖像變得簡單，而且數據量減小，能凸顯出感興趣的目標的輪廓。其次，要進行二值圖像的處理與分析，首先要把灰度圖像二值化，得到二值化圖像。
[0033]( 2 )改進型hough算法處理模塊
在該模塊中，系統(tǒng)將從HMD中讀取的相應的圖像經過預處理，然后系統(tǒng)實現(xiàn)瞳孔粗定位、圖像截取、圖像濾波、常規(guī)hough算法、改進型hough算法的整合。
[0034](3)光斑檢測算法
系統(tǒng)采用的是OpenCV函數庫中所提供的基于最小二乘法的橢圓擬合函數。首先，讀取改進型hough算法中截取的瞳孔區(qū)域圖像并采用極高的閾值對圖像進行二值化處理。接著，利用OpenCV函數庫中所提供的輪廓檢測函數，獲取普爾欽斑邊緣點的集合。然后，利用該集合進行橢圓擬合，得到普爾欽斑的中心坐標。
[0035]橢圓擬合算法的原理如下:在所有邊緣點中隨機選取6個；利用最小二乘法計算橢圓參數；遍歷所有邊緣點，求取各個點到已得到的橢圓之間的距離，如果小于某閾值，則稱該邊緣點為匹配點，記錄該邊緣點的編號，遍歷完所有點之后，求取對于該擬合橢圓的匹配點的總個數；比較匹配點總個數與匹配點最大值；重復以上過程，獲得最優(yōu)橢圓參數，就可得到普爾欽斑的中心坐標。
[0036](4)眨眼檢測模塊
眨眼是眼部運動可被利用的重要行為之一，合理利用眨眼，可以彌補眼球移動功能性的不足。在實時檢測過程中，改進型hough算法或光斑識別算法難免會因干擾而將瞳孔或光斑誤判斷為消失，所以要設置兩個標志。此外，為避免由于眨眼過程中閉眼時間過長而產生多次眨眼判斷的問題，眨眼檢測算法待兩個標志都從消失狀態(tài)恢復到存在狀態(tài)時，才判定為眨眼，并啟動相應功能。
[0037](5)坐標轉換及校正算法
坐標轉換包括兩個主要過程:一、從截取出的瞳孔圖像中產生的瞳孔中心坐標和光斑中心坐標轉換到原眼部圖像坐標的過程；二、從眼部圖像坐標轉換到鍵盤光標坐標的過程。
[0038]由于用戶每次使用本系統(tǒng)時，攝像頭捕捉到的眼睛圖像在畫面中的位置都不同，所以為了讓本系統(tǒng)有更好的適應性和通用性，就需要一個校正功能。
[0039]開啟校正功能后，會在原鍵盤界面會變成一個校正界面。然后依次在界面中產生五個點，分別是正中間、右上角、左上角、左下角、右下角。當產生一個點時，眨一下眼啟動該點的校正程序，同時開始計時，一定時間后結束計時，該點消失并產生下一個校正點等待眨眼。在該校正點的校正時間內記錄一系列視線向量，取這一系列視線向量的平均值作為該校正點的修正向量。正中間校正點產生的修正向量用于對所有視線方向參數進行修正；利用右上角校正點和左上角校正點的修正向量在Y軸方向(縱向)的平均值即可計算出眼部圖像坐標轉換到鍵盤圖像坐標時光標向上運動的放大倍數；類比得到向左、向下和向右運動的放大倍數。
[0040]本發(fā)明運用眼睛控制文字輸出的形式設計，硬件采用單一紅外光源和單攝像頭的頭戴式眼睛控制裝置，主程序基于Microsoft Visual C++ 6.0軟件和OpenCV，采用以改進型Hough算法和瞳孔角膜反射方法為核心的瞳孔定位算法，用戶界面包含一個文字顯示框和一個簡易鍵盤。
[0041]各模塊整合及調試
基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)應用軟件的構建是以需求分析為依據，根據實際生產應用要求，綜合考慮系統(tǒng)可用性、準確性、實時性和系統(tǒng)界面、功能擴充與操作維護等方面的性能進行構建。系統(tǒng)的物理配置:其中界面程序采用美國Microsoft公司的Visual C++ 6.0集成開發(fā)環(huán)境進行開發(fā)；核心程序采用美國的Microsoft公司的VisualC++ 6.0與OpenCV 1.0軟件進行實驗運行。
[0042]通過攝像機拍攝眼球的圖片識別出瞳孔的位置，進而利用瞳孔所注視的方向來進行發(fā)送控制命令等。在此通過一個模擬鍵盤來實現(xiàn)該功能，主程序界面如下圖所示，用戶界面分為四個部分，左上為程序控制區(qū)，上中為字符顯示區(qū)，右上為眼睛圖片顯示區(qū)，下為鍵盤區(qū)，如圖5所示。
[0043]主程序的基本流程是:在一個定時器的消息響應函數中，定時讀取攝像機所拍攝的眼睛圖像，通過圖像處理求出瞳孔的坐標，然后將瞳孔坐標值轉化為鍵盤區(qū)的光標坐標值(轉換方法見圖像處理部分)，通過綠色光標在鍵盤區(qū)的位置來確定眼睛目前注視的是哪一個按鍵(用綠色細邊框矩形表示眼睛注視此按鍵)。當注視時間長度達到一定值時(程序中可調整，一般為f 3秒)表示按下此鍵，該按鍵用藍色粗邊框矩形表示被按下，與此同時在字符顯示區(qū)顯示被按下的鍵所代表的字符或執(zhí)行相應的功能。
[0044]測試結果顯示，測試者每組的輸入速度，在每秒10個數字到每秒15個數字之間，平均輸入速度為每秒12個數字(四舍五入)。每組的正確輸入率都在80%以上，平均正確輸入率為87%。主要的錯誤集中在鍵盤邊緣處的按鍵。而鍵盤中央按鍵“6”的正確率為90%。另外，輸入速度受系統(tǒng)運行速度和攝像頭幀率影響。
【權利要求】
1.一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，包括PC機，與PC機相連接的攝像頭，頭戴式顯示器，其特征在于包括如下步聚: 1)利用PC機輸出一個用戶界面，所述的用戶界面包括文字顯示框和簡易鍵盤，所述的用戶界面投影到頭戴式顯示器上；眼睛觀察顯示屏中顯示的鍵盤上的不同按鍵，眼球的中心位置會相應地發(fā)生變化； 2)攝像頭將捕捉到眼球的中心位置變化的圖像，通過USB接口或者藍牙接口，將圖像信息傳送到PC機中； 3)PC機對傳送過來的圖像信息分別通過預處理模塊、改進型hough算法處理模塊、光斑檢測算法處理模塊、眨眼檢測處理模塊、坐標轉換及校正算法處理模塊進行處理并計算出視線的方向，確定眼睛所觀察的顯示屏上所顯示的鍵盤上的按鍵； 4)PC機輸出鍵盤按鍵所對應的信息到文字顯示框或改變鍵盤界面狀態(tài)； 5)接入紅外發(fā)光二極管作一個紅外光源，該光源會在眼球角膜外表面上形成反射點，稱為普爾欽斑。
2.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:改進型hough算法處理模塊的處理過程中，將系統(tǒng)進行過處理的圖像信息實現(xiàn)如下步驟: 1)對經過預處理的圖像進行粗定位，獲得瞳孔粗定位中心； 2)使用較高的閾值對瞳孔區(qū)域圖像進行二值化處理； 3)OpenCV函數庫中所提供的Hough變換圓形檢測函數對瞳孔二值化圖像進行常規(guī)的Hough變換，得到一個圓心,在此稱此圓心為Hough圓心； 4)分析粗定位中心和Hough圓心的距離，當兩者距離小于某個閾值時，將粗定位中心作為瞳孔定位的最終中心； 5)當兩者距離大于某個閾值時，取兩者坐標的中點，將此中點作為瞳孔定位的最終中心。
3.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:預處理模塊處理過程中，對數據進行預處理，主要包括視頻讀取、彩色圖像轉化為灰度圖像、灰度圖像進行二值化。
4.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:光斑檢測算法處理模塊，系統(tǒng)采用的是OpenCV函數庫中所提供的基于最小二乘法的橢圓擬合函數，處理過程包括: 1)讀取改進型hough算法中截取的瞳孔區(qū)域圖像并采用極高的閾值對圖像進行二值化處理； 2)利用OpenCV函數庫中所提供的輪廓檢測函數，獲取普爾欽斑邊緣點的集合； 3)利用該集合進行橢圓擬合，得到普爾欽斑的中心坐標。
5.根據權利要求4所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:所述的橢圓擬合算法包括以下步驟: 1)在普爾欽斑邊緣點中隨機選取6個； 2)利用最小二乘法計算橢圓參數； 3)遍歷所有邊緣點，求取各個點到已得到的橢圓之間的距離，如果小于某閾值，則稱該邊緣點為匹配點，記錄該邊緣點的編號； 4)遍歷完所有點之后，求取對于該擬合橢圓的匹配點的總個數； 5)比較匹配點總個數與匹配點最大值； 6)重復以上過程，獲得最優(yōu)橢圓參數，就可得到普爾欽斑的中心坐標。
6.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:所述的眨眼檢測處理模塊中要設置兩個標志，一個是判斷瞳孔位置標志，另外一個普爾欽斑標志，眨眼檢測算法待兩個標志都從消失狀態(tài)恢復到存在狀態(tài)時，才判定為眨眼，并啟動相應功能。
7.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:坐標轉換及校正算法處理模塊的坐標轉換包括以下兩個過程: 1)從截取出的瞳孔圖像中產生的瞳孔中心坐標和光斑中心坐標轉換到原眼部圖像坐標的過程； 2)從眼部圖像坐標轉換到鍵盤光標坐標的過程。
8.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:坐標轉換及校正算法處理模塊的校正算法處理包括以下步驟: O開啟校正功能后，簡易鍵盤界面會變成一個校正界面； 2)然后依次在界面中產生五個點，分別是正中間、右上角、左上角、左下角、右下角； 3)當產生一個點時，對該點眨一下眼啟動該點的校正程序，同時開始計時，一定時間后結束計時，該點消失并產生下一個校正點等待眨眼； 4)在該校正點的校正時間內記錄一系列視線向量，取這一系列視線向量的平均值作為該校正點的修正向量； 5 )正中間校正點產生的修正向量用于對所有視線方向參數進行修正；利用右上角校正點和左上角校正點的修正向量在縱向Y軸方向的平均值即可計算出眼部圖像坐標轉換到鍵盤圖像坐標時光標向上運動的放大倍數；類比得到向左、向下和向右運動的放大倍數。
9.根據權利要求1所述的一種基于瞳孔識別定位的頭戴式眼睛操控系統(tǒng)，其特征在于:簡易鍵盤采用15鍵鍵盤實現(xiàn)完整的數字輸入功能。
【文檔編號】G06K9/00GK103838378SQ201410097054
【公開日】2014年6月4日 申請日期:2014年3月13日 優(yōu)先權日:2014年3月13日
【發(fā)明者】熊建斌, 何俊, 孫國璽, 邵龍秋, 崔得龍, 張翼成, 梁瓊, 朱興統(tǒng) 申請人:廣東石油化工學院