專利名稱:基于校正/訓練的眼電控制系統(tǒng)和方法
技術(shù)領(lǐng)域:
本發(fā)明屬于生物醫(yī)學工程、信息學、控制工程等多學科交叉的領(lǐng)域,更具體地說是一種基于校正/訓練的眼電控制系統(tǒng)和方法。
背景技術(shù):
傳統(tǒng)的人機交互設(shè)備(鍵盤、鼠標、手寫板、觸摸屏等)無法滿足許多殘疾人與外界交互的正常需求。于是,科學家研究各種生物電(腦電、肌電、眼電等)的采集、處理和控制系統(tǒng)來實現(xiàn)多模態(tài)的無障礙人機交互,以期幫助殘疾人與外界順利溝通、提高他們獨立生活的能力。在此背景下,出現(xiàn)了眼電控制系統(tǒng)。1849年,Du Bois-Reymond等人發(fā)現(xiàn),人眼的運動與人體皮膚表面電極電勢之間存在著關(guān)系。這種電勢關(guān)系由眼睛的角膜與視網(wǎng)膜不斷地重復極化與去極化過程產(chǎn)生的電勢差引起,稱為角膜-視網(wǎng)膜電勢(Corneal-Retinal Potential, CRP)。此電勢產(chǎn)生的電流由視網(wǎng)膜一側(cè)不斷流向角膜一側(cè),故而形成一個角膜端為正極、視網(wǎng)膜端為負極的電場。其電勢大小在幾十UV至幾mV之間,頻率在0 IOOHz之間。當眼球運動時,角膜與視網(wǎng)膜之間的電勢差會隨眼球的運動而不斷變化,該電勢差即是眼電信號(electro-oculogram,E0G)。眼電信號隨眼球運動而不斷變化眼球左右運動,產(chǎn)生水平眼電信號;眼球上下運動,產(chǎn)生垂直眼電信號。將皮膚電極分別放在眼睛的內(nèi)外眥部皮膚表面上,通過記錄兩個電極間的電勢差變化可以獲得眼電信號,繼而通過眼電信號處理和控制來實現(xiàn)人機交互。專利CN 200910117156. 7是基于眼電信號的人機交互系統(tǒng)。該系統(tǒng)采用單極導聯(lián)方式來采集眼電信號,信號幅值較低,且容易受各種干擾影響,采集精度不高。另外,不同人的眼球運動狀態(tài)和各種眼姿勢的特征值會有細微的差別,這種差別在一定程度上會影響用戶使用眼電進行交互控制的精度和準確度。所以,為了提高眼電控制系統(tǒng)的魯棒性和可靠性,需要增加用戶自我校正訓練環(huán)節(jié)。
發(fā)明內(nèi)容
本發(fā)明的目的在于針對已有技術(shù)存在的缺陷,提供一種基于校正/訓練的眼電控制系統(tǒng)和方法,提高了用眼電進行交互控制的魯棒性、可靠性和應用精度。為達到上述目的,本發(fā)明采用如下技術(shù)方案
一種基于校正/訓練的眼電控制系統(tǒng),包括眼電信號采集與放大系統(tǒng)、眼電信號處理系統(tǒng)和智能控制系統(tǒng)。其特征在于所述采集與放大系統(tǒng)的傳感器放置于眼睛周圍,其輸出連接到信號處理系統(tǒng);信號處理系統(tǒng)與智能控制系統(tǒng)之間通過無線傳輸?shù)姆绞较噙B接。具體工作過程為采集與放大系統(tǒng)通過眼電傳感器獲取眼電信號,進行增益放大、濾波;信號處理系統(tǒng)提取眼電信號特征,將之與校正訓練模式下保存的眼姿勢特征參數(shù)進行匹配分析,判斷眼姿勢類型,無線發(fā)送命令編碼至智能控制系統(tǒng)。智能控制系統(tǒng)輸出控制信號實現(xiàn)對受控設(shè)備的控制。
所述的眼電信號采集與放大系統(tǒng)包括雙導聯(lián)電極傳感器和信號濾波與增益放大單元。所述的雙導聯(lián)電極傳感器包括電極A、電極B、電極C、電極D和電極E,其中電極A作為接地電極,置于前額中央位置處;電極B與電極C共同用于記錄垂直通道上的眼電信號,電極B置于右側(cè)眼瞼中央直線上方,距瞳孔約30mm處,電極C置于右側(cè)眼瞼中央直線下方,距瞳孔約30mm處;電極D與電極E共同用于記錄水平通道上的眼電信號,置于眼球雙外毗部的水平線上,電極D距右眼外毗部約20mm處,電極E置于左眼外毗部約20mm處。所述的信號濾波與增益放大單元包括依次連接的無源高通濾波器、電壓跟隨器、放大器、低通濾波器以及右腿驅(qū)動單元。所述無源高通濾波器與雙導聯(lián)電極傳感器的輸出端相連,對雙導聯(lián)電極傳感器輸出的水平/垂直眼電信號進行高通濾波,高通濾波的截止頻率為0. 159Hz。所述電壓跟隨器的輸入端與無源高通濾波器的輸出端相連,其輸出端既與放大器的輸入端相連,又與右腿驅(qū)動單元的輸入端相連。所述放大器為二級放大器,其中前級放大倍數(shù)為200,后級放大倍數(shù)為10。所述低通濾波器的輸入端與放大器的輸出端相連,對增益放大后的眼電信號進行低通濾波,低通濾波截止頻率為38Hz。低通濾波器的輸出端與信號處理系統(tǒng)中的A/D 模數(shù)轉(zhuǎn)換器的模擬信號輸入端相連。所述右腿驅(qū)動單元的輸入端與電壓跟隨器的輸出端相連,其輸出端與信號處理系統(tǒng)中的A/D模數(shù)轉(zhuǎn)換器的參考信號輸入端相連。所述眼電信號處理系統(tǒng)包括A/D模數(shù)轉(zhuǎn)換器、微處理器模塊、無線發(fā)送模塊和液晶顯示屏。A/D模數(shù)轉(zhuǎn)換器的輸入端與所述低通濾波器的輸出端相連;將模擬眼電信號轉(zhuǎn)換成數(shù)字信號,輸出到與其相連的微處理器。在正常工作模式下,微處理器模塊對接收的數(shù)字眼電信號進行在線特征提取、模式識別,實時判斷出操作者的眼姿勢;并對識別出的不同眼姿勢進行相應的命令編碼,經(jīng)無線發(fā)送模塊傳輸至智能控制系統(tǒng)。在校正訓練模式下,微處理器控制與其相連的液晶顯示屏,顯示用戶校正/訓練所需要的圖形與文字。所述的不同眼姿勢是指眼睛的不同運動狀態(tài),包括眼睛在上、下、左、右方向的掃視、有意眨眼、凝視等動作。所述智能控制系統(tǒng)包括依次相連的無線接收模塊、帶D/A轉(zhuǎn)換功能的微控制器和具體的受控設(shè)備。所述具體的受控設(shè)備包括智能輪椅、功能簡單的小型電子設(shè)備等。所述無線接收模塊接收信號處理系統(tǒng)無線發(fā)送的命令編碼,傳輸至微控制器;微控制器完成命令解碼和D/A數(shù)模轉(zhuǎn)換,輸出控制信號或模擬驅(qū)動信號,控制具體的受控設(shè)備完成相應動作。一種基于校正/訓練的眼電控制方法,采用上述系統(tǒng)進行眼電控制,具有如下操作步驟
1)系統(tǒng)初始化;
2)工作模式選擇;
3)眼電信號采集與濾波;
4)眼電信號處理;
5)產(chǎn)生控制/驅(qū)動信號。所述步驟I)系統(tǒng)初始化是指系統(tǒng)上電后,逐一完成各器件的初始化工作,包括微處理器、A/D模數(shù)轉(zhuǎn)換器的初始化、液晶顯示屏的初始化、帶D/A數(shù)模轉(zhuǎn)換功能的微控制器的初始化以及無線發(fā)送模塊和無線接收模塊的初始化。所述步驟2)中的工作模式包括校正訓練模式和正常工作模式。當系統(tǒng)通電啟動后,微處理器完成初始化工作,控制液晶顯示屏顯示選擇菜單“是否進入校正訓練模式? ”操作者按下“是”按鈕選擇“校正訓練模式”,按下“否”按鈕選擇“正常工作模式”。進入校正訓練模式后,微處理器控制液晶顯示屏顯示校正訓練的界面,供操作者訓練使用。所述校正訓練模式規(guī)定操作者從液晶屏的中心區(qū)域開始,按照顯示界面上標注的數(shù)字順序軌跡轉(zhuǎn)動眼睛,具體操作步驟如下
①眼睛凝視中心區(qū)域數(shù)秒,接著從中心區(qū)域出發(fā),先向左做慢速掃視運動,再回到中心區(qū)域,連續(xù)眨眼2次,停留數(shù)秒;重復此過程數(shù)次。②眼睛從中心向右做慢速掃視運動,再回到中心,連續(xù)眨眼2次,停留數(shù)秒;重復此過程數(shù)次。③眼睛從中心向上做掃視運動,再回到中心,連續(xù)眨眼2次,停留數(shù)秒;重復此過程數(shù)次。
4眼睛從中心向下做慢速掃視運動,再回到中心,連續(xù)眨眼2次,停留數(shù)秒;重復此過程數(shù)次。在此過程中,采集與放大系統(tǒng)采集上述眼睛運動時的眼電信號,對其進行濾波和增益放大,信號處理系統(tǒng)分析、辨識這些眼姿勢并將對應的特征參數(shù)保存到微處理器自帶的存儲器中。如有必要,微處理器也可以外接容量更大的存儲器。當各種眼姿勢特征參數(shù)保存完畢,顯示屏顯示問詢信息“是否要繼續(xù)訓練? ”按下“是”按鈕,重復上述步驟;按下“否”按鈕,退出校正訓練模式,自動進入正常工作模式。所述正常工作模式操作者不需要按照顯示屏上設(shè)定好的眼動軌跡來轉(zhuǎn)動眼睛,而是從實際控制需要出發(fā),轉(zhuǎn)動眼睛來完成相應的控制動作。所述步驟4)眼電信號處理包括對眼電信號進行預處理、特征提取、模式識別和命令編碼。所述預處理對眼電信號進行數(shù)字濾波及歸一化處理;
所述特征提取從眼電信號中提取信號的特征序列,包括時域特征和頻域特征;所述時域特征包括信號幅值和持續(xù)時間;所述頻域特征包括信號頻率和信號功率譜。所述模式識別將特征提取單元輸出的眼電信號特征與校正訓練階段保存在微處理器內(nèi)存中的各眼姿勢的特征參數(shù)進行模板匹配,從輸入的眼電信號特征來判斷用戶的實際眼姿勢(eye gestures),即用戶實際的眼睛運動模式,包括眼睛上下左右的掃視(saccade)模式、眨眼(blink)模式、凝視(fixation)模式。所述命令編碼將識別出的眼姿勢模式用一組二進制代碼來表示,例如眼睛向左掃視,用八位二進制碼11110001表示,眼睛向右掃視用11110010表示。所述步驟5)智能控制系統(tǒng)產(chǎn)生控制/驅(qū)動信號的具體流程如下
①解碼無線接收到的命令信息,分析具體的命令要求;
@根據(jù)命令要求,進行D/A模數(shù)轉(zhuǎn)換,得到合適的模擬控制驅(qū)動信號;
③將控制/驅(qū)動信號輸出到受控設(shè)備,控制具體的受控設(shè)備進行相應動作。與現(xiàn)有技術(shù)相比,本發(fā)明具有如下顯而易見的突出實質(zhì)性優(yōu)點和顯著技術(shù)進步
I.本發(fā)明保證了多用戶操作模式下的系統(tǒng)控制精度和可靠性由于不同用戶的眼電
特征是略有不同的。當有多個用戶需操作使用本發(fā)明所述眼電控制系統(tǒng)時,本發(fā)明中的用戶自我校正訓練模塊,可以讓用戶在正式操作應用本發(fā)明所述系統(tǒng)時提取并儲存用戶自己的眼電特征,供后續(xù)正式應用系統(tǒng)時作參考標準。本發(fā)明具有高可靠性、強魯棒性優(yōu)點。2.本發(fā)明測量精度高本發(fā)明使用雙極導聯(lián)方式采集眼電信號,所獲得的眼電信號幅值要高于同等條件下單極導聯(lián)方式采集到的眼電信號,更易與噪聲區(qū)別,使得后續(xù)眼電信號處理相對更容易;另一方面,本發(fā)明所述眼電信號放大與采集模塊中,集成了放大器、信號濾波器、右腿驅(qū)動電路,提高了系統(tǒng)的抗干擾能力,保證了對眼電信號的準確采集。3.本發(fā)明應用性較強在諸多領(lǐng)域都有很大的應用潛力,它不僅可以幫助肢殘人士與周圍環(huán)境的交互,用戶可以通過眼睛的運動來操控環(huán)境中的某些電子設(shè)備,如計算機、小家電、智能輪椅等。同時還可以用于正常人不便用手操作的場合或者某些高風險、高難度的工作區(qū)域,如礦井、航天器、營救手術(shù)、深水下等條件苛刻或狹窄的環(huán)境中。4.本發(fā)明識別效率高本發(fā)明采用微處理器在線處理眼電信號,克服了傳統(tǒng)批處理算法識別效率不高的缺點,實現(xiàn)了對眼電信號逐個樣本點操作,實時獲取操作者眼部動作,大大提聞了系統(tǒng)的識別效率。 5.本發(fā)明提供了一種新型的人機交互方式利用人體自身的眼電信號,通過對眼動模式的檢測和編碼設(shè)計,增強了眼動控制簡單伺服機構(gòu)的能力。6.本發(fā)明操作簡單方便人性化用戶接口界面的設(shè)計,使得用戶可以很快適應整個操作規(guī)程。
圖I為本發(fā)明一種帶校正訓練模式的眼電控制系統(tǒng)的結(jié)構(gòu)框圖。圖2為本發(fā)明的雙導聯(lián)五電極接線示意圖。圖3為本發(fā)明的眼電信號采集與放大系統(tǒng)的結(jié)構(gòu)示意圖。圖4為本發(fā)明的信號處理系統(tǒng)的結(jié)構(gòu)示意圖。圖5為本發(fā)明的智能控制系統(tǒng)的結(jié)構(gòu)示意圖。圖6為本發(fā)明的系統(tǒng)工作流程圖。圖7為本發(fā)明的校正訓練模式的示意圖。圖8為本發(fā)明的信號處理流程圖。
具體實施例方式本發(fā)明的優(yōu)選實施例結(jié)合
如下
實施例一
參見圖1,本基于校正/訓練的眼電控制系統(tǒng),包括眼電信號采集與放大系統(tǒng)(I)、眼電信號處理系統(tǒng)(2)和智能控制系統(tǒng)(3),其特征在于所述采集與放大系統(tǒng)(I)的傳感器放置于眼睛周圍,其輸出連接到信號處理系統(tǒng)(2);信號處理系統(tǒng)(2)與智能控制系統(tǒng)(3)之間通過無線傳輸?shù)姆绞较噙B接。具體工作過程為采集與放大系統(tǒng)通過眼電傳感器獲取眼電信號,進行增益放大、濾波;信號處理系統(tǒng)提取眼電信號特征,將之與校正訓練模式下保存的眼姿勢特征參數(shù)進行匹配分析,判斷眼姿勢類型,無線發(fā)送命令編碼至智能控制系統(tǒng)。智能控制系統(tǒng)輸出控制信號實現(xiàn)對受控設(shè)備的控制。實施例二 參見圖f圖5,本實施例與實施例一基本相同,特別之處如下
所述眼電信號采集與放大系統(tǒng)(I)由一個雙導聯(lián)電極傳感器(4)連接一個信號濾波與增益放大單元構(gòu)成;所述的雙導聯(lián)電極傳感器(4)包括電極A、電極B、電極C、電極D和電極E,其中電極A作為接地電極,置于前額中央位置處;電極B與電極C共同用于記錄垂直通道上的眼電信號,電極B置于右側(cè)眼瞼中央直線上方,電極C置于右側(cè)眼瞼中央直線下方;電極D與電極E共同用于記錄水平通道上的眼電信號,置于眼球雙外毗部的水平線上,電極D置于右眼外毗部,電極E置于左眼外毗部;所述的信號濾波與增益放大單元包括無源高通濾波器(5)、電壓跟隨器¢)、放大器(7)、低通濾波器(8)以及右腿驅(qū)動單元(9);所述的無源高通濾波器(5)輸入端與雙導聯(lián)電極傳感器(4)的輸出端相連,對雙導聯(lián)電極傳感器(4)輸出的水平/垂直眼電信號進行高通濾波,高通濾波的截止頻率為0. 159Hz ;所述電壓跟隨器(6)的輸入端與無源高通濾波器(5)的輸出端相連,其輸出端既與放大器(7)的輸入端相連,又與右腿驅(qū)動單元(9)的輸入端相連;所述放大器(7)為二級放大器,其中前級放大倍數(shù)為200,后級放大倍數(shù)為10 ;所述低通濾波器(8)的輸入端與放大器(7)的輸出端相連,對增益放大后的眼電信號進行低通濾波,低通濾波截止頻率為38Hz ;低通濾波器 (8)的輸出端與信號處理系統(tǒng)(2)中一個A/D模數(shù)轉(zhuǎn)換器(10)的模擬信號輸入端相連;所述右腿驅(qū)動單元(9)的輸入端與電壓跟隨器(6)的輸出端相連,其輸出端與信號處理系統(tǒng)
(2)中所述A/D模數(shù)轉(zhuǎn)換器(10)的參考信號輸入端相連;
所述眼電信號處理系統(tǒng)(2)包括A/D模數(shù)轉(zhuǎn)換器(10)、微處理器模塊(11)、無線發(fā)送模塊(12)和液晶顯示屏(13) ;A/D模數(shù)轉(zhuǎn)換器(10)的輸入端與所述低通濾波器(8)的輸出端相連;將模擬眼電信號轉(zhuǎn)換成數(shù)字信號,輸出到與其相連的微處理器(11);在正常工作模式下,微處理器模塊(11)對接收的數(shù)字眼電信號進行在線特征提取、模式識別,實時判斷出操作者的眼姿勢;并對識別出的不同眼姿勢進行相應的命令編碼,經(jīng)無線發(fā)送模塊(12)傳輸至智能控制系統(tǒng)(3);在校正訓練模式下,微處理器(11)控制與其相連的液晶顯示屏
(13),顯示用戶校正/訓練所需要的圖形與文字;
所述智能控制系統(tǒng)(3)包括依次相連的無線接收模塊(14)、帶D/A轉(zhuǎn)換功能的微控制器(15)和具體的受控設(shè)備(16);所述具體的受控設(shè)備(16)包括智能輪椅和功能簡單的小型電子設(shè)備。所述無線接收模塊(14)接收信號處理系統(tǒng)(2)無線發(fā)送的命令編碼,傳輸至微控制器(15);微控制器(15)完成命令解碼和D/A數(shù)模轉(zhuǎn)換,輸出控制信號或模擬驅(qū)動信號,控制具體的受控設(shè)備(16)完成相應動作。實施例三
參見圖6,本基于校正/訓練的眼電控制方法,采用上述系統(tǒng)進行眼電控制,操作步驟如下1)系統(tǒng)初始化;2)工作模式選擇;3)眼電信號采集與濾波;4)眼電信號處理;5)產(chǎn)生控制/驅(qū)動信號。實施例四
參見8,本實施例與實施例三基本相同,特別之處如下所述步驟I)系統(tǒng)初始化是指系統(tǒng)上電后,逐一完成各器件的初始化工作,包括微處理器(11)、A/D模數(shù)轉(zhuǎn)換器(10 )的初始化、液晶顯示屏(13)的初始化、帶D/A數(shù)模轉(zhuǎn)換功能的微控制器(15)的初始化以及無線發(fā)送模塊(12)和無線接收模塊(14)的初始化。所述步驟2)中的工作模式包括校正訓練模式和正常工作模式;當系統(tǒng)通電啟動后,微處理器(11)完成初始化工作,控制液晶顯示屏(13)顯示選擇菜單“是否進入校正訓練模式? ”操作者按下“是”按鈕選擇“校正訓練模式”,按下“否”按鈕選擇“正常工作模式”;進入校正訓練模式后,微處理器(11)控制液晶顯示屏(13)顯示校正訓練的界面,供操作者訓練使用;所述校正訓練模式規(guī)定操作者從液晶屏的中心區(qū)域開始,按照顯示界面上標注的數(shù)字順序軌跡轉(zhuǎn)動眼睛,具體操作步驟如下
①眼睛凝視中心區(qū)域數(shù)秒,接著從中心區(qū)域出發(fā),先向左做慢速掃視運動,再快速回到中心區(qū)域,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟;
從中心向右做慢速掃視運動,再快速回到中心,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟;
1I1從中心向上做慢速掃視運動,再快速回到中心,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟;
111從中心向下做慢速掃視運動,再快速回到中心,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重 復此步驟;
在此過程中,采集與放大系統(tǒng)(I)采集上述眼睛運動時的眼電信號,對其進行濾波和增益放大,信號處理系統(tǒng)(2)分析、辨識這些眼姿勢并將對應的特征參數(shù)保存到微處理器
(11)自帶的存儲器中;當各種眼姿勢特征參數(shù)保存完畢,顯示屏(13)顯示問詢信息“是否要繼續(xù)訓練? ”按下“是”按鈕,重復上述步驟;按下“否”按鈕,退出校正訓練模式,自動進入正常工作模式;
所述正常工作模式操作者不需要按照顯示屏(13)上設(shè)定好的眼動軌跡來轉(zhuǎn)動眼睛,而是從實際控制需要出發(fā),轉(zhuǎn)動眼睛來完成相應的控制動作。所述步驟4)眼電信號處理包括對眼電信號進行預處理、特征提取、模式識別和命令編碼;
所述預處理對眼電信號進行數(shù)字濾波及歸一化處理;
所述特征提取從眼電信號中提取信號的特征序列,包括時域特征和頻域特征;所述時域特征包括信號幅值和持續(xù)時間;所述頻域特征包括信號頻率和信號功率譜;
所述模式識別將特征提取單元輸出的眼電信號特征與校正訓練階段保存在微處理器
(11)內(nèi)存中的各眼姿勢的特征參數(shù)進行模板匹配,從輸入的眼電信號特征來判斷用戶的實際眼姿勢,即用戶實際的眼睛運動模式,包括眼睛上下左右的掃視模式、眨眼模式和凝視模式;
所述命令編碼將識別出的眼姿勢模式用一組二進制代碼來表示眼睛向左掃視,用八位二進制碼11110001表示,眼睛向右掃視用11110010表示。所述步驟5)產(chǎn)生控制/驅(qū)動信號的具體流程如下
①解碼無線接收到的命令信息,分析具體的命令要求;
@根據(jù)命令要求,進行D/A模數(shù)轉(zhuǎn)換,得到模擬控制驅(qū)動信號;
③將控制/驅(qū)動信號輸出到受控設(shè)備,控制具體的受控設(shè)備進行相應動作。實施例五
參見圖1,本實施例中的系統(tǒng)由眼電信號采集與放大系統(tǒng)(I)、眼電信號處理系統(tǒng)(2)和智能控制系統(tǒng)(3)組成。
參見圖2,實施例中采用雙導聯(lián)電極方式采集眼電信號。雙導聯(lián)電極傳感器(4)的貼放方式為接地電極,置于前額中央,如圖2電極A位置;第一通道為采集垂直方向上的眼電信號,第一導聯(lián)所連電極置于右側(cè)眼瞼中央直線上方,距瞳孔約3cm處,如圖2電極B位置;第二導聯(lián)所連電極置于右側(cè)眼瞼中央直線下方,距瞳孔約3cm處,如圖2電極C位置。第二通道為采集水平方向上的眼電信號,兩個電極置于眼球雙外毗部的水平線上,第一導聯(lián)所連電極置于右眼外毗部約2cm處,如圖2電極D位置,第二導聯(lián)所連電極置于左眼外毗部約2cm處,如圖2電極E位置。設(shè)置雙通道雙導聯(lián)方式,相對于單導聯(lián)方式可以獲取較大幅值的眼電信號,同時更好地抑制了共模干擾信號,提高了測量精度。另外,分兩個通道分別采集水平眼電信號和垂直眼電信號,便于后面眼電信號的特征提取和模式識別。本具體實施例中,電極一般選用銀-氯化銀電極;若在電極與皮膚表面涂上導電膏,能減小皮膚接觸阻抗,進一步提高測量精度。參見圖3,本實施例中眼電信號采集與放大系統(tǒng)包括無源高通濾波器(5 )、電壓跟 隨器(6)、放大器(7)、低通濾波器(8)和右腿驅(qū)動單元(9)組成。選取合適的電阻、電容組成無源高通濾波器(5),截止頻率為0. 159Hz。根據(jù)眼電信號的特點,放大器采用兩級放大,其中,前級放大器采用低噪聲低功耗高共模抑制比的差分放大器,增益為200,后級放大器增益為10。為了更好地采集眼電信號,在高通濾波器之后、前置放大器之前添加電壓跟隨器
(6),目的在于降低整個電路的輸入阻抗,提高信噪比。選取合適的電阻、電容和放大器芯片構(gòu)成薩倫 基低通濾波器(8),低通截止頻率為38Hz,可消除工頻干擾及高頻分量等噪聲。右腿驅(qū)動單元(9),用于去除人體攜帶的交流共模干擾信號,提高系統(tǒng)測量精度。參見圖4,本實施例中眼電信號處理系統(tǒng)(2)包括A/D模數(shù)轉(zhuǎn)換器(10)、微處理器模塊(11)、無線發(fā)送模塊(12)和液晶顯示屏(13)。A/D模數(shù)轉(zhuǎn)換器(10)將采集、放大、濾波后的模擬眼電信號轉(zhuǎn)換成數(shù)字信號,輸出到與其相連的微處理器(11)。微處理器根據(jù)用戶的選擇,啟動不同工作模式下的信號處理程序。本實施例中,采用單片機微處理器MSP430系列芯片實現(xiàn)眼電信號的處理分析。微處理器信號處理流程如圖8所示。啟動系統(tǒng),系統(tǒng)各模塊完成初始化工作后,微處理器控制顯示屏顯示選擇界面,詢問操作者是否要進入校正訓練模式。若用戶按下“是”按鈕,則程序進入校正訓練模式;若用戶按下“否”按鈕,則程序轉(zhuǎn)入正常工作模式。不同人的眼球運動狀態(tài)和有意識眨眼信號的閾值會有細微的差別,而該差別在一定程度上會影響用戶使用眼電進行交互控制的精度和準確度。因此,在本實施例中增加用戶的自我校正訓練模式。在校正訓練模式下,要求用戶按照圖7預設(shè)的順序軌跡運動眼睛,具體眼睛動作順序如下
①眼睛凝視中心區(qū)域約5秒,接著從中心區(qū)域出發(fā),先向左做慢速掃視運動,再回到中心區(qū)域,連續(xù)眨眼2次,停留約5秒;重復步驟CD動作3次。②從中心向右做慢速掃視運動,再回到中心,連續(xù)眨眼2次,停留約5秒;重復步驟
②動作3次。(!)從中心向上做慢速掃視運動,再回到中心,連續(xù)眨眼2次,停留約5秒;重復步驟
③動作3次。
④從中心向下做慢速掃視運動,再回到中心,連續(xù)眨眼2次,停留約5秒;重復步驟+動作3次。在此過程中,系統(tǒng)采集眼電信號,分析、辨識對應的眼姿勢并保存其特征參數(shù)。水平眼電信號和垂直眼電信號經(jīng)由各自的采集通道獲得,無需區(qū)分;并且眼姿勢模式是已設(shè)定好的,將提取的某段眼電特征與已知眼姿勢模式對應保存,不需進行模式識別。每個步驟重復3次,且每個過程盡量保持勻速眼動,以提高訓練精度。校正訓練過程結(jié)束后,系統(tǒng)自動轉(zhuǎn)入正常工作模式。參見圖6,在正常工作模式下,微處理器模塊(11)對接收的數(shù)字眼電信號依次進行數(shù)字濾波、特征提取、模式識別,實時判斷出操作者的眼姿勢;并對識別出的不同眼姿勢進行相應的命令編碼,經(jīng)無線發(fā)送模塊(12)傳輸至智能控制系統(tǒng)(3)。在校正訓練模式下,微處理器(11)控制與其相連的液晶顯示屏(13),顯示用戶校正/訓練所需要的圖形與文 字。圖8中,數(shù)字濾波采用Butterworth濾波器,對眼電信號進行預處理,進一步濾除各類毛刺干擾和高頻分量。特征提取分時域和頻域分別處理。時域主要提取信號的幅值、持續(xù)時間、形態(tài)特征值;頻域主要分析信號的頻率、功率譜。波形形態(tài)特征是指脈沖波形是向上的正脈沖還是向下的負脈沖。
權(quán)利要求
1.一種基于校正/訓練的眼電控制系統(tǒng),包括眼電信號采集與放大系統(tǒng)(I)、眼電信號處理系統(tǒng)(2)和智能控制系統(tǒng)(3),其特征在于所述采集與放大系統(tǒng)(I)的傳感器放置于眼睛周圍,其輸出連接到信號處理系統(tǒng)(2);信號處理系統(tǒng)(2)與智能控制系統(tǒng)(3)之間通過無線傳輸?shù)姆绞较噙B接,具體工作過程為采集與放大系統(tǒng)通過眼電傳感器獲取眼電信號,進行增益放大、濾波;信號處理系統(tǒng)提取眼電信號特征,將之與校正訓練模式下保存的眼姿勢特征參數(shù)進行匹配分析,判斷眼姿勢類型,無線發(fā)送命令編碼至智能控制系統(tǒng);智能控制系統(tǒng)輸出控制信號實現(xiàn)對受控設(shè)備的控制。
2.根據(jù)權(quán)利要求I所述的基于校正/訓練的眼電控制系統(tǒng),其特征是所述的眼電信號采集與放大系統(tǒng)(I)由一個雙導聯(lián)電極傳感器(4)連接一個信號濾波與增益放大單元構(gòu)成;所述的雙導聯(lián)電極傳感器(4)包括電極A、電極B、電極C、電極D和電極E,其中電極A作為接地電極,置于前額中央位置處;電極B與電極C共同用于記錄垂直通道上的眼電信號,電極B置于右側(cè)眼瞼中央直線上方,電極C置于右側(cè)眼瞼中央直線下方;電極D與電極E共同用于記錄水平通道上的眼電信號,置于眼球雙外毗部的水平線上,電極D置于右眼外 毗部,電極E置于左眼外毗部; 所述的信號濾波與增益放大單元包括無源高通濾波器(5)、電壓跟隨器¢)、放大器(7)、低通濾波器⑶以及右腿驅(qū)動單元(9); 所述的無源高通濾波器(5)輸入端與雙導聯(lián)電極傳感器(4)的輸出端相連,對雙導聯(lián)電極傳感器(4)輸出的水平/垂直眼電信號進行高通濾波,高通濾波的截止頻率為O.159Hz ;所述電壓跟隨器(6)的輸入端與無源高通濾波器(5)的輸出端相連,其輸出端既與放大器(7)的輸入端相連,又與右腿驅(qū)動單元(9)的輸入端相連;所述放大器(7)為二級放大器,其中前級放大倍數(shù)為200,后級放大倍數(shù)為10 ;所述低通濾波器(8)的輸入端與放大器(7)的輸出端相連,對增益放大后的眼電信號進行低通濾波,低通濾波截止頻率為38Hz ;低通濾波器(8)的輸出端與信號處理系統(tǒng)(2)中一個A/D模數(shù)轉(zhuǎn)換器(10)的模擬信號輸入端相連;所述右腿驅(qū)動單元(9)的輸入端與電壓跟隨器(6)的輸出端相連,其輸出端與信號處理系統(tǒng)(2)中所述A/D模數(shù)轉(zhuǎn)換器(10)的參考信號輸入端相連。
3.根據(jù)權(quán)利要求I所述的基于校正/訓練的眼電控制系統(tǒng),其特征是所述眼電信號處理系統(tǒng)(2)包括A/D模數(shù)轉(zhuǎn)換器(10)、微處理器模塊(11)、無線發(fā)送模塊(12)和液晶顯示屏(13) ;A/D模數(shù)轉(zhuǎn)換器(10)的輸入端與所述低通濾波器(8)的輸出端相連;將模擬眼電信號轉(zhuǎn)換成數(shù)字信號,輸出到與其相連的微處理器(11);在正常工作模式下,微處理器模塊(11)對接收的數(shù)字眼電信號進行在線特征提取、模式識別,實時判斷出操作者的眼姿勢;并對識別出的不同眼姿勢進行相應的命令編碼,經(jīng)無線發(fā)送模塊(12)傳輸至智能控制系統(tǒng)(3);在校正訓練模式下,微處理器(11)控制與其相連的液晶顯示屏(13),顯示用戶校正/訓練所需要的圖形與文字。
4.根據(jù)權(quán)利要求I所述的基于校正/訓練的眼電控制系統(tǒng),其特征是所述智能控制系統(tǒng)(3)包括依次相連的無線接收模塊(14)、帶D/A轉(zhuǎn)換功能的微控制器(15)和具體的受控 設(shè)備(16);所述具體的受控設(shè)備(16)包括智能輪椅和功能簡單的小型電子設(shè)備;所述無線接收模塊(14)接收信號處理系統(tǒng)(2)無線發(fā)送的命令編碼,傳輸至微控制器(15);微控制器(15)完成命令解碼和D/A數(shù)模轉(zhuǎn)換,輸出控制信號或模擬驅(qū)動信號,控制具體的受控設(shè)備(16)完成相應動作。
5.一種基于校正/訓練的眼電控制方法,采用根據(jù)權(quán)利要求I所述的基于校正/訓練的眼電控制系統(tǒng)進行眼電控制,其特征在于操作步驟如下 系統(tǒng)初始化; 工作模式選擇; 眼電信號采集與濾波; 眼電信號處理; 產(chǎn)生控制/驅(qū)動信號。
6.根據(jù)權(quán)利要求5所述的基于校正/訓練的眼電控制方法,其特征在于所述步驟I)系統(tǒng)初始化是指系統(tǒng)上電后,逐一完成各器件的初始化工作,包括微處理器(11)、A/D模數(shù)轉(zhuǎn)換器(10)的初始化、液晶顯示屏(13)的初始化、帶D/A數(shù)模轉(zhuǎn)換功能的微控制器(15)的初始化以及無線發(fā)送模塊(12)和無線接收模塊(14)的初始化。
7.根據(jù)權(quán)利要求5所述的基于校正/訓練的眼電控制方法,其特征在于所述步驟2)中的工作模式包括校正訓練模式和正常工作模式;當系統(tǒng)通電啟動后,微處理器(11)完成初始化工作,控制液晶顯示屏(13)顯示選擇菜單“是否進入校正訓練模式? ”操作者按下“是”按鈕選擇“校正訓練模式”,按下“否”按鈕選擇“正常工作模式”;進入校正訓練模式后,微處理器(11)控制液晶顯示屏(13)顯示校正訓練的界面,供操作者訓練使用; 所述校正訓練模式規(guī)定操作者從液晶屏的中心區(qū)域開始,按照顯示界面上標注的數(shù)字順序軌跡轉(zhuǎn)動眼睛,具體操作步驟如下 ①眼睛凝視中心區(qū)域數(shù)秒,接著從中心區(qū)域出發(fā),先向左做慢速掃視運動,再快速回到中心區(qū)域,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟; ②從中心向右做慢速掃視運動,再快速回到中心,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟; ③從中心向上做慢速掃視運動,再快速回到中心,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟; 4從中心向下做慢速掃視運動,再快速回到中心,做連續(xù)眨眼動作,停留數(shù)秒;循環(huán)重復此步驟; 在此過程中,采集與放大系統(tǒng)(I)采集上述眼睛運動時的眼電信號,對其進行濾波和增益放大,信號處理系統(tǒng)(2)分析、辨識這些眼姿勢并將對應的特征參數(shù)保存到微處理器(11)自帶的存儲器中;當各種眼姿勢特征參數(shù)保存完畢,顯示屏(13)顯示問詢信息“是否要繼續(xù)訓練? ”按下“是”按鈕,重復上述步驟;按下“否”按鈕,退出校正訓練模式,自動進入正常工作模式; 所述正常工作模式操作者不需要按照顯示屏(13)上設(shè)定好的眼動軌跡來轉(zhuǎn)動眼睛,而是從實際控制需要出發(fā),轉(zhuǎn)動眼睛來完成相應的控制動作。
8.根據(jù)權(quán)利要求5所述的基于校正/訓練的眼電控制方法,其特征在于所述步驟4)眼電信號處理包括對眼電信號進行預處理、特征提取、模式識別和命令編碼; 所述預處理對眼電信號進行數(shù)字濾波及歸一化處理; 所述特征提取從眼電信號中提取信號的特征序列,包括時域特征和頻域特征;所述時域特征包括信號幅值和持續(xù)時間;所述頻域特征包括信號頻率和信號功率譜;所述模式識別將特征提取單元輸出的眼電信號特征與校正訓練階段保存在微處理器(11)內(nèi)存中的各眼姿勢的特征參數(shù)進行模板匹配,從輸入的眼電信號特征來判斷用戶的實際眼姿勢,即用戶實際的眼睛運動模式,包括眼睛上下左右的掃視模式、眨眼模式和凝視模式; 所述命令編碼將識別出的眼姿勢模式用一組二進制代碼來表示眼睛向左掃視,用八位二進制碼11110001表示,眼睛向右掃視用11110010表示。
9.根據(jù)權(quán)利要求5所述的基于校正/訓練的眼電控制方法,其特征在于所述步驟5)產(chǎn)生控制/驅(qū)動信號的具體流程如下 ①解碼無線接收到的命令信息,分析具體的命令要求; ②根據(jù)命令要求,進行D/A模數(shù)轉(zhuǎn)換,得到模擬控制驅(qū)動信號; ③將控制/驅(qū)動信號輸出到受控設(shè)備,控制具體的受控設(shè)備進行相應動作。
全文摘要
本發(fā)明涉及一種基于校正/訓練的眼電控制系統(tǒng)和方法。本系統(tǒng)包括眼電信號采集與放大系統(tǒng)、眼電信號處理系統(tǒng)和智能系統(tǒng)。采集與放大系統(tǒng)的傳感器放置于眼睛周圍,其輸出連接到信號處理系統(tǒng);信號處理系統(tǒng)與智能控制系統(tǒng)之間通過無線傳輸?shù)姆绞较噙B接。具體工作過程為采集與放大系統(tǒng)通過眼電傳感器獲取眼電信號,進行增益放大、濾波;信號處理系統(tǒng)提取眼電信號特征,將之與校正訓練模式下保存的眼姿勢特征參數(shù)進行匹配分析,判斷眼姿勢類型,無線發(fā)送命令編碼至智能控制系統(tǒng)。智能控制系統(tǒng)輸出控制信號實現(xiàn)對受控設(shè)備的控制,本發(fā)明測量精度高、魯棒性好、操作簡單,可以幫助提高肢殘人士的獨立生活能力;還可用于危險或條件苛刻的特殊工作場合。
文檔編號G05B19/04GK102968072SQ20121044700
公開日2013年3月13日 申請日期2012年11月9日 優(yōu)先權(quán)日2012年11月9日
發(fā)明者林敏 , 李斌 申請人:上海大學