專利名稱：基于隱性注意的視聽聯(lián)合刺激腦-機接口方法
技術領域：
本發(fā)明屬于人機交互技術領域，可幫助殘障人士操作計算機等外部設備，具體是涉及基于隱性注意的視聽聯(lián)合刺激腦-機接口系統(tǒng)。
背景技術：
腦-機接口(Brain-ComputerInterface)的定義是“BCI (腦機接口 )是一種不依賴于大腦外圍神經(jīng)與肌肉正常輸出通道的通訊控制系統(tǒng)。”目前的研究成果中，它主要是通過采集和分析不同狀態(tài)下人的腦電信號，然后使用一定的工程技術手段在人腦與計算機或其它電子設備之間建立起直接的交流和控制通道，從而實現(xiàn)一種全新的信息交換與控制技術，可以為殘疾人特別是那些喪失了基本語言，肢體運動功能但思維正常的病人提供一種與外界進行信息交流與控制的途徑。即可以不需語言或肢體動作，直接通過控制腦電來表達意愿或操縱外界設備。為此，BCI (腦-機接口)技術也越來越受到重視。到目前為止，常用的腦-機接口大都是基于采集腦電信息并提取其特定相關成分為基礎，在眾多的腦電特征信號中，基于P300腦電特征信號的系統(tǒng)使用最為廣泛。其技術原理如

圖1所示。含有操作控制意圖的腦電信息通過電極從頭皮或顱內獲得，經(jīng)過信號處理提取反映使用者意圖的腦電信息特征，并將之轉化為控制外部設備的操作命令。BCI (腦-機接口) 研究的主要應用目標是幫助肢體嚴重癱瘓的殘疾人操縱和使用周邊日常生活工具，以實現(xiàn)對外界的信息交流和設備控制。P300是事件相關電位(Event Related Potential，ERP)的一種，最早由 Sutton等人使用oddball實驗的方法記錄到。P300大約出現(xiàn)在新奇事件刺激后的300毫秒內，相關事件發(fā)生的概率越小，所引起的P300越顯著，由此可以利用目標刺激所產(chǎn)生的P300信號作為思維活動對刺激事件有效應答標志。隱性注意(covert attention)是目前腦-機接口領域較為前沿的一種刺激模式， 區(qū)別于傳統(tǒng)的視覺刺激模式-顯性注意(overt attention)，隱性注意不需要眼球的移動， 通過注視特定刺激界面的固定點，利用潛意識“關注，，目標的閃爍情況，當所關注的目標閃爍時，便可以誘發(fā)P300腦電特征信號?；诼犛X刺激模式的腦-機接口是當前人機交互領域研究的熱點，對于特殊殘障人士，聽覺刺激誘發(fā)模式提供了一種與外界交流的通道，聲音中的頻率特征和空間方位信息已經(jīng)被廣泛認為是最能夠區(qū)別不同聲音的有效成分。目前尚未見相關主題的成熟技術報道。

發(fā)明內容
為克服現(xiàn)有技術的不足，提供基于隱性注意的視聽聯(lián)合刺激腦-機接口系統(tǒng)，以得到更高的準確率和信息傳輸速率和方便操作，為達上述目的，本發(fā)明采取的技術方案是， 基于隱性注意的視聽聯(lián)合刺激腦-機接口方法，包括下列步驟
4
(1)系統(tǒng)初始化使用者通過頭皮處的電極與計算機腦-機接口設備相連，使用者需要戴上耳機，打開刺激界面，刺激界面按照oddball序列進行閃爍，對于閃爍刺激，有兩種屬性，一種是靶刺激，即使用者隱性注意的目標，另一種是非靶刺激，對于每一次視覺刺激，均伴隨有相應的聲音刺激，使用者需要默數(shù)靶刺激出現(xiàn)的次數(shù)；(2)腦電特征信號的產(chǎn)生當靶刺激產(chǎn)生時，伴隨特定的聲音刺激，使用者的腦部會產(chǎn)生P300腦電特征信號，非靶刺激不會產(chǎn)生P300特征信號；(3)腦電信號的采集使用者頭皮處的64導聯(lián)電極將腦電信號采集并傳送至計算機；(4)腦電信號處理對于采集到的腦電信號，首先進行工頻濾波，利用獨立成分分析ICA去除眼電，然后利用相干平均的方法提取P300特征信號；(5) Fisher可分性分析將數(shù)據(jù)降采樣后進行Fisher可分性分析，F(xiàn)isher主要用來評價特征參數(shù)在不同類別樣本中的分布是否具有明顯的差異，一般來說差異度越大的參數(shù)越適于作為樣本的分類的特征值；(6)支持向量機進行模式識別在經(jīng)過了特征提取階段之后，我們將這些從樣本中提取到的特征用來訓練SVM分類器，訓練后得到一個模型，然后再利用這個模型來對未知模式類型的數(shù)據(jù)進行分類，得到控制外部設備的控制命令。刺激界面是八個填充有不同顏色的圓圈以順時針的方向，按照1 8的標號，位于中心十字的周圍，相鄰兩圓間隔45度；聲音刺激采用二維方式，空間信息按照列分布從左到右依次為左耳，雙耳，右耳，頻率特征按照行分布從上到下依次為1000Hz，500Hz，IOOHz ； 對于八個圓中的任意一個圓，僅有一種顏色、聲音刺激與之對應，八個圓圈按照oddball序列隨機閃爍，每次閃爍時間為200ms，相鄰兩次閃爍間隔100ms。使用者在使用系統(tǒng)過程中，雙眼需要始終注視刺激界面中間十字，根據(jù)操作人員的提示，利用隱性注意，潛意識“關注”目標，在一系列的閃爍刺激與聲音刺激進行時，使用者雙眼始終注視刺激界面中間十字，利用隱性注意去“關注”圓圈，每當刺激界面中的圓圈閃爍時，會伴隨有相應的聲音刺激，使用者需要在心中默數(shù)隱性注意所關注的圓圈所閃爍的次數(shù)，直到此輪刺激結束，每輪刺激有10個oddball序列，即每輪刺激中，使用者需要默數(shù)10次。利用獨立成分分析ICA去除眼電的數(shù)學模型為X = A*S其中A為信號傳遞矩陣，X是N維觀測向量，S是M維彼此獨立的原始信號，獨立成分分析就是設計尋找一個矩陣W，從而求得Y = WX，求解出各自獨立的成分Y，并認為Y為S 的近似表達，根據(jù)一定的特征，消除Y的一個或幾個分量得到Y'，Y' =P*Y表示，再還原 X' =AY'，X'就是消除干擾后留下的有用信號；獨立成分分析ICA從混合信號X= (XI， 父2夂&1)里估計出源成分Si，也估算了混合矩陣Α，每次處理都必須認為觀測到的眼電是獨立成分。利用相干平均的方法提取Ρ300特征信號具體為用下面的公式表示時域內的事件相關電位及噪聲的模型Yn(i, t) = pn(i, t)+en(i, t)，η = 1,2, · · ·，N ;i = 1,2, . . . ,64其中η為刺激的序號，N為刺激的總數(shù)，i為導聯(lián)的序號，t為時間。^i(i，t)為采集到的信號，Pn(i，t)為第η次刺激時理想的P300信號，En(i，t)為總的噪聲信號，通過相干平均，將噪聲信號從腦電信號中去除，進而得到較為明顯的P300特征信號。Fisher可分性分析是借用一元方差分析的思想，即依據(jù)組間均方差與組內均方差之比最大的原則來進行判別，其公式如下
權利要求
1.一種基于隱性注意的視聽聯(lián)合刺激腦-機接口方法，其特征是，包括以下步驟(1)系統(tǒng)初始化使用者通過頭皮處的電極與計算機腦-機接口設備相連，使用者需要戴上耳機，打開刺激界面，刺激界面按照oddball序列進行閃爍，對于閃爍刺激，有兩種屬性，一種是靶刺激，即使用者隱性注意的目標，另一種是非靶刺激，對于每一次視覺刺激，均伴隨有相應的聲音刺激，使用者需要默數(shù)靶刺激出現(xiàn)的次數(shù)；(2)腦電特征信號的產(chǎn)生當靶刺激產(chǎn)生時，伴隨特定的聲音刺激，使用者的腦部會產(chǎn)生P300腦電特征信號，非靶刺激不會產(chǎn)生P300特征信號；(3)腦電信號的采集使用者頭皮處的64導聯(lián)電極將腦電信號采集并傳送至計算機；(4)腦電信號處理對于采集到的腦電信號，首先進行工頻濾波，利用獨立成分分析 ICA去除眼電，然后利用相干平均的方法提取P300特征信號；(5)Fisher可分性分析將數(shù)據(jù)降采樣后進行Fisher可分性分析，F(xiàn)isher主要用來評價特征參數(shù)在不同類別樣本中的分布是否具有明顯的差異，一般來說差異度越大的參數(shù)越適于作為樣本的分類的特征值；(6)支持向量機進行模式識別在經(jīng)過了特征提取階段之后，將這些從樣本中提取到的特征用來訓練SVM分類器，訓練后得到一個模型，然后再利用這個模型來對未知模式類型的數(shù)據(jù)進行分類，得到控制外部設備的控制命令。
2.如權利要求1所述方法，其特征是，刺激界面是八個填充有不同顏色的圓圈以順時針的方向，按照1 8的標號，位于中心十字的周圍，相鄰兩圓間隔45度；聲音刺激采用二維方式，空間信息按照列分布從左到右依次為左耳，雙耳，右耳，頻率特征按照行分布從上到下依次為1000Hz，500Hz，IOOHz ；對于八個圓中的任意一個圓，僅有一種顏色、聲音刺激與之對應，八個圓圈按照oddball序列隨機閃爍，每次閃爍時間為200ms，相鄰兩次閃爍間隔 100ms。
3.如權利要求1所述方法，其特征是，使用者在使用系統(tǒng)過程中，雙眼需要始終注視刺激界面中間十字，根據(jù)操作人員的提示，利用隱性注意，潛意識“關注”目標，在一系列的閃爍刺激與聲音刺激進行時，使用者雙眼始終注視刺激界面中間十字，利用隱性注意去“關注”圓圈，每當刺激界面中的圓圈閃爍時，會伴隨有相應的聲音刺激，使用者需要在心中默數(shù)隱性注意所關注的圓圈所閃爍的次數(shù)，直到此輪刺激結束，每輪刺激有10個oddball序列，即每輪刺激中，使用者需要默數(shù)10次。
4.如權利要求1所述方法，其特征是，利用獨立成分分析ICA去除眼電的數(shù)學模型為X = A*S其中A為信號傳遞矩陣，X是N維觀測向量，S是M維彼此獨立的原始信號，獨立成分分析就是設計尋找一個矩陣W，從而求得Y = WX，求解出各自獨立的成分Y，并認為Y為S的近似表達，根據(jù)一定的特征，消除Y的一個或幾個分量得到Y'，Y' =P*Y表示，再還原X' = AY'，X'就是消除干擾后留下的有用信號；獨立成分分析ICA從混合信號X= (Χ1，Χ2… Xn)里估計出源成分Si，也估算了混合矩陣Α，每次處理都必須認為觀測到的眼電是獨立成分。
5.如權利要求1所述方法，其特征是，利用相干平均的方法提取Ρ300特征信號具體為 用下面的公式表示時域內的事件相關電位及噪聲的模型Yn(i，t) =pn(i，t)+en(i，t)，n = 1，2，···，N;i = 1，2，··.，64其中η為刺激的序號，N為刺激的總數(shù)，i為導聯(lián)的序號，t為時間。^i(i，t)為采集到的信號，Pn(i，t)為第η次刺激時理想的P300信號，En(i，t)為總的噪聲信號，通過相干平均，將噪聲信號從腦電信號中去除，進而得到較為明顯的P300特征信號。
6.如權利要求1所述方法，其特征是，F(xiàn)isher可分性分析是借用一元方差分析的思想， 即依據(jù)組間均方差與組內均方差之比最大的原則來進行判別，其公式如下
全文摘要
本發(fā)明屬于人機交互技術領域。為得到更高的準確率和信息傳輸速率和方便操作，為達上述目的，本發(fā)明采取的技術方案是，基于隱性注意的視聽聯(lián)合刺激腦-機接口方法(1)系統(tǒng)初始化使用者通過頭皮處的電極與計算機腦-機接口設備相連；(2)腦電特征信號的產(chǎn)生；(3)腦電信號的采集；(4)腦電信號處理；(5)Fisher可分性分析；(6)支持向量機進行模式識別。本發(fā)明主要應用于幫助殘障人士操作計算機等外部設備。
文檔編號G06F3/01GK102184019SQ20111012647
公開日2011年9月14日 申請日期2011年5月16日 優(yōu)先權日2011年5月16日
發(fā)明者萬柏坤, 奕偉波, 明東, 李文, 綦宏志, 許敏鵬 申請人:天津大學