本發(fā)明涉及腦機(jī)接口技術(shù)和計算機(jī)技術(shù)。

技術(shù)背景

計算機(jī)是一種非常流行的設(shè)備，使用計算機(jī)是一種現(xiàn)代工作、生活和娛樂方式。然而，現(xiàn)有的計算機(jī)都是為上肢正常的人設(shè)計的，需要健全的手指操作鼠標(biāo)和鍵盤。肌萎縮性側(cè)索硬化、腦干中風(fēng)、腦癱、脊髓損傷、帕金森氏等神經(jīng)疾病，使患者大腦中樞神經(jīng)系統(tǒng)受到損傷，引起肢體產(chǎn)生運(yùn)動功能障礙。這些患者不能像正常人一樣使用計算機(jī)，給他們的生活帶來極大的不便和困擾。

腦機(jī)接口(brain-computerinterface,bci)監(jiān)測用戶的腦活動，解讀用戶的意圖，并將用戶的意圖轉(zhuǎn)換為外部命令。作為一種新的、非肌肉的通信通道，bci能夠使人直接通過大腦來表達(dá)思想或操縱設(shè)備，而不需要借助語言或肢體動作。對于嚴(yán)重的運(yùn)動殘疾患者，bci能夠?qū)⑺麄兊囊鈭D傳送到外部裝置，比如計算機(jī)、家用電器、護(hù)理設(shè)備以及神經(jīng)假體等，從而改進(jìn)他們的生活質(zhì)量。

不同的腦電(electroencephalography,eeg)信號分量，例如慢皮層電位、mu/beta節(jié)律、事件相關(guān)p300電位、以及視覺誘發(fā)電位(visualevokedpotential,vep)，都可以用作bci的特征信號。

運(yùn)動想象是一種重要的bci實(shí)現(xiàn)模式。電生理學(xué)研究表明，當(dāng)一個人執(zhí)行或想象某個運(yùn)動時，在其大腦特定區(qū)域的mu/beta節(jié)律信號的功率會下降，稱為時件相關(guān)去同步(event-relateddesynchronization,erd)；當(dāng)運(yùn)動執(zhí)行或運(yùn)動想象結(jié)束時，在其大腦特定的區(qū)域的mu/beta節(jié)律信號的功率會上升，稱為事件相關(guān)同步(event-relatedsynchronization,ers)。不同肢體的運(yùn)動執(zhí)行或運(yùn)動想象引起不同區(qū)域的mu/beta節(jié)律的功率變化。bci可根據(jù)這種變化對用戶不同的想象任務(wù)進(jìn)行判別，從而確定用戶的意圖，并將這種意圖轉(zhuǎn)化為外部設(shè)備的控制命令。

視覺注意是另一種重要的bci實(shí)現(xiàn)模式。視覺注意會在大腦特定區(qū)域產(chǎn)生視覺誘發(fā)電位(visualevokedpotential,vep)。vep反映了大腦的視覺信息處理機(jī)制，是人眼對閃光刺激的一種響應(yīng)。由中心視場的刺激誘發(fā)的vep大于由周邊刺激誘發(fā)的vep，因而不同的刺激可由人的視覺進(jìn)行控制。按照刺激目標(biāo)的調(diào)制序列不同，vep可分為時間調(diào)制的vep(t-vep)，頻率調(diào)制的vep(f-vep)和偽隨機(jī)碼調(diào)制的vep(c-vep)?；赾-vep的bci是一種新的bci實(shí)現(xiàn)模式,能夠取得高的分類識別率和信息傳輸率。在一個c-vepbci系統(tǒng)中，一個偽隨機(jī)二進(jìn)制碼以及它的不同延時的循環(huán)移位碼被用于調(diào)制不同的視覺刺激目標(biāo)。當(dāng)一個人注視其中一個目標(biāo)時，在他大腦的枕區(qū)將誘發(fā)一個c-vep，并能使用模板匹配等方法進(jìn)行檢測。

要操作和使用計算機(jī)，用戶首先要將光標(biāo)移動到目標(biāo)或圖標(biāo)位置，再使用光標(biāo)對目標(biāo)或圖標(biāo)進(jìn)行選擇，這就要求用戶能夠?qū)鈽?biāo)運(yùn)動進(jìn)行控制，而且這種光標(biāo)運(yùn)動必須是二維的和連續(xù)的，才能將光標(biāo)從任意一個初始位置移動到任意一個目標(biāo)位置。因此，二維光標(biāo)運(yùn)動控制是操作和使用計算機(jī)的前提條件?，F(xiàn)有的計算機(jī)需要用戶操作鼠標(biāo)對光標(biāo)進(jìn)行運(yùn)動控制。對于運(yùn)動功能障礙患者，在不使用鼠標(biāo)的條件下如何幫助他們實(shí)現(xiàn)二維光標(biāo)的運(yùn)動控制，是科技界亟待解決的問題。

目前存在的利用bci控制光標(biāo)運(yùn)動的主要技術(shù)是基于多類運(yùn)動想象bci技術(shù)、基于ssvep和p300電位的混合bci技術(shù)、以及基于運(yùn)動想象和p300電位的混合bci技術(shù)，如中國專利“一種基于運(yùn)動想象腦機(jī)接口二維光標(biāo)運(yùn)動的控制方法(201210240694.7)”利用左手、右手和腳三種運(yùn)動想象產(chǎn)生的bci分類輸出概率控制光標(biāo)同時在水平和垂直方向的運(yùn)動；中國專利“一種基于腦機(jī)接口的光標(biāo)控制系統(tǒng)及方法(201310111544.0)”利用ssvep誘發(fā)電位控制光標(biāo)在水平方向上的運(yùn)動，利用p300誘發(fā)電位控制光標(biāo)在垂直方向上的運(yùn)動；中國專利“一種腦機(jī)接口的二維光標(biāo)控制方法及裝置(201010509561.6)”利用運(yùn)動想象產(chǎn)生的erd/ers電位控制光標(biāo)在水平方向的運(yùn)動，同時利用p300誘發(fā)電位控制光標(biāo)在垂直方向的運(yùn)動。然而，基于多類運(yùn)動想象的單模式bci，用戶控制二維光標(biāo)運(yùn)動的難度較大，需要長時間的訓(xùn)練；基于ssvep和p300電位的混合bci，提供兩個二進(jìn)制輸出變量，只能實(shí)現(xiàn)二維光標(biāo)的離散控制，造成非平滑的z字型光標(biāo)運(yùn)動；基于運(yùn)動想象和p300誘發(fā)電位的混合bci，受p300電位檢測時間長的影響，二維光標(biāo)運(yùn)動控制的速度較慢。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是克服現(xiàn)有技術(shù)的缺陷，提出了一種基于運(yùn)動想象和編碼調(diào)制視覺誘發(fā)電位的二維光標(biāo)運(yùn)動控制系統(tǒng)及方法。

要控制計算機(jī)光標(biāo)在屏幕上作二維運(yùn)動，需要兩個獨(dú)立的控制變量分別、獨(dú)立、同時控制光標(biāo)在水平和垂直方向的運(yùn)動，而且要求這種二維光標(biāo)運(yùn)動是連續(xù)平滑的，才能將光標(biāo)從任意一個起始位置移動到任意一個目標(biāo)位置。為了保證二維光標(biāo)運(yùn)動的穩(wěn)定性，還要求在水平和垂直方向的控制具有高的準(zhǔn)確率。本發(fā)明中基于運(yùn)動想象和視覺注意的雙模式混合bci，提供了兩個獨(dú)立的控制變量，可以分別、獨(dú)立、同時控制光標(biāo)在水平和垂直方向的運(yùn)動；由于基于運(yùn)動想象的bci輸出變量是連續(xù)的，確保了二維光標(biāo)運(yùn)動的連續(xù)性；由于這兩種bci具有高的分類識別率，因而這種二維光標(biāo)運(yùn)動也具有較高的穩(wěn)定性。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的。

本發(fā)明的一個方面在于提供了一種基于運(yùn)動想象和編碼調(diào)制視覺誘發(fā)電位的二維光標(biāo)運(yùn)動控制系統(tǒng)，所述的二維光標(biāo)運(yùn)動控制系統(tǒng)包括電極帽、腦電采集儀、系統(tǒng)控制單元、數(shù)據(jù)處理模塊、光標(biāo)控制模塊以及視覺刺激器。電極帽、腦電采集儀、系統(tǒng)控制單元、數(shù)據(jù)處理模塊、光標(biāo)控制模塊依次連接，視覺刺激器連接到系統(tǒng)控制單元，其中系統(tǒng)控制單元、數(shù)據(jù)處理模塊、光標(biāo)控制模塊在計算機(jī)中編程實(shí)現(xiàn)；視覺刺激器用于誘發(fā)編碼調(diào)制視覺誘發(fā)電位(c-vep)信號，以界面顯示方式提供給用戶。電極帽用于采集腦電信號，并輸出給腦電采集儀，腦電采集儀用于對采集的腦電信號進(jìn)行放大、濾波和模數(shù)轉(zhuǎn)換，并將數(shù)字化的腦電信號通過數(shù)據(jù)線輸入計算機(jī)；系統(tǒng)控制單元接收、保存腦電數(shù)據(jù)，啟動系統(tǒng)工作界面，并控制視覺刺激器中的刺激鍵按設(shè)定的偽隨機(jī)序列閃光；數(shù)據(jù)處理模塊對運(yùn)動想象腦電數(shù)據(jù)和視覺注意腦電數(shù)據(jù)分別進(jìn)行實(shí)時預(yù)處理、特征提取和分類識別；光標(biāo)控制模塊根據(jù)分類識別的結(jié)果計算光標(biāo)在水平和垂直方向的位移，控制光標(biāo)進(jìn)行連續(xù)的二維運(yùn)動。光標(biāo)運(yùn)動過程作為視覺信息反饋給用戶，幫助用戶調(diào)整運(yùn)動想象腦狀態(tài)。

所述的視覺刺激器包含6個刺激鍵，分布于計算機(jī)屏幕四周。其中上邊框中2個“up(向上)”刺激鍵以相同的第一個偽隨機(jī)序列閃光；下邊框中的2個“down(向下)”刺激鍵以相同的第二個偽隨機(jī)序列閃光，左、右邊框中各一個“stop(停止)”刺激鍵以相同的第三個偽隨機(jī)序列閃光。第一個偽隨機(jī)序列為一個63比特的m序列，第二個和第三個偽隨機(jī)序列由第一個偽隨機(jī)序列分別進(jìn)行16比特和32比特的循環(huán)移位得到。第一個偽隨機(jī)序列為：[1,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,0,1,0,1,1,0,1,0,1,1,1,0,1,1,1,1,0,0,1,1,0,0,0,1,0,1,0,1,0,0,1,1,1,1,1,1,0]；第二個偽隨機(jī)序列為：[0,0,1,0,1,0,1,0,0,1,1,1,1,1,1,0,1,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,0,1,0,1,1,0,1,0,1,1,1,0,1,1,1,1,0,0,1,1,0]；第三個偽隨機(jī)序列為：[0,1,0,1,1,1,0,1,1,1,1,0,0,1,1,0,0,0,1,0,1,0,1,0,0,1,1,1,1,1,1,0,1,0,0,0,0,0,1,1,1,0,0,0,0,1,0,0,1,0,0,0,1,1,0,1,1,0,0,1,0,1,1]。其中‘1’表示亮(即發(fā)白光)，‘0’表示黑(即不發(fā)光)。

本發(fā)明的另一個方面在于提供了一種基于運(yùn)動想象和編碼調(diào)制視覺誘發(fā)電位的二維光標(biāo)運(yùn)動控制方法。首先，系統(tǒng)控制單元啟動系統(tǒng)工作界面，在工作界面上隨機(jī)產(chǎn)生光標(biāo)和目標(biāo)，控制視覺刺激器上的刺激鍵以設(shè)定的偽隨機(jī)碼閃光；用戶根據(jù)系統(tǒng)提供的指令，注視特定的刺激鍵并同時執(zhí)行特定的運(yùn)動想象任務(wù)；電極帽實(shí)時采集頭皮腦電信號，經(jīng)腦電采集儀放大、濾波和模數(shù)轉(zhuǎn)換后，通過數(shù)據(jù)線輸入計算機(jī)；系統(tǒng)控制單元接收腦電數(shù)據(jù)，根據(jù)電極位置將運(yùn)動想象產(chǎn)生的腦電數(shù)據(jù)和視覺注意產(chǎn)生的腦電數(shù)據(jù)分開，保存在計算機(jī)內(nèi)存中；數(shù)據(jù)處理模塊實(shí)時對這兩類數(shù)據(jù)進(jìn)行不同的預(yù)處理、特征提取和分類識別；光標(biāo)控制模塊根據(jù)兩類數(shù)據(jù)的分類結(jié)果，計算光標(biāo)在水平和垂直方向的位移，控制光標(biāo)進(jìn)行連續(xù)的二維運(yùn)動。光標(biāo)運(yùn)動過程作為視覺信息反饋給使用者，幫助使用者調(diào)整運(yùn)動想象腦狀態(tài)。

本發(fā)明所述的控制方法，包含以下具體步驟：

1)系統(tǒng)初始化：使用者穿戴電極帽，坐在計算機(jī)正前方，眼睛與屏幕保持大約0.6米的距離。電極按照“國際10/20標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)”放置，記錄運(yùn)動想象數(shù)據(jù)的電極位于大腦初級運(yùn)動傳感區(qū)域和輔助運(yùn)動區(qū)域，記錄視覺注意數(shù)據(jù)的電極位于大腦枕部區(qū)域。給記錄電極通道注入導(dǎo)電膠，并確保其與頭皮接觸良好。系統(tǒng)控制單元啟動系統(tǒng)工作界面，在工作界面上隨機(jī)產(chǎn)生光標(biāo)和目標(biāo)，啟動視覺刺激器工作。

2)腦電信號采集：使用者根據(jù)工作界面指令的要求，在注視特定刺激鍵的同時，執(zhí)行特定的運(yùn)動想象任務(wù)，產(chǎn)生的頭皮腦電信號通過電極帽采集，經(jīng)過腦電采集儀放大、濾波和模數(shù)轉(zhuǎn)換后，通過數(shù)據(jù)線將數(shù)字化的腦電數(shù)據(jù)輸入計算機(jī)。系統(tǒng)控制單元接收腦電數(shù)據(jù)，按照電極位置將兩類腦電數(shù)據(jù)分開后，保存在內(nèi)存中。

3)腦電數(shù)據(jù)處理：數(shù)據(jù)處理模塊對運(yùn)動想象產(chǎn)生的腦電信號和視覺注意產(chǎn)生的腦電信號依次進(jìn)行預(yù)處理、特征提取和分類識別，然后將分類識別的結(jié)果傳輸?shù)焦鈽?biāo)控制模塊。

4)光標(biāo)運(yùn)動控制：光標(biāo)控制模塊根據(jù)兩類數(shù)據(jù)的分類結(jié)果計算光標(biāo)在水平和垂直方向的位移，控制光標(biāo)在工作界面進(jìn)行連續(xù)的二維運(yùn)動。在光標(biāo)移動過程中，使用者判斷光標(biāo)是否到達(dá)目標(biāo)位置。如果光標(biāo)到達(dá)目標(biāo)位置，使用者停止操作，本次光標(biāo)運(yùn)動控制任務(wù)結(jié)束；如果光標(biāo)未到達(dá)目標(biāo)位置，使用者重復(fù)步驟2)和步驟3)，繼續(xù)控制光標(biāo)移動。

所述步驟2)中工作界面指令是指，打開工作界面時系統(tǒng)隨機(jī)產(chǎn)生光標(biāo)和目標(biāo)，要求使用者將光標(biāo)從當(dāng)前所在位置移動到目標(biāo)所在位置。

所述步驟2)中特定的刺激鍵是指，當(dāng)使用者想要控制光標(biāo)在垂直方向向上運(yùn)動時，使用者需要注視工作界面上邊框中的兩個視覺刺激鍵之一。這兩個刺激鍵以第一個偽隨機(jī)碼閃光，該偽隨機(jī)碼對應(yīng)的c-vep信號被指定為控制光標(biāo)向上運(yùn)動；當(dāng)使用者想要控制光標(biāo)在垂直方向向下運(yùn)動時，使用者需要注視工作界面下邊框中的兩個視覺刺激鍵之一。這兩個刺激鍵以第二個偽隨機(jī)碼閃光，該偽隨機(jī)碼對應(yīng)的c-vep信號被指定為控制光標(biāo)向下運(yùn)動；當(dāng)使用者想要控制光標(biāo)在垂直方向停止運(yùn)動時，使用者需要注視工作界面左、右邊框中的兩個刺激鍵之一。這兩個刺激鍵以第三個偽隨機(jī)碼閃光，該偽隨機(jī)碼對應(yīng)的c-vep信號被指定為控制光標(biāo)在垂直方向停止運(yùn)動。

所述步驟2)中特定的運(yùn)動想象任務(wù)是指，當(dāng)使用者想要控制光標(biāo)在水平方向向左運(yùn)動時，使用者需要執(zhí)行左手運(yùn)動想象任務(wù)，該任務(wù)被指定為控制光標(biāo)向左運(yùn)動；當(dāng)使用者想要控制光標(biāo)在水平方向向右運(yùn)動時，使用者需要執(zhí)行右手運(yùn)動想象任務(wù)，該任務(wù)被指定為控制光標(biāo)向右運(yùn)動；當(dāng)使用者需要控制光標(biāo)在水平方向停止運(yùn)動時，使用者需要停止執(zhí)行任何運(yùn)動想象任務(wù)。

所述步驟2)中按照電極的位置將兩類腦電數(shù)據(jù)分開是指，位于大腦初級運(yùn)動傳感區(qū)域和輔助運(yùn)動區(qū)域的電極記錄的數(shù)據(jù)為運(yùn)動想象產(chǎn)生的腦電數(shù)據(jù)，位于大腦枕部區(qū)域的電極記錄的數(shù)據(jù)為視覺注意產(chǎn)生的腦電數(shù)據(jù)。

所述步驟3)中對運(yùn)動想象產(chǎn)生的腦電信號進(jìn)行預(yù)處理包括降采樣率、使用共平均參考(commonaveragereference,car)對降采樣率后的數(shù)據(jù)重定參考點(diǎn)、以及對重定參考點(diǎn)的數(shù)據(jù)進(jìn)行8～30hz的帶通濾波，提取包含mu節(jié)律和beta節(jié)律頻帶的erd/ers信號。

所述步驟3)中對運(yùn)動想象產(chǎn)生的腦電信號進(jìn)行特征提取是指，使用共空域模式(commonspatialpattern,csp)算法計算空域?yàn)V波器，對帶通濾波后的多通道數(shù)據(jù)進(jìn)行空域?yàn)V波，將兩類數(shù)據(jù)投影到最有判別力的方向，提取投影后數(shù)據(jù)的方差作為分類特征。特征提取過程的具體處理步驟如下：

①使用csp算法計算空域?yàn)V波器

根據(jù)兩類已知標(biāo)簽的訓(xùn)練數(shù)據(jù)，分別計算歸一化平均協(xié)方差矩陣

式中x1i與x2i分別為類1(左手運(yùn)動想象)與類2(右手運(yùn)動想象)第i次實(shí)驗(yàn)的多通道腦電數(shù)據(jù)，n1與n2分別為類1與類2訓(xùn)練樣本數(shù)，t為轉(zhuǎn)置運(yùn)算符，trace(a)表示求矩陣a對角線上的元素之和。

對混合協(xié)方差矩陣rc＝r1+r2進(jìn)行特征值分解式中uc為特征矢量矩陣，σc為特征值對角矩陣。在此基礎(chǔ)上計算白化變換矩陣對r1和r2進(jìn)行白化變換r1t＝pr1p^t,r2t＝pr2p^t，分別對r1t與r2t做特征分解，r1t＝uσ1u^t,r2t＝uσ2u^t。r1t和r2t具有相同的特征矢量矩陣u，而且它們的特征值矩陣之和為單位矩陣，即σ1+σ2＝i。因此，當(dāng)一類數(shù)據(jù)的特征值取最大值時，另一類數(shù)據(jù)的特征值將取最小值，從而可以將兩類數(shù)據(jù)最大程度地分開。

將特征值按下降的次序排列，特征向量按同樣的次序排列，則csp投影矩陣被定義為w＝u^tp。投影矩陣w的行稱為空域?yàn)V波器，而它的列稱為空域模式。由w的前m行和后m行分別組成兩類數(shù)據(jù)的空域?yàn)V波矩陣fc1∈r^m×m,c1＝1,2。其中m為電極通道的數(shù)目，c1＝1表示左手運(yùn)動想象，c1＝2表示右手運(yùn)動想象。

②對帶通濾波后的多通道數(shù)據(jù)進(jìn)行空域?yàn)V波

給定第i次實(shí)驗(yàn)的測試數(shù)據(jù)xi∈r^m×t，式中t為單次實(shí)驗(yàn)的數(shù)據(jù)長度，即時間點(diǎn)數(shù)。分別使用兩類空域?yàn)V波器對其進(jìn)行空域?yàn)V波，可得到第i次實(shí)驗(yàn)數(shù)據(jù)的源分量

zc1＝fc1xi,c1＝1,2(2)

源分量將兩類信號投影到最有判別力的方向，基于源分量可以構(gòu)造分類特征信號。

③分類特征信號定義

基于源分量信號的方差，分類特征信號可定義為

對數(shù)運(yùn)算是為了使f1與f2中元素更加趨于正態(tài)分布。用于分類的特征向量可通過連接這兩個特征信號組成f＝[f1,f2]。

所述步驟3)中對運(yùn)動想象產(chǎn)生的腦電信號進(jìn)行分類是指，使用支持向量機(jī)(supportvectormachine,svm)對基于csp算法提取的腦電特征信號進(jìn)行分類。

所述步驟3)中對視覺注意產(chǎn)生的腦電信號進(jìn)行預(yù)處理是指，對視覺注意產(chǎn)生的腦電信號進(jìn)行2～30hz的帶通濾波，并對帶通濾波后的信號去均值和去趨勢，提取包括可以用作c-vep的頻帶信號。

所述步驟3)中對視覺注意產(chǎn)生的腦電信號進(jìn)行特征提取是指，使用典型相關(guān)分析(canonicalcorrelationanalysis,cca)由訓(xùn)練數(shù)據(jù)計算空域?yàn)V波器，分別對多次實(shí)驗(yàn)平均的訓(xùn)練數(shù)據(jù)和單次實(shí)驗(yàn)的測試數(shù)據(jù)進(jìn)行空域?yàn)V波，獲得參考目標(biāo)的一維模板信號和當(dāng)前測試目標(biāo)的一維c-vep信號。對一維參考模板信號進(jìn)行循環(huán)移位，獲得其他兩個目標(biāo)的模板信號。將當(dāng)前測試目標(biāo)的c-vep信號與所有三個目標(biāo)的模板進(jìn)行匹配，可獲得三個相關(guān)系數(shù)。特征提取過程包括如下三個步驟：

①估計空域?yàn)V波器：假定2個“up(向上)”刺激鍵為參考目標(biāo)，由這兩個鍵之一得到的n次實(shí)驗(yàn)(即n個刺激周期)的eeg觀測數(shù)據(jù)單次實(shí)驗(yàn)數(shù)據(jù)的長度為np＝1050點(diǎn)，其均值為

去均值后的單次實(shí)驗(yàn)數(shù)據(jù)為對去均值后n次實(shí)驗(yàn)的eeg數(shù)據(jù)進(jìn)行平均，可獲得該參考目標(biāo)的事件相關(guān)電位(event-relatedpotential,erp)信號

將n次實(shí)驗(yàn)的erp信號連接在一起，可得到連續(xù)的eeg信號分量而去均值后連續(xù)的eeg觀測分量x＝[x1,x2,…,xn]。根據(jù)s和x可由cca算法計算最優(yōu)空域?yàn)V波器?？紤]一對線性結(jié)合x＝x^twx與s＝s^tws。cca算法的作用是找到權(quán)矢量wx與ws，使x與s之間的相關(guān)最大化。下面的約束優(yōu)化問題可求解多通道腦電信號x與s之間的最大cca系數(shù)γ以及相應(yīng)的空域?yàn)V波器矩陣wx與ws

取空域?yàn)V波器矩陣wx的第一列作為空域?yàn)V波器wx＝wx(1,:)。

②模板設(shè)計：使用空域?yàn)V波器wx對多通道事件相關(guān)電位(erp)信號進(jìn)行空域?yàn)V波，得到參考目標(biāo)的一維模板向量其中上標(biāo)t表示轉(zhuǎn)置運(yùn)算。將其分別進(jìn)行16比特和32比特的循環(huán)移位，得到其它兩對不同目標(biāo)(即2個刺激鍵‘down’和2個刺激鍵‘stop’)的一維模板向量tk(t)＝tr(t-τ(c2))，其中τ(c2)＝16×c2,c2＝0,1,2。

③模板匹配：對于實(shí)時記錄的、單次實(shí)驗(yàn)的多通道測試數(shù)據(jù)xc，使用空域?yàn)V波器進(jìn)行空域?yàn)V波，得到一維的測試信號向量將xc與三個模板tc2,c2＝0,1,2分別匹配，可得到三個相關(guān)系數(shù)如下

這三個相關(guān)系數(shù)ρc2,c2＝0,1,2，即為對當(dāng)前被注視目標(biāo)進(jìn)行識別的特征信號。

所述步驟3)中對視覺注意產(chǎn)生的腦電信號進(jìn)行分類識別是指，根據(jù)特征提取步驟求出的每個目標(biāo)(即刺激鍵)對應(yīng)的相關(guān)系數(shù)，識別用戶當(dāng)前注視的目標(biāo)及其對應(yīng)的命令。三個相關(guān)系數(shù)中最大的系數(shù)對應(yīng)的目標(biāo)判決為用戶注視的目標(biāo)，該目標(biāo)對應(yīng)的命令為用戶想要表達(dá)的命令c，可用公式表示如下

所述步驟4)中根據(jù)兩類數(shù)據(jù)的分類結(jié)果計算光標(biāo)在水平和垂直方向的位移是指，根據(jù)運(yùn)動想象數(shù)據(jù)和視覺注意數(shù)據(jù)的分類結(jié)果，按照如下兩個模型分別計算光標(biāo)在水平和垂直方向的位移：

①光標(biāo)水平位移。根據(jù)運(yùn)動想象的分類結(jié)果，光標(biāo)的水平位移由以下模型實(shí)現(xiàn)

式中k表示光標(biāo)位置的更新序號，x(k)是光標(biāo)的水平坐標(biāo)，s(k)是svm分類器的連續(xù)輸出，a與b是兩個常數(shù)。截取當(dāng)前時刻之前1200毫秒的特征數(shù)據(jù)用于分類，每隔200毫秒svm分類器輸出一個連續(xù)值s(k)。a與b的選擇是為了確保用戶在空閑(即不執(zhí)行運(yùn)動想象任務(wù))時，光標(biāo)在水平方向停止運(yùn)動。為此，需要記錄用戶n段空閑時的eeg數(shù)據(jù)，每段長為200毫秒，并計算由空閑數(shù)據(jù)產(chǎn)生的svm分類輸出sⁱ(j),j＝1,2,…,n。

設(shè)則a與b由下式確定

式中參數(shù)h用于調(diào)節(jié)光標(biāo)在水平方向的運(yùn)動速度，其值可由實(shí)驗(yàn)確定，一般可設(shè)置h＝8。

②光標(biāo)垂直位移。光標(biāo)的垂直位移由c-vep檢測的分類結(jié)果確定。假設(shè)c(k)∈{1,-1,0}，其中1表示光標(biāo)向下運(yùn)動(對應(yīng)‘down’鍵)，－1表示光標(biāo)向上運(yùn)動(對應(yīng)‘up’鍵),0表示光標(biāo)在垂直方向停止運(yùn)動(對應(yīng)‘stop’鍵)。光標(biāo)在垂直方向的位移由以下模型計算

δy(k)＝y(tǒng)(k+1)-y(k)＝c(k)·v0(11)

光標(biāo)位置每200毫秒更新一次，y(k)表示光標(biāo)第k次更新后的位置，v0為一個正的速度常數(shù)，可由用戶實(shí)驗(yàn)決定，一般取10個象素。當(dāng)c(k)分別取值1和－1時，光標(biāo)將以每200毫秒10個象素的速度分別向下和向上運(yùn)動，而當(dāng)c(k)取值為0時，光標(biāo)在垂直方向?qū)⑼Ｖ惯\(yùn)動。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)和有益效果：

1)本發(fā)明將基于運(yùn)動想象和編碼調(diào)制視覺誘發(fā)電位的混合bci用于二維光標(biāo)的運(yùn)動控制，實(shí)現(xiàn)了光標(biāo)在水平和垂直兩個方向上的分別、獨(dú)立和同時控制。

2)本發(fā)明使用戶能夠控制光標(biāo)從計算機(jī)屏幕上任意一個初始位置移動到任意一個目標(biāo)位置，而且光標(biāo)在屏幕上的移動是連續(xù)平滑的，避免了z字型跳躍運(yùn)動的缺點(diǎn)。

3)本發(fā)明在光標(biāo)和目標(biāo)與運(yùn)動區(qū)域大小之比為0.3％的條件下，擊中目標(biāo)的平均準(zhǔn)確率高于90％，到達(dá)目標(biāo)的平均時間約為25秒，控制精度和控制速度較高。

附圖說明

圖1是本發(fā)明二維光標(biāo)運(yùn)動控制系統(tǒng)原理框圖。

圖2是本發(fā)明二維光標(biāo)運(yùn)動控制系統(tǒng)工作界面。

圖3是本發(fā)明實(shí)現(xiàn)二維光標(biāo)運(yùn)動控制的信號處理算法。

圖4是基于csp算法的運(yùn)動想象數(shù)據(jù)分類方法。

圖5是基于cca算法的視覺注意數(shù)據(jù)識別方法。

具體實(shí)施方式

以下結(jié)合附圖和實(shí)施例對本發(fā)明做詳細(xì)說明，但本發(fā)明的實(shí)施方式不限于此。

如圖1所示，本發(fā)明提出了一種基于運(yùn)動想象和編碼調(diào)制視覺誘發(fā)電位的二維光標(biāo)運(yùn)動控制系統(tǒng)，該系統(tǒng)包括電極帽、腦電采集儀、計算機(jī)中的系統(tǒng)控制單元、數(shù)據(jù)處理模塊與光標(biāo)控制模塊、以及位于計算機(jī)屏幕四周的視覺刺激器。

其中，電極帽用于采集多通道腦電信號，電極位置按“國際10/20標(biāo)準(zhǔn)導(dǎo)聯(lián)系統(tǒng)”放置，用于記錄腦電信號的電極包括記錄運(yùn)動想象信號的電極和記錄視覺注意信號的電極。記錄運(yùn)動想象信號的電極位于大腦初級運(yùn)動傳感區(qū)域和輔助運(yùn)動區(qū)域；記錄視覺注意信號的電極位于大腦枕部區(qū)域。

其中，腦電采集儀用于對采集的腦電信號進(jìn)行放大、濾波和模數(shù)轉(zhuǎn)換，通過數(shù)據(jù)線將數(shù)字化腦電數(shù)據(jù)輸入計算機(jī)。

其中，系統(tǒng)控制單元啟動系統(tǒng)工作界面，在工作界面上隨機(jī)產(chǎn)生光標(biāo)和目標(biāo)，控制視覺刺激器上的刺激鍵以設(shè)定的調(diào)制編碼閃光。

其中，數(shù)據(jù)處理模塊分別對運(yùn)動想象產(chǎn)生的腦電數(shù)據(jù)和視覺注意產(chǎn)生的腦電數(shù)據(jù)進(jìn)行實(shí)時預(yù)處理、特征提取和分類識別。

其中，光標(biāo)控制模塊根據(jù)數(shù)據(jù)處理模塊分類識別的結(jié)果計算光標(biāo)在水平和垂直方向的位移，控制光標(biāo)進(jìn)行連續(xù)的二維運(yùn)動。

其中，視覺刺激器包含6個產(chǎn)生c-vep視覺刺激的刺激鍵，分布于工作界面的四條邊框中。上邊框中2個刺激鍵以第一個偽隨機(jī)碼閃光；下邊框中的2個刺激鍵以第二個偽隨機(jī)碼閃光，左、右邊框中各一個刺激鍵以第三個偽隨機(jī)碼閃光。每個偽隨機(jī)碼調(diào)制的2個刺激鍵具有相同的功能。設(shè)置兩個相同功能的刺激鍵是為了避免用戶過多地移動視線，方便用戶操作。

本發(fā)明提出了一種基于運(yùn)動想象和編碼調(diào)制視覺誘發(fā)電位的二維光標(biāo)運(yùn)動控制方法。下面結(jié)合圖2至圖5進(jìn)行詳細(xì)說明。

圖2為二維光標(biāo)運(yùn)動控制的工作界面。如圖2所示，工作界面四條邊框中分布了6個產(chǎn)生c-vep視覺刺激的刺激鍵。這6個刺激鍵組成了誘發(fā)c-vep信號的視覺刺激器。其中，上邊框中兩個“up”鍵控制光標(biāo)向上運(yùn)動；下邊框中兩個“down”鍵控制光標(biāo)向下運(yùn)動，左、右兩個邊框中各一個“stop”鍵為功能鍵，控制光標(biāo)到達(dá)目標(biāo)后在垂直方向停止運(yùn)動。系統(tǒng)啟動后，光標(biāo)和目標(biāo)隨機(jī)出現(xiàn)，用戶通過注視刺激鍵和同時進(jìn)行左手或右手運(yùn)動想象控制光標(biāo)向目標(biāo)位置移動。

圖3為實(shí)現(xiàn)二維光標(biāo)運(yùn)動控制的信號處理算法流程圖。如圖3所示，數(shù)據(jù)處理模塊對內(nèi)存中分開存放的兩類數(shù)據(jù)進(jìn)行不同的預(yù)處理、特征提取與分類識別。

對于運(yùn)動想象eeg數(shù)據(jù)，數(shù)據(jù)處理模塊依次對其使用共平均參考重定參考點(diǎn)、進(jìn)行8～30hz帶通濾波提取erd/ers信號、使用csp算法計算兩類電信號的空域?yàn)V波器、對測試信號進(jìn)行空域?yàn)V波后提取運(yùn)動想象特征信號、以及使用svm對特征信號進(jìn)行分類。光標(biāo)控制模塊根據(jù)svm分類結(jié)果，計算光標(biāo)在水平方向的位移。光標(biāo)的水平位移由以下模型實(shí)現(xiàn)

式中k表示光標(biāo)位置更新的次序，x(k)是光標(biāo)的水平坐標(biāo)，s(k)是svm分類器的連續(xù)輸出，a與b是兩個常數(shù)。截取當(dāng)前時刻之前1200毫秒的特征數(shù)據(jù)用于分類，每隔200毫秒svm分類器輸出一個連續(xù)值s(k)。a與b的選擇是為了確保用戶在空閑(即不執(zhí)行運(yùn)動想象任務(wù))時，光標(biāo)在水平方向停止運(yùn)動。為此，需要記錄用戶n(在本實(shí)施例中n＝500)段空閑時的eeg數(shù)據(jù)，每段長為200毫秒，并計算由空閑數(shù)據(jù)產(chǎn)生的svm分類輸出sⁱ(j),j＝1,2,…,n。

設(shè)則a與b由下式確定

式中參數(shù)h用于調(diào)節(jié)光標(biāo)在水平方向的運(yùn)動速度，在本實(shí)施例中h＝8。

對于視覺注意eeg數(shù)據(jù)，數(shù)據(jù)處理模塊依次對其進(jìn)行2～30hz的帶通濾波、去均值提取c-vep信號，使用cca算法對c-vep信號進(jìn)行空域?yàn)V波，并將空域?yàn)V波后的c-vep信號與三個模板進(jìn)行匹配，識別當(dāng)前被注視的目標(biāo)。光標(biāo)控制模塊根據(jù)對目標(biāo)的識別結(jié)果，計算光標(biāo)在垂直方向的位移。假設(shè)c(k)∈{1,-1,0}，其中1表示光標(biāo)向下運(yùn)動(對應(yīng)‘down’鍵)，－1表示光標(biāo)向上運(yùn)動(對應(yīng)‘up’鍵),0表示光標(biāo)在垂直方向停止運(yùn)動(對應(yīng)‘stop’鍵)。光標(biāo)在垂直方向的位移由以下模型計算

δy(k+1)＝y(tǒng)(k+1)-y(k)＝c(k)·v0(14)

光標(biāo)位置每200毫秒更新一次，y(k)表示光標(biāo)第k次更新后的位置。v0為一個正的速度常數(shù)，在本實(shí)施例中v0設(shè)置為10個象素。c(k)為光標(biāo)運(yùn)動方向控制因子，由當(dāng)前視覺注意的識別結(jié)果決定。當(dāng)c(k)分別取值1和－1時，光標(biāo)將以每200毫秒10個象素的速度分別向下和向上運(yùn)動，而當(dāng)c(k)取值為0時，光標(biāo)在垂直方向?qū)⑼Ｖ惯\(yùn)動。

圖4是基于csp算法的運(yùn)動想象數(shù)據(jù)分類方法流程圖。csp是一種監(jiān)督模式識別算法，當(dāng)其應(yīng)用于左手和右手運(yùn)動想象分類時，需要針對特定的用戶采集訓(xùn)練數(shù)據(jù)，根據(jù)已知類別的訓(xùn)練數(shù)據(jù)估計兩個空域?yàn)V波器，對在線測試數(shù)據(jù)進(jìn)行空域?yàn)V波，提取兩個源分量并根據(jù)源分量定義特征向量，使用訓(xùn)練數(shù)據(jù)訓(xùn)練svm分類器，對測試信號的特征向量進(jìn)行分類。使用csp算法對運(yùn)動想象數(shù)據(jù)分類的具體步驟如下：

①使用csp算法計算空域?yàn)V波器。

使用共平均參考對兩類已知標(biāo)簽的訓(xùn)練數(shù)據(jù)重定參考點(diǎn)，進(jìn)行帶通(8-30hz)濾波后，分別計算歸一化平均協(xié)方差矩陣

式中x1i與x2i分別為類1(左手運(yùn)動想象)與類2(右手運(yùn)動想象)第i次實(shí)驗(yàn)的多通道腦電數(shù)據(jù)，n1與n2分別為類1與類2訓(xùn)練樣本數(shù)，t為轉(zhuǎn)置運(yùn)算符，trace(a)表示求矩陣a對角線上的元素之和。本實(shí)施例中n1＝n2＝100。

對混合協(xié)方差矩陣rc＝r1+r2進(jìn)行特征值分解式中uc為特征矢量矩陣，σc為特征值對角矩陣。在此基礎(chǔ)上計算白化變換矩陣對r1和r2進(jìn)行白化變換r1t＝pr1p^t,r2t＝pr2p^t，分別對r1t與r2t做特征分解，r1t＝uσ1u^t,r2t＝uσ2u^t。r1t和r2t具有相同的特征矢量矩陣u，而且它們的特征值矩陣之和為單位矩陣，即σ1+σ2＝i。因此，當(dāng)一類數(shù)據(jù)的特征值取最大值時，另一類數(shù)據(jù)的特征值將取最小值，從而可以將兩類數(shù)據(jù)最大程度地分開。

將特征值按下降的次序排列，特征向量按同樣的次序排列，則csp投影矩陣被定義為w＝u^tp。投影矩陣w的行稱為空域?yàn)V波器，而它的列稱為空域模式。由w的前m行和后m行分別組成兩類數(shù)據(jù)的空域?yàn)V波矩陣fc1∈r^m×m,c1＝1,2。其中m為電極通道的數(shù)目，c1＝1表示左手運(yùn)動想象，c1＝2表示右手運(yùn)動想象。本實(shí)施例中m＝2。

②對帶通濾波后的訓(xùn)練和測試數(shù)據(jù)進(jìn)行空域?yàn)V波。

給定第i次實(shí)驗(yàn)的訓(xùn)練或測試數(shù)據(jù)xi∈r^m×t，式中t為單次實(shí)驗(yàn)的數(shù)據(jù)長度，即時間點(diǎn)數(shù)。分別使用兩類空域?yàn)V波器對其進(jìn)行空域?yàn)V波，可得到第i次實(shí)驗(yàn)數(shù)據(jù)的源分量

zc1＝fc1xi,c1＝1,2(16)

源分量將兩類信號投影到最有判別力的方向，基于源分量可以構(gòu)造分類特征信號。

③基于源分量定義特征信號。

計算兩類源分量的方差，根據(jù)源分量的方差定義特征信號

對數(shù)運(yùn)算是為了使多次試驗(yàn)得到的f1與f2中元素更加趨于正態(tài)分布。用于分類的特征向量可通過連接這兩個特征信號組成f＝[f1,f2]。

④使用svm分類器對特征向量進(jìn)行分類。

使用線性svm對特征向量進(jìn)行分類，其中調(diào)節(jié)參數(shù)η由實(shí)驗(yàn)確定。在本實(shí)施例中，η＝100。svm的輸出每200毫秒更新一次。為了確保光標(biāo)運(yùn)動的連續(xù)性，將svm的連續(xù)輸出信號s(k)輸入光標(biāo)控制模塊，計算光標(biāo)下一次更新的水平位移和水平坐標(biāo)。

圖5是基于cca算法的編碼調(diào)制視覺誘發(fā)電位信號識別方法流程圖。cca是一種處理多變量信號的統(tǒng)計方法，用于考查兩類數(shù)據(jù)之間的相關(guān)關(guān)系。當(dāng)cca用于c-vep信號的分類識別時，需要一個參考目標(biāo)的訓(xùn)練數(shù)據(jù)作為參考數(shù)據(jù)。使用cca算法對c-vep信號進(jìn)行識別的具體步驟如下：

①估計空域?yàn)V波器：假定2個“up(向上)”刺激鍵為參考目標(biāo)，由這兩個鍵之一得到的n次實(shí)驗(yàn)(即n個刺激周期)的eeg觀測數(shù)據(jù)在本實(shí)施例中，n＝100。單次實(shí)驗(yàn)數(shù)據(jù)的長度為np＝1050點(diǎn)，其均值為

去均值后的單次實(shí)驗(yàn)數(shù)據(jù)為對去均值后n次實(shí)驗(yàn)的eeg數(shù)據(jù)進(jìn)行平均，可獲得該參考目標(biāo)的事件相關(guān)電位(event-relatedpotential,erp)信號

將n次實(shí)驗(yàn)的erp信號連接在一起，可得到連續(xù)的eeg信號分量而去均值后連續(xù)的eeg觀測分量x＝[x1,x2,…,xn]。根據(jù)s和x可由cca算法計算最優(yōu)空域?yàn)V波器。考慮一對線性結(jié)合x＝x^twx與s＝s^tws。cca算法的作用是找到權(quán)向量wx與ws，使x與s之間的相關(guān)最大化。下面的約束優(yōu)化問題可求解多通道腦電信號x與s之間的最大cca系數(shù)γ以及相應(yīng)的空域?yàn)V波器矩陣wx與ws

取空域?yàn)V波器矩陣wx的第一列作為空域?yàn)V波器wx＝wx(1,:)。

②模板設(shè)計：使用空域?yàn)V波器wx對多通道erp信號進(jìn)行空域?yàn)V波，得到參考目標(biāo)的一維模板向量其中上標(biāo)t表示轉(zhuǎn)置運(yùn)算。將其分別進(jìn)行16比特和32比特的循環(huán)移位，得到其它兩對不同目標(biāo)(即2個刺激鍵‘down’和2個刺激鍵‘stop’)的一維模板向量tk(t)＝tr(t-τ(c2))，其中τ(c2)＝16×c2,c2＝0,1,2。

③模板匹配：對于實(shí)時記錄的、單次實(shí)驗(yàn)的多通道測試數(shù)據(jù)xc，使用空域?yàn)V波器進(jìn)行空域?yàn)V波，得到一維的測試信號向量將xc與三個模板tc2,c2＝0,1,2分別匹配，可得到三個相關(guān)系數(shù)如下

這三個相關(guān)系數(shù)ρc2,c2＝0,1,2，即為對當(dāng)前被注視目標(biāo)進(jìn)行識別的特征信號。

④目標(biāo)識別：在由步驟③得到的三個相關(guān)系數(shù)中，最大的系數(shù)對應(yīng)的目標(biāo)判決為用戶注視的目標(biāo)，該目標(biāo)對應(yīng)的命令為用戶想要表達(dá)的命令c，用公式表示如下

。