專利名稱：基于想象腦電的游戲輔助控制方法
技術(shù)領(lǐng)域：
本技術(shù)發(fā)明屬于生物醫(yī)學(xué)工程中神經(jīng)工程技術(shù)領(lǐng)域。 技術(shù)背景
對(duì)人腦對(duì)不同想象的腦電信號(hào)分析表明，不同的運(yùn)動(dòng)想象在不同的腦區(qū)會(huì)產(chǎn) 生不同的反映，根據(jù)這種腦電信號(hào)不同，可以提取出不同的運(yùn)動(dòng)想象的腦電信號(hào) 特征，利用設(shè)定的分類算法，能使得腦電想象還原成相應(yīng)的運(yùn)動(dòng)。
在計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)盛行的今天，各種計(jì)算機(jī)和網(wǎng)絡(luò)游戲成為人們生活中的
一個(gè)主流，普通的游戲輸入和控制是通過(guò)鍵盤(pán)、鼠標(biāo)、操縱桿等物理設(shè)備進(jìn)行輸
入，這使得肌肉和神經(jīng)障礙人士，玩游戲成為一種夢(mèng)想。

發(fā)明內(nèi)容
本發(fā)明的目的就是通過(guò)外部設(shè)備，使得大腦想象腦電信號(hào)不經(jīng)過(guò)肌肉和神經(jīng) 的傳導(dǎo)，直接作為計(jì)算機(jī)輸入信號(hào)，達(dá)到游戲控制目的。
本發(fā)明基于想象腦電的游戲輔助控制方法，包含以下步驟 步驟l、被試者帶上電極帽，設(shè)置參考電極；
步驟2、在計(jì)算機(jī)屏幕上根據(jù)設(shè)定好的刺激程序，被試者根據(jù)試驗(yàn)要求，做 出不同的想象。
步驟3、被試者根據(jù)步驟2所做出各種想象，采集到不同想象類型的腦電波;
步驟4、根據(jù)上述步驟采集到的腦電波，通過(guò)腦電采集儀器，傳送到信號(hào)分 析和轉(zhuǎn)換系統(tǒng)中，最后轉(zhuǎn)化成控制命令。
步驟41、由腦電信號(hào)分析系統(tǒng)，根據(jù)抽取出的特征，判斷輸入系統(tǒng)的腦電 信號(hào)特征類型；
步驟42、根據(jù)41步驟的結(jié)果，輸出相應(yīng)的動(dòng)作。
2、通過(guò)特定刺激模式對(duì)腦電信號(hào)進(jìn)行特征提取方法，主要步驟
步驟l、被試者帶上電極帽，設(shè)置參考電極；
步驟2、在計(jì)算機(jī)屏幕上根據(jù)設(shè)定好的刺激程序，被試者根據(jù)試驗(yàn)要求，做 出不同的想象。
步驟3、采集到腦電信號(hào)進(jìn)行預(yù)處理；
步驟4、運(yùn)用信號(hào)處理方法對(duì)腦電信號(hào)進(jìn)行特征提??；
步驟5、應(yīng)用步驟4的結(jié)果，通過(guò)分類算法對(duì)腦電信號(hào)進(jìn)行分類；
本發(fā)明設(shè)計(jì)的是想象腦電信號(hào)進(jìn)行分類方法
由于腦電信號(hào)的特殊性，不同的腦電信號(hào)特征和提取分類方法，對(duì)不同的人 分類準(zhǔn)確度有所不同，在腦電輸入游戲控制系統(tǒng)(GCS-EEGI)系統(tǒng)中，主要設(shè)計(jì)了三種方法，根據(jù)被試者學(xué)習(xí)效果不同，系統(tǒng)自動(dòng)選擇分辨率最高算法短時(shí) 傅立葉變換、二階盲辨識(shí)和相位同步的方法。
1、 短時(shí)傅立葉變換方法
原始的EEG是時(shí)域上的信號(hào)，能量分布分散，特征信號(hào)湮沒(méi)在噪音之中， 為了更好的能抽取出特征，把原始的時(shí)域信號(hào)轉(zhuǎn)換到時(shí)頻域上，時(shí)域信號(hào)轉(zhuǎn)換為 時(shí)頻信號(hào)，本發(fā)明設(shè)計(jì)使用的方法是使用短時(shí)傅立葉變換(STFT)，根據(jù)信號(hào)轉(zhuǎn) 換分析，發(fā)現(xiàn)信號(hào)能量集中主要是在8 13Hz，主要是"波段，其次是在18 30Hz，主要是-波段(根據(jù)Schwab頻率分類方法)。
設(shè)被分析信號(hào)為Jc^，/ = -oo ~ oo，分析窗為g(O 。定義非平穩(wěn)信號(hào)x (t)的短時(shí)
傅立
葉變換為
w) = J" [x(r)g(r - 0]e- r g是偶函數(shù),故g(r)g(f-W，以f辦心,沿f為中心、沿r的時(shí)間跨度不依賴于f 和w，即
一 =D"2k"T)kr=C豐
(2)連續(xù)短時(shí)傅立葉變換的頻域形式
根據(jù)傅立葉變換性質(zhì)，兩個(gè)時(shí)域信號(hào)乘積的傅立葉變換等于各自頻域的巻積，由 (l)式可
得 。
應(yīng)用該方法進(jìn)行腦電信號(hào)特征提取和分類的方法主要有以下步驟 1、 Hjort數(shù)據(jù)轉(zhuǎn)換；
為了降低周邊電極對(duì)真實(shí)信號(hào)的干擾，在進(jìn)行數(shù)據(jù)分析之前，對(duì)原始信號(hào) 進(jìn)行數(shù)據(jù)轉(zhuǎn)換，轉(zhuǎn)換方法如下
cf 、-丄Z。
其中Cf表示轉(zhuǎn)換后腦電數(shù)據(jù)，Ci是J^譜fe[電數(shù)據(jù)，S表示Ci周邊的8個(gè)電極， 其中Cj表示這8根電極的原始腦電數(shù)據(jù)。
在本系統(tǒng)中原始數(shù)據(jù)是通過(guò)64導(dǎo)符合10/20國(guó)際標(biāo)準(zhǔn)EEG放大器采集， 采樣率為250Hz，以左右乳突為參考電極，帶通濾波器通頻帶為l-50Hz。
2、 STFT轉(zhuǎn)換；
為了更好的能抽取出特征，我們把原始的時(shí)域信號(hào)轉(zhuǎn)換到時(shí)頻域上，時(shí)域信 號(hào)轉(zhuǎn)換成時(shí)頻信號(hào)，最常用的方法是使用短時(shí)傅立葉變換(STFT)，本文我們采 用的是Matlab工具箱中的Spectrogram方法。
3、 特征選??；
在本系統(tǒng)中，我們特征選取主要是根據(jù)fisher距離大小來(lái)進(jìn)行特征選取。首先對(duì)STFT信號(hào)各個(gè)數(shù)據(jù)段計(jì)算Fisher距離，選取fisher距離大的數(shù)據(jù)段作為 信號(hào)特征。 4、分類；
本系統(tǒng)分類算法主要有兩種，在使用短時(shí)傅立葉算法進(jìn)行特征提取時(shí)，我們 優(yōu)先選用的是線性分類算法。
2、 二階盲辨識(shí)
令x(t)的n個(gè)列向量對(duì)應(yīng)n個(gè)傳感器的連續(xù)時(shí)間腦電信號(hào)，則xi(t)對(duì)應(yīng)第i 個(gè)傳感器的腦電信號(hào)。每一個(gè)xi(t)都可以看成是n個(gè)源si(t)的線性瞬時(shí)混合，混 合矩陣為A，貝lj
柳=j柳
SOBI僅僅利用傳感器測(cè)量得到的腦電信號(hào)x(t)，得到近似于A-l分解矩陣 W，使得
外)=,)
為恢復(fù)的連續(xù)時(shí)間源信號(hào)。
SOBI算法有兩個(gè)步驟首先對(duì)傳感器信號(hào)進(jìn)行零均值化，如下式所示
〈4
^括號(hào)〈'入表示時(shí)間平均，因此y的均值為零。矩陣B的取值使得y的相關(guān) 矩陣^^"")〉為單位矩陣，其值由下式給出
其中 d為相關(guān)矩陣〈"")—〈^)〉)(^)-"( 的特征值，U的各列則為其
對(duì)應(yīng)的特征向量。
第二步，構(gòu)造一組對(duì)角矩陣選取一組時(shí)間延遲TS，計(jì)算信號(hào)y(t)和它 的時(shí)間延遲信號(hào)y(t+i)的對(duì)稱化相關(guān)矩哼 "
A=，(i>):K, + r)r》
其中
，(M) = (Af + Mr)/2
這是一個(gè)將不對(duì)稱矩陣轉(zhuǎn)變?yōu)橄嚓P(guān)的對(duì)稱矩陣的函數(shù)。對(duì)稱化的過(guò)程丟失了 一些信息，但卻提供了有效的解決方法。
計(jì)算完RT，再對(duì)Ri進(jìn)行對(duì)角化通過(guò)旋轉(zhuǎn)矩陣V，運(yùn)用迭代法，使得
取得極小值，則分離矩陣的估計(jì)
3、 相位同步
目前有許多方法去測(cè)量在信號(hào);ci(f)和x^)之間的同步,用于分析同步較普通 的方法是經(jīng)典的相干(一致性)Cohij(i)。相干函數(shù)由信號(hào);ci(0和x/0(代表兩電 極/力的互譜密度函數(shù)得出。定義如下、(/)=+ix (/);(/)
在式(9)中《(/)^Ci(0的傅^葉,換。X;(/)是信號(hào)x々)的信號(hào)傅立葉變 換的復(fù)共軛。復(fù)相干系數(shù)是幅度平方相干譜為互譜的平方除以兩個(gè)信號(hào)的功率譜 的歸-化。 |w)f
另一種測(cè)量?jī)蓚€(gè)信號(hào)同步的量度^iltt^V phase locking value)，此方 法僅考慮此信號(hào)的相位。
PLV,xpC/((D々)—
這里，①A), 0/f)是電極/， 7'的瞬時(shí)相位。這相位的計(jì)算可以通過(guò)希爾伯 特(Hilbert)變換或復(fù)Gabor小波變換。在這里采用Hilbert變換，具體描述如下
在上式定義中，0)々harctan，是時(shí)間序列義i")的Hilbert變換(在這里
是指EEG信號(hào))，PV是指柯西主值/'ft)后這相位可按如下計(jì)算
^ z氣 糊
在計(jì)算每個(gè)電極的瞬時(shí)相位之前，|#^^該電極信號(hào)進(jìn)行帶通濾波，這樣 是可以對(duì)包含w波段進(jìn)行瞬時(shí)相位計(jì)算。
本系統(tǒng)將通過(guò)腦電信號(hào)直接取代鍵盤(pán)和鼠標(biāo)的操作，本發(fā)明使用的是想象腦 電，是對(duì)腦電的后期信息特征提取，使用的方法是真正的通過(guò)大腦想象各種不同 的運(yùn)動(dòng)方式，對(duì)其進(jìn)行特征提取和分類，從而實(shí)現(xiàn)真正的從抽象的想象到具體的 運(yùn)動(dòng)。實(shí)現(xiàn)直接從想象到操作的過(guò)程，把腦電作為游戲輔助輸入方法，提供一種 新型的游戲輸入和控制方法，既能解決某些殘疾人不能玩電腦游戲的問(wèn)題，也可 以用于正常人在不便使用操作計(jì)算機(jī)的場(chǎng)合。
本方法的特點(diǎn)是利用腦電信號(hào)針對(duì)不同運(yùn)動(dòng)想象之間的差異，提取不同類型 腦電信號(hào)特征，最后轉(zhuǎn)換為控制信號(hào)，利用一定的外部設(shè)備，擺脫運(yùn)動(dòng)對(duì)一定肌 肉的依賴，該系統(tǒng)在許多領(lǐng)域具有重大意義，既能解決某些殘疾人不能玩電腦游 戲的問(wèn)題，也可以用于正常人在不便使用操作計(jì)算機(jī)的場(chǎng)合。


圖l、本發(fā)明利用腦電進(jìn)行游戲控制流程圖 圖2基于想象腦電波的游戲控制特征提取流程圖 圖3左右運(yùn)動(dòng)系統(tǒng)流程圖 圖4左右運(yùn)動(dòng)系統(tǒng)電極安放位置圖 圖5左右運(yùn)動(dòng)結(jié)果圖。
具體實(shí)施例方式
本發(fā)明方法，在腦電輸入游戲控制系統(tǒng)(GCS-EEGI)中，用來(lái)實(shí)現(xiàn)控制被 控物體進(jìn)行二維運(yùn)動(dòng)一左右移動(dòng)的實(shí)例，按附圖l、 2、 3流程?？梢酝ㄟ^(guò)下列 步驟實(shí)現(xiàn)1、 對(duì)被試者進(jìn)行訓(xùn)練，通過(guò)刺激模式訓(xùn)練被試者，采集不同想象過(guò)程的被 試者腦電信號(hào)特征，由于本系統(tǒng)主要是在平面移動(dòng)，因此主要采集根據(jù)64導(dǎo)符 合10/20國(guó)際標(biāo)準(zhǔn)下的C3、 C4和Cz電極；具體電極位置如圖4所示。
2、 被試者使用系統(tǒng)，首先采集腦電信號(hào)，通過(guò)腦電信號(hào)采集儀，采集腦電 信號(hào)，把采集到的C3、 C4和Cz三導(dǎo)電極的腦電信號(hào)傳入信號(hào)分析系統(tǒng)；
3、 腦電信號(hào)分析系統(tǒng)，根據(jù)1所提取的腦電信號(hào)特征，判斷輸入腦電信號(hào) 特征的類型；
4、 根據(jù)3判斷的腦電信號(hào)特征類型，輸出相應(yīng)的操作命令，并控制屏幕上 小車(chē)的左右運(yùn)動(dòng)。
具體試驗(yàn)流程如圖2所示，左右想象腦電電極安放如圖4所示，刺激模式為 開(kāi)始出現(xiàn)一秒的屏幕等待時(shí)間，顯示一個(gè)十字，之后五秒，進(jìn)行訓(xùn)練，屏幕出現(xiàn) 左右想象標(biāo)識(shí)，之后出現(xiàn)兩秒的隨機(jī)間隔時(shí)間。
實(shí)驗(yàn)表明，本方法能有有效的實(shí)現(xiàn)通過(guò)腦電發(fā)布命令控制被控物體進(jìn)行二維 運(yùn)動(dòng)控制。平均準(zhǔn)確率能達(dá)到80%，輸出速度能達(dá)到每10秒鐘進(jìn)行一次命令輸 出，具體輸出模式和結(jié)果如圖5所示。圖5為江西藍(lán)天學(xué)院信息技術(shù)研究所制作 基于想象腦電的控制汽車(chē)左右行駛界面圖，界面右側(cè)是關(guān)于腦電輸出圖其中包括 C3、 Cz和C4三導(dǎo)數(shù)據(jù)電極以及水平和垂直眼電數(shù)據(jù)，界面圖左側(cè)為腦電控制 信號(hào)輸出效果圖，中間雙線為左右分界，若輸出信號(hào)出錯(cuò)則車(chē)顏色為紅色，否則 為藍(lán)色。
權(quán)利要求
1、基于想象腦電的游戲輔助控制方法，其特征在于包含以下的步驟步驟1、被試者帶上電極帽，設(shè)置參考電極；步驟2、在計(jì)算機(jī)屏幕上根據(jù)設(shè)定好的刺激程序，被試者根據(jù)試驗(yàn)要求，做出不同的想象；步驟3、被試者根據(jù)步驟2所做出各種想象，采集到不同想象類型的腦電波；步驟4、根據(jù)上述步驟采集到的腦電波，通過(guò)腦電采集儀器，傳送到信號(hào)分析和轉(zhuǎn)換系統(tǒng)中，最后轉(zhuǎn)化成控制命令；步驟41、由腦電信號(hào)分析系統(tǒng)，根據(jù)抽取出的特征，判斷輸入系統(tǒng)的腦電信號(hào)特征類型；步驟42、根據(jù)41步驟的結(jié)果，輸出相應(yīng)的動(dòng)作。
2、 如權(quán)利要求l所述基于想象腦電的游戲輔助控制方法，其特征在于通過(guò)特 定刺激模式對(duì)腦電信號(hào)進(jìn)行特征提取方法，主要步驟步驟l、被試者帶上電極帽，設(shè)置參考電極；步驟2、在計(jì)算機(jī)屏幕上根據(jù)設(shè)定好的刺激程序，被試者根據(jù)試驗(yàn)要求，做 出不同的想象。步驟3、采集到腦電信號(hào)進(jìn)行預(yù)處理；步驟4、運(yùn)用信號(hào)處理方法對(duì)腦電信號(hào)進(jìn)行特征提??；步驟5、應(yīng)用步驟4的結(jié)果，通過(guò)分類算法對(duì)腦電信號(hào)進(jìn)行分類。
3、 如權(quán)利要求l所述基于想象腦電的游戲輔助控制方法，其特征在于在腦電 輸入游戲控制系統(tǒng)(GCS-EEGI)中，實(shí)現(xiàn)控制被控物體進(jìn)行二維運(yùn)動(dòng)，包括下 列步驟實(shí)現(xiàn)(1) 、對(duì)被試者進(jìn)行訓(xùn)練，通過(guò)刺激模式訓(xùn)練被試者，采集不同想象過(guò)程的 被試者腦電信號(hào)特征，由于本系統(tǒng)主要是在平面移動(dòng)，因此主要采集根據(jù)64導(dǎo) 符合10/20國(guó)際標(biāo)準(zhǔn)下的C3、 C4和Cz電極；(2) 、被試者使用系統(tǒng)，首先采集腦電信號(hào)，通過(guò)腦電信號(hào)采集儀，采集腦 電信號(hào)，把采集到的C3、 C4和Cz三導(dǎo)電極的腦電信號(hào)傳入信號(hào)分析系統(tǒng)；(3) 、腦電信號(hào)分析系統(tǒng)，根據(jù)1所提取的腦電信號(hào)特征，判斷輸入腦電信 號(hào)特征的類型；(4) 、根據(jù)3判斷的腦電信號(hào)特征類型，輸出相應(yīng)的操作命令，并控制屏幕 上小車(chē)的左右運(yùn)動(dòng)。
4、 如權(quán)利要求3所述基于想象腦電的游戲輔助控制方法，其特征在于包括下列具體步驟實(shí)現(xiàn)左右想象腦電電極安放后，刺激模式為開(kāi)始出現(xiàn)一秒的屏幕等待時(shí)間，顯示 一個(gè)十字，之后五秒，進(jìn)行訓(xùn)練，屏幕出現(xiàn)左右想象標(biāo)識(shí)，之后出現(xiàn)兩秒的隨機(jī)間隔時(shí)間；本方法能有效的實(shí)現(xiàn)通過(guò)腦電發(fā)布命令控制被控物體進(jìn)行二維運(yùn)動(dòng)控制；平均準(zhǔn)確率能達(dá)到80%，輸出速度能達(dá)到每10秒鐘進(jìn)行一次命令輸出。
全文摘要
本發(fā)明屬于生物醫(yī)學(xué)工程一種神經(jīng)工程學(xué)技術(shù)領(lǐng)域，該方法依次含有以下步驟首先對(duì)被試者進(jìn)行特定刺激程序訓(xùn)練，使被試者熟悉刺激程序，并根據(jù)刺激程序產(chǎn)生不同的想象，從而根據(jù)不同想象產(chǎn)生的腦電波，然后通過(guò)對(duì)腦電波進(jìn)行放大、轉(zhuǎn)換成數(shù)字信號(hào)后送往計(jì)算機(jī)分析，抽取出不同想象腦電信號(hào)特征。最后根據(jù)抽取的腦電信號(hào)特征，判斷還原被試者想要發(fā)出的控制命令，達(dá)到從想象到運(yùn)動(dòng)的過(guò)程。本發(fā)明主要是利用想象腦電這種直接控制過(guò)程，用來(lái)作為新型計(jì)算機(jī)游戲輸入方法，既可以幫助殘疾人玩計(jì)算機(jī)游戲，也可以用于正常人不便使用操作計(jì)算機(jī)的場(chǎng)合。
文檔編號(hào)G06F3/01GK101430600SQ20081010734
公開(kāi)日2009年5月13日 申請(qǐng)日期2008年11月5日 優(yōu)先權(quán)日2008年11月5日
發(fā)明者包學(xué)才, 尹晶海, 穆振東, 丹 肖, 肖守柏, 胡劍鋒, 蔣德榮 申請(qǐng)人:江西藍(lán)天學(xué)院