專利名稱：一種穩(wěn)態(tài)視覺誘發(fā)電位腦—機(jī)接口信號(hào)識(shí)別方法
技術(shù)領(lǐng)域：
本發(fā)明屬于神經(jīng)工程技術(shù)領(lǐng)域，具體涉及穩(wěn)態(tài)視覺誘發(fā)電位和腦-機(jī)接口信號(hào)識(shí)別方法。
背景技術(shù)：
腦-機(jī)接口(Brain-Computer Interface, BCI)是基于腦電信號(hào)實(shí)現(xiàn)大腦和計(jì)算機(jī)或其他設(shè)備直接通訊和控制的系統(tǒng)。腦-機(jī)接口可以把大腦發(fā)出的信息直接轉(zhuǎn)換為能夠驅(qū)動(dòng)外部設(shè)備命令，并且可代替人的肢體等實(shí)現(xiàn)人與外部世界的交流和對(duì)外部環(huán)境的控制。腦-機(jī)接口系統(tǒng)為人的大腦開辟了一條全新的與外界進(jìn)行信息交流和控制的途徑，使得利用人腦信號(hào)直接控制外部設(shè)備的想法成為可能。目前的腦-機(jī)接口系統(tǒng)存在著侵入式與非侵入式兩大類。侵入式的腦-機(jī)接口所獲得的信號(hào)精度相對(duì)較高，信噪比高，易于分析處理，但需要對(duì)使用者進(jìn)行開顱手術(shù)，不便于長(zhǎng)時(shí)間的信號(hào)采集，且容易對(duì)使用者的腦部造成感染或損傷，危險(xiǎn)性較大。非侵入式的腦-機(jī)接口雖然其獲取的腦信號(hào)噪聲大，信號(hào)特征的可區(qū)分性差，但同時(shí)它的信號(hào)相對(duì)容易獲取，不會(huì)對(duì)使用者的腦部造成傷害，而且隨著信號(hào)處理方法和技術(shù)的不斷進(jìn)步，對(duì)頭皮腦電圖信號(hào)(electroencephalogram, EEG)的處理已經(jīng)能夠達(dá)到一定的水平，使得非侵入式的腦-機(jī)接口系統(tǒng)進(jìn)入實(shí)際生活應(yīng)用成為可能。近年來，腦-機(jī)接口技術(shù)發(fā)展非常迅速，已經(jīng)在生物醫(yī)學(xué)、虛擬現(xiàn)實(shí)、游戲娛樂、康復(fù)工程以及航天、軍事等領(lǐng)域體現(xiàn)出重要的價(jià)值。事件相關(guān)電位(Event Related Potentials, ERPs)是指和刺激事件相關(guān)、并且在時(shí)間上同刺激鎖定的腦電信號(hào)平均后所觀察到的一系列電位變化。它不僅依賴于外界刺激的物理屬性，也與大腦的主觀加工和認(rèn)知狀態(tài)有密切的關(guān)系。視覺誘發(fā)電位(VisualEvoked Potential, VEP)是一種應(yīng)用廣泛的事件相關(guān)電位成分，它是指神經(jīng)系統(tǒng)接受視覺刺激(例如圖形或閃光刺激)所產(chǎn)生的特定電活動(dòng)。當(dāng)視覺刺激固定為某一個(gè)頻率時(shí)(一般大于6Hz)，其引起的VEP在時(shí)間上發(fā)生重疊，大腦視覺皮層會(huì)產(chǎn)生穩(wěn)態(tài)視覺誘發(fā)電位(Steady State VEP, SSVEP),該誘發(fā)電位信號(hào)呈現(xiàn)與視覺刺激一致的周期性,通過分析該信號(hào)的頻譜可以實(shí)現(xiàn)不同頻率及不同相位條件下的視覺刺激，是一種極具應(yīng)用價(jià)值的腦-機(jī)接口輸入信號(hào)。以穩(wěn)態(tài)視覺誘發(fā)電位作為輸入信號(hào)的腦-機(jī)接口系統(tǒng)有信息傳輸率高、訓(xùn)練時(shí)間短、特征易提取等優(yōu)點(diǎn)，但是由于腦電信號(hào)很不穩(wěn)定以及經(jīng)常會(huì)有肌電信號(hào)的干擾，從而導(dǎo)致分類時(shí)經(jīng)常會(huì)出現(xiàn)一些錯(cuò)誤。本文提出了一種主動(dòng)確認(rèn)的方式，可以有效降低錯(cuò)判率。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口信號(hào)識(shí)別方法，即屏幕上呈現(xiàn)多個(gè)閃爍圖片，被測(cè)試者只注視其中的某一幅圖片，當(dāng)檢測(cè)到被測(cè)試者注視某幅圖片時(shí)，利用主動(dòng)確認(rèn)的方式，打亂所有圖片的閃爍頻率(圖片內(nèi)容不變)，再次進(jìn)行檢測(cè)，若兩次相同，則我們認(rèn)為前一次的檢測(cè)是正確的，若不同，則認(rèn)為前一次是誤檢測(cè)。
本發(fā)明的技術(shù)方案為一種穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口信號(hào)識(shí)別方法，其步驟為I)建立一視覺刺激單元，用于顯示若干不同內(nèi)容的圖片，供被測(cè)試者注視時(shí)使用；2)將若干不同內(nèi)容的圖片以不同閃爍頻率通過該視覺刺激單元同時(shí)顯示，并采集該被測(cè)試者注視該視覺刺激單元的腦電信號(hào)，存儲(chǔ)到數(shù)據(jù)處理單元；3)該數(shù)據(jù)處理單元對(duì)所采集的腦電信號(hào)進(jìn)行噪聲估計(jì)和降噪處理；4)對(duì)步驟3)處理后的腦電信號(hào)進(jìn)行特征提取和判決，初步確定該被測(cè)試者注視的圖片；5)打亂該視覺刺激單元所顯示圖片的閃爍頻率，并采集該被測(cè)試者注視該視覺刺激單元的腦電信號(hào)，存儲(chǔ)到數(shù)據(jù)處理單元；然后該數(shù)據(jù)處理單元對(duì)此次采集的腦電信號(hào)進(jìn)行噪聲估計(jì)和降噪處理；6)對(duì)步驟5)處理后的腦電信號(hào)進(jìn)行特征提取和判決，確定該被測(cè)試者注視的圖片，如果此次確定的圖片與步驟4確定的圖片相同，則將該圖片作為最終確定的識(shí)別信息輸出；如果不相同，則判定該被測(cè)試者沒有注視該視覺刺激單元顯示的任何一幅圖片。進(jìn)一步的，步驟2)之前，首先將視覺刺激單元顯示為黑屏，采集被測(cè)試者注視該視覺刺激單元黑屏設(shè)定時(shí)長(zhǎng)內(nèi)的腦電信號(hào)并存儲(chǔ)到數(shù)據(jù)處理單元；然后該數(shù)據(jù)處理單元利用靜息時(shí)腦電信號(hào)的平均頻譜對(duì)所采到的腦電信號(hào)進(jìn)行噪聲估計(jì)。進(jìn)一步的，所述設(shè)定時(shí)長(zhǎng)為10s。進(jìn)一步的，采集所述腦電信號(hào)的方法為在該被測(cè)試者頭部枕葉Oz位置安放一EEG電極，一側(cè)耳廓位置安放參考電極，另一側(cè)耳廓位置安放接地電極，將電極采集的信號(hào)通過差分放大器、模數(shù)轉(zhuǎn)換器后得到被測(cè)試者的腦電信號(hào)。進(jìn)一步的，初步確定該被測(cè)試者注視的圖片的方法為將步驟3)處理后腦電信號(hào)對(duì)應(yīng)于每一圖片的能量，作為對(duì)應(yīng)圖片的腦電信號(hào)特征；選取腦電信號(hào)特征值最大者與設(shè)定閾值進(jìn)行比較，當(dāng)高過該設(shè)定閾值時(shí)，則初步判定被測(cè)試者注視的是該腦電信號(hào)特征值最大者對(duì)應(yīng)的圖片；則否則判斷被測(cè)試者沒有注視任何一幅圖片，重復(fù)步驟2) 4)。進(jìn)一步的，步驟3)中，該數(shù)據(jù)處理單元對(duì)所采集的腦電信號(hào)中EEG電極采集的信號(hào)進(jìn)行噪聲估計(jì)和降噪處理。該穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口系統(tǒng)的主動(dòng)確認(rèn)裝置，包括以下模塊(如圖1)1.刺激模塊刺激模塊主要是包括一個(gè)大顯示屏。目的是將含有特定內(nèi)容的圖片利用顯示屏顯示出來，供被測(cè)試者注視時(shí)使用(如圖2)。2.信號(hào)采集模塊信號(hào)采集模塊主要包括電極，差分放大器，模數(shù)轉(zhuǎn)換器(如圖3)。目的是采集被測(cè)試者的腦電信號(hào)，并利用無線傳輸將腦電信號(hào)傳到接收端。3.信號(hào)處理模塊信號(hào)處理模塊主要包括噪聲估計(jì)及降噪處理，特征提取及分類(如圖4)。由于腦電信號(hào)不穩(wěn)定，且可能有肌電等信號(hào)的干擾，所以為了提升信噪比，使系統(tǒng)更為魯棒，我們需要在接收數(shù)據(jù)之后進(jìn)行噪聲估計(jì)和降噪處理，之后利用各頻率能量作為特征，進(jìn)行分類，從而得到被測(cè)試者所注視的圖片。4.主動(dòng)確認(rèn)模塊經(jīng)過一次分類判決后，我們主動(dòng)的打亂圖片閃爍頻率，再進(jìn)行一遍降噪、分類和判決，若結(jié)果和前一次相同，則認(rèn)為前一次判決準(zhǔn)確，從而達(dá)到了一個(gè)確認(rèn)的目的。與現(xiàn)有技術(shù)相比，本發(fā)明的積極效果為本發(fā)明不僅保持了穩(wěn)態(tài)視覺誘發(fā)電位系統(tǒng)的優(yōu)點(diǎn)，即信息傳輸率高，訓(xùn)練時(shí)間短，特征易提取等，而且還提出一種主動(dòng)確認(rèn)的方式，借此提高分類正確率。


圖1是本發(fā)明流程圖；
圖2是刺激界面示意圖(刺激圖片顯示的順序和數(shù)量都可以根據(jù)需求變化)；圖3是信號(hào)采集模塊流程圖；圖4是彳目號(hào)處理模塊流程圖。
具體實(shí)施例方式
下面參照本發(fā)明的附圖，更詳細(xì)地描述本發(fā)明的最佳實(shí)施例?；谥鲃?dòng)確認(rèn)的穩(wěn)態(tài)視覺誘發(fā)電位的腦-機(jī)接口方法，包括以下步驟步驟一在被測(cè)試者頭部枕葉Oz位置安放腦電圖儀電極(EEG電極)，一側(cè)耳廓位置安放參考電極，另一側(cè)耳廓位置安放接地電極，通過電極采集的信號(hào)通過差分放大器、模數(shù)轉(zhuǎn)換器后得到被測(cè)試者的腦電信號(hào)(如圖2和圖3)，并利用無線設(shè)備和計(jì)算機(jī)進(jìn)行數(shù)據(jù)傳輸，利用計(jì)算機(jī)儲(chǔ)存采集的腦電信號(hào)。步驟二 利用顯示屏幕顯示刺激圖片，首先顯示屏?xí)@示IOs的黑屏，目的是為了記錄靜息時(shí)的腦電信號(hào)，以便后面進(jìn)行噪聲估計(jì)和降噪處理。之后將6個(gè)(數(shù)目可增可減，隨需求而定)含有特定內(nèi)容(例如喝水，吃飯，看電視等)的不同頻率的閃爍圖片同時(shí)呈現(xiàn)在顯示屏上，呈現(xiàn)位置分別在屏幕左上、中上、右上、左下、中下、右下，被測(cè)試者頭部距離顯示屏為50 100厘米(如圖2)。步驟三被測(cè)試者注視上述6個(gè)圖片中的一個(gè)或屏幕的中央?yún)^(qū)域(即并不注視其中任何一幅圖片)。步驟四對(duì)EEG電極所采到的信號(hào)進(jìn)行噪聲估計(jì)和降噪處理，噪聲估計(jì)采用靜息時(shí)腦電信號(hào)的平均頻譜，可用的降噪方法很多，這里給出一些簡(jiǎn)單的實(shí)現(xiàn)方法。譜減(Spectral Subtraction)由Boll在1979年提出，譜減算法的基本原理是假設(shè)噪聲對(duì)目標(biāo)腦電信號(hào)是不相關(guān)的、額外的，從含噪腦電信號(hào)中減去噪聲的短時(shí)幅度譜來得到目標(biāo)信號(hào)的短時(shí)幅度譜，而其噪聲信號(hào)的估計(jì)是通過在受試者安靜時(shí)(即前IOs注意黑屏?xí)r)測(cè)得。基本公式如下IX (k) I = S (k) I +1N (k)其中X(k)為含噪腦電信號(hào)頻譜，S (k)為目標(biāo)腦電信號(hào)頻譜，N(k)為噪聲頻譜。在得到噪聲幅度譜的估計(jì)N (k)后，就可以得到目標(biāo)腦電信號(hào)的幅度譜的估計(jì)S(k) = max(|A,(到—\N(k%0)除了上述基本的譜減算法，Berouti等對(duì)它進(jìn)行了修改(I)減去噪聲譜的時(shí)候，根據(jù)信噪比調(diào)節(jié)減的程度，通過譜減時(shí)給噪聲譜乘上一個(gè)大于I的參數(shù)，使在頻譜相減時(shí)減去的值比估計(jì)的噪聲譜更多(2)在噪聲幅度較大的地方，不將待估計(jì)的信號(hào)的譜置為0，而引入噪聲基底(Spectral Floor)的概念，在這些地方保留一點(diǎn)點(diǎn)噪聲。修改之后的目標(biāo)腦電信號(hào)短時(shí)譜的估計(jì)變?yōu)镮 S (k) I = max {| X (k) | - α N (k) | , β N (k)}其中α > I在信噪比較大的時(shí)候較小，O彡β << I為一個(gè)固定值。當(dāng)然，可用的方法還有很多，例如最優(yōu)MMSE的短時(shí)幅度譜估計(jì)，MMSE對(duì)數(shù)譜幅度估計(jì)，非線性譜減等等，這里只是提供了兩種簡(jiǎn)單易實(shí)現(xiàn)的方法作為示例來實(shí)現(xiàn)噪聲估計(jì)和降噪處理。步驟五對(duì)去噪后的腦電信號(hào)進(jìn)行特征提取和判決。我們先求出去噪腦電中對(duì)應(yīng)的這6個(gè)頻率的能量，記為E1 Ε6。因?yàn)椴煌娜说哪X電信號(hào)強(qiáng)弱不同，所以我們分別用提取出的E1 E6除以它們的和(即進(jìn)行一個(gè)歸一化的過程)，記為ei e6，并將其作為特征。判決的方法也有很多，這里僅給出一個(gè)簡(jiǎn)單易實(shí)現(xiàn)的方法作為示例。我們先選出ei e6中的最大者，然后與閾值進(jìn)行比較，該閾值通過離線實(shí)驗(yàn)決定，在離線實(shí)驗(yàn)中采集少量被測(cè)試者分別注視6種頻率的刺激圖片狀態(tài)下的腦電信號(hào)，該閾值為上述腦電信號(hào)的特征的總體平均值乘以一個(gè)根據(jù)經(jīng)驗(yàn)確定的系數(shù)，當(dāng)高過這個(gè)閾值時(shí)我們便初步判定被測(cè)試者注視的是其代表的那個(gè)頻率閃爍的圖片；若低于閾值則我們認(rèn)為被測(cè)試者沒有注視任何一幅圖片看，回到步驟三開始新一輪實(shí)驗(yàn)。步驟六當(dāng)初步判定被測(cè)試者盯著某一幅圖片時(shí)，我們需要利用一個(gè)主動(dòng)確認(rèn)的過程來再次確定被測(cè)試者注視的圖片，這時(shí)隨機(jī)打亂6幅圖的閃爍頻率(但不改變其位置)，被測(cè)試者注視某一幅圖片(可以是剛才注視的圖片，也可以不是)或屏幕中央，之后對(duì)新采集到的腦電信號(hào)再進(jìn)行一次步驟四和步驟五(步驟五中所設(shè)閾值不變)，若兩次我們判定被測(cè)試者所注視的圖片相同，則認(rèn)為被測(cè)試者確實(shí)注視的是我們判斷的圖片，屏幕上便會(huì)以動(dòng)畫形式顯示這幅圖片，同時(shí)系統(tǒng)會(huì)發(fā)出與圖片內(nèi)容相符合的語音(例如您要喝水/吃飯…)作為結(jié)果反饋給被測(cè)試者，這時(shí)被測(cè)試者告訴我們兩次注視的內(nèi)容(某幅圖片或屏幕中央)是不是我們判斷的圖片，以驗(yàn)證我們的系統(tǒng)判斷的準(zhǔn)確性，之后回到步驟三開始新一輪實(shí)驗(yàn)；若兩次不同，則認(rèn)為前一次可能為誤檢測(cè)，被測(cè)試者沒有注視任何一幅圖片看，同時(shí)系統(tǒng)會(huì)發(fā)出語音提示(例如您并未注視屏幕中的圖片)，這時(shí)仍然讓被測(cè)試者告訴我們兩次注視的內(nèi)容，以驗(yàn)證我們的系統(tǒng)判斷的準(zhǔn)確性，之后仍回到步驟三開始新一輪實(shí)驗(yàn)。
權(quán)利要求
1.一種穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口信號(hào)識(shí)別方法，其步驟為 1)建立一視覺刺激單元，用于顯示若干不同內(nèi)容的圖片，供被測(cè)試者注視時(shí)使用； 2)將若干不同內(nèi)容的圖片以不同閃爍頻率通過該視覺刺激單元同時(shí)顯示，并采集該被測(cè)試者注視該視覺刺激單元的腦電信號(hào)，存儲(chǔ)到數(shù)據(jù)處理單元； 3)該數(shù)據(jù)處理單元對(duì)所采集的腦電信號(hào)進(jìn)行噪聲估計(jì)和降噪處理； 4)對(duì)步驟3)處理后的腦電信號(hào)進(jìn)行特征提取和判決，初步確定該被測(cè)試者注視的圖片; 5)打亂該視覺刺激單元所顯示圖片的閃爍頻率，并采集該被測(cè)試者注視該視覺刺激單元的腦電信號(hào)，存儲(chǔ)到數(shù)據(jù)處理單元；然后該數(shù)據(jù)處理單元對(duì)此次采集的腦電信號(hào)進(jìn)行噪聲估計(jì)和降噪處理； 6)對(duì)步驟5)處理后的腦電信號(hào)進(jìn)行特征提取和判決，確定該被測(cè)試者注視的圖片，如果此次確定的圖片與步驟4確定的圖片相同，則將該圖片作為最終確定的識(shí)別信息輸出；如果不相同，則判定該被測(cè)試者沒有注視該視覺刺激單元顯示的任何一幅圖片。
2.如權(quán)利要求1所述的方法，其特征在于步驟2)之前，首先將視覺刺激單元顯示為黑屏，采集被測(cè)試者注視該視覺刺激單元黑屏設(shè)定時(shí)長(zhǎng)內(nèi)的腦電信號(hào)并存儲(chǔ)到數(shù)據(jù)處理單元；然后該數(shù)據(jù)處理單元利用靜息時(shí)腦電信號(hào)的平均頻譜對(duì)所采到的腦電信號(hào)進(jìn)行噪聲估計(jì)。
3.如權(quán)利要求2所述的方法，其特征在于所述設(shè)定時(shí)長(zhǎng)為10s。
4.如權(quán)利要求1或2或3所述的方法，其特征在于采集所述腦電信號(hào)的方法為在該被測(cè)試者頭部枕葉Oz位置安放一 EEG電極，一側(cè)耳廓位置安放參考電極，另一側(cè)耳廓位置安放接地電極，將電極采集的信號(hào)通過差分放大器、模數(shù)轉(zhuǎn)換器后得到被測(cè)試者的腦電信號(hào)。
5.如權(quán)利要求1或2或3所述的方法，其特征在于初步確定該被測(cè)試者注視的圖片的方法為將步驟3)處理后腦電信號(hào)對(duì)應(yīng)于每一圖片的能量，作為對(duì)應(yīng)圖片的腦電信號(hào)特征；選取腦電信號(hào)特征值最大者與設(shè)定閾值進(jìn)行比較，當(dāng)高過該設(shè)定閾值時(shí)，則初步判定被測(cè)試者注視的是該腦電信號(hào)特征值最大者對(duì)應(yīng)的圖片；則否則判斷被測(cè)試者沒有注視任何一幅圖片，重復(fù)步驟2) 4)。
6.如權(quán)利要求2或3所述的方法，其特征在于步驟3)中，該數(shù)據(jù)處理單元對(duì)所采集的腦電信號(hào)中EEG電極采集的信號(hào)進(jìn)行噪聲估計(jì)和降噪處理。
全文摘要
本發(fā)明公開了一種穩(wěn)態(tài)視覺誘發(fā)電位腦-機(jī)接口信號(hào)識(shí)別方法。本方法為1)將若干不同圖片以不同閃爍頻率通過一視覺刺激單元同時(shí)顯示，并采集被測(cè)試者注視該視覺刺激單元的腦電信號(hào)；2)數(shù)據(jù)處理單元對(duì)腦電信號(hào)進(jìn)行噪聲估計(jì)和降噪處理，然后進(jìn)行特征提取和判決，初步確定該被測(cè)試者注視的圖片；3)打亂顯示圖片的閃爍頻率，采集腦電信號(hào)；然后對(duì)此次采集的腦電信號(hào)進(jìn)行噪聲估計(jì)和降噪處理，然后對(duì)處理后的腦電信號(hào)進(jìn)行特征提取和判決，確定該被測(cè)試者注視的圖片，如果此次確定的圖片與步驟2相同，則將該圖片作為最終確定的識(shí)別信息輸出；如果不同，則判定該被測(cè)試者沒有注視該視覺刺激單元顯示的任何一幅圖片。本發(fā)明可有效地提高腦電信號(hào)識(shí)別的準(zhǔn)確性。
文檔編號(hào)G06F3/01GK103019383SQ20121055194
公開日2013年4月3日 申請(qǐng)日期2012年12月18日 優(yōu)先權(quán)日2012年12月18日
發(fā)明者吳璽宏, 朱風(fēng)云, 張廣程 申請(qǐng)人:北京大學(xué)