本發(fā)明涉及腦-機(jī)接口技術(shù)領(lǐng)域，具體涉及一種引入對(duì)象連續(xù)動(dòng)作的穩(wěn)態(tài)視覺誘發(fā)范式設(shè)計(jì)及辨識(shí)方法。

背景技術(shù)：

腦-機(jī)接口技術(shù)是通過在人或動(dòng)物的大腦和外部設(shè)備之間建立直接的信息交流渠道，從而實(shí)現(xiàn)對(duì)外部設(shè)備的直接控制。一些因患肌萎縮性側(cè)索硬化等神經(jīng)退行性疾病而致運(yùn)動(dòng)功能受損的人，或因患閉鎖綜合癥而喪失運(yùn)動(dòng)與語言交流能力的人，可以通過腦-機(jī)接口技術(shù)獲得一種對(duì)外控制與交流的途徑。隨著科學(xué)技術(shù)的發(fā)展，該技術(shù)已經(jīng)擴(kuò)展到神經(jīng)康復(fù)、輔助增強(qiáng)、游戲娛樂及航天軍事等領(lǐng)域。

穩(wěn)態(tài)視覺誘發(fā)電位作為一種重要的腦-機(jī)接口范式，是大腦對(duì)以一定頻率(大于6hz)調(diào)制的外部視覺刺激的周期性響應(yīng)。該范式下大腦視覺皮層的腦電信號(hào)會(huì)在刺激頻率及其諧波頻率處出現(xiàn)明顯的峰值特征，通過提取和識(shí)別該特征信號(hào)，即可作為控制信號(hào)來控制外部設(shè)備?；诜€(wěn)態(tài)視覺誘發(fā)電位的腦-機(jī)接口，相比于運(yùn)動(dòng)想象、p300等范式，所需電極少、抗干擾能力強(qiáng)、信息傳輸率高，具有較好的實(shí)用價(jià)值和應(yīng)用前景。然而傳統(tǒng)的基于穩(wěn)態(tài)視覺誘發(fā)電位的腦-機(jī)接口系統(tǒng)，針對(duì)不同的對(duì)象，多采用簡單的黑白圓閃爍、棋盤格等刺激范式，刺激方式簡單，長時(shí)間使用容易引起使用者的視覺疲勞，降低識(shí)別正確率，用戶體驗(yàn)度較差，同時(shí)對(duì)于不同使用者的實(shí)際效果差別較大，個(gè)體間差異性明顯。

目前國內(nèi)外學(xué)者對(duì)穩(wěn)態(tài)視覺誘發(fā)腦-機(jī)接口的研究，多集中于刺激范式、腦電信號(hào)解碼等方面，鮮有研究如何針對(duì)不同的對(duì)象設(shè)計(jì)相應(yīng)的穩(wěn)態(tài)視覺誘發(fā)范式。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種引入對(duì)象連續(xù)動(dòng)作的穩(wěn)態(tài)視覺誘發(fā)范式設(shè)計(jì)及辨識(shí)方法，以控制可手張開、手閉合、手腕內(nèi)旋、手腕外旋的二自由度假手為例，在范式設(shè)計(jì)過程中，引入假手連續(xù)動(dòng)作過程，設(shè)計(jì)相應(yīng)的動(dòng)態(tài)圖片閃爍單元，吸引使用者的注意力，不易產(chǎn)生視覺疲勞，并達(dá)到“所見即所得”的控制效果，改善用戶體驗(yàn)；同時(shí)，采用基于個(gè)人特征修正的典型相關(guān)分析算法進(jìn)行穩(wěn)態(tài)視覺誘發(fā)電位的目標(biāo)辨識(shí)，以提高識(shí)別正確率，并改善個(gè)體間差異性過大的問題。

為了達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是：

引入對(duì)象連續(xù)動(dòng)作的穩(wěn)態(tài)視覺誘發(fā)范式設(shè)計(jì)及辨識(shí)方法，包括以下步驟：

步驟1，為使用者佩戴好腦電采集設(shè)備，記錄使用者頭部視覺枕葉區(qū)的腦電信號(hào)，采集的腦電信號(hào)經(jīng)藍(lán)牙無線傳輸至計(jì)算機(jī)；其中，腦電采集設(shè)備采用16通道的emotivepoc腦電放大器，各通道按照國際10/20標(biāo)準(zhǔn)放置，放大器的采樣頻率為128hz；

步驟2，被控對(duì)象為二自由度假手，分別拍攝假手手腕內(nèi)旋、手腕外旋、手張開、手閉合四個(gè)連續(xù)動(dòng)作的視頻，等時(shí)間間隔提取每個(gè)動(dòng)作視頻下至少八幀圖片，對(duì)每幀圖片進(jìn)行灰度處理和二值化處理，每個(gè)動(dòng)作視頻下的八幀圖片按照時(shí)間順序依次以正弦調(diào)制方式進(jìn)行黑白翻轉(zhuǎn)刺激，構(gòu)成一個(gè)動(dòng)態(tài)圖片閃爍單元；其中，每個(gè)動(dòng)態(tài)圖片閃爍單元中每幀圖片的閃爍時(shí)間相同，不同動(dòng)態(tài)圖片閃爍單元的正弦調(diào)制頻率不同，圖片黑白翻轉(zhuǎn)頻率為正弦調(diào)制頻率的兩倍；

步驟3，使用者在四個(gè)動(dòng)態(tài)圖片閃爍單元中選擇一個(gè)進(jìn)行注視，計(jì)算機(jī)同步采集注視過程中的腦電信號(hào)傳至計(jì)算機(jī)進(jìn)行處理；

步驟4，對(duì)腦電信號(hào)進(jìn)行處理，包括腦電信號(hào)預(yù)處理和目標(biāo)辨識(shí)，具體包括如下步驟：

步驟4-1，對(duì)腦電信號(hào)的預(yù)處理，提取o1、o2通道的腦電信號(hào)，去除趨勢(shì)項(xiàng)，并利用巴特沃斯濾波器進(jìn)行5hz-45hz的帶通濾波；

步驟4-2，對(duì)目標(biāo)進(jìn)行ssvep特征提取及目標(biāo)辨識(shí)，實(shí)現(xiàn)方法為基于個(gè)人特征修正的典型相關(guān)分析算法；

步驟5，根據(jù)目標(biāo)辨識(shí)結(jié)果對(duì)應(yīng)的動(dòng)態(tài)圖片閃爍單元，控制假手完成相應(yīng)動(dòng)作，并將目標(biāo)辨識(shí)結(jié)果輸入至計(jì)算機(jī)屏幕進(jìn)行顯示，實(shí)現(xiàn)對(duì)使用者的視覺反饋；

步驟6，假手完成相應(yīng)動(dòng)作后，返回值步驟3，重復(fù)步驟3、4、5，進(jìn)行下一次的目標(biāo)目標(biāo)辨識(shí)。

上述方法中，步驟2所述的動(dòng)態(tài)圖片閃爍單元的具體實(shí)現(xiàn)方式為：

每個(gè)動(dòng)態(tài)圖片閃爍單元包括八幀圖片，八幀圖片按照時(shí)間順序，依次閃爍δt時(shí)長，故總的閃爍時(shí)長為8δt，設(shè)置δt＝0.5s；

第i張圖片的刺激調(diào)制函數(shù)為：

其中，picturei是第i張圖片的灰度值矩陣；f是正弦調(diào)制頻率；n是幀數(shù)變量；fs是計(jì)算機(jī)顯示器的屏幕刷新率；n是一張圖片閃爍總的幀數(shù)；是第i張圖片的相位補(bǔ)償函數(shù)；

動(dòng)態(tài)圖片閃爍單元通過公式(1)和(2)實(shí)現(xiàn)連續(xù)性的閃爍刺激，并據(jù)此形成四個(gè)動(dòng)態(tài)圖片閃爍單元，在計(jì)算機(jī)顯示器上呈現(xiàn)進(jìn)行穩(wěn)態(tài)視覺誘發(fā)。

上述方法中，步驟4-2所述的基于個(gè)人特征修正的典型相關(guān)分析算法具體包括如下步驟：

(1)特征訓(xùn)練及個(gè)人特征提?。涸谶M(jìn)行在線判別之前，對(duì)不同頻率下的數(shù)據(jù)進(jìn)行訓(xùn)練產(chǎn)生訓(xùn)練樣本，每個(gè)頻率對(duì)應(yīng)2*10組訓(xùn)練樣本，訓(xùn)練樣本經(jīng)過步驟4-1預(yù)處理后，利用主成分分析進(jìn)行數(shù)據(jù)降維，提取累計(jì)貢獻(xiàn)率大于75％的主成分作為個(gè)人特征信號(hào)；

(2)在線分類：利用典型相關(guān)分析法，將步驟4-1中經(jīng)過預(yù)處理后的腦電信號(hào)分別與不同翻轉(zhuǎn)頻率基頻、二倍頻的正余弦信號(hào)以及個(gè)人特征信號(hào)計(jì)算典型相關(guān)系數(shù)，在四個(gè)翻轉(zhuǎn)頻率對(duì)應(yīng)的四個(gè)最大相關(guān)系數(shù)值中，將其中的最大值對(duì)應(yīng)的翻轉(zhuǎn)頻率判定為使用者所注視的目標(biāo)單元。

本發(fā)明針對(duì)傳統(tǒng)的穩(wěn)態(tài)視覺誘發(fā)范式，不考慮對(duì)象的具體特點(diǎn)，范式設(shè)計(jì)簡單，用戶體驗(yàn)度差，長時(shí)間使用容易產(chǎn)生疲勞，且對(duì)不同受試者識(shí)別效果差別較大的問題，提出一種引入對(duì)象連續(xù)動(dòng)作的穩(wěn)態(tài)視覺誘發(fā)范式設(shè)計(jì)及辨識(shí)方法，為推廣和增強(qiáng)腦-機(jī)接口技術(shù)提供了新的思路，顯示出如下優(yōu)越性：

(1)提出一種引入對(duì)象連續(xù)動(dòng)作的穩(wěn)態(tài)視覺誘發(fā)范式設(shè)計(jì)方法，通過在范式設(shè)計(jì)中引入對(duì)象連續(xù)動(dòng)作，設(shè)計(jì)相應(yīng)的動(dòng)態(tài)圖片閃爍單元，利用相位補(bǔ)償方法實(shí)現(xiàn)連續(xù)穩(wěn)定的視覺刺激，達(dá)到“所見即所得”的控制效果，吸引使用者的注意力，不易產(chǎn)生疲勞，提高了用戶體驗(yàn)度，且該方法可以方便地?cái)U(kuò)展至不同的應(yīng)用對(duì)象，適應(yīng)強(qiáng)；

(2)通過利用基于個(gè)人特征修正的典型相關(guān)分析算法，提取不同受試者訓(xùn)練樣本中的個(gè)人特征進(jìn)行在線目標(biāo)辨識(shí)，有利于提高識(shí)別正確率，并改善穩(wěn)態(tài)視覺誘發(fā)范式下個(gè)體間的差異性。

附圖說明

圖1是本發(fā)明的系統(tǒng)框圖。

圖2是本發(fā)明中腦電采集設(shè)備的通道位置示意圖。

圖3是針對(duì)控制對(duì)象二自由度假手設(shè)計(jì)的手張開動(dòng)作下的動(dòng)態(tài)圖片閃爍單元示意圖。

圖4是翻轉(zhuǎn)頻率為9.2hz的動(dòng)態(tài)圖片閃爍單元灰度變化圖，其中圖4(a)是不進(jìn)行相位補(bǔ)償?shù)那闆r，圖4(b)是進(jìn)行相位補(bǔ)償?shù)那闆r。圖中，橫坐標(biāo)表示時(shí)間，縱坐標(biāo)表示在屏幕每幀刷新下閃爍單元灰度值的變化。

圖5是使用者在注視四個(gè)不同翻轉(zhuǎn)頻率動(dòng)態(tài)圖片閃爍單元時(shí)的腦電信號(hào)幅值譜圖，圖5(a)中翻轉(zhuǎn)頻率為8hz，圖5(b)中翻轉(zhuǎn)頻率為9.2hz，圖5(c)中翻轉(zhuǎn)頻率為10.9hz，圖5(d)中翻轉(zhuǎn)頻率為12hz。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明做詳細(xì)描述。

引入對(duì)象連續(xù)動(dòng)作的穩(wěn)態(tài)視覺誘發(fā)范式設(shè)計(jì)及辨識(shí)方法，包括以下步驟：

步驟1，參照?qǐng)D1，使用者佩戴好腦電采集設(shè)備，坐在計(jì)算機(jī)前方，頭部距離計(jì)算機(jī)顯示器60-100厘米，記錄使用者頭部視覺枕葉區(qū)的腦電信號(hào)，采集的腦電信號(hào)經(jīng)藍(lán)牙無線傳輸至計(jì)算機(jī)；其中，腦電采集設(shè)備采用16通道的emotivepoc腦電放大器，各通道按照國際10/20標(biāo)準(zhǔn)放置，放置方式參照?qǐng)D2，放大器的采樣頻率為128hz。

步驟2，被控對(duì)象為二自由度假手，分別拍攝假手手腕內(nèi)旋、手腕外旋、手張開、手閉合四個(gè)連續(xù)動(dòng)作的視頻。等時(shí)間間隔提取每個(gè)動(dòng)作視頻下至少八幀圖片，對(duì)每幀圖片進(jìn)行灰度處理和二值化處理，每個(gè)動(dòng)作視頻下的八幀圖片按照時(shí)間順序依次以正弦調(diào)制方式進(jìn)行黑白翻轉(zhuǎn)刺激，構(gòu)成一個(gè)動(dòng)態(tài)圖片閃爍單元，手張開情況下的動(dòng)態(tài)圖片閃爍單元示意圖如圖3所示；其中，每個(gè)動(dòng)態(tài)圖片閃爍單元中每幀圖片的閃爍時(shí)間相同，不同動(dòng)態(tài)圖片閃爍單元的正弦調(diào)制頻率不同，圖片黑白翻轉(zhuǎn)頻率為正弦調(diào)制頻率的兩倍。

動(dòng)態(tài)圖片閃爍單元的具體實(shí)現(xiàn)方式為：

每個(gè)動(dòng)態(tài)圖片閃爍單元包括八幀圖片，八幀圖片按照時(shí)間順序，依次閃爍δt時(shí)長，故總的閃爍時(shí)長為8δt。設(shè)置δt＝0.5s。

第i張圖片的刺激調(diào)制函數(shù)為：

其中，picturei是第i張圖片的灰度值矩陣；f是正弦調(diào)制頻率；n是幀數(shù)變量；fs是計(jì)算機(jī)顯示器的屏幕刷新率；n是一張圖片閃爍總的幀數(shù)；是第i張圖片的相位補(bǔ)償函數(shù)。

當(dāng)翻轉(zhuǎn)頻率為9.2hz時(shí)動(dòng)態(tài)圖片閃爍單元的灰度變化圖如圖4所示，其中圖4(a)為不進(jìn)行相位補(bǔ)償時(shí)的情況，發(fā)現(xiàn)在刺激過程中相位不連續(xù)，圖4(b)為進(jìn)行相位補(bǔ)償時(shí)的情況，刺激過程中相位連續(xù)，可以產(chǎn)生穩(wěn)定頻率的視覺刺激。

動(dòng)態(tài)圖片閃爍單元通過公式(1)和(2)實(shí)現(xiàn)連續(xù)性的閃爍刺激，并據(jù)此形成四個(gè)動(dòng)態(tài)圖片閃爍單元，在計(jì)算機(jī)顯示器上呈現(xiàn)進(jìn)行穩(wěn)態(tài)視覺誘發(fā)。

由于可選用的翻轉(zhuǎn)頻率受計(jì)算機(jī)屏幕刷新率限制，實(shí)驗(yàn)中用60hz屏幕刷新率的計(jì)算機(jī)，選用的翻轉(zhuǎn)頻率及對(duì)應(yīng)的位置和手的動(dòng)作如表1所示。

表1：動(dòng)態(tài)圖片閃爍單元所處位置及對(duì)應(yīng)的翻轉(zhuǎn)頻率表

步驟3，使用者在四個(gè)動(dòng)態(tài)圖片閃爍單元中選擇一個(gè)進(jìn)行注視，注視過程中盡量避免眨眼睛，計(jì)算機(jī)同步采集注視過程中的腦電信號(hào)傳至計(jì)算機(jī)進(jìn)行處理。

步驟4，對(duì)腦電信號(hào)進(jìn)行處理，包括腦電信號(hào)預(yù)處理和目標(biāo)辨識(shí)，具體包括如下步驟：

步驟4-1，對(duì)腦電信號(hào)的預(yù)處理，提取o1、o2通道的腦電信號(hào)，去除趨勢(shì)項(xiàng)，并利用巴特沃斯濾波器進(jìn)行5hz-45hz的帶通濾波。

步驟4-2，對(duì)目標(biāo)進(jìn)行辨識(shí)，實(shí)現(xiàn)方法為基于個(gè)人特征修正的典型相關(guān)分析，ssvep特征提取及目標(biāo)辨識(shí)包括以下幾個(gè)步驟：

步驟4-2-1)特征訓(xùn)練及個(gè)人特征提取：在進(jìn)行在線判別之前，對(duì)不同頻率下的數(shù)據(jù)進(jìn)行訓(xùn)練產(chǎn)生訓(xùn)練樣本，每個(gè)頻率對(duì)應(yīng)2*10組訓(xùn)練樣本，訓(xùn)練樣本經(jīng)過步驟4-1預(yù)處理后，利用主成分分析進(jìn)行數(shù)據(jù)降維，提取累計(jì)貢獻(xiàn)率大于75％的主成分作為個(gè)人特征信號(hào)。

步驟4-2-2)在線分類：利用典型相關(guān)分析法，將經(jīng)過預(yù)處理后的腦電信號(hào)分別與不同翻轉(zhuǎn)頻率基頻、二倍頻的正余弦信號(hào)以及個(gè)人特征信號(hào)計(jì)算典型相關(guān)系數(shù)，利用cca，在四個(gè)翻轉(zhuǎn)頻率對(duì)應(yīng)的四個(gè)最大相關(guān)系數(shù)值中，將其中的最大值對(duì)應(yīng)的翻轉(zhuǎn)頻率判定為使用者所注視的目標(biāo)單元。

步驟5，根據(jù)目標(biāo)辨識(shí)結(jié)果對(duì)應(yīng)的動(dòng)態(tài)圖片閃爍單元，控制假手完成相應(yīng)動(dòng)作，并將目標(biāo)辨識(shí)結(jié)果輸入至計(jì)算機(jī)屏幕進(jìn)行顯示，實(shí)現(xiàn)對(duì)使用者的視覺反饋。

步驟6，假手完成相應(yīng)動(dòng)作后，返回值步驟3，重復(fù)步驟3、4、5，進(jìn)行下一次的目標(biāo)辨識(shí)。

采用本技術(shù)對(duì)一名使用者進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)記錄使用者在注視不同動(dòng)態(tài)圖片閃爍單元時(shí)的腦電信號(hào)，實(shí)驗(yàn)過程中受試者盡量避免眨眼睛，按照上述步驟進(jìn)行實(shí)驗(yàn)，單輪實(shí)驗(yàn)時(shí)長為4s，使用者在注視四個(gè)動(dòng)態(tài)圖片閃爍單元時(shí)的腦電信號(hào)幅值譜圖如圖5所示。從圖中可以看出，針對(duì)對(duì)象假手設(shè)計(jì)的穩(wěn)態(tài)視覺誘發(fā)范式，能夠穩(wěn)定有效地誘發(fā)相應(yīng)翻轉(zhuǎn)頻率的穩(wěn)態(tài)視覺誘發(fā)電位。

上述實(shí)例以二自由度假手作為應(yīng)用對(duì)象，只是為了說明本發(fā)明的技術(shù)構(gòu)思及特點(diǎn)，根據(jù)本發(fā)明的內(nèi)容，可以擴(kuò)展至除假手外的其它應(yīng)用對(duì)象，并不能以此來限制本發(fā)明的保護(hù)范圍。