本發(fā)明屬于腦機接口技術(shù)領(lǐng)域，尤其涉及一種基于臨床皮層腦電信號控制機械手運動的腦機接口系統(tǒng)及其應(yīng)用。

背景技術(shù)：

腦機接口是一種新型的，僅利用計算系統(tǒng)解析大腦活動信號并將其轉(zhuǎn)化為控制指令，就可以讓用戶直接對效應(yīng)器(肌肉，鼠標(biāo)，鍵盤等)進行實時控制的技術(shù)。該技術(shù)的臨床應(yīng)用實施可以極大地幫助癱瘓病人或者肢殘人士重建運動功能。據(jù)中國殘疾人聯(lián)合會統(tǒng)計，截止2010年，中國共有2472萬肢體殘疾，其中，大部分為上肢功能障礙和手指截除或缺損。因此，將腦機接口技術(shù)應(yīng)用于臨床將極大地改善殘疾人的生活質(zhì)量。

目前，腦機接口根據(jù)采集腦電信號時電極對大腦的侵入程度，可分為植入式腦機接口和非植入式腦機接口。其中，非植入式腦機接口采用頭皮電極或者體外傳感器觀測大腦神經(jīng)活動，無外科開顱手術(shù)風(fēng)險，但時空分辨率較低，訓(xùn)練樣本大，對于變化環(huán)境條件中的穩(wěn)健性較差，目前為止還不能用于復(fù)雜的手部腦機接口控制。植入式腦機接口利用多通道電極采集顱內(nèi)神經(jīng)元信號，具有高時空分辨率，并且不易受到噪聲干擾，可以提供較為精準(zhǔn)的腦電信息，但由于侵入程度最大，手術(shù)及預(yù)后風(fēng)險大，并且采集電極為針式陣列電極，長期植入后易受到生物相容性，排異反應(yīng)以及電極脫落等影響，信號易衰減，不利于臨床長期應(yīng)用。如何平衡腦電信號質(zhì)量與侵入性一直是腦機接口從實驗非人動物研究到臨床轉(zhuǎn)化過程中的難點。

近年來，由于皮層腦電信號是通過硬腦膜下覆蓋的貼片電極采集且不侵入大腦皮層，同時又具有高時空分辨率和長期穩(wěn)定性的優(yōu)點，因此受到廣泛地關(guān)注。在臨床上，該皮層腦電信號長期用于難治性癲癇病灶的定位，具有成熟的相關(guān)電極植入技術(shù)和術(shù)后干預(yù)技術(shù)，而在腦機接口領(lǐng)域的相關(guān)應(yīng)用還較少。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于將醫(yī)用臨床皮層腦電信號作為腦機接口信號源，提供一種用于抓握運動功能重建的腦機接口系統(tǒng)，幫助臨床上肢體殘疾病人通過腦電控制外部假肢執(zhí)行簡單的抓握行為。

為實現(xiàn)上述目的，本發(fā)明提出了一種基于臨床皮層腦電信號控制機械手運動的腦機接口系統(tǒng)，包括信號采集模塊、腦電特征提取及解碼模塊、機械手控制模塊以及外設(shè)模塊，所述的信號采集模塊將采集到的臨床腦電信號進行預(yù)處理后輸入到腦電特征提取及解碼模塊，腦電特征提取及解碼模塊提取和解碼預(yù)處理的腦電信號的特征，機械手控制模塊將解碼的類標(biāo)通過PC串口發(fā)送到機械手，完成手勢運動；所述的外設(shè)模塊監(jiān)督和反饋用戶及機械手執(zhí)行的任務(wù)。

所述的信號采集模塊用于對臨床腦電信號進行處理以及運動任務(wù)開始時間和運動手勢類別的獲取。

所述的信號采集模塊對臨床腦電信號進行的預(yù)處理包括：

首先，通過分線器對臨床腦電信號進行分流，將臨床腦電信號分成兩路，一路輸入醫(yī)院記錄系統(tǒng)，另一路輸入神經(jīng)信號采集儀；

為了不影響醫(yī)院記錄系統(tǒng)的紀(jì)錄，本發(fā)明腦機接口系統(tǒng)在使用過程中應(yīng)獨立于醫(yī)院記錄系統(tǒng)，因此需要對腦電信號進行分流。分流的具體過程為：醫(yī)用臨床腦電信號通過臨床醫(yī)用電極進入分線器，分線器將一路信號復(fù)制成為與流入信號完全一致的兩路信號，其中一路信號進入醫(yī)院記錄系統(tǒng)，另一路進入神經(jīng)信號采集儀；

然后，通過神經(jīng)信號采集儀對臨床腦電信號進行信號放大，帶通濾波；

神經(jīng)信號采集儀內(nèi)部具有一個放大器，對臨床腦電信號進行放大；帶通濾波選用硬件濾波，帶通范圍為0.3-500Hz，陷波為50Hz，利用神經(jīng)信號采集儀的顯示屏肉眼觀察每個通道的原始信號，除去受到噪聲干擾較大的通道；

最后，將濾波后的臨床腦電信號以1KHz的采樣率存儲于PC控制端。

所述的腦電特征提取及解碼模塊內(nèi)置于PC控制端，用于提取濾波后特定頻域的腦電信號的特征和實時解碼運動手勢，主要是對濾波后的臨床腦電信號通過多窗譜方法估計時間-頻率上的功率譜密度，然后，做歸一化后處理，得到每個通道上臨床腦電信號的時頻特征，接下來，根據(jù)每個通道的時頻特性，挑選與運動功能相關(guān)的通道、臨床腦電信號激活時間以及頻段；最后，利用挑選出的通道特征量，訓(xùn)練可用于多分類的支持向量機(Support Vector Machine，SVM)分類器，用于多種手勢的分類。

所述的機械手控制模塊內(nèi)置于PC控制端，通過PC串口端發(fā)送指令到機械手，用于控制機械手按照指令執(zhí)行相應(yīng)的運動手勢。

所述的外設(shè)模塊包括語音模塊、顯示模塊、數(shù)據(jù)手套以及攝像模塊，顯示模塊用于提示用戶需要執(zhí)行的運動手勢；語音模塊用于提示用戶任務(wù)開始以及手勢執(zhí)行情況的實時反饋；數(shù)據(jù)手套穿戴于用戶雙手上，用于用戶手部運動的實時記錄；攝像模塊用于用戶手部運動的記錄和非直接觀察。

利用腦機接口系統(tǒng)進行假肢運動分為兩個階段，分別為離線訓(xùn)練階段和在線預(yù)測階段。離線測試階段用于構(gòu)建最優(yōu)的預(yù)判模型，具體包括特征參數(shù)的選取以及分類器參數(shù)的優(yōu)化；在線預(yù)測階段用于實時在線的用構(gòu)建好的腦機接口系統(tǒng)對用戶的腦電信號進行分析，并做出手勢類別預(yù)測，然后控制外部機械手做出相應(yīng)的手勢。

離線訓(xùn)練階段的步驟為：

(1)腦電采集模塊采集臨床腦電信號，并對臨床腦電信號進行預(yù)處理，得到濾波后特定頻域的腦電信號；

(2)腦電特征提取及解碼模塊提取濾波后特定頻域的臨床腦電信號的特征，得到通道特征量，并通過PC端獲取對應(yīng)的手勢類別；

(3)將通道特征量和對應(yīng)的手勢類別輸入到SVM分類器中，進行訓(xùn)練，得到預(yù)判模型。

步驟(1)的具體步驟為：

(1-1)利用分線器對臨床腦電信號進行分流，將臨床腦電信號分成兩路，一路輸入醫(yī)院記錄系統(tǒng)，另一路輸入神經(jīng)信號采集儀；

(1-2)利用神經(jīng)信號采集儀對輸入的臨床腦電信號進行放大，帶通濾波，得到濾波后特定頻域的腦電信號。

步驟(2)的具體步驟為：

(2-1)利用多窗譜方法對濾波后的臨床腦電信號進行估計，得到臨床腦電信號的時間-頻率上的功率譜密度；

(2-2)對功率譜密度做歸一化處理，得到每個通道上臨床腦電信號的時頻特征；

(2-3)根據(jù)每個通道的時頻特性，挑選與運動功能相關(guān)的通道、臨床腦電信號激活時間以及頻段，得到通道特征量。

在步驟(2-1)中，在提取頻域特征時，利用一個長度為300ms的滑動窗每次以步進為100ms移動，截取的濾波后特定頻域的腦電信號通過多窗譜方法計算其在頻域上的能量。

在步驟(2-2)中，對功率譜密度做歸一化的步驟為：

(2-2-1)對當(dāng)前抓握任務(wù)中視覺提示前1秒，即10個窗的靜息狀態(tài)的腦電信號進行計算，獲得當(dāng)前抓握任務(wù)靜息狀態(tài)下的功率譜密度均值和方差，計算公式為：

S_{baseline_ave}＝mean(S₁(t),S₂(t),…S₁₀(t))

S_{baseline_std}＝std(S₁(t),S₂(t),…S₁₀(t))

其中，S₁(t),S₂(t),…S₁₀(t)為視覺提示前10個時間窗的腦電信號，mean(·)為均值函數(shù)，std(·)為方差函數(shù)，S_{baseline_ave}為抓握任務(wù)靜息狀態(tài)下的功率譜密度均值，S_{baseline_std}為抓握任務(wù)靜息狀態(tài)下的功率譜密度的方差；

(2-2-2)對運動開始后的腦電信號的功率譜密度做歸一化處理，歸一化公式為：

其中，S_i(t)為運動開始后的每個時間窗的功率譜密度值，通過以上公式使得每個時間窗上的功率譜密度在頻域上得到歸一化。

為了降低計算的維度，可以將低頻和高頻腦電信號求取以5Hz為頻率分辨率下的功率譜密度平均值，并減去基礎(chǔ)腦電信號均值，除以基礎(chǔ)腦電信號方差做歸一化。

在步驟(2-3)中，挑選出的與運動相關(guān)的通道具有的特性為：功率譜密度在范圍為0.3-15Hz的低頻和頻率范圍為70-135Hz的高頻上隨運動增高，在頻率范圍為15-35Hz的中頻上隨運動降低。

在步驟(2-3)中，通道特征量為一個1*n的向量，其中n為通道個數(shù)、以5Hz為頻率分辨率的頻域維度及臨床腦電信號激活時間三者的乘積。

在步驟(3)中，將通道特征量與對應(yīng)的手勢類別輸入到SVM解碼器，利用交叉驗證方法訓(xùn)練得出最佳SVM特征，得到預(yù)判模型，作為在線預(yù)測階段的解碼模型。在matlab界面中，利用的是libsvm工具包實現(xiàn)多手勢分類。

在線預(yù)測階段的步驟為：

(a)腦電采集模塊采集臨床腦電信號，利用分線器對臨床腦電信號進行分流，然后通過神經(jīng)信號采集儀對臨床腦電信號進行放大和帶通濾波，得到濾波后特定頻域的腦電信號；

(b)腦電特征提取及解碼模塊在得到PC控制端發(fā)來的任務(wù)開始提示后，從神經(jīng)信號采集儀的緩沖區(qū)獲取臨床腦電信號并計算與運動相關(guān)通道頻段上的功率譜密度，并做歸一化處理，利用已經(jīng)訓(xùn)練好的預(yù)測模型對歸一化的特征進行分類；

(c)機械手控制模塊將分類器解碼的類標(biāo)通過PC串口發(fā)送到機械手，完成手勢運動，同時，外設(shè)模塊監(jiān)督和反饋用戶及機械手執(zhí)行的任務(wù)。

在步驟(b)中，每隔100ms從神經(jīng)信號采集儀中獲取臨床腦電信號，并利用前200ms信息計算功率譜。

在步驟(c)中，利用任務(wù)提示后的600ms激活時間內(nèi)的臨床腦電信號特征用于手勢類別識別，并通過PC串口發(fā)送指令給外部假肢，控制假肢運動。

利用腦機接口系統(tǒng)進行假肢運動過程的所有任務(wù)相關(guān)指令由PC端的用C語言編寫的主程序控制，主程序同時同步外部事件時間信息以及臨床皮層腦電信號。在一次手勢控制實驗中，PC端主程序首先會提示對相關(guān)參數(shù)進行配置，然后通過顯示器發(fā)送指定的手勢類型，通過音響發(fā)送任務(wù)指令以及任務(wù)完成反饋。

運動任務(wù)開始時間為PC控制端發(fā)送任務(wù)提示時的系統(tǒng)時間減去腦電信號記錄的起始時間。

本發(fā)明將臨床腦電信號作為腦機接口系統(tǒng)的信號源，實現(xiàn)同步在線手部運動的精確控制，將極大地有利于運動型，特別是手部運動的腦機接口的臨床轉(zhuǎn)化，從而幫助手部殘障人士恢復(fù)抓握運動功能。整套系統(tǒng)獨立于臨床系統(tǒng)，不影響臨床系統(tǒng)的記錄。系統(tǒng)設(shè)計簡潔，任務(wù)設(shè)置簡單易懂，不會對用戶的理解和執(zhí)行造成額外的負(fù)擔(dān)。系統(tǒng)同時還兼顧便攜性，用盡可能少的設(shè)備搭建，方便臨床隨時接入和撤出。

附圖說明

圖1為本發(fā)明的腦機接口系統(tǒng)示意圖；

圖2為本發(fā)明腦機接口系統(tǒng)應(yīng)用方法離線訓(xùn)練階段流程圖；

圖3為本發(fā)明腦機接口系統(tǒng)應(yīng)用方法在線預(yù)測階段流程圖；

圖4為本發(fā)明的PC控制端界面圖。

具體實施方式

為了更為具體地描述本發(fā)明，下面結(jié)合附圖及具體實施方式對本發(fā)明的技術(shù)方案進行詳細(xì)說明。

在利用本發(fā)明腦機接口系統(tǒng)前，需要對用戶和系統(tǒng)進行預(yù)先的處理，包括：用戶需要做臨床醫(yī)用皮層腦電電極植入手術(shù)，并熟悉手勢運動控制任務(wù)。用戶需要以較為舒適的姿勢完成任務(wù)，視線與顯示屏幕齊平并保持除手以外其余運動部位盡可能靜止不動。

如圖1所示，本發(fā)明臨床皮層腦電控制機械手運動的腦機接口系統(tǒng)包括：PC端控制系統(tǒng)、醫(yī)院記錄系統(tǒng)、分線器、神經(jīng)信號采集儀、顯示器、工業(yè)攝像頭、機械手、數(shù)據(jù)手套以及音箱，其中神經(jīng)信號采集儀通過網(wǎng)線和PC端連接，工業(yè)攝像頭通過USB與PC端連接，數(shù)據(jù)手套通過USB與PC端相連，PC端控制系統(tǒng)控制整個實驗流程。

利用此腦機接口系統(tǒng)進行測試的過程為：

首先，通過PC端控制系統(tǒng)設(shè)置神經(jīng)信號采集儀的濾波參數(shù)為0.3-500Hz，采樣率為1KHz，同時設(shè)定PC端用于信號存儲的路徑。然后同步打開神經(jīng)信號采集儀、顯示器、音箱、工業(yè)攝像頭以及數(shù)據(jù)手套進行試驗，在試驗的過程中，神經(jīng)信號采集儀對臨床腦電信號進行采集、預(yù)處理以及記錄存儲；顯示器同步顯示手勢類別的提示圖片；利用工業(yè)攝像頭和數(shù)據(jù)手套同步記錄用戶的手部運動狀況，方便遠程記錄并觀察用戶的手部運動狀態(tài)，攝像開始記錄時還會通過模擬口向神經(jīng)信號采集儀發(fā)送TTL高電平，用于神經(jīng)信號的同步；此外，利用音箱反饋手勢執(zhí)行的正確性給用戶。運動任務(wù)以單次抓握為基礎(chǔ)，重復(fù)訓(xùn)練直到訓(xùn)練樣本部分采集結(jié)束。最后加載用于手勢預(yù)測的臨床腦電信號，進行手勢預(yù)測分析。之后在預(yù)測階段，將手勢預(yù)判類別轉(zhuǎn)化為機械手對應(yīng)手勢設(shè)定，通過串口發(fā)送給機械手，機械手在整個任務(wù)過程中以靜態(tài)狀態(tài)實時準(zhǔn)備，一旦接收到串口發(fā)送的指令立即進行手勢切換。

利用該腦機接口系統(tǒng)控制假肢執(zhí)行簡單的運動，分為兩個階段，第一個階段為離線訓(xùn)練階段，第二個階段為在線預(yù)測階段。

如圖2所示，離線訓(xùn)練階段具體為：

步驟1，利用分線器對臨床腦電信號進行分流，將臨床腦電信號分成兩路，一路輸入醫(yī)院記錄系統(tǒng)，另一部分輸入神經(jīng)信號采集儀。

由于所搭建的腦機接口系統(tǒng)在使用過程中應(yīng)獨立于醫(yī)院記錄系統(tǒng)，因此需要對腦電信號進行分流。分流的具體過程為：醫(yī)用臨床腦電信號通過臨床醫(yī)用電極進入分線器，分線器將一路信號復(fù)制成為與流入信號完全一致的兩路信號，其中一路信號進入醫(yī)院記錄系統(tǒng)，另一路進入神經(jīng)信號處理系統(tǒng)。

步驟2，利用神經(jīng)信號采集儀對輸入的臨床腦電信號進行放大，帶通濾波，得到濾波后特定頻域的腦電信號。

帶通濾波選用硬件濾波，帶通范圍為0.3-500Hz，工作陷波50Hz。肉眼觀察每個通道的原始信號，除去受到噪聲干擾較大的通道。

步驟3，利用多窗譜對濾波后的臨床腦電信號估計其時間-頻率上的功率譜密度。

在提取頻域特征時，利用一個長度為300ms的滑動窗每次以步進為100ms移動，截取的濾波后特定頻域的腦電信號通過多窗譜估計算法計算其在頻域上的能量。

步驟4，對功率譜密度做歸一化處理，得到每個通道上臨床腦電信號的時頻特征。

首先，對當(dāng)前抓握任務(wù)中視覺提示前1秒，即10個窗的靜息狀態(tài)的腦電信號進行計算，獲得當(dāng)前抓握任務(wù)靜息狀態(tài)下的功率譜密度均值和方差，計算公式為：

S_{baseline_ave}＝mean(S₁(t),S₂(t),…S₁₀(t))

S_{baseline_std}＝std(S₁(t),S₂(t),…S₁₀(t))

其中，S₁(t),S₂(t),…S₁₀(t)為視覺提示前10個時間窗的腦電信號，mean(·)為均值函數(shù)，std(·)為方差函數(shù)，S_{baseline_ave}為抓握任務(wù)靜息狀態(tài)下的功率譜密度均值，S_{baseline_std}為抓握任務(wù)靜息狀態(tài)下的功率譜密度的方差；

然后，對運動開始后的腦電信號的功率譜密度做歸一化處理，歸一化公式為：

其中，S_i(t)為運動開始后的每個時間窗的功率譜密度值，通過以上公式使得每個時間窗上的功率譜密度在頻域上得到歸一化。

步驟5，根據(jù)每個通道的時頻特性，挑選與運動功能相關(guān)的通道、臨床腦電信號激活時間以及頻段，得到通道特征量。

挑選出的與運動相關(guān)的通道為具有功率譜密度在低頻(0.3-15Hz)和高頻(70-135Hz)上隨運動增高，在中頻(15-35Hz)上隨運動降低特性的通道。將提示后的10個窗作為臨床腦電信號激活時間。通道特征量為一個1*n的向量，其中n為通道個數(shù)、以5Hz為頻率分辨率的頻域維度及臨床腦電信號激活時間三者的乘積。

步驟6，通過PC端獲取對應(yīng)的手勢類別。

步驟7，將通道特征量和對應(yīng)的手勢類別輸入到SVM分類器中，利用交叉驗證方法訓(xùn)練得出最佳SVM特征，得到預(yù)判模型，作為在線預(yù)測階段的解碼模型。

如圖3所示，在線預(yù)測階段具體為：

步驟1，利用分線器對臨床腦電信號進行分流，并通過神經(jīng)信號采集儀對臨床腦電信號進行放大和帶通濾波，得到濾波后特定頻域的腦電信號；

步驟2，腦電特征提取及解碼模塊在得到PC控制端發(fā)來的任務(wù)開始提示后，從神經(jīng)信號采集儀的緩沖區(qū)獲取臨床腦電信號并計算與運動相關(guān)通道頻段上的功率譜密度，并做歸一化處理，利用已經(jīng)訓(xùn)練好的SVM分類器對歸一化的特征進行分類；

步驟3，機械手控制模塊將分類器解碼的類標(biāo)通過PC串口發(fā)送到機械手，完成手勢運動，同時，外設(shè)模塊監(jiān)督和反饋機械手執(zhí)行的任務(wù)。

圖4為PC端主程序界面圖，該界面用C語言編寫，根據(jù)圖1連接好系統(tǒng)通路后，首先打開神經(jīng)信號采集儀，依次進行神經(jīng)信號采集儀(Neuroport)連接以及端口的設(shè)置，然后根據(jù)離線神經(jīng)信號的時頻特性，對解碼模型的通道和頻段進行選擇，最后設(shè)置機械手連接的串口以及數(shù)據(jù)手套的三種手勢運動的模板。其中數(shù)據(jù)手套的手勢模板通過用戶在佩戴數(shù)據(jù)手套的同時重復(fù)執(zhí)行手勢訓(xùn)練即可獲取。

依次對以上參數(shù)進行設(shè)置并確保用戶準(zhǔn)備好進行任務(wù)執(zhí)行后點擊“開始試驗”，即可開始整個腦機接口系統(tǒng)，包括腦電信號的采集，特征提取及解碼，模型的訓(xùn)練以及最后手勢預(yù)測和機械手控制。在點擊“停止實驗”后即可停止整個腦機接口系統(tǒng)實驗，并暫停神經(jīng)信號，視頻信號等的存儲。

每次用戶抓握任務(wù)總長控制在10秒以內(nèi)，包括3秒鐘的準(zhǔn)備階段，4秒鐘的手勢執(zhí)行階段，以及3秒的手勢放松階段。在準(zhǔn)備階段要求用戶將手保持掌心向上，手部放松姿勢，在開始時有語音提示用戶做好準(zhǔn)備，即保持注意力集中。準(zhǔn)備階段結(jié)束后，顯示屏上會等概率隨機出現(xiàn)某種手勢照片，用戶需要在視覺提示后立即執(zhí)行階段想象并執(zhí)行手勢。在提示任務(wù)結(jié)束出現(xiàn)之前，手部要保持手勢姿勢。任務(wù)完成后，屏幕會提示手勢放松并等待下一個任務(wù)的開始。

本系統(tǒng)設(shè)定機械手可以執(zhí)行“石頭”，“剪刀”，“布”三種手勢，用戶通過放在床前的顯示器上的指示進行手勢運動。在運動開始前，用戶的手及手臂保持靜止?fàn)顟B(tài)。單次手勢抓握運動開始有聲音提示“準(zhǔn)備”。同時屏幕上會出現(xiàn)一個紅色的加號，提示用戶注意加號，并保持手掌向上放松。接下來的時間為靜息狀態(tài)，隨機持續(xù)2-2.5秒。靜息狀態(tài)結(jié)束后，紅色的加號會用手勢圖片代替，手勢圖片隨機等概率地顯示三種手勢中的任一一種手勢。用戶需要即可對手勢做出相應(yīng)，并保持手勢狀態(tài)直到最后顯示紅點提示手部可以進行放松。整個手勢階段持續(xù)2-3.5秒。之后用戶即可放松手，轉(zhuǎn)換到靜息狀態(tài)。語音提示本次任務(wù)的正確性反饋給用戶。

以上所述的具體實施方式對本發(fā)明的技術(shù)方案和有益效果進行了詳細(xì)說明，應(yīng)理解的是以上所述僅為本發(fā)明的最優(yōu)選實施例，并不用于限制本發(fā)明，凡在本發(fā)明的原則范圍內(nèi)所做的任何修改、補充和等同替換等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。