專利名稱：基于多模態(tài)腦機接口的智能輪椅的制作方法
技術領域：
本發(fā)明涉及腦機接口應用研究及人工智能領域，特別涉及一種多模態(tài)腦機接口的智能輪椅。
背景技術：
腦機接口(Brain-Computer Interface, BCI)的概念始于1973年，它是在人或動物腦與外部設備間建立的直接連接通路。自上世紀70年代以來，隨著神經(jīng)科學和計算機技術的發(fā)展，腦機接口取得了很大進展。目前，根據(jù)腦信號獲取的方式的不同，腦機接口可分為侵入式和非侵入式，直接將電極植入到腦殼內(nèi)稱為侵入式BCI ；從頭皮獲取信號則稱為非侵入BCI。腦電(Electro-enc印halo graphy,EEG)是腦細胞群體發(fā)放電所產(chǎn)生的宏觀現(xiàn)象，當大腦活動的時候，會產(chǎn)生特定的腦電信號。對于侵入式腦機接口因將電極置入大腦， 可以直接從大腦皮層提取到信噪比較高的腦電信號。但對于非侵入腦機接口，則通常通過戴電極帽、紅外成像、功能核磁共振等方式來獲取腦電信號。由于非侵入式BCI的研究，只需要通過特定的設備在大腦皮層的表面直接進行腦電信號的采集和處理，且不需要進行外科手術，因此非侵入式一直是BCI研究熱點。非侵入式BCI由于腦電信號(EEG)的時間分辨率高，且采集設備具有容易攜帶、便于使用等優(yōu)勢，是一種實用的腦機接口方式。基于EEG的非侵入式BCI，根據(jù)神經(jīng)生理學機理可分為基于運動想象(Motor imagery, MI)的BCI系統(tǒng)、基于事件相關電位(Event related Potential，ERP)的 BCI 系統(tǒng)、基于視覺誘發(fā)電位(Visual evoked potentials, VEP)的 BCI 系統(tǒng)等?；谶\動想象BCI的機理。受試者意識清醒時在從事與感覺運動相關的活動時，感覺運動皮層區(qū)域能夠檢測到8-12Hz節(jié)律的腦電波，這種節(jié)律稱為Mu節(jié)律。通常 Mu節(jié)律出現(xiàn)的同時，伴隨18-26HZ的Beta節(jié)律出現(xiàn)。Beta節(jié)律的一部分是Mu節(jié)律的倍頻，另外一部分是獨立的腦電特征。Mu和Beta節(jié)律與腦的運動區(qū)域有關聯(lián)，準備運動或實際運動伴隨著對側的Mu和Beta節(jié)律的下降，稱為事件相關去同步(Event-related desynchronization, ERD)，而運動的結束伴隨著這兩個節(jié)律的上升，稱為事件相關同步 (Event-related synchronization, ERS)?；谑录嚓P電位(Event related Potential,ERP)BCI的機理。P300是由小概率事件(視覺、聽覺、觸覺等形式)誘發(fā)的一種ERP，因對應于事件發(fā)生時刻后約300毫秒后產(chǎn)生一個正電位波形的EEG而得名。基于P300電位的BCI采用特定的事件刺激序列誘發(fā)受試者的P300電位，根據(jù)P300的發(fā)生時刻來判斷受試者的意識活動，該類型的BCI特別適用于從多個選擇中選擇一個目標的場合。實驗表明相關事件出現(xiàn)的概率越小，所引起的 P300越顯著，并在頭部的頂骨區(qū)(中部或后部)最為顯著。視覺誘發(fā)電位(Visual evoked potentials, VEP)根據(jù)視覺刺激頻率的不同可分為兩種類型瞬態(tài)視覺誘發(fā)電位(transient visual evoked potential)和穩(wěn)態(tài)視覺誘發(fā)電位(steady-state visual evoked potential)。當刺激頻率較低，單個刺激一個接一個出現(xiàn)，后一個刺激出現(xiàn)時前一個刺激引起的枕葉皮質反應已消失，對應于每個刺激是一系列正波和負波組成的VEP波形，此時產(chǎn)生的視覺誘發(fā)電位稱為瞬態(tài)VEP;當刺激頻率較高 (一般大于Mk)，刺激間隔時間小于VEP時程，多次反應的波相互干擾、疊加，形成節(jié)律性正弦樣波的VEP，此時產(chǎn)生的視覺誘發(fā)稱為穩(wěn)態(tài)VEP。穩(wěn)態(tài)視覺誘發(fā)由于其識別速度快、準確率高等優(yōu)勢，越來越得到重視，但存在容易造成視覺疲勞的缺點。目前，BCI在殘疾人神經(jīng)功能輔助與康復方面的應用研究尚處于起步階段，目前對單一腦機接口的研究已較為普遍且相對成熟，但在設計實用系統(tǒng)時單一腦機接口很難同時滿足提供多個控制指令和快速識別出控制意圖，例如輪椅的實時、多自由度控制需求。瑞士 Josedel R. Millto等利用運動想象腦機接口，將事件相關同步/去同步(RED/RES)成功提取2個指令應用于輪椅左、右控制，該系統(tǒng)采用異步控制模式，系統(tǒng)平均信息傳輸速率為 30bits/min，但由于該系統(tǒng)采用單模態(tài)腦機接口，因此不能提供多個自由度控制信號，不能加、減速及啟動、停止，系統(tǒng)實用性不高。專利CN200810053558公開的基于腦-機接口的智能輪椅控制系統(tǒng)及其腦電信號處理方法，利用α波阻斷現(xiàn)象設計了一套基于α波腦機接口的輪椅操縱系統(tǒng)，實現(xiàn)了前、后、左、右四個方向移動控制，但該輪椅由于采用單模態(tài)腦機接口，很難提供多個控制信號，無法實現(xiàn)加速、減速及后退功能。新加坡張海虹等實現(xiàn)了事件關聯(lián)電位(Ρ300)腦機接口的輪椅控制系統(tǒng)，該系統(tǒng)采用貝葉斯分類器，其平均通信速率可達到20bits/min基本滿足實時性需求，為提高輪椅整體性能有必要進一步提高系統(tǒng)平均通信速率。因此本發(fā)明充分發(fā)掘兩個單模態(tài)模式腦機接口的優(yōu)勢將其融合為多模態(tài)腦機接口以解決輪椅控制的關鍵問題。

發(fā)明內(nèi)容
本發(fā)明主要針對上述現(xiàn)有技術問題的缺陷和不足，公開了一種基于多模態(tài)腦機接口的智能輪椅。本發(fā)明所要解決的技術問題是首先，受試者通過注視視覺刺激界面和主動運動想象來表達控制意圖；其次，腦電采集平臺實時采集受試者腦電信號，融合事件關聯(lián)電位腦電信號處理模塊和運動想象腦電信號處理模塊的多模態(tài)腦機接口處理提取的腦電信號，判斷受試者的控制意圖，并輸出相應的控制指令；最后，為實現(xiàn)腦機接口代替輪椅操縱桿的機械控制，設計控制模塊使得電動輪椅具有通訊功能，即通過接收腦機接口的指令實現(xiàn)輪椅的啟動、停止、后退、加速、減速及左轉、右轉操作。本發(fā)明通過如下技術方案實現(xiàn)一種基于多模態(tài)腦機接口的智能輪椅，包括依次連接的視覺刺激界面、腦電采集平臺、多模態(tài)腦機接口、控制模塊和電動輪椅；所述多模態(tài)腦機接口包括事件關聯(lián)電位腦電信號處理模塊和運動想象腦電信號處理模塊，兩個模塊為并行設置。所述視覺刺激界面由車載筆記本的液晶屏提供，用于產(chǎn)生事件關聯(lián)電位；所述腦電采集平臺包括電極帽和腦電采集儀，電極帽用于采集腦電信號，腦電采集儀用于對采集的腦電信號進行放大、濾波和模數(shù)轉換處理；所述控制模塊包括通訊單元和控制器，控制模塊根據(jù)多模態(tài)腦機接口的指令，輸出兩路模擬電壓信號，用于控制電動輪椅的運動。 所述事件關聯(lián)電位腦電信號處理模塊和運動想象腦電信號處理模塊的算法由車載筆記本編程提供。所述事件關聯(lián)電位腦電信號處理模塊的算法流程為低通濾波一P300 幅值特征一SVM分類；所述運動想象腦電信號處理模塊的算法流程為CAR濾波一Mu節(jié)律頻帶提取一CSP特征提取一SVM分類。
事件關聯(lián)電位腦電信號處理模塊實現(xiàn)電動輪椅的啟動、停止、后退、加速、減速；所述運動想象腦電信號處理模塊實現(xiàn)電動輪椅的左轉、右轉。與現(xiàn)有技術相比，本發(fā)明具有以下有益效果可根據(jù)自己的控制意圖實現(xiàn)電動輪椅的啟動、停止、后退、加速、減速、左轉和右轉的運動，實現(xiàn)了電動輪椅的靈活控制，進一步增加了腦控智能輪椅的實用性能。由于多模態(tài)腦機接口的工作模塊相互獨立，采用多類分類方法，系統(tǒng)信息傳輸率明顯提高，每200毫秒可輸出1次指令，滿足了智能輪椅的實時性需求。


圖1是本發(fā)明多模態(tài)腦機接口的智能輪椅結構圖。圖2是智能輪椅的視覺刺激界面。圖3是智能輪椅的多模態(tài)腦機接口的模塊算法流程圖。圖4、圖5是智能輪椅的控制模塊的通訊單元硬件原理圖，其中，圖4為 STM32F103C6T6控制芯片，圖5為數(shù)模轉換電路。圖6是智能輪椅性能測試的分段路線圖。
具體實施例方式以下結合附圖和實施例對本發(fā)明作進一步詳細說明，但本發(fā)明的實施方式不限于此。實施例如圖1所示，模態(tài)腦機接口的智能輪椅包括依次連接的視覺刺激界面、腦電采集平臺、多模態(tài)腦機接口、控制模塊和電動輪椅。受試者頭戴32導聯(lián)電極帽，坐在電動輪椅的座椅上，便攜式腦電采集儀放置于輪椅后備袋，車載筆記本放置于輪椅臺面，視覺刺激界面由車載筆記本的液晶屏提供，多模態(tài)腦機接口模塊的處理算法由車載筆記本編程提供，控制模塊的通訊單元及控制器固定于輪椅扶手位置。如圖2所示，視覺刺激界面共有5個P300閃爍鍵，受試者注視閃爍鍵可產(chǎn)生基于事件關聯(lián)電位的腦電信號。其中“S”鍵指示輪椅啟動，“F”鍵指示輪椅加速，“D”鍵指示輪椅減速，“B”鍵指示輪椅后退，“T”鍵指示輪椅停止。受試者的眼睛距視覺刺激界面65cm， 注視“S”閃爍鍵啟動輪椅。在系統(tǒng)啟動后，根據(jù)意愿自主選擇注視相應的閃爍鍵以實現(xiàn)輪椅控制注視“F”、“D”、“B”和“T”閃爍鍵可分別實現(xiàn)輪椅的加速、減速、后退和停止。而想象左、右手可產(chǎn)生基于運動想象的腦電信號，可分別實現(xiàn)輪椅的左轉、右轉。電極帽用于采集腦電信號，為保證電極與頭皮有良好的接觸，電極帽插孔中注入具有良好導電特性的導電膠，電阻在5千歐以下。受試者通過主動運動想象和視覺刺激來表達控制意圖，相對應的腦電信號經(jīng)電極帽采集，再經(jīng)腦電采集儀進行放大、濾波和模數(shù)轉換處理，傳送至多模態(tài)腦機接口。如圖3所示，多模態(tài)腦機接口包括事件關聯(lián)電位腦電信號處理模塊和運動想象腦電信號處理模塊，實現(xiàn)基于事件關聯(lián)電位和基于運動想象的腦電信號并行處理，所述事件關聯(lián)電位腦電信號處理模塊的算法流程為低通濾波一P300幅值特征一SVM分類；所述運動想象腦電信號處理模塊的算法流程為CAR濾波一Mu節(jié)律頻帶提取一CSP特征提取—SVM分類。多模態(tài)腦機接口根據(jù)得到的SVM分類結果分別發(fā)送相應的指令至控制模塊。如圖4所示，控制模塊的通訊單元主要由STM32F103C6T6控制芯片構成，根據(jù)I/ 0接收到的指令，驅動兩片數(shù)-模轉換芯片，輸出兩路模擬電壓信號，以取代搖桿的輸出信號。每個電壓值對應著輪椅的運動特性，根據(jù)測試搖桿輸出的電壓值，得出表1控制指令表，調(diào)試時可以用多模態(tài)腦機接口發(fā)送相應控制指令，亦可以直接用車載筆記本的軟件發(fā)送。表1控制指令表
權利要求
1.一種基于多模態(tài)腦機接口的智能輪椅，其特征在于包括依次連接的視覺刺激界面、 腦電采集平臺、多模態(tài)腦機接口、控制模塊和電動輪椅；所述多模態(tài)腦機接口包括事件關聯(lián)電位腦電信號處理模塊和運動想象腦電信號處理模塊，兩個模塊為并行設置。
2.根據(jù)權利要求1所述的多模態(tài)腦機接口的智能輪椅，其特征在于所述視覺刺激界面由車載筆記本的液晶屏提供，用于產(chǎn)生事件關聯(lián)電位。
3.根據(jù)權利要求1所述的多模態(tài)腦機接口的智能輪椅，其特征在于所述腦電采集平臺包括電極帽和腦電采集儀；所述電極帽用于采集腦電信號，所述腦電采集儀用于對采集的腦電信號進行放大、濾波和模數(shù)轉換處理。
4.根據(jù)權利要求1所述的多模態(tài)腦機接口的智能輪椅，其特征在于所述控制模塊包括通訊單元和控制器；控制模塊根據(jù)多模態(tài)腦機接口的指令，輸出兩路模擬電壓信號，用于控制電動輪椅的運動。
5.根據(jù)權利要求1、之一所述的多模態(tài)腦機接口的智能輪椅，其特征在于所述事件關聯(lián)電位腦電信號處理模塊和運動想象腦電信號處理模塊的算法由車載筆記本編程提供。
6.根據(jù)權利要求5所述的多模態(tài)腦機接口的智能輪椅，其特征在于所述事件關聯(lián)電位腦電信號處理模塊的算法流程為低通濾波一P300幅值特征一SVM分類；所述運動想象腦電信號處理模塊的算法流程為CAR濾波一Mu節(jié)律頻帶提取一CSP特征提取一SVM分類。
7.根據(jù)權利要求6所述的多模態(tài)腦機接口的智能輪椅，其特征在于所述事件關聯(lián)電位腦電信號處理模塊實現(xiàn)電動輪椅的啟動、停止、后退、加速、減速；所述運動想象腦電信號處理模塊實現(xiàn)電動輪椅的左轉、右轉。
全文摘要
本發(fā)明公開了一種基于多模態(tài)腦機接口的智能輪椅，包括依次連接的視覺刺激界面、腦電采集平臺、多模態(tài)腦機接口、控制模塊和電動輪椅。受試者通過注視視覺刺激界面和主動運動想象來表達控制意圖，腦電采集平臺完成腦電信號采集、放大、濾波及數(shù)字化后傳給多模態(tài)腦機接口，再進行實時腦電信號預處理、特征提取、分類，將受試者控制意圖轉換為指令發(fā)送到控制模塊的通訊單元，再通過控制器控制輪椅，從而實現(xiàn)輪椅的啟動、停止、后退、左轉、右轉、加速、減速七種運動?？梢詭椭匕Y癱瘓病人為大腦開拓新的信息輸出渠道，為腦機接口多自由度控制的研究和實用化提供新的思路，在醫(yī)療康復、醫(yī)學生理實驗等方面具有諸多價值。
文檔編號A61G5/04GK102309380SQ20111026889
公開日2012年1月11日 申請日期2011年9月13日 優(yōu)先權日2011年9月13日
發(fā)明者李遠清, 王洪濤 申請人:華南理工大學