一種多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法
【專利摘要】本發(fā)明公開了一種多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，包括以下步驟：1)用戶根據(jù)提示信號(hào)進(jìn)行所有運(yùn)動(dòng)想象及所有眼睛運(yùn)動(dòng)，采集用戶的EOG信號(hào)及EEG信號(hào)，再對(duì)EOG信號(hào)及EEG信號(hào)分別進(jìn)行預(yù)處理，并根據(jù)EOG信號(hào)及EEG信號(hào)得腦電分類結(jié)果及眼電分類結(jié)果；控制外接設(shè)備時(shí)，用戶根據(jù)提示信號(hào)進(jìn)行相應(yīng)運(yùn)動(dòng)想象及眼睛運(yùn)動(dòng)，采集用戶當(dāng)前的EOG信號(hào)及EEG信號(hào)，并對(duì)用戶當(dāng)前的EOG信號(hào)及用戶當(dāng)前的EEG信號(hào)分別進(jìn)行預(yù)處理；然后根據(jù)預(yù)處理后的用戶當(dāng)前的EOG信號(hào)、用戶當(dāng)前的EEG信號(hào)、腦電分類結(jié)果及眼電分類結(jié)果進(jìn)行電腦的控制。本發(fā)明可以實(shí)現(xiàn)非植入式腦機(jī)接口的復(fù)雜命令輸出，并且對(duì)外接設(shè)備的控制能力強(qiáng)。
【專利說明】一種多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多模態(tài)腦機(jī)接口【技術(shù)領(lǐng)域】，涉及一種多模態(tài)非植入式腦機(jī)接口技術(shù)支 撐下的人機(jī)交互方法。

【背景技術(shù)】
[0002] 腦機(jī)接口研究腦與外界的直接信息交流，在獲悉人腦信息表達(dá)的基礎(chǔ)上，建立新 的革命性的信息與通訊手段，其最初和最主要的研究動(dòng)機(jī)是為神經(jīng)和運(yùn)動(dòng)疾病患者提供輔 助康復(fù)和生活自理的手段。然而隨著這種技術(shù)逐漸步入成熟階段，以基本腦機(jī)接口系統(tǒng)為 原型，拓展出多種針對(duì)更加特性化應(yīng)用需求的新興范式。同時(shí)，將人機(jī)交互理念更大程度的 融入腦機(jī)接口系統(tǒng)設(shè)計(jì)，讓這種獨(dú)立于骨骼、肌肉等生理組織的腦信息使用方式超出可行 性測(cè)試范疇，逐步證明了其在現(xiàn)實(shí)環(huán)境中的應(yīng)用前景。
[0003] 交互方式靈活、多樣、簡(jiǎn)捷的人機(jī)系統(tǒng)，可以有效提高使用者的參與積極性和使用 效率。腦機(jī)接口作為一種以輔助康復(fù)為初衷的人機(jī)系統(tǒng)，除幫助病患完善基本生活技能外， 同樣應(yīng)在滿足病患娛樂、文化等精神需求上做出努力，做到生理和心理的雙重輔助?；谀X 機(jī)接口技術(shù)的游戲系統(tǒng)是近年來興起的一項(xiàng)實(shí)用類研究，主要面向健康人群。這樣圈定消 費(fèi)群體，除了看中健康人群數(shù)量巨大所蘊(yùn)含的商業(yè)潛質(zhì)，更有可能是源于這類系統(tǒng)目前尚 存在控制形式單一、固定化的問題，無法滿足殘疾人的需要。
[0004] 目前按照動(dòng)作-反應(yīng)交互形式可以將游戲腦機(jī)接口系統(tǒng)分為三類。"精神狀態(tài)調(diào) 整"類型，即在區(qū)分放松和集中注意力兩種腦狀態(tài)的基礎(chǔ)上生成控制命令，出現(xiàn)在讓玩家利 用意念移動(dòng)物體等游戲形式中。"誘發(fā)反應(yīng)生成"類，利用穩(wěn)態(tài)視覺誘發(fā)電位（SSVEP)的產(chǎn) 生機(jī)理，完成虛擬目標(biāo)運(yùn)動(dòng)方向控制，如強(qiáng)/弱SSVEP分別控制虛擬飛機(jī)向左/右飛行。據(jù) 研究穩(wěn)態(tài)視覺誘發(fā)刺激可以提高人的注意力，所以SSVEP同樣適用于注意力提升類游戲的 開發(fā)。"運(yùn)動(dòng)想象"類，使用者利用想象不同肢體部位運(yùn)動(dòng)，自發(fā)產(chǎn)生各種腦電狀態(tài)，并轉(zhuǎn)變 為外部輸出命令，用于目標(biāo)導(dǎo)航或選擇命令。為使用者制造一種直觀感受就是被控目標(biāo)以 某種形式，即時(shí)響應(yīng)其意識(shí)狀態(tài)，形成較為真實(shí)的操控感。并且得益于運(yùn)動(dòng)想象模式的快速 識(shí)別，形式上更適合于快速響應(yīng)類游戲，如虛擬駕駛、輪椅移動(dòng)控制。然而，由于游戲使用者 完成運(yùn)動(dòng)想象自發(fā)電位生成的能力限制，使得系統(tǒng)輸出的控制命令數(shù)量有限，無法體驗(yàn)更 豐富的游戲內(nèi)容。常用的彌補(bǔ)方式是引入其他的非腦控命令，如語音、手動(dòng)按鈕，這種方法 不僅會(huì)給腦電信號(hào)帶入大量的偽跡干擾，更不符合為本身就缺少運(yùn)動(dòng)能力的殘疾人服務(wù)的 理念。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺點(diǎn)，提供了一種多模態(tài)非植入式腦機(jī)接 口技術(shù)支撐下的人機(jī)交互方法，該方法可以實(shí)現(xiàn)非植入式腦機(jī)接口的復(fù)雜命令輸出，并且 對(duì)外接設(shè)備的控制能力強(qiáng)。
[0006] 為達(dá)到上述目的，本發(fā)明所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互 方法，其特征在于，包括以下步驟：
[0007] 1)用戶根據(jù)提示信號(hào)進(jìn)行所有運(yùn)動(dòng)想象及所有眼睛運(yùn)動(dòng)，采集用戶的EOG信號(hào) 及EEG信號(hào)，然后對(duì)所述EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大及數(shù)模轉(zhuǎn)換；
[0008] 2)存儲(chǔ)步驟1)得到的EOG信號(hào)及EEG信號(hào)，并對(duì)EOG信號(hào)及EEG信號(hào)分別進(jìn)行預(yù) 處理；
[0009] 3)根據(jù)步驟2)得到的EEG信號(hào)確定針對(duì)用戶的特征導(dǎo)聯(lián)和特征節(jié)律，再采用共空 間模式算法從用戶的特征導(dǎo)聯(lián)和特征節(jié)律提取腦電空間特征，并訓(xùn)練共空間模式特征提取 濾波器，然后采用小世界神經(jīng)網(wǎng)絡(luò)算法對(duì)提取的腦電空間特征進(jìn)行運(yùn)動(dòng)想象分類，得分類 結(jié)果，然后根據(jù)分類結(jié)果訓(xùn)練獲得運(yùn)動(dòng)想象模式分類器；
[0010] 4)對(duì)步驟2)得到的EOG信號(hào)中的水平EOG信號(hào)及垂直EOG信號(hào)進(jìn)行中值濾波去 噪，消除EOG信號(hào)中垂直EOG信號(hào)內(nèi)的無意識(shí)眨眼信號(hào)，并對(duì)EOG信號(hào)中的垂直EOG信號(hào)進(jìn) 行有意識(shí)單眨眼分量及雙眨眼分量的提取分離，得眨眼模式識(shí)別結(jié)果；
[0011] 5)控制外接設(shè)備時(shí)，用戶根據(jù)提示信號(hào)進(jìn)行相應(yīng)運(yùn)動(dòng)想象及眼睛運(yùn)動(dòng)，采集用戶 當(dāng)前的EOG信號(hào)及EEG信號(hào)，并對(duì)用戶當(dāng)前的EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大及數(shù) 模轉(zhuǎn)換，再對(duì)用戶當(dāng)前的EOG信號(hào)及用戶當(dāng)前的EEG信號(hào)分別進(jìn)行預(yù)處理；
[0012] 6)通過用戶的特征導(dǎo)聯(lián)和特征節(jié)律篩選出用戶當(dāng)前EEG信號(hào)的頻帶分量，再通 過共空間模式特征提取濾波器對(duì)用戶當(dāng)前EEG信號(hào)的頻帶分量進(jìn)行空間特征提取，并根據(jù) 所述空間特征通過小世界神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行模式判別，得到用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié) 果，然后根據(jù)用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn)行控制；同時(shí)，對(duì)用戶當(dāng)前的EOG信號(hào) 進(jìn)行峰值分析，得用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果，然后根據(jù)用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果 對(duì)電腦進(jìn)行控制。
[0013] 步驟1)中所述所有運(yùn)動(dòng)想象包括左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象、雙腳運(yùn)動(dòng)想象及 舌部運(yùn)動(dòng)想象；
[0014] 步驟1)中所述所有眼睛運(yùn)動(dòng)包括單次眨眼、雙刺眨眼、眼睛縱向掃視及眼睛橫向 掃視；
[0015] 步驟1)中通過25個(gè)電極采集EEG信號(hào)及4個(gè)眼電電極采集用戶的EOG信號(hào)，所 述25個(gè)電極及眼電電極均為銀/氯化銀（Ag/AgCl)合金電極，且所述25個(gè)電極及眼電電 極的阻抗均小于5k Ω ;
[0016] 步驟1)中通過信號(hào)放大器對(duì)EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大，其中，所述 信號(hào)放大器為NeuroScan，Inc.提供的NuAmps40導(dǎo)放大器，配套上位機(jī)系統(tǒng)為scan 4. 5 ;
[0017] 步驟1)中通過16位數(shù)模轉(zhuǎn)換器對(duì)EOG信號(hào)及EEG信號(hào)進(jìn)行數(shù)模轉(zhuǎn)換。
[0018] 步驟2)中對(duì)EOG信號(hào)進(jìn)行預(yù)處理的具體操作為：先采用截止頻率為25Hz的四 階Butterworth低通濾波器對(duì)EOG信號(hào)進(jìn)行低通濾波，然后采用截止頻率為0. IHz的四階 Butterworth高通濾波器對(duì)EOG信號(hào)進(jìn)行高通濾波；
[0019] 步驟5)中對(duì)用戶當(dāng)前的EOG信號(hào)進(jìn)行預(yù)處理的具體操作為：先采用截止頻率為 25Hz的四階Butterworth低通濾波器對(duì)用戶當(dāng)前的EOG信號(hào)進(jìn)行低通濾波，然后采用截止 頻率為〇. IHz的四階Butterworth高通濾波器對(duì)用戶當(dāng)前的EOG信號(hào)進(jìn)行高通濾波。
[0020] 步驟2)中對(duì)EEG信號(hào)進(jìn)行預(yù)處理的具體操作為：對(duì)EEG信號(hào)依次進(jìn)行合并眼電、 直流偏移校正、合并行為數(shù)據(jù)、去除基線漂移及去除眼電偽跡；
[0021] 步驟5)中對(duì)用戶當(dāng)前的EEG信號(hào)進(jìn)行預(yù)處理的具體操作為：對(duì)用戶當(dāng)前的EEG信 號(hào)依次進(jìn)行合并眼電、直流偏移校正、合并行為數(shù)據(jù)、去除基線漂移及去除眼電偽跡。
[0022] 步驟6)中根據(jù)用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn)行控制的具體過程為：先將 用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果進(jìn)行格式化輸出，使用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果轉(zhuǎn)化為電 腦的控制命令，然后通過所述電腦的控制命令對(duì)電腦進(jìn)行控制。
[0023] 步驟6)中根據(jù)用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn)行控制的具體過程為：先將 用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果進(jìn)行格式化輸出，使用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果轉(zhuǎn)化為電 腦的控制命令，然后通過所述電腦的控制命令對(duì)電腦進(jìn)行控制。
[0024] 本發(fā)明具有以下有益效果：
[0025] 本發(fā)明所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法在對(duì)電腦進(jìn) 行控制的過程中，用戶先根據(jù)提示信號(hào)進(jìn)行所有運(yùn)動(dòng)想象及所有眼睛運(yùn)動(dòng)，采集用戶的EOG 信號(hào)及EEG信號(hào)，然后對(duì)EOG信號(hào)及EEG信號(hào)得到腦電分類結(jié)果及眼電分類結(jié)果，當(dāng)需要對(duì) 電腦進(jìn)行控制的過程時(shí)，用戶根據(jù)提示信號(hào)進(jìn)行相應(yīng)的運(yùn)動(dòng)想象及眼動(dòng)，并獲取用戶當(dāng)前 的EOG信號(hào)及EEG信號(hào)，再?gòu)挠脩舢?dāng)前的EOG信號(hào)中篩選出頻帶分量，從而實(shí)現(xiàn)非植入式腦 機(jī)接口的復(fù)雜命令輸出，并且對(duì)外接設(shè)備的控制能力強(qiáng)，同時(shí)適用于游戲、娛樂等領(lǐng)域。

【專利附圖】

【附圖說明】
[0026] 圖1為本發(fā)明實(shí)施例一的工作原理圖；
[0027] 圖2為本發(fā)明中電極的分布圖。

【具體實(shí)施方式】
[0028] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步詳細(xì)描述：
[0029] 參考圖1及圖2,本發(fā)明所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互 方法，其特征在于，包括以下步驟：
[0030] 1)用戶根據(jù)提示信號(hào)進(jìn)行所有運(yùn)動(dòng)想象及所有眼睛運(yùn)動(dòng)，采集用戶的EOG信號(hào)及 EEG信號(hào)，然后對(duì)所述EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大及數(shù)模轉(zhuǎn)換，其中，所述所有運(yùn) 動(dòng)想象包括左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象、雙腳運(yùn)動(dòng)想象及舌部運(yùn)動(dòng)想象；所述所有眼睛運(yùn) 動(dòng)包括單次眨眼、雙刺眨眼、眼睛縱向掃視及眼睛橫向掃視。
[0031] 需要說明的是，通過25個(gè)電極采集EEG信號(hào)及4個(gè)眼電電極采集用戶的EOG信號(hào)， 25個(gè)電極及眼電電極均為銀/氯化銀（Ag/AgCl)合金電極，其中，接地電極至于前額，參考 電極設(shè)在左耳A1，所述25個(gè)電極及眼電電極的阻抗均小于5k Ω。另外，步驟1)中通過信號(hào) 放大器對(duì)EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大，其中，所述信號(hào)放大器為NeuroScan，Inc. 提供的NuAmps40導(dǎo)放大器，配套上位機(jī)系統(tǒng)為scan 4. 5,采集頻率為1000Hz，Scan 4. 5提 供TCP/IP網(wǎng)絡(luò)接口，可以實(shí)現(xiàn)軟件本身和自主開發(fā)程序之間的數(shù)據(jù)聯(lián)通。步驟1)中通過 16位數(shù)模轉(zhuǎn)換器對(duì)EOG信號(hào)及EEG信號(hào)進(jìn)行數(shù)模轉(zhuǎn)換。
[0032] 2)存儲(chǔ)步驟1)得到的EOG信號(hào)及EEG信號(hào)，并對(duì)EOG信號(hào)及EEG信號(hào)分別進(jìn)行預(yù) 處理；
[0033] 需要說明的是，對(duì)EOG信號(hào)進(jìn)行預(yù)處理的具體操作為：先采用截止頻率為25Hz的 四階Butterworth低通濾波器對(duì)EOG信號(hào)進(jìn)行低通濾波，然后采用截止頻率為0. IHz的四 階Butterworth高通濾波器對(duì)EOG信號(hào)進(jìn)行高通濾波；步驟2)中對(duì)EEG信號(hào)進(jìn)行預(yù)處理的 具體操作為：對(duì)EEG信號(hào)依次進(jìn)行合并眼電、直流偏移校正、合并行為數(shù)據(jù)、去除基線漂移 及去除眼電偽跡。
[0034] 3)根據(jù)步驟2)得到的EEG信號(hào)確定針對(duì)用戶的特征導(dǎo)聯(lián)和特征節(jié)律，再采用共空 間模式算法從用戶的特征導(dǎo)聯(lián)和特征節(jié)律提取腦電空間特征，并訓(xùn)練共空間模式特征提取 濾波器，然后采用小世界神經(jīng)網(wǎng)絡(luò)算法對(duì)提取的腦電空間特征進(jìn)行運(yùn)動(dòng)想象分類，得分類 結(jié)果，然后根據(jù)分類結(jié)果訓(xùn)練獲得運(yùn)動(dòng)想象模式分類器；
[0035] 需要說明的是，EEG信號(hào)的特征節(jié)律與導(dǎo)聯(lián)選擇分析中，首先對(duì)所有EEG信號(hào)進(jìn)行 平均參考（Common Average Reference，CAR)空間濾波，然后以2Hz為帶寬，將0. l_60Hz的 頻帶等份劃分，形成30個(gè)10階切比雪夫I帶通濾波器，在四中運(yùn)動(dòng)想象中兩兩取對(duì)，獲得 /、項(xiàng)對(duì)比（右手Vs左手，雙腳Vs舌，左手Vs雙腳，左手Vs舌，右手Vs雙腳，右手Vs舌），并 計(jì)算各對(duì)比條件下，以導(dǎo)聯(lián)為行標(biāo)度，以頻帶為列標(biāo)度的確定系數(shù)R2矩陣，最終根據(jù)確定 系數(shù)值分布，結(jié)合運(yùn)動(dòng)想象事件相關(guān)同步/去同步（event-related desynchronizaiton， ERD/event-related synchronization, ERS)先驗(yàn)知識(shí)，確定針對(duì)用戶的特征導(dǎo)聯(lián)和特征節(jié) 律。
[0036] 采用共空間模式算法（One Versus the Rest CSP，0VR)從用戶的特征導(dǎo)聯(lián)和特征 節(jié)律進(jìn)行特征提取，并訓(xùn)練共空間模式特征提取濾波器。
[0037] 以下對(duì)小世界神經(jīng)網(wǎng)絡(luò)算法進(jìn)行介紹
[0038] 運(yùn)動(dòng)想象分類采用小世界神經(jīng)網(wǎng)絡(luò)算法，其結(jié)構(gòu)上是處于規(guī)則型和隨機(jī)型神經(jīng) 網(wǎng)絡(luò)之間的網(wǎng)絡(luò)模型-多層前向小世界神經(jīng)網(wǎng)絡(luò)MFSWNN(Multi layer Forward Smal 1-World Neural Network)，并以反向傳播為學(xué)習(xí)規(guī)則?；赪atts-Strogatz網(wǎng)絡(luò)模型的 構(gòu)造思想，對(duì)多層規(guī)則神經(jīng)網(wǎng)絡(luò)中的連接依重連概率P進(jìn)行重連，構(gòu)建一種多層前向小世 界神經(jīng)網(wǎng)絡(luò)模型，有關(guān)該模型特征參數(shù)的分析表明，當(dāng)0 < P < 1時(shí)，該網(wǎng)絡(luò)模型是一種有 別于Watts-Strogatz模型的小世界網(wǎng)絡(luò)模型。將網(wǎng)絡(luò)模型進(jìn)行六元組建模，經(jīng)驗(yàn)證一定量 的重連有助于提高網(wǎng)絡(luò)的搜索性能，且與規(guī)則連接的網(wǎng)絡(luò)相比，具有更優(yōu)的時(shí)間復(fù)雜性。
[0039] MFSWNN模型中各個(gè)神經(jīng)元為圖的節(jié)點(diǎn)，神經(jīng)元之間的連接為圖的邊，一個(gè)多層前 向小世界神經(jīng)網(wǎng)絡(luò)可用下式所示的六元組模型來描述：
[0040] MFSWNNan = <V, ff, X, Y, Z, A>
[0041] 其中，V為節(jié)點(diǎn)集合，W為連接矩陣，X為輸入向量，Y為輸出向量，A為實(shí)現(xiàn)算法。
[0042] 實(shí)現(xiàn)算法A :輸入向量前向傳輸，每個(gè)神經(jīng)元的激活函數(shù)采用非線性Sigmoid函 數(shù)，得到輸出向量，然后根據(jù)誤差對(duì)權(quán)值的偏導(dǎo)信息，調(diào)節(jié)神經(jīng)元間的連接權(quán)重，實(shí)現(xiàn)輸入 到輸出的映射：χ - γ。反向傳播（Back-Propagation)權(quán)值修正算法的學(xué)習(xí)的目是使誤差 能量函數(shù)值趨近于〇,從而實(shí)現(xiàn)復(fù)雜問題的網(wǎng)絡(luò)表達(dá)，算法包括前向計(jì)算和反向傳播兩個(gè) 過程。其中隱層神經(jīng)元激活函數(shù)采用單極性Sigmoid函數(shù)( · ) (0 < ( · ) < 1)，輸出 層神經(jīng)元取雙極性Sigmoid函數(shù)f2 ( · ) (-1 < f2 ( · ) < 1)，則該神經(jīng)元的輸出為 「 ^ ,,、?)) 1<I<L
[0043] J;(")= ,
[./"、+(?)) I = L
[0044] 反向誤差傳播過程中權(quán)值的修改量為

【權(quán)利要求】
1. 一種多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，其特征在于，包括以下 步驟： 1) 用戶根據(jù)提示信號(hào)進(jìn)行所有運(yùn)動(dòng)想象及所有眼睛運(yùn)動(dòng)，采集用戶的EOG信號(hào)及EEG 信號(hào)，然后對(duì)所述EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大及數(shù)模轉(zhuǎn)換； 2) 存儲(chǔ)步驟1)得到的EOG信號(hào)及EEG信號(hào)，并對(duì)EOG信號(hào)及EEG信號(hào)分別進(jìn)行預(yù)處 理； 3) 根據(jù)步驟2)得到的EEG信號(hào)確定針對(duì)用戶的特征導(dǎo)聯(lián)和特征節(jié)律，再采用共空間模 式算法從用戶的特征導(dǎo)聯(lián)和特征節(jié)律提取腦電空間特征，并訓(xùn)練共空間模式特征提取濾波 器，然后采用小世界神經(jīng)網(wǎng)絡(luò)算法對(duì)提取的腦電空間特征進(jìn)行運(yùn)動(dòng)想象分類，得分類結(jié)果， 然后根據(jù)分類結(jié)果訓(xùn)練獲得運(yùn)動(dòng)想象模式分類器； 4) 對(duì)步驟2)得到的EOG信號(hào)中的水平EOG信號(hào)及垂直EOG信號(hào)進(jìn)行中值濾波去噪，消 除EOG信號(hào)中垂直EOG信號(hào)內(nèi)的無意識(shí)眨眼信號(hào)，并對(duì)EOG信號(hào)中的垂直EOG信號(hào)進(jìn)行有 意識(shí)單眨眼分量及雙眨眼分量的提取分離，得眨眼模式識(shí)別結(jié)果； 5) 控制外接設(shè)備時(shí)，用戶根據(jù)提示信號(hào)進(jìn)行相應(yīng)運(yùn)動(dòng)想象及眼睛運(yùn)動(dòng)，采集用戶當(dāng)前 的EOG信號(hào)及EEG信號(hào)，并對(duì)用戶當(dāng)前的EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大及數(shù)模轉(zhuǎn) 換，再對(duì)用戶當(dāng)前的EOG信號(hào)及用戶當(dāng)前的EEG信號(hào)分別進(jìn)行預(yù)處理； 6) 通過用戶的特征導(dǎo)聯(lián)和特征節(jié)律篩選出用戶當(dāng)前EEG信號(hào)的頻帶分量，再通過共空 間模式特征提取濾波器對(duì)用戶當(dāng)前EEG信號(hào)的頻帶分量進(jìn)行空間特征提取，并根據(jù)所述空 間特征通過小世界神經(jīng)網(wǎng)絡(luò)分類器進(jìn)行模式判別，得到用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果，然 后根據(jù)用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn)行控制；同時(shí)，對(duì)用戶當(dāng)前的EOG信號(hào)進(jìn)行峰 值分析，得用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果，然后根據(jù)用戶當(dāng)前EOG信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn) 行控制。
2. 根據(jù)權(quán)利要求1所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，其特 征在于， 步驟1)中所述所有運(yùn)動(dòng)想象包括左手運(yùn)動(dòng)想象、右手運(yùn)動(dòng)想象、雙腳運(yùn)動(dòng)想象及舌部 運(yùn)動(dòng)想象； 步驟1)中所述所有眼睛運(yùn)動(dòng)包括單次眨眼、雙刺眨眼、眼睛縱向掃視及眼睛橫向掃 視； 步驟1)中通過25個(gè)電極采集EEG信號(hào)，通過4個(gè)眼電電極采集用戶的EOG信號(hào)，所述 25個(gè)電極及眼電電極均為銀/氯化銀（Ag/AgCl)合金電極，且所述25個(gè)電極及眼電電極的 阻抗均小于5k Q ; 步驟1)中通過信號(hào)放大器對(duì)EOG信號(hào)及EEG信號(hào)分別依次進(jìn)行放大，其中，所述信號(hào) 放大器為NeuroScan，Inc.提供的NuAmps40導(dǎo)放大器，配套上位機(jī)系統(tǒng)為scan 4. 5 ; 步驟1)中通過16位數(shù)模轉(zhuǎn)換器對(duì)EOG信號(hào)及EEG信號(hào)進(jìn)行數(shù)模轉(zhuǎn)換。
3. 根據(jù)權(quán)利要求1所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，其特 征在于， 步驟2)中對(duì)E0G信號(hào)進(jìn)行預(yù)處理的具體操作為：先采用截止頻率為25Hz的四階 Butterworth低通濾波器對(duì)E0G信號(hào)進(jìn)行低通濾波，然后采用截止頻率為0. 1Hz的四階 Butterworth高通濾波器對(duì)E0G信號(hào)進(jìn)行高通濾波； 步驟5)中對(duì)用戶當(dāng)前的EOG信號(hào)進(jìn)行預(yù)處理的具體操作為：先采用截止頻率為25Hz 的四階Butterworth低通濾波器對(duì)用戶當(dāng)前的E0G信號(hào)進(jìn)行低通濾波，然后采用截止頻率 為0. 1Hz的四階Butterworth高通濾波器對(duì)用戶當(dāng)前的E0G信號(hào)進(jìn)行高通濾波。
4. 根據(jù)權(quán)利要求1所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，其特 征在于， 步驟2)中對(duì)EEG信號(hào)進(jìn)行預(yù)處理的具體操作為：對(duì)EEG信號(hào)依次進(jìn)行合并眼電、直流 偏移校正、合并行為數(shù)據(jù)、去除基線漂移及去除眼電偽跡； 步驟5)中對(duì)用戶當(dāng)前的EEG信號(hào)進(jìn)行預(yù)處理的具體操作為：對(duì)用戶當(dāng)前的EEG信號(hào)依 次進(jìn)行合并眼電、直流偏移校正、合并行為數(shù)據(jù)、去除基線漂移及去除眼電偽跡。
5. 根據(jù)權(quán)利要求1所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，其特 征在于，步驟6)中根據(jù)用戶當(dāng)前E0G信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn)行控制的具體過程為：先將 用戶當(dāng)前E0G信號(hào)的識(shí)別結(jié)果進(jìn)行格式化輸出，使用戶當(dāng)前E0G信號(hào)的識(shí)別結(jié)果轉(zhuǎn)化為電 腦的控制命令，然后通過所述電腦的控制命令對(duì)電腦進(jìn)行控制。
6. 根據(jù)權(quán)利要求1所述的多模態(tài)非植入式腦機(jī)接口技術(shù)支撐下的人機(jī)交互方法，其特 征在于，步驟6)中根據(jù)用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果對(duì)電腦進(jìn)行控制的具體過程為：先將 用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果進(jìn)行格式化輸出，使用戶當(dāng)前EEG信號(hào)的識(shí)別結(jié)果轉(zhuǎn)化為電 腦的控制命令，然后通過所述電腦的控制命令對(duì)電腦進(jìn)行控制。
【文檔編號(hào)】G06F3/01GK104360730SQ201410408877
【公開日】2015年2月18日 申請(qǐng)日期:2014年8月19日 優(yōu)先權(quán)日:2014年8月19日
【發(fā)明者】張進(jìn)華, 洪軍, 李婷, 王寶增, 蔚炯堅(jiān) 申請(qǐng)人:西安交通大學(xué)