一種假手柔順抓取操作的串行多模態(tài)腦控方法
【技術領域】
[0001] 本發(fā)明涉及智能機器人領域，具體涉及一種假手柔順抓取操作的串行多模態(tài)腦控 方法。
【背景技術】
[0002] 腦-機接口技術建立了腦電信號與計算機兩者間的直接聯(lián)系，隨著國內外腦-機接 口技術的不斷發(fā)展，腦控技術這一新概念應運而生。"腦控"技術是以腦-機接口技術為基 礎，通過提取人或動物的腦皮層產生的EEG信號，來推測大腦的思維活動，并將之翻譯成相 應的命令來控制外圍的計算機或其它機電設備，以實現(xiàn)對人或動物的外圍設備的意念控 制。
[0003] 混合腦控技術是在傳統(tǒng)腦控技術的基礎上提出的新研究方向，它在單一腦控系統(tǒng) 的基礎上，加入新的生理電信號，從而得到混合腦控系統(tǒng)。其中，新的生理電信號包括眼電、 心電、血流變換等信號模式。混合腦控方法根據(jù)其控制順序的不同可分為串行控制模式和 并行控制模式，其中，基于串行模式的混合腦控方法可以實現(xiàn)兩種腦電信號的協(xié)同控制，增 加其控制目標，在提升系統(tǒng)可靠性的同時，減少了系統(tǒng)的誤操作。
[0004] 目前，混合腦控技術在殘疾人神經功能輔助方面的研究尚處于起步階段，尤其是 在腦控假手技術方面。專利CN201110196026.4公開了一種基于多模態(tài)腦機接口的智能輪椅 的控制系統(tǒng)，專利CN 201110268891.5公開了一種多模態(tài)腦機接口的自動車控制方法，上述 發(fā)明專利均未涉及到假手的多模態(tài)混合腦控方法?；诖?，本發(fā)明提出了一種假手柔順抓 取操作過程的串行多模態(tài)腦控方法與裝置，以解決假手柔順抓取操作過程中腦控系統(tǒng)的連 續(xù)性、準確性以及可靠性等關鍵問題。

【發(fā)明內容】

[0005] 本發(fā)明針對現(xiàn)有腦電信號控制假手方法的基礎上，以提高假手柔順抓取操作過程 中腦控系統(tǒng)的正確率為目的，提供了一種假手柔順抓取操作的串行多模態(tài)腦控方法。
[0006]為達到以上目的，本發(fā)明的技術方案是這樣實現(xiàn)的：
[0007] -種假手柔順抓取操作的串行多模態(tài)腦控方法，包括下述步驟：
[0008] 1、事先在場景動畫視覺誘發(fā)模塊中植入基于殘疾人手喝水過程分解的四個具有 連續(xù)性的動作場景圖像，每一個動作場景圖像經過灰度處理后，分別得到兩張黑白分明的 反轉色圖片，交替變化呈現(xiàn)在受試者面前進行視覺誘發(fā);其中，不同動作場景中的反轉色圖 片采用不同頻率的脈寬調制。所述兩張黑白分明的反轉色圖片交替變化的頻率，也即閃爍 頻率與該組圖片的脈寬調制頻率相同，所述脈寬頻率調制范圍為2-30HZ。
[0009] 所述的場景動畫視覺誘發(fā)模塊為計算機顯示器、電視屏幕、手機或平板電腦之一。 [0010] 2、受試者通過四種主動表情驅動下產生的腦電信號來控制假手完成動作的開始、 動作的結束、返回上一個動作、及進入下一個動作的基本動作類型選擇；
[0011]所述提眉對應于假手動作的開始、皺眉對應于假手動作的結束、左撇嘴對應于假 手返回上一個動作的轉換、右撇嘴對應于假手進行下一個動作的轉換。
[0012] 四種主動表情驅動分別為提眉、皺眉、左撇嘴、右撇嘴，每種表情在驅動過程中至 少重復二次；
[0013] 3、受試者通過注視四個不同場景動畫視覺誘發(fā)畫面來控制假手完成四種基本動 作過程；
[0014] 4、采集受試者側額葉皮質區(qū)F7、F8通道和枕葉區(qū)的01、02通道腦電信號；
[0015] 5、對采集到的腦電信號進行放大和帶通濾波預處理，所述濾波范圍為4-40HZ;
[0016] 6、經帶通濾波后的腦電信號包含由主動表情驅動下產生的alpha頻帶特征信息以 及由場景動畫視覺誘發(fā)畫面產生的穩(wěn)態(tài)視覺誘發(fā)電位特征信息。采用小波變換模均值的方 法提取由主動表情驅動產生的F7、F8通道腦電信號時頻域特征，采用快速傅里葉變換的方 法提取場景動畫視覺誘發(fā)產生的01、〇2通道腦電信號時頻域特征。
[0017] 7、根據(jù)時頻域特征值，采用前向反饋神經網(wǎng)絡算法，通過串行分析的順序依次判 斷假手的四個基本動作類型及四個基本動作過程。
[0018] 所述的串行分析順序為首先進行由主動表情驅動下產生的腦電信號時頻域特征 判斷假手的基本動作類型；在確定了假手的基本動作類型后，進行由場景動視覺誘發(fā)畫面 產生的腦電信號時頻域特征，判斷假手的基本動作過程。
[0019] 8、假手控制器根據(jù)步驟7的判斷結果控制假手完成基本動作類型或基本動作過 程。
[0020] 本發(fā)明針對傳統(tǒng)單一范式下腦電信號控制假手，其優(yōu)越性在于：
[0021] 1、本發(fā)明采用的串行多模態(tài)腦控方法，可有效提高假手腦控系統(tǒng)的信息傳輸率與 準確性，降低了整個系統(tǒng)的誤操作率，實現(xiàn)假手完整抓取動作的柔順控制。
[0022] 2、傳統(tǒng)的腦控假手，往往只能實現(xiàn)動作過程的控制，并不能有效的實現(xiàn)假手動作 的起、停與動作切換。本發(fā)明提供的串行多模態(tài)腦控方法提供了四個有效的動作類型選擇 指令與四個有效的動作過程選擇指令，這對假手的實時性需求非常重要。
【附圖說明】
[0023]圖1腦電采集通道分布圖根據(jù)場景動畫視覺誘發(fā)及主動表情驅動產生機理圖。
[0024] 圖2為基于場景動畫視覺誘發(fā)的示意圖。其中，（a)為手張開示意圖；（b)為手抓握 不意圖；（c)為腕內旋不意圖；（d)為腕外旋不意圖。每種場景中，左側為動作場景；中間和右 側分別為經過灰度處理后的兩張黑白分明反轉色圖片。
[0025] 圖3為場景動畫視覺誘發(fā)刺激界面圖。
[0026] 其中，（a)為手張開圖；（b)為手抓握圖；（c)為腕內旋圖；（d)為腕外旋圖。
[0027]圖4為本發(fā)明的算法流程圖。
[0028] 其中(a)為控制方法流程框圖；（b)為控制裝置結構框圖。
【具體實施方式】
[0029] 下面結合附圖及實施例對本發(fā)明作進一步說明。
[0030] 參考圖1、圖4(b)，圖1中，采集受試者頭部枕葉區(qū)的01、02位置和位于側額葉皮質 區(qū)的F7、F8位置腦電信號，選用雙側耳后位置放置參考電極。本發(fā)明涉及的一種假手柔順抓 取操作的串行多模態(tài)腦控裝置包括置于受試者頭部的腦電信號采集模塊310,置于受試者 面前的場景動畫視覺誘發(fā)模塊370。優(yōu)先采用便攜化16通道無線腦電采集設備，選取國際標 準10/20下位于枕葉區(qū)的Ol、02位置與位于側額葉皮質區(qū)的F7、F8位置的腦電信號。腦電信 號采集模塊對采集到的腦電信號進行放大、濾波之后通過藍牙傳輸模塊320,將其送入便攜 化的信號處理模塊330。
[0031]信號處理模塊330接收經由通信模塊340傳來的腦電信號，進行串行多模態(tài)腦電信 號的識別方法。采用小波變換模均值方法與快速傅里葉變換的方法提取特征值向量，采用 BP神經網(wǎng)絡方法識別假手的四種基本動作類型與四種基本動作過程。信號處理模塊可選用 隨身攜帶的嵌入式微處理器。通信模塊將識別結果通過藍牙技術傳輸給假手的控制驅動模 塊。假手的控制驅動模塊350由電機控制子模塊與電機驅動子模塊組成。接收經由通信模塊 傳輸?shù)募偈只緞幼黝愋妥R別結果。識別結果傳給電機控制子模塊后轉換為〇，1電平控制 指令傳給電機驅動子模塊。電機驅動子模塊根據(jù)電平控制指令，控制假手360完成四種基本 動作。如識別結果為假手的抓握動作，則控制驅動模塊驅動假手完成抓握動作。假手360根 據(jù)控制驅動模塊350傳來的動作指令，帶動不同電機轉動，最終實現(xiàn)假手的四種基本動作。
[0032] 參考圖2、圖3本發(fā)明的場景動畫視覺誘發(fā)刺激界面圖，由殘疾人喝水的四個具有 連續(xù)性的場景動作組成，本實施例中，四個不同動作的場景圖像分別為手張開、手抓握、腕 內旋、腕外旋動作，其脈寬調制頻率分別為8Hz、I OHz、12Hz、15Hz。
[0033] 參考圖4(a)，本發(fā)明涉及的一種假手柔順抓取操作的串行多模態(tài)腦控方法，當受 試者進行主動表情驅動及場景動畫視覺誘發(fā)時，腦電采集設備采集側額葉皮質區(qū)F7、F8通 道和枕葉區(qū)01、02通道腦電信號，進行放大和帶通濾波預處理。信號處理設備提取預處理后 的腦電信號的時頻域特征值，并根據(jù)串行控制方法判斷四種主動表情驅動下產生的腦電信 號對應的假手基本動作類型以及由四個不同場景動畫視覺誘發(fā)畫面產生的腦電信號對應 的假手基本動作過程的時頻域特征值。最后，根據(jù)識別結果控制假手完成四種基本動作。具 體包括下述步驟：
[0034] (1)參考圖2與圖3,事先在場景穩(wěn)態(tài)視覺誘發(fā)模塊中植入殘疾人取杯喝水的四個 具有連續(xù)性的分解動作的場景圖像(左側那一張），呈現(xiàn)在受試者面前進行視覺誘發(fā)，每一 個動作場景圖像，經過灰度處理后，分別得到兩張黑白分明的反轉色圖片（中間及右側）形 成的兩張黑白分明的反轉色圖片不斷交替變化，用以對受試者視覺的刺激，誘發(fā)受試者的 操作意圖，進行假手動作的判斷。本實施例中，四個不同動作的場景圖像分別為手張開、手 抓握、腕內旋、腕外旋動作過程。
[0035] (2)受試者做出提眉、皺眉、左撇嘴、右撇嘴、四種簡單表情之一或注視場景動畫視 覺誘發(fā)模塊，同步采集?7』8、01、02位置腦電信號。本實施例中，假手的四種基本動作類型 為動作的開始、動作的結束、返回上一個動作、及進入下一個動作;假手的四種基本動作過 程分別為手張開、手抓握、腕內旋、腕外旋。
[0036] (3)對采集到的腦電信號進行預處理。在本實施例中，對采集到的腦電信號首先進 行放大，共同平均參考后，在進行4 - 40Hz的帶通濾波。
[0037] (4)提取所采集到的腦電信號的時頻域特征值。參考圖4(a)，采用假手的串行分析 方法，首先進行假手的四種基本動作類型的判斷。采用小波變換模均值方法，提取F7、F8通 道的主動表情驅動腦電信號alpha頻帶特征值，進行特征判斷，當判斷結果為包含主動表情 驅動腦電信號的特征向量后，將該特征向量輸入分類器中，進行假手基本動作類型的判斷。
[0038]當判斷結果為不包含主動表情驅動腦電信號的特征向量后，進入第二級判斷，進 行假手動作過程的判斷。首先對〇1、〇2通道的腦電信號進行2-30的帶通濾波，采用快速傅里 葉變換方法，提取場景動畫視覺誘發(fā)所產生的穩(wěn)態(tài)視覺誘發(fā)電位幅值特征并輸入分類器中 進行判斷，輸入四種基本動作過程，四種基本動作識別結果如表1所示。
[0039] 表1腦電識別結果

[0041] (5)假手的驅動控制模塊根據(jù)判斷結果控制假手完成基本動作類型或基本動作過 程。
[0042] (6)假手完成基本動作后，可通過視覺信息與生物感知，實現(xiàn)反饋。
[0043] 上述實施例只是為了說明本發(fā)明的技術構思及特點，其目的在于讓熟悉此項技術 的人是能夠了解本發(fā)明的內容并據(jù)以實施，并不能以此限制本發(fā)明的保護范圍。
【主權項】
1. 一種假手柔順抓取操作的串行多模態(tài)腦控方法，其特征在于，按以下步驟進行： 1) 事先在場景動畫視覺誘發(fā)模塊中植入基于殘疾人手喝水過程分解的四個具有連續(xù) 性的動作場景圖像，每一個動作場景圖像經過灰度處理后，分別得到兩張黑白分明的反轉 色圖片，交替變化呈現(xiàn)在受試者面前進行視覺誘發(fā);其中，不同動作場景中的反轉色圖片采 用不同頻率的脈寬調制，所述兩張黑白分明的反轉色圖片交替變化的頻率，也即閃爍頻率 與該組圖片的脈寬調制頻率相同，所述脈寬頻率調制范圍為2-30HZ; 2) 受試者通過四種主動表情驅動下產生的腦電信號來控制假手完成動作的開始、動作 的結束、返回上一個動作、及進入下一個動作的基本動作類型選擇； 提眉對應于假手動作的開始、皺眉對應于假手動作的結束、左撇嘴對應于假手返回上 一個動作的轉換、右撇嘴對應于假手進行下一個動作的轉換； 所述四種主動表情驅動分別為提眉、皺眉、左撇嘴、右撇嘴，每種表情在驅動過程中至 少重復二次； 3) 受試者通過注視四個不同場景動畫視覺誘發(fā)畫面來控制假手完成四種基本動作過 程； 4) 采集受試者側額葉皮質區(qū)F7、F8通道和枕葉區(qū)的01、02通道腦電信號； 5) 對采集到的腦電信號進行放大和帶通濾波預處理，所述濾波范圍為4-40HZ; 6) 經帶通濾波后的腦電信號包含由主動表情驅動下產生的alpha頻帶特征信息以及由 場景動畫視覺誘發(fā)畫面產生的穩(wěn)態(tài)視覺誘發(fā)電位特征信息，采用小波變換模均值的方法提 取由主動表情驅動產生的F7、F8通道腦電信號時頻域特征，采用快速傅里葉變換的方法提 取場景動畫視覺誘發(fā)產生的01、〇2通道腦電信號時頻域特征； 7) 根據(jù)時頻域特征值，采用前向反饋神經網(wǎng)絡算法，通過串行分析的順序依次判斷假 手的四個基本動作類型及四個基本動作過程； 8) 假手控制器根據(jù)步驟(7)的判斷結果控制假手完成基本動作類型或基本動作過程。2. 根據(jù)權利要求1所述的一種假手柔順抓取操作的串行多模態(tài)腦控方法，其特征在于， 所述的場景動畫視覺誘發(fā)模塊為計算機顯示器、電視屏幕、手機或平板電腦之一。3. 根據(jù)權利要求1所述的一種假手柔順抓取操作的串行多模態(tài)腦控方法，其特征在于， 所述的串行分析順序為首先進行由主動表情驅動下產生的腦電信號時頻域特征判斷假手 的基本動作類型；在確定了假手的基本動作類型后，進行由場景動視覺誘發(fā)畫面產生的腦 電信號時頻域特征，判斷假手的基本動作過程。
【專利摘要】本發(fā)明公開了一種假手柔順抓取操作的串行多模態(tài)腦控方法，當受試者進行主動表情驅動及場景動畫視覺誘發(fā)時，腦電采集設備采集側額葉皮質區(qū)F7、F8通道和枕葉區(qū)O1、O2通道腦電信號，進行放大和帶通濾波預處理。信號處理設備提取預處理后的腦電信號的時頻域特征值，并根據(jù)串行控制方法判斷四種主動表情驅動，產生的腦電信號對應的假手基本動作類型以及由四個不同場景動畫視覺誘發(fā)畫面產生的腦電信號對應的假手基本動作過程的時頻域特征值。最后，根據(jù)識別結果控制假手完成四種基本動作。
【IPC分類】A61F2/72
【公開號】CN105708586
【申請?zhí)枴緾N201510988443
【發(fā)明人】張小棟, 李睿, 賴知法, 張黎明, 陸竹風, 劉暢, 馬偉光, 尹貴
【申請人】西安交通大學