基于情緒感知的運動康復(fù)機器人交互控制方法
【專利摘要】本發(fā)明提供一種非侵入式的基于情緒感知的運動康復(fù)機器人交互控制方法，該方法以機器人輔助康復(fù)訓練過程中患者“挫敗”、“興奮”及“厭煩”三類情緒為目標情緒狀態(tài)，其具體實現(xiàn)包括如下步驟：獲取康復(fù)訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號；從生理響應(yīng)信號中分析出反應(yīng)目標情緒變化的生理信號重要特征及其組合；根據(jù)分析得到的目標情緒生理響應(yīng)特征及其組合，設(shè)計分類器識別目標情緒狀態(tài)；以及根據(jù)識別到的患者目標情緒狀態(tài)，設(shè)計與患者目標情緒變化相一致的閉環(huán)自適應(yīng)人機交互控制方法。利用本發(fā)明的方法，可克服現(xiàn)有的機器人輔助康復(fù)人機交互協(xié)作訓練方法主要以感知患者主動“運動”參與為主的局限。
【專利說明】基于情緒感知的運動康復(fù)機器人交互控制方法
[0001]

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及康復(fù)機器人傳感與治療控制領(lǐng)域，尤其是關(guān)于一種基于情緒感知的運 動康復(fù)機器人交互控制方法。

【背景技術(shù)】
[0003] 現(xiàn)代社會隨著世界各國相繼進入老齡化，在老齡化過程中會產(chǎn)生大量的腦卒中或 中風病患者，此類患者通常由于腦血管血栓或腦血管破裂出血而導致腦供血中斷，從而使 相應(yīng)的運動、感覺和認知等功能遭到喪失或受到損害?，F(xiàn)代神經(jīng)康復(fù)醫(yī)學及其臨床研究結(jié) 果表明中樞神經(jīng)系統(tǒng)具有高度的可塑性，對因腦卒中等疾病引起的肢體功能障礙，通過科 學合理的康復(fù)治療訓練可以在一定程度上恢復(fù)其受損的肢體功能。
[0004] 康復(fù)機器人技術(shù)是近年來發(fā)展起來的一種新的運動神經(jīng)康復(fù)治療技術(shù)，在機器人 輔助患者運動康復(fù)治療過程中，患者的主動參與對提高康復(fù)訓練效果具有至關(guān)重要的作 用。基于患者主動參與意識的機器人輔助康復(fù)治療研究，目前主要集中在"基于生物力學的 主動運動交互控制"和"基于生物電的主動運動交互控制"兩個方面，患者與康復(fù)機器人之 間的交互協(xié)作主要是以感知患者主動"運動"參與為主。在傳統(tǒng)康復(fù)治療方法中，康復(fù)醫(yī)師 除了能感受到患者主動"運動"參與外，還能夠觀察到患者對不同難度訓練任務(wù)所表現(xiàn)出來 的高興、厭煩和挫敗等情緒變化，并根據(jù)情緒變化及時調(diào)整自己的訓練行為。由情緒心理學 可知，訓練過程中患者表現(xiàn)出來的情緒反應(yīng)是一種以患者主觀參與感受的變化為特征的心 理活動過程。為使患者與康復(fù)機器人之間的交互控制更加和諧自然，研究人員自然地期望 機器人能像康復(fù)醫(yī)師那樣，實時感知訓練過程中患者情緒的變化，并根據(jù)情緒變化實時調(diào) 整機器人輔助訓練行為。由此可見，從患者主動"心理"參與角度，研究一種基于情緒感知 的運動康復(fù)機器人交互控制方法，將進一步完善和提高人機協(xié)作康復(fù)訓練技術(shù)水平，具有 重要的學術(shù)意義和實際應(yīng)用價值。


【發(fā)明內(nèi)容】

[0005] 本發(fā)明目的在于提供一種基于情緒感知的運動康復(fù)機器人交互控制方法，以機器 人輔助康復(fù)訓練過程中患者"挫敗"、"興奮"及"厭煩"三類情緒為目標情緒狀態(tài)，其具體實 現(xiàn)包括如下步驟： 步驟1、獲取康復(fù)訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號； 步驟2、情緒生理響應(yīng)特征分析：從生理響應(yīng)信號中分析出反應(yīng)目標情緒變化的生理 信號重要特征及其組合； 步驟3、患者目標情緒狀態(tài)識別：根據(jù)分析得到的目標情緒生理響應(yīng)特征及其組合，設(shè) 計分類器識別目標情緒狀態(tài)； 步驟4、基于目標情緒的人機交互控制：根據(jù)識別到的患者目標情緒狀態(tài)，設(shè)計與患者 目標情緒變化相一致的閉環(huán)自適應(yīng)人機交互控制方法。
[0006] 進一步的實施例中，前述的步驟1中，通過采用心理生理測量方法設(shè)計情緒生理 測量實驗，以獲取訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號。
[0007] 進一步的實施例中，前述步驟2中，情緒生理響應(yīng)特征分析包括以下步驟： (1) 分別從患者心電、皮電、體溫等生理響應(yīng)信號中提取各自均值、方差作為目標情緒 生理響應(yīng)特征； (2) 采用"兩因素混合設(shè)計及其方差分析"方法，從統(tǒng)計意義上分析出能反應(yīng)目標情緒 變化的生理信號重要特征及其組合。
[0008] 進一步的實施例中，前述步驟3中，采用支持向量機方法設(shè)計目標情緒分類器。
[0009] 進一步的實施例中，前述步驟4中，采用QV強化學習方法設(shè)計與患者目標情緒變 化相一致的閉環(huán)自適應(yīng)人機交互控制器。
[0010] 由以上本發(fā)明的技術(shù)方案可知，本發(fā)明的有益效果在于： (1)相對于現(xiàn)有"基于生物力學的主動運動交互控制方法"和"基于生物電的主動運動 交互控制方法"，"基于情緒感知的運動康復(fù)機器人交互控制方法"的最大優(yōu)點在于該方法 是從"心理"層次感知患者主動參與意愿，克服了現(xiàn)有的機器人輔助康復(fù)人機交互協(xié)作訓練 方法主要以感知患者主動"運動"參與為主的局限。
[0011] (2)采用"心理生理測量方法"感知患者情緒變化，相較目前常用的"面部表情"、 "語音信號分析"和"身體姿態(tài)"等情緒識別方法，對伴有面部表情呆滯、發(fā)音不清以及肢體 障礙等常見臨床特征的中風患者群體，它受主/被試主觀因素影響較小，是一種非侵入式、 檢測手段方便且易于被患者接受的客觀量化情緒狀態(tài)的研究方法。

【專利附圖】

【附圖說明】
[0012] 圖1是本發(fā)明提出的基于情緒感知的運動康復(fù)機器人交互控制方法的框圖。
[0013] 圖2是虛擬康復(fù)訓練任務(wù)在情緒二維空間描述示意圖。
[0014] 圖3是情緒生理測量實驗過程示意圖。
[0015] 圖4是基于"兩因素混合設(shè)計及其方差分析"方法的情緒生理響應(yīng)特征分析流程 圖。
[0016] 圖5是目標情緒分類結(jié)果。
[0017] 圖6是基于目標情緒識別的機器人輔助康復(fù)人機交互控制結(jié)果。

【具體實施方式】
[0018] 為了更好地了解本發(fā)明的技術(shù)內(nèi)容，特舉具體實施例并配合【專利附圖】

【附圖說明】如下。
[0019] 如圖1所示，根據(jù)本發(fā)明的較優(yōu)實施例，一種基于情緒感知的運動康復(fù)機器人交 互控制方法，以機器人輔助康復(fù)訓練過程中患者"挫敗"、"興奮"及"厭煩"三類情緒為目標 情緒狀態(tài)，其具體實現(xiàn)包括如下步驟： 步驟1、獲取康復(fù)訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號； 步驟2、情緒生理響應(yīng)特征分析：從生理響應(yīng)信號中分析出反應(yīng)目標情緒變化的生理 信號重要特征及其組合； 步驟3、患者目標情緒狀態(tài)識別：根據(jù)分析得到的目標情緒生理響應(yīng)特征及其組合，設(shè) 計分類器識別目標情緒狀態(tài)； 步驟4、基于目標情緒的人機交互控制：根據(jù)識別到的患者目標情緒狀態(tài)，設(shè)計與患者 目標情緒變化相一致的閉環(huán)自適應(yīng)人機交互控制方法。
[0020] 進一步的實施例中，前述的步驟1中，通過采用心理生理測量方法設(shè)計情緒生理 測量實驗，以獲取訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號。
[0021] 進一步的實施例中，前述步驟2中，情緒生理響應(yīng)特征分析包括以下步驟： (1) 分別從患者心電、皮電、體溫等生理響應(yīng)信號中提取各自均值、方差作為目標情緒 生理響應(yīng)特征； (2) 采用"兩因素混合設(shè)計及其方差分析"方法，從統(tǒng)計意義上分析出能反應(yīng)目標情緒 變化的生理信號重要特征及其組合。
[0022] 進一步的實施例中，前述步驟3中，采用支持向量機方法設(shè)計目標情緒分類器。
[0023] 進一步的實施例中，前述步驟4中，采用QV強化學習方法設(shè)計與患者目標情緒變 化相一致的閉環(huán)自適應(yīng)人機交互控制器。
[0024] 下面結(jié)合附圖2-6所示，詳細說明上述各步驟的具體實施示例。
[0025] 前述的步驟1中，優(yōu)先地，通過采用心理生理測量方法設(shè)計情緒生理測量實驗，以 獲取訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號。
[0026] 具體實現(xiàn)包括以下過程： (1) 實驗任務(wù)設(shè)計：以現(xiàn)有的飛思卡爾比賽電磁組"兩輪自平衡車模"為原型，基于虛擬 現(xiàn)實技術(shù)構(gòu)建"兩輪平衡車直立行走"虛擬訓練環(huán)境，并通過改變車體傾倒速度設(shè)計"過挑 戰(zhàn)（Overchallenge, 0〇，'、"欠挑戰(zhàn)（Underchallenge, UC)，'和"挑戰(zhàn)（（Challenge, CH))" 三類難度不同的康復(fù)訓練任務(wù)，如圖2所示為虛擬康復(fù)訓練任務(wù)在情緒二維空間描述示意 圖； (2) 實驗問卷設(shè)計：設(shè)計兩類問卷①一定數(shù)量用李克特5級量表表示且能反應(yīng)三種目 標情緒的問卷；②運用"自測人體模型圖"在情緒的兩個維度Valence (評價值)和Arousal (喚醒度）上，對三類目標情緒分別進行1-9級評分；訓練結(jié)束后，對被試、心理和康復(fù)醫(yī)師 的問卷結(jié)果進行非參數(shù)統(tǒng)計，以具有統(tǒng)計意義的結(jié)果作為最終實驗問卷結(jié)果。
[0027] (3)實驗數(shù)據(jù)獲取：分別對來自患者自主神經(jīng)系統(tǒng)的心電、皮電、體溫生理數(shù)據(jù)進 行監(jiān)測和記錄； (4)實驗過程設(shè)計：首先，根據(jù)前述設(shè)計的虛擬實驗任務(wù)確定適合被試的CH、OC及UC 任務(wù)；其次，確定被試不同訓練模式下生理參數(shù)測量基準；最后，訓練結(jié)束，被試、心理和康 復(fù)醫(yī)師分別根據(jù)各自情況接受實驗問卷調(diào)查。
[0028] 前述步驟2中，情緒生理響應(yīng)特征分析包括以下步驟： (1) 分別從患者心電、皮電、體溫等生理響應(yīng)信號中提取各自均值、方差作為目標情緒 生理響應(yīng)特征； (2) 采用"兩因素混合設(shè)計及其方差分析"方法，從統(tǒng)計意義上分析出能反應(yīng)目標情緒 變化的生理信號重要特征及其組合。
[0029] 如圖4所示為基于"兩因素混合設(shè)計及其方差分析"方法的情緒生理響應(yīng)特征分 析流程，其中被試間變量A表示實驗/對照區(qū)分因素，被試內(nèi)變量B表示不同難度訓練任 務(wù)，因變量表示問卷調(diào)查結(jié)果、生理響應(yīng)特征。
[0030] 如圖4所示，本實施例中，基于"兩因素混合設(shè)計及其方差分析"方法的情緒生理 響應(yīng)特征分析的實現(xiàn)包括： 1) 定義被試間變量A、被試內(nèi)變量B以及因變量； 2) 對A、B兩個因素進行混合設(shè)計方差分析； 3) 判斷B因素主效應(yīng)是否明顯，如果是，則對B因素進行事后非正交多重檢驗，從而確 定生理特征差異顯著的兩組難度訓練任務(wù)，然后進入下述步驟4)，如果否，則直接進入步驟 4) 4) 判斷A因素主效應(yīng)是否明顯，如果是，則對A因素進行事后非正交多重檢驗，從而確 定生理特征差異顯著的實驗與對照組被試，然后進入下述步驟5)，否則直接進入步驟5) 步驟5)判斷因素 A與B的交互效應(yīng)是否明顯，如果是，則將A與B進行交互簡單主效 應(yīng)檢驗，從而確定生理特征差異顯著的被試與相應(yīng)難度任務(wù)組合，否則，結(jié)束分析流程。
[0031] 前述步驟3中，優(yōu)先采用支持向量機方法設(shè)計目標情緒分類器。
[0032] 具體地，采用軟間隔支持向量機方法設(shè)計目標情緒分類器，且包括如下步驟： (1) 構(gòu)建分類器實驗數(shù)據(jù)訓練集和驗證集：以情緒生理響應(yīng)特征分析階段得到的能反 應(yīng)目標情緒變化的生理信號重要特征及其組合作為輸入，以歸一化處理后的被試、心理和 康復(fù)醫(yī)師的問卷調(diào)查結(jié)果作為輸出； (2) 定義分類器非線性變換函數(shù)：選擇徑向基函數(shù)作為軟間隔支持向量機核函數(shù)，以實 現(xiàn)輸入空間到高維特征空間的非線性變換； (3) 情緒分類器訓練：運用每個受試者的實驗數(shù)據(jù)訓練集，針對"挫敗"、"興奮"及"厭 煩"三類目標情緒狀態(tài)分別進行訓練； (4) 情緒分類器交叉驗證分析：采用"Leave-one-out"方法對訓練得到的目標情緒分 類器分別進行交叉驗證分析，識別率以分類器分類結(jié)果與目標情緒問卷調(diào)查統(tǒng)計結(jié)果之間 的匹配次數(shù)來界定。
[0033] 前述步驟4中，采用QV強化學習方法設(shè)計與患者目標情緒變化相一致的閉環(huán)自適 應(yīng)人機交互控制器。
[0034] 根據(jù)情緒分類器識別得到的目標情緒狀態(tài)，采用QV強化學習方法設(shè)計與患者目 標情緒變化相一致的閉環(huán)自適應(yīng)人機交互控制器，具體包括如下步驟： (1) 定義強化學習過程中"狀態(tài)"、"動作"和"獎懲函數(shù)"：分別將訓練過程中〇C、UC和 CH三類難度不同的康復(fù)訓練任務(wù)定義為強化學習過程"狀態(tài)"，當情緒發(fā)生變化時分別轉(zhuǎn)向 三類難度不同訓練任務(wù)的機器人行為定義為"動作"，如果目標情緒狀態(tài)預(yù)測為興奮且機器 人動作轉(zhuǎn)向CH狀態(tài)，定義獎懲函數(shù)為1，否則獎懲函數(shù)為-1 ; (2) 根據(jù)定義的強化學習過程"狀態(tài)"、"動作"和"獎懲函數(shù)"，除Q按照下述方法更新 夕卜，其它均按照標準Q學習步驟進行機器人行為學習。

【權(quán)利要求】
1. 一種基于情緒感知的運動康復(fù)機器人交互控制方法，其特征在于，該方法以機器人 輔助康復(fù)訓練過程中患者"挫敗"、"興奮"及"厭煩"三類情緒為目標情緒狀態(tài)，其具體實現(xiàn) 包括如下步驟： 步驟1、獲取康復(fù)訓練過程中患者目標情緒反應(yīng)的生理響應(yīng)信號； 步驟2、情緒生理響應(yīng)特征分析：從生理響應(yīng)信號中分析出反應(yīng)目標情緒變化的生理 信號重要特征及其組合； 步驟3、患者目標情緒狀態(tài)識別：根據(jù)分析得到的目標情緒生理響應(yīng)特征及其組合，設(shè) 計分類器識別目標情緒狀態(tài)；以及 步驟4、基于目標情緒的人機交互控制：根據(jù)識別到的患者目標情緒狀態(tài)，設(shè)計與患者 目標情緒變化相一致的閉環(huán)自適應(yīng)人機交互控制方法。
2. 根據(jù)權(quán)利要求1所述的基于情緒感知的運動康復(fù)機器人交互控制方法，其特征在 于，前述的步驟1中，通過采用心理生理測量方法設(shè)計情緒生理測量實驗，以獲取訓練過程 中患者目標情緒反應(yīng)的生理響應(yīng)信號。
3. 根據(jù)權(quán)利要求1所述的基于情緒感知的運動康復(fù)機器人交互控制方法，其特征在 于，前述步驟2中，情緒生理響應(yīng)特征分析包括以下步驟： (1) 分別從患者心電、皮電、體溫等生理響應(yīng)信號中提取各自均值、方差作為目標情緒 生理響應(yīng)特征； (2) 采用"兩因素混合設(shè)計及其方差分析"方法，從統(tǒng)計意義上分析出能反應(yīng)目標情緒 變化的生理信號重要特征及其組合。
4. 根據(jù)權(quán)利要求1所述的基于情緒感知的運動康復(fù)機器人交互控制方法，其特征在 于，前述步驟3中，采用支持向量機方法設(shè)計目標情緒分類器。
5. 根據(jù)權(quán)利要求1所述的基于情緒感知的運動康復(fù)機器人交互控制方法，其特征在 于，前述步驟4中，采用QV強化學習方法設(shè)計與患者目標情緒變化相一致的閉環(huán)自適應(yīng)人 機交互控制器。
【文檔編號】A61B5/16GK104287747SQ201410571745
【公開日】2015年1月21日 申請日期:2014年10月24日 優(yōu)先權(quán)日:2014年10月24日
【發(fā)明者】徐國政, 陳敏, 茅晨, 高翔, 翟雁, 郭曉波 申請人:南京郵電大學