本發(fā)明涉及智能穿戴式下肢助力裝置步態(tài)規(guī)劃及人機(jī)交互技術(shù)領(lǐng)域,具體涉及一種智能下肢助力裝置的在線步態(tài)規(guī)劃系統(tǒng)及方法。
背景技術(shù):
隨著現(xiàn)代社會(huì)老齡化問題的日益加重,老年人的健康問題得到了全社會(huì)的廣泛關(guān)注,其中腿腳不靈便是老年人生活中非常頭疼的問題,應(yīng)運(yùn)而生的智能下肢助力裝置可以輔助老年人或行走不便者行走,達(dá)到機(jī)器人與人體的協(xié)調(diào)運(yùn)動(dòng)并提供助力,幫助其保持適當(dāng)?shù)倪\(yùn)動(dòng),對于提高老年人生活質(zhì)量以及進(jìn)行輔助康復(fù)醫(yī)療都具有重要意義。
人體在進(jìn)行相應(yīng)的動(dòng)作時(shí),大腦會(huì)通過神經(jīng)系統(tǒng)給相應(yīng)的肌肉指令,即使失去肢體,相應(yīng)的神經(jīng)通路也會(huì)有電信號傳輸,而肌電信號是產(chǎn)生肌肉力的電信號根源,發(fā)生在大腦產(chǎn)生動(dòng)作意愿之后,肌肉收縮之前,通過肌電信號可以在未做出動(dòng)作前獲取主動(dòng)運(yùn)動(dòng)意圖,因此肌電信號在智能穿戴式下肢助力裝置的控制領(lǐng)域具有十分重要的作用。當(dāng)系統(tǒng)通過肌電信號識(shí)別出不同步態(tài)模式(路況)后,如何根據(jù)當(dāng)前步態(tài)模式自適應(yīng)調(diào)整做出合理的動(dòng)作規(guī)劃就顯得十分必要,即對助力裝置的步態(tài)進(jìn)行在線規(guī)劃。
現(xiàn)有的步態(tài)規(guī)劃方法主要有:1、基于仿生模擬的步態(tài)規(guī)劃方法,即利用傳感器記錄人類行走過程中關(guān)節(jié)軌跡或利用視頻信息,在人的行走過程中進(jìn)行錄像,分析這些視頻信息,獲取人在行走過程中各個(gè)關(guān)節(jié)的角度變化與時(shí)間的函數(shù),利用力學(xué)相似原理將這些函數(shù)推廣到下肢助力裝置的關(guān)節(jié)驅(qū)動(dòng)上,這樣助力裝置就能模仿生物系統(tǒng)運(yùn)動(dòng)。2、基于模型分析的步態(tài)規(guī)劃方法,主要利用動(dòng)力學(xué)知識(shí),求解動(dòng)力學(xué)模型如倒立擺模型等,根據(jù)助力裝置行走過程中應(yīng)滿足的約束條件,規(guī)劃步態(tài)(包括運(yùn)動(dòng)學(xué)和動(dòng)力學(xué)數(shù)據(jù))。由于動(dòng)力學(xué)模型具有高度非線性,所以對動(dòng)力學(xué)模型的分析是比較困難的。同時(shí)由于肌電信號不足以完全反映出復(fù)雜的運(yùn)動(dòng)狀態(tài),使得肌電信號和助力裝置動(dòng)作之間的關(guān)系不易獲得,同時(shí)單一的控制信號可能會(huì)造成識(shí)別以及規(guī)劃結(jié)果的誤差。
技術(shù)實(shí)現(xiàn)要素:
針對以上問題,本發(fā)明提出一種智能下肢助力裝置的在線步態(tài)規(guī)劃系統(tǒng)及方法。
本發(fā)明的技術(shù)方案是:
一種智能下肢助力裝置的在線步態(tài)規(guī)劃系統(tǒng)包括肌電采集單元、慣性采集單元、工控機(jī)、處理器單元;
肌電采集單元采集受試者下肢肌肉的肌電信號,它包含3個(gè)肌電采集端子,分別安裝在下肢股外側(cè)肌、脛骨前肌、腓腸肌處;3個(gè)采集端子的輸出端連接處理器單元和工控機(jī)的輸入端;
慣性采集單元用于采集受試者下肢的加速度信號和角速度信號,其慣性傳感器安裝在受試者下肢小腿處;慣性傳感器的輸出端連接處理器單元和工控機(jī)的輸入端;
工控機(jī)輸出端連接至處理器單元的輸入端;
處理器單元,佩戴在受試者的腰部,其輸出端連接至下肢助力裝置的輸入端。
所述的系統(tǒng)進(jìn)行智能下肢助力裝置在線步態(tài)規(guī)劃的方法,包括以下步驟:
步驟1:肌電采集單元采集受試者不同步態(tài)模式下的肌電信號,慣性采集單元采集受試者下肢不同步態(tài)模式下的加速度信號和角速度信號;
步驟2:離線訓(xùn)練模式下,工控機(jī)通過無線通信獲取肌電信號、加速度信號和角速度信號,建立不同步態(tài)模式下的步態(tài)模型匹配庫,并將其輸出至處理器單元;
步驟2.1:工控機(jī)對肌電信號和加速度信號進(jìn)行預(yù)處理,提取肌電信號和加速度信號的特征,得到融合特征;
步驟2.2:工控機(jī)通過加速度信號和角速度信號計(jì)算得到期望關(guān)節(jié)角度;
步驟2.3:工控機(jī)將肌電信號和加速度信號的融合特征、期望關(guān)節(jié)角度進(jìn)行歸一化處理并組成樣本集;
步驟2.4:將樣本集輸入廣義回歸神經(jīng)網(wǎng)絡(luò)(Generalized Regression NN,GRNN)進(jìn)行離線訓(xùn)練,得到不同步態(tài)模式下的步態(tài)模型匹配庫;
步驟2.5:使用遺傳算法(Genetic Algorithm,GA)優(yōu)化廣義回歸神經(jīng)網(wǎng)絡(luò),得到最優(yōu)的步態(tài)模型匹配庫;
步驟2.6:工控機(jī)將離線訓(xùn)練的步態(tài)模型匹配庫輸出至處理器單元;
步驟3:在線模式下,處理器單元實(shí)時(shí)采集肌電信號和加速度信號,對其進(jìn)行預(yù)處理,提取肌電信號和加速度信號的特征,得到融合特征,與步態(tài)模型匹配庫匹配,得到預(yù)測關(guān)節(jié)角度信號,即完成智能下肢助力裝置的步態(tài)規(guī)劃以在線控制智能下肢助力裝置的步態(tài)。
所述步驟2.1中的預(yù)處理過程具體包括:利用巴特沃斯濾波器濾波、單門限多閾值活動(dòng)段檢測。
所述步驟2.1中提取肌電信號和加速度信號的特征包括:
(1)肌電信號的特征提取包括肌電信號的均方根和肌電信號的短時(shí)傅里葉變換特征;
(2)加速度信號的特征提取包括加速度信號的均方根和加速度信號的短時(shí)傅里葉變換特征。
本發(fā)明的有益效果:
本發(fā)明所述方法通過離線訓(xùn)練方式提取肌電信號和慣性信號的特征,利用GRNN建立融合特征與下肢關(guān)節(jié)角度之間的非線性映射關(guān)系,得到步態(tài)模型匹配庫,使用時(shí)脫離工控機(jī),便于擴(kuò)展成便攜式智能下肢助力裝置在線步態(tài)規(guī)劃系統(tǒng)。
在線規(guī)劃時(shí),處理器單元通過實(shí)時(shí)獲取的肌電信號特征和慣性信號特征與步態(tài)模型匹配庫進(jìn)行匹配,自適應(yīng)輸出相應(yīng)路況的預(yù)測關(guān)節(jié)角度控制智能下肢助力裝置的動(dòng)作,使在線步態(tài)規(guī)劃更加智能化,為用戶提供更好的服務(wù)。
本發(fā)明中通過肌電信號和加速度信號的融合特征獲得預(yù)測關(guān)節(jié)角度作為智能下肢助力裝置的控制信號,能夠更加準(zhǔn)確及時(shí)地獲取人體的運(yùn)動(dòng)意圖及路況信息,彌補(bǔ)了單一控制信號易造成控制偏差的不足,同時(shí),采用遺傳算法優(yōu)化廣義回歸神經(jīng)網(wǎng)絡(luò)模型的因子參數(shù),進(jìn)一步提高了預(yù)測關(guān)節(jié)角度的準(zhǔn)確性。
附圖說明
圖1為本發(fā)明具體實(shí)施方式中智能下肢助力裝置在線步態(tài)規(guī)劃方法系統(tǒng)結(jié)構(gòu)圖;
圖2為本發(fā)明具體實(shí)施方式中受試者的肌電信號,(a)股外側(cè)肌肌電信號,(b)脛骨前肌肌電信號,(c)腓腸肌肌電信號;
圖3為本發(fā)明具體實(shí)施方式中采集信號的下肢肌肉分布圖,1-股外側(cè)肌,2-脛骨前肌,3-腓腸?。?/p>
圖4為本發(fā)明具體實(shí)施方式中采集平路行走的加速度信號和角速度信號,(a)x軸的加速度信號,(b)y軸的加速度信號;(c)z軸的加速度信號,(d)角速度信號;
圖5為本發(fā)明具體實(shí)施方式中智能下肢助力裝置在線步態(tài)規(guī)劃方法流程圖;
圖6為本發(fā)明具體實(shí)施方式中肌電和加速度融合后的特征分布圖;
圖7為本發(fā)明具體實(shí)施方式中廣義回歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖;
圖8為本發(fā)明具體實(shí)施方式中參數(shù)優(yōu)化以及網(wǎng)絡(luò)訓(xùn)練的具體流程圖;
圖9為本發(fā)明具體實(shí)施方式中預(yù)測關(guān)節(jié)角度與期望關(guān)節(jié)角度對比圖。
具體實(shí)施方式
下面結(jié)合附圖對本發(fā)明具體實(shí)施方式加以詳細(xì)的說明。
一種智能下肢助力裝置的在線步態(tài)規(guī)劃系統(tǒng)及方法,其系統(tǒng)結(jié)構(gòu)如圖1所示,包括肌電采集單元、慣性采集單元、工控機(jī)、處理器單元。
肌電采集單元和慣性采集單元均是通過藍(lán)牙方式與工控機(jī)和處理器單元進(jìn)行通訊,工控機(jī)與處理器單元通過RS232串口進(jìn)行通信。
肌電采集單元,是通過貼附于下肢的肌電采集端子,即電極片實(shí)時(shí)采集受試者下肢肌肉的肌電信號,包括股外側(cè)肌肌電信號、脛骨前肌肌電信號和腓腸肌肌電信號。
本實(shí)施方式中,肌電采集單元采用的是津發(fā)科技有限公司的Ergolab生理信號采集平臺(tái)。肌電采集端子通過貼附于受試者皮膚表面的電極片獲取電位變化,經(jīng)過內(nèi)部放大電路放大,以無線傳輸方式實(shí)時(shí)發(fā)送給接收端,該系統(tǒng)可以同時(shí)采集16路肌電等生理信號,采樣頻率可以達(dá)到4096Hz,肌電信號量程為正負(fù)1500uv,共模抑制比達(dá)到110DB,干擾噪聲最大小于1.7uv,每個(gè)接收端充滿電后可以連續(xù)使用4~6小時(shí),接收端與采集端最遠(yuǎn)距離可達(dá)500m,具有極強(qiáng)的跟蹤范圍,使用方便快捷。
以平路行走為例,本實(shí)施方式中,采集的受試者股外側(cè)肌肌電信號、脛骨前肌肌電信號和腓腸肌肌電信號分別如圖2(a)~(c)所示。信號采集點(diǎn)如圖3所示,分別位于受試者下肢的股外側(cè)肌1、脛骨前肌2、腓腸肌3。
慣性采集單元,通過設(shè)置在下肢小腿處的慣性傳感器實(shí)時(shí)采集人行走時(shí)的三軸加速度信號和角速度信號。
本實(shí)施方式中,慣性傳感器采用Freescale的微型電容式三軸加速度傳感器MMA7260QT和Silicon Sensing System的角速度傳感器CRS03-04。MMA7260QT是美國Freescale公司推出的一款低成本的采用MEMS技術(shù)的單芯片三軸加速度傳感器,該微型電容式加速傳感器融合了信號調(diào)理、單極低通濾波器和溫度補(bǔ)償技術(shù),并提供了四種加速度測量范圍:±1.5g,±2g,±4g,±6g。MMA7260QT靈敏度高,當(dāng)選擇±1.5g的測量范圍時(shí),靈敏度達(dá)到800mV/g。它采用6mm×6mm×1.45mmQFN的封裝,體積超小,只需很小的板卡空間。它具有三軸向檢測功能,使便攜式設(shè)備能夠智能地回應(yīng)位置、方位和移動(dòng)的變化。CRS03-04是一個(gè)集成的高精度測量運(yùn)動(dòng)物體角速度的微型慣性器件,它使用硅性MEMS技術(shù),在劇烈的沖擊和振動(dòng)條件下,仍能保持卓越的性能,它的成本很低,體積小,零位偏差只有±50mv;啟動(dòng)時(shí)間很短,不超過0.5s;正常工作時(shí)電流很小,小于0.5mA,橫軸的靈敏度小于1%。
以平路行走為例,本實(shí)施方式中,慣性傳感器采集受試者下肢小腿的三軸加速度信號和角速度信號分別如圖4(a)~(d)所示。
本實(shí)施方式中,工控機(jī)的輸出端連接至處理器單元的輸入端,通過RS232串口與處理器單元進(jìn)行通信。
本實(shí)施方式中,處理器單元采用英偉達(dá)公司生產(chǎn)的NVIDIA Jetson TK1開發(fā)主板,該組件能夠?yàn)榍度胧綉?yīng)用釋放GPU的強(qiáng)大能力,Jetson接口包含192個(gè)CUDA核心的NVIDIA Kepler GPU,NVIDIA四核ARM Cortex-A15CPU,RS232串行端口,2GB運(yùn)行內(nèi)存,16GB eMMC存儲(chǔ)空間,1個(gè)USB 2.0端口、Micro AB Jetson接口,1個(gè)帶Mic In和Line Out的ALC5639Realtek音頻編解碼器,1個(gè)RTL8111GS Realtek千兆位以太網(wǎng)局域網(wǎng),SPI 4兆字節(jié)引導(dǎo)閃存,1個(gè)SATA數(shù)據(jù)端口,1個(gè)完整尺寸SD/MMC連接器,1個(gè)完整尺寸HDMI端口。其豐富的功能單元為系統(tǒng)功能的實(shí)現(xiàn)及以后的升級拓展提供了保障。
所述的系統(tǒng)進(jìn)行智能下肢助力裝置在線步態(tài)規(guī)劃的方法流程如圖5所示,具體過程如下:
步驟1:肌電采集單元采集受試者不同步態(tài)模式下的肌電信號,慣性采集單元采集受試者下肢不同步態(tài)模式下的加速度信號和角速度信號;
步驟2:離線訓(xùn)練模式下,工控機(jī)通過無線藍(lán)牙獲取肌電信號、加速度信號和角速度信號,建立不同步態(tài)模式下的步態(tài)模型匹配庫,并將其輸出至處理器單元;
步驟2.1:工控機(jī)對肌電信號和加速度信號進(jìn)行預(yù)處理,提取肌電信號和加速度信號的特征,得到融合特征:
本實(shí)施方式中,提取肌電信號的特征值包括肌電信號的均方根和肌電信號的短時(shí)傅里葉變換特征,提取加速度信號的特征包括加速度信號的均方根和加速度信號的短時(shí)傅里葉變換特征。
均方根是最常用的時(shí)域特征,它可以很好的表征肌電信號和加速度信號的能量和時(shí)域變化,提取肌電信號或加速度信號均方根計(jì)算公式如式(1)所示:
其中,RMS為肌電信號的均方根或加速度信號的均方根,Xi為預(yù)處理后的肌電信號或預(yù)處理后的加速度信號在第i個(gè)采樣點(diǎn)的幅值,N指一段時(shí)間內(nèi)信號樣本的個(gè)數(shù)。
短時(shí)傅里葉變換把信號劃分成許多小的時(shí)間間隔,用傅里葉變換分析每一個(gè)時(shí)間間隔,可以確定在那個(gè)時(shí)間間隔存在的頻率,計(jì)算公式如式(2)所示:
其中,PSP(τ,ω)為肌電信號的短時(shí)傅里葉變換特征或加速度信號的短時(shí)傅里葉變換特征,s(τ)為預(yù)處理后的肌電信號或預(yù)處理后的加速度信號,e-jωτ是時(shí)域到復(fù)頻域變換要乘以的因子,Sτ(ω)為肌電信號的短時(shí)傅里葉變換或加速度信號的短時(shí)傅里葉變換得到的值,具體的參考公式如式(3)所示:
其中,h(τ-Δτ)為以τ為中心的特征窗,τ代表時(shí)間,Δτ代表時(shí)間的變化。
提取肌電信號和加速度信號的特征后,存在特征維度增加,特征出現(xiàn)冗余的問題,本實(shí)施方式中采用相關(guān)性和冗余性特征篩選方法對提取的特征進(jìn)行選擇,得到融合特征。
以平路行走為例,本發(fā)明中肌電信號特征和加速度信號特征融合后的特征分布如圖6所示,由圖可以看出肌電信號特征和加速度信號特征的分布相對來說比較集中,相關(guān)性比較大,從而說明特征篩選的相對較好。
步驟2.2:工控機(jī)通過加速度信號和Z方向的角速度信號計(jì)算得到期望關(guān)節(jié)角度,本發(fā)明中規(guī)定Z方向?yàn)樗笃谕P(guān)節(jié)角度的方向。期望關(guān)節(jié)角度具體計(jì)算方法如下:
利用加速度信號計(jì)算期望關(guān)節(jié)角度:先求出三個(gè)方向加速度信號的矢量和R:
其中,ax、ay、az分別為三個(gè)方向的加速度信號,然后可以求出Z方向的角度即為期望關(guān)節(jié)角度anglez:
利用角速度信號計(jì)算期望關(guān)節(jié)角度:
anglet=anglet-1+wz·Δt (8)
其中,anglet為當(dāng)前時(shí)刻t的關(guān)節(jié)角度,anglet-1為前一時(shí)刻t-1的關(guān)節(jié)角度值,wz為采集的Z方向的角速度,Δt為角速度傳感器采集數(shù)據(jù)的時(shí)間變化率。
利用加速度信號對靜態(tài)和低速狀態(tài)的角度計(jì)算準(zhǔn)確,但是對速度突變的情況有大幅偏差;利用角速度信號計(jì)算對旋轉(zhuǎn)運(yùn)動(dòng)下的角度計(jì)算準(zhǔn)確,但是靜態(tài)下有零點(diǎn)偏移和輕微跳變。
定義旋轉(zhuǎn)幅度p為T個(gè)采樣時(shí)刻的角速度絕對值的和:
其中,abs()為求絕對值運(yùn)算,為第t個(gè)采樣時(shí)刻Z軸方向的角速度,t=1,...,T。
本發(fā)明中,當(dāng)旋轉(zhuǎn)幅度p<p1時(shí),規(guī)定為靜態(tài)或低速,利用加速度信號計(jì)算期望關(guān)節(jié)角度,即使用式(6)和式(7);當(dāng)p>p2時(shí),規(guī)定為速度較快,利用角速度信號計(jì)算期望關(guān)節(jié)角度,即使用式(8);當(dāng)p1≤p≤p2時(shí),規(guī)定速度適中,使用兩種方法的加權(quán)和求得期望關(guān)節(jié)角度,加權(quán)計(jì)算的公式如下所示:
anglenorm=β·anglez+(1-β)anglet (10)
式中,anglenorm為加權(quán)計(jì)算后得到的期望關(guān)節(jié)角度,β為加權(quán)系數(shù),取值范圍為0到1之間。
其中,p1、p2和p3分別為規(guī)定的依次增大的三個(gè)旋轉(zhuǎn)幅度值。
步驟2.3:工控機(jī)將肌電信號和加速度信號的融合特征、期望關(guān)節(jié)角度進(jìn)行歸一化處理并組成樣本集;
步驟2.4:將樣本集輸入GRNN進(jìn)行離線訓(xùn)練,得到不同步態(tài)模式下的步態(tài)模型匹配庫。
所述的樣本集分成三部分,第一部分隨機(jī)選取70%訓(xùn)練樣本輸入GRNN進(jìn)行離線訓(xùn)練,第二部分隨機(jī)選取20%交叉驗(yàn)證樣本對GRNN進(jìn)行參數(shù)尋優(yōu),第三部分10%為測試樣本;
步驟2.5:使用GA優(yōu)化GRNN,得到GA-GRNN以評價(jià)步態(tài)模型匹配庫的優(yōu)劣,得到最優(yōu)的步態(tài)模型匹配庫;
所述的GRNN由輸入層、模式層、求和層和輸出層構(gòu)成,其結(jié)構(gòu)如圖7所示,x1x2…xn為n個(gè)輸入向量,Y1至Yk為k個(gè)輸出值。GRNN采用高斯核函數(shù)作為傳遞函數(shù),對應(yīng)輸入為肌電信號特征和加速度信號特征組成的融合特征序列。運(yùn)用時(shí)僅需要優(yōu)化光滑因子σ的值,即可以使GRNN的預(yù)測誤差最小。
本發(fā)明采用GA對GRNN中的光滑因子σ進(jìn)行優(yōu)化,讓GRNN輸出值與實(shí)際值的均方差最小,以達(dá)到最優(yōu)的GRNN,如圖8所示,具體的過程如下:
以GRNN的輸出值與實(shí)際值的誤差來表示遺傳算法中個(gè)體的適應(yīng)度值,將GRNN的光滑因子σ作為GA中的個(gè)體,并設(shè)置起始最大迭代次數(shù);
隨著迭代次數(shù)的增加,個(gè)體的適應(yīng)度值不斷更新,GRNN的輸出值與實(shí)際值的誤差越來越小,不斷優(yōu)化光滑因子和改進(jìn)GRNN的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),當(dāng)達(dá)到最大迭代次數(shù)時(shí),此時(shí)GRNN得到最優(yōu)的光滑因子,此時(shí)得到經(jīng)過遺傳算法參數(shù)尋優(yōu)后的GRNN,簡稱GA-GRNN。
所述的GA-GRNN評價(jià)步態(tài)模型匹配庫的優(yōu)劣,即對GA-GRNN進(jìn)行離線測試,將10%的測試樣本輸入GA-GRNN得到預(yù)測關(guān)節(jié)角度,然后將預(yù)測關(guān)節(jié)角度與期望關(guān)節(jié)角度進(jìn)行對比,以評價(jià)步態(tài)模型的優(yōu)劣,得到最優(yōu)的步態(tài)模型匹配庫。
步驟2.6:工控機(jī)將離線訓(xùn)練的步態(tài)模型匹配庫通過RS232串口輸出至處理器單元;
步驟3:在線模式下,處理器單元實(shí)時(shí)采集肌電信號和加速度信號,對其進(jìn)行預(yù)處理,提取肌電信號和加速度信號的特征,得到融合特征,與步態(tài)模型匹配庫實(shí)時(shí)匹配,得到預(yù)測關(guān)節(jié)角度信號以在線控制智能下肢助力裝置的步態(tài)。
本實(shí)施方式中,對上述步驟2和步驟3中采集的受試者的肌電信號和加速度信號進(jìn)行預(yù)處理具體包括:利用巴特沃斯濾波器濾波、單門限多閾值活動(dòng)段檢測。上述步驟3中提到的對肌電信號和加速度信號預(yù)處理與步驟2中方法相同。
本實(shí)施方式中,預(yù)測關(guān)節(jié)角度信號作為最終的控制信號,可以反應(yīng)不同步態(tài)信息,受試者在行走過程中的不同速度、不同步頻,以及位移大小等信息都可以通過關(guān)節(jié)角度的變化情況反應(yīng)出來,本發(fā)明以平路行走的小腿處的關(guān)節(jié)角度也就是踝關(guān)節(jié)角度為例,圖9給出了預(yù)測關(guān)節(jié)角度與期望關(guān)節(jié)角度的對比圖,由圖可以看出,預(yù)測關(guān)節(jié)角度與期望關(guān)節(jié)角度擬合度很高,證明本發(fā)明的基于肌電信號和慣性信號的智能下肢助力裝置在線步態(tài)規(guī)劃方法的實(shí)用性。
本發(fā)明的所述的智能下肢助力裝置的在線步態(tài)規(guī)劃系統(tǒng)及方法可以應(yīng)用到下肢外骨骼、智能假肢,使其與穿戴者步調(diào)一致,實(shí)現(xiàn)在線提供助力的目的。