本發(fā)明涉及一種康復(fù)訓(xùn)練系統(tǒng)，尤其是一種基于kinect的上肢康復(fù)訓(xùn)練與評(píng)估方法，適合具有上肢運(yùn)動(dòng)障礙的患者進(jìn)行協(xié)調(diào)能力的康復(fù)訓(xùn)練。

背景技術(shù)：

現(xiàn)代神經(jīng)康復(fù)醫(yī)學(xué)及其臨床研究結(jié)果表明中樞神經(jīng)系統(tǒng)具有高度的可塑性，對(duì)因腦卒中等疾病引起的肢體功能障礙，通過科學(xué)合理的康復(fù)治療訓(xùn)練可以在一定程度上恢復(fù)其受損的肢體功能。早期針對(duì)腦卒中患者康復(fù)治療的傳統(tǒng)的康復(fù)訓(xùn)練方法主要是通過物理治療或者職業(yè)康復(fù)醫(yī)師對(duì)患肢進(jìn)行一對(duì)一連續(xù)被動(dòng)康復(fù)訓(xùn)練來實(shí)現(xiàn)。因此，為了克服傳統(tǒng)康復(fù)訓(xùn)練方法的弊端，應(yīng)該采用更為先進(jìn)的技術(shù)引入到患者康復(fù)治療的領(lǐng)域中。

近年來國(guó)內(nèi)外研究機(jī)構(gòu)競(jìng)相開展了基于虛擬現(xiàn)實(shí)技術(shù)運(yùn)動(dòng)康復(fù)訓(xùn)練系統(tǒng)研究，因其能夠使患者從中獲取足夠的沉浸感和真實(shí)感，有助于患者積極主動(dòng)地參與康復(fù)訓(xùn)練過程，在一定程度上提高了康復(fù)訓(xùn)練效果。然而，在虛擬環(huán)境交互過程中，患者需要使用價(jià)格昂貴的力/觸覺交互設(shè)備或佩戴復(fù)雜的運(yùn)動(dòng)捕捉設(shè)備，具有較大局限性。此外，在運(yùn)動(dòng)康復(fù)訓(xùn)練過程中，對(duì)肢體運(yùn)動(dòng)功能障礙患者的康復(fù)訓(xùn)練過程進(jìn)行實(shí)時(shí)監(jiān)測(cè)和評(píng)估，具有重要的臨床實(shí)踐意義。傳統(tǒng)康復(fù)評(píng)價(jià)方法，大多是在患者康復(fù)訓(xùn)練結(jié)束前后，由醫(yī)師運(yùn)用測(cè)量?jī)x器分別對(duì)患者的功能指標(biāo)進(jìn)行評(píng)定，它不具備實(shí)時(shí)性，且只能對(duì)具有較大功能恢復(fù)的指標(biāo)進(jìn)行測(cè)定。

基于kinect的體感交互技術(shù)，是近年來發(fā)展起來的一種新的無需借助任何控制設(shè)備、可直接使用肢體動(dòng)作與數(shù)字設(shè)備及虛擬環(huán)境進(jìn)行交互的技術(shù)，解決了現(xiàn)有虛擬交互過程中需要使用或佩戴復(fù)雜力觸覺交互及運(yùn)動(dòng)捕捉設(shè)備的局限，且能夠?qū)崟r(shí)跟蹤和捕捉運(yùn)動(dòng)過程中肢體的運(yùn)動(dòng)位置。因此，將kinect體感交互技術(shù)應(yīng)用于虛擬康復(fù)訓(xùn)練中，開展基于kinect的上肢康復(fù)訓(xùn)練與評(píng)估系統(tǒng)，將進(jìn)一步完善和提高人機(jī)協(xié)作康復(fù)訓(xùn)練技術(shù)水平，具有重要的學(xué)術(shù)意義和臨床應(yīng)用價(jià)值。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是用于解決患者在主觀能動(dòng)性的情況下自行進(jìn)行上肢康復(fù)訓(xùn)練時(shí)，提供了一種基于kinect的上肢康復(fù)訓(xùn)練與評(píng)估方法，為了解決上述技術(shù)問題，本發(fā)明通過以下的技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明公開了基于kinect的上肢康復(fù)訓(xùn)練與評(píng)估系統(tǒng)，包括基kinect的上肢測(cè)量方法和上肢運(yùn)動(dòng)康復(fù)訓(xùn)練模塊與評(píng)估模塊?；趉inect的上肢測(cè)量方法主要是通過kinect分別實(shí)時(shí)提取康復(fù)醫(yī)師和患者上肢的肩、肘、腕關(guān)節(jié)的空間位置，并計(jì)算肩部、肘部相對(duì)參考關(guān)節(jié)點(diǎn)的三個(gè)自由度的動(dòng)作角度；上肢運(yùn)動(dòng)康復(fù)訓(xùn)練模塊與評(píng)估模塊，先設(shè)計(jì)一套擦桌子、擦玻璃虛擬康復(fù)環(huán)境，其次，康復(fù)醫(yī)師設(shè)計(jì)一套用于完成虛擬環(huán)境任務(wù)的標(biāo)準(zhǔn)動(dòng)作，并根據(jù)kinect的上肢測(cè)量方法計(jì)算生成標(biāo)準(zhǔn)運(yùn)動(dòng)角度數(shù)據(jù)模塊，最后，通過kinect上肢測(cè)量方法獲得患者完成虛擬康復(fù)任務(wù)的實(shí)際運(yùn)動(dòng)數(shù)據(jù)模塊，并與標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行匹配，康復(fù)醫(yī)師評(píng)估患者實(shí)際運(yùn)動(dòng)質(zhì)量，給患者提供合理的康復(fù)反饋，其具體的步驟如下：

步驟1：在計(jì)算機(jī)中建立開發(fā)擦桌子、擦玻璃的虛擬康復(fù)環(huán)境，要求實(shí)現(xiàn)患者上肢的水平、垂直的綜合康復(fù)訓(xùn)練。搭建數(shù)據(jù)庫環(huán)境，用于儲(chǔ)存標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)以及實(shí)際運(yùn)動(dòng)數(shù)據(jù)；

步驟2：將kinect傳感器與搭載虛擬康復(fù)環(huán)境的計(jì)算機(jī)通過數(shù)據(jù)線相接，并且安裝在計(jì)算機(jī)顯示屏的前方以及左右兩側(cè)。通過kinect獲取的數(shù)據(jù)通過接口函數(shù)傳入虛擬康復(fù)環(huán)境中用于實(shí)現(xiàn)驅(qū)動(dòng)虛擬場(chǎng)景內(nèi)模型運(yùn)動(dòng)；

步驟3：kinect的上肢測(cè)量方法：將kinect傳感器定義的坐標(biāo)系作為原坐標(biāo)系，患者的軀干坐標(biāo)系為目的坐標(biāo)系，在目的坐標(biāo)系的建立中，以軀干平面為yoz,右肩到左肩的空間向量方向?yàn)閥軸的正方向，垂直于y軸向上的方向?yàn)閦軸的正方向垂直于yoz平面向前方向?yàn)閤軸的正方向。假設(shè)標(biāo)記左肩關(guān)節(jié)點(diǎn)為plshoulder、右肩關(guān)節(jié)點(diǎn)為prshoulder、左肘關(guān)節(jié)點(diǎn)為plelbow、右肘關(guān)節(jié)點(diǎn)為prelbow、左腕關(guān)節(jié)點(diǎn)為plwrist、右腕關(guān)節(jié)點(diǎn)為prwrist。利用kinect傳感器獲取骨架的關(guān)節(jié)點(diǎn)的三維空間位置，并利用計(jì)算機(jī)計(jì)算出各個(gè)關(guān)節(jié)點(diǎn)的相對(duì)參考節(jié)點(diǎn)的角度信息，其具體步驟如下：

步驟3.1：以人體左臂為例，設(shè)置左肩關(guān)節(jié)點(diǎn)的坐標(biāo)為plshoulder＝(x1,y1,z1)，左肘關(guān)節(jié)點(diǎn)的坐標(biāo)為plelbow＝(x2,y2,z2)，左腕關(guān)節(jié)點(diǎn)的坐標(biāo)為plwrist＝(x3,y3,z3)，以及設(shè)肩關(guān)節(jié)到肘關(guān)節(jié)(手臂)的長(zhǎng)度為dse，肘關(guān)節(jié)到腕關(guān)節(jié)(前手臂)的長(zhǎng)度分dew,肩關(guān)節(jié)到腕關(guān)節(jié)的長(zhǎng)度為別計(jì)dsw，即為：

則計(jì)算出肩關(guān)節(jié)屈伸α，肩關(guān)節(jié)外展-內(nèi)收β，肩關(guān)節(jié)內(nèi)外旋θ，以及肘關(guān)節(jié)屈伸δ的相對(duì)參考的角度信息，公式如下：

步驟3.2：左肘關(guān)節(jié)點(diǎn)為plelbow以左肩關(guān)節(jié)點(diǎn)為plshoulder為相對(duì)參考節(jié)點(diǎn)的角度信息、左腕關(guān)節(jié)點(diǎn)plwrist以左肘關(guān)節(jié)點(diǎn)plelbow為相對(duì)參考節(jié)點(diǎn)的角度信息、右肘關(guān)節(jié)點(diǎn)為prelbow以右肩關(guān)節(jié)點(diǎn)為prshoulder為相對(duì)參考節(jié)點(diǎn)的角度信息、右腕關(guān)節(jié)點(diǎn)為prwrist以右肘關(guān)節(jié)點(diǎn)為prelbow為相對(duì)參考節(jié)點(diǎn)的角度信息都可以依據(jù)步驟3.1的計(jì)算方式得出；

步驟4：康復(fù)醫(yī)師根據(jù)患者的需求設(shè)計(jì)一套標(biāo)準(zhǔn)的動(dòng)作和姿勢(shì)，用于完成擦桌子、擦玻璃的虛擬康復(fù)環(huán)境任務(wù)，通過kinect傳感器采集標(biāo)準(zhǔn)的關(guān)節(jié)相對(duì)運(yùn)動(dòng)參考三維空間位置信息，由步驟3計(jì)算生成一套康復(fù)訓(xùn)練的標(biāo)準(zhǔn)運(yùn)動(dòng)角度數(shù)據(jù)模塊；

步驟5：患者完成擦桌子、擦玻璃虛擬康復(fù)任務(wù)，通過kinect傳感器采集患者實(shí)際的關(guān)節(jié)相對(duì)運(yùn)動(dòng)參考三維空間位置信息，由步驟3計(jì)算得出各個(gè)關(guān)節(jié)節(jié)點(diǎn)的角度信息建立患者的實(shí)際運(yùn)動(dòng)數(shù)據(jù)模塊；

步驟6：通過計(jì)算機(jī)將數(shù)據(jù)庫中的標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)與實(shí)際運(yùn)動(dòng)數(shù)據(jù)進(jìn)行匹配，根據(jù)患者實(shí)際運(yùn)動(dòng)質(zhì)量進(jìn)行評(píng)估，給患者提供相應(yīng)的康復(fù)反饋。

本發(fā)明的進(jìn)一步改進(jìn)在于：上肢虛擬康復(fù)訓(xùn)練運(yùn)動(dòng)環(huán)境是以擦桌子、擦玻璃為背景的一種虛擬康復(fù)訓(xùn)練場(chǎng)景，將標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)與實(shí)際運(yùn)動(dòng)數(shù)據(jù)進(jìn)行運(yùn)動(dòng)信息匹配，并且在虛擬環(huán)境里患者必須利用上肢的肩、肘和腕等上肢部位完成擦除污漬的訓(xùn)練動(dòng)作，實(shí)現(xiàn)患者上肢的水平、垂直的綜合康復(fù)訓(xùn)練；根據(jù)所述步驟畫出患者運(yùn)動(dòng)的位姿信息數(shù)據(jù)的實(shí)時(shí)繪圖曲線圖，并在液晶顯示器上顯示，從而判斷患者的上肢運(yùn)動(dòng)狀態(tài)。

有益效果

本發(fā)明采用人機(jī)交互技術(shù)，擺脫了穿戴式動(dòng)作捕捉設(shè)備，可以直接有效地進(jìn)行上肢交互訓(xùn)練，該交互方式更加方便自然；

本發(fā)明通過kinect傳感器捕獲追蹤康復(fù)治療師和患者的動(dòng)作角度信息，實(shí)時(shí)效果好，準(zhǔn)確性高；

本發(fā)明為患者提供與真實(shí)生活相關(guān)的虛擬康復(fù)訓(xùn)練運(yùn)動(dòng)環(huán)境，擺脫機(jī)械性訓(xùn)練，增強(qiáng)了患者訓(xùn)練的主動(dòng)性，提高了患者的積極性，使得整個(gè)訓(xùn)練趣味十足。

附圖說明

圖1是本發(fā)明的具體實(shí)施虛擬康復(fù)訓(xùn)練系統(tǒng)圖。

圖2為本發(fā)明中人體的上肢關(guān)節(jié)點(diǎn)。左肩關(guān)節(jié)點(diǎn)為plshoulder、右肩關(guān)節(jié)點(diǎn)為prshoulder、左肘關(guān)節(jié)點(diǎn)為plelbow、右肘關(guān)節(jié)點(diǎn)為prelbow、左腕關(guān)節(jié)點(diǎn)為plwrist、右腕關(guān)節(jié)點(diǎn)為prwrist。

圖3為本發(fā)明中人體左臂(正視圖)的運(yùn)動(dòng)示意圖。

圖4為本發(fā)明的上肢關(guān)節(jié)變量角度示意圖。

圖5為本發(fā)明的一個(gè)實(shí)例俯視圖。

附錄中標(biāo)號(hào)為：1.計(jì)算機(jī)顯示屏，2.kinect傳感器，3.患者，4.康復(fù)機(jī)器人

圖6為本發(fā)明的虛擬康復(fù)界面示意圖。

具體實(shí)施方式

為了加深對(duì)本發(fā)明的理解，下面以圖5的實(shí)例場(chǎng)景示意圖為例，并且結(jié)合圖1、圖2、圖3、圖4和圖6說明本發(fā)明的具體實(shí)施步驟：

本發(fā)明公開了基于kinect的上肢康復(fù)訓(xùn)練與評(píng)估系統(tǒng)，包括基kinect的上肢測(cè)量方法和上肢運(yùn)動(dòng)康復(fù)訓(xùn)練模塊與評(píng)估模塊?；趉inect的上肢測(cè)量方法主要是通過kinect2分別實(shí)時(shí)提取康復(fù)醫(yī)師和患者3上肢的肩、肘、腕關(guān)節(jié)的空間位置，并計(jì)算肩部、肘部相對(duì)參考關(guān)節(jié)點(diǎn)的三個(gè)自由度的動(dòng)作角度；上肢運(yùn)動(dòng)康復(fù)訓(xùn)練模塊與評(píng)估模塊，先設(shè)計(jì)一套擦桌子、擦玻璃虛擬康復(fù)環(huán)境，其次，康復(fù)醫(yī)師設(shè)計(jì)一套用于完成虛擬環(huán)境任務(wù)的標(biāo)準(zhǔn)動(dòng)作，并根據(jù)kinect2的上肢測(cè)量方法計(jì)算生成標(biāo)準(zhǔn)運(yùn)動(dòng)角度數(shù)據(jù)模塊，最后，通過kinect上肢測(cè)量方法獲得患者完成虛擬康復(fù)任務(wù)的實(shí)際運(yùn)動(dòng)數(shù)據(jù)模塊，并與標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)進(jìn)行匹配，康復(fù)醫(yī)師評(píng)估患者實(shí)際運(yùn)動(dòng)質(zhì)量，給患者提供合理的康復(fù)反饋，如圖2、圖3、圖4所示，根據(jù)上述的基于kinect的上肢康復(fù)訓(xùn)練與評(píng)估系統(tǒng)，其特征在于：所述的上肢康復(fù)訓(xùn)練用于上肢的肩、肘、腕關(guān)節(jié)的綜合控制的協(xié)調(diào)能力的訓(xùn)練，其具體的步驟如下：

步驟1：在計(jì)算機(jī)1中建立開發(fā)擦桌子、擦玻璃的虛擬康復(fù)環(huán)境，要求實(shí)現(xiàn)患者上肢的水平、垂直的綜合康復(fù)訓(xùn)練。搭建數(shù)據(jù)庫環(huán)境，用于儲(chǔ)存標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)以及實(shí)際運(yùn)動(dòng)數(shù)據(jù)；

步驟2：將kinect感器2與搭載虛擬康復(fù)環(huán)境的計(jì)算機(jī)通過數(shù)據(jù)線相接，并且安裝在計(jì)算機(jī)顯示屏1的前方以及左右兩側(cè)。通過kinect獲取的數(shù)據(jù)通過接口函數(shù)傳入虛擬康復(fù)環(huán)境中用于實(shí)現(xiàn)驅(qū)動(dòng)虛擬場(chǎng)景內(nèi)模型運(yùn)動(dòng)；

步驟3：kinect的上肢測(cè)量方法：將kinect傳感器2定義的坐標(biāo)系作為原坐標(biāo)系，患者3的軀干坐標(biāo)系為目的坐標(biāo)系，在目的坐標(biāo)系的建立中，以軀干平面為yoz,右肩到左肩的空間向量方向?yàn)閥軸的正方向，垂直于y軸向上的方向?yàn)閦軸的正方向垂直于yoz平面向前方向?yàn)閤軸的正方向。假設(shè)標(biāo)記左肩關(guān)節(jié)點(diǎn)為plshoulder、右肩關(guān)節(jié)點(diǎn)為prshoulder、左肘關(guān)節(jié)點(diǎn)為plelbow、右肘關(guān)節(jié)點(diǎn)為prelbow、左腕關(guān)節(jié)點(diǎn)為plwrist、右腕關(guān)節(jié)點(diǎn)為prwrist。利用kinect傳感器2獲取骨架的關(guān)節(jié)點(diǎn)的三維空間位置，并利用計(jì)算機(jī)計(jì)算出各個(gè)關(guān)節(jié)點(diǎn)的相對(duì)參考節(jié)點(diǎn)的角度信息，其具體步驟如下：

步驟3.1：以人體左臂為例，設(shè)置左肩關(guān)節(jié)點(diǎn)的坐標(biāo)為plshoulder＝(x1,y1,z1)，左肘關(guān)節(jié)點(diǎn)的坐標(biāo)為plelbow＝(x2,y2,z2)，左腕關(guān)節(jié)點(diǎn)的坐標(biāo)為plwrist＝(x3,y3,z3)，以及設(shè)肩關(guān)節(jié)到肘關(guān)節(jié)(手臂)的長(zhǎng)度為dse，肘關(guān)節(jié)到腕關(guān)節(jié)(前手臂)的長(zhǎng)度分dew,肩關(guān)節(jié)到腕關(guān)節(jié)的長(zhǎng)度為別計(jì)dsw，即為：

則計(jì)算出肩關(guān)節(jié)屈伸α，肩關(guān)節(jié)外展-內(nèi)收β，肩關(guān)節(jié)內(nèi)外旋θ，以及肘關(guān)節(jié)屈伸δ的相對(duì)參考的角度信息，公式如下：

步驟3.2：左肘關(guān)節(jié)點(diǎn)為plelbow以左肩關(guān)節(jié)點(diǎn)為plshoulder為相對(duì)參考節(jié)點(diǎn)的角度信息、左腕關(guān)節(jié)點(diǎn)plwrist以左肘關(guān)節(jié)點(diǎn)plelbow為相對(duì)參考節(jié)點(diǎn)的角度信息、右肘關(guān)節(jié)點(diǎn)為prelbow以右肩關(guān)節(jié)點(diǎn)為prshoulder為相對(duì)參考節(jié)點(diǎn)的角度信息、右腕關(guān)節(jié)點(diǎn)為prwrist以右肘關(guān)節(jié)點(diǎn)為prelbow為相對(duì)參考節(jié)點(diǎn)的角度信息都可以依據(jù)步驟3.1的計(jì)算方式得出；

步驟4：康復(fù)醫(yī)師根據(jù)患者3的需求設(shè)計(jì)一套標(biāo)準(zhǔn)的動(dòng)作和姿勢(shì)，用于完成擦桌子、擦玻璃的虛擬康復(fù)場(chǎng)景任務(wù)，通過kinect傳感器2采集標(biāo)準(zhǔn)的關(guān)節(jié)相對(duì)運(yùn)動(dòng)參考三維空間位置信息，由步驟3計(jì)算生成一套康復(fù)訓(xùn)練的標(biāo)準(zhǔn)運(yùn)動(dòng)角度數(shù)據(jù)；

步驟5：患者3完成擦桌子、擦玻璃虛擬康復(fù)任務(wù)，通過kinect傳感器2采集患者實(shí)際的關(guān)節(jié)相對(duì)運(yùn)動(dòng)參考三維空間位置信息，由步驟3計(jì)算得出各個(gè)關(guān)節(jié)節(jié)點(diǎn)的角度信息建立患者3的實(shí)際運(yùn)動(dòng)數(shù)據(jù)模塊；

步驟6：通過計(jì)算機(jī)將標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)與實(shí)際運(yùn)動(dòng)數(shù)據(jù)進(jìn)行匹配，根據(jù)患者3實(shí)際運(yùn)動(dòng)質(zhì)量進(jìn)行評(píng)估，給患者3提供相應(yīng)的康復(fù)反饋。

所述的上肢虛擬康復(fù)訓(xùn)練運(yùn)動(dòng)環(huán)境是以擦桌子、擦玻璃為背景的一種虛擬康復(fù)訓(xùn)練場(chǎng)景，將標(biāo)準(zhǔn)運(yùn)動(dòng)數(shù)據(jù)與實(shí)際運(yùn)動(dòng)數(shù)據(jù)進(jìn)行運(yùn)動(dòng)信息匹，并且在虛擬環(huán)境里，患者3必須利用上肢的肩、肘和腕等上肢部位完成擦除污漬的訓(xùn)練動(dòng)作，實(shí)現(xiàn)患者上肢的水平、垂直的綜合康復(fù)訓(xùn)練；根據(jù)權(quán)利要求2所述畫出患者3運(yùn)動(dòng)的位姿信息數(shù)據(jù)的實(shí)時(shí)繪圖曲線圖，并在液晶顯示器1上顯示，從而判斷患者3的上肢運(yùn)動(dòng)狀態(tài)。

本發(fā)明采用人機(jī)交互技術(shù)，擺脫了穿戴式動(dòng)作捕捉設(shè)備，可以直接有效地進(jìn)行上肢交互訓(xùn)練，該交互方式更加方便自然；本發(fā)明采用的是kinect傳感器在獲得標(biāo)準(zhǔn)動(dòng)作數(shù)據(jù)的基礎(chǔ)上，進(jìn)一步實(shí)現(xiàn)患者在主觀能動(dòng)性的情況下自行進(jìn)行康復(fù)訓(xùn)練，提高患者對(duì)上肢機(jī)體的感知能力和平衡能力，促使患者在主動(dòng)運(yùn)動(dòng)作用下交互完成康復(fù)訓(xùn)練；本發(fā)明通過kinect傳感器分別捕獲追蹤康復(fù)治療師和患者的動(dòng)作角度信息，并對(duì)信息數(shù)據(jù)進(jìn)行匹配，實(shí)時(shí)效果好，準(zhǔn)確性高；本發(fā)明為患者提供與真實(shí)生活相關(guān)的虛擬康復(fù)訓(xùn)練運(yùn)動(dòng)環(huán)境，擺脫機(jī)械性訓(xùn)練，增強(qiáng)了患者訓(xùn)練的主動(dòng)性，提高了患者的積極性，使得整個(gè)訓(xùn)練趣味十足。