一種基于手勢交互的便攜式手部虛擬康復(fù)實(shí)驗(yàn)箱及方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種手部功能康復(fù)設(shè)備，尤其是一種基于手勢交互的手部多功能康復(fù) 系統(tǒng)及方法。
【背景技術(shù)】
[0002] 人手作為人體重要的功能器官之一，其縱橫交錯(cuò)的神經(jīng)血管、遍布全手的肌肉導(dǎo) 致手部傷害的治療要求高、難度大、康復(fù)周期長。目前市場上的機(jī)械式手部康復(fù)器材，如分 指板、握力器、手指矯正器等趨于成熟，但這些手部康復(fù)器材功能單一，使用時(shí)往往需要病 人進(jìn)行單調(diào)的重復(fù)運(yùn)動(dòng)，病人鍛煉起來非?？菰铮y以達(dá)到良好的康復(fù)效果。
[0003] 為了提升康復(fù)訓(xùn)練的趣味性，一些研宄者提出利用虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)手部康復(fù)。 例如：華中科技大學(xué)發(fā)明的基于虛擬現(xiàn)實(shí)的手部多功能康復(fù)系統(tǒng)，運(yùn)用了虛擬場景，以器械 為模板，只單純的增加了娛樂性；北京交通大學(xué)針對腦卒中患者腕部活動(dòng)度低的病癥設(shè)計(jì) 虛擬現(xiàn)實(shí)訓(xùn)練平臺(tái)，使患者在虛擬環(huán)境中扮演一個(gè)角色，成為虛擬環(huán)境中的一部分，通過 訓(xùn)練動(dòng)作與虛擬環(huán)境進(jìn)行交互，達(dá)到逐漸恢復(fù)腕關(guān)節(jié)活動(dòng)度的目的；青島科技大學(xué)設(shè)計(jì)了 應(yīng)用三維建模的方法實(shí)現(xiàn)虛擬結(jié)合，但是三維建模速度慢，效率低，不能很好的達(dá)到康復(fù)效 果。上述系統(tǒng)通常只是單純在康復(fù)訓(xùn)練過程中增加了游戲功能，只具備單一或幾種手部動(dòng) 作的識(shí)別能力，真實(shí)感差、可交互性差，且康復(fù)系統(tǒng)不具有便攜性。還有國內(nèi)國外一些研宄 機(jī)構(gòu)使用數(shù)據(jù)手套通過虛實(shí)結(jié)合來達(dá)到康復(fù)訓(xùn)練的目的，但數(shù)據(jù)手套價(jià)格昂貴，應(yīng)用受到 限制。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明目的在于提供一種價(jià)格低廉、趣味性強(qiáng)、功能豐富的基于手勢交互的便攜 式手部虛擬康復(fù)實(shí)驗(yàn)箱及方法，以提高手部運(yùn)動(dòng)功能障礙的患者的康復(fù)效率。
[0005] 為實(shí)現(xiàn)上述目的，采用了以下技術(shù)方案：
[0006] 本發(fā)明所述的一種基于手勢交互的便攜式手部虛擬康復(fù)實(shí)驗(yàn)箱，主要包括上箱體 和下箱體，上箱體和下箱體鉸接組成一體，在上箱體內(nèi)側(cè)表面安裝顯示屏，顯示屏驅(qū)動(dòng)板鑲 嵌在上箱體內(nèi)部，在上箱體的開合邊內(nèi)側(cè)活動(dòng)安裝兩段轉(zhuǎn)動(dòng)式桿體支架，在支架頂端安裝 攝像頭；在下箱體中安裝立式隔板將下箱體分為左右兩個(gè)箱體，在下箱體的箱口處鑲嵌安 裝游戲標(biāo)志板；在左右兩個(gè)下箱體的前側(cè)板內(nèi)分別鑲嵌安裝音箱；在右側(cè)下箱體底部嵌入 一塊支撐板，在支撐板上安裝控制處理器、電源模塊和散熱風(fēng)扇，右側(cè)下箱體的側(cè)板上安裝 USB接口、網(wǎng)線接口、電源開關(guān)、復(fù)位鍵、電源接口并分別與控制處理器相連，在側(cè)板上對應(yīng) 散熱風(fēng)扇位置開設(shè)散熱孔；
[0007] 所述控制處理器的輸入端口與攝像頭、電源開關(guān)、復(fù)位鍵通過數(shù)據(jù)線連接；控制處 理器的輸出端口與音箱連接，另有輸出端口通過數(shù)據(jù)線經(jīng)顯示屏驅(qū)動(dòng)板后與顯示屏連接； 控制處理器與USB接口、網(wǎng)線接口互通連接；電源接口與電源模塊連接，電源模塊再與控制 處理器連接進(jìn)行供電。
[0008] 進(jìn)一步的，在支架頂端安裝攝像頭，在攝像頭旁安裝一個(gè)光照輔助裝置，光照輔助 裝置是由光敏開關(guān)和LED燈頭、電池串聯(lián)組成。
[0009] 進(jìn)一步的，在下箱體前側(cè)頂部邊緣固定安裝弧形板體狀的手臂托。
[0010] 進(jìn)一步的，所述游戲標(biāo)志板為長方形背景板，可選用木質(zhì)或硬塑或鋼制材料制成， 大小與下箱體的箱口大小配套。所述游戲標(biāo)志板分為如下四種背景板：
[0011] (1)第一種背景板，正面為黑色，邊緣設(shè)有一圈白色邊框，黑色部分的表面上開設(shè) 大小不同的圓孔，在圓孔上可安插蘑菇型插釘；
[0012] (2)第二種背景板，正面為黑色，邊緣設(shè)有一圈白色邊框，黑色部分的表面由橫豎 線繪制成棋盤格；
[0013] (3)第三種背景板，正面為黑色，邊緣設(shè)有一圈白色邊框；
[0014] (4)第四種背景板，為階梯狀支撐板，在各階梯面上繪制琴鍵或敲擊鍵或琴弦線。
[0015] 本發(fā)明所述的一種依賴于基于手勢交互的便攜式手部虛擬康復(fù)實(shí)驗(yàn)箱的手部康 復(fù)方法，方法步驟如下：
[0016] (1)通過手勢識(shí)別算法對控制處理器進(jìn)行編程，使控制處理器具備手勢識(shí)別處理 功能；通過虛實(shí)融合算法對控制處理器進(jìn)行編程，使控制處理器具備虛擬現(xiàn)實(shí)交互結(jié)合的 功能；在控制處理器中通過編程設(shè)定虛擬游戲場景；在控制處理器中預(yù)存康復(fù)手勢圖形；
[0017] (2)根據(jù)需要選定游戲標(biāo)志板的種類，將游戲標(biāo)志板安裝在下箱體的箱口處，調(diào)整 攝像頭高度和角度，使攝像頭能夠完整清晰的捕獲游戲標(biāo)志板的全景；
[0018] (3)人手可直接放置或手握輔助物體放置在游戲標(biāo)志板上，保持手的靜止休息狀 態(tài)，由攝像頭捕捉到人手視頻，將手勢視頻傳入控制處理器，控制處理器每隔40ms采集一 幀圖像作為關(guān)鍵幀，然后將關(guān)鍵幀圖像轉(zhuǎn)換為灰度圖，并提取關(guān)鍵幀手部輪廓；
[0019] 基于形狀配準(zhǔn)方法將關(guān)鍵幀手部輪廓與手的靜止休息狀態(tài)的輪廓圖進(jìn)行相似性 對比，如果兩者相似，識(shí)別當(dāng)前手勢為手的休息位；
[0020] 如果識(shí)別到手的休息位，則利用目標(biāo)跟蹤算法追蹤該手勢，同步提取手部輪廓，并 計(jì)算動(dòng)態(tài)手勢特征，包括手勢主方向、運(yùn)動(dòng)方向、手勢幾何中心在游戲標(biāo)志板的位置、速度 以及手部輪廓變化量；
[0021] 如果手部輪廓發(fā)生變化，則將手部輪廓與指定的康復(fù)手勢標(biāo)準(zhǔn)輪廓進(jìn)行相似性配 準(zhǔn)，若相似性超過規(guī)定閾值，則認(rèn)為當(dāng)前手勢與擬康復(fù)手勢一致，然后結(jié)合動(dòng)態(tài)手勢特征； 利用神經(jīng)網(wǎng)絡(luò)方法進(jìn)一步判斷手勢類型，并由此發(fā)出動(dòng)作信號來通過控制處理器來控制顯 示屏中虛擬空間物體的運(yùn)動(dòng)；
[0022] (4)虛擬游戲訓(xùn)練時(shí)，由攝像頭捕捉到人手、輔助物體以及游戲標(biāo)志板的圖像，將 圖像轉(zhuǎn)換為灰度圖，并進(jìn)行二值化處理；識(shí)別游戲標(biāo)志板外圍矩形邊緣角點(diǎn)，計(jì)算平面單應(yīng) 矩陣；實(shí)時(shí)跟蹤人手或輔助物體的輪廓，識(shí)別具體的手勢類型以及手部、輔助物體中心在圖 像中的坐標(biāo)，結(jié)合單應(yīng)矩陣和手部大小變化關(guān)系，確定手部或輔助物體相對于游戲標(biāo)志板 左下角的空間坐標(biāo)，從而確定虛擬手、輔助物體相對于虛擬世界坐標(biāo)系的位置關(guān)系，進(jìn)一步 將該位置賦予虛擬游戲場景中的對應(yīng)物體，實(shí)現(xiàn)虛擬物體移動(dòng)，根據(jù)手勢類型賦予虛擬物 體相應(yīng)合適的響應(yīng)，完成手部虛擬康復(fù)訓(xùn)練。
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點(diǎn)：
[0024] 1、采用手勢識(shí)別及虛擬現(xiàn)實(shí)技術(shù)，最大限度的實(shí)現(xiàn)了趣味性手部主動(dòng)康復(fù)訓(xùn)練， 提高了訓(xùn)練效率，縮短了康復(fù)周期；
[0025] 2、系統(tǒng)設(shè)計(jì)靈活，可康復(fù)手勢豐富，操作簡單、成本低廉、便攜性強(qiáng)，不需要醫(yī)護(hù)人 員或家人長期陪伴訓(xùn)練，不但適合患者在醫(yī)院進(jìn)行康復(fù)訓(xùn)練，也適合患者在家庭中進(jìn)行康 復(fù)訓(xùn)練。
【附圖說明】
[0026] 圖1是本發(fā)明實(shí)驗(yàn)箱的立體結(jié)構(gòu)簡圖。
[0027] 圖2是本發(fā)明實(shí)驗(yàn)箱下箱體的內(nèi)部結(jié)構(gòu)圖。
[0028]圖3是本發(fā)明實(shí)驗(yàn)箱的游戲標(biāo)志板作為拼插游戲標(biāo)志板使用時(shí)的示意圖。
[0029] 圖4是本發(fā)明實(shí)驗(yàn)箱的游戲標(biāo)志板作為拼插游戲標(biāo)志板時(shí)配套使用的蘑菇型插 釘結(jié)構(gòu)圖。
[0030]圖5是本發(fā)明實(shí)驗(yàn)箱的游戲標(biāo)志板作為棋盤游戲標(biāo)志板使用時(shí)的示意圖。
[0031]圖6本發(fā)明實(shí)驗(yàn)箱的游戲標(biāo)志板作為琴類游戲標(biāo)志板使用時(shí)的示意圖。
[0032] 圖7是本發(fā)明方法的手勢識(shí)別流程