本發(fā)明涉及技術(shù)一種基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，是一種結(jié)合多源傳感器融合、多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)。

背景技術(shù)：

近年來(lái)，腦卒中（腦梗塞或腦溢血）、帕金森病、小兒腦癱、多發(fā)性硬化等疾病困擾著越來(lái)越多的人群。對(duì)于上述人群而言，通常存在運(yùn)動(dòng)功能、認(rèn)知和意識(shí)、言語(yǔ)等方面的障礙，術(shù)后普遍需要進(jìn)行長(zhǎng)期的康復(fù)治療、訓(xùn)練和指導(dǎo)。

其中，手部（包括手指和手腕）功能的康復(fù)是一項(xiàng)非常重要的內(nèi)容，因?yàn)槭植吭谌粘Ｉ钪械膮⑴c程度要顯著高于身體的其他部位。然而，由于手部處于神經(jīng)系統(tǒng)的末端，從臨床康復(fù)理論上分析，手功能的康復(fù)更為困難，且需要的康復(fù)周期更長(zhǎng)。

傳統(tǒng)的手功能訓(xùn)練與評(píng)估系統(tǒng)通常分為兩類(lèi)：被動(dòng)模式和主動(dòng)模式。被動(dòng)模式通常利用一些康復(fù)機(jī)器人、牽引設(shè)備、抗阻設(shè)備等完成；主動(dòng)模式通常利用康復(fù)手套、功能性電刺激、生物反饋、情景交互訓(xùn)練、虛擬現(xiàn)實(shí)等技術(shù)來(lái)完成。

目前，市面上推出手功能訓(xùn)練與評(píng)估系統(tǒng)的公司包括廣州一康醫(yī)療設(shè)備實(shí)業(yè)有限公司、嘉興恒怡科技有限公司等。然而，上述公司的產(chǎn)品主要存在以下幾個(gè)不足：

第一、在同一時(shí)間內(nèi)，系統(tǒng)僅能供一名手功能異常者使用，即“一對(duì)一”訓(xùn)練模式，致使效率無(wú)法進(jìn)一步提升；

第二、多名手功能異常者只能采用分時(shí)、分設(shè)備進(jìn)行訓(xùn)練，無(wú)法在同一個(gè)訓(xùn)練場(chǎng)景下進(jìn)行競(jìng)爭(zhēng)性訓(xùn)練，即無(wú)法進(jìn)一步提升手功能異常者的訓(xùn)練愿望。

此外，現(xiàn)有手功能訓(xùn)練與評(píng)估系統(tǒng)大多依賴(lài)一種類(lèi)型的傳感器（如：圖像類(lèi)型、運(yùn)動(dòng)類(lèi)型、壓力類(lèi)型等），在多源傳感器信息融合方面還有很多欠缺和不足。

因此，有必要設(shè)計(jì)一種新的基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，以解決上述技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)背景技術(shù)中存在的問(wèn)題，本發(fā)明的目的是提供一種基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，能夠?qū)崿F(xiàn)多名手功能異常者同時(shí)進(jìn)行訓(xùn)練與評(píng)估，從而大大提升臨床醫(yī)生的工作效率。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，包括電源模塊、主控制器模塊、手部運(yùn)動(dòng)信息采集模塊、信號(hào)傳輸模塊、計(jì)算機(jī)、數(shù)據(jù)存儲(chǔ)與管理模塊、信號(hào)分析與處理模塊、多人交互虛擬現(xiàn)實(shí)場(chǎng)景模塊，其中，所述電源模塊與主控制器模塊和手部運(yùn)動(dòng)信息采集模塊連接，主控制器模塊與手部運(yùn)動(dòng)信息采集模塊連接，主控制器模塊通過(guò)信號(hào)傳輸模塊與計(jì)算機(jī)連接，數(shù)據(jù)存儲(chǔ)與管理模塊和信號(hào)分析與處理模塊分別與計(jì)算機(jī)連接，多人交互虛擬現(xiàn)實(shí)場(chǎng)景模塊與信號(hào)分析與處理模塊連接。

在上述技術(shù)方案中，所述手部運(yùn)動(dòng)信息采集模塊包含圖像信息采集、運(yùn)動(dòng)信息采集和壓力信息采集。

在上述技術(shù)方案中，所述圖像信息采集使用攝像頭和紅外探測(cè)器，運(yùn)動(dòng)信息采集使用加速度、陀螺儀、磁力計(jì)和彎曲傳感器，壓力信息采集使用薄膜壓力傳感器和壓電傳感器。

在上述技術(shù)方案中，所述信號(hào)傳輸模塊包含有線(xiàn)傳輸和無(wú)線(xiàn)傳輸。

在上述技術(shù)方案中，所述有線(xiàn)傳輸為串口通訊和USB通訊。

在上述技術(shù)方案中，所述無(wú)線(xiàn)傳輸為藍(lán)牙、ZigBee、Wifi和433。

在上述技術(shù)方案中，所述信號(hào)分析與處理模塊包括時(shí)域分析、頻域分析和非線(xiàn)性分析。

在上述技術(shù)方案中，所述時(shí)域分析為手指、手腕的彎曲角度、運(yùn)動(dòng)速度、和壓力大小，頻域分析為能量、頻率分布，非線(xiàn)性分析為復(fù)雜網(wǎng)絡(luò)、熵、平滑度和隨機(jī)度。

在上述技術(shù)方案中，所述數(shù)據(jù)存儲(chǔ)與管理模塊用于實(shí)現(xiàn)整個(gè)系統(tǒng)中的用戶(hù)信息數(shù)據(jù)、傳感器數(shù)據(jù)的存儲(chǔ)與管理。

在上述技術(shù)方案中，所述數(shù)據(jù)存儲(chǔ)包括本地存儲(chǔ)和云存儲(chǔ)，數(shù)據(jù)管理包括數(shù)據(jù)添加、刪除、修改和查詢(xún)的管理操作。

本發(fā)明基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，該系統(tǒng)通過(guò)手部運(yùn)動(dòng)信息采集模塊，實(shí)時(shí)記錄多名手功能異常者的手部運(yùn)動(dòng)信息。經(jīng)過(guò)信號(hào)分析與處理后，利用手部運(yùn)動(dòng)信息采集模塊與多人交互虛擬現(xiàn)實(shí)場(chǎng)景模塊間的交互接口控制多人交互虛擬現(xiàn)實(shí)系統(tǒng)中對(duì)應(yīng)的角色，實(shí)現(xiàn)多名手功能異常者在同一個(gè)虛擬現(xiàn)實(shí)場(chǎng)景中同時(shí)進(jìn)行訓(xùn)練的功能，從而大大提升臨床醫(yī)生的工作效率。同時(shí)，該系統(tǒng)可以實(shí)現(xiàn)多名手功能異常者的實(shí)時(shí)交互，通過(guò)引入社交網(wǎng)絡(luò)的功能，能夠最大程度地促進(jìn)其訓(xùn)練的愿望。

附圖說(shuō)明

圖1為基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)原理框圖；

圖2為多人交互虛擬現(xiàn)實(shí)場(chǎng)景之一示意圖；

圖3為對(duì)指運(yùn)動(dòng)示意圖；

圖4為多人交互虛擬現(xiàn)實(shí)場(chǎng)景之二示意圖；

圖5為抓握運(yùn)動(dòng)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

如圖1所示，本發(fā)明所述的一種基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，包括電源模塊、主控制器模塊、手部運(yùn)動(dòng)信息采集模塊、信號(hào)傳輸模塊、計(jì)算機(jī)、數(shù)據(jù)存儲(chǔ)與管理模塊、信號(hào)分析與處理模塊、多人交互虛擬現(xiàn)實(shí)場(chǎng)景模塊。

其中，所述電源模塊與主控制器模塊和手部運(yùn)動(dòng)信息采集模塊連接，主控制器模塊與手部運(yùn)動(dòng)信息采集模塊連接，主控制器模塊通過(guò)信號(hào)傳輸模塊與計(jì)算機(jī)連接，數(shù)據(jù)存儲(chǔ)與管理模塊和信號(hào)分析與處理模塊分別與計(jì)算機(jī)連接，多人交互虛擬現(xiàn)實(shí)場(chǎng)景模塊與信號(hào)分析與處理模塊連接。

因此，該系統(tǒng)由硬件子系統(tǒng)和軟件子系統(tǒng)兩個(gè)部分組成。其中，硬件子系統(tǒng)包括主控制器模塊、手部運(yùn)動(dòng)信息采集模塊、信號(hào)傳輸模塊、電源模塊，用于實(shí)現(xiàn)手部運(yùn)動(dòng)信息的采集與傳輸；軟件子系統(tǒng)包括信號(hào)分析與處理模塊、多人交互虛擬現(xiàn)實(shí)場(chǎng)景、數(shù)據(jù)存儲(chǔ)與管理模塊用于實(shí)現(xiàn)信號(hào)的分析與處理、多人交互虛擬現(xiàn)實(shí)場(chǎng)景、數(shù)據(jù)存儲(chǔ)與管理等。整個(gè)系統(tǒng)的工作步驟及數(shù)據(jù)流向詳細(xì)描述如下：

（1）采集手功能異常者在執(zhí)行手部運(yùn)動(dòng)過(guò)程中的手指和手腕運(yùn)動(dòng)信息；

根據(jù)手部運(yùn)動(dòng)信息采集模塊工作原理的不同，手功能異常者與手部運(yùn)動(dòng)信息采集模塊之間的交互方式也有所不同。例如：當(dāng)手部運(yùn)動(dòng)信息采集模塊選用圖像類(lèi)型，如攝像頭或紅外探測(cè)器時(shí)，手功能異常者的手部活動(dòng)范圍需要處于攝像頭或紅外探測(cè)器的有效工作范圍內(nèi)；當(dāng)手部運(yùn)動(dòng)信息采集模塊選用運(yùn)動(dòng)信息類(lèi)型，如加速度、陀螺儀、磁力計(jì)、彎曲傳感器等或壓力類(lèi)型如薄膜壓力傳感器、壓電傳感器等時(shí)，手功能異常者需要將手部運(yùn)動(dòng)信息采集模塊佩戴在手部如手指、手腕、手背等。

（2）采集到的手指和手腕運(yùn)動(dòng)信息通過(guò)信號(hào)傳輸模塊發(fā)送到計(jì)算機(jī)；

根據(jù)信號(hào)傳輸方式的不同，可以利用有線(xiàn)如串口通信、USB通信等或無(wú)線(xiàn)如Bluetooth、ZigBee、Wifi等傳輸協(xié)議。同時(shí)，由于需要實(shí)時(shí)、同步采集多名手功能異常者的手指和手腕運(yùn)動(dòng)信息，因此多個(gè)傳感器源與計(jì)算機(jī)之間需要采用多點(diǎn)無(wú)線(xiàn)組網(wǎng)方式進(jìn)行通信。

（3）在計(jì)算機(jī)端，信號(hào)分析與處理模塊對(duì)采集到的傳感器信息進(jìn)行分析與處理，從而得出量化的手指和手腕運(yùn)動(dòng)特征；

具體的信號(hào)分析與處理方法包括但不局限于以下形式：時(shí)域分析（手指、手腕的彎曲角度、運(yùn)動(dòng)速度、壓力大小等）、頻域分析（能量、頻率分布等）、非線(xiàn)性分析方法（復(fù)雜網(wǎng)絡(luò)、熵、平滑度、隨機(jī)度等）。

（4）利用上述步驟（3）中算出的手指和手腕運(yùn)動(dòng)特征來(lái)驅(qū)動(dòng)、控制多人交互虛擬現(xiàn)實(shí)場(chǎng)景中對(duì)應(yīng)的不同虛擬角色。

（5）數(shù)據(jù)存儲(chǔ)與管理模塊主要實(shí)現(xiàn)整個(gè)系統(tǒng)中數(shù)據(jù)，包括但不局限于用戶(hù)信息數(shù)據(jù)、傳感器數(shù)據(jù)等的存儲(chǔ)與管理。數(shù)據(jù)存儲(chǔ)包括但不局限于本地存儲(chǔ)和云存儲(chǔ)等形式，數(shù)據(jù)管理包括但不局限于數(shù)據(jù)添加、刪除、修改、查詢(xún)等管理操作。

上述步驟（4）中的多人交互虛擬現(xiàn)實(shí)場(chǎng)景主要功能是構(gòu)建一個(gè)可以供多名手部功能異常者在同一場(chǎng)景下進(jìn)行訓(xùn)練的場(chǎng)景，場(chǎng)景設(shè)計(jì)原則主要是模擬日常生活中的手部運(yùn)動(dòng)模式，包括但不局限于以下形式：抓握、對(duì)指、側(cè)捏、手腕屈伸等。

以下結(jié)合附圖2、圖3、圖4和圖5對(duì)本發(fā)明進(jìn)行具體實(shí)施方式進(jìn)行分析：

實(shí)施案例一：

如圖2所示，多人交互虛擬現(xiàn)實(shí)場(chǎng)景模擬大魚(yú)吃小魚(yú)場(chǎng)景，場(chǎng)景中共包含兩個(gè)角色：A和B，即可供兩名手功能異常者同時(shí)進(jìn)行訓(xùn)練。手功能異常者需要完成的對(duì)指運(yùn)動(dòng)動(dòng)作，如圖3所示，即周期性地將拇指和食指相互靠近并接觸。

手部運(yùn)動(dòng)信息采集模塊采用運(yùn)動(dòng)類(lèi)型，拇指和食指的運(yùn)動(dòng)采用彎曲傳感器進(jìn)行信號(hào)采集，采樣頻率為50Hz。手部運(yùn)動(dòng)信息采集模塊與計(jì)算機(jī)之間采用ZigBee無(wú)線(xiàn)組網(wǎng)協(xié)議進(jìn)行通信。信號(hào)分析與處理模塊負(fù)責(zé)提取每次周期性對(duì)指運(yùn)動(dòng)過(guò)程中拇指和食指的彎曲角度，當(dāng)超過(guò)一定的閾值時(shí)，即可認(rèn)為完成一次有效的對(duì)指運(yùn)動(dòng)，從而驅(qū)動(dòng)、控制虛擬現(xiàn)實(shí)場(chǎng)景中的大魚(yú)（角色A或B）吃掉一個(gè)小魚(yú)。兩名手功能異常者需要在規(guī)定的時(shí)間內(nèi)（例如：1分鐘）盡可能多地有效完成對(duì)指運(yùn)動(dòng)，即控制大魚(yú)盡可能多地吃掉小魚(yú)。在游戲過(guò)程中，雙方均可以實(shí)時(shí)地看到對(duì)方的運(yùn)動(dòng)情況。

實(shí)施案例二：

如圖4所示，多人交互虛擬現(xiàn)實(shí)場(chǎng)景模擬摘蘋(píng)果，場(chǎng)景中共包含四個(gè)角色：A、B、C和D，即可供四名手功能異常者同時(shí)進(jìn)行訓(xùn)練。手功能異常者需要完成的抓握運(yùn)動(dòng)動(dòng)作，如圖5所示，即周期性地將四指并攏然后向手心聚集。

手部運(yùn)動(dòng)信息采集模塊采用壓力類(lèi)型，抓握運(yùn)動(dòng)采用壓力傳感器進(jìn)行信號(hào)采集，采樣頻率為50Hz。手部運(yùn)動(dòng)信息采集模塊與計(jì)算機(jī)之間采用ZigBee無(wú)線(xiàn)組網(wǎng)協(xié)議進(jìn)行通信。信號(hào)分析與處理模塊負(fù)責(zé)提取每次周期性抓握運(yùn)動(dòng)過(guò)程中所產(chǎn)生的握力值，當(dāng)超過(guò)一定的閾值時(shí)，即可認(rèn)為完成一次有效的抓握運(yùn)動(dòng)，從而驅(qū)動(dòng)、控制虛擬現(xiàn)實(shí)場(chǎng)景中的蘋(píng)果掉落運(yùn)動(dòng)。四名手功能異常者需要在規(guī)定的時(shí)間內(nèi)（例如：1分鐘）盡可能多地有效完成抓握運(yùn)動(dòng)，即摘取盡可能多的蘋(píng)果。在游戲過(guò)程中，每名手功能異常者均可以實(shí)時(shí)地看到其他人的實(shí)時(shí)運(yùn)動(dòng)情況。

本發(fā)明基于多人交互虛擬現(xiàn)實(shí)的手功能訓(xùn)練與評(píng)估系統(tǒng)，該系統(tǒng)通過(guò)手部運(yùn)動(dòng)信息采集模塊，實(shí)時(shí)記錄多名手功能異常者的手部運(yùn)動(dòng)信息。經(jīng)過(guò)信號(hào)分析與處理后，利用手部運(yùn)動(dòng)信息采集模塊與多人交互虛擬現(xiàn)實(shí)場(chǎng)景模塊間的交互接口控制多人交互虛擬現(xiàn)實(shí)系統(tǒng)中對(duì)應(yīng)的角色，實(shí)現(xiàn)多名手功能異常者在同一個(gè)虛擬現(xiàn)實(shí)場(chǎng)景中同時(shí)進(jìn)行訓(xùn)練的功能，從而大大提升臨床醫(yī)生的工作效率。同時(shí)，該系統(tǒng)可以實(shí)現(xiàn)多名手功能異常者的實(shí)時(shí)交互，通過(guò)引入社交網(wǎng)絡(luò)的功能，能夠最大程度地促進(jìn)其訓(xùn)練的愿望。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。