本發(fā)明涉及虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，特別涉及一種集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置及其方法和用途。

背景技術(shù)：

虛擬現(xiàn)實(shí)技術(shù)是利用計(jì)算機(jī)仿真技術(shù)，在虛擬世界中進(jìn)行真實(shí)世界物體的再現(xiàn)還原，并且通過(guò)設(shè)置一定的交互命令，使得用戶可以與虛擬世界中的物體進(jìn)行感官上的交互，從而沉浸于虛擬世界中。由于vr技術(shù)本身高度的沉浸性仿真效果，以及在國(guó)防、醫(yī)學(xué)、教育、商業(yè)、制造業(yè)和娛樂(lè)游戲等領(lǐng)域的突出作用，虛擬現(xiàn)實(shí)技術(shù)被視為21世紀(jì)最有應(yīng)用價(jià)值和市場(chǎng)前景的技術(shù)之一，而觸覺(jué)反饋一直被認(rèn)為是實(shí)現(xiàn)虛擬現(xiàn)實(shí)完全沉浸的重要組成部分。

當(dāng)前在虛擬現(xiàn)實(shí)環(huán)境里面缺乏觸覺(jué)的模擬以及輸入方式單一被認(rèn)為是影響沉浸感的一個(gè)重要的問(wèn)題。缺乏觸覺(jué)反饋會(huì)讓人無(wú)法感覺(jué)到真正手持虛擬物品?，F(xiàn)有的機(jī)械式觸覺(jué)反饋方案無(wú)法做到全方位覆蓋，而且只能提供方向單一的力。

部分公司的虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)產(chǎn)品使用手柄控制器來(lái)進(jìn)行輸入，這是在目前手勢(shì)識(shí)別方案還有欠缺情況下的權(quán)宜方案。但是vr手柄也有著明顯的缺陷：對(duì)于手部關(guān)節(jié)的精細(xì)動(dòng)作無(wú)法還原；無(wú)法進(jìn)行手部動(dòng)作的精準(zhǔn)定位；容易受周圍環(huán)境的影響而降低精度。

目前已經(jīng)面世的骨架式帶壓力板的手套只能在各個(gè)手指關(guān)節(jié)之間放置一片壓力板，與真正的現(xiàn)實(shí)世界完全不同。只能小部分模擬壓力，無(wú)法保證逼真度，用戶體驗(yàn)差。

手勢(shì)識(shí)別在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域被部分公司采用。但是單純通過(guò)攝像頭識(shí)別手勢(shì)需要將手置于攝像頭的視野范圍且使用者的手需一直抬起，無(wú)法長(zhǎng)時(shí)間使用。而且由于使用環(huán)境非常復(fù)雜，周圍的各種環(huán)境干擾也很大，會(huì)造成識(shí)別精度低，識(shí)別速度慢。

為了保證vr和ar交互控制的逼真度和沉浸度，需要進(jìn)一步提高用戶之間的交互性以及用戶與識(shí)別設(shè)備之間的可交互性，因此，需要更加精確地識(shí)別手部運(yùn)動(dòng)及動(dòng)作細(xì)節(jié)?，F(xiàn)有技術(shù)通過(guò)在識(shí)別設(shè)備中加裝三維攝像模組來(lái)識(shí)別游戲過(guò)程中的用戶手部動(dòng)作，但是經(jīng)常遇到識(shí)別精度低，夜晚不能正常識(shí)別等問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是至少解決上述缺陷與不足之一，該目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的。

本發(fā)明提供了一種集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置，包括：手套本體以及鑲嵌在所述手套本體上的多個(gè)功能單元，所述功能單元用于對(duì)處于所述手套本體內(nèi)的人手進(jìn)行手勢(shì)數(shù)據(jù)采集并根據(jù)采集到的人手手勢(shì)數(shù)據(jù)對(duì)所述人手提供超聲波觸覺(jué)反饋。

進(jìn)一步地，所述多個(gè)功能單元包括用于獲取人手手勢(shì)數(shù)據(jù)的攝像頭、為所述攝像頭提供光線的照明單元以及超聲波噴頭組件，其中，所述多個(gè)功能單元中的第一功能單元包括所述攝像頭、所述照明單元以及所述超聲波噴頭組件中的至少一種，所述多個(gè)功能單元中的第二功能單元包括所述攝像頭、所述照明單元以及所述超聲波噴頭組件中的至少另一種，所述多個(gè)功能單元中的第三功能單元包括所述攝像頭、所述照明單元以及所述超聲波噴頭組件中的至少其余一種。

進(jìn)一步地，每個(gè)功能單元均包括用于獲取人手手勢(shì)數(shù)據(jù)的攝像頭、為所述攝像頭提供光線的照明單元以及超聲波噴頭組件。

進(jìn)一步地，還包括計(jì)算模塊，所述計(jì)算模塊用于對(duì)采集到的手勢(shì)數(shù)據(jù)進(jìn)行計(jì)算處理，進(jìn)行手勢(shì)識(shí)別，并生成手勢(shì)反饋信息。

進(jìn)一步地，還包括計(jì)算模塊，所述計(jì)算模塊用于對(duì)所述攝像頭采集到的手勢(shì)數(shù)據(jù)進(jìn)行計(jì)算處理，進(jìn)行手勢(shì)識(shí)別，并生成手勢(shì)反饋信息。

進(jìn)一步地，還包括控制模塊以及通訊模塊，所述控制模塊用于接收所述手勢(shì)反饋信息并根據(jù)所述手勢(shì)反饋信息控制所述超聲波噴頭組件發(fā)出超聲波。

進(jìn)一步地，所述超聲波噴頭組件包括至少一個(gè)超聲波噴頭。

進(jìn)一步地，所述通訊模塊為usb模塊、藍(lán)牙模塊、gprs/3g/4g/5g模塊、wifi模塊、zigbee模塊或特定協(xié)議的網(wǎng)絡(luò)通訊模塊中的一種或多種。

進(jìn)一步地，所述集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置還包括內(nèi)置的電池和/或能夠與外部電源以有線或無(wú)線的方式連接的電源接口。

進(jìn)一步地，所述手套本體固定在手腕處或者所述手套本體不固定在手腕處。

進(jìn)一步地，所述手套本體為方形體、圓形體或其他任意形狀。

進(jìn)一步地，所述手套本體外部為柔性材質(zhì)或剛性材質(zhì)。

進(jìn)一步地，所述手套本體內(nèi)部表面覆有單色涂層或帶圖案的涂層。

進(jìn)一步地，還包括終端設(shè)備，并且所述終端設(shè)備能夠接收所述攝像頭采集到的手勢(shì)數(shù)據(jù)，進(jìn)行手勢(shì)識(shí)別，并生成手勢(shì)反饋信息。

本發(fā)明還提供了一種利用上述集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置進(jìn)行超聲波手勢(shì)識(shí)別和觸覺(jué)反饋的方法，包括：

選擇虛擬環(huán)境，并將虛擬環(huán)境信息發(fā)送至集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置；

所述集成超聲波手勢(shì)識(shí)別與觸覺(jué)反饋的裝置實(shí)時(shí)采集處于手套本體內(nèi)的人手的手勢(shì)并將獲取的手勢(shì)信息傳輸至計(jì)算模塊；

利用所述計(jì)算模塊進(jìn)行手勢(shì)識(shí)別并生成手勢(shì)反饋信息，根據(jù)所述手勢(shì)反饋信息發(fā)射出超聲波提供觸覺(jué)反饋。

本發(fā)明還提供了另一種利用上述集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置進(jìn)行超聲波手勢(shì)識(shí)別和觸覺(jué)反饋的方法，包括：

選擇虛擬環(huán)境，并將虛擬環(huán)境信息發(fā)送至集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置；

所述集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置實(shí)時(shí)采集處于手套本體內(nèi)的人手的手勢(shì)并將獲取的手勢(shì)信息傳輸至終端設(shè)備；

利用所述終端設(shè)備進(jìn)行手勢(shì)識(shí)別并生成手勢(shì)反饋信息，將所述手勢(shì)反饋信息傳輸至所述集成超聲波手勢(shì)識(shí)別與觸覺(jué)反饋的裝置；

利用所述集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置接收手勢(shì)反饋信息，并根據(jù)所述手勢(shì)反饋信息發(fā)射出超聲波提供觸覺(jué)反饋。

進(jìn)一步地，還包括根據(jù)所述手勢(shì)反饋信息來(lái)調(diào)節(jié)超聲波的發(fā)射方式。

進(jìn)一步地，調(diào)節(jié)超聲波的發(fā)射方式包括調(diào)節(jié)超聲波的脈沖、調(diào)節(jié)超聲波的頻率、調(diào)節(jié)超聲波的發(fā)射方向、調(diào)節(jié)超聲波的強(qiáng)度中的一種或多種。

本發(fā)明還涉及上述集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置在在虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)或混合現(xiàn)實(shí)中的用途。

本發(fā)明的優(yōu)點(diǎn)如下：

(1)本發(fā)明觸覺(jué)反饋的真實(shí)感強(qiáng)，可以模擬多種角度、力度的觸感，進(jìn)一步增加了虛擬現(xiàn)實(shí)體驗(yàn)的逼真度和沉浸度。

(2)本發(fā)明集成手勢(shì)識(shí)別到手套內(nèi)部可以使使用環(huán)境變得簡(jiǎn)單，簡(jiǎn)化算法，從而提高識(shí)別速度與識(shí)別精度。

(3)本發(fā)明將手勢(shì)識(shí)別和觸覺(jué)反饋集成到手套內(nèi)，設(shè)備集成度高，可以完美替代手柄控制器。

(4)本發(fā)明體積小、重量輕，可以長(zhǎng)時(shí)間穿戴和操作。

附圖說(shuō)明

通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。

圖1為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的裝配示意圖。

圖2為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的功能單元的結(jié)構(gòu)示意圖。

圖3為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的功能單元的另一結(jié)構(gòu)示意圖。

圖4為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的另一功能單元的布置示意圖。

圖5為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的結(jié)構(gòu)示意圖。

圖6為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的操作流程圖。

圖7為本發(fā)明實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的另一操作流程圖。

圖中附圖標(biāo)記如下：

1-手套本體2-功能單元

201-超聲波探頭202-攝像頭

203-照明單元3-控制模塊

4-通訊模塊5-計(jì)算模塊

6-集成電路板

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施方式。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施方式，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施方式所限制。相反，提供這些實(shí)施方式是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

圖1為本發(fā)明具體實(shí)施例提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的裝配示意圖，如圖1所示，本發(fā)明所述的一種基于超聲波的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置包括手套本體1和鑲嵌在手套本體1上的多個(gè)功能單元2，每個(gè)功能單元2用于對(duì)處于手套本體1內(nèi)的人手進(jìn)行手勢(shì)數(shù)據(jù)采集并根據(jù)采集到的人手手勢(shì)數(shù)據(jù)對(duì)人手提供超聲波觸覺(jué)反饋。

圖2為本發(fā)明具體實(shí)施例提供的基于超聲波的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的功能單元的結(jié)構(gòu)示意圖，如圖2所示，每個(gè)功能單元2均包括用于獲取人手手勢(shì)數(shù)據(jù)的攝像頭201、為所述攝像頭提供光線的照明單元202以及超聲波噴頭組件203。而超聲波噴頭組件203根據(jù)攝像頭201提供的手與手指的位置通過(guò)程序設(shè)置用不同的角度和強(qiáng)度進(jìn)行超聲波發(fā)射以此來(lái)形成觸感。

手套本體1內(nèi)部布滿了功能單元2，用戶可以利用功能單元2將按壓虛擬物體的觸感投射到用戶的雙手上，讓用戶在不接觸屏幕的情況下于半空中獲得觸覺(jué)反饋。

在本實(shí)施例中，所述功能單元2均勻分布在手套本體1內(nèi)部的各個(gè)部位，在另一實(shí)施例中，可以對(duì)某些部位的功能單元2進(jìn)行適當(dāng)?shù)脑鰟h組合。例如，手指、手心部位活動(dòng)較多，手背處活動(dòng)較少，可以適當(dāng)減少手背處功能單元2的布置，這種功能單元2的增刪組合包括但不限于本實(shí)施例。

此外，如圖4所示，功能單元2并不完全相同，其中一些只包含攝像頭201，另一些只包含照明單元202，還有一些只包含超聲波噴頭203，它們的數(shù)量和位置分布并不完全相同，可以根據(jù)需要設(shè)置。

多個(gè)功能單元2中的第一功能單元包括攝像頭201、照明單元202以及超聲波噴頭組件203中的至少一種，多個(gè)功能單元2中的第二功能單元包括攝像頭201、照明單元202以及超聲波噴頭組件202中的至少另一種，多個(gè)功能單元2中的第三功能單元包括攝像頭201、照明單元202以及超聲波噴頭組件203中的至少其余一種。

由第一功能單元、第二功能單元、第三功能單元組成的超聲波觸覺(jué)反饋的裝置能夠完成完整的手勢(shì)識(shí)別和觸覺(jué)反饋。

在另一實(shí)施例中，多個(gè)功能單元2也可以鑲嵌于一整塊集成電路板6上，再將集成電路板6設(shè)置于手套本體1內(nèi)部。如圖4所示，多個(gè)功能單元2排列于集成電路板6上，將功能單元2集中設(shè)置在一整塊集成電路板6上，可以減少電連接。

根據(jù)本公開(kāi)的實(shí)施方式，所述功能單元2的照明單元202可以發(fā)出可見(jiàn)光或者不可見(jiàn)光以便追蹤識(shí)別手勢(shì)動(dòng)作，例如，照明單元202可以發(fā)出紅外光，即使在白天，攝像頭201也可以精確追蹤識(shí)別手勢(shì)信息，不受光線的影響。另外，所述照明單元202可以根據(jù)環(huán)境不同發(fā)出顏色、頻率或亮度不同的光線以便被攝像頭201追蹤識(shí)別，例如，在白天，由于光線充足，照明單元202發(fā)白光，攝像頭201不能精確追蹤識(shí)別手勢(shì)信息，如果發(fā)紅光，則攝像頭201可以精確追蹤識(shí)別手勢(shì)信息；在夜晚，由于光線較暗，照明單元202可以發(fā)白光，以便被攝像頭201追蹤識(shí)別；再如，在游戲中，根據(jù)游戲進(jìn)度內(nèi)容，在激烈戰(zhàn)斗中，照明單元202發(fā)出脈沖快閃紅光，在平和階段，照明單元202發(fā)出脈沖的藍(lán)光；在室內(nèi)游戲時(shí)，照明單元202發(fā)出亮度較低的光，游戲場(chǎng)景轉(zhuǎn)移到室外時(shí)，照明單元202發(fā)出亮度較高的光等等。

超聲波噴頭組件203的每一個(gè)超聲波噴頭都可以噴出受控制的力，這樣超聲波便可以覆蓋它所包圍的全部肢體。同時(shí)每個(gè)噴頭均比較小巧，可以完美布到各種形狀的表面上，讓手部感受到力的反饋，給用戶帶來(lái)更真實(shí)的體驗(yàn)，提高虛擬現(xiàn)實(shí)體驗(yàn)的逼真度，例如，在游戲中，兩玩家在虛擬世界內(nèi)格斗，一旦對(duì)方被擊中，或者自己被擊中，超聲波噴頭都會(huì)刺激皮膚產(chǎn)生觸感，當(dāng)自己被擊中的時(shí)，手部產(chǎn)生觸感，感覺(jué)好像真被擊中一樣。

每個(gè)功能單元2上的超聲波噴頭組件203的數(shù)量可以根據(jù)需要設(shè)置，如圖3所示，圖中示出了本發(fā)明的功能單元2的另一實(shí)施例的結(jié)構(gòu)示意圖，超聲波噴頭組件203由3個(gè)超聲波噴頭組成，每一個(gè)超聲波噴頭都可以噴出受控制的力來(lái)刺激手部的神經(jīng)元，在手部創(chuàng)建不同的觸感。

用戶還可以對(duì)觸覺(jué)反饋的效果進(jìn)行調(diào)整，例如調(diào)節(jié)超聲波的脈沖或頻率減弱反饋的力度，或者增加觸覺(jué)反饋持續(xù)的時(shí)間來(lái)滿足個(gè)性化的用戶體驗(yàn)需求。

將攝像頭201和超聲波噴頭組件203集成到功能單元2上，能夠很好的跟蹤人手的每個(gè)關(guān)節(jié)，并且精確的捕捉人手的各種手勢(shì)和動(dòng)作，無(wú)論白天黑夜，可以全天候識(shí)別跟蹤手部動(dòng)作，實(shí)現(xiàn)手勢(shì)識(shí)別和控制。此外還能夠使用戶和虛擬環(huán)境中的虛擬物件互動(dòng)產(chǎn)生更自然更具沉浸感觸覺(jué)反饋，大大提高了用戶體驗(yàn)。本發(fā)明將手勢(shì)識(shí)別追蹤和觸覺(jué)反饋結(jié)合在一款緊湊而又舒適的設(shè)備中，使虛擬現(xiàn)實(shí)體驗(yàn)更具交互性、更具沉浸感和更加身臨其境。

圖5為本發(fā)明具體實(shí)施例提供的集成超聲波觸感與手勢(shì)識(shí)別裝置的結(jié)構(gòu)示意圖，如圖5所示，手套本體1還包括控制模塊3、通訊模塊4和計(jì)算模塊5。

計(jì)算模塊5與控制模塊3電連接，用于對(duì)采集到的人手的各個(gè)部位的空間位置信息和手勢(shì)信息通過(guò)算法進(jìn)行計(jì)算處理，對(duì)人手手勢(shì)進(jìn)行準(zhǔn)確定位識(shí)別，并生成手勢(shì)反饋信息。計(jì)算模塊5對(duì)手勢(shì)的識(shí)別計(jì)算過(guò)程不局限于一類或幾類具體的算法。利用計(jì)算模塊5可以輕易識(shí)別出用戶手指的位置，提高追蹤識(shí)別的準(zhǔn)確度，在虛擬環(huán)境中方便對(duì)用戶手指建模，提高虛擬環(huán)境的逼真度，增強(qiáng)用戶體驗(yàn)度。

在手套本體1背部安裝控制模塊3，控制模塊3為集成電路板及主控芯片，通過(guò)超細(xì)導(dǎo)線電連接各個(gè)功能單元2?？刂颇K3用于接收計(jì)算模塊5提供的人手手勢(shì)識(shí)別反饋信息并根據(jù)手勢(shì)反饋信息控制超聲波噴頭組件203發(fā)出超聲波，生成觸覺(jué)反饋。

在另一實(shí)施方式中，本裝置進(jìn)行手勢(shì)識(shí)別時(shí)，無(wú)需通過(guò)計(jì)算模塊5，可直接將攝像頭201采集到的人手手勢(shì)數(shù)據(jù)通過(guò)通訊模塊4傳遞給終端設(shè)備，利用終端設(shè)備預(yù)置的算法進(jìn)行手勢(shì)識(shí)別。

將攝像頭201采集到的人手手勢(shì)數(shù)據(jù)通過(guò)通訊模塊4傳輸至終端設(shè)備，終端設(shè)備將采集到的人手手勢(shì)數(shù)據(jù)和虛擬環(huán)境信息結(jié)合，利用終端設(shè)備內(nèi)置的程序算法，生成人手手勢(shì)反饋信息，并將人手手勢(shì)反饋信息通過(guò)通訊模塊4發(fā)送至控制模塊3，控制模塊3根據(jù)接收到的人手手勢(shì)反饋信息發(fā)出觸覺(jué)指令到功能單元2，功能單元2的超聲波噴頭組件203從各個(gè)方位向手部發(fā)射出超聲波，以此來(lái)形成觸感，并且將虛擬環(huán)境中生成的觸感反饋給操作者，使操作者產(chǎn)生身臨其境的沉浸感。

通訊模塊4固定于控制模塊3旁，用于連接集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置和終端設(shè)備，實(shí)現(xiàn)通訊和數(shù)據(jù)交換，通訊模塊4為usb模塊、藍(lán)牙模塊、gprs/3g/4g/5g模塊、wifi模塊、zigbee模塊或特定協(xié)議的網(wǎng)絡(luò)通訊模塊中的一種或多種。優(yōu)選實(shí)施例中，將通訊模塊4設(shè)置為無(wú)線模式可以讓本裝置不受空間約束，提高使用的自由度。

控制模塊3和功能單元2的電源供給，既可以由手套中的內(nèi)置電池來(lái)供給，也可以通過(guò)有線或無(wú)線的電源接口連接外部電源設(shè)備供電，本發(fā)明不以此為限。

手套本體1用于搭載和固定功能單元2及其他模塊，可穿戴于用戶手腕部，在手腕處可將手套本體1與人手固定，人手在手套本體1內(nèi)部活動(dòng)。將手套本體1固定于手腕的設(shè)計(jì)可有效避免用戶體驗(yàn)時(shí)手套過(guò)于松動(dòng)而喪失沉浸感，手指關(guān)節(jié)的彎曲度和手指的力度都能準(zhǔn)確傳達(dá)，以便用戶與虛擬物體自然地交互。

在本發(fā)明的其它具體實(shí)施方式中，手套本體1可以不與手腕固定，直接設(shè)置為固定狀態(tài)，即將手套本體1固定設(shè)置在桌面上，人手在手套本體1內(nèi)活動(dòng)，此時(shí)可以方便習(xí)慣坐在計(jì)算機(jī)前的用戶抓拿物體，讓用戶的手指更靈活，vr體驗(yàn)過(guò)程更加自然舒服。

手套本體1可以為方形體、圓形體或者其它任意形狀，本發(fā)明不局限于此，只要能夠?qū)崿F(xiàn)對(duì)手部動(dòng)作的精確識(shí)別跟蹤和觸覺(jué)反饋即可。例如，可以是柔性的手套型，也可以是球形，甚至可以不是全封閉的(例如西方的花劍的半包圍式護(hù)手)。

手套本體1外部為柔性材質(zhì)或剛性材質(zhì)，手套本體1使用透氣的柔性材料，可以讓用戶穿戴更舒服，也方便手部靈活活動(dòng)。將手套本體1設(shè)置為固定狀態(tài)時(shí)，采用剛性材質(zhì)可方便固定。

手套本體1內(nèi)部表面覆有單色涂層或帶圖案的涂層，設(shè)置為帶圖案的涂層，這些圖案以及其中包含的標(biāo)記將便于在手勢(shì)識(shí)別過(guò)程中定位人手的每個(gè)部位的相對(duì)和絕對(duì)位置。

如圖6所示，根據(jù)本公開(kāi)的實(shí)施方式，利用該集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置進(jìn)行觸覺(jué)反饋和手勢(shì)識(shí)別的方法包括如下步驟：

1)選擇虛擬環(huán)境，并將虛擬環(huán)境信息發(fā)送至集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置；

具體地，接通電源后，集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置開(kāi)始工作，在該裝置對(duì)應(yīng)的軟件上選擇合適的虛擬場(chǎng)景信息。

2)集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置實(shí)時(shí)采集處于手套本體內(nèi)的人手的手勢(shì)并將獲取的手勢(shì)信息傳輸至計(jì)算模塊；

人手在集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置內(nèi)活動(dòng)，功能單元2的攝像頭201實(shí)時(shí)采集人手手勢(shì)信息，并將獲取的人手手勢(shì)信息傳輸至計(jì)算模塊5，以提供精確的手勢(shì)識(shí)別跟蹤。

3)利用計(jì)算模塊進(jìn)行手勢(shì)識(shí)別并生成手勢(shì)反饋信息，根據(jù)所述手勢(shì)反饋信息發(fā)射出超聲波提供觸覺(jué)反饋。

具體地，計(jì)算模塊5在接收到所述攝像頭201采集的手勢(shì)動(dòng)作數(shù)據(jù)后，利用算法進(jìn)行統(tǒng)一解析處理，進(jìn)行手勢(shì)識(shí)別，并生成手勢(shì)反饋信息。

集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的控制模塊3接收到手勢(shì)反饋信息后，控制模塊3控制功能單元2的超聲波噴頭組件203從不同的角度向手部發(fā)射出超聲波，以此來(lái)形成觸感，并且將虛擬環(huán)境中生成的觸感反饋給操作者，使操作者產(chǎn)生身臨其境的沉浸感。

調(diào)節(jié)超聲波的發(fā)射方式，可以對(duì)觸覺(jué)反饋的效果進(jìn)行調(diào)整，能夠滿足個(gè)性化的用戶體驗(yàn)需求。調(diào)節(jié)超聲波的發(fā)射方式包括調(diào)節(jié)超聲波的脈沖、調(diào)節(jié)超聲波的頻率、調(diào)節(jié)超聲波的發(fā)射方向、調(diào)節(jié)超聲波的強(qiáng)度中的一種或多種。

如圖7所示，在另一實(shí)施方式中，該集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置只負(fù)責(zé)手勢(shì)數(shù)據(jù)的采集，手勢(shì)識(shí)別的過(guò)程發(fā)生在終端設(shè)備，該觸覺(jué)反饋和手勢(shì)識(shí)別的方法包括如下步驟：

1)選擇虛擬環(huán)境，并將虛擬環(huán)境信息發(fā)送至集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置。

2)集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置實(shí)時(shí)采集處于手套本體內(nèi)的人手的手勢(shì)數(shù)據(jù)并將獲取的手勢(shì)信息傳輸至終端設(shè)備。

終端設(shè)備在接收到所述攝像頭201采集的手勢(shì)動(dòng)作數(shù)據(jù)后，進(jìn)行統(tǒng)一解析處理。

3)利用終端設(shè)備進(jìn)行手勢(shì)識(shí)別并生成手勢(shì)反饋信息，并將手勢(shì)反饋信息傳輸至集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置。

具體地，終端設(shè)備將從集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置接收到的人手手勢(shì)信息和虛擬環(huán)境信息結(jié)合進(jìn)行數(shù)據(jù)處理和解析后，進(jìn)行手勢(shì)識(shí)別，并生成手勢(shì)反饋信息。同時(shí)，當(dāng)終端設(shè)備檢測(cè)到手部需要有觸覺(jué)反饋(例如，在虛擬場(chǎng)景里，當(dāng)手觸碰到虛擬的物體時(shí)候，物體會(huì)給手部一個(gè)力的觸覺(jué)反饋)的時(shí)候，終端設(shè)備會(huì)把手勢(shì)反饋信息通過(guò)通訊模塊4發(fā)送到集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置。

4)利用集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置接收手勢(shì)反饋信息，并根據(jù)所述手勢(shì)反饋信息發(fā)射出超聲波提供觸覺(jué)反饋。

集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置的控制模塊3接收到手勢(shì)反饋信息后，控制模塊3控制功能單元2的超聲波噴頭組件203從各個(gè)方位向手部發(fā)射出超聲波，以此來(lái)形成觸感，并且將虛擬環(huán)境中生成的觸感反饋給操作者，使操作者產(chǎn)生身臨其境的沉浸感。

為便于理解，下面結(jié)合具體的應(yīng)用場(chǎng)景對(duì)本實(shí)施例進(jìn)行描述：

首先，用戶將集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置通過(guò)wifi連接到計(jì)算機(jī)，在計(jì)算機(jī)對(duì)應(yīng)的軟件上選擇合適的場(chǎng)景信息，例如屏幕中出現(xiàn)地球模型。用戶為找到某地在地球模型上的位置，做出“按壓地球”的動(dòng)作，用戶所穿戴的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置中的功能單元2追蹤手部動(dòng)作，獲取手部動(dòng)作信息，并實(shí)時(shí)發(fā)送至計(jì)算機(jī)，計(jì)算機(jī)把該手部動(dòng)作信息與虛擬場(chǎng)景信息結(jié)合分析得到手勢(shì)反饋信息，然后計(jì)算機(jī)把該手勢(shì)反饋信息發(fā)送至集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置，使得集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置里的超聲波噴頭組件203根據(jù)該手勢(shì)手部反饋信息對(duì)應(yīng)的發(fā)射出超聲波，使用戶感受到有力施壓于手上，產(chǎn)生類似觸摸地球模型的觸感。同時(shí)，用戶還可以使用該集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置對(duì)虛擬場(chǎng)景里的地球模型進(jìn)行移動(dòng)和托舉等，并產(chǎn)生真實(shí)的移動(dòng)或托舉的感覺(jué)。

本實(shí)施例在視覺(jué)的虛擬場(chǎng)景中增加觸覺(jué)反饋，通過(guò)手部的活動(dòng)實(shí)現(xiàn)與虛擬場(chǎng)景相互作用，為操作者提供了一種更加直接、更加自然的人機(jī)交互方式，提高了用戶的體驗(yàn)。

在本發(fā)明的另一實(shí)施方式中，集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置可以運(yùn)用到幫助病人康復(fù)上。傳統(tǒng)的康復(fù)項(xiàng)目采用2d圖片的方式幫助手術(shù)后的病人恢復(fù)運(yùn)動(dòng)能力，例如，在2d屏幕上顯示一個(gè)蘋果，讓康復(fù)患者去用手抓，而抓到后顯示一個(gè)獎(jiǎng)勵(lì)。采用本發(fā)明可以讓患者真正的有距離感的抓到蘋果，并有觸覺(jué)的反饋。

本發(fā)明提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置也可以與其他虛擬現(xiàn)實(shí)設(shè)備配合使用，虛擬場(chǎng)景信息由眼鏡進(jìn)行投影顯示，例如當(dāng)用戶戴上虛擬現(xiàn)實(shí)眼鏡并操作計(jì)算機(jī)，會(huì)獲取帶有書桌的書房虛擬場(chǎng)景信息，虛擬環(huán)境會(huì)在虛擬現(xiàn)實(shí)眼鏡中實(shí)時(shí)顯示，當(dāng)用戶觸摸書桌時(shí)，不僅能通過(guò)虛擬現(xiàn)實(shí)眼鏡看到3d場(chǎng)景畫面演示，還能通過(guò)基于超聲波的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置感覺(jué)到觸摸書桌的動(dòng)作，讓用戶能夠更好地感受到虛擬環(huán)境的變化，增加與虛擬環(huán)境的互動(dòng)。

本發(fā)明提供的集成手勢(shì)識(shí)別與超聲波觸覺(jué)反饋的裝置，將手勢(shì)識(shí)別和觸覺(jué)反饋高度集成到一微型功能單元上，并將功能單元鑲嵌在手套本體內(nèi)部，實(shí)時(shí)反饋手部操作，實(shí)現(xiàn)對(duì)用戶手部動(dòng)作的精確識(shí)別追蹤，并將終端設(shè)備反饋回來(lái)的觸覺(jué)信息轉(zhuǎn)換成直接作用于人手的力或力矩，使操作者產(chǎn)生“身臨其境”的觸覺(jué)臨場(chǎng)感效果，從而實(shí)現(xiàn)在虛擬環(huán)境中產(chǎn)生真實(shí)的觸摸感受，而且它克服了手柄控制器機(jī)械結(jié)構(gòu)復(fù)雜、手的活動(dòng)范圍小和傳統(tǒng)數(shù)據(jù)手套不具有力反饋功能的缺點(diǎn)，具有廣泛的使用前景，可應(yīng)用于虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)以及混合現(xiàn)實(shí)等各種技術(shù)中。

根據(jù)本公開(kāi)的實(shí)施方式，終端設(shè)備可以是具備通信功能的設(shè)備。例如，終端設(shè)備可以是臺(tái)式pc電腦、智能手機(jī)、平板電腦、便攜式多媒體播放器、便攜式醫(yī)療設(shè)備、數(shù)碼相機(jī)或可穿戴設(shè)備等。

需要指出的是，示例性方法中指出的動(dòng)作可不按照附圖中所示或說(shuō)明書中所述順序發(fā)生。例如，連續(xù)的兩個(gè)動(dòng)作可能在執(zhí)行時(shí)實(shí)質(zhì)上是同時(shí)執(zhí)行的，或者部分動(dòng)作在某些時(shí)候會(huì)以相反的順序執(zhí)行，這將取決于所涉及到的功能。

可以理解地，為實(shí)現(xiàn)上述手勢(shì)識(shí)別和觸覺(jué)反饋，必有一套相應(yīng)的驅(qū)動(dòng)和應(yīng)用軟件(未示出)配合完成。

以上所述，僅為本發(fā)明較佳的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。