本發(fā)明屬于虛擬現(xiàn)實技術(shù)領(lǐng)域,特別涉及了一種手部觸感參數(shù)的采集及模擬還原系統(tǒng)和方法。
背景技術(shù):
近年來,隨著科技的不斷發(fā)展,信息傳輸及處理速率產(chǎn)生了質(zhì)的飛躍,而虛擬現(xiàn)實技術(shù)也借著這股“東風(fēng)”變得炙手可熱。虛擬現(xiàn)實技術(shù)主要包括模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面。模擬環(huán)境是由計算機生成的、實時動態(tài)的三維立體逼真圖像。感知是指理想的vr應(yīng)該具有一切人所具有的感知。除計算機圖形技術(shù)所生成的視覺感知外,還有聽覺、觸覺、力覺、運動等感知,甚至還包括嗅覺和味覺等,也稱為多感知。自然技能是指人的頭部轉(zhuǎn)動,眼睛、手勢、或其他人體行為動作,由計算機來處理與參與者的動作相適應(yīng)的數(shù)據(jù),并對用戶的輸入作出實時響應(yīng),并分別反饋到用戶的五官。而傳感設(shè)備是指三維交互設(shè)備。
虛擬和現(xiàn)實之間的鴻溝已經(jīng)變得越來越小。目前虛擬現(xiàn)實技術(shù)的發(fā)展正邁向一個嶄新的階段,國外各大公司都在圍繞虛擬現(xiàn)實技術(shù)的幾個方面進行探索與研制相關(guān)設(shè)備。對于聽覺方面自然不必說,現(xiàn)在的音頻處理及合成技術(shù)以及達到了較高的技術(shù)水平;在視覺方面,一些科技巨頭已經(jīng)推出了他們的產(chǎn)品,例如:微軟研制的頭戴式虛擬現(xiàn)實眼鏡holograms、索尼研制的虛擬現(xiàn)實眼鏡psvr等。而目前大多數(shù)公司虛擬現(xiàn)實的研究方向都在于視覺方面,當(dāng)然這也不難理解,視覺承擔(dān)著人類近80%人類與外界進行信息交互的能力,一旦在此方面有重大技術(shù)突破,那么虛擬現(xiàn)實技術(shù)將進入又一個新的階段;而在嗅覺方面,由于能夠產(chǎn)生氣味的化學(xué)成分目前還無法通過電子設(shè)備較為簡便的合成,因此研究的人員很少。
故目前除視覺外,只有觸覺在虛擬現(xiàn)實技術(shù)中有較好的研究及開發(fā)前景。目前針對觸感在虛擬現(xiàn)實中的應(yīng)用主要由三種實現(xiàn)形式:第一類是在手套內(nèi)部使用振動器產(chǎn)生震動來模擬觸覺;第二種種是用機械結(jié)構(gòu)來實現(xiàn)力的準確反饋;第三種是在手套上布置多個氣囊,用對氣囊充氣的方式實現(xiàn)觸感的反饋。經(jīng)過總結(jié)可以發(fā)現(xiàn),目前現(xiàn)有的產(chǎn)品均以觸覺之中的壓覺為反饋對象,而我們知道,除壓覺外觸覺還包括對溫度的感覺、痛覺,這兩種感覺同樣對人體有很重要的意義,因此僅僅用壓覺與振動來模擬觸覺是遠遠不夠的。
技術(shù)實現(xiàn)要素:
為了解決上述背景技術(shù)提出的技術(shù)問題,本發(fā)明旨在提供一種手部觸感參數(shù)的采集及模擬還原系統(tǒng)和方法,實現(xiàn)遠程采集手部觸摸參數(shù),進行數(shù)據(jù)處理錄入,同時又能通過電阻絲、電極釋放電刺激,模擬觸感參數(shù)。
為了實現(xiàn)上述技術(shù)目的,本發(fā)明的技術(shù)方案為:
一種手部觸感參數(shù)的采集及模擬還原系統(tǒng),包括手部姿態(tài)及觸感參數(shù)采集模塊、數(shù)據(jù)交換模塊和手部觸感參數(shù)還原模塊,所述手部姿態(tài)及觸感參數(shù)采集模塊包括第一微處理器以及分別與之連接的第一手部姿態(tài)傳感器、溫度傳感器、壓力傳感器和第一無線通信單元,所述數(shù)據(jù)交換模塊包括第二微處理器以及分別與之連接的數(shù)據(jù)存儲單元和第二無線通信單元,所述手部觸感參數(shù)還原模塊包括第三微處理器以及分別與之連接的第二手部姿態(tài)傳感器、d/a轉(zhuǎn)換器和第三無線通信單元,手部觸感參數(shù)還原模塊還包括微電流電極和發(fā)熱電阻絲,微電流電極和發(fā)熱電阻絲經(jīng)d/a轉(zhuǎn)換器與第三微處理器相連;數(shù)據(jù)交換模塊分別與手部姿態(tài)及觸覺參數(shù)采集模塊和手部觸感參數(shù)還原模塊分別建立無線通信。
基于上述技術(shù)方案的優(yōu)選方案,第一手部姿態(tài)傳感器和第二手部姿態(tài)傳感器包括多個貼片式彎曲度傳感器,這些貼片式彎曲度傳感器分別設(shè)置在用戶的手指和手掌上,通過采集手部各個位置的彎曲度數(shù)據(jù)來表征手部姿態(tài)數(shù)據(jù)。
本發(fā)明還提出了基于上述系統(tǒng)的手部觸感參數(shù)的采集及模擬還原方法,包括以下步驟:
(1)用戶使用手部進行實物觸摸,手部姿態(tài)及觸感參數(shù)采集模塊采集手部的彎曲度數(shù)據(jù)以及觸摸面的溫度、壓力數(shù)據(jù);
(2)手部姿態(tài)及觸感參數(shù)采集模塊將采集到的數(shù)據(jù)通過無線通信發(fā)送給數(shù)據(jù)交換模塊;
(3)數(shù)據(jù)交換模塊根據(jù)接收到的手部彎曲度數(shù)據(jù),采用手部姿態(tài)特征提取算法得到手部姿態(tài)特征;
(4)數(shù)據(jù)交換模塊根據(jù)采集到的觸摸面壓力數(shù)據(jù),采用痛覺等級劃分算法計算痛覺等級;
(5)數(shù)據(jù)交換模塊將手部姿態(tài)特征與對應(yīng)的溫度數(shù)據(jù)、痛覺等級進行打包,將數(shù)據(jù)包保存在數(shù)據(jù)存儲單元中;
(6)用戶做出預(yù)定的觸摸動作,手部觸感參數(shù)還原模塊采集手部的彎曲度數(shù)據(jù);
(7)手部觸感參數(shù)還原模塊將采集到的手部彎曲度數(shù)據(jù)通過無線通信發(fā)送給數(shù)據(jù)交換模塊;
(8)數(shù)據(jù)交換模塊根據(jù)采集到手部彎曲度數(shù)據(jù),采用手部姿態(tài)特征提取算法得到手部姿態(tài)特征;
(9)采用特征匹配算法,將步驟(8)得到的手部姿態(tài)特征與數(shù)據(jù)存儲單元中保存的各數(shù)據(jù)包中的手部姿態(tài)特征進行匹配,得到匹配結(jié)果;
(10)數(shù)據(jù)交換模塊從數(shù)據(jù)存儲單元中調(diào)取與步驟(8)得到的手部姿態(tài)特征相匹配的數(shù)據(jù)包,發(fā)送給手部觸感參數(shù)還原模塊;
(11)手部觸感參數(shù)還原模塊釋放接收到的數(shù)據(jù)包,根據(jù)數(shù)據(jù)包中的溫度數(shù)據(jù)驅(qū)動發(fā)熱電阻絲產(chǎn)生相應(yīng)的溫度,實現(xiàn)對溫度參數(shù)的模擬;同時根據(jù)數(shù)據(jù)包中的痛覺等級,采用微電流流量控制算法驅(qū)動微電流電極釋放相應(yīng)的微電流,從而實現(xiàn)對觸壓覺和痛覺的模擬。
進一步地,在步驟(3)中,所述手部姿態(tài)特征提取算法為,在手部設(shè)有n個貼片式彎曲度傳感器,每個貼片式彎曲度傳感器采集彎曲度信號組成彎曲度向量α=(x1,x2,...,xn),xi為第i個貼片式彎曲度傳感器采集的彎曲度信號,i=1,2,…,n;對同一個動作進行m次采集,得到m組彎曲度向量,對m組彎曲度向量求平均,得到手部姿態(tài)特征向量β:
上式中,αj為第j組彎曲度向量。
進一步地,在步驟(4)中,所述痛覺等級劃分算法的步驟如下:
(a)計算痛覺臨界電壓u0:
上式中,p0為痛覺閾值,p0=5.02×104pa,s0為單個壓力傳感器的有效感壓面積,k為單個壓力傳感器所受壓力值與壓力傳感器采樣電壓的比例系數(shù);
(b)根據(jù)痛覺臨界電壓u0計算痛覺分級函數(shù)c:
上式中,um為壓力傳感器的采樣電壓,λ為設(shè)定的系數(shù);
(c)計算8個痛覺判決門限js:
(d)將痛覺分級函數(shù)c與8個痛覺判決門限js進行比較,當(dāng)js≤c<js+1,則判斷痛覺等級為s。
進一步地,在步驟(11)中,所述微電流流量控制算法為,建立微電流電極輸出微電流i與痛覺等級s的關(guān)系:
上式中,微電流i的單位為毫安。
進一步地,在步驟(9)中,所述特征匹配算法,分別計算步驟(7)得到的手部姿態(tài)特征與數(shù)據(jù)存儲單元中所有數(shù)據(jù)包中的手部姿態(tài)特征的幾何距離,將最小幾何距離對應(yīng)的數(shù)據(jù)包作為匹配結(jié)果。
采用上述技術(shù)方案帶來的有益效果:
目前市場上的觸覺模擬產(chǎn)品僅提供了觸覺反饋設(shè)備,可模擬的觸覺及動作類型較為單一且固定,而本發(fā)明則自帶手部姿態(tài)及觸感參數(shù)采集端,可以讓操作者自由采集并模擬各種觸覺類型。本發(fā)明使用電刺激產(chǎn)生微痛覺來進行壓力的模擬以及痛覺的還原,較傳統(tǒng)通過振動器進行壓力模擬,由于電極體積小,故可以更加精準的傳遞觸感,而且由于人類對于痛覺更加敏感,因此提高了壓力模擬的準確度與真實還原度。此外本發(fā)明還通過對溫度與壓力模擬相結(jié)合的方法,進一步增強了觸覺模擬的效果。
附圖說明
圖1是本發(fā)明的系統(tǒng)框架圖;
圖2是本發(fā)明中手部姿態(tài)及觸感參數(shù)采集模塊的組成框圖;
圖3是本發(fā)明中數(shù)據(jù)交換模塊的組成框圖;
圖4是本發(fā)明中手部觸感參數(shù)還原模塊的組成框圖;
圖5是本發(fā)明的流程圖;
圖6是本發(fā)明中彎曲度傳感器分布示意圖。
具體實施方式
以下將結(jié)合附圖,對本發(fā)明的技術(shù)方案進行詳細說明。
一種手部觸感參數(shù)的采集及模擬系統(tǒng),如圖1所示,包括手部姿態(tài)及觸感參數(shù)采集模塊、數(shù)據(jù)交換模塊和手部觸感參數(shù)還原模塊,三者均為彼此硬件獨立的嵌入式設(shè)備,數(shù)據(jù)交換模塊分別與手部姿態(tài)及觸覺參數(shù)采集模塊和手部觸感參數(shù)還原模塊分別建立無線通信。
如圖2所示,手部姿態(tài)及觸感參數(shù)采集模塊包括第一微處理器以及分別與之連接的第一手部姿態(tài)傳感器、溫度傳感器、壓力傳感器和第一無線通信單元。當(dāng)?shù)谝皇植孔藨B(tài)傳感器、溫度傳感器、壓力傳感器為模擬傳感器時,第一手部姿態(tài)傳感器、溫度傳感器、壓力傳感器通過a/d轉(zhuǎn)換器與第一微處理器相連。
如圖3所示,數(shù)據(jù)交換模塊包括第二微處理器以及分別與之連接的數(shù)據(jù)存儲單元和第二無線通信單元。
如圖4所示,手部觸感參數(shù)還原模塊包括第三微處理器以及分別與之連接的第二手部姿態(tài)傳感器、d/a轉(zhuǎn)換器和第三無線通信單元,手部觸感參數(shù)還原模塊還包括微電流電極和發(fā)熱電阻絲,微電流電極和發(fā)熱電阻絲經(jīng)d/a轉(zhuǎn)換器與第三微處理器相連。當(dāng)?shù)诙植孔藨B(tài)傳感器為模擬傳感器時,第二手部姿態(tài)傳感器通過a/d轉(zhuǎn)換器與第三微處理器相連。
在本實施例中,第一手部姿態(tài)傳感器和第二手部姿態(tài)傳感器包括多個貼片式彎曲度傳感器,這些貼片式彎曲度傳感器分別設(shè)置在用戶的手指和手掌上,通過采集手部各個位置的彎曲度數(shù)據(jù)來表征手部姿態(tài)數(shù)據(jù)。
本發(fā)明還提出了基于上述系統(tǒng)的手部觸感參數(shù)的采集及模擬方法,如圖5所示,步驟如下。
步驟1、用戶使用手部進行實物觸摸,手部姿態(tài)及觸感參數(shù)采集模塊采集手部的彎曲度數(shù)據(jù)以及觸摸面的溫度、壓力數(shù)據(jù)。
步驟2、手部姿態(tài)及觸感參數(shù)采集模塊將采集到的數(shù)據(jù)通過無線通信發(fā)送給數(shù)據(jù)交換模塊。
步驟3、數(shù)據(jù)交換模塊根據(jù)接收到的手部彎曲度數(shù)據(jù),采用手部姿態(tài)特征提取算法得到手部姿態(tài)特征。
在手部設(shè)有7個貼片式彎曲度傳感器,如圖6所示,每個貼片式彎曲度傳感器采集彎曲度信號組成彎曲度向量α=(x1,x2,...,x7),xi為第i個貼片式彎曲度傳感器采集的彎曲度信號,i=1,2,…,7;對同一個動作進行m次采集,得到m組彎曲度向量,對m組彎曲度向量求平均,得到手部姿態(tài)特征向量β:
上式中,αj為第j組彎曲度向量。
步驟4、數(shù)據(jù)交換模塊根據(jù)采集到的觸摸面壓力數(shù)據(jù),采用痛覺等級劃分算法計算痛覺等級。
(a)計算痛覺臨界電壓u0:
上式中,p0為痛覺閾值,p0=5.02×104pa,s0為單個壓力傳感器的有效感壓面積,k為單個壓力傳感器所受壓力值與壓力傳感器采樣電壓的比例系數(shù);
(b)根據(jù)痛覺臨界電壓u0計算痛覺分級函數(shù)c:
上式中,um為壓力傳感器的采樣電壓,λ為設(shè)定的系數(shù);
(c)計算8個痛覺判決門限js:
(d)將痛覺分級函數(shù)c與8個痛覺判決門限js進行比較,當(dāng)js≤c<js+1,則判斷痛覺等級為s。
步驟5、數(shù)據(jù)交換模塊將手部姿態(tài)特征與對應(yīng)的溫度數(shù)據(jù)、痛覺等級進行打包,將數(shù)據(jù)包保存在數(shù)據(jù)存儲單元中。
步驟6、用戶做出預(yù)定的觸摸動作,手部觸感參數(shù)還原模塊采集手部的彎曲度數(shù)據(jù)。
步驟7、手部觸感參數(shù)還原模塊將采集到的手部彎曲度數(shù)據(jù)通過無線通信發(fā)送給數(shù)據(jù)交換模塊。
步驟8、數(shù)據(jù)交換模塊根據(jù)采集到手部彎曲度數(shù)據(jù),采用手部姿態(tài)特征提取算法得到手部姿態(tài)特征。具體過程見步驟3。
步驟9、采用特征匹配算法,將步驟8得到的手部姿態(tài)特征與數(shù)據(jù)存儲單元中保存的各數(shù)據(jù)包中的手部姿態(tài)特征進行匹配,得到匹配結(jié)果。
分別計算步驟8得到的手部姿態(tài)特征與數(shù)據(jù)存儲單元中所有數(shù)據(jù)包中的手部姿態(tài)特征的幾何距離,將最小幾何距離對應(yīng)的數(shù)據(jù)包作為匹配結(jié)果。
步驟10、數(shù)據(jù)交換模塊從數(shù)據(jù)存儲單元中調(diào)取與步驟8得到的手部姿態(tài)特征相匹配的數(shù)據(jù)包,發(fā)送給手部觸感參數(shù)還原模塊。
步驟11、手部觸感參數(shù)還原模塊釋放接收到的數(shù)據(jù)包,根據(jù)數(shù)據(jù)包中的溫度數(shù)據(jù)驅(qū)動發(fā)熱電阻絲產(chǎn)生相應(yīng)的溫度,實現(xiàn)對溫度參數(shù)的模擬;同時根據(jù)數(shù)據(jù)包中的痛覺等級,采用微電流流量控制算法驅(qū)動微電流電極釋放相應(yīng)的微電流,從而實現(xiàn)對觸壓覺和痛覺的模擬。
建立微電流電極輸出微電流i與痛覺等級s的關(guān)系:
上式中,微電流i的單位為毫安。
實施例僅為說明本發(fā)明的技術(shù)思想,不能以此限定本發(fā)明的保護范圍,凡是按照本發(fā)明提出的技術(shù)思想,在技術(shù)方案基礎(chǔ)上所做的任何改動,均落入本發(fā)明保護范圍之內(nèi)。