專利名稱：基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬現(xiàn)實領(lǐng)域，是頭盔顯示系統(tǒng)中的一種補償虛擬視覺時延的技術(shù)，用于頭盔顯示系統(tǒng)中輔助現(xiàn)有的位置跟蹤設(shè)備確定人體頭部的運動方向和幅度，并傳送給計算機系統(tǒng)用于虛擬視覺的時延補償。
背景技術(shù)：
虛擬現(xiàn)實強調(diào)沉浸感，是一種最終以人的感知(包括視覺、聽覺、觸覺乃至嗅覺等感覺)效果為評價標(biāo)準(zhǔn)的仿真技術(shù)。在所有感覺中，視覺占據(jù)了最重要的部分，所以對沉浸感的影響最大。頭盔顯示器是一種重要的虛擬視覺設(shè)備，使用非常廣泛，它為了能根據(jù)人體運動實時顯示相應(yīng)的虛擬場景，往往需要跟蹤頭部運動。
目前在頭盔顯示系統(tǒng)中主要采用兩種方式進(jìn)行頭部跟蹤一種是電磁跟蹤；另一種是超聲跟蹤。這兩種跟蹤方式實際上都是位置跟蹤，由于傳感器的刷新率有限，加上信號傳輸和視景生成的延遲。一旦頭部快速運動，在頭盔顯示器上的視景會產(chǎn)生明顯的延遲效應(yīng)，影響仿真效果。同時，由于電磁跟蹤器在鐵磁環(huán)境中會受到干擾，而超聲跟蹤器在發(fā)生遮擋時會丟失數(shù)據(jù)，在實際仿真中，這都會引起仿真感覺的不一致現(xiàn)象。操作員在這種環(huán)境下長時間操作后，甚至?xí)霈F(xiàn)“仿真病”的癥狀。現(xiàn)有的對這種虛擬視覺時延的補償主要通過對位置跟蹤數(shù)據(jù)使用卡爾曼濾波方法進(jìn)行位置預(yù)測，或者通過外加的速度或加速度傳感器得到頭部運動的速度或加速度進(jìn)行位置預(yù)測來實現(xiàn)，一般來說，使用加速度預(yù)測補償時延的效果要優(yōu)于速度預(yù)測，而速度預(yù)測又要優(yōu)于使用位置信號卡爾曼濾波的方法。

發(fā)明內(nèi)容本發(fā)明的目的是克服現(xiàn)有頭部跟蹤技術(shù)的不足，提供一種基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償技術(shù)，它具有安裝簡單、靈敏度高、輕便、預(yù)測能力強等特點。特別適用于空間狹小的座艙類模擬器使用，對操作員的典型頭部運動具有很靈敏的反應(yīng)，可實現(xiàn)虛擬視覺時延的實時補償；并通過與原有跟蹤數(shù)據(jù)的融合，提高頭部跟蹤的準(zhǔn)確性。
基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償系統(tǒng)包括頭盔顯示器、計算機、多通道表面肌電信息采集設(shè)備、采集電極、參考電極，電極安放在操作員頸部，通過表面肌電信息采集設(shè)備與計算機輸入相連，計算機與頭盔顯示器相連。
基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償系統(tǒng)的工作步驟是在操作者頸部安放電極，并與多通道表面肌電信息采集設(shè)備連接進(jìn)行信號的放大和濾波，處理后的數(shù)字信號進(jìn)入計算機。計算機上首先運行初始標(biāo)定程序，由語音提示對各個典型頭部運動動作進(jìn)行初始學(xué)習(xí)，然后運行時延補償程序，對高機動性的頭部運動進(jìn)行時延補償，同時通過與原有跟蹤數(shù)據(jù)的數(shù)據(jù)融合，提高頭部跟蹤的準(zhǔn)確性。
整個虛擬視覺時延補償系統(tǒng)方法如下1.在操作者頸部左側(cè)和右側(cè)對應(yīng)驅(qū)動頭部運動的肌肉處各放置采集電極，在任一耳垂上安放參考電極；2.運行初始標(biāo)定程序，由語音提示操作者作出一些典型動作，如左右轉(zhuǎn)頭、抬頭、低頭，使用如多層神經(jīng)網(wǎng)絡(luò)進(jìn)行初始學(xué)習(xí)的學(xué)習(xí)算法，對這些典型動作進(jìn)行特征提??；3.運行時延補償程序，對實時收到的表面肌電信息進(jìn)行如神經(jīng)網(wǎng)絡(luò)模式匹配，識別出頭部運動的驅(qū)動信息，進(jìn)一步預(yù)測出頭部運動的方向信息和幅度信息；4.對原有的跟蹤數(shù)據(jù)進(jìn)行時延補償，計算出當(dāng)時的虛擬視景畫面送入頭盔顯示器；5.時延補償程序同時進(jìn)行數(shù)據(jù)融合，通過置信度判斷，對受干擾的原跟蹤數(shù)據(jù)進(jìn)行修正。
本發(fā)明有益的效果是只需操作者佩戴幾個電極，具有體積小、重量輕、靈敏度高的特點，此外在狹小的座艙類模擬器中無需安裝其它附加設(shè)備。整個時延補償系統(tǒng)輕便靈活，不會妨礙操作者的動作。相比于位置信息、速度信息和加速度信息，人體表面肌電信息提供了更加靈敏的頭部運動信息，它對頭部運動的檢測超前于加速度信號，所以可以利用表面肌電信息進(jìn)行更好的頭部運動預(yù)測，以實現(xiàn)虛擬視覺的補償。這樣在頭部高機動狀態(tài)下，頭盔顯示器中虛擬視覺也不會產(chǎn)生明顯的時延。


圖1為表面肌電檢測在虛擬視覺時延補償系統(tǒng)中的工作原理1標(biāo)號名稱1-頭部運動表面肌電信號2-頭部運動加速度信號3-頭部運動速度信號4-頭部運動位置信號5-預(yù)測頭部運動位置信號6-由計算機生成的虛擬視覺信號7-在頭盔顯示器上顯示的虛擬視覺信號8-用戶觀看到的虛擬視覺信號圖2為虛擬視覺時延補償系統(tǒng)的組成示意3為虛擬視覺時延補償系統(tǒng)的實現(xiàn)原理3標(biāo)號名稱9-獲取原始表面肌電信息；10-經(jīng)過放大和濾波后的典型頭部運動的表面肌電信號；11-典型頭部運動特征；12-經(jīng)過放大和濾波后的表面肌電信息；
13-經(jīng)過時延補償?shù)奶摂M視覺具體實施方式
表面肌電檢測在虛擬視覺時延補償系統(tǒng)中的工作原理如圖1所示時延補償?shù)膶嵸|(zhì)是由當(dāng)前得到的頭部運動數(shù)據(jù)預(yù)測未來的頭部運動數(shù)據(jù)，可由下面的公式表示P^=P0+V0τ+12A0τ2+16B0τ3,]]>其中 是預(yù)測后的頭部位置，P0為當(dāng)前得到的頭部位置信息，V0為當(dāng)前得到的頭部速度信息，A0為當(dāng)前得到的頭部加速度信息，B0為當(dāng)前得到的頭部運動表面肌電信息，τ為預(yù)測的時間。由于當(dāng)前接收到的頭部運動位置信息P0經(jīng)過了附圖1所示4到8點處的時間延遲，所以已經(jīng)成為“舊”的數(shù)據(jù)，需要經(jīng)過預(yù)測來消除時間延遲。通?？扇绺綀D1中在2、3點處通過測量頭部運動的加速度A0和速度信息V0來預(yù)測位置信息，而如附圖1中在1點處檢測的表面肌電信息B0實際上是頭部運動的加加速度信息，相比于速度和加速度信息可以更準(zhǔn)確更靈敏的對當(dāng)前位置進(jìn)行預(yù)測，甚至在補償時延后還能更好的預(yù)測未來的頭部運動位置，提前在計算機內(nèi)存中計算好圖像信息，消除時延的影響。
虛擬視覺時延補償系統(tǒng)的構(gòu)建如圖2所示，虛擬現(xiàn)實系統(tǒng)操作者佩戴成對的采集電極，將參考電極放置在任一耳垂上作為參考電極，提供參考電位，同時將采集電極分別放置于操作員頸部的左側(cè)和右側(cè)對應(yīng)驅(qū)動頭部運動的肌肉處，用來檢測由于頸部肌肉的運動而產(chǎn)生的表面肌電，多通道表面肌電信息采集設(shè)備對電極上獲取的電流進(jìn)行放大、整形和濾波，以去除工頻干擾并得到理想的數(shù)字信號，處理后的數(shù)字信號數(shù)據(jù)送入計算機，計算機完成初始標(biāo)定，時延補償和數(shù)據(jù)融合，然后生成虛擬視覺提供給頭盔顯示器。具體操作步驟如圖3所示操作員安放好電極后，首先進(jìn)行標(biāo)定操作，跟隨計算機語音的提示，分別完成左右轉(zhuǎn)頭、抬頭、低頭等動作，由計算機對這些典型的頭部運動進(jìn)行特征的提取，完成學(xué)習(xí)算法的初始學(xué)習(xí)。完成標(biāo)定工作后進(jìn)入時延補償模式，操作員戴上頭盔顯示器，由操作員頭部運動產(chǎn)生的表面肌電信息通過多通道表面肌電信息采集設(shè)備進(jìn)入計算機，由計算機進(jìn)行特征識別如神經(jīng)網(wǎng)絡(luò)模式匹配等，識別出頭部運動的驅(qū)動信息，并進(jìn)一步預(yù)測出頭部運動的方向信息和幅度信息，用于補償原有的頭部跟蹤數(shù)據(jù)的時延，同時利用數(shù)據(jù)融合提高頭部跟蹤的準(zhǔn)確性，最后生成時延補償后的虛擬視景，在頭盔顯示器中給操作員提供虛擬視覺。
權(quán)利要求
1.一種基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償系統(tǒng)，其特征在于，包括采集電極、參考電極、多通道表面肌電信息采集設(shè)備、計算機、頭盔顯示器，其中采集電極安放在人體頸部，參考電極置于人體耳垂上，該采集電極和參考電極均分別通過多通道表面肌電信息采集設(shè)備連于計算機的輸入，計算機的輸出與頭盔顯示器相連。
2.一種如權(quán)利要求1所述的基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償系統(tǒng)的工作步驟，其特征在于包括如下工作步驟(1)在操作者頸部左側(cè)和右側(cè)對應(yīng)驅(qū)動頭部運動的肌肉處各放置采集電極，在任一耳垂上安放參考電極；(2)運行初始標(biāo)定程序，由語音提示操作者作出如左右轉(zhuǎn)頭、抬頭、低頭的典型動作，使用如多層神經(jīng)網(wǎng)絡(luò)進(jìn)行初始學(xué)習(xí)的學(xué)習(xí)算法，對上述典型動作進(jìn)行特征提??；(3)運行頭部運動預(yù)測程序，對實時收到的表面肌電信息進(jìn)行如神經(jīng)網(wǎng)絡(luò)模式匹配，識別出頭部運動的驅(qū)動信息，進(jìn)一步預(yù)測出頭部運動的方向信息和幅度信息；(4)對原有的跟蹤數(shù)據(jù)進(jìn)行時延補償，計算出當(dāng)前的虛擬視景畫面送入頭盔顯示器；(5)時延補償程序同時進(jìn)行數(shù)據(jù)融合，通過置信度判斷，對受干擾的原跟蹤數(shù)據(jù)進(jìn)行修正。
全文摘要
一種基于人體表面肌電信息的頭盔顯示器虛擬視覺時延補償系統(tǒng)及工作步驟，屬虛擬現(xiàn)實技術(shù)。該系統(tǒng)包括采集電極、參考電極、多通道表面肌電信息采集設(shè)備、計算機、頭盔顯示器，該系統(tǒng)的工作步驟是，在操作者頸部安放電極，并與多通道表面肌電信息采集設(shè)備連接進(jìn)行信號的放大和濾波，處理后的數(shù)字信號進(jìn)入計算機，計算機首先進(jìn)行初始標(biāo)定程序，由語音提示對頭部典型動作進(jìn)行初始學(xué)習(xí)，然后運行頭部運動預(yù)測程序，對頭盔顯示器中的虛擬視覺信號進(jìn)行時延補償，同時通過與原跟蹤數(shù)據(jù)的數(shù)據(jù)融合，提高頭部跟蹤的準(zhǔn)確性。本發(fā)明具有體積小、重量輕、預(yù)測能力強、靈敏度高的特點。
文檔編號G06F3/01GK101034308SQ200710021400
公開日2007年9月12日 申請日期2007年4月10日 優(yōu)先權(quán)日2007年4月10日
發(fā)明者顧宏斌, 吳東蘇, 高振興, 柴功博 申請人:南京航空航天大學(xué)