本申請是2013年05月16日提出的發(fā)明名稱為“一種實現(xiàn)虛擬觸摸校準的方法以及系統(tǒng)”的中國發(fā)明專利申請201310180909.5的分案申請。

本發(fā)明涉及增強現(xiàn)實技術，尤其涉及一種實現(xiàn)虛擬觸摸校準的方法以及系統(tǒng)。

背景技術：

新興的增強現(xiàn)實技術可以使虛擬世界與真實世界的交互顯得更直接更自然，而基于手勢的人機交互是實現(xiàn)增強現(xiàn)實技術的交互中不可缺少的關鍵技術。讓真實的人或者物體直接與3d虛擬投影對象進行交互，即讓手勢與虛擬物體直接交互，用戶用手勢直接控制3d虛擬投影對象，這種表達自然清晰，使得人機交互的體驗更具有吸引力。

現(xiàn)有技術中，3d虛擬投影及虛擬觸摸的用戶交互界面及實現(xiàn)方法，包括深度探測器、雙眼圖像視差計算模塊、雙眼圖像處理模塊、3d顯示設備、手勢識別模塊、攝像頭和虛擬觸摸控制器。如圖1所示，深度探測器探測得到用戶頭部和手部與3d顯示設備的距離信息；雙眼圖像視差計算模塊根據(jù)深度探測器探測的距離信息計算雙眼圖像視差；雙眼圖像處理模塊根據(jù)雙眼圖像視差信息處理圖像；再將處理后的圖像發(fā)送給3d顯示設備虛擬投影在用戶臂長范圍內(nèi)；手勢識別模塊等待到用戶的手勢操作虛擬投影畫面后，根據(jù)深度探測器和攝像頭識別到用戶手指移動軌跡；虛擬觸摸控制器根據(jù)用戶手勢及移動軌跡做出相應的反應。

但本申請發(fā)明人在實現(xiàn)上述技術方案的過程中，發(fā)現(xiàn)其至少存在如下技術問題：要實現(xiàn)虛擬觸摸的效果，需要將手勢的位置空間與虛擬投影畫面的像素空間進行空間投影變換。但由于深度探測器的可移動性，使得深度探測器移動之前設定的投影變換規(guī)則不適用與移動之后的；或者由于更換用戶后人眼的瞳孔距離發(fā)生改變，使得看到的虛擬投影畫面的出屏深度發(fā)生了改變，也使得更換用戶之前設定的變換規(guī)則不適用與更換之后的；這些因素，都容易產(chǎn)生手勢點擊某一處，響應顯示在另一處的錯亂效果，影響了交互的準確性。

技術實現(xiàn)要素：

本申請實施例通過提供一種實現(xiàn)虛擬觸摸校準的方法，解決了現(xiàn)有技術中由于深度探測器移動后以及用戶更換時人眼瞳孔距離發(fā)生改變時，引起的手勢點擊與響應不一致的問題，提高了交互的準確性，改善了用戶的觀看感受。

本申請實施例提供了一種實現(xiàn)虛擬觸摸校準的方法，所述方法包括：

本申請實施例中提供的一個或多個技術方案，至少具有如下技術效果或優(yōu)點：當深度探測器的位置發(fā)生改變或者用戶更換后人眼瞳孔的距離發(fā)生了改變時，采用了用戶點擊虛擬校準菜單的校準點的技術手段，重新將用戶手勢操作與虛擬投影畫面進行校準，有效的解決了現(xiàn)有技術中當發(fā)生上述改變后，手勢點擊與響應不一致的錯亂問題，實現(xiàn)了即便發(fā)生上述改變，也能保持交互的準確性。

附圖說明

圖1為現(xiàn)有技術的方法流程圖

圖2為結(jié)合本發(fā)明方法的實現(xiàn)虛擬觸摸操作的方法流程圖

圖3為本申請實施例提供的實現(xiàn)虛擬觸摸校準的方法流程圖

圖4為本申請實施例提供的實現(xiàn)虛擬觸摸校準的系統(tǒng)框圖

圖5為本實施例創(chuàng)建的校準菜單

圖6為本實施例構建的第一坐標系

圖7為本實施例第二坐標系與第一坐標系的對應關系圖

圖8為本實施例第二坐標系與第一坐標系的對應關系圖

圖9為本實施例第二坐標系與第一坐標系的對應關系圖

圖10為本實施例第二坐標系與第一坐標系的對應關系圖

圖11為本實施例的3d顯示示意圖

圖12為本實施例提供的平行于顯示平面的位移補償示意圖

圖13為本實施例提供的垂直于顯示平面的位移補償示意圖

圖14為本實施例提供的頭部傾斜補償示意圖

圖15為本實施例提供的聲音提示示意圖。

具體實施方式

本申請實施例通過提供一種實現(xiàn)虛擬觸摸校準的方法以及系統(tǒng)，在現(xiàn)有技術的基礎上增加校準以及用戶雙眼位置改變補償，解決了現(xiàn)有技術中因深度探測器位置發(fā)生改變或用戶更換后雙眼瞳孔距離發(fā)生改變時產(chǎn)生虛擬觸摸錯亂的問題，以及用戶在虛擬操作過程中雙眼位置的輕微變化引起操作準確性下降和破壞感官效果的問題。

本申請實施例中的技術方案為解決上述問題，總體思路如下：

針對虛擬觸摸錯亂的問題，采用用戶校準的方法，即當深度探測器的位置發(fā)生改變或者更換用戶后，用戶依據(jù)系統(tǒng)提供的虛擬校準菜單重新校準虛擬投影裝置，使得用戶3d手勢位置能夠正確的投影至3d虛擬畫面空間。

同時，采用用戶雙眼位置偏移補償和用戶雙眼位置傾斜補償?shù)姆椒?，即當用戶雙眼位置發(fā)生輕微的偏移后，對顯示的3d虛擬畫面做相應位移的補償，使用戶看到的虛擬畫面不會隨著用戶的移動而移動，當用戶雙眼位置發(fā)生輕微的傾斜時，對顯示的3d虛擬畫面做相應角度傾斜的補償，使用戶看到正確視差重合成的虛擬圖像，從而提高了操作的精度，改善了用戶的感官效果。

為了更好的理解上述技術方案，下面將結(jié)合說明書附圖以及具體的實施方式對上述技術方案進行詳細的說明。

本申請實施例中提供了一種實現(xiàn)虛擬觸摸校準的方法以及系統(tǒng)。校準的意義在于：在作為3d顯示控制核心的處理器內(nèi)，3d圖形的位置、大小等都是以像素來計算的；而作為3d手勢識別核心的深度探測器里，手勢的位置信息是以空間尺寸來計算的。因此當判別用戶手勢的位置與3d圖像的位置聯(lián)系時，需要一個校準的過程，即在物理空間和數(shù)字空間中搭建一個溝通的橋梁。但這種溝通橋梁，通常是設定好的一個對應關系，而且前提一般為固定深度探測器的位置，固定人眼的瞳孔距離為一個常數(shù)值。這樣，當深度探測器的位置在實際使用中發(fā)生了變動(就目前而言，深度探測器為外置的單獨器件，可以隨意移動)，這時再使用之前設定的校準關系就無法正確完成虛擬觸摸的動作；同時，由于不同用戶的雙眼瞳孔距離是有差別的，使用固定的瞳孔距離針對不同用戶的校準，自然會引起虛擬觸摸的不準確性。

實施例一

為更充分的表述本實施例提供的校準方法，將結(jié)合用戶虛擬觸摸過程進行說明；如圖2，步驟如下：

s01，判斷深度探測器的位置是否發(fā)生了改變或者是否更換了用戶。

本申請實施例中，在深度探測器內(nèi)置運動傳感器，例如加速度計、陀螺儀等，用傳感器來監(jiān)測深度探測器是否發(fā)生了移動；同時，可以通過顯示器上配置的2d攝像頭對用戶進行人臉檢測，并判斷是否更換了用戶。

當運動傳感器檢測到深度探測器的位置發(fā)生了改變，或者2d攝像頭檢測到更換了觀看用戶，顯示界面跳出菜單提示，提示用戶上述狀態(tài)發(fā)生了改變，需要重新校準才能正常觀看，并詢問用戶是否進行校準，用戶可以選擇是，也可以選擇否。

若用戶選擇了校準，則啟動本實施例提供的校準步驟，即

s02、調(diào)用用戶校準系統(tǒng)進行用戶校準；

下面將結(jié)合用戶校準方法(如圖3)說明用戶的校準過程。

步驟s021、創(chuàng)建虛擬校準菜單；

本實施例創(chuàng)建的校準菜單如圖5所示，為編號分別為1、2、3、4的4個圓形圖標(對應有計算機圖形的三維模型，立體顯示)，4個圓的圓心對應為一個矩形的四個角，矩形的長寬與顯示的虛擬畫面的長寬相同；事實上，因為三點確定一個平面，只要具備三個圓形圖標，就可以構建校準菜單，并完成校準的工作。本領域技術人員應知，校準菜單的形式不局限于本實施例。

步驟s022、以顯示所述虛擬校準菜單所在的平面為x軸和y軸構成的平面，建立第一坐標系；

該坐標系以虛擬顯示上述校準菜單所在的平面為x軸和y軸平面，z＝0，z正方向指向用戶，遠離屏幕，如圖6所示。本實施例中的第一坐標系，定義在顯示平面，以像素為單位(本領域技術人員應知，虛擬畫面的形成是由于顯示屏幕以一定的頻率交叉顯示具有視差的左右眼圖像，從而在人的雙眼中產(chǎn)生虛擬圖像)。例如：定義圓心的坐標為(x,y,z)，以像素為單位，若顯示的虛擬畫面的分辨率為1920*1080，則四個圓心的坐標可以對應分別為1(0,0,0)、2(1920,0,0)、3(0,1080,0)、4(1920,1080,0)。

s023、建立第二坐標系，將用戶手勢位置用所述第二坐標系坐標表示；

定義第二坐標系，一般是深度探測器探測用戶手勢位置時采用的坐標系，用于表示用戶手勢位置坐標。當用戶用手指點擊虛擬校準菜單的圓心1時，深度探測器記錄下采集到的手指位置(x1,y1,z1)，該點與虛擬畫面上的1(0,0,0)對應；同理，記錄用戶點擊2、3、4的位置(x2,y2,z2)、(x3,y3,z3)、(x4,y4,z4)，分別于2(1920,0,0)、3(0,1080,0)、4(1920,1080,0)對應。

步驟s024、計算所述第一坐標系和所述第二坐標系的對應關系；

獲取到四組空間坐標后，又已知對應的四組計算機圖形坐標，就可以開始校準工作了。

具體的校準算法說明如下：

算法1、根據(jù)所述虛擬校準菜單四個校準點的第一坐標系坐標，和獲取到的用戶虛擬觸摸所述虛擬校準菜單四個校準點的處于第二坐標系的坐標，計算將所述第二坐標系內(nèi)任一點坐標轉(zhuǎn)換為所述第一坐標系坐標的平移量、縮放比例和旋轉(zhuǎn)角度；

對于校準菜單對應的計算機圖形坐標系，是一個像素坐標系，當已知顯示屏幕尺寸的前提下，便已知具體一個像素的空間尺寸，因此可以換算出像素坐標對應的空間坐標，以分辨力為1080*1920的42寸顯示屏幕為例，這個尺寸的像素一般為0.5mm的直徑，由此，可以推算出四個圓的圓心坐標分別為1(0,0,0)、2(96,0,0)、3(0,54,0)、4(96,54,0)，以cm(厘米)為單位。

這樣，第一坐標系和第二坐標系之間就只存在平移、縮放和旋轉(zhuǎn)的對應關系了。

平移

平移參數(shù)可用如下方法求出：4組空間坐標取平均即為觸摸校準菜單中點的坐標(xo,yo,z0)，與校準菜單的中點(48,27,0)對應；則tx＝xo-48，ty＝y(tǒng)o-27，tz＝zo為第二坐標系轉(zhuǎn)換為第一坐標系平移參數(shù)。

則通過將第二坐標系的原點與第一坐標系的原點對應起來，如圖7所示。

縮放

縮放參數(shù)可用如下方法求出：或者或者由于深度探測器坐標數(shù)據(jù)被映射到平面為x軸和y軸平面，z＝0，的坐標系中，因而只有x和y方向的縮放系數(shù)，而沒有z方向的縮放系數(shù)，此處的c可以設為常數(shù)c＝1，

則通過將第二坐標系與第一坐標系除原點之外的各點坐標對應起來，如圖8所示。

3)若是更換了用戶從而瞳孔距離發(fā)生了變化，引起虛擬畫面的顯示發(fā)生了改變，只會涉及到坐標系的平移和縮放，不會涉及到坐標系的旋轉(zhuǎn)變換問題。而對于深度探測器，由于深度探測器只有水平方向角度的變化，即朝不同水平方向移動，沒有仰角和俯角，也沒有左右高低不平，因此只有y軸方向的旋轉(zhuǎn)；可以通過1、2、3、4點確定平面的夾角，即1、2點或者3、4點的x、z坐標，(x1,z1)

和(x2,z2)得出或者(x3,z3)和(x4,z4)得出

則通過矩陣的變換，就可將用旋轉(zhuǎn)后的第二坐標系坐標表示的手勢位置轉(zhuǎn)換為用第一坐標系的坐標表示，如圖9所示。

經(jīng)過上述三部分的處理，即平移、縮放與旋轉(zhuǎn)之后，不論是深度探測器的位置發(fā)生了變化，還是更換了用戶，都能將發(fā)生變化后的第二坐標系表示的手勢位置坐標用第一坐標系的坐標表示出來，達到了校正的效果。

算法2、將所述用戶虛擬觸摸虛擬畫面任意一點在第二坐標系中的坐標(x,y,z)，用

與該點在所述第一坐標系的坐標(x,y,z)對應，其中，

a為顯示虛擬畫面的水平分辨率，b為顯示虛擬畫面的垂直分辨率，(x1,y1,z1)、(x2,y2,z2)和(x3,y3,z3)為虛擬觸摸所述虛擬校準菜單第一圓心、第二圓心和第三圓心的坐標。

例如，如圖10所示，在1920*1080顯示屏上坐標為(x,y)像素的點，對應四角坐標空間內(nèi)的坐標(x,y)為

或者

即，當檢測到手勢點擊在處時，可以判斷，此點擊觸發(fā)了繪制在屏幕(x,y)處的事件。

基于此原理，我們可以將用戶操作畫面的中心點通過該方法，得到對應深度探測器坐標系(第二坐標系)的空間坐標。于是我們只要對比此空間坐標與深度探測器實時采集到的手勢坐標，就可以判斷手勢是否在距離用戶操作菜單的中心點很近的范圍內(nèi)，從而判斷是否觸發(fā)。

算法3、可以看做是算法1的改進。

由于在算法1中，深度探測器坐標數(shù)據(jù)被映射到平面為x軸和y軸平面，z＝0，的坐標系中，因而只有x和y方向的縮放系數(shù)，而沒有z方向的縮放系數(shù)，所以，可以通過一前一后雙平面的方式，通過采集8點空間坐標與計算機圖形3d模型進行映射。

具體方法跟算法1類似，但是可以得出z軸的縮放系數(shù)，此處不予贅述。

步驟s025、根據(jù)所述對應關系，將第二坐標系表示的用戶手勢位置坐標，用所述第一坐標系的坐標表示；根據(jù)用所述第一坐標系的坐標表示的用戶手勢位置坐標，校正用戶手勢與虛擬校準菜單的對應關系。

經(jīng)過上述步驟s024的算法處理后，得到兩個坐標系的對應關系，在第二坐標系和第一坐標系之間找到了一個可以轉(zhuǎn)換的關系，就可將用第二坐標系坐標表示的坐標轉(zhuǎn)換為第一坐標系的坐標表示，即在兩個坐標系之間找到了一個對應關系，可以很方便的把用第二坐標系表示的用戶手勢位置與處于第一坐標系的圖像的點一一對應起來，從而達到了校準的效果。

用戶校準工作完成后，根據(jù)設定的屏幕顯示尺寸和視差，就可以繪制需要顯示畫面的左右眼圖像并合成所需要大小和出屏距離的三維虛擬畫面了。

但是作為用戶而言，在觀看和操作3d虛擬畫面的過程中，不可能一直保持頭部(雙眼)不移動，這種移動包括空間位置的移動以及頭部的傾斜。這兩種狀況都會影響用戶的觀看和操作。用戶空間位置的移動會引起虛擬畫面隨著用戶的移動而移動，此時在校準的基礎上再進行操作就會產(chǎn)生偏差，影響用戶操作的準確性；用戶頭部的傾斜會引起左右眼圖像無法很好的成像，造成感官上的不舒適性。

因此，為保證校準后的顯示畫面的位置保持固定不變，不隨用戶的移動而移動，針對用戶頭部(雙眼)的變化，需要對顯示畫面做相應的位置補償，即，將因為用戶移動而移動的顯示畫面拉回校準后畫面顯示的位置。這樣，用戶操作的準確性高，感官效果好。

s03、顯示待操作的虛擬畫面后，針對用戶雙眼位置的改變引起虛擬畫面位置的改變進行補償；

本申請實施例中，虛擬畫面是成像在屏幕前靠近用戶的位置的，具體的出屏距離，與視差存在著如下的關系：

和

如圖11，l為用戶與屏幕之間的距離，z0為虛擬畫面的出屏距離，d為用戶的左右眼間距，p為顯示屏上顯示虛擬畫面的左右眼視差，其中p為已知；設w為虛擬畫面的尺寸，w為屏幕顯示具有視差的左右眼圖像的尺寸，其中w為已知，w可以通過觸摸校準菜單的四組坐標求得。

1、頭部位移跟蹤補償

如上述，虛擬畫面的出屏距離z0僅與用戶左右眼的瞳孔距離以及左右眼圖像的視差相關，而虛擬畫面的位置則與人眼的空間立體位置有關；對于電視用戶而言，當他觀看電視時，身體會有輕微的前后左右的移動，即其雙眼的位置與在校準時的位置又發(fā)生了輕微的變化，因此必須根據(jù)實時的雙眼位置進行3d顯示的補償。

用戶頭部位置發(fā)生變化的時候，虛擬畫面的成像位置也會隨之發(fā)生相應的變化，為保持虛擬畫面的位置不隨用戶頭部的移動而移動，要將顯示屏上顯示畫面往相反方向調(diào)整回變化前的位置。

由于立體的用戶雙眼的跟蹤難以實現(xiàn)，本實施例中采用頭部位置跟蹤的方式替代人眼位置的跟蹤，由于雙眼相對于頭部的位置比例是固定的，很大程度上次替代導致的誤差不大。

根據(jù)3d視差顯示原理，當左右眼分別接受到不同的圖像時，人眼會自動進行實現(xiàn)的延長，直至形成虛像。因此，顯示屏上所顯示的左右眼圖像，也分別是虛擬畫面在人眼下的投影。

對于虛擬畫面的中心，其位移的補償可以通過簡單的幾何線性比例關系得到。頭部的位移可以分解為平行于顯示屏平面的位移和垂直于顯示屏平面的位移。

1)進行平行于顯示屏平面的位移補償；

如圖12，用戶頭部(雙眼)的位移δxe、δye，其對應虛擬畫面顯示的調(diào)整位移為δxd、δyd，

則根據(jù)和

可推求出

其中，δxe、δye可由深度探測器獲取到的用戶移動前后兩組坐標的坐標值求出；l-z0為用戶與虛擬畫面之間的距離，可以通過深度探測器探測到的用戶空間坐標的z軸數(shù)據(jù)，與用戶觸摸虛擬校準菜單的四組坐標的中點z軸數(shù)據(jù)的差值求得。根據(jù)(2)式可推出則由l-z0可以求出虛擬畫面出屏距離z0。

2)進行垂直于顯示屏平面的位移補償；

如圖13，用戶頭部(雙眼)的位置為(xe,ye,ze)，位移δze，其對應虛擬畫面顯示的調(diào)整位移為

其中，δze可由深度探測器獲取到的用戶移動前后兩組坐標的坐標值求出；

2、進行頭部傾斜跟蹤補償；

對于一般的3d視差立體顯示而言，當用戶傾斜頭部時，會出現(xiàn)左右眼視差無法重合成虛像的問題，導致用戶視覺不舒服，甚至出現(xiàn)頭暈惡心的現(xiàn)象。這是因為，通常3d左右眼顯示圖像，只有水平視差，而沒有垂直視差，當用戶傾斜頭部時，左右眼已經(jīng)有垂直位移了，所以視線的延長線無法交匯于一點，導致視覺錯亂。

此時，可以通過圖像識別，檢測出用戶眼鏡的傾斜角度，這樣，就可以對左右眼圖像的垂直視差進行補償，從而讓用戶不必正視屏幕也可以正常觀看和操作3d虛擬畫面。

如圖14，可以用三角函數(shù)得出補償數(shù)據(jù)，即，若用戶頭部(雙眼)傾斜角度θ(可根據(jù)2d攝像頭的圖像識別功能得到)，結(jié)合上述的公式(1)，可得

左眼的補償為：

右眼的補償為：

其中，由(1)和(2)可以得到用戶的左右眼間距為

關于符號的正負，對于出屏虛像(z0＞0)，若定義θ順時針為正，則左眼的補償均為負，而右眼的補償均未正；對于入屏虛像(z0＜0)，若定義θ順時針為正，則左眼的補償均為正，而右眼的補償均為負。

值得一提的是，上述人眼(頭部)傾斜補償原則不僅適用于此，也可以廣泛用在各種視差原理的立體3d顯示上。

s04、用戶操作虛擬畫面后，判斷用戶操作結(jié)果，并反饋聲音提示。

虛擬畫面的操作與真實操作比較起來，容易使用戶產(chǎn)生不確定性，不知道是否點擊到了需要操作的畫面選項，為了提高用戶體驗，本實施例中提出了一種聲音反饋方法，使用戶在操作的過程中，如果正確點擊了虛擬畫面選項，便反饋聲音作為提示，提高了用戶體驗效果。

根據(jù)聲音定位原理，點聲源的強度(能量)隨著傳播距離平方成反比；而傳播時間差可通過音速計算得出。

如圖15，若虛擬物體a發(fā)出聲音，則左右耳接收到的聲音信號分別為：s1，s2，令a與左右耳的距離分別為：l1和l2，音速為v，則

s1，s2的強度比為而時間差為

對于耳機，s1，s2直接就是輸出信號。

而對于音箱，s1，s2還需要經(jīng)過變換。

對于音箱輸出信號s1'和s'2，設用戶正對電視正中觀看，用戶頭部與音箱的距離l1′和l2′，則根據(jù)

可推得

和

當然，聲音提示不局限于本實施例提供的正確提示操作，系統(tǒng)還可以設定不同的聲音來提示不同的操作，例如錯誤操作提示、無效提示等。

本實施例中的校準方法，在實際運用中，可結(jié)合自動適應的方法進行簡化的改進，例如：

在深度探測器內(nèi)置運動傳感器，如加速度計和陀螺儀等傳感器，若沒有監(jiān)測到深度探測器的運動，可認為深度探測器的位置沒有移動，可以不必進行校準，而是調(diào)出之前的校準數(shù)據(jù)使用即可(坐標系平移和旋轉(zhuǎn)部分)。

通過2d攝像頭的識別功能，對用戶進行人臉檢測，若檢測到當前觀看的用戶是之前做過校準的用戶，則不必進行重新校準，而是調(diào)出之前的校準數(shù)據(jù)使用即可(坐標系縮放部分)。

若深度探測器移動了，而用戶并非是新用戶，只需要重新校準坐標系的平移和旋轉(zhuǎn)部分，配合之前老用戶的坐標系縮放部分校準數(shù)據(jù)。

若深度探測器為移動過，而用戶是新用戶，只需要重新校準坐標系縮放部分，配合之前深度探測器位置下的坐標系平移和旋轉(zhuǎn)部分校準數(shù)據(jù)。

若深度探測器移動了，且用戶是新用戶，則必須進行更新的校準。

具體實施過程，本實施例中不再贅述。

實施例二

本申請實施例還提供了一種實現(xiàn)虛擬觸摸校準的系統(tǒng)，如圖4所示，包括：

創(chuàng)建單元、構建單元、計算單元、校準單元、補償單元和提示單元。

創(chuàng)建單元01，用于創(chuàng)建虛擬校準菜單；

構建單元02，用于以顯示所述虛擬校準菜單所在的平面為x軸和y軸構成的平面，建立第一坐標系；以及建立第二坐標系，用于將用戶手勢位置用所述第二坐標系坐標表示；

計算單元03，用于計算所述第一坐標系和所述第二坐標系的對應關系；

校準單元04，用于根據(jù)所述對應關系，將第二坐標系表示的用戶手勢位置坐標，用所述第一坐標系的坐標表示；根據(jù)用所述第一坐標系的坐標表示的用戶手勢位置坐標，校正用戶手勢與虛擬校準菜單的對應關系；

補償單元05，包括

1)第一補償模塊051，用于進行平行于顯示屏平面的位移補償；

2)第二補償模塊052，用于進行垂直于顯示屏平面的位移補償；

3)第三補償模塊053，用于進行頭部傾斜跟蹤補償；

提示單元06，用于進行聲音反饋算法。

通過本發(fā)明的一個或多個實施例，可以實現(xiàn)如下的技術效果或優(yōu)點：

因為采用了用戶校準的技術手段，將用戶手勢操作與虛擬畫面進行空間投影校準，有效的解決了現(xiàn)有技術中，因為固定了用戶手勢位置空間和虛擬畫面空間的投影關系，使得當深度探測器的位置發(fā)生了變化，或者當更換用戶后因為瞳孔距離的變化引起虛擬畫面位置的變化，引起的手勢操作與畫面相應不一致的錯亂問題，得到了有效的解決。同時，采用了用戶雙眼位置偏移或者傾斜的補償措施，在校準完成之后，若用戶雙眼發(fā)生輕微偏移和傾斜的時候，對跟隨雙眼位置的改變而改變的虛擬畫面的顯示位置的改變進行補償，使得即使用戶雙眼位置發(fā)生改變，也能保持虛擬畫面的位置保持校準后的位置不動，從而保證了校準后的投影關系沒有發(fā)生改變，有效的提高了用戶操作的準確度，改善了用戶的感官效果。

盡管已描述了本發(fā)明的優(yōu)選實施例，但本領域內(nèi)的技術人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。

顯然，本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。