一種基于kinect的裸眼3D UI交互方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明在基于裸眼3D n新技術(shù)的基礎(chǔ)之上，利用kinect實現(xiàn)了一種交互方法， 該方法進一步拉近了虛擬世界與現(xiàn)實生活的距離。
【背景技術(shù)】
[0002] 裸眼3D顯示技術(shù)作為顯示行業(yè)內(nèi)的一個重要發(fā)展方向，目前在視頻顯示領(lǐng)域已 經(jīng)取得了比較成熟的成果，如何打破單一的視頻顯示模式，將模型、圖文與視頻進行融合， 以裸眼3D n的形式呈現(xiàn)出來，目前本團隊已經(jīng)取得了顯著的成果。
[0003] 隨著技術(shù)的發(fā)展，人機交互日趨簡易化，易操作化，人們對交互的體驗已不再滿足 于借助鼠標(biāo)、鍵盤等輔助媒介的體驗，裸眼3D UI雖然給人以更好的視覺感受，但在人機交 互體驗方面仍存在一定的不足，尤其是大屏裸眼3D產(chǎn)品對觀看距離有一定的限制，以46寸 4k裸眼3D廣告機為例，最佳觀看距離在3米左右，故如果采用鍵盤鼠標(biāo)對其進行操作將存 在很大的不便?；诖?，本發(fā)明借助Kinect設(shè)備，在視覺享受的同時將交互體驗融入其中， 進一步拉近了人與虛擬世界的距離，在呈現(xiàn)方式上給人以耳目一新的感覺，在實現(xiàn)了裸眼 3D內(nèi)容呈現(xiàn)多樣性的同時加入與客戶互動交流的新體驗，本發(fā)明尤其適用于廣告機系統(tǒng)、 產(chǎn)品展示及科研教學(xué)等。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明解決的問題是利用kinect實現(xiàn)裸眼3D n的人機交互。具體實現(xiàn)步驟如 下：
[0005] 第一步：將Kinect接入計算機系統(tǒng)；
[0006] 第二步：通過深度圖信息，對人體進行識別，主要是針對手掌部位的識別，通過識 別判定是否需要進行操作響應(yīng)，當(dāng)檢測當(dāng)前畫面中存在動態(tài)的手勢時，則進入第三步，否則 循環(huán)進行第二步的檢測；
[0007] 第三步：通過手心深度信息的獲取，判斷手心對應(yīng)n的區(qū)域，計算機將操作信息 反饋給對應(yīng)區(qū)域進行操作響應(yīng)，鑒于裸眼3D n在制作中是采用模塊獨立渲染的方式，即 ui中涉及的視頻模塊、文字模塊及產(chǎn)品模型展示模塊等均是經(jīng)過獨立的多宮格視圖渲染合 成，最終以動態(tài)庫的形式合成展現(xiàn)為一個完整的ui界面，故本步驟進行操作對應(yīng)模塊的檢 測，該模塊可以單獨對手勢信息進行響應(yīng)。
[0008] 第四步：手勢響應(yīng)，此處需要將Kinect采集到的彩色圖像和深度圖像進行骨骼特 征的提取，提取后的骨骼信息經(jīng)由DTW動態(tài)規(guī)劃算法的加權(quán)的不同，利用分類樹的統(tǒng)計方 法進行訓(xùn)練，最終實現(xiàn)有效的手勢識別的檢測與響應(yīng)。此處手勢信息的檢測主要分為兩部 分，一是手部與攝像頭的距離變動，另一個是手勢的揮動。通過這兩種手勢信息，可以簡單 地定義對裸眼3D n的點擊、旋轉(zhuǎn)、關(guān)閉等操作。具體的見下文中的實施例的介紹。同理我 們也可以根據(jù)不同的界面的操作需求進行各種不同的手勢定義，本發(fā)明只以其中的一種比 較簡單的實施例進行加以闡述。
[0009] 本發(fā)明在進行手勢識別操作中很主要的信息是來自于人手與攝像頭的距離信息， 而在Kinect中生成的深度圖是用灰度圖的灰度信息來表示的，其與實際的距離并不成標(biāo) 準(zhǔn)的線性關(guān)系，故當(dāng)人手與攝像頭的距離減小時，由于Kinect中的金字塔視場會導(dǎo)致獲取 的圖像的分辨率增大，故本發(fā)明在實際的應(yīng)用中，根據(jù)識別到的手掌的大小即圖像的灰度 值大小，將獲取的圖像的灰度值轉(zhuǎn)換為實際距離的深度值。根據(jù)Kinect的轉(zhuǎn)換原理，實際 距離的深度值d為：
[0010]
【主權(quán)項】
1. 一種基于Kinect的裸眼3Dn交互方法，其特征在于包括以下步驟： a:將Kinect接入計算機系統(tǒng)； b:通過深度圖信息，對人體進行識別，主要是針對手掌部位的識別，通過識別判定是否 需要進行操作響應(yīng)； c:通過手心深度信息的獲取，判斷手心對應(yīng)UI的區(qū)域，計算機將操作信息反饋給對應(yīng) 區(qū)域進行操作響應(yīng)； d:手勢響應(yīng)，根據(jù)人手與攝像頭距離的變化以及揮手等操作，定義具體的響應(yīng)結(jié)果進 行最終的n操作響應(yīng)。
2. 根據(jù)權(quán)利要求1所述的基于Kinect的裸眼3Dn交互方法，其特征在于在b步驟 中，對于深度信息的獲取，Kinect中生成的深度圖是用灰度圖的灰度信息來表示的，其與實 際的距離并不成標(biāo)準(zhǔn)的線性關(guān)系，故當(dāng)人手與攝像頭的距離減小時，由于Kinect中的金字 塔視場會導(dǎo)致獲取的圖像的分辨率增大，故本發(fā)明在實際的應(yīng)用中，根據(jù)識別到的手掌的 大小即圖像的灰度值大小，將獲取的圖像的灰度值轉(zhuǎn)換為實際距離的深度值，根據(jù)Kinect 的轉(zhuǎn)換原理，實際距離的深度值d為：
其中，K= 0? 1237m，M= 0? 038m，\為Kinect獲取的某一像素點的深度值。 根據(jù)實際深度距離值，轉(zhuǎn)換為原始像素位置（i，j，d)的實際位置（x，y，z)，轉(zhuǎn)換公式 為：
其中s= 0. 0021。
3. 根據(jù)權(quán)利要求2中所述的在獲取距離信息后，需要進入權(quán)利要求1中的c步驟進行 區(qū)域的響應(yīng)。此處考慮到裸眼3D渲染內(nèi)容格式的特殊性，需要選取一個固定視圖作為坐標(biāo) 參考圖進行位置確定。
4. 根據(jù)權(quán)利要求1中的d步驟，其應(yīng)該包括以下幾個特征：1)當(dāng)檢測到人手與攝像機 的距離減小超過閾值a(根據(jù)實際情況進行設(shè)定）時，響應(yīng)為點擊操作；2)在操作模型區(qū)域 時，手勢向左揮動時，模型向左轉(zhuǎn)動90度，同理向右或是上下方向揮動，則模型向?qū)?yīng)方向 旋轉(zhuǎn)90度；3)當(dāng)人手與攝像機的距離增大超過閾值b時（根據(jù)實際情況進行設(shè)定），則響 應(yīng)關(guān)閉當(dāng)前UI。
5. 根據(jù)權(quán)利要求4中提到的手勢信息響應(yīng)，其特征在于對Kinect采集到的彩色圖像和 深度圖像進行骨骼特征的提取，提取后的骨骼信息經(jīng)由DTW動態(tài)規(guī)劃算法的加權(quán)不同，利 用有效的統(tǒng)計方法進行訓(xùn)練，最終實現(xiàn)有效的動態(tài)手勢識別的檢測與響應(yīng)。
【專利摘要】本發(fā)明基于裸眼3D UI，借助Kinect設(shè)備，解決了大屏裸眼3D由于觀看距離的限制而在UI互動操作中存在不便的問題。本發(fā)明通過對Kinect獲取的深度圖像信息進行處理，通過動態(tài)手勢的識別，最終達(dá)到遠(yuǎn)距離手勢操控裸眼3D UI的效果。本發(fā)明在視覺享受的同時將交互體驗融入其中，進一步拉近了人與虛擬世界的距離，在呈現(xiàn)方式上給人以耳目一新的感覺，本發(fā)明的引入，將更進一步推動裸眼3D產(chǎn)品的發(fā)展。
【IPC分類】G06F3-01, G06K9-00
【公開號】CN104714649
【申請?zhí)枴緾N201510144823
【發(fā)明人】王子強
【申請人】王子強
【公開日】2015年6月17日
【申請日】2015年3月31日