基于Kinect和Unity3D的多交互方法與裝置制造方法
【專利摘要】本發(fā)明涉及一種基于Kinect和Unity3D的多交互方法，包括：S1：調(diào)整Unity3D中攝像機參數(shù)與Kinect有效檢測范圍一致；S2：利用Kinect確定用戶坐標以及地面方程；S3：根據(jù)相對位置確定虛擬模擬坐標，并注冊虛擬模型；S4：設(shè)計交互姿勢與語音；S5：確定Unity3D控制模型位移動畫以及多媒體效果；S6：對Unity3D中的攝像機獲取到的畫面與Kinect的攝像頭獲取的圖像進行融合并顯示。本發(fā)明利用Kinect對語音識別的支持和對人體骨架定位增加虛擬模型三維注冊的觸發(fā)方式，通過肢體動作的識別功能為用戶提供更多的交互方式，改善用戶的使用體驗，利用Unity3D的三維引擎對模型位姿進行自動化處理，極大簡化三維注冊所需步驟。本發(fā)明還公開了一種基于Kinect和Unity3D的多交互裝置。
【專利說明】基于Kinect和Unity3D的多交互方法與裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機增強現(xiàn)實【技術(shù)領(lǐng)域】，尤其涉及一種基于Kinect和Unity3D的多 交互方法與裝置。

【背景技術(shù)】
[0002] 增強現(xiàn)實技術(shù)（Augmented Reality)最早與上世紀九十年代提出，現(xiàn)在已經(jīng)廣泛 應(yīng)用于醫(yī)療，教育，工業(yè)，商業(yè)等多個方面。增強現(xiàn)實一個較為通用的定義于1997年由北 卡羅來納大學的Ronald Azuma提出，包括三個主要方面：虛擬與現(xiàn)實結(jié)合（Combines real and virtual)，即時互動（Interactive in real time)，三維注冊（Registered in3D)。該 技術(shù)在屏幕上將虛擬場景疊加在現(xiàn)實場景之上，并使參與者可以和虛擬場景互動。目前增 強現(xiàn)實的實現(xiàn)流程一般為：1)通過圖像獲取裝置獲取場景圖像；2)識別并跟蹤場景中標 定圖像或文字，計算其形變計算其位移旋轉(zhuǎn)矩陣；3)根據(jù)標定圖像的位置和旋轉(zhuǎn)矩陣，在 三維空間中注冊對應(yīng)虛擬模型位置信息；4)融合虛擬模型與真實場景，并將其顯示在屏幕 上。
[0003] 但是，目前常用技術(shù)存在以下幾點缺陷：1)交互方式單一化，只能通過標定圖像 或文字觸發(fā)虛擬模型注冊，且注冊后只能對模型進行平移旋轉(zhuǎn)等操作，模型只能跟隨標定 物運動，交互方式少而且限制較多；2)三維注冊算法繁瑣，需要根據(jù)特征點坐標系確定模 型位置與姿態(tài)，再將其轉(zhuǎn)換到攝像機坐標系，最后融合虛擬模型和現(xiàn)實場景并根據(jù)顯示器 屏幕坐標對其進行顯示?？梢姮F(xiàn)行技術(shù)在虛擬模型的三維注冊階段需要較多步驟的計算， 操作不夠簡潔和自動化。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是，針對現(xiàn)有技術(shù)的不足，如何利用Kinect對語音識 別的支持和對人體骨架定位增加虛擬模型三維注冊的觸發(fā)方式，通過肢體動作的識別功能 為用戶提供更多的交互方式，改善用戶的使用體驗，以及如何利用Unity3D的三維引擎對 模型位姿進行自動化處理，極大簡化三維注冊所需步驟的關(guān)鍵問題。
[0005] 為此目的，本發(fā)明提出了一種基于Kinect和Unity3D的多交互方法，包括：
[0006] Sl :調(diào)整Unity3D中攝像機參數(shù)與Kinect有效檢測范圍一致；
[0007] S2 :利用Kinect確定用戶坐標以及地面方程；
[0008] S3 :根據(jù)相對位置確定虛擬模擬坐標，并注冊虛擬模型；
[0009] S4 :設(shè)計交互姿勢與語音；
[0010] S5 :確定Unity3D控制模型位移動畫以及多媒體效果；
[0011] S6 :對Unity3D中的攝像機獲取到的畫面與Kinect的攝像頭獲取的圖像進行融合 并顯示。
[0012] 進一步地，所述步驟Sl進一步包括：放置Kinect至現(xiàn)實場景的預(yù)設(shè)位置，調(diào)整現(xiàn) 實場景處于Kinect有效檢測范圍內(nèi)。
[0013] 進一步地，所述步驟SI進一步包括：調(diào)整Unity3D中攝像機Field of view以及 Clipping Planes 參數(shù)。
[0014] 進一步地，所述步驟S2進一步包括：
[0015] S21 :使用SkeletonFrame. FloorClipPlane函數(shù)確定代表地面的平面方程，其中， 在所述Kinect坐標系下的所述平面方程為：Ax+By+Cz+D = 0,（A，B，C)為所述平面方程的 平面法向量，在所述Unity3D坐標系下的所述平面方程為：y+E = 0,（0，1，0)為所述平面方 程的平面法向量；
[0016] S22 :將（A，B，C)旋轉(zhuǎn)至（0,1，0)重合，完成Kinect坐標系與Unity3D坐標系的 配準。
[0017] 進一步地，所述Kinect坐標系與Unity3D坐標系的配準進一步包括：Kinect坐 標系下任意點Gi 1, k2, k3)向Unity3D坐標系轉(zhuǎn)換時，需繞X軸旋轉(zhuǎn)角度為-arctan(B/ C),繞Z軸旋轉(zhuǎn)角度為arctan (A/B),旋轉(zhuǎn)半徑為

【權(quán)利要求】
1. 一種基于Kinect和Unity3D的多交互方法，，其特征在于，包括具體以下步驟： 51 :調(diào)整Unity3D中攝像機參數(shù)與Kinect有效檢測范圍一致； 52 :利用Kinect確定用戶坐標以及地面方程； 53 :根據(jù)相對位置確定虛擬模擬坐標，并注冊虛擬模型； 54 :設(shè)計交互姿勢與語音； 55 :確定Unity3D控制模型位移動畫以及多媒體效果； 56 :對Unity3D中的攝像機獲取到的畫面與Kinect的攝像頭獲取的圖像進行融合并顯 /Jn 〇
2. 如權(quán)利要求1所述的方法，其特征在于，所述步驟Sl進一步包括：放置Kinect至現(xiàn) 實場景的預(yù)設(shè)位置，調(diào)整現(xiàn)實場景處于Kinect有效檢測范圍內(nèi)。
3. 如權(quán)利要求1所述的方法，其特征在于，所述步驟Sl進一步包括：調(diào)整Unity3D中 攝像機 Field of view 以及 Clipping Planes 參數(shù)。
4. 如權(quán)利要求I所述的方法，其特征在于，所述步驟S2進一步包括： 521 :使用SkeletonFrame. FloorClipPlane函數(shù)確定代表地面的平面方程，其中，在所 述Kinect坐標系下的所述平面方程為：Ax+By+Cz+D = 0,（A，B，C)為所述平面方程的平面 法向量，在所述Unity3D坐標系下的所述平面方程為：y+E = 0,（0，1，0)為所述平面方程的 平面法向量； 522 :將（A，B，C)旋轉(zhuǎn)至（0，1，0)重合，完成Kinect坐標系與Unity3D坐標系的配準。
5. 如權(quán)利要求4所述的方法，其特征在于，所述Kinect坐標系與Unity3D坐標系的 配準進一步包括：Kinect坐標系下任意點向Unity3D坐標系轉(zhuǎn)換時，需繞X軸 旋轉(zhuǎn)角度為-arctan (B/C)，繞Z軸旋轉(zhuǎn)角度為arctan (A/B)，
方寵轉(zhuǎn)后坐標為：（Ic1Cos a - (k2cos 3 _k3sin 3 ) sin a，Ic1Sin a + (k2cos 3 _k3sin 3 ) cos a， k2sin@+k3cos@)，其中，a =arctan(A/B), @ =-arctan(B/C)。
6. 如權(quán)利要求I所述的方法，其特征在于，所述步驟S6進一步包括： 561 :對兩幅圖像進行取樣或差值操作； 562 :對操作后的兩幅圖像進行遍歷，比較兩幅圖像中與目的圖像像素點對應(yīng)點的深度 值； 563 :將目的圖像對應(yīng)點顏色值設(shè)置為深度值較小像素點的顏色值。
7. 如權(quán)利要求1所述的方法，其特征在于，所述注冊虛擬模型還可以通過用戶移動至 特殊位置觸發(fā)默認模型的方式。
8. 如權(quán)利要求1所述的方法，其特征在于，所述注冊虛擬模型還可以通過用戶語音觸 發(fā)對應(yīng)模型注冊的方式。
9. 一種基于Kinect和Unity3D的多交互裝置，其特征在于，包括： 調(diào)整模塊，用于調(diào)整Unity3D中攝像機參數(shù)與Kinect有效檢測范圍一致； 確定坐標與地面方程模塊，用于利用Kinect確定用戶坐標以及地面方程； 虛擬模型注冊模塊，用于根據(jù)相對位置確定虛擬模擬坐標，并注冊虛擬模型； 設(shè)計模塊，用于設(shè)計交互姿勢與語音； 確定效果模塊，用于確定Unity3D控制模型位移動畫以及多媒體效果； 圖像融合模塊，用于對Unity3D中的攝像機獲取到的畫面與Kinect的攝像頭獲取的圖 像進行融合并顯示。
【文檔編號】G06F3/01GK104360729SQ201410381549
【公開日】2015年2月18日 申請日期:2014年8月5日 優(yōu)先權(quán)日:2014年8月5日
【發(fā)明者】王虓, 郭新宇, 吳升, 溫維亮, 王傳宇 申請人:北京農(nóng)業(yè)信息技術(shù)研究中心