定并將坐標映射到OpenCV繪圖坐 標系統(tǒng)；獲取玩家面部關(guān)鍵點121個，分離出玩家面部圖像，并通過關(guān)鍵點的匹配將玩家面 部圖像賦予模型；主機1通過Kinect設(shè)備2進行玩家動作判定，動作匹配后可進行下一關(guān) 游戲；提前在動作庫中存儲有大量的舞蹈動作數(shù)據(jù)，以關(guān)節(jié)點之間的相對位置來表示；玩 家做出動作后，對玩家骨骼節(jié)點的相對位置與動作庫中的相對位置進行匹配，判斷是否滿 足特定時間內(nèi)動作在空間位置上的一定閾值內(nèi)的匹配。
[0008] 工作原理：自由舞原理即獲取用戶骨骼點信息并賦予模型。教學(xué)舞工作原理包括 兩部分，一部分是進行標準舞蹈動作的數(shù)據(jù)量化存儲，一部分是對于用戶動作數(shù)據(jù)與標準 動作數(shù)據(jù)的比較。通過調(diào)研發(fā)現(xiàn)民族舞動作多利用肘關(guān)節(jié)、膝關(guān)節(jié)與腕關(guān)節(jié)的變化做出各 種形態(tài)的舞姿。因此，首先對標準舞蹈動作中的肘關(guān)節(jié)、膝關(guān)節(jié)與腕關(guān)節(jié)的動作數(shù)據(jù)量化 存儲。在動作判定中首先針對肘關(guān)節(jié)膝關(guān)節(jié)與腕關(guān)節(jié)的動作進行判定，而后進行其他部位 的動作判定。判定方法如下：首先建立空間三維坐標系xyz坐標系，游戲者骨骼節(jié)點的空 間位置由空間三維坐標系中的點（x，y，z)表示，通過實驗測量出動作角度誤差范圍為值a 時最合理，a為ji/36。以肘關(guān)節(jié)形態(tài)的判斷為例，利用手腕節(jié)點、肘節(jié)點與肩節(jié)點三點的 位置可在空間中構(gòu)建出三條直線。以右手臂為例，肩中央位置為（xO, yO, zO)右肩位置為 &1，71，21)，右肘位置為（12,72,22)，右腕位置為（13, 73,23)。右肩與右手腕兩點構(gòu)成 的直線為L13,右肩與右肘構(gòu)成的直線為L12,右肘與右手腕構(gòu)成的直線為L23,肩中央與右 肩構(gòu)成的直線為L01.胳膊舞蹈動作的形態(tài)與肩部及肘部的轉(zhuǎn)動情況相關(guān)，因此將肩部、肘 部、手腕處關(guān)節(jié)之間的相對位置作為判斷標準，及不考慮用戶的胳膊長度而是以其關(guān)節(jié)旋 轉(zhuǎn)角度作為判定標準。首先，判斷L13與L01間的夾角是否滿足在區(qū)間[K013-a，K013+a ]， K013為動作庫中儲存的標準舞蹈動作中右手腕相對于右肩的角度。L13與L01間的夾角可 利用空間向量夾角公式得出，角度計算公式為：
【主權(quán)項】
1. 一種基于Kinect的多屏互動民族舞娛樂系統(tǒng)，其特征在于它包括主機（I )、Kinect 設(shè)備（2)、第一幕布（3)、第二幕布（4)、第三幕布（5)、第四幕布（6)、第一投影儀（7)、第二 投影儀（8)、第三投影儀（9)、第四投影儀（10)、音響設(shè)備（11)、第一音箱（12)、第二音箱 (13)； 所述第一投影儀（7)、第二投影儀（8)、第三投影儀（9)和第四投影儀（10)都設(shè)置在由 第一幕布（3)、第二幕布（4)、第三幕布（5)和第四幕布（6)按順序圍成的一個方型內(nèi)的中心 處，并使第一投影儀（7)的投射影象投射在第一幕布（3)上，第二投影儀（8)的投射影象投 射在第二幕布（4)上，第三投影儀（9 )的投射影象投射在第三幕布（5 )上，第四投影儀（10 ) 的投射影象投射在第四幕布（6)上，Kinect設(shè)備（2)設(shè)置在第一幕布（3)前面的下方，第 一音箱（12)和第二音箱（13)分別設(shè)置在第三幕布（5)的兩側(cè)端處，第一音箱（12)的驅(qū)動 輸入端和第二音箱（13)的驅(qū)動輸入端都與音響設(shè)備（11)的驅(qū)動輸出端連接，Kinect設(shè) 備（2)的數(shù)據(jù)輸出端與主機（1)的數(shù)據(jù)輸入端連接，第一投影儀（7)的數(shù)字視頻信號輸入 端、第二投影儀（8)的數(shù)字視頻信號輸入端、第三投影儀（9)的數(shù)字視頻信號輸入端和第 四投影儀（10)的數(shù)字視頻信號輸入端都分別與主機（1)的多路數(shù)字視頻輸出端連接，音 響設(shè)備（11)的多路數(shù)字音頻輸入端都分別與主機（1)的多路數(shù)字音品輸出端連接；啟動 主機（1)、Kinect設(shè)備（2)、第一投影儀（7)、第二投影儀（8)、第三投影儀（9)、第四投影儀 (10)和音響設(shè)備（11 )，初始化Kinect設(shè)備（2)，Kinect設(shè)備（2)獲取圖像數(shù)據(jù)，包括顏色 流 ColorlmageSteam、深度流 DepthlmageSteam、骨架流 SkeletonStream，生成 OpenCV 中的 Iplmage圖像；主機（1)通過Kinect設(shè)備（2)判斷參與游戲者數(shù)目，選擇深度值最小即距離 設(shè)備可見視野最近的玩家進行骨骼跟蹤；將玩家骨骼節(jié)點與模型骨骼節(jié)點進行綁定并將坐 標映射到OpenCV繪圖坐標系統(tǒng)；獲取玩家面部關(guān)鍵點121個，分離出玩家面部圖像，并通 過關(guān)鍵點的匹配將玩家面部圖像賦予模型；主機（1)通過Kinect設(shè)備（2)進行玩家動作判 定，動作匹配后可進行下一關(guān)游戲；提前在動作庫中存儲有大量的舞蹈動作數(shù)據(jù)，以關(guān)節(jié)點 之間的相對位置來表示；玩家做出動作后，對玩家骨骼節(jié)點的相對位置與動作庫中的相對 位置進行匹配，判斷是否滿足特定時間內(nèi)動作在空間位置上的一定閾值內(nèi)的匹配。
【專利摘要】一種基于Kinect的多屏互動民族舞娛樂系統(tǒng)，本發(fā)明為基于Kinect設(shè)備的體感民族舞舞蹈游戲系統(tǒng)的技術(shù)領(lǐng)域。它是為了解決現(xiàn)有舞蹈游戲缺乏沉浸性與缺少關(guān)于民族舞游戲的問題。它的第一投影儀、第二投影儀、第三投影儀和第四投影儀都設(shè)置在由第一幕布、第二幕布、第三幕布和第四幕布按順序圍成的一個方型內(nèi)的中心處，Kinect設(shè)備設(shè)置在第一幕布前面的下方，第一音箱和第二音箱分別設(shè)置在第三幕布兩端處，Kinect設(shè)備的數(shù)據(jù)輸出端與主機的數(shù)據(jù)輸入端連接。本發(fā)明的體感Kinect設(shè)備與我國經(jīng)典民族舞的融合上進行了研究與創(chuàng)新，通過動作識別與判定的相關(guān)方法使用戶能夠得到準確的動作反饋，通過多屏幕投影使用戶得到全身心地沉浸式體驗。
【IPC分類】A63F13-428, G06F3-01
【公開號】CN104808798
【申請?zhí)枴緾N201510244720
【發(fā)明人】王彤, 王建一, 劉曉亮
【申請人】哈爾濱工業(yè)大學(xué)
【公開日】2015年7月29日
【申請日】2015年5月14日