位置進行平滑； 輸出平滑后的骨架圖像。
16. -種對姿態(tài)估計中的骨架圖像進行平滑的方法，包括： 設置包括多個關節(jié)點的骨架模型，其中，所述多個關節(jié)點包括根節(jié)點，根節(jié)點是位于骨 盆中的用于表示人體在世界坐標系中的位置的假設點； 從骨架圖像中獲得所述多個關節(jié)點中除根節(jié)點之外的其余關節(jié)點的位置信息，從所述 位置信息中計算根節(jié)點的位置以及與所述多個關節(jié)點相應的骨骼長度和骨骼旋轉(zhuǎn)角度的 信息，并通過使用與所述多個關節(jié)點相應的骨骼長度和骨骼旋轉(zhuǎn)角度的信息動態(tài)地約束所 述多個關節(jié)點的位置，來對所述多個關節(jié)點的位置進行平滑，從而獲得平滑的骨架圖像。
17. 如權利要求15或16所述的方法，其中，所述多個關節(jié)點還包括頭部節(jié)點、頸部節(jié) 點、左肩節(jié)點、右肩節(jié)點、左肘節(jié)點、右肘節(jié)點、左腕節(jié)點、右腕節(jié)點、左臀節(jié)點、右臀節(jié)點、左 膝節(jié)點、右膝節(jié)點、左踝節(jié)點、右踝節(jié)點，其中，將肘部和膝部的關節(jié)點設置為鉸鏈關節(jié)，僅 在一個固定平面內(nèi)旋轉(zhuǎn)，其它關節(jié)點任意旋轉(zhuǎn)，通過每個關節(jié)點為原點的坐標系的旋轉(zhuǎn)量 來表不骨豁的旋轉(zhuǎn)方向。
18. 如權利要求15或16所述的方法，其中，對所述多個關節(jié)點的位置進行平滑的步驟 包括： 在獲得第一幀骨架圖像時，對平滑所需的數(shù)據(jù)進行初始化，其中，平滑所需的數(shù)據(jù)包括 觀測量Z、狀態(tài)量《、觀測誤差V和操作誤差W ; 在獲得第一幀骨架圖像之后的每一幀骨架圖像時，根據(jù)操作誤差W和觀測誤差V來 獲得預測的狀態(tài)量和預測的觀測量，根據(jù)預測的狀態(tài)量和預測的預測量來獲得平滑的狀態(tài) 量，根據(jù)平滑的狀態(tài)量來獲得平滑的觀測量，從而從平滑的觀測量獲得平滑后的骨架圖像。
19. 如權利要求18所述的方法，其中，對平滑所需的數(shù)據(jù)進行初始化的步驟包括： 使用對從第一幀骨架圖像獲得的所述多個關節(jié)點中除根節(jié)點之外的其余關節(jié)點的位 置信息來初始化觀測量z; 使用對第一幀骨架圖像的觀測量z計算的根節(jié)點的位置以及與所述多個關節(jié)點相應 的骨骼長度和骨骼旋轉(zhuǎn)角度的信息來初始化狀態(tài)量w; 初始化觀測誤差v和操作誤差w，其中，觀測誤差v和操作誤差w分別是由獲得觀測量z而產(chǎn)生的誤差和計算狀態(tài)量w而產(chǎn)生的誤差，觀測誤差v和操作誤差w滿足正態(tài)分布，通 過分別初始化觀測誤差的方差和操作誤差的方差PPMC;6SS來初始化觀測誤差v和操作 誤差W。
20. 如權利要求18所述的方法，其中，根據(jù)操作誤差w和觀測誤差v來獲得預測的狀態(tài) 量和預測的觀測量，并根據(jù)預測的狀態(tài)量和預測的預測量來獲得平滑的狀態(tài)量，根據(jù)平滑 的狀態(tài)量來獲得平滑的觀測量，從而從平滑的觀測量獲得平滑后的骨架圖像的步驟包括： 對于第一幀骨架圖像之后的每一幀骨架圖像進行以下操作： (1) 獲得當前幀的觀測量zk; (2) 根據(jù)當前幀的觀測量zk來判斷用戶是否更換，如果用戶更換，則對觀測量z、狀態(tài) 量w、觀測誤差v和操作誤差w重新初始化，如果用戶未更換，則進行下面的步驟； (3) 通過根據(jù)從當前幀的觀測量zk計算的與所述多個關節(jié)點相應的骨骼旋轉(zhuǎn)角度來更 新操作誤差的方差PpMC;e;ss，從而更新當前幀的操作誤差Wk ; (4) 通過公式x'k=f(Xh)+wk來獲得當前幀的預測的狀態(tài)量x'k，其中，函數(shù)f是通過先 驗知識設定的用于狀態(tài)轉(zhuǎn)移的操作函數(shù)，Xg是前一幀的狀態(tài)量； (5) 通過公式z'k=h(x'k)+vk來獲得預測的觀測量z'k，其中，函數(shù)h是基于正向動力學 原理的將狀態(tài)量中包含的骨骼長度以及骨骼旋轉(zhuǎn)角度轉(zhuǎn)換為觀測量中的各關節(jié)點的位置 的觀測函數(shù)，vk是當前幀的觀測誤差； (6) 通過公式xk=x'k+K(zk-z'k)來獲得平滑的狀態(tài)量xk，并將平滑的狀態(tài)量xk作為當 前幀的狀態(tài)量，其中，K是根據(jù)狀態(tài)量的方差以及觀測誤差的方差和操作誤差的方差 Pp_ss而計算的增益值； (7) 通過公式zk _斗〇〇來獲得平滑的觀測量zk _，從而獲得平滑后的骨架圖像； (8) 從平滑的觀測量zk(Mt計算與所述多個關節(jié)點相應的骨骼旋轉(zhuǎn)角度，并根據(jù)計算的 骨骼旋轉(zhuǎn)角度來更新觀測誤差的方差，作為下一幀的觀測誤差的方差p。^^。
21. 如權利要求20所述的方法，其中，判斷用戶是否更換的步驟包括： 將當前幀的觀測量z與前一幀的觀測量z進行比較； 如果當前幀的觀測量z與前一幀的觀測量z之間的差超出預定閾值，則判斷用戶更 換； 如果當前幀的觀測量Z與前一幀的觀測量Z之間的差未超出預定閾值，則判斷用戶未 更換。
22. 如權利要求19所述的方法，其中，初始化觀測誤差的方差和操作誤差的方 差Pp_ss的步驟包括： 根據(jù)第一幀骨架圖像的數(shù)據(jù)或者根據(jù)經(jīng)驗數(shù)據(jù)來初始化觀測誤差的方差和操 作誤差的方差Ppro_s。
23. 如權利要求20所述的方法，其中，更新操作誤差的方差PpMC_的步驟包括： 通過公式
來更新操作誤 差的方差PpM_s，其中，P_表示操作誤差的方差PpM_s的最大值，并根據(jù)期望的精度基于 不同的關節(jié)點而被不同地設置，Pmin表示操作誤差的方差PpM_s的最小值，并根據(jù)期望的精 度基于不同的關節(jié)點而被不同地設置，函數(shù)P表示單調(diào)遞減函數(shù)，ei表示從觀測量zk計 算的骨骼旋轉(zhuǎn)角度，min函數(shù)表示取最小值的函數(shù)，表示當前幀的操作誤差的方差， 表不前一幀的操作誤差的方差。
24. 如權利要求20所述的方法，其中，函數(shù)f?被設置為f(x)=x，即狀態(tài)保持不變的操 作函數(shù)。
25. 如權利要求20所述的方法，其中，函數(shù)h被設置為h(M，L)=VXMXL，其中，V表示 在根節(jié)點坐標系中關節(jié)點相對于根節(jié)點的方向，M表示根據(jù)骨骼旋轉(zhuǎn)角度而獲得的旋轉(zhuǎn)矩 陣，L表示骨骼長度。
26. 如權利要求20所述的方法，其中，獲得平滑的狀態(tài)量xk的步驟包括： 通過公式X'fFX^FT+P^^，K=X'kHT (HX'kHT+Pwve)計算增益值K，其中，X' k表示通過 操作函數(shù)f之后的狀態(tài)量的方差，Xk_i表示上一幀的狀態(tài)量的方差，矩陣F表示操作函數(shù)f， 矩陣FT表示矩陣F的轉(zhuǎn)置，矩陣H表示觀測函數(shù)h，矩陣HT表示矩陣H的轉(zhuǎn)置； 通過公式Xk= (1-KH)Xk'來更新狀態(tài)量方差Xk，作為當前幀的狀態(tài)量的方差。
27. 如權利要求20所述的方法，其中，更新觀測誤差的方差的步驟包括： 通過公式
來更新觀測誤差的方差，其中，p_表示觀 測誤差的方差PPMC;6SS的最大值，并根據(jù)期望的精度基于不同的關節(jié)點而被不同地設置，pmin 表示觀測誤差的方差Pp_6ss的最小值，并根據(jù)期望的精度基于不同的關節(jié)點而被不同地設 置，函數(shù)p表示單調(diào)遞減函數(shù)，e2表示從平滑的觀測量計算的骨骼旋轉(zhuǎn)角度。
28.如權利要求23或27所述的方法，其中，最大值Pmax的范圍是0. 01至0. 02,最小值Pmin的范圍是0.001至0.002。
【專利摘要】提供了一種在姿態(tài)估計中使用的骨架平滑方法和設備。所述方法包括：設置包括多個關節(jié)點的骨架模型，其中，所述多個關節(jié)點包括根節(jié)點，根節(jié)點是位于骨盆中的用于表示人體在世界坐標系中的位置的假設點；獲得在姿態(tài)估計中提取的骨架圖像；從骨架圖像中獲得所述多個關節(jié)點中除根節(jié)點之外的其余關節(jié)點的位置信息，從所述位置信息中計算根節(jié)點的位置以及與所述多個關節(jié)點相應的骨骼長度和骨骼旋轉(zhuǎn)角度的信息，并通過使用與所述多個關節(jié)點相應的骨骼長度和骨骼旋轉(zhuǎn)角度的信息動態(tài)地約束所述多個關節(jié)點的位置，來對所述多個關節(jié)點的位置進行平滑；輸出平滑后的骨架圖像。所述方法能夠?qū)崟r輸出更加精確合理的平滑骨架，并能夠適用于不同用戶。
【IPC分類】G06T5-00
【公開號】CN104778661
【申請?zhí)枴緾N201410012345
【發(fā)明人】毛文濤, 張旭, 文永秀, 趙程昱, 李政勛
【申請人】北京三星通信技術研究有限公司, 三星電子株式會社
【公開日】2015年7月15日
【申請日】2014年1月10日