本發(fā)明涉及信息技術(shù)領(lǐng)域，具體涉及基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法。

背景技術(shù)：

基于多個RGBD相機的人體行為識別受到研究者的廣泛關(guān)注，被應用于手術(shù)室、工廠車間、汽車組裝、室內(nèi)監(jiān)控等環(huán)境下的人體行為檢測，有效解決了人體遮擋問題和可能發(fā)生的人-機器人碰撞問題，具有重要的應用價值。

目前基于多個RGBD傳感器的人體行為感知還處于集中式階段，需要一個或多個數(shù)據(jù)融合中心進行三維數(shù)據(jù)、人體骨架關(guān)節(jié)點數(shù)據(jù)的融合，對數(shù)據(jù)融合中心的計算能力和魯棒性要求較高，對網(wǎng)絡的不穩(wěn)定性抵抗力較弱，可擴展程度低。

當場景中存在多個人體目標時，需要解決多個人體目標和傳感器感知到的人體骨架觀測信息之間的對應問題，即數(shù)據(jù)關(guān)聯(lián)問題。

其中，關(guān)于基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)的相關(guān)技術(shù)還沒有出現(xiàn)。

隨著RGBD傳感器技術(shù)的發(fā)展，其使用數(shù)量和覆蓋范圍會隨之增大，集中式的RGBD傳感器網(wǎng)絡所需要處理和傳輸?shù)男畔⒘鲿l(fā)式增長，其在現(xiàn)實應用中的瓶頸會越發(fā)明顯。

技術(shù)實現(xiàn)要素：

為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開了基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，以提高JPDA算法估計精度和執(zhí)行效率。

為實現(xiàn)上述目的，本發(fā)明的具體方案如下：

基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，包括以下步驟：

采用聯(lián)合數(shù)據(jù)概率關(guān)聯(lián)算法實現(xiàn)本地傳感器節(jié)點對跟蹤目標和目標觀測之間進行第一次數(shù)據(jù)關(guān)聯(lián)；

基于馬氏距離的匈牙利算法實現(xiàn)傳感器節(jié)點之間對跟蹤目標的第二次數(shù)據(jù)關(guān)聯(lián)；

各傳感器之間交換關(guān)節(jié)點估計信息，通過一致性算法加權(quán)迭代實現(xiàn)各傳感器估計狀態(tài)的一致性；

其中，在第一次數(shù)據(jù)關(guān)聯(lián)時，基于多特征的目標觀測候選集調(diào)整機制，利用關(guān)節(jié)點位置觀測信息z、彩色圖像梯度方向直方圖特征h_c和深度圖像梯度方向直方圖特征h_d構(gòu)建三個閾值門限(γ_z,γ_c,γ_d)以限定觀測集大小。

進一步的，基于分布式信息一致性算法的信息融合之后還包括利用模型概率對各個模型的估計結(jié)果進行加權(quán)求和，作為各傳感器信息處理系統(tǒng)當前時刻的估計結(jié)果的步驟。

進一步的，分布式信息一致性算法使得本地傳感器在獲取本地數(shù)據(jù)關(guān)聯(lián)估計結(jié)果后，可與鄰近節(jié)點交換數(shù)據(jù)關(guān)聯(lián)結(jié)果，以實現(xiàn)各傳感器數(shù)據(jù)關(guān)聯(lián)結(jié)果的融合。

進一步的，利用關(guān)節(jié)點位置觀測信息z、彩色圖像梯度方向直方圖特征h_c和深度圖像梯度方向直方圖特征h_d構(gòu)建三個閾值門限(γ_z,γ_c,γ_d)以限定觀測集大小：

$(z-\hat{z})S^{-1}(z-\hat{z})\<{\mathrm{\γ}}_z,d(h_c,{\hat{h}}_c)\<{\mathrm{\γ}}_c,d(h_d,{\hat{h}}_d)\<{\mathrm{\γ}}_d,$

其中，是根據(jù)上一幀關(guān)節(jié)點估計值預測的當前關(guān)節(jié)點位置，S是z的方差，和分別是從最近的歷史關(guān)鍵幀中學習的以關(guān)節(jié)點位置為中心的HOG特征和HOD特征，d是直方圖Chi-square卡方距離測度。

進一步的，關(guān)節(jié)點的馬氏距離定義如下：

(x_i-x_j)^T(P_i+P_j)^-1(x_i-x_j),

(x_i,x_j)和(P_i,P_j)是人體關(guān)節(jié)點分別在傳感器i和傳感器j上的估計狀態(tài)和方差。

進一步的，在實現(xiàn)第一次數(shù)據(jù)關(guān)聯(lián)之前還包括骨架關(guān)節(jié)點位置初始化的步驟。

進一步的，在骨架關(guān)節(jié)點位置初始化之前還需要構(gòu)建動態(tài)分布式傳感器網(wǎng)絡。

更進一步的，基于構(gòu)建的動態(tài)分布式傳感器網(wǎng)絡，傳感器將采集的人體骨架關(guān)節(jié)點信息傳輸至信息處理中心。

進一步的，骨架關(guān)節(jié)點位置初始化時，通過對關(guān)節(jié)點深度信息預先學習訓練，實現(xiàn)對每幀人體關(guān)節(jié)點的檢測，或利用現(xiàn)有工具OPENNI NITE或微軟SDK直接提取關(guān)節(jié)點。

更進一步的，在骨架關(guān)節(jié)點位置初始化時，為去除無效關(guān)節(jié)點，建立人體關(guān)節(jié)點運動模型物理約束，剔除不滿足人體關(guān)節(jié)點旋轉(zhuǎn)角度和長度約束的人體關(guān)節(jié)點。

進一步的，人體關(guān)節(jié)點運動模型物理約束的相關(guān)參數(shù)，包括人體肘關(guān)節(jié)和肩關(guān)節(jié)之間長度，可依據(jù)檢測數(shù)據(jù)自適應升級。

進一步的，多模型包括構(gòu)建人體關(guān)節(jié)點的運動模型和觀測模型，其中，對線性模型，利用線性信息濾波器估計，而對于非線性模型，利用非線性濾波器進行估計，非線性濾波器包括擴展信息濾波器和基于中心差分信息濾波器。

本發(fā)明的有益效果：

本發(fā)明提出了基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，以提高JPDA算法估計精度和執(zhí)行效率。

本發(fā)明通過構(gòu)建分布式RGBD傳感器網(wǎng)絡，利用信息一致性算法，實現(xiàn)了對人體關(guān)節(jié)點的分布式估計，網(wǎng)絡中無數(shù)據(jù)融合中心，提高了系統(tǒng)對節(jié)點信息錯誤和無效的魯棒性，較容易實現(xiàn)對傳感器網(wǎng)絡的擴展。

傳感器節(jié)點只與周圍鄰近連接節(jié)點通訊，交換信息向量、信息矩陣和信息貢獻，相較于傳輸原始的RGBD數(shù)據(jù)，極大的減少了數(shù)據(jù)量。

一致性算法實現(xiàn)了與網(wǎng)絡中傳感器節(jié)點的有效融合，間接實現(xiàn)了對目標的多角度觀測，減少了遮擋或角度對人體關(guān)節(jié)點估計的影響，擴大了感知范圍。

提出了基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，以應對人體不同關(guān)節(jié)點時變的運動模式。

附圖說明

圖1本發(fā)明的基于動態(tài)三維RGBD傳感器網(wǎng)絡的分布式示意圖；

圖2本發(fā)明的分布式三維傳感器網(wǎng)絡對人體關(guān)節(jié)點的多模型估計流程圖；

圖3本發(fā)明的分布式多人體目標關(guān)節(jié)點跟蹤算法流程。

具體實施方式：

下面結(jié)合附圖對本發(fā)明進行詳細說明：

如圖3所示，基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，該方法針對多目標跟蹤，包括：

系統(tǒng)參數(shù)初始化；

多模型交互；

基于線性信息濾波器的JPDA及基于中心差分信息濾波器的JPDA；

發(fā)送本地信息給臨近傳感器節(jié)點；

接收臨近傳感器節(jié)點信息；

基于馬氏距離的數(shù)據(jù)關(guān)聯(lián)；

分布式信息一致性算法實現(xiàn)多模型結(jié)果融合。

分布式信息一致性估計時，具體為：

通過構(gòu)建動態(tài)分布式RGBD傳感器網(wǎng)絡，實現(xiàn)對數(shù)據(jù)的分布式處理和對信息的分布式融合，網(wǎng)絡中無集中式信息處理和融合中心，傳感器節(jié)點只與鄰近節(jié)點信息交換，通過有限次一致性迭代，實現(xiàn)網(wǎng)絡內(nèi)對感知目標狀態(tài)的估計一致。

傳感器網(wǎng)絡通過無線通信實現(xiàn)信息的傳輸。每個傳感器連接到本地處理器，可以是微型電腦或ARM開發(fā)板。本地處理器對信息處理后，通過無線與鄰近節(jié)點進行網(wǎng)絡數(shù)據(jù)交換。動態(tài)網(wǎng)絡是指由位置靜態(tài)的傳感器和位置可移動的傳感器組成的網(wǎng)絡。其中，位置移動通過將傳感器放置在移動機器人上實現(xiàn)。分布式具體是指信息的分布式計算和融合。

分布式三維傳感器網(wǎng)絡對人體關(guān)節(jié)點的多模型估計流程圖如圖2所示，該流程只針對單一目標，具體包括：骨架關(guān)節(jié)點位置初始化：通過對關(guān)節(jié)點深度信息預先學習訓練，實現(xiàn)對每幀人體關(guān)節(jié)點的檢測，也可利用現(xiàn)有工具OPENNI NITE或微軟SDK直接提取關(guān)節(jié)點。為去除無效關(guān)節(jié)點，建立人體關(guān)節(jié)點運動模型物理約束，剔除不滿足人體關(guān)節(jié)點旋轉(zhuǎn)角度和長度約束的人體關(guān)節(jié)點。物理約束模型的相關(guān)參數(shù)，如人體肘關(guān)節(jié)和肩關(guān)節(jié)之間長度，可依據(jù)檢測數(shù)據(jù)自適應升級。

其中，關(guān)節(jié)點深度信息是通過微軟Kinect開發(fā)包或開源OpenNI驅(qū)動軟件獲取場景的RGB圖像和深度圖像。

預先學習訓練的目的是為了構(gòu)建關(guān)節(jié)點特征庫，從而實現(xiàn)對待檢測圖像中的關(guān)節(jié)點的分類和識別。

RGBD傳感器提供場景顏色和深度圖像。關(guān)節(jié)點檢測模塊從圖像中提取人體關(guān)節(jié)點。

人體關(guān)節(jié)點運動模型物理約束相關(guān)技術(shù)內(nèi)容可參考論文Model-Based Reinforcement of Kinect Depth Data for Human Motion Capture Applications。

本地RGBD傳感器對關(guān)節(jié)點運動估計：構(gòu)建人體關(guān)節(jié)點的運動模型和觀測模型，基于貝葉斯濾波器，實現(xiàn)對關(guān)節(jié)點狀態(tài)(位置、速度和加速度)的有效估計。人體關(guān)節(jié)點的運動存在靜止、勻速、加速交替進行的多模型屬性，單一運動模型不足以描述關(guān)節(jié)點動態(tài)特征，因此設計基于交互多模型的貝葉斯估計方法，對人體關(guān)節(jié)點的時變狀態(tài)進行有效跟蹤估計。對線性模型，可利用線性信息濾波器估計，而對于非線性模型，可利用擴展信息濾波器和基于中心差分信息濾波器等非線性濾波器進行估計。

觀測模型是指濾波器系統(tǒng)狀態(tài)與傳感器觀測之間的模型關(guān)系。在這里，系統(tǒng)狀態(tài)是指關(guān)節(jié)點三維位置、速度和加速度，而傳感器觀測是關(guān)節(jié)點三維位置。

有效估計的具體算法可參考論文Central Difference Information Filter with Interacting Multiple Model for Robust Maneuvering Object Tracking。

RGBD傳感器之間對目標關(guān)節(jié)點的信息一致性估計：定義人體關(guān)節(jié)點狀態(tài)對應的信息向量、信息矩陣及其信息貢獻和模型概率作為信息一致性算法的交換量，每個傳感器將自身估計的關(guān)節(jié)點信息向量、信息矩陣及其對應的信息貢獻、模型概率發(fā)送給相鄰的通訊傳感器節(jié)點，并接受周圍傳感器的信息，利用信息一致性算法，融合周圍傳感器的估計結(jié)果，連續(xù)迭代數(shù)次，實現(xiàn)算法和估計結(jié)果的收斂。當場景中存在多個人體目標時，需要解決多個人體目標和傳感器感知到的人體骨架觀測信息之間的對應問題，即數(shù)據(jù)關(guān)聯(lián)問題。為減少目標所對應的觀測集內(nèi)候選目標數(shù)目，利用人體的航跡、三維結(jié)構(gòu)、圖像等多特征信息篩選候選目標范圍的機制，以提高匹配效率。同時，設計與其相適應的分布式一致性算法，使得本地傳感器在獲取本地數(shù)據(jù)關(guān)聯(lián)估計結(jié)果后，可與鄰近節(jié)點交換數(shù)據(jù)關(guān)聯(lián)結(jié)果，以實現(xiàn)各傳感器數(shù)據(jù)關(guān)聯(lián)結(jié)果的融合。

本發(fā)明中基于彩色圖像和深度圖像多特征的聯(lián)合數(shù)據(jù)關(guān)聯(lián)方法，具體步驟如下：

第一步是系統(tǒng)參數(shù)初始化，其中人體關(guān)節(jié)點的初始位置可通過OPENNI直接從RGBD相機的深度圖像檢測得出，位置的方差可依據(jù)OPENNI返回的關(guān)節(jié)點識別的置信水平確定，并依據(jù)關(guān)節(jié)運動特點設定關(guān)節(jié)的運動模型轉(zhuǎn)換概率。

第二步是多模型交互，即根據(jù)模型概率和模型轉(zhuǎn)換概率計算模型之間的混合概率，再依據(jù)混合概率計算得出每個模型的混合均值和混合方差。

第三步是信息濾波，以混合均值和混合方差為輸入，計算其信息向量和信息矩陣，對線性和非線性運動模型分別采用線性信息濾波器和中心差分信息濾波器估計，根據(jù)當前深度圖像檢測的關(guān)節(jié)點位置升級濾波器關(guān)節(jié)點狀態(tài)(信息向量和信息矩陣)和模型概率。當場景中存在多個目標，需對本地傳感器節(jié)點對跟蹤目標和目標觀測之間進行數(shù)據(jù)關(guān)聯(lián)(track to measurement)。從算法實時性和估計精度兩層考慮，聯(lián)合數(shù)據(jù)概率關(guān)聯(lián)算法(JPDA)可解決此問題。JPDA會考慮每個目標和所有觀測之間的相似度，以概率加權(quán)和的形式計算最終的估計結(jié)果，因此觀測數(shù)目是影響JPDA效率和精度的一個關(guān)鍵量。為提高JPDA算法效率，減少冗余無效的觀測，本申請?zhí)岢龌诙嗵卣鞯哪繕擞^測候選集調(diào)整機制，核心機理是利用關(guān)節(jié)點位置觀測信息z、彩色圖像梯度方向直方圖(HOG)特征h_c和深度圖像梯度方向直方圖(HOD)特征h_d構(gòu)建三個閾值門限(γ_z,γ_c,γ_d)以限定觀測集大小：

$(z-\hat{z})S^{-1}(z-\hat{z})\<{\mathrm{\γ}}_z,d(h_c,{\hat{h}}_c)\<{\mathrm{\γ}}_c,d(h_d,{\hat{h}}_d)\<{\mathrm{\γ}}_d,$

其中，是根據(jù)上一幀關(guān)節(jié)點估計值預測的當前關(guān)節(jié)點位置，S是z的方差，和分別是從最近的歷史關(guān)鍵幀中學習的以關(guān)節(jié)點位置為中心的HOG特征和HOD特征，d是直方圖Chi-square卡方距離測度。

第四步是基于分布式信息一致性算法的信息融合，即各傳感器之間交換關(guān)節(jié)點估計信息，包括關(guān)節(jié)點狀態(tài)信息向量、信息矩陣和模型概率，通過一致性算法加權(quán)迭代實現(xiàn)各傳感器估計狀態(tài)的一致性，如傳感器節(jié)點i和傳感器節(jié)點j是相鄰通訊節(jié)點，兩者之間的Metroplis權(quán)重為ε_i,j，則在第r次迭代其信息向量信息矩陣和模型概率可由其所有相鄰節(jié)點j的相應信息加權(quán)和計算得出：

$y_i^r=\underset{j}{\mathrm{\Σ}}{\mathrm{\ϵ}}_{i,j}{y}_j^r,Y_i^r=\underset{j}{\mathrm{\Σ}}{\mathrm{\ϵ}}_{i,j}{Y}_j^r,{\mathrm{\μ}}_i^r=\underset{j}{\mathrm{\Σ}}{\mathrm{\ϵ}}_{i,j}{\mathrm{\μ}}_j^r.$

在多目標情況下，在運用一致性算法之前需解決傳感器節(jié)點之間對跟蹤目標的數(shù)據(jù)關(guān)聯(lián)(track to track)問題,可以利用基于馬氏距離(Mahalanobis distance)的匈牙利算法(Hungarian algorithm)完成此任務，其中關(guān)節(jié)點的馬氏距離定義如下：

(x_i-x_j)^T(P_i+P_j)^-1(x_i-x_j),

其中(x_i,x_j)和(P_i,P_j)是人體關(guān)節(jié)點分別在傳感器i和傳感器j上的估計狀態(tài)和方差。

第五步是各傳感器節(jié)點基于模型概率加權(quán)和的混合輸出，即利用模型概率對各個模型的估計結(jié)果進行加權(quán)求和，作為各傳感器信息處理系統(tǒng)當前時刻的估計結(jié)果。

上述雖然結(jié)合附圖對本發(fā)明的具體實施方式進行了描述，但并非對本發(fā)明保護范圍的限制，所屬領(lǐng)域技術(shù)人員應該明白，在本發(fā)明的技術(shù)方案的基礎上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動即可做出的各種修改或變形仍在本發(fā)明的保護范圍以內(nèi)。