專利名稱：基于深度信息的剛體部件方向檢測方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種剛體部件方向檢測方法和裝置，更具體地，涉及一種基于深度信息的剛體部件方向檢測方法和裝置。
背景技術(shù)：
剛體部件方向確定是計算機視覺的基本問題，并可廣泛用于許多領(lǐng)域，諸如人機互動、手勢識別以及用于游戲、電影和體育科學(xué)的現(xiàn)實角色動畫。由于其理論和商業(yè)價值，在計算機視覺和模式識別領(lǐng)域中剛體部件檢測吸引了更多的關(guān)注，尤其是用于非剛性 (non-rigid)對象定位或姿態(tài)估計。使用人類手臂檢測作為例子，提出了大量方法并可根據(jù)不同的圖像特征將所述方法大體分為四種類型基于區(qū)域的方法、基于色彩的方法、基于邊緣的方法和基于深度信息的方法?；趨^(qū)域的方法是在某些約束下通過產(chǎn)生幾個分割的區(qū)域來恢復(fù)手臂。例如，首先使用規(guī)格化分割(normalized cuts)分割彩色圖像，并假設(shè)一般手臂由單個分割的區(qū)域構(gòu)成，并通過分析每個分割的區(qū)域來尋找手臂檢測。通常，這種方法在忽略圖像分割問題的困難的同時，假設(shè)每個部分可以從靜止圖像被完美地分割。然而，由于雜亂的背景、各種衣著以及不同的亮度，通常難以獲得好的分割，并且彩色圖像分割通常是耗時的?；谏实姆椒僭O(shè)手臂的皮膚暴露，通過使用檢測的皮膚區(qū)域來估計用于前臂的候選，因此當處理雜亂的背景以及沒有暴露皮膚的其它衣著時，該方法的性能較差。此外，甚至在暴露手臂皮膚的情況下，當在衣著或背景中存在與皮膚相似的色彩時，也難以準確地檢測皮膚區(qū)域?；谶吘壍姆椒梢酝ㄟ^尋找手臂的邊界來檢測手臂。例如，基于一對平行線段提取軀干。然而，基于邊緣的方法對于線段是敏感的，尤其在復(fù)雜的背景和衣著或自遮擋姿態(tài)中。與彩色圖像分割類似，完美的圖像邊緣提取本身也是一個難題。與上述方法不同，基于深度信息的方法使用由深度TOF相機(Time-of-Flight Camera)捕捉的深度圖像來確定部件。首先將對象從背景分割，隨后基于空間信息和深度信息將前景像素集合為子集合，并最終使用所述子集合和拓撲結(jié)構(gòu)確定部件。然而，這種方法主要對沒有自遮擋以及非重疊環(huán)境的簡單姿態(tài)有效。因此，需要一種能夠應(yīng)對適應(yīng)各種環(huán)境、對象和亮度的具有更好魯棒性的剛體部件方向檢測方法。

發(fā)明內(nèi)容
技術(shù)方案本發(fā)明仍然聚焦于用于非剛性對象定位或姿態(tài)估計的剛體部件方向檢測。為了增強魯棒性和計算效率，提供了使用深度信息的新穎方案。提供了一種基于深度信息提取圖像特征的方法，包括對由深度相機捕捉的輸入圖像的預(yù)定像素計算突出度特征；通過計算的突出度特征獲得輸入圖像的突出度特征圖像；尋找突出度特征圖像上的具有顯著突出度特征的種子；以及通過種子的生長來產(chǎn)生突出區(qū)域。通過使用如下公式計算突出度特征-.Ph = fH、,其中，隊表示深度值小于深度閾值的內(nèi)區(qū)域中的像素的比率，Nc表示深度值大于深度閾值的外區(qū)域中的像素的比率， 深度閾值是內(nèi)區(qū)域中像素的最小深度與特定變化范圍的和，內(nèi)區(qū)域是以當前像素為中心的預(yù)定大小的區(qū)域，外區(qū)域是由以當前像素為中心的大于所述內(nèi)區(qū)域的另一預(yù)定大小的區(qū)域減去內(nèi)區(qū)域所得到的環(huán)狀區(qū)域。產(chǎn)生突出區(qū)域的步驟還可包括丟棄孤立的像素和小的突出區(qū)域。內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域可具有多種形狀。所述獲得輸入圖像的突出度特征圖像的步驟可包括將輸入圖像的所述預(yù)定像素的突出度特征量化為O 255的灰度值；通過輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像，其中，通過使用如下公式進行所述量化
權(quán)利要求
1.一種基于深度信息提取圖像特征的方法，包括對由深度相機捕捉的輸入圖像的預(yù)定像素計算突出度特征； 通過計算的突出度特征獲得輸入圖像的突出度特征圖像； 尋找突出度特征圖像上的具有顯著突出度特征的種子；以及通過種子的生長來產(chǎn)生突出區(qū)域。
2.如權(quán)利要求1所述的方法，其中，通過使用如下公式計算突出度特征Ph = eV(Nc+N"其中，Nk表示深度值小于深度閾值的內(nèi)區(qū)域中的像素的比率，Nc表示深度值大于深度閾值的外區(qū)域中的像素的比率，深度閾值是內(nèi)區(qū)域中像素的最小深度與特定變化范圍的和，內(nèi)區(qū)域是以當前像素為中心的預(yù)定大小的區(qū)域，外區(qū)域是由以當前像素為中心的大于所述內(nèi)區(qū)域的另一預(yù)定大小的區(qū)域減去內(nèi)區(qū)域所得到的環(huán)狀區(qū)域。
3.如權(quán)利要求1所述的方法，其中，產(chǎn)生突出區(qū)域的步驟還包括丟棄孤立的像素和小的突出區(qū)域。
4.如權(quán)利要求2所述的方法，其中，內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域具有多種形狀。
5.如權(quán)利要求1 4之一所述的方法，所述獲得輸入圖像的突出度特征圖像的步驟包括將輸入圖像的所述預(yù)定像素的突出度特征量化為0 255的灰度值； 通過輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像， 其中，通過使用如下公式進行所述量化Ph= 255χ( H ) ‘1P -P一max nun _其中，Pmin、P_分別是輸入圖像中所述預(yù)定像素的最小、最大的突出度特征，[]是取整符號。
6.一種基于深度信息的剛體部件方向檢測方法，包括對由深度相機捕捉的輸入圖像的預(yù)定像素計算突出度特征； 通過計算的突出度特征獲得輸入圖像的突出度特征圖像； 尋找突出度特征圖像上的具有顯著突出度特征的種子； 通過種子的生長來產(chǎn)生突出區(qū)域；以及基于產(chǎn)生的突出區(qū)域進行剛體部件方向檢測并獲得剛體部件方向。
7.如權(quán)利要求6所述的方法，其中，通過使用如下公式計算突出度特征 P = -''(Nc+Nr)其中，Nk表示深度值小于深度閾值的內(nèi)區(qū)域中的像素的比率，Nc表示深度值大于深度閾值的外區(qū)域中的像素的比率，深度閾值是內(nèi)區(qū)域中像素的最小深度與特定變化范圍的和，內(nèi)區(qū)域是以當前像素為中心的預(yù)定大小的區(qū)域，外區(qū)域是由以當前像素為中心的大于所述內(nèi)區(qū)域的另一預(yù)定大小的區(qū)域減去內(nèi)區(qū)域所得到的環(huán)狀區(qū)域。
8.如權(quán)利要求6所述的方法，其中，產(chǎn)生突出區(qū)域的步驟還包括丟棄孤立的像素和小的突出區(qū)域。
9.如權(quán)利要求7所述的方法，其中，內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域具有多種形狀。
10.如權(quán)利要求6所述的方法，其中，所述獲得輸入圖像的突出度特征圖像的步驟包括將輸入圖像的所述預(yù)定像素的突出度特征量化為0 255的灰度值； 通過輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像， 其中，通過使用如下公式進行所述量化
11.如權(quán)利要求6 10之一所述的方法，所述進行剛體部件方向檢測并獲得部件方向的步驟包括對突出區(qū)域提取骨架；以及連接相鄰的較小的突出區(qū)域的骨架以產(chǎn)生提供剛體部件方向的直線段， 其中，所述較小的突出區(qū)域的骨架的長度小于預(yù)定值。
12.如權(quán)利要求6 10之一所述的方法，所述進行剛體部件方向檢測并獲得部件方向的步驟包括對突出區(qū)域提取骨架；以及將具有主要方向的突出區(qū)域的骨架作為提供剛體部件方向的直線段。
13.如權(quán)利要求6 10之一所述的方法，所述進行剛體部件方向檢測并獲得剛體部件方向的步驟包括對突出區(qū)域提取骨架；以及將突出區(qū)域的彎曲的骨架分割為提供剛體部件方向的多條直線段，并將所述多條直線段作為剛體部件方向候選。
14.如權(quán)利要求13所述的方法，如果獲得多個剛體部件方向候選，則計算每個剛體部件方向候選作為所述剛體部件方向的置信度，并選取置信度最大的剛體部件方向候選作為部件方向，其中，對于第i剛體部件方向候選，使用如下公式計算置信度ω-^ylrlY1Y β ]\ Z lo )其中，Ii是第i剛體部件方向候選的長度，Itl是預(yù)定的基礎(chǔ)剛體部件長度或根據(jù)訓(xùn)練數(shù)據(jù)學(xué)習(xí)的基礎(chǔ)剛體部件長度，i是對第i剛體部件方向候選作出貢獻的突出區(qū)域內(nèi)的像素的平均突出度特征，α和β是預(yù)定的權(quán)重系數(shù)。
15.一種基于深度信息的剛體部件方向檢測裝置，包括突出度特征計算單元，對由深度相機捕捉的輸入圖像的預(yù)定像素計算突出度特征； 突出度特征圖像獲得單元，通過計算的突出度特征獲得輸入圖像的突出度特征圖像； 種子尋找單元，尋找突出度特征圖像上的具有顯著突出度特征的種子；突出區(qū)域產(chǎn)生單元，通過種子的生長來產(chǎn)生突出區(qū)域；以及剛體部件方向獲得單元，基于產(chǎn)生的突出區(qū)域進行剛體部件方向檢測并獲得剛體部件方向。
16.如權(quán)利要求15所述的剛體部件方向檢測裝置，其中，突出度特征計算單元通過使用如下公式計算突出度特征
17.如權(quán)利要求15所述的剛體部件方向檢測裝置，其中，突出區(qū)域產(chǎn)生單元還丟棄孤立的像素和小的突出區(qū)域。
18.如權(quán)利要求16所述的剛體部件方向檢測裝置，其中，內(nèi)區(qū)域和外區(qū)域的大小以及內(nèi)區(qū)域與外區(qū)域的比率是可調(diào)節(jié)的，并且內(nèi)區(qū)域和外區(qū)域具有多種形狀。
19.如權(quán)利要求15所述的剛體部件方向檢測裝置，突出度特征圖像獲得單元進一步執(zhí)行以下步驟將輸入圖像的所述預(yù)定像素的突出度特征量化為0 255的灰度值；通過輸入圖像的所述預(yù)定像素的灰度值獲得輸入圖像的突出度特征圖像，其中，通過使用如下公式進行所述量化P1
20.如權(quán)利要求15 19之一所述的剛體部件方向檢測裝置，剛體部件方向獲得單元進一步執(zhí)行以下步驟對突出區(qū)域提取骨架；以及連接相鄰的較小的突出區(qū)域的骨架以產(chǎn)生提供剛體部件方向的直線段，其中，所述較小的突出區(qū)域的骨架的長度小于預(yù)定值。
21.如權(quán)利要求15 19之一所述的剛體部件方向檢測裝置，剛體部件方向獲得單元進一步執(zhí)行以下步驟對突出區(qū)域提取骨架；以及將具有主要方向的突出區(qū)域的骨架作為提供剛體部件方向的直線段。
22.如權(quán)利要求15 19之一所述的剛體部件方向檢測裝置，剛體部件方向獲得單元進一步執(zhí)行以下步驟對突出區(qū)域提取骨架；以及將突出區(qū)域的彎曲的骨架分割為提供剛體部件方向的多條直線段，并將所述多條直線段作為剛體部件方向候選。
23.如權(quán)利要求22所述的剛體部件方向檢測裝置，還包括置信度計算單元，如果獲得多個剛體部件方向候選，則計算每個剛體部件方向候選作為所述剛體部件方向的置信度，并選取置信度最大的剛體部件方向候選作為剛體部件方向，其中，對于第i剛體部件方向候選，使用如下公式計算置信度
24. 一種人機交互系統(tǒng)，包括深度相機，對人體進行拍攝以得到圖像，并將所述圖像輸出；如權(quán)利要求15所述的基于深度信息的剛體部件方向檢測裝置，使用輸入圖像檢測人體四肢的方向；頭部檢測裝置，使用輸入圖像檢測人體頭部； 軀干檢測裝置，使用輸入圖像檢測軀干；以及姿態(tài)獲得裝置，根據(jù)檢測的人體四肢的方向、頭部和軀干來得到人體姿態(tài)。
全文摘要
提供了一種基于深度信息的剛體部件方向檢測方法和裝置，所述方法包括對由深度相機捕捉的輸入圖像的預(yù)定像素計算突出度特征；通過計算的突出度特征獲得輸入圖像的突出度特征圖像；尋找突出度特征圖像上的具有顯著突出度特征的種子；通過種子的生長來產(chǎn)生突出區(qū)域；以及基于產(chǎn)生的突出區(qū)域進行剛體部件方向檢測并獲得剛體部件方向。
文檔編號G06K9/00GK102402687SQ20101028151
公開日2012年4月4日 申請日期2010年9月13日 優(yōu)先權(quán)日2010年9月13日
發(fā)明者林華書, 楚汝峰, 胡芝蘭, 陳茂林 申請人:三星電子株式會社, 北京三星通信技術(shù)研究有限公司