專利名稱：一種基于Kinect的多模型融合視頻人手分割方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計算機(jī)圖像處理及模式識別技術(shù)，特別涉及一種基于Kinect的多模型融合視頻人手分割方法。
背景技術(shù)：
視頻人手分割是計算機(jī)視覺和人工智能的一個重要領(lǐng)域，它作為一系列人機(jī)交互應(yīng)用如手勢遠(yuǎn)程操控，虛擬書寫繪畫，手語識別等等的一個基礎(chǔ)性步驟，對后續(xù)步驟有著重要的影響。傳統(tǒng)的視頻人手分割方法主要可以分為兩大領(lǐng)域:基于2維視覺的分割方法和基于3維人手建模的分割方法，前期的研究者在2維視覺方法的嘗試上都存在著各自的局限性。當(dāng)中包括廣泛使用的膚色模型，但是它容易受光線變化的影響，同時無法解決人手與類膚色區(qū)域重疊的情況。另一方面基于運動信息的幀差前景檢測技術(shù)也被使用，但是它們的基本假設(shè)是手總處于運動的狀態(tài)，這不符合一般的應(yīng)用場景，對于3維人手建模的分割方法，盡管能夠取得不錯的結(jié)果，但是它依賴于高質(zhì)量的設(shè)備，如數(shù)據(jù)手套，高精度TOF相機(jī)，這些設(shè)備造價高昂，因此制約著它們成為一種真正實用性的解決方案。微軟的Kinect傳感器問世以來，研究者希望憑借Kinect這個設(shè)備提供的彩色圖還有深度圖信息綜合2維方法和3維方法的優(yōu)點，尋求一種性能優(yōu)越而又實用的方法。但是Kinect提供的深度信息存在噪聲、邊緣不準(zhǔn)確等缺陷。因此單純使用深度信息往往得不到很好的分割效果，也有研究者結(jié)合膚色模型和深度模型來建立一個魯棒性更佳的分割模型，但是Kinect由于自身成像原理，這兩個信息是不同步的，因此彩色圖和深度圖有著一定時延，如何配準(zhǔn)和彌補(bǔ)不重合部分成為新的難題
發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺點與不足，提供一種基于Kinect的多模型融合視頻人手分割方法，該方法對光線變化、人手與類膚色區(qū)域重疊這些傳統(tǒng)的基于2維視覺方法面臨的難題有魯棒性，同時有效解決了 Kinect自身彩色圖和深度圖不同步的問題。本發(fā)明的目的通過下述技術(shù)方案實現(xiàn):一種基于Kinect的多模型融合視頻人手分割方法，包括如下步驟:(I)捕捉視頻信息；包括彩色圖像，還有深度圖像(2)使用深度模型、膚色模型和背景模型分別對視頻中的每一幀圖像進(jìn)行分割，得到深度模型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果，所述深度模型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果均為二值圖；(3)計算三個模型分割結(jié)果的兩兩重疊率(共三個)作為衡量它們各自分割效果好壞的特征(重疊率越高意味著分割的效果越佳)，這三個重疊率被輸入到神經(jīng)網(wǎng)絡(luò)；(4)神經(jīng)網(wǎng)絡(luò)輸出三個系數(shù)，稱為置信系數(shù)，置信系數(shù)表征深度模型、膚色模型和背景模型各自的可靠性，深度模型、膚色模型和背景模型的分割結(jié)果經(jīng)由這三個置信系數(shù)進(jìn)行加權(quán)；(5)對加權(quán)后的深度模型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果進(jìn)行線性疊加；(6)疊加后的結(jié)果經(jīng)過閾值濾波輸出二值圖，得到視頻人手區(qū)域；(7)利用上一步得到的非手部的背景區(qū)域來更新背景模型。所述步驟(I)中，所述視頻信息包括彩色圖像和深度圖像，同時利用Kinect自身提供的標(biāo)示當(dāng)前成像位置里面哪些像素屬于用戶這一功能，將用戶從背景中分離出來。所述步驟(2)中，對所述深度模型的分割采用自適應(yīng)閾值分割方法，所述自適應(yīng)閾值分割方法的基本假設(shè)為人手位于人體的最前，當(dāng)中利用到Kinect提供的16比特的深度圖d(x，y)和8比特的用戶圖u(x，y),其中(x, y)為圖像某一坐標(biāo)點，I彡x彡w和I < y < h，w和h是圖的寬和高，所述自適應(yīng)閾值分割方法包括如下步驟:a、預(yù)處理；將深度·圖里面“不可測”區(qū)域(其深度值為0，即d(x，y)=0)或者對應(yīng)用戶圖的非用戶區(qū)域(即u(x，y)=0)轉(zhuǎn)至16位深度圖可標(biāo)志的最大值(216-1=65535)，SP:d(x, y) = 65535 如果 d(x, y) = O 或 d(x, y) = O ；b、在經(jīng)過預(yù)處理的深度圖上，尋找深度的最小值dmin，并將其設(shè)為人體的最前深度，即手的最前端；C、對預(yù)處理后的深度圖進(jìn)行閾值分割，所述分割閾值隨著時間變化，設(shè)定第η幀的手部深度閾值(即手最前端至手腕的一個距離范圍)為Td(n)，那么深度模型分割得到一個二值圖D，其中值為I的像素被深度模型判定為手:
權(quán)利要求
1.一種基于Kinect的多模型融合視頻人手分割方法，其特征在于，包括如下步驟: (1)捕捉視頻信息； (2)使用深度模型、膚色模型和背景模型分別對視頻中的每一幀圖像進(jìn)行分割，得到深度模型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果，所述深度模型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果均為二值圖； (3)計算深度模型的分割結(jié)果、膚色模型的分割結(jié)果和背景模型的分割結(jié)果的兩兩重疊率，把所述的三個重疊率輸入到神經(jīng)網(wǎng)絡(luò)； (4)神經(jīng)網(wǎng)絡(luò)輸出置信系數(shù)，所述置信系數(shù)表征深度模型的可靠性、膚色模型的可靠性和背景模型的可靠性，所述深度模型的分割結(jié)果、膚色模型的分割結(jié)果和背景模型的分割結(jié)果經(jīng)由置信系數(shù)進(jìn)行加權(quán)； (5)對加權(quán)后的深度模 型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果進(jìn)行線性置加； (6)疊加后的結(jié)果經(jīng)過閾值函數(shù)輸出二值圖，得到視頻人手區(qū)域； (7)利用步驟(6)得到的非手部區(qū)域更新背景模型。
2.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(I)中，所述視頻信息包括彩色圖像和深度圖像，并且Kinect提供用戶圖，將用戶從背景中分離出來。
3.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(2)中，對所述深度模型的分割采用自適應(yīng)閾值分割方法，所述自適應(yīng)閾值分割方法假設(shè)人手位于人體的最前，所述自適應(yīng)閾值分割方法包括如下步驟: a、預(yù)處理；將深度圖里面不可測區(qū)域轉(zhuǎn)至16位深度圖可標(biāo)志的最大值65535； b、在經(jīng)過預(yù)處理的深度圖上，尋找深度的最小值dmin，并將深度的最小值dmin設(shè)為手的最前端； C、對預(yù)處理后的深度圖進(jìn)行閾值分割，設(shè)定第n幀的手部深度閾值為Td(n)，對于圖像里面每一個點p=(x, y), I彡X彡w和I彡y彡h,w和h是圖的寬和高。分割得到一個深度模型的二值圖D，其中值為I的像素被深度模型判定為手:
4.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(2)中，對所述深度模型的分割采用自適應(yīng)閾值分割方法，所述自適應(yīng)閾值分割方法包括如下步驟: I、定義深度模型的分割面積為:
5.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(2)中，對膚色模型的分割采用對膚色和非膚色分別進(jìn)行單高斯建模的方法，另外，還采用對膚色分區(qū)建模以及生成馬氏距離查找表供膚色檢測的方法，所述對膚色分區(qū)建模以及生成馬氏距離查找表供膚色檢測的方法采用YCbCr色彩空間，膚色建模時Y分量被分區(qū)為:亮區(qū)、正常區(qū)和暗區(qū)，對于圖像里面每一個輸入像素:
6.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(2)中，所述背景模型是通過對背景進(jìn)行統(tǒng)計建模，檢測背景中的運動物體作為前景，人手作為運動前景而需要被檢測出來；對所述背景模型的分割采用codebook模型,所述codebook模型是對背景的分布變化按照碼本的形式進(jìn)行記錄統(tǒng)計，所述codebook模型對視圖里面每一個像素位置建立一個碼本，碼本當(dāng)中包含多個碼字來描述背景可能的變化情況，如果某個位置的像素值無法在其碼本里面找到相對應(yīng)的碼字，則被判定為前景，對所述背景模型分割得到一個二值圖F，值為I的像素即被背景模型判定為手，背景模型的表達(dá)式為:
7.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(3)中，所述兩兩重疊率包括計算膚色模型的分割結(jié)果和深度模型的分割結(jié)果的重疊率OLRs d、膚色模型的分割結(jié)果和背景模型的分割結(jié)果的重疊率OLRs f以及背景模型的分割結(jié)果和深度模型的分割結(jié)果的重疊率OLRf d這三個重疊率，計算所述兩兩重疊率的方法是對三個二值圖兩兩之間做與運算，并將其中一個二值圖視作參考標(biāo)準(zhǔn)圖，計算與運算后得到的二值圖與參考標(biāo)準(zhǔn)圖的重疊比例，所述重疊比例指的是與運算后的二值圖里面像素值為I的像素個數(shù)與標(biāo)準(zhǔn)圖里面像素值為I的像素個數(shù)的比值，公式如下:
8.根據(jù)權(quán)利要求1所述的多模型融合視頻人手分割方法，其特征在于，步驟(4)中，采用神經(jīng)網(wǎng)絡(luò)模型評估和輸出深度模型的置信系數(shù)a、膚色模型的置信系數(shù)3和背景模型的置信系數(shù)Y。
9.根據(jù)權(quán)利要求8所述的多模型融合視頻人手分割方法，其特征在于，步驟(4)中，所述的 a、P、Y 均被量化為三個值:a e {1/3，1/2，2/3}、^ G {1/3，1/2，2/3}和Y G {1/3，1/2，2/3}。
10.根據(jù)權(quán)利要求8所述的多模型融合視頻人手分割方法，其特征在于，步驟(7)中，所述對深度模型分割結(jié)果、膚色模型分割結(jié)果和背景模型分割結(jié)果進(jìn)行融合是指將分割視作多專家票決系統(tǒng)，所述多專家票決系統(tǒng)指最后的分割決定于深度模型、膚色模型和背景模型的一種動態(tài)綜合，所述動態(tài)綜合表現(xiàn)為三個模型分割得到的三幅二值圖先乘上各自的置信系數(shù)a、P、Y，然后對乘上系數(shù)后的三幅圖累加，并經(jīng)由閾值函數(shù)得到最終的分割結(jié)果，公式如下:
全文摘要
本發(fā)明提供了一種基于Kinect的多模型融合視頻人手分割方法，包括如下步驟(1)捕捉視頻信息；(2)分別對視頻中的圖像進(jìn)行分割得到深度模型、膚色模型和背景模型的分割結(jié)果，分割結(jié)果的表現(xiàn)形式為二值圖；(3)計算三個分割結(jié)果的兩兩重疊率，作為衡量它們各自分割效果好壞的特征，把三個重疊率輸入到神經(jīng)網(wǎng)絡(luò)；(4)神經(jīng)網(wǎng)絡(luò)輸出三個系數(shù)(即置信系數(shù))，置信系數(shù)表示出三個模型各自的可靠性，三個分割結(jié)果經(jīng)由置信系數(shù)進(jìn)行加權(quán)；(5)對加權(quán)后的三個模型分割結(jié)果進(jìn)行線性疊加；(6)疊加的結(jié)果經(jīng)過閾值函數(shù)輸出最終的二值圖，最后分割得到的視頻人手區(qū)域；(7)更新背景模型。具有成本低和靈活性好等優(yōu)點。
文檔編號G06K9/62GK103226708SQ20131011806
公開日2013年7月31日 申請日期2013年4月7日 優(yōu)先權(quán)日2013年4月7日
發(fā)明者金連文, 葉植超, 張鑫 申請人:華南理工大學(xué)