【技術(shù)領(lǐng)域】
本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種基于kinect的摳像方法。
背景技術(shù)：
摳像技術(shù)是一種十分重要的圖像處理技術(shù)，它應(yīng)用于影視作品創(chuàng)作中，還應(yīng)用于醫(yī)療，農(nóng)業(yè)，工業(yè)中。但通常情況下圖像，圖像中的前景部分和背景部分時(shí)常會(huì)出現(xiàn)覆蓋問(wèn)題，也就是說(shuō)前景部分存在透明的像素，因此如何準(zhǔn)確地分離前景部分和背景部分，是摳像技術(shù)研究的主要內(nèi)容。
技術(shù)實(shí)現(xiàn)要素：
為了解決現(xiàn)有技術(shù)中的上述問(wèn)題，基于對(duì)傳統(tǒng)圖像濾波算法的分析，本發(fā)明提出了借助kinect體感設(shè)備拍攝的深度圖像，對(duì)kinect拍攝的彩色圖像進(jìn)行摳像。提出了一種新的顏色距離濾波器，三元圖自動(dòng)生成方法實(shí)現(xiàn)摳像。
本發(fā)明采用的技術(shù)方案具體如下：
一種基于kinect的摳像方法，包括以下步驟：
步驟1：通過(guò)openni和opencv函數(shù)庫(kù)，使用kinect拍攝目標(biāo)圖像，得到彩色圖像和深度圖像，通過(guò)openni中的視角轉(zhuǎn)換函數(shù)，將彩色圖像和深度圖像調(diào)整至同一視角；
步驟2：借助所述彩色圖像信息對(duì)所述深度圖像進(jìn)行迭代的圖像濾波，得到前景輪廓圖像；
步驟3：將所述前景輪廓圖像通過(guò)形態(tài)學(xué)腐蝕膨脹算法生成三元圖，并將前景輪廓圖像中在給定閾值范圍內(nèi)的像素定義為未知區(qū)域的像素；
步驟4：對(duì)步驟3生成的三元圖進(jìn)行去除細(xì)縫和孔洞的處理算法，生成最終的三元圖。
進(jìn)一步地，所述步驟2中使用顏色距離濾波器rf進(jìn)行圖像濾波，所述顏色距離濾波器rf通過(guò)以下函數(shù)定義，即：
其中，i表示深度圖像，
σr是顏色距離參數(shù)，gσr就是顏色距離高斯函數(shù)，具體地
wp是權(quán)重值，其等于下式：
進(jìn)一步地，圖像濾波的迭代次數(shù)為5。
進(jìn)一步地，步驟2中選擇感興趣的圖像區(qū)域roi進(jìn)行濾波，其中roi通過(guò)如下公式定義：
其中，s是對(duì)于物體摳像的kinect的深度圖像二值化后的圖像，或是對(duì)于人物摳像的人物識(shí)別圖像，erode是腐蝕運(yùn)算，dilate是膨脹運(yùn)算。
進(jìn)一步地，所述步驟3具體包括：設(shè)fs為經(jīng)過(guò)濾波的圖像，fsp是fs在位置p的像素值，在設(shè)置好閾值參數(shù)tl和th后，將fs用th閾值化后對(duì)其進(jìn)行參數(shù)4*4矩陣的形態(tài)學(xué)腐蝕膨脹算法操作，得到初始的三元圖，然后，如果fsp的值介于tl和th之間，那么位置p的像素被認(rèn)為是未知區(qū)域的像素。
進(jìn)一步地，所述步驟4具體包括：
步驟4.1：獲取前景輪廓外周?chē)倪吔缦袼兀洖楸尘跋袼?，背景像素的集合記為背景像素集b_set；將rgb空間的每一個(gè)通道均分為16個(gè)區(qū)間，這樣三個(gè)通道一共可得到4096個(gè)區(qū)間，將得到的背景像素與這些區(qū)間相匹配，檢查其rgb像素值所在的區(qū)間，記錄落入最多背景像素的若干區(qū)間及相鄰區(qū)間，作為背景區(qū)間集b_bin；
步驟4.2：對(duì)于前景輪廓的像素p，記為前景像素，與步驟4.1相同地計(jì)算其所位于的區(qū)間，記錄各個(gè)前景像素的所落入的區(qū)間，作為前景區(qū)間集f_bin，如果f_bin中存在一個(gè)或多個(gè)區(qū)間也屬于背景區(qū)間集b_bin，則將該一個(gè)或多個(gè)區(qū)間所對(duì)應(yīng)的前景像素記錄為可能是細(xì)縫或孔洞的像素集f_cand；
步驟4.3：對(duì)于任意一個(gè)像素m∈f_cand，計(jì)算距離m最近的n個(gè)背景像素，以及該n個(gè)背景像素的rgb像素值所位于的區(qū)間，如果其中有一個(gè)區(qū)間屬于背景區(qū)間集b_bin，則該像素m是細(xì)縫或孔洞的點(diǎn)，其中n是預(yù)定義的數(shù)值；
步驟4.4：將三元圖中屬于細(xì)縫或孔洞的點(diǎn)都定義為未知區(qū)域。
本發(fā)明的有益效果為：與傳統(tǒng)基于三元圖的摳像方法相比，省去了任何形式的人機(jī)交互，利用kinect自動(dòng)生成摳像所用的三元圖，再結(jié)合共用的樣本點(diǎn)摳像方法，可以達(dá)到實(shí)時(shí)摳像效果。
【附圖說(shuō)明】
此處所說(shuō)明的附圖是用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，但并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定，在附圖中：
圖1是本發(fā)明摳像方法的基本流程圖。
【具體實(shí)施方式】
下面將結(jié)合附圖以及具體實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明，其中的示意性實(shí)施例以及說(shuō)明僅用來(lái)解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。
在下述具體實(shí)施方式的說(shuō)明中，iq表示圖像i中位置為q的像素值，f[i]表示圖像i通過(guò)f濾波器后的輸出結(jié)果，s為空間距離域，r為顏色距離域，‖‖表示2范數(shù)。
參見(jiàn)附圖1，本發(fā)明的基于kinect的摳像方法的具體步驟說(shuō)明如下：
步驟1：通過(guò)openni和opencv函數(shù)庫(kù)，使用kinect拍攝目標(biāo)圖像，得到彩色圖像和深度圖像，通過(guò)openni中的視角轉(zhuǎn)換函數(shù)，將彩色圖像和深度圖像調(diào)整至同一視角。
步驟2：使用本發(fā)明的顏色距離濾波器(rf)借助所述彩色圖像信息對(duì)所述深度圖像進(jìn)行迭代的圖像濾波，得到邊緣較為準(zhǔn)確的前景輪廓圖像。
所述顏色距離濾波器rf通過(guò)以下函數(shù)定義，即：
其中，i表示深度圖像，
σr是顏色距離參數(shù)，gσr就是顏色距離高斯函數(shù)，具體地
其中exp是以自然常數(shù)e為底的指數(shù)函數(shù)。
wp是權(quán)重值，其等于下式：
但是，如果將整個(gè)圖像進(jìn)行濾波會(huì)花費(fèi)很長(zhǎng)時(shí)間，而且對(duì)于確知信息也沒(méi)必要進(jìn)行濾波，所以本發(fā)明選擇感興趣的圖像區(qū)域roi進(jìn)行濾波，由于kinect產(chǎn)生的數(shù)據(jù)主要在邊界上有誤差，因此通過(guò)如下公式定義roi：
其中，s是對(duì)于物體摳像的kinect的深度圖像二值化后的圖像，或是對(duì)于人物摳像的人物識(shí)別圖像。erode是腐蝕運(yùn)算，dilate是膨脹運(yùn)算。
為了檢測(cè)方法性能，本發(fā)明分別測(cè)試了顏色距離濾波器的迭代使用，最終經(jīng)過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，5次的迭代運(yùn)算可以得到很好的運(yùn)算效果，并且運(yùn)算時(shí)間也可以接受。通過(guò)顏色距離濾波器的迭代使用，圖像不僅不會(huì)受到空間因素的影響，并且還可以達(dá)到高斯平滑的濾波效果。
步驟3：將經(jīng)過(guò)圖像濾波后前景輪廓圖像通過(guò)形態(tài)學(xué)腐蝕膨脹算法生成三元圖，并將前景輪廓圖像中在給定閾值范圍內(nèi)的像素定義為未知區(qū)域的像素。
具體地，設(shè)fs為經(jīng)過(guò)濾波的圖像，fsp是fs在位置p的像素值。在設(shè)置好閾值參數(shù)tl和th后，將fs用th閾值化后對(duì)其進(jìn)行參數(shù)4*4矩陣的形態(tài)學(xué)腐蝕膨脹算法操作，得到初始的三元圖。然后，如果fsp的值介于tl和th之間，那么位置p的像素被認(rèn)為是未知區(qū)域的像素。即：
這樣就獲得了一個(gè)基本準(zhǔn)確的三元圖，通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)5次迭代顏色距離濾波器使用的時(shí)間相對(duì)較少，并且得到的三元圖比較準(zhǔn)確，未知區(qū)域所占的比例也比較少。
步驟4：對(duì)步驟3生成的三元圖進(jìn)行去除細(xì)縫和孔洞的處理算法，生成最終的三元圖。具體處理算法如下：
鑒于深度圖像技術(shù)本身的精度問(wèn)題，他們產(chǎn)生的深度信息無(wú)法非常準(zhǔn)確地探測(cè)到前景內(nèi)的細(xì)縫和孔洞。本發(fā)明提出了一種方法可以較為有效地來(lái)解決簡(jiǎn)單背景下的細(xì)縫和孔洞問(wèn)題。首先假設(shè)，用顏色濾波器可以得到準(zhǔn)確的前景輪廓，方法的核心是采樣前景輪廓之外的背景像素用于剔除前景中的細(xì)縫和孔洞。
步驟4.1：獲取前景輪廓外周?chē)倪吔缦袼?，記為背景像素，背景像素的集合記為背景像素集b_set。將rgb空間的每一個(gè)通道均分為16個(gè)區(qū)間，這樣三個(gè)通道一共可得到16*16*16＝4096個(gè)區(qū)間，將得到的背景像素與這些區(qū)間相匹配，檢查其rgb像素值所在的區(qū)間，記錄落入最多背景像素的若干區(qū)間及相鄰區(qū)間，作為背景區(qū)間集b_bin。
步驟4.2：對(duì)于前景輪廓的像素p，記為前景像素，與步驟4.1相同地計(jì)算其所位于的區(qū)間，記錄各個(gè)前景像素的所落入的區(qū)間，作為前景區(qū)間集f_bin，如果f_bin中存在一個(gè)或多個(gè)區(qū)間，該區(qū)間也屬于背景區(qū)間集b_bin，說(shuō)明該區(qū)間對(duì)應(yīng)的前景像素與背景顏色相似，則將該一個(gè)或多個(gè)區(qū)間所對(duì)應(yīng)的前景像素記錄為可能是細(xì)縫或孔洞的像素集f_cand。
步驟4.3：對(duì)于任意一個(gè)像素m∈f_cand，計(jì)算距離m最近的n個(gè)背景像素，以及該n個(gè)背景像素的rgb像素值所位于的區(qū)間，如果其中有一個(gè)區(qū)間屬于背景區(qū)間集b_bin，則該像素m是細(xì)縫或孔洞的點(diǎn)。其中n是預(yù)定義的數(shù)值。
步驟4.4：將三元圖中屬于細(xì)縫或孔洞的點(diǎn)都定義為未知區(qū)域。
經(jīng)過(guò)大量實(shí)踐證明，上述方法可以成功地找到細(xì)縫或孔洞。
以上所述僅是本發(fā)明的較佳實(shí)施方式，故凡依本發(fā)明專(zhuān)利申請(qǐng)范圍所述的構(gòu)造、特征及原理所做的等效變化或修飾，均包括于本發(fā)明專(zhuān)利申請(qǐng)范圍內(nèi)。