一種Kinect深度視頻時(shí)空聯(lián)合修復(fù)方法
【專利摘要】一種Kinect深度視頻時(shí)空聯(lián)合修復(fù)方法?；诰哂邢嗨祁伾泥徲蛳袼貞?yīng)當(dāng)具有相似的深度值這一假設(shè)，對(duì)于第一幀深度圖像和其后所有幀深度圖像中提取出的運(yùn)動(dòng)區(qū)域，使用對(duì)應(yīng)彩色圖像的顏色分割圖來引導(dǎo)深度填充?？紤]到一些沒有有效深度值的顏色偏暗區(qū)域的存在可能導(dǎo)致上述方法的失敗，先檢測(cè)出顏色偏暗區(qū)域，然后用相同顏色偏暗區(qū)域內(nèi)的有效深度值修復(fù)空洞區(qū)域。對(duì)于Kinect拍攝到的深度視頻中的靜止區(qū)域，如果當(dāng)前幀深度圖出現(xiàn)空洞像素，則用前一幀深度圖的對(duì)應(yīng)位置深度值填充。使用基于深度圖像的繪制技術(shù)繪制虛擬視點(diǎn)，本發(fā)明提出的方法對(duì)應(yīng)得到的虛擬右視圖的圖像質(zhì)量明顯高于原始虛擬右視圖的圖像質(zhì)量，可應(yīng)用于3D繪制。
【專利說明】一種Kinect深度視頻時(shí)空聯(lián)合修復(fù)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像/視頻處理【技術(shù)領(lǐng)域】，可應(yīng)用于3D繪制。
技術(shù)背景
[0002]三維立體電視已經(jīng)被許多人認(rèn)為能帶來更自然、更生活化的視覺娛樂體驗(yàn)。隨著立體顯示技術(shù)和視頻處理技術(shù)的發(fā)展，3D視頻技術(shù)成為近年來的研究熱點(diǎn)。目前，實(shí)現(xiàn)立體視頻系統(tǒng)主要有兩種方案:一種是多視方案，由多個(gè)攝像機(jī)陣列獲取三維場(chǎng)景，在立體顯示器上播放出來；另一種是“紋理+深度”方案，分別用彩色紋理視頻和深度視頻描述立體場(chǎng)景中的彩色紋理信息和深度信息，結(jié)合這兩路視頻信息，采用基于深度圖像的繪制(DIBR)技術(shù)繪制虛擬視點(diǎn)，最后將合成的3D視頻顯示在顯示器上。第二種方案相對(duì)于第一種方案，有數(shù)據(jù)傳輸帶寬小、易于虛擬視點(diǎn)繪制等優(yōu)點(diǎn)。
[0003]要獲取深度信息，主要有兩種方法:一是采用立體匹配算法被動(dòng)獲取深度信息，這種方法很難在算法復(fù)雜度和獲取深度視頻的質(zhì)量上取得折中。二是使用深度攝像頭主動(dòng)獲取深度信息，目前深度攝像頭主要分為兩類，一類是TOF (time of flight)攝像頭，另一類是Kinect，它們都是通過發(fā)射和接收反射光或光斑來計(jì)算深度信息以實(shí)現(xiàn)深度信息的實(shí)時(shí)提取，也能夠獲取對(duì)應(yīng)的實(shí)時(shí)彩色視頻。Kinect因?yàn)槠鋬r(jià)格低廉，并且能提取相對(duì)較高分辨率的深度圖，吸引了更多的關(guān)注。但是Kinect提取的深度視頻質(zhì)量較差，在遮擋區(qū)域、光滑物體表面存在較大的深度信息缺失空洞，并且同一靜止區(qū)域的深度值也會(huì)隨時(shí)間變化而產(chǎn)生變化，因此必須進(jìn)行填充修復(fù)處理。
[0004]在已有的修復(fù)算法中，單純的基于空間的修復(fù)算法比較多，對(duì)于深度視頻中的光學(xué)噪聲，一般采取中值濾波，雙邊濾波，聯(lián)合雙邊濾波，線性插值等多種濾波方法進(jìn)行噪聲消減。例如文獻(xiàn) I (參見 Massimo Camplani and Luis Salgad0.“EfficientSpatio-temporal Hole Filling Strategy for Kinect Depth Maps，，，in ProceedingsofSPIE, 82900E,2012.)中對(duì)于Kinect拍攝到的靜態(tài)場(chǎng)景中空間域和時(shí)間域的相鄰像素，迭代的使用一個(gè)聯(lián)合雙邊濾波器去修復(fù)深度值。這些空間修復(fù)方法在消除細(xì)小空洞點(diǎn)，保護(hù)物體邊界和平滑圖像等方面效果顯著。但是對(duì)于顏色偏暗區(qū)域或反光區(qū)域等容易產(chǎn)生大片空洞區(qū)域的填充修復(fù)，這些方法的效果并不明顯。如果考慮到相似顏色塊物體應(yīng)當(dāng)擁有相似深度值這點(diǎn)，填充修復(fù)大塊空洞區(qū)域就可得到解決。另外受到光照影響，Kinect拍攝到的深度視頻中背景物體在不同時(shí)刻的深度值并不穩(wěn)定，有時(shí)甚至?xí)霈F(xiàn)空洞點(diǎn)的現(xiàn)象，因此基于時(shí)間的修復(fù)方法也需要引進(jìn)。目前已經(jīng)出現(xiàn)了一些基于時(shí)間的修復(fù)算法，例如文獻(xiàn) 2 (參見 Sung-Yeol Kim, J1-Ho Cho, Andreas Koschan, and Mongi A.Abidi,“Spatial and temporal enhancement of depth images captured by a time-of-flightdepth sensor，，，in Proc.0f the IEEE International Conference on PatternRecognition(ICPR)，pp.2358-2361,2010.)使用了一個(gè)聯(lián)合雙邊濾波器和基于運(yùn)動(dòng)估計(jì)的時(shí)域連續(xù)來修復(fù)TOF攝像頭獲取的深度圖像。這種方法能夠有效地減少光學(xué)噪聲和修復(fù)邊界，但是卻沒有考慮反光和顏色偏暗區(qū)域的深度修復(fù)，而且這個(gè)方法的效果受到運(yùn)動(dòng)估計(jì)準(zhǔn)確性的影響。

【發(fā)明內(nèi)容】

[0005]針對(duì)大多數(shù)深度視頻修復(fù)算法僅僅基于空間進(jìn)行修復(fù)這個(gè)現(xiàn)象，本文提出了一種Kinect深度視頻時(shí)空聯(lián)合修復(fù)方法?；诰哂邢嗨祁伾泥徲蛳袼貞?yīng)當(dāng)具有相似的深度值這一假設(shè)，對(duì)于第一幀深度圖像和其后所有幀深度圖像中提取出的運(yùn)動(dòng)區(qū)域，使用對(duì)應(yīng)彩色圖像的顏色分割圖來引導(dǎo)深度填充?？紤]到一些沒有有效深度值的顏色偏暗區(qū)域的存在可能導(dǎo)致上述方法的失敗，先檢測(cè)出顏色偏暗區(qū)域，然后用相同顏色偏暗區(qū)域內(nèi)的有效深度值修復(fù)空洞區(qū)域。對(duì)于Kinect拍攝到的深度視頻中的靜止區(qū)域，如果當(dāng)前幀深度圖出現(xiàn)空洞像素，則用前一幀深度圖的對(duì)應(yīng)位置深度值填充。概括地說，本發(fā)明給出技術(shù)方案實(shí)施步驟為:
[0006]步驟S1:對(duì)第一巾貞深度圖,通過使用mean-shift算法對(duì)彩色圖像進(jìn)行顏色分割以獲取對(duì)應(yīng)的label圖，接著對(duì)label圖進(jìn)行八聯(lián)通域分割來進(jìn)一步分離出各個(gè)連續(xù)的顏色塊，當(dāng)每一個(gè)顏色塊內(nèi)有效深度值所占比例超過一定閾值后，用該顏色塊內(nèi)所有有效深度值的中值填充空洞像素。
[0007]步驟S2:對(duì)于經(jīng)過步驟SI修復(fù)后的第一幀深度圖，通過將對(duì)應(yīng)原始彩色RGB圖像轉(zhuǎn)換為YCbCr圖像，對(duì)Y，Cb, Cr三分量分別設(shè)置閾值，將滿足所有閾值條件的區(qū)域提取出來作為顏色偏暗區(qū)域，并且將空間上相連的區(qū)域標(biāo)定為同塊區(qū)域，使用同塊區(qū)域內(nèi)所有有效深度值的中值填充該塊內(nèi)的空洞像素，最后使用膨脹腐蝕操作修復(fù)深度圖像中細(xì)小空洞區(qū)域。
[0008]步驟S3:對(duì)于第一幀之后的所有深度圖像，通過對(duì)前后兩幀彩圖的灰度圖進(jìn)行差值處理，找出運(yùn)動(dòng)像素點(diǎn)，然后再將包含運(yùn)動(dòng)像素點(diǎn)的最小矩陣找出來，矩陣區(qū)域即視為運(yùn)動(dòng)區(qū)域，最后對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行步驟Si使用的空間修復(fù)。
[0009]步驟S4:對(duì)于第一幀之后的所有深度圖像，在摳出矩形運(yùn)動(dòng)區(qū)域后，剩余的部分即是背景靜止區(qū)域。若在靜止區(qū)域出現(xiàn)空洞像素點(diǎn)，則用前一幀修復(fù)好的深度圖的對(duì)應(yīng)位置的深度值進(jìn)行修復(fù)。
[0010]區(qū)別于現(xiàn)有技術(shù)，上述技術(shù)方案體現(xiàn)出具有技術(shù)貢獻(xiàn)的關(guān)鍵技術(shù)要點(diǎn):
[0011]1、針對(duì)大部分Kinect深度圖像修復(fù)算法沒有考慮對(duì)于顏色偏暗區(qū)域或反光區(qū)域等容易產(chǎn)生大片空洞區(qū)域的填充修復(fù)這個(gè)問題，本發(fā)明提出了顏色偏暗區(qū)域的空洞修復(fù)方法。首先要檢測(cè)出顏色偏暗區(qū)域，通過將原始彩色RGB圖像轉(zhuǎn)換為YCbCr圖像，對(duì)Y，Cb7Cr三分量分別設(shè)置閾值，將滿足所有閾值條件的區(qū)域提取出來作為顏色偏暗區(qū)域。然后將空間上相連的區(qū)域標(biāo)定為同塊區(qū)域，使用同塊區(qū)域內(nèi)所有有效深度值的中值填充該塊內(nèi)的空洞像素。
[0012]2、本發(fā)明結(jié)合了空間修復(fù)算法和基于運(yùn)動(dòng)區(qū)域檢測(cè)的時(shí)間修復(fù)算法，以解決單純使用空間修復(fù)算法可能會(huì)出現(xiàn)的修復(fù)不準(zhǔn)確和修復(fù)時(shí)間過長的問題，使得修復(fù)效果更優(yōu)。
[0013]3、通過對(duì)顏色分割后得到的label圖進(jìn)一步進(jìn)行八聯(lián)通域分割來分離不連續(xù)分布的顏色塊，使得顏色分割結(jié)果更準(zhǔn)確。
[0014]4、在基于時(shí)間域的修復(fù)算法中，對(duì)檢測(cè)出的運(yùn)動(dòng)點(diǎn)，用最小的矩陣區(qū)域包含它們，將矩陣區(qū)域視為運(yùn)動(dòng)區(qū)域，方便運(yùn)動(dòng)區(qū)域和靜止區(qū)域的區(qū)分修復(fù)。[0015]由此，與現(xiàn)有技術(shù)相比之，本發(fā)明方法技術(shù)方案具有的有益效果:顏色偏暗區(qū)域的空洞修復(fù)效果明顯，在保證同樣拍攝場(chǎng)景的前提下，使用本發(fā)明提出的Kinect深度視頻修復(fù)方法得到的深度圖像對(duì)比于原始深度圖像，修復(fù)效果很好。使用基于深度圖像的繪制(DIBR)技術(shù)繪制虛擬視點(diǎn)，本發(fā)明提出的方法對(duì)應(yīng)得到的虛擬右視圖的圖像質(zhì)量也明顯高于原始虛擬右視圖的圖像質(zhì)量。
【專利附圖】

【附圖說明】
[0016]圖1是本發(fā)明一種Kinect深度視頻時(shí)空聯(lián)合修復(fù)方法流程圖。
[0017]圖2是本發(fā)明實(shí)例Kinect拍攝到的三巾貞連續(xù)的彩色圖像和深度圖像。
[0018]圖3是本發(fā)明實(shí)例Kinect拍攝到的第一幀經(jīng)過步驟SI得到的(a)彩色圖像顏色分割圖和(b)修復(fù)后深度圖。
[0019]圖4是本發(fā)明實(shí)例Kinect拍攝到的第一幀經(jīng)過步驟S2得到的(a)顏色偏暗區(qū)域(不同的顏色代表了不同的顏色偏暗區(qū)域，灰色區(qū)域不是偏暗區(qū)域)和(b)修復(fù)后深度圖。
[0020]圖5是本發(fā)明實(shí)例經(jīng)過步驟S3得到的(a)第一幀灰度圖，(b)第二幀灰度圖，(c)第二幀的運(yùn)動(dòng)點(diǎn)分布圖，(d)第二幀彩色圖中放大后的運(yùn)動(dòng)區(qū)域子圖，(e)第二幀運(yùn)動(dòng)區(qū)域?qū)?yīng)的深度子圖和(f)運(yùn)動(dòng)區(qū)域經(jīng)過修復(fù)后的深度子圖。
[0021]圖6是本發(fā)明實(shí)例最終的效果圖(a)未處理的深度圖像，(b)修復(fù)后的深度圖像，(C)未進(jìn)行深度修復(fù)得到的虛擬右視圖，(d)進(jìn)行深度修復(fù)得到的虛擬右視圖，(e)放大的(C)中的顯示器區(qū)域，(f)放大的(d)中的顯示器區(qū)域，(g)放大的(C)中的椅子右腿區(qū)域，(h)放大的(d)中的椅子右腿區(qū)域。
【具體實(shí)施方式】
[0022]下面以具體實(shí)例結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步說明:
[0023]本發(fā)明使用由Kinect拍攝到的一段深度視頻序列和對(duì)應(yīng)的彩色視頻序列來檢測(cè)提出方法的效果。視頻序列由100幀圖像組成。圖像分辨率是640X480。所有涉及實(shí)例采用MATLAB7作為仿真實(shí)驗(yàn)平臺(tái)。
[0024]本發(fā)明的流程圖如圖1所示:對(duì)于第一幀深度圖，只使用空間修復(fù)。使用其對(duì)應(yīng)彩色圖像的顏色分割圖來引導(dǎo)初始的深度填充，然后對(duì)顏色偏暗區(qū)域進(jìn)行空洞修復(fù)以進(jìn)一步提高深度圖質(zhì)量。對(duì)于第一幀之后的所有深度圖，首先提取出運(yùn)動(dòng)區(qū)域，單獨(dú)對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行空間修復(fù)，然后用前一幀修復(fù)好的深度圖對(duì)應(yīng)位置的深度值填充余下靜止區(qū)域內(nèi)的空洞點(diǎn)。下面結(jié)合每個(gè)步驟詳細(xì)描述本實(shí)例:
[0025]步驟(I)，對(duì)當(dāng)前需要修復(fù)的深度圖像，這里選定實(shí)例圖2中的第一幀深度圖(d)，先對(duì)其對(duì)應(yīng)的彩色圖像，即實(shí)例圖2中的第一幀彩色圖(a)進(jìn)行mean-shift顏色分割，得到標(biāo)識(shí)顏色信息的label圖和顏色分割圖，即實(shí)例圖3(a)。設(shè)圖像分辨率為nXm，每個(gè)像素點(diǎn)(i，j)都有一個(gè)代表顏色塊索引的標(biāo)簽Lu，是該點(diǎn)的彩色值。對(duì)所有顏色數(shù)據(jù)聚類后，滿足空間距離小于hc且顏色空間距離小于K的一些點(diǎn)會(huì)被聚類。Cp代表特征集，q是所有特征個(gè)數(shù)。g(x)是圖像特征空間中核函數(shù)的負(fù)導(dǎo)數(shù)。那么圖像分割后得到的label圖可用下式描述:
【權(quán)利要求】
1.一種Kinect深度視頻時(shí)空聯(lián)合修復(fù)方法,其特征在于，包括步驟有， 步驟S1:對(duì)第一巾貞深度圖,通過使用mean-shift算法對(duì)彩色圖像進(jìn)行顏色分割以獲取對(duì)應(yīng)的label圖，接著對(duì)label圖進(jìn)行八聯(lián)通域分割來進(jìn)一步分離出各個(gè)連續(xù)的顏色塊，當(dāng)每一個(gè)顏色塊內(nèi)有效深度值所占比例超過一定閾值后，用該顏色塊內(nèi)所有有效深度值的中值填充空洞像素； 步驟S2:對(duì)于經(jīng)過步驟SI修復(fù)后的第一幀深度圖，通過將對(duì)應(yīng)原始彩色RGB圖像轉(zhuǎn)換為YCbCr圖像，對(duì)Y，Cb, Cr三分量分別設(shè)置閾值，將滿足所有閾值條件的區(qū)域提取出來作為顏色偏暗區(qū)域，并且將空間上相連的區(qū)域標(biāo)定為同塊區(qū)域，使用同塊區(qū)域內(nèi)所有有效深度值的中值填充該塊內(nèi)的空洞像素，最后使用膨脹腐蝕操作修復(fù)深度圖像中細(xì)小空洞區(qū)域； 步驟S3:對(duì)于第一幀之后的所有深度圖像，通過對(duì)前后兩幀彩圖的灰度圖進(jìn)行差值處理，找出運(yùn)動(dòng)像素點(diǎn)，然后再將包含運(yùn)動(dòng)像素點(diǎn)的最小矩陣找出來，矩陣區(qū)域即視為運(yùn)動(dòng)區(qū)域，最后對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行步驟SI使用的空間修復(fù)； 步驟S4:對(duì)于第一幀之后的所有深度圖像，在摳出矩形運(yùn)動(dòng)區(qū)域后，剩余的部分即是背景靜止區(qū)域； 若在靜止區(qū)域出現(xiàn)空洞像素點(diǎn)，則用前一幀修復(fù)好的深度圖的對(duì)應(yīng)位置的深度值進(jìn)行修復(fù)。
【文檔編號(hào)】H04N15/00GK103561258SQ201310442055
【公開日】2014年2月5日 申請(qǐng)日期:2013年9月25日 優(yōu)先權(quán)日:2013年9月25日
【發(fā)明者】張冬冬, 姚燁, 劉典, 陳艷毓, 臧笛 申請(qǐng)人:同濟(jì)大學(xué)