一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法
【專利摘要】本發(fā)明公開(kāi)了一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法，它包括以下步驟：首先，對(duì)Kinect攝像機(jī)獲取的紋理圖像和深度圖像進(jìn)行對(duì)齊裁剪，結(jié)合紋理特性進(jìn)行紋理圖像前景區(qū)域分割實(shí)現(xiàn)對(duì)深度圖像前景區(qū)域的空洞修復(fù)，其次，采用區(qū)域生長(zhǎng)法確定深度圖像空洞匹配修復(fù)區(qū)域，根據(jù)紋理信息精確確定空洞匹配修復(fù)區(qū)域，然后對(duì)空洞匹配修復(fù)區(qū)域進(jìn)行加權(quán)平均來(lái)修復(fù)空洞，最后，使用高斯濾波對(duì)深度圖像進(jìn)行去噪平滑處理，得到修復(fù)后的深度圖像。本發(fā)明可有效修復(fù)原始深度圖像中存在的空洞，能夠得到平滑度好的深度圖像，深度圖像前景邊緣和紋理圖像前景邊緣達(dá)到吻合，同時(shí)可繪制質(zhì)量較好的虛擬視點(diǎn)圖像。
【專利說(shuō)明】一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于3D電視系統(tǒng)中的深度圖像修復(fù)【技術(shù)領(lǐng)域】，更為具體地講，涉及一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法。
【背景技術(shù)】
[0002]Kinect攝像機(jī)可以快速的分別提取最大分辨率為640X480的紋理圖像和深度圖像，相對(duì)于T0F(time of flight)、三維激光掃描等深度提取設(shè)備,Kinect攝像機(jī)的優(yōu)勢(shì)在于拍攝的深度圖像分辨率高，成本低，但Kinect輸出的深度圖像質(zhì)量較差，存在以下問(wèn)題:
1、空洞問(wèn)題，Kinect攝像機(jī)中含有紅外投影機(jī)和紅外攝像頭，紅外投影機(jī)和紅外攝像頭之間有一定的距離，根據(jù)光線傳播原理，紅外投影機(jī)和紅外攝像頭之間有一定的探測(cè)盲區(qū)，因此Kinect攝像機(jī)無(wú)法獲取盲區(qū)區(qū)域內(nèi)的深度。此外，三維場(chǎng)景中存在含有黑色或透明物體的區(qū)域，使Kinect攝像機(jī)發(fā)出的紅外光線無(wú)法返回，從而Kinect攝像機(jī)輸出的深度圖像中在含有黑色或透明物體的區(qū)域也會(huì)形成空洞。
[0003]2、幀間不穩(wěn)定問(wèn)題，由于Kinect攝像機(jī)受光照變化、陰影、物體遮擋以及環(huán)境變化等因素的干擾，直接輸出的深度圖像存在一定程度的閃爍，需要采用特定的算法對(duì)其進(jìn)行穩(wěn)定，提高DIBR (Depth Image Based Rendering)繪制場(chǎng)景的穩(wěn)定性，同時(shí)也可以提高編碼器的編碼效率。
[0004]以上問(wèn)題使Kinect攝像機(jī)輸出的深度圖像無(wú)法直接用于立體視頻等領(lǐng)域，必須對(duì)輸出深度圖像進(jìn)行修復(fù)。目前，對(duì)Kinect深度圖像修復(fù)主要有兩種方法:一種方法是直接針對(duì)深度圖像進(jìn)行修復(fù)，不借助于紋理圖像，算法復(fù)雜性較低，如Milani等人提出的采用去噪和插值的方法對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)，(參見(jiàn)Milani S，Calvagno G.Joint denoising and interpolation of depth maps for MS Kinect sensors.Acoustics,Speech and Signal Processing (ICASSP)，IEEE International Conference on, 2012:797-800.)，然而這種方法沒(méi)有考慮紋理圖像對(duì)深度圖像修復(fù)的作用，深度圖像被修復(fù)的效果較差；另一種方法是結(jié)合紋理圖像輔助的方法進(jìn)行Kinect深度圖像的修復(fù)，可以全面考慮深度圖像前景邊緣部分相對(duì)于紋理圖像前景邊緣部分存在的差異，較好的修復(fù)深度圖像前景邊緣部分，如Kui Wang等人提出的采用深度圖像背景估計(jì)結(jié)合紋理圖像顏色信息進(jìn)行Kinect深度圖像的修復(fù)，但這種方法僅使用深度圖像背景進(jìn)行深度圖像空洞的修復(fù)，沒(méi)有考慮到深度圖像前景邊緣部分存在的缺失和多余，修復(fù)后的深度圖像前景邊緣部分與紋理圖像前景邊緣部分存在不匹配(參見(jiàn)Wang Kui, An Ping, Zhang Yan, et al..Real-timedepth extraction and mult1-view rendering algorithm based on Kincet.Journal ofOptoelectronics.Laser, 2012， 23(10): 1949-1956.)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法，該方法能夠得到平滑度好的深度圖像，深度圖像前景邊緣部分和紋理圖像前景邊緣部分達(dá)到吻合，同時(shí)可繪制質(zhì)量較好的虛擬視點(diǎn)圖像。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明的的構(gòu)思是:首先對(duì)Kinect攝像機(jī)獲取的紋理圖像和深度圖像進(jìn)行對(duì)齊裁剪，結(jié)合紋理特性進(jìn)行紋理圖像前景區(qū)域分割，實(shí)現(xiàn)對(duì)深度圖像前景區(qū)域的空洞修復(fù)，其次采用區(qū)域生長(zhǎng)法確定深度圖像空洞匹配修復(fù)區(qū)域，根據(jù)紋理信息精確確定空洞匹配修復(fù)區(qū)域，然后對(duì)空洞匹配修復(fù)區(qū)域進(jìn)行加權(quán)平均來(lái)修復(fù)空洞，最后使用高斯濾波對(duì)深度圖像進(jìn)行去噪平滑處理，得到修復(fù)后的深度圖像。
[0007]根據(jù)上述構(gòu)思，實(shí)現(xiàn)本發(fā)明的技術(shù)方案是:
一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法，包括以下步驟:
1、深度圖像前景區(qū)域空洞修復(fù)
深度圖像前景區(qū)域空洞修復(fù)，依次執(zhí)行以下步驟:
(1-1)、采用Kinect攝像機(jī)獲取紋理圖像和深度圖像，對(duì)紋理圖像和深度圖像進(jìn)行對(duì)齊裁剪，得到對(duì)齊的紋理圖像和深度圖像；
(1-2)、紋理圖像前景區(qū)域分割
對(duì)步驟(1-1)中與深度圖像對(duì)齊后的紋理圖像進(jìn)行K-means算法分割，分割后的紋理圖像結(jié)合對(duì)齊的深度圖像進(jìn)行紋理圖像前景區(qū)域分割:
【權(quán)利要求】
1.一種對(duì)Kinect深度圖像進(jìn)行空洞修復(fù)的方法,其特征在于,該方法首先對(duì)Kinect攝像機(jī)獲取的紋理圖像和深度圖像進(jìn)行對(duì)齊裁剪，結(jié)合紋理特性進(jìn)行紋理圖像前景區(qū)域分割實(shí)現(xiàn)對(duì)深度圖像前景區(qū)域的空洞修復(fù)，其次采用區(qū)域生長(zhǎng)法確定深度圖像空洞匹配修復(fù)區(qū)域，根據(jù)紋理信息精確確定空洞匹配修復(fù)區(qū)域，然后對(duì)空洞匹配修復(fù)區(qū)域進(jìn)行加權(quán)平均來(lái)修復(fù)空洞，最后使用高斯濾波對(duì)深度圖像進(jìn)行去噪平滑處理，得到修復(fù)后的深度圖像，其具體步驟是: S1、深度圖像前景區(qū)域空洞修復(fù) 深度圖像前景區(qū)域空洞修復(fù)，依次執(zhí)行以下步驟: (1-1)、采用Kinect攝像機(jī)獲取紋理圖像和深度圖像，對(duì)紋理圖像和深度圖像進(jìn)行對(duì)齊裁剪，得到對(duì)齊的紋理圖像和深度圖像； (1-2)、紋理圖像前景區(qū)域分割 對(duì)步驟(1-1)中與深度圖像對(duì)齊后的紋理圖像進(jìn)行K-means算法分割，分割后的紋理圖像結(jié)合對(duì)齊的深度圖像進(jìn)行紋理圖像前景區(qū)域分割:

【文檔編號(hào)】G06T7/00GK103996174SQ201410196630
【公開(kāi)日】2014年8月20日 申請(qǐng)日期:2014年5月12日 優(yōu)先權(quán)日:2014年5月12日
【發(fā)明者】安平, 趙冰, 王健鑫, 張兆揚(yáng) 申請(qǐng)人:上海大學(xué)