本發(fā)明屬于圖像修復(fù)的多媒體技術(shù)領(lǐng)域，具體涉及一種基于深度信息的復(fù)雜場(chǎng)景分層方法。

背景技術(shù)：

最近3DTV和3D電影的火熱表明了觀眾對(duì)3D內(nèi)容興趣與日俱增。一般來(lái)說(shuō)，對(duì)于3D視頻，需要用大量視圖用來(lái)提供三維深度。然而如何在傳輸中處理大量的視圖成為難題。因此需要一種方法利用有限數(shù)量的視圖來(lái)支持生成高質(zhì)量的三維視頻。

在過(guò)去，由于深度照相機(jī)昂貴的價(jià)格，所以深度信息是很難獲得的。然而在現(xiàn)在，高性能低價(jià)格的深度相機(jī)變得普遍起來(lái)。利用顏色圖和其對(duì)應(yīng)的深度圖來(lái)合成虛擬視點(diǎn)的方法稱為DIBR技術(shù)。利用深度和相機(jī)信息，將所有的像素點(diǎn)重新投影到三維世界中。再將世界坐標(biāo)中的像素點(diǎn)重新投影到虛擬視點(diǎn)的像平面上，這就是所謂的虛擬視點(diǎn)合成技術(shù)。虛擬視點(diǎn)合成技術(shù)可以在三維視頻傳輸上減少大量的存儲(chǔ)空間和傳播帶寬。

但是在虛擬視點(diǎn)合成技術(shù)中有一個(gè)關(guān)鍵問(wèn)題，部分背景在進(jìn)行視點(diǎn)變換之后，由于前景背景的相對(duì)位置移動(dòng)，造成了從原視點(diǎn)不可見(jiàn)的背景在另一個(gè)視點(diǎn)可見(jiàn)，從而在新視點(diǎn)的圖像中產(chǎn)生沒(méi)有信息的空洞區(qū)域，還有一種情況是因?yàn)樯疃葓D深度不精確，導(dǎo)致像素點(diǎn)的相對(duì)移動(dòng)距離變化而出現(xiàn)的空洞。

對(duì)于虛擬視點(diǎn)合成技術(shù)而言，由于深度圖的不精確或者深度圖的缺失同時(shí)場(chǎng)景內(nèi)容相對(duì)復(fù)雜的情況，造成空洞的不易修復(fù)。因此在虛擬視點(diǎn)合成前需要對(duì)深度圖進(jìn)行恢復(fù)，從而保證虛擬視點(diǎn)合成的正確性。當(dāng)然前人也研究了一些方法，但是針對(duì)復(fù)雜場(chǎng)景，簡(jiǎn)單的濾波方法或者一般的分層修復(fù)手段并不能有很好的修復(fù)效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有深度分層技術(shù)在復(fù)雜場(chǎng)景應(yīng)用方面的不足，依據(jù)復(fù)雜場(chǎng)景的深度信息對(duì)深度圖進(jìn)行分層使得圖像修復(fù)效果更優(yōu)。根據(jù)虛擬視點(diǎn)合成中前景信息不會(huì)丟失，丟失信息均為背景信息以及復(fù)雜場(chǎng)景的特殊性，因此本發(fā)明利用深度信息來(lái)對(duì)復(fù)雜場(chǎng)景進(jìn)行分層以便于更好的進(jìn)行修復(fù)，即對(duì)復(fù)雜場(chǎng)景的深度進(jìn)行標(biāo)記，通過(guò)前景和背景的深度差，將一個(gè)復(fù)雜場(chǎng)景分成多個(gè)簡(jiǎn)單場(chǎng)景。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案如下：

步驟一：設(shè)深度圖為I，空洞點(diǎn)RGB像素值設(shè)為(0 255 0)，遍歷深度圖的所有像素點(diǎn)，設(shè)置空洞數(shù)組fillregion，將像素點(diǎn)為空洞像素值的點(diǎn)在fillregion中設(shè)為1，非空洞像素值的點(diǎn)為0，根據(jù)空洞點(diǎn)的八連通性將空洞分為多個(gè)空洞塊。

步驟二：對(duì)每個(gè)空洞塊，設(shè)空洞邊緣為設(shè)點(diǎn)p在邊緣上，遍歷上每個(gè)p點(diǎn)，p點(diǎn)對(duì)應(yīng)的深度值為Z(p)，將Z(p)min即深度最小值添加到FG數(shù)組，Z(p)max即深度最大值添加到BG數(shù)組，得到FG數(shù)組和BG數(shù)組。

步驟三：對(duì)FG數(shù)組和BG數(shù)組進(jìn)行遍歷，得到其中的FGmax和BGmin，如果FGmax>BGmin，將背景部分深度值小的圖像區(qū)域，即離相機(jī)更近的那個(gè)空洞塊及其周邊區(qū)域提取出來(lái)，作為一個(gè)單獨(dú)的分層進(jìn)行處理。

步驟四：重復(fù)步驟三，直到FGmax<BGmin。將剩下的空洞區(qū)域作為最后一個(gè)分層處理；這樣便將整個(gè)復(fù)雜場(chǎng)景分為多個(gè)簡(jiǎn)單場(chǎng)景，完成最終的分層。

本發(fā)明的有益效果：本發(fā)明完美地將復(fù)雜場(chǎng)景修復(fù)與簡(jiǎn)單場(chǎng)景修復(fù)結(jié)合起來(lái)，采用深度值分層的方式將復(fù)雜場(chǎng)景分為多個(gè)簡(jiǎn)單場(chǎng)景，對(duì)后續(xù)的圖像修復(fù)工作有巨大的幫助。

具體實(shí)施方式

以下將對(duì)本發(fā)明的實(shí)施例作進(jìn)一步說(shuō)明

實(shí)施例的具體步驟是：

步驟一：設(shè)深度圖為I，空洞點(diǎn)RGB像素值設(shè)為(0 255 0)(即為純綠色)，遍歷深度圖的所有像素點(diǎn)，設(shè)置空洞數(shù)組fillregion，將像素點(diǎn)為空洞像素值的點(diǎn)在fillregion中設(shè)為1，非空洞像素值的點(diǎn)為0，根據(jù)空洞點(diǎn)的八連通性將空洞分為多個(gè)空洞塊。

步驟二：對(duì)每個(gè)空洞塊，設(shè)空洞邊緣為設(shè)點(diǎn)p在上，遍歷上每個(gè)p點(diǎn)，p點(diǎn)對(duì)應(yīng)的深度值為Z(p)，將Z(p)min即深度最小值添加到FG數(shù)組，Z(p)max即深度最大值添加到BG數(shù)組，得到FG數(shù)組和BG數(shù)組。

步驟三：對(duì)FG數(shù)組和BG數(shù)組進(jìn)行遍歷，得到其中的FGmax和BGmin，IF FGmax>BGmin，意味著其中一個(gè)空洞塊的背景部分深度值小于另一個(gè)空洞塊的前景部分深度值。因此需要將背景部分深度值小的圖像區(qū)域，即離相機(jī)更近的那個(gè)空洞塊及其周邊區(qū)域提取出來(lái)，作為一個(gè)單獨(dú)的分層進(jìn)行處理。

步驟四：重復(fù)步驟三，直到FGmax<BGmin。將剩下的空洞區(qū)域作為最后一個(gè)分層處理。對(duì)每個(gè)分層其深度閥值為threshold＝α*FG+β*BG，其中(α+β＝1)。

這樣便將整個(gè)復(fù)雜場(chǎng)景分為多個(gè)簡(jiǎn)單場(chǎng)景，完成最終的分層。