0049] 采用處理后的深度圖進(jìn)行虛擬視點(diǎn)繪制，得到繪制后的虛擬視點(diǎn)。采用圖像修補(bǔ) 方法對圖像進(jìn)行殘留空洞的修補(bǔ)，得到最終的虛擬視點(diǎn)。
[0050] 下面是以Middlebury數(shù)據(jù)庫提供的Venus彩色圖及其對應(yīng)的深度圖為例，來說明 本發(fā)明的方法實(shí)施過程。
[0051] I :Disoclusion 區(qū)域檢測
[0052] 本發(fā)明以繪制右虛擬視點(diǎn)為例，Disoclusion產(chǎn)生于深度圖深度像素變化銳利的 區(qū)域，也就是相鄰像素深度差大于某一閾值的區(qū)域，定義公式如下：
[0053] df (X，y) = d (x-1，y) -d (X，y)
[0054] 其中d(x，y)表示位于坐標(biāo)（X，y)處的深度像素值，df (X，y)表示相鄰深度像素 (x，y)和（x-l，y)處的水平深度差，如果df(x，y)大于定義的閾值T。，則坐標(biāo)（x，y)處標(biāo)記 為深度不連續(xù)區(qū)域。將上述檢測的深度不連續(xù)區(qū)域進(jìn)行標(biāo)記，標(biāo)記公式如下： CN 105184834 A 說明書 4/5 頁
[0058] 其中x。表示b(x。，y) = 1處的橫坐標(biāo)，條件d(xQ+k,y)_d(x。，y) < T。用于限制其他 前景像素不被標(biāo)記為mask。Disoclusion區(qū)域的寬度等于df(x, y)。以Venus為例標(biāo)記區(qū) 域見圖3。
[0059] 2 :局部膨脹
[0060] 依據(jù)上述檢測的區(qū)域進(jìn)行深度邊界局部膨脹。膨脹像素為從檢測到Disoclusion 位置開始的前η個水平像素。具體做法是以圖像中像素的每一行為單位，把和標(biāo)記區(qū)域相 鄰的前景像素的深度值進(jìn)行沿水平方向的擴(kuò)張。擴(kuò)張 η個像素，本發(fā)明η的取值為3。
[0061] 3:線性差值
[0062] 虛擬視點(diǎn)的Disoclusion與深度存在不連續(xù)性的關(guān)系。繪制后的虛擬視點(diǎn)的 Disoclusion空洞位于深度不連續(xù)性區(qū)域。采用線性差值的方法來處理Disoclusion空洞， 線性差值算法如下：
[0064] 其中cT表示重定義的深度像素。
[0065] 4:中值濾波
[0066] 經(jīng)上述處理后的深度圖采用中值濾波器去除一些孤立像素。中值濾波的窗口為 3*3 〇
[0067] 5 :虛擬視點(diǎn)繪制
[0068] 采用處理后的深度圖進(jìn)行虛擬視點(diǎn)繪制，得到繪制后的虛擬視點(diǎn)。采用圖像修補(bǔ) 方法對圖像進(jìn)行殘留空洞的修補(bǔ)，得到最終的虛擬視點(diǎn)。
[0069] 下面結(jié)合【附圖說明】實(shí)驗(yàn)效果：
[0070] 為了鮮明的對比本發(fā)明的效果，我們采用Middlebury立體圖像庫中Venus為例進(jìn) 行說明。
[0071] 圖1給出了 Venus原始彩色圖、深度圖和Disoclusion空洞區(qū)域的標(biāo)記圖。（1) Venus原始彩色圖；（2)深度圖；（3)Disoclusion空洞區(qū)域的標(biāo)記圖。
[0072] 圖2給出了不同方法的空洞填補(bǔ)效果對比圖。通過對比可以明顯觀察出我們提出 的方法補(bǔ)洞效果最好。（1)沒有采用任何方法，可以看出放大部分的報紙邊緣補(bǔ)洞結(jié)果是模 糊的；（2)Lee的方法，可以看出補(bǔ)洞后報紙邊界紅色方格比原始尺寸寬了一些；（3)Xu的 方法，可以看出空洞填補(bǔ)后有痕跡，雖然模糊區(qū)域比（1)小了很多，還是有模糊現(xiàn)象；(4)本 發(fā)明提出的方法，可以看出取得了較好的補(bǔ)洞效果。
[0073] 圖3給出了使用本發(fā)明的方法流程圖。
[0074] 本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實(shí)施例的示意圖，上述本發(fā)明實(shí)施例 序號僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0075] 以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1. 一種面向單視點(diǎn)繪制的空洞填補(bǔ)方法，其特征是，包括如下步驟： 一 ：Disoclusion 區(qū)域檢測 通過遍歷深度圖的像素進(jìn)行Disoclusion區(qū)域檢測； 二：深度圖局部膨脹 依據(jù)上述檢測的區(qū)域進(jìn)行深度邊界局部膨脹。膨脹像素為從檢測到Disoclusion位置 開始的前η個水平像素； 三：深度圖邊界區(qū)域線性差值 依據(jù)檢測區(qū)域進(jìn)行深度邊界區(qū)域線性差值； 四：深度圖中值濾波 對調(diào)整后的深度圖進(jìn)行中值濾波，去除孤立的像素； 五：虛擬視點(diǎn)繪制 采用處理后的深度圖進(jìn)行虛擬視點(diǎn)繪制，得到繪制后的虛擬視點(diǎn)。采用圖像修補(bǔ)方法 對圖像進(jìn)行殘留空洞的修補(bǔ)，得到最終的虛擬視點(diǎn)。2. 如權(quán)利要求1所述的一種面向單視點(diǎn)繪制的空洞填補(bǔ)方法，其特征是，通過遍歷深 度圖的像素進(jìn)行Disoclusion區(qū)域檢測具體步驟為，Disoclusion產(chǎn)生于深度圖深度像素 變化銳利的區(qū)域，也就是相鄰像素深度差大于某一定義閾值的區(qū)域，定義公式如下： df (x, y) = d (x-1, y) -d (x, y) 其中d(x，y)表示位于坐標(biāo)（x，y)處的深度像素值，df(x，y)表示相鄰深度像素（x，y) 和（x_l，y)處的水平深度差，如果df(x，y)大于定義的閾值T。，則坐標(biāo)（x，y)處標(biāo)記為深度 不連續(xù)區(qū)域。將上述檢測的深度不連續(xù)區(qū)域進(jìn)行標(biāo)記，標(biāo)記公式如下：其中1。表示13(1。，7)=1.處的橫坐標(biāo)，條件(1(1。+1^7)-(1(1。，7)<1'。用于限制其他前 景像素不被標(biāo)記為mask，Disoclusion區(qū)域的寬度等于df (X，y) 〇3. 如權(quán)利要求1所述的一種面向單視點(diǎn)繪制的空洞填補(bǔ)方法，其特征是，進(jìn)行深度邊 界區(qū)域線性差值具體步驟是，調(diào)整位于掩模標(biāo)記區(qū)域的深度值，線性差值的算法從第η個 像素開始，定義如下：其中cT表示重定義的深度像素。4. 如權(quán)利要求1所述的一種面向單視點(diǎn)繪制的空洞填補(bǔ)方法，其特征是，擴(kuò)張 η個像 素，η的取值為3。
【專利摘要】本發(fā)明屬于數(shù)字圖像處理及立體成像領(lǐng)域，本發(fā)明的目的是在分析Disoclusion的位置和大小與深度圖深度像素分布關(guān)系的基礎(chǔ)上，通過對深度圖深度值變化銳利并且位于背景部分的像素進(jìn)行線性差值，采用分而治之的策略，實(shí)現(xiàn)基于單視點(diǎn)繪制的空洞填補(bǔ)方法，有效改善繪制虛擬視點(diǎn)的質(zhì)量。為此，本發(fā)明采取的技術(shù)方案是，一種面向單視點(diǎn)繪制的空洞填補(bǔ)方法，包括如下步驟：一：Disoclusion區(qū)域檢測二：深度圖局部膨脹三：深度圖邊界區(qū)域線性差值四：深度圖中值濾波五：虛擬視點(diǎn)繪制。本發(fā)明主要應(yīng)用于數(shù)字圖像處理。
【IPC分類】G06T11/00, G06T7/00
【公開號】CN105184834
【申請?zhí)枴緾N201510579438
【發(fā)明人】雷建軍, 張翠翠, 侯春萍, 劉建英, 梅旭光, 吳敏
【申請人】天津大學(xué)
【公開日】2015年12月23日
【申請日】2015年9月11日