本發(fā)明涉及圖像處理技術(shù)領(lǐng)域、數(shù)據(jù)擬合技術(shù)領(lǐng)域、深度信息處理技術(shù)領(lǐng)域，具體是一種基于圖像分割的深度圖像修復(fù)方法。

背景技術(shù)：

現(xiàn)今，基于深度信息的三維重建技術(shù)仍然處于發(fā)展中階段，商業(yè)化深度相機(jī)的出現(xiàn)與流行為其帶來(lái)了新的研究方向。但是在獲取深度圖像的時(shí)候，當(dāng)前常見(jiàn)的商業(yè)化深度相機(jī)往往受到硬件技術(shù)、拍攝環(huán)境等因素的影響，無(wú)法獲取到場(chǎng)景中某些對(duì)象的部分深度信息，這種現(xiàn)象造成了深度圖像上的對(duì)應(yīng)位置形成無(wú)效數(shù)據(jù)，嚴(yán)重地影響著三維重建的質(zhì)量。

傳統(tǒng)的方法采用雙邊濾波器對(duì)深度圖像進(jìn)行預(yù)處理，但難以提高深度圖像的質(zhì)量。同時(shí)一些現(xiàn)有的深度圖像修復(fù)方法也具有一定的局限性，例如模糊效果、準(zhǔn)確度低等，其修復(fù)結(jié)果仍然存在較大的提升空間。

技術(shù)實(shí)現(xiàn)要素：

為了提高深度圖像的質(zhì)量，解決上述問(wèn)題，本發(fā)明提供了一種基于圖像分割的深度圖像修復(fù)方法，為實(shí)現(xiàn)上述目的本發(fā)明的流程可以劃分為以下兩個(gè)階段：

●分割彩色圖像階段：

采用基于圖的圖像分割算法^[1]對(duì)彩色圖像進(jìn)行分割，主要步驟如下：

步驟1：對(duì)原始彩色圖像進(jìn)行高斯濾波。

步驟2：對(duì)高斯濾波后的彩色圖像進(jìn)行分割處理。

步驟3：對(duì)步驟2的結(jié)果中的細(xì)小分割塊進(jìn)行后期的合并處理。

●修復(fù)深度圖像階段：

基于分割所得結(jié)果，對(duì)每個(gè)分割塊進(jìn)行相互獨(dú)立、并行處理的修復(fù)工作。在進(jìn)行每個(gè)分割塊中的無(wú)效像素修復(fù)工作前，采用本發(fā)明所提出的一種基于鄰域有效數(shù)據(jù)數(shù)量的修復(fù)順序設(shè)置方法，為該分割塊中的無(wú)效像素設(shè)置由外部至內(nèi)部的無(wú)效數(shù)據(jù)區(qū)域修復(fù)順序。每個(gè)無(wú)效像素的修復(fù)工作的主要步驟如下：

步驟1：采用本發(fā)明所提出的一種基于空間連續(xù)性的采樣方法，為該無(wú)效像素構(gòu)建樣本總集合。

步驟2：采用本發(fā)明所提出的一種基于顏色平滑度與數(shù)據(jù)可信度的樣本篩選方法，為該無(wú)效像素選擇最佳樣本集合。

步驟3：采用n階多項(xiàng)式數(shù)據(jù)擬合方法，擬合樣本的變化規(guī)律，估算出該無(wú)效像素的深度值。

本發(fā)明提供的基于圖像分割的深度圖像修復(fù)方法，得到的深度圖像修復(fù)結(jié)果，無(wú)論是在圖像的邊緣區(qū)域還是非邊緣區(qū)域，都與現(xiàn)實(shí)中物體的深度信息更為接近。

附圖說(shuō)明

此處所說(shuō)明的附圖用來(lái)提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定，在附圖中：

圖1是本發(fā)明方法的流程示意圖；

圖2是根據(jù)一示例性實(shí)施例示出的原始彩色圖像和高斯濾波后的圖像；

圖3是根據(jù)一示例性實(shí)施例示出的經(jīng)過(guò)分割處理后的圖像和經(jīng)過(guò)后期處理后的圖像；

圖4是根據(jù)一示例性實(shí)施例示出的原始深度圖像和修復(fù)后的深度圖像。

具體實(shí)施方式

下面將結(jié)合附圖以及具體實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明，在此本發(fā)明的示意性實(shí)施例以及說(shuō)明用來(lái)解釋本發(fā)明，但并不作為對(duì)本發(fā)明的限定。

實(shí)施例

如圖1所示，本發(fā)明公開(kāi)了一種基于圖像分割的深度圖像修復(fù)方法，通過(guò)分割對(duì)應(yīng)的彩色圖像作為指導(dǎo)信息，結(jié)合數(shù)據(jù)擬合方法，進(jìn)行缺失的深度信息的估算工作。具體地說(shuō)，主要分為以下兩個(gè)階段：

●分割彩色圖像階段：

采用基于圖的圖像分割算法(felzenszwalbpf,huttenlocherdp.efficientgraph-basedimagesegmentation[j].internationaljournalofcomputervision,2004,59(2):167-181.)對(duì)彩色圖像進(jìn)行分割，主要步驟如下：

步驟1：先用高斯濾波器對(duì)輸入的彩色圖像進(jìn)行濾波，輸入圖像如圖2(a)所示，濾波后的圖像如圖2(b)所示。

步驟2：對(duì)高斯濾波后的彩色圖像進(jìn)行分割處理，分割結(jié)果如圖3(a)所示。

步驟3：對(duì)步驟2的結(jié)果中的細(xì)小分割塊進(jìn)行后期的合并處理，形成分割彩色圖像階段的最終結(jié)果，如圖3(b)所示。

●修復(fù)深度圖像階段：

基于分割所得結(jié)果，對(duì)每個(gè)分割塊進(jìn)行相互獨(dú)立、并行處理的修復(fù)工作，原始的深度圖像如圖4(a)所示。

在進(jìn)行每個(gè)分割塊中的無(wú)效像素修復(fù)工作前，采用本發(fā)明所提出的一種基于鄰域有效數(shù)據(jù)數(shù)量的修復(fù)順序設(shè)置方法，為該分割塊中的無(wú)效像素設(shè)置由外部至內(nèi)部的無(wú)效數(shù)據(jù)區(qū)域修復(fù)順序。為當(dāng)前分割塊中的有效像素設(shè)置狀態(tài)值為1，無(wú)效像素設(shè)置狀態(tài)值為0，計(jì)算所有無(wú)效像素的排序權(quán)值ωp表示以p為中心的3×3窗口，sv(q)表示狀態(tài)值，通過(guò)依據(jù)排序權(quán)值進(jìn)行排序、更新權(quán)值與排序權(quán)值，可以確定由外部至內(nèi)部的修復(fù)次序。

每個(gè)無(wú)效像素的修復(fù)工作相同，令p表示當(dāng)前處理的待修復(fù)無(wú)效狀態(tài)像素，其修復(fù)的主要步驟如下：

步驟1：采用本發(fā)明所提出的一種基于空間連續(xù)性的采樣方法，以待修復(fù)的無(wú)效狀態(tài)像素p為起點(diǎn)，向其8鄰域方向射出8條線段，收集此8個(gè)方向上的樣本，構(gòu)造像素p的樣本總集合ss＝(ss1，ss2，...，ss8)。在為每一個(gè)方向上收集樣本的時(shí)候，線段的一個(gè)端點(diǎn)是像素p，假設(shè)另一個(gè)端點(diǎn)是像素q，當(dāng)且僅當(dāng)同時(shí)滿足以下3個(gè)條件時(shí)，繼續(xù)以p向q的方向延長(zhǎng)線段，否則從線段上刪去像素q并結(jié)束該方向上的樣本收集工作：

條件1：線段長(zhǎng)度小于最大長(zhǎng)度lmax，lmax是常量參數(shù)

條件2：像素q不是無(wú)效狀態(tài)

條件3：在從p向q方向的線段上，若像素q的前一個(gè)像素不是像素p，像素q與其前一個(gè)像素之間的深度值差距不能超過(guò)最大差距difmax，difmax是常量參數(shù)

對(duì)于每一條線段，以像素p為起點(diǎn)開(kāi)始依次收集線段經(jīng)過(guò)的所有像素，形成一個(gè)樣本集合ss，此時(shí)樣本集合ss中包含待修復(fù)像素p，在為擬合修復(fù)工作提供樣本集合的時(shí)候?qū)?huì)剔除從樣本集合中像素p。8個(gè)樣本集合構(gòu)成待修復(fù)像素p的樣本總集合ss＝(ss1，ss2，...，ss8)。

步驟2：采用本發(fā)明所提出的一種基于顏色平滑度與數(shù)據(jù)可信度的樣本篩選方法，為該無(wú)效像素選擇最佳樣本集合。

對(duì)于ssi∈ss，i＝1，2，...，8,其顏色平滑度的權(quán)值wcolor(i)的計(jì)算公式如下：

wcolor(i)＝[var(distseti)]

distseti＝{dist(p，q)|q∈ssi}

dist(p，q)表示對(duì)深度圖像中的像素p、q分別所對(duì)應(yīng)的彩色圖像中像素p′、q′，進(jìn)行rgb顏色空間上歐式距離的計(jì)算。

對(duì)于ssi∈ss，i＝1，2，...，8,樣本集合ssi的有效狀態(tài)像素總數(shù)量的權(quán)值wnum(i)等于樣本集合ssi中處于有效狀態(tài)的像素的總數(shù)量。

對(duì)于待修復(fù)像素p的樣本總集合ss中的8個(gè)樣本集合，在剔除僅包含待修復(fù)像素p的樣本集合后，計(jì)算剩余樣本集合相應(yīng)的wcolor、wnum，優(yōu)先依據(jù)wcolor進(jìn)行升序排序，其次依據(jù)wnum進(jìn)行降序排序，選擇排序后的第一個(gè)樣本集合(p，s1，s2，...，sm)，將該樣本集合中的像素p剔除，作為待修復(fù)像素p的最佳樣本集合bss。

步驟3：采用n階多項(xiàng)式數(shù)據(jù)擬合方法，擬合樣本的變化規(guī)律，估算出該無(wú)效像素的深度值，具體為：

步驟3-1：計(jì)算待修復(fù)像素p的最佳樣本集合bss的三維坐標(biāo)數(shù)據(jù)。對(duì)于深度圖像d上的一個(gè)像素q，令其坐標(biāo)表示為(u，v)，其深度值表示為d(q)，cx、cy表示深度相機(jī)的固定參數(shù)主點(diǎn)，fx、fy表示深度相機(jī)的固定參數(shù)焦距，像素q對(duì)應(yīng)的三維坐標(biāo)計(jì)算公式如下：

z＝d(q)

步驟3-2：通過(guò)n階多項(xiàng)式數(shù)據(jù)擬合方法，基于最佳樣本集合bss的三維坐標(biāo)數(shù)據(jù)，計(jì)算待修復(fù)像素p的三維坐標(biāo)。

步驟3-3：根據(jù)待修復(fù)像素p在深度圖像空間的坐標(biāo)，相應(yīng)地反求出待修復(fù)像素p三維坐標(biāo)對(duì)應(yīng)的深度值。

步驟3-4：對(duì)步驟3-3所求得的深度值取平均值，作為修復(fù)后深度值depth。

步驟3-5：采用下式，計(jì)算最佳樣本集合bss的自適應(yīng)閾值τ，根據(jù)待修復(fù)像素p的修復(fù)后深度值depth與最佳樣本集合bss中第一個(gè)樣本s1的深度值d(s1)之間的差距，相應(yīng)地調(diào)整待修復(fù)像素p的修復(fù)后深度值depth，完成該像素的修復(fù)工作。

完成對(duì)所有無(wú)效像素的修復(fù)工作后，得到最終的修復(fù)后的深度圖像，如圖4(b)所示。

以上對(duì)本發(fā)明實(shí)施例所提供的技術(shù)方案進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明實(shí)施例的原理以及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只適用于幫助理解本發(fā)明實(shí)施例的原理；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明實(shí)施例，在具體實(shí)施方式以及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。