本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，主要涉及深度圖像增強，具體提供一種改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法，可用于Kinect等采集的深度圖像的空洞填充和噪聲去除。

背景技術(shù)：

近年來，深度圖像采集設(shè)備的廉價化，為深度信息的獲取和使用提供了可能，也為機器人技術(shù)中涉及深度信息的應(yīng)用的進一步發(fā)展帶來了機遇，尤其在地圖構(gòu)建、路徑規(guī)劃、環(huán)境感知等方面的研究，嚴重依賴于深度信息的有效使用。

但是，作為廉價的深度信息采集設(shè)備之一，Kinect主要依賴于視差圖像和三角測量原理來獲取場景中的深度信息，因此視差測量誤差、標(biāo)定誤差、額外的紅外光源以及物體表面反射或吸收光線數(shù)量都會影響采集的深度圖像的質(zhì)量。Kinect等深度采集設(shè)備由于自身結(jié)構(gòu)原因和周圍環(huán)境影響，采集到的圖像存在噪聲重、空洞多和分辨率低等問題，嚴重限制了深度信息在實際場景中的應(yīng)用。也就是說，要使采集到的大量深度圖像更具有應(yīng)用價值，需要對采集的圖像進行增強處理。

申請?zhí)枮閆L.201210109883.0的發(fā)明專利公開了一種基于自回歸模型的深度圖超分辨率重構(gòu)方法，該方法采用具有預(yù)測效果的自回歸模型對低分辨率深度圖進行處理得到相應(yīng)的高分辨率的深度圖。該發(fā)明將超分辨率問題歸結(jié)到自回歸模型中進行優(yōu)化，通過在對齊的彩色圖像中使用非均值濾波對自回歸模型進行彩色導(dǎo)向的系數(shù)訓(xùn)練，并使用雙邊核替代局部非均值濾波核，以更好地預(yù)測細小結(jié)構(gòu)。之后，該專利申請人在2014年發(fā)表于IEEE Transaction的Image Processing上的“Color-guided Depth Recovery from RGB-D Data Using an Adaptive Auto-regressive Model”使用自適應(yīng)導(dǎo)向自回歸模型對深度圖像進行增強，利用深度圖像的局部相關(guān)性和對應(yīng)的彩色圖像的非局部相似性為每個像素構(gòu)建一個AR預(yù)測器。該方法提高了深度圖像修復(fù)的穩(wěn)定性和精確性，但是由于該算法對每個60×60像素塊都需要創(chuàng)建一個3600×3600大小的矩陣，時間和空間復(fù)雜度均較高。

浙江大學(xué)的Xiaojin Gong等于2013年在ELSEVISER的Image and Vision Computing上發(fā)表的“Guided depth enhancement via a fast marching method”(GFMM)提出了一種基于A.Telea 2004年提出的Fast Marching Method(簡稱FMM)的導(dǎo)向深度增強算法，該算法在原始FMM算法的基礎(chǔ)上，引入相應(yīng)的彩色圖像來優(yōu)化擴展機制，該方法結(jié)果圖像失真度較低，能夠獲得較好地視覺效果，但其對結(jié)構(gòu)信息的保存較差。此外，Junyi Liu等于2013年在Springer International Publishing Switzerland上發(fā)表的“Guided Depth enhancement via Anisotropic Diffusion”(GAD)，將深度圖像增強問題轉(zhuǎn)化為一個線性各向異性擴散問題，使用稀疏線性系統(tǒng)解決圖像增強問題，該方法相對GFMM能較好地保存結(jié)構(gòu)信息，但結(jié)果圖像中存在大量的噪聲和偽紋理，視覺效果較差。

綜上所述，現(xiàn)有的深度圖像增強技術(shù)中存在結(jié)構(gòu)信息丟失嚴重、圖像失真度高、圖像處理時間和空間復(fù)雜度高等問題，不能滿足實際應(yīng)用的需求。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法，該方法使用改進的基于塊匹配的圖像修復(fù)算法完成大量空洞的填充，并提出聯(lián)合三邊導(dǎo)向濾波用以去除修復(fù)產(chǎn)生的偽紋理并進行平滑和去噪，能很好地保存紋理信息，并完成深度圖像的增強，獲得視覺上比較良好的修復(fù)效果。

本發(fā)明是一種改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法，其特征在于，圖像增強過程包括如下步驟：

(1)輸入圖像：輸入采集的原始深度圖像，并將其保存為灰度圖像，定義像素值無效的像素點構(gòu)成的區(qū)域為未知區(qū)域，其余像素點即像素值有效的點組成的區(qū)域為已知區(qū)域；

(2)原始圖像預(yù)處理：對采集到的原始深度圖像使用形態(tài)學(xué)閉運算進行預(yù)處理，以去除原始圖像中存在的隨機深度缺失點；

(3)標(biāo)記預(yù)處理后圖像中待修復(fù)的未知區(qū)域：根據(jù)Kinect圖像采集機制，利用無效像素標(biāo)識，標(biāo)記圖像中的結(jié)構(gòu)化深度缺失點，該圖像中的結(jié)構(gòu)化深度缺失點共同組成待修復(fù)的未知區(qū)域，對待修復(fù)的未知區(qū)域進行標(biāo)記，除去標(biāo)記的未知區(qū)域，余為圖像的已知區(qū)域；

(4)計算像素點的優(yōu)先級：用塊匹配優(yōu)先級估計函數(shù)P，計算標(biāo)記后圖像中的每個像素點的優(yōu)先級；

(5)選取待修復(fù)塊：根據(jù)步驟(4)中計算所得各個像素點的優(yōu)先級，選擇優(yōu)先級最高像素點并以該點為中心選取待修復(fù)塊；

(6)尋找最佳匹配塊：搜索標(biāo)記后圖像的已知區(qū)域，尋找與待修復(fù)塊最為匹配的最佳匹配塊；

(7)修復(fù)：使用最佳匹配塊中的已知像素值填充待修復(fù)塊中對應(yīng)位置未知像素點的像素值，對圖像進行修復(fù)；

(8)判斷：如果標(biāo)記后圖像中的未知區(qū)域全部被修復(fù)，執(zhí)行步驟(9)；否則，執(zhí)行步驟(4)；

(9)結(jié)合聯(lián)合三邊導(dǎo)向濾波對圖像進一步進行處理：使用聯(lián)合三邊導(dǎo)向濾波對修復(fù)后的圖像進行平滑、去噪，以去除修復(fù)后圖像中存在的大量偽紋理和噪聲；

(10)圖像處理結(jié)束，輸出結(jié)果：輸出改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波增強處理后的深度圖像。

實現(xiàn)本發(fā)明的技術(shù)關(guān)鍵在于使用改進的基于塊匹配的修復(fù)方法對圖像中的空洞進行填充和使用聯(lián)合三邊導(dǎo)向濾波算法對空洞填充后產(chǎn)生的偽紋理和噪聲進行去除。本發(fā)明引入水平集距離因子定義塊匹配優(yōu)先級估計函數(shù)，優(yōu)化空洞填充順序，并使用最佳塊匹配策略進行逐個像素塊的修復(fù)；之后，使用原始深度圖像對齊的彩色圖像作為聯(lián)合三邊導(dǎo)向濾波的導(dǎo)向圖，均衡考慮距離高斯權(quán)重、彩色像素域高斯權(quán)重和深度像素域高斯權(quán)重，以更加有效地去除修復(fù)后圖像中存在的偽紋理和噪聲信息。

本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點：

第一，本發(fā)明通過引入水平集距離因子優(yōu)化塊匹配優(yōu)先級估計函數(shù)，對待修復(fù)圖像的空洞填充順序進一步進行同時約束，并使用最佳塊匹配的填充策略對空洞進行填充，兩者協(xié)同作用，使得修復(fù)后的結(jié)果能夠更好地保存原始圖像的紋理結(jié)構(gòu)信息。

第二，本發(fā)明提出了一種聯(lián)合三邊導(dǎo)向濾波算法，通過合理調(diào)整距離信息、深度圖像和彩色圖像值域相似性的權(quán)重比例，相比于目前的流行的雙邊濾波算法，彩色圖像攜帶更多的細節(jié)信息，從而可以更好地去除深度圖像偽紋理和噪聲，以更好地保存結(jié)構(gòu)并降低圖像的失真度，獲得較好的視覺效果。

附圖說明

圖1為本發(fā)明的整體流程框圖；

圖2為本發(fā)明修復(fù)過程中圖像結(jié)構(gòu)元素說明圖；

圖3為從Middlebury數(shù)據(jù)集中選取的一幅Kinect采集的原始深度圖像；

圖4為用本發(fā)明對圖3進行預(yù)處理后所得結(jié)果圖像；

圖5為本發(fā)明使用綠色(g)通道對圖4中的待修復(fù)區(qū)域進行標(biāo)記的圖像；

圖6為本發(fā)明對標(biāo)記后的圖像即圖5進行修復(fù)所得結(jié)果圖像；

圖7為本發(fā)明對修復(fù)后圖像即圖6濾波處理后的結(jié)果圖像；

圖8為三種方法對編號為Middlebury_04的深度圖進行處理所得結(jié)果的視覺比較結(jié)果圖，其中(a)為原始深度圖，(b)為數(shù)據(jù)集中提供的Ground Truth圖像，(c)為使用GFMM方法得到的結(jié)果圖、(d)為使用GAD方法得到的結(jié)果圖、(e)為使用本發(fā)明中的方法得到的結(jié)果圖；

圖9為三種方法對編號為Middlebury_16的深度圖進行處理所得結(jié)果的視覺比較結(jié)果圖，其中(a)為原始深度圖，(b)為數(shù)據(jù)集中提供的Ground Truth圖像，(c)為使用GFMM方法得到的結(jié)果圖、(d)為使用GAD方法得到的結(jié)果圖、(e)為使用本發(fā)明中的方法得到的結(jié)果圖；

圖10為三種方法對編號為Middlebury_17的深度圖進行處理所得結(jié)果的視覺比較結(jié)果圖，其中(a)為原始深度圖，(b)為數(shù)據(jù)集中提供的Ground Truth圖像，(c)為使用GFMM方法得到的結(jié)果圖、(d)為使用GAD方法得到的結(jié)果圖、(e)為使用本發(fā)明中的方法得到的結(jié)果圖；

圖11為三種方法處理結(jié)果使用SSIM進行量化評估的結(jié)果比較圖；

圖12為三種方法處理結(jié)果使用PSNR進行量化評估的結(jié)果比較圖。

具體實施措施

下面結(jié)合附圖和實施例對本發(fā)明的技術(shù)方案進行詳細地描述。

目前，在機器人應(yīng)用領(lǐng)域中，比如地圖構(gòu)建、路徑規(guī)劃、環(huán)境感知等方面對于深度信息的使用需求更加迫切。但是，由于Kinect等深度采集設(shè)備限于自身結(jié)構(gòu)原因和周圍環(huán)境的影響，采集到的深度圖像存在噪聲重、空洞多和分辨率低等問題，嚴重限制了深度信息在實際場景中的應(yīng)用。

針對如此的現(xiàn)狀，本發(fā)明展開了研究與創(chuàng)新，提出了一種改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法。

實施例1

參見圖1，本發(fā)明改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法，增強過程包括如下步驟：

(1)輸入圖像：輸入采集的原始深度圖像，并將其保存為灰度圖像，參見圖3。根據(jù)Kinect圖像采集機制，定義像素值無效的像素點構(gòu)成的區(qū)域為未知區(qū)域，其余像素點即像素值有效的像素點組成的區(qū)域為已知區(qū)域，本實施例中，將深度圖像保存為8位灰度圖像，故而無效像素點的像素值為0，像素值不為0的像素點構(gòu)成的區(qū)域為已知區(qū)域。

(2)原始圖像預(yù)處理：對采集到的原始深度圖像，使用形態(tài)學(xué)閉運算進行預(yù)處理，以去除原始圖像中存在的隨機深度缺失點；參見圖3，圖中下部方框中值為0的像素點屬于隨機深度缺失點，圖中上半部橢圓中值為0的像素點屬于結(jié)構(gòu)化深度缺失點，隨機深度缺失主要由大量的細小空洞組成，結(jié)構(gòu)化深度缺失主要由較為大塊的空洞構(gòu)成；原始圖像中存在的隨機深度缺失點也是圖像的未知區(qū)域，但本發(fā)明不對其進行修復(fù)，在該步驟中對其進行去除，從而簡化計算。

(3)標(biāo)記預(yù)處理后圖像中待修復(fù)的未知區(qū)域：根據(jù)Kinect圖像采集機制，利用無效像素標(biāo)識，標(biāo)記圖像中的結(jié)構(gòu)化深度缺失點，該圖像中的結(jié)構(gòu)化深度缺失點共同組成待修復(fù)的未知區(qū)域，對待修復(fù)的未知區(qū)域進行標(biāo)記，除去標(biāo)記的未知區(qū)域，余為圖像中的已知區(qū)域。參見圖5，使用綠色(g)通道選擇預(yù)處理后圖像中的無效像素點，也就是選擇圖像中的結(jié)構(gòu)化深度缺失點，這些結(jié)構(gòu)化深度缺失點即為預(yù)處理后圖像中待修復(fù)的未知區(qū)域，剩余部分為已知區(qū)域，通道的選擇沒有限制，使用R/G/B三者中任何一個均可。

(4)計算像素點的優(yōu)先級：用塊匹配優(yōu)先級估計函數(shù)P，計算標(biāo)記后圖像中的每個像素點的優(yōu)先級。本發(fā)明使用置信度、數(shù)據(jù)項和水平集距離因子三項聯(lián)合定義塊匹配優(yōu)先級估計函數(shù)，其中置信度保證鄰域內(nèi)包含較多已知信息的像素點較早被修復(fù)，數(shù)據(jù)項保證沿法線方向的像素點優(yōu)先級更高，水平集距離因子確保距離待修復(fù)區(qū)域邊界越近的像素點越早被修復(fù)。

(5)選取待修復(fù)塊：根據(jù)步驟(4)中計算所得各個像素點的優(yōu)先級，選擇優(yōu)先級最高像素點并以該點為中心選取待修復(fù)塊，本實施例中，修復(fù)塊大小選取9*9的像素塊。

(6)尋找最佳匹配塊：搜索標(biāo)記后圖像的已知區(qū)域，尋找與待修復(fù)塊最為匹配的最佳匹配塊。在標(biāo)記后的圖像的已知區(qū)域中，用與待修復(fù)塊大小相等的滑動窗口，尋找與待修復(fù)塊已知像素點的像素值和結(jié)構(gòu)最為相似的匹配塊，該匹配塊即為要尋找的最佳匹配塊。

(7)修復(fù)：使用最佳匹配塊中的已知像素值填充待修復(fù)塊中對應(yīng)位置未知像素點的像素值，對圖像進行修復(fù)。在圖像修復(fù)過程中，只重新填充待修復(fù)塊中未知像素點的像素值，其中的已知像素點的像素值保持不變。

(8)判斷：如果標(biāo)記后圖像中的未知區(qū)域全部被修復(fù)，執(zhí)行步驟(9)對修復(fù)后的圖像進行濾波處理；否則，執(zhí)行步驟(4)重新計算各個像素點的優(yōu)先級，重復(fù)待修復(fù)塊的尋找和修復(fù)過程，直至未知區(qū)域全部被修復(fù)。本實施例中，標(biāo)記后圖像的未知區(qū)域是否被完全修復(fù)的判斷標(biāo)準為，判斷是否存在值為0的像素點；如果標(biāo)記后圖像中存在值為0的像素點，則圖像中仍然存在未知區(qū)域；否則，未知區(qū)域被全部修復(fù)。

(9)結(jié)合聯(lián)合三邊導(dǎo)向濾波對圖像進一步進行處理：使用與原始圖像對齊的彩色圖像作為導(dǎo)向圖，在Middlebury數(shù)據(jù)集獲取原始圖像時對齊的彩色圖像也一并獲取；對修復(fù)后的深度圖使用聯(lián)合三邊導(dǎo)向濾波進行平滑、去噪，以去除修復(fù)后圖像中存在的大量偽紋理和噪聲。參見圖7，對修復(fù)得到的結(jié)果圖像進行濾波后，相比于濾波前，參見圖6，圖像表面的偽紋理和噪聲信息得到明顯減弱。

(10)圖像處理結(jié)束，輸出結(jié)果：輸出改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波增強處理后的深度圖像。參見圖7，使用本發(fā)明公開的方法對采集的深度圖像進行處理，得到的結(jié)果圖像，邊緣清晰，如圖中上方橢圓中小孩的手臂的邊緣；物體內(nèi)部修復(fù)合理，如圖中中間矩形框中沒有明顯填充的痕跡。

本發(fā)明對采集的原始深度圖像中存在的噪聲和空洞問題進行增強處理，改善圖像質(zhì)量，使得深度信息在實際應(yīng)用中能夠得到更好地利用。

實施例2

改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法同實施例1，其中步驟(4)中所述的塊匹配優(yōu)先級估計函數(shù)P：

每個像素點p的塊匹配優(yōu)先級估計函數(shù)P(p)定義如下：

P(p)＝C(p)D(p)L(p) (1)

其中，C(p)表示p點的置信度，即以p為中心的鄰域內(nèi)已知像素點所占比例，該比例越大說明以p為中心的像素塊中已知像素點個數(shù)越多，即用于預(yù)測未知像素的像素值的已知信息越多，預(yù)測結(jié)果越準確；D(p)表示p點的數(shù)據(jù)項，確?？拷ň€方向的塊較早被修復(fù)；L(p)表示水平集距離因子，使用擴散時間函數(shù)定義該因子，從而保證了距離未知區(qū)域邊界越近的像素點，該項因子權(quán)重越大；使用水平集距離因子對塊匹配優(yōu)先級估計函數(shù)進行優(yōu)化，確?？拷斩催吔绲南袼攸c較早被修復(fù)；三個乘積因子的具體定義如公式(2)(3)(4)所示。

其中，置信度函數(shù)：

數(shù)據(jù)項：

水平集距離因子：

式中，Ψ_p是以p為中心的像素塊，|Ψ_p|代表該像素塊的面積，代表非空洞區(qū)域即像素值已知區(qū)域；表示p點的等照度線強度，n_p是沿法線方向的單位向量，α為公式(3)的歸一化因子，|·|表示向量內(nèi)積；擴散時間函數(shù)T(q)計算像素點q距離待修復(fù)區(qū)域邊界δΩ的距離；在實際中，由于像素點間距離默認為1，一般情況下，將T₀設(shè)為1。參數(shù)定義的直觀展示如圖2所示，以中間的曲線為分界線將圖像分為上下兩個區(qū)域，曲線上方的區(qū)域為圖像的已知區(qū)域即像素值有效區(qū)域，用符號Φ標(biāo)記；曲線下方的區(qū)域為圖像的未知區(qū)域，即像素值無效、待填充的空洞，用符號Ω標(biāo)記；該曲線表示未知區(qū)域的邊界，該邊界的像素值已知，用δΩ標(biāo)記；方框表示以p點為中心選取的待修復(fù)像素塊，用Ψ_p標(biāo)記。

擴散時間函數(shù)T(p)定義了待修區(qū)域的邊界δΩ擴展到像素點p所需的時間，初始設(shè)置：

算法運行期間，利用像素點p的4鄰域像素點的已知擴散時間值不斷更新未知像素點的擴散時間值。假設(shè)待更新擴散時間的像素點為[k,l]，其4鄰域像素點分別為[k-1,l]、[k,l-1]、[k,l+1]、[k+1,l]，分別就像素點對([k-1,l],[k,l-1])、([k-1,l],[k,l+1])、([k+1,l],[k,l-1])、([k+1,l],[k,l-1])計算[k,l]的擴散時間，以像素對([k-1,l],[k,l-1])計算方式為例進行說明，如公式(6)所示，根據(jù)上述四個像素對中每個像素對的兩個像素點的擴散時間是否已知，結(jié)果取值不同，結(jié)果見式(6)。

全部計算完成后，取四個像素點對計算所得最小值作為當(dāng)前像素點[k,l]的擴散時間值。

本發(fā)明通過在塊匹配優(yōu)先級估計函數(shù)中引入水平集距離因子，并使用擴散時間函數(shù)計算該因子，確保靠近邊界的像素點優(yōu)先被選擇，聯(lián)合置信度函數(shù)、數(shù)據(jù)項對空洞填充順序?qū)?yōu)先級進行約束；此外，本發(fā)明中使用塊匹配策略對空洞進行填充，而不采用傳統(tǒng)的逐個像素點進行修復(fù)的策略，修復(fù)效率較高且不破壞原始圖像結(jié)構(gòu)；兩者協(xié)同作用，使得修復(fù)后的結(jié)果圖像中像素填充值更加合理且攜帶更多的原始圖像結(jié)構(gòu)信息。

實施例3

改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法同實施例1-2，其中步驟(9)中所述的聯(lián)合三邊導(dǎo)向濾波方法：

聯(lián)合三邊導(dǎo)向濾波方法的濾波模型定義如下：

其中，ω_p為歸一化因子，保證各項因子加權(quán)和為1，定義如公式(8)所示；JiontTF[I]_p表示使用聯(lián)合三邊導(dǎo)向濾波對以p為中心的像素塊I進行濾波處理所得結(jié)果，I為待修復(fù)像素塊，I_q為像素點q的強度值，s為以p為中心的鄰域；參數(shù)σ_s為空間域高斯核的尺寸，計算空間域的高斯權(quán)重，與普通高斯濾波器一樣，該權(quán)重隨p和q空間距離的增加而減少；I_cp和I_cq分別為彩色圖像中像素點p和q的像素值，I_dp和I_dp分別表示深度圖像中像素點p和q的深度值，σ_rc和σ_rd分別定義了彩色和深度值域高斯核的尺寸，則和深度圖像和彩色圖像值域的高斯權(quán)重大小，α和β為平衡因子，用于均衡彩色圖像信息和深度圖像信息對濾波結(jié)果的影響，該實施例中，取α:β＝3:1。

其中，歸一化因子：

空間域的高斯權(quán)重：

彩色圖像像素域的高斯權(quán)重：

深度圖像像素域的高斯權(quán)重：

式中，||p-q||表示p和q兩點之間的歐幾里得距離；|I_cp-I_cq|和|I_dp-I_dq|分別為I_cp和I_cq、I_dp和I_dq之間的差值，由定義知，該差值越大，相應(yīng)的高斯權(quán)重越小。

該濾波模型中，通過引入Petshnigg等使用閃光圖對非閃光圖進行修復(fù)時提出的聯(lián)合的概念，對深度圖像進行修復(fù)時，聯(lián)合了攜帶的細節(jié)信息的與原始圖像對應(yīng)的彩色圖像；此外，以原始圖像對應(yīng)的彩色圖像作為導(dǎo)向圖，使用圖像的空間域、彩色像素域和深度像素域三邊的信息對修復(fù)得到的圖像進行濾波處理。本實施例中，使用該濾波模型對修復(fù)后的結(jié)果圖像進行處理，參見圖7，圖像中的偽紋理和噪聲得到了有效去除，更好地保存了圖像的結(jié)構(gòu)信息并降低圖像的失真度，獲得較好的視覺效果。

本發(fā)明提出的聯(lián)合三邊導(dǎo)向濾波算法，使用與原始深度圖像對齊的彩色圖像作為導(dǎo)向圖，通過合理調(diào)整距離信息、深度像素相似性和彩色像素相似性的高斯權(quán)重比例，從而更好地實現(xiàn)深度圖像偽紋理和噪聲的去除，以更多地保存圖像的結(jié)構(gòu)信息并降低圖像的失真度，獲得較好的視覺效果。

下面結(jié)合附圖給出一個更加完整的例子，進一步描述本發(fā)明。

實施例4

改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法同實施例1-3，

本發(fā)明中，對深度圖像的增強處理主要分為四個步驟完成，如圖1所示，分別為：預(yù)處理原始深度圖像、識別并標(biāo)記預(yù)處理后圖像中的待修復(fù)區(qū)域、使用改進的基于塊匹配的圖像修復(fù)方法對標(biāo)記后的圖像進行空洞填充、對修復(fù)后的圖像使用聯(lián)合三邊導(dǎo)向濾波方法進行平滑、去噪，從而得到增強后的結(jié)果圖像。

步驟一：預(yù)處理原始圖像

采集到的深度圖像中的空洞主要分為隨機深度缺失和結(jié)構(gòu)化深度缺失，參見圖3，與下部矩形框中的0值像素點的同類的空洞點屬于隨機深度缺失，與上半部橢圓中值為0的像素點同類的空洞點屬于結(jié)構(gòu)化深度缺失，從圖中可見，隨機深度缺失主要由平面中存在的大量細小空洞組成，結(jié)構(gòu)化深度缺失主要由圖像中較為大塊的空洞組成且該類缺失尤其容易發(fā)生在對象的邊界處。本實施例中，使用數(shù)學(xué)中的形態(tài)學(xué)閉運算去除深度圖像中存在的隨機深度缺失點，該方法能夠較好地去除此類細小空洞；并且，如果對于隨機深度缺失點也使用改進的基于塊匹配的深度圖像修復(fù)方法進行修復(fù)，會大大降低算法的執(zhí)行效率且修復(fù)效果不會有明顯提高。因此，在本發(fā)明中，采用形態(tài)學(xué)閉運算去除隨機深度缺失，然后使用改進的基于塊匹配的修復(fù)方法填充結(jié)構(gòu)化深度缺失像素值。

預(yù)處理得到的結(jié)果圖像如圖4所示，圖4中與圖3方框中同類的空洞均已被填充，即像素值不再為0；盡管圖像的表面噪聲信息較為明顯，但是填充的隨機深度缺失點能夠與原圖像較好地融合，沒有明顯的填充痕跡；剩余未被填充的0值像素區(qū)域由多個結(jié)構(gòu)化深度缺失組成，該區(qū)域構(gòu)成待修復(fù)區(qū)域，在步驟三中對此類空洞進行填充。

步驟二：識別并標(biāo)記預(yù)處理后圖像中的待修復(fù)區(qū)域

修復(fù)過程開始之前，除了去除隨機深度缺失的影響，還需要標(biāo)記出待修復(fù)圖像的已知區(qū)域和未知區(qū)域，即圖2中所示的Ω和Φ區(qū)域，具體到圖4中，如底座上的黑色區(qū)域、娃娃左腳心以及腹部的黑點均屬于Φ，這些均為待修復(fù)區(qū)域，也稱空洞位置。由于Kinect采集深度圖像時，采集到的深度圖像中的像素值與景深相對應(yīng)，即每個像素點的深度值對應(yīng)的是距離，因而，有效像素點的值應(yīng)不為零；Kinect設(shè)計者利用此原理，在采集深度圖像時，將未返回信號的像素點標(biāo)記為Nan，在將該深度圖像轉(zhuǎn)化為8位灰度圖像時，標(biāo)記為Nan的像素點的值使用數(shù)值0替代，所以可以使用深度值為0的像素點對空洞區(qū)域進行識別和標(biāo)記，使用綠色(g)通道標(biāo)記空洞區(qū)域，結(jié)果如圖5所示，對照圖4中的空洞位置，可以看到圖5中對各個空洞均做了標(biāo)記，標(biāo)記的空洞共同構(gòu)成未知區(qū)域即待修復(fù)區(qū)域，其余像素點構(gòu)成該圖像的已知區(qū)域。

步驟三：使用改進的基于塊匹配的圖像修復(fù)方法對標(biāo)記后的圖像進行空洞填充

對待修復(fù)區(qū)域標(biāo)記完成后，使用改進的基于塊匹配的圖像修復(fù)方法對空洞區(qū)域進行填充，詳細空洞填充過程如下所述。

3.1初始化，使用公式(12)計算原始圖像的x和y方向的梯度F_x和F_y，并將梯度旋轉(zhuǎn)90°以初始化待修復(fù)圖像的等照度線值，其中F為待修復(fù)圖像；

[F_x,F_y]＝gradient(F) (12)

計算各像素點的初始置信度值：

3.2使用本發(fā)明定義的塊匹配優(yōu)先級估計函數(shù)計算圖像中各像素點的優(yōu)先級；

3.3選取優(yōu)先級最高像素點，以該像素點為中心，取9*9的像素塊作為待修復(fù)塊；

3.4搜索待填充圖像的已知像素區(qū)域，尋找待修復(fù)塊的最佳匹配塊；

3.5使用最佳匹配塊中的已知像素值填充待修復(fù)塊中相應(yīng)位置的未知像素值；

3.6圖像中不存在空洞點，結(jié)束；否則，更新當(dāng)前的置信度函數(shù)值、數(shù)據(jù)項和水平集距離因子，并重復(fù)步驟3.2～3.6。

使用上述基于塊匹配的圖像修復(fù)方法對標(biāo)記后圖像進行修復(fù)所得結(jié)果圖像如圖6所示，從圖中可以看出，待修復(fù)區(qū)域中的像素值得到了很好地填充，例如對應(yīng)圖3橢圓區(qū)域中的空洞，在圖6中得到了很好地填充，邊界信息也得到了很好地修復(fù)；但是，由于修復(fù)過程中使用了塊匹配策略進行空洞填充，結(jié)果中產(chǎn)生了明顯的偽紋理，加之圖像中原有的噪聲未曾加以去除，使得結(jié)果圖像質(zhì)量仍然不夠良好，因此，本發(fā)明提出一種聯(lián)合三邊導(dǎo)向濾波方法對修復(fù)圖像進行偽紋理去除和噪聲處理。

步驟四：對修復(fù)后的圖像使用聯(lián)合三邊導(dǎo)向濾波方法進行平滑、去噪

傳統(tǒng)濾波技術(shù)中，消除噪聲和平滑圖像的基本思路是使用加權(quán)的幾何相近性和像素相似性，比如著名的雙邊濾波；此外，Petshnigg等使用了攜帶更多細節(jié)信息的閃光圖對非閃光圖進行聯(lián)合修復(fù)，以獲得更多的紋理信息。在前人研究的基礎(chǔ)上，本發(fā)明公開了一個聯(lián)合三邊導(dǎo)向濾波方法，用以去除修復(fù)后圖像中存在的偽紋理和噪聲。

使用聯(lián)合三邊導(dǎo)向濾波方法對修復(fù)后的圖像進行濾波處理后的結(jié)果圖像如圖7所示，相比于圖6可以看到，圖7相對平滑很多，噪聲和偽紋理基本被去除。圖7即為使用本發(fā)明公開的方法對采集的深度圖像進行增強處理得到最終結(jié)果。

本發(fā)明的優(yōu)良效果還可以通過大量仿真進一步證實。

實施例5

改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法同實施例1-4，

仿真條件

MATLAB 2013，Visual Studio 2013,Win 7專業(yè)版

惠普198E(Intel H81(Lynx Point))，英特爾Core-3300，RAM 4GB

仿真內(nèi)容

本發(fā)明選取Middlebury數(shù)據(jù)集中的29組圖片作為測試集，使用背景技術(shù)中提到的兩種當(dāng)前較為先進的圖像修復(fù)方法GAD和GFMM以及本發(fā)明中的方法分別對其進行修復(fù)處理，并對測試結(jié)果從主觀和客觀兩方面進行質(zhì)量評估。

主觀質(zhì)量評估

如圖8、9、10所示，本發(fā)明從測試集中選取三組圖片進行主觀質(zhì)量評估，三幅圖的(a)、(b)分別為采集的原始深度圖像和Middlebury數(shù)據(jù)集中提供的Ground Truth圖像，(c)～(e)分別為GFMM、GAD和本發(fā)明中提出的方法的修復(fù)結(jié)果。

參見圖8，對編號為Middlebury_04的深度圖使用三種方法進行修復(fù)的視覺結(jié)果比較，圖8的下部是一本打開的書，上部是一個娃娃，重點關(guān)注圖8的五幅圖像對應(yīng)的矩形框標(biāo)記的區(qū)域，在圖8(a)和圖8(b)的方框區(qū)域中書的邊緣均為直線、沒有凸起，使用GFMM的修復(fù)見圖8(c)，其中對書邊緣的背景空洞進行了錯誤填充，導(dǎo)致書的邊緣出現(xiàn)了明顯的凸起，而使用GAD方法修復(fù)得到的圖8(d)盡管沒有凸起，但是表面比較模糊；使用本發(fā)明的方法對圖像的修復(fù)見圖8(e)，其對書的邊緣進行了較好地保存；圖8(d)和圖8(e)比較，(d)的表面比較模糊，圖像失真度遠高于(c)和(e)。

參見圖9，對編號為Middlebury_16的深度圖使用三種方法進行修復(fù)的視覺結(jié)果比較，圖9的中部偏左有一個豎直細長的棍棒，重點關(guān)注圖9的五幅圖像對應(yīng)的矩形框標(biāo)記的區(qū)域，在圖9(a)和圖9(b)的方框區(qū)域中細長棍棒的邊緣有一個空洞，但是細長棍棒本身為直條形、無凸起，應(yīng)對其旁邊的空洞使用背景像素填充，使用GFMM的修復(fù)見圖9(c)，其中對棍棒邊緣的像素值對空洞進行了錯誤填充，導(dǎo)致棍棒的邊緣出現(xiàn)了明顯的凸起，而使用GAD方法修復(fù)得到的圖9(d)盡管錯誤像素較少，但是表面比較模糊；使用本發(fā)明的方法對圖像的修復(fù)見圖9(e)，對棍棒的邊緣像素合理地使用背景像素對空洞進行了填充且圖像表面噪聲和偽紋理信息較少，圖像失真度較低；圖9(d)和圖9(e)比較，(d)的表面比較模糊，圖像失真度遠高于(c)和(e)。

參見圖10，對編號為Middlebury_17的深度圖使用三種方法進行修復(fù)的視覺結(jié)果比較，圖10的左下部的方框區(qū)域內(nèi)有一個直角拐角，重點關(guān)注圖10的五幅圖像對應(yīng)的矩形框標(biāo)記的區(qū)域，在圖10(a)和圖10(b)的方框區(qū)域中物體的拐角屬于90°拐角，中間的空洞應(yīng)使用背景像素進行填充，使用GFMM的修復(fù)見圖10(c)，其中對拐角邊處的空洞進行了錯誤填充，導(dǎo)致拐角信息丟失；而使用GAD方法修復(fù)得到的圖10(d)，盡管拐角信息丟失較少，但是得到的結(jié)果圖像較為模糊；使用本發(fā)明的方法對圖像的修復(fù)見圖10(e)，其對拐角進行了更加合理地填充且得到的圖像表面較為平滑；圖10(d)和圖10(e)比較，(d)的表面比較模糊，圖像失真度遠高于(c)和(e)。

由此可見，使用GFMM方法修復(fù)的圖像常常存在錯誤，如使用前景像素對背景像素進行填充，導(dǎo)致圖像的結(jié)構(gòu)被破壞，如拐角信息丟失、邊緣凸起等；使用GAD方法修復(fù)后的圖像表面大多較為模糊，圖像失真度較大，部分圖像修復(fù)中也不能保證填充像素的正確性導(dǎo)致結(jié)構(gòu)信息丟失；本發(fā)明中公開的方法，能夠使用視覺上正確的像素值對空洞進行填充，能夠更好地保存圖像中的結(jié)構(gòu)信息且圖像表面較為平滑，得到視覺效果良好的修復(fù)結(jié)果。

客觀質(zhì)量評估

為了更加有力地說明本發(fā)明中提出的方法的優(yōu)越性，分別使用GFMM、GAD和本發(fā)明中的方法對測試集中的29組測試圖像進行修復(fù)，并使用SSIM和PSNR對其修復(fù)結(jié)果進行客觀質(zhì)量評估，統(tǒng)計結(jié)果如圖11和圖12所示。

參見圖11，其中三角標(biāo)記的實線為使用本發(fā)明中公開的方法測試所得結(jié)果的SSIM評估曲線，方框標(biāo)記的長虛線為使用GFMM方法測試所得結(jié)果的SSIM評估曲線，圓形標(biāo)記的短虛線為使用GAD方法測試所得結(jié)果的SSIM評估曲線；圖11的橫坐標(biāo)為測試集中29幅圖像的編號，縱坐標(biāo)為SSIM評估值。從圖11中可以看出，使用GFMM方法測試所得結(jié)果的SSIM值相對較低，均不高于0.75；使用GAD方法測試所得結(jié)果的SSIM值，介于0.77和0.9之間且均不超過0.9；使用本發(fā)明公開的方法測試所得結(jié)果的SSIM值，介于0.84和0.96之間且大部分位于0.9以上，評分均高于GAD和GFMM方法所得結(jié)果。

參見圖12，其中三角標(biāo)記的實線為使用本發(fā)明中公開的方法測試所得結(jié)果的PSNR評估曲線，方框標(biāo)記的長虛線為使用GFMM方法測試所得結(jié)果的PSNR評估曲線，圓形標(biāo)記的短虛線為使用GAD方法測試所得結(jié)果的PSNR評估曲線；圖12的橫坐標(biāo)為測試集中29幅圖像的編號，縱坐標(biāo)為PSNR評估值，單位為dB。從圖12中可以看出，使用三種方法對29幅圖片進行處理得到的PSNR值相對接近，但是整體上，本發(fā)明公開的方法測試所得的PSNR值均高于GFMM和GAD方法；此外，對不同的圖像，采用三種方法中的任何一種進行處理，得到的結(jié)果的PSNR值變化較大。

表1給出了使用GAD、GFMM以及本發(fā)明中提出的方法對測試集進行測試所得結(jié)果的平均PSNR和SSIM評估值，相比于GFMM方法，本發(fā)明中的方法平均PSNR提高了1dB，平均SSIM提高了0.21；相比于GAD方法，本發(fā)明中的方法平均PSNR提高了1.5dB，平均SSIM提高了0.07。同時，從表1中可見，使用GFMM測試所得結(jié)果的平均SSIM評估值低于使用GAD方法測試所得平均SSIM值，而使用GFMM測試所得結(jié)果的PSNR評估值高于使用GAD方法測試所得平均PSNR值，即GFMM方法相對于GAD方法測試所得圖像失真度較小、視覺效果較好，但結(jié)構(gòu)信息保存不如GAD方法。

表1 三種方法平均PSNR和SSIM比較結(jié)果

相比而言，本發(fā)明中提出的方法的SSIM和PSNR評估值均超過GAD和GFMM，即結(jié)構(gòu)信息保存能力強于GAD方法且噪聲信息去除能力強于GFMM方法，因為本發(fā)明中提出的方法能夠更好地保存圖像的紋理結(jié)構(gòu)信息，并降低圖像的失真度。

綜上所述，本發(fā)明公開的改進的塊匹配修復(fù)和聯(lián)合三邊導(dǎo)向濾波圖像增強方法，解決了對Kinect等采集的深度圖像中的空洞正確填充和噪聲去除的問題，實現(xiàn)包括：原始圖像預(yù)處理；標(biāo)記預(yù)處理后圖像中待修復(fù)的未知區(qū)域；計算像素點優(yōu)先級；選取待修復(fù)塊；尋找最佳匹配塊；修復(fù)；判斷；使用聯(lián)合三邊導(dǎo)向濾波對圖像進行處理；圖像增強處理結(jié)束輸出結(jié)果。本發(fā)明通過引入水平集距離因子和擴散時間函數(shù)，改進了基于塊匹配的圖像修復(fù)順序，對原始圖像中存在的結(jié)構(gòu)化空洞進行填充；使用與原始圖像對齊的彩色圖像作為導(dǎo)向圖，綜合考慮距離因子、彩色像素相似性和深度像素相似性，采用聯(lián)合三邊導(dǎo)向濾波對修復(fù)產(chǎn)生的偽紋理和原有的大量噪聲進行去除。視覺效果和量化分析可知，使用本發(fā)明中公開的方法對圖像進行增強處理，得到的結(jié)果圖像能夠很好地保存原始圖像的紋理結(jié)構(gòu)并去除圖像中存在的噪聲信息。

對于本領(lǐng)域技術(shù)人員而言，顯然本發(fā)明不限于上述示范性實施例的細節(jié)，而且在不背離本發(fā)明的精神或基本特征的情況下，能夠以其它的具體形式實現(xiàn)本發(fā)明。因此，無論從哪一點來看，均應(yīng)將實施例看作是示范性的，而且是非限制性的，本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定，因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。