時(shí)空結(jié)合的空洞填充方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于=維圖像技術(shù)領(lǐng)域，更為具體地講，設(shè)及一種時(shí)空結(jié)合的空洞填充方 法。
【背景技術(shù)】
[0002] 隨著3D顯示技術(shù)和3D電視系統(tǒng)的快速發(fā)展與普及，視圖合成引擎（view synthesis engine)已成為3D電視中合成單視點(diǎn)或多視點(diǎn)視頻的重要組成部分。目前視圖 合成引擎中普遍采用基于深度圖像繪制（depth-image-based rendering, DIBR)算法。該 算法根據(jù)參考圖像（reference image)及其對(duì)應(yīng)的深度圖（cbpth map)(即基于深度圖像 的3D視頻或者"V+D"(即一個(gè)視頻及其對(duì)應(yīng)的深度圖像）序列）來(lái)生成任意視點(diǎn)視圖（目 標(biāo)圖像）。與傳統(tǒng)的需要傳遞左右眼兩路視頻的3D視頻相比，采用DIBR技術(shù)之后僅需要傳 送一路視頻及其深度圖就可生成立體圖像（stereoscopic image),而且可W很方便的實(shí)現(xiàn) 二維和S維的切換。正因?yàn)槿绱?，DIBR技術(shù)被廣泛用于視圖合成。然而，由于深度圖中的 深度值存在躍變，DIBR算法所生成的目標(biāo)圖像會(huì)出現(xiàn)較大的空洞。它嚴(yán)重降低了目標(biāo)圖像 的質(zhì)量。如何填充該些空洞是DIBR系統(tǒng)中面臨的主要問(wèn)題。
[0003] 近年來(lái)已經(jīng)提出了許多空洞填充方法。根據(jù)該些方法的技術(shù)特征，可W將它們分 成3類；
[0004] (1)深度圖預(yù)處理：該類方法采用平滑濾波器（smoothing filter)對(duì)深度圖進(jìn)行 平滑，從而減少甚至完全移除空洞。用來(lái)減少/移除空洞的濾波器包括非對(duì)稱高斯濾波器 (asymmetric Gaussian filter)、方向高斯濾波器值irectional Gaussian filter, DG巧 W及非對(duì)稱邊緣自適應(yīng)濾波器（asymmetric edge adaptive filter, AEAF)等等。然而，該 類方法存在的普遍問(wèn)題是會(huì)引入幾何崎變（geometric distortion),造成目標(biāo)圖像質(zhì)量降 低。
[0005] (2)使用多視點(diǎn)視頻；該類方法將2路或多路視頻流（video stream)傳輸?shù)浇邮?端，從而使視圖合成引擎能夠利用多幅參考圖像來(lái)合成一幅目標(biāo)圖像。盡管該方法能夠得 到高品質(zhì)的圖像質(zhì)量，但是在目前的電視傳輸系統(tǒng)中卻很難實(shí)現(xiàn)。例如，根據(jù)高清晰度多媒 體接口（hi曲-definition multimedia inte;rface, HDMI)標(biāo)準(zhǔn) 1. 4 版本，該接口僅傳輸一 路視頻及其深度圖到接收端。因此該種情況下該方法無(wú)法使用。即使可獲得多路視頻，還是 有一些難題待解決。例如，由于每一路視頻流的光照條件有變化，合成的視圖中有可能出現(xiàn) 顏色不一致的現(xiàn)象。如何校正顏色的不一致對(duì)該方法來(lái)說(shuō)是一個(gè)富有挑戰(zhàn)的課題。又如， 傳輸多路視頻會(huì)導(dǎo)致巨大的帶寬需求，也給實(shí)時(shí)處理帶來(lái)了問(wèn)題。
[0006] (3)利用空間信息填充空洞：該類方法通過(guò)在空間域中對(duì)像素進(jìn)行采集來(lái)填充空 洞。該些像素可能來(lái)自當(dāng)前的參考圖像或者目標(biāo)圖像。該類方法的一種典型代表就是圖像 修復(fù)（image inpainting)算法。但是，圖像修復(fù)在多數(shù)情況下復(fù)雜度較高，并且對(duì)大空洞 不穩(wěn)定。上述空洞填充算法只利用了某一時(shí)刻的空間域（spatial domain)中的信息，獲得 的真實(shí)信息有限，所填充的像素也往往給人不自然的感覺(jué)。事實(shí)上，還可W利用視頻序列信 息（即時(shí)間域（temporal domain)中的信息）來(lái)進(jìn)行空洞填充。該樣即使只有一路視頻，也 有可能找到空洞所缺失的真實(shí)內(nèi)容，達(dá)到較好的填充效果。然而目前的研究集中在利用時(shí) 間域信息來(lái)維持所填區(qū)域的時(shí)間一致性（temporal consistency)，而不是空洞填充本身。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種時(shí)空結(jié)合的空洞填充方法，首 先在圖像序列中其他帖中捜索序列-暴露區(qū)域來(lái)進(jìn)行空洞填充，剩余空洞再通過(guò)圖像修復(fù) 算法填充，提高空洞填充效果。
[000引為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明時(shí)空結(jié)合的空洞填充方法包括W下步驟：
[0009] S1 ;對(duì)于采用DIBR算法進(jìn)行S維變換得到的目標(biāo)圖像序列，根據(jù)每帖目標(biāo)圖像生 成對(duì)應(yīng)的非空洞矩陣，生成方法為；如果第t帖目標(biāo)圖像/;中像素點(diǎn)P (X，y)為空洞，非空 洞矩陣應(yīng)的元素值的置為預(yù)設(shè)的負(fù)值a，如果為非空洞點(diǎn)，對(duì)應(yīng)元素值置為 該像素點(diǎn)的深度值；
[0010] S2 ;對(duì)于待填充的第t。帖目標(biāo)圖像/;'，選擇第Vki帖目標(biāo)圖像至第t。-1帖目 標(biāo)圖像、第*。+1帖目標(biāo)圖像至第*沖2帖目標(biāo)圖像構(gòu)成填充圖像源集合，其中ki、k2為大 于等于1的整數(shù)，根據(jù)實(shí)際情況設(shè)置；遍歷填充圖像源集合中的每帖圖像4, i的取值范 圍為i《t〇-l或t〇+l《i《t〇+k2,掃描目標(biāo)圖像巧和圖像巧對(duì)應(yīng)的非空洞矩 降M^。、中每個(gè)像素點(diǎn)對(duì)應(yīng)的元素，如果托y) = a且a < .V) < r，其中 T為預(yù)設(shè)闊值，則將像素點(diǎn)4(x，y)復(fù)制至待填充目標(biāo)圖像巧中像素點(diǎn)巧托3〇處，修改 M若(_r，.v)二的，否則不作任何操作；
[0011] S3 ;采用圖像修復(fù)算法對(duì)目標(biāo)圖像巧中的剩余空洞進(jìn)行填充。
[0012] 本發(fā)明時(shí)空結(jié)合的空洞填充方法，首先根據(jù)待填充的目標(biāo)圖像序列生成非空洞矩 陣，然后對(duì)于待填充目標(biāo)圖像，選擇得到填充圖像源集合，遍歷填充圖像源集合中的每帖圖 像，掃描待填充目標(biāo)圖像和填充圖像源圖像對(duì)應(yīng)的非空洞矩陣中每個(gè)像素點(diǎn)對(duì)應(yīng)的元素， 當(dāng)滿足條件時(shí)即將填充圖像源圖像中的像素點(diǎn)復(fù)制到待填充目標(biāo)圖像的對(duì)應(yīng)空洞像素點(diǎn)， 對(duì)于剩余空洞再采用圖像修復(fù)算法進(jìn)行填充。
[001引本發(fā)明采用填充圖像源集合中的圖像進(jìn)行基于SDR的填充，利用視頻序列時(shí)間域 的一致性，而圖像修復(fù)算法利用的空間域的一致性進(jìn)行空洞填充，采用時(shí)空結(jié)合的方式，從 前后序列帖中獲取可用背景信息進(jìn)行填充，從而顯著地提高了非空洞區(qū)域的真實(shí)性，得到 高質(zhì)量的填充結(jié)果圖像。實(shí)驗(yàn)表明，在前景物體有明顯運(yùn)動(dòng)的情況下，有更多的場(chǎng)景信息暴 露，采用本發(fā)明可W取得比較好的視覺(jué)效果。
【附圖說(shuō)明】
[0014] 圖1是本發(fā)明時(shí)空結(jié)合的空洞填充方法的【具體實(shí)施方式】流程圖；
[0015] 圖2是去除匹配誤差的效果示意圖，其中圖2(a)是經(jīng)過(guò)S維變換后的目標(biāo)圖像及 局部放大圖，圖2(b)是未經(jīng)去除匹配誤差采用本發(fā)明進(jìn)行空洞填充后的目標(biāo)圖像及局部 放大圖，圖2(c)是去除匹配誤差后采用本發(fā)明進(jìn)行空洞填充后的目標(biāo)圖像及局部放大圖；
[0016] 圖3是不同遍歷順序下的填充結(jié)果對(duì)比圖，其中圖3(a)是順序遍歷的填充結(jié)果， 圖3化）是倒序遍歷的填充結(jié)果，圖3 (C)是從相鄰帖開(kāi)始交叉遍歷的填充結(jié)果；
[0017] 圖4是闊值T在不同取值下的填充結(jié)果對(duì)比圖；
[001引圖5是待填充目標(biāo)圖像1的填充結(jié)果對(duì)比圖；
[0019] 圖6是待填充目標(biāo)圖像2的填充結(jié)果對(duì)比圖；
[0020] 圖7是待填充目標(biāo)圖像3的填充結(jié)果對(duì)比圖；
[0021] 圖8是待填充目標(biāo)圖像4的填充結(jié)果對(duì)比圖；
[002引 圖9是Ballet序列前20帖的S種算法PSNR對(duì)比曲線圖；
[002引 圖10是化eakdancers序列前20帖的S種算法PSNR對(duì)比曲線圖。
【具體實(shí)施方式】
[0024] 下面結(jié)合附圖對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行描述，W便本領(lǐng)域的技術(shù)人員更好地 理解本發(fā)明。需要特別提醒注意的是，在W下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許 會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，該些描述在該里將被忽略。
[00巧]實(shí)施例
[0026] 圖1是本發(fā)明時(shí)空結(jié)合的空洞填充方法的【具體實(shí)施方式】流程圖。如圖1所示，本 發(fā)明時(shí)空結(jié)合的空洞填充方法包括W下步驟：
[0027] S101 ;生成目標(biāo)圖像的非空洞矩陣：
[002引對(duì)于采用DIBR算法進(jìn)行S維變換得到的目標(biāo)圖像序列，根據(jù)每帖目標(biāo)圖像生成 對(duì)應(yīng)的非空洞矩陣，生成方法為；如果第t帖目標(biāo)圖像/;.中像素點(diǎn)P (X，y)為空洞，非空洞 矩陣似^對(duì)應(yīng)的元素值置為預(yù)設(shè)的負(fù)值a，如果為非空洞點(diǎn)，對(duì)應(yīng)元素值置為該 像素點(diǎn)的深度值。深度值的范圍為0~255,因此空洞對(duì)應(yīng)的值a是負(fù)值，本實(shí)施例中a =-1。
[0029] S102 ;去除匹配誤差；
[0030] 由于深度圖像中物體的輪廓往往是不精確的，通常前景物體的輪廓比由于深度圖 像中前景物體的輪廓比參考圖像中前景物體的輪廓要小，即深度圖像中前景物體的外圍往 往被設(shè)置成了背景物體的深度值，因而通過(guò)=維圖像變換后，有可能出現(xiàn)前景物體邊緣的 一些像素點(diǎn)被投影遠(yuǎn)離前景而和背景像素點(diǎn)在一起的現(xiàn)象。對(duì)于右視圖，在較大空洞的右 邊緣將會(huì)不準(zhǔn)確（即有前景中的像素點(diǎn)存在，稱之為匹配誤差），對(duì)于左視圖，在較大空洞 的左邊緣將會(huì)不準(zhǔn)確。因此可W首先采用膨脹空洞的方式對(duì)目標(biāo)圖像進(jìn)行預(yù)處理，W去除 匹配誤差。
[0031] 下面W目標(biāo)圖像為右視圖為例，對(duì)膨脹空洞方法進(jìn)行說(shuō)明。首先，按行W從左到右 的順序遍歷當(dāng)前帖目標(biāo)圖像對(duì)應(yīng)的非空洞矩陣M；，檢測(cè)空洞，即如果值為-1，貝。 目標(biāo)圖像中相同位置的像素點(diǎn)為空洞像素點(diǎn)，記錄空洞的終