一種基于顯著圖的可變塊圖像修復方法
【專利摘要】一種基于顯著圖的可變塊圖像修復方法，包括：1)、利用模擬生物體視覺注意機制的選擇性注意模型，生成待修復圖像的顯著圖；2)、計算未知區(qū)域邊界上的各點為中心的塊內(nèi)的可信度、結構信息及顯著度項，獲得修復優(yōu)先級；并以優(yōu)先級最高的點為中心的塊作為待修復塊；3)、根據(jù)待修復塊周圍已知的像素均值、梯度及顯著度變化調(diào)整塊大?。?)、在已知區(qū)域搜索最匹配的塊來填充待修復塊內(nèi)的像素；并更新修復像素的可信度和顯著度；循環(huán)步驟2)-4)直至圖像修復畢。其利用待修復圖像的顯著信息改進修復的優(yōu)先級，大大緩解了傳統(tǒng)修復的貪婪問題；同時能根據(jù)待修復區(qū)域周圍環(huán)境調(diào)整塊大小，滿足不同的修復需求。
【專利說明】一種基于顯著圖的可變塊圖像修復方法
【技術領域】
[0001]本發(fā)明屬于計算機視覺、計算機圖形學領域，特別涉及一種基于顯著圖的可變塊圖像修復方法。
技術背景
[0002]圖像修補技術具有廣泛的應用領域，主要包括受損照片修復和數(shù)字視覺特效兩大方面。由于保管條件或人為等種種因素，一些具有極高的收藏價值和歷史價值的美術作品或老照片出現(xiàn)裂痕和劃痕，因此對這些文物和數(shù)據(jù)進行修復具有十分重要的意義。通過數(shù)字圖像修補技術，只需確定待修復的區(qū)域，計算機就可以按照指定的算法進行修復，避免了手工修復耗費的大量時間。同時，在數(shù)字視覺特效制作和虛擬現(xiàn)實領域方面的應用主要涉及物體的移除和場景編輯。具體應用包括對獲取的場景照片中的闖入者或者固定遮擋物的移除。
[0003]圖像修復的問題可以如下概括:給定一幅圖像，可能有殘缺部分或者有需要移除的部分，然后以一種符合視覺需求的方式填補待修復區(qū)域。盡管圖像修復的問題看起來簡單，但是要使修復后的圖像盡如人意卻是非常之難。近些年涌現(xiàn)出大量的圖像修補算法，而其大概可以歸為三類:基于統(tǒng)計的方法，基于偏微分方程的方法，基于塊的方法。
[0004]基于統(tǒng)計的方法主要用在紋理合成上，通過參數(shù)統(tǒng)計模型提取輸入紋理的統(tǒng)計數(shù)據(jù)，再調(diào)整輸出圖像直到其統(tǒng)計數(shù)據(jù)與輸入相匹配。這類方法的主要缺點是其統(tǒng)計模型只適用于紋理合成，對包含結構信息的圖像修復效果不佳?；谄⒎址匠痰姆椒▽D像修補看作是將空洞周圍已知像素作為邊界條件下的偏微分方程或變分求解問題，因此圖像修補變成已知信息向丟失信息區(qū)域的擴散過程?；谄⒎址匠痰姆椒梢院芎玫谋４娼Y構信息，然而在處理較大信息丟失區(qū)域或者紋理豐富的圖片時，會產(chǎn)生模糊的修補結果。
[0005]而至今為止修復效果最好一類的就是基于塊的方法，這些方法以塊為單位，通過復制已知區(qū)域的內(nèi)容到未知區(qū)域來實現(xiàn)修復。然而這些方法受限于兩點:其修復的貪婪性和塊大小選擇對修復效果的影響。盡管已有一些基于全局最優(yōu)的方法試圖解決其貪婪性，然而結果表明這些方法只是減輕其貪婪性，同時帶來了大量的計算復雜度。同樣的，在塊大小選擇的問題上，如果塊選擇過小，則不能充分考慮局部的紋理特性，如果塊選擇過大則可能導致塊內(nèi)包含過多結構信息，不利于修復。同時，塊過大也易受視差和小角度旋轉(zhuǎn)的影響。一般方法都是人為的選擇比能包含已知區(qū)域最大可分辨紋理的塊大小，而很多情況下同樣的塊大小不能滿足所有未知區(qū)域修復的要求。
[0006]本發(fā)明在基于塊的方法基礎上，利用顯著信息減輕修復過程中的貪婪問題，同時根據(jù)待修復區(qū)域周圍環(huán)境選擇塊大小以滿足不同的修復需求。

【發(fā)明內(nèi)容】

[0007]為了克服現(xiàn)有數(shù)字圖像修補技術存在的上述問題，本發(fā)明提供一種基于顯著圖的可變塊圖像修復方法，其根據(jù)待修復圖像的已知區(qū)域信息修復未知區(qū)域得到視覺上合理的修復圖像，以待修復圖像的顯著信息來改進修復的優(yōu)先級，緩解修復過程中的貪婪問題，同時可以根據(jù)塊周圍的環(huán)境調(diào)整塊大小以滿足不同的修復需求。
[0008]本發(fā)明提供的基于顯著圖的可變塊圖像修復方法，包括以下步驟:
[0009]I)、輸入含有已知區(qū)域及未知區(qū)域的待修復圖像，利用模擬生物體視覺注意機制的選擇性注意模型，根據(jù)像素點顏色、亮度、方向特征與周邊背景特征的對比，得到待修復圖像所有點的顯著度構成一張顯著圖；
[0010]2)、確定未知區(qū)域邊界上的點的修復優(yōu)先級，分別計算每一點為中心的塊內(nèi)的可信度——已知像素百分比，結構信息及顯著度項，將三者的乘積作為修復優(yōu)先級；并選出優(yōu)先級最高的點為中心的塊作為待修復塊；
[0011]3)、在待修復塊周圍不同像素大小(如5*5，7*7，…，17*17)的塊中，找出相鄰的塊之間已知的像素均值、梯度及顯著度變化最大的相鄰塊，調(diào)整待修復塊的大小為該相鄰塊中較小塊的大小(即選擇該相鄰塊中較小塊的大小作為待修復塊的大小)；使調(diào)整后的待修復塊與該相鄰塊中較大塊內(nèi)已知的像素均值、梯度及顯著度變化最大；
[0012]4)、依據(jù)待修復塊內(nèi) 像素顏色值及平均顯著度，在已知區(qū)域搜索最匹配的塊來填充待修復塊內(nèi)的像素；然后根據(jù)匹配代價更新已修復像素的可信度，并利用該匹配塊內(nèi)平均顯著度更新修復像素的顯著度；其中，該匹配代價是待修復塊與搜索到的最匹配塊內(nèi)像素顏色值的歐氏距離和顯著度的差的絕對值；
[0013]循環(huán)重復步驟2)-4)，直至填滿待修復圖像的未知區(qū)域內(nèi)的所有像素。
[0014]上述圖像修復方法中，采用的一種待修復圖像的顯著圖生成方法，包括以下步驟:
[0015](11)先將待修復圖像表示成9層的高斯金字塔，其中第O層是待修復圖像，1-8層分別是用5*5的高斯濾波器對待修復圖像進行濾波和采樣形成的圖像，大小分別為待修復圖像的1/2到1/256 ;并分別提取高斯金字塔每一層的亮度1、紅色R、綠色G、藍色B、黃色Y及方向O特征，形成特征金字塔；同時對各種特征分別在特征金字塔的不同尺度間作差；
[0016](12)把上述得到的每一個特征圖歸一化到區(qū)間[01]，然后分別把每一種歸一化后的特征圖逐點求和，得到對應于每一種特征的顯著圖，綜合所有特征的顯著性，得到對應于待修復圖像的顯著圖。
[0017]步驟(11)中，所述亮度1、紅色R、綠色G、藍色B、黃色Y特征公式分別為:
[0018]I = (r+g+b) /3
[0019]R = r- (g+b) /2
[0020]G = g- (r+b) / 2
[0021]B = b- (r+g) /2
[0022]Y= (r+g)/2-1 r_g I/2_b
[0023]其中，r，g, b分別對應待修復圖像的紅、綠、藍三通道；
[0024]所述方向O特征由方向Gabor濾波0(σ, Θ)對金字塔σ e [0..8]和方向Θ e {0°，45° ,90° , 135° }分別濾波得到；
[0025]步驟(12)歸一化之前，進一步可對每個特征圖分別用二維高斯差函數(shù)進行卷積，并把卷積結果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭，卷積和迭代過程進行2-5次，以消除干擾噪聲突出顯著部分。[0026]本發(fā)明是傳統(tǒng)基于塊修復技術的一種改進圖像修復方法，其利用待修復圖像的顯著信息改進修復的優(yōu)先級，大大緩解了修復過程中的貪婪問題；同時能根據(jù)待修復區(qū)域周圍環(huán)境調(diào)整塊大小，滿足不同的修復需求。
[0027]修復算法基本自動化運行，需要很少的人工干預，特別適合于修復出現(xiàn)裂痕或缺損的具有極高收藏價值美術作品、老照片。
【專利附圖】

【附圖說明】
[0028]圖1為本發(fā)明方法總流程圖；
[0029]圖2為采用本發(fā)明方法的修復實例I效果圖；
[0030]圖3a、3b為采用本發(fā)明方法的修復實例2結果圖和原圖。
【具體實施方式】
[0031]以下結合附圖及實例本發(fā)明基于顯著圖的可變塊圖像修復方法作詳細說明。
[0032]參照圖1，基于顯著圖的可變塊圖像修復方法包括以下步驟:
[0033]I)、輸入待修復圖像生成已知區(qū)域顯著圖，如圖2中的(a)所示修復前原圖，Ω表示未知區(qū)域，Φ表示已知區(qū)域。
[0034](11)、特征的提取:先把待修復圖像表示成9層的高斯金字塔。其中第O層是輸入圖像，I到8層分別是用5*5的高斯濾波器對輸入圖像進行濾波和采樣形成的圖像，大小分別為輸入圖像的1/2到1/256。然后對金字塔每一層分別提取各種特征:亮度1、紅色R、綠色G、藍色B、黃色Y及方向O特征，形成特征金字塔。
[0035]方向特征由方向Gabor濾波O ( σ，Θ )對金字塔σ e [0..8]和方向Θ e {0°，45° ,90° ,135° }分別濾波得到。其他特征公式如下:
[0036]I = (r+g+b) /3
[0037]R = r- (g+b) /2
[0038]G = g- (r+b) /2
[0039]B = b- (r+g) /2
[0040]Y = (r+g) /2-1 r-g | /2~b
[0041]r, g, b分別對應待修復圖像的紅綠藍三通道。
[0042]同時對各種特征分別在特征金字塔的不同尺度間作差。作差得到的是中心(尺度c)和外周(尺度s)的特征的對比，表示中心和外周的局部方向特征的對比。
[0043](12)、顯著圖生成:把每一個上述得到的特征圖歸一化到區(qū)間[01]，以消除和特征相關的幅度差別。為了消除干擾噪聲突出顯著部分，對每個特征圖M分別用二維高斯差函數(shù)進行卷積，并把卷積結果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭。卷積和迭代過程進行2-5次，這樣可以讓少數(shù)幾個最顯著的點均勻分布在整個特征圖上，從而每個特征圖上只保留少數(shù)的幾個顯著點，在疊加多個特征圖時能把多種顯著特征的點突現(xiàn)出來。接下來分別把每一種歸一化后的特征圖逐點求和(采樣到第4尺度)，得到對應于每一種特征的顯著圖，綜合所有特征的顯著性，就得到對應于待修復圖像的顯著圖S [如圖2中的(b)圖)。
[0044]2)、對未知區(qū)域邊界上的點p，分別計算以P點為中心、9X9像素塊內(nèi)可信度C(p)、結構信息D (P)及顯著度項S (P),
【權利要求】
1.一種基于顯著圖的可變塊圖像修復方法，包括以下步驟: 1)、輸入含有已知區(qū)域及未知區(qū)域的待修復圖像，利用模擬生物體視覺注意機制的選擇性注意模型，根據(jù)像素點顏色、亮度、方向特征與周邊背景特征的對比，得到待修復圖像所有點的顯著度構成一張顯著圖； 2)、確定未知區(qū)域邊界上的點的修復優(yōu)先級，分別計算每一點為中心的塊內(nèi)的可信度——已知像素百分比，結構信息及顯著度項，將三者的乘積作為修復優(yōu)先級；并選出優(yōu)先級最高的點為中心的塊作為待修復塊； 3)、在待修復塊周圍不同像素大小的塊中，找出相鄰的塊之間已知的像素均值、梯度及顯著度變化最大的相鄰塊，調(diào)整待修復塊的大小為該相鄰塊中較小塊的大?。? 4)、依據(jù)待修復塊內(nèi)像素顏色值及平均顯著度，在已知區(qū)域搜索最匹配的塊來填充待修復塊內(nèi)的像素；然后根據(jù)匹配代價更新已修復像素的可信度，并利用該匹配塊內(nèi)平均顯著度更新修復像素的顯著度； 循環(huán)重復步驟2)-4)，直至填滿待修復圖像的未知區(qū)域內(nèi)的所有像素。
2.如權利要求1所述的圖像修復方法，其特征是，所述步驟I)顯著圖的生成方法是: (11)先把待修復圖像表示成9層的高斯金字塔，其中第O層是待修復圖像，1-8層分別是用5*5的高斯濾波器對待修復圖像進行濾波和采樣形成的圖像，大小分別為待修復圖像的1/2到1/256 ;并分別提取高斯金字塔每一層的亮度1、紅色R、綠色G、藍色B、黃色Y及方向O特征，形成特征 金字塔；同時對各種特征分別在特征金字塔的不同尺度間作差； (12)把上述得到的每一個特征圖歸一化到區(qū)間[01]，然后分別把每一種歸一化后的特征圖逐點求和，得到對應于每一種特征的顯著圖，綜合所有特征的顯著性，得到對應于待修復圖像的顯著圖。
3.如權利要求2所述的圖像修復方法，其特征是，步驟(11)中所述亮度1、紅色R、綠色G、藍色B、黃色Y特征公式分別為:
I = (r+g+b)/3
R = r- (g+b)/2
G = g- (r+b) /2
B = b- (r+g) /2
Y= (r+g)/2-|r-g|/2-b 其中，r，g, b分別對應待修復圖像的紅、綠、藍三通道； 所述方向O特征由方向Gabor濾波O ( σ，Θ )對金字塔σ e [0..8]和方向Θ e {O。，45° ,90° , 135° }分別濾波得到。
4.如權利要求2所述的圖像修復方法，其特征是，步驟(12)歸一化之前，進一步對每個特征圖分別用二維高斯差函數(shù)進行卷積，并把卷積結果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭，卷積和迭代過程進行2-5次，以消除干擾噪聲突出顯著部分。
5.如權利要求2所述的圖像修復方法，其特征是，步驟2)中所述點的修復優(yōu)先級確定方法如下: 設P點為未知區(qū)域邊界上的點，以算式P(P) = C(P)D(P)S(P)計算P點的修復優(yōu)先級P(P)，其中C(p)、D(p)、S(p)分別為以P點為中心、9X9像素塊內(nèi)的可信度、結構信息及顯著度項；
6.一種待修復圖像的顯著圖生成方法，其特征是包括以下步驟: (11)先將待修復圖像表示成9層的高斯金字塔，其中第O層是待修復圖像，1-8層分別是用5*5的高斯濾波器對待修復圖像進行濾波和采樣形成的圖像，大小分別為待修復圖像的1/2到1/256 ;并分別提取高斯金字塔每一層的亮度1、紅色R、綠色G、藍色B、黃色Y及方向O特征，形成特征金字塔；同時對各種特征分別在特征金字塔的不同尺度間作差； (12)把上述得到的每一個特征圖歸一化到區(qū)間[01]，然后分別把每一種歸一化后的特征圖逐點求和，得到對應于每一種特征的顯著圖，綜合所有特征的顯著性，得到對應于待修復圖像的顯著圖。
7.如權利要求6所述的方法，其特征是，步驟(11)中所述亮度1、紅色R、綠色G、藍色B、黃色Y特征公式分別為:
I = (r+g+b)/3
R = r- (g+b)/2
G = g- (r+b) /2
B = b- (r+g) /2
Y= (r+g)/2-|r-g|/2-b 其中，r，g, b分別對應待修復圖像的紅、綠、藍三通道； 所述方向O特征由方向Gabor濾波O ( σ，Θ )對金字塔σ e [0..8]和方向Θ e {O。，45° ,90° , 135° }分別濾波得到； 步驟(12)歸一化之前，進一步對每個特征圖分別卷積，并把卷積結果疊加回原特征圖，使同種特征以側(cè)抑制的方式在空間上競爭，卷積和迭代過程進行2-5次，以消除干擾噪聲突出顯著部分。
【文檔編號】G06T5/00GK103971338SQ201410188179
【公開日】2014年8月6日 申請日期:2014年5月6日 優(yōu)先權日:2014年5月6日
【發(fā)明者】王好謙, 李政芝, 戴瓊海 申請人:清華大學深圳研究生院