本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種基于偏移量的圖像修復(fù)方法及裝置。
背景技術(shù):
圖像修復(fù)是一種處理圖像中缺失部分,將缺失部分補(bǔ)全,并使修復(fù)后的結(jié)果看上去自然的技術(shù)。利用圖像修復(fù)技術(shù),可以完成圖像污點(diǎn)去除,全景圖生成,紋理合成,去除水印,文物古跡圖片修復(fù)等應(yīng)用,同時(shí)也可以應(yīng)用到視頻領(lǐng)域,進(jìn)行實(shí)境融合、去除字幕等復(fù)雜操作。
基于圖像結(jié)構(gòu)的連續(xù)性,現(xiàn)有的一個(gè)方案是通過偏微分方程將缺失部分外側(cè)的已知顏色傳播到缺失部分來修復(fù)。這種方案能有效保持圖像原有的結(jié)構(gòu),但是只適用于較小的缺失區(qū)域,如果缺失區(qū)域較大,則修復(fù)的結(jié)果會(huì)模糊缺乏細(xì)節(jié)。
基于圖像的自相似性,現(xiàn)有的一個(gè)方案是沿著缺失部分的邊緣尋找相似塊,將相似塊的像素值填補(bǔ)進(jìn)來,由外至內(nèi)逐漸完成修復(fù)過程。這種方案對(duì)較大的缺失區(qū)域也能保持細(xì)節(jié),但是貪心策略往往會(huì)陷入局部最優(yōu)解,不能有效地保持圖像結(jié)構(gòu)的連續(xù)性。
另一方面,對(duì)單一圖像進(jìn)行修復(fù)時(shí),如果目標(biāo)圖像丟失信息過多,缺少足夠的有用信息,也會(huì)給修復(fù)工作帶來困難。所以圖像修復(fù)需要重點(diǎn)解決的問題是面對(duì)較大的缺失區(qū)域和不足的有用信息,如何在修復(fù)過程中保持圖像的結(jié)構(gòu)連續(xù)性,且使修復(fù)結(jié)果看上去自然。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明提供一種基于偏移量的圖像修復(fù)方法及裝置,該方法能夠有效描述目標(biāo)圖像的結(jié)構(gòu)信息,又能引 入圖像庫的額外信息,使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。
第一方面,本發(fā)明提供一種基于偏移量的圖像修復(fù)方法,包括:
將待修復(fù)的目標(biāo)圖像和圖像庫中的圖像,構(gòu)成圖像立方;
對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊,獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊,r為大于1的自然數(shù);
獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量;所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合;
根據(jù)所述主導(dǎo)偏移量,采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù),獲取修復(fù)后的目標(biāo)圖像;
所述目標(biāo)圖像包括已知區(qū)域和缺失區(qū)域。
可選地,獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量,的步驟包括:
針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊,在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊;
獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量;
采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。
可選地,針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊,在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊,的步驟包括:
采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度,在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊;
其中,Ψx表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊,Ψy為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子,β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù)。
可選地,獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量,的步驟包括:
針對(duì)目標(biāo)圖像塊Ψx找到的最相似的圖像塊Ψy,組成相似塊對(duì)(Ψx,Ψy),若x=(x1,y1),y=(x2,y2),且Ψy屬于所述圖像立方中的第Ik圖像,則Ψx,Ψy之間的相對(duì)三維偏移量為s=(x2-x1,y2-y1,k)。
可選地,采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量,的步驟包括:
針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S={s1,s2,…,sN};
或者,
針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量,組成主導(dǎo)偏移量S={s1,s2,…,sN}。
可選地,所述根據(jù)所述主導(dǎo)偏移量,采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù),獲取修復(fù)后的目標(biāo)圖像,的步驟包括:
采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+sL(x),所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移量指向的圖像立方中的像素點(diǎn);
針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x,為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量sL(x),將所述圖像立方中像素點(diǎn)x+sL(x)的值替換該目標(biāo)像素點(diǎn)x,獲得修復(fù)后的目標(biāo)圖像;所述目標(biāo)像素點(diǎn)為目標(biāo)圖像塊的中心像素點(diǎn),像素點(diǎn)為圖像塊的中心像素點(diǎn);
其中,
L表示一種分配方式,表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量sL(x),E(L)用于衡量所述分配方式的質(zhì)量,N4是四鄰域,α表示用于平衡平滑項(xiàng)Es和數(shù)據(jù)項(xiàng)Ed的平衡系數(shù),Es(L(x),L(y))是平滑項(xiàng),Ed(L(x))為數(shù)據(jù)項(xiàng)。
第二方面,本發(fā)明還提供一種基于偏移量的圖像修復(fù)裝置,包括:
圖像立方構(gòu)成單元,用于將待修復(fù)的目標(biāo)圖像和圖像庫中的圖像,構(gòu)成圖像立方;
圖像塊劃分單元,用于對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊,獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊,r為大于1的自然數(shù);
主導(dǎo)偏移量獲取單元,用于獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量;所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合;
修復(fù)單元,用于根據(jù)所述主導(dǎo)偏移量,采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù),獲取修復(fù)后的目標(biāo)圖像;
所述目標(biāo)圖像包括已知區(qū)域和缺失區(qū)域。
可選地,主導(dǎo)偏移量獲取單元,具體用于
針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊,在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊;
獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量;
采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。
可選地,主導(dǎo)偏移量獲取單元,具體用于
采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度,在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊;
其中,Ψx表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊,Ψy為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子,β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù);
針對(duì)目標(biāo)圖像塊Ψx找到的最相似的圖像塊Ψy,組成相似塊對(duì)(Ψx,Ψy),若x=(x1,y1),y=(x2,y2),且Ψy屬于所述圖像立方中的第Ik圖像,則Ψx,Ψy之間的相對(duì)三維偏移量為s=(x2-x1,y2-y1,k);
針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S={s1,s2,…,sN};
或者,
針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量,組成主導(dǎo)偏移量S={s1,s2,…,sN}。
可選地,所述修復(fù)單元,具體用于
采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+sL(x),所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移量指向的圖像立方中的像素點(diǎn);
針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x,為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量sL(x),將所述圖像立方中像素點(diǎn)x+sL(x)的值替換該目標(biāo)像素點(diǎn)x,獲得修復(fù)后的目標(biāo)圖像,所述目標(biāo)像素點(diǎn)為目標(biāo)圖像塊的 中心像素點(diǎn),像素點(diǎn)為圖像塊的中心像素點(diǎn);
其中,
L表示一種分配方式,表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量sL(x),E(L)用于衡量所述分配方式的質(zhì)量,N4是四鄰域,α表示用于平衡平滑項(xiàng)Es和數(shù)據(jù)項(xiàng)Ed的平衡系數(shù),Es(L(x),L(y))是平滑項(xiàng),Ed(L(x))為數(shù)據(jù)項(xiàng)。
由上述技術(shù)方案可知,本發(fā)明的基于偏移量的圖像修復(fù)方法及裝置,通過圖像立方,獲取主導(dǎo)偏移量,進(jìn)而獲取修復(fù)后的目標(biāo)圖像,該方法既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息,又能引入圖像庫的額外信息,有利于保持目標(biāo)圖像結(jié)構(gòu)的連續(xù)性,提高了修復(fù)結(jié)果的主觀視覺質(zhì)量,使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。
附圖說明
通過閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述,各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的,而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中,用相同的參考符號(hào)表示相同的部件。在附圖中:
圖1為本發(fā)明一實(shí)施例提供的基于偏移量的圖像修復(fù)方法的流程示意圖;
圖2為本發(fā)明一實(shí)施例提供的圖像修復(fù)方法的示意圖;
圖3為本發(fā)明另一實(shí)施例提供的基于偏移量的圖像修復(fù)裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面詳細(xì)描述本發(fā)明的實(shí)施例,所述實(shí)施例的示例在附圖中示出,其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的, 僅用于解釋本發(fā)明,而不能解釋為對(duì)本發(fā)明的限制。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,除非特意聲明,這里使用的單數(shù)形式“一”、“一個(gè)”、“所述”和“該”也可包括復(fù)數(shù)形式。應(yīng)該進(jìn)一步理解的是,本發(fā)明的說明書中使用的措辭“包括”是指存在所述特征、整數(shù)、步驟、操作、元件和/或組件,但是并不排除存在或添加一個(gè)或多個(gè)其他特征、整數(shù)、步驟、操作、元件、組件和/或它們的組。
本技術(shù)領(lǐng)域技術(shù)人員可以理解,除非另外定義,這里使用的所有術(shù)語(包括技術(shù)術(shù)語和科學(xué)術(shù)語),具有與本發(fā)明所屬領(lǐng)域中的普通技術(shù)人員的一般理解相同的意義。還應(yīng)該理解的是,諸如通用字典中定義的那些術(shù)語,應(yīng)該被理解為具有與現(xiàn)有技術(shù)的上下文中的意義一致的意義,并且除非被特定定義,否則不會(huì)用理想化或過于正式的含義來解釋。
圖1示出了本發(fā)明一實(shí)施例提供的基于偏移量的圖像修復(fù)方法的流程示意圖,圖2示出了本發(fā)明一實(shí)施例提供的圖像修復(fù)方法的示意圖,結(jié)合圖1和圖2所示,本實(shí)施例的基于偏移量的圖像修復(fù)方法包括如下步驟:
101、將待修復(fù)的目標(biāo)圖像和圖像庫中的圖像I1~I(xiàn)w,構(gòu)成圖像立方C={I0,I1,…,Iw};
102、對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊,獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊,r為大于1的自然數(shù)。
在本實(shí)施例中,可對(duì)圖像立方中的每一個(gè)圖像,以其中每個(gè)像素點(diǎn)為塊的左上角,將圖像劃分為可重疊的8×8的圖像塊,獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊;本實(shí)施例優(yōu)選r為8、10、16等。
在本實(shí)施例中,目標(biāo)圖像塊的位置由該目標(biāo)圖像塊的中心像素點(diǎn)表示,目標(biāo)圖像塊的像素值為該目標(biāo)圖像塊內(nèi)部所有像素點(diǎn)的像 素值的集合;圖像塊的位置由該目標(biāo)圖像塊的中心像素點(diǎn)表示,圖像塊的像素值為該目標(biāo)圖像塊內(nèi)部所有像素點(diǎn)的像素值的集合。
103、獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量;所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合;
本實(shí)施例中,所述目標(biāo)圖像包括已知區(qū)域Φ和缺失區(qū)域Ω。
104、根據(jù)所述主導(dǎo)偏移量,采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù),獲取修復(fù)后的目標(biāo)圖像。
例如:定義能量方程(如下公式(2))描述圖像修復(fù)的質(zhì)量,求解能量方程,得到最優(yōu)的為每個(gè)未知像素分配一個(gè)主導(dǎo)偏移量的策略,再將偏移量對(duì)應(yīng)的已知像素值填補(bǔ)缺失區(qū)域的未知像素。
可理解的是,本實(shí)施例的圖像修復(fù)時(shí),使用的是用已知像素值修復(fù)未知像素,不是用已知圖像塊塊修復(fù)目標(biāo)圖像塊。本實(shí)施例中前述劃分的圖像塊/目標(biāo)圖像塊是相互重疊的,每個(gè)像素出現(xiàn)在若干個(gè)塊中,基于圖像塊不易修復(fù)。
本實(shí)施例的基于偏移量的圖像修復(fù)方法,通過圖像立方,獲取主導(dǎo)偏移量,進(jìn)而獲取修復(fù)后的目標(biāo)圖像,該方法既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息,又能引入圖像庫的額外信息,有利于保持目標(biāo)圖像結(jié)構(gòu)的連續(xù)性,提高了修復(fù)結(jié)果的主觀視覺質(zhì)量,使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。
在實(shí)際應(yīng)用中,前述步驟103可具體包括下述圖中未示出的子步驟1031至子步驟1033:
1031、針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊,在所述圖像立方中查找與該目標(biāo)圖像塊最相似的圖像塊;
例如:采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度,在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊;
其中,Ψx表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊,Ψy為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子,β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù),d(Ψx,Ψy)即為difference(Ψx,Ψy)。
1032、獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量;
舉例來說,針對(duì)目標(biāo)圖像塊Ψx找到的最相似的圖像塊Ψy,組成相似塊對(duì)(Ψx,Ψy),若x=(x1,y1),y=(x2,y2),且Ψy屬于所述圖像立方中的第Ik圖像,則Ψx,Ψy之間的相對(duì)三維偏移量為s=(x2-x1,y2-y1,k)。
1033、采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。
例如,針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S={s1,s2,…,sN};
或者,針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量,組成主導(dǎo)偏移量S={s1,s2,…,sN}。
相應(yīng)地,前述圖1中所示的步驟104還可包括下述的圖中未示出的子步驟1041和子步驟1042;
1041、采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+sL(x),所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移量指向的圖像立方中的像素點(diǎn);
其中,
L表示一種分配方式,表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量sL(x),E(L)用于衡量所述分配方式的質(zhì)量,N4是四鄰域,α表示用于平衡平滑項(xiàng)Es和數(shù)據(jù)項(xiàng)Ed的平衡系數(shù),Es(L(x),L(y))是平滑項(xiàng),Ed(L(x))為數(shù)據(jù)項(xiàng)。
1042、針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x,為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量sL(x),將所述圖像立方中像素點(diǎn)x+sL(x)的值替換該目標(biāo)像素點(diǎn)x,獲得修復(fù)后的目標(biāo)圖像。
上述方法既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息,又能引入圖像庫的額外信息,使圖像修復(fù)結(jié)構(gòu)更加自然。
下面結(jié)合圖采用具體的實(shí)例對(duì)基于偏移量的圖像修復(fù)方法進(jìn)行說明,本實(shí)施例的基于偏移量的圖像修復(fù)方法包括如下步驟:
A01、對(duì)待修復(fù)的目標(biāo)圖像I0和圖像庫c里的圖像I1~I(xiàn)w,組成圖像立方C={I0,I1,…,Iw};
其中,目標(biāo)圖像I0中的缺失區(qū)域標(biāo)記為Ω,已知區(qū)域標(biāo)記為Φ。
本實(shí)施例中的,每一目標(biāo)圖像均包括缺失區(qū)域Ω和已知區(qū)域Φ。
A02、對(duì)圖像立方C={I0,I1,…,Iw}中的每一個(gè)圖像,以其中每個(gè)像素點(diǎn)為塊的左上角,將圖像劃分為可重疊的8*8的圖像塊,獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊。
A03、對(duì)已知區(qū)域Φ中的每一個(gè)目標(biāo)圖像塊Ψx,在圖像庫c中找到與之最相似的圖像塊Ψy。
其中,目標(biāo)圖像塊Ψx表示以x為中心像素點(diǎn)的目標(biāo)圖像塊。塊相似的度量準(zhǔn)則如下述公式(1)所示,其中是梯度算子。
需要說明的是,公式(1)的計(jì)算方法可以是顏色值的平方差值和(k=2),還可以是絕對(duì)差值(k=1)其他準(zhǔn)則,還可以加入梯度項(xiàng)(β≠0)即||▽?duì)?sub>x-▽?duì)?sub>y||。
具體地,根據(jù)平衡系數(shù)β的取值,求兩個(gè)圖像塊的差異程度可以分為:
當(dāng)β=0時(shí),沒有公式(1)中加號(hào)的后半部分,也就是沒有梯度項(xiàng);
當(dāng)β≠0時(shí),相當(dāng)于加進(jìn)了梯度項(xiàng)。
根據(jù)公式(1)中k的取值,求兩個(gè)塊的差異程度可以分為:
當(dāng)k=1時(shí),表示該公式求的是塊內(nèi)像素之差的絕對(duì)值之和。
當(dāng)k=2時(shí),表示該公式求的是圖像塊內(nèi)像素之差的平方之和。
舉例來說,公式(1)里面的顏色平方差之和和絕對(duì)值之和示意性的說明如下:圖像塊大小以2×2為例:a1~a4、b1~b4是像素值,
A04、在步驟A03中,找到的相似塊對(duì)(Ψx,Ψy),不妨設(shè)x=(x1,y1),而y=(x2,y2),且Ψy屬于圖像Ik,則計(jì)算出Ψx,Ψy之間的相對(duì)三維偏移量為s=(x2-x1,y2-y1,k)。
A05、統(tǒng)計(jì)步驟A03和步驟A04中計(jì)算出的所有的三維偏移量,提取出現(xiàn)次數(shù)最多的三維偏移量總計(jì)N個(gè),組成主導(dǎo)偏移量S={s1,s2,…,sN}。
通常N的取值根據(jù)圖像立方中的圖像數(shù)量可以預(yù)先設(shè)定的如 40,60,80,100等。
A06、定義能量方程:
其中,L表示一種分配方式,表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量,即sL(x)。E(L)衡量了這種分配方式的質(zhì)量,數(shù)值越小質(zhì)量越高。N4是四鄰域,α用來平衡平滑項(xiàng)Es和數(shù)據(jù)項(xiàng)Ed。Es(L(x),L(y))是平滑項(xiàng).
假設(shè)L(x)=i,L(y)=j(luò),則平滑項(xiàng)的定義為:
公式(3)中衡量了相鄰兩個(gè)像素分配的偏移量對(duì)應(yīng)的像素值的在結(jié)構(gòu)上連續(xù)性,保證了缺失區(qū)域內(nèi)部修復(fù)結(jié)果在結(jié)構(gòu)上的連續(xù)性。
另一方面,E(L(x))是數(shù)據(jù)項(xiàng),定義為:
其中,公式(4)中的表示缺失區(qū)域的邊界。當(dāng)未知像素分配的偏移量不能使之找到有效像素點(diǎn)(即落在已知區(qū)域的像素點(diǎn))時(shí),數(shù)據(jù)項(xiàng)給予最大的懲罰(即公式(4)中的+∞就是給一個(gè)無窮大的能量),這保證了最終每個(gè)未知像素都有值可循。
對(duì)于缺失區(qū)域邊界上的像素,則充分考慮修復(fù)時(shí)與邊界外側(cè)已知區(qū)域像素點(diǎn)的連續(xù)程度,保證邊界處過渡自然。
A07、使用圖割算法求解能量方程的最小值,得到最優(yōu)的分配方案L。
A08、對(duì)缺失區(qū)域中的每個(gè)像素點(diǎn),將x+sL(x)處的像素點(diǎn)的像素填補(bǔ)至x處。
根據(jù)以上方法便可以在修復(fù)圖像的過程中,充分利用圖像內(nèi)部 的結(jié)構(gòu)信息,加入圖像庫的額外信息。在實(shí)際應(yīng)用中,會(huì)有更多的先驗(yàn)知識(shí),通過修改上述方程的定義,可以有效地利用這些先驗(yàn)知識(shí),從而更符合實(shí)際情況更準(zhǔn)確地修復(fù)缺失區(qū)域。圖像庫的引入也給本方法提供了更多的靈活性,可以對(duì)目標(biāo)圖像進(jìn)行鏡面對(duì)稱變換,加入到圖像庫中,以更好地利用圖像的自相似性;對(duì)于視頻,可以將相鄰幀加入到圖像庫中,提供豐富的幀間信息;還可以使用相關(guān)的圖像檢索技術(shù),使圖像庫中的圖像與目標(biāo)圖像的相關(guān)程度更高,從而獲得更優(yōu)的修復(fù)結(jié)果。
圖3示出了本發(fā)明另一實(shí)施例提供的基于偏移量的圖像修復(fù)裝置的結(jié)構(gòu)示意圖,如圖3所示,本實(shí)施例的基于偏移量的圖像修復(fù)裝置包括:圖像立方構(gòu)成單元31、圖像塊劃分單元32、主導(dǎo)偏移量獲取單元33和修復(fù)單元34;
其中,圖像立方構(gòu)成單元31用于將待修復(fù)的目標(biāo)圖像和圖像庫中的圖像,構(gòu)成圖像立方;
圖像塊劃分單元32用于對(duì)圖像立方中的每一個(gè)圖像劃分為部分重疊的r×r的圖像塊,獲得目標(biāo)圖像的目標(biāo)圖像塊和圖像的圖像塊,r為大于1的自然數(shù);
主導(dǎo)偏移量獲取單元33用于獲取所述目標(biāo)圖像中已知區(qū)域的圖像塊的主導(dǎo)偏移量;所述主導(dǎo)偏移量為統(tǒng)計(jì)的與所述已知區(qū)域的圖像塊相似的圖像塊的若干偏移量的集合;
修復(fù)單元34用于根據(jù)所述主導(dǎo)偏移量,采用能量方程分配策略對(duì)所述目標(biāo)圖像中缺失區(qū)域的像素點(diǎn)進(jìn)行修復(fù),獲取修復(fù)后的目標(biāo)圖像;
所述目標(biāo)圖像包括已知區(qū)域和缺失區(qū)域。
在一種具體的實(shí)現(xiàn)方式中,前述的主導(dǎo)偏移量獲取單元33可具體用于
針對(duì)所述已知區(qū)域中的每一個(gè)目標(biāo)圖像塊,在所述圖像立方中 查找與該目標(biāo)圖像塊最相似的圖像塊;
獲取每一個(gè)目標(biāo)圖像塊與該目標(biāo)圖像塊最相似的圖像塊的偏移量;
采用統(tǒng)計(jì)方式將所有偏移量中選取部分偏移量組合所述主導(dǎo)偏移量。
舉例來說,主導(dǎo)偏移量獲取單元33具體用于
采用公式(1)計(jì)算兩個(gè)圖像塊之間的差異程度,在所述圖像立方中查找與每一個(gè)目標(biāo)圖像塊差異程度最小的作為最相似的圖像塊;
其中,Ψx表示所述目標(biāo)圖像的已知區(qū)域中以像素值x為中心點(diǎn)的目標(biāo)圖像塊,Ψy為所述圖像立方中以像素值y為中心點(diǎn)的圖像塊,是梯度算子,β表示用于平衡公式(1)中的顏色項(xiàng)和梯度項(xiàng)的平衡系數(shù);
針對(duì)目標(biāo)圖像塊Ψx找到的最相似的圖像塊Ψy,組成相似塊對(duì)(Ψx,Ψy),若x=(x1,y1),y=(x2,y2),且Ψy屬于所述圖像立方中的第Ik圖像,則Ψx,Ψy之間的相對(duì)三維偏移量為s=(x2-x1,y2-y1,k);
針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)大于預(yù)設(shè)閾值的相對(duì)三維偏移量組成主導(dǎo)偏移量S={s1,s2,…,sN};
或者,
針對(duì)所述已知區(qū)域的所有目標(biāo)圖像塊的所有相對(duì)三維偏移量,提取出現(xiàn)次數(shù)最多的N個(gè)相對(duì)三維偏移量,組成主導(dǎo)偏移量S={s1,s2,…,sN}。
在另一種可能的實(shí)現(xiàn)方式中,所述修復(fù)單元34可具體用于,
采用公式(2)確定所述缺失區(qū)域中每一個(gè)目標(biāo)像素點(diǎn)x所選用的修復(fù)像素點(diǎn)x+sL(x),所述修復(fù)像素點(diǎn)為目標(biāo)像素點(diǎn)沿著三維偏移 量指向的圖像立方中的像素點(diǎn);
針對(duì)缺失區(qū)域中的每一目標(biāo)像素點(diǎn)x,為該目標(biāo)像素點(diǎn)x分配一個(gè)主導(dǎo)偏移量sL(x),將所述圖像立方中像素點(diǎn)x+sL(x)的值替換該目標(biāo)像素點(diǎn)x,獲得修復(fù)后的目標(biāo)圖像,所述目標(biāo)像素點(diǎn)為目標(biāo)圖像塊的中心像素點(diǎn),像素點(diǎn)為圖像塊的中心像素點(diǎn);
其中,
L表示一種分配方式,表明對(duì)缺失區(qū)域中位于x的像素分配第L(x)個(gè)主導(dǎo)偏移量sL(x),E(L)用于衡量所述分配方式的質(zhì)量,N4是四鄰域,α表示用于平衡平滑項(xiàng)Es和數(shù)據(jù)項(xiàng)Ed的平衡系數(shù),Es(L(x),L(y))是平滑項(xiàng),Ed(L(x))為數(shù)據(jù)項(xiàng)。
本實(shí)施例的基于偏移量的圖像修復(fù)裝置,通過圖像立方構(gòu)成單元建立圖像立方,進(jìn)而通過主導(dǎo)偏移量獲取單元獲取主導(dǎo)偏移量,進(jìn)而修復(fù)單元獲取修復(fù)后的目標(biāo)圖像,該裝置既能有效描述目標(biāo)圖像的結(jié)構(gòu)信息,又能引入圖像庫的額外信息,有利于保持目標(biāo)圖像結(jié)構(gòu)的連續(xù)性,提高了修復(fù)結(jié)果的主觀視覺質(zhì)量,使目標(biāo)圖像修復(fù)結(jié)構(gòu)更加自然。
通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過硬件實(shí)現(xiàn),也可以借助軟件加必要的通用硬件平臺(tái)的方式來實(shí)現(xiàn)?;谶@樣的理解,本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來,該軟件產(chǎn)品可以存儲(chǔ)在一個(gè)非易失性存儲(chǔ)介質(zhì)(可以是CD-ROM,U盤,移動(dòng)硬盤等)中,包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個(gè)實(shí)施例所述的方法。
本領(lǐng)域技術(shù)人員可以理解附圖只是一個(gè)優(yōu)選實(shí)施例的示意圖,附 圖中的模塊或流程并不一定是實(shí)施本發(fā)明所必須的。
本領(lǐng)域技術(shù)人員可以理解實(shí)施例中的系統(tǒng)中的模塊可以按照實(shí)施例描述進(jìn)行分布于實(shí)施例的系統(tǒng)中,也可以進(jìn)行相應(yīng)變化位于不同于本實(shí)施例的一個(gè)或多個(gè)系統(tǒng)中。上述實(shí)施例的模塊可以合并為一個(gè)模塊,也可以進(jìn)一步拆分成多個(gè)子模塊。
以上所述僅是本發(fā)明的部分實(shí)施方式,應(yīng)當(dāng)指出,對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明原理的前提下,還可以做出若干改進(jìn)和潤飾,這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。