一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明主要涉及數(shù)字圖像修復(fù)技術(shù)，具體涉及一種基于尺度優(yōu)化的數(shù)字圖像修復(fù) 方法。
【背景技術(shù)】
[0002] 圖像修復(fù)指的是對數(shù)字圖像缺失部分進行復(fù)原的過程。數(shù)字圖像修復(fù)是數(shù)字圖像 處理領(lǐng)域中的一個重要的分支，并且也是當(dāng)前計算機視覺領(lǐng)域中的研宄熱點。數(shù)字圖像修 復(fù)技術(shù)有著很廣泛的應(yīng)用背景，比如圖像的劃痕修復(fù)、文本覆蓋的修復(fù)以及圖像中目標(biāo)移 除后的修復(fù)等等。
[0003] 近年來在數(shù)字圖像修復(fù)領(lǐng)域人們提出了很多修復(fù)方法，總體來講，可以分為兩大 類，第一類方法是基于傳播和擴散思想的修復(fù)方法。該方法主要通過含參模型或者偏微分 方程引入平滑優(yōu)先級，將局部結(jié)構(gòu)信息由內(nèi)而外地傳播，達到對數(shù)字圖像進行修復(fù)的目的。 這種修復(fù)方法一般適用于完成對直線、曲線以及小區(qū)域的修復(fù)。第二類方法是基于紋理合 成的修復(fù)方法。該方法主要通過獲取圖像統(tǒng)計信息以及自身相似度的方式對圖像中的缺失 部分進行紋理合成，從而達到對數(shù)字圖像進行修復(fù)的目的。其中一個被人們所熟知的方法 是基于樣例的圖像修復(fù)技術(shù)。隨著對稀疏表示的研宄和不斷發(fā)展，一種基于稀疏度的圖像 修復(fù)技術(shù)被提出。基于樣例和基于稀疏度的圖像修復(fù)技術(shù)對于待修復(fù)圖像中較大缺失區(qū)域 有著較好的修復(fù)效果。
[0004] 在現(xiàn)有技術(shù)中，基于樣例的數(shù)字圖像修復(fù)方法主要是先通過計算待修復(fù)區(qū)域邊界 像素點的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)的位置，然后通過全局計算目標(biāo)塊與匹配塊的相似度 來確定最優(yōu)匹配塊對目標(biāo)塊進行修復(fù)。在這個過程中優(yōu)先權(quán)函數(shù)是否合理，直接影響優(yōu)先 修復(fù)位置，進而影響修復(fù)效果。在全局搜索匹配塊的時候并沒有考慮幾何空間優(yōu)先特性的 信息，從而會導(dǎo)致選取到不合適的匹配塊。另外，實驗表明，不同尺度的匹配塊同樣影響修 復(fù)效果，固定尺度或者無根據(jù)的自適應(yīng)尺度并不能改善修復(fù)效果。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提出一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，以解決現(xiàn)有技術(shù) 中存在的缺陷。在本發(fā)明中，用戶不用任何干預(yù)，系統(tǒng)將自動對待修復(fù)圖像進行識別和修 復(fù)。通過改進優(yōu)先權(quán)函數(shù)，考慮幾何空間優(yōu)先等信息，同時利用平均相似度確定最優(yōu)尺度的 方式，極大地改善了數(shù)字圖像的修復(fù)效果。實驗表明，該方法具有很好的修復(fù)效果。
[0006] 本發(fā)明的技術(shù)方案如下：
[0007] (1)檢測待修復(fù)區(qū)域邊界點，計算邊界像素點的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)位置： 自動識別數(shù)字圖像中的待修復(fù)區(qū)域并且檢測待修復(fù)區(qū)域的邊界；在優(yōu)先權(quán)模型中引入局部 結(jié)構(gòu)乘子，計算每一個邊界像素點的優(yōu)先權(quán)函數(shù)。選取優(yōu)先權(quán)函數(shù)值最大的邊界像素點作 為優(yōu)先修復(fù)位置。
[0008] (2)匹配模型引入距離因素，全局搜索匹配塊：計算目標(biāo)塊和匹配塊的像素值差 異之和作為兩個塊的相似度，同時計算目標(biāo)塊和匹配塊的歐式距離；全局搜索并記錄所有 的相似度和距離。
[0009] (3)計算得到各個尺度下的最優(yōu)匹配塊：在某個候選尺度下全局搜索，結(jié)合相似 度和距離因素，選取該尺度下最優(yōu)匹配塊。
[0010] (4)計算各尺度下最優(yōu)匹配塊與對應(yīng)目標(biāo)塊的平均相似度，選取尺度最優(yōu)的匹配 塊對圖像進行修復(fù)：計算每個最優(yōu)匹配塊的平均像素差異作為平均相似度，取平均相似度 最小的匹配塊作為最終的尺度最優(yōu)匹配塊對圖像進行修復(fù)。
[0011] (5)重復(fù)步驟（1)-(4)直到整幅圖像修復(fù)完成。
【附圖說明】
[0012] 圖1為本發(fā)明中算法流程圖
[0013] 圖2為算法核心模塊示意圖
[0014] 圖3為符號示意圖
[0015] 圖4為修復(fù)效果對比圖1 ;圖中（a)為待修復(fù)圖像；(b)為Criminisi算法修復(fù)效 果；(c)為本發(fā)明修復(fù)效果
[0016] 圖5為修復(fù)效果對比圖2 ;圖中（a)為待修復(fù)圖像；(b)為Criminisi算法修復(fù)效 果；(c)為本發(fā)明修復(fù)效果
【具體實施方式】
[0017] 如圖2所示，基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法的步驟如下：
[0018] 步驟1:檢測待修復(fù)區(qū)域邊界點，計算邊界像素點的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)位 置。
[0019] 輸入待修復(fù)圖像，自動識別圖像中的待修復(fù)區(qū)域以及待修復(fù)區(qū)域邊界。針對待修 復(fù)區(qū)域邊界像素點計算其優(yōu)先權(quán)，在所有邊界像素點中，選取優(yōu)先權(quán)最大的邊界像素點作 為優(yōu)先修復(fù)位置。
[0020] 引入局部結(jié)構(gòu)乘子的優(yōu)先權(quán)模型。
[0021] 在對數(shù)字圖像的修復(fù)過程中應(yīng)多考慮結(jié)構(gòu)信息，這樣修復(fù)后才能盡可能保證圖像 中結(jié)構(gòu)信息完整。本發(fā)明中的優(yōu)先權(quán)模型中引入局部結(jié)構(gòu)乘子G(p)以包含更多結(jié)構(gòu)信息。
[0022] 結(jié)合圖3符號示意圖所示，優(yōu)先權(quán)函數(shù)公式如下： P(P) = G(p) · C(p) (1) 其中，G(p)為包含梯度信息的局部結(jié)構(gòu)乘子，C(p)為置信度項，其計算公式分別為：
【主權(quán)項】
1. 一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征包括以下步驟： (1) 檢測待修復(fù)區(qū)域邊界點，計算邊界像素點的優(yōu)先權(quán)函數(shù)，確定優(yōu)先修復(fù)位置：自動 識別數(shù)字圖像中的待修復(fù)區(qū)域并且檢測待修復(fù)區(qū)域的邊界；在優(yōu)先權(quán)模型中引入局部結(jié)構(gòu) 乘子，計算每一個邊界像素點的優(yōu)先權(quán)函數(shù)；選取優(yōu)先權(quán)函數(shù)值最大的邊界像素點作為優(yōu) 先修復(fù)位置； (2) 匹配模型引入距離因素，全局搜索匹配塊：計算目標(biāo)塊和匹配塊的像素值差異之 和作為兩個塊的相似度，同時計算目標(biāo)塊和匹配塊的歐式距離；全局搜索并記錄所有的相 似度和距離； (3) 計算得到各個尺度下的最優(yōu)匹配塊：分別在每個候選尺度下全局搜索，結(jié)合相似 度和距離因素，選取各尺度下最優(yōu)匹配塊； (4) 計算各尺度下最優(yōu)匹配塊與對應(yīng)目標(biāo)塊的平均相似度，選取尺度最優(yōu)的匹配塊對 圖像進行修復(fù)：計算每個尺度下最優(yōu)匹配塊與目標(biāo)塊的平均像素差異作為平均相似度，取 平均相似度最小的匹配塊作為最終的尺度最優(yōu)匹配塊對圖像進行修復(fù)； (5) 重復(fù)步驟（1)-(4)直到整幅圖像修復(fù)完成。
2. 根據(jù)權(quán)利要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (1) 所述計算邊界像素點的優(yōu)先權(quán)函數(shù)，邊界像素點P處的優(yōu)先權(quán)函數(shù)如下： P(P) = G(p) · C(p) (1) 其中，G(p)為包含梯度信息的局部結(jié)構(gòu)乘子，C(p)為置信度項，其計算公式分別為：
上述公式中，I表示待修復(fù)圖像，Ω表示圖像待修復(fù)區(qū)域，q表示圖像已知區(qū)域中的像 素點，1]%表示以點P為中心的塊；在優(yōu)先權(quán)函數(shù)中引入局部結(jié)構(gòu)乘子，該乘子包含更多梯 度信息，即結(jié)構(gòu)特征，從而可以保證優(yōu)先修復(fù)處于結(jié)構(gòu)特征位置的待修復(fù)區(qū)域，起到優(yōu)化修 復(fù)的作用。
3. 根據(jù)權(quán)利要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (2) 所述匹配模型引入距離因素，在匹配過程中，計算目標(biāo)塊和匹配塊的各像素值差異之和 作為兩個塊的相似度；同時計算目標(biāo)塊和匹配塊的歐式距離；在全局搜索過程中分別記錄 相似度和歐式距離兩項數(shù)據(jù)。
4. 根據(jù)權(quán)利要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (3) 所述在各個尺度下結(jié)合相似度和距離因素計算各尺度下的最優(yōu)匹配塊，其具體過程如 下： 針對每個尺度分別得到最優(yōu)匹配塊； (31) 根據(jù)步驟（2)過程中記錄的相似度信息，將所有的候選匹配塊按照相似度從小到 大排序； (32) 根據(jù)步驟⑵過程中記錄的距離信息，將所有候選匹配塊的復(fù)制版本按照距離從 小到大排序； (33) 根據(jù)上述兩個步驟得到的兩個序列再次運用Border Voting方法綜合排序，綜合 考慮相似度信息和距離信息，得到最終的候選匹配塊排序序列； (34) 選取最終匹配塊排序序列中的第一個匹配塊作為對應(yīng)尺度下的最優(yōu)匹配塊。
5.根據(jù)權(quán)力要求1所述的一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法，其特征在于步驟 (4)所述計算平均相似度選取尺度最優(yōu)的匹配塊對圖像進行修復(fù)，根據(jù)步驟（3)所得到的 各個候選尺度下的最優(yōu)匹配塊，根據(jù)公式（4)計算各自的平均像素差異作為平均相似度：
(4) 其中為目標(biāo)塊p和匹配塊q在尺度i下的相似度，PU為尺度i下塊的面積； minarg (avgSSD (i, q)) (5) 根據(jù)公式（5)確定最優(yōu)尺度i和匹配塊位置q，最后我們用匹配塊％覆蓋目標(biāo)塊<， 從而達到圖像修復(fù)的目的。
【專利摘要】本發(fā)明公開了一種基于尺度優(yōu)化的數(shù)字圖像修復(fù)方法。本發(fā)明首先考慮修復(fù)位置的優(yōu)先權(quán)計算，提出了基于結(jié)構(gòu)乘子的優(yōu)先權(quán)計算模型，充分考慮了優(yōu)先權(quán)計算中的結(jié)構(gòu)信息因素；在修復(fù)塊匹配的過程中，充分考慮幾何空間信息，將距離因素引入到匹配模型中；最后，通過選取最優(yōu)尺度的匹配塊對圖像進行修復(fù)。本發(fā)明不需要人為干預(yù)，可以自動完成圖像修復(fù)任務(wù)。實驗表明，本發(fā)明可以很好地改善傳統(tǒng)方法中優(yōu)先權(quán)的不足，充分保持圖像的空間幾何結(jié)構(gòu)，極大地改善了圖像修復(fù)效果。
【IPC分類】G06T5-00
【公開號】CN104680493
【申請?zhí)枴緾N201510109392
【發(fā)明人】陳志華, 江雷, 袁玉波, 張靜, 應(yīng)方立, 周李奇翰
【申請人】華東理工大學(xué)
【公開日】2015年6月3日
【申請日】2015年3月12日