一種基于svd相似矩陣的圖像修復(fù)方法
【專利摘要】本發(fā)明公開(kāi)了一種基于SVD相似矩陣的圖像修復(fù)方法，包括：(1)將待修復(fù)圖像進(jìn)行SVD分解，通過(guò)將相應(yīng)的奇異值置為零的操作，得到待修復(fù)圖像的相似矩陣；(2)以待修復(fù)區(qū)域邊界上的每一像素為中心指定待修復(fù)圖像塊，在所述相似矩陣中查找對(duì)應(yīng)的最相似圖像塊；(3)將所述最相似圖像塊的像素值賦給所述待修復(fù)圖像塊；(4)更新整個(gè)待修復(fù)區(qū)域，并重復(fù)步驟(2)～(3)，直到完成圖像修復(fù)。本發(fā)明提出的基于SVD相似矩陣的圖像修復(fù)方法，通過(guò)對(duì)圖像進(jìn)行SVD分解，并通過(guò)處理奇異值來(lái)得到相似矩陣，能夠一定程度移除待修復(fù)區(qū)域，使得最終修復(fù)的圖像在視覺(jué)上更加連續(xù)；對(duì)于缺失區(qū)域較大的場(chǎng)景，也能夠有一定程度的效果提升。
【專利說(shuō)明】
一種基于SVD相似矩陣的圖像修復(fù)方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及計(jì)算機(jī)圖像處理領(lǐng)域，深度學(xué)習(xí)領(lǐng)域，以及矩陣分解、奇異值等相關(guān)數(shù) 學(xué)知識(shí)，具體涉及一種基于SVD相似矩陣的圖像修復(fù)方法。
【背景技術(shù)】
[0002] 圖像修復(fù)就是重建一幅圖像中的缺失區(qū)域的過(guò)程，通常會(huì)使用缺失區(qū)域周圍的像 素信息。修復(fù)的目的，就是構(gòu)建一幅完整的人眼"可觀察"的正常圖像。
[0003] 圖像修復(fù)最早是由Bertalmio等人提出的，常見(jiàn)的一些修復(fù)方法都是基于PDE的， 也就是通過(guò)解偏微分方程的的方程完成修復(fù)。Dallester等人基于變分提出了一種新的偏 微分方程;Levin等人提出了一種基于梯度域的圖像修復(fù)方法;Alilou等人提出了一種使用 GRNN神經(jīng)網(wǎng)絡(luò)的方法，但是對(duì)于紋理豐富，缺損區(qū)域較大的圖像，這些方法都有其局限性。
[0004] 近期，Xu 和Sun(Zongben X，Sun J(2010)Image inpainting by patch propagation using patch sparsity. IEEE Trans Image Process 19(5): 1153-1165)利 用稀疏表達(dá)的思想，提出了一種基于實(shí)例的修復(fù)方法，但是這種方法需要一個(gè)先驗(yàn)，即假設(shè) 缺失區(qū)域可以用候選的圖像塊的線性組合來(lái)表達(dá)。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明提供了一種基于SVD相似矩陣的圖像修復(fù)方法，該方法包括，計(jì)算待修復(fù)圖 像的相似矩陣，選擇的過(guò)程對(duì)圖像塊進(jìn)行了奇異值分解，并依次將奇異值置零以得到相似 矩陣。然后，利用神經(jīng)網(wǎng)絡(luò)、SS頂、MSE等相關(guān)方法查找相似patch，進(jìn)而完成圖像的修復(fù)。
[0006] -種基于SVD相似矩陣的圖像修復(fù)方法，包括：
[0007] (1)將待修復(fù)圖像進(jìn)行SVD分解，通過(guò)將相應(yīng)的奇異值置為零的操作，得到待修復(fù) 圖像的相似矩陣；
[0008] (2)以待修復(fù)區(qū)域邊界上的每一像素為中心指定待修復(fù)圖像塊，在所述相似矩陣 中查找對(duì)應(yīng)的最相似圖像塊；
[0009] (3)將所述最相似圖像塊的像素值賦給所述待修復(fù)圖像塊；
[0010] (4)更新整個(gè)待修復(fù)區(qū)域，并重復(fù)步驟(2)~(3)，直到完成圖像修復(fù)。
[0011] 在步驟(1)中的相似矩陣In，按照以下公式得到：
[0012] In=UxSxV
[0013] 其中，U，V為所述待修復(fù)圖像通過(guò)奇異值分解得到的左、右奇異矩陣，S~為奇異值 分解得到的對(duì)角矩陣中部分對(duì)角元素置零后的近似奇異值矩陣。
[0014] 在步驟（1)中利用神經(jīng)網(wǎng)絡(luò)模型計(jì)算待修復(fù)圖像與相似矩陣的相似性，并與閾值 比較，如果相似性小于等于閾值，則完成相似矩陣的計(jì)算；如果相似性大于閾值，則將對(duì)角 矩陣中對(duì)角元素逐個(gè)置零迭代計(jì)算，之子獲得最終的相似矩陣。
[0015] 在步驟(1)中奇異值分解得到的對(duì)角矩陣為S，
[0018]在步驟(2)中獲取最相似圖像塊時(shí)，在相似矩陣中按照間隔2個(gè)像素、從左往右、從 上往下的規(guī)律，依次掃描得到各個(gè)待選圖像塊，再計(jì)算和比較各待選圖像塊與待修復(fù)圖像 塊的相似性以及關(guān)系。
[0019 ]在步驟(2)中各待選圖像塊與待修復(fù)圖像塊的相似性為：
[0021]其中，x，y表示待比較的待修復(fù)圖像塊和待選圖像塊，μχ，μγ為x，y的均值，〇 x，oy為 X，y的標(biāo)準(zhǔn)差，〇Xy為X，y的協(xié)方差，ci、C2為常數(shù)。
[0022]在步驟(2)中各待選圖像塊與待修復(fù)圖像塊的關(guān)系為：
[0024] Px為待修復(fù)圖像塊；
[0025] Py為待選圖像塊；
[0026] 其中η表示Px中已經(jīng)填充的像素的個(gè)數(shù)；
[0027] 所述最相似圖像塊為的simx,y值最小的待選圖像塊。
[0028] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果為：
[0029] (1)本發(fā)明提出一種基于SVD相似矩陣的圖像修復(fù)方法，通過(guò)采用相似矩陣，能夠 一定程度移除待修復(fù)區(qū)域，這樣可以使最最終修復(fù)的圖像視覺(jué)上更加連續(xù)。
[0030] (2)本發(fā)明提出的基于SVD相似矩陣的圖像修復(fù)方法，對(duì)于缺失區(qū)域較大的場(chǎng)景， 也能夠有一定程度的效果提升。
【具體實(shí)施方式】
[0031] 下面將結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。本發(fā)明基于SVD相似矩陣的圖像 修復(fù)方法主要步驟如下：
[0032] (1)記輸入的待修復(fù)圖像為1(本實(shí)施中，I的大小為256X256)，標(biāo)記待修復(fù)區(qū)域?yàn)?Ω 0
[0033] (2)指定待修復(fù)區(qū)域的邊界像素點(diǎn)集合為3Ω。如果Ω為空，則處理過(guò)程結(jié)束。
[0034] (3)對(duì)輸入的圖像做如下初步修復(fù)操作：
[0035] (3-1)對(duì)圖像I做SVD分解：
[0036] [U S V]=SVD(I)
[0037] 其中，SVD表示奇異值分解操作，U，S，V分別表示最終分解得到的左奇異矩陣、對(duì)角 矩陣和右奇異矩陣。
[0038] (3-2)記上述分解得到的對(duì)角矩陣S的對(duì)角元素為811，微，幻3...~ 11，其中11為奇異 值個(gè)數(shù)(本實(shí)施中，n = 256)，且滿足S11彡S22彡S33彡...s?彡0,現(xiàn)進(jìn)行以下迭代操作：
[0039] (3-2-1)令8"1 = 0，計(jì)算/"=￡/\(^廠，其中1]，￥為步驟(3-1)計(jì)算得到的左、右奇異 矩陣，g是將S最后奇異值s?改為零后得到的矩陣，符號(hào)表示為：
[0041] (3_2_2)參考"Zagoruyko,Sergey,and Nikos Komodakis.Learning to compare image patches via convolutional neural networks(2015)"提出的神經(jīng)網(wǎng)絡(luò)（文中已給 出訓(xùn)練好的模型），計(jì)算I、In之間的相似性s(I，I n):
[0042] 首先，將I、In均分為64 X 64的圖像塊對(duì)，具體實(shí)施時(shí)，共有16對(duì)圖像塊;其次，將每 一對(duì)圖像塊，分別輸入上述神經(jīng)網(wǎng)絡(luò)，經(jīng)過(guò)一系列的卷積層、ReLU激活層、池化層，最終進(jìn)入 到一個(gè)稱為"decision network"的網(wǎng)絡(luò)結(jié)構(gòu);最后，通過(guò)上述網(wǎng)絡(luò)結(jié)構(gòu)，經(jīng)數(shù)據(jù)處理后輸出 一個(gè)相似性度量值，即求得I、^的相似性s(I，I n)。
[0043] 整個(gè)數(shù)據(jù)的處理過(guò)程是end-to-end的，中間不需要手動(dòng)的操作，或是添加額外的 信息。
[0044] (3-2-3)將計(jì)算得到的s(I，In)值與一個(gè)閾值thr = 0.6比較，如果小于等于閾值， 則迭代停止，進(jìn)行步驟(4)，此時(shí)的"近似"圖像J"=i/x互χΓ，記為T ;如果大于閾值，則令η =η-1，返回（3-2-1)繼續(xù)迭代。
[0045] (4)檢查待修復(fù)區(qū)域Ω，如果不為空，則標(biāo)明待修復(fù)區(qū)域Ω中的邊界像素點(diǎn)，其集 合記為T bcmndary;如果為空，則整個(gè)處理過(guò)程結(jié)束。
[0046] (5)對(duì)于Tbcmndary中的每個(gè)元素X，即待修復(fù)區(qū)域邊界上的一個(gè)像素點(diǎn)，以其為中 心，大小為h(本實(shí)施中，h = 11 X 11)的圖像塊兒Px，進(jìn)行以下處理：
[0047] (5-1)在圖像T中，提取同樣大小為h的圖像塊兒Py(圖像T中的每個(gè)元素 y，即圖 像T上的一個(gè)像素點(diǎn)，都對(duì)應(yīng)一個(gè)圖像塊。具體實(shí)施中，按照大小為h、間隔2個(gè)像素、從左往 右、從上往下的規(guī)律，依次掃描圖像T得到圖像塊兒P y)，然后，按照以下公式，計(jì)算兩圖像塊 Px與Py之間的相似性：
[0049] 其中，X，y表示兩個(gè)待比較的圖像塊Px、Py，μχ，μγ為X，y的均值(像素值加和后除以 總的像素個(gè)數(shù)），σ χ，〇y為X，y的標(biāo)準(zhǔn)差，〇Xy為X，y的協(xié)方差，C1、C2為較小的常數(shù)(具體實(shí)施時(shí)， ci = 6.5,C2 = 58.5) 〇
[0050] (5-2)將上述計(jì)算得到的SSIM(x，y)值從小到大排序，選擇前K個(gè)SS頂(x，y)對(duì)應(yīng)的 圖像塊P y，形成的集合記為C，這里K表示被選擇的圖像塊兒的個(gè)數(shù)，一般取值為
(其中L」表示"向下取整"，比如1Λ9」=4 ;img_width表示輸入 圖像I的寬，img_height表示輸入圖像I的高，具體實(shí)施中K = 256)。
[0051] (5-3)對(duì)于C中的每一個(gè)圖像塊Py，按照以下公式計(jì)算與初提取的圖像塊Ρ χ之間的 關(guān)系：
[0053] 其中η表示Px中已經(jīng)填充的像素的個(gè)數(shù)(未填充的意味著尚待修復(fù)），SS頂(x，y)即 為上述所計(jì)算的值。
[0054] (5-4)根據(jù)計(jì)算得到的simx,y找到最小的那個(gè)值，該值對(duì)應(yīng)圖像T中的圖像塊為 然后，將Px中位于修復(fù)區(qū)域Ω中的像素，置為對(duì)應(yīng)的^中相應(yīng)位置的像素值。
[0055] (6)將邊界像素點(diǎn)集合·從Ω中移除，即更新Ω，返回⑵繼續(xù)執(zhí)行。
【主權(quán)項(xiàng)】
1. 一種基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，包括： (1) 將待修復(fù)圖像進(jìn)行SVD分解，通過(guò)將相應(yīng)的奇異值置為零的操作，得到待修復(fù)圖像 的相似矩陣； (2) W待修復(fù)區(qū)域邊界上的每一像素為中屯、指定待修復(fù)圖像塊，在所述相似矩陣中查 找對(duì)應(yīng)的最相似圖像塊； (3) 將所述最相似圖像塊的像素值賦給所述待修復(fù)圖像塊； (4) 更新整個(gè)待修復(fù)區(qū)域，并重復(fù)步驟(2)~(3)，直到完成圖像修復(fù)。2. 如權(quán)利要求1所述的基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，在步驟(1)中的 相似矩陣In,按照W下公式得到：其中，U，V為所述待修復(fù)圖像通過(guò)奇異值分解得到的左、右奇異矩陣，容為奇異值分解得 到的對(duì)角矩陣中部分對(duì)角元素置零后的近似奇異值矩陣。3. 如權(quán)利要求2所述的基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，在步驟(1)中利 用神經(jīng)網(wǎng)絡(luò)模型計(jì)算待修復(fù)圖像與相似矩陣的相似性，并與闊值比較，如果相似性小于等 于闊值，則完成相似矩陣的計(jì)算;如果相似性大于闊值，則將對(duì)角矩陣中對(duì)角元素逐個(gè)置零 迭代計(jì)算，之子獲得最終的相似矩陣。4. 如權(quán)利要求3所述的基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，在步驟(1)中奇 異值分解得到的對(duì)角矩陣為S，5. 如權(quán)利要求4所述的基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，在步驟(2)中獲 取最相似圖像塊時(shí)，在相似矩陣中按照間隔2個(gè)像素、從左往右、從上往下的規(guī)律，依次掃描 得到各個(gè)待選圖像塊，再計(jì)算和比較各待選圖像塊與待修復(fù)圖像塊的相似性W及關(guān)系。6. 如權(quán)利要求5所述的基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，在步驟(2)中各 待選圖像塊與待修復(fù)圖像塊的相似性為：其中，x，y表示待比較的待修復(fù)圖像塊和待選圖像塊，μχ,μγ為x，y的均值，〇x，〇y為x，y的 標(biāo)準(zhǔn)差，Oxy為X，y的協(xié)方差，C1、C2為常數(shù)。7. 如權(quán)利要求6所述的基于SVD相似矩陣的圖像修復(fù)方法，其特征在于，在步驟(2)中各 待選圖像塊與待修復(fù)圖像塊的關(guān)系為：Ρχ為待修復(fù)圖像塊； Py為待選圖像塊； 其中η表示P X中已經(jīng)填充的像素的個(gè)數(shù)； 所述最相似圖像塊為的sink,y值最小的待選圖像塊。
【文檔編號(hào)】G06T5/00GK106097266SQ201610407120
【公開(kāi)日】2016年11月9日
【申請(qǐng)日】2016年6月8日
【發(fā)明人】葉福軍, 張根源
【申請(qǐng)人】浙江傳媒學(xué)院