本發(fā)明實施例涉及圖像處理技術(shù),尤其涉及一種圖像去模糊方法、裝置和設(shè)備。
背景技術(shù):
隨著計算機技術(shù)的發(fā)展,所興起的數(shù)字圖像處理技術(shù)是通過計算機對圖像進行去噪聲、增強、復(fù)原、分割等處理的方法。在實際拍攝照片的過程中,由于相機的抖動或者是物體的運動,拍攝的圖片經(jīng)常會出現(xiàn)運動模糊,尤其是在環(huán)境光線比較暗、快門時間長的情況下,圖像模糊的幾率會大大提升。另外,當在暗光環(huán)境下拍攝具有可反光平面的物體時,畫面中會同時出現(xiàn)物體(背景層)和反光層。這樣就會造成在很多情況下,一副圖片即出現(xiàn)了運動模糊也帶有反光的情況,因此,對于這類圖片的清晰還原,成為目前技術(shù)人員攻關(guān)的重要課題。
現(xiàn)有技術(shù)中,圖像的去模糊算法是Xu&Jia在2010年的ECCV會議文章“Two-Phase Kernel Estimation for Robust Motion Deblurring”被提出的,具體為:從圖像金字塔的最底層出發(fā),多尺度(multi-scale)從小到大的迭代優(yōu)化圖像的運動模糊核,然后使用ISD技術(shù)對所估計得到的運動模糊核進行進一步的優(yōu)化,最后基于估計得到的運動模糊核,采用快速TV-L1反卷積算法反卷積之后得到清晰的結(jié)果圖。
上述運動模糊核估計的過程中,需要選取圖像中最強的邊緣,并根據(jù)這些最強的邊緣估計出運動模糊核。但是,對于運動模糊且?guī)в蟹垂獾膱D片,圖中部分最強的邊緣隸屬于背景層,但也有部分最強的邊緣屬于反光層,即這些強邊緣并不是由一種模糊核產(chǎn)生的,而現(xiàn)有技術(shù)的圖像去模糊方法是基于圖片中沒有反光的先驗條件進行的,因而在帶有反光層的圖像中,這種先驗條件是不成立的,故而,現(xiàn)有技術(shù)的圖像去模糊方法無法得到準確的結(jié)果。
技術(shù)實現(xiàn)要素:
本發(fā)明實施例提供一種圖像去模糊方法、裝置和設(shè)備,用以解決現(xiàn)有技術(shù)在對帶有反光層的圖像進行去模糊時,得到的去模糊結(jié)果準確性低的技術(shù)問題。
第一方面,本發(fā)明實施例提供一種圖像去模糊的方法,包括:
獲取待處理圖像的背景層的模糊核和反光層的模糊核;
根據(jù)公式確定所述待處理圖像的背景層LB和所述待處理圖像的反光層LR;其中,所述B為待處理圖像的像素矩陣,所述KB為所述背景層的模糊核,所述KR為所述反光層的模糊核,所述Ki為KB或者KR,所述Li為LB或者LR,所述αl為表征原始清晰圖像的梯度分布程度的因子,所述μd和μl為調(diào)整還原出的清晰圖像的平滑程度的調(diào)整因子。
本發(fā)明實施例提供的圖像去模糊的方法,通過獲取待處理圖像的背景層的模糊核和反光層的模糊核,然后根據(jù)公式確定待處理圖像的背景層LB和待處理圖像的反光層LR,從而還原出清晰度滿足用戶要求的圖像。由于本發(fā)明實施例中分別考慮了待處理圖像的背景層的模糊核和反光層的模糊核,并且基于這兩個模糊核采用上述公式1同時進行背景層和反光層的分離和去模糊,不僅提高了圖像去模糊的準確度,也使得還原出的圖像更加清晰。
在一種可能的設(shè)計中,所述獲取待處理圖像的背景層的模糊核和反光層的模糊核,具體包括:
對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR';
根據(jù)公式和所述第一背景層LB',獲取所述背景層的模糊核KB;其中,所述0<λk≤1;
根據(jù)公式和所述第一反光層LR',獲取所述反光層的模糊核KR。
在一種可能的設(shè)計中,所述對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR',具體包括:
根據(jù)公式對所述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊;其中,所述Px為所述待處理圖像的圖像塊,所述為5點拉普拉斯核的傅里葉變換;
根據(jù)公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)所述聚類距離將所述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類;其中,所述第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,所述第二聚類包括至少一個隸屬于背景層的圖像塊的像素值;所述Py為所述待處理圖像的圖像塊;
根據(jù)所述第一聚類得到所述第一背景層LB';
根據(jù)所述第二聚類得到所述第一反光層LR'。
在一種可能的設(shè)計中,所述μd=1和μl=1e-1。
本發(fā)明實施例提供的圖像去模糊的方法,通過對待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR',然后根據(jù)公式和第一背景層LB',獲取背景層的模糊核KB,以及根據(jù)公式和第一反光層LR',獲取反光層的模糊核KR,進而根據(jù)上述公式1確定待處理圖像的背景層LB和待處理圖像的反光層,從而還原出清晰度滿足用戶要求的圖像。本發(fā)明實施例確定的背景層的模糊核KB和反光層的模糊核KR的收斂程度較高,使得背景層和反光層的分離效果較好,另外,由于本發(fā)明實施例中分別考慮了待處理圖像的背景層的模糊核和反光層的模糊核,并且基于這兩個模糊核采用上述公式1同時進行背景層和反光層的分離和去模糊,不僅提高了圖像去模糊的準確度,也使得還原出的圖像更加清晰。
在一種可能的設(shè)計中,所述根據(jù)公式和所述第一背景層LB',獲取所述背景層的模糊核KB,以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的模糊核KR,具體包括:
步驟A:根據(jù)公式和所述第一背景層LB',獲取所述背景層的第一初始化模糊核KB';以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的第二初始化模糊核KR';
步驟B:根據(jù)公式所述第一初始化模糊核KB'和所述第二初始化模糊核KR',確定第二背景層LB”和第二反光層LR”;其中,所述0<λl≤1;
步驟C:將所述第二背景層LB”作為新的第一背景層LB',以及將所述第二反光層LR”作為新的第一反光層LR',返回執(zhí)行所述步驟A,直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為所述背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為所述反光層的模糊核KR。
在一種可能的設(shè)計中,所述αl等于0.8。
本發(fā)明實施例提供的圖像去模糊的方法,通過上述步驟A獲取所述背景層的第一初始化模糊核KB'和反光層的第二初始化模糊核KR',然后通過上述步驟B確定第二背景層LB”和第二反光層LR”,之后將第二背景層LB”作為新的第一背景層LB',以及將第二反光層LR”作為新的第一反光層LR',返回執(zhí)行上述步驟A,直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為反光層的模糊核KR。本發(fā)明實施例的方法,通過多次迭代確定待處理圖像的背景層的模糊核KB和反光層的模糊核KR,使得所得到的兩個模糊核更加精確,進而大大提高了最終確定的待處理圖像的背景層LB和待處理圖像的反光層LR的準確度,也使得還原出的圖像更加清晰。
第二方面,本發(fā)明實施例提供一種圖像去模糊的裝置,包括:
獲取模塊,用于獲取待處理圖像的背景層的模糊核和反光層的模糊核;
確定模塊,用于根據(jù)公式確定所述待處理圖像的背景層LB和所述待處理圖像的反光層LR;其中,所述B為待處理圖像的像素矩陣,所述KB為所述背景層的模糊核,所述KR為所述反光層的模糊核,所述Ki為KB或者KR,所述Li為LB或者LR,所述αl為表征原始清晰圖像的梯度分布程度的因子,所述μd和μl為調(diào)整還原出的清晰圖像的平滑程度的調(diào)整因子。
在一種可能的設(shè)計中,所述獲取模塊,包括:
聚類單元,用于對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR';
獲取單元,用于根據(jù)公式和所述第一背景層LB',獲取所述背景層的模糊核KB;以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的模糊核KR;其中,所述0<λk≤1。
在一種可能的設(shè)計中,所述獲取單元,具體用于根據(jù)公式和所述第一背景層LB',獲取所述背景層的第一初始化模糊核KB';以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的第二初始化模糊核KR';并根據(jù)公式所述第一初始化模糊核KB'和所述第二初始化模糊核KR',確定第二背景層LB”和第二反光層LR”,并將所述第二背景層LB”作為新的第一背景層LB',以及將所述第二反光層LR”作為新的第一反光層LR',返回確定新的第一初始化模糊核KB'和新的第二初始化模糊核KR',直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為所述背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為所述反光層的模糊核KR;其中,所述0<λl≤1。
在一種可能的設(shè)計中,所述αl等于0.8。
在一種可能的設(shè)計中,所述聚類單元,包括:
處理子單元,用于根據(jù)公式對所述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊;其中,所述Px為所述待處理圖像的圖像塊,所述為5點拉普拉斯核的傅里葉變換;
聚類子單元,用于根據(jù)公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)所述聚類距離將所述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類;其中,所述第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,所述第二聚類包括至少一個隸屬于背景層的圖像塊的像素值;所述Py為所述待處理圖像的圖像塊;
獲取子單元,用于根據(jù)所述第一聚類得到所述第一背景層LB';以及,根據(jù)所述第二聚類得到所述第一反光層LR'。
在一種可能的設(shè)計中,所述μd=1和μl=1e-1。
上述第二方面以及第二方面的各可能的設(shè)計所提供的圖像去模糊的裝置,其有益效果可以參照上述第一方面以及第一方面的各可能的設(shè)計所帶來的有益效果,在此不再贅述。
第三方面,本發(fā)明實施例提供一種圖像去模糊設(shè)備,包括:輸入設(shè)備和處理器;
所述處理器,用于獲取所述輸入設(shè)備輸入的待處理圖像的背景層的模糊核和反光層的模糊核,并根據(jù)公式確定所述待處理圖像的背景層LB和所述待處理圖像的反光層LR;其中,所述B為待處理圖像的像素矩陣,所述KB為所述背景層的模糊核,所述KR為所述反光層的模糊核,所述Ki為KB或者KR,所述Li為LB或者LR,所述αl為表征原始清晰圖像的梯度分布程度的因子,所述μd和μl為調(diào)整還原出的清晰圖像的平滑程度的調(diào)整因子。
在一種可能的設(shè)計中,所述處理器,具體用于對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR',并根據(jù)公式和所述第一背景層LB',獲取所述背景層的模糊核KB;以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的模糊核KR;其中,所述0<λk≤1。
在一種可能的設(shè)計中,所述處理器,具體用于根據(jù)公式和所述第一背景層LB',獲取所述背景層的第一初始化模糊核KB';以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的第二初始化模糊核KR';并根據(jù)公式所述第一初始化模糊核KB'和所述第二初始化模糊核KR',確定第二背景層LB”和第二反光層LR”,并將所述第二背景層LB”作為新的第一背景層LB',以及將所述第二反光層LR”作為新的第一反光層LR',返回確定新的第一初始化模糊核KB'和新的第二初始化模糊核KR',直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為所述背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為所述反光層的模糊核KR;其中,所述0<λl≤1。
在一種可能的設(shè)計中,所述αl等于0.8。
在一種可能的設(shè)計中,所述處理器,具體用于根據(jù)公式對所述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊,并根據(jù)公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)所述聚類距離將所述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類;以及,根據(jù)所述第一聚類得到所述第一背景層LB',并根據(jù)所述第二聚類得到所述第一反光層LR';其中,所述Px為所述待處理圖像的圖像塊,所述為5點拉普拉斯核的傅里葉變換;所述第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,所述第二聚類包括至少一個隸屬于背景層的圖像塊的像素值;所述Py為所述待處理圖像的圖像塊。
在一種可能的設(shè)計中,所述μd=1和μl=1e-1。
上述第三方面以及第三方面的各可能的設(shè)計所提供的圖像去模糊設(shè)備,其有益效果可以參照上述第一方面以及第一方面的各可能的設(shè)計所帶來的有益效果,在此不再贅述。
附圖說明
圖1為本發(fā)明實施例提供的帶有反光的模糊圖像示意圖;
圖2為本發(fā)明實施例提供的圖像去模糊的方法實施例一的流程示意圖;
圖3為本發(fā)明實施例提供的圖像去模糊效果對比示意圖一;
圖4為本發(fā)明實施例提供的圖像去模糊效果對比示意圖二;
圖5為本發(fā)明實施例提供的圖像去模糊的方法實施例二的流程示意圖;
圖6為本發(fā)明實施例提供的圖像去模糊的方法實施例三的流程示意圖;
圖7為本發(fā)明實施例提供的圖像去模糊的方法實施例四的流程示意圖;
圖8為本發(fā)明實施例提供的圖像去模糊的裝置實施例一的結(jié)構(gòu)示意圖;
圖9為本發(fā)明實施例提供的圖像去模糊的裝置實施例二的結(jié)構(gòu)示意圖;
圖10為本發(fā)明實施例提供的圖像去模糊的裝置實施例三的結(jié)構(gòu)示意圖;
圖11為本發(fā)明實施例提供的圖像去模糊設(shè)備的結(jié)構(gòu)示意圖。
具體實施方式
本發(fā)明實施例提供的圖像去模糊的方法、裝置和設(shè)備,可以適用于在拍攝照片時,由于相機的抖動、物體的移動、物體具有反光面等造成拍攝圖片不滿足清晰度要求,從而需要進行圖像還原的場景。本發(fā)明實施例提供的圖像去模糊的方法,其可以適用于帶有反光的模糊圖像的還原,也可以適用于運動模糊的圖像進行還原,還可以僅帶有反光層的圖像的還原。當一幅待處理圖像既帶有運動模糊也帶有反光時,該圖像實際上包括了兩個圖層,分別為背景層和反光層,而對圖像去模糊或者對圖像進行還原實際上是將這兩個混合的圖層進行分離,并且對這兩個圖層分別進行去模糊的過程。下述實施例中的待處理圖像以既帶有運動模糊也帶有反光的圖像為例來進行說明。
本發(fā)明實施例涉及的圖像處理設(shè)備,可以為具有圖像處理功能的計算機、移動終端等設(shè)備,該移動終端可以為用戶的手機、平板電腦、個人數(shù)字助理等,本發(fā)明實施例對圖像處理設(shè)備的具體類型并不做限定,只要其能夠?qū)Σ粷M足清晰度要求的圖像進行去模糊即可。
現(xiàn)有技術(shù)在對運動模糊圖像進行去模糊的過程中,其需要選取圖像中最強的邊緣,并根據(jù)這些最強的邊緣估計出運動模糊核。但是,對于運動模糊且?guī)в蟹垂獾膱D片,圖中部分最強的邊緣隸屬于背景層,但也有部分最強的邊緣屬于反光層,即這些強邊緣并不是由一種模糊核產(chǎn)生的,例如參見圖1所示的標記,這些標記中的“1#”標記的強邊緣隸屬于背景層,“2#”標記的強邊緣隸屬于反光層。但是,現(xiàn)有技術(shù)的圖像去模糊方法是基于圖片中沒有反光的先驗條件進行的,因而在帶有反光層的模糊圖像中,這種先驗條件是不成立的,故而,現(xiàn)有技術(shù)的圖像去模糊方法無法得到準確的結(jié)果。
因此,本發(fā)明實施例提供的圖像去模糊方法,旨在解決現(xiàn)有技術(shù)的如上技術(shù)問題。
下面以具體地實施例對本發(fā)明的技術(shù)方案進行詳細說明。下面這幾個具體的實施例可以相互結(jié)合,對于相同或相似的概念或過程可能在某些實施例中不再贅述。
圖2為本發(fā)明實施例提供的圖像去模糊的方法實施例一的流程示意圖。本實施例中,圖像處理設(shè)備基于下述圖像成像模型來分離背景層和反光層,該圖像成像模型為:B=LB*KB+LR*KR+n;其中,LB為待估計的清晰的背景層(即希望分離出的清晰的背景層),LR是待估計的清晰的反光層(即希望分離出的清晰的反光層),KB是當前待處理圖像的背景層的模糊核,KR是當前待處理圖像的反光層的模糊核,B為實際拍攝到的帶有反光的模糊圖片(即待處理圖像),n為噪聲。在該成像模型中,拍攝的圖片B為已知量,分離待處理圖像的背景層和反光層實際上就是求解上述圖像成像模型中的LB和LR的過程。
需要說明的是,上述圖像成像模型中,B在公式中實際上為待處理圖像的像素矩陣,上述KB、KR、LB、LR均是矩陣的形式。
如圖2所示,該方法包括如下步驟:
S101:獲取待處理圖像的背景層的模糊核和反光層的模糊核。
具體的,圖像處理設(shè)備在得到待處理圖像之后,確定待處理圖像為帶有反光的運動模糊圖像。圖像處理設(shè)備此時需要分別該待處理圖像的背景層的模糊核和反光層的模糊核??蛇x的,圖像處理設(shè)備可以從圖像金字塔的最底層出發(fā),多尺度(multi-scale)從小到大的迭代優(yōu)化待處理圖像的運動模糊核,然后使用ISD技術(shù)對所估計得到的運動模糊核進行進一步的優(yōu)化,得到背景層的模糊核KB;可選的,圖像處理設(shè)備也可以采用對不同的圖層施加不同的先驗約束的方法來獲取反光層的模糊核KR。總之,本發(fā)明實施例對如何獲取待處理圖像的背景層的模糊核和反光層的模糊核的具體過程并不做限定,只要圖像處理設(shè)備在確定待處理圖像即具有背景層也具有反光層時,能夠分別考慮并獲取到這兩個圖層的模糊核即可。
S102:根據(jù)公式確定所述待處理圖像的背景層LB和所述待處理圖像的反光層LR。
具體的,當圖像處理設(shè)備得到背景層的模糊核KB和反光層的模糊核KR之后,圖像處理設(shè)備根據(jù)公式 (公式1)求解待處理圖像的背景層LB和待處理圖像的反光層LR,即在求解過程中使得公式1的等式右邊的值最小的LB和LR則為最終要得到的LB和LR。其中,其中,B為待處理圖像的像素矩陣,KB為S101獲得的背景層的模糊核,KR為上述S101獲得的反光層的模糊核,公式1中的Ki為KB或者KR,Li為LB或者LR,上述αl為表征原始清晰圖像的梯度分布程度的因子,上述μd和μl為調(diào)整還原出的清晰圖像的平滑程度的調(diào)整因子,上述是圖像沿著水平方向和豎直方向的微分算子??蛇x的,上述αl可以取0.8,使得背景層和反光層的分離效果更明顯;可選的,上述μd的取值可以為1,μl的取值可以為1e-1,使得最后還原出的清晰圖像的平滑程度更能滿足用戶要求。
需要說明的是,現(xiàn)有技術(shù)在進行圖像去模糊時,僅考慮圖像具有背景層的情況,即現(xiàn)有技術(shù)基于的是圖像沒有反光的先驗條件進行去模糊的,對于既有背景層也有反光層的圖像來說,現(xiàn)有技術(shù)的先驗條件并不成立,因此其無法準確還原既有背景層也有反光層的圖像;而本發(fā)明實施例中,基于上述圖像成像模型B=LB*KB+LR*KR+n可以看出,本發(fā)明實施例的方法分別考慮了待處理圖像的背景層的模糊核和反光層的模糊核,并且基于這兩個模糊核采用上述公式1同時進行背景層和反光層的分離和去模糊,不僅提高了圖像去模糊的準確度,也使得還原出的圖像更加清晰。
為了更好的說明本發(fā)明實施例對圖像去模糊時的效果,可以參見圖3和圖4所示的還原效果對比圖,圖3中的(a)和圖4中的(a)為待處理圖像,圖3中的(b)(c)和圖4中的(b)(c)為現(xiàn)有技術(shù)中的圖像去模糊效果,圖3中的(d)和圖4中的(d)為采用本發(fā)明實施例的方法進行圖像去模糊的效果。
當然,本發(fā)明實施例提供的方法也適用于不帶有反光的圖像的去模糊,只要令圖像成像模型中的KR=0即可。
本發(fā)明實施例提供的圖像去模糊的方法,通過獲取待處理圖像的背景層的模糊核和反光層的模糊核,然后根據(jù)公式確定待處理圖像的背景層LB和待處理圖像的反光層LR,從而還原出清晰度滿足用戶要求的圖像。由于本發(fā)明實施例中分別考慮了待處理圖像的背景層的模糊核和反光層的模糊核,并且基于這兩個模糊核采用上述公式1同時進行背景層和反光層的分離和去模糊,不僅提高了圖像去模糊的準確度,也使得還原出的圖像更加清晰。
圖5為本發(fā)明實施例提供的圖像去模糊的方法實施例二的流程示意圖。本實施例涉及的是圖像處理設(shè)備獲取待處理圖像的背景層的模糊核和反光層的模糊核的具體過程。在上述實施例的基礎(chǔ)上,進一步地,上述S101具體可以包括如下步驟:
S201:對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB′和第一反光層LR′。
具體的,當圖像處理設(shè)備獲取到待處理圖像,并確定該待處理圖像具有背景層和反光層之后,圖像處理設(shè)備對該待處理圖像的每個圖像塊進行聚類處理,即將待處理圖像中的屬于背景層的圖像塊和屬于反光層的圖像塊進行分類,具體的聚類算法本發(fā)明實施例對此并不做限定。
當圖像處理設(shè)備對待處理圖像的圖像塊進行聚類之后,得到背景層的圖像塊類和反光層的圖像塊類,其中,背景層的圖像塊類包括待處理圖像中隸屬于背景層的所有圖像塊,反光層的圖像塊類包括待處理圖像中隸屬于反光層的所有圖像塊。然后,圖像處理設(shè)備根據(jù)背景層的圖像塊類得到第一背景層LB',以及根據(jù)反光層的圖像塊類得到第一反光層LR'。需要說明的是,第一背景層LB'為矩陣的形式,矩陣中的每一個元素為背景層的圖像塊類中每個圖像塊的像素值,第一反光層LR'也為矩陣的形式,矩陣中的每一個元素為反光層的圖像塊類中每個圖像塊的像素值。
可選的,圖6所示的實施例三提供了一種獲得第一背景層LB'和第一反光層LR'的可能的實施方式,如圖6所示,該方法包括:
S301:根據(jù)公式對上述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊。
其中,所述Px為所述待處理圖像的圖像塊,所述為5點拉普拉斯核的傅里葉變換。
S302:根據(jù)公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)所述聚類距離將所述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類。
其中,所述第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,所述第二聚類包括至少一個隸屬于背景層的圖像塊的像素值;所述Py為所述待處理圖像的圖像塊。
具體的,當圖像處理設(shè)備根據(jù)上述公式對上述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊之后,圖像處理設(shè)備采用公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)每兩個第一圖像塊之間的聚類距離將上述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類??蛇x的,圖像處理設(shè)備可以設(shè)定一個聚類距離閾值,并設(shè)定聚類距離小于該閾值的第一圖像塊對應(yīng)的原圖像塊(即未進行傅里葉變換的圖像塊)屬于第一聚類,聚類距離大于或者等于該閾值的第一圖像塊對應(yīng)的原圖像塊(即未進行傅里葉變換的圖像塊)屬于第二聚類,總之,本發(fā)明實施例對如何根據(jù)聚類距離對待處理圖像的圖像塊進行聚類的具體設(shè)定并不做限定。
S303:根據(jù)所述第一聚類得到所述第一背景層LB′。
S304:根據(jù)所述第二聚類得到所述第一反光層LR′。
具體的,當圖像處理設(shè)備得到第一聚類和第二聚類之后,由于第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,第二聚類包括至少一個隸屬于背景層的圖像塊的像素值,因此,圖像處理設(shè)備可以根據(jù)該第一聚類得到第一背景層LB',根據(jù)第二聚類得到第一反光層LR'。
S202:根據(jù)公式和所述第一背景層LB′,獲取所述背景層的模糊核KB。
其中,所述0<λk≤1。
S203:根據(jù)公式和所述第一反光層LR′,獲取所述反光層的模糊核KR。
具體的,本發(fā)明實施例在確定背景層的模糊核KB時,是在考慮了反光層的情況下確定的,即本發(fā)明實施例的圖像處理設(shè)備是基于總的公式(4):來確定Ki的,其中,Ki為背景層的模糊核KB或者反光層的模糊核KR,所述0<λk≤1。
在求解Ki時,由上述公式4可以得到由于公式5中的數(shù)據(jù)保真項和正則項均是L2范數(shù),因此可以利用傅里葉變換算法進行閉式求解,得到
因此,基于上述S201中圖像處理設(shè)備已經(jīng)得到的第一背景層LB'和第一反光層LR',圖像處理設(shè)備可以根據(jù)第一背景層LB'和獲取背景層的模糊核KB,同時也可以根據(jù)第一反光層LR'和公式獲取反光層的模糊核KR。
當圖像處理設(shè)備得到背景層的模糊核KB和反光層的模糊核KR之后,圖像處理設(shè)備就可以根據(jù)上述公式1計算得到清晰的待處理圖像的背景層LB和待處理圖像的反光層LR。
本發(fā)明實施例提供的圖像去模糊的方法,通過對待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR',然后根據(jù)公式和第一背景層LB',獲取背景層的模糊核KB,以及根據(jù)公式和第一反光層LR',獲取反光層的模糊核KR,進而根據(jù)上述公式1確定待處理圖像的背景層LB和待處理圖像的反光層,從而還原出清晰度滿足用戶要求的圖像。本發(fā)明實施例確定的背景層的模糊核KB和反光層的模糊核KR的收斂程度較高,使得背景層和反光層的分離效果較好,另外,由于本發(fā)明實施例中分別考慮了待處理圖像的背景層的模糊核和反光層的模糊核,并且基于這兩個模糊核采用上述公式1同時進行背景層和反光層的分離和去模糊,不僅提高了圖像去模糊的準確度,也使得還原出的圖像更加清晰。
圖7為本發(fā)明實施例提供的圖像去模糊的方法實施例四的流程示意圖。本實施例涉及的是圖像處理設(shè)備通過迭代的方式獲取待處理圖像的背景層的模糊核和反光層的模糊核,使得兩個模糊核收斂程度更好,背景層和反光層的分離和去模糊的效果更加明顯的具體過程。在上述實施例的基礎(chǔ)上,進一步地,上述S202和S203具體可以包括如下步驟:
步驟A:根據(jù)公式和所述第一背景層LB′,獲取所述背景層的第一初始化模糊核KB′;以及,根據(jù)公式和所述第一反光層LR′,獲取所述反光層的第二初始化模糊核KR′。
步驟B:根據(jù)公式所述第一初始化模糊核KB′和所述第二初始化模糊核KR′,確定第二背景層LB”和第二反光層LR”。
具體的,所述0<λl≤1?;谏鲜龉?4)可以獲知這里的Ki即就是上述步驟A計算得到的第一初始化模糊核KB'和第二初始化模糊核KR',等式左邊的Li為待求解的未知數(shù),等式右邊的Li為該公式所針對的變量,等式左邊的Li的取值為能夠使得等式右邊最小化的數(shù)值,因此,為了和上述實施例中公式的參數(shù)標識進行區(qū)分,上述公式9具體可以寫成:這里的X和Y替代了公式9等式右邊的變量,{LB”,LR”}替代了公式9等式左邊的未知數(shù)Li。
故而,當圖像處理設(shè)備獲取到待處理圖像的背景層的第一初始化模糊核KB'和反光層的第二初始化模糊核KR'之后,圖像處理設(shè)備根據(jù)公式10確定第二背景層LB”和第二反光層LR”。
步驟C:將所述第二背景層LB”作為新的第一背景層LB′,以及將所述第二反光層LR”作為新的第一反光層LR′,返回執(zhí)行所述步驟A,直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為所述背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為所述反光層的模糊核KR。
具體的,當圖像處理設(shè)備根據(jù)第一初始化模糊核KB'、反光層的第二初始化模糊核KR'和上述公式10計算得到第二背景層LB”和第二反光層LR”之后,將該第二背景層LB”作為新的第一背景層LB',以及將該第二反光層LR”作為新的第一反光層LR',分別代入上述公式7和公式8,分別得到新的第一初始化模糊核KB'和新的第二初始化模糊核KR',然后將該新的第一初始化模糊核KB'和新的第二初始化模糊核KR'又再次代入上述公式10,得到新的第二背景層LB”和新的第二反光層LR”,然后再次將該新的第二背景層LB”和新的第二反光層LR”作為新的第一背景層LB'和新的第一反光層LR',依次循環(huán),直到迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為待處理圖像的背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為待處理圖像的反光層的模糊核KR。
需要說明的是,上述公式10中的αl等于0.8,使得待處理圖像的背景層和反光層的分離效果更明顯,上述迭代過程具體采用的是迭代重加權(quán)最小二乘法(IRLS)求解的。
本發(fā)明實施例提供的圖像去模糊的方法,通過上述步驟A獲取所述背景層的第一初始化模糊核KB'和反光層的第二初始化模糊核KR',然后通過上述步驟B確定第二背景層LB”和第二反光層LR”,之后將第二背景層LB”作為新的第一背景層LB',以及將第二反光層LR”作為新的第一反光層LR',返回執(zhí)行上述步驟A,直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為反光層的模糊核KR。本發(fā)明實施例的方法,通過多次迭代確定待處理圖像的背景層的模糊核KB和反光層的模糊核KR,使得所得到的兩個模糊核更加精確,進而大大提高了最終確定的待處理圖像的背景層LB和待處理圖像的反光層LR的準確度,也使得還原出的圖像更加清晰。
圖8為本發(fā)明實施例提供的圖像去模糊的裝置實施例一的結(jié)構(gòu)示意圖。該圖像去模糊的裝置可以集成在上述圖像去模糊設(shè)備中,也可以是獨立的圖像去模糊設(shè)備,該圖像去模糊的裝置可以通過軟件、硬件或者軟硬結(jié)合的方式實現(xiàn)。如圖7所示,該裝置包括:獲取模塊11和確定模塊12。
具體的,獲取模塊11,用于獲取待處理圖像的背景層的模糊核和反光層的模糊核;
確定模塊12,用于根據(jù)公式確定所述待處理圖像的背景層LB和所述待處理圖像的反光層LR;其中,所述B為待處理圖像的像素矩陣,所述KB為所述背景層的模糊核,所述KR為所述反光層的模糊核,所述Ki為KB或者KR,所述Li為LB或者LR,所述αl為表征原始清晰圖像的梯度分布程度的因子,所述μd和μl為調(diào)整還原出的清晰圖像的平滑程度的調(diào)整因子。
本發(fā)明實施例提供的圖像去模糊的裝置,可以執(zhí)行上述方法實施例,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
圖9為本發(fā)明實施例提供的圖像去模糊的裝置實施例二的結(jié)構(gòu)示意圖。在上述圖8所示實施例的基礎(chǔ)上,進一步地,上述獲取模塊11可以包括:聚類單元111和獲取單元112。
具體的,聚類單元111,用于對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR';
獲取單元112,用于根據(jù)公式和所述第一背景層LB',獲取所述背景層的模糊核KB;以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的模糊核KR;其中,所述0<λk≤1。
進一步地,所述獲取單元112,具體用于根據(jù)公式和所述第一背景層LB',獲取所述背景層的第一初始化模糊核KB';以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的第二初始化模糊核KR';并根據(jù)公式所述第一初始化模糊核KB'和所述第二初始化模糊核KR',確定第二背景層LB”和第二反光層LR”,并將所述第二背景層LB”作為新的第一背景層LB',以及將所述第二反光層LR”作為新的第一反光層LR',返回確定新的第一初始化模糊核KB'和新的第二初始化模糊核KR',直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為所述背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為所述反光層的模糊核KR;其中,所述0<λl≤1。
可選的,所述αl等于0.8。
可選的,所述μd=1和μl=1e-1。
本發(fā)明實施例提供的圖像去模糊的裝置,可以執(zhí)行上述方法實施例,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
圖10為本發(fā)明實施例提供的圖像去模糊的裝置實施例三的結(jié)構(gòu)示意圖。在上述圖9所示實施例的基礎(chǔ)上,進一步地,上述聚類單元111具體可以包括:處理子單元201、聚類子單元202和獲取子單元203。
具體的,處理子單元201,用于根據(jù)公式對所述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊;其中,所述Px為所述待處理圖像的圖像塊,所述為5點拉普拉斯核的傅里葉變換;
聚類子單元202,用于根據(jù)公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)所述聚類距離將所述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類;其中,所述第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,所述第二聚類包括至少一個隸屬于背景層的圖像塊的像素值;所述Py為所述待處理圖像的圖像塊;
獲取子單元203,用于根據(jù)所述第一聚類得到所述第一背景層LB';以及,根據(jù)所述第二聚類得到所述第一反光層LR'。
本發(fā)明實施例提供的圖像去模糊的裝置,可以執(zhí)行上述方法實施例,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
圖11為本發(fā)明實施例提供的圖像去模糊設(shè)備的結(jié)構(gòu)示意圖。如圖11所示,該圖像去模糊設(shè)備可以包括輸入設(shè)備20、處理器21,例如CPU、存儲器22和至少一個通信總線23。可選的,還可以包括顯示設(shè)備24。通信總線23用于實現(xiàn)元件之間的通信連接。存儲器22可能包含高速RAM存儲器,也可能還包括非易失性存儲器NVM,例如至少一個磁盤存儲器,存儲器22中可以存儲各種程序,用于完成各種處理功能以及實現(xiàn)本實施例的方法步驟;所述輸入設(shè)備20,用于向處理器21輸入待處理圖像。
具體的,在本實施例中,所述處理器21,用于獲取所述輸入設(shè)備20輸入的待處理圖像的背景層的模糊核和反光層的模糊核,并根據(jù)公式確定所述待處理圖像的背景層LB和所述待處理圖像的反光層LR;其中,所述B為待處理圖像的像素矩陣,所述KB為所述背景層的模糊核,所述KR為所述反光層的模糊核,所述Ki為KB或者KR,所述Li為LB或者LR,所述αl為表征原始清晰圖像的梯度分布程度的因子,所述μd和μl為調(diào)整還原出的清晰圖像的平滑程度的調(diào)整因子。
進一步地,所述處理器21,具體用于對所述待處理圖像中的每個圖像塊進行聚類處理,得到第一背景層LB'和第一反光層LR',并根據(jù)公式和所述第一背景層LB',獲取所述背景層的模糊核KB;以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的模糊核KR;其中,所述0<λk≤1。
更進一步地,所述處理器21,具體用于根據(jù)公式和所述第一背景層LB',獲取所述背景層的第一初始化模糊核KB';以及,根據(jù)公式和所述第一反光層LR',獲取所述反光層的第二初始化模糊核KR';并根據(jù)公式所述第一初始化模糊核KB'和所述第二初始化模糊核KR',確定第二背景層LB”和第二反光層LR”,并將所述第二背景層LB”作為新的第一背景層LB',以及將所述第二反光層LR”作為新的第一反光層LR',返回確定新的第一初始化模糊核KB'和新的第二初始化模糊核KR',直至迭代次數(shù)達到預(yù)設(shè)的次數(shù)為止,并將最后一次迭代時獲取的第一初始化模糊核作為所述背景層的模糊核KB,以及將最后一次迭代時獲取的第二初始化模糊核作為所述反光層的模糊核KR;其中,所述0<λl≤1。
可選的,所述αl等于0.8。
可選的,所述μd=1和μl=1e-1。
進一步地,所述處理器21,具體用于根據(jù)公式對所述待處理圖像中的每個圖像塊進行傅里葉變換,得到多個第一圖像塊,并根據(jù)公式確定任意兩個第一圖像塊之間的聚類距離,并根據(jù)所述聚類距離將所述待處理圖像的圖像塊進行聚類,得到第一聚類和第二聚類;以及,根據(jù)所述第一聚類得到所述第一背景層LB',并根據(jù)所述第二聚類得到所述第一反光層LR';其中,所述Px為所述待處理圖像的圖像塊,所述為5點拉普拉斯核的傅里葉變換;所述第一聚類包括至少一個隸屬于背景層的圖像塊的像素值,所述第二聚類包括至少一個隸屬于背景層的圖像塊的像素值;所述Py為所述待處理圖像的圖像塊。
本發(fā)明實施例提供的圖像去模糊設(shè)備,可以執(zhí)行上述方法實施例,其實現(xiàn)原理和技術(shù)效果類似,在此不再贅述。
本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述各方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成。前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時,執(zhí)行包括上述各方法實施例的步驟;而前述的存儲介質(zhì)包括:ROM、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
最后應(yīng)說明的是:以上各實施例僅用以說明本發(fā)明的技術(shù)方案,而非對其限制;盡管參照前述各實施例對本發(fā)明進行了詳細的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當理解:其依然可以對前述各實施例所記載的技術(shù)方案進行修改,或者對其中部分或者全部技術(shù)特征進行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。