本發(fā)明涉及圖形處理領(lǐng)域，特別涉及一種基于稀疏域重構(gòu)的單幀圖像超分辨重建方法及裝置。

背景技術(shù)：

圖像作為人類記載客觀世界信息的載體，在工業(yè)生產(chǎn)和日常生活中具有重要作用，然而受成像系統(tǒng)設(shè)備狀況、成像環(huán)境和有限網(wǎng)絡(luò)數(shù)據(jù)傳輸帶寬等條件的限制，成像過程往往存在運動模糊、下采樣和噪聲污染等退化過程，以至于實際獲得的圖像分辨率低、細節(jié)紋理丟失、主觀視覺效果差。為了獲得紋理清晰且細節(jié)豐富的高分辨率圖像，最直接有效的方法就是通過改善制造工藝，來提高傳感器設(shè)備和光學(xué)成像系統(tǒng)的物理分辨率級別，然而高昂的價格和復(fù)雜的改進流程嚴重限制了這類技術(shù)的發(fā)展前景。為此，我們需要一種價格低廉、效果突出的重建方法來提升圖像的分辨率，在無需額外硬件支持的情況下最大程度地減弱模糊和噪聲等外界環(huán)境的干擾，在現(xiàn)有工藝制造水平的條件下獲取高質(zhì)量、高品質(zhì)的圖像。圖像超分辨率重建是指用一幅或者多幅低分辨率圖像，通過信號處理技術(shù)來獲得一幅清晰的高分辨率圖像的技術(shù)。該技術(shù)能有效克服成像設(shè)備固有分辨率的不足，突破成像環(huán)境的限制，在不改變現(xiàn)有成像系統(tǒng)的前提下，能以最低的成本獲取高于成像系統(tǒng)物理分辨率的高質(zhì)量圖像。該技術(shù)具有非常廣泛的應(yīng)用前景，是低質(zhì)量智能安全監(jiān)控系統(tǒng)中人臉檢測與識別技術(shù)、智能機器人關(guān)鍵技術(shù)，也是推動智能顯示技術(shù)發(fā)展的源動力。

現(xiàn)有技術(shù)是基于插值的方法。該方法首先根據(jù)放大倍數(shù)確定重建圖像上對應(yīng)低分辨率圖像的像素值，然后利用確定的插值核函數(shù)或者自適應(yīng)的插值核函數(shù)估計重建圖像網(wǎng)格上的未知像素值。此類方法簡單高效并且計算復(fù)雜度低，但是難以根據(jù)圖像的先驗知識選擇合適的插值函數(shù)獲得高質(zhì)量的重建圖像，其本質(zhì)原因是基于插值的方法相比較低分辨率圖像而言并沒有增加重建圖像的信息量。因此，提供一種可以根據(jù)圖像的先驗知識選擇合適的插值函數(shù)獲得高質(zhì)量的重建圖像的基于稀疏域重構(gòu)的單幀圖像超分辨重建算法是很有必要的。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是現(xiàn)有技術(shù)中存在的不能根據(jù)圖像的先驗知識選擇合適的插值函數(shù)獲得高質(zhì)量的重建圖像的技術(shù)問題，本發(fā)明提供一種可以根據(jù)圖像的先驗知識選擇合適的插值函數(shù)獲得高質(zhì)量的重建圖像的重建算法。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案如下：

一種基于稀疏域重構(gòu)的單幀圖像超分辨重建方法，所述方法包括：

(1)訓(xùn)練階段：

所述訓(xùn)練階段是在訓(xùn)練數(shù)據(jù)集上學(xué)習低分辨率圖像得到對應(yīng)的高分辨率圖像的映射模型，包括：

(A)根據(jù)低分辨率圖形建立低分辨率特征集，根據(jù)高分辨率圖形建立高分辨率特征集；

(B)根據(jù)K-SVD方法求解低分辨率特征對應(yīng)的字典和稀疏編碼系數(shù)；

(C)建立稀疏域重構(gòu)優(yōu)化目標方程式；

(D)根據(jù)二次約束二次規(guī)劃算法、稀疏編碼算法及嶺回歸算法交替優(yōu)化，迭代求解，變化量小于閾值時停止；得到高分辨率字典，高分辨率稀疏編碼系數(shù)及稀疏映射矩陣；

(2)合成階段：

所述合成階段是將學(xué)習到的映射模型應(yīng)用于輸入的低分辨率圖像上，合成出高分辨率圖像，包括：

(a)自分辨率圖形進行提取特征；

(b)將所述低分辨率特征在所述訓(xùn)練階段得到的字典上用OMP算法得到稀疏編碼系數(shù)；

(c)將所述訓(xùn)練階段得到的低分辨率編碼系數(shù)應(yīng)用于高分辨率字典上，從而合成高分辨率特征；

(d)融合高分辨率特征得到高分辨率圖像。

上述方案中，為優(yōu)化，進一步地，所述步驟(1)中步驟(A)包括：

選擇高分辨率圖像數(shù)據(jù)庫作為圖像訓(xùn)練集低分辨率圖像集為

水平方向一階梯度G_X、豎直方向一階梯度G_Y、水平方向二階梯度L_X、豎直方向二階梯度L_Y，分別為：

G_X＝[1,0,-1]，G_Y＝[1,0,-1]^T

將低分辨率圖像訓(xùn)練集分別與水平方向的一階梯度G_X、豎直方向的一階梯度G_Y、水平方向的二階梯度L_X、豎直方向的二階梯度L_Y進行卷積運算，獲得原始的低分辨率特征訓(xùn)練集

將原始低分辨率特征訓(xùn)練集Z_S使用PCA方法進行維度約簡后，獲得投影矩陣V_pca和低分辨率特征訓(xùn)練集

其中為第p幅高分辨率圖像，N_s為高分辨率圖像的數(shù)量，為第p幅低分辨率圖像，N_s為低分辨率圖像的數(shù)量；T為轉(zhuǎn)置運算；為第i項原始低分辨率特征，N_sn為原始低分辨率特征的數(shù)量；為第i項的低分辨率特征，N_sn為低分辨率特征的數(shù)量。

進一步地，所述步驟(1)中步驟(B)包括：

將所述高分辨率圖像訓(xùn)練集與對應(yīng)的低分辨率圖像訓(xùn)練集相減獲得高頻圖像集

以單位矩陣作為算子模板，與高頻圖像集E^S進行卷積運算，獲得高分辨率特征訓(xùn)練集

根據(jù)K-SVD算法求解低分辨率特征X_S對應(yīng)的低分辨率字典Φ_l和稀疏編碼系數(shù)B_l；

其中e^p為第p幅高頻圖像，N_s為高頻圖像的數(shù)量；為第i項的高分辨率特征，N_sn為高分辨特征的數(shù)量；λ_l為l₁范數(shù)優(yōu)化的正則項系數(shù)，||·||_F為F范數(shù)，||·||₁為1范數(shù)。

進一步地，所述步驟(1)中步驟(C)包括：

根據(jù)高分辨率特征訓(xùn)練集Y_S和低分辨率特征編碼系數(shù)B_l求解出高分辨率字典的初始值Φ_h0：

假設(shè)低分辨率特征和對應(yīng)的高分辨率特征分別在低分辨率字典上和高分辨率字典上具有相同的編碼系數(shù)，根據(jù)最小平方誤差，得出：

對高分辨率特征的稀疏為項和稀疏域的映射模型建立初始優(yōu)化目標公式：

高分辨率特征的稀疏為誤差項E_D為：

將稀疏域映射誤差項E_M為：

得到稀疏域重構(gòu)的優(yōu)化目標公式為：

其中，B_l為低分辨率特征編碼系數(shù)，Y_S為高分辨率特征訓(xùn)練集，T為矩陣的轉(zhuǎn)置運算，(·)^-1為矩陣求逆運算；Y_S是高分辨率特征訓(xùn)練集，Φ_h是高分辨率字典，B_h是高分辨率特征編碼系數(shù)，B_l是低分辨率特征編碼系數(shù)，M是低分辨率特征編碼系數(shù)到高分辨率特征系數(shù)的映射矩陣，E_D是高分辨率特征的稀疏為誤差項，E_M是稀疏域映射誤差項，α是映射誤差項系數(shù)；β是l₁范數(shù)優(yōu)化正則項系數(shù)；γ是映射矩陣正則項系數(shù)；為高分辨率字典Φ_h的第i項原子。

進一步地，所述步驟(1)中步驟(D)包括：

根據(jù)所述稀疏域重構(gòu)的優(yōu)化目標公式和高分辨率字典的初始值Φ_h0，迭代求解高分辨率字典Φ_h、高分辨率特征編碼系數(shù)B_h、低分辨率特征編碼系數(shù)到高分辨率特征編碼系數(shù)的映射矩陣M，

高分辨率特征編碼系數(shù)B_h及映射矩陣M為固定值，根據(jù)二次約束二次規(guī)劃方法求解高分辨率字典Φ_h，得到：

通過進行稀疏編碼，求解高分辨率特征編碼系數(shù)B_h；

根據(jù)嶺回歸優(yōu)化方法，求解第t次迭代的映射矩陣M^(t)：

依次優(yōu)化，直到相鄰兩次稀疏域重構(gòu)的優(yōu)化目標值的變化量小于閾值時得到高分辨率字典Φ_h，高分辨率稀疏編碼系數(shù)B_h及稀疏映射矩陣M；

其中，Φ_h0作為高分辨率字典的迭代初始值，高分辨率特征編碼系數(shù)的迭代初始值設(shè)為B_h0＝B_l，映射矩陣的迭代初始值設(shè)為M₀＝E，E為單位矩陣，為高分辨率特征的增廣矩陣，Y_S為高分辨率特征訓(xùn)練集，為高分辨率字典的增廣矩陣：α是稀疏域映射誤差項系數(shù)，取值為0.1，β是L1范數(shù)優(yōu)化正則項系數(shù)，取值為0.01；μ為迭代的步長，α是稀疏域映射誤差項系數(shù)，γ是映射矩陣正則項系數(shù)。

進一步地，所述步驟(2)中步驟(a)包括：

根據(jù)低分辨率圖像，對低分辨率圖像做同訓(xùn)練階段的處理得到低分辨率測試特征X_R。

進一步地，所述步驟(2)中步驟(b)包括：

將所述低分辨率測試特征X_R在訓(xùn)練階段得到的低分辨率字典Φ_l上用正交匹配追蹤算法進行編碼，得到低分辨率測試特征編碼系數(shù)B'_l。

進一步地，所述步驟(2)中步驟(c)包括：

將低分辨率測試特征編碼系數(shù)B'_l與步驟(1)中的映射矩陣M做投影運算，得到高分辨率測試特征編碼系數(shù)B'_h；

將訓(xùn)練階段得到的高分辨率字典Φ_h與高分辨率測試特征編碼系數(shù)B'_h做乘法運算，得到高分辨率測試特征Y_R。

本發(fā)明還公開一種基于稀疏域重構(gòu)的單幀圖像超分辨重建方法的裝置，包括依次連接的提取模塊，用于數(shù)值計算的運算模塊，存儲模塊及圖形輸出模塊；

所述提取模塊用于提取圖像特征；

所述存儲模塊用于存放數(shù)據(jù)，包括單片機及SD卡，所述單片機連接SD卡，用于控制SD卡進行讀寫操作；

所述SD卡用于存儲、傳遞數(shù)據(jù)；

所述圖形輸出模塊用于輸出圖像，并與輸入圖像進行對比，包括液晶顯示器及打印機。

進一步地，所述提取模塊包括依次連接的邊緣檢測模塊，噪聲濾除模塊及圖形分割模塊；

所述邊緣檢測模塊用于檢測圖像邊緣特征；

所述噪聲濾除模塊用于濾除圖像特征中的噪點；

所述圖像分割模塊用于將圖像進行分割。

本發(fā)明通過采用實例映射學(xué)習的第一范式，將稀疏域上低分辨率特征B_l到稀疏域上高分辨率特征B_h的映射M與稀疏域上高分辨率特征B_h到高分辨率特征Y_S的映射進行聯(lián)合訓(xùn)練，將映射誤差和重構(gòu)誤差平攤到映射算子M、重構(gòu)的高分辨率字典Φ_h以及重構(gòu)的高分辨率稀疏系數(shù)B_h，避免具體一項因為誤差較大影響重構(gòu)質(zhì)量，因此較準確地描述了低分辨率特征到高分辨率特征的映射。

本發(fā)明的有益效果：

效果一，提高了描述了低分辨率特征到高分辨率特征的映射的準確度；

效果二，減小影響重構(gòu)質(zhì)量的誤差值；

效果三，可以根據(jù)圖像的先驗知識選擇合適的插值函數(shù)獲得高質(zhì)量的重建圖像。

附圖說明

圖1本發(fā)明所述方法訓(xùn)練階段的示意圖；

圖2本發(fā)明所述方法訓(xùn)練階段的流程圖；

圖3本發(fā)明所述方法合成階段的示意圖；

圖4本發(fā)明所述方法合成階段的流程圖；

圖5本發(fā)明所述裝置的結(jié)構(gòu)框圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合實施例，對本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

圖1本發(fā)明所述方法訓(xùn)練階段的示意圖。圖2本發(fā)明所述方法訓(xùn)練階段的流程圖。圖3本發(fā)明所述方法合成階段的示意圖。圖4本發(fā)明所述方法合成階段的流程圖。圖5本發(fā)明所述裝置的結(jié)構(gòu)框圖。

實施例1

本實施例提供圖5所示的裝置，包括依次連接的提取模塊，運算模塊，存儲模塊及圖形輸出模塊；所述運算模塊用于數(shù)值計算，所述提取模塊用于提取圖像特征；所述存儲模塊用于存放數(shù)據(jù)，包括80C51式通用型單片機及SD卡，所述單片機連接SD卡，用于控制SD卡進行讀寫操作；所述SD卡用于存儲、傳遞數(shù)據(jù)；所述圖形輸出模塊用于輸出圖像，并與輸入圖像進行對比，包括液晶顯示器及打印機。所述提取模塊包括依次連接的邊緣檢測模塊，噪聲濾除模塊及圖形分割模塊；所述邊緣檢測模塊用于檢測圖像邊緣特征；所述噪聲濾除模塊用于濾除圖像特征中的噪點；所述圖像分割模塊用于將圖像進行分割。

裝置應(yīng)用于本實施例方法，方法分為訓(xùn)練階段和合成階段。其中算法訓(xùn)練階段框架如圖1和圖2所示：

選擇具有復(fù)雜紋理和幾何邊緣的高分辨率圖像數(shù)據(jù)庫作為圖像訓(xùn)練集其中表示第p幅高分辨率圖像，N_s表示高分辨率圖像的數(shù)量。為其對應(yīng)的低分辨率圖像集，其中表示第p幅低分辨率圖像，N_s表示低分辨率圖像的數(shù)量。根據(jù)低分辨率圖像訓(xùn)練集構(gòu)建低分辨率特征訓(xùn)練集X_S，定義水平方向一階梯度G_X、豎直方向一階梯度G_Y、水平方向二階梯度L_X、豎直方向二階梯度L_Y的算子模板分別為：

G_X＝[1,0,-1]，G_Y＝[1,0,-1]^T

其中T表示轉(zhuǎn)置運算，將低分辨率圖像訓(xùn)練集分別與水平方向的一階梯度G_X、豎直方向的一階梯度G_Y、水平方向的二階梯度L_X、豎直方向的二階梯度L_Y的算子模板進行卷積運算，獲得原始的低分辨率特征訓(xùn)練集其中表示第i項原始低分辨率特征，N_sn表示原始低分辨率特征的數(shù)量。將原始低分辨率特征訓(xùn)練集Z_S使用PCA進行維度約簡后，獲得投影矩陣V_pca和低分辨率特征訓(xùn)練集表示第i項的低分辨率特征，N_sn表示低分辨率特征的數(shù)量。接下來，將高分辨率圖像訓(xùn)練集與對應(yīng)的低分辨率圖像訓(xùn)練集相減獲得高頻圖像集其中e^p表示第p幅高頻圖像，N_s表示高頻圖像的數(shù)量；以單位矩陣作為算子模板，與高頻圖像集E^S進行卷積運算，獲得高分辨率特征訓(xùn)練集其中表示第i項的高分辨率特征，N_sn表示高分辨特征的數(shù)量。根據(jù)K-SVD算法求解低分辨率特征X_S對應(yīng)的低分辨率字典Φ_l和稀疏編碼系數(shù)B_l

其中，λ_l表示l₁范數(shù)優(yōu)化的正則項系數(shù)，||·||_F表示F范數(shù)，||·||₁表示1范數(shù)。根據(jù)高分辨率特征訓(xùn)練集Y_S和低分辨率特征編碼系數(shù)B_l求解出高分辨率字典的初始值Φ_h0，可以先假設(shè)低分辨率特征和對應(yīng)的高分辨率特征分別在低分辨率字典上和高分辨率字典上具有相同的編碼系數(shù)，即B_h＝B_l，則有編碼關(guān)系Φ_h0B_l＝Y(jié)^S，根據(jù)最小平方誤差可得式(3)所示：

其中，B_l表示低分辨率特征編碼系數(shù)，Y_S表示高分辨率特征訓(xùn)練集，T表示矩陣的轉(zhuǎn)置運算，(·)^-1表示矩陣求逆運算。

接下來通過建立稀疏域重構(gòu)的優(yōu)化目標公式進行迭代，首先對高分辨率特征的稀疏表示項和稀疏域的映射模型建立初始優(yōu)化目標公式：

其中，Y_S是高分辨率特征訓(xùn)練集，Φ_h是高分辨率字典，B_h是高分辨率特征編碼系數(shù)，B_l是低分辨率特征編碼系數(shù)，M是低分辨率特征編碼系數(shù)到高分辨率特征系數(shù)的映射矩陣，E_D是高分辨率特征的稀疏表示誤差項，E_M是稀疏域映射誤差項，α是映射誤差項系數(shù)。將高分辨率特征的稀疏表示誤差項E_D進一步表示為式(5)所示：

其中，β是l₁范數(shù)優(yōu)化正則項系數(shù)；將稀疏域映射誤差項E_M進一步表示為

其中γ是映射矩陣正則項系數(shù)；

為最終的稀疏域重構(gòu)的優(yōu)化目標公式；

其中，表示高分辨率字典Φ_h的第i項原子。根據(jù)稀疏域重構(gòu)的優(yōu)化目標公式和高分辨率字典的初始值Φ_h0，迭代求解高分辨率字典Φ_h、高分辨率特征編碼系數(shù)B_h、低分辨率特征編碼系數(shù)到高分辨率特征編碼系數(shù)的映射矩陣M，具體地以得到的Φ_h0作為高分辨率字典的迭代初始值，將高分辨率特征編碼系數(shù)的迭代初始值設(shè)為B_h0＝B_l，將映射矩陣的迭代初始值設(shè)為M₀＝E，其中E表示單位矩陣；固定高分辨率特征編碼系數(shù)B_h和映射矩陣M，使其保持不變，使用二次約束二次規(guī)劃方法求解高分辨率字典Φ_h，得到：

固定映射矩陣M和高分辨率字典Φ_h，進行稀疏編碼

求解高辨率特征編碼系數(shù)B_h。其中，表示高分辨率特征的增廣矩陣，Y_S表示高分辨率特征訓(xùn)練集，表示高分辨率字典的增廣矩陣：

其中，α是稀疏域映射誤差項系數(shù)，取值為0.1，β是L1范數(shù)優(yōu)化正則項系數(shù)，取值為0.01；固定高分辨率字典Φ_h和高分辨率特征編碼系數(shù)B_h，使其保持不變，使用嶺回歸優(yōu)化方法求解第t次迭代的映射矩陣M^(t)：

其中，μ表示迭代的步長，α是稀疏域映射誤差項系數(shù)，γ是映射矩陣正則項系數(shù)。

通過依次優(yōu)化迭代直到相鄰兩次稀疏域重構(gòu)的優(yōu)化目標值的變化量小于閾值時停止，得到最終的Φ_h、B_h和M；從而完成基于稀疏域重構(gòu)的超分辨率算法的訓(xùn)練過程。

發(fā)明合成階段框架如圖3和圖4所示：

對于輸入的低分辨率圖像，對圖像做同訓(xùn)練階段的處理得到低分辨率測試特征X_R，將低分辨率測試特征X_R在訓(xùn)練階段得到的低分辨率字典Φ_l上用正交匹配追蹤算法進行編碼，得到低分辨率測試特征編碼系數(shù)B'_l，將低分辨率測試特征編碼系數(shù)B'_l與訓(xùn)練階段得到中的映射矩陣M做投影運算，得到高分辨率測試特征編碼系數(shù)B'_h，將訓(xùn)練階段得到的高分辨率字典Φ_h與高分辨率測試特征編碼系數(shù)B'_h做乘法運算，得到高分辨率測試特征Y_R，最后將特征融合得到高分辨率圖像。至此，該實施例的所有步驟完成。

盡管上面對本發(fā)明說明性的具體實施方式進行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員能夠理解本發(fā)明，但是本發(fā)明不僅限于具體實施方式的范圍，對本技術(shù)領(lǐng)域的普通技術(shù)人員而言，只要各種變化只要在所附的權(quán)利要求限定和確定的本發(fā)明精神和范圍內(nèi)，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護之列。