本發(fā)明涉及圖像視頻領域，特別涉及一種實時超分辨率重建方法。
背景技術：
圖像超分辨率重建技術就是利用一組低質量、低分辨率圖像(或運動序列)來產(chǎn)生單幅高質量、高分辨率圖像。圖像超分辨率重建應用領域及其寬廣，在軍事，醫(yī)學，公共安全，計算機視覺等方面都存在著重要的應用前景。在計算機視覺領域，圖像超分辨率重建技術有可能使圖像實現(xiàn)從檢出水平(detectionlevel)向識別水平(recognitionlevel)的轉化，或更進一步實現(xiàn)向細辨水平(identificationlevel)的轉化。圖像超分辨率重建技術可以提高圖像的識別能力和識別精度。圖像超分辨率重建技術可以實現(xiàn)目標物的專注分析，從而可以獲取感興趣區(qū)域更高空間分辨率的圖像，而不必直接采用數(shù)據(jù)量巨大的高空間分辨率圖像的配置。
隨著計算機技術發(fā)展，人們在軍事領域、衛(wèi)星遙感成像領域及醫(yī)學等領域對高分辨率圖像的需求越來越迫切，然而由于傳統(tǒng)設備在成像過程中會受到系統(tǒng)模糊、大氣運動、噪聲、成像環(huán)境等各種因素影響，導致獲取圖像分辨率較低，難以滿足特定需求。若通過硬件設備來提升分辨率這種傳統(tǒng)手段，會造成設備體積增大、制造成本高、加工困難等一系列新問題。因此，通過軟件技術來提升圖像分辨率成為新的方式。
目前的超分辨率重建算法主要有基于插值的重建算法、基于模型的重建算法和基于學習的重建算法，從重建圖像質量而言，基于學習的重建算法效果更佳，可以顯著提升圖像分辨率?；趯W習的超分辨率重建算法雖然效果好，但是由于需要訓練大量的先驗信息，因而重建效率卻比較低，無法實現(xiàn)實時超分辨率重建的目的。
技術實現(xiàn)要素：
因此，為解決現(xiàn)有技術存在的技術缺陷和不足，本發(fā)明提出一種實時超分辨率重建方法。
具體地，本發(fā)明一個實施例提出的一種實時超分辨率重建算法，包括：
步驟1、根據(jù)第一分辨率圖像處理形成第二分別率圖像，由所述第一分辨率圖像和所述第二分別率圖像確定分辨率字典；
步驟2、對待重建的圖像進行分塊處理形成多個待重建圖像塊；
步驟3、設置信息量閾值并判斷所述待重建圖像塊的信息量是否大于所述信息量閾值；若是，則根據(jù)所述分辨率字典對所述待重建圖像塊進行圖像重建以形成第一子區(qū)域；
步驟4、對所述第一子區(qū)域進行圖像拼接得到超分辨率重建圖像。
在本發(fā)明的一個實施例中，根據(jù)第一分辨率圖像處理形成第二分別率圖像，包括：
將所述第一分辨率圖像按照退化模型進行模糊處理和n倍下采樣處理形成所述第二分辨率圖像。
在本發(fā)明的一個實施例中，由所述第一分辨率圖像和所述第二分別率圖像確定分辨率字典，包括：
根據(jù)特征提取算法提取圖像特征，獲得第一分辨率圖像特征信息和第二分辨率圖像特征信息；
根據(jù)k-svd算法，對所述第一分辨率圖像特征信息和所述第二分辨率圖像特征信息進行訓練以獲得第一分辨率字典和第二分辨率字典。
在本發(fā)明的一個實施例中，獲得第一分辨率字典和第二分辨率字典，包括：
通過最小化逼近誤差計算所述第一分辨率字典：：
dh＝xsa+＝xsat(aat)-1；
其中，假設所述第一分辨率字典和所述第二分辨率字典的稀疏表示系數(shù)相同且都為a，dh為所述第一分辨率字典，xs表示第一分辨率圖像特征信息；
通過稀疏k-svd算法求解所述第二分辨率字典：
dl＝φw
其中，dl為所述第二分辨率字典，φ為基字典，w為原子表示矩陣。在本發(fā)明的一個實施例中，在步驟2之前，還包括：
對所述待重建的圖像去噪聲處理和去模糊處理。
在本發(fā)明的一個實施例中，設置信息量閾值，包括：
將所述第二分辨率圖像進行分塊處理形成第二分辨率圖像塊，利用邊緣提取算法提取所述第二分辨率圖像塊的邊緣信息量；
根據(jù)所述第二分辨率圖像塊的邊緣信息量的分布情況選取x(x>1)個所述邊緣信息量作為候選信息量閾值；
根據(jù)超分辨率算法的重建時間以及對應重建形成的圖像分辨率，從x個所述候選信息量閾值中選擇一個作為所述信息量閾值。
在本發(fā)明的一個實施例中，根據(jù)所述分辨率字典對所述待重建圖像塊進行圖像重建之前，還包括：
對所述待重建圖像塊進行濾波操作，提取高頻特征，獲取所述待重建圖像塊的高頻信息以完成降維處理。
在本發(fā)明的一個實施例中，根據(jù)所述分辨率字典對所述待重建圖像塊進行圖像重建以形成第一子區(qū)域，包括：
通過omp算法求解所述待重建圖像塊在所述第二分辨率字典下的稀疏表示系數(shù)；
將所述稀疏表示系數(shù)與所述第一分辨率字典相乘，形成第一子區(qū)域。
在本發(fā)明的一個實施例中，所述稀疏表示系數(shù)的求解方程為：
其中，β為稀疏表示系數(shù)，t0為給定的稀疏度，βi為矩陣β中的子元素
在本發(fā)明的一個實施例中，步驟3還包括：
若否，根據(jù)雙三次插值算法對所述待重建圖像塊進行圖像重建形成第二子區(qū)域；
相應地，步驟4可以包括：
對所述第一子區(qū)域及所述第二子區(qū)域進行圖像拼接得到超分辨率重建圖像。
基于此，本發(fā)明具備如下優(yōu)點：
由于本發(fā)明基于學習的超分辨率重建算法實現(xiàn)圖像實時分辨率重建，成本低，不需要改變成像系統(tǒng)硬件結構。
本發(fā)明對學習字典進行處理，有效減少字典原子個數(shù)的同時，仍能夠線性表示初始化字典的所有信息，從而提高了字典的訓練效率。
本發(fā)明對待重建圖像進行分塊管理，通過設定信息量閾值的重建策略對圖像塊進行信息量判斷，根據(jù)圖像信息量的大小選擇圖像重建的方法，大幅提升了算法的計算效率。
通過以下參考附圖的詳細說明，本發(fā)明的其它方面和特征變得明顯。但是應當知道，該附圖僅僅為解釋的目的設計，而不是作為本發(fā)明的范圍的限定，這是因為其應當參考附加的權利要求。還應當知道，除非另外指出，不必要依比例繪制附圖，它們僅僅力圖概念地說明此處描述的結構和流程。
附圖說明
下面將結合附圖，對本發(fā)明的具體實施方式進行詳細的說明。
圖1為本發(fā)明實施例提供的一種實時超分辨率重建方法的示意圖。
具體實施方式
為使本發(fā)明的上述目的、特征和優(yōu)點能夠更加明顯易懂，下面結合附圖對本發(fā)明的具體實施方式做詳細的說明。
實施例一
請參見圖1，圖1為本發(fā)明實施例提供的一種實時超分辨率重建方法的示意圖。該方法包括如下步驟：
步驟1、根據(jù)第一分辨率圖像處理形成第二分別率圖像，由所述第一分辨率圖像和所述第二分別率圖像確定分辨率字典；
步驟2、對待重建的圖像進行分塊處理形成多個待重建圖像塊；
步驟3、設置信息量閾值并判斷所述待重建圖像塊的信息量是否大于所述信息量閾值；若是，則根據(jù)所述分辨率字典對所述待重建圖像塊進行圖像重建以形成第一子區(qū)域；
步驟4、對所述第一子區(qū)域進行圖像拼接得到超分辨率重建圖像。
其中，對于步驟1，可以包括：
將所述第一分辨率圖像按照退化模型進行模糊處理和n倍下采樣處理形成所述第二分辨率圖像。
其中，對于步驟1，還可以包括：
a1)、根據(jù)特征提取算法提取圖像特征，獲得第一分辨率圖像特征信息和第二分辨率圖像特征信息；
a2)、根據(jù)k-svd算法，對所述第一分辨率圖像特征信息和所述第二分辨率圖像特征信息進行訓練以獲得第一分辨率字典和第二分辨率字典。
進一步，對于步驟a2)中獲得第一分辨率字典和第二分辨率字典還可以包括：
a21)、通過最小化逼近誤差計算所述第一分辨率字典dh：
dh＝xsa+＝xsat(aat)-1；
其中，假設所述第一分辨率字典和所述第二分辨率字典的稀疏表示系數(shù)相同且都為a，dh為所述第一分辨率字典，xs表示第一分辨率圖像特征信息；
a22)、通過稀疏k-svd算法求解所述第二分辨率字典：
dl＝φw
其中，dl為所述第二分辨率字典，φ為基字典，w為原子表示矩陣
其中，在步驟2之前，還可以包括：
對所述待重建的圖像去噪聲處理和去模糊處理。
其中，對于步驟3，可以包括：
b1)、將所述第二分辨率圖像進行分塊處理形成第二分辨率圖像塊，利用邊緣提取算法提取所述第二分辨率圖像塊的邊緣信息量；
b2)、根據(jù)所述第二分辨率圖像塊的邊緣信息量的分布情況選取x(x>1)個所述邊緣信息量作為候選信息量閾值；
b3)、根據(jù)超分辨率算法的重建時間以及對應重建形成的圖像分辨率，從x個所述候選信息量閾值中選擇一個作為所述信息量閾值。
其中，對于步驟3中根據(jù)所述分辨率字典對所述待重建圖像塊進行圖像重建之前，還包括：
對所述待重建圖像塊進行濾波操作，提取高頻特征，獲取所述待重建圖像塊的高頻信息以完成降維處理。
進一步地，對于步驟3，還可以包括：
c1)、通過omp算法求解所述待重建圖像塊在所述第二分辨率字典下的稀疏表示系數(shù)；
c2)、將所述稀疏表示系數(shù)與所述第一分辨率字典相乘，形成第一子區(qū)域。
進一步地，步驟3中c1)，還可以包括：
所述稀疏表示系數(shù)的求解方程為：
其中，β為稀疏表示系數(shù)，t0為給定的稀疏度，βi為矩陣β中的子元素。
進一步地，對于步驟3，還可以包括：
若否，根據(jù)雙三次插值算法對所述待重建圖像塊進行圖像重建形成第二子區(qū)域；
相應地，步驟4可以包括：
對所述第一子區(qū)域及所述第二子區(qū)域進行圖像拼接得到超分辨率重建圖像。
本發(fā)明的有益效果具體為：
1、本發(fā)明實施例提出建立圖像庫訓練字典的方法，將圖像集離線訓練字典庫，得到高分辨率圖像與低分辨率圖像的映射關系，優(yōu)化圖像重建步驟，有效減少算法運行時間，具有自適應性和高效性。
2、本發(fā)明中算法中的閾值是基于大量對比試驗后進行優(yōu)化固定，在處過程中不需要進行改變，在不影響圖像重建效果的情況下，有效的提高了圖像重建效率。
3、由于本發(fā)明基于學習的超分辨率重建算法實現(xiàn)圖像實時分辨率重建，因此不需要改變成像系統(tǒng)硬件結構，具有成本低，經(jīng)濟效益高的優(yōu)點。
實施例二
本實施例在上述實施例的基礎上，對本發(fā)明的技術方案進行詳細描述。具體地，該方法包括：
步驟1：利用大量高分辨率圖像(即第一分辨率圖像)樣本，將高分辨率圖像按照修正后的退化模型進行模糊處理和n倍下采樣處理，得到相應的低分辨率圖像(即第二分辨率圖像)樣本。
步驟2：對步驟1中獲得的低分辨率圖像，通過特征提取算法提取圖像特征，得到空間目標的高分辨率特征信息xs(即第一分辨率特征信息)和低分辨率特征信息ys(即第二分辨率特征信息)。
步驟3：利用k-svd算法，對特征信息進行聯(lián)合訓練，得到高分辨率字典dh(即第一分辨率字典)和低分辨率字典dl(即第二分辨率字典)。
步驟3a)：訓練低分辨率字典。基字典φ選擇過完備dct字典，利用稀疏k-svd算法求解：
則低分辨率字典dl＝φw。
步驟3b)：計算高分辨率字典。假設高分辨率圖像塊，低分辨率圖像塊在相應的高分辨率字典，低分辨率字典下具有相同的稀疏表示系數(shù)a，則可以通過最小化以下公式中的逼近誤差來計算高分辨率字典dh：
使用偽逆求解：
dh＝xsa+＝xsat(aat)-1(3)
其中，上標“+”表示偽逆。
步驟4：對待重建的低分辨率圖像進行預處理，其中主要包括圖像去噪、圖像去模糊和樣本分塊操作。其處理步驟為：
步驟4a)：對步驟1中得到的低分辨率圖像去噪聲；
步驟4b)：對步驟4a)得到的低分辨率圖像去模糊，得到待重建低分辨率圖像；
步驟4c)：對待重建低分辨率圖像進行區(qū)塊劃分，將整幅圖像按照固定長寬進行分割保存；
步驟5：對待重建低分辨率圖像塊進行分塊管理，通過設定信息量閾值的重建策略對待重建圖像塊的信息量判斷，根據(jù)圖像信息量的大小選擇待重建圖像重建的方法，具體處理步驟如下：
步驟5a)：將步驟1得到的大量低分辨率圖像樣本進行區(qū)塊分割，低分辨率圖像塊的長寬同步驟4c；利用邊緣提取算法提取低分辨率圖像塊邊緣信息，統(tǒng)計各低分辨率圖像塊的信息量及所有圖像塊的信息量分布情況；根據(jù)信息量分布選擇若干具有代表性的信息量數(shù)值作為候選閾值，通過對照試驗比較不同候選閾值對于超分辨率算法重建質量及速度的影響，根據(jù)項目需求確定最合適的候選閾值作為信息量閾值。
步驟5b)：輸入待重建的低分辨率圖像塊，采用邊緣提取算法提取圖像塊邊緣信息，當改圖像塊信息量不超過步驟5a)確定的信息量閾值時，采用雙三次插值算法進行重建；否則，采用超分辨率重建算法進行圖像重建。該策略保證了圖像細節(jié)的重建質量，同時大幅提升了算法的計算速度。
其中，對于步驟5a)，信息量閾值的設置還可以使用如下的實施方式：
s1：將大量低分辨率圖像樣本進行區(qū)塊分割獲得圖像塊；
s2：利用邊緣提取算法提取低分辨率圖像塊邊緣信息，統(tǒng)計各低分辨率圖像塊的信息量及所有低分辨率圖像塊的信息量分布情況；
s3：選取低分辨率圖像塊中信息量最高的值，獲取該低分辨率圖像塊的像素值為f1，取f＝f1/4，則f*40％<＝閾值<＝f*60％，取該范圍內若干代表閾值，例如，可以取如下代表閾值：f*40％，f*45％，f*50％，f*55％，f*60％，計算每個閾值點對應的基于學習的稀疏表示圖像超分辨率重建算法的重建時間和重建后圖像的分辨率，可以根據(jù)主觀評價和psnr來判斷。然后根據(jù)使用者需求從若干代表閾值中確定固定閾值作為信息量閾值，如使用者需求更注重時間，那就調高比例，時間就快；相反使用者如果注重重建效果，那就調低比例，帶來的就是重建效果較好但時間較長。例如，經(jīng)計算后f*50％最符合使用者需求，則取信息量閾值＝f*50％。
s4：輸入待重建的低分辨率圖像塊，采用邊緣提取算法提取圖像塊邊緣信息，當該圖像塊信息量不超過步驟s3確定的信息量閾值時該圖像塊為低信息量圖像塊；否則，為高信息量圖像塊。優(yōu)選地，所述邊緣提取算法為canny算子邊緣檢測算法
步驟6：針對待重建圖像塊進行圖像濾波操作，進行高頻特征提取，采用2*2的濾波器組，所用濾波器組為f＝{f1,f2,f3,f4}，其由四個不同的濾波器組成，分別為：
f1＝[1,-1],f2＝f1t(4)
f3＝log,f3＝f3t(5)
其中上角標t表示矩陣轉置操作，log代表一種5×5的二維濾波算子。經(jīng)過高頻特征提取操作后獲得圖像塊高頻信息，以xl表示。
步驟7：對采用超分辨率重建算法的圖像塊進行kpca降維，實現(xiàn)高維數(shù)據(jù)壓縮。降維步驟如下：
步驟7a)：將高維數(shù)據(jù)集合表示為x＝{x1,x2,x3,…,xm},xi∈rd，kpca算法經(jīng)過非線性映射函數(shù)
x→φ(x)∈f，其中f是特征空間，這樣便能將每個數(shù)據(jù)x映射到一個高維特征空間。
步驟7b)：核函數(shù)通過φ將進行一個點x到f的對應操作，并且由此獲得的f數(shù)據(jù)滿足中心化的條件，即：
其中，φ為映射矩陣，可以實現(xiàn)點x到f的映射，xμ為樣本圖像特征。
則特征空間f中的協(xié)方差矩陣c為：
其中，m為樣本總數(shù)。
步驟7c)：求c的特征值λ≥0以及特征向量v，v＝1,2，…，m
v∈f\{0},cv＝λv(8)
則有
(φ(xv)·cv)＝λ(φ(xv)·v)(9)
考慮到所有的特征向量可表示為φ(x1),φ(x2),…,φ(xm)的線性組合，即：
則有：
式中，v＝1,2,3,…,m，定義m×m維矩陣kμv
kμv:＝(φ(xμ)·φ(xv))(12)
步驟7d)：求解上式得到特征值及特征向量，對于數(shù)據(jù)集合在特征向量空間vk的投影可以寫成：
那么，數(shù)據(jù)被投影到協(xié)方差矩陣的特征向量vk上，投影結果(也就是低維數(shù)據(jù)的表示y)可以表示為：
步驟8：對經(jīng)過降維壓縮后的圖像塊數(shù)據(jù)進行超分辨率重建，具體步驟如下：
步驟8a)：采用omp算法求解待重建子區(qū)域y在低分辨率字典dl下的稀疏表示系數(shù)β，即求解如下方程：
其中t0為給定的稀疏度，βi為矩陣β中的子元素。
步驟8b)：將求得的稀疏表示系數(shù)β與高分辨率字典dh相乘，得到重建的超分辨率重建子區(qū)域(即第一子區(qū)域)，即：
x＝dhβ(16)
其中x為求得的超分辨率重建子區(qū)域。
步驟9：對步驟8中求得的超分辨率重建子區(qū)域以及步驟5中雙三次插值算法進行重建形成的重建子區(qū)域進行圖像拼接，得到超分辨率重建圖像。
綜上所述，本文中應用了具體個例對本發(fā)明基于實時超分辨率率重建方法進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領域的一般技術人員，依據(jù)本發(fā)明的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內容不應理解為對本發(fā)明的限制，本發(fā)明的保護范圍應以所附的權利要求為準。