本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體是一種基于數(shù)據(jù)增強(qiáng)的改進(jìn)型卷積網(wǎng)絡(luò)的圖像超分辨率重建方法。

背景技術(shù)：

近年來，圖像的超分辨率重建技術(shù)逐漸成熟并廣泛應(yīng)用于醫(yī)學(xué)圖像領(lǐng)域，衛(wèi)星影像，以及人臉識(shí)別等領(lǐng)域。該技術(shù)可分為三大類：基于插值算法，基于重建算法以及基于學(xué)習(xí)的算法。由于基于學(xué)習(xí)的算法效果更優(yōu)，大多數(shù)學(xué)者都是在這個(gè)基礎(chǔ)上進(jìn)行探索，研究。目前，基于學(xué)習(xí)的方法通過學(xué)習(xí)低分辨率圖像塊與高分辨率圖像塊之間的映射關(guān)系。雖然yang等人提出的稀疏編碼算法有一定的突破，該方法主要是通過局部調(diào)整字典學(xué)習(xí)的過程以及稀疏正則化參數(shù)，并充分利用自然圖像中固有的稀疏性。但是在局部調(diào)整的過程中容易出現(xiàn)數(shù)據(jù)過擬合，而學(xué)習(xí)到的字典缺乏不變性特性并只適用于低維數(shù)據(jù)。隨后dong等人成功的將深度學(xué)習(xí)算法引入該領(lǐng)域，并取得了一定的成果。他們提出的網(wǎng)絡(luò)結(jié)構(gòu)使得整個(gè)網(wǎng)絡(luò)完成特征提取和回歸任務(wù)，即展示了端到端學(xué)習(xí)的可能性，實(shí)現(xiàn)了從輸入到輸出過程中高維數(shù)據(jù)的非線性變化。該方法的主要特性體現(xiàn)在可以自動(dòng)學(xué)習(xí)所需要的先驗(yàn)知識(shí)，避免了傳統(tǒng)稀疏圖像超分辨率重建方法的分塊處理、字典學(xué)習(xí)和數(shù)據(jù)重組恢復(fù)等分步處理過程。然而該方法本質(zhì)上是一種歸納法，大數(shù)據(jù)集有利于該方法學(xué)習(xí)低分辨率圖像與高分辨率圖像之間的映射。而該網(wǎng)絡(luò)在訓(xùn)練過程中的數(shù)據(jù)集小使得網(wǎng)絡(luò)訓(xùn)練收斂慢，同時(shí)網(wǎng)絡(luò)層結(jié)構(gòu)特征造成獲取的有用信息缺乏，最終導(dǎo)致圖像重建精度低。

cn106228512a基于學(xué)習(xí)率自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)圖像超分辨率重建方法，直接應(yīng)用的是卷積神經(jīng)網(wǎng)絡(luò)，創(chuàng)新是在每層卷積層后添加了bn層，但是僅從網(wǎng)絡(luò)收斂速度角度出發(fā)，并沒有把圖像信息與網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合起來。

cn1062204449a一種基于對(duì)稱深度網(wǎng)絡(luò)的單幅圖像超分辨率重建方法，通過結(jié)合卷積層與反卷積層，同時(shí)增加網(wǎng)絡(luò)深度，加強(qiáng)了圖像細(xì)節(jié)部分的重建能力，獲得了更好的圖像超分辨率重建效果，但其重建精度還有待提高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是，針對(duì)前述現(xiàn)有技術(shù)的缺陷，提出基于數(shù)據(jù)增強(qiáng)的改進(jìn)型卷積網(wǎng)絡(luò)的圖像超分辨率重建方法，通過數(shù)據(jù)增強(qiáng)，增加了數(shù)據(jù)的多樣性；再對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，增加網(wǎng)絡(luò)的深度的同時(shí)，又將卷積層與反卷積層相結(jié)合，將反卷積層應(yīng)用于最后的重建層，從而能夠直接恢復(fù)圖像分辨率，提高圖像的重建精度。

本發(fā)明基于數(shù)據(jù)增強(qiáng)的改進(jìn)型卷積網(wǎng)絡(luò)的圖像超分辨率重建方法，包括如下步驟：

（1）數(shù)據(jù)增強(qiáng)：對(duì)樣本集的91張圖像分別進(jìn)行旋轉(zhuǎn)90°、180°、270°、翻轉(zhuǎn)0°、90°、180°、270°七種操作，然后以步伐r=14，有重疊的裁剪得到168000個(gè)fsub×fsub子圖像作為原始hr圖像，其中fsub=33；然后再對(duì)原始圖像進(jìn)行高斯模糊下采樣得到輸入數(shù)據(jù)集{yi}；

（2）網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)：構(gòu)造一個(gè)四層網(wǎng)絡(luò)模型，網(wǎng)絡(luò)前三層由卷積層構(gòu)成，用于提取圖像特征信息作為特征提取層；最后一層為反卷積層作為重建層，將卷積層獲得的特征信息用于重建，從而得到高分辨率圖像。

步驟（2）所述的網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)，具體包括以下子步驟：

（2.1）特征提取層1：輸入為lr圖像y，用濾波器對(duì)lr圖像卷積操作，得到類似于邊緣特征向量，該層輸出的特征映射經(jīng)過relu激活函數(shù)處理得到f1(y)，作為下一層的輸入；

（2.2）特征提取層2：輸入為上層的輸出f1(y)，并進(jìn)行卷積運(yùn)算，依舊得到一組高維向量，并經(jīng)過relu激活函數(shù)進(jìn)行非線性操作得到f2(y)輸出的特征映射，作為特征提取層3的輸入；

（2.3）特征提取層3：輸入為上層的輸出f2(y)，然后用一組濾波器對(duì)其操作，得到較為完整的特征，經(jīng)過該層處理，提取到的紋理特征向量將被表示為一組更為完整的具有可區(qū)別信息的高維向量；

（2.4）反卷積層可以被看作為濾波器中每個(gè)參數(shù)對(duì)應(yīng)的輸入像素的乘積并以步伐r移動(dòng)，輸出窗口稱為反向卷積；反卷積層與卷積層是相應(yīng)的，它是卷積的逆轉(zhuǎn)過程，在運(yùn)算過程中，先將核轉(zhuǎn)置后再進(jìn)行卷積運(yùn)算，這個(gè)過程通過學(xué)習(xí)不同的放大核優(yōu)化了該層特征，最后進(jìn)行整合得到輸出的hr圖像。

本發(fā)明重建方法，應(yīng)用數(shù)據(jù)增強(qiáng)的方式對(duì)樣本集進(jìn)行處理，既保持了源圖像的質(zhì)量又達(dá)到擴(kuò)充數(shù)據(jù)集的目的，使得圖像數(shù)據(jù)集的大小是原有數(shù)據(jù)集的7倍，圖像經(jīng)多角度的轉(zhuǎn)換增強(qiáng)了其樣本的多樣性。實(shí)驗(yàn)表明，通過該方式處理后的樣本更有利于加快網(wǎng)絡(luò)的訓(xùn)練收斂速度，同時(shí)也提供了更多的特征信息，從而更好的擬合網(wǎng)絡(luò)最終實(shí)現(xiàn)提高重建精度。

所述提取圖像特征信息作為特征提取層，是采用卷積層的方式對(duì)圖像進(jìn)行卷積操作得到特征映射，并經(jīng)過激活函數(shù)處理輸出。多層卷積操作有利于提取更加高級(jí)，完整的特征信息從而達(dá)到提高重建精度的目的。

所述重建層是反卷積層構(gòu)成，反卷積操作充分利用了有用的特征信息，用反卷積層作為重建層對(duì)卷積層輸出的特征映射進(jìn)行處理，可以直接利用輸出的特征信息恢復(fù)圖像分辨率，從而得到超分辨率圖像。

本發(fā)明重建方法，數(shù)據(jù)增強(qiáng)時(shí)，對(duì)圖像進(jìn)行多角度的轉(zhuǎn)換，可保持圖像的分辨率，避免使用插值引起的圖像分辨率下降的問題；特征提取層總共有三層，并且對(duì)每一層卷積操作輸出的特征映射都通過修正線性單元(rectifiedlinearunit,relu)函數(shù)max(0,x)處理，使得網(wǎng)絡(luò)具有稀疏表示能力，增加網(wǎng)絡(luò)的非線性，并且能保持梯度不衰減，從而緩解梯度消失的問題。能夠直接恢復(fù)圖像分辨率，提高圖像的重建精度。

附圖說明

圖1是本發(fā)明圖像超分辨率重建方法的網(wǎng)絡(luò)結(jié)構(gòu)框架圖；

圖2是本發(fā)明與其他圖像超分辨率重建方法處理的圖像效果對(duì)比圖。

具體實(shí)施方式

下面結(jié)合實(shí)施例和附圖，對(duì)本發(fā)明內(nèi)容作進(jìn)一步的詳細(xì)說明，但不是對(duì)本發(fā)明的限定。

實(shí)施例

本發(fā)明基于數(shù)據(jù)增強(qiáng)的改進(jìn)型卷積網(wǎng)絡(luò)的圖像超分辨率重建方法，具體步驟如下：

（1）數(shù)據(jù)增強(qiáng)：對(duì)樣本集的91張圖像分別進(jìn)行旋轉(zhuǎn)90°、180°、270°、翻轉(zhuǎn)0°，90°、180°、270°七種操作，然后以步伐r=14，有重疊的裁剪得到168000個(gè)fsub×fsub子圖像作為原始hr圖像，其中fsub=33；然后再對(duì)原始圖像進(jìn)行高斯模糊下采樣得到輸入數(shù)據(jù)集{yi}。

（2）網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)：構(gòu)造一個(gè)四層網(wǎng)絡(luò)模型，如圖1所示，網(wǎng)絡(luò)前三層由卷積層構(gòu)成，用于提取圖像特征信息作為特征提取層；最后一層為反卷積層作為重建層，將卷積層獲得的特征信息用于重建，從而得到高分辨率圖像。

所述網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)，具體方法是：

（2.1）特征提取層1：輸入為lr圖像y，用濾波器對(duì)lr圖像卷積操作，得到類似于邊緣特征向量，并采用高維向量表示，向量由一組特征映射組成，向量的維數(shù)等于特征映射個(gè)數(shù)；

公式如下：

（1）

式中的w1和b1分別表示濾波器組及其偏置，符號(hào)表示卷積運(yùn)算，w1的尺寸為c×f1×f1×n1，相當(dāng)于n1個(gè)c×f1×f1大小的濾波器，c是圖像通道數(shù)，f1是濾波器大小，n1是濾波器個(gè)數(shù)。本例中c=1，n1=64，w1=9×9。因此，該層主要應(yīng)用n1個(gè)大小f1×f1為濾波器對(duì)圖像進(jìn)行卷積運(yùn)算，并將得到的特征映射用激活函數(shù)relu處理得到f1(y)，作為下一層的輸入。

（2.2）特征提取層2：輸入為上層的輸出f1(y)，并進(jìn)行卷積運(yùn)算，使得該輸入的高維向量可以用另一組高維向量表示，即為紋理特征向量；

公式如下：

（2）

式中w2的尺寸為c×f2×f2×n2，將設(shè)為f2=7,即的大小w1=7×7，n1=32，b2是n2維向量。

（2.3）特征提取3：該層的輸入為上一層激活函數(shù)relu的輸出f2(y)，然后用一組濾波器對(duì)其操作，得到較為完整的特征；

公式如下：

（3）

式中w3的尺寸為c×f3×f3×n3，b3為n3維向量，將f3設(shè)為1，n3=16，經(jīng)過該層處理，提取到的紋理特征向量將被表示為一組更為完整的具有可區(qū)別信息的高維向量。

（2.3）重建層：反卷積層可以被看作為濾波器中每個(gè)參數(shù)對(duì)應(yīng)的輸入像素的乘積并以步伐r移動(dòng)，輸出窗口稱為反向卷積；反卷積層的濾波器參數(shù)也是學(xué)習(xí)得到的，在運(yùn)算過程中它與卷積層原理相似，但是反卷積層可以用隱藏層的特征來重建先前層的圖像。這就是說可以通過依次跨層來重建出輸入的圖像。因此，將反卷積層設(shè)為重建層，充分利用卷積層提取的較為完整的特征，使之重建得到超分辨率圖像；

公式如下：

（4）

公式（4）中，表示的是w4以及b4反卷積層的濾波器以及偏置，其中w4=3×3，根據(jù)公式得，反卷積層與卷積層是相應(yīng)的，它是卷積的逆轉(zhuǎn)過程，在運(yùn)算過程中，先將核轉(zhuǎn)置后再進(jìn)行卷積運(yùn)算，這個(gè)過程通過學(xué)習(xí)不同的放大核優(yōu)化了該層特征，最后進(jìn)行整合得到輸出的hr圖像。

本實(shí)施例應(yīng)用的是matlabr2014a以及caffe。觀察圖2實(shí)驗(yàn)結(jié)果，觀察到monarch的蝴蝶頭部上的紋理細(xì)節(jié)，基準(zhǔn)算法bicubic插值重建的效果表面平滑，但是蝴蝶頭部的紋理不清晰以及帽子邊緣模糊；anr算法結(jié)合了稀疏字典學(xué)習(xí)與鄰域嵌入的方法，保存了部分紋理信息，同時(shí)細(xì)節(jié)部分更加清晰，視覺效果優(yōu)于基準(zhǔn)算法，但是在帽子邊緣依舊有模糊不清的現(xiàn)象；a+算法是在anr的基礎(chǔ)上優(yōu)化的，相較于anr算法，a+通過線性轉(zhuǎn)換相應(yīng)的hr塊保存了lr-hr之間的空間關(guān)系，相對(duì)減少了重建誤差，即呈現(xiàn)的視覺效果較優(yōu)。觀察圖2中的monarch我們可以看到整張圖是比較清晰的，但局部細(xì)節(jié)部分恢復(fù)不夠完整；而srcnn算法直接學(xué)習(xí)lr-hr之間的映射關(guān)系，是一種端到端學(xué)習(xí)的方式，因此保存了更多的高頻信息，從圖中可以觀察到，srcnn與a+相對(duì)比，a+雖然在某些細(xì)節(jié)信息更加明顯，但srcnn的視覺效果也是可觀的；而本發(fā)明方法，既體現(xiàn)出端到端的學(xué)習(xí)優(yōu)勢(shì)，同時(shí)又彌補(bǔ)了srcnn提取特征信息不夠多的缺點(diǎn)。從圖2中觀察到，monarch的頭部紋理信息清晰，更加細(xì)膩，視覺效果優(yōu)于以上相比較的算法，同時(shí)整體視覺效果與原始圖像更接近。