本發(fā)明涉及計算機應用技術領域，特別是涉及一種圖像超分辨率系統(tǒng)。

背景技術：

隨著計算機技術的快速發(fā)展，圖像超分辨率技術也得到了快速發(fā)展。圖像超分辨率就是將低分辨率(lowresolution，lr)的圖像通過一定的算法提升為高分辨率(highresolution，hr)圖像。高分辨率圖像具有更高的像素密度，更多的細節(jié)信息，更細膩的畫質(zhì)。在實際應用過程中，基于制作工藝和工程成本的考慮，很多場合不適合采用高分辨率相機進行圖像信號的采集。多數(shù)時候需要利用超分辨率技術將低分辨率圖像提升為高分辨率圖像。

現(xiàn)階段使用的卷積神經(jīng)網(wǎng)絡均由單一卷積核構(gòu)成，實現(xiàn)圖像超分辨率多為單一方式，僅能恢復一種情況的低分辨率圖像，對于不同分辨率情況的圖像則無法修復或者修復效果不佳。

技術實現(xiàn)要素：

本發(fā)明的目的是提供一種圖像超分辨率系統(tǒng)，以實現(xiàn)對多種不同情況的低分辨圖像進行超分辨率操作，具有較好的恢復效果。

為解決上述技術問題，本發(fā)明提供如下技術方案：

一種圖像超分辨率系統(tǒng)，包括特征提取模塊、細節(jié)預測模塊和重構(gòu)模塊，其中：

所述特征提取模塊，用于對輸入的待進行分辨率提升的目標圖像進行特征提取，生成所述目標圖像對應的特征圖；

所述細節(jié)預測模塊，用于對輸入的所述目標圖像對應的特征圖進行細節(jié)預測，獲得所述目標圖像丟失的細節(jié)圖像；

所述重構(gòu)模塊，用于將所述目標圖像和所述細節(jié)圖像進行疊加操作，重構(gòu)所述目標圖像對應的高分辨率圖像。

在本發(fā)明的一種具體實施方式中，所述特征提取模塊包括多個預先訓練得到的網(wǎng)絡分支，每個網(wǎng)絡分支分別由多個多尺度特征圖映射結(jié)構(gòu)級聯(lián)構(gòu)成，每個多尺度特征圖映射結(jié)構(gòu)分別由多個卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述特征提取模塊包括并聯(lián)的第一網(wǎng)絡分支和第二網(wǎng)絡分支。

在本發(fā)明的一種具體實施方式中，所述第一網(wǎng)絡分支包括的每個第一多尺度特征圖映射結(jié)構(gòu)為3×3卷積核與1×1卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述第二網(wǎng)絡分支包括的每個第二多尺度特征圖映射結(jié)構(gòu)為5×5卷積核與1×1卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述細節(jié)預測模塊包括第三多尺度特征圖映射結(jié)構(gòu)、第一卷積操作和第二卷積操作。

在本發(fā)明的一種具體實施方式中，所述第三多尺度特征圖映射結(jié)構(gòu)為3×3卷積核與5×5卷積核并聯(lián)構(gòu)成。

在本發(fā)明的一種具體實施方式中，所述第一卷積操作的卷積核為9×9卷積核。

在本發(fā)明的一種具體實施方式中，所述第二卷積操作的卷積核為5×5卷積核。

應用本發(fā)明實施例所提供的技術方案，特征提取模塊對輸入的待進行分辨率提升的目標圖像進行特征提取，生成目標圖像對應的特征圖，細節(jié)預測模塊對輸入的目標圖像對應的特征圖進行細節(jié)預測，獲得目標圖像丟失的細節(jié)圖像，重構(gòu)模塊將目標圖像和細節(jié)圖像進行疊加操作，重構(gòu)目標圖像對應的高分辨率圖像，輸入到細節(jié)預測模塊的是特征提取模塊生成的多個尺度的特征圖，可以實現(xiàn)對多種不同情況的低分辨率圖像進行超分辨率操作的目的，具有較好的恢復效果。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例中圖像超分辨率系統(tǒng)的一種結(jié)構(gòu)示意圖；

圖2為傳統(tǒng)的卷積層結(jié)構(gòu)示意圖；

圖3為本發(fā)明實施例中的卷積層結(jié)構(gòu)示意圖；

圖4為本發(fā)明實施例中圖像超分辨率系統(tǒng)的另一種結(jié)構(gòu)示意圖；

圖5為本發(fā)明實施例中特征提取訓練模型示意圖。

具體實施方式

為了使本技術領域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和具體實施方式對本發(fā)明作進一步的詳細說明。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

參見圖1所示，為本發(fā)明實施例所提供的一種圖像超分辨率系統(tǒng)的結(jié)構(gòu)示意圖，該系統(tǒng)可以包括特征提取模塊110、細節(jié)預測模塊120和重構(gòu)模塊130。

其中，特征提取模塊110，用于對輸入的待進行分辨率提升的目標圖像進行特征提取，生成目標圖像對應的特征圖；

細節(jié)預測模塊120，用于對輸入的目標圖像對應的特征圖進行細節(jié)預測，獲得目標圖像丟失的細節(jié)圖像；

重構(gòu)模塊130，用于將目標圖像和細節(jié)圖像進行疊加操作，重構(gòu)目標圖像對應的高分辨率圖像。

在本發(fā)明實施例中，圖像超分辨率系統(tǒng)用于對低分辨率圖像的分辨率進行提升，獲得高分辨率圖像。該圖像超分辨率系統(tǒng)包括特征提取(featureextraction)模塊、細節(jié)預測(detailprediction)模塊和重構(gòu)(reconstruction)模塊，細節(jié)預測模塊120分別與特征提取模塊110和重構(gòu)模塊130連接。

確定待進行分辨率提升的目標圖像后，可以將目標圖像輸入到特征提取模塊110中，特征提取模塊110對目標圖像進行特征提取操作，生成目標圖像對應的特征圖。

在本發(fā)明的一種具體實施方式中，特征提取模塊110可以包括多個預先訓練得到的網(wǎng)絡分支，每個網(wǎng)絡分支分別由多個多尺度特征圖映射結(jié)構(gòu)級聯(lián)構(gòu)成，每個多尺度特征圖映射結(jié)構(gòu)分別由多個卷積核并聯(lián)構(gòu)成。

本發(fā)明實施例利用深度卷積神經(jīng)網(wǎng)絡原理實現(xiàn)圖像超分辨率。卷積神經(jīng)網(wǎng)絡具有自主的學習能力，具有局部感知能力。一般認為人對外界的認知是從局部到全局的，圖像的空間聯(lián)系也是局部的像素聯(lián)系較為緊密，而距離較遠的像素相關性較弱。所以，在卷積神經(jīng)網(wǎng)絡中，每個神經(jīng)元沒有必要對全局圖像進行感知，只需要對局部進行感知，然后在更高層將局部的信息綜合起來就可以得到全局的信息。深度卷積神經(jīng)網(wǎng)絡的反向傳播能夠通過自身不斷地調(diào)節(jié)每層的權值，從而使得網(wǎng)絡自身去適應一類問題。

在本發(fā)明實施例中，為了提高單層卷積層的學習能力，將圖2所示的卷積核(weight)大小固定的傳統(tǒng)的卷積層結(jié)構(gòu)轉(zhuǎn)換為圖3所示的卷積層結(jié)構(gòu)，圖3所示的卷積層結(jié)構(gòu)即為多尺度特征圖映射結(jié)構(gòu)，由n個卷積核并聯(lián)構(gòu)成。圖2的卷積操作結(jié)果為：y＝f(x)；圖3的卷積操作結(jié)果為：f為激活函數(shù)relu，圖2和圖3輸出的特征圖y的數(shù)量和尺寸大小是相同的。

如圖4所示，在本發(fā)明的一種具體實施方式中，特征提取模塊110包括并聯(lián)的第一網(wǎng)絡分支和第二網(wǎng)絡分支。輸入的待進行分辨率提升的目標圖像分別通過第一網(wǎng)絡分支和第二網(wǎng)絡分支，可以獲得目標圖像對應的特征圖。第一網(wǎng)絡分支和第二網(wǎng)絡分支的網(wǎng)絡結(jié)構(gòu)相同，網(wǎng)絡的卷積核不同。

其中，如圖4所示，第一網(wǎng)絡分支包括的每個第一多尺度特征圖映射結(jié)構(gòu)為3×3卷積核與1×1卷積核并聯(lián)構(gòu)成，第二網(wǎng)絡分支包括的每個第二多尺度特征圖映射結(jié)構(gòu)為5×5卷積核與1×1卷積核并聯(lián)構(gòu)成。本發(fā)明實施例所提供的卷積核大小為較佳設置，在實際應用中，還可以設置為其他大小的卷積核，本發(fā)明實施例對此不做限制。

目標圖像通過圖4所示特征提取，每個網(wǎng)絡分支可以產(chǎn)生64張?zhí)卣鲌D，在特征提取階段最后產(chǎn)生128張?zhí)卣鲌D。

通過特征提取模塊110生成目標圖像對應的特征圖后，可以將生成的特征圖輸入到細節(jié)預測模塊120中，細節(jié)預測模塊120對輸入的目標圖像對應的特征圖進行細節(jié)預測，可以獲得目標圖像丟失的細節(jié)圖像。

低分辨率圖像往往是因為丟失了大量的細節(jié)而造成圖像的不清晰，修復一張低分辨率的圖像需要預測該圖像丟失的細節(jié)。

在本發(fā)明實施例中，細節(jié)預測模塊120包括第三多尺度特征圖映射結(jié)構(gòu)、第一卷積操作和第二卷積操作。第三多尺度特征圖映射結(jié)構(gòu)、第一卷積操作和第二卷積操作順序連接構(gòu)成。如圖4所示，第三多尺度特征圖映射結(jié)構(gòu)為3×3卷積核與5×5卷積核并聯(lián)構(gòu)成，第一卷積操作的卷積核為9×9卷積核，第二卷積操作的卷積核為5×5卷積核。

在細節(jié)預測階段，將特征提取階段的128張?zhí)卣鲌D作為輸入，最后產(chǎn)生一張細節(jié)圖，其中，第一層采用3×3卷積核與5×5卷積核并聯(lián)構(gòu)成的第三多尺度特征圖映射結(jié)構(gòu)，產(chǎn)生64張?zhí)卣鲌D，第二層采用9×9的卷積核，產(chǎn)生64張?zhí)卣鲌D，第三層采用5×5的卷積核，預測得到一張細節(jié)圖像。

本發(fā)明實施例所提供的卷積核大小為較佳設置，在實際應用中，還可以設置為其他大小的卷積核，本發(fā)明實施例對此不做限制。

通過重構(gòu)模塊130將目標圖像和細節(jié)圖像進行疊加操作，重構(gòu)目標圖像對應的高分辨圖像，達到超分辨率目的。

在本發(fā)明實施例中，特征提取模塊110包含的網(wǎng)絡分支為預先訓練得到，每個網(wǎng)絡分支的訓練過程分為兩個階段。

其中，第一階段為特征提取。該階段作為細節(jié)預測的輸入，極大的決定了網(wǎng)絡模型的表現(xiàn)。隨著特征提取階段網(wǎng)絡深度的增加，整個網(wǎng)絡的表現(xiàn)也會越好。這里的網(wǎng)絡深度是指特征提取階段中網(wǎng)絡分支的網(wǎng)絡層數(shù)(即為圖4中的d，具體可以設置d＝5，即為5層)。為了更好的將網(wǎng)絡特征提取階段訓練好，可以通過圖5所示模型訓練特征提取階段。

在訓練時，可以在特征提取階段增加2層卷積層用于預測一張細節(jié)圖，在其網(wǎng)絡結(jié)構(gòu)中，前面的m層為圖4方案中特征提取階段的網(wǎng)絡分支結(jié)構(gòu)(m等于圖4中的d)，第m+1層和m+2層為增加的層數(shù)，增加層數(shù)的卷積核依照相應網(wǎng)絡分支中卷積核的大小。例如，一個網(wǎng)絡分支中采用3×3的卷積核，則添加層的卷積核為3×3。

不同的網(wǎng)絡分支需要各自訓練。在訓練好各個網(wǎng)絡分支之后，僅取出前m層作為特征提取階段。之后，訓練整個網(wǎng)絡模型，將預訓練好的模型參數(shù)調(diào)用到整個模型當中進行訓練。

應用本發(fā)明實施例所提供的技術方案，特征提取模塊對輸入的待進行分辨率提升的目標圖像進行特征提取，生成目標圖像對應的特征圖，細節(jié)預測模塊對輸入的目標圖像對應的特征圖進行細節(jié)預測，獲得目標圖像丟失的細節(jié)圖像，重構(gòu)模塊將目標圖像和細節(jié)圖像進行疊加操作，重構(gòu)目標圖像對應的高分辨率圖像，輸入到細節(jié)預測模塊的是特征提取模塊生成的特征圖，可以實現(xiàn)對多種不同情況的低分辨率圖像進行超分辨率操作的目的，具有較好的恢復效果。

本說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其它實施例的不同之處，各個實施例之間相同或相似部分互相參見即可。

專業(yè)人員還可以進一步意識到，結(jié)合本文中所公開的實施例描述的各示例的單元及算法步驟，能夠以電子硬件、計算機軟件或者二者的結(jié)合來實現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能，但是這種實現(xiàn)不應認為超出本發(fā)明的范圍。

結(jié)合本文中所公開的實施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實施。軟件模塊可以置于隨機存儲器(ram)、內(nèi)存、只讀存儲器(rom)、電可編程rom、電可擦除可編程rom、寄存器、硬盤、可移動磁盤、cd-rom、或技術領域內(nèi)所公知的任意其它形式的存儲介質(zhì)中。

本文中應用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的技術方案及其核心思想。應當指出，對于本技術領域的普通技術人員來說，在不脫離本發(fā)明原理的前提下，還可以對本發(fā)明進行若干改進和修飾，這些改進和修飾也落入本發(fā)明權利要求的保護范圍內(nèi)。