本申請總體涉及圖像處理的領(lǐng)域，確切地說，涉及用于為低分辨率圖像提供超分辨率的設備和方法。

背景技術(shù)：

超分辨率(SR)是提高成像系統(tǒng)的分辨率的一類技術(shù)。用于單個圖像的超分辨率的近來現(xiàn)有技術(shù)方法多數(shù)是基于實例的(example-based)。這些方法利用相同圖像的內(nèi)部相似度，或者從外部低分辨率和高分辨率實例對中學習映射函數(shù)?；谕獠繉嵗姆椒ㄍǔ＞哂谐渥愕臉颖?，但其難點在于如何有效并簡要地對數(shù)據(jù)進行建模。

一類現(xiàn)有技術(shù)SR方法學習高/低分辨率圖像塊(patch)之間的映射。這些研究的不同之處在于如何學習簡明字典(compact dictionary)或多方面的空間(manifold space)以將低/高分辨率圖像塊關(guān)聯(lián)起來，并且在如何在此類空間中建立表示方案(representation scheme)的方面也是不同的。在這些方法中，圖像塊的優(yōu)化是焦點；圖像塊提取和聚合步驟被視作預處理/后處理并且單獨地進行處理。

卷積神經(jīng)網(wǎng)絡(CNN)追溯到數(shù)十幾年前，而近年來，部分地由于它成功進行圖像分類而異常流行起來。卷積神經(jīng)網(wǎng)絡通常應用于自然圖像去噪和去除噪音圖案(污物/雨)，但從未用于圖像超分辨率問題。

技術(shù)實現(xiàn)要素：

根據(jù)本申請的實施方式，公開了用于為低分辨率圖像提供超分辨率的設備。所述設備可包括：圖像塊提取與表示裝置，其包括被配置成從所述低分辨率圖像中提取圖像塊并且將所提取的圖像塊表示為高維向量的第一組濾波器；映射裝置，其包括被配置成將每個所述高維向量非線性地映射為高分辨率圖像塊表示的第二組濾波器；以及聚合裝置，其被配置成聚合所述高分辨率圖像塊表示以生成所述低分辨率圖像的高分辨率圖像。

根據(jù)本申請的實施方式，公開了用于為低分辨率圖像提供超分辨率的方法，所述方法可包括：通過包括第一組濾波器的圖像塊提取與表示裝置從低分辨率圖像中提取圖像塊并且將所提取的每個圖像塊表示為高維向量；通過包括第二組濾波器的映射裝置將每個高維向量非線性地映射為高分辨率圖像塊表示；以及聚合高分辨率圖像塊表示，以生成高分辨率圖像。

根據(jù)本申請的實施方式，公開了對用于為低分辨率圖像提供超分辨率的卷積神經(jīng)網(wǎng)絡系統(tǒng)進行訓練的方法，并且所述方法可包括：1)從預定訓練集中對低分辨率子圖像及其對應的標定真實高分辨率子圖像進行采樣；2)通過卷積神經(jīng)網(wǎng)絡系統(tǒng)將低分辨率子圖像重建到高分辨率子圖像；3)通過比較重建的高分辨率子圖像與標定真實高分辨率子圖像之間的不同來生成重建誤差；4)通過卷積神經(jīng)網(wǎng)絡系統(tǒng)將重建誤差反向傳播，以便調(diào)整卷積神經(jīng)網(wǎng)絡系統(tǒng)的神經(jīng)元之間的連接的權(quán)重；以及重復步驟1)到4)，直到重建誤差的平均值小于預設閾值。

根據(jù)本申請的實施方式，公開了用于為低分辨率圖像提供超分辨率的設備，所述設備可包括：重建單元，其被配置成基于預定參數(shù)將低分辨率圖像重建到高分辨率圖像；以及訓練單元，其被配置成使用預定訓練集來訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)，以便確定由重建單元使用的參數(shù)。重建單元可包括：圖像塊提取與表示裝置，其被配置成從低分辨率圖像中提取圖像塊并且基于預定參數(shù)將所提取的每個圖像塊表示為高維向量；映射裝置，其被配置成將每個高維向量非線性地映射為高分辨率圖像塊表示；以及聚合裝置，其被配置成聚合高分辨率圖像塊表示以生成高分辨率圖像。圖像塊提取與表示裝置、映射裝置和聚合裝置包括多個卷積層，并且多個卷積層相繼連接到彼此以形成卷積神經(jīng)網(wǎng)絡系統(tǒng)。

與現(xiàn)有方法相比，本申請沒有直接(explicitly)學習用于對圖像塊空間建模的字典或多樣空間。這些經(jīng)由卷積層而間接(implicitly)實現(xiàn)。此外，圖像塊提取和聚合也建模為卷積層并在優(yōu)化中進行使用。在本申請的方法和設備中，使用較少的預處理/后處理通過訓練來完全獲取整個卷積神經(jīng)網(wǎng)絡。通過輕質(zhì)的結(jié)構(gòu)，本申請的設備和方法實現(xiàn)了比現(xiàn)有技術(shù)方法優(yōu)越的性能。

附圖說明

下文參考附圖描述本發(fā)明的示例性非限制實施方式。附圖是說明性的，并且一般不按確切比例。不同圖上的相同或類似元件引用相同的附圖標號。

圖1是示出根據(jù)本申請的實施方式的用于為低分辨率圖像提供超分辨率的設備的示意圖。

圖2是示出根據(jù)本申請的另一實施方式的用于為低分辨率圖像提供超分辨率的設備的示意圖。

圖3是示出根據(jù)一些公開實施方式的卷積神經(jīng)網(wǎng)絡系統(tǒng)的示意圖。

圖4是示出根據(jù)一些公開實施方式的設備的訓練單元的示意圖。

圖5是示出根據(jù)一些公開實施方式的訓練單元的訓練集準備裝置的示意圖。

圖6是示出根據(jù)一些公開實施方式的用于為低分辨率圖像提供超分辨率的設備在軟件中實施時的示意圖。

圖7是示出根據(jù)一些公開實施方式的用于為低分辨率圖像提供超分辨率的方法的示意流程圖。

圖8是示出符合一些公開實施方式的用于對為低分辨率圖像提供超分辨率的訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)進行訓練的方法的示意流程圖。

具體實施方式

本部分將詳細說明示例性實施方式，這些實施方式的實例將在附圖中說明。在適當?shù)臅r候，附圖中相同的附圖標號始終指代相同或相似部分。圖1是示出符合一些公開實施方式的用于為低分辨率圖像提供超分辨率的示例性設備1000的示意圖。

參考圖1，其中設備1000由硬件實施，它可包括圖像塊提取與表示裝置100、映射裝置200和聚合裝置300。在圖l所示的實施方式中，圖像塊提取與表示裝置100可包括第一組濾波器，該組濾波器被配置成從低分辨率圖像中提取圖像塊并且將所提取的每個圖像塊表示為高維向量。映射裝置200可包括第二組濾波器，該組濾波器被配置成將每個高維向量非線性地映射為高分辨率圖像塊。聚合裝置300可被配置成聚合高分辨率圖像塊表示，以生成低分辨率圖像的高分辨率圖像。

根據(jù)實施方式，第一組濾波器被配置成從低分辨率圖像中提取圖像塊并且根據(jù)第一參數(shù)的第一非線性函數(shù)將所提取的每個圖像塊表示為高維向量，其中第一參數(shù)是從與低分辨率圖像相關(guān)聯(lián)的預定參數(shù)中確定的。

根據(jù)實施方式，第二組濾波器被配置成根據(jù)第二參數(shù)的第二非線性函數(shù)將每個高維向量非線性地映射為高分辨率圖像塊表示，其中第二參數(shù)是從與高維向量相關(guān)聯(lián)的預定參數(shù)中確定的。

在下文中，將進一步詳細論述上文提及的第一組濾波器、第二組濾波器和聚合裝置。為便于描述，低分辨率圖像由Y表示，并且高分辨率圖像由F(Y)表示，其盡可能地類似于標定真實高分辨率圖像X。

第一組濾波器被配置成從低分辨率圖像Y中提取圖像塊并且將所提取的每個圖像塊表示為高維向量。在實施方式中，這些向量包括特征圖的集合，其中特征圖的數(shù)量等于向量的維度。圖像恢復的普遍策略是密集地提取圖像塊隨后用預先訓練的主要成分來表示所述圖像塊，諸如，PCA(主成分分析)、DCT(離散余弦變換)、Haar等。

根據(jù)實施方式，第一組濾波器可被模擬為運算F₁：

F₁(Y)＝F′(W₁*Y+B₁) (1)

其中W₁和B₁分別代表濾波器和偏差。此處，F(xiàn)'(x)是非線性函數(shù)，例如，max(0,x)、tanh(x)或l/(l+exp(-x))。在該實施方式中，W₁具有尺寸c×f₁×f₁×n₁，其中c是輸入圖像中的通道的數(shù)量，例如，如果輸入圖像是彩色圖像，那么c是3，并且f₁是濾波器的空間尺寸，以及n₁是濾波器的數(shù)量。直觀地說，W₁將n₁個卷積應用于圖像，并且每個卷積具有核尺寸c×f₁×f₁。輸出由n₁個特征圖組成。B₁是n₁維向量，它的每個元素與濾波器相關(guān)聯(lián)。

第二組濾波器被配置成將每個高維向量非線性地映射為另一高維向量。在該實施方式中，第一組濾波器提取每個圖像塊的n₁維特征。第二組濾波器將這些n₁維向量中的每個映射為n₂維向量中。每個映射的向量在概念上是高分辨率圖像塊的表示。這些向量包括特征圖的另一集合。

根據(jù)實施方式，第二組濾波器可被模擬為運算F₂：

F₂(Y)＝F"(W2*F₁(Y)+B₂),(2)

其中W₂具有尺寸n₁×1×1×n₂，并且B₂是n₂維向量。此處，F(xiàn)"(x)是非線性函數(shù)，例如，max(0,x)、tanh(x)或l/(l+exp(-x))。在該實施方式中，輸出的n₂維向量中的每個在概念上是將用于重建的高分辨率圖像塊的表示。

或者，有可能添加更多卷積層(其空間支持是l×l)以提高非線性。但這可顯著增加卷積神經(jīng)網(wǎng)絡系統(tǒng)的復雜性，因而需要更多的訓練數(shù)據(jù)和時間。

聚合裝置300聚合高分辨率圖像塊表示以生成高分辨率圖像。聚合裝置300可被模擬為運算F₃：

F(Y)＝W₃*F₂(Y)+B₃,(3)

其中W₃具有尺寸n₂×f₃×f₃×c，并且B₃是c維向量。

如果高分辨率圖像塊的表示在圖像域中(即，每個表示(representation)可簡單地再成形以形成圖像塊)，那么濾波器可充當平均濾波器。如果高分辨率圖像塊的表示(representation)在一些其他域中(例如，就一些主要成分而言的系數(shù))，那么W₃可表現(xiàn)為首先將系數(shù)投射到圖像域上隨后進行平均。在任一方式中，W₃都是一組線性濾波器。

根據(jù)實施方式，設備1000還可包括比較裝置(未示出)，該比較裝置被配置成從預定訓練集中對與低分辨率圖像對應的標定真實高分辨率圖像進行采樣，并且比較聚合的高分辨率圖像與采樣的標定真實高分辨率圖像之間的不同，以生成重建誤差。例如，重建誤差包括均方誤差。重建誤差進行反向傳播以確定參數(shù)，即，W₁、W₂、W₃、B₁、B₂和B₃。

在一個實施方式中，設備1000還可包括放大單元(未示出)，并且該放大單元被配置成將低分辨率圖像放大到預定尺寸。例如，可通過使用雙三次插值來放大低分辨率圖像。在該實施方式中，放大是唯一的預處理。

圖2是示出符合本申請的另一實施方式的用于為低分辨率圖像提供的超分辨率的設備1000’的示意圖。如圖2所示，其中設備1000’由硬件實施，它可包括重建單元100’和訓練單元200’。重建單元100’被配置成基于預定參數(shù)將低分辨率圖像重建為高分辨率圖像。

根據(jù)圖2所示的實施方式，重建單元100’還可包括圖像塊提取與表示裝置110’、映射裝置120’和聚合裝置130’。在該實施方式中，圖像塊提取與表示裝置110’、映射裝置120’和聚合裝置130’可連接在一起以形成卷積神經(jīng)網(wǎng)絡系統(tǒng)。圖3示出數(shù)學模擬模型中的卷積神經(jīng)網(wǎng)絡系統(tǒng)的層配置。在一個實施方式中，圖像塊提取與表示裝置110’、映射裝置120’和聚合裝置130’中的每個可分別被模擬為至少一個卷積層。不同的操作分別在不同的卷積層執(zhí)行。

在該實施方式中，圖像塊提取與表示裝置110’被配置成從低分辨率圖像中提取圖像塊并且基于預定參數(shù)將所提取的每個圖像塊表示為高維向量。這相當于通過如上文提及的一組濾波器來對圖像進行卷積。

映射裝置120’被配置成將每個高維向量非線性地映射為高分辨率圖像塊表示。這相當于應用如上文提及的具有微不足道的空間支持l×l的第二組濾波器。或者，有可能添加更多卷積層(其空間支持是l×l)以提高非線性。但這可顯著增加卷積神經(jīng)網(wǎng)絡系統(tǒng)的復雜性，因而需要更多的訓練數(shù)據(jù)和時間。

聚合裝置130’被配置成聚合高分辨率圖像塊表示，以生成高分辨率圖像。

在實施方式中，訓練單元200’被配置成使用預定訓練集來訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)，以確定由重建單元使用的參數(shù)，例如，W₁、W₂、W₃、B₁、B₂、B₃。根據(jù)如圖5所示的實施方式，訓練單元200’可包括采樣裝置210’、比較裝置220’和反向傳播裝置230’。

采樣裝置210’可被配置成從預定訓練集中對低分辨率子圖像及其對應的標定真實高分辨率子圖像進行采樣，并且將低分辨率子圖像輸入到卷積神經(jīng)網(wǎng)絡系統(tǒng)。此處，“子圖像”指的是被當作小“圖像”而不是“圖像塊”的這些樣本，在某種意義上，“圖像塊”是重疊的并且需要某一平均作為預處理，但“子圖像”不需要。

比較裝置220’可被配置成比較基于來自卷積神經(jīng)網(wǎng)絡系統(tǒng)的輸入低分辨率子圖像的所重建的高分辨率子圖像與對應的標定真實高分辨率子圖像之間的不同以生成重建誤差。例如，重建誤差可包括均方誤差，并且通過使用隨機梯度下降與標準反向傳播來將該誤差最小化。

反向傳播裝置230’被配置成將重建誤差反向傳播通過卷積神經(jīng)網(wǎng)絡系統(tǒng)，以調(diào)整卷積神經(jīng)網(wǎng)絡系統(tǒng)的神經(jīng)元之間的連接的權(quán)重。

應注意，卷積神經(jīng)網(wǎng)絡系統(tǒng)并不排除其他種類的重建誤差的使用，只要可導出重建誤差即可。如果在訓練期間給定更佳的感知激勵度量，那么卷積神經(jīng)網(wǎng)絡系統(tǒng)可靈活地適應該度量。

在一個實施方式中，訓練單元200’還可包括訓練集準備裝置，其被配置成準備用于訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)的預定訓練集。圖5是示出訓練單元200’的訓練集準備裝置的示意圖。如圖所示，訓練集準備裝置可包括裁剪器241’、低分辨率子圖像生成器242’、配對裝置243’和收集器244’。

裁剪器241’可被配置成從隨機選擇的訓練圖像中隨機裁剪多個子圖像，以生成標定真實高分辨率子圖像的集合。例如，裁剪器241’可裁剪各自具有m×m個像素的n個子圖像。低分辨率子圖像生成器242’可被配置成基于標定真實高分辨率子圖像的集合來生成低分辨率子圖像的集合。配對裝置243’可被配置成將每個標定真實高分辨率子圖像與對應的低分辨率子圖像進行配對。收集器244’可被配置成收集所有的對，以形成預定訓練集。

根據(jù)實施方式，低分辨率子圖像生成器242’可包括模糊裝置、采樣裝置和放大裝置。模糊裝置可被配置成通過高斯核而使每個標定真實高分辨率子圖像模糊。采樣裝置可被配置成以預定比例因子對模糊的標定真實高分辨率子圖像進行采樣。放大裝置可被配置成以預定比例因子放大采樣的標定真實高分辨率子圖像，以生成低分辨率子圖像的集合。

應了解，設備1000和1000’可使用某一硬件、軟件或它們的組合來實施。此外，本發(fā)明的實施方式可適于計算機程序產(chǎn)品，所述計算機程序產(chǎn)品體現(xiàn)在含有計算機程序代碼的一個或多個計算機可讀存儲介質(zhì)上(包括但不限于，磁盤存儲器、CD-ROM、光學存儲器等)。圖6是示出符合一些公開實施方式的用于為低分辨率圖像提供超分辨率的設備1000和1000’在軟件中實施時的示意圖。

在用軟件實施設備1000和1000’的情況下，設備1000和1000’可包括通用計算機、計算機集群、主流計算機、專用于提供在線內(nèi)容的計算裝置，或者計算機網(wǎng)絡，所述計算機網(wǎng)絡包括一組以集中或分布方式操作的計算機。如圖4所示，設備1000和1000’可包括一個或多個處理器(處理器102、104、106等)、存儲器112、存儲裝置116以及促進設備1000的各種部件之間的信息交換的總線。處理器102到106可包括中央處理單元(“CPU”)、圖形處理單元(“GPU”)或者其他合適的信息處理裝置。根據(jù)所使用的硬件的類型，處理器102到106可包括一個或多個印刷電路板和/或一個或多個微處理器芯片。處理器102到106可執(zhí)行計算機程序指令的序列，以執(zhí)行將在下文更詳細地說明的各種方法。

存儲器112可尤其包括隨機存取存儲器(“RAM”)和只讀存儲器(“ROM”)。計算機程序指令可由存儲器112存儲、訪問和從該存儲器中讀取，以便由處理器102到106中的一個或多個處理器執(zhí)行。例如，存儲器112可存儲一個或多個軟件應用。此外，存儲器112可存儲整個軟件應用或者只存儲可由處理器102到106中的一個或多個處理器執(zhí)行的軟件應用的一部分。應注意，盡管圖1中只示出一個框，但存儲器112可包括安裝在中央處理裝置或不同計算裝置上的多個物理裝置。

圖7是示出符合一些公開實施方式的用于為低分辨率圖像提供超分辨率的方法2000的示意流程圖。下文可參考圖7詳細地描述方法2000。

在步驟S210處，由包括第一組濾波器的圖像塊提取與表示裝置從低分辨率圖像中提取圖像塊并且將所提取的每個圖像塊表示為高維向量。在實施方式中，這些向量包括特征圖的集合，其中特征圖的數(shù)量等于向量的維度。圖像恢復的普遍策略是密集地提取圖像塊隨后用預先訓練的主要成分來表示所述圖像塊，諸如，PCA、DCT、Haar等。

在步驟S220處，由包括第二組濾波器的映射裝置將每個高維向量非線性地映射為高分辨率圖像塊表示。在該實施方式中，第一組濾波器提取每個圖像塊的n₁維特征。第二組濾波器將這些n₁維向量中的每個映射到n₂維向量中。在實施方式中，每個映射的向量在概念上是高分辨率圖像塊的表示。這些向量包括特征圖的另一集合。

在步驟S230處，將高分辨率圖像塊表示聚合，以生成高分辨率圖像。在實施方式中，這些步驟S210到S230可由上述公式(1)到(3)模擬。

根據(jù)實施方式，可從低分辨率圖像中提取圖像塊并且根據(jù)第一參數(shù)的第一非線性函數(shù)將所提取的每個圖像塊表示為高維向量，其中第一參數(shù)是從與低分辨率圖像相關(guān)聯(lián)的預定參數(shù)中確定的。例如，F(xiàn)'(第一參數(shù))可以是max(0，第一參數(shù))、tanh(第一參數(shù))或者l/(l+exp(-第一參數(shù)))。

根據(jù)實施方式，每個高維向量可根據(jù)第二參數(shù)的第二非線性函數(shù)映射為高分辨率圖像塊表示，其中第二參數(shù)是從與高維向量相關(guān)聯(lián)的預定參數(shù)中確定的。例如，F(xiàn)"(第二參數(shù))可以是max(0，第二參數(shù))、tanh(第二參數(shù))或者l/(l+exp(-第二參數(shù)))。

根據(jù)實施方式，在將高分辨率圖像塊表示聚合以生成高分辨率圖像之后，方法2000還可包括從預定訓練集中對與低分辨率圖像對應的標定真實高分辨率圖像進行采樣的步驟，以及比較聚合的高分辨率圖像與對應的標定真實高分辨率圖像之間的不同以生成重建誤差的步驟。重建誤差進行反向傳播，以便確定參數(shù)，即，W₁、W₂、W₃、B₁、B₂和B₃。

根據(jù)實施方式，在從預定訓練集中對與低分辨率圖像對應的標定真實高分辨率圖像進行采樣之前，方法2000還包括準備預定訓練集的步驟。具體而言，首先從隨機選擇的訓練圖像中裁剪多個子圖像，以生成標定真實高分辨率子圖像的集合。例如，可裁剪各自具有m×m個像素的n個子圖像。接下來，基于標定真實高分辨率子圖像的集合來生成低分辨率子圖像的集合。隨后，將每個標定真實高分辨率子圖像與對應的低分辨率子圖像進行配對。隨后，收集所有的對，以形成預定訓練集。

之后是生成低分辨率子圖像的可能方式。例如，每個標定真實高分辨率子圖像被高斯核模糊，并且以預定比例因子對模糊的標定真實高分辨率子圖像進行下采樣。隨后，以相同的預定比例因子將下采樣的子圖像放大，以便生成低分辨率子圖像的集合。

在一個實施方式中，方法2000還可包括下列步驟：在從低分辨率圖像中提取圖像塊之前，將低分辨率圖像放大到預定尺寸(未示出)。

根據(jù)實施方式，示出用于針對為低分辨率圖像提供超分辨率來訓練卷積神經(jīng)網(wǎng)絡系統(tǒng)的方法3000。下文可參考圖8詳細地描述方法3000。

如圖8所示，在步驟S310處，從預定訓練集中對低分辨率子圖像及其對應的標定真實高分辨率子圖像進行采樣。在步驟S320處，由卷積神經(jīng)網(wǎng)絡系統(tǒng)從低分辨率子圖像中重建高分辨率子圖像。在步驟S330處，通過比較重建的高分辨率子圖像與標定真實高分辨率子圖像之間的不同來生成重建誤差。在步驟S340處，將重建誤差反向傳播通過卷積神經(jīng)網(wǎng)絡系統(tǒng)，以調(diào)整卷積神經(jīng)網(wǎng)絡系統(tǒng)的神經(jīng)元之間的連接的權(quán)重。重復步驟S310到S340，直到重建誤差的平均值小于預設閾值，例如，預定訓練集中的低分辨率子圖像與高分辨率子圖像之間的均方誤差的一半。

與現(xiàn)有方法相比，本申請沒有明確學習用于對圖像塊空間建模的字典或多空間(manifold)。這些經(jīng)由卷積層而暗示地實現(xiàn)。此外，圖像塊提取和聚合也制定為卷積層并包含在優(yōu)化中。在本申請的方法和設備中，使用較少的預處理/后處理通過訓練來完全獲取整個卷積神經(jīng)網(wǎng)絡。通過輕質(zhì)的結(jié)構(gòu)，本申請的設備和方法實現(xiàn)了比現(xiàn)有技術(shù)方法優(yōu)越的性能。

盡管已描述了本發(fā)明的優(yōu)選實例，但在了解本發(fā)明基本概念后，所屬領(lǐng)域的技術(shù)人員可對這些實例進行變化或更改。所附權(quán)利要求書意圖包括落入本發(fā)明的范圍內(nèi)的優(yōu)選實例和所有變化或更改。

顯然，在不脫離本發(fā)明的精神和范圍的情況下，所屬領(lǐng)域的技術(shù)人員可對本發(fā)明進行變化或更改。因此，如果這些變化或更改屬于權(quán)利要求書和等效技術(shù)的范圍，那么它們也可落入本發(fā)明的范圍內(nèi)。