本發(fā)明涉及通信技術(shù)領(lǐng)域，特別涉及一種圖像超分辨率方法。本發(fā)明同時還涉及一種圖像超分辨率設(shè)備。

背景技術(shù)：

圖像超分辨率重建技術(shù)是利用一組低質(zhì)量、低分辨率圖像(或運動序列)來產(chǎn)生單幅高質(zhì)量、高分辨率圖像。圖像超分辨率重建應(yīng)用領(lǐng)域及其寬廣，在軍事，醫(yī)學(xué)，公共安全，計算機視覺等方面都存在著重要的應(yīng)用前景。在計算機視覺領(lǐng)域，圖像超分辨率重建技術(shù)有可能使圖像實現(xiàn)從檢出水平向識別水平的轉(zhuǎn)化，或更進一步實現(xiàn)向細辨水平的轉(zhuǎn)化。

基于可以提高圖像的識別能力和識別精度的圖像超分辨率重建技術(shù)，現(xiàn)有技術(shù)提出了利用單幀低分辨率、欠采樣圖像，生成高分辨率圖像的單幀圖像超分辨率。單幀圖像超分辨率重建技術(shù)可以實現(xiàn)目標(biāo)物的專注分析，從而可以獲取感興趣區(qū)域更高空間分辨率的圖像，而不必直接采用數(shù)據(jù)量巨大的高空間分辨率圖像的配置。

隨著人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域的不斷發(fā)展，目前技術(shù)人員能夠基于深度卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)單幀圖像超分辨率，使得單幀圖像超分辨率技術(shù)有了巨大的進步。卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者共他形式的變形具有高度不變性。

目前，在基于深度卷積神經(jīng)網(wǎng)絡(luò)的單幀圖像超分辨率時，該方法通過對輸入低分辨率圖像進行一系列的卷積或者反卷積操作，輸出為一幀高分辨率的圖像。通過計算輸出高分辨率圖像與真實高分辨率圖像的均方差(MSE),作為深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的監(jiān)督信號。

然而，發(fā)明人在實現(xiàn)本申請的過程中發(fā)現(xiàn)，當(dāng)現(xiàn)有技術(shù)對圖片進行大采樣因子處理(例如4x上采樣，即圖像寬高分別放大為原來的4倍)時，紋理細節(jié)的恢復(fù)仍然存在問題，從而細節(jié)不夠清晰。即便是利用深度卷積神經(jīng)網(wǎng)絡(luò)的單幀圖像超分辨率，也會在采樣因子較大時使得結(jié)果通常過分平滑，缺乏高頻細節(jié)信息，導(dǎo)致無法滿足需求。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種超分辨率圖像生成方法，用以更好的保留待處理圖像的細節(jié)信息，并解決現(xiàn)有技術(shù)中在采樣因子較大時輸出高分辨率圖像紋理細節(jié)不清晰的問題。該方法預(yù)先設(shè)置生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)以及所述判別網(wǎng)絡(luò)的類型均為深度神經(jīng)網(wǎng)絡(luò)，該方法還包括：

將真實圖像樣本輸入所述生成網(wǎng)絡(luò)以輸出超分辨率處理后的超分辨率圖像樣本；

獲取所述判別網(wǎng)絡(luò)分別在輸入所述真實圖像樣本以及所述超分辨率圖像樣本后輸出的判別概率，所述判別概率為所述判別網(wǎng)絡(luò)的輸入圖像為真實圖像的概率；

根據(jù)所述真實圖像樣本、超分辨率圖像樣本以及所述判別概率確定生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)，并根據(jù)所述生成網(wǎng)絡(luò)損失函數(shù)以及所述判別網(wǎng)絡(luò)損失函數(shù)對所述生成網(wǎng)絡(luò)以及所述判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整；

當(dāng)完成所述配置參數(shù)的調(diào)整之后，接收待處理的低分辨率圖像，根據(jù)所述生成網(wǎng)絡(luò)生成所述低分辨率圖像的超分辨率圖像，并對所述超分辨率圖像進行可視化處理；

其中，當(dāng)所述生成網(wǎng)絡(luò)的損失函數(shù)越小，與所述生成網(wǎng)絡(luò)所輸出的超分辨率圖像的真實度越高；

當(dāng)所述判別網(wǎng)絡(luò)的損失函數(shù)越小，所述判別網(wǎng)絡(luò)輸出的判別概率的準確度越高。

優(yōu)選的，所述生成網(wǎng)絡(luò)的損失函數(shù)根據(jù)對抗損失函數(shù)、規(guī)則約束損失函數(shù)以及像素級的均方差損失函數(shù)生成，其中：

所述對抗損失函數(shù)根據(jù)所述判別網(wǎng)絡(luò)在輸入所述超分辨率圖像樣本后輸出的判別概率生成；

所述規(guī)則約束函數(shù)根據(jù)所述超分辨率圖像樣本的空間一致性確定；

所述像素級的均方差損失函數(shù)根據(jù)所述超分辨率圖像樣本以及所述真實圖像樣本確定。

優(yōu)選的，在將真實圖像樣本輸入所述生成網(wǎng)絡(luò)以輸出超分辨率處理后的超分辨率圖像樣本之后，還包括：

分別為所述真實圖像樣本以及所述超分辨率圖像樣本設(shè)置標(biāo)簽；

其中，所述真實圖像樣本的標(biāo)簽置1，所述超分辨率圖像樣本的標(biāo)簽置0。

優(yōu)選的，所述判別網(wǎng)絡(luò)的損失函數(shù)根據(jù)所有圖像樣本的標(biāo)簽以及各所述圖像樣本在經(jīng)過所述判別網(wǎng)絡(luò)輸出的判別概率生成。

優(yōu)選的，所述真實圖像樣本在輸入所述生成網(wǎng)絡(luò)前進行縮放處理以及歸一化處理；所述低分辨率圖像在輸入所述生成網(wǎng)絡(luò)前進行歸一化處理。

相應(yīng)的，本申請還公開了一種超分辨率圖像生成設(shè)備，包括：

預(yù)置模塊，預(yù)先設(shè)置生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)以及所述判別網(wǎng)絡(luò)的類型均為深度神經(jīng)網(wǎng)絡(luò)；

輸入模塊，將真實圖像樣本輸入所述生成網(wǎng)絡(luò)以輸出超分辨率處理后的超分辨率圖像樣本；

獲取模塊，獲取所述判別網(wǎng)絡(luò)分別在輸入所述真實圖像樣本以及所述超分辨率圖像樣本后輸出的判別概率，所述判別概率為所述判別網(wǎng)絡(luò)的輸入圖像為真實圖像的概率；

確定模塊，根據(jù)所述真實圖像樣本、超分辨率圖像樣本以及所述判別概率確定生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)，并根據(jù)所述生成網(wǎng)絡(luò)損失函數(shù)以及所述判別網(wǎng)絡(luò)損失函數(shù)對所述生成網(wǎng)絡(luò)以及所述判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整；

生成模塊，當(dāng)完成所述配置參數(shù)的調(diào)整之后，接收待處理的低分辨率圖像，根據(jù)所述生成網(wǎng)絡(luò)生成所述低分辨率圖像的超分辨率圖像，并對所述超分辨率圖像進行可視化處理；

其中，當(dāng)所述生成網(wǎng)絡(luò)的損失函數(shù)越小，與所述生成網(wǎng)絡(luò)所輸出的超分辨率圖像的真實度越高；

當(dāng)所述判別網(wǎng)絡(luò)的損失函數(shù)越小，所述判別網(wǎng)絡(luò)輸出的判別概率的準確度越高。

優(yōu)選的，所述生成網(wǎng)絡(luò)的損失函數(shù)根據(jù)對抗損失函數(shù)、規(guī)則約束損失函數(shù)以及像素級的均方差損失函數(shù)生成，其中：

所述對抗損失函數(shù)根據(jù)所述判別網(wǎng)絡(luò)在輸入所述超分辨率圖像樣本后輸出的判別概率生成；

所述規(guī)則約束函數(shù)根據(jù)所述超分辨率圖像樣本的空間一致性確定；

所述像素級的均方差損失函數(shù)根據(jù)所述超分辨率圖像樣本以及所述真實圖像樣本確定。

優(yōu)選的，還包括：

標(biāo)簽?zāi)K，分別為所述真實圖像樣本以及所述超分辨率圖像樣本設(shè)置標(biāo)簽；

其中，所述真實圖像樣本的標(biāo)簽置1，所述超分辨率圖像樣本的標(biāo)簽置0。

優(yōu)選的，所述判別網(wǎng)絡(luò)的損失函數(shù)根據(jù)所有圖像樣本的標(biāo)簽以及各所述圖像樣本在經(jīng)過所述判別網(wǎng)絡(luò)輸出的判別概率生成。

優(yōu)選的，所述真實圖像樣本在輸入所述生成網(wǎng)絡(luò)前進行縮放處理以及歸一化處理；所述低分辨率圖像在輸入所述生成網(wǎng)絡(luò)前進行歸一化處理。

由此可見，通過應(yīng)用本申請的技術(shù)方案，在預(yù)先設(shè)置生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)后，將真實圖像樣本輸入生成網(wǎng)絡(luò)以輸出超分辨率處理后的超分辨率圖像樣本，并獲取判別網(wǎng)絡(luò)分別在輸入真實圖像樣本以及超分辨率圖像樣本后輸出的判別概率，最后根據(jù)真實圖像樣本、超分辨率圖像樣本以及判別概率確定生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)，并根據(jù)生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)對生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整。這樣在當(dāng)調(diào)整完成后接收到待處理的低分辨率圖像時，能夠根據(jù)生成網(wǎng)絡(luò)生成低分辨率圖像的超分辨率圖像，并對超分辨率圖像進行可視化處理。從而顯著提高了圖像超分辨率效果以及超分辨圖像的真實性。

附圖說明

圖1為本申請具體實施例所公開的一種生成網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖2為本申請具體實施例所公開的一種判別網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；

圖3為本申請?zhí)岢龅囊环N超分辨圖像生成方法的流程示意圖；

圖4為本申請具體實施例所提出的訓(xùn)練過程工作流程示意圖；

圖5為本申請本具體實施例中超分辨率圖像計算流程示意圖；

圖6為本申請?zhí)岢龅囊环N超分辨圖像生成設(shè)備的結(jié)構(gòu)示意圖。

具體實施方式

如背景技術(shù)所述，基于深度卷積神經(jīng)網(wǎng)絡(luò)的單幀圖像超分辨率，使得單幀圖像超分辨率技術(shù)有了巨大的進步。但是對于上采樣因子比較大時(例如4倍上采樣)紋理細節(jié)的恢復(fù)仍然存在問題，從而導(dǎo)致細節(jié)不夠清晰。

有鑒于此，本申請?zhí)岢隽艘环N超分辨圖像生成方法，該方法針對單幀圖像超分辨率提出了一種對抗網(wǎng)絡(luò)框架，其中包括兩個深度神經(jīng)網(wǎng)絡(luò)，一個是生成網(wǎng)絡(luò)，一個是判別網(wǎng)絡(luò)，兩個網(wǎng)絡(luò)同時訓(xùn)練相互競爭。生成網(wǎng)絡(luò)的目的是從低分辨率圖像生成高分辨率圖像，而且生成的高分辨率圖像很難與真實圖像區(qū)分；判別網(wǎng)絡(luò)的目的是區(qū)分真實圖像和超分辨率生成的圖像。通過對抗網(wǎng)絡(luò)訓(xùn)練，使生成網(wǎng)絡(luò)輸出盡量真實的高分辨率圖像。正因于此，在詳細闡述本申請技術(shù)方案的詳細步驟之前，本申請預(yù)先設(shè)置生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)，需要說明的是，該生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的類型均為深度神經(jīng)網(wǎng)絡(luò)，以下針對這兩種網(wǎng)絡(luò)結(jié)合具體實施例進行說明：

如圖1所示，為本申請具體實施例中生成網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，該生成網(wǎng)絡(luò)結(jié)構(gòu)圖中的每層具體含義如下：

第1層InputLR表示輸入低分辨率圖像；

第2和第3層表示一個卷積層和ReLU(Rectified linear unit，修正線性單元，為深度學(xué)習(xí)激活函數(shù)的一種)激活函數(shù)層，其中卷積操作的步長為1，卷積核大小為3*3，卷積核數(shù)量為64；

第4到第9層是一個殘差網(wǎng)絡(luò)功能塊，使用了兩組卷積層緊跟批量規(guī)范化層，以ReLU作為激活函數(shù)，最后是元素級相加層，其中卷積操作的步長為1，卷積核大小為3*3，卷積核數(shù)量為64；

第10到第33層是4個殘差網(wǎng)絡(luò)功能塊，每個殘差網(wǎng)絡(luò)功能塊同上；

第34到第37層是兩組反卷積單元，用于圖像上采樣。反卷積層操作的步長為0.5，卷積核大小為3*3，卷積核數(shù)量為64；本實例采用的縮放因子為4，所以采用了兩組反卷積單元；如過縮放因子為2，那么可以采用一組反卷積單元；

第38層是一個卷積層，卷積操作步長為1，卷積核大小為3*3，卷積核數(shù)量為3，目的是生成3通道的RGB數(shù)據(jù)。

該生成網(wǎng)絡(luò)的最后一層所輸出的是超分辨率圖像。

如圖2所示，為本申請具體實施例中的判別網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，該判別網(wǎng)絡(luò)結(jié)構(gòu)圖中的每層具體含義如下：

第1層Input HR/SR表示輸入的高分辨率真實圖像或者超分辨率圖像；真實圖像標(biāo)記為1，超分辨率圖像標(biāo)記為0；

第2層和第3層表示一個卷積層和一個激活函數(shù)層，卷積；其中卷積層步長為1，卷積核大小為3*3，卷積核數(shù)量為64；

第4層到第6層表示一個卷積層、一個激活函數(shù)層和一個批量規(guī)則化層；其中卷積層步長為2，卷積核大小為3*3，卷積核數(shù)量為64；

第7層到第9層表示一個卷積層、一個激活函數(shù)層和一個批量規(guī)則化層；其中卷積層步長為1，卷積核大小為3*3，卷積核數(shù)量為128；

第10層到第12層表示一個卷積層、一個激活函數(shù)層和一個批量規(guī)則化層；其中卷積層步長為2，卷積核大小為3*3，卷積核數(shù)量為128；

第13層到第18層類似于第7到第12層，唯一區(qū)別是卷積核數(shù)量為256；

第19層到第24層類似于第7到第12層，唯一區(qū)別是卷積核數(shù)量為512；

第25層和第26層是一個全連接層和一個ReLU激活函數(shù)層；

第27層和第28層是一個全連接層和一個Sigmoid(利用sigmoid函數(shù)作為激活函數(shù)，為深度學(xué)習(xí)激活函數(shù)的一種)激活函數(shù)層，其中全連接層節(jié)點個數(shù)為1；

該判別網(wǎng)絡(luò)的最后一層輸出一個概率值，表示輸入圖像為真實圖像的概率。

以上結(jié)合了具體的網(wǎng)絡(luò)結(jié)構(gòu)以及函數(shù)分布對本申請的生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)進行了說明，然而需要說明的是，以上結(jié)構(gòu)僅為本申請具體實施例中所提出的一種優(yōu)選實施例方案，在基于深度神經(jīng)網(wǎng)絡(luò)通過將輸入圖像進行超分辨處理為超分辨圖像，以及針對輸入的圖像進行真實圖像/超分辨圖像的判斷的基礎(chǔ)上，本領(lǐng)域技術(shù)人員所做的其他改型均屬于本申請的保護范圍。

基于預(yù)先創(chuàng)建的生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)，本申請所提出的超分辨圖像生成方法的流程示意圖如圖3所示，包括以下步驟：

S301，將真實圖像樣本輸入所述生成網(wǎng)絡(luò)以輸出超分辨率處理后的超分辨率圖像樣本。

由于本申請旨在通過對不同職能的深度神經(jīng)網(wǎng)絡(luò)進行改進以優(yōu)化生成網(wǎng)絡(luò)的輸出效果，因此本申請主要分為兩大流程部分，第一部分生成網(wǎng)絡(luò)根據(jù)輸入的低分辨率圖像輸出高分辨率圖像；第二部分判別網(wǎng)絡(luò)對輸入圖像進行真實性判斷。生成網(wǎng)絡(luò)的輸出圖像作為判別網(wǎng)絡(luò)的輸入圖像，判別網(wǎng)絡(luò)的輸出作為生成網(wǎng)絡(luò)的反饋信號。

基于上述說明，該步驟首先將現(xiàn)有的圖片作為真實圖像樣本輸入生成網(wǎng)絡(luò)，在輸入生成網(wǎng)絡(luò)之前，需要依照慣例將真實圖像樣本進行一些預(yù)處理工作，例如縮放處理、歸一化處理等。具體的縮放參數(shù)以及歸一化參數(shù)可由技術(shù)人員根據(jù)實際情況進行設(shè)置，這些調(diào)整均屬于本申請的保護范圍。

由于本申請需要針對判別網(wǎng)絡(luò)的校驗準確率進行檢驗，而真實圖像樣本與后續(xù)生成的超分辨圖像存在一定的相似性，因此在本申請的一個優(yōu)選實施例中，分別為所述真實圖像樣本以及所述超分辨率圖像樣本設(shè)置標(biāo)簽以進行區(qū)分，其中真實圖像樣本的標(biāo)簽置1，超分辨率圖像樣本的標(biāo)簽置0。

S302，獲取所述判別網(wǎng)絡(luò)分別在輸入所述真實圖像樣本以及所述超分辨率圖像樣本后輸出的判別概率，所述判別概率為所述判別網(wǎng)絡(luò)的輸入圖像為真實圖像的概率。

基于S301中生成的超分辨率圖像樣本以及原始的真實圖像樣本，本申請將其同時輸入判別網(wǎng)絡(luò)，以此來檢測判別網(wǎng)絡(luò)的校驗準確性。無論是輸入真實圖像樣本還是超分辨率圖像樣本，判別網(wǎng)絡(luò)都會輸出一個判別概率，該概率用以描述輸入圖像在判別網(wǎng)絡(luò)的檢驗后為真實圖像的概率。在具體的應(yīng)用場景中，該概率可以與各個樣本圖像的標(biāo)簽值相對應(yīng)，例如概率值越接近1，表示真實圖像的概率越高；概率值越接近0，表示超分辨率圖像的概率越高。

S303，根據(jù)真實圖像樣本、超分辨率圖像樣本以及所述判別概率確定生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)，并根據(jù)生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)對生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整。

由于本申請在訓(xùn)練階段利用兩個深度網(wǎng)絡(luò)基于單幀圖像超分辨率訓(xùn)練方式來相互對抗，因此基于S301中的超分辨率圖像以及S302中的判別概率，本申請將分別針對生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)確定其各自的損失函數(shù)，對于生成網(wǎng)絡(luò)來說，當(dāng)所述生成網(wǎng)絡(luò)的損失函數(shù)越小，與所述生成網(wǎng)絡(luò)所輸出的超分辨率圖像的真實度越高，而對于判別網(wǎng)絡(luò)來說，當(dāng)所述判別網(wǎng)絡(luò)的損失函數(shù)越小，所述判別網(wǎng)絡(luò)輸出的判別概率的準確度越高。

如前所述，生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的類型為深度神經(jīng)網(wǎng)絡(luò)，其分別由卷積單元和多個函數(shù)作為功能模塊組成，因此在本申請的具體應(yīng)用場景中，基于生成網(wǎng)絡(luò)損失函數(shù)對生成網(wǎng)絡(luò)中各個網(wǎng)絡(luò)節(jié)點的權(quán)重值進行調(diào)整，以及基于判別網(wǎng)絡(luò)損失函數(shù)對判別網(wǎng)絡(luò)中各個網(wǎng)絡(luò)節(jié)點的權(quán)重值進行調(diào)整。

需要說明的是，以上內(nèi)容中所提及的超分辨率圖像的真實度是超分辨率圖像樣本相對于真實圖像樣本而言，而準確度則是判別概率相對于真實情況下的真實圖像/超分辨率圖像而言，具體的表現(xiàn)形式可以由技術(shù)人員按照實際情況進行設(shè)定。此外，針對生成網(wǎng)絡(luò)/判別網(wǎng)絡(luò)的參數(shù)配置可由技術(shù)人員按照損失函數(shù)來進行調(diào)整，這些都屬于本申請的保護范圍。

在本申請的一個優(yōu)選實施例中，生成網(wǎng)絡(luò)的損失函數(shù)根據(jù)對抗損失函數(shù)、規(guī)則約束損失函數(shù)以及像素級的均方差損失函數(shù)生成，具體的，各函數(shù)的生成方式如下：

(1)所述對抗損失函數(shù)根據(jù)所述判別網(wǎng)絡(luò)在輸入所述超分辨率圖像樣本后輸出的判別概率生成。

在具體的應(yīng)用場景中，對抗損失函數(shù)的確定方式如下：

其中，D(I^SR)表示超分辨率輸出圖像輸入到判別網(wǎng)絡(luò)后的輸出，這個值越大，表示超分辨率輸出圖像越接近真實圖像，對抗損失函數(shù)值越小。

(2)所述規(guī)則約束函數(shù)根據(jù)所述超分辨率圖像樣本的空間一致性確定。

在本申請的具體應(yīng)用場景中，規(guī)則約束損失函數(shù)記為LG^REG，主要目的是保持超分辨率圖像的空間一致性，確定方式如下：

(3)所述像素級的均方差損失函數(shù)根據(jù)所述超分辨率圖像樣本以及所述真實圖像樣本確定。

在本申請的具體應(yīng)用場景中，像素級的均方差損失函數(shù)，記為LG^MSE，計算公式如下：

其中，I^HR表示高分辨率真實圖像，I^SR表示超分辨處理后的圖像。

基于上述函數(shù)，本申請的優(yōu)選實施例在生成生成網(wǎng)絡(luò)的損失函數(shù)時，可按照不同函數(shù)對于超分辨率圖像的準確度分配不同的權(quán)重，具體的權(quán)重數(shù)值可由技術(shù)人員根據(jù)實際應(yīng)用情況進行設(shè)置，這些均屬于本申請的保護范圍。

以上內(nèi)容描述了生成網(wǎng)絡(luò)的損失函數(shù)的具體生成方式，在本申請的另一優(yōu)選實施例中，判別網(wǎng)絡(luò)的損失函數(shù)則是基于預(yù)先為真實圖像樣本以及超分辨率圖像樣本分配的標(biāo)簽以及判別網(wǎng)絡(luò)在分別輸入這些圖像后所得出的判別概率生成。在本申請的一個具體實施例中，假設(shè)判別網(wǎng)絡(luò)的損失函數(shù)為LD，那么其相應(yīng)的確定方式如下：

其中，a_i表示輸入標(biāo)簽，1表示真實圖像，0表示超分辨率圖像；y_i表示判別網(wǎng)絡(luò)輸出類別概率。

基于生成網(wǎng)絡(luò)的損失函數(shù)以及判別網(wǎng)絡(luò)的損失函數(shù)，本申請進一步利用這些損失函數(shù)對生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整。在此需要說明的是，本申請中S301-S303的調(diào)整過程并不僅限于一次，而是按照網(wǎng)絡(luò)的優(yōu)化程度以及技術(shù)人員針對超分辨率圖像的生成技術(shù)精度要求重復(fù)必要的次數(shù)，這些均屬于本申請的保護范圍。

S304，當(dāng)完成所述配置參數(shù)的調(diào)整之后，接收待處理的低分辨率圖像，根據(jù)所述生成網(wǎng)絡(luò)生成所述低分辨率圖像的超分辨率圖像，并對所述超分辨率圖像進行可視化處理。

待生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的參數(shù)均通過S301-S303的步驟調(diào)整完成后，通過對抗網(wǎng)絡(luò)訓(xùn)練使生成網(wǎng)絡(luò)能夠輸出盡量真實的高分辨率圖像。后續(xù)當(dāng)技術(shù)人員需要針對低分辨率圖像生成超分辨率圖像時，即可將低分辨率圖像作為輸入圖像向生成網(wǎng)絡(luò)輸入，并以此生成超分辨率圖像。相較于現(xiàn)有的像素級誤差統(tǒng)計，能夠更好的保留圖像細節(jié)信息，且解決了采樣因子較大時輸出高分辨率圖像紋理細節(jié)不清晰的問題。

為了進一步闡述本發(fā)明的技術(shù)思想，現(xiàn)結(jié)合圖4所示的訓(xùn)練過程以及圖5所示的超分辨率圖像確定流程對本發(fā)明的技術(shù)方案進行說明。

本具體實施例的每次訓(xùn)練過程中的訓(xùn)練樣本是從訓(xùn)練圖片集中隨機裁剪出N張Width*Height的圖片，例如N為32，Width＝Height＝128。這些訓(xùn)練樣本同時作為生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的輸入。如圖4所示，為本申請具體實施例所提出的訓(xùn)練過程工作流程，包括如下步驟：

步驟一、縮放及歸一化處理。對訓(xùn)練樣本進行雙三次插值下采樣，采樣因子為4；然后對下采樣后的圖像進行歸一化，即每個通道像素值除以255；作為生成網(wǎng)絡(luò)的輸入數(shù)據(jù)；

步驟二、生成網(wǎng)絡(luò)前向傳播。根據(jù)生成網(wǎng)絡(luò)結(jié)構(gòu)圖，前向遍歷所有層；

步驟三、輸出超分辨率圖像，同時用于判別網(wǎng)絡(luò)的輸入和生成網(wǎng)絡(luò)的損失計算；

步驟四、樣本預(yù)處理。該處樣本分為兩個來源，一個是訓(xùn)練樣本，每個通道像素值除以255，作為真實圖像，標(biāo)記為類別1；另一個是步驟三的輸出，作為超分辨率圖像，是程序產(chǎn)生的，區(qū)別于真實圖像，標(biāo)記為類別0；每一類樣本N張，總計2N張；

步驟五、判別網(wǎng)絡(luò)前向傳播。根據(jù)判別網(wǎng)絡(luò)結(jié)構(gòu)圖，前向遍歷所有層；

步驟六、輸出類別概率，概率值越接近1，表示真實圖像的概率越高；概率值越接近0，表示超分辨率圖像的概率越高；

步驟七、生成網(wǎng)絡(luò)損失函數(shù)計算。生成網(wǎng)絡(luò)損失函數(shù)記為LG，它由三部分組成：

1)像素級的均方差損失函數(shù)，記為LG^MSE，確定方式如下所示：

其中，x，y代表像素點在圖像中的坐標(biāo)位置，I^HR表示高分辨率真實圖像，I^SR表示超分辨處理后的圖像。

2)對抗損失函數(shù)，目的是統(tǒng)計這個超分辨率圖像的真實性，記為LG^ADV。其確定方式如下所示：

其中，N為步驟四中樣本的數(shù)量N，i表示當(dāng)前的樣本的編號，D(I^SR)表示超分辨率輸出圖像輸入到判別網(wǎng)絡(luò)后的輸出，即判別網(wǎng)絡(luò)的判別概率，這個值越大，表示超分辨率輸出圖像越接近真實圖像，對抗損失函數(shù)值越小。

3)規(guī)則約束損失函數(shù)，記為LG^REG，主要目的是保持超分辨率圖像的空間一致性。其確定方式如下所示：

其中，I^SR_x，y表示超分辨處理后的圖像中的某個像素點。

生成網(wǎng)絡(luò)損失函數(shù)可以通過以上三部分加權(quán)求和生成，具體方式如下：

LG＝γ₀LG^MSE+γ₁LG^ADV+γ₂LG^REG

其中γ₀可以取值0.9，γ₁可以取值0.002，γ₂可以取值2*10^-8,可以具體調(diào)整這些參數(shù)。

步驟八、生成網(wǎng)絡(luò)反向傳播。根據(jù)步驟七計算的生成網(wǎng)絡(luò)損失函數(shù)，反向傳播整個生成網(wǎng)絡(luò)，即利用網(wǎng)絡(luò)損失函數(shù)對生成網(wǎng)絡(luò)中的各個網(wǎng)絡(luò)節(jié)點進行調(diào)整，在具體的應(yīng)用場景中，技術(shù)人員能夠根據(jù)該損失函數(shù)調(diào)整生成網(wǎng)絡(luò)節(jié)點的權(quán)重值；

步驟九、判別網(wǎng)絡(luò)損失函數(shù)計算。判別網(wǎng)絡(luò)損失函數(shù)記為LD，計算公式如下公式1：

其中a_i表示輸入標(biāo)簽，1表示真實圖像，0表示超分辨率圖像；y_i表示判別網(wǎng)絡(luò)輸出的判別概率；

步驟十、判別網(wǎng)絡(luò)反向傳播。根據(jù)步驟九計算的判別網(wǎng)絡(luò)損失函數(shù)，反向傳播整個判別網(wǎng)絡(luò)，調(diào)整判別網(wǎng)絡(luò)節(jié)點權(quán)重值；

在實際的應(yīng)用過程中，技術(shù)人員可以根據(jù)需要同時執(zhí)行步驟七、八和步驟九、十，具體的步驟執(zhí)行先后次序并不影響本申請的保護范圍。

在針對生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的損失函數(shù)調(diào)整了配置參數(shù)之后，本具體實施例中超分辨率圖像計算流程如圖5所示，包括以下步驟：

步驟一、輸入低分辨率圖像；

步驟二、對輸入圖像做歸一化處理，即圖像每個通道像素值除以255；

步驟三、生成網(wǎng)絡(luò)前向傳播。根據(jù)生成網(wǎng)絡(luò)結(jié)構(gòu)圖，前向遍歷所有層；

步驟四、輸出超分辨率圖像；

步驟五、圖像可視化，即對生成網(wǎng)絡(luò)輸出的超分辨率圖像每個通道像素值乘以255，并定點化。

通過應(yīng)用以上具體實施例的技術(shù)方案，提高了單幀圖像超分辨率效果，特別是對于縮放因子較大的情況，而且還提升了單幀圖像超分辨圖像的真實性，而不僅僅局限于信噪比。

為達到以上技術(shù)目的，本發(fā)明還提出了一種超分辨率圖像生成設(shè)備如圖6所示，包括：

預(yù)置模塊610，預(yù)先設(shè)置生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)，所述生成網(wǎng)絡(luò)以及所述判別網(wǎng)絡(luò)的類型均為深度神經(jīng)網(wǎng)絡(luò)；

輸入模塊620，將真實圖像樣本輸入所述生成網(wǎng)絡(luò)以輸出超分辨率處理后的超分辨率圖像樣本；

獲取模塊630，獲取所述判別網(wǎng)絡(luò)分別在輸入所述真實圖像樣本以及所述超分辨率圖像樣本后輸出的判別概率，所述判別概率為所述判別網(wǎng)絡(luò)的輸入圖像為真實圖像的概率；

確定模塊640，根據(jù)所述真實圖像樣本、超分辨率圖像樣本以及所述判別概率確定生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)，并根據(jù)所述生成網(wǎng)絡(luò)損失函數(shù)以及所述判別網(wǎng)絡(luò)損失函數(shù)對所述生成網(wǎng)絡(luò)以及所述判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整；

生成模塊650，當(dāng)完成所述配置參數(shù)的調(diào)整之后，接收待處理的低分辨率圖像，根據(jù)所述生成網(wǎng)絡(luò)生成所述低分辨率圖像的超分辨率圖像，并對所述超分辨率圖像進行可視化處理；

其中，當(dāng)所述生成網(wǎng)絡(luò)的損失函數(shù)越小，與所述生成網(wǎng)絡(luò)所輸出的超分辨率圖像的真實度越高；

當(dāng)所述判別網(wǎng)絡(luò)的損失函數(shù)越小，所述判別網(wǎng)絡(luò)輸出的判別概率的準確度越高。

在具體的應(yīng)用場景中，所述生成網(wǎng)絡(luò)的損失函數(shù)根據(jù)對抗損失函數(shù)、規(guī)則約束損失函數(shù)以及像素級的均方差損失函數(shù)生成，其中：

所述對抗損失函數(shù)根據(jù)所述判別網(wǎng)絡(luò)在輸入所述超分辨率圖像樣本后輸出的判別概率生成；

所述規(guī)則約束函數(shù)根據(jù)所述超分辨率圖像樣本的空間一致性確定；

所述像素級的均方差損失函數(shù)根據(jù)所述超分辨率圖像樣本以及所述真實圖像樣本確定。

在具體的應(yīng)用場景中，還包括：

標(biāo)簽?zāi)K，分別為所述真實圖像樣本以及所述超分辨率圖像樣本設(shè)置標(biāo)簽；

其中，所述真實圖像樣本的標(biāo)簽置1，所述超分辨率圖像樣本的標(biāo)簽置0。

在具體的應(yīng)用場景中，所述判別網(wǎng)絡(luò)的損失函數(shù)根據(jù)所有圖像樣本的標(biāo)簽以及各所述圖像樣本在經(jīng)過所述判別網(wǎng)絡(luò)輸出的判別概率生成。

在具體的應(yīng)用場景中，所述真實圖像樣本在輸入所述生成網(wǎng)絡(luò)前進行縮放處理以及歸一化處理；所述低分辨率圖像在輸入所述生成網(wǎng)絡(luò)前進行歸一化處理。

由此可見，通過應(yīng)用本申請的技術(shù)方案，在預(yù)先設(shè)置生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)后，將真實圖像樣本輸入生成網(wǎng)絡(luò)以輸出超分辨率圖像樣本，并獲取判別網(wǎng)絡(luò)分別在輸入真實圖像樣本以及超分辨率圖像樣本后輸出的判別概率，根據(jù)真實圖像樣本、超分辨率圖像樣本以及判別概率確定生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)，根據(jù)生成網(wǎng)絡(luò)損失函數(shù)以及判別網(wǎng)絡(luò)損失函數(shù)對生成網(wǎng)絡(luò)以及判別網(wǎng)絡(luò)的配置參數(shù)進行調(diào)整。在當(dāng)完成配置參數(shù)的調(diào)整之后，接收待處理的低分辨率圖像，能夠根據(jù)生成網(wǎng)絡(luò)生成低分辨率圖像的超分辨率圖像，并對超分辨率圖像進行可視化處理。從而顯著提高了圖像超分辨率效果以及超分辨圖像的真實性。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可以通過硬件實現(xiàn)，也可以借助軟件加必要的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是CD-ROM，U盤，移動硬盤等)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施場景所述的方法。

本領(lǐng)域技術(shù)人員可以理解附圖只是一個優(yōu)選實施場景的示意圖，附圖中的模塊或流程并不一定是實施本發(fā)明所必須的。

本領(lǐng)域技術(shù)人員可以理解實施場景中的裝置中的模塊可以按照實施場景描述進行分布于實施場景的裝置中，也可以進行相應(yīng)變化位于不同于本實施場景的一個或多個裝置中。上述實施場景的模塊可以合并為一個模塊，也可以進一步拆分成多個子模塊。

上述本發(fā)明序號僅僅為了描述，不代表實施場景的優(yōu)劣。

以上公開的僅為本發(fā)明的幾個具體實施場景，但是，本發(fā)明并非局限于此，任何本領(lǐng)域的技術(shù)人員能思之的變化都應(yīng)落入本發(fā)明的保護范圍。