本發(fā)明屬于計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于遷移學(xué)習(xí)的圖像超分辨率方法及系統(tǒng)。

背景技術(shù)：

在圖像應(yīng)用領(lǐng)域，人們經(jīng)常期望得到高分辨率(HR)圖像，高分辨率意味著圖像中的像素密度高，能夠提供更多的細(xì)節(jié)，而這些細(xì)節(jié)在許多實(shí)際應(yīng)用中不可或缺。圖像超分辨率(SR)是從輸入的低分辨率(LR)圖像中產(chǎn)生一個高分辨率(HR)圖像的過程，圖像超分辨率被廣泛地應(yīng)用在很多領(lǐng)域，包括計算機(jī)視覺、視頻監(jiān)控和遙感圖像等領(lǐng)域，圖像超分辨率技術(shù)能突破圖像設(shè)備和環(huán)境限制，產(chǎn)生一個傳統(tǒng)數(shù)碼相機(jī)不能獲取到的高分辨率圖像。正因為這些原因，在過去的幾十年間，發(fā)展出許多圖像超分辨率的方法，并且取得了顯著的效果。

現(xiàn)有的基于學(xué)習(xí)的圖像超分辨率方法都存在一些缺陷：相比其他圖像處理任務(wù)來說，所用到訓(xùn)練數(shù)據(jù)庫太??；這些數(shù)量較少的訓(xùn)練數(shù)據(jù)庫無法提供充足的信息，尤其是對于類型比較特別的測試圖像。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于遷移學(xué)習(xí)的圖像超分辨率方法及系統(tǒng)，旨在解決現(xiàn)有技術(shù)中由于訓(xùn)練數(shù)據(jù)庫較小，導(dǎo)致影響重構(gòu)效果的問題。

一方面，本發(fā)明提供了一種基于遷移學(xué)習(xí)的圖像超分辨率方法，所述方法包括下述步驟：

通過對高分辨率圖像進(jìn)行降采樣，得到低分辨率圖像，所述高分辨率圖像包括：原始圖像以及遷移圖像；

根據(jù)所述高分辨率圖像以及所述低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對；

對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應(yīng)的高分辨率鄰域，以得到投影矩陣；

在重構(gòu)時，根據(jù)所述低分辨率圖像的特征以及所述投影矩陣，形成重構(gòu)后的高分辨率圖像。

另一方面，本發(fā)明提供了一種基于遷移學(xué)習(xí)的圖像超分辨率系統(tǒng)，所述系統(tǒng)包括：

低分辨率圖像獲取單元，用于通過對高分辨率圖像進(jìn)行降采樣，得到低分辨率圖像，所述高分辨率圖像包括：原始圖像以及遷移圖像；

特征對提取單元，用于根據(jù)所述高分辨率圖像以及所述低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對；

投影矩陣獲取單元，用于對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應(yīng)的高分辨率鄰域，以得到投影矩陣；以及

高分辨率圖像重構(gòu)單元，用于在重構(gòu)時，根據(jù)所述低分辨率圖像的特征以及所述投影矩陣，形成重構(gòu)后的高分辨率圖像。

本發(fā)明實(shí)施例基于遷移學(xué)習(xí)在原始圖像的基礎(chǔ)上，再從其他領(lǐng)域中隨機(jī)選擇遷移圖像，一起作為高分辨率圖像，通過降采樣得到低分辨率圖像并提取高分辨率圖像和低分辨率圖像的特征對，根據(jù)低分辨率鄰域以及對應(yīng)的高分辨率鄰域，得到投影矩陣，以實(shí)現(xiàn)在重構(gòu)時，形成重構(gòu)后的高分辨率圖像，通過增加遷移圖像使得訓(xùn)練數(shù)據(jù)庫更加豐富，為后面重構(gòu)圖像提供有利的條件。

附圖說明

圖1是本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法的實(shí)現(xiàn)流程圖；

圖2是本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中獲取低分辨率圖像的實(shí)現(xiàn)流程圖；

圖3是本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中獲取特征對的實(shí)現(xiàn)流程圖；

圖4是本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中獲取投影矩陣的實(shí)現(xiàn)流程圖；

圖5是本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中重構(gòu)圖像的實(shí)現(xiàn)流程圖；以及

圖6是本發(fā)明實(shí)施例二提供的基于遷移學(xué)習(xí)的圖像超分辨率系統(tǒng)的結(jié)構(gòu)圖；

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

以下結(jié)合具體實(shí)施例對本發(fā)明的具體實(shí)現(xiàn)進(jìn)行詳細(xì)描述：

實(shí)施例一：

圖1示出了本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法的實(shí)現(xiàn)流程圖，為了便于說明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分，詳述如下：

在步驟S101中，通過對高分辨率圖像進(jìn)行降采樣，得到低分辨率圖像，該高分辨率圖像包括：原始圖像以及遷移圖像。

在本發(fā)明實(shí)施例中，圖像超分辨率需要建立訓(xùn)練數(shù)據(jù)庫，該訓(xùn)練數(shù)據(jù)庫在包含原始圖像T₀的基礎(chǔ)上，還從其他領(lǐng)域獲取遷移圖像，基于遷移學(xué)習(xí)的方法是將從一個環(huán)境中學(xué)到的知識用來幫助在新環(huán)境中的學(xué)習(xí)任務(wù)，其能夠遷移不同領(lǐng)域的信息到一個特定的領(lǐng)域，因此，本發(fā)明從區(qū)別于原始圖像所屬領(lǐng)域之外的其他領(lǐng)域中隨機(jī)選擇T_t張圖片作為遷移圖像，從而本發(fā)明中的訓(xùn)練數(shù)據(jù)庫是由原始圖像T₀和遷移圖像T_t組成，這些由原始圖像T₀和遷移圖像T_t組成的圖像作為高分辨率圖像。通過對高分辨率圖像降采樣得到低分辨率圖像。

進(jìn)一步地，圖2示出了本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中獲取低分辨率圖像的實(shí)現(xiàn)流程圖，詳述如下：

在步驟S201中，獲取原始圖像以及遷移圖像，作為高分辨率圖像，遷移圖像為在區(qū)別于原始圖像所屬領(lǐng)域中隨機(jī)選擇的圖像。

在本發(fā)明實(shí)施例中，基于遷移學(xué)習(xí)的方法在區(qū)別于原始圖像所屬領(lǐng)域中隨機(jī)選擇的圖像作為遷移圖像，豐富了訓(xùn)練數(shù)據(jù)庫，形成由原始圖像T₀和遷移圖像T_t組成的圖像作為高分辨率圖像。

在步驟S202中，將高分辨率圖像轉(zhuǎn)換為YCbCr空間圖像。

在本發(fā)明實(shí)施例中，YCbCr空間圖像是顏色空間圖像的一種，YCbCr空間圖像中Y是指亮度分量，Cb指藍(lán)色色度分量，Cr指紅色色度分量。由于人類的視覺系統(tǒng)對高頻的強(qiáng)度變化比對高頻的顏色變化敏感，所以，對于超分辨率來說，顏色通道的變化是可以忽略的，為了減少運(yùn)算量，在轉(zhuǎn)換為YCbCr空間圖像時，可以只計算亮度分量。

在步驟S203中，根據(jù)預(yù)設(shè)的放大系數(shù)，依次對高分辨率圖像進(jìn)行降采樣、插值運(yùn)算，得到低分辨率圖像。

在本發(fā)明實(shí)施例中，用預(yù)設(shè)的放大系數(shù)從高分辨率圖像中通過降采樣得到相應(yīng)的低分辨率圖像，進(jìn)一步地，用相同的預(yù)設(shè)的放大系數(shù)將低分辨率圖像通過bicubic插值的方法得到插值高分辨率圖像。因為這些插值高分辨率圖像中高頻的信息是丟失的，所以也被作為低分辨率圖像。

在步驟S102中，根據(jù)高分辨率圖像以及低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對。

在本發(fā)明實(shí)施例中，在得到低分辨率圖像后，分別對高分辨率圖像以及低分辨率圖像進(jìn)行網(wǎng)格化分解，提取高分辨率圖像和低分辨率圖像的特征對。

進(jìn)一步地，圖3示出了本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中獲取特征對的實(shí)現(xiàn)流程圖，詳述如下：

在步驟S301中，使用預(yù)設(shè)數(shù)量的高通濾波器，對低分辨率圖像進(jìn)行濾波，得到濾波后的低分辨率圖像。

在本發(fā)明實(shí)施例中，為了提取局部特征和相應(yīng)的高頻內(nèi)容，對所有的低分辨率圖像用預(yù)設(shè)數(shù)量的高通濾波器，形成預(yù)設(shè)數(shù)量的過濾后的低分辨率圖像。

在步驟S302中，分別對濾波后的低分辨率圖像以及高分辨率圖像進(jìn)行網(wǎng)格化，提取高分辨率圖像和低分辨率圖像的特征對。

在本發(fā)明實(shí)施例中，從過濾后的低分辨率圖像中通過網(wǎng)格化的方法提取低分辨率圖像的小碎片，將這些低分辨率圖像的小碎片合為低分辨率圖像的特征；同樣的，對高分辨率圖像通過網(wǎng)格化的方法，在相同的位置提取高分辨率圖像的小碎片，由此，提取到了高分辨率圖像和低分辨率圖像的特征對。

在步驟S103中，對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應(yīng)的高分辨率鄰域，以得到投影矩陣。

在本發(fā)明實(shí)施例中，根據(jù)得到高分辨率圖像和低分辨率圖像的特征對，得到低分辨率鄰域以及對應(yīng)的高分辨率鄰域，并計算投影矩陣。

進(jìn)一步地，圖4示出了本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中獲取投影矩陣的實(shí)現(xiàn)流程圖，詳述如下：

在步驟S401中，構(gòu)造低分辨率稀疏字典以及對應(yīng)的高分辨率稀疏字典。

在本發(fā)明實(shí)施例中，使用字典訓(xùn)練方法來獲取一個低分辨率稀疏字典D_L，通過構(gòu)造低分辨率稀疏字典D_L，得到的稀疏表示向量δ，其獲取公式為：

$\mathrm{\δ}=\arg \underset{\mathrm{\δ}}{min}\left|\right|D_L\mathrm{\δ}-x|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\δ}\right|{|}_1$

其中，δ是稀疏表示向量，x是低分辨率圖像的特征，λ是一個權(quán)重因子。

假設(shè)高分辨率圖像的小碎片和低分辨率圖像的小碎片網(wǎng)格化分解的系數(shù)相同，并以此來構(gòu)建與低分辨率稀疏字典D_L相對應(yīng)的高分辨率稀疏字典D_H。目標(biāo)是恢復(fù)高分辨率圖像的特征y，它的近似值是y≈D_Hδ。高分辨率稀疏字典D_H的獲取公式為：

$D_H=\arg \underset{D_H}{min}\left|\right|y-D_H\mathrm{\δ}|{|}_2^2$

其中，δ是稀疏表示向量，y是高分辨率圖像的特征，上述公式的解為：

D_H＝y(tǒng)δ^T(δδ^T)^-1

在構(gòu)建低分辨率稀疏字典D_L以及對應(yīng)的高分辨率稀疏字典D_H后，需要通過使用訓(xùn)練數(shù)據(jù)庫中的樣本產(chǎn)生用于回歸的領(lǐng)域。

在步驟S402中，獲取每個低分辨率圖像的特征在低分辨率稀疏字典中的字典原子，以得到低分辨率鄰域以及對應(yīng)的高分辨率鄰域，字典原子為在低分辨率稀疏字典中距離低分辨率圖像的特征最近的原子。

對于每個低分辨率圖像的特征x_i計算其在低分辨率稀疏字典中的最近的鄰居，也就是字典原子d_k，低分辨率鄰域N_L，k包含了m個訓(xùn)練樣本，這些m個訓(xùn)練樣本與低分辨率圖像的特征x_i對應(yīng)的字典原子最接近，而與低分辨率鄰域N_L，k對應(yīng)的高分辨率鄰域為N_H，k。

在步驟S403中，通過低分辨率鄰域以及對應(yīng)的高分辨率鄰域，得到與字典原子對應(yīng)的投影矩陣。

在本發(fā)明實(shí)施例中，設(shè)定一系數(shù)向量γ，其計算公式如下：

$\mathrm{\γ}=\arg \underset{\mathrm{\γ}}{min}\left|\right|x_i-N_{L,k}\mathrm{\γ}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\γ}\right|{|}_2$

其中，γ為系數(shù)向量，N_L，k為低分辨率鄰域，x_i為低分辨率圖像的特征。上述公式解為：

γ＝(N_L，k^TN_L，k+λI)^-1N_L，k^Tx_i

其中，I為單位向量。由此，可以重構(gòu)出高分辨率圖像的小碎片y_H，i，其計算公式為：

y_H，i＝N_H，k(N_L，k^TN_L，k+λI)^-1N_L，k^Tx_i

其中，k＝1,2,…,K。

進(jìn)一步地，得到投影矩陣P_k為：P_k＝N_H，k(N_L，k^TN_L，k+λI)^-1N_L，k^T。

在步驟S104中，在重構(gòu)時，根據(jù)低分辨率圖像的特征以及投影矩陣，形成重構(gòu)后的高分辨率圖像。

在本發(fā)明實(shí)施例中，在重構(gòu)階段，對于給定的測試圖像，首先從中提取低分辨率圖像的特征，提取的過程和訓(xùn)練時相同。對每一個低分辨率圖像的特征x_T，j，計算低分辨率稀疏字典D_L中離低分辨率圖像的特征x_T，j最近的字典原子d_k，同時得到與字典原子d_k對應(yīng)的投影矩陣P_k。

進(jìn)一步地，圖5示出了本發(fā)明實(shí)施例一提供的基于遷移學(xué)習(xí)的圖像超分辨率方法中重構(gòu)圖像的實(shí)現(xiàn)流程圖，詳述如下：

在步驟S501中，重構(gòu)時，提取低分辨率圖像的特征，并獲取在低分辨率稀疏字典中對應(yīng)的字典原子。

在步驟S502中，根據(jù)字典原子，獲取與字典原子對應(yīng)的投影矩陣。

在步驟S503中，根據(jù)低分辨率圖像的特征以及投影矩陣，得到高分辨率圖像碎片。

在本發(fā)明實(shí)施例中，高分辨率圖像碎片y_T，j的計算公式為:y_T，j＝P_kx_T，j。

在步驟S504中，將高分辨率圖像碎片進(jìn)行合并，形成重構(gòu)后的高分辨率圖像。

在本發(fā)明實(shí)施例中，基于遷移學(xué)習(xí)，在原始圖像的基礎(chǔ)上，再從其他領(lǐng)域中隨機(jī)選擇遷移圖像，一起作為高分辨率圖像，通過降采樣得到低分辨率圖像并提取高分辨率圖像和低分辨率圖像的特征對，根據(jù)低分辨率鄰域以及對應(yīng)的高分辨率鄰域，得到投影矩陣，以實(shí)現(xiàn)在重構(gòu)時，形成重構(gòu)后的高分辨率圖像，通過增加遷移圖像使得訓(xùn)練數(shù)據(jù)庫更加豐富，為后面重構(gòu)圖像提供有利的條件。

實(shí)施例二：

圖6示出了本發(fā)明實(shí)施例二提供的基于遷移學(xué)習(xí)的圖像超分辨率系統(tǒng)的結(jié)構(gòu)圖，為了便于說明，僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。該基于遷移學(xué)習(xí)的圖像超分辨率系統(tǒng)包括：低分辨率圖像獲取單元61、特征對提取單元62、投影矩陣獲取單元63以及高分辨率圖像重構(gòu)單元64，其中：

低分辨率圖像獲取單元61，用于通過對高分辨率圖像進(jìn)行降采樣，得到低分辨率圖像，該高分辨率圖像包括：原始圖像以及遷移圖像。

在本發(fā)明實(shí)施例中，圖像超分辨率需要建立訓(xùn)練數(shù)據(jù)庫，該訓(xùn)練數(shù)據(jù)庫在包含原始圖像T₀的基礎(chǔ)上，還從其他領(lǐng)域獲取遷移圖像，基于遷移學(xué)習(xí)的方法是將從一個環(huán)境中學(xué)到的知識用來幫助在新環(huán)境中的學(xué)習(xí)任務(wù)，其能夠遷移不同領(lǐng)域的信息到一個特定的領(lǐng)域，因此，本發(fā)明從區(qū)別于原始圖像所屬領(lǐng)域之外的其他領(lǐng)域中隨機(jī)選擇T_t張圖片作為遷移圖像，從而本發(fā)明中的訓(xùn)練數(shù)據(jù)庫是由原始圖像T₀和遷移圖像T_t組成，這些由原始圖像T₀和遷移圖像T_t組成的圖像作為高分辨率圖像。通過對高分辨率圖像降采樣得到低分辨率圖像。

進(jìn)一步地，該低分辨率圖像獲取單元61包括：圖像遷移單元611、圖像轉(zhuǎn)換單元612以及低分辨率圖像獲取子單元613，其中：

圖像遷移單元611，用于獲取原始圖像以及遷移圖像，作為高分辨率圖像，遷移圖像為在區(qū)別于原始圖像所屬領(lǐng)域中隨機(jī)選擇的圖像。

在本發(fā)明實(shí)施例中，基于遷移學(xué)習(xí)的方法在區(qū)別于原始圖像所屬領(lǐng)域中隨機(jī)選擇的圖像作為遷移圖像，豐富了訓(xùn)練數(shù)據(jù)庫，形成由原始圖像T₀和遷移圖像T_t組成的圖像作為高分辨率圖像。

圖像轉(zhuǎn)換單元612，用于將高分辨率圖像轉(zhuǎn)換為YCbCr空間圖像。

在本發(fā)明實(shí)施例中，YCbCr空間圖像是顏色空間圖像的一種，YCbCr空間圖像中Y是指亮度分量，Cb指藍(lán)色色度分量，Cr指紅色色度分量。由于人類的視覺系統(tǒng)對高頻的強(qiáng)度變化比對高頻的顏色變化敏感，所以，對于超分辨率來說，顏色通道的變化是可以忽略的，為了減少運(yùn)算量，在轉(zhuǎn)換為YCbCr空間圖像時，可以只計算亮度分量。

低分辨率圖像獲取子單元613，用于根據(jù)預(yù)設(shè)的放大系數(shù)，依次對高分辨率圖像進(jìn)行降采樣、插值運(yùn)算，得到低分辨率圖像。

在本發(fā)明實(shí)施例中，用預(yù)設(shè)的放大系數(shù)從高分辨率圖像中通過降采樣得到相應(yīng)的低分辨率圖像，進(jìn)一步地，用相同的預(yù)設(shè)的放大系數(shù)將低分辨率圖像通過bicubic插值的方法得到插值高分辨率圖像。因為這些插值高分辨率圖像中高頻的信息是丟失的，所以也被作為低分辨率圖像。

特征對提取單元62，用于根據(jù)高分辨率圖像以及低分辨率圖像，提取高分辨率圖像和低分辨率圖像的特征對。

在本發(fā)明實(shí)施例中，在得到低分辨率圖像后，分別對高分辨率圖像以及低分辨率圖像進(jìn)行網(wǎng)格化分解，提取高分辨率圖像和低分辨率圖像的特征對。

進(jìn)一步地，該特征對提取單元62包括：濾波單元621以及特征對提取子單元622，其中：

濾波單元621，用于使用預(yù)設(shè)數(shù)量的高通濾波器，對低分辨率圖像進(jìn)行濾波，得到濾波后的低分辨率圖像。

在本發(fā)明實(shí)施例中，為了提取局部特征和相應(yīng)的高頻內(nèi)容，對所有的低分辨率圖像用預(yù)設(shè)數(shù)量的高通濾波器，形成預(yù)設(shè)數(shù)量的過濾后的低分辨率圖像。

特征對提取子單元622，用于分別對濾波后的低分辨率圖像以及高分辨率圖像進(jìn)行網(wǎng)格化，提取高分辨率圖像和低分辨率圖像的特征對。

在本發(fā)明實(shí)施例中，從過濾后的低分辨率圖像中通過網(wǎng)格化的方法提取低分辨率圖像的小碎片，這些低分辨率圖像的小碎片合為低分辨率圖像的特征；同樣的，對高分辨率圖像通過網(wǎng)格化的方法，在相同的位置提取高分辨率圖像的小碎片，由此，提取到了高分辨率圖像和低分辨率圖像的特征對。

投影矩陣獲取單元63，用于對于每個低分辨率圖像的特征，通過計算低分辨率鄰域以及對應(yīng)的高分辨率鄰域，以得到投影矩陣。

在本發(fā)明實(shí)施例中，根據(jù)得到高分辨率圖像和低分辨率圖像的特征對，得到低分辨率鄰域以及對應(yīng)的高分辨率鄰域，并計算投影矩陣。

進(jìn)一步地，該投影矩陣獲取單元63包括：稀疏字典構(gòu)造單元631、鄰域獲取單元632以及投影矩陣獲取子單元633，其中：

稀疏字典構(gòu)造單元631，用于構(gòu)造低分辨率稀疏字典以及對應(yīng)的高分辨率稀疏字典。

在本發(fā)明實(shí)施例中，使用字典訓(xùn)練方法來獲取一個低分辨率稀疏字典D_L，通過構(gòu)造低分辨率稀疏字典D_L，得到的稀疏表示向量δ，其獲取公式為：

$\mathrm{\δ}=\arg \underset{\mathrm{\δ}}{min}\left|\right|D_L\mathrm{\δ}-x|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\δ}\right|{|}_1$

其中，δ是稀疏表示向量，x是低分辨率圖像的特征，λ是一個權(quán)重因子。

假設(shè)高分辨率圖像的小碎片和低分辨率圖像的小碎片網(wǎng)格化分解的系數(shù)相同，并以此來構(gòu)建與低分辨率稀疏字典D_L相對應(yīng)的高分辨率稀疏字典D_H。目標(biāo)是恢復(fù)高分辨率圖像的特征y，它的近似值是y≈D_Hδ。高分辨率稀疏字典D_H的獲取公式為：

$D_H=\arg \underset{D_H}{min}\left|\right|y-D_H\mathrm{\δ}|{|}_2^2$

其中，δ是稀疏表示向量，y是高分辨率圖像的特征，上述公式的解為：

D_H＝y(tǒng)δ^T(δδ^T)^-1

在構(gòu)建低分辨率稀疏字典D_L以及對應(yīng)的高分辨率稀疏字典D_H后，需要通過使用訓(xùn)練數(shù)據(jù)庫中的樣本產(chǎn)生用于回歸的領(lǐng)域。

鄰域獲取單元632，用于獲取每個低分辨率圖像的特征在低分辨率稀疏字典中的字典原子，以得到低分辨率鄰域以及對應(yīng)的高分辨率鄰域，字典原子為在低分辨率稀疏字典中距離低分辨率圖像的特征最近的原子。

對于每個低分辨率圖像的特征x_i計算其在低分辨率稀疏字典中的最近的鄰居，也就是字典原子d_k，低分辨率鄰域N_L，k包含了m個訓(xùn)練樣本，這些m個訓(xùn)練樣本與低分辨率圖像的特征x_i對應(yīng)的字典原子最接近，而與低分辨率鄰域N_L，k對應(yīng)的高分辨率鄰域為N_H，k。

投影矩陣獲取子單元633，用于通過低分辨率鄰域以及對應(yīng)的高分辨率鄰域，得到與字典原子對應(yīng)的投影矩陣。

在本發(fā)明實(shí)施例中，設(shè)定一系數(shù)向量γ，其計算公式如下：

$\mathrm{\γ}=\arg \underset{\mathrm{\γ}}{min}\left|\right|x_i-N_{L,k}\mathrm{\γ}|{|}_2^2+\mathrm{\λ}|\left|\mathrm{\γ}\right|{|}_2$

其中，γ為系數(shù)向量，N_L，k為低分辨率鄰域，x_i為低分辨率圖像的特征。上述公式解為：

γ＝(N_L，k^TN_L，k+λI)^-1N_L，k^Tx_i

其中，I為單位向量。由此，可以重構(gòu)出高分辨率圖像的小碎片y_H，i，其計算公式為：

y_H，i＝N_H，k(N_L，k^TN_L，k+λI)^-1N_L，k^Tx_i

其中，k＝1,2,…,K。

進(jìn)一步地，得到投影矩陣P_k為：P_k＝N_H，k(N_L，k^TN_L，k+λI)^-1N_L，k^T。

高分辨率圖像重構(gòu)單元64，用于在重構(gòu)時，根據(jù)低分辨率圖像的特征以及投影矩陣，形成重構(gòu)后的高分辨率圖像。

在本發(fā)明實(shí)施例中，在重構(gòu)階段，對于給定的測試圖像，首先從中提取低分辨率圖像的特征，提取的過程和訓(xùn)練時相同。對每一個低分辨率圖像的特征x_T，j，計算低分辨率稀疏字典D_L中離低分辨率圖像的特征x_T，j最近的字典原子d_k，同時得到與字典原子d_k對應(yīng)的投影矩陣P_k。

進(jìn)一步地，該高分辨率圖像重構(gòu)單元64包括：第一重構(gòu)單元641、第二重構(gòu)單元642、第三重構(gòu)單元643以及第四重構(gòu)單元644，其中：

第一重構(gòu)單元641，用于重構(gòu)時，提取低分辨率圖像的特征，并獲取在低分辨率稀疏字典中對應(yīng)的字典原子；

第二重構(gòu)單元642，用于根據(jù)字典原子，獲取與字典原子對應(yīng)的投影矩陣；

第三重構(gòu)單元643，用于根據(jù)低分辨率圖像的特征以及投影矩陣，得到高分辨率圖像碎片；以及

第四重構(gòu)單元644，用于將高分辨率圖像碎片進(jìn)行合并，形成重構(gòu)后的高分辨率圖像。

本發(fā)明實(shí)施例基于遷移學(xué)習(xí)在原始圖像的基礎(chǔ)上，再從其他領(lǐng)域中隨機(jī)選擇遷移圖像，一起作為高分辨率圖像，通過降采樣得到低分辨率圖像并提取高分辨率圖像和低分辨率圖像的特征對，根據(jù)低分辨率鄰域以及對應(yīng)的高分辨率鄰域，得到投影矩陣，以實(shí)現(xiàn)在重構(gòu)時，形成重構(gòu)后的高分辨率圖像，通過增加遷移圖像使得訓(xùn)練數(shù)據(jù)庫更加豐富，為后面重構(gòu)圖像提供有利的條件。

在本發(fā)明實(shí)施例中，各單元可由相應(yīng)的硬件或軟件單元實(shí)現(xiàn)，各單元可以為獨(dú)立的軟、硬件單元，也可以集成為一個軟、硬件單元，在此不用以限制本發(fā)明。

以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。