一種快速高質(zhì)的圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理領(lǐng)域，尤其是一種快速高質(zhì)的圖像超分辨率重建方法。
【背景技術(shù)】
[0002] 圖像超分辨率重建技術(shù)是圖像處理領(lǐng)域內(nèi)一個重要且基礎(chǔ)的課題，它指的是通過 軟件計算的方式處理輸入的一幅或多幅同一場景的低分辨率圖像來估算其對應(yīng)的高分辨 率圖像。這種技術(shù)在數(shù)字電視高清顯示、視頻監(jiān)控、遙感圖像通訊等領(lǐng)域有著廣泛的應(yīng)用。 其實現(xiàn)方法主要可分為基于插值的方法、基于重建的方法和基于學習的方法。近年來，隨著 機器學習、數(shù)據(jù)挖掘等技術(shù)的興起，基于學習的方法逐漸為人們所重視，并成為圖像超分辨 率重建技術(shù)的主流。
[0003]圖像本身信息豐富，數(shù)據(jù)量巨大，因此簡單的超分辨率重建算法雖然速度快但往 往達不到最優(yōu)的重建效果，如采用雙三次插值算法，該算法速度快，處理平滑區(qū)域能取得很 好的效果，但是對于邊緣和紋理區(qū)域，該算法容易引入模糊和噪聲，造成重建質(zhì)量下降；復 雜的方法為了追求最優(yōu)的效果通常都需要占用大量的內(nèi)存空間和漫長的等待時間，如He 等人發(fā)表在 2011 年CVPR會議上的論文《SingleImageSuper-ResolutionUsingGaussian processRegression》中所提到的方法。He等人的方法將圖像中的每一個像素點和其對應(yīng) 的八鄰域構(gòu)造成訓練樣本對，在每一個小區(qū)域內(nèi)（文中為30X30大小的區(qū)域）訓練高斯過 程回歸模型參數(shù)，把該區(qū)域用雙三次放大到目標尺寸后構(gòu)造樣本集合作為高斯過程回歸模 型的輸入，得到這個小區(qū)域的對應(yīng)的高分辨率估計。這種方法模型訓練階段的時間復雜度 為0(Μ*Ν3)，其中，Μ為抽取的圖像小區(qū)域的數(shù)量，N為小區(qū)域內(nèi)構(gòu)造的樣本對數(shù)量；預(yù)測階 段的時間復雜度為〇(Ν' 2)，Ν'為輸入的樣本數(shù)量，可以看出該方法時間復雜度較大。由于 時間復雜度的限制，該算法很難在實際情況中應(yīng)用。
[0004] 綜上所述，目前業(yè)內(nèi)亟需一種速度快且效果好的圖像分辨率重建方法。

【發(fā)明內(nèi)容】

[0005] 為了解決上述技術(shù)問題，本發(fā)明的目的是：提供一種速度快且效果好的，快速高質(zhì) 的圖像超分辨率重建方法。
[0006] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0007] -種快速高質(zhì)的圖像超分辨率重建方法，包括：
[0008]S1、對輸入圖像八分別進行高斯低通濾波和雙三次上采樣，得到高斯低通濾波圖 像\和雙三次上采樣圖像XΗ;
[0009]S2、根據(jù)輸入圖像\和高斯低通濾波圖像h構(gòu)建圖像對訓練集
，然后根據(jù)圖像對訓練集D采用最近鄰域查找法得到圖像XH的訓練樣本 對集合，其中，P表示圖像片的位置；
[0010]S3、采用多任務(wù)高斯過程回歸模型對圖像XH的訓練樣本對集合進行描述，然后采 用梯度下降法進行參數(shù)訓練，求出圖像χΗ樣本所對應(yīng)的多任務(wù)高斯模型參數(shù)以及多任務(wù)高 斯模型輸出YH，所述圖像xH樣本所對應(yīng)的多任務(wù)高斯模型參數(shù)為圖像xH不同位置的樣本賦 予了不同的噪聲級別；
[0011]S4、對求出的多任務(wù)高斯模型輸出YH采用反向投影法得到最終的超分辨率圖像。
[0012] 進一步，所述步驟S2,其包括：
[0013] S21、從輸入圖像八和高斯低通濾波圖像X沖抽取圖像片集合{(打),扣)},進而 構(gòu)建相應(yīng)的圖像對訓練集d=Μ;
[0014]S22、對雙三次上采樣圖像ΧΗ所抽取的第i個圖像片通過最近鄰域查找法查 找到其在圖像對訓練集D中的k個最近樣本對，進而構(gòu)建圖像XH的訓練樣本對集合
是圖像對訓練集D中圖像八第i個圖像片）^的 像素點的列向量形式，叫為Γ/中元素的個數(shù)；=[^,1，'2，...，1廣]，1/是由圖像片^^中 與像素點欠丨位置相對應(yīng)像素點的8鄰域所組成的列向量，i= 1，2,…，k;j= 1，2,…，η;。
[0015] 進一步，所述步驟S3,其包括：
[0016] S31、采用多任務(wù)高斯過程回歸模型對圖像ΧΗ的訓練樣本對集合進行 描述，得到圖像χΗ訓練樣本對集合的描述方程，所述得到的描述方程為：
[0018] 其中，￡l為圖像XH訓練樣本對集合對應(yīng)的噪聲，εi服從均值是0且協(xié)方差矩陣 為的高斯分布，erf代表噪聲的等級，^^是nixni大小的單位矩陣；
[0019]S32、根據(jù)圖像ΧΗ訓練樣本對集合對應(yīng)的描述方程得到所有訓練樣本的描述方程， 所述所有訓練樣本的描述方程為：
[0021] 其中，X= [Χ^Χ2, · · ·，XJ，Y= [Υ^Υ2, · · ·，YJ，ε為所有訓練樣本對應(yīng)的噪聲， ε服從均值是0且協(xié)方差矩陣為D的高斯分布，D是對角矩陣且滿足：
[0022]
[0023] S33、根據(jù)圖像ΧΗ訓練樣本對集合以及所有訓練樣本的描述方程采用梯度下降法 進行參數(shù)訓練，求出圖像ΧΗ樣本所對應(yīng)的多任務(wù)高斯模型參數(shù)。
[0024] 進一步，所述步驟S33,其包括：
[0025]S331、為圖像XH第i個圖像片中每一個像素點的八鄰域構(gòu)造測試矩陣 ，從而得到所有訓練樣本的訓練輸出Y和圖像XH樣本的測試輸出Y*的聯(lián)合分布，所述得到的聯(lián)合分布為：
[0027]其中，K(X，XJ、K久，X)和K(X，X)分別為（X，XJ、久，X)和（X，X)的協(xié)方差矩陣， 矩陣K(X，XJ、K久，X)和K(X，X)第m行第η列元素的表達式為：
[0028]
，參數(shù)σf、1和均為待求的多任務(wù)高斯模型 參數(shù)；
[0029]S332、根據(jù)圖像ΧΗ訓練樣本對集合以及所有訓練樣本的描述方程確定似然函數(shù) R(x)，所述似然函數(shù)R(x)的表達式為：
[0031] 其中，服從對數(shù)正態(tài)分布，μ為對數(shù)正態(tài)分布的均值，P為對數(shù)正態(tài)分布 的標準差；
[0032]S333、采用梯度下降法求出使似然函數(shù)R(x)取得最小值時對應(yīng)的多任務(wù)高斯模
[0033]S334、根據(jù)多任務(wù)高斯模型參數(shù)〇f、l和計算圖像XH樣本測試矩陣的輸出 Y*，所述測試矩陣的輸出Y*的表達式為：
[0034]Y* =f(X*) =K(X*，X)[K(X，X) +D]TY。
[0035] 進一步，所述步驟S22在通過最近鄰域查找法查找時在以圖像ΧΗ所抽取的第i個 圖像片對應(yīng)的位置為中心，30X30大小的區(qū)域內(nèi)進行查找。
[0036] 進一步，所述步驟S22在對雙三次上采樣圖像XH所抽取的第i個圖像片通過最近 鄰域查找法查找之前還包括根據(jù)圖像XH所抽取的圖像片的方差大小和設(shè)定閾值進行初步 分類的步驟。
[0037] 本發(fā)明的有益效果是：采用最近鄰域查找法來得到雙三次上采樣圖像XH的訓練 樣本對集合，然后采用多任務(wù)高斯過程回歸模型對訓練樣本對集合進行描述以及采用梯度 下降法進行參數(shù)訓練，得到多任務(wù)高斯模型參數(shù)以及多任務(wù)高斯模型輸出YH，最后根據(jù)多 任務(wù)高斯模型輸出YH得到最終的超分辨率圖像，與采用簡單的雙三次插值算法相比，效果 更好且重建后得到的圖像質(zhì)量更高；從圖像本身的特性出發(fā)，圖像XH樣本所對應(yīng)的多任務(wù) 高斯模型參數(shù)為圖像XH不同位置的樣本賦予了不同的噪聲級別，使得本發(fā)明的重建方法可 以在不同圖像片間獨立運行，易改造為并行算法或采用GPU圖像處理器來實現(xiàn)，與傳統(tǒng)的 高斯模型回歸算法相比，運行時間更更短，速度更快。進一步，在通過最近鄰域查找法查找 最近鄰域的過程中只在以所抽取的圖像片對應(yīng)的位置為中心，30X30大小的區(qū)域內(nèi)進行查 找，大大降低了查找所需消耗的時間，速度更快。
【附圖說明】
[0038] 下面結(jié)合附圖和實施例對本發(fā)明作進一步說明。
[0039]圖1為本發(fā)明一種快速高質(zhì)的圖像超分辨率重建方法的整體流程圖；
[0040] 圖2為本發(fā)明實施例一的算法框架圖。
【具體實施方式】
[0041] 參照圖1，一種快速高質(zhì)的圖像超分辨率重建方法，包括：
[0042]S1、對輸入圖像八分別進行高斯低通濾波和雙三次上采樣，得到高斯低通濾波圖 像\和雙三次上采樣圖像XH;
[0043]S2、根據(jù)輸入圖像\和高斯低通濾波圖像構(gòu)建圖像對訓練集 ￡>二{(Xf ，然后根據(jù)圖像對訓練集〇采用最近鄰域查找法得到圖像心的訓練樣本 對集合，其中，Ρ表示圖像片的位置；
[0044]S3、采用多任務(wù)高斯過程回歸模型對圖像ΧΗ的訓練樣本對集合進行描述，然后采 用梯度下降法進行參數(shù)訓練，求出圖像ΧΗ樣本所對應(yīng)的多任務(wù)高斯模型參數(shù)以及多任務(wù)高 斯模型輸出ΥΗ，所述圖像ΧΗ樣本所對應(yīng)的多任務(wù)高斯模型參數(shù)為圖像ΧΗ不同位置的樣本賦 予了不同的噪聲級別；
[0045]S4、對求出的多任務(wù)高斯模型輸出ΥΗ采用反向投影法得到最終的超分辨率圖像。
[0046] 進一步作為優(yōu)選的實施方式，所述步驟S2,其包括：
[0047]S21、從輸入圖像八和高斯低通濾波圖像L中抽取圖像片集合，進而 構(gòu)建相應(yīng)的圖像對訓練集={(If),.(5^)}
[0048]S22、對雙三次上采樣圖像XH所抽取的第i個圖像片通過最近鄰域查找法查 找到其在圖像對訓練集D中的k個最近樣本對，進而構(gòu)建圖像XH的訓練樣本對集合
是圖像對訓練集D中圖像1第i個圖像片}^的 像素點的列向量形式，~為G中元素的個數(shù)；X,. x/是由圖像片中 與像素點，f位置相對應(yīng)像素點的8鄰域所組成的列向量，i= 1，2,…，k;j= 1，2,…，叫。
[0049] 進一步作為優(yōu)選的實施方式，所述步驟S3,其包括：
[0050]S31、采用多任務(wù)高斯過程回歸模型對圖像XH的訓練樣本對集合進 行描述，得到圖像XH訓練樣本對集合的描述方程，所述得到的描述方程為：
[0052] 其中，￡l為圖像XH訓練樣本對集合對應(yīng)的噪聲，εi服從均值是0且協(xié)方差矩陣 為的高斯分布，代表噪聲的等級，、是ηιχηι大小的單位矩陣；
[0053]S32、根據(jù)圖像ΧΗ訓練樣本對集合對應(yīng)的描述方程得到所有訓練樣本的描述方程， 所述所有訓練樣本的描述方程為：
[0055] 其中，X= [Χ^Χ2, · · ·，XJ，Y= [Υ^Υ2, · · ·，YJ，ε為所有訓練樣本對應(yīng)的噪聲， ε服從均值是0且協(xié)方差矩陣為D的高斯分布，D是對角矩陣且滿足：
[0056]
[0057]S33、根據(jù)圖像ΧΗ訓練樣本對集合以及所有訓練樣本的描述方程采用梯度下降法 進行參數(shù)訓練，求出圖像ΧΗ樣本所對應(yīng)的多任務(wù)高斯模型參數(shù)。
[0058] 進一步作為優(yōu)選的實施方式，所述步驟S33,其包括：
[0059]S331、為圖像ΧΗ第i個圖像片中每一個像素點的八鄰域構(gòu)造測試矩陣 1二[^1,^2^，&,>]，從而得到所有訓練樣本的訓練輸出￥和圖像\樣本的測試輸出 Y*的聯(lián)合分布，所述得到的聯(lián)合分布為：
[0061] 其中，K(X，XJ、κιX)和K(X，X)分別為（X，XJ、久，X)和（X，X)的協(xié)方差矩陣， 矩陣Κ(X，XJ、Κ久，X)和Κ(X，X)第m行第η列元素的表達式為：
[0062]
，參數(shù)。