一種基于亞像素偏移模型的圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于亞像素偏移模型的圖像超分辨率重建方法，屬于計算機圖像 與視頻處理領(lǐng)域。
【背景技術(shù)】
[0002] 近年來，高分辨率顯示設(shè)備，特別是高清液晶顯示器已普及。而很多情況下，展現(xiàn) 在高清顯示器上的圖像或視頻卻并不清晰。這主要是由于在圖像或視頻獲取環(huán)節(jié)，所用設(shè) 備大多考慮成本要素（主要有技術(shù)、資金等），其成像傳感器固有分辨率受限，只能獲取低 分辨率圖像。如何不增加成像設(shè)備成本，又能最大限度發(fā)揮高分辨率顯示設(shè)備的性能（高 清地呈現(xiàn)低分辨率圖像），為相關(guān)應用（例如，醫(yī)學成像診斷、衛(wèi)星遙感分析、遠程監(jiān)控研判 或移動互聯(lián)娛樂等）提供準確的信息或豐富的消費體驗，是科技人員所面臨的挑戰(zhàn)。為克 服低成本成像傳感器分辨率的固有局限性，超分辨率（SR)圖像重建技術(shù)被應用并成為一 個非?；钴S的研宄領(lǐng)域。它將同一場景的單或多幀低分辨率退化圖像作為輸入，通過亞像 素精度的配準和融合，重建出一幀高分辨率圖像，是一種有效的分辨率增強技術(shù)。
[0003] 現(xiàn)有的超分辨率重建技術(shù)大致可分為以下幾類：1).基于函數(shù)插值的方法：根據(jù) 其基函數(shù)的不同，主要有零階保持、雙線性、雙三次和離散傅里葉變換插值等。但以上方法 均基于原始高分辨率圖像信號是帶限的假設(shè)，這并不能真實反映圖像信號的天然特征。因 此，此類方法難以重建出保真圖像。2).基于實例的方法：首先從已有的實例圖像樣本庫中 抽取出一系列高頻模式，用以與待重建圖像進行匹配。如果實例圖像足夠多，那么眾多高頻 模式就足以恢復低分辨率圖像中丟失的高頻信息。然而很多情況下，實例圖像的數(shù)量并不 能保證，這就影響了基于實例重建的效果。3).基于重構(gòu)的方法：通過建立圖象退化模型， 沿插值-復原路徑對低分辨率圖像進行重建。該類方法使用嚴謹?shù)臄?shù)學模型，且抑制噪聲 時能保持邊緣，因而廣受關(guān)注，新算法層出不窮。尤其是近來出現(xiàn)的基于核回歸的超分辨率 重建算法，利用各向異性核回歸對單幀低分辨率圖像完成插值放大，而后再進行復原，使方 向性紋理得到更好地重建。
[0004] 上述傳統(tǒng)的核回歸超分辨率重建算法中，插值過后還要進行復原的原因在于：用 于插值的核回歸僅解決了退化圖像的欠采樣和噪聲問題，其結(jié)果與原始圖像之間還有一定 差別（主要是原始高頻細節(jié)無法恢復，導致結(jié)果模糊）。通過下面數(shù)學方式來解釋更加直 觀：
[0005] 假設(shè)高分辨率圖像f為原始圖像，實際的觀測圖像y是f的低分辨率退化版本。退 化因素主要有模糊、欠采樣和噪聲，退化模型如下所示：
[0006] y = D(h*f)+n = Dg+n = zg+n
[0007] 其中*表示卷積運算，h表示模糊核，D表示欠采樣算子，η表示噪聲，g表示f的 模糊版本，Z g表示f的欠采樣模糊版本。核回歸就是利用y估計出回歸函數(shù)z g(x)，這里X =[X1, x2]T表示圖像中的坐標。顯然，Z g就是z g(x)的離散形式，而g可通過對Zg(X)重新 高頻采樣而獲得。但是，要進一步得到f就必須對g進行解卷積運算，這實際也是復原（去 模糊）過程。
[0008] 事實上，解卷積大多都會存在不適定問題，復原結(jié)果很容易出現(xiàn)振鈴、過沖等形式 的偽影，難以消除。而且，模糊、欠采樣和噪聲問題在圖像的退化過程中是相互影響的，上述 傳統(tǒng)的核回歸超分辨率重建將這些問題割裂加以解決，難免造成顧此失彼（已解決問題有 可能在其它步驟中再次引發(fā)）。從數(shù)學建模角度來講，這種分步建模增加了推理步驟的復 雜性，也無法做到整體建模的簡潔直觀。另外，上述核回歸重建僅針對單幀低分辨率觀測圖 像，并未給出多幀觀測圖像重建的解決方案。

【發(fā)明內(nèi)容】

[0009] 發(fā)明目的：為了解決核回歸超分辨率重建中獨立的復原環(huán)節(jié)解卷積效果不佳的問 題，本發(fā)明提供一種基于亞像素偏移模型的核回歸超分辨率重建方法，該方法將核回歸超 分辨率重建中的插值重采樣和復原兩個獨立環(huán)節(jié)整合，避免了分步建模的復雜性和解卷積 的不適定性。同時，所提供的方法對于觀測圖像的數(shù)量沒有限定，既可用于單幀重建也可用 于多幀重建，適用性增強。
[0010] 技術(shù)方案：為實現(xiàn)上述目的，本發(fā)明的基于亞像素偏移模型的圖像超分辨率重建 方法，包括以下步驟：
[0011] 步驟1，將待重建的低分辨率圖像進行初始化，得到初始化后的圖像y ;
[0012] 步驟2,建立亞像素偏移模型模擬圖像的模糊過程，對所述亞像素偏移模型進行欠 采樣并加入噪聲得到新的圖像退化模型；
[0013] 步驟3,利用基于梯度的偏移估計算法估計亞像素偏移量，并根據(jù)所述亞像素偏移 量構(gòu)造并計算偏移核函數(shù)；
[0014] 步驟4,根據(jù)所述新的圖像退化模型，利用所述偏移核函數(shù)和泰勒級數(shù)擴展法則， 構(gòu)造核回歸估計式；
[0015] 步驟5,基于所述核回歸估計式，利用共軛梯度法逐點估計圖像像素值，最終得到 高分辨率圖像。
[0016] 其中，步驟1中獲取所述初始化后的圖像y包括以下步驟：
[0017] 步驟1. 1，判斷同一場景的低分辨率圖像的幀數(shù)，若幀數(shù)為1則設(shè)其為所述初始化 后的圖像y，若幀數(shù)大于1則進行步驟1. 2 ;
[0018] 步驟1. 2,利用Keren配準算法對多幀低分辨率圖像yk(k = 1，2. .. N)進行配準， 其中N為大于1的自然數(shù)，表示圖像的幀數(shù)；根據(jù)配準結(jié)果將圖像yk置于一個圖像網(wǎng)格中， 形成圖像#，其像素為非均勻分布；利用核回歸對圖像? :進行初始化，得到像素均勻分布的 圖像作為初始化后的圖像y。
[0019] 其中，步驟2中所述亞像素偏移模型的表達式為：g(Xi) = f(Xi+Si)，其中f為原始 高分辨率圖像，g是將f模糊后的圖像，Xi= [Xli，X2i]T表示圖像中的坐標，Si= [Sli，S2i]T 表示坐標的亞像素偏移量。
[0020] 所述新的圖像退化模型的表達式為：
[0021 ] y (Xi) = zg (Xi) +Iii = g (X D +Iii = f (X ^si) +叫
[0022] 式中，Iii表示噪聲，z g是對g進行欠采樣后的圖像。
[0023] 其中，步驟3中所述利用基于梯度的偏移估計算法估計亞像素偏移量中，亞像素 偏移量Si= [s n，s2i]T用如下公式估計：
[0024]
【主權(quán)項】
1. 一種基于亞像素偏移模型的圖像超分辨率重建方法，其特征在于，該方法包括以下 步驟： 步驟1，將待重建的低分辨率圖像進行初始化，得到初始化后的圖像y ; 步驟2,建立亞像素偏移模型模擬圖像的模糊過程，對所述亞像素偏移模型進行欠采樣 并加入噪聲得到新的圖像退化模型； 步驟3,利用基于梯度的偏移估計算法估計亞像素偏移量，并根據(jù)所述亞像素偏移量構(gòu) 造并計算偏移核函數(shù)； 步驟4,根據(jù)所述新的圖像退化模型，利用所述偏移核函數(shù)和泰勒級數(shù)擴展法則，構(gòu)造 核回歸估計式； 步驟5,基于所述核回歸估計式，利用共軛梯度法逐點估計圖像像素值，最終得到高分 辨率圖像。
2. 根據(jù)權(quán)利要求1所述的一種基于亞像素偏移模型的圖像超分辨率重建方法，其特征 在于，步驟1中獲取所述初始化后的圖像y包括以下步驟： 步驟1. 1，判斷同一場景的低分辨率圖像的幀數(shù)，若幀數(shù)為1則設(shè)其為所述初始化后的 圖像y，若幀數(shù)大于1則進行步驟1. 2 ; 步驟1. 2,利用Keren配準算法對多幀低分辨率圖像yk(k = 1，2…N)進行配準，其中N 為大于1的自然數(shù)，表示圖像的幀數(shù)；根據(jù)配準結(jié)果將圖像yk置于一個圖像網(wǎng)格中，形成圖 像^其像素為非均勻分布；利用核回歸對圖像·?進行初始化，得到像素均勻分布的圖像作 為初始化后的圖像y。
3. 根據(jù)權(quán)利要求1所述的一種基于亞像素偏移模型的圖像超分辨率重建方法，其特征 在于，步驟2中所述亞像素偏移模型的表達式為：g( Xi) = f (Xi+Si)，其中f為原始高分辨率 圖像，g是將f模糊后的圖像，Xi= [Xli，x2i]T表示圖像中的坐標，Si= [Sli，s2i]^示坐標 的亞像素偏移量； 所述新的圖像退化模型的表達式為： y (Xi) = zg (Xi) +Iii = g (X D +Iii = f (X ^si) +Iii 其中，Iii表示噪聲，z g是對g進行欠采樣后的圖像。
4. 根據(jù)權(quán)利要求1所述的一種基于亞像素偏移模型的圖像超分辨率重建方法，其特征 在于，步驟3中所述利用基于梯度的偏移估計算法估計亞像素偏移量中，亞像素偏移量S i =[sn，s2i]T用如下公式估計：
其中，▽和V2分別表示一階和二階導數(shù)算子，Sgn(·)表示正負號函數(shù)，α表示全局 尺度參數(shù)，Ku表示以X 中心的2維高斯函數(shù)位于h處的函數(shù)值，ω表示以X 中心的 局部窗口； 所述偏移核函數(shù)X)的表達式為：
其中，(^為X i+Si處的協(xié)方差矩陣，h為平滑參數(shù)。
5.根據(jù)權(quán)利要求1所述的一種基于亞像素偏移模型的圖像超分辨率重建方法，其特征 在于，步驟4中所述核回歸估計式的表達式如下：
其中，Ω表示以Xi為中心的局部窗口。
【專利摘要】本發(fā)明公開了一種基于亞像素偏移模型的圖像超分辨率重建方法，首先將輸入圖像配置于一個網(wǎng)格中，并形成像素均勻分布的圖像；然后提出一種亞像素偏移模型，并由此構(gòu)造新的圖像退化模型；接著設(shè)計基于梯度的偏移估計算法估計出亞像素偏移量，并據(jù)此構(gòu)造和計算偏移核函數(shù)；最后根據(jù)新的圖像退化模型，利用所述偏移核函數(shù)和泰勒級數(shù)擴展法則構(gòu)造核回歸估計式，并由此重建出高分辨率圖像。本發(fā)明所提方法將核回歸超分辨率重建中的插值重采樣和復原兩個獨立環(huán)節(jié)整合，避免了分步建模的復雜性和解卷積的不適定性。同時，所提供的方法對于觀測圖像的數(shù)量沒有限定，既可用于單幀重建也可用于多幀重建，適用性增強。
【IPC分類】G06T3-40
【公開號】CN104766272
【申請?zhí)枴緾N201510185343
【發(fā)明人】徐楓, 沈潔, 張振, 王鑫, 黃鳳辰, 蔣德富
【申請人】河海大學
【公開日】2015年7月8日
【申請日】2015年4月17日