專利名稱：一種序列圖像自適應(yīng)正則超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像重建方法，尤其涉及一種序列圖像自適應(yīng)正則超分辨率重建方法，屬于數(shù)字圖像增強(qiáng)技術(shù)領(lǐng)域。
背景技術(shù)：
隨著數(shù)字圖像技術(shù)的快速發(fā)展，人們對(duì)高分辨率的數(shù)字圖像有著越來越高的要求。圖像的分辨率越高，圖像細(xì)節(jié)就越清晰，越能提供豐富的信息。近年來，超分辨率重建技術(shù)已成為圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)，該技術(shù)利用多幅低分辨率圖像之間的相對(duì)運(yùn)動(dòng)信息，對(duì)每幅低分辨率圖像中的有用信息進(jìn)行抽取，融合為一幅或多幅高分辨率的圖像，同時(shí)去除圖像中的噪聲及光學(xué)元件所產(chǎn)生的模糊效應(yīng)。由于超分辨率重建技術(shù)是利用多幅低分辨率圖像進(jìn)行處理，提取不同圖像的附加空域，時(shí)域信息，使得重建得到的高分辨率圖像的視覺效果優(yōu)于任意一幅低分辨率圖像。超分辨率技術(shù)廣泛應(yīng)用在醫(yī)學(xué)影像，視頻監(jiān)控，遙感影像，軍事信息獲取等領(lǐng)域，具有廣闊的應(yīng)用前景。例如在CT和核磁共振(MRI)等醫(yī)學(xué)影像中，可以獲取更加清晰的成像，從而幫助醫(yī)生作出更加準(zhǔn)確的診斷；在日常的安防監(jiān)控中，高分辨率圖像能夠更有效的對(duì)異常行為作出檢測(cè)；在航空航天遙感圖像信息獲取方面， 超分辨率重建技術(shù)對(duì)于國家安全等領(lǐng)域的應(yīng)用意義更加重大。超分辨率重建技術(shù)于20世紀(jì)60年代由Harris和Goodman首次以單幅圖像復(fù)原的概念提出。20世紀(jì)80年代初，基于序列圖像的超分辨率重建由Tsai和Huang首次提出， 并給出了頻域中基于離散余弦變換的解決方法。目前的超分辨率重建算法主要分為兩類 頻域方法和空域方法。頻域算法的實(shí)質(zhì)是在頻率域內(nèi)求解圖像內(nèi)插的問題?；陬l域的算法主要是基于以下幾個(gè)原則(1)傅里葉變換的平移性質(zhì)；(2)高分辨率圖像的連續(xù)傅里葉變換和低分辨率圖像的離散傅里葉變換之間的頻譜混疊；C3)多幅低分辨率圖像是同一場(chǎng)景下進(jìn)行像素等級(jí)的變換的結(jié)果。頻域算法具有理論簡單，計(jì)算量小，具有良好的去變形機(jī)制等特點(diǎn)。它的缺點(diǎn)體現(xiàn)在基于的理論前提過于理想化，退化模型只能適用于全局平移運(yùn)動(dòng)，對(duì)空域先驗(yàn)知識(shí)的包含能力有限。由于具有這樣的缺點(diǎn)，在后來的研究中，空域算法逐漸成為研究的主流。相比于頻域算法，空域重建算法能夠在重建模型中引入多種空域先驗(yàn)信息，因此更具有靈活性，實(shí)際的應(yīng)用范圍也更加寬廣?？沼蚍椒ㄅc其他圖像處理方法相結(jié)合又派生出許多新的方法和類型。文獻(xiàn)(IEEE Signal Processing Magazine, 2003 (5) :21-36)假設(shè)圖像服從泊松分布的統(tǒng)計(jì)模型，由此提出圖像重建的最大似然概率法；文獻(xiàn)(Pro cedings of the SPIE, Neural and stochastic methods in image and signal processing II. 1993 2-3)根據(jù)圖像服從泊松分布的特點(diǎn)，提出了最大后驗(yàn)概率法(Maximum a poster iori probability, MAP)，并指出圖像的重建質(zhì)量取決于場(chǎng)景的空間限制，采樣率和噪聲的性質(zhì)和大小；文獻(xiàn)(IEEE Transactions on Image Processing, 1996,5(6) :996-1011)通過對(duì)圖像頻譜的研究，指出圖像超分辨率重建的根本原因是因?yàn)閳D像的低頻分量中包含有高頻信息，從而從理論上提出了超分辨率重建技術(shù)的可行性；文獻(xiàn)(IEEE Transa ctions onImage Processing，1997，6 (8) :1064-1076).在總結(jié)前人工作的基礎(chǔ)上，提出了基于凸集投影法(projection onto convex sets,P0CS)的圖像超分辨率重建方法。此外，研究者還針對(duì)圖像類型，觀測(cè)模型和圖像先驗(yàn)知識(shí)進(jìn)行了研究，并對(duì)相應(yīng)的算法做了大量的改進(jìn)工作。目前大部分圖像超分辨率重建算法都是基于空域方法的研究。但上述提到的空域方法有一個(gè)缺陷，那就是必須假設(shè)運(yùn)動(dòng)場(chǎng)景是靜止的。針對(duì)這個(gè)問題，研究人員在序列圖像超分辨率重建過程中綜合考慮了非參數(shù)運(yùn)動(dòng)模型和區(qū)域跟蹤，并且考慮了多種不同的圖像降質(zhì)模型° 文獻(xiàn)(Journal of Computer Vision,Graphics,and Image Processing, 1991, 53(3) :231-239)中的圖像降質(zhì)模型包含了空間量化誤差和光學(xué)模糊；文獻(xiàn)(Proceed ing of ECCV, Springer-Verlag, 1996, 312-320)考慮了運(yùn)動(dòng)模糊；文獻(xiàn)(IEEE Transactions on Image Processing，1997，6 (12) : 1621-1633)提出基于MAP目標(biāo)函數(shù)的配準(zhǔn)算法同時(shí)進(jìn)行運(yùn)動(dòng)估計(jì)和圖像重建；文獻(xiàn)(IEEE Transactions on Image Processing, 1996,5(6) 996-1011)改進(jìn)了 Bayesian的方法，在超分辨率重建過程中應(yīng)用基于Huber懲罰函數(shù)的 MRF先驗(yàn)知識(shí)；文獻(xiàn)(IEEE Transactions on Image Processing, 2004,13(10) :1327-1344) 提出一種基于雙邊濾波和Ll范數(shù)耦合的全變分模型的超分辨率圖像重建算法，并且采用塊估計(jì)的方法進(jìn)行運(yùn)動(dòng)估計(jì)，這些算法都使重建圖像的質(zhì)量明顯提高。當(dāng)前大部分的超分辨率重建算法對(duì)于超分辨率重建這樣一個(gè)不適定問題的解決方法，是采用正則化的思想。文獻(xiàn)(Solution of Ill-Posed Problems. 1977)首先提出了求解不適定問題的正則化方法，為不適定反問題的求解奠定了理論基礎(chǔ)；文獻(xiàn)(IEEE Tr ans. on Image Processing, 2001,4 (8) :573 583)引入 Tikhonov-Arsenin 正則化用以解決 MAP重建問題的病態(tài)性。正則化重建方法通過對(duì)重建過程中圖像引入一定的約束，能夠保證圖像重建的有效并且降低噪聲的干擾。對(duì)圖像的約束一般采用平滑約束，但這種平滑約束存在明顯的問題，即在平滑圖像中噪聲的同時(shí)也模糊了圖像的邊緣。為了能夠在平滑噪聲的同時(shí)保持圖像的邊緣細(xì)節(jié)信息，研究人員提出許多改進(jìn)的正則化算法，文獻(xiàn)(IEEE Trans on Image Processing, 1999,8 (3) :396-407)提出了各向異性方法；文獻(xiàn)(Pr oceedings of International Conference on Pattern Recognition, 2000,1 :600-605)提出基于連續(xù)全變分模型(Total Variation，TV)序列圖像超分辨率重建算法；文獻(xiàn)(IEEE Tr ans on Image Processing, 1995,4(5) :594-602)提出的迭代自適應(yīng)方法和文獻(xiàn)(IEEE Inter national Conference on Pattern Recognition, Cambridge, United Kingdom,2004,3 : 662-665)提出的空間自適應(yīng)方法.這些改進(jìn)的算法本質(zhì)上都是對(duì)平滑噪聲和保持邊緣的折衷，由于這些方法要求對(duì)圖像邊緣準(zhǔn)確定位，并且由于圖像超分辨率重建本身的缺陷以及參數(shù)選擇不當(dāng)?shù)仍?，不可避免的?huì)在重建圖像中出現(xiàn)不同程度的Gibbs效應(yīng)、顆粒噪聲及邊緣振鈴等多種類型的偽像，且偽像往往具有類似邊緣的特性。因此，序列圖像超分辨率重建算法的研究仍需要考慮如何對(duì)真實(shí)邊緣定位、消除階梯效應(yīng)以及振鈴效應(yīng)等問題。由于序列圖像的超分辨率重建問題的復(fù)雜性，該領(lǐng)域目前的研究成果相對(duì)有限， 因此序列圖像的超分辨率重建值得高度關(guān)注和深入研究。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于克服現(xiàn)有超分辨率正則化重建方法所存在的平滑效應(yīng)問題，提供一種序列圖像自適應(yīng)正則超分辨率重建方法，該方法能夠在完成超分辨率圖像重建的同時(shí)，有效抑制平滑效應(yīng)，從而提高圖像重建的效果。本發(fā)明的思路為在現(xiàn)有正則化重建方法的基礎(chǔ)上，對(duì)圖像重建正則化目標(biāo)方程進(jìn)行改進(jìn)，引入一個(gè)基于形態(tài)學(xué)的邊緣保持算子作用于正則項(xiàng)，對(duì)不同的幾何結(jié)構(gòu)采用不同的正則約束，在圖像的邊緣加強(qiáng)圖像的約束重建，即采用較小的正則化參數(shù)，而在圖像的平滑區(qū)域采用較大的正則化參數(shù)加強(qiáng)正則化。并且每一次邊緣保持算子的獲取都是隨著迭代的進(jìn)行根據(jù)最新的迭代結(jié)果自適應(yīng)的調(diào)整，這樣可以得到更小的迭代誤差，更好的重建效果。具體而言，本發(fā)明的序列圖像自適應(yīng)正則超分辨率重建方法，包括以下步驟步驟A、利用以下觀測(cè)模型對(duì)一幅高分辨率圖像進(jìn)行退化(也可稱為降質(zhì))處理， 得到多幅低分辨率觀測(cè)圖像，yk = Hkz+nk, 1 ^ k ^ ρ,式中，yk表示第k幅低分辨率觀測(cè)圖像，ζ表示用于退化的高分辨率圖像，Hk為退化矩陣，nk為加入的噪聲向量，ρ為圖像序列所包含的圖像幅數(shù)；步驟B、利用迭代算法對(duì)圖像重建正則化目標(biāo)方程優(yōu)化求解，得到最終的高分辨率
重建圖像；其特征在于，所述圖像重建正則化目標(biāo)方程如下式所示
Λζ = argmin{|| 咱 +aAEn* || Qzjj22J式中，5為高分辨率重建圖像；y為序列低分辨率圖像，Z為用于退化的模擬高分辨率圖像，H為退化模型矩陣，α為正則化參數(shù)，Q為正則化算子，Α&為邊緣保持算子，且AEn 隨迭代過程按照以下方法自適應(yīng)調(diào)整Si、對(duì)前次迭代獲得的模擬高分辨率圖像分別進(jìn)行膨脹和腐蝕得到相應(yīng)的灰度矩陣AEd和灰度矩陣AEe ；若是首次迭代，則采用對(duì)低分辨率圖像插值的方法獲得模擬高分辨率圖像；S2、用膨脹操作后的灰度矩陣AEd減去腐蝕操作后的灰度矩陣AEe并對(duì)其歸一化， 得到一個(gè)能夠體現(xiàn)圖像不同形態(tài)成分的灰度矩陣AE ；S3、對(duì)于灰度矩陣AE中的各元素AE(x，y)，根據(jù)一預(yù)先設(shè)定的閾值分別進(jìn)行如下處理，得到本次迭代的邊緣保持算子AEn 若AE(x，y)大于所述閾值，則將該元素縮小N倍；若AE(x，y)小于所述閾值，則將該元素放大N倍。進(jìn)一步地，所述倍數(shù)N隨迭代過程按照以下公式確定Nk+i =lo§(^/、丄)+λ式中，Nk+1為第k+1次迭代的算子倍數(shù)；α k+1為第k+1次迭代的正則化參數(shù)；nk為第k次迭代結(jié)果的誤差；e、r、λ均為修正參數(shù)。更進(jìn)一步地，步驟B中利用最速下降法對(duì)圖像重建正則化目標(biāo)方程優(yōu)化求解。本發(fā)明通過對(duì)現(xiàn)有圖像重建正則化目標(biāo)方程進(jìn)行改進(jìn)，弓丨入一個(gè)基于形態(tài)學(xué)的邊緣保持算子作用于正則項(xiàng)，對(duì)不同的幾何結(jié)構(gòu)采用不同的正則約束，在圖像的邊緣加強(qiáng)圖像的約束重建，即采用較小的正則化參數(shù)，而在圖像的平滑區(qū)域采用較大的正則化參數(shù)加強(qiáng)正則化。并且每一次邊緣保持算子的獲取都是隨著迭代的進(jìn)行根據(jù)最新的迭代結(jié)果自適應(yīng)的調(diào)整。能夠有效抑制超分辨率重建時(shí)的平滑效應(yīng)，提高圖像重建的效果。


圖1為本發(fā)明的序列圖像自適應(yīng)正則超分辨率重建方法流程圖；圖2為本發(fā)明方法與TiW10n0v正則化方法的魯棒性對(duì)比結(jié)果，其中(a)為兩種方法的峰值信噪比對(duì)比，(b)為兩種方法的標(biāo)準(zhǔn)均方差對(duì)比情況；圖3為本發(fā)明方法與TiW10n0v正則化方法的重建效果對(duì)比，其中上排3幅圖像分別為采用TiWi0n0v正則化方法重建后的lena，boat和baboo，下排3幅圖像分別為采用本發(fā)明方法重建后的lena，boat和baboo ；圖4為本發(fā)明方法與自適應(yīng)正則化方法的重建效果對(duì)比，其中上排3幅圖像分別為采用自適應(yīng)正則化方法重建后的lena，boat和baboo，下排3幅圖像分別為采用本發(fā)明方法重建后的lena，boat和baboo ；圖5為本發(fā)明方法與TiW10n0v正則化方法對(duì)現(xiàn)實(shí)圖像進(jìn)行重建的效果對(duì)比，其中第一列的三幅圖像為經(jīng)退化處理后的低分辨率圖像，第二列為采用TiWlonov正則化方法重建后的高分辨率圖像，第三列為采用本發(fā)明方法重建后的高分辨率圖像。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明為便于公眾對(duì)本發(fā)明技術(shù)方案的理解，在對(duì)本發(fā)明方法進(jìn)行說明之前，先對(duì)現(xiàn)有正則化重建的原理進(jìn)行簡要介紹。對(duì)一幅高分辨率圖像(HR)經(jīng)過退化處理得到多幅低分辨率(LR)圖像，這就是圖像的降質(zhì)過程，也就是由序列低分辨率圖像進(jìn)行超分辨率重建時(shí)常用的圖像觀測(cè)模型。圖像觀測(cè)模型的數(shù)學(xué)表達(dá)如下，yk = Hkz+nk, 1 ^ k ^ ρ,(1)式中，yk表示第k幅低分辨率觀測(cè)圖像，ζ表示用于退化的高分辨率圖像，Hk為退化矩陣，nk為加入的噪聲向量，ρ為圖像序列所包含的圖像幅數(shù)；圖像超分辨率重建的任務(wù)就是由式(1)中的觀測(cè)模型所獲得的低分辨率圖像重建得到高分辨率原圖像，即使高分辨率原圖像的后驗(yàn)概率達(dá)到最大
權(quán)利要求
1.一種序列圖像自適應(yīng)正則超分辨率重建方法，包括以下步驟步驟A、利用以下觀測(cè)模型對(duì)一幅高分辨率圖像進(jìn)行退化處理，得到多幅低分辨率觀測(cè)圖像，Yk = HkZ+nk, 1 ^ k ^ ρ,式中，Yk表示第k幅低分辨率觀測(cè)圖像，ζ表示用于退化的高分辨率圖像，Hk為退化矩陣，nk為加入的噪聲向量，ρ為圖像序列所包含的圖像幅數(shù)；步驟B、利用迭代算法對(duì)圖像重建正則化目標(biāo)方程優(yōu)化求解，得到最終的高分辨率重建圖像；其特征在于，所述圖像重建正則化目標(biāo)方程如下式所示
2.如權(quán)利要求1所述序列圖像自適應(yīng)正則超分辨率重建方法，其特征在于，所述倍數(shù)N 隨迭代過程按照以下公式確定
3.如權(quán)利要求1或2所述序列圖像自適應(yīng)正則超分辨率重建方法，其特征在于，所述閾值thresh的取值為所述灰度矩陣AE最大元素與最小元素的中值。
4.如權(quán)利要求1或2所述序列圖像自適應(yīng)正則超分辨率重建方法，其特征在于，所述步驟B中利用最速下降法對(duì)圖像重建正則化目標(biāo)方程優(yōu)化求解。
5.如權(quán)利要求1或2所述序列圖像自適應(yīng)正則超分辨率重建方法，其特征在于，所述退化處理還包括位移變換、光學(xué)模糊和下降采樣，所述退化矩陣根據(jù)下式得到，Hk = DkBkMk^式中，A為下采樣矩陣，Bk為光學(xué)模糊矩陣，Mk為位移矩陣。
全文摘要
本發(fā)明公開了一種序列圖像自適應(yīng)正則超分辨率重建方法，屬于圖像增強(qiáng)技術(shù)領(lǐng)域。本發(fā)明在現(xiàn)有正則化重建方法的基礎(chǔ)上，對(duì)圖像重建正則化目標(biāo)方程進(jìn)行改進(jìn)，引入一個(gè)基于形態(tài)學(xué)的邊緣保持算子作用于正則項(xiàng)，對(duì)不同的幾何結(jié)構(gòu)采用不同的正則約束，在圖像的邊緣加強(qiáng)圖像的約束重建，即采用較小的正則化參數(shù)，而在圖像的平滑區(qū)域采用較大的正則化參數(shù)加強(qiáng)正則化。并且每一次邊緣保持算子的獲取都是隨著迭代的進(jìn)行根據(jù)最新的迭代結(jié)果自適應(yīng)的調(diào)整。相比現(xiàn)有技術(shù)，本發(fā)明可有效抑制重建過程中的平滑效應(yīng)，提高重建高分辨率圖像的質(zhì)量。
文檔編號(hào)G06T5/00GK102231204SQ201110167490
公開日2011年11月2日 申請(qǐng)日期2011年6月20日 優(yōu)先權(quán)日2011年6月20日
發(fā)明者周大可, 唐庭閣, 楊欣, 費(fèi)樹岷, 郭愛群 申請(qǐng)人:南京航空航天大學(xué)