一種單圖像超分辨率重建的方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像重建技術(shù)領(lǐng)域，尤其涉及一種單圖像超分辨率重建的方法。
【背景技術(shù)】
[0002]自然圖像存在一些自相似的屬性，如強(qiáng)度、顏色及幾何結(jié)構(gòu)等。這些自相似信息在 一些類似圖像重構(gòu)、去噪、修復(fù)等圖像操作中可被看作是有價(jià)值的先驗(yàn)知識(shí)。缺失的、覆蓋 的信息可以通過自相似性從圖像的其他位置獲取，但如何有效地利用圖像的自相似屬性來 獲取高質(zhì)量的圖像重建是一個(gè)有意義的問題。
[0003]圖像超分辨率重建技術(shù)是指利用低質(zhì)量、低分辨率圖像或圖像序列來產(chǎn)生單幅高 質(zhì)量、高分辨率圖像。它的目的是要使得輸出的圖像或視頻的分辨率比任意一幅輸入的圖 像或輸入視頻的任意一幀的分辨率都要高。其可以提高圖像的識(shí)別能力和識(shí)別精度，在軍 事，醫(yī)學(xué)，公共安全，計(jì)算機(jī)視覺等方面都存在著重要的應(yīng)用前景。
[0004] 單圖像超分辨率重建是圖像重建的一個(gè)特例，其中的關(guān)鍵是如何從低分辨率圖像 中獲取有用信息以恢復(fù)其高分辨率版本。而自相似性可以看作一種有效的輔助方式。近年 來，自相似的超分辨率模型成功出現(xiàn)，除了不需要借助額外數(shù)據(jù)，大量的實(shí)驗(yàn)說明其結(jié)果優(yōu) 于數(shù)據(jù)驅(qū)動(dòng)模型。但是，如何獲取最優(yōu)的相似片仍是問題的關(guān)鍵。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是為了克服現(xiàn)有技術(shù)的缺陷，提出了一種新的自相似性最大化的概 念來構(gòu)建高質(zhì)量的超分辨率模型。其關(guān)鍵思想是高分辨率圖像中任意選擇的圖像片，在輸 入的低分辨率圖像中，都有一些圖像片視覺上與其相似。利用這個(gè)先驗(yàn)知識(shí)，建立了一個(gè)優(yōu) 化模型以生成優(yōu)化的超分辨率圖像。為求解該成本函數(shù)，提出一種高斯逼近方案，其應(yīng)用高 斯混合模型以生成不同尺度輸入圖像的關(guān)聯(lián)概率密度函數(shù)。
[0006] 為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種單圖像超分辨率重建的方法，該方法包含兩 個(gè)部分：一是利用高斯混合模型計(jì)算高分辨率圖像中每個(gè)最佳相似片；二是根據(jù)最佳相似 片建立自相似性最大化優(yōu)化模型實(shí)現(xiàn)超分辨率圖像重建；具體為，對(duì)低分辨率原圖像分別 做上采樣和高斯濾波以獲取兩個(gè)不同的版本，并將上采樣版本作為初始的高分辨率版本； 對(duì)高斯濾波版本和低分辨率圖像抽取圖像片建立片對(duì)以構(gòu)建高斯混合模式，將初始的高分 辨率版本中的每個(gè)圖像片看作濾波版本輸入高斯混合模型以獲取細(xì)節(jié)更豐富的高分辨率 圖像片輸出；然后將這些細(xì)節(jié)豐富的圖像片輸入所建立的自相似先驗(yàn)最大化模型以輸出細(xì) 節(jié)豐富的高分辨率圖像。
[0007] 優(yōu)選地，在尋求相似圖像片時(shí)，基于低分辨率模糊版本和清晰版本抽取的圖像片 對(duì)建立高斯混合模型，并將高分辨率圖像的模糊圖像片作為輸入，采用期望最大化算法計(jì) 算最佳圖像片。在尋求最佳相似片時(shí)，從低分辨率圖像及高斯濾波模糊版本中抽取圖像片， 以這些圖像片作為訓(xùn)練數(shù)據(jù)集，建立基于高斯混合模型的關(guān)聯(lián)概率密度函數(shù)。
[0008] 優(yōu)選地，在建立自相似先驗(yàn)最大化模型及求解時(shí)：利用自然圖像自身的自相似性， 將高分辨率圖像與低分辨率圖像之間一對(duì)多的映射附加自相似最大化約束轉(zhuǎn)化為最優(yōu)的 一對(duì)一映射替代。在對(duì)模型求解時(shí)，引入對(duì)數(shù)運(yùn)算將乘法關(guān)系轉(zhuǎn)化為加法運(yùn)算，并引入輔助 變量為一個(gè)難以求解的問題尋求最優(yōu)解。
[0009] 本發(fā)明的有益效果：
[0010] (1)基于自相似性最大化提出了一種優(yōu)化的超分辨率模型，其挖掘自相似的圖像 內(nèi)容以獲取高質(zhì)量的超分辨率輸出，提高圖像的識(shí)別能力和識(shí)別精度。
[0011] (2)提供了一種高斯逼近求解方法，其采用高斯混合模型求解每個(gè)低分辨率圖像 片對(duì)應(yīng)的最大相似度的高分辨率圖像片?；谶@些高分辨率圖像片，利用全局優(yōu)化加局部 優(yōu)化的方法直接求解高分辨率圖像，使得圖像在保真度、細(xì)節(jié)恢復(fù)等方面有著更優(yōu)越性能。
【附圖說明】
[0012] 為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn) 有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本 發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以 根據(jù)這些附圖獲得其它的附圖。
[0013] 圖1是本發(fā)明的基于自相似性最大化的單圖像超分辨率重建方法的流程圖。
【具體實(shí)施方式】
[0014] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0015] 本發(fā)明提供了一種單圖像超分辨率重建的方法，本方法主要包括兩個(gè)部分，一是 利用高斯混合模型計(jì)算高分辨率圖像中每個(gè)最佳相似片；二是根據(jù)最佳相似片建立模型求 解超分辨率圖像。具體為，對(duì)低分辨率原圖像分別做上采樣和高斯濾波以獲取兩個(gè)不同的 版本，并將上采樣版本作為初始的高分辨率版本。對(duì)高斯濾波版本和低分辨率圖像抽取圖 像片建立片對(duì)以構(gòu)建高斯混合模式，將高分辨率版本中的每個(gè)圖像片看作濾波版本輸入代 入高斯混合模型以獲取細(xì)節(jié)更豐富的高分辨率圖像片輸出；然后將這些細(xì)節(jié)較為豐富的圖 像片代入所建立的自相似先驗(yàn)最大化模型以求解細(xì)節(jié)豐富的高分辨率圖像。
[0016] 其中，在尋求最佳相似片時(shí)：高分辨率圖像的模糊版本比較容易獲取，而無論高分 辨率圖像還是低分辨率圖像，其模糊版本和清晰版本之間的對(duì)應(yīng)關(guān)系都是一致的。對(duì)高分 辨率清晰版本中的每個(gè)圖像片，根據(jù)自相似性，其對(duì)應(yīng)于低分辨率清晰版本中的一個(gè)或多 個(gè)圖像片。為尋求這樣的相似圖像片，基于低分辨率模糊版本和清晰版本抽取的圖像片對(duì) 建立高斯混合模型，并將高分辨率圖像的模糊圖像片作為輸入，采用期望最大化算法計(jì)算 最佳圖像片。
[0017] 在建立自相似先驗(yàn)最大化模型及求解時(shí)：利用自然圖像自身的自相似性，將高分 辨率圖像與低分辨率圖像之間一對(duì)多的映射附加自相似最大化約束轉(zhuǎn)化為最優(yōu)的一對(duì)一 映射替代。在對(duì)模型求解時(shí)，引入對(duì)數(shù)運(yùn)算將乘法關(guān)系轉(zhuǎn)化為加法運(yùn)算，并引入輔助變量為 一個(gè)難以求解的問題尋求最優(yōu)解。
[0018] 具體實(shí)施如下：
[0019] 1、模型建立
[0020] -般來說，對(duì)于一個(gè)單圖像超分辨率問題，高分辨率圖像X和對(duì)應(yīng)的低分辨率圖 像Y之間滿足
[0021] Y=DHX+ω, (1)
[0022] 其中觀察的低分辨率圖像Y e Rn，對(duì)應(yīng)的待求高分辨率圖像X e Rn及附加的高斯 噪聲ωeRn均被轉(zhuǎn)換成矢量形式。D是一個(gè)RnXN的下采樣操作矩陣，Η是一個(gè)RNXN用于模 糊操作的卷積矩陣。
[0023] 圖像Y的超分辨率重建是方程（1)的逆問題。根據(jù)片重現(xiàn)觀點(diǎn)，重建轉(zhuǎn)化為尋找 最相似片的過程。對(duì)于高分辨率圖像X中任意圖像片X1，假定在輸入的低分辨率圖像Y中 存在一個(gè)最相似的圖像片/。該假設(shè)成立用Y的上采樣圖像\對(duì)應(yīng)的圖像片：<和Y的高 斯濾波圖像Yc對(duì)應(yīng)的圖像片乂間的相似度來度量X1和yp間的相似度。然而，該逼近很難 獲得一個(gè)理想的精度因?yàn)榈头直媛蕡D像片和高分辨率圖像片之間存在一對(duì)多的映射。最直 接的影