專利名稱：基于頻域配準(zhǔn)和凸集投影的多幀圖像超分辨率重建方法
技術(shù)領(lǐng)域：
本發(fā)明涉及到一種基于頻域配準(zhǔn)和凸集投影的多幀圖像超分辨率重建方法，此方 法主要是利用多幀低分辨率圖像來重建高分辨率圖像，旨在提高圖像的分辨率，增強(qiáng)圖像 的視覺效果，并且要求運(yùn)算量較低，能夠應(yīng)用于快速的圖像處理設(shè)備。本方法能夠應(yīng)用于醫(yī) 學(xué)圖像處理，遙感圖像重建，SDTV轉(zhuǎn)換為HDTV等領(lǐng)域。
背景技術(shù)：
超分辨率，簡(jiǎn)而言之就是提高圖像或者視頻的分辨率，給觀看者提供更好的視覺 效果。超分辨率復(fù)原技術(shù)就是由一系列低分辨率圖像來估計(jì)一幅(或一系列)較高分辨率 的圖像，同時(shí)能夠消除加性噪聲以及由有限檢測(cè)器尺寸和光學(xué)元件產(chǎn)生的模糊，它是圖像 融合研究領(lǐng)域中的一個(gè)重要分支。隨著科技的發(fā)展，攝像頭等監(jiān)控設(shè)施被廣泛應(yīng)用于各個(gè)領(lǐng)域。但是，由于受限于設(shè) 備成本(諸如鏡頭質(zhì)量、使用年限較長(zhǎng)引起的設(shè)備老化、為節(jié)省資料存儲(chǔ)空間而進(jìn)行的高 強(qiáng)度圖像降質(zhì)壓縮)、天氣條件、與事件目標(biāo)間的拍攝距離，在所存儲(chǔ)的視頻資料中，人們感 興趣的對(duì)于分析事件有重要意義的細(xì)節(jié)部分(我們稱之為“目標(biāo)”，例如交通事故中肇事車 的車牌，刑事案件中疑犯的人臉)往往由于分辨率過低而難以辨認(rèn)。在不改變硬件增加成 本的情況下，采用超分辨率的方法改善圖像或者視頻質(zhì)量，基于已得到的多幅或者單幅圖 像中，利用各種方法提取更多的信息。如

圖1所示，為一視頻序列中的一幀，該圖像由于噪 聲，模糊，分辨率低等因素影響，所獲取的圖像模糊不清。圖2為用超分辨率技術(shù)將寬度和 高度各放大兩倍后的圖像。從圖中可以看出放大后的圖像比原來圖像的細(xì)節(jié)更加清晰。由于上述諸多條件的限制，在監(jiān)控視頻資料的每一幀圖像中，人們關(guān)注的目標(biāo)區(qū) 域已丟失了大部分的細(xì)節(jié)信息而成為低分辨率圖像，因此從視頻資料中提取并分析單幀圖 像往往難以在事件分析中發(fā)揮作用。但是，計(jì)算機(jī)視覺領(lǐng)域的研究發(fā)現(xiàn)，在同一段視頻資料 中，各幅低分辨率圖像所丟失的細(xì)節(jié)信息是不盡相同的。而超分辨率技術(shù)正是通過提取在 這些低分辨率圖像中所殘留的細(xì)節(jié)信息，并將這些信息融合之后重新注入用戶所指定的某 一幅高分辨率圖像，從而在放大圖像的同時(shí)，恢復(fù)目標(biāo)區(qū)域的重要細(xì)節(jié)。其效果相當(dāng)于在事 件發(fā)生時(shí)，現(xiàn)場(chǎng)有一架高質(zhì)量的照相機(jī)拍攝下了一幅高分辨率圖像。除了從低分辨率視頻資料中恢復(fù)高分辨率圖像之外，對(duì)于普通質(zhì)量的視頻，超分 辨率技術(shù)能有效抑制影像中的噪聲以及視頻壓縮引起的偽彩、色塊效應(yīng)等，以達(dá)到提高視 頻質(zhì)量的效果，在網(wǎng)絡(luò)視頻點(diǎn)播、遙感、醫(yī)學(xué)成像和高清晰度電視等多個(gè)領(lǐng)域也有重要應(yīng) 用。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)已有技術(shù)催在的缺陷，提供一種基于頻域配準(zhǔn)和凸集投影 的多幀圖像超分辨率重建方法實(shí)現(xiàn)圖像放大，提高圖像的分辨率，改善圖像的質(zhì)量，實(shí)現(xiàn)多 幀圖像的超分辨率重建。針對(duì)視頻序列各幀的相對(duì)位移較小的情況，提出一種快速的超分辨算法，并且圖像重建質(zhì)量良好。為了達(dá)到上述目的，本發(fā)明的構(gòu)思是1.圖像配準(zhǔn)首先選取多幀低分辨率圖像中的一幀作為參考圖像，假設(shè)參考圖像為AO^f2(X) 為需要估計(jì)位移的圖像，f2(x) ^f1(X)旋轉(zhuǎn)和偏移的結(jié)果。假設(shè)f2(x)相對(duì)f“x)的旋轉(zhuǎn) 角為Φ，水平和垂直偏移量為分別為Δ X2，貝IJf2(X)和100的關(guān)系可表示為
-sin 彡
〕。則400的傅里葉變換 COS盧
(2)
權(quán)利要求
一種基于頻域配準(zhǔn)和凸集投影的多幀圖像超分辨率重建方法，其特征在于其具體實(shí)現(xiàn)步驟是A、讀入多幀圖像，并選取一張作為配準(zhǔn)的參考幀B、圖像配準(zhǔn)將圖像轉(zhuǎn)換到頻域，對(duì)較小偏移量情況下，僅估計(jì)水平和垂直位移分量，忽略旋轉(zhuǎn)角；C、圖像重建根據(jù)所求的位移參數(shù)，將低分辨率圖像配準(zhǔn)到高分辨率的網(wǎng)格上，使用凸集投影算法進(jìn)行超分辨率重建；D.輸出圖像。
2.根據(jù)權(quán)利要求書1所述的基于頻域配準(zhǔn)和凸集投影的多幀超分辨率重建方法，其特 征在于所述方法的步驟B中得圖像進(jìn)行配準(zhǔn)是在頻域?qū)D像進(jìn)行配準(zhǔn)，其步驟為(1)對(duì)輸入圖像f\(X)，f2(x)...fn(x)進(jìn)行傅里葉變換，并選取f“x)作為參考圖像其 他為要估計(jì)相當(dāng)位移的圖像。傅里葉變換結(jié)果為F1(U)F2(U)... Fn(U)，以u(píng)為頻域坐標(biāo)。(2)根據(jù)εUmax < |r < Us-Umax選取圖像的頻譜范圍，這個(gè)范圍通常在圖像中心的三 分之一的位置，其中其中ε e W，0.5]，Umax為假設(shè)的沒有混疊效應(yīng)的足以告頻率，r為定 義頻域圖像中一點(diǎn)到圖像中心的距離，Us為采樣頻率；F2 (u) =(u)(3)根據(jù)公式‘.二,,、、 計(jì)算圖像之間的相對(duì)位移，采用最小 u Ax = angle( F2 [u) / Fx yujj/2π二乘法，其中，X= [X1 Χ2]Τ, Δχ = [Δ X1 Δχ2]τ，八\和Δ X2分別為水平和垂直的偏移量。
3.根據(jù)權(quán)利要求書1所述的基于頻域配準(zhǔn)和凸集投影的多幀圖像的超分辨率重建方 法，其特征在于所述圖像重建采用凸集投影算法進(jìn)行圖像超分辨率重建的步驟是a.對(duì)參考幀放大到目標(biāo)尺寸，得到目標(biāo)圖像的初始估計(jì)y(°)這一過程采樣雙線性差值法；b.用高斯核對(duì)η次循環(huán)放大的結(jié)果圖像7(11)進(jìn)行模糊，來近似低通過程，將卷積核歸一 化，保證能量在輸入圖像的幅值范圍內(nèi)，選取的高斯點(diǎn)擴(kuò)散函數(shù)為矩陣W. 25 0 1 00. 25 ； 0 1 2 1 0 ；1 2 4 2 1 ；0 1 2 1 0 ；0. 25 0 1 0 0. 25]；c.將其他圖像同樣雙線性差值放大，根據(jù)已經(jīng)求得的配準(zhǔn)信息，將這些圖像依次投影 到模糊后圖像的相應(yīng)位置，得到η+1次循環(huán)的結(jié)果圖像y(n+1)；d.重復(fù)步驟2和步驟3，直到滿足循環(huán)結(jié)束條件。delta= norm(yn-yn_2)/norm(y11)小于預(yù)定值，其中膨一ηΣΣΙλΤ^。
全文摘要
本發(fā)明公開了一種基于頻域配準(zhǔn)和凸集投影的超分辨率重建，該方法首先讀入多幀圖像，并選取一張作為配準(zhǔn)的參考幀，然后對(duì)圖像進(jìn)行配準(zhǔn)，得到各幀圖像的相對(duì)位移。配準(zhǔn)算法采用一種基于頻域的快速配準(zhǔn)算法。然后根據(jù)各幀的相對(duì)位移，采用凸集投影算法對(duì)多幀圖像進(jìn)行超分辨率重建。最后輸出圖像，由于視頻序列采樣速度快，相鄰幀的位移較小，因此本方法簡(jiǎn)化了配準(zhǔn)過程，只利用圖像的中頻域信息估計(jì)運(yùn)動(dòng)平移，而不用估計(jì)旋轉(zhuǎn)角，使得配準(zhǔn)算法運(yùn)算量大大減少。同時(shí)本方法簡(jiǎn)化了凸集投影重建過程，只使用圖像的亮度幅值約束和高斯點(diǎn)擴(kuò)散函數(shù)這一先驗(yàn)約束，使得超分辨率算法的整體運(yùn)算量大大減少，同時(shí)可保證重建質(zhì)量。
文檔編號(hào)G06T5/50GK101980289SQ20101051835
公開日2011年2月23日 申請(qǐng)日期2010年10月25日 優(yōu)先權(quán)日2010年10月25日
發(fā)明者丁保焱, 萬發(fā)平, 劉志, 張兆楊 申請(qǐng)人:上海大學(xué)