專利名稱：一種視頻序列盲重建方法
技術(shù)領(lǐng)域：
本發(fā)明屬于數(shù)字圖像增強(qiáng)技術(shù)領(lǐng)域，涉及到視頻序列圖像超分辨重建技術(shù)以及低分辨率圖像的超分辨率盲重建中模糊核函數(shù)的辨識(shí)技術(shù)。
背景技術(shù)：
近年來，超分辨率重建技術(shù)已成為圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)，廣泛應(yīng)用于遙感、醫(yī)學(xué)成像和軍事等多個(gè)領(lǐng)域。然而當(dāng)前的超分辨率重建方法，沒有考慮不同的低分辨率圖像序列各自的特點(diǎn)，缺乏自適應(yīng)性；而且對(duì)重建模型中的模糊步驟，并沒有進(jìn)行深入的研究，它們往往在重建過程中，事先設(shè)定好圖像退化過程中的模糊核函數(shù)，從而達(dá)不到完全的盲重建；同時(shí)，應(yīng)用對(duì)象大多局限于多幅普通的LR(低分辨率)圖像，對(duì)于應(yīng)用前景較廣的 LR視頻序列，超分辨率重建技術(shù)并沒有發(fā)揮其應(yīng)有的作用，達(dá)到視頻序列的超分辨率實(shí)時(shí)重建?？梢哉f，視頻序列的超分辨率重建和超分辨率盲重建技術(shù)，是當(dāng)今超分辨率技術(shù)研究的兩大熱點(diǎn)問題。視頻序列的超分辨率盲重建是超分辨率重建技術(shù)的延伸和發(fā)展，它的主要任務(wù)是對(duì)于給定的低分辨率視頻序列，在較短的時(shí)間內(nèi)自動(dòng)將其實(shí)時(shí)轉(zhuǎn)換為高分辨率的視頻，在這過程中不需要任何人為的干預(yù)和設(shè)置，可應(yīng)用于安全監(jiān)控、高清電視等諸多熱點(diǎn)應(yīng)用領(lǐng)域。視頻序列超分辨率盲重建技術(shù)雖然受到了一定的關(guān)注，但是有價(jià)值的成果并不多見，有待更多的深入研究。目前的圖像的超分辨率重建技術(shù)大多是基于圖像建模理論的正則超分辨率重建法以及基于學(xué)習(xí)的超分辨率重建法?；趫D像建模理論的正則超分辨率重建法 (Regularized SR Reconstruction, RSRR)主要分為基于最大后驗(yàn)概率(MAP)框架的超分辨率重建和基于正則化理論(正則空間幾何圖像模型)的超分辨率重建。在MAP框架下， 超分辨率重建是一個(gè)基于MRF(馬爾可夫隨機(jī)場(chǎng))統(tǒng)計(jì)先驗(yàn)?zāi)Ｐ偷慕y(tǒng)計(jì)推斷問題。文獻(xiàn) (IEEE Transactions on Image Processing, 1997,6(12) : 1646-1658)將 MAP 估計(jì)作為一個(gè)凸集約束加入約束集的交集中，為超分辨率重建構(gòu)造了一個(gè)新的凸集解空間。文獻(xiàn)(IEEE Transactions on Image Processing, 2007,16(2) :479_490)提出了一種基于最大后驗(yàn)才既率模型的圖像超分辨率重建方法，該方法在進(jìn)行超分辨率重建的同時(shí)，將圖像分割和圖像運(yùn)動(dòng)估計(jì)也融入其中。基于正則化理論的超分辨率重建基本框架是，根據(jù)低分辨率圖像序列的退化模型和圖像模型對(duì)應(yīng)的正則項(xiàng)構(gòu)造得到正則化能量泛函，通過最小化能量泛函得到高分辨率圖像。與MAP框架類似，正則空間幾何圖像模型的合理設(shè)計(jì)直接決定著超分辨率重建圖像的視覺效果。文獻(xiàn)(Proceedings of International Conference onPattern Recognition, 2000,1 600-605)提出基于連續(xù)全變差模型(Total Variation, TV)的文本圖像序列超分辨率重建算法。文獻(xiàn)(IEEE Transactions on Image Processing, 2004, 13(10) 1327-1344)提出一種雙邊濾波和I1范數(shù)耦合的雙邊全變差模型用于超分辨率圖像重建，并且采用塊估計(jì)的方法進(jìn)行運(yùn)動(dòng)估算。文獻(xiàn)(Journal of Electronic Imaging, 2003，12(2) 244-251)提出基于擴(kuò)散張量的邊緣增強(qiáng)和各向異性擴(kuò)散變分超分辨率重建算法。此外，基于正向和反向偏微分方程(Partial Differential Equation, PDE)的圖像去噪及超分辨率增強(qiáng)算法、基于自適應(yīng)維納濾波的快速超分辨率重建算法、基于最小均方的統(tǒng)計(jì)分析方法等都具有較好的重建效果?；趯W(xué)習(xí)的超分辨率(example-based)重建研究的主要思想是，通過學(xué)習(xí)已有的 HR(高分辨率)圖像序列獲取先驗(yàn)信息進(jìn)而提高分辨率。在LR圖像序列的幀數(shù)較少以及分辨率提高倍數(shù)較大的情形下，LR圖像序列所能提供的互補(bǔ)性樣本信息相對(duì)有限，不足以使超分辨率重建算法恢復(fù)更多的高頻信息。這種情況下關(guān)于圖像本身的先驗(yàn)知識(shí)就顯得非常重要。除了傳統(tǒng)MRF統(tǒng)計(jì)先驗(yàn)?zāi)Ｐ秃驼齽t空間幾何圖像模型能夠提供圖像的先驗(yàn)信息，另一種重要方法就是通過神經(jīng)網(wǎng)絡(luò)技術(shù)進(jìn)行學(xué)習(xí)訓(xùn)練得到。Baker等提出了一種稱為 Hallucination的人臉圖像超分辨率重建算法，通過引入LR圖像的特征識(shí)別，在大分辨率增強(qiáng)因子情形下獲得比超分辨率R等重建算法更好的效果。當(dāng)前絕大多數(shù)的超分辨率重建算法，往往重視重建圖像的效果，對(duì)運(yùn)算速度的要求不是很高。視頻超分辨率重建，例如高清晰度電視標(biāo)準(zhǔn)和合成視頻變焦，不僅要求能夠提高視頻各幀的空間分辨率，而且要求能夠快速重建相應(yīng)的高分辨率視頻序列。當(dāng)前的技術(shù)已經(jīng)注意解決這類問題，例如，可以根據(jù)前一幀HR圖像估計(jì)和LR視頻序列的當(dāng)前幀進(jìn)行快速估計(jì)當(dāng)前幀的HR圖像。另外壓縮視頻超分辨率重建與傳統(tǒng)超分辨率重建有所不同，壓縮視頻被表示為序列的運(yùn)動(dòng)矢量和變換系數(shù)。壓縮視頻超分辨率重建通常首先需要將視頻進(jìn)行解碼，復(fù)原成普通圖像序列后再進(jìn)行重建。因此，壓縮視頻超分辨率重建過程需要考慮壓縮過程中產(chǎn)生的量化噪聲、階梯效應(yīng)、以及振鈴效應(yīng)等。目前，大多數(shù)超分辨率重建算法都假定LR圖像序列的退化模型已知，尤其是假設(shè)已知模糊核函數(shù)。但是，很多實(shí)際情況下，圖像的退化過程是未知的或者僅僅知道模糊核函數(shù)的參數(shù)模型。因此，需要對(duì)模糊核函數(shù)進(jìn)行辨識(shí)，這種情況下的超分辨率重建算法稱為超分辨率盲重建。文獻(xiàn)(IEEE Transactions on Image Processing, 2001,10(9) 1299-1308) 根據(jù)廣義交叉驗(yàn)證(Generalized Cross Validation, GCV)和高斯積分理論進(jìn)行模糊參數(shù)的估計(jì)，通過求解多元變量的非線性最優(yōu)化問題得到未知參數(shù)，并且利用高斯積分理論準(zhǔn)確有效地估計(jì)GCV目標(biāo)函數(shù)。由于超分辨率盲重建問題的復(fù)雜性，目前超分辨率盲重建研究成果相對(duì)有限，因此超分辨率盲重建值得特別關(guān)注和深入研究。

發(fā)明內(nèi)容
本發(fā)明的目的，在于提供一種視頻序列盲重建方法，其可有效提高重建視頻的質(zhì)量，達(dá)到對(duì)于任意一組低分辨率視頻序列，都能根據(jù)其特點(diǎn)進(jìn)行盲重建，提高圖像的顯示效果，這對(duì)于隨機(jī)的遙感圖像處理、醫(yī)學(xué)視頻處理、軍事安全監(jiān)控系統(tǒng)開發(fā)等方面，都具有重要的理論和實(shí)際意義。為了達(dá)成上述目的，本發(fā)明所采用的技術(shù)方案是一種視頻序列盲重建方法，包括如下步驟(1)對(duì)算法進(jìn)行初始化，包括初始化仿射運(yùn)動(dòng)初始參數(shù)、初始化模糊核函數(shù)和初始化高分辨率視頻序列圖像；(2)建立圖像增強(qiáng)觀測(cè)模型；(3)進(jìn)行如下迭代算法①進(jìn)行模糊核函數(shù)辨識(shí)；
②視頻序列圖像的超分辨率重建，得出高分辨率圖像；③進(jìn)行仿射運(yùn)動(dòng)參數(shù)估計(jì)；④判斷第②、③步驟得出的結(jié)果是否滿足迭代終止條件，若不滿足，返回①，直到滿足條件；(4)得出最終的視頻序列重建圖像。上述步驟(1)中，選用高斯模糊、高焦模糊或線性模糊作為模糊核函數(shù)的初始值。上述步驟(1)中，仿射運(yùn)動(dòng)初始參數(shù)α (°)的選取方法是令o4°) =(C0S代,sin代，其中的θ、s、t分別代表旋轉(zhuǎn)、平移和縮放
的仿射參數(shù)，k表示第k幅mXn的LR觀測(cè)圖像，采用⑴式表示將HR圖像經(jīng)仿射變換后得到LR圖像的過程
權(quán)利要求
1.一種視頻序列盲重建方法，其特征在于包括如下步驟(1)對(duì)算法進(jìn)行初始化，包括初始化仿射運(yùn)動(dòng)初始參數(shù)、初始化模糊核函數(shù)和初始化高分辨率視頻序列圖像；(2)建立圖像增強(qiáng)觀測(cè)模型；(3)進(jìn)行如下迭代算法①進(jìn)行模糊核函數(shù)辨識(shí)；②視頻序列圖像的超分辨率重建，得出高分辨率圖像；③進(jìn)行仿射運(yùn)動(dòng)參數(shù)估計(jì)；④判斷第②、③步驟得出的結(jié)果是否滿足迭代終止條件，若不滿足，返回①，直到滿足條件；(4)得出最終的視頻序列重建圖像。
2.如權(quán)利要求1所述的一種視頻序列盲重建方法，其特征在于所述步驟⑴中，選用高斯模糊、高焦模糊或線性模糊作為模糊核函數(shù)的初始值。
3.如權(quán)利要求1或2所述的一種視頻序列盲重建方法，其特征在于所述步驟(1)中，仿射運(yùn)動(dòng)初始參數(shù)α (°)的選取方法是令
4.如權(quán)利要求1、2或3所述的一種視頻序列盲重建方法，其特征在于所述步驟(1)中， 高分辨率初始圖像z(°)通過a (0)求出，方法如下
5.如權(quán)利要求1所述的一種視頻序列盲重建方法，其特征在于所述步驟(2)的詳細(xì)過程為令
6.如權(quán)利要求5所述的一種視頻序列盲重建方法，其特征在于所述步驟(3)中，還對(duì)圖像重建模型進(jìn)行優(yōu)化，得到
7.如權(quán)利要求6所述的一種視頻序列盲重建方法，其特征在于所述步驟(3)后，還包括步驟A，所述步驟A的過程為
全文摘要
本發(fā)明公開一種視頻序列盲重建方法，步驟為(1)對(duì)算法進(jìn)行初始化，包括仿射運(yùn)動(dòng)初始參數(shù)、模糊核函數(shù)和高分辨率視頻序列圖像的初始化；(2)建立圖像增強(qiáng)觀測(cè)模型；(3)進(jìn)行如下迭代算法①進(jìn)行模糊核函數(shù)辨識(shí)；②視頻序列圖像的超分辨率重建，得出高分辨率圖像；③進(jìn)行仿射運(yùn)動(dòng)參數(shù)估計(jì)；④判斷步驟②、③得出的結(jié)果是否滿足迭代終止條件，不滿足則返回①，直到滿足條件；(4)得出最終的視頻序列重建圖像。此方法可有效提高重建視頻的質(zhì)量，達(dá)到對(duì)于任意一組低分辨率視頻序列，都能根據(jù)其特點(diǎn)進(jìn)行盲重建，提高圖像的顯示效果，這對(duì)于隨機(jī)的遙感圖像處理、醫(yī)學(xué)視頻處理、軍事安全監(jiān)控系統(tǒng)開發(fā)等方面，都具有重要的理論和實(shí)際意義。
文檔編號(hào)G06T5/00GK102222321SQ201110134728
公開日2011年10月19日 申請(qǐng)日期2011年5月24日 優(yōu)先權(quán)日2011年5月24日
發(fā)明者周大可, 楊欣, 費(fèi)樹岷, 陳謀 申請(qǐng)人:南京航空航天大學(xué)