一種圖像的超分辨率重構(gòu)方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理領(lǐng)域，尤其涉及一種圖像的超分辨率重構(gòu)方法和裝置。
【背景技術(shù)】
[0002] 圖像的分辨率是指對不同大小對象的表現(xiàn)能力，特別是對較小對象的表現(xiàn)能力， 其直觀的反映了圖像的清晰度，質(zhì)量等重要特征。高分辨率圖像意味著可以獲取更多的細(xì) 節(jié)信息，從而可以更好的處理問題，但是在數(shù)字圖像的采集與處理過程中，很多因素都影響 了圖像分辨率的提高。
[0003] 圖像超分辨率重構(gòu)是以一幅或者多幅低分辨率圖像為研究對象，通過對已知的低 分辨率圖像所包含的信息進(jìn)行綜合研究，以得到一幅更加清晰的描述實(shí)際場景的高分辨率 圖像。超分辨率圖像重構(gòu)是目前提高圖像分辨率的有效方法，它只需要通過計(jì)算機(jī)處理，不 需要通過硬件設(shè)備質(zhì)量的提高就可以獲取高分辨率的圖像，所以成本很低。圖像超分辨率 重構(gòu)綜合了圖像處理、信號處理、傳感器和人工智能等各方面技術(shù)，應(yīng)用的范圍十分廣泛。
[0004] 目前圖像的超分辨率重構(gòu)方法中，包括基于多尺度變換域的重構(gòu)方法，其基本思 想是首先將圖像通過多尺度變換，對變換后的相應(yīng)系數(shù)進(jìn)行處理，得到用于重構(gòu)的系數(shù)，然 后通過逆變換過程得到高分辨率圖像。
[0005] 目前的方法主要通過在小波變換域和Contourlet變換域以及對其發(fā)展的NSCT變 換域中通過相應(yīng)的重構(gòu)算法來實(shí)現(xiàn)。小波變換是近幾年迅速發(fā)展的一種信號分析方法，其 在時(shí)域和頻域都具有良好的局部變化性質(zhì)。目前提出了 一種基于小波插值方法進(jìn)行超分辨 率重構(gòu)，其算法的基本思想是將多幀低分辨率圖像進(jìn)行小波變換到不同的尺度空間中，然 后在這些尺度空間中對分解得到的小波系數(shù)進(jìn)行插值處理，最后進(jìn)行小波逆變換得到最終 的高分辨率圖像，但是因?yàn)樾〔ㄆ浞较虻木窒扌?，并且由于在圖分解時(shí)采用下采樣，因此不 具有平移不變性，會產(chǎn)生偽吉布斯現(xiàn)象，所以重構(gòu)的圖像效果不理想。
[0006] Contourlet變換是一種全新的圖像多尺度幾何分析方法。Contourlet變換是對 小波變換的一種拓展，通過不可分散的方向?yàn)V波器組，在多尺度，多方向上利用稀疏的系數(shù) 表示圖像中的輪廓，具有很好的特性。Contourlet雖然比小波分解方向多，但是由于其采用 了下采樣處理，也不具有平移不變性。
[0007] NSCT在繼承Contourlet變換的多方向性，各向異性及方向分解與多尺度分解分 離特性同時(shí)，重構(gòu)過程中舍棄了采樣操作，所以NSCT能在很大程度上消減由插補(bǔ)操作而引 起的振鈴現(xiàn)象。廖宇提出了一種基于NSCT的插值方法，將圖像進(jìn)行NSCT變換，然后對分解 得到的系數(shù)進(jìn)行雙線性插值，最后進(jìn)行NSCT逆變換得到最終的高分辨率圖像，取得了不錯(cuò) 的效果。NSCT雖然可以克服小波以及Contourlet變換的缺點(diǎn)，但是其算法的復(fù)雜度很大， 導(dǎo)致其算法運(yùn)算時(shí)間很長，難以在實(shí)際中得到應(yīng)用。

【發(fā)明內(nèi)容】

[0008] 本發(fā)明的目的在于提供一種圖像的超分辨率重構(gòu)方法，以解決現(xiàn)有技術(shù)進(jìn)行圖像 重構(gòu)時(shí)，算法的復(fù)雜度較大，算法運(yùn)算時(shí)間長的問題。
[0009] 第一方面，本發(fā)明實(shí)施例提供了一種圖像的超分辨率重構(gòu)方法，所述方法包括：
[0010] 獲取多幅低分辨圖像，對所述多幅低分辨率圖像進(jìn)行圖像配準(zhǔn)，得到配準(zhǔn)后的圖 像序列；
[0011] 將配準(zhǔn)后的圖像序列中的每幅圖進(jìn)行非抽樣形態(tài)小波分解，得到對應(yīng)的低頻系數(shù) 序列和尚頻系數(shù)序列；
[0012] 對所述低頻系數(shù)序列和高頻系數(shù)序列分別進(jìn)行插值，得到放大后的低頻系數(shù)序列 和放大后的尚頻系數(shù)序列；
[0013] 將所述放大后的低頻系數(shù)序列和放大后的高頻系數(shù)序列融合，得到融合后的系 數(shù)；
[0014] 根據(jù)融合后的系數(shù)進(jìn)行非抽樣形態(tài)小波逆變換，得到重構(gòu)后的圖像。
[0015] 結(jié)合第一方面，在第一方面的第一種可能實(shí)現(xiàn)方式中，所述對所述多幅低分辨率 圖像進(jìn)行圖像配準(zhǔn)，得到配準(zhǔn)后的圖像序列步驟包括：
[0016] 基于圖像的灰度信息對圖像進(jìn)行配準(zhǔn)；
[0017] 或者基于變換域的配準(zhǔn)方法在變換域中對圖像進(jìn)行配準(zhǔn)；
[0018] 或者基于特征的配準(zhǔn)方法，通過提取特征、特征匹配和圖像轉(zhuǎn)換對圖像進(jìn)行配準(zhǔn)。
[0019] 結(jié)合第一方面的第一種可能實(shí)現(xiàn)方式，在第一方面的第二種可能實(shí)現(xiàn)方式中，所 述基于圖像的灰度信息對圖像進(jìn)行配準(zhǔn)步驟包括：
[0020] S0,對一幅高分辨率圖像先進(jìn)行平滑濾波處理，然后隔行隔列進(jìn)行下采樣，獲取四 幅低分辨率圖像，選取其中第一幅低分辨率圖像為參考圖像，然后對其它三幅圖像按照隨 機(jī)的一個(gè)角度進(jìn)行旋轉(zhuǎn)用于模擬實(shí)際場景中從不同角度的傳感器獲得的圖像，作為浮動圖 像；
[0021] S1，對待配準(zhǔn)的參考圖像和浮動圖像進(jìn)行低通濾波處理；
[0022] S2,根據(jù)預(yù)先設(shè)置的初始點(diǎn)和初始搜索方向，對低通濾波處理后的浮動圖像進(jìn)行 PV插值法統(tǒng)計(jì)聯(lián)合直方圖，并計(jì)算互信息值；
[0023] S3,根據(jù)鮑威爾POWELL算法，根據(jù)最大互信息理論，判斷得到的參數(shù)是否最優(yōu)，
[0024] S4,如果參數(shù)不是最優(yōu)，則重新對低通濾波處理后的浮動圖像進(jìn)行PV插值法統(tǒng)計(jì) 聯(lián)合直方圖，并計(jì)算互信息值，并返回步驟S3 ;
[0025] S5，根據(jù)得到的最優(yōu)參數(shù)輸出配準(zhǔn)圖像。
[0026] 結(jié)合第一方面的第一種可能實(shí)現(xiàn)方式，在第一方面的第三種可能實(shí)現(xiàn)方式中，所 述將配準(zhǔn)后的圖像序列中的每幅圖進(jìn)行非抽樣形態(tài)小波分解，得到對應(yīng)的低頻系數(shù)序列和 高頻系數(shù)序列步驟具體為：
[0027] 根據(jù)公式：
對配準(zhǔn)后的圖像序列中的每幅圖進(jìn)行 非抽樣形態(tài)小波分解，對分解后的值取平均得到非抽樣形態(tài)小波的低頻分量，對分解后的 值在各個(gè)方向的梯度值為非抽樣形態(tài)小波的高頻分量，其中：x代表輸入圖像，Φ f、ω/、 ω，和ω/分別是低通和三個(gè)高通方向的分析濾波器，INTO是向下取整的運(yùn)算，逸為卷積 運(yùn)算。
[0028] 結(jié)合第一方面的第三種可能實(shí)現(xiàn)方式，在第一方面的第四種可能實(shí)現(xiàn)方式中，所 述根據(jù)融合后的系數(shù)進(jìn)行非抽樣形態(tài)小波逆變換，得到重構(gòu)后的圖像步驟具體為：
[0029] 根據(jù)公式：
進(jìn)行非抽樣形態(tài)小波 逆變換，得到重構(gòu)后的圖像，其中，Φ、ω。4、ων?、和ω/是綜合濾波器。
[0030] 第二方面，本發(fā)明實(shí)施例提供了一種圖像的超分辨率重構(gòu)裝置，其特征在于，所述 裝置包括：
[0031] 配準(zhǔn)單元，用于獲取多幅低分辨圖像，對所述多幅低分辨率圖像進(jìn)行圖像配準(zhǔn)，得 到配準(zhǔn)后的圖像序列；
[0032] 分解單元，用于將配準(zhǔn)后的圖像序列中的每幅圖進(jìn)行非抽樣形態(tài)小波分解，得到 對應(yīng)的低頻系數(shù)序列和高頻系數(shù)序列；
[0033] 插值單元，用于對所述低頻系數(shù)序列和高頻系數(shù)序列分別進(jìn)行插值，得到放大后 的低頻系數(shù)序列和放大后的高頻系數(shù)序列；
[0034] 融合單元，用于將所述放大后的低頻系數(shù)序列和放大后的高頻系數(shù)序列融合，得 到融合后的系數(shù)；
[0035] 重構(gòu)單元，用于根據(jù)融合后的系數(shù)進(jìn)行非抽樣形態(tài)小波逆變換，得到重構(gòu)后的圖 像。
[0036] 結(jié)合第二方面，在第二方面的第一種可能實(shí)現(xiàn)方式中，所述配準(zhǔn)單元包括：
[0037] 第一配準(zhǔn)子單元，用于基于圖像的灰度信息對圖像進(jìn)行配準(zhǔn)；
[0038] 或者，第二配準(zhǔn)子單元，用于基于