一種多幀圖像超分辨率重建方法及其重建系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種多幀圖像超分辨率重建方法及其重 建系統(tǒng)。
【背景技術(shù)】
[0002] 圖像的分辨率是指成像系統(tǒng)對(duì)圖像細(xì)節(jié)的分辨能力，它是衡量圖像質(zhì)量的重要指 標(biāo)之一。高分辨率圖像能夠提供豐富的細(xì)節(jié)信息，隨著經(jīng)濟(jì)、科技、文明的不斷進(jìn)步，高分辨 率圖像的需求在醫(yī)學(xué)、安全、娛樂(lè)等各個(gè)領(lǐng)域越來(lái)越大。如，醫(yī)生希望通過(guò)高分辨率CT或B超 圖像辨識(shí)病灶;公安部門(mén)希望通過(guò)高分辨率監(jiān)控圖像辨識(shí)嫌疑人身份或車(chē)輛信息;娛樂(lè)商 家希望通過(guò)高分辨率視頻，讓觀眾獲得更加逼真、細(xì)膩的視覺(jué)效果。
[0003] 提高分辨率最直接的方法是增加數(shù)字圖像采集系統(tǒng)的硬件分辨率，主要從提升圖 像傳感器分辨率和鏡頭分辨率兩個(gè)方面著手考慮。但是，硬件方法存在技術(shù)上的瓶頸，而且 成本昂貴，難以普及應(yīng)用。用軟件方法提升圖像分辨率的方法稱(chēng)為超分辨率重建技術(shù)，其利 用低分辨圖像之間可能存在的互補(bǔ)信息，重建一副或多幅高分辨率圖像。超分辨率重建技 術(shù)初期發(fā)展較為緩慢，研究方向主要集中在將一些經(jīng)典方法(如插值、正則化、最小二乘法 等）用于該技術(shù)的嘗試和探索，這些重建效果往往不是很理想。近期隨著圖割算法、稀疏表 示、深度學(xué)習(xí)等理論、方法的提出和發(fā)展，超分辨率重建技術(shù)在這些新理論和新方法的影響 下，取得了極大的進(jìn)步，這些新方法和新理論與超分辨率重建技術(shù)的結(jié)合顯著地提升了重 建效果和重建速度。
[0004] 分析現(xiàn)有重建方法，大多數(shù)方法只在重建倍數(shù)較小時(shí)才能取得良好的效果，當(dāng)重 建倍數(shù)提升到4X4(所重建的高分辨率圖像的高度和寬度均是低分辨率圖像的4倍)或更高 的時(shí)候，重建效果和重建速度明顯降低。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例提供了一種多幀圖像超分辨率重建方法及其重建系統(tǒng)，用以解決現(xiàn) 有技術(shù)中重建倍數(shù)提高到4X4或更高時(shí)重建效果和重建速度明顯降低的問(wèn)題。
[0006] -種多幀圖像超分辨率重建方法，該方法包括：
[0007] 根據(jù)幾何變換計(jì)算臨時(shí)結(jié)果；
[0008] 根據(jù)模糊核計(jì)算用于構(gòu)建能量函數(shù)的濾波器的傳遞函數(shù)；
[0009] 使用所述濾波器的傳遞函數(shù)和臨時(shí)結(jié)果構(gòu)建用于超分辨率重建的能量函數(shù)，并采 用圖割算法進(jìn)行極小化求解，即可得到最終的高分辨率圖像。
[0010] 本發(fā)明實(shí)施例還提供了一種多幀圖像超分辨率重建系統(tǒng)，包括：
[0011]臨時(shí)結(jié)果計(jì)算模塊，用于根據(jù)幾何變換計(jì)算臨時(shí)結(jié)果；
[0012] 傳遞函數(shù)計(jì)算模塊，用于根據(jù)模糊核計(jì)算用于構(gòu)建能量函數(shù)的濾波器的傳遞函 數(shù)；
[0013] 高分辨率圖像獲取模塊，用于使用所述濾波器的傳遞函數(shù)和臨時(shí)結(jié)果構(gòu)建用于超 分辨率重建的能量函數(shù)，并采用圖割算法進(jìn)行極小化求解，即可得到最終的高分辨率圖像。
[0014] 本發(fā)明實(shí)施例中，使用根據(jù)幾何變換獲得的臨時(shí)結(jié)果和根據(jù)模糊核獲得的濾波器 傳遞函數(shù)構(gòu)造用于超分辨率重建的傳遞函數(shù)，采用圖割算法進(jìn)行極小化求解，即可得到最 終的高分辨率圖像，使重建效果和重建速度均得到改善。
【附圖說(shuō)明】
[0015] 為了更清楚地說(shuō)明本發(fā)明發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例 或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅 是本發(fā)明發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提 下，還可以根據(jù)這些附圖獲得其他的附圖。
[0016] 圖1為本發(fā)明實(shí)施例提供的一種多幀圖像超分辨率重建方法的步驟流程圖；
[0017] 圖2為圖1中步驟100的子步驟流程圖；
[0018]圖3為圖1中步驟200的子步驟流程圖；
[0019] 圖4-5為圖3中子步驟使用的鄰域關(guān)系和模糊核示意圖；
[0020] 圖6為圖1中步驟300的子步驟流程圖；
[0021 ]圖7為實(shí)施例一使用的高分辨率源圖的示意圖；
[0022] 圖8為冪指數(shù)對(duì)重建結(jié)果的影響圖；
[0023] 圖9為高斯模糊核的錯(cuò)誤估計(jì)對(duì)重建結(jié)果的影響圖；
[0024] 圖10為實(shí)施例三使用的高分辨率源圖、多幀低分辨率圖像、參考幀插值圖以及重 建后的高分辨率圖像；
[0025] 圖11為實(shí)施例四使用的高分辨率源圖、參考幀插值圖以及重建后的高分辨率圖 像；
[0026] 圖12為本發(fā)明實(shí)施例提供的一種多幀圖像超分辨率重建系統(tǒng)的組成示意圖。
【具體實(shí)施方式】
[0027] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；?本發(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他 實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0028] 參照?qǐng)D1，示例性的給出了本發(fā)明實(shí)施例提供的一種多幀圖像超分辨率重建方法 流程示意圖，該方法包括以下步驟：
[0029] 步驟100,根據(jù)幾何變換計(jì)算臨時(shí)結(jié)果;
[0030] 步驟200,根據(jù)模糊核h計(jì)算用于構(gòu)建能量函數(shù)的濾波器的傳遞函數(shù)石；
[0031] 步驟300,使用所得濾波器的傳遞函數(shù)石和臨時(shí)結(jié)果構(gòu)建用于超分辨率重建 的能量函數(shù)，并采用圖割算法進(jìn)行極小化求解，即可得到最終的高分辨率圖像。
[0032] 在步驟100之前，將某幀低分辨率圖像設(shè)定為參考幀，通常將第一幀設(shè)為參考幀。 如果幾何變換Tk未知，利用配準(zhǔn)算法確定T k。配準(zhǔn)算法為本領(lǐng)域技術(shù)人員的常用技術(shù)，故在 此不做介紹。
[0033] 如圖2所示，步驟100具體包括：
[0034]子步驟101，根據(jù)以下公式（1)計(jì)算每個(gè)高分辨率像素 p在每幀低分辨率圖像(例如 第k幀低分辨率圖像gk)中的投影：
[0035] p〃k = DTkp (1)，
[0036] 式(1)中，D為降采樣算子，由重建倍數(shù)決定。
[0037]子步驟102,選擇距離p〃k最近的低分辨率像素 p'k，并按照如下公式(2)計(jì)算低分辨 率像素在重建中的權(quán)重：
[0038]
(2),
[0039]式(2)中，m為冪指數(shù)，d為低分辨率像素 p〃k與低分辨率像素 P' k之間的距離。
[0040]子步驟103，按照公式(3)確定的權(quán)重，將挑選出來(lái)的低分辨率像素的灰度值加權(quán) 求和，獲得如下臨時(shí)結(jié)果：
[0041 ]
(3),
[0042]式(3)中，gkYk)為低分辨率像素的灰度值。
[0043] 如圖3、圖4和圖5所示，步驟200具體包括：
[0044]子步驟201，如圖4a所示的3 X 3鄰域系統(tǒng)，獲取成像系統(tǒng)的模糊核h，如圖4b所示。 獲取模糊核h的方法為本領(lǐng)域技術(shù)人員的常用技術(shù)，在此不做贅述。
[0045]子步驟202,根據(jù)模糊核h計(jì)算hMt、hexp和hzp，其中，為將模糊核h旋轉(zhuǎn)180°得到 的結(jié)果，如圖4c所示;hexp為將模糊核h進(jìn)行擴(kuò)展后得到的擴(kuò)展模糊核，如圖5a所示;hzp為將 模糊核h進(jìn)行零填充得到的結(jié)果，如圖4d所示。
[0046] 子步驟203,利用hexp和hzp，按照公式(4)計(jì)算石，石如圖5b所示：
[0047] ..
.，. （4)，
[0048]式⑷中，為模糊核h的中心權(quán)重；
[0049] 子步驟204,利用,按照公式(5)計(jì)算濾波器的傳遞函數(shù)石，石如圖5c所示：
[0050]
(5)〇
[0051 ] 如圖6所示，步驟300具體包括：
[0052]子步驟301，根據(jù)公式(6)構(gòu)造用于超分辨率重建的能量函數(shù)：
[0053]
[0054] 式(6)中，S為空域系統(tǒng)，是高分辨率像素的集合，N為鄰域系統(tǒng)，p和q均為鄰域系統(tǒng) 中的高分辨率像素，和分別為高分辨率像素 P和q的灰度值，A為二次項(xiàng)系數(shù)，計(jì)算公式為
其中，模糊核h的邊緣權(quán)重，/;為濾波器的傳遞函數(shù)石和臨時(shí)結(jié)果卷積得 到的結(jié)果，即