一種基于稀疏表示的圖像超分辨率重建方法
【專利摘要】本發(fā)明涉及一種基于稀疏表示的圖像超分辨率重建方法，其步驟包括：1）從輸入圖像序列選出一部分為顯著區(qū)域，剩余部分為非顯著區(qū)域；2）根據(jù)顯著區(qū)域訓(xùn)練一對(duì)顯著字典D'l，D'h，并將該顯著區(qū)域通過(guò)上下文稀疏分解在低分辨率顯著字典D'l上得到顯著稀疏系數(shù)；3）根據(jù)非顯著區(qū)域訓(xùn)練一對(duì)通用字典Dl，Dh，并通過(guò)低分辨率通用字典Dl進(jìn)行稀疏分解得到非顯著稀疏系數(shù)；4）將稀疏系數(shù)與高分辨率顯著字典D'h或高分辨率通用字典Dh相乘進(jìn)行率重建，獲得高分辨率圖像序列。本發(fā)明在傳統(tǒng)稀疏表示超分辨率框架基礎(chǔ)上，重點(diǎn)關(guān)注圖像內(nèi)在結(jié)構(gòu)信息，并將此作為先驗(yàn)?zāi)Ｐ图s束L0-范數(shù)問(wèn)題求解，在保持與傳統(tǒng)稀疏表示方法復(fù)雜度相當(dāng)同時(shí)，在主觀和客觀效果上性能都優(yōu)于其他方法。
【專利說(shuō)明】一種基于稀疏表示的圖像超分辨率重建方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像超分辨率方法，具體涉及一種基于視覺(jué)顯著的上下文稀疏分 解圖像超分辨率方法。本發(fā)明可以靈活應(yīng)用于高端多媒體系統(tǒng)的視頻信號(hào)格式轉(zhuǎn)換、視頻 監(jiān)控感興趣區(qū)域放大以及衛(wèi)星、遙感等領(lǐng)域，屬于圖像超分辨率重建領(lǐng)域。

【背景技術(shù)】
[0002] 圖像的超分辨率重建就是克服成像設(shè)備或技術(shù)的限制，從單幀低分辨率圖像或低 分辨率圖像序列重建一個(gè)高分辨率圖像。其中最常見(jiàn)的方法就是插值。傳統(tǒng)的插值算法如 最近鄰插值、雙線性插值、雙三次插值、Lanczos插值都是假設(shè)圖像具有連續(xù)性，從而預(yù)測(cè)高 分辨率點(diǎn)的像素值，導(dǎo)致相鄰像素過(guò)于相似而產(chǎn)生鋸齒或者模糊，并不能解決超分辨率重 建中高頻細(xì)節(jié)的問(wèn)題。
[0003] 過(guò)完備字典上的信號(hào)的稀疏表示是近來(lái)比較熱門的領(lǐng)域，它的基本模型是認(rèn)為自 然信號(hào)（包括圖像）可以用一組事先定義的基信號(hào)（即字典）的線性組合緊致表達(dá)，其中 線性系數(shù)是稀疏的，即系數(shù)中大多數(shù)元素為0。稀疏系數(shù)在滿約束條件的同時(shí)還需要非零元 素的個(gè)數(shù)盡可能少，也就是需要盡可能稀疏，這是對(duì)圖像信號(hào)的先驗(yàn)約束。
[0004] 利用稀疏表示的理論來(lái)求解圖像超分辨率問(wèn)題，Yang等人提出可以事先分別訓(xùn)練 對(duì)應(yīng)的高低分辨率的字典，將輸入的低分辨率圖像用低分辨率字典稀疏表示，然后將該稀 疏系數(shù)與對(duì)應(yīng)的高分辨率字典相乘即可得到高分辨率的圖像。這樣通過(guò)外部的字典庫(kù)可以 彌補(bǔ)圖像超分辨率高頻細(xì)節(jié)不夠的缺陷，突破了傳統(tǒng)的基于插值或正則項(xiàng)約束類方法放大 倍數(shù)有限細(xì)節(jié)信息有限的限制。然而該方法利用通用訓(xùn)練集學(xué)習(xí)字典，無(wú)法對(duì)圖像局部特 征進(jìn)行自適應(yīng)重建。此外，這類方法的先驗(yàn)?zāi)Ｐ椭惺孪燃俣ㄏ噜張D像塊之間是獨(dú)立的，忽視 了圖像局部區(qū)域的相互依賴關(guān)系。


【發(fā)明內(nèi)容】

[0005] 通過(guò)分析基于稀疏表示的圖像超分辨率方法中存在的字典學(xué)習(xí)和先驗(yàn)?zāi)Ｐ偷膯?wèn) 題，本發(fā)明對(duì)于低分辨率的圖像，提出了一個(gè)全新的基于視覺(jué)顯著的上下文稀疏分解圖像 超分辨率方法。在字典學(xué)習(xí)部分，除了學(xué)習(xí)通用字典外，視覺(jué)顯著區(qū)域提取出的圖像樣本用 來(lái)訓(xùn)練顯著字典。在先驗(yàn)?zāi)Ｐ偷牟糠?，由于視覺(jué)顯著區(qū)域通常趨于高度結(jié)構(gòu)化，基于上下文 的稀疏分解被用來(lái)進(jìn)一步探索相鄰圖像塊之間的聯(lián)系。
[0006] 為了到達(dá)上述目的，本發(fā)明的技術(shù)方案如下：
[0007] 首先，對(duì)輸入低分辨率的圖像訓(xùn)練字典，分別訓(xùn)練顯著區(qū)域的字典和通用字典。訓(xùn) 練顯著區(qū)域的字典前先要檢測(cè)和劃分出圖像的顯著區(qū)域，人眼觀測(cè)時(shí)認(rèn)為圖像上較為顯著 的區(qū)域，因?yàn)閺纳韺W(xué)角度，人眼認(rèn)為顯著的地方一般是邊緣等結(jié)構(gòu)化的信息，所以考慮視 覺(jué)顯著區(qū)域的高度結(jié)構(gòu)化特性，認(rèn)為從顯著區(qū)域提取的圖像樣本應(yīng)該也是高度相關(guān)的。因 此學(xué)習(xí)出的字典應(yīng)該也是高度適應(yīng)與圖像的顯著區(qū)域的。對(duì)于其他的非顯著區(qū)域，通用字 典即可滿足需求。然后我們利用最大后驗(yàn)概率理論，通過(guò)考慮當(dāng)前局部圖像塊和當(dāng)前塊與 鄰域塊的聯(lián)系來(lái)約束公式求解最優(yōu)稀疏系數(shù)，同時(shí)，考慮上下文感知的在顯著區(qū)域的稀疏 分解，我們可以用總能量表示先驗(yàn)概率，而與傳統(tǒng)稀疏性約束相比，本發(fā)明提出的先驗(yàn)?zāi)Ｐ?對(duì)空域上下文之間的聯(lián)系給予了更多的權(quán)重。
[0008] 本發(fā)明具體技術(shù)方案如下，一種基于稀疏表示的圖像超分辨率重建方法，其步驟 包括：
[0009] 1)從輸入圖像序列選出一部分為顯著區(qū)域，剩余部分為非顯著區(qū)域；
[0010] 2)根據(jù)所述顯著區(qū)域訓(xùn)練一對(duì)顯著字典D'pD'h，并將該顯著區(qū)域通過(guò)上下文稀疏 分解在低分辨率顯著字典D' 1上得到顯著稀疏系數(shù)；
[0011] 3)根據(jù)所述非顯著區(qū)域訓(xùn)練一對(duì)通用字典Dp Dh，并通過(guò)低分辨率通用字典h進(jìn) 行稀疏分解得到非顯著稀疏系數(shù)；
[0012] 4)將所述非顯著稀疏系數(shù)與高分辨率通用字典Dh相乘進(jìn)行重建，將所述顯著稀疏 系數(shù)與高分辨率顯著字典D' h相乘進(jìn)行重建，重建后獲得高分辨率圖像序列。
[0013] 審講一步，所沭非顯著或顯著豨疏系數(shù)
[0014]

【權(quán)利要求】
1. 一種基于稀疏表示的圖像超分辨率重建方法，其步驟包括： 1) 從輸入圖像序列選出一部分為顯著區(qū)域，剩余部分為非顯著區(qū)域； 2) 根據(jù)所述顯著區(qū)域訓(xùn)練一對(duì)顯著字典D'p D'h，并將該顯著區(qū)域通過(guò)上下文稀疏分解 在低分辨率顯著字典D' 1上得到顯著稀疏系數(shù)； 3) 根據(jù)所述非顯著區(qū)域訓(xùn)練一對(duì)通用字典仏，Dh，并通過(guò)低分辨率通用字典h進(jìn)行稀 疏分解得到非顯著稀疏系數(shù)； 4) 將所述非顯著稀疏系數(shù)與高分辨率通用字典Dh相乘進(jìn)行重建，將所述顯著稀疏系數(shù) 與高分辨率顯著字典D' h相乘進(jìn)行重建，重建后獲得高分辨率圖像序列。
2. 如權(quán)利要求1所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，所述非 顯著或顯著稀疏系數(shù)r = argmiilDr||X-Dr|<1，其中，L0-范數(shù)項(xiàng)是稀疏 性約束，||Λ-/)「g是數(shù)據(jù)保真項(xiàng)，X為訓(xùn)練樣本，為訓(xùn)練得到的字典，λ為 拉格朗日乘子，Di為字典的第i列。
3. 如權(quán)利要求1所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，訓(xùn)練所 述顯著字典D' 1或D' h需要滿足目標(biāo)函數(shù)： DJ =argminn，f (D?)，
其中，范數(shù)項(xiàng)λ 11 Γ I L是稀疏性約束，|pr-/)rg是數(shù)據(jù)保真項(xiàng)，X為訓(xùn)練樣本，D' 為訓(xùn)練得到的顯著字典，λ為拉格朗日乘子，d/為顯著字典的第i列。
4. 如權(quán)利要求1所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，訓(xùn)練顯 著和通用字典時(shí)，先初始化稀疏系數(shù)Γ，然后更新字典，再迭代更新稀疏系數(shù)Γ。
5. 如權(quán)利要求3所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，按照如 下方法訓(xùn)練顯著字典D' ： 1) 采用對(duì)比度濾波器在不同的尺度進(jìn)行濾波操作產(chǎn)生顯著性分布圖，得到圖像各個(gè)像 素位置的顯著度，檢測(cè)出顯著區(qū)域； 2) 將顯著度超過(guò)一定閾值的圖像像素劃分到同一個(gè)區(qū)域，設(shè)定該區(qū)域?yàn)閳D像的顯著區(qū) 域，劃分出圖像的顯著區(qū)域； 3) 從圖像的顯著區(qū)域選取圖像塊作為顯著字典的訓(xùn)練集，從訓(xùn)練集中提取圖像塊樣 本，建立顯著字典D'。
6. 如權(quán)利要求5所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，所述顯 著字典D'需要滿足目標(biāo)函數(shù)： D，=argmi%f(D，），
其中，ΧΩ為在顯著區(qū)域提取的圖像塊樣本，X為訓(xùn)練樣本，入為拉格朗日乘子，Di'為 顯著字典的第i列。
7. 如權(quán)利要求1所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，所述顯 著區(qū)域通過(guò)上下文稀疏分解的總能量： Ε_ 二 Ec (S) + Es (S): -ST(lUSw + b) 其中，(5') = -Σ『=1*Τ，￡s (5') = - A，11矩陣表示當(dāng)前塊和方向t上鄰域塊用 到的字典基的聯(lián)系，ST表示S的轉(zhuǎn)置矩陣，EC(S)表示上下文依賴關(guān)系的能量，S0t為當(dāng)前 塊在t方向的鄰域塊的稀疏模式，b=[bi，b2,...，bjT是模型參數(shù)。
8. 如權(quán)利要求7所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，所述稀 疏豐吳式S滿足最大后驗(yàn)概率：
其中，γ是低分辨率圖像塊X的稀疏系數(shù)，ys是一個(gè)均值為〇方差為?5的多變量高 斯分布，是對(duì)角矩陣，稀疏性模式S作為正則項(xiàng)約束重建出高分辨率的圖像塊。
9. 如權(quán)利要求8所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，所述低 分辨率圖像塊X的稀疏系數(shù)Y的稀疏性模式為S e {-1，l}m，Si=l表示γ s尹0, Se-l表 示Ys=〇, Si是第i個(gè)圖像塊的稀疏性模式。
10. 如權(quán)利要求1所述的基于稀疏表示的圖像超分辨率重建方法，其特征在于，所述輸 入圖像序列為X={Xl，x 2,...，xt}的低分辨率圖像序列，所述通用字典A *Dh訓(xùn)練過(guò)程滿足 如下目標(biāo)函數(shù)： D=argminDf (D) /(巧=|ur| + 賽 IIW.IlA. 1。
【文檔編號(hào)】G06T5/50GK104103052SQ201310125234
【公開(kāi)日】2014年10月15日 申請(qǐng)日期:2013年4月11日 優(yōu)先權(quán)日:2013年4月11日
【發(fā)明者】楊撒博雅, 白蔚, 劉家瑛, 郭宗明 申請(qǐng)人:北京大學(xué)