基于類別先驗(yàn)非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法
【專利摘要】本發(fā)明公開了一種基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，其步驟如下：1）構(gòu)造圖像非負(fù)數(shù)據(jù)訓(xùn)練集合；2）構(gòu)造基于圖像類別先驗(yàn)信息的非負(fù)稀疏編碼字典訓(xùn)練模型；3）采用輪流更新字典和稀疏系數(shù)的方法實(shí)現(xiàn)非負(fù)字典對(duì)的學(xué)習(xí)；4）低分辨率圖像的恢復(fù)；5）圖像質(zhì)量評(píng)價(jià)，利用峰值信噪比和框架相似性評(píng)價(jià)恢復(fù)圖像的質(zhì)量。通過上述方式，本發(fā)明能夠模擬人眼初級(jí)視覺系統(tǒng)的視覺特性，提取出更清晰的圖像邊緣特征和結(jié)構(gòu)特征；同時(shí)考慮圖像類別先驗(yàn)信息，并利用特征聚類預(yù)處理，選擇最相關(guān)的圖像塊構(gòu)造字典訓(xùn)練集合，大大減少了字典收斂過程，從而縮短了圖像超分辨率過程所需時(shí)間。
【專利說明】基于類別先驗(yàn)非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模擬計(jì)算機(jī)視覺和數(shù)字圖像處理【技術(shù)領(lǐng)域】，特別是涉及一種基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法。
【背景技術(shù)】
[0002]圖像分辨率是圖像質(zhì)量的一項(xiàng)重要指標(biāo)。圖像分辨率越高，圖像細(xì)節(jié)就越精細(xì)，越能能提供豐富信息。但是，由于成像傳感器技術(shù)的限制，有時(shí)獲取高分辨率圖像難度較大、成本很高，獲得所需的高分辨率圖像在很多場(chǎng)合下不現(xiàn)實(shí)，因此利用軟件處理技術(shù)實(shí)現(xiàn)低分辨率圖像(Low-resolution, LR,低分辨率圖像)的超分辨率(Super-Resolution,SR，超分辨率)恢復(fù)，從而得到視覺效果較好的圖像具有重要的研究和現(xiàn)實(shí)意義【見文獻(xiàn):Dong W.S.，Zhang L，Shi G.，et al.1mage deblurring and supper—resolution byadaptive sparse domain selection and adaptive regularization [J]， IEEE TransImage Process, 2011，20(7): 1838-1857】，目前為圖像處理領(lǐng)域的一個(gè)熱門研究領(lǐng)域。 [0003]圖像的稀疏表示模型能夠刻畫圖像的內(nèi)在結(jié)構(gòu)和先驗(yàn)屬性，可以恢復(fù)更多的圖像細(xì)節(jié)，特別是美國(guó)科學(xué)家Bruno Olshausen和Field于1996年在《Nature》雜志上指出自然圖像本身存在稀疏性【見文獻(xiàn)Olshausen:B.A., Field D.J..Emergence ofsimple-cell receptive field properties by learning a sparse code for naturalimages [J], Nature, 1996，381: 607-609】，提出了圖像數(shù)據(jù)的稀疏性本質(zhì)。之后，稀疏表示理論在圖像處理領(lǐng)域得到廣泛的研究和應(yīng)用，結(jié)合近年來流行的基于學(xué)習(xí)的超分辨率圖像重建算法，發(fā)展到目前熱門的基于稀疏表示的圖像超分辨率方法【見文獻(xiàn):Madhusudhan, Pais T., Alwyn Roshan, et al.Generation of super-resolutionvideo from low resolution video sequences: a novel approach conferenceon computational intelligence and multimedia applications.1nternationalConference on, 2007, 3: 1324-1339】。
[0004]雖然目前圖像稀疏表示及基于稀疏表示的圖像超分辨率方法取得了一定的研究成果，但是仍存在很多問題，如(1)構(gòu)造的字典結(jié)構(gòu)性、邊緣性和紋理性較弱，字典不具備廣泛表示能力；(2)對(duì)圖像稀疏先驗(yàn)信息的表達(dá)不夠充分，圖像重構(gòu)精度受到影響；(3)圖像塊樣本集大、字典維數(shù)高、稀疏編碼階段的計(jì)算量較大，收斂速度慢等。為了解決上述問題，本發(fā)明中考慮人眼初級(jí)視覺系統(tǒng)對(duì)數(shù)據(jù)處理的生理特性，在Hoyer提出的非負(fù)稀疏編碼(Non-negative Sparse Coding, NNSC,非負(fù)稀疏編碼)模型的基礎(chǔ)上【見文獻(xiàn):Hoyer P.0., Hyvarinen A.A mult1-layer sparse coding network learns contour coding fromnature images [J], Vision Research, 2002, 42 (12): 1593-1605】,考慮特征先驗(yàn)信息，提出一種新的非負(fù)稀疏編碼模型，構(gòu)造一種新的非負(fù)稀疏字典對(duì)的學(xué)習(xí)方法，并進(jìn)一步應(yīng)用于低分辨率圖像的恢復(fù)中。
【發(fā)明內(nèi)容】

[0005]本發(fā)明主要解決的技術(shù)問題是提供一種基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，能夠模擬人眼初級(jí)視覺系統(tǒng)的視覺特性，提取出更清晰的圖像邊緣特征和結(jié)構(gòu)特征；同時(shí)考慮圖像類別先驗(yàn)信息，并利用特征聚類預(yù)處理，選擇最相關(guān)的圖像塊構(gòu)造字典訓(xùn)練集合，大大減少了字典收斂過程，從而縮短了圖像超分辨率過程所需時(shí)間。
[0006]為解決上述技術(shù)問題，本發(fā)明采用的一個(gè)技術(shù)方案是:提供一種基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，其步驟如下:
1)構(gòu)造圖像非負(fù)數(shù)據(jù)訓(xùn)練集合；
2)構(gòu)造基于圖像類別先驗(yàn)信息的非負(fù)稀疏編碼字典訓(xùn)練模型；
3)采用輪流更新字典和稀疏系數(shù)的方法實(shí)現(xiàn)非負(fù)字典對(duì)的學(xué)習(xí)；
4)低分辨率圖像的恢復(fù)，對(duì)得到的低分辨率字典Λ.，利用正則化匹配追蹤的稀疏表示方法得到低分辨率梯度圖像的稀疏系數(shù)。進(jìn)一步利用低分辨率圖像稀疏系數(shù)和高分辨率圖像字典恢復(fù)出低分辨率子圖像塊對(duì)應(yīng)的高分辨率子圖像塊，考慮這些高分辨率子圖像塊在原圖像中位置，進(jìn)一步實(shí)現(xiàn)圖像的超分辨率恢復(fù)；
5)圖像質(zhì)量評(píng)價(jià)，利用峰值信噪比和框架相似性評(píng)價(jià)恢復(fù)圖像的質(zhì)量。
[0007]優(yōu)選的是，所述步驟1)中構(gòu)造圖像非負(fù)數(shù)據(jù)訓(xùn)練集合包括以下步驟:
(1.1)高分辨率圖像的降質(zhì)處理，得到相應(yīng)的低分辨率圖像；
(1.2)高分辨率圖像的邊緣圖像提取，并存儲(chǔ)邊緣點(diǎn)及其所在位置；
(1.3)低分辨率圖像的一階和二階梯度特征提取，得到水平和垂直方向上的4幅梯度圖像；
(1.4)固定非負(fù)圖像塊的隨機(jī)采樣和存儲(chǔ)。主要包括高分辨率圖像均值化處理、固定像素的子圖像塊分割、基于K均值聚類的高分辨率子圖像塊分類；低分辨率梯度圖像的子圖像塊分割；梯度子圖像塊的中心是否為高分辨率圖像邊緣上的點(diǎn)的判斷，如果是，則選擇該梯度子圖像塊；子圖像塊按列存儲(chǔ)在矩陣中；最后考慮數(shù)據(jù)降維和非負(fù)處理，得到對(duì)應(yīng)的高分辨率圖像的子圖像塊訓(xùn)練集合和低分辨率梯度圖像的子圖像塊訓(xùn)練集合
優(yōu)選的是，所述步驟2)構(gòu)造基于圖像類別先驗(yàn)信息的非負(fù)稀疏編碼字典訓(xùn)練模型包括以下步驟:
(2.1)為了確保特征系數(shù)的稀疏性，選擇峭度函數(shù)作為特征系數(shù)的稀疏先驗(yàn)分布函數(shù)，從而確定稀疏懲罰函數(shù)；
(2.2)結(jié)合圖像重構(gòu)誤差、稀疏系數(shù)懲罰項(xiàng)，考慮圖像類別先驗(yàn)信息，加入字典權(quán)值約束項(xiàng)，有利于增強(qiáng)圖像特征的空間可分性和同類圖像的特征提取
優(yōu)選的是，所述步驟3)采用輪流更新字典和稀疏系數(shù)的方法實(shí)現(xiàn)非負(fù)字典對(duì)的學(xué)習(xí)，特別地包括以下步驟:
(3.1)高分辨率非負(fù)字典的學(xué)習(xí)。對(duì)高分辨率子圖像塊集合進(jìn)行非負(fù)稀疏編碼模型訓(xùn)練，固定稀疏系數(shù)，利用梯度下降的優(yōu)化方法實(shí)現(xiàn)高分辨率字典的學(xué)習(xí)；
(3.2)低分辨率非負(fù)字典的學(xué)習(xí)。首先利用基于K均值的奇異值分解(K-SVD)算法對(duì)低分辨率梯度子圖像塊集合訓(xùn)練得到非負(fù)稀疏編碼模型的初始化字典；固定稀疏系數(shù)，利用梯度下降的優(yōu)化方法實(shí)現(xiàn)低分辨率字典的學(xué)習(xí)；(3.3)根據(jù)(3.1)和(3.2)的步驟，得到聯(lián)合非負(fù)字典對(duì)--ι和Λ，即得到高分辨率字典Λ和低分辨率字典ik。
[0008]本發(fā)明的有益效果是:本發(fā)明一種基于圖像類別先驗(yàn)信息的非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，該方法能夠模擬人眼初級(jí)視覺系統(tǒng)的視覺特性，提取出更清晰的圖像邊緣特征和結(jié)構(gòu)特征；同時(shí)考慮圖像類別先驗(yàn)信息，并利用特征聚類預(yù)處理，選擇最相關(guān)的圖像塊構(gòu)造字典訓(xùn)練集合，大大減少了字典收斂過程，從而縮短了圖像超分辨率過程所需時(shí)間。該 方法可以推廣應(yīng)用于醫(yī)學(xué)、雷達(dá)、遙感等研究領(lǐng)域中低分辨率圖像的超分辨率恢復(fù)。
【專利附圖】

【附圖說明】
[0009]圖1 (a)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的原始圖像；
圖1 (b)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的低分辨率圖像；
圖1 (C)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的毫米波成像目標(biāo):
圖1 (d)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的毫米波圖像；
圖2 (a)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的水平一階梯度圖像；
圖2 (b)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的垂直一階梯度圖像；
圖2 (c)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的水平二階梯度圖像:
圖2 (d)為高分辨率圖像及其對(duì)應(yīng)的低分辨率圖像的垂直二階梯度圖像；
圖3為低分辨率梯度子圖像塊的K-SVD字典；
圖4為模擬低分辨率圖像的恢復(fù)結(jié)果，其中(a) - (d)對(duì)應(yīng)的子圖像塊數(shù)目依次為500，5000，10000，50000 ；
圖5為毫米波圖像的恢復(fù)結(jié)果；
圖6為本發(fā)明基于圖像類別先驗(yàn)信息約束的非負(fù)編碼字典對(duì)的圖像超分辨方法的流程圖。
【具體實(shí)施方式】
[0010]下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。
[0011]請(qǐng)參閱圖1 (a)-圖6,本發(fā)明實(shí)施例包括:
本發(fā)明為基于圖像類別先驗(yàn)信息約束的非負(fù)編碼字典對(duì)的圖像超分辨方法，具體分為以下步驟:
步驟1.構(gòu)造圖像非負(fù)數(shù)據(jù)訓(xùn)練集合，具體包括以下步驟:
(1)低分辨率圖像的獲取:首先對(duì)每一幅高分辨率圖像進(jìn)行高斯模糊處理，然后對(duì)模糊圖像進(jìn)行歸一化處理、最后進(jìn)行下采樣處理，得到低分辨率圖像，如圖2所示。
[0012](2)高分辨率圖像的邊緣圖像提取:對(duì)每一幅高分辨率圖像用Canny算子實(shí)現(xiàn)二值化邊緣特征提取，并存儲(chǔ)邊緣值及其對(duì)應(yīng)位置；
(3)高分辨率子圖像塊訓(xùn)練集合的獲取:對(duì)高分辨率圖像均值化處理、8X8像素的子圖像塊隨機(jī)采樣，進(jìn)一步利用K均值聚類方法將子圖像塊重新分類，再經(jīng)過二維主分量分析(2D-PCA，二維主分量分析)降維和非負(fù)處理后，得到按列存儲(chǔ)的高分辨率子圖像塊訓(xùn)練集合。
[0013](4)低分辨率梯度子圖像塊訓(xùn)練集合的獲取:對(duì)每一幅低分辨率圖像進(jìn)行一階和二階梯度特征提取，得到一階和二階水平和垂直方向上對(duì)應(yīng)的4幅梯度圖像；對(duì)低分辨率圖像的4幅梯度圖像采用8X8像素的圖像塊隨機(jī)采樣；判斷梯度子圖像塊的中心是否在高分辨率圖像邊緣上，如果是，則選擇該梯度子圖像塊為訓(xùn)練數(shù)據(jù)，這樣得到4X (8X8)維的低分辨率梯度子圖像塊集合；經(jīng)過2DPCA降維和非負(fù)處理后，得到低分辨率梯度圖像的子圖像塊訓(xùn)練集合^。
[0014]步驟2.基于圖像類別先驗(yàn)信息約束的非負(fù)稀疏編碼字典模型的構(gòu)建。
[0015](1)稀疏系數(shù)的稀疏度懲罰函數(shù)的確定:為了保證特征系數(shù)
的稀疏性，采用峭度函數(shù)的絕對(duì)值作為稀疏懲罰函數(shù)，峭度值越大，
數(shù)據(jù)的非高斯性越強(qiáng)，數(shù)據(jù)稀疏性越大，同時(shí)，獨(dú)立性也越好。峭度函數(shù)絕對(duì)值的函數(shù)形式如下所示:
【權(quán)利要求】
1.基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，其步驟如下:1)構(gòu)造圖像非負(fù)數(shù)據(jù)訓(xùn)練集合；2)構(gòu)造基于圖像類別先驗(yàn)信息的非負(fù)稀疏編碼字典訓(xùn)練模型；3)采用輪流更新字典和稀疏系數(shù)的方法實(shí)現(xiàn)非負(fù)字典對(duì)的學(xué)習(xí)；4)低分辨率圖像的恢復(fù)，對(duì)得到的低分辨率字典，利用正則化匹配追蹤稀疏表示方法得到低分辨率梯度圖像的稀疏系數(shù)。
2.進(jìn)一步利用低分辨率圖像稀疏系數(shù)和高分辨率圖像字典恢復(fù)出低分辨率子圖像塊對(duì)應(yīng)的高分辨率子圖像塊，考慮這些高分辨率子圖像塊在原圖像中位置，進(jìn)一步實(shí)現(xiàn)圖像的超分辨率恢復(fù)；5)圖像質(zhì)量評(píng)價(jià)，利用峰值信噪比和框架相似性評(píng)價(jià)恢復(fù)圖像的質(zhì)量。
3.根據(jù)權(quán)利要求1所述的基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，其特征在于:所述步驟1)中構(gòu)造圖像非負(fù)數(shù)據(jù)訓(xùn)練集合包括以下步驟:(1.1)高分辨率圖像的降質(zhì)處理，得到相應(yīng)的低分辨率圖像；(1.2)高分辨率圖像的邊緣圖像提取，并存儲(chǔ)邊緣點(diǎn)及其所在位置；(1.3)低分辨率圖像的一階和二階梯度特征提取，得到水平和垂直方向上的4幅梯度圖像；`(1.4)固定非負(fù)圖像塊的隨機(jī)采樣和存儲(chǔ)。
4.主要包括高分辨率圖像均值化處理、固定像素的子圖像塊分割、基于K均值聚類的高分辨率子圖像塊分類；低分辨率梯度圖像的子圖像塊分割；梯度子圖像塊的中心是否為高分辨率圖像邊緣上的點(diǎn)的判斷，如果是，則選擇該梯度子圖像塊；子圖像塊按列存儲(chǔ)在矩陣中；最后考慮數(shù)據(jù)降維和非負(fù)處理，得到對(duì)應(yīng)的高分辨率圖像的子圖像塊訓(xùn)練集合和低分辨率梯度圖像的子圖像塊訓(xùn)練集合根據(jù)權(quán)利要求1所述的基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，其特征在于:所述步驟2)構(gòu)造基于圖像類別先驗(yàn)信息的非負(fù)稀疏編碼字典訓(xùn)練模型包括以下步驟:(2.1)為了確保特征系數(shù)的稀疏性，選擇峭度函數(shù)作為特征系數(shù)的稀疏先驗(yàn)分布函數(shù)，從而確定稀疏懲罰函數(shù)；(2.2)結(jié)合圖像重構(gòu)誤差、稀疏系數(shù)懲罰項(xiàng)，考慮圖像類別先驗(yàn)信息，加入字典權(quán)值約束項(xiàng)，有利于增強(qiáng)圖像特征的空間可分性和同類圖像的特征提取根據(jù)權(quán)利要求1所述的基于圖像類別先驗(yàn)信息非負(fù)稀疏編碼字典對(duì)的超分辨率圖像恢復(fù)方法，其特征在于:所述步驟3)采用輪流更新字典和稀疏系數(shù)的方法實(shí)現(xiàn)非負(fù)字典對(duì)的學(xué)習(xí)，特別地包括以下步驟:(3.1)高分辨率非負(fù)字典的學(xué)習(xí)，對(duì)高分辨率子圖像塊集合進(jìn)行非負(fù)稀疏編碼模型訓(xùn)練，固定稀疏系數(shù)，利用梯度下降的優(yōu)化方法實(shí)現(xiàn)高分辨率字典的學(xué)習(xí)；(3.2)低分辨率非負(fù)字典的學(xué)習(xí)，首先利用基于K均值的奇異值分解(K-mean Based SingularValue Decomposition, K-SVD，K均值的奇異值分解)算法對(duì)低分辨率梯度子圖像塊集合訓(xùn)練得到非負(fù)稀疏編碼模型的初始化字典；固定稀疏系數(shù)，利用梯度下降的優(yōu)化方法實(shí)現(xiàn)低分辨率字典的學(xué)習(xí)；(3.3)根據(jù)(3.1)和(3.2)的步驟，得到聯(lián)合非負(fù)字典對(duì)Λη和Λ，即得到高分辨率字 典Λκ和低分辨率字典。
【文檔編號(hào)】G06T5/00GK103679662SQ201310726958
【公開日】2014年3月26日 申請(qǐng)日期:2013年12月25日 優(yōu)先權(quán)日:2013年12月25日
【發(fā)明者】尚麗, 張培, 黃艷 申請(qǐng)人:蘇州市職業(yè)大學(xué)