專(zhuān)利名稱(chēng)：基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及機(jī)器學(xué)習(xí)和鄰域嵌入(Neighbor Embedding) 圖像超分辨方法，可用于自然圖像超分辨恢復(fù)。
背景技術(shù)：
在實(shí)際應(yīng)用中，大多數(shù)圖像處理系統(tǒng)，如醫(yī)學(xué)診斷、模式識(shí)別、視頻監(jiān)控、生物鑒 別、高清晰電視HDTV成像等應(yīng)用領(lǐng)域，往往需要處理高分辨圖像。高分辨率的醫(yī)學(xué)圖像為 醫(yī)生的正確診斷能提供可靠依據(jù)，高分辨視頻圖像能有效提高目標(biāo)識(shí)別的精度。無(wú)疑，通過(guò) 提高電子成像設(shè)備分辨率級(jí)別是提高成像分辨率的有效途徑之一。一方面，通過(guò)改進(jìn)光學(xué) 傳感器件制造技術(shù)，縮小光學(xué)傳感器感光元件的物理尺寸，從而增加物理成像單元的密度， 可提高成像分辨率。然而，采用這種方法必定會(huì)導(dǎo)致成像設(shè)備成本的增加，限制消費(fèi)類(lèi)成 像設(shè)備的應(yīng)用與推廣；另一方面，通過(guò)增加光學(xué)傳感器的設(shè)計(jì)尺寸，增加單位面積像素的個(gè) 數(shù)，也可提高成像的空間分辨率，但該方法會(huì)導(dǎo)致成像性能的急劇下降。而且，實(shí)際應(yīng)用中， 在遠(yuǎn)距離成像環(huán)境下，如視頻監(jiān)控、遙感成像和SAR成像，即便使用高分辨率的成像設(shè)備仍 然無(wú)法獲得滿(mǎn)足實(shí)際應(yīng)用要求的高分辨圖像。因此，需要尋求提高現(xiàn)有圖像分辨率的其它 有效方法。通過(guò)信號(hào)處理技術(shù)，設(shè)計(jì)高效的超分辨圖像重建算法，是解決該問(wèn)題的關(guān)鍵技 術(shù)，即圖像超分辨重建技術(shù)。1984 年，Tsai 和 Huang 等人在文獻(xiàn)“T. S. Huang and R. Y. Tsai, "Multi-frame imagerestoration and registration, "Adv. Comput. Vis. Image Process. , vol. 1, PP. 317-339，1984. ”中最早提出了圖像超分辨技術(shù)的思想。他們通過(guò)低分辨率圖像間的相 對(duì)運(yùn)動(dòng)，在頻域建立低分辨率圖像與期望的高分辨率圖像之間的關(guān)系，采用低分辨率圖像 的離散傅里葉變換與連續(xù)的高分辨率圖像采樣之間的關(guān)系實(shí)現(xiàn)超分辨反問(wèn)題求解。近三十 多年來(lái)，很多學(xué)者對(duì)超分辨問(wèn)題進(jìn)行了廣泛而深入的研究，大體上，超分辨重建方法可分為 三類(lèi)基于插值的方法、基于多幀低分辨圖像的方法和基于實(shí)例學(xué)習(xí)的方法。1)基于插值的方法是一種直接而高效的提高圖像分辨率的方法。該方法通過(guò)一 個(gè)插值核或插值基函數(shù)估計(jì)高分辨圖像中每個(gè)像素的值。如最近鄰插值、雙線性插值和雙 立方插值等均是常見(jiàn)的圖像插值放大方法。具有代表性的插值超分辨方法有=Ui^nGross 在 “H. Ur, D. Gross, “ Improved resolution from sub-pixel shifted pictures,，，CVGIP : GraphicalModels and Image Processing, vol. 54, pp. 181-186,Mar. 1992.，，一文中提出的 對(duì)空間變換的低分辨率圖像合成的非均勻插值方法；Nguyen和Milanfa在“N. Nguyen and P. MilanFar. "An efficient wavelet-based algorithm for image superresolution,，，in Proc. Int. Conf. ImageProcessing, vol. 2，2000，pp 351—354” 中提出了 一種有效的基 于小波的超分辨重構(gòu)算法；XinLi等人在“Χ. Li and Μ. Orchard, "New edge directed interpolation, " IEEE Trans. ImageProcess. , vol. 10, no. 10, pp. 1521-1527, Oct. 2001，， 中提出的利用低分辨圖像和待估計(jì)的高分辨圖像局部協(xié)方差幾何對(duì)偶關(guān)系估計(jì)插值像素 的方法，該方法在一定程度上保持圖像邊緣信息。然而，實(shí)際應(yīng)用結(jié)果表明，隨著圖像放大倍數(shù)的增加，單個(gè)圖像中能利用的信息越來(lái)越少，直接插值生成的高分辨圖像會(huì)越來(lái)越模 糊，最終導(dǎo)致邊緣和紋理等高頻信息的丟失，盡管效率高，但滿(mǎn)足不了圖像處理系統(tǒng)的實(shí)際 應(yīng)用要求。2)基于多幀低分辨圖像方法使用該類(lèi)方法進(jìn)行超分辨的前提是首先必須獲取 同一場(chǎng)景的多個(gè)低分辨圖像，每個(gè)低分辨圖像間具有亞像素大小的移動(dòng)。為實(shí)現(xiàn)超分辨 重建，首先需要選擇一個(gè)低分辨圖像作為參考圖像，在假設(shè)運(yùn)動(dòng)模型已知的情況下，先對(duì) 圖像進(jìn)行配準(zhǔn)，然后在需要放大的高分辨圖像網(wǎng)格內(nèi)進(jìn)行圖像融合，并結(jié)合一定的先驗(yàn)信 息，實(shí)現(xiàn)超分辨反問(wèn)題的穩(wěn)定求解。如Zhang等人在文獻(xiàn)“X.Zhang，Ε. Y. Lam, Ε. Χ. Wu, and K.Kffong,"Application of Tikhonov regularization to super-resolution reconstruction of brain MRIimage,，，Lecture Notes in Computer Science,vol. 4987, pp. 51-56,2008.，，中提出的Tikhonov正則化重建方法是多幀圖像超分辨重建算法中最 具代表性的正則化方法之一。該方法通過(guò)引入平滑約束項(xiàng)抑制重建圖像的噪聲，但同時(shí) 也損失了低分辨圖像中的細(xì)節(jié)信息。另一種具有代表性的方法是由Farsiu等人在文獻(xiàn) "S.Farsiu, M. D. Robinson, Μ. Elad and P. Milanfar,"Fast and robust multi-frame super resolution, "IEEE Trans. Image Processing, vol. 13,no. 10,pp. 1327-1344,2004.，， 中提出的使用雙邊總變分(bilateral total variation,BTV)算子作為正則項(xiàng)，用I1范數(shù) 度量數(shù)據(jù)逼近項(xiàng)的穩(wěn)健超分辨率重建算法。該算法具有較好的穩(wěn)健性，邊緣保持性能優(yōu)于 傳統(tǒng)的 Tikhonov 正則化方法。X. Li 等人在文獻(xiàn)"X. Li, X. Gao, Y. Hu, D. Tao, and B. Ning, "A Multi-frame Image Super-Resolution Method,，，Signal Processing, vol. 90, no. 2, pp. 405-414,Feb. 2010. ”中提出了局部自適應(yīng)雙邊總變分(LABTV)正則項(xiàng)的多幀超分辨方 法，該方法能在保持邊緣的同時(shí)有效抑制噪聲，具有很強(qiáng)的魯棒性。然而，由于模糊過(guò)程和 成像模型假設(shè)存在不足，很難實(shí)現(xiàn)精確的圖像配準(zhǔn)。為克服該問(wèn)題，M. Protter等人分別 在文獻(xiàn)"M. Protter, M. Elad, "Generalizing the nonlocal-means to super-resolution reconstruction, ” IEEE Trans. Image Process.，vol. 18, no. 1，pp. 36-51, Jan. 2009.，，禾口 "Μ. Protter,Μ. Elad,"Super Resolution With Probabilistic Motion Estimation,"IEEE Trans. Image Process.，vol. 18，no. 8，pp. 1899-1904，Aug. 2009.，，中提出了概率運(yùn)動(dòng)和模 糊配準(zhǔn)的思想，通過(guò)引入非局部均值(Non-local Means)去噪的思想，利用圖像中結(jié)構(gòu)的冗 余性實(shí)現(xiàn)視頻圖像的超分辨重建。主觀上，他們的方法能取得較好的超分辨效果，但由于重 建算法是逐個(gè)像素處理的，實(shí)時(shí)性低，算法性能有待進(jìn)一步提高。在通常情況下，滿(mǎn)足多幀 超分辨重建條件的多個(gè)低分辨圖像無(wú)法獲取，而且成像模型估計(jì)不準(zhǔn)確和配準(zhǔn)不精確均會(huì) 導(dǎo)致重建質(zhì)量的下降。3)基于實(shí)例學(xué)習(xí)的方法該方法能有效克服多幀低分辨圖像超分辨存在的不足， 只需要單個(gè)低分辨圖像即可實(shí)現(xiàn)超分辨恢復(fù)。該方法利用高、低分辨率圖像間的共現(xiàn)先 驗(yàn)，通過(guò)學(xué)習(xí)兩者間的對(duì)應(yīng)關(guān)系預(yù)測(cè)高分辨圖像。Freeman等人最早提出實(shí)例學(xué)習(xí)的圖像 Igiilii^。 ftkil、]5feM$“W· Τ. Freeman, Ε. C. Pasztor, and 0. Τ. Carmichael, "Learning low-levelvision, " International Journal of Computer Vision, vol.40, no. 1, pp. 25-47, Oct. 2000.，，禾口 “I Τ. Freeman, Τ. R. Jones, and Ε. C. Pasztor, "Example-based super-resolution,，，IEEEComput. Graph. App 1. , vol. 22, no. 2, pp. 56-65, Mar-Apr. 2002，， 兩文中提出利用Markov網(wǎng)絡(luò)建立低分辨圖像和高分辨場(chǎng)景之間的關(guān)系，通過(guò)信任傳播算法實(shí)現(xiàn)高分辨圖像的最大后驗(yàn)估計(jì)，具有較直接的插值方法更強(qiáng)的超分辨恢復(fù)能力。然而， 他們的算法依賴(lài)于實(shí)例圖像的數(shù)量和類(lèi)別，對(duì)訓(xùn)練圖像的類(lèi)型比較敏感，泛化能力不強(qiáng)，且 網(wǎng)絡(luò)的訓(xùn)練效率也不高。針對(duì)Freeman等人提出的實(shí)例學(xué)習(xí)算法需要學(xué)習(xí)大量實(shí)例圖像塊 的不足，Chang 等人在"H. Chang, D. -Y. Yeung, and Y. Xiong. , "Super-resolution through neighbor embedding,，，in Proc. IEEE Comput. Soc. Conf. on Computer Vision and Pattern Recognition, 2004, pp. 275-282. ” 一文中使用鄰域嵌入(Neighbor Embedding)的思想實(shí) 現(xiàn)圖像超分辨。他們假設(shè)低分辨圖像和高分辨圖像在其各自的特征空間中處在相似的幾何 拓?fù)浣Y(jié)構(gòu)上，即處于相似結(jié)構(gòu)的流形上?；诖?，提出了鄰域嵌入超分辨重建的思想，利用 局部線性嵌入LLE計(jì)算輸入的低分辨塊的q個(gè)鄰域關(guān)系，通過(guò)最小化它們之間的重構(gòu)誤差 來(lái)獲得一組重建系數(shù)，通過(guò)線性組合輸入的低分辨塊的q個(gè)鄰域所對(duì)應(yīng)的高分辨塊得到高 分辨估計(jì)。與Freeman等人提出的方法相比，鄰域嵌入超分辨方法能在相對(duì)較少的訓(xùn)練樣 本下能獲得較好的超分辨恢復(fù)能力。然而，該方法存在主要的問(wèn)題在于高、低分辨圖像塊的 相似流形結(jié)構(gòu)是預(yù)先假設(shè)的。實(shí)際上，由于模糊和下采樣，同一個(gè)高分辨圖像塊可能對(duì)應(yīng)多 個(gè)不同的低分辨圖像塊，使得在低分辨圖像塊的特征空間中相近的鄰域在高分辨圖像塊的 特征空間中并不處于同一個(gè)鄰域內(nèi)。因此，選擇有效的特征描述圖像塊和重構(gòu)函數(shù)能改善 鄰域嵌入圖像超分辨方法的質(zhì)量。為改善鄰域嵌入算法的超分辨能力，在Chang工作的基礎(chǔ)上，Chan等人在“Τ. M Chan, J.Zhang, J.Pu, and H. Huang, "Neighbor embedding based super-resolution algorithm throughedge detection and feature selection,，，Pattern Recognition Letters, vol. 30，no. 5，pp. 494-502，Apr. 2009. ” 一文中，強(qiáng)調(diào)邊緣和特征在鄰域嵌 入超分辨算法中的關(guān)鍵作用，通過(guò)邊緣檢測(cè)和提升策略，區(qū)分對(duì)待邊緣圖像塊和非邊 緣圖像塊。對(duì)邊緣圖像塊和非邊緣圖像塊選擇不同的鄰域個(gè)數(shù)實(shí)現(xiàn)嵌入，取得了一 定的效果。K. Zhang等人在Chang和Chan等人的基礎(chǔ)上，在“K. Zhang, X. Gao, X. Li， and Da. Tao,"Partially supervised neighbor embedding forexample-based image super-resolution,"IEEE Journal of Selected Topic in Signal Processing2010,DOI 10. 1109/JSTSP. 2010. 2048606. ”中提出了多流形的思想，使用非監(jiān)督高斯混合模型聚類(lèi)算 法預(yù)測(cè)每個(gè)塊的類(lèi)別信息，并結(jié)合局部線性嵌入LLE，提出了部分監(jiān)督的鄰域嵌入超分辨重 構(gòu)算法，在一定程度上克服LEE方法存在的不足。已有的鄰域嵌入超分辨重建方法主要存在以下兩個(gè)主要問(wèn)題(1)假設(shè)低分辨圖像塊和高分辨圖像塊在各自的特征空間上具有相似的流形結(jié) 構(gòu)。實(shí)際上，由于模糊和下采樣，低分辨圖像和高分辨圖像間存在不確定性關(guān)系，因而，通常 情況下，這種假設(shè)并不成立，導(dǎo)致已有的鄰域嵌入超分辨重建方法不能穩(wěn)定求解，容易導(dǎo)致 圖像模糊；(2)通過(guò)搜索輸入的低分辨圖像塊在訓(xùn)練集中的q-近鄰，使用鄰域嵌入算法估計(jì) 最優(yōu)重構(gòu)權(quán)值，將對(duì)應(yīng)的高分辨圖像塊進(jìn)行線性組合得到低分辨圖像塊的高分辨估計(jì)，以 達(dá)到圖像超分辨的目的。然而，該方法僅在低分辨圖像塊構(gòu)成的特征空間進(jìn)行鄰域嵌入，而 沒(méi)有考慮訓(xùn)練集中高分辨圖像塊特征對(duì)重構(gòu)結(jié)果的影響，使得在低分辨圖像塊的特征空間 的最優(yōu)重構(gòu)，在高分辨圖像塊的特征空間并不是最優(yōu)的。

發(fā)明內(nèi)容
本發(fā)明目的在于克服上述已有鄰域嵌入超分辨算法的不足，提出了一種基于對(duì)偶 約束的聯(lián)合學(xué)習(xí)超分辨方法，通過(guò)構(gòu)造低分辨和高分辨圖像塊的聯(lián)合特征子空間，以實(shí)現(xiàn) 鄰域嵌入實(shí)例超分辨重建，提高鄰域嵌入超分辨重建效果。實(shí)現(xiàn)本發(fā)明的技術(shù)思路是在訓(xùn)練階段，使用大量的高分辨自然圖像生成訓(xùn)練集， 對(duì)訓(xùn)練集中每個(gè)低、高分辨圖像塊特征進(jìn)行組合，構(gòu)成對(duì)偶特征。對(duì)每個(gè)對(duì)偶特征，選擇K 個(gè)最近鄰對(duì)偶建立成組塊對(duì)。在測(cè)試階段，查找與輸入的低分辨圖像塊的特征向量最匹配 的成組塊對(duì)，對(duì)成組塊對(duì)中的K個(gè)低分辨圖像塊的特征向量和高分辨圖像塊的特征向量進(jìn) 行聯(lián)合學(xué)習(xí)，構(gòu)造低分辨和高分辨圖像塊的特征向量的投影矩陣，將輸入的低分辨圖像塊 和對(duì)應(yīng)的成組塊對(duì)中高分辨圖像塊的特征向量分別投影到一個(gè)聯(lián)合特征子空間，在這個(gè)聯(lián) 合特征子空間中進(jìn)行q-近鄰的選擇和重構(gòu)權(quán)值的計(jì)算，最后將q-近鄰對(duì)應(yīng)的高分辨圖像 塊進(jìn)行線性組合，得到輸入的低分辨圖像塊的高分辨估計(jì)。具體實(shí)現(xiàn)步驟包括如下(1)采集高分辨灰度自然圖像，模擬圖像降質(zhì)過(guò)程，生成低分辨圖像，對(duì)低分辨圖 像使用雙立方插值進(jìn)行2倍放大，得到插值圖像，對(duì)插值圖像和原始高分辨圖像，分別隨機(jī) 選擇大小為6X6的低分辨圖像塊和對(duì)應(yīng)大小為9X9的高分辨圖像塊，并提取水平和垂直
方向上的一階和二階梯度特征，構(gòu)造低分辨圖像塊訓(xùn)練集足=·(χ〗1:和高分辨圖像塊訓(xùn)練
集忑，以及高分辨圖像塊的高頻細(xì)節(jié)訓(xùn)練集I，其中x:表示第i個(gè)低分辨圖
像塊特征向量，4表示第i個(gè)高分辨圖像塊特征向量，X表示第i個(gè)高分辨圖像塊的高頻細(xì) 節(jié)特征向量，N表示訓(xùn)練集中樣本總個(gè)數(shù)；(2)將低分辨圖像塊訓(xùn)練集足=Pti和高分辨圖像塊訓(xùn)練集忑的每個(gè) 特征對(duì)進(jìn)行組合，經(jīng)歸一化后，得到對(duì)偶特征Ci，將N個(gè)對(duì)偶特征構(gòu)成對(duì)偶特征集
C = (Ci)^i，對(duì)每個(gè)對(duì)偶特征Ci，選擇K個(gè)最近鄰，構(gòu)成成組塊對(duì)集合fG]:，其中Gi表示對(duì)偶
集C中第i個(gè)對(duì)偶特征Ci的K個(gè)最近鄰組成的成組塊對(duì)，K = 128 ；(3)輸入待處理的低分辨彩色圖像F，并將圖像F從紅、綠、藍(lán)的RGB顏色空間轉(zhuǎn)換 到Y(jié)CbCr顏色空間，其中Y表示亮度分量，兩個(gè)色差分量Cb和Cr表示顏色信息；(4)對(duì)YCbCr顏色空間中的亮度分量Y使用雙立方插值進(jìn)行2倍放大，得到插值圖 像 Iint ；(5)將插值圖像Iint自上而下、從左到右劃分成大小為6X6的圖像塊，使相鄰塊之 間重疊2個(gè)像素，提取該圖像塊在水平和垂直方向的一階和二階梯度特征構(gòu)成低分辨圖像
塊測(cè)試集足=^G，其中丨表示低分辨圖像塊測(cè)試集Xt中的第j個(gè)特征向量，M表示該測(cè)
試集Xt中樣本總個(gè)數(shù)；(6)對(duì)低分辨圖像塊測(cè)試集足中每個(gè)特征向量丨，在低分辨圖像塊訓(xùn)練
集足=PG:中查找與<最匹配的樣本<，得到該樣本所對(duì)應(yīng)的成組塊對(duì)Gi,從該成組塊對(duì) Gi中分離出K個(gè)低分辨圖像塊和高分辨圖像塊特征向量，分別構(gòu)成低分辨圖像塊成組矩陣 J1和高分辨圖像塊成組矩陣Jh，其中Λ e i d"KJh G j ，d和m分別是低分辨圖像塊和對(duì)應(yīng)
8的高分辨圖像塊特征向量的維數(shù)，K表示每個(gè)成組塊對(duì)中低、高分辨率特征向量組成的對(duì)偶 個(gè)數(shù)，d = 144，m = 324 ；(7)使用聯(lián)合學(xué)習(xí)方法分別構(gòu)造低分辨圖像塊成組矩陣J1的投影矩陣P1和高分 辨圖像塊成組矩陣Jh的投影矩陣ph，將低分辨圖像塊測(cè)試集Xt中的特征向量X/通過(guò)投影矩 陣P1變換成一個(gè)i rxl (r+1 ( d)維的變換特征if X/，將高分辨圖像塊成組矩陣Jh中的K個(gè) 特征向量通過(guò)投影矩陣Ph變換成i %維的變換特征if人，將低分辨圖像塊測(cè)試集中的特征 向量χ/的變換特征if Χ/與高分辨圖像塊成組矩陣Jh的K個(gè)變換特征if人構(gòu)成一個(gè)i 維 的聯(lián)合特征子空間S ；(8)在聯(lián)合特征子空間S中選擇特征向量X/的變換特征if X/的q個(gè)鄰域，使用鄰域 嵌入算法，估計(jì)最優(yōu)權(quán)值，將變換特征if <的q個(gè)鄰域在高頻細(xì)節(jié)訓(xùn)練集I = [y〗G1中對(duì)應(yīng) 的q個(gè)高頻細(xì)節(jié)特征向量進(jìn)行線性組合，并加上輸入的低分辨圖像塊的灰度均值 ，得到低 分辨圖像塊的特征向量< 的高分辨圖像塊的估計(jì)γ，低分辨圖像塊測(cè)試集足=&/1二中所
有特征向量的高分辨圖像塊估計(jì)構(gòu)成了預(yù)測(cè)結(jié)果集K =[>^二，q = 5 ；(9)按插值圖像Iint中圖像塊的劃分順序合并所有預(yù)測(cè)結(jié)果集K =[>^二，對(duì)重疊
區(qū)域的像素取平均值進(jìn)行融合，得到高分辨圖像的初始化估計(jì)\ ；(10)利用全局重構(gòu)約束F = DBX和反向投影算法，通過(guò)如下迭代公式進(jìn)一步改善 超分辨圖像的質(zhì)量Xn+1 = Xn+ α [BtDt (F-DBXn) + μ (Xn-X0)]其中η (η > 0)表示迭代次數(shù)，X0表示高分辨圖像的初始化估計(jì)，Xn表示第η次迭 代后的高分辨圖像，Χη+1表示第η+1次迭代的高分辨圖像，F(xiàn)表示輸入的低分辨圖像，α表 示梯度下降的迭代步長(zhǎng)，B和D分別表示模糊和下采樣操作，T表示矩陣的轉(zhuǎn)置操作，Bt和 Dt分別表示去模糊和上采樣操作，μ表示反向投影約束項(xiàng)與先驗(yàn)懲罰項(xiàng)的平衡參數(shù)；(11)對(duì)輸入的低分辨彩色圖像F在YCbCr顏色空間中的兩個(gè)色差分量Cb和Cr直 接采用雙立方插值進(jìn)行3倍放大，并組合亮度分量Y的超分辨估計(jì)Χη，將YCbCr顏色空間的 超分辨結(jié)果轉(zhuǎn)換到RGB顏色空間，得到輸入的低分辨圖像F被放大了 3倍的RGB圖像。與已有的鄰域嵌入超分辨重建方法相比，本發(fā)明具有以下優(yōu)點(diǎn)(1)本發(fā)明由于在低分辨圖像塊與對(duì)應(yīng)的高分辨圖像塊的特征向量間建立了對(duì)偶 特征，在圖像超分辨恢復(fù)的變態(tài)反問(wèn)題上建立了較強(qiáng)的約束，使得超分辨反問(wèn)題能進(jìn)一步 穩(wěn)定求解；(2)本發(fā)明由于對(duì)輸入的低分辨圖像塊最匹配的對(duì)偶特征構(gòu)成的成組塊對(duì)進(jìn)行 聯(lián)合學(xué)習(xí)，構(gòu)造成組塊對(duì)中低分辨圖像塊與高分辨圖像塊的特征向量構(gòu)成的聯(lián)合特征子空 間，并在該聯(lián)合特征子空間進(jìn)行鄰域的選擇和最優(yōu)權(quán)值的估計(jì)，使得鄰域嵌入算法能綜合 利用低分辨和高分辨圖像塊的特征，有利于提高超分辨重建的質(zhì)量；(3)仿真結(jié)果表明，與現(xiàn)有的鄰域嵌入超分辨重建算法相比，本發(fā)明能恢復(fù)更多的 圖像細(xì)節(jié)，產(chǎn)生更加清晰的圖像邊緣和紋理，避免產(chǎn)生明顯的圖像失真和偽像。本發(fā)明的技術(shù)過(guò)程和效果可結(jié)合以下附圖詳細(xì)說(shuō)明。
9


圖1是本發(fā)明基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨總流程圖；圖2是本發(fā)明與已有鄰域嵌入算法對(duì)人物圖像進(jìn)行3倍放大后在視覺(jué)上進(jìn)行對(duì)比 的結(jié)果圖；圖3是本發(fā)明與已有鄰域嵌入算法對(duì)動(dòng)物圖像進(jìn)行3倍放大后在視覺(jué)上進(jìn)行對(duì)比 的結(jié)果圖；圖4是本發(fā)明與已有鄰域嵌入算法對(duì)花草圖像進(jìn)行3倍放大后在視覺(jué)上進(jìn)行對(duì)比 的結(jié)果圖。
具體實(shí)施例方式參照?qǐng)D1，基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨方法主要包括兩個(gè)階段訓(xùn)練集生成 階段和圖像超分辨階段。一 .訓(xùn)練集生成階段步驟1，模擬圖像降質(zhì)過(guò)程，構(gòu)建特征庫(kù)，生成訓(xùn)練集。la)采集大量的高分辨灰度自然圖像，對(duì)每個(gè)高分辨圖像經(jīng)過(guò)4X4平均模糊和3 倍下采樣生成對(duì)應(yīng)的低分辨圖像；lb)對(duì)每個(gè)低分辨圖像，使用雙立方插值進(jìn)行2倍放大，得到插值圖像，并使用以 下4個(gè)卷積核= [_l，0，l]，f2 = [_l，0，l]T，f3 = [l，0，-2，0，l]，f4 = [1，0，_2，0，1]T 分別與
插值圖像和對(duì)應(yīng)的原始高分辨圖像進(jìn)行卷積，生成插值圖像和原始高分辨圖像在水平方向 和垂直方向上的一階梯度和二階梯度圖像；Ic)對(duì)插值圖像的4個(gè)梯度圖像，隨機(jī)選擇大小為6X6的梯度圖像塊，組成一個(gè) 6X6X4= 144維的特征向量，構(gòu)成低分辨圖像塊訓(xùn)練集足=，對(duì)原始高分辨圖像的4 個(gè)梯度圖像，選擇與插值圖像對(duì)應(yīng)位置上的4個(gè)9X9的梯度圖像塊，組成一個(gè)9X9X4 = 324維的特征向量，構(gòu)成高分辨圖像塊訓(xùn)練集Z5 = ，N表示訓(xùn)練集中樣本總個(gè)數(shù)；Id)在插值圖像中提取與1. c)相同位置上的6X6圖像塊，計(jì)算它的灰度均值，同 時(shí)提取原始高分辨圖像中對(duì)應(yīng)位置上9X9的圖像塊，減去插值圖像塊的灰度均值，構(gòu)成高
分辨圖像塊的高頻細(xì)節(jié)訓(xùn)練集I =[y〗G，其中每個(gè)特征向量γ的維數(shù)為9X9 = 81維。步驟2，構(gòu)造對(duì)偶特征，建立成組塊對(duì)集。2a)將低分辨圖像塊訓(xùn)練集足=bj:和高分辨圖像塊訓(xùn)練集忑=^丨^的每個(gè)特 征對(duì)fx丨，<j進(jìn)行組合，使用如下公式進(jìn)行歸一化
權(quán)利要求
一種基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨方法，包括如下步驟(1)采集高分辨灰度自然圖像，模擬圖像降質(zhì)過(guò)程，生成低分辨圖像，對(duì)低分辨圖像使用雙立方插值進(jìn)行2倍放大，得到插值圖像，對(duì)插值圖像和原始高分辨圖像，分別隨機(jī)選擇大小為6×6的低分辨圖像塊和對(duì)應(yīng)大小為9×9的高分辨圖像塊，并提取水平和垂直方向上的一階和二階梯度特征，構(gòu)造低分辨圖像塊訓(xùn)練集和高分辨圖像塊訓(xùn)練集以及高分辨圖像塊的高頻細(xì)節(jié)訓(xùn)練集其中表示第i個(gè)低分辨圖像塊特征向量，表示第i個(gè)高分辨圖像塊特征向量，表示第i個(gè)高分辨圖像塊的高頻細(xì)節(jié)特征向量，N表示訓(xùn)練集中樣本總個(gè)數(shù)；(2)將低分辨圖像塊訓(xùn)練集和高分辨圖像塊訓(xùn)練集的每個(gè)特征對(duì)進(jìn)行組合，經(jīng)歸一化后，得到對(duì)偶特征ci，將N個(gè)對(duì)偶特征構(gòu)成對(duì)偶特征集對(duì)每個(gè)對(duì)偶特征ci，選擇K個(gè)最近鄰，構(gòu)成成組塊對(duì)集合其中Gi表示對(duì)偶集C中第i個(gè)對(duì)偶特征ci的K個(gè)最近鄰組成的成組塊對(duì)，K＝128；(3)輸入待處理的低分辨彩色圖像F，并將圖像F從紅、綠、藍(lán)的RGB顏色空間轉(zhuǎn)換到Y(jié)CbCr顏色空間，其中Y表示亮度分量，兩個(gè)色差分量Cb和Cr表示顏色信息；(4)對(duì)YCbCr顏色空間中的亮度分量Y使用雙立方插值進(jìn)行2倍放大，得到插值圖像Iint；(5)將插值圖像Iint自上而下、從左到右劃分成大小為6×6的圖像塊，使相鄰塊之間重疊2個(gè)像素，提取該圖像塊在水平和垂直方向的一階和二階梯度特征構(gòu)成低分辨圖像塊測(cè)試集其中表示低分辨圖像塊測(cè)試集Xt中的第j個(gè)特征向量，M表示該測(cè)試集Xt中樣本總個(gè)數(shù)；(6)對(duì)低分辨圖像塊測(cè)試集中每個(gè)特征向量在低分辨圖像塊訓(xùn)練集中查找與最匹配的樣本得到該樣本所對(duì)應(yīng)的成組塊對(duì)Gi，從該成組塊對(duì)Gi中分離出K個(gè)低分辨圖像塊和高分辨圖像塊特征向量，分別構(gòu)成低分辨圖像塊成組矩陣Jl和高分辨圖像塊成組矩陣Jh，其中d和m分別是低分辨圖像塊和對(duì)應(yīng)的高分辨圖像塊特征向量的維數(shù)，K表示每個(gè)成組塊對(duì)中低、高分辨率特征向量組成的對(duì)偶個(gè)數(shù)，d＝144，m＝324；(7)使用聯(lián)合學(xué)習(xí)方法分別構(gòu)造低分辨圖像塊成組矩陣Jl的投影矩陣Pl和高分辨圖像塊成組矩陣Jh的投影矩陣Ph，將低分辨圖像塊測(cè)試集Xt中的特征向量通過(guò)投影矩陣Pl變換成一個(gè)(r+1≤d)維的變換特征將高分辨圖像塊成組矩陣Jh中的K個(gè)特征向量通過(guò)投影矩陣Ph變換成維的變換特征將低分辨圖像塊測(cè)試集中的特征向量的變換特征與高分辨圖像塊成組矩陣Jh的K個(gè)變換特征構(gòu)成一個(gè)維的聯(lián)合特征子空間S；(8)在聯(lián)合特征子空間S中選擇特征向量的變換特征的q個(gè)鄰域，使用鄰域嵌入算法，估計(jì)最優(yōu)權(quán)值，將變換特征的q個(gè)鄰域在高頻細(xì)節(jié)訓(xùn)練集中對(duì)應(yīng)的q個(gè)高頻細(xì)節(jié)特征向量進(jìn)行線性組合，并加上輸入的低分辨圖像塊的灰度均值得到低分辨圖像塊的特征向量的高分辨圖像塊的估計(jì)低分辨圖像塊測(cè)試集中所有特征向量的高分辨圖像塊估計(jì)構(gòu)成了預(yù)測(cè)結(jié)果集q＝5；(9)按插值圖像Iint中圖像塊的劃分順序合并所有預(yù)測(cè)結(jié)果集對(duì)重疊區(qū)域的像素取平均值進(jìn)行融合，得到高分辨圖像的初始化估計(jì)X0；(10)利用全局重構(gòu)約束F＝DBX和反向投影算法，通過(guò)如下迭代公式進(jìn)一步改善超分辨圖像的質(zhì)量Xn+1＝Xn+α[BTDT(F DBXn)+μ(Xn X0)]其中n(n≥0)表示迭代次數(shù)，X0表示高分辨圖像的初始化估計(jì)，Xn表示第n次迭代后的高分辨圖像，Xn+1表示第n+1次迭代的高分辨圖像，F(xiàn)表示輸入的低分辨圖像，α表示梯度下降的迭代步長(zhǎng)，B和D分別表示模糊和下采樣操作，T表示矩陣的轉(zhuǎn)置操作，BT和DT分別表示去模糊和上采樣操作，μ表示反向投影約束項(xiàng)與先驗(yàn)懲罰項(xiàng)的平衡參數(shù)；(11)對(duì)輸入的低分辨彩色圖像F在YCbCr顏色空間中的兩個(gè)色差分量Cb和Cr直接采用雙立方插值進(jìn)行3倍放大，并組合亮度分量Y的超分辨估計(jì)Xn，將YCbCr顏色空間的超分辨結(jié)果轉(zhuǎn)換到RGB顏色空間，得到輸入的低分辨圖像F被放大了3倍的RGB圖像。FDA0000027698570000011.tif,FDA0000027698570000012.tif,FDA0000027698570000013.tif,FDA0000027698570000014.tif,FDA0000027698570000015.tif,FDA0000027698570000016.tif,FDA0000027698570000017.tif,FDA0000027698570000018.tif,FDA0000027698570000019.tif,FDA00000276985700000110.tif,FDA00000276985700000111.tif,FDA00000276985700000112.tif,FDA00000276985700000113.tif,FDA00000276985700000114.tif,FDA00000276985700000115.tif,FDA00000276985700000116.tif,FDA00000276985700000117.tif,FDA00000276985700000118.tif,FDA0000027698570000021.tif,FDA0000027698570000022.tif,FDA0000027698570000023.tif,FDA0000027698570000024.tif,FDA0000027698570000025.tif,FDA0000027698570000026.tif,FDA0000027698570000027.tif,FDA0000027698570000028.tif,FDA0000027698570000029.tif,FDA00000276985700000210.tif,FDA00000276985700000211.tif,FDA00000276985700000212.tif,FDA00000276985700000213.tif,FDA00000276985700000214.tif,FDA00000276985700000215.tif,FDA00000276985700000216.tif,FDA00000276985700000217.tif,FDA00000276985700000218.tif,FDA00000276985700000219.tif,FDA00000276985700000220.tif,FDA00000276985700000221.tif
2.根據(jù)權(quán)利1所述的聯(lián)合學(xué)習(xí)超分辨方法，其中步驟(2)所述的對(duì)每個(gè)對(duì)偶特征Ci，選擇K個(gè)最近鄰，構(gòu)成成組塊對(duì)集合fG]:，按如下步驟進(jìn)行(2a)對(duì)低分辨圖像塊和高分辨圖像塊訓(xùn)練集足=WGjPZ5中的每一個(gè)特征對(duì)fx〗，z丨;[進(jìn)行組合，建立對(duì)偶特征集C = (Ci)^i，對(duì)偶特征集C中的每個(gè)對(duì)偶特征向量Ci按下 式歸一化得到上式中，m和d分別表示低、高分辨圖像塊的特征維數(shù)；(2b)根據(jù)得到的對(duì)偶特征集C = ^二，按如下公式構(gòu)造每個(gè)對(duì)偶特征向量Ci的K個(gè)近 鄰構(gòu)成成組塊對(duì)Gi:
3.根據(jù)權(quán)利要求1所述的基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨方法，其中步驟(7)所述的 將低分辨圖像塊測(cè)試集中的特征向量X/的變換特征if X/與高分辨圖像塊成組矩陣Jh的K個(gè) 變換特征if人構(gòu)成一個(gè)i 維的聯(lián)合特征子空間S，按如下步驟進(jìn)行(3a)對(duì)測(cè)試集足=fx/二中的低分辨圖像塊特征向量x/，查找訓(xùn)練集足=·(χ丨〔中最匹配的樣本<所對(duì)應(yīng)的成組塊對(duì)Gi,從該成組塊對(duì)Gi中分離出K個(gè)低分辨和高分辨圖像3塊的特征向量，構(gòu)成低分辨圖像塊成組矩陣J1和高分辨圖像塊成組矩陣Jh，其中Λ dxK, 人e j ，d和m分別是低分辨圖像塊和對(duì)應(yīng)的高分辨圖像塊特征向量的維數(shù)，K表示每個(gè) 成組塊對(duì)中低、高分辨率特征組成的對(duì)偶個(gè)數(shù)；(3b)利用低分辨圖像塊成組矩陣J1和高分辨圖像塊成組矩陣Jh，使用聯(lián)合學(xué)習(xí)算法， 按如下表達(dá)式計(jì)算低分辨圖像塊成組矩陣J1的投影矩陣P1和高分辨圖像塊成組矩陣Jh的 投影矩陣Ph:fΓ^ τ'J1 0__ ι —Γ'J10 _Γ^ Ph0 Jh-I I0JhPhV_ η __ η _L JLη __ η _J其中I表示單位矩陣，T表示矩陣的轉(zhuǎn)置運(yùn)算，tr(g)表示矩陣的跡； (3c)根據(jù)計(jì)算出的所述投影矩陣P1* !^將低分辨圖像塊測(cè)試集Xt中的特征向量χ/通 過(guò)投影矩陣P1變換成一個(gè)i rxl (r+1 ( d)維的變換特征if x/，將高分辨圖像塊成組矩陣Jh 中的K個(gè)特征向量通過(guò)投影矩陣Ph變換成i %維的變換特征if人，將低分辨圖像塊測(cè)試集 中的特征向量χ/的變換特征if Χ/與高分辨圖像塊成組矩陣Jh的K個(gè)變換特征if人構(gòu)成一個(gè) i 維的聯(lián)合特征子空間S。
4.根據(jù)權(quán)利要求1所述的基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨方法，其中步驟(8)所述的 在聯(lián)合特征子空間S中選擇特征向量X/的變換特征if X/的q個(gè)鄰域，使用鄰域嵌入算法，估計(jì)最優(yōu)權(quán)值，是通過(guò)如下表達(dá)式估計(jì)2argmin PlrXjt - ^ WijP1hJh,SNg(J)2式中Ng (j)表示測(cè)試集Xt中第j個(gè)特征向量χ/在聯(lián)合特征子空間S中的鄰域集合，且 鄰域集合中元素的個(gè)數(shù)Ing(j) I = q, Wij表示第j個(gè)輸入樣本χ/與編號(hào)為i的鄰域間的權(quán) 值，τ表示矩陣的轉(zhuǎn)置運(yùn)算。全文摘要
本發(fā)明公開(kāi)了一種基于對(duì)偶約束的聯(lián)合學(xué)習(xí)超分辨方法，主要解決現(xiàn)有鄰域嵌入超分辨方法導(dǎo)致圖像模糊的問(wèn)題，其步驟是(1)使用高分辨圖像生成訓(xùn)練集，建立低分辨和高分辨圖像塊的成組塊對(duì)；(2)提取低分辨圖像塊的特征向量，在訓(xùn)練集中查找最匹配的成組塊對(duì)；(3)對(duì)成組塊對(duì)中低分辨和高分辨塊的特征向量，進(jìn)行聯(lián)合學(xué)習(xí)，構(gòu)造投影矩陣，生成聯(lián)合特征子空間；(4)在生成的聯(lián)合特征子空間中使用鄰域嵌入估計(jì)高分辨圖像塊；(5)將所有估計(jì)的高分辨圖像塊合成高分辨圖像；(6)對(duì)合成的高分辨圖像，利用全局重構(gòu)約束和反向投影算法改善圖像質(zhì)量。實(shí)驗(yàn)結(jié)果表明，本發(fā)明具有更強(qiáng)的超分辨能力，可用于低分辨自然圖像的放大。
文檔編號(hào)G06T5/50GK101976435SQ20101029856
公開(kāi)日2011年2月16日 申請(qǐng)日期2010年10月7日 優(yōu)先權(quán)日2010年10月7日
發(fā)明者張凱兵, 李潔, 沐廣武, 王茜, 田春娜, 路文, 鄧成, 高新波 申請(qǐng)人:西安電子科技大學(xué)