基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法
【專利摘要】一種基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，利用人眼認(rèn)知理論為每一個(gè)圖像分塊計(jì)算合適的正則化參數(shù)，稱之為認(rèn)知正則化參數(shù)，并將其引入到求解稀疏表示的過程中，然后再結(jié)合基于稀疏表示的超分辨率重構(gòu)方法對所有分塊進(jìn)行重構(gòu)，最后重組所有重構(gòu)后的分塊得到高分辨率圖像。將本發(fā)明用于人臉圖像中進(jìn)行測試，結(jié)果表明本方法在重構(gòu)圖像效果上優(yōu)于使用固定正則化參數(shù)的方法。
【專利說明】基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及的是一種圖像處理【技術(shù)領(lǐng)域】，具體是一種基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法。
【背景技術(shù)】
[0002]隨著信息時(shí)代的發(fā)展，信息的獲取和處理成為越來越重要的課題。對于圖像來說，圖像的分辨率代表了圖像所包含的信息量。圖像分辨率越高，所能提供的細(xì)節(jié)信息就越豐富，對客觀場景的描述也就越準(zhǔn)確、細(xì)致。由于傳感器制造技術(shù)遇到了瓶頸，傳統(tǒng)的通過改進(jìn)硬件結(jié)構(gòu)來提高圖像分辨率的方法已不再適用。在這樣的背景下，超分辨率重構(gòu)(Super-Resolution Reconstruction, SRR)通過數(shù)字信號處理技術(shù)為這個(gè)難題提供了一個(gè)新的解決方案，其目標(biāo)在于通過恢復(fù)一些已丟失的頻率分量，實(shí)現(xiàn)數(shù)字圖像從低分辨率(Low-ResoIution, LR)圖像到高分辨率(High-Resolution, HR)圖像的轉(zhuǎn)化。
[0003]圖像超分辨率重構(gòu)方法主要可以分為基于頻域的算法和基于空域的算法。基于頻域的超分辨率重構(gòu)主要是在圖像的頻率變化域上解決插值問題，通過消除低分辨率圖像的頻譜混疊，來實(shí)現(xiàn)目標(biāo)，它是一種直觀的、去變形的方法，但是受到傅里葉變換理論的限制，并且不包含圖像的先驗(yàn)約束信息，因而其發(fā)展受到了極大的限制，且重構(gòu)效果不佳。鑒于頻域法的上述局限性，目前的研究基本上都是在空間域中進(jìn)行的?；诳沼虻某直媛手貥?gòu)需要考慮影響成像效果的空域因素，包括光學(xué)模糊和運(yùn)動(dòng)模糊等，并對其建立靈活的觀測模型，它可以包含豐富的先驗(yàn)約束信息，因而可以得到更好的重構(gòu)效果?；诳沼虻乃惴ㄓ挚梢苑譃榛诓逯怠⒒谥亟ê突趯W(xué)習(xí)的方法。
[0004]近年來，基于學(xué)習(xí)的超分辨率重構(gòu)方法成為此領(lǐng)域的研究熱點(diǎn)，并在單幀圖像重構(gòu)方面表現(xiàn)出了出色的效果?；趯W(xué)習(xí)的方法是收集含有與低分辨率圖像同類信息的高低分辨率圖像對，構(gòu)成訓(xùn)練集合，并分析其對應(yīng)統(tǒng)計(jì)關(guān)系，作為先驗(yàn)知識來約束超分辨率重構(gòu)過程。其思想仍是獲取先驗(yàn)知識，但來源不僅限于低分辨率圖像本身，還包括一些近似圖像的統(tǒng)計(jì)數(shù)據(jù)。其優(yōu)點(diǎn)在于充分利用了圖像的先驗(yàn)信息，在不增加輸入圖像樣本數(shù)量的情況下，仍能產(chǎn)生新的高頻細(xì)節(jié)，獲得比其他超分辨率重構(gòu)方法更好的重構(gòu)效果。
[0005]經(jīng)對現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，隨著壓縮感知(Compressive Sensing, CS)理論的發(fā)展，Jianchao Yang等人提出了基于稀疏表示的超分辨率重構(gòu)算法。該算法將高低分辨率圖像塊經(jīng)過不同的超完備字典投影到相同的稀疏表示上，并以此作為學(xué)習(xí)和重構(gòu)的突破點(diǎn)，取得了很好的重構(gòu)效果。該算法中，求解稀疏表示使用的正則化參數(shù)λ主要是為了平衡所求解向量α的稀疏性和重構(gòu)結(jié)果的近似估計(jì)保真度。通過仿真實(shí)驗(yàn)可以發(fā)現(xiàn)，對于不同的圖像，最優(yōu)的正則化參數(shù)λ值并不相同，這與圖像的紋理特征相關(guān)。因此，使用固定的正則化參數(shù)并不是最優(yōu)的解決方案。而人眼認(rèn)知理論表明人眼對圖像不同紋理特征的響應(yīng)不同，為此，可將圖像分為三種不同類型的區(qū)域:(1)強(qiáng)邊區(qū)域，在此區(qū)域內(nèi)圖像亮度變化較大且明顯，此類區(qū)域多出現(xiàn)于圖像內(nèi)容的輪廓處；(2)紋理區(qū)域，在此區(qū)域內(nèi)圖像亮度存在小幅度變化且不斷反復(fù)變化；(3)平滑區(qū)域，在此區(qū)域內(nèi)圖像亮度變化小且不明顯，常見于圖像的背景區(qū)域，如大片天空等。強(qiáng)邊區(qū)域能夠提供更多的圖像輪廓信息；另一方面，若平滑區(qū)域出現(xiàn)問題或包含噪聲，則會(huì)對觀察者的視覺體驗(yàn)產(chǎn)生較大的影響。因此，引入人眼認(rèn)知理論能夠有效解決稀疏向量求解過程中正則化參數(shù)λ的最優(yōu)化問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的是克服上述現(xiàn)有技術(shù)的不足，提供一種基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法。
[0007]本發(fā)明的技術(shù)解決方案如下:
[0008]一種基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特點(diǎn)在于，首先，對待處理的低分辨率圖像進(jìn)行分塊，利用人眼認(rèn)知理論，根據(jù)每一個(gè)圖像分塊的紋理特征，分別計(jì)算合適的正則化參數(shù)，即所述的認(rèn)知正則化參數(shù)；然后，將構(gòu)建的認(rèn)知正則化參數(shù)引入到稀疏表示的求解過程中，再結(jié)合基于稀疏表示的重構(gòu)方法對所有分塊進(jìn)行超分辨率重構(gòu)；最后，重組所有分塊得到高分辨率圖像。
[0009]本發(fā)明方法的具體過程包括以下步驟:
[0010]1)輸入NXM大小的單幅低分辨率圖像Y。，采用雙三次插值法將其放大a倍(設(shè)a為期望的放大倍數(shù)，a為正整數(shù)且a>l)，得到矩陣Y e R3nx3m ；
[0011]2)對矩陣Y分塊提取特征，得到特征向量集Ult1, t2,…，tQ}，其中Q=a(N-4)*a(M_4)；
[0012]3)計(jì)算矩陣Y每個(gè)分塊的認(rèn)知正則化參數(shù)Xi，其中i=l，2，…，Q;
[0013]4)遍歷特征向量集Ultpt2，…，tQ}，對每一個(gè)向量\ (I≤i≤Q)設(shè)置其對應(yīng)的認(rèn)知正則化參數(shù)λ i，求解稀疏表示，再進(jìn)行超分辨率重構(gòu)，得到對應(yīng)的高分辨率圖像的特征向量Zi。當(dāng)遍歷完所有的特征向量\后，就得到了重構(gòu)高分辨率圖像的分塊特征向量集
V{z” Z2,...，Zq}；
[0014]5)根據(jù)高分辨率圖像分塊特征向量集Vlz1, Z2,…，zQ}以及矩陣Y，重組得到高分辨率圖像Z ‘ ；
[0015]6)采用迭代反投影法對Z ‘進(jìn)行全局重構(gòu)，進(jìn)一步去除模糊和噪聲，最終得到高分辨率圖像Z;
[0016]7)輸出高分辨率圖像Z。
[0017]所述的步驟I)輸入NXM大小的單幅低分辨率圖像Ytl,并采用雙三次插值法進(jìn)行超分辨率預(yù)處理，將其放大a倍，得到矩陣Y e R3nx3m,具體為:
[0018]1.1)輸入NXM大小的單幅低分辨率圖像，
[0019]1.2)判斷低分辨率圖像為灰度圖像或彩色圖像，即判斷圖像矩陣空間的維度d，
[0020]當(dāng)d=2時(shí)，低分辨率圖像為灰度圖像，則用雙三次插值法將其放大到a倍，得到矩
陣 Y e RaNXaM ；
[0021]當(dāng)d=3時(shí)，低分辨率圖像為彩色圖像，則先對其進(jìn)行色彩空間轉(zhuǎn)換，將其從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，轉(zhuǎn)換公式為:
[0022]Iy=0.299*Ik+0.587*Ig+0.114*Ib
[0023]Icb=0.564* (Ib-Y)
[0024]Icr=0.713* (Ie-Y)[0025]其中IK、Ig和Ib分別表示低分辨率圖像Ytl在RGB空間的3個(gè)分量，IY、Icb和1&分別表示低分辨率圖像Ytl在YCbCr空間的3個(gè)分量，然后對IY、Icb和1&這3個(gè)分量分別采用雙三次插值法放大a倍，得到矩陣Iy e RaNXaM, Icb e RaNXalP l& e R3nx'令y=ιy，則得到矩陣Y e RaNXaM。
[0026]所述的雙三次插值法，其具體步驟如下:
[0027](a)設(shè)輸入矩陣為Y= [gl，g2，-,gM],Y e Rnxm，其中g(shù)i e Rn表示矩陣Y的第i列向量(i=l，2，…，Μ)。擴(kuò)充矩陣Y，具體步驟為:首先令Y1=Egpg1AgM, Sj = Di1A,…，hN]T，其中hj e Rm+4表示矩陣Y1的第j行向量(j=l，2...，N);然后令Y2=Di1, h1； Y1, hN, hN]T ;最后令 Y=Y2。
[0028](b)設(shè)放大倍數(shù)為a，則輸出矩陣X e R3nx3m中的每個(gè)元素計(jì)算如下:
[0029]X(i，j)=A*B*C
[0030]其中:i=l,2,- ,aN, j=l, 2,...，aM[0031 ] A= [S (1+u) S (u) S (1-u) S (2_u)]
【權(quán)利要求】
1.一種基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特點(diǎn)在于，首先，對待處理的低分辨率圖像進(jìn)行分塊，利用人眼認(rèn)知理論，根據(jù)每一個(gè)圖像分塊的紋理特征，分別計(jì)算認(rèn)知正則化參數(shù)；然后，將構(gòu)建的認(rèn)知正則化參數(shù)引入到稀疏表示的求解過程中，再結(jié)合基于稀疏表示的重構(gòu)方法對所有分塊進(jìn)行超分辨率重構(gòu)；最后，重組所有分塊得到高分辨率圖像。
2.根據(jù)權(quán)利要求1所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，該方法包括如下步驟: .1)輸入NXM大小的單幅低分辨率圖像Ytl，采用雙三次插值法將其放大a倍，即設(shè)a為期望的放大倍數(shù)，a為正整數(shù)且a>l，得到矩陣Y Ξ R3nx3m ； . 2)對矩陣Y分塊提取特征，得到矩陣Y的特征向量集Ult1,t2,…，tQ}，其中Q=a(N-4)*a(M-4); .3)計(jì)算矩陣Y每個(gè)分塊的認(rèn)知正則化參數(shù)λi，其中i=l，2，…，Q ; 具體為: . 3.1)依據(jù)人眼認(rèn)知理論，計(jì)算矩陣Y中每個(gè)像素點(diǎn)的紋理認(rèn)知模型系數(shù): .3.1.1)對矩陣Y進(jìn)行小波變換，每一級小波變換會(huì)形成4個(gè)
3.根據(jù)權(quán)利要求2所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，所述的步驟I)具體為: .1.1)輸入NXM大小的單幅低分辨率圖像， . 1.2)判斷低分辨率圖像為灰度圖像或彩色圖像，即判斷圖像矩陣空間的維度d， 當(dāng)d=2時(shí)，即低分辨率圖像為灰度圖像，則用雙三次插值法將其放大到a倍，得到矩陣Yj^aN X aM 當(dāng)d=3時(shí)，即低分辨率圖像為彩色圖像，則先對其進(jìn)行色彩空間轉(zhuǎn)換，將其從RGB空間轉(zhuǎn)換到Y(jié)CbCr空間，轉(zhuǎn)換公式為:
Y=0.299*R+0.587*G+0.114*B
Cb=0.564*(B-Y)
Cr=0.713*(R-Y) 其中，R、G和B分別表示RGB空間的三個(gè)分量，Y、Cb和Cr分別表示YCbCr空間的三個(gè)分量，然后對這Y、Cb和Cr三個(gè)分量分別采用雙三次插值算法放大到a倍，分別得到矩陣Ye尺晨*1，矩陣Cb e 和矩陣Cr e RaNXaM，保存矩陣Cb和Cr。
4.根據(jù)權(quán)利要求2所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，所述的步驟2)具體為: .2.1)分別計(jì)算矩陣Y的水平方向的I階和2階梯度特征矩陣以及垂直方向的I階和2階梯度特征矩陣，得到4個(gè)特征矩陣分別為Thl、Τκ、Tvl和Tv2，其維度與Y相同，其過程為: . 2.1.1)所述的計(jì)算矩陣Y的水平方向的I階梯度矩陣Thl的方法如下: 設(shè)濾波算子為4=[_1，0，I]，計(jì)算卷積:
T1=Y^f1 得到T1 e RaNX(aM+2)，刪除第I列和第(aM+2)列，得到 Thl e Ra獅；. 2.1.2)所述的計(jì)算矩陣Y的垂直方向的I階梯度矩陣Tvl的方法如下: 設(shè)濾波算子為f2 = f1T，計(jì)算卷積:
T2=Y*f2 得到T2eR(aN+2)XaM，刪除第I行和第(aN+2)行，得到 Tvl∈ RaN*aM ； . 2.1.3)所述的計(jì)算矩陣Y的水平方向的2階梯度矩陣Th2的方法如下: 設(shè)濾波算子為f3=[l，O, -2，O, I]，計(jì)算卷積:
T3=Y*f3 得到T3 e R3nx (aM+4)，刪除第I列、第2列、第(aM+3)列和第(aM+4)列，得到Th2 e f ； .2.1.4)所述的計(jì)算矩陣Y的垂直方向的2階梯度矩陣Tv2的方法如下: 設(shè)濾波算子為4 = f3T，計(jì)算卷積:
T4=Y^f4 得到T4 e R(aN+4)XaM，刪除第I行、第2行、第(aN+3)行和第(aM+4)行，得到Tv2 e f ； . 2.2)對矩陣Thl進(jìn)行如下操作:過濾寬度為a的Thl的四周邊緣，得到矩陣T 'hl e Ra(N-2)Xa(M-2);按序遍歷矩陣T ' hl中的元素，取分塊Tj1 G Rbxb,并將其轉(zhuǎn)換為向量Ij11 G Rb2，其中 i=l，2，…，Q，且 Q=a(N-4)*a(M-4)，得到向量集 Uh,…,仏},上述操作的具體實(shí)現(xiàn)如下: .2.2.1)所述的過濾寬度為a的Thi的四周邊緣，是指刪除矩陣Thl的第I~a行、第aN_a+l ~aN 打、第 I ~a 列和第 aM_a+l ~aM 列，得到 T ' hl G Ra(N 2)Xa(M 2).2.2.2)所述的按序遍歷是指:按從左到右、從上到下的順序，依次遍歷矩陣T ' hl的元素； 所述的分塊選取是指:如果遍歷到達(dá)的該像素點(diǎn)坐標(biāo)(P，q)滿足: . 1 ≤ P≤ a*(N-2)-bbl 且 1 ≤ q ≤ a*(M_2)_b+l P和q為整數(shù)，設(shè)分塊大小為bXb，則以該像素點(diǎn)為分塊的左上頂點(diǎn)，分割得到分塊Th E Rbxb,然后按順序合并TL的b個(gè)行向量，得到向量^tj11 e Rb2;這樣就得到向量集Uhi Jti11, thi,…,I; . 2.3)對Th2, Tvl和Tv2進(jìn)行相同的操作，分別分割得到e Rbxb>Ti1 G Rbxb和 Tj2ERbxb 后，再得到向量集 Uh2{H,4}、Uvl{^1,}和Uv2 Itv2-tvv.… . 2.4)同時(shí)遍歷υω、υκ、υν1和Uv2四個(gè)集合，合并向量t丨rl、t〖2、和蛑2,得到向量ti e R4b2,其中 i=l，2，…，Q，即ti = [t；u,tjl2,tti42]: 最后得到矩陣Y的特征向量集Ult1, t2,…，tQ}。
5.根據(jù)權(quán)利要求2所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，所述的步驟4)具體為: 獲取高分辨率圖像分塊特征向量集Vlz1, Z2，…，zQ}，具體為遍歷特征向量集Ult1, t2,..., tQ},對向量ti進(jìn)行如下操作: . 4.1)令y=ti;利用低分辨率圖像字典D1對y進(jìn)行稀疏表示，寫為:
6.根據(jù)權(quán)利要求2所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，所述的步驟5)具體為: .5.1)對所有聞分辨率圖像分塊的特征向量Zi e V,分割成b個(gè)等長的向量,然后將這b個(gè)向量作為行向量，按順序合并成bXb大小的分塊Zi，其中i=l，2，…，Q，得到分塊矩陣集合(Z1, Z2,…，ZQ}； . 5.2)將所有分塊矩陣集合Zi合并成一個(gè)矩陣Z ‘e Ra(N_2)Xa(M_2)，具體方法如下:
令 Z ‘=0，E=0，Z ‘e R^N-2)Xa(M-2))E ￡ Ra (N_2)x a(M_2)，i = I，按從左到右、從上到下的順序，依次遍歷矩陣Z ‘的元素，如果遍歷到的該像素點(diǎn)坐標(biāo)(p，q)滿足:
1≤ P ≤a* (N-2)—b+1 且 1 ≤q ≤ a* (Μ-2)—b+1
其中P和q為整數(shù)，則令:
Z ‘(p: (p+b-1), q: (q+b_l))=Z ‘(p: (p+b_l)，q: (q+b_l))+Zii=i+l 矩陣E的每個(gè)元素用于記錄矩陣Z ‘的對應(yīng)位置的像素點(diǎn)的累加次數(shù)，當(dāng)遍歷結(jié)束后，對分塊之間的重疊像素點(diǎn)取均值，即令矩陣Z‘的每個(gè)元素值除以矩陣F的對應(yīng)位置的元素值，最后得到Z ‘ ； `5.3)將Z ‘疊加到Y(jié)的中間a(N-2)Xa(M-2)區(qū)域，所得新圖像賦值給得Z ‘，得到 ? j^aN X aM
7.根據(jù)權(quán)利要求2所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，所述的步驟6)中的迭代反投影法，具體為求解下式最優(yōu)化問題:
8.根據(jù)權(quán)利要求2所述的基于認(rèn)知正則化參數(shù)構(gòu)建的圖像超分辨率重構(gòu)方法，其特征是，所述的步驟7)具體如下: 若輸入圖像為灰度圖像，則步驟6)中得到的Z即為超分辨率重構(gòu)后得到的圖像； 若輸入圖像為彩色圖像，則根據(jù)步驟6)中得到的Z和步驟I)中暫存的Cb和Cr矩陣將(Z，Cb, Cr)轉(zhuǎn)換到RGB空間，即:
R=Z+1.402Cr
G=Z-0.344Cb-0.714Cr
B=Z+1.772Cb 然后令 Z=(R，G，B) e r—3。
【文檔編號】G06T5/50GK103871041SQ201410108363
【公開日】2014年6月18日 申請日期:2014年3月21日 優(yōu)先權(quán)日:2014年3月21日
【發(fā)明者】張愛新, 金波, 徐光耀, 李建華, 王芳, 李生紅 申請人:上海交通大學(xué)