本發(fā)明涉一種立體圖像質(zhì)量測量方法，尤其是涉及一種基于字典學(xué)習(xí)和人眼視覺特性的立體圖像質(zhì)量客觀測量方法。
背景技術(shù)：
：隨著我們的社會越來越多媒體化，裸眼3D顯示、虛擬現(xiàn)實、3D導(dǎo)航等技術(shù)逐漸進(jìn)入千家萬戶，于此同時，人們對立體圖像質(zhì)量提出了更高的要求，立體圖像質(zhì)量客觀測量成為了目前研究的熱點(diǎn)。立體圖像在顯示前將會經(jīng)歷采集、編碼、傳輸和解碼這四個過程，每個過程將會造成一定程度的失真，從而影響立體圖像質(zhì)量。本發(fā)明從人眼視覺特性的角度出發(fā)，從而具有更高的立體圖像質(zhì)量準(zhǔn)確性。影響立體圖像質(zhì)量的因素較多，如失真類型、立體感知特征及視覺舒適度等，根據(jù)目前的技術(shù)，可以通過機(jī)器學(xué)習(xí)來測量，但是該方法的結(jié)果容易受到訓(xùn)練內(nèi)容和訓(xùn)練策略的影響，因此需要提取圖像的本質(zhì)特征，才能更好地進(jìn)行質(zhì)量測量。技術(shù)實現(xiàn)要素：本發(fā)明所要解決的技術(shù)問題是提供一種基于字典學(xué)習(xí)和人眼視覺特性的立體圖像質(zhì)量客觀測量方法，其考慮了圖像本質(zhì)特征及人眼視覺特性，有效地提高了客觀測量值與主觀測量值之間的相關(guān)性。本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于字典學(xué)習(xí)和人眼視覺特性的立體圖像質(zhì)量客觀測量方法，其特征在于包含平面圖像質(zhì)量測量和立體感知質(zhì)量測量兩個方面，所述的過程具體步驟如下：(1)平面圖像質(zhì)量測量1.1訓(xùn)練參考圖像字典：假設(shè)有k對參考圖像，其中左右圖分別有k幅，對這些參考圖像分別進(jìn)行字典訓(xùn)練。以一張M×N像素的左圖為例，選取該圖方差較大的8×8重疊塊m個，作為訓(xùn)練樣本，構(gòu)成矩陣Yl，Yl＝[y1,y2,…,ym]∈Rn×m，其中yi∈Rn×1(i∈[1,m])是由第i塊中n個像素逐列排序得到的向量，且n＝8×8＝64。用訓(xùn)練樣本Yl可以訓(xùn)練得到過完備字典Dl＝[d1,d2,…,dp]∈Rn×p，其中p>n。Yl和Dl之間的關(guān)系，可用如下公式表示：其中||·||0是l0范數(shù)，用來計算矩陣中非零元素的個數(shù)，||·||2是l2范數(shù)。x＝[x，1x2,…,xm]∈Rp×m表示稀疏系數(shù)矩陣，最優(yōu)化目標(biāo)是使得x中的非零個數(shù)最少，即最稀疏。限制條件是||Yl-Dlx||2小于給定的重建誤差ε。采用K-SVD算法和OMP算法進(jìn)行字典學(xué)習(xí)和稀疏編碼，最后得到該左圖的字典Dl。同理可求與該左圖相應(yīng)的右圖的字典Dr。對k對參考圖像的左右圖分別進(jìn)行字典學(xué)習(xí)，得到所有左圖字典DL＝[Dl1,Dl2,…,Dlk]，其中Dli是其中第i幅左圖的字典，所有右圖字典DR＝[Dr1,Dr2,…,Drk]，其中Drj是其中第j幅左圖的字典。1.2稀疏系數(shù)相似度求解：將所有參考圖像和失真圖像在其對應(yīng)的字典上求解稀疏系數(shù)，并比較參考圖像稀疏系數(shù)和失真圖像稀疏系數(shù)的相似度。以兩張M×N像素的參考左圖和對應(yīng)的jp2k失真左圖為例。首先對整張參考左圖進(jìn)行8×8像素塊不重疊劃分，得到q片小塊。對每個小塊中的像素按列進(jìn)行排序得到64×1的列向量其中i表示該圖片中的第i個小塊。q片小塊可組成矩陣根據(jù)樣本矩陣和字典的關(guān)系，可以求得參考圖像在對應(yīng)字典上的稀疏表示其中是字典Di的廣義逆矩陣，同理可求jp2k失真左圖在該字典上的稀疏表示其中Ydis是對該失真左圖進(jìn)行8×8不重疊劃分后得到的矩陣，接下來對Xref和Xdis中對應(yīng)向量求稀疏系數(shù)相似度。稀疏系數(shù)相似度(SCS)從兩向量的角度差異和幅度值差異進(jìn)行計算，以下為角度差異：其中，和分別表示參考圖像和失真圖像的稀疏系數(shù)向量，<·>表示計算兩向量的內(nèi)積，c為常數(shù)。幅度值差異計算公式如下：從而得到參考圖像某一8×8小塊與對應(yīng)失真圖像上該小塊的稀疏系數(shù)相似度表達(dá)式為：SCSi＝Pi·Vi最終得到參考左圖與對應(yīng)的jp2k失真左圖的稀疏系數(shù)相似度，即為q個小塊的SCS均值：同理可得所有參考圖像與對應(yīng)失真圖像的稀疏系數(shù)相似度。失真左、右圖的個數(shù)相等，假設(shè)都為t，則所有左圖稀疏系數(shù)相似度為SCSL＝[SCSl1,SCSl2,…,SCSlt]，其中SCSli表示第i張失真左圖所求得的SCS均值，所有右圖稀疏系數(shù)相似度為SCSR＝[SCSr1,SCSr2,…,SCSrt]，其中SCSlj表示第j張失真左圖所求得的SCS均值。1.3左右圖像融合得到平面圖像質(zhì)量測量根據(jù)視覺生理學(xué)和視覺心理學(xué)研究顯示，人眼存在立體掩蔽效應(yīng)，即左右視點(diǎn)中質(zhì)量好的圖像對質(zhì)量差的圖像具有掩蔽和抑制作用。同時，對于不同的失真類型，人眼的左右眼對立體圖像質(zhì)量的貢獻(xiàn)也不同。針對以上兩種因素，研究不同失真類型下，左右眼融合權(quán)重，最后得到某一幅圖平面圖像質(zhì)量測量值，其公式為：Ql_r＝wSCSl+(1-w)SCSr其中w表示在質(zhì)量測量時左眼所作出的貢獻(xiàn)，以及1-w表示右眼所作的貢獻(xiàn)。(2)立體感知質(zhì)量測量2.1訓(xùn)練參考圖像視差圖的字典人眼雙目距離的存在使得左右眼接收的圖像具有視差，從而人能感受到立體感，因此我們采用左右視點(diǎn)的絕對差值圖的特點(diǎn)來衡量立體感知質(zhì)量。分別對k對參考圖像進(jìn)行水平視差計算，然后分別學(xué)習(xí)各自的字典。以一對M×N的參考圖像為例，視差空間圖像(DSI)的計算公式如下：DSI(x,y；d)＝||IL(x,y)-IR(x-d,y)||2其中，d為左右圖像的視差，且d∈[0,dmax),dmax為左右圖像的最大視差。采用1.1中字典學(xué)習(xí)方法，選取該視差圖方差較大的8×8重疊塊m個，構(gòu)成訓(xùn)練矩陣Yref，Yref＝[yref1,yref2,…,yrefm]∈Rn×m，其中n＝64。用該樣本訓(xùn)練得到過完備字典Dref＝[dref1,dref2,…,drefp]∈Rn×p，其中p>n。同理可得全部參考圖像絕對視差圖的字典。2.2求解參考圖像視差圖與失真圖像視差圖的稀疏系數(shù)相似度以一對左右失真圖像為例，首先計算該對失真圖像的絕對視差圖，再將該差值圖采用1.2中的方法，分成8×8的不重疊小塊，將所有小塊進(jìn)行編碼得到失真圖像視差圖矩陣樣本，在對應(yīng)的參考圖像視差圖訓(xùn)練得到的字典上進(jìn)行稀疏表示Xdisi＝[xdis1,xdis2,…,xdism]∈Rp×m，其中xdisi(1≤i≤m)，是一個64×1的向量，表示失真圖像絕對差值圖中一個8×8小塊在字典上的稀疏表示。同理可得該對失真圖像對應(yīng)的參考圖像的絕對差值圖在對應(yīng)的字典上求得的稀疏表示：Xrefi＝[xref1,xref2,…,xrefst]∈Rp×m，其中xrefi(1≤i≤m)，是一個64×1的向量，表示參考圖像絕對差值圖中一個8×8小塊在字典上的稀疏表示。根據(jù)1.2中稀疏系數(shù)相似度的定義，從兩向量的角度差異和幅度值差異進(jìn)行計算從而得到失真圖像絕對差值圖和參考圖像絕對差值圖之間的稀疏系數(shù)相似值SCS。同理可得所有失真圖像絕對差值圖和對應(yīng)參考圖像絕對差值圖之間的稀疏系數(shù)相似度SCSi(1≤i≤t)。同時該值的大小表示立體感知質(zhì)量的好壞，值越大，表示立體感知質(zhì)量越好。(3)立體圖像質(zhì)量客觀測量本發(fā)明將平面圖像質(zhì)量和立體感知質(zhì)量兩部分融合得到立體圖像質(zhì)量客觀測量值，通過乘性組合方式結(jié)合平面圖像質(zhì)量測量值和深度感知質(zhì)量測量值得到最終的立體圖像質(zhì)量客觀測量值，其公式如下所示：Q＝Ql_r×(SCS)λ其中，Ql_r表示平面圖像質(zhì)量測量值，SCS表示立體感知質(zhì)量測量值，λ是常數(shù)。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于：(1)本發(fā)明為每幅參考圖像和參考空間視差圖像訓(xùn)練字典，而且選取的訓(xùn)練樣本容量較大，最后訓(xùn)練出來的字典更加全面，因此稀疏表示圖像時結(jié)果更加準(zhǔn)確。(2)本發(fā)明方法將字典學(xué)習(xí)和稀疏表示應(yīng)用到了平面圖像質(zhì)量測量和空間視差圖像質(zhì)量測量，用更簡單的方法高效地提取了圖像特征本質(zhì)特征，從而避免了多種特征提取及融合的繁瑣過程，最終計算結(jié)果顯示失真立體圖像質(zhì)量客觀測量值與主觀測量值具有較強(qiáng)的相關(guān)性。附圖說明圖1為本發(fā)明方法的總體實現(xiàn)框圖。具體實施方式以下結(jié)合附圖實施例對本發(fā)明作進(jìn)一步詳細(xì)描述。本發(fā)明提出一種基于字典學(xué)習(xí)和人眼視覺特性的立體圖像質(zhì)量客觀測量方法，其實現(xiàn)總體框圖如圖1所示，立體圖像質(zhì)量客觀測量方法分為平面圖像質(zhì)量測量和視差圖像質(zhì)量測量兩部分。在平面圖像質(zhì)量測量階段，首先對每張左右參考圖像進(jìn)行重疊采樣，并用K-SVD算法訓(xùn)練該圖像的字典，然后將參考圖像和失真圖像不重疊采樣，在對應(yīng)的字典上求取各自的稀疏系數(shù)矩陣，該矩陣相當(dāng)于提取了圖像的本質(zhì)特征。得到參考圖像和對應(yīng)失真圖像的稀疏系數(shù)矩陣后，求解兩個矩陣的稀疏系數(shù)相似度，相當(dāng)于得到每張失真圖像的失真程度。最后將左圖和右圖的稀疏系數(shù)相似度矩陣相融合得到平面圖像質(zhì)量測量。立體感知質(zhì)量測量階段，先求左右參考圖像的空間視差圖，在對每張視差圖分別進(jìn)行不重疊采樣訓(xùn)練字典。接著將每張參考視差圖和失真視差圖進(jìn)行不重疊采樣后分別在對應(yīng)的字典上求取稀疏系數(shù)矩陣。最后求得兩個稀疏系數(shù)相似度即為立體感知質(zhì)量客觀值。兩種測量結(jié)果都得到后采用乘性組合方式結(jié)合得到最終的立體圖像質(zhì)量客觀測量值。本發(fā)明的具體步驟如下：(1)平面圖像質(zhì)量測量1.1訓(xùn)練參考圖像字典：假設(shè)有k對參考圖像，其中左右圖分別有k幅，對這些參考圖像分別進(jìn)行字典訓(xùn)練。以一張M×N像素的左圖為例，選取該圖方差較大的8×8重疊塊m個，作為訓(xùn)練樣本，構(gòu)成矩陣Yl，Yl＝[y1,y2,…,ym]∈Rn×m，其中yi∈Rn×1(i∈[1,m])是由第i塊中n個像素逐列排序得到的向量，且n＝8×8＝64。用訓(xùn)練樣本Yl可以訓(xùn)練得到過完備字典Dl＝[d1,d2,…,dp]∈Rn×p，其中p>n。Yl和Dl之間的關(guān)系，可用如下公式表示：其中||·||0是l0范數(shù)，用來計算矩陣中非零元素的個數(shù)，||·||2是l2范數(shù)。x＝[x，1x2,…,xm]∈Rp×m表示稀疏系數(shù)矩陣，最優(yōu)化目標(biāo)是使得x中的非零個數(shù)最少，即最稀疏。限制條件是||Yl-Dlx||2小于給定的重建誤差ε。采用K-SVD算法和OMP算法進(jìn)行字典學(xué)習(xí)和稀疏編碼，最后得到該左圖的字典Dl。同理可求與該左圖相應(yīng)的右圖的字典Dr。對k對參考圖像的左右圖分別進(jìn)行字典學(xué)習(xí)，得到所有左圖字典DL＝[Dl1,Dl2,…,Dlk]，其中Dli是其中第i幅左圖的字典，所有右圖字典DR＝[Dr1,Dr2,…,Drk]，其中Drj是其中第j幅左圖的字典。具體實施過程中，采用LIVE實驗室的phase1數(shù)據(jù)庫中的圖像，其中有20對左右參考圖像，故k的值為20。圖像為640×360像素，故M＝640，N＝360。m為字典訓(xùn)練的樣本容量，m的值越大說明訓(xùn)練得到的字典約精度越高，但其計算復(fù)雜度也越高，因此本實施例中取m＝10000。1.2稀疏系數(shù)相似度求解：將所有參考圖像和失真圖像在其對應(yīng)的字典上求解稀疏系數(shù)，并比較參考圖像稀疏系數(shù)和失真圖像稀疏系數(shù)的相似度。以兩張M×N像素的參考左圖和對應(yīng)的jp2k失真左圖為例。首先對整張參考左圖進(jìn)行8×8像素塊不重疊劃分，得到q片小塊。對每個小塊中的像素按列進(jìn)行排序得到64×1的列向量其中i表示該圖片中的第i個小塊。q片小塊可組成矩陣根據(jù)樣本矩陣和字典的關(guān)系，可以求得參考圖像在對應(yīng)字典上的稀疏表示其中Di+是字典Di的廣義逆矩陣，同理可求jp2k失真左圖在該字典上的稀疏表示其中Ydis是對該失真左圖進(jìn)行8×8不重疊劃分后得到的矩陣，接下來對Xref和Xdis中對應(yīng)向量求稀疏系數(shù)相似度。稀疏系數(shù)相似度(SCS)從兩向量的角度差異和幅度值差異進(jìn)行計算，以下為角度差異：其中，和分別表示參考圖像和失真圖像的稀疏系數(shù)向量，<·>表示計算兩向量的內(nèi)積，c為常數(shù)。幅度值差異計算公式如下：從而得到參考圖像某一8×8小塊與對應(yīng)失真圖像上該小塊的稀疏系數(shù)相似度表達(dá)式為：SCSi＝Pi·Vi最終得到參考左圖與對應(yīng)的jp2k失真左圖的稀疏系數(shù)相似度，即為q個小塊的SCS均值：同理可得所有參考圖像與對應(yīng)失真圖像的稀疏系數(shù)相似度。失真左、右圖的個數(shù)相等，假設(shè)都為t，則所有左圖稀疏系數(shù)相似度為SCSL＝[SCSl1,SCSl2,…,SCSlt]，其中SCSli表示第i張失真左圖所求得的SCS均值，所有右圖稀疏系數(shù)相似度為SCSR＝[SCSr1,SCSr2,…,SCSrt]，其中SCSlj表示第j張失真左圖所求得的SCS均值。在此具體實施例中，一共有jp2k、jpeg、wn、blur和ff五種失真類型，且圖像大小都為640×360。以jp2k失真類型的某張左圖為例，在對該失真圖進(jìn)行8×8不重疊小塊采樣時，選取q＝3200，使得采樣覆蓋整張圖片，從而可以在對應(yīng)字典上訓(xùn)練得到完整體現(xiàn)該圖特征的稀疏系數(shù)矩陣。在進(jìn)行稀疏系數(shù)相似度求解時，選取常數(shù)c＝0.02，保證分母不為零。1.3左右圖像融合得到平面圖像質(zhì)量測量根據(jù)視覺生理學(xué)和視覺心理學(xué)研究顯示，人眼存在立體掩蔽效應(yīng)，即左右視點(diǎn)中質(zhì)量好的圖像對質(zhì)量差的圖像具有掩蔽和抑制作用。同時，對于不同的失真類型，人眼的左右眼對立體圖像質(zhì)量的貢獻(xiàn)也不同。針對以上兩種因素，我們研究了不同失真類型下，左右眼融合權(quán)重，最后得到某一幅圖平面圖像質(zhì)量測量值，其公式為：Ql_r＝wSCSl+(1-w)SCSr其中w表示在質(zhì)量測量時左眼作出的貢獻(xiàn)，以及1-w表示右眼所作的貢獻(xiàn)。根據(jù)實驗，本實施例中不同失真類型下左眼的取值如表1所示：失真類型jp2kjpegwnblurffw0.500.750.550.900.65(2)立體感知質(zhì)量測量2.1訓(xùn)練參考圖像視差圖的字典人眼雙目距離的存在使得左右眼接收的圖像具有視差，從而人能感受到立體感，因此我們采用左右視點(diǎn)的絕對差值圖的特點(diǎn)來衡量立體感知質(zhì)量。分別對k對參考圖像進(jìn)行水平視差計算，然后分別學(xué)習(xí)各自的字典。以一對M×N的參考圖像為例，視差空間圖像(DSI)的計算公式如下：DSI(x,y；d)＝||IL(x,y)-IR(x-d,y)||2其中，d為左右圖像的視差，且d∈[0,dmax),dmax為左右圖像的最大視差。采用1.1中字典學(xué)習(xí)方法，選取該視差圖方差較大的8×8重疊塊m個，構(gòu)成訓(xùn)練矩陣Yref，Yref＝[yref1,yref2,…,yrefm]∈Rn×m，其中n＝64。用該樣本訓(xùn)練得到過完備字典Dref＝[dref1,dref2,…,drefp]∈Rn×p，其中p>n。同理可得全部參考圖像絕對視差圖的字典。具體實施例中，與1.1所用參數(shù)一樣，取k為20，m為10000。2.2求解參考圖像視差圖與失真圖像視差圖的稀疏系數(shù)相似度以一對左右失真圖像為例，首先計算該對失真圖像的絕對視差圖，再將該差值圖采用1.2中的方法，分成8×8的不重疊小塊，將所有小塊進(jìn)行編碼得到失真圖像視差圖矩陣樣本，在對應(yīng)的參考圖像視差圖訓(xùn)練得到的字典上進(jìn)行稀疏表示Xdisi＝[xdis1,xdis2,…,xdism]∈Rp×m，其中xdisi(1≤i≤m)，是一個64×1的向量，表示失真圖像絕對差值圖中一個8×8小塊在字典上的稀疏表示。同理可得該對失真圖像對應(yīng)的參考圖像的絕對差值圖在對應(yīng)的字典上求得的稀疏表示：Xrefi＝[xref1,xref2,…,xrefst]∈Rp×m，其中xrefi(1≤i≤m)，是一個64×1的向量，表示參考圖像絕對差值圖中一個8×8小塊在字典上的稀疏表示。根據(jù)1.2中稀疏系數(shù)相似度的定義，從兩向量的角度差異和幅度值差異進(jìn)行計算從而得到失真圖像絕對差值圖和參考圖像絕對差值圖之間的稀疏系數(shù)相似值SCS。同理可得所有失真圖像絕對差值圖和對應(yīng)參考圖像絕對差值圖之間的稀疏系數(shù)相似度SCSi(1≤i≤t)。同時該值的大小表示立體感知質(zhì)量的好壞，值越大，表示立體感知質(zhì)量越好。(3)立體圖像質(zhì)量客觀測量本發(fā)明將平面圖像質(zhì)量和立體感知質(zhì)量兩部分融合得到立體圖像質(zhì)量客觀測量值，通過乘性組合方式結(jié)合平面圖像質(zhì)量測量值和深度感知質(zhì)量測量值得到最終的立體圖像質(zhì)量客觀測量值，其公式如下所示：Q＝Ql_r×(SCS)λ其中，Ql_r表示平面圖像質(zhì)量測量值，SCS表示立體感知質(zhì)量測量值，λ是常數(shù)。本發(fā)明采用常用的兩種客觀質(zhì)量測量指標(biāo)評估所建模型的性能，即非線性回歸條件下的Pearson相關(guān)系數(shù)(Pearsonlinearcorrelationcoefficient,PLCC)、Spearman相關(guān)系數(shù)(Spearmanrankordercorrelationcoefficient,SROCC)。PLCC與SROCC值越高表明客觀測量值與主觀測量值之間的相關(guān)性越好。以下表2為通過本發(fā)明方法得到的兩種評估值：失真類型jp2kjpegwnblurffmeanPLCC0.9120.9230.9650.9680.8340.920SROCC0.8910.8500.9230.9120.7520.866從以上表格可看出本發(fā)明方法的PLCC值與SROCC值都比較高，由此可見本發(fā)明方法適用于測量立體圖像質(zhì)量。當(dāng)前第1頁1 2 3