本發(fā)明屬圖像處理領(lǐng)域,涉及一種無參考立體圖像質(zhì)量客觀評價(jià)方法。
背景技術(shù):
近年來,三維技術(shù)逐漸普及,步入大眾生活,為觀眾帶來了更好的視覺體驗(yàn)和臨場感,但同時(shí)也對立體圖像的質(zhì)量提出了更高的要求。由于立體圖像的不恰當(dāng)處理可能會(huì)引起觀看者的視覺疲勞與不適,因此十分有必要提出一種統(tǒng)一、客觀、有效的立體圖像質(zhì)量評價(jià)方法對立體圖像質(zhì)量進(jìn)行準(zhǔn)確的預(yù)測。
現(xiàn)有的立體圖像質(zhì)量評價(jià)方法主要包括基于平面圖像質(zhì)量參數(shù)的評價(jià)方法和基于人類視覺基本特性的評價(jià)方法兩種。但是,基于平面圖像質(zhì)量參數(shù)的評價(jià)方法沒有充分考慮人類視覺特性,缺少對立體信息有效利用,因而難以投入實(shí)踐?,F(xiàn)有的基于人類視覺基本特性的評價(jià)方法中最重要的一步是立體匹配,但是如何有效地提取立體信息,合理地進(jìn)行匹配,仍然是立體圖像領(lǐng)域關(guān)注的焦點(diǎn)。因此,很有必要建立一個(gè)以立體圖像基本信息為基礎(chǔ),又充分考慮人類視覺特性的立體圖像質(zhì)量客觀評價(jià)方法。
此外,鑒于現(xiàn)有的立體圖像質(zhì)量評價(jià)方法需要原始的參考圖像作為評價(jià)依據(jù),因此具有很大的局限性,所以無參考(即不需要原始的參考圖像對做評價(jià)依據(jù))立體圖像質(zhì)量評價(jià)方法應(yīng)運(yùn)而生。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于提供一種充分考慮人類視覺特性的立體圖像質(zhì)量客觀評價(jià)方法。本發(fā)明將立體圖像對和圖和差圖與人類視覺系統(tǒng)的基本特性相結(jié)合,對立體圖像質(zhì)量做出更加全面、準(zhǔn)確的客觀評價(jià)。技術(shù)方案如下:
一種基于稀疏表示的立體圖像質(zhì)量客觀評價(jià)方法,每個(gè)失真立體圖像對由左圖和右圖組成,設(shè)失真圖像對為(tl,tr),包括以下步驟:
第一步:奇異值分解算法K-SVD進(jìn)行字典學(xué)習(xí)。
第二步,模擬人眼的立體感雙通道特性,將圖像庫中的所有失真圖像對(tl,tr)進(jìn)行相減取絕對值和求和取均值操作,得到失真圖像差值圖td以及失真圖像和值圖ts;
第三步:對立體圖像庫中的失真圖像對進(jìn)行稀疏表示。
第四步:利用正交匹配追蹤算法OMP對第二步中得到的和圖和差圖進(jìn)行稀疏表示,得到相應(yīng)的系數(shù)矩陣Cs和Cd。
第五步:對失真立體圖像對左右圖、和圖以及差圖稀疏表示后的系數(shù)矩陣分別進(jìn)行求熵操作,得到各自的熵E。
第六步:利用支持向量機(jī)SVM對圖像庫中圖像對的熵及相應(yīng)的主觀評價(jià)值DMOS進(jìn)行訓(xùn)練。具體如下,隨機(jī)選擇Q×80%幅圖像對的熵和DMOS用于訓(xùn)練,得到相應(yīng)的熵-DMOS模型。
第七步:對任意一組失真圖像對,進(jìn)行第一步至第四步操作,得到對應(yīng)的熵。根據(jù)第四步中得到的熵-DMOS模型,利用SVM對該圖像對的客觀預(yù)測值進(jìn)行預(yù)測,到最終的客觀預(yù)測值。
本發(fā)明所提出的立體圖像客觀質(zhì)量評價(jià)方法以立體圖像稀疏表示系數(shù)為基礎(chǔ),以人類視覺特性為評價(jià)依據(jù),把熵與視覺感知過程相結(jié)合,充分模擬了立體圖像主觀評價(jià)的過程,得到的立體圖像質(zhì)量客觀評價(jià)結(jié)果與主觀評價(jià)結(jié)果具有很高的一致性,能夠較為準(zhǔn)確的反映圖像的質(zhì)量。
附圖說明
圖1是本發(fā)明的流程框圖。
具體實(shí)施方式
基于稀疏表示的立體圖像質(zhì)量客觀評價(jià)方法,每個(gè)失真立體圖像對由左圖和右圖組成,設(shè)失真圖像對為(tl,tr),包括以下步驟:
第一步:選取P幅m×n尺寸無失真的平面參考圖像,每個(gè)圖像分割為8×8的圖像塊M=[m/8]×[n/8]個(gè),其中[x]表示不大于x的最大整數(shù)。并將每個(gè)8×8的圖像塊按列排成一列,標(biāo)記為xi(64×1)。這樣每個(gè)無失真參考圖像都可以轉(zhuǎn)換為(64×1)×M的二維矩陣。P幅無失真平面參考圖像通過上述處理,可以得到一個(gè)64×(M×P)的二維矩陣。隨后,根據(jù)公式(1),可以求得相應(yīng)的字典D。
在求解的過程中,字典的求解利用K-SVD算法,迭代次數(shù)設(shè)置為40次,字典稀疏基(原子)的數(shù)目為256。
第二步:對立體圖像庫中的失真圖像對進(jìn)行稀疏表示。假定立體圖像庫中,圖像對的總數(shù)目為Q,失真圖像對左(右)圖大小為m×n。利用第一步中得到的字典D,對每一組失真圖像對的左、右圖進(jìn)行稀疏表示,求得相應(yīng)的系數(shù)矩陣Cl和Cr。此過程中,采用的算法是OMP算法,迭代次數(shù)為14次。每組失真圖相對的左(右)圖系數(shù)矩陣的大小為256×([m/8]×[n/8])×14的三維矩陣。
第三步,模擬人眼的立體感雙通道特性,將圖像庫中的所有失真圖像對(tl,tr)進(jìn)行相減取絕對值和求和取均值操作,得到失真圖像差值圖td以及失真圖像和值圖ts。參照第二步,得到的和圖和差圖進(jìn)行稀疏表示,得到相應(yīng)的系數(shù)矩陣Cs和Cd
第四步:對失真立體圖像對左右圖、和圖以及差圖稀疏表示后的系數(shù)矩陣分別進(jìn)行求熵操作,得到各自的熵E。以和圖為例,具體操作如下:
用代表稀疏表示第i(1≤i≤14)次迭代中,第j(1≤j≤256)個(gè)稀疏基中系數(shù)的具體值。
對應(yīng)概率分布函數(shù)如下:
根據(jù)香農(nóng)公式,其熵如下:
其中,k是稀疏基的個(gè)數(shù),本發(fā)明中k=256。按照上述操作,分別求得每一組失真立體圖像對左右圖、和圖以及差圖的熵,每一組熵均為1×56的行向量。
第五步:利用支持向量機(jī)(SVM)對圖像庫中圖像對的熵及相應(yīng)的主觀評價(jià)值DMOS進(jìn)行訓(xùn)練。具體如下,隨機(jī)選擇Q×80%幅圖像對的熵和主觀預(yù)測值(DMOS)用于訓(xùn)練,得到相應(yīng)的熵-DMOS模型。
第六步:對任意一組失真圖像對,進(jìn)行第一步至第四步操作,得到對應(yīng)的熵。根據(jù)第四步中得到的熵-DMOS模型,利用SVM對該圖像對的客觀預(yù)測值進(jìn)行預(yù)測,到最終的客觀預(yù)測值。