基于局部三元模式的無參考立體圖像客觀質(zhì)量評價方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種立體圖像質(zhì)量評價方法，尤其是設(shè)及一種基于局部=元模式的無 參考立體圖像客觀質(zhì)量評價方法。
【背景技術(shù)】
[0002] 進入二十一世紀W來，隨著立體圖像/視頻系統(tǒng)處理技術(shù)的日趨成熟，W及計算 機網(wǎng)絡(luò)與通信技術(shù)的快速發(fā)展，已引起人們對立體圖像/視頻系統(tǒng)的強烈需求。相比傳統(tǒng) 單視點圖像/視頻系統(tǒng)，立體圖像/視頻系統(tǒng)由于能夠提供深度信息來增強視覺的真實感， 給用戶W身臨其境的全新視覺體驗而越來越受到人們的歡迎，已被認為是下一代媒體主要 的發(fā)展方向，引發(fā)了學術(shù)界、產(chǎn)業(yè)界的廣泛關(guān)注。然而，人們?yōu)榱双@得更好的立體臨場感和 視覺體驗，對立體視覺主觀感知質(zhì)量提出了更高的要求。立體視覺主觀感知質(zhì)量是衡量立 體圖像/視頻系統(tǒng)性能優(yōu)劣的一個重要指標。在立體圖像/視頻系統(tǒng)中，采集、編碼、傳輸、 解碼及顯示等處理環(huán)節(jié)都會引入一定失真，該些失真將對立體視覺主觀感知質(zhì)量產(chǎn)生不同 程度的影響，因此如何有效地進行無參考質(zhì)量評價是亟需解決的難點問題。綜上，評價立體 圖像質(zhì)量，并建立與主觀質(zhì)量評價相一致的客觀評價模型顯得尤為重要。目前，研究人員提 出了不少針對單視點視覺質(zhì)量的無參考評價方法，然而由于缺乏系統(tǒng)理論深入研究立體視 覺感知特性，因此還沒有有效地無參考立體圖像質(zhì)量評價方法。相比單視點視覺質(zhì)量無參 考評價模型，無參考立體圖像質(zhì)量評價模型需要考慮不同失真類型立體掩蔽效應(yīng)W及與之 相關(guān)的雙目競爭/抑制和雙目融合等立體感知因素對視覺質(zhì)量的影響。因此，不能簡單地 把現(xiàn)有的單視點視覺質(zhì)量無參考評價模型直接擴展到無參考立體圖像質(zhì)量評價方法中?，F(xiàn) 有的無參考質(zhì)量客觀評價方法主要是通過機器學習來預(yù)測評價模型的，但針對立體圖像， 現(xiàn)有的立體圖像評價方法還是平面圖像評價方法的簡單擴展，并沒有考慮雙目視覺特性， 因此，如何在評價過程中有效地提取特征信息，在評價過程中進行雙目視覺特性結(jié)合，使得 客觀評價結(jié)果更加符合人類視覺感知系統(tǒng)，是立體圖像進行客觀質(zhì)量評價過程中需要研究 解決的問題。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是提供一種基于局部=元模式的無參考立體圖像客 觀質(zhì)量評價方法，其能夠充分考慮到立體視覺特性，從而能夠有效地提高客觀評價結(jié)果與 主觀感知之間的相關(guān)性。
[0004] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為；一種基于局部=元模式的無參考 立體圖像客觀質(zhì)量評價方法，其特征在于其處理過程為；首先，對待評價的失真的立體圖像 的左視點圖像和右視點圖像分別實施高斯梯度濾波，得到各自的幅值圖像和相位圖像，并 計算待評價的失真的立體圖像的左視點圖像與右視點圖像之間的視差圖像；其次，根據(jù)待 評價的失真的立體圖像的左視點圖像和右視點圖像各自的幅值圖像和相位圖像，及左視點 圖像與右視點圖像之間的視差圖像，計算待評價的失真的立體圖像的左右視點特征融合圖 像；接著，采用局部=元模式操作對待評價的失真的立體圖像的左右視點特征融合圖像進 行處理，得到其局部=元模式的上模式圖像和下模式圖像；之后，采用直方圖統(tǒng)計方法分別 對上模式圖像和下模式圖像進行統(tǒng)計操作，對應(yīng)得到待評價的失真的立體圖像的上模式圖 像直方圖統(tǒng)計特征向量和下模式圖像直方圖統(tǒng)計特征向量；最后，根據(jù)待評價的失真的立 體圖像的上模式圖像直方圖統(tǒng)計特征向量和下模式圖像直方圖統(tǒng)計特征向量，采用支持向 量回歸預(yù)測得到待評價的失真的立體圖像的客觀質(zhì)量評價預(yù)測值。
[0005] 該無參考立體圖像客觀質(zhì)量評價方法包括W下步驟：
[0006] ①令Sdk表示待評價的失真的立體圖像，將Sdk的左視點圖像記為{Ldk(X，y)}，將 SdJ勺右視點圖像記為出心(x，y)}，其中，1《X《W，1《y《H，W表示SdJ勺寬度，H表示 Sdis的高度，Ldis(x，y)表示{Ldk(x，y)}中坐標位置為（x，y)的像素點的像素值，Rdk(x，y) 表示出dk(x，y)}中坐標位置為（x，y)的像素點的像素值；
[0007] ②對{Ldk(x，y)}實施高斯梯度濾波，得到{Ldk(x，y)}的幅值圖像和相位圖 像，對應(yīng)記為{GL_dk(x，y)}和巧L_dk(x，y)};同樣，對化k(x，y)}實施高斯梯度濾波，得 到{R心(x，y)}的幅值圖像和相位圖像，對應(yīng)記為咕_心片7)}和〇Vdk(x，y)};其中，Gl 心(x，y)表示粒_心(x，y)}中坐標位置為（x，y)的像素點的像素值，PLdk(x，y)表示IPl_ dis(x，y)}中坐標位置為（x，y)的像素點的像素值，GK_dis(x，y)表示（GK_dis(x，y)}中坐標位 置為（x，y)的像素點的像素值，PE_dk(x，y)表示0V心(x，y)}中坐標位置為（x，y)的像素 點的像素值；
[000引⑨采用塊匹配方法計算{Ldk(x，y)}與化k(x，y)}之間的視差圖像，記為 {(1心0!；，7)}，其中，(1心0!；，7)表示{(1心0!；，7)}中坐標位置為0!；，7)的像素點的像素值；
[0009] ④根據(jù)（Guis(X，y)}和{Puis(X，y)}、咕_心(X，y)}和{PK_dis(X，y)}、{d"s(X，y)}， 計算5^煎左右視點特征融合圖像，記為伊^,片州，將化^片州中坐標位置為片7)的 像素點的像素值記為Fdk(x，y)， (x,v)= (G, {x,v))' + (Gj,{x+ {x,v),v))" +Gi{x,v)x{x+ (x,v),v)xcos(^^,,(x,v)) ，其中，GK_dk(x+ddk(x，y)，y)表示（GK_dk(x，y)}中坐標位置為（x+ddk(x，y)，y)的像素點的像素值，腳b(W) = 6_化佔y)-fi〇/,,(x+馬,,(x，y)，y)，PK_dis(x+cU(x，y)，y)表示 〇V dk(x，y)}中坐標位置為（x+ddk(x，y)，y)的像素點的像素值，cosO為取余弦函數(shù)；
[0010] ⑥采用局部S元模式操作對{Fdk(x，y)}進行處理，得到{Fdk(x，y)}的局部S元 模式的上模式圖像和下模式圖像，對應(yīng)記為{LTPu(x，y)}和{LTPD(x，y)}，其中，LTPu(x，y) 表示{LTPu(x，y)}中坐標位置為（x，y)的像素點的像素值，LTPD(x，y)表示{LTPD(x，y)}中 坐標位置為（x，y)的像素點的像素值；
[OCm] ⑧采用直方圖統(tǒng)計方法對{LTPu(x，y)}進行統(tǒng)計操作，得到Sdk的上模式圖像直方 圖統(tǒng)計特征向量，記為{Hu(m)};同樣，采用直方圖統(tǒng)計方法對{LTPD(x，y)}進行統(tǒng)計操作， 得到Sdk的下模式圖像直方圖統(tǒng)計特征向量，記為化D(m)};其中，的維數(shù)為IXm' 維，Hu(m)表示化(m)}中的第m個元素，化(m)}的維數(shù)為1Xm'維，Hd(m)表示化(m)}中 的第m個元素，1《m《m'，m' =P+2,P表示局部S元模式操作中的領(lǐng)域參數(shù)；
[0012]⑦采用n"幅原始的無失真的立體圖像，建立其在不同失真類型不同失真程度下的 失真立體圖像集合，該失真立體圖像集合包括多幅失真立體圖像；然后利用主觀質(zhì)量評價 方法評價出該失真立體圖像集合中的每幅失真立體圖像的主觀評分，將該失真立體圖像集 合中的第j幅失真立體圖像的主觀評分記為DMOSj.;再按照步驟①至步驟⑧的操作，W相同 的方式獲取該失真立體圖像集合中的每幅失真立體圖像的上模式圖像直方圖統(tǒng)計特征向 量和下模式圖像直方圖統(tǒng)計特征向量，將該失真立體圖像集合中的第j幅失真立體圖像的 上模式圖像直方圖統(tǒng)計特征向量和下模式圖像直方圖統(tǒng)計特征向量對應(yīng)記為和 化，^m)};其中，n"〉1，j的初始值為1，1《j《N'，N'表示該失真立體圖像集合中包含的失 真立體圖像的總幅數(shù)，0《DM0S聲100,化uj(m)}和{HdjOu)}的維數(shù)均為IXm'維，Hu，j(m) 表示咕，j(m)}中的第m個元素，H。，j(m)表示化，j(m)}中的第m個元素，1《m《m'，m'= P+2,P表示局部S元模式操作中的領(lǐng)域參數(shù)；
[0013] ⑨將該失真圖像集合作為訓(xùn)練集；然后利用支持向量回歸對訓(xùn)練集中的所有失真 立體圖像的主觀評分及上模式圖像直方圖統(tǒng)計特征向量和下模式圖像直方圖統(tǒng)計特征向 量進行訓(xùn)練，使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與主觀評分之間的誤差最小，擬合得到最優(yōu) 的權(quán)值矢量w°p嘴最優(yōu)的偏置項b接著利用W嘴b構(gòu)造得到支持向量回歸訓(xùn)練模型； 再根據(jù)支持向量回歸訓(xùn)練模型，對Sdk的上模式圖像直方圖統(tǒng)計特征向量化u(m)}和下模 式圖像直方圖統(tǒng)計特征向量{HdOu)}進行測試，預(yù)測得到Sdk的客觀質(zhì)量評價預(yù)測值，記為 Q，Q=f(X)，/樹= (WW")>Cr) +bw';其中，Q是X的函數(shù)，f0為函數(shù)表示形式，X為輸入， X表示Sdk的上模式圖像直方圖統(tǒng)計特征向量化u(m)}和下模式圖像直方圖統(tǒng)計特征向量 (HdOu)}，（W°Pt)T為W°Pt的轉(zhuǎn)置矢量，抑A')為X的線性函數(shù)。
[0014] 所述的步驟②中的高斯梯度濾波中的尺度參數(shù)0取值為0. 5。
[0015] 所述的步驟⑥中的局部=元模式操作中的領(lǐng)域參數(shù)P取值為8、局部半徑參 數(shù)R取值為1、自適應(yīng)闊值矩陣{T(x，y)}中下標為（x，y)的元素的值T(x，y)取值為 曰XFdi,(x,y