一種基于感知特征集的立體圖像質(zhì)量客觀評價方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種圖像質(zhì)量評價方法，尤其是涉及一種基于感知特征集的立體圖像 質(zhì)量客觀評價方法。
【背景技術(shù)】
[0002] 立體圖像質(zhì)量評價（StereoImageQualityAssessment，SIQA)是立體視頻技術(shù) 的一個重要組成部分。立體圖像/視頻在采集、存儲、處理以及傳輸中會不可避免地引入噪 聲或失真，造成立體圖像/視頻質(zhì)量的下降，因此，對立體圖像/視頻質(zhì)量的評價是一個需 要研宄和解決的重要問題。立體圖像質(zhì)量評價方法一般分為主觀和客觀兩類評價方法。主 觀評價方法因其存在費時、費力、成本高的缺點，不易實現(xiàn)和應(yīng)用；而客觀評價方法是集成 化的算法、模型，能夠快速方便的得到立體圖像的客觀質(zhì)量，無需人工干預(yù)，但其評價方法 尚未成熟，有待于深入研宄，因此客觀評價方法已成為研宄的重點。
[0003] 近些年，立體圖像質(zhì)量客觀評價的研宄取得了一系列成果，總體上可以劃分為兩 類：第一類：將平面圖像的評價方法直接應(yīng)用于立體圖像的質(zhì)量評價，如You等人將經(jīng)典的 平面圖像質(zhì)量評價方法，如PSNR、MS-SSM、VIF等直接用于左視點圖像和右視點圖像的評 價，對應(yīng)得到左視點圖像的質(zhì)量值和右視點圖像的質(zhì)量值，再取兩個質(zhì)量值的平均值作為 立體圖像的質(zhì)量，然而立體圖像與平面圖像的質(zhì)量評價有很大的區(qū)別，深度感失真程度也 是影響立體圖像的感知質(zhì)量的重要因素。第二類：在平面圖像質(zhì)量評價方法的基礎(chǔ)上加入 視差信息改善立體圖像的評價模型，如Yang等人加入立體圖像的絕對差異圖來進行立體 圖像質(zhì)量評價；又如Benoit等人將深度信息與平面圖像質(zhì)量評價方法結(jié)合評價立體圖像 質(zhì)量；Hachicha等人提出了基于雙目恰可察覺失真的立體圖像質(zhì)量評價方法，并用雙目融 合競爭衡量立體感的變化，但是，立體圖像的立體感是雙目融合、雙目競爭、雙目抑制的結(jié) 果，其機理非常復(fù)雜，因此立體感的衡量是非常困難的，這也導(dǎo)致這些方法與主觀感知的一 致性較低。以上這些立體圖像質(zhì)量評價方法都是由局部質(zhì)量得到全局質(zhì)量，或用線性或非 線性的特征融合方法得到立體圖像的客觀質(zhì)量，然而人類視覺系統(tǒng)是極其復(fù)雜的系統(tǒng)，這 些評價方法都無法較好地模擬復(fù)雜的人類視覺系統(tǒng)，導(dǎo)致評價準(zhǔn)確性較低。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明所要解決的技術(shù)問題是提供一種基于感知特征集的立體圖像質(zhì)量客觀評 價方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
[0005] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于感知特征集的立體圖像 質(zhì)量客觀評價方法，其特征在于包括以下步驟：
[0006] ①令1。,8表示原始的無失真的立體圖像，令I(lǐng)dis表示待評價的失真的立體圖像，將 IOTg的左視點圖像記為LOTg，將IOTg的右視點圖像記為ROTg，將Idis的左視點圖像記為Ldis，將 Idis的右視點圖像記為Rdis;
[0007] ②米用調(diào)頻顯著性檢測算法，獲取LOTg、ROTg、Ldis和Rdis各自的顯著圖，對

[0018] ⑧采用隨機森林機器學(xué)習(xí)算法，對訓(xùn)練集中的所有失真立體圖像的感知特征集進 行訓(xùn)練，使得經(jīng)過訓(xùn)練得到的回歸函數(shù)值與對應(yīng)的平均主觀意見分之間的誤差最小，構(gòu)造 得到隨機森林訓(xùn)練模型；
[0019] ⑨根據(jù)構(gòu)造得到的隨機森林訓(xùn)練模型，對Idis的感知特征集P進行測試，預(yù)測得到 Idis的客觀質(zhì)量評價預(yù)測值，記為Qdis，Qdis=MOD(P)，其中，MOD()為隨機森林訓(xùn)練模型的函 數(shù)表示形式。
[0020] 與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點在于：
[0021] 1)本發(fā)明方法以視覺感知特征圖的失真程度來衡量立體圖像的失真程度，提取與 視點感知質(zhì)量相關(guān)的顯著圖、梯度圖和空域恰可察覺失真圖，提取與立體感知質(zhì)量相關(guān)的 視差圖，將四種感知特征圖的失真程度作為立體圖像的特征構(gòu)成感知特征集，再用隨機森 林機器學(xué)習(xí)算法模擬復(fù)雜的人類視覺系統(tǒng)，進行特征參數(shù)的融合，本發(fā)明方法能夠客觀地 反映立體圖像受到各種圖像處理和壓縮方法影響下視覺質(zhì)量的變化情況，并且本發(fā)明方法 的評價性能不受立體圖像內(nèi)容和失真類型的影響，與人眼的主觀感知一致。
[0022] 2)本發(fā)明方法通過隨機森林機器學(xué)習(xí)算法對失真立體圖像的感知特征集進行訓(xùn) 練，構(gòu)造得到隨機森林訓(xùn)練模型，再根據(jù)構(gòu)造得到的隨機森林訓(xùn)練模型，對待評價的失真立 體圖像的感知特征集進行測試，預(yù)測得到待評價的失真立體圖像的客觀質(zhì)量評價預(yù)測值， 這種使特征參數(shù)以最佳的融合方式預(yù)測失真立體圖像的客觀質(zhì)量評價預(yù)測值，避免了對人 類視覺系統(tǒng)的相關(guān)特性與機理的復(fù)雜模擬過程，并且由于訓(xùn)練的感知特征集和測試的感知 特征集是相互獨立的，因此可以避免測試結(jié)果對訓(xùn)練數(shù)據(jù)的過度依賴，從而能夠有效地提 高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
【附圖說明】
[0023] 圖1為本發(fā)明方法的總體實現(xiàn)框圖；
[0024] 圖2a為原始的無失真的horse立體圖像的左視點圖像；
[0025] 圖2b為圖2a所示的圖像經(jīng)JPEG壓縮后得到的失真左視點圖像；
[0026] 圖2c為圖2a所示的圖像的顯著圖；
[0027] 圖2d為圖2b所示的圖像的顯著圖；
[0028] 圖2e為圖2a所示的圖像的梯度圖；
[0029] 圖2f為圖2b所示的圖像的梯度圖；
[0030] 圖2g為圖2a所示的圖像的空域恰可察覺失真圖；
[0031] 圖2h為圖2b所示的圖像的空域恰可察覺失真圖；
[0032] 圖2i為圖2a所示的圖像對應(yīng)的立體圖像的視差圖；
[0033] 圖2j為圖2b所示的圖像對應(yīng)的立體圖像的視差圖；
[0034] 圖3a為Akko(尺寸為640X480)立體圖像的左視點圖像；
[0035] 圖3b為Altmoabit(尺寸為1024X768)立體圖像的左視點圖像；
[0036] 圖3c為Balloons(尺寸為1024X768)立體圖像的左視點圖像；
[0037] 圖3d為Doorflower(尺寸為1024X768)立體圖像的左視點圖像；
[0038] 圖3e為Kendo(尺寸為1024X768)立體圖像的左視點圖像；
[0039]圖3f為LeaveLaptop(尺寸為1024X768)立體圖像的左視點圖像；
[0040] 圖3g為Lovebierdl(尺寸為1024X768)立體圖像的左視點圖像；
[0041] 圖3h為Newspaper(尺寸為1024X768)立體圖像的左視點圖像；
[0042] 圖3i為Puppy(尺寸為720X480)立體圖像的左視點圖像；
[0043] 圖3j為Soccer2(尺寸為720X480)立體圖像的左視點圖像；
[0044] 圖3k為Horse(尺寸為480X270)立體圖像的左視點圖像；
[0045] 圖31為Xmas(尺寸為640X480)立體圖像的左視點圖像。
【具體實施方式】
[0046] 以下結(jié)合附圖實施例對本發(fā)明作進一步詳細描述。
[0047] 人眼對立體圖像中失真的敏感程度不同，因此由局部質(zhì)量得到全局質(zhì)量的評價方 法與主觀感知的一致性較低，而感知特征圖是立體圖像在人類神經(jīng)系統(tǒng)中的淺層反映，是 立體圖像在人眼中最直觀的感受，當(dāng)立體圖像的失真導(dǎo)致感知特征圖失真時，人眼也會敏 感地察覺這些失真，因此，本發(fā)明提出的立體圖像質(zhì)量客觀評價方法提取四種感知特征圖， 包括顯著圖、梯度圖、空域恰可察覺失真圖和視差圖，并以其失真程度作為特征參數(shù)構(gòu)成感 知特征集，衡量立體圖像的失真程度。本發(fā)明提出的立體圖像質(zhì)量客觀評價方法用機器學(xué) 習(xí)的方法進行特征融合，通過訓(xùn)練隨機森林機器學(xué)習(xí)算法得到準(zhǔn)確性最高的特征高維非線 性融合模型，從而達到較高的預(yù)測準(zhǔn)確性。
[0048] 本發(fā)明提出的一種基于感知特征集的立體圖像質(zhì)量客觀評價方法，其總體實現(xiàn)框 圖如圖1所示，其包括以下步驟：
[0049] ①令1。,8表示原始的無失真的立體圖像，令I(lǐng)dis表示待評價的失真的立體圖像，將 IOTg的左視點圖像記為LOTg，將IOTg的右視點圖像記為ROTg，將Idis的左視點圖像記為Ldis，將 Idis的右視點圖像記為Rdis。
[0050] 圖2a給出了原始的無失真的horse立體圖像的左視點圖像，圖2b給出了圖2a所 示的圖像經(jīng)JPEG壓縮后得到的失真左視點圖像。
[0051] ②采用現(xiàn)有的調(diào)頻顯著性檢測算法，獲取LOTg、ROTg、Ldis和Rdis各自的顯著 圖，對應(yīng)記為5^、、&和;然后計算和私的均方誤差，記為，
;同樣，計算5^和gi的均方誤差，記為
[0052] 其中，M表示1_和Idis的寬度，N表示I_和Idis的高度，1彡i彡M，1彡j彡N， 表示 < 中坐標(biāo)位置為（i，j)的像素點的像素值，歧(/,/)表示51中坐標(biāo)位置 為（i，j)的像素點的像素值，表示中坐標(biāo)位置為（i，j)的像素點的像素值， 力表示51中坐標(biāo)位置為（i，j)的像素點的像素值。
[0053] 圖2c給出了圖2a所示的圖像的顯著圖，圖2d給出了圖2b所示的圖像的顯著圖。 [0054]③采用現(xiàn)有的水平Sobel算子，獲取LOTg、ROTg、Ldis和Rdis各自的水平梯 度圖，對應(yīng)記為劣抑、w、Gf和;并采用現(xiàn)有的垂直Sobel算子，獲
[0059] 在此，將LOTg、ROTg、L dis和R dis分別作為待處理圖像，則獲取待處理圖像的空域恰可 察覺失真圖的具體過程為：
[0060] ④-1、將待處理圖像記為I ;
[0061] ④-2、獲取I的亮度恰可察覺失真圖，記為JNDi，將JNDi中坐標(biāo)位置為（i，j)的
的圖像對應(yīng)的立體圖像的視差圖。
[0068]⑥將MSg,、M<"