一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方法
【專利摘要】本發(fā)明公開了一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方法，其考慮到人眼對立體視頻的感知過程中左視點視頻和右視點視頻權(quán)重的不確定性，將在立體視頻的左視點圖像和右視點圖像中進行塊匹配，組合成立體塊，利用三維離散余弦變換能夠有效提取視頻左右視點幀對的特點，將立體塊通過三維離散余弦變換提取部分系數(shù)進行質(zhì)量評價，得到最終的立體視頻質(zhì)量，有效地提高了客觀評價結(jié)果與主觀感知之間的相關(guān)性。
【專利說明】一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種視頻質(zhì)量評價方法，尤其是涉及一種基于三維離散余弦變換 (3D-DCT)的立體視頻質(zhì)量客觀評價方法。

【背景技術(shù)】
[0002] 三維圖像和立體視頻技術(shù)在當前的圖像視頻處理領(lǐng)域發(fā)展迅速，其相關(guān)技術(shù)的應 用已經(jīng)大量的融入到當前的社會生活中，例如立體電視、立體電影、裸眼3D等。然而，在立 體視頻的采集、壓縮、編碼、傳輸、顯示等過程中，引入不同程度和不同類型的失真難以避 免，而如何評價這些失真對立體視頻質(zhì)量的影響變得十分重要。立體視頻質(zhì)量評價可分為 主觀評價和客觀評價兩大類，而當前立體視頻質(zhì)量評價領(lǐng)域的關(guān)鍵技術(shù)是如何建立合理的 客觀評價模型來準確評價立體視頻質(zhì)量。目前，很多立體視頻質(zhì)量客觀評價模型只是簡單 的套用平面視頻的質(zhì)量評價方法，沒有很好地處理視點間的關(guān)系，很少有針對立體視頻的 特點，考慮到左視點與右視點之間對人眼感知的影響。有部分方法雖然考慮到了雙目之間 的關(guān)系，但左視點與右視點之間的加權(quán)處理不合理，難以準確地描述立體視頻的人眼感知 特性。且目前大部分對立體視頻質(zhì)量評價的時域加權(quán)處理只是簡單的平價加權(quán)，而事實上， 人眼對立體視頻的時域感知并非只是簡單的平均加權(quán)。因此，現(xiàn)有的立體視頻質(zhì)量客觀評 價方法并不能準確地反映人眼感知特性，客觀評價結(jié)果不夠準確。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明所要解決的技術(shù)問題是提供一種基于三維離散余弦變換的立體視頻質(zhì)量 客觀評價方法，其能夠有效地提高客觀評價結(jié)果與主觀感知之間的相關(guān)性。
[0004] 本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案為：一種基于三維離散余弦變換的立 體視頻質(zhì)量客觀評價方法，其特征在于包括以下步驟：
[0005] ①令I(lǐng)OTg表示原始的無失真的立體視頻，令I(lǐng)dis表示待評價的失真的立體視頻；
[0006] ②將IOTg中當前待處理的立體圖像定義為當前無失真立體圖像，將Idis中當前待 處理的立體圖像定義為當前失真立體圖像；
[0007] ③假設當前無失真立體圖像為IOTg中的第f幀立體圖像，并記為

【權(quán)利要求】
1. 一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方法，其特征在于包括以下步 驟： ① 令1"8表示原始的無失真的立體視頻，令I(lǐng)dis表示待評價的失真的立體視頻； ② 將I"g中當前待處理的立體圖像定義為當前無失真立體圖像，將Idis中當前待處理 的立體圖像定義為當前失真立體圖像； ③ 假設當前無失真立體圖像為i"g中的第f幀立體圖像，并記為14，同時假設當前失 真立體圖像為Idis中的第f幀立體圖像，并記為/i,將的左視點圖像和右視點圖像對應
記為心和仏，將4的左視點圖像和右視點圖像對應記為C和錢L*其中，1彡f彡N，f的 初始值為1，N表示和Lis中各自包含的立體圖像的總幀數(shù)； ?將1/劃分成 個i不重疊的尺寸大小為8X8的第一圖像塊，以尺寸大小為 org 8X8的滑動窗口在中逐像素點移動將劃分成（W-7)X(H-7)個相重疊的尺寸大小 為8X8的第二圖像塊，然后以14中的每個第一圖像塊為一個基準塊，在中找出每個基 準塊的最佳匹配塊，再計算每個基準塊與其最佳匹配塊的差異塊，假設以^4中坐標位置為 (u，V)的第一圖像塊為基準塊時，在中找出的該基準塊的最佳匹配塊為Mx中坐標位置 為（u'，v'）的第二圖像塊，則將以14.中坐標位置為（u，v)的第一圖像塊為基準塊時該基準 塊與其最佳匹配塊的差異塊記為/?.，
*其中，W表示IOTg和Idis中包 含的立體圖像的寬度，H表示Itm和Idis中包含的立體圖像的高度，并假設W和H剛好能夠 被8整除，
，符號"II"為取絕對值符號， 4?表示'中坐標位置為（u，v)的第一圖像塊，表示中坐標位置為（u'，v'）的 第二圖像塊，為在中找出的吃。的最佳匹配塊；
Vl 同樣，將f/劃分成 卩個互不重疊的尺寸大小為8X8的第一圖像塊，以尺寸大小 為8X8的滑動窗口在中逐像素點移動將i?i劃分成（W-7)X(H-7)個相重疊的尺寸大小 為8X8的第二圖像塊，然后以14中的每個第一圖像塊為一個基準塊，在中找出每個基 準塊的最佳匹配塊，再計算每個基準塊與其最佳匹配塊的差異塊，假設以14中坐標位置為 (u，v)的第一圖像塊為基準塊時，在中找出的該基準塊的最佳匹配塊為Si中坐標位置 為（u'，v'）的第二圖像塊，則將以/4中坐標位置為（u，v)的第一圖像塊為基準塊時該基 準塊與其最佳匹配塊的差異塊記為
，其中，
， 1彡u'彡W-7, 1彡V'彡H-7,符號"I I"為取絕對值符號，表示￡4中坐標位置為（u，V) 的第一圖像塊，把1=表示^中坐標位置為（u'，v'）的第二圖像塊，/為在中找出的 ;4:::!.的最佳匹配塊； ⑤ 根據(jù)中的每個第一圖像塊、i^中的每個第一圖像塊對應的差異塊及足中的 每個第一圖像塊對應的最佳匹配塊，獲取14中的每個第一圖像塊對應的長X寬X高為 8X8X3的無失真立體塊，將中坐標位置為（u，v)的第一圖像塊It=對應的無失真立體 塊記為C!').，為和尺：^從上到下依次疊放組成； 同樣，根據(jù)/4中的每個第一圖像塊、i4中的每個第一圖像塊對應的差異塊及14中的 每個第一圖像塊對應的最佳匹配塊，獲取中的每個第一圖像塊對應的長X寬X高為 8X8X3的失真立體塊,將14中坐標位置為（u，v)的第一圖像塊對應的失真立體塊記 為扣咬:';為42、故:;和c:.r從上到下依次疊放組成； ⑥ 對〖4=中的每個第一圖像塊對應的無失真立體塊進行三維離散余弦變換，得到^4 中的每個第一圖像塊對應的無失真立體塊的系數(shù)矩陣，將筆=)的系數(shù)矩陣記為 同樣，對Li中的每個第一圖像塊對應的失真立體塊進行三維離散余弦變換，得到14中的每個第一圖像塊對應的失真立體塊的系數(shù)矩陣，將^的系數(shù)矩陣記為; ⑦ 根據(jù)中的每個第一圖像塊對應的無失真立體塊的系數(shù)矩陣中的部分系數(shù)和14中的每個第一圖像塊對應的失真立體塊的系數(shù)矩陣中的部分系數(shù)，計算14中的每個第一 圖像塊對應的失真立體塊相對于<^4中相同坐標位置的第一圖像塊對應的無失真立體塊的
塊質(zhì)量，將 相對于 的塊質(zhì)量記為 d(ua')尺("") ife,./ Dmi-t
s
?
Ffl=沖，u)、和/^(2A1)對應表示Fi=中下標為（1，1，1)、（1，2，1)和 (2, 1，1)的系數(shù)的值，
}
，
，
和.
I對應表示中下標 為（1，1，1)、（1，2, 1)和（2, 1，1)的系數(shù)的值； ⑧ 根據(jù)中的每個第一圖像塊對應的失真立體塊相對于^4中相同坐標位置 的第一圖像塊對應的無失真立體塊的塊質(zhì)量，計算/i相對于的幀質(zhì)量，記為Qf，
，其中，w(u，v)表示 的權(quán)重；

⑨ 將I"g中下一幀待處理的立體圖像作為當前無失真立體圖像，將Idis中下一幀待處 理的立體圖像作為當前失真立體圖像，然后返回步驟③繼續(xù)執(zhí)行，直至1" 8和Idis中的所有 立體圖像處理完畢； ⑩ 計算Idis相對于IOTg的質(zhì)量，記為Q， ，其中，Tf表示的時域加權(quán)權(quán) r/ ￡dis 重。
2.根據(jù)權(quán)利要求1所述的一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方法， 其特征在于所述的步驟④中以中坐標位置為（u，v)的第一圖像塊為基準塊時，在中 找出該基準塊的最佳匹配塊的具體過程為： ④-al、在《^中，以與該基準塊的坐標位置相同的第二圖像塊的左上角像素點的坐標 位置為基準位置，然后沿基準位置的水平方向在像素偏移量區(qū)間[_DOTg，DOTg]內(nèi)逐像素點移 動，獲取該基準塊的所有匹配的第二圖像塊，將像素偏移量為d的匹配的第二圖像塊記為 和='171，其中，Dots為iC的最大視差，-DOTg <d<DOTg，p表示中與該基準塊的坐標位置 相同的第二圖像塊的左上角像素點的橫坐標，q表示中與該基準塊的坐標位置相同的 第二圖像塊的左上角像素點的縱坐標，1彡P(guān)彡W-7, 1彡q彡H-7 ; ④-bl、計算該基準塊與在像素偏移量區(qū)間[_DOTg，DOTg]內(nèi)的每個匹配的第二圖像塊的 差異，將該基準塊與的差異記為
其中，￠=(.1.v)表示/4中坐標位置為（u，v)的第一圖像塊中坐標位置為（x，y) 的像素點的像素值，表示中坐標位置為（x，y)的像素點的像素值， 1彡X彡8, 1彡y彡8,符號"I I"為取絕對值符號； ④-cl、在步驟④-bl的基礎(chǔ)上，找出值最小的差異，如果僅存在一個值最小的差異，則 將該差異對應的匹配的第二圖像塊作為該基準塊的最佳匹配塊；如果存在多個值相同且最 小的差異，則從這些差異各自對應的匹配的第二圖像塊中找出所有像素偏移量的絕對值最 小的匹配的第二圖像塊，當像素偏移量的絕對值最小的匹配的第二圖像塊僅存在一個時， 將該匹配的第二圖像塊作為該基準塊的最佳匹配塊，當像素偏移量的絕對值最小的匹配的 第二圖像塊存在兩個時，將像素偏移量為負的匹配的第二圖像塊作為該基準塊的最佳匹配 塊； ④-dl、假設該基準塊的最佳匹配塊為Iix中坐標位置為（u'，v'）的第二圖像塊，其中， 1 彡u' 彡W-7, 1 彡V'彡H-7; 所述的步驟④中以^4中坐標位置為（u，v)的第一圖像塊為基準塊時，在^中找出該 基準塊的最佳匹配塊的具體過程為： ④-a2、在/?4中，以與該基準塊的坐標位置相同的第二圖像塊的左上角像素點的坐標 位置為基準位置，然后沿基準位置的水平方向在像素偏移量區(qū)間[_Ddis，DdiJ內(nèi)逐像素點移 動，獲取該基準塊的所有匹配的第二圖像塊，將像素偏移量為d的匹配的第二圖像塊記為 "，其中，Ddis為J^5的最大視差，-Ddis彡d彡Ddis，p表示中與該基準塊的坐標位置 相同的第二圖像塊的左上角像素點的橫坐標，q表示i?,L中與該基準塊的坐標位置相同的 第二圖像塊的左上角像素點的縱坐標，1彡P(guān)彡W-7, 1彡q彡H-7 ; ④-b2、計算該基準塊與在像素偏移量區(qū)間[_Ddis，DdiJ內(nèi)的每個匹配的第二圖像塊
的差異，將該基準塊與的差異記為 /* i'dis'fj' 其中，￡丨〇%.?，)表示￡4中坐標位置為（u，v)的第一圖像塊￡以中坐標位置為（x，y) 的像素點的像素值，表示中坐標位置為（x，y)的像素點的像素值， 1彡X彡8, 1彡y彡8,符號"II"為取絕對值符號； ④-c2、在步驟④_b2的基礎(chǔ)上，找出值最小的差異，如果僅存在一個值最小的差異，則 將該差異對應的匹配的第二圖像塊作為該基準塊的最佳匹配塊；如果存在多個值相同且最 小的差異，則從這些差異各自對應的匹配的第二圖像塊中找出所有像素偏移量的絕對值最 小的匹配的第二圖像塊，當像素偏移量的絕對值最小的匹配的第二圖像塊僅存在一個時， 將該匹配的第二圖像塊作為該基準塊的最佳匹配塊，當像素偏移量的絕對值最小的匹配的 第二圖像塊存在兩個時，將像素偏移量為負的匹配的第二圖像塊作為該基準塊的最佳匹配 塊； ④-d2、假設該基準塊的最佳匹配塊為中坐標位置為（u'，v'）的第二圖像塊，其中， 1 彡u，彡W-7, 1 彡V，彡H-7。
3.根據(jù)權(quán)利要求1或2所述的一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方 法，其特征在于所述的步驟⑧中w(u，v)的獲取過程為： ⑧-1、對I?g中的每幀立體圖像的左視點圖像進行Sobel邊緣求取，得到IOTg中的每幀 立體圖像的左視點圖像的Sobel邊緣，將/4的Sobel邊緣記為SofeZix ; 同樣，對Idis中的每幀立體圖像的左視點圖像進行Sobel邊緣求取，得到Idis中的每幀 立體圖像的左視點圖像的Sobel邊緣，將￡4的Sobel邊緣記為； ⑧-2、根據(jù)IOTg中的每幀立體圖像的左視點圖像的Sobel邊緣和Idis中的每幀立體圖 像的左視點圖像的Sobel邊緣，計算Idis中的每幀立體圖像的左視點圖像的塊效應掩膜，將 的塊效應掩膜記為Sobelf ,將Sobelf中坐標位置為（i,j)的像素點的塊效應掩膜值記為Sobelf (i,j),
，其中，1 彡i彡W，1 彡j彡H， 表示中坐標位置為（i，j)的像素點的Sobel邊緣值，&/><(/,./>表示 Sote/』.,中坐標位置為（i,j)的像素點的Sobel邊緣值； ⑧-3、對Idis中的每幀立體圖像的左視點圖像進行亮度掩膜求取，得 至IJIdis中的每幀立體圖像的左視點圖像的亮度掩膜，將I的亮度掩膜記 為Iumf,將Iumf中坐標位置為（i,j)的像素點的亮度掩膜值記為Iumf (i,j),
，其中，I'（i，j)表示 中坐標位置為 (i，j)的像素點的亮度值； ⑧-4、根據(jù)Idis中的每幀立體圖像的左視點圖像的塊效應掩膜和亮度掩膜，計 算Idis中的每幀立體圖像的感知加權(quán)掩膜，將4的感知加權(quán)掩膜記為maskf，將maskf 中坐標位置為（i,j)的像素點的感知加權(quán)掩膜值記為maskf (i,j),maskf (i,j)=Sobelf(i,j)XIumf (i,j)； ⑧-5、按照i/中的圖像塊的劃分方式，以相同方式將maskf劃分成'
個互不重疊 的尺寸大小為8X8的圖像塊，然后根據(jù)Hiaskf中坐標位置為（u，v)的圖像塊中的 所有像素點的感知加權(quán)掩膜值，計算w(u'v)，
，其中，
表示中坐標位置為（X，y)的像素點的感知加權(quán)掩膜值，1彡X彡8, 1彡y彡8。
4.根據(jù)權(quán)利要求3所述的一種基于三維離散余弦變換的立體視頻質(zhì)量客觀評價方法， 其特征在于所述的步驟⑩中Tf的取值為：
【文檔編號】H04N13/00GK104243974SQ201410464325
【公開日】2014年12月24日 申請日期:2014年9月12日 優(yōu)先權(quán)日:2014年9月12日
【發(fā)明者】蔣剛毅, 唐先偉, 鄭凱輝, 宋洋, 郁梅 申請人:寧波大學