一種立體視頻質(zhì)量評(píng)價(jià)方法
【專利摘要】本發(fā)明公開了一種立體視頻質(zhì)量評(píng)價(jià)方法，包括：提取結(jié)合亮度權(quán)重的左、右視點(diǎn)視頻的亮度對(duì)比度失真評(píng)價(jià)指標(biāo)；提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻的結(jié)構(gòu)相似度評(píng)價(jià)指標(biāo)；提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻的清晰度失真評(píng)價(jià)指標(biāo)；采用梯度結(jié)構(gòu)相似度算法計(jì)算原始視頻視差圖和失真視頻視差圖的子塊平均亮度、子塊梯度對(duì)比度、子塊梯度相關(guān)系數(shù)，通過平均立體視頻所有視差圖子塊的深度保真度，得到整段立體視頻的深度保真度評(píng)價(jià)指標(biāo)；通過多元非線性回歸分析得到每個(gè)立體視頻質(zhì)量評(píng)價(jià)指標(biāo)的數(shù)學(xué)形態(tài)和權(quán)重，從而構(gòu)建出完整的全參考立體視頻質(zhì)量評(píng)價(jià)模型。本方法能夠正確反映立體視頻質(zhì)量，通過實(shí)驗(yàn)結(jié)果表明本方法提高了評(píng)價(jià)結(jié)果的準(zhǔn)確度。
【專利說明】一種立體視頻質(zhì)量評(píng)價(jià)方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及立體視頻領(lǐng)域，特別涉及一種立體視頻質(zhì)量評(píng)價(jià)方法。
【背景技術(shù)】
[0002]視覺是人類感知世界、認(rèn)識(shí)世界的主要途徑，而立體視覺則是人類對(duì)于物體的距離、深度的感知，是視覺的高級(jí)功能。隨著人類對(duì)立體視覺認(rèn)知過程研究的不斷深入，也給立體技術(shù)的發(fā)展帶來了新的機(jī)遇。目前，立體視頻技術(shù)已被廣泛應(yīng)用于教育、醫(yī)療、軍事、電影、電視等諸多領(lǐng)域，但是，立體視頻在處理、存儲(chǔ)、編碼、傳輸、重構(gòu)和顯示過程中會(huì)受到各種損傷，因此，建立一個(gè)立體視頻質(zhì)量評(píng)價(jià)系統(tǒng)對(duì)立體視頻行業(yè)的不斷發(fā)展至關(guān)重要。
[0003]立體視頻質(zhì)量評(píng)價(jià)方法大致分為主觀評(píng)價(jià)和客觀評(píng)價(jià)兩個(gè)方面。主觀評(píng)價(jià)方法是利用被試者對(duì)立體視頻的直接反映作為視頻質(zhì)量值，結(jié)果準(zhǔn)確、真實(shí)，但耗時(shí)長(zhǎng)、可移植性較差；客觀評(píng)價(jià)方法是通過計(jì)算機(jī)編程來實(shí)現(xiàn)立體視頻的評(píng)價(jià)，優(yōu)點(diǎn)是速度快、成本低、方便計(jì)算機(jī)處理和實(shí)現(xiàn)。因此，有必要研究一種可靠、有效的立體視頻質(zhì)量客觀評(píng)價(jià)方法。
[0004]客觀評(píng)價(jià)目前主流方法有三類，分別為全參考幀(Full-Reference，F(xiàn)R)、半?yún)⒖贾胸?Reduced-Reference, RR)和無參考巾貞(No-Reference, NR)度量模型。一些文獻(xiàn)提出的算法主要以峰值信噪比(Peak Signal Noise Ratio, PSNR)和結(jié)構(gòu)相似度(StructuralSimilarity Index Metric, SSIM)算法為框架,成于慶和姜秀華[1]通過計(jì)算參考視頻與失真視頻的兩視點(diǎn)間絕對(duì)差值圖的PSNR值來獲得立體視頻評(píng)價(jià)結(jié)果；孫延[2]基于人眼視覺系統(tǒng)提出了基于深度的SSIM加權(quán)算法DSSM，利用基于深度圖的多視點(diǎn)視頻(Mult1-ViewVideo Plus Depth, MVD)的深度視圖空間和時(shí)間上的特性，提取主觀權(quán)值映射；DonghyunKim等ω將改進(jìn)后的PSNR和SSIM算法分別應(yīng)用到立體視頻質(zhì)量評(píng)價(jià)算法中，改進(jìn)方法中考慮到了深度特征和運(yùn)動(dòng)特征。Chaminda Τ.Ε.R等人[4]提出了基于邊緣信息的半?yún)⒖剂Ⅲw視頻質(zhì)量評(píng)價(jià)模型，只傳輸部分特征信息，不提供完整的原始視頻；Ζ.Μ.Parvez Sazzad[5]、Anish Mittalte]等分別提出了無參考立體視頻評(píng)價(jià)算法，利用空間特征、時(shí)間特征和視差或視差圖、空間分布圖和運(yùn)動(dòng)信息圖的統(tǒng)計(jì)特征作為質(zhì)量評(píng)價(jià)的指標(biāo)；無參考立體視頻評(píng)價(jià)算法雖然未使用原始視頻，但其提取的大量評(píng)價(jià)指標(biāo)均需要賦予合適的權(quán)重，而選取權(quán)重需要大量的主觀實(shí)驗(yàn)結(jié)果。
[0005]發(fā)明人在實(shí)現(xiàn)本發(fā)明的過程中發(fā)現(xiàn)，現(xiàn)有技術(shù)中至少存在以下主要缺點(diǎn)和不足:
[0006]對(duì)于立體視頻質(zhì)量評(píng)價(jià)方法尚無統(tǒng)一的標(biāo)準(zhǔn)，一些方法直接將平面圖像和平面視頻質(zhì)量評(píng)價(jià)方法應(yīng)用于立體視頻質(zhì)量評(píng)價(jià)中，并未考慮到視頻的運(yùn)動(dòng)特征和深度特性指標(biāo)，使得得到的立體視頻客觀評(píng)價(jià)值與主觀評(píng)價(jià)值之間的相關(guān)性較低，會(huì)導(dǎo)致評(píng)價(jià)結(jié)果不準(zhǔn)確；在分配立體視頻每個(gè)視點(diǎn)的質(zhì)量權(quán)重時(shí)，取均值的方法不符合人類立體視覺特性，無法滿足實(shí)際應(yīng)用中的需要。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供了一種立體視頻質(zhì)量評(píng)價(jià)方法，本方法綜合考慮了影響立體視頻質(zhì)量的各個(gè)指標(biāo)并有效的結(jié)合，提高了與主觀評(píng)價(jià)結(jié)果的相關(guān)性，詳見下文描述:
[0008]一種立體視頻質(zhì)量評(píng)價(jià)方法，所述方法包括以下步驟:
[0009](I)分別提取結(jié)合亮度權(quán)重的左、右視點(diǎn)視頻序列亮度對(duì)比度失真評(píng)價(jià)指標(biāo)Pleft和 P1^ght ；
[0010](2)分別提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻序列的結(jié)構(gòu)相似度評(píng)價(jià)指標(biāo)Sleft和
C.0right ?
[0011](3)分別提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻序列的清晰度失真評(píng)價(jià)指標(biāo)Fleft和F.1 right ，
[0012](4)采用基于梯度的結(jié)構(gòu)相似度算法計(jì)算原始視頻視差圖Xd和失真視頻視差圖Yd的子塊平均亮度Id (xd, yD)、子塊梯度對(duì)比度CDg (xD, yD)、子塊梯度相關(guān)系數(shù)SDg (xD, yD)，然后，通過平均立體視頻所有視差圖子塊的深度保真度，得到整段立體視頻序列的深度保真度評(píng)價(jià)指標(biāo)GSSIMd ；
[0013](5)通過多元非線性回歸分析得到每個(gè)立體視頻質(zhì)量評(píng)價(jià)指標(biāo)的數(shù)學(xué)形態(tài)和權(quán)重，從而構(gòu)建出完整的全參考立體視頻質(zhì)量評(píng)價(jià)模型。
[0014]所述分別提取結(jié)合亮度權(quán)重的左、右視點(diǎn)視頻的亮度對(duì)比度失真評(píng)價(jià)指標(biāo)Pleft和Pright的步驟具體為:
[0015]通過平均所有幀的亮度對(duì)比度失真值Pi分別得到左、右視點(diǎn)視頻序列的亮度對(duì)比度失真評(píng)價(jià)指標(biāo)Pleft和p_t;
【權(quán)利要求】
1.一種立體視頻質(zhì)量評(píng)價(jià)方法，其特征在于，所述方法包括以下步驟: (O分別提取結(jié)合亮度權(quán)重的左、右視點(diǎn)視頻序列亮度對(duì)比度失真評(píng)價(jià)指標(biāo)Plrft和Pright ? (2)分別提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻序列的結(jié)構(gòu)相似度評(píng)價(jià)指標(biāo)Slrft和C.0right ? (3 )分別提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻序列的清晰度失真評(píng)價(jià)指標(biāo)F1 rft和F.1 right ， (4)采用基于梯度的結(jié)構(gòu)相似度算法計(jì)算原始視頻視差圖Xd和失真視頻視差圖Yd的子塊平均亮度Id (xd, yD)、子塊梯度對(duì)比度CDg (xD, yD)、子塊梯度相關(guān)系數(shù)SDg (xD, yD)，然后，通過平均立體視頻所有視差圖子塊的深度保真度，得到整段立體視頻序列的深度保真度評(píng)價(jià)指標(biāo) GSSIMd ； (5)通過多元非線性回歸分析得到每個(gè)立體視頻質(zhì)量評(píng)價(jià)指標(biāo)的數(shù)學(xué)形態(tài)和權(quán)重，從而構(gòu)建出完整的全參考立體視頻質(zhì)量評(píng)價(jià)模型。
2.根據(jù)權(quán)利要求1所述的一種立體視頻質(zhì)量評(píng)價(jià)方法，其特征在于，所述分別提取結(jié)合亮度權(quán)重的左、右視點(diǎn)視頻的亮度對(duì)比度失真評(píng)價(jià)指標(biāo)Plrft和P&ht的步驟具體為: 通過平均所有幀的亮度對(duì)比度失真Pi分別得到左、右視點(diǎn)視頻序列的亮度對(duì)比度失真評(píng)價(jià)指標(biāo)Pleft和Pright;
3.根據(jù)權(quán)利要求1所述的一種立體視頻質(zhì)量評(píng)價(jià)方法，其特征在于，所述分別提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻序列的結(jié)構(gòu)相似度評(píng)價(jià)指標(biāo)Slrft和S^ght的步驟具體為: 通過平均所有幀的結(jié)構(gòu)相似度Si得到左、右視點(diǎn)視頻序列的結(jié)構(gòu)相似度評(píng)價(jià)指標(biāo)Sleft和 Sright ；
4.根據(jù)權(quán)利要求1所述的一種立體視頻質(zhì)量評(píng)價(jià)方法，其特征在于，所述分別提取結(jié)合運(yùn)動(dòng)權(quán)重的左、右視點(diǎn)視頻序列的清晰度失真評(píng)價(jià)指標(biāo)Flrft和Kight的步驟具體為:通過求取所有幀的均值，分別獲得左、右視點(diǎn)視頻序列的清晰度失真Fi評(píng)價(jià)指標(biāo)Fleft
5.根據(jù)權(quán)利要求1所述的一種立體視頻質(zhì)量評(píng)價(jià)方法，其特征在于，所述全參考立體視頻質(zhì)量評(píng)價(jià)模型具體為:
【文檔編號(hào)】H04N17/00GK103780895SQ201410021191
【公開日】2014年5月7日 申請(qǐng)日期:2014年1月16日 優(yōu)先權(quán)日:2014年1月16日
【發(fā)明者】李素梅, 馬瑞澤, 馬辰陽 申請(qǐng)人:天津大學(xué)