專利名稱：一種多視點(diǎn)視頻編碼視點(diǎn)間預(yù)測(cè)快速選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編碼領(lǐng)域，具體涉及一種多視點(diǎn)視頻編碼視點(diǎn)間預(yù)測(cè)快速選擇方法。
背景技術(shù)：
多視點(diǎn)視頻(Multiview Video, MV)是利用不同位置的攝像頭對(duì)同一場(chǎng)景進(jìn)行拍攝得到的視頻數(shù)據(jù)，它包含了豐富的視覺信息，可以應(yīng)用于3D電視、自由視點(diǎn)電視、視頻監(jiān)控、虛擬現(xiàn)實(shí)等領(lǐng)域。多視點(diǎn)視頻編碼(Multiview Video Coding, MVC)對(duì)多視點(diǎn)視頻數(shù)據(jù)進(jìn)行高效的壓縮，以解決其巨大數(shù)據(jù)量的存儲(chǔ)和傳輸?shù)膯栴}。聯(lián)合視頻工作組(Joint VideoTeam, JVT)已完成對(duì)多視點(diǎn)視頻編碼的標(biāo)準(zhǔn)化，將其作為H. 264/AVC的第四個(gè)增修案(JAL ITU-T and IS0/IEC JTC 1, Advanced video coding forgeneric audiovisual services，即“面向音視頻服務(wù)的高級(jí)視頻編碼”，ITU-TRecommendation H. 264 and ISO/ IEC 14496 (MPEG-4 AVC)，2010)。為了提高編碼壓縮效率，多視點(diǎn)視頻編碼的宏塊幀間模式不僅采用傳統(tǒng)單視點(diǎn)視頻編碼的時(shí)域預(yù)測(cè)來減少時(shí)間方向上的數(shù)據(jù)冗余，還采用其特有的視點(diǎn)間預(yù)測(cè)來降低視點(diǎn)方向上的數(shù)據(jù)冗余(見A. Vetro, T. ffiegand, and G. J. Sullivan, Overview of the stereo and multiview video coding extensions of theH. 264/AVC standard，即“H. ^4/AVC關(guān)于立體視頻和多視點(diǎn)視頻的擴(kuò)展概述”，Proceeding of IEEE, vo 1. 99，pp. 6沈-642，2011)。視點(diǎn)間預(yù)測(cè)可以有效降低視點(diǎn)方向的數(shù)據(jù)冗余，但由于每個(gè)幀間模式都要進(jìn)行視點(diǎn)間預(yù)測(cè)，顯著增加了單個(gè)視點(diǎn)的計(jì)算量。因此，視點(diǎn)間預(yù)測(cè)的增加了多視點(diǎn)視頻編碼的整體計(jì)算復(fù)雜度，阻礙了其實(shí)際應(yīng)用。另外，視點(diǎn)間預(yù)測(cè)被選為最終預(yù)測(cè)方向的宏塊比例比時(shí)域預(yù)測(cè)被選為最終預(yù)測(cè)方向的宏塊比例要少(見P.Merkle， A. Smolic,K. MiiilIer, and Τ· Wiegand,Efficient prediction structuresfor multiview video coding，S卩“多視點(diǎn)視頻編碼的高效預(yù)測(cè)結(jié)構(gòu)”，IEEETransactions on Circuits and Systems for Video Technology，vol. 17，no. 11，pp. 1461-1473，Nov. 2007)。因此，幀間模式可以有選擇的進(jìn)行視點(diǎn)間預(yù)測(cè)，不需要對(duì)所有幀間模式都進(jìn)行視點(diǎn)間預(yù)測(cè)。綜上所述，視點(diǎn)間預(yù)測(cè)的選擇方法對(duì)多視點(diǎn)視頻編碼的實(shí)際應(yīng)用具有重要的意義?，F(xiàn)有的多視點(diǎn)視頻編碼幀間預(yù)測(cè)選擇方法主要是利用各個(gè)視點(diǎn)視頻數(shù)據(jù)的運(yùn)動(dòng)信息(見L. Q. Shen，Z. Liu，S. Liu，Z. y. Zhang，and P. An. Selective disparity estimation and variable size motion estimation based onmotion homogeneity for multi-view coding,即“基于運(yùn)動(dòng)同質(zhì)性的多視點(diǎn)編碼視差估計(jì)和可變尺寸運(yùn)動(dòng)估計(jì)選擇算法”，IEEE Transactions onBroadcasting，vol. 55，no. 4，pp. 761-766，Dec. 2009，以及見 L. S. Young， S.K.Mu and C.K. Dong, An object-based mode decision algorithm formulti-view video coding，即“基于物體分割的多視點(diǎn)視頻編碼模式分析算法”，IEEE International Symposium on Multimedia, pp. 74-81，Dec. 2008)。在多視點(diǎn)視頻編碼結(jié)構(gòu)中，非錨定幀既可以進(jìn)行時(shí)域預(yù)測(cè)又可以進(jìn)行視點(diǎn)間預(yù)測(cè)，而錨定幀只進(jìn)行視點(diǎn)間預(yù)測(cè)(見A. Vetro, p. Pandit, H. Kimata,A.Smolic and Y. K. Wang,Joint Multiview Video Model (JMVM)8. O,
4即“多視點(diǎn)視頻編碼校驗(yàn)?zāi)Ｐ?8. 0”，IS0/IEC JTC1/SC29/WG11 and ITU-T Q6/SG16，Doc. JVT-AA207, Apr. 2008)。利用運(yùn)動(dòng)信息選擇視點(diǎn)間預(yù)測(cè)的方法，由于需要利用時(shí)域預(yù)測(cè)得到的運(yùn)動(dòng)信息，因此不適用于錨定幀，同時(shí)也容易受到運(yùn)動(dòng)噪聲的影響。視點(diǎn)間預(yù)測(cè)是通過視差估計(jì)來實(shí)現(xiàn)當(dāng)前視點(diǎn)中的物體在鄰近視點(diǎn)中的預(yù)測(cè)，而物體在兩個(gè)視點(diǎn)間的視差的大小是由攝像頭與物體之間的距離來決定。在多視點(diǎn)視頻采集系統(tǒng)中，除了可以得到各個(gè)視點(diǎn)的視頻數(shù)據(jù)，還可以得到各個(gè)視點(diǎn)對(duì)應(yīng)的深度信息，用于實(shí)現(xiàn)視頻+深度的編碼方式 (JAL K. Muller, P. Merkle, and Τ. ffiegnad,3-D videorepresentation using depth maps, 即“基于深度圖的三維視頻表示”，Proceeding of IEEE, vol. 99,pp. 643-656, Apr. 2011 ；以及見 J. Zhang, Μ· Hannuksela, and H. Li, Joint multiview video plus depth coding,艮口 “多視點(diǎn)視頻和深度聯(lián)合編碼”，IEEE International Conference on Image Processing, PP. 2865-2868, Sep. 2010)。視點(diǎn)的深度信息反映了視點(diǎn)中的物體與攝像頭之間的距離，深度信息的紋理差異反映了視差的變化。因此多視點(diǎn)視頻編碼可以利用深度信息的紋理特征來選擇是否進(jìn)行不同尺寸幀間模式的視點(diǎn)間預(yù)測(cè)。由于每幀都有深度信息，相應(yīng)的視點(diǎn)間預(yù)測(cè)選擇方法同時(shí)適用于錨定幀和非錨定幀。

發(fā)明內(nèi)容
為了克服現(xiàn)有的多視點(diǎn)視頻編碼幀間預(yù)測(cè)選擇方法的準(zhǔn)確率較低、計(jì)算量較大、 編碼率失真性能較差的不足，本發(fā)明提供了一種多視點(diǎn)視頻編碼視點(diǎn)間預(yù)測(cè)快速選擇方法，可以準(zhǔn)確選擇視點(diǎn)間預(yù)測(cè)，減少多視點(diǎn)視頻編碼的計(jì)算量，并保持良好的編碼率失真性能。為了解決上述技術(shù)問題采用的技術(shù)方案為一種多視點(diǎn)視頻編碼視點(diǎn)間預(yù)測(cè)快速選擇方法，所述選擇方法包括以下步驟(1)輸入多視點(diǎn)視頻數(shù)據(jù)和深度信息；(2)宏塊幀內(nèi)模式的估計(jì)，所述的幀內(nèi)模式包括htral6xl6、Intra8x8和 Intra4x4 ；(3)宏塊幀間模式劃分活躍性計(jì)算利用步驟⑵中得到的最佳幀內(nèi)模式，來計(jì)算宏塊的幀間模式劃分活躍性 PartitionActivity,如式(I)所示
fl, if Modelntra == Intra4x411 Intra8x8,、PartitionActivityin) = \(I)式(I)中，η是宏塊索引，1代表宏塊的幀間模式劃分活躍性高，0代表宏塊的幀間模式劃分活躍性低，Modelntea是宏塊的最佳幀內(nèi)模式；當(dāng)宏塊的最佳幀內(nèi)模式為htra4X4 或htral6X16，則宏塊的幀間模式劃分活躍性高，否則宏塊的幀間模式劃分活躍性低；
(4)宏塊在16χ16、16χ8、8χ16、8χ8劃分方式下的深度信息紋理復(fù)雜度計(jì)算, 宏塊深度信息在^^劃分下的紋理復(fù)雜度D印thDevWxH計(jì)算如式(II)所示
B WxHDepthDevwxu
(")=Σ Σ \Depth(i,j) - DepthANG{j)\(II)
y=i '=I式(II)中，W劃分塊的水平分辨率，H是劃分塊的豎直分辨率，B是宏塊在WxH劃
5分方式下劃分塊的個(gè)數(shù)，j是宏塊深度信息劃分塊的索引，i是第j個(gè)劃分塊中的深度信息索引；DepthAVG(j)是第j個(gè)劃分塊的平均深度值，Depth (i, j)是第j個(gè)劃分塊中的第i個(gè)深度值；(5)宏塊中每個(gè)小尺寸幀間模式的視點(diǎn)間預(yù)測(cè)選擇，所述的小尺寸幀間模式包括 Interl6x8, Inter8xl6 禾口 Inter8x8 ；所述的小尺寸幀間模式中的Interl6X8模式的視點(diǎn)間預(yù)測(cè)的選擇如式(III)所
示
權(quán)利要求
1. 一種多視點(diǎn)視頻編碼視點(diǎn)間預(yù)測(cè)快速選擇方法，其特征在于所述選擇方法包括以下步驟(1)輸入多視點(diǎn)視頻數(shù)據(jù)和深度信息；(2)宏塊幀內(nèi)模式的估計(jì)，所述的幀內(nèi)模式包括htral6xl6、Intra8x8和htra4x4；(3)宏塊幀間模式劃分活躍性計(jì)算利用步驟⑵中得到的最佳幀內(nèi)模式，來計(jì)算宏塊的幀間模式劃分活躍性 PartitionActivity,如式(I)所示
全文摘要
一種多視點(diǎn)視頻編碼視點(diǎn)間預(yù)測(cè)快速選擇方法，包括以下步驟(1)輸入多視點(diǎn)視頻數(shù)據(jù)和深度信息；(2)宏塊幀內(nèi)模式估計(jì)；(3)宏塊幀間模式劃分活躍性計(jì)算；(4)宏塊在16x16、16x8、8x16、8x8劃分方式下的深度信息紋理復(fù)雜度計(jì)算；(5)宏塊中每個(gè)小尺寸幀間模式的視點(diǎn)間預(yù)測(cè)選擇。本發(fā)明方法適用于多視點(diǎn)視頻編碼的視點(diǎn)間預(yù)測(cè)的選擇，可以降低多視點(diǎn)編碼的計(jì)算整體計(jì)算量，同時(shí)保持編碼率失真性能。
文檔編號(hào)H04N7/26GK102387368SQ201110305779
公開日2012年3月21日 申請(qǐng)日期2011年10月11日 優(yōu)先權(quán)日2011年10月11日
發(fā)明者俞立, 朱威, 鄭雅羽, 陳朋 申請(qǐng)人:浙江工業(yè)大學(xué)