專利名稱：基于率失真敏感度的多視點視頻編碼快速模式選擇方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)字視頻編碼領(lǐng)域，具體涉及一種基于率失真敏感度的多視點視頻編碼快速模式選擇方法。
背景技術(shù)：
多視點視頻(Multiview Video, MV)是多個攝像頭從不同視角對同一場景進行拍攝得到的視頻數(shù)據(jù)，可以為用戶提供傳統(tǒng)單視點視頻無法比擬的視覺感受，是3D電視 SSWftA^ig ( B A. Kubota, A. Smolic, M. Magnor, M. Tanimoto, T. Chen and C. Zhang, Multiview imaging and 3DTV，即“多視點圖像和 3D 電視”，IEEE Signal Processing Magazine, vol. 24，no. 6，pp. 10-21，Nov. 2007)。多視點視頻由于包含多個視角的視頻數(shù)據(jù)，其數(shù)據(jù)量隨視點個數(shù)的增加而增多。為了解決多視點視頻存儲和傳輸?shù)男枨螅嘁朁c視頻編碼(Multiview Video Coding, MVC)對多視點視頻數(shù)據(jù)進行高效的壓縮。多視點視頻編碼已被標(biāo)準(zhǔn)化為H. 264/AVC的第四個增修案(見ITU-T and IS0/IEC JTC 1，Advanced video coding for generic audiovisual services,艮口 ‘‘面向音視頻月艮務(wù)的高級視頻編碼”，ITU-T RecommendationH. 264and IS0/IEC 14496 (MPEG-4AVC)，2010)，它繼承了 H. 264/AVC 的宏塊模式，包括 SkipJnterl6xl6Jnterl6x8Jnter8xl6 和 hter8x8 等幀間模式，以及 htral6xl6Jntra8x8 和 Intra4x4 等幀內(nèi)模式(見 T. ffiegand,G. J. Sullivan, G. Bjontegaard, and A. Luthra, Overview of the H. 264/AVC video coding standard, 即 “H. 264/AVC 標(biāo)準(zhǔn)概述，，，IEEE Transactions on Circuits and Systems for Video Technology, vol. 13，no.7，pp.560-576，July 2003 ；以及見 A. Vetro, Τ. ffiegand, and
G.J.Sullivan,Overview of the stereo and multiview video coding extensions of the H. 264/AVC standard,即“H. 264/AVC立體視頻和多視點視頻編碼擴展標(biāo)準(zhǔn)概述”， Proceedings of the IEEE，vol. 99，pp. 6洸_642，2011)。為了提高編碼壓縮效率，需要先對各種模式進行估計，再從中選取率失真代價最小的模式作為最終編碼模式(見T. ffiegand,
H.Schwarz, A. Joch, F. Kossentini, and G. J. Sullivan, Rate-constrained coder control and comparison of video coding stendards，即“視頻編碼標(biāo)準(zhǔn)的率失真編碼器控制與 t匕較，，，IEEE Transactions on Circuits and Systems for Video Technology, vol. 13， no. 7, pp. 688-703, July 2003)。如果對宏塊的所有模式逐個進行模式估計，則多視點視頻編碼的模式選擇會消耗巨大的計算量。因此，多視點視頻編碼的快速模式選擇方法對多視點視頻編碼的實際應(yīng)用具有重要的意義。傳統(tǒng)單視點H. ^4/AVC編碼的快速模式選擇算法主要是利用單個視點內(nèi)部的編碼信息來加速模式選擇。在多視點視頻編碼結(jié)構(gòu)中，只有一個基本視點，其它都是非基本視點。基本視點只采用視點內(nèi)部的預(yù)測，非基本視點可以同時采用視點內(nèi)部和視點間 W iS IlJ ( B A. Vetro, P. Pandit, H. Kimata, A. Smolic and Y. K. Wang, Joint Multiview Video Model(JMVM)8. 0，即“多視點視頻編碼校驗?zāi)Ｐ?8. 0”，IS0/IEC JTC1/SC29/WG11 and ITU-TQ6/SG16，Doc. JVT-AA207，Apr. 2008)。由于各個視點的視頻內(nèi)容源于同一個場景，視點之間除了視頻像素存在相關(guān)性之外，視點之間的編碼信息同樣存在相關(guān)性。而傳統(tǒng)單視點視頻編碼的模式選擇算法由于只利用了視點內(nèi)部的編碼信息，沒有利用鄰近視點的編碼信息，因此并不能完全適用于多視點視頻編碼。現(xiàn)有的多視點視頻編碼快速模式選擇方法主要是利用鄰近視點編碼幀局部區(qū)域的編碼信息來降低模式選擇的計算復(fù)雜度 (見 L F. Ding，P. K. Tsung，S. Y. Chen，W. Y. Chen，W. Y. Chen，and L G. Chen，Content-aware prediction algorithm with inter-view mode decision for multiview video coding,即“多視點視頻編碼內(nèi)容自適應(yīng)的預(yù)測算法和視點之間模式選擇算法”，IEEE Transactions on Multimedia, vol. 10, no. 8, pp. 1553-1564, Dec. 2008 ；以及見 L. Q. Shen, Ζ. Liu, P. An, R. Ma, and Z. Y. Zhang. Low-complexity mode decision for MVC,艮口 “多視點視頻編碼低復(fù)雜度模式選擇算法”，IEEE Transactions on Circuits and Systems for Video Technology, vol. 21，no. 6，pp. 837-843，Jun. 2011)。在使用鄰近視點已編碼幀的編碼信息時，這些算法沒有考慮由于量化步長不同而引起的視點之間以及宏塊之間的編碼信息差異，而實際應(yīng)用中由于碼率控制的使用，視點之間和宏塊之間的量化步長會有所不同， 因此這些算法在實際應(yīng)用中的魯棒性不高。另外，由于需要使用鄰近視點同個時刻已編碼幀的信息，這些算法只適用于非基本視點，不適用于基本視點，因此不能全面地降低多視點視頻編碼的整體計算量。

發(fā)明內(nèi)容
為了克服現(xiàn)有多視點視頻編碼快速模式選擇方法整體計算量較大、編碼率失真性能降低較多的不足，本發(fā)明提供了一種可以有效地降低多視點視頻編碼的整體計算量，并保持良好編碼率失真性能的基于率失真敏感度的多視點視頻編碼快速模式選擇方法。為了解決上述技術(shù)問題采用的技術(shù)方案為一種基于率失真敏感度的多視點視頻編碼快速模式選擇方法，所述選擇方法包括以下步驟(1)輸入一幀多視點視頻數(shù)據(jù)；(2)從已編碼幀中為當(dāng)前編碼幀選取率失真代價參考幀，并計算量化步長修正的率失真代價均值如果當(dāng)前編碼幀所在視點是基本視點，則將距當(dāng)前編碼幀時域方向最近的當(dāng)前視點前向已編碼幀選為率失真代價參考幀；如果當(dāng)前編碼幀所在視點是非基本視點，則將與當(dāng)前編碼幀具有同一采集時刻的鄰近視點前向已編碼幀選為率失真代價參考幀。在選定率失真代價參考幀之后，計算該幀的量化步長修正的率失真代價均值QRDAve，如式(I)所示
權(quán)利要求
1. 一種基于率失真敏感度的多視點視頻編碼快速模式選擇方法，其特征在于所述選擇方法包括以下步驟(1)輸入一幀多視點視頻數(shù)據(jù)；(2)從已編碼幀中為當(dāng)前編碼幀選取率失真代價參考幀，并計算量化步長修正的率失真代價均值如果當(dāng)前編碼幀所在視點是基本視點，則將距當(dāng)前編碼幀時域方向最近的當(dāng)前視點前向已編碼幀選為率失真代價參考幀；如果當(dāng)前編碼幀所在視點是非基本視點，則將與當(dāng)前編碼幀具有同一采集時刻的鄰近視點前向已編碼幀選為率失真代價參考幀；在選定率失真代價參考幀之后，計算該幀的量化步長修正的率失真代價均值QRDato，如式(I)所示NttQstepmi(I)式(I)中，N是所選率失真代價參考幀的宏塊個數(shù)，i是宏塊索引，QStePMB是宏塊i的編碼量化步長，RDmb是宏塊i最終編碼模式的率失真代價；(3)宏塊的大尺寸幀間模式的估計先進行宏塊大尺寸幀間模式Skip模式和hterl6X16模式的估計，然后從這兩個模式估計得到的率失真代價中選取較小值作為Skip模式和hteriexie模式的較小率失真代價RDskip_Interl6xl6 ；(4)宏塊的率失真敏感度計算利用步驟O)中得到的量化步長修正的率失真代價均值QRDato和步驟(3)中得到的 Skip模式和hterl6X16模式的較小率失真代價RDskip Interi6xl6，來計算當(dāng)前編碼宏塊的率失真敏感度 RDSensitivityDegreejnS (II)所示if mskl^16xl6inKaXQRDaygQstepcur(n)if>PxQRDayg (II)QstePaMothers式(II)中，η是當(dāng)前編碼幀的宏塊索引，Low表示當(dāng)前編碼宏塊的率失真敏感度低， High表示當(dāng)前編碼宏塊的率失真敏感度高，Middle表示當(dāng)前編碼宏塊的率失真敏感度中等，Qstepeur為當(dāng)前宏塊的量化步長，α和β是率失真敏感度計算的閾值調(diào)整參數(shù)，β大于α ；(5)宏塊的小尺寸幀間模式估計選擇根據(jù)步驟中計算得到的當(dāng)前宏塊率失真敏感度來選擇是否進行hterl6X8模式、 Inter8xl6模式和hter8x8模式等三種小尺寸幀間模式的估計；如果當(dāng)前宏塊的率失真敏感度為Low，則不進行Interl6X8模式、hter8xl6模式和 MterSxS模式的估計，直接跳到步驟(6)；如果當(dāng)前宏塊的率失真敏感度為Middle，則只進行Interl6X8模式和Inter8X16模式的估計，不進RhterSxS模式的估計，并跳到步驟(6)；如果當(dāng)前宏塊的率失真敏感度為High，則先進行InteriexS模式和InterSxie模式的估計，再利用估計得到的InteriexS模式和InterSxie模式的較小率失真代價RDIntCTl6x8—8xl6 以及從步驟⑶得到Skip模式和hterl6X16模式的較小率失真代價RDskip IntCTl6xl6來計算 Inter8x8模式估計的使能Inter8x8En，如式(III)所示InterSx8En(n) = \1, lf 船跑咖—如^廠x^AkipjntolfM6(ΙΠ)[0, others式(III)中，1表示進行hterSxS模式的估計，0表示不進行hterSxS模式的估計，γ 是^terSxS模式估計選擇的控制參數(shù)；如果當(dāng)前宏塊選擇不進行^terSxS模式的估計，則跳到步驟(6)；如果當(dāng)前宏塊選擇進行hterSxS模式的估計，則對hterSxS模式估計中每個8x8塊的不同尺寸劃分模式的估計進行選擇，具體如下1)進行8x8劃分模式的估計；2) 選擇是否進行8x4、4x8和4x4劃分模式的估計，即如果8x8劃分模式的率失真代價小于當(dāng)前已估計幀間模式的最小率失真代價的四分之一，則不進行8x4、4x8和4x4劃分模式的估計；否則先進行8x4和4x8劃分模式的估計，再根據(jù)8x4和4x8劃分模式的較小率失真代價 InterSxSRD8x4 4x8和8x8劃分模式的較小率失真代價MterSxSRD8x8來選擇是否進行4x4劃分模式的估計，如式(IV)所示BlockSx8En4x4(k) = ^ ^ 副錢“囊漸誦』 x [0, others(IV)式(IV)中，k是8x8塊的索引，1表示hter8x8模式的8x8塊進行4x4劃分模式的估計，0表示不進行4x4劃分塊的估計，μ是4x4劃分模式估計選擇的控制參數(shù)；(6)宏塊的幀內(nèi)模式估計的選擇根據(jù)幀間模式估計得到的率失真代價和大尺寸幀內(nèi)模式的率失真代價來選擇幀內(nèi)模式的估計，如果已估計幀間模式中具有最小率失真代價的模式是Skip模式，則不進行所有幀內(nèi)模式的估計，直接跳到步驟(7)；否則先進行大尺寸幀內(nèi)模式htraiexie模式的估計，然后利用htral6X16模式的率失真代價RDlntral6xl6和步驟(3)中得到的Skip模式和hterl6xl6模式的較小率失真代價RDMip Interi6jd6來決定是否進行htra8x8模式和 htra4x4模式的估計，如式(V)所示IntraEn^ 4x4( ) = (^' lf，—<"x船 6(V)-[0, others式(V)中，1代表進行htra8x8模式和htra4x4模式的估計，0代表不進行htra8x8 模式和htra4X4模式的估計，參數(shù)η是用于調(diào)整算法選擇精度和計算復(fù)雜度；(7)宏塊的最終編碼模式的選取從已估計的幀間模式和幀內(nèi)模式中選取率失真代價最小的模式作為當(dāng)前宏塊的最終編碼模式。
全文摘要
一種基于率失真敏感度的多視點視頻編碼快速模式選擇方法，包括以下步驟(1)輸入一幀多視點視頻數(shù)據(jù)；(2)率失真代價參考幀的選取及其量化步長修正的率失真代價均值計算；(3)宏塊大尺寸幀間模式的估計；(4)宏塊率失真敏感度的計算；(5)宏塊小尺寸幀間模式估計的選擇；(6)宏塊幀內(nèi)模式估計的選擇；(7)宏塊最終編碼模式的選取。本發(fā)明適用于多視點視頻編碼宏塊編碼模式的選擇，可以降低多視點視頻編碼的整體計算量，同時保持編碼率失真性能。
文檔編號H04N7/26GK102404570SQ20111036270
公開日2012年4月4日 申請日期2011年11月16日 優(yōu)先權(quán)日2011年11月16日
發(fā)明者俞立, 朱威, 鄭雅羽, 陳朋 申請人:浙江工業(yè)大學(xué)