專利名稱：基于時域相關性的高性能視頻編碼幀間模式判決方法
技術領域：
本發(fā)明涉及圖像通信領域中的視頻編碼幀間模式技術問題，尤其是涉及一種高性能視頻編碼幀間模式判決方法。
背景技術：
目前的國際視頻編碼標準為高級視頻編碼(H. 264/AVC),該視頻編碼標準相比之前的視頻編碼標準，在視頻編碼性能方面有較大的提高。隨著高清視頻技術的廣泛應用，
H.264/AVC的最大16X16尺寸塊已經(jīng)不太適合高清視頻的編碼了。為此，國際標準化組織-國際電工委員會/活動圖像專家組(IS0-IEC/ MPEG)和國際電信聯(lián)盟遠程通信標準化組織/視頻編碼專家組(ITU-T/VCEG)兩大國際標準化組織已經(jīng)成立了視頻編碼聯(lián)合開發(fā)小組(JCT- VC)，并正在制定新一代國際視頻標準，即高性能視頻編碼(HEVC)標準。HEVC標準的目標是在保持H. 264/AVC標準視頻質量的基礎上，使比特率降低一半，即壓縮率提高一倍。在國內外眾多學者的努力下，HEVC視頻編碼標準的編碼性能較H. 264/AVC有了較高的提升。H. 264/AVC 標準采用 16X 16、16X8、8X 16、8X8、8X4、4X8 和 4X4 等尺寸塊進行幀間預測，而HEVC標準則采用8X8、16X16、32X32和64X64尺寸的編碼單元(⑶)先進行分塊，接著對每個CU采用最多8種不同的預測單元(PU)模式進行幀間預測，8種不同的 PU 模式分別為 PART_2N X 2N、PART_N X 2N、PART_2N X N、PART_N X N、PART_nL X 2N、PART_nRX2N、PART_2NXnD、和PART_2NXnU。對于每種尺寸下的⑶及其內部的I3U預測模式均進行率-失真代價的計算，最終選擇一種最佳的CU分塊模式及其內部的模式進行視頻編碼。對于64X64尺寸的⑶，只有3種PU模式可選擇，對于32X32和16 X 16尺寸的⑶，有7種模式可選擇，對于8 X 8尺寸的⑶，則有4種PU模式可選擇。對于每種模式，編碼器均需對其進行率-失真代價的計算，因此，HEVC標準帶來了巨大的視頻編碼計算復雜度。針對H. 264/AVC，已經(jīng)有許多學者提出了一些快速幀間判決方法，如發(fā)表于雜志“IET Electronics Letters，，的文章 “Fast mode decision algorithm for H. 264 usingstatistics of rate-distortion cost”在分析前一巾貞對應宏塊率-失真代價的統(tǒng)計分布情況的基礎上，提出了一種基于自適應閾值的H. 264/AVC快速巾貞間模式判決方法。發(fā)表于雜志“IEEE Transactions on Circuits and Systems for Video Technology，，的文章“Fast mode decision based on mode adaptation”提出了一種基于模式自適應快速巾貞間模式判決方法。該算法根據(jù)相鄰塊空、時域的視頻編碼特性，構建了一個基于優(yōu)先級候選模式列表，根據(jù)該列表有效地選擇最佳巾貞間預測模式。發(fā)表于雜志“IEEE transactionson image processing，，的文章“Direct inter-mode selection for H. 264 video codingusing phase correlation”通過利用當前塊與參考塊之間的相位相關性捕捉其運動向量，根據(jù)此運動向量信息從候選模式列表中選擇一種最佳的幀間預測模式。為了降低HEVC的視頻編碼計算復雜度，學者們提出了一些方法，如HEVC提案“JCTVC-D087” 中的文章“Encoding complexity reduction by removal of NXNpartition type”在從 16X16、32X32 和 64X64 尺寸的 CU 中取消了 PART_NXN 的 PU 模式，只在8X8尺寸的⑶中保留，從而降低了視頻編碼計算復雜度。提案“JCTVC-F045”中的文章“Early termination of CU encoding to reduce HEVC complexity”提出當參數(shù)cbf=0時，即離散余弦變換(DCT)后的AC系數(shù)為全零時，跳過除了 PART_2NX2N之外的其它PU模式，從而降低了視頻編碼的計算復雜度。以上兩種方法目前已經(jīng)加入到HEVC最新的參考軟件HM7. O中了。另外，在目前的HEVC標準中，對于當前的CU，首先檢測的率-失真代價的模式為PART_2NX 2N、 PART_2NXN和PART_NX 2N，若模式PART_2NXN的率-失真代價值小于PART_NX 2N模式的率-失真代價值，則繼續(xù)檢測模式PART_2NXnU和PART_2NXnD的率-失真代價，而跳過模式PART_nLX 2N和PART_nRX 2N的率-失真代價的計算；相反，當模式PART_2NX N的率-失真代價值大于PART_NX 2N模式的率-失真代價，則繼續(xù)檢測模式PART_nLX2N 和 PART_nRX 2N 的率-失真代價，而跳過模式 PART_2NXnU 和 PART_2NXnD的率-失真代價的計算，該方法也較大地降低了 HEVC視頻編碼的計算復雜度。以上這些方法均在一定程度上降低了 HEVC視頻編碼的計算復雜度，但是，目前的HEVC視頻編碼的幀間預測模式在時域上還存在較大的冗余度。HEVC相比H. 264/AVC，在視頻壓縮比方面提高較大，但是在視頻編碼的計算復雜度方面卻升高了很多，雖然許多學者提出了一些針對H. 264/AVC的快速視頻編碼方法，及針對HEVC的快速視頻編碼方法，但是H. 264/AVC的快速視頻編碼方法不適合HEVC，而目前的HEVC的快速視頻編碼方法對于將其應用于實時通信的目標還存在一些距離。

發(fā)明內容
針對現(xiàn)有技術的高性能視頻編碼幀間模式判決方法的現(xiàn)狀與不足，本發(fā)明的旨在提供一種新的基于時域相關性的高性能視頻編碼幀間模式判決方法，以降低HEVC視頻編碼的計算復雜度，實現(xiàn)將其應用于實時通信的目標。本發(fā)明的基本思想是利用相鄰幀之間的I3U模式選擇的相似性，根據(jù)前一幀中大尺寸⑶所采取的I3U模式，有效地選擇當前⑶的I3U模式，跳過一些不太可能的⑶分塊尺寸及PU預測模式，減少所需遍歷的PU模式，從而實現(xiàn)減少率-失真代價計算的數(shù)量，最終達到降低HEVC視頻編碼的計算復雜度的目的。本發(fā)明提供的基于時域相關性的高性能視頻編碼幀間模式判決方法，包括預測方式配置和預測模式選擇，在預測方式配置中，CU分割深度不大于4，PU采用對稱和非對稱綜合預測模式或只采用對稱預測模式，在預測模式選擇中，將當前深度CU總的率-失真代價之和與上一層⑶總的率-失真代價之和進行比較，若比上層更小，則進一步采取四叉樹劃分成4個更下一層深度的CU，否則終止四叉樹劃分，所述預測模式選擇包括以下步驟(I)檢測當前⑶分塊前一幀對應位置⑶分塊的尺寸，若當前⑶分塊尺寸小于對應CU分塊的尺寸，則進入下面步驟(2)，否則遍歷當前CU分塊的所有模式，并采取四叉樹劃分成4個更深一層⑶分塊，對更深一層的每個⑶分塊重復上述過程；(2)判斷前一幀對應⑶分塊的PU模式是否為PART_2NX 2N，若是，則當前⑶分塊只檢測PART_2NX2N的PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟
(3)；(3)判斷前一幀對應CU分塊的PU模式是否為PART_nLX2N或者PART_nRX2N，若是，則當前⑶分塊只檢測PART_NX 2N和PART_2NX 2N兩種PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(4)；(4)判斷前一幀對應CU分塊的PU模式是否為PART_2NXnU或者PART_2NXnD，若是，則當前⑶分塊只檢測PART_2NXN和PART_2NX 2N兩種PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(5)；(5)檢測當前⑶分塊檢測所有模式的率-失真代價，并進入下面步驟(6)；(6)判斷當前⑶分塊的尺寸是否為前一幀對應⑶塊尺寸的1/4，若是，則當前⑶分塊不再進行四叉樹劃分；否則將當前CU分塊進一步采取四叉樹劃分成4個更深一層CU
分塊，對更深一層的每個⑶分塊重復步驟(I)過程。在上述技術方案中，⑶分割深度優(yōu)選為2 4，進一步優(yōu)選為4。在PU可采用的對稱和非對稱綜合預測模式和只采用對稱預測模式中，優(yōu)先采用對稱和非對稱綜合預測模式。在上述技術方案中，所述率-失真代價可通過下述公式來確定J111Ode- (SADluma+wchroma X SADchroma) + λ mode X Bmode公式中Jnwde為率一失真代價，SADluma為原始圖像亮度與預測圖像亮度的均方差，SADchroma為原始圖像色度與預測圖像色度的均方差，Wchroma為色度失真的權值，λ mode代表拉格朗日乘子，Bfflode表示在該模式下編碼比特數(shù)。根據(jù)本發(fā)明的上述方法可以編制執(zhí)行上述基于時域相關性的高性能視頻編碼幀間模式判決方法的視頻編碼器。本發(fā)明是基于以下思路分析而完成的當對應塊⑶的PU模式為PART_2NX 2N時，說明對應塊的紋理應該是比較平滑的或者其所處的區(qū)域中所有的運動對象都有著相同的運動向量，根據(jù)相鄰兩幀之間高度的相似性，當前塊區(qū)域也應該具有類似的屬性，因此，對于當前CU分塊來說，只需對模式PART_2N X 2N進行檢測即可。當對應塊⑶的PU模式為PART_2NX N或者PART_NX 2N時，在這種情況下，根據(jù)相鄰兩幀之間的相似性，此時當前塊中的CU對應的對應塊中并沒有PU的分隔線，于是，此時并不能推測對應塊區(qū)域為平滑的或者其中的運動對象均有著相同的運動向量。因此，對于當前CU分塊來說，沒有可以參考的模式，必須對所有的模式進行遍歷。當對應塊⑶的PU模式為PART_nLX 2N或者PART_nRX 2N，根據(jù)相鄰兩幀之間的時域相關性及時域上的運動方向性，一方面說明此時當前塊中的運動對象有較大的概率分為左右兩部分，另一方面，此時當前塊中有部分CU的PU模式PART_NX2N的分隔線將與對應塊⑶的PU模式PART_nLX2N或者PART_nRX 2N的分隔線對應，再者，根據(jù)當前塊(與對應CU塊相同位置和尺寸的當前幀中的當前塊)中各層之間的模式的相關性及同CU層下相鄰CU的PU模式相關性，當前塊中各層CU的PU模式中，出現(xiàn)PART_NX 2N概率較高，因此，當前塊應檢測I3U模式PART_NX 2N。另外，為了各層⑶之間的連續(xù)性及保證視頻編碼性能，PU模式PART_2NX 2N也應考慮進去，因此，在該情況下，總共只遍歷2種PU模式PART_NX 2N 和 PART_2NX 2N。同理，當對應塊 CU 的 PU 模式為 PART_2NXnU 或者 PART_2NXnD，此時說明當前塊中的運動對象有較大的概率分為左右兩部分，因此，當前塊應檢測PU模式為 PART_2NXN 和 PART_2NX 2N。最后，當對應塊⑶分塊尺寸為2NX2N，而當前塊中最?、浅叽鐬镹/4XN/4時，根據(jù)相鄰兩幀之間時域的相關性，無論對應CU分塊的PU模式為哪種，當前塊中尺寸為N/4XN/4的CU的PU模式的分割線均不可能與對應CU的PU模式的分割線對應，即此時當前CU分塊尺寸是不太可能出現(xiàn)N/4XN/4的，因此，對于該尺寸的CU，可不檢測其率-失真代價以節(jié)省視頻編碼計算復雜度。相比HEVC視頻編碼標準，本發(fā)明的方法能在較大幅度降低視頻編碼計算復雜度的基礎上，在視頻編碼壓縮比和視頻質量損失很小。視頻壓縮方法的根本依據(jù)是通過減少視頻中各種相關性而達到用更 少的數(shù)據(jù)表示原來的整個視頻的信息量，本發(fā)明的方法是在分析了視頻中相鄰兩幀之間的時域上I3U模式之間的相關性，通過判斷前一幀對應CU的PU模式，以及當前塊中相鄰CU分塊之間的相關性，判決當前塊的最佳模式，從而跳過了其他的PU模式，從相鄰幀之間模式的相關性角度來看，本發(fā)明方法是去除了模式之間的冗余度，而合理的冗余度去除，不僅能去除該冗余部分所需進行的視頻編碼計算任務，同時也不會損失視頻的信息量，因此也基本不會造成視頻壓縮比和視頻質量的下降。本發(fā)明方法改進的是整個視頻編碼計算過程中計算復雜度最關鍵的地方。在整個視頻編碼過程中，運動估計(包括整數(shù)像素運動估計和分數(shù)像素運動估計)的計算復雜度所占的比例超過50% (根據(jù)不同的配置環(huán)節(jié)存在一定差異)，本發(fā)明方法最關鍵的是根據(jù)相鄰兩幀之間的時域相關性，跳過當前塊中各層CU塊中的不太可能出現(xiàn)的I3U模式的檢測過程，即對該PU模式下各個分塊進行率-失真代價的計算檢測，從而挑選其中率-失真代價最小的一個PU模式，而在率-失真代價的計算中，運動估計是其中最耗時的編碼計算過程，跳過幾個PU模式即意味著跳過幾個運動估計的計算量，因此，在計算復雜度方面，本發(fā)明方法著手的點為視頻編碼計算過程中最關鍵改進之處。本發(fā)明方法能在保持降低計算復雜度的基礎上，不額外增加硬件實現(xiàn)成本。視頻編碼技術很多情況下最終均要嵌入硬件設備，包括FPGA和DSP等，因此，對于改進方法的代碼運算代價和所需要的數(shù)據(jù)存儲硬件代價要求均較高。本發(fā)明方法需要增加的代碼很少，主要包括幾個判斷語句，在硬件所需的存儲器方面，由于本發(fā)明方法中判斷的對象為前一幀中對應位置CU分塊的PU模式，而這些模式的信息原來就存儲在數(shù)據(jù)流中，本發(fā)明方法并未帶來額外的數(shù)據(jù)存儲要求，因此，若將本發(fā)明方法應用于硬件設備，對硬件設備的制造不會增加額外的成本，同時還能節(jié)省功耗。


圖I為基于時域特性的HEVC快速幀間模式判決方法與HM7. O視頻編碼標準的CU分塊方法的比較示意圖，其中(a)為HM7. O視頻編碼標準的CU分塊方法，(b)為基于時域相關性的HEVC快速幀間模式判決方法中CU分塊方法；圖2為基于時域特性的HEVC快速幀間模式判決方法與HM7. O視頻編碼標準的I3U預測方法的比較示意圖，其中(a)為HM7. O視頻編碼標準的PU預測方法，(b)為基于時域相關性的HEVC快速幀間模式判決方法中I3U預測方法；圖3為基于時域相關性的HEVC快速幀間模式判決方法的流程圖。
具體實施例方式下面結合實施例對本發(fā)明作進一步的詳細說明，有必要指出的是，以下的實施例只用于對本發(fā)明做進一步的說明，不能理解為對本發(fā)明保護范圍的限制，所屬領域技術熟悉人員根據(jù)上述發(fā)明內容，對本發(fā)明做出一些非本質的改進和調整進行具體實施，應仍屬于本發(fā)明的保護范圍。I.同時打開兩個算法的程序并設置好相同的配置文件，參考軟件選擇HM7. O,量化步長(QP)值分別取27和32。本發(fā)明將與HEVC視頻編碼標準的參考軟件算法HM7. O的方法進行比較。并對其三種視頻編碼性能比特率、峰值信噪比(PSNR)以及視頻編碼時間(其中PSNR體現(xiàn)視頻的客觀視頻質量，視頻編碼時間體現(xiàn)編碼的計算復雜度)，進行了比較分析，比較性能的差距用以下三個指標進行評價其中Bitratepro、PSNRpM和Timepro分別為本發(fā)明算法的比特率、PSNR以及視頻編碼時間，Bitrateref, PSNRref和Timeref分別為HM7. O標準算法的比特率、PSNR以及視頻編碼時間，ABitrate、APSNR和ATime分別為本發(fā)明算法與HM7. O標準算法之間比特率、PSNR以及視頻編碼時間的差。2.在HEVC視頻編碼技術中，PU預測模式可以采取對稱和非對稱的綜合預測模式，也可以只采取對稱預測模式，發(fā)明在以上兩種情況下均有效，但是采取對稱和非對稱的綜合預測模式能降低更多的視頻編碼計算復雜度，即能取得更好的算法效果，因此本發(fā)明采取綜合預測模式。3.編碼的對象為標準的HEVC測試視頻，它們的名稱、分辨率和幀率分別為Fourpeople (1280X720,60 巾貞 / 秒)、Johnny (1280X720,60 巾貞 / 秒)、KristenandSara(1280 X 720,60 幀 / 秒)、Cactus (1920 X 1080, 50 幀 / 秒)、Kimonol (1920 X 1080, 24 幀 /秒)和 ParkScene (1920X1080, 24 幀 / 秒)。4.輸入2個相同的視頻序列；5.分別對2個相同的視頻序列進行視頻編碼； 6.利用HEVC視頻編碼器HM7. O對視頻序列在HEVC方式下進行視頻編碼；7.本發(fā)明算法根據(jù)前一幀對應塊的I3U模式對當前CU分塊的PU模式進行選擇；8.在預測模式選擇中，將當前深度⑶總的率-失真代價之和與上一層⑶總的率-失真代價之和進行比較，若比上層更小，則進一步采取四叉樹劃分成4個更下一層深度的CU，否則終止四叉樹劃分，具體的預測模式選擇如下(I)檢測當前⑶分塊前一幀對應位置⑶分塊的尺寸，若當前⑶分塊尺寸小于對應CU分塊的尺寸，則進入下面步驟(2)，否則遍歷當前CU分塊的所有模式，并采取四叉樹劃分成4個更深一層⑶分塊，對更深一層的每個⑶分塊重復上述過程；(2)判斷前一幀對應⑶分塊的PU模式是否為PART_2NX 2N，若是，則當前⑶分塊只檢測PART_2NX2N的PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟
(3)；(3)判斷前一幀對應⑶分塊的PU模式是否為為PART_nLX2N或者PART_nRX2N，若是，則當前⑶分塊只檢測PART_NX 2N和PART_2NX 2N兩種PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(4)；(4)判斷前一幀對應CU分塊的PU模式是否為PART_2NXnU或者PART_2NXnD，若是，則當前⑶分塊只檢測PART_2NXN和PART_2NX 2N兩種PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(5)；(5)檢測當前⑶分塊檢測所有模式的率-失真代價，并進入下面步驟(6)；(6)判斷當前⑶分塊的尺寸是否為前一幀對應⑶塊尺寸的1/4，若是，則當前⑶分塊不再進行四叉樹分割劃分；否則將當前CU分塊四叉樹劃分成4個CU分塊，對每個CU分塊進行重復步驟(I)。9.在模式選擇過程中，率失真代價的公式如下 Jmode- (SADluma+wchroma X SADchroma) + λ mode X Bmode公式中Jmtxte為率一失真代價，SADluma為原始圖像亮度與預測圖像亮度的均方差，SADchroma為原始圖像色度與預測圖像色度的均方差，Wchroma為色度失真的權值，λ mode代表拉格朗日乘子，Bfflode表示在該模式下編碼比特數(shù)。亮度和色度的失真SADluma和SADdmma分別可由以下兩式得出
權利要求
1.一種基于時域相關性的高性能視頻編碼幀間模式判決方法，包括預測方式配置和預測模式選擇，在預測方式配置中，CU分割深度不大于4，PU采用對稱和非對稱綜合預測模式或只采用對稱預測模式，在預測模式選擇中，將當前深度CU總的率-失真代價之和與上一層CU總的率-失真代價之和進行比較，若比上層更小，則進一步采取四叉樹劃分成4個更下一層深度的CU，否則終止四叉樹劃分，其特征在于所述預測模式選擇包括以下步驟 (1)檢測當前CU分塊前一幀對應位置CU分塊的尺寸，若當前CU分塊尺寸小于對應CU分塊的尺寸，則進入下面步驟(2)，否則遍歷當前CU分塊的所有PU模式，并采取四叉樹劃分成4個更深一層⑶分塊，對更深一層的每個⑶分塊重復上述過程； (2)判斷前一幀對應⑶分塊的PU模式是否為PART_2NX2N，若是，則當前⑶分塊只檢測PART_2NX2N的PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(3)； (3)判斷前一幀對應⑶分塊的I3U模式是否為PART_nLX2N或者PART_nRX 2N，若是，則當前⑶分塊只檢測PART_NX 2N和PART_2NX 2N兩種PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(4)； (4)判斷前一幀對應⑶分塊的I3U模式是否為PART_2NXnU或者PART_2NXnD，若是，則當前⑶分塊只檢測PART_2NXN和PART_2NX 2N兩種PU模式的率-失真代價，并進入下面步驟(6)，否則進入下面步驟(5)； (5)檢測當前CU分塊檢測所有模式的率-失真代價，并進入下面步驟(6)； (6)判斷當前CU分塊的尺寸是否為前一幀對應CU塊尺寸的1/4，若是，則當前CU分塊不再進行四叉樹劃分；否則將當前CU分塊進一步采取四叉樹劃分成4個更深一層CU分塊，對更深一層的每個⑶分塊重復步驟(I)過程。
2.如權利要求I所述的基于時域相關性的高性能視頻編碼幀間模式判決方法，其特征在于⑶分割深度為2 4。
3.如權利要求2所述的基于時域相關性的高性能視頻編碼幀間模式判決方法，其特征在于CU分割深度為4。
4.如權利要求I至3之一所述的基于時域相關性的高性能視頻編碼幀間模式判決方法，其特征在于PU采用對稱和非對稱綜合預測模式。
5.如權利要求I至3之一所述的基于時域相關性的高性能視頻編碼幀間模式判決方法，其特征在于所述率-失真代價通過下述公式來確定 Jmode (SAD^uma't'W^roma X SADcJiroma) + m0(je X Bmode 公式中Jmtxte為率一失真代價，SADlumaS原始圖像亮度與預測圖像亮度的均方差，SADchroma為原始圖像色度與預測圖像色度的均方差，Wchroma為色度失真的權值，λ mode代表拉格朗日乘子，Bfflode表示在該模式下編碼比特數(shù)。
6.如權利要求4所述的基于時域相關性的高性能視頻編碼幀間模式判決方法，其特征在于所述率-失真代價通過下述公式來確定 Jmode (SADium^Wchroma X SADcJiroma) + 人 mode X ^mode 公式中Jmtxte為率一失真代價，SADlumaS原始圖像亮度與預測圖像亮度的均方差，SADchroma為原始圖像色度與預測圖像色度的均方差，Wchroma為色度失真的權值，λ mode代表拉格朗日乘子，Bfflode表示在該模式下編碼比特數(shù)。
7.一種用于執(zhí)行權利要求Γ6所述基于時域相關性的高性能視頻編碼幀間模式判決方法的視頻編碼器。全文摘要
本發(fā)明公開了一種基于時域相關性的高性能視頻編碼幀間模式判決方法,包括預測方式配置和預測模式選擇。預測模式選擇利用了相鄰兩幀之間的時域相關性，根據(jù)此相關性，分析前一幀中對應塊的大尺寸CU與當前塊中小尺寸CU的PU模式的相似性，最終根據(jù)此相似性，針對各種尺寸的對應塊CU，設計當前各種尺寸CU的PU模式選擇方法。本發(fā)明的方法較之現(xiàn)有技術的HEVC視頻編碼標準，在比特率和視頻質量幾乎不變的前提下，較大幅度地降低了編碼的計算復雜度。
文檔編號H04N7/26GK102984521SQ20121053268
公開日2013年3月20日 申請日期2012年12月12日 優(yōu)先權日2012年12月12日
發(fā)明者何小海, 鐘國韻, 李元, 吳曉紅, 王正勇, 陶青川 申請人:四川大學