基于gop片劃分的支持空域隨機訪問的自適應多視點視頻編碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及多視點視頻壓縮編碼領(lǐng)域，尤其涉及一種基于G0P片劃分的支持空域隨機訪問的自適應多視點視頻編碼方法。
【背景技術(shù)】
[0002]多視點視頻從不同角度表現(xiàn)豐富的客觀世界，提供給用戶從任意視點和不同視角交互瀏覽的特色?；谶@種獨特的表現(xiàn)能力，多視點視頻廣泛應用于三維數(shù)字電視、自由視點視頻通信等諸多領(lǐng)域。多視點視頻壓縮是解決多視點視頻通信中帶寬限制問題的有效手段，它不僅要去除每一路視頻時間方向的統(tǒng)計信息冗余，而且還要壓縮多路視頻信號之間的相關(guān)信息冗余。
[0003]針對自然采集的視頻，研究人員提出了大量的多視點視頻壓縮算法，其中基于
H.2641AVC的利用分層次B幀的多視點視頻編碼機制顯著提高了壓縮性能，被用作多視點視頻編碼標準的基本框架。雖然多視點視頻編碼利用視差預測來提高壓縮性能，但限制了靈活的自由視點切換能力和快速介入壓縮域數(shù)據(jù)的隨機訪問能力。
[0004]為了增強瀏覽的連續(xù)性，交互式多視點視頻系統(tǒng)需要在原始采集的多個視點之間繪制新的視點。由于這種新視點的繪制通常只需要原始采集視點圖像的部分數(shù)據(jù)，因此一種支持空域隨機訪問功能的編碼方法對快速的虛擬視點繪制是十分必要的。
[0005]通過空域隨機訪問抽取局部圖像的碼流進行有選擇的傳輸，可以避免傳送一些不必要的信息，節(jié)省信道帶寬。空域隨機訪問是指隨機地介入到圖像中某一局部區(qū)域，它是多視點視頻編碼中的一項基本需求。采用動態(tài)三維點采樣的數(shù)據(jù)表示形式提供了較強的空域隨機訪問能力，但其表示形式僅適合于虛擬的合成視頻，不適用于自然采集的多視點視頻。
[0006]目前，基于H.2641AVC的多視點編碼框架只能通過整幅圖像完全解碼之后來支持空域隨機訪問功能，這種方法訪問速度很慢，無法滿足交互式虛擬視點繪制時快速獲取數(shù)據(jù)的需求。

【發(fā)明內(nèi)容】

[0007]本發(fā)明基于H.264/AVC編碼框架，提出基于G0P片劃分的支持空域隨機訪問的自適應多視點視頻編碼方法，以滿足快速虛擬視點繪制的需求。
[0008]—種基于G0P片劃分的支持空域隨機訪問的自適應多視點視頻編碼方法，包括:
[0009](1)將多視點視頻劃分成多個GG0P(獨立時空體，group of GOP)的集合，所述GGOP為具有視點間預測關(guān)系的多個視點在同一時間間隔內(nèi)所對應的若干G0P(畫面組，Group ofPictures)組成；
[0010](2)針對每一個GG0P進行編碼時，將圖像區(qū)劃分成多個條帶組，每個條帶組再根據(jù)靈活的宏塊排序技術(shù)(flexible macroblock ordering，F(xiàn)M0)進行編碼，得到編碼后的多視點視頻；
[0011](3)對編碼后的多視點視頻進行空域隨機訪問時，將幀間預測范圍限制在空域隨機訪問指向的GG0P進行解碼。
[0012]本發(fā)明首先通過多視點視頻序列相關(guān)性，采用靈活的自適應G0P時空劃分來構(gòu)建獨立時空體，解碼時在每個時空體內(nèi)通過限制幀間預測范圍來增強解碼的獨立性，從而可以實現(xiàn)壓縮域內(nèi)某一幀特定區(qū)域數(shù)據(jù)的快速定位，進而通過調(diào)整預測空間來改善空域隨機訪問和整幀編碼性能之間的關(guān)系。
[0013]在MVC(multi_view video coding)中，通常將多視點視頻序列按GOP先進行分段再進行編碼。通過分析發(fā)現(xiàn):在編碼B幀時，通過分析序列的相關(guān)性可以去掉其中一些無用或作用很小的參考幀，以有效地降低計算復雜度。但是對于相關(guān)性變化豐富的多視點視頻序列，假定整個G0P內(nèi)部圖像的相關(guān)性一致，則顯得有些粗糙，編碼效率難以進一步提高?？紤]上述因素，本發(fā)明利用獨立片的概念，把相關(guān)性分析細化到G0P內(nèi)部，將G0P分割為獨立片的組合體，可以有效地提高多視點視頻編碼效率。使用獨立片作為相關(guān)性判斷的實體，其內(nèi)部圖像的相關(guān)性一致。獨立片可以以幀、視點等形式來劃分，最小可用一幀代表一個獨立片。反之，整個G0P也能作為一個獨立片。以幀的形成來劃分獨立片是指以一幀作為一個獨立片，每編碼完一幀都要保存其中相關(guān)性判斷信息，作為后續(xù)幀中選擇參考幀的依據(jù)。以視點來劃分是指將每個視點作為一個獨立片，每編碼完一個視點做一次分析，保存相關(guān)信息，作為后續(xù)視點編碼時選擇參考幀的依據(jù)。
[0014]本發(fā)明將視點間預測關(guān)系的多個視點在同一時間間隔內(nèi)所對應的若干G0P構(gòu)成獨立時空體。
[0015]步驟(1)劃分GG0P時，定義編碼塊范圍預測準則如下:
[0016]Hormin=max{(-MbX < 4-(16+8)) < 2, ((L_A_X-MbX) <4) <2}
[0017]Vermin=mx{ ((-MbY < 4-( 16+8)) < 2，((L_A_y_MbY) <4) <2}
[0018]Hormax=min{ (((MblnFrameX-MbX) < 4)+8) < 2, ((R_D_X-MbX) <4) <2}
[0019]Vermax=min{ (((MblnFrameY-MbY) < 4)+8) < 2，((R_D_Y_MbY) <4) <2} (1)
[0020]其中，L_A_X，L_A_y，R_D_X和R_D_y分別表示當前編碼圖像區(qū)的左上角和右下角的水平和垂直坐標；
[0021 ] MbX和MbY分別表示當前編碼宏塊的以塊索引度量的水平和垂直坐標；
[0022]MblnFrameX和MblnFrameY分別表示當前幀在水平和垂直方向上包含的宏塊數(shù)；
[0023]設^_、￥65^、110^\、￥6^\分別表示水平方向和垂直方向的1/4像素精度預測范圍的最小和最大值；
[0024]在塊匹配搜索時，通過在編碼配置時設置的搜索范圍[-p，p-l]與式子(1)計算得到的最大最小值之間進行適當比較，最終確定每個編碼塊運動向量的范圍。
[0025]獨立時空體圖像區(qū)在編碼時由條帶組來描述，每一圖像區(qū)可以由一個或多個條帶組組成，條帶組再根據(jù)靈活的宏塊排序技術(shù)(flexible macroblock ordering，F(xiàn)M0)進行編碼。
[0026]圖像區(qū)的劃分尺寸由空域隨機訪問粒度的具體需求來決定.當采用FM0時，編碼器需要傳送宏塊與條帶組之間的映射關(guān)系數(shù)據(jù)，這增加了傳輸?shù)拇a率。由于劃分后圖像區(qū)的數(shù)量對編碼性能會有很大影響，因此規(guī)則圖像區(qū)的劃分首先要能夠覆蓋需要訪問的最小區(qū)域面積，然后盡可能地減少由劃分引起的傳輸代價。在空域隨機訪問尺度小于一幀大小的前提下，整幀編碼性能隨著空域隨機訪問尺度增大滿足某種近似的單調(diào)遞增關(guān)系。訪問需求的粒度決定虛擬視點繪制時所需要的相鄰視點部分圖像面積的準確程度。面積越小，取得的部分圖像的面積越精確。反之，則越不精確。
[0027]分圖像區(qū)編碼把每一圖像區(qū)作為一個獨立的編解碼實體，需要為之設計相應的編碼機制。在多視點編碼框架中，同一時刻一個視點的圖像將作為其相鄰視點的參考圖像進行視差預測。
[0028]為了支持幀內(nèi)部分圖像的快速訪問，時間方向的運動向量預測和視點間的視差向量預測都必須限制在一定的范圍之內(nèi)。為此，將具有視間預測關(guān)系的多個視點在同一時間間隔內(nèi)所對應的若干G0P定義為一個GGOP (group of GOP)。在解碼過程中時間方向的幀間預測和空間方向的視間預測都必須局限在該GG0P所確定的有限時空體內(nèi)進行，稱為獨立時空體編碼。
[0029]作為優(yōu)選，完成編碼后，依次進行修改插值和環(huán)路濾波。
[0030]基于H.264/AVC的多視點編碼器中，亞像素插值提高了運動和視差估計的精度。為了配合1/4亞像素的上采樣插值操作，在每一幀的邊界處采用擴展填充處理。獨立時空體編碼算法在分割的圖像區(qū)邊界處采用了類似的擴展填充處理。
[0031]進行修改插值時，編碼的圖像區(qū)在邊界處放大2個整像素的寬度，然后利用重復的邊界像素來進行填充。這種操作可以進一步提高圖像區(qū)邊界處的預測效率。
[0032]為了使每一個圖像區(qū)都能夠被獨立訪問，作為優(yōu)選，進行環(huán)路濾波時，僅在圖像區(qū)內(nèi)部進行。僅在圖像區(qū)內(nèi)部，而不在圖像區(qū)的邊界處進行環(huán)路濾波，從而使不同的圖像區(qū)相互之間割斷聯(lián)系。
[0033]本發(fā)明基于G0P片劃分的支持空域隨機訪問的自適應多視點視頻編碼方法在保證高率失真性能的前提下，應用自適應算法有效地降低了多視點視頻編碼計算復雜度，將多種性能進行有機結(jié)合，可以根據(jù)用戶外部設置的參數(shù)調(diào)整自適應模式。
[0034]本發(fā)明在保證高壓縮效率的前提下，能有效地降低計算復雜度.并改善隨機訪問性能。本發(fā)明不僅在整幀壓縮效率和快速空域隨機訪問靈活性方面達到了很好的平衡，而且能夠通過傳輸部分碼流的方式節(jié)省傳輸帶寬。
【具體實施方式】
[0035]下面將結(jié)合具體實施例對本發(fā)明進行詳細說明。
[0036]本實施例的基于G0P片劃分的支持空域隨機訪問的自適應多視點視頻編碼方法，包括如下步驟:
[0037]1)獨立時空體范圍確定:
[0038]為了支持幀內(nèi)部分圖像的快速訪問，時間方向的運動向量預測和視點間的視差向量預測都必須限制在一定的范圍之內(nèi)。為此，將具有視間預測關(guān)系的多個視點在同一時間間隔內(nèi)所對應的若干G0P定義為一個GGOP (group of GOP)。在解碼過程中時間方向的幀間預測和空間方向的視間預測都必須局限在該GG0P所確定的有限時空體內(nèi)進行，稱為獨立時空體編碼。時間方向的幀間預測和空間方向的視間預測都必須局限在該GG0P所確定的有限時空體內(nèi)進行，稱為獨立時空體編碼。
[0039]獨立時空體編碼的關(guān)鍵步驟是如何設置預測范圍.由獨立時空體的定義，本實施例給出編碼塊范圍預測準則如下: