專利名稱：多視點視頻信號的編碼方法
多視點視頻信號的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻信號的處理方法，尤其涉及一種多視點視頻信號的編碼方法。背景技術(shù)：
多視點視頻系統(tǒng)能夠提供真實的深度感知特性，交互性和全新的視覺享受，并能廣泛應(yīng)用于多種多媒體應(yīng)用，如三維電視(Three Dimensional TV，3DTV)、自由視點電視(Free viewpoint TV, FTV)、沉浸式視頻會議以及虛擬現(xiàn)實等。因為這些多視點視頻是由多個攝像機在略微不同的角度或位置采集的，視頻數(shù)據(jù)具有較強的時間、空間以及視點間的相關(guān)性，需要有效地壓縮便于實際應(yīng)用與網(wǎng)絡(luò)傳輸。為此，由視頻編碼專家組(VideoCoding Experts Group)和運動圖像專家組(Moving Pictures Experts Group)組成的聯(lián)合視頻編碼組(Joint VideoTeam)研制了多視點視頻編碼方法(Multiview Video Coding)并從事相關(guān)的標準化工作。如

圖1所示，為多視點視頻信號編碼中分層預(yù)測結(jié)構(gòu)，包括8個視點，圖像組長度為12，其中每個方塊為一幀編碼圖像，SO至S7分別表示不同的視點，TO至T12表示不同時亥IJ，箭頭指向表示參考方向，方塊內(nèi)部的字母I表示幀內(nèi)幀，P表示單向預(yù)測幀，B表示雙向預(yù)測幀，字母旁邊的數(shù)字表示層次，越大表示層次越高。視差估計和運動估計技術(shù)被用于消除視頻的時間和視點間相關(guān)性。另外，采用可變尺寸塊模式選擇技術(shù)和多參考幀預(yù)測技術(shù)提高視差估計和運動估計的預(yù)測精度，有效提高壓縮效率。然而，以上技術(shù)，尤其是可變尺寸塊的模式選擇技術(shù)，極大地增加了計算復(fù)雜度，不利于多視點視頻的實際應(yīng)用，如三維視頻直播和交互式自由視點電視。為了降低可變尺寸塊技術(shù)的計算復(fù)雜度，對于面向單通道視頻編碼標準H.264/AVC和可分級視頻編碼標準，提出了基于模式概率的快速模式選擇方法和考慮時間、空間相關(guān)性的模式選擇方法。 對于視頻的時空相關(guān)性和視頻紋理特性，提出了幀間(Inter)和幀內(nèi)(Intra)聯(lián)合的模式選擇方法，并提出了全零塊檢測方法，并將其應(yīng)用于H.264/AVC中早期模式選擇?；谶\動特性的模式選擇方法，提出了通過率失真代價的硬閾值分割選擇直接模式(DIRECT或SKIP)或幀內(nèi)模式為最佳模式，該方法中的閾值是通過量化參數(shù)(QuantizationParameter)線性擬合得到,主要使用于單項預(yù)測巾貞，即P巾貞。以上方法主要針對于單通道的視頻編碼標準H.264/AVC或可分級編碼，由于不同的統(tǒng)計特性和相關(guān)性特性并不能直接應(yīng)用于采用分層式預(yù)測結(jié)構(gòu)的多視點視頻編碼標準。另外，以上方法沒有考慮不同視點間各個宏塊(Marco block)的相關(guān)性。針對多視點視頻編碼系統(tǒng)，提出了混合式模式選擇方法，通過全局視差矢量(Global Disparity Vectors,⑶Vs)和多重閾值的提前選擇編碼模式。基于紋理特性和紋理分割對與背景等區(qū)域進行簡單的模式選擇，降低計算復(fù)雜度，通過空間宏塊和視點間對應(yīng)宏塊的運動矢量預(yù)測當前宏塊的運動的復(fù)雜程度，并基于此減少簡單運動區(qū)域的模式數(shù)量。提出基于編碼塊模式系數(shù)(Coded BlockPatterns, CBP)的模式選擇方法，對于編碼塊模式系數(shù)為零的塊選擇直接模式(DIRECT Mode)或者16 X 16模式為最佳模式，否則遍歷其他小尺寸塊模式。

發(fā)明內(nèi)容基于此，有必要提供一種計算量小、復(fù)雜度低的多視點視頻信號的編碼方法?！N多視點視頻信號的編碼方法，包括:判斷當前幀是否位于錨幀，若是，則對當前幀的當前宏塊采用全模式搜索選擇編碼方法，選擇當前宏塊在各個模式下編碼的最小率失真代價所對應(yīng)的編碼模式為編碼最佳模式；若否，則采用直接模式編碼當前宏塊并獲取編碼后的當前宏塊的樣式系數(shù)；聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價Jdikect的統(tǒng)計分布特性，構(gòu)建直接模式的早期終止條件一，如果滿足早期終止條件一，選擇直接模式為最佳模式并終止模式；如果不滿足早期終止條件一，則獲取采用16X16塊模式編碼的當前宏塊的率失真代價J16xi6;根據(jù)直接模式編碼的當前宏塊的率失真代價Jdikect與16X 16塊模式編碼的當前宏塊的率失真代價J16xi6·，構(gòu)建直接模式的早期終止條件二；如果滿足早期終止條件二，則根據(jù)采用直接模式編碼的當前宏塊的率失真代價Jdikect與16X 16塊模式編碼的當前宏塊的率失真代價J16xi6，設(shè)置編碼最佳模式；如果不滿足早期終止條件二，則選擇當前宏塊在各個模式下編碼的最小率失真代價所對應(yīng)的編碼模式為編碼最佳模式并編碼當前宏塊。優(yōu)選地，所述聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價Jdikect的統(tǒng)計分布特性包括:判斷樣式系數(shù)與樣式系數(shù)閾值的大小，當樣式系數(shù)不小于樣式系數(shù)閾值時，則采用16X16塊模式對當前宏塊進行編碼；并獲取采用16X16塊模式編碼的當前宏塊的率失
真代價J 16X16 ;當樣式系數(shù)小于樣式系數(shù)閾值Tcbp且當前宏塊所在的當前幀為偶數(shù)視點幀時，獲取所述采用直接模式編碼的當前宏塊的率失真代價Jdikect ；根據(jù)采用直接模式編碼的當前宏塊的率失真代價Jdikect與設(shè)定的直接模式的率失真代價閾值Tkd的值，或者采用直接模式編碼的當前宏塊的率失真代價Jdikect與16X 16塊模式編碼的當前宏塊的率失真代價J16xi6設(shè)置編碼最佳模式；如果采用直接模式編碼的當前宏塊的率失真代價Jdikect小于設(shè)定的直接模式的率失真代價閾值Tkd，則直接模式為編碼最佳模式；如果采用直接模式編碼的當前宏塊的率失真代價Jdikect大于或等于設(shè)定的直接模式的率失真代價閾值Tkd，則16 X 16塊模式為編碼最佳模式。優(yōu)選地，在所述使用16 X 16塊模式編碼當前宏塊的步驟之后還包括:獲取采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6 ；根據(jù)當前宏塊采用直接模式編碼的當前宏塊的率失真代價Jdikect和16X 16塊模式編碼的當前宏塊的率失真代價J16xi6設(shè)置編碼最佳模式。優(yōu)選地，所述根據(jù)當前宏塊采用直接模式編碼的率失真代價Jdikect和采用16X 16塊模式編碼的率失真代價J16xi6設(shè)置編碼最佳模式的步驟包括:如果采用直接模式編碼的當前宏塊的率失真代價Jdikect小于采用16X 16塊模式編碼的當前宏塊的率失真代價J16xl6，則設(shè)置直接模式為編碼最佳模式；如果采用直接模式編碼的當前宏塊的率失真代價Jdikect大于采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6，則選擇16X 16塊模式為編碼最佳模式。優(yōu)選地，所述聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價Jdikect的統(tǒng)計分布特性還包括:當樣式系數(shù)不小于樣式系數(shù)閾值Trap且當前宏塊所在的當前幀為奇數(shù)視點幀時，根據(jù)公式Wdikect (x, y) = min (W1 (x+GDVx1； y+GDVy1), Wr (x+GDVxr, y+GDVyr))計算當前宏塊的權(quán)重系數(shù)Wdikect ；其中X，y分別表示當前宏塊在水平和豎直方向上的以宏塊為單位的坐標，當前宏塊的相對于Ψ視點的全局視差矢量= IGDVxv，⑶Vyv}，Ψ e {l，r}，l和r分別表示左邊和右邊相鄰視點；Wv (U，V)定義為:
權(quán)利要求
1.一種多視點視頻信號的編碼方法，包括: 判斷當前幀是否位于錨幀，若是，則對當前幀的當前宏塊采用全模式搜索選擇編碼方法，選擇當前宏塊在各個模式下編碼的最小率失真代價所對應(yīng)的編碼模式為編碼最佳模式；若否，則采用直接模式編碼當前宏塊并獲取編碼后的當前宏塊的樣式系數(shù)； 聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價Jdikect的統(tǒng)計分布特性，構(gòu)建直接模式的早期終止條件一，如果滿 足早期終止條件一，選擇直接模式為最佳模式并終止模式；如果不滿足早期終止條件一，則獲取采用16X16塊模式編碼的當前宏塊的率失真代價J16xi6; 根據(jù)直接模式編碼的當前宏塊的率失真代價Jdikkt與16X 16塊模式編碼的當前宏塊的率失真代價J16xi6，構(gòu)建直接模式的早期終止條件二 ；如果滿足早期終止條件二，則根據(jù)采用直接模式編碼的當前宏塊的率失真代價Jdikect與16X 16塊模式編碼的當前宏塊的率失真代價J16xi6，設(shè)置編碼最佳模式；如果不滿足早期終止條件二，則選擇當前宏塊在各個模式下編碼的最小率失真代價所對應(yīng)的編碼模式為編碼最佳模式并編碼當前宏塊。
2.根據(jù)權(quán)利要求1所述的多視點視頻信號的編碼方法，其特征在于，所述聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價Jdikect的統(tǒng)計分布特性包括: 判斷樣式系數(shù)與樣式系數(shù)閾值的大小，當樣式系數(shù)不小于樣式系數(shù)閾值時，則采用16X16塊模式對當前宏塊進行編碼；并獲取采用16X16塊模式編碼的當前宏塊的率失真代價 J16xi6 ; 當樣式系數(shù)小于樣式系數(shù)閾值Tcbp且當前宏塊所在的當前幀為偶數(shù)視點幀時，獲取所述采用直接模式編碼的當前宏塊的率失真代價Jdikect ； 根據(jù)采用直接模式編碼的當前宏塊的率失真代價Jdikect與設(shè)定的直接模式的率失真代價閾值Tkd的值，或者采用直接模式編碼的當前宏塊的率失真代價Jdikect與16X 16塊模式編碼的當前宏塊的率失真代價J16xi6設(shè)置編碼最佳模式； 如果采用直接模式編碼的當前宏塊的率失真代價Jdikect小于設(shè)定的直接模式的率失真代價閾值Tkd，則直接模式為編碼最佳模式； 如果采用直接模式編碼的當前宏塊的率失真代價Jdikect大于或等于設(shè)定的直接模式的率失真代價閾值TKD，則16X 16塊模式為編碼最佳模式。
3.根據(jù)權(quán)利要求2所述的多視點視頻信號的編碼方法，其特征在于，在所述使用16X16塊模式編碼當前宏塊的步驟之后還包括: 獲取采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6 ； 根據(jù)當前宏塊采用直接模式編碼的當前宏塊的率失真代價Jdikect和16 X 16塊模式編碼的當前宏塊的率失真代價J16xi6設(shè)置編碼最佳模式。
4.根據(jù)權(quán)利要求1或3所述的多視點視頻信號的編碼方法，其特征在于，所述根據(jù)當前宏塊采用直接模式編碼的率失真代價Jdikect和采用16 X 16塊模式編碼的率失真代價J16xi6設(shè)置編碼最佳模式的步驟包括: 如果采用直接模式編碼的當前宏塊的率失真代價Jdikect小于采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6，則設(shè)置直接模式為編碼最佳模式； 如果采用直接模式編碼的當前宏塊的率失真代價Jdikect大于采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6，則選擇16X 16塊模式為編碼最佳模式。
5.根據(jù)權(quán)利要求1所述的多視點視頻信號的編碼方法，其特征在于，所述聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價Jdikect的統(tǒng)計分布特性還包括: 當樣式系數(shù)不小于樣式系數(shù)閾值Tcbp且當前宏塊所在的當前幀為奇數(shù)視點幀時，根據(jù)公式 Wdikect (X，y) = min (W1 (x+GDVx1； y+GDVy1), Wr (x+GDVxr, y+GDVyr))計算當前宏塊的權(quán)重系數(shù)Wdikect ； 其中X，I分別表示當前宏塊在水平和豎直方向上的以宏塊為單位的坐標，當前宏塊的相對于Ψ視點的全局視差矢量 νψ = IGDVxv，⑶Vyv}，Ψ e {l，r}，l和r分別表示左邊和右邊相鄰視點；Wllf (u, V)定義為:
6.根據(jù)權(quán)利要求5所述的多視點視頻信號的編碼方法，其特征在于，所述根據(jù)權(quán)重系數(shù)Wdikect或者率失真代價Jdikect設(shè)置編碼模式的步驟包括: 如果采用直接模式編碼的當前宏塊的率失真代價Jdikect小于設(shè)定的直接模式的率失真代價閾值Tkd或者權(quán)重系數(shù)Wdikect大于設(shè)定的視點間直接模式的率失真代價閾值Tw，則設(shè)置直接模式為編碼最佳模式； 如果采用直接模式編碼的當前宏塊的率失真代價Jdikect大于或等于設(shè)定的直接模式的率失真代價閾值Tkd或者權(quán)重系數(shù)Wdikect小于或等于設(shè)定的視點間直接模式的率失真代價閾值Tw，則使用16X 16塊模式編碼當前宏塊。
7.根據(jù)權(quán)利要求6所述的多視點視頻信號的編碼方法，其特征在于，在所述使用16X16塊模式編碼當前宏塊的步驟之后還包括: 獲取采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6 ； 根據(jù)采用直接模式編碼的當前宏塊的率失真代價Jdikect和采用16X 16塊模式編碼的當前宏塊的率失真代價J16xi6選擇編碼最佳模式。
8.根據(jù)權(quán)利要求7所述的多視點視頻信號的編碼方法，其特征在于，所述根據(jù)采用直接模式編碼的當前宏塊的率失真代價Jdikect和采用16X 16塊模式編碼的當前宏塊的率失真代價J16xl6選擇編碼模式的步驟包括:如果J DIRECT 〈 入X J16xi6，則比較J DIRECT 和J 16X16， 其中λ為加權(quán)系數(shù)； 如果Jdikect < J16xi6，則選擇直接模式為編碼最佳模式； 如果> J16xi6，則選擇16X 16塊模式為編碼最佳模式。
9.根據(jù)權(quán)利要求8所述的多視點視頻信號的編碼方法，其特征在于，所述根據(jù)當前宏塊采用直接模式編碼的率失真代價Jdikect和采用16 X 16塊模式編碼的率失真代價J16xi6選擇編碼模式的步驟還包括: 如果Jdikkt < λ X J16xi6，其中λ為加權(quán)系數(shù)；則采用幀間模式和幀內(nèi)模式編碼當前宏塊，并比較率失真代價，選擇最小率失真代價對應(yīng)的模式為編碼最佳模式。
10.根據(jù)權(quán)利要求2、6、7、8、或9所述的多視點視頻信號的編碼方法，其特征在于，根據(jù)權(quán)利要求所述的多視點視頻信號的編碼方法，其特征在于，所述直接模式的率失真代價閾值Tkd的設(shè)定步驟包括: 步驟I，如果當前宏塊當前圖像組中的第O或第I視點中的非錨巾貞(Non-anchorframe)中的前nw。個宏塊，設(shè)定閾值Ted為TMIN，Tmin為大于O的數(shù)，并編碼當前宏塊，將參數(shù)σ，μ，μ D，σ和Pd初始化，初始化公式為:
全文摘要
一種多視點視頻信號的編碼方法通過聯(lián)合利用多視點視頻視點間相關(guān)性，采用直接模式編碼當前宏塊獲取的樣式系數(shù)信息以及直接模式編碼當前宏塊獲取的率失真代價JDIRECT的統(tǒng)計分布特性，或采用直接模式編碼的當前宏塊的率失真代價JDIRECT與16×16塊模式編碼的當前宏塊的率失真代價J16×16設(shè)置編碼最佳模式，能夠構(gòu)建有效直接模式的早期終止條件以及早期終止策略，由于直接模式計算量最小，且構(gòu)建的直接模式的早期終止條件誤判率和漏判率低，因此，上述多視點視頻信號的編碼方法最大限度地提前選擇編碼最佳模式并終止視頻編碼中不必要的復(fù)雜的模式選擇過程，更有效降低多視點視頻編碼復(fù)雜度，提高編碼速度。
文檔編號H04N7/26GK103188500SQ20111045976
公開日2013年7月3日 申請日期2011年12月31日 優(yōu)先權(quán)日2011年12月31日
發(fā)明者張云, 趙鐵松, 陳先開, 王志強, 陳前 申請人:中國科學(xué)院深圳先進技術(shù)研究院