視頻編碼方法
【技術領域】
[0001] 本發(fā)明有關于H維視頻編碼。更具體地，本發(fā)明有關于3D和多視圖視頻編碼中的 參考圖像選擇和信令。
【背景技術】
[0002] H維（t虹ee-dimensional, 3D)立體電視為近幾年科技發(fā)展的趨勢，其目的為帶 給觀眾梅艷的視覺體驗。目前已開發(fā)各種技術用W致能3D立體視圖，且與其他技術相比， 多視圖（multi-view)視頻為3D電視應用的主要技術。傳統(tǒng)視頻為二維（two-dimensional, 2D)媒介，其從攝影機的角度向觀眾提供場景的單一視圖。然而，多視圖視頻可提供動態(tài)場 景的任意視點（viewpoint)且為觀眾提供真實的感官。3D視頻格式也可包括相應于對應紋 理（tex化re)圖像的深度圖（ckpthmap)。深度圖也須進行編碼W撞染（render)H維視圖 或多視圖。
[0003] 本領域已掲露各種技術W改進3D視頻編碼的編碼效率。也存在發(fā)展活動W標 準化（standardize)編碼技術。例如，國際標準組織（InternationalOrganizationfor Standardization,ISO)內的工作組ISO/IECJTC1/SC29/WG11正在開發(fā)基于3D視頻編碼標 準的高效視頻編碼（化曲EfficiencyVideoCoding,肥VC)(稱為3D-肥VD)。在3D和多 視圖編碼中，由于所有攝影機從不同視點捕捉相同場景，多視圖視頻將包括大量的視圖間 兀余（inter-viewre化ndancy)。為共享相鄰視圖的先前已編碼兀余信息，當前區(qū)塊（PU) 的兀余信號可由視圖間圖像（inter-viewpicture)中的一或多個對應區(qū)塊的兀余信號進 行預測，其中，由視差矢量（disparityvector,DV)定位該一或多個對應區(qū)塊。
[0004] 圖1為根據3D-HEVC的當前設計的先進兀余預測（advancedresidual prediction,ARP)的實例示意圖，其中，使用時間預測的當前視圖中的兀余信號是由參 考視圖中的兀余預測信號預測的。ARP的主要過程可描述如下，W用于當前預測單元 (predictionunit,PU)使用時間預測（即參考圖像為時間參考圖像）的情形：
[000引1.使用運動矢量（表示為mv化X= 0或1)和當前視圖（Vc)的當前圖像（110) 中的當前區(qū)塊（化rr112)的參考索引從當前區(qū)塊（化rr112)的位置定位（locate)當前 視圖（Vc)的參考圖像（140)中的時間參考區(qū)塊（CurrRef1蝴。
[000引 2.使用當前區(qū)塊（Curr1。）的推導DV130從當前區(qū)塊（Curr1。）的位置定位 對應于當前區(qū)塊（化rr112)的參考視圖的參考圖像（120)中的對應區(qū)塊炬ase122)。
[0007] 3.通過再使用當前區(qū)塊（Curr1。）的時間運動信息（即mvLX和參考索引）定位 參考視圖（化）中的對應區(qū)塊炬ase122)的時間參考區(qū)塊炬aseRef152)。
[0008] 4.為減少存儲器的存取帶寬，當權重因子不為0時，在根據當前 3D-肥VC(HTM-9.0)標準執(zhí)行運動補償之前，對來自當前區(qū)塊的運動矢量mvLX向固定參考 圖像進行縮放（scale)。具體地，將固定參考圖像定義為每個參考圖像列表的第一時間參考 圖像。
[0009] 5.當前PU/區(qū)塊的時間兀余信號的兀余預測項（predictor)可計算為參考視圖中 的兩個獨立區(qū)塊之間的差值（即Base-BaseRef)。換目之，通過參考兀余炬ase-BaseRef) 計算當前兀余（化rr-化rrRef)。
[0010] 圖2為基于3D-HEVC的H維視頻編碼中ARP的預測結構的示例示意圖。當當前視 圖使用視圖間預測（即參考圖像為視圖間參考圖像）而非時間預測時，ARP的主要過程可 描述為如圖2中所示。
[0011] 1.由當前視圖（Vc)中的當前圖像（210)的當前區(qū)塊（Curr2。）的視差運動矢量 (330)定位參考視圖（化）中的參考視圖圖像（320)的視圖間參考區(qū)塊炬ase222)。
[0012] 2.使用時間運動矢量（mvL幻和參考索引定位參考視圖中的視圖間區(qū)塊炬ase 222)的時間參考區(qū)塊炬aseRef252)，其中，首先使用L0運動信息；如果L0運動信息不可 用，則再使用L1運動信息。
[001引 3.通過再使用當前區(qū)塊（2。）的DV(230)從參考視圖中的視圖間參考區(qū)塊炬ase222)的時間參考區(qū)塊炬aseRef252)的位置定位當前視圖中的當前區(qū)塊的當前參考區(qū)塊 (CurrRef242)。
[0014] 4.為減少存儲器的存取帶寬，在當前2D-HEV"HTM-9. 0)中，當權重因子不為0 時，在執(zhí)行運動補償之前，對視圖間參考區(qū)塊炬ase222)向固定參考圖像進行縮放。將固 定圖像（fixedpicture)定義為每個參考圖像列表的第一時間參考圖像。然而，當來自基 礎炬ase)的mvLO無效時，將使用來自基礎的運動矢量mvLl。如果來自基礎的mvLO和mvLl 都為無效的，則使用零向量，且將參考圖像設置為當前區(qū)塊的預測方向的第一時間參考圖 像（列表0或列表1)。如果視圖間參考區(qū)塊炬ase222)不具有L0MV，來自視圖間參考區(qū) 塊炬ase222)的運動矢量可為無效的，或者用于視圖間參考區(qū)塊炬ase222)的列表0預 測為視圖間視差補償預測。
[001引 5.根據（Curr-Base)計算當前視圖間預巧IJ兀余。當前PU/區(qū)塊的視圖間兀余信 號的兀余預測項可計算為參考時間（referencetime)內中的兩個獨立區(qū)塊之間的差值，即 另一存取單元（化rrRef-BaseRef)。
[0016] 在ARP中，如圖1所示，選擇參考圖像（即VO)中的每個參考列表的第一時間參 考圖像作為對應區(qū)塊的參考圖像。然后對當前PU的運動矢量向參考視圖中的對應區(qū)塊 的選擇參考圖像進行縮放W通過執(zhí)行運動補償產生預測兀余信號。當當前PU為雙向預測 (bi-prediction)編碼且具有用于列表0和列表1的相同運動時，如圖3所示，可由用于列 表0和列表1的不同參考圖像產生不同預測兀余信號W用于列表0和列表1。圖像310對 應于視圖UV1)中的當前圖像，且區(qū)塊312對應于當前預測單元（PU)。當前PU的視差矢 量值V)314指向參考視圖（V0)中的視圖間參考圖像（330)中的對應區(qū)塊（332)。在此示例 中，對應區(qū)塊（332)為與當前區(qū)塊（312)相同的列表0中的同一參考圖像。然而，如圖3所 示，對應區(qū)塊（332)為不同于當前區(qū)塊（312)的列表1中的參考圖像（350)。在相相反方向 中，將列表1MV縮放至參考圖像（350)。當在相同方向參考圖像為可用時，通過在相反方向 將MV縮放至參考圖像可導致預測性能的衰減。
[0017] 根據現(xiàn)有標準的發(fā)展，使用參考圖像列表中的第一時間參考圖像作為對應區(qū)塊的 參考圖像。因此，即使在相同圖像中的條帶（slice)之間發(fā)生參考列表重排序（reference listreordering)的一點變化也可能會導致對應區(qū)塊的參考圖像發(fā)生變化。由于動態(tài)隨機 存取存儲器（dynamicrandomaccessmemory,DRAM)的存取限制，頻繁的基礎視圖化ase view)的參考圖像變化可能會產生對解碼器的性能負擔。
[0018] 對于高效解碼器，DRAM的存取優(yōu)化對于高效實施是至關重要的。雙倍數據速率 (doubledatarate,孤R)DRAM的產生支持了更高的帶寬。然而，系統(tǒng)需設計為使用大的 突發(fā)流量大小化urstsize)并允許更長的延時W實現(xiàn)帶寬性能。此外，由于時間參考數 據（例如時間參考圖像）由于過大而不能儲存在片上（on-chip)存儲器中，時間參考數據 通常存儲在DRAM中。解碼器必須在單個突發(fā)流量中讀取多個達到最大編碼單元（largest codingunits,LCU)的數據W滿足存儲器存取性能的需求。通常，系統(tǒng)使用流水結構 (pipelinestructure)W實現(xiàn)帶寬性能。相應地，必須在LCU使用數據之前提前取回數據 W減少兀長的存儲器延遲。而允許對應區(qū)塊的參考圖像在條帶之間變化的行為將打斷