三維視頻編碼的視圖間候選推導(dǎo)的方法及其裝置的制造方法
【專利說明】H維視頻編碼的視圖間候選推導(dǎo)的方法及其裝置
[000?！窘徊嬉谩?br>[0002] 本發(fā)明主張申請于2013年4月10日，序列號為61/810, 383,標題為"Additional Inter-view Candidate for 3Dand Multi-view Video Coding"的美國臨時專利申請的優(yōu) 先權(quán)。將此美國臨時專利申請W參考的方式并入本文中。 【技術(shù)領(lǐng)域】
[0003] 本發(fā)明設(shè)及視頻編碼。特別地，本發(fā)明設(shè)及=維/多視圖視頻編碼中用于運動向 量/視差向量或運動向量預(yù)測/視差向量預(yù)測的視圖間候選推導(dǎo)。 【【背景技術(shù)】】
[0004] S維燈虹ee-dimensional，W下簡稱為3D)電視技術(shù)是近年來的技術(shù)發(fā)展趨勢， 其試圖給觀看者帶來轟動的觀看體驗（viewingexperience)。多視圖視頻是一種用來捕 獲并呈現(xiàn)3D視頻的技術(shù)。多視圖視頻通常是通過由多個相機同時捕獲一個場景來創(chuàng)建，其 中，多個相機被合適地定位W使每個相機從一個視角（viewpoint)來捕獲該場景。具有大 量與視圖相關(guān)聯(lián)的視頻序列的多視圖視頻表示了巨量的數(shù)據(jù)（massiveamountdata)。因 此，多視圖視頻將需要大量的存儲空間來存儲和/或需要高的帶寬來傳送。因此，在本領(lǐng)域 中，多視圖視頻編碼技術(shù)被開發(fā)出來W減少所需要的存儲空間W及傳送帶寬。一個直接方 法可W簡單地應(yīng)用于現(xiàn)有的視頻編碼技術(shù)，使每個單個視圖視頻序列獨立且忽視不同視圖 中的任何關(guān)聯(lián)。運樣的直接的技術(shù)將導(dǎo)致低下的編碼性能。為了提高多視圖視頻編碼效率， 多視圖視頻編碼總是利用視圖間冗余。兩個視圖之間的視差是由兩個相關(guān)相機的位置W及 角度而導(dǎo)致。
[0005] 為了減少視圖間冗余，視差補償預(yù)測（dispa;rit5f-compensatedprediction,DCP) 可W作為運動補償預(yù)測（motion-compensatedprediction，MCP)的取代。如圖I所示，MCP 是指用于不同訪問單元（accessunit)中的相同視圖的已編碼圖片的圖片間預(yù)測，而DCP 是指用于相同訪問單元中其它視圖的已編碼圖片的圖片間預(yù)測。3D/多視圖數(shù)據(jù)包括紋理 (texture)圖片（110)W及深度圖（12〇)。MCP被應(yīng)用于時間方向（temporaldirection) (即，圖I中的水平方向）的紋理圖片或深度圖。DCP被用于視圖方向（目P，圖I中的垂直 方向）的紋理圖片或深度圖。用于DCP的向量被稱為視差向量（disparityvector,DV)， DV是模擬用于MCP的運動向量（motionvector,MV)。
[0006] 基于3D視頻編碼標準的高效視頻編碼（Hi曲EfficiencyVideoCoding,肥VC) (命名為3D-HEVC)是肥VC的擴展（高效視頻編碼），3D-HEVC被開發(fā)出來W用于編碼/解 碼3D視頻。視圖中的一個被稱作基礎(chǔ)視圖或獨立視圖。基礎(chǔ)視圖的編碼獨立于其它的視 圖W及深度數(shù)據(jù)。此外，基礎(chǔ)視圖使用現(xiàn)有的肥VC視頻編碼器來編碼。
[0007] 于3D-HEVC中，混合的基于塊的運動補償?shù)念怐CT值CT-Iike)轉(zhuǎn)換編碼架構(gòu)仍然 被使用。用于壓縮的基礎(chǔ)單元被稱為編碼單元（codingunit,CU),其為2化2N的方塊，且 每個CU可W被遞歸地（recursively)分為四個更小的CU,直到達到預(yù)定義的最小的大小為 止。每個CU包括一個或多個預(yù)測單元（predictionunit,PU)。PU的大小可W是2化2N、 2化N、化2N、或化N。當支持非對稱運動分區(qū)（asymmetricmotionpartition,AMP)時，PU 大小還可為2化nU、2化nD、nLx2N[^及nRx2N。
[0008] 于 3D-HEVC中，基于運動向量競爭（motionvectorcompetition,MVC)的 方案也用于從給定的候選集（或候選列表）中選擇運動向量預(yù)測子（motionvector predictor,MVP)/視差向量預(yù)測子（disparityvectorpredicto;r，DVP)。有S種帖間預(yù)測 (inter-prediction)模式，包括：帖間（Inter)、跳過、W及合并。帖間模式對被傳送的運動 向量/視差向量（MV/DV)執(zhí)行運動向量預(yù)測/視差向量預(yù)測，而跳過W及合并模式利用推 導(dǎo)方法從候選列表中選擇MV或DV，W獲取運動信息。候選列表包括來自當前圖片中空間 相鄰塊的候選，時間對應(yīng)圖片（temporalcollocatedpicture)被表示于切片標頭（slice header)中的時間相鄰塊，或視圖間參考圖片中的對應(yīng)塊。運些候選是根據(jù)競爭順序被安排 于候選列表中，列表中的一個候選被選擇為MV/DV或MVP/DVP。當PU于跳過或合并模式中 被編碼時，除了所選擇的候選的索引外，不傳送任何運動信息。在PU被編碼于跳過模式的 情況下，殘差信號也被省略。
[0009] 對于HTM-4. 0 (基于測試模型版本4. 0的3D-HEVC)的帖間模式，高級運動向量預(yù) 測（AdvancedMotionVectorPrediction,AMVP)方案被用于在AMVP候選集中選擇運動向 量預(yù)測子。對于合并W及跳過模式，合并方案用于在合并候選集中選擇MVP。基于碼率失真 最佳化（rate-distortionoptimization,畑0)決定，編碼器于給定的MVP/DVP候選集中選 擇一個最終的MVP/DVPW用于帖間、跳過、或合并模式，并且傳送所選擇的MVP/DVP的索引 到解碼器。所選擇的MVP/DVP可W根據(jù)時間距離或視圖距離來線性縮放。
[0010] 對于深度編碼的帖間模式，參考圖片索引是顯式地傳送到解碼器。接著，MVP/DVP 于候選集中被選擇W用于給定的參考圖片索引。如圖2所示，HTM-4. 0中用于帖間模式的 MVP/DVP候選集包括兩個空間MVP/DVP、一個視圖間候選、W及一個時間MVP/DVP。一個空間 MVP/DVP候選是從B0、B1W及B2中選擇，且其它的空間MVP/DVP候選是從AOW及Al中選 擇。時間MVP/DVP候選是從右下方塊化ottom-ri曲tblock,TBR)中選擇。如果TBR不可 用，則使用中屯、塊（centerblock，TCT)。時間塊TBRW及TCT位于時間參考圖片中。MVP/ DVP候選集的大小固定為2還是3,是取決于視圖間候選是否被包含在內(nèi)。
[0011] 在3D-HEVC中，如果一個特定塊是使用合并模式編碼，合并索引被發(fā)出W指示合 并候選集中的哪一個MVP/DVP候選被用于待合并的塊。為了遵循運動信息共用的本質(zhì)，每 個合并的PU重用MV、預(yù)測方向、W及所選擇的候選的參考圖片索引。對于時間合并候選，參 考圖片索引被設(shè)置為零，且MV根據(jù)POC距離被縮放。如圖2所示，合并候選集包括五個空 間合并候選，一個視圖間候選，一個視差候選，一個VSP候選，W及一個時間合并候選。合并 候選集的大小固定為6。時間候選是基于時間配置塊的TBR。如果TBR不可用，則時間配置 塊的TCT被使用。于3D-HEVC中用于紋理編碼的候選集將于下文所示：
[001引視圖間候選
[0013] -Al
[0014] -Bl
[0015] -BO
[0016] -AO
[0017] -視差候選
[0018] -B2
[001引 -VSP候選
[0020] -時間候選。
[0021] 根據(jù)上文所示的競爭順序（即，從從視圖間候選到時間候選）逐一地將候選插入 候選列表。當合并候選列表中的候選的總數(shù)達到6 (移除冗余候選）時，將不會再插入額外 的候選。
[0022] 對于合并模式W及跳過模式，如果候選列表可W導(dǎo)致更好的MV/DV或MVP/DVP，于 合并模式或跳過模式中，更多的塊可W被編碼。因此，提高了編碼效率。因此，希望開發(fā)出 一種可W提高編碼效率的合并候選列表。 【
【發(fā)明內(nèi)容】
】
[0023] 本發(fā)明掲露了使用候選列表的3D/多視圖編碼的方法及裝置，其中，候選列表 包括用于合并模式、跳過模式、或基于帖間模式的高級運動向量預(yù)測（