用于三維視頻編解碼的從深度到視差矢量轉(zhuǎn)換的方法和裝置的制造方法
【專利說明】用于H維視頻編解碼的從深度到視差矢量轉(zhuǎn)換的方法和裝 置
[0001] 香叉引用
[0002] 本發(fā)明要求2013年1月7日遞交的No. 61/749, 455,發(fā)明名稱為"Methodsand ApparatusforDisparityVectorDerivationinMultiviewVideoCoding"的美國(guó)臨時(shí) 專利申請(qǐng)案的優(yōu)先權(quán)，且將上述美國(guó)臨時(shí)專利申請(qǐng)案作為參考。
技術(shù)領(lǐng)域
[0003] 本發(fā)明有關(guān)于視頻編解碼，且尤其有關(guān)于用于S維（t虹ee-dimensional，3D)視 頻編解碼的由深度對(duì)視差矢量（DisparityVector,DV)的推導(dǎo)（derivation)。
【背景技術(shù)】
[0004] 近些年3D電視已成為技術(shù)潮流，其目標(biāo)是帶給觀看者非常好的觀看體驗(yàn)。多種技 術(shù)已被開發(fā)W進(jìn)行3D觀看。其中，多視圖（multi-view)視頻尤其是用于3D電視應(yīng)用的一 種關(guān)鍵技術(shù)。傳統(tǒng)視頻為二維（two-dimensional, 2D)媒體，只能提供觀看者攝像機(jī)角度的 一場(chǎng)景的單一視圖。然而，多視圖視頻可提供動(dòng)態(tài)場(chǎng)景的任意視點(diǎn)（viewpoint),并提供給 觀看者真實(shí)的感覺。
[0005] 多視圖視頻通常通過同時(shí)采用多個(gè)相機(jī)捕捉一場(chǎng)景而建立，其中多個(gè)相機(jī)被適當(dāng) 放置，使得每個(gè)相機(jī)可從一個(gè)視點(diǎn)捕捉該場(chǎng)景。相應(yīng)地，多個(gè)相機(jī)將捕捉對(duì)應(yīng)于多個(gè)視圖的 多個(gè)視頻序列。為了提供更多視圖，更多相機(jī)被采用來產(chǎn)生具有與視圖有關(guān)的大量視頻序 列的多視圖視頻。相應(yīng)地，多視圖視頻需要大存儲(chǔ)空間進(jìn)行存儲(chǔ)W及/或者高帶寬進(jìn)行傳 輸。因此，本技術(shù)領(lǐng)域中已發(fā)展了多視圖視頻編解碼技術(shù)，W減少所需的存儲(chǔ)空間或者傳輸 帶寬。
[0006] -種直接的方法是對(duì)每個(gè)單一視圖視頻序列獨(dú)立地應(yīng)用傳統(tǒng)視頻編解碼技術(shù)， 而忽略不同視圖之間的任何關(guān)聯(lián)（correlation)。該種編解碼系統(tǒng)可能效率非常低。為 了改進(jìn)多視圖視頻編解碼效率，一般的多視圖視頻編解碼利用視圖間的冗余。因此，大部 分3D視頻編碼（3DVideoCoding，3DVC)系統(tǒng)考慮與多個(gè)視圖有關(guān)的視頻數(shù)據(jù)和深度 圖（ckpthmap)的相關(guān)性。標(biāo)準(zhǔn)開發(fā)組織，國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)化部（International TelecommunicationUnionTelecommunicationStandardizationSector，ITU-T)視步巧編 碼專家組（VideoCodingExpertsGroup,VCEG)的聯(lián)合視頻組（JointVideoTeam,JVT) W及國(guó)際標(biāo)準(zhǔn)化組織（InternationalStandardOrganization,ISO)/國(guó)際電工委員會(huì) (InternationalElectrotechnicalCommission,lEC)運(yùn)動(dòng)圖象專家組（MovingPicture ExpertsGroup,MPEG),將H.264/MPEG-4 高級(jí)視頻編碼（AdvancedVideoCoding,AVC)擴(kuò) 展為多視圖視頻編碼（multi-viewvideocoding,MVC)，用于立體聲和多視圖視頻。
[0007] MVC采用時(shí)間W及空間預(yù)測(cè)，來改進(jìn)壓縮效率。在MVC的發(fā)展中，提出了一些宏塊 級(jí)的（macroblock-level)編解碼工具，包括亮度補(bǔ)償（illuminationcompensation)、自 適應(yīng)參考濾波（adaptivereferencefiltering)、運(yùn)動(dòng)跳躍模式（motionskipmode)和 視圖合成預(yù)測(cè)（viewsynthesisprediction)。該些編解碼工具被提出W利用多個(gè)視圖之 間的冗余。亮度補(bǔ)償用來補(bǔ)償不同視圖之間的亮度變化。自適應(yīng)參考濾波用來降低相機(jī)之 間聚焦不匹配（focusmismatch)造成的變化。運(yùn)動(dòng)跳躍模式允許當(dāng)前視圖中的運(yùn)動(dòng)矢量 (MotionVector，MV)從其他視圖中推測(cè)出來。視圖合成預(yù)測(cè)用于由其他視圖預(yù)測(cè)當(dāng)前視圖 中的圖片。
[0008] 在基于3D視頻編碼的高效視頻編碼化i曲EfficiencyVideoCoding,肥VC)參考 軟件（3D-HTM)中，視圖間候選被添加為用于帖間（Inter)、合并（Merge)和跳躍（Skip)模 式的MV或DV候選，W重用（re-use)相鄰視圖的先前已編碼運(yùn)動(dòng)信息。在3D-HTM中，被稱 為編碼單元（Coding化it,CU)的壓縮的基本單元為2化2N方形塊。每個(gè)CU可被遞歸地分 成4個(gè)更小的CU，直到達(dá)到預(yù)定最小尺寸。每個(gè)CU包括一個(gè)或多個(gè)預(yù)測(cè)單元（Prediction 化it,PU)。
[0009] 為了共享相鄰視圖的先前已編碼紋理（tex化re)信息，一種被稱為視差補(bǔ)償預(yù)測(cè) (Disparit5f-CompensatedPrediction,DCP)的技術(shù)已被包括在 3D-HTM中，W作為運(yùn)動(dòng)補(bǔ) 償預(yù)測(cè)（Motion-CompensatedPrediction,MCP)的替代編碼工具。MCP代表采用同一視圖 的先前已編碼圖片的圖片間預(yù)測(cè)，而DCP代表采用同一訪問單元（accessunit)中其他視 圖的先前已編碼圖片的圖片間預(yù)測(cè)。圖1顯不了 3D視頻編解碼系統(tǒng)義用MCP和DCP的不 范例。用于DCP的矢量（110)被稱為DV，其是MCP采用的MV的模擬。圖1顯示了與MCP 有關(guān)的S個(gè)MV(120、130和140)。此外，DCP塊的DV也可通過視差矢量預(yù)測(cè)子值isparity VectorPredictor,DVP)候選預(yù)測(cè)，其中DVP候選從相鄰塊或同樣采用視圖間參考圖片的 時(shí)間并置塊（temporalcollocatedblock)推導(dǎo)。在3D-HTM中，當(dāng)為合并/跳躍模式推導(dǎo) 視圖間合并候選時(shí)，若相應(yīng)塊的運(yùn)動(dòng)信息不可用或無效，視圖間合并候選由DV代替。
[0010] 在帖間模式中，方向分離運(yùn)動(dòng)矢量預(yù)測(cè)值irection-SeparateMotionVector Prediction)是3D-AVC中采用的另一種編解碼工具。方向分離運(yùn)動(dòng)矢量預(yù)測(cè)由時(shí)間和視 圖間運(yùn)動(dòng)矢量預(yù)測(cè)組成。若目標(biāo)參考圖片是時(shí)間預(yù)測(cè)圖片，當(dāng)前塊Cb附近的相鄰塊（如圖 2A中的A、B和C)的時(shí)間運(yùn)動(dòng)矢量，被用于運(yùn)動(dòng)矢量預(yù)測(cè)的推導(dǎo)。若時(shí)間運(yùn)動(dòng)矢量不可用， 則采用視圖間運(yùn)動(dòng)矢量。視圖間運(yùn)動(dòng)矢量從由深度轉(zhuǎn)換的DV所指示的相應(yīng)塊中推導(dǎo)。運(yùn) 動(dòng)矢量預(yù)測(cè)隨后按照相鄰塊A、B和C的運(yùn)動(dòng)矢量的中間值被推導(dǎo)出。塊D僅當(dāng)C不可用時(shí) 才被采用。
[0011] 相反，若目標(biāo)參考圖片是視圖間預(yù)測(cè)圖片，相鄰塊的視圖間運(yùn)動(dòng)矢量被用于視圖 間預(yù)測(cè)。若視圖間運(yùn)動(dòng)矢量不可用，則由相關(guān)深度塊中四角深度樣本的最大深度值推導(dǎo)的 視差矢量被采用。運(yùn)動(dòng)矢量預(yù)測(cè)子隨后按照相鄰塊A、B和C的運(yùn)動(dòng)矢量的中間值被推導(dǎo) 出。
[0012] 另一方面，如圖2B所示，若目標(biāo)參考圖片是視圖間預(yù)測(cè)圖片，相鄰塊的視圖間運(yùn) 動(dòng)矢量被用于推導(dǎo)視圖間運(yùn)動(dòng)矢量預(yù)測(cè)子。在步驟210中，空間相鄰塊的視圖間運(yùn)動(dòng)矢量 基于各個(gè)塊的紋理數(shù)據(jù)推導(dǎo)出。在步驟260中，與當(dāng)前塊Cb有關(guān)的深度圖也被提供。在步驟 220中，檢查塊A、B和C的視圖間運(yùn)動(dòng)矢量的可用性。如步驟230所示，若視圖間運(yùn)動(dòng)矢量 不可用，當(dāng)前塊的視差矢量被用于代替不可用視圖間運(yùn)動(dòng)矢量。如步驟270所示，視差矢量 由相關(guān)深度塊（280)的最大深度值推導(dǎo)出。塊A、B和C的視圖間運(yùn)動(dòng)矢量的中間值被用作 視圖間運(yùn)動(dòng)矢量預(yù)測(cè)子。步驟240示出了傳統(tǒng)運(yùn)動(dòng)矢量預(yù)測(cè)（MotionVectorPrediction, MVP)進(jìn)程，其中最終MVP基于視圖間MVP或時(shí)間MVP的運(yùn)動(dòng)矢量的中間值推導(dǎo)出。如步驟 250所示，進(jìn)行基于運(yùn)動(dòng)矢量預(yù)測(cè)子的運(yùn)動(dòng)矢量編解碼。
[0013] 合并/直接值irect)模式的基于優(yōu)先權(quán)的MVP候選獲?。≒rioritybasedMVP candidatederivation)是用于3D-AVC的另一編解碼工具。如圖3所示，在跳躍/直接模 式中，MVP候選基于預(yù)定義推導(dǎo)順序推導(dǎo)；視圖間候選W及從相鄰塊A、B和C值僅在C不可 用時(shí)才被采用）中推導(dǎo)的S個(gè)空間候選的中間值。在解碼器端，運(yùn)動(dòng)補(bǔ)償根據(jù)推導(dǎo)出的MVP 候選的運(yùn)動(dòng)信息進(jìn)行。運(yùn)動(dòng)信息包括預(yù)測(cè)方向（單方向預(yù)測(cè)或雙方向預(yù)測(cè)）、參考圖片類 型（時(shí)間預(yù)測(cè)、虛擬預(yù)測(cè)或視圖間預(yù)測(cè)）W及參考圖片索引（index)。如圖3所示，依賴視 圖中當(dāng)前塊（310)的中屯、點(diǎn)（312)和其視差矢量被用于找到基礎(chǔ)視圖或參考視圖中的相應(yīng) 點(diǎn)。隨后，基礎(chǔ)視圖中包括相應(yīng)點(diǎn)的塊的MV被用作當(dāng)前塊的視圖間候選。在ATM7.0中，視 差矢量可由相鄰塊（A、BW及C/D)和中屯、點(diǎn)的深度值推導(dǎo)。明確來說，若只有一相鄰塊具 有DV，則該DV被用作視差。否則，DV按照相鄰塊A、B和C的DV的中間值（320)推