3d視頻格式的制作方法
【專(zhuān)利說(shuō)明】
[0001 ] 本申請(qǐng)是申請(qǐng)日為2010年2月19日，申請(qǐng)?zhí)枮?01080008695.8，名稱(chēng)為"3D視頻格 式"的發(fā)明專(zhuān)利申請(qǐng)的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002] 描述了設(shè)及編碼系統(tǒng)的實(shí)施方式。各種特定的實(shí)施方式設(shè)及Ξ維(3D)視頻格式。
【背景技術(shù)】
[0003] 為了方便諸如Ξ維電視(3DTV)和自由視點(diǎn)視頻(FVV)之類(lèi)的新的視頻應(yīng)用，可W 使用包括傳統(tǒng)的二維（2D)視頻和深度二者的3D視頻(3DV)數(shù)據(jù)格式，W使額外的視頻能夠 被呈現(xiàn)在用戶(hù)端。運(yùn)種3DV格式的示例包括2D加深度(2D+ZK其包括2D視頻和相應(yīng)的深度貼 圖）和分層深度視頻LDV(其包括2D+Z中的數(shù)據(jù)和一個(gè)遮擋視頻(occlusion video)及一個(gè) 遮擋深度(occlusion d邱th))。多視角加深度(MVD)是2D+Z的擴(kuò)展，包括來(lái)自不同視點(diǎn)的多 個(gè)2D+Z。視差增強(qiáng)立體圖像(DES)是相當(dāng)于來(lái)自不同視角的兩個(gè)LDV的另一種格式。如何傳 送(編碼并發(fā)送)運(yùn)些數(shù)據(jù)格式是一個(gè)重要問(wèn)題，因?yàn)楸仨氃谟脩?hù)端聯(lián)合使用不同分量。

【發(fā)明內(nèi)容】

[0004] 根據(jù)一個(gè)概括方面，一組圖像被編碼。該組圖像包括視頻圖像和與該視頻圖像相 對(duì)應(yīng)的深度圖像。該組圖像中的圖像被根據(jù)特定的3D視頻格式相關(guān)聯(lián)。該組圖像被W利用 該組圖像中的圖像之間的冗余的方式編碼。編碼后的圖像被基于與運(yùn)些圖像有關(guān)的特定的 3D視頻格式，W特定次序排列在比特流中。該特定次序在比特流中被使用信令信息指示出 來(lái)。
[0005] 根據(jù)另一概括方面，包括一組編碼后的圖像的比特流被訪(fǎng)問(wèn)，該組圖像包括視頻 圖像和與該視頻圖像相對(duì)應(yīng)的深度圖像。該組圖像被根據(jù)特定的3D視頻格式相關(guān)聯(lián)。該組 圖像被W利用該組圖像中的圖像之間的冗余的方式編碼。指示特定次序的信令信息被訪(fǎng) 問(wèn)，其中該組編碼后的圖像被W該特定次序排列在比特流中。該特定次序是W與該組圖像 有關(guān)的特定的3D視頻格式為基礎(chǔ)的。該組圖像被使用信令信息解碼。
[0006] 根據(jù)又一概括方面，視頻信號(hào)被格式化為包括信息。該視頻信號(hào)包括信令部分，該 信令部分包括信令信息。該信令信息指示特定次序，其中該組編碼后的圖像被W該特定次 序排列在比特流中。該特定次序是W與該組圖像有關(guān)的特定的3D視頻格式為基礎(chǔ)的。
[0007] 下面的描述和附圖中闡述了一種或多種實(shí)施方式的細(xì)節(jié)。即使僅W-種特定方式 進(jìn)行描述，也應(yīng)該明白實(shí)施方式可W被W各種方式配置或?qū)崿F(xiàn)。例如，一種實(shí)施方式可W被 作為一種方法執(zhí)行，或者被實(shí)現(xiàn)為一種裝置(諸如，被配置為執(zhí)行一組操作的裝置、或者存 儲(chǔ)用于執(zhí)行一組操作的指令的裝置）、或者被實(shí)現(xiàn)為一種信號(hào)。結(jié)合附圖和權(quán)利要求，其他 方面和特征將通過(guò)下面的詳細(xì)描述變得顯而易見(jiàn)。
【附圖說(shuō)明】
[000引圖1是深度貼圖（depth map)的示例。
[0009 ]圖2是示出LDV格式的四個(gè)分量的示例。
[0010] 圖3是3DV編碼器的實(shí)施方式的示意圖。
[0011] 圖4是3DV解碼器的實(shí)施方式的示意圖。
[0012] 圖5是視頻傳輸系統(tǒng)的實(shí)施方式的示意圖。
[0013] 圖6是視頻接收系統(tǒng)的實(shí)施方式的示意圖。
[0014] 圖7是視頻處理設(shè)備的實(shí)施方式的示意圖。
[0015] 圖8是示出對(duì)MVC結(jié)構(gòu)中的MVD格式進(jìn)行編碼的示例的示意圖。
[0016] 圖9是示出對(duì)MVC結(jié)構(gòu)中的LDV格式進(jìn)行編碼的示例的示意圖。
[0017] 圖10是示出對(duì)MVC結(jié)構(gòu)中的DES格式進(jìn)行編碼的示例的示意圖。
[0018] 圖11是第一編碼處理的實(shí)施方式的示意圖。
[0019] 圖12是第一解碼處理的實(shí)施方式的示意圖。
[0020] 圖13是示出對(duì)MVC結(jié)構(gòu)中的MVD格式進(jìn)行編碼的另一示例的示意圖。
[0021] 圖14是示出對(duì)MVC結(jié)構(gòu)中的LDV格式進(jìn)行編碼的另一示例的示意圖。
[0022] 圖15是示出對(duì)MVC結(jié)構(gòu)中的DES格式進(jìn)行編碼的另一示例的示意圖。
[0023] 圖16是第二編碼處理的實(shí)施方式的示意圖。
[0024] 圖17是第二解碼處理的實(shí)施方式的示意圖。
[0025] 圖18是示出對(duì)SVC結(jié)構(gòu)中的LDV格式進(jìn)行編碼的示例的示意圖。
[00%]圖19是第Ξ編碼處理的實(shí)施方式的示意圖。
[0027]圖20是第Ξ解碼處理的實(shí)施方式的示意圖。
[00%]圖21是第四編碼處理的實(shí)施方式的示意圖。
[0029] 圖22是第四解碼處理的實(shí)施方式的示意圖。
【具體實(shí)施方式】
[0030] 可W利用諸如既包括傳統(tǒng)的2D視頻又包括深度的數(shù)據(jù)格式之類(lèi)的3DV數(shù)據(jù)格式， 來(lái)使例如附加的視頻視圖可W被呈現(xiàn)在用戶(hù)端。但是，發(fā)明人認(rèn)為缺陷在于，在諸如可分層 視頻編碼(SVC)和多視角視頻編碼(MVC)之類(lèi)的當(dāng)前標(biāo)準(zhǔn)中并不支持3DV格式。多視角視頻 序列是包括從不同視點(diǎn)捕捉相同場(chǎng)景的兩個(gè)W上視頻序列的一組視頻序列。
[0031] 所W，在至少一種實(shí)施方式中，我們提出重新使用現(xiàn)有的對(duì)于高級(jí)視頻編碼(AVC) 的MVC或SVC擴(kuò)展，在用信號(hào)指示如何正確提取3DV內(nèi)容的幫助下發(fā)送3DV內(nèi)容?？蒞利用包 括但不限于例如，序列參數(shù)集(SPS)、畫(huà)面參數(shù)集(PPS)、條帶頭、輔助增強(qiáng)信息(SEI)消息等 的任意高級(jí)語(yǔ)法來(lái)進(jìn)行信號(hào)指示。在本申請(qǐng)中，其他信令機(jī)制也是可能的，并且是可W想到 的。
[0032] 在至少一種實(shí)施方式中，我們提出使用SVC或MVC的構(gòu)架來(lái)對(duì)3DV分量進(jìn)行編碼，而 不要求系統(tǒng)級(jí)的同步。使用SVC或MVC中的技術(shù)，本原理可W更有效地利用分量間（cross- component)冗余。另外，后向兼容性更加靈活，因?yàn)榭蒞僅利用整個(gè)比特流的一部分來(lái)對(duì)傳 統(tǒng)的2D視頻進(jìn)行發(fā)送/解碼(例如，用于SVC的基本層、或者M(jìn)VC中的基本視圖）。
[0033] 在至少一種實(shí)施方式中，我們還提出使用高級(jí)語(yǔ)法來(lái)用信號(hào)指示如何理解3DV背 景中的視圖(MVC中）或者層(SVC中），從而使得3D顯示器可W正確使用信息。
[0034] 在至少一種實(shí)施方式中，我們提出了用于用信號(hào)指示不同3DV格式的MVC和SVC的 構(gòu)架中的"3DV格式SEI消息"。運(yùn)種實(shí)施方式可能會(huì)具有W下優(yōu)點(diǎn)中的一個(gè)W上優(yōu)點(diǎn)、或者 全部?jī)?yōu)點(diǎn)：
[0035] ?避免了對(duì)系統(tǒng)級(jí)的不同分量進(jìn)行同步的需要，因?yàn)樗鼈兛蒞被W分層方式 (SVC)或者同步視角(MVC)方式相關(guān)聯(lián)。
[0036] ?更好地利用了分量間冗余:通過(guò)相對(duì)于利用交織法的AVC而言可W潛在地提供 更高編碼效率的SVC/MVC將使能分量間預(yù)測(cè)。
[0037] .更靈活的后向兼容性:在用戶(hù)端，傳統(tǒng)的2D視頻應(yīng)用只需要部分?jǐn)?shù)據(jù)。
[0038] 應(yīng)該明白，盡管至少一種實(shí)施方式設(shè)及到SEI消息，但是W上所述的原理不限于使 用SEI消息。所W，例如，可W使用包括但不限于SPS、PPS、條帶頭等的其他高級(jí)語(yǔ)法。
[0039] 3D視頻(3DV)再現(xiàn)格式包括視頻分量和深度分量二者，運(yùn)些格式諸如是2D+Z(MVD) 和LDV(DES)等，并且隨著3DV應(yīng)用吸引了更多的市場(chǎng)關(guān)注而變得更加重要。圖1示出了根據(jù) 本原理的實(shí)施例的可W應(yīng)用本原理的與被稱(chēng)為"Leaving_Lapto護(hù)的MPEG測(cè)試序列相對(duì)應(yīng) 的示例性深度貼圖100。圖2示出了根據(jù)本原理的實(shí)施例的可W應(yīng)用本原理的LDV格式中的 四種分量。具體地，左上部分201示出了2D視頻視圖，右上部分202示出了深度，左下部分203 示出了遮擋視頻層，右下部分204示出了遮擋深度層。W上數(shù)據(jù)格式的編碼和傳輸對(duì)于各種 應(yīng)用來(lái)說(shuō)非常關(guān)鍵，并且是具有挑戰(zhàn)性的。包括編碼效率在內(nèi)的諸如同步和后向兼容(對(duì)于 傳統(tǒng)的單視場(chǎng)2D視頻)之類(lèi)的功能應(yīng)該被考慮，W使老式解碼器可W根據(jù)比特流示出一些 東西。
[0040] 相對(duì)簡(jiǎn)單的解決方案是多播，其中每個(gè)分量被獨(dú)立編碼并發(fā)送。運(yùn)種方式的典型 實(shí)施方式需要多個(gè)編碼器/解碼器、W及系統(tǒng)級(jí)或應(yīng)用級(jí)的同步。換言之，多播的代價(jià)可W 被簡(jiǎn)單地增加3DV分量的數(shù)目倍。另外，由于不同分量被獨(dú)立編碼，所W將無(wú)法利用分量之 間的任何冗余。
[0041] MPEG-C Part 3(IS0/IEC 23002-3)規(guī)定了一種用于2D+Z的系統(tǒng)架構(gòu)。MPEG-C 化的3還要求視頻和深度之間的系統(tǒng)級(jí)同步。可W利用任何現(xiàn)有的視頻編碼標(biāo)準(zhǔn)對(duì)視頻和 深度進(jìn)行編碼，但是視頻和深度的編碼被拆開(kāi)進(jìn)行，從而無(wú)法在運(yùn)兩種分量之間獲得任何 編碼好處。MPEG-C Part 3中沒(méi)有規(guī)定LDV(DES)。用于2D+Z(MVD)和LDV(DES)的編碼方案還 處于例如，MPEG的3DV組的探索階段。
[0042] 為了將2D+Z(MVD)和LDV(DES)格式結(jié)合到諸如SVC和MVC之類(lèi)的現(xiàn)有的編碼機(jī)制 中，在至少一種實(shí)施方式中，我們提出利用一些高級(jí)語(yǔ)法來(lái)用信號(hào)指示如何從SVC或MVC比 特流提取3DV分量。運(yùn)種方法的好處在于，不需要系統(tǒng)級(jí)的不同3DV分量之間的同步，因?yàn)樗?們將被結(jié)合在編碼后的比特流中（諸如，SVC中的基本/增強(qiáng)層或者M(jìn)VC中的不同視角）。另一 個(gè)潛在的好處在于，當(dāng)W運(yùn)種方式執(zhí)行編碼時(shí)可W去除分量間冗余。
[0043]
[0044] "3DV視圖"在運(yùn)里被定義為來(lái)自一個(gè)視圖位置的數(shù)據(jù)組，其不同于MVC中使用的 "視角"。對(duì)于2D+Z格式，3DV視圖包括兩個(gè)分量序列，即，2D視圖及其深度貼圖。對(duì)于LDV格 式，3DV視圖包括四個(gè)分量序列，即，2D視圖、深度貼圖、遮擋視圖、W及遮擋深度貼圖。
[0045] 當(dāng)MVC (SVC)解碼器接收到包括所提出的沈I消息的比特流時(shí)，MVC (SVC)解碼器可 W通過(guò)3D顯示器可W輸出適當(dāng)圖像的方式來(lái)組成3DV數(shù)據(jù)。
[0046] 圖3是根據(jù)本原理的實(shí)施例的可W應(yīng)用本原理的3DV編碼器300的實(shí)施方式的示意 圖。編碼器300包括3D視圖分量組成器355,該組成器具有與MVC/SVC編碼器305的輸入端進(jìn) 行信號(hào)通信的第一輸出端。MVC/SVC編碼器305的輸出端W信號(hào)通信的方式與比特流復(fù)用器 360的第一輸入端連接。3D視圖分量組成器355的第二輸出端W信號(hào)通信的方式連接SEI消 息組成器365的第一輸入端。SEI消息組成器365的輸出端W信號(hào)通信的方式連接比特流復(fù) 用器360的第二輸入端。3D視圖分量組成器355的輸入端可被用作編碼器300的輸入端，用于 接收3DV內(nèi)容(例如，一個(gè)或多個(gè)2D視圖、深度、一個(gè)或多個(gè)遮擋視圖、遮擋深度、一個(gè)或多個(gè) 透明貼圖等）。比特流復(fù)用器360的輸出端可被用作編碼器300的輸出端，用于輸出3DV比特 流。
[0047] 在運(yùn)種實(shí)施方式中，MVC/SVC編碼器305中的每個(gè)3DV分量編碼器(未示出）是MVC編 碼器或SVC編碼器。在使用MVC編碼器的情況中，每個(gè)3DV分量編碼器是用于一個(gè)SVC視圖的 SVC編碼器。3D視圖分量組成器355是用于發(fā)送SVC層或MVC視圖的3DV分量W及發(fā)送運(yùn)樣的 控制信息給SEI消息組成器365的分配器。SEI消息組成器365將SEI消息組成為比特流中的 信號(hào)。比特流復(fù)用器360將復(fù)用該比特流。
[0048] 圖4是根據(jù)本原理的實(shí)施例的可W應(yīng)用本原理的3DV解碼器400的實(shí)施方式的示意 圖。解碼器400包括比特流解復(fù)用器460,該解復(fù)用器具有W信號(hào)通信的方式與SEI消息解析 器46 5的輸入端和MVC/SVC解碼器405的輸入端連接的輸出端。沈I消息解析器46 5的輸出端 W信號(hào)通信的方式與3D視圖分量分解器455的第一輸入端連接。MVC/SVC解碼器405的輸出 端W信號(hào)通信的方式與3D視圖分量分解器455的第二輸入端連接。比特流解復(fù)用器460的輸 入端可W被用作解碼器400的輸入端，用于接收3DV比特流。3D視圖分量分解器455的輸出端 可W被用作解碼器400的輸出端，用于輸出格式化后的3DV內(nèi)容(例如，一個(gè)或多個(gè)2D視圖、 深度、一個(gè)或多個(gè)遮擋視圖、遮擋深度、一個(gè)或多個(gè)透明貼圖等）。