專利名稱：編碼3d 視頻信號(hào)的方法及對(duì)應(yīng)的解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種3D視頻信號(hào)的編碼的一般領(lǐng)域。更具體地，本發(fā)明涉及一種編碼包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像(occlusion image)的3D視頻信號(hào)的方法,及對(duì)應(yīng)的解碼方法。
背景技術(shù)：
3D視頻信號(hào)一般地包括由若干圖像組成的2D視頻，所述若干圖像的每個(gè)都與深度圖像和遮擋圖像相關(guān)聯(lián)。深度圖像或深度圖給出關(guān)于視頻信號(hào)的第三維度的信息。遮擋圖像或遮擋圖給出關(guān)于被位于場(chǎng)景的前景中的物體隱藏的區(qū)域的信息。還已知將這樣的遮擋圖像作為深度圖像發(fā)送。 遮擋圖像與它們相關(guān)聯(lián)的圖像具有相似的內(nèi)容，如圖I和2所示。圖I在頂部示出視頻的當(dāng)前圖像并且在底部示出相關(guān)聯(lián)的遮擋圖像。圖2在頂部示出深度圖像并且在底部示出與這個(gè)深度圖像相關(guān)聯(lián)的遮擋圖像。為了更加高效地編碼遮擋圖像，如圖3所示，已知對(duì)這些區(qū)域(或塊)，其中所有像素和與其相關(guān)聯(lián)的圖像的像素相同的進(jìn)行掩蔽(mask)。圖3示出了圖I和2所示的圖像的細(xì)節(jié)。黑色區(qū)域是遮擋圖像的區(qū)域，對(duì)于遮擋圖像的區(qū)域像素與當(dāng)前圖像的對(duì)應(yīng)像素相同。注意到，使用深度圖像和相關(guān)聯(lián)的遮擋圖像獲得相同類型的掩蔽圖像。在圖3中，將掩蔽與16x16塊的網(wǎng)格對(duì)齊。實(shí)際上，多數(shù)現(xiàn)存編碼方法使用這樣的16x16塊來編碼圖像數(shù)據(jù)(即，亮度和色度)。為了編碼3D視頻信號(hào)，已知編碼2D當(dāng)前圖像，并且對(duì)于它們中的每一個(gè)，解碼相關(guān)聯(lián)的深度圖像、與當(dāng)前圖像相關(guān)聯(lián)的掩蔽遮擋圖像(masked occlusion image),以及可能的與深度圖像相關(guān)聯(lián)的掩蔽遮擋圖像。當(dāng)前，根據(jù)文件IS0/IEC 14496-10中定義的標(biāo)準(zhǔn)H. 264/MPEG4-AVC編碼掩蔽遮擋圖像。雖然其僅包括減少數(shù)量的包含一項(xiàng)有關(guān)信息的塊，但是這種掩蔽遮擋圖像花費(fèi)幾乎與對(duì)應(yīng)的未掩蔽遮擋圖像一樣成本多來編碼，即，使用一樣多的比特編碼。實(shí)際上，在這樣的掩蔽遮擋圖像上很少使用使得能夠顯著地降低比特率的跳躍模式(skip mode) 0為了保留跳躍模式用于編碼，必須驗(yàn)證某些條件。具體地，必須不在INTRA中編碼相鄰塊，因果相鄰塊的中間矢量(median vector)必須等于當(dāng)前塊的運(yùn)動(dòng)矢量并且殘差開銷必須是空。因此，一旦在INTRA模式中編碼未掩蔽部分上的塊，INTRA模式就被傳播到之后塊(next blocks),甚至那些跳躍模式對(duì)其有影響的掩蔽的塊。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的至少一個(gè)缺點(diǎn)。為此目的，本發(fā)明涉及編碼包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像的3D視頻信號(hào)的方法。這些圖像被劃分成塊。編碼方法包括編碼當(dāng)前、深度和遮擋圖像的步驟。有利地，根據(jù)以下步驟編碼當(dāng)前遮擋圖像-為當(dāng)前遮擋圖像的每個(gè)塊編碼指示該塊是否已編碼的二進(jìn)制標(biāo)識(shí)符-為被所述二進(jìn)制標(biāo)識(shí)符指示該塊已編碼的每個(gè)塊編碼遮擋數(shù)據(jù)。根據(jù)本發(fā)明的特定特征，為當(dāng)前遮擋圖像的每個(gè)塊編碼二進(jìn)制標(biāo)識(shí)符的步驟包括沒有損失地編碼二進(jìn)制圖像。根據(jù)本發(fā)明另一方面，編碼方法還包括以下步驟編碼第一項(xiàng)圖像數(shù)據(jù)，該第一項(xiàng)圖像數(shù)據(jù)用于填充被所述二進(jìn)制標(biāo)識(shí)符指示為未編碼的當(dāng)前遮擋圖像的塊。根據(jù)另一實(shí)施例，3D視頻信號(hào)另外包括被劃分成塊的深度遮擋圖像，編碼方法包括以下步驟為所述二進(jìn)制標(biāo)識(shí)符指示該塊已編碼的深度遮擋圖像的每個(gè)塊編碼深度遮擋數(shù)據(jù)。 根據(jù)本發(fā)明的另一方面，編碼方法還包括以下步驟編碼第二項(xiàng)圖像數(shù)據(jù)，該第二項(xiàng)圖像數(shù)據(jù)用于填充被所述二進(jìn)制標(biāo)識(shí)符指示為未編碼的深度遮擋圖像的塊。根據(jù)本發(fā)明的具體特征，在當(dāng)前遮擋圖的塊的所有像素與當(dāng)前圖像中的對(duì)應(yīng)塊的像素相同時(shí)，二進(jìn)制標(biāo)識(shí)符指示塊未編碼。本發(fā)明還涉及一種用于解碼包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像的3D視頻信號(hào)的方法。解碼方法包括解碼當(dāng)前、深度和遮擋圖像的步驟。有利地，根據(jù)以下步驟解碼當(dāng)前遮擋圖像-為當(dāng)前遮擋圖像的每個(gè)塊解碼指示該塊是否已編碼的二進(jìn)制標(biāo)識(shí)符-為所述二進(jìn)制標(biāo)識(shí)符指示該塊已編碼的當(dāng)前遮擋圖像的每個(gè)塊解碼，以及-使用第一項(xiàng)預(yù)定填充數(shù)據(jù)填充被二進(jìn)制標(biāo)識(shí)符指示為未編碼的塊。根據(jù)本發(fā)明的特定特征，為所述當(dāng)前遮擋圖像的每個(gè)塊解碼二進(jìn)制標(biāo)識(shí)符的步驟包括沒有損失地解碼二進(jìn)制圖像。有利地，解碼方法還包括以下步驟解碼第一項(xiàng)預(yù)定填充數(shù)據(jù)。根據(jù)另一實(shí)施例，3D視頻信號(hào)另外包括被劃分成塊的深度遮擋圖像，所述解碼方法還包括以下步驟-解碼所述二進(jìn)制標(biāo)識(shí)符指示該塊已編碼的深度遮擋圖像的每個(gè)塊，以及-使用第二項(xiàng)預(yù)定填充數(shù)據(jù)填充被二進(jìn)制標(biāo)識(shí)符指示為未編碼的塊。根據(jù)本發(fā)明的特定特征，解碼方法還包括以下步驟解碼第二項(xiàng)預(yù)定填充數(shù)據(jù)。


通過參考附圖的、非限制性實(shí)施例和有利實(shí)現(xiàn)方式將更好地了解本發(fā)明并且例示本發(fā)明，在附圖中，-圖I在頂部示出2D圖像并且在底部示出對(duì)應(yīng)的遮擋圖像，-圖2在頂部示出深度圖像并且在底部示出對(duì)應(yīng)的深度遮擋圖像，-圖3示出掩蔽遮擋圖像，-圖4示出根據(jù)本發(fā)明的編碼方法，-圖5具體示出根據(jù)本發(fā)明的編碼方法的步驟，-圖6示出根據(jù)本發(fā)明的編碼方法的變型，-圖7示出根據(jù)本發(fā)明的解碼方法，-圖8具體示出根據(jù)本發(fā)明的解碼方法的步驟，-圖9例示根據(jù)本發(fā)明的解碼方法的變型，-圖10示出根據(jù)本發(fā)明的編碼設(shè)備，以及
-圖11示出根據(jù)本發(fā)明的解碼設(shè)備。
具體實(shí)施例方式應(yīng)該理解，可以將本原理實(shí)現(xiàn)在各種形式的硬件、軟件、固件、專用處理器或其組合中。優(yōu)選地，可以將本原理實(shí)施為硬件和軟件的組合。此外，優(yōu)選將軟件實(shí)現(xiàn)為在程序存儲(chǔ)單元上有形地體現(xiàn)的應(yīng)用程序。所述應(yīng)用程序可以被上載到包括任何適當(dāng)架構(gòu)的機(jī)器并由其執(zhí)行。優(yōu)選地，在具有諸如一個(gè)或多個(gè)中央處理單元(“CPU”)、隨機(jī)存取存儲(chǔ)器(“RAM”)和(多個(gè))輸入/輸出(“I/O”)接口之類的硬件的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)所述機(jī)器。該計(jì)算機(jī)平臺(tái)還包括操作系統(tǒng)和微指令代碼。在此描述的各種處理和功能可以是經(jīng)由操作系統(tǒng)執(zhí)行的微指令代碼的一部分或應(yīng)用程序一部分(或者它們的組合)。此外，諸如附加的數(shù)據(jù)存儲(chǔ)設(shè)備和打印設(shè)備之類的各種其它外圍設(shè)備可以連接到該計(jì)算機(jī)平臺(tái)。還可以在包括相應(yīng)地適配的編碼和解碼部件的任何電子設(shè)備上實(shí)現(xiàn)本發(fā)明。例如，可以在電視機(jī)、移動(dòng)視頻電話、個(gè)人計(jì)算機(jī)、數(shù)字視頻攝像機(jī)、導(dǎo)航系統(tǒng)或車載視頻系統(tǒng) 中實(shí)現(xiàn)本發(fā)明。3D視頻信號(hào)包括至少一個(gè)當(dāng)前圖像lc、深度圖像lp、以及當(dāng)前遮擋圖像locc。這些圖像被劃分成塊。針對(duì)當(dāng)前圖像描述的本發(fā)明直接應(yīng)用于包括由若干圖像組成的視頻的3D視頻信號(hào)，所述若干圖像的每個(gè)都與深度圖像和遮擋圖像相關(guān)聯(lián)。圖4示出根據(jù)本發(fā)明的3D視頻信號(hào)的編碼方法。所述方法包括將當(dāng)前圖像編碼成編碼數(shù)據(jù)的流Fe的步驟40。作為簡(jiǎn)單示例，根據(jù)標(biāo)準(zhǔn)H. 264編碼圖像lc。例如，編碼方法包括以下步驟中的一些預(yù)測(cè)要編碼的數(shù)據(jù)以便生成殘差，將殘差變換為系數(shù)，對(duì)系數(shù)進(jìn)行量化以及熵編碼量化系數(shù)。但是，可以省略諸如預(yù)測(cè)步驟和變換步驟的一些步驟。根據(jù)變型，根據(jù)在文件IS0/IEC 13818-2中描述的MPEG-2標(biāo)準(zhǔn)編碼圖像lc。本領(lǐng)域技術(shù)人員可以應(yīng)用任何圖像編碼方法來編碼當(dāng)前圖像lc，本發(fā)明不以任何方式被限制于步驟40中使用的方法來編碼當(dāng)前圖像lc。在步驟42期間，將深度圖像Ip編碼成編碼數(shù)據(jù)的流Fe。作為簡(jiǎn)單示例，根據(jù)標(biāo)準(zhǔn)H. 264編碼深度圖像Ip。根據(jù)變型，根據(jù)MPEG-2標(biāo)準(zhǔn)編碼深度圖像Ip。本領(lǐng)域技術(shù)人員可以應(yīng)用任何圖像編碼方法來編碼深度圖像lp，本發(fā)明決不限于步驟40所使用的方法來編碼深度圖像Ip。在步驟44期間，將當(dāng)前遮擋圖像Iocc編碼成編碼數(shù)據(jù)的流Focc。參照?qǐng)D5描述步驟44。索引I表示已編碼的當(dāng)前遮擋圖像的塊的索引。在步驟440期間，確定是否必須要為當(dāng)前塊Bi編碼一項(xiàng)遮擋信息。在圖3中，未編碼的塊是在掩蔽遮擋圖像上以黑色示出的那些塊，即對(duì)于其沒有有用的遮擋信息的那些塊。黑色塊是當(dāng)前遮擋圖像Iocc的像素與當(dāng)前圖像Ic的對(duì)應(yīng)像素相同的塊。如果塊Bi包括一項(xiàng)有用的遮擋信息，則方法繼續(xù)到步驟442，否則繼續(xù)到步驟446。在步驟442期間，為當(dāng)前塊Bi編碼二進(jìn)制標(biāo)識(shí)符Idi指示當(dāng)前塊已編碼。作為示例，編碼值I來指不塊Bi已編碼。在步驟444期間，例如使用H. 264標(biāo)準(zhǔn)的編碼原理在流Focc中顯式地編碼塊Bi的遮擋數(shù)據(jù)。在步驟446期間，為當(dāng)前塊Bi編碼二進(jìn)制標(biāo)識(shí)符Idi指示當(dāng)前塊未編碼。作為示例，編碼值O來指不塊Bi未編碼。在步驟448期間，檢驗(yàn)來查看是否處理了當(dāng)前遮擋圖像的N個(gè)塊的集合，其中N是整數(shù)。如果是這種情況，則方法對(duì)于當(dāng)前遮擋圖像結(jié)束，如果不是，則方法處理下一 Bi塊。為了這個(gè)目的，在步驟450索引增加I。根據(jù)本發(fā)明的特定特征，以還稱作掩蔽的二進(jìn)制圖像的形式編碼當(dāng)前遮擋圖像的二進(jìn)制標(biāo)識(shí)符Idi。必須在毫無損失的情況下(without loss)進(jìn)行編碼。例如在流Fm中以霍夫曼編碼來編碼這樣的圖像。根據(jù)變型，在塊首標(biāo)中(例如流Focc的塊首標(biāo)中)編碼每個(gè)二進(jìn)制標(biāo)識(shí)符。實(shí)際上，已知為了編碼圖像而編碼圖像首標(biāo)，而對(duì)于每個(gè)圖像塊，編碼塊首標(biāo)和有用的數(shù)據(jù)(例如量化DCT系數(shù))。在塊首標(biāo)中，已知編碼例如其編碼模式的關(guān)于塊的一般信息。根據(jù)一種變型，編碼值0來指示塊Bi已編碼并且編碼值I來指示塊Bi未編碼。
圖6示出了另一實(shí)施例。在圖6中以相同的參考標(biāo)識(shí)與圖4的第一實(shí)施例相同的步驟。根據(jù)該實(shí)施例，編碼方法包括步驟40、42和44。其還包括對(duì)未編碼的當(dāng)前遮擋圖像Iocc的塊Bi的第一項(xiàng)MVF填充數(shù)據(jù)(filling data)進(jìn)行編碼的步驟46。解碼設(shè)備使用這樣的值來重構(gòu)當(dāng)前遮擋圖像。實(shí)際上，必須以一個(gè)值在解碼器側(cè)填充未編碼的Bi塊。這樣的MVF填充值對(duì)于與2D圖像相關(guān)聯(lián)的所有編碼遮擋圖像都相同。因此優(yōu)選為整個(gè)3D視頻信號(hào)編碼該值一次。例如，可以在與流Fe、Fp和Focc多路復(fù)用的用戶數(shù)據(jù)或?qū)Ｓ脭?shù)據(jù)(private data)中編碼這樣的值。在MPEG-2傳輸流等級(jí)編碼這樣的一項(xiàng)數(shù)據(jù)是可能的。根據(jù)一種變型，可以在SEI (補(bǔ)充增強(qiáng)信息)類型消息中編碼這樣一項(xiàng)MVF數(shù)據(jù)。在可選步驟50期間,三個(gè)流Fc、Fp和Focc和可能的專用數(shù)據(jù)(例如,第一 MVF填充數(shù)據(jù)項(xiàng))被多路復(fù)用到用于在網(wǎng)絡(luò)上發(fā)送的傳輸流中。根據(jù)一種變型，在諸如DVD或硬盤的載體(support)上存儲(chǔ)這3個(gè)流以及可能的專用數(shù)據(jù)。在流Fm中以二進(jìn)制掩蔽(binary mask)的形式編碼二進(jìn)制標(biāo)識(shí)符的情況下,在步驟50期間還在傳輸流中多路復(fù)用流Fm，或?qū)⑵浯鎯?chǔ)于載體中。根據(jù)一種變型，3D視頻信號(hào)還包括被劃分為塊的深度遮擋圖像Ipocc。編碼方法則包括以下附加步驟，為對(duì)于二進(jìn)制標(biāo)識(shí)符指示該塊已編碼的每個(gè)塊編碼深度遮擋數(shù)據(jù)。這個(gè)步驟與步驟444相同但是被應(yīng)用于深度遮擋圖像塊上。注意每塊地編碼單個(gè)二進(jìn)制標(biāo)識(shí)符或者編碼單個(gè)二進(jìn)制圖像，其用于當(dāng)前遮擋圖像和深度遮擋圖像二者。實(shí)際上，在當(dāng)前遮擋圖像和深度遮擋圖像中編碼相同的塊，僅僅遮擋數(shù)據(jù)不同。根據(jù)一種變型，在流中編碼第二項(xiàng)填充數(shù)據(jù)，解碼方法使用這項(xiàng)數(shù)據(jù)來填充深度遮擋圖像中的未編碼的塊。例如，可以在將要與流Fc、Fp和Focc多路復(fù)用的用戶數(shù)據(jù)或?qū)Ｓ脭?shù)據(jù)中編碼這樣的值。在MPEG-2傳輸流等級(jí)編碼這項(xiàng)數(shù)據(jù)是可能的。根據(jù)一種變型可以在SEI (補(bǔ)充增強(qiáng)信息)類型消息中編碼這樣的MVF數(shù)據(jù)項(xiàng)。這個(gè)第二項(xiàng)數(shù)據(jù)可以與第一項(xiàng)填充數(shù)據(jù)不同。圖7示出了根據(jù)本發(fā)明的3D視頻信號(hào)的解碼方法。在可選步驟70期間多路分解3個(gè)流Fe、Fp和Focc以及可能的專用數(shù)據(jù)(即，第一項(xiàng)MVF填充數(shù)據(jù))。根據(jù)一種變型，在諸如DVD或硬盤的載體上讀取3個(gè)流以及可能的專用數(shù)據(jù)。在步驟72期間，解碼當(dāng)前圖像lc。作為簡(jiǎn)單示例，根據(jù)標(biāo)準(zhǔn)H. 264解碼圖像lc。步驟72是步驟40的逆。在步驟74期間，解碼深度圖像lp。作為簡(jiǎn)單示例，根據(jù)標(biāo)準(zhǔn)H. 264解碼圖像lp。步驟74是步驟42的逆。在步驟76期間，解碼遮擋圖像locc。步驟76是步驟44的逆步驟。參照?qǐng)D8描述步驟76。索引I表示當(dāng)前遮擋圖像的塊的索引。在步驟760期間，解碼當(dāng)前塊Bi的二進(jìn)制標(biāo)識(shí)符Idi以指示是否該當(dāng)前塊已編碼。例如，解碼值I指示塊Bi已編碼并且值0指示塊Bi未編碼。根據(jù)一種變型，解碼值0指示塊Bi已編碼以及值I指示塊Bi未編碼在步驟762期間，確定是否必須要為當(dāng)前塊Bi解碼一項(xiàng)遮擋信息。如果標(biāo)識(shí)符Idi等于1，S卩，指示塊Bi已編碼，那么方法繼續(xù)到步驟764，否則方法繼續(xù)到步驟766。 在步驟764期間，解碼塊Bi。更具體地，例如使用H. 264標(biāo)準(zhǔn)的編碼原理來解碼塊Bi的遮擋數(shù)據(jù)并且塊Bi填充有這些項(xiàng)數(shù)據(jù)。這個(gè)步驟是步驟444的逆。在步驟766期間，以第一 MVF預(yù)定填充數(shù)據(jù)項(xiàng)填充被標(biāo)識(shí)為未編碼的塊Bi。塊Bi的每個(gè)未編碼像素被分配相同的MVF值。塊Bi因此均勻。從解碼方法中已知這樣的預(yù)定填充數(shù)據(jù)。例如將其存儲(chǔ)在根據(jù)本發(fā)明實(shí)施解碼方法的解碼設(shè)備的存儲(chǔ)器中。其可以是一項(xiàng)構(gòu)造器數(shù)據(jù)。根據(jù)一種變型，由缺省對(duì)其定義并且采用與黑色未編碼塊Bi對(duì)應(yīng)的值O。在步驟768期間，檢驗(yàn)來查看是否處理了當(dāng)前遮擋圖像的N個(gè)塊的集，其中N是整數(shù)。如果是這種情況，則方法對(duì)于當(dāng)前遮擋圖像結(jié)束，如果不是，則方法前進(jìn)到下一 Bi塊。為此目的，在步驟770中索引i增加I。根據(jù)本發(fā)明的具體特征，以還稱作掩蔽的二進(jìn)制圖像的形式解碼當(dāng)前遮擋圖像的二進(jìn)制標(biāo)識(shí)符Idi，在這種情況下在流Fm中以這樣的二進(jìn)制圖像的形式編碼二進(jìn)制標(biāo)識(shí)符。例如使用霍夫曼解碼(Huffman decoding)毫無損失地解碼這個(gè)圖像。根據(jù)一種變型，在塊首標(biāo)中解碼每個(gè)二進(jìn)制標(biāo)識(shí)符。在這種情況下，有可能在步驟70多路分解流Fm。圖9不出了另一個(gè)實(shí)施例。以相同的參考標(biāo)識(shí)圖9中與圖7的第一實(shí)施例相同的步驟。根據(jù)這個(gè)實(shí)施例，解碼方法包括步驟72、74和76。其還包括對(duì)未編碼的當(dāng)前遮擋圖像Iocc的塊Bi的第一項(xiàng)MVF填充數(shù)據(jù)進(jìn)行解碼的步驟78。解碼方法使用這樣的值來重構(gòu)遮擋圖像。實(shí)際上，必須在解碼器側(cè)以一個(gè)值填充未編碼的Bi塊。對(duì)于所有解碼遮擋圖像該項(xiàng)填充數(shù)據(jù)都相同。例如，在步驟70中多路分解的用戶數(shù)據(jù)或?qū)Ｓ脭?shù)據(jù)中解碼這樣的值。在MPEG-2傳輸流的等級(jí)解碼這樣一項(xiàng)數(shù)據(jù)是可能的。根據(jù)一種變型，可以使用SEI (補(bǔ)充增強(qiáng)信息)類型消息來解碼這樣一項(xiàng)MVF數(shù)據(jù)。根據(jù)一種變型，3D視頻信號(hào)還包括被劃分成塊的深度遮擋圖像Ipocc。解碼方法則包括對(duì)二進(jìn)制標(biāo)識(shí)符指示該塊已經(jīng)編碼的每個(gè)塊解碼深度遮擋數(shù)據(jù)的步驟。這個(gè)步驟與步驟764相同但是被應(yīng)用于深度遮擋圖像塊。注意到解碼每塊的單個(gè)二進(jìn)制標(biāo)識(shí)符或者解碼單個(gè)二進(jìn)制圖像，其用于當(dāng)前遮擋圖像和深度遮擋圖像二者。實(shí)際上，在當(dāng)前遮擋圖像和深度遮擋圖像中編碼相同的塊，僅僅遮擋數(shù)據(jù)不同。以第二項(xiàng)預(yù)定填充數(shù)據(jù)填充標(biāo)識(shí)為未編碼的塊Bi。塊Bi的每個(gè)未編碼像素被分配相同值。塊Bi因此均勻。根據(jù)解碼方法第二項(xiàng)預(yù)定填充數(shù)據(jù)是已知的。例如將其存儲(chǔ)在實(shí)施根據(jù)本發(fā)明的解碼方法的解碼設(shè)備中。其可以是構(gòu)造器數(shù)據(jù)。根據(jù)一種變型，由缺省對(duì)其定義并且采用與白色未編碼塊Bi對(duì)應(yīng)的值255。根據(jù)另一種變型，解碼第二項(xiàng)填充數(shù)據(jù)，解碼方法使用這項(xiàng)數(shù)據(jù)來填充深度遮擋圖像中的未編碼塊。例如，在步驟70期間在多路分解的用戶數(shù)據(jù)或?qū)Ｓ脭?shù)據(jù)中解碼這樣的值。這個(gè)第二項(xiàng)數(shù)據(jù)可以與第一項(xiàng)填充數(shù)據(jù)不同。以與第一項(xiàng)填充數(shù)據(jù)相同的方式將其解碼?？梢詫⒂捎诒景l(fā)明所釋放的帶寬用于更加精確地編碼其它項(xiàng)數(shù)據(jù)并且因此改善質(zhì)量。所獲得的比特率增益根據(jù)內(nèi)容的復(fù)雜度(隱藏區(qū)域的數(shù)量或沒有)可以或多或少地顯著，而由于編碼標(biāo)識(shí)符的額外開銷低。編碼方法的性能(從時(shí)間方面)改進(jìn)。實(shí)際上，與“跳躍”模式相對(duì)，編碼方法不需要搜索“最佳”模式。通過外界信息項(xiàng)提供對(duì)已編碼塊或未編碼塊的選擇。通過當(dāng)前圖像Ic和當(dāng)前遮擋圖像Iocc的比較來獲得這個(gè)信息。這個(gè)信息對(duì)編碼器以及解碼器有益。當(dāng)涉及并行地編碼/解碼4個(gè)流(當(dāng)前圖像、深度圖像、當(dāng)前遮擋圖像和可能的深度遮擋圖像)時(shí)，這個(gè)優(yōu)點(diǎn)可以非常顯著?？梢詫⒏鶕?jù)本發(fā)明的編碼方法容易地適配于應(yīng)用。實(shí)際上，用戶可以發(fā)送使其適 應(yīng)應(yīng)用的填充數(shù)據(jù)項(xiàng)。參照?qǐng)D7和圖9,圖像lc、lp、locc以及可能的Ipocc然后用于(步驟R)生成其它圖像或視圖。將因此生成的視圖然后在適配的屏幕上顯示(步驟D)，所述屏幕能夠以一組視圖(多視圖自動(dòng)立體屏幕)的形式顯示3D視頻信號(hào)。這樣的屏幕無需佩戴特殊眼鏡來觀看3D效果。注意到步驟R和D不是根據(jù)本發(fā)明的解碼方法的一部分。參照?qǐng)D10，本發(fā)明還涉及能夠?qū)嵤└鶕?jù)本發(fā)明的編碼方法的編碼設(shè)備ENC。在圖10中以虛線示出該可選模塊。編碼設(shè)備包括能夠接收?qǐng)D像序列l(wèi)c、Ip和Iocc的至少3個(gè)輸入端INI、IN2和IN3。其還包括能夠編碼圖像lc、Ip和Iocc的編碼模塊ENC1、ENC2和ENC3。ENCl實(shí)施編碼方法的步驟40，ENC2實(shí)施編碼方法的步驟42并且ENC3實(shí)施編碼方法的步驟44。根據(jù)一種變型，編碼設(shè)備ENC的變型包括能夠接收?qǐng)D像序列Ipocc的第四輸入端IN4。輸入端IN4 與能夠?qū)嵤┥疃日趽鯃D像的編碼的編碼模塊ENC4連接。編碼設(shè)備包括能夠?qū)⒘鲝木幋a模塊多路復(fù)用成傳輸流的多路復(fù)用模塊MUX。多路復(fù)用模塊的輸出端與編碼設(shè)備ENC的輸出端OUT連接。根據(jù)一種變型，多路復(fù)用模塊在編碼設(shè)備的外部，在這種情況下每個(gè)編碼模塊與編碼設(shè)備的特定輸出端相連接。根據(jù)另一實(shí)施例編碼設(shè)備包括ENCMVF模塊來編碼填充數(shù)據(jù)或一項(xiàng)填充數(shù)據(jù)。例如由用戶通過接口 IF指定這些填充數(shù)據(jù)。參照?qǐng)D11，本發(fā)明還涉及能夠?qū)嵤└鶕?jù)本發(fā)明的解碼方法的解碼設(shè)備DEC。在圖11中以虛線示出該可選模塊。解碼設(shè)備DEC包括能夠接收代表來自例如編碼設(shè)備ENC的3D視頻信號(hào)的流的輸入端IN。這個(gè)輸入端與能夠?qū)⒃谳斎攵薎N接收的流多路分解為至少3個(gè)流的多路分解模塊DEMUX連接。根據(jù)一種變型，多路分解模塊在解碼設(shè)備以外，在這種情況下解碼設(shè)備DEC包括至少3個(gè)輸入端，每個(gè)輸入端被適配用于接收流Fc、Fp和Focc中的一個(gè)。該設(shè)備可以包括另一輸入端以接收表示深度遮擋圖像的流。解碼設(shè)備DEC還包括編碼模塊DECl、DEC2和DEC3，其在多路分解模塊DEMUX的輸出端連接，能夠解碼圖像lc、lp和locc。DECl實(shí)施解碼方法的步驟72，DEC2實(shí)施解碼方法的步驟74并且DEC3實(shí)施解碼方法的步驟76。根據(jù)一種變型，解碼設(shè)備DEC包括能夠?qū)嵤┥疃日趽鯃D像的解碼的第四解碼模塊DEC4。編碼模塊的每個(gè)輸出端都與解碼設(shè)備DEC的特定輸出端(0UT1、0UT2、0UT3和0UT4)連接。
根據(jù)另一實(shí)施例，解碼設(shè)備包括DECMVF模塊以解碼填充數(shù)據(jù)或一項(xiàng)填充數(shù)據(jù)。將這些填充數(shù)據(jù)提供給遮擋圖像解碼模塊，DEC3和可能的DEC4，用于填充未編碼的塊。根據(jù)一種變型，將填充數(shù)據(jù)存儲(chǔ)于解碼設(shè)備的存儲(chǔ)器中，在這種情況下其不包括解碼模塊DECMVF。自然地，本發(fā)明不限于以上提及的實(shí)施例示例。具體地，本領(lǐng) 域技術(shù)人員可以應(yīng)用任何變型于所述實(shí)施例并且將它們組合以獲益于它們的各種優(yōu)點(diǎn)。對(duì)于與深度圖像、當(dāng)前遮擋圖像以及可能的深度遮擋圖像相關(guān)聯(lián)的當(dāng)前圖像所描述的本發(fā)明可以應(yīng)用于這樣的圖像的序列。
權(quán)利要求
1.一種在視頻編碼器中用于編碼視頻編碼器中的3D視頻信號(hào)的方法，所述3D視頻信號(hào)包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像，所述圖像被劃分成塊，所述方法包括編碼(40，42,44)所述當(dāng)前圖像、深度圖像和遮擋圖像的步驟， 所述方法特征在于根據(jù)以下步驟編碼(44)所述當(dāng)前遮擋圖像 -為所述當(dāng)前遮擋圖像的每個(gè)塊編碼(440，446) 二進(jìn)制標(biāo)識(shí)符，所述二進(jìn)制標(biāo)識(shí)符指示所述塊是否已編碼以及，如果所述塊未被編碼，指示當(dāng)解碼時(shí)以第一項(xiàng)填充數(shù)據(jù)填充所述塊，以及 -為所述二進(jìn)制標(biāo)識(shí)符指示所述塊已編碼的每個(gè)塊編碼(44)遮擋數(shù)據(jù)。
2.如權(quán)利要求I所述的編碼方法，其中為所述當(dāng)前遮擋圖像的每個(gè)塊編碼(440，446)二進(jìn)制標(biāo)識(shí)符的步驟包括毫無損失地編碼二進(jìn)制圖像。
3.如權(quán)利要求2所述的編碼方法，還包括編碼(46)所述第一項(xiàng)填充數(shù)據(jù)的步驟。
4.如權(quán)利要求I到3中一項(xiàng)所述的編碼方法，其中，所述3D視頻信號(hào)還包括被分成塊的深度遮擋圖像，所述方法包括以下步驟對(duì)于所述二進(jìn)制標(biāo)識(shí)符指示所述塊已編碼的所述深度遮擋圖像的每個(gè)塊編碼深度遮擋數(shù)據(jù)。
5.如權(quán)利要求4所述的編碼方法，還包括以下步驟編碼第二項(xiàng)圖像數(shù)據(jù)，該第二項(xiàng)圖像數(shù)據(jù)用于對(duì)由所述二進(jìn)制標(biāo)識(shí)符指示為未編碼的所述深度遮擋圖像的所述塊進(jìn)行填充。
6.如權(quán)利要求I到5中一項(xiàng)所述的編碼方法，其中當(dāng)所述當(dāng)前遮擋圖像的所述塊的所有像素與所述當(dāng)前圖像中的對(duì)應(yīng)塊的像素相同時(shí)，所述二進(jìn)制標(biāo)識(shí)符指示塊未被編碼。
7.一種在視頻解碼器中用于解碼視頻解碼器中的3D視頻信號(hào)的方法，所述3D視頻信號(hào)包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像，所述圖像被劃分成塊，所述方法包括解碼(72，74，76)所述當(dāng)前圖像、深度圖像和遮擋圖像的步驟， 所述方法特征在于根據(jù)以下步驟解碼(76)所述當(dāng)前遮擋圖像 -為所述當(dāng)前遮擋圖像的每個(gè)塊解碼(760) 二進(jìn)制標(biāo)識(shí)符，所述二進(jìn)制標(biāo)識(shí)符指示所述塊是否已編碼以及，如果所述塊未被編碼，指示當(dāng)解碼時(shí)以第一項(xiàng)填充數(shù)據(jù)填充所述塊，以及 -對(duì)所述二進(jìn)制標(biāo)識(shí)符指示所述塊已編碼的所述當(dāng)前遮擋圖像的每個(gè)塊進(jìn)行解碼(764)，以及 -以所述第一項(xiàng)填充數(shù)據(jù)對(duì)由所述二進(jìn)制標(biāo)識(shí)符指示為未編碼的塊進(jìn)行填充(766)。
8.如權(quán)利要求7所述的解碼方法，其中為所述當(dāng)前遮擋圖像的每個(gè)塊解碼(78)二進(jìn)制標(biāo)識(shí)符的步驟包括毫無損失地解碼二進(jìn)制圖像。
9.如權(quán)利要求7或8所述的解碼方法，還包括解碼所述第一項(xiàng)填充數(shù)據(jù)的步驟。
10.如權(quán)利要求7到9中一項(xiàng)所述的解碼方法，其中所述3D視頻信號(hào)另外包括被劃分成塊的深度遮擋圖像，所述方法還包括以下步驟 -對(duì)所述二進(jìn)制標(biāo)識(shí)符指示所述塊已編碼的所述深度遮擋圖像的每個(gè)塊進(jìn)行解碼，以及 -以第二項(xiàng)填充數(shù)據(jù)對(duì)由所述二進(jìn)制標(biāo)識(shí)符指示為未編碼的塊進(jìn)行填充。
11.如權(quán)利要求10所述的解碼方法，其中還包括解碼所述第二項(xiàng)填充數(shù)據(jù)的步驟。
12.一種用于編碼包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像的3D視頻信號(hào)的設(shè)備，所述圖像被劃分成塊，所述設(shè)備包括用于編碼所述當(dāng)前圖像、深度圖像和遮擋圖像的部件，其特征在于所述編碼設(shè)備包括 -用于為所述當(dāng)前遮擋圖像的每個(gè)塊編碼二進(jìn)制標(biāo)識(shí)符的部件，所述二進(jìn)制標(biāo)識(shí)符指示所述塊是否已編碼，以及如果所述塊未編碼，指示當(dāng)解碼時(shí)以第一項(xiàng)填充數(shù)據(jù)填充所述塊，以及 -用于為所述二進(jìn)制標(biāo)識(shí)符指示所述塊已編碼的每個(gè)塊編碼遮擋數(shù)據(jù)的部件。
13.如權(quán)利要求12所述的編碼設(shè)備，其中所述設(shè)備被適配用于執(zhí)行根據(jù)權(quán)利要求I到6中任意一項(xiàng)所述的編碼方法的步驟。
14.一種用于解碼包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像的3D視頻信號(hào)的設(shè)備，所述圖像被劃分成塊，所述設(shè)備包括用于解碼所述當(dāng)前圖像、深度圖像和遮擋圖像的部件， 其特征在于，所述解碼設(shè)備包括 -用于為所述當(dāng)前遮擋圖像的每個(gè)塊解碼二進(jìn)制標(biāo)識(shí)符的部件，所述二進(jìn)制標(biāo)識(shí)符指示所述塊是否已編碼，以及如果所述塊未編碼，指示當(dāng)解碼時(shí)以第一項(xiàng)填充數(shù)據(jù)填充所述塊，以及 -用于對(duì)所述二進(jìn)制標(biāo)識(shí)符指示所述塊已編碼的所述當(dāng)前遮擋圖像的每個(gè)塊進(jìn)行解碼的部件，以及 -用于以所述第一項(xiàng)填充數(shù)據(jù)對(duì)由所述二進(jìn)制標(biāo)識(shí)符指示為未編碼的塊進(jìn)行填充的部件。
15.如權(quán)利要求14所述的解碼設(shè)備，其中所述設(shè)備被適配用于執(zhí)行根據(jù)權(quán)利要求7到11中任意一項(xiàng)所述的解碼方法的步驟。
全文摘要
本發(fā)明涉及一種用于編碼包括當(dāng)前圖像、深度圖像和當(dāng)前遮擋圖像的3D視頻信號(hào)的方法。所述編碼方法包括編碼(40，42，44)當(dāng)前、深度和遮擋圖像的步驟，根據(jù)本發(fā)明，根據(jù)以下步驟編碼(44)當(dāng)前遮擋圖像-為所述當(dāng)前遮擋圖像的每個(gè)塊編碼(440，446)二進(jìn)制標(biāo)識(shí)符，所述二進(jìn)制標(biāo)識(shí)符指示所述塊是否已編碼，以及-為所述二進(jìn)制標(biāo)識(shí)符指示該塊已編碼的每個(gè)塊編碼(44)遮擋數(shù)據(jù)。
文檔編號(hào)H04N13/00GK102752615SQ201210114190
公開日2012年10月24日 申請(qǐng)日期2012年4月18日 優(yōu)先權(quán)日2011年4月18日
發(fā)明者G.波伊森, P.洛佩茲, P.科比里奧, T.威拉德 申請(qǐng)人:湯姆森特許公司