籍助于選擇性遺傳的編碼和解碼的制作方法
【專利摘要】本發(fā)明涉及一種解碼方法，適用于解碼與第二圖像的參考數(shù)據(jù)塊有關(guān)的第一圖像的至少一個(gè)當(dāng)前編碼數(shù)據(jù)塊，所述第二圖像包括至少一個(gè)與第一圖像共有的元素且所述參考數(shù)據(jù)塊之前已完成解碼。所述解碼方法包括以下步驟：對所述已解碼參考數(shù)據(jù)塊進(jìn)行濾波(14)；僅基于已濾波的解碼參考數(shù)據(jù)塊，估計(jì)(15)已濾波的已解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值；基于估計(jì)的局部特征值，確定(16)用于解碼當(dāng)前數(shù)據(jù)塊的解碼信息集合和用于解碼當(dāng)前數(shù)據(jù)塊的方法，基于估計(jì)的局部特征值、基于所確定的所述解碼信息集合和根據(jù)所確定的解碼方法，解碼(17)當(dāng)前數(shù)據(jù)塊。
【專利說明】籍助于選擇性遺傳的編碼和解碼

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信號編碼/解碼領(lǐng)域，尤其涉及視頻信號的編碼/解碼領(lǐng)域。
[0002]它尤其涉及，但并不排他，來自不同相機(jī)的編碼/解碼圖像的3D視頻應(yīng)用。本發(fā)明同樣還適用于靜止圖像的編碼/解碼。

【背景技術(shù)】
[0003]視頻的3D顯示可通過單個(gè)立體設(shè)備的兩個(gè)不同相機(jī)所記錄的同一場景的兩個(gè)視圖(立體格式)的多路復(fù)用來獲得。
[0004]MFC和MVC( “多視圖框架兼容編碼”和“多視圖視頻編碼”)這兩類編碼可典型地運(yùn)用于通過利用兩幅視圖之間的冗余來編碼兩個(gè)不同視圖的圖像。
[0005]雖然目前市場上立體編碼格式為主流，但諸如3DTV( “3D電視”)或FTV( “任意視點(diǎn)電視”)之類新的3D視頻服務(wù)發(fā)展需要三維場景的流動(dòng)描述，這可通過3D設(shè)備的多于兩幅視圖的同時(shí)復(fù)用來獲得。為此，來自不同視點(diǎn)的至少三個(gè)視頻可以MMV( “多視圖視頻”)格式來采集、編碼和傳輸，并且MVC編碼也可用于編碼這些視頻。然而，與MVC編碼相關(guān)的開銷很高，特別是當(dāng)視點(diǎn)數(shù)量很多時(shí)。
[0006]一種新的視頻編碼格式，稱之為MVD ( “多視圖+深度”)，目前正在研發(fā)。在這一格式中，除了紋理(顏色)相機(jī)外，還使用了深度相機(jī)。各個(gè)紋理視頻都與深度視頻相關(guān)。在編碼和傳輸后，可將重新構(gòu)建的紋理和深度視頻發(fā)送至合成器，由其生成所需數(shù)量的中間視圖。與來自深度視頻的深度圖像相關(guān)的優(yōu)點(diǎn)為它們僅由亮度信道組成并且它們主要由通過邊緣分開的平滑區(qū)域構(gòu)成。因此，相對于由紋理視頻產(chǎn)生的紋理圖像來說，其編碼的開銷較小。此外，視圖間的相關(guān)性(在兩幅紋理圖像之間或者兩幅深度圖像之間)以及組分間的相關(guān)性(在紋理圖像和深度圖像之間)可由MVD格式利用來提高編碼效率，例如使用3DVC( “3D視頻編碼”)編解碼器。
[0007]為了提高編碼效率，標(biāo)準(zhǔn)包括基于進(jìn)行先編碼后解碼的數(shù)據(jù)塊的編碼信息來預(yù)測當(dāng)前數(shù)據(jù)塊的編碼信息。
[0008]這種編碼信息可為例如運(yùn)動(dòng)矢量。因此，AMVP (Advanced Mot1n VectorPredict1n，高級運(yùn)動(dòng)矢量預(yù)測)標(biāo)準(zhǔn)為當(dāng)前數(shù)據(jù)塊的運(yùn)動(dòng)矢量引入預(yù)測因子列表。僅將需編碼的當(dāng)前數(shù)據(jù)塊的運(yùn)動(dòng)矢量和最佳預(yù)測因子(根據(jù)率失真)之間的差以及指示由預(yù)測因子列表所確定的最佳預(yù)測因子的索引發(fā)送給解碼器，因此，減少了傳輸與當(dāng)前數(shù)據(jù)塊運(yùn)動(dòng)矢量相關(guān)的信息的開銷。預(yù)測還可用于減少傳輸與幀內(nèi)編碼模式相關(guān)的信息的開銷。幀內(nèi)編碼包括基于來自同一幅圖像的一個(gè)或多個(gè)先編碼后解碼的數(shù)據(jù)塊來編碼同一圖像的數(shù)據(jù)塊。為此，定義了數(shù)個(gè)巾貞內(nèi)模式，各個(gè)巾貞內(nèi)模式一般都對應(yīng)于一個(gè)預(yù)測方向。一些巾貞內(nèi)模式還包括對當(dāng)前數(shù)據(jù)塊的相鄰數(shù)據(jù)塊所執(zhí)行的平均值計(jì)算。這些幀內(nèi)模式對于本領(lǐng)域技術(shù)人員來說都是熟知的，本文不再詳述。
[0009]于是，基于幀內(nèi)編碼，可從同一圖像的相鄰數(shù)據(jù)塊的幀內(nèi)模式中推導(dǎo)出適用于圖像數(shù)據(jù)塊的“最使然模式”或者M(jìn)PM。MPM因此可作為編碼當(dāng)前數(shù)據(jù)塊所選擇的編碼幀內(nèi)模式所使用的預(yù)測因子。
[0010]信息的遺傳也可用于提高編碼效率。在HEVC編碼(“高效視頻編碼”)中，“合并”模式允許當(dāng)前數(shù)據(jù)塊直接遺傳相鄰數(shù)據(jù)塊或先前圖像(在時(shí)間方面在前)相應(yīng)數(shù)據(jù)塊的參考圖像的運(yùn)動(dòng)矢量和索引。遺傳的運(yùn)動(dòng)矢量從而無需進(jìn)行編碼，這是因?yàn)樵诮獯a過程中可以應(yīng)用相同的原則。然而，合并模式的使用取決于編碼器所選擇的率失真并因此需要發(fā)出信號，以便通知解碼器編碼所使用的合并模式。這一發(fā)出信號可籍助于在發(fā)送至解碼器的數(shù)據(jù)中的“合并”標(biāo)記來完成。
[0011]在以“合并”模式所確定和傳輸?shù)臍埩粼诋?dāng)前數(shù)據(jù)塊和使用遺傳的運(yùn)動(dòng)矢量所預(yù)測的數(shù)據(jù)塊之間的殘留數(shù)據(jù)時(shí)，該殘留數(shù)據(jù)在“跳過”模式下是不傳輸?shù)?在解碼器中的重建樣本它們自身是由運(yùn)動(dòng)矢量指向的數(shù)據(jù)塊遺傳的。于是，“跳過”模式會(huì)消除對殘留數(shù)據(jù)的編碼，但它的用法仍須發(fā)信號通知解碼器。
[0012]響應(yīng)于3D視頻編碼(3DV)的MPEG標(biāo)準(zhǔn)的需求，已經(jīng)提出了使用預(yù)測和直接遺傳兩者的技術(shù)。
[0013]文檔“Descript1n of 3D Video Coding Technology Proposal by FraunhoferHHI (HEVC compatible configurat1n A) ” (詳見 H.Schwarz 等，m22570, 2011 年 11 月)系統(tǒng)地提出了將額外的預(yù)測因子添加至AMVP標(biāo)準(zhǔn)的預(yù)測因子列表。該額外的預(yù)測因子是對應(yīng)相鄰視圖(視圖間預(yù)測)中的當(dāng)前數(shù)據(jù)塊的數(shù)據(jù)塊的運(yùn)動(dòng)矢量。也引入了殘留數(shù)據(jù)的視圖間預(yù)測，其中對應(yīng)于相鄰視圖的當(dāng)前數(shù)據(jù)塊的數(shù)據(jù)塊的殘留數(shù)據(jù)可用于預(yù)測當(dāng)前數(shù)據(jù)塊的殘留數(shù)據(jù)。
[0014]此外，在文檔“Descript1nof 3D video coding technology proposal by ETRIand Kwangwoon University”(詳見 G.Bang 等，m22625, 2Oll 年 11 月)中介紹了額外的預(yù)測工具，其中在對應(yīng)于相關(guān)深度圖像(組分間預(yù)測)中所要編碼的當(dāng)前數(shù)據(jù)塊的紋理圖像中的參考數(shù)據(jù)塊所選擇的幀內(nèi)模式添加至預(yù)先確定的預(yù)測因子列表，以便為在深度圖像中以幀內(nèi)模式所要編碼的當(dāng)前數(shù)據(jù)塊選擇MPM。換句話說，以此方式所編碼的當(dāng)前數(shù)據(jù)塊間接遺傳了為參考數(shù)據(jù)塊所選擇的幀內(nèi)模式。
[0015]在文檔“Descript1n of 3D Video Coding Technology Proposal byFraunhofer HHI (HE VC compatible, configurat1n A)”(詳見 H.Schwarz 等)中使用了間接遺傳，它引入了運(yùn)動(dòng)參數(shù)遺傳工具，其中用于對應(yīng)于深度圖像的當(dāng)前數(shù)據(jù)塊的紋理圖像的數(shù)據(jù)塊的整個(gè)分區(qū)結(jié)構(gòu)和運(yùn)動(dòng)矢量運(yùn)用于深度圖像的當(dāng)前數(shù)據(jù)塊。然而，該遺傳也必須通過信號通知解碼器，以使能解碼所傳輸?shù)臄?shù)據(jù)。
[0016]因此，不論所使用的編碼的標(biāo)準(zhǔn)和類型，可通過評價(jià)率失真約束來確定遺傳的實(shí)施。因此，選擇使用遺傳的編碼模式，當(dāng)遺傳用于編碼當(dāng)前數(shù)據(jù)塊時(shí)，就必須通過信號通知解碼器，使得解碼器獲知在編碼過程中所作出的選擇。
[0017]由此可見，存在一種需要以提高使用編碼/解碼信息的遺傳來編碼/解碼信號的技術(shù)的有效性。


【發(fā)明內(nèi)容】

[0018]本發(fā)明旨在改進(jìn)這一狀況。
[0019]為此，本發(fā)明的第一方面涉及適于編碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像的至少一個(gè)當(dāng)前數(shù)據(jù)塊的編碼方法，其中第二圖像包括與第一圖像共有的至少一個(gè)元素，參考數(shù)據(jù)塊已先編碼后解碼。
[0020]該方法包括以下步驟:
[0021 ] 對所述已解碼參考數(shù)據(jù)塊進(jìn)行濾波；
[0022]僅基于已濾波的解碼參考數(shù)據(jù)塊，估計(jì)已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值；
[0023]基于估計(jì)出的局部特征值，確定:
[0024]將用于編碼當(dāng)前數(shù)據(jù)塊所需使用的編碼信息集合，
[0025]用于編碼當(dāng)前數(shù)據(jù)塊的方法；以及，
[0026]基于估計(jì)出的局部特征值、基于所確定的編碼信息集合和根據(jù)所確定的編碼方法編碼當(dāng)前數(shù)據(jù)塊。
[0027]本發(fā)明的第二方面涉及適于解碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像的至少一個(gè)已編碼當(dāng)前數(shù)據(jù)塊的方法，其中第二圖像包括與第一圖像共有的至少一個(gè)元素，參考數(shù)據(jù)塊已先解碼。
[0028]該方法包括以下步驟:
[0029]對所述已解碼的參考數(shù)據(jù)塊進(jìn)行濾波；
[0030]僅基于已濾波的解碼參考數(shù)據(jù)塊，估計(jì)已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值；
[0031]基于估計(jì)出的局部特征值，確定:
[0032]將用于解碼當(dāng)前數(shù)據(jù)塊所需使用的解碼信息集合，
[0033]用于解碼當(dāng)前數(shù)據(jù)塊的方法；
[0034]基于估計(jì)出的局部特征值、基于所確定的解碼信息集合和根據(jù)所確定的解碼方法解碼當(dāng)前數(shù)據(jù)塊。
[0035]于是，本發(fā)明有利于允許通過編碼/解碼信息的遺傳來編碼/解碼當(dāng)前數(shù)據(jù)塊，所述編碼/解碼信息的遺傳在僅分析已濾波的解碼參考數(shù)據(jù)塊的局部特征后確定。一般來說，“局部特征”可理解為是指與參考數(shù)據(jù)塊的像素性質(zhì)相關(guān)的任何信息，如同在對所述參考數(shù)據(jù)塊進(jìn)行濾波后獲得的那樣。這些局部特征包括，例如:
[0036]已濾波的解碼參考數(shù)據(jù)塊中的主要方向，已濾波的解碼參考數(shù)據(jù)塊的主要角度或主要方位，和/或，
[0037]主要方向的幅度/強(qiáng)度，和/或，
[0038]已濾波的解碼參考數(shù)據(jù)塊的平均強(qiáng)度信息，和/或，
[0039]已濾波的解碼參考數(shù)據(jù)塊的平均色度或亮度信息，和/或，
[0040]已濾波的解碼參考數(shù)據(jù)塊的平均失真信息，
[0041]等等。
[0042]假設(shè)第一和第二圖像包含共有元素，例如相同場景呈現(xiàn)在第一和第二圖像兩者中，估計(jì)已濾波的解碼參考數(shù)據(jù)塊中的局部特征值有利于允許推導(dǎo)出第二圖像和第一圖像之間的相關(guān)性(高或低)。
[0043]因此，通過已濾波的解碼參考數(shù)據(jù)塊的局部特征值的高低來確定所遺傳編碼/解碼信息的可靠性的高低。因?yàn)樗鼍植刻卣鲀H通過已濾波的解碼參考數(shù)據(jù)塊來計(jì)算，它也可在解碼過程中獨(dú)立地計(jì)算，從而解碼無需接收信號位來指示局部特征的類型和數(shù)值。
[0044]應(yīng)用于已解碼參考數(shù)據(jù)塊的濾波可是例如用于檢測已解碼參考數(shù)據(jù)塊中出現(xiàn)的邊緣。在這種情況下，局部特征值由此表示這些邊緣的幅度和/或方向。
[0045]根據(jù)某些實(shí)施例，分別根據(jù)所確定的編碼或解碼方法對當(dāng)前數(shù)據(jù)塊進(jìn)行的編碼或解碼是:
[0046]直接的，其中所確定的集合的編碼或解碼信息用作預(yù)測當(dāng)前數(shù)據(jù)塊，
[0047]間接的，其中在編碼過程中，所確定的集合的編碼信息與基于編碼性能標(biāo)準(zhǔn)所預(yù)先確定的編碼信息進(jìn)行競爭，以便選擇出將用于預(yù)測當(dāng)前數(shù)據(jù)塊的最佳編碼信息，并且其中在解碼過程中，讀取最佳編碼信息，以便選擇在所確定的解碼信息集合中的相應(yīng)解碼信息來預(yù)測當(dāng)前數(shù)據(jù)塊。
[0048]因此，本發(fā)明允許通過取決于估計(jì)出的已濾波的解碼參考數(shù)據(jù)塊的局部特征值的直接或間接的遺傳來實(shí)施編碼/解碼方法。
[0049]直接遺傳方法允許直接使用參考圖像的編碼信息(或解碼信息)來編碼(或解碼)當(dāng)前數(shù)據(jù)塊。與當(dāng)前數(shù)據(jù)塊的編碼(或解碼)相關(guān)的可靠性很高，這是由于估計(jì)出的已濾波的解碼參考數(shù)據(jù)塊的局部特征值很高。此外，在編碼時(shí)，無須發(fā)送用于解碼所確定集合的編碼信息的信號。由此減少了編碼器和解碼器之間的傳輸開銷。
[0050]當(dāng)估計(jì)出的已濾波的解碼參考數(shù)據(jù)塊的局部特征值較低時(shí)，間接遺傳方法仍允許遺傳在編碼(或解碼)當(dāng)前數(shù)據(jù)塊所使用的確定的集合的編碼信息(或解碼)。在編碼時(shí)，所確定的集合的編碼信息形成至少一個(gè)新的預(yù)測因子，它隨后可與預(yù)先確定的預(yù)測因子競爭以便選擇出最佳預(yù)測因子。隨后，將最佳預(yù)測因子發(fā)送到解碼器。當(dāng)發(fā)現(xiàn)新的預(yù)測因子具有相關(guān)性時(shí)，則可用新的預(yù)測因子來代替在預(yù)先確定的預(yù)測因子列表中的一個(gè)預(yù)測因子。
[0051]根據(jù)某些實(shí)施例，在編碼和解碼過程中，可預(yù)先確定第一閾值和第二閾值，且第一閾值大于第二閾值，以及:
[0052]如果估計(jì)出的局部特征值高于第一閾值，則使用直接編碼和解碼方法；
[0053]如果估計(jì)出的局部特征值介于第一閾值和第二閾值之間，則使用間接編碼和解碼方法；
[0054]否則，使用并非直接和間接方法的編碼和解碼方法。
[0055]這些實(shí)施例因此避免了當(dāng)估計(jì)出的已濾波的解碼參考數(shù)據(jù)塊的局部特征值較低時(shí)(低于第二閾值)使用在那種情況下無關(guān)的新的預(yù)測因子來代替預(yù)測因子列表中的一個(gè)預(yù)測因子。應(yīng)當(dāng)注意的是，本發(fā)明并不限于兩個(gè)閾值的使用。可提供額外的閾值，以便與估計(jì)出的局部特征值進(jìn)行比較。
[0056]根據(jù)某些實(shí)施例，在編碼過程中，編碼信息包括至少一個(gè)編碼模式，或者與編碼模式相關(guān)的至少一個(gè)編碼參數(shù)，或者它們兩者，并且在解碼過程中，解碼信息包括至少一個(gè)解碼模式，或者與解碼模式相關(guān)的至少一個(gè)解碼參數(shù)，或者它們兩者。
[0057]“編碼/解碼模式”可理解為是指幀內(nèi)編碼/解碼模式、幀間編碼/解碼模式、跳過編碼/解碼模式、宏數(shù)據(jù)塊的分區(qū)形式、變換的類型(例如DCT4x4或DCT8x8變換)、諸如運(yùn)動(dòng)矢量的運(yùn)動(dòng)信息或運(yùn)動(dòng)矢量分辨率的精度，等等?！芭c編碼/解碼模式相關(guān)的參數(shù)”可理解為是指作為編碼模式固有參數(shù)的任何信息(例如去數(shù)據(jù)塊濾波器的值或者編碼/解碼工具的激活或休止的閾值，等)。
[0058]作為實(shí)施例的變型，在由多個(gè)圖像采集設(shè)備最初采集圖像的編碼和解碼過程中，各幅圖像表示一個(gè)指定的視圖，第一圖像對應(yīng)于相鄰第二圖像的視圖，并且當(dāng)使用第一圖像的視圖和第二圖像的視圖之間的視差矢量來校正當(dāng)前數(shù)據(jù)塊的位置時(shí)，當(dāng)前數(shù)據(jù)塊和參考數(shù)據(jù)塊分別在第一圖像和第二圖像中具有相同的位置。
[0059]這些實(shí)施例提高了在視圖間編碼和解碼情況下的編碼/解碼效率。
[0060]根據(jù)實(shí)施例的另一變型，在由圖像采集設(shè)備采集的暫時(shí)連續(xù)圖像的編碼和解碼過程中，第一圖像對應(yīng)于在采集第二圖像后所采集的一幅圖像，并且當(dāng)前數(shù)據(jù)塊和參考數(shù)據(jù)塊表示分別在第一和第二圖像中的共有場景。
[0061]這些實(shí)施例提高了幀間模式編碼和解碼情況下的編碼和解碼效率。
[0062]在實(shí)施例的另一變型中，在與深度圖像相關(guān)所采集的紋理圖像的編碼和解碼過程中，第一圖像是深度圖像并且第二圖像是與第一圖像相關(guān)的紋理圖像，并且當(dāng)前數(shù)據(jù)塊和參考數(shù)據(jù)塊分別在第一圖像和第二圖像中具有相同的位置。
[0063]這些實(shí)施例提高了在諸如MVD格式的視圖加上深度編碼和解碼情況下的編碼和解碼效率。
[0064]本發(fā)明的第三方面涉及包括指令的計(jì)算機(jī)程序，適用于當(dāng)此程序由處理器執(zhí)行時(shí)實(shí)施根據(jù)本發(fā)明第一方面或根據(jù)本發(fā)明第二方面的方法。
[0065]本發(fā)明的第四方面涉及用于編碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像的至少一個(gè)當(dāng)前數(shù)據(jù)塊的編碼器，第二圖像包括與第一圖像共有的至少一個(gè)元素，參考數(shù)據(jù)塊之前已先編碼后解碼。
[0066]編碼器包括:
[0067]用于對已解碼參考數(shù)據(jù)塊進(jìn)行濾波的單元；
[0068]用于僅基于已濾波的解碼參考數(shù)據(jù)塊來估計(jì)已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值的單元；
[0069]用于確定的單元，基于估計(jì)出的局部特征值來確定:
[0070]將用于編碼當(dāng)前數(shù)據(jù)塊的編碼信息集合，
[0071]用于編碼當(dāng)前數(shù)據(jù)塊的方法；以及，
[0072]基于估計(jì)出的局部特征值、基于確定的編碼信息集合和根據(jù)所確定的編碼方法來編碼當(dāng)前數(shù)據(jù)塊的編碼單元。
[0073]本發(fā)明的第五方面涉及用于解碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像的至少一個(gè)已編碼當(dāng)前數(shù)據(jù)塊的解碼器，第二圖像包括與第一圖像共有的至少一個(gè)元素，參考數(shù)據(jù)塊已先解碼，
[0074]解碼器包括:
[0075]用于對已解碼參考數(shù)據(jù)塊進(jìn)行濾波的單元；
[0076]用于僅基于已濾波的解碼參考數(shù)據(jù)塊來估計(jì)已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值的單元；
[0077]用于確定的單元，基于估計(jì)出的局部特征值來確定:
[0078]將用于解碼當(dāng)前數(shù)據(jù)塊的解碼信息集合，
[0079]用于解碼當(dāng)前數(shù)據(jù)塊的方法；以及，
[0080]基于估計(jì)出的局部特征值、基于確定的解碼信息集合和根據(jù)所確定的解碼方法來解碼當(dāng)前數(shù)據(jù)塊的解碼單元。
[0081]本發(fā)明的第六方面涉及包括根據(jù)本發(fā)明第四方面的編碼器和根據(jù)本發(fā)明第五方面的解碼器的系統(tǒng)，編碼器進(jìn)一步包括傳輸單元，用于將編碼數(shù)據(jù)塊傳輸至編碼器，以便進(jìn)行基于數(shù)據(jù)塊的圖像編碼。

【專利附圖】

【附圖說明】
[0082]本發(fā)明的其他特征和優(yōu)點(diǎn)將通過下文的詳細(xì)描述及其附圖變得更為清晰，附圖包括:
[0083]圖1是表示根據(jù)本發(fā)明的編碼方法的主要步驟的示意圖；
[0084]圖2是表示根據(jù)本發(fā)明的解碼方法的主要步驟的示意圖；
[0085]圖3是表示圖1所示編碼方法在一個(gè)特定實(shí)施例中的詳細(xì)步驟的示意圖；
[0086]圖4是表示圖2所示解碼方法在一個(gè)特定實(shí)施例中的詳細(xì)步驟的示意圖；
[0087]圖5說明了根據(jù)本發(fā)明一個(gè)特定實(shí)施例在第一圖像的當(dāng)前數(shù)據(jù)塊和第二圖像的參考數(shù)據(jù)塊之間的選擇性遺傳；
[0088]圖6說明了根據(jù)本發(fā)明另一特定實(shí)施例在第一圖像的當(dāng)前數(shù)據(jù)塊和第二圖像的參考數(shù)據(jù)塊之間的選擇性遺傳；
[0089]圖7說明了包括根據(jù)一些實(shí)施例的編碼器和解碼器的系統(tǒng)。

【具體實(shí)施方式】
[0090]圖1是表示根據(jù)本發(fā)明的編碼方法的主要步驟的示意圖。
[0091]根據(jù)本發(fā)明的該編碼方法應(yīng)用于與第二圖像的參考數(shù)據(jù)塊有關(guān)的第一圖像的當(dāng)前數(shù)據(jù)塊，第二圖像包括與第一圖像共有的至少一個(gè)元素?！皡⒖紨?shù)據(jù)塊”可理解為是指之前已先編碼后解碼的數(shù)據(jù)塊。這一已解碼的參考數(shù)據(jù)塊可用于編碼當(dāng)前數(shù)據(jù)塊。
[0092]在步驟10中，對已解碼參考數(shù)據(jù)塊進(jìn)行濾波。
[0093]例如，可使用邊緣檢測濾波器來實(shí)施這一步驟，以便檢測在所述已解碼參考數(shù)據(jù)塊中的邊緣。這一濾波器可為Sobel濾波器，Canny濾波器，或者一些其它的邊緣檢測濾波器。
[0094]在步驟11中，通過僅基于已解碼參考數(shù)據(jù)塊的計(jì)算來估計(jì)已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值。
[0095]這一局部特征為例如:
[0096]已濾波的解碼參考數(shù)據(jù)塊中的主要方向，已濾波的解碼參考數(shù)據(jù)塊的主要角度或主要方位，和/或，
[0097]主要方向的幅度/強(qiáng)度，和/或，
[0098]已濾波的解碼參考數(shù)據(jù)塊的平均強(qiáng)度信息，和/或，
[0099]已濾波的解碼參考數(shù)據(jù)塊的平均色度或亮度信息，和/或，
[0100]已濾波的解碼參考數(shù)據(jù)塊的平均失真信息，
[0101]等等。
[0102]取決于它的類型，局部特征可取一個(gè)或多個(gè)值。
[0103]在步驟12中，基于步驟11所計(jì)算的局部特征值來確定用于編碼當(dāng)前數(shù)據(jù)塊的編碼信息集合和編碼當(dāng)前數(shù)據(jù)塊的方法。
[0104]在步驟13中，基于步驟11所計(jì)算的局部特征值、基于確定的編碼信息集合和根據(jù)所確定的編碼方法來編碼當(dāng)前數(shù)據(jù)塊。
[0105]圖2是表示根據(jù)本發(fā)明的解碼方法的主要步驟的示意圖。
[0106]最初接收根據(jù)本發(fā)明以數(shù)據(jù)塊形式編碼的圖像。根據(jù)本發(fā)明的解碼方法應(yīng)用于與第二圖像的參考數(shù)據(jù)塊有關(guān)的第一圖像的已編碼當(dāng)前數(shù)據(jù)塊，第二圖像包括與第一圖像共有的至少一個(gè)元素。參考數(shù)據(jù)塊已先解碼。
[0107]在步驟14中，使用與編碼所使用的相同濾波器對已解碼參考數(shù)據(jù)塊進(jìn)行濾波。因此，在編碼器和解碼器之間并不發(fā)送所使用的濾波器的相關(guān)信息。
[0108]在步驟15中，通過計(jì)算來估計(jì)已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值。此步驟與編碼所實(shí)施的估計(jì)步驟11完全相同。
[0109]在步驟16中，基于步驟15所計(jì)算的局部特征值，確定將用于解碼當(dāng)前數(shù)據(jù)塊的解碼信息集合和解碼當(dāng)前數(shù)據(jù)塊的方法。
[0110]在步驟17中，基于步驟15所計(jì)算的局部特征值、基于確定的解碼信息集合和根據(jù)所確定的解碼方法來解碼當(dāng)前數(shù)據(jù)塊。
[0111]圖3是表示根據(jù)本發(fā)明一個(gè)特定實(shí)施例的圖1所示編碼方法的詳細(xì)步驟的示意圖。
[0112]編碼方法優(yōu)選應(yīng)用于來自至少一個(gè)視頻序列的圖像，例如可能包含來自具有不同視圖的不同相機(jī)的圖像的視頻序列，紋理圖像及其相應(yīng)深度圖像的視頻序列，或者包括暫時(shí)連續(xù)圖像(來自同一相機(jī))的視頻序列。在下文的描述中，圖像編碼是基于數(shù)據(jù)塊的。
[0113]在步驟101中，由用于根據(jù)本發(fā)明進(jìn)行編碼的編碼器接收第一圖像的當(dāng)前數(shù)據(jù)塊。
[0114]在步驟102中，確定與當(dāng)前數(shù)據(jù)塊相關(guān)的第二圖像的參考數(shù)據(jù)塊:
[0115]第一圖像和第二圖像可為單一圖像，因此參考快是當(dāng)前數(shù)據(jù)塊的相鄰數(shù)據(jù)塊(幀內(nèi)編碼)；
[0116]第一圖像表示來自諸如相機(jī)的第一圖像采集設(shè)備的指定視圖，并且第二圖像表示來自第二相機(jī)且相鄰于指定視圖的視圖。當(dāng)當(dāng)前數(shù)據(jù)塊的位置已經(jīng)由在第一圖像的視圖和第二圖像的視圖之間的視差矢量進(jìn)行校正時(shí)，當(dāng)前數(shù)據(jù)塊和參考數(shù)據(jù)塊從而分別在第一和第二圖像中具有相同的位置，正如下文參考圖6所詳述的那樣(視圖間編碼)；
[0117]在采集第二圖像后，通過同一相機(jī)采集第一圖像，且當(dāng)前數(shù)據(jù)塊和參考數(shù)據(jù)塊從而表示分別在第一圖像和第二圖像中的共有場景(幀間編碼)；
[0118]第一圖像是由深度相機(jī)所采集的深度圖像而第二圖像是由紋理(彩色)相機(jī)所采集的紋理圖像，并且當(dāng)前數(shù)據(jù)塊和參考數(shù)據(jù)塊分別在深度圖像和紋理圖像中具有相同的位置，正如下文參考圖5所詳述的那樣(組分間編碼)。
[0119]依然根據(jù)本發(fā)明，參考數(shù)據(jù)塊是先前已編碼的數(shù)據(jù)塊。在步驟102中，解碼參考數(shù)據(jù)塊，使得在編碼過程中所應(yīng)用的下述步驟與在解碼過程中所應(yīng)用的步驟相同，如參考圖2所示的那樣。
[0120]在步驟103中，濾波器應(yīng)用至于已解碼的參考數(shù)據(jù)塊。例如，這一濾波器實(shí)施在所述參考數(shù)據(jù)塊中的邊緣檢測。這一濾波器可為Sobel濾波器，Canny濾波器，或者一些其它的邊緣檢測濾波器。
[0121]在步驟104中，僅基于先解碼后濾波的參考數(shù)據(jù)塊來計(jì)算已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值。局部特征值是例如通過確定已濾波的解碼參考數(shù)據(jù)塊中的亮度或色度梯度的最大值、亮度或色度梯度的平均值、邊緣檢測的主要角度、或表示平均絕對失真(MAD)的索引、或者上述值得任意組合來獲得。
[0122]在步驟105中，取決于步驟104所計(jì)算的局部特征值，確定將用于編碼當(dāng)前數(shù)據(jù)塊的編碼信息集合。該編碼信息可能涉及編碼模式、與編碼模式相關(guān)的一個(gè)或多個(gè)編碼參數(shù)，或者兩者?！熬幋a模式”可理解為是指幀內(nèi)編碼模式、幀間編碼模式、跳過編碼模式、宏數(shù)據(jù)塊的分區(qū)形式、變換的類型(例如DCT4x4或DCT8x8變換)、諸如運(yùn)動(dòng)矢量的運(yùn)動(dòng)信息或運(yùn)動(dòng)矢量分辨率的精度，等等?！芭c編碼模式相關(guān)的參數(shù)”可理解為是指作為編碼模式固有參數(shù)的任何信息(例如去數(shù)據(jù)塊濾波器的值或者編碼工具的激活或休止的閾值，等)。
[0123]在下述步驟中，現(xiàn)在將描述基于所述步驟104所計(jì)算的局部特征值來確定編碼方法的特定實(shí)施例。
[0124]在步驟106中，將步驟104所計(jì)算的局部特征值與第一閾值B進(jìn)行比較。此第一閾值是固定的并且對于編碼和解碼兩者來說是共用的。相同的第一閾值B可用于所有要編碼的數(shù)據(jù)塊。第一閾值B的值可根據(jù)局部特征值是否是平均值、最大值、MAD或者角度作不同的設(shè)置。
[0125]如果局部特征值大于第一閾值B，則在步驟107中可以推導(dǎo)出已濾波的解碼參考數(shù)據(jù)塊和當(dāng)前數(shù)據(jù)塊之間的相關(guān)性很高。從而選擇直接遺傳編碼方法用于編碼當(dāng)前數(shù)據(jù)塊。為此，步驟105所確定的編碼信息可用作實(shí)施當(dāng)前數(shù)據(jù)塊的預(yù)測編碼。
[0126]如果步驟104所計(jì)算的局部特征值小于第一閾值B，則在步驟108中將所述值與第二閾值A(chǔ)進(jìn)行比較。同樣的，該第二閾值A(chǔ)是固定的并且對于編碼和解碼兩者來說是共用的。相同的第二閾值A(chǔ)可用于所有要編碼的數(shù)據(jù)塊。第二閾值A(chǔ)的值可根據(jù)局部特征值是否是平均值、最大值、MAD或者角度作不同的設(shè)置。
[0127]如果計(jì)算出的局部特征值介于第一閾值B和第二閾值A(chǔ)之間，則步驟105所確定的編碼信息用于使用間接遺傳方法來編碼當(dāng)前數(shù)據(jù)塊。為此，在步驟109中，將所述編碼信息添加至或代替候選的預(yù)測因子集合，以便在確定中根據(jù)編碼性能標(biāo)準(zhǔn)(例如率失真)來競爭最佳編碼信息。因此，在編碼信息集合包括指定的運(yùn)動(dòng)矢量的情況下，可將指定運(yùn)動(dòng)矢量添加至當(dāng)前數(shù)據(jù)塊的候選運(yùn)動(dòng)矢量列表，例如添加至如上文所述的MVC編碼環(huán)境中的AMVP候選列表。為了避免改變競爭候選列表中的矢量數(shù)量，指定的運(yùn)動(dòng)矢量可替代列表中的一個(gè)候選者。此外或者作為選擇的，當(dāng)步驟105所確定的編碼信息包括特定的編碼模式時(shí)，舉例來說，諸如幀內(nèi)模式目前并不處于用于編碼當(dāng)前數(shù)據(jù)塊的候選幀內(nèi)模式列表中，舉例來說諸如如上文所述的3DVC編碼環(huán)境中的MPM候選列表，上述步驟109可包括將所述幀內(nèi)模式添加(或代替)至候選巾貞內(nèi)模式列表，以便用于確定最佳的巾貞內(nèi)模式。
[0128]如果步驟104所計(jì)算的局部特征值小于第二閾值A(chǔ)，則在步驟110中使用并非直接或間接遺傳方法的編碼方法來編碼當(dāng)前數(shù)據(jù)塊，這是因?yàn)楫?dāng)前數(shù)據(jù)塊和已濾波的解碼參考數(shù)據(jù)塊之間的相關(guān)性被認(rèn)為很低從而不能使用遺傳編碼方法。當(dāng)前數(shù)據(jù)塊例如以傳統(tǒng)的方式進(jìn)行編碼，例如使用與之前采集的圖像中對應(yīng)于當(dāng)前數(shù)據(jù)塊的數(shù)據(jù)塊相關(guān)所確定的運(yùn)動(dòng)矢量。傳統(tǒng)編碼的使用，當(dāng)已濾波的解碼參考數(shù)據(jù)塊和當(dāng)前數(shù)據(jù)塊之間的相關(guān)性很低時(shí)，避免了由步驟105所確定的編碼信息代替預(yù)先確定的候選列表中的編碼信息，它在這種情況下是無關(guān)的。
[0129]在步驟107、109或110后，在步驟111中，根據(jù)確定的編碼方法并基于之前所確定的編碼信息來編碼當(dāng)前數(shù)據(jù)塊。在步驟112中，將以此方式編碼的數(shù)據(jù)塊傳輸至例如解碼器。應(yīng)當(dāng)注意的是，在間接遺傳編碼模式的情況下(在步驟109后)，除了已編碼當(dāng)前數(shù)據(jù)塊外，還將最佳編碼信息傳輸至解碼器。
[0130]圖4是表示根據(jù)本發(fā)明的一個(gè)特定實(shí)施例的圖2所示解碼方法的詳細(xì)步驟的示意圖。
[0131]在步驟201中，根據(jù)圖3所示編碼方法進(jìn)行編碼的數(shù)據(jù)塊由例如解碼器接收。如果某些數(shù)據(jù)塊根據(jù)間接遺傳方法進(jìn)行編碼，則在步驟201中還接收和讀取最佳編碼信息。
[0132]在步驟202中，接收上文所述的當(dāng)前數(shù)據(jù)塊。
[0133]在步驟203中，解碼器確定將用于解碼當(dāng)前數(shù)據(jù)塊的參考數(shù)據(jù)塊。參考數(shù)據(jù)塊和當(dāng)前數(shù)據(jù)塊之間相同的關(guān)系用于編碼和解碼兩者(幀內(nèi)編碼、幀間編碼、視圖間編碼或組分間編碼)。因此，選擇與編碼所使用的相同的參考數(shù)據(jù)塊。參考數(shù)據(jù)塊之前由解碼器接收并解碼。編碼所使用的已解碼參考數(shù)據(jù)塊因此與解碼所使用的正是同一個(gè)，無需在編碼器和解碼器之間發(fā)送信號位來指示所使用的參考數(shù)據(jù)塊。
[0134]在步驟204中，將濾波器應(yīng)用于已解碼的參考數(shù)據(jù)塊。此濾波器與編碼所使用的是同一濾波器。因此，在編碼器和解碼器之間不發(fā)送與將使用的濾波器相關(guān)的信息。
[0135]在步驟205中，僅基于先解碼后濾波的參考數(shù)據(jù)塊來計(jì)算已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值。在解碼過程中計(jì)算出的局部特征值相同于在編碼過程中計(jì)算出的，這是因?yàn)樵诮獯a過程中考慮的是同一參考數(shù)據(jù)塊。在解碼過程中計(jì)算出的局部參考值要么為MAD、主要角度、已濾波的解碼參考數(shù)據(jù)塊的最大亮度或色度值，要么為所述數(shù)據(jù)塊的平均亮度或色度值。在編碼和解碼過程中要分析的已濾波的解碼參考數(shù)據(jù)塊的局部特征在編碼器和解碼器之間可事先固定，以確保在編碼器和解碼器之間無需為此局部特征發(fā)送任何號位。
[0136]在步驟206中，根據(jù)步驟205所計(jì)算的局部特征值來確定將用于解碼當(dāng)前數(shù)據(jù)塊的解碼信息集合。該解碼信息可涉及解碼模式，與該解碼模式相關(guān)的一個(gè)或多個(gè)解碼參數(shù)，或者它們兩者?！敖獯a模式”可理解為是指幀內(nèi)解碼模式、間解碼模式、跳過解碼模式、宏數(shù)據(jù)塊的分區(qū)形式、變換的形式(例如DCT4x4或DCT8x8變換)，諸如運(yùn)動(dòng)矢量的運(yùn)動(dòng)信息或運(yùn)動(dòng)矢量分辨率的精度，等等?！芭c解碼模式相關(guān)的參數(shù)”可理解為是指用作解碼模式的固有參數(shù)的任何信息(例如用于去數(shù)據(jù)塊濾波器的值或解碼工具的激活或休止的閾值，等)。
[0137]現(xiàn)在，將以下述步驟描述基于步驟205所計(jì)算的局部特征來確定解碼方法的特定實(shí)施例。
[0138]在步驟207中，比較步驟205所計(jì)算的局部特征值與第一閾值B，如上文所解釋的，第一閾值為編碼和解碼兩者所共用。
[0139]如果所述計(jì)算值大于第一閾值，則在步驟208中推斷出已解碼參考數(shù)據(jù)塊和當(dāng)前數(shù)據(jù)塊之間的相關(guān)性很高。從而選擇直接遺傳解碼方法來解碼當(dāng)前數(shù)據(jù)塊。為此，在步驟206中，通過步驟205計(jì)算的局部特征值所確定的解碼信息用于實(shí)施對當(dāng)前數(shù)據(jù)塊的預(yù)測解碼。
[0140]如果計(jì)算的局部特征值小于第一閾值B，則在步驟209中比較所述值和第二閾值A(chǔ)，如上文所解釋的，該第二閾值為編碼和解碼兩者所共用。
[0141]如果所述計(jì)算值介于第一閾值B和第二閾值A(chǔ)之間，則在步驟201中解碼器已經(jīng)接收并讀取已編碼數(shù)據(jù)塊的最佳編碼信息，選擇直接遺傳解碼方法用于當(dāng)前數(shù)據(jù)塊。在步驟206中確定的解碼信息之中并對應(yīng)于最佳編碼信息的信息在步驟210中選作為最佳解碼信息來解碼當(dāng)前數(shù)據(jù)塊。
[0142]如果所述計(jì)算值小于第二閾值A(chǔ)，則在步驟211中將并非直接和間接遺傳方法的解碼方法用于解碼當(dāng)前數(shù)據(jù)塊，這是因?yàn)楫?dāng)前數(shù)據(jù)塊和已濾波的解碼參考數(shù)據(jù)塊之間的相關(guān)性被認(rèn)為很低。從而以傳統(tǒng)方式來解碼當(dāng)前數(shù)據(jù)塊。
[0143]在步驟208、步驟210或步驟211后，在步驟212中，基于步驟206所確定的解碼信息來解碼當(dāng)前數(shù)據(jù)塊。以此方式解碼的當(dāng)前數(shù)據(jù)塊隨后可用于進(jìn)一步處理，這并非本發(fā)明的一部分。
[0144]因此，本發(fā)明允許通過選擇遺傳方法進(jìn)行編碼和解碼，這意味著基于在編碼和解碼兩者中以相同方式所確定的已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部參考值，要么通過直接遺傳進(jìn)行編碼/解碼，要么通過間接遺傳進(jìn)行編碼/解碼，要么進(jìn)行傳統(tǒng)編碼/解碼。從而，減少了編碼器和解碼器之間的信號位碼流。此外，當(dāng)此新的預(yù)測因子并不相關(guān)時(shí)(當(dāng)局部特征值低于第二閾值時(shí))，本發(fā)明避免了使用新的預(yù)測因子來代替預(yù)先確定的預(yù)測因子列表中的預(yù)測因子。本發(fā)明的另一優(yōu)點(diǎn)在于，它允許同時(shí)考慮用于解碼或編碼信息的直接和間接遺傳的方法來編碼或解碼相同的數(shù)據(jù)塊。
[0145]圖5說明了根據(jù)本發(fā)明一個(gè)特定實(shí)施例的通過對與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像的當(dāng)前數(shù)據(jù)塊的選擇性遺傳編碼。
[0146]在此特定實(shí)施例中:
[0147]第一圖像是由深度相機(jī)采集的深度圖像21，此第一圖像是需編碼的當(dāng)前圖片，
[0148]第二圖像是由紋理相機(jī)采集的紋理圖像20，
[0149]以及在深度圖像21中的當(dāng)前數(shù)據(jù)塊25與在紋理圖像20中的參考數(shù)據(jù)塊24具有相同的位置。
[0150]紋理圖像20和深度圖像21表示相同視圖。在示出的例子中，它們具有相同的分區(qū)結(jié)構(gòu)。因此，紋理圖像20包括數(shù)據(jù)塊集合22以及深度圖像21包括相應(yīng)的數(shù)據(jù)塊集合23。然而，當(dāng)紋理圖像20的分區(qū)結(jié)構(gòu)與深度圖像21的分區(qū)結(jié)構(gòu)不同時(shí)，本發(fā)明以相同的方式應(yīng)用。例如，當(dāng)分區(qū)結(jié)構(gòu)不同時(shí)，解碼的參考數(shù)據(jù)塊可確定為對應(yīng)于當(dāng)前數(shù)據(jù)塊的數(shù)據(jù)塊所包含的一個(gè)數(shù)據(jù)塊，或者作為選擇的，解碼的參考數(shù)據(jù)塊可包含對應(yīng)于當(dāng)前數(shù)據(jù)塊的數(shù)據(jù)塊。
[0151]因此，當(dāng)前數(shù)據(jù)塊25和參考數(shù)據(jù)塊24分別在深度圖像21和紋理圖像20中具有相同的位置。
[0152]參考數(shù)據(jù)塊24被認(rèn)為已經(jīng)進(jìn)行了編碼，例如基于幀內(nèi)模式I。參考數(shù)據(jù)塊24進(jìn)行解碼以用于編碼或解碼當(dāng)前數(shù)據(jù)塊。
[0153]在本發(fā)明中，隨后對已解碼的參考數(shù)據(jù)塊24進(jìn)行濾波。
[0154]基于已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值，一個(gè)或多個(gè)幀內(nèi)編碼模式可確定為編碼或解碼信息。為此，局部特征值的各個(gè)范圍可對應(yīng)于一個(gè)或多個(gè)特定的幀內(nèi)模式，它可能包括，在一個(gè)特定情況下，用于編碼參考數(shù)據(jù)塊24的幀內(nèi)模式I。例如，對于介于1000和1500之間的局部特征值，可以確定為例如兩個(gè)幀內(nèi)模式2和9。對于介于1500和4000之間的局部特征值，可確定為諸如幀內(nèi)模式9的單一幀內(nèi)模式。對于大于4000的局部特征值，可確定為諸如幀內(nèi)模式7的單一幀內(nèi)模式。在此實(shí)例中，第一閾值可設(shè)置為4000以及第二閾值可設(shè)置為1000。然而，從本發(fā)明的意義上說，對于閾值的選擇沒有限制。
[0155]在這里，這些值和閾值的范圍通過舉例說明的方式給出并且取決于涉及的圖像和已濾波的解碼參考數(shù)據(jù)塊涉及的局部特征。
[0156]如果局部特征值高于第一閾值，則使用直接遺傳編碼。由于局部特征值隨后大于4000，幀內(nèi)模式7 (對應(yīng)于值超過4000的范圍)可直接遺傳，以便用于編碼當(dāng)前數(shù)據(jù)塊。如果局部特征值介于第一閾值和第二閾值之間，可將一個(gè)或多個(gè)幀內(nèi)模式添加(或代替)至候選幀內(nèi)模式列表，以便編碼或解碼當(dāng)前數(shù)據(jù)塊。因此，如果局部特征值介于1000和1500之間，可將幀內(nèi)模式2和9添加(或替代)至候選幀內(nèi)模式列表。如果局部特征值介于1500和4000之間，可將幀內(nèi)模式9添加(或替代)至幀內(nèi)模式候選列表。從而，最佳幀內(nèi)模式可由編碼器確定并發(fā)送至解碼器，以便解碼當(dāng)前數(shù)據(jù)塊。在3DVC編碼中，幀內(nèi)模式可例如添加至MPM列表。如果當(dāng)前特征值低于第二閾值，則傳統(tǒng)地確定用于編碼當(dāng)前數(shù)據(jù)塊的幀內(nèi)模式。
[0157]出于本發(fā)明的目的，對取值范圍的數(shù)量沒有限制，并且僅為了說明的目的提供上文的實(shí)例。
[0158]當(dāng)Sobel濾波應(yīng)用于作為已解碼參考數(shù)據(jù)塊的已解碼紋理數(shù)據(jù)塊時(shí)，通過這一濾波采集的最大梯度值是所述已解碼紋理數(shù)據(jù)塊中的邊緣的寬度的可靠指示。如果檢測到寬的邊緣，這些邊緣很可能呈現(xiàn)在對應(yīng)的深度圖像中，因此用于已解碼參考數(shù)據(jù)塊和用于當(dāng)前數(shù)據(jù)塊的最好幀內(nèi)模式之間相關(guān)性很高，這是因?yàn)閹瑑?nèi)模式都是主要方向性的。因此，在某些特定實(shí)施例中，為直接或間接遺傳確定的幀內(nèi)模式可為用于編碼參考數(shù)據(jù)塊的幀內(nèi)模式。在已濾波的編碼參考數(shù)據(jù)塊中的邊緣未被良好定義的情況下，則認(rèn)為已濾波的編碼參考數(shù)據(jù)塊和當(dāng)前數(shù)據(jù)塊之間的相關(guān)性很低并且通過間接遺傳編碼比通過直接遺傳編碼更有效。
[0159]圖6說明了根據(jù)本發(fā)明另一特定實(shí)施例通過對與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像的當(dāng)前數(shù)據(jù)塊的選擇遺傳編碼。
[0160]在此另一實(shí)施例中，第一圖像31表示來自諸如相機(jī)的第一圖像采集設(shè)備的指定視圖，以及第二圖像32表示來自第二相機(jī)的相鄰該指定視圖的視圖。
[0161]參考數(shù)據(jù)塊32之前已經(jīng)使用運(yùn)動(dòng)矢量34進(jìn)行編碼。參考數(shù)據(jù)塊32進(jìn)行解碼，以允許編碼或解碼第一圖像31的當(dāng)前數(shù)據(jù)塊33。
[0162]在兩幅視圖之間產(chǎn)生視差矢量37，使得第一圖像31中當(dāng)前數(shù)據(jù)塊的位置可移動(dòng)以匹配在顯示共同場景30的第二圖像30中的已解碼數(shù)據(jù)塊。此視差矢量37可通過第一和第二相機(jī)的各自位置獲知并例如可從對應(yīng)于兩幅視圖的深度圖像中確定。
[0163]因此，已解碼參考數(shù)據(jù)塊32的左上的像素對應(yīng)于通過視差矢量37移動(dòng)的像素35。
[0164]與已解碼參考數(shù)據(jù)塊32相關(guān)的所需編碼的當(dāng)前數(shù)據(jù)塊33因此定位于第一圖像31中，使得當(dāng)前數(shù)據(jù)塊的左上的像素36對應(yīng)于與第二圖像30中參考數(shù)據(jù)塊32的左上的像素35的位置相同的位置。
[0165]為了當(dāng)前數(shù)據(jù)塊33的編碼或解碼，為參考數(shù)據(jù)塊32確定已解碼和已濾波參考數(shù)據(jù)塊32的至少一個(gè)特征值，如上文所解釋的那樣。
[0166]同樣的，基于計(jì)算出的局部特征值，確定一個(gè)或多個(gè)運(yùn)動(dòng)矢量為當(dāng)前數(shù)據(jù)塊的編碼或解碼信息。與上文所述的實(shí)施例相似，當(dāng)前特征值的各個(gè)范圍可對應(yīng)于一個(gè)或多個(gè)特定運(yùn)動(dòng)矢量，在一個(gè)特定實(shí)施例中它可包括用于編碼/解碼當(dāng)前數(shù)據(jù)塊32的運(yùn)動(dòng)矢量34。例如，對于介于1000和1500之間的局部特征值，則確定與運(yùn)動(dòng)矢量34不同的兩個(gè)運(yùn)動(dòng)矢量。對于介于1500和4000之間的局部特征值,則確定同樣不同于運(yùn)動(dòng)矢量34和所述兩個(gè)運(yùn)動(dòng)矢量的另一運(yùn)動(dòng)矢量。對于大于4000的局部特征值，仍然確定另一不同的運(yùn)動(dòng)矢量。在此實(shí)例中，第一閾值可設(shè)置為4000以及第二閾值可設(shè)置為1000。然而，在本發(fā)明的意義中，對于閾值的選擇沒有限制。
[0167]如果局部特征值大于第一閾值，則將用于編碼或解碼當(dāng)前數(shù)據(jù)塊的運(yùn)動(dòng)矢量直接遺傳在大于4000的取值范圍內(nèi)所確定的運(yùn)動(dòng)矢量。如果局部特征值介于第一閾值和第二閾值之間，在MVC編碼或解碼的上下文中，則將在第一和第二閾值限定的取值范圍內(nèi)所確定的運(yùn)動(dòng)矢量添加至用于當(dāng)前數(shù)據(jù)塊的AMVP候選列表。
[0168]兩幅相鄰視圖的運(yùn)動(dòng)矢量場相關(guān)性很高，尤其是邊緣。因此，從對已解碼參考數(shù)據(jù)塊32進(jìn)行Sobel濾波(或任意其他邊緣檢測濾波器)中采集的最大梯度值是對已解碼參考數(shù)據(jù)塊32和當(dāng)前數(shù)據(jù)塊33之間存在相關(guān)性的良好估計(jì)。此外或作為替換的，在通過直接或間接遺傳編碼/解碼的情況下，用于編碼/解碼參考數(shù)據(jù)塊32的動(dòng)作矢量因此也可用作當(dāng)前數(shù)據(jù)塊的運(yùn)動(dòng)矢量(編碼或解碼信息)。
[0169]圖7說明了根據(jù)本發(fā)明一個(gè)特定實(shí)施例的包括編碼器40和解碼器50的系統(tǒng)。
[0170]編碼器40包括接收單元41，適于接收來自一個(gè)或多個(gè)視頻序列的圖像，將應(yīng)用于基于數(shù)據(jù)塊的圖像編碼。所述接收單元因此接收要根據(jù)本發(fā)明進(jìn)行編碼的當(dāng)前數(shù)據(jù)塊。
[0171]編碼器還包括用于對參考數(shù)據(jù)塊進(jìn)行濾波的單元42，該參考數(shù)據(jù)塊之前已經(jīng)進(jìn)行先編碼后解碼。所述參考數(shù)據(jù)塊將用于編碼當(dāng)前數(shù)據(jù)塊。如本說明書上文所述，濾波單元42為例如邊緣檢測濾波器。
[0172]濾波單元42能夠?qū)⒁褳V波的解碼參考數(shù)據(jù)塊傳輸至估計(jì)單元43，該估計(jì)單元能夠估計(jì)所述已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)特征值。
[0173]從估計(jì)出的局部特征值中，確定單元44確定用于當(dāng)前數(shù)據(jù)塊的編碼信息集合和用于編碼所述當(dāng)前數(shù)據(jù)塊的方法。如上文所解釋的，確定單元44因此確定:
[0174]編碼信息集合，它可為一個(gè)或多個(gè)編碼模式和/或與這些模式的其中一個(gè)相關(guān)的一個(gè)或多個(gè)編碼參數(shù)，
[0175]和編碼方法，它要么為直接遺傳編碼方法，要么為間接遺傳編碼方法，要么為傳統(tǒng)的編碼方法。
[0176]編碼單元45基于所確定的編碼信息集合和所確定的編碼方法編碼當(dāng)前數(shù)據(jù)塊。
[0177]傳輸單元46將已編碼的當(dāng)前數(shù)據(jù)塊傳輸至解碼器50。當(dāng)已經(jīng)使用直接遺傳編碼方法時(shí)，傳輸單元46將所確定的最佳編碼信息發(fā)送至解碼器單元50。在本發(fā)明中，對于編碼器40和解碼器50之間使用的通信裝置沒有限制。
[0178]以相應(yīng)的方式，解碼器50包括接收單元51，適于接收數(shù)據(jù)塊形式的已編碼圖像(以及可能接收最佳編碼信息，如果數(shù)據(jù)塊是通過間接遺傳方法編碼的話)。接收單元51接收已由編碼器40編碼的當(dāng)前數(shù)據(jù)塊。
[0179]解碼器50還包括濾波單元52，用于對之前已先編碼后解碼的參考數(shù)據(jù)塊進(jìn)行濾波，將該參考數(shù)據(jù)塊用于解碼當(dāng)前數(shù)據(jù)塊。所述參考數(shù)據(jù)塊與用于編碼當(dāng)前數(shù)據(jù)塊的參考數(shù)據(jù)塊是同一參考數(shù)據(jù)塊。如本說明書上文所述，濾波單元52為例如邊緣檢測濾波器。
[0180]濾波單元52將已濾波的解碼參考數(shù)據(jù)塊傳輸至估計(jì)單元53，該估計(jì)單元能夠估計(jì)所述已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值。
[0181]從估計(jì)的局部特征值中，確定單元54能夠?qū)С鲇糜诋?dāng)前數(shù)據(jù)塊的解碼信息集合和用于解碼當(dāng)前數(shù)據(jù)塊的方法。如之前所解釋的，確定單元54因此確定:
[0182]解碼信息集合，它可為一個(gè)或多個(gè)解碼模式和/或與這些模式的其中一個(gè)相關(guān)的一個(gè)或多個(gè)參數(shù)，
[0183]和解碼方法，它要么為直接遺傳解碼方法，要么為間接遺傳解碼方法，要么為傳統(tǒng)的解碼方法。
[0184]然后，解碼單元55能夠基于所確定的解碼信息集合和所確定的解碼方法解碼當(dāng)前數(shù)據(jù)塊。
[0185]傳輸單元56將已解碼的當(dāng)前數(shù)據(jù)塊傳輸至用于已解碼當(dāng)前數(shù)據(jù)塊的處理設(shè)備；所述設(shè)備并非本發(fā)明的一部分。
[0186]本發(fā)明因此可在本申請的引言部分所呈現(xiàn)的編碼/解碼和標(biāo)準(zhǔn)的范圍內(nèi)實(shí)現(xiàn)。
[0187]本文所提出的非限制性實(shí)例僅為說明的目的。
[0188]對于MVC編碼，進(jìn)行先解碼后濾波的參考數(shù)據(jù)塊的最大梯度值可用作為局部特征值，以確定當(dāng)前數(shù)據(jù)塊是否應(yīng)當(dāng)遺傳參考數(shù)據(jù)塊的運(yùn)動(dòng)矢量或者參考數(shù)據(jù)塊的運(yùn)動(dòng)矢量是否應(yīng)當(dāng)添加至用于預(yù)測的AMVP候選列表。
[0189]對于3DVC編碼，進(jìn)行先解碼后濾波的紋理參考數(shù)據(jù)塊的最大梯度值可用作為局部特征值，以確定深度圖像的幀內(nèi)模式是否應(yīng)當(dāng)遺傳紋理圖像的幀內(nèi)模式或者紋理圖像的幀內(nèi)模式是否應(yīng)當(dāng)添加至用于預(yù)測深度圖像的幀內(nèi)模式的MPM候選列表。
[0190]作為選擇的，對于3DVC編碼，先解碼后濾波的紋理參考數(shù)據(jù)塊的最大梯度值可用作為局部特征值，以確定深度數(shù)據(jù)塊的分區(qū)結(jié)構(gòu)是否應(yīng)當(dāng)直接遺傳紋理數(shù)據(jù)塊的分區(qū)結(jié)構(gòu)，而并不提供預(yù)測。因此，本發(fā)明還可應(yīng)用于第二閾值具有零值的情況下。然后，使用第一閾值僅作出一次比較以便確定是否將應(yīng)用直接遺傳。
【權(quán)利要求】
1.用于編碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像(21，31)的至少一個(gè)當(dāng)前數(shù)據(jù)塊(25，33)的編碼方法，所述第二圖像包括與所述第一圖像(21，31)共有的至少一個(gè)元素，所述參考數(shù)據(jù)塊(24，32)已先編碼后解碼， 其特征在于，所述方法包括以下步驟: -對已解碼參考數(shù)據(jù)塊進(jìn)行濾波(10)； -僅基于所述已濾波的解碼參考數(shù)據(jù)塊，估計(jì)(11)該已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值； 基于估計(jì)出的局部特征值，確定(12): 將用于編碼當(dāng)前數(shù)據(jù)塊的編碼信息集合， 用于編碼當(dāng)前數(shù)據(jù)塊的方法； 基于估計(jì)出的局部特征值、基于所述確定的編碼信息集合和根據(jù)所述確定的編碼方法編碼(13)當(dāng)前數(shù)據(jù)塊。
2.用于解碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像(21，31)的至少一個(gè)已編碼當(dāng)前數(shù)據(jù)塊(25，33)的方法，所述第二圖像包括與所述第一圖像(21，31)共有的至少一個(gè)元素，所述參考數(shù)據(jù)塊(24,32)之前已先進(jìn)行解碼， 其特征在于，所述方法包括以下步驟: -對已解碼參考數(shù)據(jù)塊進(jìn)行濾波(14)； -僅基于所述已濾波的解碼參考數(shù)據(jù)塊，估計(jì)(15)該已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值； 基于估計(jì)出的局部特征值，確定(16): 將用于解碼當(dāng)前數(shù)據(jù)塊的解碼信息集合， 用于解碼當(dāng)前數(shù)據(jù)塊的方法； 基于估計(jì)出的局部特征值、基于所述確定的解碼信息集合和根據(jù)所述確定的解碼方法解碼(17)當(dāng)前數(shù)據(jù)塊。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，分別根據(jù)所述確定的編碼或解碼方法對當(dāng)前數(shù)據(jù)塊進(jìn)行的編碼或解碼是: 直接的，其中所述確定的集合的編碼或解碼信息用作為預(yù)測當(dāng)前數(shù)據(jù)塊， 間接的，其中在編碼過程中，所述確定的集合的編碼信息與基于編碼性能標(biāo)準(zhǔn)預(yù)先確定的編碼信息進(jìn)行競爭，以便選擇出將用于預(yù)測當(dāng)前數(shù)據(jù)塊的最佳編碼信息，并且其中在解碼過程中，讀取最佳編碼信息以便選擇在所述確定的解碼信息集合中的相應(yīng)解碼信息，以便預(yù)測當(dāng)前數(shù)據(jù)塊。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述第一閾值和第二閾值是預(yù)先確定的，所述第一閾值大于第二閾值，并且其中: 如果估計(jì)出的局部特征值高于第一閾值，則使用(107，208)所述直接編碼和解碼方法; 如果估計(jì)出的局部特征值介于第一閾值和第二閾值之間，則使用(109，210)所述間接編碼和解碼方法； 否則，使用(110，211)并非所述直接和間接方法的編碼和解碼方法。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于: 所述編碼信息包括至少一個(gè)編碼模式，或者與所述編碼模式相關(guān)的至少一個(gè)編碼參數(shù)，或者它們兩者； 所述解碼信息包括至少一個(gè)解碼模式，或者與所述解碼模式相關(guān)的至少一個(gè)解碼參數(shù)，或者它們兩者。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，對于由多個(gè)圖像采集設(shè)備最初采集的圖像，其特征在于，各幅圖像表示一幅指定視圖，第一圖像(21，31)對應(yīng)于相鄰第二圖像(20，30)的視圖，并且當(dāng)使用第一圖像的視圖和第二圖像的視圖之間的視差矢量來校正當(dāng)前數(shù)據(jù)塊的位置時(shí)，其當(dāng)前數(shù)據(jù)塊(25，33)和參考數(shù)據(jù)塊(24，32)分別在第一圖像和第二圖像中具有相同的位置。
7.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，對于由圖像采集設(shè)備采集的暫時(shí)連續(xù)圖像，其特征在于，第一圖像(21，31)對應(yīng)于在采集第二圖像(20，30)后所采集的一幅圖像，并且其當(dāng)前數(shù)據(jù)塊(25，33)和參考數(shù)據(jù)塊(24，32)分別表示第一和第二圖像中的共有場旦-5^ O
8.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，對于與深度圖像相關(guān)的采集的紋理圖像，其特征在于，第一圖像(21，31)是深度圖像以及第二圖像(20，30)是與第一圖像相關(guān)的紋理圖像，并且其當(dāng)前數(shù)據(jù)塊(25，33)和參考數(shù)據(jù)塊(24，32)分別在第一圖像和第二圖像中具有相同的位置。
9.包括指令的計(jì)算機(jī)程序，適于當(dāng)該程序由處理器執(zhí)行時(shí)所述指令用于實(shí)施根據(jù)權(quán)利要求I至8任一所述的方法。
10.用于編碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像(21，31)的至少一個(gè)當(dāng)前數(shù)據(jù)塊(25，33)的編碼器，所述第二圖像包括與所述第一圖像(21，31)共有的至少一個(gè)元素，所述參考數(shù)據(jù)塊(24，32)之前已先編碼后解碼， 其特征在于，所述編碼器(40)包括: -用于對已解碼參考數(shù)據(jù)塊進(jìn)行濾波的單元(42)； -僅基于所述已濾波的解碼參考數(shù)據(jù)塊，估計(jì)該已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值的單元(43)； -確定單元(44)，用于基于所述估計(jì)出的局部特征值確定: 將用于編碼當(dāng)前數(shù)據(jù)塊的編碼信息集合， 用于編碼當(dāng)前數(shù)據(jù)塊的方法；以及， 基于估計(jì)出的局部特征值、基于所述確定的編碼信息集合和根據(jù)所述確定的編碼方法編碼當(dāng)前數(shù)據(jù)塊的編碼單元(45)。
11.用于解碼與第二圖像的參考數(shù)據(jù)塊相關(guān)的第一圖像(21，31)的至少一個(gè)已編碼當(dāng)前數(shù)據(jù)塊(25，33)的解碼器，所述第二圖像包括與所述第一圖像(21，31)共有的至少一個(gè)元素，所述參考數(shù)據(jù)塊(24，32)之前已先解碼， 其特征在于，所述解碼器(50)包括: 對已解碼參考數(shù)據(jù)塊進(jìn)行濾波的單元(52)； 僅基于所述已濾波的解碼參考數(shù)據(jù)塊，估計(jì)該已濾波的解碼參考數(shù)據(jù)塊的至少一個(gè)局部特征值的單元(53)； 確定單元(54)，用于基于估計(jì)出的局部特征值確定: 將用于解碼當(dāng)前數(shù)據(jù)塊的解碼信息集合， 用于解碼當(dāng)前數(shù)據(jù)塊的方法；以及， 基于估計(jì)出的局部特征值、基于所述確定的解碼信息集合和根據(jù)所述確定的解碼方法解碼當(dāng)前數(shù)據(jù)塊的解碼單元(55)。
12.包括根據(jù)權(quán)利要求10所述的編碼器和根據(jù)權(quán)利要求11所述的解碼器的系統(tǒng)，所述編碼器進(jìn)一步包括傳輸單元(46)，用于將編碼數(shù)據(jù)塊傳輸至編碼器，以便進(jìn)行基于數(shù)據(jù)塊的圖像編碼。
【文檔編號】H04N19/105GK104380742SQ201380014518
【公開日】2015年2月25日 申請日期:2013年1月25日 優(yōu)先權(quán)日:2012年1月30日
【發(fā)明者】喬爾·瓊格, 埃利·加布里埃爾·莫拉 申請人:奧蘭吉公司