圖像間預(yù)測方法和設(shè)備以及相應(yīng)的編碼方法和裝置制造方法
【專利摘要】本發(fā)明涉及一種用于預(yù)測圖像的像素塊的方法，該方法使用屬于來自于候選補(bǔ)片集合（PS）的詞典（Dl）的補(bǔ)片的像素塊的加權(quán)和，每個(gè)補(bǔ)片均由圖像的像素塊和該像素塊的因果鄰域組成。該方法的特征在于：從候選補(bǔ)片集合（PS）得到候選補(bǔ)片子集（SPS），并且該詞典（Dl）由被稱為第一補(bǔ)片的該候選補(bǔ)片子集（SPS）中的補(bǔ)片，和至少一個(gè)被稱為第二補(bǔ)片的所述候選補(bǔ)片集合（PS）中的另外的補(bǔ)片組成。
【專利說明】圖像間預(yù)測方法和設(shè)備以及相應(yīng)的編碼方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像編碼的一般領(lǐng)域，更具體地，涉及圖像間預(yù)測。

【背景技術(shù)】
[0002] 圖像間預(yù)測在于利用在連續(xù)的視頻圖像之間存在的時(shí)間冗余來得到對(duì)該視頻的 高壓縮率。
[0003] 圖像間預(yù)測的原理在于將當(dāng)前圖像劃分為塊或者宏塊（macroblock)。然后，編碼 器在該視頻的另一個(gè)(先前的或者將來的)圖像中找到類似的塊。該另一個(gè)圖像通常被稱為 參考圖像。然后，編碼器對(duì)運(yùn)動(dòng)向量進(jìn)行編碼，該運(yùn)動(dòng)向量定義了根據(jù)要預(yù)測的塊在所述參 考圖像中找到的塊的位置。然后，編碼器計(jì)算這兩個(gè)塊之間的差分并且對(duì)預(yù)測錯(cuò)誤進(jìn)行編 碼。然后，該運(yùn)動(dòng)向量和預(yù)測錯(cuò)誤傳送給解碼器，該解碼器因此能夠重構(gòu)該塊。
[0004] 已知有很多使用這種類型的方法的視頻編碼/解碼模式。例如，MPEG-2 (ISO/ IEC JTC1/SC29/WG11MPEG00/2000 年 10 月，移動(dòng)畫面以及音頻的編碼），MPEG-4/AVC (T.WiegancUG.J. Sullivan、G.Bjontegaard 以及 A.Luthra, "Overview of the H. 264/ AVC"，視頻技術(shù)的電路以及系統(tǒng)，IEEE學(xué)報(bào)，卷13, 7,第560-576頁，2003年7月）或者HEVC (ITU-T Q.6/SG 以及 IS0/IEC 移動(dòng)畫面專家組（IS0/IEC JTC1/SC29/WG11))標(biāo)準(zhǔn)。
[0005] 用于預(yù)測塊的塊(或者更一般地，區(qū)域的）的定義對(duì)于編碼的效果是明確的。實(shí)際 上，如果當(dāng)前塊的內(nèi)容與預(yù)測塊差異很大，則預(yù)測錯(cuò)誤將是顯著的，這將導(dǎo)致顯著的數(shù)量的 用于對(duì)該預(yù)測錯(cuò)誤進(jìn)行編碼的位。
[0006] 因此，需要使選擇就內(nèi)容而言遠(yuǎn)離要預(yù)測的塊的預(yù)測區(qū)域的風(fēng)險(xiǎn)最小化。
[0007] 另外，在傳送器和接收器之間進(jìn)行傳送的情況下，對(duì)遠(yuǎn)程解碼器所要求的用于重 構(gòu)所預(yù)測的圖像的語法要素進(jìn)行編碼的成本相對(duì)較高。例如，在MPEG-4/AVC標(biāo)準(zhǔn)的情況 下，將參考圖像分組在一起成為兩個(gè)列表：將在時(shí)間上在屬于要預(yù)測的塊的圖像之前的(所 解碼的或者所重構(gòu)的）圖像分組在一起，以及將在時(shí)間上后繼的（所解碼的或者所重構(gòu)的） 圖像分組在一起。然后，在提到在時(shí)間上先前的和/或后繼的圖像時(shí)，其意味著這些圖像是 被編碼并且重構(gòu)的。因此，要指定參考圖像的塊，需要向解碼器傳送一條指定兩個(gè)圖像列表 之一的信息、一條指定在該列表中的(參考）圖像的索引的信息以及最后一條指定在參考圖 像中的該塊的坐標(biāo)的信息。
[0008] 為了使在使用時(shí)間預(yù)測的編碼方法的情況下對(duì)傳送給解碼器的信息進(jìn)行編碼的 成本最小化，發(fā)明人提出了使用屬于來自于一個(gè)候選補(bǔ)片（patch)集合的詞典的補(bǔ)片的像 素塊的加權(quán)和來預(yù)測圖像的像素塊，每個(gè)補(bǔ)片均由圖像的像素塊以及該像素塊的因果鄰域 組成（S. Cherigui, C Guillemot、D. Thoreau、Ρ· Guillotel，"Map-Aided Locally Linear Embedding methods for image prediction"，會(huì)議錄 p2909_2012,2012 年 IEEE 關(guān)于圖像 處理的國際會(huì)議（ICIP))。
[0009] 更具體地，該方法在于根據(jù)被稱為第一補(bǔ)片的候選補(bǔ)片以及至少一個(gè)被稱為第二 補(bǔ)片的另外的補(bǔ)片來定義詞典，第一補(bǔ)片就內(nèi)容而言接近于由要預(yù)測的像素塊以及該塊的 因果鄰域組成的補(bǔ)片，第二補(bǔ)片就內(nèi)容而言接近于第一補(bǔ)片。然后，使用該詞典的補(bǔ)片的鄰 域的加權(quán)線性組合來確定對(duì)要預(yù)測的像素塊的因果鄰域的預(yù)測，然后選擇使該預(yù)測最優(yōu)化 的加權(quán)參數(shù)，然后使用該詞典的塊的像素的加權(quán)線性組合來預(yù)測圖像的像素塊，其中，所述 線性組合的加權(quán)參數(shù)是那些在鄰域預(yù)測期間確定的最優(yōu)的參數(shù)。
[0010] 該方法的有利之處在于減少了對(duì)該塊的預(yù)測錯(cuò)誤，因?yàn)槎x了加權(quán)參數(shù)以使對(duì)位 于要預(yù)測的塊的周圍的區(qū)域(鄰域）的預(yù)測錯(cuò)誤最小化，并且間接地使對(duì)該塊的預(yù)測錯(cuò)誤最 小化，由此便于圖像的內(nèi)容的連續(xù)性。
[0011] 另外，傳送給解碼器的信息被限制為一條唯一地定義第一補(bǔ)片為曾經(jīng)被解碼器所 知的信息，由此解碼器能夠以與編碼器的詞典相同的方式來定義該詞典，因?yàn)檫@些詞典(補(bǔ) 片)均屬于圖像的所重構(gòu)的部分。由此，解碼器能夠計(jì)算用于在編碼器側(cè)的塊的預(yù)測的加權(quán) 參數(shù)，并且由此能夠以與編碼器所得到的預(yù)測塊相類似的方式得到預(yù)測塊。
[0012] 能夠理解的是，該方法減少了關(guān)于那些諸如MPEG-4/AVC的標(biāo)準(zhǔn)的編碼的成本，因 為不再必須傳送由于這些標(biāo)準(zhǔn)而需要傳送給解碼器的語法要素。
[0013] 僅需傳送一條唯一定義關(guān)于由要預(yù)測的像素塊組成的補(bǔ)片的第一補(bǔ)片的信息以 及與該塊有因果關(guān)系的鄰域。這條信息通常是由將所有位于搜索窗中的候選補(bǔ)片分組在一 起的表的索引表示的運(yùn)動(dòng)向量。搜索窗必須是大尺寸的以便使候選補(bǔ)片內(nèi)容的種類最大 化，候選補(bǔ)片的數(shù)量很大，因此，該索引的動(dòng)態(tài)范圍需要相對(duì)很大數(shù)量的編碼位。


【發(fā)明內(nèi)容】

[0014] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的至少一個(gè)缺點(diǎn)，并且值得注意的是，使對(duì)信息 進(jìn)行編碼的成本最小化，該信息定義了在諸如在介紹性的部分中說明的時(shí)間預(yù)測方法中使 用的詞典的第一補(bǔ)片。
[0015] 為了該目的，本發(fā)明涉及一種方法，該方法用于使用屬于來自于一個(gè)候選補(bǔ)片集 合的詞典的補(bǔ)片的像素塊的加權(quán)和來預(yù)測圖像的像素塊，每個(gè)補(bǔ)片均由圖像的像素塊以及 該像素塊的因果鄰域組成。該方法的特征在于：從候選補(bǔ)片集合得到候選補(bǔ)片子集；以及， 該詞典由被稱為第一補(bǔ)片的、候選補(bǔ)片子集中的補(bǔ)片，以及至少一個(gè)被稱為第二補(bǔ)片的、所 述候選補(bǔ)片集合中的另外的補(bǔ)片組成。
[0016] 與用于選擇該詞典的其它補(bǔ)片的候選補(bǔ)片集合相比，從減少的數(shù)量的候選補(bǔ)片之 中選擇詞典的第一補(bǔ)片，使得與以標(biāo)準(zhǔn)方式、即在從候選補(bǔ)片集合之中選擇第一補(bǔ)片時(shí)得 到的成本相比，能夠得到減少的編碼成本。
[0017] 根據(jù)本方法的變型，第一補(bǔ)片是其鄰域就內(nèi)容而言接近于包含要預(yù)測的塊的補(bǔ)片 的鄰域的補(bǔ)片，并且根據(jù)優(yōu)選與前述的變型相結(jié)合的另外的變型，詞典的每個(gè)第二補(bǔ)片就 內(nèi)容而言接近于該詞典的第一補(bǔ)片。
[0018] 根據(jù)實(shí)施例，所述子集的每個(gè)候選補(bǔ)片的鄰域就內(nèi)容而言接近于包含要預(yù)測的塊 的補(bǔ)片的鄰域。
[0019] 根據(jù)實(shí)施例，僅將屬于在一個(gè)或者多個(gè)圖像之上定義的搜索窗的補(bǔ)片考慮為候選 補(bǔ)片。
[0020] 根據(jù)本發(fā)明另一個(gè)方面，其涉及一種方法，該方法用于在根據(jù)圖像像素塊來計(jì)算 預(yù)測塊的期間對(duì)圖像序列進(jìn)行編碼和/或解碼。用于編碼和/或解碼的方法的特征在于： 根據(jù)上述方法來計(jì)算預(yù)測塊。
[0021] 根據(jù)本發(fā)明另一個(gè)方面，其涉及一種設(shè)備，該設(shè)備用于預(yù)測圖像的像素塊，被配置 為使用屬于來自于候選補(bǔ)片集合的詞典的補(bǔ)片的像素塊的加權(quán)和來預(yù)測所述塊。每個(gè)補(bǔ)片 由圖像的像素塊以及該像素塊的因果鄰域組成，該設(shè)備的特征在于還包含：
[0022] -用于從候選補(bǔ)片集合得到候選補(bǔ)片子集的部件；
[0023] -用于根據(jù)該候選補(bǔ)片子集中的補(bǔ)片以及所述候選補(bǔ)片集合中的至少一個(gè)另外的 補(bǔ)片來形成至少一個(gè)詞典的部件；以及
[0024]-被配置為實(shí)現(xiàn)上述方法之一的部件。
[0025] 根據(jù)本發(fā)明另一個(gè)方面，其涉及一種用于由上述設(shè)備傳送或者接收的信號(hào)的幀。 該幀的特征在于：攜帶一條標(biāo)識(shí)了詞典的第一補(bǔ)片的位置的信息，從該位置開始對(duì)要預(yù)測 的像素塊的預(yù)測。
[0026] 根據(jù)該設(shè)備的實(shí)施例，本發(fā)明涉及上述的一種設(shè)備，其特征在于，還包含用于傳送 和/或接收信號(hào)的部件，該信號(hào)的幀如上所述。
[0027] 根據(jù)本發(fā)明另一個(gè)方面，其涉及一種用于對(duì)圖像序列進(jìn)行編碼和/或解碼的裝 置，其特征在于包含以上設(shè)備。

【專利附圖】

【附圖說明】
[0028] 參考附圖通過非限制性的實(shí)施例和有利的實(shí)現(xiàn)將更好的理解和說明本發(fā)明，附圖 中：
[0029] -圖1給出定義因果鄰域的例子；
[0030] -圖2示出用于根據(jù)本發(fā)明預(yù)測圖像的像素塊的方法的步驟的圖；
[0031] -圖3示出詞典的補(bǔ)片屬于相同的圖像的情況；
[0032] -圖4示出詞典的補(bǔ)片不全部屬于相同的圖像的情況；
[0033] -圖5示出根據(jù)第一補(bǔ)片定義詞典的情況；
[0034] -圖6示出詞典的補(bǔ)片不全部屬于相同的圖像的情況；
[0035] -圖7概略示出實(shí)現(xiàn)本發(fā)明的設(shè)備的架構(gòu)的例子。

【具體實(shí)施方式】
[0036] 以下，將使用標(biāo)記為Xk的術(shù)語補(bǔ)片來表示塊Bk的像素和該塊B k的鄰域Vk的像素 的分組。鄰域Vk與該塊Bk有因果關(guān)系，并且具有與位于要預(yù)測的像素塊B周圍的鄰域V的 形式完全相同的形式。關(guān)于像素塊的鄰域的因果關(guān)系表示在對(duì)該塊進(jìn)行預(yù)測之前已知像素 的值。以下，還使用補(bǔ)片X來表示要預(yù)測的像素塊B的像素和鄰域V的像素的分組。
[0037] 圖1給出定義因果鄰域的例子。根據(jù)該例子，因果鄰域V例如由位于要預(yù)測的像 素塊B的左上方的三個(gè)塊組成。鄰域是N值的向量，其中每個(gè)值與屬于該鄰域的某像素的 值相對(duì)應(yīng)。本發(fā)明決不被限制于鄰域的這種定義，而是擴(kuò)展到因果鄰域的任何定義，也就是 說，擴(kuò)展為任何在對(duì)要預(yù)測的當(dāng)前塊進(jìn)行解碼之前在解碼器中可用的鄰域。
[0038] 圖2示出了用于預(yù)測圖像序列中的圖像的像素塊的方法的步驟的圖。
[0039] 根據(jù)該方法，使用屬于來自于候選補(bǔ)片集合PS的詞典的補(bǔ)片的像素塊的加權(quán)和 來預(yù)測當(dāng)前圖像I。的像素塊B。
[0040] 根據(jù)該方法，候選補(bǔ)片集合PS包含至少一個(gè)屬于定義在一個(gè)或者多個(gè)圖像之上 的搜索窗SW的候選補(bǔ)片Xk(步驟1)。該搜索窗SW能夠以立體區(qū)域的形式定義在單一的圖 像之上，而且也能夠具有時(shí)間特征，也就是說，定義在時(shí)間上可以連續(xù)或者不連續(xù)的圖像序 列中的幾個(gè)圖像之上。
[0041] 例如，在圖1中，一方面，通過在時(shí)間上在(要預(yù)測的像素塊所屬的）圖像I。之前的 圖像1。4的區(qū)域定義了該搜索窗SW，所述區(qū)域以補(bǔ)片X (在該圖像中，通過虛線示出其協(xié)同 定位的補(bǔ)片)為中心；另一方面，通過在時(shí)間上在圖像I。之后的另一個(gè)圖像1。+1的區(qū)域定義 了該搜索窗SW。通過該例子，能夠理解的是：搜索窗SW能夠由一個(gè)或者多個(gè)區(qū)域組成，能 夠?qū)⒚總€(gè)區(qū)域定義為在該補(bǔ)片X的協(xié)同定位的補(bǔ)片周圍，可能是以其為中心；并且，這些區(qū) 域能夠位于不同的在要預(yù)測的塊所屬的圖像之前和/或之后的圖像中。
[0042] 根據(jù)該方法，從候選補(bǔ)片集合PS得到候選補(bǔ)片子集SPS (步驟2)。
[0043] 根據(jù)實(shí)施例，從候選補(bǔ)片集合PS的候選補(bǔ)片之中隨機(jī)地選擇候選補(bǔ)片子集SPS的 補(bǔ)片Xk。
[0044] 根據(jù)另一個(gè)實(shí)施例，選擇候選補(bǔ)片子集SPS的每個(gè)補(bǔ)片Xk，使得其鄰域V k就內(nèi)容 而言接近于補(bǔ)片X的鄰域V。
[0045] 以數(shù)學(xué)的方式，候選補(bǔ)片子集SPS的補(bǔ)片Xk滿足公式（1):
[0046]

【權(quán)利要求】
1. 一種用于預(yù)測圖像的像素塊的方法，該方法使用屬于來自于候選補(bǔ)片集合（PS)的 詞典（D1)的補(bǔ)片的像素塊的加權(quán)和，每個(gè)補(bǔ)片由圖像的像素塊和該像素塊的因果鄰域組 成，該方法的特征在于： 從所述候選補(bǔ)片集合（PS)得到候選補(bǔ)片子集（SPS)，并且所述詞典（D1)由被稱為第一 補(bǔ)片的屬于所述候選補(bǔ)片子集（SPS)的補(bǔ)片，和至少一個(gè)被稱為第二補(bǔ)片的屬于所述候選 補(bǔ)片集合（PS)的另外的補(bǔ)片組成。
2. 根據(jù)權(quán)利要求1所述的方法，其中，所述第一補(bǔ)片是使在其鄰域和包含要預(yù)測的塊 的補(bǔ)片的鄰域之間計(jì)算的間距最小化的補(bǔ)片。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，所述詞典的每個(gè)第二補(bǔ)片是使在該第二補(bǔ)片 和該詞典的第一補(bǔ)片之間計(jì)算的間距最小化的補(bǔ)片。
4. 根據(jù)權(quán)利要求1到3的任一項(xiàng)所述的方法，其中，所述子集的每個(gè)候選補(bǔ)片使在其鄰 域和包含要預(yù)測的塊的補(bǔ)片的鄰域之間計(jì)算的間距最小化。
5. 根據(jù)權(quán)利要求1到4的任一項(xiàng)所述的方法，其中： -使用所述詞典的補(bǔ)片的鄰域的加權(quán)線性組合來確定對(duì)要預(yù)測的塊的因果領(lǐng)域的預(yù) 測；選擇使所述預(yù)測最優(yōu)化的加權(quán)參數(shù)；以及 -使用所述詞典的塊的像素的加權(quán)線性組合來預(yù)測所述圖像的像素塊，所述線性組合 的加權(quán)參數(shù)是那些在對(duì)要預(yù)測的塊的因果鄰域進(jìn)行預(yù)測的期間所選擇的參數(shù)。
6. 根據(jù)以上權(quán)利要求的任一項(xiàng)所述的方法，其中，在詞典的第一補(bǔ)片的圖像中的位置 由一條位移信息給出，該位移信息是根據(jù)由要預(yù)測的塊組成的補(bǔ)片和其因果鄰域來定義 的。
7. -種用于在根據(jù)圖像像素塊來計(jì)算預(yù)測塊的期間對(duì)圖像序列進(jìn)行編碼和/或解碼 的方法，其特征在于，根據(jù)權(quán)利要求1到6的任一項(xiàng)所述的方法來計(jì)算所述預(yù)測塊。
8. -種用于預(yù)測圖像的像素塊的設(shè)備，該設(shè)備被配置為使用屬于來自于候選補(bǔ)片集合 的詞典的補(bǔ)片的像素塊的加權(quán)和來預(yù)測所述塊，每個(gè)補(bǔ)片由圖像的像素塊以及該像素塊的 因果鄰域組成，該設(shè)備的特征在于，它還包含： -用于從所述候選補(bǔ)片集合得到候選補(bǔ)片子集的部件； -用于根據(jù)所述候選補(bǔ)片子集的補(bǔ)片和所述候選補(bǔ)片集合的至少一個(gè)另外的補(bǔ)片來形 成至少一個(gè)詞典的部件；以及 -被配置為實(shí)現(xiàn)根據(jù)權(quán)利要求1到6的任一項(xiàng)所述的方法的部件。
9. 一種用于由根據(jù)權(quán)利要求8所述的設(shè)備傳送或者接收的信號(hào)的幀，其特征在于，攜 帶一條標(biāo)識(shí)所述詞典的第一補(bǔ)片的位置的信息，從該位置開始對(duì)要預(yù)測的像素塊的預(yù)測。
10. 根據(jù)權(quán)利要求8所述的設(shè)備，其特征在于，它還包含用于傳送和/或接收信號(hào)的部 件，該信號(hào)的幀根據(jù)權(quán)利要求9所述。
11. 一種用于對(duì)圖像序列進(jìn)行編碼和/或解碼的裝置，其特征在于，它包含根據(jù)權(quán)利要 求8或10所述的設(shè)備以及被配置為實(shí)現(xiàn)根據(jù)權(quán)利要求7所述的方法的部件。
【文檔編號(hào)】H04N19/507GK104065970SQ201410100644
【公開日】2014年9月24日 申請(qǐng)日期:2014年3月18日 優(yōu)先權(quán)日:2013年3月19日
【發(fā)明者】S.謝里吉, A.馬丁, D.索羅, P.吉洛特爾, C.吉爾莫特 申請(qǐng)人:湯姆遜許可公司