專利名稱：活動(dòng)圖像編碼/解碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)漸隱圖像和疊化圖像進(jìn)行有效編碼/解碼的方法及其設(shè)備。
背景技術(shù)：
在諸如ITU-T H.261、H.263、ISO/IEC MPEG-2和MPEG-4的視頻編碼標(biāo)準(zhǔn)方案中，運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀間編碼被用作編碼模式之一。當(dāng)亮度在時(shí)間軸上不變化時(shí)，采取一種指示最高預(yù)測(cè)效率的模型作為運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀間編碼中的預(yù)測(cè)模型。在圖像亮度變化的漸隱圖像的情況下，例如，在從黑圖像到正常圖像的淡入情況下，充分根據(jù)圖像的亮度變化進(jìn)行預(yù)測(cè)的方法還未知。因此，所存在的問(wèn)題在于，為了保持漸隱圖像中的圖像質(zhì)量需要大量編碼比特。
例如，專利號(hào)3166716公開(kāi)了一種通過(guò)檢測(cè)漸隱圖像區(qū)和改變其編碼比特?cái)?shù)的分配來(lái)處理這種問(wèn)題的技術(shù)。具體地說(shuō)，在淡出圖像的情況下，為亮度變化的淡出的開(kāi)始部分分配大量的編碼比特。淡出的最后部分通常減少編碼比特?cái)?shù)的分配，因?yàn)檫@部分通常變成導(dǎo)致容易編碼的單色圖像。在這種情況下，無(wú)需增加總編碼比特?cái)?shù)就能改善總圖像質(zhì)量。
另一方面，專利號(hào)2938412公開(kāi)了這樣一種編碼系統(tǒng)，該系統(tǒng)通過(guò)根據(jù)亮度變化量和對(duì)比度變化量?jī)蓚€(gè)參數(shù)補(bǔ)償參考圖像來(lái)處理漸隱圖像中的上述問(wèn)題。
Thomas Wiegand和Berand Girod在“Multi-framemotion-compensated prediction for video transmission”(KluwerAcademic Publishers 2001)中提供了一種基于多個(gè)幀緩沖器的編碼系統(tǒng)。該系統(tǒng)打算通過(guò)有選擇地從幀緩沖器中所保存的多個(gè)參考幀產(chǎn)生預(yù)測(cè)圖像來(lái)改善預(yù)測(cè)效率。
專利號(hào)3166716的系統(tǒng)通過(guò)檢測(cè)漸隱圖像區(qū)和改變其編碼比特?cái)?shù)的分配來(lái)改善圖像質(zhì)量，而無(wú)需增加對(duì)漸隱圖像進(jìn)行編碼時(shí)的總編碼比特?cái)?shù)。由于該原因，其優(yōu)點(diǎn)在于，可以在現(xiàn)有編碼系統(tǒng)的框架內(nèi)實(shí)現(xiàn)編碼。然而，由于本質(zhì)上沒(méi)有改善預(yù)測(cè)效率，因此，無(wú)法期待編碼效率的顯著改善。
另一方面，專利號(hào)2938412的系統(tǒng)的優(yōu)點(diǎn)在于，針對(duì)漸隱圖像的預(yù)測(cè)效率有所改善。然而，針對(duì)其中圖像從一個(gè)圖像到另一個(gè)圖像漸變的所謂疊化圖像(稱之為交叉漸變圖像)，無(wú)法得到足夠的預(yù)測(cè)效率。
Thomas Wiegand和Berand Girod的系統(tǒng)無(wú)法充分處理漸隱圖像和疊化圖像，并且，即使準(zhǔn)備多個(gè)參考幀也無(wú)法改善預(yù)測(cè)效率。
根據(jù)上述現(xiàn)有技術(shù)，要在高圖像質(zhì)量情況下編碼的漸隱圖像和疊化圖像需要大量的編碼比特。所存在的問(wèn)題在于，無(wú)法期待編碼效率的改善。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種視頻編碼方法、視頻解碼方法及其設(shè)備，使得可以對(duì)其亮度隨時(shí)間變化的諸如漸隱圖像和疊化圖像等視頻圖像進(jìn)行高效編碼，減少計(jì)算量。
在本發(fā)明的第一方面中，在視頻編碼方利用至少一個(gè)參考圖像信號(hào)以及輸入視頻信號(hào)與參考圖像信號(hào)之間的運(yùn)動(dòng)矢量對(duì)輸入視頻信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼的情況下，如果用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼的參考圖像個(gè)數(shù)是單個(gè)，那么，使用第一預(yù)測(cè)圖像信號(hào)產(chǎn)生方法針對(duì)輸入視頻信號(hào)的每一待編碼區(qū)域，根據(jù)從至少一個(gè)參考圖像編號(hào)與預(yù)測(cè)參數(shù)的多個(gè)組合中所選擇的組合中的參考圖像編號(hào)與預(yù)測(cè)參數(shù)，產(chǎn)生預(yù)測(cè)圖像信號(hào)。
另一方面，當(dāng)用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼的參考圖像個(gè)數(shù)是多個(gè)時(shí)，使用第二預(yù)測(cè)信號(hào)產(chǎn)生方法針對(duì)每一待編碼區(qū)域，根據(jù)基于多個(gè)參考圖像的參考圖像編號(hào)和多個(gè)參考圖像的圖像-圖像間距所計(jì)算的預(yù)測(cè)參數(shù)，產(chǎn)生預(yù)測(cè)圖像信號(hào)。
產(chǎn)生一種表示按這種方法所產(chǎn)生的預(yù)測(cè)圖像信號(hào)相對(duì)于輸入視頻信號(hào)的誤差的預(yù)測(cè)誤差信號(hào)，然后，對(duì)指示預(yù)測(cè)誤差信號(hào)與運(yùn)動(dòng)矢量信息的集合和所選組合與多個(gè)參考圖像的參考圖像編號(hào)的集合二者之一的索引信息進(jìn)行編碼。
在本發(fā)明的另一方面中，當(dāng)輸入視頻信號(hào)的待編碼區(qū)域的預(yù)測(cè)類型是把參考圖像用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼的第一預(yù)測(cè)類型時(shí)，使用第一預(yù)測(cè)信號(hào)產(chǎn)生方法。當(dāng)待編碼區(qū)域的預(yù)測(cè)類型是雙向預(yù)測(cè)類型而用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼的參考圖像個(gè)數(shù)是多個(gè)時(shí)，使用第二預(yù)測(cè)信號(hào)產(chǎn)生方法。
另一方面，在視頻解碼方，將含有表示預(yù)測(cè)圖像信號(hào)相對(duì)于視頻信號(hào)的誤差的預(yù)測(cè)誤差信號(hào)、運(yùn)動(dòng)矢量信息以及將指示參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合和多個(gè)參考圖像的參考圖像編號(hào)二者之一的索引信息的編碼數(shù)據(jù)解碼。當(dāng)解碼索引信息表示該組合時(shí)，根據(jù)組合中的參考圖像編號(hào)與預(yù)測(cè)參數(shù)，產(chǎn)生預(yù)測(cè)圖像信號(hào)。當(dāng)解碼索引信息表示多個(gè)參考圖像的參考圖像編號(hào)時(shí)，根據(jù)該參考圖像編號(hào)和基于多個(gè)參考圖像的圖像-圖像間距所計(jì)算的預(yù)測(cè)參數(shù)，產(chǎn)生預(yù)測(cè)圖像信號(hào)。利用預(yù)測(cè)誤差信號(hào)和按這種方法所產(chǎn)生的預(yù)測(cè)圖像信號(hào)，產(chǎn)生重放視頻信號(hào)。
根據(jù)這里所述的本發(fā)明，提供了根據(jù)參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合產(chǎn)生預(yù)測(cè)圖像信號(hào)的第一預(yù)測(cè)圖像產(chǎn)生方法，和利用基于所選多個(gè)參考圖像的幀-幀間距所計(jì)算的預(yù)測(cè)參數(shù)產(chǎn)生預(yù)測(cè)圖像信號(hào)的第二預(yù)測(cè)圖像產(chǎn)生方法；并且，這兩種方法都是根據(jù)用于運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼的參考圖像個(gè)數(shù)和預(yù)測(cè)類型進(jìn)行選擇的。
因此，對(duì)于通過(guò)普通視頻編碼的預(yù)測(cè)系統(tǒng)無(wú)法適當(dāng)?shù)禺a(chǎn)生預(yù)測(cè)圖像信號(hào)的輸入視頻信號(hào)(例如，漸隱圖像和疊化圖像等)，可以通過(guò)具有較高預(yù)測(cè)效率的預(yù)測(cè)系統(tǒng)來(lái)產(chǎn)生適當(dāng)?shù)念A(yù)測(cè)圖像信號(hào)。
此外，由于可以將每一像素的乘法次數(shù)設(shè)為一次，因此，無(wú)論在編碼方還是解碼方都能減少硬件規(guī)模和運(yùn)算成本。
再者，雖然與參考圖像編號(hào)和預(yù)測(cè)參數(shù)有關(guān)的信息沒(méi)有從編碼方發(fā)送到解碼方，但在單獨(dú)發(fā)送參考圖像編號(hào)的情況下，發(fā)送了指示參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合的索引信息或指示預(yù)測(cè)參數(shù)的組合的索引信息。因此，可以改善編碼效率。


圖1是示出與本發(fā)明的第一實(shí)施例有關(guān)的視頻編碼設(shè)備的配置的框圖。
圖2是示出該實(shí)施例中幀存儲(chǔ)器和預(yù)測(cè)圖像發(fā)生器的詳細(xì)配置的框圖。
圖3是示出用于該實(shí)施例的參考圖像編號(hào)與預(yù)測(cè)參數(shù)的一例組合表的圖解。
圖4是示出該實(shí)施例中兩個(gè)參考圖像與待編碼圖像之間的第一位置關(guān)系的圖解。
圖5是示出該實(shí)施例中兩個(gè)參考圖像與待編碼圖像之間的第二位置關(guān)系的圖解。
圖6是示出該實(shí)施例中兩個(gè)參考圖像與待編碼圖像之間的第三位置關(guān)系的圖解。
圖7是示出該實(shí)施例中兩個(gè)參考圖像與待編碼圖像之間的第四位置關(guān)系的圖解。
圖8是示出每個(gè)宏塊的預(yù)測(cè)方案(參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合)選擇和編碼模式判定的一例過(guò)程的流程圖。
圖9是示出與該實(shí)施例相應(yīng)的視頻解碼設(shè)備的配置的框圖。
圖10是示出圖9中的幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器的詳細(xì)配置的框圖。
圖11是示出針對(duì)每個(gè)塊在對(duì)索引信息進(jìn)行編碼情況下的一例語(yǔ)法的圖解。
圖12是示出在利用單個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像的情況下的一例具體編碼比特流的圖解。
圖13是示出在利用兩個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像的情況下的一例具體編碼比特流的圖解。
圖14是示出與本發(fā)明的實(shí)施例相應(yīng)的根據(jù)待編碼區(qū)域的類型來(lái)改變預(yù)測(cè)方案的過(guò)程的流程圖。
實(shí)施本發(fā)明的最佳方式下面將參照附圖來(lái)描述本發(fā)明的實(shí)施例。
(關(guān)于編碼方)圖1示出了與本發(fā)明的第一實(shí)施例有關(guān)的視頻編碼設(shè)備的配置。本例中，視頻信號(hào)100例如以幀為單位輸入到視頻編碼設(shè)備。該視頻信號(hào)100輸入到減法器101，通過(guò)得到與預(yù)測(cè)圖像信號(hào)212的差來(lái)產(chǎn)生預(yù)測(cè)誤差信號(hào)。預(yù)測(cè)誤差信號(hào)和輸入視頻信號(hào)100二者之一通過(guò)模式選擇開(kāi)關(guān)102來(lái)選擇，并通過(guò)正交變換器103進(jìn)行正交變換，例如，離散余弦變換(DCT)。正交變換器103產(chǎn)生正交變換系數(shù)信息，例如，DCT系數(shù)信息。正交變換系數(shù)信息通過(guò)量化器104被量化，然后，量化正交變換系數(shù)信息210被輸入到可變長(zhǎng)度編碼器111。
此外，量化正交變換系數(shù)信息210還被輸入到本地解碼器。在本地解碼器中，量化正交變換系數(shù)信息210通過(guò)去量化器105和逆正交變換器106進(jìn)行與量化器104和正交變換器103的過(guò)程相逆的過(guò)程，以重建一個(gè)與預(yù)測(cè)誤差信號(hào)類似的信號(hào)。然后，利用加法器107將重建信號(hào)與通過(guò)開(kāi)關(guān)109輸入的預(yù)測(cè)圖像信號(hào)212相加，以產(chǎn)生本地解碼圖像信號(hào)211。本地解碼圖像信號(hào)211輸入到幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108。
幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108從預(yù)先準(zhǔn)備的參考幀編號(hào)與預(yù)測(cè)參數(shù)的多個(gè)組合中選擇一種組合。對(duì)所選組合中的參考幀編號(hào)所指示的參考幀的圖像信號(hào)(本地解碼圖像信號(hào)211)根據(jù)所選組合中的預(yù)測(cè)參數(shù)進(jìn)行線性和的計(jì)算。此外，本例中，根據(jù)預(yù)測(cè)參數(shù)，將偏移量與該線性和相加來(lái)產(chǎn)生幀單位的參考圖像信號(hào)。然后，幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108利用運(yùn)動(dòng)矢量對(duì)參考圖像信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償，以產(chǎn)生預(yù)測(cè)圖像信號(hào)212。
在該過(guò)程中，幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108產(chǎn)生運(yùn)動(dòng)矢量信息214和指示所選擇的參考幀編號(hào)與預(yù)測(cè)參數(shù)的組合的索引信息215，再將選擇編碼模式所必需的信息發(fā)送到模式選擇器110。運(yùn)動(dòng)矢量信息214和索引信息215被輸入到可變長(zhǎng)度編碼器111。幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108如稍后所詳述。
模式選擇器110以宏塊為單位根據(jù)來(lái)自幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108的預(yù)測(cè)信息P選擇編碼模式，即選擇幀內(nèi)編碼和運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)幀間編碼二者之一，以輸出開(kāi)關(guān)控制信號(hào)M和S。
在幀內(nèi)編碼模式中，開(kāi)關(guān)102和109被開(kāi)關(guān)控制信號(hào)M和S切換到A側(cè)，于是，輸入視頻信號(hào)100被輸入到正交變換器103。在幀間編碼模式中，開(kāi)關(guān)102和109被開(kāi)關(guān)控制信號(hào)M和S切換到B側(cè)，于是，來(lái)自減法器101的預(yù)測(cè)誤差信號(hào)被輸入到正交變換器103，而來(lái)自幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108的預(yù)測(cè)圖像信號(hào)212被輸入到加法器107。模式信息213從模式選擇器110輸出并被輸入到可變長(zhǎng)度編碼器111。
在可變長(zhǎng)度編碼器111中，對(duì)正交變換系數(shù)信息210、模式信息213、運(yùn)動(dòng)矢量信息214和索引信息215進(jìn)行可變長(zhǎng)度編碼。按這種方式產(chǎn)生的每一可變長(zhǎng)度代碼被復(fù)用，然后再經(jīng)輸出緩沖器115進(jìn)行過(guò)濾。于是，輸出緩沖器115輸出的編碼數(shù)據(jù)116被發(fā)送到傳輸系統(tǒng)或存儲(chǔ)系統(tǒng)(未示出)。
編碼控制器113對(duì)編碼器112的控制(具體地說(shuō)，例如輸出緩沖器115的緩沖量)進(jìn)行監(jiān)測(cè)，并且，為了保持緩沖量不變，對(duì)編碼參數(shù)比如量化器104的量化步長(zhǎng)進(jìn)行控制。
(關(guān)于幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108)圖2示出了圖1中的幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108的詳細(xì)配置。在圖2中，圖1中的加法器107所輸入的本地解碼圖像信號(hào)211在存儲(chǔ)器控制器201的控制下被保存在幀存儲(chǔ)器組202中。幀存儲(chǔ)器組202包括多個(gè)(N個(gè))幀存儲(chǔ)器FM1至FMN，用于暫時(shí)保存作為參考幀的本地解碼圖像信號(hào)211。
預(yù)測(cè)參數(shù)控制器203預(yù)先以表的形式準(zhǔn)備了參考幀編號(hào)與預(yù)測(cè)參數(shù)的多個(gè)組合。預(yù)測(cè)參數(shù)控制器203選擇基于輸入視頻信號(hào)100產(chǎn)生預(yù)測(cè)圖像信號(hào)212所用的參考幀的參考幀編號(hào)與預(yù)測(cè)參數(shù)的組合，并輸出指示所選組合的索引信息215。
多幀運(yùn)動(dòng)評(píng)估器204每個(gè)都根據(jù)預(yù)測(cè)參數(shù)控制器203所選擇的參考幀編號(hào)與索引信息的組合產(chǎn)生參考圖像信號(hào)。多幀運(yùn)動(dòng)評(píng)估器204根據(jù)該參考圖像信號(hào)和輸入圖像信號(hào)100評(píng)估出運(yùn)動(dòng)量和預(yù)測(cè)誤差，并輸出使預(yù)測(cè)誤差最小的運(yùn)動(dòng)矢量信息214。多幀運(yùn)動(dòng)補(bǔ)償器205通過(guò)根據(jù)運(yùn)動(dòng)矢量對(duì)多幀運(yùn)動(dòng)評(píng)估器204針對(duì)每個(gè)塊所選擇的參考圖像信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償，產(chǎn)生預(yù)測(cè)圖像信號(hào)212。
(關(guān)于預(yù)測(cè)圖像的產(chǎn)生)下列公式(1)、(2)和(3)每一個(gè)都說(shuō)明了使用預(yù)測(cè)參數(shù)控制器203所準(zhǔn)備的參考圖像編號(hào)和預(yù)測(cè)參數(shù)的一例預(yù)測(cè)公式。這里所示的例子說(shuō)明了適用于以下情況的預(yù)測(cè)公式情況一，利用單個(gè)參考圖像(參考圖像)對(duì)稱之為所謂P圖像的待編碼圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，以產(chǎn)生預(yù)測(cè)圖像信號(hào)；情況二，只利用兩個(gè)參考圖像之一對(duì)稱之為所謂B圖像的待編碼圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，以產(chǎn)生預(yù)測(cè)圖像信號(hào)。
Y=clip((D1(i)×RY(i)+2LY-1)>>LY+D2(i))---(1)]]>Cb=clip((E1(i)×(RCb(i)-128)+2LC-1)>>LC+E2(i)+128)---(2)]]>Cr=clip((F(i)1×(RCr(i)-128)+2LC-1)>>LC+F2(i)+128)---(3)]]>
Y表示預(yù)測(cè)圖像信號(hào)的亮度信號(hào)，Cb和Cr表示預(yù)測(cè)圖像信號(hào)的兩個(gè)色差信號(hào)，而RY(i)、RCb(i)和RCr(i)表示索引為i的參考圖像信號(hào)的亮度信號(hào)和兩個(gè)色差信號(hào)的像素值。D1(i)和D2(i)分別表示索引為i的亮度信號(hào)的預(yù)測(cè)系數(shù)和偏移量。E1(i)和E2(i)分別表示索引為i的色差信號(hào)Cb的預(yù)測(cè)系數(shù)和偏移量。F1(i)和F2(i)分別表示索引為i的色差信號(hào)Cr的預(yù)測(cè)系數(shù)和偏移量。索引i表示從0到(參考圖像的最大個(gè)數(shù)-1)的值，并且，針對(duì)每個(gè)待編碼塊(例如每個(gè)宏塊)被編碼并由視頻解碼設(shè)備所發(fā)送。
預(yù)測(cè)參數(shù)D1(i)、D2(i)、E1(i)、E2(i)、F1(i)和F2(i)是預(yù)先在視頻編碼設(shè)備與解碼設(shè)備之間所確定的值，或者是預(yù)定編碼單位(比如幀、場(chǎng)或片段)，并且，通過(guò)與編碼數(shù)據(jù)一起被編碼并從視頻編碼設(shè)備被發(fā)送到解碼設(shè)備，由這兩個(gè)設(shè)備所共享。
公式(1)、(2)和(3)是預(yù)測(cè)公式，這些公式通過(guò)選擇乘以參考圖像信號(hào)的預(yù)測(cè)系數(shù)的分母，例如取2的冪，即2，4，8，16，...，使得可以避免除法處理，并且可以通過(guò)算術(shù)移位來(lái)計(jì)算。據(jù)此，可以避免由于除法處理所帶來(lái)的計(jì)算成本的增加。
換言之，當(dāng)公式(1)、(2)和(3)中的＞＞假定是a＞＞b時(shí)，它將是一個(gè)使整數(shù)a向右算術(shù)移位b比特的運(yùn)算符。函數(shù)clip()是一種截取函數(shù)當(dāng)()中的值小于0時(shí)被設(shè)定為0，而當(dāng)()中的值大于255時(shí)被設(shè)定為255，并從0回到255的整數(shù)。
LY是亮度信號(hào)的移位量，而LC是色差信號(hào)的移位量。這些移位量LY和LC采用預(yù)先由視頻編碼設(shè)備和解碼設(shè)備所確定的值?；蛘?，這些移位量可以按視頻編碼設(shè)備中所預(yù)定的編碼單位(比如幀、場(chǎng)或片段)通過(guò)與表和編碼數(shù)據(jù)一起被編碼并被發(fā)送到視頻解碼設(shè)備，由這兩個(gè)設(shè)備所共享。
在本實(shí)施例中，在圖2中的預(yù)測(cè)參數(shù)控制器203中準(zhǔn)備了如圖3中所示的參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合表。當(dāng)參考圖像個(gè)數(shù)為1時(shí)使用該表。圖3中，索引i與針對(duì)每個(gè)塊所能選擇的預(yù)測(cè)圖像相應(yīng)。本例中，具有索引i相應(yīng)為0-3的四種預(yù)測(cè)圖像。參考圖像編號(hào)是作為參考圖像的本地解碼圖像的編號(hào)。圖3中所示的表包括與公式(1)、(2)和(3)相應(yīng)的指定給一個(gè)亮度信號(hào)和兩個(gè)色差信號(hào)的預(yù)測(cè)參數(shù)D1(i)、D2(i)、E1(i)、E2(i)、F1(i)和F2(i)。
Flag是一種指示使用預(yù)測(cè)參數(shù)的預(yù)測(cè)公式是否應(yīng)用于索引i所指定的參考圖像編號(hào)的標(biāo)志。
如果Flag為“0”，那么，利用索引i所指定的參考圖像編號(hào)的本地解碼圖像而無(wú)需利用預(yù)測(cè)參數(shù)來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。
如果Flag為“1”，那么，通過(guò)利用預(yù)測(cè)參數(shù)和索引i所指定的參考圖像編號(hào)的本地解碼圖像，根據(jù)公式(1)、(2)和(3)產(chǎn)生預(yù)測(cè)圖像來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。Flag信息使用預(yù)先由視頻編碼設(shè)備和解碼設(shè)備所確定的值?；蛘撸撔畔⒖梢园匆曨l編碼設(shè)備中所預(yù)定的編碼單位(比如幀、場(chǎng)或片段)通過(guò)與表和編碼數(shù)據(jù)一起被編碼并被發(fā)送到視頻解碼設(shè)備，由這兩個(gè)設(shè)備所共享。
在這些例子中，當(dāng)索引為i＝0(對(duì)于參考圖像編號(hào)105)時(shí)，利用預(yù)測(cè)參數(shù)產(chǎn)生預(yù)測(cè)圖像。在i＝1的情況下，無(wú)需利用預(yù)測(cè)參數(shù)來(lái)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。如這里所述，對(duì)于同一參考圖像編號(hào)，可以有多個(gè)預(yù)測(cè)方案。
下列公式(4)、(5)和(6)示出了當(dāng)利用兩個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像信號(hào)時(shí)用于由預(yù)測(cè)參數(shù)控制器203所準(zhǔn)備的參考圖像編號(hào)和預(yù)測(cè)參數(shù)的一例預(yù)測(cè)公式。
P＝clip((W0(i，j)×R(i)+W1(i，j)×R(j)+2L-1)＞＞L)(4)W0(i，j)＝2L-W1(i，j) (5)W1(i,j)=clip2(U(n,i)×2LU(j,i)),U(i,j)≠02L-1,U(i,j)=0---(6)]]>
由于建立了公式(5)的關(guān)系，因此，公式(4)可以變換成如下P＝clip((R(i)＜＜L+W(i，j)×(R(j)-R(i))+2L-1)＞＞L)(7)W(i,j)=clip2(U(n,i)×2LU(j,i)),U(i,j)≠02L-1,U(i,j)=0---(8)]]>這表示在所謂B圖像的情況下進(jìn)行雙向預(yù)測(cè)時(shí)的一例預(yù)測(cè)公式。存在兩個(gè)索引i和j，R(i)和R(j)分別表示與索引i和j相應(yīng)的參考圖像。因此，假定兩個(gè)信息項(xiàng)i和j作為索引信息被發(fā)送。W(i，j)表示索引i和j時(shí)的預(yù)測(cè)系數(shù)。用于計(jì)算預(yù)測(cè)系數(shù)的函數(shù)U是一種表示圖像-圖像間距的函數(shù)，于是U(i，j)表示索引i所指定的參考圖像與索引j所指定的參考圖像之間的間距。n表示當(dāng)前所要編碼的圖像位置。
在本實(shí)施例中，假定較早的圖像具有較小值的位置信息。因此，如果索引i所指定的參考圖像在時(shí)間上比索引j所指定的參考圖像更晚，那么U(i，j)＞0。如果索引i和j在時(shí)間上表示同一參考圖像，那么U(i，j)＝0。如果索引i所指定的參考圖像在時(shí)間上比索引j所指定的參考圖像更早，那么U(i，j)＜0。當(dāng)U(i，j)為0時(shí)，預(yù)測(cè)系數(shù)W假定為2L-1。
具體地，當(dāng)前所要編碼的待編碼圖像與兩個(gè)參考圖像之間的時(shí)間位置關(guān)系利用索引i和j可表示為如圖4-7所示。圖4說(shuō)明了索引i所指定的參考圖像與索引j所指定的參考圖像之間插入待編碼圖像的一個(gè)例子。
Tn、Ti和Tj分別表示待編碼圖像、索引i所指定的參考圖像和索引j所指定的參考圖像的位置。越向右值越大。因此，建立了Ti＜Tn＜Tj的關(guān)系。用于計(jì)算預(yù)測(cè)系數(shù)W的函數(shù)U利用U(n，i)＝Tn-Ti和U(j，i)＝Tj-Ti獲得，其中，U(n，i)＞0，且U(j，i)＞0。
圖5說(shuō)明了索引i所指定的參考圖像和索引j所指定的參考圖像兩者在時(shí)間上與待編碼圖像n相比都處于過(guò)去位置的一個(gè)例子。換言之，U(n，i)＞0，而U(j，i)≤0。
圖6說(shuō)明了索引i所指定的參考圖像和索引j所指定的參考圖像兩者在時(shí)間上與待編碼圖像n相比都處于過(guò)去位置的另一個(gè)例子。換言之，U(n，i)＞0，而U(j，i)≥0。
圖7說(shuō)明了索引i所指定的參考圖像和索引j所指定的參考圖像兩者在時(shí)間上與待編碼圖像n相比都處于未來(lái)位置的一個(gè)例子。換言之，U(n，i)＜0，且U(j，i)≥0。
L是公式(4)-(8)中的移位量。這些移位量采用預(yù)先在視頻編碼設(shè)備和解碼設(shè)備之間所確定的值，或者可以通過(guò)按所預(yù)定的編碼單位(比如幀、場(chǎng)或片段)與編碼數(shù)據(jù)一起被編碼從視頻編碼設(shè)備被發(fā)送到解碼設(shè)備，并由這兩個(gè)設(shè)備所共享。此外，公式(6)和(8)中的clip2的函數(shù)是這樣一種函數(shù)通過(guò)對(duì)利用clip2()的()中的值(簡(jiǎn)稱為值)(即，圖像-圖像間距)進(jìn)行計(jì)算得到的加權(quán)因子的最大值和最小值進(jìn)行限定而返回一個(gè)整數(shù)。下文中將說(shuō)明關(guān)于該函數(shù)clip2的多種配置例子。
函數(shù)clip2的第一配置是這樣一種截取函數(shù)當(dāng)值小于-2M時(shí)，使其為-2M，而當(dāng)值大于(2M-1)時(shí)，使其為(2M-1)。返回一個(gè)不小于-2M且不大于(2M-1)的整數(shù)。利用這種配置，如果像素為8比特，那么表示(R(j)-R(i))的值需要9比特，而表示預(yù)測(cè)系數(shù)W需要(M+10)比特。因此，可以計(jì)算運(yùn)算精度為(M+10)比特的預(yù)測(cè)圖像值。M假定是不小于L的非負(fù)整數(shù)。
函數(shù)clip2的第二配置假定是這樣一種函數(shù)具有如下規(guī)則，當(dāng)值小于-2M時(shí)，被設(shè)定為2L-1，而當(dāng)值大于(2M-1)時(shí)，被設(shè)定為2L-1，并返回一個(gè)不小于-2M且不大于(2M-1)的整數(shù)。利用這種配置，當(dāng)兩個(gè)參考圖像之間的間距關(guān)系異常時(shí)，可以對(duì)所有圖像都進(jìn)行平均預(yù)測(cè)。
函數(shù)clip2的第三配置是這樣一種截取函數(shù)當(dāng)值小于1時(shí)，設(shè)定為1，而當(dāng)值大于2M時(shí)，設(shè)定為2M；和這樣一種函數(shù)返回一個(gè)不小于1且不大于2M的整數(shù)。與函數(shù)clip2的第一配置相比其不同之處在于預(yù)測(cè)系數(shù)W的值不會(huì)變成負(fù)數(shù)，從而使參考圖像的位置關(guān)系有更多限制。因此，即使組合兩個(gè)完全相同的參考圖像，也能通過(guò)倒轉(zhuǎn)索引i和j所指定的情況(如圖5和6的關(guān)系)，對(duì)基于預(yù)測(cè)系數(shù)W的預(yù)測(cè)和平均預(yù)測(cè)進(jìn)行相互轉(zhuǎn)換。
函數(shù)clip2的第四配置是這樣一種截取函數(shù)當(dāng)值小于0時(shí)，設(shè)定為0，而當(dāng)值大于2L時(shí)，被設(shè)定為2L；和這樣一種函數(shù)返回一個(gè)不小于0且不大于2L的整數(shù)。利用這種配置，預(yù)測(cè)系數(shù)W的值始終是不大于2L的非負(fù)值，這樣，就禁止了外推法預(yù)測(cè)?；蛘撸部梢栽陔p向預(yù)測(cè)中使用兩個(gè)參考圖像二者之一進(jìn)行預(yù)測(cè)。
函數(shù)clip2的第五配置是這樣一種截取函數(shù)當(dāng)值小于1時(shí)，設(shè)定為2L-1，而當(dāng)值大于2L時(shí)，設(shè)定為2L-1；和這樣一種函數(shù)返回一個(gè)不小于1且不大于2L-1的整數(shù)。利用這種配置，預(yù)測(cè)系數(shù)W的值始終是不大于2L-1的非負(fù)值，這樣，就禁止了外推法預(yù)測(cè)?；蛘撸梢杂盟鼇?lái)進(jìn)行兩個(gè)參考圖像的平均預(yù)測(cè)。
當(dāng)兩個(gè)參考圖像之間的間距未知或不明確時(shí)，例如，當(dāng)參考圖像二者之一或二者都是背景和存儲(chǔ)的參考圖像時(shí)，預(yù)測(cè)系數(shù)W假定被設(shè)定為值2L-1。預(yù)測(cè)系數(shù)W可以預(yù)先按編碼單位(比如幀、場(chǎng)或片段)進(jìn)行計(jì)算。因此，即使當(dāng)利用兩個(gè)參考圖像來(lái)產(chǎn)生預(yù)測(cè)圖像信號(hào)時(shí)，針對(duì)每一像素也能經(jīng)一次乘法完成計(jì)算。
P＝clip(R(i)+(W(i，j)×(R(j)-R(i))+2L-1)＞＞L)(9)公式(9)是對(duì)公式(4)修改后的另一例子。在公式(7)中，需要預(yù)先對(duì)R(i)進(jìn)行向左算術(shù)移位L比特的運(yùn)算。然而，在公式(9)中，通過(guò)將其從括號(hào)中引出而省略了算術(shù)移位。因此，可以從運(yùn)算量中有效地減少該算術(shù)移位的運(yùn)算量。代之以，進(jìn)行移位時(shí)的舍入方向隨R(i)和R(j)的值的大小關(guān)系而變。因此，得不到與公式(4)相同的結(jié)果。
可以利用下列公式(10)-(20)取代公式(4)-(8)。這是一種與利用單個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像的方法類似的方法，即一種通過(guò)產(chǎn)生索引i的單個(gè)參考圖像的預(yù)測(cè)圖像和索引j的單個(gè)參考圖像的預(yù)測(cè)圖像并對(duì)它們進(jìn)行平均來(lái)產(chǎn)生最終預(yù)測(cè)圖像的方法。由于在過(guò)程的中途步驟之前可以使用與利用單個(gè)參考圖像的過(guò)程例程相同的過(guò)程例程，因此，該方法的優(yōu)點(diǎn)在于，使得可以減少硬件量和代碼量。
PY(i)=(W0(i)×RY(i)+2LY-1)>>LY---(10)]]>PY(j)=(W1(j)×RY(j)+2LY-1)>>LY---(11)]]>PCb(i)=(W0(i)×(RCb(i)-128)+2LC-1)>>LC+128---(12)]]>PCb(j)=(W1(j)×(RCb(j)-128)+2LC-1)>>LC+128---(13)]]>PCr(i)=(W0(i)×(RCr(i)-128)+2LC-1)>>LC+128---(14)]]>PCr(j)=(W1(j)×(RCr(j)-128)+2LC-1)>>LC+128---(15)]]>Y＝clip(PY(i)+PY(j)+1)＞＞1 (16)Cb＝clip(PCb(i)+PCb(j)+1)＞＞1(17)Cr＝clip(PCr(i)+PCr(j)+1)＞＞1(18)
W0(i,j)=2L+1-clip2(U(n,i)×2L+1U(j,i)),U(i,j)≠02L,U(i,j)=0---(19)]]>W1(i,j)=clip2(U(n,i)×2L+1U(j,i)),U(i,j)≠02L,U(i,j)=0---(20)]]>(關(guān)于預(yù)測(cè)方案選擇和編碼模式判定的過(guò)程)下面將參照?qǐng)D8描述本實(shí)施例中每個(gè)宏塊的預(yù)測(cè)方案(參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合)選擇和編碼模式判定的一例具體過(guò)程。將可設(shè)定的最大值設(shè)為變量min_D(步驟S101)。LOOP1(步驟S102)表示在幀間編碼時(shí)選擇預(yù)測(cè)方案所用的重復(fù)過(guò)程。變量i表示圖3中所示的索引的值。每一索引(參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合)的評(píng)估值D根據(jù)與運(yùn)動(dòng)矢量信息214有關(guān)的編碼比特的個(gè)數(shù)(可變長(zhǎng)度編碼器111輸出的與運(yùn)動(dòng)矢量信息214相應(yīng)的可變長(zhǎng)度代碼的編碼比特的個(gè)數(shù))和預(yù)測(cè)誤差絕對(duì)值和來(lái)計(jì)算，使得可以得出每種預(yù)測(cè)方案的最佳運(yùn)動(dòng)矢量。選擇使評(píng)估值D成為最小值的運(yùn)動(dòng)矢量(步驟S103)。將該評(píng)估值D與min_D進(jìn)行比較(步驟S104)。如果評(píng)估值D小于min_D，那么設(shè)定評(píng)估值D為min_D，并用min_i代替索引i(步驟S105)。計(jì)算幀內(nèi)編碼情況下的評(píng)估值D(步驟S107)。將該評(píng)估值D與min_D進(jìn)行比較(步驟S108)。如果作為該比較的結(jié)果，min_D較小，那么將模式MODE判定為幀間編碼(INTER)，并用min_i代替索引信息INDEX(步驟S109)。如果評(píng)估值D較小，那么將模式MODE判定為幀內(nèi)編碼(INTRA)(步驟S108)。評(píng)估值D設(shè)定是同一量化步長(zhǎng)的編碼比特個(gè)數(shù)的估算值。
(關(guān)于解碼方)下面將描述與圖1中所示的視頻編碼設(shè)備相應(yīng)的視頻解碼設(shè)備。圖9示出了與本實(shí)施例相應(yīng)的視頻解碼設(shè)備的配置。從圖1中所示配置的視頻編碼設(shè)備發(fā)出的并通過(guò)傳輸系統(tǒng)或存儲(chǔ)系統(tǒng)傳送的編碼數(shù)據(jù)300一度被保存在輸入緩沖器301中。輸入緩沖器301的編碼數(shù)據(jù)300由去復(fù)用器302針對(duì)每一幀根據(jù)語(yǔ)法進(jìn)行分解，然后被輸入到可變長(zhǎng)度解碼器303?？勺冮L(zhǎng)度解碼器303對(duì)編碼數(shù)據(jù)300的每一語(yǔ)法的可變長(zhǎng)度代碼進(jìn)行解碼，以再現(xiàn)量化正交變換系數(shù)、模式信息413、運(yùn)動(dòng)矢量信息414和索引信息415。
再現(xiàn)信息的量化正交變換系數(shù)通過(guò)去量化器304進(jìn)行去量化。去量化系數(shù)通過(guò)逆正交變換器305進(jìn)行逆正交變換。當(dāng)模式信息413指示幀內(nèi)編碼模式時(shí)，重放圖像信號(hào)從逆正交變換器305輸出，并通過(guò)加法器306作為最終重放圖像信號(hào)310輸出。當(dāng)模式信息413指示幀間編碼模式時(shí)，預(yù)測(cè)誤差信號(hào)從逆正交變換器305輸出，此外接通模式選擇開(kāi)關(guān)309。通過(guò)加法器306將預(yù)測(cè)誤差信號(hào)與幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器308輸出的預(yù)測(cè)圖像信號(hào)412相加，輸出重放圖像信號(hào)310。重放圖像信號(hào)310作為參考圖像信號(hào)被保存在幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器308中。
模式信息413、運(yùn)動(dòng)矢量信息414和索引信息415被輸入到幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器308。模式信息413被輸入到模式選擇開(kāi)關(guān)309，該選擇開(kāi)關(guān)在幀間編碼模式情況下被接通而在幀內(nèi)編碼模式情況下被斷開(kāi)。
幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器308準(zhǔn)備了與圖1中所示的幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器108類似地所準(zhǔn)備的參考圖像編號(hào)與預(yù)測(cè)參數(shù)的多個(gè)組合的一個(gè)表，并從表中選擇索引信息415所指定的一種組合。所選組合中的參考圖像編號(hào)所指定的參考圖像的圖像信號(hào)(重放圖像信號(hào)310)根據(jù)所選組合的預(yù)測(cè)參數(shù)進(jìn)行線性和。此外，將根據(jù)預(yù)測(cè)參數(shù)的偏移量與再現(xiàn)圖像信號(hào)310相加。結(jié)果，產(chǎn)生參考圖像信號(hào)。此后，通過(guò)利用運(yùn)動(dòng)矢量信息414所指示的運(yùn)動(dòng)矢量對(duì)所產(chǎn)生的參考圖像信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償，產(chǎn)生預(yù)測(cè)圖像信號(hào)212。
(關(guān)于幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器308)圖10示出了圖9中的幀存儲(chǔ)器/預(yù)測(cè)圖像發(fā)生器308的詳細(xì)配置。在圖10中，圖9中的加法器306所輸出的再現(xiàn)圖像信號(hào)310在存儲(chǔ)器控制器401的控制下被保存在幀存儲(chǔ)器組402中。幀存儲(chǔ)器組402包括多個(gè)(N個(gè))幀存儲(chǔ)器FM1至FMN，用于暫時(shí)保存作為參考圖像的重放圖像信號(hào)310。
預(yù)測(cè)參數(shù)控制器403如圖3中那樣預(yù)先以表的形式準(zhǔn)備了參考圖像編號(hào)與預(yù)測(cè)參數(shù)的組合，并選擇產(chǎn)生預(yù)測(cè)圖像信號(hào)412所用的參考圖像的參考圖像編號(hào)與基于來(lái)自圖9中的可變長(zhǎng)度解碼器303的索引信息415的預(yù)測(cè)參數(shù)的組合。多幀運(yùn)動(dòng)補(bǔ)償器404根據(jù)預(yù)測(cè)參數(shù)控制器403所選擇的參考圖像編號(hào)與索引信息的組合產(chǎn)生參考圖像信號(hào)。通過(guò)根據(jù)來(lái)自圖9中的可變長(zhǎng)度解碼器303的運(yùn)動(dòng)矢量信息414所指示的運(yùn)動(dòng)矢量以塊為單位對(duì)參考圖像信號(hào)進(jìn)行運(yùn)動(dòng)補(bǔ)償，產(chǎn)生預(yù)測(cè)圖像信號(hào)412。
(關(guān)于索引信息的語(yǔ)法)圖11示出了針對(duì)每個(gè)塊在對(duì)索引信息進(jìn)行編碼時(shí)的一例語(yǔ)法。每個(gè)塊都有模式信息MODE。根據(jù)模式信息MODE判斷是否對(duì)指示索引i的值的索引信息IDi和指示索引j的值的索引信息IDj進(jìn)行編碼。在編碼索引信息之后，對(duì)用于索引i的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的運(yùn)動(dòng)矢量信息MVi和用于索引i和索引j的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的運(yùn)動(dòng)矢量信息MVj進(jìn)行編碼，作為每個(gè)塊的運(yùn)動(dòng)矢量信息。
(關(guān)于編碼比特流的數(shù)據(jù)結(jié)構(gòu))圖12示出了針對(duì)每個(gè)塊在利用單個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像時(shí)的一例具體編碼比特流。在模式信息MODE之后，處理索引信息IDi，然后再處理運(yùn)動(dòng)矢量信息MVi。運(yùn)動(dòng)矢量信息MVi通常是二維矢量信息。此外，可以根據(jù)模式信息所指定的塊的運(yùn)動(dòng)補(bǔ)償方法，發(fā)送多個(gè)二維矢量。
圖13示出了針對(duì)每個(gè)塊在利用兩個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像時(shí)的一例具體編碼比特流。在模式信息MODE之后，處理索引信息IDi和索引信息IDj，然后再處理運(yùn)動(dòng)矢量信息MVi和運(yùn)動(dòng)矢量信息MVj。運(yùn)動(dòng)矢量信息MVi和運(yùn)動(dòng)矢量信息MVj通常是二維矢量信息。此外，可以根據(jù)模式信息所指定的塊的運(yùn)動(dòng)補(bǔ)償方法，發(fā)送多個(gè)二維矢量。
根據(jù)上述的本實(shí)施例，當(dāng)利用單個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像時(shí)，將預(yù)測(cè)系數(shù)和偏移量作為預(yù)測(cè)參數(shù)，通過(guò)線性預(yù)測(cè)來(lái)產(chǎn)生預(yù)測(cè)圖像。這種方法使得可以為與通過(guò)組合單色圖像所得到的圖像相應(yīng)的場(chǎng)圖像產(chǎn)生適當(dāng)?shù)念A(yù)測(cè)圖像。在從參考圖像編號(hào)與預(yù)測(cè)參數(shù)的多個(gè)組合中簡(jiǎn)單地選擇一種組合的方法中，當(dāng)存在多個(gè)參考圖像時(shí)，針對(duì)每一像素必須進(jìn)行多次乘法運(yùn)算。這增加了計(jì)算量。然而，在本實(shí)施例中，每一像素的必要乘法可以是一次。
另一方面，當(dāng)利用兩個(gè)參考圖像產(chǎn)生預(yù)測(cè)圖像信號(hào)時(shí)，利用根據(jù)兩個(gè)參考圖像之間的間距所得到的加權(quán)因子和偏移量，通過(guò)得到這兩個(gè)參考圖像的加權(quán)平均來(lái)產(chǎn)生預(yù)測(cè)圖像。這種方法使得可以為混有兩個(gè)圖像的疊化圖像產(chǎn)生適當(dāng)?shù)念A(yù)測(cè)圖像。此時(shí)，如果使用本實(shí)施例中所用的公式，那么，每一像素的必要乘法可以是一次。
根據(jù)這里所述的本實(shí)施例，可以通過(guò)對(duì)每一像素進(jìn)行一次乘法來(lái)為漸隱圖像以及疊化圖像產(chǎn)生適當(dāng)?shù)念A(yù)測(cè)圖像。由于每一像素進(jìn)行一次乘法，因此，無(wú)論在編碼方還是解碼方都能減少硬件規(guī)模和運(yùn)算成本。
在以上描述中，產(chǎn)生預(yù)測(cè)圖像的方法可以根據(jù)參考圖像的個(gè)數(shù)而變。然而，產(chǎn)生預(yù)測(cè)圖像的方法還可以以圖像為單位或以片段為單位根據(jù)稱之為所謂圖像類型或片段類型的預(yù)測(cè)類型的不同而不同。當(dāng)只利用參考圖像中的二者之一時(shí)(例如在B圖像的情況下)，不是利用預(yù)測(cè)參數(shù)產(chǎn)生預(yù)測(cè)圖像，而是利用常規(guī)本地解碼圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)。
參照?qǐng)D14，描述了一種預(yù)測(cè)圖像產(chǎn)生過(guò)程，該過(guò)程采用以下方法根據(jù)預(yù)測(cè)類型的不同以及參考圖像的個(gè)數(shù)來(lái)改變預(yù)測(cè)圖像產(chǎn)生方法。本例中，以片段為單位來(lái)改變產(chǎn)生預(yù)測(cè)圖像的方法。
判定作為待編碼區(qū)域的待編碼片段的預(yù)測(cè)類型(稱為片段類型)，將其劃分成三個(gè)片段，即對(duì)待編碼片段進(jìn)行幀內(nèi)編碼(幀內(nèi)預(yù)測(cè))的I片段；利用單個(gè)參考圖像進(jìn)行預(yù)測(cè)(單向預(yù)測(cè))的P片段；和利用最多兩個(gè)參考圖像進(jìn)行預(yù)測(cè)(雙向預(yù)測(cè))的B片段(步驟S201)。
如果作為步驟S201的判定結(jié)果，待編碼片段是I片段，那么，進(jìn)行幀內(nèi)編碼(幀內(nèi)編碼)(步驟S202)。如果待編碼片段是P片段，那么，采用如上所述的基于一個(gè)參考圖像與預(yù)測(cè)參數(shù)的組合的預(yù)測(cè)方案(步驟S203)。
如果待編碼片段是B片段，那么，檢查參考圖像的個(gè)數(shù)(步驟204)，并根據(jù)檢查結(jié)果改變預(yù)測(cè)方案。換言之，如果待編碼片段是B片段，且參考圖像是單個(gè)，那么，采用常規(guī)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)(步驟205)。如果待編碼片段是B片段，且使用兩個(gè)參考圖像，那么，采用與這兩個(gè)參考圖像的圖像-圖像間距相應(yīng)的預(yù)測(cè)方案(步驟206)。
下面將描述本發(fā)明的第二實(shí)施例。本實(shí)施例中的視頻編碼設(shè)備和視頻解碼設(shè)備的整個(gè)配置基本上與第一實(shí)施例的情況類似。因此，只描述與第一實(shí)施例的不同之處。本實(shí)施例說(shuō)明了當(dāng)?shù)谝粚?shí)施例與其他方案相結(jié)合時(shí)的一個(gè)例子。
下面的公式(21)是使用兩個(gè)參考圖像進(jìn)行所謂B圖像的雙向預(yù)測(cè)的預(yù)測(cè)公式，并且是對(duì)兩個(gè)參考圖像的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)圖像進(jìn)行簡(jiǎn)單平均的第一方法。
P＝(R(i)+R(j)+1)＞＞1(21)在第一方法中，用于在公式(4)-(6)、公式(7)-(8)、公式(9)或公式(10)-(20)任一所示的預(yù)測(cè)公式與公式(21)所示的預(yù)測(cè)公式之間進(jìn)行變化的變化信息(變化標(biāo)志)按預(yù)定編碼單位(比如幀、場(chǎng)或片段)與編碼數(shù)據(jù)一起被編碼，并從視頻編碼設(shè)備被發(fā)送到解碼設(shè)備，以便由這兩個(gè)設(shè)備所共享。換言之，公式(4)-(6)、公式(7)和(8)、公式(9)或公式(10)-(20)任一中所示的預(yù)測(cè)公式和公式(21)所示的預(yù)測(cè)公式根據(jù)需要而變。
根據(jù)第一方法，取決于圖像-圖像間距的加權(quán)平均和參考圖像的簡(jiǎn)單平均可以適應(yīng)地變化，從而可以期待預(yù)測(cè)效率的改善。由于公式(21)不含乘法，因此，不會(huì)增加計(jì)算量。
公式(22)-(27)和公式(28)-(33)說(shuō)明了一種利用參考圖像為單個(gè)時(shí)的預(yù)測(cè)參數(shù)來(lái)產(chǎn)生兩個(gè)參考圖像的預(yù)測(cè)參數(shù)的方法。本實(shí)施例說(shuō)明了這些方法與第一實(shí)施例相結(jié)合的一個(gè)例子。首先，公式(22)-(27)說(shuō)明了通過(guò)對(duì)參考圖像為單個(gè)時(shí)的預(yù)測(cè)公式的值進(jìn)行平均來(lái)得到預(yù)測(cè)值的第二方法。
PY(i)=(D1(i)×RY(i)+2LY-1)>>LY+D2(i)---(22)]]>PCb(i)=(E1(i)×(RCb(i)-128)+2LC-1)>>LC+E2(i)+128---(23)]]>PCr(i)=(F(i)1×(RCr(i)-128)+2LC-1)>>LC+F2(i)+128---(24)]]>Y＝clip((PY(i)+PY(j)+1)＞＞1) (25)Cb＝clip((PCb(i)+PCb(j)+1)＞＞1)(26)Cr＝clip((PCr(i)+PCr(j)+1)＞＞1)(27)PY(i)、PCb(i)和PCr(i)分別是亮度信號(hào)Y、色差信號(hào)Cb和色差信號(hào)Cr的預(yù)測(cè)值的中間結(jié)果。
在第二方法中，用于在公式(4)-(6)、公式(7)-(8)、公式(9)或公式(10)-(20)任一所示的預(yù)測(cè)公式與公式(22)-(27)所示的預(yù)測(cè)公式之間進(jìn)行變化的變化信息(變化標(biāo)志)按預(yù)定編碼單位(比如幀、場(chǎng)或片段)與編碼數(shù)據(jù)一起被編碼，并從視頻編碼設(shè)備被發(fā)送到解碼設(shè)備，以便由這兩個(gè)設(shè)備所共享。如這里所述，公式(4)-(6)、公式(7)和(8)、公式(9)或公式(10)-(20)任一中所示的預(yù)測(cè)公式和公式(22)-(27)所示的預(yù)測(cè)公式根據(jù)需要而變。
根據(jù)第二方法，取決于圖像-圖像間距的加權(quán)平均和基于簡(jiǎn)單地利用兩個(gè)參考圖像的線性預(yù)測(cè)的預(yù)測(cè)圖像可以適應(yīng)地變化，從而可以期待預(yù)測(cè)效率的改善。然而，根據(jù)公式(22)-(27)中所示的預(yù)測(cè)類型，盡管每一像素的乘法次數(shù)為兩次，但仍有預(yù)測(cè)系數(shù)的自由度提高的優(yōu)點(diǎn)。因此，可以期待預(yù)測(cè)效率的進(jìn)一步改善。
公式(28)-(33)作為另一種預(yù)測(cè)公式說(shuō)明了使用單個(gè)參考圖像情況下利用兩個(gè)預(yù)測(cè)參數(shù)所產(chǎn)生的兩個(gè)參考圖像的線性預(yù)測(cè)公式的一個(gè)例子。
PY(i,j)=(D1(i)×RY(i)+D1(j)×RY(j)+2LY)>>(LY+1)]]>+(D2(i)+D2(j)+1)>>1---(28)]]>PCb(i,j)=(E1(i)×(RCb(i)-128)+E1(j)×(RCb(j)-128)+2LC)>>]]>(LC+1)+(E2(i)+E2(j)+1)>>1+128---(29)]]>PCr(i,j)=(F1(i)×(RCr(i)-128)+F1(j)×(RCr(j)-128)+2LC)>>]]>(LC+1)+(F2(i)+F2(j)+1)>>1+128---(30)]]>Y＝clip(PY(i，j)) (31)Cb＝clip(PCb(i，j))(32)Cr＝clip(PCr(i，j))(33)在第三方法中，用于在公式(4)-(6)、公式(7)-(8)、公式(9)或公式(10)-(20)任一所示的預(yù)測(cè)公式與公式(28)-(33)所示的預(yù)測(cè)公式之間進(jìn)行變化的變化信息(變化標(biāo)志)按預(yù)定編碼單位(比如幀、場(chǎng)或片段)與編碼數(shù)據(jù)一起被編碼，并從視頻編碼設(shè)備被發(fā)送到解碼設(shè)備，以便由這兩個(gè)設(shè)備所共享。如這里所述，公式(4)-(6)、公式(7)和(8)、公式(9)或公式(10)-(20)任一中所示的預(yù)測(cè)公式和公式(28)-(33)所示的預(yù)測(cè)公式根據(jù)需要而變。
根據(jù)第三方法，取決于圖像-圖像間距的加權(quán)平均和基于利用兩個(gè)參考圖像的線性預(yù)測(cè)的預(yù)測(cè)圖像可以適應(yīng)地變化，從而可以期待預(yù)測(cè)效率的改善。然而，根據(jù)公式(28)-(33)中所示的預(yù)測(cè)類型，盡管每一像素的乘法次數(shù)為兩次，但仍有預(yù)測(cè)系數(shù)的自由度提高的優(yōu)點(diǎn)。因此，可以期待預(yù)測(cè)效率的進(jìn)一步改善。
以上實(shí)施例作為一個(gè)以塊為單位采用正交變換的視頻編碼/解碼系統(tǒng)的例子進(jìn)行了說(shuō)明。然而，以上實(shí)施例中所述的本發(fā)明的方法可以適用于采用別的變換技術(shù)(比如子波變換)的情況。
與本發(fā)明有關(guān)的視頻編碼和解碼的過(guò)程可以實(shí)現(xiàn)成硬件(設(shè)備)，并可以由使用軟件的計(jì)算機(jī)來(lái)執(zhí)行。過(guò)程的一部分可以用硬件來(lái)實(shí)現(xiàn)，而其另一部分可以用軟件來(lái)執(zhí)行。因此，根據(jù)本發(fā)明，可以提供使計(jì)算機(jī)執(zhí)行視頻編碼或解碼過(guò)程的程序或存儲(chǔ)該程序的存儲(chǔ)媒體。
如上所討論，根據(jù)本發(fā)明，通過(guò)對(duì)其亮度隨時(shí)間而變的視頻圖像(尤其諸如漸隱圖像和疊化圖像)進(jìn)行適當(dāng)?shù)念A(yù)測(cè)，可以高效且小計(jì)算量地實(shí)現(xiàn)視頻編碼/解碼。
權(quán)利要求
1.一種視頻解碼方法，包括對(duì)包括預(yù)測(cè)誤差信號(hào)的編碼數(shù)據(jù)進(jìn)行解碼的步驟，所述預(yù)測(cè)誤差信號(hào)表示預(yù)測(cè)圖像信號(hào)相對(duì)于視頻信號(hào)和運(yùn)動(dòng)矢量信息的誤差；當(dāng)在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼中使用多個(gè)參考圖像時(shí)，針對(duì)每一待編碼塊，根據(jù)基于多個(gè)參考圖像之間的圖像-圖像間距所計(jì)算的預(yù)測(cè)參數(shù)產(chǎn)生第一預(yù)測(cè)圖像信號(hào)的步驟；當(dāng)圖像-圖像間距為0時(shí)或者當(dāng)圖像-圖像間距未知或不確定時(shí)，根據(jù)多個(gè)參考圖像的像素值的平均產(chǎn)生第二預(yù)測(cè)圖像信號(hào)的步驟；以及使用第一和第二預(yù)測(cè)圖像信號(hào)產(chǎn)生重放視頻信號(hào)的步驟。
2.如權(quán)利要求1所述的視頻解碼方法，其中產(chǎn)生第一預(yù)測(cè)圖像信號(hào)的步驟包括步驟利用根據(jù)圖像-圖像間距所得到的加權(quán)因子，通過(guò)對(duì)多個(gè)參考圖像進(jìn)行加權(quán)來(lái)產(chǎn)生預(yù)測(cè)圖像。
3.如權(quán)利要求2所述的視頻解碼方法，其中產(chǎn)生第二預(yù)測(cè)圖像信號(hào)的步驟包括步驟當(dāng)根據(jù)圖像-圖像間距所得到的加權(quán)因子大于最大值或小于最小值時(shí)，根據(jù)多個(gè)參考圖像的平均通過(guò)對(duì)多個(gè)參考圖像進(jìn)行加權(quán)來(lái)產(chǎn)生預(yù)測(cè)圖像。
4.如權(quán)利要求3所述的視頻解碼方法，其中，加權(quán)因子具有取2的冪的分母。
5.一種視頻解碼設(shè)備，包括解碼裝置，對(duì)包括預(yù)測(cè)誤差信號(hào)的編碼數(shù)據(jù)進(jìn)行解碼，所述預(yù)測(cè)誤差信號(hào)表示預(yù)測(cè)圖像信號(hào)相對(duì)于視頻信號(hào)和運(yùn)動(dòng)矢量信息的誤差；第一產(chǎn)生裝置，針對(duì)每一待編碼塊，根據(jù)基于多個(gè)參考圖像之間的圖像-圖像間距所計(jì)算的預(yù)測(cè)參數(shù)產(chǎn)生第一預(yù)測(cè)圖像信號(hào)；第二產(chǎn)生裝置，當(dāng)圖像-圖像間距為0時(shí)或者當(dāng)圖像-圖像間距未知或不確定時(shí)，根據(jù)多個(gè)參考圖像的像素值的平均產(chǎn)生第二預(yù)測(cè)圖像信號(hào)；以及重放裝置，使用預(yù)測(cè)誤差信號(hào)以及第一和第二預(yù)測(cè)圖像信號(hào)產(chǎn)生重放視頻信號(hào)。
6.如權(quán)利要求5所述的視頻解碼設(shè)備，其中第一產(chǎn)生裝置利用根據(jù)圖像-圖像間距所得到的加權(quán)因子，通過(guò)對(duì)多個(gè)參考圖像進(jìn)行加權(quán)來(lái)產(chǎn)生預(yù)測(cè)圖像。
7.如權(quán)利要求5所述的視頻解碼設(shè)備，其中當(dāng)根據(jù)圖像-圖像間距所得到的加權(quán)因子大于最大值或小于最小值時(shí)，第二產(chǎn)生裝置根據(jù)多個(gè)參考圖像的平均通過(guò)對(duì)多個(gè)參考圖像進(jìn)行加權(quán)來(lái)產(chǎn)生預(yù)測(cè)圖像。
8.如權(quán)利要求7所述的視頻解碼設(shè)備，其中加權(quán)因子具有取2的冪的分母。
全文摘要
本發(fā)明公開(kāi)一種視頻解碼方法和視頻解碼設(shè)備。所述視頻解碼方法包括對(duì)包括預(yù)測(cè)誤差信號(hào)的編碼數(shù)據(jù)進(jìn)行解碼的步驟，所述預(yù)測(cè)誤差信號(hào)表示預(yù)測(cè)圖像信號(hào)相對(duì)于視頻信號(hào)和運(yùn)動(dòng)矢量信息的誤差；當(dāng)在運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)編碼中使用多個(gè)參考圖像時(shí)，針對(duì)每一待編碼塊，根據(jù)基于多個(gè)參考圖像之間的圖像－圖像間距所計(jì)算的預(yù)測(cè)參數(shù)產(chǎn)生第一預(yù)測(cè)圖像信號(hào)的步驟；當(dāng)圖像－圖像間距為0時(shí)或者當(dāng)圖像－圖像間距未知或不確定時(shí)，根據(jù)多個(gè)參考圖像的像素值的平均產(chǎn)生第二預(yù)測(cè)圖像信號(hào)的步驟；以及使用第一和第二預(yù)測(cè)圖像信號(hào)產(chǎn)生重放視頻信號(hào)的步驟。
文檔編號(hào)H04N7/36GK101090494SQ20071010250
公開(kāi)日2007年12月19日 申請(qǐng)日期2003年11月18日 優(yōu)先權(quán)日2002年11月22日
發(fā)明者中條健, 古藤晉一郎, 菊池義浩, 谷澤昭行 申請(qǐng)人:株式會(huì)社東芝