專利名稱：用于高級視頻編碼的降低分辨率更新模式的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及視頻編碼器和解碼器，更具體地說，涉及用于高級視頻編碼的降低分辨率切片更新模式。
背景技術(shù)：
國際電信聯(lián)盟電信委員會(ITU-T)H.264(或聯(lián)合視頻組(JVT)或活動圖像專家組(MPEG)-4高級視頻編碼(AVC))標(biāo)準(zhǔn)已引入幾種新特征，與較老的標(biāo)準(zhǔn)如MPEG-2/4和H.263相比，它在編碼效率方面獲得了相當(dāng)大的改進。但是，雖然H.264包括了較老標(biāo)準(zhǔn)的大部分算法特征，但有些特征被放棄和/或不再使用了。這些特征之一就是在H.263中已存在的降低分辨率更新模式的考慮。這種模式提供了增加編碼畫面速率同時維持足夠主觀質(zhì)量的機會。這是通過以降低的分辨率編碼圖像而使用高分辨率參考執(zhí)行預(yù)測而做到的，它還允許以全分辨率來重新構(gòu)建最終的圖像。發(fā)現(xiàn)這種模式在H.263中很有用，特別是在序列中有劇烈運動時，因為它允許編碼器維持高的幀速率(因此有改進的時間分辨率)，而同時在靜止區(qū)域也維持高的分辨率和質(zhì)量。
雖然以這種模式編碼的比特流的語法和以全分辨率編碼的比特流基本相同，但主要區(qū)別在于，如何解釋比特流中的所有模式，以及在運動補償后如何考慮和添加殘差信息。更具體地說，和全分辨率編碼的畫面相比，這種模式的圖像具有1/4數(shù)量的宏塊，而運動矢量數(shù)據(jù)分別與全分辨率畫面的塊尺寸32×32和16×16而不是16×16和8×8相關(guān)聯(lián)。另一方面，離散余弦變換(DCT)和紋理數(shù)據(jù)與降低分辨率圖像的8×8塊相關(guān)聯(lián)，而為了產(chǎn)生最終的全圖像呈現(xiàn)，要求有向上采樣過程。
雖然這種過程可能導(dǎo)致客觀質(zhì)量的下降，但這不止從因模式、運動數(shù)據(jù)以及殘差的減少數(shù)量(4)而需編碼的比特減少得到補償。這在非常低比特率時特別重要，此時模式和運動數(shù)據(jù)可能比殘差多得多。與客觀質(zhì)量相比，主觀質(zhì)量受損也小得多。而且，這個過程在某種程度上可以看作類似于編碼前在殘差數(shù)據(jù)上應(yīng)用低通濾波器，但其要求傳輸所有模式、運動數(shù)據(jù)以及濾波的殘差，因此效率較低。這種概念從未引入到H.264中，所以在概念、方法學(xué)或語法方面都不被支持。

發(fā)明內(nèi)容
本發(fā)明解決了現(xiàn)有技術(shù)的這些和其它缺點及不利，本發(fā)明針對開發(fā)和支持一種用于高級視頻編碼的降低分辨率切片更新模式。本文公開的降低分辨率切片更新模式特別適用于，但不限于，H.264(或JVT，或MPEG-4 AVC)。
按照本發(fā)明的一個方面，提供一種用于編碼圖像切片的視頻信號數(shù)據(jù)的視頻編碼器。視頻編碼器包括切片預(yù)測殘差向下采樣器，用于在變換和量化預(yù)測殘差之前向下采樣至少部分圖像切片的預(yù)測殘差。
按照本發(fā)明的另一方面，提供了一種用于編碼圖像的視頻信號數(shù)據(jù)的視頻編碼器。該視頻編碼器包括宏塊排序部件和切片預(yù)測殘差向下采樣器。宏塊排序部件用于將對應(yīng)于圖像的宏塊排列成兩個或更多個切片組。切片預(yù)測殘差向下采樣器用于在變換和量化預(yù)測殘差之前，向下采樣至少部分圖像切片的預(yù)測殘差。切片預(yù)測殘差向下采樣器還用于接收所述兩個或更多個切片組中的至少一組進行向下采樣。
按照本發(fā)明的又一方面，提供了一種用于解碼圖像切片的視頻信號數(shù)據(jù)的視頻解碼器。該視頻解碼器包括預(yù)測殘差向上采樣器，用于向上采樣圖像切片的預(yù)測殘差；以及加法器，用于將向上采樣的預(yù)測殘差加到預(yù)測的參考上。
按照本發(fā)明的再一方面，提供了一種用于編碼圖像切片的視頻信號數(shù)據(jù)的方法，該方法包括在變換和量化預(yù)測殘差之前向下采樣圖像切片的預(yù)測殘差的步驟。
按照本發(fā)明的又一方面，提供了一種用于解碼圖像切片的視頻信號數(shù)據(jù)的方法。該方法包括如下步驟向上采樣圖像切片的預(yù)測殘差，以及將向上采樣的預(yù)測殘差加到預(yù)測的參考上。
本發(fā)明的這些和其它方面、特征和優(yōu)點，從對示范實施例的以下詳細說明中可一目了然，該說明應(yīng)結(jié)合附圖閱讀。


按照以下示范附圖可更好地理解本發(fā)明，附圖包括圖1示出按照本發(fā)明原理用于H.264的降低分辨率更新(RRU)模式中的示范宏塊和子宏塊分區(qū)圖；圖2示出按照本發(fā)明原理用于8×8內(nèi)部預(yù)測的示范采樣圖；圖3A和3B示出按照本發(fā)明原理分別用于塊邊界和用于內(nèi)部位置的示范殘差向上采樣過程的圖解；圖4A和4B示出當(dāng)direct_8×8_inference_flag分別設(shè)為0和設(shè)為1時，在當(dāng)前切片為降低分辨率且第一列表1參考為全分辨率的情況下用于直接模式的運動繼承圖；圖5示出按照本發(fā)明原理用于四分之一通用中間格式(QCIF)分辨率畫面的分辨率擴展圖；圖6示出按照本發(fā)明原理的示范視頻編碼器的方框圖；圖7示出按照本發(fā)明原理的示范視頻解碼器的方框圖；圖8示出按照本發(fā)明原理的示范編碼過程的流程圖；以及圖9示出按照本發(fā)明原理的示范解碼過程的流程圖。
具體實施例方式
本發(fā)明針對用于高級視頻編碼的降低分辨率切片更新模式。本發(fā)明利用目前由ITU-T H.263標(biāo)準(zhǔn)支持的降低分辨率更新(RRU)模式的概念，并允許將RRU模式引入并用于新的ITU-T H.264(MPEG-4AVC/JVT)視頻編碼標(biāo)準(zhǔn)中。這種模式提供了既增加編碼畫面速率又維持足夠主觀質(zhì)量的機會。這是通過以降低的分辨率編碼圖像而使用高分辨率參考執(zhí)行預(yù)測而做到的。它允許以全分辨率來重新構(gòu)建最終圖像，并具有好的質(zhì)量，雖然編碼圖像所需的比特率已顯著降低?？紤]到H.264不支持RRU模式，本發(fā)明使用幾種新的和獨特的工具和概念來實現(xiàn)其RRU。例如，在開發(fā)用于H.264的RRU時，該概念必須作改動，使之適合新標(biāo)準(zhǔn)和/或其擴展的規(guī)范。這包括新的語法元素，以及對中間(inter)和內(nèi)部(intra)預(yù)測模式作某些語義和編碼器/解碼器結(jié)構(gòu)的更改。對H.264標(biāo)準(zhǔn)所支持的其它工具/特征例如基于宏塊的自適應(yīng)場/幀模式的影響，在本文中也要加以說明和解決。
以下緊接著的說明示出了本發(fā)明的原理。因此可以理解，業(yè)界技術(shù)人員將能夠設(shè)計出雖未在本文中明確說明或示出但可實施本發(fā)明的原理并包括在其精神和范圍之內(nèi)的各種配置。
本文中所有實例和所引述的條件語言旨在教學(xué)目的，以幫助讀者理解本發(fā)明的原理以及發(fā)明人為發(fā)展本領(lǐng)域所貢獻的概念，并應(yīng)解釋為不限于所具體引述的實例和條件。
此外，本文中引用本發(fā)明原理、方面和實施例的所有陳述，以及其具體實例，均應(yīng)包含其結(jié)構(gòu)和概念二者的等效物。此外，這些等效物應(yīng)包括目前已知的等效物以及在將來開發(fā)的等效物，即，能實現(xiàn)同樣功能的所開發(fā)的任何元件，無論其結(jié)構(gòu)如何。
因此，例如，業(yè)界技術(shù)人員會理解，本文示出的方框圖代表能實施本發(fā)明原理的說明性電路的概念視圖。同樣，應(yīng)理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽代碼等等都代表各種過程，它們基本上可在計算機可讀介質(zhì)中被表示，并因此由計算機或處理器執(zhí)行，不論這種計算機或處理器是否明確示出。
附圖中所示各種元件的功能可通過使用專用硬件以及能夠與適當(dāng)軟件關(guān)聯(lián)而執(zhí)行軟件的硬件來提供。當(dāng)由處理器提供時，這些功能可由單個專用處理器、單個共享處理器或多個單獨處理器(其中一些可共享)來提供。另外，明確使用術(shù)語“處理器”或“控制器”不應(yīng)理解為專指能執(zhí)行軟件的硬件，可以隱含但不限于數(shù)字信號處理器(DSP)硬件、用于儲存軟件的只讀存儲器(ROM)、隨機存取存儲器(RAM)以及非易失性存儲器。
其它硬件，常規(guī)的和/或定制的，也可包括在內(nèi)。同樣，附圖中所示的任何開關(guān)僅是概念性的。它們的功能可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互或甚至手動來實現(xiàn)，由實現(xiàn)員可選擇的特定技術(shù)可從上下文中更具體地加以理解。
在本發(fā)明的權(quán)利要求書中，表述為用于執(zhí)行指定功能的部件的任何元件應(yīng)包含執(zhí)行該項功能的任何途徑，例如包括a)執(zhí)行該項功能的電路元件組合，或b)任何形式的軟件，所以包括固件、微代碼等等，與用于執(zhí)行該軟件的適當(dāng)電路組合，以執(zhí)行此功能。由這些權(quán)利要求所定義的本發(fā)明歸于以下事實由各種所述部件所提供的功能均以權(quán)利要求書所要求的方式組合和聯(lián)系在一起。因此申請人將能夠提供這些功能的任何部件認為是本文所示那些部件的等效物。
有利的是，本發(fā)明提供了一種用于在H.264中實現(xiàn)降低分辨率更新(RRU)模式的設(shè)備和方法。需對有關(guān)這種新模式的編解碼器的某些方面進行考慮。具體地說，需要開發(fā)一個新的切片參數(shù)(reduced_resolution_update)，根據(jù)該參數(shù)，將當(dāng)前切片再分為(RRUwidth*16)×(RRUheight*16)尺寸的宏塊。和H.263中不同的是，RRUwidth不必等于RRUheight?？砂ǜ郊拥那衅瑓?shù)，更具體地說，rru_width_scale＝RRUwidth以及rru_height_scale＝RRUheight，它允許以任何所需的比例水平或垂直地降低分辨率。表2示出了按照本發(fā)明原理考慮了降低分辨率更新(RRU)的H.264切片標(biāo)題語法。
可能的選項例如包括按1水平和2垂直定標(biāo)(宏塊(MB)尺寸為16×32)、2垂直和1水平(MB尺寸32×16)或通常具有尺寸(rru_width_scale*16)×(rru_height_scale*16)的MB。
為了不失普遍性，所討論的情況中RRUwidth＝RRUheight＝2且宏塊尺寸為32×32。在這種情況下，所有宏塊分區(qū)和子分區(qū)必須按2水平和2垂直定標(biāo)。圖1示出按照本發(fā)明原理在用于H.264的降低分辨率更新(RRU)模式中示范宏塊分區(qū)100和子宏塊分區(qū)150的圖解。和H.263不同的是，在H.263中運動矢量數(shù)據(jù)必須除以2以符合標(biāo)準(zhǔn)規(guī)范，而在H.264中不必這樣，且運動矢量數(shù)據(jù)可以用全分辨率/子像素(subpel)精確度編碼。在這種模式中在P切片中被跳過的宏塊被認為具有32×32的尺寸，而用于計算它們關(guān)聯(lián)的運動數(shù)據(jù)的過程保持不變，雖然現(xiàn)在需要考慮32×32的鄰居，而不是16×16的鄰居。
本發(fā)明的另一關(guān)鍵區(qū)別在于，雖然是可選的，在H.264中紋理數(shù)據(jù)不必代表來自較低分辨率圖像的信息。由于在H.264中的內(nèi)部編碼是通過考慮空間預(yù)測方法、使用4×4或16×16的塊尺寸執(zhí)行的，因此這可以擴展到8×8和32×32內(nèi)部預(yù)測塊尺寸，類似于中間預(yù)測模式。不過，預(yù)測模式仍然或多或少是相同的，雖然現(xiàn)在要用更多的采樣來產(chǎn)生預(yù)測信號。圖2示出了按照本發(fā)明原理用于8×8內(nèi)部預(yù)測的示范采樣200的圖解。采樣200包括采樣C0-C15、X和R0-R7。例如，對于8×8垂直預(yù)測，現(xiàn)使用采樣C0-C7，而DC預(yù)測是C0-C7和R0-R7的均值。而且，所有對角線預(yù)測還需要考慮采樣C8-C15。類似的擴展可應(yīng)用于32×32內(nèi)部預(yù)測模式。
然后對殘差數(shù)據(jù)進行向下采樣，并使用在H.264中已可用的相同變換和量化過程進行編碼。同樣的過程應(yīng)用于亮度和色度采樣。在解碼期間，殘差數(shù)據(jù)需被向上采樣。向下采樣過程僅在編碼器中進行，并因此不需標(biāo)準(zhǔn)化。向上采樣過程必須在編碼器和解碼器中匹配，所以必須標(biāo)準(zhǔn)化?？梢允褂玫目赡芟蛏喜蓸臃椒òǖ幌抻诹汶A或一階保持，或通過考慮類似于H.263中的策略。圖3A和3B示出按照本發(fā)明原理分別用于塊邊界和內(nèi)部位置的示范殘差向上采樣過程300和350的圖解。在圖3A中，塊邊緣上的向上采樣過程僅使用塊邊界內(nèi)的采樣來計算向上采樣值。在圖3B中，在塊內(nèi)部之內(nèi)，所有最鄰近的位置都可用，所以使用基于采樣的相對定位的內(nèi)插，例如在二維上的雙線性內(nèi)插來計算向上采樣值。
H.264也考慮了環(huán)內(nèi)去塊濾波器，加到4×4塊邊緣。由于目前該預(yù)測過程應(yīng)用于8×8及以上的塊尺寸，因此該過程也被修改，以考慮8×8塊邊緣。但應(yīng)理解，有了本文提供的本發(fā)明內(nèi)容，相關(guān)領(lǐng)域技術(shù)人員會按照本發(fā)明原理，在維持本發(fā)明精神的同時，考慮用于所采用的塊邊界的這些和其它尺寸。
同一畫面中的不同切片可具有不同值reduced_resolution_update、rru_width_scale和rru_height_scale。由于環(huán)內(nèi)去塊濾波器加在切片邊界上，因此切片邊界每一側(cè)的塊可能以不同的分辨率被編碼。在這種情況下，對于去塊濾波器參數(shù)計算，應(yīng)考慮以下情況在給定8×8邊緣上兩個相鄰4×4正常塊之間的最大量化參數(shù)(QP)值，同時去塊強度現(xiàn)在基于兩個塊的非零系數(shù)的總數(shù)。
為了支持靈活宏塊排序(FMO)，如畫面參數(shù)集中num_slice_groups_minusl大于0所示，用降低分辨率更新模式，還有必要在畫面參數(shù)集內(nèi)傳輸一個名為reduced_resolution_update_enable的附加參數(shù)。表1示出按照本發(fā)明原理考慮了降低分辨率更新(RRU)的H.264畫面參數(shù)語法。如果有FMO，且該參數(shù)未設(shè)定，則不允許使用降低分辨率模式來編碼切片。另外，如果該參數(shù)已設(shè)定，則參數(shù)rru_max_width_scale和rru_max_height_scale也需被傳送。需要這些參數(shù)來確保所提供的映像始終支持當(dāng)前的降低分辨率宏塊尺寸。這就是說，這些參數(shù)需要符合以下條件max_width_scale％rru_width_scale＝0，max_height_scale％rru_heigh_scale＝0，以及max_width_scale＞0，max_height_scale＞0。
被傳送的FMO切片組映像對應(yīng)于最低允許的降低分辨率，對應(yīng)于rru_max_width_scale和rru_max_height_scale。注意，如果使用多個宏塊分辨率，則rru_max_width_scale和rru_max_height_scale需是同一畫面中所有可能分辨率的最小公倍數(shù)的倍數(shù)。
H.264中的直接模式會受到影響，取決于當(dāng)前切片是否處于降低分辨率模式，或列表1參考是否處于降低分辨率模式，且當(dāng)前切片不處于降低分辨率模式。對于直接模式情況，在當(dāng)前畫面為降低分辨率且參考畫面為全分辨率時，當(dāng)direct_8×8_inference_flag被啟動時，借用目前在H.264中采用的類似方法。按照該方法，通過僅考慮8×8分區(qū)的對應(yīng)角4×4塊(角是基于塊索引)來分配協(xié)同定位的分區(qū)。在我們的情況中，如果直接屬于降低分辨率切片，則用于協(xié)同定位的分區(qū)的運動數(shù)據(jù)就好像direct_8×8_inference_flag被設(shè)為1那樣被導(dǎo)出。這也可以看作是協(xié)同定位參考的運動場的向下采樣。雖然并不是必要的，但如果direct_8×8_inference_flag在比特流中已經(jīng)被設(shè)定，則該過程可用應(yīng)用兩次。該過程可以在圖4A和4B中更清楚地看出，這兩個圖示出了當(dāng)direct_8×8_inference_flag分別設(shè)為0和設(shè)為1時，在當(dāng)前切片為降低分辨率且第一列表1參考為全分辨率的情況下用于直接模式的運動繼承400的圖解。對于當(dāng)前切片不處于降低分辨率模式但其第一列表1參考處于降低分辨率模式的情況，則需要首先向上采樣該降低分辨率參考的所有運動數(shù)據(jù)?？梢允褂昧汶A保持進行向上采樣運動數(shù)據(jù)，這是復(fù)雜性最小的方法。其它濾波方法，例如類似于用于殘差數(shù)據(jù)向上采樣的過程，也可使用。
通過考慮這種模式，H.264的一些其它工具也受到影響。更具體地說，宏塊自適應(yīng)場幀模式(MB-AFF)現(xiàn)需要考慮使用32×64超宏塊結(jié)構(gòu)。在各個編碼塊殘差上執(zhí)行向上采樣過程。如果場畫面被編碼，則將塊編碼為場殘差，并因此在場中完成向上采樣。同樣，當(dāng)使用MB-AFF時，各個塊以場或幀模式編碼，并且它們相應(yīng)的殘差分別在場或幀模式進行向上采樣。
為了允許降低分辨率模式對于所有可能的分辨率都起作用，畫面總是分別被垂直和水平擴展，以便總能被16*rru_height_scale和16*rru_width_scale除盡。對于rru_height_scale＝rru_width_scale＝2的實例，圖像的原始分辨率為HR×VR，圖像被填充到分辨率等于Hc×Vc，其中Hc＝((HR+31)/32)*32Vc＝((VR+31)/32)*32用于擴展圖像分辨率的過程類似于目前H.264將畫面尺寸擴展到可被16除盡所做的。圖5示出了按照本發(fā)明原理用于四分之一通用中間格式(QCIF)分辨率畫面500的分辨率擴展的圖解。
用于QCIF分辨率畫面的擴展亮度由下式給出RRRU(x，y)＝R(x′，y′)，式中x，y＝像素域中擴展的參考畫面的空間坐標(biāo)，x′，y′＝像素域中參考畫面的空間坐標(biāo)，RRRU(x，y)＝在(x，y)處擴展的參考畫面的像素值，R(x′，y′)＝在(x′，y′)處參考畫面的像素值，x′＝175，如果x＞175且x＜192＝x否則y′＝143，如果y＞143且y＜160
＝y(tǒng)否則類似方法用于擴展色度采樣，但擴展到該尺寸的一半。
轉(zhuǎn)向圖6，示范視頻編碼器總體以參考編號600示出。編碼器600的視頻輸入端在信號通信中與宏塊排序器602的輸入端連接。宏塊排序器602的輸出端在信號通信中與運動估計器605的第一輸入端以及第一加法器610的第一輸入端(非反相)連接。運動估計器605的第二輸入端在信號通信中與畫面參考存儲器615的輸出端連接。運動估計器605的輸出端在信號通信中與運動補償器620的第一輸入端連接。運動補償器620的第二輸入端在信號通信中與畫面參考存儲器615的輸出端連接。運動補償器的輸出端在信號通信中與第一加法器610的第二輸入端(反相)、第二加法器625的第一輸入端(非反相)以及可變長度編碼器(VLC)695的第一輸入端連接。第二加法器625的輸出端在信號通信中與可選的時間處理器630的第一輸入端連接?？蛇x的時間處理器630的第二輸入端在信號通信中與畫面參考存儲器615的另一輸出端連接?？蛇x的時間處理器630的輸出端在信號通信中與環(huán)路濾波器635的輸入端連接。環(huán)路濾波器635的輸出端在信號通信中與畫面參考存儲器615的輸入端連接。
第一加法器610的輸出端在信號通信中與第一開關(guān)640的輸入端連接。第一開關(guān)640的輸出端能夠在信號通信中與向下采樣器645的輸入端或與變換器650的輸入端連接。向下采樣器645的輸出端在信號通信中與變換器650的輸入端連接。變換器650的輸出端在信號通信中與量化器655的輸入端連接。量化器655的輸出端在信號通信中與可變長度編碼器695的輸入端以及反向量化器660的輸入端連接。反向量化器660的輸出端在信號通信中與反向變換器665的輸入端連接。反向變換器665的輸出端在信號通信中與第二開關(guān)670的輸入端連接。第二開關(guān)670的輸出端能夠在信號通信中與第二加法器625的第二輸入端或與向上采樣器675的輸入端連接。向上采樣器的輸出端在信號通信中與第二加法器625的第二輸入端連接?？勺冮L度編碼器695的輸出端連接到編碼器600的輸出端。應(yīng)指出，當(dāng)?shù)谝婚_關(guān)640和第二開關(guān)670在信號通信中分別與向下采樣器645和向上采樣器675連接時，形成了從第一加法器610的輸出端到運動補償器620的第三輸入端和到向上采樣器675的輸入端的信號通路。應(yīng)理解，第一開關(guān)640可包括用于確定RRU模式的RRU模式確定部件。宏塊排序器602將給定圖像的宏塊排列成切片組。
轉(zhuǎn)向圖7，示范視頻解碼器總體以參考編號700表示。解碼器700的第一輸入端在信號通信中與反向變換器/量化器710的輸入端連接。反向變換器/量化器710的輸出端在信號通信中與向上采樣器715的輸入端連接。向上采樣器715的輸出端在信號通信中與加法器720的第一輸入端連接。加法器720的輸出端在信號通信中與可選的空間-時間處理器725連接?？臻g-時間處理器的輸出端在信號通信中與解碼器700的輸出端連接。如果沒有采用空間-時間處理器725，解碼器700的輸出從加法器720的輸出端出來。
解碼器700的第二輸入端在信號通信中與運動補償器730的第一輸入端連接。運動補償器730的輸出端在信號通信中與加法器720的第二輸入端連接。加法器720用于組合向上采樣的預(yù)測殘差和預(yù)測的參考。運動補償器730的第二輸入端在信號通信中與參考緩沖器735的第一輸出端連接。參考緩沖器735的第二輸出端在信號通信中與空間-時間處理器725連接。參考緩沖器735的輸入是解碼器輸出。反向變換器/量化器710輸入殘差比特流，并輸出解碼的殘差。參考緩沖器735輸出參考畫面，且運動補償器730輸出運動補償預(yù)測。
圖7所示的解碼器實現(xiàn)方案可以通過使用附加的處理元件，例如在編碼器和解碼器中的空間-時間分析，加以擴展和改進，這就允許我們?nèi)コ恍┩ㄟ^殘差向下采樣和向上采樣過程而引入的人為誤差。
上述方法的一種改型是，允許不僅在切片級而且在宏塊級使用降低分辨率。雖然這種方法可以有不同的改型，但一種方法是通過使用參考畫面指示器來用信號通知分辨率改變。參考畫面可與全分辨率或降低分辨率殘差的傳輸隱式(例如奇/偶參考)或顯示地(例如通過切片參數(shù)中的傳輸表)相關(guān)聯(lián)。如果一個32×32宏塊是使用降低殘差編碼的，則單一的編碼塊模式(cbp)與16個降低分辨率塊的變換系數(shù)相關(guān)聯(lián)，并被傳輸。否則，4個cbp(或單個的組合cbp)需被傳輸，它與64個全分辨率塊相關(guān)聯(lián)。注意，為使這種方法起作用，在此宏塊中的所有塊需以同樣的分辨率被編碼。這個方法要求傳輸一個附加表，它會提供有關(guān)定標(biāo)的或不是當(dāng)前參考的信息，包括定標(biāo)參數(shù)，類似于目前針對加權(quán)預(yù)測所做的。
轉(zhuǎn)向圖8，示范視頻編碼過程總體以參考編號800表示。過程800包括開始框805，它將控制傳送到循環(huán)限制框810。循環(huán)限制框810開始一個對于圖像中當(dāng)前塊的循環(huán)，并將控制傳送到功能框815。功能框815形成當(dāng)前塊的運動補償預(yù)測，并將控制傳送到功能框820。功能框820從當(dāng)前宏塊中減去運動補償預(yù)測，以形成預(yù)測殘差，并將控制傳送到功能框825。功能框825向下采樣預(yù)測殘差，并將控制傳送到功能框830。功能框830變換和量化向下采樣的預(yù)測殘差，并將控制傳送到功能框835。功能框835反向變換和量化預(yù)測殘差，以形成編碼的預(yù)測殘差，并將控制傳送到功能框840。功能框840向上采樣編碼的預(yù)測殘差，并將控制傳送到功能框845。功能框845將向上采樣的編碼殘差加到預(yù)測上，以形成編碼的畫面塊，并將控制傳送到結(jié)束循環(huán)框850。結(jié)束循環(huán)框850結(jié)束該循環(huán)，并將控制傳送到結(jié)束框855。
轉(zhuǎn)向圖9，示范視頻解碼過程總體以參考編號900表示。解碼過程900包括開始框905，它將控制傳送到循環(huán)限制框910。循環(huán)限制框910開始一個對于圖像中當(dāng)前塊的循環(huán)，并將控制傳送到功能框915。功能框915對編碼殘差進行熵解碼，并將控制傳送到功能框920。功能框920反向變換和量化解碼的殘差，以形成編碼殘差，并將控制傳送到功能框925。功能框925向上采樣編碼殘差，并將控制傳送到功能框930。功能框930將向上采樣的編碼殘差加到預(yù)測上，以形成編碼的畫面塊，并將控制傳送到循環(huán)限制框935。循環(huán)限制框935結(jié)束該循環(huán)，并將控制傳送到結(jié)束框940。
對于本發(fā)明的這些和其它特征和優(yōu)點，相關(guān)領(lǐng)域的技術(shù)人員基于本文的內(nèi)容就很容易弄清。應(yīng)理解，本文的內(nèi)容可以用各種形式的硬件、軟件、固件、專用處理器或它們的組合來實現(xiàn)。
更優(yōu)選的是，本發(fā)明的內(nèi)容作為硬件和軟件的組合來實現(xiàn)。此外，軟件優(yōu)選實現(xiàn)為在程序儲存單元上切實實施的應(yīng)用程序。應(yīng)用程序可以上載到包括任何適用體系結(jié)構(gòu)的機器上，并由其執(zhí)行。優(yōu)選的是，該機器在計算機平臺上實現(xiàn)，該計算機平臺具有諸如一個或多個中央處理單元(CPU)、隨機存取存儲器(RAM)以及輸入/輸出(I/O)接口等硬件。計算機平臺還可包括操作系統(tǒng)和微指令代碼。本文所述的各種過程和功能可以是微指令代碼的一部分，或應(yīng)用程序的一部分，或它們的任何組合，可以由CPU執(zhí)行。此外，可將各種其它的外設(shè)單元連接到計算機平臺，例如附加的數(shù)據(jù)儲存單元以及打印單元。
還應(yīng)理解，由于附圖中所示的一些組成系統(tǒng)組件和方法優(yōu)選以軟件來實現(xiàn)，因此系統(tǒng)組件或過程功能框之間的實際連接可能根據(jù)對本發(fā)明的編程方式而有所不同。有了本文的所述內(nèi)容，相關(guān)領(lǐng)域的技術(shù)人員就能夠想出本發(fā)明的這些和類似實現(xiàn)方案或配置。
雖然已結(jié)合附圖對說明性實施例作了說明，但應(yīng)理解，本發(fā)明并不局限于這些實施例，在不背離本發(fā)明的范圍或精神的前提下，相關(guān)領(lǐng)域的技術(shù)人員可以在這些實施例中進行各種改變和修改。所有這些改變和修改應(yīng)包括在所附權(quán)利要求書中闡述的本發(fā)明的范圍之內(nèi)。

表1


表權(quán)利要求
1.一種用于編碼圖像切片的視頻信號數(shù)據(jù)的視頻編碼器(600)，包括切片預(yù)測殘差向下采樣器(645)，適合于選擇性地與變換器(650)的輸入端連接；量化器(655)，與所述變換器(645)的輸出端連接；以及熵編碼器(695)，與所述量化器(655)的輸出端連接，其中所述切片預(yù)測殘差向下采樣器(645)用于在變換和量化所述預(yù)測殘差之前，向下采樣至少部分所述圖像切片的預(yù)測殘差。
2.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片包括符合國際電信聯(lián)盟電信委員會(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
3.如權(quán)利要求1所述的視頻編碼器，其中所述切片預(yù)測殘差向下采樣器(645)對所述預(yù)測殘差的水平方向和垂直方向施加不同的向下采樣操作。
4.如權(quán)利要求1所述的視頻編碼器，其中在所述切片預(yù)測殘差向下采樣器中所使用的向下采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號通知。
5.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測之后形成預(yù)測殘差。
6.如權(quán)利要求5所述的視頻編碼器，其中使用8×8和32×32預(yù)測模式之一執(zhí)行所述內(nèi)部預(yù)測。
7.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測之后形成預(yù)測殘差。
8.如權(quán)利要求1所述的視頻編碼器，其中所述切片預(yù)測殘差向下采樣器(645)僅對所述預(yù)測殘差的水平方向和垂直方向之一施加向下采樣操作。
9.如權(quán)利要求1所述的視頻編碼器，其中所述圖像切片被分成宏塊，且為各個宏塊編碼的參考索引對應(yīng)于該各個宏塊的所述預(yù)測殘差是否將被向下采樣。
10.如權(quán)利要求1所述的視頻編碼器，其中所述視頻信號數(shù)據(jù)對應(yīng)于隔行畫面，所述圖像切片被分成圖像塊，且所述切片預(yù)測殘差向下采樣器(645)以與所編碼圖像塊的當(dāng)前模式相同的模式之一向下采樣所述預(yù)測殘差，所述相同的模式是場模式和幀模式之一。
11.一種用于編碼圖像的視頻信號數(shù)據(jù)的視頻編碼器，所述視頻編碼器包括宏塊排序部件(602)，用于將對應(yīng)于所述圖像的宏塊排列成至少兩個切片組；以及切片預(yù)測殘差向下采樣器(645)，用于在變換和量化所述預(yù)測殘差之前，向下采樣至少部分圖像切片的預(yù)測殘差，其中所述切片預(yù)測殘差向下采樣器用來接收至少一個所述切片組進行向下采樣。
12.一種用于解碼圖像切片的視頻信號數(shù)據(jù)的視頻解碼器，所述視頻解碼器包括預(yù)測殘差向上采樣器(715)，用于向上采樣所述圖像切片的預(yù)測殘差；以及組合器(720)，用于組合向上采樣的預(yù)測殘差和預(yù)測的參考。
13.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片包括符合國際電信聯(lián)盟電信委員會(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
14.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成宏塊，且所述視頻解碼器還包括降低分辨率更新(RRU)模式確定部件，所述模式確定部件在信號通信中與預(yù)測殘差向上采樣器連接，并對宏塊級的參考索引作出響應(yīng)，以確定所述視頻解碼器是否處于RRU模式，并且其中當(dāng)前宏塊的預(yù)測殘差由所述預(yù)測殘差向上采樣器進行向上采樣，以解碼所述當(dāng)前宏塊。
15.如權(quán)利要求12所述的視頻解碼器，其中所述切片預(yù)測殘差向上采樣器(715)對所述預(yù)測殘差的水平方向和垂直方向施加不同的向上采樣操作。
16.如權(quán)利要求12所述的視頻解碼器，其中在所述切片預(yù)測殘差向上采樣器中所使用的向上采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號通知。
17.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測之后形成所述預(yù)測殘差。
18.如權(quán)利要求17所述的視頻解碼器，其中使用8×8和32×32預(yù)測模式之一執(zhí)行所述內(nèi)部預(yù)測。
19.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測之后形成所述預(yù)測殘差。
20.如權(quán)利要求12所述的視頻解碼器，其中所述切片預(yù)測殘差向上采樣器(715)僅對所述預(yù)測殘差的水平方向和垂直方向之一施加向上采樣操作。
21.如權(quán)利要求12所述的視頻解碼器，其中所述圖像切片被分成宏塊，且為各個宏塊編碼的參考索引對應(yīng)于該各個宏塊的所述預(yù)測殘差是否將被向上采樣。
22.如權(quán)利要求12所述的視頻解碼器，其中所述視頻信號數(shù)據(jù)對應(yīng)于隔行畫面，所述圖像切片被分成圖像塊，且所述切片預(yù)測殘差向上采樣器(715)以與所編碼圖像塊的當(dāng)前模式相同的模式之一向上采樣所述預(yù)測殘差，所述相同的模式是場模式和幀模式之一。
23.一種用于編碼圖像切片的視頻信號數(shù)據(jù)的方法，所述方法包括以下步驟向下采樣(825)所述圖像切片的預(yù)測殘差；變換(830)所述預(yù)測殘差；以及量化(830)所述預(yù)測殘差，其中所述向下采樣(825)的步驟在所述變換或量化步驟之前執(zhí)行。
24.如權(quán)利要求23所述的方法，其中所述圖像切片包括符合國際電信聯(lián)盟電信委員會(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
25.如權(quán)利要求23所述的方法，其中所述向下采樣步驟(825)包括以下步驟之一分別對所述預(yù)測殘差的水平方向和垂直方向施加不同的向下采樣操作；或僅對所述水平方向和所述垂直方向之一施加向下采樣操作。
26.如權(quán)利要求23所述的方法，其中用于所述向下采樣步驟的向下采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號通知。
27.如權(quán)利要求23所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測之后形成所述預(yù)測殘差。
28.如權(quán)利要求27所述的方法，其中使用8×8和32×32預(yù)測模式之一執(zhí)行所述內(nèi)部預(yù)測。
29.如權(quán)利要求23所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測之后形成所述預(yù)測殘差。
30.如權(quán)利要求29所述的方法，其中使用32×32宏塊和32×32、32×16、16×32和16×16宏塊分區(qū)或16×16、16×8、8×16和8×8子宏塊分區(qū)執(zhí)行所述中間預(yù)測。
31.如權(quán)利要求23所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟確定是否將基于為各個宏塊編碼的參考索引對該各個宏塊的所述預(yù)測殘差進行向下采樣，所述參考索引對應(yīng)于該各個宏塊的所述預(yù)測殘差是否將被向下采樣。
32.如權(quán)利要求23所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟響應(yīng)于畫面參數(shù)集中的參數(shù)，靈活地排序所述宏塊。
33.如權(quán)利要求23所述的方法，其中所述視頻信號數(shù)據(jù)對應(yīng)于隔行畫面，所述圖像切片被分成圖像塊，且所述向下采樣步驟(825)以與所述圖像塊的當(dāng)前模式相同的模式之一向下采樣所述預(yù)測殘差，所述相同的模式是場模式和幀模式之一。
34.一種用于解碼圖像切片的視頻信號數(shù)據(jù)的方法，所述方法包括以下步驟向上采樣(925)所述圖像切片的預(yù)測殘差；以及組合(930)向上采樣的預(yù)測殘差與預(yù)測的參考。
35.如權(quán)利要求34所述的方法，其中所述圖像切片包括符合國際電信聯(lián)盟電信委員會(ITU-T)H.264標(biāo)準(zhǔn)的視頻數(shù)據(jù)。
36.如權(quán)利要求34所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟對宏塊級的參考索引作出響應(yīng)，確定所述視頻解碼器是否處于降低分辨率更新(RRU)模式，并且其中所述向上采樣步驟包括如下步驟向上采樣當(dāng)前宏塊的預(yù)測殘差，以解碼所述當(dāng)前宏塊。
37.如權(quán)利要求34所述的方法，其中所述向上采樣步驟(925)包括以下步驟之一分別對所述預(yù)測殘差的水平方向和垂直方向施加不同的向上采樣操作；或僅對所述水平方向和所述垂直方向之一施加向上采樣操作。
38.如權(quán)利要求34所述的方法，其中用于所述向上采樣步驟的向上采樣分辨率由所述圖像切片中的參數(shù)發(fā)信號通知。
39.如權(quán)利要求34所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的內(nèi)部預(yù)測之后形成所述預(yù)測殘差。
40.如權(quán)利要求39所述的方法，其中使用8×8和32×32預(yù)測模式之一執(zhí)行所述內(nèi)部預(yù)測。
41.如權(quán)利要求34所述的方法，其中所述圖像切片被分成圖像塊，且在所述圖像塊的中間預(yù)測之后形成所述預(yù)測殘差。
42.如權(quán)利要求41所述的方法，其中使用32×32宏塊和32×32、32×16、16×32和16×16宏塊分區(qū)或16×16、16×8、8×16和8×8子宏塊分區(qū)執(zhí)行所述中間預(yù)測。
43.如權(quán)利要求34所述的方法，其中所述圖像切片被分成宏塊，且所述方法還包括如下步驟確定是否將基于為各個宏塊編碼的參考索引對該各個宏塊的所述預(yù)測殘差進行向上采樣，所述參考索引對應(yīng)于該各個宏塊的所述預(yù)測殘差是否將被向上采樣。
44.如權(quán)利要求34所述的方法，其中所述視頻信號數(shù)據(jù)對應(yīng)于隔行畫面，所述圖像切片被分成圖像塊，且所述向上采樣步驟以與所述圖像塊的當(dāng)前模式相同的模式之一向上采樣所述預(yù)測殘差，所述相同的模式是場模式和幀模式之一。
全文摘要
提供了用于為圖像切片分別編碼和解碼視頻信號數(shù)據(jù)的視頻編碼器、視頻解碼器以及相應(yīng)的編碼和解碼方法。視頻編碼器包括切片預(yù)測殘差向下采樣器(645)，用于在變換和量化預(yù)測殘差之前向下采樣至少部分圖像切片的預(yù)測殘差。視頻解碼器包括預(yù)測殘差向上采樣器(715)，用于向上采樣圖像切片的預(yù)測殘差。
文檔編號H04N7/46GK1973546SQ200580014022
公開日2007年5月30日 申請日期2005年3月1日 優(yōu)先權(quán)日2004年3月9日
發(fā)明者A·圖拉皮斯, J·M·博伊斯 申請人:湯姆森研究基金公司