本申請是申請日為2010年7月1日、申請?zhí)枮?01080030792.7、發(fā)明名稱為“用于空間變化殘差編碼的方法和設(shè)備”的專利申請的分案申請。

相關(guān)申請的交叉引用

本申請要求2009年7月6日提交的美國臨時專利申請no.61/223,277(代理卷no.pu090058)的權(quán)益，該申請通過引用被全部結(jié)合于此。

本原理一般地涉及視頻編碼和解碼，并且更具體地，涉及用于空間變化殘差編碼的方法和設(shè)備。

背景技術(shù)：

基于塊的離散變換是許多圖像和視頻壓縮標準的基本構(gòu)件并且在廣大范圍的應(yīng)用中被使用，所述圖像和視頻壓縮標準例如包括聯(lián)合圖像專家組、國際電信聯(lián)盟電信部(itu-t)h.263建議(以下，“h.263建議”)、國際標準化組織/國際電工委員會(iso/iec)運動圖像專家組1(mpeg-1)標準、iso/iecmpeg-2標準、iso/iecmpeg-4部分10高級視頻編碼(avc)標準/itu-th.264建議(以下，“mpeg-4avc標準”)等。

離散余弦變換(dct)是最廣泛使用的塊變換。dct通過將圖片分割成像素塊(通常是4x4和8x8)，使用dct將每個塊從空間域變換至頻域并對變換系數(shù)進行量化來利用圖片的局部空間相關(guān)特性。多數(shù)圖像和視頻壓縮標準使用固定的二維(2d)分離dct塊變換。如果允許若干塊大小(通常，從4x4到16x16的塊)，則使用利用與塊的大小相對應(yīng)的大小的dct。然而，對于每個塊大小僅存在一種變換，并且該塊中的所有像素都利用該變換被處理。

在諸如例如mpeg-4avc標準之類的圖像和視頻編碼標準中，對于用于每個塊大小的塊變換，只有一種選擇。如果殘差(即預(yù)測誤差)被編碼，則這樣的編碼經(jīng)由變換系數(shù)被執(zhí)行。所有像素都被變換。參見圖1，mpeg-4avc標準中的一些變換大小總地用標號100表示。對于圖示的變換大小100，對于要被編碼的8x8塊110：8x8塊110被分割成4個4x4塊121至124，它們利用4x4變換被變換。在一些情況中，發(fā)送變換系數(shù)對于4x4塊中的一些而言可以不是必要的。例如，對于圖示的變換大小100，對于(沒有用陰影圖案圖示的)三個4x4塊121、122和123，不發(fā)送殘差(用相應(yīng)的系數(shù)表示)，而對于(用對角陰影圖案圖示的)其余的4x4塊124，發(fā)送殘差。主要的缺點在于對變換的空間支持是固定的，因此對殘差進行編碼的靈活性明顯降低。

一種現(xiàn)有技術(shù)方法通過提出空間變化變換(spatiallyvaryingtransform)來在殘差編碼步驟中引入更多靈活性。參見圖2，空間變化編碼總地用標號200表示。在這樣的情況中，殘差可以根據(jù)mpeg-4avc標準被編碼，但是還是允許空間變化變換。空間變化變換僅被應(yīng)用于(使用對角陰影圖案圖示出的)子塊210，剩下的其余殘差不被編碼。因此，來自nxn塊220的mxm像素的子塊210被變換。編碼器必須用信令方式通知mxm子塊210的位置(即位置x和y)。然而，該方法還是缺少靈活性。例如，該方法缺少靈活性，因為在塊220內(nèi)僅存在一種變換，所以該方法不是對殘差數(shù)據(jù)的一部分進行編碼，并且不存在用于提高視覺質(zhì)量的前置濾波。

第二種現(xiàn)有技術(shù)方法提出所謂的自適應(yīng)預(yù)測誤差編碼(apec)技術(shù)。幀間殘差具有低相關(guān)性，并且dct僅僅對于高度相關(guān)的數(shù)據(jù)而言是足夠的。因此，第二種現(xiàn)有技術(shù)方法提出使能空間域和頻域中的自適應(yīng)預(yù)測誤差編碼。對于預(yù)測誤差的每個塊，或者應(yīng)用變換編碼或者應(yīng)用空間域編碼。具有較低速率失真成本的算法被選擇用于塊?？偠灾诙N現(xiàn)有技術(shù)方法提出選擇是否使用變換來對塊的殘差進行變換，但是最終對于每個塊只應(yīng)用如下兩個選項中的一個：所有像素在熵編碼之前被變換；或者所有像素在空間域被直接進行熵編碼。

技術(shù)實現(xiàn)要素：

針對用于空間變化殘差編碼的方法和設(shè)備的本原理解決現(xiàn)有技術(shù)的這些和其它缺點和不利。

根據(jù)本原理的一個方面，提供一種設(shè)備。該設(shè)備包括視頻編碼器，該頻編碼器用于通過選擇用于與圖片中的塊的原始版本和至少一個參考塊之間的差相對應(yīng)的殘差的空間變化編碼方法來對所述塊的圖片數(shù)據(jù)進行編碼。使用一個或多個變換來對所述塊的一部分進行變換并且使用相對于所述一個或多個變換的替代編碼方法來對所述塊的剩余區(qū)域進行編碼或者不對所述塊的剩余區(qū)域進行編碼。

根據(jù)本原理的另一個方面，提供視頻編碼器中的方法。該方法包括通過選擇用于與圖片中的塊的原始版本和至少一個參考塊之間的差相對應(yīng)的殘差的空間變化編碼方法來對所述塊的圖片數(shù)據(jù)進行編碼。使用一個或多個變換來對所述塊的一部分進行變換并且使用相對于所述一個或多個變換的替代編碼方法來對所述塊的剩余區(qū)域進行編碼或者不對所述塊的剩余區(qū)域進行編碼。

根據(jù)本原理的又一方面，提供一種設(shè)備。該設(shè)備包括視頻解碼器，該視頻解碼器用于通過選擇用于與圖片中的塊的原始版本和至少一個參考塊之間的差相對應(yīng)的殘差的空間變化解碼方法來對所述塊的圖片數(shù)據(jù)進行解碼。使用一個或多個逆變換來對所述塊的一部分進行逆變換并且使用相對于所述一個或多個逆變換的替代解碼方法來對所述塊的剩余區(qū)域進行解碼。

根據(jù)本原理的又一方面，提供視頻解碼器中的方法。該方法包括：通過選擇用于與圖片中的塊的原始版本和至少一個參考塊之間的差相對應(yīng)的殘差的空間變化解碼方法來對所述塊的圖片數(shù)據(jù)進行解碼。使用一個或多個逆變換來對所述塊的一部分進行逆變換并且使用相對于所述一個或多個逆變換的替代解碼方法來對所述塊的剩余區(qū)域進行解碼(920)。

根據(jù)本原理的附加方面，提供一種設(shè)備。該設(shè)備包括用于使用多層殘差編碼來對圖片中的塊的圖片數(shù)據(jù)進行編碼的視頻編碼器。使用第一編碼方法來對與所述塊的原始版本和至少一個參考塊之間的差相對應(yīng)的原始殘差進行編碼以獲得已編碼殘差。從所述原始殘差中減去所述已編碼殘差，并且使用第二編碼方法對所述塊的一部分進行編碼。

根據(jù)本原理的另一附加方面，提供一種視頻編碼器中的方法。該方法包括使用多層殘差編碼來對圖片中的塊的圖片數(shù)據(jù)進行編碼。使用第一編碼方法來對與所述塊的原始版本和至少一個參考塊之間的差相對應(yīng)的原始殘差進行編碼以獲得已編碼殘差。從所述原始殘差中減去所述已編碼殘差，并且使用第二編碼方法對所述塊的一部分進行編碼。

根據(jù)本原理的另一附加方面，提供一種設(shè)備。該設(shè)備包括視頻解碼器，該視頻解碼器用于使用多層殘差解碼來對圖片中的塊的圖片數(shù)據(jù)進行解碼。使用第一解碼方法來對與所述塊的原始版本和至少一個參考塊之間的差相對應(yīng)的原始殘差進行解碼以獲得已解碼殘差。從所述原始殘差中減去所述已解碼殘差，并且使用第二編碼方法對所述塊的一部分進行解碼。

根據(jù)本原理的另一附加方面，提供一種視頻解碼器中的方法。該方法包括使用多層殘差解碼來對圖片中的塊的圖片數(shù)據(jù)進行解碼。使用第一解碼方法來對與所述塊的原始版本和至少一個參考塊之間的差相對應(yīng)的原始殘差進行解碼以獲得已解碼殘差。從所述原始殘差中減去所述已解碼殘差，并且使用第二編碼方法對所述塊的一部分進行解碼。

根據(jù)本原理的另一附加方面，提供一種視頻解碼器中的方法。該方法包括從比特流中解碼視頻序列中圖片的塊的殘差；其中所述解碼包括選擇第一解碼方法來使用第一逆變換解碼所述塊的第一子塊的第一殘差，并選擇替代解碼方法來使用第二逆變換解碼所述塊的至少第二子塊的第二殘差；以及其中所述第一逆變換不同于所述第二逆變換，并且其中所述塊是預(yù)測單元。

根據(jù)本原理的另一附加方面，提供一種裝置。該裝置包括視頻解碼器，其配置成從比特流中解碼視頻序列中圖片的塊的殘差，其中所述視頻解碼器配置成選擇第一解碼方法來使用第一逆變換解碼所述塊的第一子塊的第一殘差，并選擇至少替代解碼方法來使用第二逆變換解碼所述塊的至少第二子塊的第二殘差，以及其中所述第一逆變換不同于所述第二逆變換，并且其中所述塊是預(yù)測單元。

根據(jù)本原理的另一附加方面，提供一種視頻編碼器中的方法。該方法包括將視頻序列中圖片的塊的殘差編碼到比特流中，其中所述編碼包括選擇第一編碼方法來使用第一變換編碼所述塊的第一子塊的第一殘差，并選擇至少替代編碼方法來使用第二變換編碼所述塊的至少第二子塊的第二殘差，以及其中所述第一變換不同于所述第二變換，并且其中所述塊是預(yù)測單元。

根據(jù)本原理的另一附加方面，提供一種裝置。該裝置包括視頻編碼器，其配置成將視頻序列中圖片的塊的殘差編碼到比特流中，其中所述編碼器配置成選擇第一編碼方法來使用第一變換編碼所述塊的第一子塊的第一殘差，并選擇至少替代編碼方法來使用第二變換編碼所述塊的至少第二子塊的第二殘差，以及其中所述第一變換不同于所述第二變換，并且其中所述塊是預(yù)測單元。

根據(jù)本原理的另一附加方面，提供一種裝置。該裝置包括發(fā)送器，其配置成發(fā)送包括圖片的塊的經(jīng)編碼殘差的比特流，其中編碼包括選擇第一編碼方法來使用第一變換編碼所述塊的第一子塊的第一殘差，并選擇至少替代編碼方法來使用第二變換編碼所述塊的至少第二子塊的第二殘差，以及其中所述第一變換不同于所述第二變換，并且其中所述塊是預(yù)測單元。

從以下對要結(jié)合附圖閱讀的示例性實施例的詳細描述中，本原理的這些和其它方面、特征和優(yōu)點將變得明顯。

附圖說明

根據(jù)以下示例性示圖可以更好地理解本原理，在附圖中：

圖1是示出mpeg-4avc標準中的一些變換大小的示圖；

圖2是示出空間變化變換的示圖；

圖3是示出根據(jù)本原理的實施例的可以應(yīng)用本原理的示例性視頻編碼器的框圖；

圖4是示出根據(jù)本原理的實施例的可以應(yīng)用本原理的示例性視頻解碼器的框圖；

圖5是示出根據(jù)本原理的實施例的空間變化殘差編碼的示例的示圖；

圖6是示出根據(jù)本原理的實施例的涉及兩種完全重疊的變換的組合的空間變化殘差編碼的示例的示圖；

圖7是示出根據(jù)本原理的實施例的涉及濾波的空間變化殘差編碼的示例的示圖；

圖8是示出根據(jù)本原理的實施例的用于執(zhí)行塊殘差的空間變化編碼的示例性方法的流程圖；

圖9是示出根據(jù)本原理的實施例的用于執(zhí)行塊殘差的空間編碼解碼的示例性方法的流程圖；

圖10是示出根據(jù)本原理的實施例的用于執(zhí)行塊殘差的空間變化編碼的另一示例性方法的流程圖；

圖11是示出根據(jù)本原理的實施例的用于執(zhí)行塊殘差的空間變化解碼的另一示例性方法的流程圖；

圖12是示出根據(jù)本原理的實施例的用于執(zhí)行塊殘差的空間變化編碼的又一示例性方法的流程圖；以及

圖13是示出根據(jù)本原理的實施例的用于執(zhí)行塊殘差的空間變化解碼的又一示例性方法的流程圖。

具體實施方式

本原理針對用于空間變化殘差編碼的方法和設(shè)備。

本說明書圖示出基本原理。因此將明白，本領(lǐng)域技術(shù)人員將能夠構(gòu)想到盡管在此未被明確地描述或示出，但是實施本原理并且被包括在其精神和范圍內(nèi)的各種布置。

在此所述的所有示例和條件語言意圖用于教育目的來幫助讀者理解發(fā)明人對現(xiàn)有技術(shù)進行改進的原理和概念，并且應(yīng)被理解為是不限于這樣具體地敘述的示例和條件。

此外，在此敘述本原理的原理、方面和實施例以及其具體示例的所有陳述意圖包括本原理結(jié)構(gòu)上和功能上的等同物。另外，意圖這樣的等同物既包括當前已知的等同物也包括將來開發(fā)的等同物，即，執(zhí)行相同功能的開發(fā)出的任意元件，而不論其結(jié)構(gòu)如何。

因此，例如，本領(lǐng)域技術(shù)人員將明白，在此所演示的框圖表示實施本原理的說明性電路的示意圖。類似地，將明白，任意流程圖、流程示圖、狀態(tài)轉(zhuǎn)意圖、偽代碼等都表示實質(zhì)上被表示在計算機可讀介質(zhì)中并且被計算機或處理器運行的各種處理，而不論這樣的計算機或處理器是否被明確地示出。

附圖中所示出的各種元件的功能可以通過使用能夠運行與適當軟件相關(guān)聯(lián)的軟件的硬件或?qū)Ｓ糜布硖峁．斢商幚砥魈峁r，功能可以由單個專用處理器、由單個共享處理器或由多個個別的處理器(其中一些可以被共享)來提供。此外，明確使用的術(shù)語“處理器”或“控制器”應(yīng)當理解成是專指能夠運行軟件的硬件，或者可以暗含地包括數(shù)字信號處理器(“dsp”)硬件、用于存儲軟件的只讀存儲器(“rom”)、隨機存取存儲器(“ram”)和非易失性存儲裝置。

還可以包括其它傳統(tǒng)的和/或定制的硬件。類似地，附圖中示出的任意開關(guān)僅僅是示意性的。它們的功能可以通過程序邏輯的操作、通過專用邏輯、通過程序控制和專用邏輯的交互或甚至手動地被執(zhí)行，從上下文可以更具體地理解，特定的技術(shù)可由實現(xiàn)者選擇。

在權(quán)利要求書中，表述為用于執(zhí)行指定功能的裝置的任意元素意圖包括執(zhí)行該功能的任意方式，包括例如a)執(zhí)行該功能的電路元件的組合或b)任意形式的軟件，因此包括與用于運行該軟件來執(zhí)行功能的適當電路組合的固件、微代碼等。由這樣的權(quán)利要求書限定的本原理存在于這樣的事實中：由不同的所述裝置提供的功能可以以權(quán)利要求要求的方式被組合或帶到一起。因此認為可以提供哪些功能的任何裝置等同于在此示出的那些。

說明書中對本原理的“一個實施例”或“實施例”以及其變形的提及是指結(jié)合該實施例描述的特定特征、結(jié)構(gòu)、特點等被包括在本原理的至少一個實施例中。因此，貫穿說明書的不同地方出現(xiàn)的“在一個實施例中”或“在實施例中”以及其它變形不一定都指同一實施例。

應(yīng)當明白，使用以下“/”、“和/或”和“……中的至少一個”中的任何一個，例如，在“a/b”、“a和/或b”和“a和b中的至少一個”的情況下，意圖包括：僅選擇第一列出選項(a)，或者僅選擇第二列出選項(b)，或選擇兩個選項(a和b)。作為進一步的示例，在“a、b和/或c”和“a、b和c中的至少一個”的情況下，這樣的短語意圖包括：僅選擇第一列出選項(a)，僅選擇第二列出選項(b)，僅選擇第三列出選項(c)或僅選擇第一和第二列出選項(a和b)，或僅選擇第一和第三列出選項(a和c)，或者僅選擇第二和第三列出選項(b和c)，或者選擇所有三個選項(a和b和c)。如本領(lǐng)域和相關(guān)領(lǐng)域普通技術(shù)人員顯見的，這可以擴展到列出的那么多的項目。

此外，在此使用的詞語“圖片”和“圖像”被交換使用并且是指來自視頻序列的靜止圖像或圖片。已知，圖片可以是幀或場。

另外，在此使用的詞語“用信令方式通知(signal)”是指向?qū)?yīng)的解碼器指示某事。例如，編碼器可以用信令方式通知與空間變化殘差編碼有關(guān)的一個或多個參數(shù)以便使得解碼器知道在編碼器側(cè)使用了那些具體參數(shù)。以這種方式，可以在編碼器側(cè)和解碼器側(cè)都使用相同的參數(shù)。因此，例如，編碼器可以發(fā)送具體的參數(shù)給解碼器以使得解碼器可以使用相同的具體參數(shù)或者如果解碼器已經(jīng)具有與其它解碼器相同的具體參數(shù)，則信令可以被使用(而不必傳送)來簡單地允許解碼器知道和選擇具體參數(shù)。通過避免任何實際參數(shù)的傳送，可以實現(xiàn)比特節(jié)約。應(yīng)當明白，可以以各種方式實現(xiàn)信令。例如，一個或多個語法元素、標志等可以用于用信令的方式將信息通知給對應(yīng)的解碼器。

參見圖3，例如，用標號300總地指示可以應(yīng)用本原理的示例性視頻編碼器。視頻編碼器300包括幀排序緩沖器310，其輸出與組合器385的同相輸入進行信號通信。組合器385的輸出與變換器和量化器325的輸入和空間變化技術(shù)模塊311的輸入以信號通信的方式連接?？臻g變化技術(shù)模塊311的輸出與選擇模塊312的第一輸入以信號通信的方式連接。變換器和量化器325的輸出與選擇模塊312的第二輸入以信號通信的方式連接。選擇模塊312的輸出與熵編碼器345的第一輸入、逆空間變化技術(shù)模塊313的第一輸入和逆變換器和逆量化器350的第一輸入以信號通信的方式連接。熵編碼器345的輸出與組合器390的第一同相輸入以信號通信的方式連接。組合器390的輸出與輸出緩沖器335的第一輸入以信號通信的方式連接。

編碼器控制器305的第一輸出與幀排序緩沖器310的第二輸入、逆空間變化技術(shù)模塊313的第二輸入、逆變換器和逆量化器350的第二輸入、圖片類型判決模塊315的輸入、宏塊類型(mb類型)判決塊320的第一輸入、幀內(nèi)預(yù)測模塊360的第二輸入、去塊濾波器365的第二輸入、運動補償器370的第一輸入、運動估計器375的第一輸入和參考圖片緩沖器380的第二輸入。

編碼器控制器305的第二輸出與增補增強信息(sei)插入器330的第一輸入、熵編碼器345的第二輸入、輸出緩沖器335的第二輸入和序列參數(shù)設(shè)置(sps)和圖片參數(shù)設(shè)置(pps)插入器340的輸入以信號通信的方式連接。

sei插入器330的輸出與組合器390的第二同相輸入以信號通信的方式連接。

圖片類型判決模塊315的第一輸出與幀排序緩沖器310的第三輸入以信號通信的方式連接。圖片類型判決模塊315的第二輸出與宏塊類型判決模塊320的第二輸入以信號通信的方式連接。

序列參數(shù)設(shè)置(sps)和圖片參數(shù)設(shè)置(pps)插入器340的輸出與組合器390的第三同相輸入以信號通信的方式連接。

逆變換器和逆量化器350的輸出和逆空間變化技術(shù)模塊313的輸出與組合器319的第一同相輸入以信號通信的方式連接。組合器319的輸出與幀內(nèi)預(yù)測模塊360的第一輸入和去塊濾波器365的第一輸入以信號通信的方式連接。去塊(deblocking)濾波器365的輸出與參考圖片緩沖器380的第一輸入以信號通信的方式連接。參考圖片緩沖器380的輸出與運動估計器375的第二輸入和運動補償器370的第三輸入以信號通信的方式連接。運動估計器375的第一輸出與運動補償器370的第二輸入以信號通信的方式連接。運動估計器375的第二輸出與熵編碼器345的第三輸入以信號通信的方式連接。

運動補償器370的輸出與開關(guān)397的第一輸入以信號通信的方式連接。幀內(nèi)預(yù)測模塊360的輸出與開關(guān)397的第二輸入以信號通信的方式連接。宏塊類型判決模塊320的輸出與開關(guān)397的第三輸入以信號通信的方式連接。開關(guān)397的第三輸入判定開關(guān)的“數(shù)據(jù)”輸入(相比于控制輸入，即第三輸入)是將由運動補償器370還是幀內(nèi)預(yù)測模塊360提供。開關(guān)397的輸出與組合器319的第二同相輸入和組合器385的反相輸入以信號通信的方式連接。

幀排序緩沖器310的第一輸入和編碼器控制器305的輸入可用作編碼器100的輸入，以用于接收輸入圖片301。此外，增補增強信息(sei)插入器330的輸入可用作編碼器300的輸入，以用于接收元數(shù)據(jù)。輸出緩沖器335的輸出可用編碼器300的輸出，以用于輸出比特流。

參見圖4，用標號400總地表示可以應(yīng)用本原理的示例性視頻解碼器。視頻解碼器400包括輸入緩沖器410，其輸出與熵解碼器445的第一輸入以信號通信的方式連接。熵解碼器445的第一輸出與選擇器412的輸入以信號通信的方式連接。選擇器412的輸出與逆變換器和逆量化器450的第一輸入和逆空間變化技術(shù)模塊413的第一輸入以信號通信的方式連接。逆變換器和逆量化器450的輸出和逆空間變化技術(shù)模塊413的輸出與組合器425的第二同相輸入以信號通信的方式連接。組合器425的輸出與去塊濾波器465的第二輸入和幀內(nèi)預(yù)測模塊460的第一輸入以信號通信的方式連接。去塊濾波器465的第二輸出與參考圖片緩沖器480的第一輸入以信號通信的方式連接。參考圖片緩沖器480的輸出與運動補償器470的第二輸入以信號通信的方式連接。

熵解碼器445的第二輸出與運動補償器470的第三輸入、去塊濾波器465的第一輸入和幀內(nèi)預(yù)測器460的第三輸入以信號通信的方式連接。熵解碼器445的第三輸出與解碼器控制器405的輸入以信號通信的方式連接。解碼器控制器405的第一輸出與熵解碼器445的第二輸入以信號通信的方式連接。解碼器控制器405的第二輸出與逆變換器和逆量化器450的第二輸入以信號通信的方式連接。解碼器控制器405的第三輸出與去塊濾波器465的第三輸入以信號通信的方式連接。解碼器控制器405的第四輸出與幀內(nèi)預(yù)測模塊460的第二輸入、運動補償器470的第一輸入和參考圖片緩沖器480的第二輸入以信號通信的方式連接。解碼器控制器405的第五輸出與逆空間變化技術(shù)模塊413的第二輸入以信號通信的方式連接。

運動補償器470的輸出與開關(guān)497的第一輸入以信號通信的方式連接。幀內(nèi)預(yù)測模塊460的輸出與開關(guān)497的第二輸入以信號通信的方式連接。熵解碼器445的第四輸出與開關(guān)497的第三輸入以信號通信的方式連接。開關(guān)497的第三輸入判定開關(guān)的“數(shù)據(jù)”輸入(相比于控制輸入，即第三輸入)將由運動補償器470還是幀內(nèi)預(yù)測模塊460提供。開關(guān)497的輸出與組合器425的第一同相輸入以信號通信的方式連接。輸入緩沖器410的輸入可用作解碼器400的輸入，以用于接收輸入的比特流。去塊濾波器465的第一輸出可用作解碼器400的輸出，以用于輸出輸出圖片。

多數(shù)現(xiàn)代視頻編碼標準采用變換來有效地降低空間域的殘差的相關(guān)性。變換大小通常由預(yù)測數(shù)據(jù)的大小決定。此外，變換編碼不與其它編碼技術(shù)組合來處理殘差的變化特點。在這些方案中，對于每個塊大小僅存在一種變換并且該塊中的所有像素都利用該變換被處理，因此存在限制。圖像和視頻內(nèi)容數(shù)據(jù)具有變化的統(tǒng)計信息和特性。因此，如果針對每個塊使用若干變換并且允許其它技術(shù)來壓縮殘差數(shù)據(jù)中的一些，則存在可能的壓縮增益。認識到該不足并且因此根據(jù)本原理，提出用于同時在塊中組合使用若干變換，同時還允許其它技術(shù)來對未被變換的殘差數(shù)據(jù)進行編碼的方法和設(shè)備。在優(yōu)選實施例中，通過使用前置濾波和后置濾波技術(shù)來提高視覺質(zhì)量和效率來增強該方法。因此，在一個或多個實施例中，本原理利用殘差的空間變化變形和編碼方法以及增補濾波技術(shù)來提高效率和圖像和視頻數(shù)據(jù)的視覺質(zhì)量。

用于殘差編碼的空間變化技術(shù)

視頻編碼技術(shù)變?yōu)橐獫M足對較大顯示分辨率和高清晰(hd)內(nèi)容的增加使用的需求。高清晰內(nèi)容編碼效率從較大的塊單元受益。因此，預(yù)測單元和作為結(jié)果的殘差變換變得更大。通常，塊大小被從4x4或8x8塊放大為32x32或64x64塊。甚至有使用128x128像素那么大的編碼單元的提議。

另一方面，預(yù)測技術(shù)正迅速提高，導(dǎo)致具有與之前的視頻編碼標準極為不同的稀疏性(sparsity)特性和低空間相關(guān)性的殘差數(shù)據(jù)。

作為兩個趨勢(更大的單元和更好的預(yù)測)的結(jié)果，dct方法沒有恰當?shù)靥幚須埐罹幋a。需要能夠適應(yīng)殘差的空間變化性的新技術(shù)。

根據(jù)本原理，提議組合不同的變換和其它技術(shù)以便對塊的殘差進行編碼。以這種方式，可以利用殘差數(shù)據(jù)的某些部分上的觀測到的空間相關(guān)性并且同時利用同一塊的殘差的其它部分的觀測到的稀疏性?？梢悦靼?，本原理適合于利用較大的塊和改進的預(yù)測方法的新的編解碼范式，以及涉及更小的塊的現(xiàn)有的視頻編碼標準、建議以及其擴展。即，本原理可以適用于涉及任何塊大小的視頻編碼標準、建議以及其擴展。

參考圖5，用標號500總地示出空間變化殘差編碼的示例。空間變化殘差編碼500涉及來自塊505的圖片數(shù)據(jù)的n個像素乘n個像素。塊505利用不一定覆蓋整個塊505的一個或多個變換被編碼。例如，塊505內(nèi)(使用對角陰影圖案圖示出的)子塊511至513利用一個或多個變換被編碼。隨后，(沒有陰影背景的)剩余殘差利用可替換的方法被編碼。該可替換的方法(以下稱為“背景方法”)可以是例如對應(yīng)于上述第二現(xiàn)有技術(shù)方法的空間域編碼，或者可以涉及本領(lǐng)域或相關(guān)領(lǐng)域技術(shù)人員已知的一些其它的可替換方法。在另一實施例中，背景方法可以是lempel-ziv方法，或者涉及多尺度遞歸樣式(multi-scalerecurrentpattern)、或具有自適應(yīng)概率模型多尺度遞歸樣式、向量量化等。應(yīng)當明白，已知在此提供的本原理的技術(shù)，本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員將構(gòu)想到用于對其余殘差進行編碼的這些和許多其它選項。此外，還可以明白，這些(背景)方法中的兩個或更多個可以被組合來對其余殘差進行編碼。最終，編碼器可以選擇使用“傳統(tǒng)的”變換方案或提出的空間變化技術(shù)，因此編碼器可以在保持使用針對整個塊的變換的同時從新的技術(shù)獲益(后者已經(jīng)被證實在許多情形但不是全部情形中很有效)。

在此設(shè)定中，編碼器必須指示：變換的數(shù)目，它們的大小以及位置，還有，什么是用于對剩余殘差進行編碼的選定背景方法。這些參數(shù)例如通過設(shè)計或在序列級、幀級、片段級和/或一些其它級上是固定的，因此，這些參數(shù)中的一些或全部不一定每次都必須被指示。

塊內(nèi)的變換集合的位置可以是自適應(yīng)的。在一個實施例中，編碼器明確地指示每個變換的位置。用于發(fā)送的參數(shù)可以包括但不限于例如：(1)每個變換的x和y；(2)與前一變換有關(guān)的x和y；或(3)等同于x和y的其它值，類似(相對)位置的角度和模。當然，已知在此提供的本原理的教導(dǎo)，本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員將構(gòu)想到在保持本原理的精神和范圍的同時可以根據(jù)本原理發(fā)送的這些和其它參數(shù)。

在另一實施例中，解碼器根據(jù)之前重構(gòu)的數(shù)據(jù)和編碼選擇推導(dǎo)出變換(中的至少一些)的位置。例如，變換的位置和數(shù)目可以依賴于但是不限于之前的塊的運動向量或之前的殘差、預(yù)測模式、預(yù)測數(shù)據(jù)等。選擇依賴于在編碼器和解碼器兩者處都可用的數(shù)據(jù)，因此它們可以作出相同的判決從而是同步的(因此消除了發(fā)送支持此的側(cè)面信息的必要)。

一般，當變換相互不重疊時，提出的方法可以帶來更大的增益，但是在一些情形中，這樣的重疊可以對性能有益。在一個或多個實施例中，提出的方法不限制變換和背景方法的位置，即它們可以重疊。

這一點導(dǎo)致涉及多層殘差編碼的另一實施例。參考圖6，用標號600總地示出涉及兩個完全重疊的變換的組合的空間變化殘差編碼的示例。在此情況中，首先利用一種方法對殘差編碼。隨后，從原始殘差中減去該已編碼的殘差。隨后，利用另一種方法對剩余殘差編碼。該方法的良好示例如下：

1.使用變換方法對塊(nxn)610編碼。

2.僅保持變換的最大低頻系數(shù)。

3.從原始殘差減去已編碼殘差。

4.使用變換對(一個或多個)子塊(例如使用對角陰影圖案圖示出的mxm子塊620)編碼。

該多層殘差編碼方法使用兩個殘差層，并且其是空間上變化的。第一層給出對整個塊610的殘差的大概描述。第二層可以關(guān)注特別難以編碼的區(qū)域或感興趣的區(qū)域(例如子塊620)，因此，對于該特定區(qū)域而言，第二層對第一層進行了細化。該方法可以容易地擴展到可伸縮視頻編碼(svc)中的信噪比(snr)可伸縮性。

這僅僅是一個示例。因此，可以明白，本原理不限于兩個(或更多)層依賴于變換編碼的情況。例如，可以利用空間域方法對第二層進行編碼。已知在此提供的本原理的教導(dǎo)，本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員容易構(gòu)想到這些和其它變形。

用于殘差編碼的空間變化技術(shù)的濾波

空間變化技術(shù)導(dǎo)致以不同的方法或變換構(gòu)建的鄰接數(shù)據(jù)，因此，進而可以導(dǎo)致沿著邊界的偽影，這些偽影類似于在多數(shù)視頻編碼標準中可以找見的塊偽影等。如果執(zhí)行濾波，則可以減少或消除這些偽影。此濾波可以是去塊濾波、低通濾波、非線性濾波、交疊變換(lappedtransform)等。變換類型和大小、量化級別以及其它編碼參數(shù)決定了用于此濾波的最佳選擇。

參見圖7，用標號700總地指示涉及濾波的空間變化殘差編碼的示例。如圖所示，可以執(zhí)行跨越塊705內(nèi)的(例如，子塊)邊界的濾波。該濾波可以根據(jù)鄰接區(qū)域不同而不同。例如，可以跨越(圖7中的白色箭頭)(使用對角陰影圖案圖示出的)變換子塊711和712使用去塊濾波器，同時可以跨越(圖7中的黑色箭頭)(使用對角陰影圖案圖示出的)變換子塊711和712和已利用背景方法編碼的(未用任何陰影圖案圖示出的)鄰接區(qū)域使用低通濾波。

在一個實施例中，在塊的重構(gòu)之后應(yīng)用所有這些濾波器。然而，在另一實施例中，可替換地，在利用空間變化技術(shù)對數(shù)據(jù)進行編碼之前對數(shù)據(jù)進行前置濾波。在此情況中，首先跨越將要利用不同技術(shù)編碼的區(qū)域應(yīng)用濾波器，隨后，對該濾波后的殘差進行編碼。

在解碼器處，應(yīng)用逆處理。首先，使用空間變化方法對殘差解碼，隨后，應(yīng)用跨越區(qū)域的逆濾波。

這樣的濾波器的示例是線性濾波器f：

其中，a、b、c、d是濾波器的參數(shù)。這是應(yīng)用于邊界處的4個像素的1維線性濾波器：區(qū)域界限的一側(cè)2個另一側(cè)2個。當然，應(yīng)當明白，本原理僅僅限于前述濾波器，因此可以是非線性的、自適應(yīng)的、二維的，并且在保持本原理的精神和范圍的同時可以根據(jù)本原理利用濾波器的許多其它變形。

在解碼器側(cè)，將要應(yīng)用逆濾波器f-1。

總而言之，在一個或多個實施例中，提議了與用于殘差編碼的空間變化技術(shù)配合的濾波。在一個實施例中，(在殘差編碼之前)使用前置濾波器。在另一實施例中，(在殘差編碼之后)使用后置濾波器。在又一實施例中，使用前置濾波器和后置濾波器兩者。

參考圖8，用標號800總地指示用于執(zhí)行塊殘差的空間變化編碼的示例性方法。方法800包括起始塊805，其將控制傳遞給功能塊810的。功能塊810輸入大小為nxn的塊殘差數(shù)據(jù)，并且將控制傳遞至功能塊815，和功能塊820。功能塊815對塊殘差數(shù)據(jù)應(yīng)用大小為nxn的變換，并且將控制傳遞至功能塊825。功能塊825(基于應(yīng)用大小為nxn的變換的結(jié)果)執(zhí)行速率失真分析，并且將控制傳遞至功能塊835。功能塊820對塊殘差數(shù)據(jù)應(yīng)用k個大小為mkxmk的變換和背景方法，并且將控制傳遞至功能塊823。功能塊823跨越塊的使用不同變換或方法的部分進行濾波，并將控制傳遞至功能塊830。功能塊830(基于應(yīng)用k個大小為mkxmk的變換和背景方法的結(jié)果)來執(zhí)行速率失真分析，并且將控制傳遞至功能塊835。

功能塊835執(zhí)行由功能塊825和830執(zhí)行的各自的速率失真分析的各自的結(jié)果之間的比較，并且基于比較的結(jié)果來選擇要應(yīng)用的變換，并應(yīng)用選定的變換來對殘差進行編碼，并將控制傳遞至功能塊840。功能塊840輸出選定的變換和已編碼的殘差，并將控制傳遞至結(jié)束塊899。

參見圖9，用標號900總地指示用于執(zhí)行塊殘差的空間變化解碼的示例性方法。方法900包括起始塊905，其將控制傳遞至功能塊910。功能塊910輸入已編碼殘差，并且將控制傳遞至功判決塊915。判決塊915(根據(jù)編碼器做了什么，即，解碼出編碼器處所采取的決策)判斷是否執(zhí)行空間變化殘差解碼。如果判定為是，則控制被傳遞至功能塊920。否則，控制被傳遞至功能塊925。功能塊920對已編碼殘差應(yīng)用k個大小為mkxmk的逆變換和逆背景方法，并且將控制傳遞至功能塊923。功能塊923跨越塊的使用不同變換或方法的部分進行濾波，并且將控制傳遞至功能塊925。功能塊925對已編碼殘差應(yīng)用逆nxn變換，并且將控制傳遞至功能塊930。功能塊930輸出作為結(jié)果產(chǎn)生的殘差數(shù)據(jù)，并且將控制傳遞至結(jié)束塊999。

參考圖10，用標號1000總地指示用于執(zhí)行塊殘差的空間變化編碼的另一示例性方法。方法1000包括起始塊1005，其將控制傳遞至功能塊1010。功能塊1010輸入大小為nxn的塊殘差數(shù)據(jù)，并且將控制傳遞至功能塊1020和功能塊1040。功能塊1020應(yīng)用大小為nxn的變換并將控制傳遞至功能塊1025。功能塊1025從原始殘差中減去已編碼殘差，并將控制傳遞至功能塊1030。功能塊1030應(yīng)用大小為mxm的mxm變換，并且將控制傳遞至功能塊1050。功能塊1050(基于應(yīng)用大小為mxm的變換的結(jié)果)執(zhí)行速率失真分析，并將控制傳遞至功能塊1060。功能塊1040基于多尺度遞歸樣式方法來應(yīng)用大小為mxm的變換和背景方法，并且將控制傳遞至功能塊1045。功能塊1045發(fā)送變換的大小m和位置，并且將控制傳遞至功能塊1055。功能塊1055(基于應(yīng)用大小為mxm的變換的結(jié)果)執(zhí)行速率失真分析，并且將控制傳遞至功能塊1060。功能塊1060執(zhí)行速率失真分析的結(jié)果之間的比較，基于比較的結(jié)果選擇變換，應(yīng)用選定的變換，并將控制傳遞至功能塊1065。功能塊1065輸出編碼選擇和已編碼殘差，并將控制傳遞至功能塊1099。

參考圖11，用標號1100總地指示用于執(zhí)行塊殘差的空間變化解碼的另一示例性方法。方法1100包括起始塊1105，其將控制傳遞至功能塊1110。功能塊1110輸入已編碼殘差，并將控制傳遞至判決塊1115。判決塊115判斷是否要使用多層解碼方法。如果要使用多層解碼方法，則控制被傳遞至功能塊1130。否則，控制被傳遞至功能塊1150。功能塊1130解碼出變換的大小m和位置，并且將控制傳遞至功能塊1140。功能塊1140基于多尺度遞歸樣式方法應(yīng)用逆mxm變換和背景方法，并將控制傳遞至功能塊1170。功能塊1150應(yīng)用大小為mxm的逆變換，并且將控制傳遞至功能塊1155。功能塊1155應(yīng)用大小為nxn的逆變換，并且將控制傳遞至功能塊1160。功能塊1160將來自nxn和mxm變換的殘差相加，并將控制傳遞至功能塊1170。功能塊1170輸出已編碼殘差，并且將控制傳遞至結(jié)束塊1199。

參見圖12，用標號1200總地指示用于執(zhí)行塊殘差的空間變化編碼的另一示例性方法。方法1200包括起始塊1202，其將控制傳遞至功能塊1205。功能塊1205輸入與原始殘差對應(yīng)的大小為nxn的塊殘差數(shù)據(jù)，并且將控制傳遞至功能塊1210。功能塊1210(對原始殘差)應(yīng)用nxn變換(來獲取已編碼殘差)，并將控制傳遞至功能塊1215。功能塊1215從原始殘差中減去已編碼殘差，并且將控制傳遞至功能塊1220和功能塊1230。功能塊1220對塊的一部分應(yīng)用背景方法，并且將控制傳遞至功能塊1225。功能塊1225(基于對塊的一部分應(yīng)用背景方法的結(jié)果)執(zhí)行速率失真分析，并且將控制傳遞至功能塊1255。

功能塊1230基于多尺度遞歸樣式方法應(yīng)用mxm變換和背景方法，并且將控制傳遞至功能塊1235。功能塊1235發(fā)送變換的大小m和位置，并且將控制傳遞至功能塊1240。功能塊1240(基于應(yīng)用mxm變換和背景方法的結(jié)果)來執(zhí)行速率失真分析，并且將控制傳遞至功能塊1255。

功能塊1255執(zhí)行速率失真分析的結(jié)果之間的比較，基于比較的結(jié)果選擇變換，應(yīng)用選定的變換，并且將控制傳遞至功能塊1260。功能塊1260輸出編碼選擇和已編碼殘差，并且將控制傳遞至結(jié)束塊1299。

參考圖13，用標號1300總地指示用于執(zhí)行塊殘差的空間變換解碼的又一示例性方法。方法1300包括起始塊1305，其將控制傳遞至功能塊1310。功能塊1310輸入已編碼殘差，并且將控制傳遞至判決塊1315。判決塊1315判斷是否應(yīng)用大小為m的逆變換。如果判斷為應(yīng)用大小為m的逆變換，則控制被傳遞至功能塊1320。否則，控制被傳遞至功能塊1330。功能塊1330解碼編碼的大小m和位置，并且將控制傳遞至功能塊1325。功能塊1325基于多尺度遞歸樣式方法來應(yīng)用逆mxm變換和背景方法，并且將控制傳遞至功能塊1335。功能塊1335對塊的一部分應(yīng)用逆背景方法，并且將控制傳遞至功能塊1335。功能塊1335應(yīng)用逆nxn變換，并且將控制傳遞至功能塊1340。功能塊1340將殘差相加，并且將控制傳遞至功能塊1340。功能塊1345輸出已解碼殘差，并且將控制傳遞至結(jié)束塊1399。

現(xiàn)在給出對本發(fā)明的許多伴隨的優(yōu)點/特征中的一些的描述，這些優(yōu)點/特征中的一些在以上已被提到。例如，一個優(yōu)點/特征是一種設(shè)備，其具有通過選擇用于與圖片中的至少一個塊的原始版本和至少一個參考塊之間的差相對應(yīng)的殘差的空間變化編碼方法來對該塊的圖片數(shù)據(jù)進行編碼的視頻編碼器，其中，使用一個或多個變換來變換該塊的一部分，并且，使用這一個或多個變換的替代編碼方法來對塊的剩余區(qū)域進行編碼，或者不對塊的剩余區(qū)域進行編碼，

另一優(yōu)點/特征是具有如上所述的視頻編碼器的設(shè)備，其中，在多層殘差編碼中使用該空間變化編碼方法。

又一優(yōu)點/特征是具有如上所述的視頻編碼器的設(shè)備，其中，使用一個或多個濾波器來對殘差進行濾波以減少或消除其中的編碼偽影。

又一優(yōu)點/特征是具有所述視頻編碼器的設(shè)備，其中，如上所述，使用一個或多個濾波器來對殘差進行濾波以減少或消除其中的編碼偽影，其中這一個或多個濾波器被配置為一個或多個處理前濾波器、一個或多個處理后濾波器、或者一個或多個處理前濾波器與一個或多個處理后濾波器的組合。

此外，另一優(yōu)點/特征是具有如上所述的視頻編碼器的設(shè)備，其中替代編碼方法包括基于無變換的編碼方法、lempel-ziv方法、多尺度遞歸樣式方法、具有自適應(yīng)概率模型的多尺度遞歸方法和向量量化方法中的至少一者。

此外，另一優(yōu)點/特征是具有如上所述視頻編碼器的設(shè)備，其中，至少空間變化編碼方法的參數(shù)子集被發(fā)送給對應(yīng)的解碼器，所述參數(shù)包括所要應(yīng)用的一個或多個變換的數(shù)目、這一個或多個變換的大小、這一個或多個變換的位置以及替代編碼方法中的至少一者。

此外，又一優(yōu)點/特征是具有所述視頻編碼器的設(shè)備，其中，如上所述，至少空間變化編碼方法的參數(shù)子集被發(fā)送給對應(yīng)的解碼器，所述參數(shù)包括所要應(yīng)用的一個或多個變換的數(shù)目、這一個或多個變換的大小、這一個或多個變換的位置以及替代編碼方法中的至少一者，其中，子集中的剩余參數(shù)是固定的并且是所述編碼器和對應(yīng)的解碼器已知的。

相關(guān)領(lǐng)域普通技術(shù)人員基于這里的教導(dǎo)可以容易地確定本原理的這些和其它特征和優(yōu)點。應(yīng)當理解，可以以硬件、軟件、固件、專用處理器或它們的組合的各種形式來實現(xiàn)本原理的教導(dǎo)。

更優(yōu)選地，本原理的教導(dǎo)被實現(xiàn)為硬件和軟件的組合。軟件可以被實現(xiàn)為被有形地包含在程序存儲單元上的應(yīng)用程序。應(yīng)用程序可以被下載到包括任意適當體系架構(gòu)的機器并被其運行。優(yōu)選地，機器被實現(xiàn)在具有諸如一個或多個中央處理單元(“cpu”)、隨機訪問存儲器(“ram”)和輸入/輸出(“i/o”)接口之類的硬件的計算機平臺上。計算機平臺還可以包括操作系統(tǒng)和微指令代碼。在此所描述的各種處理和功能可以護著是可由cpu運行的微指令代碼的一部分或者是應(yīng)用程序的一部分，或者是它們的任意組合。另外，各種其它外圍單元可以連接到諸如附加的數(shù)據(jù)存儲單元和打印單元之類的計算機平臺。

還應(yīng)當理解，因為附圖中所圖示出的構(gòu)成系統(tǒng)組件和方法的一些優(yōu)選是以軟件實現(xiàn)的，因此，系統(tǒng)組件或處理功能塊之間的實際連接可以因用于對本原理進行編程所使用的方式的不同而不同。已知這里的教導(dǎo)，相關(guān)領(lǐng)域的普通技術(shù)人員將能夠構(gòu)想到本原理的這些和類似的實現(xiàn)或配置。

盡管已經(jīng)在此參考附圖描述了說明性實施例，但是應(yīng)當理解，本原理不限于這些精確實施例，并且在不偏離本原理的精神和范圍的情況下相關(guān)領(lǐng)域的普通技術(shù)人員可以實行各種更改和修改。所有這樣的更改和修改都意圖被包括在所附權(quán)利要求書中所闡述的本原理的范圍內(nèi)。