專利名稱：基于分類環(huán)路濾波器的方法和裝置的制作方法
技術領域：
本原理一般涉及視頻編碼和解碼，尤其涉及基于分類環(huán)路濾波器的方法及裝置。
背景技術：
當前視頻編碼標準應用基于塊變換(例如，離散余弦變換(DCT))和運動補償來實現(xiàn)壓縮效率。由于在這種框架內的有損壓縮性質，重構視頻的質量將必然下降，決不會完全恢復成原始圖像。這是對于在要取得的效率增益與有損視頻壓縮之間作出的折衷。 在國際標準化組織/國際電工委員會(IS0/IEC)運動圖像專家組-4 (MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯(lián)盟，電信部門(ITU-T) H. 264建議書(下文稱為“MPEG-4AVC標準”)中，為了除去塊狀偽像的目的，將去塊濾波器用于解碼畫面。在MPEG-4AVC標準的關鍵技術領域(KTA)中，將維納(Wiener)濾波器用在內環(huán)或外環(huán)以提高解碼畫面的質量。為了實現(xiàn)時間自適應，通常在編碼器上針對每個畫面通過使原始畫面與解碼畫面之間的均方誤差最小化來估計維納濾波器。作為每個畫面的額外開銷，將濾波器系數(shù)發(fā)送給解碼器。為了實現(xiàn)時間自適應，根據(jù)內容或率失真(RD)成本將一個畫面劃分成多個區(qū)域。在每個區(qū)域中，開關控制濾波過程的打開或關閉。將區(qū)域劃分信息和開關控制消息發(fā)送給解碼器作為輔助信息。這種途徑對基本特性隨時間(從幀到幀)變化不是很大的視頻圖像非常有效。在第一種現(xiàn)有技術的途徑中，區(qū)域劃分通常是等大小的，而在第二種現(xiàn)有技術的途徑中，區(qū)域劃分通常是可變大小塊。但是，基于塊的方法不能有效地表征自然改變(正常)視頻內的空間變化。例如，視頻序列的視覺質量高度取決于邊緣銳度，而畫面內的邊緣遠不是基于塊的。更重要的是，不同方向的邊緣需要不同維納濾波器組來保持銳度。在MPEG-4AVC標準的關鍵技術領域中，在第三種現(xiàn)有技術的途徑中提出了自適應后置濾波器。其基本概念是在顯示之前將維納濾波器應用于解碼畫面。在編碼器上針對每個畫面通過使原始畫面與解碼畫面之間的均方誤差最小化來估計維納濾波器。在這種情況下，作為額外開銷，將估計濾波器系數(shù)發(fā)送給解碼器。利用估計的濾波器濾波整個畫面。在另一種情況下，離線訓練一組維納濾波器，發(fā)送給解碼器或存儲在解碼器中。在解碼期間，逐個像素地濾波畫面。在每個像素上，根據(jù)周圍像素的統(tǒng)計量從濾波器組中選擇一個濾波器。在這種技術中，濾波指示符不花費任何額外開銷。濾波指示符可以通過解碼畫面內容導出。但是，難以構建濾波指示符與畫面內容之間的模型。在第三種現(xiàn)有技術的途徑中，離線訓練方案被用于尋找濾波指示符與局部方差之間的對應模型。由于該訓練高度取決于訓練組，所以利用有限數(shù)據(jù)訓練出來的模型對于更一般的視頻信號將是不精確的。
在第一種現(xiàn)有技術的途徑中，提出了基于塊的自適應環(huán)路濾波器。在這種建議中，通過維納濾波器朝著原始幀恢復重構幀。在編碼器上估計維納濾波器系數(shù)，并將其發(fā)送給解碼器作為輔助信息。盡管維納濾波器可以全局地將重構幀恢復成原始幀，但存在局部降級像素。由于質量降級區(qū)降低了像素的保真度以及未來編碼幀的預測效率，所以不濾波這些區(qū)將提高編碼性能。在塊自適應環(huán)路濾波器(BALF)中，將幀劃分成等大小塊，并將開關標志用于每個塊以便控制是否濾波該塊。在第二種現(xiàn)有技術的途徑中，引入四叉樹自適應環(huán)路濾波器(QALF)來指示是否濾波幀的可變大小塊。當使用可變大小塊方案時，盡管濾波性能優(yōu)于等大小塊方案，但編碼塊的大小和地點的額外開銷是高要求的。但是，甚至基于四叉樹的濾波也仍然不能有效地除去壓縮偽像，因為無法捕捉二維(2D)數(shù)據(jù)的空間特征。

發(fā)明內容
現(xiàn)有技術的這些和其他缺陷和缺點通過本原理來解決，本原理針對用于基于分類環(huán)路濾波器的方法及裝置。
按照本原理的一個方面，提供了一種裝置。該裝置包括通過如下步驟編碼輸入畫面的視頻編碼器變換和量化輸入畫面的殘差以獲取量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；以及將至少一個參考畫面與殘差的重構版本組合以獲取輸入畫面的重構版本。該視頻編碼器包括濾波器，用于響應局部幾何特性，將輸入畫面的重構版本中的像素分類在多個類別的對應一個內，并響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。按照本原理的另一個方面，提供了一種在視頻編碼器中的方法。該方法包括編碼輸入畫面。該編碼步驟包括變換和量化輸入畫面的殘差以獲取量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；將至少一個參考畫面與殘差的重構版本組合以獲取輸入畫面的重構版本；響應局部幾何特性，將輸入畫面的重構版本中的像素分類在多個類別的對應一個內；以及響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。按照本原理的又一個方面，提供了一種裝置。該裝置包括通過如下步驟解碼畫面的視頻解碼器接收量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；以及將至少一個參考畫面與殘差的重構版本組合以獲取畫面的重構版本。該視頻解碼器包括濾波器，用于響應局部幾何特性，將畫面的重構版本中的像素分類在多個類別的對應一個內，并響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。按照本原理的再一個方面，提供了一種在視頻解碼器中的方法。該方法包括解碼畫面。該解碼步驟包括接收量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；將至少一個參考畫面與殘差的重構版本組合以獲取畫面的重構版本；響應局部幾何特性，將畫面的重構版本中的像素分類在多個類別的對應一個內；以及響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。通過結合附圖閱讀如下示范性實施例的詳細描述，本原理的這些和其他方面、特征和優(yōu)點將變得顯而易見。


本原理可以依照如下示范性圖形得到更好理解，在附圖中圖I是示出依照本原理的實施例、可以應用本原理的示范性視頻編碼器的方塊圖；圖2是示出依照本原理的實施例、可以應用本原理的示范性視頻解碼器的方塊圖；圖3是示出依照本原理的實施例、使用基于分類環(huán)路濾波器編碼輸入畫面的畫面數(shù)據(jù)的一種示范性方法的流程圖；圖4是示出依照本原理的實施例、使用基于分類環(huán)路濾波器解碼畫面的畫面數(shù)據(jù)的一種示范性方法的流程圖；圖5是示出依照本原理的實施例、使用基于分類環(huán)路濾波器編碼輸入畫面的畫面數(shù)據(jù)的另一種示范性方法的流程圖； 圖6是示出依照本原理的實施例、使用基于分類環(huán)路濾波器解碼畫面的畫面數(shù)據(jù)的另一種示范性方法的流程圖；圖7是示出依照本原理的實施例、使用基于分類環(huán)路濾波器編碼輸入畫面的畫面數(shù)據(jù)的又一種示范性方法的流程圖；以及圖8是示出依照本原理的實施例、使用基于分類環(huán)路濾波器解碼畫面的畫面數(shù)據(jù)的又一種示范性方法的流程圖。
具體實施例方式本原理針對用于基于分類環(huán)路濾波器的方法及裝置。本描述例示了本原理。因此，將懂得，本領域的技術人員將能夠設想出盡管未明確描述或顯示在本文中，但體現(xiàn)本原理和包括在它的精神和范圍之內的各種安排。本文列舉的所有例子和條件語言旨在教授的目的，以幫助讀者理解本原理以及(多個)本發(fā)明人為促進技術進步而貢獻的概念，并且應該理解為不局限于這樣具體列舉的例子和條件。此外，本文闡述本原理的各個原理、方面和實施例及其特定例子的所有語句旨在包含其結構和功能等效物兩者。另外，這樣的等效物旨在包括當前已知的等效物以及未來開發(fā)的等效物，即與結構無關，開發(fā)出來執(zhí)行相同功能的任何元件。因此，例如，本領域的技術人員將懂得，本文所表示的方塊圖代表體現(xiàn)本原理的例示性電路的概念圖。類似地，將懂得，任何流程圖、流圖、狀態(tài)轉變圖、偽碼等代表基本上可以表示在計算機可讀媒體中，因此可以由計算機或處理器執(zhí)行的各種進程，無論這樣的計算機或處理器是否明確顯示出來。顯示在附圖中的各種元件的功能可以通過使用專用硬件以及能夠與適當軟件相關聯(lián)執(zhí)行軟件的硬件來實現(xiàn)。當由處理器提供時，這些功能可以由單個專用處理器，由單個共享處理器，或由其中一些可以共享的多個單獨處理器提供。此外，術語“處理器”或“控制器”的顯性使用不應該理解為排他地指能夠執(zhí)行軟件的硬件，而是可以隱性地包括但不限于數(shù)字信號處理器(“DSP”)硬件、存儲軟件的只讀存儲器(“ROM”)、隨機訪問存儲器(“RAM”)和非易失性存儲體。也可以包括傳統(tǒng)的和/或定制的其他硬件。類似地，顯示在附圖中的任何開關都只是概念性的。它們的功能可以通過程序邏輯的運算，通過專用邏輯，通過程序控制和專用邏輯的交互，或甚至人工地實現(xiàn)，正如從上下文中更具體了解到的那樣，特定的技術可由實現(xiàn)者選擇。在其權利要求書中，表達成執(zhí)行特定功能的部件的任何元件旨在包含執(zhí)行那種功能的任何方式，例如，包括a)執(zhí)行那種功能的電路元件的組合，或b)任何形式的軟件，因此包括與執(zhí)行那種軟件的適當電路結合執(zhí)行該功能的固件、微碼等。如這樣的權利要求書定義的本原理在于以下事實，以權利要求書要求的方式組合和匯集各種所列舉部件提供的功能。因此，認為可以提供那些功能的任何部件都等效于本文所示的那些部件。在說明書中提到本原理的“一個實施例”或“實施例”以及它的其他變型意味著結合該實施例所述的特定特征、結構、特性等包括在本原理的至少一個實施例中。因此，出現(xiàn)在整個說明書中的各個地方的措詞“在一個實施例中”或“在實施例中”以及任何其他變型的出現(xiàn)未必都指同一實施例。要懂得，如下和/或”、和“至少一個”的任何一種的使用，例如，在“A/B”、“A 和/或B”、和“A和B的至少一個”的情況下，旨在包含只有第一所列選項(A)的選擇，或只有第二所列選項(B)的選擇，或兩個選項(A和B)的選擇。作為進一步的例子，在“A、B、和/或C”和“A、B、和C的至少一個”的情況下，這樣的措詞旨在包含只有第一所列選項(A)的選擇，或只有第二所列選項(B)的選擇，或只有第三所列選項(C)的選擇，或只有第一和第二所列選項(A和B)的選擇，或只有第一和第三所列選項(A和C)的選擇，或只有第二和第三所列選項(B和C)的選擇，或所有三個選項(A、B和C)的選擇。本領域和相關領域的普通技術人員容易明白，對于列出的許多項目，可以對此擴展。此外，如本文所使用，詞匯“畫面”和“圖像”可互換使用，并且指的是來自視頻序列的靜止圖像或畫面。眾所周知，畫面可以是幀或場。并且，如本文所使用，“高級語法”指的是出現(xiàn)在在分層結構中位于宏塊層之上的位流中的語法。例如，如本文所使用，高級語法可以指但不限于在切片首標級、補充增強信息(SEI)級、畫面參數(shù)集(PPS)級、序列參數(shù)集(SPS)級和網(wǎng)絡抽象層(NAL)單元首標級上的語法。此外，如本文所使用，措詞“其中基于畫面地自適應訓練濾波器系數(shù)”指的是逐個畫面地訓練基于分類環(huán)路濾波器的濾波器系數(shù)。也就是說，在考慮整個畫面的特性的同時，以及在考慮不止一個畫面的同時訓練這樣的系數(shù)。另外，如本文所使用，措詞“離線訓練濾波器系數(shù)”指的是在與濾波器正應用于特定畫面的特定像素期間的時間不同的時間上訓練基于分類環(huán)路濾波器的濾波器系數(shù)。因此，離線可以指處理這樣的畫面所屬的特定視頻序列之前的時間。為了例示和描述的目的，本文在超過MPEG-4AVC標準的改進的背景下描述這些例子，將MPEG-4AVC標準用作我們描述的基線，并說明超過MPEG-4AVC標準的改進和擴展。但是，要懂得，本原理不只局限于MPEG-4AVC標準和/或它的擴展。給定本文提供的本原理的教導，本領域和相關領域的普通技術人員可以容易地理解，當應用于其他標準的擴展時，或當應用于還未開發(fā)出來的標準和/或并入還未開發(fā)出來的標準中時，本原理同樣可應用，并至少可以提供類似的好處。還要懂得，本原理也應用于不遵從這些標準，而是遵從專門的定義的視頻編碼器和視頻解碼器。
此外，為了例示和描述的目的，本文在眾所周知維納濾波器的背景下描述這些例子。但是，要懂得，本原理可應用于能夠應用于一個或多個像素和/或像素數(shù)據(jù)的任何類型濾波器。例如，要懂得，在本原理的一些實施例中，可以選擇一種濾波器類型(例如，維納濾波器)并對分類在一個組中的像素確定系數(shù)，并且可以選擇另一種濾波器類型(例如，非維納濾波器)并對分類在另一個組中的像素確定系數(shù)。給定本文提供的本原理的教導，本領域和相關領域的普通技術人員可以容易地確定本文所述的本原理的這些和其他變型。轉到圖1，可以應用本發(fā)明原理的示范性視頻編碼器用標號100總體表示。視頻編碼器100包括具有與組合器185的非反相輸入端信號通信的輸出端的幀排序緩沖器110。組合器185的輸出端被連接成與變換器和量化器125的第一輸入端信號通信。變換器和量化器125的輸出端被連接成與熵編碼器145的第一輸入端和逆變換器和逆量化器150的第一輸入端信號通信。熵編碼器145的輸出端被連接成與組合器190的第一非反相輸入端信號通信。組合器190的輸出端被連接成與輸出緩沖器135的第一輸入端信號通信。
編碼器控制器105的第一輸出端被連接成與幀排序緩沖器110的第二輸入端、逆變換器和逆量化器150的第二輸入端、畫面類型判定模塊115的輸入端、宏塊類型(MB類型)判定模塊120的第一輸入端、巾貞內預測模塊160的第二輸入端、去塊濾波器165的第二輸入端、運動補償器170的第一輸入端、運動估計器175的第一輸入端、和參考畫面緩沖器180的第二輸入端信號通信。編碼器控制器105的第二輸出端被連接成與補充增強信息(SEI)插入器130的第一輸入端、變換器和量化器125的第二輸入端、熵編碼器145的第二輸入端、輸出緩沖器135的第二輸入端、和序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器140的輸入端信號通信。SEI插入器130的輸出端被連接成與組合器190的第二非反相輸入端信號通信。畫面類型判定模塊115的第一輸出端被連接成與幀排序緩沖器110的第三輸入端信號通信。畫面類型判定模塊115的第二輸出端被連接成與宏塊類型判定模塊120的第二輸入端信號通信。序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器140的輸出端被連接成與組合器190的第三非反相輸入端信號通信。逆變換器和逆量化器150的輸出端被連接成與組合器119的第一非反相輸入端信號通信。組合器119的輸出端被連接成與巾貞內預測模塊160的第一輸入端和去塊濾波器165的第一輸入端信號通信。去塊濾波器165的輸出端被連接成與自適應環(huán)路濾波器133的輸入端信號通信。自適應環(huán)路濾波器133的輸出端被連接成與參考畫面緩沖器180的第一輸入端信號通信。參考畫面緩沖器180的輸出端被連接成與運動估計器175的第二輸入端和運動補償器170的第三輸入端信號通信。運動估計器175的第一輸出端被連接成與運動補償170的第二輸入端信號通信。運動估計器175的第二輸出端被連接成與熵編碼器145的第三輸入端信號通信。運動補償器170的輸出端被連接成與開關197的第一輸入端信號通信。幀內預測模塊160的輸出端被連接成與開關197的第二輸入端信號通信。宏塊類型判定模塊120的輸出端被連接成與開關197的第三輸入端信號通信。開關197的第三輸入端確定開關的“數(shù)據(jù)”輸入(如與控制輸入，即，第三輸入相比)由運動補償170提供還是由幀內預測模塊160提供。開關197的輸出端被連接成與組合器119的第二非反相輸入端和組合器185的反相輸入端信號通信。幀排序緩沖器110的第一輸入端和編碼器控制器105的輸入端可用作為編碼器100的輸入端，以接收輸入畫面。此外，補充增強信息(SEI)插入器130的第二輸入端可用作為編碼器100的輸入端，以接收元數(shù)據(jù)。輸出緩沖器135的輸出端可用作為編碼器100的輸出端，以輸出位流。轉到圖2，可以應用本原理的示范性視頻解碼器用標號200總體表示。該視頻解碼器200包括具有連接成與熵解碼器245的第一輸入端信號通信的輸出端的輸入緩沖器210。熵解碼器245的第一輸出端被連接成與逆變換器和逆量化器250的 第一輸入端信號通信。逆變換器和逆量化器250的輸出端被連接成與組合器225的第二非反相輸入端信號通信。組合器225的輸出端被連接成與去塊濾波器265的第二輸入端和幀內預測模塊260的第一輸入端信號通信。去塊濾波器265的第二輸出端被連接成與自適應環(huán)路濾波器233的輸入端信號通信。自適應環(huán)路濾波器233的輸出端被連接成與參考畫面緩沖器280的第一輸入端信號通信。參考畫面緩沖器280的輸出端被連接成與運動補償器270的第二輸入端信號通信。熵解碼器245的第二輸出端被連接成與運動補償器270的第三輸入端、去塊濾波器265的第一輸入端、和巾貞內預測器260的第三輸入端信號通信。熵解碼器245的第三輸出端被連接成與解碼器控制器205的輸入端信號通信。解碼器控制器205的第一輸出端被連接成與熵解碼器245的第二輸入端信號通信。解碼器控制器205的第二輸出端被連接成與逆變換器和逆量化器250的第二輸入端信號通信。解碼器控制器205的第三輸出端被連接成與去塊濾波器265的第三輸入端信號通信。解碼器控制器205的第四輸出端被連接成與幀內預測模塊260的第二輸入端、運動補償器270的第一輸入端、和參考畫面緩沖器280的第二輸入端信號通信。運動補償器270的輸出端被連接成與開關297的第一輸入端信號通信。幀內預測模塊260的輸出端被連接成與開關297的第二輸入端信號通信。開關297的輸出端被連接成與組合器225的第一非反相輸入端信號通信。輸入緩沖器210的輸入端可用作為解碼器200的輸入端以接收輸入位流。去塊濾波器265的第一輸出端可用作為解碼器200的輸出端以對輸出畫面進行輸出。如上所述，本原理針對用于基于分類環(huán)路濾波器的方法及裝置。如前所述，現(xiàn)有技術的濾波途徑往往對不變(非自然)視頻信號非常有效。此外如前所述，現(xiàn)有技術的方法通常利用等大小或可變大小塊的分區(qū)。但是，基于塊的方法不能有效地表征自然(正常)圖像和視頻內的空間變化。例如，視頻序列的視覺質量高度取決于邊緣銳度，而畫面內的邊緣遠不是基于塊的。更重要的是，不同方向的邊緣需要不同濾波器組來保持銳度。為了解決這些問題，我們提出了基于分類途徑來改進濾波器。依照本原理的實施例，公開和描述了在視頻編碼器中，用于視頻編碼的方法和裝置，其中首先將圖像的預測誤差變換成變換系數(shù)。然后量化變換的系數(shù)。逆量化和逆變換以前量化的變換系數(shù)，得出重構預測誤差圖像。通過將重構預測誤差圖像與預測圖像組合生成重構圖像。然后，響應像邊緣取向、各向異性/各向同性、方向、幅度(magnitude )、對比度、梯度等那樣的局部幾何特性，將像素分類在一個組或類別中。在分類基于，例如，取向的實施例中，進行重構圖像的邊緣檢測，并根據(jù)取向將邊緣上的像素分類在一個組或類別中。將濾波器應用于指定像素，該濾波器是響應一個組或類別內的像素分類來選擇的。依照本原理的實施例，公開和描述了在視頻解碼器中，用于視頻解碼的方法和裝置，其中接收然后逆量化和逆變換熵編碼量化的變換系數(shù)，得出重構預測誤差圖像。通過將重構預測誤差圖像與預測圖像組合生成重構圖像。然后，響應像邊緣取向、各向異性/各向同性、方向、幅度、對比度、梯度等那樣的局部幾何特性，將像素分類在一個組或類別中。在分類基于，例如，取向的實施例中，進行重構圖像的邊緣檢測，并根據(jù)取向將邊緣上的像素分類在一個組或類別中。將濾波器應用于指定像素，該濾波器是響應一個組或類別內的像素分類來選擇的。—個像素由其結構(系數(shù))是為分類在那個組內的所有像素選擇的濾波器來濾波。對于屬于不同組/類別的像素不同地構建濾波器。在當前視頻編碼框架下，濾波技術通常用于除去壓縮偽像或用于反混疊(anti-aliasing)。這樣的濾波技術可以在許多視頻壓縮應用中用作內環(huán)或外環(huán)。由于視 頻信號的變化性質，期望濾波過程在空間域和時間域兩者中是自適應的。已經(jīng)提出了許多基于塊自適應濾波器，以便當除去壓縮偽像時達到空間自適應。依照本原理，我們公開和描述了由于使用具有基于像素特性自適應性的自適應濾波器而使性能提高的方法和裝置。具體地說，將邊緣檢測應用于視頻幀，并根據(jù)某種像素分類將檢測的邊緣分類成不同組或類別(可以根據(jù)方向、幅度、梯度和/或一些其他可檢測性質選擇和分組或分類這樣的像素)。然后，一個像素由其結構(系數(shù))是為分類在特定組內的所有像素選擇的濾波器來濾波。對于屬于不同組/類別的像素不同地構建濾波器。濾波器系數(shù)可以逐幀自適應地選擇，并且可以將系數(shù)從編碼器傳信到解碼器。在一個可替代實施例中，可以離線地選擇每個類別的濾波器系數(shù)，并將其存儲在編碼器和解碼器兩者中。在一個實施例中，在要濾波的輸入畫面上進行邊緣檢測。根據(jù)邊緣取向將確定為邊緣的像素進一步分類成不同類別。對于每個類別，通過針對這個類別內的像素使原始畫面與要處理的輸入畫面之間的均方誤差(MSE)最小化來計算一組維納濾波器系數(shù)(或其他類型的濾波器系數(shù))?？梢灾饚赃m應地訓練并使用高級語法傳信每個類別的濾波器系數(shù)。對于未確定為邊緣的畫面其余部分中的像素，在濾波之前計算另一組濾波器系數(shù)。在解碼器上，在按類別濾波邊緣像素之前在畫面上進行類似邊緣檢測和分類，并且對像素的其余部分也是如此。在另一個實施例中，取代在像素級上進行分類，基本單位可以是塊，例如，具有塊大小為8X8的塊。轉到圖3，使用基于分類環(huán)路濾波器編碼輸入畫面的畫面數(shù)據(jù)的示范性方法用標號300總體表示。該方法300包括將控制交給功能塊310的開始塊305。功能塊310進行編碼設置，并將控制交給功能塊315。功能塊315變換和量化輸入畫面的殘差以獲取量化變換系數(shù)，逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本，將至少一個參考畫面與殘差的重構版本組合以獲取輸入畫面的重構版本，并將控制交給功能塊330。功能塊330根據(jù)局部幾何特性，將輸入畫面的重構版本中的邊緣像素或塊分類成η個類別，并將控制交給循環(huán)限制塊340。循環(huán)限制塊340在每個類別上循環(huán)，并將控制交給功能塊350。功能塊350計算維納濾波器系數(shù)，將濾波器應用于循環(huán)索引所指的特定類內的邊緣像素或塊，并將控制交給功能塊360。功能塊360編碼濾波器系數(shù)，并將控制交給循環(huán)限制塊370。循環(huán)限制塊370結束在每個類別上的循環(huán)，并將控制交給功能塊380。功能塊380對其他(B卩，非邊緣)像素計算和應用維納濾波器系數(shù)，并將控制交給功能塊390。功能塊390編碼濾波器系數(shù)(針對其他像素)，并將控制交給結束塊399。轉到圖4，使用基于分類環(huán)路濾波器解碼畫面的畫面數(shù)據(jù)的示范性方法用標號400總體表示。該方法400包括將控制交給功能塊415的開始塊405。功能塊415接收量化變換系數(shù)，逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本，將至少一個參考畫面與殘差的重構版本組合以獲取畫面的重構版本，并將控制交給功能塊420。功能塊420根據(jù)局部幾何特性，將畫面的重構版本中的邊緣像素或塊分類成η個類別，并將控制交給循環(huán)限制塊430。循環(huán)限制塊430開始在每個類別上的循環(huán)，并將控制交給功能塊440。功能塊440解析維納濾波器系數(shù)，并將控制交給功能塊450。功能塊450將維納濾波器應用于循環(huán)索引所指的特定類內的邊緣像素或塊，并將控制交給循環(huán)限制塊460。循環(huán)限制塊460結束在類別上的循環(huán)，并將控制交給功能塊470。功能塊470對其他(即，非邊緣)像素解析維納濾波器系數(shù)，并將控制交給功能塊480。功能塊480應用維納濾波器(針對其他像素)，并將控制交給結束塊499。 在另一個實施例中，可以避免傳信額外開銷。在這樣的情況下，濾波器利用一組序列離線訓練，并存儲在編碼器和解碼器兩者上。轉到圖5，使用基于分類環(huán)路濾波器編碼輸入畫面的畫面數(shù)據(jù)的另一種示范性方法用標號500總體表示。該方法500包括將控制交給功能塊510的開始塊505。功能塊510進行編碼設置，并將控制交給功能塊530。雖然未明確示出，但我們注意到，正如本領域和相關領域的普通技術人員可容易看出的那樣，該方法500在功能塊530進行分類之前，也包括與針對圖3的功能塊315所示的那些類似的步驟。功能塊530根據(jù)局部幾何特性，將輸入畫面的重構版本中的邊緣像素或塊分類成η個類別，并將控制交給循環(huán)限制塊540。循環(huán)限制塊540開始在每個類別上的循環(huán)，并將控制交給功能塊550。功能塊550利用該類別的預訓練系數(shù)濾波邊緣像素或塊，并將控制交給循環(huán)限制塊560。循環(huán)限制塊560結束在類別上的循環(huán)，并將控制交給功能塊570。功能塊570對其他(即，非邊緣)像素計算和應用維納濾波器系數(shù)，并將控制交給功能塊580。功能塊580編碼濾波器系數(shù)，并將控制交給結束塊599。轉到圖6，使用基于分類環(huán)路濾波器解碼畫面的畫面數(shù)據(jù)的另一種示范性方法用標號600總體表不。該方法600包括將控制交給功能塊620的開始塊605。雖然未明確不出，但我們注意到，正如本領域和相關領域的普通技術人員可容易看出的那樣，該方法600在功能塊620進行分類之前，也包括與針對圖4的功能塊415所示的那些類似的步驟。功能塊620根據(jù)局部幾何特性，將畫面的重構版本中的邊緣像素或塊分類成η個類別，并將控制交給循環(huán)限制塊630。循環(huán)限制塊630開始在每個類別上的循環(huán)，并將控制交給功能塊640。功能塊640利用該類別的預訓練系數(shù)濾波邊緣像素或塊，并將控制交給循環(huán)限制塊650。循環(huán)限制塊650結束在類別上的循環(huán)，并將控制交給功能塊660。功能塊660對其他(即，非邊緣)像素解析維納濾波器系數(shù)，并將控制交給功能塊670。功能塊670應用維納濾波器(針對其他像素)，并將控制交給結束塊699。在另一個實施例中，將基于類別維納濾波與為每個像素判定是否進行濾波的BALF或QALF組合。如果BALF或QALF判定濾波一個塊，則檢測為邊緣的像素利用它們所屬的類別的特別訓練濾波器來濾波。轉到圖7，使用基于分類環(huán)路濾波器編碼輸入畫面的畫面數(shù)據(jù)的又一種示范性方法用標號700總體表示。該方法700包括將控制交給功能塊710的開始塊705。功能塊710進行編碼設置，并將控制交給功能塊720。雖然未明確示出，但我們注意到，正如本領域和相關領域的普通技術人員可容易看出的那樣，該方法700在功能塊720進行分類之前，也包括與針對圖3的功能塊315所示的那些類似的步驟。功能塊720根據(jù)局部幾何特性，將輸入畫面的重構版本中的邊緣像素或塊分類成η個類別，并將控制交給循環(huán)限制塊725。循環(huán)限制塊725在每個類別上循環(huán)，并將控制交給功能塊730。功能塊730計算每個類別的維納濾波器系數(shù)，并將控制交給循環(huán)限制塊735。循環(huán)限制塊735結束在類別上的循環(huán)，并將控制交給功能塊740。功能塊740利用塊自適應環(huán)路濾波器計算濾波 器系數(shù)和濾波器控制標志，并將控制交給循環(huán)限制塊745。循環(huán)限制塊745開始在每個塊上的循環(huán)，并將控制交給判定塊750。判定塊750確定是否濾波這個(當前)塊。如果是，則將控制交給循環(huán)限制塊755。否則，將控制交給循環(huán)限制塊780。循環(huán)限制塊755開始在當前塊中的每個像素上的循環(huán)，并將控制交給判定塊760。判定塊760確定當前像素是否是邊緣像素。如果是，則將控制交給功能塊765。否則，將控制交給功能塊770。功能塊765應用為該像素所屬的類別訓練的濾波器，并將控制交給循環(huán)限制塊775。功能塊770應用通過BALF或QALF訓練的濾波器，并將控制交給循環(huán)限制塊775。循環(huán)限制塊755結束在像素上的循環(huán)，并將控制交給循環(huán)限制塊780。循環(huán)限制塊780結束在塊上的循環(huán)，并將控制交給功能塊790。功能塊790編碼濾波器系數(shù)和控制標志，并將控制交給結束塊799。轉到圖8，使用基于分類環(huán)路濾波器解碼畫面的畫面數(shù)據(jù)的又一種示范性方法用標號800總體表示。該方法800包括將控制交給功能塊810的開始塊805。功能塊810解析濾波器系數(shù)和控制標志，并將控制交給功能塊820。雖然未明確示出，但我們注意到，正如本領域和相關領域的普通技術人員可容易看出的那樣，該方法800在功能塊820進行分類之前，也包括與針對圖4的功能塊415所示的那些類似的步驟。功能塊820根據(jù)局部幾何特性，將畫面的重構版本中的邊緣像素或塊分類成η個類別，并將控制交給循環(huán)限制塊830。循環(huán)限制塊830開始在每個塊上的循環(huán)，并將控制交給判定塊835。判定塊835確定是否濾波這個(當前)塊。如果是，則將控制交給循環(huán)限制塊840。否則，將控制交給循環(huán)限制塊870。循環(huán)限制塊840開始在當前塊中的每個像素上的循環(huán)，并將控制交給判定塊845。判定塊845確定當前像素是否是邊緣像素。如果是，則將控制交給功能塊850。否則，將控制交給功能塊855。功能塊850應用為該像素所屬的類別訓練的濾波器，并將控制交給循環(huán)限制塊860。功能塊855應用通過BALF或QALF訓練的濾波器，并將控制交給循環(huán)限制塊860。循環(huán)限制塊860結束在像素上的循環(huán)，并將控制交給循環(huán)限制塊870。循環(huán)限制塊870結束在塊上的循環(huán)，并將控制交給結束塊899。語法表I示出了依照本原理的實施例的示范性切片首標語法。表I中的語法元素的語義如下edge_filter_flag等于I規(guī)定將基于邊緣取向的濾波用于切片。edge_filter_flag等于O規(guī)定不使用基于邊緣取向的濾波，這意味著切片中的所有像素將使用相同濾波器。
num_edge_dir規(guī)定邊緣方向的總數(shù)。edge_dir_used_flag[i]等于I規(guī)定使用沿著第i方向的濾波器,edge_dir_used_flag[i]等于O規(guī)定不使用沿著第i方向的濾波器。filter_coeff [i]規(guī)定沿著第i方向的濾波器的系數(shù)。表I
權利要求
1.一種裝置，其包含 通過如下步驟編碼輸入畫面的視頻編碼器(100):變換和量化輸入畫面的殘差以獲取量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；以及將至少一個參考畫面與殘差的重構版本組合以獲取輸入畫面的重構版本，以及其中所述視頻編碼器包括濾波器(133)，用于響應局部幾何特性，將輸入畫面的重構版本中的像素分類在多個類別的對應一個內，并響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。
2.如權利要求I所述的裝置，其中濾波器系數(shù)是自適應的，并且是響應在多個類別的至少一個內提供改進濾波性能選擇的。
3.如權利要求2所述的裝置，其中改進性能是通過使輸入畫面與輸入畫面的重構版本之間的失真度量最小化提供的。
4.如權利要求I所述的裝置，其中至少一個像素的分類是響應與其相對應的方向、幅度、各向異性/各向同性、對比度、和梯度的至少一個確定的。
5.如權利要求I所述的裝置，其中濾波器系數(shù)是基于畫面自適應訓練的，并且是使用一個或多個高級語法元素傳信的。
6.如權利要求I所述的裝置，其中濾波器系數(shù)是離線訓練的，并且存儲在編碼器和相應解碼器兩者中。
7.如權利要求I所述的裝置，其中與塊自適應環(huán)路濾波或四叉樹自適應環(huán)路濾波聯(lián)合地進行濾波。
8.一種在視頻編碼器中的方法，其包含 編碼輸入畫面， 其中所述編碼步驟包含 變換和量化(315)輸入畫面的殘差以獲取量化變換系數(shù)； 逆量化和逆變換(315)量化變換系數(shù)以獲取殘差的重構版本； 將至少一個參考畫面與殘差的重構版本組合(315)以獲取輸入畫面的重構版本； 響應局部幾何特性，將輸入畫面的重構版本中的像素分類(330，530，720)在多個類別的對應一個內；以及 響應針對多個類別對至少一個像素的相應分類，濾波(350，550，760)選擇的至少一個像素。
9.如權利要求8所述的方法，其中濾波器系數(shù)是自適應的，并且是響應在多個類別的至少一個內提供改進濾波性能選擇的。
10.如權利要求9所述的方法，其中改進性能是通過使輸入畫面與輸入畫面的重構版本之間的失真度量最小化提供的。
11.如權利要求8所述的方法，其中至少一個像素的分類是響應與其相對應的方向、幅度、各向異性/各向同性、對比度、和梯度的至少一個確定的。
12.如權利要求8所述的方法，其中濾波器系數(shù)是基于畫面自適應訓練的，并且是使用一個或多個高級語法元素傳信的。
13.如權利要求8所述的方法，其中濾波器系數(shù)是離線訓練的，并且存儲在編碼器和相應解碼器兩者中。
14.如權利要求8所述的方法，其中與塊自適應環(huán)路濾波或四叉樹自適應環(huán)路濾波聯(lián)合地進行濾波(770)。
15.—種裝置,其包含 通過如下步驟解碼畫面的視頻解碼器(200):接收量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；以及將至少一個參考畫面與殘差的重構版本組合以獲取畫面的重構版本，其中所述視頻解碼器包括濾波器(233)，用于響應局部幾何特性，將畫面的重構版本中的像素分類在多個類別的對應一個內，并響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。
16.如權利要求15所述的裝置，其中濾波器系數(shù)是自適應的，并且是響應在多個類別的至少一個內提供改進濾波性能選擇的。
17.如權利要求16所述的裝置，其中改進性能是通過使畫面與畫面的重構版本之間的失真度量最小化提供的。
18.如權利要求15所述的裝置，其中至少一個像素的分類是響應與其相對應的方向、幅度、各向異性/各向同性、對比度、和梯度的至少一個確定的。
19.如權利要求15所述的裝置，其中濾波器系數(shù)是基于畫面自適應訓練的，并且是使用一個或多個高級語法元素傳信的。
20.如權利要求15所述的裝置，其中濾波器系數(shù)是離線訓練的，并且存儲在編碼器和相應解碼器兩者中。
21.如權利要求15所述的裝置，其中與塊自適應環(huán)路濾波或四叉樹自適應環(huán)路濾波聯(lián)合地進行濾波。
22.—種在視頻解碼器中的方法，其包含 解碼畫面， 其中所述解碼步驟包含 接收(415)量化變換系數(shù)； 逆量化和逆變換(415)量化變換系數(shù)以獲取殘差的重構版本； 將至少一個參考畫面與殘差的重構版本組合(415)以獲取畫面的重構版本； 響應局部幾何特性，將畫面的重構版本中的像素分類(420，620，820)在多個類別的對應一個內；以及 響應針對多個類別對至少一個像素的相應分類，濾波(450，640，850)選擇的至少一個像素。
23.如權利要求22所述的方法，其中濾波器系數(shù)是自適應的，并且是響應在多個類別的至少一個內提供改進濾波性能選擇的。
24.如權利要求23所述的方法，其中改進性能是通過使畫面與畫面的重構版本之間的失真度量最小化提供的。
25.如權利要求22所述的方法，其中至少一個像素的分類是響應與其相對應的方向、幅度、各向異性/各向同性、對比度、和梯度的至少一個確定的。
26.如權利要求22所述的方法，其中濾波器系數(shù)是基于畫面自適應訓練的，并且是使用一個或多個高級語法元素傳信的。
27.如權利要求22所述的方法，其中濾波器系數(shù)是離線訓練的，并且存儲在編碼器和相應解碼器兩者中。
28.如權利要求22所述的方法，其中與塊自適應環(huán)路濾波或四叉樹自適應環(huán)路濾波聯(lián)合地進行濾波(855)。
29.一種含有編碼在上面的視頻信號數(shù)據(jù)的計算機可讀非臨時存儲媒體，其包含 通過如下步驟編碼的輸入畫面變換和量化輸入畫面的殘差以獲取量化變換系數(shù)；逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本；將至少一個參考畫面與殘差的重構版本組合以獲取輸入畫面的重構版本；響應局部幾何特性，將輸入畫面的重構版本中的像素分類在多個類別的對應一個內；以及響應針對多個類別對至少一個像素的相應分類，濾波選擇的至少一個像素。
全文摘要
提供了基于分類環(huán)路濾波器的方法和裝置。編碼方法通過變換和量化輸入畫面的殘差以獲取量化變換系數(shù)來編碼輸入畫面。然后逆量化和逆變換量化變換系數(shù)以獲取殘差的重構版本。通過將至少一個參考畫面與殘差的重構版本組合來獲取輸入畫面的重構版本(315)。響應局部幾何特性，將輸入畫面的重構版本中的像素分類(330)在多個類別的對應一個內。為響應針對多個類別對像素的相應分類的濾波選擇像素(350)。
文檔編號H04N7/26GK102792690SQ201180013073
公開日2012年11月21日 申請日期2011年3月2日 優(yōu)先權日2010年3月9日
發(fā)明者J.索爾, 呂小安, 尹鵬, 許茜, 鄭云飛 申請人:湯姆森特許公司