專利名稱：色度解塊濾波器的制作方法
技術領域：
本發(fā)明涉及一種視頻編碼器和解碼器(總稱為編解碼器，“CODEC”)，尤其涉及一種具有解塊濾波器的CODEC。
背景技術：
通常以位流形式來處理和傳送視頻數(shù)據(jù)。視頻編碼器通常應用諸如離散余弦變換(“DCT”)的塊變換編碼來壓縮原始數(shù)據(jù)。相應的視頻解碼器通常例如通過應用逆離散余弦變換(“IDCT”)來解碼塊變換編碼的位流數(shù)據(jù)。
解塊濾波器通常與塊基數(shù)字視頻壓縮系統(tǒng)一起被使用。在壓縮環(huán)路內部可以應用解塊濾波器，所述濾波器被用在該壓縮環(huán)路中的編碼器和解碼器處?；蛘撸梢栽趬嚎s環(huán)路之后僅在解碼器處應用該解塊濾波器。
典型的解塊濾波器通過應用跨越其中執(zhí)行了塊變換編碼(例如DCT)和量化的塊的邊緣變換的低通濾波器來進行工作。解塊濾波器可以減少解壓縮視頻中已知為“成塊(blockiness)”的負視覺影響，但是在視覺解碼器和/或編碼器處通常需要大量的復雜計算。因此，期望在塊基數(shù)字視頻壓縮CODEC中減少解塊的計算成本。

發(fā)明內容
利用一種與色度解塊濾波器相關的系統(tǒng)和方法來解決現(xiàn)有技術的這些和其它缺陷和缺點。
公開了一種用于解塊經由塊變換處理的像素數(shù)據(jù)的編碼器、解碼器及其相應方法，所述編碼器包括用于僅過濾滿足預先選擇的色度差測量標準的塊變換的條件解塊濾波器；所述解碼器包括用于僅過濾滿足預先選擇的色度差測量標準的塊變換的條件解塊濾波器。
用于解塊的相應方法包括接收表示兩個像素的色度級的信號，每個像素位于塊變換的每一邊；計算兩個色度級之間的距離測量；將所述距離測量與一閾值進行比較；和響應所述比較，有條件地過濾塊變換處的所述像素和相鄰像素。
通過結合附圖的示例性實施例的下列描述，本發(fā)明的這些和其它方面、特征和優(yōu)點將變得明顯。


本發(fā)明包括根據(jù)下列示例性附圖的色度解塊濾波器，其中圖1示出了具有內環(huán)色度解塊濾波器的示例性編碼器的方框圖；圖2示出了具有內環(huán)色度解塊濾波器并可由圖1的編碼器使用的示例性解碼器的方框圖；圖3示出了具有后處理色度解塊濾波器的示例性解碼器的方框圖；和圖4示出了根據(jù)本發(fā)明原理的色度解塊濾波器的流程圖。
具體實施例方式
實現(xiàn)一解塊濾波器通常需要在視頻解碼器和/或編碼器處進行大量的復雜計算。確定是否對特殊邊緣變換進行過濾和確定是否使用特殊濾波器來執(zhí)行過濾操作中的每一個對計算復雜性和所覺察的視覺質量具有巨大的影響。
通過根據(jù)變換處的多個像素之間的色度差測量來決定是否在塊變換處應用低通濾波器，可以簡化在塊基數(shù)字視頻壓縮系統(tǒng)中的解塊濾波器的實現(xiàn)。因此，通過忽略將解塊濾波器應用于變換可以減少計算復雜性，將解塊濾波器應用于變換本不能提高覺察到的視覺質量。
本發(fā)明通過根據(jù)在變換處的像素的色度差測量決定是否在塊變換處應用低通或解塊濾波器，減少了解塊濾波器的計算復雜性，而沒有明顯影響覺察到的視覺質量。因此，減少了與在塊基數(shù)字視頻壓縮CODEC中的解塊相關的計算成本。優(yōu)選實施例提出了這樣一種想法，即當色度解塊跳過呈現(xiàn)小于一給定閾值的縫隙或差異測量的邊緣時可以大大地減少解塊一幀所需的操作重。在低于所述閾值的情形下不應用解塊。
在ITU-T推薦H.263視頻壓縮標準中，將被應用的特殊解塊濾波器的強度取決于被用來編碼給定宏塊的量化參數(shù)。在所建議的ITU-T推薦H.264 IISO/IEC14496-10 AVC視頻壓縮標準(“H.264/AVC”)中，使用幾個因素來確定是否過濾變換和應用濾波的強度。這些因素包括所述塊是幀內編碼還是幀間編碼、非零系數(shù)是否位于所述塊中、跨越邊緣的多個塊的運動矢量中的差異幅度以及跨越邊緣的像素值的差異幅度。前三個因素涉及在解塊之前可被計算的塊基標準。第四個因素包括以像素級計算來避免模糊實際輪廓的標準。然而，現(xiàn)有技術都沒有考慮包含一種避免對具有一太小以致不能受所述低通濾波器明顯影響的縫隙的色度邊緣進行過濾的標準。
下面的描述僅圖解說明了本發(fā)明的原理。因此本領域的普通技術人員應當理解，盡管此處沒有明確描述或示出，但是能夠設計出體現(xiàn)本發(fā)明原理并包含在本發(fā)明的精神和范圍之內的各種結構。而且，此處列舉的所有示例和條件語言主要旨在表達僅教育意圖，以便幫助讀著理解本發(fā)明的原理和發(fā)明者貢獻于現(xiàn)有技術的概念，并不能被曲解為對那些詳細列舉的示例和條件的限制。而且，此處列舉本發(fā)明的原理、方面、和實施例的所有論證以及本發(fā)明的具體示例往往包含其結構和功能等效物。另外，那些等效物包括當前已知的等效物和將來研發(fā)的等效物，例如執(zhí)行相同功能而不管結構如何的研發(fā)的任意元件。
因此，例如，本領域的技術人員應當理解，此處的方框圖代表體現(xiàn)本發(fā)明原理的示意性電路的概念圖。類似地，應當理解，任意流程圖、程序框圖、狀態(tài)變換圖、偽代碼等代表可在計算機可讀介質中真正表示并被計算機或處理器執(zhí)行的各種處理，那些計算機或處理器是否被明確示出。
通過使用專用硬件和能夠執(zhí)行軟件的硬件與合適的軟件一起可以提供附圖中示出的各種元件的功能。當由處理器提供時，所述功能可以由單一專用處理器、單一共享處理器、或者多個個人處理器來提供，這些處理器的某一些可以被共享。而且，術語“處理器”或“控制器”的明確使用不能被曲解為排他地指向能夠執(zhí)行軟件的硬件，而是可以不明確地包括，但不限于，數(shù)字信號處理器(“DSP”)硬件、用于存儲軟件的只讀存儲器(“ROM”)、隨機訪問存儲器(“RAM”)和非易失性存儲器。也可以包括其它常規(guī)和/或定制的硬件。類似地，附圖中所示的任意開關僅是概念上的。它們的功能可以通過程序邏輯、專用邏輯、程序控制和專用邏輯的交互作用、或者甚至人工的操作來執(zhí)行，隨著對上下文的更具體的理解，實現(xiàn)者可以選擇特定技術。
在本發(fā)明的權利要求中，表達為用于執(zhí)行特定功能的部件的任意元件往往包括執(zhí)行以下功能的任意形式，例如，a)執(zhí)行所述功能的電路元件的組合，或者b)任意形式的軟件，該軟件包括能夠與適當電路相互組合以執(zhí)行該軟件從而執(zhí)行所述功能的固件和微代碼等。由所述權利要求定義的本發(fā)明描述了這樣一個事實，即由各所描述部件提供的功能被相互組合并以權利要求的形式提出。因此申請人認為任何能夠提供那些功能性的部件都與此處所示的那些部件等效。
如圖1所示，具有內環(huán)(in-loop)色度解塊濾波器的示例性編碼器通常用參考數(shù)字100來表示。編碼器100包括視頻輸入端112，該視頻輸入端112以信號通信的方式耦合到加法塊114的正輸入端。加法塊114接下來被耦合到用于實現(xiàn)整數(shù)變換以提供多個系數(shù)的功能塊116。塊116耦合到用于實現(xiàn)熵編碼以提供輸出位流的熵編碼塊118。塊116還在定標和逆變換塊122處耦合到內環(huán)部分120。塊122耦合到加法塊124，該加法塊124接下來被耦合到幀內預測塊126。幀內預測塊126可轉換地耦合到開關127，開關127接下來被耦合到加法塊124的第二輸入端。
加法塊124的輸出端被耦合到條件解塊濾波器140。解塊濾波器140耦合到幀存儲器128。幀存儲器128耦合到運動補償塊130，該運動補償塊130耦合到開關127的第二可選輸入端。視頻輸入端112還耦合到運動估計塊119以提供運動矢量。解塊濾波器140耦合到運動估計塊119的第二輸入。運動估計塊119的輸出耦合到運動補償塊130以及熵編碼塊118的第二輸入。
視頻輸入端112還耦合到編碼器控制塊160。編碼器控制塊160耦合到塊116、118、119、122、126、130和140中的每一個的控制輸入，用以提供控制信號以便控制編碼器100的操作。
轉向圖2，具有內環(huán)色度解塊濾波器的示例性解碼器通常用參考數(shù)字200來表示。解碼器200包括用于接收輸入位流的熵解碼塊210。解碼塊210在定標和逆變換塊222處被耦合到內環(huán)部分220以向其提供系數(shù)。塊222耦合到加法塊224，該加法塊接下來被耦合到幀內預測塊226。幀內預測塊226可轉換地耦合到開關227，該開關227接下來被耦合到加法塊224的第二輸入端。
加法塊224的輸出耦合到條件解塊濾波器240以向其提供輸出圖像。解塊濾波器240耦合到幀存儲器228。幀存儲器228耦合到運動補償塊230，該運動補償塊230耦合到開關227的第二可選輸入端。熵解碼塊210還耦合到運動補償塊230的第二輸入端以向其提供運動矢量。
熵編碼塊210還耦合到解碼器控制塊262以向其提供輸入。解碼器控制塊262耦合到塊222、226、230和240中每一個的控制輸入端，用以通信控制信號和控制解碼器200的操作。
現(xiàn)在轉到圖3，具有后處理色度解塊濾波器的示例性解碼器通常用參考數(shù)字300來表示。解碼器300包括用于接收輸入位流的熵解碼塊310。解碼塊310在定標和逆變換塊322處耦合到內環(huán)部分320以向其提供系數(shù)。塊322耦合到加法塊324，該加法塊324接下來被耦合到幀內預測塊326。幀內預測塊326可轉換地耦合到開關327，開關327接下來被耦合到加法塊324的第二輸入端。
加法塊324的輸出端被耦合到條件解塊濾波器340用以提供輸出圖像。加法塊324還被耦合到幀存儲器328。幀存儲器328耦合到運動補償塊330，該運動補償塊330耦合到開關327的第二可選輸入端。熵編碼塊310還被耦合到運動補償塊330的第二輸入端以向其提供運動矢量。
熵解碼器塊310還耦合到解碼器控制塊362以向其提供輸入。解碼器控制塊362耦合到塊322、326、330和340中每一個的控制輸入端，用以通信控制信號和控制解碼器300的操作。
如圖4所示，示例性色度解塊濾波器的處理通常用參考數(shù)字400來表示。處理400包括開始步驟410，該開始步驟410將一控制傳遞到輸入步驟412，輸入步驟412用于接收相鄰于塊變換的相對側的兩個像素的色度級。輸入步驟412將控制傳遞到步驟414，步驟414用于計算兩個像素的色度級之間的距離測量。步驟414將一控制傳遞到決定步驟416，決定步驟416將所述色度距離測量與一閾值進行比較。如果該距離測量不大于所述閾值，則不執(zhí)行解塊過濾并且將一控制傳遞到結束步驟424。否則，步驟415將一控制傳遞到功能步驟420，功能步驟420響應所述差異測量來選擇將被應用的解塊濾波器強度。步驟420將一控制傳遞到步驟422，步驟422響應所述閾值比較有選擇地過濾包括塊變換處的開始兩個像素的多個相鄰像素。最后，步驟422將一控制傳遞到結束步驟424。
在本發(fā)明實施例的操作中，通過響應施加到位于或靠近所述塊邊界變換處像素色度級值的差異測量上的條件不對任意給定塊執(zhí)行解塊過濾和/或減小濾波強度，減少了在圖像或視頻壓縮系統(tǒng)中的解塊過濾的計算復雜性。消除了在色度分量上的解塊過濾的應用，或者減少了過濾強度，對于在變換的兩邊處存在色度信號級的那些變換太小而不能被低通濾波器明顯改變。因此，對這些區(qū)域，解塊濾波器的應用將需要附加的計算，但不會明顯地改善對人類觀察者覺察到的視頻質量。
在優(yōu)選實施例中，將是否過濾的決定合并到使用其它標準進行解塊過濾決定的系統(tǒng)中，諸如是使用H.264/AVC壓縮標準的那些系統(tǒng)。在一個示例性結構中，當解塊算法被應用于一個變換時，該解塊算法進行三個步驟。在一個步驟中，該算法確定是否將過濾當前變換。對于確定要過濾的那些情形，存在另一步驟，在該步驟中選擇將被應用的濾波器或強度。另外的步驟開始過濾處理本身，其中，為了平滑這個變換而修改所述塊邊緣周圍的一定數(shù)量的像素的值。
在過濾跨越兩塊P和Q之間邊緣的多個線或行中的一個的變換中涉及的一組示例性八個像素由下列符號表示

其中，塊邊緣位于p0和q0之間。當前的H.264/AVC標準假設如果并僅僅是如果下列條件得到滿足才過濾色度變換|p0-q0|＜α和|p0-p1|＜β和|q0-q1|＜β其中，α和β都是取決于量化步驟的閾值。這些條件往往避免解塊目標的實際輪廓。由于更強的變換，所以，實際輪廓可能不同于塊產物。
然而，在這些標準中沒有一個標準去檢查跨越所述邊緣的像素值的差的幅度是否大得足以被所述濾波器所平滑。因此，在p0和q0之間的差較小的許多情況下，過濾之后的像素值非常接近于初始值，并且這種類型的解塊的結果是沒有用的。在這些情況下，對于色度信號非常普通的是，算法引起的所有計算在視覺質量上都沒有產生值得的增益。
本發(fā)明的實施例通過加強關于在跨越邊緣的像素色度分量值之間的距離測量的最小幅度的條件來減少解塊彩色圖像所需的計算量。一個示例性距離測量是算術差，相關領域的普通技術人員可以預料可替換的距離測量來滿足指定應用的設計標準。對于那些具有太小間隙因而不能被平滑濾波器明顯改變的所有色度變換，跳過解塊濾波器的應用。該標準可以表達為distance(Chroma(p0)-Chroma(q0))＞dmin其中，閾值dmin的值代表應用解塊濾波器所需的最小色度間隙。如果一起過濾顏色信號的兩個色度分量，則計算像素p0和q0的色度值之間的單一矢量距離。如果獨立過濾顏色信號的兩個色度分量，則該標準通過一維距離將每個分量應用于獨立的處理。
例如，當獨立處理YUV信號的色度分量時，應用于YUV信號的色度分量的解塊的標準可以表示如下|U(p0)-U(q0)|＞dmin|V(p0)-V(q0)|＞dmin其中，所使用的距離對應于L1常量。實驗結果表明對于dmin＝1，視覺質量的最小降低明顯節(jié)省了計算量。在替代的實施例中，其它距離測量和更大值dmin可以被認為復雜性相對更大地減少。
所述標準不適用于所有的色度分量(例如Y、U和V)，而僅適用于通常受影響的色度分量(例如U和V)，因為它們的像素值的低動態(tài)范圍。對解塊亮度(例如Y)分量增加復雜性不值得。
在本發(fā)明的一個實施例中，將是否過濾色度分量的判定合并到使用其它標準來進行解塊過濾判定的系統(tǒng)，例如在H.264/AVC壓縮標準中使用的那些標準。在該實施例中，將過濾滿足基本H.264/AVC和目前公開的附加條件的那些變換。
當被應用于H.264/AVC JM2.1參考軟件時，本發(fā)明減少了過濾色度分量的復雜性的60％，這代表整個計算數(shù)量的30％。在這種情況中，僅增加了一個新的比較，因為|p0-q0|的值已經存在。在普通顯示條件下，對已解碼的圖像的視覺影響已經被估計為對于非專家觀察者來說不易覺察。僅對于高壓縮范圍，例如具有大于約24的量化器參數(shù)(“QP”)的范圍，對于一些測試序列，專家觀察者能夠檢測到輕微的下降。
因此，用于條件解塊濾波器的該新標準增加了在判定處理中涉及的操作數(shù)量，但是實現(xiàn)了計算復雜性的整個減少，因為當未做出判定來過濾一些線性變換時節(jié)省了計算。實驗已經表明減少了操作而沒有明顯損失視覺質量。
根據(jù)此處的示教，本領域的普通技術人員可以容易地查明本發(fā)明的這些和其它特征及優(yōu)點。應當理解，本發(fā)明的原理可以以硬件、軟件、固件、專用處理器、或其組合的各種形式來實現(xiàn)。
最好是，本發(fā)明的原理被實現(xiàn)為硬件和軟件的組合。此外，所述軟件最好被實現(xiàn)為被有形具體化在程序存儲設備上的應用程序。所述應用程序可被上傳到包括任何適當體系結構的機器并由其執(zhí)行。最好是，所述機器在計算機平臺上實現(xiàn)，所述計算機平臺包括諸如一個或多個中央處理單元(“CPU”)、隨機存取存儲器(“RAM”)、和輸入/輸出(“I/O”)接口的硬件。所述計算機平臺還可以包括操作系統(tǒng)和微指令代碼。此處所描述的各種處理和功能可以是可由CPU執(zhí)行的部分微指令代碼或部分應用程序，或者是其任意組合。另外，各種其它外圍單元可以連接到諸如附加數(shù)據(jù)存儲單元和打印單元的計算機平臺。
將被進一步理解的是，因為在附圖中描述的一些組成的系統(tǒng)構和方法最好以軟件來實現(xiàn)，因此系統(tǒng)構件或處理功能塊之間的真正連接可能根據(jù)本發(fā)明的實施例被編程的方式而有所不同。假設此處的示教，本領域的普通技術人員將能夠預料本發(fā)明的這些和類似實現(xiàn)或配置。
盡管此處已經參考附圖描述了示例性實施例，但是應當理解本發(fā)明不限于這些明確的實施例，并且在不背離本發(fā)明的范圍或精神的情況下，其中本領域的普通技術人員可以進行各種變化和修改。所有這些變化和修改往往包含在所附權利要求闡述的本發(fā)明的范圍之內。
權利要求
1.一種用于解塊經塊變換處理的像素數(shù)據(jù)的方法，所述方法包括分別接收(412)指出位于一塊變換的相對邊上的至少兩個像素的色度電平的信號；計算(414)所述至少兩個像素的色度級之間的距離測量；將所述距離測量與至少一個閾值進行比較(416)；和響應所述比較步驟，有條件地過濾(422)包括所述塊變換處的所述至少兩個像素的多個相鄰像素。
2.如權利要求1的方法，還包括步驟響應所述距離測量選擇(420)將被應用的解塊過濾強度的步驟。
3.如權利要求1的方法，其中，存在大約四個從所述塊變換的每一邊有條件地過濾的像素，所述像素沿一條跨越所述塊變換的直線放置。
4.如權利要求1的方法，其中，所述至少一個閾值的值近似為1。
5.如權利要求1的方法，其中，所述有條件過濾的步驟被分離地應用于與所述變換相鄰的每個像素，并且只對其中所述變換處的所有像素落入所述閾值范圍以外的多個塊才省略過濾。
6.如權利要求1的方法，還包括平均包括所述至少兩個像素中的至少一個的多個相鄰像素的步驟，其中，所提供的色度級信號指出所述多個相鄰像素的平均色度級。
7.如權利要求6的方法，其中，只對其中所述變換處的平均色度落入所述閾值范圍以外的塊才省略過濾。
8.如權利要求1的方法，其中，所述條件過濾是基于線性的。
9.如權利要求1的方法，其中，所述條件過濾是基于基塊的。
10.如權利要求1的方法，還包括將所述像素數(shù)據(jù)編碼為多個塊變換系數(shù)；和有條件地解塊一反饋回路內的所述像素數(shù)據(jù)。
11.如權利要求1的方法，還包括從多個塊變換系數(shù)解碼所述像素數(shù)據(jù)；和有條件地解塊一反饋回路內的所述像素數(shù)據(jù)。
12.如權利要求1的方法，還包括根據(jù)多個塊變換系數(shù)解碼所述像素數(shù)據(jù)；和有條件地解塊一反饋回路之后的所述像素數(shù)據(jù)。
13.如權利要求1的方法，還包括接收一量化器參數(shù)；和只有在所述量化器參數(shù)的值小于近似25的情況下才進行有條件地過濾。
14.一種用于將像素數(shù)據(jù)編碼為多個塊變換系數(shù)的編碼器(100)，所述編碼器包括一條件解塊濾波器(140)，用于只對滿足色度距離測量標準的塊變換進行過濾。
15.如權利要求14的編碼器，所述條件解塊濾波器包括一接收部件，用于接收分別表示位于塊變換的相對邊上的至少兩個像素的色度級的信號；一計算部件，用于計算所述至少兩個像素的色度級之間的距離測量；一比較部件，用于響應所述計算部件將所述距離測量與至少一個閾值進行比較；和一過濾部件，用于響應所述比較部件的比較結果，有條件地過濾多個相鄰像素，所述多個相鄰像素包括在所述塊變換處的至少兩個像素。
16.如權利要求15的編碼器，所述條件解塊濾波器還包括一過濾強度部件，用于響應所述距離測量來選擇將被應用的解塊過濾強度。
17.一種用于解碼已編碼的塊變換系數(shù)以提供重構的像素數(shù)據(jù)的解碼器(200，300)，所述解碼器包括用于只對滿足色度距離測量標準的塊變換進行過濾的條件解塊濾波器(240，340)。
18.如權利要求17的解碼器，其中，所述條件解塊濾波器包括一接收部件，用于接收分別指出位于塊變換的相對邊上的至少兩個像素的色度級的信號；一計算部件，用于計算所述至少兩個像素的色度級之間的距離測量；一比較部件，其響應所述計算部件將所述距離測量與至少一個閾值進行比較；和一過濾部件，其響應所述比較部件的比較有條件地過濾多個相鄰像素，所述多個相鄰像素包括在所述塊變換處的所述至少兩個像素。
19.如權利要求18的解碼器，所述條件解塊濾波器還包括一過濾強度部件，用于響應所述差異測量來選擇將被應用的解塊過濾強度。
20.如權利要求17的解碼器，其中，所述條件解塊濾波器被放置在用于在運動補償期間解塊的反饋回路之內。
21.如權利要求17的解碼器，其中，所述條件解塊濾波器被放置在用于在運動補償后解塊的反饋回路之后。
全文摘要
公開了一種用于解塊經由塊變換處理的像素數(shù)據(jù)的編碼器(100)、解碼器(200，300)及其相應方法(400)，所述編碼器包括用于只對滿足色度差測量標準的塊變換進行過濾的條件解塊濾波器(140)；所述解碼器包括用于只對滿足色度差測量標準的塊變換進行過濾的條件解塊濾波器(240，340)；和用于解塊的方法包括接收(412)位于塊變換的相對邊上的至少兩個像素的色度級信號；計算(414)所述至少兩個像素的色度級之間的距離測量；將所述距離測量與至少一個閾值進行比較(416)；和響應所述比較，有條件地過濾(422)包括塊變換處的所述至少兩個像素的相鄰像素。
文檔編號H04N7/50GK1659784SQ03813491
公開日2005年8月24日 申請日期2003年4月14日 優(yōu)先權日2002年5月1日
發(fā)明者克里斯蒂娜·戈米拉 申請人:湯姆森特許公司