專利名稱：圖像壓縮與解壓縮的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于圖像壓縮和解壓縮的方法和設(shè)備。
背景技術(shù)：
不但在視頻壓縮的上下文中而且對于個體圖像，有損圖像壓縮的方法
是已知的。主要的例子是在各種MPEG和JPEG壓縮/解壓縮標(biāo)準(zhǔn)中定義的 方法，它們包括圖像數(shù)據(jù)的粗量化。這些有損壓縮方法引入了偽像 (artefact)，即，在原始圖像與經(jīng)壓縮和解壓縮之后得到的重建圖像之間 的差異。
在S. Wittmann和T. Wedi的、在18th meeting of the Joint Video Team (JVT) of ISP/IEC MPEG & ITU-T VCEG上的、題目為"Post filter SEI message for 4:4:4 coding"的出版物(document number JVT S030)中已經(jīng)描述 了減小這些差異的方法。
在這份出版物中，提出了把定義用于FIR(有限脈沖響應(yīng))后濾波器的 濾波器系數(shù)的消息添加到MPEG視頻流，以便減小壓縮偽像，其中所述 FIR后濾波器要在譯碼器一側(cè)被應(yīng)用于譯碼的圖像。使用了維納濾波，也 就是說，定義了對于在原始圖像與經(jīng)后濾波的解壓縮圖像之間的差異的統(tǒng) 計(jì)測度(measure),并且選擇濾波器系數(shù)，以便它們使這個測度的值最小化。 正如可指出的，這意味著，濾波器系數(shù)的值取決于圖像的內(nèi)容。在編碼器 中計(jì)算濾波器系數(shù)，并將之包括在視頻流中。譯碼器從所述流中提取系數(shù)， 并使用所提取的系數(shù)來施加后濾波。
不幸的是，這種類型的后濾波只提供壓縮偽像的有限減小。
發(fā)明概要
本發(fā)明的目的尤其是提供一種減小壓縮偽像的方法。 提供了按照權(quán)利要求1的解壓縮設(shè)備。這里，對于在解壓縮圖像中多 個像素的每一個，根據(jù)相對于該像素的相應(yīng)窗口中的圖像內(nèi)容來分類像 素。所述分類被使用來從隨圖像一起被傳送的多個控制參數(shù)組中選擇一個控制參數(shù)組。所選擇的控制參數(shù)組被使用來控制對于像素的后處理。以這 種方式，使得有可能在圖像的不同像素處使用不同的后處理。在檢測到不 同類別的特征的像素處，例如可以使用不同的控制參數(shù)組來進(jìn)行后濾波。 類似地，在出現(xiàn)不同方向的梯度的地方，可以使用不同的控制參數(shù)組來進(jìn) 4亍后濾波。
在本發(fā)明的框架內(nèi)，"后濾波"和"后處理"包括在圖像的完全譯碼之 后，即在完全的譯碼處理過程之后的濾波和處理。經(jīng)常使用循環(huán)過程來譯 碼圖像，其中在初始譯碼后執(zhí)行循環(huán)過程，以便得到最后的譯碼的圖像。
最后的譯碼的圖像接著在環(huán)外(out-of-loop)被濾波。本發(fā)明的這樣的'環(huán)
外的，實(shí)施例形成優(yōu)選的實(shí)施例組。
在本發(fā)明的構(gòu)思內(nèi)，也包括環(huán)內(nèi)(in-loop)濾波器的應(yīng)用，例如，也包 括解塊(deblocking)濾波器的環(huán)內(nèi)應(yīng)用。在初始譯碼步驟之后接著在環(huán)內(nèi) 應(yīng)用"后濾波"。本發(fā)明的這樣的'環(huán)內(nèi)，實(shí)施例也形成優(yōu)選的實(shí)施例組。
在實(shí)施例中，控制參數(shù)組連同壓縮的圖像一起被復(fù)用成圖像流。替換 地，當(dāng)解壓縮設(shè)備的用戶已預(yù)訂以接收要施加后處理的圖像時，控制參數(shù) 組和壓縮的圖像可以分開地提供到解壓縮設(shè)備，例如，提供到解壓縮設(shè)備 的輸入的分開的子輸入。
在實(shí)施例中，后處理包括用濾波器——例如有限脈沖響應(yīng)濾波器—— 按由控制參數(shù)組定義的濾波器系數(shù)進(jìn)行濾波。但替換地，可以使用其它形 式的后處理，諸如用由控制參數(shù)組定義的統(tǒng)計(jì)參數(shù)進(jìn)行紋理的本地添加。
提供了按照權(quán)利要求18的壓縮設(shè)備。這個壓縮設(shè)備為不同類別選擇 控制參數(shù)組，并把它們添加到壓縮的圖像信號。在一個實(shí)施例中，該壓縮 設(shè)備還根據(jù)圖像的內(nèi)容來選擇類別定義，并把它添加到壓縮的圖像信號。 所述類別定義可包括例如在解壓縮圖像的窗口中的像素值的代表性矢量。 在一個實(shí)施例中，為多個輸入圖像共同地計(jì)算多個控制參數(shù)組。以這種方 式，控制參數(shù)組可以被再利用(reuse)于不同的圖像。這減小了壓縮的信 號所需要的帶寬?？刂茀?shù)組可以根據(jù)在輸入圖像與由解壓縮的圖像信號 定義的解壓縮圖像之間的差異而被選擇，以便對定義這個差異的后處理操 作進(jìn)行定義。
附圖簡述
從將要使用以下的附圖予以描述的示例性實(shí)施例中，將明白這些和其它目的以及有利的諸方面。


圖1顯示壓縮設(shè)備；
圓2顯示解壓縮設(shè)備；
圖3顯示后濾波器的實(shí)施例；
圖3a圖示像素的聚類(cluster);
圖3b和3c圖示正面效果；
圖4顯示解壓縮設(shè)備；
圖5顯示參數(shù)估計(jì)器16的圖6顯示后處理器；
圖7顯示壓縮-解壓縮系統(tǒng)；
圖8顯示壓縮設(shè)備；
圖9顯示解壓縮設(shè)備；
圖10顯示壓縮-解壓縮系統(tǒng)；
圖11圖示其中梯度被用作為選擇準(zhǔn)則的實(shí)施例；
圖12圖示當(dāng)梯度被用作為選擇準(zhǔn)則時聚類中心(cluster center )的位
置；
圖13圖示使用梯度作為選擇準(zhǔn)則的優(yōu)點(diǎn)； 圖14圖示分級結(jié)構(gòu)；
圖15a、 15b和15c圖示使用解塊功能的另一個實(shí)施例； 圖16圖示被使用來決定像素po和qo是否與子塊邊緣BE相鄰的條件 的例子；
圖17提供比特率減小的測量結(jié)果；
圖18圖示另一個實(shí)施例；
圖19圖示顯示旋轉(zhuǎn)對稱性的圖案；
圖20圖示顯示就移位來說的對稱性的圖案；
圖21圖示顯示就翻轉(zhuǎn)來說的對稱性的圖案；
圖22a到22c圖示顯示在變換下的不變性的圖案的例子；
圖23示意性地圖示一種信號。
實(shí)施例詳細(xì)說明
圖1顯示一種壓縮設(shè)備。該壓縮設(shè)備包括流輸入10、壓縮器12、解 壓縮器14、參數(shù)估計(jì)器16、流復(fù)用器18和壓縮流輸出19。壓縮器12具有被耦合到流輸入10的輸入和被耦合到流復(fù)用器18的輸出。解壓縮器14
具有被耦合到壓縮器12的輸出的輸入。參數(shù)估計(jì)器16具有被耦合到流輸 入10和被耦合到解壓縮器14的輸出的輸入。參數(shù)估計(jì)器16具有被耦合 到流復(fù)用器18的輸出，用于提供參數(shù)數(shù)據(jù)17。流復(fù)用器18具有被耦合到 壓縮流輸出19的輸出。
圖2顯示一種解壓縮設(shè)備。該解壓縮設(shè)備包括壓縮流輸入20、流分用 器(demultiplexer) 22、解壓縮器24、后濾波器26和解壓縮的輸出28。 流分用器22具有被耦合到壓縮流輸入20的輸入、以及被耦合到解壓縮器 24的輸入與后濾波器26的控制輸入的輸出。后濾波器26具有被耦合到解 壓縮器24的輸出的信號輸入、以及被耦合到壓縮流輸出的輸出。
在這兩個圖上，僅僅顯示了與圖像壓縮和解壓縮相關(guān)的部件。應(yīng)當(dāng)理 解，可以存在例如用于音頻壓縮與解壓縮、數(shù)據(jù)管理等等的其它部件。而 且，應(yīng)當(dāng)意識到，不同的部件可以通過使用一個或多個可編程處理電路來 實(shí)施，該可編程處理電路通過一個程序被編程為使得該處理電路作為相關(guān) 的部件運(yùn)行。 一個可編程處理電路可被使用來在不同程序的控制下作為所 述部件中不同的部件運(yùn)行，或者可以使用不同的處理電路。作為替換例，
所述部件可以通過使用專用電路來實(shí)施，或是作為被編程電路和專用電路 的混合體而纟皮實(shí)施。
在運(yùn)行時，壓縮設(shè)備產(chǎn)生壓縮的流，且壓縮流被施加到解壓縮設(shè)備。 可以使用任何方式的耦合。例如，來自壓縮設(shè)備的壓縮流可以被廣播，或 經(jīng)由任何介質(zhì)(未示出)一對一地傳送，并被提供到解壓縮設(shè)備，或者它可 以被存儲在存儲裝置中，然后從存儲裝置被施加到解壓縮設(shè)備。當(dāng)然，可 以使用存儲和廣播或傳輸?shù)娜魏位旌稀?br> 壓縮器12和解壓縮器14、 24執(zhí)行圖像的壓縮和對應(yīng)的解壓縮?？梢?使用任何形式的壓縮和解壓縮，例如象由任何MPEG標(biāo)準(zhǔn)定義的。流復(fù)用 器18把壓縮的圖像數(shù)據(jù)與任何想要的其它數(shù)據(jù)組合成壓縮流。流分用器 22提取壓縮的圖像數(shù)據(jù)，并把所提取的數(shù)據(jù)提供到解壓縮器24。解壓縮 器解壓縮圖像數(shù)據(jù)，并把解壓縮的圖像數(shù)據(jù)提供到后濾波器26。后濾波器 26對該數(shù)據(jù)進(jìn)行濾波，并輸出經(jīng)濾波的圖像數(shù)據(jù)，其例如可被使用來控制 顯示設(shè)備(未示出)以在屏幕上再現(xiàn)圖像。
雖然復(fù)用器18和分用器22被顯示，使得壓縮的圖像和用于后處理該 圖像的控制參數(shù)組可被組合在一個圖像信號中，但應(yīng)當(dāng)意識到，壓縮的圖像和控制參數(shù)組也可以被分開地提供，例如通過給壓縮設(shè)備和解壓縮設(shè)備 提供用于這些信號的分開的子輸出和子輸入來進(jìn)行。這具有需要更復(fù)雜的 轉(zhuǎn)移信號的方法的缺點(diǎn)，但它具有如下優(yōu)點(diǎn)控制參數(shù)組可以在不需要時 被省略，例如壓縮的圖像被帶有和不帶有后處理選項(xiàng)地給訂戶提供。 后濾波
參數(shù)估計(jì)器16選擇用于控制由后濾波器26進(jìn)行的后濾波的參數(shù)。參 數(shù)估計(jì)器16把選擇的參數(shù)提供到流復(fù)用器18,流復(fù)用器18把該參數(shù)添加 到壓縮流中。流分用器22提取參數(shù)，并把提取的參數(shù)提供到后濾波器26。 后濾波器26使用所述參數(shù)來控制后濾波。
圖3顯示后濾波器的實(shí)施例。在這個實(shí)施例中，后濾波器包括窗口收 集器30、聚類選擇器32、聚類定義存儲器34、系數(shù)存儲器36、控制接口 38和FIR濾波器39。窗口收集器30被耦合到解壓縮器(未示出)的輸出， 并且具有被耦合到FIR濾波器39的輸出。聚類選擇器32具有被耦合到窗 口收集器30和聚類定義存儲器34的輸出的輸入。聚類選擇器32具有被 耦合到系數(shù)存儲器36的輸入的輸出。系數(shù)存儲器36具有被耦合到FIR濾 波器39的系數(shù)輸入的輸出。控制接口 38具有用于接收來自流分用器(未示 出)的控制數(shù)據(jù)的輸入、以及被耦合到聚類定義存儲器34和系數(shù)存儲器36 的輸出。雖然圖1的各種單元，諸如存儲器34、 36，被顯示為是后濾波器 26的一些部分，但應(yīng)當(dāng)理解，它們也可以-敗看作為是解壓縮設(shè)備的分開的 部分，而不是后濾波器的部分。
在運(yùn)行時，窗口收集器30為在圖像中像素位置的移動窗口(例如，3 x3像素位置窗口)中的像素位置收集像素值。窗口收集器30把對于窗口 的像素值施加到FIR濾波器39。 FIR濾波器39將輸出像素值計(jì)算為像素 值與濾波器系數(shù)的乘積的和值。對于窗口中的各個位置，依據(jù)像素值和與 該位置相關(guān)聯(lián)的濾波器系數(shù)來計(jì)算每個乘積。乘積的和值可被歸一化，并 作為對于 一個對應(yīng)于窗口位置的像素位置的、經(jīng)后濾波的像素值而被輸 出。這對于一系列窗口位置重復(fù)進(jìn)行，以產(chǎn)生對于在相對于窗口位置的預(yù) 定相對位置處(例如，在3x3窗口的中心點(diǎn)處的輸出像素位置，但可以使 用其它預(yù)定的相對位置)的一系列像素位置的輸出像素值。
聚類選擇器32和系數(shù)存儲器36控制被FIR濾波器39使用的系數(shù)。 在聚類定義存儲器34中的信息定義多個聚類，每個聚類對應(yīng)于在窗口中 的像素值的一組可能的組合。系數(shù)存儲器36存儲對于每個聚類的相應(yīng)的濾波器系數(shù)組。聚類選擇器32接收由解壓縮器(未示出)產(chǎn)生的、在當(dāng)前窗 口中的像素值的組合，并依據(jù)這些像素值，聚類選擇器32對窗口的內(nèi)容
分類，也就是，確定這個組合所屬于的聚類。聚類選擇器32使用這個聚 類的標(biāo)識來尋址系數(shù)存儲器36，并且作為響應(yīng)，系數(shù)存儲器36把對應(yīng)的 濾波器系數(shù)組提供給FIR濾波器39。這對于一系列窗口位置重復(fù)進(jìn)行。因 此，對于每個窗口位置，按照窗口位置的分類(對于該窗口位置而選擇的聚 類)來濾波像素值，以產(chǎn)生對于相應(yīng)像素位置的輸出像素值。
在一個實(shí)施例中，聚類定義存儲器34存儲對于每個聚類的像素值的 代表性組合。在這個實(shí)施例中，聚類由到這些代表性組合的距離來定義。 像素值的任何給定的組合到像素值代表性組合中的不同組合具有不同的 距離。給定的組合屬于聚類中具有處于最短距離的代表性組合的那一個聚 類。
在這個實(shí)施例中，聚類選擇器32通過識別在最小距離上的代表性組合 而進(jìn)行分類。在另一個實(shí)施例中，僅僅使用像素值的亮度分量來定義聚類。 因此，例如，如果使用3x3窗口，則每個代表性組合包括9個亮度值 (Yl(j), Y2(j),... Y9(j))
這里，"j"是聚類的標(biāo)號。在這個實(shí)施例中，聚類選擇器32接收對于 在當(dāng)前窗口中的像素位置的亮度值(L1,L2,.,丄9)，并選擇使得以下距離最 小化的聚類j:
|L1-Yl(j)|+ |L2-Y2(j)|+…+lL9-Y9(j)1
(I l表示絕對值)。在這個實(shí)施例中，聚類選擇器32使用標(biāo)號j來選 擇濾波器系數(shù)組。
圖3 a顯示其中幾個關(guān)鍵幀被選擇用于找出濾波器系數(shù)的場景的例子。 用于聚類的特征矢量是在如上所述的圍繞像素的本地3x3窗口中的亮度。 圖3a中的上部的行給出原始幀，底部的行給出譯碼的幀。幾個聚類的單 元被在底部行上指示。這些聚類包括具有相似圖案的區(qū)域或像素。在本例 中，使用20個聚類。圖3a顯示了把相似的圖案聚合成聚類。聚類被散布 在圖像上，經(jīng)常是這樣，因?yàn)榫垲愑蓤D像上的相似的圖案組成。聚類算法 可以是基于用來找出相似圖案的不同方案和公式。在本例中，算法是基于 亮度值。
圖3b顯示對于這種情景的正面效果。在一個曲線圖中，形成平均的 PSNR-Y，它是對于失真的測度。曲線A圖示對于譯碼的信號的PSNR-Y值；曲線B圖示在應(yīng)用聚類并施加自適應(yīng)濾波器后的PSNR-Y值。平均的 PSNR-Y值從32.38dB增加到32扁B，有0.5dB的改進(jìn)。
應(yīng)當(dāng)指出，在幀315附近存在場景改變，以及在所述場景改變之后， 先前的場景的聚類不再是最佳的。對降級的檢測可被使用來動態(tài)地更新聚 類選擇和對應(yīng)的濾波器系數(shù)。在離線情況下，可能的場景改變可以通過場 景劃分而被預(yù)先確定。
圖3c圖示對于H.264編碼的視頻的PSNR-Y值的增加，該P(yáng)SNR-Y 值是作為比特率的函數(shù)。在所有的比特率下，存在PSNR-Y值的顯著的增 加。
圖3d圖示作為聚類數(shù)目的函數(shù)的PSNR-Y值的增加。優(yōu)選的聚類數(shù) 目是5或更高，最優(yōu)選地小于30。當(dāng)聚類數(shù)目增加時計(jì)算負(fù)荷增加，而附 加增益變?yōu)楦　?br> 在本例中，對于一個視頻場景，后處理函數(shù)包括40個浮點(diǎn)數(shù)(聚類中 心和濾波器系數(shù))。這個信息可被進(jìn)一步量化并被熵編碼，以便進(jìn)一步減小 比特代價(jià)?？紤]可以用相同的數(shù)據(jù)進(jìn)行后處理的圖像幀(屬于一個場景)的 量，這個額外的代價(jià)在實(shí)際的意義上可被忽略，而好處是相當(dāng)大的和可測 量的。
應(yīng)當(dāng)強(qiáng)調(diào)指出，這個實(shí)施例僅僅是一個例子?？梢允褂萌魏纹渌亩?義聚類的方法。例如，來自窗口中不同位置的像素值在計(jì)算距離時可以被
不同地加權(quán)，或者顏色分量可以:故不同地加權(quán)(例如，通過僅^叉使用一個顏
色分量來聚類)。代替絕對值的和，例如可以使用平方和。
代替使用到 一組亮度值的距離，可以使用到亮度值組合與亮度值的標(biāo) 準(zhǔn)矢量的一組標(biāo)量積的距離等等。代替對于個體聚類的代表性矢量，可以 使用參考矢量的系統(tǒng)來控制沿著決策樹的在聚類組之間的選擇。代替提供 代表性矢量，可以提供不同的矢量來用于在聚類或聚類組等等之間進(jìn)行選 擇。這里"對矢量進(jìn)行分類"將被使用于任何這樣類型的分類，而不管所述 分類是通過首先把矢量的相關(guān)分量分組成一個矢量、還是僅僅通過考慮這
些分量而被執(zhí)行的——在"分類，，的上下文中，術(shù)語"矢量"被使用來表示 多個分量被使用于分類。對應(yīng)地，聚類選擇器32可以使用其它方法來選 擇在分類時被使用的聚類和"聚類矢量"的分量。
雖然描述了其中聚類是藉助于對于鄰接像素位置的窗口的解壓縮值 Yl、 Y2、...而被選擇的實(shí)施例，但應(yīng)當(dāng)意識到，替換地可以使用對于位置的不同組合的信號值。例如，替代使用來自3x3窗口的個體像素值的 組合，可以使用平均像素值的組合，其中每個平均像素值用于一組像素位
置塊中的相應(yīng)的一個。例如，在8 x 8像素塊的3 x 3窗口中的這樣的8 x 8 像素塊。作為另一個例子，替代使用來自3x3窗口的個體像素值的組合， 可使用子采樣值來選擇聚類，其中所述子采樣值來自相對于當(dāng)前像素位置 的預(yù)定的非鄰接位置。
作為再一個例子，可使用以下的步驟來得出類別
1. 從給定的圖像信息中提取來自構(gòu)成該圖像信息的譯碼幀子集的每 一個像素的所有MxM鄰居窗口 。每個窗口由一個特征矢量x，代表，該特 征矢量x，由其亮度組成。該矢量可以通過從每個矢量減去所有分量的平均 值而被歸一化。因此，圍繞一像素的4x4窗口由一個16維矢量代表，該 16維矢量在它的所有軸上具有0.... 255的數(shù)值(對于256種顏色)。5 x 5窗 口由25維矢量代表等等。
2. 把該特征矢量采樣成預(yù)定義的類別數(shù)目N，以使得總計(jì)類別內(nèi)方差
在上文中有總共N個類別d(15 gN), x，是16或25維矢量(分別對于4x4， 5x5窗口)的樣本，以及Hi，是屬于類別Ci的所有矢量x，的平均矢量。這樣 的分類可以通過使用迭代方法而容易地進(jìn)行。結(jié)果，找到每個類別或聚類 的中心，表示相同的，即，多個單元的聚類和類別。這個中心被存儲來代 表該類別。最接近每個中心的矢量形成一個聚類或類別的一部分。在本例 中，使用平方和，在先前的例子中，使用絕對值的和。在每個例子中，使 用總共N個類別。
3.對于每個被標(biāo)識的類別，確定濾波器系數(shù)。濾波器對于譯碼幀的應(yīng) 用提供了對于在譯碼的低res幀中每個像素的新像素值p"， p"是基于該像 素的MxM鄰居。目標(biāo)是使得對于在每個類別中的所有樣本，預(yù)測的值p" 與對應(yīng)的原始像素值p之間的MSE(均方誤差)最小化。這可被看作為一個 標(biāo)準(zhǔn)的最小平方問題，它可以通過多變量線性回歸或用來求解最小平方問 題的其它已知的技術(shù)而被解決。
基于5x5窗口和總共5個類別來使用濾波器，與其它已知的技術(shù)相比較，發(fā)現(xiàn)有約ldB的PSNR-Y值的典型的改進(jìn)。
另外，用于選擇聚類的窗口不一定與在FIR濾波器中使用的窗口相同。 雖然優(yōu)選地，這些窗口至少重疊，以使得對于一像素位置的選擇的濾波器 系數(shù)依賴于該位置的一個接近的范圍，但聚類也可以基于與由FIR濾波器 所使用的窗口不重疊的窗口進(jìn)行選擇。
而且，代替使用像素值(或除了使用像素值以外)，可以使用運(yùn)動矢量 來對位置進(jìn)行分類。正如本身已知的，在視頻流中的圖像可以按照像素塊 的運(yùn)動矢量進(jìn)行編碼，該運(yùn)動矢量為每個塊定義塊在另一個圖像中的位 置，像素必須從該圖像復(fù)制到所述塊中。在一個實(shí)施例中，在相對于一像 素位置的預(yù)定位置處的多個塊的運(yùn)動矢量可被使用來把該像素位置指派 給聚類。這可以以幾乎與按照像素值進(jìn)行聚類相同的方式完成。
圖4顯示一個實(shí)施例，其中解壓縮器24包括圖像解壓縮器240、運(yùn)動 矢量提取器242和參考圖像存儲器244。這里，運(yùn)動矢量提取器242從進(jìn) 入的視頻信息中提取運(yùn)動矢量，并把提取的運(yùn)動矢量提供到圖像解壓縮器 240,以指示必須從參考圖像存儲器244中的何處取裝像素塊。另外，所 提取的運(yùn)動矢量被提供到聚類選擇器32,它使用在對于相對于一像素位置 的預(yù)定位置處的塊的"運(yùn)動矢量的矢量"與對于不同聚類的運(yùn)動矢量的代 表性矢量之間的運(yùn)動矢量差異。當(dāng)然，基于運(yùn)動矢量的聚類選擇也可以通 過除確定與代表性矢量的差異之外的其它方法而被執(zhí)行。另外，應(yīng)當(dāng)認(rèn)識 到，對于運(yùn)動到圖像的運(yùn)動矢量和/或?qū)τ谶\(yùn)動自圖像的矢量都可以被使用 于聚類。而且，雖然優(yōu)選地可以使用來自視頻流的編碼的運(yùn)動矢量，但應(yīng) 當(dāng)意識到，替換地，可以使用以預(yù)定的方式從視頻流的圖像的圖像內(nèi)容確 定的運(yùn)動矢量。
在另一個實(shí)施例中，選擇器32可以使用與包含像素值和運(yùn)動矢量的 代表性矢量的差異，其中在確定差異時對于代表性矢量的不同分量可以使 用不同的權(quán)重。
應(yīng)當(dāng)指出，所使用的聚類是在窗口中像素值的可能組合的空間中的聚 類，而不是像素位置的聚類。實(shí)際上，已看到，在相鄰窗口位置處對于窗 口的像素值的組合常常導(dǎo)致相同的聚類選擇，但這并不定義聚類。即使--在圖像區(qū)域具有一些窗口位置、其大部分有一個指派的聚類時--該區(qū) 域中的許多窗口位置具有不同的指派的聚類，這種后濾波的形式也很適 用。最終，是經(jīng)濾波的像素值，而不是被使用來獲得它的聚類有重要性。而且，雖然作為例子使用了 FIR濾波器39,但應(yīng)當(dāng)意識到，可以代之 以使用其它類型的濾波器。例如，可以使用非線性濾波器，或使用其中輸 出依賴于對于一個或多個相鄰位置的濾波器輸出的遞歸濾波器。另外，當(dāng) 然，可以使用3 x 3之外的任何其它尺寸的窗口 ，例如，使用3xl尺寸的 窗口(水平方向三個像素位置和垂直方向一個像素位置)。
在前述的例子中，定義圖像的信息，諸如像素值、運(yùn)動矢量等等，被 使用來選擇聚類。另外，明顯的聚類選擇信息也可以被包括在壓縮的圖像 信號中。這增加了信號的尺寸，但它可有助于簡化分類。在一個實(shí)施例中， 這樣的明顯的聚類選擇信號可以是由解壓縮設(shè)備使用來選擇聚類的最合 適的信息。
可以使用后濾波器的部件的任何方便的實(shí)現(xiàn)。在一個例子中，后濾波 器使用在存儲器中的完整存儲的圖像，窗口收集器30從存儲器中檢索用 于窗口的像素值。在另一個實(shí)施例中，窗口收集器30僅僅緩沖來自足夠 數(shù)目的圖像行的像素值，以便提供用于窗口的像素值。不同的部件可以通 過使用一個或多個可編程處理電路而被實(shí)施，該可編程處理電路通過程序 被編程為使得該處理電路作為相關(guān)的部件運(yùn)行。 一個可編程處理電路可以 在不同程序的控制下被使用來作為所述部件中不同的部件運(yùn)行，或者可以 使用不同的處理電路。作為替換例，所述部件可以通過使用專用電路來實(shí) 施，或是作為編程的和專用的電路的混合體而被實(shí)施。
如所顯示的，后濾波器26及關(guān)聯(lián)部件是完整解壓縮設(shè)備的一部分。 然而，應(yīng)當(dāng)意識到，它可以-故實(shí)施在分開的設(shè)備中。在一個實(shí)施例中，這 樣的設(shè)備可被用作為在諸如移動電話那樣的移動設(shè)備和更高質(zhì)量的顯示 設(shè)備(例如，電視監(jiān)視器)之間的接口。在另一個實(shí)施例中，解壓縮設(shè)備可 以重新壓縮后濾波的結(jié)果，以便生成改進(jìn)質(zhì)量的#見頻流。
參數(shù)估計(jì)
圖5顯示參數(shù)估計(jì)器16的圖。參數(shù)估計(jì)器16包括聚類單元40、窗口 收集器42、系數(shù)選擇器44和輸出接口 46。系數(shù)選擇器44具有被耦合到 流輸入10和經(jīng)由窗口收集器42被耦合到解壓縮器14的輸入，以及具有 被耦合到聚類單元40的控制輸入。
在運(yùn)行時，系數(shù)選擇器44選擇用于各自聚類的濾波器系數(shù)組。對于 每個聚類，可以選擇一個系數(shù)組，它使得差異的平均測度最小化，所述差 異是指在來自流輸入10的像素值與通過使用濾波器系數(shù)組來后濾波由壓縮器12和解壓縮器14進(jìn)行的壓縮和解壓縮的結(jié)果而得到的像素值之間的 差異。差異的平均測度是在被指派給相同聚類的像素位置上取平均。例如 可以使用均方差，但可以使用任何其它測度，諸如感性差異的統(tǒng)計(jì)測度。 用于選擇系數(shù)組使得對于給定像素組的平均測度最小化的技術(shù)本身是已 知的。
聚類單元40確定把像素指派給哪些聚類。這可以以對應(yīng)于在解壓縮 設(shè)備中的聚類選擇的方式來完成。在一個實(shí)施例中，聚類單元40還選擇 聚類。可以使用任何聚類技術(shù)(對于聚類，我們不僅僅是指盲尋找分開的聚 類，而且分類到預(yù)定義聚類也將起作用)。通過使用多個不同的聚類，與使 得在各個聚類內(nèi)后濾波的結(jié)果與原始像素值之間的差異最小化的濾波器 系數(shù)組相組合，可以保證在后濾波的圖像與原始圖像之間的差異的總測度 (例如，平方差的和值)小于在對整個圖像使用單一濾波器系數(shù)組的情況下 得到的測度。這已經(jīng)減小了對于任意選擇的聚類的總的差異。然而，在幾 個實(shí)施例中，聚類被選擇來使得差異的減小最佳化。聚類的選擇可以在選 擇用于該聚類的濾波器系數(shù)之前執(zhí)行，或與濾波器系數(shù)選擇相組合地執(zhí) 行。
本發(fā)明的總的構(gòu)思是基于通過施加圖像最佳化/訓(xùn)練的濾波器組中的 特定一個濾波器一一所述濾波器的系數(shù)/參數(shù)被添加到信號上，而分析在原 始圖像中存在哪種結(jié)構(gòu)，以及壓縮的版本可如何在譯碼器一側(cè)被改進(jìn)(例 如，典型地看起來更像原始的；或總體上具有更高的圖像質(zhì)量，例如，更 高的銳度)。僅僅需要傳送有限的額外數(shù)據(jù)來規(guī)定那些濾波器；以及例如， 在其上施加那些濾波器中的一些的一對圖像位置。
本發(fā)明構(gòu)思的許多變例是可能的，許多變例在下面被描述，這樣的變 例可以改進(jìn)現(xiàn)有的編碼方案，諸如H265。
通常，人們可以把所有出現(xiàn)的結(jié)構(gòu)簡單地分類成幾個類別(例如，邊 緣,高頻水平紋理,...)，但在本發(fā)明的更廣義的構(gòu)思內(nèi)，人們可以以更加結(jié) 構(gòu)化的/分層次的參數(shù)方式進(jìn)行分類，包括分層次的構(gòu)建，例如首先找出哪 種類型的分類是最適用的，然后執(zhí)行分類，或者還重新分類或不同地分類， 例如聚類和對應(yīng)的濾波器或后處理參數(shù)的選擇可以以迭代方式完成。
在第一步驟，可以定義聚類，隨后定義與聚類相關(guān)聯(lián)的后處理參數(shù)。
本方案通常將提供良好的結(jié)果，但在本發(fā)明的框架內(nèi)，可以應(yīng)用迭代 過程。例如，找出試行的聚類，找出對于試行聚類的濾波器參數(shù)組，精細(xì)化聚類以找出更適當(dāng)?shù)木垲悾?xì)化濾波器參數(shù)組等等；
多個可能的迭代過程例如是
-初始地，聚類內(nèi)的所有單元被給予相同的權(quán)重，用于確定后處理參 數(shù)。 一旦確定初始的參數(shù)組和對應(yīng)的聚類中心，則提供對于在原始像素值 與后處理后的像素值之間的平均差異的初始結(jié)果，取決于到聚類中心的距 離測度，可變的權(quán)重例如以預(yù)定的但可調(diào)節(jié)的方式^f皮加于聚類內(nèi)的每個單
元。使用這樣的權(quán)重，濾波器系數(shù)被重新計(jì)算；如果結(jié)果改進(jìn)，則過程被
反復(fù)進(jìn)行，直至得不到進(jìn)一步的增益或增益的增加降低到閾值以下為止。 這個方案的簡單實(shí)施例是從對于聚類或后處理參數(shù)的計(jì)算中去除聚類內(nèi) 的'奇數(shù)，點(diǎn)，即，對于這樣的單元將權(quán)重設(shè)為零。
-其中，在以上的實(shí)施例中，聚類的單元保持不變，但它們對于系數(shù) 的計(jì)算的影響被改變，替換的方案是保持所確定的濾波器系數(shù)不變以及聚 類中心不變，但把單元從一個聚類移到另一個聚類，由此移位在聚類之間 的邊界，并重新計(jì)算在原始像素值與后處理后的像素值之間的差異。如果 有改進(jìn)，則邊界再稍微地進(jìn)一步移位。
-用以定義聚類中心和聚類的方式取決于聚類算法。正如上面以及下 面說明的，有各種可能的聚類算法，不同點(diǎn)在于它們的聚類基礎(chǔ)(根據(jù)像素 值、根據(jù)運(yùn)動矢量、根據(jù)邊緣、根據(jù)紋理等等)以及用以確定聚類的方式(絕 對值的和值的最小化，或平方和值的最小化)。另一個實(shí)施例是使用組合各 種準(zhǔn)則(諸如像素值和運(yùn)動矢量和/或另外的準(zhǔn)則)的聚類算法，以及使用這 樣的準(zhǔn)則的混合，其中在迭代過程中找出準(zhǔn)則的最佳混合和對應(yīng)的參數(shù) 組。
在本發(fā)明的框架內(nèi)，還包含在編碼一側(cè)處快速我出最佳濾波器的變
例，例如，通過在系數(shù)空間各處跟蹤Pi叩ut/Pcompressed的譜分析。
在一個實(shí)施例中，聚類單元40應(yīng)用聚類技術(shù)來識別像素值的代表性 組合，該代表性組合定義可能組合的空間到處于與各個代表性組合的最接 近距離處的部分的劃分。代表性組合是根據(jù)預(yù)定的聚類質(zhì)量準(zhǔn)則選擇的。 聚類質(zhì)量準(zhǔn)則例如可以是在每個劃分部分中實(shí)際觀察到的組合的數(shù)目在 某些預(yù)定的誤差容限內(nèi)是相同的，或在每個劃分部分內(nèi)實(shí)際觀察到的組合 的散布的測度(例如，離中心像素值的平方距離的和值)低于閾值。例如， 可以使用對在窗口中出現(xiàn)的解壓縮像素值的組合分組的K均值聚類算法。 通過使用這樣的聚類，保證每個濾波器系數(shù)組應(yīng)用到具有相似內(nèi)容的窗口。這使得后濾波后的誤差最小化。
在再一個實(shí)施例中，使用了一種聚類方法，該聚類方法使用基于后濾 波后的剩余誤差的質(zhì)量準(zhǔn)則。在這樣的實(shí)施例的例子中，作出聚類的初始 定義，對于每個聚類選擇出濾波器系數(shù)組，以及計(jì)算對于不同的像素位置 的剩余誤差的大小。如果一聚類的平均尺寸大于閾值，則該聚類被分割， 從原始聚類取兩個實(shí)際觀察到的組合作為新的代表性組合。同樣地，如果 相鄰聚類中的誤差的平均大小低于閾值，和/或在對于這些聚類的濾波器系 數(shù)組之間的差異低于閾值，則聚類可被合并。通過重復(fù)進(jìn)行這個過程許多 次，聚類組可被最佳化。這是迭代過程的另一個例子。
輸出接口 46具有被耦合到聚類單元40和系數(shù)選擇器44的輸入。輸 出接口 46把代表聚類和濾波器系數(shù)的信息提供到流復(fù)用器18，用于提供 到解壓縮設(shè)備，在那里它們將被后濾波器26使用。
在其中視頻圖像流被壓縮的 一個實(shí)施例中，對于流中的每個圖像選擇 聚類和系數(shù)。然而，這并不是必須的。聚類和系數(shù)典型地是與場景相關(guān)的。 當(dāng)場景(或類似的場景)被拍攝到一系列圖像中時，相同的聚類和系數(shù)可被 使用于所有的這些圖像。在另一個實(shí)施例中，參數(shù)估計(jì)器16被配置成檢 測在其中可以使用相同的聚類和系數(shù)的圖像組，以及僅僅當(dāng)聚類和系數(shù)被 改變時用信號通知。在這種情形下，后濾波器26保持先前接收的聚類定 義和濾波器系數(shù)組，并施加它們以后濾波解壓縮圖像，直至被用信號通知 聚類和系數(shù)改變?yōu)橹埂?br> 在這個實(shí)施例中，參數(shù)估計(jì)器16可以通過使用對于每個進(jìn)入的圖像 的當(dāng)前組而計(jì)算在后濾波后的剩余誤差的大小，以及僅僅在所述大小超過 閾值時(以及，可選地，也在自從上一個新的系數(shù)和聚類組以來預(yù)定數(shù)目的 圖像后)，才切換到新的系數(shù)和聚類組的計(jì)算。在另一個實(shí)施例中，參數(shù)估 計(jì)器16可以首先選擇視頻流的部分，以及計(jì)算對于每個部分的系數(shù)和聚 類組。在這種情形下，參數(shù)估計(jì)器16可以通過僅僅處理該部分中的圖像 之一或該部分中的圖像子集而選擇聚類和系數(shù)。
作為替換例，可以通過按照預(yù)定的函數(shù)來評估圖像特性、并且如果圖 像特性的不同小于預(yù)定的閾值則把圖像指派給同 一 個組，從而檢測所述的 組?？梢越邮彰總€新接收的圖像的圖像特性，并把這些圖像特性與對其使 用系數(shù)和聚類的當(dāng)前組的圖像的那些圖像特性進(jìn)行比較，如果圖像特性的 不同小于預(yù)定的閾值則該系數(shù)和聚類組保持不變。在一個實(shí)施例中，對于不同地壓縮的圖像和/或不同的目標(biāo)平面，可以
使用不同的系數(shù)和聚類組。因此，例如，對于內(nèi)部編碼的圖像(在MPEG
的情形下的I幀)可以定義第一系數(shù)和聚類組，以及對于藉助于從附近的圖
像和可選的殘余(residue)的預(yù)測而被編碼的圖像(在MPEG的情形下的P 幀和B幀)可以定義第二系數(shù)和聚類組。作為另一個例子，如果圖像內(nèi)容 在視頻流中對于可被重疊來形成輸出圖像的多個平面來定義，則不同的系 數(shù)和聚類組可被使用于不同的平面。
在一個實(shí)施例中，對于這些圖像或平面，聚類組可以是相同的，但可 以使用不同的系數(shù)，每個系數(shù)被選擇成減小在不同類型的幀中的誤差。在 這個實(shí)施例中，后濾波器26同時存儲多個聚類定義和/或系數(shù)，并根據(jù)編 碼類型(I或B, P)和/或平面從該多個聚類定義和/或系數(shù)中進(jìn)行選擇。同樣 地，參數(shù)估計(jì)器16根據(jù)編碼類型和/或平面選擇聚類和系數(shù)。
在一個實(shí)施例中，解壓縮設(shè)備被配置成把多個聚類組和/或系數(shù)同時存 儲在例如后濾波器26中的聚類定義存儲器34、以及系數(shù)存儲器36。解壓 縮設(shè)備根據(jù)組選擇信號從多個存儲的組中選擇當(dāng)前的組，以便用來后濾波 當(dāng)前的圖像?？梢愿鶕?jù)從壓縮設(shè)備提供的選擇信號、或根據(jù)圖像和/或平面 的類型，而從流分用器22提供所述的組選擇信號。
在另 一個實(shí)施例中，壓縮設(shè)備被配置成存儲對應(yīng)的多個聚類組和/或系 數(shù)。當(dāng)新的圖像(或目標(biāo)平面)被接收時，參數(shù)估計(jì)器首先測試它是否可被 指派給所存儲的聚類組和/或系數(shù)之一 。這例如可以通過以下操作來完成， 即壓縮新的圖像、將它解壓縮、按照每個存儲的系數(shù)和聚類組對它進(jìn)行 后濾波、把結(jié)果與原始的新圖像進(jìn)行比較、選擇導(dǎo)致最小差異的聚類組和 系數(shù)。如果這個差異低于預(yù)定的閾值，則壓縮設(shè)備用信號通知解壓縮設(shè)備 應(yīng)當(dāng)使用所選擇的系數(shù)和/或聚類組。然而，替換地，系數(shù)和/或聚類組的 選擇可以通過以下方式而被執(zhí)行，即按照某些預(yù)定的圖像特性來分類新 的圖像，并且選擇與所選圖像類別相關(guān)聯(lián)的系數(shù)和/或聚類組。
當(dāng)在新的圖像與壓縮、隨后解壓縮并用所選系數(shù)和/或聚類組進(jìn)行后濾 波的結(jié)果之間的差異超過閾值時，估計(jì)新的系數(shù)和/或聚類組并將之傳送到 解壓縮設(shè)備，用來取代在存儲器中的先前的系數(shù)和/或聚類組，該先前的組 在壓縮設(shè)備和解壓縮設(shè)備中按照相同的準(zhǔn)則來選擇，例如是通過在從壓縮 設(shè)備到解壓縮設(shè)備的信號中明確地標(biāo)識這個先前的組、通過使用最近使用 最少的組或最類似的組等等來選擇。雖然描述了其中通過使用由壓縮設(shè)備指示的信息來控制在解壓縮后 的后濾波器的例子，但應(yīng)當(dāng)理解，也可以使用其它形式的后處理。
圖6顯示可被用來代替后濾波器26的后處理電路的例子，在這個后 處理電路中，添加了(偽)隨機(jī)信號發(fā)生器50和加法器52。隨機(jī)信號發(fā)生 器50在來自系數(shù)存儲器36的 一個或多個系數(shù)的控制下生成(偽)隨機(jī)信號。 加法器52把這些系數(shù)添加到解壓縮的信號。隨機(jī)信號發(fā)生器50可被配置 成將隨機(jī)信號的平均值和/或標(biāo)準(zhǔn)偏差、和/或所生成的隨機(jī)信號的空間相 關(guān)和/或譜包絡(luò)和/或其它統(tǒng)計(jì)特性作為該一個或多個系數(shù)的函數(shù)來控制。 這樣，本地生成的紋理可被添加到解壓縮的信號。有關(guān)的一個或多個系數(shù) 在壓縮設(shè)備的參數(shù)估計(jì)器中依據(jù)在原始圖像與解壓縮-壓縮的圖像之間的 差異的統(tǒng)計(jì)值而被估計(jì)。估計(jì)出的有關(guān)的一個或多個系數(shù)從編碼設(shè)備傳送 到譯碼設(shè)備。因此，代替?zhèn)魉痛韺?shí)際像素值的數(shù)據(jù)，傳送代表統(tǒng)計(jì)特性 的系數(shù)。
應(yīng)當(dāng)強(qiáng)調(diào)指出，這僅僅是紋理生成的一個例子。代替使用(偽)隨機(jī)信 號發(fā)生器50，可以使用其它類型的信號發(fā)生器來用于把本地生成的信號添 加到、或甚至部分地替換解壓縮的圖像，該本地生成的信號在由解壓縮設(shè) 備用信號通知的系數(shù)的控制下被生成。例如，隨機(jī)發(fā)生器可以使用系數(shù)來 控制一組值，它從其作出隨機(jī)選擇以生成像素值；或控制基本紋理圖案， 它從其把像素隨機(jī)地映射到輸出信號。為了提供更多的紋理生成自由度， 紋理生成可以與如下的實(shí)施例相組合，即在該實(shí)施例中，藉助對于一組像 素位置塊中各個像素位置塊(例如，對于在這樣的塊的3x3窗口中，使用 例如8 x 8像素塊)的平均像素值的組合的解壓縮信號值，或非鄰接的像素 位置的子采樣值來選擇系數(shù)組。
在又一個實(shí)施例中，使用紋理生成與濾波的組合，使系數(shù)是在檢測出 的聚類的控制下被選擇。在另一個實(shí)施例中，取決于聚類而使用僅僅后濾 波或僅僅紋理生成。
在至此所描述的實(shí)施例中，諸如后濾波那樣的后處理被施加到作為解 壓縮結(jié)果的最終圖像。這具有如下優(yōu)點(diǎn)可以使用任何形式的壓縮和解壓 縮。然而，應(yīng)當(dāng)意識到，替換地，后處理可被施加到解壓縮的中間結(jié)果。 例如，當(dāng)使用解壓縮的頻率系數(shù)的逆DCT(離散余弦變換)作為解壓縮的一 部分時，也可以例如通過把對于不同頻率的系數(shù)乘以不同的因子而將后處 理施加到頻率系數(shù)。類似地，紋理信息可被添加到這樣的系數(shù)。參數(shù)估計(jì)器和后濾波器可以與各種類型的壓縮器和解壓縮器相組合。
在一個實(shí)施例中，壓縮器是量化壓縮器，例如是計(jì)算對于像素塊的DCT(離
散余弦變換)系數(shù)并量化這些系數(shù)的壓縮器，或者是量化像素值的壓縮器。 在另一個實(shí)施例中，壓縮器可以是減小圖像的空間分辨率的壓縮器。對應(yīng) 地，解壓縮器可以應(yīng)用逆量化或內(nèi)插來重建解壓縮的圖像。
圖7顯示施加壓縮，包括分辨率縮放(scaling)和量化。這里，濾波 器系數(shù)組被使用來減小這兩種形式的壓縮的偽像。圖上顯示壓縮設(shè)備66 和解壓縮設(shè)備68。在壓縮設(shè)備66中，壓縮器12包括串聯(lián)的分辨率縮放器 60和量化壓縮器61。在一個實(shí)施例中，量化壓縮器61計(jì)算對于像素塊的 DCT(離散余弦變換)系數(shù)，并量化這些系數(shù)。分辨率縮放器60可包括抗假 頻(anti-alias)濾波器和子采樣單元。解壓縮器包括串聯(lián)的逆量化解壓縮 器63和逆分辨率縮放器62。在解壓縮設(shè)備68中，解壓縮器包括在后濾波 器26前面的、串聯(lián)的逆量化解壓縮器65和逆分辨率縮放器64。
在運(yùn)行時，可包括抗假頻濾波器和子采樣單元的分辨率縮放器60在 壓縮圖像之前，減小用以表示所接收圖像的分辨率。逆分辨率縮放器62 重建有原始分辨率的圖像，或是與被壓縮并相繼被解壓縮的減小分辨率的 圖像相比有至少更高分辨率的圖像。
參數(shù)估計(jì)器16選擇濾波器系數(shù)組并可選地選擇聚類，以用于后濾波 器操作，當(dāng)所述后濾波器操作被施加到重建的圖像時，將使得這些圖像更 接近地對應(yīng)于與原始輸入圖像相對應(yīng)的圖像。
在解壓縮設(shè)備68中，圖像被解壓縮，并且隨后分辨率被放大(scale up)。放大的圖像通過使用所選擇的濾波器系數(shù)組被后濾波。雖然后濾波 器26和逆分辨率縮放器64被顯示為分開的單元，但應(yīng)當(dāng)意識到，它們可 被集成，濾波器系數(shù)定義在放大期間像素值必須如何被內(nèi)插。
雖然在所示的實(shí)施例中，可應(yīng)用的聚類在放大的圖像的像素值的控制 下被選擇，但應(yīng)當(dāng)理解，替換地，聚類可以根據(jù)來自解壓縮的減小分辨率 的圖像一_即來自逆量化解壓縮器65的圖像一一的像素值而被選擇。在 一個實(shí)施例中，這是在壓縮設(shè)備66和解壓縮設(shè)備68中完成的。
在一個實(shí)施例中，量化壓縮器61和逆量化解壓縮器63可以#:省略， 以使得分辨率減小是壓縮的唯一形式。在這種情形下，后濾波器26僅被 使用來減小由于分辨率減小和隨后重建更高分辨率的圖像而引起的偽像。 在圖7上，后濾波器26被使用來減小由于分辨率減小和量化這兩者引起的偽像。
此外，如圖8所示，作為替換實(shí)施例，分開的后濾波器39a、 39b可 被串聯(lián)地用作為在解壓縮設(shè)備68中的子濾波器，用于校正由于壓縮器12 所進(jìn)行的壓縮而引起的偽像和由于分辨率縮放器60所進(jìn)行的分辨率減小 而引起的偽像。在這個實(shí)施例中，對于這些不同的后濾波操作，可以提供 分開的濾波器系數(shù)組。這具有如下優(yōu)點(diǎn)不同的組可以對于不同的功能被 最佳化。在一個實(shí)施例中，可以為后濾波器39a、 b之中的不同后濾波器 定義不同的聚類組，用于后濾波器的后濾波器系數(shù)可以被提供用于為該后 濾波器39a、 b定義的聚類。因此，事實(shí)上，對于第一和第二后濾波器39a、 3%的組合的聚類定義了對于個體后濾波器的聚類的子聚類。在子聚類中 不同的子聚類共享相同的濾波器系數(shù)組。替換地，子聚類可以首先被確定， 然后被相繼地聯(lián)合成對于所選擇的后濾波器的超級聚類，在每個超級聚類 中的子聚類共享對于所選擇的后濾波器的濾波器系數(shù)組。在這種情形下， 對于不同的子聚類不需要傳送分開的濾波器系數(shù)組，這節(jié)省了傳輸帶寬。
圖9顯示用于生成這樣的多個組的壓縮設(shè)備的另一個實(shí)施例。在這個 實(shí)施例中，壓縮設(shè)備被添加附加參數(shù)估計(jì)器16a和后濾波器600。后濾波 器600被耦合在逆量化解壓縮器63和逆分辨率縮放器64之間。附加參數(shù) 估計(jì)器16a具有被耦合到分辨率縮放器60的輸出與逆量化解壓縮器63的 輸出的輸入，以及具有被耦合到后濾波器600的控制輸入及復(fù)用器18的 輸出。
在這個實(shí)施例中，附加參數(shù)估計(jì)器16a用來提供用于減小由于壓縮引 起的偽像的控制參數(shù)組，而參數(shù)估計(jì)器16用來提供用于減小主要由于分 辨率減小和放大而引起的剩余偽像的控制參數(shù)組。附加參數(shù)估計(jì)器16a選 擇后濾波器操作的控制參數(shù)組，其減小在由量化壓縮器61進(jìn)行壓縮之前 與在逆量化解壓縮器63之后的圖像之間的差異。在把圖像傳遞到逆分辨 率縮放器62之前，后濾波器600把通過這些控制參數(shù)組選擇的后濾波器 操作施加到解壓縮的圖像。復(fù)用器18把這些控制參數(shù)組添加到流中，供 解壓縮設(shè)備的后濾波器使用。
可以指出，圖9的除了分辨率縮放器60、后濾波器600、逆分辨率縮 放器62和參數(shù)估計(jì)器16以外的部分，基本上等同于圖1的壓縮設(shè)備，其 中解壓縮器14的輸入形成圖像輸入。如圖所示，圖9的實(shí)施例添加了附 加壓縮層，具有在解壓縮后的對應(yīng)的參數(shù)估計(jì)。正如將會意識到的，在每種情形下，參數(shù)估計(jì)器被使用來通過比較在壓縮處理操作之前和在解壓縮 處理操作一_即這個壓縮處理操作的逆操作 一 一 之后的圖像而得出控制 參數(shù)組?？刂茀?shù)組是對于本地圖像配置的不同的聚類而選擇的。
如圖9所示，當(dāng)施加接連的壓縮操作時，可以多次地施加參數(shù)估計(jì)， 每一次用于相應(yīng)的壓縮操作。雖然已顯示了其中壓縮操作是抽取
(decimation)和量化的例子，但可以使用其它的壓縮操作。在一個實(shí)施例 中，壓縮操作、或?yàn)槠涫褂煤鬄V波與參數(shù)估計(jì)的壓縮操作之一，可以是預(yù) 測性壓縮，其中后濾波被施加到藉助于參考一一諸如運(yùn)動矢量、相對于參 考圖像、或多個參考圖像一一而表示的圖像。
聚類的選擇可以由不同的參數(shù)估計(jì)器分開地執(zhí)行。在這種情形下，聚 類定義信息將被包括在流中用于所有的控制參數(shù)組。這使得有可能令聚類 選擇最佳化，這是以對于流的增加的帶寬使用為代價(jià)。在替換實(shí)施例中， 參數(shù)估計(jì)器共享相同的聚類選擇。在這個實(shí)施例中，對于接連施加的后濾 波器操作，包括對于多個控制參數(shù)組的共享的聚類定義信息就足夠了。這 減小了帶寬使用。
圖10顯示施加預(yù)測性壓縮，其中后濾波被施加到參考圖像。這里， 后濾波的解壓縮的內(nèi)部編碼的圖像被用作為用于預(yù)測性壓縮和解壓縮的 參考。該圖顯示了壓縮設(shè)備和解壓縮設(shè)備，每個設(shè)備包含用于參考圖像的 存儲器72、 74。壓縮設(shè)備包括被耦合在壓縮器14的輸出與存儲器72之間 的后濾波器70。壓縮設(shè)備的存儲器72被耦合到壓縮器12的輸入。參數(shù)估 計(jì)器16的輸出被耦合到后濾波器70的控制輸入，后濾波器70的功能類 似于解壓縮設(shè)備的后濾波器26的功能。在運(yùn)行時，存儲器72存儲通過按 照濾波器系數(shù)組進(jìn)行后濾波而得到的所選圖像，以及壓縮器12使用存儲 的圖像、根據(jù)運(yùn)動矢量和相對于所存儲的圖像的可選殘余信息來編碼其它 圖像。
同樣地，解壓縮設(shè)備的存儲器74被耦合在從后濾波器26的輸出到解 壓縮器24的輸入的反饋環(huán)中。在運(yùn)行時，存儲器74存儲選擇的后濾波的 圖像，以及解壓縮器24使用存儲的圖像來譯碼根據(jù)運(yùn)動矢量和相對于所 存儲圖像的可選殘余信息被編碼的其它圖像。這樣，改進(jìn)的參考圖像被提 供來在預(yù)測性壓縮和解壓縮中使用。在預(yù)測性壓縮和解壓縮中，預(yù)測的圖 像可以通過使用僅僅一個參考圖像而被預(yù)測，但替換地，可以使用依據(jù)多 個參考圖像的預(yù)測。這里描述的方法和設(shè)備使得有可能通過在至少部分地解壓縮后使用 由壓縮設(shè)備定義的后處理系數(shù)進(jìn)行后處理而減小壓縮偽像。后處理的質(zhì)量 通過在圖像中不同位置處使用在解壓縮圖像的內(nèi)容的控制下選擇的不同 系數(shù)組而被改進(jìn)。鏈接低質(zhì)量和高質(zhì)量圖像的許多應(yīng)用是可能的，例如， 在具有良好的內(nèi)置照相機(jī)的移動電話上拍攝照片，但以較低的質(zhì)量+輔助 信息存儲它，然后把它發(fā)送給朋友，他將在他的(高清晰度)電視機(jī)或PC 上看到它。
人們可以將不同的最佳濾波器組用于不同的圖片子組。例如，B圖片 可能需要與I和P圖片不同地被濾波。在這種情形下，信號將典型地具有 另外的信息例如用來將類別和對應(yīng)的濾波參數(shù)進(jìn)行分組(實(shí)際的格式保留 為開放的，因?yàn)闉V波器可以以許多方式被規(guī)定，例如，包含在底層的被濾
波區(qū)域上執(zhí)行的過程的算法描述)，具有標(biāo)簽，像B圖片聚類l:系數(shù) 1，系數(shù)2，.，.；聚類2:系數(shù)3，系數(shù)4,...;聚類X; I圖片聚類Y:...。
構(gòu)建的聚類的其它例子可以對壓縮參數(shù)完成，例如用于高和低量化、 或高和低運(yùn)動等等的不同的組。
以上通過各種選擇準(zhǔn)則，尤其是像素值、運(yùn)動矢量、以及像素值與運(yùn) 動矢量而描述了聚類選擇。本發(fā)明不限于這樣的示例性選擇/分類準(zhǔn)則。
例如，用于自適應(yīng)濾波的再一個分類準(zhǔn)則可以導(dǎo)致顯著減小用于譯碼 過程的計(jì)算代價(jià)，具有更加改進(jìn)的視覺質(zhì)量。它也減小在編碼處的計(jì)算代 價(jià)，并提供用于分類的更穩(wěn)定的性能。這樣的濾波是基于這樣的理解后 處理的序列的質(zhì)量改進(jìn)主要集中在具有梯度改變的區(qū)域。
在優(yōu)選實(shí)施例中，水平梯度值和/或垂直梯度值被計(jì)算，這些值在選擇 過程中被使用。選擇器被配置成通過根據(jù)水平梯度值和/或垂直梯度值進(jìn)行 分類而相對于位置來對圖像信息分類。
例如，當(dāng)在編碼器一側(cè)得出場景自適應(yīng)聚類時，代替直接使用歸一化 的孔徑(例如，5 x 5)窗口作為用于聚類統(tǒng)計(jì)的基本圖案，通過巻積每個窗 口與如下定義的兩個索貝爾(Sobel)邊緣濾波器(水平和垂直)而計(jì)算水平 梯度值ex和/或垂直梯度值ey:
-1 -2 -1 -10 1
0 0 0 和-2 0 2
12 1 -10 1
結(jié)果，每個孔徑由特征矢量(ex, ey)表示。然后對于這些聚類執(zhí)行聚類算法，例如K均值。圖11顯示對于兩個序列的兩個典型的聚類結(jié)果。 十字叉表示聚類中心。點(diǎn)顯示對于大量點(diǎn)的結(jié)果。
已發(fā)現(xiàn)的附加優(yōu)點(diǎn)是聚類中心對于不同的序列是相當(dāng)一致的。所以， 有可能與序列無關(guān)地定義幾個聚類輪廓(profile)。例如，在圖12上，顯示 5個聚類輪廓和21個聚類輪廓的示例性定義。這些輪廓的定義是通過平均 多個序列的自聚類結(jié)果而得到的。在這些二維曲線圖上發(fā)現(xiàn)，由對于各種 不同序列的K均值得出的聚類中心實(shí)際上共享如圖12所示的非常類似的 分布。十字叉表示聚類中心的位置。這允許預(yù)先定義聚類中心。
由于聚類輪廓可以被預(yù)先定義并因此被標(biāo)準(zhǔn)化，所以不再需要隨流傳 送聚類中心的位置。因此，僅僅隨流發(fā)送場景自適應(yīng)濾波器(或更一般地， 控制參數(shù)組)，作為例如輔助信息。應(yīng)當(dāng)指出，控制參數(shù)組，諸如濾波器的 參數(shù)，在編碼期間仍舊需要對于每個聚類被動態(tài)地生成，以便反映不同視 頻(具有各種不同的場景特性，編碼設(shè)置值等等)的不同特性。
通過應(yīng)用以上的方案，在譯碼器處的節(jié)省是明顯的正確聚類的選擇 被很大地簡化，僅僅牽涉到2維特征距離(而不是5 x 5=25維特征距離)。 而且，在使用預(yù)定義的聚類輪廓的優(yōu)選實(shí)施例中，例如可以通過預(yù)定義的 2維查找表T而實(shí)施分類，
T(ex, eyh類別-標(biāo)簽，
其中(ex, ey)是在像素(x, y)處的梯度值，以及T(ex, ey)直接給出對于給 定輪廓的它的相關(guān)聯(lián)的類別標(biāo)簽。因此，在譯碼器一側(cè)，用于聚類選擇的 計(jì)算代價(jià)幾乎可忽略。
另一個優(yōu)點(diǎn)是更穩(wěn)定的分類結(jié)果。已證明梯度特征給出在視覺上比 起原始亮度孔徑更穩(wěn)定的本地圖案的分類，導(dǎo)致視覺上更吸引人的后處理 的序列。
當(dāng)應(yīng)用預(yù)定義的基于梯度的輪廓時，對于輔助信息的附加比特成本被 減小一半，因?yàn)椴恍枰獋魉途垲愔行男畔?。在編碼器一側(cè)的計(jì)算成本也被 減小，因?yàn)椴挥糜?jì)算自聚類，而僅僅執(zhí)行MSE最佳化。
在譯碼器一側(cè)，正確濾波器的選擇耗費(fèi)大部分的計(jì)算時間。假設(shè)我們
使用N個聚類，那么濾波器的選擇耗費(fèi)濾波本身的N倍的計(jì)算成本。通 過應(yīng)用基于梯度的方案，濾波器的選擇僅僅牽涉到索貝爾巻積和對于正確 聚類的表查找。選擇過程典型地耗費(fèi)小于1/6的濾波過程的計(jì)算時間。這 使得對于在譯碼器一側(cè)的后濾波的實(shí)時實(shí)施成為可能。通過應(yīng)用基于梯度的選擇方法，視覺質(zhì)量比起基于像素值的方法甚至
好出達(dá)0.5-0.7dB之多。圖13上示出一個例子，其中顯示了所謂的Shields 序列的被修剪(crop)的例子。改進(jìn)的視覺質(zhì)量可以通過如下事實(shí)來說明， 即梯度信息是比原始亮度更好的代表，以及在X-Y梯度坐標(biāo)中的類似性 比在Mx M維亮度空間中的MSE度量更適合于確定類別。
替換的或附加的簡單聚類也可以根據(jù)紋理來完成。紋理常常較簡單以 用小數(shù)目的參數(shù)進(jìn)行檢測，所述參數(shù)例如，
1. 標(biāo)準(zhǔn)偏差，表征亮度變化有多猛烈，
2. 連續(xù)累積梯度(running accumulative gradient)，是圖案向上和向 下移動有多頻繁的一個可能的測度，以及
3. 平均顏色
雖然在選擇的梯度類型中定義了在二維空間中的多個聚類中心(見圖 11和12)，但紋理聚類可以由在三維空間中的聚類中心點(diǎn)來定義，三個軸 例如是標(biāo)準(zhǔn)偏差、連續(xù)累積梯度和平均顏色。 一個點(diǎn)可以對應(yīng)于例如藍(lán)天 (標(biāo)準(zhǔn)偏差小、累積梯度小和平均顏色為藍(lán)色)。另一個點(diǎn)可以對應(yīng)于草地。
在按照本發(fā)明的方法和設(shè)備的再一個實(shí)施例中，選擇是在分級結(jié)構(gòu)中 進(jìn)行的。
在實(shí)際的分類過程之前，進(jìn)行用于選擇的最適合形式的第 一粗分類， 例如，分類是在亮度值、運(yùn)動矢量、梯度、紋理、還是在這樣的準(zhǔn)則的任 何組合上發(fā)生。 一旦作出第一分級的決定，就執(zhí)行選擇過程。
可以對于文件的任何部分、對于圖像、對于圖像的一部分、對于一系 列圖像作出分級的決定。另外，選擇準(zhǔn)則可以依賴于圖像數(shù)據(jù)的類型，例 如依賴于幀的類型。
圖14示意地顯示分級結(jié)構(gòu)，其中選擇各種可能的選擇方法。
在步驟110,圖像或部分圖像的進(jìn)入的數(shù)據(jù)首先經(jīng)受在預(yù)選擇器110 中的邊緣濾波器。在這個預(yù)選擇中，確定圖案主要是具有邊緣特性還是主 要是紋理。
如果分析表明圖像或部分圖像主要具有邊緣特性，則數(shù)據(jù)被傳送到最 后選擇器lll,在其中根據(jù)梯度ex、 ey，執(zhí)行聚類選擇和對于該聚類的控 制參數(shù)組的確定，見圖11和12。如果分析表明圖案主要是紋理，則數(shù)據(jù) 被傳送到最后選擇器112,在其中根據(jù)紋理參數(shù)執(zhí)行聚類選擇和對于該聚類的控制參數(shù)組的確定。
圖15a到15c圖示本發(fā)明的再一個實(shí)施例。
在許多壓縮技術(shù)中，壓縮是基于塊的。在解壓縮后塊邊緣可能出現(xiàn)錯 誤，即，塊的邊緣可能是可見的。圖像的劃分和基于塊的處理導(dǎo)致被稱為 分塊偽像的誤差。這些分塊偽像使感知的圖像質(zhì)量降級，特別是在低比特
率下。使用解塊濾波器減小這樣的分塊誤差。在標(biāo)準(zhǔn)H.264中，已知在譯 碼器處應(yīng)用解塊濾波器，其中在譯碼器端，做出基于邊緣條件的分類。該 分類被使用來從多個可能的標(biāo)準(zhǔn)的預(yù)先安排(prefixed )解塊濾波器中選擇 一個解塊濾波器。不同的濾波器本身是固定的，以及在譯碼器一側(cè)濾波器 的選擇可以無需任何來自編碼器的輔助信息地被執(zhí)行。
圖15a圖示本發(fā)明的實(shí)施例。在編碼器端，進(jìn)入的信號150在壓縮器 152中被壓縮，以提供壓縮的信號151。該壓縮的信號在解壓縮器154中 被解壓縮。在解壓縮后，根據(jù)諸如在塊中的位置、邊緣步進(jìn)尺寸和相鄰塊 的編碼^t式之類的特征，形成C個聚類。對于每個聚類，根據(jù)塊內(nèi)的位置 識別具有自適應(yīng)濾波器參數(shù)F(C)的自適應(yīng)濾波器，并使用具有濾波器參數(shù) F(C)的自適應(yīng)濾波器。解塊濾波器的輸出被饋送到比較器154,該比較器 比較經(jīng)壓縮-解壓縮-濾波的圖像與原始圖像。該比較器提供誤差信號E。 分類(C)和用于各種不同類別的濾波器參數(shù)F(C)被適配來最小化誤差E。解 塊濾波器可以在環(huán)內(nèi)和在環(huán)外被使用，圖15A顯示在環(huán)外，即在完全的解 壓縮后，使用該濾波器的例子。解塊濾波器也可以在環(huán)內(nèi)被使用。
圖15b和15c圖示在譯碼器端的本發(fā)明。
VLD是指可變長度譯碼器，IQ是指逆量化，IDCT是指逆DCT， DF 是指解塊濾波器，以及MC代表運(yùn)動補(bǔ)償。濾波器操作由數(shù)據(jù)C(分類)和 F(C)——即用于不同類別的濾波器參數(shù)組——來支配。在圖15b上，處理 電路被安排成在環(huán)外應(yīng)用解塊濾波器DF,在圖15c上，解塊濾波器DF被 在環(huán)內(nèi)應(yīng)用。
這個實(shí)施例的簡單形式使用與已知的解塊濾波器相同的選擇濾波器 的準(zhǔn)則，但用具有自適應(yīng)參數(shù)的濾波器代替固定的濾波器。在這個簡單的 形式中，在譯碼器端的已知的分類確定因子是完全標(biāo)準(zhǔn)的，但濾波器參數(shù) 是自適應(yīng)的。
選擇過程例如開始于指派邊界強(qiáng)度參數(shù)給每個4 x 4亮度子塊的邊緣。 邊界強(qiáng)度由每個子塊及其相鄰塊的模式和編碼條件(例如，內(nèi)部或之間，編碼殘余與否，運(yùn)動矢量的尺寸)排他地確定，并且在以下操作之間作出第一
選擇，即對多半由分塊偽像造成的邊緣進(jìn)行強(qiáng)濾波、對可能受分塊影響
的邊緣進(jìn)行正常濾波、以及對多半是內(nèi)容相關(guān)的邊緣不進(jìn)行濾波。在這個 初始的再劃分后，邊緣活動性——即，在邊緣兩側(cè)的像素值之間的絕對差
異的不等性條件一一確定是否施加濾波器。圖16提供了一個被使用來決 定與子塊邊緣BE相鄰的像素po和qo是否在正常濾波模式下被濾波的條件 的例子。像素q。僅僅在滿足條件(l)與(2)時才被濾波。同樣地，p。僅僅在 滿足條件(1)與(3)時才被濾波。在已知的方法中，可以選擇來自解塊濾波器 的固定濾波器組，所有的濾波器具有相同的結(jié)構(gòu)。它們是有限脈沖響應(yīng)(FIR) 類型的一維濾波器，具有相對于被濾波的像素的最大2抽頭位移。不同的 固定濾波器被施加到距塊邊緣有不同距離的像素。遠(yuǎn)離邊緣的像素不太可 能受分塊偽像的影響，因此將接收較弱的濾波。這樣，解塊濾波器以非常 基本的方式計(jì)及塊變換中對于相對位置的統(tǒng)計(jì)值的變化。在宏塊級別上， 濾波在適當(dāng)?shù)奈恢眠M(jìn)行，首先水平濾波垂直邊緣，隨后垂直濾波水平邊緣。
確定應(yīng)用哪些濾波器的過程可被看作為分類過程，并且可以無需任何 附加信息地在譯碼器一側(cè)執(zhí)行。這具有如下優(yōu)點(diǎn)不需要傳送有關(guān)分類的 信息，以及在譯碼器端可以使用已知的分類方案。本發(fā)明的方法歸結(jié)為 代替只在譯碼器端使用標(biāo)準(zhǔn)固定的濾波器，用自適應(yīng)濾波器取代標(biāo)準(zhǔn)濾波 器并對于每個類別確立最佳參數(shù)組。在譯碼器端對于分類的計(jì)算需求沒有 改變，這是一個優(yōu)點(diǎn)。
在簡單的實(shí)施例中，在譯碼器端的已知的確定因子被簡單復(fù)制，但濾 波器參數(shù)是自適應(yīng)的，在更先進(jìn)的實(shí)施例中，例如，通過使得條件1與2 是自適應(yīng)的，用于類別選擇的確定因子也是自適應(yīng)的。
在一個實(shí)施例中，所述方法在兩階段(two pass)過程中^皮實(shí)施。在 第一步驟，該算法處理所有的宏塊，以便確定哪種類型的濾波器要施加到 每個像素。
在下一個階段中，收集受特定濾波器影響的所有的像素，并且在 MSE(均方誤差)的意義下估計(jì)最佳濾波器系數(shù)。這個處理過程對于所有的 濾波器重復(fù)進(jìn)行。然而，由于濾波在適當(dāng)?shù)奈恢帽粓?zhí)行，所以參考幀優(yōu)選 地在其間被更新。也就是說，每次在對于一個像素類別計(jì)算濾波器系數(shù)后， 在繼續(xù)為下 一個濾波器確定系數(shù)之前，該濾波器被施加到當(dāng)前的參考幀。
如果場景自適應(yīng)濾波器在環(huán)內(nèi)運(yùn)行，則重要的是在編碼器一側(cè)和譯碼器一側(cè)濾波過程的有序匹配。在一個實(shí)施例中，這是通過使施加濾波器的次序固定而達(dá)到的。這樣的實(shí)現(xiàn)的簡單擴(kuò)展是確定在編碼器 一 側(cè)的最佳濾
波次序，并通過流用信號通知濾波器次序，輸出157因而是F(C)和S(F)，F(xiàn)(C)即濾波器系數(shù)，S(F)即濾波器要被施加的次序。因?yàn)槭窃谶m當(dāng)?shù)?立置濾波，所以濾波操作不交換，并且改變?yōu)V波次序可以改進(jìn)性能。為了避免由于環(huán)內(nèi)運(yùn)行造成的非線性，最佳濾波器系數(shù)逐幀地估計(jì)。
為了避免由于環(huán)內(nèi)運(yùn)行造成的非線性，最佳濾波器系數(shù)逐幀地估計(jì)。相比于等價(jià)的后濾波器，環(huán)內(nèi)運(yùn)行導(dǎo)致1-1.5%的附加比特率減小。這可以通過以下事實(shí)來說明，即濾波器不單改進(jìn)最后的圖像，而且參考圖^f象也為運(yùn)動補(bǔ)償提供更高的質(zhì)量。環(huán)內(nèi)濾波的另一個優(yōu)點(diǎn)在于，它保證一定的
性能水平，而后濾波通常是可選的。已經(jīng)發(fā)現(xiàn)，與根據(jù)邊緣類型和所選擇的編碼模式而在具有固定系數(shù)的預(yù)定義濾波器組中進(jìn)行選擇的解塊濾波
器算法相比較，通過估計(jì)與這些濾波器中的每個濾波器相關(guān)聯(lián)的最佳系數(shù)并借助視頻流用信號通知這些系數(shù)而進(jìn)行的解塊的性能大約是5-10%。圖17提供與使用標(biāo)準(zhǔn)分類方法的標(biāo)準(zhǔn)H.264固定分塊濾波器相比較的、使用自適應(yīng)有源濾波器的比特率減小的測量值，其中所述標(biāo)準(zhǔn)分類方法使用由List等人在IEEE transaction on Circuits and Systems for Video Technolgy13(7): 614-619中提出的分類算法。曲線C和D涉及到固定的indexA和indexB的不同的選擇，見圖16。本發(fā)明的優(yōu)點(diǎn)是明顯的，使用自適應(yīng)濾波器系數(shù)，而不是使用固定濾波器，帶來比特率的很大減小。
如上所述，通過使濾波器被施加的次序最佳化，可以得到另外的改進(jìn)。另外的改進(jìn)是通過分類的自適應(yīng)最佳化而得到的，例如，令自適應(yīng)有源濾波器的分類依賴于在塊變換中的相對位置。圖17顯示一個實(shí)施例的結(jié)果，其中標(biāo)準(zhǔn)固定解塊濾波器的分類準(zhǔn)則未對于本發(fā)明被最佳化，而只是簡單地被復(fù)制。比特率減小方面的相當(dāng)顯著的效果暗示還有通過對分類和/或?yàn)V波器選擇準(zhǔn)則的進(jìn)一步最佳化來改進(jìn)的空間。
基于塊的分類的以上實(shí)施例是在其中分類和/或?yàn)V波是依賴于位置——在本例中依賴于塊內(nèi)的位置——而作出的 一 大批實(shí)施例中的 一個例子。
在所述一批實(shí)施例內(nèi)，其它的例子是
根據(jù)在圖像內(nèi)的位置(例如靠近邊界)而進(jìn)行分類，與其中使用較大數(shù)量類別和/或更復(fù)雜的濾波器的中心區(qū)域相比較，使用了不同數(shù)目的類別和不同的更簡單的自適應(yīng)濾波器組。這對于必須被傳遞的數(shù)據(jù)是安全的。
使得分類是依賴于目標(biāo)的，例如，天空區(qū)域可以使用較少的或不太復(fù)雜的濾波器。在一個實(shí)施例中，濾波器適應(yīng)于它們在面部分段區(qū)域內(nèi)的中心程度(例如，靠近面部邊界上的陰影區(qū)域)?；蛘咴诓莸鼗虼u塊圖案內(nèi)，在整個要被銳化的草地區(qū)域內(nèi)，相對于內(nèi)部，不同的濾波器被施加到草地葉片邊緣(這可能需要更多的銳化)[以及譯碼器能夠從磚塊內(nèi)部重新估計(jì)例如磚塊分段邊緣]。
在所有的實(shí)施例中，對于數(shù)據(jù)執(zhí)行分類，以上也稱為聚類，對于每個類別生成可適配的濾波器或更一般而言的后處理過程，以及在編碼器一側(cè)，濾波器參數(shù)或更一般而言的后處理被改變、并被施加到對應(yīng)的數(shù)據(jù)類別和被最佳化，以便與原始圖像相比較，產(chǎn)生低的或最小的失真，或更一般地，產(chǎn)生最佳值或質(zhì)量測度的增加，正如對于在對應(yīng)的一個類別中的位置的(壓縮)偽像的減小。
譯碼器被給予信息(或者明顯地或者隱含地)，以便重新生成在編碼器處使用的類別，對于聚類或類別的濾波器參數(shù)被傳遞到譯碼器，并在譯碼器中被應(yīng)用。正如說明的，對于分類，根據(jù)不同的構(gòu)思(值、邊緣、運(yùn)動、圖案、位置以及這樣的概念的組合)可以遵循眾多的途徑。用于分類的基礎(chǔ)的再一個例子是根據(jù)對于本地區(qū)域的壓縮的選擇而進(jìn)行分類。再次地，
譯碼側(cè)知道這樣的因子，如使用哪種量化，塊的運(yùn)動是什么(和可能的預(yù)測誤差，或減小的誤差可視性)等等；再次地，取決于那些參數(shù)，濾波器可以是不同的(例如，對于高量化，使用更多地為了解塊和更少地為了4)i化而被偏置/被最佳化的濾波器)。
再一個實(shí)施例被圖示于圖18。圖18示意性地圖示圍繞像素的兩個窗口I和II。該窗口顯示某個圖案。窗口 II可被看作為等價(jià)于被"翻轉(zhuǎn)"的窗口 I。換句話說，當(dāng)比較這兩個窗口時，在這兩個窗口之間有某種類型的對稱性。
在本發(fā)明的這些實(shí)施例中，有利地使用了對稱性法則。在基于分類的后濾波框架中，分類常常t基于自聚類策略，其中像素通過使用圍繞像素的窗口，諸如nxn窗口，和窗口內(nèi)的平均值而^皮分類。這是相當(dāng)靈活的分類方法，因?yàn)榭梢灶A(yù)先規(guī)定任意數(shù)目的類別。然而，在許多應(yīng)用中，由于帶寬和/或存儲限制，可被使用的類別的總數(shù)是有限的。對于有限數(shù)目的類別，非常難捕獲在一個(或多個)幀中出現(xiàn)的局部圖像圖案的大方差。減小這種大方差的一個方法是在分類和實(shí)際濾波之前相7十于
它們的取向規(guī)格化(normalize)圍繞像素的窗口。這些窗口然后形成一個類別，以及可以用同一個濾波器對它們進(jìn)行后濾波。這樣，相同數(shù)目的類別可以代表圖像圖案的大得多的多樣性。除了旋轉(zhuǎn)以外，也可以想到其它類型的幾何規(guī)格化，諸如移位和鏡像。
圖19提供事實(shí)上等價(jià)的、但是是對于旋轉(zhuǎn)90、 180或270度的多個圖案。
圖20顯示相互翻轉(zhuǎn)的版本的、相同的或類似的圖案，圖21顯示相互移位的版本的圖案。這個實(shí)施例所基于的理解是各種對稱性被使用來減小這個大方差，這是通過在分類與實(shí)際濾波之前相對于其取向來規(guī)格化窗口而進(jìn)行的。這些窗口然后形成一個類別，并可用相同的濾波器對它們進(jìn)行后濾波。這樣，相同數(shù)目的類別可以代表圖像圖案的大得多的多樣性。除了如在圖19上的旋轉(zhuǎn)以外，也可以想到其它類型的幾何》見格化，諸如移位(圖21)和鏡像(圖20)。
在這樣的實(shí)施例中，參數(shù)估計(jì)器被安排來執(zhí)行分類上的對稱性操作。在下面，我們給出例子，用來舉例說明我們可以如何生成幾何不變的分類，以便導(dǎo)致較少的類別。所述說明是在如上所述的進(jìn)行聚類的上下文中，使用圍繞像素的nxn窗口和有關(guān)最小化平方和的分類。然而，可以
示例性過程如下
步驟l:從壓縮的幀收集窗口樣本。
步驟2:對于每個窗口樣本x，得出它的對應(yīng)于3個旋轉(zhuǎn)圖案、4個鏡像圖案和移位圖案的變換版本xi(a是孔徑尺寸)。假設(shè)孔徑尺寸a-5，這意味著，必須生成總共N=3+4+8=15個附加的變換的圖案。
步驟3:擴(kuò)展在聚類算法中使用的距離度量。如果要計(jì)算在給定的樣本x和聚類中心y之間的距離，則我們計(jì)算在樣本x的每個變換版本和y之間的距離，然后選擇最小距離。
步驟4:作為如上所述的修改的K均值算法的結(jié)果，我們得到相對于幾何不變圖案(在MSE意義上)最佳的多個聚類(類別)中心。然而，在濾波器生成期間，導(dǎo)致到聚類中心的最小距離的每個樣本x的變換版本將被使用來最佳化濾波器系數(shù)。
得出的聚類(類別)中心和對應(yīng)的濾波器系數(shù)將被傳送到譯碼器一側(cè)用于后處理。在譯碼器一側(cè)，對于每個像素位置，除了使用用于分類的基本特征矢量以外，還必須生成多個變量(如在步驟2中)，每個變量必須與聚類(類別)中心進(jìn)行比較，以便得出在所有的變量與聚類中心之間的最小距離。然后選擇對應(yīng)的濾波器系數(shù)，并把它施加到所選擇的變換的變量。應(yīng)當(dāng)指出，濾波的結(jié)果需要被變換回去，以便施加到譯碼的幀。
雖然以上的例子是基于使用最小化的距離的例子，但它也可以容易地
擴(kuò)展到例如基于梯度的分類策略，諸如在圖11和12上示意性地圖示的。在這種情形下，在步驟2后，對于每個候選的變換圖案，必須計(jì)算對應(yīng)的基于梯度的特征矢量，并在此后將其使用于聚類。
應(yīng)當(dāng)指出，所提出的方法也可以應(yīng)用于環(huán)內(nèi)濾波。
提供實(shí)驗(yàn)結(jié)果。
上述的實(shí)施例在H.264參考軟件內(nèi)被實(shí)施、并且用SD分辨率序列進(jìn)行實(shí)驗(yàn)，量化參數(shù)QP被設(shè)置為從28到34。幾何不變的濾波作為對環(huán)內(nèi)后濾波的附加特征選項(xiàng)而被實(shí)施。我們測量了對于每個幀的PSNR增益，并且對于大多數(shù)幀，觀察到與不使用幾何不變性(具有相同數(shù)目的類別)相比較的0.03dB到0.06dB的增益。對于某些幀，達(dá)到高達(dá)O.ldB的增益。由于添加幾何不變性不需要額外的比特率增加，幾何不變性給現(xiàn)有的環(huán)內(nèi)濾波提供了額外的增強(qiáng)，而不會有退步。
我們還在我們的實(shí)驗(yàn)中注意到對于某些幀，啟用幾何不變?yōu)V波選項(xiàng)，可能提供相對于PSNR的負(fù)面影響。這可以是在幀中缺乏圖案多樣性的結(jié)果，且使用幾何不變性對于質(zhì)量沒有正面的貢獻(xiàn)。然而，由于分類和環(huán)內(nèi)濾波在編碼器一側(cè)執(zhí)行，所以如果出現(xiàn)這樣的負(fù)增益的話，編碼器可以決定對于當(dāng)前幀禁止使用幾何不變性。這意味著，對于每個幀必須發(fā)送附加的一個'信號比特，，用來指示是否使用幾何不變性。與總比特率相比較，這顯然是可忽略的開銷，而平均增益增加。
2.開啟所有的變換模式(例如，3個旋轉(zhuǎn)模式、4個鏡像模式和多個移位模式)可能不能給出相對于PSNR的最佳性能。例如，對于序列直升機(jī)(Helicopter),我們發(fā)現(xiàn)平均起來使用2個鏡像模式(垂直和水平翻轉(zhuǎn))和移位模式將給出最好的性能。然而，開啟某些模式而禁止其它模式可以是依賴于序列的決定。這樣的微調(diào)等價(jià)于使用幾何不變性與否。
對稱的不變性變換(翻轉(zhuǎn)、移位和旋轉(zhuǎn))是一 個大類別的圖案不變性變換的子類別。另 一個簡單的圖案不變性操作是縮放。
顯示在變換下的某個不變性的圖案的其它例子被圖示于圖22a到22c。
例A:不精確的但類似蠕蟲那樣的結(jié)構(gòu)"不精確的旋轉(zhuǎn)"的變換可以例如象這樣地完成把在塊中的像素分類成暗的和明亮的[例如，以上的塊平均]，以及使用"鏈取向代碼"測試類似性。例如如果方向改變是在相同的羅盤方向，并且對于像素的每個定向游動(oriented run)來說長度差異不大于1個像素(例如，2相對3像素開始分段)，則圖案可以被類似地考慮，以及用類似的濾波器(例如，某個模糊核尺寸)來處理。
例B:人們也可以規(guī)格化邊緣的(灰度值)高度。(雖然在某些濾波器情形下[例如，濾波器實(shí)施邊緣強(qiáng)度改變]，使濾波器也適配于邊緣的高度可能是更明智的，但在那些情形下，人們例如可以把邊緣步進(jìn)高度分類到多個子類別中(強(qiáng)的、中等、最小邊緣))。
例C給出另一個例子，它可被使用來例如處理(偽)周期性紋理(例如，具有非線性函數(shù)，它維持它們的灰度值頂部，但加深它們的谷底[例如，加深在草地的葉片之間的暗區(qū)域])。
圖案被示例性地建模[這可以適于基礎(chǔ)數(shù)據(jù)]為某個高度h[最亮的像素灰度/亮度/顏色值——例如240，減去最暗的一一例如10]、斜率a(這導(dǎo)致頂部間距離D)的正弦柵格，以及它具有在塊中的某個空間取向(3(這里象征性地顯示45度，但在灰度值截面圖上不能同時顯示，因?yàn)樗痪哂幸粋€空間維度)。
具有差異不太大的值oc、 h、 D的所有圖案然后可被分類在相同的紋理類別中，或再次地，可以沿可能的值范圍[線性地或非線性地]做出某些子類別，然后可以訓(xùn)練被參數(shù)化的濾波器f(h,oc);這例如可以通過以下操作來完成，即檢驗(yàn)濾波器系數(shù)在不同的(h,ot)范圍類別上如何變化，以及用多項(xiàng)式對它們建模。
圖23示意性地圖示按照本發(fā)明的圖像定義信號。該圖像定義信號包括圖像信息，在本例中是定義圖像內(nèi)容的壓縮數(shù)據(jù)CD;
多個控制參數(shù)組，定義圖像處理電路的控制參數(shù)，該圖像處理電路用于后處理在圖像的各個位置處的所述內(nèi)容，所述控制參數(shù)在本例中是類別定義參數(shù)C和對于每個類別的參數(shù)組F(C)，諸如象濾波器系數(shù)組。
類別定義參數(shù)可以具有各種各樣的形式，這取決于所選擇的用來定義案、基于塊的、運(yùn)動矢量等等)，或可以具有直接定義聚類中心的參數(shù)(見圖12)。在某些實(shí)施例中，例如，如果使用固定的方式在編碼器和譯碼器處定義類別，則可能不存在類別定義參數(shù)。
用于每個組的參數(shù)組可以是濾波器系數(shù)。參數(shù)組可以以絕對的方式被
定義，例如，每個參數(shù)的精確值；或以相對方式被定義，例如，與在前的值相比較，參數(shù)組內(nèi)的參數(shù)的改變。
在實(shí)施例內(nèi)，圖像定義信號可包括關(guān)于各種分開的操作的信息，各自具有分開的分類和對于類別的參數(shù)組。例如，根據(jù)在譯碼環(huán)路后的圖像中的基于梯度的聚類，環(huán)內(nèi)解塊操作后面可以跟隨另外的處理。對于所提到的兩個處理步驟中的每個步驟，在圖像定義信號中可以存在關(guān)于各種類別的分類和系數(shù)組的信息。每個分類M于不同的原理，以及系數(shù)也將是不同的，所以該信息將是不同的。
類別定義數(shù)據(jù)和參數(shù)組可以以任何適當(dāng)?shù)姆绞奖惶峁?，例如作為頭標(biāo)，通過標(biāo)記或作為分開的信號來提供。
在權(quán)利要求中闡述了本發(fā)明。正如這里使用的，術(shù)語"包括"并不排除其它單元或步驟，"一，，或"一個"并不排除多個，以及單個處理器或其它單元可以完成在權(quán)利要求中列舉的幾個裝置的功能。當(dāng)術(shù)語"電路"被使用時，這包括被編程來執(zhí)行該電路功能的可編程電路。在權(quán)利要求中的參考符號不應(yīng)被解釋為限制范圍。
簡而言之，本發(fā)明可被描述如下
定義像素的聚類以便使用于圖像壓縮和解壓縮。被使用來定義聚類的
/各/工aa L Jr丄n rt丄 t /各 ±_ /.厶2- a /丄變/j、 i厶7各主乂去 A:4 aA c -a七
口 '15 "j & 4石-,'J M 'l，樂w V j夕；&1丄且w v ',個爾1JL 、 -X ^曰天曰"還勸天
量、梯度、紋理等等。在圖像壓縮期間，相對于像素的圖像信息被檢驗(yàn)，以便確定它所屬于的聚類。因此，像素可以按照用于其圖像信息的聚類而被分類。在一個實(shí)施例中，聚類的定義根據(jù)圖像內(nèi)容而被動態(tài)地選擇。對于每個聚類，計(jì)算一個控制參數(shù)組以用于后處理操作，諸如是用于濾波的濾波器系數(shù)、或用于本地生成紋理的統(tǒng)計(jì)數(shù)據(jù)?？刂茀?shù)組根據(jù)圖像內(nèi)容而被選擇成使得在解壓縮后當(dāng)后處理操作被應(yīng)用于圖像時，將改進(jìn)對于被分類為屬于該聚類的像素的圖像質(zhì)量。壓縮的圖像和控制參數(shù)組被傳送到解壓縮設(shè)備。在解壓縮后，代表解壓縮的圖像的圖像信息被檢驗(yàn)，以便按照聚類分類像素，以及用于所選聚類的不同控制參數(shù)組被使用來控制在所述像素的位置處的后處理。
權(quán)利要求
1.一種解壓縮設(shè)備，包括-一個或多個輸入(20)，用于接收圖像信息和多個控制參數(shù)組，該圖像信息定義圖像的內(nèi)容；-存儲器(36)，用于存儲所接收的多個控制參數(shù)組；-解壓縮器(24)，被配置成至少部分地解壓縮該圖像信息；-選擇器(32)，被配置成對于圖像中多個像素的每一個來分類像素，并且根據(jù)對于像素的分類，選擇所接收的多個控制參數(shù)組中的相應(yīng)控制參數(shù)組；-圖像處理電路(39)，被配置成后處理所述至少部分地解壓縮的圖像信息，使用來自存儲器(36)的、用于所述經(jīng)分類的像素的該控制參數(shù)組中的被選擇的相應(yīng)控制參數(shù)組來控制對于圖像中像素的后處理。
2. 按照權(quán)利要求1的解壓縮設(shè)備，包括分用器(22)，其被配置成從輸 入信號中分用圖像信息和控制參數(shù)組。
3. 按照權(quán)利要求2的解壓縮設(shè)備，其中所述分用器(22^皮配置成從輸 入信號中分用定義圖像序列的圖像信息，以及其中所述選擇器(32)被配置 成對于序列中多個圖像的每一個，使用相同的分類參數(shù)而從相同的多個控 制參數(shù)組進(jìn)行選擇。
4. 按照權(quán)利要求1的解壓縮設(shè)備，其中所述圖像處理電路(39)包括濾 波器，所述控制參數(shù)組包括供所述濾波器使用的濾波器系數(shù)。
5. 按照權(quán)利要求4的解壓縮設(shè)備，其中所述濾波器是解塊濾波器。
6. 按照權(quán)利要求5的解壓縮設(shè)備，其中所述處理電路被安排成在環(huán)內(nèi) 應(yīng)用解塊濾波器。
7. 按照權(quán)利要求5的解壓縮設(shè)備，其中所述處理電路被安排成在環(huán)內(nèi) 應(yīng)用解塊濾波器。
8. 按照權(quán)利要求4的解壓縮設(shè)備，其中解壓縮器包括逆分辨率縮放器 (64)，所述圖像處理電路(39)被配置成通過使用由控制參數(shù)組定義的濾波器 系數(shù)而執(zhí)行分辨率放大的濾波。
9. 按照權(quán)利要求4的解壓縮設(shè)備，其中所述濾波器包括子濾波器(39a, b)的串聯(lián)裝置，所述控制參數(shù)組包括各個子濾波器的濾波器系數(shù)。
10. 按照權(quán)利要求1的解壓縮設(shè)備，其中所述圖像處理電路包括隨機(jī) 或偽隨機(jī)信號發(fā)生器(50)，其被配置成生成具有由控制參數(shù)組定義的統(tǒng)計(jì)特性的隨機(jī)或偽隨機(jī)信號。
11. 按照權(quán)利要求1的解壓縮設(shè)備，包括參考存儲器(74),用于存儲在對預(yù)測地壓縮的圖像解壓縮時使用的參考圖像，該參考存儲器(74)具有被耦合到圖像處理器的輸出的輸入，用于存儲經(jīng)后處理的圖像以便作為參 考圖像使用。
12. 按照權(quán)利要求2的解壓縮設(shè)備，其中所述分用器(22)被配置成從 輸入信號中分用類別定義數(shù)據(jù)，所述選擇器(32)被配置成把內(nèi)容分類成由 類別定義數(shù)據(jù)定義的類別。
13. 按照權(quán)利要求1的解壓縮設(shè)備，所述選擇器(32)被配置成通過 分類如下的矢量而分類圖像中的多個像素，所述矢量包括在相對于相應(yīng)像 素的預(yù)定相對位置處的圖像中的像素值；以及根據(jù)對于該矢量的分類，而 選擇所接收的多個控制參數(shù)組中的相應(yīng)控制參數(shù)組。
14. 按照權(quán)利要求1的解壓縮設(shè)備，所述選擇器(32)被配置成通過 分類包括運(yùn)動矢量的矢量而分類圖像中的多個像素，其中所述運(yùn)動矢量表 征在相對于相應(yīng)像素的預(yù)定相對位置處的圖像區(qū)域內(nèi)的、視頻流中的圖像 和相鄰圖像之間的運(yùn)動；根據(jù)對于該矢量的分類，而選擇所接收的多個控 制參數(shù)組中的相應(yīng)控制參數(shù)組。
15. 按照權(quán)利要求1的解壓縮設(shè)備，其中所述選擇器(32)被配置成 通過分類在相對于像素的相應(yīng)窗口中的圖像的紋理內(nèi)容，而分類圖像中的 多個像素；以及根據(jù)對于紋理的分類，而選擇所接收的多個控制參數(shù)組中 的相應(yīng)控制參數(shù)組。
16. 按照權(quán)利要求1的解壓縮設(shè)備，其中所述選擇器(32)被配置成 通過根據(jù)水平梯度值和/或垂直梯度值進(jìn)行分類，而分類圖像中的多個像 素；以及根據(jù)水平和/或垂直梯度的分類，而選擇所接收的多個控制參數(shù)組 中的相應(yīng)控制參數(shù)組。
17. 按照權(quán)利要求1的解壓縮設(shè)備，其中所述壓縮l基于塊的，以及 所述選擇器(32)被配置成通過相對于在塊內(nèi)的位置和邊緣活動性進(jìn)行分 類，而分類圖像中的多個像素位置；以及根據(jù)在塊內(nèi)的位置和邊緣活動性 的分類，而選擇所接收的多個控制參數(shù)組中的相應(yīng)控制參數(shù)組。
18. —種壓縮設(shè)備，包括-圖像輸入(IO)，用于接收定義輸入圖像的輸入信號；-圖像信號壓縮器(12),具有被耦合到圖像輸入(10)的壓縮器輸入，和用于至少部分地壓縮圖像的壓縮器輸出；畫參數(shù)估計(jì)器(16),具有被耦合到圖像輸入的輸入，以及被配置成 根據(jù)在相對于像素的相應(yīng)窗口中的圖像內(nèi)容，把圖像中的像素分類成相應(yīng) 的類別；以及根據(jù)壓縮的圖像與輸入圖像的比較，計(jì)算多個控制參數(shù)組， 每個控制參數(shù)組用于所述類別中的對應(yīng)類別，定義后處理操作，以便為對 應(yīng)類別中的像素減小壓縮偽像。
19. 按照權(quán)利要求18的壓縮設(shè)備，包括復(fù)用器(18)，其被配置成把控 制參數(shù)組與來自壓縮器輸出的壓縮圖像信號復(fù)用成復(fù)用的輸出信號。
20. 按照權(quán)利要求18的壓縮設(shè)備，其中所述參數(shù)估計(jì)器(16)被配置成 根據(jù)輸入圖像的內(nèi)容來選擇類別的定義。
21. 按照權(quán)利要求18的壓縮設(shè)備，其中類別的定義包括聚類矢量，它 包括在相對像素位置的配置處的解壓縮的圖像內(nèi)容。
22. 按照權(quán)利要求18的壓縮設(shè)備，其中類別的定義包括聚類矢量，它 包括用于相對像素位置的配置的運(yùn)動矢量。
23. 按照權(quán)利要求18的壓縮設(shè)備，其中類別的定義包括用于相對像素 位置的配置的水平梯度值和/或垂直梯度值。
24. 按照權(quán)利要求18的壓縮設(shè)備，其中類別的定義包括在塊內(nèi)的位置 和邊緣活動性，以及所述參數(shù)組是解塊濾波器參數(shù)組。
25. 按照權(quán)利要求18的壓縮設(shè)備，其中所述參數(shù)估計(jì)器被安排成執(zhí)行 對于分類的對稱操作。
26. 按照權(quán)利要求18的壓縮設(shè)備，被配置成壓縮包括輸入圖像的視頻 序列，以及其中參數(shù)估計(jì)器(16)被配置成為來自視頻序列的多個輸入圖像 共同地計(jì)算多個控制參數(shù)組。
27. 按照權(quán)利要求18的壓縮設(shè)備，包括解壓縮器(14),被配置成從 壓縮器輸出接收壓縮的圖像信號；該參數(shù)估計(jì)器(16)具有被耦合到解壓縮 器的另一個輸入，用于接收解壓縮的圖像信號，該參數(shù)估計(jì)器(16)被配置 成根據(jù)在輸入圖像與由解壓縮的圖像信號定義的解壓縮圖像之間的差異 而選擇參數(shù)組。
28. 按照權(quán)利要求27的壓縮設(shè)備，其中參數(shù)估計(jì)器(16)被配置成為每 個像素選擇類別控制參數(shù)，當(dāng)后處理在由控制參數(shù)定義的對應(yīng)類別中的像 素處被施加到來自圖像信號解壓縮器(14)的解壓縮圖像時，所述類別控制 參數(shù)減'J、在輸入圖像與解壓縮的圖像之間的、在對應(yīng)類別中的像素上求平均的差異。
29. 按照權(quán)利要求18的壓縮設(shè)備，其中由壓縮器(12)執(zhí)行的壓縮包括量化。
30. 按照權(quán)利要求18的壓縮設(shè)備，其中由壓縮器(12)執(zhí)行的壓縮包括 分辨率縮減。
31. 按照權(quán)利要求18的壓縮設(shè)備，其中所述參數(shù)估計(jì)器(16)被配置成 估計(jì)濾波器系數(shù)組，當(dāng)在濾波器中被使用來在由控制參數(shù)定義的對應(yīng)類別 中的像素處濾波來自圖像信號解壓縮器(14)的解壓縮圖像時，所述濾波器 系數(shù)組減小在輸入圖像與解壓縮的圖像之間的、在對應(yīng)類別中的像素上求 平均的差異。
32. 按照權(quán)利要求31的壓縮設(shè)備，其中所述濾波器系數(shù)組是解塊濾波 器系數(shù)。
33. 按照權(quán)利要求18的壓縮設(shè)備，其中所述濾波器包括多個子濾波器 的串聯(lián)裝置，濾波器系數(shù)組包括對于每個子濾波器的濾波器系數(shù)。
34. 按照權(quán)利要求33的壓縮設(shè)備，其中所述參數(shù)估計(jì)器(16)被配置成 為多個類別共同地估計(jì)用于至少 一個子濾波器的濾波器系數(shù)組。
35. 按照權(quán)利要求18的壓縮設(shè)備，其中所述參數(shù)估計(jì)器被配置成估 計(jì)表明在類別內(nèi)的壓縮信號與輸入圖像之間的差異范圍的統(tǒng)計(jì)特性；以及 表示在控制參數(shù)組中的統(tǒng)計(jì)特性。
36. 按照權(quán)利要求18的壓縮設(shè)備，包括參考存儲器(70),用于存儲參 考圖像，所述壓縮器被配置成藉助于對參考圖像的參考而表示另外的圖 像，該參考存儲器(70)具有被耦合到圖像處理器的輸出的輸入，用于存儲 經(jīng)后處理的圖像以便作為參考圖像使用。
37. —種解壓縮圖像的方法，該方法包括-接收圖像信息和控制參數(shù)組，該圖像信息定義圖像的內(nèi)容；-存儲多個控制參數(shù)組；-至少部分地解壓縮圖像信息；-分類圖像中多個像素的每一個；-根據(jù)對像素的分類，而選擇多個控制參數(shù)組中的相應(yīng)控制參數(shù)組； -后處理所述至少部分地解壓縮的圖像信息，使用來自存儲器的、對于圖像中所述像素的已接收控制參數(shù)組中的被選擇的相應(yīng)控制參數(shù)組，來控制對于圖像中所述像素的后處理。
38. —種計(jì)算機(jī)程序產(chǎn)品，包括指令形式的程序，當(dāng)由可編程計(jì)算機(jī) 執(zhí)行時，該指令使得可編程計(jì)算機(jī)執(zhí)行按照權(quán)利要求37的方法。
39. —種壓縮圖像的方法，該方法包括 -接收定義輸入圖像的輸入信號；-壓縮該輸入信號；-根據(jù)在相對于像素的相應(yīng)窗口中的圖像內(nèi)容，把圖像中的位置分類 成相應(yīng)的類別；-計(jì)算多個控制參數(shù)組，每個控制參數(shù)組用于所述類別中對應(yīng)的類別， 定義后處理操作，以便為對應(yīng)的類別中的像素減小壓縮偽像。
40. —種計(jì)算機(jī)程序產(chǎn)品，包括指令形式的程序，當(dāng)由可編程計(jì)算機(jī) 執(zhí)行時，該指令使得可編程計(jì)算機(jī)執(zhí)行按照權(quán)利要求39的方法。
41. 一種圖像定義信號，包括 -定義圖像的內(nèi)容的圖像信息；-多個控制參數(shù)組，其定義圖像處理電路的控制參數(shù)，以用于后處理 在圖像中相應(yīng)像素處的所述內(nèi)容。
42. 按照權(quán)利要求41的圖像定義信號，包括類別定義信息，用于定義 圖像中像素的類別，每個類別對應(yīng)于控制參數(shù)組中的相應(yīng)控制參數(shù)組。
43. 按照權(quán)利要求41的圖像定義信號，其中所述參數(shù)組是濾波器系數(shù)組。
44. 按照權(quán)利要求43的圖像定義信號，其中所述濾波器系數(shù)組是解塊 濾波器系數(shù)。
45. 按照權(quán)利要求42的圖像定義信號，其中所述類別定義信息包括關(guān) 于聚類中心的x和y梯度坐標(biāo)的信息。
46. 按照權(quán)利要求41的圖像定義信號，其中所述圖像信息定義多個圖 像的內(nèi)容，多個控制參數(shù)組中的至少 一個控制參數(shù)組定義用于圖像處理電 路的控制參數(shù)，用以后處理在相應(yīng)位置處的該多個圖像中的所有圖像。
全文摘要
定義像素的聚類以便使用于圖像壓縮和解壓縮。被使用來定義聚類的圖像信息可包括在相對于像素的預(yù)定位置處的像素值、或相關(guān)的運(yùn)動矢量、梯度、紋理等等。在圖像壓縮期間，相對于像素的圖像信息被檢驗(yàn)，以便確定它所屬于的聚類。因此，像素可以按照用于其圖像信息的聚類而被分類。在一個實(shí)施例中，聚類的定義根據(jù)圖像內(nèi)容而被動態(tài)地選擇。對于每個聚類，計(jì)算一個控制參數(shù)組以用于后處理操作，諸如是用于濾波的濾波器系數(shù)、或用于本地生成紋理的統(tǒng)計(jì)數(shù)據(jù)。控制參數(shù)組根據(jù)圖像內(nèi)容而被選擇成使得在解壓縮后當(dāng)后處理操作被應(yīng)用于圖像時，將改進(jìn)對于被分類為屬于該聚類的像素的圖像質(zhì)量。壓縮的圖像和控制參數(shù)組被傳送到解壓縮設(shè)備。在解壓縮后，代表解壓縮的圖像的圖像信息被檢驗(yàn)，以便按照聚類來分類像素，以及用于所選聚類的不同的控制參數(shù)組被使用來控制在所述像素的位置處的后處理。
文檔編號H04N7/26GK101563926SQ200780046841
公開日2009年10月21日 申請日期2007年12月11日 優(yōu)先權(quán)日2006年12月18日
發(fā)明者F·卓, K·J·G·欣南, M·J·弗伯恩, S·德韋爾, W·H·A·布魯爾斯 申請人:皇家飛利浦電子股份有限公司