專利名稱：具有降低清晰度預測漂移的后處理的視頻解碼系統(tǒng)和方法
技術領域：
本發(fā)明一般地涉及具有降低復雜度的系統(tǒng)的視頻解碼器，更具體地說，涉及用于降低因降低復雜度所引起的視頻清晰度的脈動的后處理系統(tǒng)和方法。
隨著對細節(jié)豐富的視頻處理應用的要求不斷提高，管理與這樣的應用相關聯(lián)的計算資源已經成為一個越來越大的難題。管理視頻資源的系統(tǒng)的一個例子是降低復雜度的解碼系統(tǒng)。在這種系統(tǒng)中，可以用在環(huán)路內的處理技術顯著地降低解碼器的復雜度。例如，設計得很好的離散余弦變換(DCT)掩蔽可以簡化逆DCT(IDCT)過程，提供適度降低的視頻質量以及降低解碼的復雜度。
此外，嵌入的規(guī)模調整(resizing)，一種在解碼環(huán)路內引入縮放(scaling)功能的方案，通過降低分辨率的IDCT和運動補償達到了降低復雜度和節(jié)約存儲器的效果。當前的降低復雜度系統(tǒng)可以使CPU周期減少百分之三十，同時對于大多數(shù)普通的場景序列又可提供令人滿意的視頻質量。
如所周知，降低復雜度的代價是在解碼環(huán)路內引入了解碼誤差。特別是，誤差將通過運動補償傳播，直到下個幀內編碼幀即“I”幀。結果，視頻質量通常在一個畫面組(GOP)內逐漸降低，導致預測漂移。
由于大多數(shù)情況下通常降低的是清晰度，因此典型的預測漂移就觀眾所看到的來說是視頻清晰度的脈動，即周期性地出現(xiàn)一些逐漸模糊的畫面后接著有一個清晰的畫面。雖然有些技術有助于減小預測漂移，諸如對那些有助于預測的畫面提供保護的與幀類型相關的處理，但是這些技術不能消除漂移問題。只要在預測通路內有誤差，就會有預測漂移。
因此，需要有各種改善的技術，以便更好地在復雜度降低解決解碼系統(tǒng)內的預測漂移。
本發(fā)明考慮了上面提到的這些問題和其他一些問題，提供了一種用于復雜度降低了的解碼器的后處理系統(tǒng)和方法，它們有意地使一個視頻序列內的一些畫面變模糊，以便在幀間實現(xiàn)平滑的質量過渡。在第一方面，本發(fā)明提供了一種圖像處理系統(tǒng)，這種圖像處理系統(tǒng)包括一個具有一個復雜度降低系統(tǒng)的解碼器；以及一個用于處理解碼器的輸出的后處理系統(tǒng)，所述后處理系統(tǒng)包括一個有意使一個畫面組(GOP)內的一組幀變模糊以便在幀間實現(xiàn)平滑的視覺過渡的濾波器。
在第二方面，本發(fā)明提供了一種用于在一個復雜度降低了的視頻序列內消除預測漂移的方法，這種方法包括下列步驟確定可用的后處理資源量；確定在視頻序列內按照可用資源能處理的幀數(shù)；在視頻序列內選擇一組要處理的幀；以及對該組所選幀進行濾波，其中所述濾波使該組所選幀變模糊，以便實現(xiàn)幀間平滑的視覺過渡。
在第三方面，本發(fā)明提供了一種用于在一個復雜度降低了的視頻序列內消除預測漂移的后處理系統(tǒng)，這種后處理系統(tǒng)包括一個控制器，用來接收可用的后處理資源量和確定視頻序列內按照可用資源能處理的幀數(shù)；一個幀選擇器，用來在視頻序列內選擇一組要處理的幀；以及一個濾波器，用來對該組幀進行濾波，其中所述濾波使所選幀變模糊，以實現(xiàn)幀間平滑的視覺過渡。
從以下結合附圖對本發(fā)明的各個方面的詳細說明中可以更為清楚地看到本發(fā)明的這些及其他一些特征。在這些附圖中

圖1示出了按照本發(fā)明設計的復雜度可調的解碼器系統(tǒng)；圖2示出了按照本發(fā)明設計的具有后處理系統(tǒng)的MPEG解碼系統(tǒng)；以及圖3示出了按照本發(fā)明設計的幀清晰度方案。
現(xiàn)在來看這些附圖，圖1示出了能提供復雜度降低的MPEG解碼系統(tǒng)10。解碼系統(tǒng)10包括一個嵌入的復雜度調整系統(tǒng)12，它能減小對輸入比特流14解碼所需的計算復雜度。應該理解，解碼系統(tǒng)10只是示范性的，也可以采用其他類型的基于DCT/運動估計的解碼系統(tǒng)(例如，H.26x系列的解碼器)和/或復雜度降低系統(tǒng)(例如，適度退化系統(tǒng))。
如以上所指出的那樣，眾所周知，減小復雜度的代價是解碼環(huán)路內引入了解碼器誤差而導致預測漂移。本發(fā)明對這個問題的解決并不是試圖防止出現(xiàn)預測漂移，而是提供一個后處理系統(tǒng)，使得具有預測漂移的已解碼的序列對于觀眾主觀上看起來顯得好一些。
由于人類視覺系統(tǒng)對相鄰幀之間的視頻質量突變很敏感，一個模糊畫面與下一個清晰畫面之間的反差通常會引起比該模糊畫面本身更大的視覺煩擾。本發(fā)明通過有意地使緊接一個模糊畫面的一個或多個清晰畫面變模糊來解決這個問題，達到平滑的幀間和GOP間質量過渡。
參考圖2，所示的圖像處理系統(tǒng)21具有MPEG解碼器10和后處理系統(tǒng)20。后處理系統(tǒng)20包括一個接收來自MPEG解碼器10的幀和塊信息40和可用的后處理資源38的控制器24；一個接收來自MPEG解碼器10的視頻28和來自控制器24的數(shù)據(jù)的幀選擇器26；以及一個接收來自幀選擇器26的所選擇的幀32和來自控制器24的數(shù)據(jù)的低通濾波器22。后處理系統(tǒng)20的輸出是給顯示器的視頻序列36，它包括經低通濾波器22濾波的所選中的幀32和不經低通濾波器22的非選中的幀34。低通濾波器22從一些畫面中消除了一些高頻成分，以便有意使畫面變模糊。
控制器24具有兩個主要作用。第一，由于后處理系統(tǒng)20需要計算資源，控制器24負責將后處理系統(tǒng)20的計算復雜度保持在所分配的資源預算所允許的范圍內。也就是說，控制器24必須確定在一段給定的時間內能處理多少幀而不超過可用的后處理資源量38。一個達到這個目的的示范方法如下。假設低通濾波器22的濾波器復雜度與畫面尺寸“p”和濾波器長度“f”成正比，控制器24可以按下式計算出在資源預算“r”內它可以處理的幀數(shù)NN＝r/(p*f*k)，其中k為一個表示每個像素每個濾波器系數(shù)所需的計算資源的常數(shù)。因此(p*f*k)表示了對一個幀進行濾波所需的平均復雜度。
因此，例如，如果可用資源為1百萬周/秒，畫面尺寸為10,000個像素，濾波器長度為4，而k選為1；于是系統(tǒng)每秒可以處理25幀。一旦計算出來，控制器24就可以將這信息傳送給幀選擇器26和/或低通濾波器22。
除了確定要處理的幀數(shù)之外，控制器24還必須確定低通濾波器22的截止頻率。截止頻率應該選擇得低到足以使清晰畫面變模糊，但要高到足以不使已經由解碼處理變模糊的畫面更模糊。在一個示范的實施例中，截止頻率作如下選擇。
已經認識到，在帶有嵌入的規(guī)模調整的MPEG解碼中，清晰度損失的主要來源是由于根據(jù)分辨率降低了的基準幀進行內插?；鶞蕡D像越清晰，內插所遭受的清晰度損失越大。此外，一個GOP內的基準幀越多，在這個GOP結束處的積累的清晰度損失也越大。因此，所希望的截止頻率C可以估計為C＝C0-(S*Nr)，其中C0為常數(shù)，S為GOP內第一個I幀的清晰度測度，而Nr為GOP內基準幀的幀數(shù)。因此，隨著第一個I幀的清晰度和/或基準幀的幀數(shù)的增大，截止頻率就越低。
為了實現(xiàn)上式，可以配置一個用來度量初始I幀的清晰度的系統(tǒng)。在一個示范實施例中，清晰度可以通過檢查一個DCT塊的非零系數(shù)來測量。例如，清晰度“S”可以包括覆蓋了一個DCT塊內各非零系數(shù)的最大“非零矩形”的平均長度和寬度。這種實現(xiàn)方式下面將結合圖3詳細進行說明。
圖3示出了一個示范性的8×8的DCT塊30，它包括一些零系數(shù)(白色的)和非零系數(shù)(黑色的)。可以覆蓋每個非零系數(shù)的最小矩形是一個6×8矩形31(以粗線示出)，即寬度W＝8，高度H＝6。假設幀內有1000個這樣的DCT塊，從而可以得到1000個“W”值和1000個“H”值(每個塊一個W值和一個H值)。然后，可以分別計算出這1000個W值的平均值(即，W′)和這1000個H值的平均值(即，H′)，從而得到這個幀的一個平均非零矩形(例如，W′＝7.32×H′＝6.04)。于是可以用這個平均非零矩形來度量這個幀的清晰度。因此，對于一個給定的幀，可以得到用來度量清晰度的每個方向的截止頻率(即，水平方向用W′，而垂直方向用H′)。類似，在濾波器設計階段，將一個濾波器設計成用水平截止頻率進行水平濾波而將一個濾波器設定成用垂直截止頻率進行垂直濾波。
注意，對于包括嵌入的規(guī)模調整的MPEG解碼，DCT塊將具有降低了的分辨率(例如，降低為4×4)。在這種規(guī)模調整的情況下，清晰度S將包括在分辨率降低了的DCT塊之內的平均非零矩形。
幀選擇器26選擇需要變模糊的N個幀。由于圖像清晰度通常在接近一個GOP的結束處降低，因此幀選擇器26可以設計成選擇一個GOP內的前N個幀。所選幀傳送給低通濾波器22，低通濾波器22將這些幀變模糊后轉發(fā)給顯示器36。未選擇的那些幀(即，未選幀34)從低通濾波器22旁路，不經濾波而直接顯示。
低通濾波器22可以用任何已知方式實現(xiàn)。例如，給定了所希望的截止頻率C，低通濾波器22可以動態(tài)地產生，也可以從一個預先計算好的查找表中得出。已知的一些濾波器設計方法，諸如三次樣條(cubicspline)和Kaiser窗設計，都可用來產生濾波器系數(shù)。低通濾波操作可以用一個包括通用媒體用的媒體處理器的硬件協(xié)處理器來執(zhí)行。如果得不到這樣的協(xié)處理器，濾波可以用媒體處理器的CPU內核實現(xiàn)?？梢岳斫?，在這里所說明的系統(tǒng)、功能、機制、方法和模塊可以用硬件、軟件或硬件和軟件的組合實現(xiàn)。它們可以由任何類型的計算機系統(tǒng)或其他適合于實現(xiàn)在這里所說明的方法的設備來實現(xiàn)。一種典型的硬件和軟件的組合可以是一個配有計算機程序的通用計算機，這個計算機程序在裝入并執(zhí)行時控制這個計算機系統(tǒng)使其執(zhí)行在這里所揭示的方法?；蛘?，也可以使用一個含有實現(xiàn)本發(fā)明的一個或多個操作任務的專用硬件的專用計算機。本發(fā)明也可以體現(xiàn)為一種計算機程序產品，這種計算機程序產品包括使在這里所揭示的方法和功能得以實現(xiàn)的所有功能部件，這種計算機程序產品在裝入一個計算機系統(tǒng)后能實現(xiàn)這些方法和功能。計算機程序、軟件程序、程序、程序產品或軟件在這里意味著以任何語言、代碼或符號對一系列用來使一個具有信息處理能力的系統(tǒng)直接或者在(a)變換為另一種語言、代碼或符號和/或(b)以不同的物質形式再現(xiàn)后執(zhí)行的指令的任何表示。
以上對本發(fā)明的優(yōu)選實施例的說明的目的是用來例示和說明本發(fā)明。這些實施例并不是窮舉性的或要將本發(fā)明局限于就是所揭示的確切的形式，根據(jù)以上原理顯然許多變型都是可行的。對于熟悉該技術的人員來說是顯而易見的這樣一些變型，都應列入如所附權利要求書所給出的本發(fā)明的專利保護范圍。
權利要求
1.一種圖像處理系統(tǒng)，所述圖像處理系統(tǒng)包括一個具有一個復雜度降低系統(tǒng)的解碼器；以及一個用于處理解碼器的輸出的后處理系統(tǒng)，所述后處理系統(tǒng)包括一個有意使一個畫面組(GOP)內的一組幀變模糊以便在幀間實現(xiàn)平滑的視覺過渡的濾波器。
2.權利要求1的圖像處理系統(tǒng)，其中所述復雜度降低系統(tǒng)包括一個適度的退化系統(tǒng)。
3.權利要求1的圖像處理系統(tǒng)，其中所述復雜度降低系統(tǒng)包括一個嵌入的規(guī)模調整系統(tǒng)。
4.權利要求1的圖像處理系統(tǒng)，其中所述后處理系統(tǒng)還包括一個控制器，用來將后處理系統(tǒng)的復雜度保持在資源預算的范圍內和用于計算濾波器的截止頻率；以及一個幀選擇器，用來選擇GOP內的該組要由濾波器變模糊的幀。
5.權利要求4的圖像處理系統(tǒng)，其中所述控制器按照下式計算出對于給定的資源限制r所能處理的幀數(shù)NN＝r/(p*f*k)其中p為畫面尺寸，f為濾波器長度，而k為一個表示每個像素每個過濾系數(shù)所需的計算資源的常數(shù)。
6.權利要求4的圖像處理系統(tǒng)，其中所述控制器用式C＝C0-(S*Nr)估計截止頻率C，其中C0為常數(shù)，S為該GOP內第一I幀的清晰度測度，而Nr為該GOP內基準幀的幀數(shù)。
7.權利要求5的圖像處理系統(tǒng)，其中所述幀選擇器所選的要被變模糊的該組幀包括該GOP內前N個幀。
8.權利要求4的圖像處理系統(tǒng)，其中所述濾波器是動態(tài)產生的。
9.權利要求4的圖像處理系統(tǒng)，其中所述濾波器包括一個預先計算好的查找表。
10.一種用于在一個復雜度降低了的視頻序列內消除預測漂移的方法，所述方法包括下列步驟確定可用的后處理資源量；確定視頻序列內按照可用資源能處理的幀數(shù)；在視頻序列內選擇一組要處理的幀；以及對該組所選幀進行濾波，其中所述濾波使該組幀變模糊，以便實現(xiàn)幀間平滑的視覺過渡。
11.權利要求10的方法，所述方法還包括在濾波操作前計算用于視頻序列的濾波器的截止頻率的步驟。
12.權利要求11的方法，其中截止頻率C用式C＝C0-(S*Nr)計算，其中C0為常數(shù)，S為該GOP內第一I幀的清晰度測度，而Nr為GOP內基準幀的幀數(shù)。
13.權利要求12的方法，其中所述清晰度S是根據(jù)在該GOP內第一I幀的多個DCT塊中的每個DCT塊內的非零離散余弦變換(DCT)系數(shù)的安排計算的。
14.權利要求10的方法，其中在給定資源限制r下能處理的視頻幀的幀數(shù)N按下式計算N＝r/(p*f*k)其中p為畫面尺寸，f為濾波器長度，而k為一個表示每個像素每個濾波器系數(shù)所需的計算資源的常數(shù)。
15.權利要求14的方法，其中所述被選擇來要變模糊的幀包括視頻序列內的前N個幀。
16.一種用于在一個復雜度降低了的視頻序列內消除預測漂移的后處理系統(tǒng)，所述后處理系統(tǒng)包括一個控制器，用來接收可用的后處理資源量和確定視頻序列內按照可用資源能處理的幀數(shù)；一個幀選擇器，用來在視頻序列內選擇一組要處理的幀；以及一個濾波器，用來對該組幀進行濾波，其中所述濾波使該組幀變模糊，以實現(xiàn)幀間平滑的視覺過渡。
17.權利要求16的后處理系統(tǒng)，其中所述控制器計算用于視頻序列的濾波器的截止頻率。
18.權利要求17的后處理系統(tǒng)，其中所述截止頻率C用式C＝C0-(S*Nr)計算，其中C0為常數(shù)，S為該GOP內第一I幀的清晰度測度，而Nr為該GOP內基準幀的幀數(shù)。
19.權利要求18的后處理系統(tǒng)，其中所述清晰度S是根據(jù)在該GOP內第一I幀的多個DCT塊中的每個DCT塊內的非零離散余弦變換(DCT)系數(shù)的安排計算的。
20.權利要求16的后處理系統(tǒng)，其中在給定資源限制r下能處理的視頻幀的幀數(shù)N按式N＝r/(p*f*k)計算，其中p為畫面尺寸，f為濾波器長度，而k為一個表示每個像素每個濾波器系數(shù)所需的計算資源的常數(shù)。
21.權利要求20的后處理系統(tǒng)，其中被所述幀選擇器所選擇來要變模糊的幀包括視頻序列內的前N個幀。
全文摘要
一種圖像處理系統(tǒng)，該系統(tǒng)包括一個具有一個復雜度降低系統(tǒng)的解碼器；以及一個處理解碼器的輸出的后處理系統(tǒng)，其中所述后處理系統(tǒng)包括一個有意使一個畫面組(GOP)內的一些幀變模糊以實現(xiàn)幀間平滑的視覺過渡的濾波器。
文檔編號H04N7/26GK1659886SQ03812894
公開日2005年8月24日 申請日期2003年5月19日 優(yōu)先權日2002年6月4日
發(fā)明者Z·尊, Y·陳 申請人:皇家飛利浦電子股份有限公司