專利名稱：測量壓縮數字圖像的mpeg噪聲強度的方法和裝置的制作方法
技術領域：
本發(fā)明通常涉及數字圖像處理，更具體地講，涉及從壓縮圖像/視頻去除壓縮噪聲。
背景技術：
減少壓縮(編碼)噪聲(例如減少MPEG噪聲)是一種在諸如TV機的顯示裝置中的后處理器實現的主要功能之一?？赏ㄟ^多種數字壓縮技術處理數字視頻內容以及對其進行編碼以克服通信網絡中數據帶寬限制而產生壓縮噪聲。
在美國廣播的當前數字TV(DTV)使用MPEG-2國際視頻壓縮標準來壓縮數字視頻內容。DVD視頻內容也可通過MPEG-2被壓縮。可通過MPEG-2、MPEG-4或H.264處理高清晰度(HD)內容。這些壓縮的數字視頻包含不同程度的偽像，所述偽像降低顯示的視頻圖像和場景的質量。這里的描述中MPEG處理的數字視頻中的偽像稱為“MPEG噪聲”或“壓縮噪聲”。因而減少壓縮噪聲是在顯示到屏幕之前從數字視頻中檢測這些干擾的MPEG噪聲，并去除/減少這些干擾的MPEG噪聲的處理。
此外，圖像中的塊邊界的不連續(xù)、多邊緣、塊偽像是不期望的現象。塊偽像出現在通過諸如JPEG、MPEG和H.26X的基于塊的編碼方案壓縮的圖像/視頻中。在這些編碼方案中，將畫面劃分成N×N陣列的被稱為宏塊的矩形塊(N通常為16)。然后，再將每個宏塊子劃分成M×M(M通常為8)的子塊。典型地，獨立于其他子塊，通過8×8的離散余弦變換(DCT)、量化、Z字形掃描以及熵編碼來處理每個子塊。
因為獨立地處理每個子塊(和每個宏塊)，所以連接相鄰塊的圖像/視頻數據的臨界部分經常被丟失，并在塊的邊界處出現多邊緣和不連續(xù)。隨著對圖像/視頻壓縮的越多(即，以較高的壓縮率對圖像/視頻進行壓縮)，塊偽像變得越嚴重。
有幾種減少壓縮噪聲的方法。這幾種方法包括估計偽像強度并根據測量的值減少偽像。
在編碼的圖像內的不同空間位置出現具有不同強度的塊偽像。如果將單個的去塊濾波器同樣地應用于所有的塊邊界，則要么沒有充分減少強的塊偽像，要么較好的圖像特性變模糊。

發(fā)明內容
在一個實施例中，本發(fā)明提供了一種基于在空間域從輸入圖像(幀或場畫面)計算的全局和局部邊緣統(tǒng)計來估計每個塊邊界的塊偽像的強度的方法和系統(tǒng)。在一個實施例中，這種方法系統(tǒng)地測量與諸如JPEG、MPEG和H.26x的基于塊的壓縮/編碼方案相關的壓縮偽像的強度。
在一個示例中，根據本發(fā)明的健壯和有效的去塊和去環(huán)方法測量每個塊邊界的MPEG噪聲強度并調整去塊/去環(huán)參數，從而改善整個處理的性能。
本發(fā)明還提供一種對圖像/視頻應用程序的給定圖像的質量測量以確定輸入圖像是否需要增強。在一個實施例中，首先將編碼的輸入圖像分成用于估計局部壓縮噪聲強度的非重疊的子圖像，然后從每個子塊計算局部參數。然后，使用計算的參數和分析圖像內容的活性來估計圖像的局部和全局部分的噪聲強度值。使用估計的噪聲強度值來確定輸入圖像是否需要諸如噪聲降低的增強。
根據本發(fā)明的實施例，降低塊偽像的有效方法應該測量每個塊邊界的塊偽像強度并相應地調整去塊濾波器的參數。結果，將較多的濾波應用于強的塊偽像，而將較少的濾波應用于弱的塊偽像。自適應的去塊濾波器改善了整個去塊處理的性能。
參照下面的描述、權利要求和附圖，本發(fā)明的這些和其他特征、方面和優(yōu)點將變得易于理解。


圖1示出根據本發(fā)明實施例的圖像處理系統(tǒng)的實施例的功能性方框圖。
圖2示出根據本發(fā)明實施例的圖1的壓縮噪聲估計器的實施例的功能性方框圖。
圖3示出根據本發(fā)明實施例的圖2的局部參數計算模塊的實施例的示例性的功能性方框圖。
圖4A-B示出根據本發(fā)明實施例的分別用于垂直和水平邊緣方向的圖像的示例性的Sobel運算。
圖5示出根據本發(fā)明實施例的測量壓縮的數字圖像的MPEG噪聲強度的功能性流程。
在附圖中，相同的標號表示相似的部件。
具體實施例方式
在一個實施例中，本發(fā)明提供一種測量壓縮的數字圖像幀中的編碼噪聲強度的方法和系統(tǒng)。此外，本發(fā)明提供一種基于在空間域從輸入圖像(幀或場畫面)計算的全局或局部邊緣統(tǒng)計來估計每個塊邊界的塊偽像強度的方法和系統(tǒng)。在一個實施例中，這種方法系統(tǒng)地測量與諸如JPEG、MPEG和H.26x的基于塊的壓縮(編碼)方案有關的壓縮偽像強度。
在對原始壓縮圖像沒有任何預先了解的情況下，在像素域內對解碼的數字圖像估計局部和全局壓縮噪聲信息?；趬K邊緣邊界周圍的局部和全局邊緣統(tǒng)計來確定這種由圖像壓縮引起的噪聲信息，所述局部和全局邊緣統(tǒng)計是在空間域中從輸入圖像(幀或場畫面)計算的。
圖1示出根據本發(fā)明實施例的實現測量壓縮的數字圖像的MPEG噪聲強度用于圖像增強的方法的圖像處理系統(tǒng)10的功能性方框圖。所述系統(tǒng)10在輸入處理器100接收壓縮的(解碼的)輸入圖像，在圖像增強器102中增強圖像以產生被傳送到輸出圖像處理器106的增強的輸出圖像。根據本發(fā)明的實施例，圖像增強器102中的增強是估計由壓縮偽像估計器104確定的壓縮偽像的功能。下面將更詳細地描述系統(tǒng)10中執(zhí)行的處理。
彩色視頻信號通常包括三個顏色信道，即，亮度(Y)信道和兩個色度(U、V)信道。通常只需要對亮度信道執(zhí)行根據本發(fā)明的壓縮強度參數估計。
通常，考慮到帶寬效率和存儲器的設計，使用8比特來表示Y值。因此，傳統(tǒng)的圖像處理系統(tǒng)向每個像素分配0到255范圍(0表示最暗的亮度，255表示最亮的亮度)內的Y值。對色度信道(U，V)執(zhí)行壓縮強度參數估計對估計量化參數沒有(或很少)顯而易見的效果。
在系統(tǒng)10中，將解碼的亮度數據從處理器100中的緩沖器讀取到圖像增強器102中。在此階段，圖像增強器102基于壓縮噪聲估計器104的輸出改善輸入數據(例如，對亮度數據濾波)。來自圖像增強器102的增強的(濾波的)亮度數據被輸出到處理器106以在顯示之前將來自兩個色度信道的解碼的數據組合。
圖2示出根據本發(fā)明實施例的實現估計壓縮噪聲強度的方法的圖1的壓縮噪聲估計器104的實施例的功能性方框圖。估計器104通過分析塊邊緣統(tǒng)計來估計塊偽像(壓縮噪聲)的強度。估計器104的輸入是輸入圖像100，估計器104的輸出是用于控制圖像增強塊102的估計的偽像級。
在增強器102中根據估計器104中估計的塊偽像強度來調整去塊或去環(huán)處理的控制值。
首先，通過局部參數計算模塊200(下面進一步描述)獲得局部參數。用于局部信息的參數與全局參數相同。局部參數表示在局部區(qū)域中塊偽像的程度，而全局參數表示在輸入圖像的整個區(qū)域中塊偽像的程度。在一個示例中，這種參數包括塊差、塊比率、塊計數和塊活性(block activity)。
然后，通過使用局部參數，差模塊202確定塊差標識，比率模塊204確定塊比率標識，計數器模塊206確定塊計數標識，活性模塊208確定塊活性標識。下面進一步描述模塊202、204、206和208。
基于局部參數使用輸入圖像幀的塊邊緣統(tǒng)計來計算塊差標識、塊比率標識、塊計數標識和塊活性標識。
對整個輸入圖像幀全局計算每個參數，然后對圖像幀的N×N的非重疊子部分再局部計算每個參數。所述子部分是輸入圖像的一小部分。
當僅在輸入圖像的部分上出現塊偽像時(例如，由于局部區(qū)域/對象的高運動)，包括在每個子部分區(qū)域中計算的局部參數的局部信息是有用的。
對于輸入圖像幀的每個子塊，分別將塊差標識、塊比率標識、塊計數標識和塊活性標識輸入到加權模塊212、214、216和218。加權模塊212、214、216和218分別產生加權因子r1、r2、r3和r4。同樣地，加權因子r1、r2、r3和r4分別對應于塊差標識、塊比率標識、塊計數標識和塊活性標識。
然后，在組合器(例如，乘法器)220中將獲得的加權因子r1、r2、r3和r4組合在一起以產生對壓縮噪聲強度的估計R，其中，R是全局信息，而r是局部信息(它們可能不同)。在一個示例中，獲得的壓縮噪聲強度在某一范圍內變化，例如，從0到1，其中，0指示低壓縮噪聲，而1指示高壓縮噪聲(例如，嚴重的塊偽像)。
在這里描述的本發(fā)明的示例性實施例中，因為輸入圖像幀被分成N×N的非重疊子部分(例如，子圖像)，所以局部噪聲強度標識r的數量是N×N，但是對于整個圖像幀僅產生一個全局強度標識R。
圖3示出圖2的局部參數計算模塊200的實施例的示例性的功能性方框圖。模塊200包括邊緣算子300和局部參數產生器302。在本示例中，邊緣算子300在水平方向和垂直方向上將Sobel邊緣運算(或任何其他合適的邊緣運算)應用于輸入圖像的每個像素Y1(亮度)。然后，在局部參數產生器302中對像素計算局部信息作為用于進一步處理的Y2(用數字表示的值)。如下所述在模塊302中計算局部參數。在一個示例中，通過將塊邊界處的所有值求和取平均來計算塊差。
圖4A-4B分別示出根據本發(fā)明實施例的垂直和水平邊緣方向的圖3的示例性的Sobel運算。
回頭參照圖2和圖3，差模塊202確定塊差標識作為位于塊邊界的邊緣像素的差的平均幅度。將Sobel邊緣算子(檢測器)300的輸出值取平均計算的塊差標識位于選擇的范圍(a，b)內，其中，a和b是選擇合適范圍內的值的閾值。如果存在塊偽像，則在塊邊界出現信號不連續(xù)。為了與實際的信號不連續(xù)(例如，實際邊緣)相區(qū)分，使用上邊界閾值a，而閾值的下邊界b應該大于0。Sobel算子對圖像執(zhí)行2-D空間梯度測量，并著重強調了與邊緣相應的高空間梯度的區(qū)域。
對每個子部分(子圖像)全局或局部計算塊邊緣差標識，其中在每個子部分(子圖像)中，對水平邊界計算一個邊緣值，對垂直邊界計算另一個邊緣值。
比率模塊204以全局像素和局部像素兩種方式計算所述塊比率標識。如果邊緣算子300的輸出落入給定的范圍內，例如，大于a而小于b，則將像素分類為邊緣像素。然后，如下對圖像中的邊緣像素的總數量進行計算。根據索引i＝(x％8)＝0...7(其中，x是列號，％是取余運算)將輸入圖像的列分成8組。對每一組i＝0...7分別計算邊緣像素的數量。然后，對位于塊邊界i＝7的列確定塊計數BCb，另一塊計數BCm被確定為除塊邊界處的一個的8組中的最大計數值。塊計數BCb和另一計數BCm計算塊比率。BCm表示最大的計數值組當用BCb計算塊比率時使用。塊比率指示圖像的復雜度的全局信息或子部分的局部信息。
然后塊比率標識被確定為兩個計數之間的比率(即，BCm除以BCb)。如果塊邊界的BCb是8組中的最大數，則將第二最大數分配給BCm。在這種情況下，塊比率標識小于1。否則，塊比率標識大于1。重復上述步驟以獲得沿輸入圖像的行的垂直方向的塊比率。
計數模塊206確定塊計數標識作為位于塊邊界的邊緣像素的總數量。對每個子部分(子圖像)全局或局部計算塊計數標識，其中在每個子圖像中，對水平邊界計算塊邊緣計數，對垂直邊界計算另一塊邊緣計數。
活性模塊208對子部分(子圖像)全局或局部確定塊活性標識，其中通過對垂直和水平方向的子圖像(子部分)內的像素差值的符號改變的數量進行計數來計算塊活性。值得注意的是，在塊內(計算的子部分的內部塊)而不是在塊邊界測量塊活性。如果符號改變的數量高于閾值，則指示子圖像的內容復雜，去除偽像的處理應該減弱。
塊比率標識指示塊偽像的存在和程度。如果塊比率標識大，例如，大于3/4，則因為塊邊界的不連續(xù)沒有顯著高于其他內部塊，所以可以忽略的數量的塊偽像被期望。隨著塊比率標識減小，在子部分(子圖像)中的所有塊邊界很可能出現越多的塊偽像。
通常，大的塊邊緣值(基于閾值確定的但可能具有實驗值)指示在子部分的塊邊界處存在實際的邊緣特征。在這種情況下，優(yōu)選地避免平滑塊邊界的任何強濾波操作。然而，如果塊比率標識非常小，則大的塊邊緣值指示塊偽像非常強，塊邊界的像素值中存在大的差。
同樣地，大的塊計數標識指示在塊邊界存在許多邊緣特征(邊緣特征可能是實際的邊緣或塊偽像)。如果塊比率標識小，則大的塊計數標識指示存在許多塊偽像。如果塊比率標識大，則大的邊緣塊計數值(塊計數標識)指示圖像在鄰近塊邊界存在許多邊緣特征。
當描述圖像的塊邊緣內容的上述四個參數(即，塊差、比率、計數和活性標識)被組合時，因為每個參數指示圖像的情況，所以提供有用的信息，如果它們被一起考慮，則它們向下面的圖像增強器(例如，去塊處理)提供控制值(在這種情況下的R和r)。由于所述四個參數采用指示塊偽像程度的值(r1到r4)(0用于沒有塊偽像，而1用于嚴重的塊偽像)，所以可從加權功能模塊212到218用合適的閾值估計塊偽像強度和程度。
加權功能模塊212和216實現的示例性加強函數f(x)可被表示為
其中，x是每個參數(即，塊差、塊比率、塊計數和塊活性)的輸入值。值τ1和τ2分別是第一閾值和第二閾值。用于模塊212和216的加權函數的形狀除閾值之外都相同。同樣地，通過1-f(x)來定義用于模塊214和218的加權函數。此外，用于模塊214和218的這些的加權函數的形式除了閾值之外都相同。
在乘法器220中將所有的加權因子(r1、r2、r3和r4)一起相乘獲得局部壓縮噪聲強度r，通過將用于全部圖像幀的每個估計的強度因子的平均值Ri相乘來計算全局壓縮噪聲強度RR=Πi4Ri]]>其中，Ri是每第i個估計的強度因子的平均值(i＝1...4)，并被定義為Ri=1N·NΣm=1NΣn=1Nrimn]]>其中，rimn是位于(m，n)子部分的第i個加權因子。索引(m，n)指示在圖像中子部分的位置。
值得注意的是，為了獲得全局信息，可應用除了將圖像分成幾個非重疊部分之外與局部信息相同的過程。同樣地，除了將輸入圖像分成幾個子部分之外，獲得壓縮噪聲強度R的強度因子Ri的過程與上述獲得局部信息(參數)的過程相同。
最終，將計算的全局R和局部r值(例如，全局和局部信息)用于進一步的圖像處理(例如，圖1的增強器102中的去塊或去環(huán))。當估計的偽像強度低時，避免平滑塊邊界的強濾波操作。實際中，如果對于x＝1...4的所有其他參數rx和Rx都在0到1內，則值R和r的每一個的范圍是0到1。值0指示在給定的輸入圖像中沒有塊或環(huán)偽像，不需要平滑邊界，而1指示在給定的圖像中存在強的塊或環(huán)偽像，需要對塊或環(huán)進行強濾波。
計算的全局R和局部r值在減少解碼的視頻序列中的編碼偽像(例如減少由于對各個塊的獨立處理而出現的塊的邊界之間的人造的不連續(xù)的塊偽像，減少在鄰近強邊緣的圖像均勻區(qū)域中通常出現的蚊式噪聲(環(huán)形))中有用。圖2中的模塊240指示全局測量R和局部測量r可處理在圖像增強器102中的去塊的程度。
圖5示出根據本發(fā)明實施例的測量壓縮的數字圖像的MPEG噪聲強度(例如，上面描述的由圖2的示例實現的)的功能性流程500。參照圖5，接收輸入圖像(處理502)，對在圖像的位置(i，j)的像素執(zhí)行Sobel運算以確定像素差值Yd(處理504)。值得注意的是，為了解釋簡單，這里使用下面的流程考慮垂直塊偽像的水平運算。處理506確定絕對值|Yd|是否在預定范圍內(例如，a＜|Yd|＜b)。如果|Yd|沒有在預定范圍內，則對下一像素執(zhí)行處理504。如果|Yd|在預定范圍內，則分別通過處理526和520確定塊差和塊計數值。
此外，在操作507，僅對在處理508中的塊內的列(bin＝1，...，6)執(zhí)行檢查Yd的符號改變，處理510使用該結果以確定塊活性全局和局部信息。處理508檢查和收集用于引入塊內的像素位置的信息(bin＝1，...，6)。換句話講，塊邊界的像素位置(bin＝0和7)被排除使用符號改變來測試塊內活性。處理522僅根據列號i來將信息置于和堆積(stack)成8bin來分析全部圖像或在處理524中子部分的圖像(m，n)的塊偽像。
在還考慮用于局部塊偽像信息的列位置“bin”和子部分位置“(m，n)”的塊差處理526和塊計數處理520中使用值Yd。值得注意的是，不用將圖像分成子部分(m，n)就可測量全局塊偽像信息。
在完成列方面的處理之后，處理528使用第8和第7bin的值來確定塊比率。在加權處理512中對塊差、塊計數和塊活性的值進行再處理以分別產生全局標識R1、R2、R3、R4以及相應的局部標識r1、r2、r3、r4。然后，處理514確定基于全局標識R1、R2、R3、R4的組合(相乘)被確定的全局塊偽像強度因子R；基于局部標識r1、r2、r3、r4的組合(相乘)被確定的局部塊偽像強度因子r。然后，在處理516，圖像增強。
盡管本發(fā)明受到許多不同形式的實施例以及優(yōu)選實施例的影響，這些實施例在附圖中示出并在此被詳細描述，但是應該明白，該描述應該被認為是本發(fā)明原理的示例，而不應該被認為將本發(fā)明的多方面限于示出的實施例。如本領域的技術人員所知，可以以許多方式(例如，處理器執(zhí)行的程序指令、邏輯電路、ASIC、固件等)來實現根據本發(fā)明的前面提到的上述示例性機制。因此，本發(fā)明不限于在此描述的示例性實施例。
參照特定的本發(fā)明的優(yōu)選方案盡可能詳細地描述了本發(fā)明；然而，其他方案也是可以的。因此，權利要求的精神和范圍應該不限于在此包含的優(yōu)選方案的描述。
權利要求
1.一種測量解碼的數字圖像幀中的基于塊的編碼噪聲強度的方法，包括以下步驟接收解碼的圖像幀；和通過確定每個塊邊界的塊偽像強度來估計圖像幀中的編碼噪聲的強度。
2.如權利要求1所述的方法，其中，估計的步驟還包括以下步驟在空間域中從圖像幀確定邊緣統(tǒng)計，基于所述邊緣統(tǒng)計來估計每個塊邊界的塊偽像的強度。
3.如權利要求2所述的方法，其中，確定邊緣統(tǒng)計的步驟還包括在空間域中從圖像幀確定全局和局部邊緣統(tǒng)計。
4.如權利要求3所述的方法，其中，確定邊緣統(tǒng)計的步驟還包括在沒有原始壓縮的圖像的任何預先了解的情況下，在像素域中估計全局和局部邊緣統(tǒng)計。
5.如權利要求3所述的方法，其中，確定邊緣統(tǒng)計的步驟還包括以下步驟對于圖像幀，確定使用塊邊緣統(tǒng)計計算的塊差標識；關于塊邊緣統(tǒng)計計算的塊比率標識；關于塊邊緣統(tǒng)計計算的塊計數標識；和關于塊邊緣統(tǒng)計計算的塊活性標識。
6.如權利要求5所述的方法，還包括對整個圖像幀全局確定所述標識的步驟。
7.如權利要求5所述的方法，還包括對圖像幀的N×N的非重疊部分局部確定所述標識的步驟。
8.如權利要求5所述的方法，其中，估計塊偽像強度的步驟還包括基于所述標識的一個或多個估計每個塊邊界的塊偽像的強度。
9.如權利要求5所述的方法，其中，塊差標識包括位于塊邊界的邊緣像素的平均幅度。
10.如權利要求9所述的方法，其中，通過將Sobel邊緣運算的結果值平均來計算塊差標識。
11.如權利要求5所述的方法，其中，塊比率標識指示塊偽像的存在和程度。
12.如權利要求11所述的方法，其中，塊比率標識包括BCm除以BCb的比。
13.如權利要求5所述的方法，其中，塊計數標識包括位于塊邊界的邊緣像素的總數量。
14.如權利要求5所述的方法，其中，塊活性標識包括子部分內的符號改變的數量。
15.如權利要求5所述的方法，還包括以下步驟產生用于所述標識的每一個的加權因子；和將加權因子的一個或多個相組合來產生壓縮噪聲的強度。
16.如權利要求15所述的方法，還包括將加權因子相組合以產生壓縮噪聲的強度。
17.一種降低解碼的數字圖像幀中的基于塊的編碼的噪聲的圖像增強系統(tǒng)，包括估計器，通過確定每個塊邊界的塊偽像強度來測量解碼的數字圖像幀中的基于塊的編碼噪聲的強度；和增強器，作為塊偽像的強度的函數，降低圖像幀中的基于塊的編碼噪聲，以產生增強的圖像。
18.如權利要求17所述的系統(tǒng)，其中，增強器執(zhí)行去塊操作。
19.如權利要求17所述的系統(tǒng)，其中，增強器執(zhí)行去環(huán)操作。
20.如權利要求17所述的系統(tǒng)，其中，增強器增強圖像的亮度信道。
21.如權利要求20所述的系統(tǒng)，還包括處理器，在顯示之前將增強的亮度信道和色度信號相組合。
22.如權利要求17所述的系統(tǒng)，其中，估計器，在空間域從圖像幀確定邊緣統(tǒng)計，并基于邊緣統(tǒng)計來估計每個塊邊界的塊偽像的強度。
23.如權利要求22所述的系統(tǒng)，其中，估計器在空間域中從圖像幀確定全局和局部邊緣統(tǒng)計。
24.如權利要求23所述的系統(tǒng)，其中，估計器通過確定以下內容來確定邊緣統(tǒng)計使用塊邊緣統(tǒng)計計算的塊差標識；關于塊邊緣統(tǒng)計計算的塊比率標識；關于塊邊緣統(tǒng)計計算的塊計數標識；和關于塊邊緣統(tǒng)計計算的塊活性標識。
25.如權利要求24所述的系統(tǒng)，其中，估計器基于所述標識估計基于塊的編碼噪聲的強度。
全文摘要
提供了一種基于在空間域從輸入圖像(幀或場畫面)計算的全局和局部邊緣統(tǒng)計來估計每個塊邊界的塊偽像的強度的方法和系統(tǒng)。這種方法系統(tǒng)地測量與諸如JPEG、MPEG和H.26x的基于塊的壓縮/編碼方案相關的壓縮偽像的強度。
文檔編號G06T5/00GK101087368SQ20071008474
公開日2007年12月12日 申請日期2007年2月28日 優(yōu)先權日2006年6月6日
發(fā)明者李尚根, 金永擇 申請人:三星電子株式會社