專利名稱：幀模式或場模式的編碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種在場模式或幀模式下對圖像進行編碼的方法和設(shè)備，對于宏塊組而言，所述幀模式能夠在圖像中局部使用場模式。

背景技術(shù)：
隔行視頻是對于電視而言最普遍使用的格式。幀圖像包括偶數(shù)和奇數(shù)兩個場，也稱作頂場和底場，分別代表圖像的偶數(shù)行和奇數(shù)行。頂場和底場是在不同的兩次獲取的。由于兩次獲取之間的運動，使得序列的一些圖像呈現(xiàn)出隔行偽影。
為了改進對該格式的支持，MPEG 4或H264標準根據(jù)三種不同模式——“幀”、“場”和“MBAFF”(宏塊自適應(yīng)場幀)實現(xiàn)對圖像編碼。在幀模式下，對圖像實際的樣子進行編碼；在場模式下，分別對兩個場進行編碼。還可以在幀模式以外使用MBAFF模式，以通過在圖像局部獨立地使用場模式來改進該模式。
圖1示出了在場模式或幀模式下編碼的兩個垂直宏塊(MB)所組成的圖像宏塊組或超級宏塊(SMB，supermacroblock)。在幀模式下對超級宏塊的編碼在于對標記為1和2的、每個都由第一和第二場的隔行組成的宏塊進行編碼。在幀模式下對超級宏塊的編碼在于對標記為3和4的、每個都由分別屬于第一和第二場的連續(xù)行組成的宏塊進行編碼。圖2示出了標記為5的圖像，對于該圖像，在實現(xiàn)局部編碼選擇的、標記為6的宏塊對或超級宏塊對中執(zhí)行圖像掃描。
因此，造成了對以下模式的模式選擇問題圖像的場或幀編碼模式、圖像的場編碼模式、圖像的超級宏塊的場或幀編碼模式，這些模式從圖像的比特率/質(zhì)量的觀點實現(xiàn)壓縮優(yōu)化。
目前，存在以下兩種解決方案以解決該問題基于后驗準則的解決方案以及基于先驗準則的解決方案。
在后驗算法的情況下，在兩次傳遞中執(zhí)行編碼，一次在場模式下，另一次在幀或幀+MBAFF模式下。然后，編碼器存儲每次傳遞后所獲得的結(jié)果，而后基于圖像的比特率/質(zhì)量折衷、使用優(yōu)化功能對結(jié)果進行比較。這種方法的缺點是其計算時間成本。
存在多種先驗方案 第一種“先驗”方案是在標題為“Fast decision on picture adaptiveframe/field coding for H.264”、作者為Yin，A.Tourapis，J.Boyce的文獻中描述的。所描述的算法提出在編碼器僅從場和幀模式之間選擇的情況下解決該問題?；谌缦录僭O(shè)在場模式下比在幀模式下常常能更好地對運動中的圖像區(qū)域進行編碼。
主要思想是使用在標題為“A Robust Motion Detection andEstimation Filter For Video Signals”、作者為M.Latzel，J.K.Tsotsos、發(fā)布于Proceedings of the 2003 SPIE Conf.on Image and VideoCommunication and Processing，Jan.2003的文獻中提出的運動檢測濾波器，來檢測屬于運動中的區(qū)域的、由2個垂直宏塊組成的超級宏塊。
如果圖像總體上由“運動中的”宏塊組成，則在場模式下，算法采用判決來對其進行編碼，而在幀模式下，采用另一種情況來編碼。
給出所用的運動檢測濾波器的系數(shù)KBP＝[-1，2，-3，4，-3，2，-1]。該濾波器垂直地應(yīng)用于圖像I(x，y)，即，應(yīng)用于該圖像的亮度值，以便在輸出處給出圖像IBP(x，y)。然后，以如下方式構(gòu)造掩碼圖像
其中T1是預定義閾值。
在所述超級宏塊SMB的x、y像素滿足如下情況時宏塊被認為處于運動中 其中T2是預定義閾值。
然后，計算運動中的超級宏塊與圖像中的超級宏塊之比S以及當前圖像與其參考之間的亮度差D的絕對值的均值。
如下針對整個圖像采用幀/場判決 -如果圖像是幀內(nèi)類型 且如果S<0.5，則編碼在幀模式下 否則編碼在場模式下， -否則，如果圖像是雙向預測類型 且如果S<0.6，則編碼在幀模式下 否則編碼在場模式下， -否則，如果圖像是單向預測類型 且如果((S>0.5)OR((S>0.3AND D>4.5)AND (D<10.0)))，則編碼在幀模式下 否則編碼在幀模式下 大寫字母AND和OR項是邏輯運算符。
文獻中還提出了各種閾值的自動確定。
該方法的缺點是由于其沒有考慮場或幀模式的可能的局部使用，因此其沒有被優(yōu)化。該方法不適合MBAFF模式。
另一種方案是在公布號為EP 1494483的、標題為“Video coderwith control of GOP structure by spatial and temporal activity”的、于2005年1月5日提交的、發(fā)明人為X.Ducloux，P Alexandre和L Noblet的歐洲專利申請中提出的，該歐洲專利申請中描述了本次基于全局準則的算法。在整個圖像上計算的兩種度量的比較實現(xiàn)了幀/場選擇。
這兩種度量如下 場內(nèi)亮度梯度是兩個連續(xù)行之間差值的絕對值之和，在場中對于每16行如下計算該場內(nèi)亮度梯度 其中FYn(i，j)代表場n中16×16塊的第k排的水平坐標i和垂直坐標j的像素的亮度值，指數(shù)k從k＝0變化到k＝(場的行數(shù))/16-1。
場間亮度梯度由以周期1T、2T、xT分離的兩個場的協(xié)同定位像素之間的差值的絕對值之和給出，在場中對每16行如下計算該場間亮度梯度 命名FLADIntra和FLADInterD被認為與場絕對差值類似。
對于第n場，全局梯度場內(nèi)FLADIntraSumn和場間FLADInterlTn由下式給出 假設(shè)場n-1是圖像的頂場，場n是底場，選擇準則由空間活動性(activity)給出 如果在預定義閾值處SPAct更大，則在場模式下對圖像進行編碼，否則使用幀模式+MBAFF對圖像進行編碼。
最后，第三種方案在于在幀模式下對雙向預測類型的所有B圖像進行編碼，在場模式下對單向預測類型的圖像P進行編碼。這種簡單的算法源自如下共識它們是后驗算法針對每個圖像類型而最常使用的模式。
關(guān)于這樣的現(xiàn)有技術(shù)，運動檢測濾波器需要在全部圖像上的處理操作、計算以及掩碼存儲。過濾技術(shù)方案沒有被優(yōu)化，特別是對于宏塊處或超級宏塊級上的編碼模式的選擇，該方案沒有被優(yōu)化。
同樣地，全局梯度的計算不能夠優(yōu)化壓縮，編碼模式的選擇是針對全部圖像而執(zhí)行的。
最后一種解決方案雖然容易實現(xiàn)，但在給定恢復質(zhì)量時在壓縮率方面沒有被優(yōu)化。


發(fā)明內(nèi)容
本發(fā)明的目的之一是克服上述缺點。本發(fā)明的目的是一種在場或幀模式下對圖像進行編碼的方法和設(shè)備，對于宏塊組而言，圖像幀模式能夠在圖像中局部使用場模式， 其中，所述方法包括以下步驟 -在場模式下，針對宏塊組，計算每個組成宏塊的空間活動性以及計算每個組成場的宏塊之間的時間活動性； -計算關(guān)于所述組的活動性指數(shù)，所述活動性指數(shù)是時間活動性的遞增函數(shù)以及計算出的空間活動性的遞減函數(shù)； -將關(guān)于所述組的活動性指數(shù)與預定義閾值進行比較，以便將所述組定義為具有活動性的組； -根據(jù)相比于圖像中的宏塊組數(shù)的、被檢測到具有活動性的宏塊組的數(shù)目，在場或幀模式下對圖像進行編碼。
根據(jù)特定的實施方式，時間活動性是在場模式下，宏塊組的場宏塊之間的場間梯度的函數(shù)；空間活動性是在場模式下，從每個場宏塊隔行提取出的行之間的場內(nèi)梯度的函數(shù)。
根據(jù)特定的實施方式，活動性指數(shù)是場間梯度的遞增函數(shù)以及場內(nèi)梯度之和的遞減函數(shù)。
根據(jù)特定的實施方式，所述宏塊組是超級宏塊，且宏塊組級上的場或幀模式是MBAFF(宏塊自適應(yīng)場幀)模式。
根據(jù)特定的實施方式，相對活動性具有以下值 其中 FYn(i，j)代表超級宏塊的場n的水平坐標i和垂直坐標j的像素的亮度值。
根據(jù)特定的實施方式，如果聲明具有活動性的宏塊組的數(shù)目與宏塊組總數(shù)之比大于預定義閾值，則在場模式下對圖像進行編碼，否則在MBAFF模式下對圖像進行編碼。
根據(jù)特定的實施方式，預定義閾值是1/2。
本發(fā)明還涉及一種實現(xiàn)該方法的設(shè)備，所述設(shè)備包括執(zhí)行編碼判決算法的預分析電路，其接至用于在場或幀模式下對圖像的實際編碼的編碼電路，其中編碼電路從預分析電路接收圖像中的、根據(jù)被檢測到具有活動性的宏塊組的數(shù)目的、場或幀模式下的編碼信息。
本發(fā)明在將運動或活動性的檢測適配于編碼實體以及可能的編碼模式(即，宏塊組以及場和幀模式)的過程中，以及在改進這種檢測的過程中，實現(xiàn)了針對圖像的場或幀編碼模式選擇的優(yōu)化。改進了數(shù)據(jù)壓縮或給定比特率時的圖像質(zhì)量。



根據(jù)以下描述，其他具體特征和優(yōu)點將變得顯而易見，該描述作為非限定性示例而提供，并參考如下附圖 圖1示出了幀和場模式下的宏塊組； 圖2示出了使用MBAFF模式的圖像編碼； 圖3示出了根據(jù)本發(fā)明的編碼算法。

具體實施例方式 本發(fā)明原理在于使用局部方案中的度量梯度。本發(fā)明原理包括對滿足涉及梯度的特定準則的圖像超級宏塊進行檢測。預分析階段使它們的比率得以計算，以便在圖像級上對幀/場編碼模式進行判決。
在該描述的其余部分，塊的空間活動性或空間復雜度將被稱作與塊內(nèi)的空間相關(guān)性有直接聯(lián)系的值。當空間復雜度高時，相關(guān)性低，反之亦然。同樣地，時間復雜度與通常在圖像序列的兩個協(xié)同定位圖像塊或連續(xù)場之間的時間相關(guān)性有聯(lián)系。
在場中使用垂直空間活動性來對超級宏塊的編碼模式進行選擇的事實能夠使與場間差值對應(yīng)的運動信息相對化。如果MBAFF編碼涉及同質(zhì)運動區(qū)域或穩(wěn)定紋理的區(qū)域，其優(yōu)點實際上更少。在這種情況下，即，在將圖像編碼進分離的場或編碼進具有MBAFF可能性的幀的情況下，要點是采用明智的場或幀判決，并在必要處能夠使用MBAFF編碼。因此，如果考慮前述公式 則可見，值SPAct是整個圖像上的全局計算的結(jié)果，關(guān)于閾值采用場/幀判決。實際上，該全局計算通過求平均，有削弱關(guān)于宏塊對的局部測量的趨勢。如文件中以下提出的，本發(fā)明首先提出局部地且隨后采用場/幀判決，以作出全局分析，該分析對一組局部判決進行操作。文件中提出的模擬結(jié)果示出了該方案的實用性。
圖3示出了根據(jù)本發(fā)明的方法的流程圖。
將關(guān)于場n-1和場1的數(shù)據(jù)發(fā)送到流程圖的輸入端。連續(xù)處理由場n-1的宏塊和場n的宏塊組成的每個超級宏塊。
步驟7執(zhí)行FLADIntraMBn的場內(nèi)計算，與場n的16×16宏塊內(nèi)隔行提取的行的絕對值之差對應(yīng)。
同樣地，對于與場n-1的16×16宏塊對應(yīng)的FLADIntraMBn-1的計算，有 FYn(i，j)代表超級宏塊的場n的水平坐標i和垂直坐標j的像素的亮度值。假設(shè)場n-1是超級宏塊圖像的頂場，場n是超級宏塊圖像的底場。
步驟8執(zhí)行FLADinterMB的幀間計算，與場n的宏塊與場n-1的宏塊之間的絕對值差對應(yīng)。
對于由場n的宏塊的行和與場n-1對應(yīng)的宏塊的行組成的每個超級宏塊，將處于幀配置時的16×32塊的垂直梯度與處于場配置時的16×32塊的垂直梯度進行比較。步驟9由此計算被稱作相對活動性指數(shù)的比率R 按照另一種方式，R比率代表分子處，兩個連續(xù)場n-1與n之間的16×16場宏塊的梯度；分母處，場n與場n-1中隔行的連續(xù)行之間的16×16場宏塊的梯度與1的和。
以下步驟10將計算出的該值R與可憑經(jīng)驗確定的預定義閾值T1進行比較。如果R比率大于T1閾值，則該超級宏塊被認為屬于運動中或活動中的區(qū)域，并被稱作具有活動性的超級宏塊。
如果R大于閾值T1，則步驟11將計數(shù)器NbMBfield加1，該計數(shù)器NbMBfield使?jié)M足該條件的圖像宏塊數(shù)已知。
如果R小于閾值T1，則下一步驟步驟12，步驟12檢驗是否所涉及的是圖像的最后一個超級宏塊。
如果所涉及的不是最后一個超級宏塊，則步驟12通過步驟13返回至步驟7，步驟13用按照掃描方向的下一個超級宏塊替換當前的超級宏塊。如果所涉及的是最后一個超級宏塊，即，當已完全處理了圖像時，下一步驟14將值NbMBfield與圖像中的宏塊數(shù)除以2進行比較。如果值NbMBfield大于該數(shù)，即，如果運動中的超級宏塊與圖像的超級宏塊之比超過50％，則如步驟15，在場模式下對圖像進行編碼。如果值NbMBfield小于或等于該數(shù)，則如步驟16，使用MBAFF模式，在幀模式下對圖像進行編碼。
所實現(xiàn)的算法基于先驗準則。如果在預分析期間，所聲明的運動中的或具有空間和時間活動性的宏塊的數(shù)目大于閾值(在該示例中為圖像中的宏塊數(shù)的一半)，則在場模式下執(zhí)行對圖像的所有宏塊的編碼是有利的，即，在場模式下對圖像進行編碼。如果是相反的情況，則在幀模式下對圖像進行編碼，對于超級宏塊級上的編碼，選擇場或幀模式。
在已知有益地用作測試序列的多個典型序列上，將根據(jù)本發(fā)明的方法與前述的方法(即，使用梯度算法的方法、以及使用將預測類型的P圖像編碼進場模式和將雙向類型的B圖像編碼進幀模式的編碼算法的方法)進行比較，以確定編碼質(zhì)量。
在下表中，提供了結(jié)果，以與作為給出最佳結(jié)果的參考算法的后驗算法比較。
所示的圖代表在相對于標有叉號的“最佳”算法的算法的比特率/失真方面丟失的百分比。其涉及曲線——失真＝f(比特率)下面積的比率。這種對視頻編碼算法進行比較的方式與視頻壓縮領(lǐng)域中當前使用的一種方式相對應(yīng)，視頻壓縮領(lǐng)域中的這種方式公知為在測量名“Bjontegaard”下，并在Gisle Bjontegaard“Calculation of average PSNRdifferences between RD curves”，document VCEG-M33，ITU-T VideoCoding Experts Group(VCEG)Meeting，April 2001文獻中描述。
除單個序列(bigdil)以外，根據(jù)本發(fā)明的算法產(chǎn)生了比梯度算法更好或至少與梯度算法等價的結(jié)果。
本發(fā)明還涉及一種實現(xiàn)該方法的設(shè)備。所述設(shè)備包括預分析電路和實際編碼器。預分析電路使用前述的場幀判決算法。將場幀編碼模式的有關(guān)信息發(fā)送到編碼器，以便有效地實現(xiàn)對圖像序列的編碼。
提供了大小為16×16的宏塊的示例。當然，本發(fā)明適用于任何大小的宏塊。
本發(fā)明適用于使用MBAFF模式的任何類型的標準，特別是MPEG4標準或H 264。
權(quán)利要求
1.一種在場模式或幀模式下對圖像(5)進行編碼的方法，對于宏塊組而言，圖像幀模式(1、2)能夠在圖像中局部使用場模式(3、4)，
其中，所述方法包括以下步驟
-在場模式下，針對宏塊組，計算每個組成宏塊的空間活動性以及計算每個組成場的宏塊之間的時間活動性；
-計算關(guān)于所述組的活動性指數(shù)，所述活動性指數(shù)是時間活動性的遞增函數(shù)以及計算出的空間活動性的遞減函數(shù)；
-關(guān)于所述組的活動性指數(shù)與預定義閾值之間的比較(10)，以便將所述組定義為具有活動性的組(11)；
-根據(jù)被檢測到具有活動性的宏塊組的數(shù)目(14)相比于圖像中的宏塊組的數(shù)目，在場或幀模式(15、16)下對圖像進行編碼。
2.根據(jù)權(quán)利要求1所述的方法，其中所述時間活動性是在場模式下，宏塊組的場宏塊之間的場間梯度(8)的函數(shù)；以及所述空間活動性是在場模式下，從每個場宏塊中隔行提取出的行之間的場內(nèi)梯度(7)的函數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，其中活動性指數(shù)是場間梯度的遞增函數(shù)以及場內(nèi)梯度之和的遞減函數(shù)。
4.根據(jù)權(quán)利要求1所述的方法，其中所述宏塊組是超級宏塊，且宏塊組級上的場模式或幀模式是MBAFF(宏塊自適應(yīng)場幀)模式。
5.根據(jù)權(quán)利要求4所述的方法，其中相對活動性具有以下值
其中
FYn(i，j)代表超級宏塊的場n的水平坐標i和垂直坐標j的像素的亮度值。
6.根據(jù)權(quán)利要求1所述的方法，其中如果聲明具有活動性的宏塊組的數(shù)目與宏塊組總數(shù)之比大于預定義閾值(14)，則在場模式(15)下對圖像進行編碼，否則在MBAFF(16)幀模式下對圖像進行編碼。
7.根據(jù)權(quán)利要求6所述的方法，其中所述預定義閾值(14)是1/2。
8.一種實現(xiàn)根據(jù)權(quán)利要求1所述方法的設(shè)備，所述設(shè)備包括執(zhí)行編碼判決算法的預分析電路，其接至用于在場或幀模式下對圖像進行實際編碼的編碼電路，其中所述編碼電路從所述預分析電路接收圖像中的、根據(jù)被檢測到具有活動性的宏塊組的數(shù)目的、場或幀模式下的編碼信息。
全文摘要
本發(fā)明的特征包括以下步驟在場模式下，計算每個宏塊的空間活動性，以及計算組成宏塊組的宏塊之間的時間活動性；計算關(guān)于所述組的活動性指數(shù)，所述活動性指數(shù)是時間活動性的遞增函數(shù)以及所述組的空間活動性的遞減函數(shù)；將關(guān)于所述組的活動性指數(shù)與預定義閾值之間進行比較(10)，以便將所述組定義為具有活動性的組(11)；根據(jù)相比于圖像中宏塊組的數(shù)目被檢測到到具有活動性的宏塊組的數(shù)目(14)，在場或幀模式(15、16)下對圖像進行編碼。其應(yīng)用涉及數(shù)據(jù)壓縮，特別涉及H264標準。
文檔編號H04N7/26GK101485207SQ200780025056
公開日2009年7月15日 申請日期2007年6月26日 優(yōu)先權(quán)日2006年6月30日
發(fā)明者菲利普·吉納泰爾, 多米尼克·索羅, 朱利安·哈達德 申請人:湯姆森許可貿(mào)易公司