專利名稱：視頻編碼方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于壓縮與已經(jīng)被分為連續(xù)幀組(GOP)的原始視頻序列相對應(yīng)的比特流的視頻編碼方法，幀組的大小為N＝2n，其中n＝0，或1，或2，...，所述編碼方法包括應(yīng)用于序列中每一個連續(xù)的GOF的以下步驟，a)一個時空分析步驟，將當前GOF時空多分辨率分解為2n個低和高頻時間子帶，所述的步驟本身包括以下子步驟- 一個運動估計子步驟；- 一個運動補償濾波子步驟，該子步驟基于所述的運動估計在當前GOF的2n-1個幀對的每一個上執(zhí)行；- 一個空間分析子步驟，應(yīng)用于由所述的時間濾波子步驟產(chǎn)生的子帶上；b)一個編碼步驟，在所述的由時空分析步驟產(chǎn)生的低和高頻時間子帶以及由所述的運動估計步驟獲得的運動向量上執(zhí)行。
本發(fā)明還涉及用于實現(xiàn)所述編碼方法的視頻編碼設(shè)備。
背景技術(shù)：
通過不同的網(wǎng)絡(luò)傳輸視頻流需要高的可伸縮性能。那就意味著可以不用完全解碼該序列就可以解碼比特流的一部分并且可以合并所述部分，以較低的空間或時間分辨率(空間/時間可伸縮性)或較低質(zhì)量(PSNR或比特率可伸縮性)來重建最初的視頻信息。最方便的用于實現(xiàn)所有這三種可伸縮性(可伸縮的，時間的，PSNR)的途徑是在對所述的序列進行運動補償之后，對輸入序列進行三維(3D，或2D+t)子帶分解。
當前的標準如MPEG-4通過附加的高成本的層在預(yù)測的基于DCT的框架上已經(jīng)實現(xiàn)了有限的可伸縮性。進來已經(jīng)提議了一種更多有效的解決方案，基于3D子帶分解，隨后是時空樹分級編碼(通過基于完全可伸縮零樹(FSZ)的編碼模塊來執(zhí)行)，作為視頻靜止圖像編碼技術(shù)的擴展該3D或(2D+t)子帶分解提供一種自然的空間分辨率和幀速率可伸縮性，同時徹底掃描在分級樹中的系數(shù)和漸進式位平面編碼技術(shù)產(chǎn)生了理想的質(zhì)量可伸縮性。然后根據(jù)編碼效率以適當?shù)某杀咎峁└叩撵`活性。
ISO/IEC MPEG標準化委員會于2001年12月3-7日，在泰國的芭堤雅召開的第58次會議上提出一種專用的AdHoc組(在視頻編碼中對幀間小波技術(shù)的研究之上的AHG)，從而除了別的之外，探究一種用于幀間(例如，運動補償?shù)?小波編碼的技術(shù)方案并且分析其成熟度，效率和用于將來優(yōu)化的潛力。在專利文獻PCT/EP01/04361(PHFR000044)中描述的編解碼器就是基于這樣一種方法，它在附圖1中描述，它示出了帶有運動補償?shù)臅r間子帶分解。在該編解碼器中，帶有運動補償?shù)?D小波分解應(yīng)用于一個幀組(GOF)，這些幀被標記為F1-F8并且組成連續(xù)的幀對。通過一個運動補償時間濾波模塊對每一個GOF進行運動補償(MC)和時間濾波(TF)。在每一個時間分解層，作為結(jié)果的低頻時間子帶被同樣地進一步濾波，并且當只剩下一個時間低頻子帶時停止處理(在附圖1中，示出了分解的三個階段L和H＝第一階段，LL和LH＝第二階段，LLL和LLH＝第三階段，根時間子帶被稱為LLL)，表示一個輸入GOF的時間近似。在每一個分解層，還產(chǎn)生一組運動向量場(在附圖1中，MV4在第一層，MV3在第二層，MV2在第三層)。在這兩個操作在MCTF模塊中進行之后，如此獲得的時間子帶的幀被進一步空間分解并得到一個子帶系數(shù)的時空樹。
使用用于時間濾波操作的哈爾濾波器，只需要在輸入序列的每兩個幀進行運動估計(ME)和運動補償(MC)，整個時間樹所必需的ME/MC的總數(shù)與一個預(yù)測方案的大致一樣多。使用這些非常簡單的濾波器，低頻時間子帶表示一個輸入幀對的時間平均值，然而在MCTF操作之后高頻中的一個會包含有殘留誤差。
一個參量被標識為與運動補償3D子帶視頻編碼方案的MCTF模塊相關(guān)就是被稱為運動估計激活，或“ME激活”，或換句話說，決定是否對輸入幀對(用于第一時間層)或子帶(用于后面的層)執(zhí)行ME操作。對于高運動活動序列，可以明確地注意到使用ME以及因此進行沿著運動軌跡地時間濾波的確提高了全面的編碼效率。但是，由于對于運動向量可能非常高的開銷，編碼效率上的提高會在以低比特率進行解碼時損失掉(技術(shù)人員應(yīng)當記住解碼比特率在可伸縮性編碼框架中是預(yù)先所不知道的)。所以在特定的環(huán)境下決定不激活ME可能會更有效，以保持盡可能高的比特率用于紋理編碼(和解碼)。

發(fā)明內(nèi)容
因此本發(fā)明的一個目的是提出一種編碼方法，避免了在當前的MC3D子帶視頻編碼方案中所遇到的傳統(tǒng)解決方案，在該方法中，在MCTF模塊中進行的ME激活是任意被選擇的或者是來自于后面提供的一些信息，也就是，只在實質(zhì)上進行MCTF之后。
為此目的，本發(fā)明涉及一種如同說明書介紹部分中詳細說明的編碼方法并且該方法此外的特征在于，所述的時空分析步驟還包括用于決定是否激活運動估計子步驟的一個判決子步驟，所述的判決子步驟本身包括一個基于MPEG-7運動活動描述符的運動活動預(yù)分析操作，該操作實施于將進行運動補償和時間濾波的輸入幀或子帶。
根據(jù)一個特別有利的執(zhí)行方案，所述的方法特征在于所述的基于MPEG-7運動活動描述符的活動強度(Intensity of activity)屬性，并且用于當前時間分解層的所有幀或子帶的判決子步驟，它包括以下操作1)對于特定的時間分解層a)在組成該層的每個幀對(或子帶)之間執(zhí)行ME-對于每一對-計算運動向量幅度的標準偏離；-計算活動數(shù)值。
b)計算平均活動強度I(av)-如果I(av)等于5(對應(yīng)于“很高的強度”的數(shù)值)，就決定停用用于各自的當前時間分解層以及接下來的層的ME；-如果I(av)嚴格的小于5，就決定激活用于當前時間分解層的ME。
2)進入下一個時間分解層。
由于對特定層的ME的停用，導(dǎo)致用于后面的層的ME停用，該技術(shù)方案導(dǎo)致了整個MCTF模塊的復(fù)雜度的顯著降低，但是仍然提供一個良好的壓縮效率以及在運動向量開銷和圖像質(zhì)量之間的很好折中。
本發(fā)明的另一個目的是提出一種用于實現(xiàn)這樣的編碼方法的編碼設(shè)備。


本發(fā)明將會通過實施例并參考附圖進行描述，其中附圖1示出了傳統(tǒng)的與運動補償同時進行的輸入視頻序列的時間子帶分解的實施例；附圖2示出了根據(jù)本發(fā)明的實施例，其中ME只在第一時間分解層時激活并且在以后的層停用。
具體實施例方式
如上所述，任何MC 3D子帶視頻編碼方案的總體效率取決于其MCTF模塊在壓縮輸入GOF的時間能量時的特定效率。由于現(xiàn)在知道參量“ME激活”是MCTF成功的主要參量，根據(jù)本發(fā)明，提出從將要被運動補償時間濾波的輸入幀(或子帶)的動態(tài)運動活動預(yù)分析獲得該參量，使用標準化的(MPEG-7)運動描述符(參見文獻“Overview of the MPEG-7Standard，version 6.0”，ISO/IEC JTC1/SC29/WG11N4509，芭堤雅，泰國，2001年12月，第1-93頁)。下面的描述將會詳細說明哪一個描述符被采用以及它是如何影響上述編碼參量的選擇的。
在上述3D視頻編碼方案中，ME/MC通常任意地作用在當前時間分解層的每一個對幀(或子帶)上?，F(xiàn)在根據(jù)MPEG-7運動活動描述符的“活動強度”屬性提出激活或停用ME，并且這是對于當前時間層的所有幀或子帶(活動強度取在[1，5]范圍內(nèi)的整數(shù)值例如1表示一個“很低的強度”以及5表示“很高的強度”)。通過采用像任何傳統(tǒng)的MCTF方案一樣的途徑來執(zhí)行ME和使用這樣獲得的運動向量幅度的統(tǒng)計特性來得到該活動強度屬性。量化的運動向量幅度的標準偏離是運動活動強度一個較好的度量，并且強度值可以從使用閾值的標準偏離獲得。ME活動將會如下面描述而獲得1)對于特定的時間分解層a)在組成該層的幀對(或子帶)之間執(zhí)行ME-對于每一對-計算運動向量大小的標準偏離；
-計算活動數(shù)值。
b)計算平均活動強度I(av)-如果I(av)等于5(對應(yīng)于“很高的強度”的數(shù)值)，就決定停用用于各自的當前時間分解層以及接下來的層的ME；-如果I(av)嚴格的小于5，就決定激活用于當前時間分解層的ME。
2)進入下一個時間分解層。
如果ME被激活用于特定的層，基于這種預(yù)分析，運動向量就已經(jīng)被計算并且可以直接用于該層的MCTF。相反的，如果停用ME，用于預(yù)分析所需的先前被計算的運動向量就沒有用了，并且可以被刪除。而且，對于特定層的ME停用導(dǎo)致了后面的層的ME的停用，由此使整個MCTF模塊的復(fù)雜度降低，例如附圖2所示，對應(yīng)于以下情況其中ME只激活用于第一時間分解層，對應(yīng)于運動向量場組MV4，并且對后面的層停用。
權(quán)利要求
1.一種用于壓縮與已經(jīng)被分為連續(xù)幀組(GOP)的原始視頻序列相對應(yīng)的比特流的視頻編碼方法，該幀組的大小是N＝2n，其中n＝0，或1，或2，...，所述的編碼方法包括以下步驟，應(yīng)用于該序列每一個連續(xù)的GOF上a)一個時空分析步驟，將當前GOF時空多分辨率分解為2n個低和高頻時間子帶，所述的步驟本身包括以下子步驟-一個運動估計子步驟；-一個運動補償時間濾波子步驟，基于所述的運動估計在當前GOF的2n-1個幀對的每一個上執(zhí)行；-一個空間分析子步驟，在由所述的濾波子步驟產(chǎn)生的子帶上執(zhí)行；b)一個編碼步驟，在所述的由時空分析步驟產(chǎn)生的低和高頻時間子帶以及由所述的運動估計步驟獲得的運動向量上執(zhí)行，所述的編碼方法進一步的特征在于，所述的時空分析步驟還包括一個用于決定激活或不激活運動估計子步驟的判決子步驟，所述的判決子步驟本身包括一個基于MPEG-7運動活動描述符的運動活動預(yù)分析操作并且在將要被運動補償和時間濾波的輸入幀或子帶上執(zhí)行。
2.根據(jù)權(quán)利要求1的編碼方法，所述的判決子步驟基于當前時間分解層的所有幀和子帶的MPEG-7運動活動描述符的活動強度屬性，并且包括下面的操作1)對于特定的時間分解層a)在組成該層的每個幀對(或子帶)之間運行ME-對于每一對-計算運動向量幅度的標準偏離；-計算活動數(shù)值，b)計算平均活動強度I(av)-如果I(av)等于5(對應(yīng)于“很高的強度”的數(shù)值)，就決定停用用于各自的當前時間分解層以及接下來的層的ME；-如果I(av)嚴格的小于5，就決定激活用于當前時間分解層的ME。2)進入下一個時間分解層。
3.一種用于壓縮與已經(jīng)被分為連續(xù)幀組(GOP)的原始視頻序列相對應(yīng)的比特流的視頻編碼設(shè)備，該幀組的大小是N＝2n，其中n＝0，或1，或2，...，所述的編碼設(shè)備包括以下單元a)時空分析裝置，應(yīng)用于序列的每一個連續(xù)GOF上并且將當前GOF時空多分辨率分解為2n個低和高頻時間子帶，所述的分析裝置本身包括以下電路-一個運動估計電路；-一個運動補償時間濾波電路，基于所述運動估計的結(jié)果，應(yīng)用于當前GOF的2n-1幀對的每一個上；-一個空間分析電路，應(yīng)用于由所述的時間濾波電路提供的子帶上；b)編碼裝置，應(yīng)用于所述的由時空分析裝置提供的低和高頻時間子帶以及由所述的運動估計電路提供的運動向量上；所述的編碼裝置的進一步的特征在于所述的時空分析裝置還包括一個用于決定激活或不激活運動估計電路的判決電路，所述的判決電路本身包括一個運動活動預(yù)分析級，使用MPEG-7運動活動描述符并且應(yīng)用到將要被運動補償和時間濾波的輸入幀或子帶上。
全文摘要
本發(fā)明涉及一種用于壓縮與已經(jīng)被分為連續(xù)幀組(GOP)的原始視頻序列相對應(yīng)的編碼比特流的視頻編碼方法。該方法，應(yīng)用于序列中的每一個GOF上，包括(a)一個時空分析步驟，將當前GOF時空多解分解為低和高頻時間子帶并且其本身還包括一個運動估計子步驟、一個運動補償時間濾波子步驟、以及一個空間分析子步驟；(b)一個編碼步驟，在所述的低和高頻時間子帶以及通過所述的運動估計步驟獲得的運動向量上執(zhí)行。根據(jù)本發(fā)明，所述的時空分析步驟還包括用于激活或不激活運動估計子步驟的判決子步驟，所述的判決子步驟本身包括一個基于MPEG－7運動活動描述符的運動活動預(yù)分析操作，該操作被應(yīng)用于將進行運動補償和時間濾波的輸入幀或子帶上。
文檔編號H04N7/30GK1669327SQ03816830
公開日2005年9月14日 申請日期2003年7月11日 優(yōu)先權(quán)日2002年7月17日
發(fā)明者V·博特雷奧 申請人:皇家飛利浦電子股份有限公司