專利名稱：一種h.264感興趣區(qū)域編碼的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種H. 264感興趣區(qū)域編碼的方法，尤其是一種通過碼率控 制實現(xiàn)感興趣區(qū)域編碼的方法。
背景技術(shù)：
感興趣區(qū)域(ROI)編碼可以在有效地保留用戶感興趣區(qū)域數(shù)據(jù)的基礎(chǔ) 之上盡可能得壓縮背景區(qū)域的數(shù)據(jù)，它作為JPEG2000的一個特性越來越收到 了人們的重視。H. 264是國際電信聯(lián)盟(工TU : International Telecommunication Union)推出的最新視頻編碼標準，它集成了以往視頻編 碼器的很多優(yōu)點，如I幀宏塊的多模式選擇、1/4象素的運動矢量、多參考 幀、采用了 De-blocking技術(shù)等，這些特性使得H. 264的編碼效率有了很高 的提升。在所有的碼率上，H. 264比H. 263節(jié)省50%的比特率，尤其在極低碼率 下H.264的優(yōu)點更加明顯，但是這也帶來了計算復(fù)雜度的提高。隨著處理器 能力的提高，H.264得到越來越廣泛的應(yīng)用。然而，在視頻監(jiān)控領(lǐng)域監(jiān)控設(shè) 備整天處于工作狀態(tài)，記錄的視頻數(shù)據(jù)量仍然很大，這就需要極高的壓縮比， 有時候壓縮比要能夠達到350倍以上。這就需要使用H. 264與感興趣區(qū)域壓 縮相結(jié)合的辦法來編碼視頻監(jiān)控中感興趣的區(qū)域，如人臉、車牌等，同時盡 可能的壓縮背景圖像。
JPEG2000中采用小波變換的方法壓縮圖像，由于小波變化具有時頻分析 的二重性，用它來實現(xiàn)感興趣編碼非常方便。H.264采用了類似于MPEG2、 MPEG4的離散余弦變換(DCT: Discrete Cosine Transform)的方法，它不 具有空間域的特性，因此在H.264中并沒有提感興趣區(qū)域編碼的概念。根據(jù) H.264編碼的特性， 一些學(xué)者提出了使用靈活的宏塊排序(FMO)來實現(xiàn)H. 264 感興趣區(qū)域編碼的方法。
感興趣區(qū)域編碼就是要求能夠?qū)δ承┨囟ǖ膮^(qū)域做特別的處理，盡可能 的保留該區(qū)域的數(shù)據(jù)。為此，可以通過H.264宏塊模式選擇時的幀內(nèi)無損編 碼模式(I_PCM)和靈活的宏塊排序兩種方法處理。I—PCM模式可以對圖像中 的某些宏塊不壓縮直接傳輸，這種模式是無損的，但是并不能夠降低數(shù)據(jù)， 可適用于車牌等小區(qū)域的圖像。靈活的宏塊排序最初是用來做容錯用的，它 將圖像區(qū)域分成不同的切片，使得切片內(nèi)的宏塊相關(guān)性降低，這樣如果圖像的某些組數(shù)據(jù)丟失，就可以通過其它的切片做一定程度的恢復(fù)。靈活的宏塊 排序的另一個用途就是用作感興趣區(qū)域編碼，它對這些切片做不同的處理， 盡量保留感興趣區(qū)域的信息。靈活的宏塊排序總共提高了七種類型，其中類 型2將圖像區(qū)域用矩形劃分成不同的塊， 一般用它來做感興趣區(qū)域編碼。由
于H. 264的一幀圖像最多有8個圖像切片，因此使用該方法最能能夠編碼7 個感興趣區(qū)域，而且它需要在圖像參數(shù)中加入靈活的宏塊排序FM0的數(shù)據(jù)集， 需要額外的比特開銷，只能夠在H.264的基本版本中使用。
H. 264和其它編解碼器一樣，分為不同的版本(Prof ile)和等級(Level)， H. 264中的Profile用于限制Decoder (解碼器)必須支持的算法，而Level 用于限制比特流的具體參數(shù)，共有7個Profile, 16級Level。不同的Profile 支持的算法集是不同的
發(fā)明內(nèi)容
^
本發(fā)明針對幀內(nèi)無損編碼模式(工一PCM)和FMO用于感興趣區(qū)域編碼的缺 點，提供一種使用碼率控制實現(xiàn)H.264感興趣區(qū)域編碼的方法，該方法在編 碼時將碼率按照一定的比例分成兩個部分， 一部分為感興趣區(qū)域的碼率，一 部分為其余部分的碼率，然后在碼率控制中根據(jù)要求給相應(yīng)的宏塊分配比特 數(shù)。
按照本發(fā)明提供的技術(shù)方案， 一種H.264感興趣區(qū)域編碼的方法，包括 圖像組級、圖像級和基本單元級三個層次的編碼方法。
所述圖像組級的編碼方法是，根據(jù)帶寬的要求計算出每一個圖像組需要 分配的比特數(shù)。
所述圖像級的編碼方法包括如下步驟，
(1) 首先，根據(jù)圖像組級的碼率控制算法算出本幀圖像所需要的碼流。
(2) 根據(jù)預(yù)先設(shè)定的感興趣區(qū)域與普通區(qū)域帶寬的比例計算出感興趣區(qū) 域的碼率和普通區(qū)域的碼率。
(3) 根據(jù)某一個基本單元處于感興趣區(qū)域還是普通區(qū)域進行相應(yīng)的編碼方法。
所述基本單元級的編碼方法包括如下步驟，
(1) 首先決定該基本單元的宏塊是否在感興趣區(qū)域內(nèi)，然后進入相應(yīng)的 宏塊級碼率控制，感興趣區(qū)域的宏塊采用感興趣區(qū)域的碼率控制控制，背景 區(qū)域進入背景區(qū)域的碼率控制，兩者的碼率控制相互獨立。
(2) 經(jīng)過碼率控制后的量化步長最后統(tǒng)一傳送給編碼器。本發(fā)明的優(yōu)點是通過碼率控制算法來做感興趣區(qū)域的編碼不需要在碼 流中添加額外的信息，對感興趣區(qū)域的數(shù)目、形狀等沒有限制，不增加編碼 算法的復(fù)雜度，是一種比較靈活的感興趣區(qū)域編碼方法，它可以應(yīng)用在H. 264
的各個Profile中，在對整體壓縮比要求高的領(lǐng)域，如視頻監(jiān)控等有重要的 應(yīng)用價值；實驗表明，該方法是一種有效的H. 264感興趣區(qū)域編碼的方法， 適用于恒定碼率控制算法和可變碼率控制算法。


圖1為感興趣區(qū)域壓縮的流程圖。
具體實施例方式
下面結(jié)合附圖和實施例對本實用新型作進一步說明。
如圖1所示，對于每一幀圖像，我們根據(jù)指定的ROI區(qū)域計算該圖像上 感興趣區(qū)域和背景區(qū)域的大小比例，按照碼率控制中設(shè)定的ROI區(qū)域與背景 區(qū)域碼率分配的比例來分配該圖像中感興趣區(qū)域的比特數(shù)、宏塊數(shù)和背景區(qū) 域的比特數(shù)、宏塊數(shù)。在基本單元級，碼率控制算法首先決定該基本單元的 宏塊是否在感興趣區(qū)域內(nèi)，然后進入相應(yīng)的宏塊級碼率控制，感興趣區(qū)域的 宏塊采用感興趣區(qū)域的碼率控制控制，背景區(qū)域進入背景區(qū)域的碼率控制， 兩者的碼率控制相互獨立。經(jīng)過碼率控制后的量化歩長最后統(tǒng)一傳送給編碼 器。為了避免感興趣區(qū)域與背景區(qū)域的邊界處碼率變化過大，需要對量化歩 長做一定的限制，防止量化步長出界。感興趣區(qū)域的碼率控制算法和背景區(qū) 域的碼率控制算法可以采用相同的碼率控制算法，也可以采用不同的碼率控 制算法，它們的初始狀態(tài)已經(jīng)在圖像級的碼率控制中分配了，可以應(yīng)用與恒 定碼率控制和可變碼率控制算法。
本發(fā)明包括圖像組級、圖像級和基本單元級三個層次的編碼方法。
圖像組級的編碼方法是，根據(jù)帶寬的要求計算出每一個圖像組需要分配 的比特數(shù)。
圖像級的編碼方法包括如下步驟，
(1) 首先，根據(jù)圖像組級的碼率控制算法算出本幀圖像所需要的碼流。
(2) 根據(jù)預(yù)先設(shè)定的感興趣區(qū)域與普通區(qū)域帶寬的比例計算出感興趣區(qū) 域的碼率和普通區(qū)域的碼率。
(3) 根據(jù)某一個基本單元處于感興趣區(qū)域還是普通區(qū)域進行相應(yīng)的編碼 方法。它們可以是不同的碼率控制算法也可以是相同的碼率控制算法。
所述基本單元級的編碼方法包括如下步驟，
5(1) 首先決定該基本單元的宏塊是否在感興趣區(qū)域內(nèi)，然后進入相應(yīng)的 宏塊級碼率控制，感興趣區(qū)域的宏塊采用感興趣區(qū)域的碼率控制控制，背景 區(qū)域進入背景區(qū)域的碼率控制，兩者的碼率控制相互獨立。
(2) 經(jīng)過碼率控制后的量化步長最后統(tǒng)一傳送給編碼器。 為了避免感興趣區(qū)域與背景區(qū)域的邊界處碼率變化過大，需要對量化步
長做一定的限制。
感興趣區(qū)域的碼率控制算法和背景區(qū)域的碼率控制算法可以采用相同的 碼率控制算法，也可以采用不同的碼率控制算法，它們的初始狀態(tài)已經(jīng)在圖 像級的碼率控制中分配了，可以應(yīng)用與恒定碼率控制和可變碼率控制算法。
碼率控制算法可以在圖像組級、圖像級和基本單元級三個層次進行，如
果基本單元的宏塊數(shù)為1就是一個宏塊。H.264的碼率控制算法在這三個層 次分別做了碼率控制。對于感興趣區(qū)域的編碼，我們在一個圖像上進行的。 因此，使用碼率控制的方法來做感興趣編碼需要在圖像級和基本單元級分別 做處理。
在圖像級，碼率控制算法首先統(tǒng)一給該圖像分配一定的比特數(shù)目，然后 根據(jù)指定的ROI區(qū)域計算該圖像上感興趣區(qū)域和背景區(qū)域的大小比例，按照 碼率控制中設(shè)定的ROI區(qū)域與背景區(qū)域碼率分配的比例來分配該圖像中感興 趣區(qū)域的比特數(shù)、宏塊數(shù)和背景區(qū)域的比特數(shù)、宏塊數(shù)。圖像級將比特分別 分給了 ROI區(qū)域和背景區(qū)域，每一個部分就可以單獨的控制相應(yīng)區(qū)域的比特 分配，在一幀圖像編碼結(jié)束后再做相應(yīng)的總結(jié)。計算感興趣區(qū)域的比特數(shù)和 背景區(qū)域的比特數(shù)的公式如下
1 + (/w'torato _ 1) * ra〖reg7.owrado
其中fbitroi、 fbitbg分別表示感興趣區(qū)域的比特數(shù)和背景區(qū)域的比特 數(shù)，fbits表示碼率控制算法分配給當前幀的比特數(shù)，roibitratio表示感興 趣區(qū)域?qū)Ρ尘皡^(qū)域碼率分配的權(quán)重比例，可以作為參數(shù)調(diào)整，roibitratio 越大表示對感興趣區(qū)域分配的比特數(shù)越多，roiregionratio表示感興趣區(qū)域 這整幅圖片上的比例，由感興趣區(qū)域面積大小來決定。
在基本單元級，碼率控制算法首先決定該基本單元的宏塊是否在感興趣 區(qū)域內(nèi)，然后進入相應(yīng)的宏塊級碼率控制，感興趣區(qū)域的宏塊采用感興趣區(qū) 域的碼率控制控制，背景區(qū)域進入背景區(qū)域的碼率控制，兩者的碼率控制相互獨立。經(jīng)過碼率控制后的量化步長最后統(tǒng)一傳送給編碼器。為了避免感興 趣區(qū)域與背景區(qū)域的邊界處碼率變化過大，需要對量化步長做如下限制
g 力)-rax(Q^,(/)-3,niiK^,o〕，g^,(;')+3)) (2)
其中0&(力表示第i個gop中第j幀的第i個宏塊的量化步長。感興趣
區(qū)域的碼率控制算法和背景區(qū)域的碼率控制算法可以采用相同的碼率控制算 法，也可以采用不同的碼率控制算法，它們的初始狀態(tài)已經(jīng)在圖像級的碼率 控制中分配了，可以應(yīng)用與恒定碼率控制和可變碼率控制算法。
通過碼率控制算法來做感興趣區(qū)域的編碼不需要在碼流中添加額外的信 息，對感興趣區(qū)域的數(shù)目沒有限制，不增加算法的復(fù)雜度，能夠有效的保存
感興趣區(qū)域，是一種比較靈活的感興趣區(qū)域編碼方法，它可以應(yīng)用在H.264 的各個Profile中。該方法在不提高H. 264視頻編碼復(fù)雜度的情況下可以編碼 視頻中的感興趣區(qū)域，適用于H. 264的各種版本，在對整體壓縮比要求高的 領(lǐng)域，如視頻監(jiān)控等有重要的應(yīng)用價值。
權(quán)利要求
1、一種H.264感興趣區(qū)域編碼的方法，包括圖像組級、圖像級和基本單元級三個層次的編碼方法，其特征是所述圖像組級的編碼方法是，根據(jù)帶寬的要求計算出每一個圖像組需要分配的比特數(shù)；所述圖像級的編碼方法包括如下步驟，(1)首先，根據(jù)圖像組級的碼率控制算法算出本幀圖像所需要的碼流；(2)根據(jù)預(yù)先設(shè)定的感興趣區(qū)域與普通區(qū)域帶寬的比例計算出感興趣區(qū)域的碼率和普通區(qū)域的碼率；(3)根據(jù)某一個基本單元處于感興趣區(qū)域還是普通區(qū)域進行相應(yīng)的編碼方法；所述基本單元級的編碼方法包括如下步驟，(1)首先決定該基本單元的宏塊是否在感興趣區(qū)域內(nèi)，然后進入相應(yīng)的宏塊級碼率控制，感興趣區(qū)域的宏塊采用感興趣區(qū)域的碼率控制控制，背景區(qū)域進入背景區(qū)域的碼率控制，兩者的碼率控制相互獨立；(2)經(jīng)過碼率控制后的量化步長最后統(tǒng)一傳送給編碼器。
全文摘要
本發(fā)明涉及一種H.264感興趣區(qū)域編碼的方法，尤其是一種通過碼率控制實現(xiàn)感興趣區(qū)域編碼的方法，包括圖像組級、圖像級和基本單元級三個層次的編碼方法。本發(fā)明的優(yōu)點是通過碼率控制算法來做感興趣區(qū)域的編碼不需要在碼流中添加額外的信息，對感興趣區(qū)域的數(shù)目、形狀等沒有限制，不增加編碼算法的復(fù)雜度，是一種比較靈活的感興趣區(qū)域編碼方法，它可以應(yīng)用在H.264的各個Profile中，在對整體壓縮比要求高的領(lǐng)域，如視頻監(jiān)控等有重要的應(yīng)用價值；實驗表明，該方法是一種有效的H.264感興趣區(qū)域編碼的方法，適用于恒定碼率控制算法和可變碼率控制算法。
文檔編號H04N7/26GK101494785SQ20081024405
公開日2009年7月29日 申請日期2008年12月19日 優(yōu)先權(quán)日2008年12月19日
發(fā)明者夏衛(wèi)平, 李恒中 申請人:無錫億普得科技有限公司