專利名稱：形成分?jǐn)?shù)精度的小波參考塊的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種小波參考塊的形成方法，尤其涉及一種形成分?jǐn)?shù)精度的小波參考塊的方法。
背景技術(shù)：
小波壓縮技術(shù)由于具有消除方塊效應(yīng)的特殊性能，以及特有的與人眼視覺相符的多分辨率分析能力和方向選擇能力而被廣泛應(yīng)用于圖像/視頻壓縮領(lǐng)域，并取得了良好的效果。
預(yù)測編碼是當(dāng)前視頻編碼器中最常用的技術(shù)，其中幀間預(yù)測編碼利用視頻序列相鄰幀間的相關(guān)性以消除圖像數(shù)據(jù)的時間冗余，可以獲得比幀內(nèi)預(yù)測編碼高得多的壓縮比，因此在小波視頻編碼方法中占有很重要的地位。幀間編碼采用的主要技術(shù)是運動補(bǔ)償法，該方法通過將待編碼幀分塊，并再在參考幀(參考幀是指用于計算當(dāng)前幀各個塊運動向量的所有數(shù)據(jù)的集合，大多數(shù)情況是前一幀)中尋找與該塊最接近的相應(yīng)塊作為參考塊(所謂參考塊是指一個參考幀中一個8×8，16×16等大小的空間連續(xù)的數(shù)據(jù)組成的矩陣)，并將其位置信息和殘差塊(即待編碼塊與參考塊的差值)數(shù)據(jù)代替待編碼塊數(shù)據(jù)記入碼流。
如果待編碼塊相對于參考塊漂移了正好整數(shù)個坐標(biāo)，那么用與待編碼塊相同尺寸的參考塊就能很好地進(jìn)行預(yù)測。但是漂移的相對距離不是整數(shù)，相對應(yīng)的像素分辨率在整數(shù)位置參考幀中不存在，那么就不能在參考幀中找到最合適的預(yù)測塊。為此需要進(jìn)行分?jǐn)?shù)像素精度的運動估計。這就要求參考幀能夠提供分?jǐn)?shù)像素預(yù)測塊數(shù)據(jù)。
要獲得分?jǐn)?shù)像素預(yù)測塊數(shù)據(jù)，對于在小波域進(jìn)行運動估計的小波視頻壓縮技術(shù)而言，需要生成分?jǐn)?shù)精度的小波參考塊，通常的作法是在小波變換前用線性內(nèi)插或FIR濾波內(nèi)插擴(kuò)展參考圖像，然后采用克服移變特性的小波變換方法形成小波域的參考幀。
這種方法延續(xù)了一些流行的視頻編碼，如h.263、h.264的參考幀的插值技術(shù)。但是小波域的運動估計，由于移變特性的存在使得運動估計需要進(jìn)行過度小波變換，該變換一方面為我們帶來了良好的編碼效率，但同時伴隨而來的還有較大的內(nèi)存需要量，和更大的運算復(fù)雜度。尤其隨著圖像尺寸增加，內(nèi)存需要量和計算復(fù)雜度成十余倍的增加。這使得分?jǐn)?shù)精度的運動估計帶來的好處大大打了折扣。
具體來說，對于分?jǐn)?shù)精度運動估計所需的空間域的插值問題，目前的解決方法只有一個那就是在空間域進(jìn)行插值，再到頻域進(jìn)行分?jǐn)?shù)精度的運動估計。
其中，可以用到的插值技術(shù)有多種，下面展示的是h.264中用到的一些辦法H.264中運動向量的位移精度對于亮度分量是1/4像素，對于色度分量是1/8像素。1/2像素樣本使用6抽頭濾波器(1，-5，20，20，-5，1)從整像素樣本中得到，用線性插值獲得1/4像素樣本，用8抽頭濾波器實現(xiàn)1/8像素精度。各精度像素位置如圖1所示。
參考圖2，為像素精度預(yù)測示意圖，In(n＝1～4)代表起始的整數(shù)位置像素點，其他符號都是插值點。1/2像素點H，首先通過水平或垂直方向的相臨近的整數(shù)像素點值使用6-tap過濾器(1，-5，20，20，-5，1)計算出中間結(jié)果m，然后m除以32舍入取整(0到255之內(nèi))作為該像素點的值；1/2像素點H′，也是先計算中間結(jié)果m，只是它依據(jù)的是臨近的半像素點值，然后m除以1024，舍入取整作為H′的像素點值；1/4像素點q，采用與之最近的相鄰的一整像素點和一1/2像素點取均值得到，如d＝(I+H)/2等；1/4像素點q′，通過與之前后相鄰的兩1/2像素點值得到，q′＝(q+q)/2；1/4像素點q″，采用與之臨近的四個整像素點值計算得，q″＝(I1+I2+I3+I4+2)/4。
1/4像素精度對于1/2像素精度條件下的編碼效率的提高還是很明顯的。但1/8像素精度相對于1/4像素精度的編碼效率除了在高碼率的情況下并沒有明顯的提高，而且1/8像素的內(nèi)插公式要更為復(fù)雜，實際應(yīng)用性不強(qiáng)。因此，在H.264的實際應(yīng)用中一般只采納1/4像素精度。
現(xiàn)有的方法存在的問題是算法復(fù)雜度高，體現(xiàn)在兩個方面一、空間復(fù)雜度大在空間域進(jìn)行插值的方法內(nèi)存需要量大，如果要進(jìn)行1/2精度的運動估計，插值生成圖像比原圖像大4倍，半像素參考小波域的內(nèi)存空間也比相應(yīng)整像素運動估計大4倍。如果要達(dá)到1/4精度的運動估計，參考小波域的內(nèi)存空間將增加16倍。本來小波域運動估計的一大缺點就是內(nèi)存空間大，如果采用現(xiàn)有辦法對小波視頻編碼的內(nèi)存要求無異于雪上加霜。
二、時間復(fù)雜度高由于過度小波變換作了數(shù)倍于普通的小波變換的運算，如果要進(jìn)行1/2精度的運動估計，小波變換要處理的數(shù)據(jù)也多了4倍，相應(yīng)地，時間復(fù)雜度也大致增加了4倍；如果要達(dá)到1/4精度運動估計，時間復(fù)雜度也相應(yīng)地增加了16倍。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題在于提供一種形成分?jǐn)?shù)精度的小波參考塊的方法，在小波域進(jìn)行運動估計的小波視頻壓縮過程中，降低在小波域進(jìn)行分?jǐn)?shù)精度運動估計帶來的內(nèi)存需要量和計算復(fù)雜度。
本發(fā)明提供的分?jǐn)?shù)精度小波參考塊的形成方法，改變了進(jìn)行分?jǐn)?shù)精度運動估計之前對圖像進(jìn)行插值的傳統(tǒng)作法，利用過度小波變換和矩陣插值兩個操作的可交換性，首先在空間域?qū)D像數(shù)據(jù)進(jìn)行過度小波變換，然后在過度小波域?qū)D像數(shù)據(jù)進(jìn)行插值運算以形成分?jǐn)?shù)精度的小波參考塊。
相比較而言，本發(fā)明與傳統(tǒng)方法相比，在同樣的編碼效果的基礎(chǔ)上有如下優(yōu)點1、內(nèi)存需要量大大減少如果要進(jìn)行1/2精度的運動估計，本發(fā)明需要的內(nèi)存空間只為傳統(tǒng)辦法的1/4；如果要進(jìn)行1/4度的運動估計，本發(fā)明需要的內(nèi)存空間只為傳統(tǒng)的辦法的1/16；內(nèi)存需要量同運動估計精度成平方關(guān)系遞減。
2、計算復(fù)雜度明顯降低由于傳統(tǒng)辦法中在空間域進(jìn)行了插值，在進(jìn)行過度小波變換的圖像尺寸增加了，所以如果要進(jìn)行1/2精度的運動估計，本發(fā)明需要處理的小波變換只為傳統(tǒng)辦法的1/4；如果要進(jìn)行1/4精度的運動估計，本發(fā)明需要處理的小波變換只為傳統(tǒng)辦法的1/16；本發(fā)明需要處理的小波變換同運動估計精度成平方關(guān)系遞減。


圖1為H.264運動補(bǔ)償中像素點的位置示意圖；圖2為H.264的1/4像素精度預(yù)測示意圖；圖3為過度采樣克服移變特性原理示意圖；圖4為二維過度小波變換示意圖；圖5為小波幀中建立小波參考塊的示意圖；圖6為過度小波域分?jǐn)?shù)精度小波參考塊的建立流程示意圖。
具體實施例方式
本發(fā)明的理論基礎(chǔ)是對于二維實數(shù)矩陣R而言，矩陣的插值操作lin與過度小波變換odwt兩個運算符是可交換的，即lin(odwt(R))＝odwt(lin(R))。
因此可把傳統(tǒng)方法中的先進(jìn)行空間域插值，再進(jìn)行過度小波變換的運算反過來，轉(zhuǎn)換為先作過度小波變換，再對圖像插值的運算，該思想可以很好地被用于小波域的運動估計，將先在空間域進(jìn)行的插值，再將其進(jìn)行過度小波變換形成參考幀的操作，轉(zhuǎn)換為先進(jìn)行過度小波變換再在小波域進(jìn)行插值的過程。
為了便于理解，下面首先從有關(guān)整數(shù)精度的參考幀建立過程說起，其是形成分?jǐn)?shù)精度的運動估計參考幀的基礎(chǔ)。
本領(lǐng)域熟知，之所以不使用一般意義上的小波變換建立參考幀，是由于一般的小波變換存在移變特性，這使得小波域的運動估計無法有效地進(jìn)行下去。作為小波變換的一個重要特性，移變特性的存在使得運動估計和補(bǔ)償不能在一般的小波變換域下進(jìn)行。簡單起見，下面通過用代表本幀和上一幀兩個一維信號來闡明這個問題。假設(shè)本幀的信號相對于上一幀的信號有一個單位的右移，如果對這兩個一維信號進(jìn)行小波變換，其結(jié)果是無論小波變換的低頻還是高頻系數(shù)都沒有任何相似性，這就是小波變換的移變特性。
小波變換之所以存在移變特性，是因為其在原圖像的基礎(chǔ)上進(jìn)行了下采樣，即圖像數(shù)據(jù)依據(jù)奇偶位置被分為奇數(shù)和偶數(shù)域，分別被用于生成低頻和高頻的數(shù)據(jù)。下采樣帶來的結(jié)果是如果圖像中的物體發(fā)生了奇數(shù)位移，其高頻和低頻數(shù)據(jù)和原圖的沒有相似性。由此，如果進(jìn)行小波變換時不劃分奇偶域，所有元素既被用來生成高頻數(shù)據(jù)，也被用來生成低頻數(shù)據(jù)，這樣就可以克服小波變換的移變特性，小波域的運動估計也就能取得較好的效果。
如圖3所示，是使用過度小波變換解決移變特性進(jìn)行運動估計的示意圖，由圖中可以看出，過度小波變化生成的低頻和高頻數(shù)據(jù)量和原信號的相等，也就是說一次變換之后過度小波變換域尺寸(低頻和高頻數(shù)據(jù)總和)增長了1倍。如果進(jìn)行一層二維的過度小波變換，其變換域的尺寸為原圖像的4倍。
由于移變特性的存在，小波域的運功估計要取得較好的結(jié)果，必須使用過度采樣的小波變換來形成參考幀。圖4是對標(biāo)準(zhǔn)序列“Suise”的第一幀進(jìn)行了兩層過度小波變換的結(jié)果。首先對原圖作一層小波變化形成四個子帶B1，V1，H1，D1之后，對左上角的子帶B1再進(jìn)行一層小波變換，形成是四個子帶B2，V2，H2，D2，最終形成了兩層過度小波變換參考幀。
運動估計和補(bǔ)償是以塊為單位的，所以當(dāng)前幀和參考幀的系數(shù)最終都要被組建成小波塊。當(dāng)前幀組建小波塊的內(nèi)容與本發(fā)明沒有太大關(guān)系，所以這里詳述的是參考幀形成小波塊的內(nèi)容。
小波參考塊盡管是處于小波域，但是由于運動估計的坐標(biāo)位置是以空間域而論的，所以建立(x0，y0)位置的小波參考塊是相對于空間域而言的，但是由于過度小波變換后的各個子帶都是相同的，所以這里空間域和各個子帶使用了統(tǒng)一的坐標(biāo)系統(tǒng)。
下面介紹一個常用的小波參考塊的形成方案如果作n層過度小波變換，要建立位置為(x0，y0)處的整數(shù)位置參考塊，取最高層子帶Bn，Hn，Vn，Dn在(x0，y0)位置的系數(shù)分別置于在參考塊的坐標(biāo)為(1，1)、(2，1)、(1，2)、(2，2)的位置。取次高層子帶Hn-1，Vn-1，Dn-1在(x0，y0)、(x0+2n-1，y0)、(x，y+2n-1)、(x0+2n-1，y0+2n-1)坐標(biāo)處的系數(shù)，分別置于(3，1)、(3，2)、(4，1)、(4，2)，(1，3)，(1，4)，(2，3)，(2，4)，(3，3)，(3，4)，(4，3)、(4，4)的位置，這樣以此類推將Hn-2，Vn-2，Dn-2子帶中{(x，y)|x0＜x＜x0+2n；y0＜y＜y0+2n；x＝x0+m×2n-2；y＝y(tǒng)0+n×2n-2}的系數(shù)放置到相應(yīng)位置，......。最終就形成了位置為(x0，y0)處的小波參考塊。圖5展示了一個兩層過度小波變換中取(0，0)處大小為4×4的小波參考塊的過程。
從圖5可以看出由過度小波變換域組建出(0，0)位置參考塊的過程，每個過度小波域子帶同原圖像的尺寸大小相同，系數(shù)位置對等于原圖像中的位置。Bn，Hn，Vn，Dn分別表示第n層過度小波變換的基帶，水平子帶，垂直子帶和對角子帶的系數(shù)塊。
以上介紹的是一個常用的小波參考塊的形成方案，實際應(yīng)用中可以采取不同的方案，準(zhǔn)則是在整個運動估計過程中采用統(tǒng)一的方案以保證運動估計的正確性。
由于過度小波域運動估計所創(chuàng)建的參考小波塊關(guān)聯(lián)于空間域的一個整數(shù)坐標(biāo)，所以被稱作整數(shù)精度的小波參考塊。如果進(jìn)行分?jǐn)?shù)精度的小波變換，最直觀的辦法，也就是傳統(tǒng)方法，是將原圖像進(jìn)行插值，使之出現(xiàn)分?jǐn)?shù)精度坐標(biāo)的像素，再作過度小波變換，就形成了分?jǐn)?shù)精度的小波參考塊。
本發(fā)明改變了進(jìn)行分?jǐn)?shù)精度運動估計之前對圖像進(jìn)行插值的傳統(tǒng)作法。利用過度小波變換和矩陣插值兩個操作的可交換性，首先在空間域進(jìn)行過度小波變換，然后對過度小波域插值形成分?jǐn)?shù)精度的小波參考塊，其結(jié)果和使用傳統(tǒng)辦法計算出來的完全一致。
本發(fā)明在整個小波域運動估計過程中所處的地位如圖6所示，通過判斷待評估的小波參考塊的位置是否為分?jǐn)?shù)位置(如果其水平和垂直方向的坐標(biāo)有一個是非整數(shù)，那么就是分?jǐn)?shù)位置)，來建立分?jǐn)?shù)精度小波參考塊。分?jǐn)?shù)精度的小波參考塊的處理部分如圖中虛線框所示。其中，內(nèi)插規(guī)則是指由相關(guān)的整數(shù)位置參考塊計算分?jǐn)?shù)精度的小波參考塊的準(zhǔn)則；差值的單位是塊，即一個M×N的小波系數(shù)塊(M，N為大于0小于圖像尺寸的正整數(shù))。具體的插值運算可以是線性插值，也可以是濾波的辦法。
具體計算時，可以根據(jù)一定的規(guī)則在待計算的分?jǐn)?shù)位置附近確定與之相關(guān)的整數(shù)位置，確定將用于內(nèi)插的整數(shù)位置參考塊；分?jǐn)?shù)像素的內(nèi)插運算是以塊為單位進(jìn)行的，為此需要將上面確定的整數(shù)位置的小波參考塊索引出來，索引的辦法可以參考圖4、圖5的做法。
分?jǐn)?shù)像素的內(nèi)插運算應(yīng)滿足下式I′(x，y)＝a1I1(x，y)+a2I2(x，y)+a3I3(x，y)+...+anIn(x，y)；其中，(x，y)為塊內(nèi)坐標(biāo)位置。Ix(x＝1，2，3，...n)為整數(shù)位置的小波參考塊，I′為分?jǐn)?shù)精度的小波參考塊，α1，α2，α3，...αn為系數(shù)值。Ix(x＝1，2，3，...n)是和I′相關(guān)聯(lián)的整數(shù)精度的小波參考塊。
權(quán)利要求
1.一種形成分?jǐn)?shù)精度的小波參考塊的方法，用于在小波域進(jìn)行運動估計的小波視頻壓縮過程，其特征在于，首先在空間域?qū)D像數(shù)據(jù)進(jìn)行過度小波變換，然后在過度小波域?qū)D像數(shù)據(jù)進(jìn)行插值運算以形成分?jǐn)?shù)精度的小波參考塊。
2.如權(quán)利要求1所述的方法，其特征在于，所述在過度小波域?qū)D像進(jìn)行插值運算的步驟，包括根據(jù)預(yù)設(shè)內(nèi)插規(guī)則確定將用于插值的整數(shù)精度的小波參考塊；根據(jù)該整數(shù)精度的小波參考塊，通過線性插值或濾波，獲得分?jǐn)?shù)精度的小波參考塊。
3.如權(quán)利要求2所述的方法，其特征在于，所述整數(shù)精度的小波參考塊，通過按照所述內(nèi)插規(guī)則在待計算的分?jǐn)?shù)位置附近確定與之相關(guān)的整數(shù)位置獲得。
4.如權(quán)利要求2所述的方法，其特征在于，所述線性插值或濾波的步驟，滿足公式I′(x，y)＝a1I1(x，y)+a2I2(x，y)+a3I3(x，y)+...+anIn(x，y)其中，(x，y)為塊內(nèi)坐標(biāo)位置；Ix(x＝1，2，3，...n)為整數(shù)位置的小波參考塊；I′為分?jǐn)?shù)精度的小波參考塊，a1，a2，a3，...an為系數(shù)值；Ix(x＝1，2，3，...n)是和I′相關(guān)聯(lián)的整數(shù)精度的小波參考塊。
5.如權(quán)利要求1所述的方法，其特征在于，所述插值運算的步驟是以塊為單位進(jìn)行的，所述每個塊為一個M×N的小波系數(shù)塊，其中M、N為大于0且小于圖像尺寸的正整數(shù)。
全文摘要
本發(fā)明公開了一種形成分?jǐn)?shù)精度的小波參考塊的方法，在小波域進(jìn)行運動估計的小波視頻壓縮過程中，改變了進(jìn)行分?jǐn)?shù)精度運動估計之前對圖像進(jìn)行插值的傳統(tǒng)作法，利用過度小波變換和矩陣插值兩個操作的可交換性，首先在空間域?qū)D像數(shù)據(jù)進(jìn)行過度小波變換，然后在過度小波域?qū)D像數(shù)據(jù)進(jìn)行插值運算以形成分?jǐn)?shù)精度的小波參考塊。由此，本發(fā)明降低了在小波域進(jìn)行分?jǐn)?shù)精度運動估計帶來的內(nèi)存需要量和計算復(fù)雜度，并最終提高了小波視頻編碼的效率。
文檔編號G06T9/00GK1905674SQ20061008904
公開日2007年1月31日 申請日期2006年7月31日 優(yōu)先權(quán)日2006年7月31日
發(fā)明者陳小敬, 劉昶, 李長茂, 于娜 申請人:大唐微電子技術(shù)有限公司