專利名稱：可伸縮視頻稀疏信息處理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種信息處理技術(shù)領(lǐng)域的系統(tǒng)，具體是一種可伸縮視頻稀疏信息 處理系統(tǒng)。
背景技術(shù)：
在網(wǎng)絡(luò)視頻信息處理和傳輸中，由于網(wǎng)絡(luò)架構(gòu)和終端的異構(gòu)性，不同類型的網(wǎng)絡(luò) 具有不同的信道特性，這些因素使得不同的用戶或者同一用戶在不同時刻得到的帶寬不盡 相同。為了使視頻比特流能夠適應(yīng)不同的網(wǎng)絡(luò)信道環(huán)境，人們提出了 SVC(可伸縮視頻信息 處理)技術(shù)，即“一次編碼，按需截取”的嵌入式視頻信息技術(shù)，解碼器按用戶所需將不同時 空分辨率/碼率的碼流提供給終端?，F(xiàn)有技術(shù)中基于3-D Wavelet (三維小波)方案的WSVC系統(tǒng)中，視頻幀在通過了 時域分解模塊后，得到的時域高頻幀和時域低頻幀輸入到后端的二維小波變換模塊中進行 分解，得到的系數(shù)再輸入到子帶編碼模塊中進行嵌入式編碼。小波變換由于其特有的多分 辨率信號空間表達方式以及基于提升算法的快速分解及完美重建方法，使之能夠天然地 成為可伸縮視頻信息處理中時空分級的重要工具；此外，小波變換過后的系數(shù)也能使用如 EBCOT (優(yōu)化截斷的嵌入式塊編碼)或ESCOT (優(yōu)化截斷的嵌入式子帶編碼)等嵌入式編碼 技術(shù)，獲得精細(xì)的分級效果。但近些年來，諸多信號分析領(lǐng)域的文獻指出，小波變換在一般的二維信號上并不 能提供最“稀疏”的信號表示方法。由于二維可分離小波基是通過水平和垂直方向的一維 小波基的張量積得到的，因此只能達到“點奇異”函數(shù)族的最佳逼近。而在自然圖像和視頻 中存在大量的“線奇異”函數(shù)，直接采用二維可分離小波變換會產(chǎn)生大量不可忽略的系數(shù)。 因此如果要在低碼率的情況下實現(xiàn)更高的視頻編解碼效率，必須采用不可分離的二維基函 數(shù)來對信號進行稀疏表示。此外，生理學(xué)也指出，視覺大腦皮層的接收場具有局域、定向和 帶通特性，因此新的二維變換的基函數(shù)也應(yīng)該要滿足這些特性。經(jīng)對現(xiàn)有文獻檢索發(fā)現(xiàn)，M. N. Do和M. Vetterli在2005年第12期的《IEEE Transactionson Image Processing))(《電氣和電子工程師協(xié)會圖像處理匯刊》)的論 JC "The contourlettransform :an efficient directional multiresolution image r印resentation(輪廓波變換一種有效的方向多分辨率圖像表達方式)”中提出的 Contourlet (輪廓波變換)是第一個離散二維不可分方向濾波器組在圖像分解和表示中 的成功應(yīng)用。它使用了雙濾波器組結(jié)構(gòu)，首先用拉普拉斯金字塔濾波器組將信號分解到 多尺度子空間中去，然后在帶通子空間中使用DFB(方向濾波器組)將分布于同方向上的 奇異點合并為一個系數(shù)，最終的效果就是Contourlet的基函數(shù)具有隨尺度而長寬比變 化的“長條形”結(jié)構(gòu)。方向濾波器組的設(shè)計始于Bamberger和Smith于1992年第4期的 《IEEE Transactions on Signal Processing(電氣和電子工程師協(xié)會圖像處理匯刊)》 的論文"Afilter bank for the directional decomposition of images theory and design"( “用于圖像方向分解的濾波器組理論和設(shè)計”)中的開創(chuàng)工作，Do和Vetterli簡化了方向濾波器組的設(shè)計方法，采用了基于Quincunx Sampling(五株采樣)的方法來設(shè) 計方向濾波器組。但是該類技術(shù)的缺點是由于拉普拉斯金字塔濾波器組具有的冗余性，使 得Contourlet不適合直接用于對圖像和視頻進行壓縮的信息處理過程。又經(jīng)檢索發(fā)現(xiàn)，Eslami和 Radha 在 2007 年第 4 期的《IEEE Transactions on ImageProcessing(電氣和電子工程師協(xié)會圖像處理匯刊)》的論文“A New Family of NonredundantTransforms Using Hybrid Wavelets and Directional Filter Banks (基 于混合小波和方向濾波器組的一族非冗余變換)”中提出了基于多尺度非冗余小波的 Contourlet 變換(Wavelet-basedContourlet Transform,以下簡稱為 WBCT)。WBCT 與 Contourlet的不同之處在于使用了小波變換將信號分解到多尺度子空間，因此消除了冗余 性，適合在對圖像和視頻進行壓縮的信息處理過程中使用。然而，這些系統(tǒng)存在的缺陷在 于，都使用了均勻分解的方向濾波器組，這種濾波器組使用了滿二叉樹結(jié)構(gòu)。自然圖像頻譜 中的方向特性顯然不可能是均勻分布的，而均勻的方向分解可能導(dǎo)致某些頻譜分布較為密 集的方向的能量泄漏到相鄰子帶去，因此這種均勻的方向分解顯然不是最優(yōu)的圖像分解方 式。此外，由于圖像的邊緣和紋理都位于不同的尺度空間內(nèi)，并且隨著其曲率的變化的快 慢，其方向分辨率也在發(fā)生著變化，而在既有的多尺度幾何分解方法中，方向分辨率往往取 決于尺度分辨率。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)中存在的上述不足，提供一種可伸縮視頻稀疏信 息處理系統(tǒng)。本發(fā)明提出了一種針對圖像和視頻的雙多分辨率幾何分解方式，在同等碼率 的條件下，能夠?qū)⑿盘柲芰扛蛹械鼐奂诘皖l子帶內(nèi)，從而實現(xiàn)對信號的稀疏表達，并 最終表現(xiàn)為更大的壓縮率，且接收端恢復(fù)出來的視頻幀的質(zhì)量高。本發(fā)明是通過以下技術(shù)方案實現(xiàn)的
本發(fā)明包括時域分解模塊、雙多分辨率幾何分解模塊、熵編碼模塊、比特流多路 復(fù)用器模塊和率失真優(yōu)化控制模塊，其中時域分解模塊和雙多分辨率幾何分解模塊相連 傳輸時域高頻和時域低頻視頻幀信息，雙多分辨率幾何分解模塊和熵編碼模塊相連傳輸雙 多分辨率幾何變換后的分解系數(shù)信息，熵編碼模塊和比特流多路復(fù)用器模塊相連傳輸配置 的多層比特流信息，率失真優(yōu)化控制模塊與時域分解模塊相連傳輸運動估計控制信息，率 失真優(yōu)化控制模塊與熵編碼模塊相連傳輸編碼控制信息。所述的時域分解模塊對視頻幀進行基于運動補償?shù)臅r域分解，包括運動估計子 模塊、運動補償時域濾波子模塊和模式及運動矢量編碼子模塊，其中運動估計子模塊輸入 原始視頻幀，運動估計子模塊與運動補償時域濾波子模塊相連傳輸基于宏塊的運動矢量信 息，運動估計子模塊與模式及運動矢量編碼子模塊相連傳輸基于宏塊的運動矢量信息，運 動補償時域濾波子模塊與模式及運動矢量編碼子模塊相連傳輸宏塊的最優(yōu)化尺寸信息，運 動補償時域濾波子模塊與率失真優(yōu)化控制模塊相連傳輸運動估計控制信息，運動補償時域 濾波子模塊與雙多分辨率幾何分解模塊相連傳輸時域高頻和時域低頻視頻幀信息。所述的雙多分辨率幾何分解模塊進行多尺度非均勻方向分解，包括二維過完備 小波分解子模塊、相位一致性檢測子模塊、非均勻方向濾波器組設(shè)計子模塊、空間分解子模 塊和分解模式編碼子模塊，其中二維過完備小波分解子模塊與時域分解模塊相連傳輸時域高頻和時域低頻視頻幀信息，二維過完備小波變換子模塊和相位一致性檢測子模塊相連傳輸二維過完備小波分解系數(shù)，相位一致性檢測子模塊和非均勻方向濾波器組設(shè)計子模塊 相連傳輸相位一致性系數(shù)，非均勻方向濾波器組設(shè)計子模塊分別與空間分解子模塊和分解 模式編碼子模塊相連傳輸非均勻二叉樹結(jié)構(gòu)的方向濾波器組信息，空間分解子模塊和熵編 碼模塊相連傳輸變換過后的非均勻方向分解系數(shù)信息，空間分解子模塊與時域分解模塊相 連傳輸時域高頻和時域低頻視頻幀信息。所述的二維過完備小波分解子模塊將視頻幀分解為四個同樣大小但包含不同頻 帶信息的子帶，包括一維行方向分解單元和一維列方向分解單元，其中一維行方向分解 單元與時域分解模塊相連傳輸時域低頻和時域高頻視頻幀信息，一維行方向分解單元與一 維列方向分解單元相連傳輸L(低通)子帶和H(高通)子帶，一維列方向分解單元與相位一 致性檢測子模塊相連傳輸LL(低低)子帶、LH(低高)子帶、HL (高低)子帶和HH(高高) 子帶。所述的空間分解子模塊將視頻幀分解為不同尺度下的非均勻的方向子帶，包括 二維小波分解單元和卷積濾波單元，其中二維小波分解單元與時域分解單元相連傳輸時 域低頻和時域高頻視頻幀信息，二維小波分解單元與卷積濾波單元相連傳輸二維小波分解 后的多尺度子帶信息，卷積濾波單元與熵編碼模塊相連傳輸非云集方向分解系數(shù)信息。所述的二維過完備小波分解單元與二維小波分解單元的區(qū)別在于前者包括亞抽 樣操作，而后者不包括亞抽樣操作。所述的熵編碼模塊將雙多分辨率幾何分解模塊處理得到的子帶系數(shù)進行二進制 壓縮編碼，包括位平面編碼子模塊和算術(shù)編碼子模塊，其中位平面編碼子模塊與雙多分 辨率幾何分解模塊相連傳輸分均勻方向分解系數(shù)信息，位平面編碼子模塊與算術(shù)編碼子模 塊相連傳輸位平面數(shù)值和對應(yīng)的上下文標(biāo)志信息，算術(shù)編碼子模塊與比特流多路復(fù)用器相 連傳輸經(jīng)過有損壓縮后的二進制碼流，位平面編碼子模塊與率失真優(yōu)化控制模塊相連傳輸 熵編碼的碼率工作點參數(shù)。所述的率失真優(yōu)化控制模塊包括運動估計參數(shù)控制子模塊和編碼工作點參數(shù)控 制子模塊，其中運動估計參數(shù)控制子模塊與時域分解模塊相連傳輸運動估計控制信息，編 碼工作點參數(shù)控制子模塊與熵編碼模塊相連傳輸熵編碼的碼率工作點參數(shù)。所述的比特流多路復(fù)用器模塊將在不同碼率工作點參數(shù)條件下編碼處理生成的 可伸縮視頻碼流進行簡單合并。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是針對視頻幀中二維頻譜的方向特性，可以 選用更加靈活的任意多尺度和多方向分解方式對圖像進行自適應(yīng)的變換，最終得到適應(yīng)于 “線奇異”的自然圖像和視頻信號的更稀疏的子帶系數(shù)，有利于可伸縮視頻信息的壓縮和傳 輸；本發(fā)明能夠無縫地與WSVC(基于小波變換的可伸縮視頻信息處理)系統(tǒng)結(jié)合，并且在 SVC應(yīng)用同樣的碼率工作點的情況下，與單純用WSVC得到的結(jié)果進行比較，由于在雙多分 辨率幾何分解模塊后端輸出的系數(shù)較之普通的小波分解更加稀疏(即非零系數(shù)的數(shù)量要 比普通的小波分解得到的非零系數(shù)的數(shù)量要少很多)，因此能夠獲得具有更大壓縮率的可 伸縮視頻碼流；在視覺質(zhì)量上，與現(xiàn)有的WSVC系統(tǒng)比較，本發(fā)明系統(tǒng)能最多獲得1.2dB的客 觀效果上的提升，以及更高的結(jié)構(gòu)相似度，最終得到更佳的視覺效果。


圖1是本發(fā)明的系統(tǒng)組成連接示意圖。圖2是二維過完備小波分解子模塊的一個方向分解的示意圖。
圖3是二維小波分解單元的一個方向分解的示意圖。圖4是測試圖像Foreman的HH子帶示意圖。圖5是圖4分解為32個區(qū)間后的每個區(qū)間內(nèi)的相位一致性分布直方圖。圖6是圖5經(jīng)合并為8個子帶后得到的近似均勻的相位一致性分布直方圖。圖7是圖6對應(yīng)的非均勻二叉樹結(jié)構(gòu)示意圖。圖8是實施例濾波器組實現(xiàn)示意圖；其中圖(a)是方向分辨率為1的濾波器組實現(xiàn)示意圖；圖(b)是方向分辨率為2 的濾波器組實現(xiàn)示意圖。圖9是實施例的自適應(yīng)方向濾波器組結(jié)構(gòu)示意圖。圖10是實施例分解得到的子帶分布圖。圖11是實施例的四方向均勻分解的示意圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明的系統(tǒng)進一步描述本實施例在以本發(fā)明技術(shù)方案為前提 下進行實施，給出了詳細(xì)的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述 的實施例。實施例如圖1所示，本實施例包括時域分解模塊、雙多分辨率幾何分解模塊、熵編碼模 塊、比特流多路復(fù)用器模塊和率失真優(yōu)化控制模塊，其中時域分解模塊和雙多分辨率幾何 分解模塊相連傳輸時域高頻和時域低頻視頻幀信息，雙多分辨率幾何分解模塊和熵編碼模 塊相連傳輸雙多分辨率幾何變換后的分解系數(shù)信息，熵編碼模塊和比特流多路復(fù)用器模塊 相連傳輸配置的多層比特流信息，率失真優(yōu)化控制模塊與時域分解模塊相連傳輸運動估計 控制信息，率失真優(yōu)化控制模塊與熵編碼模塊相連傳輸編碼控制信息。所述的時域分解模塊對視頻幀進行基于運動補償?shù)臅r域分解，包括運動估計子 模塊、運動補償時域濾波子模塊和模式及運動矢量編碼子模塊，其中運動估計子模塊輸入 原始視頻幀，運動估計子模塊與運動補償時域濾波子模塊相連傳輸基于宏塊的運動矢量信 息，運動估計子模塊與模式及運動矢量編碼子模塊相連傳輸基于宏塊的運動矢量信息，運 動補償時域濾波子模塊與模式及運動矢量編碼子模塊相連傳輸宏塊的最優(yōu)化尺寸信息，運 動補償時域濾波子模塊與率失真優(yōu)化控制模塊相連傳輸運動估計控制信息，運動補償時域 濾波子模塊與雙多分辨率幾何分解模塊相連傳輸時域高頻和時域低頻視頻幀信息。所述的運動估計子模塊用于在相鄰前后兩幀間相同大小的宏塊內(nèi)尋找最優(yōu)的運 動矢量。所述的運動補償時域濾波子模塊用于對原始視頻幀進行運動補償后的一維時域 小波分解，將原始視頻幀進行時間分級。所述的模式及運動矢量編碼子模塊用于對宏塊搜索模式進行UVLC(通用可變長) 編碼，并且將運動矢量統(tǒng)一轉(zhuǎn)化為4X4的運動場。
所述的雙多分辨率幾何分解模塊進行多尺度非均勻方向分解，包括二維過完備 小波分解子模塊、相位一致性檢測子模塊、非均勻方向濾波器組設(shè)計子模塊、空間分解子模 塊和分解模式編碼子模塊，其中二維過完備小波分解子模塊與時域分解模塊相連傳輸時 域高頻和時域低頻視頻幀信息，二維過完備小波變換子模塊和相位一致性檢測子模塊相連 傳輸二維過完備小波分解系數(shù)，相位一致性檢測子模塊和非均勻方向濾波器組設(shè)計子模塊 相連傳輸相位一致性系數(shù)，非均勻方向濾波器組設(shè)計子模塊分別與空間分解子模塊和分解 模式編碼子模塊相連傳輸非均勻二叉樹結(jié)構(gòu)的方向濾波器組信息，空間分解子模塊和熵編 碼模塊相連傳輸變換過后的非均勻方向分解系數(shù)信息，空間分解子模塊與時域分解模塊相 連傳輸時域高頻和時域低頻視頻幀信息。所述的二維過完備小波分解子模塊將視頻幀分解為四個同樣大小但包含不同頻 帶信息的子帶，包括一維行方向分解單元和一維列方向分解單元，其中一維行方向分解 單元與時域分解模塊相連傳輸時域低頻和時域高頻視頻幀信息，一維行方向分解單元與一 維列方向分解單元相連傳輸L子帶和H子帶，一維列方向分解單元與相位一致性檢測子模 塊相連傳輸LL子帶、LH子帶、HL子帶和HH子帶。 所述的一維行方向分解單元在行方向上將一幀視頻信號進行二通道小波濾波器 組濾波，得到L子帶和H子帶。所述的一維列方向分解單元在列方向上將一幀視頻信號進行二通道小波濾波器 組濾波，得到L子帶和H子帶。所述的相位一致性檢測子模塊對二維過完備小波分解后的高頻子帶進行基于二 維Gabor小波的邊界檢測的相位一致性分布統(tǒng)計。所述的非均勻方向濾波器組設(shè)計子模塊生成適應(yīng)于各個小波高頻子帶的相位一 致性分布的非均勻方向濾波器組。所述的空間分解子模塊將視頻幀分解為不同尺度下的非均勻的方向子帶，包括 二維小波分解單元和卷積濾波單元，其中二維小波分解單元與時域分解單元相連傳輸時 域低頻和時域高頻視頻幀信息，二維小波分解單元與卷積濾波單元相連傳輸二維小波分解 后的多尺度子帶信息，卷積濾波單元與熵編碼模塊相連傳輸非云集方向分解系數(shù)信息。所述的卷積濾波單元用于將高頻小波子帶系數(shù)(即LH、HL、HH子帶的系數(shù))和非 均勻方向濾波器進行卷積，得到具有非均勻方向特征的稀疏的子帶系數(shù)。所述的二維過完備小波分解單元與二維小波分解單元的區(qū)別在于前者包括亞抽 樣操作，而后者不包括亞抽樣操作。所述的熵編碼模塊將雙多分辨率幾何分解模塊處理得到的子帶系數(shù)進行二進制 壓縮編碼，包括位平面編碼子模塊和算術(shù)編碼子模塊，其中位平面編碼子模塊與雙多分 辨率幾何分解模塊相連傳輸分均勻方向分解系數(shù)信息，位平面編碼子模塊與算術(shù)編碼子模 塊相連傳輸位平面數(shù)值和對應(yīng)的上下文標(biāo)志信息，算術(shù)編碼子模塊與比特流多路復(fù)用器相 連傳輸經(jīng)過有損壓縮后的二進制碼流，位平面編碼子模塊與率失真優(yōu)化控制模塊相連傳輸 熵編碼的碼率工作點參數(shù)。所述的位平面編碼子模塊用于將經(jīng)過量化后的子帶系數(shù)在長、寬和時間軸上劃分 為獨立的立方體編碼塊(64X64X4)進行獨立編碼和根據(jù)碼率工作點的率失真特性進行 分層組織。
所述的算術(shù)編碼子模塊用于對位平面數(shù)值和對應(yīng)的上下文標(biāo)志進行算術(shù)編碼。所述的率失真優(yōu)化控制模塊包括運動估計參數(shù)控制子模塊和編碼工作點參數(shù)控 制子模塊，其中運動估計參數(shù)控制子模塊與時域分解模塊相連傳輸運動估計控制信息，編 碼工作點參數(shù)控制子模塊與熵編碼模塊相連傳輸熵編碼的碼率工作點參數(shù)。所述的比特流多路復(fù)用器模塊將在不同碼率工作點參數(shù)條件下編碼處理生成的 可伸縮視頻碼流進 行簡單合并。
下面詳細(xì)介紹本實施例中各模塊的具體工作過程本實施例中運動估計子模塊的具體工作過程為輸入系統(tǒng)的原始視頻流中的每一 個視頻幀按照Y (亮度)、U(色度)和V(濃度)的順序輸入到時域分解模塊的運動估計子 模塊內(nèi)進行運動估計。運動估計是基于宏塊來進行的，隨著輸入的原始視頻幀的不同大小， 來設(shè)置不同的初始宏塊大小對于CIF(通用影像傳輸格式，大小為352X288)，使用大小為 32X32的宏塊；對于QCIF (四分之一大小通用影像傳輸格式，大小為176 X 144)，使用大小 為16X16的宏塊；對于4CIF(四倍大小通用影像傳輸格式，大小為704X576)，使用大小為 64X64的宏塊。在具體進行運動估計的時候，在每一個初始宏塊中，可以在16X16大小宏 塊的整像素搜索、16X8大小宏塊的半像素搜索、8X16大小宏塊的半像素搜索和8X8大小 宏塊的四分之一像素搜索等四種工作模式之中，來確定最優(yōu)估計的運動矢量和最優(yōu)的搜索 工作模式。最優(yōu)估計的運動矢量可由最小化如下的拉格朗日率失真(R-D)代價函數(shù)來獲取 其中失真函數(shù)為
代表運動矢量，R(mv)
代表傳輸mv所需的比特數(shù)，Seur和Sref分別代表當(dāng)前正在進行運動估計的宏塊和作為運動 估計計算參考所需的宏塊。最優(yōu)的搜索工作模式可由最小化如下的拉格朗日率失真(R-D)代價函數(shù)來獲取 「mcoi J(mode, Xsad) = ( Σ dsadisi, mv) + Xsad χ R 其中m0de代表具體使用的搜索工作模式，R(mode)代表傳輸mode所需的比特數(shù)。本實施例中運動補償時域濾波子模塊的具體工作過程為在運動估計子模塊得到 了運動矢量信息后，運動補償時域濾波子模塊對原始視頻幀進行基于提升算法的時域小波 分解以實現(xiàn)可伸縮視頻的時間分級?；谔嵘惴ǖ臅r域小波分解方法包括分裂、預(yù)測和 更新三個階段。在分裂階段，原始視頻幀被分解為奇數(shù)幀{F2i+1}和偶數(shù)幀{F2i}兩組不相交 的集合；在預(yù)測階段，奇數(shù)幀減去相鄰偶數(shù)幀的預(yù)測得到一個時域高頻幀；在更新階段，偶 數(shù)幀加上該時域高頻幀的更新，得到一個時域低頻幀。所謂預(yù)測和更新過程，可以理解為就 是相鄰的奇數(shù)幀和偶數(shù)幀之間的經(jīng)過運動矢量補償后的像素映射操作。在本實施例中，使 用5/3小波來進行基于提升算法的時域小波分解操作，具體分解過程如下1)分裂偶數(shù)幀 Ai = F2i，奇數(shù)幀 Bi = F2i+1 ；2)預(yù)測階段高頻幀 3)更新階段低頻幀 其中mva,b代表由Fa幀中的某一個宏塊指向Fb幀中對應(yīng)的宏塊的運動矢量。本實施例中二維過完備小波分解子模塊的具體工作過程為二維過完備小波分解 子模塊首先對時域分解模塊中輸出的時域高頻和低頻幀進行處理。二維過完備小波分解和 合成過程如下所示 其中Ji1 [η]和\ [η]分別代表分解和合成端所需的低通濾波器，見[η]和運[η] 則代表對應(yīng)的高通濾波器，符號*代表卷積。為了滿足完美重構(gòu)條件，高通濾波器刃[η]和 g, [η]需要滿足馬[η] = {-l)nh3[l - η]^[η] = (~1)τ%[1 — η]。本實施例選取雙正交“9_7”
濾波器組，即使用如表1所示的系數(shù)的濾波器組。表1 圖2給出了二維過完備小波分解子模塊的一個方向分解的示意圖在濾波過程 中，首先在行方向上對輸入的視頻幀進行低通和高通濾波，得到L子帶和H子帶，然后在L 子帶和H子帶上進行列方向的低通和高通濾波，將圖像分解到LL、LH、HL、HH四個子帶中去； 其中LL子帶包含了圖像中最主要的低頻能量，LH子帶包含了基本垂直相位的高頻系數(shù)， HL子帶包含了基本水平相位的高頻系數(shù)，HH子帶包含了基本對角相位的高頻系數(shù)。本實施例中相位一致性檢測子模塊的具體工作過程為二維過完備小波分解子模 塊將視頻幀分解到LL、LH、HL和HH四個子帶內(nèi)之后，相位一致性檢測子模塊對LH、HL和HH 三個高頻子帶進行基于二維Gabor小波的邊界檢測的相位一致性分布統(tǒng)計。本實施例選用 PeterKovesi的方法來計算相位一致性，即
,其中wd(x)表示權(quán)重因子，體現(xiàn)相位一致性的頻率越多這個權(quán)重因子 越大，Adn(X)代表二維Gabor小波分量的方向d上的分量的模，相位敏感函數(shù) Φ如(χ) = cos (“(χ)- ‘㈤)J sin-而(x))|,用于對點χ處的相位進行定位，Tdn表 示權(quán)重，在式中用來消除噪聲對判決結(jié)果帶來的影響，e是一個微小的常數(shù)，用來避免分母為零。本實施例中非均勻方向濾波器組設(shè)計子模塊的具體工作過程為非均勻方向濾波器組設(shè)計子模塊在得到了相位一致性檢測子模塊輸出的相位一致性系數(shù)之后，根據(jù)設(shè)定的 初始方向分辨率r = 2_n和尺度S上所需的最終子帶數(shù)目
將初 始的2n個方向區(qū)間中相位PC(X)分布最稀疏的兩個相鄰區(qū)間進行合并，每進行一次合并， 其對應(yīng)的兩個葉子節(jié)點就合并消失，這兩個葉子節(jié)點所屬的父節(jié)點變成了新的葉子節(jié)點， 并且新的區(qū)間的方向分辨率就是原來的兩倍，直至最終Is個區(qū)間內(nèi)的相位一致性分布接近 均勻為止。此時每個方向區(qū)間一一對應(yīng)于二叉樹結(jié)構(gòu)中的一個葉子節(jié)點。為了清晰地說明 這個問題，圖4 圖7分別展示了測試圖像Foreman的HH子帶，將相位[_π/2，π/2]分解 成32個區(qū)間后每個區(qū)間內(nèi)的相位一致性分布直方圖，經(jīng)過合并為8個子帶后得到的近似均 勻的相位一致性分布直方圖和對應(yīng)的非均勻二叉樹結(jié)構(gòu)。在每一個尺度s=l，2，…內(nèi)， 根據(jù)其第i個方向子帶(O <i≤Is)的方向分辨率即2的該節(jié)點深度的冪次的倒 數(shù))，使用五株采樣扇形濾波器組或平行四邊形濾波器組，得到適應(yīng)于該視頻幀的尺度s內(nèi) LH、HL和HH子帶的非均勻二叉樹結(jié)構(gòu)的方向濾波器組，并將二叉樹傳入到后端的分解模式 編碼子模塊進行編碼。當(dāng)節(jié)點的深度是1或者2時，那么只需要采用五株采樣扇形濾波器 組即可，圖8 (a)和圖8(b)分別給出了節(jié)點深度為1和2時候的扇形濾波器組實現(xiàn)圖，該扇
形濾波器組分別采用
的五株采樣矩陣；當(dāng)節(jié)點的深度大于
或等于3時，那么則在采用五株采樣扇形濾波器的基礎(chǔ)上，再采用將濾波器組的通帶往相 應(yīng)方向(χ軸和y軸的正方向或負(fù)方向)進行推擠的平行四邊形濾波器組，其中采樣矩陣為
的平行四邊形濾波器組將圖像在縱坐標(biāo)不變的情況下投影到和χ軸正方向夾
角為45度的方向上，采樣矩陣為
的平行四邊形濾波器組將圖像在縱坐標(biāo)不
變的情況下投影到和χ軸負(fù)方向夾角為45度的方向上，采樣矩陣為
的平行四
邊形濾波器組將圖像在橫坐標(biāo)不變的情況下投影到和y軸正方向夾角為45度的方向上，采
樣矩陣為
的平行四邊形濾波器組將圖像在橫坐標(biāo)不變的情況下投影到和y
軸負(fù)方向夾角為45度的方向上。在本實施例中，圖9給出了使用基于測試視頻序列Foreman 得到的適應(yīng)于其中某一幀的非均勻二叉樹結(jié)構(gòu)的方向濾波器組實現(xiàn)圖，其中包括了深度為 1、2、3的非均勻二叉樹結(jié)構(gòu)濾波器組的結(jié)點。 本實施例中空間分解子模塊的具體工作過程為空間分解子模塊在得到了非均勻 方向濾波器組設(shè)計子模塊輸出的非均勻二叉樹結(jié)構(gòu)的方向濾波器組信息之后，首先對該視 頻幀進行總共k個尺度的二維普通小波變換，二維普通小波變換和二維過完備小波變換的 基本原理和方法相同，區(qū)別在于二維普通小波的濾波過程存在亞抽樣和補零的步驟以消除 冗余和實現(xiàn)可伸縮視頻的空間分級。本實施例選取雙正交“9-7”濾波器組，圖3是二維小 波變換單元的一個方向分解的示意圖?？臻g分解子模塊在對視頻幀經(jīng)過了 k個尺度的普通 小波變換后，得到3k+l個小波子帶，然后在3k個高頻子帶中使用非均勻方向濾波器組進行
進一步的卷積濾波，最終連同低頻子帶一道得到
個子帶。這些子帶具有互相獨立的尺度分辨率和方向分辨率。圖10給出了測試視頻序列Foreman中的某一幀分解得到的 子帶的分布圖。本實施例中熵編碼模塊的具體工作過程為在得到了空間分解子模塊輸出的多尺 度非均勻方向子帶系數(shù)后，使用3-D ESCOT (優(yōu)化截斷的三維嵌入式子帶編碼)編碼模塊作 為熵編碼模塊對子帶系數(shù)進行編碼。該模塊具體又可分為兩個子模塊位平面編碼子模塊 和算術(shù)編碼子模塊。位平面編碼子模塊首先將經(jīng)過量化后的子帶系數(shù)在長、寬和時間軸上 劃分為獨立的立方體編碼塊(64X64X4)進行獨立編碼，輸出位平面上的數(shù)值D和對應(yīng)的 上下文標(biāo)記CX，它們再被送入算術(shù)編碼子模塊根據(jù)合理的信源概率模型和率失真優(yōu)化控制 模塊中的編碼工作點參數(shù)子模塊傳輸過來的碼率參數(shù)進行有損壓縮的算術(shù)編碼。整個位平 面編碼過程中使用了四種編碼原語(即Zero Coding (零編碼)、Sign Coding (符號編碼)、 Magnitude Refinement Coding (量值改進編碼)和 Run-Length Coding (游程編碼))來 為位平面數(shù)值D生成上下文標(biāo)記CX。在本實施例中，為突出子帶的方向性，對Zero Coding 部分做了修改。由于每個編碼塊均自適應(yīng)地使用了可能不同的方向分解模式，本發(fā)明針對 每一個編碼塊設(shè)置了新的Zero Coding上下文模型表。圖11是實施例的四方向均勻分解 的示意圖，表2給出了適應(yīng)于圖11中描述的四方向均勻分解模式的Zero Coding上下文模 型表。
本實施例中比特流多路復(fù)用器模塊的具體工作過程為在得到了所需配置的不同 碼率工作點參數(shù)條件下的可伸縮視頻碼流后，比特流多路(復(fù)用)器將它們簡單地合并成 為一個總的碼流。本實施例提出的圖像的雙多分辨率幾何分解技術(shù)能夠同時獨立地控制尺度分辨 率和方向分辨率，自適應(yīng)地針對不同的輸入視頻幀選取不同拓?fù)浣Y(jié)構(gòu)的方向濾波器組對圖 像進行子帶分解和發(fā)送處理，最終得到更為稀疏的子帶系數(shù)。表2 實施效果依據(jù)以上步驟，采用測試視頻序列harbOur_4cif_60. yuv (大小為4CIF，即704X576的4:2:0格式，幀率為60幀每秒(60Hz)的YUV文件)，總共編碼90幀。本實施 例在微軟亞洲研究院的WSVC(基于小波變換的可伸縮視頻信息處理)參考軟件Vidwav中 加入了雙多分辨率幾何分解模塊，并替換了原有的小波分解模塊，對該測試視頻進行發(fā)送 和接收處理。具體設(shè)置參數(shù)如下時間可分級級別設(shè)置為5級(支持60Hz，30Hz，15Hz，7. 5Hz，3. 75Hz的幀率)， GOP (圖像群組)大小設(shè)置為32 ；空間可分級級別設(shè)置為3級(支持4CIF，CIF, QCIF)；
使用拉格郎日乘子法來最優(yōu)化運動矢量，其中拉格朗日乘數(shù)λ和搜索范圍SR設(shè) 定為4CIF λ = 128，SR = 128，CIF λ = 32，SR = 64，QCIF λ = 16, SR = 32。對于4CIF，在512kbps 3072kbps的碼率范圍內(nèi)，每隔256kbps設(shè)定一個工作點。 對于CIF，在128kbps 768kbps的碼率范圍內(nèi)，每隔64kbps設(shè)定一個工作點。對于QCIF， 在32kbps 192kbps的碼率范圍內(nèi)，每隔16kbps設(shè)定一個工作點。對輸入視頻進行5級小波分解，從最粗糙到最精細(xì)的4級小波高頻子帶上再將其 分解為1，2，4，8個方向子帶。在解碼器的后處理端中的消除振鈴效應(yīng)濾波器中，濾波器系數(shù)權(quán)重設(shè)置為0. 35， 衰減參數(shù)設(shè)定為3.0。使用了 PSNR (峰值信噪比)和SSIM(結(jié)構(gòu)相似度)指標(biāo)，對基于多尺度方向自適 應(yīng)描述和基于小波變換的可伸縮視頻編碼方法獲得的最終視頻序列與原始的未經(jīng)過發(fā)送 和接收處理的視頻序列進行了比較。其中PSNR指標(biāo)常用于衡量經(jīng)過處理后的視頻的客觀 品質(zhì)，數(shù)值越高其客觀品質(zhì)越好；SSIM指標(biāo)用于衡量兩幅圖像的結(jié)構(gòu)相似度，其值介于0 1之間，1表示完全相同，越接近1，表示結(jié)構(gòu)相似度越高。當(dāng)解碼工作點為4CIF&512kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別 為25. 33dB 和 24. 18dB ；SSIM 分別為0. 737 和 0. 685 ；當(dāng)解碼工作點為4CIF&1024kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別 為28. 97dB 和 28. 65dB ；SSIM 分別為0. 875 和 0. 863 ；當(dāng)解碼工作點為4CIF&1536kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別 為30. 62dB 和 30. 37dB ；SSIM 分別為0. 909 和 0. 904 ；當(dāng)解碼工作點為4CIF&2048kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別 為31. 70dB 和 31. 51dB ；SSIM 分別為0. 927 和 0. 926 ；當(dāng)解碼工作點為CIF&128kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別為 25. 54dB 和 24. 58dB ；SSIM 分別為0. 796 和 0. 715 ；當(dāng)解碼工作點為CIF&256kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別為
28.22dB 和 27. 71dB ；SSIM 分別為0. 890 和 0. 855 ；當(dāng)解碼工作點為CIF&384kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別為
29.61dB 和 29. 22dB ；SSIM 分別為0. 919 和 0. 898 ；當(dāng)解碼工作點為CIF&512kbps時，本實施例系統(tǒng)和WSVC系統(tǒng)得到的PSNR分別為
30.57dB 和 30. 30dB ；SSIM 分別為0. 936 和 0. 922。由上述數(shù)據(jù)可知較之已有的WSVC系統(tǒng)，本實施例系統(tǒng)能夠有效地提高視頻的客 觀質(zhì)量，并且在結(jié)構(gòu)上更加接近原始的視頻序列。
權(quán)利要求
一種可伸縮視頻稀疏信息處理系統(tǒng)，其特征在于，包括時域分解模塊、雙多分辨率幾何分解模塊、熵編碼模塊、比特流多路復(fù)用器模塊和率失真優(yōu)化控制模塊，其中時域分解模塊和雙多分辨率幾何分解模塊相連傳輸時域高頻和時域低頻視頻幀信息，雙多分辨率幾何分解模塊和熵編碼模塊相連傳輸雙多分辨率幾何變換后的分解系數(shù)信息，熵編碼模塊和比特流多路復(fù)用器模塊相連傳輸配置的多層比特流信息，率失真優(yōu)化控制模塊與時域分解模塊相連傳輸運動估計控制信息，率失真優(yōu)化控制模塊與熵編碼模塊相連傳輸編碼控制信息。
2.根據(jù)權(quán)利要求1所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的時域分解 模塊包括運動估計子模塊、運動補償時域濾波子模塊和模式及運動矢量編碼子模塊，其 中運動估計子模塊輸入原始視頻幀，運動估計子模塊與運動補償時域濾波子模塊相連傳 輸基于宏塊的運動矢量信息，運動估計子模塊與模式及運動矢量編碼子模塊相連傳輸基于 宏塊的運動矢量信息，運動補償時域濾波子模塊與模式及運動矢量編碼子模塊相連傳輸宏 塊的最優(yōu)化尺寸信息，運動補償時域濾波子模塊與率失真優(yōu)化控制模塊相連傳輸運動估計 控制信息，運動補償時域濾波子模塊與雙多分辨率幾何分解模塊相連傳輸時域高頻和時域 低頻視頻幀信息。
3.根據(jù)權(quán)利要求1所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的雙多分辨 率幾何分解模塊包括二維過完備小波分解子模塊、相位一致性檢測子模塊、非均勻方向濾 波器組設(shè)計子模塊、空間分解子模塊和分解模式編碼子模塊，其中二維過完備小波分解子 模塊與時域分解模塊相連傳輸時域高頻和時域低頻視頻幀信息，二維過完備小波變換子模 塊和相位一致性檢測子模塊相連傳輸二維過完備小波分解系數(shù)，相位一致性檢測子模塊和 非均勻方向濾波器組設(shè)計子模塊相連傳輸相位一致性系數(shù)，非均勻方向濾波器組設(shè)計子模 塊分別與空間分解子模塊和分解模式編碼子模塊相連傳輸非均勻二叉樹結(jié)構(gòu)的方向濾波 器組信息，空間分解子模塊和熵編碼模塊相連傳輸變換過后的非均勻方向分解系數(shù)信息， 空間分解子模塊與時域分解模塊相連傳輸時域高頻和時域低頻視頻幀信息。
4.根據(jù)權(quán)利要求3所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的二維過完 備小波分解子模塊包括一維行方向分解單元和一維列方向分解單元，其中一維行方向 分解單元與時域分解模塊相連傳輸時域低頻和時域高頻視頻幀信息，一維行方向分解單元 與一維列方向分解單元相連傳輸L子帶和H子帶，一維列方向分解單元與相位一致性檢測 子模塊相連傳輸LL子帶、LH子帶、HL子帶和HH子帶。
5.根據(jù)權(quán)利要求3所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的空間分解 子模塊包括二維小波分解單元和卷積濾波單元，其中二維小波分解單元與時域分解單 元相連傳輸時域低頻和時域高頻視頻幀信息，二維小波分解單元與卷積濾波單元相連傳輸 二維小波分解后的多尺度子帶信息，卷積濾波單元與熵編碼模塊相連傳輸非云集方向分解 系數(shù)信息。
6.根據(jù)權(quán)利要求1所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的熵編碼模 塊包括位平面編碼子模塊和算術(shù)編碼子模塊，其中位平面編碼子模塊與雙多分辨率幾 何分解模塊相連傳輸分均勻方向分解系數(shù)信息，位平面編碼子模塊與算術(shù)編碼子模塊相連 傳輸位平面數(shù)值和對應(yīng)的上下文標(biāo)志信息，算術(shù)編碼子模塊與比特流多路復(fù)用器相連傳輸 經(jīng)過有損壓縮后的二進制碼流，位平面編碼子模塊與率失真優(yōu)化控制模塊相連傳輸熵編碼的碼率工作點參數(shù)。
7.根據(jù)權(quán)利要求1所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的率失真優(yōu) 化控制模塊包括運動估計參數(shù)控制子模塊和編碼工作點參數(shù)控制子模塊，其中運動估 計參數(shù)控制子模塊與時域分解模塊相連傳輸運動估計控制信息，編碼工作點參數(shù)控制子模 塊與熵編碼模塊相連傳輸熵編碼的碼率工作點參數(shù)。
8.根據(jù)權(quán)利要求1所述的可伸縮視頻稀疏信息處理系統(tǒng)，其特征是，所述的比特流多 路復(fù)用器模塊將在不同碼率工作點參數(shù)條件下編碼處理生成的可伸縮視頻碼流進行簡單合并。
全文摘要
一種信息處理技術(shù)領(lǐng)域的可伸縮視頻稀疏信息處理系統(tǒng)，包括時域分解模塊、雙多分辨率幾何分解模塊、熵編碼模塊、比特流多路復(fù)用器模塊和率失真優(yōu)化控制模塊，其中時域分解模塊和雙多分辨率幾何分解模塊相連傳輸時域高頻和時域低頻視頻幀信息，雙多分辨率幾何分解模塊和熵編碼模塊相連傳輸雙多分辨率幾何變換后的分解系數(shù)信息，熵編碼模塊和比特流多路復(fù)用器模塊相連傳輸配置的多層比特流信息，率失真優(yōu)化控制模塊與時域分解模塊相連傳輸運動估計控制信息，率失真優(yōu)化控制模塊與熵編碼模塊相連傳輸編碼控制信息。本發(fā)明兼容性強，壓縮率大，編碼效率高，碼字開銷小，可以獲得更佳的視覺效果，具有廣泛的應(yīng)用性。
文檔編號H04N7/50GK101848393SQ20101019492
公開日2010年9月29日 申請日期2010年6月8日 優(yōu)先權(quán)日2010年6月8日
發(fā)明者朱凌晨, 熊紅凱 申請人:上海交通大學(xué)