本發(fā)明涉及視頻研究領(lǐng)域，特別涉及一種視頻壓縮中基于優(yōu)先級的空間域掃描方法及裝置。

背景技術(shù)：

視頻壓縮系統(tǒng)，旨在通過對原始視頻信號進(jìn)行分析與處理，用相比較于原始信號較少量的比特，保留視頻信號中的重要視覺信息。一個視頻壓縮系統(tǒng)分為編碼端與解碼端。視頻壓縮系統(tǒng)的編碼端，將原始視頻信號轉(zhuǎn)化為比特流。視頻壓縮系統(tǒng)的解碼端，接收比特流，還原視頻。如果被還原的視頻與原始視頻保持完全一致，稱為無損視頻編碼。如果被還原的視頻與原始信號相比存在失真，則稱為有損視頻編碼。

常見的視頻壓縮系統(tǒng)編碼端通常包含以下幾個部分：1，分塊；2，預(yù)測；3，變換與量化；4，掃描；5，熵編碼。解碼端對應(yīng)進(jìn)行逆操作。如圖1所示。

前人研究指出：當(dāng)掃描對象為DCT或ADST系數(shù)時，之字形掃描是接近最優(yōu)的。其主要原因如下：DCT或ADST系數(shù)的導(dǎo)出是基于“一階自回歸馬爾科夫模型”的。一階自回歸馬爾科夫模型的協(xié)方差矩陣進(jìn)行本征分解后，本征值即代表系數(shù)方差，也就是說系數(shù)是否在概率上容易取大幅值。對本征值進(jìn)行排序即可導(dǎo)出接近之字形掃描的路徑。根據(jù)系數(shù)方差進(jìn)行降序排序掃描，可以使得系數(shù)滿足：大幅度系數(shù)靠前，小幅度系數(shù)靠后，大量0系數(shù)集中以及尾部集中等特性。這在熵編碼器看來是非常好的統(tǒng)計(jì)特性。

然而當(dāng)變換為相等變換/變換旁路時，變換系數(shù)的大小難以預(yù)先推測。因此，掃描結(jié)果通常比較凌亂，掃描系數(shù)的統(tǒng)計(jì)規(guī)律變?nèi)?，這對于熵編碼器的高效處理是不利的。

技術(shù)實(shí)現(xiàn)要素：

1、本發(fā)明的目的。

本發(fā)明針對殘差變換中的相等變換/旁路變換，其變換系數(shù)掃描順序難以預(yù)先推測的問題，而提出一種掃描方法及裝置，設(shè)計(jì)出更好的掃描路徑以提高編碼性能。

2、本發(fā)明所采用的技術(shù)方案。

在本發(fā)明中，提出一種方法估算相等變換系數(shù)的方差，并提出根據(jù)方差大小降序掃描相等變換系數(shù)。使得系數(shù)滿足：大幅度系數(shù)靠前，小幅度系數(shù)靠后，大量0系數(shù)集中以及尾部集中等特性。

本發(fā)明提出的一種視頻壓縮中基于優(yōu)先級的空間域掃描方法：掃描對象為相等殘差編碼變換/變換旁路系數(shù)，通過方差函數(shù)估算系數(shù)相對大小；根據(jù)方差的大小進(jìn)行排序掃描。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的根據(jù)方差的大小進(jìn)行排序?yàn)榻敌蚺判颉?/p>

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的掃描相等殘差編碼變換/變換旁路系數(shù)具體方法如下：

計(jì)算幀內(nèi)方向性預(yù)測殘差方差函數(shù)或幀間運(yùn)動補(bǔ)償預(yù)測殘差方差函數(shù)；

針對方差函數(shù)進(jìn)行從大到小排序，對相等殘差編碼變換/變換旁路系數(shù)進(jìn)行掃描。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀內(nèi)方向性方差函數(shù)為：

其中相等變換系數(shù)坐標(biāo)為(m,n)，當(dāng)前塊坐標(biāo)范圍是1<=m<=M, 1<=n<=N，塊邊緣坐標(biāo)為m=0或n=0。L為該系數(shù)至邊緣預(yù)測像素的距離，α為預(yù)測方向與邊緣法線夾角，n’為邊緣預(yù)測像素所在坐標(biāo)。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀間運(yùn)動補(bǔ)償方差函數(shù)為：

其中，K為常數(shù)，為梯度模平方函數(shù)在參考幀的運(yùn)動補(bǔ)償后的參考小塊相同坐標(biāo)處取值。

本發(fā)明提出了一種使用權(quán)利要求1-3任一所述的視頻壓縮方法，掃描步驟中，掃描對象為相等殘差編碼變換/變換旁路系數(shù)，通過方差函數(shù)估算系數(shù)；根據(jù)方差的大小進(jìn)行排序掃描。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的根據(jù)方差的大小進(jìn)行排序?yàn)榻敌蚺判颉?/p>

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的掃描相等殘差編碼變換/變換旁路系數(shù)具體方法如下：

計(jì)算幀內(nèi)方向性方差函數(shù)或幀間運(yùn)動補(bǔ)償方差函數(shù)；

針對方差函數(shù)進(jìn)行從大到小排序，對相等殘差編碼變換/變換旁路系數(shù)進(jìn)行掃描。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀內(nèi)方向性方差函數(shù)為：

其中相等變換系數(shù)坐標(biāo)為(m,n)，當(dāng)前塊坐標(biāo)范圍是1<=m<=M, 1<=n<=N，塊邊緣坐標(biāo)為m=0或n=0，L為該系數(shù)至邊緣預(yù)測像素的距離，α為預(yù)測方向與邊緣法線夾角，n’為邊緣預(yù)測像素所在坐標(biāo)。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀間運(yùn)動補(bǔ)償方差函數(shù)為：

其中，K為常數(shù)，為梯度模平方函數(shù)在參考幀的運(yùn)動補(bǔ)償后的參考小塊相同坐標(biāo)處取值。

本發(fā)明提出了一種視頻壓縮中基于優(yōu)先級的空間域掃描裝置，包括：

用于掃描對象為相等殘差編碼變換/變換旁路系數(shù)，通過方差函數(shù)估算系數(shù)的估算裝置；

用于根據(jù)方差的大小進(jìn)行排序掃描的排序掃描裝置。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的排序掃描裝置根據(jù)方差的大小進(jìn)行排序?yàn)榻敌蚺判颉?/p>

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的相等殘差編碼變換/變換旁路系數(shù)具體包括：

計(jì)算幀內(nèi)方向性方差函數(shù)或幀間運(yùn)動補(bǔ)償方差函數(shù)的估算裝置；

針對方差函數(shù)進(jìn)行從大到小排序，對相等殘差編碼變換/變換旁路系數(shù)進(jìn)行掃描的排序掃描裝置。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的估算裝置中幀內(nèi)方向性方差函數(shù)為：

其中相等變換系數(shù)坐標(biāo)為(m,n)，當(dāng)前塊坐標(biāo)范圍是1<=m<=M, 1<=n<=N，塊邊緣坐標(biāo)為m=0或n=0，L為該系數(shù)至邊緣預(yù)測像素的距離，α為預(yù)測方向與邊緣法線夾角，n’為邊緣預(yù)測像素所在坐標(biāo)。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀間運(yùn)動補(bǔ)償方差函數(shù)為：

其中，K為常數(shù)，為梯度模平方函數(shù)在參考幀的運(yùn)動補(bǔ)償后的參考小塊相同坐標(biāo)處取值。

本發(fā)明提出的一種使用權(quán)利要求11-13任一所述的視頻壓縮裝置，包括如下步驟：掃描步驟中，掃描對象為相等殘差編碼變換/變換旁路系數(shù)，通過方差函數(shù)估算系數(shù)；根據(jù)方差的大小進(jìn)行排序掃描。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的根據(jù)方差的大小進(jìn)行排序?yàn)榻敌蚺判颉?/p>

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的掃描相等殘差編碼變換/變換旁路系數(shù)具體方法如下：

計(jì)算幀內(nèi)方向性方差函數(shù)或幀間運(yùn)動補(bǔ)償方差函數(shù)；

針對方差函數(shù)進(jìn)行從大到小排序，對相等殘差編碼變換/變換旁路系數(shù)進(jìn)行掃描。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀內(nèi)方向性方差函數(shù)為：

其中相等變換系數(shù)坐標(biāo)為(m,n)，當(dāng)前塊坐標(biāo)范圍是1<=m<=M, 1<=n<=N，塊邊緣坐標(biāo)為m=0或n=0，L為該系數(shù)至邊緣預(yù)測像素的距離，α為預(yù)測方向與邊緣法線夾角，n’為邊緣預(yù)測像素所在坐標(biāo)。

基于本發(fā)明優(yōu)選的實(shí)施方式，所述的幀間運(yùn)動補(bǔ)償方差函數(shù)為：

其中，K為常數(shù)，為梯度模平方函數(shù)在參考幀的運(yùn)動補(bǔ)償后的參考小塊相同坐標(biāo)處取值。

3、本發(fā)明的有益效果。

本發(fā)明提出的方差估算方法，可以直接應(yīng)用于殘差變換中的相等變換/旁路變換，利用方差函數(shù)對像素信息進(jìn)行直接編碼，實(shí)現(xiàn)系數(shù)滿足：大幅度系數(shù)靠前，小幅度系數(shù)靠后，大量0系數(shù)集中以及尾部集中等特性，熵編碼器能夠高效的對本發(fā)明的統(tǒng)計(jì)特性良好的數(shù)據(jù)進(jìn)行編碼，從而提高編碼性能。

附圖說明

圖1為視頻編碼與解碼系統(tǒng)架構(gòu)示意圖。

圖2為視頻幀原始分塊示意圖。

圖3為原始分塊數(shù)據(jù)示意圖。

圖4為垂直預(yù)測分塊示意圖。

圖5為圖2邊界數(shù)據(jù)垂直復(fù)制之后得到的預(yù)測值示意圖。

圖6為圖2中與圖4中的預(yù)測值誤差示意圖。

圖7為圖2中與圖4中的預(yù)測值誤差數(shù)據(jù)示意圖。

圖8為之字形系數(shù)掃描示意圖。

圖9為預(yù)測不精確性模型幀內(nèi)方向性預(yù)測示意圖。

圖10為本發(fā)明標(biāo)準(zhǔn)差示意圖。

圖11為本發(fā)明示例標(biāo)準(zhǔn)差函數(shù)值示意圖。

圖12為本發(fā)明示例掃描順序示意圖。

圖13為之字形掃描結(jié)果示意圖。

圖14為本發(fā)明本專利的掃描結(jié)果示意圖。

具體實(shí)施方式

如何輸入規(guī)整的統(tǒng)計(jì)數(shù)據(jù)，使熵編碼器能夠高效的對統(tǒng)計(jì)特性良好的數(shù)據(jù)進(jìn)行編碼，從而提高編碼性能是本發(fā)明要解決的根本問題。當(dāng)掃描相等殘差編碼變換/變換旁路系數(shù)時，變換系數(shù)的大小難以預(yù)先推測。因此，掃描結(jié)果通常比較凌亂，掃描系數(shù)的統(tǒng)計(jì)規(guī)律變?nèi)酰@對于熵編碼器的高效處理是不利的。相等變換系數(shù)的掃描問題，歸根結(jié)底是缺乏一個好的方法來估算系數(shù)的方差。這也是本發(fā)明致力解決的問題。在本發(fā)明中，提出一種方法估算相等變換系數(shù)的方差，并提出根據(jù)方差大小降序掃描相等變換系數(shù)。

常見的視頻壓縮系統(tǒng)編碼氛圍分塊、預(yù)測、變換與量化、掃描、熵編碼等步驟。

分塊步驟：一個視頻包含許多幀，一個視頻編碼系統(tǒng)分別對每一幀進(jìn)行編碼。在編碼一幀的時候，首先對一個視頻進(jìn)行分塊。然后對每一個小塊分別編碼。常見的分塊策略包含：固定大小分塊：例如JPEG系統(tǒng)采用固定8x8像素分塊。H.264系統(tǒng)基于宏塊的可變大小分塊策略。HEVC系統(tǒng)基于四叉樹的分塊策略。以及MPEG4系統(tǒng)基于形狀的分塊策略。

分塊有利于視頻編碼系統(tǒng)對視頻內(nèi)容進(jìn)行自適應(yīng)，從而達(dá)到理想的編碼效果。

預(yù)測步驟：視頻幀被分塊之后，每一小塊逐一編碼。每一個小塊的像素信息中存在冗余，這種冗余在視頻中非常常見。例如，一個小塊與周圍小塊存在相似性，一個小塊與前一幀視頻中的小塊存在相似性。為了初步減少數(shù)據(jù)冗余，首先對這一個小塊的內(nèi)容進(jìn)行預(yù)測，并對預(yù)測誤差在下一步進(jìn)行編碼。通過精心設(shè)計(jì)預(yù)測方法，可以大大減少每一個小塊中包含的數(shù)據(jù)量。常見的預(yù)測方法包含：方向性幀內(nèi)預(yù)測，直流分量幀內(nèi)預(yù)測，運(yùn)動補(bǔ)償幀間預(yù)測等。

在方向性幀內(nèi)預(yù)測中，已經(jīng)被編碼過的小塊的邊界像素值沿著某個方向復(fù)制到當(dāng)前小塊，作為該小塊的預(yù)測數(shù)據(jù)。圖2-7顯示了一個4x4像素小塊垂直方向性預(yù)測的例子。在這個例子中，原始數(shù)據(jù)（圖2和圖3）存在大量信息。由于垂直預(yù)測（圖4和圖5）與小塊中的垂直邊緣相匹配，所以垂直預(yù)測數(shù)據(jù)與原始數(shù)據(jù)非常接近。預(yù)測誤差（圖6和圖7）相比較于原始數(shù)據(jù)非常小。在這個例子中，垂直預(yù)測大量減少了所需要編碼的數(shù)據(jù)量。

變換步驟：上一步預(yù)測誤差，又稱預(yù)測殘差進(jìn)行進(jìn)一步編碼。殘差編碼通常進(jìn)行變換，轉(zhuǎn)換為變換系數(shù)。變換的目的是尋找一組高效的殘差像素表達(dá)方式，數(shù)學(xué)上通常要求變換是正交歸一的。變換系數(shù)被量化為整數(shù)后，進(jìn)行下一步掃描。

常見的變換技術(shù)有：離散余弦變換（DCT） 以及非對稱正弦變換（ADST）。這兩種變換過程中存在浮點(diǎn)數(shù)與量化，變換過程會引入少量的視頻失真，通常使用于有損視頻壓縮

另一種變換稱為相等殘差編碼變換/變換旁路。這種變換對殘差像素僅僅做量化，或者直接將殘差像素作為變換系數(shù)輸出。由于相等變換不存在浮點(diǎn)運(yùn)算，因此可以保證精確地保留殘差整數(shù)值，可用于有損視頻壓縮或者無損視頻壓縮。

掃描步驟：上一步的變換系數(shù)通常是二維的，為了對二維變換系數(shù)進(jìn)行編碼，首先需要將其轉(zhuǎn)換為一組一維的數(shù)組。這個過程稱作掃描。在掃描的過程中，希望有效考慮到變換系數(shù)的統(tǒng)計(jì)特性，將統(tǒng)計(jì)特性相似的系數(shù)聚集，使得下一步熵編碼更為有效。

現(xiàn)有的掃描技術(shù)有很多種。包括針對于DCT，ADST系數(shù)的之字形掃描（Zig-zag），在HEVC系統(tǒng)中采用了針對于預(yù)測方向自適應(yīng)的掃描方式 [3]。

圖8舉例說明用之字形方法掃描一塊8x8的二維量化系數(shù)。空白表示系數(shù)為0，掃描后的結(jié)果對應(yīng)為：15,2,0,4,1,0,0,0……這個一維數(shù)據(jù)被送入下一步進(jìn)行熵編碼。

熵編碼步驟：被掃描后的一維系數(shù)送入熵編碼器轉(zhuǎn)換為最終的二進(jìn)制流。熵編碼通過對掃描后的一維數(shù)據(jù)的統(tǒng)計(jì)特性進(jìn)行研究，從而減少統(tǒng)計(jì)上的冗余。

熵編碼器的設(shè)計(jì)依賴于掃描后系數(shù)的統(tǒng)計(jì)特性。對于通常的編碼系統(tǒng)來說，利用到的統(tǒng)計(jì)特性包含有：大幅度系數(shù)靠前，小幅度系數(shù)靠后；大量0系數(shù)聚集；尾部包含大量0系數(shù)等。通常來說，送入熵編碼器的掃描系數(shù)越是規(guī)整，熵編碼器的效率就越高。

實(shí)施例1

本發(fā)明提出的視頻壓縮中基于優(yōu)先級的空間域掃描方法，具體按照如下步驟：

步驟1：假定相等變換系數(shù)坐標(biāo)為(m,n)，當(dāng)前塊坐標(biāo)范圍是1<=m<=M, 1<=n<=N，塊邊緣坐標(biāo)為m=0或n=0。則系數(shù)方差可由預(yù)測不精確性模型[6]估算。具體來說：

情況一：當(dāng)選用幀內(nèi)方向性預(yù)測時，方差函數(shù)由以下公式給出：

公式中各變量含義請參考圖9，L為該系數(shù)至邊緣預(yù)測像素的距離，α為預(yù)測方向與邊緣法線夾角，n’為邊緣預(yù)測像素所在坐標(biāo)。圖示為預(yù)測像素取自左邊緣的情況。當(dāng)預(yù)測像素取自上邊緣時，置換m與n的位置即可。

情況二：當(dāng)選用幀間運(yùn)動補(bǔ)償時，方差函數(shù)由以下公式給出：

其中，K為常數(shù)，為梯度模平方函數(shù)在參考幀的運(yùn)動補(bǔ)償后的參考小塊相同坐標(biāo)處取值。

步驟2：針對從大到小進(jìn)行排序，依據(jù)的大小次序，對殘差像素/相等變換系數(shù)進(jìn)行掃描。

實(shí)施例2

假設(shè)需要對圖6的殘差系數(shù)進(jìn)行掃描。

1，首先估算

由預(yù)測不精確性模型公式，函數(shù)如圖10與圖11所示：（在計(jì)算梯度值時使用了平均差值）

2，由決定掃描順序，對其進(jìn)行排序，得到掃描順序如下圖12所示：

按此順序掃描圖7的殘差數(shù)據(jù)，獲得掃描后結(jié)果為：

0.1, 0.2, 0.1, 0.1, 0.1, 0, 0, 0……（后全0）

相比較之下，如果按照之字形掃描，得到的掃描結(jié)果為：

0, 0, 0, 0, 0.1, 0, 0, 0, 0.1, 0, 0.1, 0.1, 0, 0, 0.2, 0

比較兩組結(jié)果可以明顯看出，使用該專利掃描技術(shù)的掃描結(jié)果有如下特性：

大量0系數(shù)集中在尾部，大幅值系數(shù)靠前，小幅值系數(shù)靠后。這對于熵編碼器是非常有利的。

真實(shí)視頻信號測試結(jié)果：

我們將視頻標(biāo)準(zhǔn)測試信號ice_qcif 進(jìn)行固定4x4分塊，幀內(nèi)預(yù)測。將相等變換系數(shù)使用兩種方法進(jìn)行掃描。方法1：之字形掃描。方法2：本專利的方法。

我們研究掃描方法對于整個測試信號內(nèi)4x4小塊的平均效應(yīng)。為此，我們比較每一處系數(shù)的幅度總和。一個好的掃描方法，在平均意義上會使得大系數(shù)靠前，小系數(shù)靠后。因此，一個好的掃描方法應(yīng)該使得掃描結(jié)果快速遞減。

比較圖13和圖14我們可以清楚的看出。在平均意義下，本發(fā)明的掃描方法使得掃描結(jié)果的統(tǒng)計(jì)規(guī)律非常規(guī)整，并滿足熵編碼器的需求。