專利名稱：視頻編碼和解碼方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通過包含空間和時(shí)間濾波步驟的三維(3D)子帶分解對(duì)幀序列進(jìn)行編碼的方法，將該空間和時(shí)間濾波步驟應(yīng)用到與作為3D空間的所述幀序列相對(duì)應(yīng)的3D空間與時(shí)間數(shù)據(jù)中，僅在每級(jí)的時(shí)間分解上在低頻時(shí)間子帶中對(duì)所述幀實(shí)施運(yùn)動(dòng)估計(jì)和補(bǔ)償操作之后將所述分解應(yīng)用于連續(xù)幀組中，補(bǔ)償操作在濾波像素中產(chǎn)生了與在運(yùn)動(dòng)的過程中無覆蓋的區(qū)域相對(duì)應(yīng)的雙連接像素。本發(fā)明還涉及對(duì)通過這種編碼方法在前編碼的信號(hào)進(jìn)行解碼的方法。
在這種3D法中，將幀的序列作為3D空間處理，由此通過應(yīng)用可分離的變換例如通過濾波器組實(shí)施的子波或子波包變換將在圖象編碼中所使用的經(jīng)典的子帶分解延伸到3D空間與時(shí)間數(shù)據(jù)中。這在這種3D結(jié)構(gòu)中存在各向異性，但需要通過在空間方向和時(shí)間方向上應(yīng)用不同的濾波器組來考慮它(由于應(yīng)用較長(zhǎng)的濾波器的附加延遲是不希望的，所以通常應(yīng)用Haar濾波器；此外，由于Haar濾波器是雙抽頭濾波器，因此它是僅有的不出現(xiàn)邊界效應(yīng)的理想的重構(gòu)正交濾波器)。
在每個(gè)時(shí)間分解等級(jí)上在低頻時(shí)間子帶中通過執(zhí)行運(yùn)動(dòng)估計(jì)/補(bǔ)償來改善這種3D編碼方案的編碼效率。例如在J.R.Ohm的“Three-dimensional subband coding with motion compensation”(IEEETransactions on Image Processing，Vol.3，No5，September，pp.559-571)中顯示，對(duì)于給定的比特率運(yùn)動(dòng)補(bǔ)償3D子帶編碼產(chǎn)生了比經(jīng)典的預(yù)測(cè)方案更好的圖象和峰值信號(hào)噪聲比(PSNR)的結(jié)果(在所述文獻(xiàn)中，應(yīng)用在時(shí)域中的Haar濾波器和在空間域中的2D離散子波變換或者DWT)能夠執(zhí)行全動(dòng)補(bǔ)償?shù)?D子帶分解)。
然而，如附

圖1所示，運(yùn)動(dòng)分解造成了有些點(diǎn)濾波兩次或根本沒有濾波。在附圖1的左邊部分中，A和B分別表示先前幀和當(dāng)前幀，(a1至a6)，(b1至b6)分別是所述幀的像素(BBY＝塊邊界)。附圖1的右邊部分所示為與塊匹配相結(jié)合的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波的過程。當(dāng)沿著運(yùn)動(dòng)軌跡對(duì)連接的像素進(jìn)行濾波時(shí)，由于匹配的塊與相鄰的塊疊加(除了在沒有運(yùn)動(dòng)或平移運(yùn)動(dòng)以外)，通常出現(xiàn)雙連接和未連接的像素。
在所述文獻(xiàn)中所采用的解決未連接的像素的策略如下對(duì)于在當(dāng)前幀中的未連接的像素(比如b1)，將原始像素值插入到時(shí)間低頻(L)子帶。在前幀中的未連接像素(比如a3和a4)被與相鄰像素相同的運(yùn)動(dòng)矢量相關(guān)。在未連接的像素位置上使在運(yùn)動(dòng)方向進(jìn)行高通濾波的結(jié)果進(jìn)入時(shí)間高頻(H)子帶(在Haar濾波器的情況下，這表示移位幀差)。還提出了通過應(yīng)用恰于先前幀之前的重構(gòu)幀對(duì)在先前幀中的未連接的像素執(zhí)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的建議。由濾波得到的時(shí)間子帶替換原始的幀時(shí)間低頻(L)子帶替代當(dāng)前幀，時(shí)間高頻(H)子帶替代參考幀。
在S.J.Choi等人的“Motion-conpensated 3-D subband codingof video”(IEEE Transactions on Image Processing，Vol.8，No2，F(xiàn)ebruary，pp.155-167)中描述了解決未連接的像素的另一方法，如附圖2所示。對(duì)于在先前幀中的未連接像素(比如a3和a4)，將原始值插入到時(shí)間低頻子帶中，這比在第一次引用的文獻(xiàn)中所描述的策略產(chǎn)生更好的視覺結(jié)果。對(duì)于在當(dāng)前幀中的未連接像素(比如b1)，采用DFD(移位幀差)值。通過使運(yùn)動(dòng)估計(jì)的方向與運(yùn)動(dòng)補(bǔ)償相同，最佳可用的運(yùn)動(dòng)矢量用于這種DFD值，而不需要附加的運(yùn)動(dòng)估計(jì)。如附圖2的右部所示，時(shí)間子帶被不同地重新定位時(shí)間低頻(L)子帶代替參考幀，而時(shí)間高頻(H)子帶代替當(dāng)前幀。在未連接的像素的情況下比第一次引用的文獻(xiàn)的策略更適合，因?yàn)楦哳l子帶具有較小的能量，并且與用于未連接的像素的DFD值相容。
總之，應(yīng)用如下的關(guān)系(1)至(3)(1)H[m,n]=12(B[m,n]-A~[m-dm,n-dn]),]]>(2)L[m-d‾m,n-d‾n]=12(B~[m-d‾m+dm+A[m-d‾m,n-d‾n])]]>用于連接的像素，以及(3)L[m,n]=2.A[m,n]]]>用于未連接的像素，這里(m，n)表示像素的位置，H[m，n]，L[m，n]是時(shí)間高頻和低頻子帶，A[m，n]，B[m，n]是先前的和當(dāng)前的幀，[dm，dn]是在兩個(gè)所考慮的連續(xù)幀A和B之間估計(jì)的運(yùn)動(dòng)矢量的像素，dm，dn是dm，dn的最接近的整數(shù)，如果運(yùn)動(dòng)像素是子像素精度則 是插值。在多重連接的像素的情況下，應(yīng)用相遇的第一對(duì)(A，B)計(jì)算A。
事實(shí)上，當(dāng)在運(yùn)動(dòng)的過程中緊密地接近覆蓋/未覆蓋區(qū)的像素時(shí)就出現(xiàn)未連接和雙連接像素的問題。實(shí)際中，當(dāng)在時(shí)間T時(shí)在幀中具有共同部分的兩個(gè)目標(biāo)在時(shí)間T+1時(shí)分開時(shí)，通過運(yùn)動(dòng)補(bǔ)償將在當(dāng)前幀的兩個(gè)區(qū)域?qū)?yīng)到在參考幀中的相同區(qū)域這是未覆蓋區(qū)域，在給出關(guān)系式(1)至(3)的先前的分析的情況中這種區(qū)域作為雙連接出現(xiàn)。在附圖3中示出了可能的情況，其中FA表示屬于前景目標(biāo)1的前景區(qū)，UR表示當(dāng)所述區(qū)域變成清晰時(shí)(即它們并不重疊)背景目標(biāo)2的未覆蓋區(qū)。在第二次引用的文獻(xiàn)中所描述的方法將在運(yùn)動(dòng)估計(jì)過程中所遇到的第一塊關(guān)聯(lián)到這些像素中。
為此，本發(fā)明涉及編碼方法，比如在說明書的發(fā)明領(lǐng)域部分中所定義的編碼方法，此外這種方法的特征還在于它包括如下的步驟(1)在先前參考幀A和當(dāng)前幀B之間的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟，所述步驟本身包括首先高頻子帶的計(jì)算子步驟，其后為僅應(yīng)用參考幀A和先前計(jì)算的高頻子帶來計(jì)算低頻子帶的子步驟，所述計(jì)算根據(jù)如下的關(guān)系式執(zhí)行H[m,n]=(B[m,n]-A~[m-dm,n-dn])/2,]]>L[m-d‾m,n-d‾n]=H~[m-d‾m+dm,n-d‾n+dn]+2A[m-d‾m,n-d‾n]]]>用于連接的像素，(c)L[m,n]=2.A[m,n]]]>用于未連接像素，這里(m，n)表示像素的位置，H[m，n]，L[m，n]是時(shí)間高頻和低頻子帶，A[m，n]，B[m，n]是連續(xù)的先前幀和當(dāng)前的幀，[dm，dn]是在兩個(gè)所考慮的連續(xù)幀A和B之間估計(jì)的運(yùn)動(dòng)矢量的像素，dm，dn是dm，dn的最接近的整數(shù)，以及 是插值；(2)當(dāng)與雙連接像素相關(guān)時(shí)識(shí)別所述未覆蓋區(qū)的步驟，這些像素導(dǎo)致在詳細(xì)子帶中的最小的能量；(3)判定步驟，在當(dāng)前幀中選擇用于參考幀的雙連接像素的時(shí)間濾波的導(dǎo)致詳細(xì)子帶的最小能量的相應(yīng)的像素。
如果在參考幀中兩個(gè)目標(biāo)1和2重疊(附圖3的左部分)，在這兩個(gè)目標(biāo)之中的一個(gè)目標(biāo)中存在封閉區(qū)域，只有屬于另一個(gè)目標(biāo)的前景區(qū)域FA可用。如果在當(dāng)前幀中這些目標(biāo)分離(附圖3的右邊)，運(yùn)動(dòng)估計(jì)算法將識(shí)別當(dāng)前幀內(nèi)的兩個(gè)區(qū)域用于補(bǔ)償。由于實(shí)際的運(yùn)動(dòng)對(duì)應(yīng)于在目標(biāo)1中的前景區(qū)，因此在目標(biāo)2中的未覆蓋區(qū)UA造成了詳細(xì)子帶的更高的能量，其代表在補(bǔ)償參考幀和當(dāng)前幀之間的差。實(shí)際上，如果真實(shí)運(yùn)動(dòng)對(duì)應(yīng)于目標(biāo)1，這種差在前景區(qū)的情況中將很小，但對(duì)于目標(biāo)2的未覆蓋區(qū)較高。根據(jù)本發(fā)明，應(yīng)用這種觀測(cè)來選擇進(jìn)行時(shí)間濾波過程的正確的像素。
本發(fā)明還涉及對(duì)通過這種方法先前編碼的數(shù)字信號(hào)進(jìn)行解碼的方法，所述解碼方法的特征在于通過基于在低頻和高頻子帶中的相應(yīng)的像素值的計(jì)算步驟重構(gòu)參考幀和當(dāng)前幀A和B的像素，根據(jù)如下的關(guān)系式進(jìn)行所述計(jì)算A[m-d‾m,n-d‾n]=12(L[m-d‾m,n-d‾n]-H~[m-d‾m+dm,n-d‾n+dn])]]>(用于連接像素)A[m,n]=12.L[m,n]]]>(用于未連接像素)(c)B[m,n]=2H[m,n]+A~[m-dm,n-dn].]]>
附圖1所示為未連接和雙連接像素的問題并涉及用于解決所述問題的第一種策略。
附圖2涉及解決這個(gè)問題的另一種策略。
附圖3所示為未覆蓋區(qū)的問題。
本發(fā)明的詳細(xì)描述在描述本發(fā)明的基本原理中，首先通過不同地表述允許計(jì)算時(shí)間分析的詳細(xì)子帶和近似值給出運(yùn)動(dòng)補(bǔ)償時(shí)間濾波的原始分析。然后說明，為執(zhí)行這種計(jì)算，可以在連接到在參考子帶中的相同像素的像素之間選擇與真實(shí)運(yùn)動(dòng)相對(duì)應(yīng)的一個(gè)像素。通過這些像素形成的區(qū)域使高頻子帶的能量最小。
實(shí)際上，對(duì)于連接的像素，關(guān)系式(2)可以重新寫為如下的形式(4)L[m-d‾m,n-d‾n]=H~[m-d‾m+dm,n-d‾n+dn]+2A[m-d‾m,n-d‾n]]]>它允許首先應(yīng)用關(guān)系式(1)計(jì)算高頻子帶，然后僅應(yīng)用參考幀和先前計(jì)算高頻子帶計(jì)算低頻子帶，如關(guān)系式(4)所示。在涉及該分析部分的地方中，基于在低和高頻子帶中的相應(yīng)像素值，很容易地應(yīng)用關(guān)系式(1)、(4)和(3)來在參考幀和當(dāng)前幀中獲得完美的重構(gòu)像素；(5)A[m-d‾m,n-d‾n]=12(L[m-d‾m,n-d‾n]-H~[m-d‾m+dm,n-d‾n+dn])]]>用于連接像素，以及(6)A[m,n]=12.L[m,n]]]>用于未連接像素。一旦得到在參考幀中的這些值，就可以計(jì)算當(dāng)前幀的值(7)B[m,n]=2H[m,n]+A~[m-dm,n-dn].]]>在參考幀中在雙連接的像素的情況下(例如在位置(p，q)上的像素)，考慮在位置(m1，n1)和(m2，n2)上通過運(yùn)動(dòng)估計(jì)算法找到的兩個(gè)像素，這意味著，如果兩個(gè)相應(yīng)的運(yùn)動(dòng)矢量為(dm1，dn1)和(dm2，dn2)m1-dm1＝m2-dm2＝p (8)n1-dn1＝n2-dn2＝q (9)然后將先前的關(guān)系式(1)和(4)應(yīng)用到下述的兩對(duì)像素的每一對(duì)像素中 和 應(yīng)該注意的是，對(duì)于在當(dāng)前幀中的兩個(gè)像素在詳細(xì)子帶中的值不相同。因此，應(yīng)用這兩個(gè)值中的任一個(gè)值都可以計(jì)算在近似子帶中的值。通過首先計(jì)算在參考幀中的值，然后利用關(guān)系式(7)計(jì)算在當(dāng)前幀中的值，應(yīng)用這兩個(gè)值都能夠進(jìn)行完美的重構(gòu)。
如上文所述，這兩個(gè)區(qū)域中的一個(gè)區(qū)域?qū)?yīng)于真實(shí)的目標(biāo)運(yùn)動(dòng)，而由于相同的運(yùn)動(dòng)造成另一個(gè)目標(biāo)成為未覆蓋。第一種情況在高頻子帶中導(dǎo)致了最小的能量，未覆蓋區(qū)具有在前景區(qū)中的不同的值。因此，選擇正確的值的一種標(biāo)準(zhǔn)是使詳細(xì)子帶的能量最小。這導(dǎo)致L[p,q]=H~[m0-d‾m0+dm0,n0-d‾n0+dn0]+2A[p,q]---(14)]]>以致于||H~[m0-d‾m0+dm0,n0-d‾n0+dn0]|=]]>min(|H~[m-d‾m+dm,n-dn+dn]|,∀(m,n)∈P(p,q)---(15)]]>這里P(p，q)是在當(dāng)前幀中連接到在參考幀中的像素(p，q)的所有的像素(m，n)的集合。
在實(shí)際中，通過將一標(biāo)志與在低頻子帶中的每個(gè)像素關(guān)聯(lián)起來來執(zhí)行這種最小化當(dāng)在所述子帶中的像素再定位在先前幀中時(shí)，也將這個(gè)標(biāo)志關(guān)聯(lián)到在該幀A中的相應(yīng)位置。如果在幀B中不存在連接到在幀A中所考慮的像素的像素，則該標(biāo)志仍然保留在位置“0”。從當(dāng)前幀的像素每次指向到在與該標(biāo)志相關(guān)的參考幀中的位置時(shí)它遞增。
如果該標(biāo)志的值為“0”，則應(yīng)用關(guān)系式(12)計(jì)算在高頻子帶中的值，而應(yīng)用關(guān)系式(13)計(jì)算在低頻子帶中的值。如果標(biāo)志不為“0”，在任何時(shí)候建立在A和B之間的連接，如前面所述應(yīng)用關(guān)系式(12)計(jì)算在高頻子帶中的值，并將絕對(duì)值與已有的值進(jìn)行比較。如果所述絕對(duì)值小于先前所計(jì)算的高頻值的絕對(duì)值，則應(yīng)用它來更新應(yīng)用關(guān)系式(13)所計(jì)算的低頻值。
本發(fā)明還涉及對(duì)通過如上文所描述的編碼方法對(duì)數(shù)字信號(hào)進(jìn)行解碼的方法。在解碼器側(cè)中再現(xiàn)在編碼側(cè)所實(shí)施的操作順序以便在幀B中找到連接到在幀A中所考慮的像素的像素并產(chǎn)生最小能量的高頻子帶。
權(quán)利要求
1.一種通過包括空間和時(shí)間濾波步驟的三維(3D)子帶分解對(duì)幀序列進(jìn)行編碼的方法，將該空間和時(shí)間濾波步驟應(yīng)用到與作為3D空間的所述幀序列相對(duì)應(yīng)的3D空間與時(shí)間數(shù)據(jù)中，僅在每級(jí)的時(shí)間分解上在低頻時(shí)間子帶中對(duì)所述幀實(shí)施運(yùn)動(dòng)估計(jì)和補(bǔ)償操作之后將所述分解應(yīng)用于連續(xù)幀組中，補(bǔ)償操作在濾波的像素中導(dǎo)致了與在運(yùn)動(dòng)期間變成無覆蓋的區(qū)域相對(duì)應(yīng)的雙連接像素，所述方法進(jìn)一步的特征在于它包括如下的步驟(1)在先前參考幀A和當(dāng)前幀B之間的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟，所述步驟本身包括首先計(jì)算高頻子帶的分步驟，其后為僅應(yīng)用參考幀A和先前計(jì)算高頻子帶計(jì)算低頻子帶的分步驟，所述計(jì)算根據(jù)如下的關(guān)系式執(zhí)行(a)H[m,n]=(B[m,n]-A~[m-dm,n-dn])/2,]]>(b)L[m-d‾m,n-d‾n]=H~[m-d‾m+dm,n-d‾n+dn]+2A[m-d‾m,n-d‾n]]]>用于連接像素，(c)L[m,n]=2.A[m,n]]]>用于未連接像素，這里(m，n)表示像素的位置，H[m，n]，L[m，n]是時(shí)間高頻和低頻子帶，A[m，n]，B[m，n]是連續(xù)的先前幀和當(dāng)前的幀，[dm，dn]是在兩個(gè)所考慮的連續(xù)幀A和B之間估計(jì)的運(yùn)動(dòng)矢量的像素，dm，dn是dm，dn的最接近的整數(shù)，以及 是插值；(2)當(dāng)與雙連接像素相關(guān)時(shí)識(shí)別所述未覆蓋區(qū)的步驟，這些像素在詳細(xì)子帶中導(dǎo)致最小的能量；(3)判定步驟，在當(dāng)前幀中選擇用于參考幀的雙連接像素的時(shí)間濾波的導(dǎo)致詳細(xì)子帶的最小能量的相應(yīng)的像素。
2.一種對(duì)根據(jù)權(quán)利要求1所述的編碼方法已經(jīng)編碼的數(shù)字信號(hào)進(jìn)行解碼的方法，所述解碼方法的特征在于通過基于在低頻和高頻子帶中的相應(yīng)的像素值的計(jì)算步驟獲得參考幀和當(dāng)前幀A和B的像素的重構(gòu)，根據(jù)如下的關(guān)系式進(jìn)行所述計(jì)算(a)A[m-d‾m,n-d‾n]=12(L[m-d‾m,n-d‾n]-H~[m-d‾m+dm,n-d‾n+dn])]]>(用于連接像素)(b)A[m,n]=12.L[m,n]]]>(用于未連接像素)(c)B[m,n]=2H[m,n]+A~[m-dm,n-dn].]]>
全文摘要
本發(fā)明涉及通過三維(3D)子帶分解對(duì)幀序列進(jìn)行編碼的方法,這種子帶分解包含將空間和時(shí)間濾波步驟。僅在每級(jí)的時(shí)間分解上在低頻時(shí)間子帶中對(duì)所述幀實(shí)施運(yùn)動(dòng)估計(jì)和補(bǔ)償操作之后將所述分解應(yīng)用于連續(xù)幀組中。在先前參考幀A和當(dāng)前幀B之間的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波步驟包括首先計(jì)算高頻子帶的分步驟,之后為計(jì)算低頻子帶的分步驟。當(dāng)涉及到雙連接時(shí),這個(gè)濾波步驟之后是在運(yùn)動(dòng)過程中未覆蓋區(qū)的識(shí)別步驟,這個(gè)識(shí)別步驟之后為判定步驟,對(duì)于參考幀的雙連接像素的時(shí)間濾波,該決定步驟用于在當(dāng)前幀中選擇產(chǎn)生詳細(xì)子帶的最小能量的相應(yīng)的像素。本發(fā)明還涉及相應(yīng)的解碼方法。
文檔編號(hào)H04N7/32GK1366777SQ01800889
公開日2002年8月28日 申請(qǐng)日期2001年3月30日 優(yōu)先權(quán)日2000年4月11日
發(fā)明者B·佩斯奎特－波佩斯庫(kù) 申請(qǐng)人:皇家菲利浦電子有限公司