專(zhuān)利名稱(chēng)：用于運(yùn)動(dòng)向量域編碼的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于編碼數(shù)字化圖象序列中的運(yùn)動(dòng)向量域的方法和裝置。
背景技術(shù)：
對(duì)數(shù)字化運(yùn)動(dòng)圖象使用運(yùn)動(dòng)補(bǔ)償?shù)脑硎潜娝苤?。在包括MPEG-1、MPEG-2和H263在內(nèi)的大多數(shù)已知方法中，用正方形或矩形的象素塊進(jìn)行運(yùn)動(dòng)補(bǔ)償，為每個(gè)塊分配一個(gè)運(yùn)動(dòng)向量。例如，已知將一個(gè)例如16×16塊的象素塊與前面一個(gè)基準(zhǔn)圖象中的塊作比較-該象素塊一般在基準(zhǔn)圖象的一個(gè)有限區(qū)域內(nèi)。用諸如均方差的算法找出基準(zhǔn)圖象中與當(dāng)前考慮的塊最相似的塊，將一個(gè)對(duì)應(yīng)的運(yùn)動(dòng)向量與該當(dāng)前塊相關(guān)聯(lián)。這樣，就將一個(gè)當(dāng)前圖象中的16×16塊與一個(gè)相應(yīng)的運(yùn)動(dòng)向量相關(guān)聯(lián)。隨后將各運(yùn)動(dòng)向量量化到或者全象素(full-pel)或者子象素(sub-pel)(一般是半象素或四分之一象素)，然后一般將結(jié)果有差別地編碼。
按以上總結(jié)的已知方式向圖象中的一個(gè)象素塊分配一個(gè)單一運(yùn)動(dòng)向量，對(duì)表示平移運(yùn)動(dòng)是有用的。然而，在以上討論的類(lèi)型的基于塊的運(yùn)動(dòng)補(bǔ)償方法中有許多缺點(diǎn)，會(huì)嚴(yán)重地限制預(yù)測(cè)算法中的性能。例如，這樣一種方法對(duì)于包含諸如旋轉(zhuǎn)或比例變化的運(yùn)動(dòng)(比簡(jiǎn)單的平移運(yùn)動(dòng)更復(fù)雜)的區(qū)域來(lái)說(shuō)效果不好?；趬K的預(yù)測(cè)對(duì)非剛性運(yùn)動(dòng)(non-rigid motion)(例如由云或人類(lèi)所展示的)也不好。另外，基于塊的方法沿各塊施加運(yùn)動(dòng)邊界，可能不會(huì)精確地反映塊內(nèi)的運(yùn)動(dòng)邊界。此外，重構(gòu)的圖象可能展示“塊狀的”人為因素，在運(yùn)動(dòng)邊界跨越一個(gè)塊的情況中尤其如此。
為了緩解這種問(wèn)題，有些方案采用了帶參數(shù)運(yùn)動(dòng)模型(除平移運(yùn)動(dòng)模型之外還包括準(zhǔn)仿射(quasi-affine)和仿射運(yùn)動(dòng)模型)的可變塊大小運(yùn)動(dòng)補(bǔ)償。在這些方案中，用于運(yùn)動(dòng)補(bǔ)償?shù)膲K的大小和運(yùn)動(dòng)模型取決于某區(qū)域內(nèi)出現(xiàn)多少個(gè)運(yùn)動(dòng)對(duì)象并取決于運(yùn)動(dòng)域的復(fù)雜性。這樣一種方法對(duì)使用固定大小的塊的方法提供一些改進(jìn)，但是改進(jìn)是有限的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個(gè)方面，提供一種表示數(shù)字化圖象序列中的運(yùn)動(dòng)的方法，包含生成和編碼一個(gè)運(yùn)動(dòng)向量域在不同分辨率時(shí)的多個(gè)版本。
根據(jù)本發(fā)明的一個(gè)方面，提供一種用于上述的方法編碼數(shù)字化圖象序列中的運(yùn)動(dòng)信息的編碼器。
根據(jù)本發(fā)明的一個(gè)方面，提供一種用于解譯按照上述方法編碼的數(shù)字化圖象序列中的運(yùn)動(dòng)信息的解碼器。
根據(jù)本發(fā)明的一個(gè)方面，提供一種表示數(shù)字化圖象序列中的運(yùn)動(dòng)的裝置，包含用于生成和編碼一個(gè)運(yùn)動(dòng)向量域在不同分辨率時(shí)的多個(gè)版本的裝置。
根據(jù)本發(fā)明的一個(gè)方面，提供一種用于解譯用所述的裝置編碼的信息的解碼器，該解碼器包含用于恢復(fù)具有預(yù)定分辨率的運(yùn)動(dòng)向量域的版本的裝置。
根據(jù)本發(fā)明的一個(gè)方面，提供一種混合的DCT-MC編解碼器，包含上述編碼器和上述的解碼器。
根據(jù)本發(fā)明的一個(gè)方面，提供一種處理與數(shù)字化圖象序列中的圖象有關(guān)的數(shù)據(jù)的方法，包含導(dǎo)出該圖象的運(yùn)動(dòng)向量并通過(guò)一個(gè)用根據(jù)相鄰運(yùn)動(dòng)向量的平均導(dǎo)出的新運(yùn)動(dòng)向量替換一個(gè)給定的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域，該方法進(jìn)一步包含確定在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)，并在計(jì)算平均值時(shí)忽略一個(gè)或幾個(gè)運(yùn)動(dòng)向量-如果它們被一個(gè)運(yùn)動(dòng)間斷點(diǎn)與該給定運(yùn)動(dòng)向量分開(kāi)的話(huà)。
根據(jù)本發(fā)明的一個(gè)方面，提供一種處理與數(shù)字化圖象序列中的圖象有關(guān)的數(shù)據(jù)的方法，包含導(dǎo)出圖象的運(yùn)動(dòng)向量并通過(guò)一個(gè)用根據(jù)相鄰運(yùn)動(dòng)向量的平均和一個(gè)預(yù)測(cè)誤差導(dǎo)出的新運(yùn)動(dòng)向量替換一個(gè)給定的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域。
根據(jù)本發(fā)明的一個(gè)方面，提供一種處理與數(shù)字化圖象序列中的圖象有關(guān)的數(shù)據(jù)的方法，包含導(dǎo)出圖象的運(yùn)動(dòng)向量，確定在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)，并通過(guò)把在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)考慮在內(nèi)組合相鄰的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域。
根據(jù)本發(fā)明的一個(gè)方面，提供一種處理圖象的方法，包含導(dǎo)出代表運(yùn)動(dòng)向量域中運(yùn)動(dòng)邊界的運(yùn)動(dòng)間斷點(diǎn)和根據(jù)每個(gè)邊界內(nèi)其它運(yùn)動(dòng)向量調(diào)整該邊界內(nèi)的運(yùn)動(dòng)向量。
根據(jù)本發(fā)明的方法，其中，向量量化是對(duì)有多于兩個(gè)分量的向量進(jìn)行的。
在本說(shuō)明書(shū)的上下文中，與運(yùn)動(dòng)向量域相聯(lián)系的術(shù)語(yǔ)稠密的意思是，一個(gè)大小8×8象素的象素塊，至少有兩個(gè)運(yùn)動(dòng)向量。例如，可以向每個(gè)4×4象素塊或每個(gè)2×2象素塊分配一個(gè)運(yùn)動(dòng)向量。最好是向每個(gè)象素分配一個(gè)運(yùn)動(dòng)向量。
本發(fā)明的結(jié)果是，能為編碼而獲得運(yùn)動(dòng)域的一個(gè)有效的表示。由于使用運(yùn)動(dòng)補(bǔ)償?shù)母玫念A(yù)測(cè)，并且因?yàn)槟軠p少人為因素的數(shù)量，所以能獲得一個(gè)具有改進(jìn)的可視質(zhì)量的重構(gòu)圖象。特別是能較少或完全消除成塊的(blocking)人為因素。該方法也有助于運(yùn)動(dòng)域的可伸縮的表示，增加抗傳輸錯(cuò)誤的穩(wěn)固性，下文將更詳細(xì)地討論。
本發(fā)明也提供一種通過(guò)生成和編碼一個(gè)運(yùn)動(dòng)向量域在不同分辨率時(shí)的多個(gè)版本來(lái)表示數(shù)字化圖象序列中的運(yùn)動(dòng)的方法和裝置。
本發(fā)明的結(jié)果是，能創(chuàng)建運(yùn)動(dòng)域的一個(gè)可伸縮的表示和一個(gè)內(nèi)置的位流。通過(guò)解譯該位流的一部分，就能容易地重構(gòu)運(yùn)動(dòng)向量域的一個(gè)疏粗版本。這有幾個(gè)優(yōu)點(diǎn)。例如，如果部分位流在傳輸中被破壞，仍然能恢復(fù)運(yùn)動(dòng)域的一個(gè)低分辨率版本，用于運(yùn)動(dòng)補(bǔ)償?；蛘?，有些應(yīng)用可能只需要域的疏粗版本，因此，通過(guò)直接從被截取的位流重構(gòu)疏粗圖象-而不是重構(gòu)一個(gè)完全版本后，再對(duì)它二次抽樣，以獲得一個(gè)疏粗版本-能節(jié)省處理能力和存儲(chǔ)要求。這樣一種方法例如在視頻移動(dòng)電話(huà)中可能是有用的。
本發(fā)明也提供一種預(yù)處理運(yùn)動(dòng)向量域、以在不顯著減少預(yù)測(cè)誤差的情況下減少熵的方法和裝置。這可通過(guò)對(duì)相鄰運(yùn)動(dòng)向量的平均值計(jì)算來(lái)完成，平均值計(jì)算可能有其它的約束條件，限制這種平均值計(jì)算對(duì)移動(dòng)預(yù)測(cè)的質(zhì)量和對(duì)運(yùn)動(dòng)間斷點(diǎn)的保留的影響。
本發(fā)明也提供一種處理與數(shù)字化圖象序列中的一個(gè)圖象有關(guān)的數(shù)據(jù)的方法和裝置，包含確定在該圖象中哪里出現(xiàn)間斷點(diǎn)，并通過(guò)把在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)考慮在內(nèi)組合相鄰的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域。
結(jié)果，就能獲得運(yùn)動(dòng)向量域的更精確的反映。
本發(fā)明的這些和其它方面在附屬的權(quán)利要求中陳述。


將結(jié)合以下

具體實(shí)施例方式圖1是按照現(xiàn)有技術(shù)的運(yùn)動(dòng)向量域的表示；圖2是按照本發(fā)明實(shí)施例的編碼器的框圖；圖3是顯示中斷標(biāo)簽的圖象區(qū)域的表示；圖4是圖2中所示編碼器的部件的框圖；圖5是來(lái)自圖2中所示編碼器的位流輸出的表示；圖6是按照本發(fā)明實(shí)施例的解碼器的框圖；圖7是按照本發(fā)明實(shí)施例的混合DCT/MC編解碼器的框圖。
具體實(shí)施例方式
圖2是按照本發(fā)明實(shí)施例的多分辨率運(yùn)動(dòng)向量域(MMVF)編碼器的框圖。如圖2中所示的MMVF編碼器包括一個(gè)運(yùn)動(dòng)估計(jì)器(ME)模塊210，用于為輸入到該模塊的圖象序列中的一個(gè)圖象生成一個(gè)運(yùn)動(dòng)向量域和一個(gè)運(yùn)動(dòng)中斷圖、運(yùn)動(dòng)估計(jì)器母愛(ài)的輸出連接到熵減少模塊220的輸入，后者用于用該運(yùn)動(dòng)中斷圖處理該運(yùn)動(dòng)向量域，以產(chǎn)生一個(gè)具有間斷點(diǎn)的熵約束的(entropy constrained)運(yùn)動(dòng)向量域。熵減少模塊220的輸出連接到多分辨率向量量化運(yùn)動(dòng)域和間斷點(diǎn)編碼模塊230，后者用于生成該運(yùn)動(dòng)向量域的一個(gè)多分辨率向量量化(MMVF)的表示。
MMVF的操作將在下文作更詳細(xì)說(shuō)明。
運(yùn)動(dòng)估計(jì)器模塊10對(duì)一序列輸入圖象幀操作，以產(chǎn)生稠密運(yùn)動(dòng)向量域，每個(gè)都具有一個(gè)相關(guān)聯(lián)的運(yùn)動(dòng)中斷圖。
用根據(jù)圖象幀和基準(zhǔn)幀的運(yùn)動(dòng)估計(jì)導(dǎo)出圖象幀的運(yùn)動(dòng)向量域。在這個(gè)實(shí)施例中，是用已從原始的基準(zhǔn)幀的編碼版本和連續(xù)、原始的幀重構(gòu)的基準(zhǔn)幀進(jìn)行估計(jì)的。作為替代，例如可以用一個(gè)原始基準(zhǔn)幀和原始連續(xù)幀進(jìn)行運(yùn)動(dòng)估計(jì)。
運(yùn)動(dòng)估計(jì)是用已知的塊匹配技術(shù)的變體執(zhí)行的。將圖象幀中的16×16象素的塊與基準(zhǔn)幀中的塊比較。當(dāng)找到最接近的匹配時(shí)，將相應(yīng)的運(yùn)動(dòng)向量分配給一個(gè)基準(zhǔn)象素，在本實(shí)施例中，基準(zhǔn)象素是四個(gè)中心象素中的左上邊的象素。在其它實(shí)施例中，基準(zhǔn)象素可能是一個(gè)m×n塊內(nèi)的任何象素，但它最好靠進(jìn)或位于塊的中心。對(duì)圖象幀中的重疊的各16×16塊重復(fù)這些步驟，以便獲得圖象中每個(gè)象素的運(yùn)動(dòng)向量，然后因此獲得整個(gè)圖象的運(yùn)動(dòng)向量域。盡管以這種格式產(chǎn)生的運(yùn)動(dòng)向量域可能還是展示一個(gè)塊樣的結(jié)構(gòu)，在熵減少模塊220中卻恢復(fù)了一個(gè)精確的稠密運(yùn)動(dòng)向量域?？梢圆捎闷渌挠糜讷@得象素的運(yùn)動(dòng)向量的方法，諸如象素循環(huán)技術(shù)或基于梯度(gradient-based)的方法，如A.Netravali和B.G.Haskell所著的“Digital Pictures-Representation，compression and Standards”(Plenum Publishing出版，1995)中所述。
運(yùn)動(dòng)估計(jì)器模塊210也生成一個(gè)反映圖象幀中的運(yùn)動(dòng)間斷點(diǎn)的運(yùn)動(dòng)中斷圖。一般來(lái)說(shuō)，運(yùn)動(dòng)間斷點(diǎn)位于象素之間，因此每個(gè)象素有4個(gè)與之相關(guān)聯(lián)的中斷標(biāo)簽611、612、613、614，每個(gè)對(duì)應(yīng)頂邊、底邊、右邊和左邊，如圖3中所示。每個(gè)中斷標(biāo)簽位于兩個(gè)相鄰的象素之間。例如，象素600的右中斷標(biāo)簽612就是象素600相鄰的象素602的左中斷標(biāo)簽612。
圖象中的運(yùn)動(dòng)間斷點(diǎn)是用適當(dāng)技術(shù)確定的，例如在M.Bober和J.Kittler的論文“Robost Motion Analysis”(CVPR出版，1994，947-952頁(yè))中所描述的技術(shù)。簡(jiǎn)而言之，用統(tǒng)計(jì)分析來(lái)估計(jì)某塊相對(duì)于前面的幀中最接近匹配的塊的殘留誤差的擴(kuò)展(spread of residualerrors)。將殘留誤差在可接受范圍外的象素按屬于與塊的其余部分中的區(qū)域不同的運(yùn)動(dòng)區(qū)域來(lái)對(duì)待。不同運(yùn)動(dòng)區(qū)域之間的邊界就是運(yùn)動(dòng)間斷點(diǎn)。
由運(yùn)動(dòng)估計(jì)器模塊210導(dǎo)出的運(yùn)動(dòng)向量域和運(yùn)動(dòng)中斷圖被輸入到熵減少模塊220。熵減少模塊220處理在運(yùn)動(dòng)估計(jì)器模塊210中估計(jì)的運(yùn)動(dòng)向量域，處理時(shí)為保留運(yùn)動(dòng)邊界而將運(yùn)動(dòng)中斷標(biāo)簽考慮在內(nèi)，以產(chǎn)生一個(gè)熵約束的運(yùn)動(dòng)向量域。該過(guò)程所根據(jù)的象素循環(huán)技術(shù)，在下文作更詳細(xì)討論。
現(xiàn)在將結(jié)合圖3為單一的象素描述對(duì)圖象中的單一象素的處理?？疾熘行南笏?00和它的四個(gè)相鄰象素頂、左、右和底601、602、603、604。此外，還考察中心象素600的四個(gè)運(yùn)動(dòng)中斷標(biāo)簽611、612、613、614。每個(gè)象素都有一個(gè)與之相關(guān)聯(lián)的運(yùn)動(dòng)向量，即象素600有運(yùn)動(dòng)向量V600，等等。在處理之后，為中心象素計(jì)算出一個(gè)新的運(yùn)動(dòng)向量V600值。
本實(shí)施例中的處理的根據(jù)，是對(duì)中心象素600的運(yùn)動(dòng)向量和沒(méi)有被活動(dòng)的中斷標(biāo)簽從中心象素分開(kāi)的那些相鄰象素610、602、603、604的運(yùn)動(dòng)向量計(jì)算一個(gè)加權(quán)平均。更具體來(lái)說(shuō)，V600x(i+1)＝[(k*V600x(i))+V601x(i)+V602x(i)+V603x(i)+V600x(i)]/(k+4)，且V600y(i+1)＝[(k*V600y(i))+V601y(i)+V602y(i)+V603y(i)+V600y(i)]/(k+4)，其中V60nx和V60ny是在第i次循環(huán)中分配給象素60n的運(yùn)動(dòng)向量分量，k是一個(gè)大于或等于0的常數(shù)。
如果有一個(gè)或多個(gè)相鄰象素被活動(dòng)的中斷標(biāo)簽從中心象素分開(kāi)，就在計(jì)算中將其忽略，同時(shí)相應(yīng)地調(diào)整分母。例如，假設(shè)運(yùn)動(dòng)中斷標(biāo)簽611是活動(dòng)的，則計(jì)算V600x(i+1)的公式為V600x(i+1)＝[(k*V600x(i))+V602x(i)+V603x(i)+V600x(i)]/(k+3)在一個(gè)替代的實(shí)施例中，處理再次是根據(jù)一個(gè)平均，但是將預(yù)測(cè)誤差也考慮在內(nèi)。更具體來(lái)說(shuō)，V600x(i+1)＝[(V601x(i)+V602x(i)+V603x(i)+V604x(i))/4]-PE/(m+Δ2I)*ΔxI)V600y(i+1)＝[(V601y(i)+V602y(i)+V603y(i)+V604y(i))/4]-PE/((m+Δ2I)*ΔyI)這里，PE是預(yù)測(cè)誤差，即象素600與在用在循環(huán)i中計(jì)算的運(yùn)動(dòng)向量(即V600(i)，其中V600(i)＝(V600x(i)，V600y(i)))位移后的基準(zhǔn)幀中的該象素之間的光度值的差。ΔxI和ΔyI是象素600的亮度梯度(intensity gradient)的分量。在本實(shí)施例中的圖象梯度是根據(jù)中心象素和一個(gè)相鄰象素的亮度值計(jì)算的。特別地，ΔxI＝I602-I600，ΔyI＝I601-I600，其中I60n代表象素60n的亮度值。圖象梯度能以其它方法用相鄰的象素計(jì)算。例如，可以把ΔxI和ΔyI計(jì)算成ΔxI＝(I602-I604)/2，ΔyI＝(I601-I603)/2。Δ2I＝(ΔxI)2+(ΔyI)2，m是大于或等于0的常數(shù)。在本替代性實(shí)施例中，m＝100。同樣，如果相鄰象素之一被一個(gè)活動(dòng)的運(yùn)動(dòng)邊界分開(kāi)，就在計(jì)算中將其忽略。中央，假設(shè)運(yùn)動(dòng)中斷標(biāo)簽611是活動(dòng)的，則V600x(i+1)＝[(V602x(i)+V603x(i)+V604x(i))/3]-PE/((m+Δ2I)*ΔxI)在上述的每個(gè)替代性處理方法中，對(duì)圖象中的所有象素進(jìn)行處理，進(jìn)行許多次循環(huán)或回合。象素在一個(gè)回合中被處理的順序，對(duì)結(jié)果的影響不大。在這些實(shí)施例中，進(jìn)行5-10個(gè)循環(huán)，盡管在其它實(shí)施例中最優(yōu)的循環(huán)次數(shù)依賴(lài)于所使用的運(yùn)動(dòng)估計(jì)器的類(lèi)型。
作為上述處理的結(jié)果，獲得了運(yùn)動(dòng)向量域的一個(gè)平滑的、熵約束的版本，同時(shí)保留了運(yùn)動(dòng)間斷點(diǎn)。由于將運(yùn)動(dòng)中斷標(biāo)簽考慮在內(nèi)，以及上述的第二個(gè)處理方法中的預(yù)測(cè)誤差，平滑只在不減少運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的效率的區(qū)域中進(jìn)行。在圖2中顯示了一例如熵減少模塊200所輸出的具有運(yùn)動(dòng)間斷點(diǎn)的運(yùn)動(dòng)向量域的表示，如225所示的哪樣，其中的圓圈代表象素，箭頭代表運(yùn)動(dòng)向量，象素之間的線代表運(yùn)動(dòng)間斷點(diǎn)。
由熵減少模塊220產(chǎn)生的具有運(yùn)動(dòng)間斷點(diǎn)的熵約束的運(yùn)動(dòng)向量域被輸入到多分辨率運(yùn)動(dòng)向量域量化(MMVFQ)和間斷點(diǎn)編碼模塊230。
圖4更詳細(xì)地表示MMVFQ和間斷點(diǎn)編碼模塊。
參看圖4，從熵減少模塊220獲得的運(yùn)動(dòng)向量域被輸入到運(yùn)動(dòng)域金字塔模塊310，后者產(chǎn)生一個(gè)n+1個(gè)運(yùn)動(dòng)域的集合，它們是原始運(yùn)動(dòng)向量域按立體分辨率(spatial resolution)的下降順序的各版本。這n+1個(gè)運(yùn)動(dòng)域有圖象分辨率s0至sn，其中，按原始圖象分辨率的運(yùn)動(dòng)域具有分辨率sn，最疏粗的分辨率的運(yùn)動(dòng)域有分辨率s0。分辨率sm的運(yùn)動(dòng)域是通過(guò)對(duì)分辨率s(m+1)的更高分辨率運(yùn)動(dòng)的低通濾波和二次抽樣獲得的。這個(gè)過(guò)程從原始運(yùn)動(dòng)域開(kāi)始被執(zhí)行n次，以產(chǎn)生n+1個(gè)域，稱(chēng)作運(yùn)動(dòng)向量域金字塔。
按照這個(gè)實(shí)施例，二次抽樣因數(shù)k是2，低通濾波過(guò)程計(jì)算一個(gè)2×2塊內(nèi)的vx和vy值的平均值。然后用平均值vx-aver和vy-aver來(lái)代表該塊按更疏粗分辨率的運(yùn)動(dòng)。然而，可以采用各種二次抽樣因數(shù)k(K＞1)和各種低通濾波器。
然后處理該運(yùn)動(dòng)域金字塔。在分辨率s0下的運(yùn)動(dòng)域被向量量化(VQ)編碼器330a用碼簿c0編碼。VQ編碼器330a的輸出到達(dá)用于熵編碼的模塊380a，以形成在最疏粗分辨率s0下的運(yùn)動(dòng)域的一個(gè)表示，并到達(dá)VQ解碼器360a。VQ解碼器360a用碼簿c0來(lái)重構(gòu)該疏粗運(yùn)動(dòng)域，然后將其傳送到上采樣(up-sampling)模塊340a，在此，運(yùn)動(dòng)域的分辨率被增加到k倍。差模塊350a計(jì)算在分辨率s1下的運(yùn)動(dòng)域與從分辨率s0的域獲得的上采樣的重構(gòu)運(yùn)動(dòng)域之間的差。將如此獲得的在分辨率s1下的殘留誤差運(yùn)動(dòng)域從差塊350a輸出，待由編碼器330b用碼簿c1作處理。按增加的分辨率循環(huán)地重復(fù)上述步驟，直到在上至原始分辨率的所有分辨率下的運(yùn)動(dòng)域都已經(jīng)被處理，獲得原始運(yùn)動(dòng)向量域的n+1個(gè)分量表示。
在該示例中，VQx和VQy具有相同的維數(shù)，但是它們可以具有不同的維數(shù)。
在編碼模塊330a-330n中對(duì)每個(gè)運(yùn)動(dòng)向量域進(jìn)行上述的向量量化。該向量量化類(lèi)似于由L.Cieplinski和M.Bober在“Scalable imagecoding using Gaussian pyramid vector quantization withresolution-independent block size”中描述的向量量化(IEEE聲學(xué)、語(yǔ)音和信號(hào)處理國(guó)際會(huì)議論文集第4卷2949-2952頁(yè))，其中的向量量化是關(guān)于靜態(tài)圖象的亮度值作描述的。該論文的內(nèi)容在此引用作為參考。
在每個(gè)分辨率下對(duì)其應(yīng)用向量量化的向量可以以下列方式之一形成1)通過(guò)獨(dú)立地按速度分量域Vx和Vy從非重疊區(qū)域中組合o(o＞1)個(gè)分量速度。這些區(qū)域應(yīng)當(dāng)具有相同的形狀并且應(yīng)當(dāng)合起來(lái)覆蓋整個(gè)速度域。對(duì)于每個(gè)區(qū)域，形成兩個(gè)0維向量VQx＝(vx1，...vxi，...vxo)、VQy＝(vy1，...vyi，...vyo)，其中vxi和vyi是該塊內(nèi)的象素i的x和y速度分量。
2)通過(guò)在如上所述形成向量之前對(duì)向量域V進(jìn)行變換。變換的目的是為了使分量域在統(tǒng)計(jì)意義上獨(dú)立，或者為了減少它們的關(guān)聯(lián)，以提高編碼性能。例如，可以將位于圖象內(nèi)每個(gè)象素位置的每個(gè)向量v＝(vx，vy)變換成對(duì)數(shù)極(log-polar)表示vp＝(vpr，vpa)，其中分量vpa、vpr被定義為vpr＝square root(vx*vx+vy*vy)vpa＝arc tangent(vy/vx)，如果vx≠0。
∏/2，如果vx＝0且vy＞0-∏/2，如果vx＝0且vy＜0。
對(duì)于每個(gè)區(qū)域，將形成兩個(gè)0維向量VQr＝(vpr1，...vprj，...vpro)、VQa＝(vpa1，...vpaj，...vpao)，其中vprj和vpaj是從上述的變換中獲得的。
3)可以將如2)中所定義的分量向量VQx、Vqa組合在一起，形成向量VQ＝(VQx，VQy)或VQ＝(VQr，VQa)，VQ可以被量化。自然，以這種方式形成的VQ向量的維數(shù)是2o。
在這個(gè)實(shí)施例中，上述方法2)被用于2×2象素的矩形塊，這樣就對(duì)4維向量進(jìn)行VQ。
通過(guò)使用有來(lái)自多于1個(gè)象素或塊中的運(yùn)動(dòng)向量的分量，VQ就能利用相鄰象素或塊之間的速度分量之間的關(guān)聯(lián)。
例如，在上述方法1)中，來(lái)自相鄰象素的VQx的分量可能是相似的，除非例如出現(xiàn)運(yùn)動(dòng)中斷。類(lèi)似地，VQy的分量也可能是類(lèi)似的。這個(gè)特點(diǎn)可被用來(lái)為向量量化確定碼簿，導(dǎo)致更高的效率。
將從熵編碼器380a-380n輸出的分量表示370...37n組合成一個(gè)內(nèi)置表示260，例如如圖5中所示的那樣，該圖顯示了在由分離器(separator)分開(kāi)的不同分辨率下的分量表示。
圖6中顯示的解碼器500，用于解譯運(yùn)動(dòng)域的內(nèi)置表示，以重構(gòu)不同分辨率下的運(yùn)動(dòng)域和原始運(yùn)動(dòng)向量域。重構(gòu)從最粗疏分辨率的表示開(kāi)始。它被熵解碼器510a解譯后，傳送到VQ解碼器515a，在那里被用碼簿c0解譯，以獲得在分辨率s0下的重構(gòu)的運(yùn)動(dòng)域。該在分辨率s0下的重構(gòu)的運(yùn)動(dòng)域然后被上采樣模塊525a以與在編碼器中相同的方式上采樣，以獲得該域在分辨率s1下的一個(gè)近似值。然后以類(lèi)似的方式重構(gòu)該運(yùn)動(dòng)域在分辨率s1下的殘留誤差。在加法模塊中將分辨率s1的殘留誤差和從分辨率s0下的域上采樣的域相加，生成在分辨率s1下的一個(gè)重構(gòu)的運(yùn)動(dòng)域。在每個(gè)更精細(xì)的分辨率下重復(fù)該過(guò)程，直到獲得原始分辨率的運(yùn)動(dòng)域。然而，需要的話(huà)可以在達(dá)到原始分辨率之前的任何分辨率下停止該過(guò)程。
圖7表示用于按照本發(fā)明的實(shí)施例編碼和解譯視頻圖象數(shù)據(jù)的混合DCT/MC編解碼器。
編碼器側(cè)包含一個(gè)用于對(duì)輸入圖象數(shù)據(jù)進(jìn)行分立的余弦變換的DCT模塊710。DCT模塊710連接到一個(gè)自適應(yīng)量化器720，后者用于對(duì)從DCT模塊輸出的DCT系數(shù)進(jìn)行自適應(yīng)量化。量化器720由速率控制器730開(kāi)支。量化器720的輸出連接到一個(gè)可變長(zhǎng)編碼器740和一個(gè)逆量化器750。逆量化器的輸出連接到逆DCT模塊760，后者用于重構(gòu)原始幀的一個(gè)版本。DCT模塊760的輸出連接到多個(gè)幀儲(chǔ)存器770。幀儲(chǔ)存器770的輸出連接到多分辨率運(yùn)動(dòng)向量域(MMVF)編碼器780，用于導(dǎo)出和編碼一個(gè)運(yùn)動(dòng)向量域。MMVF編碼器780連接到一個(gè)高級(jí)運(yùn)動(dòng)補(bǔ)償模塊790，用于以已知方式進(jìn)行運(yùn)動(dòng)補(bǔ)償。MMVF編碼器780也向可變長(zhǎng)編碼器740輸出代表編碼的運(yùn)動(dòng)向量域的數(shù)據(jù)，而可變長(zhǎng)編碼器740的輸出則連接到緩沖器800。緩沖器800被用來(lái)調(diào)整速率控制器730，所存儲(chǔ)的數(shù)據(jù)被輸出，供傳輸或在記錄媒體上記錄。
在解碼器中設(shè)置有對(duì)應(yīng)的部件，包括緩沖器810、可變長(zhǎng)解碼器820、逆量化器830、逆DCT模塊840、高級(jí)運(yùn)動(dòng)補(bǔ)償模塊850幀儲(chǔ)存器860和MMVF解碼器870。
編碼器和解碼器基本上以已知的方式操作，對(duì)視頻圖象數(shù)據(jù)編碼，不過(guò)，運(yùn)動(dòng)向量域的編碼和解譯使用MMVF編碼器780和解碼器870。MMVF編碼器780和解碼器870基本上是按如上所述的方式操作的。然而，這里的可變長(zhǎng)編碼器740和解碼器820代替如上所述的熵編碼器380a-380n和解碼器515a-515n進(jìn)行熵編碼和解碼。對(duì)不同分辨率下的圖象數(shù)據(jù)采用不同的查找表，就有可能用一個(gè)可變長(zhǎng)編碼器940和代替n個(gè)熵編碼器380a-380n，對(duì)解碼器820來(lái)說(shuō)也一樣。
如上所述的(基于每個(gè)象素的平均位數(shù)的)效率可能類(lèi)似于或好于已知方法。盡管向每個(gè)象素分配一個(gè)運(yùn)動(dòng)向量增加了運(yùn)動(dòng)信息的量，這個(gè)量卻在隨后的處理中-即在熵減少處理和向量量化中-降低。每個(gè)象素的平均位數(shù)當(dāng)然將取決于正在編碼的數(shù)據(jù)的性質(zhì)。
在上述的本發(fā)明的實(shí)施例中，運(yùn)動(dòng)中斷圖被導(dǎo)出并用于隨后的處理，但是并不是非要把運(yùn)動(dòng)間斷點(diǎn)考慮在內(nèi)。如果不像所述的實(shí)施例中的那樣為每個(gè)象素導(dǎo)出一個(gè)運(yùn)動(dòng)向量，本發(fā)明也適用于可以將一個(gè)運(yùn)動(dòng)向量分配給一組象素(例如2×2或4×4象素塊)的方法。不過(guò)，重要的特點(diǎn)是生成的運(yùn)動(dòng)向量域是稠密的。
本發(fā)明特別適用于在下列條件適用時(shí)處理圖象序列的應(yīng)用i)信道帶寬有限，ii)數(shù)據(jù)損害的風(fēng)險(xiǎn)高，或iii)用戶(hù)會(huì)因獲得運(yùn)動(dòng)向量的低分辨率版本收益。
可以將按照本發(fā)明導(dǎo)出和表示的運(yùn)動(dòng)信息存儲(chǔ)在數(shù)據(jù)庫(kù)中，用于檢索和瀏覽之用。例如，查找特定運(yùn)動(dòng)類(lèi)型的序列的人可以首先從(存儲(chǔ)按本發(fā)明獲得的運(yùn)動(dòng)向量信息的)數(shù)據(jù)庫(kù)獲得粗疏的運(yùn)動(dòng)信息，然后檢索原始分辨率下的一個(gè)選定序列。
權(quán)利要求
1.一種表示數(shù)字化圖象序列中的運(yùn)動(dòng)的方法，包含生成和編碼一個(gè)運(yùn)動(dòng)向量域在不同分辨率時(shí)的多個(gè)版本。
2.權(quán)利要求1中所述的方法，包含二次抽樣運(yùn)動(dòng)向量域，以產(chǎn)生二次抽樣的疏粗的第一分辨率的域的版本和精細(xì)的第二分辨率的域的版本；編碼疏粗分辨率運(yùn)動(dòng)向量域的版本，比較疏粗分辨率域與精細(xì)分辨率域，以產(chǎn)生一個(gè)殘留誤差；和編碼精細(xì)分辨率下的殘留誤差。
3.權(quán)利要求2中的方法，包含產(chǎn)生和編碼分辨率增加的殘留誤差序列。
4.權(quán)利要求1中所述的方法，包含將不同分辨率的編碼的運(yùn)動(dòng)向量域版本多路轉(zhuǎn)換到內(nèi)置位流中。
5.權(quán)利要求1中所述的方法，其中，所述編碼是用向量量化進(jìn)行的。
6.權(quán)利要求1中所述的方法，其中，向量量化是對(duì)有來(lái)自至少兩個(gè)運(yùn)動(dòng)向量的分量的向量進(jìn)行的。
7.權(quán)利要求6中所述的方法，其中，向量量化是對(duì)有對(duì)應(yīng)于n個(gè)相鄰象素或塊的運(yùn)動(dòng)向量的x個(gè)速度分量的分量和/或?qū)?yīng)于m個(gè)相鄰象素或塊的運(yùn)動(dòng)向量的y個(gè)速度分量的分量的向量進(jìn)行的，其中n和m大于或等于2。
8.權(quán)利要求1中所述的方法，其中，向量量化是對(duì)有多于兩個(gè)分量的向量進(jìn)行的。
9.權(quán)利要求1中所述的方法，其中，至少一個(gè)分辨率對(duì)應(yīng)于一個(gè)稠密運(yùn)動(dòng)向量域。
10.一種用于按照如權(quán)利要求1中所述的方法編碼數(shù)字化圖象序列中的運(yùn)動(dòng)信息的編碼器。
11.一種用于解譯按照如權(quán)利要求1中所述的方法編碼的數(shù)字化圖象序列中的運(yùn)動(dòng)信息的解碼器。
12.一種表示數(shù)字化圖象序列中的運(yùn)動(dòng)的裝置，包含用于生成和編碼一個(gè)運(yùn)動(dòng)向量域在不同分辨率時(shí)的多個(gè)版本的裝置。
13.權(quán)利要求12中所述的裝置，包含用于二次抽樣運(yùn)動(dòng)向量域，以產(chǎn)生二次抽樣的疏粗的第一分辨率的域的版本和精細(xì)的第二分辨率的域的版本的裝置；用于比較疏粗分辨率域與精細(xì)分辨率域，以產(chǎn)生一個(gè)殘留誤差的裝置；和用于編碼疏粗運(yùn)動(dòng)向量域和精細(xì)分辨率下的殘留誤差的裝置。
14.權(quán)利要求13中所述的裝置，包含用于產(chǎn)生和編碼分辨率增加的殘留誤差序列的裝置。
15.權(quán)利要求12中所述的裝置，其中，至少一個(gè)分辨率對(duì)應(yīng)于一個(gè)稠密運(yùn)動(dòng)向量域。
16.一種用于解譯用如權(quán)利要求12中所述的裝置編碼的信息的解碼器，該解碼器包含用于恢復(fù)具有預(yù)定分辨率的運(yùn)動(dòng)向量域的版本的裝置。
17.一種混合的DCT-MC編解碼器，包含按照權(quán)利要求10或權(quán)利要求12的編碼器和按照權(quán)利要求11或權(quán)利要求16的解碼器。
18.一種處理與數(shù)字化圖象序列中的圖象有關(guān)的數(shù)據(jù)的方法，包含導(dǎo)出該圖象的運(yùn)動(dòng)向量并通過(guò)一個(gè)用根據(jù)相鄰運(yùn)動(dòng)向量的平均導(dǎo)出的新運(yùn)動(dòng)向量替換一個(gè)給定的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域，該方法進(jìn)一步包含確定在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)，并在計(jì)算平均值時(shí)忽略一個(gè)或幾個(gè)運(yùn)動(dòng)向量—如果它們被一個(gè)運(yùn)動(dòng)間斷點(diǎn)與該給定運(yùn)動(dòng)向量分開(kāi)的話(huà)。
19.權(quán)利要求18中所述的方法，其中，新運(yùn)動(dòng)向量是用一個(gè)預(yù)測(cè)誤差導(dǎo)出的。
20.一種處理與數(shù)字化圖象序列中的圖象有關(guān)的數(shù)據(jù)的方法，包含導(dǎo)出圖象的運(yùn)動(dòng)向量并通過(guò)一個(gè)用根據(jù)相鄰運(yùn)動(dòng)向量的平均和一個(gè)預(yù)測(cè)誤差導(dǎo)出的新運(yùn)動(dòng)向量替換一個(gè)給定的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域。
21.權(quán)利要求20中所述的方法，包含確定在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)，并在計(jì)算平均值時(shí)忽略一個(gè)或幾個(gè)運(yùn)動(dòng)向量—如果它們被一個(gè)運(yùn)動(dòng)間斷點(diǎn)與給定運(yùn)動(dòng)向量分開(kāi)的話(huà)。
22.權(quán)利要求18中所述的方法，其中，為每個(gè)象素導(dǎo)出一個(gè)運(yùn)動(dòng)向量。
23.權(quán)利要求18中所述的方法，其中，計(jì)算平均值把給定的運(yùn)動(dòng)向量考慮在內(nèi)。
24.權(quán)利要求23中所述的方法，采用加權(quán)平均。
25.一種處理與數(shù)字化圖象序列中的圖象有關(guān)的數(shù)據(jù)的方法，包含導(dǎo)出圖象的運(yùn)動(dòng)向量，確定在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)，并通過(guò)把在圖象中哪里出現(xiàn)運(yùn)動(dòng)間斷點(diǎn)考慮在內(nèi)組合相鄰的運(yùn)動(dòng)向量而平滑運(yùn)動(dòng)向量域。
26.一種處理圖象的方法，包含導(dǎo)出代表運(yùn)動(dòng)向量域中運(yùn)動(dòng)邊界的運(yùn)動(dòng)間斷點(diǎn)和根據(jù)每個(gè)邊界內(nèi)其它運(yùn)動(dòng)向量調(diào)整該邊界內(nèi)的運(yùn)動(dòng)向量。
27權(quán)利要求25中所述的方法，包含導(dǎo)出一個(gè)稠密運(yùn)動(dòng)向量域。
28.權(quán)利要求27中所述的方法，其中，為每個(gè)象素導(dǎo)出一個(gè)運(yùn)動(dòng)向量。
29.前面任何一項(xiàng)權(quán)利要求中所述的方法，其中，向量量化是對(duì)有多于兩個(gè)分量的向量進(jìn)行的。
30.一種用于按照如權(quán)利要求18中所述的方法編碼數(shù)字化圖象序列中的運(yùn)動(dòng)信息的編碼器。
31.一種用于解譯按照如權(quán)利要求18中所述的方法編碼的數(shù)字化圖象序列中的運(yùn)動(dòng)信息的解碼器。
32.一種混合的DCT-MC編解碼器，包含按照權(quán)利要求30的編碼器和按照權(quán)利要求31的解碼器。
全文摘要
一種用于表示數(shù)字化圖象序列的方法和裝置導(dǎo)出一個(gè)稠密運(yùn)動(dòng)向量域并向量量化該運(yùn)動(dòng)向量域。
文檔編號(hào)H04N7/36GK1882087SQ20061009567
公開(kāi)日2006年12月20日 申請(qǐng)日期2000年3月16日 優(yōu)先權(quán)日1999年3月16日
發(fā)明者M·波貝 申請(qǐng)人:三菱電機(jī)株式會(huì)社