專利名稱：采用柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)目蓴U(kuò)展視頻編碼的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻編碼，具體地說(shuō)涉及可擴(kuò)展視頻編碼，其中可以將運(yùn)動(dòng)估計(jì)和補(bǔ)償優(yōu)化為期望比特速率范圍、幀速率和分辨率的函數(shù)。
背景技術(shù)：
三維子帶小波編碼已被提議為高效率的可擴(kuò)展視頻編碼(SVC)技術(shù)，在J.Ohm的“Three Dimensional Sub-band Coding with MotionCompensation”，IEEE Trans.on Image Processing，Vol.3，No.9，pp559-571，Sept 1994中描述了其發(fā)展。在這種方案中，消除了4種冗余時(shí)間的、空間的、感知的和統(tǒng)計(jì)的。
時(shí)間冗余可以通過(guò)執(zhí)行基于open look的運(yùn)動(dòng)補(bǔ)償來(lái)消除，由此在諸如MPEG1/2/4壓縮標(biāo)準(zhǔn)和H.263/4的現(xiàn)有標(biāo)準(zhǔn)中，用于運(yùn)動(dòng)補(bǔ)償?shù)膮⒖紟窃紟皇侵亟◣?。基于open look的運(yùn)動(dòng)補(bǔ)償技術(shù)在此稱為“運(yùn)動(dòng)補(bǔ)償時(shí)間濾波”或MCTF，上述J.Ohm的參考文獻(xiàn)中描述了其發(fā)展。MCTF的進(jìn)一步細(xì)化由S.Choi和J.Woods在“Motion Compensated 3-DSub-band Coding of Video”，IEEE Trans.on Image Processing，Vol.8，No.2，pp.155-167，F(xiàn)eb.1999中描述。在該后一文獻(xiàn)中，通過(guò)使運(yùn)動(dòng)估計(jì)的方向與運(yùn)動(dòng)補(bǔ)償?shù)姆较蛞恢聛?lái)改善MCTF。在該技術(shù)中，執(zhí)行幾輪MCTF，以提供期望的時(shí)間可擴(kuò)展性并消除不需要的時(shí)間冗余。在每一輪MCTF中，利用采用拉格朗日乘數(shù)(λ)的速率失真優(yōu)化為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生高和低的子帶系數(shù)，其中λ對(duì)應(yīng)于比特速率范圍和運(yùn)動(dòng)信息與殘差數(shù)據(jù)(residual data)之間的平衡。所發(fā)送的運(yùn)動(dòng)信息量與殘差數(shù)據(jù)之間的平衡是可擴(kuò)展視頻系統(tǒng)中的重要特征，由此大的λ對(duì)應(yīng)于低比特速率和少量的所發(fā)送的運(yùn)動(dòng)信息，而小的λ對(duì)應(yīng)于高比特速率和大量的所發(fā)送的運(yùn)動(dòng)信息。通常，SVC系統(tǒng)的最佳點(diǎn)是為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生第一殘差圖像(residual image)的點(diǎn)，而且通常只存在一個(gè)這樣的點(diǎn)。
一旦已經(jīng)執(zhí)行了所有必要的MCTF操作，則對(duì)每個(gè)子帶典型地執(zhí)行空間變換，以消除空間冗余。最典型的是，用于這種操作的空間變換是離散余弦變換(DCT)或離散小波變換(DWT)。
感知冗余典型地通過(guò)量化頻域殘差數(shù)據(jù)—一般使用量化矩陣—來(lái)消除。量化矩陣是根據(jù)人類視覺(jué)系統(tǒng)(HVS)的重要特性來(lái)設(shè)計(jì)的，即人眼對(duì)低頻分量更敏感，而對(duì)高頻分量不太敏感。因此，為低頻殘差數(shù)據(jù)選擇小元素，而為高頻數(shù)據(jù)選擇大元素。該量化過(guò)程通常是有損的，而通過(guò)適當(dāng)選擇不同傳輸比特速率的量化步長(zhǎng)來(lái)實(shí)現(xiàn)SNR可擴(kuò)展性。
在消除時(shí)間、空間和感知冗余時(shí)，為用于消除統(tǒng)計(jì)冗余的熵編碼產(chǎn)生殘差數(shù)據(jù)和運(yùn)動(dòng)信息。在該過(guò)程中，使用短符號(hào)來(lái)表示較頻繁出現(xiàn)的值，用長(zhǎng)符號(hào)表示較少出現(xiàn)的值?？勺冮L(zhǎng)度編碼和算術(shù)編碼是用于該過(guò)程的典型編碼類型。
傳統(tǒng)可擴(kuò)展視頻編碼系統(tǒng)典型地采用小拉格朗日乘數(shù)λ，以便以最高比特速率獲得最佳系統(tǒng)性能。但是，在這種系統(tǒng)中較低比特速率流時(shí)的視覺(jué)質(zhì)量相對(duì)差，因?yàn)榻厝サ谋忍匕嗟倪\(yùn)動(dòng)信息而沒(méi)有足夠的殘差數(shù)據(jù)。在H.Hang，S.Tsai和T.Chiang的“Motion Information Scalability forMC-EZBCResponse to Call for Evidence of Scalable Video Coding”，ISO/IEC JTC1/Sc29/WG11，MPEG200/m9756，July，2003 Tronheim中的描述試圖改善較低比特速率時(shí)的編碼效率。在此，時(shí)間分解中的運(yùn)動(dòng)信息被分為基層和增強(qiáng)層?；鶎佑蓮?4×64到16×16的運(yùn)動(dòng)信息形式組成，而增強(qiáng)層由8×8到4×4的信息形式組成，其中只有來(lái)自基層的運(yùn)動(dòng)信息以低比特速率發(fā)送到解碼器。但是，以高比特速率獲得殘差數(shù)據(jù)，因此產(chǎn)生運(yùn)動(dòng)不匹配。如果該區(qū)域相對(duì)平滑，則所獲得的運(yùn)動(dòng)信息中的差異不是很明顯。但是如果該區(qū)域非常粗糙，則運(yùn)動(dòng)信息中的差異會(huì)導(dǎo)致顯著的失真。因此使用所建議的方案，可能會(huì)導(dǎo)致編碼效率在低比特速率傳輸時(shí)較低。
此外不利的是，所建議的技術(shù)從實(shí)施觀點(diǎn)或商業(yè)觀點(diǎn)來(lái)看不是最佳的，因?yàn)樵摷夹g(shù)不考慮不同的供應(yīng)商會(huì)有變化的顧客組成并因此具有變化的比特速率、幀速率和分辨率要求。表1示出這樣的實(shí)例。

表1.
公司A和B的顧客組成假設(shè)公司A和B具有示出的顧客組成。很明顯，公司A的最佳運(yùn)行條件是QCIF、7.5f/s和64kbs，而公司B在條件4CIF、60f/s和2Mb/s的比特速率下運(yùn)行。在這種實(shí)例中，為最高比特速率時(shí)的最佳性能而設(shè)計(jì)的傳統(tǒng)視頻編碼系統(tǒng)對(duì)公司A不是最佳的，因?yàn)槠浯蟛糠诸櫩投际褂幂^低的比特速率服務(wù)。
因此需要一種改善的、可以提供在任意比特速率、幀速率和分辨率時(shí)的最佳性能的視頻編碼系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明提供一種可擴(kuò)展視頻編碼器，其具有柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊、運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊、可擴(kuò)展編碼模塊、離散變換模塊和分組模塊(packetization module)。柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊包括用于接收源視頻數(shù)據(jù)的第一輸入、用于接收期望比特速率和分辨率參數(shù)的第二輸入、以及輸出，并可操作以輸出根據(jù)源視頻數(shù)據(jù)、所提供的分辨率和比特速率參數(shù)計(jì)算出的可擴(kuò)展運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊包括接收源視頻數(shù)據(jù)的第一輸入、用于接收可擴(kuò)展運(yùn)動(dòng)矢量的第二輸入以及輸出，該運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊可操作以產(chǎn)生與當(dāng)前幀和先前幀的圖像之間差異對(duì)應(yīng)的殘差圖像?？蓴U(kuò)展編碼模塊被耦合成接收可擴(kuò)展運(yùn)動(dòng)矢量并對(duì)其進(jìn)行編碼。離散變換模塊具有配置為接收所提供的視頻數(shù)據(jù)，并將其進(jìn)行域變換，將其變換系數(shù)序列。分組模塊耦合至可擴(kuò)展編碼模塊和離散變換模塊，并且可操作以將所編碼的可擴(kuò)展運(yùn)動(dòng)矢量和系數(shù)序列組合為包。
在結(jié)合附圖和詳細(xì)描述考慮時(shí)會(huì)更好地理解本發(fā)明的上述和其他特征。


圖1示出根據(jù)本發(fā)明一個(gè)實(shí)施例的使用柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)目蓴U(kuò)展視頻編碼器。
圖2示出根據(jù)本發(fā)明一個(gè)實(shí)施例的柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償過(guò)程的功能表示。
圖3示出根據(jù)本發(fā)明一個(gè)實(shí)施例的用于消除低比特速率數(shù)據(jù)和高比特速率數(shù)據(jù)之間的編碼冗余的過(guò)程。
圖4示出根據(jù)本發(fā)明一個(gè)實(shí)施例的與無(wú)約束運(yùn)動(dòng)補(bǔ)償時(shí)間濾波過(guò)程(或基于閉環(huán)的運(yùn)動(dòng)補(bǔ)償方案)集成的運(yùn)動(dòng)補(bǔ)償時(shí)間濾波過(guò)程。
具體實(shí)施例方式
圖1示出根據(jù)本發(fā)明的使用柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償(柵格ME/MC)的可擴(kuò)展視頻編碼器100。編碼器100包括經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)臅r(shí)間濾波(MCTF)模塊105、柵格ME/MC模塊110、可擴(kuò)展運(yùn)動(dòng)矢量編碼模塊115、離散變換模塊(DTM)120、幀層移位模塊、嵌入式零塊編碼(EZBC)模塊130和分組模塊135。
在操作過(guò)程中，將視頻信息102提供給MCTF模塊105。MCTF模塊105將該視頻信息轉(zhuǎn)發(fā)給柵格ME/MC模塊110。響應(yīng)于對(duì)該視頻信息102的接收以及另外提供的包括最佳分辨率水平、幀速率和比特速率的用戶參數(shù)，柵格ME/MC模塊計(jì)算提供給MCTF模塊和編碼模塊115的可擴(kuò)展運(yùn)動(dòng)矢量113。
接收到可擴(kuò)展運(yùn)動(dòng)矢量時(shí)，MCTF模塊105產(chǎn)生與當(dāng)前幀中圖像與前幀中圖像之間差異對(duì)應(yīng)的殘差圖像。從MCTF模塊105輸出該殘差圖像，作為包含Y平面高和低子帶數(shù)據(jù)的亮度信息、以及飽含U和V平面數(shù)據(jù)的色度信息。利用輸出對(duì)應(yīng)系數(shù)的離散變換模塊120來(lái)變換所提供的Y、U和V數(shù)據(jù)。在本發(fā)明的特定實(shí)施例中，離散變換模塊120使用二維離散小波變換。在可替換實(shí)施例中采用二維離散余弦變換。隨后將系數(shù)提供給幀層移位模塊125。EZBC模塊按照位平面方式對(duì)殘差數(shù)據(jù)進(jìn)行編碼，并實(shí)現(xiàn)SNR精細(xì)粒度可擴(kuò)展性。編碼模塊115對(duì)可擴(kuò)展運(yùn)動(dòng)矢量進(jìn)行編碼以便與編碼的殘差數(shù)據(jù)一起分組。分組模塊135將編碼的可擴(kuò)展運(yùn)動(dòng)矢量和來(lái)自模塊130的殘差數(shù)據(jù)組合在一起，以通過(guò)諸如互聯(lián)網(wǎng)的通信介質(zhì)傳送到目的地接收器。
所描述的體系結(jié)構(gòu)只是示例性的，本領(lǐng)域的技術(shù)人員將意識(shí)到很多修改都是可能的。在本發(fā)明的示例性實(shí)施例中，該體系結(jié)構(gòu)可用于改善現(xiàn)有精細(xì)粒度可擴(kuò)展性(FGS)編碼的編碼效率。在本發(fā)明的優(yōu)選實(shí)施例中，使用傳統(tǒng)過(guò)程實(shí)施由可擴(kuò)展運(yùn)動(dòng)矢量編碼模塊115、DWT模塊120、幀層移位模塊125、EZBC模塊130和分組模塊135執(zhí)行的過(guò)程。由MCTF模塊實(shí)施的過(guò)程總的來(lái)說(shuō)如現(xiàn)有技術(shù)中所述的一樣，還包括在此所述的細(xì)化。柵格ME/MC模塊110的操作是本發(fā)明的主題之一，并且詳細(xì)描述如下。
圖2示出根據(jù)本發(fā)明一實(shí)施例的柵格ME/MC過(guò)程的功能表示。根據(jù)沿著一個(gè)軸(x)的比特速率范圍和沿著第二軸(y)的分辨率水平來(lái)定義柵格。選擇與期望比特速率范圍和分辨率水平對(duì)應(yīng)的點(diǎn)為最佳點(diǎn)210。可以選擇位于最佳點(diǎn)周圍的次佳點(diǎn)215和220，每個(gè)次佳點(diǎn)對(duì)應(yīng)于期望但不太重要的比特速率范圍和/或分辨率水平。在最佳點(diǎn)210周圍優(yōu)化編碼效率，然后基于該點(diǎn)的相對(duì)重要性擴(kuò)展到次佳點(diǎn)215和220。
圖2進(jìn)一步示出表明特定柵格ME/MC過(guò)程的有環(huán)數(shù)字1-5。從最佳點(diǎn)210開始執(zhí)行基本ME/MC，其導(dǎo)致運(yùn)動(dòng)矢量和對(duì)應(yīng)于該運(yùn)動(dòng)矢量的殘差圖像的產(chǎn)生。移到在相同、更高或更低分辨率水平時(shí)的較低比特速率(數(shù)字4)，柵格ME/MC過(guò)程包括截取比特速率數(shù)據(jù)。從最佳點(diǎn)210移到相同比特速率的更低分辨率(數(shù)字3)，柵格ME/MC過(guò)程包括截取分辨率數(shù)據(jù)。移到相同比特速率的更高分辨率(數(shù)字5)，通過(guò)柵格ME/MC過(guò)程改善分辨率。移向相同比特速率、更高比特速率或更低比特速率時(shí)的更高數(shù)據(jù)速率(數(shù)字2)，通過(guò)遞歸ME/MC過(guò)程改善比特速率。
下面進(jìn)一步描述每一個(gè)過(guò)程。
根據(jù)本發(fā)明，在第l時(shí)間級(jí)為對(duì)應(yīng)于不同比特速率范圍的運(yùn)動(dòng)估計(jì)預(yù)先定義兩個(gè)或更多參數(shù)。將這些參數(shù)分別定義為λlow(l)、λopt(l)和λhigh(l)，并滿足等式(1)λlow(l)≥λopt(l)≥λhigh(l) (1)；λlow(l)對(duì)應(yīng)于最低比特速率，λopt(l)對(duì)應(yīng)于所選擇的最佳比特速率范圍，λhigh(l)對(duì)應(yīng)于最高比特速率范圍。
在本發(fā)明的特定實(shí)施例中，用兩個(gè)參數(shù)λopt(l)和λhigh(l)執(zhí)行柵格ME/MC。在該實(shí)施例中，以每個(gè)分辨率、為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生兩組運(yùn)動(dòng)信息和兩個(gè)殘差圖像。它們用于產(chǎn)生將在每個(gè)范圍內(nèi)編碼的運(yùn)動(dòng)信息和殘差數(shù)據(jù)。
在傳統(tǒng)系統(tǒng)中，以最大比特速率和最高分辨率來(lái)優(yōu)化ME/MC。在這種系統(tǒng)中，為每個(gè)運(yùn)動(dòng)對(duì)(前面的兩個(gè)視頻幀)只產(chǎn)生一個(gè)殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
在本發(fā)明中，采用以下5種途徑之一來(lái)實(shí)現(xiàn)柵格ME/MC(i)通過(guò)基本ME/MC，其中為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生基本殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量；(ii)通過(guò)改善了分辨率的ME/MC，其中為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生改善了分辨率的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量；(iii)通過(guò)在較低分辨率時(shí)改善了信噪比(SNR)的ME/MC，其中以較低分辨率為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生改善了SNR的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量；(iv)通過(guò)在最重要分辨率中改善了SNR的ME/MC，其中以最重要分辨率為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生改善了SNR的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量；(v)通過(guò)改善了SNR和分辨率的ME/MC，其中為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生改善了SNR和分辨率的殘差信息和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
在每個(gè)時(shí)間級(jí)的基本運(yùn)動(dòng)估計(jì)在示例性實(shí)施例中，時(shí)間級(jí)的總數(shù)是L，最重要的點(diǎn)選擇在第l0時(shí)間級(jí)。最佳拉格朗日乘數(shù) 定義如下λ^opt(l)=λhigh(l)l<l0λopt(l)l≥l0...(2)]]>在時(shí)間級(jí)l(l＝1，2，3，...，L)，用戶根據(jù)顧客組成選擇分辨率(l)作為最重要的分辨率。運(yùn)動(dòng)補(bǔ)償在第l時(shí)間級(jí)用參數(shù) 從分辨率(l)開始，并且稱為第l時(shí)間級(jí)的基本運(yùn)動(dòng)補(bǔ)償。
為了提供最佳點(diǎn)的性能，根據(jù)以下兩種情況來(lái)產(chǎn)生殘差圖像情況1l＜l0，只使用λhigh(l)來(lái)產(chǎn)生殘差圖像；情況2l≥l0，用λopt(l)和λhigh(l)來(lái)執(zhí)行運(yùn)動(dòng)估計(jì)和補(bǔ)償。
因此在時(shí)間級(jí)l(l≥l0)存在為每個(gè)分辨率中的每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生的兩個(gè)殘差圖像。使用所述殘差圖像產(chǎn)生將在每個(gè)范圍內(nèi)編碼的運(yùn)動(dòng)信息和殘差圖像。
為了提供在最佳比特速率范圍上的編碼效率，從通過(guò)基本運(yùn)動(dòng)估計(jì)獲得的運(yùn)動(dòng)信息中截取用于低于最佳范圍的比特速率范圍的運(yùn)動(dòng)信息。同樣，以低于(l)的分辨率，縮減用于與 和低于 的對(duì)應(yīng)的比特速率范圍的運(yùn)動(dòng)信息，并從基本運(yùn)動(dòng)信息中截取。
運(yùn)動(dòng)信息和殘差數(shù)據(jù)的SNR可擴(kuò)展性柵格ME/MC從對(duì)應(yīng)于參數(shù)λmv，opt的比特速率范圍開始。
在本發(fā)明的特定實(shí)施例中，使用(i)用于柵格ME/MC的自適應(yīng)精度，(ii)通過(guò)遞歸運(yùn)動(dòng)補(bǔ)償?shù)募?xì)化；(iii)在同一分辨率的不同比特速率范圍之間共享的信息；(iv)在低比特速率范圍的運(yùn)動(dòng)信息截?。缓?v)在低比特速率范圍和高比特速率范圍中的冗余消除來(lái)實(shí)現(xiàn)運(yùn)動(dòng)信息和紋理的SNR可擴(kuò)展性?，F(xiàn)在描述每個(gè)過(guò)程。
用于柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)淖赃m應(yīng)精度最初在執(zhí)行柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償之前選擇運(yùn)動(dòng)矢量的精度。在特定實(shí)施例中，精度適應(yīng)于比特速率范圍。通常在比特速率增加時(shí)，運(yùn)動(dòng)信息的精度也提高。例如，可以在低比特速率時(shí)選擇一半像素，而在中等比特速率和高比特速率時(shí)選擇1/4像素。此外，塊大小是從32×32到8×8，而不是H.264中的16×16到4×4。
通過(guò)沿著時(shí)間級(jí)的遞歸運(yùn)動(dòng)補(bǔ)償產(chǎn)生的改善在這種過(guò)程中，(dx0，dy0)表示由柵格ME/MC用λopt(l)獲得的運(yùn)動(dòng)矢量。(dx，dy)是位于(dx0，dy0)周圍的運(yùn)動(dòng)矢量，并且是要改善的候選。為第l0輪MCTF定義第一遞歸運(yùn)動(dòng)改善失真準(zhǔn)則如下Dcl0(dx,dy,dx0,dy0)=Σx,y|A(x,y)-B(x-dx,y-dy)-IQ(Q(A(x,y)-B(x-dx0,y-dy0))|...(3)]]>
其中IQ()和Q()是量化運(yùn)算和對(duì)應(yīng)的逆量化運(yùn)算，A(x，y)和B(x，y)分別是預(yù)測(cè)幀和參考幀。Dcl0(dx，dy，dx0，dy0)是要進(jìn)行運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)耐ㄓ檬д鏈?zhǔn)則。通過(guò)將時(shí)間H子帶的信號(hào)能量最小化來(lái)近似達(dá)到最大編碼增益，因?yàn)闀r(shí)間L子帶的能量相對(duì)來(lái)說(shuō)是恒定的。
此外，Rmv(dx-dx0，dy-dy0)代表用于對(duì)運(yùn)動(dòng)矢量(dx-dx0，dy-dy0)進(jìn)行編碼的比特?cái)?shù)。如果滿足以下不等式則在第一輪MCTF進(jìn)一步執(zhí)行運(yùn)動(dòng)估計(jì)(dx，dy)Dcl0(dx,dy,dx0,dy0)+λhigh(l)Rmv(dx-dx0,dy-dy0)≤Dcl0(dx0,dy0,dx0,dy0)...(4)]]>相同分辨率的不同比特速率范圍之間共享的信息為了加速在同一時(shí)間級(jí)的相同分辨率的運(yùn)動(dòng)估計(jì)(例如沿著圖3中的水平方向，如下所示)，可以在不同比特速率由運(yùn)動(dòng)估計(jì)共享塊劃分信息和對(duì)應(yīng)的運(yùn)動(dòng)信息。在使用時(shí)，該共享信息取決于用戶的選擇。例如用戶可以固定最終的塊劃分模型。在這種情況下，共享最終的塊劃分模式和對(duì)應(yīng)的運(yùn)動(dòng)信息，而且運(yùn)動(dòng)信息的數(shù)量在不同比特速率時(shí)是相同的。用戶還可以固定在運(yùn)動(dòng)估計(jì)過(guò)程中獲得的初始全運(yùn)動(dòng)矢量樹。共享該初始全運(yùn)動(dòng)矢量樹和對(duì)應(yīng)的運(yùn)動(dòng)信息。使用λopt(l)和λhigh(l)從相同的初始全運(yùn)動(dòng)矢量樹開始執(zhí)行樹修剪過(guò)程。此外，運(yùn)動(dòng)信息量在不同比特速率時(shí)可能不同。用戶可以選擇在一個(gè)分辨率中固定最終塊劃分模式，而同時(shí)在另一分辨率中修剪初始全運(yùn)動(dòng)矢量樹。
在低比特速率范圍的運(yùn)動(dòng)信息截取在每個(gè)分辨率中，從利用速率失真優(yōu)化進(jìn)行的基本運(yùn)動(dòng)估計(jì)所獲得的運(yùn)動(dòng)信息中截取低比特速率的運(yùn)動(dòng)信息，該速率失真優(yōu)化使用對(duì)應(yīng)于該低范圍的參數(shù)λlow(l)。
在該過(guò)程中，B(x，y)是參照畫面。矢量(dx，dy)和(dx0，dy0)是兩個(gè)運(yùn)動(dòng)矢量，其中(dx0，dy0)通過(guò)使用 獲得，而(dx，dy)是(dx0，dy0)的截取運(yùn)動(dòng)矢量。截取失真準(zhǔn)則定義如下
Dt(dx,dy,dx0,dy0)=Σx,y|B(x-dx,y-dy)-B(x-dx0,y-dy0)|...(5)]]>如果滿足下面的不等式，則運(yùn)動(dòng)矢量(dx0，dy0)被截取為(dx，dy)λlow(l)Rmv(dx，dy)+Dt(dx，dy，dx0，dy0)＜λlow(l)Rmv(dx0，dy0)(6)對(duì)于兩個(gè)拉格朗日乘數(shù)λ1＞λ2，如果運(yùn)動(dòng)矢量(dx0，dy0)被截取為具有λ1的(dx，dy)，則該運(yùn)動(dòng)矢量還將被截取為具有λ2的(dx，dy)。換句話說(shuō)，在一比特速率時(shí)的運(yùn)動(dòng)矢量的集合是在較高比特速率時(shí)的運(yùn)動(dòng)矢量的子集。
接著，預(yù)測(cè)失真準(zhǔn)則定義如下Dp(dx,dy)=Σx,y|A(x,y)-B(x-dx,y-dy)|...(7)]]>可以從等式(6)確定λlow(l)Rmv(dx，dy)+Dt(dx，dy，dx0，dy0)+Dp(dx0，dy0)＜λlow(l)Rmv(dx0，dy0)+Dp(dx0，dy0)(8)即λlow(l)Rmv(dx，dy)+Dp(dx，dy)＜λlow(l)Rmv(dx0，dy0)+Dp(dx0，dy0)(9)可以看到，低比特速率時(shí)的運(yùn)動(dòng)矢量通過(guò)使用等式(9)來(lái)獲得，而在現(xiàn)有方案中運(yùn)動(dòng)信息的加強(qiáng)層對(duì)應(yīng)于高比特速率，并且是采用相對(duì)小的λs集合來(lái)產(chǎn)生的。如果采用本發(fā)明的柵格ME/MC過(guò)程來(lái)截取運(yùn)動(dòng)矢量，則在傳統(tǒng)過(guò)程中還對(duì)該運(yùn)動(dòng)矢量進(jìn)行修剪，反之則不然。如果要以低比特速率編碼的殘差圖像是使用λlow(l)產(chǎn)生的殘差圖像，則按照傳統(tǒng)ME/MC方法的過(guò)程是最佳的。但是，該殘差圖像是使用參數(shù)λopt(l)而不是λlow(l)產(chǎn)生的。這意味著運(yùn)動(dòng)信息就低比特速率時(shí)的RDO來(lái)說(shuō)是不足的。因此傳統(tǒng)系統(tǒng)中的運(yùn)動(dòng)不匹配可能很嚴(yán)重，并且編碼效率在低比特速率時(shí)會(huì)非常低。
為了保證在最佳比特速率范圍內(nèi)的編碼效率，(dx，dy)優(yōu)選滿足以下條件
λ^opt(l)Σdx,dyRmv(dx-dx0,dy-dy0)≤θ1...(10)]]>其中θ1是由用戶選擇的用于對(duì)可擴(kuò)展運(yùn)動(dòng)矢量編碼導(dǎo)致的冗余進(jìn)行編碼的比特?cái)?shù)的閾值。
在這種實(shí)例中，切換點(diǎn)(switching point)通過(guò)下式來(lái)計(jì)算maxλ{R(λ)}...(11)]]>使得對(duì)于當(dāng)前文件組(GOF)中的所有運(yùn)動(dòng)補(bǔ)償，都得到λRmv(dx，dy)+Dt(dx，dy，dx0，dy0)＜λRmv(dx0，dy0)(12)要注意，只切換要編碼的運(yùn)動(dòng)信息，而要編碼的殘差圖像在截取時(shí)不變。
消除低比特速率和高比特速率之間的冗余優(yōu)選的是刪除冗余編碼信息，以提高編碼效率。圖3示出該過(guò)程，其中利用λopt(l)和λhigh(l)的運(yùn)動(dòng)補(bǔ)償之后的3個(gè)分辨率的殘差圖像分別表示為E11、E21、E31、F1、F2、F3。優(yōu)選的是刪除IQ(Q((E11))與F1之間的冗余、IQ(Q((E21))與F2之間的冗余、IQ(Q((E31))與F3之間的冗余。因此通過(guò)以下等式計(jì)算用于在高比特速率時(shí)編碼的殘差圖像E12、E22和E32E12＝F1-IQ(Q((E1I)) (13)E22＝F2-IQ(Q((E21)) (14)E32＝F3-IQ(Q((E31)) (15)運(yùn)動(dòng)信息和殘差數(shù)據(jù)的時(shí)間可擴(kuò)展性在本發(fā)明的示例性實(shí)施例中，通過(guò)將運(yùn)動(dòng)信息與同一級(jí)的時(shí)間高子帶殘差數(shù)據(jù)系數(shù)捆綁在一起，并在需要時(shí)將它們一起減少，實(shí)現(xiàn)了運(yùn)動(dòng)信息和殘差數(shù)據(jù)的時(shí)間可擴(kuò)展性。
對(duì)應(yīng)于時(shí)間級(jí)l(l＞l0)的兩個(gè)常數(shù)來(lái)產(chǎn)生兩個(gè)時(shí)間低子帶和高子帶。使用對(duì)應(yīng)的低子帶來(lái)執(zhí)行在這些級(jí)的剩余MCTF。
在本發(fā)明的示例性實(shí)施例中，Lr，1(x，y)和Lo，1(x，y)分別是通過(guò)細(xì)化和原始最佳方案獲得的預(yù)測(cè)低子帶，Lr，2(x，y)和Lo，2(x，y)分別是通過(guò)細(xì)化和原始最佳方案獲得的參考低子帶。
用λopt(l)、Lo，1(x，y)和Lo，2(x，y)開始運(yùn)動(dòng)補(bǔ)償。在使用λhigh(l)、Lr，1(x，y)和Lr，2(x，y)執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)，應(yīng)當(dāng)充分利用用λopt(l)獲得的塊劃分模式和運(yùn)動(dòng)矢量(MV)。前一層中的塊的編碼MV可用作預(yù)測(cè)MV的候選，而從前一層獲得的塊劃分模式可以看作是劃分共同定位塊的初始狀態(tài)。同樣，可以為另一輪MCTF定義第二遞歸運(yùn)動(dòng)細(xì)化失真準(zhǔn)則如下Dcl(dx0,dy0)=Σx,y|Lo,1(x,y)-Lo,2(x-dx0,y-dy0)-IQ(Q(Lo,1(x,y)-Lo,2(x-dx0,y-dy0)))|...(16)]]>D^cl(dx,dy,dx0,dy0)=Σx,y|Lr,1(x,y)-Lr,2(x-dx0,y-dy0)-IQ(Q(Lo,1(x,y)-Lo,2(x-dx0,y-dy0)))|...(17)]]>如果滿足以下不等式則在第i輪MCTF時(shí)執(zhí)行進(jìn)一步的運(yùn)動(dòng)估計(jì)(dx，dy)D^cl(dx,dy,dx0,dy0)+λhigh(l)Rmv(dx-dx0,dy-dy0)<Dcl(dx0,dy0)...(18)]]>上述過(guò)程稱為通過(guò)遞歸運(yùn)動(dòng)補(bǔ)償?shù)募?xì)化。切換點(diǎn)通過(guò)以下等式來(lái)計(jì)算maxλ{R(λ)}...(19)]]>使得對(duì)于當(dāng)前文件組(GOF)中的所有運(yùn)動(dòng)補(bǔ)償都得到D^cl(dx,dy,dx0,dy0)+λRmv(dx-dx0,dy-dy0)<Dcl(dx0,dy0)...(20)]]>其中R(λ)是對(duì)應(yīng)于參數(shù)λ的比特速率范圍。
要注意，在使用遞歸運(yùn)動(dòng)細(xì)化方法時(shí)，要切換待編碼的運(yùn)動(dòng)信息和殘差圖像。
在低于(l)的分辨率下，只用參數(shù)λhigh(l)執(zhí)行一次運(yùn)動(dòng)補(bǔ)償。在分辨率(l)下，還用參數(shù)λhigh(l)執(zhí)行另一運(yùn)動(dòng)補(bǔ)償以改進(jìn)殘差圖像。在高于(l)的分辨率下，用λopt(l)執(zhí)行一次運(yùn)動(dòng)補(bǔ)償，用λhigh(l)執(zhí)行另一運(yùn)動(dòng)補(bǔ)償，用以為對(duì)應(yīng)的比特速率范圍產(chǎn)生最佳運(yùn)動(dòng)信息和最佳殘差圖像。在每次細(xì)化時(shí)，在對(duì)應(yīng)的比特速率范圍為剩余的編碼過(guò)程產(chǎn)生對(duì)應(yīng)的殘差圖像和運(yùn)動(dòng)信息。
運(yùn)動(dòng)信息和殘差數(shù)據(jù)的空間可擴(kuò)展性時(shí)間濾波從最重要(最佳)的分辨率開始并在最重要(最佳)的分辨率下優(yōu)化?？梢詾楦哂谧钪匾直媛实姆直媛蕡?zhí)行獨(dú)立和細(xì)化的運(yùn)動(dòng)估計(jì)和補(bǔ)償。截取最重要分辨率的運(yùn)動(dòng)信息，以產(chǎn)生低于該最重要分辨率的分辨率的運(yùn)動(dòng)信息。將產(chǎn)生的對(duì)應(yīng)于該分辨率和高分辨率的殘差圖像合并為一幅殘差圖像。為簡(jiǎn)便起見，假定總共有3個(gè)分辨率而且(l)＝2。通過(guò)以下過(guò)程實(shí)現(xiàn)運(yùn)動(dòng)信息和紋理的空間可擴(kuò)展性(i)中等分辨率下的運(yùn)動(dòng)信息和殘差圖像；(ii)高分辨率下的運(yùn)動(dòng)信息和殘差圖像；(iii)在低于最佳分辨率的分辨率下的運(yùn)動(dòng)信息截取。下面詳細(xì)描述每個(gè)過(guò)程。
中等分辨率下的運(yùn)動(dòng)信息和殘差圖像假定中等和最高分辨率下的參考幀是 和B(x，y)。 可以是SD(B(x，y))，其中參數(shù)SD()表示下采樣操作，如W.Han在“Response of Callfor Proposal for Scalable Video Coding”，ISO/IEC JTC1/SC29 WG 11MPEG2004/M10569/S7，Müenchen，Germany，March 2004中描述的。 和B(x，y)也可以是獨(dú)立的。使用 SD(B(x，y))之間的運(yùn)動(dòng)估計(jì)和補(bǔ)償和以下失真準(zhǔn)則來(lái)產(chǎn)生運(yùn)動(dòng)信息和殘差圖像DSDp(dx,dy)=Σx,y|SD(A)(x,y)-B~(x-dx,y-dy)|...(21)]]>高分辨率下的運(yùn)動(dòng)信息和殘差圖像為了實(shí)現(xiàn)最高分辨率下的快速和高效估計(jì)和編碼，利用已經(jīng)在中等分辨率下編碼的MV和塊劃分模式。所有MV優(yōu)選首先放大兩倍，然后作為預(yù)測(cè)MV的候選，從前一層獲得的塊劃分模式可以認(rèn)為是在最高分辨率下劃分共同定位塊的初始狀態(tài)。
使用B(x，y)、A(x，y)之間的運(yùn)動(dòng)估計(jì)和補(bǔ)償和以下失真準(zhǔn)則來(lái)產(chǎn)生運(yùn)動(dòng)信息和殘差圖像DSDSUp(dx,dy)=Σx,y|A(x,y)-SU(SD(A))(x,y)-(B(x-dx,y-dy)-SU(B~)(x-dx,y-dy))|...(22)]]>其中Su表示上采樣操作，如W.Han在上述參考文獻(xiàn)中描述的。
在圖3中的編碼殘差圖像IQ(Q(E31))通過(guò)以下由W.Han在上述參考文獻(xiàn)中描述的等式來(lái)計(jì)算IQ(Q(E31))=SU(IQ(Q(E21))+B~-SD(B))+IQ(Q(E31-SU(SD(E31))))...(23)]]>對(duì)應(yīng)的殘差圖像和運(yùn)動(dòng)信息是為對(duì)應(yīng)分辨率下的其余編碼過(guò)程產(chǎn)生的。
低分辨率下的運(yùn)動(dòng)信息截取在最低分辨率下，縮小對(duì)應(yīng)于 的比特速率范圍的所有MV并從中等分辨率下的MV中截取出來(lái)。在下降一個(gè)分辨率之后所有MV首先縮小一半。分辨率(l)下的最終塊劃分模式用作低于(l)的下一分辨率中的初始全運(yùn)動(dòng)矢量樹。使用 執(zhí)行樹修剪過(guò)程，以產(chǎn)生最終塊劃分模式。同樣，可以獲得在其它低分辨率下的運(yùn)動(dòng)信息和最終塊劃分模式。
矢量(dx，dy)和(dx0，dy0)是兩個(gè)運(yùn)動(dòng)矢量，其中(2dx0，2dy0)是通過(guò)使用圖3的基本ME/MC獲得的，(dx，dy)是(dx0，dy0)的截取矢量。另一個(gè)截取失真準(zhǔn)則定義如下Drt(dx,dy,dx0,dy0)=Σx,y|SD(B~(x-2dx,y-2dy))-SD(B~(x-2dx0,y-2dy0))|...(24)]]>如果滿足以下不等式，則將運(yùn)動(dòng)矢量(dx0，dy0)截取為(dx，dy)λ^opt(l)Rmv(dx,dy)+Drt(dx,dy,dx0,dy0)<λ^opt(l)Rmv(dx0,dy0)...(25)]]>同樣，為了保證最佳比特速率范圍的編碼效率，(dx，dy)優(yōu)選滿足以下不等式
λ^opt(l)Σdx,dyRmv(dx0-dx,dy0-dy)≤θ2...(26)]]>其中θ2是由用戶選擇的另一個(gè)比特?cái)?shù)閾值。
在本發(fā)明的另一實(shí)施例中，使用一個(gè)比特向用戶提供判斷是否切換為現(xiàn)有視頻編碼標(biāo)準(zhǔn)的靈活性。例如，如果將該比特設(shè)置為1，則切換為現(xiàn)有視頻編碼標(biāo)準(zhǔn)，整個(gè)比特流或者由兩個(gè)子比特流組成，一個(gè)與現(xiàn)有視頻編碼標(biāo)準(zhǔn)兼容，另一個(gè)以MCTF為基礎(chǔ)，或者由與現(xiàn)有視頻編碼標(biāo)準(zhǔn)兼容的一個(gè)比特流組成。否則，整個(gè)比特流全部以MCTF為基礎(chǔ)。
本領(lǐng)域的技術(shù)人員很容易理解，所描述的過(guò)程可以適當(dāng)?shù)赜糜布?、軟件、固件或這些實(shí)施方式的組合來(lái)實(shí)施。此外，一些或所有上述過(guò)程可以實(shí)施為駐留在計(jì)算機(jī)可讀介質(zhì)(可移動(dòng)盤、易失性或非易失性存儲(chǔ)器、嵌入式處理器等)上的計(jì)算機(jī)可讀指令代碼，該指令代碼可以對(duì)其它可編程設(shè)備的計(jì)算機(jī)編程以執(zhí)行想要的功能。
實(shí)例下面描述上述過(guò)程對(duì)低延遲情況的一般應(yīng)用。開始時(shí)，通過(guò)運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)和MCTF的無(wú)縫集成來(lái)最佳地產(chǎn)生低延遲情況的比特流。接著在一個(gè)實(shí)施例中通過(guò)使用具有最佳參數(shù) 的MCTF來(lái)產(chǎn)生低延遲情況的期望視頻序列。
例如，輸入幀速率是30HZ，幀大小是4CIF。用戶希望為低延遲來(lái)優(yōu)化針對(duì)頻率為7.5HZ的QCIF大小視頻序列的操作。在這種實(shí)例中，編碼器為低延遲的編碼來(lái)產(chǎn)生期望的畫面對(duì)4個(gè)連續(xù)的原始畫面執(zhí)行兩輪時(shí)間小波變換，以產(chǎn)生具有4CIF大小和7.5HZ的視頻序列。接著執(zhí)行兩輪二維空間小波變換，以產(chǎn)生期望的視頻序列。隨后使用例如H.264編碼器對(duì)視頻序列進(jìn)行編碼。
接著產(chǎn)生增強(qiáng)層比特流。此后，對(duì)在每個(gè)GOF中具有4CIF大小和預(yù)定參數(shù)的原始圖像執(zhí)行所有必需的MCTF，以產(chǎn)生低的和高子帶。使用在H.264編碼過(guò)程中重建的畫面來(lái)執(zhí)行更多輪的MCTF，以產(chǎn)生對(duì)應(yīng)的低和高子帶。它們之間的冗余將通過(guò)使用上述過(guò)程來(lái)消除。接著通過(guò)使用針對(duì)MCTF的現(xiàn)有方法對(duì)其余的信息進(jìn)行編碼。
設(shè)計(jì)運(yùn)動(dòng)補(bǔ)償方案的示例性實(shí)施例如下所示。開始時(shí)，為低延遲比特流將GOF的大小選擇為32，原始幀用Fi表示(1≤i≤32)。針對(duì)低延遲的期望時(shí)間可擴(kuò)展性分別是30Hz、15Hz和7.5Hz。所容許的延遲是2/15s。假定運(yùn)動(dòng)補(bǔ)償之后產(chǎn)生的幀用Pi表示(1≤i≤32)。運(yùn)動(dòng)補(bǔ)償方案通過(guò) 來(lái)表示，其中Aij∈R4×4。
要注意，還不存在與MCTF關(guān)聯(lián)的漂移問(wèn)題，而延遲可以如W.Han的上述參考文獻(xiàn)所述通過(guò)無(wú)約束的MCTF來(lái)控制。因此希望在提供低延遲比特流時(shí)盡可能地使用MCTF并將MCTF與無(wú)約束的MCTF無(wú)縫集成?？梢允褂孟旅娴姆椒▉?lái)達(dá)到這一目的1.由MCTF確定所有Aij(1≤i≤8)；2.由MCTF和無(wú)約束的MCTF/或基于閉環(huán)的運(yùn)動(dòng)補(bǔ)償來(lái)確定其它所有Aij。
假定 完美重建的充要條件是所有矩陣Aij(1≤i≤8)是非奇異的。由F＝A-1P (29)來(lái)重建視頻序列。有趣的情況是所有Aij(2≤i≤8)都相同。圖4示出一個(gè)實(shí)例。在MCTF中選擇5/3變換。所有Aij等于0，除了下面給定的矩陣
A11=1-1000-121-121478-14-781831638516]]>Aii=1-12000-121-12141-14-78181438516;2≤i≤8]]>Ai(i-1)=000-120000000-18-18-316-38-38;i=2,3,4,6,7,8]]>A54=000-120000000-18000-116]]>A53=000000000000-18-14-38-516]]>可以看到存在與無(wú)約束的MCTF關(guān)聯(lián)的漂移問(wèn)題，這可以通過(guò)控制漂移長(zhǎng)度來(lái)改善。在上述實(shí)例中，長(zhǎng)度設(shè)置為4。
在第二個(gè)實(shí)例中，實(shí)驗(yàn)是基于MC-EZBC幀間小波編碼器的，該編碼器可在ftp://ftp.cipr.rpi.edu/personal/chen/的MCEZBC軟件包中得到。在將本發(fā)明的方案與Choi和Woods的上述參考文獻(xiàn)中公開的方案進(jìn)行比較的測(cè)試中，使用4個(gè)標(biāo)準(zhǔn)視頻序列，即具有SIF大小(352×240)的花園和足球、具有CIF大小(352×288)的汽車和領(lǐng)班(Foreman)。這些序列的幀速率設(shè)置為30f/s。比特速率是1024kb/s。用設(shè)置為1個(gè)像素的、分層運(yùn)動(dòng)估計(jì)中最低分辨率的最大搜索寬度/高度，使用在Choi和Woods的上述參考文獻(xiàn)中描述的分層可變大小塊匹配(HVSBM)算法。在我們的實(shí)驗(yàn)中，還使用了具有重疊的1/8塊的重疊塊運(yùn)動(dòng)補(bǔ)償(OBMC)方案，以給予運(yùn)動(dòng)信息字段中更好的平滑性。運(yùn)動(dòng)信息的精度是半個(gè)像素。用于修剪過(guò)程的λopt(l)選擇為224。假定根據(jù)顧客組成在低比特速率來(lái)選擇最佳點(diǎn)。
實(shí)驗(yàn)結(jié)果在表2-5中示出，其中連字符“-”表示不足以表示運(yùn)動(dòng)信息的比特速率?？梢钥闯鑫覀兊姆桨缚捎糜趯SNR最大改善4.5dB。

表2利用不同方案的足球序列的平均PSNR的比較，GOF大?。?6

表3利用不同方案的花園的平均PSNR的比較，GOF大?。?6

表4利用不同方案的領(lǐng)班的平均PSNR的比較，GOF大?。?6

表5利用不同方案的汽車的平均PSNR的比較，GOF大?。?6合并的參考文獻(xiàn)通過(guò)引用合并下面的文獻(xiàn)[1]J.Ohm的“Three Dimensional Sub-band Coding with MotionCompensation”，IEEE Trans.on Image Processing，Vol.3，No.9，pp559-571，Sept 1994。
S.Choi和J.Woods，“Motion Compensated 3-D Sub-bandCoding of Video”，IEEE Trans.on Image Processing，Vol.8，No.2，pp.155-167，F(xiàn)eb.1999。
MCEZBC軟件包，ftp://ftp.cipr.rpi.edu/personal/chen/[4]H.Hang，S.Tsai和T.Chiang的“Motion Information Scalabilityfor MCEZBCResponse to Call for Evidence of Scalable Video Coding”，ISO/IEC JTC1/Sc29/WG11，MPEG2003/m9756，July 2003，Tronheim。
W.Han的“Response of Call for Proposal for Scalable VideoCoding”，ISO/IEC JTC1/SC29 WG 11 MPEG2004/M10569/S7，Müenchen，Germany，March 2004。
盡管已示出和描述了本發(fā)明的優(yōu)選實(shí)施例，但這只是示例性的，可對(duì)在此所描述的各種裝置和過(guò)程中進(jìn)行各種修改、變更和等同替換。因此本發(fā)明的范圍由所附權(quán)利要求的范圍來(lái)限定。
權(quán)利要求
1.一種可擴(kuò)展視頻編碼器，其包括柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊，其具有用于接收源視頻數(shù)據(jù)的第一輸入、用于接收期望比特速率和分辨率參數(shù)的第二輸入、及輸出，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可操作以輸出根據(jù)所述源視頻數(shù)據(jù)、所提供的分辨率和比特速率參數(shù)來(lái)計(jì)算的可擴(kuò)展運(yùn)動(dòng)矢量；運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊，其具有用于接收所述源視頻數(shù)據(jù)的第一輸入、用于接收所述可擴(kuò)展運(yùn)動(dòng)矢量的第二輸入、及輸出，所述運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊可操作以產(chǎn)生與當(dāng)前幀和先前幀的圖像之間的差異對(duì)應(yīng)的殘差圖像；可擴(kuò)展編碼模塊，其被耦合成接收所述可擴(kuò)展運(yùn)動(dòng)矢量并對(duì)其進(jìn)行編碼；離散變換模塊，其具有配置為接收所述殘差圖像的輸入、及輸出，所述離散變換模塊可操作以對(duì)所提供的視頻數(shù)據(jù)進(jìn)行域變換，使其成為系數(shù)序列；及分組模塊，其耦合至所述可擴(kuò)展編碼模塊和所述離散變換模塊，所述分組模塊可操作以將經(jīng)編碼的可擴(kuò)展運(yùn)動(dòng)矢量和所述系數(shù)序列組合為包。
2.根據(jù)權(quán)利要求1所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定比特速率，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊還可操作以截取比特速率數(shù)據(jù)，以產(chǎn)生比特速率低于所述預(yù)定比特速率的可擴(kuò)展運(yùn)動(dòng)矢量。
3.根據(jù)權(quán)利要求1或2所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定比特速率，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊還可操作以使用遞歸過(guò)程來(lái)細(xì)化比特速率數(shù)據(jù)，以產(chǎn)生比特速率高于所述預(yù)定比特速率的可擴(kuò)展運(yùn)動(dòng)矢量。
4.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定分辨率水平，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊還可操作以截取數(shù)據(jù)，以產(chǎn)生分辨率水平比所述預(yù)定分辨率水平低的可擴(kuò)展運(yùn)動(dòng)矢量。
5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定分辨率水平，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊還可操作以使用遞歸過(guò)程來(lái)細(xì)化分辨率數(shù)據(jù)，以產(chǎn)生分辨率水平高于所述預(yù)定分辨率水平的可擴(kuò)展運(yùn)動(dòng)矢量。
6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中所述離散變換模塊包括離散小波變換模塊。
7.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中所述離散變換模塊包括離散余弦變換模塊。
8.根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可操作以借助信噪比改善的運(yùn)動(dòng)估計(jì)和補(bǔ)償過(guò)程來(lái)執(zhí)行柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償，以產(chǎn)生信噪比改善的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
9.根據(jù)權(quán)利要求8所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可在預(yù)定分辨率水平下操作，并且其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊針對(duì)比所述預(yù)定分辨率水平低的分辨率水平來(lái)產(chǎn)生所述信噪比改善的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
10.根據(jù)權(quán)利要求8所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可在預(yù)定分辨率水平下操作，并且其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊針對(duì)處于不同于所述預(yù)定分辨率水平的第二分辨率水平的分辨率水平來(lái)產(chǎn)生所述信噪比改善的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
11.根據(jù)權(quán)利要求8所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可操作以可變地選擇運(yùn)動(dòng)信息的精度。
12.根據(jù)權(quán)利要求11所述的可擴(kuò)展視頻編碼器，其中對(duì)運(yùn)動(dòng)信息精度的可變選擇與所述比特速率有關(guān)。
13.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可操作以使用兩個(gè)參數(shù)λopt和λhigh來(lái)產(chǎn)生所述可擴(kuò)展運(yùn)動(dòng)矢量，其中λopt包括與預(yù)定最佳比特速率對(duì)應(yīng)的拉格朗日乘數(shù)，而λhigh包括與高于所述預(yù)定最佳比特速率的比特速率對(duì)應(yīng)的拉格朗日乘數(shù)。
14.根據(jù)權(quán)利要求13所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊可操作以在每個(gè)分辨率下為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生兩組運(yùn)動(dòng)信息和兩個(gè)殘差圖像。
15.一種可擴(kuò)展視頻編碼器，包括柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置，其具有用于接收源視頻數(shù)據(jù)、期望比特速率和分辨率參數(shù)的裝置，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置可操作以輸出根據(jù)所述源視頻數(shù)據(jù)、所提供的分辨率和比特速率參數(shù)來(lái)計(jì)算的可擴(kuò)展運(yùn)動(dòng)矢量；運(yùn)動(dòng)補(bǔ)償時(shí)間濾波裝置，其具有接收所述源視頻數(shù)據(jù)和所述可擴(kuò)展運(yùn)動(dòng)矢量的裝置，所述運(yùn)動(dòng)補(bǔ)償時(shí)間濾波裝置可操作以產(chǎn)生與當(dāng)前幀和先前幀的圖像之間的差異對(duì)應(yīng)的殘差圖像；可擴(kuò)展編碼裝置，其被耦合成接收所述可擴(kuò)展運(yùn)動(dòng)矢量并對(duì)其進(jìn)行編碼；離散變換裝置，其具有配置為接收所述殘差圖像的輸入、及輸出，所述離散變換裝置可操作以對(duì)所提供的視頻數(shù)據(jù)進(jìn)行域變換，使其成為系數(shù)序列；及分組裝置，其耦合至所述可擴(kuò)展編碼裝置和所述離散變換裝置，所述分組裝置可操作以將經(jīng)編碼的可擴(kuò)展運(yùn)動(dòng)矢量和所述系數(shù)序列組合為包。
16.根據(jù)權(quán)利要求15所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定比特速率，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置還可操作以截取比特速率數(shù)據(jù)，以產(chǎn)生比特速率低于所述預(yù)定比特速率的可擴(kuò)展運(yùn)動(dòng)矢量。
17.根據(jù)權(quán)利要求15或16所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定比特速率，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置還可操作以使用遞歸過(guò)程來(lái)細(xì)化比特速率數(shù)據(jù)，以產(chǎn)生比特速率高于所述預(yù)定比特速率的可擴(kuò)展運(yùn)動(dòng)矢量。
18.根據(jù)權(quán)利要求15至17中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量字段包括預(yù)定分辨率水平，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置還可操作以截取數(shù)據(jù)，以產(chǎn)生分辨率水平比所述預(yù)定分辨率水平低的可擴(kuò)展運(yùn)動(dòng)矢量。
19.根據(jù)權(quán)利要求15至18中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中通過(guò)所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置產(chǎn)生的所述可擴(kuò)展運(yùn)動(dòng)矢量包括預(yù)定分辨率水平，所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置還可操作以使用遞歸過(guò)程來(lái)細(xì)化分辨率數(shù)據(jù)，以產(chǎn)生分辨率水平高于所述預(yù)定分辨率水平的可擴(kuò)展運(yùn)動(dòng)矢量。
20.根據(jù)權(quán)利要求15至19中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置可操作以借助信噪比改善的運(yùn)動(dòng)估計(jì)和補(bǔ)償過(guò)程來(lái)執(zhí)行柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償，以產(chǎn)生信噪比改善的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
21.根據(jù)權(quán)利要求20所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置可在預(yù)定分辨率水平下操作，并且其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置針對(duì)比所述預(yù)定分辨率水平低的分辨率水平來(lái)產(chǎn)生所述信噪比改善的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
22.根據(jù)權(quán)利要求20所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置可在預(yù)定分辨率水平下操作，并且其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置針對(duì)處于不同于所述預(yù)定分辨率水平的第二分辨率水平的分辨率水平來(lái)產(chǎn)生所述信噪比改善的殘差圖像和對(duì)應(yīng)的運(yùn)動(dòng)矢量。
23.根據(jù)權(quán)利要求15至20中任一項(xiàng)所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置可操作以使用兩個(gè)參數(shù)λopt和λhigh來(lái)產(chǎn)生所述可擴(kuò)展運(yùn)動(dòng)矢量，其中λopt包括與預(yù)定最佳比特速率對(duì)應(yīng)的拉格朗日乘數(shù)，而λhigh包括與高于所述預(yù)定最佳比特速率的比特速率對(duì)應(yīng)的拉格朗日乘數(shù)。
24.根據(jù)權(quán)利要23所述的可擴(kuò)展視頻編碼器，其中所述柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償裝置可操作以在每個(gè)分辨率下為每個(gè)運(yùn)動(dòng)補(bǔ)償對(duì)產(chǎn)生兩組運(yùn)動(dòng)信息和兩個(gè)殘差圖像。
全文摘要
一種可擴(kuò)展編碼器，其具有柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊(110)、運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊(105)、可擴(kuò)展編碼模塊(115)、離散變換模塊(120)和分組模塊(135)。柵格運(yùn)動(dòng)估計(jì)和補(bǔ)償模塊(110)輸出根據(jù)源視頻數(shù)據(jù)、所提供的分辨率和比特速率參數(shù)來(lái)計(jì)算的可擴(kuò)展運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償時(shí)間濾波模塊(105)根據(jù)源視頻數(shù)據(jù)和可擴(kuò)展運(yùn)動(dòng)矢量來(lái)產(chǎn)生對(duì)應(yīng)于當(dāng)前幀和先前幀之間差異的殘差圖像?？蓴U(kuò)展編碼模塊(115)被耦合成接收可擴(kuò)展運(yùn)動(dòng)矢量并對(duì)其進(jìn)行編碼。離散變換模塊(120)配置為接收所提供的視頻數(shù)據(jù)并將其域變換為系數(shù)序列。分組模塊耦合至可擴(kuò)展編碼模塊(115)和離散變換模塊(120)，并且可將經(jīng)編碼的可擴(kuò)展運(yùn)動(dòng)矢量和系數(shù)序列組合為包。
文檔編號(hào)H04N7/36GK101049026SQ200580025854
公開日2007年10月3日 申請(qǐng)日期2005年6月23日 優(yōu)先權(quán)日2004年6月23日
發(fā)明者李正國(guó), 楊小康, 林慶帆, 林曉, S·拉哈爾賈, 潘峰 申請(qǐng)人:新加坡科技研究局