專利名稱：精細(xì)顆粒可伸縮性視頻編碼技術(shù)中增強(qiáng)層的改進(jìn)預(yù)測(cè)結(jié)構(gòu)的制作方法
背景技術(shù)：
總的來(lái)說(shuō)，本發(fā)明涉及視頻壓縮技術(shù)，具體而言，本發(fā)明涉及采用多個(gè)基層幀(base layer frames)來(lái)產(chǎn)生每一個(gè)增強(qiáng)層幀的一種伸縮結(jié)構(gòu)。
可伸縮視頻編碼技術(shù)是許多多媒體應(yīng)用和業(yè)務(wù)所需要的一種功能。例如，視頻伸縮性被用于采用具有大范圍處理能力的譯碼器的系統(tǒng)中。在這種情況下，計(jì)算能力低的處理器只對(duì)可伸縮視頻流的一個(gè)子集進(jìn)行譯碼。
可伸縮視頻技術(shù)的另一種應(yīng)用是可變傳輸帶寬環(huán)境。在這種情況下，帶寬較窄的接收機(jī)只對(duì)可伸縮視頻流的一個(gè)子集進(jìn)行接收和譯碼，其中這個(gè)可伸縮視頻流的這個(gè)子集的大小正比于可以獲得的帶寬。
MPEG-2和MPEG-4這樣的主流視頻壓縮標(biāo)準(zhǔn)采用了幾種視頻可伸縮性方法。在這些標(biāo)準(zhǔn)中規(guī)定了時(shí)間、空間和質(zhì)量(SNR)可伸縮性類型。所有這些方法都包括一個(gè)基層(BL)和一個(gè)增強(qiáng)層(EL)?？偟膩?lái)說(shuō)，可伸縮視頻流的基層部分代表對(duì)視頻類進(jìn)行譯碼所需要的最少的數(shù)據(jù)。視頻流的增強(qiáng)層部分是接收器譯碼的時(shí)候用來(lái)增強(qiáng)視頻信號(hào)的額外信息。
用于對(duì)靜止圖像進(jìn)行編碼的另外一類可伸縮性是精細(xì)顆?？缮炜s性(FGS)。用這種可伸縮性技術(shù)編碼的圖像被逐步譯碼。換句話說(shuō)，譯碼器在接收完對(duì)這一圖像進(jìn)行編碼的所有數(shù)據(jù)之前就開(kāi)始對(duì)這個(gè)圖像進(jìn)行譯碼和顯示。隨著收到的數(shù)據(jù)越來(lái)越多，譯碼后圖像的質(zhì)量逐漸提高，直到用于對(duì)這個(gè)圖像進(jìn)行編碼的所有數(shù)據(jù)被收到、譯碼和顯示。
在MPEG-4中正在對(duì)視頻信號(hào)精細(xì)顆?？缮炜s性進(jìn)行標(biāo)準(zhǔn)化，MPEG-4就是下一代多媒體國(guó)際標(biāo)準(zhǔn)。在這種可伸縮性結(jié)構(gòu)里，在基層中象其它普通視頻可伸縮性方法中一樣使用運(yùn)動(dòng)預(yù)測(cè)編碼技術(shù)。對(duì)于每一編碼基層幀，隨后利用精細(xì)顆?？缮炜s性方法對(duì)一個(gè)剩余圖像進(jìn)行計(jì)算和編碼，產(chǎn)生一個(gè)增強(qiáng)層幀。這種結(jié)構(gòu)消除了增強(qiáng)層幀之間的依賴性，因而具有精細(xì)顆?？缮炜s性，同時(shí)充分利用了基層中進(jìn)行預(yù)測(cè)的優(yōu)點(diǎn)，因而能夠提高編碼效率。


圖1畫出了FGS結(jié)構(gòu)的一個(gè)實(shí)例。如圖所示，這個(gè)結(jié)構(gòu)還包括一個(gè)基層和一個(gè)增強(qiáng)層。此外，每一個(gè)增強(qiáng)幀都是從同一時(shí)刻的原始基層幀產(chǎn)生的。這一點(diǎn)由從每個(gè)基層幀向上指向?qū)?yīng)的增強(qiáng)層幀的箭頭反映出來(lái)。
圖2畫出了FGS編碼系統(tǒng)的一個(gè)實(shí)例。這個(gè)系統(tǒng)包括一個(gè)網(wǎng)絡(luò)6，它的帶寬在(Bmin＝Rmin，Bmax＝Rmax)這個(gè)范圍內(nèi)可變。還畫出了一個(gè)計(jì)算功能框4，這個(gè)功能框用于估計(jì)或者測(cè)量當(dāng)前可用帶寬(R)。
此外，基層(BL)視頻編碼器8利用(Rmin，R)范圍內(nèi)的比特率(RBL)對(duì)視頻源2出來(lái)的信號(hào)進(jìn)行壓縮。在典型情況下，基層編碼器8利用最小比特率(Rmin)對(duì)信號(hào)進(jìn)行壓縮。當(dāng)基層在發(fā)送視頻信號(hào)之前就以離線形式進(jìn)行基層編碼的情況下尤其如此?？梢钥闯?，圖中的單元10用于計(jì)算剩余圖像12。
增強(qiáng)層(EL)編碼器14以比特率RBL對(duì)剩余信號(hào)12進(jìn)行壓縮，這個(gè)比特率可以在RBL到Rmax-RBL的范圍之內(nèi)。注意到視頻信號(hào)(增強(qiáng)層和基層)的編碼既可以實(shí)時(shí)進(jìn)行(如同圖中所暗示的一樣)，又可以在傳送圖像之前以離線方式進(jìn)行，這一點(diǎn)是非常重要的。在后一種情形中，如圖所示，視頻信號(hào)可以儲(chǔ)存起來(lái)，然后晚些時(shí)候在一個(gè)實(shí)時(shí)速率控制器16的控制下發(fā)送(或者傳送)。實(shí)施控制器16將當(dāng)前(實(shí)時(shí))可用帶寬R考慮在內(nèi)，選擇最佳的質(zhì)量增強(qiáng)層信號(hào)。因此，速率控制器16輸出的增強(qiáng)層信號(hào)的比特率等于R-RBL。
發(fā)明簡(jiǎn)述本發(fā)明的目的是對(duì)輸入的視頻數(shù)據(jù)進(jìn)行靈活同時(shí)高效編碼的一種技術(shù)。該方法要對(duì)叫做基層幀和增強(qiáng)層幀的一部分視頻數(shù)據(jù)進(jìn)行編碼。用MPEG-4或者M(jìn)PEG-2這種運(yùn)動(dòng)補(bǔ)償DCT編碼技術(shù)中的任意一種對(duì)基層幀進(jìn)行編碼。
剩余圖像是通過(guò)從輸入的視頻數(shù)據(jù)中減去預(yù)測(cè)信號(hào)產(chǎn)生的。根據(jù)本發(fā)明，預(yù)測(cè)是從有或者沒(méi)有運(yùn)動(dòng)補(bǔ)償?shù)亩鄠€(gè)譯碼基層幀形成的，在這里的編碼流中包括了模式選擇判決。由于這種預(yù)測(cè)非常有效，剩余圖像數(shù)據(jù)相對(duì)較少。然后用精細(xì)顆粒可伸縮性(比如DCT變換編碼或者小波編碼)對(duì)叫做增強(qiáng)層幀的剩余圖像進(jìn)行編碼。這樣就能夠?qū)崿F(xiàn)對(duì)視頻數(shù)據(jù)的靈活而且高效的編碼。
本發(fā)明還提供一種方法，它翻轉(zhuǎn)前面對(duì)視頻數(shù)據(jù)的編碼過(guò)程，產(chǎn)生譯碼后的幀。編碼后的數(shù)據(jù)包括兩部分，基層和增強(qiáng)層。該方法包括基層，它的譯碼方法取決于編碼方法(編碼器那里選擇的MPEG-2或者M(jìn)PEG-4)，從而產(chǎn)生譯碼后的基層視頻幀。還有，要譯碼的增強(qiáng)層取決于精細(xì)顆粒可伸縮性(比如編碼器那里選擇的離散余弦變換編碼或者小波編碼)，以此來(lái)產(chǎn)生增強(qiáng)層幀。對(duì)于編碼流中的模式判決信息，從多個(gè)譯碼后基層視頻幀中選擇出來(lái)的幀被用來(lái)產(chǎn)生預(yù)測(cè)信號(hào)，而不管有還是沒(méi)有運(yùn)動(dòng)補(bǔ)償。然后在譯碼基層視頻幀中增加預(yù)測(cè)來(lái)產(chǎn)生譯碼輸出視頻數(shù)據(jù)。
由于相鄰圖片具有很強(qiáng)的時(shí)間相關(guān)性，除了對(duì)應(yīng)的基層編碼幀以外，與某個(gè)原始圖像有關(guān)的信息還駐留在其它幀內(nèi)，注意到這一點(diǎn)是非常重要的。例如，前面的基層幀的壓縮質(zhì)量可能比當(dāng)前幀高，并且這兩個(gè)原始圖片之間的時(shí)間相關(guān)性非常強(qiáng)。在這種情況下，有可能是前面的基層幀比當(dāng)前基層幀攜帶了更多的當(dāng)前原始圖片信息。因此，最好是利用前面一個(gè)基層幀來(lái)計(jì)算這個(gè)圖片的增強(qiáng)層信號(hào)。
如同前面參考圖1所作的討論一樣，當(dāng)前FGS結(jié)構(gòu)從對(duì)應(yīng)的當(dāng)前基層幀產(chǎn)生每一個(gè)增強(qiáng)層幀。雖然不是那么復(fù)雜，這種結(jié)構(gòu)無(wú)法充分利用基層幀附近更大范圍內(nèi)能夠獲得的信息，而它能夠產(chǎn)生更好的增強(qiáng)信號(hào)。因此，根據(jù)本發(fā)明，與當(dāng)前基層幀相比，利用基層圖片周圍的信息可以為任意圖片產(chǎn)生增強(qiáng)層幀。
通過(guò)下面的數(shù)學(xué)公式來(lái)說(shuō)明當(dāng)前可伸縮結(jié)構(gòu)和新的可伸縮結(jié)構(gòu)之間的差別。當(dāng)前的增強(qiáng)結(jié)構(gòu)用以下公式表示E(t)＝O(t)-B(t)， (1)其中E(t)是增強(qiáng)層信號(hào)，O(t)是原始圖片，B(t)是時(shí)刻“t”的基層編碼圖片。本發(fā)明的新的增強(qiáng)結(jié)構(gòu)用以下表達(dá)式說(shuō)明E(t)＝O(t)-sum{a(t-i)*M(B(t-i))} (2)i＝L1，-L1+1，...，0，1，...，L2-1，L2其中L1和L2是“局部性，”參數(shù)，而a(t-i)則是給每個(gè)基層圖片的加權(quán)參數(shù)。權(quán)值a(t-i)受到如下約束0＜＝a(t-i)＜+1 (3)Sum{a(t-i)}＝1i＝-L1，-L1+1，...，0，1，...，L2-1，L2此外，選擇等式(2)的加權(quán)參數(shù)a(t-i)的時(shí)候最好是使得增強(qiáng)層信號(hào)E(t)的尺寸最小。這一計(jì)算是在增強(qiáng)層剩余計(jì)算單元中進(jìn)行的。但是，如果無(wú)法獲得進(jìn)行這一計(jì)算所需要的計(jì)算能力，那么這個(gè)權(quán)參數(shù)a(t-i)就可以在0和1之間切換，或者平均成a(t+1)＝0.5或者a(t-1)＝0.5。
公式(2)中的M運(yùn)算符表示運(yùn)動(dòng)估計(jì)運(yùn)算，因?yàn)橄噜張D片或者幀內(nèi)的對(duì)應(yīng)部分通常都因?yàn)橐曨l圖像的運(yùn)動(dòng)而不在同一個(gè)位置。這樣，在相鄰基層圖片或者幀上進(jìn)行運(yùn)動(dòng)估計(jì)運(yùn)算，為等式2中定義的增強(qiáng)層信號(hào)產(chǎn)生運(yùn)動(dòng)補(bǔ)償(MC)信息。一般情況下，MC信息包括運(yùn)動(dòng)矢量和相鄰圖片之間的所有差別信息。
根據(jù)本發(fā)明，計(jì)算方法有幾種，為按照公式(2)產(chǎn)生的增強(qiáng)層信號(hào)使用，和發(fā)送運(yùn)動(dòng)補(bǔ)償(MC)信息。例如，用于M運(yùn)算符的運(yùn)動(dòng)補(bǔ)償信息可以與基層計(jì)算出來(lái)的運(yùn)動(dòng)補(bǔ)償信息(例如運(yùn)動(dòng)矢量)相同。但是，會(huì)出現(xiàn)基層沒(méi)有所需運(yùn)動(dòng)補(bǔ)償信息的情況。
例如，采用后向預(yù)測(cè)的時(shí)候，如果沒(méi)有作為基層的一部分計(jì)算并且發(fā)送出去(例如如果基層只包括I和P圖片而不包括B圖片)，就必須計(jì)算并且發(fā)送后向運(yùn)動(dòng)補(bǔ)償信息。在基層需要的以外需要計(jì)算和發(fā)送的運(yùn)動(dòng)信息的信息量的基礎(chǔ)之上，有三種可能。
在一種可能中，只是為增強(qiáng)層預(yù)測(cè)計(jì)算另外一組運(yùn)動(dòng)矢量所增加的復(fù)雜性無(wú)關(guān)緊要。從理論上講，這一選擇應(yīng)該給隨后的壓縮提供最好的增強(qiáng)層信號(hào)。
在第二種可能中，增強(qiáng)層預(yù)測(cè)只利用基層中已經(jīng)計(jì)算出來(lái)的運(yùn)動(dòng)矢量。某個(gè)圖片的增強(qiáng)層預(yù)測(cè)的源圖片(預(yù)測(cè)是從這些圖片進(jìn)行的)必定是同一圖片基層中使用的那些的一個(gè)子集。例如，如果基層是一幅內(nèi)圖片，那么它的增強(qiáng)層只能從同一個(gè)內(nèi)基圖片預(yù)測(cè)。如果這個(gè)基層是一個(gè)P圖片，那么它的增強(qiáng)圖片必須從用作基層運(yùn)動(dòng)預(yù)測(cè)的同樣的參考圖片預(yù)測(cè)，B圖片也是這樣。
上面描述的第二種情況可能限制增強(qiáng)層能夠使用的預(yù)測(cè)的類型。但是，它不要求傳送額外的運(yùn)動(dòng)矢量，也不需要計(jì)算任何額外的運(yùn)動(dòng)矢量。因此，這樣就能夠降低編碼器的復(fù)雜性，而只略微犧牲質(zhì)量。
第三種可能介于前兩種可能之間。在這種可能中，對(duì)增強(qiáng)層可以使用的預(yù)測(cè)的類型沒(méi)有多少或者根本沒(méi)有限制。對(duì)于剛好擁有所需增強(qiáng)預(yù)測(cè)類型所需要的基層運(yùn)動(dòng)矢量的圖片，重復(fù)使用基運(yùn)動(dòng)矢量。對(duì)于其它圖片，單獨(dú)為增強(qiáng)預(yù)測(cè)計(jì)算運(yùn)動(dòng)矢量。
上述公式為增強(qiáng)層信號(hào)的計(jì)算提供了通用框架。但是，在這里值得注意通用框架中的幾個(gè)特別之處。例如，如果在公式(2)中L1＝L2＝O，新的FGS增強(qiáng)預(yù)測(cè)結(jié)構(gòu)就縮減為圖1所示的當(dāng)前FGS增強(qiáng)預(yù)測(cè)結(jié)構(gòu)。應(yīng)該指出，這種新結(jié)構(gòu)提供的功能一點(diǎn)也不會(huì)被這里建議的改進(jìn)所削弱，因?yàn)樵鰪?qiáng)層圖片之間的關(guān)系沒(méi)有改變，因?yàn)樵鰪?qiáng)層圖片不是互相導(dǎo)出的。
除此以外，如果在公式(2)中L1＝0并且L2＝1，那么這個(gè)通用框架縮減為圖3所示的可收縮性結(jié)構(gòu)。在本發(fā)明可收縮性結(jié)構(gòu)的這個(gè)實(shí)例里，當(dāng)前基層幀和后一個(gè)基層幀被用來(lái)產(chǎn)生每一個(gè)增強(qiáng)層幀。因此，公式(2)中的M運(yùn)算符將進(jìn)行前向預(yù)測(cè)。
類似地，如果公式(2)中L1＝1并且L2＝0，那么這個(gè)通用框架縮減為圖4所示的可伸縮結(jié)構(gòu)。在本發(fā)明可伸縮結(jié)構(gòu)的這個(gè)實(shí)例中，當(dāng)前的基層幀和前一個(gè)基層幀被用于產(chǎn)生每一個(gè)增強(qiáng)層幀。因此，公式(2)中的M運(yùn)算符將進(jìn)行后向預(yù)測(cè)。
除此以外，如果公式(2)中L1＝L2＝1，那么這個(gè)通用框架就縮減為圖5所示的可伸縮結(jié)構(gòu)。在本發(fā)明可伸縮結(jié)構(gòu)的這個(gè)實(shí)例中，當(dāng)前的、后面的和前面的基層幀被用于產(chǎn)生每一個(gè)增強(qiáng)層幀。因此，公式(2)中的M運(yùn)算符將進(jìn)行雙向預(yù)測(cè)。
在圖6中說(shuō)明本發(fā)明的一個(gè)編碼器實(shí)例。可以看出，這個(gè)編碼器包括一個(gè)基層編碼器18和一個(gè)增強(qiáng)層譯碼器36。這個(gè)基層編碼器18對(duì)輸入視頻O(t)的一部分進(jìn)行編碼，以便產(chǎn)生基層信號(hào)。此外，增強(qiáng)層編碼器36對(duì)輸入視頻O(t)的其余部分進(jìn)行編碼，產(chǎn)生增強(qiáng)層信號(hào)。
可以看出，基層編碼器18包括一個(gè)運(yùn)動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)功能塊20，一個(gè)離散余弦變換(DCT)功能塊22，一個(gè)量化功能塊24，一個(gè)可變長(zhǎng)度編碼(VLC)功能塊26和一個(gè)基層緩沖器28。在工作的過(guò)程中，這個(gè)運(yùn)動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)功能塊20對(duì)輸入的視頻信號(hào)O(t)進(jìn)行運(yùn)動(dòng)估計(jì)，產(chǎn)生運(yùn)動(dòng)矢量，以及關(guān)于如何對(duì)數(shù)據(jù)進(jìn)行編碼產(chǎn)生模式判決，傳遞給VLC功能塊26。此外，運(yùn)動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)功能塊20還將輸入視頻信號(hào)O(t)的另一部分不加改變地傳送給DCT功能塊22。這一部分對(duì)應(yīng)于輸入的視頻信號(hào)O(t)，它們將被編碼成I幀和沒(méi)有編碼進(jìn)運(yùn)動(dòng)矢量的部分B和P幀。
離散余弦變換功能塊22對(duì)從運(yùn)動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)功能塊20收到的輸入視頻信號(hào)進(jìn)行離散余弦變換。此外，量化功能塊24對(duì)離散余弦變換功能塊22的輸出進(jìn)行量化。可變長(zhǎng)度編碼功能塊26對(duì)運(yùn)動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)功能塊20和量化功能塊24的輸出進(jìn)行可變長(zhǎng)度編碼，產(chǎn)生基層幀。輸出進(jìn)行實(shí)時(shí)傳送或者長(zhǎng)時(shí)間儲(chǔ)存之前，這些基層幀暫時(shí)儲(chǔ)存在基層比特緩沖器28中。
還可以看到，一個(gè)逆量化功能塊34和一個(gè)逆離散余弦變換功能塊32串聯(lián)在量化功能塊24的輸出端。在工作的時(shí)候，這些功能塊32和34提供前面的編碼幀的譯碼后版本，儲(chǔ)存在一個(gè)幀存儲(chǔ)器30中。譯碼后的這一幀被運(yùn)動(dòng)估計(jì)/補(bǔ)償預(yù)測(cè)功能塊20用來(lái)為當(dāng)前幀產(chǎn)生運(yùn)動(dòng)矢量。利用前一幀的譯碼后版本就能夠使譯碼器一側(cè)的運(yùn)動(dòng)補(bǔ)償更加精確，因?yàn)樵谧g碼器一側(cè)它與收到的相同。
從圖6還可以看出，增強(qiáng)層編碼器36包括一個(gè)增強(qiáng)預(yù)測(cè)和剩余計(jì)算功能塊38，一個(gè)增強(qiáng)層FGS編碼功能塊40和一個(gè)增強(qiáng)層緩沖器42。在工作的時(shí)候，增強(qiáng)預(yù)測(cè)和剩余計(jì)算功能塊38通過(guò)從輸入視頻信號(hào)O(t)中減去預(yù)測(cè)信號(hào)來(lái)產(chǎn)生剩余圖像信號(hào)。
根據(jù)本發(fā)明，按照公式(2)從多個(gè)基層幀B(t)，B(t-1)形成預(yù)測(cè)信號(hào)。如前所述，B(t)代表當(dāng)前基層幀，B(t-i)代表一個(gè)或者多個(gè)相鄰基層幀，比如前一幀，后一幀或者這兩者。因此，利用多個(gè)基層幀形成每一個(gè)剩余圖像。
此外，增強(qiáng)層FGS編碼功能塊40被用于對(duì)增強(qiáng)預(yù)測(cè)和剩余計(jì)算功能塊38產(chǎn)生的剩余圖像進(jìn)行編碼，產(chǎn)生增強(qiáng)層幀。增強(qiáng)層編碼功能塊40使用的編碼技術(shù)可以是任意精細(xì)顆?？缮炜s編碼技術(shù)，比如離散余弦變換或者小波圖像編碼。輸出進(jìn)行實(shí)時(shí)傳輸或者長(zhǎng)時(shí)間儲(chǔ)存之前，增強(qiáng)層幀暫時(shí)儲(chǔ)存在增強(qiáng)層比特緩沖器42中。
圖7說(shuō)明本發(fā)明一個(gè)譯碼器實(shí)例?？梢钥闯?，譯碼器包括一個(gè)基層譯碼器44和一個(gè)增強(qiáng)層譯碼器56?；鶎幼g碼器44對(duì)進(jìn)來(lái)的基層幀進(jìn)行譯碼，產(chǎn)生基層視頻信號(hào)B’(t)。此外，增強(qiáng)層譯碼器56對(duì)進(jìn)來(lái)的增強(qiáng)層幀進(jìn)行譯碼，將這些幀與適當(dāng)?shù)淖g碼后基層幀進(jìn)行組合，產(chǎn)生增強(qiáng)輸出視頻信號(hào)O’(t)。
可以看出，基層譯碼器44包括可變長(zhǎng)度譯碼(VLD)功能塊46，逆量化功能塊48和逆離散傅里葉變換功能塊50。在工作的過(guò)程中，這些功能塊46、48、50對(duì)進(jìn)來(lái)的基層幀分別進(jìn)行可變長(zhǎng)度譯碼、逆量化和逆離散余弦變換，產(chǎn)生譯碼運(yùn)動(dòng)矢量、I幀、部分B和P幀。
基層譯碼器44還包括運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)功能塊52，用于對(duì)逆離散余弦變換功能塊50的輸出進(jìn)行運(yùn)動(dòng)補(bǔ)償，產(chǎn)生基層視頻信號(hào)。此外，還有一個(gè)幀存儲(chǔ)器54，用來(lái)儲(chǔ)存以前譯碼的基層幀B’(t-i)。于是就能夠在儲(chǔ)存在幀存儲(chǔ)器54中的譯碼后運(yùn)動(dòng)矢量和基層幀B’(t-i)的基礎(chǔ)之上對(duì)部分B或者P幀進(jìn)行運(yùn)動(dòng)補(bǔ)償。
可以看出，增強(qiáng)層譯碼器56包括一個(gè)增強(qiáng)層FGS譯碼功能塊58和一個(gè)增強(qiáng)預(yù)測(cè)和剩余組合功能塊60。在工作的時(shí)候，增強(qiáng)層FGS譯碼塊58對(duì)進(jìn)來(lái)的增強(qiáng)層幀進(jìn)行譯碼。這種譯碼是編碼器一側(cè)所進(jìn)行的操作的逆操作，它可能包括任何精細(xì)顆?？缮炜s性技術(shù)，比如離散余弦變換或者小波圖像譯碼。
此外，增強(qiáng)預(yù)測(cè)和剩余合并功能塊60將譯碼后的增強(qiáng)層幀E’(t)與基層視頻信號(hào)B’(t)、B’(t-i)進(jìn)行合并，以便產(chǎn)生增強(qiáng)視頻信號(hào)O’(t)。具體而言，每個(gè)譯碼后的增強(qiáng)層幀E’(t)都與預(yù)測(cè)信號(hào)合并。根據(jù)本發(fā)明，從當(dāng)前的基層幀B’(t)和儲(chǔ)存在幀存儲(chǔ)器54中的至少一個(gè)其它基層幀B’(t-i)形成預(yù)測(cè)信號(hào)。根據(jù)本發(fā)明，另一個(gè)基層幀可以是一個(gè)相鄰幀，比如前一幀，后一幀或者這兩者。這些幀按照以下公式合并O’(t)＝E’(t)+sum{a(t-i)*M(B’(t-i))}(4)i＝-L1，-L1+1，...，0，1，...，L2-1，L2，其中M運(yùn)算符是運(yùn)動(dòng)位移或者補(bǔ)償運(yùn)算符，a(t-i)是一個(gè)加權(quán)參數(shù)。公式(4)中進(jìn)行的運(yùn)算是公式(2)所示譯碼器一側(cè)進(jìn)行的運(yùn)算的逆運(yùn)算?？梢钥闯觯@些運(yùn)算包括將每一個(gè)譯碼后的增強(qiáng)層幀E’(t)加到運(yùn)動(dòng)補(bǔ)償后的基層視頻幀的加權(quán)和上去。
在圖8中給出能夠采用本發(fā)明的一個(gè)系統(tǒng)實(shí)例。作為一個(gè)實(shí)例，系統(tǒng)66可以表示電視機(jī)、機(jī)頂盒、臺(tái)式計(jì)算機(jī)、膝上型或者掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、盒式磁帶錄像機(jī)(VCR)、數(shù)字錄像機(jī)(DVR)、TiVO裝置等等這樣的視頻/圖像存儲(chǔ)器以及這些裝置和其它裝置的部分或者組合。系統(tǒng)66包括一個(gè)或者多個(gè)視頻源68，一個(gè)或者多個(gè)輸入/輸出裝置76，一個(gè)處理器70和一個(gè)存儲(chǔ)器72。
視頻/圖像源68可以代表，例如電視接收機(jī)，VCR或者其它視頻/圖像存儲(chǔ)器。源68也可以代表一個(gè)或者多個(gè)網(wǎng)絡(luò)連接，用于從服務(wù)器或者因特網(wǎng)、廣域網(wǎng)、城際網(wǎng)、局域網(wǎng)、陸地廣播系統(tǒng)、有線網(wǎng)、衛(wèi)星網(wǎng)、無(wú)線網(wǎng)或者電話網(wǎng)這樣的全球計(jì)算機(jī)通信網(wǎng)或者這些網(wǎng)絡(luò)和其它網(wǎng)絡(luò)的一部分或者組合上的服務(wù)器接收視頻信號(hào)。
輸入/輸出裝置76、處理器70和存儲(chǔ)器72通過(guò)通信媒介78進(jìn)行通信。通信媒介78可以代表例如總線、通信網(wǎng)、一個(gè)或者多個(gè)內(nèi)部電路連接、電路卡或者其它裝置，以及這些通信媒介和其它通信媒介的一部分和它們的組合。從源68輸入的視頻數(shù)據(jù)按照存儲(chǔ)器72中儲(chǔ)存，處理器70執(zhí)行的一個(gè)或者多個(gè)軟件程序來(lái)進(jìn)行處理，從而產(chǎn)生視頻/圖像，在顯示器74上顯示出來(lái)。
在一個(gè)實(shí)施方案中，采用本發(fā)明的新的可伸縮性結(jié)構(gòu)的編碼和譯碼技術(shù)是利用計(jì)算機(jī)能夠讀，這個(gè)系統(tǒng)能夠執(zhí)行的代碼來(lái)實(shí)現(xiàn)的。這些代碼可以儲(chǔ)存在存儲(chǔ)器72中，或者從CD-ROM或者軟盤這樣的存儲(chǔ)媒介讀出/下載。在其它實(shí)施方案中，可以用硬件電路來(lái)代替軟件指令，或者與它們結(jié)合，來(lái)實(shí)現(xiàn)本發(fā)明。例如，圖6～7所示的部件也可以作為離散的硬件實(shí)現(xiàn)。
雖然前面用具體實(shí)例描述了本發(fā)明，但是應(yīng)該明白，本發(fā)明不是只限于這里公開(kāi)的實(shí)例。例如，本發(fā)明不限于任何具體的編碼幀類型和概率分布。相反，本發(fā)明包括包括在權(quán)利要求的實(shí)質(zhì)和范圍之內(nèi)的各種結(jié)構(gòu)和改進(jìn)。
權(quán)利要求
1.對(duì)視頻數(shù)據(jù)進(jìn)行編碼的一種方法，包括以下步驟對(duì)一部分視頻數(shù)據(jù)進(jìn)行編碼，產(chǎn)生基層幀；對(duì)于每個(gè)剩余圖像利用多個(gè)基層幀從視頻數(shù)據(jù)和基層幀產(chǎn)生剩余圖像；和用精細(xì)顆?？缮炜s性技術(shù)對(duì)剩余圖像進(jìn)行編碼，產(chǎn)生增強(qiáng)層幀。
2.權(quán)利要求1的方法，其中的多個(gè)基層幀包括當(dāng)前的基層幀和至少一個(gè)相鄰基層幀。
3.權(quán)利要求1的方法，其中的每個(gè)剩余圖像都是通過(guò)從視頻數(shù)據(jù)中減去預(yù)測(cè)信號(hào)產(chǎn)生的，其中的預(yù)測(cè)信號(hào)是由多個(gè)基層幀形成的。
4.權(quán)利要求3的方法，其中的預(yù)測(cè)信號(hào)是利用以下步驟產(chǎn)生的對(duì)每個(gè)基層幀進(jìn)行運(yùn)動(dòng)估計(jì)；對(duì)每個(gè)基層幀進(jìn)行加權(quán)；和將多個(gè)基層幀加起來(lái)。
5.用于對(duì)包括一個(gè)基層和一個(gè)增強(qiáng)層的視頻信號(hào)進(jìn)行譯碼的一種方法，包括以下步驟對(duì)基層進(jìn)行譯碼以產(chǎn)生基層視頻幀；用精細(xì)顆?？缮炜s性技術(shù)對(duì)增強(qiáng)層進(jìn)行譯碼，產(chǎn)生增強(qiáng)層視頻幀；和將每個(gè)增強(qiáng)層視頻幀和多個(gè)基層視頻幀結(jié)合產(chǎn)生輸出視頻信號(hào)。
6.權(quán)利要求5的方法，其中的多個(gè)基層視頻幀包括當(dāng)前基層視頻幀和至少一個(gè)相鄰的基層視頻幀。
7.權(quán)利要求5的方法，其中的結(jié)合步驟是通過(guò)將每個(gè)增強(qiáng)層增加到預(yù)測(cè)信號(hào)中去形成的，其中的預(yù)測(cè)信號(hào)是由多個(gè)基層視頻幀形成的。
8.權(quán)利要求7的方法，其中的預(yù)測(cè)信號(hào)是按照以下步驟產(chǎn)生的對(duì)每個(gè)基層視頻幀進(jìn)行運(yùn)動(dòng)補(bǔ)償；對(duì)每個(gè)基層視頻幀進(jìn)行加權(quán)；和將多個(gè)基層視頻幀加起來(lái)。
9.對(duì)視頻數(shù)據(jù)進(jìn)行編碼的一種裝置，包括對(duì)一部分視頻數(shù)據(jù)進(jìn)行編碼產(chǎn)生基層幀的第一個(gè)編碼器；對(duì)于每個(gè)剩余幀利用多個(gè)基層幀從視頻數(shù)據(jù)和基層幀產(chǎn)生剩余圖像的增強(qiáng)預(yù)測(cè)和剩余計(jì)算功能塊；和用精細(xì)顆?？缮炜s性技術(shù)對(duì)剩余幀進(jìn)行編碼產(chǎn)生增強(qiáng)層幀的第二個(gè)編碼器。
10.對(duì)視頻信號(hào)進(jìn)行譯碼的一種裝置，包括一個(gè)基層和一個(gè)增強(qiáng)層，包括以下步驟對(duì)基層進(jìn)行譯碼產(chǎn)生基層視頻幀的第一個(gè)譯碼器；利用精細(xì)顆?？缮炜s技術(shù)對(duì)增強(qiáng)層進(jìn)行譯碼產(chǎn)生增強(qiáng)層視頻幀的第二個(gè)譯碼器；和將多個(gè)基層視頻幀和每個(gè)增強(qiáng)層視頻幀結(jié)合起來(lái)的一個(gè)增強(qiáng)預(yù)測(cè)和剩余結(jié)合功能塊。
11.包括代碼用來(lái)對(duì)視頻數(shù)據(jù)進(jìn)行編碼的一種存儲(chǔ)媒介，這些代碼包括對(duì)一部分視頻數(shù)據(jù)進(jìn)行編碼產(chǎn)生基層幀的代碼；對(duì)于每個(gè)剩余圖像利用多個(gè)基層幀從視頻數(shù)據(jù)和基層幀產(chǎn)生剩余圖像的代碼；和利用精細(xì)顆?？缮炜s性技術(shù)對(duì)剩余圖像進(jìn)行編碼產(chǎn)生增強(qiáng)層幀的代碼。
12.包括代碼對(duì)包括基層和增強(qiáng)層的視頻信號(hào)進(jìn)行譯碼的一種存儲(chǔ)媒介，這些代碼包括對(duì)基層進(jìn)行譯碼產(chǎn)生基層視頻幀的代碼；利用精細(xì)顆?？缮炜s性技術(shù)對(duì)增強(qiáng)層進(jìn)行譯碼產(chǎn)生增強(qiáng)層視頻幀的代碼；和將每一個(gè)增強(qiáng)層視頻幀與多個(gè)基層視頻幀結(jié)合產(chǎn)生輸出視頻的代碼。
全文摘要
本發(fā)明的目的是提供一種技術(shù)，用來(lái)靈活、有效地對(duì)視頻數(shù)據(jù)進(jìn)行編碼。這種技術(shù)要對(duì)叫做基層幀的一部分視頻數(shù)據(jù)進(jìn)行編碼，以及對(duì)視頻數(shù)據(jù)和預(yù)測(cè)信號(hào)產(chǎn)生的剩余圖像進(jìn)行編碼。每個(gè)視頻幀的預(yù)測(cè)是利用多個(gè)譯碼后的基層幀產(chǎn)生的，可以利用運(yùn)動(dòng)補(bǔ)償。這些剩余圖像叫做增強(qiáng)層幀，隨后被編碼。在這一技術(shù)的基礎(chǔ)之上，由于采用了周圍的一些基層幀，因此能夠獲得更好的預(yù)測(cè)。由于增強(qiáng)層幀中得到的剩余數(shù)據(jù)很少，因此能夠?qū)λ鼈冞M(jìn)行有效的編碼。對(duì)于增強(qiáng)層幀的編碼，可以采用精細(xì)顆?？缮炜s性技術(shù)(比如離散余弦變換編碼或者小波編碼)。譯碼過(guò)程是編碼過(guò)程的相反過(guò)程。因此，能夠靈活同時(shí)有效地對(duì)視頻數(shù)據(jù)進(jìn)行編碼和譯碼。
文檔編號(hào)G06T9/00GK1457605SQ02800425
公開(kāi)日2003年11月19日 申請(qǐng)日期2002年2月14日 優(yōu)先權(quán)日2001年2月26日
發(fā)明者A·普里, Y·陳, H·拉哈 申請(qǐng)人:皇家菲利浦電子有限公司