專利名稱：視頻傳輸時在比特流之間的切換的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于發(fā)送視頻信息的方法，其中至少第一比特流和第二比特流由視頻信息形成，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組幀，它包括至少一個預(yù)測的視頻幀，至少部分不同的編碼參量被使用于編碼所述第一比特流和所述第二比特流的幀，所述第一比特流的至少一個幀被發(fā)送，以及傳輸從所述第一比特流切換到所述第二比特流。本發(fā)明也涉及編碼器，包括用于從視頻信息形成至少第一比特流和第二比特流的裝置，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組幀，它包括至少一個預(yù)測的視頻幀；用于使用至少部分不同的編碼參量用于編碼所述第一比特流和所述第二比特流的幀的裝置；用于發(fā)送所述第一比特流的至少一個幀的裝置；以及用于把傳輸從所述第一比特流切換到所述第二比特流的裝置。本發(fā)明還涉及用于從包括由視頻信息形成的至少第一比特流和第二比特流的幀的信號解碼視頻信息的解碼器，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組幀，它包括至少一個預(yù)測的視頻幀，至少部分不同的編碼參量被使用于編碼所述第一比特流和所述第二比特流的幀。本發(fā)明還涉及表示已編碼的視頻信息的并包括由視頻信息形成的至少第一比特流和第二比特流的幀的信號，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組幀，它包括至少一個預(yù)測的視頻幀，至少部分不同的編碼參量被使用于編碼所述第一比特流和所述第二比特流的幀。
背景技術(shù)：
最近，包括以數(shù)據(jù)流的形式出現(xiàn)的音頻和視頻信息的多媒體應(yīng)用得到很大的使用。幾個國際標(biāo)準(zhǔn)化組織建立和提出用于壓縮/編碼和解壓縮/解碼音頻與視頻信息的標(biāo)準(zhǔn)。由活動圖象專家組建立的MPEG標(biāo)準(zhǔn)是在多媒體應(yīng)用領(lǐng)域中被最廣泛接受的國際標(biāo)準(zhǔn)。VCEG是在ITU電信標(biāo)準(zhǔn)化組(ITU-T)引導(dǎo)下工作的“視頻編碼專家組”。這個組致力于用于活動圖象的編碼的標(biāo)準(zhǔn)H.26L。
典型的視頻流包括一個圖象序列，常常被稱為幀。這些幀包括被安排成長方形形式的象素。在現(xiàn)有的視頻編碼標(biāo)準(zhǔn)中，諸如H.261，H.262，H.263，H.26L和MPEG-4，規(guī)定了三種主要類型的圖象內(nèi)部幀(I幀)，預(yù)測的幀(P幀)和雙向幀(B幀)。每種圖象類型利用圖象序列中的不同類型的冗余度，因此導(dǎo)致不同程度的壓縮效率，正如下面說明的，在已編碼的視頻序列內(nèi)提供不同的功能。內(nèi)部幀是通過只利用在幀本身內(nèi)的象素的空間相關(guān)性，而不使用來自過去的或?qū)淼膸娜魏涡畔?，進(jìn)行編碼的視頻數(shù)據(jù)的幀。內(nèi)部幀被用作解碼/解壓縮其他幀的基礎(chǔ)，以及提供對于編碼的序列的訪問點，由此可開始進(jìn)行解碼。
預(yù)測幀是從所謂的參考幀(即，在編碼器或解碼器中可得到的、一個或多個先前的/以后的內(nèi)部幀或預(yù)測幀)通過使用運動補(bǔ)償預(yù)測被編碼/壓縮的幀。雙向幀是從先前的內(nèi)部幀或預(yù)測幀和/或以后的內(nèi)部幀或預(yù)測幀通過預(yù)測而被編碼/壓縮的幀。
由于在典型的視頻序列中相鄰的幀是高度相關(guān)的，所以當(dāng)使用雙向幀或預(yù)測幀而不是內(nèi)部幀時可達(dá)到更高的壓縮。另一方面，當(dāng)在編碼的視頻流內(nèi)采用時間預(yù)測編碼時，B幀和/或P幀在沒有正確地解碼被使用于編碼雙向幀和預(yù)測幀的所有其他的先前的和/或以后的參考幀的情形下不能被解碼。由于傳輸期間的錯誤或由于在發(fā)送端的某些故意的行動，在編碼器中使用的參考幀和在解碼器中使用的相應(yīng)的參考幀是不同的情形下，利用從這樣的參考幀進(jìn)行的預(yù)測的以后的幀在解碼端不能被重建來產(chǎn)生與原先在編碼端編碼的幀相同的解碼的幀。這種誤匹配不僅僅限于單個幀，而且還由于使用運動補(bǔ)償編碼而隨時傳播。


圖1A-1C顯示在典型的視頻編碼/解碼系統(tǒng)中使用的、編碼/壓縮視頻幀的類型。有利地，在編碼之前，視頻序列的圖象由多個比特數(shù)的這些矩陣來表示，一個矩陣表示圖象象素的亮度(發(fā)光度)，另兩個，每個表示兩個色度(彩色)分量的各個分量。圖1A顯示內(nèi)部幀200只使用該幀本身所存在的圖象信息被編碼的方式。圖1B顯示預(yù)測幀210的結(jié)構(gòu)。箭頭205a表示使用運動補(bǔ)償預(yù)測來創(chuàng)建P幀210。圖1C顯示雙向幀220的結(jié)構(gòu)。B幀通常被插在I幀與P幀之間。圖2按顯示次序表示一組圖象，并顯示B幀是如何插入在I幀與P幀之間的，以及顯示運動補(bǔ)償信息流動的方向。在圖1B、1C和2上，箭頭205a顯示對于重建P幀210所必須的前向運動補(bǔ)償預(yù)測信息，而箭頭215a和215b顯示在重建B幀220時使用的、在前向(215a)和后向(215b)的運動補(bǔ)償信息。換句話說，箭頭205a和215a表示當(dāng)預(yù)測幀從顯示次序上比起正在被重建的幀更早的那些幀中被預(yù)測時的信息流，以及箭頭215b表示當(dāng)預(yù)測幀從顯示次序上比起正在被重建的幀更遲的那些幀中被預(yù)測時的信息流。
在運動補(bǔ)償預(yù)測時，在視頻序列中接連的幀之間的相似性被利用來提高編碼效率。更具體地，所謂的運動矢量被使用來描述象素或象素區(qū)域在序列的接連的幀之間移動的方式。運動矢量提供偏移值和誤差數(shù)據(jù)，它們指的是具有解碼的象素值的視頻數(shù)據(jù)的過去的或?qū)淼膸獯a的象素值結(jié)合誤差數(shù)據(jù)一起可被使用來壓縮/編碼或解壓縮/解碼視頻數(shù)據(jù)的給定的幀。
解碼/解壓縮P幀的能力需要先前的I或P參考幀的可得到性，而且，為了解碼B幀，也需要以后的I或P參考幀的可得到性。例如，如果編碼/壓縮的數(shù)據(jù)流具有以下的幀序列或顯示次序I1B2B3P4B5P6B7P8B9B10P11...Pn-3Bn-2Pn-1In，則相應(yīng)的解碼次序為I1P4B2B3P6B5P8B7P11B9B10...Pn-1Bn-2In.
因為B幀需要將來的I或P幀用于它們的解碼，所以解碼次序不同于顯示次序。圖2顯示上述幀序列的開始，以及可被參考，以便了解如上所述的、幀的依賴性。P幀需要先前的I或P參考幀是可得到的。例如，為了被解碼，P4需要I1。同樣地，幀P6需要P4是可得到的，以便解碼/解壓縮幀P6。為了被解碼，B幀，諸如幀B3，需要過去的和/或?qū)淼腎或P參考幀，諸如P4和I1。在編碼期間，B幀是在I或P幀之間的幀。
圖3和4顯示用于編碼和解碼的現(xiàn)有技術(shù)系統(tǒng)。參考圖3的編碼器300，正在被編碼的幀301，I(x，y)，被稱為當(dāng)前幀，被劃分成kxL象素的長方形區(qū)域。坐標(biāo)(x，y)表示象素在幀內(nèi)的位置。每個塊通過使用內(nèi)部編碼法(即，只使用塊內(nèi)的圖象數(shù)據(jù)的空間相關(guān))或幀間編碼法(即，利用空間和時間預(yù)測)而被編碼。以下的說明考慮形成幀間編碼的塊的處理過程。每個幀間編碼的塊通過在幀存儲器350中的先前(或以后)編碼的和發(fā)送的幀R(x，y)之一(被稱為參考幀)被預(yù)測360。被使用于預(yù)測的運動信息通過使用參考幀和當(dāng)前幀305從運動估值和編碼塊370得出。運動信息用二維運動矢量(Δx，Δy)表示，其中Δx是水平位移和Δy是垂直位移。在運動補(bǔ)償(MC)預(yù)測塊中，運動矢量連同參考幀一起被使用來建立預(yù)測幀P(x，y)P(x，y)＝R(x+Δx，y+Δy)隨后，按照下式，307計算預(yù)測誤差E(x，y)，即，在當(dāng)前幀與預(yù)測幀P(x，y)之間的差值E(x，y)＝I(x，y)-P(x，y)在變換塊310中，對于每個KxL塊的預(yù)測誤差被表示為變換基函數(shù)fij(x，y)的加權(quán)和，E(x,y)=Σi=1KΣj=1Lcerr(i,j)fij(x,y)]]>相應(yīng)于基函數(shù)的權(quán)因子cerr(i，j)被稱為變換系數(shù)。這些系數(shù)隨后在量化塊320中被量化，給出Ierr(i，j)＝Q(cerr(i，j)，QP)其中Ierr(i，j)是量化的變換系數(shù)。量化運算Q()引入信息丟失，但量化的系數(shù)可以用較小數(shù)目的比特來表示。壓縮(信息丟失)的水平是通過調(diào)節(jié)量化參量值QP而被控制的。
在運動矢量和量化的變換系數(shù)被加到復(fù)接器380之前，它們還通過使用可變長度代碼(VLC)被編碼。這減小為了表示運動矢量和量化的變換系數(shù)所需要的比特數(shù)目。編碼的運動矢量、量化的變換系數(shù)、以及為了表示每個編碼的幀所需要的其他附加信息在復(fù)接器380中被復(fù)接，以及最終得到的比特流被發(fā)送415到解碼器。量化的變換系數(shù)也被轉(zhuǎn)發(fā)到逆量化塊330，以得出逆量化的變換系數(shù)，以及還被轉(zhuǎn)發(fā)到逆變換塊340，以得出對于當(dāng)前幀的預(yù)測誤差信息Ec(x，y)。預(yù)測誤差信息Ec(x，y)在相加單元中被加到預(yù)測幀P(x，y)上，以得出視頻幀，隨后它可被存儲在幀存儲器350中。
下面，參照圖4描述解碼視頻幀。解碼器400接收來自編碼器的復(fù)接視頻比特流415，以及分接器410分接比特流，以得出要被解碼的視頻幀的組成部分。這些部分至少包括編碼的量化的預(yù)測誤差變換系數(shù)和編碼的運動矢量，隨后對它們進(jìn)行解碼(未示出)，以得出量化的預(yù)測誤差變換系數(shù)和運動矢量。量化的變換系數(shù)在逆量化塊420中按照以下的關(guān)系式被逆量化，以得出逆量化的變換系數(shù)derr(i，j)derr(i，j)＝Q-1(Ierr(i，j)，QP)在逆變換塊430中，逆量化的變換系數(shù)受到逆變換，以得出預(yù)測誤差Ec(x，y)Ec(x,y)=Σi=1KΣj=1Lcerr(i,j)fij(x,y)]]>當(dāng)前編碼的幀的象素是通過在從幀存儲器440中得出的參考幀R(x，y)中找出預(yù)測的象素和在運動補(bǔ)償預(yù)測塊450中使用接收的運動矢量連同參考幀而被重建的，以得出預(yù)測的幀P(x，y)。預(yù)測的幀P(x，y)和預(yù)測的誤差信息Ec(x，y)在相加單元4 35中按照以下的公式被相加在一起Ic(x，y)＝ R(x+Δx，y+Δy)+Ec(x，y)這些數(shù)值Ic(x，y)還可被濾波，以得出解碼的視頻幀445。數(shù)值Ic(x，y)被存儲在幀緩存器440。重建的數(shù)值Ic(x，y)可以在相加塊435以后的濾波塊(圖4上未示出)中被濾波。
視頻流在固定的互聯(lián)網(wǎng)中已顯露為重要的應(yīng)用。還預(yù)期視頻流在當(dāng)前及不久的將來在3G無線網(wǎng)中也是重要的。在數(shù)據(jù)流應(yīng)用中，發(fā)送服務(wù)器根據(jù)來自接收機(jī)的請求通過傳輸網(wǎng)開始發(fā)送預(yù)編碼的視頻比特流。接收機(jī)在接收視頻流的同時重放該視頻流。當(dāng)前網(wǎng)絡(luò)的竭盡全力的性質(zhì)引起由于改變網(wǎng)絡(luò)的條件而改變對于用戶可提供的有效帶寬。為了包容這些變化，發(fā)送的服務(wù)器可以縮放壓縮的視頻的比特速率。在特征為實時編碼和點對點傳遞的對話式業(yè)務(wù)的情形下，這可以通過在傳輸過程中調(diào)節(jié)源編碼參量而達(dá)到。這樣的可調(diào)節(jié)的參量可以是例如量化參量或幀的速率。有利地，調(diào)節(jié)是基于來自傳輸網(wǎng)的反饋。在典型的數(shù)據(jù)流，當(dāng)先前編碼的視頻比特流要被發(fā)送到接收機(jī)時，不能應(yīng)用以上的解決方案。
在預(yù)編碼的序列的情形下，達(dá)到帶寬可縮放性的一個解決方案是產(chǎn)生具有不同的比特速率和質(zhì)量的多個獨立的流。發(fā)送服務(wù)器然后在流之間動態(tài)地切換，以便包容可提供的帶寬的變化。以下的例子顯示這個原理。我們假設(shè)，多個比特流用相應(yīng)于同一個視頻序列的不同的編碼參量，諸如量化參量，被獨立地生成。令{P1，n-1，P1，n，P1，n+1}和{P2，n-1，P2，n，P2，n+1}分別表示來自比特流1和2的解碼幀的序列。由于編碼的參量對于兩個比特流是不同的，故在同一個時刻從它們重建的幀，例如幀P1，n-1和P2，n-1，是不同的。如果現(xiàn)在假設(shè)服務(wù)器初始地發(fā)送來自比特流1的編碼幀，直到時間n，在該時間后，它開始發(fā)送來自比特流2的編碼幀，解碼器接收幀{P1，n-2，P1，n-1，P2，n，P2、n+1，P2，n+2}。在這種情形下，P2，n不能正確地被解碼，因為沒有接收到它的參考幀P2，n-1。另一方面，代替P2，n-1，被接收的幀P1，n-1不同于P2，n-1。所以，由于在不同的序列中被使用于運動補(bǔ)償預(yù)測的參考幀之間的誤匹配，在任意位置在比特流之間的切換導(dǎo)致視覺人工產(chǎn)物。這些視覺人工產(chǎn)物不僅僅限于在比特流之間的切換點處的幀，而且由于在視頻序列的其余部分中連續(xù)的運動補(bǔ)償編碼而隨時傳播。
在當(dāng)前的視頻編碼標(biāo)準(zhǔn)中，在比特流之間的完美的(無誤匹配的)切換只在當(dāng)前的和將來的幀或幀的區(qū)域不使用在當(dāng)前的切換的位置以前的任何信息的位置處，即在I幀處，才是可能的。而且，通過在固定的(例如，1秒)間隔內(nèi)放置I幀，可達(dá)到用于流動的視頻內(nèi)容的VCR功能，諸如隨機(jī)訪問或“快速前進(jìn)”和“快速后退”(提高的重放速率)。用戶可跳過一部分視頻序列和在任何的I幀位置處重新開始重放。同樣地，通過只發(fā)送I幀可以達(dá)到提高的重放速率。在這些應(yīng)用中使用I幀的缺點是，由于I幀沒有利用任何時間冗余性，在相同的質(zhì)量下，它們比起P幀來說需要大得多的數(shù)目的比特。
發(fā)明概要本發(fā)明的目的是提供用于在可變的傳輸環(huán)境下發(fā)送視頻圖象的新的方法和系統(tǒng)。本發(fā)明是基于這樣的概念通過形成新的類型的壓縮的視頻幀和在允許進(jìn)行從一個比特流到另一個比特流的切換的位置處把該新的類型的幀插入到視頻比特流，而使得在視頻流之間能夠進(jìn)行正確的(無誤匹配的)切換。在本說明中，新的類型的壓縮的視頻幀總的被稱為S幀。更具體地，S幀可被分類為SP幀，它是在解碼器處從使用運動矢量信息被解碼的幀利用運動補(bǔ)償預(yù)測而被形成的；以及SI幀，它是在解碼器處從正在被解碼的幀內(nèi)的已被解碼的相鄰的象素利用空間(內(nèi)部的)預(yù)測與被形成的。通常，按照本發(fā)明的S幀以逐個塊的原則被形成，它可包括幀間編碼的(SP)塊以及幀內(nèi)編碼的(SI)塊。按照本發(fā)明的方法的主要特征在于在把傳輸從所述第一比特流切換到所述第二比特流時，二次比特流至少包括一個一次切換幀，二次切換幀被發(fā)送，二次切換幀通過使用第二比特流的編碼參量和來自第一比特流的至少一個參考幀而被編碼，以及所述二次切換幀代替一次切換幀被用作在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀時要被使用的參考幀。按照本發(fā)明的編碼器的主要特征在于，用于把傳輸從所述第一比特流切換到所述第二比特流的裝置包括用于通過使用第二比特流的編碼參量和來自第一比特流的參考幀編碼二次切換幀的裝置，以使得能夠把傳輸從所述第一比特流切換到所述第二比特流。按照本發(fā)明的解碼器的主要特征在于，解碼器包括用于解碼二次切換幀的裝置，所述二次切換幀通過使用第二比特流的編碼參量和來自第一比特流的至少一個參考幀而被編碼，以及代替一次切換幀作為在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀時要被使用的參考幀被加到信號上，以及所述用于解碼二次切換幀的裝置包括用于使用第二比特流的解碼參量和來自第一比特流的參考幀的裝置。按照本發(fā)明的信號的主要特征在于，在把傳輸從所述第一比特流切換到所述第二比特流時，二次比特流至少包括一個一次切換幀，所述信號包括二次切換幀，它通過使用第二比特流的編碼參量和來自第一比特流的至少一個參考幀而被編碼，以及所述二次切換幀是代替一次切換幀被用作在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀時要被使用的參考幀。
比起現(xiàn)有技術(shù)的方法和系統(tǒng)，通過本發(fā)明得到很多優(yōu)點。本發(fā)明允許比特流之間的切換不單在I幀的位置上發(fā)生，也在SP幀的位置上發(fā)生。SP幀的編碼效率比起典型的I幀的編碼效率高得多，其中在按照現(xiàn)有技術(shù)使用I幀的位置上只需要較小的帶寬來發(fā)送具有SP幀的比特流，而對于改變的傳輸條件仍舊提供足夠的適配性。從一個比特流到另一個比特流的切換，可以在按照本發(fā)明的SP幀被放置在編碼的比特流中的位置上被執(zhí)行。由解碼器從比特流重建的圖象并不會由于從一個比特流改變到另一個比特流而惡化。本發(fā)明也具有這樣的優(yōu)點可以在比特流上執(zhí)行隨機(jī)訪問、快速前進(jìn)和快速倒帶操作。按照本發(fā)明的系統(tǒng)，比起所描述的現(xiàn)有技術(shù)解決方案，提供改進(jìn)的錯誤矯正和彈回(resiliency)性質(zhì)。
當(dāng)結(jié)合附圖參照以下的說明時將會明白本發(fā)明的實施例的這些和其他特性、方面、和優(yōu)點。然而，應(yīng)當(dāng)看到，所設(shè)計的附圖僅僅用于說明的目的，而不是用來規(guī)定本發(fā)明范圍，關(guān)于本發(fā)明的范圍應(yīng)當(dāng)參考附屬權(quán)利要求。
附圖簡述下面將參照附圖更詳細(xì)地描述本發(fā)明，其中圖1A-1C和2是顯示現(xiàn)有技術(shù)的視頻幀的編碼/壓縮的圖，圖3是通用運動補(bǔ)償預(yù)測視頻編碼系統(tǒng)(編碼器)的方框圖，圖4是通用運動補(bǔ)償預(yù)測視頻編碼系統(tǒng)(解碼器)的方框圖，圖5是顯示使用按照本發(fā)明的S幀，在兩個不同的比特流之間進(jìn)行切換的圖，圖6是按照本發(fā)明的有利的實施例的解碼器的方框圖，圖7是使用S幀的隨機(jī)訪問的圖，圖8是使用S幀的快速前進(jìn)過程的圖，圖9是按照本發(fā)明的另一個有利的實施例的解碼器的方框圖，圖10是按照本發(fā)明的再一個有利的實施例的解碼器的方框圖，圖11是按照本發(fā)明的有利的實施例的編碼器的方框圖，圖12是按照本發(fā)明的另一個有利的實施例的解碼器的方框圖，圖13是按照本發(fā)明的第二實施例的編碼器的方框圖，圖14是使用SP幀的錯誤彈回/校正處理過程的圖，圖15是按照本發(fā)明的第三有利實施例的編碼器的方框圖，圖16是按照本發(fā)明的再一個有利的實施例的解碼器的方框圖。
發(fā)明詳細(xì)描述下面在其中多個比特流是由視頻信號組成的一個系統(tǒng)中描述本發(fā)明。視頻信號可以是包括多個圖象(即圖象序列)的任何數(shù)字視頻信號。數(shù)字視頻信號在編碼器中被編碼，以形成多個比特流。每個比特流從同一個視頻信號通過使用至少部分地不同的編碼參量被編碼。例如，通過不同地選擇編碼參量，可以改變比特速率，這樣，可以形成具有不同比特速率的比特。流編碼參量可以是，例如幀的速率、量化參量、空間分辨率、或本領(lǐng)域技術(shù)人員已知的、影響圖象尺寸的其他因素。編碼器也把至少一個內(nèi)部幀插入到每個比特流。典型地，每個比特流的至少第一幀優(yōu)選地是內(nèi)部幀。這使得解碼器能夠開始重建視頻信號，在編碼I幀、P幀和B幀時使用的編碼器可以是任何現(xiàn)有技術(shù)的編碼器，它執(zhí)行視頻信號的編碼，或可以存在有一個以上的現(xiàn)有技術(shù)編碼器，每個使用不同地編碼參量來形成多個比特流。然而，為了編碼也包含按照本發(fā)明的SP幀和/或SI幀的視頻信號，在編碼器中需要新的功能。這將在后面更詳細(xì)地說明。
編碼器也把通過使用運動補(bǔ)償預(yù)測編碼法被編碼的幀(P幀和可任選地B幀)插入到比特流。編碼器也把新的類型的幀(在本說明中稱為S幀)在按照本發(fā)明允許在不同的比特流之間進(jìn)行切換的位置處插入到每個比特流。S幀可以在現(xiàn)有技術(shù)方法中插入幀內(nèi)編碼的幀的位置處被使用，或在視頻序列中除了使用幀內(nèi)編碼的幀以外，也可以使用S幀。有利地，不同的比特流被存儲在貯存裝置中，供以后使用。然而，也有可能傳輸可以緊接在編碼后立即進(jìn)行，其中不必存儲完整的視頻序列，只要存儲必須的參考幀就夠了。編碼的視頻流的傳輸可由例如發(fā)送服務(wù)器來執(zhí)行，該發(fā)送服務(wù)器具有用于檢索要被發(fā)送的、被存儲的比特流的裝置，和/或用于直接從編碼器接收比特流的裝置。發(fā)送服務(wù)器也具有用于把比特流發(fā)送到傳輸網(wǎng)(未示出)的裝置。
下面，將描述按照本發(fā)明的有利的實施例的方法。圖5顯示在編碼器中形成的、第一比特流510的一部分和第二比特流520的一部分。僅僅顯示各個比特流的幾個P幀。具體地，第一比特流510被顯示為包括P幀511、512、514和515，而第二比特流520包括相應(yīng)的P幀521、522、524和525。第一比特流510和第二比特流520也包括在相應(yīng)的位置處的S幀513(也被標(biāo)記為S1)、523(也被標(biāo)記為S2)。假設(shè)兩個比特流510和520相應(yīng)于通過使用不同的幀的速率、不同的空間分辨率或不同的量化參量以不同的比特速率被編碼的同一個序列。還假設(shè)第一比特流510通過傳輸網(wǎng)從發(fā)送服務(wù)器發(fā)送到解碼器600、1200、1300(分別為圖6、12和13)以及發(fā)送服務(wù)器接收來自傳輸網(wǎng)的、關(guān)于改變正在被發(fā)送的視頻流的比特速率的請求。
如上所述，S幀在編碼期間被放置在比特流中的、其中允許進(jìn)行從一個比特流切換到另一個比特流的、視頻序列內(nèi)的那些位置處。正如可以從圖5看到的，在本發(fā)明的有利實施例中，另一個S幀550(也被標(biāo)記為S12)與S幀S1和S2有關(guān)。這個S幀被稱為S幀的二次表示(或簡稱為二次S幀)，它只在比特流切換期間被發(fā)送。這個二次S幀S12是通過對于視頻序列中第n幀使用第二比特流520中相應(yīng)的S幀523(S2)的編碼參量和使用來自第一比特流510中第n幀的參考幀的運動補(bǔ)償預(yù)測來進(jìn)行特殊的編碼而生成的。應(yīng)當(dāng)指出，在圖5所示的情形下，S幀S2使用來自第二比特流520的先前重建的幀作為參考幀，以及二次S幀S12使用來自第一比特流510的先前重建的幀作為參考幀。然而，S1和S12被重建的象素數(shù)值是相同的。S幀S12只在實際上進(jìn)行從第一比特流510到第二比特流520的切換時才被發(fā)送。所以，在編碼階段期間不必形成二次S幀而只在進(jìn)行切換時才形成二次S幀。另一方面，在比起不同的比特流被形成的時間更早地形成至少某些二次S幀，以便減小在傳輸期間的計算負(fù)荷，可能是有用的。
當(dāng)發(fā)送服務(wù)器達(dá)到在第一比特流510中被編碼為S幀513(S1)的視頻序列的幀時，它可以開始進(jìn)行必要的操作，通過使用第二比特流520的編碼的幀繼續(xù)發(fā)送視頻流。在這時，發(fā)送服務(wù)器已發(fā)送來自第一比特流510的P幀511和512，以及解碼器600、1200、1300已接收和解碼各個P幀511、512。因此，這些幀被存儲在解碼器600、1200、1300的幀存儲器640、1250、1360。幀存儲器640、1250、1360包括足夠的存儲器來存儲所有這些幀，它們是對于重建P幀或B幀所需要的，即，對于要被重建的當(dāng)前的幀所需要的所有的參考幀的必要的信息。
發(fā)送服務(wù)器執(zhí)行以下操作，以使用第二比特流520的編碼的幀繼續(xù)發(fā)送視頻流。發(fā)送服務(wù)器通過檢查幀的類型信息而注意到，要被發(fā)送的當(dāng)前的幀是S幀，這樣，有可能在比特流之間進(jìn)行切換。當(dāng)然，只在接收到要進(jìn)行切換的請求或由其他原因有需要執(zhí)行切換時才執(zhí)行切換。發(fā)送服務(wù)器輸入第二比特流的相應(yīng)的S幀523，使用它形成二次S幀550(S12)，以及把二次S幀(S12)發(fā)送到解碼器600、1200、1300。發(fā)送服務(wù)器不發(fā)送第二比特流的S幀S2，但在它的位置處發(fā)送二次S幀550(S12)。二次S幀是這樣形成的通過解碼二次S幀S12，解碼器600可重建等同于在使用第二比特流520的各個幀521、522和S幀523時將產(chǎn)生的圖象的圖象。在發(fā)送二次S幀以后，發(fā)送服務(wù)器繼續(xù)發(fā)送第二比特流520中的編碼幀，即，524、525、等等。
S幀513，523，550可包括只使用在象素之間的空間相關(guān)(塊內(nèi)的)被編碼的塊以及使用空間和時間相關(guān)(塊間的)被編碼的塊。對于每個塊間，這個塊的預(yù)測，P(x，y)，在解碼器600、1200、1300中通過使用接收的運動矢量和參考幀被形成。計算和量化相應(yīng)于基函數(shù)fij(x，y)的、對于P(x，y)的變換系數(shù)cpred。變換系數(shù)cpred的量化的數(shù)值被表示為Iperd，以及量化的變換系數(shù)Ipred的去量化的數(shù)值被表示為dpred。對于預(yù)測誤差的量化的系數(shù)Ierr是從編碼器接收的。這些系數(shù)的去量化的數(shù)值將被表示為derr。在塊間的每個象素S(x，y)的數(shù)值被解碼為基函數(shù)fij(x，y)的加權(quán)的和值，其中加權(quán)值drec將被稱為去量化的重建圖象系數(shù)。drec的數(shù)值必須是使得存在有系數(shù)crec，并通過量化和去量化從這個系數(shù)crec可得出drec。另外，數(shù)值drec必須滿足以下的條件之一drec＝dpred+derr，或crec＝cpred+derr。
數(shù)值S(x，y)可進(jìn)一步被歸一化和被濾波。
接著，描述被放置在比特流內(nèi)的S幀的編碼，例如S幀513(S1)和523(S2)。
通常，按照本發(fā)明的S幀，諸如圖5的幀513、523，是按逐塊的原則被構(gòu)建的。正如先前說明的，每個塊可以以利用正在被編碼的圖象(內(nèi)部的或SI塊)的象素之間的空間相關(guān)性的方式被編碼或可以以利用在視頻序列的相繼的幀中象素的塊(幀間的或SP塊)之間的時間相關(guān)性的方式被編碼。
下面參照圖11描述按照本發(fā)明的S幀的編碼，圖11是按照本發(fā)明的第一實施例的S幀編碼器1100的方框圖。
要以S幀格式被編碼的視頻幀首先被劃分成塊，然后把每個塊編碼為SP塊、SI塊、或內(nèi)部塊，內(nèi)部塊就是現(xiàn)有技術(shù)中通常所說的。開關(guān)1190適合于用來在SI與SP編碼模式之間進(jìn)行切換，即，開關(guān)1190是在本發(fā)明的說明中使用的一種結(jié)構(gòu)，而不一定是實際裝置。在SP編碼模式中，開關(guān)1190用來得到當(dāng)前塊1170的運動補(bǔ)償預(yù)測。運動補(bǔ)償預(yù)測塊1170以類似于現(xiàn)有技術(shù)中已知的運動補(bǔ)償預(yù)測中使用的方式形成對于正在被編碼的幀的當(dāng)前的塊的預(yù)測P(x，y)。更具體地，運動補(bǔ)償預(yù)測塊1170通過確定描述在當(dāng)前的塊中的象素與被保持在幀存儲器1146中的重建的參考幀的象素數(shù)值之間的關(guān)系的運動矢量而形成對于正在被編碼的幀的當(dāng)前塊的預(yù)測P(x，y)。
在SI編碼模式中，開關(guān)1190用來從內(nèi)部預(yù)測的塊1180得出對于正在被編碼的幀的當(dāng)前的塊的預(yù)測。內(nèi)部預(yù)測塊1180以類似于現(xiàn)有技術(shù)中已知的內(nèi)部預(yù)測中使用的方式形成對于正在被編碼的幀的當(dāng)前塊的預(yù)測P(x，y)。更具體地，內(nèi)部預(yù)測塊1180通過使用空間預(yù)測從正在被編碼的幀內(nèi)的已編碼的相鄰的象素形成對于正在被編碼的幀的當(dāng)前塊的預(yù)測P(x，y)。
在SP與SI編碼模式中，預(yù)測P(x，y)取象素值塊的形式。在方塊1160中對于預(yù)測的象素值塊P(x，y)施加前向變換，例如離散余弦變換(DCT)，以及最終得到的變換系數(shù)，被稱為cpred，隨后在量化塊1150中被量化，形成量化的變換系數(shù)Ipred。對原先的圖象數(shù)據(jù)也執(zhí)行相應(yīng)的操作。更具體地，正在被編碼的原先的圖象的象素值的當(dāng)前的塊被加到變換塊1110。這里，對于原先的圖象塊的象素數(shù)值施加前向變換(例如，DCT)，以形成變換系數(shù)corig。這些變換系數(shù)被傳送到量化塊1120，在其中它們被量化，以形成量化的變換系數(shù)Iorig。相加單元1130從各個量化的塊的1150和1120接收兩個量化的變換系數(shù)組Ipred和Iorig，以及按照以下關(guān)系式生成量化的預(yù)測誤差系數(shù)組IerrIerr＝Iorig-Ipred量化的預(yù)測誤差系數(shù)Ierr傳送到復(fù)接器1135。如果當(dāng)前的塊以SP格式/模式被編碼，則復(fù)接器1135也接收對于SP編碼的塊的運動矢量。如果當(dāng)前的塊以SI格式/模式被編碼，則被使用來在內(nèi)部預(yù)測塊1180中形成對于SI編碼的塊的預(yù)測的、有關(guān)內(nèi)部預(yù)測模式的信息被傳送到復(fù)接器。有利地，對于量化預(yù)測誤差系數(shù)Ierr和對于在復(fù)接器1135中的運動矢量或內(nèi)部預(yù)測模式信息施加可變長度編碼，通過把各種形式的信息復(fù)接在一起，形成比特流，以及這樣形成的比特流被發(fā)送到相應(yīng)的解碼器1200、1300(見圖12和13)。
按照本發(fā)明的S幀編碼器1100也包括本地解碼功能。在量化塊1150中形成的量化的預(yù)測變換系數(shù)Ipred被加到相加單元1140，相加單元也接收量化誤差系數(shù)Ierr。相加單元1140重新組合量化的預(yù)測變換系數(shù)Ipred和量化預(yù)測誤差系數(shù)Ierr，以便按照以下關(guān)系式形成一組重建的量化的變換系數(shù)IrecIrec＝Ipred+Ierr重建的量化的變換系數(shù)被傳送到逆量化塊1142，該逆量化塊對重建的量化的變換系數(shù)進(jìn)行逆量化，以形成逆量化的重建的變換系數(shù)drec。逆量化的重建的變換系數(shù)被進(jìn)一步傳送到逆變換塊1144，在其中它們受到例如逆離散余弦變換(IDCT)，或相應(yīng)于在塊1160中執(zhí)行的變換的任何其他逆變換。結(jié)果，對于所討論的圖象塊，形成重建的象素數(shù)值的塊，以及把它存儲在幀存儲器1146中。隨著正在以S幀格式被編碼的幀的以后的塊經(jīng)受先前描述的編碼和本地解碼操作，當(dāng)前的幀的解碼的型式被逐步收集在幀存儲器中，它可從該存儲器被訪問，以及在同一個幀的以后的塊的內(nèi)部預(yù)測時或在視頻序列中以后的幀的幀間(運動補(bǔ)償?shù)?預(yù)測時被使用。
現(xiàn)在參照圖12描述按照本發(fā)明的第一實施例的通用S幀解碼器的操作。
先前結(jié)合圖11描述的S幀編碼器生成的比特流被解碼器1200接收，以及被分接器1210分接成它的組成部分。解碼器按逐塊的原則重建S幀的解碼的型式。如前所述，S幀可包括內(nèi)部塊，SP編碼的和SI編碼的圖象塊。對于SP格式圖象塊，在接收的比特流中的信息包括VLC編碼的運動系數(shù)信息和VLC編碼的量化的預(yù)測誤差系數(shù)Ierr。對于以SI格式被編碼的圖象塊，在接收的比特流中的信息包括與內(nèi)部預(yù)測模式有關(guān)的VLC編碼的信息，被使用來形成對于SI編碼的塊的內(nèi)部預(yù)測連同VLC編碼的量化的預(yù)測誤差系數(shù)Ierr。
當(dāng)解碼SP編碼的塊時，分接器1210首先對于接收的比特流施加適當(dāng)?shù)目勺冮L度解碼(VLD)，以恢復(fù)運動矢量信息和量化的預(yù)測誤差系數(shù)Ierr。然后它從量化的預(yù)測誤差系數(shù)Ierr中分離出運動矢量信息。運動矢量信息被加到運動補(bǔ)償預(yù)測塊1260，以及從比特流中被恢復(fù)的量化的預(yù)測誤差系數(shù)被加到相加單元1220的一個輸入端。運動矢量信息在運動補(bǔ)償預(yù)測塊1260中連同被保存在幀存儲器1250中的先前重建的幀的象素數(shù)值一起被使用，以類似于在編碼器1100中采用的方式形成預(yù)測P(x，y)。
當(dāng)解碼SI編碼的塊時，分接器1210對于接收的內(nèi)部預(yù)測模式信息和量化的預(yù)測誤差系數(shù)Ierr施加適當(dāng)?shù)目勺冮L度解碼。然后從量化的預(yù)測誤差系數(shù)中分離出內(nèi)部預(yù)測模式信息，以及把它加到內(nèi)部預(yù)測塊1270。量化的預(yù)測誤差系數(shù)Ierr被加到相加單元1220的一個輸入端。內(nèi)部預(yù)測信息在內(nèi)部預(yù)測塊1270中結(jié)合被保存在幀存儲器1250中的當(dāng)前的幀的先前解碼的象素數(shù)值一起被使用，以形成對于正在被解碼的當(dāng)前的塊的預(yù)測P(x，y)。再次地，在解碼器1200中執(zhí)行的內(nèi)部預(yù)測處理過程類似于在編碼器1100中執(zhí)行的、和先前描述的過程。
一旦形成對于正在被解碼的幀的當(dāng)前的塊的預(yù)測，開關(guān)1280就用來把包括預(yù)測的象素數(shù)值的預(yù)測P(x，y)加到變換塊1290。再次地，開關(guān)1280是在本發(fā)明的說明中使用的一種抽象結(jié)構(gòu)，而不一定是實際的裝置。在SP編碼塊的情形下，開關(guān)1280用來把運動補(bǔ)償預(yù)測塊1260連接到變換塊1290，而在SI編碼塊的情形下，開關(guān)1280用來把內(nèi)部預(yù)測塊1270連接到變換塊1290。
在塊1290中，對于預(yù)測的象素值塊P(x，y)施加前向變換，例如離散余弦變換(DCT)，以及最終得到的變換系數(shù)cpred被加到量化塊1295，在其中它們被量化，以形成量化的變換系數(shù)Ipred。量化的變換系數(shù)Ipred然后被加到相加單元1220的第二輸入端，在其中它們被加到預(yù)測誤差系數(shù)Ierr上，以便按照以下關(guān)系式形成重建的量化的變換系數(shù)IrecIrec＝Ipred+Ierr重建的量化的變換系數(shù)Irec還被加到逆量化塊1230，在其中它們被逆量化，以形成逆量化的重建的變換系數(shù)drec。逆量化的變換系數(shù)drec然后被傳送到逆變換塊1240，在其中它們受到例如逆離散余弦變換(IDCT)，或相應(yīng)于在塊1290中執(zhí)行的變換的任何其他逆變換。這樣，對于所討論的圖象塊，形成重建的象素數(shù)值的塊。重建的象素數(shù)值被加到視頻輸出端和幀存儲器1250。由于正在解碼的S幀的以后的塊經(jīng)受先前描述的解碼操作，當(dāng)前的幀的解碼的型式被逐步收集在幀存儲器1250中，它可從該存儲器被訪問，以及在同一個幀的以后的塊的內(nèi)部預(yù)測時或在視頻序列中以后的幀的幀間(運動補(bǔ)償?shù)?預(yù)測時被使用。
在回顧按照本發(fā)明的第一實施例的S幀編碼器和解碼器的結(jié)構(gòu)和功能后，現(xiàn)在有可能了解按照本發(fā)明的S幀如何使得有可能在比特流之間進(jìn)行切換而沒有誤匹配誤差，諸如在現(xiàn)有的視頻編碼/解碼系統(tǒng)中遇到的那些誤差。再次參考在圖5上顯示的比特流切換例子，從第一比特流510到第二比特流520的切換發(fā)生在各個比特流的S幀S1(513)和S2(523)的位置。如前所述，當(dāng)進(jìn)行切換時，二次S幀，被表示為S12(550)，被編碼和被發(fā)送。二次S幀S12通過使用第二比特流520的編碼參量和來自第一比特流510的參考幀以這樣的方式被編碼、使得當(dāng)二次S幀S12被解碼時，它的重建的象素數(shù)值等同于由第二比特流的幀S2的傳輸?shù)玫降南笏財?shù)值。
令I(lǐng)2err和I2pred分別表示由通過上述的程序過程編碼SP幀S2得到的預(yù)測誤差和預(yù)測幀的量化的系數(shù)，以及令I(lǐng)2rec表示S幀S2的量化的重建的圖象系數(shù)。二次S幀550(S12)的編碼除了以下的例外，遵循與在S幀523(S2)的編碼時相同的程序過程(1)在預(yù)測二次S幀S12的每個塊時所使用的參考幀是通過解碼第一比特流510直到視頻序列的當(dāng)前的第n幀而得到的重建的幀，(2)量化的預(yù)測誤差系數(shù)如下地計算I12err＝I2rec-I12pred，其中I12pred表示量化的預(yù)測變換系數(shù)。量化的預(yù)測誤差系數(shù)和運動矢量被發(fā)送到解碼器1200。
當(dāng)在解碼器1200中通過使用在切換之前從第一比特流510重建的幀作為參考幀來解碼二次S幀的S12時，二次S幀的系數(shù)I12pred被構(gòu)建和被加到如上所述的、接收的量化的預(yù)測誤差系數(shù)I12err上，即，I12rec＝I12err+I12pred＝I2rec-I12pred+I12pred＝I2rec。從這個公式可以指出，I12rec和I2rec是相同的。所以，雖然第二比特流S2的二次S幀S12和S幀具有不同的參考幀，但當(dāng)S12被解碼時，它產(chǎn)生具有與由解碼S幀S2而得到的象素數(shù)值相同的重建的象素數(shù)值的圖象。
通過以上的對于按照本發(fā)明的S幀的編碼和解碼的說明，將會看到，與按照現(xiàn)有技術(shù)的P幀和I幀的編碼和解碼相比較，存在重大的差別，具體地，應(yīng)當(dāng)看到，當(dāng)編碼或解碼以SP或SI格式的圖象塊時，通過施加諸如離散余弦變換那樣的變換，所討論的塊的預(yù)測P(x，y)被變換成變換系數(shù)域。這樣產(chǎn)生的變換系數(shù)隨后被量化，以及預(yù)測誤差在量化的系數(shù)域中被確定。這與其中預(yù)測誤差是在空間(象素數(shù)值)域中被確定的、按照現(xiàn)有技術(shù)的預(yù)測編碼相反。
下面將詳細(xì)地描述在比特流510與520之間進(jìn)行切換期間解碼器1200的操作。在其中發(fā)生從第一比特流到第二比特流520的切換的、視頻序列的位置處，解碼器1200已接收和解碼第一比特流510的先前的P幀511和512。解碼的幀被存儲在幀存儲器1250，以及它對于用作為參考幀是可提供的。當(dāng)發(fā)生從第一比特流510到第二比特流520的切換時，編碼器1100(圖11)構(gòu)建和編碼二次S幀的S12(550)，以及把表示S12的編碼的視頻信息發(fā)送到解碼器1200。
如前所述，編碼是按逐塊的原則進(jìn)行的。具體地，二次S幀的S12被編碼為圖象塊的組件，以及通常每個圖象塊被編碼為SP編碼的塊或SI編碼的塊或內(nèi)部塊。對于二次S幀S12的SP編碼的塊，從編碼器發(fā)送到解碼器的壓縮的視頻信息取量化的預(yù)測誤差變換系數(shù)I12err和運動矢量信息的形式。對于二次S幀S12的SI編碼的塊，壓縮的視頻信息包括量化的預(yù)測誤差變換系數(shù)I12err、和與在編碼器中形成SI編碼的塊的預(yù)測時使用的、內(nèi)部預(yù)測模式有關(guān)的信息。如前所述，壓縮的視頻信息在從編碼器發(fā)送之前受到適當(dāng)?shù)目勺冮L度編碼(VLC)，以便進(jìn)一步減小對于它的表示所需要的比特數(shù)。
對于給定的圖象塊的壓縮的視頻信息在解碼器1200處被接收，以及首先受到適當(dāng)?shù)目勺冮L度解碼(VLD)，然后由分接器1210分離成它的組成部分。從接收的比特流中提取的量化的預(yù)測誤差系數(shù)I12err被加到相加器1220的第一輸入端，以及對于每個圖象塊，按照它的編碼模式(SP或SI)形成預(yù)測的象素數(shù)值塊P(x，y)。在SP編碼的塊的情形下，預(yù)測的象素數(shù)值塊P(x，y)是在運動補(bǔ)償預(yù)測塊1260中通過使用在幀存儲器1250中可提供的、第一比特流(例如，P幀511或512)的參考幀和由分接器1210從二次S幀的S12的編碼的視頻信息中提取的運動矢量信息而被形成的。在SI編碼的塊的情形下，預(yù)測的象素數(shù)值塊P(x，y)是在內(nèi)部預(yù)測塊1270中通過使用也被存儲在幀存儲器1250中的、二次S幀的S12的先前解碼的象素而被形成的。內(nèi)部預(yù)測是按照由分接器1210從二次S幀的S12的接收的視頻信息中提取的內(nèi)部預(yù)測模式信息執(zhí)行的。
一旦形成對于二次S幀的當(dāng)前的塊的預(yù)測，預(yù)測的象素數(shù)值P(x，y)被傳送到變換塊1290。在這里，對于預(yù)測的象素值P(x，y)施加前向變換(例如離散余弦變換(DCT))，以形成一組變換系數(shù)cpred。隨后這些變換系數(shù)被傳送到量化塊1295，在其中它們被量化，以形成量化的變換系數(shù)I12pred。量化的變換系數(shù)I12pred又被加到相加器1220的第二輸入端。相加器1220組合量化的變換系數(shù)I12pred和量化的預(yù)測誤差變換系數(shù)I12err，按照以下關(guān)系式形成重建的量化的變換系數(shù)I12recI12rec＝I12pred+I12err重建的量化的變換系數(shù)I12err然后被加到逆量化塊1230，在其中它們被逆量化，以形成逆量化的重建的變換系數(shù)d12rec。逆量化的重建的變換系數(shù)d12rec然后被傳送到逆變換塊1240，在其中它們受到逆變換運算(例如，逆離散余弦變換(IDCT))。結(jié)果，對于二次S幀S12的當(dāng)前塊，形成重建的象素數(shù)值的塊。重建的象素數(shù)值Ic(x，y)被加到視頻輸出端和幀存儲器1250。隨著二次S幀S12的以后的塊被編碼，從編碼器1100發(fā)送到解碼器1200，和隨后被解碼，二次S幀的解碼的型式被逐步收集在幀存儲器1250中，由此，二次S幀的已解碼的塊可被恢復(fù)，和被內(nèi)部預(yù)測塊1270使用來形成對于二次S幀S12的以后的塊的預(yù)測的象素數(shù)值P(x，y)。這里，應(yīng)當(dāng)記住，對于二次S幀S12的每個圖象塊的量化的預(yù)測誤差變換系數(shù)在編碼器1100中按照以下關(guān)系式被生成I12err＝I2rec-I12pred其中I2rec是通過編碼和以后解碼第二比特流中的S幀S2而產(chǎn)生的、量化的重建的變換系數(shù)值。這意味著，通過解碼二次S幀S12的壓縮的視頻信息而產(chǎn)生的重建的變換系數(shù)I12rec等同于在來自第二比特流的S幀S2被發(fā)送和被解碼時已產(chǎn)生的那些系數(shù)。如前所述，這是由于下式而成立的I12rec＝I12pred+I12err＝I12pred+I2rec-I12pred＝I2rec因此，I12rec＝I2rec所以，可以看到，通過構(gòu)建按照本發(fā)明的方法的二次S幀S12，把它從編碼器發(fā)送到解碼器，以及隨后解碼它，可以達(dá)到在第一與第二比特流之間的無誤匹配的切換。
考慮二次S幀是SI幀而在比特流內(nèi)的S幀是SP幀的情形。在這種情形下，使用運動補(bǔ)償預(yù)測的幀由只使用空間預(yù)測的幀表示，這種特殊的情形在隨機(jī)訪問和誤差彈回時具有意義，這將在后面描述。
應(yīng)當(dāng)指出，在按照本發(fā)明的第一實施例的編碼器1100和解碼器1200中，如上所述，被施加到在變換塊1160(編碼器)和1290(解碼器)中產(chǎn)生的變換系數(shù)cpred上以便產(chǎn)生量化的變換系數(shù)Ipred的量化，是與被使用來生成量化的預(yù)測誤差變換系數(shù)Ierr的量化相同的。更具體地，在本發(fā)明的第一實施例中，當(dāng)對于正在被編碼/解碼的S幀的圖象塊，產(chǎn)生預(yù)測的象素數(shù)值塊P(x，y)時，被使用來量化相應(yīng)于預(yù)測的象素數(shù)值塊P(x，y)的變換系數(shù)cpred的量化參量QP，應(yīng)當(dāng)是與在產(chǎn)生量化的預(yù)測誤差變換系數(shù)Ierr時所使用的量化參量相同的。這是有利的，因為為了產(chǎn)生重建的變換系數(shù)Irec所執(zhí)行的求和是在量化的變換系數(shù)域中執(zhí)行的，即，因為Irec＝Ipred+Ierr在構(gòu)建Ipred以及Ierr時無法使用相同的量化參量，將導(dǎo)致重建的量化的變換系數(shù)Irec中的誤差。
圖15顯示按照本發(fā)明的第二實施例的S幀編碼器1500的方框圖，該實施例在選擇量化參量來生成量化的變換系數(shù)Ipred和Ierr時提供更大的靈活性。正如通過圖15與圖11的比較可以看到的，在按照本發(fā)明的第二實施例的S幀編碼器1500與按照本發(fā)明的第一實施例的S幀編碼器1100之間的主要差別在于量化塊1525與1550的位置。現(xiàn)在參照圖15詳細(xì)地描述按照本發(fā)明的第二實施例的S幀編碼器1500的操作。
按照本發(fā)明的第二實施例，以S幀格式被編碼的視頻幀首先被劃分成塊，然后每個塊作為SP塊或SI塊被編碼。開關(guān)1585適合于用來在SP與SI編碼模式之間切換。在SP編碼模式中，開關(guān)1585用來從運動補(bǔ)償預(yù)測塊1575得到正在被編碼的幀的當(dāng)前塊的運動補(bǔ)償預(yù)測。運動補(bǔ)償預(yù)測塊1575通過確定描述在當(dāng)前的塊的象素與被保存在幀存儲器1570中的重建的參考幀的象素數(shù)值之間的關(guān)系的運動矢量而形成對于正在被編碼的幀的當(dāng)前的塊的預(yù)測象素數(shù)值塊P(x，y)。
在SI編碼時，模式開關(guān)1585用來從內(nèi)部預(yù)測塊1580得出對于正在被編碼的幀的當(dāng)前的塊的預(yù)測。內(nèi)部預(yù)測塊1580以類似于結(jié)合本發(fā)明的第一實施例描述的方式操作，從正在被編碼的幀內(nèi)的已編碼的相鄰的象素通過使用空間預(yù)測，形成對于正在被編碼的幀的當(dāng)前塊的預(yù)測的象素數(shù)值塊P(x，y)。
在SP與SI編碼模式中，在變換塊1590中對于預(yù)測的象素值塊P(x，y)施加前向變換，例如離散余弦變換(DCT)。最終得到的變換系數(shù)cpred，被加到相加器1520和1540。原先的圖象數(shù)據(jù)，包括當(dāng)前正在被編碼的圖象塊的實際的象素數(shù)值，被傳送到變換塊1510，它們在其中也受到前向變換(例如DCT)。最終得到的變換系數(shù)corig然后被傳送到相加器1520，它形成corig與cepred之間的差值，以便按照下列關(guān)系式生成預(yù)測誤差變換系數(shù)cerrcerr＝corig-cpred
預(yù)測誤差變換系數(shù)被加到量化塊1525，它們在其中通過使用量化參量PQP被量化，以形成量化的預(yù)測誤差變換系數(shù)Ierr，它們又被傳送到復(fù)接器1540。
如果當(dāng)前的塊以SP格式被編碼，則復(fù)接器1540也接收與在形成對于SP編碼的塊的運動補(bǔ)償預(yù)測P(x，y)時使用的運動矢量有關(guān)的信息。如果當(dāng)前的塊以SI格式被編碼，則被使用來形成對于SI編碼的塊的預(yù)測P(x，y)的、有關(guān)內(nèi)部預(yù)測模式的信息也被傳送到復(fù)接器。有利地，復(fù)接器1540對于量化的預(yù)測誤差變換系數(shù)Ierr和對于運動矢量或內(nèi)部預(yù)測模式信息施加適當(dāng)?shù)目勺冮L度編碼(VLC)，以及通過把各種形式的信息復(fù)接在一起，形成比特流，以便發(fā)送到相應(yīng)的解碼器。
量化的預(yù)測誤差變換系數(shù)Ierr從量化塊1525被傳送到逆量化塊1530，在其中它們通過使用量化參量PQP被逆量化，以形成逆量化的預(yù)測誤差變換系數(shù)derr。逆量化的預(yù)測誤差變換系數(shù)derr接著被傳送到相加器1540，它們在其中與從對于當(dāng)前塊的預(yù)測像素值P(x，y)產(chǎn)生的變換系數(shù)(Cpred)相組合。更具體地，相加器1540把變換系數(shù)cpred與逆量化的預(yù)測誤差變換系數(shù)derr相加，以便按照下列關(guān)系式形成重建的變換系數(shù)creccrec＝cpred+derr重建的變換系數(shù)crec然后被傳送到量化塊1550，在其中它們通過使用量化參量SPQP被量化，以形成量化的重建的變換系數(shù)Irec。應(yīng)當(dāng)指出，被使用來量化重建的變換系數(shù)的量化參量SPQP不一定與在量化塊1525中被使用來量化預(yù)測誤差變換系數(shù)cerr的量化參量PQP相同。具體地，更精細(xì)的量化可被施加到重建的變換系數(shù)crec，以及更粗的量化可被施加到預(yù)測誤差系數(shù)cerr。這在解碼器中形成解碼的圖象時最終導(dǎo)致更小的重建誤差(失真)。
量化的重建的變換系數(shù)Irec接著被加到逆量化塊1560，在其中它們通過使用量化參量SPQP被逆量化，以形成逆量化的重建的變換系數(shù)drec。逆量化的重建的變換系數(shù)drec然后被傳送到逆變換塊1565，在其中它們受到逆變換操作，例如，逆離散余弦變換(IDCT)。由于這個操作，對于所討論的圖象塊形成重建的象素數(shù)值塊Ic(x，y)。重建的象素數(shù)值塊Ic(x，y)隨后被存儲在幀存儲器1570。隨著以S幀的格式被編碼的幀的以后的塊經(jīng)受以前描述的編碼和本地解碼操作，當(dāng)前的幀的解碼的型式被逐步收集到幀存儲器1570中，它可從該存儲器被訪問，以及被使用于內(nèi)部預(yù)測同一個幀的以后的塊或幀間地(運動補(bǔ)償?shù)?預(yù)測視頻序列中以后的幀。
現(xiàn)在參照圖13，描述按照本發(fā)明的第二實施例的S幀解碼器1300的操作。由按照本發(fā)明的第二實施例的S幀編碼器1500生成的、和以上結(jié)合圖15描述的比特流由解碼器1300接收，以及被分接成它的組成部分。解碼器按逐塊的原則重建S幀的解碼的型式。如前所述，S幀通常包括SP編碼的和SI編碼的圖象塊。對于SP編碼的圖象塊，在接收的比特流中的信息包括VLC編碼的運動矢量信息和VLC編碼的量化的預(yù)測誤差變換系數(shù)Ierr。對于以SI格式編碼的圖象塊，在接收的比特流中的信息包括被使用來形成對于SI編碼的塊的內(nèi)部預(yù)測的、與內(nèi)部預(yù)測模式有關(guān)的VLC編碼的信息；以及VLC編碼的量化的預(yù)測誤差變換系數(shù)Ierr。
當(dāng)解碼SP編碼的圖象塊時，分接器1310首先對于接收的比特流施加適當(dāng)?shù)目勺冮L度解碼(VLD)，以恢復(fù)運動矢量信息和量化的預(yù)測誤差系數(shù)Ierr。然后它從量化的預(yù)測誤差系數(shù)Ierr中分離出運動矢量信息。運動矢量信息被加到運動補(bǔ)償預(yù)測塊1370，以及從接收的比特流中被恢復(fù)的量化的預(yù)測誤差系數(shù)Ierr被加到逆量化塊1320。從接收的比特流中被恢復(fù)的運動矢量信息在運動補(bǔ)償預(yù)測塊1370中連同被保存在幀存儲器1360中的先前重建的幀的象素數(shù)值一起被使用來以類似于在編碼器1500中所采用的方式來形成正在被解碼的當(dāng)前的塊的預(yù)測P(x，y)。
當(dāng)解碼SI編碼的圖象塊時，分接器1310對于接收的內(nèi)部預(yù)測模式信息和量化的預(yù)測誤差變換系數(shù)Ierr施加適當(dāng)?shù)目勺冮L度解碼。然后從量化的預(yù)測誤差變換系數(shù)Ierr中分離出內(nèi)部預(yù)測模式信息，以及內(nèi)部預(yù)測模式信息被加到內(nèi)部預(yù)測塊1380。量化的預(yù)測誤差變換系數(shù)Ierr被加到逆量化塊1320。從接收的比特流中被恢復(fù)的內(nèi)部預(yù)測模式信息在內(nèi)部預(yù)測塊1380中連同被保存在幀存儲器1360中的當(dāng)前幀的先前解碼的象素數(shù)值一起被使用來形成對于正在被解碼的當(dāng)前的塊的預(yù)測P(x，y)。再次地，在解碼器1200中執(zhí)行的內(nèi)部預(yù)測處理過程類似于先前描述的、在相應(yīng)的編碼器1500中執(zhí)行的內(nèi)部預(yù)測處理過程。
對于SP和SI編碼的圖象塊，從接收的比特流中被恢復(fù)的量化的預(yù)測誤差變換系數(shù)Ierr在逆量化塊1320中通過使用量化參量PQP被逆量化，以形成逆量化的預(yù)測誤差變換系數(shù)derr。逆量化的預(yù)測誤差變換系數(shù)derr被加到相加器1325的一個輸入端。
一旦通過在運動補(bǔ)償預(yù)測塊1370中的運動補(bǔ)償預(yù)測或通過在內(nèi)部預(yù)測塊1380中的內(nèi)部預(yù)測形成對于正在被解碼的幀的當(dāng)前的塊的預(yù)測P(x，y)，開關(guān)1385就用來適合于把預(yù)測的象素數(shù)值P(x，y)加到變換塊1390。這里，對于預(yù)測的象素值塊P(x，y)施加前向變換，例如離散余弦變換(DCT)，以形成變換系數(shù)cpred。變換系數(shù)cpred然后被加到相加器1325的第二輸入端，在其中它們與從逆量化塊1320接收的逆量化預(yù)測誤差變換系數(shù)相組合，以形成重建的變換系數(shù)crec。更具體地，重建的變換系數(shù)是通過按照下列關(guān)系式把變換系數(shù)Cpred與逆量化預(yù)測誤差變換系數(shù)derr相加在一起被確定的crec＝cpred+derr重建的變換系數(shù)crec然后被傳送到量化塊1330，在其中它們通過使用量化參量SPQP被量化，以產(chǎn)生量化的重建的變換系數(shù)Irec。量化的重建的變換系數(shù)Irec又被加到逆量化塊1340，在其中它們通過使用量化參量SPQP被逆量化，以形成逆量化的重建的變換系數(shù)drec。逆量化的重建的變換系數(shù)drec然后被傳送到逆變換塊1350，在其中它們受到逆變換，例如逆離散余弦變換(IDCT)。由于在逆變換塊1350中施加的逆變換，對于所討論的圖象塊，形成重建的圖象象素塊Ic(x，y)。重建的象素塊Ic(x，y)被加到解碼器的視頻輸出端和其中存儲象素的幀存儲器1360。隨著S幀的以后的塊經(jīng)受上述的解碼操作，當(dāng)前的幀的解碼的型式被逐步收集到幀存儲器1360中。它可從該存儲器被訪問，以及被使用于內(nèi)部預(yù)測同一個幀的以后的塊或幀間地(運動補(bǔ)償?shù)?預(yù)測視頻序列中以后的幀。
在圖16上，顯示按照本發(fā)明的第三實施例的編碼器。在本實施例中，變換系數(shù)cpred在編碼器部分(塊1625和1630)和解碼器部分(塊1692和1694)中通過使用同一個量化參量SPQP進(jìn)行量化和逆量化。所以，編碼器不引入任何附加量化誤差到預(yù)測環(huán)路，因此，有效地防止預(yù)測環(huán)路中的誤差建立。塊1610、1620、1625、1630、1640、1650、1660、1665、1670、1675、1680、1685、1690分別具有與圖15上顯示的塊1510、1520、1525、1530、1540、1550、1560、1565、1570、1575、1580、1585、1590相同的功能。
在圖6上，描述了按照本發(fā)明的有利的實施例的解碼器600。解碼器600的大多數(shù)元件是與圖12顯示的解碼器1200相同的。解碼器600的運算塊被安排來解碼幀的預(yù)測塊，其中在圖6上未示出切換裝置。其他的塊610、615、620、630、640、650、660和670分別具有與圖12上顯示的塊1210、1220、1230、1240、1250、1260、1290和1295相同的功能。
在圖9上，描述了按照本發(fā)明的另一個有利的實施例的解碼器600。圖9上顯示的解碼器600是圖6顯示的解碼器600的修改方案。在圖9顯示的解碼器與圖12顯示的解碼器之間的差別在于，歸一化塊680被插入在分接器610與相加單元615的一個輸入端之間。其他的塊610、615、620、630、640、650、660和670分別具有與圖12上顯示的塊1210、1220、1230、1240、1250、1260、1290和1295相同的功能。
在圖10上，描述了按照本發(fā)明的再一個有利的實施例的解碼器600。解碼器600的大多數(shù)元件是與圖13顯示的解碼器1300相同的。解碼器600的運算塊被安排來解碼幀的預(yù)測塊，其中在圖10上未示出切換裝置。在圖13顯示的解碼器與圖10顯示的解碼器之間的差別在于，使用歸一化塊680，而不用逆量化塊1230。其他的塊610、615、620、630、640、650、660和670分別具有與圖13上顯示的塊1310、1325、1330、1340、1350、1360、1370和1390相同的功能。
視頻幀的編碼可以按逐塊的原則被執(zhí)行，以使得在相同的編碼的視頻幀中可以存在不同地編碼的區(qū)域。例如，幀的某些部分可以被幀間編碼，以及幀的某些其他部分可以被幀內(nèi)編碼。以上的程序過程按照所討論的部分的編碼程序過程被適當(dāng)?shù)貞?yīng)用到幀的每個部分。
除了傳輸網(wǎng)以外，對于改變比特流傳輸性質(zhì)的請求也可被傳輸系統(tǒng)的其他部分發(fā)起。例如，接收機(jī)因為某些原因可以請求發(fā)送服務(wù)器改變參量。這個請求例如通過傳輸網(wǎng)被傳遞到發(fā)送服務(wù)器。
雖然H.26L被用作為一個標(biāo)準(zhǔn)的例子，但本發(fā)明的實施例和任何變化與修正被認(rèn)為屬于本發(fā)明的范圍內(nèi)。
比特流切換不是可以應(yīng)用本發(fā)明的唯一的應(yīng)用。如果一個比特流具有較低的時間分辨率，例如1幀/每秒，則這個比特流可被使用來提供快速前進(jìn)功能。具體地，從具有較低的時間分辨率的比特流中解碼和然后切換到具有正常的幀的速率的比特流，將提供這樣的功能。圖8顯示兩個比特流，其中的第二比特流只包括在大于第一比特流的幀重復(fù)周期的時間間隔上互相預(yù)測的S幀。而且，“快速前進(jìn)”可以在比特流的任何位置上開始和停止。下面，描述本發(fā)明的某些其它應(yīng)用。
拼接和隨機(jī)訪問先前討論的比特流切換的例子考慮屬于同一個圖象序列的比特流。然而，這不一定是在需要比特流切換的所有的情形下的事例。例子包括通過從不同的視角攝取同一個事件的不同的攝像機(jī)、或通過為了監(jiān)管而被放置在建筑物周圍的攝像機(jī)得到的比特流之間的切換；在電視廣播中切換到本地/全國節(jié)目，或插入廣告，視頻搭接等等。對于鏈接編碼的比特流的處理過程的總的名稱是拼接。
當(dāng)在屬于不同的圖象序列的比特流之間發(fā)生切換時，這只影響被使用來在比特流之間進(jìn)行切換的S幀的編碼，即圖5上的二次S幀S12。具體地，在一個圖象序列中通過使用來自不同的圖象序列的參考幀來進(jìn)行幀的運動補(bǔ)償預(yù)測，并沒有像在兩個比特流屬于同一個圖象序列時那樣有效。在這種情形下，更可能是二次S幀的空間預(yù)測是更有效的。圖7上顯示這一點，其中切換的幀是僅僅使用空間預(yù)測的SI幀，它相同地重建相應(yīng)的SP幀S2。這個方法可以作為隨機(jī)訪問機(jī)制被使用于比特流，以及它在錯誤矯正和彈回方面具有進(jìn)一步的意義，正如下面描述的。
錯誤矯正從不同的參考幀預(yù)測(例如，從緊接在前面的重建的幀和在時間上進(jìn)一步回退的重建的幀預(yù)測)的、具有S幀的形式的單個幀的多個表示可被使用來增加編碼的視頻序列的錯誤彈回和/或改進(jìn)從比特流中的錯誤矯正。這顯示于圖14。在預(yù)編碼的比特流流動期間發(fā)生分組丟失和丟失一個幀或片的情形下，接收機(jī)把丟失的幀/片告知發(fā)射機(jī)以及發(fā)射機(jī)通過發(fā)送下一個S幀的替換的表示作為應(yīng)答。替換的表示，例如，圖14的幀S12，使用已由接收機(jī)正確地接收的參考幀。對于基于片的分組化和傳遞，發(fā)送者還能估價受到這樣的片/幀丟失影響的片，并能用它們的替換的表示只更新在下一個S幀中的那些片。
同樣地，正如先前在討論拼接時提到的，S幀的二次表示可以不用使用任何參考幀被生成，即，諸如在圖14上顯示的SI2幀。在這種情形下，發(fā)送者將發(fā)送二次SI幀，即SI2，而不是S2，以停止錯誤傳播。這個方法也可以直截了當(dāng)?shù)姆绞綌U(kuò)展到基于片的編碼/分組化。更具體地，服務(wù)器從SI幀發(fā)送受到分組丟失影響的、在下一個S幀中的片。
錯誤彈回視頻幀的編碼可以按逐塊的原則被執(zhí)行，以使得在相同的編碼視頻幀中，可以存在有不同地編碼的區(qū)域。例如，幀的某些部分可以被幀間編碼，以及幀的某些其他部分可以被內(nèi)部編碼。正如已討論的，內(nèi)部塊編碼由于它不采用任何時間相關(guān)值而停止了任何錯誤傳播，這種錯誤傳播可能由于輸送損傷而引起。
在有損輸送網(wǎng)絡(luò)中，內(nèi)部宏塊刷新策略可提供優(yōu)越的錯誤彈回/校正性能。在交互的客戶/服務(wù)器情形下。在服務(wù)器端的編碼器決定根據(jù)從客戶接收的特定的反饋(例如，丟失的/弄亂的幀/片/宏塊的精確的位置)，或根據(jù)通過協(xié)商計算的預(yù)期的網(wǎng)絡(luò)條件或測量的網(wǎng)絡(luò)條件來編碼幀/宏塊。這種宏塊內(nèi)更新策略通過提供錯誤彈回和錯誤矯正而改善接收的視頻的質(zhì)量。最佳宏塊內(nèi)更新刷新速率，即，宏塊被內(nèi)部編碼的頻率，取決于輸送信道條件，例如分組丟失和/或誤碼率。然而，當(dāng)發(fā)送已被編碼的比特流時(這是在典型的流動應(yīng)用時的情形)，以上的策略不能直接應(yīng)用。或者序列需要用最壞情形的預(yù)期的網(wǎng)絡(luò)條件被編碼，或者需要附加的錯誤彈回/矯正機(jī)制。
從先前的涉及在錯誤矯正和拼接應(yīng)用中S幀的使用的討論，可以指出，S幀或在S幀內(nèi)的片可以容易地表示為不使用任何參考幀而仍舊導(dǎo)致相同的S幀重建SI幀/片。這個特性可以在以上討論的自適應(yīng)內(nèi)部刷新機(jī)制中被利用。首先，圖象序列用S宏塊的某個預(yù)定比值被編碼。然后，在傳輸期間，某些S宏塊以它們的二次表示，即作為SI宏塊，被發(fā)送。要以SI表示進(jìn)行發(fā)送的S宏塊的數(shù)目可以以類似于在先前討論的、實時編碼/傳遞方法中使用的方法的方式被計算。
視頻冗余編碼S幀在它們不作為I幀的代替物而起作用的應(yīng)用中具有其他用途。視頻冗余編碼(VRC)可以作為一個例子被給出。VRC方法的原理是把圖象序列劃分成兩個或多個線索，這樣，序列中所有的圖象以循環(huán)方式被分配給其中的一個線索。每個線索被獨立地編碼。在常規(guī)的時間間隔，所有的線索聚合成所謂的同步幀。從這個同步幀，開始一個新的線索序列。如果其中的一個線索被損壞，例如因為分組丟失，則其余的線索典型地保持原封不動，以及它們可被使用來預(yù)測下一個同步幀。有可能繼續(xù)解碼損壞的線索，這導(dǎo)致圖象質(zhì)量的輕微惡化；或停止解碼損壞的線索，這導(dǎo)致幀速率的下降。同步幀總是從未損壞的線索之一進(jìn)行預(yù)測的。這意味著，發(fā)送的I幀的數(shù)目可保持為小的，因為不需要完全的重新同步化。對于同步幀，發(fā)送一個以上的表示(P幀)，每個使用來自不同線索的一個參考幀。由于P幀的使用，這些表示是不相同的。所以，當(dāng)某些表示不能被解碼時誤匹配被引入，以及當(dāng)解碼以下的線索時使用它們的配對物。使用S幀作為同步幀，可消除這個問題。
顯然，本發(fā)明并不限于以上描述的實施例，而是可以在附屬權(quán)利要求的范圍內(nèi)進(jìn)行修正。
權(quán)利要求
1.一種用于發(fā)送視頻信息的方法，其中至少第一比特流(510)和第二比特流由視頻信息形成，第一比特流(510)包括第一組幀，它包括至少一個視頻幀，以及第二比特流(520)包括第二組(520)幀，它包括至少一個預(yù)測的視頻幀(524)，至少部分不同的編碼參量被使用于編碼所述第一比特流(510)和所述第二比特流(520)的幀，所述第一比特流(510)的至少一個幀被發(fā)送，以及傳輸從所述第一比特流(510)被切換到所述第二比特流(520)，其特征在于，在把傳輸從所述第一比特流(510)切換到所述第二比特流(520)時，二次比特流至少包括一個一次切換幀(523)，二次切換幀(550)被發(fā)送，二次切換幀(550)通過使用第二比特流(520)的編碼參量和來自第一比特流(510)的至少一個參考幀而被編碼，以及所述二次切換幀(550)代替一次切換幀(523)被用作為在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀(524)時要被使用的參考幀。
2.按照權(quán)利要求1的方法，其特征在于，第一比特流(510)包括至少一個一次切換幀(513)。
3.按照權(quán)利要求1或2的方法，其特征在于，第一比特流(510)僅僅包括一個內(nèi)部幀和一個一次切換幀(513)，用來執(zhí)行從視頻信息的一個位置到視頻信息的另一個位置的切換。
4.按照權(quán)利要求1或2的方法，其特征在于，第一比特流(510)僅僅包括內(nèi)部幀和一次切換幀(513)，用來執(zhí)行視頻信息的快速前進(jìn)操作。
5.按照權(quán)利要求2到4的任一項的方法，其特征在于，所述一次切換幀(523)是預(yù)測的視頻幀(524)，其中預(yù)測信息只包括內(nèi)部預(yù)測信息。
6.按照權(quán)利要求1到5的任一項的方法，其特征在于，形成一次切換幀(513)以便對變換系數(shù)cpred進(jìn)行計算和被量化，從而形成變換系數(shù)的量化的數(shù)值Ipred；對預(yù)測誤差的量化的系數(shù)Ierr進(jìn)行規(guī)定；對去量化的重建圖象系數(shù)drec進(jìn)行規(guī)定以使得存在有系數(shù)crec，通過量化和去量化，可以從該系數(shù)crec得出去量化的重建圖象系數(shù)drec；以及去量化的重建圖象系數(shù)drec滿足以下條件之一drec＝dpred+derr，或crec＝cpred+derr，其中derr是預(yù)測誤差的去量化的數(shù)值，以及dpred是量化的變換系數(shù)Ipred的去量化的數(shù)值。
7.按照權(quán)利要求6的方法，其特征在于，相同的量化參量被使用于變換系數(shù)Ipred的量化和預(yù)測誤差的量化。
8.按照權(quán)利要求6的方法，其特征在于，不同的量化參量被使用于變換系數(shù)Ipred的量化而不使用于預(yù)測誤差的量化。
9.按照權(quán)利要求1到8的任一項的方法，其特征在于，所述二次切換幀(550)被使用來恢復(fù)傳輸錯誤，其中所述一次切換幀(523)是預(yù)測的視頻幀(524)，其中預(yù)測信息包括來自比預(yù)測視頻幀(524)的前面的幀靠前的視頻幀的預(yù)測信息。
10.按照權(quán)利要求1到8的任一項的方法，其特征在于，所述二次切換幀(550)被使用來恢復(fù)傳輸錯誤，其中所述一次切換幀(523)是預(yù)測的視頻幀(524)，其中預(yù)測信息只包括內(nèi)部預(yù)測信息。
11.按照權(quán)利要求1到10的任一項的方法，其特征在于，所述至少一個一次切換幀(523)和所述二次切換幀(550)產(chǎn)生所述至少一個預(yù)測視頻幀(524)的相同的重建結(jié)果。
12.一種編碼器，包括用于從視頻信息形成至少第一比特流和第二比特流的裝置，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組(520)幀，它包括至少一個預(yù)測的視頻幀(524)；用于使用至少部分不同的編碼參量用于編碼所述第一比特流(510)和所述第二比特流(520)的幀的裝置；用于發(fā)送所述第一比特流(510)的至少一個幀的裝置；以及用于把傳輸從所述第一比特流(510)切換到所述第二比特流(520)的裝置，其特征在于，所述用于把傳輸從所述第一比特流(510)切換到所述第二比特流(520)的裝置包括用于通過使用第二比特流(520)的編碼參量和來自第一比特流(510)的參考幀編碼二次切換幀(550)的裝置，以使得能夠把傳輸從所述第一比特流(510)切換到所述第二比特流(520)。
13.按照權(quán)利要求12的編碼器，其特征在于，它包括用于通過使用所述參考幀產(chǎn)生預(yù)測信息的裝置(1670、1675)，和用于執(zhí)行對于預(yù)測信息的量化和去量化的裝置(1692、1694)。
14.解碼器，用于從包括由視頻信息形成的至少第一比特流(510)和第二比特流的幀的信號中解碼視頻信息，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組(520)幀，它包括至少一個預(yù)測的視頻幀(524)，至少部分不同的編碼參量被使用于編碼所述第一比特流(510)和所述第二比特流(520)的幀，其特征在于，解碼器包括用于解碼二次切換幀(550)的裝置，所述二次切換幀(550)通過使用第二比特流(520)的編碼參量和來自第一比特流(510)的至少一個參考幀而被編碼，以及代替一次切換幀(523)作為在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀(524)時要被使用的參考幀被加到信號上，以及所述用于解碼二次切換幀(550)的裝置包括用于使用第二比特流(520)的解碼參量和來自第一比特流(510)的參考幀的裝置。
15.按照權(quán)利要求14的解碼器，其特征在于，一次切換幀(513)包括通過只使用空間相關(guān)的內(nèi)部預(yù)測而被編碼的區(qū)域，和通過使用運動補(bǔ)償?shù)膸g預(yù)測而被編碼的區(qū)域，其中解碼器包括使用運動補(bǔ)償信息來進(jìn)行重建的裝置、使用空間相關(guān)信息來進(jìn)行重建的裝置、以及取決于編碼各個區(qū)域時所使用的預(yù)測方法而通過所述使用運動補(bǔ)償信息的裝置或通過所述使用空間相關(guān)信息的裝置來執(zhí)行每個區(qū)域的重建的切換裝置。
16.表示編碼的視頻信息的和包括由視頻信息形成的至少第一比特流(510)和第二比特流的幀的信號，第一比特流包括第一組幀，它包括至少一個視頻幀，以及第二比特流包括第二組(520)幀，它包括至少一個預(yù)測的視頻幀(524)，至少部分不同的編碼參量被使用于編碼所述第一比特流(510)和所述第二比特流(520)的幀，其特征在于，在把傳輸從所述第一比特流(510)切換到所述第二比特流(520)時，二次比特流至少包括一個一次切換幀(523)，所述信號包括二次切換幀(513、523)，它們通過使用第二比特流(520)的編碼參量和來自第一比特流(510)的至少一個參考幀而被編碼，以及所述二次切換幀(550)是代替一次切換幀(523)被用作為在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀(524)時要被使用的參考幀。
全文摘要
本發(fā)明涉及用于發(fā)送視頻信息的方法，在視頻信息中至少形成第一比特流(510)和第二比特流。第一比特流(510)包括至少一個視頻幀，以及第二比特流(520)包括至少一個預(yù)測的視頻幀(524)。至少部分不同的編碼參量被使用于編碼所述第一比特流(510)和所述第二比特流(520)的幀。所述第一比特流(510)的至少一個幀被發(fā)送，以及傳輸從所述第一比特流(510)被切換到所述第二比特流(520)。在把傳輸從所述第一比特流(510)切換到所述第二比特流(520)時，二次切換幀(550)被發(fā)送，二次切換幀(550)通過使用第二比特流(520)的編碼參量和來自第一比特流(510)的至少一個參考幀而被編碼。所述二次切換幀(550)在重建第二組視頻幀的所述至少一個預(yù)測的視頻幀(524)時作為參考幀被使用。本發(fā)明還涉及用于編碼視頻信息的編碼器、用于解碼視頻信息的解碼器、和表示已編碼的視頻信息的信號。
文檔編號H04N7/24GK1484921SQ02803441
公開日2004年3月24日 申請日期2002年1月3日 優(yōu)先權(quán)日2001年1月3日
發(fā)明者M·卡策維茨, M 卡策維茨, R·庫爾塞倫 申請人:諾基亞有限公司