專利名稱：視頻編碼方法和相應(yīng)的編碼器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及視頻壓縮，尤其是涉及一種應(yīng)用于視頻序列以及在視頻編碼器中使用的視頻編碼方法，該編碼器包括基礎(chǔ)層編碼裝置，用于接收所述的視頻序列，并從中產(chǎn)生基礎(chǔ)層信號，該信號與包含在所述序列的視頻幀中的視頻對象(VO)相應(yīng)、并構(gòu)成適于以基礎(chǔ)層比特率傳送給視頻解碼器的第一比特流；以及增強層編碼裝置，用于接收所述的視頻序列以及所述的基礎(chǔ)層信號的解碼版本，并從中產(chǎn)生增強層信號，該信號與相應(yīng)的基礎(chǔ)層信號相聯(lián)系的并適于以一個增強層比特率傳送給所述的視頻解碼器。更精確的說，它涉及一種允許編碼所述序列的VO的方法，并且該方法包括以下步驟(1)將視頻序列分割成所述的VO；(2)編碼每個所述的VO的連續(xù)視頻對象平面(VOP)，所述的編碼步驟本身包括編碼所述VOP的紋理和形狀的子步驟，所述的紋理編碼子步驟本身包括不對VOP進行預(yù)測的第一編碼操作，被稱為內(nèi)編碼或者I-VOP，不對另一個VOP進行任何時間參考而編碼，對VOP進行單向預(yù)測的第二編碼操作，被稱為預(yù)測或P-VOP，僅使用前一個或者后一個I-或P-VOP作為時間參考編碼，以及對VOP進行雙向預(yù)測的第三編碼操作，被稱為雙向預(yù)測或B-VOP，使用前一和后一I-或P-VOP作為時間參考編碼。
本發(fā)明也涉及一種存儲在計算機可讀介質(zhì)之上并用于執(zhí)行這樣的編碼方法的計算機可執(zhí)行處理步驟，一種相應(yīng)的計算機程序產(chǎn)品以及執(zhí)行所述的方法的視頻編碼器。
背景技術(shù)：
在一個應(yīng)用MPEG-4標準(所述的標準例如在文章“MPEG-4版本1標準的回顧”中被描述，ISO/IEC JTC1/SC29/WG11 N1909，1997年10月，F(xiàn)ribourg)的編碼器中，使用了三種類型的圖像內(nèi)編碼圖像(I)，獨立于其它的圖像進行編碼，預(yù)測編碼圖像(P)，通過運動補償預(yù)測根據(jù)前一個參考圖像(I或P)進行預(yù)測，以及雙向預(yù)測編碼圖像(B)，根據(jù)前一和接下來的參考圖像(I或P)進行預(yù)測。I圖像是最重要的，因為它們是參考圖像并能夠提供入點(在比特流中)，在該點解碼可以不參照任何先前的圖像而進行(在這樣的圖像中只有空間冗余被消除)。為了既減少空間冗余，又減少時間冗余，P圖像提供了一個比僅減少空間冗余的I圖像更好的壓縮。B圖像提供了最好的壓縮程度。
在MPEG-4中，使用了幾種結(jié)構(gòu)，例如視頻對象(VO)，它們是用戶可以訪問和操作的實體，以及視頻對象平面(VOP)，它們是在一個給定時間的視頻對象的實例。在一編碼比特流中，可以發(fā)現(xiàn)幾種不同類型的VOP內(nèi)編碼VOP，僅使用空間冗余(就比特而言是最昂貴的)，預(yù)測編碼VOP，根據(jù)前一參考VOP使用運動估計和補償，以及雙向預(yù)測編碼VOP，根據(jù)前一以及接下來的參考VOP使用運動估計和補償。
對于P-VOP以及B-VOP，只有當前的VOP以及它的參考VOP(s)之間的差才被編碼。只有P-和B-VOP涉及到運動補償，根據(jù)所謂的“塊匹配法則”執(zhí)行對于當前幀的每個宏塊，在預(yù)定的搜索區(qū)域內(nèi)尋找參考VOP中最匹配的宏塊，并且計算一個運動矢量MV。下面通過絕對差的和(SAD)給出了類似的標準。對于一個NxN宏塊，SAD被表示為SAD=Σi=0NxN|A(i)-B(i)|]]>這樣，選中的宏塊就與在一個搜索區(qū)域中計算出來的SAD最小的塊相對應(yīng)。對于所述的估計，存在不同的模式，這依賴于幀的類型(a)對于P-VOP宏塊，只有“前向模式”適用(使用前面的參考I-VOP或者P-VOP)(b)對于B-VOP宏塊，在宏塊估計中可以使用四種模式-“前向模式”，(如對于P-VOP)；-“后向模式”如前向模式，只是參考不再是前面的圖像，而是接下來的P-或I-VOP；-“內(nèi)插模式”或“雙向模式”它包括前向和后向模式并且使用前一以及接下來的VOP；-“直接模式”，每一運動矢量的計算都源于接下來的參考VOP的運動矢量以及不同的VOP之間的時間距離。
在MPEG-4中，提供一個非常重要的功能，可量測性。
可升級編碼，也被稱為“可分層編碼”，允許以這樣的方式產(chǎn)生一個編碼表示，從而使得能夠進行可升級解碼操作。可伸縮性是允許對數(shù)據(jù)的合適子集進行解碼的比特流特性，這導(dǎo)致了分辨率和/或質(zhì)量與解碼比特流的比例相適應(yīng)的完整圖像的產(chǎn)生。這樣的功能在許多需要視頻序列以各種分辨率和/或質(zhì)量和/或復(fù)雜性上同時獲得的應(yīng)用中是有用的。實際上，如果比特流是可升級的，用戶可以根據(jù)他的解碼器或者顯示器，或者根據(jù)他的可用帶寬僅訪問其一部分從而提供基礎(chǔ)的視頻，而其它的用戶可以使用整個比特流從而產(chǎn)生一個較好的視頻質(zhì)量。
可伸縮性，就編碼過程而言，成本要低于根據(jù)幾個獨立的比特流的分別編碼的解決方案，其優(yōu)勢在于，它允許將一個比特流至少分成兩個不同的比特流(并且，其中，一個的比特率要大于另一個)發(fā)送。因此可伸縮性的每一種類型要涉及一個以上的層。在時間可伸縮的情況下，至少要考慮包括一個低級層以及一個高級層的兩層。低級層被稱為基礎(chǔ)層，以一個給定的幀速率進行編碼，剩下的層被稱為增強層，被編碼從而提供在基礎(chǔ)層中的信息丟失(為了形成一個具有較高的幀速率的視頻信號)，并且在顯示端提供一個較高的瞬時清晰度。一個解碼器可以僅解碼基礎(chǔ)層，其與解碼視頻流所需的最小數(shù)量的數(shù)據(jù)相應(yīng)，或者也解碼增強層(除了基礎(chǔ)層)，所述的增強層與提供一個增強視頻信號所需的附加數(shù)據(jù)相應(yīng)，并且如果需要一個更高的分辨率就每秒輸出更多的幀。
如上所述，MPEG-4視頻標準具有一個預(yù)測編碼方案。當發(fā)生一個場景剪輯的時候，編碼緊隨所述場景剪輯的第一個VOP作為I-VOP是非常高效的，而不是試圖根據(jù)前一個與其是完全不同的VOP進行預(yù)測。在時間可伸縮的情況下，問題更復(fù)雜，因為場景剪輯可能發(fā)生在增強層的兩個VOP之間，而它不得不在基礎(chǔ)層進行處理。如果在每一層第一個VOP被編碼為I-VOP，這將導(dǎo)致比特的浪費以及編碼效率的損失。

發(fā)明內(nèi)容
因此本發(fā)明的一個目的是提供一種允許在場景剪輯的情況下降低所述編碼效率的損失的編碼方法。
為此，本發(fā)明涉及一種在本說明書的介紹部分定義的編碼方法，并且其特征在于當場景剪輯發(fā)生并且增強層VOP位于場景的最后一個基礎(chǔ)層VOP以及下一場景的第一個基礎(chǔ)層VOP之間的時候，所述的增強層VOP的時間參考被選擇，這要遵循下面的特定的處理規(guī)則(A)位于場景剪輯以前的VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的下一個VOP作為時間參考；(B)正好緊挨著場景剪輯發(fā)生以后的VOP(a)P編碼時間被執(zhí)行；(b)將基礎(chǔ)層顯示順序中的下一個VOP用作為時間參考；(C)位于場景剪輯之后的其它VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的前一個VOP作為時間參考；這種解決方案的主要優(yōu)點在于它允許僅編碼一個內(nèi)VOP，而避免了無效的場景間預(yù)測。
本發(fā)明也涉及存儲在計算機可讀介質(zhì)上的并用于執(zhí)行所述視頻編碼方法的計算機可執(zhí)行處理步驟，也涉及一種包括一組指令的計算機程序產(chǎn)品，當它們被裝載到一個所述的編碼器中時，就使其執(zhí)行該方法的步驟。本發(fā)明也涉及一種視頻編碼器，它包括基礎(chǔ)層編碼裝置，用于接收視頻序列并產(chǎn)生基礎(chǔ)層信號，該信號與包含在所述序列的視頻幀中的視頻對象(VO)相應(yīng)，并構(gòu)成了適于以基礎(chǔ)層比特率傳送給視頻解碼器的第一比特流以及增強層編碼裝置，用于接收所述的視頻序列以及所述的基礎(chǔ)層信號的解碼版本，產(chǎn)生增強層信號，該信號與相應(yīng)的基礎(chǔ)層信號相聯(lián)系并適于以增強層比特率傳送給所述的視頻解碼器，所述的視頻編碼器包括(1)將視頻序列分割成所述的VO的裝置；(2)用于編碼連續(xù)視頻對象平面(VOP)的紋理和形狀的裝置，所述的紋理編碼裝置執(zhí)行不對VOP進行預(yù)測的第一編碼操作，被稱為內(nèi)編碼或者I-VOP，不用任何對其它VOP的時間參考編碼，對VOP進行單向預(yù)測的第二編碼操作，被稱為預(yù)測或P-VOP，僅使用前一個或者后一個I-或P-VOP作為時間參考編碼，以及對VOP進行雙向預(yù)測的第三編碼操作，被稱為雙向預(yù)測或B-VOP，使用之前的和之后的I-或P-VOP作為時間參考編碼，其特征在于當場景剪輯發(fā)生并且增強層VOP位于場景的最后一個基礎(chǔ)層VOP以及下一場景的第一個基礎(chǔ)層VOP之間的時候，所述的增強層VOP的時間參考被選擇，這要遵循下面的特定處理規(guī)則(A)位于場景剪輯以前的VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的下一個VOP作為時間參考；(B)正好緊挨著場景剪輯后的VOP(a)P編碼時間被執(zhí)行；(b)將基礎(chǔ)層顯示順序中的下一個VOP用作為時間參考；(C)位于場景剪輯后的其它VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的前一個VOP作為時間參考；


本發(fā)明將參照隨后的附圖以更為詳細的方式進行描述附圖1描繪了在一個可升級MPEG-4視頻流的基礎(chǔ)層和增強層中時間參考的選擇；附圖2描繪了根據(jù)本發(fā)明為時間參考的所述選擇處理而定義的特定規(guī)則。
具體實施例方式
如上所述，在一個編碼比特流中可以發(fā)現(xiàn)不同類型的VOP內(nèi)編碼VOP，預(yù)測編碼VOP以及雙向預(yù)測VOP。由于MPEG-4視頻標準是一個預(yù)測編碼方案，因此必須為每一個編碼的非內(nèi)VOP定義時間參考。在單層的情況下或者在可升級流的基礎(chǔ)層(BL)中，時間參考以唯一方式被所述標準所定義，如圖1所示(TR11，TR12，TR13)。相反，對于MPEG-4流的時間增強層(EL)，有三種VOP可以作為運動預(yù)測中的可能的時間參考增強層的最接近的解碼VOP(TR21，TR22)，或者基礎(chǔ)層(以顯示順序)的前一VOP(TR23，TR24)，或者基礎(chǔ)層(以顯示順序)的下一個VOP(TR25，TR26)。對于時間增強層的P-VOP以及B-VOP的這三個可能的選擇被顯示在圖1中(每一個箭頭對應(yīng)于一個可能的時間參考)對增強層的每一個P-VOP必須選擇一個參考，對每一個B-VOP必須選擇兩個。
現(xiàn)在本發(fā)明將與圖2相聯(lián)系進行描述。理論上，為了滿足壓縮效率的限制，每一場景變化僅需要一個I-VOP。由于在基礎(chǔ)層中沒有時間參考的可能選擇，因此決定編碼在場景剪輯以后的基礎(chǔ)層的第一個VOP為I-VOP(所述的場景剪輯參照圖2中的SC)，以及在增強層中禁止內(nèi)編碼以及場景間預(yù)測，特別是對位于場景的最后一個基礎(chǔ)層VOP以及接下來的場景的第一個基礎(chǔ)層VOP之間的所有的增強層VOP。這些編碼規(guī)則是這樣的(1)位于場景剪輯之前的VOP(a)條件C1對編碼類型沒有限制，以及(b)條件C2禁止使用在基礎(chǔ)層的顯示順序中的下一個VOP作為時間參考(2)緊挨著場景剪輯之后的VOP(a)條件C3執(zhí)行P編碼類型，以及(b)條件C4所述的P編碼使用基礎(chǔ)層的顯示順序中的下一個VOP作為時間參考；(3)位于場景剪輯之后的其它VOP(a)條件C5對編碼類型沒有限制，以及(b)條件C6禁止使用基礎(chǔ)層顯示序列的前一VOP作為時間參考。
與這三種情況相聯(lián)系的六種條件被顯示在圖2中，其中X相應(yīng)于任何編碼類型的VOP。比較圖1和圖2，可以清楚的看出下述條件被滿足條件C2，即對于位于場景剪輯以前的VOP不使用下一個VOP；C4，即將基礎(chǔ)層的下一個VOP作為時間參考；以及C6，即沒有基礎(chǔ)層的前一VOP被用作時間參考。
這樣描述的視頻編碼方法然后通過一個視頻編碼器來執(zhí)行，該編碼器一方面包括基礎(chǔ)層編碼裝置，用于接收視頻序列并產(chǎn)生基礎(chǔ)層信號，該信號與包含在所述序列的視頻幀中的視頻對象(VO)相應(yīng)，并構(gòu)成了適于以基礎(chǔ)層比特率傳送給視頻解碼器的第一比特流，以及另一方面包括增強層編碼裝置，用于接收所述的視頻序列以及所述的基礎(chǔ)層信號的解碼版本，產(chǎn)生增強層信號，該信號與相應(yīng)的基礎(chǔ)層信號相聯(lián)系并適于以增強層比特率傳送給所述的視頻解碼器。該編碼器包括將視頻序列分割成所述的VO的裝置；以及用于編碼每個所述VO的連續(xù)視頻對象平面(VOP)的紋理和形狀的裝置，所述的紋理編碼裝置執(zhí)行三種類型的編碼操作第一種不對VOP進行預(yù)測，被稱為內(nèi)編碼或者I-VOP，第二種對VOP進行單向預(yù)測，被稱為預(yù)測或P-VOP，以及第三種對VOP進行雙向預(yù)測，被稱為雙向預(yù)測或B-VOP。
根據(jù)本發(fā)明在所述的編碼器中，當場景剪輯發(fā)生，并且所述增強層VOP位于場景的最后一個基礎(chǔ)層VOP以及下一場景的第一個基礎(chǔ)層VOP之間的時候，所述的增強層VOP的時間參考將遵循上面定義的處理規(guī)則進行選擇
(A)位于場景剪輯以前的VOP對編碼類型沒有限制并且禁止將基礎(chǔ)層的下一個VOP用作為時間參考；(B)正好緊挨著場景剪輯以后的VOPP編碼時間被執(zhí)行并且將基礎(chǔ)層的下一個VOP用作為時間參考；(C)位于場景剪輯之后的其它的VOP對編碼類型沒有限制并且禁止將基礎(chǔ)層的前一個VOP用作為時間參考；應(yīng)該明白，上面描述的視頻解碼器能夠采用硬件或者軟件來實現(xiàn)，或者通過硬件與軟件的結(jié)合來實現(xiàn)。然后可以通過任何類型的計算機系統(tǒng)或者其他適于執(zhí)行上述的方法的裝置來實現(xiàn)。一個典型的硬件與軟件的結(jié)合是通用計算機系統(tǒng)和計算機程序，當被下載和執(zhí)行的時候，控制計算機系統(tǒng)使其執(zhí)行上述的方法。此外，可以利用一個包括用于執(zhí)行本發(fā)明的一個或者多個功能的特定硬件的特定用途計算機。本發(fā)明也可以被嵌入到一個計算機程序介質(zhì)或者產(chǎn)品中，它包括能夠執(zhí)行上面描述的方法和功能的所有特征，以及當被裝載到一個計算機系統(tǒng)時，它能夠執(zhí)行這些方法和功能。本發(fā)明也涉及存儲在這樣的計算機可讀介質(zhì)或產(chǎn)品上的并且用于執(zhí)行所述的視頻編碼方法的計算機可執(zhí)行處理步驟。計算機程序，軟件程序，程序，程序產(chǎn)品或者軟件，在本文中的意思是一組指令的任何語言、編碼或者符號的任何表達，該組指令使得一個具有信息處理能力的系統(tǒng)直接或者在下面的兩者之一或全部完成以后執(zhí)行一個特定的功能，(a)轉(zhuǎn)換成其它語言，編碼或者符號，和/或(b)以一個不同的物質(zhì)形式再現(xiàn)。
前面的對本發(fā)明的描述是為了舉例和描述，并不是窮舉，也不是將發(fā)明限制在公開的精確形式中，在上面的指教下可以做出各種變形。這樣的變形對于本領(lǐng)域的技術(shù)人員來說是明顯的，并也包含在本發(fā)明的范圍內(nèi)。
權(quán)利要求
1.一種用在視頻編碼器中的用于視頻序列的視頻編號方法，所述的視頻編碼器包括基礎(chǔ)層編碼裝置，用于接收所述視頻序列并產(chǎn)生基礎(chǔ)層信號，該信號與包含在所述序列的視頻幀中的視頻對象(VO)相應(yīng)，并構(gòu)成了適于以基礎(chǔ)層比特率傳送給視頻解碼器的第一比特流，以及增強層編碼裝置，用于接收所述的視頻序列以及所述的基礎(chǔ)層信號的解碼版本，產(chǎn)生增強層信號，該信號與相應(yīng)的基礎(chǔ)層信號相聯(lián)系并適于以增強層比特率傳送給所述的視頻解碼器，所述的視頻編碼方法包括以下步驟(1)將所述視頻序列分割成所述的VO；(2)編碼每一個所述的VO的連續(xù)視頻對象平面(VOP)，所述的編碼步驟本身包括編碼所述的VOP的紋理和形狀的子步驟，所述的紋理編碼子步驟本身包括不對VOP進行預(yù)測的第一編碼操作，被稱為內(nèi)編碼或者I-VOP，不用任何對其它VOP的時間參考而編碼，對VOP進行單向預(yù)測的第二編碼操作，被稱為預(yù)測或P-VOP，僅使用前一個或者后一個I-或P-VOP作為時間參考編碼，以及對VOP進行雙向預(yù)測的第三編碼操作，被稱為雙向預(yù)測或B-VOP，使用前一和后一I-或P-VOP作為時間參考編碼，當場景剪輯發(fā)生并且所述增強層VOP位于場景的最后一個基礎(chǔ)層VOP以及下一場景的第一個基礎(chǔ)層VOP之間的時候，所述的增強層VOP的時間參考的選擇要遵循下面的特定處理規(guī)則(A)位于場景剪輯以前的VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的下一個VOP作為時間參考；(B)正好緊挨著場景剪輯以后的VOP(a)P編碼時間被執(zhí)行；(b)將基礎(chǔ)層顯示順序中的下一個VOP用作為時間參考；(C)位于場景剪輯之后的其它VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的前一個VOP作為時間參考。
2.存儲在計算機可讀介質(zhì)上的并用于執(zhí)行根據(jù)權(quán)利要求1的視頻編碼方法的計算機可執(zhí)行處理步驟。
3.一種在視頻編碼器中用于在所述的編碼器中執(zhí)行權(quán)利要求1的所述編碼方法的計算機程序產(chǎn)品，所述產(chǎn)品包括一組指令，當其被裝載到所述的編碼器時，使其執(zhí)行所述方法的步驟。
4.一種視頻編碼器，包括基礎(chǔ)層編碼裝置，用于接收視頻序列并產(chǎn)生基礎(chǔ)層信號，該信號與包含在所述序列的視頻幀中的視頻對象(VO)相應(yīng)，并構(gòu)成了適于以基礎(chǔ)層比特率傳送給視頻解碼器的第一比特流，以及增強層編碼裝置，用于接收所述的視頻序列以及所述的基礎(chǔ)層信號的解碼版本，產(chǎn)生增強層信號，該信號與相應(yīng)的基礎(chǔ)層信號相聯(lián)系并適于以增強層比特率傳送給所述的視頻解碼器，所述的視頻編碼器包括(1)將所述視頻序列分割成所述的VO的裝置；(2)用于編碼連續(xù)視頻對象平面(VOP)的紋理和形狀的裝置，所述的紋理編碼裝置執(zhí)行不對所述VOP進行預(yù)測的第一編碼操作，被稱為內(nèi)編碼或者I-VOP，不用任何對其它VOP的時間參考而編碼，對VOP進行單向預(yù)測的第二編碼操作，被稱為預(yù)測或P-VOP，僅使用前一個或者后一個I-或P-VOP作為時間參考編碼，以及對VOP進行雙向預(yù)測的第三編碼操作，被稱為雙向預(yù)測或B-VOP，使用前一和后一I-或P-VOP作為時間參考編碼，其特征在于當場景剪輯發(fā)生并所述且增強層VOP位于場景的最后一個基礎(chǔ)層VOP以及下一場景的第一個基礎(chǔ)層VOP之間的時候，所述的增強層VOP的時間參考被選擇，這要遵循下面的特定的處理規(guī)則(A)位于場景剪輯以前的VOP(a)對編碼類型沒有限制；(B)禁止使用基礎(chǔ)層顯示順序中的下一個VOP作為時間參考；(B)正好緊挨著場景剪輯以后的VOP(a)P編碼時間被執(zhí)行；(b)將基礎(chǔ)層顯示順序中的下一個VOP用作為時間參考；(C)位于場景剪輯之后的其它VOP(a)對編碼類型沒有限制；(b)禁止使用基礎(chǔ)層顯示順序中的前一個VOP作為時間參考。
全文摘要
MPEG－4視頻標準包括一個預(yù)測編碼方案。當在由所述的編碼方案處理的序列中發(fā)生場景剪輯的時候，緊隨著它的第一視頻對象平面(VOP)被編碼作為I－VOP，而不是根據(jù)與前一個其完全不同的VOP對其進行預(yù)測。在時間可量測性的情況下，當在增強層的兩個VOP之間發(fā)生場景剪輯的時候，定義了在所述增強層中的預(yù)測操作期間選擇時間參考的特定規(guī)則。
文檔編號H04N7/26GK1401189SQ01803961
公開日2003年3月5日 申請日期2001年11月16日 優(yōu)先權(quán)日2000年11月23日
發(fā)明者Y·R·拉曼津 申請人:皇家菲利浦電子有限公司