本申請是2014年3月26日提交的國際申請日為2013年6月12日的申請?zhí)枮?01380003197.8(pct/kr2013/005207)的，發(fā)明名稱為“圖像解碼方法及使用其的裝置”專利申請的分案申請。

本發(fā)明涉及一種視頻壓縮技術(shù)，并且更具體地，涉及一種用于解碼比特流中的視頻信息的方法和裝置。

背景技術(shù)：

近來，對高分辨率和高質(zhì)量圖像的需求已經(jīng)在各種應(yīng)用領(lǐng)域中增長。由于圖像具有較高的分辨率和較高的質(zhì)量，所以有關(guān)圖像的信息量同樣增長。

隨著信息量增長，引入具有各種環(huán)境的多功能設(shè)備和網(wǎng)絡(luò)。因此，相同的內(nèi)容可以以不同等級的質(zhì)量使用。

特別地，由于終端能夠支持不同質(zhì)量的視頻并且建立了各種網(wǎng)絡(luò)環(huán)境，在一個環(huán)境下啟用具有一般質(zhì)量的視頻，同時高質(zhì)量視頻在另一個環(huán)境下是可用的。

例如，用戶可以在家里在具有更高分辨率的大屏幕顯示器上欣賞通過便攜式終端購買的視頻內(nèi)容。

近年來，由于高清晰度(hd)廣播服務(wù)是可用的，所以大量的用戶習(xí)慣于高分辨率和高質(zhì)量視頻，并且服務(wù)提供商和服務(wù)用戶也關(guān)注具有比hdtv高四倍分辨率的超高清晰度(uhd)服務(wù)。

因此，存在基于對大容量視頻的高效率編碼和解碼方法，對視頻質(zhì)量，例如，圖像質(zhì)量、分辨率、視頻的大小和幀速率提供可擴展性，以便在對于用戶需求的不同的環(huán)境下提供不同質(zhì)量的視頻服務(wù)的需要。

技術(shù)實現(xiàn)要素：

技術(shù)問題

本發(fā)明的方面是提供一種用于描述在可擴展的比特流中的可擴展性信息的方法和裝置。

本發(fā)明的另一個方面是提供一種用于以靈活的方式表示有關(guān)比特流的可擴展性信息的方法和裝置。

本發(fā)明的再一個方面是提供一種用于簡化在比特流中的視頻編譯層類型的方法和裝置。

技術(shù)方案

本發(fā)明的實施例提供一種解碼視頻信息的方法，該方法包括：接收包括網(wǎng)絡(luò)抽象層(nal)單元的比特流，網(wǎng)絡(luò)抽象層(nal)單元包括有關(guān)編碼的視頻的信息；和解析nal單元的nal單元報頭，其中，nal單元報頭包括層信息，層信息包括在擴展的比特流中識別擴展層的預(yù)留_一個_5比特(reserved_one_5bits)，和識別比特流的時間層的時間_id(temporal_id)，以及在termporal_id之前接收reserved_one_5bits。

reserved_one_5bits和termporal_id可以被同時地解析。

本發(fā)明的另一個實施例提供一種解碼視頻信息的方法，該方法包括：接收包括網(wǎng)絡(luò)抽象層(nal)單元的比特流，網(wǎng)絡(luò)抽象層(nal)單元包括有關(guān)編碼的視頻的信息，和解析nal單元的nal單元報頭，其中，nal單元報頭包括對應(yīng)于nal單元類型的nal單元類型信息，nal單元類型包括當(dāng)圖片組(圖片的組)具有開放結(jié)構(gòu)時，作為隨機接入點圖片的純隨機接入(cra)圖片，和當(dāng)編碼的圖片被拼接或者比特流在中間斷開時，存在于作為隨機接入點的比特流的中間的斷鏈接入(bla)圖片。

cra圖片可以具有一個nal單元類型，而不管引導(dǎo)圖片如何，引導(dǎo)圖片在作為隨機接入點的圖片之前被輸出，并且在作為隨機接入點的圖片之后被解碼。

在作為隨機接入點的圖片之前被輸出，并且在作為隨機接入點的圖片之后被解碼的引導(dǎo)圖片在bla圖片之后不存在。

在作為隨機接入點的圖片之前輸出并且在作為隨機接入點的圖片之后被解碼的引導(dǎo)圖片之中的沒有被解碼但是被去除的引導(dǎo)圖片在bla圖片之后不存在。

有益效果

本發(fā)明的實施例提供用于描述在可擴展的比特流中的可擴展性信息的方法和裝置。

本發(fā)明的另一個實施例提供一種用于以靈活的方式表示有關(guān)比特流的可擴展性信息的方法和裝置。

本發(fā)明的再一個實施例提供一種用于簡化在比特流中的視頻編譯層類型的方法和裝置。

附圖說明

圖1是示意地圖示根據(jù)本發(fā)明的示例性實施例的視頻編碼裝置的框圖。

圖2是示意地圖示根據(jù)本發(fā)明的示例性實施例的視頻解碼裝置的框圖。

圖3示意地圖示根據(jù)本發(fā)明的示例性實施例使用多層的可擴展視頻編碼結(jié)構(gòu)。

圖4圖示由解碼裝置處理的編碼視頻的分層結(jié)構(gòu)。

圖5圖示隨機接入圖片。

圖6圖示idr圖片。

圖7圖示cra圖片。

圖8圖示根據(jù)本發(fā)明的示例性實施例的cra圖片到bla圖片的變化。

圖9是圖示根據(jù)本發(fā)明的編碼視頻信息的方法的流程圖。

圖10是圖示根據(jù)本發(fā)明的解碼視頻信息的方法的流程圖。

具體實施方式

本發(fā)明可以不同地變化和修改，并且參考不同的示例性實施例圖示，其中一些將詳細描述和在附圖中示出。但是，這些實施例不意欲限制本發(fā)明。在此處使用的術(shù)語僅僅是為了描述特定的實施例的目的，并且不意欲限制本發(fā)明的技術(shù)想法。作為在此處使用的，單個形式“一”、“一個”和“該”意欲也包括多個形式，除非上下文中以別的方式清楚地表示。應(yīng)該進一步理解，當(dāng)在本說明書中使用時，該術(shù)語“包括”和/或“具有”指定陳述的特征、整數(shù)、步驟、操作、要素、部件和/或其組合的存在，但是，不排除一個或多個其它的特征、整數(shù)、步驟、操作、要素、部件和/或其組合的存在或者增加。

雖然為了描述在視頻編碼裝置/解碼裝置中不同的區(qū)別的功能的方便起見，在附圖中圖示的要素被獨立地示出，但是這樣的配置不表示每個要素由單獨的硬件組件或者軟件組件構(gòu)成。即，至少二個要素可以被組合為單個要素，或者單個要素可以被分成多個要素去執(zhí)行功能。應(yīng)當(dāng)注意，不脫離本發(fā)明的本質(zhì)的情況下，某些要素被集成為一個組合要素，和/或一個要素被分成多個單獨的要素的實施例包括在本發(fā)明的范圍中。

在下文中，本發(fā)明示例性實施例將參考附圖詳細描述。在附圖中相同的附圖標記自始至終表示相同的要素，并且相同的要素的冗余描述在此處將被省略。

圖1是示意地圖示根據(jù)本發(fā)明的示例性實施例的視頻編碼裝置的框圖?？蓴U展的視頻編碼/解碼方法或者裝置可以通過沒有提供可擴展性的一般視頻編碼/解碼方法或者裝置的擴展實現(xiàn)，并且圖1圖示作為可擴展的視頻編碼裝置基礎(chǔ)的視頻編碼裝置的示例。

參考圖1，該視頻編碼裝置100包括圖片分割模塊105、預(yù)測模塊110、變換模塊115、量化模塊120、重排模塊125、熵編碼模塊130、去量化模塊135、逆變換模塊140、濾波模塊145，和存儲器150。

該圖片分割模塊105可以將輸入圖片劃分為至少一個塊作為處理單元。在這里，作為處理單元的塊可以是預(yù)測單元(pu)、變換單元(tu)，或者編碼單元(cu)。

由圖片分割模塊105劃分的處理單元塊可以具有四樹結(jié)構(gòu)。

該預(yù)測模塊110可以包括將描述的執(zhí)行幀間預(yù)測的幀間預(yù)測模塊，和執(zhí)行幀內(nèi)預(yù)測的幀內(nèi)預(yù)測模塊。該預(yù)測模塊110通過對來自分割模塊105的圖片的處理單元執(zhí)行預(yù)測生成預(yù)測塊。在預(yù)測模塊110中的圖片的處理單元可以是cu、tu或者pu。此外，該預(yù)測模塊110可以確定是否對處理單元執(zhí)行的預(yù)測是幀間預(yù)測或者幀內(nèi)預(yù)測，并且可以確定每個預(yù)測方法的細節(jié)(例如，預(yù)測模式)。在這里，對其執(zhí)行預(yù)測的處理單元可以不同于預(yù)測方法和有關(guān)預(yù)測方法的細節(jié)為其確定的處理單元。例如，預(yù)測方法和預(yù)測模式可以對于每個pu被確定，同時可以對每個tu執(zhí)行預(yù)測。

在幀間預(yù)測中，基于有關(guān)當(dāng)前圖片的先前的和/或后續(xù)的圖片的至少一個的信息預(yù)測塊可以通過執(zhí)行預(yù)測被生成。此外，在幀內(nèi)預(yù)測中，基于有關(guān)在當(dāng)前圖片內(nèi)像素的信息預(yù)測塊可以通過執(zhí)行預(yù)測被生成。

跳躍模式、合并模式和運動矢量預(yù)測(mvp)模式可以用作幀間預(yù)測方法。在幀間預(yù)測中，可以選擇用于pu的參考圖片，并且對應(yīng)于pu的參考塊可以被選擇。參考塊可以以幀間像素單元被選擇。隨后，生成具有相對于當(dāng)前pu最小殘留信號和具有最小大小運動矢量的預(yù)測塊。

該預(yù)測塊可以以整數(shù)采樣單元，或者以小于整數(shù)像素，諸如1/2像素單元和1/4像素單元的像素單元被生成。在這里，該運動矢量可以以小于整數(shù)像素的單元表示。

有關(guān)在幀間預(yù)測中選擇的參考像素的信息，諸如索引、運動矢量(例如，運動矢量預(yù)測器)和參考圖片的殘留信號經(jīng)歷熵編碼，并且傳送給解碼裝置。在跳躍模式中，由于預(yù)測塊可以是重建的塊，所以該殘留不能被生成、變換、量化和傳送。

在幀內(nèi)預(yù)測中，預(yù)測模式由pu確定，并且預(yù)測可以由pu執(zhí)行。替選地，預(yù)測模式可以由pu確定，并且?guī)瑑?nèi)預(yù)測可以在tu中執(zhí)行。

幀內(nèi)預(yù)測模式可以具有33個方向的預(yù)測模式，和兩個或更多個無方向的模式。無方向的模式可以包括dc預(yù)測模式和平面模式。

在幀內(nèi)預(yù)測中，該預(yù)測塊可以在將濾波器施加于參考采樣之后被生成。在這里，是否將濾波器施加于參考采樣可以關(guān)于幀內(nèi)預(yù)測模式和/或當(dāng)前塊的大小被確定。

pu可以具有不同的大小和形式。例如，在幀間預(yù)測中，pu可以是2n×2n、2n×n、n×2n或者n×n塊(n是整數(shù))。在幀內(nèi)預(yù)測中，pu可以是2n×2n或者n×n塊(n是整數(shù))。在這里，具有n×n塊大小的pu可以僅僅應(yīng)用于特定的情形。例如，具有n×n塊大小的pu僅僅可用于最小大小的cu，或者僅僅用于幀內(nèi)預(yù)測。除了具有先前大小的pu之外，pu可以包括n×mn、mn×n、2n×mn和mn×2n塊(m<1)。

在生成的預(yù)測塊和初始塊之間的殘留值(或者，殘留塊或者殘留信號)可以被輸入給變換模塊115。此外，有關(guān)預(yù)測模式的信息，和有關(guān)用于預(yù)測的運動矢量的信息與殘留值一起由熵編碼模塊130編碼，并且傳送給解碼裝置。

該變換模塊115通過tu變換殘留塊，并且生成變換系數(shù)。

變換塊是采樣的矩形塊，相同的變換被應(yīng)用于其。該變換塊可以是tu，并且具有四樹結(jié)構(gòu)。

基于應(yīng)用于殘留塊的預(yù)測模式和塊的大小該變換模塊115可以執(zhí)行變換。

例如，當(dāng)幀內(nèi)預(yù)測應(yīng)用于殘留塊，并且該塊具有4×4殘留陣列時，該變換模塊115可以使用離散余弦變換(dct)變換殘留塊。另外，該變換模塊115可以使用離散正弦變換(dst)變換殘留塊。

該變換模塊115可以通過變換生成變換系數(shù)的變換塊。

該量化模塊120可以通過量化由變換模塊115變換的殘留值(即，變換系數(shù))生成量化的變換系數(shù)。由量化模塊120推導(dǎo)出的系數(shù)被提供給去量化模塊135和重排模塊125。

該重排模塊125重排由量化模塊120提供的量化的變換系數(shù)。重排量化的變換系數(shù)可以在熵編碼模塊130中提高編碼效率。

該重排模塊125可以使用系數(shù)掃描將量化的變換系數(shù)的二維(2d)塊重排為一維(1d)矢量。

該熵編碼模塊130可以對由重排模塊125重排的量化變換系數(shù)執(zhí)行熵編碼。諸如指數(shù)golomb、上下文自適應(yīng)的可變長度編碼(cavlc)，和上下文自適應(yīng)二進制運算編碼(cabac)的各種編碼方法可以在熵編碼中使用。該熵編碼模塊130可以編碼各種類型的信息，諸如從重排模塊125和預(yù)測模塊110接收的濾波信息和塊內(nèi)插信息、關(guān)于量化的變換系數(shù)和cu的塊類型的信息、預(yù)測模式信息、分割單元信息、pu信息、傳送單元信息、運動矢量信息、參考圖片信息。

此外，該熵編碼模塊130可以根據(jù)需要將變化應(yīng)用給接收到的參數(shù)集或者語法。

該去量化模塊135對由量化模塊120量化的值(變換系數(shù))執(zhí)行去量化，并且該逆變換模塊140對由去量化模塊135去量化的值執(zhí)行逆變換。

經(jīng)由去量化模塊135和逆變換模塊140生成的殘留值被與由預(yù)測模塊110預(yù)測的預(yù)測塊合并，從而生成重建的塊。

圖1圖示重建的塊通過經(jīng)由加法器將殘留塊與預(yù)測塊合并生成。在這里，加法器可以被認為是用于生成重建的塊(重建的塊生成模塊)的單獨的模塊。

該濾波器145可以將去塊濾波器、自適應(yīng)循環(huán)濾波器(alf)和采樣自適應(yīng)偏移(sao)應(yīng)用于重建的圖片。

該去塊濾波器可以在重建的圖片中去除在塊之間的邊界上生成的塊失真?；谕ㄟ^將具有通過去塊濾波器濾波的塊的重建的圖片與原始圖片比較獲得的值，alf可以執(zhí)行濾波。可以僅僅為了高效率采用alf。sao通過其中使用頻帶偏移或者邊緣偏移的像素單元，重建在去塊濾波器已經(jīng)被應(yīng)用到的殘留塊和原始圖片之間的偏移差。

同時，該濾波器145可以不將濾波應(yīng)用于在幀間預(yù)測中使用的重建的塊。

該存儲器150可以存儲經(jīng)由濾波器145推導(dǎo)出的圖片或者重建的塊。存儲在存儲器150中的該重建的塊或者圖片可以提供給執(zhí)行幀間預(yù)測的預(yù)測模塊110。

圖2是根據(jù)本發(fā)明的示例性實施例示意地示出視頻解碼裝置的框圖。如上圖1所述，可擴展的視頻編碼/解碼方法或者裝置可以通過擴展沒有提供可擴展性的一般的視頻編碼/解碼方法或者裝置實現(xiàn)，和圖2圖示作為可擴展的視頻解碼裝置基礎(chǔ)的視頻解碼裝置的示例。

參考圖2，該視頻解碼裝置200可以包括熵解碼模塊210、重排模塊215、去量化模塊220、逆變換模塊225、預(yù)測模塊230、濾波器235，和存儲器240。

當(dāng)視頻比特流被從視頻編碼裝置輸入時，該輸入的比特流可以根據(jù)視頻編碼裝置處理視頻信息的反過程被解碼。

例如，如果視頻編碼裝置使用可變長度編碼(vlc)，諸如cavlc，去執(zhí)行熵編碼，則該熵解碼模塊210可以通過實現(xiàn)與在編碼裝置中使用的相同的vlc表執(zhí)行熵解碼。此外，如果該視頻編碼裝置使用cabac去執(zhí)行熵編碼，則該熵解碼模塊210也可以使用cabac執(zhí)行熵解碼。

在由熵解碼模塊210解碼的信息片之中用于生成預(yù)測塊的信息可以提供給預(yù)測模塊230。由熵解碼模塊210熵解碼的殘留值(即，量化的變換系數(shù))可以輸入給重排模塊215。

基于在編碼裝置中使用的重排方法，該重排模塊215可以重排關(guān)于由熵解碼模塊210熵解碼的比特流(即，量化的變換系數(shù))的信息。

該重排模塊215可以將以1d矢量形式表示的系數(shù)重建和重排為以2d塊的系數(shù)?；陬A(yù)測模式和應(yīng)用于當(dāng)前塊(變換塊)的變換塊的大小該重排模塊215可以通過掃描系數(shù)生成以2d塊(量化的變換系數(shù))的系數(shù)。

基于從編碼裝置提供的量化參數(shù)和重排的塊系數(shù)去量化模塊220可以執(zhí)行去量化。

該逆變換模塊225可以對已經(jīng)經(jīng)歷由編碼裝置的變換模塊執(zhí)行的dct和dst的、由視頻編碼裝置執(zhí)行的量化結(jié)果執(zhí)行逆dct和/或逆dst。

基于由視頻編碼裝置確定的圖片的傳輸單元或者分割單元可以執(zhí)行逆變換。該視頻編碼裝置的變換模塊可以取決于多個信息元素，諸如，預(yù)測方法、當(dāng)前塊的大小和預(yù)測方向有選擇地執(zhí)行dct和/或dst，并且基于有關(guān)由視頻編碼裝置的變換模塊執(zhí)行的變換的信息該視頻解碼裝置的逆變換模塊225可以執(zhí)行逆變換。

基于有關(guān)從熵解碼模塊210提供的預(yù)測塊的生成的信息和有關(guān)由存儲器240提供的預(yù)先地解碼的塊和/或圖片的信息，該預(yù)測模塊230可以生成預(yù)測塊。

如果用于當(dāng)前pu的預(yù)測模式是幀內(nèi)預(yù)測模式，則基于有關(guān)在當(dāng)前圖片中的像素的信息幀內(nèi)預(yù)測可以被執(zhí)行以生成預(yù)測塊。

如果用于當(dāng)前pu的預(yù)測模式是幀間預(yù)測模式，則基于包括在當(dāng)前圖片的先前的和后續(xù)的圖片的至少一個中的信息用于當(dāng)前pu的幀間預(yù)測可以被執(zhí)行。在這里，用于由視頻編碼裝置提供的當(dāng)前pu的幀間預(yù)測所必需的運動信息，例如，關(guān)于運動矢量和參考圖片的索引的信息可以通過檢查從編碼裝置接收的跳越標記和合并標記推導(dǎo)出。

重建塊可以使用由預(yù)測模塊230生成的預(yù)測塊和由逆變換模塊225提供的殘留塊生成。圖2圖示重建的塊通過由加法器將預(yù)測塊與殘留塊合并來生成。在這里，加法器可以被認為是用于生成重建塊(重建塊生成模塊)的單獨的模塊。

當(dāng)使用跳躍模式時，不發(fā)送殘留塊，并且預(yù)測塊是重建塊。

該重建塊和/或圖片可以提供給濾波器235。該濾波器235可以將去塊濾波、sao和/或afl應(yīng)用于重建塊和/或圖片。

該存儲器240可以存儲要作為參考圖片或者參考塊使用的重建的圖片或者塊，并且將重建的圖片供應(yīng)給輸出單元。

在解碼裝置200的熵解碼模塊210、重排模塊215、去量化模塊220、逆變換模塊225、預(yù)測模塊230、濾波器235和存儲器240之中直接與視頻解碼相關(guān)的組件，例如，熵解碼模塊210、重排模塊215、去量化模塊220、逆變換模塊225、預(yù)測模塊230和濾波器235可以定義為與其它的組件分開地解碼器或者解碼單元。

此外，該解碼裝置200可以進一步包括解析模塊(未示出)，以解析關(guān)于包括在比特流中的編碼的視頻的信息。該解析模塊可以包括熵解碼模塊210或者被包括在熵解碼模塊210中。該解析模塊可以作為解碼單元的一個組件提供。

圖3示意地圖示根據(jù)本發(fā)明的示例性實施例使用多層的可擴展的視頻編碼結(jié)構(gòu)。在圖3中，圖片組(gop)表示圖片組，即，一組圖片。

需要傳輸介質(zhì)去發(fā)送視頻數(shù)據(jù)，并且每個傳輸介質(zhì)可以取決于各種網(wǎng)絡(luò)環(huán)境呈現(xiàn)不同的性能?？蓴U展的視頻編碼方法被提供用于各種傳輸介質(zhì)和網(wǎng)絡(luò)環(huán)境。

可擴展的視頻編碼方法是通過利用在層之間的紋理信息、運動信息和殘留信號去除在層之間冗余，以提高編碼和解碼性能的編碼方案。該可擴展的視頻編碼方法可以根據(jù)諸如傳輸比特速率、傳輸差錯率和系統(tǒng)資源的周圍的條件，在空間、時間和質(zhì)量方面提供各種可擴展性。

可擴展的視頻編碼可以使用多層結(jié)構(gòu)被執(zhí)行，以便提供可應(yīng)用于不同網(wǎng)絡(luò)情形的比特流。例如，可擴展的視頻編碼結(jié)構(gòu)可以包括用于使用一般的視頻解碼方法壓縮視頻數(shù)據(jù)的基礎(chǔ)層，和用于使用基礎(chǔ)層的解碼信息和一般視頻解碼方法壓縮視頻數(shù)據(jù)的增強層。

在這里，層是根據(jù)空間方面(例如，視頻大小)、時間方面(例如，解碼順序、視頻輸出順序和幀速率)、質(zhì)量或者復(fù)雜度分類的視頻和比特流的集合。此外，基礎(chǔ)層可以表示參考層或者基本層，而增強層可以表示增強層。多個層可以相互具有相關(guān)性。

例如，參考圖3，基礎(chǔ)層可以由標準定義(sd)，由高分辨率(hd)15hz的幀速率和1mbps的比特速率、第一增強層、由超高分辨率(4k-uhd)30hz的幀速率和3.9mbps的比特速率和第二增強層，60hz的幀速率和27.2mbps的比特速率限定。前面提到的格式、幀速率和比特速率僅僅是為了說明性的目的提供的，并且可以根據(jù)需要變化和修改。此外，不同的層數(shù)可以取決于情形使用。

例如，當(dāng)傳輸帶寬是40mbps時，第一增強層可以通過降低hd幀速率以15hz或者更小的幀速率發(fā)送?？蓴U展的視頻編碼方法可以使用如上參考圖3所述的方法在時間、空間和質(zhì)量方面提供可擴展性。

在下文中可擴展的視頻編碼可以指的是從編碼視角可擴展的視頻編碼，和從解碼視角可擴展的視頻解碼。

如上所述，由于不同種類的通信網(wǎng)絡(luò)和各種類型的終端，可擴展性是當(dāng)前視頻格式的重要功能。

同時，包括多層的比特流由網(wǎng)絡(luò)抽象層(nal)單元形成，其便于經(jīng)由分組交換網(wǎng)絡(luò)的視頻適配傳輸。類似于多層的情形，在包括多個多圖視頻的多圖視頻編碼中，在多圖之間的關(guān)系類似于在包括多層的視頻中在空間層之間的關(guān)系。

圖4圖示由解碼裝置處理的編碼視頻的層狀結(jié)構(gòu)。

該編碼的視頻被分成用于解碼視頻，和處理視頻本身以及位于vcl和下層系統(tǒng)之間的nal的視頻編譯層(vcl)，該下層系統(tǒng)發(fā)送和存儲編碼信息。

作為nal的基本單元的nal單元用來根據(jù)預(yù)置的標準、實時傳輸協(xié)議(rtp)和傳輸流(ts)將編碼的視頻映射到下層系統(tǒng)的比特串上，諸如，文件格式。

同時，對于vlc、對應(yīng)于序列和圖片的報頭的參數(shù)集(圖片參數(shù)集、序列參數(shù)集和視頻參數(shù)集)和對視頻解碼處理另外需要的輔助的增強信息(sei)消息與關(guān)于視頻(片段數(shù)據(jù))的信息分離。存儲關(guān)于視頻信息的vcl包括片段數(shù)據(jù)和片段報頭。

如圖4所示，nal單元包括nal單元報頭和在vcl中生成的原始的字節(jié)序列有效載荷(rbsp，從視頻壓縮產(chǎn)生的數(shù)據(jù))的二個部分。nal單元報頭包括關(guān)于nal單元類型的信息。

nal單元取決于在vcl中生成的rbsp被分成vclnal單元和非vclnal單元。vclnal單元是包括關(guān)于視頻的信息的nal單元，并且非vclnal單元是包括用于解碼視頻需要的信息(參數(shù)集或者sei消息)的nal單元。

vclnal單元可以根據(jù)包括在nal單元中圖片的屬性和類型被分成不同的類型。

同時，關(guān)于比特流的可擴展性信息是非常至關(guān)緊要的，以便有效地和高效地在內(nèi)容傳送路徑的每個節(jié)點上變換比特流。在作為用于單個層的視頻編碼規(guī)范的高效率視頻編碼中，nal單元報頭包括有關(guān)與可擴展性信息相關(guān)的二個字段，temporal_id和reserved_one_5bits的信息。具有3比特長度的temporal_id表示時間層，并且reserved_one_5bits是用于表示隨后另一層信息的區(qū)域。時間層表示由vclnal單元形成并且臨時可擴展的比特流的層，并且具有特定的temporal_id值。

本發(fā)明提出有效地描述在支持多層的比特流中關(guān)于視頻的抽象信息和可擴展性信息，并且公開用于信令傳送這樣的信息的方法和裝置。

為了描述方便，比特流在下文中被分成二個類型。支持時間可擴展性的比特流僅僅表示為基礎(chǔ)類型，而支持時間、空間、質(zhì)量和視點可擴展性的比特流被表示為擴展類型。

表1圖示根據(jù)本發(fā)明的示例性實施例由編碼裝置編碼和由解碼裝置解碼的nal單元報頭的語法。

[表1]

在表1中，在包括在nal單元報頭的信息之中，forbidden_zero_bit被設(shè)置為0。

nal_unit_type表示包括在nal單元中的rbsp的數(shù)據(jù)結(jié)構(gòu)，并且基于rbsp的數(shù)據(jù)結(jié)構(gòu)具有多個類型。

nal_ref_flag是表示在編碼時間上關(guān)于是否nal單元在整個比特流中是非參考圖片或者參考圖片的信息的標記。如果nal_ref_flag是1，則nal單元包括序列參數(shù)集(sps)、圖片參數(shù)集(pps)、適配參數(shù)集(aps)或者參考圖片的片段。如果nal_ref_flag是0，則nal單元包括包含非參考圖片的部分或者整體的片段。

作為可用于支持可擴展性的擴展類型，諸如3d視頻編碼擴展類型信息的reserved_one_5bits用于識別存在于編碼的視頻序列(cvs)中的附加層。該層可以是空間可擴展層、質(zhì)量可擴展層、紋理圖或者深度圖。

當(dāng)比特流是基礎(chǔ)類型時，reserved_one_5bits是0，其可用于確定在比特流的解碼單元中包括的數(shù)據(jù)量。

temporal_id是用于nal單元的時間層的標識符。

layer_id是用于nal單元的層標識符，并且用于一個接入單元的所有vclnal單元具有相同的layer_id值。layer_id可以以8比特信令傳送。

如表1所示，當(dāng)nal_unit_type支持單個層比特流，即，比特流是基礎(chǔ)類型時，reserved_one_5bits和temporal_id被連續(xù)地編碼，并且發(fā)送給解碼裝置。當(dāng)比特流是擴展類型時，layer_id被編碼，并且發(fā)送給解碼裝置。

例如，在基礎(chǔ)層或者基本層中以reserved_one_5bits和temporal_id的順序執(zhí)行信令傳送，并且作為reserved_one_5bits和temporal_id組合的layer_id可以在擴展層中被信令傳送。

layer_id不僅可以在nal單元報頭中還可以在視頻參數(shù)集(vps)中另外被信令傳送。

同時，nal單元報頭具有2字節(jié)的固定大小，并且所有需要的信息被在2字節(jié)空間內(nèi)發(fā)送。

基礎(chǔ)類型比特流僅僅支持時間可擴展性，其由temporal_id語法描述。但是，在擴展類型中，層信息或者相關(guān)信息可能需要被包括在nal單元報頭中，并且不用于基礎(chǔ)類型的reserved_one_5bits用于發(fā)送上述的信息。

reserved_one_5bits是5比特信號，其可能不足以發(fā)送用于擴展類型的所有需要的信息。即，所有32層可以以5比特表示，但是，當(dāng)比特流支持許多可擴展性類型或者多個圖層時，5比特不足以識別所有層。

通常，temporal_id被在nal單元報頭中的reserved_one_5bits之前被信令傳送。即，temporal_id被首先信令傳送以識別時間層，并且然后，用于識別用于擴展類型的層的reserved_one_5bits被信令傳送。在時間可擴展性和不同類型的可擴展性之間的區(qū)分可能導(dǎo)致混淆。時間可擴展性是可擴展的形式，在這樣情況下，時間可擴展性可以被認為類似于其他類型的可擴展性。

此外，當(dāng)temporal_id在reserved_one_5bits之前被信令傳送時，3比特被強制地分配以描述時間可擴展性。但是，時間可擴展性并不總是使用，并且擴展類型比特流不能支持時間可擴展性，而是支持不同類型的可擴展性。在這種情況下，針對時間可擴展性分配的3比特是不必要的信息。不必要的temporal_id可用于描述其他類型的可擴展性。

考慮這些，在本發(fā)明中，temporal_id用作一個信息以在擴展類型比特流中識別層。即，擴展類型不僅使用reserved_one_5bits，而且使用reserved_one_5bits和temporal_id的組合以識別層。

此外，當(dāng)在temporal_id之前以與reserved_one_5bits和temporal_id的傳統(tǒng)的信令傳送順序不同的順序信令傳送reserved_one_5bits時，解析效率提高。傳統(tǒng)地，首先對3比特temporal_id執(zhí)行解析，然后對5比特reserved_one_5bits執(zhí)行解析。但是，在本發(fā)明中，二條信息單元，即，reserved_one_5bits和temporal_id可以被同時解析。即，8比特比特流可以一次讀取，代替分兩次讀取5比特比特流和3比特比特流。

解析的次數(shù)可以根據(jù)reserved_one_5bits和temporal_id的信令傳送順序而改變。例如，當(dāng)temporal_id值是101，并且temporal_id被信令傳送時，由解析reserved_one_5bits和temporal_id產(chǎn)生的值是00000101。當(dāng)temporal_id被首先信令傳送時，解析值是10100000。當(dāng)temporal_id被根據(jù)傳統(tǒng)方法首先信令傳送時，該解碼裝置需要解析比特流兩次。

此外，如果需要8比特信令傳送layer_id，則同時地解析reserved_one_5bits和temporal_id被認為類似于解析layer_id，從而改善解析效率。

像在本發(fā)明中一樣，當(dāng)temporal_id用作一個信息以在擴展類型比特流中識別層時，8比特可用于識別該層，因此，表示在傳統(tǒng)方法中層數(shù)從32提高到256。

此外，在本發(fā)明中，由于時間可擴展性視為與其他類型的可擴展性相同，避免關(guān)于是否時間可擴展性與其他類型的可擴展性相同的混淆。另外，由于temporal_id可以與其他類型的可擴展性結(jié)合用于使用，可擴展性可以以不同的方式表示。

此外，在未應(yīng)用時間可擴展性的比特流中，在比特流中分配用于時間可擴展性的比特可以有效地用于描述其他類型的可擴展性。

表2圖示根據(jù)本發(fā)明的另一個示例性實施例的nal單元報頭的語法。

[表2]

如在表2中圖示的，layer_id是用于nal單元的時間標識符。用于一個接入單元的所有vclnal單元具有相同的layer_id。在支持單個層的比特流中，layer_id的范圍從0到7。在作為隨機接入點的接入單元中，用于接入單元的所有vclnal單元的layer_id是0。

在當(dāng)前的實施例中，將layer_id作為由reserved_one_5bits和temporal_i的組合產(chǎn)生的新的語法被使用。如上所述，支持單個層，即，基礎(chǔ)類型的比特流可以具有從0到7范圍的layer_id，在這樣情況下，layer_id可以用作信令傳送與temporal_id相同信息的語法。

同時，如果所有非參考圖片，特別是對應(yīng)于最頂端時間層的非參考圖片被提取，在提取之后所有剩余圖片的nal_ref_flag是1。但是，即使nal_ref_flag是1，在剩余的比特流中抽象的比特流的一些圖片，即，對應(yīng)于頂端時間層的圖片變?yōu)榉菂⒖紙D片。

因此，分配給nal_ref_flag的比特可以用于nal單元報頭的另一個語法元素，例如，temporal_id或者reserved_one_5bits。如果分配給nal_ref_flag的一比特用于temporal_id或者reserved_one_5bits，則包括在比特流中的更大數(shù)目的層可以被識別。

例如，當(dāng)分配給nal_ref_flag的一比特用于reserved_one_5bits時，reserved_one_5bits具有一比特以上以變?yōu)?比特信號。

如上所述，nal單元可以根據(jù)包括在nal單元中圖片的屬性和類型被分成不同的類型。

表3圖示nal單元類型的示例。

[表3]

如在表3中圖示的，nal單元可以取決于是否nal單元包括關(guān)于視頻的信息被分成vclnal單元和非vclnal單元。vclnal單元是包括關(guān)于視頻信息的nal單元，并且非vclnal單元是包括用于解碼視頻需要的信息(參數(shù)集或者sei消息)的nal單元。

vclnal單元可以被分成隨機接入圖片和隨機非接入圖片。在表3中，具有4至8的nal_unit_type的nal單元是隨機接入圖片，并且具有1至3的nal_unit_type的nal單元不是隨機接入圖片。

圖5圖示隨機接入圖片。

隨機接入圖片，即，作為隨機接入點的幀內(nèi)隨機接入點(irap)圖片是在以隨機接入的解碼順序中比特流的第一圖片，并且僅僅包括i片段。

圖5示出圖片的輸出順序或者顯示順序和解碼順序。如圖5所示，該圖片的輸出順序可以不同于圖片的解碼順序。為了描述方便，該圖片被分成組。

在第一組(i)中的圖片就輸出順序和解碼順序兩者而言放在irap圖片之前，而在第二組(ii)中的圖片就輸出順序而言放在irap圖片之前，但是就解碼順序而言在irap圖片之后。在第三組(iii)中的圖片就輸出順序和解碼順序兩者而言在irap圖片之后。

在第一組(i)中的圖片可以不考慮irap圖片被解碼和輸出。

在irap圖片之前輸出的在第二組(ii)中的圖片稱為引導(dǎo)圖片，當(dāng)irap圖片用作隨機接入點時，引導(dǎo)圖片可能在解碼處理中導(dǎo)致問題。

就輸出和解碼順序而言在irap圖片之后的在第三組(iii)中圖片稱為正常圖片。正常圖片不用作引導(dǎo)圖片的參考圖片。

在隨機接入所發(fā)生的比特流中的隨機接入點是irap圖片，并且當(dāng)在第二組(ii)中第一圖片被輸出時隨機接入開始。

同時，irap圖片可以是瞬時解碼刷新(idr)圖片、純隨機接入(cra)圖片和斷鏈接入(bla)圖片中的任何一個。

圖6圖示idr圖片。

idr圖片是當(dāng)圖片組(gop)具有封閉結(jié)構(gòu)時是隨機接入點的圖片。idr圖片是irap圖片，并且因此僅僅包括i片段。idr圖片可以是在解碼過程中，或者在比特流中間出現(xiàn)的第一圖片。當(dāng)idr圖片被解碼時，存儲在解碼的圖片緩存器(dpb)中的所有參考圖片表示為“不用于參考”。

在圖6中，條形表示圖片，并且箭頭表示是否一個圖片可以將另一個圖片作為參考圖片使用的參考關(guān)系。在箭頭上的x標記表示圖片無法引用由箭頭指示的圖片。

如圖6所示，idr圖片的poc是32，并且具有范圍從25到31的poc，并且在idr圖片之前輸出的圖片是引導(dǎo)圖片610。具有大于33的poc的圖片是正常圖片。

在idr圖片之前的引導(dǎo)圖片610可以使用idr圖片以及其他的引導(dǎo)圖片作為參考圖片，但是不能使用在引導(dǎo)圖片610之前的先前的圖片630。

跟隨idr圖片的正常圖片620可以通過引用idr圖片、引導(dǎo)圖片和其它的正常圖片被解碼。

圖7圖示cra圖片。

cra圖片是當(dāng)圖片組(gop)具有開放結(jié)構(gòu)時是隨機接入點的圖片。cra圖片也是irap圖片，并且因此僅僅包括i片段。ird圖片可以是在解碼過程中的比特流中，或者出現(xiàn)在用于正常播放的比特流中間的第一圖片。

在圖7中，條形表示圖片，并且箭頭表示是否一個圖片可以將另一個圖片作為參考圖片使用的參考關(guān)系。在箭頭上的x標記表示圖片無法引用由箭頭指示的圖片。

在cra圖片之前的引導(dǎo)圖片710可以使用所有cra圖片、其它的引導(dǎo)圖片和在引導(dǎo)圖片710之前的先前的圖片730作為參考圖片。

但是，在cra圖片之后的正常圖片720可以通過引用cra圖片解碼，并且但是，其它的正常圖片不使用引導(dǎo)圖片710作為參考圖片。

bla圖片是具有與cra圖片類似的功能和屬性的圖片，并且當(dāng)編碼的圖片被拼接，或者比特流在中間間斷時，存在于作為隨機接入點的比特流的中間。但是，由于bla圖片被認為是新的序列的開始，所以與cra圖片不同，當(dāng)由解碼器接收bla圖片時，關(guān)于視頻的所有參數(shù)信息被再次接收。

bla圖片可以由編碼裝置確定，或者從編碼裝置接收比特流的系統(tǒng)可以將接收的cra圖片改變?yōu)閎la圖片。例如，當(dāng)比特流被拼接時，該系統(tǒng)將cra圖片改變?yōu)閎la圖片，并且將bla圖片發(fā)送給用于解碼視頻的解碼器。在這里，關(guān)于視頻的刷新的參數(shù)信息也從系統(tǒng)提供給解碼器。在本發(fā)明中，該解碼器指的是包括解碼視頻的圖像處理單元的任何設(shè)備，其可以是圖2的解碼裝置，或者作為核心模塊用于處理視頻的解碼模塊。

回到參考表3，標識用于丟棄(ted)的圖片是可以被丟棄的不可解碼的引導(dǎo)圖片。由于涉及不可用的參考圖片，ted圖片是不被正常解碼的圖片，并且在解碼和輸出過程中被排除。

時間層接入(tla)圖片是指示在時間可擴展性中上轉(zhuǎn)換可能位置的圖片，其指示在包括tla圖片的子層，或者具有大于tla圖片的termporal_id的子層中是否上轉(zhuǎn)換是可能的。

在表3中，表示cra圖片的nal_unit_type是4和5，并且表示bla圖片的nal_unit_type是6和7。cra圖片和bla圖片可以被分類如下。

-類型4：crat(具有tfd的cra)圖片的編碼片段

-類型5：crant(沒有tfd的cra)圖片的編碼片段

-類型6：blat(具有tfd的斷鏈接入單元)圖片的編碼片段

-類型7：blant(沒有tfd的斷鏈接入單元)圖片的編碼片段

但是，具有nal_unit_type是4至7的圖片在分解cra圖片和bla圖片中可能是多余的。在具有tfd圖片的cra圖片和沒有tfd圖片的cra圖片之間辨別是不清楚的，并且其不能有效地辨別是否bla圖片涉及ted圖片。因此，基于tfd圖片的存在分解cra圖片和bla圖片不必要地將冗余增加給nal單元類型，并且在cra圖片之間和在bal圖片之間辨別是不清楚的，導(dǎo)致混淆。

因此，本發(fā)明的示例性實施例建議將四個類型構(gòu)成為二個類型以便避免nal單元類型的冗余。

不考慮ted圖片的存在，新的nal單元類型被僅僅以cra圖片和bla圖片限定。即，在表3中cra圖片可以表示為一個類型，而不是被分成類型4和類型5，并且bla圖片也可以表示為一個類型，而不是被分成類型6和7。

在本發(fā)明中，起隨機接入點作用，并且后面有ted圖片的圖片被定義為cra圖片，并且表示為一個nal單元類型。

此外，在新的隨機接入點以前后面沒有ted圖片的圖片被定義為bla圖片，并且表示為一個nal單元類型。即，在bla圖片和下一個隨機接入點之間不存在ted圖片。

總之，ted圖片、cra圖片和bla圖片可以分別地表示為單獨的nal單元類型，并且基于后面ted的存在，cra圖片和bla圖片正好相互分開，每個沒有被分成二個nal單元類型。

因而，將功能上類似的四個nal單元類型簡化為二個類型有助于精確定義nal單元類型，并且使能夠降低復(fù)雜度。

圖8圖示根據(jù)本發(fā)明的示例性實施例將cra圖片改變?yōu)閎la圖片。圖8(a)圖示從編碼裝置輸出的原始比特流，并且圖8(b)圖示從系統(tǒng)提供給解碼器的比特流。

在圖8中，編碼的片段(cs)指的是正常編碼的片段，并且識別圖片的數(shù)字是圖片的輸出順序，即，poc。

當(dāng)在圖8(a)中對比特流的隨機接入突然地發(fā)生時，解碼過程從cra圖片開始。在這種情況下，該系統(tǒng)可以如在圖8(b)中將cra圖片的nal單元類型改變?yōu)閎al圖片，并且從比特流中去除跟隨cra圖片的所有ted圖片。

隨后，如在圖8(b)中，接收比特流的解碼器可以解碼具有poc28的bla圖片，并且連續(xù)地解碼后面的cs。在這種情況下，該解碼器可以在預(yù)先確定的延遲時間周期之后解碼后面的圖片，以便保持輸入比特流的圖片比特串，即，防止緩沖存儲圖片的上溢或者下溢。

圖9是圖示根據(jù)本發(fā)明的編碼視頻信息方法的流程圖。

如圖9所示，該編碼裝置可以編碼包括關(guān)于視頻信息的nal單元(s910)。

nal單元報頭包括在支持可擴展層的比特流中用于識別可擴展層的層識別信息。該層識別信息可以被編碼為語法，諸如reserved_one_5bits和temporal_id或者layer_id。

當(dāng)該比特流支持單個層時，該編碼裝置連續(xù)地編碼reserved_one_5bits和temporal_id。當(dāng)該比特流不是基礎(chǔ)類型，而是擴展類型時，該編碼裝置可以編碼layer_id。

替選地，該編碼裝置可以將reserved_one_5bits和temporal_id組合為layer_id作為單個語法信息，并且不考慮由比特流支持的層數(shù)，僅僅編碼單個語法信息。

該編碼裝置編碼在nal單元報頭中關(guān)于nal單元類型的信息。在vclnal單元之中作為隨機接入點的圖片包括idr圖片、cra圖片和bla圖片，并且在irap圖片之前輸出的圖片稱為引導(dǎo)圖片。

每個圖片被識別有不同的nal_unit_type信息。

傳統(tǒng)地，基于沒有被解碼而是可從在引導(dǎo)圖片之中的比特流中去除的ted圖片的存在，cra圖片和bla圖片每個可以表示為二個nal單元類型。

不考慮ted圖片的存在，根據(jù)本發(fā)明示例性實施例的編碼裝置分別地編碼作為單獨的nal單元類型的ted圖片、cra圖片和bla圖片，并且基于后面ted圖片的存在分別地編碼cra圖片和bla圖片。

在另一個實施例中，nal單元的nal單元報頭可以不包括nal_ref_flag作為指示是否nal單元包括包括非參考圖片的至少一部分或者整個片段的信息。

替選地，當(dāng)除了ted圖片以外的可解碼的引導(dǎo)圖片在bla圖片之后編碼的引導(dǎo)圖片之中存在時，該編碼裝置可以將bla圖片編碼為新的nal_unit_type信息以識別可解碼的引導(dǎo)圖片。

該編碼裝置將包括關(guān)于編碼的視頻信息的nal單元作為比特流發(fā)送給解碼裝置(s902)。

圖10是圖示根據(jù)本發(fā)明的解碼視頻信息方法的流程圖。

參考圖10，該解碼裝置經(jīng)由比特流接收包括關(guān)于編碼的視頻信息的nal單元(s1001)。

nal單元報頭包括基于在支持可擴展層的比特流中用于識別可擴展層的層識別信息和屬性區(qū)別nal單元的nal_unit_type信息。

該解碼裝置解析nal單元報頭和nal有效載荷(s1002)。解析視頻信息可以由熵解碼模塊或者單獨的解析模塊執(zhí)行。

該解碼裝置可以經(jīng)由解析獲得包括在nal單元報頭和nal有效載荷中的各種類型的信息。

該解碼裝置以順序接收作為在支持單個層的比特流中用于識別層信息的reserved_one_5bits和temporal_id，并且在某時解析二個信息單元。在這種情況下，該信息可以以與用于作為在支持多層的比特流中用于識別層信息的layer_id的模式類似的模式解析。

該解碼裝置也可以解析nal_unit_type以根據(jù)類別分解圖片，并且據(jù)此處理該視頻。例如，起隨機接入點作用的idr圖片、cra圖片和bla圖片經(jīng)歷對應(yīng)于i片段的視頻處理，而ted圖片沒有被解碼。

當(dāng)該解碼裝置能夠?qū)ra圖片改變?yōu)閎la圖片時，該解碼裝置可以從比特流中去除在改變?yōu)閎la圖片之后接收到的ted圖片，或者不解碼ted圖片。

雖然基于流程圖示例性系統(tǒng)的方法已經(jīng)描述有一系列的階段或者塊，但是本發(fā)明不局限于該階段的先前的順序。某些階段可以以與如上所述不同的順序執(zhí)行或者同時執(zhí)行。此外，應(yīng)當(dāng)注意到，由于前面提到的實施例可以包括示例的各種方面，實施例的組合也可以理解為本發(fā)明示例性實施例。因此，本領(lǐng)域技術(shù)人員應(yīng)該理解，可以在這些示例性實施例中進行變化、修改和替換，而不脫離本發(fā)明的原理和精神，其范圍在所附的權(quán)利要求書及其等同物中限定。