專利名稱：用于解碼/編碼視頻信號的方法及裝置的制作方法
技術領域：
本發(fā)明涉及一種視頻信號編/解碼方案。
背景技術：
壓縮編/解碼是指一系列的信號處理技術，用于通過通信電路傳輸數(shù)字化信息， 或者以合適的存儲媒介的形式存儲此數(shù)字化信息。壓縮編/解碼的對象有音頻、視頻、字符等。尤其是，對視頻執(zhí)行壓縮編碼的技術被稱為視頻序列壓縮。通常，視頻序列的特征在于包含空間冗余或時間冗余?？缮炜s視頻編碼比特流可被選擇性地只部分解碼。例如，具有低復雜度的解碼器能夠解碼基本層，低數(shù)據(jù)率的比特流可被提取以用于通過有限容量的網(wǎng)絡被傳輸。為了能進一步逐漸地生成高分辨率的圖像，需要逐步提高序列的圖像質量。

發(fā)明內容
本發(fā)明的目的在于提高視頻信號的編/解碼效率。因此，本發(fā)明是針對一種編/解碼視頻信號的方法，其充分避免了因相關技術的限制和缺點而導致的一個或多個問題。本發(fā)明的一個目的在于定義一種對于編碼解碼器(codec)的兼容性的語法，由此提高不同類型的編碼解碼器間的兼容性。本發(fā)明的另一個目的在于定義一種用于重寫可伸縮視頻編碼比特流的語法，從而提高編碼解碼器間的兼容性。本發(fā)明的另一個目的在于限定一種語法，此語法用于表示是否于適當位置存儲參考基本圖像，從而提高編碼解碼器間的兼容性。本發(fā)明的另一個目的在于定義一種語法，此語法用于表示是否在適當位置存儲參考基本圖像，從而有效地管理解碼圖像緩存區(qū)(decodedpicture buffer)。本發(fā)明的另一個目的在于通過用于表示是否在適當位置存儲參考基本圖像的語法，有效地執(zhí)行解碼圖像標記。本發(fā)明的另一個目的在于提供一種解碼方法，由此，最小化因傳輸過程中產生的錯誤而導致的視頻信號解碼過程中的問題。本發(fā)明的另一個目的在于提供一種方法，通過最小化視頻信號的解碼過程中所產生的問題的解碼方案來管理解碼圖像緩存區(qū)，其中此問題由傳輸過程產生的錯誤所導致。因此，本發(fā)明提供以下效果或優(yōu)點。首先，編/解碼視頻信號時，通過定義用于編碼解碼器的兼容性的語法，本發(fā)明可提高不同類型的編碼解碼器間的兼容性。例如，用于把可伸縮視頻編碼比特流變換為AVC(先進視頻編碼)的編碼解碼器所編碼的比特流從而增強編碼解碼器間的兼容性的語法結構。第二，解碼圖像緩存區(qū)(DPB)通過本發(fā)明被更加有效地管理；從而減少解碼圖像緩存區(qū)上所施加的負擔。因此，可提高編/解碼速度。第三，通過使用關于可伸縮視頻序列的各種配置信息，本發(fā)明可實現(xiàn)更加有效的
編/解碼。


本發(fā)明所包括的附圖用于提供對本發(fā)明的進一步理解，它們被結合在此并構成了本說明書的一部分，這些附圖示出了本發(fā)明的實施例，并且與說明書一起用于解釋本發(fā)明的原理。 附圖中圖1為根據(jù)本發(fā)明的可伸縮視頻編/解碼系統(tǒng)的示意框圖；圖2為根據(jù)本發(fā)明的一個實施例的可增加至可伸縮視頻編碼比特流的可伸縮序列的配置信息圖；圖3為根據(jù)本發(fā)明的一個實施例的用于解釋存儲和使用參考基本圖像的過程的可伸縮視頻編碼的各種可伸縮結構的圖；圖4為根據(jù)本發(fā)明的一個實施例的參考基本圖像的存儲過程的流程圖；圖5為根據(jù)本發(fā)明的一個實施例的用于存儲和標記參考基本圖像的語法的結構圖；圖6為根據(jù)本發(fā)明的一個實施例的用于存儲和標記參考基本圖像的語法的結構圖；以及圖7至圖12分別為根據(jù)本發(fā)明的一個實施例的獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息的語法的結構圖。
具體實施例方式本發(fā)明的其他優(yōu)點及特征將在下面的描述中被說明，且其部分將可從描述中被了解，或可通過實施本發(fā)明而得到。本發(fā)明的目的及其他優(yōu)點將可通過說明書及其權利要求以及附圖中所具體指出的結構來實現(xiàn)并獲得。為了實現(xiàn)這些和其他優(yōu)點，并根據(jù)如同包括并廣泛描述的本發(fā)明的目的，根據(jù)本發(fā)明的一種解碼視頻信號的方法包括當?shù)谝徊糠謭D像和第一完整圖像相應于第一時間點時，決定是否存儲該第一部分圖像；存儲該第一部分圖像，以用于參考該第一部分圖像解碼第二完整圖像，該第二完整圖像相應于第二時間點，該第二時間點位于該第一時間點之后； 其中，該第一部分圖像在可伸縮域上的級別低于該第二完整圖像在可伸縮域上的級別。優(yōu)選地，上述方法進一步包括提取表示是否存儲第二部分圖像的標志信息，該第二部分圖像相應于解碼的第二完整圖像。為了進一步實現(xiàn)這些和其他優(yōu)點，并根據(jù)本發(fā)明的目的，根據(jù)本發(fā)明的一種解碼視頻信號的方法，包括檢查限制標志信息，該限制標志信息用于限制對于編碼解碼器的兼容性的特定語法；基于該限制標志信息獲得第一標志信息，該第一標志信息表示是否在緩存區(qū)中存儲參考基 本圖像；和利用根據(jù)該第一標志信息被存儲的該參考基本圖像解碼該視頻信號。為了進一步實現(xiàn)這些和其他優(yōu)點，并根據(jù)本發(fā)明的目的，根據(jù)本發(fā)明的用于解碼視頻信號的裝置包括識別信息檢查單元，用于檢查限制標志信息，該限制標志信息用于限制對于編碼解碼器的兼容性的特定語法；和解碼圖像緩存區(qū)單元，用于基于第一標志信息在緩存區(qū)中存儲基本圖像，該第一標志信息表示是否在該緩存區(qū)中存儲參考基本圖像，其中，從檢查該限制標志信息的結果中獲得該第一標志信息?？梢岳斫獾氖且陨系囊话忝枋龊鸵韵碌脑敿毭枋龆际鞘纠暮徒忉屝缘?，并且可以提供對本發(fā)明的權利要求的進一步說明?，F(xiàn)在將參考本發(fā)明優(yōu)選實施例進行詳細說明，其例子已表示在附圖中。首先，對視頻信號數(shù)據(jù)的壓縮編/解碼考慮空間冗余、時間冗余、可伸縮冗余、視角間冗余?？紤]可伸縮冗余的壓縮編/解碼只是本發(fā)明的一個實施例。但是本發(fā)明的技術構思可適用于時間冗余、空間冗余、視角間冗余等。本說明書中所指的“編/解碼(coding) ”包含編碼(encoding)和解碼(decoding) 兩個概念，可以根據(jù)本發(fā)明的技術構思和技術范圍靈活地進行解釋。在視頻信號的比特序列配置中，存在稱之為NAL(Network Abstraction Layer，網(wǎng)絡提取層)的分離的層結構，其位于執(zhí)行運動圖像編碼過程的VCL(Video Code Layer，視頻編碼層)和傳輸并存儲編碼信息的低層系統(tǒng)之間。編碼過程的輸出為VCL數(shù)據(jù)，傳輸或存儲之前通過NAL單元被映射。各個NAL單元包含壓縮的視頻數(shù)據(jù)或相應于頭信息的數(shù)據(jù) RBSP (Raw Byte Sequence Payload，原始字節(jié)序列載荷運動圖像壓縮的結果數(shù)據(jù))。NAL單元主要包括NAL單元頭和RBSP兩部分。NAL單元頭包括表示是否包含作為該NAL單元的參考圖像的條帶的標志信息(nal_ref_idC)和表示NAL單元的類型的識別符 (nal_unit_type)。在RBSP中存儲經(jīng)過壓縮的原始數(shù)據(jù)。并且，為了使RBSP的長度表示為 8比特的倍數(shù)，在RBSP的末尾加入RBSP拖尾比特(RBSP trailing bit)。NAL單元的類型有 IDR(Instantaneous Decoding Refresh，艮時角軍碼屈Ijf )圖像，SPS (Sequence Parameter Set,序列參數(shù)集)，PPS (Picture Parameter Set,圖像參數(shù)集)SEI (Supplemental Enhancement Information,補充增強信息)等。因此，如果表示上述NAL單元的類型的信息(nal_imit_type)表現(xiàn)為可伸縮視頻編碼條帶的話，可通過增加與上述可伸縮編/解碼有關的各種配置信息來提高編/解碼效率。舉例來說，可以增加表示當前接入單元是否為即時解碼刷新(以下簡稱為IDR)接入單元的標志信息，表示空間可伸縮性的依賴關系識別信息(cbpendency identification information)，質量識別信息，表示參考基本圖像是否被用作參考圖像的標志信息，優(yōu)先級識別信息等。為了更加有效地管理解碼圖像緩存區(qū)，可以使用各種可伸縮編/解碼的配置信息，下面將參考圖2對其進行詳細說明。在標準化中，為了能以適當?shù)馁M用購買目標產品，規(guī)定了對于各種簡表和級別的要求。這種情況下，解碼器必須滿足根據(jù)相應簡表和級別中所確定的要求。因此，定義了 “簡表”和“級別”兩種概念來表示函數(shù)或參數(shù)，其用于表示解碼器可以處理的被壓縮序列的范圍的大小。簡表識別符(profile_idC)可以識別比特流基于預定的簡表。簡表識別符是表示比特流所基于的簡表的標志。舉例來說，H. 264/AVC中，簡表識別符為66，這是指比特流基于基準簡表；簡表識別符為77的話，是指以主要簡表為基礎，簡表識別符為88的話，是指比特流以擴展簡表為基礎。而且，上述簡表識別符包含在序列參數(shù)集中。
因此，為了處理可伸縮序列，需要識別輸入比特流是否為用于可伸縮序列的簡表， 如果輸入比特流識別為用于可伸縮序列的簡表的話，有必要增加語法使得用于可伸縮序列的一個以上的附加信息可被傳輸。這里用于可伸縮序列的簡表，作為H. 264/AVC的附加方案，表示用于處理可伸縮視頻的簡表模式。因為對于傳統(tǒng)AVC技術來說，SVC為附加方案，所以，和無條件增加語法相比，增加語法作為用于SVC模式的附加信息更為有效。舉例來說，當AVC的簡表識別符表示為用于可伸縮序列的簡表時，如果增加關于可伸縮序列的信息的話，則可提高編/解碼效率。序列參數(shù)集表示頭信息，其中頭信息包含存在于整個序列的編碼中的信息，例如簡表、級別等。整個壓縮運動圖像，即序列應該開始于序列頭處。因此，相應于頭信息的序列參數(shù)集應該在依賴于此參數(shù)集的數(shù)據(jù)到達之前先到達解碼器。即，序列參數(shù)集RBSP承擔用于運動圖像壓縮的結果數(shù)據(jù)的頭信息的角色。一旦輸入比特流，簡表識別符優(yōu)先識別出輸入的比特流基于多個簡表中的哪一個。以下解釋有效的視頻信號解碼方法的多個實施例。圖1為根據(jù)本發(fā)明的可伸縮視頻編碼系統(tǒng)的示意框圖。為了提供對于各種通信環(huán)境和各種終端的優(yōu)化序列，提供到終端的序列應該是多樣化的。如果某個終端的優(yōu)化序列被提供到相應終端的話，則表示針對各種參數(shù)(包括每秒的傳輸幀數(shù)，分辨率，每像素的比特數(shù)等)的組合值來準備單個序列源。因此，優(yōu)化序列對內容提供商施加了負擔。因此，內容提供商把原始序列編碼為高比特率的壓縮序列數(shù)據(jù)。在接收到由終端做出的序列請求時，內容提供商解碼原始序列，把其編碼為適合于終端的序列處理能力的序列數(shù)據(jù)，并且然后把該編碼數(shù)據(jù)提供給終端。因為該代碼轉化伴隨著編碼_解碼_編碼過程，所以在提供序列的過程中不可避免地產生時間延遲。因此，另外需要復雜的硬件設備和算法?？缮炜s視頻編碼(SVC)是一種以最佳圖像質量編碼視頻信號的編碼方案，以使得所產生的圖像序列的部分序列能通過解碼表現(xiàn)為序列。這里，部分序列是指由從整個序列中被間歇地挑選出來的幀構成的序列。對于由SVC編碼的圖像序列，對于低比特率利用空間可伸縮性，可縮減序列尺寸，并且也可使用質量可伸縮性降低序列的圖像質量。這里，具有小屏幕和/或低的每秒幀數(shù)的圖像序列可被稱為基本層，且具有相對大屏幕和/或相對高的每秒幀數(shù)的序列可被稱為被增強的或增強層。上述可伸縮方案所編碼的圖像序列通過僅接收和處理部分序列的方式以實現(xiàn)低圖像質量的序列表示。如果比特率被降低，則圖像質量也降低地相當大。為了解決圖像質量的降低問題，可提供低比特率的分離的輔助圖像序列，例如包含小屏幕和/或每秒較少幀數(shù)的圖像序列。這種輔助序列可被稱為基本層，而主圖像序列可被稱為被增強的或增強層。以下詳細解釋可伸縮視頻編碼系統(tǒng)。首先，可伸縮視頻編碼系統(tǒng)包含編碼器102和解碼器110。編碼器102包含基本層編碼單元104、增強層編碼單元106以及復用單元108。解碼器Iio可包含去復用單元112、基本層解碼單元114以及增強層解碼單元116。通過壓縮輸入的序列信號X(η)，基本層編碼單元104能夠產生基本比特流。 使用輸入的序列信號X (η)和基本層編碼單元104所產生的信息，增強層編碼單元 106可以產生增強層比特流。并且，使用基本層比特流和增強層比特流，復用單元108能夠產生可伸縮比特流。所產生的可伸縮比特流通過指定信道被傳送至解碼器110。通過解碼器110的去復用單元112，傳輸?shù)目缮炜s比特流可被分離為增強層比特流和基本層比特流?；緦咏獯a單元114接收并解碼基本層比特流為輸出序列信號Xb(n)。增強層解碼單元116接收增強層比特流，并且參考基本層解碼單元114所重建的信號，解碼增強層比特流為輸出序列信號Xe(n)。這里，輸出序列信號Xb (η)是具有比之后的輸出序列信號Xe (η)低的圖像質量或分辨率的序列信號?？缮炜s視頻編碼過程中，當特定圖像通過編碼增強層而被傳輸時，增強層比特流可能在相應的傳輸期間被部分損壞。這種情況下，因為解碼器110使用損壞的增強層比特流解碼相應圖像，因此原始序列與解碼序列在圖像質量方面有所不同。特別地，如果存在這種問題的圖像是為具有最低時間級別的解碼另一圖像所需的參考圖像的話，則此問題會愈加嚴重。因此，具有最低時間級別的圖像需要更加有效地被管理。這將在下面通過參考圖 3和圖4來加以詳細解釋。根據(jù)本發(fā)明的一個實施例，解碼圖像緩存區(qū)(DPB)使得在可伸縮視頻編碼中可實現(xiàn)完整圖像和部分圖像的可伸縮存儲或者標記。這種情形中，完整圖像(full picture)表示具有最高質量級別的圖像，而部分圖像(partial picture)表示具有最低質量級別的圖像?；蛘?，完整圖像和部分圖像可分別被定義為表示相對高和低的質量級別。例如，如果質量級別被分為5級(0-4)，部分圖像可屬于質量級別為0至3的例子。 完整圖像可屬于質量級別為4的例子。或者，只有質量級別為0的情形相應于部分圖像。同時，第一時間點處的部分圖像在用作參考圖像之前需要被存儲。因此，為了解碼位于第一時間點之后的第二時間點的局部或完整圖像，第一時間點處的部分圖像可被用作參考圖像。并且第一時間點處的完整或部分圖像可自適應地被用作參考圖像。圖2為根據(jù)本發(fā)明的一個實施例的可增加至可伸縮視頻編碼比特流的可伸縮序列的配置信息的圖。圖2示出了使得可伸縮序列上的配置信息被增加于其上的NAL單元的結構示例。NAL單元主要包含NAL單元頭和RBSP (原始字節(jié)序列載荷運動圖像壓縮的結果數(shù)據(jù))。NAL單元頭可包含表示該NAL單元是否包含參考圖像的條帶的識別信息(nal_ ref_idc)和表示NAL單元的類型的信息(nal_unit_type)。并且，在一定限制下可包括NAL單元頭的擴展區(qū)域。例如，如果用于表示NAL單元類型的信息和可伸縮視頻編碼相關或者表示前綴 NAL單元，則NAL單元可包含NAL單元頭的擴展區(qū)域。尤其，如果nal_unit_type等于20 或14，NAL單元可包含NAL單元頭的擴展區(qū)域。根據(jù)能夠識別是否為SVC比特流的標志信息(SVC_mVC_f lag)，多視角(multi-view)序列的配置信息可被增加至NAL單元頭的擴展區(qū)域。另一例子，如果用于表示NAL單元的類型的信息是表示子集序列參數(shù)集的信息， 則RBSP可包含關于子集序列參數(shù)集的信息。尤其，如果nal_imit_type等于15，則RBSP可包含關于子集序列參數(shù)集的信息。這種情形中，根據(jù)簡表信息，子集序列參數(shù)集可包含序列參數(shù)集的擴展區(qū)域。例如，如果簡表信息(profile_idC)為與可伸縮視頻編碼相關的簡表， 子集序列參數(shù)集可包含序列參數(shù)集的擴展區(qū)域?；蛘?，根據(jù)簡表信息，序列參數(shù)集可包含序列參數(shù)集的擴展區(qū)域。序列參數(shù)集的擴展區(qū)域可包含限制標志信息，以用于為編碼解碼器的兼容性限制特別的語法。以下詳細解釋關于可伸縮序列的各種配置信息，例如可包含于NAL單元頭的擴展區(qū)域中的配置信息，或者可包含于序列參數(shù)集的擴展區(qū)域中的配置信息。首先，表示空間可伸縮性的識別信息是指表示識別NAL單元的依賴關系的信息。 例如，依賴關系根據(jù)空間分辨率而變化。圖3中，Spa_LayerO和Spa_Layerl的圖像可具有相同的分辨率。Spa_Layer0的圖像可包含通過對Spa_Layerl中的圖像執(zhí)行下采樣而獲得的圖像。尤其，假設識別NAL單元的依賴關系的信息被命名為cbpendencyjd，Spa_LayerO 中的圖像具有cbpendency_id = 0的關系，Spa Layerl的圖像則具有cbpendency_id = 1 的關系?？刹捎枚喾N方式定義依賴關系識別信息。因此，具有相同值的識別依賴關系的信息NAL單元可表示為依賴關系表示(dependencyrepresentat ion)。質量識別信息表示用于識別NAL單元的質量的信息。例如，單個圖像可被編碼為質量不同的圖像。圖3中，Spa_LayerO和Spa_Layerl中的圖像可被編碼為彼此質量不同的圖像。尤其，假設用于識別NAL單元的質量的信息被命名為qualityjd，圖像B1、B2、…、 BlO可被設定為qualityjd = 0。并且，圖像Q1、Q2、…、QlO可被設定為qualityjd = 1。 即，圖像Bi、B2、…、BlO表示包含最低圖像質量的圖像。這些被稱為基本圖像。圖像Q1、 Q2、…、QlO可以包含圖像B1、B2、…、B10，并且圖像質量好于圖像Bi、B2、...、B10。可采用多種方式定義質量識別信息。例如，質量識別信息可表示為16個級別。同時，根據(jù)識別依賴關系的信息和質量識別信息，可定義單個層。這種情況下， 具有相同數(shù)值的識別依賴關系的信息和質量識別信息的NAL單元可表達為層表示(layer representation)。用于表示時間可伸縮性的識別信息是指用于識別NAL單元的時間級別的信息。可以在分級B圖像結構中解釋時間級別。例如，Spa_LayerO中的圖像(B1，Q1)和圖像(B3，Q3)可包含相同的時間級別Tem_ LayerO0如果圖像(B5, Q5)參考于圖像(Bi, Ql)和圖像(B3, Q3)，則圖像(B5, Q5)可具有比圖像(B1,Q1)或圖像(B3，Q3)的時間級別Tem_LayerO更高的時間級別Tem_Layerl。同樣，如果圖像(B7, Q7)參考于圖像(Bi, Ql)和圖像(B5, Q5)，則圖像(B7, Q7)可具有比圖像(B5，Q5)的時間級別Tem_Layerl更高的時間級別Tem_Layer2。單個存取單元內的全部 NAL單元可包含相同的時間級別。IDR存取單元的例子中，時間級別值可變?yōu)?。標志信息用于表示參考基本圖像是否被用作參考圖像，此標志信息表示幀間預測(inter-prediction)過程中參考基本圖像是否用作參考圖像或者解碼圖像是否被用作參考圖像。相同層的NAL單元，即包含相同的識別依賴關系的信息的NAL單元的標志信息可包含相同的值。優(yōu)先級識別信息表示用于識別NAL單元的優(yōu)先級的信息。使用優(yōu)先級識別信息可提供層間(inter-layer)可擴展性或者圖像間(inter-picture)可擴展性。例如，通過使用優(yōu)先級識別信息可為用戶提供各種時間和空間級別的序列。因此，用戶可僅僅根據(jù)不同的限制條件就可看到特定時間和空間的序列或視圖。優(yōu)先級信息可根據(jù)其參考條件采用多種方式而形成。優(yōu)先級信息可隨機形成而無須采用特別參考。并且，優(yōu)先級信息可由解碼器決定。NAL單元頭的擴展區(qū)域中包含的配置信息可包含用于表示當前存取單元是否為 IDR存取單元的標志信息。圖3為根據(jù)本發(fā)明的一個實施例的用于解釋存儲和使用參考基本圖像過程的可伸縮視頻編碼的各種可伸縮性結構的圖。首先，時間可伸縮性中，可根據(jù)幀速率決定視頻序列的層。請參考圖3，每層中沿向上方向的話，則指更高的時間可伸縮層以表示幀率變得更高。通過把分級B圖像或分級P圖像的概念應用至H. 264視頻編碼，可實現(xiàn)時間可伸縮視頻編碼。例如，在預測屬于時間級別TenuLayerl中的圖像(B5，Q5)的例子中，圖像(B7， Q7，B9，Q9)屬于具有比時間級別Tem_Layerl的值更大的時間級別Tem_Layer2，所以無法用作參考圖像。然而，圖像(Bi，Ql, B3，Q3)屬于具有更低時間級別的Ten^LayerO，所以可用
作參考圖像。因此，無論是否存在屬于比隨機時間層更高的層的圖像的解碼，屬于隨機時間層的圖像可被獨立地解碼。如果根據(jù)解碼器的能力判定為可解碼級別，則可解碼相應幀速率的H. 264兼容視頻信號。以下解釋圖3中的空間可伸縮性。Spa_LayerO和Spa_Layerl中的圖像分別包含相同的分辨率。Spa_Layer0的圖像是通過對Spa_Layerl中的圖像執(zhí)行下采樣而獲得的圖像。例如，關于NAL單元的識別依賴關系的信息被設定為cbpendencyjd，Spa_LayerO中的圖像可被設定為cbpendency_id等于0，Spa_Layerl中的圖像可被設定為cbpendency_id 等于1。以下解釋質量可伸縮性?？臻g軸上每層的圖像可包含彼此質量不同的圖像。例如， 假設用于識別NAL單元的質量的信息被設定為qimlity_id，圖像Bi、B2、…、BlO可被設定為quality_id等于0，圖像Ql、Q2…、QlO可被設定為quality_id = 1。尤其，圖像Bi、 B2、…、BlO表示具有最低圖像質量的圖像。相反地，圖像Q1、Q2…、QlO相應的圖像所具有的圖像質量高于圖像Bi、B2、…、B10。可采用多種方式定義質量識別信息。例如，質量識別信息可表示為16個級別。以下解釋根據(jù)本發(fā)明的一個實施例的存儲參考基本圖像和使用所存儲的參考基本圖像進行解碼的過程。參考圖3中所示的圖像，解碼順序可設定為Bi、Ql、B2、Q2、B3、Q3、…、B10、 Q10(l — 2 — 3 — 4 —···，一 9 - 10) O如果當前待解碼的圖像為B4，圖像Bi、QU B2、Q2、B3以及Q3為事先被解碼的圖像。圖像B4相應于具有最低時間級別和最低質量級別的圖像。圖像B4可參考圖像B2，其中圖像B2為基本圖像。因此，圖像B2應該存儲于解碼圖像緩存區(qū)中。這種情形中，當解碼該已被解碼的圖像B2時，需要表示圖像B2將被存儲于解碼圖像緩存區(qū)中以用于以后待編碼的圖像(例如，圖像B4)的標志信息。例如，如果當前NAL單元相應于參考基本圖像，則可定義表示是否存儲當前NAL 單元于緩存區(qū)中的標志信息為 store_ref_base_pic_flago并且可能需要用于表示圖像B2是否將被作為基本圖像的標記。因此，在圖像B2解碼之后，解碼圖像緩存區(qū)可標記圖像B2作為參考基本圖像。完成這些步驟之后，當解碼圖像B4時，根據(jù)st0re_ref_base_pic_flag，圖像B4可使用圖像B2作為參考圖像，其中圖像B2存儲于解碼圖像緩存區(qū)中，并且被標記為參考基本圖像。根據(jù)本發(fā)明的另一實施例，當前NAL單元相應于最低質量級別并且包含參考圖像的條帶時，以下解釋獲得標志信息的過程，此標志信息用于表示是否在緩存區(qū)中存儲當前 NAL單元。例如，此標志信息可以僅為用于可伸縮視頻編碼比特流的語法元素。因此，需要能夠限制此標志信息的另一信息以用于編碼解碼器的兼容性?；蛘撸枰軌蛳拗拼藰酥拘畔⒌牧硪恍畔⒁允沟帽忍亓鞲袷侥鼙蛔儞Q。例如，可定義用于重寫可伸縮視頻編碼比特流的標志信息，以滿足編碼解碼器的兼容性。為了與前一編碼解碼器相容，例如，可伸縮視頻編碼比特流通過AVC編碼解碼器被解碼的情況下，需要將可伸縮視頻編碼比特流重寫為AVC比特流中。這樣的話，限制標志信息僅僅可限制應用至可伸縮視頻編碼比特流的語法信息。通過限定，使用簡單的變換過程就可變換可伸縮視頻編碼比特流為AVC比特流。例如，可表示為sliCe_header_ retrictior^flag。限制標志信息可從序列參數(shù)集或子集序列參數(shù)集中獲得。或者，可從子集序列參數(shù)集的擴展區(qū)域中獲得限制標志信息?？上拗苾H用于特定編碼解碼器的語法元素。例如，當前NAL單元相應于最低質量級別并且包含參考圖像的條帶的情況下，可使用限制標志信息在條帶頭處限制標志信息， 其中此標志信息用于表示是否在緩存區(qū)中存儲當前NAL單元。尤其，僅僅當sliCe_header_ retriction_flag = 0 時，可獲得 store_ref_base_pic_flag 信息。如果 slice_header_ retriction_flag = 1，則無法獲得store_ref_base_pic_flag信息。這扮演了使可伸縮視頻編碼比特的條帶頭相等于AVC比特流的頭的角色，從而可由AVC編碼解碼器實現(xiàn)解碼。圖4為根據(jù)本發(fā)明的一個實施例的存儲參考基本圖像的過程的流程圖。首先，以下描述中將用到圖3。在試圖解碼與當前圖像相對應的圖像B4的情況下， 圖像B4相應于包含最低時間級別和最低質量級別的圖像。即，圖像B4可相應于由基本表示(base representation)所表示的基本圖像。因此，圖像B4可參考圖像B2作為基本圖像。為了參考圖像B2，需要事先將圖像B2存儲于解碼圖像緩存區(qū)中。以下描述中解釋把圖像B2存儲于解碼圖像緩存區(qū)中以使用圖像B2作為參考圖像的過程。解碼圖像B2時，可從當前NAL單元頭的擴展區(qū)域中獲得質量識別信息。質量識別信息表示如同圖2所述的最低值時，圖像B2的當前NAL單元可相應于基本圖像。因此，需要根據(jù)所獲得的質量識別信息檢查圖像B2的當前NAL單元是否相應于基本圖像(S410)。
因為圖像B2將被用作參考圖像，這可由NAL單元頭被通知。例如，可獲得識別信息 (nal_ref_idC)，此識別信息(nal_ref_idC)用于表示當前NAL單元是否包含參考圖像的條帶。根據(jù)此識別信息，需要檢查圖像B2的當前NAL單元是否包含參考圖像的條帶(S420)。 根據(jù)此識別信息，如果當前NAL單元為基本圖像并且包含參考圖像的條帶，則當前NAL單元可相應于參考基本圖像。因此，如果當前NAL單元相應于最低質量級別并且包含參考圖像的條帶的話，則執(zhí)行參考圖像標記過程。解碼圖像緩存區(qū)的圖像標記過程中，參考基本圖像可額外地被標記為參考基本圖像。這種情形中，可獲得用于表示是否存儲此參考基本圖像的標志信息。為了獲得此標志信息，則不應該存在其他標志信息以限制此標志信息。例如，需要檢查用于限制對于編碼解碼器的兼容性的特別語法的限制標志信息(S430)。標志信息可以是從子集序列參數(shù)集的擴展區(qū)域中獲得的信息。尤其，假設用于重寫可伸縮視頻編碼比特流為AVC比特流以用于編碼解碼器的兼容性的限制標志信息為 SliCe_header_retriCti0n_flag。使用此限制標志信息，可表示涉及到序列參數(shù)集的特別語法是否存在于條帶頭內?；诖讼拗茦酥拘畔ⅲ色@得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(S440)。根據(jù)用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息，如果當前網(wǎng)絡提取層單元被存儲，并且如果當前網(wǎng)絡提取層單元并非為IDR圖像，則可執(zhí)行解碼基本層的參考圖像的標記過程。根據(jù)用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息，如果當前NAL單元被存儲，并且如果包含此存儲NAL單元的解碼圖像被標記為參考基本圖像，則可使用此參考基本圖像解碼視頻信號(S450)。例如，如果根據(jù)標志信息圖像B2被存儲并且被標記為參考基本圖像，則在解碼作為當前圖像的圖像B4時，可使用圖像B2作為參考圖像。圖5為根據(jù)本發(fā)明的一個實施例的用于存儲和標記參考基本圖像的語法結構圖。圖5表示圖4中所解釋的流程圖的技術構思的語法結構的示例。首先，需要在條帶頭中根據(jù)質量識別信息檢查當前NAL單元是否相應于基本圖像 (S510)。根據(jù)用于表示當前NAL單元是否包含參考圖像的條帶的識別信息nal_ref_idC， 需要檢查當前NAL單元是否包含參考圖像的條帶(S520)。如果當前NAL單元為基本圖像并且包含參考圖像的條帶，則當前NAL單元可相應于參考基本圖像。因此，如果當前NAL單元相應于此參考基本圖像，則執(zhí)行參考圖像標記過程(S530)。在解碼圖像緩存區(qū)的圖像標記過程中，此參考基本圖像可被額外地標記為參考基本圖像。這種情形中，可獲得表示是否存儲該參考基本圖像的標志信息。為了獲得此標志信息，需要檢查用于限制對于編碼解碼器的兼容性的特定語法的限制標志信息(S540)。 標志信息可為從子集序列參數(shù)集的擴展區(qū)域中獲得的信息。例如，用于重寫可伸縮視頻編碼比特流為AVC比特流以用于編碼解碼器的兼容性的限制標志信息可被設定為 SliCe_header_retriCti0n_flag，通過限制標志信息，可表示涉及到序列參數(shù)集的特別語法是否存在于條帶頭中。根據(jù)該限制標志信息，可獲得用于表示是否存儲此參考基本圖像的標志信息(S550)。根據(jù)用于表示是否存儲此參考基本圖像的標志信息，如果此參考基本圖像被存儲，并且如果此參考基本圖像并非為IDR圖像(S560)，則可執(zhí)行標記解碼的基本層的參考圖像的過程(S570)。或者，可以檢查表示參考基本圖像是否被用作幀間預測過程中的參考圖像或者解碼圖像是否被用作參考圖像的標志信息。作為檢查的結果，如果參考基本圖像被用作參考圖像并且此參考基本圖像并非為IDR圖像(S560)，則可執(zhí)行對于標記解碼的基本層的參考圖像的過程(S570)。圖6為根據(jù)本發(fā)明的一個實施例的用于參考基本圖像的存儲和標記的語法結構的圖。通過NAL單元處理信號時，當前NAL單元之前的另一 NAL單元可被使用。此另一 NAL單元被稱為“前綴NAL (prefix NAL) ”。此前綴NAL單元可用于把僅可被應用至SVC的信息傳送到基本層，并且維持基本層比特流和AVC編碼解碼器之間的兼容性。例如，圖5中所解釋的表示是否存儲參考基本圖像的標志信息可包含于前綴NAL 單元中。尤其，根據(jù)表示當前NAL單元是否包含參考圖像的條帶的識別信息nal_ref_idC， 需要檢查當前NAL單元是否包含參考圖像的條帶。根據(jù)識別信息，如果當前NAL單元包含參考圖像的條帶，則可獲得用于表示是否存儲參考基本圖像的標志信息。根據(jù)表示是否存儲參考基本圖像的標志信息，如果參考基本圖像被存儲并且參考圖像并非為IDR圖像，則可執(zhí)行標記解碼的基本層的參考圖像的過程?；蛘?，可檢查表示參考基本圖像是否被用作幀間預測(inter-prediction)過程中的參考圖像或者解碼圖像是否被用作參考圖像的標志信息。作為檢查的結果，如果參考基本圖像被用作參考圖像，并且如果該參考基本圖像并非為IDR圖像，則可執(zhí)行對于解碼的基本層的參考圖像的標記過程。圖7至圖12分別為根據(jù)本發(fā)明的一個實施例的用于獲得表示是否在緩存區(qū)中存儲當前NAL單元的標志信息的語法結構的圖。圖7所示的實施例中，用于存儲參考基本圖像的標志信息可被定義為st0re_ baSe_ref_flag。此標志信息可從條帶頭中獲得(S710)。預定條件可被給出以獲得此標志信息。例如，條帶類型并非為ra的例子，也就是說，不是表示增強質量級別的條帶類型的例子，其可被稱為質量級別最低的例子?？蓹z查表示是否限制當前條帶的特定語法以用于編碼解碼器的兼容性的信息。例如,可檢查能夠限制此標志信息的另一信息，從而使得比特流的格式能夠被變換。此外，可定義標志信息，用于重寫可伸縮視頻編碼比特流以滿足編碼解碼器的兼容性。如前所述，如果條帶類型并非為ra并且如果沒有被標志信息所限制，則可獲得用于存儲參考基本圖像的標志信息。圖8所示的實施例中，可定義另一標志信息以獲得表示是否在緩存區(qū)中存儲當前 NAL單元的標志信息。例如，可定義表示參考基本圖像是否被用作參考圖像的標志信息。此標志信息表示在幀間預測的過程中參考基本圖像是否被作參考圖像或者解碼圖像是否被用作參考圖像。對于具有相同識別依賴關系的信息的NAL單元，此標志信息可具有相同值。 可在NAL單元頭的擴展區(qū)域中定義該標志信息(S810)。可檢查當前條帶是否相應基本層并且包含最低的質量級別(S820)?？蓹z查當前條帶是否被用作參考圖像(S830)?？蓹z查參考基本圖像是否被用作參考圖像(S840)。如果參考基本圖像被用作參考圖像，則可獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(S850)。當前NAL單元被存儲于緩存區(qū)中之后，如果NAL單元的類型和SVC有關(S860)， 可執(zhí)行解碼圖像的標記過程，其中此解碼圖像包含用作參考基本圖像的當前NAL單元 (S870)。 可從條帶頭中獲得表示一定條件下是否在緩存區(qū)中存儲當前NAL單元的標志信息。例如，如果條帶類型表示增強質量級別的條帶，且相應于劃分質量層時的第一部份，并且如果參考基本圖像被用作參考圖像(S880)，可獲得表示是否存儲當前NAL單元于緩存區(qū)中的標志信息(S890)。圖9所示的實施例中，表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(S930) 可采用不同的方式被定義。例如，此標志信息可與表示參考基本圖像是否用作參考圖像的另一標志信息(S910) —同被定義于NAL單元頭的擴展區(qū)域中。圖10所示的實施例中，通過使用另一標志信息可獲得用于表示是否在緩存區(qū)中儲存當前NAL單元的標志信息。例如，可定義用于表示參考基本圖像是否用作參考圖像的標志信息。該標志信息可定義于NAL單元頭的擴展區(qū)域中(S1010)?？蓹z查當前條帶是否相應于基本層以及當前條帶的質量級別是否最低(S1020)?？蓹z查當前條帶是否用作參考圖像(S1030)。如果當前條帶被用作參考圖像，然后可獲得用于表示是否儲存當前NAL單元于緩存區(qū)中的標志信息(S1040)。如果當前NAL單元存儲于緩存區(qū)中并且當前NAL單元的類型和SVC有關(S1050)， 可執(zhí)行標記解碼圖像為參考基本圖像的過程，其中解碼圖像包含當前NAL單元(S1060)。還可從條帶頭中獲得表示在一定條件下是否在緩存區(qū)中存儲當前NAL單元的標志信息。例如，如果條帶類型不相應于增強質量級別的條帶，當前條帶的特定語法不限制對編碼解碼器的兼容性，并且參考基本圖像用作參考圖像(S1070)，可獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(S1080)。圖11所示的實施例中，使用另一標志信息可獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息。例如，可使用表示參考基本圖像是否用作參考圖像的標志信息。例如，如果條帶類型不相應于增強質量級別的條帶，并且參考基本圖像被用作參考圖像，則可獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(a)。如果參考基本圖像被用作參考圖像，而且沒有限制對于編碼解碼器的兼容性的當前條帶的特別語法，則可獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(b)。檢查參考基本圖像是否被用作參考圖像之后，則可獲得用于表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(C)。圖12所示的實施例中，使用另一標志信息可獲得表示是否在緩存區(qū)中存儲當前 NAL單元的標志信息。
例如，如果條帶類型表示增強質量級別的條帶，如果質量層被劃分則可檢查條帶類型是否相應第一部份(S1210)?？蓹z查參考基本圖像是否用作參考圖像或者當前條帶的質量級別是否表示第一增強質量級別(S1230)。
因此，可獲得表示是否在緩存區(qū)中存儲當前NAL單元的標志信息(S1250)。如前所述，本發(fā)明的解碼器/編碼器被提供至多媒體廣播，例如DMB (數(shù)字多媒體廣播)的廣播發(fā)射機/接收機，以用于解碼視頻信號、數(shù)據(jù)信號等。多媒體廣播的發(fā)射機/ 接收機可包含移動通信終端。一種應用本發(fā)明的解碼/編碼方法，被作為用于計算機執(zhí)行的程序，并且存儲在計算機可讀記錄介質中。并且，具有本發(fā)明的數(shù)據(jù)結構的多媒體數(shù)據(jù)可以被存儲在計算機可讀記錄介質中。計算機可讀記錄介質包括用于存儲計算機系統(tǒng)可讀數(shù)據(jù)的各種類型的存儲設備。計算機可讀記錄介質包括ROM、RAM、CD-ROM、磁帶、軟盤、光盤存儲設備等，并且還包括由載波實現(xiàn)的設備(例如，通過因特網(wǎng)的傳輸)。并且，由編碼方法所生成的比特流被存儲在計算機可讀介質中或通過有線/無線通信網(wǎng)絡被傳輸。工業(yè)實用件盡管本發(fā)明已參照其優(yōu)選實施例進行了描述及說明，很明顯本領域的技術人員可對其進行各種修改及變化，而不脫離本發(fā)明的精神或范疇。因此，本發(fā)明覆蓋所附的權利要求書及其等同的范圍中所提供本發(fā)明的修改及變化。
權利要求
1.一種解碼可伸縮視頻編碼比特流的方法，包括檢查當前NAL單元是否包含參考圖像的條帶；根據(jù)所述檢查步驟當所述當前NAL單元包含參考圖像的條帶時從所述可伸縮視頻編碼比特流獲得基本圖像存儲識別信息，其中所述基本圖像存儲識別信息指示是否在緩存區(qū)中存儲質量基本圖像，所述基本質量圖像指示對應于所述當前NAL單元的圖像；以及根據(jù)所述基本圖像存儲識別信息，將所述質量基本圖像標記為參考基本圖像，其中所述質量代表圖像質量。
2.根據(jù)權利要求1所述的方法，其特征在于還包括檢查當前NAL單元的質量識別符，其中所述基本圖像存儲識別信息是基于所述質量識別符獲得的。
3.根據(jù)權利要求1所述的方法，其特征在于所述基本圖像存儲識別信息是在所述質量識別符為零時獲得的。
4.根據(jù)權利要求1所述的方法，其特征在于所述基本圖像存儲識別信息是從條帶頭獲得的。
5.根據(jù)權利要求1所述的方法，其特征在于還包括利用已標記的質量基本圖像解碼所述可伸縮視頻編碼比特流。
6.根據(jù)權利要求1所述的方法，其特征在于還包括檢查限制識別信息，所述限制識別信息用于跳過編碼解碼器兼容性的特定句法的獲取，其中所述基本圖像存儲識別信息是根據(jù)所述限制識別信息獲得的。
7.根據(jù)權利要求6所述的方法，其特征在于所述限制識別信息是從序列參數(shù)集的擴展區(qū)域獲得的。
8.根據(jù)權利要求6所述的方法，其特征在于所述質量基本圖像是按照所述基本圖像存儲識別信息存儲的，并且所述質量基本圖像并非是IDR圖像，所述質量基本圖像被標記為所述參考基本圖像。
9.根據(jù)權利要求6所述的方法，其特征在于還包括獲得參考識別信息，所述參考識別信息指示所述質量基本圖像是否被用作參考圖像，其中當根據(jù)所述參考識別信息所述質量基本圖像被用作參考圖像以及所述質量基本圖像并非是IDR圖像時，所述質量基本圖像被標記為所述參考基本圖像。
10.根據(jù)權利要求1所述的方法，其特征在于還包括從所述可伸縮視頻編碼比特流獲得限制識別信息，所述限制識別信息用于跳過編碼解碼器兼容性的特定句法；以及根據(jù)所述限制識別信息從所述可伸縮視頻編碼比特流獲得用于劃分質量層所需的信息，其中用于劃分質量層所需的信息是變換系數(shù)級別的掃描位置信息。
11.根據(jù)權利要求1所述的方法，其特征在于所述可伸縮編碼比特流是作為廣播信號接收的。
12.根據(jù)權利要求1所述的方法，其特征在于所述可伸縮編碼比特流是作為數(shù)字媒體接收的。
13.—種解碼可伸縮視頻編碼比特流的裝置，包括去復用單元，用于檢查當前NAL單元是否包含參考圖像的條帶；解碼圖像緩存區(qū)，用于根據(jù)指示是否在緩存區(qū)中存儲質量基本圖像的基本圖像存儲識別信息，將質量基本圖像標記為參考基本圖像，其中當所述當前NAL單元包含參考圖像的條帶時從所述可伸縮視頻編碼比特流獲得所述基本圖像存儲識別信息，以及其中所述質量基本圖像指示對應于所述當前NAL單元的圖像，并且所述質量指示圖像質量。
14.根據(jù)權利要求13所述的裝置，其特征在于所述去復用單元檢查限制識別信息，所述限制識別信息用于跳過編碼解碼器兼容性的特定句法的獲取，其中所述基本圖像存儲識別信息是根據(jù)所述限制識別信息獲得的。
15.根據(jù)權利要求14所述的方法，其特征在于所述限制識別信息是從序列參數(shù)集的擴展區(qū)域獲得的。
16.根據(jù)權利要求14所述的方法，其特征在于所述質量基本圖像是按照所述基本圖像存儲識別信息存儲的，并且所述質量基本圖像并非是IDR圖像，所述質量基本圖像被標記為所述參考基本圖像。
全文摘要
公開了一種解碼視頻信號的方法，本發(fā)明包括當?shù)谝徊糠謭D像和第一完整圖像相應于第一時間點時，決定是否存儲該第一部分圖像；存儲該第一部分圖像，以用于參考該第一部分圖像解碼第二完整圖像，該第二完整圖像相應于第二時間點，該第二時間點位于該第一時間點之后；其中，該第一部分圖像在可伸縮域上的級別低于該第二完整圖像在可伸縮域上的級別。
文檔編號H04N7/26GK102158697SQ20111005049
公開日2011年8月17日 申請日期2007年9月7日 優(yōu)先權日2006年9月7日
發(fā)明者全柄文, 樸志皓, 樸勝煜 申請人:Lg電子株式會社