專利名稱：網絡提取層單元的分組格式、使用該格式的視頻編解碼算法和裝置以及使用該格式進行 ...的制作方法
技術領域：
本發(fā)明涉及視頻編解碼器，更具體地說，本發(fā)明涉及構成用于每個MPEG 視頻網絡提取層單元(NALU)的分組的方法及其應用的視頻便解碼器、基于 IPv6標簽交換的QoS控制、以及解碼算法和裝置。
背景技術：
目前在MPEG/JVT (聯合4見頻組)中進行標準化的可擴展視頻編碼(SVC， scalable video coding)和多碎見角一見頻編碼(MVC )是基于H. 264/AVC的。 H. 264/AVC的NALU才各式一皮用來對經編碼的位流進行分組化。
圖1示出了視頻編碼層(VCL)和網絡提取層(NAL)的概念性結構。如 圖1所示，H. 264/AVC由VCL和NAL構成，其中VCL對運動圖像進行編碼， 而NAL將VCL連接到下級系統(tǒng)以傳輸和存儲經編碼的信息。獨立于VCL產生 的位流，存在序列參數集(SPS )、圖像參數集(PPS )和補充增強信息(SEI ), 用于對每個圖像的信息、隨機存取的信息等進行定時。
圖2是示出了在標準SVC中提出的NALU格式的框圖。如圖2所示，NALU 包括NAL頭(NALH )和NAL載荷。NALH有3 - 5個字節(jié)長，并且包括關于NAL 類型的信息以及載荷中視頻數據的層標識信息(優(yōu)先級、空間可擴展級別、 時間可擴展級別、以及質量可擴展級別)。NAL類型字段包括F字段、指示 其是否是被引用圖像的NRI (nal-ref-idc)、以及MLU類型的指示符。層 標識信息字段包括優(yōu)先級字段(P)、用于空間可擴展級別的dependency-id 字段(D)、時間級別字段(T)、以及質量可擴展級別字段(Q)。
如圖2所示在SVC中使用的相同NALU格式還被用于MVC。作為層標識信 息的替代，視角標識信息被包括在其中。
根據當前SVC和MVC的NALU格式，所有層標識信息和視角標識信息都應 當被解析以標識層數或視角數。具體地說，為了標識SVC中的層，2-4字節(jié) 長的層標識信息應當被解析為P、 D、 T和Q值，從而該處理給處理器施加了負擔，并且增加了系統(tǒng)成本。
NALH具有層標識信息，而網絡中包括IPv6路由器在內的路由器并不會 對其進行解析，因為NALH位于IP分組的載荷內，如圖13所示。需要將該信 息放入由路由器讀取的IP頭部。如何提供標簽的方法尚未被標準化。如果能 夠標識出分組優(yōu)先級、那么QoS (服務質量)控制將變得容易，從而在阻塞 時，可以丟棄更少的重要分組。
圖3示出了根據傳統(tǒng)SVC標準的NALU格式通過解析整個NALU來標識任 意NALU的層的過程，因此，圖3是示出了 MANE (々某體意識網絡元件)用于 決定是轉發(fā)還是丟棄每個NALU的流程圖。
圖3中的MANE 乂人每個NALU (其由編碼器生成或者經由有線或無線網絡 傳輸)解析出P、 D、 T和Q值(S11),并且隨后解析出的P、 D、 T和Q值與 預定義值(p、 d、 t、 q)相比較，以便MANE決定其是轉發(fā)還是丟棄每個MLU (S12)。如果值中的任何一個不滿足要求，則NALU被丟棄(S13)，而滿足 所有要求的NALU被抽取出并被轉發(fā)到解碼器(S14)。
處理器在NALU的抽取過程期間的負擔以同樣的方式被施加到解碼過程， 從而解碼器從經由有線或無線網絡傳遞或存儲的每個NALU解析出P、 D、 T 和Q值。如果NALU的層被包括在解碼器將要解碼的層中，則這些值被評估。 只有當這些值滿足所要求的設置點時，NALU才被解碼，否則NALU被丟棄。

發(fā)明內容
本發(fā)明提供了下述的任務的解決方案，即，減少MANE和解碼器通過解析 長的NALH來決定是否抽取/解碼NALU的負擔，以及提供構成MLU從而以更 小的復雜度進行抽取/解碼的方法及其應用的解碼算法、用于IPv6標簽交換 的QoS控制算法、以及解碼算法和裝置。
本發(fā)明還提供了下述任務的解決方案，即，IPv6分組的構成方法以及用 于IPv6標簽交換的路由和QoS控制算法，該方法使得能夠有效地控制QoS 而無需在IPv6路由器中解析NALH。
為了解決上述任務，根據本發(fā)明的實施例，通過將在用于SVC和MVC中 的JVT中標準化的NALH縮短為特定尺寸的標簽，編碼、抽取和解碼操作基于 SNALH (縮短的NALH )而祐:執(zhí)行。如前所述，每個NALU傳統(tǒng)上具有3 - 5個 字節(jié)長的NALH來標識層(優(yōu)先級、空間可擴展級別、時間可擴展級別、和質量可擴展級別)和視角數。因此，在SVC中，NALH包括優(yōu)先級字段(P)、 用于空間可擴展級別的dependency—id字段(D)、時間級別字段(T)、以 及質量可擴展級別字段(Q )。根據SVC的NALH格式，所有NALU在NALH中 具有P、 D、 T和Q值。
根據本發(fā)明的實施例，用于每個NALU的這個長NAUM皮SNALH取代，其 中SMLH包括預定義的用于標識層標識信息(例如P、 D、 T和Q值)的短標 簽。用于層標識的短標簽被定義用于特定服務或者特定視頻序列。根據本發(fā) 明的實施例，如果SNALH是1字節(jié)長，那么可以標識出大約250種不同類型 的NALU流。
如果本發(fā)明的實施例#1應用于SVC,那么可以標識出每個NALU的層。例 如，如果SNALH是1字節(jié)長，那么可以標識出大約不同NALU流的P、 D、 T 和Q值的250種不同組成。以相同的方式，如果本發(fā)明的實施例被應用于MVC, 可以標識出每個NALU的視角數。
此外，4艮據用于傳統(tǒng)NALH格式的NALU抽取過程，可以在解析相對長的 NALH以及比較4層標識信息字段之后處理每個NALU。然而，根據本發(fā)明的實 施例，位于編碼器和解碼器之間的路徑上的MANE通過〗又解析來自短SNALH 的標簽，可以決定是丟棄還是轉發(fā)每個NALU。根據本發(fā)明的實施例，解碼器 通過僅解析來自短SNALH的標簽，還可以決定是丟棄還是解碼每個NALU。因 此，根據本發(fā)明的實施例，SVC或MVC的NALU的抽取和解碼過程變得更加簡 單。具體地說，由于NALU是在網絡中的MANE內被抽取的，因此可以盡可能 地簡化過程。
此外，作為本發(fā)明實施例的NAL格式在應用于IPv6網絡時有幫助。例如， 如果作為發(fā)明實施例的SNALH #皮插入IPv6分組頭等之中，IPv6 ; 各由器可以 僅通過讀取所插入的SNALH而不是通過讀取NALU的NALH來控制QoS Ul務 質量)。作為本發(fā)明的實施例，SNALH可以被》欠置在IPv6分組頭中的20位 的流標簽(flow label)中。通過在流標簽中使用SNALH， IPv6路由器能夠 有效地執(zhí)行MPEG JVT采用的MANE的功能。在此情形中，傳統(tǒng)的NALH可以保 持不變以反向兼容當前的NALH標準。
為了解決上述任務，根據本發(fā)明的實施例，通過包括具有指示經編碼數 據的優(yōu)先級的標簽的MLH以及包括經編碼數據的NAL載荷，確定構成NALU 的方法。上述標簽是基于經編碼數據的優(yōu)先級、空間可擴展級別、時間可擴展級別和質量可擴展級別的組合而確定的。
作為上述實施例的另 一觀點，SNALH可以用來包括指示NALU類型的字段。 SNALH還可以用來更詳細地指示經編碼數據的優(yōu)先級、空間可擴展級別、時 間可擴展級別、以及質量可擴展級別。
為了解決上述任務，如上面提到的實施例所述的視頻編碼方法包括下述 步驟根據關于層結構的信息將輸入序列編碼為多層位流，根據關于層結構 的信息將標簽映射到多個經編碼位流中的每個，將標簽插入NALH以作為 SNALH，通過合并SNALH和ML載荷生成NALU。對于每個位流，關于層結構 的信息指示經編碼數據的優(yōu)先級、空間可擴展級別、時間可擴展級別和質量 可擴展級別的組合。
作為上述實施例的一個方面，在映射步驟期間可以使用映射表，以便將 標簽映射到經編碼數據的優(yōu)先級、空間可擴展級別、時間可擴展級別和質量 可擴展級別的組合
為了解決上述任務，作為在包括多個解碼模塊的解碼器中處理NALU的方 法，上述NALU被解析成具有標簽的SNALH和NAL載荷，并且根據該標簽，上 述解碼器決定上述解碼器模塊中的哪個解碼器模塊處理NAL載荷。此時，上 述標簽可以具有指示經編碼數據的優(yōu)先級、空間可擴展級別、時間可擴展級 別和質量可擴展級別的組合的信息。
為了解決上述任務，作為網絡中間的節(jié)點用于根據經編碼數據的層信息 決定是否轉發(fā)NALU的分組的方法，NALU的分組由具有指示層信息的標簽的 SNALH和NAL載荷構成，節(jié)點解析上述標簽并且根據解析出的上述標簽決定 是否轉發(fā)分組，并且標簽指示經編碼數據的優(yōu)先級、空間可擴展級別、時間 可擴展級別和質量可擴展級別的組合。
作為上述實施例的 一個方面，網絡中間的節(jié)點可以是MPEG-JVT標準中采 取的MANE。節(jié)點根據抽取圖決定是否轉發(fā)NALU的每個分組，上述抽取圖可 以包括關于以上述標簽為條件的抽取策略的信息。是否轉發(fā)的信息可以由1 位來表示。上面提到的條件包括網絡條件、終端條件和用戶偏好中的至少一 種，所述網絡條件包括信道條件。抽取圖可以在服務的開始或中間被傳遞。
作為上述實施例的另一方面，網絡中間的節(jié)點可以是具有IPv6協(xié)議的 IPv6路由器，上述分組可以是IPv6分組，并且標簽可以被插入到IPv6分組 頭中的流標簽內。本發(fā)明實施例的效果如下所述。
首先，在網絡的中間，可以減少QoS控制的處理復雜度和處理時間。當 網絡中間的節(jié)點(例如，MANE)根據網絡條件將丟棄NALU時，根據本發(fā)明的 實施例，通過4吏用抽取圖和從每個分組的SNAH解析出的標簽而非解析長的 NALH以標識出MLU的層，可以決定是轉發(fā)還是丟棄每個分組以適應網絡條 件。抽取圖可以在服務的開始被設置，或者可以根據多種抽取條件由MANE 生成。抽取圖可以由服務器發(fā)送或者在MANE中生成。
其次，可以減少了解碼器的復雜度。 一旦層或視角之間的引用關系在服 務開始時被構建，或者在關系改變時被重建，解碼器不必解析具有2 - 4字節(jié) 的長NALH，其僅解析1字節(jié)長的SNALH。如果NAL中的載荷才艮據NALH ^皮存儲 在任意層或視角的解碼器緩存中，則下面的過程與常規(guī)操作相同。
再次，可以在較低的網絡協(xié)議層中使用短標簽。通過使用標簽，網絡可 以為流提供預定義的QoS級別。例如，被修改或未被修改的標簽可以被插入 到IPv6頭的流標簽中。作為本發(fā)明實施例的SNALH中的標簽還可以用于MPLS (多協(xié)議標簽交換)。
第四，可以降低比特率。作為本發(fā)明的實施例，如果標簽類型頭(SNALH) 是1字節(jié)長，則每個NALU中的2 - 4個字節(jié)可以被減少。


圖1是如在H. 264/AVC標準中的NAL(網絡提取層)和VCL(視頻編碼層) 之間的關系的概念性示圖。
圖2是示出了在當前SVC標準中提出的NALU格式的框圖。
圖3是示出了決定是否在MANE中轉發(fā)NALU (或者分組位流)的傳統(tǒng)過程。
圖4是作為本發(fā)明第一實施例的NALU格式的框圖。 圖5是作為本發(fā)明第二實施例的NALU格式的框圖。 圖6是作為本發(fā)明實施例的SVC解碼器結構的框圖。 圖7是作為本發(fā)明實施例的MANE的框圖。MANE決定是否轉發(fā)NALU (分 組位流)。
圖8是作為本發(fā)明實施例用于MANE決定是否在MANE中轉發(fā)NALU (或者 分組位流)的過程的框圖。圖9是解碼器解析在圖4或5中定義的格式下的NALU的流程圖。 圖IO示出了將H. 264/AVC標準中的14個NALU類型映射到14個標簽的 示例。
圖ll示出了根據從圖4或5中定義的格式解析出的標簽進行解碼的偽代碼。
圖12示出了如何在異質網絡中多播視頻流。 圖13示出了使用IPv6協(xié)議應當讀取多少數據用于分組交換。 圖14示出了根據本發(fā)明實施例應當讀取多少數據用于標簽交換。 圖15示出了作為本發(fā)明實施例的IPv6頭中的流標簽的示例。
具體實施例方式
本發(fā)明的實施例通過使用附圖在下文被具體說明。
圖4是作為本發(fā)明第一實施例的NALU格式的框圖。在圖4中，上部示出 了傳統(tǒng)的NAL格式，而下部示出了作為本發(fā)明第一實施例的NALU格式。
根據圖4,作為本發(fā)明實施例的NALU格式包括SNALH (標簽類型NALH ) 和NAL載荷。其中，NAL載荷與傳統(tǒng)格式相同。因此，作為本發(fā)明的實施例， 通過使用特定尺寸的標簽，NALU中的傳統(tǒng)NALH #皮SNALH取4戈。該SNALH可 以是l字節(jié)長，在此情形中，可能標簽的數目為28 - 256等。
更為具體地，作為本發(fā)明的實施例，傳統(tǒng)NALH包括的NAL類型、用于優(yōu) 先級的Priority_id、用于空間可擴展纟及別的Dependency—id、用于時間可擴 展級別的Temporal-level、以及用于質量可擴展》及別的Quality —level的組 合代表有限數目的NALH組中的一組，并且被轉換成標簽以辨別組。即，作為 本發(fā)明的實施例，具有相同組合的一組NALH在一對一的基礎上被映射到一個 標簽。因此，唯一的一個標簽^皮分配給NAL類型、用于優(yōu)先級的Priority-id、 用于空間可擴展級別的Dependency-id 、用于時間可擴展級別的 Temporal-level、以及用于質量可擴展級別的Quality—level的^f壬意組合。
與此類似，作為本發(fā)明的實施例，NALU中的SNALH包括與傳統(tǒng)NALH中 的多個值相對應的標簽。本發(fā)明的該實施例基于下述事實，即，在視頻會話 或存儲的視頻序列期間存在有限數目的NALH組，并且相同數目的標簽被用于 SNALH。例如，如果NALH組的數目小于250,則傳統(tǒng)NALH可以被1字節(jié)長的 SNALH取代。圖5是作為本發(fā)明第二實施例的NALU格式的框圖。在圖5中，上部示出 了傳統(tǒng)NAL格式，而下部示出了作為本發(fā)明第二實施例的NALU;f各式。
才艮據圖5,作為本發(fā)明實施例的NALU格式包括NALU類型、SNALH (標簽 類型NALH)和NAL載荷。其中，NAL載荷與傳統(tǒng)格式相同。因此，作為本發(fā) 明的實施例，通過^f吏用特定尺寸的標簽，NALU中的傳統(tǒng)NALH祐:SNALH取代。 該SNALH可以是1字節(jié)長，在此情形中，可能標簽的數目是28 - 256等。
更為具體地，作為本發(fā)明的實施例，首先，傳統(tǒng)NALU格式中的NALU類 型字,殳未變。并且，傳統(tǒng)NALH包括的NAL類型、用于優(yōu)先級的Priori ty—id、 用于空間可擴展級別的D^endency_id 、用于時間可擴展級別的 Temporal-level、以及用于質量可擴展級別的Quality—level的組合，代表 有限數目的NALH組中的一組，并且被轉換成標簽以辨別組。即，作為本發(fā)明 的實施例，具有相同組合的一組NALH在一對一的基礎上被映射到一個標簽。 因此，唯一的一個標簽被分配給NAL類型、用于優(yōu)先級的Priority—id、用 于空間可擴展級別的Dependency-id 、 用于時間可擴展級別的 Temporal-level、以及用于質量可擴展級別的Qual i ty—level的4壬意組合。
與此類似，作為本發(fā)明的實施例，NALU中的SNALH包括與傳統(tǒng)NALH中 的多個值(P、 D、 T、 Q)相對應的標簽。本發(fā)明的該實施例基于下述事實， 即，在視頻會話或存儲的視頻序列期間存在有限數目的NALH組，并且相同數 目的標簽被用于SNALH。例如，如果NALH組的數目小于250，則傳統(tǒng)NALH 可以被1字節(jié)長的SNALH取代。
并且，根據圖4或5中的才各式，SNALH的標簽和NALH組(其是P、 D、 T 和Q的組合)的一對一映射可以被定義在映射表中。解碼器和編碼器具有相 同的映射表。對于如何具有該相同的映射表并沒有限制。例如，編碼器可以 向解碼器發(fā)送映射表連同經編碼的視頻數據，或者編碼器可以僅發(fā)送關于映 射表的信息給解碼器。在后一情形中，編碼器和解碼器預期已具有若干映射 表，并且編碼器發(fā)送標識符來標識表，并且解碼器從多個映射表中獲取由標 識符標識的映射表。
編碼器和解碼器使用映射表的方法如下所述。例如，通過使用映射表， 編碼器生成具有標簽的NALU,如在本發(fā)明第一或第二實施例中提及的格式一 樣。然后，解碼器通過使用映射表和NALH中的標簽標識出NALU的可擴展層。 余下的載荷被發(fā)送到與標簽標識出的層相適應的解碼器模塊。
10圖6是作為本發(fā)明實施例的SVC解碼器結構的框圖。在下文中，盡管使 用SVC標準的例子來解釋本發(fā)明，但是對本領域技術人員來說很明顯，本發(fā) 明的實施例可以應用于其它類型的編碼器(例如，MVC編碼器)。
在圖6中，SVC編碼器100包括視頻編碼模塊IIO和NALU發(fā)生器120。 盡管在圖6中視頻編碼模塊110和NALU發(fā)生器120被描述為獨立的模塊，它 們根據它們的功能而在邏輯上分離，但是它們可以或者獨立地或者在一個機 體里實現。并且，即使僅有視頻編碼模塊和NALU發(fā)生器被包括在圖6中，SVC 編碼器的其它模塊被忽略，因為它們與這里的說明無關。
視頻編碼模塊被用于執(zhí)行編碼過程(變換和數量化等)以從原始圖像生 成經編碼數據，從而滿足SVC標準。SVC編碼模塊包括基本層編碼模塊以及 多個增強層編碼模塊。作為編碼的結果，視頻編碼模塊還產生代表NAL類型、 用于空間可擴展級別的Dependency-id (D)、用于時間可擴展級別的 Temporal —level (T)、以及用于質量可擴展級別的Qual i ty_ level (Q)的 信息。
NALU發(fā)生器是通過使用由視頻編碼模塊給予的關于NALU類型、D、 T、 和Q的信息來生成NALU的模塊。此時，NALU的優(yōu)先級可以被定義。對于D、 T和Q的組合可以定義不只一個優(yōu)先級。NALU發(fā)生器120可以生成圖4或5 中描述的格式下的NALU。為此，NALU發(fā)生器包括NALU發(fā)生器120、映射模 塊122和NALU構成器124。 地生成的映射表。并且，NALU構成器124通過使用視頻編碼模塊110提供的 經編碼數據和映射模塊122給出的標簽來構成NALU，如圖4或5所述的那樣。 所生成的NALU連同或者不連同映射表(或者標識映射表的信息)被發(fā)送或被 存儲在存儲器中。
圖7是作為本發(fā)明實施例的MANE (々某體意識網絡元件)的框圖。MANE 包括NALU抽取器(分組抽取器或位流抽取器)，該NALU抽取器決定是否轉 發(fā)NALU (或者分組位流)。上面提到的NALU抽取器位于網絡中間。并且NALU 抽取器抽取并轉發(fā)滿足特定條件(在SVC的所有層中，由接收器請求的某些 層)的NALU。在圖7中，作為本發(fā)明實施例的NALU抽:取器200包括標簽解 析器210和轉發(fā)決定模塊220。標簽解析器210從接收自編碼器的NALU (具有圖4或5中的格式)解析 出標簽。因此，作為本發(fā)明的實施例，標簽解析器210不需要解析NAL類型、 用于空間可擴展級別的D印endency-id (D)、用于時間可擴展級別的 Temporal — level (T)、以及用于質量可擴展級別的Quality—level (Q)的 信息。
轉發(fā)決定模塊220基于其抽取表和標簽解析器210解析出的標簽決定是 否轉發(fā)每個NALU。抽取表是這樣的標簽表，通過該標簽表，位流(NALU)被 允許轉發(fā)。因此，作為本發(fā)明實施例的抽取器不需要解析每個NALU的P、 D、 T和Q值，相反，通過僅使用標簽和抽取表，可以決定是否轉發(fā)對應的NALU。 對于每個標簽，關于是否轉發(fā)的信息可以由一個位來指示。
抽取表可以從服務器接收，或者可以在NALU抽取器(例如，MANE)中構 建。抽取表中的標簽可以對應于編碼器中的映射表中的標簽。根據網絡、終 端和/或用戶的多種條件，可以使用不只一個抽取表。此外，對于多播會話，
圖8是作為本發(fā)明實施例的MANE中的過程的方框圖。這些過程是 MANE用來決定是否轉發(fā)NALU (或者分組位流)的過程。如圖8中所示， NALU抽取器從每一個接收到的或者獲取到的NALU抽取標簽。并且，其觀 察在抽取表中用于解析出的標簽值的抽取指示符是否為'T， (S22)。這里， 如果抽取指示符為"1"，則轉發(fā)對應的NALU;而如果抽取指示符為"0"， 則丟棄對應的NALU。因此，作為本發(fā)明的實施例，在步驟S23中丟棄對應 的NALU，而在步驟S24中將對應的NALU轉發(fā)給后面的用于該解碼器的網 絡實體。
圖7和圖8示出了在網絡中間的實體中進行NALU抽取的設備和方法。 然而，通常情況下，媒體數據作為分組流或者僅僅是不同于NALU流的位流， 在某些有線和無線網絡上傳輸。在這種情況下，上述標簽可以包含在分組頭 或者位流中。而且，如MANE等網絡實體從分組頭或者位流解析出標簽，以 決定是否轉發(fā)。
圖9是解碼器用來解析具有圖4或5中定義格式的NALU的流程圖。在 圖9中，解碼器從接收自傳輸網絡的或者獲取自所存儲內容的每個NALU解 析出(S31)標簽。例如，解碼器通過解析NALU中的SNALH來讀取標簽 值。而且，通過使用上述的映射表，解碼器查看(S32)對應于解析出的標簽值的D、 T和Q值。該映射表可以與NALU —起被接收或者可以是已經存 儲在解碼器中。而且，該解碼器將NAL載荷轉發(fā)給與D、 T和Q值相對應的 視頻解碼模塊。每個視頻解碼模塊對進來的經編碼數據，即NAL栽荷，進行 解碼(S33 )。
作為本發(fā)明的另一個實施例，除了解碼模塊，解碼器還可以具有圖7中 解釋的另一NALU抽取器。在這個情況中，解碼器只解碼被NALU抽取器所 允許的NALU。
下面從不同的> 見角來解釋本發(fā)明上述的實施例。
〈NALH壓縮法>
在臨時視頻會話過程中，或者當存儲視頻序列時，按JVT標準的每一個 3 ~ 5字節(jié)長的NALH被映射并被SNALH (縮短的NALH)取代。在編碼器 和解碼器中使用同樣的映射表。當存儲經編碼的視頻序列時，映射表也要被 存儲。
作為本發(fā)明的實施例，為了適應性地控制QoS， MANE應該具有用于依 據NALU標簽進行抽取的抽取表。該抽取表可以從服務器或者客戶獲取，或 者在MANE中由其本身構建。如果MANE本身構建了抽取表，那么MANE 就應該具有上述的映射表。按照根據本發(fā)明實施例的NALU格式，如果視頻 會話或者存儲的視頻序列由具有相同P、 D、 T、 Q值的有限NALU組構成， 則一組P、 D、 T和Q值^皮一個標簽取代。例如，組凄t小于250,每一組的指 示符可以壓縮成8 4立。
例如，假定用3個空間可擴展層對視頻序列編碼，每個層被擴展成2個 時間可擴展層，每個時間可擴展層被擴展成4個質量層。于是，有24 (3x2 x4)個不同的層，這些層可以用24個不同的標簽標識。
如果一個層是由具有不同priority_ID的兩個NALU流構成的，則這個層 需要2個不同的標簽。這里，"相同層的流"指的是具有相同dependency—ID、 temporaljevel和quality—level (簡言之，DTQ )的NALU的流。相反，如果 P值用于不同DTQ組，則每組應該有其自己的標簽。
編碼器和解碼器應該具有標簽和DTQ組之間的映射表。即使可以任意地 構建標簽，如果可能的話，最好使標簽表示沒有映射表的R264/AVC標準的 DTQ值。
1字節(jié)長的SNALH
13在臨時的視頻會話過程中，或者當存儲視頻序列時，如果層數(或者
NALH的組數)是有限的，則同樣數量的標簽被確定并被用作SNALH。根據 實施例，在數量小于250的假設下，NALH可以被壓縮成8位。1字節(jié)長的 SNALH的實施例表示在圖4中。 2字節(jié)長的SNALH
為了保持同H.264/AVC標準的兼容性，第一字節(jié)與2006年1月時的標 準中第一字節(jié)相同。其余的NALH字節(jié)被壓縮成一個字節(jié)長的標簽。2字節(jié) 長的SNALH的實施例表示在圖5中。
SNALH的拓展用途 "SNALH的拓展用途"是指在不同于本發(fā)明上述實施例的各種目的下使 用SNLAH。有"NALH拓展"、"可擴展方法拓展"、"媒體拓展"和"協(xié) 議拓展，，。
"NALH拓展"法保持傳統(tǒng)的NALH格式并增加SNALH。即，在圖4 和圖5中，標簽被附加在具有完整NALH的傳統(tǒng)NALU的前面。根據這個方 法，即使NALH由于增加了 SNALH而變得更大，人們也能夠通過降低解碼 器和MANE中的復雜性來享受SNALH的優(yōu)點。
"可擴展方法拓展"是指允許比傳統(tǒng)標準更多的DTQ組合。由于按傳統(tǒng) 標準用3、 3、 2位來代表D、 T、 Q，所以，可能的層數分別是8、 8、 4。沖艮 據本發(fā)明的實施例，由于標簽是由映射表定義的，所以，如果參與服務的實 體都同意，則層數可以自由拓展。
"媒體拓展"是指將本發(fā)明實施例提出的標簽應用于視頻流之外的媒體 流，例如音頻流。在MVC (多視角視頻編碼)會話中，標簽可被分配給各視 角。此外，標簽可被分配給用于各個視角或者層的FEC(轉發(fā)擦除校正， Forward Erasure Correction )分組流。如果網纟各是分纟且有損型(packet-lossy) 的，則奇偶分組流被轉發(fā)，而在無損網絡中它們被丟棄。
"協(xié)議拓展"是指將上述標簽應用于其他協(xié)議，并進行或者不進行輕微 修改。作為實施例，圖4或者5中的SNALH可以凈皮復制到IPv6頭中20位 長的流標簽以及MPLS中的標簽字段。 保證對H.264/AVC兼容性的方法
圖5中的SNAL兼容于H.264/AVC標準。如果如圖10所示只使用了 14 個標簽，則圖4中的SNALH變成與H.264/AVC標準兼容。如果對于與H,264/AVC相關的14種NAL類型，NRI和F值是固定的，則14個標簽被 確定。所以，上述14個標簽之外的標簽應該用于SVC流之外的流。 對SEI消息的兼容性
通過使用SEI (補充增強信息)消息傳送的Scalability—info和layer—ID 可以用作標簽。在這個情況中，編碼器和解碼器不需要另外的標簽。 <編碼器的實現>
解碼器應該被告知編碼器使用了 SNALH這個信息。該信息可以通過使 用SPS(序列參數集)進行通知。在存儲經編碼序列的情況中，使用了 SNALH 的這個信息應該^皮存J諸。
存儲和傳輸標簽映射表
標簽被分配的個數與視頻流中辨別出的流(NALU組)的數量一樣多。 將流映射到標簽的關系被構建為映射表。映射表被構建為將全部或者部分 NALH組分配給標簽。作為實施例，這個信息可以通過使用SPS或者PPS(圖 像參數集)被傳遞給解碼器。作為實施例，標簽可以是SVC層或者MVC視 角的序列號。
NALH的產生
在每一個NALH中，傳統(tǒng)長度的NALH被SNALH取代。 <解碼器的實現>
解碼器應該被通知編碼器使用了 SNALH這個信息。該信息可以通過使 用SPS進行通知。在播放經編碼序列的情況中，使用了 SNALH這個信息應 該被讀取并正確解析。
構建標簽映射表
在解碼器初始化過程中，編碼器給出的映射被讀取。解碼器初始化視頻 解碼模塊的個數與要進行解碼的流的數量一樣多，并分別建立與標簽的關系。 這時，SVC層和MVC視角之間的引用關系也被建立起來。
NALU處理
一旦接收到NALU，解碼器就解析圖4或圖5中那樣的SNALH，并將 NALU的載荷存儲在對應解碼模塊的緩存中。按照傳統(tǒng)標準，由于在解析并 評估D、 T、 Q值之后解碼模塊的決定變?yōu)榭赡?，所以，傳統(tǒng)標準比本發(fā)明復 雜得多。進行決定的算法描述在圖11中。圖11示出，解碼器只是通過評估 SNALH中的單個標簽，而沒有使用傳統(tǒng)NALH的D、 T、 Q等多個值，就能傳送該載荷給正確的解碼模塊。
< MANE (々某體意識網纟各元件，Media Aware Network Element)的實現> 根據本發(fā)明的實施例，當MANE決定它轉發(fā)哪些流時，MANE依賴于它 的抽取表。因此，根據本發(fā)明的實施例，MANE無需評估P、 D、 T、 Q值， 而是通過使用抽取表中用于每個標簽的l位信息來決定是否丟棄。這個抽取 表是從服務器或者客戶接收到的，或者是在MANE中產生的。MANE可以 具有一個以上的抽取表，與網絡、終端和用戶的差別條件一樣多。對于多播 會話，不同的抽取表被放置在圖12所示的網絡分支中。圖12示出的是，3 個MANE分別具有3個不同的抽取表。這是一個例子。為了簡化起見，標簽 被表示為4位長的值，而且有4個不同的流。例如，在MANE 3中，帶有標 簽OIOI的NALU被丟棄，而帶有標簽1101、 0111和0001的NALU被轉發(fā)。 抽取表的構建
在視頻會話的初始化期間，MANE接收服務器使用SNALH這個信息。 為了構建抽取表，MANE可以從服務器或者客戶接收抽取表，或者可以通過 使用從智能路由器或者無線網絡基站接收的控制信息自己生成抽取表。要轉 發(fā)的層或者視角的類型和范圍，由用戶偏好、終端能力和網絡條件確定。終 端能力包括顯示分辨率和允許的信道帶寬。甚至在服務會話過程中，抽取表 中的抽取策略也可以在用戶偏好、終端能力和網絡條件隨時間改變時被適應 性地修改。這樣的決定策略可取地是從服務器接收的。服務器可以向NAME 發(fā)送修改后的抽取表。
作為圖12中的例子，在對于4個不同層有4個標簽的情況下，服務器向 位于通向HDTV終端路線上的MANE 1發(fā)送1111，使得具有所有標簽的 NALU都被轉發(fā)，而服務器向位于通向移動電話路線上的MANE 2發(fā)送0001 ， 使得只有對應于最低層即基本層的帶標簽0001的NALU被轉發(fā)。同時，月良 務器向位于通向膝上型計算機路線上的MANE 3發(fā)送0111,使得具有3個最 低的標簽的NALU被轉發(fā)。根據本發(fā)明的實施例，最重要位的位"0"或"1" 值指示帶有最高標簽的NALU是否被轉發(fā)，等等。
希望的是，如果在服務會話過程中客戶請求改變服務級別，則服務器發(fā) 送修改后的抽取表。希望的是，如果信道(或者網絡)條件被改變一定數量， 則MANE修改抽取表。但是，如果MANE沒有足夠智能來進行修改，則監(jiān) 視信道條件(可用比特率，分組損耗率)的服務器或者客戶將修改后的抽取
16表發(fā)送給MANE。 抽取過程
如果使用SNALH，則MANE基于SNALH中的標簽決定抽取。但是， 這種方法造成L3 (網絡層)路由器要處理象視頻數據等應用層的負擔，損害 了協(xié)議層之間的獨立性原則。因此，希望將上述標簽插進IPv6頭中的流標簽 中，使得路由器只評估IP頭來決定抽取。
圖3和圖8比較了傳統(tǒng)方法和本發(fā)明實施例之間的抽取決定過程。如圖 3和圖8所示，按照傳統(tǒng)方式，NALU抽取是基于4個值決定的，而在本發(fā) 明中，只基于一個標簽決定。
更詳細地，對于SVC,如果如圖3所示使用傳統(tǒng)方法，則4個值(P、 D、 T、 Q)被解析并被使用，用于進行4步驟抽取決定；而如果如圖8所示使用 本發(fā)明的方法，則不管值的含義如何，MANE都基于一個值即每個NALU的 標簽，機械地決定抽取。在圖8中，步驟S22是一個使用函數B=map[label 1] 決定抽取的例子，這樣，如果值"B"是l，則帶標簽l的NALU被轉發(fā)； 而如果值"B"是0，則帶標簽1的NALU被丟棄。
用于IPv6標簽交換的OoS控制
當我們傳輸通過使用MPEC-2或者H.264編碼的視頻數據時，視頻分組 的重要性相互間是不同的。為了有效控制視頻服務的質量。人們應當辨別視 頻分組重要性的不同。IPv6路由器辨別分組交換模態(tài)和標簽交換模態(tài)等兩種 不同模態(tài)中的不同。就分組交換情況而言，為了選擇對應分組的預定義服務 策略，路由器應該讀取目的地地址、源地址、目的地端口號、源端口號和協(xié) 議等5元組(turple) 。 5元組表示為圖13中的陰影區(qū)域。這樣做使得每個 分組的處理時間長，并且損害了網絡協(xié)議層之間的獨立性原則，因為端口號 是傳輸層的問題。
根據本發(fā)明的實施例，使用標簽交換來解決這個問題。在會話初始化期 間的過程中，臨時標簽被分配，并僅用于該會話。該標簽被插進作為圖14 中陰影區(qū)域的流標簽中。根據該方法，通過僅僅評估IPv6頭中的流標簽，IPv6 能夠識別其中包含每個分組的會話以及每個分組的重要性。這個方法類似于 ATM (異步傳輸模式)或者MPLS (多協(xié)議標簽交換)的分組路由(或交換) 方法。
標簽交換中的標簽包括針對每個分組流的路徑信息和資源信息。在呼叫建立后，每個分組的路徑和重要性通過使用標簽來標識。傳統(tǒng)的分組交換要
求路由器讀取大約600位(包括IPv6頭和^L頻層頭)，而#4居本發(fā)明的實施 例，路由器可以通過評估20位長的流標簽來標識出路徑和重要性。
圖15示出了作為本發(fā)明實施例的IPv6頭中的流標簽的例子。根據圖15， 8位長的路徑標識符被從第5位插進20位中，而8位長的資源標識符(SNALH) 被從第13位插進20位。資源標識符能夠被SNALH取代。如果視頻會話包 括重要性不同的多個分組流，則路徑標識符都是相同的，而資源(或者重要 性)標識符在各流間彼此不同地分配。
標簽交換
在沿著傳輸路徑包括多個MANE的架構中，每個MANE中使用的標簽 可能是不同的。在這個情況下，在前的MANE可能就其標簽與隨后的MANE 使用的標簽交換。這種交換可以在服務器中在傳輸之前、在解析每個NALU 之后進行。
參照僅僅是示例性的實施例對本發(fā)明進行了解釋。對于本領域技術人員 清楚的是，在本發(fā)明中可以作出各種修改和變型，而不會超出本發(fā)明的精神 或者范圍。因此，想要說的是，本發(fā)明覆蓋了這個發(fā)明的修改和變型，只要 這些修改和變型落入了權利要求及其等同物的范圍內。
工業(yè)實用性
本發(fā)明在包含^L頻編碼和解碼的圖象處理領域是有用的。而且，本發(fā)明 還能用于經過通信網絡等等傳輸經編碼視頻，尤其是，本發(fā)明對于分組交換 網絡是有用的。
18
權利要求
1、一種構成網絡提取層單元(NALU)的方法，所述NALU包括NALH(NAL頭)和NAL載荷，其中所述NALH包括指示經編碼數據的重要性的標簽，所述NAL載荷包括所述經編碼數據，其中所述標簽是基于層信息的組合確定的，所述層信息的組合包括所述經編碼數據的優(yōu)先級中的至少一個、空間可擴展級別中的至少一個、時間可擴展級別中的至少一個、以及質量可擴展級別中的至少一個。
2、 如權利要求所述1的方法，其中所述NALH包括指示所述NALU的 類型的字段，或者所述層信息還包括指示所述NALU的類型的字段。
3、 如權利要求1所述的方法，其中所述NALH還包括多個字段，所述 多個字段中的每個分別指示所述經編碼數據的所述優(yōu)先級、所述空間可擴展 級別、所述時間可擴展級別、以及所述質量可擴展級別。
4、 一種用于對輸入視頻進行編碼的方法，所述方法包括下述步驟在多個編碼模塊中根據所述輸入視頻的層信息，從所述輸入視頻生成多 個層的經編碼數據流；基于所述層信息，將用于標識層的標簽映射到所述多個層中所述經編碼 數據所對應的層；以及生成NALU，所述NALU包括具有標簽的NALH以及具有所述經編碼數 據的NAL載荷，其中所述層信息代表所述經編碼數據的空間可擴展級別、時間可擴展級 別和質量可擴展級別的組合。
5、 如權利要求4所述的方法，其中映射表在映射所述標簽的步驟中被使 用，其中在所述映射表中，唯一的標簽被映射到空間可擴展級別、時間可擴 展級別和質量可擴展級別的組合中的每一個。
6、 一種在包括多個解碼模塊的解碼器中處理NALU的方法，每個NALU包括NALH (NAL頭)和NAL載荷，其中所述NALH包括 指示經編碼數據的重要性的標簽，所述NAL載荷包括所述經編碼數據，以及所述解碼器基于所述NALU的標簽確定所述多個解碼模塊中的哪一個解 碼模塊被用來處理所述NALU。
7、 如權利要求6所述的方法，其中所述標簽是基于所述經編碼數據的空間可擴展級別、時間可擴展級別和質量可擴展級別的組合確定的值。
8、 一種根據經編碼數據的層信息確定是否在網絡的中間節(jié)點中轉發(fā)分組 的方法，包括指示經編碼數據的重要性的標簽，所述NAL載荷包括所述經編碼數據， 所述網絡中間節(jié)點從分組抽耳又所述標簽，并且基于所抽取的標簽決定是 否轉發(fā)所述分組，并且所述層信息代表所述經編碼數據的空間可擴展級別、 時間可擴展級別和質量可擴展級別的組合。
9、 如權利要求8所述的方法，其中所述網絡中間節(jié)點包括MANE (J 某 體意識網絡元件)。
10、 如權利要求8所述的方法，其中所述網絡中間節(jié)點使用抽取圖確定 是否轉發(fā)所述分組，并且所述抽取圖具有指示根據所抽取的標簽在預定條件 下是否轉發(fā)所述分組的信息。
11、 如權利要求10所述的方法，其中所述抽取圖的信息由每個標簽1 個位來表示。
12、 如權利要求IO所述的方法，其中所述預定條件包括網絡相關條件、 終端相關條件和用戶相關條件中的至少 一種，所述網絡相關條件包括信道條 件。
13、 如權利要求IO所述的方法，其中所述抽取表由服務器在服務的開始 或者在服務的中間發(fā)送。
14、 如權利要求8所述的方法，其中所述網絡中間節(jié)點包括具有IPv6協(xié) 議的IPv6路由器，所述分組是IPv6分組，并且所述標簽被插入所述IPv6分 組的頭內的流標簽中。
全文摘要
提供了一種用于IPv6標簽交換的NALU(網絡提取層單元)的構建方法及其視頻編碼、QoS控制和解碼的應用算法。根據本發(fā)明的實施例，NALU格式由包括標簽的NALH(網絡提取層頭)和NAL(網絡提取層)載荷構成。這里，標簽基于層信息確定，其中層信息是經編碼數據的空間可擴展級別、時間可擴展級別和質量可擴展級別的組合。解碼器使用標簽來決定多個解碼模塊中的哪一個模塊被用來解碼當前的NAL載荷。而且，標簽可以被包括在分組頭中，從而MANE(媒體意識網絡元件)可以使用標簽來決定是轉發(fā)分組還是丟棄它。例如，通過使用IPv6分組頭中的流標簽字段，分組頭中的標簽可以用于視頻服務的QoS控制。IPv6路由器通過使用20位長的流標簽，可以標識視頻分組的優(yōu)先級，其中NALH中的標簽可以被插入到該流標簽中。根據實施例，MPEG和JVT(聯合視頻組)中采用的MANE可以被有效實現。
文檔編號H04N7/24GK101543018SQ200880000151
公開日2009年9月23日 申請日期2008年1月11日 優(yōu)先權日2007年1月12日
發(fā)明者徐德榮, 樸光勛, 金奎憲 申請人:慶熙大學校產學協(xié)力團