專利名稱：：空間可縮放視頻解碼方法和空間可縮放視頻解碼器的制作方法
技術領域：
：本發(fā)明一般涉及視頻編碼器和解碼器，尤其涉及用于空間可縮^t(scalable)-脫頻編碼和解碼的切片自適應(sliceadaptive)運動向量編碼的方法和裝置。
背景技術：
：人們希望可縮放視頻編碼方案可以不招致同時聯(lián)播編碼的位速率損失地支持不同的應用和解碼器要求。對于應用運動估計和補償消除時間冗余的許多現(xiàn)有可縮放編碼方案，用于編碼運動向量的現(xiàn)有技術措施存在一些缺陷。一般說來，4吏用兩種方法編碼運動向量不可縮力欠運動向量編碼和可縮i欠運動向量編碼。在不可縮放運動向量編碼方案中，以最高增強層的精度編碼運動向量和將運動向量存儲在基本層中。然后，對于較低層，需要下取樣運動向量。在可縮放運動向量編碼方案中，在每個較高層上編碼較低層運動向量的提煉部分，以便編碼運動向量代表那個較高層的運動向量精度。對于總位速率編碼效率，不可縮放運動向量編碼比可縮放運動向量編碼具有更好效率，但是，不可縮放運動向量編碼將運動向量的所有位都放在基本層中。因此，如果要求位速率可縮放性，不可縮放運動向量編碼可以傷害基本層質量。由于不可縮放運動向量編碼需要較低層的下取樣，可以引起基本層不是標準順從的問題。一些解碼器可能無法支持這樣的特征。另一方面，如果像在廣播視頻應用中那樣，不要求位速率可縮放性，而是要求復雜性和總位速率編碼效率，不可縮方文運動向量編碼可以具有更好的編碼效率。在MPEG-2和MPEG-4標準的可縮放性輪廓下，可縮;改性的許多不同方法已得到廣泛研究和標準化，包括SNR可縮放性、空間可縮放性、時間可縮放性、和細?？煽s放性?？煽s放編碼中的大多數(shù)工作都是針對低分辨率層具有有限帶寬的位速率可縮放性的。如圖1所示，典型空間可縮放性系統(tǒng)用附圖標記IOO扭克括表示。該系統(tǒng)100包括4姿收一見頻序列的復雜性可縮放一見頻編碼器110。復雜性可縮放視頻編碼器110的第一輸出端在信號通信中與低帶寬網(wǎng)絡120和與多路復用器130的第一輸入端連接。復雜性可縮》文視頻編碼器110的第二輸出端在信號通信中與多路復用器130的第二輸入端連接。低帶寬網(wǎng)絡120在信號通信中與低分辨率解碼器140的輸入端連接。多路復用器130的輸出端在信號通信中與高帶寬網(wǎng)絡150的輸入端連接。高帶寬網(wǎng)絡150的輸出端在信號通信中與多路分用器160的輸入端連接。多路分用器160的第一輸出端在信號通信中與高分辨率解碼器170的第一輸入端連接，和多路分用器160的第二輸出端在信號通信中與高分辨率解碼器170的第二輸入端連接。低分辨率解碼器140的輸出端可用作系統(tǒng)IOO基本層位流的輸出端，和高分辨率解碼器170的輸出端可用作系統(tǒng)IOO可縮放位流的輸出端。由于在編碼器和解碼器復雜性方面增加相當多，和由于可縮放編碼器的效率通常遠低于不可縮放編碼器的編碼效率，可縮放編碼在實際中還沒有被廣泛采用?？臻g可縮放編碼器和解碼器通常要求高分辨率可縮放編碼器/解碼器提供除在常規(guī)高分辨率編碼器和解碼器中給出的之外的附加功能。在MPEG-2空間可縮放編碼器中，從低分辨率參考畫面中或從高低分辨率參考畫面中判定是否進行預測。MPEG-2空間可縮放解碼器必須能夠從低分辨率參考畫面或高低分辨率參考畫面中預測。MPEG-2空間可縮放編碼器/解碼器需要兩組參考畫面存儲器，一組用于低分辨率畫面，另一種用于高分辨率畫面。圖2示出了根據(jù)現(xiàn)有技術、支持兩個層的低復雜性空間可縮放編碼器200的方塊圖。圖3示出了根據(jù)現(xiàn)有技術、支持兩個層的低復雜性空間可縮放編碼器300的方塊圖。轉到圖2，支持兩個層的空間可縮放視頻編碼器用附圖標記200概括表示。視頻編碼器200包括接收高分辨率輸入視頻序列的下取樣器210。下取樣器210在信號通信中與低分辨率不可縮放編碼器212耦合，低分辨率不可縮放編碼器212在信號通信中又與低分辨率幀存儲器214耦合。低分辨率不可縮放編碼器212輸出低分辨率位流，和在信號通信中進一步與低分辨率不可縮放解碼器220耦合。低分辨率不可縮放解碼器220在信號通信中與上取樣器230耦合，上取樣器230在信號通信中又與可縮;改高分辨率編碼器240耦合。可縮放高分辨率編碼器240還接收高分辨率輸入視頻序列，在信號通信中與高分辨率幀存儲器250耦合，和輸出高分辨率可縮放位流。低分辨率不可縮放編碼器212的輸出端和可縮放高分辨率編碼器240的輸出端可用作空間可縮放視頻編碼器200的輸出端。因此，高分辨率輸入視頻序列被低復雜性編碼器200接收和下取樣，生成低分辨率視頻序列。利用不可縮放低分辨率視頻壓縮編碼器編碼低分辨率視頻序列，生成低分辨率位流。利用不可縮放低分辨率視頻壓縮解碼器解碼低分辨率位流。這種功能可以在編碼器內部執(zhí)行。解碼低分辨率位流被上取樣，作為兩個輸入之一提供給可縮放高分辨率編碼器。可縮放高分辨率編碼器編碼該;現(xiàn)頻，生成高分辨率可縮^:位流。轉到圖3，支持兩個層的空間可縮放視頻解碼器用附圖標記300概括表示。視頻解碼器300包括接收低分辨率位流的低分辨率解碼器360,低分辨率解碼器360在信號通信中與低分辨率幀存儲器362耦合，和輸出低分辨率視頻序列。低分辨率解碼器360在信號通信中進一步與上取樣器370耦合，上取樣器370在信號通信中又與可縮放高分辨率解碼器380耦合?？煽s放高分辨率解碼器380在信號通信中進一步與高分辨率幀存儲器390耦合?？煽s放高分辨率解碼器380接收高分辨率可縮放位流和輸出高分辨率視頻序列。低分辨率解碼器360的輸出端和可縮放高分辨率解碼器380的輸出端可用作空間可縮放視頻解碼器300的輸出端。因此，低復雜性解碼器300接收高分辨率可縮放位流和低分辨率位流。率位流。解碼低分辨率視頻被上取樣，然后輸入高分辨率可縮放解碼器中。高分辨率可縮放解碼器使用一組高分辨率幀存儲器，和生成高分辨率輸出視頻序列。轉到圖4,不可縮放視頻編碼器用附圖標記400概括表示。到視頻編碼器400的輸入端在信號通信中與求和接點410的非反相輸入端連接。求和接點410的輸出端在信號通信中與變換器/量化器420連接。變換器/量化器420的輸出端在信號通信中與熵編碼器440連接。熵編碼器440的輸出端可用作編碼器400的輸出端。變換器/量化器420的輸出端在信號通信中進一步與逆變換器/量化器450連接。逆變換器/量化器450的輸出端在信號通信中與解塊濾波器460的輸入端連接。解塊濾波器460的輸出端在信號通信中與參考畫面存儲器470連接。參考畫面存儲器470的第一輸出端在信號通信中與運動估計器480的第一輸入端連接。到編碼器400的輸入端在信號通信中進一步與運動估計器480的第二輸入端連接。運動估計器480的輸出端在信號通信中與運動補償器490的第一輸入端連接。參考畫面存儲器470的第二輸出端在信號通信中與運動補償器490的第二輸入端連接。運動補償器490的輸出端在信號通信中與求和接點410的反相輸入端連才妄。轉到圖5,不可縮放視頻解碼器用附圖標記500概括表示。視頻解碼器500包括接收^L頻序列的熵解碼器510。熵解碼器510的第一輸出端在信號通信中與逆量化器/變換器520的輸入端連接。逆量化器/變換器520的輸出端在信號通信中與求和接點540的第一輸入端連接。求和接點540的輸出端在信號通信中與解塊濾波器590連接。解塊濾波器590的輸出端在信號通信中與參考畫面存儲器550連接。參考畫面存儲器550在信號通信中與運動補償器560的第一輸入端連接。運動補償器560的輸出端在信號通信中與求和接點540的第二輸入端連接。熵解碼器510的第二輸出端在信號通信中與運動補償器560的第二輸入端連接。解塊濾波器590的輸出端可用作視頻解碼器500的輸出端。人們建議，將H.264/MPEGAVC推廣到使用降低分辨率更新(RRU)模式。RRU模式通過在進行全分辨率畫面的運動估計和補償?shù)耐瑫r，減少要編碼的殘余宏塊(MB)的數(shù)量提高低位速率的編碼效率。轉到圖6,降低分辨率更新(RRU)視頻編碼器用附圖標記600概括表示。到視頻編碼器600的輸入端在信號通信中與求和接點610的非反相輸入端連接。求和接點610的輸出端在信號通信中與下取樣器612的輸入端連接。變換器/量化器620的輸入端在信號通信中與下取樣器612的輸出端或與求和接點610的輸出端連接。變換器/量化器620的輸出端在信號通信中與熵編碼器640連接。熵編碼器640的輸出端可用作視頻編碼器600的輸出端。變換器/量化器620的輸出端在信號通信中進一步與逆變換器/量化器620的輸入端連接。逆變換器/量化器620的輸出端在信號通信中與上取樣器655的輸入端連接。解塊濾波器660的輸入端在信號通信中與逆變換器/量化器620的輸出端或與與上取樣器655的輸出端連接。解塊濾波器660的輸出端在信號通信中與參考畫面存儲器670的輸入端連接。參考畫面存儲器670的第一輸出端在信號通信中與運動估計器680的第一輸入端連接。到編碼器600的輸入端在信號通信中進一步與運動估計器680的第二輸入端連接。運動估計器680的輸出端在信號通信中與運動補償器690的第一輸入端連接。參考畫面存儲器670的第二輸出端在信號通信中與運動補償器690的第二輸入端連接。運動補償器690的輸出端在信號通信中與求和接點610的反相輸入端連接。轉到圖7，降低分辨率更新(RRU)視頻解碼器用附圖標記700概括表示。視頻解碼器700包括接收視頻序列的熵解碼器710。熵解碼器710的輸出端在信號通信中與逆量化器/變換器720的輸入端連接。逆量化器/變換器720的輸出端在信號通信中與上取樣器722的輸入端連接。上取樣器722的輸出端在信號通信中與求和接點740的第一輸入端連接。求和接點740的輸出端在信號通信中與解塊濾波器790連接。解塊濾波器7卯的輸出端在信號通信中與全分辨率參考畫面存儲器750的輸入端連接。解塊濾波器790的輸出端還可用作視頻解碼器700的輸出端。全分辨率參考畫面存儲器750的輸出端在信號通信中與運動補償器760連接，運動補償器760在信號通信中與求和接點740的第二輸入端連接。人們建議，利用RRU概念設計復雜性可縮放編解碼器。這里為支持兩種不同層次的解碼器復雜性和分辨率的系統(tǒng)提供了一個例子。低分辨率解碼器具有較小的顯示尺寸和具有非常嚴格的解碼器復雜性約束。全分辨率解碼器具有較大的顯示尺寸和較不嚴格但仍然重要解碼器復雜性約束。廣播或多播系統(tǒng)發(fā)送兩種位流，即，位速率BRbase的基本層和位速率BRenhan-的增強層。兩種位流可以多路復用一起，以單種傳輸流發(fā)送。轉到圖8，復雜性可縮放性廣播系統(tǒng)用附圖標記800概括表示。系統(tǒng)800包括復雜性可縮》ij見頻編碼器810。復雜性可縮放視頻編碼器810的第一輸出端在信號通信中與多路復用器820的第一輸入端連接。復雜性可縮^^見頻編碼器810的第二輸出端在信號通信中與多路復用器820的第二輸入端連接。多路復用器320的輸出端在信號通信中與網(wǎng)絡830連接。網(wǎng)絡830的輸出端在信號通信中與第一多路分用器840的輸入端和與第二多路分用器860的輸入端連接。第一多路分用器840的輸出端在信號通信中與低分辨率解碼器850的輸入端連接。第二多路分用器860的第一輸出端在信號通信中與全分辨率解碼器870的第一輸入端連接。第二多路分用器860的第二輸出端在信號通信中與全分辨率解碼器870的第二輸入端連接。低分辨率解碼器850的輸出端可用作系統(tǒng)800基本層位流的輸出端，和全分辨率解碼器870的輸出端可用作系統(tǒng)800可縮放位流的輸出端。低分辨率解碼器850只處理基本層位流，而全分辨率解碼器870處理基本層位流和增強層位流兩者。RRU用在可以在解碼器上以不同復雜性解碼成低分辨率和高分辨率序列兩者的基本層中。增強層位流包括加入利用全分辨率運動補償完成、解碼基本層位流的結果中的全分辨率誤差信號。增強層的位速率可以結束在比基本層的位速率低的位速率上，這不同于基本層位速率與增強層位速率相比通常較小的典型空間可縮放性情況。全分辨率誤差信號未必每個編碼宏塊或切片/畫面都發(fā)送。
發(fā)明內容現(xiàn)有技術的這些和其它缺點和不足可以通過本發(fā)明解決，本發(fā)明的目的在于提供用于空間可縮放-f見頻編碼和解碼的切片自適應運動向量編碼的方法和裝置。根據(jù)本發(fā)明的一個方面，提供了用于空間可縮放視頻編碼的方法。該方法包括逐個切片地在運動向量的可縮放編碼和不可縮;改編碼之間選擇。根據(jù)本發(fā)明的另一個方面，提供了空間可縮放視頻編碼器。該空間可縮放視頻編碼器包括逐個切片地進行運動向量的可縮放編碼和不可縮;改編碼之間的選擇的編碼器。根據(jù)本發(fā)明的又一個方面，提供了用于位流的空間可縮》文#見頻解碼的方法。該方法包括根據(jù)位流首標中的語法字段，確定使用編碼在位流中的運動向量還是使用運動向量除以縮放因子的商。根據(jù)本發(fā)明的再一個方面，提供了用于解碼位流的空間可縮放^見頻解碼器。該可縮放視頻解碼器包括根據(jù)位流首標中的語法字段，確定使用編碼在位流中的運動向量還是使用運動向量除以縮放因子的商的解碼器。通過結合附圖對本發(fā)明的示范性實施例進行如下詳細描述，本發(fā)明的這些和其它方面、特征和優(yōu)點將變得顯而易見。本發(fā)明可以按照如下示范性圖形得到更好理解，其中圖1示出了根據(jù)現(xiàn)有技術的典型空間可縮放性系統(tǒng)的方塊圖2示出了根據(jù)現(xiàn)有技術、支持兩個層的空間可縮放編碼器的方塊圖3示出了根據(jù)現(xiàn)有技術、支持兩個層的空間可縮放解碼器的方塊圖4示出了根據(jù)現(xiàn)有技術、在H.264/MPEGAVC標準下使用的常規(guī)不可縮放視頻編碼器的方塊圖5示出了根據(jù)現(xiàn)有技術、在H.264/MPEGAVC標準下使用的常規(guī)不可縮放視頻解碼器的方塊圖7示出了根據(jù)現(xiàn)有技術的降低分辨率更新(RRU)視頻解碼器的方塊圖；圖8示出了根據(jù)現(xiàn)有技術的復雜性可縮放性廣播系統(tǒng)的方塊性可縮放視頻解碼器的方塊圖10示出了按照本原理實施例的可以應用本原理的示范性高分辨率復雜性可縮放視頻解碼器的方塊圖11示出了按照本原理實施例的可以應用本原理的示范性復雜性可縮放視頻編碼器的方塊圖12示出了有關按照本原理示范性實施例的復雜性可縮放性的圖形；圖13示出了按照本原理的空間可縮放視頻編碼器的自適應運動向量編碼的一種示范性方法的流程圖14示出了按照本原理的空間可縮放視頻編碼器的自適應運動向量編碼的另一種示范性方法的流程圖15示出了按照本原理的空間可縮放視頻編碼器的自適應運動向量編碼的又一種示范性方法的流禾呈圖16A示出了按照本原理的空間可縮放視頻解碼器的分析切片首標的示范性方法的流程圖；和圖16B示出了按照本原理的空間可縮放視頻解碼器的運動向量解碼的示范性方法的流程圖。具體實施例方式本發(fā)明的目的在于提供用于空間可縮放視頻編碼和解碼的切片自適應運動向量編碼的方法和裝置。也就是說，在運動向量的可縮放編碼和不可縮放編碼之間進行切片自適應選擇。應該認識到，這里^f吏用的"運動向量的可縮放編碼"指的是在每個較高層上編碼較低層運動向量的提煉部分，以便編碼運動向量代表那個較高層的運動向量精度。應該認識到，切片自適應選擇可以基于包括(但不局限于)基本層兼容性、位速率可縮放性、總位速率編碼效率和復雜性的考慮。在已知這里提供的本原理的教義的情況下，這些和其它考慮也可以在保持本原理范圍的同時按照本原理實現(xiàn)。在應用運動估計和補償消除時間冗余的大多數(shù)可縮放視頻編碼方案中，應該對為運動向量編碼采取的措施給予適當考慮。按照本原理，提供了允許在空間可縮放視頻編碼器和/或解碼器的不可縮放運動向量和可縮放運動向量之間作出自適應選擇的方法和裝置。這里公開的方法和裝置可以為總位速率編碼效率、位速率或復雜性可縮放和解碼器要求提供更好的折衷。本描述例示了本發(fā)明的原理。應該認識到，本領域的普通技術人員能夠設計出盡管這里未明確描述或示出，但體現(xiàn)本發(fā)明原理和包括在本發(fā)明的精神和范圍內的各種各樣布置。這里敘述的所有例子和條件語言旨在幫助讀者理解本發(fā)明人為推動技術進步而貢獻的本發(fā)明的原理和概念，而不應該理解為局限于這樣具體敘述的例子和條件。此外，這里敘述本發(fā)明的原理、方面和實施例，以及本發(fā)明的特例的所有語句旨在包含它們的結構和功能兩者的等效物。另外，這樣的等效物旨在包括當前已知的等效物，以及未來開發(fā)的等效物，即，開發(fā)出來與結構無關地執(zhí)行相同功能的任何單元。因此，例如，本領域的普通技術人員應該認識到，這里給出的方塊圖代表體現(xiàn)本發(fā)明原理的例示性電路的概念圖。類似地，應該認識到，任何流程圖、作業(yè)圖、狀態(tài)轉變圖、偽代碼等都代表基本上可以表示在計算機可讀媒體中，因此可以由計算機或處理器執(zhí)行，無論這樣的計算機或處理器是否明確示出的進程。如圖所示的各種單元的功能可以通過與適當軟件相聯(lián)系使用專用硬件以及能夠執(zhí)行軟件的硬件來提供。當由處理器提供時，這些功能可以由單個專用處理器，由單個共享處理器，或由其中一些可以共享的數(shù)個單獨處理器提供。此外，明確地使用術語"處理器"或"控制器"不應該理解為唯一地指能夠執(zhí)行軟件的硬件，也可以隱含地包括數(shù)字信號處理器("DSP")硬件、存儲軟件的只讀存儲器("ROM")、隨機訪問存儲器("RAM")、和非易失性存儲設備(不限于這些)。也可以包括其它硬件，傳統(tǒng)的和/或定制的。類似地，如圖所示的開關只是概念性的。它們的功能可以通過操作程序邏輯、通過專用邏輯、通過程序邏輯和專用邏輯的相互作用，或甚至人工實現(xiàn)，正如從上下文中更準確理解的那樣，具體的技術可由實現(xiàn)者選擇。在本發(fā)明的權利要求書中，表達成執(zhí)行特定功能的工具的任何單元旨在包含執(zhí)行那種功能的任何方式，包括a)執(zhí)行那種功能的電路單元的組合或b)任何形式的軟件，因此，包括與執(zhí)行那種軟件的適當電路結合執(zhí)行那種功能的固件、微碼等。如通過這樣權利要求書定義的發(fā)明基于以權利要求書要求的方式將各種所述工具提供的功能組合和聚集在一起的事實。因此認為，可以提供那些功能的任何工具都等效于這里所示的那些。如上所述，本原理的目的在于提供支持空間可縮放視頻編碼和/或解碼的基于切片自適應判決運動向量(MV)編碼的方法和裝置。應該認識到，為了例示的目的，這里參照國際電信聯(lián)盟的電信部分(ITU-T)H.264標準(下文稱為"H.264標準，，)描述按照本原理的方法和裝置。但是，應該認識到，按照本原理的實現(xiàn)不只局限于H.264標準，因此，按照本原理，也可以應用其它視頻編碼和解碼標準。也就是說，在已知這里提供的本原理的教義的情況下，本領域的普通技術人員可以在保持本原理范圍的同時，設想出與H,264標準以及與其它;f見頻編碼和解碼標準有關的本發(fā)明原理的應用。轉到圖9，低分辨率復雜性可縮放視頻解碼器用附圖標記900概括表示。視頻解碼器900包括接收^f見頻序列的熵解碼器910。熵解碼器910的第一輸出端在信號通信中與逆量化器/變換器920的輸入端連接。逆量化器/變換器920的輸出端在信號通信中與求和接點940的第一輸入端連接。求和接點940的輸出端在信號通信中與解塊濾波器990連接。解塊濾波器990的輸出端在信號通信中與參考畫面存儲器950的輸入端連接。解塊濾波器990的輸出端也可用作視頻解碼器900的輸出端。參考畫面存儲器950的輸出端在信號通信中與運動補償器960的第一輸入端連接。運動補償器960的輸出端在信號通信中與求和接點940的第二輸入端連接。熵解碼器910的第二輸出端在信號通信中與運動向量(MV)分辨率降低器999的輸入端連接。MV分辨率降低器999的輸出端在信號通信中與運動補償器960的第二輸入端連接。在解碼器900中，熵解碼基本層位流。運動向量凈皮縮;改和四舍五入，將它們的精度降低成與低分辨率相對應。這種低分辨率可縮放解碼器的復雜性與不可縮放解碼器的復雜性非常類似，因為運動向量的縮;改具有非常^f氐的復雜性。如果將因子2用在低分辨率和全分辨率之間每維的分辨率比中，那么，視在系統(tǒng)中選4奪向上舍入還是向下舍入而定，可以只有右移或相加和右移地實現(xiàn)四舍五入。轉到圖10，高分辨率復雜性可縮放視頻解碼器用附圖標記1000概括表示。視頻解碼器1000包括接收基本層位流的第一熵解碼器1005。第一熵解碼器1005的輸出端在信號通信中與第一逆量化器/變換器1010的輸入端連接。第一逆量化器/變換器1010的輸出端在信號通信中與上取樣器1015的輸入端連接。上取樣器1015的輸出端在信號通信中與第一求和接點1020的第一輸入端連接。第一求和接點1020的輸出端在信號通信中與第二求和接點1025的第一輸入端連接。全分辨率參考畫面存儲器1030的輸出端在信號通信中與運動補償器1035的第一輸出端連接。熵解碼器1005的第二輸出端(輸出運動向量(MV))在信號通信中與運動補償器1035的第二輸入端連接。運動補償器1035的輸出端在信號通信中與第一求和接點1020的第二輸入端連^:。第二熵解碼器1040的輸入端用于接收增強層位流。第二熵解碼器1040的輸出端在信號通信中與第二逆量化器/變換器1045的輸入端連接。第二逆量化器/變換器1045的輸出端在信號通信中與第二求和接點1025的第二輸入端連接。到解塊濾波器1050的輸入端在信號通信中與第一求和接點1020的輸出端或與第二求和接點1025的輸出端連接。。解塊濾波器1050的輸出端在信號通信中與全分辨率參考畫面存儲器1030的輸入端連接。解塊濾波器1050的輸出端也可用作視頻解碼器1000的輸出端。解碼器1000對基本層位流操作的部分與RRU解碼器類似。在熵解碼以及逆量化和逆變換之后，上取樣殘余部分。將運動補償應用于全分辨率參考畫面形成全分辨率預測部分，并且將上取樣殘余部分加入預測部分中。如果在增強層位流中存在全分辨率誤差信號，對它進行熵解碼以及逆量化和變換，然后加入RRU重構信號中。然后應用解塊濾波器。轉到圖11，復雜性可縮放視頻編碼器用附圖標記1100概括表示。到視頻編碼器1100的輸入端在信號通信中與第一求和接點1105的非反相輸入端連接。第一求和接點1105的輸出端在信號通信中與下取樣器1112的輸入端連接。下取樣器1112的輸出端在信號通信中與第一變換器/量化器1115的輸入端連接。第一變換器/量化器1115的輸出端在信號通信中與第一熵編碼器1120的輸入端連接。第一熵編碼器1120的輸出端可用作編碼器1100基本層位流的輸出端。第一變換器/量化器1115的輸出端在信號通信中進一步與第一逆變換器/量化器1125的輸入端連接。第一逆變換器/量化器1125的輸出端在信號通信中與上取樣器1155連接。上取樣器1155的輸出端在信號通信中與第二求和接點1160的反相輸入端和與第三求和接點1165的第一非反相l(xiāng)lr入端連接。到視頻編碼器1100的輸入端在信號通信中進一步與第二求和接點1160的非反相輸入端連接。第二求和接點1160的輸出端在信號通信中與開關1162的輸入端連接。開關1162的輸出端在信號通信中與到第二變換器/量化器1170的輸入端連接。第二變換器/量化器1170的輸出端在信號通信中與第二熵編碼器1175的輸入端連接。第二熵編碼器1175的輸出端可用作編碼器1100增強層位流的輸出端。第二變換器/量化器1170的輸出端在信號通信中進一步與第二逆變換器/量化器1180的輸入端連接。第二逆變換器/量化器1180的輸出端在信號通信中與第三求和接點1165的第二非反相輸入端連接。到視頻編碼器1100的輸入端在信號通信中還進一步與運動估計器1185的第一輸入端連接。運動估計器1185的輸出端在信號通信中與運動補償器1190的第一輸入端連接。運動補償器ll卯的輸出端在信號通信中與第一求和接點1105的反相輸入端連接。全分辨率參考畫面存儲器1192的第一輸出端在信號通信中與運動估計器1185的第二輸入端連接。全分辨率參考畫面存儲器1192的第二輸出端在信號通信中與運動補償器1190的第二輸入端連接。全分辨率參考畫面存儲器1192的輸入端在信號通信中與解塊濾波器1195連接。解塊濾波器1195的輸入端在信號通信中與開關1191的輸出端連接。開關1191的另一個輸入端在信號通信中與第三求和接點165的輸出端連接。編碼器IIOO試圖優(yōu)化全分辨率視頻質量，而不是j氐分辨率3見頻質量。對全分辨率視頻畫面進行運動估計。在從輸入畫面中減去運動補償預測部分之后，下取樣預測殘余部分。與RRU編解碼器不同，將下取樣應用于所有畫面，以便低分辨率解碼器可以總是含有要解碼的畫面。變換和量化、和熵編碼下取樣殘余部分。這樣就形成了基本層位流。應用逆量化器和逆變換器，然后將編碼殘余部分上取樣回到全分辨率。編碼器1100可以選擇是否發(fā)送畫面或切片的增強層全分辨率誤差信號。一般說來，為所有I切片編碼增強層全分辨率誤差信號，并且，當全分辨率輸入畫面減去解碼上取樣畫面時，可以根據(jù)誤差信號的幅度可選地為P和B切片發(fā)送增強層全分辨率誤差信號。如果要編碼增強層全分辨率誤差信號，從輸入全分辨率畫面中減去編碼基本層上取樣編碼畫面。然后，量化、變換和熵編碼該差值，形成增強層位流。增強層位流可以看作只包含內部編碼切片。因此，在這種基于RRU復雜性可縮放視頻編碼方案中，不可縮放編碼運動向量。轉到圖12，按照本發(fā)明原理的復雜性可縮放性用附圖標記1200概括表示。復雜性可縮放性1200牽涉到基本層1210和增強層1220。牽涉的畫面類型包4舌I畫面1230、P畫面1240、EI畫面1250、EP畫面1260、和EB畫面1270。兩層中的P畫面1240從相同位流中但利用不同解碼技術解碼。應該認識到，這里按照本發(fā)明原理針對編碼和/或解碼視頻信號數(shù)據(jù)所述的方法，例如，圖13、14、15、16A、和16B在這里凈皮描述成例示本原理的各個示范性方面。但是，應該進一步認識到，為了清楚和簡潔起見，可能省略了與編碼和/或解碼有關的一些已知和/或容易確定步驟。轉到圖13，用于空間可縮放視頻編碼器的自適應運動向量編碼的一種示范性方法用附圖標記1300概括表示。開始塊1305開始基本層編碼，并且將控制傳遞給判決塊1310。判決塊1310才艮據(jù)，例如，應用和/或解碼器準則(例如，要使用的粗粒(coarse)可縮放性)，逐個切片地確定是否利用不可縮放編碼(或可縮放編碼)編碼運動向量。如果不是，那么將控制傳遞給功能塊1315。否則，將控制傳遞給功能塊1325。B運動向量編碼成不可縮放的，并且將控制傳遞給功能塊1320。功能塊1320在P切片首標中等于0和在B切片首標中將non—scalable—mv—coding—flagi殳置成等于1。功能塊1325將P和B運動向量編碼成不可縮放的，并且將控制傳遞給功能塊1330。功能塊1330在P和B切片首標兩者中將non一scalable—mv一coding—flag設置成都等于1。轉到圖14，用于空間可縮放;見頻編碼器的自適應運動向量編碼的另一種示范性方法用附圖標記1400概括表示。開始塊1405開始基本層編碼，并且將控制傳遞給功能塊1410。功能塊1410進行速率失真(RD)判決，以確定可縮放編碼還是不可縮i文編碼運動向量(MV),并且將控制傳遞給判決塊1415。判決塊1415確定是否使用粗?？煽s放性。如果不是，那么，將控制傳遞給功能塊1420。否則，將控制傳遞給功能塊1425。功能塊1420在切片首標中將non—scalable—mv—coding—flag設置成等于0。功能塊1425在切片首標中將non—scalable—mv_coding—flag設置成等于1。轉到圖15，用于空間可縮方文^L頻編碼器的自適應運動向量編碼的又一種示范性方法用附圖標記1500概括表示。開始塊1505開始基本層編碼，并且將控制傳遞給功能塊1510。功能塊1510將基本層切片的運動向量編碼成不可縮放的,并且將控制傳遞給功能塊1515。功能塊1515在切片首標中將non—sealable—mv—coding—flag設置成等于1。轉到圖16A，用于空間可縮放視頻解碼器的運動向量解碼的示范性方法用附圖標記1600概括表示。圖16A的方法1600涉及按照本原理分析切片首標》開始塊1605開始基本層解碼，并將控制傳遞給判決塊1610。判決塊1610確定Profile—idc==XX&&slicejype!=I—SLICE&&slicejype!=SI—SLICE是否成立。如果是，那么，將控制傳遞給功能塊1615。否則，將控制傳遞給功能塊1620。功能塊1615分析non—scalable—mv—coding—flag,并且將控制傳遞給功能塊1620。功能塊1620分析切片首標的其它單元。轉到圖16B，用于空間可縮放視頻解碼器的分析切片首標的示范性方法用附圖標記1650概括表示。圖16B的方法1650涉及按照本原理解碼宏塊運動向量。開始塊1655開始基本層解碼，并且將控制傳遞給判決塊1660。判決塊1660確定non—scalable_mv—coding—flag是否等于1。如果是，那么，將控制傳遞給功能塊1665。否則，將控制傳遞給功能塊1670。功能塊1665用2縮放運動向量，以便Mvl—O[mbPartldx][subMbPartldx]=(mvl—0+1)>〉1Mvl一l[mbPartldx][subMbPartldx]=(mvl—1+1)1,并且將控制傳遞給功能塊1670。功能塊1670繼續(xù)解碼宏塊。對于現(xiàn)有H.264標準，如與H.264切片首標有關的表1所示，加入一個語法單元non—scalable—mv—coding—flag?？梢酝茰y，在例如(但不局限于)H.264標準的未來輪廓下，可以支持參照表1所述的特征。按照本原理，編碼器可以，例如，逐個切片地或逐個幀地才艮據(jù)，例如，向后兼容性和編碼效率要求決定可縮放還是不可縮放編碼運動向量。應該認識到，在已知這里提供的本原理的教義的情況下，也可應用其它基礎和其它要求在保持本原理范圍的同時，進行利用可縮放編碼或不可縮放編碼的編碼運動向量之間的自適應選擇。表1<table>tableseeoriginaldocumentpage17</column></row><table><table>tableseeoriginaldocumentpage18</column></row><table><table>tableseeoriginaldocumentpage19</column></row><table>當non—scalable—mv—coding—flag等于1時，這代表對于最高增強層，不可縮放編碼運動向量(MV)。對于較低層，需要下取樣MV,在假設兩層空間可縮;故性的情況下，這可以通過加1和右移1位實現(xiàn)。H,264標準下的相互預測處理7>式{奮改成如下Mvl—0[mbPartldx][subMbPartldx]=(mvl_0+l)l(8-112)Mvl—l[mbPartldx][subMbPartldx]=(mvl—1+1)1(8-113)當nonscalable—mv—coding—flag等于0時，這代表可縮放編碼MV。在增強層中，將基本層MV上取樣和用作預測因子，或將相同層中的相鄰MV用作預測因子。按照本原理，MV可以凈皮最佳地編碼成適合，例如，不同應用和解碼器要求。在按照本原理、下面也參照圖13所述的一個例子中，如果對于解碼器，希望基本層R264兼容性，那么，可以根據(jù)可縮放性的粗粒度選擇MV編碼。如果對于基本層，只希望粗?？煽s放性或低幀速率，那么，解碼器可以只解碼I切片。然后，可以將不可縮方丈MV編碼用于P和B切片兩者。如果所需幀速率較高，那么，可以利用可縮》丈運動向量編碼P切片和可以利用不可縮》文運動向量編；馬B切片。在按照本原理、下面也參照圖14所述、希望位速率可縮放性的另一個例子中，編碼器可以利用速率失真優(yōu)化方法選擇如何編碼運動向量。如果解碼器對于基本層解碼，丟掉(drop)B切片，而編碼器在基本層中編碼P和B切片兩者，那么，編碼器可以將可縮放運動向量編碼用于P切片，而將不可縮放運動向量編碼用于B切片，以提高總編碼效率。在按照本原理、下面也參照圖15所述、和目的在于復雜性可縮放編碼的第三個例子中，由于總位速率編碼效率和復雜性是所關心的，所以為P和B切片兩者選擇不可縮放運動向量編碼，或將可縮放運動向量編碼用于P切片，而將不可縮放運動向量編碼用于B切片。可替代地，可以將可縮放運動向量編碼用于P切片的一個子集，而將不可縮放運動向量編碼用于其余P切片。第三個例子的一種可能實現(xiàn)顯示在表2中。表2例示了示范性運動向量編碼。根據(jù)與上面第三個例子相對應的表2的例示性實施例，在基本層中，可縮放運動向量編碼所有P畫面，但在增強層中，不可縮放運動向量編碼所有P畫面。表2<table>tableseeoriginaldocumentpage20</column></row><table>在按照本原理組合可縮放運動向量編碼和不可縮》文運動向量編碼的另一種實現(xiàn)中，如果支持不止2層空間可縮放性，可縮放運動向量編碼可以用于基本層，而不可縮放運動向量編碼可以用于較高增強層?，F(xiàn)在對本發(fā)明的許多附帶優(yōu)點/特征的一些加以描述。例如，一個優(yōu)點/特征是包括逐個切片地進行運動向量的可縮方文編碼和不可縮》文編碼之間的選擇的編碼器的空間可縮放視頻編碼器。另一個優(yōu)點/特征是如上所述的空間可縮放視頻編碼器，其中，編碼器根據(jù)預定應用和用于隨后解碼位流的解碼器的至少一個的準則進行選擇。此外，另一個優(yōu)點/特征是如上所述的根據(jù)準則進行選擇的空間可縮放視頻編碼器，其中，當解碼器準則規(guī)定基本層順從解碼時，編碼器根據(jù)基本層解碼的解碼器指定可縮放性細度水平進行選擇。并且，另一個優(yōu)點/特征是如上所述的根據(jù)解碼器準則和基本層解碼的解碼器指定可縮放性細度水平進行選擇的空間可縮放視頻編碼器，其中，編碼器進行這樣的選擇，致使不可縮放編碼P和B切片兩者中的運動向量，或只不可縮^L編碼B切片中的運動向量，而可縮;^文編碼P切片中的運動向量。此外，另一個優(yōu)點/特征是如上所述的根據(jù)準則進行選擇的空間可縮放視頻編碼器，其中，當解碼器準則規(guī)定位速率可縮放性時，編碼器利用速率失真優(yōu)化方法進行選擇。另外，另一個優(yōu)點/特征是如上所述的根據(jù)準則和利用速率失真優(yōu)化方法進行選擇的空間可縮放視頻編碼器，其中，編碼器進行這樣的選擇，致使當空間可縮放視頻編碼器在基本層中編碼B切片和解碼器被配置成丟掉B切片時，不可縮放編碼B切片中的運動向量。此外，另一個優(yōu)點/特征是如上所述的根據(jù)準則進行選擇的空間可縮放視頻編碼器，其中，當空間可縮放視頻編碼器的編碼準則包括總位速率編碼效率和復雜性時，編碼器進行這樣的選擇，致使不可縮放編碼P和B切片兩者中的運動向量，或只不可縮放編碼B切片中的運動向量，而可縮放編碼P切片中的運動向量。并且，另一個優(yōu)點/特征是如上所述的根據(jù)準則進行選擇的空間可縮放視頻編碼器，其中，當空間可縮放視頻編碼器支持不止2層空間可縮放性時，編碼器進行這樣的選擇，致使將可縮放運動向量編碼應用于基本層的運動向量，而將不可縮放運動向量編碼應用于所有增強層的運動向量。此外，另一個優(yōu)點/特征是如上所述的空間可縮放視頻編碼器，其中，編碼器在切片首標中加入指示可縮放編碼還是不可縮放編碼切片中的運動向量的語法字段。另外，另一個優(yōu)點/特征是解碼位流的空間可縮放視頻解碼器，其中，空間可縮放視頻解碼器包括根據(jù)位流首標中的語法字段確定^f吏用編碼在位流中的運動向量還是使用運動向量除以縮放因子的商的解碼器。本領域的普通技術人員可以根據(jù)這里的教義容易地弄清本發(fā)明的這些和其它特征和優(yōu)點。應該明白，本發(fā)明的教義可以以硬件、軟件、固件、專用處理器或它們的組合的各種形式實現(xiàn)。更可取的是，將本發(fā)明的教義實現(xiàn)成硬件和軟件的組合。此外，該軟件可以實現(xiàn)成有形地具體化在程序存儲單元上的應用程序。該應用程序可以上載到包含任何適當結構的機器和由它執(zhí)行?？扇〉?，該機器在含有像一個或多個中央處理單元("CPU")、隨機訪問存儲器("RAM")、和輸入/輸出"I/O")接口那樣的硬件的計算機平臺上實現(xiàn)。該計算機平臺還可以包括操作系統(tǒng)和微指令代碼。這里所述的各種各樣進程和功能可以是可由CPU執(zhí)行的一部分微指令代碼或一部分應用程序，或它們的任何組合。另外，像附加數(shù)據(jù)存儲單元和打印單元那樣的各種其它外圍單元可以與計算^L平臺連接。還應該明白，由于描繪在附圖中的一些分系統(tǒng)部件和方法最好用軟件實現(xiàn)，系統(tǒng)部件或進程功能塊之間的實際連接可能隨編程本發(fā)明的方式而不同。在已知這里的教義的情況下，本領域的普通技術人員能夠設想出本發(fā)明的這些和類似實現(xiàn)或配置。盡管這里參照附圖描述了例示性實施例，但應該明白，本發(fā)明不局限于那些確切實施例，本領域的普通技術人員可以在不偏離本發(fā)明的范圍或精神的前提下對它們作各種各樣的改變和修改。所有這樣的改變和修改都包括在如所附權利要求書限制的本發(fā)明的范圍之內。權利要求1.一種用于位流的空間可縮放視頻解碼的方法，包含根據(jù)位流首標中的語法字段，確定使用編碼在位流中的運動向量還是使用運動向量除以縮放因子的商。2.—種用于解碼位流的空間可縮放視頻解碼器，包含解碼器(1000)，用于根據(jù)位流首標中的語法字段，確定使用編碼在位流中的運動向量還是使用運動向量除以縮放因子的商。全文摘要本發(fā)明提供了空間可縮放視頻編碼器和解碼器、和用于可縮放視頻編碼和解碼的相應方法。用于位流的空間可縮放視頻解碼的方法包含根據(jù)位流首標中的語法字段，確定使用編碼在位流中的運動向量還是使用運動向量除以縮放因子的商。文檔編號H04N7/26GK101662683SQ20091016870公開日2010年3月3日申請日期2006年3月20日優(yōu)先權日2005年4月14日發(fā)明者吉爾·M·博伊斯,澎尹,珀文·B·潘迪特申請人:湯姆森特許公司