可伸縮視頻編碼技術(shù)的制作方法
【專利摘要】所公開的主題提供了用于使用差別模式或像素模式的層間預(yù)測(cè)的技術(shù)。在差別模式中，層間預(yù)測(cè)用來根據(jù)重構(gòu)基本層圖片的至少一個(gè)（上取樣的）樣本預(yù)測(cè)增強(qiáng)層的至少一個(gè)樣本。在像素模式中，沒有重構(gòu)基本層樣本用于增強(qiáng)層樣本的重構(gòu)?？梢允褂每梢允窃鰪?qiáng)層中的編碼單元頭的一部分的標(biāo)志來區(qū)分像素模式和差別模式。
【專利說明】可伸縮視頻編碼技術(shù)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2011 年 6 月 30 日提交的題為 “Scalable Video Coding Technique(可伸縮視頻編碼技術(shù))”的美國(guó)序列號(hào)第61/503，111的優(yōu)先權(quán)，該申請(qǐng)的公開內(nèi)容通過整體引用合并于此。
【技術(shù)領(lǐng)域】
[0003]所公開的主題涉及用于使用基本層和一個(gè)或多個(gè)增強(qiáng)層對(duì)視頻編碼和解碼的技術(shù)，其中對(duì)待重構(gòu)的塊的預(yù)測(cè)使用來自增強(qiáng)層數(shù)據(jù)的信息。
【背景技術(shù)】
[0004]使用可伸縮技術(shù)的視頻壓縮在此處使用的意義上允許數(shù)字視頻信號(hào)以多個(gè)層的形式表示。可伸縮視頻編碼技術(shù)被提議和/或標(biāo)準(zhǔn)化已有多年。
[0005]例如，題為“Information techno1gy-Generic coding of moving pictures and
associated audio information: Video (信息技術(shù)-移動(dòng)圖片和相關(guān)聯(lián)的音頻信息:視頻
的通用編碼)”、版本02/2000 (可從瑞士日內(nèi)瓦20Place des Nationsl211國(guó)際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)的ITU-TRec.H.262，也稱為MPEG-2，在某些方面包括了允許對(duì)一個(gè)基本層和一個(gè)或多個(gè)增強(qiáng)層的編碼的可伸縮編碼技術(shù)。增強(qiáng)層可就諸如增加的幀速之類的時(shí)間分辨率(時(shí)間可伸縮性)、空間分辨率(空間可伸縮性)或在給定幀速和分辨率的質(zhì)量(質(zhì)量可伸縮性，也稱為SNR可伸縮性)而言可以增強(qiáng)基本層。在H.262中，增強(qiáng)層宏塊可以包含對(duì)兩個(gè)輸入信號(hào)加權(quán)的加權(quán)值。第一輸入信號(hào)可以是(在空間增強(qiáng)的情況中經(jīng)提升的)基本層的像素域中的重構(gòu)宏塊數(shù)據(jù)。第二信號(hào)可以是來自使用與未分層的編碼中所使用的重構(gòu)算法基本相同的重構(gòu)算法而創(chuàng)建的增強(qiáng)層比特流的重構(gòu)信息。編碼器可以選擇加權(quán)值并可以改變花費(fèi)在增強(qiáng)層上的比特的數(shù)量(由此改變?cè)鰪?qiáng)層信號(hào)加權(quán)前的保真度)以便優(yōu)化編碼效率。MPEG-2的可伸縮性方案的一個(gè)潛在缺點(diǎn)是，以宏塊級(jí)別的精細(xì)粒度表示的加權(quán)因子可以使用太多的比特來允許增強(qiáng)層的良好編碼效率。另一潛在缺點(diǎn)是，解碼器可以需要使用所提到的兩個(gè)信號(hào)來重構(gòu)單個(gè)增強(qiáng)層宏塊，從而導(dǎo)致與單層解碼相比更多的周期和/或存儲(chǔ)器帶寬。
[0006]ITU Rec.H.263版本2 (1998)及之后版本(可從瑞士日內(nèi)瓦20Place desNationsl211國(guó)際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)也包括了允許時(shí)間、空間和SNR可伸縮性的可伸縮性機(jī)制。具體地，根據(jù)H.263附錄O的SNR增強(qiáng)層是H.263稱為“編碼錯(cuò)誤”的表示，是在基本層的重構(gòu)圖像與源圖像之間計(jì)算的。H.263空間增強(qiáng)層是根據(jù)類似信息使用內(nèi)插過濾器解碼的，除了基本層重構(gòu)圖像在計(jì)算編碼錯(cuò)誤之前已經(jīng)進(jìn)行了上取樣之外。H.263的SNR和空間可伸縮性工具的一個(gè)潛在缺點(diǎn)是，用于對(duì)基本層和增強(qiáng)層二者的編碼、運(yùn)動(dòng)補(bǔ)償和殘留的變換編碼的基本算法可能不適于解決編碼錯(cuò)誤的編碼；相反它涉及對(duì)輸入圖片編碼。
[0007]ITU-T Rec.H.264版本2 (2005)及之后版本(可從瑞士日內(nèi)瓦20Place desNationsl211國(guó)際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)和它們相應(yīng)的ISO-1EC對(duì)應(yīng)物IS0/IEC14496第10部分在其附錄G中包括了稱為可伸縮視頻編碼或SVC的可伸縮性機(jī)制。同樣，盡管H.264和附錄G的可伸縮性機(jī)制包括時(shí)間、空間和SNR可伸縮性(及其它，諸如介質(zhì)粒度可伸縮性)，但用來完成可伸縮編碼的機(jī)制的細(xì)節(jié)與H.262或H.263中使用的那些不同。具體地，SVC不對(duì)那些編碼錯(cuò)誤編碼。它也不添加加權(quán)因子g。
[0008]SVC的空間可伸縮性機(jī)制包含以下用于預(yù)測(cè)的機(jī)制，及其它。第一，空間增強(qiáng)層有基本上所有可用于那些非可伸縮預(yù)測(cè)技術(shù)足夠或有利于對(duì)給定宏塊編碼的情況的非可伸縮編碼工具。第二，當(dāng)在增強(qiáng)層中表示時(shí)，1-BL宏塊類型使用上取樣的基本層樣本值作為當(dāng)前正在解碼的增強(qiáng)層宏塊的預(yù)測(cè)器。存在與使用1-BL宏塊相關(guān)聯(lián)的某些限制，大部分涉及單循環(huán)解碼和關(guān)于節(jié)省解碼器周期，這可以傷害基本層和增強(qiáng)層的編碼性能。第三，當(dāng)對(duì)增強(qiáng)層宏塊表示了殘留層間預(yù)測(cè)時(shí)，基本層殘留信息(編碼錯(cuò)誤)被上取樣并和增強(qiáng)層編碼錯(cuò)誤一起添加到增強(qiáng)層的經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)念A(yù)測(cè)中，以便重新產(chǎn)生增強(qiáng)層樣本。
[0009]空間和SNR可伸縮性可以在如下意義上緊密相關(guān)，即至少在一些實(shí)現(xiàn)中和對(duì)一些視頻壓縮方案和標(biāo)準(zhǔn)而言，SNR可伸縮性可以看作在X和Y維度中都有為I的空間伸縮因子的空間可伸縮性，而空間可伸縮性可以通過例如每個(gè)維度中1.5到2.0的因子將基本層的圖片大小增強(qiáng)到更大的格式。由于此密切相關(guān)性，此后僅描述空間可伸縮性。
[0010]由于非可伸縮規(guī)范基礎(chǔ)的不同術(shù)語和/或不同編碼工具以及用于實(shí)現(xiàn)可伸縮性的不同工具，全部三個(gè)前述標(biāo)準(zhǔn)中的空間可伸縮性的規(guī)范自然地不同。然而，配置為對(duì)基本層和一個(gè)增強(qiáng)層編碼的可伸縮編碼器的一個(gè)示例性實(shí)施策略是，包括兩個(gè)編碼循環(huán)，一個(gè)用于基本層，另一個(gè)用于增強(qiáng)層。可以通過添加更多編碼循環(huán)來添加附加的增強(qiáng)層。相反地，可伸縮解碼器可以通過基本解碼器和一個(gè)或多個(gè)增強(qiáng)解碼器實(shí)現(xiàn)。這已經(jīng)在例如 Dugad, R 和 Ahuja, N 的 “A Scheme for Spatial Scalability Using NonscalableEncoders (使用非可伸縮編碼器的空間可伸縮性的方案)” (IEEE CSVT卷13N0.10，2003年10月)中討論過了，該方案通過整體引用結(jié)合于此。
[0011]參考圖1，示出了這樣的示例性現(xiàn)有技術(shù)的可伸縮編碼器的框圖。它包括視頻信號(hào)輸入(101)、下取樣單元(102)、基本層編碼循環(huán)(103)、可以是基本層編碼循環(huán)的一部分但也可以充當(dāng)對(duì)參考圖片上取樣單元(105)的輸入的基本層參考圖片緩沖區(qū)(104)、增強(qiáng)層編碼循環(huán)(106 )和比特流生成器(107 )。
[0012]視頻信號(hào)輸入(101)可以接收任何適合的數(shù)字格式的待編碼的視頻，例如根據(jù)ITU-R Rec.BT.601 (1982 年 3 月)(可從瑞士 日內(nèi)瓦 20Place des Nationsl211 國(guó)際電信聯(lián)盟(ITU)獲得并通過整體引用結(jié)合于此處)的格式。術(shù)語“接收”可以涉及預(yù)處理步驟，諸如過濾、重取樣成例如預(yù)期的增強(qiáng)層空間分辨率和其它操作。此處假定輸入信號(hào)的空間圖片大小與增強(qiáng)層的空間圖片大小相同。輸入信號(hào)可以以耦合到視頻信號(hào)輸入的增強(qiáng)層編碼循環(huán)(106)中的未修改格式(108)使用。
[0013]耦合到視頻信號(hào)輸入的還可以是下取樣單元(102)。下取樣單元(102)的目的是將增強(qiáng)層分辨率的由視頻信號(hào)輸入(101)接收的圖片下取樣成基本層分辨率。視頻編碼標(biāo)準(zhǔn)和應(yīng)用限制可以對(duì)基本層分辨率設(shè)置限制。例如，H.264/SVC的可伸縮基線框架允許X和Y兩維度中1.5或2.0的下取樣率。2.0的下取樣率意味著下取樣的圖片僅包括未下取樣的圖片樣本的四分之一。在前述的視頻編碼標(biāo)準(zhǔn)中，可以獨(dú)立于上取樣機(jī)制而自由地選擇下取樣機(jī)制的細(xì)節(jié)。作為對(duì)比，前述視頻編碼標(biāo)準(zhǔn)規(guī)定了用于上取樣的過濾器，以便避免增強(qiáng)層編碼循環(huán)(105)中的漂移。
[0014]下取樣單元(102)的輸出是由視頻信號(hào)輸入所產(chǎn)生的圖片的下取樣版本(109)。
[0015]基本層編碼循環(huán)(103)收取由下取樣單元(102)產(chǎn)生的下取樣圖片并將它編碼進(jìn)基本層比特流(I 10)。
[0016]許多視頻壓縮技術(shù)在其它因素之外依賴于圖片間預(yù)測(cè)技術(shù)以達(dá)到高壓縮效率。圖片間預(yù)測(cè)允許在對(duì)當(dāng)前圖片的解碼中使用涉及一個(gè)和多個(gè)先前解碼(或另外地處理)的圖片(稱為參考圖片)的信息。圖片間預(yù)測(cè)機(jī)制的示例包括運(yùn)動(dòng)補(bǔ)償，其中在重構(gòu)期間將來自先前解碼的圖片的像素塊在根據(jù)運(yùn)動(dòng)向量移動(dòng)之后復(fù)制或另外地采用；或殘留編碼，其中代之以對(duì)像素值解碼，參考圖片的(在一些情況中包括運(yùn)動(dòng)補(bǔ)償)的像素和重構(gòu)的像素值之間的潛在量化差別包含在比特流中并用于重構(gòu)。圖片間預(yù)測(cè)是可以啟用現(xiàn)代視頻編碼中的良好編碼效率的關(guān)鍵技術(shù)。
[0017]相反地，編碼器還可以在它的編碼循環(huán)中創(chuàng)建參考圖片。
[0018]當(dāng)在非可伸縮編碼中使用參考圖片與圖片間預(yù)測(cè)有特定相關(guān)性時(shí)，在可伸縮編碼的情況中參考圖片還可以對(duì)跨層預(yù)測(cè)相關(guān)?？鐚宇A(yù)測(cè)可以涉及使用基本層的重構(gòu)圖片和其它基本層參考圖片來作為增強(qiáng)層圖片的預(yù)測(cè)中的參考圖片。此重構(gòu)圖片或參考圖片可以與用于圖片間預(yù)測(cè)的參考圖片相同。然而，即使基本層是以諸如僅圖片內(nèi)編碼之類的不使用可伸縮編碼、不要求參考圖片的方式編碼的，也可以要求生成這樣的基本層參考圖片。
[0019]盡管基本層參考圖片可以在增強(qiáng)層編碼循環(huán)中使用，這里為簡(jiǎn)明起見僅示出使用重構(gòu)圖片(最新的參考圖片)(111)供增強(qiáng)層編碼循環(huán)使用。基本層編碼循環(huán)(103)可以生成前述意義的參考圖片，并將它存儲(chǔ)在參考圖片緩沖區(qū)(104)中。
[0020]存儲(chǔ)在重構(gòu)圖片緩沖區(qū)(111)中的圖片可以由上取樣單元(105)上取樣成由增強(qiáng)層編碼循環(huán)(106)使用的分辨率。增強(qiáng)層編碼循環(huán)(106)可以使用如由上取樣單元(105)結(jié)合來自視頻輸入(101)的輸入圖片所產(chǎn)生的上取樣的基本層參考圖片，和在其編碼過程中作為增強(qiáng)層編碼循環(huán)的一部分而創(chuàng)建的參考圖片(112)。這些使用的本質(zhì)取決于視頻編碼標(biāo)準(zhǔn)，并在以上已經(jīng)就一些視頻壓縮標(biāo)準(zhǔn)簡(jiǎn)要介紹了。增強(qiáng)層編碼循環(huán)(106)可以創(chuàng)建增強(qiáng)層比特流(113)，這可以和基本層比特流(110)和控制信息(未示出)一起處理以便創(chuàng)建可伸縮比特流(114)。
[0021]在較新的視頻編碼標(biāo)準(zhǔn)(諸如H.264和HEVC)中，幀內(nèi)編碼已經(jīng)擔(dān)任了增長(zhǎng)的角色。
[0022]在本寫作的時(shí)間，HEVC在由視頻編碼聯(lián)合協(xié)作團(tuán)隊(duì)(JCT-VC)開發(fā)，并且當(dāng)前草案可以在通過整體引用合并于此的“Bross等，高效率視頻編碼(HEVC)文本規(guī)范草案6，JCTVC-H1003_dK, 2012 年 2 月”(此后稱為 “WD6” 或“HEVC”)找到。

【發(fā)明內(nèi)容】

[0023]所公開的主題提供了用于根據(jù)增強(qiáng)層數(shù)據(jù)預(yù)測(cè)待重構(gòu)的塊的技術(shù)。
[0024]在一個(gè)實(shí)施例中提供了用于根據(jù)基本層數(shù)據(jù)結(jié)合增強(qiáng)層數(shù)據(jù)來預(yù)測(cè)待重構(gòu)的塊的技術(shù)。
[0025]在一個(gè)實(shí)施例中，視頻編碼器包括可以選擇兩種編碼模式:像素編碼模式和差別編碼模式的增強(qiáng)層編碼循環(huán)。
[0026]在同一或另一實(shí)施例中，編碼器可以包括供在編碼模式的選擇中使用的判斷模塊。
[0027]在同一或另一實(shí)施例中，編碼器可以包括指示所選擇的編碼模式的比特流中的標(biāo)
O
[0028]在一個(gè)實(shí)施例中，解碼器可以包括用于在像素編碼模式和差別編碼模式中解碼的子解碼器。
[0029]在同一或另一實(shí)施例中，解碼器還可以從比特流提取標(biāo)志用于在差別編碼模式和像素編碼模式之間切換。
[0030]附圖簡(jiǎn)述
[0031]所公開的主題的更多特征、本質(zhì)和各種優(yōu)點(diǎn)從以下【具體實(shí)施方式】和附圖中將更顯而易見，附圖中: [0032]圖1是根據(jù)現(xiàn)有技術(shù)的示例性可伸縮視頻編碼器的示意圖；
[0033]圖2是根據(jù)本公開的實(shí)施例的示例性編碼器的示意圖；
[0034]圖3是根據(jù)本公開的實(shí)施例的像素模式的示例性子編碼器的示意圖；
[0035]圖4是根據(jù)本公開的實(shí)施例的差別模式的示例性子編碼器的示意圖；
[0036]圖5是根據(jù)本公開的實(shí)施例的示例性解碼器的示意圖；
[0037]圖6是根據(jù)本公開的實(shí)施例的示例性編碼器操作的過程；
[0038]圖7是根據(jù)本公開的實(shí)施例的示例性解碼器操作的過程；
[0039]圖8示出了根據(jù)本公開的實(shí)施例的示例性計(jì)算系統(tǒng)。
[0040]附圖被結(jié)合并構(gòu)成本公開的一部分。除非另外說明，貫穿附圖相同的附圖標(biāo)號(hào)和標(biāo)記用來指示所示實(shí)施例的相似的特征、元素、組件或部分。而且，盡管現(xiàn)在將參考附圖詳細(xì)地描述所公開的主題，這是結(jié)合說明性實(shí)施例而進(jìn)行的。
【具體實(shí)施方式】
[0041]貫穿所公開的主題的描述，術(shù)語“基本層”指層分層結(jié)構(gòu)中增強(qiáng)層基于其上的層。在有多于兩個(gè)增強(qiáng)層的環(huán)境中，按此描述中所使用的基本層不必是最低可能層。
[0042]圖2示出了根據(jù)所公開的主題的兩層編碼器的框圖。編碼器可以通過添加附加增強(qiáng)層編碼循環(huán)而擴(kuò)展為支持多于兩個(gè)層。
[0043]編碼器可以接收未壓縮的輸入視頻(201)，這可以在下取樣模塊(202)中下取樣成基本層空間分辨率，并可以以下取樣的形式充當(dāng)對(duì)基本層編碼循環(huán)(203)的輸入。下取樣因子可以是1.0，在該情況下基本層圖片的空間維度與增強(qiáng)層圖片的空間維度相同，從而導(dǎo)致質(zhì)量可伸縮性，也稱為SNR可伸縮性。大于1.0的下取樣因子導(dǎo)致基本層空間分辨率低于增強(qiáng)層分辨率。視頻編碼標(biāo)準(zhǔn)可以在下取樣因子的允許范圍上施加限制。因子還可以依賴于應(yīng)用。
[0044]基本層編碼循環(huán)可以生成以下在編碼器的其它模塊中使用的輸出信號(hào):
[0045]A)基本層編碼的比特流比特(204)，其可以形成它們自己的、可能自我包含的、可以由其自身變得對(duì)例如基本層兼容的解碼器(未示出)可用的基本層比特流，或可以用增強(qiáng)層比特和控制信息聚集到可伸縮比特流生成器(205)，該可伸縮比特流生成器可以進(jìn)而生成可以由可伸縮解碼器(未示出)解碼的可伸縮比特流(206 )。
[0046]B)可以用于跨層預(yù)測(cè)的基本層編碼循環(huán)的像素域中的基本層編碼循環(huán)的重構(gòu)圖片(或其部分)(207)(此后的基本層圖片)?；緦訄D片可以處于基本層分辨率，該基本層分辨率在SNR可伸縮性的情況中可以與增強(qiáng)層分辨率相同。在空間可伸縮性的情況中，基本層分辨率可以不同于例如低于增強(qiáng)層分辨率。
[0047]C)參考圖片輔助信息(208)。此輔助信息可以包括，例如涉及與參考圖片的編碼、宏塊或編碼單元(CU)編碼模式、幀內(nèi)預(yù)測(cè)模式等相關(guān)聯(lián)的運(yùn)動(dòng)向量的信息?！爱?dāng)前”參考圖片(重構(gòu)的當(dāng)前圖片或其部分)可以有比較老的參考圖片更多的與其相關(guān)聯(lián)的這種輔助信
肩、O
[0048]基本層圖片和輔助信息可以分別由上取樣單元(209)和提升單元(210)處理，在基本層圖片和空間可伸縮性的情況中這些單元可以使用例如可以在視頻壓縮標(biāo)準(zhǔn)中規(guī)定的內(nèi)插過濾器將樣本上取樣成增強(qiáng)層的空間分辨率。在參考圖片輔助信息的情況中，可以使用等價(jià)的例如伸縮的轉(zhuǎn)換。例如，運(yùn)動(dòng)向量可以通過在X和Y兩維度中乘以基本層編碼循環(huán)(203)中生成的向量來伸縮。
[0049]增強(qiáng)層編碼循環(huán)(211)可以包含它自己的參考圖片緩沖區(qū)(212)，參考圖片緩沖區(qū)可以包含通過重構(gòu)之前生成的編碼的增強(qiáng)層圖片而生成的參考圖片樣本數(shù)據(jù)及相關(guān)聯(lián)的輔助信息。
[0050]在所公開的主題的實(shí)施例中，增強(qiáng)層編碼循環(huán)還包括bDiff判斷模塊(213)，其操作稍后描述。例如，它為給定⑶、宏塊、片、或其它適當(dāng)?shù)恼Z法結(jié)構(gòu)創(chuàng)建bDiff標(biāo)志。bDiff標(biāo)志一旦生成之后可以以適當(dāng)?shù)恼Z法結(jié)構(gòu)(諸如CU頭、宏塊頭、片頭或任何其它適當(dāng)?shù)恼Z法結(jié)構(gòu))包括在增強(qiáng)層比特流(214)中。此后為了簡(jiǎn)化描述，假定bDiff標(biāo)志與CU相關(guān)聯(lián)。標(biāo)志可以通過例如直接以二進(jìn)制形式編碼進(jìn)頭中、與其它頭信息成組并對(duì)成組的符號(hào)應(yīng)用熵編碼(諸如例如上下文自適應(yīng)二進(jìn)制算術(shù)編碼，CABAC)而包括在比特流中，或可以通過其它熵編碼機(jī)制而推斷。換言之，該比特可以不以容易標(biāo)識(shí)的形式存在于比特流中，但可以僅通過從其它比特流數(shù)據(jù)導(dǎo)出而獲得。bDiff (如上所述以二進(jìn)制形式或可導(dǎo)出的)可以由可以用于多個(gè)CU、宏塊/片等的啟用信號(hào)來表示其存在或不存在。如果該比特不存在，則編碼模式可以固定。啟用信號(hào)可以有adaptive_diff_coding_flag標(biāo)志的形式,該標(biāo)志可以直接地或以導(dǎo)出的形式包括于高級(jí)語法結(jié)構(gòu)諸如例如片頭或參數(shù)組中。
[0051]在實(shí)施例中，依據(jù)bDiff標(biāo)志的設(shè)置，增強(qiáng)層編碼循環(huán)(211)可以為該標(biāo)志所關(guān)聯(lián)的⑶在例如兩種不同的編碼模式之間選擇。這兩種模式此后稱為“像素編碼模式”和“差別編碼模式”。
[0052]“像素編碼模式”指增強(qiáng)層編碼循環(huán)在對(duì)所討論的CU編碼時(shí)可以在由未壓縮的視頻輸入(201)提供的輸入像素上操作，而不依賴于來自基本層的信息(諸如例如在輸入視頻和經(jīng)提升的基本層數(shù)據(jù)之間計(jì)算的差別信息)的模式。
[0053]“差別編碼模式”指增強(qiáng)層編碼循環(huán)可以在輸入像素和當(dāng)前⑶的上取樣的基本層像素之間計(jì)算的差別上操作的模式。上取樣的基本層像素可以進(jìn)行運(yùn)動(dòng)補(bǔ)償并如下討論的服從幀內(nèi)預(yù)測(cè)和其它技術(shù)。為了執(zhí)行這些操作，增強(qiáng)層編碼循環(huán)可以要求上取樣的輔助信息。差別編碼模式的圖片層間預(yù)測(cè)可以粗略地等于如Dugad和Ahuja文本(見以上)中描述的增強(qiáng)層編碼中使用的層間預(yù)測(cè)。[0054]下面為了清晰起見，根據(jù)模式分別描述了像素編碼模式和差別編碼模式中的增強(qiáng)層編碼循環(huán)(211)。編碼循環(huán)操作于其中的模式可以由bDiff判斷模塊(213)在例如CU粒度進(jìn)行選擇。相應(yīng)地，對(duì)給定圖片，循環(huán)可以在⑶邊界變更模式。
[0055]參考圖3，示出了遵循例如有相關(guān)于例如參考圖片存儲(chǔ)的輕微修改的HEVC的操作的像素編碼模式中的增強(qiáng)層編碼循環(huán)的示例性實(shí)現(xiàn)。應(yīng)強(qiáng)調(diào)，增強(qiáng)層編碼循環(huán)還可以使用其它標(biāo)準(zhǔn)化或非標(biāo)準(zhǔn)化的非可伸縮編碼方案(例如H.263或H.264的那些)來操作?；緦雍驮鰪?qiáng)層編碼循環(huán)不需要符合同一標(biāo)準(zhǔn)或甚至操作原則。
[0056]增強(qiáng)層編碼循環(huán)可以包括可以對(duì)輸入視頻樣本(305)編碼的循環(huán)內(nèi)編碼器(301)。循環(huán)內(nèi)編碼器可以使用諸如帶運(yùn)動(dòng)補(bǔ)償和對(duì)殘留的變換編碼的圖片間預(yù)測(cè)之類的技術(shù)。由循環(huán)內(nèi)編碼器(301)創(chuàng)建的比特流(302)可以由循環(huán)內(nèi)解碼器(303)重構(gòu)，循環(huán)內(nèi)解碼器可以創(chuàng)建重構(gòu)圖片(304)。循環(huán)內(nèi)解碼器還可以在比特流構(gòu)造過程中的中間狀態(tài)上操作，這里作為一種替換性實(shí)施策略用虛線示出(307)。例如，一種公共策略是，省略熵編碼步驟并在由循環(huán)內(nèi)編碼器(301)創(chuàng)建的符號(hào)上(在熵編碼之前)操作循環(huán)內(nèi)解碼器(303)。重構(gòu)圖片(304)可以存儲(chǔ)在參考圖片存儲(chǔ)(306)中作為參考圖片供循環(huán)內(nèi)編碼器(301)將來引用。參考圖片存儲(chǔ)(306)中由循環(huán)內(nèi)解碼器(303)創(chuàng)建的參考圖片可以處于像素編碼模式，因?yàn)檫@是循環(huán)內(nèi)編碼器操作于其上的內(nèi)容。
[0057]參考圖4，示出了遵循例如有如所示的添加和修改的HEVC的操作的差別編碼模式中的增強(qiáng)層編碼循環(huán)的示例性實(shí)現(xiàn)?？梢詰?yīng)用與對(duì)像素模式中的編碼器編碼循環(huán)做出的相同的評(píng)論。
[0058]編碼循環(huán)可以接收未壓縮的輸入樣本數(shù)據(jù)(401)。它還可以分別從上取樣單元(209)和提升單元(210)接收上取樣的基本層重構(gòu)圖片(或其部分)和相關(guān)聯(lián)的輔助信息。在一些基本層視頻壓縮標(biāo)準(zhǔn)中，沒有需要傳達(dá)的輔助信息，因此提升單元(210)可以不存在。
[0059]在差別編碼模式中，編碼循環(huán)可以創(chuàng)建表示輸入的未壓縮樣本數(shù)據(jù)(401)和如從上取樣單元(209)接收的上取樣的基本層重構(gòu)圖片(或其部分)(402)之間的差別的比特流。此差別是不在上取樣的基本層樣本中表示的殘留信息。相應(yīng)地，此差別可以由殘留計(jì)算器模塊(403)計(jì)算并可以存儲(chǔ)在待編碼的圖片緩沖區(qū)(404)中。待編碼的圖片緩沖區(qū)(404)的圖片可以由增強(qiáng)層編碼循環(huán)根據(jù)與像素編碼模式的編碼循環(huán)中相同或不同的壓縮機(jī)制，例如由HEVC編碼循環(huán)進(jìn)行編碼。具體地，循環(huán)內(nèi)編碼器(405)可以創(chuàng)建比特流(406)，該比特流可以由循環(huán)內(nèi)解碼器(407)重構(gòu)以便生成重構(gòu)圖片(408)。此重構(gòu)圖片可以充當(dāng)將來圖片解碼中的參考圖片，并可以存儲(chǔ)在參考圖片緩沖區(qū)(409)中。由于對(duì)循環(huán)內(nèi)編碼器的輸入是由殘留計(jì)算器模塊創(chuàng)建的差別圖片(或其部分)(409)，所創(chuàng)建的參考圖片也是差別編碼模式的，即表示編碼的編碼錯(cuò)誤。
[0060]當(dāng)處于差別編碼模式時(shí)，編碼循環(huán)在經(jīng)提升的重構(gòu)基本層圖片樣本和輸入圖片樣本之間計(jì)算的差別信息上操作。當(dāng)處于像素編碼模式時(shí)它在輸入圖片樣本上操作。相應(yīng)地，參考圖片數(shù)據(jù)還可以在或者差別域或者源(即像素)域中計(jì)算。由于編碼循環(huán)可以基于bDiff標(biāo)志在CU粒度在模式之間變更，如果參考圖片存儲(chǔ)將單純地存儲(chǔ)參考圖片樣本，那么參考圖片可以包含兩個(gè)域的樣本。結(jié)果參考圖片可以對(duì)未修改的編碼循環(huán)不可用，因?yàn)閎Diff判斷可以隨時(shí)間容易地對(duì)相同空間定位的CU選擇不同的模式。
[0061]有數(shù)個(gè)選項(xiàng)來解決參考圖片存儲(chǔ)問題。這些選項(xiàng)是基于通過對(duì)樣本值的簡(jiǎn)單加/減操作可能將給定參考圖片樣本從差別模式轉(zhuǎn)換成像素模式和反之亦然的事實(shí)的。具體地，對(duì)增強(qiáng)層中的參考圖片，為了將在差別模式中生成的樣本轉(zhuǎn)換成像素模式，可以將上取樣的基本層重構(gòu)圖片的空間相對(duì)應(yīng)樣本添加到編碼的差別值中。相反地，當(dāng)從像素模式轉(zhuǎn)換成差別模式時(shí)，可以將上取樣的基本層重構(gòu)圖片的空間相對(duì)應(yīng)樣本從增強(qiáng)層中的編碼的樣本中減去。
[0062]以下列出并描述了增強(qiáng)層編碼循環(huán)中的參考圖片存儲(chǔ)的許多可能選項(xiàng)中的三個(gè)。本領(lǐng)域的技術(shù)人員可以容易地在針對(duì)他/她將他/她的編碼器設(shè)計(jì)所基于的硬件/軟件架構(gòu)優(yōu)化的那些選項(xiàng)中選擇，或者設(shè)計(jì)一些不同的。
[0063]一個(gè)選項(xiàng)是使用前述的加/減操作在兩種變體——像素模式和差別模式——中都生成增強(qiáng)層參考圖片。此機(jī)制可以加倍存儲(chǔ)器需求但當(dāng)兩種模式之間的決定過程涉及編碼即窮舉式搜索運(yùn)動(dòng)估計(jì)以及當(dāng)有多個(gè)處理器可用時(shí)可以具有優(yōu)勢(shì)。例如，一個(gè)處理器可以安排為在所存儲(chǔ)的像素模式中的參考圖片中執(zhí)行運(yùn)動(dòng)搜索，而另一個(gè)處理器可以在差別模式中所存儲(chǔ)的參考圖片中執(zhí)行運(yùn)動(dòng)搜索。
[0064]另一個(gè)選項(xiàng)是僅在例如像素模式中存儲(chǔ)參考圖片，并使用非上取樣的基本層圖片作為存儲(chǔ)，在那些例如選擇了差別模式的情況中在進(jìn)行中(on-the-fly)轉(zhuǎn)換成差別模式。此模式可以在存儲(chǔ)器限制的或存儲(chǔ)器帶寬限制的實(shí)現(xiàn)中有意義，其中上取樣和加/減樣本比存儲(chǔ)/檢索那些樣本更有效率。
[0065]一個(gè)不同的選項(xiàng)涉及在由編碼器生成的模式中每CU地存儲(chǔ)參考圖片數(shù)據(jù)，但添加關(guān)于給定CU的參考圖片數(shù)據(jù)存儲(chǔ)在什么模式中的指示。此選項(xiàng)在參考圖片用于稍后圖片的編碼中時(shí)可以要求在進(jìn)行中的轉(zhuǎn)換，但在存儲(chǔ)信息比檢索和/或計(jì)算在計(jì)算上昂貴得多的架構(gòu)中可以有優(yōu)勢(shì)。
[0066]現(xiàn)在描述的是bDiff判斷模塊的某些特征(圖2，213)。
[0067]基于
【發(fā)明者】的實(shí)驗(yàn)，看上去如果增強(qiáng)層編碼器中的模式?jīng)Q定已決定了使用幀內(nèi)編碼模式時(shí)使用差別模式相當(dāng)有效率。相應(yīng)地，在一個(gè)實(shí)施例中，對(duì)所有增強(qiáng)層的幀內(nèi)CU選擇了差別編碼模式。
[0068]對(duì)幀間CU，沒有通過實(shí)驗(yàn)確定這樣的簡(jiǎn)單優(yōu)選規(guī)則。相應(yīng)地，編碼器可以使用做出了解情況的、內(nèi)容自適應(yīng)的決定的技術(shù)來確定使用差別編碼模式或像素編碼模式。在同一或另一實(shí)施例中，此了解情況的技術(shù)可以對(duì)所討論的CU以兩種模式編碼，并使用速率-失真優(yōu)化技術(shù)來選擇兩個(gè)結(jié)果比特流之一。
[0069]由以上所述的編碼器生成的可伸縮比特流可以由下一步將參考圖5描述的解碼器來解碼。
[0070]根據(jù)所公開的主題的解碼器可以包含兩個(gè)或更多的子解碼器:用于基本層解碼的基本層解碼器(501)和一個(gè)或多個(gè)用于增強(qiáng)層解碼的增強(qiáng)層解碼器。為了簡(jiǎn)明起見，僅描述了單個(gè)基本層和單個(gè)增強(qiáng)層的解碼，并因此僅描繪了 一個(gè)增強(qiáng)層解碼器(502 )。
[0071 ] 可伸縮比特流可以由多路分解器(503)接收并拆分成基本層和增強(qiáng)層比特?；緦颖忍厥怯苫緦咏獯a器(501)使用可以是用來生成基本層比特流的編碼過程的逆轉(zhuǎn)的解碼過程來解碼。本領(lǐng)域的技術(shù)人員可以容易地理解編碼器、比特流和解碼器之間的關(guān)系。
[0072]基本層解碼器的輸出可以是重構(gòu)圖片或其部分(504)。除了其結(jié)合增強(qiáng)層解碼的使用外，如簡(jiǎn)短描述地，重構(gòu)的基本層圖片(504 )還可以是輸出(505 )并由疊加系統(tǒng)使用。根據(jù)所公開的主題的差別編碼模式中的增強(qiáng)層數(shù)據(jù)的解碼可以在一旦由給定增強(qiáng)層CU引用的重構(gòu)的基本層的所有樣本在(可能僅部分地)重構(gòu)的基本層圖片中可用之后開始。相應(yīng)地，基本層和增強(qiáng)層編碼可以并行地發(fā)生是可能的。此后為了簡(jiǎn)化描述，假定基本層圖片已經(jīng)整體重構(gòu)了。
[0073]基本層編碼器的輸出還可以包括輔助信息(506)，例如可能在提升之后可以由增強(qiáng)層解碼器利用的運(yùn)動(dòng)向量，如通過整體引用結(jié)合于此的2012年6月20日提交的共同待批的題為“Motion Prediction in Scalable Video Coding (可伸縮視頻編碼中的運(yùn)動(dòng)預(yù)測(cè))”的美國(guó)專利申請(qǐng)序列號(hào)第13/528，169中所公開的。
[0074]基本層重構(gòu)圖片或其部分可以在上取樣單元中上取樣成例如增強(qiáng)層中使用的分辨率。上取樣可以在單個(gè)“批量”中或按需“在進(jìn)行中”發(fā)生。類似地，如果可用的話輔助信息可以由提升單元(508 )進(jìn)行提升。
[0075]增強(qiáng)層比特流(509)可以是對(duì)增強(qiáng)層解碼器(502)的輸入。增強(qiáng)層解碼器可以例如每⑶、宏塊或片地解碼bDiff標(biāo)志(510)，該標(biāo)志可以指示例如對(duì)給定⑶、宏塊或片使用差別編碼模式或像素編碼模式。用于表示增強(qiáng)層比特流中的標(biāo)志的選項(xiàng)已經(jīng)做過描述了。
[0076]標(biāo)志可以通過在兩種操作模式:差別編碼模式和像素編碼模式之間切換來控制增強(qiáng)層解碼器。例如，如果bDiff是O則可以選擇像素編碼模式(511)并且比特流的該部分是以像素模式解碼的。
[0077]在像素編碼模式中，子解碼器(512)可以根據(jù)可以與在基本層解碼中所使用的相同的解碼器規(guī)范重構(gòu)像素域中的CU/宏塊/片。解碼可以是例如根據(jù)HEVC的。如果解碼涉及圖片間預(yù)測(cè)，則可以要求一個(gè)或多個(gè)可以存儲(chǔ)在參考圖片緩沖區(qū)(513)中的參考圖片。存儲(chǔ)在參考圖片緩沖區(qū)中的樣本可以在像素域中，或可以由轉(zhuǎn)換器(514)在進(jìn)行中從不同的存儲(chǔ)形式轉(zhuǎn)換成像素域。用虛線描繪了轉(zhuǎn)換器(514)，因?yàn)楫?dāng)參考圖片存儲(chǔ)包含像素域格式的參考圖片時(shí)它可以是不必要的。
[0078]在差別編碼模式(515)中，子解碼器(516)可以使用增強(qiáng)層比特流來重構(gòu)差別圖片域中的CU/宏塊/片。如果解碼涉及圖片間預(yù)測(cè)，則可以要求一個(gè)或多個(gè)可以存儲(chǔ)在參考圖片緩沖區(qū)(513)中的參考圖片。存儲(chǔ)在參考圖片緩沖區(qū)中的樣本可以在差別域中，或可以由轉(zhuǎn)換器(517)在進(jìn)行中從不同的存儲(chǔ)形式轉(zhuǎn)換成差別域。用虛線描繪了轉(zhuǎn)換器(517)，因?yàn)楫?dāng)參考圖片存儲(chǔ)包含像素域格式的參考圖片時(shí)它可以是不必要的。用于參考圖片存儲(chǔ)和域之間的轉(zhuǎn)換的選項(xiàng)已在編碼器上下文中描述了。
[0079]子解碼器(516)的輸出是差別域中的圖片。為了對(duì)例如渲染有用，它需要轉(zhuǎn)換成像素域。這可以使用轉(zhuǎn)換器(518)來完成。
[0080]所有三個(gè)轉(zhuǎn)換器(514) (517) (518)都遵循已在解碼器上下文中描述的原則。為了工作，它們可以需要訪問上取樣的基本層重構(gòu)圖片樣本(519)。為了清晰起見，僅示出了上取樣的基本層重構(gòu)圖片樣本的輸入進(jìn)入轉(zhuǎn)換器(518)。經(jīng)提升的輔助信息(520)可以為像素域子解碼器(例如，當(dāng)類似于SVC中所使用的那個(gè)的層間預(yù)測(cè)在子解碼器(512)中實(shí)現(xiàn)時(shí))和差別域子解碼器二者中的解碼所需求。未示出輸入。
[0081]增強(qiáng)層解碼器可以根據(jù)以下過程操作。描述了兩個(gè)參考圖片緩沖區(qū)的使用，一個(gè)在差別模式中以及另一個(gè)在像素模式中。
[0082]參考圖6，并假定可以為給定⑶的差別模式編碼所需求的樣本已經(jīng)在基本層解碼器中可用:
[0083]在一個(gè)實(shí)施例中，所有可以為在差別模式中對(duì)給定⑶/宏塊/片(此后是⑶)編碼所需求的樣本和相關(guān)聯(lián)的輔助信息被上取樣/提升(601)成增強(qiáng)層分辨率。
[0084]在同一或另一實(shí)施例中，標(biāo)志bDiff的值是例如如已經(jīng)描述過的確定的(602)。
[0085]在同一或另一實(shí)施例中，可以基于bDiff的值選擇(603)不同的控制路徑(604)
(605)。具體地，當(dāng)bDiff指示了使用差別編碼模式時(shí)選擇控制路徑(604)，而當(dāng)bDiff指示了使用像素編碼模式時(shí)選擇控制路徑(605 )。
[0086]在同一或另一實(shí)施例中，當(dāng)在差別模式中(604)時(shí)，可以計(jì)算在步驟(601)中生成的上取樣的樣本與屬于輸入圖片的CU/宏塊/片的樣本之間的差別。可以存儲(chǔ)差別樣本
(606)。
[0087]在同一或另一實(shí)施例中，對(duì)步驟(606)的存儲(chǔ)的差別樣本進(jìn)行編碼(607)，且可以如已經(jīng)討論的直接或間接地包括bDiff標(biāo)志的編碼比特流可以放置進(jìn)可伸縮比特流中(608)。
[0088]在同一或另一實(shí)施例中，通過編碼(607)生成的重構(gòu)圖片樣本可以存儲(chǔ)在差別參考圖片存儲(chǔ)中(609)。
[0089]在同一或另一實(shí)施例中，通過編碼(607)生成的重構(gòu)圖片樣本可以轉(zhuǎn)換成像素編碼域，如已經(jīng)描述的(610)。
[0090]在同一或另一實(shí)施例中，步驟(610)的經(jīng)轉(zhuǎn)換的樣本可以存儲(chǔ)在像素參考圖片存儲(chǔ)中(611)。
[0091]在同一或另一實(shí)施例中，如果選擇了路徑(605)(以及由此像素編碼模式)，則可以對(duì)輸入圖片的樣本編碼(612)，且所創(chuàng)建的可以如已經(jīng)討論的直接或間接地包括bDiff標(biāo)志的比特流可以放置進(jìn)可伸縮比特流中(613)。
[0092]在同一或另一實(shí)施例中，通過編碼(612)生成的重構(gòu)圖片樣本可以存儲(chǔ)在像素域參考圖片存儲(chǔ)中(614)。
[0093]在同一或另一實(shí)施例中，通過編碼(612)生成的重構(gòu)圖片樣本可以轉(zhuǎn)換成差別編碼域，如已經(jīng)描述的(615)。
[0094]在同一或另一實(shí)施例中，步驟(615)的經(jīng)轉(zhuǎn)換的樣本可以存儲(chǔ)在差別參考圖片存儲(chǔ)中(616)。
[0095]增強(qiáng)層解碼器可以根據(jù)以下過程操作。描述了兩個(gè)參考圖片緩沖區(qū)的使用，一個(gè)在差別模式中以及另一個(gè)在像素模式中。
[0096]參考圖7，并假定可以為給定⑶的差別模式解碼所需求的樣本已經(jīng)在基本層解碼器中可用:
[0097]在一個(gè)實(shí)施例中，可以為在差別模式中對(duì)給定⑶/宏塊/片(此后是⑶)解碼所需求的所有樣本和相關(guān)聯(lián)的輔助信息被上取樣/提升(701)成增強(qiáng)層分辨率。
[0098]在同一或另一實(shí)施例中，通過例如解析來自可以直接地或間接地包括bDiff的比特流的值確定(702) bDiff標(biāo)志的值，如已描述的。
[0099]在同一或另一實(shí)施例中，可以基于bDiff的值選擇(703)不同的控制路徑(704)(705)。具體地，當(dāng)bDiff指示了使用差別編碼模式時(shí)選擇控制路徑(704)，而當(dāng)bDiff指示了使用像素編碼模式時(shí)選擇控制路徑(705 )。[0100]在同一或另一實(shí)施例中，當(dāng)在差別模式中(704)時(shí)，可以使用差別域(705)中的參考圖片信息(當(dāng)需求時(shí))對(duì)比特流解碼和生成重構(gòu)CU。例如當(dāng)所討論的CU用幀內(nèi)模式編碼時(shí)可以不需求參考圖片?目息。
[0101]在同一或另一實(shí)施例中，重構(gòu)樣本可以存儲(chǔ)在差別域參考圖片緩沖區(qū)中(706 )。
[0102]在同一或另一實(shí)施例中，通過解碼(705)生成的重構(gòu)圖片樣本可以轉(zhuǎn)換成像素編碼域，如已經(jīng)描述的(707)。
[0103]在同一或另一實(shí)施例中，步驟(707)的經(jīng)轉(zhuǎn)換的樣本可以存儲(chǔ)在像素參考圖片存儲(chǔ)中(708)。
[0104]在同一或另一實(shí)施例中，如果使用了路徑(705)(以及由此像素編碼模式)，則可以使用像素域(709)中的參考圖片信息(當(dāng)需求時(shí))對(duì)比特流解碼和生成重構(gòu)⑶。
[0105]在同一或另一實(shí)施例中，通過解碼(709)生成的重構(gòu)圖片樣本可以存儲(chǔ)在像素參考圖片存儲(chǔ)中(710)。
[0106]在同一或另一實(shí)施例中，通過編碼(709)生成的重構(gòu)圖片樣本可以轉(zhuǎn)換成差別編碼域，如已經(jīng)描述的(711)。
[0107]在同一或另一實(shí)施例中，步驟(711)的經(jīng)轉(zhuǎn)換的樣本可以存儲(chǔ)在差別參考圖片存儲(chǔ)中(712)。
[0108]以上所描述的用于使用差別和像素模式的可伸縮編碼/解碼的方法可以實(shí)現(xiàn)為使用計(jì)算機(jī)可讀指令并物理地存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的計(jì)算機(jī)軟件。計(jì)算機(jī)軟件可以使用任何合適的計(jì)算機(jī)語言編碼。軟件指令可以在各種類型的計(jì)算機(jī)上執(zhí)行。例如，圖8示出了適用于實(shí)現(xiàn)本公開的實(shí)施例的計(jì)算機(jī)系統(tǒng)800。
[0109]圖8中示出的計(jì)算機(jī)系統(tǒng)800的組件在本質(zhì)上是示例性的，并且不旨在對(duì)實(shí)現(xiàn)本公開的實(shí)施例的計(jì)算機(jī)軟件的使用或功能的范圍提出任何限制。也不應(yīng)將該組件的配置解釋為對(duì)計(jì)算機(jī)系統(tǒng)的示例性實(shí)施例中示出的任一組件或其組合有任何依賴性或要求。計(jì)算機(jī)系統(tǒng)800可以具有許多物理形式，包括集成電路、印刷電路板、小型手持式設(shè)備(諸如移動(dòng)電話或PDA)、個(gè)人計(jì)算機(jī)或超級(jí)計(jì)算機(jī)。
[0110]計(jì)算機(jī)系統(tǒng)800包括顯示832、一個(gè)或多個(gè)輸入設(shè)備833(例如小鍵盤、鍵盤、鼠標(biāo)、指示筆等)、一個(gè)或多個(gè)輸出設(shè)備834 (例如揚(yáng)聲器)、一個(gè)和多個(gè)存儲(chǔ)設(shè)備835、各種類型的存儲(chǔ)介質(zhì)836。
[0111]系統(tǒng)總線840鏈接各種子系統(tǒng)。如本領(lǐng)域技術(shù)人員所理解的，“總線”指提供公共功能的多種數(shù)字信號(hào)線。系統(tǒng)總線840可以是幾種類型的總線結(jié)構(gòu)中的任一種，包括存儲(chǔ)器總線、外圍總線、以及使用各種總線架構(gòu)中的任一種的局部總線。作為示例而非限制，這樣的架構(gòu)包括工業(yè)標(biāo)準(zhǔn)架構(gòu)(ISA)總線、增強(qiáng)型ISA (EISA)總線、微通道架構(gòu)(MCA)總線、視頻電子標(biāo)準(zhǔn)協(xié)會(huì)局部總線(VLB)、外圍組件互連(PCI)總線、快速PCI總線(PC1-X)和加速圖形端口(AGP)總線。
[0112]處理器801 (也稱為中央處理單元或CPU)可選地包含用于臨時(shí)本地存儲(chǔ)指令、數(shù)據(jù)或計(jì)算機(jī)地址的高速緩存存儲(chǔ)器單元802。處理器801耦合到包括存儲(chǔ)器803的存儲(chǔ)設(shè)備。存儲(chǔ)器803包括隨機(jī)訪問存儲(chǔ)器(RAM)804和只讀存儲(chǔ)器(R0M)805。如本領(lǐng)域內(nèi)周知的，R0M805用于將數(shù)據(jù)和指令單向地傳輸給處理器801，且RAM804通常用來以雙向方式傳輸數(shù)據(jù)和指令。這些類型的存儲(chǔ)器都可以包括任何合適的以下所描述的計(jì)算機(jī)可讀介質(zhì)。[0113]固定存儲(chǔ)808也雙向耦合到處理器801，可選地經(jīng)由存儲(chǔ)控制單元807。它提供附加數(shù)據(jù)存儲(chǔ)能力并還可以包括任何以下所描述的計(jì)算機(jī)可讀介質(zhì)。存儲(chǔ)808可以用來存儲(chǔ)操作系統(tǒng)809、可執(zhí)行文件(EXEC) 810、應(yīng)用程序812、數(shù)據(jù)811等等，并通常是比主存儲(chǔ)慢的次存儲(chǔ)介質(zhì)(諸如硬盤)。應(yīng)理解，在合適的情況下存儲(chǔ)808中保留的信息可以如存儲(chǔ)器803中的虛擬存儲(chǔ)器合并進(jìn)標(biāo)準(zhǔn)方式。
[0114]處理器801還耦合到各種接口，諸如圖形控制821、視頻接口 822、輸入接口 823、輸出接口 824、存儲(chǔ)接口 825，并且這些接口進(jìn)而耦合到合適的設(shè)備。一般地，輸入/輸出設(shè)備可以是任一種:視頻顯示、跟蹤球、鼠標(biāo)、鍵盤、話筒、觸敏顯示、傳感器讀卡器、磁或紙帶讀取器、平板機(jī)、指示筆、語音或手寫識(shí)別器、生物測(cè)定讀取器或其它計(jì)算機(jī)。處理器801可以耦合到另一計(jì)算機(jī)或使用網(wǎng)絡(luò)接口 820耦合到電信網(wǎng)絡(luò)830。有了這樣的網(wǎng)絡(luò)接口 820，可以構(gòu)想CPU801在執(zhí)行以上描述的方法的過程中可以從網(wǎng)絡(luò)830接收信息，或可以輸出信息到網(wǎng)絡(luò)。而且，本公開的方法實(shí)施例可以單在CPU801上執(zhí)行，或可以結(jié)合共享該處理的一部分的遠(yuǎn)程CPU801在諸如因特網(wǎng)之類的網(wǎng)絡(luò)830上執(zhí)行。
[0115]根據(jù)各種實(shí)施例，當(dāng)在網(wǎng)絡(luò)環(huán)境中時(shí)，即當(dāng)計(jì)算機(jī)系統(tǒng)800連接到網(wǎng)絡(luò)830時(shí)，計(jì)算機(jī)系統(tǒng)800可以與也連接到網(wǎng)絡(luò)830的其它設(shè)備通信。通信可以經(jīng)由網(wǎng)絡(luò)接口 820從計(jì)算機(jī)系統(tǒng)800發(fā)送或發(fā)送到計(jì)算機(jī)系統(tǒng)800。例如，一個(gè)或多個(gè)分組形式的傳入通信，諸如來自另一設(shè)備的請(qǐng)求或響應(yīng)，可以在網(wǎng)絡(luò)接口 820從網(wǎng)絡(luò)830接收并存儲(chǔ)在存儲(chǔ)器803的所選的區(qū)中用于處理。也是一個(gè)或多個(gè)分組形式的傳出通信，諸如給另一設(shè)備的請(qǐng)求或響應(yīng)，也可以存儲(chǔ)在存儲(chǔ)器803的所選的區(qū)中并在網(wǎng)絡(luò)接口 820發(fā)送出去給網(wǎng)絡(luò)830。處理器801可以訪問這些存儲(chǔ)在存儲(chǔ)器803中用于處理的通信分組。
[0116]而且，本公開的實(shí)施例還涉及有計(jì)算機(jī)可讀介質(zhì)的計(jì)算機(jī)存儲(chǔ)產(chǎn)品，計(jì)算機(jī)可讀介質(zhì)其上有用于執(zhí)行各種計(jì)算機(jī)實(shí)現(xiàn)的操作的計(jì)算機(jī)代碼。介質(zhì)和計(jì)算機(jī)代碼可以是那些為了本公開的目的特別設(shè)計(jì)和構(gòu)造的，或可以是在計(jì)算機(jī)軟件領(lǐng)域中的技術(shù)人員周知和可用的類型。計(jì)算機(jī)可讀介質(zhì)的示例包括但不限于:磁介質(zhì)諸如硬盤、軟盤和磁帶；光學(xué)介質(zhì)諸如⑶-ROM和全息設(shè)備；磁光介質(zhì)諸如光盤；和特別配置為存儲(chǔ)和執(zhí)行程序代碼的硬件設(shè)備，諸如專用集成電路(ASIC)、可編程邏輯設(shè)備(PLD)及ROM和RAM設(shè)備。計(jì)算機(jī)代碼的示例包括機(jī)器代碼諸如由編譯器生成的，和包含由計(jì)算機(jī)使用解釋器執(zhí)行的更高級(jí)代碼的文件。本領(lǐng)域技術(shù)人員還應(yīng)理解，如結(jié)合本公開主題所使用的術(shù)語“計(jì)算機(jī)可讀介質(zhì)”不涵蓋傳輸介質(zhì)、載波或其它瞬態(tài)信號(hào)。
[0117]作為示例而非限制的方式，具有架構(gòu)800的計(jì)算機(jī)系統(tǒng)可以提供功能作為處理器801執(zhí)行體現(xiàn)在一個(gè)或多個(gè)有形的計(jì)算機(jī)可讀介質(zhì)(諸如存儲(chǔ)器803)中的軟件的結(jié)果。實(shí)現(xiàn)本公開的各種實(shí)施例的軟件可以存儲(chǔ)在存儲(chǔ)器803中并由處理器801執(zhí)行。根據(jù)特定需求計(jì)算機(jī)可讀介質(zhì)可以包括一個(gè)或多個(gè)存儲(chǔ)器設(shè)備。存儲(chǔ)器803可以從一個(gè)或多個(gè)其它計(jì)算機(jī)可讀介質(zhì)(諸如大容量存儲(chǔ)設(shè)備835)或經(jīng)由通信接口從一個(gè)或多個(gè)其它源讀取軟件。軟件可以導(dǎo)致處理器801執(zhí)行此處所描述的特定過程或特定過程的特定部分，包括定義存儲(chǔ)在存儲(chǔ)器803中的數(shù)據(jù)結(jié)構(gòu)和根據(jù)由軟件定義的過程修改這些數(shù)據(jù)結(jié)構(gòu)。作為補(bǔ)充或替換，計(jì)算機(jī)系統(tǒng)可以提供功能作為硬連線或另外體現(xiàn)在電路中的邏輯的結(jié)果，邏輯可以在軟件的位置中或與軟件一起執(zhí)行此處所描述的特定過程或特定過程的特定部分。當(dāng)合適的時(shí)候，對(duì)軟件的引用可以涵蓋邏輯，并且反之亦然。當(dāng)合適的時(shí)候，對(duì)計(jì)算機(jī)可讀介質(zhì)的引用可以涵蓋存儲(chǔ)用于執(zhí)行的軟件的電路(諸如集成電路(1C))、體現(xiàn)用于執(zhí)行的邏輯的電路、或二者。本公開涵蓋任何合適的硬件和軟件的組合。
[0118]盡管本公開描述了數(shù)個(gè)示例性實(shí)施例，但落入本公開的范圍的更改、排列和各種替換性等價(jià)方案是存在的。因此應(yīng)理解，本領(lǐng)域技術(shù)人員將能夠設(shè)想許多盡管此處沒有顯式地示出或描述但體現(xiàn)本公開的原則并因此在其精神和范圍之內(nèi)的系統(tǒng)和方法。
【權(quán)利要求】
1.一種方法，用于對(duì)在基本層和至少一個(gè)增強(qiáng)層中編碼并至少具有差別模式和像素模式的視頻解碼，所述方法包括: 對(duì)指示所述差別模式和所述像素模式之間的選擇的至少一個(gè)標(biāo)志bDiff解碼，以及 按照所述至少一個(gè)標(biāo)志bDiff指示的，在差別模式或像素模式中重構(gòu)至少一個(gè)樣本。
2.如權(quán)利要求1所述的方法，其特征在于，bDiff是在編碼單元頭中編碼的。
3.如權(quán)利要求2所述的方法，其特征在于，bDiff是在上下文自適應(yīng)二進(jìn)制算術(shù)編碼中編碼的。
4.如權(quán)利要求1所述的方法，其特征在于，bDiff是在片頭中編碼的。
5.如權(quán)利要求1所述的方法，其特征在于，在差別模式中重構(gòu)所述至少一個(gè)樣本包括計(jì)算所述基本層的重構(gòu)的、上取樣的樣本和所述增強(qiáng)層的重構(gòu)樣本之間的差別。
6.如權(quán)利要求1所述的方法，其特征在于，在像素模式中重構(gòu)所述至少一個(gè)樣本包括重構(gòu)所述增強(qiáng)層的至少一個(gè)樣本。
7.一種方法，用于對(duì)包括基本層和至少一個(gè)增強(qiáng)層的可伸縮比特流的視頻編碼，所述方法包括: 對(duì)增強(qiáng)層分辨率的至少一個(gè)樣本，在差別模式和像素模式之間選擇； 在所選擇的差別模式或像素模式中對(duì)所述至少一個(gè)樣本編碼；以及 將對(duì)所選擇的模式的指示編碼為所述增強(qiáng)層中的標(biāo)志bDiff。
8.如權(quán)利要求7所述的方法，其特征在于，在差別模式和像素模式之間的所述選擇包括速率_失真優(yōu)化。
9.如權(quán)利要求7所述的方法，其特征在于，在差別模式和像素模式之間的所述選擇是對(duì)編碼單元做出的。
10.如權(quán)利要求9所述的方法，其特征在于，當(dāng)增強(qiáng)層編碼循環(huán)的模式?jīng)Q定過程對(duì)所述編碼單元選擇了幀內(nèi)編碼時(shí)選擇差別模式。
11.如權(quán)利要求7所述的方法，其特征在于，所述標(biāo)志bDiff是在CU頭中編碼的。
12.如權(quán)利要求11所述的方法，其特征在于，在所述CU頭中編碼的所述標(biāo)志bDiff是以上下文自適應(yīng)二進(jìn)制算術(shù)編碼格式編碼的。
13.—種系統(tǒng)，用于對(duì)在基本層和至少一個(gè)增強(qiáng)層中編碼并至少具有差別模式和像素模式的視頻解碼，所述系統(tǒng)包括: 基本層解碼器，用于創(chuàng)建重構(gòu)圖片的至少一個(gè)樣本； 耦合到所述基本層解碼器的上取樣模塊，用于將重構(gòu)圖片的所述至少一個(gè)樣本上取樣成增強(qiáng)層分辨率；以及 耦合到所述上取樣模塊的增強(qiáng)層解碼器，所述增強(qiáng)層解碼器被配置為對(duì)來自增強(qiáng)層比特流的至少一個(gè)標(biāo)志bDiff解碼， 對(duì)由所述標(biāo)志bDiff選擇的所述差別模式或所述像素模式中的至少一個(gè)增強(qiáng)層樣本解碼， 當(dāng)按照所述標(biāo)志bDiff指示的在差別模式中操作時(shí)接收至少一個(gè)上取樣的重構(gòu)基本層樣本用于重構(gòu)所述增強(qiáng)層樣本。
14.一種系統(tǒng)，用于至少使用差別模式和像素模式對(duì)基本層和至少一個(gè)增強(qiáng)層的視頻編碼，所述系統(tǒng)包括:基本層編碼器，具有輸出； 至少一個(gè)增強(qiáng)層編碼器，耦合到所述基本層編碼器； 上取樣單元，耦合到所述基本層編碼器的輸出并被配置為將至少一個(gè)重構(gòu)基本層樣本上取樣成增強(qiáng)層分辨率， 所述至少一個(gè)增強(qiáng)層編碼器中的bDiff選擇模塊，所述bDiff選擇模塊被配置為對(duì)標(biāo)志bDiff選擇指示所述像素模式或所述差別模式的值， 其中所述至少一個(gè)增強(qiáng)層編碼器被配置為 對(duì)增強(qiáng)層比特流中的至少一個(gè)標(biāo)志bDiff編碼，以及 使用上取樣的重構(gòu)基本層樣本對(duì)差別模式中的至少一個(gè)樣本編碼。
15.一種非瞬態(tài)計(jì)算機(jī)可讀介質(zhì)，所述介質(zhì)包括用于指導(dǎo)處理器執(zhí)行權(quán)利要求1-12之一的方法的一組指令。
【文檔編號(hào)】H04B1/66GK103636137SQ201280031914
【公開日】2014年3月12日 申請(qǐng)日期:2012年6月21日 優(yōu)先權(quán)日:2011年6月30日
【發(fā)明者】W·張, J·博伊斯, D·洪 申請(qǐng)人:維德約股份有限公司