高效率視頻譯碼擴展中的目標輸出層的選擇的制作方法
【專利說明】
[0001] 本申請案主張2013年7月12日申請的第61/845, 837號美國臨時申請案的權(quán)益， 所述申請案的全部內(nèi)容W引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002] 本發(fā)明大體上設(shè)及處理視頻數(shù)據(jù)，且更確切地說，設(shè)及處理用于視頻數(shù)據(jù)中的操 作點。
【背景技術(shù)】
[0003] 數(shù)字視頻能力可并入到廣泛范圍的裝置中，包含數(shù)字電視、數(shù)字直播廣播系統(tǒng)、無 線廣播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、電子書閱讀器、數(shù) 字相機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無 線電電話（所謂的"智能電話"）、視頻電話會議裝置、視頻流式傳輸裝置及類似者。數(shù)字 視頻裝置實施視頻譯碼技術(shù)，例如描述于由W下各項定義的標準中的那些技術(shù):MPEG-2、 MPEG-4、口U-TH. 263、口U-TH. 264/M陽G-4(第10部分）、高級視頻譯碼（AVC)、高效率視 頻譯碼（肥VC)及此等標準的擴展。視頻裝置可通過實施此等視頻譯碼技術(shù)來更有效地發(fā) 射、接收、編碼、解碼及/或存儲數(shù)字視頻信息。
[0004] 視頻譯碼技術(shù)包含空間（圖片內(nèi)）預(yù)測及/或時間（圖片間）預(yù)測來減少或移除 視頻序列中固有的冗余。對于基于塊的視頻譯碼，可將視頻切片（例如，視頻帖或視頻帖的 一部分）分割成視頻塊（其也可被稱作樹塊）、譯碼單元（CU)及/或譯碼節(jié)點?？墒褂孟?對于同一圖片中的鄰近塊中的參考樣本的空間預(yù)測來編碼圖片的經(jīng)帖內(nèi)譯碼（I)的切片 中的視頻塊。圖片的經(jīng)帖間譯碼（P或B)切片中的視頻塊可使用相對于同一圖片中的鄰近 塊中的參考樣本的空間預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。圖片可被稱 作帖，且參考圖片可被稱作參考帖。
[0005] 空間或時間預(yù)測產(chǎn)生用于待譯碼塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼原始塊與預(yù) 巧帷塊之間的像素差。根據(jù)指向形成預(yù)測性塊的參考樣本的塊的運動向量及指示經(jīng)譯碼塊 與預(yù)測性塊之間的差異的殘余數(shù)據(jù)來編碼帖間譯碼塊。帖內(nèi)譯碼塊是根據(jù)帖內(nèi)譯碼模式及 殘余數(shù)據(jù)來編碼。為進行進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而產(chǎn)生殘余 變換系數(shù)，可接著量化所述殘余變換系數(shù)?？蓲呙枳畛醪贾贸啥S陣列的經(jīng)量化的變換系 數(shù)W便產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用賭譯碼W達成甚至更多壓縮。

【發(fā)明內(nèi)容】

[0006] 一般來說，本發(fā)明描述用于選擇由目標輸出層集合指定的輸出操作點W及用于多 層肥VC擴展的時間ID的技術(shù)。所述技術(shù)可提供發(fā)信與操作點相關(guān)聯(lián)的信息的改進效率， 且解決關(guān)于識別在解碼期間待輸出的層的問題。
[0007] 在一個實例中，解碼視頻數(shù)據(jù)的方法包含：接收到輸出層集合的列表中的至少一 目標輸出層集合的索引；基于所述索引確定至少一目標輸出層集合中的目標輸出層；解碼 至少目標輸出層；及輸出經(jīng)解碼目標輸出層而不輸出目標非用于輸出的層。
[0008] 在另一實例中，一種用于解碼視頻數(shù)據(jù)的裝置包含：存儲器，其經(jīng)配置W存儲數(shù) 據(jù)；及一或多個處理器，其與存儲器通信且經(jīng)配置W:接收到輸出集合的列表中的至少一 目標輸出層集合的索引；基于所述索引確定至少一目標輸出層集合中的目標輸出層；解碼 至少目標輸出層；及輸出經(jīng)解碼目標輸出層而不輸出目標非用于輸出的層。
[0009] 在另一實例中，一種其上存儲有指令的非暫時性計算機可讀存儲媒體，所述指令 在執(zhí)行時使至少一處理器進行W下操作：接收到輸出集合的列表中的至少一目標輸出層集 合的索引；基于所述索引確定至少一目標輸出層集合中的目標輸出層；解碼至少目標輸出 層；及輸出經(jīng)解碼目標輸出層而不輸出目標非用于輸出的層。
[0010] 在另一實例中，一種用于解碼視頻數(shù)據(jù)的裝置，所述裝置包含：用于接收到輸出層 集合的列表中的至少一目標輸出層集合的索引的裝置；用于基于所述索引確定所述至少一 目標輸出層集合中的目標輸出層的裝置；用于解碼至少所述目標輸出層的裝置；及用于輸 出所述經(jīng)解碼目標輸出層而不輸出目標非用于輸出的層的裝置。
[0011] 在另一實例中，一種用于處理視頻數(shù)據(jù)的方法包含：確定目標用于輸出的層集合； 確定到輸出層集合的列表中的目標輸出層集合的索引，使得所述目標輸出層集合表示目標 用于輸出的所確定層集合；及發(fā)送所述索引到視頻解碼器。
[0012] 在另一實例中，一種用于解碼視頻數(shù)據(jù)的裝置包含：存儲器，其經(jīng)配置W存儲數(shù) 據(jù)；及一或多個處理器，其與存儲器通信且經(jīng)配置W接收到輸出的列表中的至少一目標輸 出層集合的索引；確定目標用于輸出的層集合；確定輸出層集合的列表中的目標輸出層集 合的索引，使得所述目標輸出層集合表示目標用于輸出的所確定層集合；及發(fā)送所述索引 到視頻解碼器。
[0013] 在另一實例中，一種其上存儲有指令的非暫時性計算機可讀存儲媒體，所述指令 在執(zhí)行時使至少一處理器進行W下操作：確定目標用于輸出的層集合；確定到輸出層集合 的列表中的目標輸出層集合的索引，使得目標輸出層集合表示目標用于輸出的所確定層集 合；及發(fā)送所述索引到視頻解碼器。
[0014] 在W下附圖及描述中闡述一或多個實例的細節(jié)。其它特征、目標及優(yōu)點將從所述 描述及附圖W及權(quán)利要求書而顯而易見。
【附圖說明】
[0015] 圖1為說明可利用本發(fā)明中所描述的技術(shù)的實例視頻編碼及解碼系統(tǒng)的框圖。
[0016] 圖2為說明可實施本發(fā)明中所描述的技術(shù)的實例視頻編碼器的框圖。
[0017] 圖3為根據(jù)本發(fā)明的技術(shù)的說明實例多視圖解碼次序的概念圖。
[001引圖4為根據(jù)本發(fā)明的技術(shù)的用于多視圖視頻譯碼的MVC預(yù)測結(jié)構(gòu)的一個實例的 圖。
[0019] 圖5為說明可實施本發(fā)明中所描述的技術(shù)的實例視頻解碼器的框圖。
[0020] 圖6為說明形成網(wǎng)絡(luò)的一部分的一組實例裝置的框圖。
[0021] 圖7為說明進一步包含媒體應(yīng)用程序的實例目的地裝置的框圖。
[0022] 圖8為說明用于處理視頻數(shù)據(jù)的實例過程的流程圖。
[0023] 圖9為說明解碼視頻數(shù)據(jù)的實例過程的流程圖。
【具體實施方式】
[0024] -般來說，本發(fā)明描述與選擇由目標輸出層集合指定的輸出操作點W及用于多層 肥VC擴展的時間ID相關(guān)的技術(shù)。
[00巧]位流可具有多個經(jīng)譯碼視圖。位流也可支持時間可擴充性，即不同帖速率。術(shù)語 "操作點"指待解碼的特定視圖集合W及待采用的時間子集（例如，帖速率）。在一些狀況 下，不同的層或視圖可為同一圖片的具有不同圖像分辨率的多個版本，例如一層處于72化 及另一層處于1080P。作為一實例，原始位流可包含處于不同空間分辨率的=個層或視圖及 處于不同帖速率的兩個時間可調(diào)式層。在此實例中，原始位流包含六個操作點，其中=個空 間分辨率中的每一者在任一帖速率處可用。
[0026] 除了表示不同視圖或圖像分辨率W外，不同層還可表示不同質(zhì)量表示。舉例來說， 基層可為低質(zhì)量的72化分辨率視頻，其中增強層也為處于72化分辨率的相同視頻但處于 較高質(zhì)量且取決于用于參考的基層。
[0027] 術(shù)語"輸出操作點"指待輸出的特定視圖集合、待解碼的視圖集合W及待采用的時 間子集。"層識別符列表"可用W識別待包含在操作點中的層，其中每一層對應(yīng)于單獨空間 可調(diào)式層、視圖或類似者。層識別符列表可包含在視頻參數(shù)集（VP巧中。層識別符列表可包 含nuh_laye;r_id值的列表，其中nuh_laye;r_id值可為非負整數(shù)，其中每一層具有獨特nuh_ laye;r_id值，使得每一nuh_laye;r_id值識別特定對應(yīng)層。最高temporalID可用W定義時 間子集。層識別符列表及目標最高temporalID可用作輸入W從位流提取操作點。
[0028] 更確切地說，"操作點"為可從在時間上可調(diào)式的原始位流提取及/或具有多個層 及/或視圖的子位流。即，操作點為通過操作將另一位流、目標最高temporalID及目標層識 別符列表作為輸入的子位流提取過程而從另一位流產(chǎn)生的位流。位流包含一或多個視圖， 包含操作點的多個視圖。目標最高temporalID定義時間子集。目標層列表包含層集合：待 解碼用于操作點的層集合及待輸出用于輸出操作點的層集合。輸出操作點尤其與輸出層集 合相關(guān)聯(lián)，即在輸出層集合中識別的層，其為待輸出的層。
[0029] 術(shù)語"層集合"用于指待解碼的層集合。"層集合"類似于"操作點"，不同之處在于 "層集合"包含關(guān)于待解碼的層的信息且并不包含關(guān)于時間可擴充性的信息?？蒞與從位流 導(dǎo)出操作點相同的方式而從位流導(dǎo)出層集合，但最高temporalID并非可適用的。
[0030] 術(shù)語"輸出層集合"指待輸出的層集合、識別所述集合中的層的層識別符列表及對 應(yīng)層集合的識別（其中對應(yīng)層集合識別待解碼的層）。輸出層集合類似于層集合，不同之 處在于輸出層集合識別目標用于輸出的層（除了指示對應(yīng)層集合W外）。在一些實例中， 輸出層集合通過包含對應(yīng)層集合的索引而識別對應(yīng)層集合，其中對應(yīng)層集合識別待解碼的 層。在其它實例中，輸出層集合W某一其它方式來識別對應(yīng)層集合。
[0031] 層集合中目標并非用于輸出的層仍可經(jīng)解碼，例如，當用于層間（或視圖間）預(yù)測 時。目標用于輸出的層為待解碼的層的子集，待解碼的層中的一者、一些或全部可目標用于 輸出。應(yīng)理解，術(shù)語"子集"不必意謂待輸出的層為待解碼的層的嚴格子集。目P，在一些實 例中，待解碼的層及待輸出的層為相同的。"輸出層集合"類似于"輸出操作點"，不同之處 在于"輸出層集合"包含關(guān)于待輸出的層的信息，且不包含關(guān)于時間可擴充性的信息。
[0032] 可基于層識別符（識別用于輸出操作點的層）及時間子層識別符（識別用于輸出 操作點的時間子集）的值（其識別位流的輸出操作點）而從位流提取子位流。在位流內(nèi)的 視頻參數(shù)集（VP巧中發(fā)信輸出操作點。對于所述操作點中的每一者，操作點語法結(jié)構(gòu)指定 用W識別屬于給定操作點的子位流的位流中的網(wǎng)絡(luò)抽象層（NAL)單元的層集合識別符。W 此方式，可基于NAL單元的層識別符及與輸出操作點相關(guān)聯(lián)的最高時間ID而從原始位流提 取構(gòu)成給定輸出操作點的子位流的NAL單元。NAL單元為經(jīng)譯碼視頻數(shù)據(jù)的組件；經(jīng)譯碼 視頻數(shù)據(jù)經(jīng)組織為NAL單元。
[0033]本發(fā)明中所描述的技術(shù)包含導(dǎo)出在輸出層集合的列表中的特定目標輸出層集合 的索引，及將所述索引發(fā)送到視頻解碼器。所述索引可用W定義在解碼過程期間使用的目 標輸出層集合，尤其解碼過程的解碼圖片緩沖操作。而且，在一些實例中，所述索引用于選 擇用于DPB操作的適當經(jīng)解碼圖片緩沖器值PB)大?。ɑ蜃覦PB大?。﹣碜鳛榧傧?yún)⒖冀?碼器（HRD)操作及其它操作的部分，如下文較詳細論述。
[0034] 在一些實例中，由于在位流自身中包含索引而不將所述索引發(fā)送到解碼器，但經(jīng) 由一些"外部裝置"，即經(jīng)由位流的外部將視頻自身發(fā)送到視頻解碼器。如下文較詳細論 述，在各種實例中，索引可由服務(wù)器/源裝置或由客戶端/目的地裝置上的一或多個組件導(dǎo) 出，且可在不同實例中W不同方式發(fā)送到視頻解碼器，在一些實例中包含MPEGTS或DA甜 MPD(媒體呈現(xiàn)描述），如下文較詳細論述。在一些實例中，可經(jīng)由"外部裝置"來將索引發(fā) 送到視頻解碼器而非發(fā)送在位流中的索引，使得位流可在多個操作點而非位流中給定的一 個操作點處操作。在一些實例中，如果視頻解碼器不接收索引，那么存在例如通過僅解碼及 輸出層零而進行的默認假設(shè)。
[0035] 在一些實例中，為方便會話協(xié)商，本發(fā)明中所描述的技術(shù)進一步包含復(fù)制在傳輸 層規(guī)范中的中發(fā)信的輸出操作點的信息。在一個實例中，傳輸層規(guī)范可為清單文件，例 如HTTP上的動態(tài)自適應(yīng)流式傳輸值A(chǔ)SH)中的MPD(媒體呈現(xiàn)描述），例如包含在文件格式 信息中的視頻解碼器配置及/或在MPEG-2TS中的描述符。作為另一實例，清單文件可包 括會話描述協(xié)議（SD巧消息。對于每一輸出操作點，可發(fā)信目標輸出視圖、額外依賴視圖及 最低適用最高temporallD。
[0036] 基于定義在肥VC可調(diào)式/多視圖/3D擴展中可能的索引的外部裝置，可在傳輸層 中使用不同過程；兩個此等實例不同過程包含：一個用于流式傳輸及一個用于協(xié)商的SDP 提供/回答方式。
[0037] 在流式傳輸應(yīng)用中，例如，DA甜及實時流協(xié)議（RTS巧流式傳輸，可應(yīng)用如下內(nèi) 容?？蛻舳搜b置接收媒體呈現(xiàn)的描述，其中所述描述包含關(guān)于輸出層集合及可能基于時間 子集的輸出操作點的信息。客戶端裝置可剖析所述描述及選擇所述輸出操作點中的一者， 且向服務(wù)器裝置請求所述輸出操作點。服務(wù)器裝置可將所請求輸出操作點信息轉(zhuǎn)換為最高 temporalID及特定目標輸出層集合的索引，且將此信息傳遞到視頻解碼器作為從外部裝置 的輸入。服務(wù)器裝置可發(fā)送對應(yīng)于輸出操作點的所請求數(shù)據(jù)。
[003引在使用會話描述協(xié)議（SD巧提供/回答類型的協(xié)商的應(yīng)用中，可應(yīng)用W下內(nèi)容。發(fā) 送器裝置可發(fā)送邀請到多個接收器（包含接收器A及接收器B)，其中所述邀請含有發(fā)送器 可提供的輸出操作點是什么（例如，在輸出視圖方面）的描述。接收器可選擇相應(yīng)輸出操 作點。舉例來說，接收器A可選擇視圖集合W輸出，及接收器B也可選擇視圖集合W輸出。 發(fā)送器裝置可編碼包含所述接收器所選擇的所有視圖的位流，包含輸出層集合W及可能基 于時間子集的輸出操作點的描述，且發(fā)送所述描述到接收器。在媒體呈現(xiàn)的描述中發(fā)信所 需輸出操作點。每一接收器確定輸出層集合的索引，其要求且傳遞最高temporalID及輸出 層集合列表中的輸出層集合的索引到接收器的解碼器。在此實例中，將索引用作視頻解碼 器中的外部裝置。
[0039] 視頻譯碼標準包含mj-TH. 261、IS0/IECMPEG-IVisual、mJ-T比 262 或ISO/ IECMPEG-2Visual、ITU-TH. 263、ISO/IECMPEG-4Visual及口U-TH. 264(也稱為ISO/ IECMPEG-4AVC)。視頻譯碼標準進一步包含口U-T比264的可調(diào)式視頻譯碼（SVC)及多 視圖視頻譯碼（MVC)擴展。
[0040] 另外，存在新的視頻譯碼標準，即ITU-T視頻譯碼專家群組（VCEG)及IS0/IEC 動畫專家群組（M陽G)的視頻譯碼聯(lián)合合作小組（JCT-VC)已定案的高效率視頻譯碼 (肥VC)。最新肥VC草案規(guī)范為工作草案10 (在本文中被稱作"肥VCWDlO" )，W引用的方 式全部并入本文中，Bross等人的高效率視頻譯碼（肥VC)文本規(guī)范草案10(2013年4月， Incheon)從 2013 年 7 月 12 日走己可從http://phenix.it-sudparis.eu/ict/docenduser/ do州ments/13Incheon/wRll/'TCTYC-M0432-v3.zip巧得。盡管本發(fā)巧中所描述的技術(shù)關(guān)于 肥VC標準來描述，但本發(fā)明的方面并未如此限制且可擴展到其它視頻譯碼標準W及專有視 頻譯碼技術(shù)。
[0041] 存在針對肥VC可用且經(jīng)開發(fā)的擴展。舉例來說，肥VC的多視圖擴展（即MV-肥VC) 也由JCT-3V開發(fā)。MV-肥VC的最近工作草案（WD)為WD4(在本文中被稱作"MV-肥VCWD4")， W引用的方式全部并入本文中，Tech等人的MV-HEVC草案文本4(2013年4月，Incheon) 從 2013 年 7 月 12 日起可從http://phenix.it-sudparis.eu/ict2/docenduser/ do州ments/4Incheon/wRll/'TCT3Y-D1004-v4.zip巧得。肥YC的可調(diào)式擴展（良口甜VC)也 由JCT-VC開發(fā)。甜VC的最近工作草案為甜VC工作草案2 (在本文中被稱作"SHVCWD2")， W引用的方式全部并入本文中，化en等人的SHVC工作草案2 (2013年4月，Incheon)從2013 年 7 月 12 日起可從http://phenix.it-sudparis.eu/ict/docenduser/documents/13 Incheon/wRll/'TCTYC-M1008-v3.zip巧得。
[0042] 圖I為說明可利用本發(fā)明中所描述的技術(shù)的實例視頻編碼及解碼系統(tǒng)10的框圖。 如圖1中所展示，系統(tǒng)10包含源裝置12,其產(chǎn)生稍后時間將由目的地裝置14解碼的經(jīng)編碼 視頻數(shù)據(jù)。源裝置12及目的地裝置14可包括廣泛范圍的裝置中的任一者，包含桌上型計 算機、筆記型（例如，膝上型）計算機、平板計算機、機頂盒、電話手持機（例如，所謂的"智 能"電話）、所謂的"智能"平板計算機、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲 控制臺、視頻流式傳輸裝置或類似者。在一些狀況下，源裝置12及目的地裝置14可能經(jīng)裝 備W用于無線通信。
[004引在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。目的 地裝置14包含輸入接口 28、視頻解碼器30及顯示裝置32。在其它實例中，源裝置12及目 的地裝置14可包含其它組件或布置。舉例來說，源裝置12可從外部視頻源18 (例如外部 相機）接收視頻數(shù)據(jù)。同樣地，目的地裝置14可與外部顯示裝置介接，而非包含集成式顯 示裝置。
[0044]圖1的所說明系統(tǒng)10僅為一個實例。本發(fā)明的技術(shù)可由任何數(shù)字視頻編碼及/ 或解碼裝置執(zhí)行。盡管所述技術(shù)大體上由視頻編碼裝置或視頻解碼裝置執(zhí)行，但所述技術(shù) 還可由視頻編碼器/解碼器（通常被稱為"編解碼器（CODEC)")執(zhí)行。此外，本發(fā)明的技 術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅為源裝置12在其中產(chǎn)生經(jīng)譯 碼視頻數(shù)據(jù)W供發(fā)射到目的地裝置14的此等譯碼裝置的實例。在一些實例中，裝置12、14 可W實質(zhì)上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼及解碼組件。因此， 系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻傳播W例如用于視頻流式傳輸、視頻 播放、視頻廣播或視頻電話。
[0045] 源裝置12的視頻源18可包含視頻俘獲裝置，例如視頻相機、含有先前俘獲的視頻 的視頻存檔及/或用W從視頻內(nèi)容提供者接收視頻的視頻饋送接口。作為另一替代，視頻