實施設(shè)備或?qū)嵺`方法。另外,本發(fā)明的范圍希望涵蓋使用除本文中所闡述的本發(fā)明的各種 方面之外還含有的或不同于本文中所闡述的本發(fā)明的各種方面的其它結(jié)構(gòu)、功能性或結(jié)構(gòu) 與功能性實踐的此設(shè)備或方法。應(yīng)理解,可通過技術(shù)方案的一或多個元素來體現(xiàn)本文中所 揭示的任何方面。
[0034] 雖然本文中描述特定方面,但這些方面的許多變化及排列屬于本發(fā)明的范圍內(nèi)。 雖然提及優(yōu)選方面的一些益處及優(yōu)點,但本發(fā)明的范圍并不希望限于特定益處、用途或目 標。確切地說,本發(fā)明的方面希望廣泛適用于不同無線技術(shù)、系統(tǒng)配置、網(wǎng)絡(luò)及傳輸協(xié)議,其 中的一些通過實例在各圖中及優(yōu)選方面的以下描述中加以說明。實施方式及圖式僅說明本 發(fā)明而不是限制本發(fā)明,本發(fā)明的范圍是通過所附權(quán)利要求書及其等效物來界定。
[0035] 圖1為說明可利用根據(jù)本發(fā)明中所描述的方面的技術(shù)的實例視頻編碼及解碼系 統(tǒng)的框圖。如圖1中所展示,系統(tǒng)10包含源裝置12,所述源裝置12提供待由目的地裝置 14在稍后時間解碼的經(jīng)編碼視頻數(shù)據(jù)。明確地說,源裝置12經(jīng)由計算機可讀媒體16將視 頻數(shù)據(jù)提供到目的地裝置14。源裝置12及目的地裝置14可包括廣泛范圍的裝置中的任一 者,所述廣泛范圍的裝置包含桌上型計算機、筆記型(例如,膝上型)計算機、平板計算機、 機頂盒、例如所謂的"智能型"電話等電話手持機、所謂的"智能型"平板計算機、電視機、攝 像機、顯示裝置、數(shù)字媒體播放器、數(shù)字游戲控制臺、視頻流裝置或其類似者。此外,在一些 實施例中,系統(tǒng)10可實施于單個裝置中。舉例來說,包含電話手持機的任何此單個裝置可 包括源裝置12及目的地裝置14兩者以及計算機可讀媒體16。在一些情況下,源裝置12及 目的地裝置14可經(jīng)裝備以用于無線通信。
[0036] 目的地裝置14可經(jīng)由計算機可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計算機 可讀媒體16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任何類型 的媒體或裝置。在一個實例中,計算機可讀媒體16可包括通信媒體以使得源裝置12能夠 將經(jīng)編碼視頻數(shù)據(jù)實時地直接發(fā)射到目的地裝置14??筛鶕?jù)通信標準(例如,無線通信協(xié) 議)調(diào)制經(jīng)編碼視頻數(shù)據(jù),且將經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14。通信媒體可包括任 何無線或有線通信媒體,例如,射頻(RF)頻譜或一或多個物理傳輸線。通信媒體可形成基 于包的網(wǎng)絡(luò)(例如,局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)等全球網(wǎng)絡(luò))的部分。通信媒體可包含路 由器、交換機、基站或可用以促進從源裝置12到目的地裝置14的通信的任何其它裝備。
[0037] 在一些實例中,可將經(jīng)編碼數(shù)據(jù)從輸出接口 22輸出到存儲裝置。類似地,可通過 輸入接口從存儲裝置存取經(jīng)編碼數(shù)據(jù)。存儲裝置可包含多種分散式或本地存取式數(shù)據(jù)存 儲媒體中的任一者,例如,硬盤驅(qū)動器、藍光光盤、DVD、CD-ROM、閃存存儲器、易失性或非易 失性存儲器或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適的數(shù)字存儲媒體。在再一實例中, 存儲裝置可對應(yīng)于可存儲由源裝置12產(chǎn)生的經(jīng)編碼視頻的文件服務(wù)器或另一中間存儲裝 置。目的地裝置14可經(jīng)由流式傳輸或下載從存儲裝置存取所存儲的視頻數(shù)據(jù)。文件服務(wù) 器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任何類 型的服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如,用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò)附接式 存儲器(NAS)裝置或本地磁盤驅(qū)動器。目的地裝置14可經(jīng)由任何標準數(shù)據(jù)連接(包含因 特網(wǎng)連接)存取經(jīng)編碼視頻數(shù)據(jù)。此數(shù)據(jù)連接可包含適合于存取存儲在文件服務(wù)器上的經(jīng) 編碼視頻數(shù)據(jù)的無線信道(例如,Wi-Fi連接)、有線連接(例如,DSL、纜線調(diào)制解調(diào)器等) 或兩者的組合。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的傳輸可為流式傳輸、下載傳輸或其組合。
[0038] 本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)置。所述技術(shù)可應(yīng)用于支持例如以下多種 多媒體應(yīng)用中的任一者的視頻譯碼:空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、例如經(jīng) 由HTTP的動態(tài)自適應(yīng)性流式傳輸(DASH)等因特網(wǎng)流式視頻發(fā)射、經(jīng)編碼到數(shù)據(jù)存儲媒體 上的數(shù)字視頻、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼或其它應(yīng)用。在一些實例中,系統(tǒng) 10可經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳輸、視頻播放、視頻廣播及 /或視頻電話等應(yīng)用。
[0039] 在圖1的實例中,源裝置12包含視頻源18、視頻編碼器20及輸出接口 22。在一 些實施例中,例如蜂窩式電話等無線通信裝置可包括源裝置12,源裝置12包含視頻源18、 視頻編碼器20及輸出接口 22。目的地裝置14包含輸入接口 28、視頻解碼器30及顯示裝 置32。在一些實施例中,例如蜂窩式電話等無線通信裝置可包括目的地裝置14,目的地裝 置14包含輸入接口 28、視頻解碼器30及顯示裝置32。舉例來說,在一些情況下,單個無線 通信裝置可包括源裝置12及目的地裝置14兩者。根據(jù)本發(fā)明,源裝置12的視頻編碼器 20可經(jīng)配置以應(yīng)用用于譯碼位流的技術(shù),所述位流包含遵守多個標準或標準擴展的視頻數(shù) 據(jù)。在其它實例中,源裝置及目的地裝置可包含其它組件或布置。舉例來說,源裝置12可 從外部視頻源18 (例如,外部攝像機)接收視頻數(shù)據(jù)。同樣地,目的地裝置14可與外部顯 示裝置介接,而不是包含集成式顯示裝置。
[0040] 圖1的所說明系統(tǒng)10僅為一個實例。用于確定用于針對用于當前塊的運動向量 預(yù)測子的候選者列表的候選者的技術(shù)可由任何數(shù)字視頻編碼及/或解碼裝置來執(zhí)行。雖然 一般由視頻編碼裝置執(zhí)行本發(fā)明的技術(shù),但還可由視頻編碼器/解碼器(通常被稱作"編碼 解碼器(CODEC)")執(zhí)行所述技術(shù)。此外,還可由視頻預(yù)處理器來執(zhí)行本發(fā)明的技術(shù)。源裝 置12及目的地裝置14僅為此類譯碼裝置的實例,在所述譯碼裝置中,源裝置12產(chǎn)生用于 發(fā)射到目的地裝置14的經(jīng)譯碼視頻數(shù)據(jù)。在一些實例中,裝置12、14可以實質(zhì)上對稱方式 進行操作,使得裝置12、14中的每一者包含視頻編碼及解碼組件。因此,系統(tǒng)10可支持視 頻裝置12、14之間的單向或雙向視頻發(fā)射,例如,用于視頻流式傳輸、視頻播放、視頻廣播 或視頻電話。
[0041] 源裝置12的視頻源18可包含視頻俘獲裝置,例如視頻攝像機、含有先前所俘獲的 視頻的視頻存檔及/或從視頻內(nèi)容提供者接收視頻的視頻饋入接口。作為再一替代例,視 頻源18可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻,或?qū)崨r視頻、經(jīng)封存視頻及計算機產(chǎn)生 的視頻的組合。在一些情況下,如果視頻源18為視頻攝像機,那么源裝置12及目的地裝置 14可形成所謂的攝像機電話或視頻電話。然而,如上文所提及,本發(fā)明中所描述的技術(shù)一般 可適用于視頻譯碼,且可適用于無線及/或有線應(yīng)用。在每一種情況下,所俘獲、經(jīng)預(yù)先俘 獲或計算機產(chǎn)生的視頻可由視頻編碼器20編碼。經(jīng)編碼視頻信息可接著由輸出接口 22輸 出到計算機可讀媒體16上。
[0042] 計算機可讀媒體16可包含暫時性媒體,例如無線廣播或有線網(wǎng)絡(luò)發(fā)射;或存儲媒 體(即,非暫時性存儲媒體),例如硬盤、閃存驅(qū)動器、壓縮光盤、數(shù)字影音光盤、藍光光盤或 其它計算機可讀媒體。舉例來說,在源裝置12及目的地裝置14實施為例如無線手持機等 單個裝置的一些實施例中,計算機可讀媒體16可包含任何存儲媒體。在一些實例中,網(wǎng)絡(luò) 服務(wù)器(未圖示)可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù),且(例如)經(jīng)由網(wǎng)絡(luò)傳輸、直接有 線通信等將所述經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置14。類似地,媒體生產(chǎn)設(shè)施(例如,光盤 壓印設(shè)施)的計算裝置可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)且生產(chǎn)含有所述經(jīng)編碼視頻數(shù) 據(jù)的光盤。因此,在各種實例中,可將計算機可讀媒體16理解成包含各種形式的一或多個 計算機可讀媒體。
[0043] 目的地裝置14的輸入接口 28從計算機可讀媒體16接收信息。計算機可讀媒體 16的信息可包含由視頻編碼器20定義的還供視頻解碼器30使用的語法信息,所述語法信 息包含描述塊及其它經(jīng)譯碼單元(例如,G0P)的特性及/或處理的語法元素。顯示裝置32 向用戶顯示經(jīng)解碼視頻數(shù)據(jù),且可包括多種顯示裝置中的任一者,例如,陰極射線管(CRT)、 液晶顯示器(IXD)、等離子顯示器、有機發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。
[0044] 視頻編碼器20及視頻解碼器30可根據(jù)例如目前在開發(fā)中的高效率視頻譯碼 (HEVC)標準等視頻譯碼標準操作,且可遵守HEVC測試模型(HM)。替代地,視頻編碼器20 及視頻解碼器30可根據(jù)例如替代地被稱作MPEG-4第10部分(高級視頻譯碼(AVC))的 ITU-T H. 264標準或此類標準的擴展等其它專屬或行業(yè)標準操作。然而,本發(fā)明的技術(shù)不限 于包含(但不限于)上文列出的標準中的任一者的任何特定譯碼標準。視頻譯碼標準的其 它實例包含MPEG-2及ITU-T H. 263。在一些方面中,視頻編碼器20及視頻解碼器30可各 自與音頻編碼器及解碼器集成,且可包含適當MUX-DEMUX單元或其它硬件及軟件,以處置 共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻及視頻兩者的編碼。在可適用的情況下,MUX-DEMUX單 元可遵守ITU H. 223多路復(fù)用器協(xié)議,或例如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié)議。
[0045] 視頻編碼器20及視頻解碼器30可各自實施為多種合適的編碼器電路中的任一 者,例如,一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門 陣列(FPGA)、離散邏輯、軟件、硬件、固件或其任何組合。當所述技術(shù)部分地以軟件實施時, 裝置可將用于軟件的指令存儲在合適的非暫時性計算機可讀媒體中,且在硬件中使用一或 多個處理器來執(zhí)行所述指令以執(zhí)行本發(fā)明的技術(shù)。視頻編碼器20及視頻解碼器30中的每 一者可包含在一或多個編碼器或解碼器中,其中任一者可集成為相應(yīng)裝置中的組合式編碼 器/解碼器(編碼解碼器(CODEC))的部分。包含視頻編碼器20及/或視頻解碼器30的 裝置可包括集成電路、微處理器及/或無線通信裝置(例如,蜂窩式電話)。
[0046] JCT-VC正致力于HEVC標準的開發(fā)。HEVC標準化努力是基于視頻譯碼裝置的被稱 作HEVC測試模型(HM)的演進模型。HM假設(shè)視頻譯碼裝置相對于根據(jù)(例如)ITU-T H. 264/ AVC的現(xiàn)有裝置的若干額外能力。舉例來說,H. 264提供九種幀內(nèi)預(yù)測編碼模式,而HM可提 供多達三十三種幀內(nèi)預(yù)測編碼模式。
[0047] 一般來說,HM的工作模型描述可將視頻幀或圖片劃分成包含明度樣本及色度樣本 兩者的一序列樹塊或最大譯碼單元(LCU)。位流內(nèi)的語法數(shù)據(jù)可定義LCU的大小,就像素的 數(shù)目來說,LCU為最大譯碼單元。切片包含按譯碼次序的許多連續(xù)樹塊??蓪⒁曨l幀或圖 片分割成一或多個切片。每一樹塊可根據(jù)四叉樹而分裂成譯碼單元(CU)。一般來說,四叉 樹數(shù)據(jù)結(jié)構(gòu)每CU包含一個節(jié)點,其中根節(jié)點對應(yīng)于樹塊。如果將CU分裂成四個子CU,那么 對應(yīng)于所述CU的節(jié)點包含四個葉節(jié)點,所述四個葉節(jié)點中的每一者對應(yīng)于所述子CU中的 一者。
[0048] 所述四叉樹數(shù)據(jù)結(jié)構(gòu)中的每一節(jié)點可提供用于對應(yīng)CU的語法數(shù)據(jù)。舉例來說,四 叉樹中的節(jié)點可包含分裂旗標,其指示是否將對應(yīng)于節(jié)點的CU分裂成子CU??蛇f歸地定 義用于⑶的語法元素,且用于⑶的語法元素可取決于⑶是否分裂成子⑶。如果⑶未經(jīng) 進一步分裂,那么其被稱作葉CU。在本發(fā)明中,即使不存在原始葉CU的顯式分裂,葉CU的 四個子⑶也將被稱作葉⑶。舉例來說,如果16X 16大小的⑶未經(jīng)進一步分裂,那么四個 8 X 8子CU也被稱作葉CU,盡管16 X 16CU從未經(jīng)分裂。
[0049] 除了 CU不具有大小區(qū)別之外,CU具有與H. 264標準的宏塊類似的目的。舉例來 說,樹塊可分裂成四個子節(jié)點(還被稱作子CU),且每一子節(jié)點可又為父節(jié)點并分裂成另外 四個子節(jié)點。被稱作四叉樹的葉節(jié)點的最終未分裂子節(jié)點包括譯碼節(jié)點,所述譯碼節(jié)點也 被稱作葉CU。與經(jīng)譯碼位流相關(guān)聯(lián)的語法數(shù)據(jù)可定義可將樹塊分裂的最大次數(shù)(其被稱作 最大CU深度),且還可定義所述譯碼節(jié)點的最小大小。因此,位流還可定義最小譯碼單元 (SCU)。本發(fā)明使用術(shù)語"塊"來指在HEVC的上下文中的CU、PU或TU中的任一者,或在其 它標準的上下文中的類似數(shù)據(jù)結(jié)構(gòu)(例如,H. 264/AVC中的宏塊及其子塊)。
[0050] CU包含譯碼節(jié)點及與所述譯碼節(jié)點相關(guān)聯(lián)的預(yù)測單元(PU)及變換單元(TU)。CU 的大小對應(yīng)于譯碼節(jié)點的大小,且形狀必須為正方形。CU的大小的范圍可從8X8個像素直 到具有最大64X64個像素或更大的樹塊的大小。每一 CU可含有一或多個PU及一或多個 TU。與CU相關(guān)聯(lián)的語法數(shù)據(jù)可描述(例如)CU到一或多個PU的分割。分割模式可在CU 經(jīng)跳過或經(jīng)直接模式編碼、經(jīng)幀內(nèi)預(yù)測模式編碼抑或經(jīng)幀間預(yù)測模式編碼之間不同。PU在 形狀上可分割成非正方形。與CU相關(guān)聯(lián)的語法數(shù)據(jù)還可描述(例如)根據(jù)四叉樹將CU分 割成一或多個TU。TU在形狀上可