用于視頻譯碼的視差向量和/或高級殘差預(yù)測的制作方法
【專利摘要】一種用于處理三維3D視頻數(shù)據(jù)的裝置可基于在視頻參數(shù)集中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的所述當(dāng)前紋理層取決于所述視頻數(shù)據(jù)的深度層；且使用所述深度層來處理所述當(dāng)前紋理層。
【專利說明】用于視頻譚碼的視差向量和/或高級殘差預(yù)測
[0001 ]本申請案主張2014年1月3日申請的第61 /923，613號美國臨時申請案的權(quán)益，所述 申請案的全部內(nèi)容W引用的方式并入本文中。
技術(shù)領(lǐng)域
[0002] 本發(fā)明設(shè)及視頻譯碼。
【背景技術(shù)】
[0003] 數(shù)字視頻能力可并入到多種多樣的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理(PDA)、膝上型或桌上型計算機、平板計算機、電子書閱讀器、數(shù)碼相 機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電 電話(所謂的"智能電話"）、視頻電話會議裝置、視頻串流裝置及其類似者。數(shù)字視頻裝置實 施視頻壓縮技術(shù)，例如，在由MPEG-2、MPEG-4、ITU-T H. 263、mJ-T H. 264/MPEG-4第 10部分 高級視頻譯碼(AVC)定義的標(biāo)準(zhǔn)、目前正在開發(fā)的高效視頻譯碼化EVC)標(biāo)準(zhǔn)及此類標(biāo)準(zhǔn)的 擴展中所描述的視頻壓縮技術(shù)。視頻裝置可通過實施此類視頻壓縮技術(shù)來更有效率地發(fā) 射、接收、編碼、解碼和/或存儲數(shù)字視頻信息。
[0004] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測和/或時間（圖片間)預(yù)測來減少或去除視頻 序列中固有的冗余。對于基于塊的視頻譯碼來說，視頻切片（即，圖片或圖片的一部分)可分 割成視頻塊，視頻塊還可被稱作樹塊、譯碼單元(CU)和/或譯碼節(jié)點。使用關(guān)于同一圖片中 的相鄰塊中的參考樣本的空間預(yù)測編碼圖片的經(jīng)帖內(nèi)譯碼（I)切片中的視頻塊。圖片的經(jīng) 帖間編碼(P或B)切片中的視頻塊可使用相對于同一圖片中的相鄰塊中的參考樣本的空間 預(yù)測或相對于其它參考圖片中的參考樣本的時間預(yù)測。
[0005] 空間或時間預(yù)測導(dǎo)致待譯碼塊的預(yù)測性塊。殘差數(shù)據(jù)表示待譯碼原始塊與預(yù)測性 塊之間的像素差。經(jīng)帖間譯碼塊是根據(jù)指向形成預(yù)測塊的參考樣本塊的運動向量和指示經(jīng) 譯碼塊與預(yù)測塊之間的差的殘差數(shù)據(jù)編碼的。根據(jù)帖內(nèi)譯碼模式和殘差數(shù)據(jù)來編碼經(jīng)帖內(nèi) 譯碼塊。為了進一步壓縮，可將殘差數(shù)據(jù)從空間域變換到變換域，從而產(chǎn)生殘差變換系數(shù)， 接著可對殘差變換系數(shù)進行量化?？蓲呙枰婚_始按二維陣列排列的經(jīng)量化變換系數(shù)，W便 產(chǎn)生變換系數(shù)的一維向量，且可應(yīng)用賭譯碼來實現(xiàn)更多壓縮。

【發(fā)明內(nèi)容】

[0006] 在一個實例中，一種處理S維(3D)視頻數(shù)據(jù)的方法包含:基于在視頻參數(shù)集(VPS) 中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的當(dāng)前紋理層是取決于視頻數(shù)據(jù)的深度 層；W及使用所述深度層來處理所述當(dāng)前紋理層。
[0007] 在另一實例中，一種編碼3D視頻數(shù)據(jù)的方法包含：響應(yīng)于視頻數(shù)據(jù)的當(dāng)前紋理層 取決于視頻數(shù)據(jù)的深度層，在視頻參數(shù)集中發(fā)信號通知直接相依層；W及使用所述深度層 來處理當(dāng)前紋理層。
[000引在另一實例中，一種視頻譯碼裝置包含:存儲器，其經(jīng)配置W存儲視頻數(shù)據(jù)；W及 一或多個處理器，其經(jīng)配置W基于在視頻參數(shù)集中發(fā)信號通知的直接相依層，確定視頻數(shù) 據(jù)的當(dāng)前紋理層取決于視頻數(shù)據(jù)的深度層，且使用所述深度層來處理當(dāng)前紋理層。
[0009] 在另一實例中，一種存儲指令的計算機可讀儲存媒體，所述指令在由一個或一個 W上處理器執(zhí)行時，致使所述一或多個處理器基于在視頻參數(shù)集中發(fā)信號通知的直接相依 層，確定視頻數(shù)據(jù)的當(dāng)前紋理層取決于視頻數(shù)據(jù)的深度層，且使用所述深度層來處理當(dāng)前 紋理層。
[0010] 在另一實例中，一種用于處理3D視頻數(shù)據(jù)的設(shè)備包含：用于基于在視頻參數(shù)集中 發(fā)信號通知的直接相依層確定視頻數(shù)據(jù)的當(dāng)前紋理層取決于視頻數(shù)據(jù)的深度層的裝置；W 及用于使用所述深度層來處理當(dāng)前紋理層的裝置。
[0011] 附圖和W下描述中陳述一或多個實例的細(xì)節(jié)。其它特征、目標(biāo)和優(yōu)點將從所述描 述和圖式W及所附權(quán)利要求書而顯而易見。
【附圖說明】
[0012] 圖1是說明可利用本發(fā)明中所描述的技術(shù)的實例視頻編碼和解碼系統(tǒng)的框圖。 [OOK]圖視說明高效視頻譯碼化EVC)標(biāo)準(zhǔn)中陳述的帖內(nèi)預(yù)測模式的圖。
[0014]圖3是說明用于基于相鄰塊的視差向量(NBDV)的空間和時間相鄰塊的框圖。
[001引圖4是說明運動向量預(yù)測符候選者的實例位置的框圖。
[0016] 圖5是說明可如何定位來自參考視圖的深度塊且接著用于向后扭曲視圖合成預(yù)測 (BVSP)的S個步驟的圖。
[0017] 圖6是說明經(jīng)視圖間預(yù)測的運動向量候選者的導(dǎo)出過程的實例的圖。
[0018] 圖7是展示S維肥VC(3D-HEVC)中的10化ndidx和11化ndidx的說明書的表。
[0019] 圖8展示用于確定運動向量繼承(MVI)候選者的實例導(dǎo)出過程，其中將對應(yīng)的紋理 塊選定為位于當(dāng)前PU的中屯、的右下部的4 X 4塊。
[0020] 圖9是說明針對一個參考圖片列表的多視圖視頻譯碼和3D視頻譯碼中的高級殘差 預(yù)測(ARP)的預(yù)測結(jié)構(gòu)的圖。
[0021] 圖10是說明用于視圖間殘差的ARP的實例預(yù)測結(jié)構(gòu)的圖。
[0022] 圖IlA和IlB是說明用于時間殘差和視圖間殘差的塊層級ARP的實例預(yù)測結(jié)構(gòu)的 圖。
[0023] 圖12是說明可實施本發(fā)明中描述的技術(shù)的實例視頻編碼器的框圖。
[0024] 圖13是說明可實施本發(fā)明中描述的技術(shù)的實例視頻解碼器的框圖。
[0025] 圖14是說明用于根據(jù)本發(fā)明中描述的技術(shù)對視頻數(shù)據(jù)進行編碼的實例方法的流 程圖。
[0026] 圖15是說明根據(jù)本發(fā)明中所描述的技術(shù)的用于處理視頻數(shù)據(jù)的實例方法的流程 圖。
【具體實施方式】
[0027] 本發(fā)明描述與視頻譯碼有關(guān)的技術(shù)，且更明確地說，設(shè)及與=維（3D)視頻譯碼和 其它類型的多層和/或多視圖譯碼有關(guān)的技術(shù)。用于譯碼多層視頻的各種譯碼工具利用從 一個層獲得的信息來譯碼當(dāng)前層中的一或多個視頻塊。舉例來說，可通過識別用W譯碼另 一層的另一塊的運動向量來確定用于譯碼當(dāng)前層的當(dāng)前塊的運動向量。因為當(dāng)前層的譯碼 是取決于另一層，所W將當(dāng)前層視為直接取決于所述另一層。為了使視頻解碼器和其它視 頻處理裝置恰當(dāng)?shù)靥幹枚鄬右曨l，視頻處理裝置可需要知曉某一層取決于哪些其它層。 [00%]在3D視頻譯碼中，通常將視頻數(shù)據(jù)譯碼為一或多個紋理視圖和一或多個對應(yīng)深度 視圖?；诮?jīng)譯碼的紋理視圖和經(jīng)譯碼的深度視圖，視頻擅染裝置可合成額外視圖。如將在 下文更詳細(xì)地闡釋，各種譯碼工具(例如深度定向的、相鄰塊視差(DoNBDV)過程或向后扭曲 視圖合成預(yù)測(BVSP)過程)可利用從深度層獲得的信息來譯碼紋理層，從而使紋理層直接 取決于深度層。
[0029] 根據(jù)本發(fā)明的技術(shù)，一種視頻編碼器可例如在視頻參數(shù)集(VPS)中發(fā)信號通知具 有深度和紋理的不同特性的層的直接相依性。換句話說，一種視頻編碼器可在所述視頻位 流中發(fā)信號通知紋理層取決于特定深度層，或深度層取決于特定紋理層。
[0030] 將參考視頻譯碼器來描述本發(fā)明中的各種技術(shù)，其既定為可指代視頻編碼器或視 頻解碼器的通用術(shù)語。除非W其它方式明確陳述，否則不應(yīng)假定相對于視頻編碼器或視頻 解碼器描述的技術(shù)無法由視頻編碼器或視頻解碼器中的另一者來執(zhí)行。舉例來說，在許多 情況下，視頻解碼器執(zhí)行與視頻編碼器相同或有時互逆的譯碼技術(shù)，W便解碼經(jīng)編碼視頻 數(shù)據(jù)。在許多情況下，視頻編碼器還包含視頻解碼環(huán)，且因此視頻編碼器執(zhí)行視頻解碼作為 編碼視頻數(shù)據(jù)的一部分。因此，除非另外說明，否則本發(fā)明中描述的技術(shù)可由視頻編碼器或 視頻解碼器執(zhí)行。
[0031] 本發(fā)明還可使用例如當(dāng)前層當(dāng)前塊、當(dāng)前圖片、當(dāng)前切片等術(shù)語。在本發(fā)明的上下 文中，術(shù)語當(dāng)前既定識別當(dāng)前正譯碼的層、塊、圖片、切片等，例如與先前經(jīng)譯碼層、塊、圖片 和切片或待譯碼塊、圖片和切片相反。
[0032] 圖1是說明可利用本發(fā)明中描述的技術(shù)的實例視頻編碼和解碼系統(tǒng)10的框圖。如 圖1中所展示，系統(tǒng)10包含源裝置12,其提供稍后時間將由目的地裝置14解碼的經(jīng)編碼視頻 數(shù)據(jù)。確切地說，源裝置12經(jīng)由計算機可讀媒體16將視頻數(shù)據(jù)提供到目的地裝置14。源裝置 12和目的地裝置14可包括多種多樣的裝置中的任一者，包含桌上型計算機、筆記型（即，膝 上型)計算機、平板計算機、機頂盒、電話手持機(例如所謂的"智能"電話）、所謂的"智能"平 板計算機、電視機、相機、顯示裝置、數(shù)字媒體播放器、視頻游戲控制臺、視頻流式傳輸裝置 或類似者。在一些情況下，可裝備源裝置12和目的地裝置14W用于無線通信。
[0033] 目的地裝置14可經(jīng)由計算機可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計算機可 讀媒體16可包括能夠?qū)⒔?jīng)編碼的視頻數(shù)據(jù)從源裝置12移動到目的地裝置14的任一類型的 媒體或裝置。在一個實例中，計算機可讀媒體16可包括通信媒體W使源裝置12能夠?qū)崟r地 將經(jīng)編碼的視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。
[0034] 可根據(jù)通信標(biāo)準(zhǔn)（例如，無線通信協(xié)議)調(diào)制經(jīng)編碼的視頻數(shù)據(jù)，并將其發(fā)射到目 的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻(RF)頻譜或一或多個物 理傳輸線。通信媒體可形成基于分組的網(wǎng)絡(luò)（例如，局域網(wǎng)、廣域網(wǎng)或全球網(wǎng)絡(luò)，例如因特 網(wǎng)）的部分。通信媒體可包含路由器、交換器、基站或任何其它可用于促進從源裝置12到目 的地裝置14的通信的設(shè)備。
[0035] 在一些實例中，可將經(jīng)編碼視頻數(shù)據(jù)從輸出接口22輸出到存儲裝置。類似地，可通 過輸入接口從存儲裝置存取經(jīng)編碼視頻數(shù)據(jù)。存儲裝置可包含多種分布式或本地存取的數(shù) 據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動器、藍(lán)光光盤、DVD、CD-ROM、快閃存儲器、易失性或非 易失性存儲器或任何其它用于存儲經(jīng)編碼視頻數(shù)據(jù)的合適數(shù)字存儲媒體。在另一實例中， 存儲裝置可對應(yīng)于文件服務(wù)器或另一可存儲源裝置12產(chǎn)生的經(jīng)編碼視頻的中間存儲裝置。
[0036] 目的地裝置14可經(jīng)由流式傳輸或下載從存儲裝置存取所存儲的視頻數(shù)據(jù)。文件服 務(wù)器可為任何類型的能夠存儲經(jīng)編碼的視頻數(shù)據(jù)且將經(jīng)編碼的視頻數(shù)據(jù)發(fā)射到目的地裝 置14的服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如，用于網(wǎng)站）、FTP服務(wù)器、網(wǎng)絡(luò)附接式 存儲(NAS)裝置或本地磁盤驅(qū)動器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含因特網(wǎng)連 接)來存取經(jīng)編碼視頻數(shù)據(jù)。運可包含無線信道(例如，Wi-Fi連接）、有線連接(例如，D化、電 纜調(diào)制解調(diào)器等），或適合于存取存儲在文件服務(wù)器上的經(jīng)編碼視頻數(shù)據(jù)的兩者的組合。經(jīng) 編碼視頻數(shù)據(jù)從存儲裝置的發(fā)射可能是流式傳輸發(fā)射、下載發(fā)射或其組合。
[0037] 本發(fā)明的技術(shù)未必限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于視頻譯碼W支持多種 多媒體應(yīng)用中的任一者，例如空中協(xié)議電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)流 式視頻發(fā)射(例如，經(jīng)由HTTP的動態(tài)自適應(yīng)流式傳輸(DASH))、經(jīng)編碼到數(shù)據(jù)存儲媒體上的 數(shù)字視頻、存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻的解碼或其它應(yīng)用。在一些實例中，系統(tǒng)10可 經(jīng)配置W支持單向或雙向視頻傳輸，W支持例如視頻流式傳輸、視頻重放、視頻廣播和/或 視頻電話等應(yīng)用。
[0038] 在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20和輸出接口 22。目的地裝 置14包含輸入接口 28、視頻解碼器30和顯示裝置32。根據(jù)本發(fā)明，源裝置12的視頻編碼器20 可經(jīng)配置W應(yīng)用所述技術(shù)來用于多視圖譯碼中的運動向量預(yù)測。在其它實例中，源裝置和 目的地裝置可包括其它組件或布置。舉例來說，源裝置12可從外部視頻源18(例如外部相 機)接收視頻數(shù)據(jù)。同樣，目的地裝置14可與外部顯示裝置介接，而非包含集成式顯示裝置。
[0039] 圖1的所說明的系統(tǒng)10只是一個實例?？捎扇魏螖?shù)字視頻編碼和/或解碼裝置來執(zhí) 行用于時間運動向量預(yù)測的技術(shù)。盡管本發(fā)明的技術(shù)一般通過視頻編碼裝置來執(zhí)行，但是 所述技術(shù)還可通過視頻編碼器/解碼器(通常被稱作"編碼解碼器"）來執(zhí)行。此外，本發(fā)明的 技術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置12和目的地裝置14僅為源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù) 據(jù)W用于發(fā)射到目的地裝置14的所述譯碼裝置的實例。在一些實例中，裝置12、14可W實質(zhì) 上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼和解碼組件。因此，系統(tǒng)10可 支持視頻裝置12、14之間的單向或雙向視頻發(fā)射W(例如）用于視頻流式傳輸、視頻重放、視 頻廣播或視頻電話。
[0040] 源裝置12的視頻源18可包含視頻捕獲裝置，例如攝像機、含有先前所捕獲視頻的 視頻存檔和/或用于從視頻內(nèi)容提供者接收視頻的視頻饋送接口。作為另一替代方案，視頻 源18可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻，或?qū)崨r視頻、存檔視頻與計算機產(chǎn)生的視 頻的組合。在一些情況下，如果視頻源18是攝像機，那么源裝置12和目的地裝置14可形成所 謂的相機電話或視頻電話。然而，如上文所提到，本發(fā)明中所描述的技術(shù)可大體上適用于視 頻譯碼，且可應(yīng)用于無線和/或有線應(yīng)用。在每一情況下，捕獲、預(yù)先捕獲或計算機產(chǎn)生的視 頻可由視頻編碼器20編碼。經(jīng)編碼視頻信息可接著由輸出接口 22輸出到計算機可讀媒體16 上。
[0041] 計算機可讀媒體16可包含瞬時媒體，例如無線廣播或有線網(wǎng)絡(luò)發(fā)射，或存儲媒體 (也就是說，非暫時性存儲媒體），例如硬盤、快閃驅(qū)動器、壓縮光盤、數(shù)字視頻光盤、藍(lán)光光 盤或其它計算機可讀媒體。在一些實例中，網(wǎng)絡(luò)服務(wù)器(未圖示)可從源裝置12接收經(jīng)編碼 視頻數(shù)據(jù)，并且例如經(jīng)由網(wǎng)絡(luò)發(fā)射將經(jīng)編碼視頻數(shù)據(jù)提供到目的地裝置14。類似地，媒體生 產(chǎn)設(shè)施(例如，光盤沖壓設(shè)施)的計算裝置可從源裝置12接收經(jīng)編碼的視頻數(shù)據(jù)且生產(chǎn)含有 經(jīng)編碼的視頻數(shù)據(jù)的光盤。因此，在各種實例中，計算機可讀媒體16可W理解為包含各種形 式的一或多個計算機可讀媒體。
[0042] 目的地裝置14的輸入接口 28從計算機可讀媒體16接收信息。計算機可讀媒體16的 信息可包含由視頻編碼器20定義的語法信息，所述語法信息也被視頻解碼器30使用，其包 含描述塊和其它經(jīng)譯碼單元(例如G0P)的特性和/或處理的語法元素。顯示裝置32向用戶顯 示經(jīng)解碼視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如陰極射線管(CRT)、液晶顯示 器化CD)、等離子顯示器、有機發(fā)光二極管(OLED)顯示器或另一類型的顯示裝置。
[0043] 視頻編碼器20和視頻解碼器30可根據(jù)例如高效率視頻譯碼化EVC)標(biāo)準(zhǔn)等視頻譯 碼標(biāo)準(zhǔn)操作，并且可符合肥VC測試模型(HM)?；蛘呋蛄硗猓曨l編碼器20和視頻解碼器30可 根據(jù)其它專有或業(yè)界標(biāo)準(zhǔn)來操作，所述標(biāo)準(zhǔn)例如是ITU-T H. 264標(biāo)準(zhǔn)(或者被稱作MPEG-4第 10部分，高級視頻譯碼(AVC))，或此類標(biāo)準(zhǔn)的擴展。然而，本發(fā)明的技術(shù)不限于任何特定譯 碼標(biāo)準(zhǔn)。
[0044] ITU-T H. 264/MPEG-4(AVC)標(biāo)準(zhǔn)是作為被稱為聯(lián)合視頻小組(JVT)的集體聯(lián)盟的 產(chǎn)品而由口U-T視頻譯碼專家組(VCEG)連同IS0/IEC移動圖片專家組(MPEG)制定。在一些方 面中，本發(fā)明中描述的技術(shù)可應(yīng)用于大體符合H. 264標(biāo)準(zhǔn)的裝置。H. 264標(biāo)準(zhǔn)描述于ITU-T研 究組的日期為2005年3月的"ITU-T建議H. 264，用于通用視聽服務(wù)的高級視頻譯碼"（口U-T Recommendation H.264,Advanced Video Coding for generic audiovisual services) 中，所述標(biāo)準(zhǔn)在本文中可被稱作H. 264標(biāo)準(zhǔn)或H. 264規(guī)范或H. 264/AVC標(biāo)準(zhǔn)或規(guī)范。聯(lián)合視頻 小組(JVT)繼續(xù)致力于對H. 264/MPEG-4AVC的擴展。
[0045] 視頻編碼器20和視頻解碼器30可經(jīng)配置W根據(jù)其操作的其它視頻譯碼標(biāo)準(zhǔn)包含 ITU-T H.261JS0/IEC MPEG-I視覺、ITU-T H.262或IS0/IEC MPEG-2視覺、ITU-T H.263、 IS0/IEC MPEG-4視覺和口U-T H.264(也被稱作IS0/IEC MPEG-4AVC)，包含其可縮放視頻譯 碼（SVC)和多視圖視頻譯碼(MVC)擴展。MVC的草案描述于2010年3月的"用于通用視聽服務(wù) 的高級視頻譯碼"（ITU-T建議H.264)中。
[0046] JCT-VC最近已定案了肥VC標(biāo)準(zhǔn)。肥VC標(biāo)準(zhǔn)化努力是基于被稱作肥VC測試模型(歷） 的視頻譯碼裝置的演進模型。!^假定視頻譯碼裝置相對于根據(jù)例如口1]-1' H. 264/4￥如勺現(xiàn) 有裝置的幾項額外能力。舉例來說，雖然H. 264提供了九個帖內(nèi)預(yù)測編碼模式，但HM可提供 多達=十=個帖內(nèi)預(yù)測編碼模式。
[0047] -般來說，HM的工作模型描述視頻圖片(或"帖"）可被劃分為包含亮度和色度樣本 兩者的樹塊或最大譯碼單元化CU)的序列。位流內(nèi)的語法數(shù)據(jù)可界定最大譯碼單位化CU,其 是就像素數(shù)目來說的最大譯碼單位)的大小。切片包含按譯碼次序的若干連續(xù)樹塊。圖片可 分割成一或多個切片。每一樹塊可根據(jù)四叉樹分裂成譯碼單元(CU)。一般來說，四叉樹數(shù)據(jù) 結(jié)構(gòu)包含每CU-個節(jié)點，其中一個根節(jié)點對應(yīng)于所述樹塊。如果一個CU分裂成四個子CU，那 么對應(yīng)于CU的節(jié)點包含四個葉節(jié)點，其中的每一者對應(yīng)于所述子CU中的一者。
[0048] 四叉樹數(shù)據(jù)結(jié)構(gòu)的每一節(jié)點可提供用于對應(yīng)CU的語法數(shù)據(jù)。舉例來說，四叉樹中 的節(jié)點可包含分裂旗標(biāo)，其指示對應(yīng)于所述節(jié)點的所述CU是否分裂成子CU。用于CU的語法 元素可遞歸地來定義，且可取決于CU是否分裂成數(shù)個子CU。如果CU不進一步分裂，那么將其 稱為葉CU。在本發(fā)明中，葉CU的四個子CU也可被稱作葉CU,即使不存在原始葉CU的明確分裂 時也是如此。舉例來說，如果16X16大小的CU未進一步分裂，那么運四個8X8子CU也可被稱 作葉CU,雖然16 X 16CU從未分裂。
[0049] CU具有與H. 264標(biāo)準(zhǔn)的宏塊類似的目的，除了CU不具有大小區(qū)別。舉例來說，樹塊 可分裂成四個子節(jié)點（也稱為子CU),且每一子節(jié)點又可為父節(jié)點且可分裂成另外四個子節(jié) 點。最終的未經(jīng)分裂子節(jié)點(被稱作四叉樹的葉節(jié)點)包括譯碼節(jié)點，還被稱作葉CU。與經(jīng)譯 碼位流相關(guān)聯(lián)的語法數(shù)據(jù)可定義樹塊可分裂的最大次數(shù)，被稱作最大CU深度，且還可定義 譯碼節(jié)點的最小大小。因此，位流還可界定最小譯碼單元(SCU)。本發(fā)明使用術(shù)語"塊"來指 皿VC的上下文中的CU、PU或TU中的任一者，或者其它標(biāo)準(zhǔn)的上下文中的類似數(shù)據(jù)結(jié)構(gòu)（例 如，其在H. 264/AVC中的宏塊和子塊）。
[0050] CU包含譯碼節(jié)點和與所述譯碼節(jié)點相關(guān)聯(lián)的預(yù)測單元(PU)和變換單元(TU)XU的 大小對應(yīng)于譯碼節(jié)點的大小并且形狀必須是正方形。CU的大小可介于8X8個像素至多達具 有最大64X64個像素或更大的樹塊大小的范圍內(nèi)。每一CU可含有一或多個PU和一或多個 TU。舉例來說，與CU相關(guān)聯(lián)的語法數(shù)據(jù)可描述CU分割成一或多個PU。分割模式可在CU被跳過 或經(jīng)直接模式編碼、經(jīng)帖內(nèi)預(yù)測模式編碼或經(jīng)帖間預(yù)測模式編碼之間有所不同。PU可分割 成非正方形形狀。舉例來說，與C財目關(guān)聯(lián)的語法數(shù)據(jù)還可描述CU根據(jù)四叉樹到一或多個TU 的分割。TU可為正方形或非正方形(例如，矩形)形狀。
[0051] 皿VC標(biāo)準(zhǔn)允許根據(jù)TU變換，TU可針對不同CU而有所不同。TU的大小通常是基于針 對經(jīng)分割LCU定義的給定CU內(nèi)的PU的大小而確定，但是情況可能并不總是如此。TU通常與PU 大小相同或小于PU。在一些實例中，可使用被稱為"殘差四叉樹"（RQT)的四叉樹結(jié)構(gòu)將對應(yīng) 于CU的殘差樣本細(xì)分成較小單元。RQT的葉節(jié)點可被稱為變換單元(TU)?？勺儞Q與TU相關(guān)聯(lián) 的像素差值W產(chǎn)生變換系數(shù)，所述變換系數(shù)可經(jīng)量化。
[0052] 葉CU可包含一或多個預(yù)測單元(PU)。一般來說，PU表示對應(yīng)于對應(yīng)CU的全部或一 部分的空間區(qū)域，并且可包含用于檢索PU的參考樣本的數(shù)據(jù)。此外，PU包含與預(yù)測有關(guān)的數(shù) 據(jù)。舉例來說，當(dāng)PU經(jīng)帖內(nèi)模式編碼時，用于PU的數(shù)據(jù)可包含在殘差四叉樹(RQT)中，殘差四 叉樹可包含描述用于對應(yīng)于PU的TU的帖內(nèi)預(yù)測模式的數(shù)據(jù)。作為另一實例，當(dāng)PU經(jīng)帖間模 式編碼時，PU可包含定義PU的一或多個運動向量的數(shù)據(jù)。界定PU的運動向量的數(shù)據(jù)可描述 (例如)運動向量的水平分量、運動向量的垂直分量、運動向量的分辨率(例如，四分之一像 素精度或八分之一像素精度）、運動向量所指向的參考圖片，和/或運動向量的參考圖片列 表(例如，列表0、列表1或列表C)。
[0053] 具有一或多個PU的葉CU還可包含一或多個變換單元(TU)。變換單元可使用RQT(也 稱為TU四叉樹結(jié)構(gòu)）來指定，如上文所論述。舉例來說，分裂旗標(biāo)可指示葉CU是否分裂成四 個變換單元。接著，每一變換單元可進一步分裂成更多個子TU。當(dāng)TU未進一步分裂時，其可 被稱作葉TU。通常，對于帖內(nèi)譯碼，屬于一葉CU的所有葉TU共享相同的帖內(nèi)預(yù)測模式。也就 是說，一般應(yīng)用相同的帖內(nèi)預(yù)測模式來計算葉CU的所有TU的預(yù)測值。對于帖內(nèi)譯碼，視頻編 碼器20可使用帖內(nèi)預(yù)測模式將每一葉TU的殘差值計算為CU的對應(yīng)于TU的部分與原始塊之 間的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。對于帖內(nèi)譯碼，PU可與相同CU的 對應(yīng)葉TU并置。在一些實例中，葉TU的最大大小可對應(yīng)于對應(yīng)葉CU的大小。
[0054] 此外，葉CU的TU還可與相應(yīng)的四叉樹數(shù)據(jù)結(jié)構(gòu)(被稱作殘差四叉樹(RQT))相關(guān)聯(lián)。 就是說，葉CU可包含指示葉CU如何分割成TU的四叉樹。TU四叉樹的根節(jié)點一般對應(yīng)于葉CU, 而CU四叉樹的根節(jié)點一般對應(yīng)于樹塊(或LCU)。未經(jīng)分裂的RQT的TU被稱作葉TU。一般來說， 除非W其它方式提到，否則本發(fā)明分別使用術(shù)語CU和TU來指葉CU和葉TU。
[0055] 視頻序列通常包含一系列圖片。如本文所描述，術(shù)語"圖片"與"帖"可互換使用。就 是說，含有視頻數(shù)據(jù)的圖片可被稱為視頻帖或簡稱為"帖"。圖片群組(GOP) -般包括一系列 一或多個視頻圖片。GOP可包含在GOP的標(biāo)頭、圖片中的一或多者的標(biāo)頭或其它地方中的語 法數(shù)據(jù)，所述語法數(shù)據(jù)描述GOP中所包含的圖片的數(shù)目。圖片的每一切片可包含描述用于相 應(yīng)切片的編碼模式的切片語法數(shù)據(jù)。視頻編碼器20通常對個別視頻切片內(nèi)的視頻塊進行操 作W便對視頻數(shù)據(jù)進行編碼。視頻塊可與CU內(nèi)的譯碼節(jié)點相對應(yīng)。視頻塊可具有固定或變 化的大小，并且根據(jù)指定譯碼標(biāo)準(zhǔn)可在大小上有所不同。
[0056] 作為實例，HM支持各種PU大小的預(yù)測。假定特定CU的大小為2NX2N，那么歷支持2N X 2N或N X N的PU大小的帖內(nèi)預(yù)巧U，W及2N X 2N、2N X N、N X 2N或N X N的對稱PU大小的帖間預(yù) ^i。HM還支持用于在2NXnU、2NXnD、nLX2N和nRX2N的PU大小下的帖間預(yù)測的不對稱分 害Il。在不對稱分割中，不分割CU的一個方向，而將另一方向分割成25 %和75% dCU的對應(yīng)于 25 %分區(qū)的部分由"n"后面接著"上"、"下"、"左"或"右"的指示來指示。因此，例如，"2N X nlf是指經(jīng)水平地分割的2NX2N CU,其中頂部為2NX0.5N PU,而底部為2NX1.5N PU。
[0057] 在本發(fā)明中，"NxN"與"N乘N"可互換地使用W依據(jù)垂直和水平尺寸來指代視頻塊 的像素尺寸，例如，16x16像素或16乘16像素。大體來說，16x16塊將在垂直方向上具有16個 像素 (y = 16)，且在水平方向上具有16個像素 (x = 16)。同樣，NxN塊總體上在垂直方向上具 有N個像素，并且在水平方向上具有N個像素，其中N表示非負(fù)整數(shù)值。塊中的像素可布置成 行和列。此外，塊未必需要在水平方向上與在豎直方向上具有相同數(shù)目個像素。舉例來說， 塊可包括NxM個像素，其中M未必等于N。
[0058] 在使用CU的PU進行帖內(nèi)預(yù)測性或帖間預(yù)測性譯碼之后，視頻編碼器20可計算用于 CU的TU的殘差數(shù)據(jù)。PU可包括描述在空間域(也稱為像素域）中產(chǎn)生預(yù)測性像素數(shù)據(jù)的方法 或模式的語法數(shù)據(jù)，并且TU可包括在對殘差視頻數(shù)據(jù)應(yīng)用變換(例如離散余弦變換(DCT)、 整數(shù)變換、小波變換或概念上類似的變換)之后變換域中的系數(shù)。殘差數(shù)據(jù)可對應(yīng)于未經(jīng)編 碼圖片的像素與對應(yīng)于PU的預(yù)測值之間的像素差。視頻編碼器20可形成包含用于CU的殘差 數(shù)據(jù)的TU，并且接著變換TUW產(chǎn)生用于CU的變換系數(shù)。
[0059] 在用W產(chǎn)生變換系數(shù)的任何變換后，視頻編碼器20可執(zhí)行變換系數(shù)的量化。量化 大體上指代對變換系數(shù)進行量化W可能減少用W表示變換系數(shù)的數(shù)據(jù)的量從而提供進一 步壓縮的過程。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度。舉例來說，n位值 可在量化期間被下舍入到m位值，其中n大于m。
[0060] 在量化之后，視頻編碼器可掃描變換系數(shù)，從包含經(jīng)量化的變換系數(shù)的二維矩陣 產(chǎn)生一維向量。掃描可經(jīng)設(shè)計W將較高能量(并且因此較低頻率）的系數(shù)放置在陣列的前 面，并且將較低能量(并且因此較高頻率)的系數(shù)放置在陣列的背面。在一些實例中，視頻編 碼器20可利用預(yù)定義掃描次序來掃描經(jīng)量化的變換系數(shù)W產(chǎn)生可被賭編碼的串行化向量。 在其它實例中，視頻編碼器20可執(zhí)行自適應(yīng)掃描。在掃描經(jīng)量化變換系數(shù)W形成一維向量 之后，視頻編碼器20可例如根據(jù)上下文自適應(yīng)可變長度譯碼(CAVLC)、上下文自適應(yīng)二進制 算術(shù)譯碼（CABAC)、基于語法的上下文自適應(yīng)二進制算術(shù)譯碼（SBAC)、概率區(qū)間分割賭 (PIPE)譯碼或另一賭編碼方法賭編碼一維向量。視頻編碼器20還可賭編碼與經(jīng)編碼視頻數(shù) 據(jù)相關(guān)聯(lián)的語法元素 W供視頻解碼器30在解碼視頻數(shù)據(jù)時使用。
[0061] 為了執(zhí)行CABAC，視頻編碼器20可向待發(fā)射的符號指派上下文模型內(nèi)的上下文。上 下文可設(shè)及(例如)符號的相鄰值是否為非零。為了執(zhí)行CA化C，視頻編碼器20可選擇用于待 發(fā)射的符號的可變長度碼。VLC中的碼字可經(jīng)構(gòu)造使得相對較短碼對應(yīng)于更有可能符號，而 較長碼對應(yīng)于不太可能符號。W此方式，使用化C可例如實現(xiàn)優(yōu)于針對待發(fā)射的每一符號使 用等長度碼字的位節(jié)省。概率確定可基于指派到符號的上下文。
[0062] 視頻編碼器20可(例如)在圖片標(biāo)頭、塊標(biāo)頭、切片標(biāo)頭或GOP標(biāo)頭中進一步將(例 如)基于塊的語法數(shù)據(jù)、基于圖片的語法數(shù)據(jù)和基于GOP的語法數(shù)據(jù)等語法數(shù)據(jù)發(fā)送到視頻 解碼器30"G0P語法數(shù)據(jù)可描述相應(yīng)GOP中的多個圖片，并且圖片語法數(shù)據(jù)可指示用于對對 應(yīng)圖片進行編碼的編碼/預(yù)測模式。
[0063] 盡管圖1中未圖示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與音頻 編碼器和解碼器集成，且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路分用器單元或其它硬件和軟件，來 處置共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻和視頻兩者的編碼。如果適用，那么多路復(fù)用器-多 路分用器單元可符合ITU H. 223多路復(fù)用器協(xié)議，或例如用戶數(shù)據(jù)報協(xié)議(UDP)等其它協(xié) 議。
[0064] 視頻編碼器20和視頻解碼器30各自可實施為適用的多種合適的編碼器或解碼器 電路中的任一者，例如一或多個微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn) 場可編程口陣列(FPGA)、離散邏輯電路、軟件、硬件、固件或其任何組合。視頻編碼器20和視 頻解碼器30中的每一者可包含在一或多個編碼器或解碼器中，所述編碼器或解碼器中的任 一者可集成為組合視頻編碼器/解碼器(CODEC)的部分。包含視頻編碼器20和/或視頻解碼 器30的裝置可包括集成電路、微處理器和/或無線通信裝置(例如，蜂窩式電話）。
[0065] 下文概述肥VC的若干方面，W促進本發(fā)明中描述的基于相鄰塊的視差向量(NBDV) 和高級殘差預(yù)測(ARP)技術(shù)的基礎(chǔ)的理解。下文描述基礎(chǔ)皿VC的各個方面，例如帖內(nèi)預(yù)測、 參考列表構(gòu)建和時間運動向量預(yù)測。另外，下文還描述從帖內(nèi)預(yù)測、參考列表構(gòu)建和時間運 動向量預(yù)測建構(gòu)的HEVC的S維視頻擴展的各個方面。應(yīng)理解，雖然出于解釋的目的，可相對 于皿VC來描述本發(fā)明的某些方面，所述技術(shù)不W此方式受限，且可與多種其它譯碼標(biāo)準(zhǔn)一 起使用。
[0066] 圖2是展示肥VC所支持的帖內(nèi)預(yù)測模式的圖。當(dāng)根據(jù)皿VC執(zhí)行帖內(nèi)預(yù)測時，對于每 一 PU的亮度分量，視頻編碼器20和/或視頻解碼器30可利用33種角度預(yù)測模式(從2到34編 索引）、一DC模式（Wl編索引）和一平面模式（WO編索引），如圖2中示出。當(dāng)執(zhí)行帖內(nèi)預(yù)測 時，當(dāng)使用角度帖內(nèi)預(yù)測時，視頻解碼器30基于根據(jù)帖內(nèi)預(yù)測模式的角度從相鄰塊獲得的 像素值來預(yù)測當(dāng)前塊。對于使用DC帖內(nèi)預(yù)測模式來譯碼的塊，視頻解碼器30通過對相鄰參 考樣本的值求平均W確定均值來確定預(yù)測性塊，且對于使用平面模式譯碼的塊，視頻解碼 器30通過執(zhí)行相鄰像素值的二維線性內(nèi)插來確定預(yù)測性塊。
[0067] 為了執(zhí)行帖間預(yù)測，視頻編碼器20和視頻解碼器30可構(gòu)建參考圖片列表，其包含 視頻編碼器20和視頻解碼器30可從其對塊進行帖間預(yù)測的參考圖片。關(guān)于皿VC中的參考圖 片列表構(gòu)建，視頻編碼器20和視頻解碼器30可通常使用兩個步驟來為B圖片的第一或第二 參考圖片列表構(gòu)建參考圖片列表。首先，視頻編碼器20和視頻解碼器30可執(zhí)行參考圖片列 表初始化，且其次，視頻編碼器20和視頻解碼器30可執(zhí)行參考圖片列表重新排序(例如排序 的修改）。參考圖片列表初始化可為明確機制，其基于P〇C(圖片次序計數(shù)，與圖片的顯示次 序?qū)?zhǔn))次序值將參考圖片存儲器(也被稱作經(jīng)解碼圖片緩沖器）中的參考圖片放入列表 中。參考圖片列表重新排序機制可將在參考圖片列表初始化期間放置在列表中的圖片的位 置修改為任何新位置，或即使在圖片不屬于初始化列表的情況下也將參考圖片存儲器中的 任何參考圖片放置在任何位置。在參考圖片列表重新排序之后，可將一些圖片放置在列表 中的較低位置中。在實例中，如果圖片的位置超過列表的有效參考圖片的數(shù)目，那么可不將 所述圖片視為最終參考圖片列表的條目。換句話說，如果參考列表包含具有范圍從0到X-I 的列表位置的X個有效參考圖片，那么視頻編碼器20和視頻解碼器30可排除作為用于執(zhí)行 帖間預(yù)測的候選者參考圖片W及參考圖片列表中的位置X和較高位置處的參考圖片。有效 參考圖片的數(shù)目可(例如)在每一列表的切片標(biāo)頭中發(fā)信號通知。
[006引在視頻編碼器20和視頻解碼器30構(gòu)建參考圖片列表（即RefPicListO和 RefPicListl,如果可用）之后，可使用到參考圖片列表的參考索引來識別包含于參考圖片 列表中的任何參考圖片。換句話說，視頻編碼器20可選擇一或多個參考圖片來用于執(zhí)行帖 間預(yù)測，且在經(jīng)編碼視頻位流中向視頻解碼器30發(fā)信號通知選定參考圖片。
[0069] 除發(fā)信號通知的選定參考圖片之外，視頻編碼器20還可在經(jīng)編碼位流中發(fā)信號通 知視頻解碼器30的運動向量，W用于在選定參考圖片中定位參考塊。視頻編碼器20可預(yù)測 性地發(fā)信號通知所述運動向量。預(yù)測性發(fā)信號通知技術(shù)的兩個實例包含高級運動向量預(yù)測 (AMVP)和合并模式發(fā)信號通知。在AMVP中，視頻編碼器20和視頻解碼器30兩者基于從已經(jīng) 譯碼的塊確定的運動向量來組合候選列表。視頻編碼器20接著發(fā)信號通知到候選列表的索 引W識別運動向量預(yù)測符(MVP)，且發(fā)信號通知運動向量差(MVD)。在AMVP中，視頻解碼器30 用來對塊進行帖間預(yù)測的運動向量是由MVD修改的MVP，例如MVP+MVD。
[0070] 在合并模式下，視頻編碼器20和視頻解碼器30兩者基于已經(jīng)譯碼的塊來組合候選 列表，且視頻編碼器20發(fā)信號通知候選者中的一者在候選列表中的索引。在合并模式下，視 頻解碼器30使用發(fā)信號通知的候選者的運動向量和參考圖片索引來對當(dāng)前塊進行帖間預(yù) 測。在AMVP和合并模式兩者下，視頻編碼器20和視頻解碼器30利用相同的列表構(gòu)建技術(shù)，使 得視頻編碼器20在確定如何編碼塊時所使用的列表與視頻解碼器30在確定如何解碼所述 塊時所使用的列表匹配。
[0071] 為了執(zhí)行AMVP和合并，視頻編碼器20和視頻解碼器30可確定時間運動向量預(yù)測符 (TMVP)候選者。相對于運動向量預(yù)測且更具體來說時間運動向量預(yù)測，為了識別TMVP候選 者，首先視頻編碼器20和/或視頻解碼器30可識別位于同一位置的圖片。如果當(dāng)前圖片是B 切片，那么視頻編碼器20可在切片標(biāo)頭中發(fā)信號通知collocated_f;rom_10_flag，W指示位 于同一位置的圖片是來自RefPicListO還是RefPicListl。在識別參考圖片列表后，視頻譯 碼器使用在切片標(biāo)頭中發(fā)信號通知的collocated_ref_idx來識別列表中的圖片中的圖片。
[0072] 視頻譯碼器接著可通過可能檢查位于同一位置的圖片來識別處于相同位置的預(yù) 測單元(PU)。可使用含有此PU的譯碼單元(CU)的右下PU的運動信息或含有此PU的CU的中屯、 PU內(nèi)的右下PU的運動。
[0073] 當(dāng)通過W上過程識別的運動向量用于產(chǎn)生用于AMVP或合并模式的運動候選者時， 可基于時間位置（由圖片次序計數(shù)(POC)值反映)按比例縮放運動向量。
[0074]在一些情況下，將從TMVP導(dǎo)出的時間合并候選者的所有可能參考圖片列表的目標(biāo) 參考索引設(shè)定為0，而對于AMVP，其經(jīng)設(shè)定為等于經(jīng)解碼參考索引。
[00"75]在肥VC中，序列參數(shù)集（SPS)包含旗標(biāo)sps_temporal_mvp_enable_flag,且當(dāng)sps_ temporal_mvp_enable_f lag 等于I時，切片標(biāo)頭包含旗標(biāo) pic_temporal_mvp_enable_f lag。 當(dāng)針對特定圖片pic_temporal_mvp_enable_f lag和temporal_id兩者等于0時，來自在解碼 次序上在所述特定圖片之前的圖片的運動向量都將不用作在所述特定圖片或在解碼次序 上在所述特定圖片之后的圖片的解碼中的時間運動向量預(yù)測符。
[0076] VCEG和MPEG的3D視頻譯碼聯(lián)合合作小組(JCT-3C)正在開發(fā)基于皿VC的3DV標(biāo)準(zhǔn)， 其標(biāo)準(zhǔn)化努力的部分包含基于肥VC的多視圖視頻編解碼器(MV-HEVC)的標(biāo)準(zhǔn)化和用于基于 肥VC的3D視頻譯碼(3D-肥VC)的另一部分。對于MV-肥VC，JCT旨在保證僅存在相對于肥VC的 高級語法化LS)改變，使得皿VC中的CU/PU層級中沒有模塊需要重新設(shè)計，且因此可完全再 用于MV-皿VC。然而，對于3D-皿VC，可包含和支持新的譯碼工具，包含紋理和深度視圖兩者 的CU/PU層級處所使用的譯碼工具。用于3D-HEVC的最新軟件3D-HTM可從W下鏈接下載： [3D-HTM版本7.0] :https: / Aevc.Iihi .打aunhofer. de/svn/svn_3DVCSoftware/tags/HTM-7.0/。
[0077] 3D-HEVC的最新參考軟件描述W及工作草案將可獲得如下：
[007引杰哈德.泰什（Gerhard Tech)、克日什托夫.韋格納化rzysztof Wegner)、陳英 (￥1叫畑611)、姚世勵（56110011￥6曰），''30-皿￥(：測試模型4(30-皿￥(：163110(1614)% JCT3V-F1001，ITU-T SG 16WP 3和IS0/IEC JTC 1/SC 29/WG 11 的3D視頻譯碼擴展開發(fā)聯(lián) 合合作小組，第6次會議，其可從W下鏈接下載:http: //phenix. int-evry. fr/jct2/doc_ end_user/documents/6_Geneva/wgll/JCT3V-F1001-v2. zip。
[0079] 作為3D-HEVC所支持的新工具的一個實例，實施3D-肥VC的視頻譯碼器確定并利用 隱式視差向量（IDV)。當(dāng)PU使用視圖間運動向量預(yù)測時，借助于視差向量，視頻譯碼器可(例 如)產(chǎn)生IDV，例如從其它視圖中的對應(yīng)塊導(dǎo)出AMVP或合并模式的候選者。此視差向量可被 稱為IDV?？蔀樗鯬U存儲IDV，W用于視差向量導(dǎo)出的目的。
[0080] 3D-皿VC還用于視差向量導(dǎo)出過程。為了導(dǎo)出視差向量，視頻譯碼器可在當(dāng)前3D-HTM(其是指將由視頻編碼器(例如視頻編碼器20)實施的測試軟件）中使用被稱作NBDV的過 程。根據(jù)NBDV，視頻編碼器20和視頻解碼器30可利用從空間和時間相鄰塊確定的DMV。在 NBDV中，視頻編碼器20和視頻解碼器30W固定次序檢查空間和/或時間相鄰塊的運動向量。 一旦識別視差運動向量或IDV，視頻編碼器20和視頻解碼器30就終止檢查過程。視頻編碼器 20和視頻解碼器30可將所識別的視差運動向量轉(zhuǎn)換成可用于視圖間運動預(yù)測和/或視圖間 殘差預(yù)測的視差向量。如果在檢查所有的預(yù)定義相鄰塊之后未找到此視差向量，那么當(dāng)可 針對對應(yīng)PU停用視圖間殘差預(yù)測時，視頻編碼器20和視頻解碼器30可將零視差向量用于視 圖間運動預(yù)測。
[0081] 圖3展示視頻編碼器20和視頻解碼器30可用于NBDV的空間和時間相鄰塊的表示。 視頻編碼器20和視頻解碼器30可將五個空間相鄰塊用于視差向量導(dǎo)出。五個空間相鄰塊 是：當(dāng)前預(yù)測單元(PU)的左下、左、右上、上和左上塊，分別由40、41、80、81或82指示，如圖3 中示出。
[0082] 視頻編碼器20和視頻解碼器30可(例如)考慮來自當(dāng)前視圖的至多兩個參考圖片， 來確定時間相鄰塊。所述兩個參考圖片可(例如）為位于同一位置的圖片和隨機存取圖片， 或可針對時間塊檢查來考慮具有最小POC差和最小時間ID的參考圖片。在一些實例中，視頻 編碼器20和視頻解碼器30可首先檢查隨機存取圖片，接著是位于同一位置的圖片。對于每 一候選圖片，視頻編碼器20和視頻解碼器30可檢查兩個候選塊。所述兩個候選塊可(例如） 為中屯、塊(例如當(dāng)前PU的處于相同位置區(qū)的中屯、4X4塊，見圖4中的'位置A'）和右下塊(例 如當(dāng)前PU的處于相同位置區(qū)的右下4X4塊，見圖4中的'位置B'）。
[0083] 關(guān)于所謂的"檢查次序"，在一些實例中，首先針對所有空間/時間相鄰塊，接著IDV 來檢查是否使用DMV。在運些實例中，首先檢查空間相鄰塊，接著是時間相鄰塊。
[0084] 通常，視頻編碼器20和視頻解碼器30^41、81、80、40和82的次序來檢查圖3的五個 空間相鄰塊。如果使用DMV來預(yù)測其中的一者，那么視頻編碼器20和視頻解碼器30終止檢查 過程，并使用對應(yīng)的DMV作為最終視差向量。
[0085] 并且，在運些和其它實例中，對于每一候選圖片，依次檢查兩個塊，針對第一非基 礎(chǔ)視圖的CR和BR,或針對第二非基礎(chǔ)視圖的BR、CR。如果使用DMV來預(yù)測其中的一者，那么視 頻編碼器20和視頻解碼器30終止檢查過程，并使用對應(yīng)的DMV作為最終視差向量。
[00化]視頻編碼器20和視頻解碼器30還可^40、41、80、81和82的次序檢查圖3的五個空 間相鄰塊。在運些和其它實例中，如果使用IDV來預(yù)測且使用跳過/合并模式來譯碼五個空 間相鄰塊中的一者，那么視頻編碼器20和視頻解碼器30可終止檢查過程，且使用對應(yīng)IDV作 為最終視差向量。
[0087] 關(guān)于用于NBDV的默認(rèn)參考索引的導(dǎo)出，在3D-HEVC中，當(dāng)所檢查的相鄰塊并不含有 DMV時，NBDV過程可返回與默認(rèn)視圖次序索引相關(guān)聯(lián)的默認(rèn)視差向量(零）。W此方式，當(dāng)前 NBDV過程可需要檢查兩個參考圖片列表，并逐個地比較視圖次序索引W導(dǎo)出默認(rèn)視圖次序 索引。
[0088] 3D-肥VC還用于細(xì)化視差向量。就是說，可使用經(jīng)譯碼深度圖中的信息來進一步細(xì) 化從NBDV方案產(chǎn)生的視差向量。換句話說，可通過利用信息經(jīng)譯碼的基礎(chǔ)視圖深度圖來增 強視差向量的準(zhǔn)確性。借助于一個實例來描述細(xì)化步驟，如下：
[0089] 1)在例如基礎(chǔ)視圖等經(jīng)先前譯碼參考深度視圖中通過所導(dǎo)出的視差向量定位對 應(yīng)深度塊;對應(yīng)深度塊的大小與當(dāng)前PU的大小相同。
[0090] 2)從并置的深度塊、從四個拐點深度值的最大值計算視差向量。運設(shè)定成等于視 差向量的水平分量，同時將視差向量的垂直分量設(shè)定成0。
[0091] 此新視差向量可被稱為"基于相鄰塊的深度定向的視差向量(DoNBDVr。來自NBDV 方案的視差向量接著被來自DoNBDV方案的此新導(dǎo)出的視差向量代替，W用于針對AMVP和合 并模式的視圖間候選者導(dǎo)出。注意，未細(xì)化的視差向量可用于視圖間殘差預(yù)測。另外，如果 通過逆向VSP (BVSP)模式對一個PU進行譯碼，那么存儲經(jīng)細(xì)化的視差向量作為所述PU的運 動向量。
[0092] 3D-肥VC還用于使用相鄰塊的基于塊的視圖合成預(yù)測。在第3次JCT-3V會議中采用 如作者為田（Tian)等人在JCT3V-C0152中所提出且標(biāo)題為乂 El.h:使用相鄰塊的后向視圖 合成預(yù)現(xiàn)Ij(CEl.h = Backward View Synthesis Prediction usin邑 Nei邑hbourin邑 Blocks)，， 的向后扭曲VSP(其與BVSP相同或類似且還表示為BVSP)方法。此后向扭曲VSP的基本想法與 3D-AVC中的基于塊的VSP相同。運兩個過程均使用后向扭曲和基于塊的VSPW避免發(fā)射運動 向量差且使用更精確的運動向量。實施方案細(xì)節(jié)由于不同平臺而不同。
[0093] 在下文段落中，還使用術(shù)語"BVSP"來指示3D-HEVC中的向后扭曲VSP方法。
[0094] 在3D-HTM中，視頻編碼器20可通常在常見測試條件下應(yīng)用紋理第一譯碼。因此，當(dāng) 對一個非基礎(chǔ)紋理視圖進行解碼時，對應(yīng)的非基礎(chǔ)深度視圖不可用。因此，視頻譯碼器可估 計深度信息，并使用此所估計的深度信息來執(zhí)行BVSP。
[00M]為了估計塊的深度信息，視頻譯碼器可首先從相鄰塊中導(dǎo)出視差向量，且接著使 用所導(dǎo)出的視差向量從參考視圖中獲得深度塊。
[0096] 在HTM 5.1測試模型中，存在導(dǎo)出視差向量預(yù)測符的過程，稱為NBDV(相鄰塊視差 向量）。令(dvx，dvy)表示從NBDV函數(shù)識別的視差向量，且當(dāng)前塊位置是(blocks，blocky)。 視頻譯碼器可在參考視圖的深度圖像中的（blockx+dvx，blocky+dvy)取深度塊。所取的深 度塊通常具有當(dāng)前預(yù)測單元(PU)的相同大小，且此所取的深度塊接著可用W執(zhí)行當(dāng)前PU的 向后扭曲。
[0097] 圖5是說明可如何定位來自參考視圖的深度塊且接著用于BVSP預(yù)測的實例的圖。 在圖5的實例中，深度圖片102和紋理圖片106對應(yīng)于同一視圖，而紋理圖片104對應(yīng)于不同 視圖。確切地說，紋理圖片104包含相對于充當(dāng)參考圖片的紋理圖片106正譯碼的當(dāng)前塊 112。視頻譯碼器可指相鄰塊114,其與當(dāng)前塊112相鄰，W確定視差向量。相鄰塊114包含先 前確定的視差向量118?？蓪?dǎo)出視差向量118作為當(dāng)前塊112的視差向量116。因此，視差向量 116是指參考視圖的深度圖片102中的深度塊108。
[0098] 視頻譯碼器接著可使用深度塊108的像素（即，深度值)來確定當(dāng)前塊112的像素的 視差值119(即，紋理值），用于執(zhí)行后向扭曲。視頻譯碼器接著可合成來自視差值119所識別 的像素的當(dāng)前塊112的經(jīng)預(yù)測塊(即，BVSP參考塊)的值。視頻譯碼器接著可使用此經(jīng)預(yù)測塊 來預(yù)測當(dāng)前塊112。舉例來說，在視頻編碼器20的視頻編碼期間，視頻編碼器20可計算經(jīng)預(yù) 測塊與當(dāng)前塊112之間的逐像素差W產(chǎn)生殘差值，視頻編碼器20可接著對所述殘差值進行 變換、量化和賭編碼。另一方面，在視頻解碼器30的視頻解碼期間，視頻解碼器30可對殘差 數(shù)據(jù)進行賭解碼、逆量化和逆變換，接著組合所述殘差數(shù)據(jù)(在逐像素基礎(chǔ)上)與經(jīng)預(yù)測塊 W再現(xiàn)當(dāng)前塊112。
[0099] 如果在序列中啟用BVSP，那么用于視圖間運動預(yù)測的NBDV過程可改變。在W下段 落中對差異加下劃線：
[0100] ?對于時間相鄰塊中的每一者，如果其使用視差運動向量，那么可返回所述視差 運動向量作為視差向量，且用上述方法來進一步細(xì)化所述視差運動向量。
[0101] ?對于空間相鄰塊中的每一者，W下適用: 帥]O對于每一參考圖片列表0或參考圖片列表1，W下適用:
[0103] 如果其使用視差運動向量，那么返回視差運動向量作為視差向量且^上文描述 的方法進一步細(xì)化所述視差向量。
[0…4] 否則，如果其使用BVSP模式，那么返回相關(guān)聯(lián)運動向量作為視差向量。W如上文 所描述的類似方式來進一步細(xì)化所述視差向量。然而，最大深度值是選自對應(yīng)深度塊的全 部像素而不是四個拐角像素。
[0105]對于空間相鄰塊中的每一者，如果空間相鄰塊使用IDV，那么返回IDV作為視差向 量，且用上述過程來進一步細(xì)化所述視差向量。
[0106] 可將所介紹的BVSP模式視為特殊帖間譯碼模式，且針對每一 PU可維持指示BVSP模 式的使用的旗標(biāo)。并非在位流中用信號通知旗標(biāo)，而是可將新的合并候選者(BVSP合并候選 者)添加到所述合并候選者列表，其中此旗標(biāo)可取決于經(jīng)解碼的合并候選者索引是否對應(yīng) 于BVSP合并候選者。BVSP合并候選者被定義為如下：
[0107] ?每一參考圖片列表的參考圖片索引：-1
[0108] ?每一參考圖片列表的運動向量:經(jīng)細(xì)化的視差向量
[0109] 在一些實例中，BVSP合并候選者的插入位置可取決于空間相鄰塊：
[0110] ?如果所述五個空間相鄰塊(40、41、80、81或82)中的任一者是^8￥5?模式譯碼 的，例如相鄰塊的所維持旗標(biāo)等于1，那么將BVSP合并候選者處理為對應(yīng)的空間合并候選 者，并插入到合并候選者列表中。在一些實例中，可僅將BVSP合并候選者插入到所述合并候 選者列表一次。
[0111] ?否則(五個空間相鄰塊中無一者是WBVSP模式譯碼），那么可僅在時間合并候選 者之前，將BVSP合并候選者插入到所述合并候選者列表。
[0112] 在一些實例中，在組合的雙向預(yù)測合并候選者導(dǎo)出過程期間，應(yīng)檢查額外條件W 避免包含BVSP合并候選者。
[0113] 關(guān)于預(yù)測導(dǎo)出過程，對于大小由NxM指示的每一經(jīng)BVSP譯碼的PU，可將所述PU進一 步分割成大小等于KxK(其中K可為4或2)的若干子區(qū)。對于每一子區(qū)，可導(dǎo)出單獨的視差運 動向量，且可從所述視圖間參考圖片中的所導(dǎo)出的視差運動向量所定位的一個塊預(yù)測每一 子區(qū)。換句話說，視頻譯碼器可將經(jīng)BVSP譯碼的PU的運動補償單元的大小設(shè)定為KxK。在常 見測試條件下，可將K設(shè)定成4。
[0114] 關(guān)于視差運動向量導(dǎo)出過程，對于WBVSP模式譯碼的一個PU內(nèi)的每一子區(qū)（4X4 塊），視頻譯碼器可在具有上文先前提到的經(jīng)細(xì)化的視差向量的參考深度視圖中定位對應(yīng) 的4X4深度塊。其次，視頻譯碼器選擇對應(yīng)深度塊中的十六個深度像素的最大值。再次，視 頻譯碼器將所述最大值轉(zhuǎn)換為視差運動向量的水平分量。可將視差運動向量的垂直分量設(shè) 定成0。
[0115] 3D-HTM還用于針對跳過/合并模式的視圖間候選者導(dǎo)出過程。基于從DoNBDV方案 導(dǎo)出的視差向量，如果可用，那么視頻編碼器20可將新的運動向量候選者、經(jīng)視圖間預(yù)測的 運動向量候選者（IPMVC)添加到AMVP和跳過/合并模式。經(jīng)視圖間預(yù)測的運動向量(如果可 用)可包括時間運動向量。
[0116] 作為通常利用與合并模式相同的運動向量導(dǎo)出過程的跳過模式，本發(fā)明中所描述 的所有過程可適用于合并和跳過模式兩者。
[0117] 對于合并/跳過模式，通過W下步驟導(dǎo)出經(jīng)視圖間預(yù)測的運動向量。首先，視頻編 碼器20和視頻解碼器30使用視差向量來在同一存取單元的參考視圖中定位當(dāng)前PU/CU的對 應(yīng)塊。接下來，如果對應(yīng)塊未經(jīng)帖內(nèi)譯碼且未經(jīng)視圖間預(yù)測，且其參考圖片具有等于當(dāng)前 PU/CU的相同參考圖片列表中的一個條目的值的POC值，那么將基于POC的參考索引轉(zhuǎn)化為 經(jīng)視圖間預(yù)測的運動向量之后，視頻編碼器20和視頻解碼器30導(dǎo)出其運動信息(預(yù)測方向、 參考圖片和運動向量）。
[011引如下定義對應(yīng)塊：
[0119] 表示當(dāng)前預(yù)測單元的左上方亮度樣本相對于當(dāng)前圖片的左上方亮度樣本的亮度 位置(xP，yP)，nPSW和nPSH分別表示當(dāng)前預(yù)測單元的寬度和高度，通過W下公式來導(dǎo)出參考 視圖次序索引refViewIdx和視差向量mvDisp、參考層亮度位置(xRef，yRef):
[0120] xRef = Clip3(0,PicWidthInSamplesL-l,xP+((nPSW-l)?l) + ((mvDisp[0]+2)? 2))化 124)
[01 別]71?6' = (：1193(0，？1地61曲《記日11191631^-1，7?+((證甜-1)〉〉1) + ((111￥〇139[1]+2)〉〉 2))化 125)
[0122] 視頻譯碼器可將對應(yīng)塊設(shè)定為覆蓋具有等于ref ViewIdx的ViewIdx的視圖分量中 的亮度位置(xRef，yRef)的預(yù)測單元。
[0123] 圖6是說明經(jīng)視圖間預(yù)測的運動向量候選者的導(dǎo)出過程的實例的圖。對于第一視 圖（Vl)中的當(dāng)前塊120，視頻解碼器30定位不同視圖（VO)中的對應(yīng)塊121。視頻解碼器30可 再用參考塊121的運動信息來導(dǎo)出當(dāng)前塊120的運動信息。舉例來說，如果視頻解碼器30使 用運動向量124B來預(yù)測參考塊121，那么視頻解碼器30可使用運動向量124A來預(yù)測當(dāng)前塊 120。運動向量124A和運動向量124B既定表示同一運動向量的兩個不同例子。
[0124] 另外，視頻譯碼器可將視差向量轉(zhuǎn)換為視圖間視差運動向量，其接著可從IPMVC在 不同位置中添加到合并候選者列表，或在其可用時，可能在與IPMVC相同的位置中添加到 AMVP候選者列表。IPMVC或視圖間視差運動向量候選者（IDMVC)在此上下文中可稱為'視圖 間候選者'。
[0125] 在合并/跳過模式中，如果可用，那么IPMVC可始終在所有空間和時間合并候選者 之前插入到所述合并候選者列表?？蓪DMVC插入在從AO導(dǎo)出的空間合并候選者之前。 [0 1%] 3D-肥VC還用于針對紋理譯碼的合并候選者列表構(gòu)建。在此上下文中，視頻譯碼器 可首先用DoNBDV的過程導(dǎo)出視差向量。使用視差向量，作為一個實例，3D-皿VC中的合并候 選者列表構(gòu)建過程可如下定義：
[0127] 1. IPMVC插入
[01%]通過上文所描述的程序?qū)С鯥PMVC。如果其可用，那么將其插入到合并列表。
[0129] 2.3D-HEVC中用于空間合并候選者和IDMVC插入的導(dǎo)出過程
[0130] 通過W下次序檢查空間相鄰PU的運動信息:41、81、80、40或82。接著可通過^下操 作步驟執(zhí)行受約束的精簡：
[0131] ?如果Al和IPMVC具有相同運動向量和相同參考索引，那么不將Al插入到候選者 列表中；否則將其插入到列表中。
[0132] ?如果Bl和Al^PMVC具有相同運動向量和相同參考索引，那么不將Bl插入到候選 者列表中；否則將其插入到列表中。
[0133] ?如果BO可用，那么將其添加到候選者列表。通過上文所描述的程序?qū)С鯥DMVC。 如果IDMVC可用且不同于從Al和Bl導(dǎo)出的候選者，那么將IDMVC插入到候選者列表。
[0134] ?如果BVSP針對整個圖片或當(dāng)前切片經(jīng)啟用，那么將BVSP合并候選者插入到合并 候選者列表。
[0135] ?如果AO可用，那么將其添加到候選者列表。
[0136] ?如果B2可用，那么將其添加到候選者列表。
[0137] 3.用于時間合并候選者的導(dǎo)出過程
[0138] 然而，類似于肥VC中利用位于同一地點的PU的運動信息的時間合并候選者導(dǎo)出過 程，可改變時間合并候選者的目標(biāo)參考圖片索引而不是固定為0。當(dāng)?shù)扔?的目標(biāo)參考索引 對應(yīng)于時間參考圖片（同一視圖中），同時處于相同位置的預(yù)測單元(PU)的運動向量指向視 圖間參考圖片時，將其改變?yōu)閷?yīng)于參考圖片列表中的視圖間參考圖片的第一條目的另一 索引。相反，當(dāng)?shù)扔?的目標(biāo)參考索引對應(yīng)于視圖間參考圖片同時處于相同位置的預(yù)測單元 (PU)的運動向量指向時間參考圖片時，將其改變?yōu)閷?yīng)于參考圖片列表中的時間參考圖片 的第一條目的另一索引。
[0139] 4.3D-HEVC中用于組合雙向預(yù)測性合并候選者的導(dǎo)出過程
[0140] 如果從W上兩個步驟導(dǎo)出的候選者的總數(shù)小于候選者的最大數(shù)目，那么除 IOCandIdx和IlXandIdx的指定外執(zhí)行如皿VC中界定的相同過程。在圖7中所示的表中定義 comb Idx、IOhndIdx和 11 (^indIdx之間的關(guān)系。
[0141] 5.用于零運動向量合并候選者的導(dǎo)出過程
[0142] ?執(zhí)行如肥VC中定義的同一程序。
[0143] 在最新軟件中，MRG列表中的候選者的總數(shù)至多達6,且可發(fā)信號通知five_minus_ max_num_merge_cand，W指定從切片標(biāo)頭中的6個減去的MRG候選者的最大數(shù)目。在一些實 例中，five_minus_max_num_me;rge_cand在 0 到 5(包含 0 和 5)的范圍內(nèi)。
[0144] 還提供用于深度譯碼的運動向量繼承。運動向量繼承(MVI)通常利用紋理圖像與 其相關(guān)聯(lián)深度圖像之間的運動特性的相似性。
[0145] 圖8展示MVI候選者的導(dǎo)出過程的實例，其中將對應(yīng)紋理塊133選擇為位于當(dāng)前PU 135的中屯、的右下方的4x4塊。對于深度圖片137中的給定PU,如果可用，MVI候選者可再用已 經(jīng)譯碼的對應(yīng)紋理塊133的運動向量和參考索引。
[0146] 在一些實例中，在深度譯碼中使用具有整數(shù)精度的運動向量，而利用具有四分之 一精度的運動向量用于紋理譯碼。因此，對應(yīng)紋理塊的運動向量可在用作MVI候選者之前經(jīng) 按比例縮放。
[0147] 通過MVI候選者產(chǎn)生，如W W下示范性方式所陳述，建構(gòu)深度視圖的所述合并候選 者列表：
[014引 1.MVI插入
[0149] 通過上文所描述的程序?qū)С鯩VI。如果其可用，那么將其插入到合并列表。
[0150] 2.3D-HEVC中用于空間合并候選者和IDMVC插入的導(dǎo)出過程
[0151] 按W下次序檢查空間相鄰PU的運動信息:41、81、80、40或82。通過^下程序執(zhí)行受 約束的精簡：
[0152] ?如果Al和MVI具有相同的運動向量和相同的參考索引，那么不將Al插入到候選 者列表中。
[0153] ?如果Bl和A1/MVI具有相同的運動向量和相同的參考索引，那么不將Bl插入到候 選者列表中。
[0154] ?如果BO可用，那么將其添加到候選者列表。
[0155] ?如果AO可用，那么將其添加到候選者列表。
[0156] ?如果B2可用，那么將其添加到候選者列表。
[0157] 3.用于時間合并候選者的導(dǎo)出過程
[0158] 然而，類似于在其中利用處于相同位置的PU的運動信息的皿VC中的時間合并候選 者導(dǎo)出過程，可改變時間合并候選者的目標(biāo)參考圖片索引，如章節(jié)2.4.6中所闡釋，而不是 固定為0。
[0159] 4.3D-HEVC中用于組合雙向預(yù)測性合并候選者的導(dǎo)出過程
[0160] 如果從W上兩個步驟導(dǎo)出的候選者的總數(shù)小于候選者的最大數(shù)目，那么除 IOCandIdx和IlCandIdx的指定外執(zhí)行如皿VC中界定的相同過程。表2中定義combldx、 IOhndIdx和 11 (^indIdx之間的關(guān)系。
[0161] 5.用于零運動向量合并候選者的導(dǎo)出過程
[0162] ?執(zhí)行如肥VC中定義的同一程序。
[0163] 此譯碼工具在本發(fā)明中可被稱為"MPI"。
[0164] 在3D-HEVC中，可為相關(guān)紋理視圖啟用高級殘差預(yù)測(ARP)。圖9是說明針對一個參 考圖片列表的多視圖視頻譯碼和3D視頻譯碼中的ARP的預(yù)測結(jié)構(gòu)的一個實例的圖。為了獲 得一個參考圖片列表中的一個PU的預(yù)測符，可通過再用當(dāng)前塊140的運動信息來識別S個 塊，即在此實例中，當(dāng)前視圖（由CurrRef 145表示）中的時間參考塊、由來自NBDV過程的DV 定位的參考視圖（由基礎(chǔ)(Base) 141表示）中的對應(yīng)塊，W及參考視圖（由BaseRef 143表示） 中的參考塊，如圖9中示出。接著，可通過參考視圖中的兩個塊的差（即，BaseRef-Base)來計 算殘差預(yù)測符。另外，可將加權(quán)因子w(0、l或0.5)進一步乘W殘差預(yù)測符，且可將經(jīng)加權(quán)的 殘差預(yù)測符添加到當(dāng)前時間參考塊，W產(chǎn)生一個參考圖片列表的當(dāng)前塊的最終預(yù)測。
[0165] 然而，在當(dāng)前塊針對一個參考圖片列表使用（不同視圖中的）視圖間參考圖片，歸 因于mvLX的缺失，可停用殘差預(yù)測過程。
[0166] 類似于針對時間殘差的ARP設(shè)計，當(dāng)當(dāng)前預(yù)測單元使用視圖間參考圖片，可啟用視 圖間殘差的預(yù)測。首先，可計算不同存取單元內(nèi)的視圖間殘差，接著可使用所計算的殘差信 息來預(yù)測當(dāng)前塊的視圖間殘差。
[0167] 在運方面中，可通過再用來自基礎(chǔ)的時間運動信息來識別=個相關(guān)塊:通過當(dāng)前 塊的所述視差運動向量來定位參考視圖中的參考塊（由基礎(chǔ)(Base)表示）；通過基礎(chǔ)所包含 的時間運動向量(nwLX)和參考索引定位的參考視圖中的基礎(chǔ)的參考塊（由BaseRef)表示， 如果可用；W及當(dāng)前視圖中的參考塊（由CurrRef表示），如下文論述的圖10的實例中示出。
[0168] 對于所識別的S個塊，可將當(dāng)前PU的殘差信號的殘差預(yù)測符計算為不同存取單元 中的兩個塊之間的差:CurrRef-BaseRef。此外，視圖間預(yù)測符可乘W如當(dāng)前ARP中使用的加 權(quán)因子。
[0169] 類似地，視頻譯碼器可使用雙線性濾波器來產(chǎn)生=個相對塊，如在用于時間殘差 預(yù)測的ARP的當(dāng)前設(shè)計中。此外，當(dāng)由Base包含的時間運動向量指向當(dāng)前子PU的第一可用時 間參考圖片的不同存取單元中的參考圖片時，其可首先經(jīng)按比例縮放到所述第一可用時間 參考圖片，且使用所述經(jīng)按比例縮放的運動向量來定位不同存取單元中的兩個塊。
[0170] 圖10展示用于視圖間ARP的實例預(yù)測結(jié)構(gòu)。如圖10中所展示，對于視圖間ARP，視頻 解碼器30識別當(dāng)前塊170的S個相關(guān)塊?；A(chǔ)171表示由當(dāng)前塊170的視差運動向量(DMV 172A)定位的參考視圖中的參考塊。如果可用，那么BaseRef 173表示由基礎(chǔ)171包含的時間 運動向量nwLX 174A和參考索引定位的參考視圖中的基礎(chǔ)171的參考塊。CurrRef 175表示 通過再用來自基礎(chǔ)171的時間運動信息來識別的當(dāng)前視圖中的參考塊。因此，視頻解碼器30 可使用mvLX 174B來定位CurrRef 175,其中mvLX 174A和mvLX 174B表示同一運動向量的兩 個例子。DMV 172B等于DMV 172A，如包含于圖10中，W說明Curr 170與Base 171之間的視差 等于CurrRef 175與BaseRef 173之間的視差。DMV 172B實際上可不對應(yīng)于視頻解碼器30所 使用或產(chǎn)生的視差運動向量。
[0171] 使用所識別的S個塊，視頻解碼器30可計算當(dāng)前PU(即Curr 170)的殘差信號的殘 差預(yù)測符，作為CurrRef與BaseRef之間的差。此外，視圖間預(yù)測符可乘W加權(quán)因子(W)。因 此，視頻解碼器30所確定的當(dāng)前塊（Curr 170)的最終預(yù)測符表示為Base+w*( CurrRef-BaseRef)O
[0172] 視頻解碼器30可使用雙線性濾波來產(chǎn)生=個相對塊，如在用于時間殘差預(yù)測的 ARP的一些已知設(shè)計中。此外，當(dāng)Base 171所包含的時間運動向量指向在當(dāng)前PU的第一可用 時間參考圖片的不同存取單元中的參考圖片時，視頻解碼器30可按比例縮放指向第一可用 時間參考圖片的時間運動向量，且可使用經(jīng)按比例縮放的運動向量來定位不同存取單元中 的兩個塊。
[0173] 下文論述視頻譯碼器可借此為ARP導(dǎo)出目標(biāo)參考索引的一個實例過程。在3D-肥VC 中，為可使用ARP的每一圖片選擇目標(biāo)參考索引化RefldxLX。
[0174] 首先，識別對應(yīng)于每一參考圖片列表(RefPicListO或RefPicListl)的時間參考圖 片。
[0175] 其次，對于此時間參考圖片，逐個地檢查有效層間參考圖片（如切片標(biāo)頭中所定 義）的參考圖片列表中的參考視圖。如果具有等于refViewIdx的視圖次序索引的有效層間 參考圖片具有與當(dāng)前圖片的化RefIdxLX具有相同POC的時間參考圖片(仍在DPB中存在），那 么將變量Ref 化Ref Avai lFlagLX[ref ViewIdx]設(shè)定成等于 1。否則，將Ref RpRef Avai IFlagLX [refViewIdx]設(shè)定成等于0。如果NBDV過程返回對應(yīng)于等于0的Ref化RefAvailFlagLX[i]的 視圖次序索引（由i表示），那么ARP應(yīng)不適用。
[0176] 子條款H.8.3.9(殘差預(yù)測的目標(biāo)參考索引的導(dǎo)出過程）中的當(dāng)前3D-皿VC設(shè)計如 下。
[0177] 在當(dāng)前切片為P或B切片時，調(diào)用此過程。
[0178] 將變量化RefIdxLO和化RefIdxLl設(shè)定成等于-1，將變量化RefPicAvailFlagLO和 I^pRefPicAvai IFlagLl 設(shè)定成等于 0。
[0179] 對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0180] -當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0181 ]-對于在 0 到 num_ref_idx_lX_active_minusl (包含 0 和 num_ref_idx_lX_active_ minusl)的范圍內(nèi)的i，W下適用：
[0182] -當(dāng) PicOrde;rCnt(RefPicListX[i])不等于 PicOrderCntVal，且 I^pRefPicAvailFlagLX等于0時，W下適用：
[0183] 化RefIdxLX = I (H-32)
[0184] 化RefPicAvailFlagLX = I (H-33)
[01化][版本.（GT) :DPB中可存在滿足W上條件但具有與當(dāng)前層相比不同的D邱thFlag的 值的圖片]。
[01 化]將變量RpRe f P i C A va i 1F 1 ag設(shè)定成等于（RpRe f P i C A va i 1 F 1 agLO I 化RefPicAvaiIFlagLl)。
[0187] 當(dāng)化RefPicAvailFlag等于1時，對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0188] 當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0189] a.對于在 0 到NumActiveRe 化 aye;rPics-l (包含 0 和 NumActiveRe 化 aye;rPics-l)的 范圍內(nèi)的i，W下適用：
[0190] i .將變量refViewIdx設(shè)定成等于ViewIdx(RefPicListX[i])。
[0191 ] ii .將變量RefI?pRefAvailFlagLX[refViewIdx]設(shè)定成等于0。
[0192] iii .當(dāng)RpRefPicAvailFlagLX等于 1，且DPB中存在具有等于PicOrderCnt (RefPicLiStX化pRef IdxLX])的PiCOrderQit(PicA)、等于refViewIdx的ViewIdx(picA)、等 于0的DepthFlag(picA)且標(biāo)記為"用于參考"的圖片picA，將RefRpRef Avai IFla化X [refViewIdx]設(shè)定成等于1。
[019引在本子條款中，此項目編號"i.將變量refViewIdx設(shè)定成等于ViewIdx (RefPicListX[i]r中存在清楚的錯誤，因為第i個有效層間參考圖片，而不是第i個參考圖 片。
[0194] 為了進一步改進ARP的譯碼效率，已在JCT3V-F0124中提出子PU(塊)層級ARP。
[01M]在此建議中，當(dāng)將ARP應(yīng)用于時間殘差或視圖間殘差時，使用與覆蓋由當(dāng)前PU的運 動向量定位的參考塊的中屯、位置的塊相關(guān)聯(lián)的運動信息來更新來自NBDV的DV，或更新用W 產(chǎn)生最終殘差預(yù)測符的時間運動向量。在一些情況下，參考塊可含有不同運動信息。因此， 如果考慮參考塊內(nèi)的多個運動信息，那么可預(yù)期較好的譯碼增益。
[0196] 一種方法是對塊層級執(zhí)行ARP。更具體地說，在此實例中，首先將每一PU分割成若 干個塊(在模擬中使用8X8塊大?。?，且每一塊共享與當(dāng)前PU相同的運動信息。
[0197] 對于每一8 X8塊，可為每一塊更新視差向量或時間運動向量信息。在當(dāng)前"ARP經(jīng) 譯碼"PU具有時間參考圖片時，當(dāng)前PU內(nèi)的每一8X8塊的視差向量可不同，如下文論述圖 IlA的實例中示出。在當(dāng)前ARP經(jīng)譯碼PU具有視圖間參考圖片時，當(dāng)前PU內(nèi)的每一8X8塊的 時間運動向量可不同，如下文論述圖IlB的實例中示出。
[019引此外，如果用ARP來譯碼當(dāng)前PU,那么可不譯碼色度分量的殘差。
[0199] 圖IlA展示塊層級時間ARP的實例預(yù)測結(jié)構(gòu)。在圖IlA的實例中，Curr 180表示分成 四個8 X 8塊(在圖IlA中標(biāo)記為A到D)的PU?；A(chǔ)181表示由Curr 180的視差向量導(dǎo)出的參 考/基礎(chǔ)視圖導(dǎo)出中的四個參考塊(標(biāo)記為A'到D'）。使用塊A的視差向量來識別Based 181 的塊A'（在圖IlA中示出為DV[0])，且使用視差向量來識別塊B'（在圖IlA中示出為DV[1])。 盡管圖IlA中未明確示出，但可同樣地使用塊C和D的視差向量來識別塊C'和D'。
[0200] 可為每一8 X8塊更新所導(dǎo)出的運動向量（即，時間ARP中的視差向量）。對于時間 ARP，首先將默認(rèn)derivedMv(針對圖IlA中的第i個8X8塊，由DV山表示)設(shè)定成來自NBDV過 程的DV。當(dāng)覆蓋化rrRef內(nèi)的第i個8 X 8塊的中屯、位置的塊包含視差運動向量時，將DV[ i ]更 新為所述視差運動向量。因此，如圖IlA中所展示，與塊A至化相對于彼此相比，塊A'到D'可相 對于彼此不同地定位。CurrRef 183將同一視圖中的四個塊(Ap到化)表示為化rr 180的時間 運動向量（在圖IlA中示出為mvLX 184A)導(dǎo)出的Ciirr ISOnBaseRef 185將同一視圖中的四 個塊(Ar到Dr )表示為由當(dāng)前塊(m化X 184B)的時間運動向量導(dǎo)出的Base 181。在圖1IA的實 例中，nwLX 184A和mvLX 184B既定表示同一運動向量的兩個不同應(yīng)用程序。就是說，nwLX 184A和mvLX 184B具有相同的X分量和y分量。
[0201] 在圖1IA的實例中，將殘差預(yù)測符表示為BaseRef-Base，其中減法運算應(yīng)用于所表 示的像素陣列的每一像素。將加權(quán)因子(W)進一步乘W殘差預(yù)測符。因此，由視頻解碼器30 確定的塊A至化的最終預(yù)測符表示為CurrRef[Np]+w*(Base[N']-BaseRef [編號])，其中N對 應(yīng)于A到D。
[0202] 圖IlB展示塊層級視圖間ARP的實例預(yù)測結(jié)構(gòu)。在圖IlB的實例中，視頻解碼器30識 別當(dāng)前塊182的S個相關(guān)塊。Base 186表示由當(dāng)前塊182的所述視差運動向量(DMV188A)定 位的參考視圖中的四個參考塊(A到D)。如果可用，BaseRef 187表示由Base 186所包含的時 間運動向量nwLX[N巧日參考索引定位的參考視圖中的Base 186的四個參考塊(A'SJD'），其 中N對應(yīng)于塊A到D。對于視圖間ARP，可將默認(rèn)derivedMv(由圖1IB中的第i個8 X 8塊的mvLX [i]表示)設(shè)定成與覆蓋Base的中屯、位置的塊相關(guān)聯(lián)的時間運動向量，如在當(dāng)前ARP中。當(dāng)覆 蓋Base內(nèi)的第i個8 X 8塊的中屯、位置的塊包含時間運動向量時，將mvLX[ i ]更新為所述時間 運動向量。因此，如圖IlA中所展示，與塊A至化相對于彼此相比，塊A'到D'可相對于彼此不同 地定位。
[0203] 化rrRef 189表示通過再用來自Base 186的時間運動信息來識別的當(dāng)前視圖中的 四個參考塊(Ar到Dr)。因此，舉例來說，視頻解碼器30使用mvLX[A]來定位Ar,使用mvLX[B]來 定位Br,等等。對于S個所識別的塊，視頻解碼器30可將當(dāng)前PU的殘差信號的殘差預(yù)測符計 算為CurrRef-BaseRef之間的差。所述塊可在不同存取單元中。此外，視圖間預(yù)測符可乘W 加權(quán)因子（W)。因此，視頻解碼器30所確定的當(dāng)前塊的最終預(yù)測符表示為Base [N]+w* (CurrRef[Nr]-BaseRef[N'])。
[0204] 下文描述視頻譯碼器可如何指定或W其它方式確定切片標(biāo)頭中的有效層間參照。
[0205] 在MV-皿VC中，可在放入當(dāng)前圖片的初始參考圖片列表中的那些參考圖片的切片 標(biāo)頭中發(fā)信號通知有效層間參考圖片。
[0206]
[0207] 可在切片標(biāo)頭中發(fā)信號通知有效層間參考圖片的數(shù)目W及層間參考圖片中的每 一者。即使當(dāng)前層具有在中發(fā)信號通知的參考層，如果其不發(fā)信號通知/導(dǎo)出為參考層， 那么歸因于切片層級發(fā)信號通知，可不將此層的圖片插入到其參考圖片列表中。
[0208] 上文可導(dǎo)致W下潛在問題。當(dāng)前3D-皿VC要求視頻解碼器30檢查整個參考圖片列 表來尋找NBDV的默認(rèn)層間參考圖片。此過程可為不必要的。此外，在3D-HEVC中，尚未確定應(yīng) 如何在紋理圖片的切片層級中發(fā)信號通知實際深度參考層，W及類似地應(yīng)如何在深度圖片 的切片標(biāo)頭中發(fā)信號通知有效紋理參考層(僅相關(guān)聯(lián)的一個紋理參考層）。
[0209] 根據(jù)本發(fā)明中描述的技術(shù)，視頻編碼器20可為NBDV過程來確定默認(rèn)層間參考圖 片，而不必評定存儲到參考圖片列表的每一參考圖片，使用默認(rèn)層間參考圖片來執(zhí)行NBDV 過程W確定視差向量，且基于視差向量來編碼=維視頻數(shù)據(jù)的當(dāng)前圖片。
[0210] 就是說，本發(fā)明中描述與3D-HEVC有關(guān)的技術(shù)，W導(dǎo)出默認(rèn)視差向量與之相關(guān)聯(lián)的 默認(rèn)NBDV圖片，且導(dǎo)出ARP的目標(biāo)參考索引。換句話說，本發(fā)明的技術(shù)可修改3D-皿VC(例如 相對于測試模型4,如上所述），使得在切片標(biāo)頭中發(fā)信號通知（例如通過inter_layer_ pred_layer_idc[i])的有效參考層可僅關(guān)注具有與當(dāng)前圖片相同的紋理或深度的特性的 層。因此，有效層可用于指示可放入當(dāng)前圖片的參考圖片列表中的層間參考圖片。
[0211] 根據(jù)本發(fā)明的一個技術(shù)，在3D-HEVC中，在切片標(biāo)頭中發(fā)信號通知（例如通過 inte;r_laye;r_pred_laye;r_idc[i])的有效參考層可僅設(shè)及與當(dāng)前圖片具有相同的紋理或 深度的特性的層。因此，此類有效層用于指示可放入當(dāng)前圖片的參考圖片列表中但不用于 指示其它類型的相依性的層間參考圖片。
[0212] 可將NBDV圖片的默認(rèn)視圖次序索引導(dǎo)出為如在切片標(biāo)頭中發(fā)信號通知或在切片 層級中導(dǎo)出的第一有效層間參考的視圖次序索引。
[0213] 根據(jù)本發(fā)明的一個技術(shù)，如果使用來自深度層的信息執(zhí)行DoNBDV或BVSP，那么視 頻編碼器20可例如在VPS中發(fā)信號通知紋理層取決于深度層?；蛘撸曨l編碼器20可不發(fā)信 號通知此相依性，而是視頻編碼器20和視頻解碼器30可導(dǎo)出相依性。舉例來說，如果紋理層 A取決于紋理層B，那么當(dāng)紋理層C屬于與紋理層B相同的視圖時，紋理層A也取決于深度層C (如果存在）。
[0214] 在中，如果紋理層屬于與深度層相同的視圖，那么視頻編碼器20可發(fā)信號通知 深度層，W取決于或不取決于紋理層。發(fā)信息通知機制可與當(dāng)前MV-皿VC中相同，因此不管 相依層是紋理還是深度。
[0215] 視頻解碼器30可(例如)基于VPS中發(fā)信號通知的當(dāng)前紋理層的直接相依層，確定 視頻數(shù)據(jù)的當(dāng)前紋理層取決于視頻數(shù)據(jù)的深度層；W及使用所述深度層來過程當(dāng)前紋理 層。換句話說，視頻解碼器30可基于參數(shù)集(例如VPS)中發(fā)信號通知的一個或多個參數(shù)，確 定視頻數(shù)據(jù)的紋理層取決于視頻數(shù)據(jù)的深度層，且響應(yīng)于紋理層取決于深度層，處理所述 深度層。作為處理深度層的一部分，視頻解碼器30可使用利用從深度層獲得的信息的 DoNBDV過程或BVSP過程中的至少一者來預(yù)測紋理層的塊。視頻解碼器30可獨立于所述參數(shù) 集，例如在紋理層的切片的切片標(biāo)頭中接收紋理層的切片的有效參考切片層的指示。視頻 解碼器30可獨立于所述參數(shù)集，例如在深度層的切片的切片標(biāo)頭中接收所述深度層的切片 的有效參考切片層的指示。在運些實例中，深度層可為基礎(chǔ)深度層，且紋理層可為非基礎(chǔ)紋 理層。深度層可對應(yīng)于與相依紋理層不同的紋理層。
[0216] 或者，可為了相同目的而發(fā)信號通知旗標(biāo)(例如texture_dep_flag)。舉例來說，如 果此旗標(biāo)是1，那么當(dāng)前深度層可取決于同一視圖中的紋理層。否則，當(dāng)前深度層并不取決 于同一視圖中的紋理層。在運些和其它實例中，為上述兩種情況中的任一者導(dǎo)出 tex1:ureD邱Flag,僅在textureDepFlag為1時，啟用MPI，且發(fā)信號通知mpi_flag[laye;rld]。 此外，僅當(dāng)textureDepFlag等于1時，可啟用DMM模式4(深度塊的分區(qū)取決于處于相同位置 的紋理塊）?；蛘?，可不發(fā)信號通知此相依性，而是可始終假定此相依性。
[0217] 在運些和其它實例中，視頻編碼器20可基于不同深度和紋理層之間的一或多個相 依性，導(dǎo)出紋理層與深度層的相依性。在運些和其它實例中，視頻編碼器20可基于不同深度 和紋理層之間的一或多個相依性，導(dǎo)出紋理層與深度層的相依性。視頻編碼器20可基于紋 理層是否屬于與深度層相同的視圖而確定深度層是否取決于紋理層。
[0218] 就是說，對于每一紋理切片，當(dāng)前紋理圖片與參考深度層的切片層級相依性可不 屬于切片標(biāo)頭中發(fā)信號通知的有效參考層。在一些實例中，始終假定所述有效參考層潛在 地與中發(fā)信號通知的發(fā)信號通知相同。在運些實例中，W如果紋理參考層是當(dāng)前切片的 有效參考層（意味著可能需要有效參考層的所述存取單元中的圖片來解碼當(dāng)前圖片）的方 式來導(dǎo)出當(dāng)前紋理圖片與參考深度層的切片層級相依性，如果相同存取單元中存在，那么 同一視圖的深度參考層是當(dāng)前切片/圖片的參考層。在一些實例中，可在當(dāng)前紋理切片的切 片標(biāo)頭中明確地發(fā)信號通知紋理層的此類相依深度層。
[0219] 對于每一深度切片，可存在切片標(biāo)頭中的旗標(biāo)，其指示其是否取決于同一視圖和 同一存取單元的紋理圖片。或者，不發(fā)信號通知此旗標(biāo)，且總是假定為1，意味著存在相依 性?；蛘撸?dāng)針對整個深度層啟用MPI(針對當(dāng)前深度層，mpi_flag[layerld]為I)或DMM模式 4時，僅發(fā)信號通知此旗標(biāo)。
[0220] 或者，如果textureDepFlag等于0或如果針對整個深度層，停用MPI和DMM兩者，那 么不存在此旗標(biāo)，且推斷其等于0。當(dāng)此旗標(biāo)等于0時，允許與同一視圖中的同一存取單元的 紋理層無相依性，且停用取決于此的譯碼工具。所停用的工具包含用于當(dāng)前切片/圖片的 MPI和DMM 4。
[0221] 換句話說，當(dāng)確定默認(rèn)層間參考圖片時，視頻編碼器20可從與所述當(dāng)前圖片相關(guān) 聯(lián)的切片標(biāo)頭確定默認(rèn)層間參考圖片。
[0222] 在運些和其它實例中，當(dāng)前圖片包括當(dāng)前紋理圖片。當(dāng)編碼當(dāng)前圖片時，視頻編碼 器20可基于視差向量來執(zhí)行視圖合成預(yù)測(VPS) W編碼當(dāng)前紋理圖片。當(dāng)執(zhí)行NBDV過程時， 視頻編碼器20可確定當(dāng)前紋理圖片對參考深度層的切片層級相依性，使得相依性并不屬于 與當(dāng)前紋理圖片相關(guān)聯(lián)的切片標(biāo)頭中發(fā)信號通知的有效參考層，但屬于為了執(zhí)行VPS而發(fā) 信號通知的有效參考層。
[0223] 在運些和其它實例中，視頻編碼器20可進一步確定深度切片是否取決于來自切片 標(biāo)頭的相同視圖和相同存取單元的紋理圖片。
[0224] 在操作中，視頻編碼器20可根據(jù)依據(jù)3D-皿VC標(biāo)準(zhǔn)的經(jīng)修改版本指定的W下技術(shù) 來操作，其中使用刪除線來示出修訂本，W表示刪除，或是用下劃線來示出添加。
[0225] 此方面對應(yīng)于如上文所描述的情況，其中有效參考層可僅關(guān)注具有與當(dāng)前圖片相 同的紋理/深度特性的那些參考層。
[0226] 所述變化是針對ARP的默認(rèn)NBDV參考圖片和目標(biāo)參考索引。
[0227] 提出默認(rèn)參考視圖次序索引的導(dǎo)出應(yīng)W與ARP中的目標(biāo)參考圖片的導(dǎo)出過程中類 似的方式簡化。另外，為ARP中的目標(biāo)參考圖片的導(dǎo)出過程提供錯誤修正。
[02%]為經(jīng)修改的文本加 下劃線，且對刪除的文本加刪除線。
[0229] H.8.3.8用于視差導(dǎo)出的默認(rèn)參考視圖次序索引的導(dǎo)出過程 I-L-^r>i=rt^r)4-Tl I-L-!田 m 山心::斗革口
[0233] H.8.3.9用于殘差預(yù)測的目標(biāo)參考索引的導(dǎo)出過程
[0234] 在當(dāng)前切片為P或B切片時，調(diào)用此過程。
[0235] 將變量化RefIdxLO和化RefIdxLl設(shè)定成等于-1，將變量化RefPicAvailFlagLO和 I^pRefPicAvai IFlagLl 設(shè)定成等于 0。
[0236] 對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0237] 當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[023引 對于在 0 到 num_ref_idx_lX_active_minusl (包含 0 和 num_ref_idx_lX_active_ minusl)的范圍內(nèi)的i，W下適用：
[0239] 當(dāng) PicOrde;rCnt(RefPicListX[i])不等于 PicOrderCntVal，且 I^pRefPicAvailFlagLX等于0時，W下適用：
[0240] 化RefIdxLX = I 化-32) 「02411 RnRAfPiV'Aval IFIwLX = I
L0243J 將變量RpRe f P i C A va i 1F 1 ag巧定成等十（RpRe f P i C A va i 1 F 1 agLO I 化RefPicAvaiIFlagLl)。
[0244] 當(dāng)RpRefPicAvailFlag等于1時，對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0245] 當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0246] 對于在 0 到NumActiveRe 化 aye;rPi CS-I (包含 0 和 NumActi VeRe 化 aye;rPi CS-I)的范
[0248] 將變量 Ref I^pRef Avai lFlagLX[refViewIdx]設(shè)定成等于 0。
[0249] 當(dāng)化 RefPicAvailFlagLX 等于 1，且 Dro 中存在具有等于 PicOrderCnt(RefPicListX [化Ref IdxLX])的PicOrderCnt (picA)、等于refViewIdx的ViewIdx(picA)、等于0的 Dep1:hFlag(picA)且標(biāo)記為。用于參考"的圖片picA，將Ref I^pRef Avai lFlagLX[ref ViewIdx] 設(shè)定成等于1。
[0250] 此外，所述技術(shù)的各個方面可使視頻譯碼器能夠確定有效參考層的第一非零集 合，確定有效參考層的第二非零集合，且基于有效參考層的所述第一非零集和有效參考層 的所述第二非零集來譯碼=維視頻數(shù)據(jù)。
[0251] 在運些和其它實例中，有效參考層的所述第一非零集合僅包含待譯碼的=維視頻 數(shù)據(jù)的當(dāng)前紋理層的紋理參考層。在運些和其它實例中，有效參考層的第二非零集合包含 當(dāng)前紋理層的任何其余層。在運些和其它實例中，有效參考層的第二非零集合包含任何其 余層。
[0252] 在運些和其它實例中，有效參考層的所述第一非零集合僅包含待譯碼的=維視頻 數(shù)據(jù)的深度紋理層的深度參考層。在運些和其它實例中，有效參考層的第二非零集合包含 當(dāng)前深度層的任何其余層。在運些和其它實例中，有效參考層的第二非零集合包含任何其 余層。
[0253] 在運些和其它實例中，譯碼=維視頻數(shù)據(jù)包括用視頻編碼器20來編碼=維視頻數(shù) 據(jù)。
[0254] 在運些和其它實例中，=維視頻數(shù)據(jù)包括經(jīng)編碼的=維視頻數(shù)據(jù)，且譯碼=維視 頻數(shù)據(jù)包括用視頻解碼器30來解碼經(jīng)編碼的=維視頻數(shù)據(jù)。
[0255] 就是說，當(dāng)有效參考層包含當(dāng)前紋理圖片的深度層或當(dāng)前深度層的紋理層時。視 頻譯碼器可創(chuàng)建兩組有效參考層。在一些實例中，第一組可具有相同特性有效參考層集合， 其僅含有當(dāng)前紋理層的紋理參考層或僅含有當(dāng)前深度層的深度參考層。在運些和其它實例 中，第二集合是不同特性有效參考層集合，其含有其余有效參考層。3D-皿VC中需要有效參 考層的解碼過程可由相同特性有效層集合代替。
[0256] 在操作中，視頻編碼器20和/或視頻解碼器30可根據(jù)依據(jù)3D-HEVC標(biāo)準(zhǔn)的經(jīng)修改的 版本指定的W下技術(shù)來操作，其中使用刪除線來示出修訂W表示刪除，或加下劃線來示出 ^^^加。
[0257] 如下修改 inter_layer_pred_layer_idc 的語義 D
[0258] inter_layer_pred_layer_idc[i]指定變量RefPicLayerId[i]，其表示可由當(dāng)前 圖片用于層間預(yù)測的第i圖片的nuh_layer_id。所述語法元素 inter_layer_pred_layer_ idc[i]的長度是Ceil(Log2(NumDirect民efLayers[nuh_layer_id]))個位D inter_layer_ pred_layer_idc[ i ]的值將在0到NumDirectRe化ayers [nuh_layer_id]-l (包含0和 NumDirectRe化ayers[nuh_layer_id]-l)的范圍內(nèi) D 當(dāng)不存在時，inter_layer_pred_ layer_idc[ i]的值可推斷為等于re化ayei^PicIdcl! i] D
[0259] 當(dāng) i 大于0時，inter_layer_pred_layer_idc[i]將大于 inter_layer_pred_layer_ idc[i-l]O
[0260] 在0 到NumActiveRe 化 ayei^Pics-l (包含 0 和NumActiveRe 化 ayei^Pics-l)的范圍內(nèi) 的i的所有值的變量RefPicLay erld[i]如下導(dǎo)出：
[0261 ] for(i=0, j = 0，k = 0; KNumActive民e化ayerPics; i++) (Iid = RefLayerId[nuh_ layer_id][inter_layer_pred_layer_idc[i]]if(VpsDepthFlag[lid]= =VpsDepthFlag [nuh_layer_id])
[0262] RefPicLayerId[ij++]二lid
[0263]
[0264] else
[026日] 民efPicLayerIdDiffProperty[k++] = lid
[0266] }
[0267] 將 NumActive 民 e 化ayerPics 設(shè)定成等于 j D
[026引位流相符性的要求是針對在0到NumActiveRefLayerPics-I(包含0和 炯111六(3古；[￥6民6化376巧；[03-1)的范圍內(nèi)的1的每一值，1^下兩種情況中的任一者將為真：
[0269] -max_tid_il_ref_piCs_pIusl[LayerIdxInVps[民efPicLayerId[i]]] [LayerIdxInVps[nuh_layer_id]]的值大于 Temporalld。
[0270] -max_tid_il_ref_piCs_pIUS I[LayerIdxInVps[民efPicLayerId[i]]] [LayerIdxIn化S [nuh_layer_id]巧日Temporal Id的值均等于0,且具有等于Ref PicLayerId [i]的nuh_layer_id的當(dāng)前存取單元中的圖片是IRAP圖片。
[0271] 注意，RefPicLayerId現(xiàn)在表示相同特性有效參考層集合，且 RefPicLay erl郵if fP;rope;rty現(xiàn)在表示不同特性有效參考層集合。
[0272] H.8.3.8用于視差導(dǎo)出的默認(rèn)參考視圖次序索引的導(dǎo)出過程
[0273] 在當(dāng)前切片為P或B切片時，調(diào)用此過程。
[0274] 將變量Defau It ViewId X 設(shè)定成等于ViewOrder Idx [Ref PicLaye rid [0_22
[0275] H.8.3.9用于殘差預(yù)測的目標(biāo)參考索引的導(dǎo)出過程
[0276] 在當(dāng)前切片為P或B切片時，調(diào)用此過程。
[0277] 將變量化RefIdxLO和化RefIdxLl設(shè)定成等于-1，將變量化RefPicAvailFlagLO和 I^pRefPicAvai IFlagLl 設(shè)定成等于 0。
[0278] 對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0279] -當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0280] -對于在 0 到 num_ref_idx_lX_active_minusl (包含 0 和 num_ref_idx_lX_active_ minusl)的范圍內(nèi)的i，W下適用：
[0281 ]-當(dāng) PicOrde;rCnt(RefPicListX[i])不等于 PicOrderCntVal，且 I^pRefPicAvailFlagLX等于0時，W下適用：
[0282] 化RefIdxLX = I 化-32)
[0283] 化RefPicAvailFlagLX = I (H-33)
[0284] 將變量 RpRefPicAvailFlag 設(shè)定成等于（RpRefPicAvailFlagLO I 化RefPicAvaiIFlagLl)。
[0285] 當(dāng)化RefPicAvailFlag等于1時，對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0286] -當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0287] -對于在0到加1114。1：；[￥61?6化日76巧；[。3-1(包含0和化1減。1：；[￥61?6化日76巧；[。3-1)的范 圍內(nèi)的i，W下適用：
[0289] -將變量 Ref化RefAvailFlagLXbefViewIdx]設(shè)定成等于 0。
[0290] -當(dāng) RpRefPicAvailFlagLX 等于 1，且 DPB 中存在具有等于 PicOrderCnt (RefPicListX陽pRef IdxLX])的PicOrderQit(PicA)、等于refViewIdx的ViewIdx(picA)、等 于0的DepthFlag(picA)且標(biāo)記為"用于參考"的圖片picA，將RefRpRef Avai IFla化X
[refViewIdx]設(shè)定成等于I。
[0291] 所述技術(shù)的各個方面還可使視頻譯碼器能夠基于參考層是紋理層還是深度層的 確定來確定有效參考層的非零集合，并基于所述所確定的有效參考層的非零集合來譯碼= 維視頻數(shù)據(jù)。
[0292] 在操作中，視頻譯碼器可根據(jù)依據(jù)3D-皿VC標(biāo)準(zhǔn)的經(jīng)修改版本指定的W下技術(shù)來 操作，其中使用刪除線來示出修訂本，W表示刪除，或是用下劃線來示出添加。
[0293] 此方面可與正好在前面的方面但通過不潛在地創(chuàng)建兩組有效參考層來實現(xiàn)相同 的目的。在此情況下，取決于有效參考層的解碼過程可需要檢查參考層是紋理層還是深度 層。
[0294] H.8.3.8用于視差導(dǎo)出的默認(rèn)參考視圖次序索引的導(dǎo)出過程 [02M]在當(dāng)前切片為P或B切片時，調(diào)用此過程。
[0296] 將變量DefaultYiewIdx設(shè)定成等于YiewOrderIdx[RefPicLayerId[i]]，其中i是 從 0 至IjNumAct IveRef LayerPics-I (包含 0 和 NumAct IveRe 化ayerPics-1)開始在遞增次序中 的第一^~>^^Ai：VpsDepthFlag[RefPicLayerId[i] ]#^VpsDepthFlag[nuh_layer_id]
[0297] H. 8.3.9用于殘差預(yù)測的目標(biāo)參考索引的導(dǎo)出過程
[0298] 在當(dāng)前切片為P或B切片時，調(diào)用此過程。
[0299] 將變量化RefIdxLO和化RefIdxLl設(shè)定成等于-1，將變量化RefPicAvailFlagLO和 I^pRefPicAvai IFlagLl 設(shè)定成等于 0。
[0300] 對于在0到1的范圍內(nèi)（包含0和1)的X，W下適用：
[0301 ]當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0302]對于在 0 到 num_ref_idx_lX_active_minusl (包含 0 和 num_ref_idx_lX_active_ minusl)的范圍內(nèi)的i，W下適用：
[030；3]當(dāng) PicOrde;rCnt(RefPicListX[i])不等于 PicOrderCntVal，且 I^pRefPicAvailFlagLX等于0時，W下適用：
[0304] 化RefIdxLX = I 化-32)
[0305] 化RefPicAvailFlagLX = I 化-33)
[0306] 將變量 RpRefPicAvailFlag 設(shè)定成等于（RpRefPicAvailFlagLO I 化RefPicAvaiIFlagLl)。
[0307] 當(dāng)化RefPicAvailFlag等于I時，對于在0到I的范圍內(nèi)（包含0和I)的X，W下適用：
[0308] 當(dāng)X等于0或當(dāng)前切片為B切片時，W下適用：
[0309] 對于在 0 到NumActiveRe 化 aye;rPi CS-I (包含 0 和 NumActi VeRe 化 aye;rPi CS-I)的范 圍內(nèi)的i，W下適用：
[0311] 將變量 Ref化RefAvailFlagLXbefViewIdx]設(shè)定成等于 0。
[0312] 當(dāng)化Ref PicAvai IFlagLX 等于 1，且DPB 中存在具有等于PicOrderQit (Ref PicLi StX [I^pRefIdxLX ])的Pic OrderCnt (pi cA)、等于 refViewIdx的 Vi ewIdx(picA)、等于 0 的 Dep1:hFlag(picA)且標(biāo)記為。用于參考"的圖片picA，將Ref I^pRef Avai lFlagLX[ref ViewIdx] 設(shè)定成等于1。
[0313] 圖12是說明可實施本發(fā)明中所描述的用于時間運動向量預(yù)測的技術(shù)的實例視頻 編碼器20的框圖。視頻編碼器20可執(zhí)行視頻切片內(nèi)的視頻塊的帖內(nèi)和帖間譯碼。帖內(nèi)譯碼 依賴于空間預(yù)測來減少或去除給定圖片內(nèi)的視頻中的空間冗余。帖間譯碼依賴于時間預(yù)測 來減少或去除視頻序列的鄰接圖片或圖片內(nèi)的視頻中的時間冗余。帖內(nèi)模式（I模式)可指 若干基于空間壓縮模式中的任一者。例如單向預(yù)測(P模式)或雙向預(yù)測(B模式)的帖間模式 可指代若干基于時間的壓縮模式中的任一者。
[0314] 如圖12中所示，視頻編碼器20接收待編碼的視頻數(shù)據(jù)。在圖12的實例中，視頻編碼 器20包含視頻數(shù)據(jù)存儲器38、模式選擇單元40、求和器50、變換處理單元52、量化單元54、賭 編碼單元56和經(jīng)解碼圖片緩沖器64。模式選擇單元40又包含運動估計單元42、運動補償單 元44、帖內(nèi)預(yù)測單元46和分割單元48。為進行視頻塊重構(gòu)，視頻編碼器20還包含逆量化單元 58、逆變換處理單元60和求和器62。還可包含去塊濾波器（圖12中未圖示）W便對塊邊界進 行濾波，W從經(jīng)重構(gòu)視頻去除成塊性假影。在需要時，去塊濾波器將通常對求和器62的輸出 濾波。除了去塊濾波器外，還可使用額外環(huán)路濾波器（回路中或回路后）。為簡潔起見未圖示 此些濾波器，但是必要時，此些濾波器可對求和器50的輸出進行濾波(作為環(huán)路內(nèi)濾波器）。
[0315] 視頻數(shù)據(jù)存儲器38可存儲待由視頻編碼器20的組件編碼的視頻數(shù)據(jù)?？衫鐝囊?頻源18獲得存儲在視頻數(shù)據(jù)存儲器38中的視頻數(shù)據(jù)。經(jīng)解碼圖片緩沖器64可為參考圖片存 儲器，其存儲用于由視頻編碼器20(例如)在帖內(nèi)或帖間譯碼模式下對視頻數(shù)據(jù)進行編碼的 參考視頻數(shù)據(jù)。視頻數(shù)據(jù)存儲器38和經(jīng)解碼圖片緩沖器64可通過多種存儲器裝置中的任一 者形成，例如動態(tài)隨機存取存儲器(DRAM)，包含同步DRAM(SDRAM)、磁阻式RAM(MRAM)、電阻 式RAM(RRAM)或其它類型的存儲器裝置。視頻數(shù)據(jù)存儲器38和經(jīng)解碼圖片緩沖器64可由相 同存儲器裝置或單獨的存儲器裝置提供。在各種實例中，視頻數(shù)據(jù)存儲器38可與視頻編碼 器20的其它組件一起在忍片上，或相對于那些組件在忍片外。
[0316] 在編碼過程期間，視頻編碼器20接收待譯碼的視頻圖片或切片。圖片或片段可劃 分成多個視頻塊。運動估計單元42和運動補償單元44相對于一或多個參考圖片中的一或多 個塊執(zhí)行所接收視頻塊的帖間預(yù)測性譯碼W提供時間壓縮。帖內(nèi)預(yù)測單元46可替代地相對 于與待譯碼的塊相同的圖片或片段中的一或多個相鄰塊執(zhí)行所接收視頻塊的帖內(nèi)預(yù)測性 譯碼W提供空間壓縮。視頻編碼器20可執(zhí)行多個譯碼遍次，例如，W針對每一視頻數(shù)據(jù)塊選 擇一種適當(dāng)?shù)淖g碼模式。
[0317] 此外，分割單元48可基于前述譯碼遍次中的前述劃分方案的評估將視頻數(shù)據(jù)塊分 割成若干子塊。舉例來說，分割單元48可最初將圖片或切片分割成若干LCU，且基于速率失 真分析(例如，速率失真最佳化)將所述LCU中的每一者分割成若干子CU。模式選擇單元40可 進一步產(chǎn)生指示將LCU分割成若干子CU的四叉樹數(shù)據(jù)結(jié)構(gòu)。四叉樹的葉節(jié)點CU可包含一或 多個PU和一或多個TU。
[0318] 模式選擇單元40可例如基于錯誤結(jié)果選擇譯碼模式中的一者，帖內(nèi)或帖間，并將 所得的經(jīng)帖內(nèi)或帖間譯碼塊提供給求和器50W產(chǎn)生殘差塊數(shù)據(jù)，且提供到求和器62, W重 構(gòu)用作參考圖片的經(jīng)編碼塊。模式選擇單元40還將語法元素(例如，運動向量、帖內(nèi)模式指 示符、分割信息和其它此類語法信息)提供給賭編碼單元56。
[0319] 運動估計單元42、運動向量預(yù)測單元43和運動補償單元44可高度集成，但出于概 念性目的而分開說明。由運動估計單元42執(zhí)行的運動估計為產(chǎn)生運動向量的過程，所述過 程估計視頻塊的運動。舉例來說，運動向量可指示當(dāng)前圖片內(nèi)的視頻塊的PU相對于參考圖 片（或其它經(jīng)譯碼單元）內(nèi)的預(yù)測塊相對于當(dāng)前圖片（或其它經(jīng)譯碼單元）內(nèi)正經(jīng)譯碼的當(dāng) 前塊的移位。
[0320] 預(yù)測性塊是被發(fā)現(xiàn)在像素差方面與待譯碼塊緊密匹配的塊，像素差可通過絕對差 總和(SAD)、平方差總和(SSD)或其它差度量來確定。在一些實例中，視頻編碼器20可計算存 儲在經(jīng)解碼圖片緩沖器64(其還可被稱作參考圖片緩沖器）中的參考圖片的子整數(shù)像素位 置的值。舉例來說，視頻編碼器20可內(nèi)插四分之一像素位置、八分之一像素位置或參考圖片 的其它分?jǐn)?shù)像素位置的值。因此，運動估計單元42可相對于全像素位置和分?jǐn)?shù)像素位置執(zhí) 行運動捜索，并且輸出具有分?jǐn)?shù)像素精度的運動向量。
[0321] 運動估計單元42通過比較PU的位置與參考圖片的預(yù)測性塊的位置來計算用于經(jīng) 帖間譯碼切片中的視頻塊的PU的運動向量。因此，一般來說，運動向量的數(shù)據(jù)可包含參考圖 片列表、到參考圖片列表中的索引（ref_idx)、水平分量和垂直分量。參考圖片可選自第一 參考圖片列表(列表0)、第二參考圖片列表(列表1)或組合參考圖片列表(列表C)，其中的每 一者識別存儲在經(jīng)解碼圖片緩沖器64中的一或多個參考圖片。
[0322] 運動估計單元42可產(chǎn)生識別參考圖片的預(yù)測塊的運動向量并將所述運動向量發(fā) 送到賭編碼單元56和運動補償單元44。就是說，運動估計單元42可產(chǎn)生并發(fā)送識別含有預(yù) 測塊的參考圖片列表的運動向量數(shù)據(jù)、到識別預(yù)測塊的圖片的參考圖片列表中的索引，W 及水平及垂直分量W定位所識別的圖片內(nèi)的預(yù)測塊。
[0323] 在一些實例中，并非發(fā)送當(dāng)前PU的實際運動向量，而是運動向量預(yù)測單元43可預(yù) 測運動向量，W進一步減少傳送運動向量所需的數(shù)據(jù)的量。在此情況下，并非編碼和傳送所 述運動向量本身，運動向量預(yù)測單元43可產(chǎn)生相對于已知(或可知)運動向量的運動向量差 (MVD)。已知運動向量(其可與MVD-起使用W定義當(dāng)前運動向量)可由所謂的運動向量預(yù)測 符(MVP)定義。一般來說，為了成為有效MVP，正用于預(yù)測的運動向量必須指向與當(dāng)前正譯碼 的運動向量相同的參考圖片。
[0324] 在一些實例中，如下文相對于圖6和7更詳細(xì)地描述，運動向量預(yù)測單元43可建立 運動向量預(yù)測符候選者列表，其包含空間和/或時間方向上的若干相鄰塊作為MVP的候選 者。當(dāng)多個運動向量預(yù)測符候選者可用（來自多個候選塊)時，運動向量預(yù)測單元43可根據(jù) 預(yù)定選擇標(biāo)準(zhǔn)來確定當(dāng)前塊的運動向量預(yù)測符。舉例來說，運動向量預(yù)測單元43可基于編 碼速率和失真的分析(例如使用速率失真成本分析或其它譯碼效率分析)從候選者集合選 擇最準(zhǔn)確的預(yù)測符。在其它實例中，運動向量預(yù)測單元43可產(chǎn)生運動向量預(yù)測符候選者的 平均值。選擇運動向量預(yù)測符的其它方法也是可能的。
[0325]在選擇運動向量預(yù)測符后，運動向量預(yù)測單元43可確定運動向量預(yù)測符索引 (mvp_flag)，其可用于告知視頻解碼器(例如視頻解碼器30)在含有MVP候選塊的參考圖片 列表中的何處定位MVP。運動向量預(yù)測單元43還可確定當(dāng)前塊與選定MVP之間的MVDdMVP索 引和MVD可用于重構(gòu)運動向量。
[03%]在一些實例中，運動向量預(yù)測單元43可改為實施所謂的"合并模式"，其中運動向 量預(yù)測單元43可"合并"預(yù)測性視頻塊的運動信息(例如運動向量、參考圖片索引、預(yù)測方向 或其它信息）與當(dāng)前視頻塊。因此，相對于合并模式，當(dāng)前視頻塊繼承來自另一已知（或可 知)視頻塊的運動信息。運動向量預(yù)測單元43可建立包含空間和/或時間方向上的若干相鄰 塊的合并模式候選者列表，作為合并模式的候選者。運動向量預(yù)測單元43可確定索引值(例 如merge_idx)，其可用于告知視頻解碼器(例如視頻解碼器30)在含有合并候選者塊的參考 圖片列表中何處定位合并視頻塊。
[0327]運動向量預(yù)測單元43可識別多視圖譯碼中的運動向量預(yù)測符，例如用于產(chǎn)生MVD 或合并。舉例來說，運動向量預(yù)測單元43可從與當(dāng)前塊不同的視圖分量中的塊識別視差運 動向量，W預(yù)測當(dāng)前塊的運動向量。在其它實例中，運動向量預(yù)測單元43可從與當(dāng)前塊不同 的視圖分量中的塊識別時間運動向量，W預(yù)測當(dāng)前塊的運動向量。
[03%]關(guān)于視差運動向量預(yù)測，運動向量預(yù)測單元43可從候選塊識別視差運動向量候選 者，W預(yù)測當(dāng)前正譯碼的視頻塊(被稱作"當(dāng)前塊"）的運動向量。當(dāng)前塊可位于與候選塊相 同的圖片中（例如空間上鄰近候選塊），或可位于與候選塊相同的視圖內(nèi)的另一圖片中。在 一些實例中，運動向量預(yù)測單元43可識別指代與當(dāng)前塊的運動向量不同的視圖中的參考圖 片的運動向量預(yù)測符。在此類情況下，根據(jù)本發(fā)明的技術(shù)，運動向量預(yù)測單元43可基于兩個 視圖（例如由所述運動向量預(yù)測符指代的視圖與當(dāng)前運動向量所指代的視圖之間的相機位 置中的差)來按比例縮放運動向量預(yù)測符。舉例來說，運動向量預(yù)測單元43可根據(jù)所述個視 圖之間的差異來按比例縮放所述視差運動向量預(yù)測符。在一些實例中，所述兩個視圖之間 的差異可由與所述視圖相關(guān)聯(lián)的視圖識別符(view_id)之間的差異表示。
[0329] 關(guān)于時間運動向量預(yù)測，運動向量預(yù)測單元43可從與當(dāng)前塊不同的視圖中的候選 塊識別時間運動向量候選者，W預(yù)測當(dāng)前塊的運動向量。舉例來說，運動向量預(yù)測單元43可 識別指代第一視圖的另一時間位置處的圖片中的塊的第一視圖中的時間運動向量預(yù)測符 候選者。運動向量預(yù)測單元43可使用所識別的時間運動向量預(yù)測符候選者來預(yù)測與第二不 同視圖中的當(dāng)前塊相關(guān)聯(lián)的運動向量。候選塊(其包含運動向量預(yù)測符候選者)和當(dāng)前塊可 處于相同位置。然而，候選塊的相對位置可從當(dāng)前塊偏移，歸因于兩個視圖之間的視差。
[0330] 由運動補償單元44執(zhí)行的運動補償可設(shè)及基于由運動估計單元42確定的運動向 量和/或來自運動向量預(yù)測單元43的信息而獲取或產(chǎn)生預(yù)測塊。而且，在一些實例中，運動 估計單元42、運動向量預(yù)測單元43和運動補償單元44可在功能上集成。在接收到當(dāng)前視頻 塊的PU的運動向量后，運動補償單元44可在參考圖片列表中的一者中定位所述運動向量指 向的預(yù)測塊。
[0331] 求和器50通過從正經(jīng)譯碼的當(dāng)前視頻塊的像素值減去預(yù)測性塊的像素值從而形 成像素差值來形成殘差視頻塊，如下文所論述。一般來說，運動估計單元42相對于亮度分量 執(zhí)行運動估計，并且運動補償單元44對于色度分量和亮度分量兩者使用基于亮度分量計算 的運動向量。模式選擇單元40還可產(chǎn)生與視頻塊和視頻切片相關(guān)聯(lián)的語法元素，W供視頻 解碼器30在解碼視頻切片的視頻塊時使用。
[0332] 如上文所描述，作為運動估計單元42和運動補償單元44所執(zhí)行的帖間預(yù)測的一個 替代方案，帖內(nèi)預(yù)測單元46可對當(dāng)前塊進行帖內(nèi)預(yù)測。明確地說，帖內(nèi)預(yù)測單元46可確定用 于對當(dāng)前塊進行編碼的帖內(nèi)預(yù)測模式。在一些實例中，帖內(nèi)預(yù)測單元46可(例如)在單獨的 編碼編次期間使用各種帖內(nèi)預(yù)測模式對當(dāng)前塊進行編碼，且帖內(nèi)預(yù)測單元46(或在一些實 例中為模式選擇單元40)可從所測試模式中選擇適當(dāng)?shù)奶麅?nèi)預(yù)測模式來使用。
[0333] 舉例來說，帖內(nèi)預(yù)測單元46可使用速率-失真分析計算針對各種測試的帖內(nèi)預(yù)測 模式的速率-失真值，且從所述測試的模式當(dāng)中選擇具有最好速率失真特性的帖內(nèi)預(yù)測模 式。速率失真分析一般確定經(jīng)編碼塊與經(jīng)編碼W產(chǎn)生所述經(jīng)編碼塊的原始的未經(jīng)編碼塊之 間的失真(或誤差)的量，W及用于產(chǎn)生經(jīng)編碼塊的位速率(也就是說，位數(shù)目）。帖內(nèi)預(yù)測單 元46可從用于各種經(jīng)編碼塊的失真和速率計算比率，W確定哪一帖內(nèi)預(yù)測模式對于所述塊 展現(xiàn)最佳速率-失真值。
[0334] 在選擇用于塊的帖內(nèi)預(yù)測模式后，帖內(nèi)預(yù)測單元46可將指示用于所述塊的選定帖 內(nèi)預(yù)測模式的信息提供到賭編碼單元56。賭編碼單元56可編碼指示選定帖內(nèi)預(yù)測模式的信 息。視頻編碼器20在所發(fā)射的位流中可包含配置數(shù)據(jù)，其可包含多個帖內(nèi)預(yù)測模式索引表 和多個經(jīng)修改的帖內(nèi)預(yù)測模式索引表(也稱為碼字映射表），對用于各種塊的上下文進行編 碼的定義，W及對最可能帖內(nèi)預(yù)測模式、帖內(nèi)預(yù)測模式索引表和經(jīng)修改的帖內(nèi)預(yù)測模式索 引表的指示W(wǎng)用于所述上下文中的每一者。
[0335] 視頻編碼器20通過從正譯碼原始視頻塊減去來自模式選擇單元40的預(yù)測數(shù)據(jù)而 形成殘差視頻塊。求和器50表示執(zhí)行此減法運算的一或多個組件。變換處理單元52將例如 離散余弦變換(DCT)或概念上類似的變換等變換應(yīng)用于殘差塊，從而產(chǎn)生包括殘差變換系 數(shù)值的視頻塊。變換處理單元52可執(zhí)行概念上類似于DCT的其它變換。也可使用小波變換、 整數(shù)變換、子帶變換或其它類型的變換。在任何狀況下，變換處理單元52向殘差塊應(yīng)用所述 變換，從而產(chǎn)生殘差變換系數(shù)的塊。所述變換可將殘差信息從像素值域轉(zhuǎn)換到變換域（例 如，頻域)。
[0336] 變換處理單元52可將所得變換系數(shù)發(fā)送到量化單元54。量化單元54量化變換系數(shù) W進一步減小位速率。量化過程可減少與系數(shù)中的一些或全部相關(guān)聯(lián)的位深度?？赏ㄟ^調(diào) 整量化參數(shù)來修改量化程度。在一些實例中，量化單元54可接著執(zhí)行對包含經(jīng)量化的變換 系數(shù)的矩陣的掃描?；蛘?，賭編碼單元56可執(zhí)行所述掃描。
[0337] 在量化之后，賭編碼單元56對經(jīng)量化的變換系數(shù)進行賭譯碼。舉例來說，賭編碼單 元56可執(zhí)行上下文自適應(yīng)可變長度譯碼(CA化C)、上下文自適應(yīng)二進制算術(shù)譯碼(CABAC)、 基于語法的上下文自適應(yīng)二進制算術(shù)譯碼(SBAC)、概率區(qū)間分割賭(PIPE)譯碼或另一賭譯 碼技術(shù)。在基于上下文的賭譯碼的情況下，上下文可基于相鄰塊。在由賭編碼單元56進行賭 譯碼之后，可將經(jīng)編碼位流發(fā)射到另一裝置(例如，視頻解碼器30)，或者將所述經(jīng)編碼位流 存檔W用于稍后發(fā)射或檢索。
[0338] 逆量化單元58和逆變換處理單元60分別應(yīng)用逆量化和逆變換W在像素域中重建 殘差塊，例如W供稍后用作參考塊。運動補償單元44可通過將殘差塊添加到參考圖片存儲 器64的圖片中的一者的預(yù)測性塊來計算參考塊。運動補償單元44還可將一或多個內(nèi)插濾波 器應(yīng)用于經(jīng)重建的殘差塊W計算子整數(shù)像素值用于運動估計。求和器62將經(jīng)重構(gòu)的殘差塊 與運動補償單元44所產(chǎn)生的運動補償預(yù)測塊相加，W產(chǎn)生經(jīng)重構(gòu)視頻塊W用于存儲在經(jīng)解 碼圖片緩沖器64中。經(jīng)重建視頻塊可由運動估計單元42和運動補償單元44使用作為參考塊 W對后續(xù)圖片中的塊進行帖間譯碼。
[0339] 根據(jù)本發(fā)明中描述的技術(shù)的各個方面，模式選擇單元40可為NBDV過程確定默認(rèn)層 間參考圖片，而不必評定存儲到參考圖片列表的每一參考圖片，使用默認(rèn)層間參考圖片來 執(zhí)行NBDV過程W確定視差向量，且基于如上文更詳細(xì)描述的視差向量來解碼經(jīng)編碼S維視 頻數(shù)據(jù)的當(dāng)前圖片。
[0340] 此外，根據(jù)本發(fā)明中描述的技術(shù)的各個方面，模式選擇單元40可單獨或結(jié)合本發(fā) 明中描述的技術(shù)的其它方面確定有效參考層的第一非零集合，確定有效參考層的第二非零 集合，且基于有效參考層的第一非零集合和有效參考層的第二非零集合中的一或多者而譯 碼=維視頻數(shù)據(jù)。
[0341] 此外，根據(jù)本發(fā)明中描述的技術(shù)的各個方面，模式選擇單元40可單獨或結(jié)合本發(fā) 明中描述的技術(shù)的其它方面，基于參考層是紋理層還是深度層的確定而確定有效參考層的 非零集合，且基于所述所確定的有效參考層的非零集合而譯碼=維視頻數(shù)據(jù)。
[0342] 此外，根據(jù)本發(fā)明中描述的技術(shù)的各個方面，模式選擇單元40可響應(yīng)于視頻數(shù)據(jù) 的當(dāng)前紋理層取決于視頻數(shù)據(jù)的深度層，而在中發(fā)信號通知直接相依層。
[0343] 圖13是說明可實施本發(fā)明中描述的技術(shù)W預(yù)測多視圖譯碼中的運動向量的實例 視頻解碼器30的框圖。在圖13的實例中，視頻解碼器30包含視頻數(shù)據(jù)存儲器78、賭解碼單元 80、預(yù)測單元81、逆量化單元86、逆變換處理單元88、求和器90和經(jīng)解碼圖片緩沖器92。預(yù)測 單元81包含運動補償單元82和帖內(nèi)預(yù)測單元84。
[0344] 視頻數(shù)據(jù)存儲器78可存儲待由視頻解碼器30的組件解碼的視頻數(shù)據(jù)，例如經(jīng)編碼 視頻位流。存儲在視頻數(shù)據(jù)存儲器78中的視頻數(shù)據(jù)可為(例如)從計算機可讀媒體16,例如 從本地視頻源(例如相機）、經(jīng)由視頻數(shù)據(jù)的有線或無線網(wǎng)絡(luò)通信，或通過存取物理數(shù)據(jù)存 儲媒體來獲得。視頻數(shù)據(jù)存儲器78可形成存儲來自經(jīng)編碼視頻位流的經(jīng)編碼視頻數(shù)據(jù)的經(jīng) 譯碼圖片緩沖器(CPB)。經(jīng)解碼圖片緩沖器92可為參考圖片存儲器，其存儲用于由視頻解碼 器30例如在帖內(nèi)或帖間譯碼模式下對視頻數(shù)據(jù)進行解碼的參考視頻數(shù)據(jù)。視頻數(shù)據(jù)存儲器 78和經(jīng)解碼圖片緩沖器92可通過多種存儲器裝置中的任一者形成，例如動態(tài)隨機存取存儲 器(DRAM )，包含同步DRAM (SDRAM )、磁阻式RAM (MRAM )、電阻式RAM (RRAM)或其它類型的存儲 器裝置。視頻數(shù)據(jù)存儲器78和經(jīng)解碼圖片緩沖器92可由相同存儲器裝置或單獨的存儲器裝 置提供。在各種實例中，視頻數(shù)據(jù)存儲器78可與視頻解碼器30的其它組件一起在忍片上，或 相對于那些組件在忍片外。
[0345] 在解碼過程期間，視頻解碼器30從視頻編碼器20接收表示經(jīng)編碼視頻切片的視頻 塊和相關(guān)聯(lián)語法元素的經(jīng)編碼視頻位流。視頻解碼器30的賭解碼單元80對位流進行賭解碼 W產(chǎn)生經(jīng)量化系數(shù)、運動向量和其它語法元素。賭解碼單元80將運動向量和其它語法元素 轉(zhuǎn)發(fā)到預(yù)測單元81。視頻解碼器30可接收視頻切片層級和/或視頻塊層級的語法元素。
[0346] 舉例來說，作為背景，視頻解碼器30可接收已壓縮W供經(jīng)由網(wǎng)絡(luò)發(fā)射到所謂的"網(wǎng) 絡(luò)抽象層單元"或NAL單元中的經(jīng)壓縮視頻數(shù)據(jù)。每一 NAL單元可包含標(biāo)頭，其識別存儲到 NAL單元的數(shù)據(jù)的類型。存在通常存儲到NAL單元的兩個類型的數(shù)據(jù)。存儲到NAL單元的第一 類型的數(shù)據(jù)是視頻譯碼層(V化)數(shù)據(jù)，所述數(shù)據(jù)包含經(jīng)壓縮視頻數(shù)據(jù)。存儲到NAL單元的第 二類型的數(shù)據(jù)被稱作非VCL數(shù)據(jù)，所述數(shù)據(jù)包含例如參數(shù)集等額外信息，其界定大量NAL單 元共用的標(biāo)頭數(shù)據(jù)和輔助增強信息(SEI)。
[0347] 舉例來說，參數(shù)集可含有序列層級標(biāo)頭信息(例如，在序列參數(shù)集(SPS)中）和不頻 繁改變的圖片層級標(biāo)頭信息(例如，在圖片參數(shù)集(PPS)中）。參數(shù)集中含有的不頻繁改變的 信息不需要針對每一序列或圖片重復(fù)，從而改進譯碼效率。此外，使用參數(shù)集使得標(biāo)頭信息 能夠帶外發(fā)射，從而不再需要進行冗余發(fā)射W便進行錯誤恢復(fù)。
[0348] 當(dāng)視頻切片經(jīng)譯碼為經(jīng)帖內(nèi)譯碼（I)切片時，預(yù)測單元81的帖內(nèi)預(yù)測單元84可基 于經(jīng)發(fā)信的帖內(nèi)預(yù)測模式及來自當(dāng)前圖片的先前經(jīng)解碼塊的數(shù)據(jù)產(chǎn)生用于當(dāng)前視頻切片 的視頻塊的預(yù)測數(shù)據(jù)。當(dāng)將圖片譯碼為經(jīng)帖間譯碼（即，B、p或GPB)切片時，預(yù)測單元81的運 動補償單元82基于從賭解碼單元80接收到的運動向量和其它語法元素來產(chǎn)生當(dāng)前視頻切 片的視頻塊的預(yù)測性塊。預(yù)測性塊可從參考圖片列表中的一者內(nèi)的參考圖片中的一者產(chǎn) 生。視頻解碼器30可基于存儲在經(jīng)解碼圖片緩沖器92中的參考圖片，使用默認(rèn)構(gòu)造技術(shù)來 構(gòu)造參考圖片列表:列表0和列表1。
[0349] 運動補償單元82通過剖析運動向量和其它語法元素確定用于當(dāng)前視頻切片的視 頻塊的預(yù)測信息，并且使用所述預(yù)測信息產(chǎn)生用于正解碼的當(dāng)前視頻塊的預(yù)測性塊。舉例 來說，運動補償單元82使用接收到的語法元素中的一些來確定用于對視頻切片的視頻塊進 行譯碼的預(yù)測模式(例如，帖內(nèi)預(yù)測或帖間預(yù)測）、帖間預(yù)測切片類型(例如，B切片、P切片或 GPB切片）、切片的參考圖片列表中的一或多者的建構(gòu)信息、切片的每一經(jīng)帖間編碼的視頻 塊的運動向量、切片的每一經(jīng)帖間譯碼的視頻塊的帖間預(yù)測狀態(tài)，W及用W對當(dāng)前視頻切 片中的視頻塊進行解碼的其它信息。在一些實例中，運動補償單元82可從運動向量預(yù)測單 元83接收某一運動信息。
[0350] 運動向量預(yù)測單元83可接收指示在哪里檢索當(dāng)前塊的運動信息的預(yù)測數(shù)據(jù)。舉例 來說，運動向量預(yù)測單元83可接收運動向量預(yù)測信息，例如MVP索引（mvp_f lag)、MVD、合并 旗標(biāo)(merge_flag)和/或合并索引（merge_idx)，并使用此類信息來識別用W預(yù)測當(dāng)前塊的 運動信息。就是說，如上文相對于視頻編碼器20所提到，根據(jù)本發(fā)明的方面，運動向量預(yù)測 單元83可接收MVP索引(mvp_flag)和MVD，并使用此些信息來確定用W預(yù)測當(dāng)前塊的運動向 量。運動向量預(yù)測單元83可產(chǎn)生MVP或合并候選者的列表。根據(jù)本發(fā)明的方面，MVP和/或合 并候選者可包含與當(dāng)前正解碼的視頻塊位于不同視圖中的一或多個視頻塊。
[0351] 運動向量預(yù)測單元83可使用MVP或合并索引來識別用W預(yù)測當(dāng)前塊的運動向量的 運動信息。就是說，例如，運動向量預(yù)測單元83可使用MVP索引（mvp_flag)來從參考圖片列 表識別MVP。運動向量預(yù)測單元83可組合所識別的MVP與接收到的MVD，W確定當(dāng)前塊的運動 向量。在其它實例中，運動向量預(yù)測單元83可使用合并索引（merge_idx)來從參考圖片列表 識別合并候選者，W確定當(dāng)前塊的運動信息。在任何情況下，在確定當(dāng)前塊的運動信息之 后，運動向量預(yù)測單元83可產(chǎn)生當(dāng)前塊的預(yù)測性塊。
[0352] 運動向量預(yù)測單元83可確定多視圖譯碼中的運動向量預(yù)測符。舉例來說，運動向 量預(yù)測單元83可從與用W預(yù)測當(dāng)前塊的運動向量的當(dāng)前塊不同的視圖分量中的塊接收指 定視差運動向量的信息。在其它實例中，運動向量預(yù)測單元83可從與用W預(yù)測當(dāng)前塊的運 動向量的當(dāng)前塊不同的視圖分量中的塊的接收識別時間運動向量的信息。
[0353] 關(guān)于視差運動向量預(yù)測，運動向量預(yù)測單元83可預(yù)測當(dāng)前塊距候選塊的視差運動 向量。候選塊可位于與當(dāng)前塊相同的圖片中（例如空間上相鄰的候選塊），或可位于與當(dāng)前 塊相同的視圖內(nèi)的另一圖片中。候選塊還可位于不同視圖的圖片中，但在與當(dāng)前塊相同的 時間例項中。
[0354] 舉例來說，相對于MVP或合并模式，待預(yù)測的當(dāng)前塊的視差運動向量"A"的目標(biāo)圖 片和參考圖片是已知的（先前確定的）。出于闡釋的目的，假定距候選塊的運動向量為"B"。 如果運動向量B不是視差運動向量，那么運動向量預(yù)測單元83可將候選塊視為不可用(例如 不可用于預(yù)測運動向量A)。就是說，運動向量預(yù)測單元83可停用將候選塊用于運動向量預(yù) 測的目的的能力。
[0355] 如果運動向量B是視差運動向量，且運動向量B的參考圖片屬于與視差運動向量A 的參考圖片相同的視圖，且運動向量B的目標(biāo)圖片屬于與視差運動向量A的目標(biāo)圖片的相同 視圖，那么運動向量預(yù)測單元83可直接將運動向量B用作運動向量A的候選者預(yù)測符。否則， 運動向量預(yù)測單元83可在可將視差運動向量B用作運動向量A的候選者預(yù)測符之前，按比例 縮放所述視差運動向量B。在此類情況下，根據(jù)本發(fā)明的技術(shù)，運動向量預(yù)測單元83可基于 運動向量A的視圖距離和運動向量B的視圖距離來按比例縮放所述視差運動向量。舉例來 說，運動向量預(yù)測單元83可使視差運動向量B按比例縮放等于運動向量A的視圖距離除W運 動向量B的視圖距離的比例縮放因子。在一些實例中，運動向量預(yù)測單元83可使用參考圖片 和目標(biāo)圖片的視圖識別符來執(zhí)行此按比例縮放。
[0356] 關(guān)于時間運動向量預(yù)測，運動向量預(yù)測單元83可預(yù)測當(dāng)前塊距與當(dāng)前塊的視圖不 同的視圖中的候選塊的時間運動向量。舉例來說，運動向量預(yù)測單元83可識別具有第一視 圖中的目標(biāo)圖片的時間運動向量預(yù)測符候選者，且是指第一視圖的另一時間位置處的參考 圖片中的塊。
[0357] 舉例來說，相對于MVP或合并模式，待預(yù)測的當(dāng)前塊的時間運動向量"A"的目標(biāo)圖 片和參考圖片是已知的（即，先前確定的）。出于闡釋的目的，假定距候選塊的運動向量為 "B"。如果來自候選塊的運動向量B不是時間運動向量，那么運動向量預(yù)測單元83可將候選 塊視為不可用（例如不可用于預(yù)測運動向量A)。就是說，在一些實例中，運動向量預(yù)測單元 83可停用將候選塊用于運動向量預(yù)測的目的的能力。
[035引如果運動向量B是時間運動向量，且運動向量B的參考圖片的POC與運動向量A的參 考圖片相同，且運動向量B的目標(biāo)圖片的POC與運動向量B的目標(biāo)圖片相同，那么運動向量預(yù) 測單元83可直接使用運動向量B作為運動向量A的候選者預(yù)測符。否則，運動向量預(yù)測單元 83可基于時間距離來按比例縮放時間運動向量B。候選塊(其包含運動向量預(yù)測符候選者） 和當(dāng)前塊可處于不同視圖中的相同位置。然而，候選塊的相對位置可從當(dāng)前塊偏移，歸因于 兩個視圖之間的視差。
[0359] 逆量化單元86將在位流中提供且由賭解碼單元80解碼的經(jīng)量化變換系數(shù)逆量化， 即去量化。逆量化過程可包含使用視頻編碼器20針對視頻切片中的每一視頻塊計算W確定 應(yīng)應(yīng)用的量化程度和同樣逆量化程度的量化參數(shù)。
[0360] 逆變換處理單元88將逆變換，例如逆DCT、逆整數(shù)變換或概念地類似的逆變換過 程，應(yīng)用于變換系數(shù)，W便產(chǎn)生像素域中的殘差塊。根據(jù)本發(fā)明的方面，逆變換處理單元88 可確定將變換應(yīng)用于殘差數(shù)據(jù)的方式。就是說，例如，逆變換處理單元88可確定表示其中將 變換(例如DCT、整數(shù)變換、小波變換或一或多個其它變換)應(yīng)用于與接收到的視頻數(shù)據(jù)的塊 相關(guān)聯(lián)的殘差亮度樣本和殘差色度樣本的方式的RQT。
[0361] 在運動補償單元82基于運動向量和其它語法元素產(chǎn)生用于當(dāng)前視頻塊的預(yù)測性 塊之后，視頻解碼器30通過將來自逆變換處理單元88的殘差塊與由運動補償單元82產(chǎn)生的 對應(yīng)的預(yù)測性塊求和而形成經(jīng)解碼視頻塊。求和器90表示執(zhí)行此求和運算的組件。視需要， 還可應(yīng)用去塊濾波器來對經(jīng)解碼的塊進行濾波，W便去除成塊假影。還可使用其它環(huán)路濾 波器(在譯碼環(huán)路中或在譯碼環(huán)路之后)來使像素轉(zhuǎn)變平滑或者W其它方式改進視頻質(zhì)量。 接著將給定圖片中的經(jīng)解碼視頻塊存儲在經(jīng)解碼圖片緩沖器92中，經(jīng)解碼圖片緩沖器92存 儲用于后續(xù)運動補償?shù)膮⒖紙D片。經(jīng)解碼圖片緩沖器92還存儲經(jīng)解碼視頻W供稍后呈現(xiàn)在 顯示裝置(例如，圖1的顯示裝置32)上。
[0362] 根據(jù)本發(fā)明的方面，視頻解碼器30的預(yù)測單元81可為NBDV過程確定默認(rèn)層間參考 圖片，而不必評定存儲到參考圖片列表的每一參考圖片，使用默認(rèn)層間參考圖片來執(zhí)行 NBDV過程W確定視差向量，且基于所述視差向量來解碼經(jīng)編碼S維視頻數(shù)據(jù)的當(dāng)前圖片， 如上文更詳細(xì)地描述。
[0363] 在運些和其它實例中，當(dāng)確定默認(rèn)層間參考圖片時，預(yù)測單元81可基于第一有效 層間參考的視圖次序索引來確定默認(rèn)層間參考圖片的默認(rèn)視圖次序索引。
[0364] 在運些和其它實例中，預(yù)測單元81可從與所述當(dāng)前圖片相關(guān)聯(lián)的切片標(biāo)頭確定第 一有效層間參考。
[0365] 在運些和其它實例中，預(yù)測單元81可確定切片層級中的第一有效層間參考。
[0366] 在運些和其它實例中，當(dāng)解碼當(dāng)前圖片時，預(yù)測單元81可基于視差向量來執(zhí)行視 圖合成預(yù)測(VSP)，W解碼當(dāng)前圖片。
[0367] 在運些和其它實例中，當(dāng)NBDV過程是W深度為導(dǎo)向的NBDV(DoN抓V)過程或VSP過 程是向后扭曲VPS(BVSP)過程時，當(dāng)執(zhí)行VSP時，預(yù)測單元81可確定將取決于深度層的紋理 層。
[0368] 在運些和其它實例中，當(dāng)執(zhí)行時，預(yù)測單元81可基于不同深度和紋理層之間的 一或多個相依性來導(dǎo)出紋理層對深度層的相依性。
[0369] 在運些和其它實例中，當(dāng)執(zhí)行時，預(yù)測單元81可基于紋理層是否屬于與深度層 相同的視圖而確定深度層是否取決于紋理層。
[0370] 在運些和其它實例中，當(dāng)確定默認(rèn)層間參考圖片時，預(yù)測單元81可從與所述當(dāng)前 圖片相關(guān)聯(lián)的切片標(biāo)頭確定默認(rèn)層間參考圖片。
[0371] 在運些和其它實例中，當(dāng)前圖片包括當(dāng)前紋理圖片。當(dāng)解碼當(dāng)前圖片時，預(yù)測單元 81可基于視差向量來執(zhí)行VSP，W解碼當(dāng)前紋理圖片。當(dāng)執(zhí)行NBDV過程時，預(yù)測單元81可確 定當(dāng)前紋理圖片對參考深度層的切片層級相依性，使得相依性并不屬于與當(dāng)前紋理圖片相 關(guān)聯(lián)的切片標(biāo)頭中發(fā)信號通知的有效參考層，但屬于為了執(zhí)行VSP而發(fā)信號通知的有效參 考層。
[0372] 在運些和其它實例中，預(yù)測單元81可確定深度切片是否取決于來自切片標(biāo)頭的同 一視圖和同一存取單元的紋理圖片。
[0373] 根據(jù)本發(fā)明中描述的技術(shù)的各種方面，預(yù)測單元81可或結(jié)合本發(fā)明中描述的技術(shù) 的其它方面或獨立于本發(fā)明中描述的技術(shù)的其它方面，確定有效參考層的第一非零集合， 確定有效參考層的第二非零集合，且基于有效參考層的第一非零集合和有效參考層的第二 非零集合中的一或多者來譯碼=維視頻數(shù)據(jù)。
[0374] 根據(jù)本發(fā)明中描述的技術(shù)的各個方面，預(yù)測單元81可結(jié)合或獨立于本發(fā)明中描述 的技術(shù)的其它方面，基于參考層是紋理層還是深度層的確定而確定有效參考層的非零集 合，且基于所述所確定的有效參考層的非零集合來譯碼=維視頻數(shù)據(jù)。
[0375] 圖14是說明用于根據(jù)本發(fā)明中描述的技術(shù)對視頻數(shù)據(jù)進行編碼的實例方法的流 程圖。將參考視頻編碼器(例如視頻編碼器20)來描述圖14的技術(shù)。響應(yīng)于視頻數(shù)據(jù)的當(dāng)前 紋理層取決于視頻數(shù)據(jù)的深度層，視頻編碼器20在VPS中發(fā)信號通知直接相依層（202)。深 度層屬于與當(dāng)前紋理層不同的視圖。視頻編碼器20使用深度層來處理當(dāng)前紋理層(204)。響 應(yīng)于使用利用從深度層獲得的信息的DoNBDV過程或BVSP過程中的至少一者來預(yù)測當(dāng)前紋 理層的塊，視頻比編碼器20確定將取決于深度層的視頻數(shù)據(jù)的當(dāng)前紋理層。在一些實例中， 除紋理對深度相依性之外，還可在中發(fā)信號通知深度對紋理相依性。
[0376] 視頻編碼器20分別從在中發(fā)信號通知的直接相依層為紋理層的切片發(fā)信號通 知用于形成紋理層的切片的有效參考層的直接相依紋理層。在此上下文中，發(fā)信號通知可 包含產(chǎn)生一或多個語法元素，W用于包含在經(jīng)編碼視頻數(shù)據(jù)中。
[0377] 圖15是說明根據(jù)本發(fā)明中描述的技術(shù)的用于處理視頻數(shù)據(jù)的實例方法的流程圖。 圖15的技術(shù)將參考視頻處理裝置來描述。視頻處理裝置可(例如)包含視頻解碼器，例如視 頻解碼器30,或還可為網(wǎng)絡(luò)實體，例如媒體感知網(wǎng)絡(luò)實體(MANE)。視頻處理裝置基于VPS中 發(fā)信號通知的直接相依層來確定視頻數(shù)據(jù)的當(dāng)前紋理層取決于視頻數(shù)據(jù)的深度層(210)。 視頻處理裝置可(例如)在中接收識別直接相依層的一或多個語法元素。語法元素可(例 如）識別當(dāng)前紋理層所取決于的深度層。深度層可屬于與當(dāng)前紋理層不同的視圖。視頻處理 裝置使用深度層來處理當(dāng)前紋理層(212)。
[0378] 在一些實例中，除紋理對深度相依性之外，還可在中發(fā)信號通知深度對紋理相 依性。舉例來說，視頻解碼器20可基于在中發(fā)信號通知的直接相依層來確定視頻數(shù)據(jù)的 當(dāng)前深度層取決于視頻數(shù)據(jù)的紋理層。
[0379] 視頻處理裝置可基于在中發(fā)信號通知的直接相依層來進一步確定視頻數(shù)據(jù)的 當(dāng)前深度層取決于視頻數(shù)據(jù)的第二紋理層。視頻處理裝置可使用利用從深度層獲得的信息 的DoNBDV過程或BVSP過程中的至少一者來進一步預(yù)測當(dāng)前紋理層的塊。
[0380] 視頻解碼器30可將用于形成紋理層的切片的有效參考層的直接相依紋理層與在 視頻參數(shù)集中為紋理層的切片而發(fā)信號通知的直接相依層分開。視頻解碼器20可與視頻參 數(shù)集中發(fā)信號通知的用于深度層的切片的直接相依層、用于形成深度層的切片的有效參考 層的直接相依深度層分開。換句話說，在確定混合(紋理和深度)相依層之后，視頻解碼器30 可執(zhí)行解碼過程來講混合相依層分為深度相依層和紋理相依層。在一些情況下，例如基于 切片層級發(fā)信號通知，可使用運兩個子集中的僅一者來制定有效參考層。
[0381] 在視頻處理裝置包含視頻解碼器的例子中，使用深度層來處理當(dāng)前紋理層可包含 使用從當(dāng)前紋理層獲得的信息來預(yù)測深度層的塊和/或使用從深度層獲得的信息來預(yù)測當(dāng) 前紋理層的塊。在其中視頻處理裝置包含MA肥的例子中，處理當(dāng)前紋理層可包含對視頻數(shù) 據(jù)執(zhí)行子位流提取過程。
[0382] 應(yīng)理解，取決于實例，本文中的任何所描述的方法的某些動作或事件可W不同序 列執(zhí)行、可W添加、合并或全部省略(例如，實踐所述方法并不需要所有的所描述動作或事 件）。此外，在某些實例中，可例如經(jīng)由多線程處理、中斷處理或多個處理器同時而非循序執(zhí) 行動作或事件。另外，雖然為了清晰起見，將本發(fā)明的某些方面描述為是由單個模塊或單元 執(zhí)行，但應(yīng)理解，本發(fā)明的技術(shù)可由與視頻譯碼器相關(guān)聯(lián)的單元或模塊的組合執(zhí)行。
[0383] 雖然在上文描述所述技術(shù)的各種方面的特定組合，但提供運些組合僅為了說明本 發(fā)明中描述的技術(shù)的實例。因此，本發(fā)明的技術(shù)不應(yīng)限于運些實例組合，且可涵蓋本發(fā)明中 描述的技術(shù)的各種方面的任何可設(shè)想的組合。
[0384] 在一或多個實例中，所描述功能可用硬件、軟件、固件或其任何組合來實施。如果 W軟件實施，那么所述功能可W作為一或多個指令或代碼在計算機可讀媒體上存儲或傳 輸，并且由基于硬件的處理單元來執(zhí)行。計算機可讀媒體可包含計算機可讀存儲媒體，其對 應(yīng)于例如數(shù)據(jù)存儲媒體等有形媒體，或包含促進(例如，根據(jù)通信協(xié)議)將計算機程序從一 處傳送到另一處的任何媒體的通信媒體。
[0385] W此方式，計算機可讀媒體通常可對應(yīng)于（1)有形計算機可讀存儲媒體，其是非暫 時的，或（2)通信媒體，例如信號或載波。數(shù)據(jù)存儲媒體可為可由一或多個計算機或一個或 多個處理器存取W檢索用于實施本發(fā)明中描述的技術(shù)的指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)的任何 可用媒體。計算機程序產(chǎn)品可包含計算機可讀媒體。
[03化]借助于實例而非限制，此類計算機可讀存儲媒體可包括RAM、R0M、EEPR0M、CD-R0M 或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置、快閃存儲器或可W用來存儲指 令或數(shù)據(jù)結(jié)構(gòu)的形式的期望程序代碼并且可W由計算機存取的任何其它媒體。并且，可恰 當(dāng)?shù)貙⑷魏芜B接稱作計算機可讀媒體。舉例來說，如果使用同軸纜線、光纖纜線、雙絞線、數(shù) 字訂戶線化化)或例如紅外線、無線電和微波等無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠(yuǎn)程源傳輸 指令，那么同軸纜線、光纖纜線、雙絞線、D化或例如紅外線、無線電和微波等無線技術(shù)包含 在媒體的定義中。
[0387] 然而，應(yīng)理解，所述計算機可讀存儲媒體和數(shù)據(jù)存儲媒體并不包括連接、載波、信 號或其它暫時媒體，而是實際上針對于非暫時性有形存儲媒體。如本文中所使用，磁盤和光 盤包含壓縮光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(DVD)、軟性磁盤和藍(lán)光光盤， 其中磁盤通常W磁性方式再現(xiàn)數(shù)據(jù)，而光盤利用激光W光學(xué)方式再現(xiàn)數(shù)據(jù)。W上各項的組 合也應(yīng)包含在計算機可讀媒體的范圍內(nèi)。
[0388] 可由例如一或多個數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、 現(xiàn)場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路等一或多個處理器來執(zhí)行指 令。因此，如本文中所使用的術(shù)語"處理器"可指代上述結(jié)構(gòu)或適合于實施本文中所描述的 技術(shù)的任何其它結(jié)構(gòu)中的任一者。另外，在一些方面中，本文中所描述的功能性可W在經(jīng)配 置用于編碼和解碼的專用硬件和/或軟件模塊內(nèi)提供，或者并入在組合編解碼器中。并且， 可將所述技術(shù)完全實施于一或多個電路或邏輯元件中。
[0389] 本發(fā)明的技術(shù)可在多種多樣的裝置或設(shè)備中實施，包含無線手持機、集成電路 (IC)或IC集合(例如，忍片組）。本發(fā)明中描述各種組件、模塊或單元是為了強調(diào)經(jīng)配置W執(zhí) 行所掲示的技術(shù)的裝置的功能方面，但未必需要通過不同硬件單元實現(xiàn)。實際上，如上文所 描述，各種單元可結(jié)合合適的軟件和/或固件組合在編碼解碼器硬件單元中，或者通過互操 作硬件單元的集合來提供，所述硬件單元包含如上文所描述的一或多個處理器。
[0390]已經(jīng)描述了本發(fā)明的各個方面。運些和其它方面在所附權(quán)利要求書的范圍內(nèi)。
【主權(quán)項】
1. 一種處理三維3D視頻數(shù)據(jù)的方法，所述方法包括： 基于在視頻參數(shù)集中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的當(dāng)前紋理層取決 于所述視頻數(shù)據(jù)的深度層；以及， 使用所述深度層來處理所述當(dāng)前紋理層。2. 根據(jù)權(quán)利要求1所述的方法，其進一步包括： 基于在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，確定所述視頻數(shù)據(jù)的所述當(dāng) 前深度層取決于所述視頻數(shù)據(jù)的第二紋理層。3. 根據(jù)權(quán)利要求1所述的方法，其進一步包括： 使用利用從所述深度層獲得的信息的以深度為導(dǎo)向的NBDV DoNBDV過程或向后扭曲視 圖合成預(yù)測BVSP過程中的至少一者來預(yù)測所述當(dāng)前紋理層的塊。4. 根據(jù)權(quán)利要求1所述的方法，其進一步包含： 從在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，為所述紋理層的切片分離用于 形成所述紋理層的所述切片的有效參考層的直接相依紋理層。5. 根據(jù)權(quán)利要求1所述的方法，其進一步包含： 從在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，為所述深度層的切片分離用于 形成所述深度層的所述切片的有效參考層的直接相依深度層。6. 根據(jù)權(quán)利要求5所述的方法，其中所述有效參考層包括從中預(yù)測所述深度層的所述 切片的塊的參考層。7. 根據(jù)權(quán)利要求1所述的方法，其中處理包括： 使用從所述當(dāng)前紋理層獲得的信息來預(yù)測所述深度層的塊。8. 根據(jù)權(quán)利要求1所述的方法，其進一步包括： 使用從所述深度層獲得的信息來預(yù)測所述當(dāng)前紋理層的塊。9. 根據(jù)權(quán)利要求1所述的方法，其中所述深度層屬于與所述當(dāng)前紋理層不同的視圖。10. 根據(jù)權(quán)利要求1所述的方法，其中所述方法是由視頻解碼器執(zhí)行。11. 一種編碼三維3D視頻數(shù)據(jù)的方法，所述方法包括： 響應(yīng)于所述視頻數(shù)據(jù)的當(dāng)前紋理層取決于所述視頻數(shù)據(jù)的深度層，在視頻參數(shù)集中發(fā) 信號通知直接相依層；以及， 使用所述深度層來處理所述當(dāng)前紋理層。12. 根據(jù)權(quán)利要求11所述的方法，其進一步包含： 響應(yīng)于使用利用從所述深度層獲得的信息的以深度為導(dǎo)向的NBDV DoNBDV過程或向后 扭曲視圖合成預(yù)測BVSP過程中的至少一者來預(yù)測所述當(dāng)前紋理層的塊，確定所述視頻數(shù)據(jù) 的所述當(dāng)前紋理層取決于所述深度層。13. 根據(jù)權(quán)利要求11所述的方法，其進一步包括： 從在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，為所述紋理層的切片分離用于 形成所述紋理層的所述切片的有效參考層的直接相依紋理層。14. 根據(jù)權(quán)利要求11所述的方法，其中所述深度層屬于與所述當(dāng)前紋理層不同的視圖。15. -種視頻譯碼裝置，其包括： 存儲器，其經(jīng)配置以存儲視頻數(shù)據(jù)；以及 一或多個處理器，其經(jīng)配置以： 基于在視頻參數(shù)集中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的當(dāng)前紋理層取決 于所述視頻數(shù)據(jù)的深度層；以及， 使用所述深度層來處理所述當(dāng)前紋理層。16. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中所述一個或一個以上處理器進一步經(jīng) 配置以： 基于在所述視頻參數(shù)集中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的所述當(dāng)前深 度層取決于所述視頻數(shù)據(jù)的第二紋理層。17. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中所述一個或一個以上處理器進一步經(jīng) 配置以： 使用利用從所述深度層獲得的信息的以深度為導(dǎo)向的NBDV DoNBDV過程或向后扭曲視 圖合成預(yù)測BVSP過程中的至少一者來預(yù)測所述當(dāng)前紋理層的塊。18. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中所述一個或一個以上處理器進一步經(jīng) 配置以： 從在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，為所述紋理層的切片分離用于 形成所述紋理層的所述切片的有效參考層的直接相依紋理層。19. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中所述一個或一個以上處理器進一步經(jīng) 配置以： 分別從在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，為所述深度層的切片發(fā)信 號通知用于形成所述深度層的所述切片的有效參考層的所述直接相依深度層。20. 根據(jù)權(quán)利要求19所述的視頻譯碼裝置，其中所述有效參考層包括從中預(yù)測所述深 度層的所述切片的塊的參考層。21. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中為了處理所述當(dāng)前紋理層，所述一或多 個處理器使用從所述當(dāng)前紋理層獲得的信息來預(yù)測所述深度層的塊。22. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中所述一或多個處理器進一步經(jīng)配置以 使用從所述深度層獲得的信息來預(yù)測所述當(dāng)前紋理層的塊。23. 根據(jù)權(quán)利要求15所述的視頻譯碼裝置，其中所述深度層屬于與所述當(dāng)前紋理層不 同的視圖。24. 根據(jù)權(quán)利要求15所述的裝置，其中所述裝置包括以下各項中的至少一者： 集成電路； 微處理器；以及， 無線通信裝置，其包含所述視頻解碼器。25. -種存儲指令的計算機可讀存儲媒體，所述指令在由一或多個處理器執(zhí)行時致使 所述一或多個處理器： 基于在視頻參數(shù)集中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的當(dāng)前紋理層取決 于所述視頻數(shù)據(jù)的深度層；以及， 使用所述深度層來處理所述當(dāng)前紋理層。26. 根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其存儲進一步的指令，所述指令在執(zhí) 行時使所述一或多個處理器： 基于在所述視頻參數(shù)集中發(fā)信號通知的直接相依層，確定所述視頻數(shù)據(jù)的所述當(dāng)前深 度層取決于所述視頻數(shù)據(jù)的第二紋理層。27. 根據(jù)權(quán)利要求25所述的計算機可讀媒體，其存儲進一步指令，所述指令在執(zhí)行時致 使所述一或多個處理器： 使用利用從所述深度層獲得的信息的以深度為導(dǎo)向的NBDV DoNBDV過程或向后扭曲視 圖合成預(yù)測BVSP過程中的至少一者來預(yù)測所述當(dāng)前紋理層的塊。28. 根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其存儲進一步的指令，所述指令在執(zhí) 行時使所述一或多個處理器： 從在所述視頻參數(shù)集中發(fā)信號通知的所述直接相依層，為所述紋理層的切片分離用于 形成所述紋理層的所述切片的有效參考層的直接相依紋理層。29. 根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其存儲進一步的指令，所述指令在執(zhí) 行時使所述一或多個處理器： 使用從所述深度層獲得的信息來預(yù)測所述當(dāng)前紋理層的塊。30. 根據(jù)權(quán)利要求25所述的計算機可讀存儲媒體，其中所述深度層屬于與所述當(dāng)前紋 理層不同的視圖。
【文檔編號】H04N19/70GK105850135SQ201580003328
【公開日】2016年8月10日
【申請日】2015年1月3日
【發(fā)明人】陳穎
【申請人】高通股份有限公司