用于多視圖視頻譯碼mvc兼容三維視頻譯碼3dvc的嵌套式sei消息的制作方法
【專利摘要】一般來說，本發(fā)明描述用于單獨處理視頻數(shù)據(jù)的深度和紋理分量的技術(shù)。一種經(jīng)配置以處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置可執(zhí)行所述技術(shù)的各個方面。所述裝置可包括處理器，其經(jīng)配置以：確定在處理所述視頻數(shù)據(jù)的所述視圖分量時適用的補充增強信息消息；以及確定在處理所述視圖分量的所述深度分量時除補充增強信息消息之外適用的嵌套式補充增強信息消息。
【專利說明】用于多視圖視頻譯碼MVC兼容三維視頻譯碼3DVC的嵌套式 SEI消息
[0001] 本發(fā)明主張2011年11月30日申請的第61/565, 376號美國臨時申請案、2011年 12月1日申請的第61/565, 938號美國臨時申請案、2011年12月22日申請的第61/579, 631 號美國臨時申請案以及2012年1月6日申請的第61/584, 009號美國臨時申請案的優(yōu)先權(quán)， 上述申請案中的每一者的內(nèi)容特此以全文引用的方式并入本文中。

【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及視頻譯碼，且更明確地說，涉及三維視頻譯碼（3DVC)。

【背景技術(shù)】
[0003] 數(shù)字視頻能力可并入到較寬范圍的裝置中，包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個人數(shù)字助理（PDA)、膝上型或桌上型計算機、平板計算機、e書籍閱讀器、數(shù)字相 機、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電 電話、所謂的"智能電話"、視頻電話會議裝置、視頻流式發(fā)射裝置等。數(shù)字視頻裝置實施視 頻壓縮技術(shù)，例如由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-TH. 264/MPEG-4,第 10 部分，高級 視頻譯碼（AVC)界定的標準，或目前正在開發(fā)的高效視頻譯碼（HEVC)標準或此些標準的擴 展中所描述的那些技術(shù)。視頻裝置可通過實施此些視頻壓縮技術(shù)來更高效地發(fā)射、接收、編 碼、解碼且/或存儲數(shù)字視頻信息。
[0004] 視頻壓縮技術(shù)執(zhí)行空間（圖片內(nèi)）預(yù)測和/或時間（圖片間）預(yù)測以減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼，可將視頻片（即，圖片或圖片的一部分） 分割為視頻塊，其也可稱為樹塊、譯碼單元（CU)和/或譯碼節(jié)點。相對于圖片中的相鄰塊中 的參考樣本，使用空間預(yù)測來編碼同一圖片的經(jīng)幀內(nèi)譯碼（I)片中的視頻塊。圖片的經(jīng)幀 間譯碼（P或B)片中的視頻塊可相對于同一圖片中的相鄰塊中的參考樣本使用空間預(yù)測， 或相對于其它參考圖片中的參考樣本使用時間預(yù)測。
[0005] 空間或時間預(yù)測得出待譯碼的塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預(yù) 測性塊之間的像素差。根據(jù)指向形成所述預(yù)測性塊的參考樣本塊的運動向量以及指示經(jīng)譯 碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)來編碼經(jīng)幀間譯碼的塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù) 據(jù)來編碼經(jīng)幀內(nèi)譯碼的塊。為了進一步壓縮，可將殘余數(shù)據(jù)從像素域變換到變換域，從而得 出接著可量化的殘余變換系數(shù)?？蓲呙杞?jīng)量化的變換系數(shù)（最初布置成二維陣列），以便產(chǎn) 生變換系數(shù)的一維向量，且可應(yīng)用熵譯碼來實現(xiàn)更多的壓縮。


【發(fā)明內(nèi)容】

[0006] -般來說，本發(fā)明描述用于三維視頻譯碼（3DVC)的技術(shù)。更明確地說，本發(fā)明描 述用于使用H. 264/高級視頻譯碼（AVC)標準的3DVC擴展來執(zhí)行3DVC的技術(shù)。所述3DVC 擴展界定用于用深度數(shù)據(jù)來編碼視頻數(shù)據(jù)的多個視圖的視頻譯碼技術(shù)。每一視圖對應(yīng)于一 不同視角或角度，以此視角或角度捕獲共同場景的對應(yīng)視頻數(shù)據(jù)。在3DVC的上下文中，每 一視圖可含有紋理視圖和深度視圖。一個時刻中視圖的經(jīng)譯碼表示為視圖分量。視圖分量 可含有深度視圖分量和紋理視圖分量。本發(fā)明的技術(shù)通常涉及在譯碼多視圖視頻數(shù)據(jù)加深 度數(shù)據(jù)時，啟用用于3DVC的視圖的紋理分量和深度分量兩者的處置。所述技術(shù)可促進3DVC 與MVC的兼容性。
[0007] 在一個實例中，一種譯碼包含包括深度分量和紋理分量的視圖分量的視頻數(shù)據(jù)的 方法包括：為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集；以及基于所述 所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
[0008] 在另一實例中，一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻 數(shù)據(jù)的視頻譯碼裝置包括處理器，其經(jīng)配置以：為所述視圖分量的所述紋理分量激活作為 紋理參數(shù)集的參數(shù)集；以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分 量。
[0009] 在另一實例中，一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻 數(shù)據(jù)的視頻譯碼裝置包括：用于為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參 數(shù)集的裝置；以及用于基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量的 裝直。
[0010] 在另一實例中，一種非暫時性計算機可讀存儲媒體上面存儲有指令，所述指令在 被執(zhí)行時致使視頻譯碼裝置的一個或一個以上處理器：為所述視圖分量的所述紋理分量激 活作為紋理參數(shù)集的參數(shù)集；以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述 紋理分量。
[0011] 在另一實例中，描述一種處理包含包括深度分量和紋理分量的視圖分量的視頻數(shù) 據(jù)的方法。所述方法包括：確定在處理所述視頻數(shù)據(jù)的所述視圖分量時應(yīng)用的補充增強信 息消息；以及確定除補充增強信息消息之外，應(yīng)用于視圖分量的深度分量的嵌套式補充增 強信息消息。
[0012] 在另一實例中，描述一種用于處理包含由深度分量和紋理分量組成的視圖分量的 視頻數(shù)據(jù)的裝置。所述裝置包括處理器，其經(jīng)配置以：確定在處理所述視頻數(shù)據(jù)的所述視圖 分量時應(yīng)用的補充增強信息消息；以及確定除補充增強信息消息之外，在處理所述視圖分 量的所述深度分量時應(yīng)用的嵌套式補充增強信息消息。
[0013] 在另一實例中，描述一種用于處理包含由深度分量和紋理分量組成的視圖分量的 視頻數(shù)據(jù)的裝置。所述裝置包括：用于確定在處理所述視頻數(shù)據(jù)的所述視圖分量時應(yīng)用的 補充增強信息消息的裝置；以及用于確定除補充增強信息消息之外在處理所述視圖分量的 所述深度分量時應(yīng)用的嵌套式補充增強信息消息的裝置。
[0014] 在另一實例中，一種非暫時性計算機可讀存儲媒體上面存儲有指令，所述指令在 被執(zhí)行時致使用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置的 一個或一個以上處理器：確定在處理所述視頻數(shù)據(jù)的所述視圖分量時應(yīng)用的補充增強信息 消息，其中所述視圖分量包含深度分量和紋理分量兩者；以及確定除補充增強信息消息之 夕卜，在處理所述視圖分量的所述深度分量時應(yīng)用的嵌套式補充增強信息消息。
[0015] 在另一實例中，一種用于視頻譯碼的方法包括：將深度分量存儲在經(jīng)解碼圖片緩 沖器中；分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定深度分量 不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0016] 在另一實例中，一種經(jīng)配置以譯碼視頻數(shù)據(jù)的視頻譯碼裝置包括經(jīng)解碼圖片緩沖 器和處理器，所述處理器經(jīng)配置以：將深度分量存儲在經(jīng)解碼圖片緩沖器中；分析視圖依 賴性以確定深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定深度分量不用于視圖間預(yù)測而 將深度分量從經(jīng)解碼圖片緩沖器去除。
[0017] 在另一實例中，一種用于譯碼視頻數(shù)據(jù)的視頻譯碼裝置包括：用于將深度分量存 儲在經(jīng)解碼圖片緩沖器中的裝置；用于分析視圖依賴性以確定深度分量是否用于視圖間預(yù) 測的裝置；以及用于響應(yīng)于確定深度分量不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩 沖器去除的裝置。
[0018] 在另一實例中，一種非暫時性計算機可讀存儲媒體上面存儲有指令，所述指令在 被執(zhí)行時致使視頻譯碼裝置的一個或一個以上處理器：將深度分量存儲在經(jīng)解碼圖片緩沖 器中；分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測；以及響應(yīng)于確定深度分量不 用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0019] 在另一實例中，一種處理包含包括一個或一個以上深度分量和一個或一個以上紋 理分量的視圖分量的視頻數(shù)據(jù)的方法，所述方法包括：確定描述所述深度分量的特性的第 一序列等級信息；以及確定描述所述視頻數(shù)據(jù)的操作點的特性的第二序列等級信息。
[0020] 在另一實例中，描述一種用于處理包含包括一個或一個以上深度分量和一個或一 個以上紋理分量的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置。所述視頻譯碼裝置包括一個或一 個以上處理器，其經(jīng)配置以確定描述深度分量的特性的第一序列等級信息，且確定描述視 頻數(shù)據(jù)的操作點的特性的第二序列等級信息。
[0021] 在另一實例中，描述一種用于處理包含包括一個或一個以上深度分量和一個或一 個以上紋理分量的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置。所述視頻譯碼裝置包括：用于確 定描述深度分量的特性的第一序列等級信息的裝置；以及用于確定描述視頻數(shù)據(jù)的操作點 的特性的第二序列等級信息的裝置。
[0022] 在另一實例中，一種非暫時性計算機可讀存儲媒體上面存儲有指令，所述指令在 被執(zhí)行時致使視頻譯碼裝置的一個或一個以上處理器：確定描述視頻數(shù)據(jù)的一個或一個以 上深度分量的特性的第一序列等級信息，其中所述視頻數(shù)據(jù)包含包括一個或一個以上深度 分量和一個或一個以上紋理分量的視圖分量；且確定描述視頻數(shù)據(jù)的操作點的特性的第二 序列等級信息。
[0023] 在附圖及下文描述中陳述本發(fā)明的一個或一個以上方面的細節(jié)。將從描述和圖式 且從所附權(quán)利要求書明白本發(fā)明中所描述的技術(shù)的其它特征、目標和優(yōu)點。

【專利附圖】

【附圖說明】
[0024] 圖1是說明可利用本發(fā)明中所描述的技術(shù)的實例視頻編碼和解碼系統(tǒng)的框圖。
[0025] 圖2是更詳細地說明圖1的實例中所示的視頻編碼器的框圖。
[0026] 圖3是更詳細地說明圖1的實例中所示的視頻解碼器的框圖。
[0027] 圖4是更詳細地說明圖1的實例中所示的包封單元的框圖。
[0028] 圖5是說明實例多視圖視頻譯碼（MVC)預(yù)測模式的概念圖。
[0029] 圖6是說明根據(jù)本發(fā)明中所描述的技術(shù)的各個方面的視頻譯碼裝置在實施MVC兼 容3DVC的參數(shù)集激活中的操作的流程圖。
[0030] 圖7是說明根據(jù)本發(fā)明中所描述的技術(shù)的處理多視圖視頻數(shù)據(jù)以產(chǎn)生用于MVC兼 容3DVC的嵌套式補充增強信息（SEI)消息的實例操作的流程圖。
[0031] 圖8是說明根據(jù)本發(fā)明中所描述的技術(shù)的視頻譯碼裝置在單獨地將紋理和深度 分量從經(jīng)解碼圖片緩沖器去除以用于MVC兼容3DVC中的實例操作的流程圖。
[0032] 圖9是說明根據(jù)本發(fā)明中所描述的技術(shù)的視頻譯碼裝置在確定用于MVC兼容3DVC 的序列等級信息中的實例操作的流程圖。

【具體實施方式】
[0033] 根據(jù)某些視頻譯碼系統(tǒng)，可使用運動估計和運動補償來減少視頻序列中的時間冗 余，以便實現(xiàn)數(shù)據(jù)壓縮。在此情況下，可產(chǎn)生運動向量，其識別預(yù)測性視頻數(shù)據(jù)塊，例如來自 另一視頻圖片或片的塊，其可用來預(yù)測正譯碼的當(dāng)前視頻塊的值。將預(yù)測性視頻塊的值從 當(dāng)前視頻塊的值減去，以產(chǎn)生殘余數(shù)據(jù)塊。將運動信息（例如，運動向量、運動向量索引、預(yù) 測方向或其它信息）連同殘余數(shù)據(jù)一起從視頻編碼器傳送到視頻解碼器。解碼器可定位相 同預(yù)測性塊（基于運動向量），且通過將殘余數(shù)據(jù)與預(yù)測性塊的數(shù)據(jù)組合來重構(gòu)經(jīng)編碼視 頻塊。
[0034] 多視圖視頻譯碼（MVC)是用于譯碼視頻數(shù)據(jù)的多個視圖的視頻譯碼過程。一般來 說，每一視圖對應(yīng)于一不同視角或角度，以此視角或角度捕獲共同場景的對應(yīng)視頻數(shù)據(jù)?？?使用MVC加深度譯碼來執(zhí)行三維視頻譯碼（3DVC)。對ITU-T H. 264/AVC標準的3DVC擴展 目前正在開發(fā)。對H. 264/AVC標準進行修正以添加3DVC擴展的工作草案在2011年11月 在瑞士日內(nèi)瓦進行的"關(guān)于對包含深度圖的MVC擴展的工作草案（WD on MVC Extensions for Inclusion of D印th Maps)，，IS0/IEC/JTC1/SC29/WG11/N12351 ( "3DVC WD"）中描述。 3DVC擴展（也稱為用于包含深度圖的MVC擴展）界定用于譯碼視圖以支持3D視頻數(shù)據(jù)的 顯示的技術(shù)）。
[0035] 舉例來說，在3D視頻中，可使用光的不同偏振同時或幾乎同時顯示兩個視圖（例 如，人類觀看者的左眼和右眼視圖），且觀看者可佩戴被動偏振眼鏡，使得觀看者的每只眼 睛接收所述視圖中的相應(yīng)一者?；蛘?，觀看者可佩戴獨立地遮蔽每只眼睛的主動眼鏡，且顯 示器可與眼鏡同步在每只眼睛的圖像之間快速地交替。
[0036] 雖然可個別地譯碼每一視圖（例如，左眼和右眼視圖），但在3DVC中，使用所述視 圖的深度分量從其它視圖重構(gòu)所述視圖中的一者。出于此原因，這種形式的3DVC也可稱為 多視圖視頻譯碼加深度（MVC+D)。為了說明，可將視圖的特定圖片（其中視圖的此特定圖片 可稱為視圖的"視圖分量"）的深度圖計算為左眼視圖與右眼視圖之間的差。編碼器可例如 將左眼視圖編碼為視頻分量的所謂的"紋理分量"，且可將深度圖編碼為視圖分量的所謂的 "深度分量"。
[0037] 解碼器可接著解碼視圖分量的紋理分量和視圖分量的深度分量，且使用深度分量 從紋理分量（其表示左眼視圖）重構(gòu)右眼視圖。與獨立地作為3DVC數(shù)據(jù)的單獨視圖來編 碼左眼視圖和右眼視圖兩者相比，通過以此方式僅編碼一個視圖和對應(yīng)的深度圖，3DvC可 較高效地編碼左眼和右眼視圖。
[0038] 當(dāng)編碼視圖的紋理和深度分量時，視頻編碼器通常將紋理和深度分量處置或以其 它方式處理為視圖分量，而不提供藉此區(qū)分紋理與深度分量的任何方式。就是說，3DVC用以 處置或譯碼視圖分量，而不提供藉此個別地從同一視圖分量的深度分量單獨地處理紋理分 量的方式。3DVC中差別的此缺乏可導(dǎo)致較小的譯碼效率和/或經(jīng)重構(gòu)視頻數(shù)據(jù)的較低質(zhì) 量。
[0039] 舉例來說，當(dāng)前可要求深度分量以與對應(yīng)的紋理分量相同的分辨率指定，以便適 應(yīng)此視圖分量的聯(lián)合處置。然而，較高分辨率深度分量（與紋理分量的分辨率相比）可導(dǎo) 致三維（3D)視頻重放，因為較好、較沉浸式3D視頻可產(chǎn)生觀看者的視覺系統(tǒng)預(yù)期的較佳模 仿。此外，較低分辨率深度分量（與紋理分量的分辨率相比）在某些例子中可提供相同或類 似的沉浸式3D體驗，但在譯碼時消耗較少的位，且藉此增加譯碼效率。因為未能啟用深度 和紋理分量的單獨處置，3DVC可降低譯碼效率且/或提供所重構(gòu)視頻數(shù)據(jù)的較低質(zhì)量（通 常，依據(jù)觀看體驗）。
[0040] 本發(fā)明的技術(shù)通常涉及在處理或譯碼3DVC視頻數(shù)據(jù)時，啟用視圖的紋理分量和 深度分量的單獨或獨立處置。舉例來說，本發(fā)明提出用信號通知序列參數(shù)集（SPS)中的深 度圖序列的圖片大小。這些信令技術(shù)可在視頻編碼和/或解碼過程期間由編碼器應(yīng)用且由 解碼器使用。所描述的技術(shù)與視頻內(nèi)容的圖片的譯碼有關(guān)。根據(jù)本發(fā)明的技術(shù)，經(jīng)編碼圖 片可具有單位大小，例如選定高度和寬度的塊，其可作為序列參數(shù)集中的語法元素用信號 通知?？稍谛蛄袇?shù)集中用信號通知紋理視圖序列和深度圖序列的語法元素。
[0041] 更具體地說，所述技術(shù)涉及在深度圖序列具有與對應(yīng)的紋理視圖序列不同的分辨 率時，用信號通知語法信息。3DVC可包含用每一視圖的深度圖序列來譯碼多個視圖。這些 深度圖序列可具有與紋理視圖序列不同的分辨率。在此情況下，當(dāng)紋理和深度網(wǎng)絡(luò)抽象層 (NAL)單元簡單地一起多路復(fù)用時，深度視圖分量和紋理視圖分量無法共享同一序列參數(shù) 集（SPS)。在當(dāng)前SPS MVC擴展中，指示不同等級（有或沒有深度）可為不可能的。在AVC 設(shè)計原理中，激活一個以上序列參數(shù)集（其含有圖片大?。┛蔀椴豢赡艿摹Ｒ虼?，具有兩個 不同圖片大小可能導(dǎo)致激活多個序列參數(shù)集。
[0042] 當(dāng)3DVC序列包含具有與對應(yīng)的紋理視圖不同的空間分辨率的深度圖時，本發(fā)明 的技術(shù)可用以基于AVC和MVC立體聲指示3DVC序列。通過啟用此單獨處理，本發(fā)明中所描 述的技術(shù)的各個方面可促進位節(jié)?。ɑ驌Q句話說，多視圖視頻數(shù)據(jù)的較高效譯碼）和/或 經(jīng)重構(gòu)視頻數(shù)據(jù)的較佳質(zhì)量（其再次可依據(jù)感覺到的觀看體驗來測量）。
[0043] 應(yīng)將以下描述理解為在3DVC的上下文中，其中將對MVC的參考理解為如其涉及 3DVC擴展中的MVC加深度譯碼那樣對MVC的參考。就是說，在給定MVC為H. 264的擴展，且 3DVC為H. 264的利用MVC的進一步擴展的情況下，3DVC并入有或以其它方式可被視為"繼 承"MVC的所有方面。3DVC可以本文所述的方式擴展或另外在適當(dāng)?shù)那闆r下添加到MVC，以 提供還包含支持3DVC的那些視頻解碼器的深度圖的MVC順應(yīng)位流。換句話說，在一些實例， 所述技術(shù)可用于產(chǎn)生與MVC反向兼容的3DVC位流（或，換句話說，能夠由不支持3DVC但確 實支持MVC的視頻解碼器解碼）。雖然以下技術(shù)各自在3DVC的上下文中描述，但在一些例 子中，這些技術(shù)可擴展到譯碼具有紋理視圖分量和深度視圖分量的3D視頻數(shù)據(jù)的其它方 式。
[0044] 圖1是說明可利用用于多視圖譯碼中的運動向量預(yù)測的實例視頻編碼和解碼系 統(tǒng)10的框圖。如圖1中所示，系統(tǒng)10包含源裝置12,其提供稍后時間將由目的地裝置14 解碼的經(jīng)編碼視頻數(shù)據(jù)。明確地說，源裝置12經(jīng)由計算機可讀媒體16向目的地裝置14提 供視頻數(shù)據(jù)。源裝置12和目的地裝置14可包括各種各樣的裝置中的任一者，包含桌上型 計算機、筆記本型（即，膝上型）計算機、平板計算機、平板觸摸計算機、機頂盒、電話手持機 (例如所謂的"智能"電話）、所謂的"智能"板、電視機、相機、顯示裝置、數(shù)字媒體播放器、 視頻游戲控制臺、視頻流式發(fā)射裝置等。在一些情況下，源裝置12和目的地裝置14可為無 線通信而配備。
[0045] 目的地裝置14可經(jīng)由計算機可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計算機 可讀媒體16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12傳送到目的地裝置14的任何類型 的媒體或裝置。在一個實例中，計算機可讀媒體16可包括通信媒體，以使源裝置12能夠?qū)?時或近實時地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。
[0046] 可根據(jù)通信標準（例如，無線通信協(xié)議）來調(diào)制經(jīng)編碼視頻數(shù)據(jù)，且將其發(fā)射到目 的地裝置14。通信媒體可包括任何無線或有線通信媒體，例如射頻（RF)頻譜或一個或一 個以上物理傳輸線。通信媒體可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)等全局網(wǎng)絡(luò)的基于 包的網(wǎng)絡(luò)的部分。通信媒體可包含可用于促進從源裝置12到目的地裝置14的通信的路由 器、交換器、基站或任何其它設(shè)備。
[0047] 在一些實例中，可將經(jīng)編碼數(shù)據(jù)從源裝置24的發(fā)射器24輸出到存儲裝置。類似 地，可通過目的地裝置14的接收器26從存儲裝置存取經(jīng)編碼數(shù)據(jù)。所述存儲裝置可包含多 種分布式或本地存取數(shù)據(jù)存儲媒體中的任一者，例如硬盤驅(qū)動器、藍光光盤、DVD、CD-ROM、 快閃存儲器、易失性或非易失性存儲器，或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適數(shù)字 存儲媒體。在另一實例中，存儲裝置可對應(yīng)于可存儲源裝置12所產(chǎn)生的經(jīng)編碼視頻的文件 服務(wù)器或另一中間存儲裝置。
[0048] 目的地裝置14可經(jīng)由流式發(fā)射或下載從存儲裝置存取所存儲的視頻數(shù)據(jù)。文件 服務(wù)器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任 何類型的服務(wù)器。實例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器（例如，用于網(wǎng)站）、FTP服務(wù)器、網(wǎng)絡(luò) 附接存儲（NAS)裝置，或本地磁盤驅(qū)動器。目的地裝置14可通過任何標準數(shù)據(jù)連接（包含 因特網(wǎng)連接）來存取經(jīng)編碼視頻數(shù)據(jù)。這可包含無線信道（例如，Wi-Fi連接）、有線連接 (例如，DSL、電纜調(diào)制解調(diào)器等），或兩者的組合，其適合存取存儲在文件服務(wù)器上的經(jīng)編 碼視頻數(shù)據(jù)。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的發(fā)射可為流式發(fā)射、下載發(fā)射或其組合。
[0049] 本發(fā)明的技術(shù)不一定限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于支持多種多媒體 應(yīng)用（例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)流式視頻發(fā)射，例如經(jīng)由 HTTP的動態(tài)自適應(yīng)流式發(fā)射（DASH))中的任一者的視頻譯碼，編碼到數(shù)據(jù)存儲媒體上的數(shù) 字視頻、解碼存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻，或其它應(yīng)用。在一些實例中，源裝置10可 經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或 視頻電話等應(yīng)用。
[0050] 在圖1的實例中，源裝置12包含視頻源18、視頻編碼器20、包封單元21和輸出接 口 22。目的地裝置14包含輸入接口 28、去包封單元29、視頻解碼器30和顯示裝置32。在 一些實例中，源裝置12和目的地裝置14可包含其它組件或布置。舉例來說，源裝置12可 從外部視頻源18 (例如外部相機）接收視頻數(shù)據(jù)。同樣地，目的地裝置14可與外部顯示裝 置介接，而不是包含集成顯示裝置32。
[0051] 圖1所說明的系統(tǒng)10僅為一個實例。用于多視圖譯碼（包含3DVC)中的運動向 量預(yù)測的技術(shù)可由任何數(shù)字視頻編碼和/或解碼裝置執(zhí)行。盡管通常本發(fā)明的技術(shù)由視頻 編碼裝置執(zhí)行，但所述技術(shù)還可由視頻編碼器/解碼器（通常稱為"CODEC"）執(zhí)行。此外， 本發(fā)明的技術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅為此些譯碼裝置的 實例，其中源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供發(fā)射到目的地裝置14。在一些實例中，裝置 12、14可以大體上對稱的方式操作，使得裝置12、14中的每一者包含視頻編碼和解碼組件。 因此，系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻發(fā)射，例如用于視頻流式發(fā)射、 視頻重放、視頻廣播或視頻電話。
[0052] 源裝置12的視頻源18可包含視頻捕獲裝置，例如視頻相機、含有先前捕獲的視頻 的視頻檔案，和/或用以接收來自視頻內(nèi)容提供者的視頻的視頻饋送接口。作為另一替代 方案，視頻源18可產(chǎn)生基于計算機圖形的數(shù)據(jù)作為源視頻，或直播視頻（live video)、存 檔視頻與計算機產(chǎn)生的視頻的組合。在一些情況下，如果視頻源18為視頻相機，那么源裝 置12和目的地裝置14可形成所謂的相機電話或視頻電話。然而，如上文所提到，本發(fā)明中 所描述的技術(shù)一般可適用于視頻譯碼，且可應(yīng)用于無線和/或有線應(yīng)用。在每一情況下，可 由視頻編碼器20來編碼所捕獲的、所預(yù)先捕獲的或計算機產(chǎn)生的視頻。經(jīng)編碼的視頻信息 可接著由輸出接口 22輸出到計算機可讀媒體16上。
[0053] 視頻源24可通常將場景的多個視圖提供到視頻編碼器28。視頻源24還可提供指 示所述視圖的相機視角的位置的信息。視頻源24可將此信息提供給視頻編碼器28,或可將 信息直接提供給包封單元21。
[0054] 包封單元21可使用指示所述視圖的相機視角的相對位置的信息，以將視圖識別 符指派給多媒體內(nèi)容的視圖。包封單元21可形成多媒體內(nèi)容的一個或一個以上表示，其中 所述表示中的每一者可包含一個或一個以上視圖。在一些實例中，視頻編碼器20可以不同 方式編碼每一視圖，例如以不同幀速率、不同位速率、不同分辨率或其它此類差。因此，包封 單元21可形成具有各種特性（例如，位速率、幀速率、分辨率等）的各種表示。
[0055] 所述表示中的每一者可對應(yīng)于可由目的地裝置14接收的相應(yīng)位流。包封單元21 可提供用于包含在每一表示中（例如，多媒體內(nèi)容的媒體呈現(xiàn)描述（MPD)數(shù)據(jù)結(jié)構(gòu)內(nèi)）的 視圖的視圖識別符（view_id)的范圍的指示。舉例來說，包封單元21可提供表示的視圖的 最大視圖識別符和最小視圖識別符的指示。MPD可進一步提供目標用于多媒體內(nèi)容的多個 表示中的每一者的輸出的視圖的最大數(shù)目的指示。在一些實例中，MH)或其數(shù)據(jù)可存儲在 表示的清單中。
[0056] 計算機可讀媒體16可包含瞬時媒體，例如無線廣播或有線網(wǎng)絡(luò)傳輸，或存儲媒體 (即，非暫時性存儲媒體），例如硬盤、快閃驅(qū)動器、壓縮光盤、數(shù)字視頻光盤、藍光光盤，或 其它計算機可讀媒體。在一些實例中，網(wǎng)絡(luò)服務(wù)器（未圖示）可從源裝置12接收經(jīng)編碼視 頻數(shù)據(jù)，且例如經(jīng)由網(wǎng)絡(luò)傳輸將經(jīng)編碼視頻數(shù)據(jù)提供給目的地裝置14。類似地，媒體生產(chǎn)設(shè) 施（例如，光盤沖壓設(shè)施）的計算裝置可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù)，且產(chǎn)生含有所 述經(jīng)編碼視頻數(shù)據(jù)的光盤。因此，在各種實例中，可將計算機可讀媒體16理解為包含各種 形式的一個或一個以上計算機可讀媒體。
[0057] 目的地裝置14的輸入接口 28從計算機可讀媒體16接收信息。計算機可讀媒體 16的信息可包含由視頻編碼器20界定的語法信息，其還可由視頻解碼器30使用，所述語 法信息包含描述塊和其它經(jīng)譯碼單元（例如，G0P)的特性和/或處理的語法元素。目的地 裝置14的去包封單元29可表示對來自位流（或在MVC的上下文中稱為"操作點"的位流 的子集）的SEI消息去包封的單元。去包封單元29可以包封單元29所執(zhí)行的操作相反的 次序執(zhí)行操作，以對來自經(jīng)包封的經(jīng)編碼位流的數(shù)據(jù)（例如SEI消息）進行去包封。顯示 裝置32向用戶顯示經(jīng)解碼的視頻數(shù)據(jù)，且可包括多種顯示裝置中的任一者，例如陰極射線 管（CRT)、液晶顯示器（LCD)、等離子體顯示器、有機發(fā)光二極管（OLED)顯示器或另一類型 的顯示裝置。
[0058] 視頻編碼器20和視頻解碼器30各自可實施為多種合適編碼器或解碼器電路中的 任一者（如適用），例如一個或一個以上微處理器、數(shù)字信號處理器（DSP)、專用集成電路 (ASIC)、現(xiàn)場可編程門陣列（FPGA)、離散邏輯電路、軟件、硬件、固件或其任何組合。視頻編 碼器20和視頻解碼器30中的每一者可包含在一個或一個以上編碼器或解碼器中，其中的 任一者可集成為組合式視頻編碼器/解碼器（CODEC)的部分。包含視頻編碼器20和/或 視頻解碼器30的裝置可包括集成電路、微處理器和/或無線通信裝置，例如蜂窩式電話。
[0059] 盡管圖1中未展示，但在一些方面中，視頻編碼器20和視頻解碼器30可各自與音 頻編碼器和解碼器集成，且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路分用器（MUX-DEMUX)單元或其 它硬件及軟件，以處置對共同數(shù)據(jù)流或單獨數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用， MUX-DEMUX單元可符合ITU H. 223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報協(xié)議（UDP)等其它協(xié) 議。
[0060] 在圖1中所示的實例中，系統(tǒng)10還包含具有路由器36的服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò) 34。在一些實例中，如上文所述，源裝置12可經(jīng)由多種無線和/或有線發(fā)射或存儲媒體，與 服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34通信。此外，雖然在圖1的實例中單獨展示，但在一些實例中，源 裝置12和服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34包括相同裝置。服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34可存儲經(jīng) 譯碼視頻數(shù)據(jù)（來自源裝置12的視頻編碼器20)的一個或一個以上版本，且可使此經(jīng)譯碼 視頻數(shù)據(jù)可用于供目的地裝置14和視頻解碼器30存取。在一些實例中，路由器36可負責(zé) 以所請求的格式將經(jīng)譯碼視頻數(shù)據(jù)提供到目的地裝置14。
[0061] 視頻編碼器20和視頻解碼器30可根據(jù)視頻譯碼標準來操作，例如目前在開發(fā)的 高效視頻譯碼（HEVC)標準，且可符合HEVC測試模型（HM)?；蛘?，視頻編碼器20和視頻解碼 器30可根據(jù)其它專有或行業(yè)標準來操作，例如ITU-T H. 264標準，或者稱為MPEG4,部分10， 高級視頻譯碼（AVC)，或此些標準的擴展，包含H. 264的MVC擴展和/或3DVC擴展。然而， 本發(fā)明的技術(shù)不限于任何特定譯碼標準。視頻壓縮標準的其它實例包含MPEG-2和ITU-T H. 263。
[0062] ITU-T H. 264/MPEG-4 (AVC)標準是由 ITU-T 視頻譯碼專家組（Video Coding Experts Group，VCEG)連同IS0/IEC動畫專家組（MPEG)制定以作為被稱為聯(lián)合視頻小組 (Joint Video Team,JVT)的集體伙伴關(guān)系的產(chǎn)品。在一些方面中，本發(fā)明中所描述的技術(shù) 可應(yīng)用于通常符合H. 264標準的裝置。ITU-T研究組在2005年3月在ITU-T建議H. 264"用 于通用視聽服務(wù)的高級視頻譯碼（Advanced Video Coding for generic audiovisual services) "中描述了 H. 264標準，其在本文中可被稱作H. 264標準或H. 264規(guī)范或H. 264/ AVC標準或規(guī)范。H. 264/AVC包含可縮放視頻譯碼（SVC)擴展和MVC擴展。另外，存在進一步 開發(fā)以提供3DVC擴展，其利用包含深度圖的MVC。聯(lián)合視頻小組（JVT)繼續(xù)從事于H. 264/ MPEG-4AVC的擴展。雖然在3DVC的上下文內(nèi)描述，但本發(fā)明中所描述的技術(shù)可相對于能夠 編碼和解碼涉及紋理和深度分量兩者的3D視頻的其它視頻譯碼算法來實施。
[0063] 視頻編碼器20可例如在圖片標頭、塊標頭、片標頭或G0P標頭中將語法數(shù)據(jù)（例 如，基于塊的語法數(shù)據(jù)、基于圖片的語法數(shù)據(jù)以及基于G0P的語法數(shù)據(jù)）發(fā)送到視頻解碼器 30。G0P語法數(shù)據(jù)可描述相應(yīng)G0P中的圖片的數(shù)目，且圖片語法數(shù)據(jù)可指示用以編碼對應(yīng)圖 片的編碼/預(yù)測模式。
[0064] 在一些實例中，視頻編碼器20可產(chǎn)生且視頻解碼器30可接收某些參數(shù)集，其可在 解碼視頻數(shù)據(jù)時使用。舉例來說，參數(shù)集可含有序列等級標頭信息（在序列參數(shù)集（SPS) 中），以及很少改變的圖片等級標頭信息（在圖片參數(shù)集（PPS)中）。對于參數(shù)集（例如， PPS和SPS)，無需針對每一序列（例如，圖片序列）或圖片重復(fù)很少改變的信息；因此可改 進譯碼效率。此外，參數(shù)集合的使用可實現(xiàn)重要標頭信息的帶外發(fā)射，從而不需要冗余發(fā)射 來進行誤差恢復(fù)。在帶外發(fā)射實例中，可在與其它NAL單元（例如補充增強信息（SEI)NAL 單元）不同的信道上發(fā)射參數(shù)集NAL單元。
[0065] SEI NAL單元（稱為SEI消息）可含有對解碼來自視頻譯碼層（VCL)NAL單元的 經(jīng)譯碼圖片樣本來說不必要的信息，但可輔助與解碼、顯示、誤差恢復(fù)和其它目的有關(guān)的過 程。SEI消息可包含在非VCL NAL單元中。SEI消息可包含在一些標準規(guī)范的標準部分中， 且因此對于符合標準的解碼器實施方案來說，不總是強制性的。SEI消息可為序列級SEI消 息或圖片級SEI消息。一些序列級信息可包含于SEI消息中，例如SVC的實例中的可縮放 性信息SEI消息，以及MVC中的視圖可縮放性信息SEI消息。視圖可縮放性信息SEI消息 還可提供用于H. 264的3DVC擴展的序列等級信息。包封單元21可形成這些SEI消息，且 將這些SEI消息提供給服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34,以用于（作為一個實例）協(xié)商經(jīng)編碼視 頻數(shù)據(jù)的遞送。
[0066] 包封單元30可形成NAL單元，其包括識別NAL所屬的程序的標頭、以及有效負載 (例如，音頻數(shù)據(jù)、視頻數(shù)據(jù)或描述NAL單元所對應(yīng)的輸送或程序流的數(shù)據(jù)）。舉例來說，在 H. 264/AVC中，NAL單元包含1字節(jié)標頭以及不同大小的有效負載。在一個實例中，NAL單 元標頭包括 priority_id 元素、temporal_id 元素、anchor_pic_flag 元素、view_id 元素、 non_idr_flag元素和inter_view_flag元素。在常規(guī)MVC中，保持由H. 264界定的NAL單 元，除了前綴NAL單元和MVC經(jīng)譯碼片NAL單元，其包含4字節(jié)MVC NAL單元標頭和NAL單 元有效負載。
[0067] 在一些實例中，視頻編碼器20可使用MVC加深度信息來編碼符合H. 264的3DVC 擴展的3DVC位流。2010年3月的"用于一般視聽服務(wù)的高級視頻譯碼（Advanced video coding for generic audiovisual services)" ITU-T 建議 Η· 264 中描述 MVC 的最新聯(lián)合 草案，而上文描述的2011年11月在瑞士日內(nèi)瓦進行的"關(guān)于用于包含深度圖的MVC擴展的 工作草案（WD on MVC Extensions for Inclusion of Depth Maps)''IS0/IEC/JTC1/SC29/ WG11/N12351中描述3DVC的工作草案。并且，本發(fā)明內(nèi)對MVC的參考應(yīng)理解為對3DVC的上 下文內(nèi)的MVC加深度的參考。就是說，本發(fā)明中將MVC稱為其在3DVC并入有或"建立"MVC 的意義上與3DVC有關(guān)。
[0068] 在H. 264的3DVC擴展中，視圖包含紋理和深度。視圖的紋理部分稱為紋理視圖， 且視圖的深度部分稱為深度視圖。一個存取單元中的視圖的紋理部分（即，存取單元中的 紋理視圖）稱為紋理視圖分量。一個存取單元中的視圖的深度部分（即，存取單元中的深 度視圖）稱為深度視圖分量。術(shù)語視圖分量為一個存取單元中的視圖，且共同指代同一存 取單元中的紋理視圖分量和深度視圖分量兩者。
[0069] 在H. 264/AVC的擴展中，可在NAL單元標頭擴展中添加語法元素，以將NAL單元標 頭從一個字節(jié)擴展到四個字節(jié)，以在多個維度中描述VCL NAL單元的特性。因此，MVC擴展 中的VCL NAL單元可包含比H. 264/AVC標準中的NAL單元標頭長的NAL單元標頭。在本發(fā) 明中，可將H. 264/AVC的MVC擴展稱為"MVC/AVC"。
[0070] MVC/AVC NAL單元可含有一字節(jié)NAL單元標頭，其包含NAL單元類型，以及MVC/AVC NAL單元標頭擴展。作為一個實例，MVC/AVC NAL單元標頭擴展可包含下表中的語法元素：
[0071] NAL單元標頭擴展語法
[0072]

【權(quán)利要求】
1. 一種用于處理包含視圖分量的視頻數(shù)據(jù)的方法，所述視圖分量包括深度分量和紋理 分量，所述方法包括： 確定在處理所述視頻數(shù)據(jù)的所述視圖分量時應(yīng)用的補充增強信息消息；以及 確定除所述補充增強信息消息之外應(yīng)用于所述視圖分量的所述深度分量的嵌套式補 充增強信息消息。
2. 根據(jù)權(quán)利要求1所述的方法，其進一步包括基于所述補充增強信息消息和所述嵌套 式補充增強信息消息來處理所述視圖分量的所述深度分量。
3. 根據(jù)權(quán)利要求1所述的方法， 其中確定嵌套式補充增強信息消息包括確定除所述補充增強信息消息之外在僅處理 所述視圖分量的所述深度分量時應(yīng)用的所述嵌套式補充增強信息消息，且 其中處理所述視圖分量的所述深度分量包括基于所述補充增強信息消息和所述嵌套 式補充增強信息消息，僅處理所述視圖分量的所述深度分量而不處理所述視圖分量的所述 紋理分量。
4. 根據(jù)權(quán)利要求1所述的方法，其進一步包括： 確定除所述補充增強信息消息之外在處理所述視圖分量的所述紋理分量時是否應(yīng)用 所述嵌套式補充增強信息消息；以及 基于除所述補充增強信息消息之外在處理視圖分量的紋理分量時是否應(yīng)用所述嵌套 式補充增強信息消息的確定，基于所述補充增強信息消息和所述嵌套式補充增強信息消息 來處理所述視圖分量的所述紋理分量。
5. 根據(jù)權(quán)利要求4所述的方法，其中確定除所述補充增強信息消息之外在處理所述視 圖分量的所述紋理分量時應(yīng)用所述嵌套式補充增強信息消息包括： 識別所述嵌套式補充增強信息消息中的旗標，所述旗標指定所述嵌套式補充增強信息 消息是否僅應(yīng)用于所述深度分量；以及 基于所述所識別的旗標，確定除所述補充增強信息消息之外在處理所述視圖分量的所 述紋理分量時應(yīng)用所述嵌套式補充增強消息。
6. 根據(jù)權(quán)利要求5所述的方法，其中所述旗標包括補充增強信息視圖適用性旗標和補 充增強信息操作視圖適用性旗標中的一者或一者以上。
7. 根據(jù)權(quán)利要求4所述的方法， 其中確定除所述補充增強信息消息之外在處理所述視圖分量的所述紋理分量時是否 應(yīng)用所述嵌套式補充增強信息消息包括確定除所述補充增強信息消息之外在處理所述視 圖分量的所述深度分量和所述視圖分量的所述紋理分量兩者時應(yīng)用所述嵌套式補充增強 信息消息，且 其中所述方法進一步包括基于所述補充增強信息消息和所述嵌套式補充增強信息消 息來處理所述視圖分量的所述紋理分量。
8. 根據(jù)權(quán)利要求4所述的方法，其中確定除所述補充增強信息消息之外在處理所述視 圖分量的所述紋理分量時是否應(yīng)用所述嵌套式補充增強信息消息包括確定除所述補充增 強信息消息之外僅在處理所述視圖分量的所述深度分量而不處理所述視圖分量的所述紋 理分量時應(yīng)用所述嵌套式補充增強信息消息，且 其中所述方法進一步包括基于所述補充增強信息消息而不基于所述嵌套式補充增強 信息消息來處理所述視圖分量的所述紋理分量。
9. 根據(jù)權(quán)利要求1所述的方法，其中所述深度分量與所述紋理分量具有不同分辨率。
10. 根據(jù)權(quán)利要求1所述的方法，其中所述視圖數(shù)據(jù)符合對H. 264/高級視頻譯碼標準 的三維視頻譯碼擴展，且與對所述H. 264/高級視頻譯碼標準的多視圖視頻譯碼擴展反向 兼容。
11. 一種用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置，所 述裝置包括： 處理器，其經(jīng)配置以：確定在處理所述視頻數(shù)據(jù)的所述視圖分量時應(yīng)用的補充增強信 息消息；以及確定除所述補充增強信息消息之外在處理所述視圖分量的所述深度分量時應(yīng) 用的嵌套式補充增強信息消息。
12. 根據(jù)權(quán)利要求11所述的裝置，其中所述處理器進一步經(jīng)配置以基于所述補充增強 信息消息和所述嵌套式補充增強信息消息來處理所述視圖分量的所述深度分量。
13. 根據(jù)權(quán)利要求11所述的裝置， 其中所述處理器進一步經(jīng)配置以在確定嵌套式補充增強信息消息時，確定除所述補充 增強信息消息之外僅在處理所述視圖分量的所述深度分量時應(yīng)用所述嵌套式補充增強信 息消息，且 其中所述處理器進一步經(jīng)配置以在處理所述視圖分量的所述深度分量時，基于所述補 充增強信息消息和所述嵌套式補充增強信息消息，僅處理所述視圖分量的所述深度分量而 不處理所述視圖分量的所述紋理分量。
14. 根據(jù)權(quán)利要求11所述的裝置，其中所述處理器進一步經(jīng)配置以確定除所述補充增 強信息消息之外在處理所述視圖分量的所述紋理分量時是否應(yīng)用所述嵌套式補充增強信 息消息，且基于除所述補充增強信息消息之外在處理所述視圖分量的所述紋理分量時應(yīng)用 所述嵌套式補充增強信息消息的所述確定，基于所述補充增強信息消息和所述嵌套式補充 增強信息消息來處理所述視圖分量的所述紋理分量。
15. 根據(jù)權(quán)利要求14所述的裝置，其中所述處理器進一步經(jīng)配置以在確定除所述補充 增強信息消息之外在處理所述視圖分量的所述紋理分量時應(yīng)用所述嵌套式補充增強信息 消息時，識別所述嵌套式補充增強信息消息中的旗標，其指定所述嵌套式補充增強信息消 息是否僅應(yīng)用于所述深度分量，且基于所述所識別的旗標來確定除所述補充增強信息消息 之外在處理所述視圖分量的所述紋理分量時應(yīng)用所述補充增強信息消息。
16. 根據(jù)權(quán)利要求15所述的裝置，其中所述旗標包括補充增強信息視圖適用性旗標和 補充增強信息操作視圖適用性旗標中的一者或一者以上。
17. 根據(jù)權(quán)利要求14所述的裝置， 其中所述處理器進一步經(jīng)配置以在確定除所述補充增強信息消息之外在處理所述視 圖分量的所述紋理分量時是否應(yīng)用所述嵌套式補充增強信息消息時，確定除所述補充增強 信息消息之外在處理所述視圖分量的所述深度分量和所述視圖分量的所述紋理分量兩者 時應(yīng)用所述嵌套式補充增強信息消息，且 其中所述處理器進一步經(jīng)配置以基于所述補充增強信息消息和所述嵌套式補充增強 信息消息來處理所述視圖分量的所述紋理分量。
18. 根據(jù)權(quán)利要求14所述的裝置， 其中所述處理器進一步經(jīng)配置以在確定除所述補充增強信息消息之外在處理所述視 圖分量的所述紋理分量時是否應(yīng)用所述嵌套式補充增強信息消息時，確定除所述補充增強 信息消息之外僅在處理所述視圖分量的所述深度分量而不處理所述視圖分量的所述紋理 分量時應(yīng)用所述嵌套式補充增強信息消息，且 其中所述處理器進一步經(jīng)配置以基于所述補充增強信息消息而不基于所述嵌套式補 充增強信息消息來處理所述視圖分量的所述紋理分量。
19. 根據(jù)權(quán)利要求11所述的裝置，其中所述深度分量與所述紋理分量具有不同分辨 率。
20. 根據(jù)權(quán)利要求11所述的裝置，其中所述視圖數(shù)據(jù)符合對H. 264/高級視頻譯碼標準 的三維視頻譯碼擴展，且與對所述H. 264/高級視頻譯碼標準的多視圖視頻譯碼擴展反向 兼容。
21. -種用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置，所 述裝置包括： 用于確定在處理所述視頻數(shù)據(jù)的所述視圖分量時應(yīng)用的補充增強信息消息的裝置；以 及 用于確定除所述補充增強信息消息之外在處理所述視圖分量的所述深度分量時應(yīng)用 的嵌套式補充增強信息消息的裝置。
22. 根據(jù)權(quán)利要求21所述的裝置，其進一步包括用于基于所述補充增強信息消息和所 述嵌套式補充增強信息消息來處理所述視圖分量的所述深度分量的裝置。
23. 根據(jù)權(quán)利要求21所述的裝置， 其中所述用于確定嵌套式補充增強信息消息的裝置包括用于確定除所述補充增強信 息消息之外僅在處理所述視圖分量的所述深度分量時應(yīng)用的所述嵌套式補充增強信息消 息的裝置，且 其中所述用于處理所述視圖分量的所述深度分量的裝置包括用于基于所述補充增強 信息消息和所述嵌套式補充增強信息消息僅處理所述視圖分量的所述深度分量而不處理 所述視圖分量的所述紋理分量的裝置。
24. 根據(jù)權(quán)利要求21所述的裝置，其進一步包括： 用于確定除所述補充增強信息消息之外在處理所述視圖分量的所述紋理分量時應(yīng)用 的所述嵌套式補充增強信息消息的裝置；以及 用于基于除所述補充增強信息消息之外在處理視圖分量的紋理分量時是否應(yīng)用所述 嵌套式補充增強信息消息的確定基于所述補充增強信息消息和所述嵌套式補充增強信息 消息來處理所述視圖分量的所述紋理分量的裝置。
25. 根據(jù)權(quán)利要求24所述的裝置，其中所述用于確定除所述補充增強信息消息之外在 處理所述視圖分量的所述紋理分量時應(yīng)用所述嵌套式補充增強信息消息的裝置包括： 用于識別所述嵌套式補充增強信息消息中的旗標的裝置，所述旗標指定所述嵌套式補 充增強信息消息是否僅應(yīng)用于所述深度分量；以及 用于基于所述所識別的旗標確定除所述補充增強信息消息之外在處理所述視圖分量 的所述紋理分量時應(yīng)用所述嵌套式補充增強信息消息的裝置。
26. 根據(jù)權(quán)利要求25所述的裝置，其中所述旗標包括補充增強信息視圖適用性旗標和 補充增強信息操作視圖適用性旗標中的一者或一者以上。
27. 根據(jù)權(quán)利要求24所述的裝置， 其中所述用于確定除所述補充增強信息消息之外在處理所述視圖分量的所述紋理分 量時是否應(yīng)用所述嵌套式補充增強信息消息的裝置包括用于確定除所述補充增強信息消 息之外在處理所述視圖分量的所述深度分量和所述視圖分量的所述紋理分量兩者時應(yīng)用 所述嵌套式補充增強信息消息的裝置，且 其中所述裝置進一步包括用于基于所述補充增強信息消息和所述嵌套式補充增強信 息消息來處理所述視圖分量的所述紋理分量的裝置。
28. 根據(jù)權(quán)利要求24所述的裝置，其中所述用于確定除所述補充增強信息消息之外在 處理所述視圖分量的所述紋理分量時是否應(yīng)用所述嵌套式補充增強信息消息的裝置包括 用于確定除所述補充增強信息消息之外僅在處理所述視圖分量的所述深度分量而不處理 所述視圖分量的所述紋理分量時應(yīng)用所述嵌套式補充增強信息消息的裝置，且 其中所述裝置進一步包括用于基于所述補充增強信息消息而不基于所述嵌套式補充 增強信息消息來處理所述視圖分量的所述紋理分量的裝置。
29. 根據(jù)權(quán)利要求21所述的裝置，其中所述深度分量與所述紋理分量具有不同分辨 率。
30. 根據(jù)權(quán)利要求21所述的裝置，其中所述視圖數(shù)據(jù)符合對H. 264/高級視頻譯碼標準 的三維視頻譯碼擴展，且與對所述H. 264/高級視頻譯碼標準的多視圖視頻譯碼擴展反向 兼容。
31. -種上面存儲有指令的非暫時性計算機可讀存儲媒體，所述指令在被執(zhí)行時致使 用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置的一個或一個以 上處理器： 確定在處理所述視頻數(shù)據(jù)的視圖分量時應(yīng)用的補充增強信息消息，其中所述視圖分量 包含深度分量和紋理分量兩者；且 確定除所述補充增強信息消息之外在處理所述視圖分量的所述深度分量時應(yīng)用的所 述嵌套式補充增強信息消息。
32. 根據(jù)權(quán)利要求31所述的非暫時性計算機可讀存儲媒體，其上存儲有指令，所述指 令在被執(zhí)行時致使所述一個或一個以上處理器基于所述補充增強信息消息和所述嵌套式 補充增強信息消息來處理所述視圖分量的所述深度分量。
33. 根據(jù)權(quán)利要求31所述的非暫時性計算機可讀存儲媒體， 其中在被執(zhí)行時致使所述一個或一個以上處理器確定嵌套式補充增強信息消息的所 述指令包括在被執(zhí)行時致使所述一個或一個以上處理器確定除所述補充增強信息消息之 外僅在處理所述視圖分量的所述深度分量時應(yīng)用的所述嵌套式補充增強信息消息的指令， 且 其中在被執(zhí)行時致使所述一個或一個以上處理器處理所述視圖分量的所述深度分量 的所述指令包括在被執(zhí)行時致使所述一個或一個以上處理器基于所述補充增強信息消息 和所述嵌套式補充增強信息消息而僅處理所述視圖分量的所述深度分量而不處理所述視 圖分量的所述紋理分量的指令。
34. 根據(jù)權(quán)利要求31所述的非暫時性計算機可讀存儲媒體，其上進一步存儲有在被執(zhí) 行時致使所述一個或一個以上處理器進行以下操作的指令： 確定除所述補充增強信息消息之外在處理所述視圖分量的所述紋理分量時應(yīng)用的所 述嵌套式補充增強信息消息；以及 基于除所述補充增強信息消息之外在處理視圖分量的紋理分量時是否應(yīng)用所述嵌套 式補充增強信息消息的確定，基于所述補充增強信息消息和所述嵌套式補充增強信息消息 來處理所述視圖分量的所述紋理分量。
35. 根據(jù)權(quán)利要求34所述的非暫時性計算機可讀存儲媒體，其中在被執(zhí)行時致使所述 一個或一個以上處理器確定除所述嵌套式補充增強信息消息之外在處理所述視圖分量的 所述紋理分量時應(yīng)用所述嵌套式補充增強信息消息的所述指令包括在被執(zhí)行時致使所述 一個或一個以上處理器進行以下操作的指令： 識別所述嵌套式補充增強信息消息中的旗標，所述旗標指定所述嵌套式補充增強信息 消息是否僅應(yīng)用于所述深度分量；以及 基于所述所識別的旗標，確定除所述補充增強信息消息之外在處理所述視圖分量的所 述紋理分量時應(yīng)用所述嵌套式補充增強信息消息。
36. 根據(jù)權(quán)利要求35所述的非暫時性計算機可讀存儲媒體，其中所述旗標包括補充增 強信息視圖適用性旗標和補充增強信息操作視圖適用性旗標中的一者或一者以上。
37. 根據(jù)權(quán)利要求34所述的非暫時性計算機可讀存儲媒體， 其中在被執(zhí)行時致使所述一個或一個以上處理器確定除所述補充增強信息消息之外 在處理所述視圖分量的所述紋理分量時是否應(yīng)用所述嵌套式補充增強信息消息的所述指 令包括在被執(zhí)行時致使所述一個或一個以上處理器確定除所述補充增強信息消息之外在 處理所述視圖分量的所述深度分量和所述視圖分量的所述紋理分量兩者時應(yīng)用所述嵌套 式補充增強信息消息的指令，且 其中所述非暫時性計算機可讀存儲媒體上進一步存儲有在被執(zhí)行時致使所述一個或 一個以上處理器基于所述補充增強信息消息和所述嵌套式補充增強信息消息來處理所述 視圖分量的所述紋理分量的指令。
38. 根據(jù)權(quán)利要求34所述的非暫時性計算機可讀存儲媒體，其中在被執(zhí)行時致使所述 一個或一個以上處理器確定除所述補充增強信息消息之外在處理所述視圖分量的所述紋 理分量時是否應(yīng)用所述嵌套式補充增強信息消息的所述指令包括在被執(zhí)行時致使所述一 個或一個以上處理器確定除所述補充增強信息消息之外在處理所述視圖分量的所述深度 分量而不處理所述視圖分量的所述紋理分量時應(yīng)用所述嵌套式補充增強信息消息的指令， 且 其中所述非暫時性計算機可讀存儲媒體上進一步存儲有在被執(zhí)行時致使所述一個或 一個以上處理器基于所述補充增強信息消息而不基于所述嵌套式補充增強信息消息來處 理所述視圖分量的所述紋理分量的指令。
39. 根據(jù)權(quán)利要求31所述的非暫時性計算機可讀存儲媒體，其中所述深度分量與所述 紋理分量具有不同分辨率。
40. 根據(jù)權(quán)利要求31所述的非暫時性計算機可讀存儲媒體，其中所述視圖數(shù)據(jù)符合對 H. 264/高級視頻譯碼標準的三維視頻譯碼擴展，且與對所述H. 264/高級視頻譯碼標準的 多視圖視頻譯碼擴展反向兼容。
【文檔編號】H04N19/176GK104115494SQ201280059380
【公開日】2014年10月22日 申請日期:2012年11月30日 優(yōu)先權(quán)日:2011年11月30日
【發(fā)明者】陳英, 王益魁 申請人:高通股份有限公司