用于多視圖視頻譯碼mvc兼容三維視頻譯碼3dvc的參數(shù)集的激活的制作方法
【專利摘要】一般來說,描述用于單獨(dú)譯碼視頻數(shù)據(jù)的深度和紋理分量的技術(shù)。一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置可執(zhí)行所述技術(shù)。作為一個(gè)實(shí)例,所述視頻譯碼裝置可包括處理器,其經(jīng)配置以:為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集,且基于所述所激活的紋理參數(shù)集來譯碼所述視圖分量的所述紋理分量。
【專利說明】用于多視圖視頻譯碼MVC兼容三維視頻譯碼3DVC的參數(shù)集 的激活
[0001] 本發(fā)明主張2011年11月30日申請的第61/565, 376號美國臨時(shí)申請案、2011年 12月1日申請的第61/565, 938號美國臨時(shí)申請案、2011年12月22日申請的第61/579, 631 號美國臨時(shí)申請案以及2012年1月6日申請的第61/584, 009號美國臨時(shí)申請案的優(yōu)先權(quán), 上述申請案中的每一者的內(nèi)容特此以全文引用的方式并入本文中。
【技術(shù)領(lǐng)域】
[0002] 本發(fā)明涉及視頻譯碼,且更明確地說,涉及三維視頻譯碼(3DVC)。
【背景技術(shù)】
[0003] 數(shù)字視頻能力可并入到較寬范圍的裝置中,包含數(shù)字電視、數(shù)字直播系統(tǒng)、無線廣 播系統(tǒng)、個(gè)人數(shù)字助理(PDA)、膝上型或桌上型計(jì)算機(jī)、平板計(jì)算機(jī)、e書籍閱讀器、數(shù)字相 機(jī)、數(shù)字記錄裝置、數(shù)字媒體播放器、視頻游戲裝置、視頻游戲控制臺、蜂窩式或衛(wèi)星無線電 電話、所謂的"智能電話"、視頻電話會議裝置、視頻流式發(fā)射裝置等。數(shù)字視頻裝置實(shí)施視 頻壓縮技術(shù),例如由 MPEG-2、MPEG-4、ITU-T H. 263、ITU-T H. 264/MPEG-4,第 10 部分,高級 視頻譯碼(AVC)界定的標(biāo)準(zhǔn),或目前正在開發(fā)的高效視頻譯碼(HEVC)標(biāo)準(zhǔn)或此些標(biāo)準(zhǔn)的擴(kuò) 展中所描述的那些技術(shù)。視頻裝置可通過實(shí)施此些視頻壓縮技術(shù)來更高效地發(fā)射、接收、編 碼、解碼且/或存儲數(shù)字視頻信息。
[0004] 視頻壓縮技術(shù)執(zhí)行空間(圖片內(nèi))預(yù)測和/或時(shí)間(圖片間)預(yù)測以減少或去除 視頻序列中固有的冗余。對于基于塊的視頻譯碼,可將視頻片(即,圖片或圖片的一部分) 分割為視頻塊,其也可稱為樹塊、譯碼單元(CU)和/或譯碼節(jié)點(diǎn)。相對于圖片中的相鄰塊中 的參考樣本,使用空間預(yù)測來編碼同一圖片的經(jīng)幀內(nèi)譯碼(I)片中的視頻塊。圖片的經(jīng)幀 間譯碼(P或B)片中的視頻塊可相對于同一圖片中的相鄰塊中的參考樣本使用空間預(yù)測, 或相對于其它參考圖片中的參考樣本使用時(shí)間預(yù)測。
[0005] 空間或時(shí)間預(yù)測得出待譯碼的塊的預(yù)測性塊。殘余數(shù)據(jù)表示待譯碼的原始塊與預(yù) 測性塊之間的像素差。根據(jù)指向形成所述預(yù)測性塊的參考樣本塊的運(yùn)動(dòng)向量以及指示經(jīng)譯 碼塊與預(yù)測性塊之間的差的殘余數(shù)據(jù)來編碼經(jīng)幀間譯碼的塊。根據(jù)幀內(nèi)譯碼模式和殘余數(shù) 據(jù)來編碼經(jīng)幀內(nèi)譯碼的塊。為了進(jìn)一步壓縮,可將殘余數(shù)據(jù)從像素域變換到變換域,從而得 出接著可量化的殘余變換系數(shù)??蓲呙杞?jīng)量化的變換系數(shù)(最初布置成二維陣列),以便產(chǎn) 生變換系數(shù)的一維向量,且可應(yīng)用熵譯碼來實(shí)現(xiàn)更多的壓縮。
【發(fā)明內(nèi)容】
[0006] -般來說,本發(fā)明描述用于三維視頻譯碼(3DVC)的技術(shù)。更明確地說,本發(fā)明描 述用于使用H. 264/高級視頻譯碼(AVC)標(biāo)準(zhǔn)的3DVC擴(kuò)展來執(zhí)行3DVC的技術(shù)。所述3DVC 擴(kuò)展界定用于用深度數(shù)據(jù)來編碼視頻數(shù)據(jù)的多個(gè)視圖的視頻譯碼技術(shù)。每一視圖對應(yīng)于一 不同視角或角度,以此視角或角度捕獲共同場景的對應(yīng)視頻數(shù)據(jù)。在3DVC的上下文中,每 一視圖可含有紋理視圖和深度視圖。一個(gè)時(shí)刻中視圖的經(jīng)譯碼表示為視圖分量。視圖分量 可含有深度視圖分量和紋理視圖分量。本發(fā)明的技術(shù)通常涉及在譯碼多視圖視頻數(shù)據(jù)加深 度數(shù)據(jù)時(shí),啟用用于3DVC的視圖的紋理分量和深度分量兩者的處置。所述技術(shù)可促進(jìn)3DVC 與MVC的兼容性。
[0007] 在一個(gè)實(shí)例中,一種譯碼包含包括深度分量和紋理分量的視圖分量的視頻數(shù)據(jù)的 方法包括:為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集;以及基于所述 所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
[0008] 在另一實(shí)例中,一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻 數(shù)據(jù)的視頻譯碼裝置包括處理器,其經(jīng)配置以:為所述視圖分量的所述紋理分量激活作為 紋理參數(shù)集的參數(shù)集;以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分 量。
[0009] 在另一實(shí)例中,一種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻 數(shù)據(jù)的視頻譯碼裝置包括:用于為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參 數(shù)集的裝置;以及用于基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量的 裝直。
[0010] 在另一實(shí)例中,一種非暫時(shí)性計(jì)算機(jī)可讀存儲媒體上面存儲有指令,所述指令在 被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器:為所述視圖分量的所述紋理分量激 活作為紋理參數(shù)集的參數(shù)集;以及基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述 紋理分量。
[0011] 在另一實(shí)例中,描述一種處理包含包括深度分量和紋理分量的視圖分量的視頻數(shù) 據(jù)的方法。所述方法包括:確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信 息消息;以及確定除補(bǔ)充增強(qiáng)信息消息之外,應(yīng)用于視圖分量的深度分量的嵌套式補(bǔ)充增 強(qiáng)信息消息。
[0012] 在另一實(shí)例中,描述一種用于處理包含由深度分量和紋理分量組成的視圖分量的 視頻數(shù)據(jù)的裝置。所述裝置包括處理器,其經(jīng)配置以:確定在處理所述視頻數(shù)據(jù)的所述視圖 分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信息消息;以及確定除補(bǔ)充增強(qiáng)信息消息之外,在處理所述視圖分 量的所述深度分量時(shí)應(yīng)用的嵌套式補(bǔ)充增強(qiáng)信息消息。
[0013] 在另一實(shí)例中,描述一種用于處理包含由深度分量和紋理分量組成的視圖分量的 視頻數(shù)據(jù)的裝置。所述裝置包括:用于確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的 補(bǔ)充增強(qiáng)信息消息的裝置;以及用于確定除補(bǔ)充增強(qiáng)信息消息之外在處理所述視圖分量的 所述深度分量時(shí)應(yīng)用的嵌套式補(bǔ)充增強(qiáng)信息消息的裝置。
[0014] 在另一實(shí)例中,一種非暫時(shí)性計(jì)算機(jī)可讀存儲媒體上面存儲有指令,所述指令在 被執(zhí)行時(shí)致使用于處理包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的裝置的 一個(gè)或一個(gè)以上處理器:確定在處理所述視頻數(shù)據(jù)的所述視圖分量時(shí)應(yīng)用的補(bǔ)充增強(qiáng)信息 消息,其中所述視圖分量包含深度分量和紋理分量兩者;以及確定除補(bǔ)充增強(qiáng)信息消息之 夕卜,在處理所述視圖分量的所述深度分量時(shí)應(yīng)用的嵌套式補(bǔ)充增強(qiáng)信息消息。
[0015] 在另一實(shí)例中,一種用于視頻譯碼的方法包括:將深度分量存儲在經(jīng)解碼圖片緩 沖器中;分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測;以及響應(yīng)于確定深度分量 不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0016] 在另一實(shí)例中,一種經(jīng)配置以譯碼視頻數(shù)據(jù)的視頻譯碼裝置包括經(jīng)解碼圖片緩沖 器和處理器,所述處理器經(jīng)配置以:將深度分量存儲在經(jīng)解碼圖片緩沖器中;分析視圖依 賴性以確定深度分量是否用于視圖間預(yù)測;以及響應(yīng)于確定深度分量不用于視圖間預(yù)測而 將深度分量從經(jīng)解碼圖片緩沖器去除。
[0017] 在另一實(shí)例中,一種用于譯碼視頻數(shù)據(jù)的視頻譯碼裝置包括:用于將深度分量存 儲在經(jīng)解碼圖片緩沖器中的裝置;用于分析視圖依賴性以確定深度分量是否用于視圖間預(yù) 測的裝置;以及用于響應(yīng)于確定深度分量不用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩 沖器去除的裝置。
[0018] 在另一實(shí)例中,一種非暫時(shí)性計(jì)算機(jī)可讀存儲媒體上面存儲有指令,所述指令在 被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器:將深度分量存儲在經(jīng)解碼圖片緩沖 器中;分析視圖依賴性以確定深度分量是否用于視圖間預(yù)測;以及響應(yīng)于確定深度分量不 用于視圖間預(yù)測而將深度分量從經(jīng)解碼圖片緩沖器去除。
[0019] 在另一實(shí)例中,一種處理包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一個(gè)以上紋 理分量的視圖分量的視頻數(shù)據(jù)的方法,所述方法包括:確定描述所述深度分量的特性的第 一序列等級信息;以及確定描述所述視頻數(shù)據(jù)的操作點(diǎn)的特性的第二序列等級信息。
[0020] 在另一實(shí)例中,描述一種用于處理包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一 個(gè)以上紋理分量的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置。所述視頻譯碼裝置包括一個(gè)或一 個(gè)以上處理器,其經(jīng)配置以確定描述深度分量的特性的第一序列等級信息,且確定描述視 頻數(shù)據(jù)的操作點(diǎn)的特性的第二序列等級信息。
[0021] 在另一實(shí)例中,描述一種用于處理包含包括一個(gè)或一個(gè)以上深度分量和一個(gè)或一 個(gè)以上紋理分量的視圖分量的視頻數(shù)據(jù)的視頻譯碼裝置。所述視頻譯碼裝置包括:用于確 定描述深度分量的特性的第一序列等級信息的裝置;以及用于確定描述視頻數(shù)據(jù)的操作點(diǎn) 的特性的第二序列等級信息的裝置。
[0022] 在另一實(shí)例中,一種非暫時(shí)性計(jì)算機(jī)可讀存儲媒體上面存儲有指令,所述指令在 被執(zhí)行時(shí)致使視頻譯碼裝置的一個(gè)或一個(gè)以上處理器:確定描述視頻數(shù)據(jù)的一個(gè)或一個(gè)以 上深度分量的特性的第一序列等級信息,其中所述視頻數(shù)據(jù)包含包括一個(gè)或一個(gè)以上深度 分量和一個(gè)或一個(gè)以上紋理分量的視圖分量;且確定描述視頻數(shù)據(jù)的操作點(diǎn)的特性的第二 序列等級信息。
[0023] 在附圖及下文描述中陳述本發(fā)明的一個(gè)或一個(gè)以上方面的細(xì)節(jié)。將從描述和圖式 且從所附權(quán)利要求書明白本發(fā)明中所描述的技術(shù)的其它特征、目標(biāo)和優(yōu)點(diǎn)。
【專利附圖】
【附圖說明】
[0024] 圖1是說明可利用本發(fā)明中所描述的技術(shù)的實(shí)例視頻編碼和解碼系統(tǒng)的框圖。
[0025] 圖2是更詳細(xì)地說明圖1的實(shí)例中所示的視頻編碼器的框圖。
[0026] 圖3是更詳細(xì)地說明圖1的實(shí)例中所示的視頻解碼器的框圖。
[0027] 圖4是更詳細(xì)地說明圖1的實(shí)例中所示的包封單元的框圖。
[0028] 圖5是說明實(shí)例多視圖視頻譯碼(MVC)預(yù)測模式的概念圖。
[0029] 圖6是說明根據(jù)本發(fā)明中所描述的技術(shù)的各個(gè)方面的視頻譯碼裝置在實(shí)施MVC兼 容3DVC的參數(shù)集激活中的操作的流程圖。
[0030] 圖7是說明根據(jù)本發(fā)明中所描述的技術(shù)的處理多視圖視頻數(shù)據(jù)以產(chǎn)生用于MVC兼 容3DVC的嵌套式補(bǔ)充增強(qiáng)信息(SEI)消息的實(shí)例操作的流程圖。
[0031] 圖8是說明根據(jù)本發(fā)明中所描述的技術(shù)的視頻譯碼裝置在單獨(dú)地將紋理和深度 分量從經(jīng)解碼圖片緩沖器去除以用于MVC兼容3DVC中的實(shí)例操作的流程圖。
[0032] 圖9是說明根據(jù)本發(fā)明中所描述的技術(shù)的視頻譯碼裝置在確定用于MVC兼容3DVC 的序列等級信息中的實(shí)例操作的流程圖。
【具體實(shí)施方式】
[0033] 根據(jù)某些視頻譯碼系統(tǒng),可使用運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償來減少視頻序列中的時(shí)間冗 余,以便實(shí)現(xiàn)數(shù)據(jù)壓縮。在此情況下,可產(chǎn)生運(yùn)動(dòng)向量,其識別預(yù)測性視頻數(shù)據(jù)塊,例如來自 另一視頻圖片或片的塊,其可用來預(yù)測正譯碼的當(dāng)前視頻塊的值。將預(yù)測性視頻塊的值從 當(dāng)前視頻塊的值減去,以產(chǎn)生殘余數(shù)據(jù)塊。將運(yùn)動(dòng)信息(例如,運(yùn)動(dòng)向量、運(yùn)動(dòng)向量索引、預(yù) 測方向或其它信息)連同殘余數(shù)據(jù)一起從視頻編碼器傳送到視頻解碼器。解碼器可定位相 同預(yù)測性塊(基于運(yùn)動(dòng)向量),且通過將殘余數(shù)據(jù)與預(yù)測性塊的數(shù)據(jù)組合來重構(gòu)經(jīng)編碼視 頻塊。
[0034] 多視圖視頻譯碼(MVC)是用于譯碼視頻數(shù)據(jù)的多個(gè)視圖的視頻譯碼過程。一般來 說,每一視圖對應(yīng)于一不同視角或角度,以此視角或角度捕獲共同場景的對應(yīng)視頻數(shù)據(jù)???使用MVC加深度譯碼來執(zhí)行三維視頻譯碼(3DVC)。對ITU-T H. 264/AVC標(biāo)準(zhǔn)的3DVC擴(kuò)展 目前正在開發(fā)。對H. 264/AVC標(biāo)準(zhǔn)進(jìn)行修正以添加3DVC擴(kuò)展的工作草案在2011年11月 在瑞士日內(nèi)瓦進(jìn)行的"關(guān)于對包含深度圖的MVC擴(kuò)展的工作草案(WD on MVC Extensions for Inclusion of D印th Maps),,IS0/IEC/JTC1/SC29/WG11/N12351 ( "3DVC WD")中描述。 3DVC擴(kuò)展(也稱為用于包含深度圖的MVC擴(kuò)展)界定用于譯碼視圖以支持3D視頻數(shù)據(jù)的 顯示的技術(shù))。
[0035] 舉例來說,在3D視頻中,可使用光的不同偏振同時(shí)或幾乎同時(shí)顯示兩個(gè)視圖(例 如,人類觀看者的左眼和右眼視圖),且觀看者可佩戴被動(dòng)偏振眼鏡,使得觀看者的每只眼 睛接收所述視圖中的相應(yīng)一者?;蛘?,觀看者可佩戴獨(dú)立地遮蔽每只眼睛的主動(dòng)眼鏡,且顯 示器可與眼鏡同步在每只眼睛的圖像之間快速地交替。
[0036] 雖然可個(gè)別地譯碼每一視圖(例如,左眼和右眼視圖),但在3DVC中,使用所述視 圖的深度分量從其它視圖重構(gòu)所述視圖中的一者。出于此原因,這種形式的3DVC也可稱為 多視圖視頻譯碼加深度(MVC+D)。為了說明,可將視圖的特定圖片(其中視圖的此特定圖片 可稱為視圖的"視圖分量")的深度圖計(jì)算為左眼視圖與右眼視圖之間的差。編碼器可例如 將左眼視圖編碼為視頻分量的所謂的"紋理分量",且可將深度圖編碼為視圖分量的所謂的 "深度分量"。
[0037] 解碼器可接著解碼視圖分量的紋理分量和視圖分量的深度分量,且使用深度分量 從紋理分量(其表示左眼視圖)重構(gòu)右眼視圖。與獨(dú)立地作為3DVC數(shù)據(jù)的單獨(dú)視圖來編 碼左眼視圖和右眼視圖兩者相比,通過以此方式僅編碼一個(gè)視圖和對應(yīng)的深度圖,3DVC可 較高效地編碼左眼和右眼視圖。
[0038] 當(dāng)編碼視圖的紋理和深度分量時(shí),視頻編碼器通常將紋理和深度分量處置或以其 它方式處理為視圖分量,而不提供藉此區(qū)分紋理與深度分量的任何方式。就是說,3DVC用以 處置或譯碼視圖分量,而不提供藉此個(gè)別地從同一視圖分量的深度分量單獨(dú)地處理紋理分 量的方式。3DVC中差別的此缺乏可導(dǎo)致較小的譯碼效率和/或經(jīng)重構(gòu)視頻數(shù)據(jù)的較低質(zhì) 量。
[0039] 舉例來說,當(dāng)前可要求深度分量以與對應(yīng)的紋理分量相同的分辨率指定,以便適 應(yīng)此視圖分量的聯(lián)合處置。然而,較高分辨率深度分量(與紋理分量的分辨率相比)可導(dǎo) 致三維(3D)視頻重放,因?yàn)檩^好、較沉浸式3D視頻可產(chǎn)生觀看者的視覺系統(tǒng)預(yù)期的較佳模 仿。此外,較低分辨率深度分量(與紋理分量的分辨率相比)在某些例子中可提供相同或類 似的沉浸式3D體驗(yàn),但在譯碼時(shí)消耗較少的位,且藉此增加譯碼效率。因?yàn)槲茨軉⒂蒙疃?和紋理分量的單獨(dú)處置,3DVC可降低譯碼效率且/或提供所重構(gòu)視頻數(shù)據(jù)的較低質(zhì)量(通 常,依據(jù)觀看體驗(yàn))。
[0040] 本發(fā)明的技術(shù)通常涉及在處理或譯碼3DVC視頻數(shù)據(jù)時(shí),啟用視圖的紋理分量和 深度分量的單獨(dú)或獨(dú)立處置。舉例來說,本發(fā)明提出用信號通知序列參數(shù)集(SPS)中的深 度圖序列的圖片大小。這些信令技術(shù)可在視頻編碼和/或解碼過程期間由編碼器應(yīng)用且由 解碼器使用。所描述的技術(shù)與視頻內(nèi)容的圖片的譯碼有關(guān)。根據(jù)本發(fā)明的技術(shù),經(jīng)編碼圖 片可具有單位大小,例如選定高度和寬度的塊,其可作為序列參數(shù)集中的語法元素用信號 通知。可在序列參數(shù)集中用信號通知紋理視圖序列和深度圖序列的語法元素。
[0041] 更具體地說,所述技術(shù)涉及在深度圖序列具有與對應(yīng)的紋理視圖序列不同的分辨 率時(shí),用信號通知語法信息。3DVC可包含用每一視圖的深度圖序列來譯碼多個(gè)視圖。這些 深度圖序列可具有與紋理視圖序列不同的分辨率。在此情況下,當(dāng)紋理和深度網(wǎng)絡(luò)抽象層 (NAL)單元簡單地一起多路復(fù)用時(shí),深度視圖分量和紋理視圖分量無法共享同一序列參數(shù) 集(SPS)。在當(dāng)前SPS MVC擴(kuò)展中,指示不同等級(有或沒有深度)可為不可能的。在AVC 設(shè)計(jì)原理中,激活一個(gè)以上序列參數(shù)集(其含有圖片大?。┛蔀椴豢赡艿?。因此,具有兩個(gè) 不同圖片大小可能導(dǎo)致激活多個(gè)序列參數(shù)集。
[0042] 當(dāng)3DVC序列包含具有與對應(yīng)的紋理視圖不同的空間分辨率的深度圖時(shí),本發(fā)明 的技術(shù)可用以基于AVC和MVC立體聲指示3DVC序列。通過啟用此單獨(dú)處理,本發(fā)明中所描 述的技術(shù)的各個(gè)方面可促進(jìn)位節(jié)?。ɑ驌Q句話說,多視圖視頻數(shù)據(jù)的較高效譯碼)和/或 經(jīng)重構(gòu)視頻數(shù)據(jù)的較佳質(zhì)量(其再次可依據(jù)感覺到的觀看體驗(yàn)來測量)。
[0043] 應(yīng)將以下描述理解為在3DVC的上下文中,其中將對MVC的參考理解為如其涉及 3DVC擴(kuò)展中的MVC加深度譯碼那樣對MVC的參考。就是說,在給定MVC為H. 264的擴(kuò)展,且 3DVC為H. 264的利用MVC的進(jìn)一步擴(kuò)展的情況下,3DVC并入有或以其它方式可被視為"繼 承"MVC的所有方面。3DVC可以本文所述的方式擴(kuò)展或另外在適當(dāng)?shù)那闆r下添加到MVC,以 提供還包含支持3DVC的那些視頻解碼器的深度圖的MVC順應(yīng)位流。換句話說,在一些實(shí)例, 所述技術(shù)可用于產(chǎn)生與MVC反向兼容的3DVC位流(或,換句話說,能夠由不支持3DVC但確 實(shí)支持MVC的視頻解碼器解碼)。雖然以下技術(shù)各自在3DVC的上下文中描述,但在一些例 子中,這些技術(shù)可擴(kuò)展到譯碼具有紋理視圖分量和深度視圖分量的3D視頻數(shù)據(jù)的其它方 式。
[0044] 圖1是說明可利用用于多視圖譯碼中的運(yùn)動(dòng)向量預(yù)測的實(shí)例視頻編碼和解碼系 統(tǒng)10的框圖。如圖1中所示,系統(tǒng)10包含源裝置12,其提供稍后時(shí)間將由目的地裝置14 解碼的經(jīng)編碼視頻數(shù)據(jù)。明確地說,源裝置12經(jīng)由計(jì)算機(jī)可讀媒體16向目的地裝置14提 供視頻數(shù)據(jù)。源裝置12和目的地裝置14可包括各種各樣的裝置中的任一者,包含桌上型 計(jì)算機(jī)、筆記本型(即,膝上型)計(jì)算機(jī)、平板計(jì)算機(jī)、平板觸摸計(jì)算機(jī)、機(jī)頂盒、電話手持機(jī) (例如所謂的"智能"電話)、所謂的"智能"板、電視機(jī)、相機(jī)、顯示裝置、數(shù)字媒體播放器、 視頻游戲控制臺、視頻流式發(fā)射裝置等。在一些情況下,源裝置12和目的地裝置14可為無 線通信而配備。
[0045] 目的地裝置14可經(jīng)由計(jì)算機(jī)可讀媒體16接收待解碼的經(jīng)編碼視頻數(shù)據(jù)。計(jì)算機(jī) 可讀媒體16可包括能夠?qū)⒔?jīng)編碼視頻數(shù)據(jù)從源裝置12傳送到目的地裝置14的任何類型 的媒體或裝置。在一個(gè)實(shí)例中,計(jì)算機(jī)可讀媒體16可包括通信媒體,以使源裝置12能夠?qū)?時(shí)或近實(shí)時(shí)地將經(jīng)編碼視頻數(shù)據(jù)直接發(fā)射到目的地裝置14。
[0046] 可根據(jù)通信標(biāo)準(zhǔn)(例如,無線通信協(xié)議)來調(diào)制經(jīng)編碼視頻數(shù)據(jù),且將其發(fā)射到目 的地裝置14。通信媒體可包括任何無線或有線通信媒體,例如射頻(RF)頻譜或一個(gè)或一 個(gè)以上物理傳輸線。通信媒體可形成例如局域網(wǎng)、廣域網(wǎng)或例如因特網(wǎng)等全局網(wǎng)絡(luò)的基于 包的網(wǎng)絡(luò)的部分。通信媒體可包含可用于促進(jìn)從源裝置12到目的地裝置14的通信的路由 器、交換器、基站或任何其它設(shè)備。
[0047] 在一些實(shí)例中,可將經(jīng)編碼數(shù)據(jù)從源裝置24的發(fā)射器24輸出到存儲裝置。類似 地,可通過目的地裝置14的接收器26從存儲裝置存取經(jīng)編碼數(shù)據(jù)。所述存儲裝置可包含多 種分布式或本地存取數(shù)據(jù)存儲媒體中的任一者,例如硬盤驅(qū)動(dòng)器、藍(lán)光光盤、DVD、CD-ROM、 快閃存儲器、易失性或非易失性存儲器,或用于存儲經(jīng)編碼視頻數(shù)據(jù)的任何其它合適數(shù)字 存儲媒體。在另一實(shí)例中,存儲裝置可對應(yīng)于可存儲源裝置12所產(chǎn)生的經(jīng)編碼視頻的文件 服務(wù)器或另一中間存儲裝置。
[0048] 目的地裝置14可經(jīng)由流式發(fā)射或下載從存儲裝置存取所存儲的視頻數(shù)據(jù)。文件 服務(wù)器可為能夠存儲經(jīng)編碼視頻數(shù)據(jù)且將所述經(jīng)編碼視頻數(shù)據(jù)發(fā)射到目的地裝置14的任 何類型的服務(wù)器。實(shí)例文件服務(wù)器包含網(wǎng)絡(luò)服務(wù)器(例如,用于網(wǎng)站)、FTP服務(wù)器、網(wǎng)絡(luò) 附接存儲(NAS)裝置,或本地磁盤驅(qū)動(dòng)器。目的地裝置14可通過任何標(biāo)準(zhǔn)數(shù)據(jù)連接(包含 因特網(wǎng)連接)來存取經(jīng)編碼視頻數(shù)據(jù)。這可包含無線信道(例如,Wi-Fi連接)、有線連接 (例如,DSL、電纜調(diào)制解調(diào)器等),或兩者的組合,其適合存取存儲在文件服務(wù)器上的經(jīng)編 碼視頻數(shù)據(jù)。經(jīng)編碼視頻數(shù)據(jù)從存儲裝置的發(fā)射可為流式發(fā)射、下載發(fā)射或其組合。
[0049] 本發(fā)明的技術(shù)不一定限于無線應(yīng)用或設(shè)定。所述技術(shù)可應(yīng)用于支持多種多媒體 應(yīng)用(例如空中電視廣播、有線電視發(fā)射、衛(wèi)星電視發(fā)射、因特網(wǎng)流式視頻發(fā)射,例如經(jīng)由 HTTP的動(dòng)態(tài)自適應(yīng)流式發(fā)射(DASH))中的任一者的視頻譯碼,編碼到數(shù)據(jù)存儲媒體上的數(shù) 字視頻、解碼存儲在數(shù)據(jù)存儲媒體上的數(shù)字視頻,或其它應(yīng)用。在一些實(shí)例中,源裝置10可 經(jīng)配置以支持單向或雙向視頻發(fā)射以支持例如視頻流式傳輸、視頻重放、視頻廣播和/或 視頻電話等應(yīng)用。
[0050] 在圖1的實(shí)例中,源裝置12包含視頻源18、視頻編碼器20、包封單元21和輸出接 口 22。目的地裝置14包含輸入接口 28、去包封單元29、視頻解碼器30和顯示裝置32。在 一些實(shí)例中,源裝置12和目的地裝置14可包含其它組件或布置。舉例來說,源裝置12可 從外部視頻源18 (例如外部相機(jī))接收視頻數(shù)據(jù)。同樣地,目的地裝置14可與外部顯示裝 置介接,而不是包含集成顯示裝置32。
[0051] 圖1所說明的系統(tǒng)10僅為一個(gè)實(shí)例。用于多視圖譯碼(包含3DVC)中的運(yùn)動(dòng)向 量預(yù)測的技術(shù)可由任何數(shù)字視頻編碼和/或解碼裝置執(zhí)行。盡管通常本發(fā)明的技術(shù)由視頻 編碼裝置執(zhí)行,但所述技術(shù)還可由視頻編碼器/解碼器(通常稱為"CODEC")執(zhí)行。此外, 本發(fā)明的技術(shù)還可由視頻預(yù)處理器執(zhí)行。源裝置12及目的地裝置14僅為此些譯碼裝置的 實(shí)例,其中源裝置12產(chǎn)生經(jīng)譯碼視頻數(shù)據(jù)以供發(fā)射到目的地裝置14。在一些實(shí)例中,裝置 12、14可以大體上對稱的方式操作,使得裝置12、14中的每一者包含視頻編碼和解碼組件。 因此,系統(tǒng)10可支持視頻裝置12、14之間的單向或雙向視頻發(fā)射,例如用于視頻流式發(fā)射、 視頻重放、視頻廣播或視頻電話。
[0052] 源裝置12的視頻源18可包含視頻捕獲裝置,例如視頻相機(jī)、含有先前捕獲的視頻 的視頻檔案,和/或用以接收來自視頻內(nèi)容提供者的視頻的視頻饋送接口。作為另一替代 方案,視頻源18可產(chǎn)生基于計(jì)算機(jī)圖形的數(shù)據(jù)作為源視頻,或直播視頻(live video)、存 檔視頻與計(jì)算機(jī)產(chǎn)生的視頻的組合。在一些情況下,如果視頻源18為視頻相機(jī),那么源裝 置12和目的地裝置14可形成所謂的相機(jī)電話或視頻電話。然而,如上文所提到,本發(fā)明中 所描述的技術(shù)一般可適用于視頻譯碼,且可應(yīng)用于無線和/或有線應(yīng)用。在每一情況下,可 由視頻編碼器20來編碼所捕獲的、所預(yù)先捕獲的或計(jì)算機(jī)產(chǎn)生的視頻。經(jīng)編碼的視頻信息 可接著由輸出接口 22輸出到計(jì)算機(jī)可讀媒體16上。
[0053] 視頻源24可通常將場景的多個(gè)視圖提供到視頻編碼器28。視頻源24還可提供指 示所述視圖的相機(jī)視角的位置的信息。視頻源24可將此信息提供給視頻編碼器28,或可將 信息直接提供給包封單元21。
[0054] 包封單元21可使用指示所述視圖的相機(jī)視角的相對位置的信息,以將視圖識別 符指派給多媒體內(nèi)容的視圖。包封單元21可形成多媒體內(nèi)容的一個(gè)或一個(gè)以上表示,其中 所述表示中的每一者可包含一個(gè)或一個(gè)以上視圖。在一些實(shí)例中,視頻編碼器20可以不同 方式編碼每一視圖,例如以不同幀速率、不同位速率、不同分辨率或其它此類差。因此,包封 單元21可形成具有各種特性(例如,位速率、幀速率、分辨率等)的各種表示。
[0055] 所述表示中的每一者可對應(yīng)于可由目的地裝置14接收的相應(yīng)位流。包封單元21 可提供用于包含在每一表示中(例如,多媒體內(nèi)容的媒體呈現(xiàn)描述(MPD)數(shù)據(jù)結(jié)構(gòu)內(nèi))的 視圖的視圖識別符(view_id)的范圍的指示。舉例來說,包封單元21可提供表示的視圖的 最大視圖識別符和最小視圖識別符的指示。MPD可進(jìn)一步提供目標(biāo)用于多媒體內(nèi)容的多個(gè) 表示中的每一者的輸出的視圖的最大數(shù)目的指示。在一些實(shí)例中,MH)或其數(shù)據(jù)可存儲在 表示的清單中。
[0056] 計(jì)算機(jī)可讀媒體16可包含瞬時(shí)媒體,例如無線廣播或有線網(wǎng)絡(luò)傳輸,或存儲媒體 (即,非暫時(shí)性存儲媒體),例如硬盤、快閃驅(qū)動(dòng)器、壓縮光盤、數(shù)字視頻光盤、藍(lán)光光盤,或 其它計(jì)算機(jī)可讀媒體。在一些實(shí)例中,網(wǎng)絡(luò)服務(wù)器(未圖示)可從源裝置12接收經(jīng)編碼視 頻數(shù)據(jù),且例如經(jīng)由網(wǎng)絡(luò)傳輸將經(jīng)編碼視頻數(shù)據(jù)提供給目的地裝置14。類似地,媒體生產(chǎn)設(shè) 施(例如,光盤沖壓設(shè)施)的計(jì)算裝置可從源裝置12接收經(jīng)編碼視頻數(shù)據(jù),且產(chǎn)生含有所 述經(jīng)編碼視頻數(shù)據(jù)的光盤。因此,在各種實(shí)例中,可將計(jì)算機(jī)可讀媒體16理解為包含各種 形式的一個(gè)或一個(gè)以上計(jì)算機(jī)可讀媒體。
[0057] 目的地裝置14的輸入接口 28從計(jì)算機(jī)可讀媒體16接收信息。計(jì)算機(jī)可讀媒體 16的信息可包含由視頻編碼器20界定的語法信息,其還可由視頻解碼器30使用,所述語 法信息包含描述塊和其它經(jīng)譯碼單元(例如,G0P)的特性和/或處理的語法元素。目的地 裝置14的去包封單元29可表示對來自位流(或在MVC的上下文中稱為"操作點(diǎn)"的位流 的子集)的SEI消息去包封的單元。去包封單元29可以包封單元29所執(zhí)行的操作相反的 次序執(zhí)行操作,以對來自經(jīng)包封的經(jīng)編碼位流的數(shù)據(jù)(例如SEI消息)進(jìn)行去包封。顯示 裝置32向用戶顯示經(jīng)解碼的視頻數(shù)據(jù),且可包括多種顯示裝置中的任一者,例如陰極射線 管(CRT)、液晶顯示器(LCD)、等離子體顯示器、有機(jī)發(fā)光二極管(OLED)顯示器或另一類型 的顯示裝置。
[0058] 視頻編碼器20和視頻解碼器30各自可實(shí)施為多種合適編碼器或解碼器電路中的 任一者(如適用),例如一個(gè)或一個(gè)以上微處理器、數(shù)字信號處理器(DSP)、專用集成電路 (ASIC)、現(xiàn)場可編程門陣列(FPGA)、離散邏輯電路、軟件、硬件、固件或其任何組合。視頻編 碼器20和視頻解碼器30中的每一者可包含在一個(gè)或一個(gè)以上編碼器或解碼器中,其中的 任一者可集成為組合式視頻編碼器/解碼器(CODEC)的部分。包含視頻編碼器20和/或 視頻解碼器30的裝置可包括集成電路、微處理器和/或無線通信裝置,例如蜂窩式電話。
[0059] 盡管圖1中未展示,但在一些方面中,視頻編碼器20和視頻解碼器30可各自與音 頻編碼器和解碼器集成,且可包含適當(dāng)?shù)亩嗦窂?fù)用器-多路分用器(MUX-DEMUX)單元或其 它硬件及軟件,以處置對共同數(shù)據(jù)流或單獨(dú)數(shù)據(jù)流中的音頻與視頻兩者的編碼。如果適用, MUX-DEMUX單元可符合ITU H. 223多路復(fù)用器協(xié)議或例如用戶數(shù)據(jù)報(bào)協(xié)議(UDP)等其它協(xié) 議。
[0060] 在圖1中所示的實(shí)例中,系統(tǒng)10還包含具有路由器36的服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò) 34。在一些實(shí)例中,如上文所述,源裝置12可經(jīng)由多種無線和/或有線發(fā)射或存儲媒體,與 服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34通信。此外,雖然在圖1的實(shí)例中單獨(dú)展示,但在一些實(shí)例中,源 裝置12和服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34包括相同裝置。服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34可存儲經(jīng) 譯碼視頻數(shù)據(jù)(來自源裝置12的視頻編碼器20)的一個(gè)或一個(gè)以上版本,且可使此經(jīng)譯碼 視頻數(shù)據(jù)可用于供目的地裝置14和視頻解碼器30存取。在一些實(shí)例中,路由器36可負(fù)責(zé) 以所請求的格式將經(jīng)譯碼視頻數(shù)據(jù)提供到目的地裝置14。
[0061] 視頻編碼器20和視頻解碼器30可根據(jù)視頻譯碼標(biāo)準(zhǔn)來操作,例如目前在開發(fā)的 高效視頻譯碼(HEVC)標(biāo)準(zhǔn),且可符合HEVC測試模型(HM)?;蛘?,視頻編碼器20和視頻解碼 器30可根據(jù)其它專有或行業(yè)標(biāo)準(zhǔn)來操作,例如ITU-T H. 264標(biāo)準(zhǔn),或者稱為MPEG4,部分10, 高級視頻譯碼(AVC),或此些標(biāo)準(zhǔn)的擴(kuò)展,包含H. 264的MVC擴(kuò)展和/或3DVC擴(kuò)展。然而, 本發(fā)明的技術(shù)不限于任何特定譯碼標(biāo)準(zhǔn)。視頻壓縮標(biāo)準(zhǔn)的其它實(shí)例包含MPEG-2和ITU-T H. 263。
[0062] ITU-T H. 264/MPEG-4 (AVC)標(biāo)準(zhǔn)是由 ITU-T 視頻譯碼專家組(Video Coding Experts Group,VCEG)連同IS0/IEC動(dòng)畫專家組(MPEG)制定以作為被稱為聯(lián)合視頻小組 (Joint Video Team,JVT)的集體伙伴關(guān)系的產(chǎn)品。在一些方面中,本發(fā)明中所描述的技術(shù) 可應(yīng)用于通常符合H. 264標(biāo)準(zhǔn)的裝置。ITU-T研究組在2005年3月在ITU-T建議H. 264"用 于通用視聽服務(wù)的高級視頻譯碼(Advanced Video Coding for generic audiovisual services) "中描述了 H. 264標(biāo)準(zhǔn),其在本文中可被稱作H. 264標(biāo)準(zhǔn)或H. 264規(guī)范或H. 264/ AVC標(biāo)準(zhǔn)或規(guī)范。H. 264/AVC包含可縮放視頻譯碼(SVC)擴(kuò)展和MVC擴(kuò)展。另外,存在進(jìn)一步 開發(fā)以提供3DVC擴(kuò)展,其利用包含深度圖的MVC。聯(lián)合視頻小組(JVT)繼續(xù)從事于H. 264/ MPEG-4AVC的擴(kuò)展。雖然在3DVC的上下文內(nèi)描述,但本發(fā)明中所描述的技術(shù)可相對于能夠 編碼和解碼涉及紋理和深度分量兩者的3D視頻的其它視頻譯碼算法來實(shí)施。
[0063] 視頻編碼器20可例如在圖片標(biāo)頭、塊標(biāo)頭、片標(biāo)頭或G0P標(biāo)頭中將語法數(shù)據(jù)(例 如,基于塊的語法數(shù)據(jù)、基于圖片的語法數(shù)據(jù)以及基于G0P的語法數(shù)據(jù))發(fā)送到視頻解碼器 30。G0P語法數(shù)據(jù)可描述相應(yīng)G0P中的圖片的數(shù)目,且圖片語法數(shù)據(jù)可指示用以編碼對應(yīng)圖 片的編碼/預(yù)測模式。
[0064] 在一些實(shí)例中,視頻編碼器20可產(chǎn)生且視頻解碼器30可接收某些參數(shù)集,其可在 解碼視頻數(shù)據(jù)時(shí)使用。舉例來說,參數(shù)集可含有序列等級標(biāo)頭信息(在序列參數(shù)集(SPS) 中),以及很少改變的圖片等級標(biāo)頭信息(在圖片參數(shù)集(PPS)中)。對于參數(shù)集(例如, PPS和SPS),無需針對每一序列(例如,圖片序列)或圖片重復(fù)很少改變的信息;因此可改 進(jìn)譯碼效率。此外,參數(shù)集合的使用可實(shí)現(xiàn)重要標(biāo)頭信息的帶外發(fā)射,從而不需要冗余發(fā)射 來進(jìn)行誤差恢復(fù)。在帶外發(fā)射實(shí)例中,可在與其它NAL單元(例如補(bǔ)充增強(qiáng)信息(SEI)NAL 單元)不同的信道上發(fā)射參數(shù)集NAL單元。
[0065] SEI NAL單元(稱為SEI消息)可含有對解碼來自視頻譯碼層(VCL)NAL單元的 經(jīng)譯碼圖片樣本來說不必要的信息,但可輔助與解碼、顯示、誤差恢復(fù)和其它目的有關(guān)的過 程。SEI消息可包含在非VCL NAL單元中。SEI消息可包含在一些標(biāo)準(zhǔn)規(guī)范的標(biāo)準(zhǔn)部分中, 且因此對于符合標(biāo)準(zhǔn)的解碼器實(shí)施方案來說,不總是強(qiáng)制性的。SEI消息可為序列級SEI消 息或圖片級SEI消息。一些序列級信息可包含于SEI消息中,例如SVC的實(shí)例中的可縮放 性信息SEI消息,以及MVC中的視圖可縮放性信息SEI消息。視圖可縮放性信息SEI消息 還可提供用于H. 264的3DVC擴(kuò)展的序列等級信息。包封單元21可形成這些SEI消息,且 將這些SEI消息提供給服務(wù)器/內(nèi)容遞送網(wǎng)絡(luò)34,以用于(作為一個(gè)實(shí)例)協(xié)商經(jīng)編碼視 頻數(shù)據(jù)的遞送。
[0066] 包封單元30可形成NAL單元,其包括識別NAL所屬的程序的標(biāo)頭、以及有效負(fù)載 (例如,音頻數(shù)據(jù)、視頻數(shù)據(jù)或描述NAL單元所對應(yīng)的輸送或程序流的數(shù)據(jù))。舉例來說,在 H. 264/AVC中,NAL單元包含1字節(jié)標(biāo)頭以及不同大小的有效負(fù)載。在一個(gè)實(shí)例中,NAL單 元標(biāo)頭包括 priority_id 元素、temporal_id 元素、anchor_pic_flag 元素、view_id 元素、 non_idr_flag元素和inter_view_flag元素。在常規(guī)MVC中,保持由H. 264界定的NAL單 元,除了前綴NAL單元和MVC經(jīng)譯碼片NAL單元,其包含4字節(jié)MVC NAL單元標(biāo)頭和NAL單 元有效負(fù)載。
[0067] 在一些實(shí)例中,視頻編碼器20可使用MVC加深度信息來編碼符合H. 264的3DVC 擴(kuò)展的3DVC位流。2010年3月的"用于一般視聽服務(wù)的高級視頻譯碼(Advanced video coding for generic audiovisual services)" ITU-T 建議 Η· 264 中描述 MVC 的最新聯(lián)合 草案,而上文描述的2011年11月在瑞士日內(nèi)瓦進(jìn)行的"關(guān)于用于包含深度圖的MVC擴(kuò)展的 工作草案(WD on MVC Extensions for Inclusion of Depth Maps)''IS0/IEC/JTC1/SC29/ WG11/N12351中描述3DVC的工作草案。并且,本發(fā)明內(nèi)對MVC的參考應(yīng)理解為對3DVC的上 下文內(nèi)的MVC加深度的參考。就是說,本發(fā)明中將MVC稱為其在3DVC并入有或"建立"MVC 的意義上與3DVC有關(guān)。
[0068] 在H. 264的3DVC擴(kuò)展中,視圖包含紋理和深度。視圖的紋理部分稱為紋理視圖, 且視圖的深度部分稱為深度視圖。一個(gè)存取單元中的視圖的紋理部分(即,存取單元中的 紋理視圖)稱為紋理視圖分量。一個(gè)存取單元中的視圖的深度部分(即,存取單元中的深 度視圖)稱為深度視圖分量。術(shù)語視圖分量為一個(gè)存取單元中的視圖,且共同指代同一存 取單元中的紋理視圖分量和深度視圖分量兩者。
[0069] 在H. 264/AVC的擴(kuò)展中,可在NAL單元標(biāo)頭擴(kuò)展中添加語法元素,以將NAL單元標(biāo) 頭從一個(gè)字節(jié)擴(kuò)展到四個(gè)字節(jié),以在多個(gè)維度中描述VCL NAL單元的特性。因此,MVC擴(kuò)展 中的VCL NAL單元可包含比H. 264/AVC標(biāo)準(zhǔn)中的NAL單元標(biāo)頭長的NAL單元標(biāo)頭。在本發(fā) 明中,可將H. 264/AVC的MVC擴(kuò)展稱為"MVC/AVC"。
[0070] MVC/AVC NAL單元可含有一字節(jié)NAL單元標(biāo)頭,其包含NAL單元類型,以及MVC/AVC NAL單元標(biāo)頭擴(kuò)展。作為一個(gè)實(shí)例,MVC/AVC NAL單元標(biāo)頭擴(kuò)展可包含下表中的語法元素:
[0071] NAL單元標(biāo)頭擴(kuò)展語法
[0072]
【權(quán)利要求】
1. 一種用于譯碼包含視圖分量的視頻數(shù)據(jù)的方法,所述視圖分量包括深度分量和紋理 分量,所述方法包括: 為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集;以及 基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
2. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括: 為所述視圖分量的所述深度分量激活參數(shù)集;以及 基于為所述視圖分量的所述深度分量激活的所述參數(shù)集且不基于所述所激活的紋理 參數(shù)集來譯碼所述視圖分量的所述深度分量。
3. 根據(jù)權(quán)利要求2所述的方法,其進(jìn)一步包括為所述視圖數(shù)據(jù)的所述深度視圖分量激 活作為深度圖片參數(shù)集的圖片參數(shù)集。
4. 根據(jù)權(quán)利要求1所述的方法,其中譯碼所述視圖分量的所述紋理分量包括基于所述 所激活的紋理參數(shù)集,僅譯碼所述視圖分量的所述紋理分量且不譯碼所述視圖分量的所述 深度分量。
5. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括激活用于譯碼所述視頻數(shù)據(jù)的同一視圖 內(nèi)的所述紋理視圖分量和所述視頻數(shù)據(jù)的所有其它紋理視圖分量的紋理序列參數(shù)集。
6. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括激活用于譯碼基于所述視頻數(shù)據(jù)的同一 視圖內(nèi)的所述深度視圖分量和所述視頻數(shù)據(jù)的所有其它深度視圖分量的深度序列參數(shù)集。
7. 根據(jù)權(quán)利要求1所述的方法,其進(jìn)一步包括為所述視圖數(shù)據(jù)的所述紋理視圖分量激 活作為視圖圖片參數(shù)集的圖片參數(shù)集。
8. 根據(jù)權(quán)利要求1所述的方法,其中譯碼所述紋理分量包括用視頻編碼器基于所述所 激活的紋理參數(shù)集來編碼所述視圖分量的所述紋理分量。
9. 根據(jù)權(quán)利要求1所述的方法,其中譯碼所述紋理分量包括用視頻解碼器基于所述所 激活的紋理參數(shù)集來解碼所述視圖分量的所述紋理分量。
10. 根據(jù)權(quán)利要求1所述的方法,其中所述深度分量與所述紋理分量具有不同分辨率。
11. 根據(jù)權(quán)利要求1所述的方法,其中所述視圖數(shù)據(jù)符合對H. 264/高級視頻譯碼標(biāo)準(zhǔn) 的三維視頻譯碼擴(kuò)展,且與對所述H. 264/高級視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼擴(kuò)展反向 兼容。
12. -種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的視頻譯碼 裝置,所述視頻譯碼裝置包括: 處理器,其經(jīng)配置以:為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集, 且基于所述所激活的紋理參數(shù)集來譯碼所述視圖分量的所述紋理分量。
13. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以:為所述 視圖分量的所述深度分量激活參數(shù)集,且基于為所述視圖分量的所述深度分量而激活的所 述參數(shù)集而不是所述所激活的紋理參數(shù)集來譯碼所述視圖分量的所述深度分量。
14. 根據(jù)權(quán)利要求13所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以為所述視 圖數(shù)據(jù)的所述深度視圖分量激活作為深度圖片參數(shù)集的圖片參數(shù)集。
15. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以在譯碼所 述視圖分量的所述紋理分量時(shí),基于所述所激活的紋理參數(shù)集,僅譯碼所述視圖分量的所 述紋理分量,且不譯碼所述視圖分量的所述深度分量。
16. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以激活用于 譯碼所述視頻數(shù)據(jù)的同一視圖內(nèi)的所述紋理視圖分量和所述視頻數(shù)據(jù)的所有其它紋理視 圖分量的紋理序列參數(shù)集。
17. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以激活用于 譯碼基于所述視頻數(shù)據(jù)的同一視圖內(nèi)的所述深度視圖分量和所述視頻數(shù)據(jù)的所有其它深 度視圖分量的深度序列參數(shù)集。
18. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以為所述視 圖數(shù)據(jù)的所述紋理視圖分量激活作為視圖圖片參數(shù)集的圖片參數(shù)集。
19. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以在譯碼所 述紋理分量時(shí),基于所述所激活的紋理參數(shù)集來編碼所述視圖分量的所述紋理分量。
20. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述處理器進(jìn)一步經(jīng)配置以在譯碼所 述紋理分量時(shí),基于所述所激活的紋理參數(shù)集來解碼所述視圖分量的所述紋理分量。
21. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述深度分量與所述紋理分量具有不 同分辨率。
22. 根據(jù)權(quán)利要求12所述的視頻譯碼裝置,其中所述視圖數(shù)據(jù)符合對H. 264/高級視頻 譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展,且與對所述H. 264/高級視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼 擴(kuò)展反向兼容。
23. -種用于譯碼包含由深度分量和紋理分量組成的視圖分量的視頻數(shù)據(jù)的視頻譯碼 裝置,所述視頻譯碼裝置包括: 用于為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集的裝置;以及 用于基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量的裝置。
24. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其進(jìn)一步包括: 用于為所述視圖分量的所述深度分量激活參數(shù)集的裝置;以及 用于基于為所述視圖分量的所述深度分量激活的所述參數(shù)集且不基于所述所激活的 紋理參數(shù)集來譯碼所述視圖分量的所述深度分量的裝置。
25. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其進(jìn)一步包括用于為所述視圖數(shù)據(jù)的所述 深度視圖分量激活作為深度圖片參數(shù)集的圖片參數(shù)集的裝置。
26. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其中所述用于譯碼所述視圖分量的所述紋 理分量的裝置包括用于基于所述所激活的紋理參數(shù)集僅譯碼所述視圖分量的所述紋理分 量且不譯碼所述視圖分量的所述深度分量的裝置。
27. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其進(jìn)一步包括用于激活用于譯碼所述視頻 數(shù)據(jù)的同一視圖內(nèi)的所述紋理視圖分量和所述視頻數(shù)據(jù)的所有其它紋理視圖分量的紋理 序列參數(shù)集的裝置。
28. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其進(jìn)一步包括用于激活用于譯碼基于所述 視頻數(shù)據(jù)的同一視圖內(nèi)的所述深度視圖分量和所述視頻數(shù)據(jù)的所有其它深度視圖分量的 深度序列參數(shù)集的裝置。
29. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其進(jìn)一步包括用于為所述視圖數(shù)據(jù)的所述 紋理視圖分量激活作為視圖圖片參數(shù)集的圖片參數(shù)集的裝置。
30. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其中所述深度分量與所述紋理分量具有不 同分辨率。
31. 根據(jù)權(quán)利要求23所述的視頻譯碼裝置,其中所述視圖數(shù)據(jù)符合對Η. 264/高級視頻 譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展,且與對所述Η. 264/高級視頻譯碼標(biāo)準(zhǔn)的多視圖視頻譯碼 擴(kuò)展反向兼容。
32. -種上面存儲有指令的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,所述指令在被執(zhí)行時(shí)致使 視頻譯碼裝置的一個(gè)或一個(gè)以上處理器: 為所述視圖分量的所述紋理分量激活作為紋理參數(shù)集的參數(shù)集;以及 基于所述所激活的紋理參數(shù)集譯碼所述視圖分量的所述紋理分量。
33. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其上進(jìn)一步存儲有在被執(zhí) 行時(shí)致使所述一個(gè)或一個(gè)以上處理器進(jìn)行以下操作的指令: 為所述視圖分量的所述深度分量激活參數(shù)集;以及 基于為所述視圖分量的所述深度分量激活的所述參數(shù)集且不基于所述所激活的紋理 參數(shù)集來譯碼所述視圖分量的所述深度分量。
34. 根據(jù)權(quán)利要求33所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其上進(jìn)一步存儲有在被執(zhí) 行時(shí)致使所述一個(gè)或一個(gè)以上處理器為所述視頻數(shù)據(jù)的所述深度視圖分量激活作為深度 圖片參數(shù)集的圖片參數(shù)集的指令。
35. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其中所述在被執(zhí)行時(shí)致使 所述一個(gè)或一個(gè)以上處理器譯碼所述視圖分量的所述紋理分量的指令包括在被執(zhí)行時(shí)致 使所述一個(gè)或一個(gè)以上處理器基于所述所激活的紋理參數(shù)集僅譯碼所述視圖分量的所述 紋理分量且不譯碼所述視圖分量的所述深度分量的指令。
36. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其上進(jìn)一步存儲有在被執(zhí) 行時(shí)致使所述一個(gè)或一個(gè)以上處理器激活用于譯碼所述視頻數(shù)據(jù)的同一視圖內(nèi)所述紋理 視圖分量和所述視頻數(shù)據(jù)的所有其它紋理視圖分量的紋理序列參數(shù)集的指令。
37. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其上進(jìn)一步存儲有在被執(zhí) 行時(shí)致使所述一個(gè)或一個(gè)以上處理器激活用于譯碼基于所述視頻數(shù)據(jù)的同一視圖內(nèi)的所 述深度視圖分量和所述視頻數(shù)據(jù)的所有其它深度視圖分量的深度序列參數(shù)集的指令。
38. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其上進(jìn)一步存儲有在被執(zhí) 行時(shí)致使所述一個(gè)或一個(gè)以上處理器為所述視頻數(shù)據(jù)的所述紋理視圖分量激活作為視圖 圖片參數(shù)集的圖片參數(shù)集的指令。
39. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其中所述在被執(zhí)行時(shí)致使 所述一個(gè)或一個(gè)以上處理器譯碼所述紋理分量的指令包括在被執(zhí)行時(shí)致使所述一個(gè)或一 個(gè)以上處理器基于所述所激活的紋理參數(shù)集來編碼所述視圖分量的所述紋理分量的指令。
40. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其中所述在被執(zhí)行時(shí)致使 所述一個(gè)或一個(gè)以上處理器譯碼所述紋理分量的指令包括在被執(zhí)行時(shí)致使所述一個(gè)或一 個(gè)以上處理器基于所述所激活的紋理參數(shù)集來解碼所述視圖分量的所述紋理分量的指令。
41. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其中所述深度分量與所述 紋理分量具有不同分辨率。
42. 根據(jù)權(quán)利要求32所述的非暫時(shí)性計(jì)算機(jī)可讀存儲媒體,其中所述視圖數(shù)據(jù)符合對 Η. 264/高級視頻譯碼標(biāo)準(zhǔn)的三維視頻譯碼擴(kuò)展,且與對所述Η. 264/高級視頻譯碼標(biāo)準(zhǔn)的 多視圖視頻譯碼擴(kuò)展反向兼容。
【文檔編號】H04N19/597GK104115493SQ201280059312
【公開日】2014年10月22日 申請日期:2012年11月30日 優(yōu)先權(quán)日:2011年11月30日
【發(fā)明者】陳穎, 王益魁 申請人:高通股份有限公司