專利名稱：使用基于深度信息的視差估計的多視點視頻編碼的制作方法
技術(shù)領(lǐng)域：
描述了涉及編碼系統(tǒng)的實現(xiàn)方式。多種具體實現(xiàn)方式涉及使用深度的視點間跳 過模式。
背景技術(shù)：
存在使用來自另一宏塊的信息對當前宏塊進行解碼的一種或多種編碼工具。一 種編碼工具是使用深度信息對當前宏塊進行解碼的視點間跳過模式。本申請中指出了視 點間跳過編碼工具的一個或多個缺點。

發(fā)明內(nèi)容
根據(jù)總體方面，對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分進行編 碼。該部分是第一視點圖像的全部或一部分。確定來自多視點系統(tǒng)中第二視點的第二視 點圖像的一部分與第一視點圖像的所述部分相對應。所述確定基于為第二視點圖像的所 述部分提供深度信息的第二視點深度值。使用通過對第一視點圖像的所述部分的編碼而 得到的信息來對第二視點圖像的所述部分進行編碼。根據(jù)另一總體方面，視頻信號或視頻信號結(jié)構(gòu)包括以下區(qū)段。第一視點圖像區(qū) 段包括來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編碼信息。所述第一視點 圖像的所述部分包括第一視點圖像的全部或一部分。第二視點圖像區(qū)段段包括與第一 視點圖像的所述部分相對應的、來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分。 第二視點深度區(qū)段段包括為第二視點圖像的所述部分提供深度信息的深度值。第一視點 圖像區(qū)段段、第二視點圖像區(qū)段段和第二視點圖像深度區(qū)段段是根據(jù)支持多視點編碼而 不支持深度圖編碼的標準來格式化的。根據(jù)另一總體方面，對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的 編碼進行解碼。該部分是第一視點圖像的全部或一部分。確定來自多視點系統(tǒng)中第二視 點的第二視點圖像的一部分與第一視點圖像的所述部分相對應。所述確定基于為第二視 點圖像的所述部分提供深度信息的第二視點深度值。使用來自第一視點圖像的解碼部分 的信息來對第二視點圖像的所述部分的編碼進行解碼。在附圖和以下描述中產(chǎn)生了一種或多種實現(xiàn)方式的細節(jié)。盡管以具體方式描 述，然而應當清楚可以以多種方式來配置或體現(xiàn)這些實現(xiàn)方式。例如，實現(xiàn)方式可以以 方法的形式來執(zhí)行，體現(xiàn)為設備，例如被配置為執(zhí)行一組操作的設備或者用于執(zhí)行一組 操作的設備存儲結(jié)構(gòu)，或者體現(xiàn)為信號。通過以下結(jié)合附圖和權(quán)利要求考慮的詳細描述，其他方面和特征將變得顯而易見。


圖1是編碼器的實現(xiàn)方式的圖。
圖2是解碼器的實現(xiàn)方式的圖。
圖3是視頻發(fā)送系統(tǒng)的實現(xiàn)方式的圖。
圖4是視頻接收系統(tǒng)的實現(xiàn)方式的圖。
圖5是視頻處理設備的實現(xiàn)方式的圖。
圖6是對于一種實現(xiàn)方式標識了當前宏塊的相鄰宏塊的圖
圖7是第一編碼過程的實現(xiàn)方式的圖。
圖8是第一解碼過程的實現(xiàn)方式的圖。
圖9是運動匹配的實現(xiàn)方式的圖。
圖10是第二編碼過程的實現(xiàn)方式的圖。
圖11是第二解碼過程的實現(xiàn)方式的圖。
圖12是第三編碼過程的實現(xiàn)方式的圖。
圖13是第三解碼過程的實現(xiàn)方式的圖。
具體實施例方式視點間跳過是一種使用深度信息來對當前宏塊進行解碼的編碼工具。發(fā)明人確 定視點間跳過的缺點是需要或假定深度圖在解碼器處可用。這在需要深度圖來實現(xiàn)視點 合成的3DV架構(gòu)下是可能的。在多視點視頻編碼(MVC)的情況下，沒有指定深度圖的 標準傳輸。因此，不能使用需要深度圖的模式。在至少一個實現(xiàn)方式中，提出了一種使用利用深度的視點間跳過模式的架構(gòu)。 在至少一個實現(xiàn)方式中，提出了使用視點間跳過作為用于多視點編碼的編碼模式。在本 文所描述的至少一個實現(xiàn)方式中，提出了通過發(fā)送對應宏塊的深度而不是例如單獨地發(fā) 送深度圖來實現(xiàn)這種方法的修改。從原始視頻序列和對應攝像機參數(shù)產(chǎn)生的深度信息不 僅可以有益于解碼器端的視點合成，還可以有益于編碼器處的編碼效率。借助于深度信 息，對兩個視點間畫面之間對應關(guān)系的估計可以比傳統(tǒng)方法更精確。在至少一個實現(xiàn)方 式中，引入了新的“跳過模式”，稱作“深度跳過模式”。因此，至少一些實現(xiàn)方式解決的至少一個問題是，使用利用深度的視點間跳過 模式來高效地編碼多視點視頻序列。多視點視頻序列是由從不同視點捕獲某場景的兩個 或多個視頻序列組成的集合。此外，如上所述，在多視點視頻編碼(MVC)的情況下，沒有指定深度圖的標準 傳輸。因此，不可以使用需要深度圖的模式。本文描述的至少一個實現(xiàn)方式通過在需要 時明確地發(fā)送深度信息(通常與深度圖不同)來解決該問題。注意，“深度信息”是與 深度有關(guān)的各種信息的統(tǒng)稱。一種類型的深度信息是“深度圖”，所述深度圖通常是指 逐像素深度圖像。其他類型的深度信息可以包括例如針對每個編碼塊而不是每個編碼像 素使用單個深度值。圖1示出了示例性編碼器100，根據(jù)本原理的實施例，可以對所述編碼器100應用本發(fā)明。編碼器100包括組合器105，組合器105具有以信號通信的方式與變換器110 的輸入相連的輸出。變換器110的輸出以信號通信的方式與量化器115的輸入相連。量 化器115的輸出以信號通信的方式與熵編碼器120的輸入和逆量化器125的輸入相連。逆 量化器125的輸出以信號通信的方式與逆變換器130的輸入相鄰。逆變換器130的輸出以 信號通信的方式與組合器135的第一非反向輸入相連。組合器135的輸出以信號通信的 方式與幀內(nèi)預測器145的輸入和解塊濾波器150的輸入相連。解塊濾波器150去除例如 沿著宏塊邊緣的偽像。解塊濾波器150的第一輸出以信號通信的方式與參考畫面存儲裝 置155的輸入(用于時間預測)和參考畫面存儲裝置160的第一輸入(用于視點間預測) 相連。參考畫面存儲裝置155的輸出以信號通信的方式與運動補償器175的第一輸入和 運動估計器180的第一輸入相連。運動估計器180的輸出以信號通信的方式與運動補償 器175的第二輸入相連。參考畫面存儲裝置160的第一輸出以信號通信的方式與視差估 計器170的第一輸入相連。參考畫面存儲裝置160的第二輸出以信號通信的方式與視差 補償器165的第一輸入相連。視差估計器170的輸出以信號通信的方式與開關(guān)134的第 一輸入相連。(基于深度的)視差轉(zhuǎn)換器132的輸出以信號通信的方式與開關(guān)134的第二 輸入相連。視差選擇器131的第一輸出以信號通信的方式與開關(guān)134的控制輸入相連， 以選擇開關(guān)的第一或第二輸入。開關(guān)134的輸出以信號通信的方式與視差補償器165的 第二輸入相連。熵解碼器120的輸出、模式判定模塊115的第一輸出以及視差選擇器131的輸出 各自均可用作編碼器100的相應輸出，以輸出比特流。視差選擇器131還可以用于輸出 多種形式的深度信息?？梢源鎯虬l(fā)送這樣的深度信息，例如這樣的深度信息可以用于 允許解碼操作確定編碼視點的全部或一部分的視差矢量。
組合器105的第一輸入、運動補償器175的第三輸入、運動估計器180的第二輸 入、視差估計器170的第二輸入以及視差轉(zhuǎn)換器132的第一輸入各自都可用作編碼器的相 應輸入，以接收視點i的畫面。視差轉(zhuǎn)換器132的第二輸入可用作到編碼器100的輸入， 用于接收帶外深度(out-of-band-depth)。運動補償器175的輸出以信號通信的方式與開關(guān)185的第一輸入相連。視差補 償器165的輸出以信號通信的方式與開關(guān)185的第二輸入相連。幀內(nèi)預測器145的輸出 以信號通信的方式與開關(guān)185的第三輸入相連。開關(guān)185的輸出以信號通信的方式與組 合器105的反向輸入和組合器135的第二非反向輸入相連。模式判定模塊115的輸出確 定將哪個輸入提供至開關(guān)185。圖1的一部分也可以分別地或集體地稱作編碼器、編碼單元或存取單元(例如， 塊110、115和120)。類似地，例如塊125、130、135和150可以分別地或集體地稱作解
碼器或解碼單元。圖2示出了示例性解碼器200，根據(jù)本原理的實施例，本原理可以應用于所述解 碼器200。解碼器200包括熵解碼器205，熵解碼器205具有以信號通信的方式與逆量 化器210的輸入相連的輸出。逆量化器210的輸出以信號通信的方式與逆變換器215相 連。逆變換器215的輸出以信號通信的方式與組合器220的第一非反向輸入相連。組合 器220的輸出以信號通信的方式與解塊濾波器225的輸入和幀內(nèi)預測器230的輸入相連。 解塊濾波器225的第一輸出以信號通信的方式與參考畫面存儲裝置240的輸入(用于時間預測)和參考畫面存儲裝置245的第一輸入(用于視點間預測)相連。參考畫面存儲裝 置240的輸出以信號通信的方式與運動補償器235的第一輸入相連。參考畫面存儲裝置 245的輸出以信號通信的方式與視差補償器250的第一輸入相連。比特流接收機201的輸出以信號通信的方式與比特流解析器202的輸入相連。比 特流解析器202的第一輸出(用于提供殘差比特流)以信號通信的方式與熵解碼器205的 輸入相連。比特流解析器202的第二輸出(用于提供控制語法以控制開關(guān)255選擇哪個 輸入)以信號通信的方式與模式選擇器222的輸入相連。比特流解析器202的第三輸出 (用于提供運動矢量)以信號通信的方式與運動補償器235的第二輸入相連。比特流解析 器202的第四輸出(用于提供照度偏移)以信號通信的方式與視差補償器250的第二輸入 相連。比特流解析器202的第五輸出(用于提供視差控制語法)以信號通信的方式與視 差選擇器204的輸入相連。比特流解析器202的第六輸出(用于提供視差矢量)以信號 通信的方式與開關(guān)211的第一輸入相連。比特流解析器102的第七輸出(用于提供帶內(nèi) 深度)以信號通信的方式與視差轉(zhuǎn)換器203的第一輸入相連。視差轉(zhuǎn)換器203的輸出以 信號通信的方式與開關(guān)211的第二輸入相連。視差選擇器204的輸出確定將哪個輸入提 供至開關(guān)211。開關(guān)的輸出以信號通信的方式與視差補償器250的第三輸入相連。將意 識到，照度偏移是可選的輸入，根據(jù)實現(xiàn)方式可以使用或可以不使用該照度偏移。開關(guān)255的輸出以信號通信的方式與組合器220的第二非反向輸入相連。開關(guān) 255的第一輸入以信號通信的方式與視差補償器250的輸出相連。開關(guān)255的第二輸入 以信號通信的方式與運動補償器235的輸出相連。開關(guān)255的第三輸入以信號通信的方 式與幀內(nèi)預測器230的輸出相連。模式模塊222的輸出以信號通信的方式與開關(guān)255相 連，以控制開關(guān)255選擇哪個輸入。解塊濾波器225的第二輸出可用作解碼器200的輸 出。視差轉(zhuǎn)換器203的第二輸入可用作解碼器200的輸入，以接收帶外深度。圖2的一部分也可以分別地或集體地稱作存取單元，例如，比特流解析器202和 使得可以存取特定數(shù)據(jù)或信息片的任何其他塊。類似地，例如塊205、210、215、220和 225可以分別地或集體地稱作解碼器或解碼單元。圖3示出了示例性視頻發(fā)送系統(tǒng)300，根據(jù)本原理的實現(xiàn)方式，本原理可以應用 于所述視頻發(fā)送系統(tǒng)300。視頻發(fā)送系統(tǒng)300可以是例如用于使用諸如衛(wèi)星、線纜、電話 線路、或地面廣播等多種介質(zhì)中的任何介質(zhì)來發(fā)送信號的頭端或發(fā)送系統(tǒng)?？梢栽谝蛱?網(wǎng)或其他網(wǎng)絡上提供發(fā)送。視頻發(fā)送系統(tǒng)300可以產(chǎn)生和傳遞使用利用深度的視點間跳過模式來編碼的視 頻內(nèi)容。這是通過產(chǎn)生編碼信號來實現(xiàn)的，所述編碼信號包括深度信息或能夠用于在可 以例如具有解碼器的接收機端合成深度信息的信息。視頻發(fā)送系統(tǒng)300包括編碼器310以及能夠發(fā)送編碼信號的發(fā)射機320。編碼器 310接收視頻信息并使用利用深度的視點間跳過模式從視頻信息中產(chǎn)生編碼信號。編碼 器310可以是例如以上詳細描述的編碼器300。編碼器310可以包括子模塊，所述子模塊 包括例如組裝單元，所述組裝單元用于接收多個信息片并將所述多個信息片組裝成用于 存儲或發(fā)送的結(jié)構(gòu)格式。不同的信息片可以包括例如編碼或非編碼的視頻、編碼或非編 碼的深度信息、以及編碼或非編碼的元素(例如，運動矢量、編碼模式指示符、和語法 元素)。
發(fā)射機320例如可以適于發(fā)送節(jié)目信號，所述節(jié)目信號具有表示編碼畫面和/ 或其相關(guān)信息的一個或多個比特流。典型的發(fā)射機執(zhí)行例如以下功能中的一個或多個功 能提供糾錯編碼、對信號中的數(shù)據(jù)進行交織、使信號中的能量隨機化、以及將信號調(diào) 制到一個或多個載波上。發(fā)射機可以包括天線(未示出)或與天線接口連接。相應地， 發(fā)射機320的實現(xiàn)方式可以包括但不限于調(diào)制器。圖4示出了示例性視頻接收系統(tǒng)400，根據(jù)本原理的實施例，本原理可以應用于 所述視頻接收系統(tǒng)400。視頻接收系統(tǒng)400可以被配置為通過例如衛(wèi)星、線纜、電話線路 或地面廣播等多種介質(zhì)來接收信號。可以通過因特網(wǎng)或其他網(wǎng)絡來接收信號。視頻接收系統(tǒng)400可以是例如蜂窩電話、計算機、機頂盒、電視或接收編碼視 頻并提供例如解碼視頻以向用戶顯示或用于存儲的其他設備。因此，視頻接收系統(tǒng)400 可以將其輸出提供至例如電視屏幕、計算機監(jiān)視器、計算機(以供存儲、處理或顯示)或 其他的存儲、處理或顯示設備。視頻接收系統(tǒng)400可以接收和處理包括視頻信息的視頻內(nèi)容。視頻接收系統(tǒng)400 包括例如本申請的實現(xiàn)方式中描述的能夠接收編碼信號的接收機410，以及能夠?qū)?收到的信號進行解碼的解碼器420。接收機410可以例如適于接收節(jié)目信號，所述節(jié)目信號具有表示編碼畫面的多 個比特流。典型的接收機執(zhí)行例如以下功能中的一個或多個功能接收調(diào)制和編碼的數(shù) 據(jù)信號、對來自一個或多個載波的數(shù)據(jù)信號進行解調(diào)、使信號中的能量去隨機化、將信 號中的數(shù)據(jù)去交織、以及對信號進行糾錯解碼。接收機410可以包括天線(未示出)或 與天線接口連接。接收機410的實現(xiàn)方式可以包括或限于解調(diào)器。解碼器420輸出包括視頻信息和深度信息的視頻信號。解碼器420例如可以是 以上描述的解碼器400。圖5示出了示例性視頻處理設備500，根據(jù)本原理的實施例，本原理可以應用于 所述視頻處理設備500。視頻處理設備500可以例如是機頂盒或接收編碼視頻并提供例如 解碼視頻以向用戶顯示或存儲的其他設備。因此，視頻處理設備500可以將其輸出提供 至電視、計算機監(jiān)視器或計算機或其他處理設備。視頻處理設備500包括前端(FE)裝置505和解碼器510。前端裝置505可以是 例如接收機，所述接收機適于接收具有表示編碼畫面的多個比特流的節(jié)目信號，以及適 于選擇一個或多個比特流以根據(jù)所述多個比特流進行解碼。典型的接收機執(zhí)行例如以下 功能中的一個或多個功能接收調(diào)制和編碼數(shù)據(jù)信號、解調(diào)數(shù)據(jù)信號、對數(shù)據(jù)信號的一 個或多個編碼(例如，信道編碼和/或源編碼)進行解碼、和/或?qū)?shù)據(jù)信號進行糾錯。 前端裝置505可以接收來自例如天線(未示出)的節(jié)目信號。前端裝置505將接收到的 數(shù)據(jù)信號提供至解碼器510。解碼器510接收數(shù)據(jù)信號520。數(shù)據(jù)信號520可以包括例如一個或多個與高級視 頻編碼(AVC)、可縮放視頻編碼(SVC)或多視點視頻編碼(MVC)兼容的流。AVC具體是指國際標準化組織/國際電子技術(shù)委員會(ISO/IEC)運動圖像專家 組-4(MPEG_4)部分10高級視頻編碼(AVC)標準/國際電信聯(lián)盟-電信部分(ITU-T) H.264推薦(下文中，“H.264/MPEG-4AVC標準”或其變體，如“AVC標準”，或簡 稱 “AVC” )。
MVC具體是指AVC標準的多視點視頻編碼(“MVC” )擴展(附錄H)，稱作 H.264/MPEG-4AVC, MVC 擴展(“MVC” 擴展或簡稱 “MVC”)。SVC具體是指AVC標準的可縮放視頻編碼(“SVC” )擴展(附錄G)，稱作 H.264/MPEG-4AVC, SVC 擴展(“SVC” 擴展或簡稱 “SVC”)。解碼器510對接收信號520的全部或部分進行解碼，并提供解碼視頻信號530作 為輸出。將解碼視頻530提供至選擇器550。設備500還包括接收用戶輸入570的用戶解 碼560。用戶界面560基于用戶輸入570來向選擇器550提供畫面選擇信號580。畫面選 擇信號580和用戶輸入570指示用戶希望顯示以下項目中的哪個多個畫面、序列、可 縮放版本、視圖或可用解碼數(shù)據(jù)的其他選擇。選擇器550提供所選的畫面作為輸出590。 選擇器550使用畫面選擇信息580來選擇提供解碼視頻530的哪個畫面作為輸出590。在不同實現(xiàn)方式中，選擇器550包括用戶界面560，在其他實現(xiàn)方式中，由于選 擇器550直接接收用戶輸入570而不執(zhí)行單獨的接口功能，所以選擇器550可以例如以軟 件形式實現(xiàn)或?qū)崿F(xiàn)為集成電路。在一個實現(xiàn)方式中，選擇器550與解碼器510合并，在 另一個實現(xiàn)方式中，解碼器510、選擇器550和用戶界面560合并在一起。在一個應用中，前端505接收多種電視節(jié)目的廣播并選擇一個電視節(jié)目來處 理。一個節(jié)目的選擇基于要觀看的期望頻道的用戶輸入。盡管圖5并未示出向前端裝 置505的用戶輸入，然而前端裝置505接收用戶輸入570。前端505接收廣播并通過對 廣播譜的相關(guān)部分進行解調(diào)以及對解調(diào)節(jié)目的任何外部編碼進行解碼，來處理期望的節(jié) 目。前端505將解碼節(jié)目提供至解碼器510。解碼器510是包括裝置560和550的集成 單元。因此解碼器510接收用戶輸入，所述用戶輸入是由用戶提供的對要在節(jié)目中觀看 的期望視點的指示。解碼器510對所選的視點以及來自其他視點的任何所需參考畫面進 行解碼，并提供解碼視點590以顯示在電視(未示出)上。繼續(xù)上述應用，用戶可能希望切換所顯示的視點，然后可以向解碼器510提供 新的輸入。在接收到來自用戶的“視點改變”之后，解碼器510對舊視點和新視點以及 在舊視點與新視點之間的任何視點進行解碼。即，解碼器對從物理上位于捕獲舊視點的 攝像機與捕獲新視點的攝像機之間的攝像機得到的任何視點進行解碼。前端裝置505還 接收標識舊視點、新視點以及兩者之間視點的信息。該信息可以例如由具有與視點位置 有關(guān)的信息的控制器(圖5中未示出)或者解碼器510來提供。其他實現(xiàn)方式可以使用 具有控制器的前端裝置，所述控制器與前端裝置相集成。解碼器510提供所有這些解碼視點作為輸出590。后處理器(圖5中未示出)在 視點之間進行內(nèi)插，以提供從舊視點到新視點的平滑過渡，并向用戶顯示這種過渡。在 過渡到新視點之后，后處理器通知(通過一個或多個通信鏈路，未示出)解碼器510和前 端裝置505只需要新視點。此后，解碼器510僅提供新視點作為輸入590。系統(tǒng)500可以用于接收圖像序列的多個視點，提供用于顯示的單個視點，以及 以平滑的方式在多個視點之間切換。平滑方式可以包括在視點之間進行內(nèi)插以移到另一 視點。此外，系統(tǒng)500可以允許用戶旋轉(zhuǎn)對象或場景，或允許用戶看到對象或場景的三 維表示。對象的旋轉(zhuǎn)例如可以對應于從一個視點移到另一視點，并且在視點之間進行 內(nèi)插，以得到視點之間的平滑過渡或僅得到三維表示。即，用戶可以“選擇”內(nèi)插的視 點作為要顯示的“視點”。
使用深度圖來尋找視點間對應關(guān)系假定點M(x，y，z) (z是得自于深度圖)以坐標(ul，vl)投影在攝像機平面1 上，以坐標(u2，v2)投影在攝像機平面2上。點(X，y，z)來自與攝像機設置無關(guān)的 真實坐標系，并且標識了 3D點的位置。點(ul，vl)是3D點(χ，y，z)投影到視點1 的攝像機坐標系中的投影坐標。類似地，點(u2，v2)是3D點(χ，y，z)投影到視點2 的攝像機坐標系中的投影坐標。如下從攝像機參數(shù)K、R和T得出點矩陣P:P = K · [R|T](1)其中K是本征矩陣，R是旋轉(zhuǎn)矩陣，T是變換矢量，等式1指示矩陣R被矩陣 T右合并且合并結(jié)果乘以矩陣K。對于視點1和視點2，根據(jù)等式(2)和等式(3)，視點2中的像素(U2，v2)將 在視點1中找到其對應像素(ul，vl)。這里Pl和P2如下表示視點1和視點2的投影矩 陣
權(quán)利要求
1.一種方法，包括對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分進行編碼，所述部分是所述 第一視點圖像的全部或部分；確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部 分相對應，其中，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點 圖像的所述部分的深度信息；以及使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第二視點圖像的所 述部分進行編碼。
2.根據(jù)權(quán)利要求1所述的方法，其中，第一視點圖像的編碼部分、第二視點圖像的編 碼部分以及編碼的第二視點深度值是根據(jù)支持多視點編碼而不支持深度圖編碼的標準而 編碼的。
3.根據(jù)權(quán)利要求2所述的方法，其中，所述標準是MVC標準。
4.根據(jù)權(quán)利要求1所述的方法，還包括提供第一視點圖像的編碼部分、第二視點 圖像的編碼部分以及第二視點深度值，用于存儲或傳輸。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述提供包括將第一視點圖像的編碼部 分、第二視點圖像的編碼部分以及第二視點深度值組裝成結(jié)構(gòu)化格式。
6.根據(jù)權(quán)利要求1所述的方法，還包括對第二視點深度值進行編碼。
7.根據(jù)權(quán)利要求1所述的方法，其中，第二視點深度值是針對給定的宏塊或宏塊的一 部分的單個值。
8.根據(jù)權(quán)利要求1所述的方法，其中，確定所述第二視點圖像的一部分與第一視點圖 像的所述部分相對應包括使用卷曲處理，所述卷曲處理包括以下操作基于點在第二視點圖像的所述部分中的位置，來確定所述點在真實空間中的位置，以及基于所述點在真實空間中的位置，來確定所述點在第一視點圖像的所述部分中的位置。
9.根據(jù)權(quán)利要求1所述的方法，還包括確定第二視點圖像的所述部分的視點差矢 量，所述視點差矢量指示第二視點圖像的所述部分的位置與第一視點圖像的所述部分的 位置之間的差異，所述視點差矢量是基于第二視點深度值來確定的。
10.根據(jù)權(quán)利要求9所述的方法，其中確定視點差矢量還基于細化以使視點差矢量更適合于編碼而不是合成。
11.根據(jù)權(quán)利要求9所述的方法，還包括 形成基于視點差矢量預測值的視點差矢量；以及 基于視點差矢量預測值來對視點差矢量進行編碼。
12.根據(jù)權(quán)利要求9所述的方法，還包括基于根據(jù)深度而得到的、針對第一視點圖像的所述部分的視點差矢量，來形成視點 差矢量預測值；以及基于視點差矢量預測值來對視點差矢量進行編碼。
13.根據(jù)權(quán)利要求1所述的方法，其中對第二視點圖像的所述部分進行編碼包括設置指示以下情況的標志將使用第一視點圖像的所述部分的重構(gòu)，來重構(gòu)第二視點圖像的所述部分。
14.根據(jù)權(quán)利要求1所述的方法，其中對第二視點圖像的所述部分進行編碼包括使用通過對第一視點圖像的所述部分進 行編碼而得到的運動矢量，以及確定第二視點圖像的所述部分與所述運動矢量從第二視 點圖像所指向的參考圖像之間的殘差。
15.根據(jù)權(quán)利要求1所述的方法，其中 第一視點圖像包括來自視頻序列的畫面，以及對第一視點圖像的所述部分進行編碼包括對畫面的宏塊進行編碼。
16.根據(jù)權(quán)利要求1所述的方法，其中，至少所述第二視點圖像被包含在視頻序列 中，所述視頻序列由多個圖像形成，并且針對所述多個圖像中的每個圖像，具有至少一 個視點差矢量。
17.根據(jù)權(quán)利要求1所述的方法，其中，至少所述第二視點圖像被包含在視頻序列 中，所述視頻序列由多個圖像形成，并且針對所述多個圖像中的每個圖像，具有多個視點差矢量。
18.根據(jù)權(quán)利要求1所述的方法，其中，所述方法是在編碼器中實現(xiàn)的。
19.根據(jù)權(quán)利要求1所述的方法，還包括將第一視點圖像的所述部分的照度與第二視點圖像的所述部分的照度相比較；以及 基于比較結(jié)果來確定針對第二視點圖像的所述部分的照度偏移。
20.—種設備，包括用于對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分進行編碼的裝置，所述 部分是所述第一視點圖像的全部或部分；用于確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所 述部分相對應的裝置，其中，所述確定基于第二視點深度值，所述第二視點深度值提供 了第二視點圖像的所述部分的深度信息；以及用于使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第二視點圖像 的所述部分進行編碼的裝置。
21.一種處理器可讀介質(zhì)，在所述處理器可讀介質(zhì)上存儲有用于使處理器執(zhí)行至少以 下操作的指令對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分進行編碼，所述部分是所述 第一視點圖像的全部或部分；確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部 分相對應，其中，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點 圖像的所述部分的深度信息；以及使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第二視點圖像的所 述部分進行編碼。
22.—種設備，包括被配置為至少執(zhí)行以下操作的處理器對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分進行編碼，所述部分是所述 第一視點圖像的全部或部分；確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部分相對應，其中，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點 圖像的所述部分的深度信息；以及使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第二視點圖像的所 述部分進行編碼。
23.—種設備，包括視差轉(zhuǎn)換器，用于確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與來自 多視點系統(tǒng)中第一視點的第一視點圖像的一部分相對應，第一視點圖像的所述部分是第 一視點圖像的全部或部分，其中，所述確定基于第二視點深度值，所述第二視點深度值 提供了第二視點圖像的所述部分的深度信息；以及編碼單元，用于使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第 二視點圖像的所述部分進行編碼。
24.根據(jù)權(quán)利要求23所述的設備，還包括輸出單元，用于提供第一視點圖像的編 碼部分、第二視點圖像的編碼部分以及第二視點深度值，用于存儲或傳輸。
25.—種設備，包括視差轉(zhuǎn)換器，用于確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與來自 多視點系統(tǒng)中第一視點的第一視點圖像的一部分相對應，第一視點圖像的所述部分是第 一視點圖像的全部或部分，其中，所述確定基于第二視點深度值，所述第二視點深度值 提供了第二視點圖像的所述部分的深度信息；編碼單元，用于使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第 二視點圖像的所述部分進行編碼；以及調(diào)制器，用于對信號進行調(diào)制，所述信號包括第一視點圖像的所述部分以及第二視 點圖像的所述部分的編碼。
26.—種被格式化為包括信息的視頻信號，所述視頻信號包括第一視點圖像區(qū)段，包括來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編 碼信息，所述部分是第一視點圖像的全部或部分；第二視點圖像區(qū)段，包括來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分的編 碼信息，第二視點圖像的所述部分與第一視點圖像的所述部分相對應；以及第二視點深度區(qū)段，包括第二視點深度值的信息，所述第二視點深度值提供了第二 視點圖像的所述部分的深度信息，其中，第一視點圖像區(qū)段、第二視點圖像區(qū)段以及第二視點深度區(qū)段是根據(jù)支持多 視點編碼而不支持深度圖編碼的標準來格式化的。
27.—種視頻信號結(jié)構(gòu)，包括第一視點圖像區(qū)段，包括來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編 碼信息，所述部分是第一視點圖像的全部或部分；第二視點圖像區(qū)段，包括來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分的編 碼信息，第二視點圖像的所述部分與第一視點圖案的所述部分相對應；以及第二視點深度區(qū)段，包括第二視點深度值的信息，所述第二視點深度值提供了第二 視點圖像的所述部分的深度信息，其中，第一視點圖像區(qū)段、第二視點圖像區(qū)段以及第二視點深度區(qū)段是根據(jù)支持多視點編碼而不支持深度圖編碼的標準來格式化的。
28.一種存儲有視頻信號結(jié)構(gòu)的處理器可讀介質(zhì)，包括第一視點圖像區(qū)段，包括來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編 碼信息，所述部分是第一視點圖像的全部或部分；第二視點圖像區(qū)段，包括來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分的編 碼信息，第二視點圖像的所述部分與第一視點圖案的所述部分相對應；以及第二視點深度區(qū)段，包括第二視點深度值的信息，所述第二視點深度值提供了第二 視點圖像的所述部分的深度信息，其中，第一視點圖像區(qū)段、第二視點圖像區(qū)段以及第二視點深度區(qū)段是根據(jù)支持多 視點編碼而不支持深度圖編碼的標準來格式化的。
29.—種方法，包括對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編碼進行解碼，所述部分 是第一視點圖像的全部或部分；確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部 分相對應，其中，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點 圖像的所述部分的深度信息；以及使用來自第一視點圖像的解碼部分的信息來對第二視點圖像的所述部分的編碼進行 解碼。
30.根據(jù)權(quán)利要求29所述的方法，其中對第二視點圖像的所述部分進行解碼包括讀取指示以下情況的標志將使用第一視 點圖像的所述部分的重構(gòu)，來重構(gòu)第二視點圖像的所述部分。
31.根據(jù)權(quán)利要求30所述的方法，還包括存取照度偏移，所述照度偏移指示第一視點圖像的所述部分的照度與第二視點圖像 的所述部分的照度之差；以及基于照度偏移來調(diào)整第二視點圖像的所述部分的重構(gòu)的照度。
32.根據(jù)權(quán)利要求29所述的方法，其中對第二視點圖像的所述部分進行解碼包括使用來自第一視點圖像的解碼部分的運 動矢量，以及確定第二視點圖像的所述部分與所述運動矢量從第二視點圖像所指向的參 考圖像之間的殘差。
33.根據(jù)權(quán)利要求29所述的方法，還包括處理第二視點深度值。
34.根據(jù)權(quán)利要求33所述的方法，其中，處理第二視點深度值包括以下操作中的一個 或多個根據(jù)接收到的信號來解析第二視點深度值，或?qū)Φ诙朁c深度值進行解碼。
35.根據(jù)權(quán)利要求29所述的方法，其中，以根據(jù)支持多視點編碼而不支持深度圖編 碼的標準而結(jié)構(gòu)化的格式，來接收第一視點圖像的編碼部分以及第二視點圖像的編碼部 分。
36.根據(jù)權(quán)利要求35所述的方法，其中，所述標準是MVC標準。
37.根據(jù)權(quán)利要求29所述的方法，其中，第二視點深度值是針對給定的宏塊或宏塊的 一部分的單個值。
38.根據(jù)權(quán)利要求29所述的方法，還包括確定第二視點圖像的所述部分的視點差矢量，所述視點差矢量指示第二視點圖像的所述部分與第一視點圖像的所述部分的位置 之差，所述視點差矢量是基于第二視點深度值來確定的。
39.根據(jù)權(quán)利要求29所述的方法，還包括形成第二視點圖像的所述部分的視點差矢量預測值，所述視點差矢量預測值指示第 二視點圖像的所述部分與第一視點圖像的所述部分的位置之差，所述視點差矢量預測值 是基于第二視點深度值來確定的；以及基于視點差矢量預測值來對視點差矢量進行解碼。
40.根據(jù)權(quán)利要求29所述的方法，包括基于根據(jù)深度而得到的、針對第一視點圖像的所述部分的視點差矢量，來形成視點 差矢量預測值；以及基于視點差矢量預測值來對視點差矢量進行解碼。
41.根據(jù)權(quán)利要求29所述的方法，其中，所述方法是在解碼器中實現(xiàn)的。
42.根據(jù)權(quán)利要求29所述的方法，其中，所述方法是在編碼器中作為編碼過程的一部 分而實現(xiàn)的。
43.—種設備，包括用于對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編碼進行解碼的裝 置，所述部分是第一視點圖像的全部或部分；用于確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所 述部分相對應的裝置，其中，所述確定基于第二視點深度值，所述第二視點深度值提供 了第二視點圖像的所述部分的深度信息；以及用于使用來自第一視點圖像的解碼部分的信息來對第二視點圖像的所述部分的編碼 進行解碼的裝置。
44.一種處理器可讀介質(zhì)，在所述處理器可讀介質(zhì)上存儲有用于使處理器執(zhí)行至少以 下操作的指令對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編碼進行解碼，所述部分 是第一視點圖像的全部或部分；確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部 分相對應，其中，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點 圖像的所述部分的深度信息；以及使用來自第一視點圖像的解碼部分的信息來對第二視點圖像的所述部分的編碼進行 解碼。
45.一種設備，包括被配置為執(zhí)行至少以下操作的處理器對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分的編碼進行解碼，所述部分 是第一視點圖像的全部或部分；確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部 分相對應，其中，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點 圖像的所述部分的深度信息；以及使用來自第一視點圖像的解碼部分的信息來對第二視點圖像的所述部分的編碼進行 解碼。
46.—種設備，包括視差轉(zhuǎn)換器，用于確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與來自 多視點系統(tǒng)中第一視點的第一視點圖像的所述部分相對應，第一視點圖像的所述部分是 所述第一視點圖像的全部或部分其中，所述確定基于第二視點深度值，所述第二視點深 度值提供了第二視點圖像的所述部分的深度信息；以及解碼單元，用于使用來自第一視點圖像的解碼部分的信息來對第二視點圖像的所述 部分的編碼進行解碼。
47.—種設備，包括解調(diào)器，用于接收并解調(diào)信號，所述信號包括來自多視點系統(tǒng)中第一視點的第一視 點圖像的一部分的編碼，第一視點圖像的所述部分是所述第一視點圖像的全部或部分， 所述信號包括來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分的編碼；視差轉(zhuǎn)換器，用于確定第二視點圖像的所述部分與第一視點圖像的所述部分相對 應，所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點圖像的所述部 分的深度信息；以及解碼單元，用于使用來自第一視點圖像的解碼部分的信息來對第二視點圖像的所述 部分的編碼進行解碼。
全文摘要
描述了多種實現(xiàn)方式。若干實現(xiàn)方式涉及使用深度信息來確定對應參考塊的一個或多個編碼模式。根據(jù)總體方面，對來自多視點系統(tǒng)中第一視點的第一視點圖像的一部分進行編碼。所述部分是第一視點圖像的全部或部分。確定來自多視點系統(tǒng)中第二視點的第二視點圖像的一部分與第一視點圖像的所述部分相對應。所述確定基于第二視點深度值，所述第二視點深度值提供了第二視點圖像的所述部分的深度信息。使用通過對第一視點圖像的所述部分進行編碼而得到的信息來對第二視點圖像的所述部分進行編碼。
文檔編號H04N7/50GK102017627SQ200980114390
公開日2011年4月13日 申請日期2009年4月23日 優(yōu)先權(quán)日2008年4月25日
發(fā)明者尹鵬, 普爾溫·比貝哈斯·潘迪特, 田冬 申請人:湯姆森許可貿(mào)易公司