專利名稱：虛擬基準(zhǔn)視圖的制作方法
技術(shù)領(lǐng)域：
描述了涉及編碼系統(tǒng)的實現(xiàn)方式。各種具體實現(xiàn)方式涉及虛擬基準(zhǔn)視圖。
背景技術(shù)：
已廣泛認(rèn)識到，多視圖視頻編碼是服務(wù)于各種應(yīng)用的關(guān)鍵技術(shù)，這些應(yīng)用包括 自由視點的和三維的(3D)視頻應(yīng)用、家庭娛樂和監(jiān)視。另外，深度數(shù)據(jù)可以與每個視圖 相關(guān)聯(lián)。深度數(shù)據(jù)對于視圖合成一般是實質(zhì)性的。在那些多視圖應(yīng)用中，所涉及的視頻 和深度數(shù)據(jù)的量通常是巨大的。因此，存在至少對如下框架的需求該框架幫助提高了 執(zhí)行獨立視圖的聯(lián)播(simulcast)的當(dāng)前視頻編碼方案的編碼效率。多視圖視頻源包括同一場景的多個視圖。結(jié)果，多視像之間通常存在高相 關(guān)程度。因此，除了時間冗余之外還可以采用視圖冗余。例如可以通過跨過不同的視圖 執(zhí)行視圖預(yù)測來采用視圖冗余。在一種實際情形中，多視圖視頻系統(tǒng)將利用稀疏布置的相機(jī)來捕獲場景。然 后可以通過視圖合成/內(nèi)插利用可用的深度數(shù)據(jù)和捕獲的視圖來生成這些相機(jī)之間的視 圖。另外，一些視圖可以只是攜帶深度信息，然后在解碼器處被利用相關(guān)聯(lián)的深度數(shù)據(jù) 進(jìn)行合成。也可以利用深度數(shù)據(jù)生成中間虛擬視圖。在這樣的稀疏系統(tǒng)中，捕獲的視圖 之間的相關(guān)性可能不是很大并且跨視圖的預(yù)測可能是非常有限的。

發(fā)明內(nèi)容
根據(jù)一個一般方面，針對對應(yīng)于第一視圖位置的第一視像訪問編碼后視頻 信息。訪問從不同于第一視圖位置的虛擬視圖位置描繪第一視像的基準(zhǔn)圖像。基準(zhǔn) 圖像基于第一視圖位置和第二視圖位置之間的位置的合成圖像。針對對應(yīng)于第二視圖位 置的第二視像訪問編碼后視頻信息，其中第二視像已被基于基準(zhǔn)圖像而編碼。 利用第二視像和基準(zhǔn)圖像的編碼后視頻信息對第二視像解碼，以產(chǎn)生解碼后的 第二視像。根據(jù)另一個一般方面，訪問對應(yīng)于第一視圖位置的第一視像。針對不同于 第一視圖位置的虛擬視圖位置，基于第一視像合成虛擬圖像。對與第二視圖位置相 對應(yīng)的第二視像進(jìn)行編碼。該編碼使用基于虛擬圖像的基準(zhǔn)圖像。第二視圖位置不 同于虛擬視圖位置。該編碼產(chǎn)生了編碼后的第二視像。在附圖和下面的描述中給出了一個或多個實現(xiàn)方式的細(xì)節(jié)。即使以一種具體方 式來描述，也應(yīng)當(dāng)清楚，可以按各種方式來配置或體現(xiàn)實現(xiàn)方式。例如，一種方式可以作為方法而 執(zhí)行，或者體現(xiàn)為設(shè)備(例如，被配置為執(zhí)行一組操作的設(shè)備或者存儲用于 執(zhí)行一組操作的指令的設(shè)備)，或者用信號來體現(xiàn)。其他方面和特征將從以下結(jié)合附圖和 權(quán)利要求而考慮的詳細(xì)描述中變得清楚。


圖1是用于與深度信息一起發(fā)送和接收多視圖視頻的系統(tǒng)的實現(xiàn)方式的示圖。圖2是用于從深度為(K = 3)的3個輸入視圖生成9個輸出視圖(N = 9)的框 架的實現(xiàn)方式的示圖。圖3是編碼器的實現(xiàn)方式的示圖。圖4是解碼器的實現(xiàn)方式的示圖。圖5是視頻發(fā)送器的實現(xiàn)方式的框圖。圖6是視頻接收器的實現(xiàn)方式的框圖。圖7A是編碼過程的實現(xiàn)方式的示圖。圖7B是解碼過程的實現(xiàn)方式的示圖。圖8A是編碼過程的實現(xiàn)方式的示圖。圖8B是解碼過程的實現(xiàn)方式的示圖。圖9是深度圖(depth map)的示例。圖IOA是未進(jìn)行孔洞填充的變形后圖片的示例。圖IOB是進(jìn)行了孔洞填充的圖IOA的變形后圖片的示例。圖11是編碼過程的實現(xiàn)方式的示圖。圖12是解碼過程的實現(xiàn)方式的示圖。圖13是連續(xù)虛擬視圖生成器的實現(xiàn)方式的示圖。圖14是編碼過程的實現(xiàn)方式的示圖。圖15是解碼過程的實現(xiàn)方式的示圖。
具體實施例方式在至少一種實現(xiàn)方式中，提出了一種框架來使用虛擬視圖作為基準(zhǔn)。在至少一 種實現(xiàn)方式中，提出了使用如下虛擬視圖該虛擬視圖不與將被預(yù)測為附加基準(zhǔn)的視圖 并置。在另一種實現(xiàn)方式中，還提出了連續(xù)對虛擬基準(zhǔn)視圖進(jìn)行精煉，直到滿足某一個 質(zhì)量與復(fù)雜性的折衷為止。然后可以包括若干虛擬生成的視圖作為附加基準(zhǔn)，并且可以 用高級別來表明它們在基準(zhǔn)列表中的位置。因此，至少一些實現(xiàn)方式所解決的至少一個問題是利用虛擬視圖作為附加基準(zhǔn) 對多視圖視頻序列的高效編碼。多視圖視頻序列是兩個或更多個視頻序列的集合，這兩 個或更多個視頻序列從不同的視點捕獲了同一場景。自由視點電視(FTV)是一種新的框架，該框架包括多視圖視頻和深度信息的編 碼后表示，并且將高質(zhì)量的中間視圖的生成定位在接收器處。這為自動立體顯示器使能 了自由視點功能和視圖生成。圖1示出了根據(jù)本發(fā)明原理的實施例的用于與深度信息一起發(fā)送和接收多視圖 視頻的示例性系統(tǒng)100，本發(fā)明的原理可應(yīng)用于該系統(tǒng)。在圖1中，視頻數(shù)據(jù)用實線表示，深度數(shù)據(jù)用短劃線表示，元數(shù)據(jù)用點線表示。系統(tǒng)100例如可以是但不限于自由視 點電視系統(tǒng)。在發(fā)送器側(cè)110，系統(tǒng)100包括三維(3D)內(nèi)容產(chǎn)生器120，其具有用于從 相應(yīng)的多個源接收視頻、深度和元數(shù)據(jù)中一個或多個的多個輸入端。這種源可以包括但 不限于立體相機(jī)111、深度相機(jī)112、多相機(jī)裝置113和二維/三維(2D/3D)轉(zhuǎn)換處114。 一個或多個網(wǎng)絡(luò)130可用于發(fā)送與多視圖視頻編碼(MVC)和數(shù)字視頻廣播(DVB)有關(guān) 的視頻、深度和元數(shù)據(jù)中的一個或多個。在接收器側(cè)140，基于深度圖像的繪制器150執(zhí)行基于深度圖像的繪制以將信號 投影到各種類型的顯示器?；谏疃葓D像的繪制器150能夠接收顯示配置信息和用戶偏 好?；谏疃葓D像的繪制器150的輸出可被提供給2D顯示器161、M視圖3D顯示器 162和/或頭部跟蹤的立體顯示器163中的一個或多個。 為了減少要發(fā)送的數(shù)據(jù)量，密集的相機(jī)陣列(VI、V2...V9)可被子采樣，并且僅 稀疏的相機(jī)集合實際上捕獲場景。圖2示出了根據(jù)本發(fā)明原理的實施例的用于從深度為 (K = 3)的3個輸入視圖生成9個輸出視圖(N = 9)的示例性框架200，本發(fā)明的原理可 應(yīng)用于該框架?？蚣?00包括自動立體3D顯示器210(其支持多個視圖的輸出)、第一 基于深度圖像的繪制器220、第二基于深度圖像的繪制器230和用于解碼后數(shù)據(jù)的緩沖器 240。解碼后數(shù)據(jù)是稱為多個視圖加深度(MVD)數(shù)據(jù)的表示。9個相機(jī)用Vl至V9表 示。三個輸入視圖的相應(yīng)深度圖用Dl、D5和D9表示。可以利用可用的深度圖(D1、 D5、D9)生成所捕獲的相機(jī)位置(例如Posl、Pos2、Pos3)之間的任何虛擬相機(jī)位置， 如圖2所示。在圖2中可以看到，捕獲數(shù)據(jù)的實際相機(jī)(VI、V5和V9)之間的基線可 能是很大的。結(jié)果，這些相機(jī)之間的相關(guān)性被顯著減小并且這些相機(jī)的編碼效率可能不 高，這是因為編碼效率僅依賴于時間相關(guān)性。在至少一個所描述的實現(xiàn)方式中，提議解決該問題，即提高具有大基線的相機(jī) 的編碼效率。解決方案不限于多視圖視圖編碼，而是可應(yīng)用于多視圖深度編碼。圖3示出根據(jù)本發(fā)明原理的實施例的示例性編碼器300，本發(fā)明的原理可應(yīng)用于 該編碼器。編碼器300包括組合器305，組合器305的輸出端以信號通信方式與變換器 310的輸入端相連。變換器310的輸出端以信號通信方式與量化器315的輸入端相連。 量化器315的輸出端以信號通信方式與熵編碼器320的輸入端和逆量化器325的輸入端相 連。逆量化器325的輸出端以信號通信方式與逆變換器330的輸入端相連。逆變換器 330的輸出端以信號通信方式與組合器335的第一同相輸入端相連。組合器335的輸出端 以信號通信方式與內(nèi)部預(yù)測器345的輸入端和解塊濾波器350的輸入端相連。解塊濾波 器350例如去除沿著宏塊邊界的偽像(artifact)。解塊濾波器350的第一輸出端以信號通 信方式與基準(zhǔn)圖片存儲庫355 (用于時間預(yù)測)的輸入端和基準(zhǔn)圖片存儲庫360 (用于視圖 間預(yù)測)的第一輸入端相連?；鶞?zhǔn)圖片存儲庫355的輸出端以信號通信方式與運(yùn)動補(bǔ)償 器375的第一輸入端和運(yùn)動估計器380的第一輸入端相連。運(yùn)動估計器380的輸出端以 信號通信方式與運(yùn)動補(bǔ)償器375的第二輸入端相連。基準(zhǔn)圖片存儲庫360的輸出端以信 號通信方式與差別估計器370的第一輸入端和差別補(bǔ)償器365的第一輸入端相連。差別 估計器370的輸出端以信號通信方式與差別補(bǔ)償器365的第二輸入端相連。解塊濾波器350的第二輸出端以信號通信方式與基準(zhǔn)圖片存儲庫371 (用于虛擬 圖片生成)的輸入端相連。基準(zhǔn)圖片存儲庫371的輸出端以信號通信方式與視圖合成器372的第一輸入端相連。虛擬基準(zhǔn)視圖控制器373的第一輸出端以信號通信方式與視圖合成器372的第二輸入端相連。熵解碼器320的輸出端、虛擬基準(zhǔn)視圖控制器373的第二輸出端、模式?jīng)Q定模塊 395的第一輸出端和視圖選擇器302的輸出端各自可作為編碼器300的各個輸出端，用于 輸出比特流。開關(guān)388的第一輸入端(用于視圖i的圖片數(shù)據(jù))、第二輸入端(用于視圖 j的圖片數(shù)據(jù))和第三輸入端(用于合成后視圖的圖片數(shù)據(jù))各自可作為編碼器的各個輸 入端。視圖合成器372的輸出端(用于提供合成后的視圖)以信號通信方式與基準(zhǔn)圖片 存儲庫360的第二輸入端和開關(guān)388的第三輸入端相連。視圖選擇器302的第二輸出端 確定哪個輸入(例如，視圖i、視圖j或合成后視圖的圖片數(shù)據(jù))被提供給開關(guān)388。開 關(guān)388的輸出端以信號通信方式與組合器305的同相輸入端、運(yùn)動補(bǔ)償器375的第三輸入 端、運(yùn)動估計器380的第二輸入端和差別估計器370的第二輸入端相連。內(nèi)部預(yù)測器345 的輸出端以信號通信方式與開關(guān)385的第一輸入端相連。差別補(bǔ)償器365的輸出端以信號 通信方式與開關(guān)385的第二輸入端相連。運(yùn)動補(bǔ)償器375的輸出端以信號通信方式與開 關(guān)385的第三輸入端相連。模式?jīng)Q定模塊395的輸出端確定哪個輸入被提供給開關(guān)385。 開關(guān)385的輸出端以信號通信方式與組合器335的第二同相輸入端和組合器305的反相輸 入端相連。圖3的一些部分也可被獨立地或總地稱為編碼器、編碼單元或訪問單元，例如 塊310、315和320。類似地，例如塊325、330、335和350可被獨立地或總地稱為解碼
器或解碼單元。圖4示出了根據(jù)本發(fā)明原理的實施例的示例性解碼器400，本發(fā)明的原理可應(yīng)用 于該解碼器。解碼器400包括熵解碼器405，熵解碼器405的輸出端以信號通信方式與逆 量化器410的輸入端相連。逆量化器的輸出端以信號通信方式與逆變換器415的輸入端相 連。逆變換器415的輸出端以信號通信方式與組合器420的第一同相輸入端相連。組合 器420的輸出端以信號通信方式與解塊濾波器425的輸入端和內(nèi)部預(yù)測器430的輸入端相 連。解塊濾波器425的輸出端以信號通信方式與基準(zhǔn)圖片存儲庫440 (用于時間預(yù)測)的 輸入端、基準(zhǔn)圖片存儲庫445 (用于視圖間預(yù)測)的第一輸入端和基準(zhǔn)圖片存儲庫472 (用 于虛擬圖片生成)的第一輸入端相連?；鶞?zhǔn)圖片存儲庫440的輸出端以信號通信方式與 運(yùn)動補(bǔ)償器435的第一輸入端相連?；鶞?zhǔn)圖片存儲庫445的輸出端以信號通信方式與差 別補(bǔ)償器450的第一輸入端相連。比特流接收器401的輸出端以信號通信方式與比特流解析器402的輸入端相連。 比特流解析器402的第一輸出端(用于提供殘余比特流)以信號通信方式與熵解碼器405 的輸入端相連。比特流解析器402的第二輸出端(用于提供控制哪個輸入被開關(guān)455選 擇的控制句法)以信號通信方式與模式選擇器422的輸入端相連。比特流解析器402的 第三輸出端(用于提供運(yùn)動向量)以信號通信方式與運(yùn)動補(bǔ)償器435的第二輸入端相連。 比特流解析器402的第四輸出端(用于提供差別向量和/或照明偏移)以信號通信方式與 差別補(bǔ)償器450的第二輸入端相連。比特流解析器402的第五輸出端(用于提供虛擬基 準(zhǔn)視圖控制信息)以信號通信方式與基準(zhǔn)圖片存儲庫472的第二輸入端和視圖合成器471 的第一輸入端相連?；鶞?zhǔn)圖片存儲庫472的輸出端以信號通信方式與視圖合成器的第二 輸入端相連。視圖合成器471的輸出端以信號通信方式與基準(zhǔn)圖片存儲庫445的第二輸入端相連。將會認(rèn)識到，照明偏移是可選的輸入，取決于實現(xiàn)方式，其可能被使用，也可能不被使用。開關(guān)455的輸出端以信號通信方式與組合器420的第二同相輸入端相連。開關(guān) 455的第一輸入端以信號通信方式與差別補(bǔ)償器450的輸出端相連。開關(guān)455的第二輸 入端以信號通信方式與運(yùn)動補(bǔ)償器435的輸出端相連。開關(guān)455的第三輸入端以信號通 信方式與內(nèi)部預(yù)測器430的輸出端相連。模式模塊422的輸出端以信號通信方式與開關(guān) 455相連，用于控制哪個輸入被開關(guān)455選擇。解塊濾波器425的輸出可作為解碼器的輸 出ο圖4的一些部分也可被獨立地或總地稱為訪問單元，例如比特流解析器402和任 何其他提供對特定的數(shù)據(jù)或信息的訪問的塊。類似地，例如塊405、410、415、420和 425可被獨立地或總地稱為解碼器或解碼單元。圖5示出了根據(jù)本發(fā)明原理的實現(xiàn)方式的視頻發(fā)送系統(tǒng)500，本發(fā)明的原理可應(yīng) 用于該系統(tǒng)。視頻發(fā)送系統(tǒng)500例如可以是利用各種媒介(例如衛(wèi)星、電纜、電話線或 陸上廣播)中的任意媒介來發(fā)送信號的頭端或發(fā)送系統(tǒng)?？梢酝ㄟ^因特網(wǎng)或某種其他網(wǎng) 絡(luò)來提供發(fā)送。視頻發(fā)送系統(tǒng)500能夠生成并傳遞包括虛擬基準(zhǔn)視圖的視頻內(nèi)容。這是通過生 成(一個或多個)編碼后信號實現(xiàn)的，這(一個或多個)編碼后信號包括一個或多個虛擬 基準(zhǔn)視圖或者能夠用于在例如可以具有解碼器的接收器端合成一個或多個虛擬基準(zhǔn)視圖 的信息。視頻發(fā)送系統(tǒng)500包括編碼器510和能夠發(fā)送編碼后信號的發(fā)送器520。編碼器 510接收視頻信息，基于視頻信息合成一個或多個虛擬基準(zhǔn)視圖，并且從其生成(一個或 多個)編碼后信號。編碼器510例如可以是上面詳細(xì)描述的編碼器300。發(fā)送器520例如可適用于發(fā)送具有一個或多個比特流的節(jié)目信號，這一個或多 個比特流代表編碼后圖片和/或與其有關(guān)的信息。典型的發(fā)送器執(zhí)行諸如以下各項中的 一項或多項之類的功能提供糾錯編碼，對信號中的數(shù)據(jù)進(jìn)行交織，對信號中的能量進(jìn) 行隨機(jī)化，以及將信號調(diào)制到一個或多個載體上。發(fā)送器可以包括天線(未示出)或者 與天線相接口。因此，發(fā)送器520的實現(xiàn)方式可以包括或者限于調(diào)制器。圖6示出了視頻接收系統(tǒng)600的實現(xiàn)方式的示圖。視頻接收系統(tǒng)600可以被配 置為通過各種媒介(例如衛(wèi)星、電纜、電話線或陸上廣播)接收信號。可以通過因特網(wǎng) 或某種其他網(wǎng)絡(luò)來接收信號。視頻接收系統(tǒng)600例如可以是蜂窩電話、計算機(jī)、機(jī)頂盒、電視或者其他接收 編碼后視頻并且例如為了向用于顯示或者為了存儲而提供解碼后視頻的設(shè)備。因此，視 頻接收系統(tǒng)600可將其輸出提供給例如電視屏幕、計算機(jī)監(jiān)視器、計算機(jī)(為了存儲、處 理或顯示)或者某種其他存儲、處理或顯示設(shè)備。視頻接收系統(tǒng)600能夠接收并處理包括視頻信息的視頻內(nèi)容。此外，視頻接收 系統(tǒng)600能夠合成和/或以其他方式再現(xiàn)一個或多個虛擬基準(zhǔn)視圖。這是通過接收(一 個或多個)編碼后信號實現(xiàn)的，這(一個或多個)編碼后信號包括視頻信息和一個或多個 基準(zhǔn)視圖或者能夠用來合成一個或多個虛擬基準(zhǔn)視圖的信息。視頻接收系統(tǒng)600包括能夠接收編碼后信號(例如在本申請的實現(xiàn)方式中描述的信號)的接收 器610和能夠?qū)邮盏降男盘栠M(jìn)行解碼的解碼器620。接收器610例如可適用于接收具有多個比特流的節(jié)目信號，這些比特流代表編 碼后圖片。典型的接收器執(zhí)行諸如以下各項中的一項或多項之類的功能接收經(jīng)過調(diào)制 和編碼的數(shù)據(jù)信號，對來自一個或多個載體的數(shù)據(jù)信號進(jìn)行解調(diào)，對信號中的能量解除 隨機(jī)化，對信號中的數(shù)據(jù)解除交織，以及對信號進(jìn)行糾錯解碼。接收器610可以包括天 線(未示出)或者與天線相接口。接收器610的實現(xiàn)方式可以包括或者限于解調(diào)器。解碼器620輸出包括視頻信息和深度信息的視頻信號。解碼器620例如可以是 在上面詳細(xì)描述的解碼器400。圖7A示出了根據(jù)本發(fā)明原理的實施例的用于對虛擬基準(zhǔn)視圖進(jìn)行編碼的方法 700的流程圖。在步驟705，訪問從第一視圖位置處的設(shè)備取得的第一視像。在步 驟710，對第一視像編碼。在步驟715，訪問從第二視圖位置處的設(shè)備取得的第二視 像。在步驟720，基于重構(gòu)的第一視像合成虛擬圖像。虛擬圖像估計如果從不 同于第一視圖位置的虛擬視圖位置處的設(shè)備取得圖像則該圖像看起來將是什么樣子。在 步驟725，對虛擬圖像編碼。在步驟730，以重構(gòu)的虛擬圖像作為重構(gòu)的第一視像的 附加基準(zhǔn)，對第二視像編碼。第二視圖位置不同于虛擬視圖位置。在步驟735，發(fā) 送經(jīng)編碼的第一視像、經(jīng)編碼的虛擬視像和經(jīng)編碼的第二視像。在方法700的一種實現(xiàn)方式中，用來合成虛擬圖像的第一視像是第一視圖 圖像的重構(gòu)版本，并且基準(zhǔn)圖像是虛擬圖像。在圖7A的一般過程的其他實現(xiàn)方式以及本申請中描述的其他過程(例如包括圖 7B、8A和8B的過程)中，虛擬圖像(或者重構(gòu)物)可以是在對第二視像編碼時使 用的僅有的基準(zhǔn)圖像。另外，實現(xiàn)方式可以允許虛擬圖像作為輸出在解碼器處顯示。許多實現(xiàn)方式編碼并發(fā)送虛擬視像。在這樣的實現(xiàn)方式中，可以在由假定 基準(zhǔn)解碼器(HRD)(例如包括在編碼器或者獨立的HRD檢查器中的HRD)執(zhí)行的驗證中 考慮該發(fā)送和在該發(fā)送中使用的比特。在當(dāng)前的多視圖編碼(MVC)標(biāo)準(zhǔn)中，為每個視 圖分開執(zhí)行HRD校驗。如果第二視圖是從第一視圖預(yù)測的，則在發(fā)送第一視圖時使用 的速率在為第二視圖進(jìn)行編碼后圖片緩沖器(CPB)的HRD檢查(驗證)時被計算。這 說明了如下事實為了對第二視圖解碼，第一視圖被緩沖。各種實現(xiàn)方式使用與剛剛針 對MVC所描述的理論相同的理論。在這樣的實現(xiàn)方式中，如果所發(fā)送的虛擬視圖基準(zhǔn) 圖像是第一視圖和第二視圖之間的，則用于虛擬視圖的HRD模型參數(shù)被插入到序列參數(shù) 集(SPS)中，就好像它是真實視圖一樣。另外，當(dāng)為第二視圖檢查CPB的HRD—致性 (驗證)時，按照用于說明對虛擬視圖的緩沖的公式來計算用于虛擬視圖的速率。圖7B示出了根據(jù)本發(fā)明原理的實施例的用于對虛擬基準(zhǔn)視圖進(jìn)行解碼的方法 750的流程圖。在步驟755，接收信號，該信號包括從第一視圖位置處的設(shè)備取得的第一 視像、僅用作基準(zhǔn)的虛擬圖像(不存在諸如顯示虛擬圖像之類的輸出)和從第二視圖 位置處的設(shè)備取得的第二視像的編碼后視頻信息。在步驟760，對第一視像解 碼。在步驟765，對虛擬視像解碼。在步驟770，對第二視像和用作解碼后的 第一視像的附加基準(zhǔn)的解碼后虛擬視像進(jìn)行解碼。圖8A示出了根據(jù)本發(fā)明原理的實施例的用于對虛擬基準(zhǔn)圖像進(jìn)行編碼的方法 800的流程圖。在步驟805，訪問從第一視圖位置處的設(shè)備取得的第一視像。在步驟810，對第一視像編碼。在步驟815，訪問從第二視圖位置處的設(shè)備取得的第二視 像。在步驟820，基于重構(gòu)的第一視像合成虛擬圖像。虛擬圖像估計如果從不 同于第一視圖位置的虛擬視圖位置處的設(shè)備取得圖像則該圖像看起來將是什么樣子。在 步驟825，利用所生成的虛擬圖像作為重構(gòu)的第一視像的附加基準(zhǔn)，對第二視像 編碼。第二視圖位置不同于虛擬視圖位置。在步驟830，生成控制信息，該控制信息表 明多個視圖中的哪個視圖被用作基準(zhǔn)圖像。在這樣的情況中，基準(zhǔn)圖像例如可以是以下 各項之一(1)在第一視圖位置和第二視圖位置之間的半程處的合成視圖； (2)與正被編碼的當(dāng)前視圖相同位置的合成視圖，該合成視圖是通過以下方式遞 增地合成的開始的時候在半程點處生成視圖的合成，然后利用其結(jié)果來合成在正被編 碼的當(dāng)前視圖位置處的另一視圖；(3)非合成視像；(4)虛擬圖像；以及(5)從虛擬圖像合成的另一分離的合成圖像，基準(zhǔn)圖像在第一視像和第二視 像之間的位置處或者在第二視像的位置處。在步驟835，發(fā)送編碼后的第一視像、編碼后的第二視像和編碼后的控 制信息。圖8A的過程以及本申請中描述的各種其他過程還可以包括編碼器處的解碼步 驟。例如，編碼器可以利用合成的虛擬圖像對編碼后的第二視像進(jìn)行解碼。這預(yù)期 產(chǎn)生重構(gòu)的第二視像，該重構(gòu)的第二視像與解碼器將產(chǎn)生的內(nèi)容相匹配。使用 重構(gòu)物作為基準(zhǔn)圖像，編碼器然后可以利用重構(gòu)物對隨后的圖像進(jìn)行編碼。這樣，編碼 器使用第二視像的重構(gòu)物對隨后的圖像進(jìn)行編碼，并且解碼器將同樣使用重構(gòu)物對 隨后的圖像進(jìn)行解碼。結(jié)果，編碼器可以例如使其速率失真優(yōu)化和對編碼模式的選擇基 于解碼器預(yù)期將產(chǎn)生的同一最終輸出(隨后的圖像的重構(gòu)物)。該解碼步驟例如可以在操 作825之后的任一點處執(zhí)行。圖8B示出了根據(jù)本發(fā)明原理的實施例的用于對虛擬基準(zhǔn)圖像進(jìn)行解碼的方法 800的流程圖。在步驟855，接收信號。該信號包括從第一視圖位置處的設(shè)備取得的第 一視像的編碼后視頻信息、從第二視圖位置處的設(shè)備取得的第二視像和如何生 成僅用作基準(zhǔn)的虛擬圖像(無輸出)的控制信息。在步驟860，對第一視像解碼。 在步驟865，利用控制信息生成/合成虛擬視像。在步驟870，使用生成的/合成的 虛擬視像作為解碼后的第一視像的附加基準(zhǔn)，對第二視像解碼。實施例1 可以利用3D變形(warping)技術(shù)從已有的視圖生成虛擬視圖。為了獲得虛擬視 圖，使用關(guān)于相機(jī)內(nèi)部和外部參數(shù)的信息。內(nèi)部參數(shù)例如可以包括但不限于焦距、縮放 和其他內(nèi)部特性。外部參數(shù)例如可以包括但不限于位置(平移(translation))、定向(平 搖、傾斜、旋轉(zhuǎn))和其他外部特性。另外，還使用場景的深度圖。圖9示出了根據(jù)本發(fā) 明原理的實施例的示例性深度圖900，本發(fā)明的原理可應(yīng)用于該深度圖。具體地，深度圖 900是用于視圖0的。用于3D變形的透視投影矩陣可被如下表示
PM = A[R|t] (1)其中，A、R和t分別表示內(nèi)部矩陣、旋轉(zhuǎn)矩陣和平移向量，并且這些值被稱為 相機(jī)參數(shù)。可以利用投影方程將像素位置從圖像坐標(biāo)投影到3D世界坐標(biāo)。式(2)是投 影方程，其包括深度數(shù)據(jù)和式(1)。式(2)可被變換成式(3)。Pref{x,y,\)-D = A[R\t]-Pwc{x,y,z,\)(2)Pwc (χ, y，ζ) = R1 · A-1 · Pref(χ，y，1) · D-R1 · t (3)其中，D表示深度數(shù)據(jù)，P表示基準(zhǔn)圖像坐標(biāo)系中的齊次坐標(biāo)或3D世界坐標(biāo)上 的像素位置，并且P表示3D世界坐標(biāo)系中的齊次坐標(biāo)。在投影之后，3D世界坐標(biāo)形式 的像素位置通過式(4)而被映射到希望的目標(biāo)圖像中的位置，式(4)是式(1)的逆形式。Ptarget (x, y，1) = A · R · (Pwc (x，y，ζ)+R1 · t) (4)于是，可以相對于基準(zhǔn)圖像中的像素位置得到目標(biāo)圖像中的正確像素位置。此 后，將像素值從基準(zhǔn)圖像上的像素位置拷貝到目標(biāo)圖像上的投影像素位置。為了合成虛擬視圖，可以使用基準(zhǔn)視圖和虛擬視圖的相機(jī)參數(shù)。然而，不一定 用信號通知虛擬圖像的相機(jī)參數(shù)的完整集合。如果虛擬視圖僅僅是水平面中的移位(例 如見圖2的從視圖1到視圖2的示例)，則只有平移向量需要被更新并且其余參數(shù)保持不 變。在諸如參考圖3和4所示出并描述的裝置300和裝置400之類的裝置中，一種編 碼結(jié)構(gòu)將是視圖5使用視圖1作為預(yù)測環(huán)路中的基準(zhǔn)。然而，如上面所提及的，由于 他們之間的很大基線距離，相關(guān)性將是有限的，并且視圖5使用視圖1作為基準(zhǔn)的概率將 是非常低的?？梢詫⒁晥D1變形到視圖5的相機(jī)位置，然后使用該虛擬生成的圖片作為附加基 準(zhǔn)。然而，由于很大的基線，虛擬視圖將具有許多可能并不瑣碎到足以填充的孔洞或者 更大的孔洞。即使在孔洞填充之后，最終圖像也可能不具有用作基準(zhǔn)的可接受的質(zhì)量。 圖IOA示出了未進(jìn)行孔洞填充的示例性變形后圖片1000。圖IOB示出了進(jìn)行了孔洞填充 的圖IOA的示例性變形后圖片1050。從圖IOA可以看到，在跳霹靂舞者的左邊和幀的右 側(cè)存在若干孔洞。這些孔洞然后被利用像修補(bǔ)之類的孔洞填充算法而被填充，并且結(jié)果 可在圖IOB中看到。為了解決大基線問題，作出如下提議不是直接將視圖1變形到視圖5的相機(jī) 位置，而是變形到作為視圖1和視圖5之間的某處的位置，例如這兩個相機(jī)之間的中點。 該位置離視圖1比離視圖5近，并且將潛在地具有更少的和更小的孔洞。與具有大基線 的較大孔洞相比，這些更小的/更少的孔洞更易于管理。實際上，可以生成這兩個相機(jī) 之間的任意位置而不是直接生成與視圖5相對應(yīng)的位置。事實上，可以生成多個虛擬相 機(jī)位置作為附加基準(zhǔn)。在線性和 并列相機(jī)布置的情況中，通常只需要用信號通知與所生成的虛擬位置 相對應(yīng)的平移向量，這是因為所有其他信息應(yīng)當(dāng)是已經(jīng)可得的。為了支持一個或多個附 加變形后基準(zhǔn)的生成，提議在例如切片頭部(sliceheader)中增加句法。所提議的切片頭 部句法的一個實施例在表1中示出。所提議的虛擬視圖信息句法的一個實施例在表2中 示出。如表1中的邏輯(用斜體示出)所表明的，表2中給出的句法僅在表1中指定的條件得到滿足時才存在。這些條件是當(dāng)前切片是EP或EB切片；并且簡檔是多視圖視 頻簡檔。注意，表2包括P、EP、B和EB切片的“10”信息，并且還包括B和EB切 片的“U”信息。通過使用適當(dāng)?shù)幕鶞?zhǔn)列表排序句法，可以創(chuàng)建多個變形后基準(zhǔn)。例 如，第一基準(zhǔn)圖片可以是原來的基準(zhǔn)，第二基準(zhǔn)圖片可以是在該基準(zhǔn)和當(dāng)前視圖之間的 點處的變形后基準(zhǔn)，并且第三基準(zhǔn)圖片可以是在當(dāng)前視圖位置處的變形后基準(zhǔn)。表 權(quán)利要求
1.一種方法，包括訪問第一視像的編碼后視頻信息，所述第一視像對應(yīng)于第一視圖位置； 訪問從不同于所述第一視圖位置的虛擬視圖位置描繪所述第一視像的基準(zhǔn)圖 像，其中該基準(zhǔn)圖像基于所述第一視圖位置和所述第二視圖位置之間的位置的合成圖 像；訪問第二視像的編碼后視頻信息，所述第二視像對應(yīng)于第二視圖位置，所 述第二視像已被基于所述基準(zhǔn)圖像編碼；以及 利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第二視像解 碼，以產(chǎn)生解碼后的第二視像。
2.如權(quán)利要求1所述的方法，還包括合成所述基準(zhǔn)圖像。
3.如權(quán)利要求1所述的方法，還包括編碼并發(fā)送所述基準(zhǔn)圖像。
4.如權(quán)利要求1所述的方法，還包括接收所述基準(zhǔn)圖像。
5.如權(quán)利要求1所述的方法，其中，所述基準(zhǔn)圖像是原來的基準(zhǔn)圖像的重構(gòu)。
6.如權(quán)利要求1所述的方法，還包括接收表明多個視圖中的哪個視圖對應(yīng)于所述 基準(zhǔn)圖像的虛擬視圖位置的控制信息。
7.如權(quán)利要求6所述的方法，還包括接收所述第一視像和所述第二視像。
8.如權(quán)利要求1所述的方法，還包括發(fā)送所述第一視像和所述第二視像。
9.如權(quán)利要求1所述的方法，其中，所述第一視像包括原來的第一視像的重 構(gòu)版本。
10.如權(quán)利要求1所述的方法，其中，所述基準(zhǔn)圖像是從所述第一視像合成的虛 擬圖像。
11.如權(quán)利要求1所述的方法，其中，所述基準(zhǔn)圖像是所述合成圖像。
12.如權(quán)利要求1所述的方法，其中，所述基準(zhǔn)圖像是從所述合成圖像合成的另一分 離的合成圖像，并且所述基準(zhǔn)圖像在所述第一視像和所述第二視像之間的位置 處或者在所述第二視像的位置處。
13.如權(quán)利要求1所述的方法，其中，所述基準(zhǔn)圖像是通過以下方式遞增地合成的 開始的時候在所述第一視圖位置和所述第二視圖位置之間的位置處生成所述第一視 像的合成，然后利用其結(jié)果來合成與所述第二視圖位置更近的另一圖像。
14.如權(quán)利要求1所述的方法，還包括使用所述解碼后的第二視像在編碼器處 對隨后的圖像編碼。
15.如權(quán)利要求1所述的方法，還包括使用所述解碼后的第二視像在解碼器處 對隨后的圖像解碼。
16.—種設(shè)備，包括用于訪問第一視像的編碼后視頻信息的裝置，所述第一視像對應(yīng)于第一視 圖位置；用于訪問從不同于所述第一視圖位置的虛擬視圖位置描繪所述第一視像的基準(zhǔn) 圖像的裝置，其中該基準(zhǔn)圖像基于所述第一視圖位置和第二視圖位置之間的位置的合成圖像；用于訪問第二視像的編碼后視頻信息的裝置，所述第二視像對應(yīng)于第二視 圖位置，所述第二視像已被基于所述基準(zhǔn)圖像編碼；以及用于利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第二視像 解碼，以產(chǎn)生解碼后的第二視像的裝置。
17.如權(quán)利要求16所述的設(shè)備，其中，所述設(shè)備被實現(xiàn)在視頻編碼器和視頻解碼器中 的至少一者中。
18.—種處理器可讀介質(zhì)，其上存儲了用于使得處理器執(zhí)行至少以下操作的指令 訪問第一視像的編碼后視頻信息，所述第一視像對應(yīng)于第一視圖位置； 訪問從不同于所述第一視圖位置的虛擬視圖位置描繪所述第一視像的基準(zhǔn)圖像，其中該基準(zhǔn)圖像基于所述第一視圖位置和第二視圖位置之間的位置的合成圖像；訪問第二視像的編碼后視頻信息，所述第二視像對應(yīng)于第二視圖位置，所 述第二視像已被基于所述基準(zhǔn)圖像編碼；以及利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第二視像解 碼，以產(chǎn)生解碼后的第二視像。
19.一種裝置，包括被配置為執(zhí)行至少以下操作的處理器訪問第一視像的編碼后視頻信息，所述第一視像對應(yīng)于第一視圖位置； 訪問從不同于所述第一視圖位置的虛擬視圖位置描繪所述第一視像的基準(zhǔn)圖 像，其中該基準(zhǔn)圖像基于所述第一視圖位置和第二視圖位置之間的位置的合成圖像；訪問第二視像的編碼后視頻信息，所述第二視像對應(yīng)于第二視圖位置，所 述第二視像已被基于所述基準(zhǔn)圖像編碼；以及利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第二視像解 碼，以產(chǎn)生解碼后的第二視像。
20.—種裝置，包括訪問單元，用于(1)訪問第一視像的編碼后視頻信息，所述第一視像對 應(yīng)于第一視圖位置，以及(2)訪問第二視像的編碼后視頻信息，所述第二視像 對應(yīng)于第二視圖位置，所述第二視像已被基于基準(zhǔn)圖像而編碼；存儲設(shè)備，用于訪問所述基準(zhǔn)圖像，所述基準(zhǔn)圖像從不同于所述第一視圖位置的虛 擬視圖位置描繪所述第一視像，其中所述基準(zhǔn)圖像基于所述第一視圖位置和所述第 二視圖位置之間的位置的合成圖像；以及解碼單元，用于利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第 二視像解碼，以產(chǎn)生解碼后的第二視像。
21.如權(quán)利要求20所述的裝置，其中，所述訪問單元包括編碼單元和比特流解析器。
22.—種被格式化成包括信息的視頻信號，該視頻信號包括第一視圖部分，包括第一視像的編碼后視頻信息，所述第一視像對應(yīng)于第 一視圖位置；第二視圖部分，包括第二視像的編碼后視頻信息，所述第二視像對應(yīng)于第 二視圖位置，所述第二視像已被基于基準(zhǔn)圖像編碼；以及基準(zhǔn)部分，包括表示出所述基準(zhǔn)圖像的編碼后信息，所述基準(zhǔn)圖像從不同于所述第一視圖位置的虛擬視圖位置描繪所述第一視像，其中所述基準(zhǔn)圖像基于所述第一視 圖位置和所述第二視圖位置之間的位置的合成圖像。
23.如權(quán)利要求22所述的視頻信號，其中，表示出所述基準(zhǔn)圖像的編碼后信息包括控 制信息，該控制信息表示出在合成所述基準(zhǔn)圖像時解碼器使用的基準(zhǔn)圖像的虛擬視圖位置。
24.如權(quán)利要求22所述的視頻信號，其中，表示出所述基準(zhǔn)圖像的編碼后信息包括所 述基準(zhǔn)圖像的編碼。
25.—種視頻信號結(jié)構(gòu)，包括第一視圖部分，針對第一視像的編碼后視頻信息，所述第一視像對應(yīng)于第 一視圖位置；第二視圖部分，針對第二視像的編碼后視頻信息，所述第二視像對應(yīng)于第 二視圖位置，所述第二視像已被基于基準(zhǔn)圖像編碼；以及針對指示出所述基準(zhǔn)圖像的編碼后信息的基準(zhǔn)部分，所述基準(zhǔn)圖像從不同于所述第 一視圖位置的虛擬視圖位置描繪所述第一視像，其中所述基準(zhǔn)圖像基于所述第一視 圖位置和所述第二視圖位置之間的位置的合成圖像。
26.如權(quán)利要求25所述的視頻信號結(jié)構(gòu)，其中，所述基準(zhǔn)部分針對指示出所述基準(zhǔn)圖 像的視圖位置的編碼后信息。
27.—種處理器可讀介質(zhì)，其上存儲了視頻信號結(jié)構(gòu)，包括第一視圖部分，包括第一視像的編碼后視頻信息，所述第一視像對應(yīng)于第 一視圖位置；第二視圖部分，包括第二視像的編碼后視頻信息，所述第二視像對應(yīng)于第 二視圖位置，所述第二視像已被基于基準(zhǔn)圖像而編碼；以及基準(zhǔn)部分，包括表示出所述基準(zhǔn)圖像的編碼后信息，所述基準(zhǔn)圖像從不同于所述第 一視圖位置的虛擬視圖位置描繪所述第一視像，其中所述基準(zhǔn)圖像基于所述第一視 圖位置和所述第二視圖位置之間的位置的合成圖像。
28.—種裝置，包括訪問單元，用于(1)訪問第一視像的編碼后視頻信息，所述第一視像對 應(yīng)于第一視圖位置，以及(2)訪問第二視像的編碼后視頻信息，所述第二視像 對應(yīng)于第二視圖位置，所述第二視像已被基于基準(zhǔn)圖像編碼；存儲設(shè)備，用于訪問所述基準(zhǔn)圖像，所述基準(zhǔn)圖像從不同于所述第一視圖位置的虛 擬視圖位置描繪所述第一視像，其中所述基準(zhǔn)圖像基于所述第一視圖位置和所述第 二視圖位置之間的位置的合成圖像；解碼單元，用于利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第 二視像解碼，以產(chǎn)生解碼后的第二視像；以及調(diào)制器，用于調(diào)制包括所述第一視像和所述第二視像的信號。
29.—種裝置，包括解調(diào)器，用于接收并解調(diào)信號，該信號包括第一視像的編碼后視頻信息和第二 視像的編碼后視頻信息，所述第一視像對應(yīng)于第一視圖位置，所述第二視 像對應(yīng)于第二視圖位置，所述第二視像已被基于基準(zhǔn)圖像編碼；訪問單元，用于訪問所述第一視像的編碼后視頻信息和所述第二視像的編 碼后視頻信息；存儲設(shè)備，用于訪問所述基準(zhǔn)圖像，所述基準(zhǔn)圖像從不同于所述第一視圖位置的虛 擬視圖位置描繪所述第一視像，其中所述基準(zhǔn)圖像基于所述第一視圖位置和所述第 二視圖位置之間的位置的合成圖像；以及解碼單元，用于利用所述第二視像和所述基準(zhǔn)圖像的編碼后視頻信息對所述第 二視像解碼，以產(chǎn)生解碼后的第二視像。
30.如權(quán)利要求29所述的裝置，還包括用于合成所述基準(zhǔn)圖像的視圖合成器。
31.—種方法，包括訪問對應(yīng)于第一視圖位置的第一視像；針對不同于所述第一視圖位置的虛擬視圖位置，基于所述第一視像來合成虛擬 圖像；以及對對應(yīng)于第二視圖位置的第二視像編碼，該編碼使用基于所述虛擬圖像的基準(zhǔn) 圖像，并且所述第二視圖位置不同于所述虛擬視圖位置，所述編碼產(chǎn)生了編碼后的第二 視像。
32.如權(quán)利要求31所述的方法，其中，所述基準(zhǔn)圖像是所述虛擬圖像。
33.—種設(shè)備，包括用于訪問對應(yīng)于第一視圖位置的第一視像的裝置；用于針對不同于所述第一視圖位置的虛擬視圖位置，基于所述第一視像來合成 虛擬圖像的裝置；以及用于對對應(yīng)于第二視圖位置的第二視像編碼的裝置，該編碼使用基于所述虛擬 圖像的基準(zhǔn)圖像，并且所述第二視圖位置不同于所述虛擬視圖位置，所述編碼產(chǎn)生了編 碼后的第二視像。
34.—種裝置，包括編碼單元，用于訪問對應(yīng)于第一視圖位置的第一視像，并且用于對對應(yīng)于第二 視圖位置的第二視像編碼，所述編碼使用基于虛擬圖像的基準(zhǔn)圖像，并且所述第二 視圖位置不同于所述虛擬視圖位置，所述編碼產(chǎn)生了編碼后的第二視像；以及視圖合成器，用于基于所述第一視像來合成所述虛擬圖像，其中所述虛擬圖像 針對的是不同于所述第一視圖位置和所述第二視圖位置的虛擬視圖位置。
35.—種裝置，包括編碼單元，用于訪問對應(yīng)于第一視圖位置的第一視像，并且用于對對應(yīng)于第二 視圖位置的第二視像編碼，所述編碼使用基于虛擬圖像的基準(zhǔn)圖像，并且所述第二 視圖位置不同于所述虛擬視圖位置，所述編碼產(chǎn)生了編碼后的第二視像；視圖合成器，用于基于所述第一視像來合成所述虛擬圖像，其中所述虛擬圖像 針對的是不同于所述第一視圖位置和所述第二視圖位置的虛擬視圖位置；以及調(diào)制器，用于調(diào)制包括所述編碼后的第二視像的信號。
全文摘要
描述了各種實現(xiàn)方式。若干實現(xiàn)方式涉及虛擬基準(zhǔn)視圖。根據(jù)一個方面，針對第一視像來訪問編碼后信息。訪問從不同于第一視圖的虛擬視圖位置描繪第一視像的基準(zhǔn)圖像?；鶞?zhǔn)圖像基于第一視圖和第二視圖之間位置的合成圖像。針對基于基準(zhǔn)圖像而編碼了的第二視圖來訪問編碼后信息。對第二視像解碼。根據(jù)另一個方面，訪問第一視像。針對不同于第一視圖的虛擬視圖位置，基于第一視像來合成虛擬圖像。利用基于虛擬圖像的基準(zhǔn)圖像對第二視像編碼。第二視圖不同于虛擬視圖位置。編碼產(chǎn)生了編碼后的第二視像。
文檔編號H04N7/26GK102017632SQ200980116077
公開日2011年4月13日 申請日期2009年3月3日 優(yōu)先權(quán)日2008年3月4日
發(fā)明者尹鵬, 帕文·拜哈斯·潘迪特, 田東 申請人:湯姆遜許可證公司