使用織錦編碼的多視圖圖像的表現(xiàn)和代碼化的制作方法
【專利摘要】描述使用織錦編碼的多視圖圖像的表現(xiàn)和代碼化?？楀\包括關(guān)于織錦圖像的信息和與織錦圖像關(guān)聯(lián)的世界坐標(biāo)圖，其中的每個(gè)可以包含來自場景的一個(gè)或更多個(gè)視角的信息。場景的視角圖像可以根據(jù)織錦圖像和世界坐標(biāo)圖而產(chǎn)生。
【專利說明】使用織錦編碼的多視圖圖像的表現(xiàn)和代碼化
[0001 ] 該專利文獻(xiàn)的公開內(nèi)容的一部分包含受到版權(quán)保護(hù)的材料。當(dāng)該專利文獻(xiàn)或?qū)＠_內(nèi)容出現(xiàn)在專利商標(biāo)局專利文檔或記錄中時(shí)，版權(quán)所有者不反對(duì)任何人傳真復(fù)制該專利文獻(xiàn)或?qū)＠_內(nèi)容，但除此以外無論如何保留所有版權(quán)權(quán)利。
[0002]相關(guān)申請(qǐng)的交叉引用
[0003]本申請(qǐng)要求2011年9月29日提交的美國臨時(shí)專利申請(qǐng)N0.61/541，050的優(yōu)先權(quán)，其通過參考全部被并入于此。
【技術(shù)領(lǐng)域】
[0004]本公開一般涉及圖像和視頻處理。更具體地，它涉及使用織錦(tapestry)編碼的多視圖圖像的表現(xiàn)(representation)和代碼化(coding)。
【背景技術(shù)】
[0005]近來，對(duì)于3-D內(nèi)容的創(chuàng)建和遞送已經(jīng)有相當(dāng)大的興趣。已經(jīng)開發(fā)并且正在開發(fā)適合于3-D特征的用于TV和媒體格式的編碼和解碼系統(tǒng)。這種媒體格式的示例性的成像應(yīng)用可以在立體和自動(dòng)立體顯示以及包含如從多個(gè)視點(diǎn)(viewpoint)來觀看的場景有關(guān)的信息的處理和傳輸?shù)膽?yīng)用中被找到。通過從視點(diǎn)觀看場景而捕獲的圖像可以被稱為視圖(view)。
[0006]由一個(gè)視圖遮蔽(occlude)的場景的信息可以由一個(gè)或更多個(gè)其它視圖揭示(reveal).,可以在沒有直接捕獲的預(yù)測視圖中利用場景的各個(gè)捕獲的視圖。雖然各個(gè)視圖可以以整體被提供(例如，用于處理和代碼化)以用于成像和視頻應(yīng)用，但是要由代碼化系統(tǒng)處理和傳輸?shù)囊晥D的數(shù)量增加通常與3-D內(nèi)容的創(chuàng)建和遞送中涉及的更高計(jì)算復(fù)雜性以及比特的數(shù)量增加關(guān)聯(lián)。因此，3-D內(nèi)容的創(chuàng)建和遞送考慮要提供給代碼化系統(tǒng)什么信息(例如，視圖的數(shù)量以及每個(gè)視圖內(nèi)的什么信息)。
【專利附圖】

【附圖說明】
[0007]被并入本說明書且構(gòu)成說明書一部分的附圖示出了本公開的一個(gè)或更多個(gè)實(shí)施例，并且與示例實(shí)施例的描述一起用來解釋本公開的原理和實(shí)現(xiàn)方式。
[0008]圖1示出包含在視頻的每一幀中的根據(jù)本公開的許多實(shí)施例的織錦信息格式。
[0009]圖2示出包括左視圖和右視圖的示例性的立體像對(duì)(stereo pair)。
[0010]圖3示出根據(jù)亮度映射的深度圖(cbpth map)的深度信息。
[0011]圖4示出通過結(jié)合來自圖2中示出的右視圖的信息和右視圖的圖3中示出的深度圖導(dǎo)出的左視圖。
[0012]圖5A和5B分別示出導(dǎo)出的最左邊的(far-left)視圖和與導(dǎo)出的最左邊的視圖關(guān)聯(lián)的一個(gè)可能的校正層。
[0013]圖6示出與兩個(gè)視點(diǎn)對(duì)應(yīng)的視圖平截頭體(frusta)的頂視圖的示例。
[0014]圖7A和7B示出根據(jù)第一視點(diǎn)和第二視點(diǎn)獲得的場景的視圖。圖7C示出包括分別來自圖7A和7B的第一和第二視圖兩者的信息的視角(perspective)圖像。圖7D示出可以根據(jù)圖7A和7B的第一和第二視圖一起產(chǎn)生的一個(gè)可能的織錦圖像。
[0015]圖8示出多視角圖像，其包括適合于產(chǎn)生與不一定包含在多視角圖像中的視點(diǎn)關(guān)聯(lián)的視圖的信息。
[0016]圖9A-9C示出與圖8中示出的多視角視圖對(duì)應(yīng)的場景坐標(biāo)。
[0017]圖10A-10C示出根據(jù)圖8和9A-9C中示出的織錦制作的三個(gè)示例性的呈現(xiàn)。具體地,左、中心和右視圖分別被示出在圖10A-10C中。
[0018]圖11提供可以被用于根據(jù)圖像信息產(chǎn)生3-D網(wǎng)格(mesh)的用于3_D網(wǎng)格呈現(xiàn)的示例性方法。
[0019]圖12A示出根據(jù)來自三個(gè)視圖的信息的結(jié)合產(chǎn)生的織錦圖像。圖12B-12D—起示出了與圖12A的織錦圖像關(guān)聯(lián)的3-D世界坐標(biāo)圖。
[0020]圖13A-13C示出了根據(jù)圖12A-12D的織錦產(chǎn)生的視圖的示例。具體地，圖13A-13C分別示出了左視圖、中心視圖和右視圖。
[0021]圖14示出了用于產(chǎn)生織錦信息和編碼視頻信息(包括織錦信息在內(nèi))的示例性編碼系統(tǒng)。
[0022]圖15示出了被配置為對(duì)來自圖14的示例性編碼系統(tǒng)的信息進(jìn)行解碼的示例性解碼系統(tǒng)。
【具體實(shí)施方式】
[0023]根據(jù)本公開的第一方面，提供了其上存儲(chǔ)有與場景關(guān)聯(lián)的織錦信息的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中該織錦信息適合于推導(dǎo)場景的一個(gè)或更多個(gè)期望視圖，該織錦信息包括:其上存儲(chǔ)有與場景關(guān)聯(lián)的織錦信息的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中該織錦信息適合于推導(dǎo)場景的一個(gè)或更多個(gè)期望視圖，該織錦信息包括:織錦圖像，其中該織錦圖像包括多個(gè)像素，該多個(gè)像素包括來自與場景關(guān)聯(lián)的多個(gè)視圖的信息；以及坐標(biāo)圖，包括與織錦圖像的像素關(guān)聯(lián)的位置數(shù)據(jù)。
[0024]根據(jù)本公開的第二方面，提供了一種用于根據(jù)織錦圖像產(chǎn)生場景的至少一個(gè)視圖的方法，該至少一個(gè)視圖中的每一個(gè)與場景的一個(gè)期望視點(diǎn)關(guān)聯(lián)，所述方法包括:提供織錦圖像；提供與該織錦圖像關(guān)聯(lián)的坐標(biāo)圖；基于該織錦圖像和該坐標(biāo)圖來推導(dǎo)場景的一個(gè)或更多個(gè)視圖，以及基于該一個(gè)或更多個(gè)推導(dǎo)出的視圖來產(chǎn)生場景的至少一個(gè)視圖。
[0025]根據(jù)本公開的第三方面，提供了一種適于接收?qǐng)鼍暗囊粋€(gè)或更多個(gè)輸入視圖的編碼系統(tǒng)，該編碼系統(tǒng)包括:織錦產(chǎn)生器，適于基于該一個(gè)或更多個(gè)輸入視圖產(chǎn)生織錦圖像和坐標(biāo)圖；以及編碼器，適于將織錦圖像和坐標(biāo)圖編碼成比特流。
[0026]根據(jù)本公開的第四方面，提供了一種用于對(duì)與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)的信息進(jìn)行編碼的方法，該方法包括:基于一個(gè)或更多個(gè)輸入視圖產(chǎn)生織錦圖像和坐標(biāo)圖；以及將織錦圖像和坐標(biāo)圖編碼成比特流。
[0027]根據(jù)本公開的第五方面，提供了一種適于接收與場景關(guān)聯(lián)的比特流并且產(chǎn)生一個(gè)或更多個(gè)輸出圖像的解碼系統(tǒng)，該解碼系統(tǒng)包括:解碼器，適于根據(jù)該比特流解碼織錦圖像和坐標(biāo)圖，其中該織錦圖像和該坐標(biāo)圖與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)；以及視圖產(chǎn)生單元，適于基于織錦圖像和坐標(biāo)圖推導(dǎo)場景的一個(gè)或更多個(gè)輸出圖像。[0028]根據(jù)本公開的第六方面，提供了一種用于對(duì)與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)的信息進(jìn)行解碼的方法，該方法包括:根據(jù)該比特流解碼織錦圖像和坐標(biāo)圖，其中該織錦圖像和該坐標(biāo)圖與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)；以及基于織錦圖像和坐標(biāo)圖推導(dǎo)場景的一個(gè)或更多個(gè)輸入視圖。
[0029]本公開的一個(gè)或更多個(gè)實(shí)施例的細(xì)節(jié)被陳述在附圖和下面描述中。根據(jù)描述和附圖并且根據(jù)權(quán)利要求將明白其它特征、目的和優(yōu)點(diǎn)。
[0030]itM
[0031]根據(jù)本公開的許多實(shí)施例，描述了用于代碼化位于2-D和完全3-D表現(xiàn)之間的某處的圖像/視頻數(shù)據(jù)的系統(tǒng)和方法。使用硬件，在此描述的用于代碼化圖像/視頻數(shù)據(jù)的系統(tǒng)和方法允許在規(guī)定體積(volume)內(nèi)精確呈現(xiàn)任意的視圖，這可以在雙目(binocular)立體和自動(dòng)立體顯示以及其它應(yīng)用中被利用。
[0032]在上述系統(tǒng)和方法的下限處，單個(gè)視圖可以被表現(xiàn)，如在標(biāo)準(zhǔn)視頻流中一樣。在上限處，3-D環(huán)境/場景中的所有可見表面可以利用全角度(full angular)顏色數(shù)據(jù)被代碼化，根據(jù)任意體積內(nèi)的內(nèi)插的一組視圖來表現(xiàn)幾何形狀和高光(specuIar i ty )。一些現(xiàn)代的圖形硬件可以例如被有效地杠桿化(leverage)以便從任何允許的視點(diǎn)呈現(xiàn)環(huán)境/場景。
[0033]如在本公開中使用的，術(shù)語“代碼化”指的是編碼和解碼兩者。類似地，短語“代碼化系統(tǒng)”包含編碼系統(tǒng)和解碼系統(tǒng)中的任一個(gè)或兩個(gè)。
[0034]如在本公開中使用的，術(shù)語“環(huán)境”、“場景”和“世界”可以被可互換地使用。
[0035]如在本公開中使用的，術(shù)語“視點(diǎn)”和“視角”可以被可互換地使用并且在此被定義為從其觀看場景的位置、角度和/或方向。術(shù)語“視圖”、“視點(diǎn)圖像”和“視角圖像”可以被可互換地使用并且在此被定義為從特定視點(diǎn)看到/捕獲的場景的一部分。
[0036]如在本公開中使用的，術(shù)語“視圖平截頭體”或“觀看平截頭體”在此被定義為可以從特定視點(diǎn)看到/捕獲的場景中的空間體積。例如，空間的區(qū)域可以包括在源自特定視點(diǎn)的圓錐體或四棱錐之內(nèi)看到/捕獲的圖像信息。
[0037]如在本公開中使用的，術(shù)語“質(zhì)量”指的是客觀的圖像/視頻質(zhì)量和主觀的圖像/視頻質(zhì)量兩者。客觀的圖像/視頻質(zhì)量通?？梢员欢?。(客觀的)圖像/視頻質(zhì)量的測量值的示例包括在期望圖像和預(yù)測圖像之間的畸變、圖像信號(hào)的信噪比(SNR)、圖像信號(hào)的峰值信號(hào)與噪聲的比(PSNR)等等。
[0038]主觀的圖像/視頻質(zhì)量指的是如由圖像/視頻的觀看者看到的圖像的質(zhì)量。雖然主觀的圖像/視頻質(zhì)量也可以使用圖像/視頻質(zhì)量的客觀的測量值來被測量，但是客觀的圖像/視頻質(zhì)量的增大不一定產(chǎn)生主觀的圖像/視頻質(zhì)量的增大，并且反之亦然。關(guān)于使用基于塊的操作處理的圖像，例如，主觀的圖像/視頻質(zhì)量考慮可以包含確定如何沿著塊邊界處理像素使得在最終顯示的圖像中減少塊假像(artifact)的感知。對(duì)于圖像的觀察者，基于評(píng)價(jià)特征(諸如但不限于，圖像中的各個(gè)特征的時(shí)間的連續(xù)性、細(xì)節(jié)、銳度、平滑度)進(jìn)行主觀的質(zhì)量測量。
[0039]如在本公開中使用的，允許的視點(diǎn)指的是可以從代碼化系統(tǒng)和方法可用的信息中直接提取和/或根據(jù)代碼化系統(tǒng)和方法可用的信息呈現(xiàn)/導(dǎo)出來自其的信息的視點(diǎn)。類似地，允許的視圖平截頭體指的是在來自與場景關(guān)聯(lián)的可用信息的約束的情況下在可以看到的場景中的空間的區(qū)域。[0040]在本公開中提供的實(shí)施例可在用于適合于3-D特征的TV和媒體格式的編碼和解碼系統(tǒng)中被使用，其中可以在揭示先前遮蔽的場景的區(qū)域中利用來自新視圖的信息。
[0041]這種格式的一種示例性的應(yīng)用是在其中顯示許多圖像的自動(dòng)立體顯示中。例如，根據(jù)觀看者位置可以觀看圖像的不同區(qū)域。另一個(gè)示例性的應(yīng)用在自由視點(diǎn)TV技術(shù)中，其中觀看者可以控制被遞送用于顯示的視點(diǎn)。其它的示例性的應(yīng)用包括在增強(qiáng)現(xiàn)實(shí)(augmented reality)中的使用,其中信息的圖形被插入到3_D場景的2_D圖像上(像道路
信息、購物信息、Facebook聯(lián)系人和歷史信息)。3_D場景的2_D圖像可以以其中視點(diǎn)可以改變(諸如基于3-D場景中的觀看者的位置改變視點(diǎn))的格式被傳輸。
[0042]這些示例性的成像應(yīng)用可以包含在一些視圖中遮蔽而在其它的視圖中未遮蔽(disocclude)的信息。未遮蔽的信息在這些應(yīng)用中可以相當(dāng)顯著。一種途徑是發(fā)送與每個(gè)視點(diǎn)關(guān)聯(lián)的視圖。然而，要被發(fā)送以用于由代碼化系統(tǒng)處理和代碼化的視圖的數(shù)量以及因此比特?cái)?shù)可能不斷增大。例如，自動(dòng)立體顯示可以利用從兩個(gè)視點(diǎn)；到九個(gè)視點(diǎn)(這是典型的);到超過三十二個(gè)視點(diǎn)的任何地方的信息。自由視點(diǎn)應(yīng)用可以具有多個(gè)水平視圖以及在一些版本中具有多個(gè)垂直視圖。增強(qiáng)現(xiàn)實(shí)應(yīng)用可以具有水平、垂直和變焦有關(guān)的視點(diǎn)。因此，要顯示的每個(gè)視點(diǎn)的一個(gè)視圖的代碼化可以包含大量的比特和高計(jì)算復(fù)雜性。
[0043]本公開通過傳輸在平截頭體之內(nèi)包含許多視圖的圖像解決(address)遮蔽區(qū)域，使得傳輸?shù)膱D像像最初卷繞(wrap around)場景對(duì)象然后可以被展開以用于代碼化和傳輸?shù)目楀\一樣。
[0044]某本帔編碼
[0045]圖1示出包含在視頻的每一幀中的根據(jù)本公開的許多實(shí)施例的信息格式。在本公開中，該信息格式被稱為術(shù)語“織錦”或“織錦信息”(參見參考文獻(xiàn)[4]，其全部通過參考并入于此)。如圖1所示，織錦信息包括在織錦圖像A (105)和3-D世界坐標(biāo)陣列B (110)中表現(xiàn)的信息?？楀\信息還可以包括3-D照相機(jī)格子(camera grid) (115)和校正層(120)，其中3-D照相機(jī)格子(115)和校正層(120)與織錦圖像A (105)和3-D世界坐標(biāo)陣列B (110)關(guān)聯(lián)?？梢岳绺鶕?jù)MPEG類型差分的幀編碼和壓縮方案推導(dǎo)這個(gè)織錦信息。
[0046]織錦圖像A (105)通常是像素?cái)?shù)據(jù)的2-D陣列，其可以被表現(xiàn)為可以使用傳統(tǒng)的2-D壓縮方案編碼的2-D圖像(例如，矩形圖像)。像素?cái)?shù)據(jù)可以包含高動(dòng)態(tài)范圍信息(參見參考文獻(xiàn)[3],其通過參考全部并入于此)?？楀\圖像A (105)可以或者可以不看起來為傳統(tǒng)的視角圖像。例如，織錦圖像A (105)中示出的特征可以看起來歪曲(warped)或者畸變，如在本公開(例如，圖8)中稍后將示出的。
[0047]3-D世界坐標(biāo)陣列B (110)包含與織錦圖像A (105)中的像素關(guān)聯(lián)的位置數(shù)據(jù)。在一個(gè)實(shí)施例中，3-D世界坐標(biāo)陣列B(IlO)可以僅僅記錄一個(gè)參數(shù)(例如，深度)，而在其它實(shí)施例中它可以記錄兩個(gè)參數(shù)(例如，深度加上水平偏移或視差)或者三個(gè)參數(shù)(例如，深度、水平視差和垂直視差)。
[0048]關(guān)于3-D世界坐標(biāo)陣列B (110)使用的術(shù)語“視差”指示織錦圖像A (105)中的特定像素已經(jīng)從它在設(shè)定的默認(rèn)視圖中的位置移動(dòng)了多少。這種默認(rèn)視圖可以例如作為輸入(例如，人工輸入)被提供，選自一個(gè)或更多個(gè)輸入視圖，或作為多個(gè)輸入視圖的平均或加權(quán)平均被自動(dòng)地確定。因此，術(shù)語“視差”的這個(gè)使用提供特定像素處的局部圖像歪曲的測量，其中稍后將在本公開(例如，圖8)中示出圖像歪曲。在僅僅具有水平拉伸/收縮的視圖的情況下，3-D世界坐標(biāo)陣列B (110)可以被坍塌(collapse)到包含關(guān)于深度和水平視差的信息的2-D世界坐標(biāo)陣列。對(duì)于僅僅具有垂直拉伸/收縮的視圖存在類似的情況。
[0049]在又一個(gè)實(shí)施例中，3-D世界坐標(biāo)陣列B (110)可以包含與織錦圖像A (105)中的每個(gè)像素對(duì)應(yīng)的3-D世界坐標(biāo)(例如，x、y和z)。實(shí)施例可以包含3-D世界坐標(biāo)位置數(shù)據(jù)轉(zhuǎn)換成等效深度加上視差數(shù)據(jù)(例如，水平和垂直視差)，并且反之亦然。
[0050]雖然包括諸如顏色和強(qiáng)度信息之類的視覺信息的織錦圖像A (105)可以使用傳統(tǒng)的2-D壓縮方案被編碼，但是3-D世界坐標(biāo)陣列B (110)可以不順從傳統(tǒng)的2-D壓縮方案。對(duì)于織錦圖像A (105)和3-D世界坐標(biāo)陣列B (110)中的每一個(gè)的壓縮，可以使用無損壓縮和可選地有損壓縮來減少圖像尺寸。然而，出于壓縮目的，在視覺信息中應(yīng)該被引起(account for)的誤差(例如，能或不能被容忍的誤差)通常不同于在坐標(biāo)信息中應(yīng)該被引起的誤差。因此，3-D世界坐標(biāo)陣列B (110)通常被與織錦圖像A (105)不同地處理。
[0051]來自織錦圖像A (105)的信息可以被用來呈現(xiàn)特定的視圖并且通過從2.5-D場景幀投影到視圖平截頭體而從這些呈現(xiàn)的視圖中的信息中去除可能存在于織錦圖像A (105)中的上述歪曲/畸變方面中的一些或全部。
[0052]用于這種投影的一種示例性的方法被示出在參考文獻(xiàn)[4]中。例如，像素可以使用3-D世界坐標(biāo)陣列B (110)的3-D頂點(diǎn)和織錦圖像A (105)的每個(gè)像素中包含的顏色值被連接成三角網(wǎng)格。齊次坐標(biāo)(或類似的射影幾何系統(tǒng))可以被用來通過使用有限的坐標(biāo)表現(xiàn)包括無窮遠(yuǎn)點(diǎn)的點(diǎn)的坐標(biāo)。圖形硬件然后可以被用來在規(guī)定極限之內(nèi)將結(jié)果得到的三角網(wǎng)格重新投影到來自用戶限定的視圖的圖像上。這些極限通常由3-D照相機(jī)格子(115)設(shè)定，該3-D照相機(jī)格子(115)提供允許的視圖平截頭體。
[0053]可替代地，點(diǎn)云呈現(xiàn)技術(shù)可以被用來直接呈現(xiàn)織錦圖像A (105)中的像素(參見參考文獻(xiàn)[I]，其通過參考全部并入于此)。
[0054]通常，可以不使用來自織錦圖像A( 105 )中包含的完全任意的視圖的信息來呈現(xiàn)織錦。一個(gè)原因在于整個(gè)場景通常不能以合理的分辨率在單個(gè)圖像中(例如，通過單個(gè)視圖)被表現(xiàn)。因此，要記錄其信息的視圖可以被選擇為位于由允許的視圖平截頭體的3-D照相機(jī)格子(115)限定的凸包(convex hull)內(nèi)。具體地，這些是通常根據(jù)特定應(yīng)用設(shè)定的允許的(合法的)視點(diǎn)，其可以在織錦圖像A (105)的產(chǎn)生中被代碼化和利用。作為示例，立體系統(tǒng)通常允許至少兩個(gè)視點(diǎn)(和與這些視點(diǎn)關(guān)聯(lián)的兩個(gè)視圖平截頭體)。在這兩個(gè)視點(diǎn)之間和附近的視點(diǎn)通常也是允許的。
[0055]3-D照相機(jī)格子(115)中的每個(gè)點(diǎn)提供用于保持關(guān)于記錄的視圖的信息的3_D索引方案并且包含例如每個(gè)視圖的視圖位置、視圖角、視圖方向、取向(方向和向上向量(upvector))、以及水平和垂直尺寸等。換句話說，3-D照相機(jī)格子(115)上的每個(gè)點(diǎn)對(duì)應(yīng)于特定視點(diǎn)及其關(guān)聯(lián)的平截頭體。因此，3-D照相機(jī)格子(115)提供用于指定視點(diǎn)及其關(guān)聯(lián)的視圖平截頭體的方式/機(jī)構(gòu)，并且可以從視點(diǎn)和由3-D照相機(jī)格子(115)上的特定點(diǎn)識(shí)別的關(guān)聯(lián)的視圖平截頭體獲得特定視圖。3-D照相機(jī)格子(115)可以被組織化(organize)，例如，其中關(guān)于每個(gè)點(diǎn)的信息被包含在一維或多維陣列的元素內(nèi)。
[0056]3-D照相機(jī)格子(115)典型地與稍后要在本公開中描述的可選的視圖像素校正層(120)關(guān)聯(lián)。在視圖像素校正層(120)不由編碼器產(chǎn)生和/或不由編碼器提供給解碼器的情況下，3-D照相機(jī)格子(115)仍然可以由編碼器提供并且被應(yīng)用以在織錦圖像A (105)的解碼期間約束視圖移動(dòng)。在沒有來自3-D照相機(jī)格子(115)的數(shù)據(jù)的情況下，解碼器可能沒有認(rèn)識(shí)到什么視圖平截頭體是“超越限度的”，因此產(chǎn)生具有不完整數(shù)據(jù)的視圖。
[0057]在記錄僅僅一個(gè)視圖(例如，3-D照相機(jī)格子(115)具有1X1X1的格子尺寸)的情況下，可以呈現(xiàn)僅僅一個(gè)視圖。對(duì)于這個(gè)情況通常不必利用3-D世界坐標(biāo)陣列B (110)，這是因?yàn)榇a化坍塌到代碼化與單個(gè)視圖關(guān)聯(lián)的2-D視頻流。
[0058]在選擇呈現(xiàn)多視圖并且因此記錄來自多視圖的信息的情況下，在通過來自所選的視圖的結(jié)合的織錦圖像A (105)中的像素的重新投影產(chǎn)生的呈現(xiàn)中通常存在誤差。
[0059]通過示例的方式,這些誤差可能起因于非蘭伯特(Lambertian)反射、多個(gè)非遮蔽、以及由重新投影而引起的圖像歪曲。為了校正這些誤差，編碼器可以為每個(gè)記錄的視圖平截頭體提供校正層(120)，使得與編碼器關(guān)聯(lián)的解碼器可以內(nèi)插和校正預(yù)測視圖和/或附近的視圖。這些校正是可選的并且可以基于在考慮中的應(yīng)用的規(guī)范(諸如比特率預(yù)算或計(jì)算復(fù)雜度約束)被閾值化(thresholded)或刪節(jié)(elided)。
[0060]通過示例的方式，校正層(120)可以提供在根據(jù)織錦(105，110)產(chǎn)生的特定視圖的呈現(xiàn)與對(duì)于特定視點(diǎn)捕獲的對(duì)應(yīng)圖像之間的差別。3-D照相機(jī)格子(115)上的每個(gè)點(diǎn)因此可以與校正層(120)關(guān)聯(lián)，其中校正層(120)可以與對(duì)應(yīng)的產(chǎn)生織錦的視圖一起被發(fā)送以用于代碼化。校正層(120)可以被壓縮以便提高傳輸?shù)男驶虮３治磯嚎s，并且校正層
(120)的這種代碼化(例如，壓縮)通常與織錦(105，110)自身如何被產(chǎn)生和限定無關(guān)。
[0061]雙目立體
[0062]圖2示出包括左視圖(205)和右視圖(210)的示例性的立體像對(duì)。
[0063]考慮右視圖(210)被提供作為織錦圖像A (圖1中的105)。在單個(gè)視角圖像(諸如右視圖(210))中，三維的場景位置可以被編碼為具有適合的照相機(jī)變換(transform)的深度圖(z坐標(biāo))以便推導(dǎo)其它兩個(gè)坐標(biāo)(X坐標(biāo)和y坐標(biāo))。具體地，可以在推導(dǎo)X和y坐標(biāo)中利用深度值和照相機(jī)參數(shù)。
[0064]圖3示出根據(jù)亮度映射的深度圖的深度信息。具體地，與更遠(yuǎn)離右視圖(210)的視點(diǎn)的原點(diǎn)的特征相比，更接近該原點(diǎn)的特征看起來更暗。這種深度圖可以通過呈現(xiàn)工具被獲得和/或使用視差轉(zhuǎn)換方法從捕獲的立體像對(duì)導(dǎo)出。介紹用于立體圖像和視頻的視差方法的示例性的參考文獻(xiàn)被提供在參考文獻(xiàn)[5]中，其通過參考全部并入于此。
[0065]深度圖可以被認(rèn)為像素動(dòng)作的隱含的(implicit)表現(xiàn)并且可以提供關(guān)于像素通過位置重新投影從一個(gè)視圖到另一個(gè)視圖如何移動(dòng)的信息。如果照相機(jī)參數(shù)已知，則可以計(jì)算視圖之間的像素動(dòng)作。具體地，像素動(dòng)作指的是由視點(diǎn)的改變引起的特定像素的位置的改變。在立體視頻內(nèi)容的情況下，可以在左視圖和右視圖之間以及在視頻內(nèi)容的幀之間計(jì)算像素動(dòng)作。
[0066]如從如圖2所示的右視圖(210)和如圖3所示的深度圖的觀察明顯的，深度信息通常在整個(gè)右視圖(210)中是一致的，除了少量銳利的(sharp)邊界之外。因此，由于通常一致的深度信息，可以利用壓縮方案使得右視圖(210)可以被壓縮到比它的原始文件大小更小的文件大小。
[0067]圖4示出通過將來自右視圖(圖2中的210)的圖3中示出的深度圖的信息與右視圖(圖2中的210)(用作織錦圖像)自身一起結(jié)合而導(dǎo)出的左視圖。如在圖4中看到的，丟失所導(dǎo)出的左視圖的少量區(qū)域(諸如區(qū)域405和410)。因此，圖4中示出的導(dǎo)出的左視圖是其中場景的部分由于從圖2的右視圖(210)的視點(diǎn)的改變而丟失的圖2的左視圖(205)的估計(jì)。
[0068]從關(guān)于圖2-4中提供的各個(gè)圖像/圖的信息導(dǎo)出的校正層可以提供對(duì)于遮蔽和鏡面高光的校正，該鏡面高光作為使用右視圖(圖2中的210)及其關(guān)聯(lián)的深度圖(圖3中示出)來產(chǎn)生左視圖的結(jié)果而移動(dòng)。通常，鏡面高光的移動(dòng)可以源于使用來自一個(gè)視圖的信息以產(chǎn)生與另一個(gè)視圖關(guān)聯(lián)的信息。
[0069]應(yīng)當(dāng)注意，雖然根據(jù)本公開的許多實(shí)施例發(fā)送校正層，但是可以代替校正層的發(fā)送或者與校正層的發(fā)送結(jié)合地利用其它方法。例如，當(dāng)比特預(yù)算不容許發(fā)送校正層時(shí)，諸如紋理區(qū)域填充(textured area filling)/修復(fù)(inpainting)之類的方法可以被使用。紋理區(qū)域填充/修復(fù)包含基于與特定位置相鄰的位置處的可用的圖像特性來預(yù)測圖像的特定位置處的圖像特性(例如，紋理、顏色等)。介紹用于基于深度的紋理填充的方法的示例性的參考文獻(xiàn)被提供在參考文獻(xiàn)[6](其通過參考全部并入于此)中，其中基于深度的信息在預(yù)測合成視圖的未遮蔽區(qū)域中被利用。可以代替校正層的發(fā)送或者與校正層的發(fā)送結(jié)合地利用紋理區(qū)域填充/修復(fù)以及其它方法。
[0070]在本示例中(以及通常)，將深度圖提供到代碼化系統(tǒng)的成本(例如，傳輸深度圖中的比特?cái)?shù))通常至少部分地通過左視圖的改善的預(yù)測而被補(bǔ)償。另外，應(yīng)當(dāng)注意，來自深度圖的信息通過示例的方式并且沒有限制地可以允許以適合的深度將閉合的字幕布置到圖像中、虛擬字符的動(dòng)態(tài)摳圖(matting)等。
[0071]自動(dòng)立體
[0072]自動(dòng)立體顯示利用多視圖作為輸入。視圖的示例性的數(shù)量可以是十二個(gè)或更多個(gè)視圖，以便在沒有必要使用特殊眼鏡的情況下示出立體和視差。利用與先前針對(duì)立體代碼化描述的方法類似的方法，用于特定視圖的一個(gè)織錦圖像和與織錦圖像關(guān)聯(lián)的深度圖可以被提供給代碼化系統(tǒng)以便朝向特定視圖的左和右推導(dǎo)一個(gè)或更多個(gè)視圖。特定視圖可以是例如中心視圖。
[0073]認(rèn)為織錦圖像為以汽車的正面為中心的中心視圖并且待確定的視圖是最左邊的視圖。具體地，在該示例中，利用中心視圖來推導(dǎo)最左邊的視圖。
[0074]圖5A和5B分別示出導(dǎo)出的最左邊的視圖和與導(dǎo)出的最左邊的視圖關(guān)聯(lián)的一個(gè)可能的校正層。導(dǎo)出的最左邊的視圖示出汽車的不能通過中心視圖看到的部分。然而，應(yīng)當(dāng)注意，與對(duì)于圖4的導(dǎo)出的左視圖示出的誤差(405，410)相比，導(dǎo)出的最左邊的視圖示出更大的誤差(諸如區(qū)域505和510)。原因在于與和圖5A的導(dǎo)出的最左邊的視圖關(guān)聯(lián)的左視圖相比，圖4的導(dǎo)出的左視圖與更接近中心視圖的左視圖關(guān)聯(lián)。通常，與相對(duì)于設(shè)定的中心視點(diǎn)更發(fā)散的視點(diǎn)導(dǎo)出的視圖關(guān)聯(lián)的誤差大于更接近設(shè)定的中心視點(diǎn)的視點(diǎn)導(dǎo)出的視圖。
[0075]雖然圖5B中示出的校正層可以被提供給解碼器以用于修復(fù)這些區(qū)域(諸如圖5A中的505和510)，但是校正層的傳輸要求比特和帶寬。另外，在許多應(yīng)用中，需要推導(dǎo)多視圖，并且因此通常需要多個(gè)校正層來通過使用合理的比特?cái)?shù)和合理的帶寬量覆蓋這些視圖。
[0076]應(yīng)當(dāng)注意，可以使用諸如動(dòng)作估計(jì)(例如，在不同視圖之間的特定像素的像素動(dòng)作)之類的預(yù)測方法根據(jù)推導(dǎo)出的視圖的內(nèi)插導(dǎo)出特定視圖。還應(yīng)該注意，校正層自身可以通過基于產(chǎn)生的校正層執(zhí)行預(yù)測方法經(jīng)由內(nèi)插被預(yù)測。[0077]如前面所提到的，織錦可以從3-D場景(現(xiàn)實(shí)世界或者人造的)捕獲信息并且將信息映射到有用的比特中，可以從該有用的比特提取和/或推導(dǎo)圖像。圖6示出與兩個(gè)視圖(視圖1 (605)和視圖2 (610))對(duì)應(yīng)的視圖平截頭體的頂視圖的示例。具體地，圖6示出兩個(gè)視圖平截頭體的截面。兩個(gè)視圖(605，610)可以例如是左視圖(例如，來自左眼)和右視圖(例如，來自右眼)，但是這兩個(gè)視圖可以為任何兩個(gè)任意的視圖。圖6中的場景包括對(duì)象(615 )和墻壁(620 )，其中墻壁(620 )可以被認(rèn)為是場景的背景。
[0078]對(duì)象(615)的一側(cè)可以僅僅在視圖1 (605)中被看到，而對(duì)象(615)的其它方面(例如，對(duì)象(615)的正面)可以僅僅從視圖2 (610)看到。存在視圖1 (605)獨(dú)有的墻壁的區(qū)域(625，635)、視圖2 (610)獨(dú)有的沿著對(duì)象(615)的區(qū)域以及可以從兩個(gè)視圖(605，610)看到的區(qū)域(630)。
[0079]在基于兩個(gè)視圖(605，610)形成織錦中，冗余信息(諸如區(qū)域630中的)可以被最小化而每個(gè)視圖獨(dú)有的區(qū)域/對(duì)象(例如，對(duì)于視圖1的625、635以及對(duì)于視圖2的615)可以通過織錦被捕獲。來自兩個(gè)視圖(605，610 )的信息的結(jié)合可以形成包含歪曲的場景的結(jié)合的圖像(如稍后圖7D所示出的)。
[0080]圖7A和7B示出根據(jù)第一視點(diǎn)和第二視點(diǎn)獲得的場景的視圖。該場景包括棋盤(checkerboard)背景和平行六面體。圖7C示出包括分別來自圖7A和7B的第一和第二視圖兩者的信息的視角圖像。圖7C中的黑區(qū)(705，710)與不能從圖7A和7B中的兩個(gè)源視圖中的任意一個(gè)看到的場景的區(qū)域關(guān)聯(lián)。
[0081]應(yīng)當(dāng)注意，黑區(qū)(705，710)示出平行六面體已經(jīng)被確定位于離開棋盤背景一定距離處并且由于該距離呈現(xiàn)器已經(jīng)識(shí)別平行六面體和棋盤背景作為分離的(disjoint)幾何形狀。在這種情況下，該距離可以大于設(shè)定的閾值，其導(dǎo)致棋盤背景和平行六面體被彼此分離地呈現(xiàn)。稍后將在本公開中進(jìn)一步描述閾值和分離的幾何形狀。
[0082]圖7D不出可以根據(jù)圖7A和7B的第一和第二視圖一起產(chǎn)生的一個(gè)可能的織錦圖像。具體地，圖7D示出來自第一和第二視圖兩者的信息的結(jié)合，因此第一和第二視圖可以從圖7D的的圖像導(dǎo)出。圖7D的織錦圖像還可以被用來產(chǎn)生除了第一和第二視圖以外的其它視角圖像，其一個(gè)示例被示出在圖7C中。
[0083]作為另一個(gè)示例，圖8示出包括來自多個(gè)視角的信息的圖像；該圖像因此可以被稱為多視角圖像。該信息適合于產(chǎn)生與包含在多視角圖像中的視點(diǎn)關(guān)聯(lián)的視圖以及不一定包含在多視角圖像中的視圖。參考文獻(xiàn)[2](其通過參考全部并入于此)是涉及諸如圖8中示出的圖像之類的多視角圖像的示例性的參考文獻(xiàn)。在下面討論中圖8的多視角圖像將被用作織錦圖像。
[0084]織錦圖像可以在考慮使來自產(chǎn)生織錦圖像中利用的各個(gè)視點(diǎn)之間的冗余信息最小化的情況下被產(chǎn)生。例如，與離開中心視點(diǎn)1°的視點(diǎn)關(guān)聯(lián)的視圖通常類似于中心視點(diǎn)并且還類似于與離開中心視點(diǎn)2°的視點(diǎn)關(guān)聯(lián)的另一個(gè)視圖。因此，當(dāng)產(chǎn)生織錦圖像時(shí)來自這三個(gè)視點(diǎn)的冗余信息可以被最小化。
[0085]這個(gè)織錦圖像對(duì)于眼睛看起來陌生。然而，可以對(duì)于這個(gè)特定織錦圖像進(jìn)行一些觀察。首先，織錦圖像可以被創(chuàng)建為將較多圖像區(qū)域分配在汽車(其通常是注視點(diǎn))上，而將較少區(qū)域分配在圖像的各種其它區(qū)域(其可以一起被稱為背景)上。在關(guān)于汽車的信息更多的情況下，可以獲得對(duì)于每個(gè)輸出視圖的前景的更銳利的推導(dǎo)/呈現(xiàn)。第二，織錦圖像的線性掃描覆蓋許多角度和視圖(其可以涉及自動(dòng)立體顯示)，因此示出可能在任何單個(gè)視角圖像中丟失的汽車的部分。如前面所提到的，織錦圖像中的每個(gè)像素可以與特定視圖或者從其獲得或者導(dǎo)出該特定像素的視圖關(guān)聯(lián)。
[0086]對(duì)圖像/視頻的特征的重要性的分配可以被人工地執(zhí)行(例如，用戶選擇視頻內(nèi)容的重要的特征)或者自動(dòng)地確定。可以利用頻率分析，諸如在圖像壓縮期間通常執(zhí)行的頻率分析。例如，織錦圖像可以利用頻率分析引導(dǎo)的歪曲，其中織錦圖像中的更大區(qū)域被分配用于高頻信息。重要性的確定還可以基于評(píng)價(jià)視頻內(nèi)容中的不同特征的顯著度(saliency)?？梢源胬珙l率或顯著度引導(dǎo)的歪曲或者與例如頻率或顯著度引導(dǎo)的歪曲結(jié)合地執(zhí)行織錦圖像的直接/人工歪曲。
[0087]圖9A-9C示出與圖8中示出的多視角圖像對(duì)應(yīng)的3_D世界坐標(biāo)。3_D世界坐標(biāo)可以被用來重新投影來自圖8中示出的織錦圖像的像素以便推導(dǎo)給定應(yīng)用中可能需要的在中間的任何視圖的估計(jì)值。可能不需要傳輸多于織錦圖像和3-D世界坐標(biāo)陣列來產(chǎn)生與特定自動(dòng)立體系統(tǒng)要求的一樣多的視圖。
[0088]如上所述，圖8中示出的織錦圖像不是單個(gè)視角圖像。具體地，圖像視角(例如，視點(diǎn))隨著織錦圖像中的像素位置改變并且因此3-D世界坐標(biāo)(例如，x、y、z)必須為每個(gè)像素位置提供以便將織錦圖像中的每個(gè)像素與場景中的實(shí)際位置關(guān)聯(lián)。結(jié)果，織錦中的每個(gè)像素包含顏色(或者強(qiáng)度)信息以及3-D坐標(biāo)信息，其中顏色(或者強(qiáng)度)信息可以被存儲(chǔ)在織錦圖像A (圖1中的105)中并且3-D坐標(biāo)信息可以分別被存儲(chǔ)在3-D世界坐標(biāo)陣列B (圖1中的110)中。
[0089]圖9A-9C描繪用于圖8的織錦圖像中的每個(gè)像素的3_D坐標(biāo)信息的示例表現(xiàn)。在該實(shí)施例中，X、 y和z坐標(biāo)信息首先被規(guī)格化(normalize)到范圍(例如[0,1]或者[O,255])，并且隨后它與任意的顏色通道(例如，R、G或者B)關(guān)聯(lián)。例如，藍(lán)色通道中的較高值可以與較高的z坐標(biāo)值(相對(duì)于設(shè)定的原點(diǎn))關(guān)聯(lián)。眾所周知，圖9A-9C中的信息(表現(xiàn)分別映射到R、G和B的示例)可以被結(jié)合成一個(gè)圖像使得該圖像中的每個(gè)像素與R、G和B (例如，x、y和z)值關(guān)聯(lián)。應(yīng)當(dāng)注意，每個(gè)位置坐標(biāo)到顏色值的映射是任意的并且主要出于可視化目的。
[0090]在其中僅僅允許水平視圖動(dòng)作或者僅僅允許垂直視圖動(dòng)作的實(shí)施例中，3-D世界坐標(biāo)可以被坍塌到表現(xiàn)對(duì)于織錦圖像中的每個(gè)像素的水平或垂直視差以及深度的2-D世界坐標(biāo)。
[0091]在一個(gè)實(shí)施例中，3-D世界坐標(biāo)陣列可以以具有像素位置偏移的深度值形式被編碼。相對(duì)于當(dāng)前幀的視圖參數(shù)，這種代碼化允許3-D坐標(biāo)被導(dǎo)出并且可以提供在解碼硬件中的支持和壓縮方面的好處。對(duì)于低成本的解碼硬件，例如，像素位置偏移可以和深度緩沖器一起使用以便確定對(duì)于給定幀繪制(draw)哪些像素，而沒有必要包含任何視角矩陣計(jì)
笪
ο
[0092]圖10A-10C示出根據(jù)圖8和9A-9C中示出的織錦制作的三個(gè)示例性的呈現(xiàn)。具體地，左、中心和右視圖分別被示出在圖10A-10C中。如前面所提到的，可以根據(jù)單個(gè)圖像產(chǎn)生多視圖。很少的誤差與汽車自身關(guān)聯(lián)，但是一些誤差存在于(通常更不)重要的背景(諸如圖1OA中的區(qū)域1005和1010，圖1OB中的1015和1020，圖1OC中的1025和1030)。這些誤差可以使用紋理填充/修復(fù)和校正層中的一個(gè)或更多個(gè)被校正?？商娲鼗蛳嘟Y(jié)合地，其中捕獲更多背景的更寬的織錦圖像的使用可以減少誤差。出于此目的可以開發(fā)自動(dòng)化方法。
[0093]呈現(xiàn)諸如這個(gè)之類的織錦可以通過如圖11所示的對(duì)3-D世界坐標(biāo)和像素的陣列執(zhí)行3-D網(wǎng)格呈現(xiàn)方法來實(shí)現(xiàn)。如本領(lǐng)域技術(shù)人員已知的，圖11提供可以被用于根據(jù)圖像信息(例如，具有它的對(duì)應(yīng)深度信息的2-D圖像)產(chǎn)生3-D網(wǎng)格的用于3-D網(wǎng)格呈現(xiàn)的示例性方法。例如,在3-D網(wǎng)格呈現(xiàn)中利用高洛德著色(Gouraud-shaded)呈現(xiàn)的情況下，3-D世界坐標(biāo)和像素的陣列可以被結(jié)合成高洛德著色的四邊形的陣列。
[0094]參考圖11，織錦(例如，織錦和3-D世界坐標(biāo))中的每個(gè)像素(1110)包含關(guān)于與像素關(guān)聯(lián)的顏色信息(例如，R、G、B)和3-D坐標(biāo)(例如，X、y、z)的信息。每個(gè)像素被縫合(stitch)成多邊形條(polygonal strip) (1120)以便形成3-D網(wǎng)格(1130)。雖然三角形的條是常見的，但是也可以利用諸如四邊形之類的其它多邊形。在存在較大3-D不連續(xù)性(例如，其中信息不足或不可用的位置)的情況下，可能出現(xiàn)3-D網(wǎng)格(1130)中的間隙。3-D網(wǎng)格(1130)的額外的3-D呈現(xiàn)(1140)(諸如但不限于高洛德著色呈現(xiàn)(1140))可以(但不必)對(duì)3-D網(wǎng)格(1130)執(zhí)行以便內(nèi)插3-D網(wǎng)格(1130)中的信息并且因此平滑化存在于3-D網(wǎng)格(1130)中的多邊形。輸出圖像(1150)可以由3-D網(wǎng)格自身(1130)形成或者由呈現(xiàn)(1140)之后的3-D網(wǎng)格形成。
[0095]創(chuàng)律織錦
[0096]因?yàn)閳D8處理虛擬場景，所以圖8提供其中場景的信息可以被假設(shè)為完整的情況。在現(xiàn)實(shí)世界場景中，為了獲得關(guān)于多個(gè)視圖的信息，可以采用如下照相機(jī)，該照相機(jī)具有布置成一條線的多個(gè)視角，諸如在自由視點(diǎn)TV技術(shù)中，或者類似地包括多個(gè)照相機(jī)(每個(gè)捕獲特定視角)的一條線。可以根據(jù)從一個(gè)或多個(gè)照相機(jī)捕獲的圖像產(chǎn)生織錦圖像和估計(jì)的世界坐標(biāo)。這被稱為多視圖立體，并且對(duì)于根據(jù)這種捕獲圖像推導(dǎo)場景位置，存在計(jì)算機(jī)視覺算法。
[0097]除了根據(jù)捕獲的視圖獲得織錦圖像和估計(jì)的場景坐標(biāo)之外，可以使用捕獲的視圖作為參考計(jì)算視圖像素校正層。校正層暗示從織錦圖像到捕獲的視圖中的每一個(gè)的具體的映射。因此，與織錦圖像和估計(jì)的世界坐標(biāo)關(guān)聯(lián)的3-D照相機(jī)格子變?yōu)榕c捕獲的視圖對(duì)應(yīng)的單線的視圖，其允許沿著用戶定義的目標(biāo)視差寬度呈現(xiàn)需要的任何視圖。通常，織錦的基礎(chǔ)分辨率高于要呈現(xiàn)的目標(biāo)視圖的分辨率。校正層可以被應(yīng)用于導(dǎo)出的目標(biāo)視圖，使得導(dǎo)出的目標(biāo)視圖與對(duì)應(yīng)于相同的視點(diǎn)的那些參考更緊密地匹配。
[0098]如先前注意的，諸如但不限于紋理區(qū)域填充/修復(fù)之類的方法可以與校正層的利用結(jié)合或者作為對(duì)于校正層的利用的替代方案而被利用。例如，在解碼器接收來自校正層的不足的信息、不足數(shù)量的校正層的情況下，和/或當(dāng)對(duì)于其存在不足的信息或者不存在信息的特定視圖中存在像素時(shí)，可能需要利用和/或推導(dǎo)其它圖像信息。校正層中的一個(gè)或更多個(gè)中的信息可以基于諸如紋理區(qū)域填充/修復(fù)之類的方法被內(nèi)插和/或推導(dǎo)。在沒有校正層被提供給解碼器的情況下，這些方法可以被利用作為撤退(fal Iback )方法以便基于提供給解碼器的信息推導(dǎo)用于任何期望視圖的信息。
[0099]圖12A示出根據(jù)來自三個(gè)視圖的信息的結(jié)合產(chǎn)生的織錦圖像。圖12B-12D中的每一個(gè)示出了與圖12A的織錦圖像關(guān)聯(lián)的3-D世界坐標(biāo)圖的一維。如圖9A-9C中一樣，出于可視化目的將x、y和z坐標(biāo)中的每一個(gè)映射到紅色(R)、綠色(G)和藍(lán)色(B)通道。雖然從虛擬/合成場景導(dǎo)出織錦，但是還可以已經(jīng)通過使用例如一個(gè)或更多個(gè)照相機(jī)從真實(shí)環(huán)境的各個(gè)視點(diǎn)拍攝圖片來捕獲用于推導(dǎo)織錦的信息。
[0100]類似于圖8，陌生的(從主觀的觀點(diǎn))歪曲示出包含的畸變以便包括關(guān)于僅僅從特定視角可見的汽車和背景的部分的信息。圖12A的織錦圖像中的每個(gè)像素與來自圖12B-12D中提供的3-D世界坐標(biāo)圖的坐標(biāo)的關(guān)聯(lián)可以使得能夠在從圖12A-12D中提供的織錦信息呈現(xiàn)/推導(dǎo)各個(gè)視點(diǎn)期間去除這個(gè)畸變。
[0101]圖13A-13C示出了根據(jù)圖12A和12B的織錦產(chǎn)生的視圖的示例。具體地，圖13A-13C分別示出了左視圖、中心視圖和右視圖。如圖13A-13C所示，織錦提供信息以便產(chǎn)生汽車和背景的許多區(qū)域，但是一些誤差(例如，1305，1310)是明顯的。
[0102]圖14示出了用于產(chǎn)生織錦信息和編碼視頻信息(包括織錦信息在內(nèi))的示例性的編碼系統(tǒng)(1400)。對(duì)于要編碼的視頻，用于視頻的每個(gè)幀的輸入包括N個(gè)輸入視角圖像(1405 )和N個(gè)深度圖(1407 )，其中每個(gè)輸入視角圖像與深度圖關(guān)聯(lián)。N個(gè)輸入視角圖像(1405)有效限定“場景”或者“世界”。
[0103]可以可選地提供包含與N個(gè)視點(diǎn)有關(guān)的信息的3-D照相機(jī)格子(1410)和與輸入視角圖像(1405)對(duì)應(yīng)的平截頭體以用于編碼。如前面所提到的，3-D照相機(jī)格子(1410)可以包括關(guān)于允許的視點(diǎn)和平截頭體(諸如對(duì)應(yīng)平截頭體和每個(gè)視點(diǎn)的邊界)的信息。應(yīng)當(dāng)注意，輸入視角圖像(1405)以及因此與輸入視角圖像(1405)關(guān)聯(lián)的3-D照相機(jī)格子(1410)和深度圖(1407)可以被捕獲(例如，直接地來自照相機(jī))和/或被推導(dǎo)(例如，基于捕獲的視角圖像和/或其它導(dǎo)出的視角圖像被呈現(xiàn))。
[0104]輸入視角圖像(1405)以及與輸入視角圖像(1405)關(guān)聯(lián)的深度圖(1407)在使用織錦產(chǎn)生單元(1415 )創(chuàng)建織錦(1415 )中被利用?？楀\產(chǎn)生單元(1415 )的輸出包括織錦圖像A (1420)和3-D世界坐標(biāo)陣列B (1425)，其中A (1420)和B (1425)兩者與通過輸入視角圖像(1405)和對(duì)應(yīng)深度圖(1407)限定的場景/世界關(guān)聯(lián)?？楀\產(chǎn)生單元(1415)可以基于諸如所選的輸出視圖或多個(gè)視圖以及織錦的分辨率之類的輸入?yún)?shù)創(chuàng)建織錦。此外，可以基于輸入?yún)?shù)設(shè)定對(duì)于如何分配織錦圖像中的區(qū)域的確定(諸如基于人工、基于顯著度和/或基于頻率)。
[0105]應(yīng)當(dāng)注意，深度圖(1407)可以被直接提供給織錦產(chǎn)生單元(1415)或織錦產(chǎn)生單元(1415)可以推導(dǎo)深度圖(1407)。例如多視圖立體匹配算法可以被用于推導(dǎo)用于圖像中的像素的3-D位置數(shù)據(jù)，其中3-D位置數(shù)據(jù)包括深度值和/或可以被映射到深度值的數(shù)據(jù)。
[0106]來自輸入視角圖像(1405)的信息以及關(guān)聯(lián)的3-D照相機(jī)格子(1410)(如果可應(yīng)用)可以被提供給呈現(xiàn)單元(1430)，其基于輸入信息(1405，1410)產(chǎn)生(1430)重新呈現(xiàn)的輸入視圖。這些重新呈現(xiàn)的輸入視圖是輸入視角圖像(1405)的預(yù)測/估計(jì)。因此，經(jīng)由減法單元(1435)獲得差別(1435)產(chǎn)生了包括殘差信息的校正層(1440)。每個(gè)校正層(1440)對(duì)應(yīng)于一個(gè)輸入視角圖像(1405)。應(yīng)當(dāng)注意，通過編碼器側(cè)上的呈現(xiàn)單元(1430)利用(例如，量化(quantization))的精度和執(zhí)行的操作通常類似于對(duì)于解碼器側(cè)上的呈現(xiàn)單元的那些。
[0107]與3-D照相機(jī)格子(1410)、織錦圖像A (1420)、3-D世界坐標(biāo)陣列B (1425)和校正層(1440 )有關(guān)的信息可以被提供以便通過使用編碼器(1445 )被編碼成比特流(1450 )。比特流(1450)適于被傳輸?shù)浇獯a器并且由解碼器(例如，圖15中示出的)解碼。雖然一個(gè)比特流(1450)被示出在圖14中，但是編碼器(1445)可以把各個(gè)信息編碼成多個(gè)比特流。作為示例，第一比特流可以包含來自織錦圖像A (1420)和3-D世界坐標(biāo)陣列B (1425)的織錦信息；第二比特流可以包含來自校正層(1440)的信息；并且第三比特流可以包含來自3-D照相機(jī)格子(1410)的信息，其可以被編碼為元數(shù)據(jù)并且與第一和第二比特流一起傳輸。
[0108]應(yīng)當(dāng)注意，編碼器可以但不必產(chǎn)生校正層(1440)并且編碼和傳輸3-D照相機(jī)格子(1410)和校正層(1440)。
[0109]圖15示出了被配置為對(duì)來自圖14的示例性的編碼系統(tǒng)的信息進(jìn)行解碼的示例性的解碼系統(tǒng)(1500)。比特流(1550)(諸如圖14中也示出的)將輸入提供給解碼系統(tǒng)(1500)。比特流(1550)適于經(jīng)由解碼器(1545)被解碼?？梢愿鶕?jù)比特流(1550)解碼織錦圖像A(1520),3-D世界坐標(biāo)陣列B (1525)、以及如果可用的話3-D照相機(jī)格子(1510)和校正層(1540)?？梢愿S多個(gè)處理以便產(chǎn)生輸出圖像(1565，1570)。如對(duì)于編碼器側(cè)注意的，解碼器側(cè)也可以從編碼器接收多個(gè)比特流。
[0110]包括織錦圖像A (1520)和3-D世界坐標(biāo)陣列B (1525)的織錦信息可以由3-D網(wǎng)格呈現(xiàn)單元(1560)呈現(xiàn)為3-D網(wǎng)格(1560)。圖11中提供的用于3-D網(wǎng)格呈現(xiàn)的示例性方法可以在產(chǎn)生3-D網(wǎng)格呈現(xiàn)單元(1560)的輸出中被利用。來自3-D網(wǎng)格呈現(xiàn)單元(1560)的3-D網(wǎng)格(1560)可以用作解碼系統(tǒng)(1500)的輸出圖像(1565)。
[0111]可選地，來自3-D照相機(jī)格子(1510)和校正層(1540)的信息也可以在產(chǎn)生輸出圖像(1570)中被利用。這種信息(1510，1540)可以在呈現(xiàn)、校正和重新投影來自與輸出圖像(1570)關(guān)聯(lián)的一個(gè)或更多個(gè)視圖的信息以便形成輸出圖像(1570)中被利用。來自3-D照相機(jī)格子(1510)和校正層(1540)的信息的利用通?？梢援a(chǎn)生更高圖像質(zhì)量(例如，更少誤差)的輸出圖像。
[0112]返回參考圖14，如下提供用于產(chǎn)生包括織錦圖像(1420)和3-D世界坐標(biāo)圖(1425)的織錦的示例性的方法。
[0113]初始步驟包括從與輸入圖像(1405)關(guān)聯(lián)的視角之中選擇默認(rèn)視圖。這個(gè)默認(rèn)視圖可以例如作為輸入被給出，選自一個(gè)或更多個(gè)輸入視圖，或者作為多個(gè)輸入視圖的平均或加權(quán)平均被自動(dòng)地確定。
[0114]來自每個(gè)輸入視圖的三維世界坐標(biāo)可以被重新投影到默認(rèn)視圖中，結(jié)果得到多深度圖像。默認(rèn)視圖中的每個(gè)像素可以基于與像素關(guān)聯(lián)的深度圖的值被分類到特定深度層或深度臺(tái)階(st印)。與哪個(gè)輸入視角圖像(1405)可以看到特定深度層/臺(tái)階有關(guān)的信息可以被產(chǎn)生。深度層/臺(tái)階的示例性的數(shù)量是八個(gè)(例如，其中O最接近中心視角的原點(diǎn)并且8是最遠(yuǎn)的)。然而，可以利用更多或更少的深度層/臺(tái)階。
[0115]對(duì)于默認(rèn)視圖輸出圖像中的每個(gè)像素，投票(vote)(也被稱為提供/推導(dǎo)權(quán)重或偏好(preference ))被執(zhí)行以便從輸入視角圖像(1405)之中推選(elect) —個(gè)或更多個(gè)視角圖像。推選一個(gè)或多個(gè)視角圖像的一種示例性方法是，推選具有到與默認(rèn)視圖輸出圖像中的特定像素關(guān)聯(lián)的深度層最多/最近的點(diǎn)的那些圖像。
[0116]對(duì)于所推選的圖像，沿著與這個(gè)默認(rèn)視圖處的最近和最遠(yuǎn)的點(diǎn)的分離對(duì)應(yīng)的矢量，對(duì)于與所推選的圖像關(guān)聯(lián)的視角視圖記錄偏好，如在所推選的視圖中看到。執(zhí)行前景像素到輸出像素位置的2-D偏移的記錄以便把所推選的視圖錨定(anchor)到默認(rèn)視圖輸出圖像中的該特定像素。[0117]對(duì)于默認(rèn)視圖輸出圖像中的每個(gè)像素，平均偏移可以被計(jì)算并且優(yōu)選視圖(也被稱為最流行視圖)可以被計(jì)算并且選自先前收集的統(tǒng)計(jì)值(statistics)?？梢酝ㄟ^跟蹤光線(tracing ray)到被處理為高度場(height field)的圖像中，來呈現(xiàn)特定像素處的優(yōu)選視圖的3-D坐標(biāo)和實(shí)際像素顏色。
[0118]用于創(chuàng)建織錦的示例性的方法被提供于在此附上作為附件A的代碼中，該附件A形成本公開的不可分割的部分。通常，要用于推導(dǎo)一個(gè)或更多個(gè)視點(diǎn)的織錦應(yīng)該是可見場景像素的連接的圖，其中更大圖像區(qū)域被分配給更銳利地聚焦的和/或更重要的區(qū)域。這種織錦的產(chǎn)生通常包含以多個(gè)維度解決約束過少的(underconstrained)優(yōu)化問題。結(jié)果，存在用于改善等式(equation)的編碼側(cè)和捕獲的許多機(jī)會(huì)。
[0119]應(yīng)當(dāng)注意C代碼被提供作為示例?？楀\創(chuàng)建方法中的步驟可以以任何主要編程語言(諸如Perl、Python、C++、Java、Fortran等)被書寫，并且可以被實(shí)現(xiàn)以便在單獨(dú)的PC和多節(jié)點(diǎn)群集兩者上運(yùn)行。根據(jù)本公開的算法和方法的可執(zhí)行步驟可以被存儲(chǔ)在介質(zhì)、計(jì)算機(jī)、或計(jì)算機(jī)可讀介質(zhì)上。各個(gè)步驟可以以多個(gè)處理器模式或單個(gè)處理器模式被執(zhí)行。所有程序應(yīng)該能夠在最小修改的情況下在大多數(shù)單獨(dú)的PC上運(yùn)行。
[0120]有用的特性
[0121]通常，因?yàn)榭楀\圖像(諸如圖8和12A中示出的那些)包含歪曲以及有時(shí)遮蔽的圖像信息，所以織錦圖像可以允許基于織錦圖像中的圖像像素的不成比例的分配的分辨率的局部調(diào)整。這種分辨率的局部調(diào)整可以允許圖片中的重要的細(xì)節(jié)(例如，臉)的信息的分配而同時(shí)犧牲場景的周邊和離焦區(qū)域中的分辨率。
[0122]例如，可以從多個(gè)視角捕獲臉部特寫中的信息。雖然織錦圖像會(huì)可能是歪曲的(類似于圖8和12A中示出的那些)，但是織錦圖像可以基本上卷繞被攝體的頭使得重新投影可以輸出與被攝體的頭有關(guān)的高細(xì)節(jié)/分辨率圖像。關(guān)于被攝體的臉、左耳朵和右耳朵的信息可以被捕獲在從織錦導(dǎo)出的圖像中，幾乎好似臉和耳朵全部直接埋進(jìn)(facing into)照相機(jī)中。與從3-D照相機(jī)格子中的任何一個(gè)或多個(gè)視圖直接地呈現(xiàn)的情況下相比，臉部特寫可以看起來更大和/或具有更高細(xì)節(jié)/分辨率，并且可以包括來自多個(gè)視點(diǎn)的信息。與此對(duì)比，與根據(jù)從織錦直接地產(chǎn)生(在沒有調(diào)整的情況下)的最終視圖直接地呈現(xiàn)的情況下相比，不重要的背景可以獲得更少區(qū)域并且看起來更未聚焦，這是因?yàn)閷?duì)于背景通常需要更少分辨率，特別在它不清楚時(shí)。
[0123]除了為像素重新投影提供幾何形狀信息之外，3-D世界坐標(biāo)陣列提供關(guān)于源于改變視點(diǎn)的像素動(dòng)作的直接信息，其可以被代碼化系統(tǒng)利用來改善性能(例如，計(jì)算復(fù)雜性，精度和比特率)。通過利用3-D希耳伯特遍歷(Hilbert traversal)排序(order)視圖校正層，MPEG編碼也可以被用來減少這個(gè)數(shù)據(jù)子集的占地面積(footprint)。
[0124]分離的幾何形狀
[0125]小的分離的幾何形狀如果不小心地處理則可以導(dǎo)致輸出圖像中的可見性誤差。輸出圖像中的每個(gè)像素與深度值關(guān)聯(lián)。參考圖13A-13C，棋盤背景和汽車之間的深度值的不連續(xù)性產(chǎn)生與棋盤背景關(guān)聯(lián)的一組多邊形應(yīng)該與和汽車關(guān)聯(lián)的一組多邊形分離的確定，并且因此這些組多邊形不應(yīng)該被縫合在一起。將這些組多邊形縫合在一起會(huì)導(dǎo)致汽車附接于汽車后面的棋盤背景。
[0126]閾值可以被利用來確定是否存在足夠大的不連續(xù)性。這種確定確定了特定多邊形是否應(yīng)該被縫合在一起。例如，如圖13A-13C所示，在連接的網(wǎng)格中對(duì)于所有視圖汽車上的天線不能被表現(xiàn)，這是因?yàn)檫@種連接將創(chuàng)建從天線附接到天線后面的表面的大的三角形(1305,1310)。
[0127]用于處理這種誤差的一種示例性的方法是設(shè)定距離閾值，在該距離閾值之上特定幾何形狀被認(rèn)為分離并且分隔地呈現(xiàn)。如先前描述的，可以從連接(并且不連接)各個(gè)多邊形(例如，四邊形、三角形等)來形成網(wǎng)格。如果圖像的兩個(gè)方面(例如，前景中的汽車以及背景中的墻壁)之間的距離大于設(shè)定的距離閾值，則多邊形不被連接并且特定方面被認(rèn)為分離并且分隔地呈現(xiàn)。
[0128]如示出的，天線在1305和1310處連接到汽車，其表示汽車的部分和天線之間的深度差在閾值之下，而天線不連接到棋盤背景，其表示天線和棋盤背景之間的深度差在閾值之上。在沒有利用特定方法來處理這種小的分離的幾何形狀的情況下在呈現(xiàn)期間校正這些誤差將通常是計(jì)算上和存儲(chǔ)昂貴的。
[0129]另一種示例性的方法是留出(set aside)脫離織錦內(nèi)的主圖像的織錦的某一區(qū)域，其中這種信息(例如，紋理、幾何形狀等)可以被存儲(chǔ)。用于存儲(chǔ)分離/脫離的信息的區(qū)域的示例可以是圖11的1130中的那些不連接的區(qū)域。圍繞這個(gè)分配的區(qū)域的區(qū)域?qū)⒈辉O(shè)置有特殊的或非法的值以便破壞它與主圖像的連續(xù)性。該區(qū)域可以被存儲(chǔ)例如在織錦的周邊中以便不破壞被認(rèn)為連續(xù)的主圖像的部分。
[0130]這個(gè)區(qū)域相對(duì)于主圖像的其它部分通常是小的，因?yàn)樾〉膸缀涡螤钔ǔ？梢员话踩乇憩F(xiàn)為連續(xù)的，即使在除非小的幾何形狀碰巧非常接近于視圖平截頭體的原點(diǎn)才不是的情況下。在這種情況下，幾何形狀通常被認(rèn)為足夠大和/或足夠重要來批準(zhǔn)(warrant)織錦中的更大區(qū)域。在一些情況下，當(dāng)大的幾何形狀看起來快速移動(dòng)和/或模糊時(shí)可以為大的幾何形狀提供更低分辨率。因此，返回參考圖13A-13C，織錦圖像中的區(qū)域可以被分配以便將天線表現(xiàn)為分離的幾何形狀。
[0131]如先前討論所示，織錦圖像和它的對(duì)應(yīng)3-D世界坐標(biāo)可以被用來產(chǎn)生各個(gè)視圖的估計(jì)。這種圖像可以被用來形成電影，其中觀看者可以從織錦允許的無論什么視點(diǎn)觀看一系列的圖像。表現(xiàn)整個(gè)場景或其部分可以包含使用或產(chǎn)生附加信息(諸如用于場景的光源(例如，基于圖像的照明環(huán)境)的放置)或動(dòng)態(tài)地呈現(xiàn)其它對(duì)象到場景中。
[0132]在本公開中描述的方法和系統(tǒng)可以被實(shí)現(xiàn)在硬件、軟件、固件或其組合中。描述為塊、模塊或元件的特征可以被一起實(shí)現(xiàn)(例如，在諸如集成邏輯裝置之類的邏輯裝置中)或分離地實(shí)現(xiàn)(例如，作為分離的連接的邏輯裝置)。本公開的方法的軟件部分可以包括計(jì)算機(jī)可讀介質(zhì)，其包括在運(yùn)行時(shí)至少部分執(zhí)行描述的方法的指令。計(jì)算機(jī)可讀介質(zhì)可以包括例如隨機(jī)訪問存儲(chǔ)器(RAM)和/或只讀存儲(chǔ)器(ROM)并且可以是磁性的和/或光學(xué)的。指令可以由處理器(例如，數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)或現(xiàn)場可編程邏輯陣列(FPGA))運(yùn)行。
[0133]在該說明書中提到的所有專利和出版物可以表示本公開所屬的領(lǐng)域中的技術(shù)人員的技能水平。在本公開中引用的所有參考文獻(xiàn)通過參考被并入到如每個(gè)參考文獻(xiàn)已經(jīng)各自地通過參考全部被并入一樣的相同的程度。
[0134]上面陳述的示例被提供以便給予本領(lǐng)域技術(shù)人員對(duì)于如何制作和使用本公開的使用織錦編碼的多視圖圖像的表現(xiàn)和代碼化的實(shí)施例的完整的公開和描述，并且不意圖限制發(fā)明人把什么當(dāng)做它們的公開的范圍。用于實(shí)現(xiàn)本公開的上述的模式的修改可以由視頻領(lǐng)域中的技術(shù)人員使用，并且意圖在以下權(quán)利要求的范圍內(nèi)。
[0135]應(yīng)當(dāng)理解，本公開不限于特定方法或系統(tǒng)，其當(dāng)然可以改變。同樣，應(yīng)當(dāng)理解，在此使用的術(shù)語僅僅出于描述特定實(shí)施例的目的而不意圖是限制性的。如在本說明書和所附權(quán)利要求中使用的，除非內(nèi)容清楚地規(guī)定否則單數(shù)形式“一”、“一個(gè)”和“該”包括多個(gè)涉及的對(duì)象。除非內(nèi)容清楚地規(guī)定否則術(shù)語“多個(gè)”包括兩個(gè)或更多個(gè)涉及的對(duì)象。除非有定義，否則在此使用的所有技術(shù)的和科學(xué)的術(shù)語都具有與本公開所屬的領(lǐng)域中的技術(shù)人員通常理解的意思相同的意思。
[0136]已經(jīng)描述了本公開的許多實(shí)施例。然而，應(yīng)當(dāng)理解，在不脫離本公開的精神和范圍的情況下可以進(jìn)行各種修改。因此，其它實(shí)施例在以下權(quán)利要求的范圍之內(nèi)。
[0137]參考文獻(xiàn)的列表
[0138][1] J.P.Grossman, William Dally, 〃Point Sample Rendering' RenderingTechniques’98，Proceedings of thel998Eurographics Workshop on Rendering.[0139][2]Paul Rademacher and Gary Bishop，"Multiple-Center-of-ProjectionImages"，Proceedings of SIGGRAPH’98，website accessed September28, 2011.[0140]http://www.paulrademacher.com/unc/papers/Rademacher-mcop98.pdf
[0141][3]Erik Reinhardj Greg Ward, Sumant Pattanaikj Paul Debevecj High DynamicRange Imaging:Acquisition, Display, and Image-based Lighting, Morgan KaufmannPublishers, 2005.[0142][4]Maryann Simmons and Carlo Sequin，"Tapestry:Dynamic Mesh-basedDisplay representation for Interactive Rendering' Eurographics Workshop onRendering2000.[0143][5]M.Lang, A.Hornungj 0.Wang, S.Poulakosj A.Smolicj and M.Gross, "NonlinearDisparity Mapping for Stereoscopic3D〃(July2010).To appear in ACM Transactionson Graphics(Proc.SIGGRAPH).[0144][6]K.J.0h et al.,^Hole-Filling Method Using Depth Based In-painting forView Synthesis in Free Viewpoint Television and3D Video^(2009).Proc.PictureCoding Symposium (PCS), pp.1-4.[0145]? 2011 Dolby Licensing Corporation (17 USC 401).[0146]附件A
[0147]
【權(quán)利要求】
1.其上存儲(chǔ)有與場景關(guān)聯(lián)的織錦信息的一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中該織錦信息適合于推導(dǎo)場景的一個(gè)或更多個(gè)期望視圖，該織錦信息包括: 織錦圖像，其中該織錦圖像包括多個(gè)像素，該多個(gè)像素包括來自與場景關(guān)聯(lián)的多個(gè)視圖的信息；以及 坐標(biāo)圖，包括與織錦圖像的像素關(guān)聯(lián)的位置數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中與織錦圖像的像素關(guān)聯(lián)的位置數(shù)據(jù)包括織錦圖像中的每個(gè)像素的3-D世界坐標(biāo)。
3.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中與織錦圖像的像素關(guān)聯(lián)的位置數(shù)據(jù)包括用于織錦圖像中的每個(gè)像素的深度數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中與織錦圖像的像素關(guān)聯(lián)的位置數(shù)據(jù)還包括用于織錦圖像中的每個(gè)像素的水平視差數(shù)據(jù)和/或垂直視差數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中織錦信息還包括: 一個(gè)或更多個(gè)校正層，其中每一個(gè)校正層與場景的一個(gè)期望視圖關(guān)聯(lián)。
6.根據(jù)在先權(quán)利要求中任何一個(gè)所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中織錦信息還包括: 照相機(jī)格子，其中照相 機(jī)格子中的每個(gè)點(diǎn)與場景的一個(gè)期望視圖關(guān)聯(lián)。
7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)視圖包括關(guān)于與該視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向以及水平和垂直尺寸中的一個(gè)或更多個(gè)的信息。
8.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)視圖包括關(guān)于與該視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、水平和垂直尺寸以及校正層中的一個(gè)或更多個(gè)的信息。
9.一種用于根據(jù)織錦圖像產(chǎn)生場景的至少一個(gè)視圖的方法，該至少一個(gè)視圖中的每一個(gè)與場景的一個(gè)期望視點(diǎn)關(guān)聯(lián)，所述方法包括如下步驟: 提供織錦圖像； 提供與織錦圖像關(guān)聯(lián)的坐標(biāo)圖； 基于該織錦圖像和該坐標(biāo)圖來推導(dǎo)場景的一個(gè)或更多個(gè)視圖，以及 基于一個(gè)或更多個(gè)推導(dǎo)出的視圖來產(chǎn)生場景的至少一個(gè)視圖。
10.根據(jù)權(quán)利要求9所述的方法，還包括: 提供場景的參考圖像，每個(gè)參考圖像與一個(gè)期望視點(diǎn)關(guān)聯(lián)；以及 產(chǎn)生一個(gè)或更多個(gè)校正層，每個(gè)校正層與一個(gè)期望視點(diǎn)關(guān)聯(lián)，其中基于與特定期望視點(diǎn)關(guān)聯(lián)的參考圖像和與相同的特定期望視點(diǎn)關(guān)聯(lián)的推導(dǎo)出的視圖來產(chǎn)生與該特定期望視點(diǎn)關(guān)聯(lián)的校正層， 其中還基于該一個(gè)或更多個(gè)校正層來產(chǎn)生至少一個(gè)視圖。
11.根據(jù)權(quán)利要求10所述的方法，其中一個(gè)或更多個(gè)校正層中的每一個(gè)基于在與特定期望視點(diǎn)關(guān)聯(lián)的參考圖像和與相同的特定期望視點(diǎn)關(guān)聯(lián)的推導(dǎo)出的視圖之間的差別。
12.根據(jù)權(quán)利要求11所述的方法，其中該差別包括從與相同的特定期望視點(diǎn)關(guān)聯(lián)的推導(dǎo)出的視圖中的每個(gè)像素中減去與特定期望視點(diǎn)關(guān)聯(lián)的參考圖像中的對(duì)應(yīng)像素。
13.根據(jù)權(quán)利要求10-12中的任何一個(gè)所述的方法，其中該推導(dǎo)步驟包括對(duì)于該至少一個(gè)視圖中的每個(gè)視圖為來自該至少一個(gè)視圖的視圖添加來自一個(gè)或更多個(gè)校正層中的校正層，其中該視圖和該校正層與相同的期望視點(diǎn)關(guān)聯(lián)。
14.根據(jù)權(quán)利要求9-13中任何一個(gè)所述的方法，其中該推導(dǎo)步驟包括基于織錦圖像和坐標(biāo)圖執(zhí)行紋理區(qū)域填充。
15.根據(jù)權(quán)利要求9-14中任何一個(gè)所述的方法，其中提供織錦圖像的步驟包括: 從場景的至少一個(gè)視點(diǎn)拍攝場景的圖片；以及 從所拍攝的圖片中選擇一個(gè)圖片作為織錦圖像。
16.根據(jù)權(quán)利要求9-14中任何一個(gè)所述的方法，其中提供織錦圖像的步驟包括: 從場景的至少一個(gè)視點(diǎn)拍攝場景的圖片；以及 處理所拍攝的圖片中的一個(gè)或更多個(gè)以便產(chǎn)生織錦圖像。
17.根據(jù)權(quán)利要求9-14中任何一個(gè)所述的方法，其中提供織錦圖像的步驟包括: 對(duì)于場景的至少一個(gè)視點(diǎn)使用計(jì)算機(jī)產(chǎn)生場景的圖片；以及 從所產(chǎn)生的圖片中選擇一個(gè)圖片作為織錦圖像。
18.根據(jù)權(quán)利要求9-14中任何一個(gè)所述的方法，其中提供織錦圖像的步驟包括: 對(duì)于場景的至少一個(gè)視點(diǎn)使用計(jì)算機(jī)產(chǎn)生場景的圖片；以及 處理計(jì)算機(jī)產(chǎn)生的圖片·中的一個(gè)或更多個(gè)以便產(chǎn)生織錦圖像。
19.根據(jù)權(quán)利要求16或18所述的方法，其中處理織錦圖像的步驟包括: 從場景的該至少一個(gè)視圖中選擇一個(gè)或更多個(gè)視圖；以及 執(zhí)行基于所選的視圖的結(jié)合以便產(chǎn)生織錦圖像。
20.根據(jù)權(quán)利要求9-19中任何一個(gè)所述的方法，其中提供織錦圖像的步驟包括: 執(zhí)行場景的分析以便獲得與場景關(guān)聯(lián)的多個(gè)特征； 把多個(gè)特征中的每個(gè)特征從最重要到最不重要按優(yōu)先次序排列；以及 產(chǎn)生織錦圖像使得與更低重要性的特征相比更高分辨率被分配給更高重要性的特征。
21.根據(jù)權(quán)利要求20所述的方法，其中執(zhí)行分析的步驟基于重要性的人工分配、頻率分析和顯著度分析中的一個(gè)或更多個(gè)。
22.根據(jù)權(quán)利要求9-21中任何一個(gè)所述的方法，還包括產(chǎn)生照相機(jī)格子，其中該照相機(jī)格子包括來自織錦圖像的場景的至少一個(gè)圖像中的每個(gè)圖像的識(shí)別信息。
23.根據(jù)權(quán)利要求22所述的方法，其中特定圖像的識(shí)別信息包括特定圖像的視圖位置、視圖角、視圖方向、取向以及水平和垂直尺寸中的至少一個(gè)。
24.根據(jù)權(quán)利要求9-23中任何一個(gè)所述的方法，其中坐標(biāo)圖為深度圖。
25.一種適于接收?qǐng)鼍暗囊粋€(gè)或更多個(gè)輸入視圖的編碼系統(tǒng)，包括: 織錦產(chǎn)生器，適于基于該一個(gè)或更多個(gè)輸入視圖產(chǎn)生織錦圖像和坐標(biāo)圖；以及 編碼器，適于將織錦圖像和坐標(biāo)圖編碼成比特流。
26.根據(jù)權(quán)利要求25所述的編碼系統(tǒng)，還包括: 視圖產(chǎn)生單元，適于基于該織錦圖像和該坐標(biāo)圖來推導(dǎo)場景的一個(gè)或更多個(gè)視圖；以及 與視圖產(chǎn)生單元耦接的減法器，適于產(chǎn)生在一個(gè)或更多個(gè)推導(dǎo)出的視圖和一個(gè)或更多個(gè)輸入視圖之間的差別，每個(gè)差別是在特定視點(diǎn)的推導(dǎo)出的視圖和相同的特定視點(diǎn)的輸入視圖之間的差別，因此產(chǎn)生一個(gè)或更多個(gè)校正層，其中編碼器適于將織錦圖像、坐標(biāo)圖和一個(gè)或更多個(gè)校正層編碼成比特流。
27.根據(jù)權(quán)利要求25或26所述的編碼系統(tǒng)，其中: 編碼系統(tǒng)還適于接收照相機(jī)格子，照相機(jī)格子中的每個(gè)點(diǎn)與場景的一個(gè)輸入視圖關(guān)聯(lián)，以及 視圖產(chǎn)生單元適于進(jìn)一步基于照相機(jī)格子來推導(dǎo)場景的一個(gè)或更多個(gè)視圖。
28.根據(jù)權(quán)利要求27所述的編碼系統(tǒng)，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、以及水平和垂直尺寸中的一個(gè)或更多個(gè)的信息。
29.根據(jù)權(quán)利要求27所述的編碼系統(tǒng)，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、水平和垂直尺寸以及校正層中的一個(gè)或更多個(gè)的信息。
30.一種用于對(duì)與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)的信息進(jìn)行編碼的方法，該方法包括: 基于一個(gè)或更多個(gè)輸入視圖產(chǎn)生織錦圖像和坐標(biāo)圖；以及 將織錦圖像和坐標(biāo)圖編碼成比特流。
31.根據(jù)權(quán)利要求30所述的方法，還包括: 基于該織錦圖像和該坐標(biāo)圖來推導(dǎo)場景的一個(gè)或更多個(gè)視圖；以及 獲取在一個(gè)或更多個(gè)推導(dǎo)出的視圖和一個(gè)或更多個(gè)輸入視圖之間的差別以便產(chǎn)生一個(gè)或更多個(gè)校正層，每個(gè)差別在特定`視點(diǎn)的推導(dǎo)出的視圖和相同的特定視點(diǎn)的輸入視圖之間， 其中該編碼還包括將一個(gè)或更多個(gè)校正層編碼成比特流。
32.根據(jù)權(quán)利要求30或31所述的方法，還包括: 提供照相機(jī)格子，照相機(jī)格子中的每個(gè)點(diǎn)與場景的一個(gè)輸入視圖關(guān)聯(lián)， 其中該推導(dǎo)步驟還基于照相機(jī)格子。
33.根據(jù)權(quán)利要求32所述的方法，其中該編碼步驟還包括編碼照相機(jī)格子。
34.根據(jù)權(quán)利要求32或33所述的方法，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、以及水平和垂直尺寸中的一個(gè)或更多個(gè)的信息。
35.根據(jù)權(quán)利要求32或33所述的方法，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、水平和垂直尺寸以及校正層中的一個(gè)或更多個(gè)的信息。
36.一種適于接收與場景關(guān)聯(lián)的比特流并且產(chǎn)生一個(gè)或更多個(gè)輸出圖像的解碼系統(tǒng)，該解碼系統(tǒng)包括: 解碼器，適于根據(jù)該比特流解碼織錦圖像和坐標(biāo)圖，其中該織錦圖像和該坐標(biāo)圖與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)；以及 視圖產(chǎn)生單元，適于基于該織錦圖像和該坐標(biāo)圖來推導(dǎo)場景的一個(gè)或更多個(gè)輸出圖像。
37.根據(jù)權(quán)利要求36所述的解碼系統(tǒng)，其中: 解碼器還適于解碼一個(gè)或更多個(gè)校正層，每個(gè)校正層與場景的一個(gè)輸入視圖關(guān)聯(lián)，以及 視圖產(chǎn)生單元適于進(jìn)一步基于一個(gè)或更多個(gè)校正層來推導(dǎo)場景的一個(gè)或更多個(gè)輸出圖像。
38.根據(jù)權(quán)利要求36或37所述的解碼系統(tǒng)，其中: 該解碼器還適于解碼照相機(jī)格子，以及 視圖產(chǎn)生單元適于進(jìn)一步基于照相機(jī)格子來推導(dǎo)場景的一個(gè)或更多個(gè)輸出圖像，其中照相機(jī)格子中的每個(gè)點(diǎn)與場景的一個(gè)輸入視圖關(guān)聯(lián)。
39.根據(jù)權(quán)利要求37或38所述的解碼系統(tǒng)，其中視圖產(chǎn)生單元適于基于織錦圖像和坐標(biāo)圖來推導(dǎo)第一組圖像，該解碼系統(tǒng)還包括: 結(jié)合單元，適于將來自第一組圖像中的圖像與對(duì)應(yīng)的校正層結(jié)合以便產(chǎn)生該一個(gè)或更多個(gè)輸出圖像中的輸出圖像，其中來自第一組圖像中的該圖像、該校正層和所產(chǎn)生的輸出圖像與場景的相同的輸入視圖關(guān)聯(lián)。
40.根據(jù)權(quán)利要求38或39所述的解碼系統(tǒng)，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、以及水平和垂直尺寸中的一個(gè)或更多個(gè)的信息。
41.根據(jù)權(quán)利要求38或39所述的解碼系統(tǒng)，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、水平和垂直尺寸以及校正層中的一個(gè)或更多個(gè)的信息。
42.根據(jù)權(quán)利要求36-41中任何一個(gè)所述的解碼系統(tǒng)，其中視圖產(chǎn)生單元適于通過基于織錦圖像和坐標(biāo)圖執(zhí)行·紋理區(qū)域填充來推導(dǎo)場景的一個(gè)或更多個(gè)輸出圖像。
43.一種用于對(duì)與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)的信息進(jìn)行解碼的方法，該方法包括: 根據(jù)該比特流解碼織錦圖像和坐標(biāo)圖，其中該織錦圖像和該坐標(biāo)圖與場景的一個(gè)或更多個(gè)輸入視圖關(guān)聯(lián)；以及 基于該織錦圖像和該坐標(biāo)圖來推導(dǎo)場景的一個(gè)或更多個(gè)輸入視圖。
44.根據(jù)權(quán)利要求43所述的方法，其中: 該解碼步驟還包括根據(jù)比特流解碼一個(gè)或更多個(gè)校正層，每個(gè)校正層與場景的一個(gè)輸入視圖關(guān)聯(lián)，以及 該推導(dǎo)步驟還基于一個(gè)或更多個(gè)校正層。
45.根據(jù)權(quán)利要求43或44所述的方法，其中: 該解碼步驟還包括根據(jù)比特流解碼照相機(jī)格子，照相機(jī)格子中的每個(gè)點(diǎn)與場景的一個(gè)輸入視圖關(guān)聯(lián)，以及 該推導(dǎo)步驟還基于照相機(jī)格子。
46.根據(jù)權(quán)利要求44或45所述的方法，其中該推導(dǎo)步驟包括: 基于該織錦圖像和該坐標(biāo)圖來產(chǎn)生第一組圖像，以及 將來自第一組圖像中的圖像與對(duì)應(yīng)的校正層結(jié)合以便推導(dǎo)該一個(gè)或更多個(gè)輸入視圖中的一個(gè)視圖，其中該圖像、該校正層和所推導(dǎo)出的視圖與場景的相同的輸入視圖關(guān)聯(lián)。
47.根據(jù)權(quán)利要求45或46所述的方法，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、以及水平和垂直尺寸中的一個(gè)或更多個(gè)的信息。
48.根據(jù)權(quán)利要求45或46所述的方法，其中照相機(jī)格子中的每個(gè)點(diǎn)對(duì)于場景的每個(gè)輸入視圖包括關(guān)于與該輸入視圖關(guān)聯(lián)的視圖位置、視圖角、視圖方向、取向、水平和垂直尺寸以及校正層中的一個(gè)或更多個(gè)的信息。
49.根據(jù)權(quán)利要求43-48中任何一個(gè)所述的方法，其中該推導(dǎo)步驟包括基于織錦圖像和坐標(biāo)圖來執(zhí)行紋理區(qū)域填充。
50.一種系統(tǒng)，用于顯示根據(jù)權(quán)利要求9-24中任何一個(gè)所述的方法產(chǎn)生的圖像。
51.根據(jù)權(quán)利要求50所述的系統(tǒng)，其中該系統(tǒng)為自動(dòng)立體電視系統(tǒng)。
52.根據(jù)權(quán)利要求50所述的系統(tǒng)，其中該系統(tǒng)為自由點(diǎn)電視系統(tǒng)。
53.根據(jù)權(quán)利要求50所述的系統(tǒng)，其中該系統(tǒng)為增強(qiáng)現(xiàn)實(shí)系統(tǒng)，其中傳輸作為織錦圖像的三維信息與二維圖像結(jié)合。
54.一種系統(tǒng)，用于根據(jù)在權(quán)利要求30-35中的一個(gè)或更多個(gè)中敘述的方法編碼視頻信號(hào)。
55.一種系統(tǒng)，用于根據(jù)在權(quán)利要求43-49中的一個(gè)或更多個(gè)中敘述的方法解碼比特流。
56.一種計(jì)算機(jī)可讀介質(zhì)，包含一組指令，該指令使得計(jì)算機(jī)執(zhí)行在權(quán)利要求9-24、30-35以及43-49中的一個(gè)或更多個(gè)中敘述的方法。
57.在權(quán)利要求9-24中的一個(gè)`或更多個(gè)中敘述的方法的使用,用于產(chǎn)生場景的至少一個(gè)視圖。
58.在權(quán)利要求30-35中的一個(gè)或更多個(gè)中敘述的方法的使用，用于編碼視頻信號(hào)。
59.在權(quán)利要求43-49中的一個(gè)或更多個(gè)中敘述的方法的使用，用于解碼比特流。
【文檔編號(hào)】H04N13/00GK103828359SQ201280047498
【公開日】2014年5月28日 申請(qǐng)日期:2012年9月27日 優(yōu)先權(quán)日:2011年9月29日
【發(fā)明者】G·J·沃德, S·戴勒 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司