用于在渲染圖像中使用的可重新照明紋理的制作方法
【技術(shù)領(lǐng)域】
[0001] 本公開涉及用于在渲染圖像中使用的可重新照明紋理。
【背景技術(shù)】
[0002] 可以從照相機(jī)的視點(diǎn)捕捉場(chǎng)景的圖像。在一些情況下，可以有捕捉場(chǎng)景的不同圖 像的一個(gè)以上的照相機(jī)。場(chǎng)景的每一個(gè)圖像表示來自相應(yīng)的照相機(jī)的視點(diǎn)的場(chǎng)景的視圖。 但是，將存在場(chǎng)景的一些視點(diǎn)會(huì)不對(duì)應(yīng)照相機(jī)視點(diǎn)的任何一個(gè)。圖像可以是一幀視頻序列。 諸如自由視點(diǎn)視頻渲染（FVVR)的技術(shù)允許基于來自多個(gè)照相機(jī)視點(diǎn)的場(chǎng)景的一組多個(gè)視 圖生成表示場(chǎng)景的新視圖的圖像。優(yōu)選校準(zhǔn)照相機(jī)且彼此同步以促進(jìn)推斷場(chǎng)景的中間圖 像。
[0003] 基于場(chǎng)景的不同圖像，例如使用多視圖立體（MVS)可構(gòu)建場(chǎng)景幾何的模型，并且 可形成可以應(yīng)用于該模型的紋理（texture)。該紋理可以通過投射地使具有原始圖像的場(chǎng) 景幾何紋理化并混合所投射的圖像而形成。然后具有該紋理的模型可用于從可以與照相機(jī) 視點(diǎn)之一相同或不同的渲染視點(diǎn)來渲染場(chǎng)景。除從渲染視點(diǎn)重新構(gòu)建"真實(shí)世界"場(chǎng)景外， 真實(shí)世界場(chǎng)景的內(nèi)容可以與電腦生成的或真實(shí)世界的其它場(chǎng)景內(nèi)容一起被渲染。
[0004] 術(shù)語"幾何"用于本領(lǐng)域中，且在本文中指場(chǎng)景中計(jì)算機(jī)生成的對(duì)象表面的表 示，從而該幾何允許對(duì)場(chǎng)景中對(duì)象的形狀、大小和位置建模。該幾何可被紋理化，從而將 紋理（例如限定顏色和其它表面細(xì)節(jié)）應(yīng)用于幾何以便表示場(chǎng)景中對(duì)象的外觀。從真實(shí) 場(chǎng)景的多個(gè)圖像重建的幾何在本文中可被稱為"代理（proxy)"或"幾何代理（geometric proxy)"。幾何通常是三角形網(wǎng)格，盡管其它的表示（諸如點(diǎn)云）是可能的。
[0005] 當(dāng)生成新的場(chǎng)景視點(diǎn)時(shí)，特別是當(dāng)將內(nèi)容集成到與所捕捉的那些不同的周圍環(huán) 境中時(shí)，可能需要考慮若干事宜。例如，對(duì)場(chǎng)景重新照明可能是困難的。從由照相機(jī)捕 捉的圖像提取的紋理（例如視頻序列幀）具有隱含的真實(shí)世界照明信息，使得照明偽影 (artefacts)存在（即"烤入（baked-in)"）于紋理中。
[0006] 解決如何對(duì)新視點(diǎn)的紋理重新照明的問題的一種方法是當(dāng)照相機(jī)捕捉場(chǎng)景的不 同視圖時(shí)控制場(chǎng)景的照明。例如，漫射（diffuse)照明可用于最初的視頻捕捉，以避免產(chǎn)生 過量的陰影區(qū)域和鏡面反射（specularities)，它們會(huì)損害使用所提取的紋理渲染的場(chǎng)景 的似真性（plausibility)。照明中變化的影響可通過估計(jì)紋理的材料屬性（例如本征顏色 (反照率（albedo))和精細(xì)細(xì)節(jié)（表面法線））來重現(xiàn)，以用于隨后使用常規(guī)的計(jì)算機(jī)圖形 技術(shù)來重新照明（relighting)。這可以使用主動(dòng)照明（或"光級(jí)（light-stage)"）布置來 解決，其中在各種校準(zhǔn)的照明條件下捕捉場(chǎng)景的圖像，同時(shí)使紋理的材料屬性（諸如本征 顏色，或"反照率"，和表面的精細(xì)細(xì)節(jié)）被適配到圖像。然而，該方法需要昂貴的設(shè)備，并且 通常限于靜態(tài)場(chǎng)景。用任意的照明布置對(duì)場(chǎng)景重新照明是相當(dāng)?shù)馗犹魬?zhàn)的。

【發(fā)明內(nèi)容】

[0007] 提供本
【發(fā)明內(nèi)容】
從而以簡(jiǎn)化形式介紹在下文的【具體實(shí)施方式】中進(jìn)一步描述的構(gòu) 思的選擇。本
【發(fā)明內(nèi)容】
不意圖識(shí)別所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不意圖用 于限制所要求保護(hù)的主題的范圍。
[0008] 提供了一種確定在場(chǎng)景的一個(gè)或多個(gè)圖像中可見的對(duì)象表面的表面法線估計(jì)的 方法，其中，該對(duì)象表示為從場(chǎng)景的一個(gè)或多個(gè)圖像構(gòu)建的幾何，該方法包括：獲得對(duì)象表 面的表面法線估計(jì)，該表面法線估計(jì)表示第一表面法線場(chǎng)；基于第一表面法線場(chǎng)的保守分 量來構(gòu)建對(duì)象的所述表面的高度映射；使用該高度映射來確定對(duì)象表面的細(xì)化表面法線估 計(jì)，該細(xì)化表面法線估計(jì)表示對(duì)象的所述表面的保守表面法線場(chǎng)；以及存儲(chǔ)細(xì)化表面法線 估計(jì)用于在渲染對(duì)象的圖像中的后續(xù)使用。
[0009] 提供一種圖像處理系統(tǒng)，其被配置為確定在場(chǎng)景的一個(gè)或多個(gè)圖像中可見的對(duì)象 表面的表面法線估計(jì)，其中該圖像處理系統(tǒng)被配置為獲得表示對(duì)象的幾何，其中該幾何是 從場(chǎng)景的一個(gè)或多個(gè)圖像而構(gòu)建的，該圖像處理系統(tǒng)包括：第一表面法線邏輯，被配置成獲 得對(duì)象表面的表面法線估計(jì)，該表面法線估計(jì)表示第一表面法線場(chǎng)；高度映射構(gòu)建邏輯，被 配置為基于第一表面法線場(chǎng)的保守分量來構(gòu)建對(duì)象的所述表面的高度映射；第二表面法線 邏輯，被配置為使用該高度映射來確定對(duì)象表面的細(xì)化表面法線估計(jì)，該細(xì)化表面法線估 計(jì)表示對(duì)象的所述表面的保守表面法線場(chǎng)；以及存儲(chǔ)，被配置為存儲(chǔ)細(xì)化表面法線估計(jì)用 于在渲染對(duì)象的圖像中的后續(xù)使用。
[0010] 可以提供計(jì)算機(jī)可讀代碼，其被適配為當(dāng)該代碼在計(jì)算機(jī)上運(yùn)行時(shí)以執(zhí)行本文描 述的任何方法的步驟。此外，可以提供用于產(chǎn)生被配置以執(zhí)行本文描述的任何方法的處理 塊（block)的計(jì)算機(jī)可讀代碼。計(jì)算機(jī)可讀代碼可被編碼在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上。
[0011] 上述特征可以視情況組合，且正如對(duì)本領(lǐng)域技術(shù)人員顯而易見的，上述特征可以 與本文描述的示例的任何方面組合。
【附圖說明】
[0012] 現(xiàn)在參照附圖詳細(xì)描述示例，附圖中：
[0013] 圖1表示其中布置多個(gè)照相機(jī)捕捉場(chǎng)景的不同圖像的布置；
[0014] 圖2是圖像處理系統(tǒng)的不意圖；
[0015] 圖3是確定可重新照明紋理的本征顏色分量和一組表面法線用于在任意照明條 件下從渲染視點(diǎn)渲染圖像的方法的流程圖；
[0016] 圖4示出圖3所示流程圖的步驟之一的更詳細(xì)的視圖；
[0017] 圖5示出來自兩個(gè)照相機(jī)視點(diǎn)的場(chǎng)景的兩個(gè)視圖；并且示出從渲染視點(diǎn)的場(chǎng)景的 經(jīng)渲染的圖像；
[0018] 圖6示出將原始圖像分離成顏色估計(jì)和陰影估計(jì)的兩個(gè)示例；
[0019] 圖7示出第一表面法線估計(jì)的分量和細(xì)化表面法線估計(jì)的分量的示例；
[0020] 圖8示出其中可以實(shí)現(xiàn)圖像處理系統(tǒng)的計(jì)算機(jī)系統(tǒng)。
[0021] 附圖示出各種示例。本領(lǐng)域技術(shù)人員將意識(shí)到附圖中所圖示的要素邊界（例如框 (box)、框的組或其它形狀）表示邊界的一個(gè)示例?？梢栽谝恍┦纠?，一個(gè)要素可被設(shè)計(jì) 為多個(gè)要素或者多個(gè)要素可被設(shè)計(jì)為一個(gè)要素。適當(dāng)?shù)那闆r下共同附圖標(biāo)記被貫穿附圖用 于指示類似的特征。
【具體實(shí)施方式】
[0022] 現(xiàn)僅通過示例的方式描述實(shí)施例。本文詳細(xì)描述的示例涉及自由視點(diǎn)渲染，但確 定可重新照明的紋理的相同原理可適用于其它示例，例如其中僅有一個(gè)照相機(jī)（而不是如 自由視點(diǎn)渲染中的多個(gè)照相機(jī)）可移動(dòng)以從不同角度捕捉場(chǎng)景的多個(gè)視圖，和/或其中渲 染視點(diǎn)與照相機(jī)視點(diǎn)相同的示例。
[0023] 自由視點(diǎn)渲染允許生成圖像以基于來自多個(gè)照相機(jī)視點(diǎn)的場(chǎng)景的一組多個(gè)圖像 來提供場(chǎng)景的新的視圖。作為一個(gè)示例，所生成的圖像可以是所生成的視頻序列內(nèi)的幀。自 由視點(diǎn)視頻渲染（FVVR)是參照使用一組照相機(jī)捕捉的視頻數(shù)據(jù)而隨時(shí)間變化的場(chǎng)景的新 視圖的合成。大多數(shù)標(biāo)準(zhǔn)FVVR系統(tǒng)不支持場(chǎng)景的重新照明。然而，本文描述的示例當(dāng)從新 的視點(diǎn)渲染場(chǎng)景時(shí)允許場(chǎng)景被重新照明并且在任意照明條件下觀察。例如，這可以用于對(duì) 演員的表現(xiàn)重新照明，用于無縫合成任意的真實(shí)世界和/或計(jì)算機(jī)生成的周圍環(huán)境，其可 以具有與其中演員的圖像被捕捉的那些不同的照明條件。例如，在圖像表示一幀視頻序列 的地方，本文描述的示例涉及"可重新照明的FVVR"。場(chǎng)景的外觀可表示為多個(gè)參數(shù)的函數(shù)， 該參數(shù)包括：（i)場(chǎng)景中對(duì)象的本征顏色（其可被稱為"反照率"），（ii)場(chǎng)景中對(duì)象表面的 表面法線，（iii)場(chǎng)景中表面的鏡面反射，以及（iv)場(chǎng)景照明（lighting)。在本文描述的 方法中，場(chǎng)景的外觀分解為這四個(gè)參數(shù)的估計(jì)，且顏色估計(jì)（即反照率估計(jì)）和表面法線可 被用于后續(xù)在任意的照明條件下從渲染視點(diǎn)渲染場(chǎng)景的圖像。將場(chǎng)景的外觀分離成四個(gè)參 數(shù)并不是一個(gè)簡(jiǎn)單的問題，特別是如果其中捕捉場(chǎng)景圖像的場(chǎng)景照明是未知的。例如，確定 具有明亮的本征顏色但照明不足的表面與良好照明但有較暗本征顏色的表面之間的差異， 這并不是不重要的。也就是說，經(jīng)常存在陰影（shading)和反照率之間的模糊性。
[0024] 當(dāng)場(chǎng)景包括由場(chǎng)景照明引起的場(chǎng)景中對(duì)象表面上的鏡面反射分量時(shí)，陰影和反 照率之間的模糊性特別難以解決。本文描述的一些示例允許原始圖像的鏡面反射分量與 漫射圖像分量分離開。術(shù)語"漫射（diffuse)"在本文中使用并且可被解釋為"不光滑的 (matte)"或"非鏡面反射的"的含義。然后漫射圖像分量（沒有鏡面反射分量）可用來解 決陰影和反照率之間的模糊性。通過將鏡面反射分量與漫射分量分離開，基于漫射照明模 型（例如朗伯（Lambertian)光照模型）適于解決陰影和反照率之間的模糊性的方法可用 于具有顯著鏡面反射分量的場(chǎng)景，即用于鏡面反射分量是不可忽略的場(chǎng)景。
[0025] 另外，本文描述的一些示例允許表面法線被細(xì)化使得它們更好地表示物理表面。 這是基于對(duì)象的物理表面的表面法線表示保守表面法線場(chǎng)的認(rèn)識(shí)、通過強(qiáng)制執(zhí)行表面法線 場(chǎng)的保守主義而實(shí)現(xiàn)的。
[0026] 此外，本文描述的一些示例提供了用于處理場(chǎng)景中投射陰影（castshadow) 的方法。這允許當(dāng)確定場(chǎng)景中樣本位置的福照（irradiance)估計(jì)時(shí)局部閉塞（local occlusion)被考慮在內(nèi)。這是通過忽略局部閉塞確定初始福照估計(jì)、然后使用該初始福照 估計(jì)與場(chǎng)景幾何的知識(shí)來確定場(chǎng)景的依賴角度的福射（radiance)估計(jì)而實(shí)現(xiàn)的。然后這 種輻射估計(jì)可與場(chǎng)景幾何的知識(shí)一起使用，以確定場(chǎng)景內(nèi)樣本位置的局部輻照估計(jì)。
[0027] 圖1示出為場(chǎng)景的一部分的對(duì)象（例如，人102)。圖1中示出八個(gè)照相機(jī)104$ l〇4s，它們從相應(yīng)照相機(jī)視點(diǎn)捕捉場(chǎng)景的不同圖像。然而，用于捕捉場(chǎng)景圖像的系統(tǒng)不限于 使用八個(gè)照相機(jī)，且在其它示例中可使用不同數(shù)目的照相機(jī)（例如，少于八個(gè)或多于八個(gè) 的照相機(jī)）來捕捉場(chǎng)景的圖像。在圖1所示的示例中，場(chǎng)景包括考慮到相對(duì)于簡(jiǎn)單（plain， 例如單色）背景的所有八個(gè)照相機(jī)104的人102。由照相機(jī)104捕捉的圖像可以是視頻序 列幀，但在其它示例中，照相機(jī)捕捉場(chǎng)景的圖像用于在單個(gè)時(shí)間點(diǎn)渲染圖像中使用，也即， 經(jīng)渲染的圖像可能不是一個(gè)視頻序列幀。在該示例中，參照共同的坐標(biāo)系來校準(zhǔn)照相機(jī)，且 以同步定時(shí)捕捉由每個(gè)照相機(jī)104所捕捉的視頻幀。此外，盡管不是必要的，如果所有照相 機(jī)具有相同的操作參數(shù)，例如相同的像素?cái)?shù)，相同的格式協(xié)議等，則可以簡(jiǎn)化圖像處理系統(tǒng) 的實(shí)現(xiàn)方式，從而使得可以組合表示場(chǎng)景視圖的圖像數(shù)據(jù)而無需將由一個(gè)或多個(gè)照相機(jī)捕 捉的數(shù)據(jù)轉(zhuǎn)換成不同格式的進(jìn)一步步驟。八個(gè)照相機(jī)104提供場(chǎng)景的八個(gè)不同的照相機(jī)視 點(diǎn)。然而，使用FVVR，可從可能與任何照相機(jī)視點(diǎn)不同的渲染視點(diǎn)來渲染場(chǎng)景。例如，圖1 示出了不同于所有八個(gè)照相機(jī)視點(diǎn)的渲染視點(diǎn)。如果照相機(jī)同步，則所有照相機(jī)會(huì)同時(shí)捕 捉場(chǎng)景的每個(gè)視圖。在其它示例中，可能使用不同步的照相機(jī)，但組合場(chǎng)景的不同視圖會(huì)變 得更困難，因?yàn)闀r(shí)間以及空間成為組合場(chǎng)景的視圖要考慮的變量。
[0028] 圖5示出了從照相機(jī)10尖的視點(diǎn)獲得的場(chǎng)景的第一圖像502。場(chǎng)景包括簡(jiǎn)單背景 下的人102。圖5還示出了從照相機(jī)104 2的視點(diǎn)獲得的場(chǎng)景的第二圖像504。圖5還示出 了來自已經(jīng)根據(jù)本文描述的方法從渲染視點(diǎn)渲染的場(chǎng)景的新視圖506?？梢钥闯觯秩疽朁c(diǎn) 位于照相機(jī)1〇尖和104 2的照相機(jī)視點(diǎn)之間。
[0029] 圖2示出了圖像處理系統(tǒng)200 (例如，在圖像是視頻序列幀的情況下的視頻處理 系統(tǒng)），其包括處理塊202和存儲(chǔ)228。處理塊202包括：場(chǎng)景分析邏輯204、顏色校準(zhǔn)邏輯 205、鏡面反射分離邏輯206、鏡面反射輻射估計(jì)邏輯208、投射紋理邏輯210、場(chǎng)景照明估計(jì) 邏輯212、陰影估計(jì)邏輯214、第一表面法線邏輯216、高度映射構(gòu)建邏輯218、第二表面法線 邏輯220和鏡面反射顏色估計(jì)邏輯222。場(chǎng)景照明估計(jì)邏輯212包括附加陰影處理邏輯213 和