用于在渲染圖像時使用的可重照紋理的制作方法【專利說明】用于在渲染圖像時使用的可重照紋理【
背景技術：
】[0001]圖像可以表示場景的如從相機的視點捕獲的視圖。在一些情況下，可以存在多于一個捕獲場景的不同視圖的相機。然而，場景會存在與任何相機視點都不對應的一些視點。圖像可以是視頻序列幀。諸如自由視點視頻渲染（FVVR)之類的技術允許基于場景的來自多個相機視點的一組多個視圖來生成場景的新視圖。相機優(yōu)選地被彼此校準和同步，以使得能夠正確地組合場景的視圖。[0002]基于場景的不同視圖，可以例如使用多視圖立體（MVS)來構造場景幾何形狀的模型，并且可以形成可以適用于該模型的紋理。可以通過使用原始圖像以投影方式對場景幾何形狀進行紋理化并且混合經投影的圖像來形成紋理。然后，可以使用具有紋理的模型來從渲染視點渲染場景，渲染視點可以與相機視點之一相同或者不同。除了從渲染視點重新創(chuàng)建"真實世界"場景以外，還可以使真實世界場景的內容與計算機生成的內容混合。[0003]存在大量可能在生成場景的新視點時需要考慮的問題。例如，對場景的重照可能是困難的。從通過相機捕獲的圖像（例如視頻序列幀）中提取的紋理具有隱含的真實世界的光照信息，使得光照偽像存在（即"被預燒"）于紋理中。[0004]-種解決如何針對新視點而對紋理進行重照這一問題的方式是控制在相機捕獲場景的不同視圖時對場景的光照。例如，可以在初始視頻捕獲中使用漫射光照，以避免產生過量的底紋（shaded)區(qū)域和鏡面反射，過量的底紋區(qū)域和鏡面反射會破壞使用經提取的紋理渲染的場景的似真性?？梢宰詣咏鉀Q光照變化的影響，但是這可能需要有源光照布置，在有源光照布置中，在各種經校準的光照條件下捕獲場景，以便推斷紋理的素材(material)屬性。然而，使用任意光照布置對場景進行重照是相當有挑戰(zhàn)性的。類似的挑戰(zhàn)適用于使用任意光照布置來對紋理進行重照，而不管如何根據場景的經捕獲的圖像來形成紋理，例如僅在使用一個相機來從單個相機視點捕獲場景的圖像時和/或在渲染視點與相機視點之一相同時?！?br/>發(fā)明內容】[0005]提供本"【
發(fā)明內容】"以介紹簡化形式的概念的選擇，以下在"【具體實施方式】"中進一步描述這些概念。本"【
發(fā)明內容】"并非意在標識要求保護的主題的關鍵特征或者必要特征，也并非意在用于限制要求保護的主題的范圍。[0006]提供了一種確定可重照（relightable)紋理的色彩分量和表面法線的集合以用于在任意光照條件下從渲染視點來渲染圖像時使用的方法，其中場景的來自相應的至少一個相機視點的至少一個視圖表示圖像，該方法包括：分析場景的至少一個視圖以估計場景幾何形狀并且將初始紋理分段成多個素材，初始紋理可分離成色彩估計（colorestimate)和對應的底紋估計（shadingestimate);針對素材中的每個素材確定初始粗略色彩估計；確定一個或多個比例因子，用于對初始粗略色彩估計中的相應的一個或多個初始粗略色彩估計定標，比例因子基于在與素材的初始粗略色彩估計的經定標的版本對應的底紋估計的基礎上針對素材確定的輻照度估計之間的差異被確定；使用所確定的比例因子來針對場景確定全局輻照度函數；使用全局輻照度函數和初始紋理來確定另外的色彩估計以及對應的另外的底紋估計，其中另外的色彩估計表示可重照紋理的色彩分量；以及使用全局輻照度函數和另外的底紋估計來確定表面法線的集合。[0007]還提供了一種圖像處理裝置，其被配置成確定可重照紋理的色彩分量和表面法線的集合以用于在任意光照條件下從渲染視點來渲染圖像時使用，其中場景的來自相應的至少一個相機視點的至少一個視圖表示圖像，該圖像處理裝置包括：場景分析邏輯，被配置成分析場景的至少一個視圖以估計場景幾何形狀并且將初始紋理分段成多個素材，初始紋理可分離成色彩估計和對應的底紋估計；粗略色彩估計邏輯，被配置成針對素材中的每個素材確定初始粗略色彩估計；比例因子確定邏輯，被配置成確定一個或多個比例因子，用于對初始粗略色彩估計中的相應的一個或多個初始粗略色彩估計定標，定標邏輯被配置成基于在與素材的初始粗略色彩估計的經定標的版本對應的底紋估計的基礎上針對素材確定的輻照度估計之間的差異來確定比例因子；全局輻照度確定邏輯，被配置成使用所確定的比例因子來針對場景確定全局輻照度函數；紋理分離邏輯，被配置成使用全局輻照度函數和初始紋理來確定另外的色彩估計以及對應的另外的底紋估計，其中另外的色彩估計表示可重照紋理的色彩分量；以及表面法線確定邏輯，被配置成使用全局輻照度函數和另外的底紋估計來確定表面法線的集合。[0008]還提供了一種圖像處理系統(tǒng)，其被配置成確定可重照紋理的色彩分量和表面法線的集合以用于在任意光照條件下從渲染視點來渲染圖像時使用，其中場景的來自相應的至少一個相機視點的至少一個視圖表示圖像，該圖像處理系統(tǒng)包括處理塊，處理塊被配置成：分析場景的至少一個視圖以估計場景幾何形狀并且將初始紋理分段成多個素材，初始紋理可分離成色彩估計和對應的底紋估計；針對素材中的每個素材確定初始粗略色彩估計；確定一個或多個比例因子，用于對初始粗略色彩估計中的相應的一個或多個初始粗略色彩估計定標，比例因子基于在與素材的初始粗略色彩估計的經定標的版本對應的底紋估計的基礎上針對素材確定的輻照度估計之間的差異被確定；使用所確定的比例因子來針對場景確定全局輻照度函數；使用全局輻照度函數和初始紋理來確定另外的色彩估計以及對應的另外的底紋估計，其中另外的色彩估計表示可重照紋理的色彩分量；以及使用全局輻照度函數和另外的底紋估計來確定表面法線的集合。[0009]還可以提供一種計算機程序產品，其被配置成確定可重照紋理的色彩分量和表面法線的集合以用于在任意光照條件下從渲染視點來渲染圖像時使用，該計算機程序產品被包含在計算機可讀存儲介質上并且被配置以便當在處理器上被執(zhí)行時執(zhí)行本文所描述的示例中的任何示例的方法。另外，還可以提供一種計算機可讀存儲介質，其具有在其上被編碼的計算機可讀程序代碼，該計算機可讀程序代碼用于生成處理塊，處理塊被配置成執(zhí)行本文所描述的示例中的任何示例的方法。[0010]可以適當組合以上特征，這對于本領域技術人員而言將是清楚的，并且可以將以上特征與本文所描述的示例的任何方面進行組合。【附圖說明】[0011]現在將參考附圖來詳細描述示例，在附圖中：[0012]圖1表示其中多個相機被布置成捕獲場景的不同視圖的布置；[0013]圖2是圖像處理系統(tǒng)的示意圖；[0014]圖3a是確定可重照紋理的色彩分量和表面法線的集合以用于在任意光照條件下從渲染視點來渲染圖像時使用的過程的流程圖；[0015]圖3b示出圖3a所示的流程圖的步驟中的一些步驟的更詳細的視圖；[0016]圖4示出場景的來自2個相機視點的2個視圖，并且示出對于該場景的來自渲染視點的經渲染的圖像；[0017]圖5a示出初始紋理的2個素材；[0018]圖5b示出作為圖5a所示的2個素材的底紋估計的投影的輻照度估計；[0019]圖5c示出2個素材的輻照度估計的交疊；[0020]圖6示出將原始圖像分成色彩估計和底紋估計的2個示例；[0021]圖7示出將初始紋理分成色彩估計和底紋估計的結果的示例以及在不同光照布置下的2個經重照的紋理；以及[0022]圖8示出可以在其中實現圖像處理系統(tǒng)的計算機系統(tǒng)。[0023]在適當的時候，遍及附圖使用共同的附圖標記以指示相似的特征?！揪唧w實施方式】[0024]現在將僅通過舉例的方式來描述實施例。本文中詳細描述的示例涉及自由視點渲染，但是可以將相同的確定可重照紋理的原理應用于其它示例，例如其中僅存在一個可以移動以從不同角度捕獲場景的多個視圖的相機（而非如在自由視點渲染中存在多個相機）的示例，和/或其中渲染視點與相機視點相同的示例。[0025]自由視點渲染允許基于場景的來自多個相機視點的一組多個視圖來生成圖像以提供場景的新視圖。作為示例，所生成的圖像可以是所生成的視頻序列內的幀。參考使用一組相機捕獲的視頻數據，自由視點視頻渲染（FVVR)是隨著時間變化的場景的新視圖的合成。多數標準FVVR系統(tǒng)不支持對場景的重照。然而，本文所描述的示例允許在從新視點渲染場景時在任意光照條件下重照和查看場景。例如，這可以用于對演員的表演進行重照以無縫組合成任意真實世界和/或計算機生成的周圍環(huán)境，這些周圍環(huán)境與演員的圖像在其中被捕獲的周圍環(huán)境可以具有不同的光照條件。例如，在圖形為視頻序列幀的情況下，本文所描述的示例涉及"可重照FVVR"。可以將場景的出現表示為多個參數的函數，這些參數包括（i)場景中的對象的色彩（其可以被稱為"反照率"），（ii)場景中的對象表面的表面法線，（iii)場景中的表面的鏡面反射，以及（iv)場景光照。在本文所描述的方法中，確定色彩估計和表面法線以用于在任意光照條件下從渲染視點渲染圖像時使用。將場景的外觀分為4個參數不是簡單的問題，尤其是在捕獲場景的圖像的場景光照未知的情況下。例如，確定具有明亮的固有色彩但是光照很差的表面與光照很好但是具有較暗的固有色彩的表面之間的差異并不是無足輕重的。也就是，底紋與反照率之間可能存在模糊。[0026]本文所描述的示例中使用輻照度這一概念。輻照度是每單位面積表面上入射的總功率的測量，并且可以用每平方米的瓦特數來測量。輻照度是一個類似于輻射度的概念。輻射度是在入射輻射的方向上表面的每單位面積表面上和每單位立體角入射的輻射功率，使得可以用每立體弧度每平方米的瓦特數來測量輻射度。在場景中可以用關系式來使輻照度與福射度相關。例如，可以在假定Lambertian反射比和無限移位光照的情況下重新構造全局場景輻照度。Lambertian反射比模型使輻照度（L)與照射度（R)相關，如下面的等式所示：[0028]其中《4夜4?:).是在球面極化坐標Ps臀)的方向上的單位矢量，n(X)是在表面位置X處的表面法線。如下面更詳細地描述的，場景外觀I(X)與輻照度相關，使得I(X)=A(X)L(X)，其中A(X)是在位置X處的反照率。是描述表面位置X沿著方向Cft變|;是否可見的可見度掩膜（mask)，并且僅可以取值0或1。使用遞增的表面積在球體Ω上方積分。假定凸起場景，則等式1中對表面位置X的依賴性消失，并且能夠將這認為是輻射度函數辦炎爹)與大的低通濾波器（被稱為鉗位余弦核）的卷積，如下面的等式所示：[0030]在本文所描述的方法中，例如使用MVS根據場景的所捕獲的視圖來估計場景幾何形狀。場景幾何形狀用于解決底紋與反照率之間的模糊。特別地，可以通過利用反照率通常分段恒定這一觀察而將場景幾何形狀的網格表面粗略地分段成具有相似反照率的區(qū)域來將初始紋理分段成不同的素材。這一初始分段不需要完全精確，并且也不需要試圖對其進行細化。針對每個素材確定初始粗略色彩（或者"反照率"）估計，并且可以相對于彼此對初始粗略色彩估計進當前第1頁1 2 3 4 5