基于加權(quán)局部回歸的自適應(yīng)渲染方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，是一種基于加權(quán)局部回的自適應(yīng)渲染圖像 重構(gòu)方法。
【背景技術(shù)】
[0002] 自適應(yīng)渲染方法和蒙特卡羅光線(xiàn)追蹤重建圖像有很長(zhǎng)一段歷史。當(dāng)前的工作在這 一領(lǐng)域也取得了更大的進(jìn)展，但是主要的目標(biāo)仍然是相同的：即使用較少數(shù)量的光線(xiàn)樣本 去提高圖片質(zhì)量以提高效率。由過(guò)少光線(xiàn)樣本生成的圖像容易受到噪聲并且聚合成一幅平 滑圖像的過(guò)程很慢。自適應(yīng)樣本和重構(gòu)的關(guān)鍵因素在于局部實(shí)行誤差分析，這在為圖像重 建控制平滑時(shí)指導(dǎo)光線(xiàn)集中在高誤差區(qū)域，用以產(chǎn)生數(shù)值上和視覺(jué)上令人滿(mǎn)意的渲染結(jié) 果。
[0003] 在高維度上，自適應(yīng)渲染技術(shù)可以被分為積分方法和圖像空間方法。強(qiáng)大的積分 方法早在2008年已經(jīng)被提出了，但是近來(lái)的研究一直專(zhuān)注于設(shè)計(jì)一個(gè)有效的圖像空間方 法。這主要是由于圖像空間方法能有效且易于集成到現(xiàn)有的渲染系統(tǒng)中，并處理多種復(fù)雜 的渲染效果例如運(yùn)動(dòng)模糊，區(qū)域深度等等。
[0004] 近期的圖像空間重構(gòu)技術(shù)使用了著名的在圖像處理領(lǐng)域被突出的過(guò)濾方法如高 斯濾波器，非局部方法，聯(lián)合雙邊濾波，以及微波。在圖像處理上發(fā)展起來(lái)的重構(gòu)技術(shù)和那 些在渲染上使用的一個(gè)關(guān)鍵區(qū)別在于應(yīng)用在渲染上的過(guò)濾方法適合利用不同類(lèi)型的可用 特征，例如法線(xiàn)、紋理和深度。由于這些特征用來(lái)去除MC渲染結(jié)果的噪聲，很多現(xiàn)有的圖像 空間技術(shù)都是用來(lái)一些類(lèi)型的特征并得到了理想的結(jié)果。
[0005] 不幸的是，這些特征也可以被視為雙刃劍。即使是特征也會(huì)是很嘈雜的，特別當(dāng)我 們有復(fù)雜運(yùn)動(dòng)、幾何體、紋理和光線(xiàn)路徑的場(chǎng)景時(shí)。此外，不同類(lèi)型的特征在總體的濾波過(guò) 程中有不同的重要性，這表現(xiàn)為一個(gè)隨機(jī)參數(shù)過(guò)濾。然而，這些問(wèn)題在現(xiàn)有的利用了這些特 征的圖像空間自適應(yīng)渲染方法中幾乎沒(méi)有得到重視。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明提出了一種基于局部加權(quán)回歸的自適應(yīng)重構(gòu)和采樣技術(shù)的自適應(yīng)渲染方 法，能夠用一個(gè)魯棒的方法來(lái)獲取誤差分析，衡量不同類(lèi)型特征的重要性，并消除我們考慮 在連續(xù)的固定方法上更多特征的維度問(wèn)題。
[0007] -種基于加權(quán)局部回歸的自適應(yīng)植染方法，包括：
[0008] 步驟1，針對(duì)輸入圖像進(jìn)行截?cái)嗥娈愔捣纸?TSVD)計(jì)算輸入圖像的簡(jiǎn)化的特征空 間；
[0009] 步驟2,基于局部矩陣秩的方法將輸入圖像全局空間中的特征向量轉(zhuǎn)變?yōu)樵谒?簡(jiǎn)化的特征空間中的簡(jiǎn)化向量；
[0010]如上所述，常規(guī)的局部回歸方法假定輸入的預(yù)測(cè)變量是不嘈雜的，而對(duì)應(yīng)的變量 有噪音，為了解決這個(gè)問(wèn)題，本發(fā)明使用截?cái)郤VD(TSVD)構(gòu)建了一個(gè)簡(jiǎn)化特征空間。在解決 每一個(gè)像素點(diǎn)的優(yōu)化問(wèn)題上，使用奇異值分解(SVD)作為在一個(gè)定義在過(guò)濾窗口中構(gòu)建一 個(gè)簡(jiǎn)化局部特征空間的方法。這個(gè)在全局空間中的特征向量X轉(zhuǎn)變?yōu)橐粋€(gè)在局部空間中的 向量z，隨后在簡(jiǎn)化的特征空間里實(shí)施了優(yōu)化。
[0011] SVD提供的坐標(biāo)變化能可靠地解決秩虧系統(tǒng)通常會(huì)遇到的問(wèn)題。當(dāng)結(jié)合微擾理論 時(shí)，能夠預(yù)處理矩陣空間以減少那些會(huì)導(dǎo)致較差情況或失敗重構(gòu)的噪聲。在較高水平時(shí)，可 以認(rèn)為這個(gè)過(guò)程是一個(gè)預(yù)處理過(guò)程，這一過(guò)程減少了包含在特征向量中的噪聲，并且沒(méi)有 依賴(lài)對(duì)應(yīng)的向量(例如，密度）。此外，坐標(biāo)變換能夠識(shí)別新的正交特征類(lèi)型這是與一些原有 特征類(lèi)型線(xiàn)性結(jié)合的。
[0012]比如，當(dāng)一個(gè)3D輸入特征向量[XI，X2，X3]給出時(shí)，由SVD計(jì)算出的簡(jiǎn)化的空間可以 是一個(gè)2D向量[XI，0· 5x2+0 · 5x3]。
[0013]步驟3，構(gòu)建局部回歸基礎(chǔ)統(tǒng)計(jì)模型y = f (X) + e ;利用所述簡(jiǎn)化向量基于擾動(dòng)理論 的截?cái)郤VD去除噪聲e得到處理后的輸入圖像f(x);
[001 4]其中y表不帶有噪聲e的輸入圖像；所述噪聲e由偏差和方差構(gòu)成：
[0015] z為所述的簡(jiǎn)化向量；
[0016] 為共享帶寬h、特征帶寬b與z的映射關(guān)系；
[0017] 鑒于輸入為彩色圖片，本發(fā)明方法獨(dú)立地應(yīng)用到每一個(gè)通道。特征向量160有〇 維，包括圖像的位置以及任意附加的幾何信息，包括紋理、深度、法線(xiàn)。為了計(jì)算一個(gè)像素處 的特征向量，將從多個(gè)基礎(chǔ)光線(xiàn)計(jì)算出的幾何形狀平均化。
[0018] 統(tǒng)計(jì)模型y = f (x) + e中，假設(shè)X是一個(gè)無(wú)噪聲的0向量，特征向量X由于分布式效 應(yīng)例如深度域會(huì)變得嘈雜。本發(fā)明中通過(guò)正則化方法解決了這一問(wèn)題這是在渲染上應(yīng)用局 部回歸的關(guān)鍵步驟。未知的密度函數(shù)f(x)在X附近的一個(gè)中心特征向量可以大概的用泰 勒多項(xiàng)式展開(kāi)，如下所示：
[0019]
[0020]為了簡(jiǎn)潔，令位置圖像值局部線(xiàn)性模型f(xe)和它的梯度▽fOf)各自為α和β。一個(gè) 加權(quán)最小二乘最小化可以確定系數(shù)α和β，如下所示：
[0021]
[0022]此處X和y是在像素 i處的特征向量和密度。
[0023] η為像素索引，即式中遍歷所有像素；
[0024] j是一個(gè)數(shù)學(xué)計(jì)數(shù)量，用于計(jì)算區(qū)域D內(nèi)的代價(jià)；
[0025] h為共享帶寬；
[0026] bj為特征帶寬；
[0027]為了過(guò)濾一個(gè)中心特征向量x""在過(guò)濾窗口中定義它的相鄰特征向量為X1。計(jì)算出 系數(shù)α和β各自對(duì)應(yīng)已過(guò)濾的圖像和對(duì)重構(gòu)問(wèn)題的預(yù)測(cè)梯度。其=
丨是一個(gè)基 于一維核乘積的多維核。
[0028] 為了更準(zhǔn)確的預(yù)測(cè)偏差和方差，使用了從現(xiàn)有局部回歸文獻(xiàn)中發(fā)展而來(lái)的偏差和 方差預(yù)測(cè)器。偏差項(xiàng)遵循以下漸進(jìn)關(guān)系：
[0029]
[0030] 式中：
[0031 ] B為對(duì)角矩陣，表達(dá)夕
[0032] traceO是矩陣的跡；
[0033] 是 Hesaian 矩陣。
[0034] 此
[0035] 式中：
[0036] n(z)表示在z處的樣本數(shù)量；
[0037] k為簡(jiǎn)化的特征空間中每個(gè)維度的空間；
[0038] 匕為特征帶寬。其中，所述特征帶寬b(即下式中bj為：
[0039]
12345678910
[0040] f是b與z的映射關(guān)系；[0041] z為簡(jiǎn)化局部空間中的向量z。[0042] 甘 rh 士? ' 日中h〇pt)的確定：
^?/Ι^ ΙΙ\Δ J 2 k為簡(jiǎn)化的特征空間中每個(gè)維度的空間； 3 Μ為使用最小平方差計(jì)算出的系數(shù)。 4 通過(guò)
可確定λχ，該式中λ〇和是預(yù)測(cè)的系數(shù)。步驟 4，為處理后的輸入圖像的每個(gè)像素 ζ設(shè)置光線(xiàn)樣本數(shù)量的變化量，再進(jìn)行渲染； 5 光線(xiàn)樣本數(shù)量的變化量
6
[0048]
_式是用來(lái)計(jì)算變化量的，t是一個(gè)數(shù)學(xué)量； 7
[0049]其中Λ rMSE(z)為處理后的輸入圖像的紅色通道的噪聲變化量； 8
[0050]
ε是用來(lái)避免分母為零的； 9
[0051]
10 k為簡(jiǎn)化的特征空間中每個(gè)維度的空間。
[0053] 本發(fā)明使用了一個(gè)常見(jiàn)的迭代方法以將可用的光線(xiàn)樣本分配到有高誤差的區(qū)域。 作為初始迭代我們均勻分布了少量的光線(xiàn)樣本(例如，每個(gè)像素四個(gè)光線(xiàn)樣本）。在接下來(lái) 的迭代中，將像素將接受一個(gè)額外的樣本時(shí)，為像素 Z預(yù)測(cè)了一個(gè)誤差降低項(xiàng)AMSE(z)。隨 后根據(jù)A MSE (z)的相對(duì)值確定了樣本數(shù)量△ n (z)。
[0054] 本發(fā)明使用了基于局部的簡(jiǎn)化特征子空間k，而不是原始的特征空間D的誤差度 量。
[0055] 由于重構(gòu)實(shí)施了已計(jì)算出的共享帶寬hQpt，它的重構(gòu)誤差被預(yù)測(cè)為：
此夕
。容易看出帶有11_的偏差和方差項(xiàng)biash(z)與varh(z)。與此相對(duì)， MSE(z)也以相同的速率減小?！?MSE(z)被定義為MSE的減少兩并且使用衰減速率被計(jì)算為
[0056] 為了考慮到人類(lèi)的視覺(jué)感知對(duì)暗部更敏感使用了相對(duì)MSE(Mesn Squared Error， 平均平方差），復(fù)制rMSE，然后Δ rMSE(z)被如下定義
，此處ε是用來(lái)
避免分母為零的，在實(shí)際應(yīng)用中被設(shè)為〇.〇〇1。隨后為像素 ζ設(shè)置樣本數(shù)量Αη(ζ)，根據(jù)的是 它相對(duì)于所有像素?cái)?shù)量的衰減率。換言之 1過(guò)低矛盾采樣為像素 z生成A n(z)樣本，這是一個(gè)普遍而使用的竿。
[0057]本發(fā)明驗(yàn)證了一個(gè)基于截?cái)郤DV(單值結(jié)構(gòu))和擾動(dòng)理論并可以有效指導(dǎo)簡(jiǎn)化局部 特征空間。
[0058] 本發(fā)明重構(gòu)方法中的平均平方誤差(MSE)被解構(gòu)成偏差和方差兩種并且基于參數(shù) 誤差分析魯棒地預(yù)測(cè)了。
[0059] 本發(fā)明使用偏導(dǎo)數(shù)預(yù)測(cè)了每一個(gè)特征類(lèi)型的重要性并計(jì)算了對(duì)每一個(gè)特征的過(guò) 濾寬度，產(chǎn)生了有效的各向異性過(guò)濾。
[0060] 本發(fā)明使用了來(lái)自局部特征空間分析的簡(jiǎn)化的維度來(lái)最佳的發(fā)散光線(xiàn)。
【附圖說(shuō)明】
[0061] 圖1(a)為輸入的待處理圖像128spp(rMSE0.06264)的示意圖；
[0062]圖1(b)待處理圖像經(jīng)使用TSVD得到的局部維的示意圖；
[0063] 圖1 (c)為矩陣秩為2時(shí)的重構(gòu)結(jié)果，過(guò)濾時(shí)間為4.3秒rMSE0.0 1257;
[0064] 圖1 (d)為矩陣秩為9時(shí)的重構(gòu)結(jié)果，過(guò)濾時(shí)間為20.6秒rMSE0.00 666;
[0065] 圖1 (e)為使用本發(fā)明方法的重構(gòu)結(jié)果，過(guò)濾時(shí)間為7.2秒rMSE0.00 488;
[0066] 圖2(&)為輸入的待處理圖像(328??);
[0067]圖2(b)為預(yù)測(cè)帶寬為hbl的示意圖；
[0068]圖2(c)為預(yù)測(cè)帶寬為hb2的示意圖；
[0069]圖2(d)為預(yù)測(cè)帶寬為hb3的示意圖；