本發(fā)明涉及計算機視覺圖像渲染技術領域，具體涉及一種使用光線頻率曲線合并HM濾波器的迭代式自適應渲染方法。

背景技術：

使用蒙特卡洛光線追蹤技術重構圖像已經有很長一段歷史。當前的工作在這一領域也取得了更大的進展，但是主要的目標仍然是相同的：即，使用較少數量的光線樣本去提高圖片質量以提高效率，縮短生成時間。然而使用過少的光線樣本生成的圖像容易受到噪聲影響，要求有相應高效的圖像濾波器以去除噪聲獲得平滑的圖像。

為了縮短使用蒙特卡洛渲染生成高質量圖像所需要的時間，一般有兩種基本策略，即自適應渲染和渲染后處理。自適應渲染的核心思想是在渲染過程中根據具體圖像區(qū)域的復雜度來調整每個像素處的光線樣本數量。渲染后處理則是在渲染完成以后，對渲染得到的結果圖像進行處理，主要操作包含過濾或者對樣本、像素插值。

自適應渲染主要指兩個方面，即自適應采樣和自適應過濾。自適應采樣即在誤差較大的圖像區(qū)域增加采樣率，也就是在像素值方差較大的區(qū)域提高采樣光線的數量。自適應過濾即對指定的像素取其鄰域的平均值，以去除噪聲點，平滑這塊區(qū)域的像素值。

在實際應用中自適應過濾比自適應采樣所需要的計算開銷要小，但是對邊緣明顯、特征性強的圖像自適應過濾的方法所獲得的圖像質量并不好。

技術實現要素：

本發(fā)明提供了一種使用光線頻率曲線合并HM濾波器的迭代式自適應渲染方法，能夠加速蒙特卡洛渲染，同時獲得良好的圖像質量。

一種使用光線頻率曲線合并HM濾波器的迭代式自適應渲染方法，包括：

步驟1，采用較少光線樣本數量對圖像進行初步渲染，采用HM濾波器對渲染圖像進行噪聲去除；

步驟2，采用SURE估算當前HM濾波器的均方誤差，并計算渲染圖像中每個像素點的最佳光線樣本數量；

步驟3，根據渲染圖像中的噪聲數量，更新HM濾波器的閾值；

步驟4，依據最佳光線樣本數量對圖像重新進行渲染，并采用更新后的HM濾波器閾值進行噪聲去除；

步驟5，重復步驟2～步驟4，直至渲染圖像滿足要求。

步驟1中，樣本光線樣本數量依據需要進行設定，較少為一相對概念，可以針對所需要的圖像渲染質量進行設定，圖像渲染質量要求較高時，適當增加光線樣本數量。

所述HM濾波器利用像素處光線樣本的頻率曲線衡量像素的相似程度，即在非局部均值濾波器的基礎上提出了一種使用光線樣本頻率分布曲線合并像素點的HM(Histogram Merge)濾波器，并使用該濾波器對蒙特卡洛渲染得到的圖像進行噪聲去除處理，以提高渲染圖像的質量。

本發(fā)明使用SURE(Stein’s Unbiased Risk Estimator)對HM濾波器產生的誤差進行估計，得到每個像素處的最佳光線樣本數量，然后采用最佳光線樣本數量對圖像進行再次渲染，HM濾波器根據渲染圖像中的噪聲數量調整閾值，進行噪聲去除，通過迭代式的自適應渲染方法，可以節(jié)省大量計算開銷，在保證渲染質量的同時，達到節(jié)省時間的目的。

作為優(yōu)選，以面片為單位，利用如下公式對渲染圖像進行噪聲去除：

式中：為去除噪聲后渲染圖像中像素x的顏色值；

w為以像素x為中心點的面片半長；

V_y為以像素y為中心的面片去噪后的結果；

y-x為像素y距像素x的距離。

作為優(yōu)選，利用如下公式計算最佳光線樣本數量a：

式中：m為光線樣本數量預算；

S(x)為像素x處的光線采樣函數；

S(y)為像素y處的光線采樣函數；

為滿足以下條件像素y的集合：

以像素y為中心的面片P_y滿足

式中：為以像素x為中心的面片P_x與以像素y為中心的面片P_y的距離；

k為HM濾波器的閾值。

作為優(yōu)選，光線采樣函數S(x)的計算公式如下：

式中：V_x為以像素x為中心的面片去噪后的結果；

F(V_x)為過濾以像素x為中心的面片的濾波器過濾函數；

SURE(F(V_x))為采用SURE計算的當前HM濾波器的均方誤差；

E²(x)為像素x的顏色值的估計誤差；

I(F(V_x))²是過濾后像素x的顏色值；

∈是一個防止除數為零的極小值常數。

作為優(yōu)選，使用PSNR衡量渲染圖像質量，設定迭代終止閾值為當前渲染圖像相比上一次迭代完成時渲染圖像的PSNR變化量小于時，迭代終止。

本發(fā)明提供的使用光線頻率曲線合并HM濾波器的迭代式自適應渲染方法，可以節(jié)省大量的計算開銷，在保證渲染質量的同時達到節(jié)省時間的目的。

附圖說明

圖1為光線樣本顏色與像素樣本顏色分布的對應關系示意圖；

圖2為利用蒙特卡洛路徑追蹤算法生成圖像中三個不同像素的光線樣本顏色分布。

具體實施方式

下面結合附圖，對本發(fā)明使用光線頻率曲線合并HM濾波器的迭代式自適應渲染方法做詳細描述。

如圖1所示，一種使用光線頻率曲線合并HM濾波器的迭代式自適應渲染方法，包括如下步驟：

步驟1，采用較少光線樣本數量對圖像進行初步渲染，采用HM濾波器對渲染圖像進行噪聲去除。

可以采用空間路徑的形式表達光線傳播，即通過計算每個獨立路徑的光線傳播就能夠估算全局照明。根據如下空間路徑積分公式，每個像素的顏色由所有可能的光線路徑積分得到：

此處：Ω_x表示像素x處的所有光線路徑；p為任意長度的路徑；函數f(p)表示光照路徑為p的光照貢獻；dμ(p)是光線路徑的計算方式。

根據上述公式，像素x處的圖像顏色可以由n_x個使用蒙特卡洛采樣得到的隨機路徑估算得到。如果表示由隨機路徑傳播的顏色(即)，則蒙特卡洛方法對u(x)的近似解可以被表示為：

那么，蒙特卡洛近似誤差n(x)可以被表示為：

減少近似誤差的同時又能將渲染時間控制在可接受范圍內的可行方法為：減少光線采樣數量，然后使用渲染后處理(即過濾圖像)。過濾會顯著減小方差，但是也會大幅提升近似偏差，唯一一種不會引入偏差的過濾方式就是組合具有相同特征的像素，也就是擁有相同像素顏色u(x)的像素x。但是基于未知的像素顏色u(x)和u(y)來確定兩個像素x，像素y是否顏色相同幾乎是不可能的，可行的做法是期望二者的光線樣本顏色遵循類似的分布。

此外，如果N個像素擁有相同的光線樣本顏色分布，那么這些樣本的集合就可以被看作一個N倍大的遵循某種潛在分布的超集，只要簡單地對這N個像素取平均值，他們的方差就會減小N倍。

像素的顏色和光線樣本顏色的分布關系如圖1所示，每條光線樣本在某一像素點會表現出對應的光線樣本顏色，某一像素點上所有光線樣本顏色疊加，即為該像素的顏色。

首先考慮在給定像素處的樣本顏色經驗分布圖，如圖2所示，利用蒙特卡洛路徑追蹤算法生成圖像中三個不同像素的光線樣本顏色分布。圖中選取的三個像素的顏色非常接近，其中兩個像素的樣本(下方的兩個框)大致遵循同一種光線樣本顏色分布，并且這一光線樣本顏色分布與另一個像素(最上方的框)的光線樣本顏色分布差異很大。這表明即使像素顏色十分相似，光線樣本顏色分布提供的額外信息也能夠幫助區(qū)別其他特征不同的像素。

本發(fā)明中，使用來表示像素x的光線樣本顏色集，用h(x)來表示對應的經驗顏色分布(即像素顏色分布)。為了衡量像素相似性，使用箱體經驗分布作為像素顏色分布的描述。由于通常處理的是三色圖像，既可以使用一個單個的三維顏色空間頻率曲線，也可以使用三個一維的顏色頻率曲線(每個顏色一個通道)。

假設像素x處的光線樣本顏色為C_x，像素y處的光線樣本顏色為C_y，二者對應的n_b箱體分布表示為n_b維向量，分別表示如下：

基于Chi-Square距離，遵循下面的標準：

此處：n_x＝∑_ih_i(x)，n_y＝∑_ih_i(y)，分別表示對應的光線樣本總數量，k(x,y)是h(x)+h(y)中非空箱體的數量。

考慮到空間連續(xù)性，上述像素距離可以被擴展為以x和y為中心，半長為w的面片，其表述如下：

式中：P_x代表以像素x為中心，以w為半長的面片；

P_y代表以像素y為中心，以w為半長的面片；

t表示以像素x為中心點，以w為半長，形成的面片上的像素點。

使用面片而不使用像素有兩個好處：首先，減小了強制空間連續(xù)匹配的匹配誤差；其次，圖像去噪時取相似面片的平均值而非相似像素，每一個像素所屬的數個面片都會得到不同的估計值。再次取其平均值，這一操作通常被稱為聚合估算(Aggregation of Estimates)，這對圖像去噪的性能會產生相當大的優(yōu)化。本發(fā)明中取的面片比較小(3×3大小)，對文物模型來收，渲染得到的圖像通常具有很好的自相似性(紋理特征類似)，因此會有很多類似的面片。

圖像去噪算法必須能夠估算噪聲方差以計算出嘈雜樣本的相似度，在蒙特卡洛渲染中，每一個從像素射出光線的平均值和方差都可以直接從觀察得到的樣本分布中估算得出。

對一個像素x，定義為滿足以下條件的像素y的集合：其中心面片P_y滿足k即判斷與像素x具有相似特征面片的標準，無噪聲像素顏色的最大可能估計量就是它們的算術平均值：

與前面只計算中心面片平均值的估計量不同的是，本發(fā)明可以進行整塊面片的去噪，進而可以對圖像以面片為單位去噪。這是一種非常經典的以面片去噪為基礎的圖像去噪手段。

對一個以像素x為中心的嘈雜面片P_x，通過對所有滿足下式的面片(即Chi-Square距離小于k)取平均值從而得到去噪的面片V_x：

這里是對所有在面片P_y上像素u的估值。

雖然用這種方法對所有的面片進行了去噪，但是并不是所有的像素。由于每個面片包含(2w+1)²個像素，那么相應的每個像素被(2w+1)²個面片所包含，因此能夠獲得大量對其顏色的估計值，最后每一個像素處都可以聚合這些估計值從而生成最終的去噪圖像：

式中，y-x為像素y距像素x的Chi-Square距離，對最終的結果取平均值，以上就是本文以面片為單位去除噪聲算法的核心原理。

HM濾波器的實現非常簡潔明了，除了計算光線頻率曲線所需要的參數，在算法中只需要設置4個參數，分別為：HM濾波器倍數的n_s，面片半長w，搜索窗口半長b，以及Chi-Square距離的閾值。

對相似面片的搜索被限制在大小為(2b+1)×(2b+1)的窗口內。閾值k用來設置標準Chi-Square距離。

單倍頻率曲線合并HM濾波器的偽代碼如下：

輸入：MC圖像對應的頻率曲線h,面片大小w，

搜索窗口大小b，Chi-Square距離閾值k

輸出：過濾后圖像

多倍頻率曲線合并HM濾波器的偽代碼如下：

輸入：MC圖像對應的頻率曲線h,面片大小w，搜索窗口大小b，Chi-Square距離閾值k，濾波器倍數n_s

輸出：過濾后圖像

開始渲染時，首先利用較少的光線樣本數量進行初步渲染，渲染得到的圖像使用閾值k＝0.5的HM濾波器進行噪聲去除。

步驟2，采用SURE估算當前HM濾波器的均方誤差，并計算渲染圖像中每個像素點的最佳光線樣本數量。

本發(fā)明提供了一種迭代式自適應渲染方法，其核心思想是采用Stein’s Unbiased Risk Estimator(SURE)(對均方誤差MSE(即平均平方誤差)的無偏估計函數)來決定最佳采樣密度，即最佳光線樣本數量。使用SURE的好處是，由SURE估算出的均方誤差可用來指導更多的樣本分布，因此更多的樣本就會被分配到難以區(qū)別的區(qū)域。

蒙特卡洛光線追蹤通過隨機對積分區(qū)域內采樣再重構樣本來估算一個像素的顏色。無偏蒙特卡洛渲染技術有一個可以通過使用方差估計函數估算出的隨機誤差范圍。

根據中心極限定理，如果Y是由無偏蒙特卡洛渲染器估算出的像素顏色，x是真實的像素顏色，且采樣數量n趨于無窮大，Y的分布近似于一個平均值為x，方差為σ²/n的正態(tài)分布：

此處：σ²是蒙特卡洛樣本的方差。對有限數量的樣本而言，這一關系也是一種很好的近似。

由于蒙特卡洛渲染器本質上是一種估計函數，所以對其準確度進行估算是非常必要的。Stein’s Unbiased Risk Estimator(SURE)給出了一種估算一個估計函數準確性的方法。

SURE指出，如果y是對呈正態(tài)分布的x的量度，F是一個弱微分函數，那么估計誤差為：

對F(y)的平均平方誤差的無偏估計，也就是：

E[SURE(F(y))]＝‖F(y)-x‖²

上述公式表明：如果能計算出σ_y和dF(y)/dy，即使不知道x的值也能估算出估計函數F的誤差。本發(fā)明使用上述公式來估算每塊區(qū)域所需要的最佳樣本數量。

對每一個像素來說，都需要使用最低的SURE誤差確定HM濾波器中的參數，以決定HM濾波器的強度。

先計算HM濾波器F的dF(V_x)/dV_x，其計算如下：

式中：E²(x)為估計誤差(E²(x)的計算采用現有技術，若像素點的顏色值穩(wěn)定性好，則E²(x)的值越小)。

W(x,y)為像素y相對于像素x的權重，以p代表x，以q代表y，表示為

其中：k是可指定的衰減因子，用來控制濾波器的強度。k的值越小濾波器越保守。此處P_p和P_q分別表示已p,q為中心半長為t的面片，σ²表示一般方差，可以根據圖像平均PSNR計算得出。

其推導過程如下：

本發(fā)明所采用的HM濾波器的表達式如下：

令那么有：

再將代入，經過化簡后，得到：

此處：

然后計算HM濾波器的均方誤差(即平均平方誤差，MSE)。對每一個像素而言，其過濾后的顏色都會被用來更新像素信息。

使用蒙特卡洛樣本計算的SURE通常會有嘈雜的結果，這是因為SURE是MSE的無偏估計函數，并且其本身也有方差。為了減小方差，可以增加采樣數量或者進行過濾。出于對效率的考量，通常會使用過濾來減少SURE的方差。

具體來說，在使用SURE優(yōu)化之前，先使用參數設置較保守的HM濾波器對估計MSE圖像進行預過濾。

使用SURE得到的MSE估計值可以用來作為渲染器的反饋信息；采樣密度應該與MSE估計值成正比。但是，由于MSE估計值并不完美，本發(fā)明通過增加一個啟發(fā)式方差項來確保具有更高方差的區(qū)域能夠被分配到更多的樣本數量。

此外，相對于明亮區(qū)域人眼對陰暗區(qū)域更為敏感，為了讓更多的光線樣本分配到陰暗區(qū)域，將采樣函數乘以過濾像素顏色光照值的平方反比，綜上，像素x處的采樣函數S(x)為：

此處：E²(x)為估計誤差；I(F(V_i))²為過濾后像素的顏色值；∈是一個防止除數為零的極小值，例如，設為0.001。如果當前的采樣預算為m，那么像素x處接收的當前最佳光線樣本數量為

通過輸入HM濾波器的閾值k控制去除噪聲的數量，即控制渲染圖像的平滑程度。渲染的最佳效果取決于渲染過程中需要的光線樣本數量，本步驟中使用SURE估計每個像素處所需的最佳光線樣本數量，并通過計算圖像噪聲數量以此獲得最佳的HM濾波器閾值。

步驟3，根據渲染圖像中的噪聲數量，更新HM濾波器的閾值。

步驟4，依據最佳光線樣本數量對圖像重新進行渲染，并采用更新后的HM濾波器閾值進行噪聲去除。

步驟5，重復步驟2～步驟4，直至渲染圖像滿足要求。

本發(fā)明中使用PSNR來衡量圖像質量，PSNR的計算式如下：

此處：

其中，M為圖像的長，N為圖像的寬，f_ij為當前圖像的像素，為上一次迭代圖像的像素。

本發(fā)明使用MSE來衡量迭代圖像的變化，一般情況下MSE會隨迭代次數的增加而減少，相應的PSNR會增大。當PSNR增大的速率變慢時，即PSNR呈現出收斂于某個值的時候，可以認定當前迭代收益下降，迭代收益小于設定的閾值就表示，當前圖像的質量已經趨于飽和，可以終止迭代過程，獲得最終圖像。

基于SURE優(yōu)化的迭代式自適應渲染偽代碼如下：

輸入：初始光線樣本數量n₀(預設為8spp)，HM濾波器的閾值k(預設為0.5)，迭代終止閾值(預設為0.1)

輸出：生成結果圖像u_res

出于對渲染時間的考慮，設初始光線樣本數量n₀＝8，在對圖像質量要求較高的情況下，也可以將初始光線樣本數量設高一些。

HM濾波器的閾值k大小與HM濾波器去除噪聲的強度有關，k的值越小，HM濾波器越保守，去除噪聲的數量會偏低，但保留的圖像細節(jié)較高，而閾值k的值越大時，HM濾波器去除噪聲的能力會變強，相應的圖像的細節(jié)質量會下降。

迭代終止閾值表示當前迭代圖像的PSNR相比上一次迭代完成時圖像PSNR的變化量，的值越小表示對圖像質量的需求越高，迭代次數也就越多，當迭代生成的圖像收益小于時，迭代過程終止，得到最終圖像u_res，在進行第一次迭代時ΔPSNR＝1。