基于圖像的復(fù)雜三維模型繪制方法
【專利摘要】本發(fā)明提供一種基于圖像的復(fù)雜三維模型繪制方法，在包圍模型的球面上均勻選擇頂點作為相機坐標(biāo)位置，以球心為相機的目標(biāo)點，獲得模型在此采樣視角下的彩色圖像與深度圖像。根據(jù)采樣點坐標(biāo)對球面進行三角劃分，確定虛擬視角所在的三角形，取以三角形的頂點為采樣點所對應(yīng)的視角為參考視角，使用參考視角下的深度圖像與彩色圖像繪制虛擬視角下的模型：首先，利用參考視角的參數(shù)分別計算虛擬視角與三個參考視角中像素之間的映射關(guān)系；其次，以深度圖像為參考，選擇合適的參考視角像素或者背景像素繪制虛擬視角的圖像；最后，對繪制得到的彩色圖像進行優(yōu)化。本發(fā)明能夠滿足實時性的要求，同時得到十分逼真的繪制效果。
【專利說明】基于圖像的復(fù)雜三維模型繪制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于圖像的真實感繪制方法，主要用于復(fù)雜模型在虛擬視角下的真實感繪制。
【背景技術(shù)】
[0002]傳統(tǒng)的圖形學(xué)當(dāng)中真實感繪制的一般過程是:用戶輸入物體的幾何特性并進行幾何建模，然后根據(jù)模型所在環(huán)境的光照信息，模型的光滑度、透明度、反射率折射率等物理屬性，以及表面紋理等，通過空間變換、透視變換等，計算得到物體在特定視角下的每個像素的顔色值。然而，這種方法的建模過程復(fù)雜，計算和顯示的開銷大，時間復(fù)雜度與模型復(fù)雜度耦合性高，不適用于復(fù)雜模型的繪制，并且難以得到逼真的繪制結(jié)果。
[0003]基于圖像的繪制方法(Image-Based Rendering.1BR)以圖像作為基本的輸入，在不進行幾何模型重建的基礎(chǔ)上合成虛擬視角下的圖像，在視頻游戲、虛擬旅行、電子商務(wù)、エ業(yè)檢測等領(lǐng)域有著非常廣闊的應(yīng)用前景，因此也是三維圖形逼真繪制領(lǐng)域的ー個研究熱點。本發(fā)明所提出的基于圖像的復(fù)雜三維模型繪制方法是ー種IBR方法。
[0004]基于圖像繪制的主要方法如下:
[0005]1.幾何和圖像混合建模和繪制方法(Hybrid Geometry and Image-basedApproachノ
[0006]PaulE.Debevec (參考文獻 1-PaulE.Debevec, camilloj.Taylor, Jitendramake.“Modeling and rendering architecture from photographs:a hybrid geometryand imaged-based approach，，.1n SIGGRAPH96Processing of the23rdannual conferenceon computer graphics and interactive techniques.Pagel 1-20)提出的幾何和圖像混合建模和繪制方法的主要步驟如下:
[0007]a.拍攝場景照片，交互指定模型的邊緣；
[0008]b.生成模型的粗糙模型；
[0009]c.利用基于模型的立體視覺算法細化模型；
[0010]d.利用基于視點的紋理映射合成新視圖。
[0011]此過程的實例如圖4所示。這種方法的優(yōu)點是簡單快捷，可以通過拍攝少量的照片得到的新視圖；缺點此過程還需要人為的指定模型的輪廓，只能適用于普通建筑物等外形規(guī)整的景物，不適用于復(fù)雜模型。
[0012]2.視圖插值、變換的方法(View Interpolation、Transaction)
[0013]視圖插值、變換方法直接利用參考點的照片生成虛擬視角下的圖像。視圖插值、變換方法(參考文獻 2-Geetha Ramachandran, Markus Rupp.“MultiViewSynthesis From Stereo Views”.1n IWSSIP2012, ll-13April2012, PP.341-PP.345.參考文獻 3-Ankit K.Jain, Lam C.Tran, RamsinKhoshabeh, Truong Q.Nguyen, EfficientStereo-to-Multiview Synthesis,ICASSP2011.PP.889-PP.892.參考文獻 4_S.C.Chan, A.C.Bovik, H.R.Sheikh, and E.P.SimomCelli, “Image-Based Rendering andsynthesis” , IEEE Signal Process, Mag, vol.24, n0.6, PP.22-PP.33)的輸入是兩個視角下的規(guī)整化的彩色圖像與深度圖像，輸出的是位于兩個參考點所決定的直線上(基線，Baseline)的虛擬視角下的圖像，具體的過程如下:
[0014]a.立體匹配，生成最初的合成視角圖像；
[0015]b.優(yōu)化處理，根據(jù)邊緣檢測找到可能的空洞點；
[0016]c.填充生成合成視角所對應(yīng)的深度圖；
[0017]d.圖像重建，根據(jù)深度圖像填充彩色圖像空洞。
[0018]此方法的實例如圖5所示。這種方法的優(yōu)點是過程簡単，生成圖像的信噪峰值比高(信噪峰值比(PSNR)，表征處理后的圖像與處理前圖像的相似度。信號峰值比越高，說明合成圖像的真實度越強)，并且能夠出色的填補空洞。但是此方法只能產(chǎn)生位于基線上的虛擬視角的圖像，而且對圖片進行規(guī)整化操作會引入投影誤差，只能生成近似的中間圖像。

【發(fā)明內(nèi)容】

[0019]現(xiàn)有的三維模型真實感繪制方法存在以下缺點:基于幾何的方法存在模型獲取與重建過程復(fù)雜，繪制過程受模型復(fù)雜度、模型光照屬性影響大，繪制效果真實感不強，不適用于復(fù)雜模型的繪制；基于圖像的繪制方法，合成視角被局限在兩個參考視角之間的基線上，無法生成物體在任意視角下的圖像。
[0020]針對現(xiàn)有技術(shù)的缺點，本發(fā)明提出基于圖像的復(fù)雜三維模型繪制方法，其包含如下過程:
[0021](I)虛擬視角的標(biāo)定:根據(jù)采樣點相機位置坐標(biāo)對包圍模型的球面進行三角劃分，確定虛擬視角所在的三角面片，取此三角面片的三個頂點所對應(yīng)的視角為參考視角，虛擬視角可以被表示成參考視角的線性組合；
[0022](2)計算與繪制:根據(jù)虛擬視角、參考視角的位置和相機參數(shù)，計算三個參考視角圖像中每個像素的坐標(biāo)與虛擬視角下的像素坐標(biāo)之間的映射關(guān)系；根據(jù)映射關(guān)系，將參考視角下彩色圖像中的每ー個像素映射到虛擬視角下的圖像中，計算該像素在虛擬視角下圖像中的坐標(biāo)和深度值，對于有多個參考視角的像素映射到同一位置的情況，取深度值小的像素值；同時標(biāo)記虛擬視角下圖像中所有已被參考視角像素填充的像素，構(gòu)造一幅反映從參考視角到虛擬視角映射情況的灰度圖；
[0023](3)圖像的優(yōu)化:對于虛擬視角下圖像中的空洞，即經(jīng)過(2)計算沒有參考圖像映射到該位置的像素，從反映參考視角到虛擬視角映射情況的灰度圖中提取邊緣輪廓信息，沿著邊緣輪廓對生成的彩色圖像進行中值濾波，用鄰居像素的值填補空洞；同時，通過中值濾波過濾掉噪聲像素。
[0024]其中，通過步驟(I)實現(xiàn)對虛擬視角的標(biāo)定，確定用于虛擬視角繪制的參考視角，通過步驟(2)建立參考視角下的像素到虛擬視角下像素之間的映射關(guān)系，實現(xiàn)對虛擬視角下的復(fù)雜模型繪制。
[0025]其中，在步驟⑵與步驟⑶中使用CUDA (Compute Unified DeviceArchitecture,統(tǒng)ー計算設(shè)備架構(gòu))并行計算，加速虛擬視角下的繪制與優(yōu)化速度，達到實時交互的要求。
[0026]本發(fā)明的原理在于:[0027]本發(fā)明提供一種基于圖像的復(fù)雜三維模型繪制方法，在包圍模型的球面上均勻選擇頂點作為相機坐標(biāo)位置，以球心為相機的目標(biāo)點，獲得模型在此采樣視角下的彩色圖像與深度圖像。根據(jù)采樣點坐標(biāo)對球面進行三角劃分，確定虛擬視角所在的三角形，取以三角形的頂點為采樣點所對應(yīng)的視角為參考視角，使用參考視角下的深度圖像與彩色圖像繪制虛擬視角下的模型:首先，利用參考視角的參數(shù)分別計算虛擬視角與三個參考視角中像素之間的映射關(guān)系；其次，以深度圖像為參考，選擇合適的參考視角像素或者背景像素繪制虛擬視角的圖像；最后，對繪制得到的彩色圖像進行優(yōu)化。在整個繪制過程中使用了 CUDA加速，實現(xiàn)了對圖像的并行快速處理。本發(fā)明能夠滿足實時性的要求，同時得到十分逼真的繪制效果。
[0028]本發(fā)明與現(xiàn)有的技術(shù)相比，優(yōu)點如下:
[0029](I)本發(fā)明的虛擬視角可以在空間當(dāng)中任意的移動。利用三個參考點對虛擬視角下的模型進行繪制，這樣既可以保證虛擬視角能夠在水平與豎直兩個維度上自由的移動，又最大限度的降低算法的輸入量與存儲開銷；
[0030](2)本發(fā)明提出的繪制方法非常穩(wěn)定，算法的時間復(fù)雜度與場景的復(fù)雜度耦合性低，尤其適用于復(fù)雜模型的繪制。
【專利附圖】

【附圖說明】
[0031]圖1為本發(fā)明所采用的流程圖；
[0032]圖2為本算法的原理示意圖；
[0033]圖3當(dāng)虛擬視角在某個三角面片的內(nèi)部時，虛擬視角與參考點視角的位置關(guān)系；
[0034]圖4正變換矩陣與逆變換矩陣；
[0035]圖5為幾何和圖像混合建模過程，其中:(a)是通過交互確定被重建物體的輪廓，(b)是得到物體的粗糙模型，(C)是用基于模型的立體視覺算法細化模型，(d)是通過基于視點的紋理映射得到最終的場景；
[0036]圖6為視差圖方法的實例，最初的輸入圖像是規(guī)整化的彩色圖像(圖中是該彩色圖像的灰度圖的示意圖)，初始生成圖是經(jīng)過像素映射與填充過程后得到了彩色圖(圖中是該彩色圖的灰度圖的示意圖)，注意方框內(nèi)的空洞，算法的最終輸出是空洞填補過后的彩色圖(圖中是該彩色圖的灰度圖的示意圖)，注意方框內(nèi)的空洞已經(jīng)被消除；
[0037]圖7經(jīng)過初步映射填充后的虛擬視角的彩色圖(圖中是該彩色圖的灰度圖的示意圖)，注意模型周邊的噪聲的內(nèi)部的空洞；
[0038]圖8經(jīng)過初步映射填充后的虛擬視角的灰度圖，注意模型周邊的噪聲與內(nèi)部的空洞；
[0039]圖9進過膨脹、差值操作之后的邊緣圖；
[0040]圖10簡單的對所有像素進行中值濾波之后的結(jié)果；
[0041]圖11只對邊緣像素進行中值濾波之后的結(jié)果，與圖10相比，圖11更好的保存了細節(jié)信息，真實更強；
[0042]圖12是發(fā)明實例的部分輸入圖像，上方三張圖片是輸入圖像示意圖，輸入圖像可以為彩色圖像，圖中未顯示，下方三張圖片是分別與之對應(yīng)的深度圖；
[0043]圖13是發(fā)明實例的部分輸出圖像，輸出的圖片是由本發(fā)明所提出的繪制方法合成的。
【具體實施方式】
[0044]下面結(jié)合附圖及具體實施例進ー步說明本發(fā)明。
[0045]1.一種基于深度圖像的真實感繪制方法:
[0046]針對由均勻分布在包圍模型的球面上，包含相機視角參數(shù)、相機視角下的深度圖、彩色圖的采樣點來表示的三維模型，根據(jù)采樣點坐標(biāo)對球面進行三角劃分，確定虛擬視角所在的三角形，取以三角形的頂點為采樣點所對應(yīng)的視角為參考視角，使用參考視角下的深度圖像與彩色圖像繪制虛擬視角下的模型:首先，利用參考視角的參數(shù)分別計算虛擬視角與三個參考視角中像素之間的映射關(guān)系；其次，以深度圖像為參考，選擇合適的參考視角像素或者背景像素繪制虛擬視角的圖像；最后，對繪制得到的彩色圖像進行優(yōu)化。在整個繪制過程中使用了 CUDA加速，實現(xiàn)了對圖像的并行快速處理。具體實施過程如下:
[0047]1.虛擬視角的標(biāo)定模塊
[0048]在本發(fā)明中，以不同采樣點的深度圖像、彩色圖像與采樣點相機參數(shù)表示物體的三維模型。三維模型M用ー個二元組〈K，V〉表示，其中K是ー單純復(fù)形，表示了采樣點的連接關(guān)系；V表示采樣點的集合，V = (Vi I i = 1，2，3...1VI I), IVI表示采樣點的個數(shù)W =(Ci, (Ii, Pi)表示第i個采樣點，Ci和(Ii分別表示第i個采樣點彩色圖像和深度圖像，Pi表示了第i個采樣點的相機參數(shù)，Pi = (Pci, Poi, asp^ fov^ Zni, Zfi)，Pci表示相機位置，Poi表示相機目標(biāo)位置，asPi表示相機視野的縱橫比，fov,表示相機的視野的廣度，Zni, Zfi分別表示相機有效深度的最小值與最大值。
[0049]在繪制虛擬視角下的模型之前，需要求出與虛擬視角最近的三個采樣點，即進行虛擬視角的標(biāo)定。因為所有的采樣點在包圍物體的球面上是均勻分布的，在球面按照采樣點坐標(biāo)進行三角劃分后，只需要確定虛擬視角所在的三角面片，則以此三角面片三個頂點就是所需的最近采樣點，這三個最近采樣點被稱為虛擬視角的參考點。
[0050]< V1, V2, V3 > = f (v)(I)
[0051]其中，V是虛擬視角，< V1, V2, V3 >是虛擬視角所在的三角面片，V1, V2, V3是V的參考點。在本發(fā)明中，通過求解從虛擬視角相機位置指向球心的向量與逼近包圍物體球面的多面體的交點，根據(jù)交點所在的三角面片確定三個最近參考點。
[0052]虛擬視角與參考點有如圖3所示的位置關(guān)系。由解析幾何的知識可知，在圖3所示的位置關(guān)系下，虛擬視角可以由參考點線性合成，且滿足:
[0053]
【權(quán)利要求】
1.基于圖像的復(fù)雜三維模型繪制方法，其特征包含如下過程: (1)虛擬視角的標(biāo)定:根據(jù)采樣點相機位置坐標(biāo)對包圍模型的球面進行三角劃分，確定虛擬視角所在的三角面片，取此三角面片的三個頂點所對應(yīng)的視角為參考視角，虛擬視角可以被表示成參考視角的線性組合； (2)計算與繪制:根據(jù)虛擬視角、參考視角的位置和相機參數(shù)，計算三個參考視角圖像中每個像素的坐標(biāo)與虛擬視角下的像素坐標(biāo)之間的映射關(guān)系；根據(jù)映射關(guān)系，將參考視角下彩色圖像中的每一個像素映射到虛擬視角下的圖像中，計算該像素在虛擬視角下圖像中的坐標(biāo)和深度值，對于有多個參考視角的像素映射到同一位置的情況，取深度值小的像素值；同時標(biāo)記虛擬視角下圖像中所有已被參考視角像素填充的像素，構(gòu)造一幅反映從參考視角到虛擬視角映射情況的灰度圖； (3)圖像的優(yōu)化:對于虛擬視角下圖像中的空洞，即經(jīng)過(2)計算沒有參考圖像映射到該位置的像素，從反映參考視角到虛擬視角映射情況的灰度圖中提取邊緣輪廓信息，沿著邊緣輪廓對生成的彩色圖像進行中值濾波，用鄰居像素的值填補空洞；同時，通過中值濾波過濾掉噪聲像素。
2.根據(jù)權(quán)利要求1中所述的基于圖像的復(fù)雜三維模型繪制方法，其特征在于:通過步驟(I)實現(xiàn)對虛擬視角的標(biāo)定，確定用于虛擬視角繪制的參考視角，通過步驟(2 )建立參考視角下的像素到虛擬視角下像素之間的映射關(guān)系，實現(xiàn)對虛擬視角下的復(fù)雜模型繪制。
3.根據(jù)權(quán)利要求1或2中所述的基于圖像的復(fù)雜三維模型繪制方法，其特征在于:在步驟(2)與步驟(3)中使用CUDA并行計算，加速虛擬視角下的繪制與優(yōu)化速度，達到實時交互的要求。
【文檔編號】G06T19/00GK103530907SQ201310497271
【公開日】2014年1月22日 申請日期:2013年10月21日 優(yōu)先權(quán)日:2013年10月21日
【發(fā)明者】向開兵, 郝愛民, 吳偉和, 李帥, 王德志 申請人:深圳市易尚展示股份有限公司, 北京航空航天大學(xué)