專利名稱：：一種基于動(dòng)態(tài)lightmap的增強(qiáng)現(xiàn)實(shí)系統(tǒng)光照算法的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于計(jì)算機(jī)圖形學(xué)和圖像處理領(lǐng)域，具體涉及通過圖形圖像處理對增強(qiáng)現(xiàn)實(shí)場景進(jìn)行光照增強(qiáng)的方法。
背景技術(shù)：
：增強(qiáng)現(xiàn)實(shí)(AugmentedReality,簡稱AR)技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)分支，是一種將真實(shí)環(huán)境同虛擬物體相融合的技術(shù)。在國外，AR技術(shù)已被廣泛運(yùn)用于醫(yī)學(xué)可視化、維護(hù)與修理、理解與提示、機(jī)器人路徑規(guī)劃、娛樂、軍用飛機(jī)導(dǎo)航和攻擊瞄準(zhǔn)等領(lǐng)域。近年來，AR也引起了國內(nèi)研究者的關(guān)注，相關(guān)的應(yīng)用也越來越多。增強(qiáng)現(xiàn)實(shí)技術(shù)需要解決的三個(gè)關(guān)鍵的問題是1.如何將虛擬物體和真實(shí)場景進(jìn)行校準(zhǔn)，使它們之間能夠無縫地結(jié)合，這就是增強(qiáng)現(xiàn)實(shí)的注冊技術(shù)所要解決的問題；2.怎樣在真實(shí)場景中顯示虛擬物體，使其與真實(shí)場景協(xié)調(diào)一致，是立體顯示技術(shù)所要解決的問題；3.實(shí)時(shí)性問題。隨著AR注冊技術(shù)的逐步完善，人們已逐漸把注意力轉(zhuǎn)移到了如何增強(qiáng)AR場景的真實(shí)感上。為了使增強(qiáng)現(xiàn)實(shí)場景看起來更加真實(shí)，更容易讓人們接受，我們需要解決虛擬物體與真實(shí)場景之間的光照一致性問題。為了得到令人信服的光照效果，首先要對真實(shí)場景的光照情況進(jìn)行分析，然后根據(jù)分析的結(jié)果建立虛擬物體的光照模型，從而達(dá)到虛、實(shí)物體相融合的效果。近年來的很多方法都是使用輔助測光設(shè)備——魚眼透鏡攝像機(jī)來記錄環(huán)境中的光照信息，并以此確定各個(gè)光源的位置，然后用已知的光源對增強(qiáng)現(xiàn)實(shí)場景進(jìn)行照明。這類方法能夠準(zhǔn)確測量環(huán)境光照，實(shí)現(xiàn)逼真的光照效果，但是需要昂貴的測光設(shè)備，這對于普通的實(shí)驗(yàn)條件來說是無法實(shí)現(xiàn)的。
發(fā)明內(nèi)容本發(fā)明針對現(xiàn)有的增強(qiáng)現(xiàn)實(shí)光照技術(shù)對硬件條件要求較高的情況，提出了一種基于動(dòng)態(tài)lightm即(光照圖，用于記錄真實(shí)場景中各個(gè)法線方向上的光照情況)的增強(qiáng)光照算法。該算法避免使用HDR(HighDynamicRange)攝像機(jī)，而是用lightm即記錄環(huán)境中的光照情況，并且對lightm即進(jìn)行動(dòng)態(tài)更新，能夠達(dá)到實(shí)時(shí)交互的幀率，產(chǎn)生正確的明暗和陰影，且實(shí)現(xiàn)起來較為簡單，通用性較強(qiáng)。本發(fā)明的光照算法是基于自然特征的，而不是使用傳統(tǒng)的人工標(biāo)識(shí)。用于校準(zhǔn)的物體是具有清晰圖案的平面物體。算法中使用動(dòng)態(tài)更新的lightmap記錄環(huán)境光照，并用虛擬光源模擬真實(shí)光源來對虛擬物體進(jìn)行照明，以產(chǎn)生與真實(shí)環(huán)境一致的光照。圖l所示為AR系統(tǒng)光照生成過程。1.場景的光照模型本發(fā)明所選擇的校準(zhǔn)圖案是具有漫反射表面的，它向各個(gè)方向上反射的光線是相同的。在時(shí)刻t，校準(zhǔn)圖案上的某個(gè)點(diǎn)所反射的光線數(shù)量取決于該點(diǎn)的表面法線方向nt。為了能夠準(zhǔn)確的計(jì)算法線方向，我們通常用以某個(gè)點(diǎn)為中心的一個(gè)小面片n來代替該點(diǎn)，則面片n在時(shí)刻t所接收的光能為丄=Zmax(",《，OP/'(1)其中，Qi表示光源L的能量，c^表示它的方向。在已經(jīng)計(jì)算得到校準(zhǔn)圖案表面各點(diǎn)的反射系數(shù)的情況下，可以用下面的公式來表示面片n在t時(shí)刻的象素亮度I(Ji，t):I(Ji，t)=gpxt+b(2)式中的pn表示面片上各點(diǎn)的反射系數(shù)的平均值，用上的平均亮度來計(jì)算。g和b分別表示攝像機(jī)的信號(hào)放大量和信號(hào)偏置。2.動(dòng)態(tài)lightm即的生成從上面的光照模型分析可知，要計(jì)算出面片的亮度，就必須先計(jì)算光能Q。我們也可認(rèn)為空間中的某個(gè)位置(如校準(zhǔn)圖案所在的位置)，它的各個(gè)朝向(也就是以它為中心的某個(gè)球面上的每個(gè)點(diǎn)的法線方向)上所接收到的光能與法線方向n有關(guān)(如圖2所示)，因此式(1)中的x"可看成是n的函數(shù)。這樣就可以用一個(gè)lightm即M(n)來表示該位置的光照情況。在這種情況下，虛擬物體表面的象素亮度可以表示成I(v，t)=gPvMt(nv)+b(3)式中的Pv表示虛擬物體表面的反射系數(shù)，在虛擬物體建模時(shí)定義。由(3)式可知，要得到虛擬物體表面的亮度，就必須先求出攝像機(jī)的g和b，可通過式(2)求得。式(2)中有三個(gè)未知量，即g、b和Xt。令g'=l/g，b'=1/b，則式(2)可表示為-l(Ji，t)g'+Pxt+b'=0(4)將不同時(shí)刻所得到的式(4)放在一起就形成了一個(gè)方程組，如下(5)tn):方程組(5)也可以表述成式(6)。為簡化表達(dá)式，式中用L表示式(5)中的I(-""+0.\十…+0.x,"=0搭方程組(6)轉(zhuǎn)化成矩陣形式如下(6)4<formula>formulaseeoriginaldocumentpage5</formula>解式(7)可得到多個(gè)特征值和多個(gè)特征向量，而與最小特征值相對應(yīng)的特征向量就是我們要求的值。解向量中的(xtl，xt2，，xtn)即為形成M(n)所需的各個(gè)法線方向的光能值。以上的計(jì)算結(jié)果是在光照不變的情況下得到的。當(dāng)校準(zhǔn)物體的空間位置變化或者光源發(fā)生改變的時(shí)候，虛擬物體的光照情況也會(huì)隨之改變。因此，必須對lightm即進(jìn)行及時(shí)的更新，以適應(yīng)環(huán)境光照的變化。令Mt(n)為t時(shí)刻的lightm即，則t+1時(shí)刻的lightm即可以用下面的等式來表<formula>formulaseeoriginaldocumentpage5</formula>其它式(8)中的xt+1是t+1時(shí)刻所觀察到的法線方向?yàn)閚t+1的面片所接收的光能。式(9)中的s是一個(gè)模糊常量。事實(shí)上，當(dāng)光照突然發(fā)生變化時(shí)，該方法不能夠及時(shí)地更新整個(gè)lightmap，而是每一幀都只能采樣到一個(gè)法線方向并更新該法線方向上的光能值，而其它法線方向上的光能值保持不變。因此，我們在建立了lightmap以后，對每一個(gè)新的幀都要進(jìn)行更新，從而最大程度的達(dá)到及時(shí)更新的效果。在繪制虛擬物體時(shí)，lightmap可作為紋理貼圖來表現(xiàn)虛擬物體表面的明暗狀況。3.光源位置分析為了確定AR場景中的陰影狀況，我們需要計(jì)算真實(shí)環(huán)境中的光源位置。當(dāng)真實(shí)環(huán)境中只有一個(gè)光源的時(shí)候，能夠很容易模擬出光源的位置信息掃描整個(gè)lightm即，找出與最大光能值相對應(yīng)的法線方向rv則可以確定該方向就是光源所在的方向。當(dāng)真實(shí)環(huán)境中存在不只一個(gè)光源的時(shí)候，可以用多個(gè)虛擬光源來模擬真實(shí)光源。我們給定一個(gè)較大的亮度值I。作為臨界亮度值，當(dāng)某個(gè)法線方向上的光能值大于(或等于)I。時(shí)，就認(rèn)為該方向上可能存在一個(gè)光源；反之，則認(rèn)為該方向上不存在光源。對于每個(gè)可能存在光源的法線方向n，我們進(jìn)行如下操作以確定該方向上是否真的存在光源首先，定義一個(gè)較小的角度e來表示臨界角度。然后，逐個(gè)掃描lightmap中的法線方向，當(dāng)某個(gè)法線方向n'與法線方向n的夾角(w:"')小于臨界角度e時(shí)，將n'看作是n的鄰近法線方向。最后，判斷各個(gè)鄰近法線方向上的光強(qiáng)度是否小于n上的光強(qiáng)度，如果所有鄰近法線方向上的光強(qiáng)度都小于n上的光強(qiáng)度，則法線方向n上必定存在光源，否則，不存在光源。這個(gè)過程可以用式(10)來表示。所有的虛擬光源都分布在以虛擬物體為中心的球面上，如圖3所示。/"2/c，且對V(","')〈s，/"〉/",其他(10)其中，b式(10)中的I、In、In,分別表示環(huán)境中的光能、法線方向n上的光能和法線方向n'上的光能。在確定了所有虛擬光源的位置后，就可以利用Phong光照模型(一個(gè)可接受的"標(biāo)準(zhǔn)"模型，它反映了漫射、鏡面反射和環(huán)境光對物體表面作用的結(jié)合)來計(jì)算增強(qiáng)現(xiàn)實(shí)場景中的陰影。4.陰影生成本發(fā)明中所用的虛擬物體是由許多三角形面片組成的，每一個(gè)面片對應(yīng)著三個(gè)頂點(diǎn)V!(Xl，yi，Zl)、v2(x2，y2，z2)、v3(x3，y3，z3)。這三個(gè)頂點(diǎn)可以確定空間中一個(gè)唯一的平面ax+by+cz+d=0(11)公S=a*xp+b*yp+c*zp+d(12)若計(jì)算出的S值大于O，則該面片正對著光源；否則，該面片背對著光源。逐個(gè)掃描虛擬物體中的三角形面片，當(dāng)某個(gè)三角形面片正對著光源時(shí)，依次判斷它的三條邊是否為臨界邊如果與某條邊相鄰的面片不存在，或者背對著光源，那么這個(gè)邊就是臨界邊；否則，該邊不為臨界邊。所有的臨界邊構(gòu)成了虛擬物體上能夠投射陰影的區(qū)域的邊界。在已知場景中其它物體(包括虛擬物體和真實(shí)物體)的3D結(jié)構(gòu)后，就可以利用計(jì)算機(jī)圖形學(xué)中的陰影體方法生成該物體投射到其它物體上的陰影。陰影體方法產(chǎn)生陰影有兩個(gè)步驟首先連接光源與各個(gè)臨界邊的兩個(gè)端點(diǎn)，并延長至較遠(yuǎn)處，這樣就可以形成由臨界邊的兩個(gè)端點(diǎn)和延長線的末端所確定的半無限四邊形，所有這樣的四邊形構(gòu)成了物體的陰影體；然后根據(jù)陰影體與場景中其它物體的交線確定物體投射到其它物體上的陰影區(qū)域。(z2_z3)+y2*(z3-z》+y3*(z「z2)z工承(x2_x3)+z2*(x3_x》+z3*(x丄一x》c=(y2_y3)+x2*(y3-y》+x3*(y「y2)假設(shè)光源的位置為(xp，yp，zp)，則在確定了某個(gè)面片的平面參數(shù)后，就可以利用下面的公式來判斷該面片是否正對著光源圖1:AR系統(tǒng)光照生成過程。圖2:物體表面光照示意圖。圖3:虛擬光源分布圖圖4:光照結(jié)果圖具體實(shí)施過程1.程序框架6輸入系統(tǒng)的輸入為視頻圖像(VImage[i])和虛擬物體3D模型(obj)。<table>tableseeoriginaldocumentpage7</column></row><table><table>tableseeoriginaldocumentpage7</column></row><table>2.實(shí)驗(yàn)環(huán)境本發(fā)明的硬件環(huán)境由三部分組成一個(gè)USB攝像頭、一臺(tái)PC主機(jī)和一臺(tái)LCD顯示器。其中，PC主機(jī)的CPU為Core2DuoE6550,2.33GHz，內(nèi)存為1GBRAM，顯卡為NVIDIAGeForce8600GT，其0penGL版本為2.1.1。本發(fā)明的軟件實(shí)現(xiàn)以WindowsXP為平臺(tái)，在Visualstudio2005環(huán)境下，使用0penCV、0penGL等庫開發(fā)。實(shí)驗(yàn)中首先利用USB攝像頭拍攝真實(shí)場景的視頻，在程序采集到一定的光照信息后，就將虛擬物體繪制到真實(shí)場景中，并對AR場景進(jìn)行明暗增強(qiáng)，如圖4所示。圖中的平面物體為校準(zhǔn)物體，茶壺為計(jì)算機(jī)生成的虛擬物體。在對虛擬茶壺進(jìn)行明暗繪制的同時(shí)，程序計(jì)算環(huán)境中光源的位置。然后根據(jù)光源的位置以及虛、實(shí)物體的幾何結(jié)構(gòu)與空間位置，計(jì)算并繪制出"茶壺"投射到校準(zhǔn)平面上的陰影，如圖4所示。權(quán)利要求一種基于動(dòng)態(tài)lightmap的增強(qiáng)現(xiàn)實(shí)系統(tǒng)光照算法?；趧?dòng)態(tài)lightmap的一致性光照算法通過采集視頻圖像中校準(zhǔn)物體的像素亮度，計(jì)算出攝像機(jī)的信號(hào)放大量和信號(hào)偏置，并根據(jù)lightmap所記錄的各個(gè)法線方向上的環(huán)境光照情況生成虛擬物體的表面明暗貼圖，然后計(jì)算光源所在的方位，生成增強(qiáng)現(xiàn)實(shí)(AR，AugmentedReality)場景的陰影。這樣能夠?qū)崿F(xiàn)視頻圖像中的場景與虛擬物體的一致光照。且根據(jù)每一幀圖像對lightmap進(jìn)行更新，從而能夠適應(yīng)光照變化的場景。2.如權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)光照算法，其特征在于用環(huán)境中各個(gè)法線方向上的相對光照信息取代環(huán)境絕對光照情況，對增強(qiáng)現(xiàn)實(shí)場景進(jìn)行照明，能夠在簡單的硬件條件下實(shí)現(xiàn)較為逼真的光照效果。3.如權(quán)利要求1或2所述的增強(qiáng)現(xiàn)實(shí)系統(tǒng)光照算法，其特征在于(1)用lightm即所記錄的各個(gè)法線方向上的環(huán)境光照情況生成虛擬物體的表面明暗貼圖，而不是用虛擬光源模擬真實(shí)光源對虛擬物體照明以實(shí)現(xiàn)虛擬物體表面的明暗。(2)根據(jù)lightm即中的亮度分布關(guān)系，可以較為準(zhǔn)確地判斷出真實(shí)環(huán)境中光源的方位。(3)根據(jù)光源的方位以及增強(qiáng)現(xiàn)實(shí)場景中的所有物體(包括虛擬物體和真實(shí)物體)的幾何結(jié)構(gòu)，利用陰影體方法生成場景中的各種陰影。全文摘要為實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)系統(tǒng)中光照的實(shí)時(shí)準(zhǔn)確性，提出了一種基于動(dòng)態(tài)lightmap的快速光照算法。該方法通過采集視頻圖像中校準(zhǔn)物體的像素亮度，計(jì)算出攝像機(jī)的信號(hào)放大量和信號(hào)偏置，并利用動(dòng)態(tài)更新的lightmap所記錄的環(huán)境光照信息實(shí)現(xiàn)虛、實(shí)場景之間的一致光照，且能夠適應(yīng)光照變化的場景。文檔編號(hào)G06T15/60GK101710429SQ20091004451公開日2010年5月19日申請日期2009年10月12日優(yōu)先權(quán)日2009年10月12日發(fā)明者孫建華,曾平,譚茗,陳浩申請人:湖南大學(xué)