專利名稱：用于生成環(huán)境地圖的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及合成圖像拼合的領(lǐng)域，且更具體地涉及用于虛擬環(huán)境或三維(3D)場景的環(huán)境地圖的實時生成。
背景技術(shù)：
根據(jù)本領(lǐng)域技術(shù)，用于逼真渲染的方法使得大量使用基于圖像的光照，其中捕捉真實的光照環(huán)境并重新使用其來光照虛擬對象。但是，這樣的光照環(huán)境的捕捉經(jīng)常需要靜止場景和特定捕捉硬件，諸如高端數(shù)碼相機、小型球體反射鏡(mirrorball)、或HDR視頻捕 獲設(shè)備。隨著互動游戲和仿真應(yīng)用的出現(xiàn)，對尤其是實時的增強沉浸在虛擬環(huán)境的效果和與虛擬環(huán)境的互動性的效果的方法有了不斷增長的需求。

發(fā)明內(nèi)容
本發(fā)明的目的是克服現(xiàn)有技術(shù)的這些缺點。尤其是，本發(fā)明的特殊目的是增強沉浸在虛擬環(huán)境中的效果。本發(fā)明涉及用于生成表示真實環(huán)境的環(huán)境地圖的方法，包括以下步驟-從數(shù)字光學(xué)獲取設(shè)備實時地獲取表示真實環(huán)境的部分光照信息的圖像，-通過推斷圖像的至少部分像素來估計環(huán)境地圖。有利地，該方法包括環(huán)境地圖的擴散濾波的步驟。根據(jù)特殊特性,該方法包括環(huán)境地圖的光澤濾波(glossy filtering)的步驟。以有利地方式，所述推斷包括將屬于圖像的邊緣的像素的值延伸到整個環(huán)境地圖。根據(jù)另一特性，所述推斷包括將與圖像的像素的均值相對應(yīng)的值應(yīng)用到環(huán)境地圖的至少部分。有利地，用取決于環(huán)境地圖的至少部分的加權(quán)系數(shù)加權(quán)該值的應(yīng)用。根據(jù)另一特性，獲取設(shè)備具有大于閾值的焦距。以有利地方式，用角地圖表示環(huán)境地圖。


當(dāng)閱讀以附圖為參考的下列描述時，本發(fā)明將被更好理解且其他特定特征和優(yōu)點將出現(xiàn)，其中-圖I說明根據(jù)本發(fā)明的特定實施例的從真實環(huán)境中接收光照信息的虛擬環(huán)境，-圖2圖解地說明根據(jù)本發(fā)明的特定實施例的表示圖I的真實環(huán)境的部分光照信息的圖像的捕獲。-圖3圖解地說明根據(jù)本發(fā)明的特定實施例用于推斷圖2的所捕獲的光照信息的方法，
-圖4圖解地說明根據(jù)本發(fā)明的特定實施例通過推斷圖2的所捕獲的光照信息生成的環(huán)境地圖，-圖5說明根據(jù)本發(fā)明的特定實施例實現(xiàn)用于生成圖4的環(huán)境地圖的方法的設(shè)備，-圖6說明根據(jù)本發(fā)明的特定實施例用于生成圖I的真實環(huán)境的環(huán)境地圖的方法。
具體實施例方式通過參考用于生成表示真實環(huán)境的環(huán)境地圖的方法的特定實施例來描述發(fā)明，該環(huán)境地圖包括被用于光照虛擬環(huán)境的信息。這個方法提供簡單并且不昂貴的解決方案，用于從由簡單的網(wǎng)絡(luò)攝像機或其他獲取設(shè)備提供的圖像中提取光照信息。首先重新映射所捕獲的圖像到環(huán)境地圖，且在周圍環(huán)境的未知部分中推斷從所捕獲的圖像中發(fā)出的所捕獲光照信息。根據(jù)有利的變體，為了高質(zhì)量的渲染，隨后使用圖形硬件濾波所推斷的光照信息表示(representation)。當(dāng)近似時,本發(fā)明提供可用于虛擬現(xiàn)實和多媒體應(yīng)用的似乎真實的 環(huán)境地圖，并甚至在低端圖形硬件上實時地運行。圖I說明屬于真實環(huán)境I的用戶12正在與屏幕13上所顯示的虛擬環(huán)境(也稱為3D場景)100互動。虛擬環(huán)境100包括虛擬對象(也稱為3D對象)101，例如用戶與之交互的化身(avatar)。該化身是例如用戶12經(jīng)由視頻聊天應(yīng)用與其講話的人的圖形表示，或由用戶12控制的虛擬應(yīng)用(例如游戲)的角色的圖形表示。為了使用戶12增加沉浸在虛擬環(huán)境中的效果，通過例如網(wǎng)絡(luò)攝像機的數(shù)字光學(xué)獲取設(shè)備11捕獲表示真實環(huán)境I的光照的信息。因為獲取設(shè)備11的有限孔徑不允許整個環(huán)境的捕獲，超出獲取設(shè)備11的范圍推斷所捕獲的入射光照，產(chǎn)生空間內(nèi)任何方向的入射光照的完全估計。用于光照虛擬環(huán)境100的來自真實環(huán)境I的光照信息的使用增加了真實環(huán)境I和虛擬環(huán)境100合并為一個環(huán)境的效果。這因此增加了用戶12沉浸于其于之互動的虛擬環(huán)境100的效果。對于實時虛擬現(xiàn)實應(yīng)用，光學(xué)獲取設(shè)備11的位置選擇則是直接高于或低于顯示屏幕13以確保光照的空間連貫性。根據(jù)變體，例如在光照設(shè)計的背景下，放置獲取設(shè)備11在任何所期望的位置以獲得目標光照。圖2圖解地說明通過數(shù)字光學(xué)獲取設(shè)備22對表示真實環(huán)境I的部分光照信息的圖像24的捕獲。通過映射所捕獲的圖像24 (或其引起的光照信息/數(shù)據(jù))到虛擬球體Q上(光學(xué)獲取設(shè)備被定位在球體的中心)，獲得真實環(huán)境I的環(huán)境地圖2。由真實環(huán)境的捕獲產(chǎn)生的光照信息受限于獲取設(shè)備22的孔徑23。環(huán)境地圖2因此由兩部分組成，第一部分20是可用光照信息且第二部分21是必須重建的缺失光照信息。獲取設(shè)備22的孔徑23取決于獲取設(shè)備的焦距。以有利地方式，獲取設(shè)備22是網(wǎng)絡(luò)攝像機，其具有不昂貴的優(yōu)勢和在多個目前的顯示屏幕、計算機設(shè)備(諸如膝上型計算機)或甚至智能電話上可用的優(yōu)勢。網(wǎng)絡(luò)攝像機的焦距例如大于等于例如25毫米或50毫米的閾值。根據(jù)一變體，光學(xué)獲取設(shè)備是高分辨率設(shè)備，或具有小于或大于上述閾值的焦距的HDR (“高動態(tài)范圍”)設(shè)備。圖3圖解地說明用于根據(jù)本發(fā)明的特定的和非限制性的實施例推斷所捕獲的光照息的方法。為了從所捕獲的光照信息中重建整個環(huán)境光照，所獲取的數(shù)據(jù)被映射到如圖2所示的虛擬球體，產(chǎn)生環(huán)境地圖的角地圖。角地圖是環(huán)境地圖的角表示。方向d 31對應(yīng)于目標角地圖上的像素(X，y) = (dxr, dyr),其中
權(quán)利要求
1.一種用于生成表示真實環(huán)境(I)的光照信息的環(huán)境地圖(4)的方法，其特征在于所述方法包括以下步驟 -從數(shù)字光學(xué)獲取設(shè)備(11，22 )實時地獲取(61)表示所述真實環(huán)境(I)的部分光照信息的圖像(24)，所述圖像(24)包括多個像素， -通過推斷所述圖像(24)的所述像素的至少部分來估計(62)所述環(huán)境地圖(4)。
2.根據(jù)權(quán)利要求I的方法，其特征在于它包括所述環(huán)境地圖(4)的擴散濾波的步驟。
3.根據(jù)權(quán)利要求I或2中的一個的方法，其特征在于它包括所述環(huán)境地圖(4)的光澤濾波的步驟。
4.根據(jù)權(quán)利要求I到3中的一個的方法，其特征在于所述推斷包括將屬于所述圖像(24)的邊緣的像素(42)的值延伸到所述整個環(huán)境地圖(4)。
5.根據(jù)權(quán)利要求4的方法，其特征在于所述推斷包括與所述圖像(24)的像素的均值相對應(yīng)的值到所述環(huán)境地圖(4)的至少部分的應(yīng)用。
6.根據(jù)權(quán)利要求5的方法，其特征在于所述值的應(yīng)用利用取決于所述環(huán)境地圖(4)的所述至少部分的加權(quán)系數(shù)a被加權(quán)。
7.根據(jù)權(quán)利要求I到6中的一個的方法，其特征在于所述獲取設(shè)備(11，22)具有大于閾值的焦距。
8.根據(jù)權(quán)利要求I到7中的一個的方法，其特征在于由角地圖表示所述環(huán)境地圖(4)。
全文摘要
發(fā)明涉及一種用于生成表示真實環(huán)境的光照信息的環(huán)境地圖的方法。為了增強沉浸在虛擬環(huán)境的效果，該方法包括以下步驟從數(shù)字光學(xué)獲取設(shè)備(22)實時地獲取表示所述真實環(huán)境的部分光照信息的圖像(24)，所述圖像包括多個像素；通過推斷所述圖像的所述像素的至少部分來估計所述環(huán)境地圖。
文檔編號G06T15/50GK102667865SQ201080058471
公開日2012年9月12日 申請日期2010年12月20日 優(yōu)先權(quán)日2009年12月21日
發(fā)明者J-E.馬維, P.高特朗 申請人:湯姆森特許公司