本發(fā)明涉及ar設(shè)備投射領(lǐng)域，具體涉及將現(xiàn)實光影通過ar設(shè)備投射到虛擬物品上的方法。

背景技術(shù)：

增強(qiáng)現(xiàn)實(augmentedreality，簡稱ar)技術(shù)，是將虛擬世界信息通過科技處理應(yīng)用到真實世界，并通過模擬仿真的方式被人類感官所感知的一項技術(shù)。使用者利用頭戴式顯示器，可以在現(xiàn)實世界中感知到虛擬物品的存在，其所述虛擬物品都是由電腦前期生成，光影效果無法獲取當(dāng)前所在現(xiàn)實世界場景中的光影色彩投影，因此給人一種不真實的感覺，對于強(qiáng)調(diào)真實體驗的ar設(shè)備來講，是一個明顯缺陷。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種在ar場景中介入現(xiàn)實光影的方法，用于讓ar設(shè)備中虛擬物品透過真實世界光影的影響，和真實世界中的光影能產(chǎn)生互動。

為實現(xiàn)上述目的，本發(fā)明提供的在ar場景中介入現(xiàn)實光影的方法，包括以下步驟：

（1）通過ar設(shè)備的拍照功能對當(dāng)前所處場景進(jìn)行多角度拍照，得到一組照片；

（2）根據(jù)所拍攝的照片在ar設(shè)備系統(tǒng)內(nèi)部生成一組全景畫面；

（3）用全景畫面生成周圍環(huán)境在虛擬對象表面的鏡面反射效果；

（4）根據(jù)全景畫面生成漫反射環(huán)境圖；

（5）通過漫反射環(huán)境圖給虛擬對象生成漫反射光照；

（6）把調(diào)整好的虛擬對象合成到攝像頭實時拍攝的畫面，然后在顯示設(shè)備上顯示出來，并通過ar設(shè)備投影到人眼中。

進(jìn)一步地，所述步驟（3），包括以下步驟：

（a）根據(jù)觀察者的視線方向、虛擬對象表面任意點的法線方向，計算出入射光方向；

（b）根據(jù)所述任意點的光滑程度，計算出入射光方向周圍一定范圍的入射光在虛擬對象表面的所述任意點處反射到人眼中的光照信息。

進(jìn)一步地，所述步驟（4）包括，對于每個法線方向，計算全景畫面里所有像素對它的光照結(jié)果并求和。

進(jìn)一步地，所述步驟（5）包括，根據(jù)虛擬對象表面任意點的法線方向，從漫反射環(huán)境圖里獲得這個法線方向的光照信息。

進(jìn)一步地，所述漫反射環(huán)境圖用于保存在這個環(huán)境中每個法線方向能夠接收到的周圍環(huán)境發(fā)射給它的漫反射光照強(qiáng)度和顏色。

更進(jìn)一步地，所述漫反射環(huán)境圖用全景畫面貼圖或球諧保存。

本發(fā)明提出一種在ar場景中介入現(xiàn)實光影的方法，通過ar設(shè)備將現(xiàn)實場景的照片生成為漫反射環(huán)境圖，進(jìn)而形成虛擬物品，從而使ar設(shè)備更加真實。

本發(fā)明的其它特征和優(yōu)點將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實施本發(fā)明而了解。

附圖說明

附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，并與本發(fā)明的實施例一起，用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1為根據(jù)本發(fā)明的在ar場景中介入現(xiàn)實光影的方法的流程圖；

圖2為計算入射光方向的示意圖；

圖3為計算鏡面反射光的示意圖；

圖4為計算表面接收到的所有方向的光照之和的示意圖；

圖5為不同粗糙程度的鏡面反射對比的示意圖；

圖6為漫反射環(huán)境圖；

圖7為最終效果的示意圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

圖1為根據(jù)本發(fā)明的在ar場景中介入現(xiàn)實光影的方法的流程圖，下面將參考圖1，對本發(fā)明的在ar場景中介入現(xiàn)實光影的方法進(jìn)行詳細(xì)描述。

首先，在步驟101，通過ar設(shè)備的拍照功能對當(dāng)前所處場景進(jìn)行多角度拍照，得到一組照片。

在步驟102，根據(jù)所拍攝的照片在ar設(shè)備系統(tǒng)內(nèi)部生成一組全景畫面(cubemap)。

在步驟103，用全景畫面生成周圍環(huán)境在虛擬對象表面的鏡面反射(specularreflection)效果。其具體方案如下：

（a）根據(jù)觀察者的視線方向v、虛擬對象表面任意點p的法線方向n等數(shù)據(jù)，計算出入射光方向r，如圖2所示。

（b）根據(jù)p點的光滑程度g（越光滑的材質(zhì)鏡面反射越清晰），計算出r方向周圍一定范圍的入射光在虛擬對象表面p點處反射到人眼中的光照信息，如圖3所示。

圖5中示出了不同粗糙程度的鏡面反射對比。其中，最左側(cè)的模型的材質(zhì)最光滑的（g最大），往右越來越粗糙（g越來越?。??？梢钥吹皆焦饣牟馁|(zhì)鏡面反射越清晰。

在步驟104，根據(jù)全景畫面生成漫反射環(huán)境圖。漫反射環(huán)境圖用于保存在這個環(huán)境中每個法線方向能夠接收到的周圍環(huán)境發(fā)射給它的漫反射光照強(qiáng)度和顏色。漫反射環(huán)境圖可以用全景畫面(cubemap)貼圖或球諧(sphericalharmonics)保存。

生成漫反射環(huán)境圖的具體方案：對于每個法線方向，計算全景畫面里所有像素對它的光照結(jié)果并求和，如圖4所示。

圖5為生成的漫反射環(huán)境圖(cubemap)。

在步驟105，通過漫反射環(huán)境圖給虛擬對象生成漫反射光照。具體方案：根據(jù)虛擬對象表面任意點p的法線方向，從漫反射環(huán)境圖里獲得這個法線方向的光照信息。

圖7為根據(jù)虛擬對象表面法線方向，從漫反射環(huán)境圖里獲得漫反射光照信息的最終效果圖。

在步驟106，把調(diào)整好的虛擬對象合成到攝像頭實時拍攝的畫面，然后在顯示設(shè)備上顯示出來，并通過ar設(shè)備投影到人眼中。

本領(lǐng)域普通技術(shù)人員可以理解：以上所述僅為本發(fā)明的優(yōu)選實施例而已，并不用于限制本發(fā)明，盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，對于本領(lǐng)域的技術(shù)人員來說，其依然可以對前述各實施例記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。

技術(shù)特征：

技術(shù)總結(jié)
一種在AR場景中介入現(xiàn)實光影的方法，包括以下步驟通過AR設(shè)備的拍照功能對當(dāng)前所處場景進(jìn)行多角度拍照，得到一組照片；根據(jù)所拍攝的照片在AR設(shè)備系統(tǒng)內(nèi)部生成一組全景畫面；用全景畫面生成周圍環(huán)境在虛擬對象表面的鏡面反射效果；根據(jù)全景畫面生成漫反射環(huán)境圖；通過漫反射環(huán)境圖給虛擬對象生成漫反射光照；把調(diào)整好的虛擬對象合成到攝像頭實時拍攝的畫面，然后在顯示設(shè)備上顯示出來，并通過AR設(shè)備投影到人眼中。本發(fā)明的方法，用于讓AR設(shè)備中虛擬物品透過真實世界光影的影響，和真實世界中的光影能產(chǎn)生互動。

技術(shù)研發(fā)人員：石海;吳天奇;朱博;劉捷;柳堯順
受保護(hù)的技術(shù)使用者：蘇州蝸牛數(shù)字科技股份有限公司
技術(shù)研發(fā)日：2017.03.02
技術(shù)公布日：2017.07.11