專利名稱：利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法
技術(shù)領(lǐng)域：
本發(fā) 明涉及虛擬現(xiàn)實，尤其涉及一種利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，屬于人機交互、虛擬現(xiàn)實、計算機圖形學(xué)和計算機視覺等技術(shù)領(lǐng)域。
背景技術(shù)：
移動互聯(lián)網(wǎng)已經(jīng)成為比當(dāng)前互聯(lián)網(wǎng)更大的互聯(lián)網(wǎng)，具有廣闊的應(yīng)用發(fā)展前景。但是當(dāng)前的手機僅僅局限于電話短信或者拍攝等有限的幾個功能，尤其是如何發(fā)揮手機及其它移動攝像設(shè)備的圖像或者視頻拍攝功能，使得用戶可以隨時隨地把真實世界中的圖像或者視頻數(shù)據(jù)及時傳輸?shù)较鄳?yīng)的虛擬場景中的指定位置上，并完成虛擬場景與真實影像采集數(shù)據(jù)的融合，這方面的技術(shù)和系統(tǒng)，未見于公開報道。另一方面，傳統(tǒng)的虛擬場景中基于圖像的紋理數(shù)據(jù)的更新由于受采集設(shè)備和數(shù)據(jù)處理方法的限制，無法滿足虛擬場景紋理實時更新的需求，從而使得虛擬現(xiàn)實系統(tǒng)的真實感和沉浸感受到很大的制約。Google公司推出的街景服務(wù)，可以使用戶在相應(yīng)的虛擬場景中進行交互漫游，但是沒有進行場景與采集影像數(shù)據(jù)的匹配，也無法在街景中查詢當(dāng)前位置場景對象的相關(guān)信息，而且這些街景信息都是事先處理完成的，無法做到街景圖像的實時更新。微軟在2010年上半年嘗試?yán)枚ㄖ频氖謾C針對街景圖像數(shù)據(jù)指定的位置和朝向進行動態(tài)視頻遠程傳輸?shù)难菔?，但有關(guān)這方面的技術(shù)文獻和演示系統(tǒng)并未見諸公開文獻或報道。此項技術(shù)目前仍處于空白。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對當(dāng)前虛擬現(xiàn)實中的局部場景真實感不足的缺點，提出一種利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法。為了實現(xiàn)技術(shù)目的，本發(fā)明采用如下技術(shù)方案一種利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，所述方法包括a)移動拍攝設(shè)備獲取拍攝地點的位置和方向，也就是真實影像的視點；b)移動拍攝設(shè)備安裝有呈現(xiàn)虛擬場景的虛擬現(xiàn)實系統(tǒng)客戶端，移動拍攝設(shè)備根據(jù)所述位置和方向以及移動拍攝設(shè)備中的拍攝參數(shù)(比如分辨率，焦距和景深)在屏幕中呈現(xiàn)虛擬場景的虛擬影像；c)移動拍攝設(shè)備對真實場景進行影像取景，將真實影像和虛擬影像同時呈現(xiàn)于所述屏幕，調(diào)整真實場景的視點和虛擬場景的視點中的一個或兩個，使所述真實場景的視點和虛擬場景的視點重合；d)通過虛擬現(xiàn)實系統(tǒng)的客戶端將移動拍攝設(shè)備拍攝的真實影像上傳至數(shù)據(jù)服務(wù)器，所述數(shù)據(jù)服務(wù)器融合所述影像并更新虛擬場景的影像數(shù)據(jù)。數(shù)據(jù)服務(wù)器也可將更新后的數(shù)據(jù)分發(fā)給包括移動拍攝設(shè)備中的虛擬現(xiàn)實系統(tǒng)客戶端在內(nèi)的虛擬現(xiàn)實系統(tǒng)客戶端，實現(xiàn)客戶端數(shù)據(jù)的及時更新。
優(yōu)選地，在步驟C)中，將真實影像和虛擬影像重疊呈現(xiàn)于所述屏幕，所述真實影像位于底層，所述虛擬影像位于頂層并具有設(shè)定的透明度(比如半透明)；或者，所述虛擬影像位于底層，所述真實影像位于頂層并具有設(shè)定的透明度(比如半透明)。優(yōu)選地，在步驟C)中，通過調(diào)整拍攝地點的位置和方向中的一項或兩項，使所述真實場景的視點和虛擬場景的視點重合。

優(yōu)選地，在步驟C)之后，將所述屏幕中的虛擬影像和真實影像放大至真實分辨率，若兩者不重疊，則調(diào)整在真實分辨率下重復(fù)步驟c)，即更加細微地調(diào)整真實場景的視點和虛擬場景的視點之一或者兩者同時調(diào)整，使得真實影像和虛擬影像重疊，即真實場景的視點和虛擬場景的視點重合。優(yōu)選地，安裝在移動拍攝設(shè)備內(nèi)的虛擬現(xiàn)實系統(tǒng)客戶端可以對虛擬場景中的場景特征進行語義查詢和語義編輯及更新，數(shù)據(jù)服務(wù)器再將更新后的數(shù)據(jù)分發(fā)給包括移動拍攝設(shè)備的虛擬顯示系統(tǒng)客戶端在內(nèi)的各個虛擬現(xiàn)實系統(tǒng)客戶端。下面從幾個方面對本發(fā)明方法作具體說明。在本發(fā)明方法中，移動拍攝設(shè)備(比如手機，相機，攝像機，或者其它專用拍攝設(shè)備等等)拍攝的影像(在本發(fā)明中，影像包括動態(tài)的視頻或者靜態(tài)的圖像(照片))具備位置和方向?qū)傩裕⑸蟼鞯教摂M場景系統(tǒng)中進行場景影像紋理的融合處理，使得虛擬場景中的局部紋理的生成具有動態(tài)、實時等特點，提高虛擬場景的真實感。同時，利用移動拍攝設(shè)備屏幕顯示的虛擬場景，通過交互拾取虛擬場景對象查詢相關(guān)的各種屬性信息，從而可以加快真實感虛擬場景的構(gòu)建速度和構(gòu)建質(zhì)量，同時可以增加用戶查詢場景對象相關(guān)信息時的直觀性和便捷性，也可以通過真實場景拍攝的影像對虛擬場景對象的輪廓形狀進行有效校驗，進而提高虛擬場景對象的三維構(gòu)建精度。在本發(fā)明方法中，移動拍攝設(shè)備應(yīng)具有定位功能(比如在室外采用設(shè)備內(nèi)的GPS 定位裝置進行定位，如果在室內(nèi)，則可以利用無線網(wǎng)絡(luò)發(fā)射節(jié)點之間的三角測量交叉定位功能進行定位)和定向功能。也就是說，設(shè)備可以獲取拍攝地點和方位朝向，這樣的技術(shù)條件在現(xiàn)有的中高端手機上已經(jīng)普及，其中的定位和定向的精度，還可以通過設(shè)備的增強和定位定向的相關(guān)算法改進得到保證，目前已有成熟的解決方案。利用移動拍攝設(shè)備進行拍攝之前，需要預(yù)先讀取當(dāng)前位置的虛擬場景。也就是說， 拍攝者所在位置周圍的真實場景應(yīng)當(dāng)經(jīng)過相應(yīng)的虛擬場景構(gòu)建，并且可以通過移動拍攝設(shè)備的屏幕呈現(xiàn)當(dāng)前位置和朝向的三維虛擬場景。移動拍攝設(shè)備屏幕同時也呈現(xiàn)其鏡頭對準(zhǔn)的真實場景景象。為此，虛擬場景或者拍攝景象之一可以按一定的透明度呈現(xiàn)，便于用戶通過屏幕同時觀測到虛擬影像和真實影像。一般而言，由于移動拍攝設(shè)備的定位精度和定向精度存在一定誤差，因此移動拍攝設(shè)備確定的位置和方向未必是移動拍攝設(shè)備所在的真實位置和方向，因此移動拍攝設(shè)備根據(jù)其確定的位置和方向得到的虛擬影像和真實拍攝到的真實影像之間會存在不一致的情況。為了解決這一問題，在本發(fā)明方法中，通過調(diào)整移動拍攝設(shè)備的位置和方向，或者通過調(diào)節(jié)虛擬場景的視點位置和方向，使得真實場景影像與虛擬場景影像重疊一致，此時虛擬場景中的虛擬相機具有與真實的移動拍攝設(shè)備幾乎完全相同的空間位置、朝向和拍攝參數(shù)(包括投影類型，觀察參考點，觀察平面法向，觀察正向，投影參考點，相機焦距和景深等)，從而確定拍攝的真實影像作為此位置和方向上的三維虛擬場景的紋理圖像或者視頻紋理。 以上過程完成了移動拍攝設(shè)備的各項參數(shù)與虛擬場景攝像機的各項相應(yīng)參數(shù)的匹配，隨后在移動拍攝設(shè)備的移動過程中，虛擬場景的虛擬攝像機也隨著移動拍攝設(shè)備的位置、方向和拍攝參數(shù)的改變而改變。也就是說，可以把移動拍攝設(shè)備的鏡頭與虛擬場景中的虛擬攝像頭完全結(jié)合起來，從而通過移動拍攝設(shè)備的網(wǎng)絡(luò)傳輸功能，把拍攝到的相應(yīng)真實影像紋理數(shù)據(jù)傳輸?shù)教摂M場景的數(shù)據(jù)服務(wù)器中，通過更新數(shù)據(jù)服務(wù)器相應(yīng)位置的場景數(shù)據(jù)，使得拍攝的真實影像紋理在虛擬場景中得到呈現(xiàn)，實現(xiàn)虛擬場景的虛實融合。
和現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)勢體現(xiàn)在1.移動拍攝設(shè)備在定位定向功能的輔助下，通過調(diào)整移動設(shè)備的位置和朝向，或者調(diào)整移動設(shè)備上的虛擬現(xiàn)實場景中的視點位置和朝向，利用真實影像與虛擬影像的重疊顯示，使得動態(tài)紋理影像與虛擬場景影像進行有效的一致性疊加；2.在真實分辨率條件下對真實影像和虛擬影像進行一致性疊加；3.真實影像紋理具有與虛擬場景相同的攝像機參數(shù)。4.利用移動設(shè)備的定位定向功能的輔助，移動設(shè)備上的虛擬現(xiàn)實系統(tǒng)客戶端具有場景位置的語義查詢和編輯功能。


圖1表示虛擬影像的示意圖；圖2表示真實影像的示意圖；圖3表示實施例方法流程示意圖。
具體實施例方式下面通過具體實施例結(jié)合附圖對本發(fā)明作進一步說明。本實施例按照數(shù)據(jù)采集和場景生成流程，可以通過以下幾個步驟分步實施1手機的地理位置和姿態(tài)的初始化定位手機在室外使用時，其地理位置直接由手機中的GPS模塊測量定位得到。如果在室內(nèi)，則通過無線網(wǎng)絡(luò)WLAN的無線發(fā)射器之間的三角測量原理與發(fā)射器的頻率強度場的變化值確定手機的地理位置初始值。這兩項技術(shù)都已經(jīng)有了成熟的解決方案。當(dāng)然也可以通過手機通信網(wǎng)絡(luò)的定位方法確定地理位置，也已經(jīng)有成熟的解決方案。手機的朝向初始值，可以通過手機自身所具備的測量傳感器測量所得。從而得到手機的位置和方向初始值。 見圖3步驟(1)，(2)。2虛擬場景在手機移動下的視點改變呈現(xiàn)傳統(tǒng)的虛擬場景的瀏覽，通過第一人稱視點或者第三人稱視點交互調(diào)整虛擬場景的朝向和位置，比如通過鍵盤的方向鍵或者鼠標(biāo)滑動改變虛擬攝像機的視點位置和朝向。 本實施例采用具有定位定向功能的手機，因此視點的位置和朝向直接通過設(shè)備傳感器的參數(shù)獲得，通過手機的位置和朝向的變化，改變虛擬場景中虛擬視點的位置和朝向，從而改變虛擬場景的虛擬影像。如上所述，由于定位定向設(shè)備和計算方法所帶來的測量傳感器誤差， 同時由于虛擬場景構(gòu)建的計算誤差，因此存在虛擬視點變化的精度問題。對于瀏覽場景而言，虛擬視點的精度誤差是可以接受的，但是對于本實施例中的定位和定向，需要進行誤差校正。具體的視點糾正方法可以是通過手機定位和姿態(tài)傳感器獲得位置與姿態(tài)參數(shù)， 計算虛擬空間的概略視點，使用手機獲得真實影像與虛擬空間視點臨近區(qū)域的虛擬影像進行基于局部區(qū)域和基于特征的匹配，通過匹配獲得虛擬空間視點與真實視點之間的差異，進而修正虛擬場景的視點參數(shù)，同時，也可依據(jù)虛擬場景的視點位置，進一步修正手機的定位、 定向參數(shù)。3通過手機拍攝真實影像手機通過自身攜帶的攝像頭，對真實場景進行影像拍攝，由于手機具備定位和定向的功能，因此所拍攝的影像都具備當(dāng)前位置和朝向等參數(shù)值。同時，可以從手機的硬件參數(shù)中及時確定景象的景深、焦距以及分辨率等拍攝參數(shù)。因此，拍攝的影像具有攝像機的內(nèi)外參數(shù)值。4手機位置和姿態(tài)的動態(tài)調(diào)整由于GPS和手機姿態(tài)傳感器帶來的測量誤差，拍攝的真實影像與虛擬影像不能完全重疊，真實視點與虛擬視點不一致。為了便于討論，此處假設(shè)場景建筑物的位置和朝向是精確確定的，即使與真實的場景有一定誤差，也以虛擬場景建筑物的位置和方向為準(zhǔn)，這樣的假設(shè)對本實施例的方法和實現(xiàn)流程沒有影響。如果真實影像與虛擬影像不重疊(此時，把虛擬影像設(shè)定為半透明，或者把真實影像設(shè)定為半透明)，則通過調(diào)整手機的位置和姿態(tài)使得虛擬場景的視點向真實視點位置移動。不斷調(diào)整虛擬場景視點，使得虛擬場景與真實場景出現(xiàn)重疊一致，從而可以得到此位置的虛擬場景所需要的動態(tài)紋理圖像或者視頻，如圖1，2所示。記錄此動態(tài)紋理的相關(guān)攝像機參數(shù)(位置、朝向和分辨率等參數(shù))。在重疊性調(diào)整過程中，由于手機的攝像頭分辨率與手機屏幕的顯示分辨率不同， 因此僅僅在手機屏幕分辨率下上進行簡單的重疊性判斷可能存在精度誤差，需要在調(diào)整重疊場景后，對拍攝的真實影像與虛擬影像在手機屏幕上的圖像進行放大對比，只有在手機攝像頭真實分辨率顯示的條件下進行虛實影像的一致性重疊性迭代判斷，才能使得兩者之間的相機參數(shù)保持一致。因此如果在虛實影像放大到真實分辨率的情況下，出現(xiàn)不重疊的情形(如果重疊的話，則這一步可以省略)，則再局部調(diào)整虛擬場景的視點位置，使得虛擬影像與真實影像在局部場景中重疊，并對虛擬場景中具有明顯幾何特征的點或者圖像特征點進行手工標(biāo)定，一般標(biāo)定點在3-5個點，由此計算得到的虛擬場景視點參數(shù)值就是真實景象的視點參數(shù)值。見圖3步驟(6)。5動態(tài)紋理的上傳與虛擬融合將拍攝得到的三維真實場景中當(dāng)前位置和姿態(tài)下的真實影像作為動態(tài)紋理上傳到虛擬現(xiàn)實系統(tǒng)的數(shù)據(jù)服務(wù)器中，等待對這些數(shù)據(jù)進行處理和融合，以及網(wǎng)絡(luò)分發(fā)。由于動態(tài)紋理生成過程可能被不同用戶、不同角度和位置以不同分辨率的手機設(shè)備重復(fù)生成，而且由于手機拍攝質(zhì)量、手機攝像頭的分辨率以及光照等因素影響，即使同一場景同一角度所拍攝的動態(tài)紋理質(zhì)量可能有所不同，因此需要融合不同分辨率、不同光照條件下拍攝的場景紋理信息。通過一定的視覺和圖像處理算法(這些算法已經(jīng)有成熟的方法)，把這些拍攝圖像或者視頻進行數(shù)據(jù)校正融合，生成同一視角下的紋理圖像，并通過一定的數(shù)據(jù)組織， 存儲在虛擬現(xiàn)實數(shù)據(jù)服務(wù)器中，經(jīng)過虛擬場景數(shù)據(jù)融合后進行更新數(shù)據(jù)的及時分發(fā)，包括移動拍攝設(shè)備中的虛擬現(xiàn)實系統(tǒng)客戶端在內(nèi)的虛擬現(xiàn)實系統(tǒng)客戶端可以通過網(wǎng)絡(luò)得到更新后的三維虛擬場景影像數(shù)據(jù)。見圖3步驟(8)，(10)，(11)。

對于動態(tài)視頻紋理，可以通過保存視頻紋理的視點、分辨率等參數(shù)，直接在虛擬場景相應(yīng)位置上進行播放。6相關(guān)屬性信息的查詢用戶通過真實影像中相關(guān)場景對象的位置和朝向計算，查詢虛擬場景(對象)相關(guān)的各種屬性信息。用戶在一定權(quán)限條件下，對其中的虛擬場景信息進行編輯修改(例如查詢修改場景中某建筑物的用途、現(xiàn)狀描述，某一座橋梁的結(jié)構(gòu)、載荷、橋面鋪設(shè)材料、建橋歷史背景等)，見圖3步驟(9)。從而，虛擬現(xiàn)實系統(tǒng)就成為一個能夠提供高真實感三維虛擬場景體驗同時可以查詢真實場景中各種相關(guān)場景信息的實用系統(tǒng)。見圖3步驟(3)、(7)。
權(quán)利要求
1.一種利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，所述方法包括a)移動拍攝設(shè)備獲取拍攝地點的位置和方向；b)移動拍攝設(shè)備安裝有呈現(xiàn)虛擬場景的虛擬現(xiàn)實系統(tǒng)客戶端，移動拍攝設(shè)備根據(jù)所述位置和方向以及移動拍攝設(shè)備中的拍攝參數(shù)在屏幕中呈現(xiàn)虛擬場景的虛擬影像；c)移動拍攝設(shè)備對真實場景進行影像取景，將真實影像和虛擬影像同時呈現(xiàn)于所述屏幕，調(diào)整真實場景的視點和虛擬場景的視點中的一個或兩個，使所述真實場景的視點和虛擬場景的視點重合；d)將移動拍攝設(shè)備拍攝的真實影像通過虛擬現(xiàn)實系統(tǒng)的客戶端上傳至數(shù)據(jù)服務(wù)器，所述數(shù)據(jù)服務(wù)器融合所述影像并更新虛擬場景的影像數(shù)據(jù)。
2.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，在步驟c)中，將真實影像和虛擬影像重疊呈現(xiàn)于所述屏幕，所述真實影像位于底層，所述虛擬影像位于頂層并具有設(shè)定的透明度。
3.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，在步驟c)中，將真實影像和虛擬影像重疊呈現(xiàn)于所述屏幕，所述虛擬影像位于底層，所述真實影像位于頂層并具有設(shè)定的透明度。
4.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，在步驟c)中，通過調(diào)整拍攝地點的位置和方向中的一項或兩項，使所述真實場景的視點和虛擬場景的視點重合。
5.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，在步驟c)之后，將所述屏幕中的虛擬影像和真實影像放大至真實分辨率，若兩者不重疊，則在真實分辨率下重復(fù)步驟c)。
6.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，虛擬場景的客戶端對虛擬場景中的場景特征進行語義查詢和語義編輯及更新。
7.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，所述數(shù)據(jù)服務(wù)器向虛擬場景的客戶端分發(fā)更新數(shù)據(jù)。
8.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，所述移動拍攝設(shè)備是具有定位和定向功能的手機、相機或攝像機。
9.如權(quán)利要求1所述的利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，其特征在于，步驟b)所述拍攝參數(shù)包括分辨率，焦距和景深。
全文摘要
本發(fā)明公開了一種利用移動拍攝設(shè)備進行動態(tài)紋理采集及虛實融合的方法，屬于人機交互、虛擬現(xiàn)實、計算機圖形學(xué)和計算機視覺等技術(shù)領(lǐng)域。該方法包括a)移動拍攝設(shè)備獲取拍攝地點的位置和方向；b)移動拍攝設(shè)備根據(jù)所述位置和方向以及移動拍攝設(shè)備中的拍攝參數(shù)在屏幕中呈現(xiàn)虛擬影像；c)移動拍攝設(shè)備進行影像取景，將真實影像和虛擬影像同時呈現(xiàn)于屏幕，調(diào)整真實視點和虛擬視點中的一個或兩個，使真實視點和虛擬視點重合；d)將真實影像上傳至數(shù)據(jù)服務(wù)器，數(shù)據(jù)服務(wù)器融合影像并更新虛擬場景的影像數(shù)據(jù)。本發(fā)明可用于虛擬現(xiàn)實系統(tǒng)。
文檔編號H04N5/232GK102157011SQ20101059859
公開日2011年8月17日 申請日期2010年12月10日 優(yōu)先權(quán)日2010年12月10日
發(fā)明者李勝, 汪國平, 王宇宙, 陳毅松 申請人:北京大學(xué)