本發(fā)明涉及三維場(chǎng)景建模領(lǐng)域，更具體地，涉及一種面向大場(chǎng)景的三維可視化方法及裝置。

背景技術(shù)：

古遺址年代久遠(yuǎn)，歷經(jīng)滄桑，存在嚴(yán)重的變形或破損，再加上人為因素的破壞，面臨著逐漸消亡的困境。另外，由于遺址在破損過程中許多重要信息丟失，這給考古工作者也帶來了極大的影響。為了保護(hù)古遺址，需要在一定程度對(duì)古遺址進(jìn)行復(fù)原。

隨著人們要求的提高，原有的二維信息已不能滿足需求，那么三維可視化技術(shù)便發(fā)揮了極大的作用?？焖?、高效的數(shù)據(jù)模型，流暢、逼真的三維場(chǎng)景渲染方式，日益成為一種新的信息傳遞方式。結(jié)合三維可視化技術(shù)，實(shí)現(xiàn)古遺址信息的數(shù)字化存儲(chǔ)，建立樹木、地形、天空、建筑等三維模型。

目前，手動(dòng)或者自動(dòng)的古遺址重建技術(shù)成為主要的研究領(lǐng)域。一般模型三維重建的方式有以下三種，主要包括基于激光掃描儀等設(shè)備的三維重建方法、基于多幅照片的建模方法和手動(dòng)建模的方法。

激光掃描儀可直接獲取各種實(shí)體或?qū)嵕暗娜S數(shù)據(jù)，得到被測(cè)物體表面的采樣點(diǎn)集合“點(diǎn)云”，具有快速、準(zhǔn)確的特點(diǎn)。基于點(diǎn)云模型的數(shù)據(jù)和距離影像數(shù)據(jù)可以快速重構(gòu)出目標(biāo)的三維模型，并能獲得三維空間的線、面、體等各種實(shí)驗(yàn)數(shù)據(jù)，如虛擬現(xiàn)實(shí)等。

基于多幅照片的建模方法是利用單反照相機(jī)采集模型的序列圖像，進(jìn)行預(yù)處理、攝像機(jī)標(biāo)定、點(diǎn)云模型生成、點(diǎn)云三角化等步驟，實(shí)現(xiàn)對(duì)古遺址的實(shí)景建模。

手動(dòng)建模即使用3dsmax等工具，構(gòu)建包含大場(chǎng)景模型基礎(chǔ)構(gòu)建以及建筑等三維模型。

然而，在大場(chǎng)景重建中，能讓遺址等現(xiàn)實(shí)中存在事物的三維建模達(dá)到嚴(yán)格忠實(shí)于原地貌的要求，包括幾何外形、紋理、顏色、材質(zhì)等信息。不管數(shù)字化的對(duì)象在現(xiàn)實(shí)中是否存在原型，都應(yīng)該滿足客觀性的要求。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種克服上述問題或者至少部分地解決上述問題的面向大場(chǎng)景的真實(shí)感建模方法及裝置。

根據(jù)本發(fā)明的一個(gè)方面，提供一種面向大場(chǎng)景的三維可視化方法，包括：

s1，基于大場(chǎng)景的視頻數(shù)據(jù)及掃描數(shù)據(jù)，獲取所述大場(chǎng)景的圖像序列；

s2，基于所述圖像序列，進(jìn)行圖像特征提取與匹配、稀疏重建和稠密三維重建，獲取所述大場(chǎng)景的三維數(shù)據(jù)；

s3，基于所述三維數(shù)據(jù)進(jìn)行三維建模。

根據(jù)本發(fā)明的另一個(gè)方面，還提供一種面向大場(chǎng)景的三維可視化裝置，包括：

圖像序列模塊，用于基于大場(chǎng)景的視頻數(shù)據(jù)及掃描數(shù)據(jù)，獲取所述大場(chǎng)景的圖像序列；

三維數(shù)據(jù)模塊，用于基于所述圖像序列，進(jìn)行圖像特征提取與匹配、稀疏重建和稠密三維重建，獲取所述大場(chǎng)景的三維數(shù)據(jù)；以及

建模交互模塊，用于基于所述三維數(shù)據(jù)進(jìn)行三維建模。

本發(fā)明提出一種面向大場(chǎng)景的三維可視化方法裝置，將復(fù)雜場(chǎng)景拍攝成的視頻或掃描件，處理成圖像序列；利用基于圖像建模的三維重建方法處理為三維點(diǎn)云數(shù)據(jù)，并通過主流三維軟件的接口實(shí)時(shí)繪制并渲染出三維場(chǎng)景模型。本發(fā)明所述方法特別適合大場(chǎng)景或古遺址的三維重建，可以生動(dòng)有效的還原場(chǎng)景下的真實(shí)物貌及人文歷史信息。

附圖說明

圖1為本發(fā)明實(shí)施例一種面向大場(chǎng)景的三維可視化方法流程圖；

圖2為本發(fā)明實(shí)施例htcvive定位原理示意圖。

具體實(shí)施方式

下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

如圖1所示，一種面向大場(chǎng)景的三維可視化方法，包括：

s1，基于大場(chǎng)景的視頻數(shù)據(jù)及掃描數(shù)據(jù)，獲取所述大場(chǎng)景的圖像序列；

s2，基于所述圖像序列，進(jìn)行圖像特征提取與匹配、稀疏重建和稠密三維重建，獲取所述大場(chǎng)景的三維數(shù)據(jù)；

s3，基于所述三維數(shù)據(jù)進(jìn)行三維建模。

本實(shí)施例將復(fù)雜場(chǎng)景拍攝成的視頻或掃描件，處理成圖像序列；利用基于圖像建模的三維重建方法處理為三維點(diǎn)云數(shù)據(jù)，并通過主流三維軟件的接口實(shí)時(shí)繪制并渲染出三維場(chǎng)景模型。本發(fā)明所述方法特別適合大場(chǎng)景或古遺址的三維重建，可以生動(dòng)有效的還原場(chǎng)景下的真實(shí)物貌及人文歷史信息。

具體的，所述視頻數(shù)據(jù)及掃描數(shù)據(jù)包括：所述大場(chǎng)景的地形、遺址、宮殿、景區(qū)以及文物的視頻數(shù)據(jù)或者掃描數(shù)據(jù)。

在對(duì)大場(chǎng)景進(jìn)行三維可視化前，需要收集整理得到帶掃描的大場(chǎng)景基本情況和文化歷史內(nèi)容。初步確定現(xiàn)有大場(chǎng)景的地形地貌圖片、視頻的正確性；對(duì)示范點(diǎn)涵蓋的遺址、宮殿、景區(qū)、文物的原始材料進(jìn)行數(shù)字化采集與整理。

在一個(gè)實(shí)施例中，所述s1進(jìn)一步包括：

基于預(yù)定的相似度策略，利用關(guān)鍵幀提取算法提取所述視頻數(shù)據(jù)及掃描數(shù)據(jù)的關(guān)鍵圖像幀；基于所述關(guān)鍵圖像幀生成圖像序列。

本實(shí)施例中，由于視頻數(shù)據(jù)本質(zhì)上是由大量連貫的圖像幀組成，具有大量相似的圖像，連續(xù)圖像之間的相似度太高以至于區(qū)別度太低，并且圖像幀的數(shù)據(jù)量過大，不利于后續(xù)處理，因此通過關(guān)鍵幀提取算法對(duì)視頻數(shù)據(jù)進(jìn)行甄選和提取，甄選需要按照一定的相似度策略進(jìn)行，具體相似度策略可以根據(jù)實(shí)際情況和處理的需要而定，本實(shí)施例對(duì)此不作限定。當(dāng)然也可以對(duì)掃描數(shù)據(jù)進(jìn)行同樣甄選提取。

所述關(guān)鍵幀提取算法的原理為：

攝像鏡頭通常是在一個(gè)場(chǎng)景下拍攝的，所以一個(gè)鏡頭下的各幀圖像會(huì)有相當(dāng)多的重復(fù)信息。因此，通常選取能夠描述鏡頭主要內(nèi)容的幀，作為關(guān)鍵幀，來簡(jiǎn)潔的表達(dá)鏡頭。一個(gè)鏡頭可以有一個(gè)或多個(gè)關(guān)鍵幀，這取決于鏡頭內(nèi)容的復(fù)雜程度。

提取關(guān)鍵幀的目的有兩個(gè)方面：(1)靜態(tài)表示視頻節(jié)目的主題和主要內(nèi)容，而不是動(dòng)態(tài)的細(xì)節(jié)。(2)從關(guān)鍵幀中提取顏色、紋理和形狀特征，以作為視頻摘要和數(shù)據(jù)庫索引的數(shù)據(jù)源，而不需要對(duì)每個(gè)畫面都重復(fù)。因此，關(guān)鍵幀應(yīng)該具有代表性，不僅應(yīng)代表主題方面的特征，還應(yīng)該視特征的不同而不同。因此，對(duì)關(guān)鍵幀的選取一般采用保守原則，即“寧多勿少”。同時(shí)，在代表特征不具體的情況一下，一般去掉重復(fù)(或冗余)幀。當(dāng)選取多幅關(guān)鍵幀時(shí)，用于關(guān)鍵幀選取的準(zhǔn)則是優(yōu)先考慮關(guān)鍵幀之間的不相似性，即以幀之間相似度作為衡量依據(jù)，每次尋找關(guān)鍵幀都保證各關(guān)鍵幀之間具有最小相似度，以使關(guān)鍵幀帶有最大信息量。

在一個(gè)實(shí)施例中，s2中所述圖像特征提取與匹配包括：

基于所述圖像序列的每一幅圖像，從所述每一幅圖像中提取特征點(diǎn)或特征線，所述特征點(diǎn)或特征線為真實(shí)場(chǎng)景三維空間在每一幅圖像上的投影；

在所述圖像序列的所有圖像中獲取與所述特征點(diǎn)或特性線的對(duì)應(yīng)部分，以進(jìn)行圖像匹配。

本實(shí)施例中，特征提取與匹配是三維重建的第一步，它的準(zhǔn)確度將會(huì)影響后續(xù)三維重建結(jié)果的真實(shí)性和準(zhǔn)確性。主要解決圖像匹配問題。首先需要從圖像中提取特征點(diǎn)或線作為三維重建的基元，然后在不同的圖像中找到這些基元的對(duì)應(yīng)，這些基元實(shí)際上是真實(shí)場(chǎng)景三維空間在各個(gè)圖像上的投影。

對(duì)圖像序列采用尺度不變特征變換法(即sift)進(jìn)行特征點(diǎn)檢測(cè)與匹配，得到序列圖像特征點(diǎn)匹配集合。sift是一種計(jì)算機(jī)視覺算法，用來檢測(cè)與描述圖像中的局部性特征。首先在尺度空間中尋找極值點(diǎn)，然后使用高斯差分算子建立圖像的多尺度表示，確定特征點(diǎn)的位置、尺度和方向參數(shù)，并生成描述符算子。

確定圖像區(qū)域特征可以使用dog(高斯差分算子)，如下所示：

dog＝[g(x,y,kσ)-g(x,y,σ)]

其中，x為圖像像素點(diǎn)的橫坐標(biāo)，y為圖像像素點(diǎn)的縱坐標(biāo)，σ為尺度參數(shù)。

在一個(gè)實(shí)施例中，s2中所述稀疏重建和稠密三維重建包括：

基于所述圖像特征提取與匹配得到的特征點(diǎn)或特征線，根據(jù)三角測(cè)量原理恢復(fù)所述特征點(diǎn)或特征線的深度信息，以獲得物體表面特征點(diǎn)的種子面片；

基于所述種子面片進(jìn)行擴(kuò)散，當(dāng)擴(kuò)散的種子面片能將物體或場(chǎng)景的表面全部覆蓋時(shí)停止擴(kuò)散，獲得稠密面片；

基于灰度一致性和幾何可見性，過濾掉所述稠密面片中錯(cuò)誤的面片。

本實(shí)施例通過采用基于面片模型的基于面片的三維立體重建算法(即pmvs算法)通過匹配、擴(kuò)展、過濾三個(gè)階段來完成密集匹配同時(shí)生成稠密三維點(diǎn)云。

pmvs算法是指基于面片的三維立體重建算法，其中心思想是通過特征點(diǎn)提取與匹配得到物體或景物的稀疏的三維點(diǎn)云，用帶有法向量的矩形面片模型對(duì)其進(jìn)行描述，并進(jìn)行面片擴(kuò)散和過濾得到稠密的三維點(diǎn)云模型。

該算法首先檢測(cè)每幅圖像中的特征點(diǎn)，然后匹配這些特征點(diǎn)并根據(jù)三角測(cè)量原理恢復(fù)這些點(diǎn)的深度信息，從而得到物體表面特征點(diǎn)的稀疏三維點(diǎn)云，用面片表示這些空間點(diǎn)，稱之為種子面片。然后從種子面片開始進(jìn)行擴(kuò)散，知道得到的稠密面片能夠?qū)⑽矬w或場(chǎng)景的表面全部覆蓋為止。但擴(kuò)散的面片中含有錯(cuò)誤的面片，因此在擴(kuò)散后再根據(jù)灰度一致性、幾何可見性將錯(cuò)誤面片濾除。pmvs算法重復(fù)執(zhí)行擴(kuò)散和過濾操作，來提高重建的精度。

在一個(gè)實(shí)施例中，s3中所述三維建模包括：對(duì)于所述大場(chǎng)景內(nèi)的建筑輪廓和墻體采用多邊形建模方法，對(duì)屋頂和屋脊等采用面片建模方法。

本實(shí)施例中，關(guān)于大場(chǎng)景或古遺址的實(shí)體模型分別采用不同的構(gòu)建方法，以取得更精確的效果。

在一個(gè)實(shí)施例中，所述s3進(jìn)一步包括：

基于htcvive集成化運(yùn)動(dòng)傳感器，實(shí)現(xiàn)所述大場(chǎng)景的三維可視化交互，所述交互包括定位追蹤和運(yùn)動(dòng)捕捉；

在所述三維處理軟件中進(jìn)行物理碰撞效果的設(shè)置。

本實(shí)施例中，交互是實(shí)現(xiàn)三維可視化展示中的關(guān)鍵之一，不同于以往的鍵盤鼠標(biāo)以及觸摸屏的交互控制。提出了使用虛擬現(xiàn)實(shí)設(shè)備的方法，即用戶可以通過虛擬現(xiàn)實(shí)交互設(shè)備的頭盔拓寬用戶的視野，更好的置身于漫游中；手柄可以實(shí)現(xiàn)前后左右行走；同時(shí)，設(shè)備會(huì)利用激光和光敏傳感器對(duì)用戶進(jìn)行定位，用戶可以隨意走動(dòng)來切換虛擬場(chǎng)景中的視角，擺脫過去的鼠標(biāo)鍵盤交互，增加了虛擬現(xiàn)實(shí)的“3i”特性，即沉浸性、交互性和想象性。

交互式虛擬現(xiàn)實(shí)系統(tǒng)的一個(gè)關(guān)鍵組成部分是硬件，它允許不同類型的設(shè)備輸入。本文用到的是htcvive集成化運(yùn)動(dòng)傳感器。

htcvive相對(duì)于其他虛擬現(xiàn)實(shí)交互設(shè)備，htcvive的先進(jìn)之處在于lighthouse室內(nèi)定位技術(shù)。精準(zhǔn)的紅外追蹤系統(tǒng)，配合頭顯和手柄上的數(shù)十個(gè)定位追蹤裝置，以及頭顯上的定位攝像頭，可以在毫秒級(jí)別內(nèi)實(shí)現(xiàn)目標(biāo)的定位追蹤和運(yùn)動(dòng)捕捉，帶來實(shí)時(shí)的畫面反饋和動(dòng)作識(shí)別。

具體的，本實(shí)施例htcvive集成化運(yùn)動(dòng)傳感器的定位原理如下圖2所示，主要包括激光掃射、感應(yīng)器信號(hào)接收、有效接收點(diǎn)判定、數(shù)據(jù)運(yùn)算和坐標(biāo)輸出等步驟。

本發(fā)明還提供一種面向大場(chǎng)景的三維可視化裝置，包括：

圖像序列模塊，用于基于大場(chǎng)景的視頻數(shù)據(jù)及掃描數(shù)據(jù)，獲取所述大場(chǎng)景的圖像序列；

三維數(shù)據(jù)模塊，用于基于所述圖像序列，進(jìn)行圖像特征提取與匹配、稀疏重建和稠密三維重建，獲取所述大場(chǎng)景的三維數(shù)據(jù)；以及

建模交互模塊，用于基于所述三維數(shù)據(jù)，利用三維處理軟件進(jìn)行三維建模，并加入交互功能。

在一個(gè)實(shí)施例中，所述三維數(shù)據(jù)模塊進(jìn)一步包括特征提取與匹配模塊，所述特征提取與匹配模塊包括：特征提取單元，用于基于所述圖像序列的每一幅圖像，從所述每一幅圖像中提取特征點(diǎn)或特征線，所述特征點(diǎn)或特征線為真實(shí)場(chǎng)景三維空間在每一幅圖像上的投影；以及

圖像匹配單元，用于在所述圖像序列的所有圖像中獲取與所述特征點(diǎn)或特性線的對(duì)應(yīng)部分，以進(jìn)行圖像匹配。

在一個(gè)實(shí)施例中，所述三維數(shù)據(jù)模塊進(jìn)一步包括稀疏稠密重建模塊，所述稀疏稠密重建模塊包括：

種子面片單元，用于基于所述圖像特征提取與匹配得到的特征點(diǎn)或特征線，根據(jù)三角測(cè)量原理恢復(fù)所述特征點(diǎn)或特征線的深度信息，以獲得物體表面特征點(diǎn)的種子面片；

稠密面片單元，用于基于所述種子面片進(jìn)行擴(kuò)散，當(dāng)擴(kuò)散的種子面片能將物體或場(chǎng)景的表面全部覆蓋時(shí)停止擴(kuò)散，獲得稠密面片；以及

過濾單元，用于基于灰度一致性和幾何可見性，過濾掉所述稠密面片中錯(cuò)誤的面片。

本發(fā)明提出一種面向大場(chǎng)景的三維可視化裝置，將復(fù)雜場(chǎng)景拍攝成的視頻或掃描件，處理成圖像序列；利用基于圖像建模的三維重建方法處理為三維點(diǎn)云數(shù)據(jù)，并通過主流三維軟件的接口實(shí)時(shí)繪制并渲染出三維場(chǎng)景模型。本發(fā)明所述方法特別適合大場(chǎng)景或古遺址的三維重建，可以生動(dòng)有效的還原場(chǎng)景下的真實(shí)物貌及人文歷史信息，同時(shí)通過3d交互功能提高用戶體驗(yàn)。

最后，本發(fā)明的方法僅為較佳的實(shí)施方案，并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。