本發(fā)明涉及一種基于深度攝像頭的隧道三維建模系統(tǒng)及方法。

背景技術(shù)：

作為一個(gè)科技、經(jīng)濟(jì)各方面飛速發(fā)展的國(guó)家，在城市建造的過(guò)程中必然會(huì)修建更多的隧道、地鐵來(lái)滿足交通上的需求。當(dāng)然，為了避免事故的發(fā)生，為了更好地預(yù)測(cè)隧道的情況，讓隧道挖掘的過(guò)程進(jìn)展的更加順利，我們利用深度攝像頭對(duì)隧道進(jìn)行三維建模，從而使得整個(gè)隧道的情況可以在三維空間上呈現(xiàn)出來(lái)，讓我們對(duì)隧道信息有更為直觀的認(rèn)識(shí)，從而避免一些意外事故的發(fā)生。

目前來(lái)講，深度攝像頭的應(yīng)用范圍比較廣泛。它的主要開(kāi)發(fā)原因是用于當(dāng)下十分流行的體感游戲，能夠使用戶有更好的體驗(yàn)。然而隨著技術(shù)的不斷進(jìn)步，深度攝像頭在虛擬現(xiàn)實(shí)方面也可以有非常新奇的應(yīng)用，一些時(shí)裝店將這種虛擬技術(shù)運(yùn)用到試衣間上，客戶無(wú)需試穿即可觀察到真實(shí)的試衣效果；在工程上，應(yīng)用范圍主要包括小規(guī)模場(chǎng)景(物體)的重建、物體設(shè)施的3D掃描打??；以及將低成本的深度攝像頭添加到機(jī)器人領(lǐng)域中去，并利用機(jī)器人進(jìn)行一些不需要很高精度的危險(xiǎn)地區(qū)或者地底高空等惡劣環(huán)境下的測(cè)量和勘察作業(yè)；在醫(yī)學(xué)方面，深度攝像頭的應(yīng)用思路也是相當(dāng)廣泛，瑞士Bern大學(xué)的研究項(xiàng)目使用開(kāi)發(fā)深度攝像頭系統(tǒng)，使用音控和體感軟件來(lái)代替醫(yī)生對(duì)尸體進(jìn)行解剖，華盛頓大學(xué)實(shí)驗(yàn)室則研究出可以通過(guò)對(duì)深度攝像頭的改造來(lái)控制外科醫(yī)生的機(jī)械手臂，并利用其靈敏的負(fù)反饋功能來(lái)控制手臂執(zhí)行手術(shù)，或是通過(guò)捕捉術(shù)后病人的身體運(yùn)動(dòng)情況來(lái)獲得當(dāng)前病人的康復(fù)狀況等等。

在隧道探測(cè)方面，超前地質(zhì)預(yù)報(bào)主要是使用工程物探方法，即對(duì)隧道物性參數(shù)進(jìn)行分析的方法。由于各種物探方法都存在自己的應(yīng)用范圍和探測(cè)精度，因此我們常常根據(jù)探測(cè)對(duì)象所具有的不同物理特征采用兩種或兩種以上有效的物探方法進(jìn)行探測(cè)，并對(duì)結(jié)果進(jìn)行綜合分析。從多年的工程實(shí)踐努力和經(jīng)驗(yàn)來(lái)看，在隧道超前地質(zhì)預(yù)報(bào)工作的工作物探方法主要有彈性波反射法、電磁波反射法、紅外探測(cè)法、直流電法等方法，這幾種方法都是對(duì)全斷面隧道掘進(jìn)機(jī)掘進(jìn)前方和側(cè)前方各方面地質(zhì)信息進(jìn)行探測(cè)分析，對(duì)于全斷面隧道掘進(jìn)機(jī)后方的情況基本上兼顧的比較少。隧道三維建模技術(shù)可以實(shí)現(xiàn)對(duì)于復(fù)雜隧道表征、斷面以及局部斷面的處理，同時(shí)一些系統(tǒng)設(shè)計(jì)可以實(shí)現(xiàn)對(duì)隧道外形的三角網(wǎng)格化，表面積計(jì)算以及隧道輪廓線偏離計(jì)算，可以展現(xiàn)出紅外溫度數(shù)據(jù)，任意橫斷面截圖以及一些局部細(xì)節(jié)的展示。更進(jìn)一步地，通過(guò)軟硬件結(jié)合的方式，系統(tǒng)可以對(duì)隧道變形進(jìn)行檢測(cè)，并對(duì)其原因進(jìn)行分析。檢查的準(zhǔn)確度也比較高(25m之內(nèi)+/-2mm)?？梢哉莆账淼罓顟B(tài)劣化動(dòng)態(tài)信息，并且系統(tǒng)操作多是比較簡(jiǎn)單的，不受檢查人員技術(shù)水平限制。

綜上所述，在隧道場(chǎng)景成像過(guò)程中需要克服一些已知的困難，一方面要對(duì)大規(guī)模的場(chǎng)景進(jìn)行重建是需要占用相當(dāng)大的內(nèi)存，并且重建過(guò)程需要耗費(fèi)相當(dāng)多的時(shí)間，另一方面在隧道惡劣環(huán)境中色彩信息并不是很輕易的就可以提取到，由于硬件條件設(shè)施的不足，需要在后期色彩信息處理的過(guò)程中花費(fèi)更多的精力。并且隧道中環(huán)境比較差，一些比較敏感的裝備在隧道中經(jīng)常使用會(huì)不可避免的降低壽命，因此需要增加良好的保護(hù)措施。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決上述問(wèn)題，提出了一種基于深度攝像頭的隧道三維建模系統(tǒng)及方法，本發(fā)明將深度攝像頭搭載到全斷面隧道掘進(jìn)機(jī)上并加以機(jī)械旋轉(zhuǎn)裝置和保護(hù)裝置，在全斷面隧道掘進(jìn)機(jī)的掘進(jìn)過(guò)程中，將其前進(jìn)過(guò)程中所經(jīng)歷的隧道斷面一一拍攝下來(lái)。通過(guò)對(duì)隧道視覺(jué)信息的處理、分析來(lái)獲取當(dāng)前隧道中的整體情況。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于深度攝像頭的隧道三維建模系統(tǒng)，包括深度攝像頭裝置、旋轉(zhuǎn)裝置，所述深度攝像頭裝置包括麥克風(fēng)組件、紅外攝影機(jī)、彩色攝像頭和紅外攝像頭，所述深度攝像頭裝置搭載在所述旋轉(zhuǎn)裝置上，所述旋轉(zhuǎn)裝置帶動(dòng)深度攝像頭裝置進(jìn)行豎直方向上的180°的旋轉(zhuǎn)，采集隧道上半周的圖像；

所述旋轉(zhuǎn)裝置上設(shè)置有角度傳感器，檢測(cè)旋轉(zhuǎn)裝置的旋轉(zhuǎn)角度，同時(shí)旋轉(zhuǎn)裝置上設(shè)置有仰角控制器，控制深度攝像頭裝置的采集角度。

所述深度攝像頭裝置設(shè)置于支架上，所述支架固定于旋轉(zhuǎn)裝置上。

所述深度攝像頭裝置設(shè)置有防水外殼。

基于上述系統(tǒng)的建模方法，包括以下步驟：

(1)獲取深度攝像頭裝置采集的深度信息和圖像信息；

(2)對(duì)采集到的圖像進(jìn)行采樣、浮點(diǎn)化、平滑化處理，從圖像中獲取深度攝像頭裝置的移動(dòng)軌跡；

(3)建立大規(guī)模虛擬空間，按照采樣間隔將采集好的信息融合到虛擬空間中，形成三維模型。

所述步驟(1)中，搭載在全斷面隧道掘進(jìn)機(jī)上的深度攝像頭隨著機(jī)器的前進(jìn)二獲取隧道的深度和彩色信息，其中重復(fù)拍攝到的部分可作為照片信息的優(yōu)化，即為不斷地添加隧道信息，并不會(huì)設(shè)置冗余度的下限。

所述步驟(2)中，按照閾值設(shè)置對(duì)深度影像數(shù)據(jù)進(jìn)行轉(zhuǎn)化，在閾值范圍之外的數(shù)據(jù)設(shè)置距離為無(wú)效。

所述步驟(2)中，將深度數(shù)據(jù)進(jìn)行采樣處理，增加處理的速度，同時(shí)對(duì)場(chǎng)景內(nèi)的重建物體進(jìn)行處理，對(duì)移動(dòng)的小型物體可以通過(guò)平滑化處理優(yōu)化其重建模型，同時(shí)通過(guò)平滑算法進(jìn)行了去噪，也處理了某些場(chǎng)景內(nèi)的動(dòng)態(tài)變化，原始影像中沒(méi)有表現(xiàn)出來(lái)的任何隔斷或者空也會(huì)被填充，隨著攝像頭更接近物體，通過(guò)使用新的更高精度的數(shù)據(jù)，物體表面會(huì)被持續(xù)優(yōu)化。

所述步驟(2)中，通過(guò)使用交互型的配準(zhǔn)算法在攝像頭移動(dòng)時(shí)不斷獲取其姿勢(shì)，這樣系統(tǒng)始終知道當(dāng)前攝像頭相對(duì)于起始幀時(shí)攝像頭的相對(duì)姿勢(shì)。對(duì)于姿勢(shì)追蹤一般采用兩種配準(zhǔn)算法。第一種是使用將從重建對(duì)象計(jì)算得來(lái)的點(diǎn)云與從深度影像數(shù)據(jù)中獲取的點(diǎn)云進(jìn)行配準(zhǔn)，或者單獨(dú)的使用比如對(duì)同一場(chǎng)景的不同視場(chǎng)角的數(shù)據(jù)進(jìn)行配準(zhǔn)；第二種算法可以在對(duì)重建立方體進(jìn)行處理時(shí)能夠獲得更高精度的追蹤結(jié)果，但是對(duì)于場(chǎng)景內(nèi)移動(dòng)的物體該算法可能不夠健壯，如果場(chǎng)景中的追蹤被中斷，那么需要將攝像頭的位置和上一次的攝像頭位置對(duì)齊才能繼續(xù)進(jìn)行追蹤。

所述步驟(2)中，根據(jù)深度攝像裝置的移動(dòng)速度設(shè)置平滑化參數(shù)的大小。

所述步驟(3)中，將從已知姿勢(shì)攝像頭產(chǎn)生的深度影像數(shù)據(jù)融合為代表攝像頭視野范圍內(nèi)的景物的立方體。這種對(duì)深度數(shù)據(jù)的融合是逐幀，連續(xù)進(jìn)行的，最后，從傳感器視點(diǎn)位置對(duì)重建立方體進(jìn)行光線投射，采用光線投影算法計(jì)算得到的點(diǎn)云，再計(jì)算其法向量，用帶法向量的點(diǎn)云和下一幀的輸入圖像配準(zhǔn)，計(jì)算下一幀輸入圖像的位姿。如此是個(gè)循環(huán)的過(guò)程。重建的點(diǎn)陣云能夠產(chǎn)生渲染了的三維重建立方體。

所述步驟(3)中，通過(guò)設(shè)置采樣步長(zhǎng)的大小來(lái)設(shè)置模型的精度。注意采樣步長(zhǎng)的設(shè)置范圍必須大于0并且小于最小體積軸體素分辨率，超出此范圍的采樣步長(zhǎng)值將會(huì)導(dǎo)致重建后的三維模型缺少曲面或曲面上的細(xì)節(jié)。

所述步驟(3)中，此系統(tǒng)的重點(diǎn)在于實(shí)現(xiàn)大規(guī)模的場(chǎng)景建模，由于隧道模型的特殊性，因此嘗試在隧道挖掘前進(jìn)的方向上設(shè)置比較大范圍，因?yàn)镚PU內(nèi)存的限制，系統(tǒng)采用利用CPU內(nèi)存建模。在建模過(guò)程中采用離線處理的方式。算法中添加了回環(huán)檢測(cè)和回環(huán)優(yōu)化，根據(jù)回環(huán)優(yōu)化的結(jié)果，更新點(diǎn)的坐標(biāo)，使得回環(huán)的地方兩次重建的可以對(duì)齊。當(dāng)相機(jī)旋轉(zhuǎn)或者移動(dòng)的距離超過(guò)一定閾值的時(shí)候，將當(dāng)前幀加入做關(guān)鍵幀并且進(jìn)行回環(huán)檢測(cè)，回環(huán)檢測(cè)首先通過(guò)尋找匹配的關(guān)鍵幀，如果存在匹配的圖像，將在內(nèi)存中存儲(chǔ)的匹配圖像的SURF特征點(diǎn)和深度圖像重新索引出來(lái)。給定兩幀圖像的SURF點(diǎn)描述子Ui和Um，用FLANN查找算法來(lái)建立SURF的匹配關(guān)系，如果能夠匹配上的SURF點(diǎn)數(shù)量不超過(guò)設(shè)定閾值，則認(rèn)為這不是一個(gè)有效的匹配，通過(guò)匹配建立SURF的匹配關(guān)系，通過(guò)上一步建立的SURF間的匹配，用RANSAC算法估計(jì)兩幀之間的位姿，得到位姿后再用LM算法優(yōu)化重投影誤差優(yōu)化相機(jī)位姿。用ICP再優(yōu)化上述算法計(jì)算得到的位姿，如果匹配點(diǎn)之間的誤差小于設(shè)定閾值，則認(rèn)為這是一個(gè)有效的回環(huán)。

本發(fā)明的有益效果為：

(1)可以將隧道三維模型整體呈現(xiàn)出來(lái)，讓用戶對(duì)于整個(gè)隧道有更直觀的認(rèn)知與感受；

(2)通過(guò)對(duì)于隧道相關(guān)彩色信息的分析，也可以觀察到隧道中整體的地質(zhì)狀況，如裂隙的走向等，從而進(jìn)行更有針對(duì)性的科學(xué)施工。整體模型對(duì)分析巖機(jī)關(guān)系驗(yàn)證相關(guān)參數(shù)對(duì)于全斷面隧道掘進(jìn)機(jī)產(chǎn)生的影響有一定的作用。

附圖說(shuō)明

圖1是本發(fā)明的示意圖剖面圖。

圖2是本發(fā)明的深度攝像頭裝置圖。

圖3是本發(fā)明設(shè)計(jì)流程圖。

其中，1表示深度攝像頭，2表示機(jī)械旋轉(zhuǎn)裝置，3表示隧道表面，4表示外殼保護(hù)裝置，9表示麥克風(fēng)陣列，10表示紅外攝影機(jī)，11表示彩色攝像頭，12表示紅外攝像頭，13表示仰角控制馬達(dá)，14表示支架。

具體實(shí)施方式：

下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

由于場(chǎng)景規(guī)模較大，而實(shí)時(shí)處理的方式是相當(dāng)耗費(fèi)GPU內(nèi)存的，因此我們采用離線處理數(shù)據(jù)的方法，即先采集到隧道內(nèi)的所有信息，然后在此基礎(chǔ)上對(duì)數(shù)據(jù)進(jìn)行處理，從而避免內(nèi)存不夠的情況。其中，離線處理也分為兩種模式，一種是先將小范圍的模型建立起來(lái)，然后將所有的小規(guī)模場(chǎng)景模型一一拼接起來(lái)，另外則是先獲取到所有的數(shù)據(jù)，對(duì)數(shù)據(jù)統(tǒng)一做分析處理，計(jì)算出最后的三維模型。我們采用的是后者的方法，因?yàn)閷?duì)于拼接模型來(lái)說(shuō)，其中肯定會(huì)存在一些誤差，這比后者的精度要差了不少。深度攝像頭通過(guò)對(duì)從多個(gè)角度獲取到的深度影像數(shù)據(jù)進(jìn)行融合，來(lái)重建物體的單幀光滑表面模型。當(dāng)傳感器移動(dòng)的時(shí)候，照相機(jī)的位置以及姿勢(shì)信息被記錄下來(lái)，這些信息包括位置和朝向。由于我們知道了每一幀圖像的姿勢(shì)以及幀與幀之間的關(guān)聯(lián)，多幀從不同角度采集的數(shù)據(jù)能夠融合成單幀重建好的定點(diǎn)立方體。我們可以想象下在空間中的一個(gè)巨大的虛擬立方體，里面是我們現(xiàn)實(shí)世界的場(chǎng)景，當(dāng)我們移動(dòng)傳感器的時(shí)候，深度數(shù)據(jù)信息被不斷加入。

首先，將深度攝像頭搭載到全斷面隧道掘進(jìn)機(jī)機(jī)器上，并利用硬件旋轉(zhuǎn)裝置，在全斷面隧道掘進(jìn)機(jī)前進(jìn)過(guò)程中掃描進(jìn)行180°掃描隧道上半?yún)^(qū)域全景，因?yàn)槿珨嗝嫠淼谰蜻M(jìn)機(jī)的前進(jìn)速度要遠(yuǎn)小于深度攝像頭的掃描速度，并且深度攝像頭的重復(fù)掃描更有利于場(chǎng)景的真實(shí)信息的重建，且深度攝像頭相機(jī)的真實(shí)移動(dòng)軌跡在后面也會(huì)有算法進(jìn)行計(jì)算，因此我們可以忽略考慮深度攝像頭攝像機(jī)的真實(shí)和移動(dòng)軌跡是否規(guī)則。

進(jìn)一步地，利用深度攝像頭的紅外攝像頭獲取到場(chǎng)景的相關(guān)深度信息，此處的深度信息即能體現(xiàn)出當(dāng)前所拍攝到的物體具體相機(jī)的位置，另外獲得其彩色信息并存儲(chǔ)下來(lái)。

進(jìn)一步地，對(duì)照片信息進(jìn)行處理，按照閾值設(shè)置對(duì)深度影像數(shù)據(jù)進(jìn)行轉(zhuǎn)化，在閾值范圍之外的數(shù)據(jù)設(shè)置距離為無(wú)效，這樣可以將一些特殊的物體排除在三維重建之外。

進(jìn)一步地，對(duì)處理后深度數(shù)據(jù)進(jìn)行配準(zhǔn)，包括了計(jì)算出相機(jī)的最新位置，軌跡位置的獲取可根據(jù)軌跡計(jì)算算法來(lái)計(jì)算，此參數(shù)的計(jì)算可以使得系統(tǒng)了解攝像頭相對(duì)于起始幀時(shí)攝像頭的位置，以及對(duì)數(shù)據(jù)進(jìn)行平滑化處理的過(guò)程，平滑化參數(shù)的大小可以根據(jù)相機(jī)移動(dòng)的速度來(lái)決定，從而能確保信息細(xì)節(jié)保留的多少。

進(jìn)一步地，建立虛擬立方體空間，此處的虛擬空間對(duì)于Y軸的要求，也即隧道的前進(jìn)方向比較大。大規(guī)模場(chǎng)景建模的難度主要在這個(gè)方面，由于實(shí)時(shí)建模對(duì)于內(nèi)存的要求比較大，因此采用了離線處理的方式。通過(guò)將平滑去噪后的深度浮點(diǎn)型數(shù)據(jù)以及相機(jī)位置信息進(jìn)行處理，當(dāng)然也處理場(chǎng)景中一些其他微小的動(dòng)態(tài)變化，或是小物體的移動(dòng)或消失，后從傳感器視點(diǎn)位置進(jìn)行對(duì)重建立方體的光線投射，重建后的點(diǎn)著云序列可以渲染出所需要的三維重建模型。

進(jìn)一步地，通過(guò)設(shè)置采樣步長(zhǎng)的大小來(lái)設(shè)置模型的精度，采樣步長(zhǎng)的大小要考慮到內(nèi)存的應(yīng)用以及程序的運(yùn)行時(shí)間和最后模型的精致程度等方面。

本發(fā)明搭載于全斷面隧道掘進(jìn)機(jī)上。

如圖1、圖2所示，全斷面隧道掘進(jìn)機(jī)搭載的深度攝像頭三維成像系統(tǒng)，包括能夠?qū)⑥D(zhuǎn)動(dòng)攝像頭的機(jī)械裝置，能夠?qū)⑺淼赖恼w空間進(jìn)行三維建模。整個(gè)系統(tǒng)包括是深度攝像頭可以旋轉(zhuǎn)能夠拍攝到隧道上半周的機(jī)械旋轉(zhuǎn)裝置，保護(hù)攝像頭的外殼裝置，以及可以對(duì)隧道場(chǎng)景能夠三維建模的深度攝像頭。通過(guò)設(shè)計(jì)的三維成像方法進(jìn)行對(duì)隧道場(chǎng)景的三維建模。

轉(zhuǎn)動(dòng)攝像頭的機(jī)械裝置，可以實(shí)現(xiàn)根據(jù)全斷面隧道掘進(jìn)機(jī)前進(jìn)的速度來(lái)確定自身旋轉(zhuǎn)的速度，確保不會(huì)漏掉拍攝隧道空間的某些位置。

由于地下隧道空間多水、潮濕的情況，一般裝置搭載在全斷面隧道掘進(jìn)機(jī)設(shè)施上很容易被惡劣的外界條件所影響，導(dǎo)致使用壽命的減短，因此我們采用保護(hù)裝置將系統(tǒng)中比較敏感的攝像頭裝置保護(hù)起來(lái)，而且此外殼裝置并不會(huì)影響攝像頭的拍攝效果。

通過(guò)深度照片成像探測(cè)出隧道相對(duì)于攝像頭的距離從而能夠建造出完整的隧道三維模型。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。