本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體地，涉及一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法及系統(tǒng)。

背景技術(shù)：

室內(nèi)場(chǎng)景高精度三維重建是計(jì)算機(jī)視覺中具有挑戰(zhàn)性的研究課題之一，涉及計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、模式識(shí)別、最優(yōu)化等多個(gè)領(lǐng)域的理論與技術(shù)。實(shí)現(xiàn)三維重建有多種途徑，傳統(tǒng)方法是采用激光、雷達(dá)等測(cè)距傳感器或結(jié)構(gòu)光技術(shù)來獲取場(chǎng)景或物體表面的結(jié)構(gòu)信息進(jìn)行三維重建，但這些儀器大多價(jià)格昂貴并且不易攜帶，所以應(yīng)用場(chǎng)合有限。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，研究者們開始研究使用純視覺的方法進(jìn)行三維重建，其中涌現(xiàn)出來了大量有益的研究工作。

消費(fèi)級(jí)深度攝像機(jī)Microsoft Kinect推出后，人們可以直接利用深度數(shù)據(jù)比較便捷地進(jìn)行室內(nèi)場(chǎng)景三維重建。Newcombe等人提出的KinectFusion算法利用Kinect來獲取圖像中各點(diǎn)的深度信息，通過迭代近似最近鄰點(diǎn)(Iterative Closest Point,ICP)算法將三維點(diǎn)在當(dāng)前幀相機(jī)坐標(biāo)系下的坐標(biāo)與在全局模型中的坐標(biāo)進(jìn)行對(duì)齊來估計(jì)當(dāng)前幀相機(jī)的姿態(tài)，再通過曲面隱函數(shù)(Truncated Signed Distance Function,TSDF)迭代進(jìn)行體數(shù)據(jù)融合，得到稠密的三維模型。雖然Kinect獲取深度不受光照條件和紋理豐富程度的影響，但其深度數(shù)據(jù)范圍只有0.5-4m，而且網(wǎng)格模型的位置和大小是固定的，所以只適用于局部、靜態(tài)的室內(nèi)場(chǎng)景。

基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)場(chǎng)景三維重建，一般存在以下幾個(gè)問題：(1)消費(fèi)級(jí)深度相機(jī)獲取的深度圖像分辨率小、噪聲大使得物體表面細(xì)節(jié)難以保持，而且深度值范圍有限不能直接用于完整場(chǎng)景三維重建；(2)相機(jī)姿態(tài)估計(jì)產(chǎn)生的累積誤差會(huì)造成錯(cuò)誤、扭曲的三維模型；(3)消費(fèi)級(jí)深度相機(jī)一般都是手持式拍攝，相機(jī)的運(yùn)動(dòng)狀態(tài)比較隨意，獲取的數(shù)據(jù)質(zhì)量有好有壞，影響重建效果。

為了進(jìn)行完整的室內(nèi)場(chǎng)景三維重建，Whelan等人提出了Kintinuous算法，其是對(duì)KinectFusion的進(jìn)一步擴(kuò)展。該算法使用ShiftingTSDFVolume循環(huán)利用顯存的方式解決大場(chǎng)景重建時(shí)網(wǎng)格模型顯存消耗的問題，并通過DBoW尋找匹配的關(guān)鍵幀進(jìn)行閉環(huán)檢測(cè)，最后對(duì)位姿圖和模型做優(yōu)化，從而得到大場(chǎng)景三維模型。Choi等人提出了Elastic Fragment思想，先將RGBD數(shù)據(jù)流每隔50幀做分段，對(duì)每段單獨(dú)做視覺里程計(jì)估計(jì)，從兩兩段間的點(diǎn)云數(shù)據(jù)中提取幾何描述子FPFH尋找匹配進(jìn)行閉環(huán)檢測(cè)，再引入line processes約束對(duì)檢測(cè)結(jié)果進(jìn)行優(yōu)化、去除錯(cuò)誤的閉環(huán)，最后利用優(yōu)化后的里程計(jì)信息進(jìn)行體數(shù)據(jù)融合。通過分段處理和閉環(huán)檢測(cè)實(shí)現(xiàn)了室內(nèi)完整場(chǎng)景重建，但是沒有考慮保留物體的局部幾何細(xì)節(jié)，而且這種固定分段的方法在進(jìn)行真實(shí)室內(nèi)場(chǎng)景重建時(shí)并不魯棒。Zeng等人提出了3D Match描述子概念，該算法先將RGBD數(shù)據(jù)流進(jìn)行固定分段處理并重建得到局部模型，從每個(gè)分段的3D模型上提取關(guān)鍵點(diǎn)作為3D卷積網(wǎng)絡(luò)(ConvNet)的輸入，用該網(wǎng)絡(luò)學(xué)習(xí)得到的特征向量作為另一矩陣網(wǎng)絡(luò)(Metric network)的輸入，通過相似度比較輸出匹配結(jié)果。由于深度網(wǎng)絡(luò)具有非常明顯的特征學(xué)習(xí)優(yōu)勢(shì)，相對(duì)其他描述子用3D Match來做幾何配準(zhǔn)可以提高重建精度。但這種方法需要先進(jìn)行局部三維重建，利用深度學(xué)習(xí)網(wǎng)絡(luò)來做幾何配準(zhǔn)，再輸出全局三維模型，而且網(wǎng)絡(luò)訓(xùn)練需要大量的數(shù)據(jù)，整個(gè)重建流程效率較低。

在提高三維重建精度方面，Angela等人提出了VSBR算法，其主要思想是利用明暗恢復(fù)形狀(Shape from Shading，SFS)技術(shù)對(duì)TSDF數(shù)據(jù)進(jìn)行分層優(yōu)化后再進(jìn)行融合，以解決TSDF數(shù)據(jù)融合時(shí)過度平滑導(dǎo)致物體表面細(xì)節(jié)丟失的問題，從而得到較為精細(xì)的三維結(jié)構(gòu)模型。但這種方法只對(duì)理想光源下的單體重建比較有效，室內(nèi)場(chǎng)景由于光源變化較大精度提升不明顯。

有鑒于此，特提出本發(fā)明。

技術(shù)實(shí)現(xiàn)要素：

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決如何提高室內(nèi)場(chǎng)景下三維重建精度的技術(shù)問題，提供一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法及系統(tǒng)。

為了實(shí)現(xiàn)上述目的，一方面，提供以下技術(shù)方案：

一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法，該方法可以包括：

獲取深度圖像；

對(duì)所述深度圖像進(jìn)行自適應(yīng)雙邊濾波；

對(duì)濾波后的深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理；

根據(jù)處理結(jié)果，進(jìn)行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場(chǎng)景三維模型。

優(yōu)選地，所述對(duì)所述深度圖像進(jìn)行自適應(yīng)雙邊濾波具體包括：

根據(jù)下式進(jìn)行自適應(yīng)雙邊濾波：

其中，所述u和所述u_k分別表示所述深度圖像上的任一像素及其領(lǐng)域像素；所述Z(u)和所述Z(u_k)分別表示對(duì)應(yīng)所述u和所述u_k的深度值；所述表示濾波后對(duì)應(yīng)的深度值；所述W表示在領(lǐng)域上的歸一化因子；所述w_s和所述w_c分別表示在空間域和值域?yàn)V波的高斯核函數(shù)。

優(yōu)選地，所述在空間域和值域?yàn)V波的高斯核函數(shù)根據(jù)下式來確定：

其中，所述δ_s和所述δ_c分別是空間域和值域高斯核函數(shù)的方差；

其中，所述δ_s和所述δ_c根據(jù)下式來確定：

其中，所述f表示所述深度相機(jī)的焦距，所述K_s和所述K_c表示常數(shù)。

優(yōu)選地，所述對(duì)濾波后的深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理具體包括：基于視覺內(nèi)容對(duì)深度圖像序列進(jìn)行分段，并對(duì)每一分段進(jìn)行分塊融合，且所述分段間進(jìn)行閉環(huán)檢測(cè)，對(duì)閉環(huán)檢測(cè)的結(jié)果做全局優(yōu)化。

優(yōu)選地，所述基于視覺內(nèi)容對(duì)深度圖像序列進(jìn)行分段，并對(duì)每一分段進(jìn)行分塊融合，且所述分段間進(jìn)行閉環(huán)檢測(cè)，對(duì)閉環(huán)檢測(cè)的結(jié)果做全局優(yōu)化具體包括：

基于視覺內(nèi)容檢測(cè)自動(dòng)分段方法對(duì)深度圖像序列進(jìn)行分段，將相似的深度圖像內(nèi)容分在一個(gè)分段中，并對(duì)每一分段進(jìn)行分塊融合，確定所述深度圖像之間的變換關(guān)系，并根據(jù)所述變換關(guān)系在段與段之間做閉環(huán)檢測(cè)，以實(shí)現(xiàn)全局優(yōu)化。

優(yōu)選地，所述基于視覺內(nèi)容檢測(cè)自動(dòng)分段方法對(duì)深度圖像序列進(jìn)行分段，將相似的深度圖像內(nèi)容分在一個(gè)分段中，并對(duì)每一分段進(jìn)行分塊融合，確定所述深度圖像之間的變換關(guān)系，并根據(jù)所述變換關(guān)系在段與段之間做閉環(huán)檢測(cè)，以實(shí)現(xiàn)全局優(yōu)化，具體包括：

采用Kintinuous框架，進(jìn)行視覺里程計(jì)估計(jì)，得到每幀深度圖像下的相機(jī)位姿信息；

根據(jù)所述相機(jī)位姿信息，將由所述每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后得到的深度圖像與初始幀的深度圖像進(jìn)行相似度比較，并當(dāng)相似度低于相似度閾值時(shí)，初始化相機(jī)位姿，進(jìn)行分段；

提取每一分段點(diǎn)云數(shù)據(jù)中的PFFH幾何描述子，并在每?jī)啥沃g進(jìn)行粗配準(zhǔn)，以及采用GICP算法進(jìn)行精配準(zhǔn)，得到段與段之間的匹配關(guān)系；

利用每一分段的位姿信息以及所述段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進(jìn)行圖優(yōu)化，得到優(yōu)化后的相機(jī)軌跡信息，從而實(shí)現(xiàn)所述全局優(yōu)化。

優(yōu)選地，所述根據(jù)所述相機(jī)位姿信息，將由所述每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后得到的深度圖像與初始幀的深度圖像進(jìn)行相似度比較，并當(dāng)相似度低于相似度閾值時(shí)，初始化相機(jī)位姿，進(jìn)行分段，具體包括：

步驟1：計(jì)算所述每幀深度圖像與第一幀深度圖像的相似度；

步驟2：判斷所述相似度是否低于相似度閾值；

步驟3：若是，則對(duì)所述深度圖像序列進(jìn)行分段；

步驟4：將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復(fù)執(zhí)行步驟1和步驟2，直至處理完所有幀深度圖像。

優(yōu)選地，所述步驟1具體包括：

根據(jù)投影關(guān)系和任一幀深度圖像的深度值，并利用下式計(jì)算所述深度圖像上每個(gè)像素所對(duì)應(yīng)的第一空間三維點(diǎn)：

p＝π^-1(u_p,Z(u_p))

其中，所述u_p是所述深度圖像上的任一像素；所述Z(u_p)和所述p分別表示所述u_p對(duì)應(yīng)的深度值和所述第一空間三維點(diǎn)；所述π表示所述投影關(guān)系；

根據(jù)下式將所述第一空間三維點(diǎn)旋轉(zhuǎn)平移變換到世界坐標(biāo)系下，得到第二空間三維點(diǎn)：

q＝T_ip

其中，所述T_i表示第i幀深度圖對(duì)應(yīng)空間三維點(diǎn)到世界坐標(biāo)系下的旋轉(zhuǎn)平移矩陣；所述p表示所述第一空間三維點(diǎn)，所述q表示所述第二空間三維點(diǎn)；所述i取正整數(shù)；

根據(jù)下式將所述第二空間三維點(diǎn)反投影到二維圖像平面，得到投影后的深度圖像：

其中，所述u_q是所述q對(duì)應(yīng)的投影后深度圖像上的像素；所述f_x、所述f_y、所述c_x和所述c_y表示深度相機(jī)的內(nèi)參；所述x_q、y_q、z_q表示所述q的坐標(biāo)；所述T表示矩陣的轉(zhuǎn)置；

分別計(jì)算所述起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個(gè)數(shù)，并將兩者比值作為相似度。

優(yōu)選地，所述根據(jù)處理結(jié)果，進(jìn)行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場(chǎng)景三維模型具體包括：根據(jù)所述處理結(jié)果，利用截?cái)喾?hào)距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場(chǎng)景三維模型。

優(yōu)選地，根據(jù)所述處理結(jié)果，利用截?cái)喾?hào)距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場(chǎng)景三維模型，具體包括：

基于噪聲特點(diǎn)與興趣區(qū)域模型，利用Volumetric method框架進(jìn)行所述截?cái)喾?hào)距離函數(shù)數(shù)據(jù)加權(quán)融合；

采用Marching cubes算法進(jìn)行Mesh模型提取，從而得到所述室內(nèi)完整場(chǎng)景三維模型。

優(yōu)選地，所述截?cái)喾?hào)距離函數(shù)根據(jù)下式來確定：

f_i(v)＝[K^-1z_i(u)[u^T,1]^T]_z-[v_i]_z

其中，f_i(v)表示截?cái)喾?hào)距離函數(shù)，也即網(wǎng)格到物體模型表面的距離，正負(fù)表示該網(wǎng)格是在表面被遮擋一側(cè)還是在可見一側(cè)，而過零點(diǎn)就是表面上的點(diǎn)；所述K表示所述相機(jī)的內(nèi)參數(shù)矩陣；所述u表示像素；所述z_i(u)表示所述像素u對(duì)應(yīng)的深度值；所述v_i表示體素。

優(yōu)選地，所述數(shù)據(jù)加權(quán)融合根據(jù)下式進(jìn)行：

其中，所述v表示體素；所述f_i(v)和所述w_i(v)分別表示所述體素v對(duì)應(yīng)的截?cái)喾?hào)距離函數(shù)及其權(quán)值函數(shù)；所述n取正整數(shù)；所述F(v)表示融合后所述體素v所對(duì)應(yīng)的截?cái)喾?hào)距離函數(shù)值；所述W(v)表示融合后體素v所對(duì)應(yīng)的截?cái)喾?hào)距離函數(shù)值的權(quán)重；

其中，所述權(quán)值函數(shù)可以根據(jù)下式來確定：

其中，所述d_i表示興趣區(qū)域的半徑；所述δ_s是深度數(shù)據(jù)中的噪聲方差；所述w為常數(shù)。

為了實(shí)現(xiàn)上述目的，另一方面，還提供了一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)，該系統(tǒng)包括：

獲取模塊，用于獲取深度圖像；

濾波模塊，用于對(duì)所述深度圖像進(jìn)行自適應(yīng)雙邊濾波；

分塊融合與配準(zhǔn)模塊，用于對(duì)濾波后的深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理；

體數(shù)據(jù)融合模塊，用于根據(jù)處理結(jié)果，進(jìn)行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場(chǎng)景三維模型。

優(yōu)選地，所述濾波模塊具體用于：

根據(jù)下式進(jìn)行自適應(yīng)雙邊濾波：

其中，所述u和所述u_k分別表示所述深度圖像上的任一像素及其領(lǐng)域像素；所述Z(u)和所述Z(u_k)分別表示對(duì)應(yīng)所述u和所述u_k的深度值；所述表示濾波后對(duì)應(yīng)的深度值；所述W表示在領(lǐng)域上的歸一化因子；所述w_s和所述w_c分別表示在空間域和值域?yàn)V波的高斯核函數(shù)。

優(yōu)選地，所述分塊融合與配準(zhǔn)模塊具體可以用于：基于視覺內(nèi)容對(duì)深度圖像序列進(jìn)行分段，并對(duì)每一分段進(jìn)行分塊融合，且所述分段間進(jìn)行閉環(huán)檢測(cè)，對(duì)閉環(huán)檢測(cè)的結(jié)果做全局優(yōu)化。

優(yōu)選地，所述分塊融合與配準(zhǔn)模塊還具體可以用于：

基于視覺內(nèi)容檢測(cè)自動(dòng)分段方法對(duì)深度圖像序列進(jìn)行分段，將相似的深度圖像內(nèi)容分在一個(gè)分段中，對(duì)每一分段進(jìn)行分塊融合，確定所述深度圖像之間的變換關(guān)系，并根據(jù)所述變換關(guān)系在段與段之間做閉環(huán)檢測(cè)，以實(shí)現(xiàn)全局優(yōu)化。

優(yōu)選地，所述分塊融合與配準(zhǔn)模塊具體包括：

相機(jī)位姿信息獲取單元，用于采用Kintinuous框架，進(jìn)行視覺里程計(jì)估計(jì)，得到每幀深度圖像下的相機(jī)位姿信息；

分段單元，用于根據(jù)所述相機(jī)位姿信息，將由所述每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后得到的深度圖像與初始幀的深度圖像進(jìn)行相似度比較，并當(dāng)相似度低于相似度閾值時(shí)，初始化相機(jī)位姿，進(jìn)行分段；

配準(zhǔn)單元，用于提取每一分段點(diǎn)云數(shù)據(jù)中的PFFH幾何描述子，并在每?jī)啥沃g進(jìn)行粗配準(zhǔn)，以及采用GICP算法進(jìn)行精配準(zhǔn)，得到段與段之間的匹配關(guān)系；

優(yōu)化單元，用于利用每一分段的位姿信息以及所述段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進(jìn)行圖優(yōu)化，得到優(yōu)化后的相機(jī)軌跡信息，從而實(shí)現(xiàn)所述全局優(yōu)化。

優(yōu)選地，所述分段單元具體包括：

計(jì)算單元，用于計(jì)算所述每幀深度圖像與第一幀深度圖像的相似度；

判斷單元，用于判斷所述相似度是否低于相似度閾值；

分段子單元，用于當(dāng)所述相似度低于相似度閾值時(shí)，對(duì)所述深度圖像序列進(jìn)行分段；

處理單元，用于將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復(fù)執(zhí)行計(jì)算單元和判斷單元，直至處理完所有幀深度圖像。

優(yōu)選地，所述體數(shù)據(jù)融合模塊具體用于：根據(jù)所述處理結(jié)果，利用截?cái)喾?hào)距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場(chǎng)景三維模型。

優(yōu)選地，所述體數(shù)據(jù)融合模塊具體包括：

加權(quán)融合單元，用于基于噪聲特點(diǎn)與興趣區(qū)域，利用Volumetric method框架進(jìn)行所述截?cái)喾?hào)距離函數(shù)數(shù)據(jù)加權(quán)融合；

提取單元，用于采用Marching cubes算法進(jìn)行Mesh模型提取，從而得到所述室內(nèi)完整場(chǎng)景三維模型。

本發(fā)明實(shí)施例提供一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法及系統(tǒng)。其中，該方法包括獲取深度圖像；對(duì)深度圖像進(jìn)行自適應(yīng)雙邊濾波；對(duì)濾波后的深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理；根據(jù)處理結(jié)果，進(jìn)行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場(chǎng)景三維模型。本發(fā)明實(shí)施例通過對(duì)深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)，能有效地降低視覺里程計(jì)估計(jì)中的累積誤差并提高配準(zhǔn)精度，還采用加權(quán)體數(shù)據(jù)融合算法，這可以有效地保持物體表面的幾何細(xì)節(jié)，由此，解決了如何提高室內(nèi)場(chǎng)景下三維重建精度的技術(shù)問題，從而能夠得到完整、準(zhǔn)確、精細(xì)化的室內(nèi)場(chǎng)景模型。

附圖說明

圖1為根據(jù)本發(fā)明實(shí)施例的基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法的流程示意圖；

圖2a為根據(jù)本發(fā)明實(shí)施例的深度圖像對(duì)應(yīng)的彩色圖像；

圖2b為根據(jù)本發(fā)明實(shí)施例的從深度圖像得到的點(diǎn)云示意圖；

圖2c為根據(jù)本發(fā)明實(shí)施例的對(duì)深度圖像進(jìn)行雙邊濾波得到的點(diǎn)云示意圖；

圖2d為根據(jù)本發(fā)明實(shí)施例的對(duì)深度圖像進(jìn)行自適應(yīng)雙邊濾波得到的點(diǎn)云示意圖

圖3為根據(jù)本發(fā)明實(shí)施例的基于視覺內(nèi)容分段融合、配準(zhǔn)的流程示意圖；

圖4為根據(jù)本發(fā)明實(shí)施例的加權(quán)體數(shù)據(jù)融合過程示意圖；

圖5a為運(yùn)用非加權(quán)體數(shù)據(jù)融合算法的三維重建結(jié)果示意圖；

圖5b為圖5a中三維模型的局部細(xì)節(jié)示意圖；

圖5c為根據(jù)本發(fā)明實(shí)施例提出的加權(quán)體數(shù)據(jù)融合算法得到的三維重建結(jié)果示意圖；

圖5d為圖5c中三維模型的局部細(xì)節(jié)示意圖；

圖6為根據(jù)本發(fā)明實(shí)施例的在3D Scene Data數(shù)據(jù)集上使用本發(fā)明實(shí)施例提出的方法進(jìn)行三維重建的效果示意圖；

圖7為根據(jù)本發(fā)明實(shí)施例的在Augmented ICL-NUIM Dataset數(shù)據(jù)集上使用本發(fā)明實(shí)施例提出的方法進(jìn)行三維重建的效果示意圖；

圖8為根據(jù)本發(fā)明實(shí)施例的利用Microsoft Kinect for Windows采集的室內(nèi)場(chǎng)景數(shù)據(jù)進(jìn)行三維重建的效果示意圖；

圖9為根據(jù)本發(fā)明實(shí)施例的基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面參照附圖來描述本發(fā)明的優(yōu)選實(shí)施方式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，這些實(shí)施方式僅僅用于解釋本發(fā)明的技術(shù)原理，并非旨在限制本發(fā)明的保護(hù)范圍。

本發(fā)明實(shí)施例提供一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法。如圖1所示，該方法包括：

S100：獲取深度圖像。

具體地，本步驟可以包括：利用基于結(jié)構(gòu)光原理的消費(fèi)級(jí)深度相機(jī)來獲取深度圖像。

其中，基于結(jié)構(gòu)光原理的消費(fèi)級(jí)深度相機(jī)(Microsoft Kinect for Windows和Xtion，簡(jiǎn)稱深度相機(jī))，是通過發(fā)射結(jié)構(gòu)光，接收反射信息來獲取深度圖像的深度數(shù)據(jù)的。

在實(shí)際應(yīng)用中，可以利用手持式消費(fèi)級(jí)深度相機(jī)Microsoft Kinect for Windows采集真實(shí)室內(nèi)場(chǎng)景數(shù)據(jù)。

深度數(shù)據(jù)可以根據(jù)下式來計(jì)算：

其中，f表示消費(fèi)級(jí)深度相機(jī)的焦距；B表示基線；D表示視差。

S110：對(duì)深度圖像進(jìn)行自適應(yīng)雙邊濾波。

本步驟利用基于結(jié)構(gòu)光原理的消費(fèi)級(jí)深度相機(jī)的噪聲特點(diǎn)對(duì)獲取的深度圖像進(jìn)行自適應(yīng)雙邊濾波。

其中，自適應(yīng)雙邊濾波算法是指在深度圖像的空間域和值域上都進(jìn)行濾波。

在實(shí)際應(yīng)用中，可以根據(jù)深度相機(jī)的噪聲特點(diǎn)及其內(nèi)部參數(shù)來設(shè)置自適應(yīng)雙邊濾波算法的參數(shù)，這樣能有效地去除噪聲并保留邊緣信息。

對(duì)深度Z關(guān)于視差D求偏導(dǎo)，存在以下關(guān)系：

深度數(shù)據(jù)的噪聲主要產(chǎn)生于量化過程，從上式可以看出深度噪聲的方差與深度值二次方成正比，也就是說深度值越大，噪聲也越大。為了有效去除深度圖像中的噪聲，本發(fā)明實(shí)施例基于這個(gè)噪聲特點(diǎn)來定義濾波算法。

具體地，上述自適應(yīng)雙邊濾波可以根據(jù)下式進(jìn)行：

其中，u和u_k分別表示深度圖像上的任一像素及其領(lǐng)域像素；Z(u)和Z(u_k)分別表示對(duì)應(yīng)u和u_k的深度值；表示濾波后對(duì)應(yīng)的深度值；W表示在領(lǐng)域上的歸一化因子；w_s和w_c分別表示在空間域和值域?yàn)V波的高斯核函數(shù)。

在上述實(shí)施例中，w_s和w_c可以根據(jù)下式來確定：

其中，δ_s和δ_c分別是空間域和值域高斯核函數(shù)的方差。

δ_s和δ_c與深度值大小有關(guān)，其取值不是固定的。

具體地，在上述實(shí)施例中，δ_s和δ_c可以根據(jù)下式來確定：

其中，f表示深度相機(jī)的焦距，K_s和K_c表示常數(shù)，其具體取值與深度相機(jī)的參數(shù)有關(guān)。

圖2a-d示例性地示出了不同濾波算法的效果比較示意圖。其中，圖2a示出了深度圖像對(duì)應(yīng)的彩色圖像。圖2b示出了從深度圖像得到的點(diǎn)云。圖2c示出了對(duì)深度圖像進(jìn)行雙邊濾波得到的點(diǎn)云。圖2d示出了對(duì)深度圖像進(jìn)行自適應(yīng)雙邊濾波得到的點(diǎn)云。

本發(fā)明實(shí)施例通過采用自適應(yīng)雙邊濾波方法，可以實(shí)現(xiàn)深度圖的保邊、去噪。

S120：對(duì)深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理。

本步驟基于視覺內(nèi)容對(duì)深度圖像序列進(jìn)行分段，并對(duì)每個(gè)分段進(jìn)行分塊融合，且分段間進(jìn)行閉環(huán)檢測(cè)，對(duì)閉環(huán)檢測(cè)的結(jié)果做全局優(yōu)化。其中，深度圖像序列為深度圖像數(shù)據(jù)流。

優(yōu)選地，本步驟可以包括：確定深度圖像之間的變換關(guān)系，基于視覺內(nèi)容自動(dòng)分段的方法對(duì)深度圖像序列進(jìn)行分段，將相似的深度圖像內(nèi)容分在一個(gè)分段中，對(duì)每個(gè)分段進(jìn)行分塊融合，確定深度圖像之間的變換關(guān)系，并根據(jù)變換關(guān)系在段與段之間做閉環(huán)檢測(cè)，并實(shí)現(xiàn)全局優(yōu)化。

進(jìn)一步地，本步驟可以包括：

S121：采用Kintinuous框架，進(jìn)行視覺里程計(jì)估計(jì)，得到每幀深度圖像下的相機(jī)位姿信息。

S122：根據(jù)相機(jī)位姿信息，將由每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后得到的深度圖像與初始幀的深度圖像進(jìn)行相似度比較，并當(dāng)相似度低于相似度閾值時(shí)，初始化相機(jī)位姿，進(jìn)行分段。

S123：提取每一分段點(diǎn)云數(shù)據(jù)中的PFFH幾何描述子，并在每?jī)啥沃g進(jìn)行粗配準(zhǔn)，以及采用GICP算法進(jìn)行精配準(zhǔn)，得到段與段之間的匹配關(guān)系。

本步驟對(duì)段與段之間做閉環(huán)檢測(cè)。

S124：利用每一分段的位姿信息以及段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進(jìn)行圖優(yōu)化，得到優(yōu)化后的相機(jī)軌跡信息，從而實(shí)現(xiàn)全局優(yōu)化。

本步驟在優(yōu)化時(shí)應(yīng)用(Simultaneous Localization and Calibration,SLAC)模式改善非剛性畸變，引入line processes約束刪除錯(cuò)誤的閉環(huán)匹配。

上述步驟S122還可以具體包括：

S1221：計(jì)算每幀深度圖像與第一幀深度圖像的相似度。

S1222：判斷該相似度是否低于相似度閾值，若是，則執(zhí)行步驟S1223；否則，執(zhí)行步驟S1224。

S1223：對(duì)深度圖像序列進(jìn)行分段。

本步驟基于視覺內(nèi)容對(duì)深度圖像序列進(jìn)行分段處理。這樣既可以有效地解決視覺里程計(jì)估計(jì)產(chǎn)生的累積誤差問題，又可以將相似的內(nèi)容融合在一起，從而提高配準(zhǔn)精度。

S1224：對(duì)深度圖像序列不進(jìn)行分段。

S1225：將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復(fù)執(zhí)行步驟S1221和步驟S1222，直至處理完所有幀深度圖像。

在上述實(shí)施例中，計(jì)算每幀深度圖像與第一幀深度圖像的相似度的步驟具體可以包括：

S12211：根據(jù)投影關(guān)系和任一幀深度圖像的深度值，并利用下式計(jì)算深度圖像上每個(gè)像素所對(duì)應(yīng)的第一空間三維點(diǎn)：

p＝π^-1(u_p,Z(u_p))

其中，u_p是深度圖像上的任一像素；Z(u_p)和p分別表示u_p對(duì)應(yīng)的深度值和第一空間三維點(diǎn)；π表示投影關(guān)系，即每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下的2D-3D投影變換關(guān)系。

S12212：根據(jù)下式將第一空間三維點(diǎn)旋轉(zhuǎn)平移變換到世界坐標(biāo)系下，得到第二空間三維點(diǎn)：

q＝T_ip

其中，T_i表示第i幀深度圖對(duì)應(yīng)空間三維點(diǎn)到世界坐標(biāo)系下的旋轉(zhuǎn)平移矩陣，其可以通過視覺里程計(jì)估計(jì)得到；i取正整數(shù)；p表示第一空間三維點(diǎn)，q表示第二空間三維點(diǎn)，p和q的坐標(biāo)分別為：

p＝(x_p,y_p,z_p)，q＝(x_q,y_q,z_q)。

S12213：根據(jù)下式將第二空間三維點(diǎn)反投影到二維圖像平面，得到投影后的深度圖像：

其中，u_q是q對(duì)應(yīng)的投影后深度圖像上的像素；f_x、f_y、c_x和c_y表示深度相機(jī)的內(nèi)參；x_q、y_q、z_q表示q的坐標(biāo)；T表示矩陣的轉(zhuǎn)置。

S12214：分別計(jì)算起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個(gè)數(shù)，并將兩者比值作為相似度。

舉例來說，根據(jù)下式來計(jì)算相似度：

其中，n⁰和nⁱ分別表示起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個(gè)數(shù)；ρ表示相似度。

圖3示例性地示出了基于視覺內(nèi)容分段融合、配準(zhǔn)的流程示意圖。

本發(fā)明實(shí)施例采用基于視覺內(nèi)容自動(dòng)分段算法，能有效降低視覺里程計(jì)估計(jì)中的累積誤差，提高了配準(zhǔn)精度。

S130：根據(jù)處理結(jié)果，進(jìn)行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場(chǎng)景三維模型。

具體地，本步驟可以包括：根據(jù)基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理結(jié)果，利用截?cái)喾?hào)距離函數(shù)(TSDF)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場(chǎng)景三維模型。

本步驟還可以進(jìn)一步包括：

S131：基于噪聲特點(diǎn)與興趣區(qū)域，利用Volumetric method框架進(jìn)行截?cái)喾?hào)距離函數(shù)數(shù)據(jù)加權(quán)融合。

S132：采用Marching cubes算法進(jìn)行Mesh模型提取。

在實(shí)際應(yīng)用中，可以根據(jù)視覺里程計(jì)的估計(jì)結(jié)果，利用TSDF網(wǎng)格模型融合各幀的深度圖像使用分辨率為m的體素網(wǎng)格來表示三維空間，即每個(gè)三維空間被分為m塊，每個(gè)網(wǎng)格v存儲(chǔ)兩個(gè)值：截?cái)喾?hào)距離函數(shù)f_i(v)及其權(quán)重w_i(v)。

其中，可以根據(jù)下式來確定截?cái)喾?hào)距離函數(shù)：

f_i(v)＝[K^-1z_i(u)[u^T,1]^T]_z-[v_i]_z

其中，f_i(v)表示截?cái)喾?hào)距離函數(shù)，也即網(wǎng)格到物體模型表面的距離，正負(fù)表示該網(wǎng)格是在表面被遮擋一側(cè)還是在可見一側(cè)，而過零點(diǎn)就是表面上的點(diǎn)；K表示相機(jī)的內(nèi)參數(shù)矩陣；u表示像素；z_i(u)表示像素u對(duì)應(yīng)的深度值；v_i表示體素。其中，該相機(jī)可以為深度相機(jī)或深度攝像機(jī)。

其中，可以根據(jù)下式進(jìn)行數(shù)據(jù)加權(quán)融合：

其中，f_i(v)和w_i(v)分別表示體素v對(duì)應(yīng)的截?cái)喾?hào)距離函數(shù)(TSDF)及其權(quán)值函數(shù)；n取正整數(shù)；F(v)表示融合后體素v所對(duì)應(yīng)的截?cái)喾?hào)距離函數(shù)值；W(v)表示融合后體素v所對(duì)應(yīng)的截?cái)喾?hào)距離函數(shù)值的權(quán)重。

在上述實(shí)施例中，權(quán)值函數(shù)可以根據(jù)深度數(shù)據(jù)的噪聲特點(diǎn)以及興趣區(qū)域來確定，其值是不固定的。為了保持物體表面的幾何細(xì)節(jié)，將噪聲小的區(qū)域以及感興趣區(qū)域的權(quán)值設(shè)置得大，將噪聲大的區(qū)域或不感興趣區(qū)域的權(quán)值設(shè)置得小。

具體地，權(quán)值函數(shù)可以根據(jù)下式來確定：

其中，d_i表示興趣區(qū)域的半徑，半徑越小表示越感興趣，權(quán)值越大；δ_s是深度數(shù)據(jù)中的噪聲方差，其取值與自適應(yīng)雙邊濾波算法空間域核函數(shù)的方差一致；w為常數(shù)，優(yōu)選地，其可以取值為1或0。

圖4示例性地示出了加權(quán)體數(shù)據(jù)融合過程示意圖。

本發(fā)明實(shí)施例采用加權(quán)體數(shù)據(jù)融合算法可以有效保持物體表面的幾何細(xì)節(jié)，能夠得到完整、準(zhǔn)確、精細(xì)化的室內(nèi)場(chǎng)景模型，具有良好的魯棒性和擴(kuò)展性。

圖5a示例性地示出了運(yùn)用非加權(quán)體數(shù)據(jù)融合算法的三維重建結(jié)果；圖5b示例性地示出了圖5a中三維模型的局部細(xì)節(jié)；圖5c示例性地示出了利用本發(fā)明實(shí)施例提出的加權(quán)體數(shù)據(jù)融合算法得到的三維重建結(jié)果；圖5d示例性地示出了圖5c中三維模型的局部細(xì)節(jié)。

圖6示例性地示出了在3D Scene Data數(shù)據(jù)集上使用本發(fā)明實(shí)施例提出的方法進(jìn)行三維重建的效果示意圖；圖7示例性地示出了在Augmented ICL-NUIM Dataset數(shù)據(jù)集上使用本發(fā)明實(shí)施例提出的方法進(jìn)行三維重建的效果示意圖；圖8示例性地示出了利用Microsoft Kinect for Windows采集的室內(nèi)場(chǎng)景數(shù)據(jù)進(jìn)行三維重建的效果示意圖。

應(yīng)指出的是，本文雖然以上述順序來描述本發(fā)明實(shí)施例，但是，本領(lǐng)域技術(shù)人員能夠理解，還可以采取不同于此處的描述順序來實(shí)施本發(fā)明，這些簡(jiǎn)單的變化也應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。

基于與方法實(shí)施例相同的技術(shù)構(gòu)思，本發(fā)明實(shí)施例還提供一種基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)，如圖9所示，該系統(tǒng)90包括：獲取模塊92、濾波模塊94、分塊融合與配準(zhǔn)模塊96和體數(shù)據(jù)融合模塊98。其中，獲取模塊92用于獲取深度圖像。濾波模塊94用于對(duì)深度圖像進(jìn)行自適應(yīng)雙邊濾波。分塊融合與配準(zhǔn)模塊96用于對(duì)濾波后的深度圖像進(jìn)行基于視覺內(nèi)容的分塊融合和配準(zhǔn)處理。體數(shù)據(jù)融合模塊98用于根據(jù)處理結(jié)果，進(jìn)行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場(chǎng)景三維模型。

本發(fā)明實(shí)施例通過采用上述技術(shù)方案，能有效地降低視覺里程計(jì)估計(jì)中的累積誤差，并提高配準(zhǔn)精度，可以有效保持物體表面的幾何細(xì)節(jié)，能夠得到完整、準(zhǔn)確、精細(xì)化的室內(nèi)場(chǎng)景模型。

在一些實(shí)施例中，濾波模塊具體用于：根據(jù)下式進(jìn)行自適應(yīng)雙邊濾波：

其中，u和u_k分別表示深度圖像上的任一像素及其領(lǐng)域像素；Z(u)和Z(u_k)分別表示對(duì)應(yīng)u和u_k的深度值；表示濾波后對(duì)應(yīng)的深度值；W表示在領(lǐng)域上的歸一化因子；w_s和w_c分別表示在空間域和值域?yàn)V波的高斯核函數(shù)。

在一些實(shí)施例中，分塊融合與配準(zhǔn)模塊具體可以用于：基于視覺內(nèi)容對(duì)深度圖像序列進(jìn)行分段，并對(duì)每一分段進(jìn)行分塊融合，且分段間進(jìn)行閉環(huán)檢測(cè)，對(duì)閉環(huán)檢測(cè)的結(jié)果做全局優(yōu)化。

在另一些實(shí)施例中，分塊融合與配準(zhǔn)模塊還具體可以用于：確定深度圖像之間的變換關(guān)系，基于視覺內(nèi)容檢測(cè)自動(dòng)分段方法對(duì)深度圖像序列進(jìn)行分段，將相似的深度圖像內(nèi)容分在一個(gè)分段中，并對(duì)每一分段進(jìn)行分塊融合，確定深度圖像之間的變換關(guān)系，根據(jù)變換關(guān)系在段與段之間做閉環(huán)檢測(cè)，并實(shí)現(xiàn)全局優(yōu)化。

在一些優(yōu)選的實(shí)施例中，分塊融合與配準(zhǔn)模塊具體可以包括：相機(jī)位姿信息獲取單元、分段單元、配準(zhǔn)單元和優(yōu)化單元。其中，相機(jī)位姿信息獲取單元用于采用Kintinuous框架，進(jìn)行視覺里程計(jì)估計(jì)，得到每幀深度圖像下的相機(jī)位姿信息。分段單元用于根據(jù)相機(jī)位姿信息，將由每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后得到的深度圖像與初始幀的深度圖像進(jìn)行相似度比較，并當(dāng)相似度低于相似度閾值時(shí)，初始化相機(jī)位姿，進(jìn)行分段。配準(zhǔn)單元用于提取每一分段點(diǎn)云數(shù)據(jù)中的PFFH幾何描述子，并在每?jī)啥沃g進(jìn)行粗配準(zhǔn)，以及采用GICP算法進(jìn)行精配準(zhǔn)，得到段與段之間的匹配關(guān)系。優(yōu)化單元用于利用每一分段的位姿信息以及段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進(jìn)行圖優(yōu)化，得到優(yōu)化后的相機(jī)軌跡信息，從而實(shí)現(xiàn)全局優(yōu)化。

其中，上述分段單元具體可以包括：計(jì)算單元、判斷單元、分段子單元和處理單元。其中，計(jì)算單元用于計(jì)算每幀深度圖像與第一幀深度圖像的相似度。判斷單元用于判斷相似度是否低于相似度閾值。分段子單元用于當(dāng)相似度低于相似度閾值時(shí)，對(duì)深度圖像序列進(jìn)行分段。處理單元用于將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復(fù)執(zhí)行計(jì)算單元和判斷單元，直至處理完所有幀深度圖像。

在一些實(shí)施例中，體數(shù)據(jù)融合模塊具體可以用于根據(jù)處理結(jié)果，利用截?cái)喾?hào)距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場(chǎng)景三維模型。

在一些實(shí)施例中，體數(shù)據(jù)融合模塊具體可以包括加權(quán)融合單元和提取單元。其中，加權(quán)融合單元用于基于噪聲特點(diǎn)與興趣區(qū)域，利用Volumetric method框架進(jìn)行截?cái)喾?hào)距離函數(shù)數(shù)據(jù)加權(quán)融合。提取單元用于采用Marching cubes算法進(jìn)行Mesh模型提取，從而得到室內(nèi)完整場(chǎng)景三維模型。

下面以一優(yōu)選實(shí)施例來詳細(xì)說明本發(fā)明。

基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)包括采集模塊、濾波模塊、分塊融合與配準(zhǔn)模塊和體數(shù)據(jù)融合模塊。其中：

采集模塊用于利用深度相機(jī)對(duì)室內(nèi)場(chǎng)景進(jìn)行深度圖像采集。

濾波模塊用于對(duì)獲取的深度圖像做自適應(yīng)雙邊濾波處理。

該采集模塊為上述獲取模塊的等同替換。在實(shí)際應(yīng)用中，可以利用手持式消費(fèi)級(jí)深度相機(jī)Microsoft Kinect for Windows采集真實(shí)室內(nèi)場(chǎng)景數(shù)據(jù)。然后，對(duì)采集到的深度圖像進(jìn)行自適應(yīng)雙邊濾波，根據(jù)深度相機(jī)的噪聲特點(diǎn)及其內(nèi)部參數(shù)來自動(dòng)設(shè)置自適應(yīng)雙邊濾波方法中的參數(shù)，故，本發(fā)明實(shí)施例能有效去除噪聲并保留邊緣信息。

分塊融合與配準(zhǔn)模塊用于基于視覺內(nèi)容對(duì)數(shù)據(jù)流做自動(dòng)分段，每個(gè)分段進(jìn)行分塊融合，分段間進(jìn)行閉環(huán)檢測(cè)，對(duì)閉環(huán)檢測(cè)的結(jié)果做全局優(yōu)化。

該分塊融合與配準(zhǔn)模塊進(jìn)行基于視覺內(nèi)容的自動(dòng)分塊融合、配準(zhǔn)。

在一個(gè)更優(yōu)選的實(shí)施例中，分塊融合與配準(zhǔn)模塊具體包括：位姿信息獲取模塊、分段模塊、粗配準(zhǔn)模塊、精配準(zhǔn)模塊和優(yōu)化模塊。其中，位姿信息獲取模塊用于采用Kintinuous框架，進(jìn)行視覺里程計(jì)估計(jì)，得到每幀深度圖像下的相機(jī)位姿信息。分段模塊用于根據(jù)相機(jī)位姿信息將由每幀深度圖像對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)反投影到初始坐標(biāo)系下，用投影后的深度圖像與初始幀的深度圖像進(jìn)行相似度比較，若相似度低于相似度閾值則初始化相機(jī)位姿，并進(jìn)行新的分段。粗配準(zhǔn)模塊用于提取每一分段點(diǎn)云數(shù)據(jù)中的PFFH幾何描述子，并在每?jī)啥伍g之間進(jìn)行粗配準(zhǔn)；精配準(zhǔn)模塊用于采用GICP算法進(jìn)行精配準(zhǔn)，以獲取段與段之間的匹配關(guān)系。優(yōu)化模塊用于利用每一段的位姿信息以及段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進(jìn)行圖優(yōu)化。

優(yōu)選地，上述優(yōu)化模塊還進(jìn)一步用于應(yīng)用SLAC(Simultaneous Localization and Calibration)模式以優(yōu)化非剛性畸變，并利用line processes約束刪除錯(cuò)誤的閉環(huán)匹配。

上述分塊融合與配準(zhǔn)模塊基于視覺內(nèi)容對(duì)RGBD數(shù)據(jù)流進(jìn)行分段處理，既可以有效地解決視覺里程計(jì)估計(jì)產(chǎn)生的累積誤差問題，又可以將相似的內(nèi)容融合在一起，從而可以提高配準(zhǔn)精度。

體數(shù)據(jù)融合模塊用于根據(jù)優(yōu)化后的相機(jī)軌跡信息進(jìn)行加權(quán)體數(shù)據(jù)融合，得到場(chǎng)景的三維模型。

該體數(shù)據(jù)融合模塊根據(jù)深度相機(jī)的噪聲特點(diǎn)和感興趣區(qū)域來定義截?cái)喾?hào)距離函數(shù)的權(quán)值函數(shù)，來實(shí)現(xiàn)物體表面的幾何細(xì)節(jié)的保持。

基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)上的實(shí)驗(yàn)表明：基于消費(fèi)級(jí)深度相機(jī)的高精度三維重建方法，能夠得到完整、準(zhǔn)確、精細(xì)化的室內(nèi)場(chǎng)景模型，系統(tǒng)具有良好的魯棒性和擴(kuò)展性。

上述基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)實(shí)施例可以用于執(zhí)行基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的方法實(shí)施例，其技術(shù)原理、所解決的技術(shù)問題及產(chǎn)生的技術(shù)效果相似，可以互相參考；為描述的方便和簡(jiǎn)潔，各個(gè)實(shí)施例之間省略了描述相同的部分。

需要說明的是，上述實(shí)施例提供的基于消費(fèi)級(jí)深度相機(jī)進(jìn)行室內(nèi)完整場(chǎng)景三維重建的系統(tǒng)和方法在進(jìn)行室內(nèi)完整場(chǎng)景三維重建時(shí)，僅以上述各功能模塊、單元或步驟的劃分進(jìn)行舉例說明，例如，前述中的獲取模塊也可以作為采集模塊，在實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能模塊、單元或步驟來完成，即將本發(fā)明實(shí)施例中的模塊、單元或者步驟再分解或者組合，例如，可以將獲取模塊或采集和濾波模塊合并為數(shù)據(jù)預(yù)處理模塊。

至此，已經(jīng)結(jié)合附圖所示的優(yōu)選實(shí)施方式描述了本發(fā)明的技術(shù)方案，但是，本領(lǐng)域技術(shù)人員容易理解的是，本發(fā)明的保護(hù)范圍顯然不局限于這些具體實(shí)施方式。在不偏離本發(fā)明的原理的前提下，本領(lǐng)域技術(shù)人員可以對(duì)相關(guān)技術(shù)特征作出等同的更改或替換，這些更改或替換之后的技術(shù)方案都將落入本發(fā)明的保護(hù)范圍之內(nèi)。