技術(shù)特征：

1.一種基于消費級深度相機進行室內(nèi)完整場景三維重建的方法，其特征在于，所述方法包括：

獲取深度圖像；

對所述深度圖像進行自適應(yīng)雙邊濾波；

對濾波后的深度圖像進行基于視覺內(nèi)容的分塊融合和配準處理；

根據(jù)處理結(jié)果，進行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場景三維模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述深度圖像進行自適應(yīng)雙邊濾波具體包括：

根據(jù)下式進行自適應(yīng)雙邊濾波：

其中，所述u和所述u_k分別表示所述深度圖像上的任一像素及其領(lǐng)域像素；所述Z(u)和所述Z(u_k)分別表示對應(yīng)所述u和所述u_k的深度值；所述表示濾波后對應(yīng)的深度值；所述W表示在領(lǐng)域上的歸一化因子；所述w_s和所述w_c分別表示在空間域和值域濾波的高斯核函數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述在空間域和值域濾波的高斯核函數(shù)根據(jù)下式來確定：

$\left\{\begin{array}{c}{w}_s=\exp (-\frac{{(u-u_k)}^2}{2{\mathrm{\δ}}_s^2})\\ w_c=\exp (-\frac{{\left(Z\right(u)-Z(u_k\left)\right)}^2}{2{\mathrm{\δ}}_c^2})\end{array}\right.$

其中，所述δ_s和所述δ_c分別是空間域和值域高斯核函數(shù)的方差；

其中，所述δ和所述δ根據(jù)下式來確定：

$\left\{\begin{array}{c}{\mathrm{\δ}}_s=\frac{K_{s}Z\left(u\right)}{f}\\ {\mathrm{\δ}}_c=K_{c}Z{\left(u\right)}^2\end{array}\right.$

其中，所述f表示所述深度相機的焦距，所述K_s和所述K_c表示常數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對濾波后的深度圖像進行基于視覺內(nèi)容的分塊融合和配準處理具體包括：基于視覺內(nèi)容對深度圖像序列進行分段，并對每一分段進行分塊融合，且所述分段間進行閉環(huán)檢測，對閉環(huán)檢測的結(jié)果做全局優(yōu)化。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于視覺內(nèi)容對深度圖像序列進行分段，并對每一分段進行分塊融合，且所述分段間進行閉環(huán)檢測，對閉環(huán)檢測的結(jié)果做全局優(yōu)化具體包括：

基于視覺內(nèi)容檢測自動分段方法對深度圖像序列進行分段，將相似的深度圖像內(nèi)容分在一個分段中，并對每一分段進行分塊融合，確定所述深度圖像之間的變換關(guān)系，并根據(jù)所述變換關(guān)系在段與段之間做閉環(huán)檢測，以實現(xiàn)全局優(yōu)化。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于視覺內(nèi)容檢測自動分段方法對深度圖像序列進行分段，將相似的深度圖像內(nèi)容分在一個分段中，并對每一分段進行分塊融合，確定所述深度圖像之間的變換關(guān)系，并根據(jù)所述變換關(guān)系在段與段之間做閉環(huán)檢測，以實現(xiàn)全局優(yōu)化，具體包括：

采用Kintinuous框架，進行視覺里程計估計，得到每幀深度圖像下的相機位姿信息；

根據(jù)所述相機位姿信息，將由所述每幀深度圖像對應(yīng)的點云數(shù)據(jù)反投影到初始坐標系下，用投影后得到的深度圖像與初始幀的深度圖像進行相似度比較，并當相似度低于相似度閾值時，初始化相機位姿，進行分段；

提取每一分段點云數(shù)據(jù)中的PFFH幾何描述子，并在每兩段之間進行粗配準，以及采用GICP算法進行精配準，得到段與段之間的匹配關(guān)系；

利用每一分段的位姿信息以及所述段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進行圖優(yōu)化，得到優(yōu)化后的相機軌跡信息，從而實現(xiàn)所述全局優(yōu)化。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述相機位姿信息，將由所述每幀深度圖像對應(yīng)的點云數(shù)據(jù)反投影到初始坐標系下，用投影后得到的深度圖像與初始幀的深度圖像進行相似度比較，并當相似度低于相似度閾值時，初始化相機位姿，進行分段，具體包括：

步驟1：計算所述每幀深度圖像與第一幀深度圖像的相似度；

步驟2：判斷所述相似度是否低于相似度閾值；

步驟3：若是，則對所述深度圖像序列進行分段；

步驟4：將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復執(zhí)行步驟1和步驟2，直至處理完所有幀深度圖像。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述步驟1具體包括：

根據(jù)投影關(guān)系和任一幀深度圖像的深度值，并利用下式計算所述深度圖像上每個像素所對應(yīng)的第一空間三維點：

p＝π^-1(u_p,Z(u_p))

其中，所述u_p是所述深度圖像上的任一像素；所述Z(u_p)和所述p分別表示所述u_p對應(yīng)的深度值和所述第一空間三維點；所述π表示所述投影關(guān)系；

根據(jù)下式將所述第一空間三維點旋轉(zhuǎn)平移變換到世界坐標系下，得到第二空間三維點：

q＝T_ip

其中，所述T_i表示第i幀深度圖對應(yīng)空間三維點到世界坐標系下的旋轉(zhuǎn)平移矩陣；所述p表示所述第一空間三維點，所述q表示所述第二空間三維點；所述i取正整數(shù)；

根據(jù)下式將所述第二空間三維點反投影到二維圖像平面，得到投影后的深度圖像：

$u_q={(\frac{f_x{x}_q}{z_q}-c_x,\frac{f_y{y}_q}{z_q}-c_y)}^T$

其中，所述u_q是所述q對應(yīng)的投影后深度圖像上的像素；所述f_x、所述f_y、所述c_x和所述c_y表示深度相機的內(nèi)參；所述x_q、y_q、z_q表示所述q的坐標；所述T表示矩陣的轉(zhuǎn)置；

分別計算所述起始幀深度圖像和任一幀投影后的深度圖像上的有效像素個數(shù)，并將兩者比值作為相似度。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)處理結(jié)果，進行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場景三維模型具體包括：根據(jù)所述處理結(jié)果，利用截斷符號距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場景三維模型。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，根據(jù)所述處理結(jié)果，利用截斷符號距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場景三維模型，具體包括：

基于噪聲特點與興趣區(qū)域，利用Volumetric method框架進行所述截斷符號距離函數(shù)數(shù)據(jù)加權(quán)融合；

采用Marching cubes算法進行Mesh模型提取，從而得到所述室內(nèi)完整場景三維模型。

11.根據(jù)權(quán)利要求9或10所述的方法，其特征在于，所述截斷符號距離函數(shù)根據(jù)下式來確定：

f_i(v)＝[K^-1z_i(u)[u^T,1]^T]_z-[v_i]_z

其中，f_i(v)表示截斷符號距離函數(shù)，也即網(wǎng)格到物體模型表面的距離，正負表示該網(wǎng)格是在表面被遮擋一側(cè)還是在可見一側(cè)，而過零點就是表面上的點；所述K表示所述相機的內(nèi)參數(shù)矩陣；所述u表示像素；所述z_i(u)表示所述像素u對應(yīng)的深度值；所述v_i表示體素。

12.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述數(shù)據(jù)加權(quán)融合根據(jù)下式進行：

$\left\{\begin{array}{c}F\left(v\right)=\frac{{\mathrm{\Σ}}_{i=1}^n{f}_i\left(v\right)w_i\left(v\right)}{W\left(v\right)}\\ W\left(v\right)={\mathrm{\Σ}}_{i=1}^n{w}_i\left(v\right)\end{array}\right.$

其中，所述v表示體素；所述f_i(v)和所述w_i(v)分別表示所述體素v對應(yīng)的截斷符號距離函數(shù)及其權(quán)值函數(shù)；所述n取正整數(shù)；所述F(v)表示融合后所述體素v所對應(yīng)的截斷符號距離函數(shù)值；所述W(v)表示融合后體素v所對應(yīng)的截斷符號距離函數(shù)值的權(quán)重；

其中，所述權(quán)值函數(shù)可以根據(jù)下式來確定：

$w_i\left(v\right)=\left\{\begin{array}{cc}\frac{e^{\frac{-d_i^2}{2{\mathrm{\δ}}_s^2}}}{z_i^4},& 0\<z_i\<2.8\\ w,& z_i\≥2.8\end{array}\right.$

其中，所述d_i表示興趣區(qū)域的半徑；所述δ_s是深度數(shù)據(jù)中的噪聲方差；所述w為常數(shù)。

13.一種基于消費級深度相機進行室內(nèi)完整場景三維重建的系統(tǒng)，其特征在于，所述系統(tǒng)包括：

獲取模塊，用于獲取深度圖像；

濾波模塊，用于對所述深度圖像進行自適應(yīng)雙邊濾波；

分塊融合與配準模塊，用于對濾波后的深度圖像進行基于視覺內(nèi)容的分塊融合和配準處理；

體數(shù)據(jù)融合模塊，用于根據(jù)處理結(jié)果，進行加權(quán)體數(shù)據(jù)融合，從而重建室內(nèi)完整場景三維模型。

14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述濾波模塊具體用于：

根據(jù)下式進行自適應(yīng)雙邊濾波：

其中，所述u和所述u_k分別表示所述深度圖像上的任一像素及其領(lǐng)域像素；所述Z(u)和所述Z(u_k)分別表示對應(yīng)所述u和所述u_k的深度值；所述表示濾波后對應(yīng)的深度值；所述W表示在領(lǐng)域上的歸一化因子；所述w_s和所述w_c分別表示在空間域和值域濾波的高斯核函數(shù)。

15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述分塊融合與配準模塊具體用于：基于視覺內(nèi)容對深度圖像序列進行分段，并對每一分段進行分塊融合，且所述分段間進行閉環(huán)檢測，對閉環(huán)檢測的結(jié)果做全局優(yōu)化。

16.根據(jù)權(quán)利要求15所述的系統(tǒng)，其特征在于，所述分塊融合與配準模塊還具體用于：

基于視覺內(nèi)容檢測自動分段方法對深度圖像序列進行分段，將相似的深度圖像內(nèi)容分在一個分段中，對每一分段進行分塊融合，確定所述深度圖像之間的變換關(guān)系，并根據(jù)所述變換關(guān)系在段與段之間做閉環(huán)檢測，以實現(xiàn)全局優(yōu)化。

17.根據(jù)權(quán)利要求16所述的系統(tǒng)，其特征在于，所述分塊融合與配準模塊具體包括：

相機位姿信息獲取單元，用于采用Kintinuous框架，進行視覺里程計估計，得到每幀深度圖像下的相機位姿信息；

分段單元，用于根據(jù)所述相機位姿信息，將由所述每幀深度圖像對應(yīng)的點云數(shù)據(jù)反投影到初始坐標系下，用投影后得到的深度圖像與初始幀的深度圖像進行相似度比較，并當相似度低于相似度閾值時，初始化相機位姿，進行分段；

配準單元，用于提取每一分段點云數(shù)據(jù)中的PFFH幾何描述子，并在每兩段之間進行粗配準，以及采用GICP算法進行精配準，得到段與段之間的匹配關(guān)系；

優(yōu)化單元，用于利用每一分段的位姿信息以及所述段與段之間的匹配關(guān)系，構(gòu)建圖并采用G2O框架進行圖優(yōu)化，得到優(yōu)化后的相機軌跡信息，從而實現(xiàn)所述全局優(yōu)化。

18.根據(jù)權(quán)利要求17所述的系統(tǒng)，其特征在于，所述分段單元具體包括：

計算單元，用于計算所述每幀深度圖像與第一幀深度圖像的相似度；

判斷單元，用于判斷所述相似度是否低于相似度閾值；

分段子單元，用于當所述相似度低于相似度閾值時，對所述深度圖像序列進行分段；

處理單元，用于將下一幀深度圖像作為下一分段的起始幀深度圖像，并重復執(zhí)行計算單元和判斷單元，直至處理完所有幀深度圖像。

19.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述體數(shù)據(jù)融合模塊具體用于：根據(jù)所述處理結(jié)果，利用截斷符號距離函數(shù)網(wǎng)格模型融合各幀的深度圖像，并使用體素網(wǎng)格來表示三維空間，從而得到室內(nèi)完整場景三維模型。

20.根據(jù)權(quán)利要求19所述的系統(tǒng)，其特征在于，所述體數(shù)據(jù)融合模塊具體包括：

加權(quán)融合單元，用于基于噪聲特點與興趣區(qū)域，利用Volumetric method框架進行所述截斷符號距離函數(shù)數(shù)據(jù)加權(quán)融合；

提取單元，用于采用Marching cubes算法進行Mesh模型提取，從而得到所述室內(nèi)完整場景三維模型。