本發(fā)明涉及一種三維重建技術(shù)，具體的說是一種基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統(tǒng)。

背景技術(shù)：

三維重建技術(shù)可以在計算機中逼真地建立客觀世界的虛擬信息空間，生成具有重要價值的三維形狀信息。通過對這些三維形狀信息分析、挖掘、檢索和高效利用，可以滿足例如數(shù)字工廠、數(shù)字城市、數(shù)字礦山、文物重建、災(zāi)情預(yù)警等許多重大應(yīng)用的需求。而三維模型如果能夠包含除了肉眼可識別的信息外還能包含更多的不可見信息，對于數(shù)字化工廠的應(yīng)用，例如對設(shè)備運行狀態(tài)進行檢測等更有應(yīng)用價值。而對于不可見光信息，目前最容易獲得并包含大量信息的首先想到的就是紅外溫度場信息。因為許多設(shè)備常用于高溫、高壓和高速運轉(zhuǎn)狀態(tài)，應(yīng)用紅外熱成像儀對這些設(shè)備進行檢測和監(jiān)控，既能保證設(shè)備的安全運轉(zhuǎn)，又能發(fā)現(xiàn)異常情況以便及時排除隱患。

但一方面，由于當前的紅外熱像儀鏡頭范圍有限，并且光學(xué)鏡頭的平面成像特點導(dǎo)致得到的紅外熱像圖信息只能以二維圖片的形式顯示。所以，僅用紅外熱成像儀對于工廠生產(chǎn)過程的監(jiān)控與檢測方法僅僅停留在小范圍環(huán)境下，并不能對整個工廠的設(shè)備運行情況進行監(jiān)控。另一方面，雖然利用三維重建可以建立整個數(shù)字化工廠的三維模型，但這個過程實際上也僅僅使用了可見光的數(shù)據(jù)，在三維幾何建模的過程也受工廠復(fù)雜生產(chǎn)環(huán)境(例如濃煙、粉塵)的干擾。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)中利用三維重建僅僅使用可見光數(shù)據(jù)，在三維幾何建模的過程受工廠復(fù)雜生產(chǎn)環(huán)境的干擾、不能對整個工廠的設(shè)備運行情況進行監(jiān)控等不足，本發(fā)明要解決的問題是提供一種能夠?qū)⒓t外溫度場信息與三維模型融合的基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統(tǒng)。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

本發(fā)明一種基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統(tǒng)，主處理單元、溫度信息采集單元以及三維點云信息采集單元；其中主處理單元利用所包含的gpu器件實現(xiàn)對數(shù)據(jù)的處理與軟件的運行；溫度信息采集模塊實現(xiàn)對物體表面溫度信息的采集；三維點云信息采集模塊實現(xiàn)對物體表面三維空間信息的采集，物體表面溫度信息和物體表面三維空間信息傳輸至主處理單元進行處理，將處理后的信息通過可視化上位機進行顯示。

主處理單元為附帶gpu的pc機。

溫度信息采集單元為紅外熱像儀(熱紅外相機)和深度攝像機，二者通過框架剛性的連接在一起，并安裝在一手柄上。

三維點云信息采集單元為深度攝像頭。

本發(fā)明一種基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統(tǒng)，包括以下步驟：

信息采集單元參數(shù)標定：把信息采集單元采集到的初始數(shù)據(jù)進行預(yù)處理即時空標定；

位姿估計算法：將顏色信息與深度信息進行處理，得到傳感器相對于目標物體的位置和方向即位姿；

數(shù)據(jù)存儲算法：將信息采集單元采集到的海量數(shù)據(jù)，通過tsdf體集成算法把圖像的深度信息和位姿進行結(jié)合，得到目標物體表面在tsdf空間的距離信息；

模型表面提?。簩㈦[含表示物體表面的距離數(shù)據(jù)轉(zhuǎn)換為能進一步處理的三維點云數(shù)據(jù)；

表面重建算法：通過提取出的物體表面的三維點云數(shù)據(jù)，利用pcl點云庫下的表面重建算法進行三維溫度場模塊重建。

所述信息采集單元參數(shù)標定，是對相機傳感器內(nèi)在誤差、硬件系統(tǒng)外部誤差以及數(shù)據(jù)采集的時間誤差的校正，即建立其相機成像物理模型所對應(yīng)的數(shù)學(xué)模型：

其中，u，v表示的是圖像坐標系(u,v)，dx、dy為轉(zhuǎn)換因子，zc表示的是相機坐標系(xc,yc,zc)中的z軸，xw，yw，zw表示的是世界坐標系(xw,yw,zw)，fx、fy、r、t、α、β為待標定參數(shù)，m1為內(nèi)參數(shù)矩陣，m2為外參數(shù)矩陣，為？矩陣[xw,yw,zw]^t，u0,v0為像素平面坐標系(u,v)的中心，0^t為0矩陣的轉(zhuǎn)置，旋轉(zhuǎn)矩陣r和平移矩陣，t為相機的外部參數(shù)，r為3*3矩陣，t為3*1矩陣，0為(0，0，0)。

位姿估計算法中顏色信息是將加權(quán)后的rgb圖像信息和紅外圖像信息與深度信息進行處理，具體為：將時空標定后的rgb圖像和時空標定后的紅外圖像進行加權(quán)處理；

加權(quán)處理后的圖像再與標定后深度圖像通過icp算法對相近的兩幅深度圖像進行迭代變換估計，得到前一幀圖像和后一幀圖像顏色信息的權(quán)值ω和深度信息的距離d；

時空標定后的紅外圖像與位姿和深度信息經(jīng)過一系列的坐標變換，放到tsdf體中。

模型表面提取是通過tsdf體集成算法把圖像的深度信息和位姿進行結(jié)合，得到目標物體表面在tsdf空間的隱式的距離信息；將目標物體表面在tsdf空間的隱式的距離信息轉(zhuǎn)換成顯式的、計算機可識別的點云信息，具體為：

從第一個體素點開始，依次判斷前后兩個體素中所存儲的tsdf值的變號情況，當遇到變號，則保存當前體素的坐標值，并取得當前體素坐標對應(yīng)的rgb體數(shù)據(jù)的值與紅外體數(shù)據(jù)的值；

對于已經(jīng)保存的坐標值(x,y,z)，根據(jù)預(yù)先設(shè)定的分辨率以及體數(shù)據(jù)的大小求得這個體素坐標對應(yīng)的現(xiàn)實世界的頂點坐標(vx,vy,vz),然后保存該體素中的tsdf值fn，再按照當前幀實現(xiàn)方向，分別取得體素坐標的頂點坐標以及該體素給所存儲的tsdf值；

對于已經(jīng)得到的體素利用如下公式做三線性插值求得x、y、z方向的坐標即為提取得到的表面的三維點云坐標信息(px,py,pz)：

表面重建算法是通過提取出的物體表面的三維點云數(shù)據(jù)，利用pcl點云庫下的表面重建算法進行三維溫度場模塊重建，將目標物體表面的點云信息轉(zhuǎn)換成可以用于可視化軟件顯示的致密的網(wǎng)格表面，最終輸出目標物體表面的ply格式的網(wǎng)格模型，具體為：

對于已得到的三維點云坐標，根據(jù)其對應(yīng)體素的rgb值與紅外溫度值對其進行賦值即可以得到顏色點值，最后將所有的體素都進行遍歷處理就可以得到物體表面的顏色點云數(shù)據(jù)，并最終將這些數(shù)據(jù)用于物體致密模型的表面重建過程；

表面重建算法中曲面重建的過程隨著物體表面點云的提取不斷的增量時進行，利用貪婪投影三角化算法實現(xiàn)，即：

先將有向點云投影到某一局部二維坐標平面內(nèi)，再在坐標平面內(nèi)進行平面內(nèi)的三角化，再根據(jù)平面內(nèi)三位點的拓撲連接關(guān)系獲得一個三角網(wǎng)格曲面模型，從而得到各點之間的連接關(guān)系；

基于delaunay的空間區(qū)域增長算法，通過選取某個樣本三角片作為初始曲面，不斷擴張曲面邊界，最后形成一張完整的三角網(wǎng)格曲面；

最后根據(jù)投影點云的連接關(guān)系得到原始三維點間的拓撲關(guān)系，所得三角網(wǎng)格即為重建得到的曲面模型。

本發(fā)明具有以下有益效果及優(yōu)點：

1.本發(fā)明實現(xiàn)了基于紅外熱像儀與深度攝像機的便攜式三維溫度場模型重建系統(tǒng)，該系統(tǒng)能夠?qū)崟r在線的對場景進行三維建模，能夠?qū)⒓t外溫度場信息與三維模型融合，重建效果相比單方面使用rgb-d深度攝像機或者紅外熱像儀有了明顯的提高，證明了系統(tǒng)設(shè)計的有效性。

2.本發(fā)明硬件裝置構(gòu)成合理、簡潔，可以手持，也可以搭載在其他硬件平臺(例如機器人或四旋翼飛機)上；上位機平臺操作使用方便，操作快捷，成本低廉，同時不受可見光影響可以快速地進行溫度場的三維掃描與模型重建。

附圖說明

圖1為本發(fā)明基于紅外熱像儀與深度攝像機的便攜式三維溫度場模型重建系統(tǒng)的總結(jié)構(gòu)框圖；

圖2為本發(fā)明基于紅外熱像儀與深度攝像機的便攜式三維溫度場模型重建系統(tǒng)的相機標定算法示意圖；

圖3為本發(fā)明基于紅外熱像儀與深度攝像機的便攜式三維溫度場模型重建系統(tǒng)的位姿估計算法示意圖；

圖4為本發(fā)明基于紅外熱像儀與深度攝像機的便攜式三維溫度場模型重建系統(tǒng)的數(shù)據(jù)存儲與表面重建算法示意圖；

圖5為本發(fā)明基于紅外熱像儀與深度攝像機的便攜式三維溫度場模型重建系統(tǒng)的上位機可視化界面示意圖。

具體實施方式

下面結(jié)合說明書附圖對本發(fā)明作進一步闡述。

如圖1所示，基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統(tǒng)包括：主處理單元、溫度信息采集單元以及三維點云信息采集單元；其中主處理單元利用所包含的gpu器件實現(xiàn)對數(shù)據(jù)的處理與軟件的運行；溫度信息采集模塊實現(xiàn)對物體表面溫度信息的采集；三維點云信息采集模塊實現(xiàn)對物體表面三維空間信息的采集，物體表面溫度信息和物體表面三維空間信息傳輸至主處理單元進行處理，將處理后的信息通過可視化上位機進行顯示。

溫度信息采集單元為紅外熱像儀(熱紅外相機)和深度攝像機，二者通過框架剛性的連接在一起，并安裝在一手柄上。三維點云信息采集單元為深度攝像頭。

本實施例中，整個系統(tǒng)包括硬件平臺、軟件算法、上位機界面三部分。

紅外熱像儀和深度攝像機負責采集目標物體的紅外、深度和rgb信息，通過usb數(shù)據(jù)線連接計算機，并把采集到的信息傳輸?shù)接嬎銠C中，計算機通過gpu的加速技術(shù)，對采集到的信息運用現(xiàn)有的軟件算法進行處理，把處理完畢的信息用可視化上位機平臺顯示。

系統(tǒng)的硬件平臺包括：信息采集模塊以及附帶gpu的pc機。

信息采集模塊由一個輕重量(小于500克)熱紅外相機optrispi450和一個深度攝像機asusxtion利用3d打印快速成型技術(shù)構(gòu)建輕質(zhì)高強度框架將兩者剛性的連接在一起，并安裝在了一個符合人體工程學(xué)的手柄上。作為操作者只需要手持該裝置平穩(wěn)地在場景中進行移動，并將傳感器朝向被測量物體，傳感器從場景捕獲的實時幾何信息便可以通過算法與軟件產(chǎn)生精確的三維模型。并且可以估計出相對于該模型的裝置的位置和方向(即位姿)，同時將從攝像機得到的顏色外觀的信息和熱紅外相機得到的溫度分布疊加在三維模型上，生成場景的一個單一的完整的溫度光譜模型。

所述信息采集模塊包括：紅外熱像儀、深度攝像機、手持硬件框架、usb數(shù)據(jù)線。

紅外熱像儀為溫度信息采集單元，用于實時采集目標物體的溫度場信息，并將信息發(fā)送至計算機。

本實施方式中，紅外熱像儀采用的是optrispi450熱紅外相機。其技術(shù)參數(shù)如表1所示。

表1optrispi450技術(shù)參數(shù)

深度攝像機三維點云信息的采集單元，實現(xiàn)對物體表面三維空間信息的采集，是可以獲取到顏色信息rgb圖像與深度信息(depth)的攝像機。

本實施方式中，rgb-d傳感器選擇asusxtion傳感器。它分布了三個傳感器，分別是紅外線發(fā)射器、彩色攝像頭、紅外接受器。紅外發(fā)射器儀結(jié)構(gòu)光的形式將紅外線均勻的打到場景中，在通過紅外接收器對每個像素的接收時間進行記錄，通過光線的運行時間計算出每個像素到物體表面的距離值，由此得到一幅“深度”圖像。rgb-d傳感器asusxtion的技術(shù)參數(shù)如表2所示。

表2asusxtion傳感器技術(shù)參數(shù)

手持硬件框架，用于連接并支撐紅外熱像儀和深度相機，利用3d打印技術(shù)快速生成輕質(zhì)高強度的硬件結(jié)構(gòu)。利用模型繪制軟件繪制出的支架的模型，然后通過移動設(shè)備將它輸入到3d打印機中，對其進行設(shè)置后，打印機就可以把整個模型打印出來。

usb數(shù)據(jù)線，作為傳感器與計算機之間的信息傳輸媒介，用于把采集到的信息實時傳輸?shù)接嬎銠C中。

本實施方式中，usb數(shù)據(jù)線用的是傳輸速度可達到每秒百兆的3.0接口數(shù)據(jù)線。

pc機為主處理器，用于獲取紅外熱像儀和深度攝像機采集到的基本信息，將傳感器采集到的紅外信息、rgb信息和深度信息通過計算機軟件和相應(yīng)算法進行處理，最后把處理完畢的信息通過可視化軟件顯示出來。

本實施方式中，pc機為東北大學(xué)流程工業(yè)綜合自動化國家重點實驗室配備的dell工作站。

gpu作為圖形處理單元，對整個系統(tǒng)進行加速以達到實時性。由于傳感器的輸入分辨率高達640×480，因此每一幀的數(shù)據(jù)量(rgb數(shù)據(jù)和點云數(shù)據(jù))都將十分巨大，如果僅僅使用cpu進行順序操作，那將耗費巨大的運算時間和內(nèi)存在海量數(shù)據(jù)的處理與分析上，對于系統(tǒng)高效實時的運行十分不利。而系統(tǒng)輸入的數(shù)據(jù)是以像素為單位，它們由相機坐標系下的像素坐標進行索引，互相之間并沒有相互聯(lián)系，因此可以以每一個像素為單位對數(shù)據(jù)的坐標變換等運算，然后再將這些運算整合到一起進行下一步處理。由于算法執(zhí)行可以滿足的這個特性，因此可以利用gpu的并行計算進行加速。對于每一幀輸入的圖像數(shù)據(jù)從坐標原點開始依次提取出像素坐標，根據(jù)圖像的分辨率得到需要的gpu線程數(shù)，根據(jù)提取出的像素坐標賦予對應(yīng)的線程號，在線程中對每一個線程的像素點，提取出深度值、rgb值等，對其進行坐標變換等操作，最后將所有線程得到的運算結(jié)果再賦給圖像對應(yīng)坐標中，完成并行加速計算。

本實施方式中，gpu的型號為nvidiateslak40。

本發(fā)明基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統(tǒng)的重建步驟如下：

信息采集單元參數(shù)標定：把信息采集單元采集到的初始數(shù)據(jù)進行預(yù)處理即時空標定；

位姿估計算法：將顏色信息(加權(quán)后的rgb圖像和紅外圖像)與深度信息進行處理，得到傳感器相對于目標物體的位置和方向即位姿；

數(shù)據(jù)存儲算法：將信息采集單元采集到的海量數(shù)據(jù)，通過tsdf體集成算法把圖像的深度信息和位姿進行結(jié)合，得到目標物體表面在tsdf空間的距離信息；

模型表面提?。簩㈦[含表示物體表面的距離數(shù)據(jù)轉(zhuǎn)換為能進一步處理的三維點云數(shù)據(jù)；

表面重建算法：通過提取出的物體表面的三維點云數(shù)據(jù)，利用pcl點云庫下的表面重建算法進行三維溫度場模塊重建。

本發(fā)明所有算法以基于slam(simultaneouslocalizationandmapping)算法領(lǐng)域中來自倫敦帝國理工學(xué)院thomaswhelan開發(fā)的開源算法kintinuous為基礎(chǔ)，應(yīng)用大量的開源算法包對此算法進行改進，并且對算法的軟件實現(xiàn)進行改寫并將其移植到linux操作系統(tǒng)下的ros機器人操作系統(tǒng)平臺上，實現(xiàn)自己的含有附加溫度場信息的三維手持實時重建系統(tǒng)。

相機參數(shù)的標定，在本發(fā)明中用于實現(xiàn)對相機傳感器內(nèi)在誤差、硬件系統(tǒng)外部誤差以及數(shù)據(jù)采集的時間誤差的校正，即把傳感器采集到的初始數(shù)據(jù)進行預(yù)處理(時空標定)。在圖像識別領(lǐng)域以及機器視覺成像的測量過程中，為了使得空間中的某個點對應(yīng)于各個坐標系下的三維坐標能與其在成像平面下圖像中相對應(yīng)像素點的聯(lián)系，首先要做的是必須建立其相機成像物理模型所對應(yīng)的數(shù)學(xué)模型，而這些模型的建立過程中不可或缺的參數(shù)就是相機參數(shù)。由于不同的相機結(jié)構(gòu)工藝各有不同，因此這些參數(shù)必須要通過進行一些實驗的測試才能獲得，而這種利用實驗計算求解這些相機數(shù)學(xué)模型參數(shù)的過程就被稱為相機標定(如圖2所示)。

相機數(shù)學(xué)模型為：

其中，u，v表示的是圖像坐標系(u,v)，dx、dy為轉(zhuǎn)換因子，zc表示的是相機坐標系(xc,yc,zc)中的z軸，xw，yw，zw表示的是世界坐標系(xw,yw,zw)，fx、fy、r、t、α、β為待標定參數(shù)，m1為內(nèi)參數(shù)矩陣，m2為外參數(shù)矩陣，為矩陣[xw,yw,zw]^t，u0,v0為像素平面坐標系(u,v)的中心，0^t為0矩陣的轉(zhuǎn)置，旋轉(zhuǎn)矩陣r和平移矩陣，t為相機的外部參數(shù)，r為3*3矩陣，t為3*1矩陣，0為(0，0，0)。

選擇合適的方法對于相機標定結(jié)果的準確性和穩(wěn)定性有著重要意義，同時也會直接的影響到相機在整個系統(tǒng)工作時所產(chǎn)生結(jié)果的準確性。相機的標定包括確定內(nèi)參數(shù)的內(nèi)部標定，確定外參數(shù)的外部標定，由于將兩種傳感器采集的數(shù)據(jù)作為輸入量，因此還應(yīng)包含確定兩者輸入信息時間一致性的時間同步標定。

本實施方式中，采用的相機標定方法為圖2所示的國際上最常用的“張正友棋盤標定法”。

如圖3所示，位姿估計算法中顏色信息是將加權(quán)后的rgb圖像信息和紅外圖像信息與深度信息進行處理，具體為：

將時空標定后的rgb圖像和時空標定后的紅外圖像進行加權(quán)處理；

加權(quán)處理后的圖像再與標定后深度圖像通過icp算法對相近的兩幅深度圖像進行迭代變換估計，得到前一幀圖像和后一幀圖像顏色信息的權(quán)值ω和深度信息的距離d；

時空標定后的紅外圖像與位姿和深度信息經(jīng)過一系列的坐標變換，放到一開始定義的tsdf體中。

位姿估計算法，用于把顏色信息(加權(quán)后的rgb圖像和紅外圖像)與深度信息進行處理，得到傳感器相對于目標物體的位置和方向(即位姿)。

本實施方式中，用到了位姿估計中最為經(jīng)典的icp算法對位姿進行估計的同時，加入了rgb信息與紅外溫度信息，通過這兩種附加的信息來增加位姿估計的準確性。其算法流程如圖3所示。同時，由于引進了不可見信息，因此可以保證系統(tǒng)在濃霧環(huán)境甚至在完全黑暗的環(huán)境中也可以正常運行。

本實施方式中，icp算法實現(xiàn)對相近的兩幅深度圖像進行迭代變換估計，得到前一幀圖像和后一幀圖像顏色信息的權(quán)值ω和深度信息的距離d。

數(shù)據(jù)存儲模塊，用于合理組織得到的海量數(shù)據(jù)，通過tsdf體集成算法(kinectfusion的核心算法)把圖像的深度信息和位姿進行結(jié)合，得到目標物體表面在tsdf空間的距離信息(-1,1)。本系統(tǒng)的數(shù)據(jù)存儲與更新算法如圖4所示。

本實施方式中，tsdf是截斷符號距離函數(shù)(truncatedsigneddistancefunctions)的簡稱。利用體數(shù)據(jù)表示整個三維模型，并在體素中存儲tsdf數(shù)據(jù)來實現(xiàn)模型的增量式建立，并且獲得較為精細的三維模型。而對于傳感器對同一物體的不同角度進行掃描過程中，應(yīng)用何種方式結(jié)合已有數(shù)據(jù)和新得到的數(shù)據(jù)，去除掉不準確或重復(fù)的信息，融合新的有用的信息變得十分重要。根據(jù)tsdf的特性，通過多個不同的觀察視角下傳感器所獲得的信息，可以在一個tsdf體數(shù)據(jù)中整合這些來自不同視點的信息，通過這種動態(tài)更新的方法以不斷提高數(shù)據(jù)的精度同時添加表面中在上一個視場范圍中的缺失的表面部分。這一部分需要通過加權(quán)求和來完成，通常通過tsdf的迭代進行體數(shù)據(jù)更新。這個更新過程按照如下公式進行：

wi+1(x)＝wi(x)+wi+1(x)

本實施方式中，tsdfi+1(x)表示所有觀察值tsdf+1i(x)與1≤j≤i的積分。wi+1(x)評估tsdfi+1(x)的不確定性。

本實施方式中，在體數(shù)據(jù)更新過程中通過對光線投射的方向ray與每一個包含表面的體素中的表面法向量的角度對wi(x)進行賦值，角度越小權(quán)重越大，角度大于一定閾值權(quán)值賦0。這與大多數(shù)體數(shù)據(jù)更新方法對于所有更新的體素將不確定性權(quán)重都設(shè)置為wi(x)＝1，對于相機視野外的所有體素將wi(x)設(shè)置為0是截然不同的。

本實施方式中，為了實現(xiàn)實時性，對tsdf體數(shù)據(jù)的更新同樣采用gpu來實現(xiàn)。完整的3d體素網(wǎng)格在gpu上被分配為對齊的線性存儲器。內(nèi)存分配時體數(shù)據(jù)為5123分辨率，且每個體素包含32bit的數(shù)據(jù)，因此總共需要512mb的內(nèi)存空間。為了提高運行效率，給定內(nèi)存對齊，使得來自并行線程的訪問可以合并，以增加內(nèi)存存儲量。該算法確保了對體素網(wǎng)格的合并訪問，同時積累深度數(shù)據(jù)，可以滿足對于大型場景的實時重建過程。

模型表面提取是通過tsdf體集成算法(kinectfusion的核心算法)把圖像的深度信息和位姿進行結(jié)合，得到目標物體表面在tsdf空間的隱式的距離信息；將目標物體表面在tsdf空間的隱式的距離信息轉(zhuǎn)換成顯式的、計算機可識別的點云信息。

三維模型的表面提取與重建算法，實際包含著兩個步驟：表面提取和表面重建，其算法流程如圖4所示。

表面提取算法，用于把目標物體表面在tsdf空間的隱式的距離信息轉(zhuǎn)換成顯式的、計算機可識別的點云信息。

本實施方式中，表面提取算法從第一個體素點開始，依次判斷前后兩個體素中所存儲的tsdf值的變號情況，當遇到變號，則保存當前體素的坐標值，并取得當前體素坐標對應(yīng)的rgb體數(shù)據(jù)的值與紅外體數(shù)據(jù)的值。對于已經(jīng)保存的坐標值(x,y,z)，根據(jù)預(yù)先設(shè)定的分辨率以及體數(shù)據(jù)的大小求得這個體素坐標對應(yīng)的現(xiàn)實世界的頂點坐標(vx,vy,vz),然后保存這個體素中的tsdf值fn，然后按照當前幀實現(xiàn)方向，以x方向為例，分別取得體素坐標(x+1,y,z)的頂點坐標(vx+1,vy,vz)以及這個體素只能給所存儲的tsdf值fx，fy、fz方向同理可得。對于已經(jīng)得到的體素利用如下公式做三線性插值求得x、y、z方向的坐標即為提取得到的表面的三維點云坐標信息(px,py,pz)。

表面重建算法，用于把目標物體表面的點云信息轉(zhuǎn)換成可以用于可視化軟件顯示的致密的網(wǎng)格表面，最終輸出目標物體表面的ply格式的網(wǎng)格模型。

本實施方式中，對于已得到的三維點云坐標，根據(jù)其對應(yīng)體素的rgb值與紅外溫度值對其進行賦值即可以得到顏色點值，最后將所有的體素都進行遍歷處理就可以得到物體表面的顏色點云數(shù)據(jù)，并最終將這些數(shù)據(jù)用于物體致密模型的表面重建過程。

本實施方式中，希望的是曲面重建的過程可以隨著物體表面點云的提取不斷的增量時進行。而基于這個要求，現(xiàn)有的貪婪投影三角化算法是最為理想的方法。

貪婪投影三角化算法是對有向點云進行三角化的一種算法。具體方法是先將有向點云投影到某一局部二維坐標平面內(nèi)，再在坐標平面內(nèi)進行平面內(nèi)的三角化，再根據(jù)平面內(nèi)三位點的拓撲連接關(guān)系獲得一個三角網(wǎng)格曲面模型，從而得到個點之間的連接關(guān)系。早平面區(qū)域的三角化過程中用到了基于delaunay的空間區(qū)域增長算法，這個方法通過選取某個樣本三角片作為初始曲面，不斷擴張曲面邊界，最后形成一張完整的三角網(wǎng)格曲面。最后根據(jù)投影點云的連接關(guān)系去頂個原始三維點間的拓撲關(guān)系，所得三角網(wǎng)格即為重建得到的曲面模型。

上位機可視化界面作為基于紅外熱像儀與深度攝像機的三維溫度場模型重建系統(tǒng)的可視化軟件。其在線運行界面的設(shè)計實現(xiàn)最主要的在于對當前圖像信息的對比顯示以及對整個重建過程的顯示與切換過程，并且將整個傳感器的移動位姿曲線顯示窗口上?？梢暬翱趯斍暗膱D像數(shù)據(jù)固定的顯示在界面上，而重建過程利用用戶手動做選擇。

本實施方式中，主顯示窗口用來顯示當前進行的某些重建過程，例如當前幀點云，同時也可以用來顯示當前數(shù)據(jù)在全局模型中遞增式重建生成模型顯示的過程，這些過程的顯示與用戶在人機交互欄的操作一一對應(yīng)。輔助顯示欄用來實時顯示當前幀下的三個傳感器所獲得的圖像，同時也將系統(tǒng)運算得到的渲染的三維模型實時在線的顯示出來。如圖5所示。圖的下半部分，從左往右窗口依次顯示的是rgb傳感器獲得的當前rgb圖像，紅外熱像儀獲得的紅外溫度圖像，深度攝像機獲得的當前深度圖像，模型通過raycasting渲染得到的對應(yīng)當前幀視角下的模型，當前幀視角下的三維模型的法向量值。通過這個固定的窗口可以觀察輸入圖像的數(shù)據(jù)的正確性，同時通過右邊兩個窗口的顯示值來判斷系統(tǒng)是否運行正常。

本實施方式中，上位機界面應(yīng)用了跨平臺的c++圖形用戶界面應(yīng)用程序開發(fā)框架qt來開發(fā)。qt的優(yōu)點在于：優(yōu)良的跨平臺性、可面向?qū)ο?、豐富的api。