基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)及方法，本發(fā)明系統(tǒng)包括：3D體感攝影機(jī)、流媒體終端、服務(wù)器和移動電源，流媒體終端固定于3D體感攝影機(jī)上，移動電源給3D體感攝影機(jī)提供電源，3D體感攝影機(jī)與服務(wù)器相連，服務(wù)器通過無線傳輸模塊與流媒體終端相連。本發(fā)明以3D體感攝影機(jī)作為室內(nèi)三維場景的掃描設(shè)備，使得三維測圖更輕便、靈活、成本低廉，尤其適用于某些較擁擠、難攜帶大型設(shè)備及細(xì)節(jié)豐富的室內(nèi)區(qū)域的實時三維測圖。
【專利說明】基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于三維測圖領(lǐng)域，特別涉及一種基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)及方法。
【背景技術(shù)】
[0002]隨著我國地理信息公共服務(wù)平臺的不斷深入，三維地理信息系統(tǒng)進(jìn)一步從宏觀走向精細(xì)，從室外走向室內(nèi)。在這種形勢下，傳統(tǒng)技術(shù)不再適用，發(fā)展快速、輕便、全自動的新型室內(nèi)三維測圖技術(shù)(3D Mapping)具有重要現(xiàn)實意義和應(yīng)用前景。
[0003]當(dāng)前室內(nèi)場景三維測圖技術(shù)主要基于LiDAR，LiDAR (Light Detection AndRanging)是激光探測及測距系統(tǒng)的簡稱，其主要原理是用激光傳感器通過計算激光回波時間，精確記錄傳感器與地物回波點之間的距離，由此可直接測量地面及地物各點的三維坐標(biāo)。目前LiDAR在室內(nèi)場景三維建模的使用中，主要是通過在多點架設(shè)固定站進(jìn)行360度掃描，同時在通視位置布置標(biāo)靶，將各固定站的場景進(jìn)行配準(zhǔn)和合并。(參考文獻(xiàn):V Verma,3d building detection and modeling from aerial lidar data， Computer Vision andPattern,2006)
相對于LiDAR，Kinect在形態(tài)和原理上具有較大不同。Kinect是一種微軟開發(fā)并商品化生產(chǎn)的體感設(shè)備，它主要由一個彩色攝像頭(RGB Camera)、一個紅外線攝像頭(IRCamera)和一個紅外線投影儀(IR Projector)構(gòu)成。通過紅外線投影儀和攝像頭的配合，Kinect能分析紅外線立體像對以獲取掃描對象的深度(距離)信息，從而建立對象的三維模型。因此Kinect能同時采集對象的深度和顏色信息，從而全自動完成模型的紋理映射。和笨重昂貴的LiDAR不同，Kinect廉價且輕便，價格約150美元，重量僅450克。(參考文獻(xiàn):http://www.ros.0rg/wiki/kinect_calibration/technical ；Remondino, F., HeritageRecording and 3D Modeling with Photogrammetry and 3D Scanning.Remote Sensing,2011.)
作為Kinect的開發(fā)商，微軟及其合作伙伴提供的基于Kinect的一種三維建模算法Kinect Fusion,可以實現(xiàn)利用一臺圍繞物體移動的kinect實時重建物體的三維模型。不同于簡單的三維點云的拼接，該三維建模技術(shù)吸引人的特性在于:如果對物體進(jìn)行持續(xù)掃描，三維重建精度可由粗到細(xì)逐漸提高，尤其適合應(yīng)用在增強(qiáng)現(xiàn)實領(lǐng)域。該三維建模技術(shù)同時支持CPU和GPU級別的模型計算，核心思想是基于幀到幀表面追蹤、實時建模和預(yù)測模式。(參考文獻(xiàn):Richard A.Newcombe, Shahram lzadi, KinectFusioniReal-Time DenseSurface Mapping and Tracking, 2011)
實時測圖是一種新型測圖概念，其理念與離線測圖相對，在測圖過程中允許人的參與，具有很高的靈活性。傳統(tǒng)的離線測圖在現(xiàn)場掃描完成后，再進(jìn)行數(shù)據(jù)的離線建模。實時測圖為移動測圖，實時掃描、實時建模，并實時反饋當(dāng)前建模結(jié)果給使用者。使用者根據(jù)當(dāng)前建模結(jié)果，可對掃描過程進(jìn)行動態(tài)調(diào)整，發(fā)揮主觀能動性。傳統(tǒng)離線測圖對測圖流程采用事先布置、事先計劃的模式，當(dāng)掃描數(shù)據(jù)出現(xiàn)問題，如遮擋、缺失、重影與粗誤差等時，使用者并不實時知曉。當(dāng)對數(shù)據(jù)進(jìn)行離線建模得到反饋以后，補(bǔ)測工作已經(jīng)較難進(jìn)行，而實時測圖則回避這種弊端。(參考文獻(xiàn):DL Tulloch, Many, many maps: Empowerment and onlineparticipatory mapping,2007 ；Kurt Konolige and Motilal Agrawal, Frame-FrameMatching for Realtime Consistent Visual Mapping,IEEE ,2007)。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)中離線測圖存在的不足，本發(fā)明提供了一種輕便、靈活、成本低廉的基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)及方法。
[0005]為解決上述問題，本發(fā)明采用如下技術(shù)方案:
一、一種基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)，包括:3D體感攝影機(jī)、流媒體終端、服務(wù)器和移動電源，流媒體終端固定于3D體感攝影機(jī)上，移動電源給3D體感攝影機(jī)提供電源，3D體感攝影機(jī)與服務(wù)器相連，服務(wù)器通過無線傳輸模塊與流媒體終端相連。
[0006]上述3D體感攝影機(jī)為微軟公司的Kinect掃描設(shè)備。
[0007]上述流媒體終端為智能手機(jī)，優(yōu)選安卓手機(jī)。
[0008]上述服務(wù)器為便攜式電腦。
[0009]二、一種基于Kinect和流媒體技術(shù)的實時三維測圖方法，包括:
通過3D體感攝影機(jī)采集室內(nèi)場景的掃描數(shù)據(jù)，并將掃描數(shù)據(jù)傳遞至服務(wù)器，所述的掃描數(shù)據(jù)包括深度信息和顏色信息；
服務(wù)器基于掃描數(shù)據(jù)構(gòu)建當(dāng)前幀表面模型，基于當(dāng)前幀表面模型實時更新全局體元模型并繪制反饋幀，將反饋幀發(fā)送至流媒體終端顯示；
使用者根據(jù)流媒體終端顯示的反饋幀調(diào)整掃描過程。
[0010]上述實時三維測圖方法還包括特點:通過流媒體終端開啟、暫定或關(guān)閉3D體感攝影機(jī)的掃描程序。
[0011]上述服務(wù)器和流媒體終端基于無線局域網(wǎng)絡(luò)進(jìn)行信息交互。
[0012]上述服務(wù)器基于掃描數(shù)據(jù)構(gòu)建當(dāng)前幀表面模型，基于當(dāng)前幀表面模型實時更新全局體元模型并繪制反饋幀，將反饋幀發(fā)送至流媒體終端顯示，具體為:
將掃描數(shù)據(jù)中的深度信息去噪后轉(zhuǎn)換為三維點云，即當(dāng)前幀表面模型；
將當(dāng)前幀表面模型與全局體元模型的空間位置匹配，并反解出3D體感攝影機(jī)空間位置參數(shù)；
融合當(dāng)前幀表面模型與全局體元模型獲得更新后的全局體元模型，根據(jù)3D體感攝影機(jī)空間位置參數(shù)對更新后的全局體元模型進(jìn)行光線渲染，光線渲染后的全局體元模型的截屏即為反饋幀。
[0013]上述使用者根據(jù)流媒體終端顯示的反饋幀調(diào)整掃描過程，具體為:
若流媒體終端顯示的反饋幀存在因遮擋造成的空洞，則移動3D體感攝影機(jī)并調(diào)整掃描角度以回避遮擋；或，以流媒體終端顯示的反饋幀為目標(biāo)進(jìn)行重復(fù)掃描或采用“靠近”方式繼續(xù)掃描，以加強(qiáng)當(dāng)前幀表面模型重建精度。
[0014]目前，室內(nèi)場景三維測圖常采用昂貴且笨重的LiDAR激光掃描儀，需提前設(shè)置拍攝站點和標(biāo)靶，掃描前期準(zhǔn)備工作較長，且在擁擠環(huán)境中不易布站；所布掃描站不能移動，對于形態(tài)復(fù)雜、細(xì)節(jié)豐富的室內(nèi)環(huán)境，易出現(xiàn)因遮擋導(dǎo)致的數(shù)據(jù)缺失等問題。由于掃描數(shù)據(jù)離線處理，不能實時檢驗掃描效果，導(dǎo)致掃描數(shù)據(jù)易存在粗誤差、重影等缺陷。若采用手持LiDAR補(bǔ)測，也常因設(shè)備拍攝范圍小、有效距離短等因素，導(dǎo)致采集效率較低；并且還存在測圖工序相對復(fù)雜、后期拼接困難等問題。
[0015]與上述傳統(tǒng)測圖技術(shù)相比，本發(fā)明更靈活，且可實時發(fā)現(xiàn)掃描數(shù)據(jù)存在的問題，從而及時進(jìn)行補(bǔ)測工作。
[0016]本發(fā)明的有益效果如下:
一、輕便、靈活、成本低廉。
[0017]本發(fā)明以3D體感攝影機(jī)作為室內(nèi)三維場景的掃描設(shè)備。微軟公司的Kinect掃描設(shè)備即為一種3D體感攝影機(jī)，Kinect掃描設(shè)備定價約150美元，重量僅450克，加上其他部件，價格不超過300美元，且系統(tǒng)重量較輕，單人即可輕松攜帶。對于某些較擁擠、難攜帶大型設(shè)備及細(xì)節(jié)豐富的室內(nèi)區(qū)域(例如犯罪現(xiàn)場等場景)均也可進(jìn)行測圖，受空間環(huán)境影響?。煌瑫r，由于價格低廉，普通公眾也具有購買能力；對于室內(nèi)環(huán)境多變區(qū)域，可由公眾自發(fā)進(jìn)行數(shù)據(jù)更新，提高數(shù)據(jù)現(xiàn)勢性。
[0018]二、實現(xiàn)實時測圖。
[0019]使用時，使用者手持固定有流媒體終端的3D體感攝影機(jī)，將服務(wù)器和移動電源置于背包內(nèi)背于身上。使用者可根據(jù)實際需要主動選擇掃描路線和角度，可避免因遮擋而造成的場景數(shù)據(jù)的缺失。掃描數(shù)據(jù)實時發(fā)送至服務(wù)器，服務(wù)器處理掃描數(shù)據(jù)并將處理后獲得的更新當(dāng)前幀表面模型反饋至流媒體終端并顯示。使用者根據(jù)流媒體終端上反饋的處理結(jié)果對掃描流程進(jìn)行調(diào)整，以避免掃描數(shù)據(jù)的粗誤差、重影等缺陷。
[0020]三、自動化程度高，測圖精度高，測圖效率高。
[0021]服務(wù)器根據(jù)接收到的實施掃描數(shù)據(jù)，將當(dāng)前幀表面模型與總體場景模型之間自動實時匹配，相比于布置標(biāo)靶等傳統(tǒng)匹配方式，自動化程度更高，測圖精度和測圖效率也得到極大的改善。
[0022]四、前期工作耗時少，掃描效果好。
[0023]本發(fā)明無需在場景進(jìn)行站點和標(biāo)靶布置，單人攜帶本發(fā)明系統(tǒng)即可進(jìn)場掃描，對場景環(huán)境無任何要求，且無前期準(zhǔn)備工作；掃描過程可根據(jù)實際需求靈活取舍，對于感興趣區(qū)域可通過重復(fù)掃描、靠近掃描等方式進(jìn)行加強(qiáng)測圖，對于墻壁、地板可快速掃描。
【專利附圖】

【附圖說明】
[0024]圖1為本發(fā)明系統(tǒng)結(jié)構(gòu)框圖；
圖2為本發(fā)明系統(tǒng)的【具體實施方式】示意圖；
圖3為當(dāng)前幀表面模型構(gòu)建流程圖；
圖4為服務(wù)器將反饋幀以流媒體形式發(fā)送至客戶端的流程圖；
圖5為流媒體終端處理交換指令的流程圖。
[0025]圖中，1-背包，2-電源線，3-數(shù)據(jù)線，4-移動電源，5-服務(wù)器，6_流媒體終端，7-3D體感攝影機(jī)，8-電纜。
【具體實施方式】
[0026]見圖f 2，本發(fā)明系統(tǒng)包括:3D體感攝影機(jī)(7)、流媒體終端(6)、服務(wù)器(5)和移動電源(4)。流媒體終端(6)固定于3D體感攝影機(jī)(7)上，移動電源(4)給3D體感攝影機(jī)(7)提供電源，3D體感攝影機(jī)(7)與服務(wù)器(5)相連，服務(wù)器(5)通過無線傳輸模塊與流媒體終端(6)相連。
[0027]固定有流媒體終端(6)的3D體感攝影機(jī)(7)為手持設(shè)備，服務(wù)器(5)和移動電源
(4)置于背包(I)中。使用者背上背包(1)，手持3D體感攝影機(jī)(7)，對室內(nèi)場景進(jìn)行掃描。流媒體終端(6)與3D體感攝影機(jī)(7)通過無線網(wǎng)絡(luò)方式進(jìn)行信息交換。3D體感攝影機(jī)(7)通過電纜(8)與背包內(nèi)置的服務(wù)器(5)和移動電源(4)相連，電纜(8)由數(shù)據(jù)線(3)和電源線(2)共線合成，電纜(8)—端與3D體感攝影機(jī)(7)相連，另一端分為電源接口和數(shù)據(jù)接口，電源接口與移動電源(4)相連，數(shù)據(jù)接口與服務(wù)器(5)的USB接口相連。
[0028]為達(dá)到便攜的目的，本具體實施中采用的移動電源(4)外形尺寸為20cm*8cm*3cm，僅重約1.2kg ;服務(wù)器(5)為便攜式電腦；3D體感攝影機(jī)(7)為微軟公司的Kinect掃描設(shè)備；流媒體終端(6)為智能手機(jī)，優(yōu)選安卓手機(jī)。
[0029]3D體感攝影機(jī)(7)用來采集室內(nèi)場景信息以獲得掃描數(shù)據(jù)，并將掃描數(shù)據(jù)通過電纜(8)的數(shù)據(jù)接口傳輸至服務(wù)器(5)，服務(wù)器(5)對接收的掃描數(shù)據(jù)實時建模獲得當(dāng)前幀表面模型，并將建模結(jié)果通過無線網(wǎng)絡(luò)反饋于流媒體終端(6)，使用者通過流媒體終端(6)顯示的當(dāng)前幀表面模型對掃描過程進(jìn)行調(diào)整和控制。本發(fā)明中，流媒體終端除了能實時顯示當(dāng)前幀表面模型外，工作者還可以通過流媒體終端控制3D體感攝影機(jī)的掃描過程。
[0030]基于上述實時三維測圖系統(tǒng)，本發(fā)明的實時三維測圖方法包括步驟:
步驟一，通過流媒體終端開啟3D體感攝影機(jī)，使3D體感攝影機(jī)進(jìn)入掃描狀態(tài)。
[0031]步驟二，移動3D體感攝影機(jī)采集室內(nèi)場景的掃描數(shù)據(jù)，包括深度信息和顏色信息，并將掃描數(shù)據(jù)傳遞至服務(wù)器；本具體實施中，掃描數(shù)據(jù)以每秒30幀的速率傳遞至服務(wù)器。
[0032]步驟三，服務(wù)器實時處理掃描數(shù)據(jù)，基于掃描數(shù)據(jù)構(gòu)建當(dāng)前幀表面模型，基于當(dāng)前幀表面模型實時更新全局體元模型并繪制反饋幀。
[0033]步驟四，將反饋幀在無線網(wǎng)絡(luò)中發(fā)布，流媒體終端接收并實時顯示。
[0034]步驟五，使用者根據(jù)流媒體終端顯示的反饋幀調(diào)整掃描過程，例如:若流媒體終端顯示的反饋幀存在因遮擋造成的空洞，則移動Kinect掃描設(shè)備并調(diào)整掃描角度以回避遮擋；若對細(xì)節(jié)對象等感興趣，則以該細(xì)節(jié)對象為目標(biāo)進(jìn)行重復(fù)掃描，逐漸加強(qiáng)模型重建精度，也可采用“靠近”方式提高目標(biāo)的掃描精度。
[0035]步驟六，移動Kinect掃描設(shè)備并重復(fù)步驟二?五，直到完成室內(nèi)全部場景的掃描，通過流媒體終端關(guān)閉Kinect掃描設(shè)備的掃描狀態(tài)。
[0036]下面將詳細(xì)說明本發(fā)明的具體實現(xiàn)方式。
[0037]下述，流媒體終端以安卓手機(jī)為例，服務(wù)器以便攜式電腦為例，3D體感攝影機(jī)以Kinect掃描設(shè)備為例。
[0038](I)建立服務(wù)器和客戶端環(huán)境。
[0039]本具體實施中，客戶端指流媒體終端。首先，建立無線局域網(wǎng)絡(luò)環(huán)境，具體建立方法可根據(jù)現(xiàn)場實際情況決定。
[0040]檢索并記錄便攜式電腦的IP地址。在便攜式電腦上的Kinect掃描程序上新建兩個服務(wù)器進(jìn)程:流媒體服務(wù)器進(jìn)程和交互服務(wù)器進(jìn)程。流媒體服務(wù)器用來將便攜式電腦更新后的當(dāng)前幀實時發(fā)送至客戶端，設(shè)置流媒體服務(wù)器獨立端口號(如5556)，模式為“PUB”，PUB模式表示單向數(shù)據(jù)分發(fā)(Publish)，即，流媒體服務(wù)器推送一組更新當(dāng)前幀到客戶端，無需要客戶端回應(yīng)。交互服務(wù)器用來回應(yīng)客戶端并發(fā)送各種指令，設(shè)置交互服務(wù)器獨立端口號(如5555)，模式為“REP” (Reply)0 “REP”模式與下述“REQ”模式配合，為一種雙向消息模式，必須得到對方回應(yīng)后才能繼續(xù)發(fā)送，從而可保證數(shù)據(jù)安全性。
[0041]同理，在安卓手機(jī)上的Kinect掃描程序建立兩個客戶端線程:流媒體客戶端線程和交互客戶端線程。流媒體客戶端綁定便攜式電腦IP的流媒體服務(wù)器端口(如5556)，流媒體客戶端模式為“SUB”(Subscribe)，流媒體客戶端用來接收便攜式電腦發(fā)送的更新后的當(dāng)前幀。交互客戶端綁定便攜式電腦的交互服務(wù)器端口(如5556)，交互客戶端模式為“REQ”(Request),交互客戶端用來與便攜式電腦發(fā)送并回應(yīng)各種指令。
[0042](2) Kinect掃描設(shè)備的掃描和建模。
[0043]Kinect掃描設(shè)備掃描的每幅深度信息可理解成場景的幀表面模型，本具體實施中，便攜式電腦采用體重構(gòu)技術(shù)基于掃描數(shù)據(jù)構(gòu)建幀表面模型，具體為:
Ca)預(yù)定義三維空間，將該三維空間細(xì)分成連續(xù)規(guī)整的體元，獲得初始全局體元模型。初始時，各體元中均不包含任何數(shù)據(jù)。對當(dāng)前深度信息去噪后轉(zhuǎn)換為三維點云，即當(dāng)前幀表面模型；通過多規(guī)模ICP (Iterative Closest Point,迭代最近點)配準(zhǔn)算法,將當(dāng)前巾貞表面模型與全局體元模型的空間位置匹配，從而將各當(dāng)前幀表面模型歸化于同一坐標(biāo)系下，并由此反解出Kinect掃描設(shè)備位置參數(shù)。
[0044](b)通過 TSDF (Truncated Signed Distance Function,截斷有向距離函數(shù))將各當(dāng)前幀表面模型與全局體元模型進(jìn)行融合得到更新后的全局體元模型，具體為:利用TSDF計算三維空間任意點的值，從而生成有向距離場；場的正負(fù)相交處則為重建物體表面。該方法能很好地延續(xù)表面的彎曲趨勢，并且能夠很好地修復(fù)模型表面的空洞。同一個場景表面從不同方向有多幅深度數(shù)據(jù)，因此數(shù)據(jù)融合的時候應(yīng)對多幅深度數(shù)據(jù)加權(quán)求平均，這樣還可逐漸提高該場景表面的重建精度。
[0045](c)同時，根據(jù)Kinect掃描設(shè)備位置參數(shù)，對融合后的更新后的全局體元模型進(jìn)行光線跟蹤(Ray Casting)，由此對當(dāng)前影像范圍的更新后的全局體元模型進(jìn)行光影渲染；并將渲染后的全局體元模型作為反饋幀，輸出至流媒體終端并顯示，以使使用者對掃描效果進(jìn)行檢驗。掃描結(jié)束后，最終全局體元模型即為掃描獲得的室內(nèi)三維場景模型。
[0046](3)服務(wù)器將更新幀以流媒體形式發(fā)送至客戶端并在客戶端顯示。
[0047]見圖4。由“流媒體服務(wù)器”監(jiān)聽Kinect掃描程序主進(jìn)程，每當(dāng)更新幀生成便將更新幀內(nèi)存位置傳遞進(jìn)來。更新幀數(shù)據(jù)流為30Hz三通道640 x480圖像，其高達(dá)27M每秒，網(wǎng)絡(luò)難以負(fù)擔(dān)，所以，本具體實施采用Jpeg壓縮模式對更新幀數(shù)據(jù)進(jìn)行壓縮，壓縮后每秒數(shù)據(jù)流降至150K。接下來“流媒體服務(wù)器”將壓縮數(shù)據(jù)進(jìn)行編碼(encode)并發(fā)送，具體編碼方式為:根據(jù)壓縮數(shù)據(jù)長度對壓縮數(shù)據(jù)分組，各組根據(jù)已有協(xié)議加上表頭信息，并在流媒體服務(wù)器端口進(jìn)行發(fā)布。
[0048]與之對應(yīng)，流媒體終端的“流媒體客戶端”監(jiān)聽流媒體服務(wù)器端口，當(dāng)流媒體服務(wù)器端口有新數(shù)據(jù)發(fā)布時則接收并解碼數(shù)據(jù)，接收模式為異步通信模式(AsynchronousMessage Passing)。具體接收方式為分組接收數(shù)據(jù)，即，根據(jù)表頭信息將各小組重新組合成完整的數(shù)據(jù)，即壓縮圖像；然后，將壓縮圖像的內(nèi)存位置發(fā)送給主線程，主線程反解碼壓縮文件，獲得位圖(Bitmap)形式的圖像；最后，在流媒體終端設(shè)定區(qū)域顯示圖像。
[0049](4)流媒體終端接收并處理各種交互指令。
[0050]見圖5。流媒體終端接受使用者的各種指令，如開始、結(jié)束、暫停等。交互客戶端將指令相應(yīng)的編號在交互服務(wù)器端口以“請求”(Request)形式發(fā)送，交互服務(wù)器接收到交互客戶端發(fā)送的編號后與操作指令庫進(jìn)行匹配，如果無對應(yīng)操作指令則“回應(yīng)”(Iteply)交互客戶端其指令無效；如有相應(yīng)操作指令則執(zhí)行(如，開啟或關(guān)閉相應(yīng)的線程)，并回應(yīng)交互客戶端“處理完畢”。
【權(quán)利要求】
1.基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)，其特征是，包括: 3D體感攝影機(jī)、流媒體終端、服務(wù)器和移動電源，流媒體終端固定于3D體感攝影機(jī)上，移動電源給3D體感攝影機(jī)提供電源，3D體感攝影機(jī)與服務(wù)器相連，服務(wù)器通過無線傳輸模塊與流媒體終端相連。
2.如權(quán)利要求1所述的基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)，其特征是: 所述的3D體感攝影機(jī)為微軟公司的Kinect掃描設(shè)備。
3.如權(quán)利要求1所述的基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)，其特征是: 所述的流媒體終端為智能手機(jī)。
4.如權(quán)利要求1所述的基于Kinect和流媒體技術(shù)的實時三維測圖系統(tǒng)，其特征在是: 所述的服務(wù)器為便攜式電腦。
5.基于Kinect和流媒體技術(shù)的實時三維測圖方法，其特征是，包括: 通過3D體感攝影機(jī)采集室內(nèi)場景的掃描數(shù)據(jù)，并將掃描數(shù)據(jù)傳遞至服務(wù)器，所述的掃描數(shù)據(jù)包括深度信息和顏色信息； 服務(wù)器基于掃描數(shù)據(jù)構(gòu)建當(dāng)前幀表面模型，基于當(dāng)前幀表面模型實時更新全局體元模型并繪制反饋幀，將反饋幀發(fā)送至流媒體終端顯示； 使用者根據(jù)流媒體終端顯示的反饋幀調(diào)整掃描過程。
6.如權(quán)利要求5所述的基于Kinect和流媒體技術(shù)的實時三維測圖方法，其特征是: 通過流媒體終端開啟、暫定或關(guān)閉3D體感攝影機(jī)掃描程序。
7.如權(quán)利要求5所述的基于Kinect和流媒體技術(shù)的實時三維測圖方法，其特征在于: 所述的服務(wù)器和流媒體終端基于無線局域網(wǎng)絡(luò)進(jìn)行信息交互。
8.如權(quán)利要求5所述的基于Kinect和流媒體技術(shù)的實時三維測圖方法，其特征在于: 所述的服務(wù)器基于掃描數(shù)據(jù)構(gòu)建當(dāng)前幀表面模型，基于當(dāng)前幀表面模型實時更新全局體元模型并繪制反饋幀，將反饋幀發(fā)送至流媒體終端顯示，具體為: 將掃描數(shù)據(jù)中的深度信息去噪后轉(zhuǎn)換為三維點云，即當(dāng)前幀表面模型； 將當(dāng)前幀表面模型與全局體元模型的空間位置匹配，并反解出3D體感攝影機(jī)空間位置參數(shù)； 融合當(dāng)前幀表面模型與全局體元模型獲得更新后的全局體元模型，根據(jù)3D體感攝影機(jī)空間位置參數(shù)對更新后的全局體元模型進(jìn)行光線渲染，光線渲染后的全局體元模型的截屏即為反饋幀。
9.如權(quán)利要求5所述的基于Kinect和流媒體技術(shù)的實時三維測圖方法，其特征在于: 所述的使用者根據(jù)流媒體終端顯示的反饋幀調(diào)整掃描過程，具體為: 若流媒體終端顯示的反饋幀存在因遮擋造成的空洞，則移動3D體感攝影機(jī)并調(diào)整掃描角度以回避遮擋。
10.如權(quán)利要求5所述的基于Kinect和流媒體技術(shù)的實時三維測圖方法，其特征在于: 所述的使用者根據(jù)流媒體終端顯示的反饋幀調(diào)整掃描過程，具體為: 以流媒體終端顯示的反饋幀為目標(biāo)進(jìn)行重復(fù)掃描或采用“靠近”方式繼續(xù)掃描。
【文檔編號】G06F3/01GK103500013SQ201310490129
【公開日】2014年1月8日 申請日期:2013年10月18日 優(yōu)先權(quán)日:2013年10月18日
【發(fā)明者】咼維, 朱欣焰, 劉異, 陳呈輝, 胡濤 申請人:武漢大學(xué)