專利名稱：基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法,尤其是涉及基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法。
背景技術(shù)：
LiDAR(Light Detection And Ranging),稱為激光雷達(dá),是激光掃描與探測(cè)系統(tǒng)的簡(jiǎn)稱。LiDAR系統(tǒng)主要分為兩大類機(jī)載LiDAR系統(tǒng)與地面LiDAR系統(tǒng)，本發(fā)明主要針對(duì)室內(nèi)復(fù)雜環(huán)境下的地面LiDAR系統(tǒng)。相比與傳統(tǒng)基于圖片的三維重建，基于三維激光掃描的三維重建具有快速、精確、非接觸等優(yōu)點(diǎn)。由于激光掃描儀的非連續(xù)性，為將多個(gè)掃描點(diǎn)獲取的點(diǎn)云數(shù)據(jù)坐標(biāo)轉(zhuǎn)換至統(tǒng)一坐標(biāo)系下，形成完成的點(diǎn)云模型，需要進(jìn)行影像配準(zhǔn)。影像配準(zhǔn)技術(shù)主要分為兩大類一種是側(cè)重在影像數(shù)據(jù)離散特征的提取與定位，該類技術(shù)特點(diǎn)在于不需要初始位置估計(jì)，但不適于特征不明顯的情況；另一種是由Besl和McKay最初提出的著名ICP(Iterative Closest Point)算法,該算法通過不斷計(jì)算兩幅影像重疊區(qū)域?qū)?yīng)點(diǎn)對(duì)之間的剛體變換關(guān)系，重復(fù)變化，找到最終使對(duì)應(yīng)點(diǎn)之間的距離均方誤差達(dá)到最小的旋轉(zhuǎn)矩陣和平移向量。該算法比上一種配準(zhǔn)算法有更好的魯棒性和準(zhǔn)確性，但原始ICP算法在收斂上主要取決于對(duì)應(yīng)點(diǎn)對(duì)的選取和誤差函數(shù)的最小化，后來(lái)的許多研究都致力于通過尋找不同的誤差判斷函數(shù)，和對(duì)應(yīng)點(diǎn)對(duì)的選取方法來(lái)增強(qiáng)ICP算法的穩(wěn)定性。Kinect是微軟開發(fā)的體感設(shè)備，它屬于一類名為RIM (Range Imaging)相機(jī)[2]的新型傳感器,主要用于捕捉人體骨骼結(jié)構(gòu)，以此實(shí)現(xiàn)以身體作為控制器的構(gòu)想。Kinect由一個(gè)發(fā)射單元(脈沖光，調(diào)制光或結(jié)構(gòu)光)，感光傳感器(CCD，CMOS或APD)，光學(xué)系統(tǒng)以及一些驅(qū)動(dòng)電路和計(jì)算單元組成。Kinect設(shè)備同步獲取場(chǎng)景深度與影像信息，可全自動(dòng)完成場(chǎng)景紋理映射，基于Kinect設(shè)備獲取的深度數(shù)據(jù)是結(jié)構(gòu)化的點(diǎn)云數(shù)據(jù)，本發(fā)明采用基于體元的數(shù)據(jù)融合方法重建三維模型。(參考文獻(xiàn)Remondino, F. , Heritage Recording and 3D Modeling withPhotogrammetry and 3D Scanning. Remote Sensing, 2011.)數(shù)據(jù)融合主要采用體元技術(shù),最早在1974年Baumgart提出Volume Intersection的方法，并指出每一個(gè)體元只有兩個(gè)狀態(tài)0和1，I意味著該體元被重建目標(biāo)占據(jù)，而O則反之。1989年A. Elfes利用聲納為移動(dòng)機(jī)器人導(dǎo)航時(shí)所提出占用柵格概念(OccupancyGrid),它是將整個(gè)空間中的體元分為三類0ccupied、Free、Unknown,并利用概率函數(shù)表達(dá)空間使用情況，利用該方法可以實(shí)現(xiàn)機(jī)器人自主導(dǎo)航定位。Hoppe通過構(gòu)造點(diǎn)到物體表面的有向距離場(chǎng)(Signed Distance Function)來(lái)重建物體表面。為改善Hoppe方法中存在的邊界重建不理想的問題，同時(shí)并解決了法向傳播中可能出現(xiàn)的局部“孤島”問題，Curless和Levoy在每個(gè)體素中保存兩個(gè)值，一個(gè)是權(quán)重信息，另一個(gè)是距離值，他們將每幅深度圖像轉(zhuǎn)換成一個(gè)加權(quán)有向距離場(chǎng)(Weighted Signed Distance Function)。在Kinect發(fā)布以后，華盛頓大學(xué)和Intel合作開展了名為RGB-D Dense PointCloud Mapping的研究項(xiàng)目，這個(gè)項(xiàng)目旨在利用Kinect實(shí)現(xiàn)機(jī)器人的自動(dòng)測(cè)圖。由于較少關(guān)心測(cè)圖本身精度，因此重建效果不夠理想，場(chǎng)景中存在很多“洞”，且有“重影”現(xiàn)象產(chǎn)生。在2011年8月，微軟在SIGGRAPH大會(huì)上展示了其KinectFusion項(xiàng)目成果，旨在利用Kinect實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)(Augmented Reality)。其中針對(duì)Kinect原始深度圖精度低的問題，利用Kinect高頻輸出特點(diǎn)，基于文獻(xiàn)提出體重構(gòu)技術(shù)和Point-To-Plane ICP算法，采用截?cái)喾?hào)距離函數(shù)(Truncated Signed Distance Functions)和GPU進(jìn)行并行加速，實(shí)現(xiàn)實(shí)時(shí)精細(xì)三維建模，精度可達(dá)到毫米級(jí)。

發(fā)明內(nèi)容
本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的傳統(tǒng)的激光掃描儀掃描范圍有限，尤其針對(duì)復(fù)雜的室內(nèi)場(chǎng)景，對(duì)于狹小的區(qū)域無(wú)法完成數(shù)據(jù)采集工作等的技術(shù)問題；提供了一種充分發(fā)揮新型體感設(shè)備Kinect價(jià)格低廉，同時(shí)獲取場(chǎng)景深度與影像信息，每秒30幀速率輸出、可獲取大量深度信息、可保持采集信息完整性等特點(diǎn)，實(shí)現(xiàn)對(duì)局部數(shù)據(jù)的采集工作的基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法。 本發(fā)明的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的一種基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法，其特征在于，包括以下步驟步驟1，針對(duì)室內(nèi)場(chǎng)景采用LiDAR設(shè)備在進(jìn)行單點(diǎn)掃描，獲取掃描數(shù)據(jù)，即獲取LiDAR設(shè)備掃描的影像；針對(duì)LiDAR設(shè)備過程中缺失的區(qū)域，采用Kinect設(shè)備再次進(jìn)行掃描，并提取掃描過程中的關(guān)鍵幀，獲取稀疏的掃描數(shù)據(jù)；即獲取稀疏的RGB-D影像；步驟2，采用SIFT算法對(duì)步驟I中Kinect設(shè)備采集的RGB-D影像進(jìn)行特征提取，并利用RANSAC算子對(duì)提取的特征中異常特征匹配點(diǎn)進(jìn)行剔除；步驟3，對(duì)步驟2中已經(jīng)剔除異常特征匹配點(diǎn)的SIFT特征進(jìn)行歸并；步驟4，采用SIFT算法對(duì)步驟I中LiDAR設(shè)備采集的LiDAR設(shè)備掃描的影像進(jìn)行特征提取，并與步驟3中已歸并的Kinect設(shè)備提取的SIFT特征進(jìn)行粗匹配，獲取轉(zhuǎn)換矩陣；步驟5，將步驟4中完成粗匹配的LiDAR影像與Kinect的RGB-D影像進(jìn)行精細(xì)匹配，獲取精細(xì)的轉(zhuǎn)換矩陣；步驟6，將步驟5中完成精細(xì)匹配的LiDAR影像與Kinect掃描RGB-D影像的部分缺失數(shù)據(jù)進(jìn)行融合，得到完整的掃描影像。這里需要解釋的是，影像就是圖像，模型包含三維坐標(biāo)信息，這里主要是指點(diǎn)云模型。在Iidar和kinect數(shù)據(jù)采集過程中，不僅包括影像數(shù)據(jù)(RGB圖像和深度信息)也包括點(diǎn)云數(shù)據(jù)(一系列點(diǎn)云可以生成點(diǎn)云模型))在上述的基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法，所述的步驟3中，由于相鄰關(guān)鍵幀獲取的影像，存在較多的重疊部分，因此基于步驟2獲取的SIFT特征同樣存在重復(fù)性；通過特征提取和特征映射，SIFT特征點(diǎn)在點(diǎn)云數(shù)據(jù)中有一一對(duì)應(yīng)的點(diǎn)(X，y, z)，即三維映射點(diǎn)，并且三維映射點(diǎn)是從體元模型中得到的，因此處于統(tǒng)一的坐標(biāo)系下，則若SIFT特征相同，則其對(duì)應(yīng)的三維映射點(diǎn)的坐標(biāo)則接近或相同，采用三維映射點(diǎn)進(jìn)行特征歸并，即通過臨近點(diǎn)聚類的方法實(shí)現(xiàn)SIFT特征的歸并，具體描述如下給定一個(gè)多維空間Rk，Rk中的一個(gè)向量是一個(gè)樣本點(diǎn)，這些樣本點(diǎn)的有限集合稱為樣本集，給定樣本集E,和一個(gè)樣本點(diǎn)s’，s’的最近鄰就是任一樣本點(diǎn)s e E滿足Nearest (E, s’，s),其中 Nearest 為如下定義
權(quán)利要求
1.一種基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法，其特征在于，包括以下步驟 步驟1，針對(duì)室內(nèi)場(chǎng)景采用LiDAR設(shè)備在進(jìn)行單點(diǎn)掃描，獲取掃描數(shù)據(jù)，即獲取LiDAR設(shè)備掃描的影像；針對(duì)LiDAR設(shè)備過程中缺失的區(qū)域，采用Kinect設(shè)備再次進(jìn)行掃描，并提取掃描過程中的關(guān)鍵幀，獲取稀疏的掃描數(shù)據(jù)；即獲取稀疏的RGB-D影像； 步驟2，采用SIFT算法對(duì)步驟I中Kinect設(shè)備采集的RGB-D影像進(jìn)行特征提取，并利用RANSAC算子對(duì)提取的特征中異常特征匹配點(diǎn)進(jìn)行剔除； 步驟3，對(duì)步驟2中已經(jīng)剔除異常特征匹配點(diǎn)的SIFT特征進(jìn)行歸并； 步驟4，采用SIFT算法對(duì)步驟I中LiDAR設(shè)備采集的LiDAR設(shè)備掃描的影像進(jìn)行特征提取，并與步驟3中已歸并的Kinect設(shè)備提取的SIFT特征進(jìn)行粗匹配，獲取轉(zhuǎn)換矩陣；步驟5，將步驟4中完成粗匹配的LiDAR影像與Kinect的RGB-D影像進(jìn)行精細(xì)匹配，獲取精細(xì)的轉(zhuǎn)換矩陣； 步驟6，將步驟5中完成精細(xì)匹配的LiDAR模型與Kinect掃描RGB-D影像的部分缺失數(shù)據(jù)進(jìn)行融合，得到完整的掃描影像。
2.根據(jù)權(quán)利要求I所述的基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法，其特征在于，所述的步驟3中，由于相鄰關(guān)鍵幀獲取的影像，存在較多的重疊部分，因此基于步驟2獲取的SIFT特征同樣存在重復(fù)性；通過特征提取和特征映射，SIFT特征點(diǎn)在點(diǎn)云數(shù)據(jù)中有一一對(duì)應(yīng)的點(diǎn)(X，1，z)，即三維映射點(diǎn)，并且三維映射點(diǎn)是從體元模型中得到的，因此處于統(tǒng)一的坐標(biāo)系下，則若SIFT特征相同，則其對(duì)應(yīng)的三維映射點(diǎn)的坐標(biāo)則接近或相同，采用三維映射點(diǎn)進(jìn)行特征歸并，即通過臨近點(diǎn)聚類的方法實(shí)現(xiàn)SIFT特征的歸并，具體描述如下 給定一個(gè)多維空間Rk，Rk中的一個(gè)向量是一個(gè)樣本點(diǎn)，這些樣本點(diǎn)的有限集合稱為樣本集，給定樣本集E,和一個(gè)樣本點(diǎn)s’，s’的最近鄰就是任一樣本點(diǎn)s e E滿足Nearest (E, s’，s),其中 Nearest 為如下定義
3.根據(jù)權(quán)利要求I所述的基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法,其特征在于，所述的步驟4中，進(jìn)一步包括以下子步驟 步驟4. 1，分別從配準(zhǔn)的數(shù)據(jù)集中選取三對(duì)點(diǎn)，并獲取這三對(duì)點(diǎn)對(duì)應(yīng)于源點(diǎn)云數(shù)據(jù)集S和目標(biāo)點(diǎn)云數(shù)據(jù)集T中的三維坐標(biāo)； 步驟4. 2，對(duì)于步驟I中的三個(gè)點(diǎn)對(duì)，進(jìn)行變換矩陣計(jì)算，得到變換矩陣H ； 步驟4. 3，計(jì)算在該變換矩陣Hi下的inlier個(gè)數(shù)，若大于設(shè)定的閥值δ，則利用最小二乘計(jì)算所有的inlier并更新模型參數(shù)；若小于設(shè)定的閥值，則進(jìn)行下一次迭代； 步驟4. 4，迭代K次后，找到含“Inlier”個(gè)數(shù)最多的Hf，將其作為最終的變換矩陣。
4.根據(jù)權(quán)利要求I所述的基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法,其特征在于，所述的步驟6中，進(jìn)一步包括以下子步驟 步驟6. 1，針對(duì)Kinect掃描的數(shù)據(jù)構(gòu)建體元模型定義一個(gè)三維體，N*M*Q大小，并將該三維體劃分為L(zhǎng)*P*0個(gè)大小的體元，其中，N、M、Q、L、P、O均為正整數(shù)，初始時(shí)每個(gè)體元不包含任何數(shù)據(jù)信息并對(duì)體元賦予初值。
步驟6. 2，將LiDAR模型嵌入至Kinect體元模型由于LiDAR設(shè)備掃描的數(shù)據(jù)量大，若構(gòu)建單獨(dú)的體元模型嚴(yán)重影響數(shù)據(jù)處理效率，因此將LiDAR模型嵌入已構(gòu)建的Kinect體元模型，由于在步驟5中，LiDAR影像與Kinect影像已精細(xì)匹配，在匹配的點(diǎn)對(duì)中選取LiDAR模型的點(diǎn)并添加至Kinect體元模型中。
步驟6. 2，對(duì)體元進(jìn)行賦值由于LiDAR數(shù)據(jù)與Kinect數(shù)據(jù)歸化到統(tǒng)一坐標(biāo)系下，此時(shí)，將分別獲取的深度數(shù)據(jù)存放入體元模型中，并相應(yīng)地更新每個(gè)體元保存的數(shù)據(jù)信息。
步驟6. 3，深度數(shù)據(jù)融合執(zhí)行完上述步驟后，同一體元存在多個(gè)深度數(shù)據(jù)，受到物體表面情況和傳感器影響，導(dǎo)致誤差不同，因此需對(duì)深度數(shù)據(jù)進(jìn)行融合處理。，具體方法是步驟A,首先對(duì)每個(gè)頂點(diǎn)進(jìn)行權(quán)重分析,權(quán)重范圍為0-1,權(quán)重大小依賴于頂點(diǎn)的法向量與光線夾角，夾角越大，權(quán)重越小，同時(shí)，對(duì)于邊界處具有更小權(quán)重，對(duì)于非頂點(diǎn)權(quán)重，采取線性內(nèi)插方法計(jì)算權(quán)重值 步驟B，然后根據(jù)上述權(quán)重融合深度數(shù)據(jù)。函數(shù)D(X)作為融合后的深度值，通過Idi (x) i = 0，…，n},其中，(Ii(X)為每個(gè)模型的深度值，以及對(duì)應(yīng)的權(quán)重信息(Wi(X) i =·0，…，η},其中，Wi (X)為每個(gè)模型的權(quán)重值,通過下式獲取
全文摘要
本發(fā)明涉及基于Kinect的室內(nèi)LiDAR缺失數(shù)據(jù)填補(bǔ)方法。一、Kinect掃描過程的關(guān)鍵幀提取，獲取較稀疏的掃描數(shù)據(jù)；二、采用SIFT算法對(duì)Kinect設(shè)備采集的RGB-D影像進(jìn)行特征提取，并利用RANSAC算子對(duì)異常特征匹配點(diǎn)進(jìn)行剔除；三、對(duì)步驟二中的特征進(jìn)行歸并；四、LiDAR影像的特征提取，與Kinect設(shè)備的特征粗匹配，獲取轉(zhuǎn)換矩陣；五、采用改進(jìn)的ICP算法實(shí)現(xiàn)LiDAR影像與Kinect的RGB-D影像的精細(xì)匹配；六、LiDAR模型與Kinect掃描的部分缺失數(shù)據(jù)融合。優(yōu)點(diǎn)設(shè)備價(jià)格低廉，采集過程靈活，能夠獲取場(chǎng)景深度與影像信息，快速實(shí)現(xiàn)對(duì)室內(nèi)復(fù)雜場(chǎng)景的局部或缺失數(shù)據(jù)的采集與填補(bǔ)。
文檔編號(hào)G06T5/50GK102938142SQ20121035149
公開日2013年2月20日 申請(qǐng)日期2012年9月20日 優(yōu)先權(quán)日2012年9月20日
發(fā)明者咼維, 胡濤, 朱欣焰, 水淼, 樊亞新 申請(qǐng)人:武漢大學(xué)