一種360度全景激光與多個視覺系統(tǒng)間的聯(lián)合標定方法
【技術領域】
[0001] 本發(fā)明屬于環(huán)境感知技術領域，涉及到三維激光測距系統(tǒng)與多個視覺系統(tǒng)之間的 數(shù)據(jù)融合，特別涉及到三維激光測距系統(tǒng)與多個視覺系統(tǒng)之間的聯(lián)合標定方法。
【背景技術】
[0002] 在復雜場景中，單一傳感器無法滿足環(huán)境感知和場景理解等任務需求，因而 多個傳感器之間的數(shù)據(jù)匹配與融合是提高環(huán)境感知與場景理解性能的必要手段，其中 多個傳感器之間的聯(lián)合標定是其關鍵步驟。目前已有多種三維激光和單目視覺的外 參標定方法，最常見的方法是使用黑白標定板來標定三維激光與視覺系統(tǒng)之間的外部 參數(shù)(JoungJH,AnKH,KangJff,etal. 3Denvironmentreconstructionusing modifiedcolorICPalgorithmbyfusionofacameraanda3Dlaserrange finder[C]，IEEE/RSJInternationalConferenceonIntelligentRobotsand Systems(IROS)，2009:3082-3088.)，由于這種標定板本身是用于視覺系統(tǒng)內參標定的，所 以方便視覺系統(tǒng)處理，但是對于三維激光系統(tǒng)來說，在標定過程中對黑白標定板的掃描效 果要求很高，且該方法只適用于較近場景的標定，掃描角度有一定限制。為了便于三維激光 系統(tǒng)獲取標定特征，文獻（Garcia-MorenoAI，Gonzalez_BarbosaJJ，Ornelas_Rodriguez FJ,etal.LIDARandPanoramicCameraExtrinsicCalibrationApproachUsinga PatternPlane[M],PatternRecognition.SpringerBerlinHeidelberg, 2013:104-113.) 利用多個菱形孔洞的邊緣角點作為特征進行三維激光雷達與全景攝像機的參數(shù)標定， 但是由于受激光點邊緣效應的影響，角點特征的獲取并不是特別精確，標定的穩(wěn)定性 無法保證。此夕卜，文獻（ThomasJOsgood,YingpingHuang.Calibrationoflaser scannerandcamerafusionsystemforintelligentvehiclesusingNelder-Mead optimization[J],MeasurementScience&Technology, 2013,vol. 24,no. 3,pp:1-10.)用 懸在空中的圓形白色卡片作為標定物進行外參標定，這種方法雖然便于確定特征物體在三 維激光數(shù)據(jù)和圖像中的位置，但標定時需要開闊的實驗環(huán)境，且由于標定物體積比較小，放 大了激光點邊緣效應對標定物三維坐標的影響，影響標定精度。專利（莊嚴；王偉；陳東；楊 生鵬，大連理工大學，一種三維激光和單目視覺間的自動標定方法，專利號200910187344,） 提出采用帶孔洞的黑白標定板進行三維激光與單目視覺間的自動標定，該板上有兩種信 息：顏色信息和空洞信息。其中顏色信息由攝像機獲取，通過OpenCV中提供的相關角點檢 測算法檢測出黑白格的交點（即特征點）；空洞信息則通過激光測距儀獲取，通過相關算法 在激光數(shù)據(jù)中找到黑白格的交點，然后將兩種場景中的特征點對應，就完成了場景的匹配。 但該方法存在一定局限性，要求攝像機和激光測距儀的距離較小，不適合攝像機和激光測 距儀較遠的情況，而且只能適用于激光與單個視覺系統(tǒng)的標定。

【發(fā)明內容】

[0003] 本發(fā)明要解決的問題是三維激光測距系統(tǒng)與多個視覺系統(tǒng)之間的自動聯(lián)合標定， 僅通過一次數(shù)據(jù)采集就可以方便的實現(xiàn)多個系統(tǒng)的外參計算，解決了激光測距系統(tǒng)與視覺 系統(tǒng)不能距離太遠的局限，降低了標定方法對標定物和標定環(huán)境的要求，減小激光點邊緣 效應對標定結果的影響，增強了標定方法的實用性和準確性。
[0004] 本發(fā)明的技術方案如下：
[0005] 1.三維全景激光特性分析和標定裝置的設計
[0006] 本發(fā)明使用的三維全景激光系統(tǒng)是由二維激光傳感器和帶有步進電機的旋轉云 臺構成的，旋轉云臺在水平面上旋轉，二維激光傳感器掃描平面成扇形，與云臺旋轉平面垂 直，每組激光數(shù)據(jù)同時包含測距數(shù)據(jù)和反射值數(shù)據(jù)，且兩種數(shù)據(jù)一一對應。由于激光傳感器 存在一定的測量誤差，且在物體邊緣的激光數(shù)據(jù)受邊緣效應影響，當前景與后景物體距離 比較近時，很難根據(jù)測距數(shù)據(jù)將前景和后景物體的數(shù)據(jù)精確區(qū)分；而反射值數(shù)據(jù)同時受物 體材質、顏色等多種物體屬性影響，不受物體間距離的限制，可方便實現(xiàn)多類物體數(shù)據(jù)的劃 分。
[0007] 針對上述三維全景激光特性，設計出了三維全景激光與多個視覺系統(tǒng)的聯(lián)合標定 裝置，所選材料為黑卡紙，并裁剪統(tǒng)一的形狀和規(guī)格（如圖1所示）。經(jīng)過實驗驗證，選擇黑 卡紙可使照射到其表面的激光光束具有較低的反射率，為標定裝置設計統(tǒng)一的形狀，便于 后續(xù)特征點的提取，以保證標定算法的魯棒性和標定結果的準確性。為了獲得最好的標定 效果，標定黑紙的大小可以根據(jù)攝像頭的可視范圍、激光數(shù)據(jù)的疏密程度進行適當調整。
[0008] 2.標定所需激光數(shù)據(jù)特征點的提取
[0009] 標定中所需要提取的激光數(shù)據(jù)特征點是標定黑紙的中心點，首先需要提取投射在 標定黑紙上的三維激光點。標定黑紙數(shù)據(jù)的提取分為預檢測和去噪兩個環(huán)節(jié)，其中預檢測 環(huán)節(jié)利用黑卡紙的反射值特性，從二維反射值圖中查找標定黑紙上激光點的序號，并確定 激光點的三維坐標。去噪環(huán)節(jié)對獲取的三維激光數(shù)據(jù)進行分析處理，去除誤檢測的三維激 光數(shù)據(jù)，以保證標定精度。
[0010] 基于激光數(shù)據(jù)的標定黑紙預檢測步驟如下：
[0011] 1)生成二值化反射值圖。以總數(shù)據(jù)組數(shù)和每組數(shù)據(jù)的激光點數(shù)量作為X方向和y 方向的像素點個數(shù)生成二維圖片，使得一個激光點對應一個圖像像素。每個像素點的灰度 值根據(jù)激光點的反射值大小，利用公式（1)對圖片進行灰度處理獲得，進而得到三維激光 點云對應的二維反射值圖（如圖5(a)所示）。
[0012]
【主權項】
1. 一種360度全景激光與多個視覺系統(tǒng)間的聯(lián)合標定方法，其特征在于：采用簡單的 黑卡紙作為標定裝置，利用黑卡紙可使照射到其表面的激光光束具有較低的反射率特性， 從二維反射值圖中提取屬于黑卡紙的激光點，并取其中點作為特征點，分別在不同視覺系 統(tǒng)的圖像中匹配對應的特征點，迭代計算系統(tǒng)之間的變換關系，完成三維全景激光和多個 視覺系統(tǒng)的聯(lián)合標定；具體步驟如下： a) 首先裁剪出若干個矩形黑色卡紙，卡紙的長不小于30厘米，寬不小于10厘米，隨機 放置在室內環(huán)境中的不同平面上； b) 利用全景激光采集環(huán)境三維數(shù)據(jù)和反射值數(shù)據(jù)，用
對圖片進 行灰度處理，得到三維激光點云對應的二維反射值圖，其中屯和gi分別為激光點i的反射 值和灰度值，(1_和dmin是所有激光點的最大和最小反射值；選取標定黑紙所在的距三維全 景激光一定范圍內的激光數(shù)據(jù)，并對該數(shù)據(jù)對應的像素點進行二值化處理，使圖中只剩下 黑色和白色，黑紙區(qū)域更加清晰；采用鄰域搜索的方法，將二值化后黑色像素點進行聚類， 排除干擾； c) 用平整度評估方法區(qū)分標定物體和非標定干擾物體，設一個激光點 簇包含P= [Pi，P2,. . .，PN]共N個激光點，則激光點的坐標協(xié)方差矩陣為
，其中-為激光點中點；計算該協(xié)方差矩陣的三個特征值：P 入〇、人i、人2，當入2□人產人〇且比值小于給定閾值的時候
，其中kx為平整度評 估閾值，認為該激光點簇屬于標定物體； d) 定義及=[H1]為圖像特征點，/), =[\,^.,4，1]為三維激光點，激光點經(jīng)過 轉換后對應圖像中的像素點坐標向量為
標定的目的是計算一組變換參數(shù)_滿足 其中fx，fy m 分別為視覺傳感器X，y方向的焦距，（ux，uy)是感光元件中點相對于圖像中心的偏移 向量，都為已知量；A,r2,1~3分別為繞x，y，z三軸的旋轉角度，tx,tv,tz分別為三坐 標軸方向的平移量；給定k時刻的變換參數(shù)，令# = ，在#附 近有
其中Jacobian矩陣
，尋找 下一個迭代點
使得：
令
，得正規(guī)化方程
，從而得到
.利用該迭代格式求取變換參數(shù)，得到標定結果。
【專利摘要】本發(fā)明提供了一種360度全景激光與多個視覺系統(tǒng)的聯(lián)合標定方法，屬于移動機器人自主環(huán)境感知技術領域。本發(fā)明最大的創(chuàng)新點在于采用簡單的黑色卡紙作為標定設備，快速實現(xiàn)多個視覺系統(tǒng)與全景激光的同時標定。為此本發(fā)明基于黑卡紙可使照射到其表面的激光光束具有較低的反射率特性，經(jīng)過生成反射值圖、范圍濾波、二值化、點聚類處理，從采集的三維激光數(shù)據(jù)中提取出屬于標定裝置的特征點，并采用平面提取方法濾除環(huán)境中的噪聲物體，進而采用迭代優(yōu)化方法對基于激光數(shù)據(jù)的三維特征點和基于圖像數(shù)據(jù)的二維特征點進行求解，從而得到傳感器之間的旋轉矩陣和平移矩陣。本發(fā)明為多傳感器信息融合奠定基礎，可用在移動機器人場景重構等領域。
【IPC分類】G06T7-00
【公開號】CN104574406
【申請?zhí)枴緾N201510021270
【發(fā)明人】閆飛, 莊嚴, 金鑫彤, 王偉
【申請人】大連理工大學
【公開日】2015年4月29日
【申請日】2015年1月16日