基于深度學習的點云配準方法
【專利摘要】本發(fā)明涉及一種基于深度學習的點云配準方法，鑒于傳統(tǒng)的點云配準算法計算復雜度高，不適于在計算資源有限的設(shè)備上運行，提出一種基于深度學習的點云配準方法。配準過程為：將點云轉(zhuǎn)換成深度圖像表示；使用堆疊卷積自動編碼器網(wǎng)絡(luò)提取深度圖像的特征；利用提取到的深度圖像特征通過配準網(wǎng)絡(luò)計算點云的旋轉(zhuǎn)參數(shù)；其中的自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)需要在配準之前進行訓練以得到網(wǎng)絡(luò)參數(shù)，得到參數(shù)后不需要在使用時進行訓練。本發(fā)明實現(xiàn)了點云的優(yōu)化配準，并具備配準效率高的特點，可應用于三維模型掃描、三維重建和物體跟蹤等領(lǐng)域。
【專利說明】基于深度學習的點云配準方法
[0001 ]方法領(lǐng)域
[0002] 本發(fā)明屬于計算機視覺領(lǐng)域，涉及一種基于深度學習的點云配準方法，可應用于 三維模型掃描、三維重建和物體跟蹤等領(lǐng)域。
[0003] 背景方法
[0004] 點云配準方法用于解決對一個或多個三維物體在不同視角下的三維模型之間的 位姿關(guān)系的估計問題。其廣泛應用于三維模型掃描、三維重建和物體跟蹤等領(lǐng)域。點云配準 的過程一般可描述為估計兩片點云之間的旋轉(zhuǎn)和平移參數(shù)。
[0005] 在過去幾十年中，大量點云配準算法被提出，其中Besl等人提出的迭代最近點 (Iterative Closest Point，ICP)算法最富代表性。ICP是一種基于自由形態(tài)曲面的配準算 法，它具有簡單易行的優(yōu)點，但ICP算法的效率不高，計算的復雜度隨著點云的規(guī)模增大而 顯著提高，且ICP算法對噪聲點或異常點敏感，噪聲點或異常點容易導致該算法失效。
[0006] 為解決ICP算法的問題，人們在此基礎(chǔ)上做出了許多改進。有學者提出了一種迭代 最近線方法（Iterative Closest Line，ICL)，通過直接對兩片點云中的點連線并查找對應 線段進行配準，但是線段之間的對應關(guān)系可能存在缺陷。另有學者提出通過GPU等硬件進行 算法的加速，但此方法未解決原點云配準算法的缺陷，不能滿足在實際應用場景下的需求。 因此需要一種有效的點云配準算法，能夠計算兩片點云之間的相對位姿關(guān)系并滿足：（1)算 法的適應性強，對噪聲點和異常點不敏感；（2)算法的計算速度快，盡可能滿足實時配準三 維點云模型的要求。

【發(fā)明內(nèi)容】

[0007] 為克服現(xiàn)有點云配準算法存在的不足，本發(fā)明提出一種基于深度學習的點云配準 方法，通過堆疊卷積自動編碼器網(wǎng)絡(luò)提取點云的特征，并利用配準網(wǎng)絡(luò)從提取到的特征中 計算出點云配準的參數(shù)，旨在提高點云配準算法的計算速度和適應性。
[0008] 為此目的，本發(fā)明提出了一種基于深度學習的點云配準方法，包括以下步驟：
[0009] 第一步:獲取訓練點云和測試點云的深度圖像。對于一片有限大小的點云，計算點 云在觀測方向上的深度圖像；
[0010] 第二步：訓練堆疊卷積自動編碼器網(wǎng)絡(luò)，使之能夠從訓練點云的深度圖像中提取 深度圖像的特征；
[0011] 第三步：訓練配準網(wǎng)絡(luò)，使之能夠利用堆疊卷積自動編碼器網(wǎng)絡(luò)提取的兩片訓練 點云的深度圖像的特征計算兩片訓練點云之間的配準參數(shù)；
[0012] 第四步：精調(diào)堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之得到更好的 配準效果；
[0013] 第五步：利用訓練好的堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)，計算兩片測試點云 之間的配準參數(shù)。
[0014] 優(yōu)選的，所述的堆疊卷積自動編碼器網(wǎng)絡(luò)是一種深度學習的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它由 卷積自動編碼器堆疊而成，即將上一層卷積自動編碼器的隱含層作為下一層卷積自動編碼 器的輸入。卷積自動編碼器，是一種采用卷積核的自動編碼器，利用不同的卷積核進行卷積 操作提取深度圖像的不同特征。本發(fā)明在實現(xiàn)堆疊卷積自動編碼器網(wǎng)絡(luò)的過程中對隱層編 碼施加稀疏限制，使得其對輸入的編碼更具表現(xiàn)力。
[0015] 優(yōu)選的，所述的配準網(wǎng)絡(luò)是多層全連接的神經(jīng)網(wǎng)絡(luò)。配準網(wǎng)絡(luò)的輸入是堆疊卷積 自動編碼器網(wǎng)絡(luò)提取的兩片點云的深度圖像的特征，輸出是兩片點云之間的配準參數(shù)。
[0016] 優(yōu)選的，所述的訓練是指優(yōu)化堆疊卷積自動編碼器網(wǎng)絡(luò)或配準網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)， 使之能夠完成相應的任務。
[0017] 優(yōu)選的，所述的精調(diào)是指同時優(yōu)化堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)的網(wǎng)絡(luò)參 數(shù)，使之得到更好的配準效果。
[0018] 優(yōu)選的，所述的配準參數(shù)是指對點云進行配準所用到的參數(shù)。包括但不限于在空 間某方向上的旋轉(zhuǎn)角度和在空間某方向上的平移距離。
[0019]優(yōu)選的，利用堆疊卷積自動編碼器網(wǎng)絡(luò)提取點云的特征，并利用配準網(wǎng)絡(luò)從提取 到的特征中計算出點云配準的參數(shù)。
[0020] 有益效果：與現(xiàn)有方法相比，本方法利用深度學習方法提取點云的特征并利用提 取到的特征進行點云的配準，其優(yōu)點在于算法的適應性強，對噪聲點和異常點不敏感，算法 的實現(xiàn)較為簡單，且算法的計算速度快，能盡可能滿足實時配準三維點云模型的要求。
【附圖說明】
[0021] 通過參考附圖會更加清楚的理解本發(fā)明的特征和優(yōu)點，附圖是示意性的而不應理 解為對本發(fā)明進行任何限制，在附圖中：
[0022] 圖1為本發(fā)明實施例提供的基于深度學習的點云配準方法的流程示意圖；
[0023] 圖2為本發(fā)明實施例提供的配準網(wǎng)絡(luò)結(jié)構(gòu)示意圖。
【具體實施方式】
[0024]下面將結(jié)合附圖對本發(fā)明的實施例進行詳細描述。
[0025]如圖1所示，本發(fā)明實施例提供了一種基于深度學習的點云配準方法，包括以下步 驟：
[0026]第一步:對于一片有限大小的點云，計算點云在觀測方向上的深度圖像，其中深度 圖像上點的灰度表示該點距觀測點的距離，灰度越深表示距觀測點越遠，灰度越淺表示距 觀測點越近。具體的距離與灰度的映射公式可以依據(jù)實驗條件具體確定。
[0027]第二步：訓練堆疊卷積自動編碼器提取深度圖像的特征。堆疊卷積自動編碼器是 一種深度學習的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。它由卷積自動編碼器堆疊而成。卷積自動編碼器利用不同 的卷積核提取深度圖像的不同特征。在卷積自動編碼器中二維隱層h中第i，j個元素為：
(1)
[0029] 其中X為二維輸入矩陣，Lw為深度圖像的長寬。
[0030] 對于自動編碼器，訓練的目標是獲得最小化誤差函數(shù)的參數(shù)tbi，b2:
[0032] 其中f為激活函數(shù)，通常選擇Sigmoid函數(shù)，即：
(3)
[0034]本發(fā)明在實現(xiàn)過程中對隱層編碼施加稀疏限制，使得其對輸入的編碼更具表現(xiàn) 力，即訓練目標為：
[0036] 其中KL為Kullback-Leibler散度，其定義為：
[0038]其中為隱層節(jié)點的平均值，BP:
[0040] Ρ為一個充分小的數(shù)。
[0041 ]本發(fā)明對自動編碼器進行堆疊，即使用上一層自動編碼器的隱層作為下一層自動 編碼器的輸入，通過多層自動編碼器更好地提取深度圖像的特征。
[0042] 第三步：如圖2所示，訓練配準網(wǎng)絡(luò)利用堆疊卷積自動編碼器得到的兩片點云的特 征來計算點云的旋轉(zhuǎn)參數(shù)。其中用到的配準網(wǎng)絡(luò)，是多層全連接的網(wǎng)絡(luò)：
[0043] {α，β，γ } =MLPe(xi，X2) (7)
[0044] 網(wǎng)絡(luò)以兩片點云提取到的特征作為輸入，輸出三個方向的旋轉(zhuǎn)角度。實際應用中， 可另其不僅輸出三個方向的旋轉(zhuǎn)角度，同時輸出三個方向的相對位移。
[0045] 通過配準網(wǎng)絡(luò)的輸出與真實配準參數(shù)計算均方誤差，得到配準網(wǎng)絡(luò)的訓練信號， 以此訓練配準網(wǎng)絡(luò)的參數(shù)Θ。
[0046] 第四步:精調(diào)堆疊卷積自動編碼器和配準網(wǎng)絡(luò)的參數(shù)，使之得到更好的配準效果。 利用配準的誤差信號，同時優(yōu)化堆疊卷積自動編碼器和配準網(wǎng)絡(luò)的參數(shù)，使之能更好的配 合，減小配準的誤差。
[0047] 第五步：利用訓練好的堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)，計算兩片點云之間 的配準參數(shù)。先通過堆疊卷積自動編碼器網(wǎng)絡(luò)計算兩片點云的深度圖像的特征，再通過配 準網(wǎng)絡(luò)得到兩片點云的配準參數(shù)。在此過程中不對網(wǎng)絡(luò)的參數(shù)進行優(yōu)化調(diào)整。
[0048] 雖然結(jié)合附圖描述了本發(fā)明的實施方式，但是本領(lǐng)域技術(shù)人員可以在不脫離本發(fā) 明的精神和范圍的情況下做出各種修改和變型，這樣的修改和變型均落入由所附權(quán)利要求 所限定的范圍之內(nèi)。
【主權(quán)項】
1. 一種基于深度學習的點云配準方法，其特征在于，包括以下步驟： 第一步：獲取訓練點云和測試點云的深度圖像;對于一片有限大小的點云，計算點云在 觀測方向上的深度圖像； 第二步：訓練堆疊卷積自動編碼器網(wǎng)絡(luò)，使之能夠從訓練點云的深度圖像中提取深度 圖像的特征； 第三步：訓練配準網(wǎng)絡(luò)，使之能夠利用堆疊卷積自動編碼器網(wǎng)絡(luò)提取的兩片訓練點云 的深度圖像的特征計算兩片訓練點云之間的配準參數(shù)； 第四步：精調(diào)堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之得到更好的配準 效果； 第五步：利用訓練好的堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)，計算兩片測試點云之間 的配準參數(shù)。2. 根據(jù)權(quán)利要求1所述的基于深度學習的點云配準方法，其特征在于，所述的堆疊卷積 自動編碼器網(wǎng)絡(luò)是一種深度學習的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；它由卷積自動編碼器堆疊而成，即將上 一層卷積自動編碼器的隱含層作為下一層卷積自動編碼器的輸入;卷積自動編碼器，是一 種采用卷積核的自動編碼器，利用不同的卷積核進行卷積操作提取深度圖像的不同特征； 本發(fā)明在實現(xiàn)堆疊卷積自動編碼器網(wǎng)絡(luò)的過程中對隱層編碼施加稀疏限制，使得其對輸入 的編碼更具表現(xiàn)力。3. 根據(jù)權(quán)利要求1所述的基于深度學習的點云配準方法，其特征在于，所述的配準網(wǎng)絡(luò) 是多層全連接的神經(jīng)網(wǎng)絡(luò);配準網(wǎng)絡(luò)的輸入是堆疊卷積自動編碼器網(wǎng)絡(luò)提取的兩片點云的 深度圖像的特征，輸出是兩片點云之間的配準參數(shù)。4. 根據(jù)權(quán)利要求1所述的基于深度學習的點云配準方法，其特征在于，所述的訓練是指 優(yōu)化堆疊卷積自動編碼器網(wǎng)絡(luò)或配準網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之能夠從訓練點云的深度圖像中 提取深度圖像的特征或計算兩片訓練點云之間的配準參數(shù)。5. 根據(jù)權(quán)利要求1所述的基于深度學習的點云配準方法，其特征在于，所述的精調(diào)是指 同時優(yōu)化堆疊卷積自動編碼器網(wǎng)絡(luò)和配準網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，使之得到更好的配準效果。6. 根據(jù)權(quán)利要求1所述的基于深度學習的點云配準方法，其特征在于，所述的配準參數(shù) 是指對點云進行配準所用到的參數(shù);包括但不限于在空間某方向上的旋轉(zhuǎn)角度和在空間某 方向上的平移距離。7. 根據(jù)權(quán)利要求1所述的基于深度學習的點云配準方法，其特征在于，利用堆疊卷積自 動編碼器網(wǎng)絡(luò)提取點云的特征，并利用配準網(wǎng)絡(luò)從提取到的特征中計算出點云配準的參 數(shù)。
【文檔編號】G06T7/00GK106097334SQ201610404412
【公開日】2016年11月9日
【申請日】2016年6月8日
【發(fā)明人】舒程珣, 何云濤
【申請人】北京航空航天大學