本發(fā)明屬于一種改進的異源圖像配準算法，特別是一種基于線特征的點云數(shù)據與光學影像的自動配準融合方法。

背景技術：

LiDAR點云數(shù)據與光學影像的配準按照所使用的配準基元可以分為基于灰度的配準方法和基于特征的配準方法。其中特征配準又分為點特征、線特征以及面特征配準。點特征是基于特征的影像配準方法中最常用到的，但點特征配準有局限性，不能適應普遍的普遍應用。線特征是一類比點更高一級的地物特征，就特征的提取而言，提取有意義的線特征比提取有意義的點特征容易，而且，無論自然環(huán)境還是人工環(huán)境中都存在有豐富的線狀地物,如道路、河流的邊緣、目標的輪廓線等。

然而傳統(tǒng)的線特征配準算法存在著明顯的缺陷。從輪廓點中提取直線段，利用直線段的斜率和邊緣輪廓的分布來確定變換參數(shù)的方法在基于直線特征配準方面是一個重大的突破，為基于直線特征的配準方法奠定了基礎。但是對于建筑物分布比較集中，形狀較為相似的城市三維重建，當出現(xiàn)多條位置、斜率相似的直線段，會造成匹配誤差。另外的一種3CS的線特征檢測方法，運用建筑物、房屋等邊緣所構成的三條直線及相關角度求取相似性測度，最后采用兩步RANSAC法對配準結果進行校正。這一方法比較完整全面的運用了線特征，但復雜度較高，運算時間長，且對于航拍遙感影像上提取到的均為相似規(guī)則邊緣的建筑物來說，匹配特征減少，誤匹配率會變高。以上算法普遍需要依賴GPS/INS等初始位置先驗，對于三維之間的配準，算法復雜度很高，而且依賴于三維重構的精度。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種改進的異源圖像配準算法，特別是一種基于線特征的點云數(shù)據與光學影像的自動配準融合方法。

實現(xiàn)本發(fā)明目的的技術解決方案為：

一種基于線特征的點云數(shù)據與光學影像的自動配準融合方法，包括以下步驟：

步驟1，對點云數(shù)據進行濾波處理；

步驟2，分別采用自適應支撐權重稠密立體算法和Delaunay三角剖分算法確定光學 影像和點云數(shù)據的深度圖；

步驟3，通過Hough算法提取深度圖的線特征，以線特征兩線夾角與線長比率作為相似性測度進行粗匹配；

步驟4，通過兩步RANSAC算法剔除錯誤匹配點對，得到相機位置參數(shù)估計；

步驟5，進行點云數(shù)據和光學影像的顏色紋理映射，得到融合后的三維圖像。

本發(fā)明與現(xiàn)有技術相比，其顯著優(yōu)點：

(1)本發(fā)明的基于點特征的點云數(shù)據與光學影像的自動配準融合方法無需GPS/INS等先驗知識，自動化程度高，魯棒性好；

(2)本發(fā)明在可見光深度圖基礎上進行，提高了圖像的配準精度；

(3)本發(fā)明采用改進的線特征配準，在保證配準精度的前提下縮減了計算量，具有較高的配準正確率。

附圖說明

圖1是本發(fā)明的基于線特征的點云數(shù)據與光學影像的自動配準融合方法流程圖。

圖2(a)是本發(fā)明實施例的點云數(shù)據，圖2(b)是可見光圖像，圖2(c)是融合后的三維圖像。

具體實施方式

結合圖1，本發(fā)明的基于點特征的點云數(shù)據與光學影像的自動配準融合方法，包括以下步驟：

步驟1、采用數(shù)學形態(tài)學濾波方法對點云數(shù)據進行濾波處理：

形態(tài)學濾波作為一種自下而上的基于局部高差突變思想的濾波器，目的去剔除噪聲點、冗余信息以及高程粗差；腐蝕和膨脹運算是形態(tài)學圖像處理的基礎，用于“減少”(腐蝕)或“增大”(膨脹)圖像中特征形狀的尺寸；基于灰度圖像的腐蝕和膨脹運算是在結構元素定義的鄰域內選擇圖像像素值相作用后的最小或最大像素值；

設LiDAR點云數(shù)據觀測值序列為p(x，y，z)，則在x和y處對高度z的膨脹操作定義為：

式中，(x_p，y_p，z_p)代表p點的鄰域窗口w內的點，w又稱為結構元素尺寸；鄰域窗口可以是一維的直線，也可以使二維的矩形或其他形狀；膨脹運算的結果是鄰域窗口中的 最大高程值；

腐蝕作為膨脹的對偶算子，定義為：

將膨脹和腐蝕進行組合，得到可直接用于LiDAR濾波的開運算和閉運算，開運算時對數(shù)據線進行腐蝕，再進行膨脹，而閉運算正好相反。

采用線性結構元素對LiDAR點云數(shù)據的某一縱剖面進行開運算濾波后，若樹木目標尺寸小于結構單元，則經過腐蝕運算后可得以去除，大型建筑物則在膨脹運算中得到重建。

步驟2、分別采用自適應支撐權重稠密立體算法和Delaunay三角剖分算法確定光學影像和點云數(shù)據的深度圖，具體為：

對于點云數(shù)據，經過形態(tài)學濾波后的三維點云離散數(shù)據P′，首先通過Delaunay三角化算法構造LiDAR點云數(shù)據的網格化，繼而根據高度值z進行灰度級的顏色映射將網格化的LiDAR數(shù)據轉換成深度圖；

對于光學影像I，為了得到其深度圖，我們選用基于顏色內相關和自適應支撐權重的稠密立體匹配求取光學影像I與其相鄰影像I′(具有重疊區(qū)域)最優(yōu)的立體匹配方法。該方法結合了顏色相似性，歐式距離相似性和顏色內相關相似性來確定匹配窗口內像素點的權重大??；同時為了消除光照不同對圖像匹配結果的影響，將匹配點先進行rank變換后再進行匹配代價關系計算。最后，對計算出的初始視差圖進行三步優(yōu)化，剔除由圖像遮擋、重復等引起的不同視差錯誤，從而得到最終的視差結果。具體為：

步驟2-1、對于圖像I，其RGB三通道顏色向量為I_R(x，y)、I_G(x，y)、I_B(x，y)，其中x，y表示圖像像素點行列方向上的坐標值，顏色內相關rin向量表示為：

rin＝[rce₁，rce₂，rce₃]

式中rce定義為：

rce₁＝I_R(x，y)-I_G(x，y)

rce₂＝I_G(x，y)-I_B(x，y)

rce₃＝I_R(x，y)-I_R(x，y)

待匹配像素點p和q之間的支撐權重表示為：

w(p，q)＝f(Δc_pq，Δd_pq，Δr_pq)

＝f(Δc_pq)·f(Δd_pq)·f(Δr_pq)

其中，Δc_pq，Δd_pq和Δr_pq分別表示待匹配像素點p和q之間的顏色差異、歐式距離差異和顏色內相關差異，f(·)表示差異強度，其分別表示為：

式中，τ_c，τ_d，τ_r分別為固定常數(shù)，本實施方式中取τ_c＝5，τ_d＝17.5，τ_r＝5。

所以，待匹配像素點p和q之間的支撐權重表示為：

為了消除兩幅圖像因光照不同而產生相應的匹配錯誤，將匹配的點先進行rank變換，然后再進行匹配代價計算，具體的rank變換表達式如下：

其中I_p為當前匹配像素點的灰度值，I_q為窗口內像素點的灰度值，τ₁，τ₂為rank變換分類條件，實際中為固定常數(shù)，本實施方式中取τ₁＝9，τ₂＝2。

光學影像左視圖I和光學影像右視圖I′匹配點p和匹配窗口內的對應點為q和其匹配代價值為表示為：

式中，N表示匹配窗口大小，d_max為匹配像素點的最大視差值，表示左右圖像在q和處的匹配值：

步驟2-2、根據勝者為王(WTA)算法，在左右圖像進行搜索匹配時，采用極線約束，最終p點的視差為：

步驟2-3、對初始視差進行左右一致性檢查和中值濾波，由視差圖結合對極幾何估計得到光學影像的深度圖D_I。

步驟3、通過Hough算法提取深度圖的線特征，以線特征兩線夾角與線長比率作為相似性測度進行粗匹配，具體步驟如下：

步驟3-1、采用Canny算子進行邊緣檢測，在生成的邊緣圖像上采用Hough變換提取直線：

(1)獲取直線特征，調整Hough變換參數(shù)，獲得直線特征；

(2)將相鄰線段AB、CD首尾端點距離小于第一閾值Th₁的線段連接成為同一條直線AD，將直線延長線在第二閾值Th₂像素內相交的線段l₁、l₂連接相交；

(3)將提取到的線段進行線長比較，若線長d小于第三閾值Th₃，則此線段被忽略；

步驟3-2、在點云數(shù)據深度圖與可見光圖像深度圖提取到的線特征中，用兩線夾角與線長比率作為相似性測度；具體為：

首先對線長比率r進行比較，若經比較左視圖待匹配線特征線長比率r₁與右視圖待匹配線特征線長比率r₂的差值d_r在第四閾值T_r范圍內，則預存進行下一步的角度比較，若經比較左視圖待匹配線特征夾角α₁與右視圖待匹配線特征夾角α₂的差值d_α在第五閾值T_α范圍內，則為一對匹配的線特征；

如果與線特征F₁匹配的特征有多個，則對線特征F₁鄰域的線特征和與其匹配的線特征附近的線特征進行兩線夾角與線長比率比較，得出最優(yōu)匹配的線特征，最終得到不少于3個的最佳匹配線對，選取每對線對的端點求取相似變換參數(shù)，實現(xiàn)圖像的粗配準。

步驟4、通過兩步RANSAC算法剔除錯誤匹配點對，得到相機位置參數(shù)估計，具體步驟如下：

步驟4-1、根據空間鄰近度，假定的匹配特征對被分成不同的組，即一幅圖像被分割成不同的窗口，窗口大小設置為4s*4s像素，s為正整數(shù)；窗口從圖像的左上角從左至右從上到下開始滑動，滑動單位為s，從而進行下一步分割，以使每個組里的匹配特征對數(shù)量在一個合適的閾值范圍內每個組內的匹配點對可能會有交叉；

步驟4-2、對每個組的匹配特征對進行一步RANSAC算法計算，剔除局外點：在迭代過程中，兩個匹配特征對被同時采樣計算對應的單應矩陣，其他的匹配特征對如果符合這個矩陣則被認為是局內點，否則為局外點，選為局內點的匹配特征對為基本匹配特征；

步驟4-3、一個面向全局的一步RANSAC算法再次對不同組內的基本匹配特征進行計算；每兩個組的基本匹配特征被采樣計算對應的單應矩陣，其他的基本匹配特征如果符合這個矩陣則被認為是局內點，否則為局外點，每個迭代的分數(shù)用下面的公式計算。假設有j組內點，第k組的內點個數(shù)為n_k，每次迭代計算的得分為：

表示第k組的權重，當內點集中于少數(shù)幾組時，權重較大；當內點分布于所有組時，權重將會下降；i＝1～j，表示組數(shù)；

步驟4-4、保留所有被步驟4-3計算后稱為局內點的匹配特征對，被稱為局外點的匹配特征對則重新采用分數(shù)最高的單應矩陣進行再次計算，以保留更多的特征對；遍歷結束后，所有的局內點即為我們需要的匹配特征對。

由于在特征點匹配中，映射模型即為從一個平面上的特征點到另外一平面上的特征點的射影關系，反應為射影矩陣；在經過兩步RANSAC消除了錯誤的匹配點，即局外點之后，局內點即被用來計算映射矩陣。

步驟5、基于以上兩步RANSAC算法，我們將會剔除錯誤的匹配點對，得到高精度的相位位置參數(shù)估計，進行點云數(shù)據與光學影像之間的重投影，完成點云數(shù)據與光學影像的顏色紋理映射，得到融合后的三維圖像。

下面結合具體實施例對本發(fā)明作進一步說明。

實施例

本實施例采用機載LiDAR點云數(shù)據和光學影像，主要覆蓋了部分中心地區(qū)，包含主要建筑物、低矮的叢林等，選取了部分機載LiDAR點云數(shù)據與光學影像具有重疊區(qū)域的數(shù)據，采用改進的線特征配準算法進行處理。

圖2(a)是點云數(shù)據，圖2(b)是可見光圖像，圖2(c)是融合后的三維圖像，根據融合后的圖像可以看出，圖像實現(xiàn)了對城市的三維重建，使點云圖像擁有了可見光圖像的色彩信息。

本發(fā)明基于線特征的點云數(shù)據與光學影像的自動配準融合方法，在無需GPS/INS等先驗知識的情況下，算法自動化程度高，魯棒性好，計算量小，同時具有較高的配準正確率。