本發(fā)明涉及遙感技術領域，尤其涉及一種基于主被動三維成像系統(tǒng)的三維影像生成方法。

背景技術：

激光雷達技術是近年來飛速發(fā)展的一項快速獲取地表三維信息的遙感技術，然而激光點云數(shù)據(jù)是離散的，且采用單色主動探測方式，其灰度值不能很好的反映地物的真實紋理信息。鑒于此，基于激光雷達數(shù)據(jù)與影像數(shù)據(jù)融合的相關研究與應用得到了廣泛關注。但是由于激光雷達點云與光學影像所反映的地物屬性特征完全不同，目前的配準算法在性能、普適性等方面還存在諸多問題，具體表現(xiàn)在多數(shù)方法適用于城市中具有較多規(guī)則形狀目標的區(qū)域，同名特征的提取自動化程度不高，同名特征提取、離散激光點的空間搜索等過程制約激光點云與影像配準速度等方面。

在此情況下，一種集成了激光雷達系統(tǒng)與相機的主被動三維成像系統(tǒng)應運而生。該系統(tǒng)包含線陣激光雷達系統(tǒng)與線陣相機兩類傳感器，采用線陣推掃的方式對目標掃描成像。通過時間同步控制單元，使得激光雷達系統(tǒng)發(fā)射時刻與相機采樣時刻保持固定倍頻關系，保證在飛行方向上激光掃描行與相機掃描行的固定對應關系；通過實驗室光軸對準，使得激光探元與相機探測器像元一一對應，保證在垂直于飛行方向上激光點與影像像點之間的對應關系。從系統(tǒng)設計的角度即保證了激光雷達點與影像像點的準確對應，從而減少在數(shù)據(jù)匹配融合中的計算量，使激光點云與影像的自動實時匹配成為可能。

目前對于機載影像和激光點云數(shù)據(jù)生成三維影像主要利用面陣影像數(shù)據(jù)，一般方法是將影像和激光點云數(shù)據(jù)分別處理生成正射影像以及dem，再進行套合。首先通過時間同步分別獲得影像與激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)；之后將激光測距數(shù)據(jù)處理生成激光點云數(shù)據(jù)，進而生成dem數(shù)據(jù)；同時對影像數(shù)據(jù)進行幾何糾正，得到正射影像。在影像幾何糾正的過程中，可以利用激光雷達點云生成的dem，也可以利用影像前方交會生成的dem。最后將dem數(shù)據(jù)與正射影像數(shù)據(jù)進行疊加，得到三維影像。該方法步驟繁多，尤其是對于面陣影像的處理，難以滿足應急任務中實時處理要求。對于機載線陣影像和激光 點云數(shù)據(jù)生成三維影像的方法，目前尚未見報道，但也可沿用上述處理思路。因此有必要探索一種高效、適應度廣的三維影像實時生成方法。

技術實現(xiàn)要素：

(一)要解決的技術問題

為了解決現(xiàn)有技術問題，本發(fā)明提供了一種基于主被動三維成像系統(tǒng)的三維影像生成方法。

(二)技術方案

本發(fā)明提供了一種基于主被動三維成像系統(tǒng)的三維影像生成方法，包括：步驟a：利用pos系統(tǒng)獲取平臺的位置姿態(tài)數(shù)據(jù)，利用主被動三維成像系統(tǒng)獲取激光測距數(shù)據(jù)以及影像數(shù)據(jù)；步驟b：基于所述平臺的位置姿態(tài)數(shù)據(jù)得到影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)和激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)；步驟c：基于所述激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)和所述激光測距數(shù)據(jù)，利用激光雷達三維點云計算模型，得到激光雷達點云數(shù)據(jù)；步驟d：所述激光雷達點云數(shù)據(jù)與所述影像數(shù)據(jù)在像方匹配，并計算得到第一類影像像點的大地坐標和第二類影像像點的高程值，其中，所述第一類影像像點為所述激光雷達點云數(shù)據(jù)中的有效激光點對應的影像像點，所述第二類影像像點為所述影像數(shù)據(jù)中其余的沒有有效激光點對應的影像像點；以及步驟e：基于所述第二類影像像點的高程值和圖像坐標、所述影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)和內方位元素得到第二類影像像點大地坐標，并基于所述第一類影像像點和第二類影像像點生成三維影像。

優(yōu)選地，所述步驟a具體包括：子步驟a1：利用所述pos系統(tǒng)獲取平臺的位置姿態(tài)數(shù)據(jù)，其中所述pos系統(tǒng)的gps獲取位置數(shù)據(jù)，imu獲取姿態(tài)數(shù)據(jù)；在子步驟a1的同時還包括子步驟a2和a3：子步驟a2：利用所述主被動三維成像系統(tǒng)中的激光雷達獲取所述激光測距數(shù)據(jù)，其中，所述激光雷達一掃描時刻的反射點與所述激光雷達的斜距作為所述掃描時刻的激光測距數(shù)據(jù)，所有掃描時刻的激光測距數(shù)據(jù)作為激光測距數(shù)據(jù)；以及子步驟a3：利用所述主被動三維成像系統(tǒng)中的影像傳感器獲得影像數(shù)據(jù)，其中，所述影像傳感器以倍頻于激光雷達掃描頻率的頻率沿平臺飛行方向推掃，所述影像傳感器的一個掃描時刻對應一行影像，所有掃描時刻的影像行形成影像數(shù)據(jù)。

優(yōu)選地，所述步驟c具體包括：子步驟c1：基于激光雷達的一掃描時刻的位置姿態(tài)數(shù)據(jù)、所述掃描時刻的一反射點與激光雷達的斜距，利用激光雷達三 維點云計算模型，得到所述反射點對應的激光點的三維大地坐標；子步驟c2：根據(jù)所述激光點與其鄰近激光點的關系判斷所述激光點是否是粗差點，若是，則將所述激光點的三維大地坐標設為默認值，否則所述激光點為有效激光點并保留所述有效激光點的三維大地坐標值；子步驟c3：對所述掃描時刻的所有反射點執(zhí)行子步驟c1、c2，得到所述掃描時刻所有激光點的三維大地坐標，作為激光雷達點云數(shù)據(jù)的一行；子步驟c4：將所有掃描時刻的激光雷達點云數(shù)據(jù)行作為激光雷達點云數(shù)據(jù)；以及子步驟c5：將計算得到的激光雷達點云數(shù)據(jù)保存為規(guī)則格網(wǎng)格式，激光雷達點云數(shù)據(jù)的每一行對應激光雷達的一個掃描時刻。

優(yōu)選地，所述步驟d具體包括：子步驟d1：基于激光雷達掃描時刻和影像傳感器掃描時刻，搜索激光點云數(shù)據(jù)行對應的影像行，根據(jù)激光雷達探元與影像傳感器像元的對應關系表，匹配得到激光雷達點云數(shù)據(jù)激光點對應的影像像點的圖像坐標；子步驟d2：提取激光雷達點云數(shù)據(jù)中的有效激光點，所述有效激光點的三維大地坐標作為所述有效激光點對應的影像像點的大地坐標，得到第一類影像像點的大地坐標；子步驟d3：對與激光雷達點云數(shù)據(jù)行相對應的影像行進行高程內插處理；以及子步驟d4：對影像列進行高程內插處理，得到第二類影像像點的高程值。

優(yōu)選地，所述步驟e具體包括：子步驟e1：基于一第二類影像像點的高程值和圖像坐標、影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)和內方位元素，采用正解法，利用共線條件方程得到所述第二類影像像點的大地坐標；以及子步驟e2：對所有第二類影像像點執(zhí)行子步驟e1得到其大地坐標，并對所有坐標點的對應影像像點賦色，得到三維影像。

優(yōu)選地，所述子步驟d3具體包括：基于激光點與影像像點對應關系，對于第二類影像像點，搜索與影像像點位于同一行的相鄰激光點，若所述相鄰激光點的大地坐標為默認值，則繼續(xù)搜索，直至搜索到相鄰的有效激光點，基于所述相鄰的有效激光點的高程值對影像像點的高程值進行內插。

優(yōu)選地，所述子步驟d4具體包括：對第二類影像像點，搜索與其位于同一列的、相鄰的第一類影像像點，依據(jù)所述相鄰的第一類影像像點的高程值對第二類影像像點的高程值進行內插。

優(yōu)選地，所述影像數(shù)據(jù)是灰度影像、彩色影像、多光譜影像或高光譜影像，對應地，對所有坐標點的對應影像像點賦予灰度值、rgb值或各譜段dn值。

優(yōu)選地，采用最近鄰內插、線性內插或樣條內插分別實現(xiàn)所述子步驟d3 和子步驟d4中的內插運算；或者，采用最近鄰內插、雙線性插值、雙三次卷積法同時實現(xiàn)子步驟d3和子步驟d4中的內插運算。

優(yōu)選地，在所述步驟e中采用反解法得到三維影像。

(三)有益效果

從上述技術方案可以看出，本發(fā)明的基于主被動三維成像系統(tǒng)的三維影像生成方法具有以下有益效果：

(1)本發(fā)明基于主被動三維成像系統(tǒng)這一類新型載荷，將激光雷達點云數(shù)據(jù)與影像數(shù)據(jù)在像方匹配，匹配效率高、自動化程度高；

(2)本發(fā)明的方法實時性好，在處理速度上相比其它三維影像生成方法有極大的優(yōu)勢，適用于機載、星載等各種平臺，對大區(qū)域城區(qū)/山區(qū)三維建模具有良好效果。

附圖說明

圖1為本發(fā)明實施例的基于主被動三維成像系統(tǒng)的三維影像生成方法流程圖。

具體實施方式

為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚明白，以下結合具體實施例，并參照附圖，對本發(fā)明進一步詳細說明。需要說明的是，在附圖或說明書描述中，相似或相同的部分都使用相同的圖號。附圖中未繪示或描述的實現(xiàn)方式，為所屬技術領域中普通技術人員所知的形式。另外，雖然本文可提供包含特定值的參數(shù)的示范，但應了解，參數(shù)無需確切等于相應的值，而是可在可接受的誤差容限或設計約束內近似于相應的值。實施例中提到的方向用語，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向。因此，使用的方向用語是用來說明并非用來限制本發(fā)明的保護范圍。

本發(fā)明提供了一種基于主被動三維成像系統(tǒng)的三維影像實時生成方法，該方法基于主被動三維成像系統(tǒng)這一類新型載荷，將激光點云與影像數(shù)據(jù)在像方匹配，得到同時具備目標空間、紋理信息的三維影像，是一種匹配效率高、處理速度快，實時性好，自動化程度高的三維影像生成方法。

本發(fā)明實施例的基于主被動三維成像系統(tǒng)的三維影像生成方法，適用于機載、星載等各種飛行平臺，主被動三維成像系統(tǒng)一體化集成了激光雷達和影像傳感器，二者均采用線陣傳感器并共用一個光學鏡頭，分別作為主動和被動成像系統(tǒng)，二者的線陣傳感器與平臺飛行方向垂直并沿平臺飛行方向逐行掃描成 像，主被動三維成像系統(tǒng)與pos系統(tǒng)固聯(lián)，具有固定的幾何關系，pos系統(tǒng)中的gps和imu分別提供平臺的位置數(shù)據(jù)和姿態(tài)數(shù)據(jù)。

參見圖1，其具體包括：

步驟a：利用pos系統(tǒng)獲取平臺的位置姿態(tài)數(shù)據(jù)，利用主被動三維成像系統(tǒng)獲取激光測距數(shù)據(jù)以及影像數(shù)據(jù)。

步驟a具體包括：

子步驟a1：利用pos系統(tǒng)獲取平臺的位置姿態(tài)數(shù)據(jù)，其中pos系統(tǒng)的gps獲取位置數(shù)據(jù)，imu獲取姿態(tài)數(shù)據(jù)。

在子步驟a1的同時還包括子步驟a2和a3：

子步驟a2：利用主被動三維成像系統(tǒng)中的激光雷達獲取激光測距數(shù)據(jù)。

子步驟a2具體包括：激光雷達沿平臺飛行方向推掃，在一掃描時刻發(fā)射多束激光，每束激光經(jīng)地面的一個反射點(激光腳點)反射后形成反射光束，每個反射光束由激光雷達線陣傳感器中對應的探測單元接收，得到該反射點與激光雷達的斜距，該掃描時刻全部反射點與激光雷達的斜距作為該掃描時刻的激光測距數(shù)據(jù)，所有掃描時刻的激光測距數(shù)據(jù)作為激光測距數(shù)據(jù)。

子步驟a3：利用主被動三維成像系統(tǒng)中的影像傳感器獲得影像數(shù)據(jù)。

子步驟a3具體包括：影像傳感器以倍頻于激光雷達掃描頻率的頻率沿平臺飛行方向推掃，其一個掃描時刻對應一行影像，所有掃描時刻的影像行形成影像數(shù)據(jù)。

步驟b：基于平臺的位置姿態(tài)數(shù)據(jù)得到影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)和激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)。

步驟b具體包括：

子步驟b1：基于平臺的位置姿態(tài)數(shù)據(jù)得到影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)。

由于可能出現(xiàn)影像傳感器掃描頻率高于pos系統(tǒng)位置姿態(tài)數(shù)據(jù)輸出頻率，或采樣時刻不一致等情況，需要采用內插的方式由pos系統(tǒng)采集的位置姿態(tài)數(shù)據(jù)得到影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)。

子步驟b1具體包括：基于影像傳感器的一待內插掃描時刻，搜索該待內插掃描時刻的前后兩個pos系統(tǒng)數(shù)據(jù)記錄時刻的平臺位置姿態(tài)數(shù)據(jù)，內插得到該待內插掃描時刻的影像傳感器位置數(shù)據(jù)和姿態(tài)數(shù)據(jù)，對所有掃描時刻進行內插處理，得到影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)。

優(yōu)選地，可以采用最近鄰內插、線性內插或樣條內插等內插方法實現(xiàn)影像傳感器掃描時刻位置數(shù)據(jù)和姿態(tài)數(shù)據(jù)的內插。

子步驟b2：基于影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)得到激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)。

由于影像傳感器以倍頻于激光雷達掃描頻率的頻率掃描成像，激光雷達的每一掃描時刻均有相應的影像傳感器掃描時刻與其對應，因此，

子步驟b2具體包括：按照倍頻關系從影像傳感器的位置姿態(tài)數(shù)據(jù)中選取激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)，作為激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)。

步驟c：基于激光雷達掃描時刻的位置姿態(tài)數(shù)據(jù)和激光測距數(shù)據(jù)，利用激光雷達三維點云計算模型，得到激光雷達點云數(shù)據(jù)。

步驟c具體包括：

子步驟c1：基于激光雷達的一掃描時刻的位置姿態(tài)數(shù)據(jù)、該掃描時刻的一反射點與激光雷達的斜距，利用激光雷達三維點云計算模型，得到與該反射點對應的激光點的三維大地坐標。

優(yōu)選地，該激光雷達三維點云計算模型基于激光掃描坐標系-imu坐標系-導航投影坐標系-地心坐標系的坐標轉換得到激光點三維大地坐標。

優(yōu)選地，在執(zhí)行上述激光掃描坐標系與imu坐標系轉換時，使用載荷動態(tài)檢校參數(shù)以提高三維成像精度，該載荷動態(tài)檢校參數(shù)為載荷與pos系統(tǒng)的偏心量和偏心角，可預先確定。

優(yōu)選地，在執(zhí)行子步驟c1前，利用載荷靜態(tài)檢校參數(shù)對所述反射點與激光雷達的斜距及指向角進行校正，并基于校正后的斜距及指向角得到激光點的三維坐標，以提高三維成像精度，該載荷靜態(tài)檢校參數(shù)可預先確定。

子步驟c2：根據(jù)該激光點與其鄰近激光點的關系判斷該激光點是否是粗差點，若是，則將該激光點的三維大地坐標設為默認值，否則該激光點為有效激光點并保留該有效激光點的三維大地坐標值。

子步驟c3：對該掃描時刻的所有反射點執(zhí)行子步驟c1、c2，得到該掃描時刻所有激光點的三維大地坐標，作為激光雷達點云數(shù)據(jù)的一行。

子步驟c4：將所有掃描時刻的激光雷達點云數(shù)據(jù)行作為激光雷達點云數(shù)據(jù)。

子步驟c5：將計算得到的激光雷達點云數(shù)據(jù)保存為規(guī)則格網(wǎng)格式，激光雷達點云數(shù)據(jù)的每一行對應激光雷達的一個掃描時刻。

優(yōu)選地，對激光雷達未獲得回波的激光點，也用該默認值作為該激光點的 三維大地坐標。

步驟d：激光雷達點云數(shù)據(jù)與影像數(shù)據(jù)在像方匹配，并計算得到第一類影像像點的大地坐標和第二類影像像點的高程值，其中，該第一類影像像點為激光雷達點云數(shù)據(jù)中的有效激光點對應的影像像點，該第二類影像像點為影像數(shù)據(jù)中其余的沒有有效激光點對應的影像像點。

步驟d具體包括：

子步驟d1：基于激光雷達掃描時刻和影像傳感器掃描時刻，搜索激光點云數(shù)據(jù)行對應的影像行；根據(jù)激光雷達探元與影像傳感器像元的對應關系表，匹配得到激光雷達點云數(shù)據(jù)激光點對應的影像像點的圖像坐標。

優(yōu)選地，所述對應關系表可以根據(jù)激光雷達和影像傳感器的光軸對應關系，在系統(tǒng)集成裝調時預先確定。

子步驟d2：提取激光雷達點云數(shù)據(jù)中的有效激光點，該有效激光點的三維大地坐標作為該有效激光點對應的影像像點的大地坐標，得到第一類影像像點的大地坐標。

由于激光雷達點云數(shù)據(jù)相比于影像數(shù)據(jù)更為稀疏，也就是說，并非所有的影像像點都有對應的有效激光點，對于第二類影像像點，需要利用有效激光點的高程值內插得到這些影像像點的高程值，再進一步得到這些影像像點的大地坐標。

由于激光雷達點云數(shù)據(jù)中可能存在沒有回波的激光點，或者回波作為粗差被濾除掉的激光點，從而導致激光點云格網(wǎng)數(shù)據(jù)中存在漏點，在內插影像點高程時，不能直接使用四鄰域的激光點。為加快處理速度，高程內插采用如下方法進行。

子步驟d3：對與激光雷達點云數(shù)據(jù)行相對應的影像行進行高程內插處理。

子步驟d3具體包括：基于激光點與影像像點對應關系，對于第二類影像像點，搜索與影像像點位于同一行的相鄰激光點，若相鄰激光點的大地坐標為默認值，則繼續(xù)搜索，直至搜索到相鄰的有效激光點，基于相鄰的有效激光點的高程值對影像像點的高程值進行內插。

子步驟d4：對影像列進行高程內插處理，得到第二類影像像點的高程值。

子步驟d4具體包括：對第二類影像像點，搜索與其位于同一列的、相鄰的第一類影像像點，依據(jù)該相鄰第一類影像像點的高程值對第二類影像像點的高程值進行內插。

優(yōu)選地，可以采用最近鄰內插、線性內插或樣條內插等內插方法分別實現(xiàn)子步驟d3和子步驟d4中的內插運算。

優(yōu)選地，可以采用最近鄰內插、雙線性插值、雙三次卷積法等內插方法同時實現(xiàn)子步驟d3和子步驟d4中的內插運算。

步驟e：基于第二類影像像點的高程值和圖像坐標、影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)和內方位元素得到第二類影像像點大地坐標，并基于第一類影像像點和第二類影像像點生成三維影像。

步驟e具體包括：

子步驟e1：基于一第二類影像像點的高程值和圖像坐標、影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)和內方位元素得到該第二類影像像點的大地坐標。

子步驟e1具體包括：采用正解法，利用共線條件方程解算一第二類影像像點a的平面位置坐標xa、ya，解算公式如式(1)：

式中，xa、ya、za為影像像點a對應的大地坐標，x、y為影像像點a的圖像坐標，x0、y0為影像主點坐標，f為影像傳感器的主距，xs、ys、zs為影像像點a的外方位元素中線元素，a1、a2、a3、b1、b2、b3、c1、c2、c3為影像像點a的外方位元素中角元素構成的旋轉矩陣元素。其中，外方位元素可由圖像像點a所在掃描行對應的影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)以及動態(tài)檢校參數(shù)計算得到。

子步驟e2：對所有第二類影像像點執(zhí)行子步驟e1得到其大地坐標(x，y，z)，并對所有坐標點對應的影像像點賦色，得到三維影像。

優(yōu)選地，影像數(shù)據(jù)可以是灰度影像、彩色影像、多光譜影像或高光譜影像，在生成三維影像時，只需在建立三維影像內存文件時預留相應的波段數(shù)，子步驟e2賦色過程中賦予對應于原始影像的灰度值、rgb值或各譜段dn值即可。

優(yōu)選地，步驟e還可以采用反解法生成三維影像。

反解法是通過校正后的圖像像點大地坐標(x，y)反求其在原始影像上的像點的圖像坐標(x，y)，其中，(x，y)通過取地面上的一定間隔的方形格網(wǎng)獲得。

子步驟e具體包括：

子步驟e1：由影像的四角像點的圖像坐標(x，y)、四角像點對應的激光點云數(shù)據(jù)激光點的高程值、影像傳感器掃描時刻的位置姿態(tài)數(shù)據(jù)通過共線條件方程求得三維影像的四角像點的大地坐標(x，y)，根據(jù)設定的采樣間隔計算三維影像的格網(wǎng)點平面坐標。

子步驟e2：利用四角像點構建大地坐標與圖像坐標的一次多項式關系，預測待處理地面點的掃描行號，反投影迭代求解最佳掃描行，對于給定的地面點(x，y)，利用共線方程求出對應的像點坐標(x，y)，最后通過內插求得三維影像的高程值和灰度值或光譜值。

至此，已經(jīng)結合附圖對本實施例進行了詳細描述。依據(jù)以上描述，本領域技術人員應當對本發(fā)明的基于主被動三維成像系統(tǒng)的三維影像生成方法有了清楚的認識。

需要說明的是，在附圖或說明書正文中，未繪示或描述的實現(xiàn)方式，均為所屬技術領域中普通技術人員所知的形式，并未進行詳細說明。此外，上述對各元件的定義并不僅限于實施例中提到的各種方式，本領域普通技術人員可對其進行簡單地更改或替換，例如：

(1)激光雷達點云數(shù)據(jù)與影像數(shù)據(jù)的匹配和三維影像生成方法還可以采用其他方法；

(2)實施例中提到的方向用語，例如“上”、“下”、“前”、“后”、“左”、“右”等，僅是參考附圖的方向，并非用來限制本發(fā)明的保護范圍；

(3)上述實施例可基于設計及可靠度的考慮，彼此混合搭配使用或與其他實施例混合搭配使用，即不同實施例中的技術特征可以自由組合形成更多的實施例。

以上所述的具體實施例，對本發(fā)明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。