本發(fā)明屬于計(jì)算機(jī)視覺(jué)及激光點(diǎn)云測(cè)量數(shù)據(jù)處理自動(dòng)化領(lǐng)域，尤其涉及一種利用激光點(diǎn)云輔助的可量測(cè)全景影像生成方法。

背景技術(shù)：

車(chē)載移動(dòng)測(cè)量系統(tǒng)(mobile mapping system，MMS)結(jié)合激光掃描儀、全景相機(jī)、高精度定位定姿系統(tǒng)(position and orientation system，POS)等多種優(yōu)異的傳感器，是近年來(lái)快速發(fā)展的一種新型集成高效的測(cè)量系統(tǒng)。利用該系統(tǒng)可以融合激光點(diǎn)云的幾何屬性及全景影像的光譜屬性，生產(chǎn)具有可量測(cè)性的全景影像，用于城市規(guī)劃、道路檢測(cè)、市政部件資產(chǎn)普查等。而準(zhǔn)確地將激光點(diǎn)云、全景影像數(shù)據(jù)配準(zhǔn)以及準(zhǔn)確地計(jì)算點(diǎn)云特征是生產(chǎn)可量測(cè)全景影像的前提。

目前，國(guó)內(nèi)外一些學(xué)者已經(jīng)對(duì)上述問(wèn)題做了一些研究，ZHANG and PLESS（2004）通過(guò)棋盤(pán)格子標(biāo)定的方式，將影像與激光點(diǎn)云配準(zhǔn)；MEI and RIVES（2006）提出了一種配準(zhǔn)柱狀相機(jī)和激光點(diǎn)云的方式；曾凡洋（2016）給出了一種基于共線方差的全景與點(diǎn)云配準(zhǔn)方式?，F(xiàn)有許多全景配準(zhǔn)研究主要是在車(chē)載掃描儀與車(chē)載全景相機(jī)間的研究，這類(lèi)研究往往基于掃描儀與相機(jī)之間通過(guò)系統(tǒng)標(biāo)定建立其嚴(yán)格幾何關(guān)系的前提之下，而對(duì)于非同機(jī)采集數(shù)據(jù)，POS初值不準(zhǔn)的情況下全景影像與激光點(diǎn)云數(shù)據(jù)的配準(zhǔn)研究較少，如果沒(méi)有靶標(biāo)，則無(wú)法采用上述標(biāo)定的方法；而如果采用共線方程的方法，則存在全景影像畸變大，因而，選點(diǎn)時(shí)不可選圖像上靠近邊緣的點(diǎn)，且點(diǎn)對(duì)選擇不當(dāng)就會(huì)造成誤差很大。

對(duì)于點(diǎn)云法向量的計(jì)算，Hoppe and DeRose（1992）假設(shè)點(diǎn)云的采樣平面是局部處處光滑的，這樣對(duì)于每一個(gè)點(diǎn)都位于一個(gè)平面上，對(duì)于采樣點(diǎn)p，取以p為中心，k為半徑的鄰域中所有點(diǎn)，將這些點(diǎn)擬合平面，該平面的法向量作為采樣點(diǎn)p的法向量。Gross and Pfister（2007）在此基礎(chǔ)上，對(duì)采樣點(diǎn)p的k鄰域內(nèi)的每一個(gè)點(diǎn)賦予高斯權(quán)重，即離采樣點(diǎn)p越近的點(diǎn)對(duì)采樣點(diǎn)p的法向量影響越大。Lange and Polthier（2005）利用主元分析法（Principal Component Analysis，PCA）計(jì)算采樣點(diǎn)p的k鄰域內(nèi)所有點(diǎn)的主成分作為采樣點(diǎn)p的法向量。但是由于激光點(diǎn)云數(shù)據(jù)采集過(guò)程中產(chǎn)生的噪聲點(diǎn)影響，法向量計(jì)算會(huì)有一定的誤差，如何合理的處理噪聲點(diǎn)的影響，是一個(gè)需要解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種利用激光點(diǎn)云輔助的可量測(cè)全景影像生成方法。

本發(fā)明方法包括全景影像激光點(diǎn)云配準(zhǔn)、點(diǎn)云特征計(jì)算及可量測(cè)全景影像生成。第一步中，將全景影像和點(diǎn)云配準(zhǔn)，即計(jì)算全景影像的曝光中心在點(diǎn)云坐標(biāo)系下的三維坐標(biāo)以及全景影像的三個(gè)角度控制的朝向。第二步中，為處理大規(guī)模點(diǎn)云的計(jì)算和揀選，將車(chē)載激光點(diǎn)云建立空間索引，并根據(jù)第一步計(jì)算出的全景影像曝光中心的位置，選出曝光中心半徑R內(nèi)的點(diǎn)云為后續(xù)處理做準(zhǔn)備。第三步中，計(jì)算選出的點(diǎn)云中每個(gè)點(diǎn)的法向量，再依次遍歷全景影像的每個(gè)柵格，求出對(duì)應(yīng)點(diǎn)云中點(diǎn)的深度，并將該點(diǎn)的法向量保存，對(duì)于全景影像中柵格沒(méi)有對(duì)應(yīng)三維點(diǎn)的情況，需要通過(guò)雙三次內(nèi)插得到該柵格深度。

本發(fā)明的技術(shù)方案如下：

利用激光點(diǎn)云輔助的可量測(cè)全景影像生成方法，包括步驟：

步驟1，將全景影像沿水平方向劃分為多個(gè)部分，分別進(jìn)行虛擬成像獲得多幅框幅式影像，各框幅式影像像主點(diǎn)對(duì)應(yīng)的虛擬光線水平方向均勻分布；沿水平方向?qū)⒖蚍接跋褚来斡洖榭蚍接跋?、框幅式影像1……框幅式影像N-1；

步驟2，選取初始點(diǎn)對(duì)，并初始化框幅式影像的外方位元素，具體為：

各框幅式影像上分別隨機(jī)選取角點(diǎn)，所選角點(diǎn)和所選角點(diǎn)在激光點(diǎn)云坐標(biāo)下對(duì)應(yīng)的激光點(diǎn)構(gòu)成初始點(diǎn)對(duì)；

采用PNP算法計(jì)算框幅式影像0的外方位元素初始值，基于各框幅式影像曝光中心相同以及各框幅式影像的空間姿態(tài)關(guān)系，獲得其他框幅式影像的外方位元素初始值；

步驟3，基于步驟2所得外方位元素初始值，以初始點(diǎn)對(duì)中所有激光點(diǎn)到對(duì)應(yīng)框幅式影像上的投影誤差的和最小為條件方程，調(diào)整外方位元素初始值，獲得精確的外方位元素值；

步驟4，構(gòu)建激光點(diǎn)云的空間索引，根據(jù)步驟3所得外方位元素中線元素獲得全景影像的曝光中心，在空間索引中選取以曝光中心為球心的球形鄰域，球形鄰域內(nèi)激光點(diǎn)云即全景影像的鄰域點(diǎn)云；

步驟5，計(jì)算鄰域點(diǎn)云中各激光點(diǎn)的法向量，將各激光點(diǎn)的法向量作為鄰域點(diǎn)云的特征；

步驟6，將鄰域點(diǎn)云的深度和特征投影到全景影像，即得到可量測(cè)全景影像。

步驟1中，將全景影像沿水平方向劃分為6個(gè)部分。

步驟2中，所述的各框幅式影像上分別隨機(jī)選取角點(diǎn)具體為：

框幅式影像0上隨機(jī)選取4個(gè)以上角點(diǎn)；其他框幅式影像上隨機(jī)選取2個(gè)以上角點(diǎn)。

步驟3中，所述的條件方程如下：

其中：

img_j表示框幅式影像j；

p_ji表示框幅式影像j的初始點(diǎn)對(duì)中第i個(gè)激光點(diǎn)；

Q(img_j,p_i)表示p_ji在img_j上的推測(cè)投影點(diǎn)；

x_ji表示框幅式影像j的初始點(diǎn)對(duì)中與p_ji對(duì)應(yīng)的角點(diǎn)；

d(·)表示推測(cè)投影點(diǎn)和x_ji的平面距離；

jm表示框幅式影像j的初始點(diǎn)對(duì)的點(diǎn)對(duì)數(shù)；

v_ij為系數(shù)，

步驟5中，計(jì)算鄰域點(diǎn)云中各激光點(diǎn)的法向量，具體為：

找激光點(diǎn)的k鄰近點(diǎn)；

求k鄰近點(diǎn)的質(zhì)心；

計(jì)算半正定協(xié)方差矩陣其中，p_i表示激光點(diǎn)的第i個(gè)鄰近點(diǎn)的坐標(biāo)，表示質(zhì)心的坐標(biāo)；

分解半正定協(xié)方差矩陣，其最小特征值即激光點(diǎn)的法向量。

步驟6中，鄰域點(diǎn)云的深度采用如下方法獲得：

遍歷全景影像的各柵格，各柵格對(duì)應(yīng)點(diǎn)云中激光點(diǎn)的深度即柵格的深度，所有柵格的深度構(gòu)成鄰域點(diǎn)云的深度。

若當(dāng)前柵格無(wú)對(duì)應(yīng)點(diǎn)云，通過(guò)相鄰柵格的深度內(nèi)插獲得當(dāng)前柵格的深度。

本發(fā)明的特點(diǎn)如下：

本發(fā)明可實(shí)現(xiàn)可量測(cè)全景影像的生產(chǎn)，其中，設(shè)計(jì)了一種全景影像和激光點(diǎn)云配準(zhǔn)方法，以實(shí)現(xiàn)全景影像和激光點(diǎn)云無(wú)靶標(biāo)情況下的準(zhǔn)確配準(zhǔn)；完成了大規(guī)模點(diǎn)云索引的生成，方便后續(xù)對(duì)點(diǎn)云數(shù)據(jù)及計(jì)算及顯示等其他運(yùn)用的實(shí)現(xiàn)；設(shè)計(jì)了一種魯棒性PCA點(diǎn)云特征計(jì)算方法，降低了點(diǎn)云中點(diǎn)噪聲對(duì)點(diǎn)特征計(jì)算的影響。

采用本發(fā)明生產(chǎn)的可量測(cè)全景影像具有較高精度，可廣泛運(yùn)用于測(cè)量領(lǐng)域及資產(chǎn)調(diào)查。

附圖說(shuō)明

圖1是本發(fā)明的具體流程圖；

圖2是虛擬成像原理圖；

圖3是虛擬成像示例圖，其中，圖（a）為全景影像，圖（b）～（g）為6幅框幅式影像；

圖4是實(shí)施例中點(diǎn)云索引示例圖，圖（a）和圖（b）分別為不同視角的點(diǎn)云索引截圖；

圖5是實(shí)施例中點(diǎn)云數(shù)據(jù)在全景影像上的投影示意圖，圖（a）～（f）分別為不同場(chǎng)景下點(diǎn)云數(shù)據(jù)在全景影像上的投影示意圖。

具體實(shí)施方式

本發(fā)明可采用計(jì)算機(jī)軟件方式支持自動(dòng)運(yùn)行流程，其流程如圖1所示，包括以下步驟：

步驟1：全景影像的虛擬成像。

將全景影像按照水平方向劃分成6個(gè)部分，虛擬成像得到6個(gè)框幅式影像，每張框幅式影像的像主點(diǎn)對(duì)應(yīng)的虛擬光線水平均勻分布，每張框幅式影像與第一張框幅式影像相機(jī)主軸水平夾角分別為0°、60°、120°、180°、240°、300°，對(duì)應(yīng)的框幅式影像序號(hào)依次為0、1、2、3、4、5。

本實(shí)施例中，水平方向劃分為6個(gè)部分充分考慮了影像間的重疊關(guān)系以及數(shù)據(jù)冗余度，通過(guò)大量實(shí)踐經(jīng)驗(yàn)，劃分為6個(gè)部分可相對(duì)保證影像的重疊度，也保證了較小的數(shù)據(jù)冗余度。

框幅式影像成像原理如圖2，令全景影像的成像中心為O_p，令虛擬成像相機(jī)內(nèi)方位元素中像主點(diǎn)cx＝cy＝c₀，焦距為f＝f₀，面陣大小為h*w，外方位元素角元素對(duì)應(yīng)的旋轉(zhuǎn)矩陣為R_v，而虛擬成像的曝光中心與全景影像的曝光中心相同，則外方位元素中的平移量為0。令虛擬成像平面上的點(diǎn)坐標(biāo)為(x_v,y_v,-f₀)^T，而對(duì)應(yīng)全景球上的點(diǎn)直角坐標(biāo)系下坐標(biāo)為(x_p,y_p,z_p)^T，對(duì)應(yīng)全景相片上的平面點(diǎn)坐標(biāo)為(r,c)^T，比例系數(shù)為λ，則可以得到如下虛擬成像公式：

根據(jù)虛擬成像公式，則可從全景影像獲得6幅框幅式影像，見(jiàn)圖3。

步驟2：選取初始點(diǎn)對(duì)，并初始化外方位元素。

在序號(hào)為0的框幅式影像上隨機(jī)選取4個(gè)以上角點(diǎn)，一般取10個(gè)，選出角點(diǎn)在激光點(diǎn)云坐標(biāo)下對(duì)應(yīng)的激光點(diǎn)，獲得初始點(diǎn)對(duì)。在序號(hào)為1、2、3、4、5的框幅式影像上依次選取2個(gè)以上角點(diǎn)，一般取4個(gè)，采用相同的方法獲得初始點(diǎn)對(duì)。

利用PNP算法計(jì)算序號(hào)為0的框幅式影像的外方位元素初始值，外方位元素包括角元素和線元素，令得到的角元素初始值為(α,β,γ)，線元素初始值為T(mén)₀(t₀,t₁,t₂)。根據(jù)公式（1）所示的成像模型，可得到其他5張框幅式影像的角元素初始值分別為(α+60,β,γ)、(α+120,β,γ)、(α+180,β,γ)、(α+240,β,γ)、(α+300,β,γ)。由于每張框幅式影像的曝光中心相同，則可得到每張框幅式影像的線元素：

T₁＝T₂＝T₃＝T₄＝T₅＝T₀ （2）

式（2）中，T₀、T₁、T₂、T₃、T₄、T₅分別表示框幅式影像0、1、2、3、4、5的線元素。

步驟3：列條件方程，最小化所有初始點(diǎn)對(duì)的重投影誤差。

根據(jù)步驟2得到的各框幅式影像的外方位元素初始值以及所有初始點(diǎn)對(duì)，列出條件方程，最小化各激光點(diǎn)到對(duì)應(yīng)框幅式影像上的投影誤差，從而得到更精確的外方位元素值，待平差元素為(α,β,γ,t₀,t₁,t₂)。

條件方程如下：

式（3）～（4）中：

img_j表示框幅式影像j；

p_ji表示框幅式影像j的初始點(diǎn)對(duì)中第i個(gè)激光點(diǎn)；

Q(img_j,p_i)表示p_ji在img_j上的推測(cè)投影點(diǎn)；

x_ji表示框幅式影像j的初始點(diǎn)對(duì)中與p_ji對(duì)應(yīng)的角點(diǎn)；

d(·)表示推測(cè)投影點(diǎn)和x_ji的平面距離；

jm表示框幅式影像j的初始點(diǎn)對(duì)的點(diǎn)對(duì)數(shù)；

v_ij為系數(shù)。

步驟4：構(gòu)建激光點(diǎn)云的空間索引，搜索全景影像的鄰域點(diǎn)云。

遍歷點(diǎn)云數(shù)據(jù)，得到點(diǎn)云數(shù)據(jù)的空間范圍，根據(jù)空間范圍構(gòu)建點(diǎn)云數(shù)據(jù)的空間八叉樹(shù)，見(jiàn)圖4。將節(jié)點(diǎn)對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)存入硬盤(pán)，這樣就構(gòu)建了點(diǎn)云數(shù)據(jù)的外存索引，可減輕內(nèi)存壓力。

根據(jù)步驟3得到的外方位元素中的線元素，即全景影像的曝光中心O_p，以O(shè)_p為球心，R為鄰域半徑，在空間索引中選取落入球形鄰域范圍內(nèi)的激光點(diǎn)云，記為全景影像的鄰域點(diǎn)云。鄰域半徑實(shí)際應(yīng)用環(huán)境進(jìn)行確值，城市環(huán)境中鄰域半徑一般定為20m；而在開(kāi)闊場(chǎng)地中，鄰域半徑一般設(shè)為50m或更大。

步驟5：計(jì)算鄰域點(diǎn)云特征。

將鄰域點(diǎn)云中激光點(diǎn)記為點(diǎn)p，計(jì)算點(diǎn)p的法向量n方法如下：找到點(diǎn)p的k鄰近點(diǎn)，并求出k鄰近點(diǎn)的質(zhì)心令法向量n滿足||n||₂=1，此時(shí)法向量計(jì)算問(wèn)題轉(zhuǎn)化為對(duì)半正定協(xié)方差矩陣M陣進(jìn)行分解，將M的最小特征值作為點(diǎn)p的法向量。

公式（5）中，pi表示點(diǎn)p的第i個(gè)鄰近點(diǎn)的坐標(biāo)，表示質(zhì)心的坐標(biāo)。

為提高算法的魯棒性，降低點(diǎn)云法向量的計(jì)算誤差，對(duì)上述計(jì)算過(guò)程采用RANSAC（RANdom Sample Consensus）法，最終獲得點(diǎn)p的法向量。

步驟6：將鄰域點(diǎn)云的深度和特征投影到全景影像，即得到可量測(cè)全景影像。

遍歷全景影像的各柵格，求出柵格對(duì)應(yīng)點(diǎn)云中激光點(diǎn)的深度，即柵格的深度，所有柵格的深度構(gòu)成鄰域點(diǎn)云的深度。對(duì)柵格無(wú)對(duì)應(yīng)點(diǎn)云的情況，該柵格的深度則通過(guò)對(duì)相鄰柵格的深度進(jìn)行雙三次內(nèi)插得到。點(diǎn)云數(shù)據(jù)在全景影像上的投影如圖5所示。

本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類(lèi)似的方式替代，但并不會(huì)偏離本發(fā)明的精神或超越所附權(quán)利要求書(shū)所定義的范圍。