一種基于三維激光點云進行全景影像拼接方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于三維激光點云進行全景影像拼接方法，屬于測繪地理信息領(lǐng) 域。
【背景技術(shù)】
[0002] 街景服務(wù)是目前互聯(lián)網(wǎng)地圖的熱點。街景數(shù)據(jù)一般用車載全景相機進行采集，經(jīng) 后處理得到全景影像，再發(fā)布到互聯(lián)網(wǎng)。街景地圖要求全景影像視覺上無拼接痕跡，因此拼 接時需對相機進行內(nèi)外參數(shù)精確標定，并用嚴格的投影模型將原始影像投影到球面上生成 全景影像。
[0003] 現(xiàn)有的投影方法一般如下：
[0004] 首先構(gòu)造一個半徑為R的全景球，球心為全景相機的中心，全景球上的每一個點 與目標全景影像的像素坐標對應(yīng)。
[0005] 像素坐標轉(zhuǎn)換為極坐標公式：
[0007] 極坐標轉(zhuǎn)換為球面上的點坐標：
[0009] 由公式1和公式2可以將影像像素坐標轉(zhuǎn)換為球面上的點坐標（X，Y，Z)。
[0010] 根據(jù)該三維坐標，利用相機的內(nèi)外參數(shù)可以計算對應(yīng)原始照片的像素坐標。這樣 就得到了目標全景影像像素坐標對應(yīng)的原始照片像素坐標，從而可以得到全景相機各個鏡 頭影像在全景影像上的投影結(jié)果，進行全景影像的拼接。
[0011] 以上所述的投影過程無法確定物體與全景相機中心的實際距離，只能根據(jù)經(jīng)驗統(tǒng) 一設(shè)置距離R，這樣與實際不符，會造成一定的投影偏差，影響拼接效果。
[0012] 如圖2,全景中心為0,實際物體為P，鏡頭中心為C，P在原始影像上的像點為pl， 如果設(shè)置統(tǒng)一的深度R，則投影時認為物體的位置為P'，對應(yīng)的像點位置為P2?？梢灾烙?于深度R與實際不符，會造成p2與pi的差異。
[0013]

【發(fā)明內(nèi)容】

[0014] 現(xiàn)在的車載街景采集設(shè)備一般配有激光掃描儀和全景相機，可以同時采集點云數(shù) 據(jù)和影像數(shù)據(jù)，而且相機拍照時在點云中的位置和姿態(tài)是已知的，因此可以利用點云確定 影像上對應(yīng)實際物體的三維坐標，用更精確的模型進行投影生成全景影像。
[0015] 本發(fā)明提供了一種基于三維激光點云進行全景影像拼接的方法，在計算目標影像 像素和原始影像像素對應(yīng)關(guān)系時利用點云數(shù)據(jù)提供的實際物體坐標，解決了現(xiàn)有的全景拼 接方法中的不足，能夠提高拼接準確度。
[0016] 實現(xiàn)本發(fā)明所采用的技術(shù)方案為：
[0017] (1)根據(jù)目標全景影像像素坐標與全景球坐標的關(guān)系構(gòu)造射線，利用相機在點云 坐標系中的姿態(tài)將射線轉(zhuǎn)換到點云坐標系中；
[0018] (2)根據(jù)鄰近點云內(nèi)插得到射線方向上的三維坐標；
[0019] (3)根據(jù)該三維坐標，利用相機在點云坐標系中的位置和姿態(tài)以及相機的內(nèi)外參 數(shù)計算對應(yīng)原始照片的像素坐標。
[0020] 步驟（1)中全景影像像素（u，v)可轉(zhuǎn)換為單位全景球（半徑為一個單位）上的一 點（xn，yn，zn)，該點與全景球中心構(gòu)成射線，其方向向量為（xn，yn，zn)。已知全景相機在點 云坐標系中的姿態(tài)角（yaw，pitch，roll)，可將射線轉(zhuǎn)換到點云坐標系中，該射線在點云坐 標系中的方向向量為（Xn，Yn，Zn)。
[0023] 步驟（2)中內(nèi)插的方法包含但不僅限于以下兩種
[0024] 方法一：直接利用點云內(nèi)插
[0025] 需要先進行空間查詢得到全景相機在點云坐標系中的位置（HZJ附近一定范 圍內(nèi)的點云，再在這些點云中搜索少量的點》131，2 1)，使得點與（1，乙，2。）構(gòu)成的方向向 量與（Xn，Yn，Zn)最為接近，使下式最小。
[0026]ν= (Χηι-Χη)2+(Υηι-Υη)2+(Ζη-Ζη)2
[0027] 其中
[0028]Xni=Xi/mod
[0029]Yni=Yi/mod
[0030]Zni=Zi/mod
[0031]
[0032] 搜索范圍限制可設(shè)置為一定夾角內(nèi)的視錐范圍，夾角大小的經(jīng)驗值為2°~5°。 如圖3所示
[0033]
[0034] 取滿足以上搜索條件的最近的三個點構(gòu)成三角形，再進行內(nèi)插得到（Xn，Yn，Zn)方 向上的點坐標（X，Y，Z)。如果搜索到的點數(shù)為0,則設(shè)置一個較大的深度，如R= 200m;如 果搜索到的點數(shù)為1，則不需要內(nèi)插；如果搜索到的點數(shù)為2,則取平均值。
[0035] 方法二：利用點云構(gòu)造空間三角網(wǎng)進行內(nèi)插
[0036] 先利用點云構(gòu)造空間三角網(wǎng)，然后求相機位置（Xe，Ye，Z。）處方向向量為（Xn，Yn，Zn) 的射線與三角網(wǎng)的交點坐標即為所需要求的（X，Υ，Ζ)。
[0037] 步驟（3)中，根據(jù)點云坐標（X，Υ，Ζ)、全景相機在點云坐標系中的位置（X。，Υ。，Ζ。） 和姿態(tài)角（yaw，pitch，roll)，以及相機的內(nèi)外參數(shù)，可得到該點在原始照片上的像素坐標 (uQ，v。）。如下公式
[0038]
[0039] (u。，v。）=F(int，ext，Xp，Yp，Zp)
[0040] F為成像函數(shù)，不同的鏡頭（如魚眼鏡頭和廣角鏡頭）成像函數(shù)可能不一樣，int 為內(nèi)參數(shù)，ext為外參數(shù)，為點云在全景相機坐標系中的坐標。
[0041]根據(jù)以上步驟（1)到步驟（3)，實際獲得了目標全景像素（u，v)與原始照片的像 素坐標（IVV。）之間的對應(yīng)關(guān)系。再根據(jù)一般的拼接方法最終可得到全景影像。
[0042] 本發(fā)明所提供的方法利用了車載激光點云的三維坐標，以及拍照時刻全景相機在 點云中的位置和姿態(tài)，計算出目標全景影像上各像素的實際深度（即物體與全景相機中心 的距離），比傳統(tǒng)的方法指定一個統(tǒng)一的深度構(gòu)造的模型更加精確。相比傳統(tǒng)的方法，能夠 改善全景影像拼接效果，減少后續(xù)人工編輯工作量，極大縮短街景數(shù)據(jù)生產(chǎn)的制作周期，具 有很高的實際運用價值。
【附圖說明】
[0043] 圖1:為本發(fā)明流程圖。
[0044] 圖2 :為由于深度R與實際不符造成的投影差異示意圖。
[0045] 圖3:為視維范圍不意圖。
【具體實施方式】
[0046] 下面結(jié)合具體實施例對本發(fā)明做具體的說明。
[0047] 本實施例中所用的采集設(shè)備為車載移動測量系統(tǒng)，采集數(shù)據(jù)的對象為一條街道， 采集到的數(shù)據(jù)為街道的點云數(shù)據(jù)和原始的全景相機數(shù)據(jù)。車載移動測量系統(tǒng)已進行標定， 即全景相機在點云坐標系中拍照時刻的位置和姿態(tài)角已知，全景相機各鏡頭的內(nèi)參數(shù)已 知，各鏡頭在全景相機坐標系中的位置和姿態(tài)角已知。
[0048] 根據(jù)以上描述的步驟，先設(shè)定目標全景影像的分辨率為2dXd。
[0049] 取目標全景影像的像素坐標（u，v)進行橫向和縱向循環(huán)，根據(jù)以上步驟（2)計算 (u，v)對應(yīng)的全景球方向向量在點云坐標系中的坐標。
[0050] 因為車載點云是按照時間和掃描線順序存儲的，所以可很方便地獲取全景相機當 前位置附近的點云。按照步驟（2)所述進行空間內(nèi)插得到方向向量對應(yīng)的點云坐標。再根 據(jù)步驟（3)到得到目標全景影像像素與所有鏡頭影像像素之間的對應(yīng)關(guān)系，則可得到各鏡 頭投影到全景上的影像，最后進行拼接得到全景影像。
【主權(quán)項】
1. 一種基于三維激光點云進行全景影像拼接方法，其特征在于包括以下步驟： (1) 根據(jù)目標全景影像像素坐標與全景球坐標的關(guān)系構(gòu)造射線，利用相機在點云坐標 系中的姿態(tài)將射線轉(zhuǎn)換到點云坐標系中； (2) 根據(jù)鄰近點云內(nèi)插得到射線方向上的三維坐標； (3) 根據(jù)該三維坐標，利用相機在點云坐標系中的位置和姿態(tài)以及相機的內(nèi)外參數(shù)計 算對應(yīng)原始照片的像素坐標。2. 根據(jù)權(quán)利要求1所述的基于三維激光點云進行全景影像拼接方法，其特征在于：計 算目標全景影像像素所對應(yīng)的原始影像像素時，沒有設(shè)置統(tǒng)一的全景球半徑，而是利用點 云數(shù)據(jù)經(jīng)過以上步驟（2)到得到實際物體的三維坐標。
【專利摘要】本發(fā)明提供了一種基于三維激光點云進行全景影像拼接的方法，在計算目標全景影像對應(yīng)的原始影像像素坐標時包括以下步驟：1)根據(jù)目標全景影像像素坐標構(gòu)造射線，利用相機在點云坐標系中的姿態(tài)將射線轉(zhuǎn)換到點云坐標系；2)根據(jù)鄰近點云內(nèi)插得到射線方向上的三維坐標；3)根據(jù)該三維坐標，利用相機在點云坐標系中的位置和姿態(tài)以及相機的內(nèi)外參數(shù)計算對應(yīng)原始照片的像素坐標。本發(fā)明所提供的方法解決了現(xiàn)有的全景拼接方法中的不足，能夠提高拼接準確度，減少人工操作，縮短數(shù)據(jù)生產(chǎn)的周期，具有非常巨大的經(jīng)濟和社會價值。
【IPC分類】G06T3/40
【公開號】CN105243637
【申請?zhí)枴緾N201510598828
【發(fā)明人】汪開理, 劉守軍, 姚立
【申請人】武漢海達數(shù)云技術(shù)有限公司
【公開日】2016年1月13日
【申請日】2015年9月21日