一種基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法
【專利摘要】本發(fā)明公開了一種基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法，該方法基于二維攝像機(jī)和三維攝像機(jī)組成復(fù)合攝像機(jī)分別對(duì)場(chǎng)景同步成像，通過建立三維攝像機(jī)深度圖像和二維攝像機(jī)圖像的匹配映射模型，求取三維攝像機(jī)深度圖像像素點(diǎn)在二維攝像機(jī)圖像中的匹配映射點(diǎn)和映射區(qū)域；對(duì)二維攝像機(jī)圖像中的映射區(qū)域進(jìn)行三角分解，并基于鄰接的映射點(diǎn)深度信息建立三角剖分區(qū)域的深度曲面插補(bǔ)函數(shù)；插補(bǔ)計(jì)算三角剖分區(qū)域內(nèi)圖像像素點(diǎn)的深度信息，實(shí)現(xiàn)高分辨率二維攝像機(jī)圖像對(duì)應(yīng)深度圖像的獲取。本發(fā)明最大程度保留了二維攝像機(jī)圖像信息和三維攝像機(jī)深度信息，并具有精度高和信息缺失小等優(yōu)勢(shì)，可廣泛應(yīng)用于工業(yè)視覺測(cè)量、視覺裝配、機(jī)器人視覺導(dǎo)航等領(lǐng)域。
【專利說明】一種基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法。

【背景技術(shù)】
[0002]近年來,三維攝像機(jī)技術(shù)獲得了飛速進(jìn)展，出現(xiàn)了微軟Kinect、Swiss-ranger的SR3000/4000為代表的三維攝像機(jī)，該類設(shè)備可同時(shí)獲取場(chǎng)景目標(biāo)二維圖像和深度圖像。但是目前三維攝像機(jī)的二維圖像普遍存在分辨率低、成像質(zhì)量差等局限，很難直接利用三維攝像機(jī)提供的二維圖像進(jìn)行后續(xù)的場(chǎng)景分析和目標(biāo)識(shí)別處理。而目前傳統(tǒng)二維攝像機(jī)具有成像清晰、分辨率高、畸變小優(yōu)勢(shì)，易于獲取目標(biāo)紋理、色彩特征。因此三維攝像機(jī)與傳統(tǒng)二維攝像機(jī)信息具有良好的互補(bǔ)性。
[0003]文獻(xiàn)[I]公布了一種基于復(fù)合攝像機(jī)的高質(zhì)量三維彩色圖像獲取方法及裝置，可同步獲取場(chǎng)景三維信息對(duì)應(yīng)的二維攝像機(jī)圖像信息。但是該方法存在如下問題:1)由匹配映射模型產(chǎn)生的誤差，在插補(bǔ)后的深度圖像進(jìn)行映射投影后，會(huì)進(jìn)一步放大；2)三維攝像機(jī)深度圖像對(duì)應(yīng)的彩色場(chǎng)景信息，是基于映射點(diǎn)周圍圖像信息的近似估計(jì)，從而造成場(chǎng)景原二維攝像機(jī)圖像的部分信息缺失，限制了匹配映射二維圖像的精度和質(zhì)量。因此，上述方法一定程度上制約了三維視覺信息的精度和可靠性。
[0004]如何完整保留三維攝像機(jī)與傳統(tǒng)二維攝像機(jī)獲取的原始信息，并實(shí)現(xiàn)兩者的匹配融合，以提高場(chǎng)景目標(biāo)三維視覺信息的質(zhì)量和精度，是本領(lǐng)域急需解決的技術(shù)問題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明所要解決的技術(shù)問題是提供一種基于二維攝像機(jī)和三維攝像機(jī)融合的三維視覺信息獲取方法，該方法將三維攝像機(jī)與二維攝像機(jī)對(duì)同一場(chǎng)景同時(shí)獲取的成像信息進(jìn)行融合匹配，具有三維視覺測(cè)量信息精度高、場(chǎng)景二維圖像信息無缺損等優(yōu)勢(shì)。
[0006]一種基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法，包括以下幾個(gè)步驟:
[0007]步驟1:對(duì)三維攝像機(jī)和二維攝像機(jī)組成的立體視覺系統(tǒng)進(jìn)行標(biāo)定，獲取三維攝像機(jī)內(nèi)參數(shù)矩陣M3d、二維攝像機(jī)內(nèi)參數(shù)矩陣M2d、二維攝像機(jī)坐標(biāo)系和三維攝像機(jī)坐標(biāo)系之間的相對(duì)三維空間旋轉(zhuǎn)變換矩陣R和空間平移關(guān)系變換矩陣T ；
[0008]步驟2:建立三維攝像機(jī)獲得的深度圖像DI與二維攝像機(jī)獲得的二維彩色圖像Cl的映射模型；
[0009]步驟3:按照步驟2建立的映射模型將深度圖像DI映射到二維彩色圖像Cl中的映射區(qū)域中確定待插補(bǔ)區(qū)域IR，并對(duì)待插補(bǔ)區(qū)域IR進(jìn)行三維信息插補(bǔ)計(jì)算，從而實(shí)現(xiàn)二維攝像機(jī)獲得的圖像Cl與三維攝像機(jī)同步獲得的空間信息的融合；
[0010]所述步驟2中的映射模型為以下公式:

【權(quán)利要求】
1.一種基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法，其特征在于，包括以下幾個(gè)步驟: 步驟1:對(duì)三維攝像機(jī)和二維攝像機(jī)組成的立體視覺系統(tǒng)進(jìn)行標(biāo)定，獲取三維攝像機(jī)內(nèi)參數(shù)矩陣M3d、二維攝像機(jī)內(nèi)參數(shù)矩陣M2d、二維攝像機(jī)坐標(biāo)系和三維攝像機(jī)坐標(biāo)系之間的相對(duì)三維空間旋轉(zhuǎn)變換矩陣R和空間平移關(guān)系變換矩陣T ； 步驟2:建立三維攝像機(jī)獲得的深度圖像DI與二維攝像機(jī)獲得的二維彩色圖像Cl的映射模型； 步驟3:按照步驟2建立的映射模型將深度圖像DI映射到二維彩色圖像Cl中的映射區(qū)域中確定待插補(bǔ)區(qū)域IR，并對(duì)待插補(bǔ)區(qū)域IR進(jìn)行三維信息插補(bǔ)計(jì)算，從而實(shí)現(xiàn)二維攝像機(jī)獲得的圖像Cl與三維攝像機(jī)同步獲得的空間信息的融合； 所述步驟2中的映射模型為以下公式:
三維攝像機(jī)的深度圖像DI中任一像素點(diǎn)P3D(u3D，V3D)，根據(jù)上述公式求得像素點(diǎn)P3D (u3D, v3D)在二維攝像機(jī)獲得的二維彩色圖像中對(duì)應(yīng)匹配點(diǎn)p2D的圖像坐標(biāo)值(u2D，v2D)，以及該像素點(diǎn)對(duì)應(yīng)的深度信息Zf ； Zf為三維攝像機(jī)獲得的深度圖像DI中的任一像素點(diǎn)(u3D，v3D)的深度圖像值，力M3d的逆矩陣，Rt為R的轉(zhuǎn)置矩陣，Tt為T的轉(zhuǎn)置矩陣； 所述步驟3的具體方法為: 步驟a:獲取待插補(bǔ)區(qū)域IR; 按照步驟2建立的映射模型將三維攝像機(jī)獲取的深度圖像DI映射在二維攝像機(jī)獲取的二維彩色圖像Cl中的映射點(diǎn)集合Pik所在的最小矩形區(qū)域IR作為待插補(bǔ)區(qū)域，即:
IR = Cl [Xmin: Xmax, Ymin: YmaJ 其中，待插補(bǔ)區(qū)域IR中的像素點(diǎn)坐標(biāo)為(uIE, vIE)，Xmin = Min [PIE.uj，Xmax = Max[PIE.uIE]，Ymin = Min[PIE.vIE]，Ymax = Max[PIE.vIE]，Pie為三維攝像機(jī)獲得的深度圖像DI中的像素點(diǎn)在二維攝像機(jī)獲得的二維彩色圖像Cl中對(duì)應(yīng)的映射點(diǎn)集亡/5 步驟b:對(duì)待插補(bǔ)區(qū)域IR進(jìn)行三角分解； 從映射點(diǎn)集合Pik中選取三個(gè)相鄰且不共線的三個(gè)點(diǎn)構(gòu)成一個(gè)三角剖分區(qū)域^ =，對(duì)待插補(bǔ)區(qū)域IR中的存在的所有三角剖分區(qū)域，按從左到右、從上至丨J下順序排序獲得三角剖分區(qū)域集合嚴(yán),Tf ,...,Tf，...,$}，K表示待插補(bǔ)區(qū)域IR中存在K個(gè)三角剖分區(qū)域，表示任意一個(gè)三角剖分區(qū)域； 步驟c:計(jì)算三角剖分區(qū)域Tf對(duì)應(yīng)的深度曲面插補(bǔ)函數(shù)SFk ；
其中，Ck(X) = Cc^C1UWC2Vik，是二元線性多項(xiàng)式;X = (UIK，VIK)為待插補(bǔ)區(qū)域IR中的圖像像素點(diǎn)；PiU = I,2,...,Λ0為三角剖分區(qū)域7f的深度插補(bǔ)函數(shù)SFk(X)的插補(bǔ)采樣點(diǎn)，分別對(duì)應(yīng)三角剖分區(qū)域的三個(gè)角點(diǎn)am Pt)以及分別與三個(gè)角點(diǎn)直接鄰接的映射點(diǎn)，N為插補(bǔ)樣本點(diǎn)數(shù)目= 1，2，L，N)為待求解的加權(quán)系數(shù)，(xkj，ykj)為插值節(jié)點(diǎn)= 1,2,…,Λ0在二維圖像中圖像坐標(biāo)值，根據(jù)步驟2中的映射公式計(jì)算獲得；Zkj為插值節(jié)點(diǎn)= 2,...,#)在三維圖像中對(duì)應(yīng)匹配圖像點(diǎn)的深度信息，
為歐式范數(shù)，P是徑向基函數(shù)，實(shí)現(xiàn)二維空間IR2到一維空間IR的固定映射； 依據(jù)以下的插值約束條件求解深度曲面插補(bǔ)函數(shù)SFk:
步驟d:計(jì)算待插補(bǔ)區(qū)域中像素點(diǎn)對(duì)應(yīng)的空間三維信息； 對(duì)于任一三角剖分區(qū)域范圍內(nèi)的二維攝像機(jī)圖像素點(diǎn)= G，其對(duì)應(yīng)的空間三維信息計(jì)算如下:
即三角剖分區(qū)域:中的二維攝像機(jī)獲得的二維圖像素點(diǎn)
對(duì)應(yīng)的空間三維信息為
2.根據(jù)權(quán)利要求1所述的基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法，其特征在于，所述徑向基函數(shù)為
3.根據(jù)權(quán)利要求2所述的基于二維和三維攝像機(jī)融合的三維視覺信息獲取方法，其特

征在于，所述M2d為二維攝像機(jī)的內(nèi)參數(shù)矩陣
M3d為三維攝像機(jī)的內(nèi)參數(shù)矩陣:
R為二維攝像機(jī)坐標(biāo)系和三維攝像機(jī)坐標(biāo)系之間的相對(duì)三維空間旋轉(zhuǎn)變換矩陣:
T為空間平移關(guān)系變換矩陣
其中辦'?f =/3β/4ν3' f3D為三維攝像機(jī)焦距，dx3D，dy3D分別表示三維攝像機(jī)中每一個(gè)像素在X軸和Y軸方向上的物理尺寸；《uW，vu3°分別表示用像素量綱表示的三維攝像機(jī)主點(diǎn)的X軸和Y軸方向坐標(biāo)值； 其中《f =fD I dx1D ,of =f2D/dy2D ；嚴(yán)為二維攝像機(jī)焦距，dx2D, dy2D分別表示二維攝像機(jī)中每一個(gè)像素在X軸和Y軸方向上的物理尺寸；wf ,vf分別表示用像素量綱表示的二維攝像機(jī)主點(diǎn)的X軸和Y軸方向坐標(biāo)值。
【文檔編號(hào)】G06T3/40GK104134188SQ201410364765
【公開日】2014年11月5日 申請(qǐng)日期:2014年7月29日 優(yōu)先權(quán)日:2014年7月29日
【發(fā)明者】余洪山, 趙科, 藺薛菲, 王耀南, 孫煒, 朱江, 段偉, 代揚(yáng), 萬琴, 段峰, 謝久亮, 周鴻飛 申請(qǐng)人:湖南大學(xué)