基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法
【專利摘要】本發(fā)明公開了一種基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法，它涉及計(jì)算機(jī)視覺領(lǐng)域中的圖像測(cè)距【技術(shù)領(lǐng)域】。其方法步驟：讀入Ladybug相機(jī)采集的各鏡頭圖像序列；各相機(jī)分別進(jìn)行姿態(tài)估計(jì)；在相鄰兩幀中分別選擇兩次待測(cè)距離起點(diǎn)和終點(diǎn)；計(jì)算起點(diǎn)和終點(diǎn)分別所屬相機(jī)索引號(hào)；計(jì)算起點(diǎn)和終點(diǎn)的局部三維坐標(biāo)；局部三維坐標(biāo)轉(zhuǎn)為統(tǒng)一坐標(biāo)系下三維坐標(biāo)；計(jì)算統(tǒng)一坐標(biāo)系下起點(diǎn)和終點(diǎn)間虛擬距離；Xsense獲取車載相機(jī)速度和加速度；擬合兩幀間車載相機(jī)間距；計(jì)算比例因子；計(jì)算起點(diǎn)和終點(diǎn)間實(shí)際三維空間距離。本發(fā)明能夠?qū)崿F(xiàn)起點(diǎn)和終點(diǎn)落入不同相機(jī)下的距離測(cè)量，進(jìn)而實(shí)現(xiàn)360度測(cè)量任意一段距離。
【專利說明】基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域中的圖像測(cè)距【技術(shù)領(lǐng)域】,具體涉及一種基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法。
【背景技術(shù)】
[0002]圖像測(cè)距技術(shù)涉及特征點(diǎn)檢測(cè)與匹配、攝像機(jī)標(biāo)定和姿態(tài)估計(jì)、將虛擬距離轉(zhuǎn)換為空間實(shí)際距離等技術(shù)。
[0003]其中“將虛擬距離轉(zhuǎn)換為空間實(shí)際距離”技術(shù)一般利用地面控制點(diǎn)實(shí)現(xiàn)，本發(fā)明在未知地面控制點(diǎn)的情況下，利用Xsense數(shù)據(jù)計(jì)算出空間實(shí)際距離與虛擬距離間的比例因子，實(shí)現(xiàn)實(shí)際距離測(cè)量。
[0004]傳統(tǒng)的圖像測(cè)量一般利用某個(gè)方向上的相機(jī)圖像，只能測(cè)量該方位上的實(shí)際距離。

【發(fā)明內(nèi)容】

[0005]有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供一種基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法，利用Ladybug全景相機(jī)360度全方位拍攝空間景物，將各鏡頭的局部坐標(biāo)統(tǒng)一到Ladybug全局坐標(biāo)系下，實(shí)現(xiàn)起點(diǎn)和終點(diǎn)落入不同相機(jī)下的距離測(cè)量，進(jìn)而實(shí)現(xiàn)360度測(cè)量任意一段距離。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法，其特征在于，其方法步驟為:
[0007](I)、讀入Ladybug相機(jī)采集的各鏡頭圖像序列:在Ladybug相機(jī)采集過程中，每個(gè)鏡頭都會(huì)采集一系列序列圖像；
[0008](2)、各相機(jī)分別進(jìn)行姿態(tài)估計(jì):在各相機(jī)的內(nèi)參矩陣K已知的前提下，利用Bundle對(duì)各鏡頭序列圖像進(jìn)行相機(jī)姿態(tài)估計(jì)；
[0009](3)、在相鄰兩幀中分別選擇兩次待測(cè)距尚起點(diǎn)和終點(diǎn):在起始幀選擇一次起點(diǎn)Pd和終點(diǎn)qo，在下一幀選擇一次相同的起點(diǎn)P1和相同的終點(diǎn)Q1 ;
[0010](4)、計(jì)算起點(diǎn)和終點(diǎn)分別所屬相機(jī)索引號(hào):根據(jù)Ladybug提供的API函數(shù)獲取兩次起點(diǎn)所屬的相機(jī)索引號(hào)CamIdStart和兩次終點(diǎn)所屬的相機(jī)索引號(hào)CamIdEnd ；
[0011](5)、計(jì)算起點(diǎn)和終點(diǎn)的局部三維坐標(biāo)--第2步獲取了相機(jī)的內(nèi)外參數(shù)，根據(jù)三角測(cè)量理論和CamIdStart號(hào)相機(jī)的內(nèi)外參數(shù)計(jì)算Pci和P1兩圖像點(diǎn)所對(duì)應(yīng)的三維空間點(diǎn)坐標(biāo)Pstart ;同理計(jì)算出qo和Q1兩圖像點(diǎn)所對(duì)應(yīng)的三維空間點(diǎn)坐標(biāo)Qmd ;
[0012](6)、局部三維坐標(biāo)轉(zhuǎn)為統(tǒng)一坐標(biāo)系下三維坐標(biāo):將第5步中的不同的坐標(biāo)系下的三維坐標(biāo)Pstart和Qend轉(zhuǎn)換到同一坐標(biāo)系下；
[0013](7)、計(jì)算統(tǒng)一坐標(biāo)系下起點(diǎn)和終點(diǎn)間虛擬距離:利用向量間歐式距離計(jì)算起點(diǎn)和終點(diǎn)在統(tǒng)一坐標(biāo)系下的間距DisVir ；
[0014](8)、Xsense獲取車載相機(jī)速度和加速度:在車載Ladybug采集圖像的同時(shí),硬件Xsense會(huì)實(shí)時(shí)記錄車輛在采樣點(diǎn)上的速度和加速度，分別獲取相鄰兩幀采樣點(diǎn)的速度和加速度:v0，a0, Vi, Ei1 ；
[0015](9)、擬合兩幀間車載相機(jī)間距:已知兩點(diǎn)的速度和加速度:vQ，a0, v2, a2，利用四階多項(xiàng)式擬合相鄰兩幀采樣點(diǎn)間的距離DisGap ；
[0016](10)、計(jì)算比例因子 :根據(jù)車輛在兩采樣點(diǎn)間實(shí)際間距DisGap和兩點(diǎn)相機(jī)間變換關(guān)系，計(jì)算實(shí)際距離與虛擬三維距離間的比例因子；
[0017](11)、計(jì)算起點(diǎn)和終點(diǎn)間實(shí)際三維空間距離:根據(jù)比例因子Scale計(jì)算出起點(diǎn)和終點(diǎn)間虛擬距離DisVir對(duì)應(yīng)的實(shí)際空間距離DisAct。
[0018]所述的步驟(6)的局部坐標(biāo)系下坐標(biāo)轉(zhuǎn)為統(tǒng)一坐標(biāo)系下坐標(biāo)的具備步驟為:在Ladybug全景相機(jī)里，每個(gè)鏡頭相機(jī)定義了一個(gè)統(tǒng)一的全局坐標(biāo)系，每個(gè)局部相機(jī)坐標(biāo)系與Ladybug全局坐標(biāo)系間存在一個(gè)唯一的變換關(guān)系，即矩陣H,該變換關(guān)系通過Ladybug提供的 API 函數(shù) IadybugGetCameraUnitExtrinsics O 獲得；
[0019]設(shè)世界坐標(biāo)系下某空間點(diǎn)Q在某局部相機(jī)坐標(biāo)下坐標(biāo)為Qf1,該局部相機(jī)坐標(biāo)系與Ladybug全局坐標(biāo)系間變換矩陣為H，該點(diǎn)在Ladybug全局坐標(biāo)系下坐標(biāo)為QLadybug,則它們滿足如下關(guān)系:
[0020]Ql^dybug-H.Qlocal 公式 1
[0021]選定的世界坐標(biāo)系與鏡頭相機(jī)坐標(biāo)系間的關(guān)系通過相機(jī)的旋轉(zhuǎn)矩陣R和平移向量T獲得，設(shè)點(diǎn)Q是世界坐標(biāo)系下某空間點(diǎn)，R和T是某相機(jī)在世界坐標(biāo)系下的位置姿態(tài)，Qloc31為該點(diǎn)Q在該相機(jī)坐標(biāo)系下的坐標(biāo)，則關(guān)系如下:
【權(quán)利要求】
1.基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法，其特征在于，其方法步驟為: (1)、讀入Ladybug相機(jī)采集的各鏡頭圖像序列:在Ladybug相機(jī)采集過程中，每個(gè)鏡頭都會(huì)采集一系列序列圖像； (2)、各相機(jī)分別進(jìn)行姿態(tài)估計(jì):在各相機(jī)的內(nèi)參矩陣K已知的前提下，利用Bundle對(duì)各鏡頭序列圖像進(jìn)行相機(jī)姿態(tài)估計(jì)； (3)、在相鄰兩幀中分別選擇兩次待測(cè)距離起點(diǎn)和終點(diǎn):在起始幀選擇一次起點(diǎn)Ptl和終點(diǎn)qo，在下一幀選擇一次相同的起點(diǎn)P1和相同的終點(diǎn)Q1: (4)、計(jì)算起點(diǎn)和終點(diǎn)分別所屬相機(jī)索引號(hào):根據(jù)Ladybug提供的API函數(shù)獲取兩次起點(diǎn)所屬的相機(jī)索引號(hào)CamIdStart和兩次終點(diǎn)所屬的相機(jī)索引號(hào)CamIdEnd ； (5)、計(jì)算起點(diǎn)和終點(diǎn)的局部三維坐標(biāo):第2步獲取了相機(jī)的內(nèi)外參數(shù)，根據(jù)三角測(cè)量理論和CamIdStart號(hào)相機(jī)的內(nèi)外參數(shù)計(jì)算Pci和P1兩圖像點(diǎn)所對(duì)應(yīng)的三維空間點(diǎn)坐標(biāo)Pstart ;同理計(jì)算出qo和Q1兩圖像點(diǎn)所對(duì)應(yīng)的三維空間點(diǎn)坐標(biāo)Qmd ; (6)、局部三維坐標(biāo)轉(zhuǎn)為統(tǒng)一坐標(biāo)系下三維坐標(biāo):將第5步中的不同的坐標(biāo)系下的三維坐標(biāo)Pstart和Qmd轉(zhuǎn)換到同一坐標(biāo)系下； (7)、計(jì)算統(tǒng)一坐標(biāo)系下起點(diǎn)和終點(diǎn)間虛擬距離:利用向量間歐式距離計(jì)算起點(diǎn)和終點(diǎn)在統(tǒng)一坐標(biāo)系下的間距DisVir ； (8)、Xsense獲取車載相機(jī)速度和加速度:在車載Ladybug采集圖像的同時(shí)，硬件Xsense會(huì)實(shí)時(shí)記錄車輛在采 樣點(diǎn)上的速度和加速度，分別獲取相鄰兩幀采樣點(diǎn)的速度和加速度:v0，a0, V1, Ei1 ； (9)、擬合兩幀間車載相機(jī)間距:已知兩點(diǎn)的速度和加速度:V(I，a0,v2, a2，利用四階多項(xiàng)式擬合相鄰兩幀采樣點(diǎn)間的距離DisGap ； (10)、計(jì)算比例因子:根據(jù)車輛在兩采樣點(diǎn)間實(shí)際間距DisGap和兩點(diǎn)相機(jī)間變換關(guān)系，計(jì)算實(shí)際距離與虛擬三維距離間的比例因子； (11)、計(jì)算起點(diǎn)和終點(diǎn)間實(shí)際三維空間距離:根據(jù)比例因子Scale計(jì)算出起點(diǎn)和終點(diǎn)間虛擬距離DisVir對(duì)應(yīng)的實(shí)際空間距離DisAct。
2.根據(jù)權(quán)利要求1所述的基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法,其特征在于，所述的步驟(6)的局部坐標(biāo)系下坐標(biāo)轉(zhuǎn)為統(tǒng)一坐標(biāo)系下坐標(biāo)的具備步驟為:在Ladybug全景相機(jī)里，每個(gè)鏡頭相機(jī)定義了一個(gè)統(tǒng)一的全局坐標(biāo)系，每個(gè)局部相機(jī)坐標(biāo)系與Ladybug全局坐標(biāo)系間存在一個(gè)唯一的變換關(guān)系，即矩陣H,該變換關(guān)系通過Ladybug提供的 API 函數(shù) IadybugGetCameraUnitExtrinsics O 獲得； 設(shè)世界坐標(biāo)系下某空間點(diǎn)Q在某局部相機(jī)坐標(biāo)下坐標(biāo)為Q^1，該局部相機(jī)坐標(biāo)系與Ladybug全局坐標(biāo)系間變換矩陣為H，該點(diǎn)在Ladybug全局坐標(biāo)系下坐標(biāo)為Q^lybug,則它們滿足如下關(guān)系:
^Ladybug H ^Local
公式I 選定的世界坐標(biāo)系與鏡頭相機(jī)坐標(biāo)系間的關(guān)系通過相機(jī)的旋轉(zhuǎn)矩陣R和平移向量T獲得，設(shè)點(diǎn)Q是世界坐標(biāo)系下某空間點(diǎn)，R和T是某相機(jī)在世界坐標(biāo)系下的位置姿態(tài)，Qloc31,為該點(diǎn)Q在該相機(jī)坐標(biāo)系下的坐標(biāo)，則關(guān)系如下:
{P T? T、
Jx ~ Iv I QLocal = ηχ.Q公式 2
Vu 1 J根據(jù)公式I和公式2H 口可將不同世界坐標(biāo)系下的不同空間點(diǎn)表示到統(tǒng)一 Ladybug全局坐標(biāo)系下。
3.根據(jù)權(quán)利要求1所述的基于Ladybug全景相機(jī)圖像的360度全方位測(cè)距算法，其特征在于，所述步驟(10)中，計(jì)算比例因子的公式為: Scale=DisGap' / DisGap 公式 3 其中，在所述第2步的相機(jī)姿態(tài)估計(jì)中，可計(jì)算同一索引號(hào)相機(jī)在相鄰兩幀中各自相對(duì)世界坐標(biāo)系的位置姿態(tài)，則相鄰兩幀相機(jī)的平移向量間的歐式距離即為該索引號(hào)相機(jī)在兩幀處的虛擬間距DisGap'。
【文檔編號(hào)】G06T7/00GK103903263SQ201410114919
【公開日】2014年7月2日 申請(qǐng)日期:2014年3月26日 優(yōu)先權(quán)日:2014年3月26日
【發(fā)明者】胡伏原, 吳宏杰, 嚴(yán)蔚嵐, 翟金鑫 申請(qǐng)人:蘇州科技學(xué)院