專(zhuān)利名稱(chēng)：一種基于雙目視覺(jué)的大形貌物體三維幾何外形測(cè)量方法
技術(shù)領(lǐng)域：
本發(fā)明是一種基于三維結(jié)構(gòu)光測(cè)量技術(shù)，尤其是快速非接觸式在軌物體超限檢 測(cè)方法，屬于計(jì)算機(jī)視覺(jué)測(cè)量技術(shù)領(lǐng)域。
背景技術(shù)：
近年來(lái)，國(guó)內(nèi)鐵路多次提速，特別是高速動(dòng)車(chē)組的運(yùn)行，列車(chē)的行駛速度越來(lái) 越快，這也對(duì)鐵路的安全提出了更高的要求。當(dāng)列車(chē)特別是貨運(yùn)列車(chē)超過(guò)正常行駛的空 間限制時(shí)，即稱(chēng)為超限，此時(shí)有可能造成嚴(yán)重的安全事故。因此，對(duì)鐵路貨運(yùn)列車(chē)等在 軌物體超限的測(cè)量是極其重要的。結(jié)構(gòu)光測(cè)量是一種非接觸式的三維形貌測(cè)量技術(shù)，可以應(yīng)用于在軌物體的超限 檢測(cè)中。以往的三維結(jié)構(gòu)光測(cè)量方法使用的是單目攝像機(jī)加激光光條提取的方法，但這 種方法不適合在室外有強(qiáng)自然光干擾的情況下使用，同時(shí)單目測(cè)量由于對(duì)轉(zhuǎn)臺(tái)機(jī)械精度 要求比較高，測(cè)量大形貌物體的時(shí)候也容易產(chǎn)生較大誤差。為了能夠在室外惡劣環(huán)境下 精確測(cè)量列車(chē)等大形貌物體的外貌尺寸，對(duì)機(jī)械精度要求較低的雙目視覺(jué)測(cè)量就發(fā)揮出 了特有的優(yōu)勢(shì)。發(fā)明問(wèn)題本發(fā)明的目的是提供基于雙目視覺(jué)的大形貌物體三維幾何外形測(cè)量方法，尤 其是一種在軌物體非接觸的超限測(cè)量方法，用于自動(dòng)測(cè)量在軌物體的外貌尺寸。本發(fā)明的技術(shù)方案是基于雙目視覺(jué)的大形貌物體三維幾何外形測(cè)量方法，即 在軌物體的雙目超限測(cè)量方法，使用基于結(jié)構(gòu)光測(cè)量的計(jì)算機(jī)視覺(jué)方法實(shí)現(xiàn)對(duì)在軌物體 三維形貌的非接觸式測(cè)量，具體過(guò)程如下利用計(jì)算機(jī)控制的激光器照射在軌物體上，用左右雙目攝像機(jī)對(duì)投射到在軌物 體上的激光圖像(可為垂直的線(xiàn)激光器產(chǎn)生的光條圖像或光點(diǎn)圖像)同時(shí)進(jìn)行差分拍攝； 通過(guò)計(jì)算機(jī)對(duì)雙目攝像機(jī)成像的激光光條圖像進(jìn)行三維匹配計(jì)算，得到雙目攝像機(jī)成像 的這條激光光條上所有在軌物體上的點(diǎn)的三維空間坐標(biāo)；轉(zhuǎn)動(dòng)激光器角度使激光光條能夠掃描或測(cè)量運(yùn)動(dòng)物體時(shí)經(jīng)一間隔時(shí)間來(lái)覆蓋所 有被測(cè)面，并重復(fù)上述操作，從而獲得整個(gè)被測(cè)面的三維空間模型及參數(shù)；通過(guò)對(duì)比在 軌物體三維形貌與軌道中垂面坐標(biāo)，計(jì)算機(jī)可以自動(dòng)做出尺寸判斷和超限判斷；計(jì)算機(jī)控制線(xiàn)激光器產(chǎn)生激光照射在物體被測(cè)面上，用兩個(gè)攝像頭分別采集一 張帶有激光光條的被測(cè)面的圖像；計(jì)算機(jī)控制激光器關(guān)閉照射，再用兩個(gè)攝像頭分別采 集一張沒(méi)有激光光條的被測(cè)面的圖像，將每個(gè)攝像機(jī)得到的圖片分別做差值，得到激光 光條圖像。匹配所得的像素點(diǎn)坐標(biāo)為亞像素級(jí)，Il和12是左右兩個(gè)攝像機(jī)的像平面，Cl和 C2分別是左右兩個(gè)攝像機(jī)的光心；P為空間中任意一點(diǎn)，它在左攝像機(jī)圖像平面上的像 點(diǎn)為ml，在右攝像機(jī)平面上的像點(diǎn)為m2;根據(jù)外極線(xiàn)幾何約束，外極線(xiàn)是Il和12平面 上P點(diǎn)與所述Il和12平面的交點(diǎn)與Cl和C2的連線(xiàn)交點(diǎn)的連線(xiàn)，m2應(yīng)位于ml在右圖
3像平面內(nèi)的外極線(xiàn)lm2上，同樣ml應(yīng)位于m2在左圖像平面內(nèi)的外極線(xiàn)Iml上，它們彼 此互為對(duì)應(yīng)點(diǎn)；由Cl，C2，P確定的平面II為外極面，ml的外極線(xiàn)lm2為外極面II與 右圖像平面的交線(xiàn)，m2的外極線(xiàn)Iml為外極面II與左圖像平面的交線(xiàn)，外極點(diǎn)el、e2為 Cl和C2的連線(xiàn)與左右圖像平面的交點(diǎn)，左圖像平面內(nèi)任何一點(diǎn)在右圖像平面內(nèi)的外極 線(xiàn)都要經(jīng)過(guò)外極點(diǎn)e2，左圖像平面上的點(diǎn)依然符合這種關(guān)系；即在左圖像平面的激光光 條上任取一點(diǎn)ml，它對(duì)應(yīng)著物體上激光線(xiàn)所覆蓋的一點(diǎn)P，根據(jù)外極線(xiàn)約束可知點(diǎn)P在 右圖中的投影一定出現(xiàn)在外極線(xiàn)Lm2上，并可求得線(xiàn)Lm2的方程，這樣就可以將二維匹 配點(diǎn)的尋找縮小到一維范圍內(nèi)；同時(shí)由于點(diǎn)P在右圖像平面上的投影也一定在激光光條 上，所以取右圖像平面中激光光條上距直線(xiàn)Lm2最近的兩個(gè)像素點(diǎn)Dl、Dr,求出這兩個(gè) 像素所在的直線(xiàn)方程L，那么直線(xiàn)L與Lm2的交點(diǎn)m2就是點(diǎn)P在圖12上的投影，且m2 的坐標(biāo)具有亞像素精度。通過(guò)兩個(gè)帶有濾光片的攝像頭消除環(huán)境雜散光的影響，適合在環(huán)境較惡劣的情 況下進(jìn)行測(cè)量。使用雙目測(cè)量方法，能夠在對(duì)機(jī)械加工和安裝精度要求不高的情況下對(duì)列車(chē)、 輪船等大形貌物體進(jìn)行精確測(cè)量。本發(fā)明的有益效果是本發(fā)明采用了結(jié)構(gòu)光三維檢測(cè)技術(shù)，并使用差分方法和 亞像素級(jí)的坐標(biāo)匹配，可以在室外惡劣環(huán)境下對(duì)在軌物體進(jìn)行快速、非接觸、高精度的 超限檢測(cè)，克服了現(xiàn)有超限測(cè)量的缺陷，極大地提高了測(cè)量效率和測(cè)量精度。


圖1是單目結(jié)構(gòu)光測(cè)量模型。圖中，①為橫梁，②是計(jì)算機(jī)，③是攝像機(jī)，⑥ 是線(xiàn)結(jié)構(gòu)激光器，⑤是轉(zhuǎn)臺(tái)，角α、β分別是攝像頭光軸和激光線(xiàn)與橫梁中心線(xiàn)之間的 夾角。橫梁兩端的卡具可以將轉(zhuǎn)臺(tái)中心、攝像頭焦點(diǎn)和橫梁中心固定在一條直線(xiàn)上。圖2是雙目結(jié)構(gòu)光測(cè)量模型。圖中，①為橫梁，②是計(jì)算機(jī)，③是攝像機(jī)1，④ 是攝像機(jī)2，⑤是轉(zhuǎn)臺(tái)，⑥是線(xiàn)結(jié)構(gòu)激光器。橫梁兩端和中心的卡具將轉(zhuǎn)臺(tái)中心，兩臺(tái)攝 像頭的焦點(diǎn)和橫梁中心固定在一條直線(xiàn)上。圖3是外極線(xiàn)匹配示意圖。如圖所示，空間中一點(diǎn)P在兩個(gè)攝像機(jī)像平面上的 投影點(diǎn)ml、m2必存在于由兩臺(tái)攝像機(jī)光心和點(diǎn)P構(gòu)成的平面上。圖4和圖5是雙目匹配示意圖，圖4是左圖，圖5是右圖，ml是左圖激光光條 上的一點(diǎn)，lm2是ml點(diǎn)在右圖上對(duì)應(yīng)的外極線(xiàn)，外極線(xiàn)與激光線(xiàn)的交點(diǎn)m2是ml在右圖 上的匹配點(diǎn)。圖6是亞像素級(jí)的坐標(biāo)匹配示意圖(右圖)，Dl和Dr分別是激光光條上距離外 極線(xiàn)最近的兩個(gè)像素點(diǎn)，L是Dl和Dr中心的連線(xiàn)，點(diǎn)m2是L與外極線(xiàn)lm2之間的交 點(diǎn)，也就是所要尋找的匹配點(diǎn)。
具體實(shí)施例方式以往的單目結(jié)構(gòu)光測(cè)量裝置如圖1所示，使用三角測(cè)量C點(diǎn)的位置需要精確知道 距離Lab和角度α，β。但是由于機(jī)械安裝和控制精度的限制，電機(jī)旋轉(zhuǎn)角β并不容 易控制，從而影響了測(cè)量精度。在這種情況下，雙目測(cè)量就體現(xiàn)出特有的優(yōu)勢(shì)。在雙目測(cè)量中攝像機(jī)的位置與姿態(tài)相對(duì)固定，因此距離Lab可視為恒定值，而角度α，β可以 通過(guò)圖像處理算法精確獲取，因而可以精確測(cè)量大形貌物體的外貌尺寸。該測(cè)量裝置由 基座、高功率線(xiàn)結(jié)構(gòu)激光器、兩個(gè)裝有濾光片的攝像頭、驅(qū)動(dòng)電路和計(jì)算機(jī)組成，如圖2 所示。攝像頭采集圖像數(shù)據(jù)，由計(jì)算機(jī)根據(jù)三維空間匹配關(guān)系計(jì)算出物體外貌尺寸。三維空間左右雙目匹配如圖3所示，Il和12是兩個(gè)攝像機(jī)的像平面，Cl和C2 分別是左右兩個(gè)攝像機(jī)的光心。P為空間中任意一點(diǎn)，它在左攝像機(jī)圖像平面上的像點(diǎn) 為ml，在右攝像機(jī)平面上的像點(diǎn)為m2。根據(jù)外極線(xiàn)(II和12平面上P點(diǎn)與所述Il和12 平面的交點(diǎn)與Cl和C2的連線(xiàn)交點(diǎn)的連線(xiàn))幾何約束，m2應(yīng)位于ml在右圖像平面內(nèi)的 外極線(xiàn)lm2上，同樣ml應(yīng)位于m2在左圖像平面內(nèi)的外極線(xiàn)Iml上，它們彼此互為對(duì)應(yīng) 點(diǎn)。由Cl，C2, P確定的平面II為外極面，ml的外極線(xiàn)lm2為外極面II與右圖像平面 的交線(xiàn)，m2的外極線(xiàn)Iml為外極面II與左圖像平面的交線(xiàn)，外極點(diǎn)el、e2為Cl和C2 的連線(xiàn)與左右圖像平面的交點(diǎn)(也是與外極線(xiàn)1ml、lm2的交點(diǎn))。根據(jù)雙目成像的透視 關(guān)系可知，左圖像平面內(nèi)任何一點(diǎn)在右圖像平面內(nèi)的外極線(xiàn)都要經(jīng)過(guò)外極點(diǎn)e2，左圖像 上的點(diǎn)依然符合這種關(guān)系。圖像匹配的具體方法如下定義空間點(diǎn)P的齊次坐標(biāo)為[X，y，ζ, 1]Τ,其在像平面上對(duì)應(yīng)點(diǎn)m的齊次像素 坐標(biāo)為[u，ν, 1],有
⑴這里，s為比例因子，M為透視矩陣，M = K · [RT]，其中K為攝像機(jī)內(nèi)參矩 陣，R，T分別為旋轉(zhuǎn)矩陣與平移向量。不失一般性，攝像機(jī)1、2的攝像機(jī)坐標(biāo)系為世界坐標(biāo)系，R、T分別為攝像機(jī)1 與攝像機(jī)2之間的空間變換旋轉(zhuǎn)矩陣和平移向量，Sl、S2為比例因子，mi、透視矩 陣，kp k2為攝像機(jī)內(nèi)參矩陣，則有tn, K— ；！(2)
(3)
由上式消去Si、s2可得
Oif d:。:RK:ii、 ν
式中，反對(duì)稱(chēng)矩陣，
⑷
由平移向量TCrxTyTz為平移分量)決定
(5)
令
E = [T]XR
IK'
則有
(7)
(6)
(8)
(9)
5
式(9)即雙目視覺(jué)中外極線(xiàn)幾何關(guān)系的描述，其中Im2 = Fm1為對(duì)應(yīng)In1的極線(xiàn)， Iml = FTm2為對(duì)應(yīng)m2的極線(xiàn)，矩陣F即為基本矩陣(Fundamental matrix)，它與攝像機(jī)內(nèi) 參數(shù)、攝像機(jī)之間的對(duì)應(yīng)位姿有關(guān)。根據(jù)標(biāo)定所得基本矩陣F，即可將兩圖像平面內(nèi)對(duì) 應(yīng)點(diǎn)的坐標(biāo)進(jìn)行匹配。獲得匹配的像素點(diǎn)后，根據(jù)攝像機(jī)內(nèi)外參數(shù)進(jìn)行計(jì)算，可以獲得該光條對(duì)應(yīng)物 體輪廓的三維坐標(biāo)。通過(guò)掃描激光器，可以實(shí)現(xiàn)對(duì)在軌物體外表面三維形貌的測(cè)量。再 與軌道中垂面的空間坐標(biāo)做對(duì)比，計(jì)算機(jī)就可以自動(dòng)做出超限判斷。在實(shí)驗(yàn)中，我們使用中心線(xiàn)寬為635nm的線(xiàn)激光器和濾光片，基線(xiàn)長(zhǎng)度1米， 被測(cè)點(diǎn)距極線(xiàn)距離為10米，經(jīng)過(guò)計(jì)算可知角α、β都是87.14度，F(xiàn)矩陣的值為F = -0.000000485008366 -0.000038768789204 0.007350632235932-0.000045784962796 -0.000001147668094 -0.7176627704400720.017100613104312 0.778959169714406 -32.324287848102870測(cè)量過(guò)程如下1)將線(xiàn)結(jié)構(gòu)激光照射到被測(cè)物體表面，用兩個(gè)攝像頭分別獲得一張包含激光光 條的圖像；2)關(guān)閉激光器，再用兩個(gè)攝像頭分別獲得一張沒(méi)有激光光條圖像；3)將每個(gè)攝像頭獲得的兩張圖像做差分處理，可以提高圖像的信噪比。同時(shí)由 于濾光片的作用，可以進(jìn)一步消除外界環(huán)境中雜散光的干擾，提高圖像的質(zhì)量。4)利用計(jì)算機(jī)對(duì)兩張激光光條圖像進(jìn)行匹配運(yùn)算，可以得到這條激光光條對(duì)應(yīng) 的物體輪廓的三維坐標(biāo)5)轉(zhuǎn)動(dòng)激光器角度，重復(fù)步驟1)到步驟4)，可以得到另一條線(xiàn)激光光條對(duì)應(yīng)的 物體輪廓的三維坐標(biāo)。連續(xù)掃描激光器，使激光光條能夠盡量覆蓋全物體的被測(cè)面。然 后將這些被測(cè)面的線(xiàn)進(jìn)行拼接，就可以得到物體的三維外貌尺寸。將被測(cè)面的坐標(biāo)與軌 道中垂面做對(duì)比，即可對(duì)在軌物體是否超限做出判斷。在步驟4)的三維圖像匹配運(yùn)算中，本方法使用的是基于外極線(xiàn)與線(xiàn)結(jié)構(gòu)光交點(diǎn) 的方法獲得亞像素級(jí)別的交點(diǎn)坐標(biāo)，具體方法如下對(duì)于圖4中激光光條上的一點(diǎn)ml，可根據(jù)外極線(xiàn)約束條件得到在圖5中對(duì)應(yīng)的 外極線(xiàn)方程lm2，如圖4、5所示，這樣就可以將二維的匹配點(diǎn)選擇縮小到一維范圍內(nèi)。 同時(shí)由于點(diǎn)ml在激光光條上，那么在右圖上的匹配點(diǎn)也應(yīng)該在激光光條之上，這樣根據(jù) 外極線(xiàn)約束和結(jié)構(gòu)光約束就可以求到匹配點(diǎn)的坐標(biāo)。在圖6中尋找到距離外極線(xiàn)最近的 激光光條像素Dl、Dr,連接Dl、Dr的直線(xiàn)與外極線(xiàn)的交點(diǎn)m2即為特征點(diǎn)ml在右圖中 所對(duì)應(yīng)的特征點(diǎn)，且點(diǎn)m2的坐標(biāo)具有亞像素精度。
權(quán)利要求
1.基于雙目視覺(jué)的大形貌物體三維幾何外形測(cè)量方法，即在軌物體的雙目超限測(cè)量 方法，其特征是使用基于結(jié)構(gòu)光測(cè)量的計(jì)算機(jī)視覺(jué)方法實(shí)現(xiàn)對(duì)在軌物體三維形貌的非接 觸式測(cè)量，具體過(guò)程如下利用計(jì)算機(jī)控制的線(xiàn)激光器照射在軌物體上，用左右雙目攝像機(jī)對(duì)投射到在軌物體 上的激光圖像同時(shí)進(jìn)行差分拍攝；通過(guò)計(jì)算機(jī)對(duì)雙目攝像機(jī)成像的激光光條圖像進(jìn)行三 維匹配計(jì)算，得到雙目攝像機(jī)成像的這條激光光條上所有在軌物體上的點(diǎn)的三維空間坐 標(biāo)；轉(zhuǎn)動(dòng)激光器角度使激光光條能夠掃描或測(cè)量運(yùn)動(dòng)物體時(shí)經(jīng)一間隔時(shí)間來(lái)覆蓋所有被 測(cè)面，并重復(fù)上述操作，從而獲得整個(gè)被測(cè)面的三維空間模型及參數(shù)；通過(guò)對(duì)比在軌物 體三維形貌與軌道中垂面坐標(biāo)，計(jì)算機(jī)可以自動(dòng)做出尺寸判斷和超限判斷；計(jì)算機(jī)控制線(xiàn)激光器產(chǎn)生激光照射在物體被測(cè)面上，用兩個(gè)攝像頭分別采集一張帶 有激光光條的被測(cè)面的圖像；計(jì)算機(jī)控制激光器關(guān)閉照射，再用兩個(gè)攝像頭分別采集一 張沒(méi)有激光光條的被測(cè)面的圖像，將每個(gè)攝像機(jī)得到的圖片分別做差值，得到激光光條 圖像。
2.根據(jù)權(quán)利要求1所述的基于雙目視覺(jué)的大形貌物體三維幾何外形測(cè)量方法，其特征 是匹配所得的像素點(diǎn)坐標(biāo)為亞像素級(jí)，11和12是左右兩個(gè)攝像機(jī)的像平面，Cl和C2分 別是左右兩個(gè)攝像機(jī)的光心；P為空間中任意一點(diǎn)，它在左攝像機(jī)圖像平面上的像點(diǎn)為 ml,在右攝像機(jī)平面上的像點(diǎn)為m2;根據(jù)外極線(xiàn)幾何約束，外極線(xiàn)是11和12平面上P 點(diǎn)與所述U和12平面的交點(diǎn)與Cl和C2的連線(xiàn)交點(diǎn)的連線(xiàn)，m2應(yīng)位于ml在右圖像平 面內(nèi)的外極線(xiàn)lm2上，同樣ml應(yīng)位于m2在左圖像平面內(nèi)的外極線(xiàn)Iml上，它們彼此互 為對(duì)應(yīng)點(diǎn)；由Cl，C2, P確定的平面II為外極面，ml的外極線(xiàn)lm2為外極面II與右圖 像平面的交線(xiàn)，m2的外極線(xiàn)Iml為外極面II與左圖像平面的交線(xiàn)，外極點(diǎn)el、e2為Cl 和C2的連線(xiàn)與左右圖像平面的交點(diǎn)，左圖像平面內(nèi)任何一點(diǎn)在右圖像平面內(nèi)的外極線(xiàn)都 要經(jīng)過(guò)外極點(diǎn)e2，左圖像平面上的點(diǎn)依然符合這種關(guān)系；即在左圖像平面的激光光條上 任取一點(diǎn)ml，它對(duì)應(yīng)著物體上激光線(xiàn)所覆蓋的一點(diǎn)P，根據(jù)外極線(xiàn)約束可知點(diǎn)P在右圖 中的投影一定出現(xiàn)在外極線(xiàn)Lm2上，并可求得線(xiàn)Lm2的方程，這樣就可以將二維匹配點(diǎn) 的尋找縮小到一維范圍內(nèi)；同時(shí)由于點(diǎn)P在右圖像平面上的投影也一定在激光光條上， 所以取右圖像平面中激光光條上距直線(xiàn)Lm2最近的兩個(gè)像素點(diǎn)Dl、Dr,求出這兩個(gè)像素 所在的直線(xiàn)方程L，那么直線(xiàn)L與Lm2的交點(diǎn)m2就是點(diǎn)P在圖12上的投影，且m2的坐 標(biāo)具有亞像素精度。
全文摘要
基于雙目視覺(jué)的大形貌物體三維幾何外形測(cè)量方法，使用基于結(jié)構(gòu)光測(cè)量的計(jì)算機(jī)視覺(jué)方法實(shí)現(xiàn)對(duì)在軌物體三維形貌的非接觸式測(cè)量，利用計(jì)算機(jī)控制的線(xiàn)激光器照射在軌物體上，用左右雙目攝像機(jī)對(duì)投射到在軌物體上的激光圖像同時(shí)進(jìn)行差分拍攝；通過(guò)計(jì)算機(jī)對(duì)雙目攝像機(jī)成像的激光光條圖像進(jìn)行三維匹配計(jì)算，得到雙目攝像機(jī)成像的這條激光光條上所有在軌物體上的點(diǎn)的三維空間坐標(biāo)；轉(zhuǎn)動(dòng)激光器角度使激光光條能夠掃描或測(cè)量運(yùn)動(dòng)物體時(shí)經(jīng)一間隔時(shí)間來(lái)覆蓋所有被測(cè)面，并重復(fù)上述操作，從而獲得整個(gè)被測(cè)面的三維空間模型及參數(shù)；通過(guò)對(duì)比在軌物體三維形貌與軌道中垂面坐標(biāo)，計(jì)算機(jī)可以自動(dòng)做出尺寸判斷和超限判斷，可以實(shí)現(xiàn)對(duì)物體外表面三維形貌的測(cè)量。
文檔編號(hào)G01B11/24GK102012217SQ20101051150
公開(kāi)日2011年4月13日 申請(qǐng)日期2010年10月19日 優(yōu)先權(quán)日2010年10月19日
發(fā)明者張旭蘋(píng), 張益昕, 汪家其, 王順 申請(qǐng)人:南京大學(xué)