本發(fā)明涉及車輛控制領(lǐng)域,尤其是涉及一種基于后視單目相機(jī)的多列車鉸接角測(cè)量方法。
背景技術(shù):
鉸接角是多列車的重要?jiǎng)恿W(xué)狀態(tài),準(zhǔn)確的測(cè)量多列車輛鉸接角可以有利于此類車輛主動(dòng)安全系統(tǒng)的應(yīng)用欲開發(fā),如多列車主動(dòng)轉(zhuǎn)向與多列車倒車系統(tǒng)等。與本發(fā)明相關(guān)的現(xiàn)有技術(shù)分為如下兩類:
1.接觸式測(cè)量傳感器:如旋轉(zhuǎn)電位器安裝在重型車第五輪位置。
2.非接觸式測(cè)量傳感器:如超聲波傳感器和視覺傳感器等。
接觸式測(cè)量傳感器或超聲波傳感器只適用于某種特定的鉸接形式(如第五輪鉸接);已有的視覺傳感器只適用于特定的牽引車-掛車連接,并不是一個(gè)獨(dú)立于掛車的系統(tǒng),更換掛車會(huì)使傳感器失效。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明主要是解決現(xiàn)有技術(shù)所存在的適用范圍小的技術(shù)問題,提供一種不局限于特定的鉸接形式、具有較廣的適用范圍、更換掛車仍然可以正常工作的基于后視單目相機(jī)的多列車鉸接角測(cè)量方法。
本發(fā)明針對(duì)上述技術(shù)問題主要是通過(guò)下述技術(shù)方案得以解決的:一種基于后視單目相機(jī)的多列車鉸接角測(cè)量方法,包括以下步驟:
S1、從單目相機(jī)獲取當(dāng)前時(shí)刻的原始圖像,單目相機(jī)安裝在牽引車后端并朝向掛車;
S2、對(duì)原始圖像進(jìn)行預(yù)處理;
S3、確定預(yù)處理后原始圖像的感興趣區(qū)域;
S4、對(duì)預(yù)處理后圖像的感興趣區(qū)域進(jìn)行FAST特征點(diǎn)提??;
S5、基于步驟S4所提取的FAST特征點(diǎn),生成SURF特征向量;
S6、對(duì)于所提取的SURF特征向量,利用FLANN特征匹配庫(kù)對(duì)當(dāng)前時(shí)刻的原始圖像和參考圖像進(jìn)行特征匹配;
S7、利用RANSAC選取正確匹配樣本,計(jì)算Homography矩陣;
S8、對(duì)計(jì)算所得Homography矩陣進(jìn)行奇異值分解,獲得相機(jī)轉(zhuǎn)動(dòng)信息R,即為多列車的鉸接角。
作為優(yōu)選,所述參考圖像為由單目相機(jī)獲得的鉸接角為0°、+90°和-90°三種情況下的圖像,對(duì)此三種情況下的圖像按以下方式處理:
A1、對(duì)參考圖像進(jìn)行預(yù)處理;
A2、確定預(yù)處理后的參考圖像的感興趣區(qū)域;
A3、對(duì)參考圖像的感興趣區(qū)域進(jìn)行FAST特征點(diǎn)提?。?/p>
A4、基于步驟A3所提取的FAST特征點(diǎn),生成SURF特征向量;
A5、將SURF特征向量存入內(nèi)存。
作為優(yōu)選,所述預(yù)處理包括灰度化處理和除畸變處理。
作為優(yōu)選,所述圖像的感興趣區(qū)域?yàn)闈撛趻燔嚽捌矫媾c側(cè)平面部分,確定方法為根據(jù)參考圖片中對(duì)應(yīng)掛車前平面與側(cè)平面對(duì)應(yīng)矩形區(qū)域?yàn)榛鶞?zhǔn)按比例系數(shù)k放大,比例系數(shù)k為預(yù)設(shè)參數(shù)。
作為優(yōu)選,步驟S6中,若前一時(shí)刻鉸接角大于45°,則選用90°的參考圖像的SURF特征向量進(jìn)行匹配;若前一時(shí)刻鉸接角小于-45°,則選用-90°的參考圖像的SURF特征向量進(jìn)行匹配;若前一時(shí)刻鉸接角為45°到-45°,則選用0°的參考圖像的SURF特征向量進(jìn)行匹配。
作為優(yōu)選,所述步驟S7具體為:
通過(guò)m個(gè)循環(huán),隨機(jī)選取4個(gè)匹配特征,計(jì)算Homography矩陣,對(duì)剩余特征按該矩陣匹配結(jié)果進(jìn)行打分,像素點(diǎn)匹配距離小于某閾值M,則視為正確匹配,選取打分最高的Homography矩陣,利用其對(duì)應(yīng)的所有正確匹配特征對(duì),重新計(jì)算得到最終Homography矩陣;中循環(huán)數(shù)m與距離閾值M均為預(yù)設(shè)值。
作為優(yōu)選,所述Homography矩陣表示為:其中,R為相機(jī)平動(dòng)信息,T為相機(jī)轉(zhuǎn)動(dòng)信息,d為圖像平面對(duì)應(yīng)的深度,N為圖像平面對(duì)應(yīng)的法向信息,K為相機(jī)內(nèi)部參數(shù)矩陣,α為比例系數(shù),α取決于相機(jī)安裝高度,步驟S7具體為:對(duì)計(jì)算所得Homography矩陣進(jìn)行奇異值分解,獲得相機(jī)平動(dòng)信息T與轉(zhuǎn)動(dòng)信息R;令:
Σ=diag(σ1,σ2,σ3),V=[v1,v2,v3]
這是對(duì)奇異值分解結(jié)果,Σ為對(duì)角矩陣,V為向量,σ1,σ2,σ3以及v1,v2,v3為對(duì)應(yīng)數(shù)值;
上述奇異值分解理論上有四組解,如下所示:
解1:
解2:
解3:
R3=R1,N3=-N1,
解4:
R4=R2,N4=-N2,
選擇方向最接近于上一時(shí)刻法向量N′的法向量N對(duì)應(yīng)的該組解,N′的初始法向量為[0,0,1]。
本方案主要解決了以下幾個(gè)方面的問題:
1.單目圖像預(yù)處理–通過(guò)測(cè)量單目相機(jī)參數(shù),對(duì)所采集圖像進(jìn)行除畸變。
2.圖像感興趣區(qū)域確定–確定圖像中掛車前表面與側(cè)表面區(qū)域。
3.掛車平面特征點(diǎn)提取–利用FAST特征點(diǎn),提取掛車前表面或側(cè)表面平面特征,并用SURF特征點(diǎn)進(jìn)行描述。
4.掛車平面特征點(diǎn)匹配–利用FLANN特征匹配算法庫(kù)對(duì)當(dāng)前圖片所提取的特征點(diǎn)與已知角度圖片庫(kù)表面特征進(jìn)行特征匹配,并計(jì)算Homography矩陣。
5.鉸接角信息提取–通過(guò)對(duì)Homography矩陣進(jìn)行奇異值分解,獲取相機(jī)的旋轉(zhuǎn)運(yùn)動(dòng)信息,即為拖掛車輛的鉸接角信息。
本發(fā)明帶來(lái)的實(shí)質(zhì)性效果是,相機(jī)安裝于牽引車后部,成本較低,實(shí)時(shí)性較好,并且獨(dú)立于掛車單元,可集成于牽引車的傳感系統(tǒng),無(wú)需改變安裝位置即可以適用于不同的掛車系統(tǒng),應(yīng)用性較廣。
附圖說(shuō)明
圖1是本發(fā)明的一種流程圖;
圖2是本發(fā)明的一種系統(tǒng)結(jié)構(gòu)示意圖;
圖中:1、牽引車,2、掛車,3、單目后視相機(jī)。
具體實(shí)施方式
下面通過(guò)實(shí)施例,并結(jié)合附圖,對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體的說(shuō)明。
實(shí)施例:本實(shí)施例的一種基于后視單目相機(jī)的多列車鉸接角測(cè)量方法,流程圖如圖1所示。單目后視相機(jī)圖像為本系統(tǒng)的輸入,多列集裝箱車輛鉸接角為本系統(tǒng)的輸出。詳細(xì)的算法模塊功能介紹如下:
1.通過(guò)單目后視相機(jī)3獲取RGB格式圖像,如圖2所示,單目后視相機(jī)安裝在牽引車1后端并朝向掛車2。
2.對(duì)圖像進(jìn)行預(yù)處理,主要包括灰度化以及除畸變。
3.獲取參考圖片,即0°與±90°鉸接角對(duì)應(yīng)的掛車圖片,并進(jìn)行預(yù)處理(步驟2)以及特征提取(步驟5和6)并存入內(nèi)存。
4.確定圖像感興趣區(qū)域(ROI),即潛在掛車前平面與側(cè)平面部分,根據(jù)牽引車幾何信息以及前一時(shí)刻鉸接角估算可得。
5.對(duì)圖像感興趣區(qū)域進(jìn)行FAST特征點(diǎn)提取。
6.基于所提取的FAST特征點(diǎn),生成SURF特征向量。
7.對(duì)于所提取的SURF特征向量,利用FLANN特征匹配庫(kù)對(duì)當(dāng)前時(shí)刻圖片與參考圖片感興趣區(qū)域進(jìn)行特征匹配。若前一時(shí)刻鉸接角絕對(duì)值大于45°,與掛車相應(yīng)側(cè)平面(±90°)參考特征進(jìn)行比較;反之,則與掛車前平面(0°)特征進(jìn)行比較。
8.利用RANSAC選取正確匹配樣本,計(jì)算Homography矩陣。
9.對(duì)計(jì)算所得Homography矩陣進(jìn)行奇異值分解,獲得相機(jī)轉(zhuǎn)動(dòng)信息R,即為重型拖掛車輛的鉸接角。
本發(fā)明基于FAST特征點(diǎn)與SURF特征描述進(jìn)行圖像特征運(yùn)算。此特征描述方法不受旋轉(zhuǎn)縮放等因素的影響,并且可進(jìn)行實(shí)時(shí)運(yùn)算。此方法只應(yīng)用單目相機(jī),硬件成本較低,且安裝位置方便易調(diào)節(jié)。此外,該方法是基于牽引車的鉸接角測(cè)量系統(tǒng),因而適用于不同掛車單元。
此外,還可以利用SIFT特征提取等方法代替FAST特征提?。?/p>
可以通過(guò)旋轉(zhuǎn)參考圖片生成參考圖片特征庫(kù)(-90°到90°),然后利用基于模板的匹配方法,通過(guò)相關(guān)運(yùn)算(correlation)選取最接近匹配角度而獲得鉸接角。
本方案所涉及的部分技術(shù)名稱解釋如下:
FAST:此特征檢測(cè)算法來(lái)源于corner的定義,采用機(jī)器學(xué)習(xí)的方法,按如下標(biāo)準(zhǔn)定義特征點(diǎn):對(duì)于某像素點(diǎn)p,以其為中心的16個(gè)像素點(diǎn),若其中有n個(gè)連續(xù)的像素點(diǎn)亮度值均大于p點(diǎn)亮度加上某閾值t(或小于p點(diǎn)亮度減去某閾值t),則p為特征點(diǎn);可設(shè)置參數(shù)為像素點(diǎn)數(shù)n,亮度閾值t以及是否使用非極大值抑制(Non-Maximum Suppression)。此特征點(diǎn)檢測(cè)是公認(rèn)的比較快速的特征點(diǎn)檢測(cè)方法,只利用周圍像素比較的信息就可以得到特征點(diǎn),簡(jiǎn)單,有效。該方法多用于角點(diǎn)檢測(cè)。
SURF:一種具有尺度與旋轉(zhuǎn)特征不變性的特征描述算法,描述性強(qiáng),速度快。過(guò)程包括基于上述特征圓的特征向量方向分配以及基于4*4子集的二維哈爾小波求和的特征值分配。
FLANN:一種快速近似最近鄰搜索函數(shù)庫(kù),自動(dòng)選擇兩個(gè)近似最近鄰算法(K-d決策樹以及優(yōu)先搜索K-均值決策樹)中最優(yōu)的算法。
RANSAC:一種魯棒的回歸方法,用于排除不匹配特征信息。
Homography:兩張圖像中對(duì)應(yīng)匹配特征點(diǎn)的投影變換矩陣。
SIFT:尺度不變特征轉(zhuǎn)換(SIFT)算法是一種特征提取的方法。它在尺度空間中尋找極值點(diǎn),并提取出其位置、尺度、旋轉(zhuǎn)不變量,并以此作為特征點(diǎn)并利用特征點(diǎn)的鄰域產(chǎn)生特征向量。SIFT算法對(duì)于光線、噪聲、和微小視角改變的容忍度相當(dāng)高,且對(duì)于部分遮擋的物體也有較高的識(shí)別相率。
本文中所描述的具體實(shí)施例僅僅是對(duì)本發(fā)明精神作舉例說(shuō)明。本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員可以對(duì)所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代,但并不會(huì)偏離本發(fā)明的精神或者超越所附權(quán)利要求書所定義的范圍。
盡管本文較多地使用了牽引車、Homography矩陣、掛車等術(shù)語(yǔ),但并不排除使用其它術(shù)語(yǔ)的可能性。使用這些術(shù)語(yǔ)僅僅是為了更方便地描述和解釋本發(fā)明的本質(zhì);把它們解釋成任何一種附加的限制都是與本發(fā)明精神相違背的。