一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)及方法，包括四個(gè)攝像機(jī)和云臺(tái)、橫向水平相機(jī)支架、縱向水平相機(jī)支架、圖像采集卡、計(jì)算機(jī)系統(tǒng)和位置傳感器；每個(gè)攝像機(jī)都安裝在一個(gè)云臺(tái)中，其中兩個(gè)攝像機(jī)固定在橫向水平支架上，另兩個(gè)攝像機(jī)固定在縱向水平支架上，位置傳感器安裝在車輛即將進(jìn)入攝像機(jī)的視野范圍的位置，用來感知車輛位置，并給計(jì)算機(jī)系統(tǒng)提供一個(gè)觸發(fā)信號(hào)。本發(fā)明不僅可以降低成本，而且具有自動(dòng)化、非接觸、精度高、適應(yīng)性強(qiáng)等優(yōu)點(diǎn)，可有效識(shí)別超限、超載等不法車輛，滿足汽車綜合性能檢測的需要，提高公路交通系統(tǒng)的監(jiān)控性能和車輛的管理水平。
【專利說明】一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)及方法。

【背景技術(shù)】
[0002] 近年來，由于車輛超限超載、違規(guī)改裝等導(dǎo)致的交通事故頻發(fā)，嚴(yán)重影響了國家財(cái) 產(chǎn)和人民生命安全。為了從源頭上有效禁止車輛超限超載、"大噸小標(biāo)"、非法改裝等問題， 確保車輛行駛安全，車輛外廓尺寸參數(shù)已成為汽車運(yùn)行安全檢測的重要內(nèi)容之一。
[0003] 通過對目前現(xiàn)有的車輛外廓尺寸的研究發(fā)現(xiàn)：目前，國內(nèi)公安車輛管理所、機(jī)動(dòng)車 檢測站等對車輛外廓尺寸檢驗(yàn)基本上延用過去用鋼卷尺等人工測量方法，檢驗(yàn)誤差大、效 率低、工作強(qiáng)度大，并且受人為因素的干擾。在三維檢測方面，主要采用全站儀、三坐標(biāo)測量 機(jī)等測量工具，體積大，結(jié)構(gòu)復(fù)雜，對測量條件要求苛刻，價(jià)格昂貴，不利于在汽車檢測領(lǐng)域 進(jìn)行推廣。視覺傳感器作為最接近于人類的感知方式，具有信息量大、適應(yīng)范圍廣和感應(yīng)時(shí) 間短等優(yōu)點(diǎn)，可應(yīng)用在車輛檢測中。國內(nèi)一些研究機(jī)構(gòu)和公司雖然從理論方面對車輛外廓 尺寸測量系統(tǒng)有過不同的研究，但國內(nèi)目前還沒有真正產(chǎn)品化和實(shí)用化的基于視覺的在用 車外廓尺寸自動(dòng)測量系統(tǒng)。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明為了解決上述問題，提出了一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)及 方法，本發(fā)明將機(jī)器視覺和汽車檢測相結(jié)合，根據(jù)車輛尺寸參數(shù)具有的特點(diǎn)，設(shè)計(jì)機(jī)器視覺 測量系統(tǒng)，利用圖像采集與預(yù)處理、圖像特征提取、圖像匹配、三維重建、運(yùn)動(dòng)估計(jì)等技術(shù)實(shí) 現(xiàn)汽車外形尺寸參數(shù)的自動(dòng)測量，可徹底解決人工測量誤差大、效率低、工作強(qiáng)度大等弊 端，具有自動(dòng)化、非接觸、精度高、通用性的特點(diǎn)，可有效辨認(rèn)超限、改裝等不法車輛，完善汽 車性能檢測技術(shù)，提高公路交通系統(tǒng)的監(jiān)控性能和車輛的管理水平。
[0005] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：
[0006] -種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)，包括四個(gè)攝像機(jī)和云臺(tái)、橫向水平 相機(jī)支架、縱向水平相機(jī)支架、圖像采集卡、計(jì)算機(jī)系統(tǒng)和位置傳感器；每個(gè)攝像機(jī)都安裝 在一個(gè)云臺(tái)中，其中兩個(gè)攝像機(jī)固定在橫向水平支架上，另兩個(gè)攝像機(jī)固定在縱向水平支 架上，位置傳感器安裝在車輛即將進(jìn)入攝像機(jī)的視野范圍的位置，用來感知車輛位置，并給 計(jì)算機(jī)系統(tǒng)提供一個(gè)觸發(fā)信號(hào)，啟動(dòng)測量系統(tǒng)，攝像機(jī)用來采集圖像，并將圖像像素轉(zhuǎn)換成 數(shù)字信號(hào)，通過圖像采集卡傳輸?shù)诫娔X中，以數(shù)據(jù)文件的形式保存在硬盤上。
[0007] 所述固定在橫向水平支架上的攝像機(jī)，組成一對雙目視覺傳感器，用來測量車身 覽度、車廂覽度。
[0008] 所述固定在縱向水平支架上的攝像機(jī)，組成一對雙目視覺傳感器，測量車身總長、 車身高度、車廂長度和車廂高度。
[0009] 所述云臺(tái)，用于實(shí)現(xiàn)對攝像機(jī)角度和距離參數(shù)的調(diào)節(jié)。
[0010] 所述計(jì)算機(jī)系統(tǒng)，用以處理圖像采集卡采集到的圖像數(shù)據(jù)，并對處理獲得的車輛 外廓尺寸進(jìn)行顯示。
[0011] 基于視覺的車輛外廓尺寸自動(dòng)測量方法，包括以下步驟：
[0012] (1)攝像機(jī)采集到圖像后，通過圖像采集卡傳輸?shù)接?jì)算機(jī)系統(tǒng)，計(jì)算機(jī)系統(tǒng)對圖像 進(jìn)行去噪聲、校正處理；
[0013] ⑵提取圖像的Harris角點(diǎn)特征和Canny邊緣特征；
[0014] (3)進(jìn)行特征點(diǎn)立體匹配，利用順序性約束、唯一性約束和連續(xù)性約束剔除誤匹 配，利用三維重建獲得相匹配的特征點(diǎn)的三維坐標(biāo)；
[0015] (4)對特征點(diǎn)進(jìn)行跟蹤匹配與圖像拼接；
[0016] (5)根據(jù)所有特征點(diǎn)的三維坐標(biāo)，進(jìn)行運(yùn)動(dòng)估計(jì)，獲得車輛的車身長度、車身寬度、 車身高度、車廂長度、車廂寬度信息。
[0017] 所述步驟（1)的具體方法，包括：
[0018] 步驟1-1 :攝像機(jī)采集到圖像后，通過圖像采集卡傳輸?shù)接?jì)算機(jī)系統(tǒng)，計(jì)算機(jī)系統(tǒng) 首先采用高斯濾波對圖像進(jìn)行去噪聲處理，減少圖像采集過程中噪聲的干擾，增加后續(xù)圖 像匹配成功的特征點(diǎn)數(shù)目；
[0019] 步驟1-2 :對高斯濾波后的圖像，計(jì)算機(jī)系統(tǒng)利用基于攝像機(jī)標(biāo)定參數(shù)的校正算 法對圖像進(jìn)行校正，使左右圖像中的對應(yīng)點(diǎn)分別在兩圖的相同像素行中，從而將特征點(diǎn)匹 配的搜索空間從二維降到一維的對極線上，提高后續(xù)特征點(diǎn)立體匹配的效率。
[0020] 所述步驟1-1的具體方法為：高斯濾波的過程：
[0021]

【權(quán)利要求】
1. 一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)，其特征是：包括四個(gè)攝像機(jī)和云臺(tái)、 橫向水平相機(jī)支架、縱向水平相機(jī)支架、圖像采集卡、計(jì)算機(jī)系統(tǒng)和位置傳感器；每個(gè)攝像 機(jī)都安裝在一個(gè)云臺(tái)中，其中兩個(gè)攝像機(jī)固定在橫向水平支架上，另兩個(gè)攝像機(jī)固定在縱 向水平支架上，位置傳感器安裝在車輛即將進(jìn)入攝像機(jī)的視野范圍的位置，用來感知車輛 位置，并給計(jì)算機(jī)系統(tǒng)提供一個(gè)觸發(fā)信號(hào)，啟動(dòng)測量系統(tǒng)，攝像機(jī)用來采集圖像，并將圖像 像素轉(zhuǎn)換成數(shù)字信號(hào)，通過圖像采集卡傳輸?shù)诫娔X中，以數(shù)據(jù)文件的形式保存在硬盤上。
2. 如權(quán)利要求1所述的一種基于視覺的車輛外廓尺寸自動(dòng)測量系統(tǒng)，其特征是：所述 固定在橫向水平支架上的攝像機(jī)，組成一對雙目視覺傳感器，用來測量車身寬度、車廂寬 度；所述固定在縱向水平支架上的攝像機(jī)，組成一對雙目視覺傳感器，測量車身長度、車身 高度、車廂長度和車廂高度；所述云臺(tái)，用于實(shí)現(xiàn)對攝像機(jī)角度和距離參數(shù)的調(diào)節(jié)；所述計(jì) 算機(jī)系統(tǒng)，用以處理圖像采集卡采集到的圖像數(shù)據(jù)，并對處理獲得的車輛側(cè)視圖和外廓尺 寸進(jìn)行顯示。
3. 基于權(quán)利要求1-2中任一項(xiàng)所述的系統(tǒng)的自動(dòng)測量方法，其特征是：包括以下步 驟： (1) 攝像機(jī)采集到圖像后，通過圖像采集卡傳輸?shù)接?jì)算機(jī)系統(tǒng)，計(jì)算機(jī)系統(tǒng)對圖像進(jìn)行 去噪聲、校正處理； (2) 提取圖像的Harris角點(diǎn)特征和Canny邊緣特征； (3) 進(jìn)行特征點(diǎn)立體匹配，利用順序性約束、唯一性約束和連續(xù)性約束剔除誤匹配，利 用三維重建獲得相匹配的特征點(diǎn)的三維坐標(biāo)； (4) 對特征點(diǎn)進(jìn)行跟蹤匹配與圖像拼接； (5) 根據(jù)所有特征點(diǎn)的三維坐標(biāo)，進(jìn)行運(yùn)動(dòng)估計(jì)，獲得車輛的車身長度、車身寬度、車身 高度、車廂長度、車廂寬度、車廂高度信息。
4. 如權(quán)利要求3所述的自動(dòng)測量方法，其特征是：所述步驟（1)的具體方法，包括： 步驟1-1 :攝像機(jī)采集到圖像后，通過圖像采集卡傳輸?shù)接?jì)算機(jī)系統(tǒng)，計(jì)算機(jī)系統(tǒng)首先 采用高斯濾波對圖像進(jìn)行去噪聲處理，減少圖像采集過程中噪聲的干擾，增加后續(xù)圖像匹 配成功的特征點(diǎn)數(shù)目； 步驟1-2 :對高斯濾波后的圖像，計(jì)算機(jī)系統(tǒng)利用基于攝像機(jī)標(biāo)定參數(shù)的校正算法對 圖像進(jìn)行校正，使左右圖像中的對應(yīng)點(diǎn)分別在兩圖的相同像素行中，從而將特征點(diǎn)匹配的 搜索空間從二維降到一維的對極線上，提高后續(xù)特征點(diǎn)立體匹配的效率。
5. 如權(quán)利要求4所述的自動(dòng)測量方法，其特征是：所述步驟1-1的具體方法為：高斯濾 波的過程：
式中，g(x，y)表示去噪處理后得到的圖像，f(x，y)表示圖像中的像素點(diǎn)，S為（x，y)點(diǎn) 鄰域中點(diǎn)的集合，即窗口模板，L是集合內(nèi)坐標(biāo)點(diǎn)的總數(shù)，為防止特征丟失，采用3X3的高 斯方形窗口，即：
所述步驟1-2,具體步驟為：根據(jù)攝像機(jī)的標(biāo)定參數(shù)計(jì)算左右攝像機(jī)的投影矩陣： Pol =Kl [RlITJ Poe =Ke [ReITJ 其中，I、Kk為左右攝像機(jī)的內(nèi)參數(shù)矩陣，&、?Υ、RK、Tk為左右攝像機(jī)的外部參數(shù)矩陣； 校正后，將左右攝像機(jī)新的投影矩陣分別定義為Pm和Pnk: Pnl =K[Rl-RcJ Pne =K[R|-Rce] 其中，K和R為經(jīng)過校正后的兩攝像機(jī)的內(nèi)參數(shù)矩陣和旋轉(zhuǎn)矩陣，cjPcK為左右攝像 機(jī)的光心坐標(biāo)； 根據(jù)左右視圖各自校正前后像素點(diǎn)坐標(biāo)的對應(yīng)，求出校正后圖像上各點(diǎn)的像素坐標(biāo)：
式中和?分別表示校正前、后左圖像像素點(diǎn)的齊次坐標(biāo)，和?分別表示校 正前、后右圖像像素點(diǎn)的齊次坐標(biāo)，其中左圖像指左攝像機(jī)采集的圖像，左攝像機(jī)是指兩組 攝像機(jī)中，橫向水平相機(jī)支架上面向汽車前進(jìn)方向左邊的攝像機(jī)和縱向水平支架上位于左 邊的攝像機(jī)，右圖像指右攝像機(jī)米集的圖像，右攝像機(jī)為另外兩臺(tái)攝像機(jī)。
6.如權(quán)利要求3所述的自動(dòng)測量方法，其特征是：所述步驟（2)中，其具體步驟： 步驟2-1 :對預(yù)處理后的圖像中的像素點(diǎn)（x，y)，計(jì)算X方向的差分Ix，y方向的差分Iy，w(x，y)表示窗口函數(shù)，?表示卷積操作，定義： d少，）?/，B=η!(Λ：,y)?Il^C=D=nf.Y,y)? (/Jv) 計(jì)算相關(guān)矩陣M: (AD\ M= [CB) 計(jì)算像素點(diǎn)（x，y)的Harris角點(diǎn)響應(yīng)： R= (AB-CD)2-k(A+B)2 式中k為常數(shù)，設(shè)定一個(gè)閾值T，在w(X，y)*w(x,y)范圍內(nèi)尋找極大值點(diǎn)，若Harris角 點(diǎn)響應(yīng)大于閾值T，則將該像素點(diǎn)視為Harris角點(diǎn)； 步驟2-2 :對預(yù)處理后的圖像，利用導(dǎo)數(shù)算子求出圖像灰度沿著X和y兩個(gè)方向的偏導(dǎo) 數(shù)（Gx，Gy)，求出梯度幅值： G=P：+ 計(jì)算梯度方向：
\ 入/ 對梯度幅值進(jìn)行非極大值抑制，找到Canny邊緣。
7. 如權(quán)利要求6所述的自動(dòng)測量方法，其特征是：所述步驟2-2中，圖像灰度沿著X和 y兩個(gè)方向的偏導(dǎo)數(shù)（Gx，Gy): Gx =[f(x+1,y)-f(x,y)+f(x+1,y+l)-f(x,y+l)]/2Gy =[f(x,y+l)-f(x,y)+f(x+1,y+l)-f(x+1,y)]/2 ； 所述步驟2-2中，將梯度角離散為圓周的四個(gè)扇區(qū)之一，四個(gè)扇區(qū)的標(biāo)號(hào)為O到3,對應(yīng) 3*3鄰域的四種可能組合，遍歷圖像，若某個(gè)像素的灰度值與其梯度方向上前后兩個(gè)像素的 灰度值相比不是最大的，那么這個(gè)像素值置為〇,即不是邊緣；獲得濾波后圖像的統(tǒng)計(jì)累積 直方圖，用累計(jì)統(tǒng)計(jì)直方圖得到一個(gè)高閾值T1，然后再取一個(gè)低閾值T2;若某個(gè)像素的灰度 值大于高閾值，那么它一定是邊緣；如果低于低閾值，那么它一定不是邊緣；如果在低閾值 和高閾值之間，判斷這個(gè)像素的鄰接像素中有沒有超過高閾值的邊緣像素：如果有那么它 就是邊緣，否則就不是邊緣。
8. 如權(quán)利要求3所述的自動(dòng)測量方法，其特征是：所述步驟（3)的具體方法包括： 步驟3-1 :以左圖像作為基準(zhǔn)圖，將左圖像中的Harris角點(diǎn)作為待匹配特征點(diǎn)，以右圖 像中和Harris角點(diǎn)同一行為中心的5行為搜索范圍，以相似性度量函數(shù)
為判斷依據(jù)，確定匹配特征點(diǎn)數(shù)據(jù)集，完成初始匹配；式中，I表示匹配窗口的灰度值，fmw表示匹配窗口，上標(biāo)L和R分別表示同時(shí)刻左右兩個(gè)攝像頭拍攝的圖像； 步驟3-2 :為了減少誤匹配，提高匹配準(zhǔn)確率，對初始匹配獲得的特征點(diǎn)對，利用順序 性約束、唯一性約束和連續(xù)性約束剔除誤匹配； 步驟3-3 :對左、右圖像匹配的特征點(diǎn)，根據(jù)攝像機(jī)標(biāo)定結(jié)果，獲得該特征點(diǎn)在車體坐 標(biāo)系下的三維坐標(biāo)； 步驟3-4 :對Canny邊緣特征點(diǎn)，重復(fù)上述步驟，獲得Canny邊緣特征點(diǎn)在車體坐標(biāo)系 下的三維坐標(biāo)。
9. 如權(quán)利要求3所述的自動(dòng)測量方法，其特征是：所述步驟（4)的具體方法為： 步驟4-1 :根據(jù)采集的相鄰幀圖像的實(shí)際情況設(shè)定跟蹤點(diǎn)匹配的搜索范圍，以減少計(jì) 算量，降低誤匹配率，仍以相似度函數(shù)YSSD為特征點(diǎn)匹配的判斷依據(jù)，并利用唯一性約束剔 除誤匹配； 步驟4-2 :特征點(diǎn)跟蹤匹配后，對相鄰兩時(shí)刻的圖像拼接，獲得車輛的側(cè)視圖，并通過 計(jì)算機(jī)系統(tǒng)顯示出來； 其特征是：所述步驟（5)的具體方法為： 將t時(shí)刻和t+Ι時(shí)刻匹配特征點(diǎn)的三維坐標(biāo)集合分別記為{pt，J和{qt+1，J，且pt，i= [Xt，i，Yt，i，Zt，JT，qt+1，i= [Xt+1，i;，Yt+1，"Zt+1，JT，i= 1，2,…，η，η表示t時(shí)刻和t+Ι時(shí)刻得到 的匹配點(diǎn)對數(shù)； 為了兼顧算法的實(shí)時(shí)性和精確度，采用一種魯棒的運(yùn)動(dòng)參數(shù)估計(jì)方法：首先用RANSCN結(jié)合單位四元數(shù)方法剔除數(shù)據(jù)中的誤匹配點(diǎn)并求出車體運(yùn)動(dòng)參數(shù)的預(yù)估值；然后從預(yù)估值 出發(fā)利用Levenberg-Marquardt非線性優(yōu)化算法，獲得更為精確的旋轉(zhuǎn)矩陣R和平移向量T； 所述步驟（5)的具體方法包括： 步驟5-1 :從前、后幀兩組對應(yīng)三維點(diǎn)集{pt，J和{qt+1，J中隨機(jī)選取3對點(diǎn)，將它們的 三維坐標(biāo)值代入公式 qt+i,i=RPt,i+T (1) 式中R和T分別表示三維旋轉(zhuǎn)矩陣和平移矢量，表明了被測車輛在t時(shí)刻和t+l時(shí)刻 之間位姿的變化； 利用單位四元數(shù)方法求解旋轉(zhuǎn)矩陣R和平移矢量T，定義距離閾值t，利用求出的旋轉(zhuǎn) 矩陣R和平移矢量T計(jì)算每對匹配點(diǎn)之間的歐式距離，若得出的歐式距離大于距離閾值t， 則該匹配點(diǎn)定義為外點(diǎn)，否則定義為內(nèi)點(diǎn)，經(jīng)過m次計(jì)算，選取內(nèi)點(diǎn)數(shù)目最多的一組重新求 取旋轉(zhuǎn)矩陣R和平移矢量T; 步驟5-2 :將步驟5-1中得到的旋轉(zhuǎn)矩陣R和平移矢量T作為迭代初始值，以反投影誤 差
最小作為優(yōu)化準(zhǔn)則，利用Levenberg-Marquardt非線性估計(jì)算法迭代出更精確的旋轉(zhuǎn) 矩陣R和平移矢量T。
10.如權(quán)利要求3所述的自動(dòng)測量方法，其特征是：所述步驟（6)的具體方法為：以初 始時(shí)刻的車體坐標(biāo)系作為基準(zhǔn)坐標(biāo)系，根據(jù)獲得的旋轉(zhuǎn)矩陣R和平移矢量T，將每一時(shí)刻圖 像中新出現(xiàn)特征點(diǎn)的三維坐標(biāo)[X，Υ，Ζ]τ轉(zhuǎn)換到初始時(shí)刻的坐標(biāo)系統(tǒng)中，獲得基準(zhǔn)坐標(biāo)系下 車輛上特征點(diǎn)的三維坐標(biāo)數(shù)據(jù)，車輛行駛通過后，根據(jù)所有特征點(diǎn)的三維坐標(biāo)，獲得車輛的 車身長度、車身寬度、車身高度、車廂長度、車廂寬度、車廂高度信息，并通過計(jì)算機(jī)系統(tǒng)顯 示出來。
【文檔編號(hào)】G01B11/02GK104236478SQ201410483838
【公開日】2014年12月24日 申請日期:2014年9月19日 優(yōu)先權(quán)日:2014年9月19日
【發(fā)明者】曹鳳萍, 王剛, 李愛娟, 徐傳燕, 邱緒云 申請人:山東交通學(xué)院