專利名稱:一種從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及智能交通監(jiān)控領(lǐng)域,該方法屬于圖像處理和模式識(shí)別技術(shù)領(lǐng)域范疇, 是一種從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法。
背景技術(shù):
在智能交通監(jiān)控領(lǐng)域中,準(zhǔn)確的獲得車輛的位置、姿態(tài)、輪廓等信息有著廣泛的應(yīng) 用范圍,例如統(tǒng)計(jì)車流量、車牌識(shí)別、車型分類等應(yīng)用。隨著科技水平的進(jìn)步,近來已經(jīng)有了 許多種交通視頻監(jiān)控系統(tǒng)可以檢測車輛的位置、尺寸等信息,但是目前依然存在兩個(gè)問題: 第一,現(xiàn)有的車輛的識(shí)別技術(shù)還無法準(zhǔn)確獲得車輛的三維輪廓的信息,這給進(jìn)一步的應(yīng)用 帶來很大困難,導(dǎo)致現(xiàn)有的這些系統(tǒng)應(yīng)用都是采用近似的計(jì)算結(jié)果(例如根據(jù)車輛長度進(jìn) 行車輛分類),誤差較大。第二,一個(gè)現(xiàn)實(shí)問題是隨著城市交通越來越擁擠,交通視頻監(jiān)控圖 像中的車輛通常存在遮擋現(xiàn)象,這給識(shí)別車輛帶來困難,遮擋現(xiàn)象通常會(huì)使車輛識(shí)別系統(tǒng) 的性能下降。如果不能夠識(shí)別被遮擋的車輛,將不能滿足交通視頻監(jiān)控系統(tǒng)在擁堵繁忙的 交通環(huán)境下的使用要求。因此,為了滿足現(xiàn)實(shí)環(huán)境對(duì)于智能交通監(jiān)控系統(tǒng)中車輛信息獲取的要求,要求監(jiān) 控系統(tǒng)不僅能夠準(zhǔn)確地識(shí)別車輛的位置、姿態(tài)和三維輪廓,還要求監(jiān)控系統(tǒng)可以在車輛存 在遮擋的情況下具有良好的適應(yīng)性。這正是本發(fā)明試圖解決的問題。
發(fā)明內(nèi)容
本發(fā)明目的在于從一幀交通視頻監(jiān)控圖像中,識(shí)別車輛的位置、姿態(tài)和三維輪 廓,并計(jì)算出車輛的三維輪廓的實(shí)際尺寸,即使在車輛存在遮擋的情況下,也可以計(jì)算出車 輛的位置、姿態(tài)和三維輪廓信息。為了實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明提供一種從交通圖像中檢測車輛位置、姿態(tài)和三 維輪廓的方法,所述方法包括以下步驟步驟Sl 設(shè)定象征活動(dòng)基元模型,所述象征活動(dòng)基元模型屬于形變模板,由一些 Gabor濾波器組成,每個(gè)Gabor濾波器可以在一定的小范圍內(nèi)改變位置和角度;步驟S2 將圖像中的每個(gè)像素位置都與一個(gè)象征活動(dòng)基元模型進(jìn)行匹配,如果在 這個(gè)像素位置有一輛車輛存在,則匹配的得分就會(huì)比較高;反之如果在這個(gè)像素位置沒有 車輛存在,則匹配的得分較低,根據(jù)得分的高低來檢測出圖像中車輛的位置;步驟S3 對(duì)圖像中可能存在的車輛遮擋進(jìn)行處理如果圖像中一輛車輛的一部分 被遮擋,這輛車與象征活動(dòng)基元模型的匹配得分就比未被遮擋的車輛得分要低;利用現(xiàn)實(shí) 世界的車輛在正常情況下車輛相互不接觸和不重疊的現(xiàn)實(shí)依據(jù)對(duì)遮擋情況下的車輛進(jìn)行 識(shí)別,找到圖像中與象征活動(dòng)基元模型匹配得分高的位置,并且得分高的位置上的車輛三 維輪廓在世界坐標(biāo)中具有相互不重疊的特征,則此得分高的位置就是檢測出來的車輛;由 于象征活動(dòng)基元模型確定了車輛的輪廓,結(jié)合已檢測出來的車輛和其確定的位置,就獲得 車輛的姿態(tài)和輪廓;
步驟S4 根據(jù)攝像機(jī)標(biāo)定參數(shù)的結(jié)果提供了三維世界坐標(biāo)和二維圖像坐標(biāo)轉(zhuǎn)換 的關(guān)系,將圖像中已檢測出來的車輛輪廓依據(jù)攝像機(jī)標(biāo)定參數(shù)轉(zhuǎn)換到世界坐標(biāo)中,計(jì)算出 車輛的三維輪廓的實(shí)際尺寸。本發(fā)明與現(xiàn)有技術(shù)相比優(yōu)點(diǎn)在于(1)本發(fā)明使用一種獨(dú)創(chuàng)的形變模板-象征活動(dòng)基元模型-檢測和識(shí)別車輛的位 置、姿態(tài)和輪廓。象征活動(dòng)基元模型具有良好的形變性,可以適用于檢測具有不同顏色、尺 寸、形狀的車輛,象征活動(dòng)基元模型具有較好的魯棒性,適用于各種復(fù)雜的智能交通監(jiān)控系 統(tǒng)中車輛的檢測和識(shí)別。(2)本發(fā)明使用一種獨(dú)創(chuàng)的方法對(duì)智能交通監(jiān)控領(lǐng)域中常見的車輛遮擋問題進(jìn)行 了處理,該方法通過估計(jì)多個(gè)車輛三維輪廓的相容性,解決了遮擋車輛的檢測和識(shí)別問題。(3)本發(fā)明檢測出了車輛的三維輪廓,為解決例如車型分類、車牌識(shí)別等問題,提 供了一種方法基礎(chǔ)。本發(fā)明對(duì)于交通監(jiān)控系統(tǒng)中各種常見的拍攝角度都有良好的適應(yīng)性,可以從各種 不同的角度觀察檢測出的車輛三維輪廓,可以用于車型識(shí)別、車牌識(shí)別、車輛行為判斷。
圖1是本發(fā)明的從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法的流程圖。圖2是本發(fā)明中獨(dú)創(chuàng)的象征活動(dòng)基元模型的示意圖。圖3是本發(fā)明中獨(dú)創(chuàng)的處理車輛遮擋的示意圖。圖4是本發(fā)明中計(jì)算車輛三維輪廓實(shí)際尺寸的示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白,以下結(jié)合具體實(shí)施例,并參照 附圖,對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。如圖1本發(fā)明的從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法的流程圖所 示,整體流程分為5個(gè)部分a)是數(shù)字?jǐn)z像機(jī)采集的一幀圖像,b)采用象征活動(dòng)基元模型識(shí) 別圖像中的位置、姿態(tài)、輪廓,c)處理車輛之間存在遮擋的問題,d)計(jì)算車輛三維輪廓的尺 寸,最后得到車輛的三維輪廓的尺寸。由于得到了車輛的三維輪廓的實(shí)際尺寸,所以可以從 各種角度觀察車輛的三維輪廓,e)顯示了從兩個(gè)角度觀察車輛的三維輪廓的結(jié)果,左邊的 圖像是從拍攝視角顯示車輛三維輪廓,右邊的圖像是從俯視視角顯示車輛的三維輪廓。如圖2所示,本發(fā)明中獨(dú)創(chuàng)的象征活動(dòng)基元模型是由一些伽柏(Gabor)濾波器組 成。第一行顯示了一輛車的象征活動(dòng)基元模型,其中每一個(gè)黑線段為一個(gè)Gabor濾波器,第 二行表示這個(gè)模型可以分解為5個(gè)部分,第三行表示這5個(gè)部分可以進(jìn)一步分解為一些簡 單的Gabor濾波器,這些Gabor濾波器具有不同的尺寸(大小)和方向,第四行和第五行表 示需要利用這些Gabor濾波器對(duì)圖像進(jìn)行識(shí)別。設(shè)定象征活動(dòng)基元模型的步驟如下步驟Sll 給定一幀圖像I,在某個(gè)像素點(diǎn)X,y的伽柏(Gabor)函數(shù)為G(x> y) α e{-[(x/as)2+(y/ay)2]/2}eix
式中,G(x,y)為Gabor函數(shù);x,y為圖像的某一像素位置;ο x,0y*G(x,y)的設(shè) 置參數(shù);e為數(shù)學(xué)常數(shù),即自然對(duì)數(shù)函數(shù)的底數(shù);ix為虛部。步驟S12 對(duì)G (x, y)進(jìn)行旋轉(zhuǎn)和縮放,得到BX,y,S,a(X',y') = G(x/sx ,y/sy)/(sx2 + Sy2)在Bx,y,s,a(x',y')中,χ --- (χ' — χ) COSOL — (y' — y)sinay = (χ' — x)sina — (y — y)cosaS = [sx, sy]式中,Bx,y,s,a(x',y')為對(duì)G(x,y)旋轉(zhuǎn)和縮放后的結(jié)果;S,夕為中間變量;x,y 為圖像的某一像素位置;Χ' ,ι'為X,y附近的一個(gè)像素位置;S表示縮放的尺度,其中Sx, Sy分別為X,y方向的縮放尺度;α表示旋轉(zhuǎn)的角度;cos為余弦函數(shù);sin為正弦函數(shù)。顯 然,由不同的參數(shù)值X' ,1',a,s會(huì)得到不同的Bx,y,s,a(x' ,y'),所以這些參數(shù)的設(shè)定 會(huì)影響到識(shí)別的結(jié)果。這些參數(shù)是通過對(duì)實(shí)際圖像樣本的學(xué)習(xí)確定的。步驟S13 由于目的是檢測圖像中的車輛,所以根據(jù)“稀疏編碼”理論,可以認(rèn)為圖 像是由車輛和非車輛兩類目標(biāo)組成,表示為下式
J式中,I為一幅圖像;CAR表示一輛車輛,由11個(gè)&組成,Bi = BXi,yi,Si,ai ; U表示
圖像中除了車輛以外的其它信息;Ci是設(shè)定系數(shù),m表示圖像中車輛的數(shù)量;車輛是由一些 Gabor函數(shù)的變形Bi組成。該式表示了圖像是由車輛和非車輛信息組成,車輛是由一些Gabor函數(shù)的變形Bi 組成。利用象征活動(dòng)基元模型檢測圖像中車輛的步驟為是將象征活動(dòng)基元模型與圖像中 的每個(gè)像素位置進(jìn)行匹配,模型匹配的公式如下
M(x,y) = Z m^ (MATCH (I, ΒΧ +叫 yi+Ayi,明+Δα ))r—^ ΔχΕ^δ ,δ ] xy
1= Aye[-6f,6f]
Δα£ [-SfjSf]式中,M(χ, y)表示對(duì)圖像的某個(gè)像素位置進(jìn)行匹配的得分;nB表示民成而而 濾波器的數(shù)量;MATCH 0表示使用一個(gè)Bwpi,Cti濾波器對(duì)圖像I進(jìn)行匹配;Xi,Yi為 圖像的像素位置;81表示縮放的尺度;、表示旋轉(zhuǎn)的角度;ΔΧ,Δγ, Δ α表示每 個(gè)'BXi +ΔΧ ,^+Δγ^ ,α +Δ^濾波器可以在設(shè)定的范圍內(nèi)移動(dòng)和旋轉(zhuǎn)以便獲得最佳的 匹配值;[一δ},碎],[-δ ,δ ], [―δ『,δ〖]分別表示Δχ, Δγ, Δ α的范圍。由于 Bxi+/^,器可以在設(shè)定的范圍內(nèi)移動(dòng)和旋轉(zhuǎn),所以對(duì)于不同形狀和姿態(tài) 的車輛都有良好的識(shí)別結(jié)果。M(x, y)值越高在x,y位置處越可能有一車輛存在,根據(jù)實(shí)際圖像樣本的學(xué)習(xí)結(jié) 果,可以設(shè)定一個(gè)閾值,匹配結(jié)果大于這一閾值的就是一輛檢測出來的車輛,車輛的位置、
6姿態(tài)和輪廓由象征活動(dòng)基元模型的參數(shù)決定。如圖3所示,本發(fā)明中獨(dú)創(chuàng)的處理車輛遮擋的方法的原理是雖然二維圖像中的 車輛可能存在遮擋,但是對(duì)于三維世界存在的車輛來說,一般情況下車輛之間沒有重疊,所 以可以估計(jì)出圖像中的車輛的三維尺寸,根據(jù)估計(jì)結(jié)果,可以判斷車輛在三維世界中是否 存在遮擋(如果估計(jì)出車輛在三維世界中存在遮擋,則這個(gè)估計(jì)是錯(cuò)誤的,反正則說明估 計(jì)是正確的)。對(duì)于圖像中可能存在的車輛遮擋進(jìn)行處理的方法為對(duì)于一幅圖像,生成 與圖像有相同像素尺寸的得分表,記錄在圖像中每個(gè)像素位置的象征活動(dòng)基元模型匹配得 分,得分表示象征活動(dòng)基元模型在該像素位置的匹配程度,得分越高表示匹配越相似,找到 得分表中的得分最大的且互不相容的像素位置即車輛的位置,所述互不相容是車輛的三維 輪廓在三維世界坐標(biāo)中不重疊。其計(jì)算步驟如下1、首先計(jì)算出對(duì)一幅圖像進(jìn)行象征活動(dòng)基元模型匹配的結(jié)果獲得匹配的得分表, 得分表中的每個(gè)位置標(biāo)記為非車輛。2、找到得分表中未被標(biāo)記為車輛的位置中最大值記為Mi。即在得分表中標(biāo)記為非 車輛的位置中,找到最大值記為Mi。3、如果Mi小于一個(gè)設(shè)定的閾值T,則結(jié)束整個(gè)過程;4、如果Mi大于一個(gè)設(shè)定的閾值T,則計(jì)算下式
權(quán)利要求
一種從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法,包括以下步驟步驟S1設(shè)定象征活動(dòng)基元模型,所述象征活動(dòng)基元模型屬于形變模板,由一些Gabor濾波器組成,每個(gè)Gabor濾波器可以在一定的小范圍內(nèi)改變位置和角度;步驟S2將圖像中的每個(gè)像素位置都與一個(gè)象征活動(dòng)基元模型進(jìn)行匹配,如果在這個(gè)像素位置有一輛車輛存在,則匹配的得分就會(huì)比較高;反之如果在這個(gè)像素位置沒有車輛存在,則匹配的得分較低,根據(jù)得分的高低來檢測出圖像中車輛的位置;步驟S3對(duì)圖像中可能存在的車輛遮擋進(jìn)行處理如果圖像中一輛車輛的一部分被遮擋,這輛車與象征活動(dòng)基元模型的匹配得分就比未被遮擋的車輛得分要低;利用現(xiàn)實(shí)世界的車輛在正常情況下車輛相互不接觸和不重疊的現(xiàn)實(shí)依據(jù)對(duì)遮擋情況下的車輛進(jìn)行識(shí)別,找到圖像中與象征活動(dòng)基元模型匹配得分高的位置,并且得分高的位置上的車輛三維輪廓在世界坐標(biāo)中具有相互不重疊的特征,則此得分高的位置就是檢測出來的車輛;由于象征活動(dòng)基元模型確定了車輛的輪廓,結(jié)合已檢測出來的車輛和其確定的位置,就獲得車輛的姿態(tài)和輪廓;步驟S4根據(jù)攝像機(jī)標(biāo)定參數(shù)的結(jié)果提供了三維世界坐標(biāo)和二維圖像坐標(biāo)轉(zhuǎn)換的關(guān)系,將圖像中已檢測出來的車輛輪廓依據(jù)攝像機(jī)標(biāo)定參數(shù)轉(zhuǎn)換到世界坐標(biāo)中,計(jì)算出車輛的三維輪廓的實(shí)際尺寸。
2.根據(jù)權(quán)利要求1所述的從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法,其特 征在于,設(shè)定象征活動(dòng)基元模型的步驟如下步驟Sll 對(duì)于給定的一幀圖像I,其在某個(gè)像素點(diǎn)X,y的Gabor函數(shù)為G(Xi7) OC ef [(x~)2+(y/ )2]/2}一式中,G(x,y)為Gabor函數(shù);x,y為圖像的某一像素位置;ο x,。y*G(x,y)的設(shè)置參 數(shù);e為數(shù)學(xué)常數(shù),即自然對(duì)數(shù)函數(shù)的底數(shù);ix為虛部; 步驟S12 對(duì)G(x,y)進(jìn)行旋轉(zhuǎn)和縮放,得到 Bw,a(x'y) = G(x/sx,y/sy)/(sx2 + sy2)在 Bx,y,s,a(x' ,y')中, χ = (χ — x)cosa — (y — y)sinay = (χ — x)sina — (y — y)cosaS — [Sx,Sy]式中,Bx,y,s,a(X',y')為對(duì)G(x,y)旋轉(zhuǎn)和縮放后的結(jié)果;S,夕為中間變量;X,y為 圖像的某一像素位置;χ' ,ι'為x,y附近的一個(gè)像素位置;s表示縮放的尺度,其中^,Sy 分別為X,y方向的縮放尺度;α表示旋轉(zhuǎn)的角度;COS為余弦函數(shù);sin為正弦函數(shù);步驟S13 根據(jù)稀疏編碼理論檢測交通圖像中的車輛,設(shè)定圖像是由車輛和非車輛兩 類目標(biāo)組成表示為下式 I = Σ ι CARj + U CAR = ΣΓ=ι CiBi式中,I為一幅圖像;CAR表示一輛車輛,由11個(gè)&組成,Bi = BXi,yi,Si,ai;U表示圖像中除了車輛以外的其它信息;Ci是設(shè)定系數(shù),m表示圖像中車輛的數(shù)量;車輛是由一些Gabor 函數(shù)的變形Bi組成。
3.根據(jù)權(quán)利要求1所述的從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法,其特 征在于利用象征活動(dòng)基元模型檢測圖像中車輛的步驟為是將象征活動(dòng)基元模型與圖像 中的每個(gè)像素位置進(jìn)行匹配,匹配過程如下式M(x,y) = E^1 max^eh5f 5f3 (MATCH (I, Dxi +ΔΧ ,γ +AyirSbCCi+Aai J JAye卜砣對(duì)] Aae[-6f,6f]式中,M(x,y)表示對(duì)圖像的某個(gè)像素位置進(jìn)行匹配的得分;nB表示BXi,yi,Si,ai濾 波器的數(shù)量;MATCH O表示使用一個(gè)BxiiybSi^i濾波器對(duì)圖像I進(jìn)行匹配;Xi,yi為圖 像的像素位置;Si表示縮放的尺度;、表示旋轉(zhuǎn)的角度;ΔΧ,Δγ, Δ α表示每個(gè) BxdA^yrNiyi, 《,^ 濾波器可以在設(shè)定的范圍內(nèi)移動(dòng)和旋轉(zhuǎn)以便獲得最佳的匹配值; 1-δΙ,δΙ], [-δ ,δ ], [_δ『,δΠ分別表示 Δχ, ΔΥ, Δ α 的范圍;M(x, y)值越高在x,y位置處越可能有一車輛存在,根據(jù)實(shí)際圖像的學(xué)習(xí)結(jié)果,設(shè)定一 個(gè)閾值,匹配結(jié)果大于這一閾值的就是一輛檢測出來的車輛;利用象征活動(dòng)基元模型確定 了車輛的輪廓,結(jié)合已檢測出來的車輛和其確定的位置獲得車輛的姿態(tài)和輪廓。
4.根據(jù)權(quán)利要求1所述的從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法,其特 征在于,對(duì)圖像中可能存在的車輛遮擋進(jìn)行處理的步驟為對(duì)于一幅圖像,生成與所述圖像 有相同像素尺寸的得分表,記錄在圖像中每個(gè)像素位置的象征活動(dòng)基元模型匹配得分,得 分表示象征活動(dòng)基元模型在該像素位置的匹配程度,得分越高表示匹配越相似,找到得分 表中的得分最大的且互不相容的像素位置即車輛的位置;所述互不相容是車輛的三維輪廓 在世界坐標(biāo)中不重疊。
5.根據(jù)權(quán)利要求1所述的從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法,其特 征在于,根據(jù)攝像機(jī)標(biāo)定的結(jié)果和檢測出來的車輛輪廓,計(jì)算車輛三維輪廓在世界坐標(biāo)中 的尺寸,其步驟為步驟41、根據(jù)象征活動(dòng)基元模型識(shí)別的結(jié)果,計(jì)算出車輛中軸線在地面的投影,記為 IineG ;步驟42、計(jì)算車輛輪廓中與中軸線垂直且與地面平行的橫線的中垂線與IineG相交獲 得交點(diǎn)分別為 pointCl,pointC2,...;步驟43、根據(jù)交點(diǎn)pointCl,pointC2,...計(jì)算出橫線的實(shí)際高度,并以此計(jì)算出車輛 三維輪廓的實(shí)際尺寸。
全文摘要
本發(fā)明是一種從交通圖像中檢測車輛位置、姿態(tài)和三維輪廓的方法,該方法利用一個(gè)數(shù)字?jǐn)z像機(jī)對(duì)交通場景進(jìn)行圖像采集,采用象征活動(dòng)基元模型檢測車輛的位置、姿態(tài)和輪廓,對(duì)于可能存在的車輛遮擋現(xiàn)象進(jìn)行了處理,最后根據(jù)數(shù)字?jǐn)z像機(jī)的標(biāo)定結(jié)果和已識(shí)別出的車輛輪廓計(jì)算出車輛三維輪廓的實(shí)際尺寸。本發(fā)明對(duì)于交通監(jiān)控系統(tǒng)中各種常見的拍攝角度都有良好的適應(yīng)性,可以從各種不同的角度觀察檢測出的車輛三維輪廓,可以用于車型識(shí)別、車牌識(shí)別、車輛行為判斷。
文檔編號(hào)G06T7/00GK101976341SQ20101026467
公開日2011年2月16日 申請(qǐng)日期2010年8月27日 優(yōu)先權(quán)日2010年8月27日
發(fā)明者湯淑明, 王飛躍, 顧原 申請(qǐng)人:中國科學(xué)院自動(dòng)化研究所