專(zhuān)利名稱(chēng)：交通監(jiān)視環(huán)境下的攝像機(jī)標(biāo)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種交通監(jiān)視環(huán)境下的攝像機(jī)標(biāo)定方法，主要用于交通監(jiān)視環(huán)境下攝像機(jī)方位參數(shù)和焦距的求取，為基于視頻的各種交通信息的實(shí)時(shí)準(zhǔn)確檢測(cè)提供基本保證。屬于智能交通技術(shù)領(lǐng)域。
背景技術(shù)：
通過(guò)交通智能監(jiān)控系統(tǒng)實(shí)現(xiàn)交通信息的自動(dòng)采集和處理是各國(guó)乃至全球智能交通系統(tǒng)(ITS，Intelligent Transportation System)中最基本要素之一，隨著傳感器技術(shù)、通信與網(wǎng)絡(luò)技術(shù)以及模式識(shí)別、圖像處理與計(jì)算機(jī)視覺(jué)等高新技術(shù)的發(fā)展，智能交通信息監(jiān)測(cè)技術(shù)也得到長(zhǎng)足的進(jìn)展。一般說(shuō)來(lái)，交通狀態(tài)和交通流量數(shù)據(jù)可通過(guò)各種類(lèi)型的傳感器獲得，如埋藏于路面下的電感傳感器和設(shè)置于路面上的雷達(dá)、紅外線、超聲波、微波傳感器等等。但是由于這些“點(diǎn)”傳感器所獲取的信號(hào)不直觀，檢測(cè)精度不高而且監(jiān)測(cè)范圍和檢測(cè)參數(shù)都非常有限，不能提供全面而直接的交通信息。近年來(lái)，以攝像機(jī)等視覺(jué)傳感器和計(jì)算機(jī)視覺(jué)理論為基礎(chǔ)的車(chē)輛識(shí)別與交通運(yùn)行狀態(tài)檢測(cè)技術(shù)已經(jīng)逐漸成熟，開(kāi)始應(yīng)用于交通信息的自動(dòng)采集與處理過(guò)程中，在不需要人的干預(yù)、或者只需要很少干預(yù)的情況下，通過(guò)對(duì)攝像機(jī)拍錄的視頻序列分析實(shí)現(xiàn)動(dòng)靜態(tài)車(chē)輛的檢測(cè)、分割、識(shí)別和跟蹤，判斷車(chē)輛的行為，提取交通狀態(tài)信息并予以適當(dāng)控制和誘導(dǎo)，實(shí)現(xiàn)對(duì)交通系統(tǒng)的有效管理。攝像機(jī)標(biāo)定是一個(gè)必要和基本的處理步驟，它可以確定兩維圖像坐標(biāo)和三維世界坐標(biāo)之間的映射關(guān)系，是車(chē)速、車(chē)型、事故勘察等與空間尺寸相關(guān)的交通信息有效提取的前提和基本保證。
在計(jì)算機(jī)視覺(jué)、工業(yè)測(cè)量、智能機(jī)器人導(dǎo)航以及質(zhì)量控制等領(lǐng)域，針對(duì)各種具體應(yīng)用場(chǎng)合，人們常用的攝像機(jī)標(biāo)定方法有以下幾種(1)利用三維結(jié)構(gòu)的標(biāo)定塊與圖像點(diǎn)的對(duì)應(yīng)點(diǎn)進(jìn)行標(biāo)定的方法；(2)利用消失點(diǎn)標(biāo)定的方法，這種方法利用平行線在圖像中形成的消失點(diǎn)和消失線的性質(zhì)來(lái)求解攝像機(jī)參數(shù)；(3)利用平面對(duì)應(yīng)矩陣標(biāo)定的方法；(4)基于對(duì)應(yīng)點(diǎn)的自標(biāo)定方法，該方法利用攝像機(jī)在兩組平移或旋轉(zhuǎn)中拍攝的序列圖像之間的對(duì)應(yīng)關(guān)系求取攝像機(jī)的內(nèi)參數(shù)等等。這些方法由于沒(méi)有考慮交通場(chǎng)景的特殊性和交通景物的具體特點(diǎn)，當(dāng)用在視頻交通監(jiān)控場(chǎng)合時(shí)存在一定的缺點(diǎn)，缺乏具體的針對(duì)性和通用性。對(duì)于交通場(chǎng)景中的攝像機(jī)標(biāo)定過(guò)程而言，標(biāo)定目標(biāo)的方便快捷地提取和辨識(shí)是一個(gè)必不可少的步驟和要求?；诼访嫔舷噜徿?chē)道線段的幾何特性，Nelson，Grantham，和George等人曾引入了一種新型的交通視頻監(jiān)控系統(tǒng)攝像機(jī)標(biāo)定方法(“Anovel camera calibration technique for visual traffic surveillance，”P(pán)roc.7thWorld Congress on Intelligence Transportation Systems，paperno.3024，2000)。由于在很多情況下，相鄰兩車(chē)道線段平行且各端點(diǎn)順時(shí)針遞次相連所成四邊形往往為矩形，該方法充分利用此類(lèi)矩形目標(biāo)四個(gè)頂點(diǎn)的空間位置關(guān)系以及它們?cè)趫D像平面中的投影所成對(duì)應(yīng)點(diǎn)的圖像坐標(biāo)，在車(chē)道間距已知的前提下，可以直接導(dǎo)出求取攝像機(jī)焦距和方位參數(shù)的解析表達(dá)式。它實(shí)現(xiàn)簡(jiǎn)單，具有線性時(shí)間計(jì)算復(fù)雜度，能夠簡(jiǎn)單、快速地完成攝像機(jī)標(biāo)定并且具有相當(dāng)?shù)尼槍?duì)性，不失為一種高效的標(biāo)定方法。然而，在很多交通場(chǎng)合，矩形標(biāo)定目標(biāo)并不是很容易被發(fā)現(xiàn)的，比如在城市交通路口的視頻監(jiān)控場(chǎng)景下就很難直接找到類(lèi)似的目標(biāo)，這是一個(gè)不容忽視的局限性，因此該方法在交通監(jiān)視環(huán)境下必然缺乏通用性。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有攝像機(jī)標(biāo)定技術(shù)的不足，提供一種新的交通監(jiān)視環(huán)境下的攝像機(jī)標(biāo)定方法，實(shí)現(xiàn)容易，能充分保證交通監(jiān)視環(huán)境下的針對(duì)性或通用性，滿(mǎn)足智能交通信息視頻監(jiān)測(cè)系統(tǒng)交通參數(shù)準(zhǔn)確提取的實(shí)際需要。
為實(shí)現(xiàn)這樣的目的，本發(fā)明利用了城市交通場(chǎng)景內(nèi)易于提取的一些典型特征，根據(jù)路面上諸多特殊直線的分布信息，進(jìn)行攝像機(jī)相關(guān)參數(shù)的確定。本發(fā)明作為一種通用的交通場(chǎng)景攝像機(jī)標(biāo)定新方法，無(wú)需一個(gè)規(guī)則的標(biāo)定矩形，僅需要路面上一組彼此間隔已知的三條平行邊和一條斜率已知的與平行線相交的直線以及它們?cè)趫D像平面上的投影來(lái)求取攝像機(jī)焦距長(zhǎng)度和方位參數(shù)。該組平行邊彼此之間的距離需要預(yù)先確定，所選用相交直線及其斜率也需要被事先選擇并計(jì)算出來(lái)。在實(shí)際應(yīng)用場(chǎng)合中，類(lèi)似斑馬線以及包含道路兩側(cè)邊緣在內(nèi)的車(chē)道線可能是所需要平行邊集合的良好選擇，也是城市交通場(chǎng)景中非常有代表性的典型特征。斜率已知且與三平行邊相交的直線在交通場(chǎng)景中同樣很容易被找到或者被預(yù)置，這充分保證了交通監(jiān)視環(huán)境下本發(fā)明所提出攝像機(jī)標(biāo)定方法的針對(duì)性和通用性。要完成攝像機(jī)標(biāo)定，本發(fā)明首先從交通場(chǎng)景中選擇出所需要的標(biāo)定目標(biāo)，測(cè)量路面上三平行線彼此間距并計(jì)算出與它們相交直線的空間斜率，同時(shí)找到它們?cè)趫D像中所對(duì)應(yīng)的各投影直線并求出各投影直線的所有交點(diǎn)坐標(biāo)，將這些數(shù)據(jù)作為原始輸入，最終可求得攝像機(jī)的焦距、方向和位置參數(shù)。
本發(fā)明方法的具體步驟如下(1)標(biāo)定目標(biāo)的選取和相關(guān)坐標(biāo)系的建立在交通場(chǎng)景中選擇路面上一組彼此間隔已知的三條平行線、一條斜率已知并與三條平行線相交的直線作為標(biāo)定目標(biāo)，并確定標(biāo)定目標(biāo)在圖像中的各投影對(duì)應(yīng)直線和對(duì)應(yīng)交點(diǎn)。建立世界坐標(biāo)系，設(shè)定其原點(diǎn)位于中間一條平行線與相交直線的交點(diǎn)，Y軸正向沿中間平行線指向前方，正Z軸垂直于地面方向向上，X軸正向水平指向右方。建立以攝像機(jī)為中心的坐標(biāo)系，以透鏡中心為原點(diǎn)，攝像機(jī)的光軸作為V軸，并使U-W坐標(biāo)軸的平面平行于圖像平面，且與原點(diǎn)間距為攝像機(jī)焦距。
(2)標(biāo)定輸入數(shù)據(jù)初始化用最小二乘法計(jì)算出標(biāo)定目標(biāo)在圖像中各投影對(duì)應(yīng)直線的所有交點(diǎn)的坐標(biāo)，同時(shí)求出它們?cè)趫D像平面上的斜率；(3)關(guān)于消失線和相交直線消失點(diǎn)的計(jì)算根據(jù)三平行線中相鄰兩直線間距、相交直線與三平行線空間交點(diǎn)坐標(biāo)以及它們相應(yīng)投影直線的各交點(diǎn)坐標(biāo)參數(shù)，得到消失線斜率和一般式方程以及相交直線在圖像平面上的投影直線與消失線的交點(diǎn)坐標(biāo)；(4)攝像機(jī)參數(shù)標(biāo)定由三平行線中相鄰兩直線間距、相交直線與三平行線空間交點(diǎn)坐標(biāo)、三平行線和相交直線在圖像中投影直線的各交點(diǎn)坐標(biāo)、消失線斜率以及相交直線的投影直線與消失線的交點(diǎn)坐標(biāo)求得攝像機(jī)的旋轉(zhuǎn)角、偏角、俯仰角以及攝像機(jī)焦距，最后根據(jù)本發(fā)明所定義兩坐標(biāo)系的相關(guān)變換關(guān)系得到攝像機(jī)鏡頭中心的三維位置坐標(biāo)，完成攝像機(jī)標(biāo)定。
本發(fā)明的方法實(shí)現(xiàn)簡(jiǎn)單，針對(duì)性和通用性好，且具有線性計(jì)算復(fù)雜度，可應(yīng)用于傳統(tǒng)標(biāo)定方法不可能應(yīng)用的諸多交通監(jiān)控場(chǎng)合下完成攝像機(jī)標(biāo)定。


圖1為本發(fā)明中世界坐標(biāo)系和標(biāo)定目標(biāo)的關(guān)系示意圖。
圖2為本發(fā)明中標(biāo)定目標(biāo)投影圖像與地面消失線的示意圖。
圖3為本發(fā)明的攝像機(jī)坐標(biāo)系。
圖4為本發(fā)明實(shí)施例所采用的交通場(chǎng)景原始圖像。
圖5為本發(fā)明實(shí)施例從原始圖像中選擇的標(biāo)定目標(biāo)示意圖。
具體實(shí)施例方式
為了更好地理解本發(fā)明的技術(shù)方案，以下結(jié)合附圖和實(shí)施例作進(jìn)一步詳細(xì)描述。
1)標(biāo)定目標(biāo)的選取和相關(guān)坐標(biāo)系的建立在交通場(chǎng)景中選擇標(biāo)定目標(biāo)即一組彼此間距已知的三條平行線以及一條與該組平行線相交的已知斜率的直線。它們?cè)趯?shí)際路面上分別被表示為a，b，c，d，直線a，b，c表示三條平行線，直線d與它們相交，三條平行線與直線d的交點(diǎn)分別被表示為A，O，B，如圖1所示。這里，直線d的斜率已經(jīng)預(yù)先測(cè)出，表示為m，直線a，b，c中兩相鄰平行線的間距順次表示為d1，d2。本發(fā)明將標(biāo)定目標(biāo)在圖像中所對(duì)應(yīng)的投影直線分別表示為a′，b′，c′，d′，并將直線d′與直線a′，b′，c′的交點(diǎn)相應(yīng)表示為A′，O′，B′，如圖2所示。需要說(shuō)明的是，圖2中直線 表示圖像中路面平面所對(duì)應(yīng)的消失線。其中，點(diǎn)VD表示平行線組投影a′，b′，c′所對(duì)應(yīng)的消失點(diǎn)，而V0表示直線d′所對(duì)應(yīng)消失點(diǎn)。
為了標(biāo)定攝像機(jī)的方向和焦距參數(shù)，需要定義兩個(gè)右手坐標(biāo)系世界坐標(biāo)系和以攝像機(jī)為中心的坐標(biāo)系。假定世界坐標(biāo)系的原點(diǎn)位于直線b和d的交點(diǎn)O，Y軸正向沿直線b指向前方，正Z軸垂直于地面方向向上，而X軸正向則水平指向右方，則交點(diǎn)A，O，B坐標(biāo)可以被表示為(xA＝-d1，yA，zA＝0)，(xo＝0，yo＝0，zo＝0)，(xB＝+d2，yB，zB＝0)，計(jì)算路面直線d斜率m＝(yB-yA)/(d2+d1)。
攝像機(jī)坐標(biāo)系以透鏡中心為原點(diǎn)如圖3所示。V軸是攝像機(jī)的光軸，位于V＝f處的U-W平面平行于圖像平面，其中-f表示攝像機(jī)焦距。假設(shè)圖像平面上的任一點(diǎn)的坐標(biāo)相對(duì)于攝像機(jī)坐標(biāo)系而言，用(u，w)表示。
2)標(biāo)定輸入數(shù)據(jù)初始化用最小二乘法計(jì)算圖像中投影直線a′，b′，c′的公共交點(diǎn)VD的坐標(biāo)為(uD，wD)，同時(shí)得到它們與直線d′交點(diǎn)A′，O′，B′坐標(biāo)分別為(uA′，wA′)，(uo′，wo′)，(uB′，wB′)，假設(shè)直線a′，b′，c′，d′斜率分別為k-1、k0和k1和k2，則有k-1=wA′-wDuA′-uD,k0=wo′-wDuo′-uD,k1=wB′-wDuB′-uD,k2=wB′-wA′uB′-uA′;]]>3)關(guān)于消失線和相交直線消失點(diǎn)的計(jì)算計(jì)算中間變量X45，X56，X46，X456D值分別為X45=(2k-1k1-k0k1-k0k-1)(d1/d2)+(k1k-1-k0k-1)(d1/d2)2+(k1k-1-k0k1)(k0-k1)(d1/d2)2+(2k0-k-1-k1)(d1/d2)+(k0-k-1),]]>X56=(k0-k1)(d1/d2)+(k0-k-1)(k1-k0)(k-1uD-wD)(d1/d2)+(k-1-k0)(k1uD-wD),]]>X46＝X45·X56X456D＝uD·X56-wD·X46則路面直線在圖像中投影所對(duì)應(yīng)的消失線方程為k·u-w+(wD-k·uD)＝0，其中k＝-X45，為消失線斜率。
直線d′通過(guò)O′(uo′，wo′)點(diǎn)，且已求得斜率為k2，其方程可表示為k2·u-w+(wo′-k2·uo′)＝0則通過(guò)消失線和直線d′方程能夠計(jì)算出消失線的交點(diǎn)坐標(biāo)(u，w)；4)攝像機(jī)參數(shù)標(biāo)定
假定攝像機(jī)鏡頭中心位于空間點(diǎn)(xc，yc，zc)，并且攝像機(jī)的偏角(Pan)，俯仰角(Tilt)和旋轉(zhuǎn)角(Swing)分別被表示為θ，，ψ，則計(jì)算旋轉(zhuǎn)角(Swing)ψ。公式為ψ＝arctg(X45)計(jì)算攝像機(jī)的偏角(Pan)θ為{θ|θ=k1π+arcsin[(2X+m)/1+m2]/2-[k2π+arctg(m)]/2or]]>θ=(2k1+1)π/2-arcsin[(2X+m)/1+m2]/2-[k2π+arctg(m)]/2,]]>k1，k2＝…-1，0，1，2…，-π/2≤θ≤π/2}其中X=X456D/[(1+X452)·X56·(u-uD)],]]>計(jì)算俯仰角(Tilt)φ為φ＝arcsin(tgθ/X456D)計(jì)算攝像機(jī)焦距為f=-wD·cosψ+uD·sinψtgφ]]>考慮世界坐標(biāo)系中地面上的一點(diǎn)P(x，y，z)，假定它在圖像平面上的投影點(diǎn)是P′＝(u，w)，并定義A＝cosθcosψ+sinθsinφsinψ，B＝sinθcosψ-cosθsinφsinψ，C＝cosφsinψ，D＝-sinθcosφ，E＝cosθcosφ，F(xiàn)＝sinφ，G＝sinθsinφcosψ-cosθsinψ，H＝-cosθsinφcosψ-sinθsinψ，I＝cosφcosψ，則攝像機(jī)透鏡中心的實(shí)際坐標(biāo)可由如下方程式給出(L.L.Wang，and W.H.Tsai，“Camera Calibration by Vanishing Lines for 3-D Computer Vision，”IEEE Transactions on Pattern Analysis and Machine Intelligence，vol.13，no.4，pp.370-376，April 1991.) 其中，h為攝像機(jī)的安裝高度。
根據(jù)式(1)中關(guān)于xc的表達(dá)式，計(jì)算攝像機(jī)安裝高度為h＝(d1+d2)/(a-b)，其中
a＝(uA′A+fD+wA′G)/(uA′C+fF+wA′I)，b＝(uB′A+fD+wB′G)/(uB′C+fF+wB′I)由于O點(diǎn)坐標(biāo)為(xo＝0，yo＝0，zo＝0)，根據(jù)式(1)計(jì)算攝像機(jī)鏡頭中心三維位置坐標(biāo)為

根據(jù)A到I定義計(jì)算A，B，C，D，E，F(xiàn)，G，H，I的值并取驗(yàn)證式|uD-B·fE|+|wD-H·fE|<T]]>(T為一接近零的閾值)以檢驗(yàn)所得多組θ，φ，ψ，f的值，最終選擇出攝像機(jī)方位參數(shù)準(zhǔn)確解組。為了驗(yàn)證本發(fā)明所提出方法的有效性，本發(fā)明的一個(gè)實(shí)施例采用了以圖4所示的實(shí)際交通場(chǎng)景圖像，并在此實(shí)際交通場(chǎng)景圖像中選擇了標(biāo)定目標(biāo)，如圖5所示。選擇圖像中共點(diǎn)于VD的三條相鄰車(chē)道線作為標(biāo)定所需要的一組平行線，分別標(biāo)識(shí)為a′，b′，c′，以停車(chē)線作為相交直線d′，它們?cè)谑澜缱鴺?biāo)系中的實(shí)際對(duì)應(yīng)直線分別表示為a，b，c，d，其中直線d斜率m＝0，直線a和b以及直線b與c之間的距離也事先已知。
實(shí)驗(yàn)結(jié)果表明，標(biāo)定參數(shù)的求取與四條直線選擇的精度有密切關(guān)系，但是經(jīng)過(guò)仔細(xì)選擇，可以得到平均浮動(dòng)誤差約為5％的穩(wěn)定結(jié)果，如表1所列為焦距f和攝像機(jī)安裝高度h的標(biāo)定值和實(shí)際值的比較(攝像機(jī)方向數(shù)據(jù)因無(wú)法測(cè)量，難以給出實(shí)際值予以比較，故從略)，這說(shuō)明本方法完全能夠滿(mǎn)足交通監(jiān)控系統(tǒng)的精度要求，該實(shí)驗(yàn)在一定程度上證明了本發(fā)明所提出方法的有效性。
表1攝像機(jī)焦距和安裝高度的實(shí)驗(yàn)標(biāo)定結(jié)果

權(quán)利要求
1.一種交通監(jiān)視環(huán)境下的攝像機(jī)標(biāo)定方法，其特征在于包括如下步驟1)標(biāo)定目標(biāo)的選取和相關(guān)坐標(biāo)系的建立在交通場(chǎng)景中選擇路面上一組彼此間隔已知的三條平行線、一條斜率已知并與三條平行線相交的直線作為標(biāo)定目標(biāo)，并確定標(biāo)定目標(biāo)在圖像中的各投影對(duì)應(yīng)直線和對(duì)應(yīng)交點(diǎn)，建立世界坐標(biāo)系，設(shè)定其原點(diǎn)位于中間一條平行線與相交直線的交點(diǎn)，Y軸正向沿中間平行線指向前方，正Z軸垂直于地面方向向上，X軸正向水平指向右方，建立以攝像機(jī)為中心的坐標(biāo)系，以透鏡中心為原點(diǎn)，攝像機(jī)的光軸作為V軸，并使U-W坐標(biāo)軸的平面平行于圖像平面，且與原點(diǎn)間距為攝像機(jī)焦距；2)標(biāo)定輸入數(shù)據(jù)初始化用最小二乘法計(jì)算出標(biāo)定目標(biāo)在圖像中各投影對(duì)應(yīng)直線的所有交點(diǎn)的坐標(biāo)，同時(shí)求出它們?cè)趫D像平面上的斜率；3)關(guān)于消失線和相交直線消失點(diǎn)的計(jì)算根據(jù)三平行線中相鄰兩直線間距、相交直線與三平行線空間交點(diǎn)坐標(biāo)以及它們相應(yīng)投影直線的各交點(diǎn)坐標(biāo)參數(shù)，得到消失線斜率和一般式方程以及相交直線在圖像平面上的投影直線與消失線的交點(diǎn)坐標(biāo)；4)攝像機(jī)參數(shù)標(biāo)定由三平行線中相鄰兩直線間距、相交直線與三平行線空間交點(diǎn)坐標(biāo)、三平行線和相交直線在圖像中投影直線的各交點(diǎn)坐標(biāo)、消失線斜率以及相交直線的投影直線與消失線的交點(diǎn)坐標(biāo)求得攝像機(jī)的旋轉(zhuǎn)角、偏角、俯仰角以及攝像機(jī)焦距，最后根據(jù)兩坐標(biāo)系的變換關(guān)系得到攝像機(jī)鏡頭中心的三維位置坐標(biāo)，完成攝像機(jī)標(biāo)定。
全文摘要
一種交通監(jiān)視環(huán)境下的攝像機(jī)標(biāo)定方法，從交通場(chǎng)景中選擇出一組彼此間隔已知的三條平行邊和一條斜率已知的與平行線相交的直線作為所需要的標(biāo)定目標(biāo)，找到它們?cè)趫D像中所對(duì)應(yīng)的各投影直線并求出各投影直線的所有交點(diǎn)坐標(biāo)，根據(jù)這些數(shù)據(jù)求得攝像機(jī)的焦距、方向和位置參數(shù)。本發(fā)明可以利用城市交通場(chǎng)景內(nèi)類(lèi)似斑馬線以及包含道路兩側(cè)邊緣在內(nèi)的車(chē)道線等易于提取的典型特征，根據(jù)路面上諸多特殊直線的分布信息，進(jìn)行攝像機(jī)相關(guān)參數(shù)的確定，方法實(shí)現(xiàn)簡(jiǎn)單，針對(duì)性和通用性好，且具有線性計(jì)算復(fù)雜度，可應(yīng)用于傳統(tǒng)標(biāo)定方法不可能應(yīng)用的諸多交通監(jiān)控場(chǎng)合下完成攝像機(jī)標(biāo)定。
文檔編號(hào)H04N5/225GK1564581SQ20041001770
公開(kāi)日2005年1月12日 申請(qǐng)日期2004年4月15日 優(yōu)先權(quán)日2004年4月15日
發(fā)明者陳兆學(xué), 施鵬飛 申請(qǐng)人:上海交通大學(xué)