現(xiàn)行規(guī)范(present specification)與車載攝像機(jī)的校準(zhǔn)有關(guān)，尤其與使用地面上靜態(tài)目標(biāo)進(jìn)行的攝像機(jī)校準(zhǔn)有關(guān)。

背景技術(shù)：

越來越多的客車配備了攝像機(jī)。攝像機(jī)可為司機(jī)提供許多輔助功能，例如車道保持、泊車輔助、障礙物和其它目標(biāo)檢測、緊急制動(dòng)、事故和其它事件重現(xiàn)、交通狀況和天氣情況監(jiān)測、駕駛模式記錄、推導(dǎo)車輛的速度和位置、車輛檢測和避免碰撞、交通標(biāo)志檢測、照明調(diào)整以及夜視等。

這些功能要求圖像處理，攝像機(jī)中的處理部件或車上的專用處理部件可用于圖像處理。處理部件連接到諸如屏幕、指示器、發(fā)動(dòng)機(jī)控制單元等其它裝置。

技術(shù)實(shí)現(xiàn)要素：

對于車輛周圍事物的精確表達(dá)，要求進(jìn)行攝像機(jī)校準(zhǔn)。攝像機(jī)校準(zhǔn)包括例如焦距和透鏡畸變等內(nèi)部參數(shù)校準(zhǔn)，以及例如攝像機(jī)位置和方向等外部參數(shù)校準(zhǔn)。

尤其是，現(xiàn)行規(guī)范披露了根據(jù)現(xiàn)行規(guī)范進(jìn)行單攝像機(jī)或多攝像機(jī)系統(tǒng)外部校準(zhǔn)的方法。根據(jù)用途的一種校準(zhǔn)方法不需要

-車輛的精確定位

-用于校準(zhǔn)的專用靜態(tài)車輛時(shí)間

-一家工廠內(nèi)的大面積區(qū)域，盡管如果必要，可提供這些條件。

校準(zhǔn)可在工廠內(nèi)或工廠外進(jìn)行。例如：可在車間的車庫或?qū)ｉT的地方進(jìn)行校準(zhǔn)，但地面上都要有適宜的標(biāo)志。

根據(jù)現(xiàn)行規(guī)范的校準(zhǔn)方法可提供

-短校準(zhǔn)時(shí)間

-靈活的駕駛條件要求

-與地面特性無關(guān)，只要地面平坦就足夠了，同時(shí)還提供精確的校準(zhǔn)。

根據(jù)現(xiàn)行規(guī)范，在方法中，駕駛車輛通過地面上的一組預(yù)定圖案或標(biāo)記。安裝在車輛上的攝像機(jī)記錄這些圖案的影像。一個(gè)或多個(gè)計(jì)算單元計(jì)算所有攝像機(jī)相應(yīng)的外部參數(shù)。

外部參數(shù)將攝像機(jī)坐標(biāo)系統(tǒng)與世界坐標(biāo)系聯(lián)系起來。這可通過例如旋轉(zhuǎn)以及換算完成。

圖案，也稱為“校準(zhǔn)目標(biāo)”或“校準(zhǔn)標(biāo)記”，不一定相互對齊平行。當(dāng)車輛駛向目標(biāo)時(shí)，捕獲的視頻序列檢測、確認(rèn)并追蹤一個(gè)或多個(gè)目標(biāo)。攝像機(jī)外部參數(shù)的計(jì)算基礎(chǔ)是捕獲的視頻序列的多幀。

根據(jù)一個(gè)主要實(shí)施方案，包括圍繞車輛坐標(biāo)系統(tǒng)的x、y和z軸旋轉(zhuǎn)以及車輛坐標(biāo)系統(tǒng)安裝高度的攝像機(jī)外部參數(shù)被同時(shí)優(yōu)化，并單獨(dú)地校準(zhǔn)各車載攝像機(jī)。尤其是，可能會有四臺車載攝像機(jī)。

根據(jù)現(xiàn)行規(guī)范，依據(jù)下面的列表，校準(zhǔn)方法的屬性也可總結(jié)如下：

-校準(zhǔn)圖案無需對齊；

-無需諸如速度、轉(zhuǎn)向、全球衛(wèi)星定位系統(tǒng)(GPS)定位等關(guān)于車輛的其它信息；

-未計(jì)算內(nèi)部參數(shù)，事實(shí)上，它們是所述方法的輸入之一。

1.標(biāo)記形狀是預(yù)定的，并根據(jù)所述方法已經(jīng)存儲。只要求以下輸入：

-源于攝像機(jī)的輸入(圖像序列)；

-攝像機(jī)內(nèi)部參數(shù)(在攝像機(jī)制造時(shí)就確定了)；

-估計(jì)的攝像機(jī)安裝位置(放置在車輛上，尤其是，X和Y位置)。

2.使用移動(dòng)車輛車載攝像機(jī)提供的圖像序列。

3.圖案不是由道路標(biāo)記提供的，而是由預(yù)定的特定圖案提供的。

4.提供圖案的優(yōu)選方式是涂刷圖案(用于固定使用，例如工廠中)，或?qū)D案預(yù)涂刷在可移動(dòng)的板上(更具靈活性，例如用于車庫中)。

計(jì)算單元使用已知真實(shí)尺寸的圖案，其中，尺寸是指圖案的外邊界。此外，圖案可能包括子結(jié)構(gòu)或子圖案，例如棋盤狀圖案。

尤其是，目前的應(yīng)用揭示了推導(dǎo)至少一臺車載攝像機(jī)的外部參數(shù)的方法。

在平坦地面上，安放一個(gè)或多個(gè)預(yù)先確定的校準(zhǔn)標(biāo)記。對應(yīng)校準(zhǔn)標(biāo)記的一組預(yù)設(shè)形狀參數(shù)存儲在車輛的計(jì)算機(jī)可讀存儲器中。從更廣泛的意義上講，標(biāo)記的已存儲矢量圖形也被視為形狀參數(shù)。形狀參數(shù)描述校準(zhǔn)標(biāo)記的特征。例如，半徑可描述一個(gè)圓形標(biāo)記的特征，十字對角長度或邊長可描述正方形標(biāo)記的特征。

駕駛車輛碾過一個(gè)或多個(gè)預(yù)設(shè)校準(zhǔn)標(biāo)記，一臺或多臺車載攝像機(jī)捕捉到校準(zhǔn)標(biāo)記。根據(jù)另一種實(shí)施方法，在捕捉圖像的同時(shí)，車輛保持不動(dòng)。從至少一臺車載攝像機(jī)接收到圖像數(shù)據(jù)，在攝像機(jī)的一個(gè)計(jì)算單元和/或車輛的一個(gè)計(jì)算單元中處理圖像數(shù)據(jù)。與現(xiàn)行方法相關(guān)的圖像數(shù)據(jù)包括校準(zhǔn)標(biāo)記圖像。標(biāo)記圖像是傳感器信號的數(shù)字表示，傳感器信號對應(yīng)標(biāo)記或標(biāo)記的一部分。

包括校準(zhǔn)標(biāo)記圖像的圖像數(shù)據(jù)的一部分也被稱為“校準(zhǔn)標(biāo)記圖像數(shù)據(jù)”?！皥D像數(shù)據(jù)”、“校準(zhǔn)標(biāo)記圖像”以及“校準(zhǔn)標(biāo)記圖像數(shù)據(jù)”的表達(dá)可能指傳感器的數(shù)字化原始圖像數(shù)據(jù)或被處理的數(shù)據(jù)。其中，圖像處理可能包括減少失真、提供自上而下的投影、噪聲消減或?qū)鞲衅髟M(jìn)行補(bǔ)償?shù)男阅堋?/p>

計(jì)算單元檢測圖像數(shù)據(jù)中圖像幀的一個(gè)或多個(gè)校準(zhǔn)標(biāo)記成像器的標(biāo)記邊界，使檢測到的標(biāo)記邊界和預(yù)設(shè)的形狀參數(shù)相配。計(jì)算單元識別一個(gè)或多個(gè)校準(zhǔn)標(biāo)記。在一實(shí)現(xiàn)中，通過識別校準(zhǔn)標(biāo)記的形狀來識別標(biāo)記。將校準(zhǔn)標(biāo)記的表觀形狀與儲存的形狀參數(shù)進(jìn)行比較，進(jìn)而識別標(biāo)記的形狀。

追蹤視頻序列中已識別的校準(zhǔn)標(biāo)記，同時(shí)，至少有一臺車載攝像機(jī)在移動(dòng)，并且，使用捕獲的視頻序列中已識別校準(zhǔn)標(biāo)記的位置，確定至少一臺車載攝像機(jī)的一個(gè)外部參數(shù)。

在一具體實(shí)施方案中，校準(zhǔn)標(biāo)記配備光學(xué)識別符號，該符號識別標(biāo)記的類型。然后，計(jì)算單位對識別符號加以識別，進(jìn)而識別標(biāo)記形狀。其中，光學(xué)識別符號可能存在顏色、數(shù)量或布置上的差異。例如，正方形標(biāo)記可帶有一個(gè)紅點(diǎn)，菱形體標(biāo)記帶有一個(gè)藍(lán)點(diǎn)，或帶有不同數(shù)量和/或位于不同位置的點(diǎn)?；蛘?，除此之外可通過標(biāo)記外邊界，標(biāo)記圖案或其它特有的光學(xué)特性識別標(biāo)記形狀。

在一實(shí)施方案中，光學(xué)識別符號還可用于檢測標(biāo)記是否對齊，例如：通過在標(biāo)記上顯示十字形或箭頭狀光學(xué)識別符號或顯示棋盤狀圖案等內(nèi)部圖案。

具體來說，得出的外部參數(shù)包含圍繞車輛坐標(biāo)系第一條水平軸或x軸的旋轉(zhuǎn)角或傾斜角(還被稱為俯仰旋轉(zhuǎn)角)、圍繞第二條水平軸或y軸的旋轉(zhuǎn)角(還被稱為水平旋轉(zhuǎn)角)、圍繞垂直軸或z軸的旋轉(zhuǎn)角(還被稱為滾動(dòng)旋轉(zhuǎn)角)以及對應(yīng)于車輛坐標(biāo)系的安裝高度。

車輛坐標(biāo)系指固定在車輛上的虛擬矩形坐標(biāo)系或參照系。水平軸與地平面平行。當(dāng)垂直軸向上并與水平軸正交時(shí)，水平軸沿車輛的主軸對齊。

根據(jù)選擇的一種車輛坐標(biāo)系，車輛坐標(biāo)系的水平面與地平面對齊，x軸與前軸平行，且坐標(biāo)原點(diǎn)位于前軸的左端。根據(jù)另一種選擇，坐標(biāo)原點(diǎn)是質(zhì)心或幾何中心點(diǎn)到地平面的投影。

在一具體實(shí)施方案中，所述方法包括在一個(gè)或多個(gè)預(yù)設(shè)校準(zhǔn)標(biāo)記的其中一幅圖像中，用以確定第一組至少兩個(gè)平直標(biāo)記邊界以及第二組至少兩個(gè)平直標(biāo)記邊界。標(biāo)記邊界的選擇應(yīng)確保第二組標(biāo)記邊界不會與第一組標(biāo)記邊界平行。并且第二組標(biāo)記邊界可能對應(yīng)于同一標(biāo)記或不同標(biāo)記的圖像。

計(jì)算單元得出至少一個(gè)車載攝像機(jī)從第一組標(biāo)記邊界和第二組標(biāo)記邊界到地平面的方向。

兩組平行線集中在地平線上的兩個(gè)沒影點(diǎn)，形成了連接這兩個(gè)沒影點(diǎn)的沒影線。這反過來實(shí)現(xiàn)了攝像機(jī)相對于地平面的傾斜角。所述傾斜角可使攝像機(jī)繞車輛坐標(biāo)系的水平x軸和y軸旋轉(zhuǎn)。

根據(jù)另一種實(shí)施方案，依據(jù)車載攝像機(jī)感應(yīng)器表面標(biāo)記圖像的透視縮短來確定攝像機(jī)相對于垂直方向的傾斜角。根據(jù)此種實(shí)施方案，通過使探測到的標(biāo)記邊界與預(yù)設(shè)形狀參數(shù)匹配來得出至少一個(gè)標(biāo)記圖像的透視縮短，并根據(jù)得出的透視縮短得到至少一個(gè)車載攝像機(jī)到地平面的方向。

例如，圓形標(biāo)記的圖像顯示為橢圓形。橢圓度以及橢圓主軸的方向給出傾斜量以及傾斜方向。對于三角形標(biāo)記，可將三個(gè)角與對應(yīng)三角形標(biāo)記的三個(gè)角進(jìn)行比較，這作為形狀參數(shù)被儲存在計(jì)算機(jī)的可讀內(nèi)存中。因此可得出攝像機(jī)的傾斜角。相同或類似的方法同樣還適用于確定多邊形標(biāo)記的透視縮短。例如，可將多邊形分解成三角形，然后可將三角形的角或外部標(biāo)記邊界的角與所儲存的對應(yīng)校準(zhǔn)標(biāo)記的角進(jìn)行比較。

為了提高準(zhǔn)確度，可對不同校準(zhǔn)標(biāo)記圖像和/或圖像序列的不同圖像幀重復(fù)進(jìn)行此估算，并通過計(jì)算單獨(dú)估算值的加權(quán)平均數(shù)得出最終估算值。如果認(rèn)為估算的準(zhǔn)確度不足，加權(quán)平均數(shù)的權(quán)重可采用零。

在一種實(shí)施方案中，標(biāo)記邊界包含一個(gè)或多個(gè)預(yù)設(shè)校準(zhǔn)標(biāo)記的內(nèi)部圖案邊界；而在另一種實(shí)施方案中，標(biāo)記邊界包含外部邊界。

尤其是，一系列平行標(biāo)記邊界或透視縮短可用于根據(jù)得出的攝像機(jī)相對于地平面的方向確定第一條或第二條水平軸的旋轉(zhuǎn)角。

根據(jù)進(jìn)一步的具體實(shí)施方案，所述方法還包括得到至少一個(gè)或多個(gè)校準(zhǔn)標(biāo)記的圖像中形狀參數(shù)的大小，例如表觀邊長、表觀交叉對角線長度、表面積或主軸長度。將可測量標(biāo)記的表觀尺寸的形狀參數(shù)大小與所儲存的對應(yīng)形狀參數(shù)大小進(jìn)行比較，由此可得出至少一臺攝像機(jī)的安裝高度。

尤其是，形狀參數(shù)的大小或校準(zhǔn)標(biāo)記圖像中標(biāo)記的表觀尺寸可用于確定標(biāo)記距車載攝像機(jī)的距離。已知攝像機(jī)相對于垂直方向的傾斜角(α)時(shí)，例如使用上述方法或其他方法得到所述傾斜角，可得出攝像機(jī)相對于地面的安裝高度(Z)為：Z＝d*cos(α)。

根據(jù)進(jìn)一步的具體實(shí)施方案，所述方法包括根據(jù)第一個(gè)車載攝像機(jī)的圖像數(shù)據(jù)或圖像幀得出一個(gè)或多個(gè)校準(zhǔn)標(biāo)記圖像的形狀參數(shù)大小。尺寸參數(shù)用于指示圖像傳感器上校準(zhǔn)標(biāo)記圖像的尺寸。

通過將尺寸參數(shù)與所儲存的尺寸參數(shù)進(jìn)行比較，計(jì)算單元可得出第一個(gè)車載攝像機(jī)到對應(yīng)校準(zhǔn)標(biāo)記之間的距離，其對應(yīng)于校準(zhǔn)標(biāo)記圖像。另外，計(jì)算單元根據(jù)第二個(gè)車載攝像機(jī)的圖像數(shù)據(jù)或圖像幀可得出校準(zhǔn)標(biāo)記圖像的形狀參數(shù)，其對應(yīng)于相同的校準(zhǔn)標(biāo)記。通過將尺寸參數(shù)與所儲存尺寸參數(shù)進(jìn)行比較，可得出第二個(gè)車載攝像機(jī)到對應(yīng)校準(zhǔn)標(biāo)記之間的距離。

利用得出的第一個(gè)和第二個(gè)距離，可得到校準(zhǔn)標(biāo)記在地面上相對于車輛坐標(biāo)系的位置。

通過推導(dǎo)出的校準(zhǔn)標(biāo)記位置可得到第一個(gè)車載攝像機(jī)圍繞垂直軸的旋轉(zhuǎn)角。而且，通過推導(dǎo)出的校準(zhǔn)標(biāo)記位置可得到第二個(gè)車載攝像機(jī)圍繞垂直軸的旋轉(zhuǎn)角。

根據(jù)對方法的進(jìn)一步修改，所述方法包括通過推導(dǎo)出的對應(yīng)校準(zhǔn)標(biāo)記位置得到第一個(gè)或第二個(gè)車載攝像機(jī)圍繞第一條或第二條水平軸的旋轉(zhuǎn)角。

可通過計(jì)算外部參數(shù)估算值的加權(quán)平均數(shù)提高精確度。例如，圖像數(shù)據(jù)可包含兩個(gè)或更多的校準(zhǔn)標(biāo)志圖像。對于兩個(gè)或更多校準(zhǔn)標(biāo)志圖像中的每個(gè)圖像，計(jì)算單元至少導(dǎo)出一臺攝像機(jī)的攝像機(jī)方向，并計(jì)算平均攝像機(jī)方向，作為至少一臺攝像機(jī)導(dǎo)出的攝像機(jī)方向的加權(quán)平均數(shù)。

可通過不同的方式提供校準(zhǔn)標(biāo)志。尤其可通過涂漆面或一個(gè)或多個(gè)活動(dòng)板加以提供。

另一方面，現(xiàn)行規(guī)范公開了執(zhí)行上述方法的計(jì)算機(jī)程序產(chǎn)品，該產(chǎn)品可通過存儲介質(zhì)提供諸如光學(xué)介質(zhì)、磁化介質(zhì)、鐵電介質(zhì)或電可編程序只讀存儲器(EPROM)上集成電路/專用集成電路(ASIC)的存儲器。此外，現(xiàn)行規(guī)范包括計(jì)算機(jī)可讀的存儲介質(zhì)，該介質(zhì)由計(jì)算機(jī)程序產(chǎn)品組成。

另一方面，現(xiàn)行規(guī)范公開了一個(gè)計(jì)算單元，比如車載攝像機(jī)的一個(gè)或多個(gè)計(jì)算單元、用于連接環(huán)視攝像機(jī)或攝像機(jī)組合的集中式計(jì)算單元。尤其是車載攝像機(jī)可作為環(huán)視系統(tǒng)的一部分，提供街道表面自上而下的投影。

計(jì)算單元包含電子計(jì)算方法，比如微處理器、集成電路(IC)和/或?qū)Ｓ眉呻娐?ASIC)、具有一組預(yù)定校準(zhǔn)標(biāo)志預(yù)定形狀參數(shù)的計(jì)算機(jī)可讀存儲器、以及從一個(gè)或多個(gè)車載攝像機(jī)接收圖像數(shù)據(jù)的接頭。圖像數(shù)據(jù)包含校準(zhǔn)標(biāo)志的圖像數(shù)據(jù)。

通過提供所儲存的可執(zhí)行指令和/或用于數(shù)字和/或模擬數(shù)據(jù)處理的相應(yīng)電子器件，計(jì)算單元能有效檢測圖像數(shù)據(jù)中一個(gè)或多個(gè)校準(zhǔn)標(biāo)志圖像的標(biāo)志邊界，并將檢測到的標(biāo)志邊界與預(yù)定的形狀參數(shù)相匹配。

當(dāng)至少有一個(gè)車載攝像機(jī)運(yùn)行時(shí)，計(jì)算單元以視頻序列追蹤一個(gè)或多個(gè)所確定的校準(zhǔn)標(biāo)志，并以捕捉到的視頻序列，利用一個(gè)或多個(gè)所確定的校準(zhǔn)標(biāo)志位置導(dǎo)出至少一個(gè)車載攝像機(jī)的一個(gè)外部參數(shù)。

其中，可根據(jù)圍繞第一水平軸的旋轉(zhuǎn)角、圍繞第二水平軸的旋轉(zhuǎn)角、圍繞垂直坐標(biāo)系統(tǒng)的垂直軸或Z軸的旋轉(zhuǎn)角、以及車輛坐標(biāo)系統(tǒng)的安裝高度選擇外部攝像機(jī)參數(shù)。

根據(jù)另一個(gè)具體實(shí)施方案，對于地表上相應(yīng)校準(zhǔn)標(biāo)志的一個(gè)方向，計(jì)算單元還能有效導(dǎo)出至少一個(gè)與校準(zhǔn)標(biāo)志圖像相符的車載攝像機(jī)相對方向。

此外，現(xiàn)行規(guī)范公開了具有計(jì)算單元和一個(gè)或多個(gè)車載攝像機(jī)的成套裝置，以及安裝該成套裝置的車輛。一個(gè)或多個(gè)車載攝像機(jī)安裝在車輛的預(yù)定位置，面向車輛外部。計(jì)算單元與一個(gè)或多個(gè)車載攝像機(jī)實(shí)施電氣連接。

即便這些標(biāo)志擁有預(yù)定的相對方向或布置圖案，可用于特征檢測和匹配，也不需要在預(yù)定方向上或以預(yù)定的布置圖案對準(zhǔn)標(biāo)志。

由于視角透視收縮，一些標(biāo)志邊界的投影相對其他具有較少的像素，因此不適合導(dǎo)出標(biāo)志邊界的方向。當(dāng)以隨機(jī)定向布置標(biāo)志時(shí)，找出標(biāo)志邊界的可能性較高，對車載攝像機(jī)而言具有合適的定向。此外，當(dāng)無需提前確定相對距離和方向時(shí)，可便捷地布置圖案。該特征有益于車間車庫，并有助于汽車機(jī)械師節(jié)省時(shí)間。

當(dāng)車輛駛過標(biāo)志時(shí)，后續(xù)的圖像幀會提供該標(biāo)志的不同視圖。這還會增加特殊圖像幀給定標(biāo)志的獨(dú)特視野，適用于確定攝像機(jī)方向或可能的安裝高度。

可使用形狀不同的標(biāo)志提升發(fā)現(xiàn)適用于圖像識別標(biāo)志邊界的可能性。例如，標(biāo)志會隨著筆直的外邊界數(shù)量、邊界長度和表面積變化。一些標(biāo)志更適用于確定標(biāo)志尺寸。標(biāo)志形狀包括方形、矩形、菱形、三角形、正三角形、直角三角形和圓形。正多邊形或四面以上的多面體也可用作標(biāo)志形狀。

標(biāo)志邊界可用于確定沒影線，從而根據(jù)地平面使車載攝像機(jī)相應(yīng)傾斜。因?yàn)樗袠?biāo)志都布置在地平面上，標(biāo)志邊界的延伸段終止在沒影點(diǎn)，大約位于同一條沒影線上。

根據(jù)另一個(gè)具體實(shí)施方案，統(tǒng)一提供白色或任何其他顏色的統(tǒng)一標(biāo)志，圖案可由除黑白外的其他顏色組成。可提供21到27號標(biāo)志作為任何平面或?qū)Ｓ眯?zhǔn)表面上的預(yù)定義標(biāo)志。尤其可通過噴漆提供21到27號標(biāo)志，例如對于工廠校準(zhǔn)，或預(yù)先印好的活動(dòng)圖案板，例如車間車庫內(nèi)的校準(zhǔn)。

根據(jù)一項(xiàng)具體實(shí)施方案，圖像估算單元利用信息估計(jì)標(biāo)準(zhǔn)尺寸，比如攝像機(jī)到地平面的距離、攝像機(jī)相對于垂直軸的方向、車輛相對于水平x-y面內(nèi)的標(biāo)志方向，以及車輛速度。

如果所述標(biāo)志被提供為定制標(biāo)志，可提供標(biāo)志作為地平面上的物理標(biāo)志，具體做法是例如使用臨時(shí)可移動(dòng)圖案或一次性貼紙，或通過例如油漆或具有反射顆?；蚍瓷涑煞值耐苛显诘缆飞侠L出這些圖案。

附圖說明

現(xiàn)在利用以下圖形更詳細(xì)說明當(dāng)前規(guī)范的主題，這些圖形分別為

圖1

展示具有環(huán)視系統(tǒng)的車輛駛過地平面上的第一組標(biāo)志；

圖2

當(dāng)圖1車輛位置在第二個(gè)位置時(shí)，展示圖1內(nèi)的一組標(biāo)志；

圖3

當(dāng)圖1車輛位置在第三個(gè)位置時(shí)，展示圖1內(nèi)的一組標(biāo)志；

圖4

展示具有環(huán)視系統(tǒng)的車輛駛過第二組標(biāo)志；

圖5

說明到地平面上的投影；

圖6

進(jìn)一步詳細(xì)說明到到地平面上的投影；

圖7

展示利用圖1或圖4標(biāo)志確定外部攝像機(jī)參數(shù)的步驟；

圖8

說明確定水平攝像機(jī)方向的第一個(gè)步驟；

圖9

說明確定水平攝像機(jī)方向的第二個(gè)步驟；

圖10

說明確定車輛平移的步驟；

圖11

說明根據(jù)標(biāo)志尺寸確定垂直攝像機(jī)方向的步驟；

圖12

說明根據(jù)標(biāo)志尺寸確定水平和/或垂直攝像機(jī)方向的步驟。

具體實(shí)施方式

下文詳細(xì)描述現(xiàn)行規(guī)范的體現(xiàn)。對有豐富經(jīng)驗(yàn)技藝的人士來說，這應(yīng)該非常明顯。但在具體實(shí)施方案中可能并不需要此類細(xì)節(jié)。

圖1到圖3顯示了21—27這一組標(biāo)記相對于車10的位置，車10碾過這組標(biāo)記。同時(shí)，車的光學(xué)識別系統(tǒng)使用車載攝像機(jī)12、13、14、15獲取視頻序列。

圖1顯示了配備有環(huán)視系統(tǒng)11的車輛10。該環(huán)視系統(tǒng)11由前視攝像機(jī)12、右視攝像機(jī)13、左視一臺攝攝像機(jī)14和后視攝像機(jī)15組成。攝像機(jī)12—15與控制器的中央處理單元CPU相連，它沒在圖1中顯示。

在圖1中，坐標(biāo)X、Y、Z指示一套世界坐標(biāo)系，坐標(biāo)系X'、Y'、Z'指示一套汽車坐標(biāo)系。汽車坐標(biāo)系X'、Y'、Z'與汽車對齊并固定到汽車上，比如重心、前軸軸中心或這類點(diǎn)在地面的投影。同樣，世界坐標(biāo)系X、Y、Z被固定到周圍環(huán)境中的某個(gè)點(diǎn)上，比如在t_0時(shí)，汽車坐標(biāo)系的位置和方位。

通過實(shí)例來確定坐標(biāo)系的方位和布置方式，而且可做出不同的選擇。比如，Z軸也可如圖4所示指向下方。

圖1顯示了車輛10經(jīng)過或碾過一組校準(zhǔn)目標(biāo)或標(biāo)記21到27的情況，校準(zhǔn)目標(biāo)或標(biāo)記21到27布置在地平面16上。箭頭5表示車輛10的前進(jìn)方向和速度。在圖1的具體實(shí)施方案中，標(biāo)記21到27由邊界20界定。標(biāo)記21到25使用統(tǒng)一的黑色填充，標(biāo)記26和27由黑白圖案組成。顏色可由反射粒子組成。

如圖1所述，車輛行駛的方向5不需要與標(biāo)記對齊。即使并不知道車輛相對于標(biāo)記的方位，仍可確定四個(gè)攝像機(jī)在水平x-y平面中的相對方位以及攝像機(jī)相對于垂直z軸的傾斜度。

圖4顯示車輛10經(jīng)過地面16第一個(gè)校準(zhǔn)圖案的情況。與圖1標(biāo)記不同的是，圖4的標(biāo)記由帶有棋盤狀圖案的第一類標(biāo)記28、29、31、32和帶有徑向或星形校準(zhǔn)圖案的第二類標(biāo)記30組成。

圖5和圖6展示了俯視投影或在地平面的投影情況。

圖5顯示了側(cè)視圖，在該圖中右置攝像機(jī)13被用于地平面投影。如果將攝像機(jī)放置在距地面高H的位置，擴(kuò)展角度為θ的投影相當(dāng)于在地面延伸H*cos(θ)。

圖6所示為端口和地平面的視圖。圖6顯示了俯視視野，其中地平面與端口視圖平行。一般而言，地平面可傾斜于攝像機(jī)傳感器，地平面也被稱為像平面。圖6所示的俯視視野通過推導(dǎo)攝像機(jī)相對于縱軸的方位并旋轉(zhuǎn)像平面獲取，像平面的旋轉(zhuǎn)可使像平面與地平面平行。

端口視圖平面17內(nèi)的某個(gè)點(diǎn)用p＝(u、v)表示，其在地平面16中對應(yīng)的點(diǎn)用p＝(X、Y)表示。端口視圖平面17與投影中心C之間的距離用字母“f”表示。

在圖1所示的環(huán)視系統(tǒng)中，將單個(gè)攝像機(jī)的俯視圖合并在一起，以獲取車輛的環(huán)視俯視視野，這類似于安裝在車輛上與地平面平行的攝像機(jī)生成的俯視視野。

舉例來說，單個(gè)攝像機(jī)的圖像合并可通過下述方式進(jìn)行：使用攝像機(jī)已知的視野或通過推導(dǎo)攝像機(jī)的方位和/或識別單個(gè)攝像機(jī)圖像的相應(yīng)特征。

圖7顯示了通過按照現(xiàn)行規(guī)范的要求布置校準(zhǔn)標(biāo)記來對攝像機(jī)外部參數(shù)進(jìn)行校準(zhǔn)的情況。圖1和圖4對此類布置提供樣例。但是，校準(zhǔn)標(biāo)記的布置不局限于圖1和圖4的具體實(shí)施方案。

攝像機(jī)外部參數(shù)的自動(dòng)確定通過按照現(xiàn)行規(guī)范的要求布置校準(zhǔn)標(biāo)記將攝像機(jī)坐標(biāo)系和世界坐標(biāo)系連接起來。

在步驟40中，對從攝像機(jī)獲取的數(shù)據(jù)加以處理。在步驟41中，確定標(biāo)記邊界，例如通過使用霍夫變換峰值和/或聚集分布在單位球面(端口視圖的點(diǎn)(u、v)投射到該球面上)上的點(diǎn)來實(shí)現(xiàn)該目的。將所識別的標(biāo)記邊界與通過按預(yù)定義標(biāo)記所存儲的形狀參數(shù)所確定的標(biāo)記邊界加以比較。

預(yù)先確定的標(biāo)記形狀參數(shù)被存儲在計(jì)算機(jī)可讀存儲器中。此外，此類存儲器可由車載攝像機(jī)提供，以車載攝像機(jī)外部存儲器或與車載攝像機(jī)相連的計(jì)算單元存儲器的形式提供。

在步驟42中，識別各種標(biāo)記圖案，如果標(biāo)記僅由一個(gè)圖案組成，則所識別的圖案與預(yù)定義圖案所存儲的形狀參數(shù)進(jìn)行比較。如果發(fā)現(xiàn)相匹配的預(yù)先確定標(biāo)記，這種標(biāo)記相當(dāng)于標(biāo)記邊界，如果存在相當(dāng)于圖案的標(biāo)記，則圖像對應(yīng)的像素被確定為預(yù)先確定的標(biāo)記像素。

在步驟43中，攝像機(jī)的安裝高度Z和垂直定向x、y、z由標(biāo)記以及標(biāo)記圖案預(yù)先確定的形狀和尺寸確定。

圖8至圖11對步驟42的實(shí)施進(jìn)行了舉例說明，而圖12則對步驟43的實(shí)施進(jìn)行了舉例說明。

圖8中，第一條虛線50表明了前置攝像機(jī)12的傳感器平面在X-Y水平面上的定向，而第二條虛線51則表明了右置攝像機(jī)13的傳感器平面在X-Y水平面上的定向。

例如，從圖案27左前角連接至前置攝像機(jī)12的連接線與前置攝像機(jī)傳感器平面50所成傾斜角為α₂，而從圖案27左前角連接至右側(cè)攝像機(jī)13的連接線與右置攝像機(jī)13的傳感器平面51所成傾斜角為α₁。

根據(jù)這一具體實(shí)例，傳感器平面50和51在水平面上的相對定向可通過計(jì)算角α₁和角α₂的差值得出。隨后通過使用不同圖案的多個(gè)參考點(diǎn)計(jì)算出平均值可改進(jìn)該估計(jì)情況，也可通過使用多個(gè)圖像幀的參考點(diǎn)，而不是僅使用一個(gè)圖像幀的參考點(diǎn)對估計(jì)情況進(jìn)行改進(jìn)。

根據(jù)一項(xiàng)具體實(shí)施方案可看出，攝像機(jī)12、13、14、15在X-Y水平面上的絕對定向是通過與另一臺攝像機(jī)相對照而得出的，而參照攝像機(jī)的定向已知。該參照攝像機(jī)例如在車輛擋風(fēng)玻璃之后等場合的位置應(yīng)不會使其受到能改變攝像機(jī)定向的沖擊。

圖9中展示了第二種方法。其中，圖案21至27中直線的定向被用于判定攝像機(jī)12、13、14、15在X-Y水平面上的定向。這些直線可通過標(biāo)記邊界得到，或可通過標(biāo)記內(nèi)部圖案的直線獲取。

例如，圖案25的右前邊界線與前置攝像機(jī)12的傳感器平面50所成傾斜角為γ₂，而圖案27的前邊界線與前置攝像機(jī)12的圖像傳感器平面所成傾斜角為β₂。

此外，圖案27的前邊界線還與右置攝像機(jī)13的圖像傳感器平面成傾斜角β₁。在圖4的示例中，標(biāo)記均平行對齊，相互間為預(yù)定距離。而這些預(yù)定的平行排列和距離能用于導(dǎo)出攝像機(jī)的外部參數(shù)。在此情況下，各標(biāo)記的相對定向和/或其相對距離將被存貯在計(jì)算單元的可讀記憶體中。

圖10展示對車輛10平移52的確定方法。例如，圖案22的正面延伸至車輛10的第一個(gè)位置并與其平面成角度δ，然后延伸至車輛10的第二個(gè)位置并與其平面成角度δ'。對從圖案22左前角連接至攝像機(jī)22的連接線，其在第一個(gè)位置的角度為ε，第二個(gè)位置的角度為ε'。

如圖10所示，車輛10的直線運(yùn)動(dòng)形成了圖案25、27的邊界線，而這些邊界線與攝像機(jī)12和13的傳感器平面50和51所成角度相同。

車輛10的導(dǎo)出運(yùn)動(dòng)此時(shí)便可用于改善攝像機(jī)外部參數(shù)估計(jì)，尤其能改善對攝像機(jī)定向的估計(jì)。

圖11說明了攝像機(jī)與垂直面傾斜角的估算方法。從右置攝像機(jī)13觀察時(shí)，圖案26出現(xiàn)角度為ω₂的交叉對角線，而從前置攝像機(jī)12觀察時(shí)，圖案25出現(xiàn)角度為ω₁的交叉對角線。使用圖案26對角線的表觀尺寸，便可得出攝像機(jī)13與圖案26之間的距離。而通過攝像機(jī)13的已知高度Z，則可得出圖案與垂直面所成角度即

角度是與圖案和攝像機(jī)13連接線與攝像機(jī)13的傳感器平面所成角度進(jìn)行的比較。由此確定，右置攝像機(jī)13的傳感器平面在垂直面或水平面上傾斜。可通過采用以下方式對估計(jì)進(jìn)行改進(jìn)：使用多個(gè)標(biāo)記的邊界線；使用多幀；使用標(biāo)記的多個(gè)形狀參數(shù)(例如同時(shí)使用兩個(gè)交叉對角線)；使用標(biāo)記的內(nèi)部圖案等。

尤其可通過對圖案、形狀參數(shù)和多個(gè)圖像幀的圖案算出導(dǎo)出傾斜角度的加權(quán)平均數(shù)，從而得到傳感器平面的傾斜度。在一項(xiàng)具體實(shí)施方案中，加權(quán)平均數(shù)的權(quán)重是根據(jù)估計(jì)值的估計(jì)精度進(jìn)行調(diào)整的，其中，精度越小，估計(jì)值的權(quán)重將越低。例如，若一個(gè)標(biāo)記的位置與攝像機(jī)相距甚遠(yuǎn)，而根據(jù)該標(biāo)記對傾斜角進(jìn)行估計(jì)，那么所得估計(jì)值的精度通常較低。

圖12闡明了基于標(biāo)記尺寸確定水平和/或垂直攝像機(jī)方向的另一種方法。例如，從前置攝像機(jī)12觀察，標(biāo)記27的前沿以ω₁角延伸；而從右置攝像機(jī)13觀察，其以ω₂角延伸。采用角ω₁、角ω₂、所儲存實(shí)際尺寸和標(biāo)記形狀作為輸入值，分別計(jì)算標(biāo)記27與前置攝像機(jī)以及右置攝像機(jī)的距離d₁和d₂。另外，利用車輛上的已知攝像機(jī)位置計(jì)算距離d₃。

由此，獲知前置攝像機(jī)12、標(biāo)記27和右置攝像機(jī)13所形成三角形的所有三個(gè)角。此外，還獲知前置攝像機(jī)12、右置攝像機(jī)13和標(biāo)記27的標(biāo)高。這反過來可確定三角形的三維立體方向。

使用校準(zhǔn)標(biāo)記的尺寸以及三角形的方向，可推導(dǎo)水平和垂直攝像機(jī)方向或各攝像機(jī)傳感器平面的方向。為了增加準(zhǔn)確度，可針對多個(gè)標(biāo)記、多個(gè)構(gòu)圖和單獨(dú)標(biāo)記的、例如：交叉對角線、前沿和后沿等不同形狀參數(shù)重復(fù)該程序。

參考號列表

10 車輛

11 環(huán)視系統(tǒng)

12 前置攝像機(jī)

13 右置攝像機(jī)

14 左置攝像機(jī)

15 后視攝像機(jī)

16 地平面

21—27 標(biāo)記

28—32 標(biāo)記

40—48 方法步驟

50 傳感器平面

51 傳感器平面

52 平移