本發(fā)明涉及用于機(jī)動(dòng)車輛的攝像頭系統(tǒng)和用于標(biāo)定該攝像頭系統(tǒng)的方法。攝像頭系統(tǒng)具有至少一個(gè)攝像頭，其由來(lái)自機(jī)動(dòng)車輛的環(huán)境的攝像頭圖像、由此視頻圖像產(chǎn)生圖像序列。攝像頭系統(tǒng)的計(jì)算裝置從預(yù)確定虛擬視角(例如，該環(huán)境的平面視圖)從所述至少一個(gè)攝像頭的攝像頭圖像分別產(chǎn)生該環(huán)境的虛擬視圖。

本發(fā)明提供一種車輛視頻系統(tǒng)的在線標(biāo)定方法，其基于魚(yú)眼上執(zhí)行的運(yùn)動(dòng)估計(jì)和在車輛移動(dòng)時(shí)一個(gè)或多個(gè)攝像頭捕獲的地表面的透視矯正圖像幀。該方法可估計(jì)每個(gè)攝像頭相對(duì)于車輛運(yùn)動(dòng)方向和地平面的空間取向(俯仰-側(cè)滑-橫滾)。其還可估計(jì)每個(gè)攝像頭相對(duì)于地平面的高度。另外，其可提供這些參數(shù)的改進(jìn)，以進(jìn)一步優(yōu)化視頻系統(tǒng)產(chǎn)生的虛擬平面視圖的拼接質(zhì)量。

背景技術(shù)：

為了產(chǎn)生虛擬視圖，每個(gè)攝像頭圖像通過(guò)變換或投影而變換。該投影必須考慮每個(gè)攝像頭的空間取向或空間方向，由此相應(yīng)攝像頭對(duì)環(huán)境的實(shí)際視角。攝像頭的空間取向例如通過(guò)其觀察角度、偏航角度和/或橫滾角度。每個(gè)攝像頭的空間取向決定投影的投影參數(shù)，通過(guò)其，攝像頭圖像由實(shí)際視角變換為虛擬視角。這些投影參數(shù)必須通過(guò)標(biāo)定適應(yīng)于每個(gè)攝像頭的實(shí)際空間取向。

用于標(biāo)定機(jī)動(dòng)車輛的攝像頭系統(tǒng)的方法由wo2012/139636a1已知。在此，在虛擬視圖的多個(gè)變換攝像頭圖像的序列中，在變換攝像頭圖像中確定的環(huán)境的至少兩個(gè)特征的運(yùn)動(dòng)軌跡被確定。運(yùn)動(dòng)軌跡導(dǎo)致與平行四邊形相對(duì)的幾何圖形。通過(guò)該方法，攝像頭的不正確調(diào)整的俯仰、側(cè)滑、橫滾角度(相對(duì)于運(yùn)動(dòng)方向和地平面)可被補(bǔ)償。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明基于執(zhí)行機(jī)動(dòng)車輛系統(tǒng)中的每個(gè)攝像頭相對(duì)于車輛縱向軸線和地面平面的空間取向和z位置(高度)的標(biāo)定的目的。

該目的通過(guò)獨(dú)立權(quán)利要求的主題解決。本發(fā)明的有利改進(jìn)通過(guò)從屬權(quán)利要求的特征顯現(xiàn)。

根據(jù)本發(fā)明，提供了一種用于標(biāo)定機(jī)動(dòng)車輛的攝像頭系統(tǒng)的方法。在此，以下攝像頭系統(tǒng)作為基礎(chǔ)。攝像頭系統(tǒng)的至少一個(gè)攝像頭分別相繼地從機(jī)動(dòng)車輛環(huán)境產(chǎn)生攝像頭圖像。攝像頭系統(tǒng)的計(jì)算裝置通過(guò)投影從預(yù)確定虛擬視角從所述攝像頭圖像分別產(chǎn)生該環(huán)境的虛擬視圖。特別地，虛擬視角是環(huán)境的平面視圖，由此是鳥(niǎo)瞰視圖。由此為每個(gè)攝像頭形成的被變換的攝像頭圖像優(yōu)選地構(gòu)成或組合至總視圖，特別是全景視圖。特別地對(duì)于平面視圖，導(dǎo)致對(duì)完全包圍機(jī)動(dòng)車輛的機(jī)動(dòng)車輛環(huán)境的鳥(niǎo)瞰視圖。虛擬視圖例如可顯示在顯示裝置上，例如屏幕上，作為顯示器圖像。由此，可提供停車輔助。

根據(jù)本發(fā)明的方法包括以下步驟。計(jì)算裝置識(shí)別機(jī)動(dòng)車輛沿預(yù)設(shè)定運(yùn)動(dòng)方向的運(yùn)動(dòng)。特別地，識(shí)別直的車輛運(yùn)動(dòng)，由此直著向前的行進(jìn)。通過(guò)沿運(yùn)動(dòng)方向的被識(shí)別行進(jìn)，對(duì)每個(gè)攝像頭，計(jì)算裝置分別經(jīng)過(guò)至少一次標(biāo)定循環(huán)。

在每個(gè)標(biāo)定循環(huán)中，計(jì)算裝置執(zhí)行以下步驟。基于投影的當(dāng)前投影參數(shù)，相應(yīng)的攝像頭的兩個(gè)攝像頭圖像被變換。每個(gè)被變換攝像頭圖像由此代表來(lái)自預(yù)確定虛擬視角的環(huán)境。由于機(jī)動(dòng)車輛執(zhí)行運(yùn)動(dòng)，這兩個(gè)攝像頭圖像不同之處在于，這兩個(gè)變換的攝像頭圖像的第一個(gè)的圖像特征移動(dòng)一距離，這取決于在第二變換攝像頭圖像中的運(yùn)動(dòng)。但是，只有在真實(shí)空間中的特征一致地移動(dòng)相同量，這是由于線性運(yùn)動(dòng)逼近。由于還沒(méi)標(biāo)定的系統(tǒng)以及虛擬視圖(例如，平面視圖)的透視誤差，該移動(dòng)對(duì)于跨過(guò)圖像測(cè)量的圖像特征是不一致的，即它們的運(yùn)動(dòng)矢量是不相同的。通過(guò)將第一被變換的攝像頭圖像的每一個(gè)圖像特征連接至第二被變換的攝像頭圖像中的相同圖像特征，分別導(dǎo)致運(yùn)動(dòng)矢量?；诒蛔儞Q的攝像頭圖像，由此，多個(gè)運(yùn)動(dòng)矢量在虛擬視圖中確定。在此，每個(gè)運(yùn)動(dòng)矢量特別地描述運(yùn)動(dòng)的長(zhǎng)度和/或運(yùn)動(dòng)的方向以及未標(biāo)定系統(tǒng)的虛擬平面視圖的透視誤差。對(duì)于直運(yùn)動(dòng)，需要沿側(cè)向方向合理間隔開(kāi)的至少兩個(gè)運(yùn)動(dòng)矢量，從而為每個(gè)攝像頭計(jì)算俯仰-偏航-橫滾角。實(shí)踐中，更多的運(yùn)動(dòng)矢量需要能夠檢測(cè)和否定異常值。通過(guò)本發(fā)明的方法，可從相同幀獲得這些運(yùn)動(dòng)矢量。還將可行的是，它們?cè)诓煌瑤蝎@得，在該情況下，每幀中需要至少一個(gè)運(yùn)動(dòng)矢量。

對(duì)于運(yùn)動(dòng)矢量的至少一個(gè)幾何特征，特別是長(zhǎng)度和/或方向，各參考值取決于運(yùn)動(dòng)方向被設(shè)定。換句話說(shuō)，基于運(yùn)動(dòng)方向，確定運(yùn)動(dòng)矢量應(yīng)具有哪個(gè)幾何特征。由此，名義運(yùn)動(dòng)矢量或參考矢量可例如取決于運(yùn)動(dòng)方向被確定。例如，參考矢量可具有名義長(zhǎng)度和/或名義方向。從運(yùn)動(dòng)矢量的所述至少一個(gè)幾何特征和各相應(yīng)參考值之間的差異，例如，用于長(zhǎng)度和/或方向的參考值確定誤差值。換句話說(shuō)，運(yùn)動(dòng)矢量與參考矢量的偏差被確定。取決于誤差值，新的投影參數(shù)被由當(dāng)前投影參數(shù)確定。所提到的誤差值可例如形成為絕對(duì)誤差的和、均方誤差的和或類似方法。例如，可為每個(gè)幾何特征形成運(yùn)動(dòng)矢量的實(shí)際值和參考值的差。

通過(guò)本發(fā)明，產(chǎn)生優(yōu)勢(shì)：不僅橫滾角，而且例如不正確調(diào)整的攝像頭俯仰角和/或側(cè)滑角可基于虛擬圖中的運(yùn)動(dòng)矢量通過(guò)改變投影參數(shù)、由此通過(guò)確定新的投影參數(shù)而被補(bǔ)償。橫滾角是根據(jù)所利用的旋轉(zhuǎn)機(jī)制攝像頭繞其光軸或車輛橫向軸線的旋轉(zhuǎn)位置。偏航角描述攝像頭繞車輛垂直軸線的旋轉(zhuǎn)位置。俯仰角描述攝像頭繞車輛橫向軸線的旋轉(zhuǎn)位置。通過(guò)車輛垂直軸線(z軸線)、車輛縱向軸線(x軸線)和車輛橫向軸線(y軸線)，機(jī)動(dòng)車輛技術(shù)背景下已知的通常指定將被理解。在汽車中典型的是具有作為縱向軸線的x和作為橫向軸線的y——該傳統(tǒng)在此使用。

所提的投影可例如是透視變換，如本領(lǐng)域所已知的。計(jì)算裝置可例如通過(guò)控制器或多個(gè)控制的組件或通過(guò)dsp(數(shù)字信號(hào)處理器)或機(jī)動(dòng)車輛的中央處理器裝置提供。每個(gè)運(yùn)動(dòng)矢量可基于相應(yīng)圖像特征在兩個(gè)被變換攝像頭圖像的圖像對(duì)中確定。為了檢測(cè)和將這樣的圖像特征彼此關(guān)聯(lián)，例如，可提供sift算法(sift-尺度不變特征變換)或surf算法(surf-加速魯棒特征)。這樣的特征檢測(cè)和匹配提供來(lái)自第一被變換攝像頭圖像的每一個(gè)圖像特征和來(lái)自第二被變換攝像頭圖像的圖像特征的特征對(duì)，其中，圖像特征視覺(jué)地(optically)彼此對(duì)應(yīng)。優(yōu)選地，代替像sift或surf這樣的特征檢測(cè)器，可執(zhí)行兩個(gè)感興趣幀之間的預(yù)限定數(shù)量圖像塊(在網(wǎng)格上的布置)的直接相關(guān)，且為超過(guò)閾值而否定偏離在運(yùn)動(dòng)場(chǎng)中的局部趨勢(shì)的運(yùn)動(dòng)矢量。這是與利用特征檢測(cè)器且等待圖像中出現(xiàn)的可在下一幀中匹配的良好特征根本不同的方式。該追蹤方法原則上非常類似于用于視頻壓縮的運(yùn)動(dòng)估計(jì)。這不意味著，不可以使用高級(jí)的特征檢測(cè)器，諸如sift或surf(以及許多其他的)來(lái)匹配特征，但這可以具有過(guò)度殺傷力，因?yàn)樘摂M平面視圖自動(dòng)地為匹配的塊提供所需的移位和尺度不變性(具有一定容差)。但是，為了增強(qiáng)追蹤性能，可在兩個(gè)虛擬平面視圖上在匹配它們之前運(yùn)行帶通濾波器，諸如高斯差分或高斯拉普拉斯算子。這提供了弱光和/或不良天氣條件中的明顯改進(jìn)。

在優(yōu)選實(shí)施例中，所述至少一個(gè)攝像頭的至少一個(gè)空間取向——特別是俯仰角(俯仰)和/或偏航角(偏航)和/或橫滾角(橫滾)——通過(guò)投影參數(shù)描述，特別是新的投影參數(shù)。除此之外或與之替換地，攝像頭在機(jī)動(dòng)車輛中的安裝高度通過(guò)投影參數(shù)描述，特別是新的投影參數(shù)。通過(guò)空間取向和/或安裝高度標(biāo)定為或改變?yōu)樾碌耐队皡?shù)，圖像特征的圖像運(yùn)動(dòng)在虛擬視圖中產(chǎn)生，其對(duì)應(yīng)于機(jī)動(dòng)車輛的運(yùn)動(dòng)方向。特別地，通過(guò)機(jī)動(dòng)車輛的直著向前的行進(jìn)，在虛擬視圖中的像素直著移動(dòng)，且特別地邊緣平行于顯示器圖像的邊緣，其沒(méi)有橫向或?qū)蔷€地跨過(guò)顯示裝置。

在一實(shí)施例中，所述至少一個(gè)攝像頭捕獲行進(jìn)地面作為環(huán)境，運(yùn)動(dòng)矢量基于行進(jìn)地面的紋路被確定。由此，產(chǎn)生優(yōu)勢(shì)：本方法可獨(dú)立于特殊圖像特征形成，諸如角部、輪廓或邊緣。由此，運(yùn)動(dòng)矢量可獨(dú)立于情況而形成。

在一實(shí)施例中，每個(gè)攝像頭的多個(gè)運(yùn)動(dòng)矢量在虛擬視圖中被確定。為此，每個(gè)被變換的攝像頭圖像可分為鄰接彼此或重疊的圖像塊陣列。為每個(gè)圖像塊確定運(yùn)動(dòng)矢量。由此，產(chǎn)生優(yōu)勢(shì)：誤差值基于多個(gè)運(yùn)動(dòng)矢量確定，它們?cè)谡麄€(gè)被變換的攝像頭圖像上均勻布置。由此，誤差在統(tǒng)計(jì)學(xué)上變得更魯棒。統(tǒng)計(jì)異常值可也被補(bǔ)償。應(yīng)注意，所述至少兩個(gè)運(yùn)動(dòng)矢量由相同對(duì)或不同對(duì)沿側(cè)向方向間隔開(kāi)的被變換圖像獲得，以便計(jì)算俯仰-偏航-橫滾角。

在一個(gè)實(shí)施例中，誤差值在每個(gè)標(biāo)定循環(huán)中迭代地減小。為此，中間投影參數(shù)在每次迭代中取決于誤差值通過(guò)預(yù)確定價(jià)值函數(shù)確定。價(jià)值函數(shù)是用于誤差值的計(jì)算規(guī)則。中間投影參數(shù)可例如基于價(jià)值函數(shù)的數(shù)學(xué)偏差被確定。數(shù)學(xué)偏差可用于確定用于投影參數(shù)的梯度，通過(guò)其，迭代優(yōu)化方法可以本身已知的方式執(zhí)行，例如，高斯-牛頓方法。還可以的是，將問(wèn)題構(gòu)想為線性方程的超定(overdetermined)系統(tǒng)，且通過(guò)線性最小二乘法技術(shù)解決。基于中間投影參數(shù)，虛擬視圖中的運(yùn)動(dòng)矢量通過(guò)投影重新變換、即重新投影而改變或重新取向。在此，特別地，僅運(yùn)動(dòng)矢量被投影。即，攝像頭圖像的新投影和運(yùn)動(dòng)矢量的重新計(jì)算可被省略。

這節(jié)省了計(jì)算能力。迭代由此終止。迭代重復(fù)，直到誤差值滿足預(yù)確定優(yōu)化準(zhǔn)則。例如，優(yōu)化準(zhǔn)則可預(yù)設(shè)定為，誤差值必須小于預(yù)確定最大值，或誤差值已經(jīng)通過(guò)與之前迭代有關(guān)的值改變，該值小于預(yù)確定最小變量。通過(guò)本實(shí)施例，產(chǎn)生優(yōu)勢(shì)：在優(yōu)化準(zhǔn)則方面最佳的新投影參數(shù)可基于僅兩個(gè)攝像頭圖像確定。

在一實(shí)施例中，多個(gè)運(yùn)動(dòng)矢量例如以所述方式確定。隨著沿運(yùn)動(dòng)方向行進(jìn)，機(jī)動(dòng)車輛的直著向前的行進(jìn)——由此直線運(yùn)動(dòng)——被識(shí)別。由此，運(yùn)動(dòng)矢量的幾何特征有利地導(dǎo)致，其可被特別簡(jiǎn)單和可靠地檢查和/或優(yōu)化。作為幾何特征，檢查運(yùn)動(dòng)矢量是否彼此平行和/或平行于虛擬視圖的圖像邊緣和/或同樣長(zhǎng)。通過(guò)機(jī)動(dòng)車輛的直運(yùn)動(dòng)，這些幾何特征足以關(guān)于俯仰角、偏航角和/或橫滾角標(biāo)定每個(gè)攝像頭。

為了檢查機(jī)動(dòng)車輛的直運(yùn)動(dòng)中的所提及的幾何特征，存在特別優(yōu)選的實(shí)施例。在此，對(duì)于與車輛橫向軸線平行取向的每個(gè)運(yùn)動(dòng)矢量的y分量，y參考值0被設(shè)定，且對(duì)于與車輛縱向軸線平行取向的x部件，運(yùn)動(dòng)矢量的所有x分量的平均值設(shè)定為x參考值。均方差的和形成為誤差值。在y分量的實(shí)際值和y參考值以及x分量實(shí)際值和x參考值的差之間以所述的方式計(jì)算差值。由此，產(chǎn)生優(yōu)勢(shì)：根據(jù)優(yōu)化準(zhǔn)則，所述迭代最小化可特別地以高效計(jì)算方式通過(guò)誤差值執(zhí)行。同時(shí)實(shí)現(xiàn)所有定向矢量同樣長(zhǎng)且平行于行進(jìn)方向取向。

在一實(shí)施例中，為了從各攝像頭的圖像序列選擇兩個(gè)攝像頭圖像，在這兩個(gè)攝像頭圖像的第一個(gè)和這兩個(gè)攝像頭圖像的第二個(gè)之間跳過(guò)圖像序列的至少一個(gè)攝像頭圖像。由此，產(chǎn)生優(yōu)勢(shì)：所述至少一個(gè)定向矢量具有矢量長(zhǎng)度，其大于最小長(zhǎng)度。該實(shí)施例特別地通過(guò)機(jī)動(dòng)車輛的行進(jìn)速度執(zhí)行，其小于最小速度。最小速度特別地范圍為2km/h至25km/h。可設(shè)置為，標(biāo)定循環(huán)僅在機(jī)動(dòng)車輛的行進(jìn)速度處于與其預(yù)確定速度區(qū)間中時(shí)執(zhí)行。該速度區(qū)間例如為10km/h至30km/h的范圍，特別地為15km/h至25km/h的范圍。原理上，除了速度大于零之外，不存在約束。

在一實(shí)施例中，如果每個(gè)攝像頭確定多個(gè)運(yùn)動(dòng)矢量，至少一個(gè)運(yùn)動(dòng)矢量作為異常值被刪除。如果對(duì)誤差值的貢獻(xiàn)或輸入大于運(yùn)動(dòng)矢量的最大部分或預(yù)確定最大值，運(yùn)動(dòng)矢量分類為異常值。除此之外或與之替換地，如果運(yùn)動(dòng)矢量違反關(guān)于在其緊鄰處的其余運(yùn)動(dòng)矢量的近似準(zhǔn)則，運(yùn)動(dòng)矢量分類為異常值。應(yīng)僅與鄰近矢量比較。未標(biāo)定虛擬視圖的透視畸變自然導(dǎo)致遠(yuǎn)隔的運(yùn)動(dòng)矢量之間的大偏差。優(yōu)選地，在價(jià)值函數(shù)中假定平地面。不平整地面(包括路緣)實(shí)際上在標(biāo)定中注入誤差，因此，應(yīng)利用檢測(cè)其且在其發(fā)生時(shí)排除其的機(jī)制。但是，當(dāng)?shù)孛媸瞧降牡莾A斜時(shí)，不能將其與非傾斜地面區(qū)分開(kāi)。在大多數(shù)情況下，這樣的誤差在多個(gè)標(biāo)定循環(huán)上被自然地平均掉。用于不平地面(諸如路緣)的檢測(cè)機(jī)制是檢測(cè)在不同地面高度上的運(yùn)動(dòng)矢量長(zhǎng)度中的突然變化。未標(biāo)定系統(tǒng)的透視誤差導(dǎo)致運(yùn)動(dòng)矢量長(zhǎng)度中的一致變化，但是路緣導(dǎo)致可被檢測(cè)到的突然變化。

應(yīng)注意，矢量長(zhǎng)度與標(biāo)定系統(tǒng)中的物體高度直接有關(guān)。這意味著較高的地面在虛擬平面視圖中給出明顯較大的運(yùn)動(dòng)，且因此較長(zhǎng)的運(yùn)動(dòng)矢量。

在一實(shí)施例中，每個(gè)攝像頭執(zhí)行多個(gè)標(biāo)定循環(huán)。對(duì)于每個(gè)標(biāo)定循環(huán)，新的投影參數(shù)分別被確定。由不同的標(biāo)定類型，相應(yīng)的新投影參數(shù)被組合到各個(gè)平均的投影參數(shù)。例如，這可通過(guò)遞推平均(移動(dòng)平均)執(zhí)行。換句話說(shuō)，投影參數(shù)被平滑。遞推平均例如通過(guò)濾波器可行，其實(shí)現(xiàn)為iir濾去(iir-無(wú)線脈沖響應(yīng))，例如指數(shù)下降脈沖響應(yīng)。采用平均投影參數(shù)作為相應(yīng)的下一標(biāo)定循環(huán)中的所述投影的當(dāng)前投影參數(shù)的基準(zhǔn)。由此，產(chǎn)生優(yōu)勢(shì)：標(biāo)定快速收斂。另外，在確定投影參數(shù)時(shí)的估計(jì)誤差被補(bǔ)償。

在一實(shí)施例中，執(zhí)行多個(gè)標(biāo)定循環(huán)，平均誤差值從其中一個(gè)標(biāo)定循環(huán)的誤差值和從至少一個(gè)之前的標(biāo)定循環(huán)的相應(yīng)誤差值確定。新的投影參數(shù)僅在平均誤差值大于預(yù)確定臨界值時(shí)被確定。否則，標(biāo)定循環(huán)終止而沒(méi)有新的投影參數(shù)被確定。由此，導(dǎo)致用于標(biāo)定的觸發(fā)函數(shù)。例如，誤差值可對(duì)于每一對(duì)攝像頭圖像被多次確定，且由此誤差信號(hào)可被連續(xù)提供。如果誤差信號(hào)超過(guò)觸發(fā)值或臨界值，實(shí)際標(biāo)定通過(guò)確定新參數(shù)值而被執(zhí)行，直到平均誤差值再次減小到臨界值以下。在此，滯后(hysteresis)臨界值可也被提供。

如上所述，多個(gè)攝像頭可產(chǎn)生攝像頭圖像。多個(gè)攝像頭的被變換的攝像頭圖像則可組合或構(gòu)成至總視圖，特別是全景視圖。在一實(shí)施例中，其中，多個(gè)攝像頭每個(gè)產(chǎn)生攝像頭圖像，形成至每個(gè)攝像頭的運(yùn)動(dòng)矢量匹配至彼此。實(shí)際上，在每個(gè)攝像頭的俯仰-偏航-橫滾誤差已經(jīng)被補(bǔ)償之后，同時(shí)由所有攝像頭獲得的所有運(yùn)動(dòng)矢量應(yīng)具有相同的長(zhǎng)度，因?yàn)樗鼈兠枋鲋边\(yùn)動(dòng)的相同量?？墒褂迷撔畔?lái)協(xié)調(diào)地調(diào)整每個(gè)攝像頭的高度，以便在所有攝像頭中實(shí)現(xiàn)相等的長(zhǎng)度運(yùn)動(dòng)矢量。該技術(shù)考慮安裝在車輛底盤(pán)上的攝像頭的已知和固定的空間位置，且允許攝像頭以受約束的方式通過(guò)從四個(gè)懸掛點(diǎn)旋轉(zhuǎn)或升高底盤(pán)——這是在現(xiàn)實(shí)中發(fā)生的——而與之偏離。為了在沒(méi)有對(duì)單個(gè)攝像頭系統(tǒng)或車輛上的攝像頭位置的之前了解時(shí)進(jìn)行標(biāo)定，可使用與其他傳感器獨(dú)立的車輛運(yùn)動(dòng)的量的測(cè)量，諸如發(fā)布在can或flexray總線上的車輛速度。由此，可計(jì)算運(yùn)動(dòng)矢量的期望長(zhǎng)度，如果攝像頭高度是正確的且補(bǔ)償任何誤差的話。該匹配通過(guò)調(diào)整作為投影參數(shù)的至少一個(gè)攝像頭的安裝高度而被實(shí)現(xiàn)。在一實(shí)施例中，兩個(gè)攝像頭之間的相對(duì)安裝高度被調(diào)整，直到用于所有攝像頭的運(yùn)動(dòng)矢量重合或至多在預(yù)確定容差值上不同。在一實(shí)施例中，其中一個(gè)攝像頭隨后被絕對(duì)標(biāo)定。為此，攝像頭的絕對(duì)安裝高度取決于機(jī)動(dòng)車輛的行進(jìn)速度確定。取決于行進(jìn)速度，用于運(yùn)動(dòng)矢量的矢量長(zhǎng)度的參考值可對(duì)該攝像頭被確定。例如，行進(jìn)速度可經(jīng)由機(jī)動(dòng)車輛的通信總線被確定，特別是can總線(can-控制器區(qū)域網(wǎng)絡(luò))?？蛇€設(shè)置為，絕對(duì)安裝高度以所述方式在每個(gè)攝像頭處被確定。

以下，描述三個(gè)可能性，其每個(gè)展現(xiàn)本發(fā)明的實(shí)施例，且特別地允許投影參數(shù)的迭代標(biāo)定改變兩個(gè)攝像頭的被變換攝像頭圖像。第一和第二攝像頭產(chǎn)生圖像。在兩個(gè)攝像頭的被變換攝像頭圖像中，確定重疊誤差值。用于第一和/或第二攝像頭的新投影參數(shù)取決于重疊誤差值被確定。三個(gè)所述實(shí)施例通過(guò)重疊誤差值的以下的不同計(jì)算產(chǎn)生。

在替換實(shí)施例中，a)至少一個(gè)攝像頭間運(yùn)動(dòng)矢量基于第一攝像頭的被變換攝像頭圖像和第二攝像頭的被變換攝像頭圖像確定。換句話說(shuō)，確定第一攝像頭的被變換攝像頭圖像的攝像頭間運(yùn)動(dòng)矢量的起點(diǎn)和第二攝像頭的被變換攝像頭圖像的攝像頭間運(yùn)動(dòng)矢量的終點(diǎn)。重疊誤差取決于所述至少一個(gè)攝像頭間運(yùn)動(dòng)矢量的至少一個(gè)幾何特征形成。特別地，在直著向前行進(jìn)時(shí)，作為幾何特征，檢查攝像頭間運(yùn)動(dòng)矢量是否平行于機(jī)動(dòng)車輛的運(yùn)動(dòng)方向取向。

在替換實(shí)施例中，在被變換的攝像頭圖像的重疊區(qū)域中，圖像塊在第一攝像頭的被變換攝像頭圖像中確定。圖像塊是圖像區(qū)域，通過(guò)特征檢測(cè)而被檢測(cè)的圖像特征定位在其中。在第二攝像頭的被變換攝像頭圖像中，確定相應(yīng)的圖像塊。換句話說(shuō)，在第二攝像頭的被變換攝像頭圖像的圖像塊被檢測(cè)。圖像塊特別是紋路塊。該特征相應(yīng)地是特定紋路。重疊誤差值取決于兩個(gè)圖像塊的距離而被確定。在該塊匹配中，重疊誤差值通過(guò)新的投影參數(shù)減小，從而減小距離。

在替換實(shí)施例中，在重疊區(qū)域中，比較值由第一攝像頭的被變換攝像頭圖像和第二攝像頭的被變換攝像頭圖像在重疊區(qū)域中產(chǎn)生。比較值可例如是相關(guān)值。例如，兩個(gè)被變換攝像頭圖像的重疊區(qū)域中的像素的亮度值可彼此相減，方差和可形成。重疊誤差值取決于比較值而被確定。特別地，比較值被用作重疊誤差值。由此，新的投影參數(shù)基于重疊區(qū)域中的紋路相關(guān)性而被確定。

用于機(jī)動(dòng)車輛的攝像頭系統(tǒng)——即，用于機(jī)動(dòng)車輛的攝像頭裝置——也與本發(fā)明相關(guān)聯(lián)。攝像頭系統(tǒng)具有至少一個(gè)攝像頭，分別用于由機(jī)動(dòng)車輛的環(huán)境的攝像頭照片產(chǎn)生攝像序列。優(yōu)選地，提供多個(gè)攝像頭。此外，提供計(jì)算裝置，其適于通過(guò)投影從預(yù)確定虛擬視角從所述攝像頭圖像分別產(chǎn)生該環(huán)境的虛擬視圖，該虛擬視角特別是該環(huán)境的平面視圖。特別地，設(shè)置為，計(jì)算裝置基于每個(gè)攝像頭的每一個(gè)攝像頭圖像而產(chǎn)生被變換的攝像頭圖像，且將被變換的攝像頭圖像連接至總視圖，特別地為全景視圖。根據(jù)本發(fā)明的攝像頭系統(tǒng)此外具有顯示裝置，用于顯示由攝像頭圖像產(chǎn)生的虛擬視圖，由此用于顯示被變換的攝像頭圖像。特別地，由被變換的攝像頭圖像構(gòu)成的總視圖——優(yōu)選地，機(jī)動(dòng)車輛的平面視圖——被產(chǎn)生和顯示。在根據(jù)本發(fā)明的攝像頭系統(tǒng)中，計(jì)算裝置適于執(zhí)行根據(jù)本發(fā)明的方法。

此外，具有根據(jù)本發(fā)明的攝像頭系統(tǒng)的實(shí)施例的機(jī)動(dòng)車輛與本發(fā)明相關(guān)聯(lián)。在此，優(yōu)選地設(shè)置為，攝像頭系統(tǒng)具有多個(gè)攝像頭，第一個(gè)攝像頭的捕獲范圍向機(jī)動(dòng)車輛旁邊的第一側(cè)向區(qū)域取向，第二個(gè)攝像頭的捕獲范圍向機(jī)動(dòng)車輛旁邊的與第一側(cè)向區(qū)域相反的第二側(cè)向區(qū)域取向，第三個(gè)攝像頭的捕獲范圍向機(jī)動(dòng)車輛前面的前部區(qū)域取向，第四個(gè)攝像頭的捕獲范圍向機(jī)動(dòng)車輛后面的后部區(qū)域取向。優(yōu)選地，攝像頭系統(tǒng)適于由每個(gè)攝像頭的每一個(gè)攝像頭圖像產(chǎn)生相應(yīng)的被變換攝像頭圖像。由此產(chǎn)生的被變換的攝像頭圖像鏈接至全景視圖，特別的平面視圖。即，全景視圖由被變換的攝像頭圖像產(chǎn)生。全景視圖通過(guò)顯示裝置顯示。顯示裝置可例如是用于機(jī)動(dòng)車輛的中控臺(tái)或儀表板的屏幕。

附圖說(shuō)明

在以下描述本發(fā)明的實(shí)施例中。這其中顯示：

圖1是根據(jù)本發(fā)明的機(jī)動(dòng)車輛的示意圖，

圖2是虛擬平面視圖的顯示器圖像的示意圖，其通過(guò)圖1的機(jī)動(dòng)車輛的攝像頭系統(tǒng)在標(biāo)定之前產(chǎn)生，

圖3是在攝像頭系統(tǒng)標(biāo)定之后的圖2的平面視圖，

圖4是根據(jù)本發(fā)明的方法的實(shí)施例的流程圖，

圖5是來(lái)自攝像頭系統(tǒng)的攝像頭的攝像頭圖像的運(yùn)動(dòng)矢量，和

圖6是在標(biāo)定之后的圖4的運(yùn)動(dòng)矢量。

具體實(shí)施方式

以下解釋的實(shí)施例是本發(fā)明的優(yōu)選實(shí)施例。但是在實(shí)施例中，實(shí)施例的所述部件每個(gè)表示要考慮的且彼此獨(dú)立的本發(fā)明各個(gè)特征，其每個(gè)獨(dú)立發(fā)展本發(fā)明且由此也以各個(gè)方式或并非所示組合的另一方式視為本發(fā)明的部件。此外，所述實(shí)施例可也被已經(jīng)描述的本發(fā)明其他特征補(bǔ)充。

在圖中，功能相同的元件每個(gè)被提供相同的附圖標(biāo)記。

圖1示出機(jī)動(dòng)車輛1，其可以是汽車，特別是小客車。在圖1所示的例子中，機(jī)動(dòng)車輛1可行進(jìn)通過(guò)環(huán)境2。例如，機(jī)動(dòng)車輛1可在行進(jìn)地面上碾過(guò)或行進(jìn)，該行進(jìn)地面可以是馬路。車道界定線4在圖1中示例性示出。機(jī)動(dòng)車輛1可沿向前的行進(jìn)方向5在行進(jìn)地面3上行進(jìn)。例如，假定，機(jī)動(dòng)車輛1執(zhí)行直的車輛運(yùn)動(dòng)6。

機(jī)動(dòng)車輛1可具有攝像頭系統(tǒng)7。攝像頭系統(tǒng)7可具有一個(gè)或多個(gè)攝像頭8、9、10、11。在所示例子中，攝像頭8可以是前攝像頭，攝像頭9、10分別可以是側(cè)向攝像頭，攝像頭11可以是后攝像頭。每個(gè)攝像頭8、9、10、11可例如是視頻攝像頭。例如，每個(gè)攝像頭8、9、10、11可分別構(gòu)造為紅外圖像攝像頭、黑白攝像頭或彩色圖像攝像頭。每個(gè)攝像頭8、9、10、11可以聯(lián)接至計(jì)算裝置12，其可例如通過(guò)控制器實(shí)現(xiàn)。計(jì)算裝置12可適于接收每個(gè)攝像頭8、9、10、11的圖像數(shù)據(jù)。計(jì)算裝置12可聯(lián)接至顯示裝置13，其可例如是屏幕，其可例如布置在機(jī)動(dòng)車輛內(nèi)部中，例如在中控臺(tái)或儀表板上。計(jì)算裝置12可適于由攝像頭圖像產(chǎn)生顯示器圖像14，計(jì)算裝置12可將該顯示器圖像顯示在顯示裝置13上。

例如，可設(shè)置為，顯示器圖像14顯示機(jī)動(dòng)車輛1的虛擬平面視圖15。為此，機(jī)動(dòng)車輛1的圖片16可也顯示在顯示器圖像14中。顯示器圖像14可以是移動(dòng)圖像，由此是視頻序列或圖像序列。

虛擬平面視圖15可在攝像頭系統(tǒng)7中如下產(chǎn)生。每個(gè)攝像頭8、9、10、11的各圖像捕獲范圍或簡(jiǎn)稱捕獲范圍17、18、19、20可向環(huán)境2中取向。特別地，捕獲范圍17、18、19、20可向行進(jìn)地面3取向，從而每個(gè)攝像頭8、9、10、11在其連續(xù)的攝像頭圖像21、22、23、24、25、26、27、28中從各個(gè)實(shí)際攝像頭視角對(duì)行進(jìn)地面3進(jìn)行成像(image)，例如自20厘米至150厘米范圍的安裝高度。捕獲范圍17、18、19、20可具有成對(duì)的重疊區(qū)域o。

在以下，為了清楚，僅描述用于攝像頭9的攝像頭圖像23、24的通過(guò)計(jì)算裝置12的圖像處理。該解釋相應(yīng)地應(yīng)用于其余攝像頭8、10和11。攝像頭圖像23、24通過(guò)投影p變換或透視地變形(distort)。投影p適于使每個(gè)攝像頭圖像23、24變形，從而行進(jìn)地面3沒(méi)有從攝像頭9的視角展現(xiàn)，而是從虛擬平面視圖15的期望預(yù)設(shè)定視角，由此從機(jī)動(dòng)車輛1上方或頂部的視角。這樣的投影可例如通過(guò)變換執(zhí)行，特別是變換矩陣。用于所述投影的另外的設(shè)計(jì)還是矯正或幾何變形或均衡化。用于執(zhí)行這樣的投影的方法本身從現(xiàn)有技術(shù)已知。

由攝像頭圖像23、24，被變換的攝像頭圖像23’、24’分別通過(guò)投影p產(chǎn)生。變換的攝像頭圖像23’、24’和攝像頭8、10和11的相應(yīng)的變換的攝像頭圖像可被傳送至組合單元29。組合單元29可適于組合相應(yīng)的攝像頭圖像，由此攝像頭圖像，其已經(jīng)在相同時(shí)間點(diǎn)或在預(yù)確定時(shí)間間隔內(nèi)捕獲。投影p和組合裝置29可例如設(shè)置為計(jì)算裝置12的程序模塊。

在例子中，示出變換的攝像頭圖像23’如何可與通過(guò)疊置或拼接將相應(yīng)的變換攝像頭圖像21’、25’、27’匹配至虛擬平面視圖15而組合。最后，機(jī)動(dòng)車輛1的圖片16可也被添加。最終的顯示器圖像14可則通過(guò)顯示裝置13輸出。變換的攝像頭圖像21’、23’、25’、27’可具有配對(duì)的重疊區(qū)域o，其與捕獲范圍17、18、19、20的重疊區(qū)域o對(duì)應(yīng)。

為了使得顯示器圖像14呈現(xiàn)現(xiàn)實(shí)的平面視圖15，攝像頭8、9、10、11的幾何布置——特別是幾何取向——將不得不彼此匹配。此外，每個(gè)攝像頭8、9、10、11必須具有進(jìn)入環(huán)境2的正確取向，因?yàn)榭稍陲@示器圖像14中識(shí)別的物體的運(yùn)動(dòng)對(duì)應(yīng)于實(shí)際車輛運(yùn)動(dòng)6。攝像頭8、9、10、11的幾何取向的誤差可分別通過(guò)調(diào)整或標(biāo)定投影參數(shù)值30分別對(duì)每個(gè)攝像頭執(zhí)行，用于投影p(在攝像頭9的情況下)和其余(未示出)投影。

圖2示出顯示器圖像14，如果攝像頭8、9、10、11的幾何取向的誤差沒(méi)有被補(bǔ)償?shù)脑挘淇僧a(chǎn)生。顯示器圖像14被示出。顯示器圖像14示例性地由變換的攝像頭圖像21’、23’、25’、27’形成。通過(guò)計(jì)算裝置12，彼此鄰接或彼此重疊的圖像塊32的矩陣或網(wǎng)格圖案31——其一些在圖2和圖3中為清楚起見(jiàn)設(shè)置有附圖標(biāo)記——可被形成用于顯示器圖像14中的每個(gè)變換的攝像頭圖像21’、23’、25’、27’。為了每個(gè)圖像塊32，運(yùn)動(dòng)矢量33額外地由兩個(gè)攝像頭圖像21至28產(chǎn)生，所述兩個(gè)攝像頭圖像時(shí)間上連續(xù)地通過(guò)相應(yīng)攝像頭8、9、10、11產(chǎn)生。再次為了清楚，僅一些運(yùn)動(dòng)矢量提供由附圖標(biāo)記。

由兩個(gè)時(shí)間上連續(xù)地捕獲的攝像頭圖像或被變換的攝像頭圖像產(chǎn)生運(yùn)動(dòng)矢量本身從現(xiàn)有技術(shù)已知，且例如在wo2012/139636a1中描述。運(yùn)動(dòng)矢量33可特別地基于在變換的攝像頭圖像21’至27’中成像的行進(jìn)地面3的紋理34形成。在圖2中示出，運(yùn)動(dòng)矢量33在直著向前行進(jìn)中沿車輛1的行進(jìn)方向6產(chǎn)生，其方向并沒(méi)有平行于行進(jìn)方向6取向。此外，可產(chǎn)生不同長(zhǎng)度的運(yùn)動(dòng)矢量33。

在圖3中，示出具有期望的投影參數(shù)值30的顯示器圖像14，其在攝像頭系統(tǒng)7的標(biāo)定之后產(chǎn)生。定向矢量33平行于行進(jìn)方向6取向且同樣長(zhǎng)。在評(píng)價(jià)運(yùn)動(dòng)矢量33時(shí)，個(gè)別的運(yùn)動(dòng)矢量可作為異常值35排除。在圖2和圖3中，僅一些異常值35每個(gè)被提供由附圖標(biāo)記。如果行進(jìn)地面3例如不平整時(shí)，則產(chǎn)生異常值35。

投影參數(shù)值30可例如指定(specify)攝像頭9的安裝高度。投影參數(shù)值30例如可還指定攝像頭9的橫滾角和/或俯仰角和/或傾斜角。為了確定用于標(biāo)定攝像頭系統(tǒng)7的投影參數(shù)值30，圖4所示的方法可被執(zhí)行。

所提出的方法要求大體直的運(yùn)動(dòng)且沒(méi)有轉(zhuǎn)向和在地表面上的少量的紋路(這在大多數(shù)情況下自然發(fā)生)。不像其他方法，其不要求任何特定的興趣特征(諸如角部、輪廓或邊緣)存在于圖像上或者在多幀上追蹤這些特征。給出所需的條件，可由兩個(gè)相繼的視頻幀同時(shí)標(biāo)定一個(gè)或多個(gè)攝像頭。需注意，在實(shí)踐中，當(dāng)前標(biāo)定保持為n個(gè)之前的標(biāo)定的指數(shù)加權(quán)平均值，以將由于不平整地面或車輛運(yùn)動(dòng)中振蕩導(dǎo)致的非永久變化濾除。盡管競(jìng)爭(zhēng)方法沒(méi)有引述它們的標(biāo)定準(zhǔn)確度或總時(shí)間，被預(yù)期的是本發(fā)明方法將在速度和準(zhǔn)確度方面勝過(guò)它們，因?yàn)槠淇煞浅？焖俚禺a(chǎn)生可靠標(biāo)定。

隨后的步驟提供用于計(jì)算裝置12的內(nèi)部控制：

s1.給出所有攝像頭的永久內(nèi)部和當(dāng)前外部標(biāo)定(具有對(duì)每個(gè)攝像頭的旋轉(zhuǎn)和/或高度的誤差的較高容差)，平面視圖執(zhí)行四個(gè)攝像頭圖像的魚(yú)眼和透視矯正和拼接到單個(gè)虛擬平面視圖中。這對(duì)所有攝像頭的兩個(gè)相繼幀執(zhí)行，以獲得一對(duì)虛擬平面視圖。

圖像矯正可通過(guò)預(yù)計(jì)算查找表執(zhí)行，且可包含抗混疊濾波器，以改善圖像質(zhì)量和追蹤性能。產(chǎn)生的視圖的變焦水平(zoomlevel)(每個(gè)像素的真實(shí)世界單元)可動(dòng)態(tài)地適應(yīng)于速度和/或照明和環(huán)境條件，以優(yōu)化追蹤性能。另外，幀可以非常慢的速度跳過(guò)，以增加在下一步驟中獲得的運(yùn)動(dòng)矢量的有效長(zhǎng)度和由此snr。

s2.優(yōu)選地，通過(guò)帶通或高通空間濾波而增強(qiáng)虛擬平面視圖，以改善困難環(huán)境或照明條件中的追蹤性能。

s3.在一對(duì)虛擬平面視圖圖像中在感興趣區(qū)域(每個(gè)攝像頭一個(gè)roi)內(nèi)的相鄰或重疊塊的網(wǎng)格上執(zhí)行運(yùn)動(dòng)估計(jì)，以獲得而用于每個(gè)攝像頭的運(yùn)動(dòng)矢量。對(duì)于一些或所有塊，如果這些塊的像素強(qiáng)度離差低于某閾值(即，所述塊表示紋路較少的表面，諸如圖像中非常暗或過(guò)度曝光的部分)，則可不執(zhí)行塊匹配。塊匹配可通過(guò)典型的塊匹配算法(bma)實(shí)現(xiàn)，該算法還在用于視頻壓縮的運(yùn)動(dòng)估計(jì)中使用，且可利用來(lái)自can總線的里程數(shù)據(jù)輔助塊匹配，以進(jìn)行更高效的搜索預(yù)測(cè)。典型的塊近似測(cè)量(bdm)可被使用，諸如一幀中的參考?jí)K的像素和下一幀的名義搜索區(qū)域的像素之間的絕對(duì)差的和(sad)或平方差的和(ssd)。

s4.基于運(yùn)動(dòng)場(chǎng)的局部空間一致性否定明顯的異常值，即，排除根據(jù)一些近似測(cè)量從它們的相鄰運(yùn)動(dòng)矢量偏離超過(guò)某容差的運(yùn)動(dòng)矢量。任何不一致矢量被定義為“異常值”，其或者由于錯(cuò)誤匹配或者由于錯(cuò)誤物體(諸如移動(dòng)物體、具有高度或不平整地面的物體)的真實(shí)匹配(genuinematch)而發(fā)生。

s5.獨(dú)立地經(jīng)由價(jià)值函數(shù)(costfunction)評(píng)價(jià)每個(gè)攝像頭的當(dāng)前標(biāo)定質(zhì)量，該價(jià)值函數(shù)來(lái)源于(derivedfrom)地面平面上的運(yùn)動(dòng)矢量的簡(jiǎn)單幾何屬性。優(yōu)選地，這些幾何屬性滿足直的車輛運(yùn)動(dòng)，其可經(jīng)由相關(guān)的can信號(hào)或通過(guò)運(yùn)動(dòng)矢量的附加處理被指示給算法，以檢測(cè)車輛轉(zhuǎn)向。

用于檢測(cè)從鏡像攝像頭(mirrorcamera)轉(zhuǎn)向的量的簡(jiǎn)單探索(heuristic)方法是，將線擬合到由運(yùn)動(dòng)矢量y分量和它們?cè)趫D像上的水平位置(或等同地，它們?cè)诰W(wǎng)格上的列指數(shù))獲得的數(shù)據(jù)點(diǎn)。該線的斜率代表車輛轉(zhuǎn)向的量。

對(duì)于直的車輛運(yùn)動(dòng)，完全標(biāo)定的系統(tǒng)應(yīng)產(chǎn)生在虛擬平面視圖上的運(yùn)動(dòng)矢量，其沒(méi)有透視畸變，即，平行于圖像掃描線且在所有攝像頭上具有相同長(zhǎng)度(圖6)。即，所有運(yùn)動(dòng)矢量的絕對(duì)x分量的方差和絕對(duì)y分量的和應(yīng)均為零。這可還表示為從零和從平均值的殘余平方和(sse)，且可具有導(dǎo)數(shù)形式，諸如均方誤差(mse)或均方根誤差(rmse)。

圖5和圖6示出透視畸變(圖5)與非畸變i標(biāo)定的運(yùn)動(dòng)矢量(圖6)。對(duì)于具有權(quán)重{w1,w2,w3,...,wn}的一組運(yùn)動(dòng)矢量{v1,v2,v3,...,vn}，其中

x分量xi的加權(quán)平均數(shù)為

要被最小化的均方誤差為

且，均方根標(biāo)定誤差為

該誤差越小，標(biāo)定越好，且通過(guò)暗示，虛擬平面視圖的拼接質(zhì)量越好。實(shí)際上，該誤差包含各種來(lái)源的噪音，因此，其不可能是絕對(duì)零，除非在模擬的理想情況下。p

標(biāo)定誤差被反轉(zhuǎn)(invert)，被歸一化到特定范圍(0至100)，且經(jīng)由指數(shù)移動(dòng)平均iir濾波器濾波，以獲得每個(gè)攝像頭的當(dāng)前標(biāo)定質(zhì)量的穩(wěn)定指示器，用于標(biāo)定過(guò)程的自診斷和觸發(fā)。濾波器的平滑因子決定標(biāo)定觸發(fā)器的靈敏度。該信號(hào)被連續(xù)地監(jiān)視(重復(fù)步驟s1至s5)，直到其掉到一定滯后閾值以下，在該情況下，標(biāo)定過(guò)程在下一步驟中開(kāi)始和重復(fù)，直到該質(zhì)量達(dá)到一定滿意水平。

應(yīng)注意，標(biāo)定質(zhì)量在多個(gè)標(biāo)定循環(huán)上不對(duì)稱地收斂到穩(wěn)定狀態(tài)，這是由于在標(biāo)定結(jié)果(隨后)和其本身二者中應(yīng)用的指數(shù)平滑。在實(shí)踐中，給出正確的條件，穩(wěn)定狀態(tài)被非?？斓貙?shí)現(xiàn)，這是由于系統(tǒng)為每對(duì)幀產(chǎn)生一個(gè)標(biāo)定的能力。

s6.通過(guò)最小化與在之前步驟中使用的價(jià)值函數(shù)類似的價(jià)值函數(shù)以評(píng)價(jià)標(biāo)定誤差，獨(dú)立地標(biāo)定每個(gè)攝像頭的取向(俯仰-偏航-橫滾)。通過(guò)將重新投影到地面平面上的運(yùn)動(dòng)矢量的殘余平方和最小化，以最小二乘法執(zhí)行優(yōu)化。轉(zhuǎn)換為空間偏置的時(shí)間延遲可包含在價(jià)值函數(shù)的計(jì)算中，以中和滾動(dòng)快門(mén)的影響。

s7.利用每個(gè)攝像頭的被標(biāo)定取向?qū)⑺羞\(yùn)動(dòng)矢量重新投影到地面平面上，用于進(jìn)一步處理。應(yīng)注意，虛擬平面視圖和塊匹配的運(yùn)動(dòng)矢量在這階段均不需要重新計(jì)算，因?yàn)榭蓪?biāo)定矯正直接應(yīng)用于現(xiàn)有矢量。圖像處理僅在每個(gè)標(biāo)定循環(huán)的起點(diǎn)處執(zhí)行。

s8.檢查重新投影的運(yùn)動(dòng)矢量的分量的殘余誤差和統(tǒng)計(jì)分布或聚類，以檢測(cè)路緣或具有高度的其他大物體在圖像中的存在。這樣的物體可使標(biāo)定準(zhǔn)確度降級(jí)，這是由于所有矢量在地面表面上的假設(shè)。如果檢測(cè)是肯定的，排除整組運(yùn)動(dòng)矢量，且從步驟1通過(guò)新的幀重新開(kāi)始。替換地，保持優(yōu)勢(shì)聚類且進(jìn)行到下一步。

應(yīng)注意，步驟6的標(biāo)定結(jié)果將自然地受到路緣或類似物體在圖像中的存在影響。對(duì)于將圖像分為兩個(gè)半部的直的路緣，標(biāo)定誤差將主要地在攝像頭繞車輛縱向軸線(運(yùn)動(dòng)方向)的旋轉(zhuǎn)中顯現(xiàn)，某種程度上稀釋為運(yùn)動(dòng)矢量的雙模式聚類。在大多數(shù)情況下，這不阻止檢測(cè)。替換地，更高級(jí)的價(jià)值函數(shù)可用于中和路緣或密集道路拱形部的影響。這樣的價(jià)值函數(shù)可包含用于地面表面的彎曲模型，或當(dāng)計(jì)算運(yùn)動(dòng)矢量的殘余誤差時(shí)，假定兩個(gè)不同的地面高度。

s9.對(duì)其余矢量重新評(píng)價(jià)價(jià)值函數(shù)，并去除那些貢獻(xiàn)一定閾值以上的殘余誤差的那些矢量，以便進(jìn)一步減小零星的異常值。重復(fù)步驟s6中的標(biāo)定，然后進(jìn)行到下一步驟。替換地，如果可用矢量的數(shù)量保持在一定閾值之上，則重復(fù)步驟s6、s7、(s8)和s9，直到不能去除更多的異常值。替換地，可使用全部ransac(隨機(jī)抽樣一致)算法，而沒(méi)有在異常值否定步驟(s4)中或在標(biāo)定(s9)期間去除任何異常值。另外，來(lái)自的塊匹配步驟(s3)的多個(gè)相關(guān)峰可并入到ransac中，作為獨(dú)立觀察，每個(gè)塊潛在地產(chǎn)生多于一個(gè)運(yùn)動(dòng)矢量。

s10.利用在can或flexray總線上公布的來(lái)自其他傳感器(諸如車輛速度或輪轉(zhuǎn)數(shù)(每分鐘轉(zhuǎn)數(shù)))的里程數(shù)據(jù)，獨(dú)立地計(jì)算每個(gè)攝像頭的絕對(duì)高度。替換地，如果這樣的數(shù)據(jù)不可獲得或不準(zhǔn)確，通過(guò)考慮攝像頭安裝在車輛底盤(pán)(堅(jiān)硬車體)上以及它們的運(yùn)動(dòng)被車輛底盤(pán)自懸掛系統(tǒng)的運(yùn)動(dòng)限制，由名義默認(rèn)攝像頭高度計(jì)算偏移。應(yīng)注意，標(biāo)定每個(gè)攝像頭的取向不要求對(duì)其高度的現(xiàn)有了解，而標(biāo)定高度要求對(duì)取向的準(zhǔn)確了解。

s11.向被標(biāo)定的外部值應(yīng)用指數(shù)平滑，以便抑制由不平整地面或未檢測(cè)異常值導(dǎo)致的觀察噪音、車輛振蕩和時(shí)間效果(temporaryeffect)?？蛇€執(zhí)行最終的合理性檢查(sanitycheck)，以確保標(biāo)定結(jié)果在一定的合理容差內(nèi)。在下一標(biāo)定循環(huán)和所有隨后處理開(kāi)始時(shí)，被濾波的值饋送到系統(tǒng)中，以便用作用于圖像矯正的當(dāng)前標(biāo)定。

應(yīng)注意，每個(gè)標(biāo)定循環(huán)開(kāi)始時(shí)，虛擬平面視圖由上一個(gè)標(biāo)定結(jié)果更新。因此，透視誤差逐漸減小，直到標(biāo)定不對(duì)稱地收斂到穩(wěn)定狀態(tài)。在每個(gè)循環(huán)時(shí)改進(jìn)的圖像矯正還改善塊匹配性能，這是由于匹配塊的較高相似度。

盡管上述算法為大多數(shù)應(yīng)用提供充分的標(biāo)定準(zhǔn)確度，其可適應(yīng)為，通過(guò)考慮攝像頭之間的重疊區(qū)域處或其附近的圖像數(shù)據(jù)，進(jìn)一步優(yōu)化虛擬平面視圖的拼接準(zhǔn)確度。在這些區(qū)域中的有效分辨率的減小和不同視角使得塊匹配更難。但是，由算法第一部分獲得的標(biāo)定結(jié)果為所提出的方法提供非常好的起點(diǎn)。將矯正的圖像濾波以增強(qiáng)中頻細(xì)節(jié)且抑制噪音可在該情況下明顯改善塊匹配。

在所述實(shí)施方式中，拼接區(qū)域中的視覺(jué)差異(visualdiscrepancy)通過(guò)同時(shí)改變攝像頭高度、旋轉(zhuǎn)和潛在地改變x-y位置或一個(gè)或多個(gè)攝像頭的外部參數(shù)的任何有用組合而最小化。最簡(jiǎn)單的是，僅攝像頭高度被改變。優(yōu)化可通過(guò)最小化殘余平方和(幾何誤差)而以最小二乘法執(zhí)行，類似的異常值否定和濾波機(jī)制可如以前那樣應(yīng)用。提出以下方法：

s12.1在拼接線附近跨過(guò)攝像頭執(zhí)行塊匹配，以獲得“攝像頭之間”的運(yùn)動(dòng)矢量。然后，優(yōu)化一個(gè)或多個(gè)攝像頭的外部參數(shù)，以使得這些矢量平行于運(yùn)動(dòng)方向。這將確保沿橫向方向(垂直于運(yùn)動(dòng)方向)的最優(yōu)拼接準(zhǔn)確度。

s12.2在兩個(gè)攝像頭之間共享的重疊區(qū)域o’(圖2)中執(zhí)行塊匹配，以獲得共用特征(紋路塊)的位置。然后，通過(guò)最小化來(lái)自它們各攝像頭的這些特征在地面平面上的重新投影之間的幾何誤差而優(yōu)化一個(gè)或多個(gè)攝像頭的外部參數(shù)。

s12.3優(yōu)化一個(gè)或多個(gè)攝像頭的外部參數(shù)，同時(shí)對(duì)于所涉及的每個(gè)攝像頭在重疊區(qū)域o’重新計(jì)算圖像矯正，以為每個(gè)重疊圖像對(duì)獲得最佳相關(guān)度。相關(guān)(correlation)可在重疊區(qū)域內(nèi)在兩個(gè)大的矩形紋路塊之間執(zhí)行。專用優(yōu)化算法可被使用，或在一定預(yù)限定范圍內(nèi)一個(gè)或兩個(gè)參數(shù)的排他搜索。對(duì)于每次標(biāo)定嘗試，新的相關(guān)必須在兩個(gè)塊之間執(zhí)行，因此該方法計(jì)算上更昂貴。