本發(fā)明涉及一種用于估計(jì)相機(jī)相對(duì)于表面(特別是路面)的取向的方法和裝置。

背景技術(shù)：

許多基于視覺的高級(jí)駕駛員輔助系統(tǒng)(adas)算法都要求關(guān)于車載相機(jī)到路面的取向(特別是俯仰角(pitchangle)和滾轉(zhuǎn)角(rollangle))的信息。例如，前方碰撞警告(fcw)系統(tǒng)確定自身車輛和前方車輛之間的距離。為了計(jì)算該距離，必須知道自身車輛到路面的取向。如果相機(jī)取向未被充分知曉，則fcw算法產(chǎn)生錯(cuò)誤輸出信號(hào)，其可能使駕駛員分心或?qū)е挛ｋU(xiǎn)轉(zhuǎn)向或制動(dòng)反應(yīng)。

通常的做法是在校準(zhǔn)圖案的幫助下確定針對(duì)靜態(tài)車輛的靜態(tài)相機(jī)取向、外在校準(zhǔn)。當(dāng)車輛移動(dòng)時(shí)，相機(jī)到路面的取向不再是靜止的而是時(shí)間依賴的。制動(dòng)和加速操作以及路面不規(guī)則性導(dǎo)致快速且顯著的相機(jī)取向變化。此外，可能由附加負(fù)載引起與靜態(tài)校準(zhǔn)不同的長(zhǎng)時(shí)間取向偏移。

相機(jī)到路面的取向可以通過(guò)單應(yīng)性(homography)描述，單應(yīng)性表示從兩個(gè)不同相機(jī)位置捕獲的相同平面(這里是路面)的兩個(gè)不同圖像之間的投影變換。從單應(yīng)矩陣提取角度信息是可能的，但是由于參數(shù)不確定性而不推薦。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的基本目的是提供一種允許通過(guò)低計(jì)算努力有效地估計(jì)相機(jī)相對(duì)于表面的取向的方法。本發(fā)明的進(jìn)一步目的是提供用于估計(jì)相機(jī)相對(duì)于表面的取向的裝置。

本發(fā)明的基本目的通過(guò)獨(dú)立權(quán)利要求的特征滿足。本發(fā)明的有利的進(jìn)一步發(fā)展和方面在從屬權(quán)利要求中闡述。

在本發(fā)明的一方面中，提供了一種估計(jì)相機(jī)相對(duì)于表面的取向的方法，其中，限定了相機(jī)坐標(biāo)系并且與表面垂直的法向矢量由相機(jī)坐標(biāo)系中的三個(gè)分量表示。根據(jù)所述方法，提供了由相機(jī)捕獲的第一圖像和隨后第二圖像，并且從第一圖像選擇第一點(diǎn)，且從第二圖像選擇第二點(diǎn)，其中，所述第一點(diǎn)和所述第二點(diǎn)表示相同目標(biāo)。另外，限定連接第一點(diǎn)和第二點(diǎn)的第一光流矢量。執(zhí)行第一估計(jì)步驟，第一估計(jì)步驟包括：通過(guò)使用第一光流矢量估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量，并且將參數(shù)空間限制到法向矢量的僅兩個(gè)分量。提供從表示第一圖像和第二圖像之間的投影變換的單應(yīng)矩陣導(dǎo)出的線性方程組，并且通過(guò)求解線性方程組來(lái)估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。使用所述第一估計(jì)步驟的結(jié)果來(lái)確定相機(jī)相對(duì)于表面的取向。

將參數(shù)空間限制到法向矢量的僅兩個(gè)分量允許相機(jī)的取向的快速估計(jì)。不要求初始參數(shù)猜測(cè)來(lái)估計(jì)取向。

特別地，相機(jī)坐標(biāo)系的原點(diǎn)和表面之間的距離以及安裝相機(jī)的車輛的速度是線性方程組的參數(shù)。

在另一實(shí)施方式中，執(zhí)行在第一估計(jì)步驟之后的第二估計(jì)步驟，第二估計(jì)步驟包括：通過(guò)使用第一光流矢量并且將在所述第一估計(jì)步驟中忽略的法向矢量的分量設(shè)置為從所述第一估計(jì)步驟導(dǎo)出的值，再次估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。通過(guò)求解線性方程組來(lái)估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。通過(guò)使用在第二估計(jì)步驟中估計(jì)的法向矢量的分量來(lái)確定相機(jī)相對(duì)于表面的取向。

在第二估計(jì)步驟中，可以將在第一估計(jì)步驟中忽略的法向矢量的分量設(shè)置為從第一估計(jì)步驟導(dǎo)出的法向矢量的量的倒數(shù)(inverse)。

在另一實(shí)施方式中，第二光流矢量被限定為連接從所述第一圖像選擇的第三點(diǎn)和從所述第二圖像選擇的第四點(diǎn)，其中，第三點(diǎn)和第四點(diǎn)表示相同目標(biāo)。通過(guò)使用第一光流矢量和第二光流矢量，在第一估計(jì)步驟中估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。特別地，通過(guò)使用第一光流矢量和第二光流矢量，在第二估計(jì)步驟中估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。

所述方法可以包括：在第一估計(jì)步驟和/或第二估計(jì)步驟中使用線性最小二乘估計(jì)，以便估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。

在一個(gè)實(shí)施方式中，限定了多個(gè)光流矢量，每個(gè)光流矢量連接第一圖像中的相應(yīng)點(diǎn)和第二圖像中的相應(yīng)點(diǎn)，其中，兩個(gè)相應(yīng)點(diǎn)表示相同目標(biāo)。通過(guò)執(zhí)行第一估計(jì)步驟并且特別是第二估計(jì)步驟，針對(duì)所述多個(gè)光流矢量中的每個(gè)估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量。特別是通過(guò)使用隨機(jī)樣本一致過(guò)程，確定產(chǎn)生最高數(shù)量的內(nèi)點(diǎn)(inlier)的光流矢量。

另外，可以通過(guò)針對(duì)所有內(nèi)點(diǎn)執(zhí)行第一估計(jì)步驟并且特別是第二估計(jì)步驟，在相機(jī)坐標(biāo)系中估計(jì)法向矢量的兩個(gè)分量。

相機(jī)相對(duì)于表面的取向的確定可以包括確定相機(jī)相對(duì)于表面的俯仰角和滾轉(zhuǎn)角。

俯仰角和滾轉(zhuǎn)角可以被多次確定并且可以特別是通過(guò)卡爾曼濾波器被濾波。

相機(jī)在捕獲第一圖像和捕獲第二圖像之間的旋轉(zhuǎn)和平移可以使用msac(m-估計(jì)器樣本一致)算法通過(guò)基于視覺的自身運(yùn)動(dòng)估計(jì)來(lái)提供。

自身運(yùn)動(dòng)的平移部分和旋轉(zhuǎn)部分可以在迭代方案中被單獨(dú)估計(jì)。

可以將迭代加權(quán)線性最小二乘法與歸一化離散極線(epilolar)約束一起使用。

根據(jù)另一實(shí)施方式，作為msac算法的結(jié)果，獲得多個(gè)內(nèi)點(diǎn)，并且針對(duì)每個(gè)內(nèi)點(diǎn)，使用通過(guò)msac算法提供的相機(jī)在捕獲第一圖像和捕獲第二圖像之間的旋轉(zhuǎn)和平移來(lái)計(jì)算相應(yīng)光流矢量長(zhǎng)度。根據(jù)相應(yīng)光流矢量長(zhǎng)度對(duì)內(nèi)點(diǎn)中的每個(gè)進(jìn)行加權(quán)，并且使用加權(quán)的內(nèi)點(diǎn)再次估計(jì)相機(jī)在捕獲第一圖像和捕獲第二圖像之間的平移。

相機(jī)可以被安裝到車輛上并且表面可以是路面。特別地，車輛包括具有adas算法的系統(tǒng)，特別是基于相機(jī)的adas系統(tǒng)，例如fcw、車道偏離警告(ldp)或行人檢測(cè)(ped)系統(tǒng)。

根據(jù)本發(fā)明的另一方面，提供了一種用于估計(jì)相機(jī)相對(duì)于表面的取向的裝置，其中，限定了相機(jī)坐標(biāo)系并且與表面垂直的法向矢量由相機(jī)坐標(biāo)系中的三個(gè)分量表示。所述裝置被配置為接收由相機(jī)捕獲的第一圖像和隨后第二圖像，從第一圖像選擇第一點(diǎn)且從第二圖像選擇第二點(diǎn)，其中，所述第一點(diǎn)和第二點(diǎn)表示相同目標(biāo)，限定連接第一點(diǎn)和第二點(diǎn)的第一光流矢量，執(zhí)行第一估計(jì)步驟包括：通過(guò)使用第一光流矢量估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量，并且將參數(shù)空間限制到法向矢量的僅該兩個(gè)分量，其中，通過(guò)求解從表示第一圖像和第二圖像之間的投影變換的單應(yīng)矩陣導(dǎo)出的線性方程組，來(lái)估計(jì)法向矢量在相機(jī)坐標(biāo)系中的兩個(gè)分量，并且使用所述第一估計(jì)步驟的結(jié)果來(lái)確定相機(jī)相對(duì)于表面的取向。

所述裝置可以包括與估計(jì)相機(jī)相對(duì)于表面的取向的方法關(guān)聯(lián)的以上公開的具體實(shí)施方式。

附圖說(shuō)明

以下將參考實(shí)施方式和附圖以示例性方式更詳細(xì)地描述本發(fā)明。附圖中示出：

圖1是用于估計(jì)相機(jī)相對(duì)于路面的取向的系統(tǒng)和設(shè)備的示意圖；

圖2是示出俯仰角θ的幾何結(jié)構(gòu)的相機(jī)側(cè)視圖的示意性表示；

圖3是示出滾轉(zhuǎn)角φ的幾何結(jié)構(gòu)的相機(jī)后視圖的示意性表示；以及

圖4是示出車輛自身運(yùn)動(dòng)估計(jì)的流程圖。

具體實(shí)施方式

圖1中示意性地示出用于估計(jì)相機(jī)相對(duì)于路面的取向的系統(tǒng)1。系統(tǒng)1包括裝置2、相機(jī)3和速度傳感器4。在本實(shí)施方式中，相機(jī)3被安裝在車輛上并且捕獲例如在車輛前方的區(qū)域的圖像。速度傳感器4測(cè)量車輛的速度。相機(jī)3和速度傳感器4分別給裝置2提供所捕獲的圖像和檢測(cè)到的速度數(shù)據(jù)。裝置2使用所捕獲的圖像和檢測(cè)到的速度數(shù)據(jù)，以估計(jì)和輸出關(guān)于相機(jī)3的取向和運(yùn)動(dòng)的數(shù)據(jù)。為此目的，裝置2可以包括處理器并且采用以下解釋的算法。

從移動(dòng)車輛的連續(xù)姿勢(shì)捕獲的路面5的兩個(gè)圖像之間的單應(yīng)性包括關(guān)于相機(jī)相對(duì)于路面5的滾動(dòng)角和俯仰角的信息。所使用的坐標(biāo)系在圖2和3中限定，圖2和圖3分別示出相機(jī)3的側(cè)視圖和后視圖。坐標(biāo)系被固定到相機(jī)3并且具有直角坐標(biāo)x，y和z。路面5的法向矢量是n＝[nx，ny，nz]^t。圖2示出坐標(biāo)系的y-z平面，其中，俯仰角θ被限定為法向矢量n到y(tǒng)-z平面的投影和y軸之間的角度。圖3示出坐標(biāo)系的x-y平面，其中，滾轉(zhuǎn)角φ被限定為法向矢量n到x-y平面的投影和y軸之間的角度。

相機(jī)3和路面5之間的俯仰角θ和滾轉(zhuǎn)角φ也通過(guò)等式(1)和(2)限定：

關(guān)于俯仰角θ和滾轉(zhuǎn)角φ的信息被包括在單應(yīng)性中，單應(yīng)性表示隨后從相機(jī)3的兩個(gè)不同位置捕獲的路面5的兩個(gè)不同圖像之間的投影信息。單應(yīng)矩陣h被如下限定

并且包括內(nèi)在相機(jī)校準(zhǔn)矩陣k、相機(jī)3的坐標(biāo)系的原點(diǎn)和路面5之間的距離d、以及兩個(gè)相機(jī)位置之間的相對(duì)旋轉(zhuǎn)r和平移t。通過(guò)由歸一化的平移矢量t′、由速度傳感器4測(cè)量的車輛速度v和在兩次圖像捕獲之間經(jīng)過(guò)的時(shí)間s組成的t＝t′vs來(lái)計(jì)算度量平移(metrictranslation)。

先驗(yàn)信息被用于解決估計(jì)問(wèn)題。車輛速度v通過(guò)總線系統(tǒng)提供并且兩次圖像捕獲之間的時(shí)間s在相機(jī)3的數(shù)據(jù)表中給出。距離d可以被測(cè)量并且被假設(shè)為恒定的。通過(guò)標(biāo)準(zhǔn)校準(zhǔn)過(guò)程，內(nèi)在相機(jī)校準(zhǔn)k是已知的。單應(yīng)性的分量r和t’(其被稱為自身運(yùn)動(dòng))可以通過(guò)慣性測(cè)量單元(imu)或者通過(guò)基于視覺的運(yùn)動(dòng)估計(jì)提供。本文中采用基于視覺的方法來(lái)確定自身運(yùn)動(dòng)，其將在下面更詳細(xì)地論述。

估計(jì)法向矢量n以估計(jì)俯仰角θ和滾轉(zhuǎn)角φ。單應(yīng)性中的法向矢量n以||n||＝1為條件。利用該知識(shí)，估計(jì)問(wèn)題從三個(gè)參數(shù)(nx，nynz)減少到兩個(gè)參數(shù)，即nx和nz，以獲得俯仰角θ和滾轉(zhuǎn)角φ。

相機(jī)3捕獲第一圖像并且隨后在時(shí)間s之后，相機(jī)3捕獲第二圖像。對(duì)于角度估計(jì)算法，光流(of)矢量作為輸入數(shù)據(jù)。of矢量線性地連接表示世界上的相同目標(biāo)的兩個(gè)不同圖像中的兩個(gè)點(diǎn)。因此，選擇第一圖像中的第一點(diǎn)和第二圖像中的第二點(diǎn)，其中，第一點(diǎn)和第二點(diǎn)表示相同目標(biāo)。第一of矢量連接第一點(diǎn)和第二點(diǎn)。

點(diǎn)在由of矢量連接的圖像中的位置對(duì)于第一圖像由齊次矢量(homogenousvector)p＝[p1，p2，p3]^t表示，并且對(duì)于第二圖像由齊次矢量q＝[q1，q2，q3]^t表示。單應(yīng)矩陣h將齊次矢量p轉(zhuǎn)換為齊次矢量

q＝hp(4)

為了計(jì)算圖像坐標(biāo)(u，v)，我們可以寫成

和

為了獲得期望法向分量nx和nz，我們將方程(4)代入方程(5)和(6)。如方程(3)中給出的單應(yīng)矩陣h的每個(gè)分量然后被分解為包括r、t、n、d和k的單個(gè)分量的部分。為了實(shí)現(xiàn)簡(jiǎn)單公式表達(dá)，以下部分使用按比例縮放的平移和歸一化坐標(biāo)。在重新布置方程之后，我們獲得線性方程組

尋找的法向矢量分量是nx、nz和

變量c1、c2由重新布置的方程的剩余部分構(gòu)成

和

其不被連接到nx或nz。方程(10)和(11)中的rij(i，j＝1，2，3)是3×3矩陣r的元素。方程(7)是非齊次方程組，并且為此原因，我們能夠利用簡(jiǎn)單最小二乘技術(shù)通過(guò)低計(jì)算努力來(lái)對(duì)它求解。

在第一估計(jì)步驟中，為了估計(jì)，法向矢量n的第二分量ny最初被假設(shè)為-1(俯仰角θ＝0°，滾轉(zhuǎn)角φ＝0°)。在解決最小二乘問(wèn)題(方程(7))之后，如果俯仰角θ和滾轉(zhuǎn)角φ不是0°，則結(jié)果違反條件||n||＝1。為了解決該問(wèn)題，在第一估計(jì)步驟之后執(zhí)行第二估計(jì)步驟。

在第二估計(jì)步驟中，我們計(jì)算ny＝-1/||n||并且用更新后的ny再次進(jìn)行估計(jì)，其中，從第一估計(jì)步驟的結(jié)果計(jì)算法向矢量n的量(amount)||n||。通常，該過(guò)程將||n||減少到＜1.0004，其滿足我們的準(zhǔn)確度需求。我們選擇該啟發(fā)式方法以避免將另外約束||n||＝1直接包含到優(yōu)化問(wèn)題中，因?yàn)檫@將導(dǎo)致非線性問(wèn)題。

理論上，將參數(shù)空間限定到[nx，nz]^t的方法使得我們能夠僅從單個(gè)of矢量估計(jì)俯仰角和滾轉(zhuǎn)角。代替使用一個(gè)of矢量，我們使用兩個(gè)of矢量以實(shí)現(xiàn)更好的條件問(wèn)題。在這種情況下，從第一圖像選擇第三點(diǎn)并且從第二圖像選擇第四點(diǎn)，其中，第三點(diǎn)和第四點(diǎn)表示相同目標(biāo)。第二of矢量連接第三點(diǎn)和第四點(diǎn)。通過(guò)使用第一of矢量和第二of矢量，然后可以如上所述執(zhí)行第一和第二估計(jì)步驟。

路面是主要平面的假設(shè)允許我們使用隨機(jī)樣本一致(ransac)過(guò)程來(lái)確定哪個(gè)of矢量屬于路面和哪個(gè)of矢量不屬于路面。of矢量的數(shù)量n被用于ransac過(guò)程，其中，每個(gè)of矢量連接第一圖像中的相應(yīng)點(diǎn)和第二圖像中的相應(yīng)點(diǎn)。針對(duì)每個(gè)of矢量，如上所述執(zhí)行第一估計(jì)步驟和第二估計(jì)步驟，并且獲得法向矢量n的估計(jì)。另外，從每個(gè)of矢量獲得的結(jié)果被用于驗(yàn)證估計(jì)的質(zhì)量。從第一圖像中的矢量p和從法向矢量n的估計(jì)獲得的結(jié)果，計(jì)算第二圖像中的矢量q。將從所述估計(jì)獲得的矢量q與從第二圖像獲得的矢量q進(jìn)行比較。

通過(guò)對(duì)由所估計(jì)的單應(yīng)性變形的點(diǎn)和of矢量端點(diǎn)之間的誤差進(jìn)行閾值化，來(lái)進(jìn)行ransac方法的內(nèi)點(diǎn)/外點(diǎn)(outlier)判定。針對(duì)of矢量的內(nèi)點(diǎn)的數(shù)量越高，基于該of矢量的估計(jì)的質(zhì)量就越高。

通過(guò)求解由所有ransac內(nèi)點(diǎn)構(gòu)成的線性方程組進(jìn)行法向矢量n的最終估計(jì)。需要多少次ransac迭代n的估計(jì)可以通過(guò)以下作出

其中，p是得到屬于道路的至少一個(gè)流矢量的概率(參見richardhartley和andrewzisserman.multipleviewgeometryincomputervision，cambridgeuniversitypress，2003)。參數(shù)e限定of矢量的哪個(gè)部分不屬于路面，并且s表示計(jì)算n所必須的of矢量的量。方程(12)的結(jié)果n＝10指示需要僅非常少的ransac迭代來(lái)獲取法向矢量的分量的估計(jì)，以獲得相機(jī)3的俯仰角θ和滾轉(zhuǎn)角φ。

從基于of的估計(jì)方法，我們最終獲得法向矢量分量以及相機(jī)3相對(duì)于路面5的俯仰角θ和滾轉(zhuǎn)角φ。另外信息通過(guò)可以從自身運(yùn)動(dòng)旋轉(zhuǎn)矩陣r獲得的第一圖像和第二圖像之間的相對(duì)俯仰角δθ和相對(duì)滾轉(zhuǎn)角δφ提供。兩個(gè)信息源被組合到卡爾曼濾波器中。具有相同結(jié)構(gòu)的兩個(gè)單獨(dú)卡爾曼濾波器被用于在每個(gè)時(shí)間步驟內(nèi)估計(jì)相機(jī)3的最終俯仰角和滾轉(zhuǎn)角。系統(tǒng)模型

xk＝xk-1+uk+wk(13)

分別使用x＝θ，x＝φ。在時(shí)間k處的控制輸入uk表示從自身運(yùn)動(dòng)獲得的相對(duì)角度δθ和δφ。假設(shè)處理噪聲uk利用自身運(yùn)動(dòng)角度估計(jì)的方差反映正態(tài)分布(零均值)。在測(cè)量值模型方程

zk＝xk+vk(14)

中，通過(guò)在試驗(yàn)中評(píng)估基于單應(yīng)性的俯仰和滾動(dòng)估計(jì)方差來(lái)確定觀測(cè)噪聲vk。為了確?？柭鼮V波器被適當(dāng)?shù)叵薅ú⑶覟榱双@得用于外點(diǎn)檢測(cè)的閾值，我們應(yīng)用χ²測(cè)試。理論上，卡爾曼濾波器的加權(quán)新息(innovation)(yk新息殘差，sk新息協(xié)方差)遵循χ²分布(參見yaakovbar-shalom.kalmanfilteringtechniquesforradartracking：k.v.ramachandra；2000marceldekker，newyork，isbn：0-8247-9322-6，automatica，37(6)：957-958，2001)。例如，如果我們查看χ²表，我們看到數(shù)據(jù)的加權(quán)新息的5％應(yīng)該高于針對(duì)我們的一維濾波器的值3.8。這與我們的試驗(yàn)數(shù)據(jù)很好地吻合。另外，產(chǎn)生＞3.8的加權(quán)新息的測(cè)量值被作為外點(diǎn)并且可以不應(yīng)用卡爾曼濾波器的更新步驟。

以下描述車輛自身運(yùn)動(dòng)估計(jì)。自身運(yùn)動(dòng)估計(jì)特別被用于獲得兩個(gè)相機(jī)位置之間的相對(duì)旋轉(zhuǎn)r和平移矢量t。

使用單眼視覺的車輛自身運(yùn)動(dòng)估計(jì)在基于視覺的駕駛員輔助系統(tǒng)應(yīng)用中是困難且重要的問(wèn)題。該困難主要從進(jìn)入基線(相機(jī)平移)方向的運(yùn)動(dòng)發(fā)生，其使得潛在最小化問(wèn)題對(duì)噪聲敏感。另外，環(huán)境條件(像其它移動(dòng)目標(biāo)、陽(yáng)光中的移動(dòng)陰影、以及擋風(fēng)玻璃上的雨和移動(dòng)雨刮器)將引起額外外點(diǎn)，額外外點(diǎn)必須被忽略以獲得可靠結(jié)果。一旦自身運(yùn)動(dòng)被計(jì)算，它就用作針對(duì)許多其它問(wèn)題的輸入，如fcw系統(tǒng)中的距離估計(jì)，其中，汽車的俯仰導(dǎo)致所確定的解和基于單應(yīng)性的地平面估計(jì)中的粗差，并且由此，如此不浪費(fèi)過(guò)多計(jì)算時(shí)間。

本文中呈現(xiàn)的用于健壯自身運(yùn)動(dòng)估計(jì)的方法包括m-估計(jì)器樣本一致(msac)，其基于ransac并且進(jìn)一步包括m-估計(jì)器。另外，自身運(yùn)動(dòng)的平移和旋轉(zhuǎn)部分在迭代方案中被單獨(dú)估計(jì)，其中，我們使用特別的約束并且添加另外加權(quán)參數(shù)。本文中，我們?cè)谄揭坪托D(zhuǎn)的估計(jì)之間進(jìn)行明確區(qū)分，這是因?yàn)樾D(zhuǎn)影響附近和遠(yuǎn)處的點(diǎn)，而我們?cè)谶h(yuǎn)處的點(diǎn)上僅具有少量平移。作為約束，我們?nèi)w一化離散極線約束(sampson距離)，并且在迭代加權(quán)線性最小二乘法中使用它。這些距離被用于在每一個(gè)迭代步驟中確定針對(duì)我們的最小二乘問(wèn)題的權(quán)重。進(jìn)一步地，我們可以尋找用于我們的方程的更有效公式化，以節(jié)省另外計(jì)算步驟。為了處理外點(diǎn)，我們添加健壯估計(jì)方法，如msac和m估計(jì)器，其允許我們將圖像劃分成前景(其它移動(dòng)對(duì)象或光流外點(diǎn))和背景運(yùn)動(dòng)(自身運(yùn)動(dòng))并且基于車輛的水平運(yùn)動(dòng)通過(guò)使用先驗(yàn)信息增強(qiáng)它。該算法還被在線成功地測(cè)試并且因此適用于實(shí)時(shí)應(yīng)用，這是因?yàn)樗諗康煤芸?。圖4示出說(shuō)明本文中使用的算法的流程圖。

從用于光流的klt特征跟蹤器的金字塔實(shí)現(xiàn)(參見bouguet，jean-yves.pyramidalimplementationoftheaffinelucaskanadefeaturetrackerdescriptionofthealgorithm.intelcorporation，5：1-10，2001)開始，我們從由相機(jī)3捕獲的當(dāng)前圖像i到圖像i中的均勻樣本網(wǎng)格上的下一個(gè)連續(xù)圖像導(dǎo)出m個(gè)特征軌跡。之前利用二次約束和來(lái)自車輛速度傳感器的輸入通過(guò)不可行軌道長(zhǎng)度對(duì)光流進(jìn)行過(guò)濾。在該輪廓的剩余部分中，我們假設(shè)我們的坐標(biāo)以未失真規(guī)范形式給出，因?yàn)槲覀兊膬?nèi)在校準(zhǔn)參數(shù)是已知的。我們的目標(biāo)現(xiàn)在是計(jì)算相機(jī)3從圖像到圖像的滾動(dòng)r和平移t。從極線約束導(dǎo)出接下來(lái)的步驟，具有頭操作符頭操作符描述根據(jù)斜對(duì)稱矩陣的叉積。代替最小化

s⁽ⁱ⁾＝∑j(ψ^ij(r，t))²(15)

其中，

和歸一化項(xiàng)

其中，第三單位矢量e3，(參見hedborg，johan和felsberg，michael.fastiterativefivepointrelativeposeestimation.robotvision(worv)，2013ieeeworkshopon，60-67頁(yè)，2013年，ieee)使用像levenbergmarquart的迭代求解器，我們將導(dǎo)出兩個(gè)線性方程組，其將在迭代方案中被求解。如果我們假設(shè)針對(duì)旋轉(zhuǎn)分量的小角度近似(這對(duì)于我們的目的是合理的)，旋轉(zhuǎn)矩陣將變?yōu)?imgfile="bsa0000140188650000096.gif"wi="379"he="72"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>其中，ω＝[ωxωyωz]^t。在估計(jì)處理中，平移t可以僅被估計(jì)達(dá)到一定規(guī)模(up-to-scale)，我們因此約束t＝[txtytz]^t，使得||t||∞＝1，這意味著在車輛自身運(yùn)動(dòng)方面，我們可以假設(shè)第三平移分量tz＝-1(點(diǎn)向負(fù)方向的平移)。使得從現(xiàn)在開始，我們將忽略圖像參數(shù)i以用于簡(jiǎn)化，并且僅考慮兩個(gè)連續(xù)圖像。從極線約束的擴(kuò)展，我們可以導(dǎo)出雙線性方程：

因此我們想找到最小二乘解

其中，

文獻(xiàn)“bai，eandliu，yun.ontheleastsquaressolutionsofasystemofbilinearequations”(ieeeconferenceondecisionandcontrol，number2，pages1197，2005.ieee；1998)提到了用于求解雙線性最小二乘問(wèn)題的線性迭代方案并且還建立了針對(duì)該算法的快速收斂。在文獻(xiàn)“narendra，kumpatis和gallman，philipg，aniterativemethodfortheidentificationofnonlinearsystemsusingahammersteinmodel”(automaticcontrol，ieeetransactionson，11(3)：546-550，1966)中，收斂被進(jìn)一步證明用于歸一化情況。我們將采用該迭代方案的思想用于我們的目的，并且迭代地求解兩個(gè)線性最小二乘問(wèn)題，但是除此之外，我們的方程的右邊也取決于估計(jì)參數(shù)。首先，我們根據(jù)t和ω重新編寫方程(18)：

并且類比(analog)：

其中，

我們現(xiàn)在針對(duì)每個(gè)方程，使用加權(quán)線性最小二乘進(jìn)行以下方法。因此，歸一化項(xiàng)μj被用作權(quán)重并且在每次迭代中被線性化兩次，并且最小二乘函數(shù)被限定如下：

然后描述該算法

如上所示，該算法包括：在每個(gè)迭代步驟中，計(jì)算歸一化項(xiàng)和并且隨后，使用所計(jì)算的歸一化項(xiàng)和分別更新平移和旋轉(zhuǎn)。

為了節(jié)約計(jì)算成本，如果我們?nèi)缦孪薅?，則我們可以使用xj＝[(xj)1(xj)21]^t和x′j＝[(x′j)1(x′j)21]^t以更有效的方式公式化方程(20)和(21)：

然后，方程(20)可以被縮短到：

對(duì)于旋轉(zhuǎn)部分，我們限定：

旋轉(zhuǎn)方程(21)然后變成：

如果我們不使用所模仿的數(shù)據(jù)用于光流假設(shè)生成，則在真實(shí)世界場(chǎng)景中出現(xiàn)外點(diǎn)的問(wèn)題，這是因?yàn)楣饬鲉?wèn)題本身的解是困難的。自身運(yùn)動(dòng)估計(jì)的質(zhì)量受到損害，因此需要健壯估計(jì)。一種方法是使用ransac(參見fischler，martinaandbolles，robertc，randomsampleconsensus：aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography，communicationsoftheacm，24(6)：381-395，1981)，其中，首先從隨機(jī)選擇的光流樣本的最小集合計(jì)算模型，并且之后選擇使成本函數(shù)最小化的解

其中

用于所選閾值τ和殘差ej。

在文獻(xiàn)“torr，philandzisserman，andrew.robustcomputationandparametrizationofmultipleviewrelations”(computervision，1998.sixthinternationalconferenceon，727-732頁(yè)，1998，ieee)和“torr，philiphsandzisserman，andrew.mlesac：anewrobustestimatorwithapplicationtoestimatingimagegeometry”(computervisionandimageunderstanding，78(1)：138-156，2000)中，呈現(xiàn)被稱為msac(m估計(jì)器樣本一致)的另一概念。成本函數(shù)ρ(·)變?yōu)?/p>

現(xiàn)在的區(qū)別是，內(nèi)點(diǎn)也得到取決于它們的數(shù)據(jù)擬合的懲罰。針對(duì)外點(diǎn)的恒定閾值保持恒定，但是現(xiàn)在通過(guò)精確閾值邊界給出。因?yàn)橐呀?jīng)證明msac在運(yùn)動(dòng)估計(jì)應(yīng)用中相對(duì)于ransac更為健壯，我們決定使用msac用于我們的方法。在msac例程之后，對(duì)由來(lái)自msac步驟的樣本集合的最小解提供的圖像中的所有內(nèi)點(diǎn)執(zhí)行進(jìn)一步估計(jì)。另外，我們將結(jié)合m-估計(jì)器來(lái)進(jìn)一步改進(jìn)我們的結(jié)果。這里，我們測(cè)試huberk-估計(jì)器wh(·)

并且包括其作為我們的算法的每個(gè)線性最小二乘步驟中的附加權(quán)重，擴(kuò)展已經(jīng)提到的權(quán)重μj。

由于遠(yuǎn)處的點(diǎn)僅具有少量平移，我們希望優(yōu)選具有在msac循環(huán)之后用于平移估計(jì)的適當(dāng)光流矢量長(zhǎng)度的那些特征。我們將被稱為的權(quán)重乘以我們前面提到的權(quán)重。該權(quán)重以如下方式限定：

其中

用于所選閾值δ，其描述光流矢量長(zhǎng)度。在本文中，使用歐幾里德范數(shù)將平移歸一化為1，f表示相機(jī)模型的焦距，z^j是適當(dāng)3d點(diǎn)的三角化深度，v是車輛速度并且s是兩個(gè)圖像之間的時(shí)間。深度在每個(gè)迭代步驟之后被更新，以及使用更新后的平移更新權(quán)重代替使用離散化權(quán)重，也可以使用0和1之間的縮放版本。

通常，我們具有關(guān)于我們還想考慮的參數(shù)的先驗(yàn)知識(shí)，例如到foe方向或者兩個(gè)極點(diǎn)(epipole)的大致向前運(yùn)動(dòng)應(yīng)該接近固定水平線hy，其在之前被校準(zhǔn)。但是我們還不想太嚴(yán)格地依賴于該假設(shè)。我們?cè)趍sac步驟中使用類似tikhonov的模型包括該附加信息，代替直接丟棄針對(duì)樣本集合的所估計(jì)模型參數(shù)(其不適合先驗(yàn)信息)。如果我們分別用取決于旋轉(zhuǎn)和平移的和表示左極點(diǎn)和右側(cè)極點(diǎn)的y坐標(biāo)，則成本函數(shù)c1變?yōu)?/p>

其中λ1，λ2≥0。參數(shù)λ1，λ2必須被仔細(xì)選擇，以僅稍微地影響最佳模型選擇。

內(nèi)點(diǎn)選擇自身還能夠通過(guò)三角化我們的特征軌跡被增強(qiáng)并且應(yīng)用正深度約束，這是因?yàn)樵谝曨l圖像中可見的所有點(diǎn)應(yīng)該具有正深度。

附圖標(biāo)記的列表

1系統(tǒng)

2裝置

3相機(jī)

4速度傳感器

5路面