專利名稱：具有前攝像機(jī)和后攝像機(jī)的穩(wěn)健的車輛側(cè)向控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總的來(lái)說(shuō)涉及一種用于車輛的側(cè)向控制方法和系統(tǒng)，更具體地，涉及一種用于主車輛的側(cè)向控制方法和系統(tǒng)，其使用來(lái)自前攝像機(jī)和后攝像機(jī)的圖像數(shù)據(jù)、數(shù)字地圖、和關(guān)于領(lǐng)先車輛的位置的信息來(lái)使得能夠閉環(huán)控制主車輛的轉(zhuǎn)向以便跟隨道路參考路線。
背景技術(shù)：
許多現(xiàn)代車輛包括用于各種目的的車載攝像機(jī)。一個(gè)普遍應(yīng)用是前視攝像機(jī)，其可以提供圖像以用在防撞系統(tǒng)、車道偏離警告系統(tǒng)、側(cè)向控制系統(tǒng)、或者這些或其它系統(tǒng)的組合中。然而，可能出現(xiàn)阻止從前視攝像機(jī)獲得良好的圖像的情況。這些情況包括在近距離處的阻擋大部分?jǐn)z像機(jī)視野的領(lǐng)先車輛、以及使攝像機(jī)圖像模糊的低能見(jiàn)度天氣情況，
例如雨和霧。在這些情況下，當(dāng)不能從前視攝像機(jī)獲取可用的圖像時(shí)，依賴于攝像機(jī)的圖像作為輸入的系統(tǒng)不能運(yùn)行。同時(shí)，許多較新的車輛還裝備有后視攝像機(jī)，其通常僅用作備用輔助設(shè)備，例如為駕駛員提供視頻圖像以便看見(jiàn)車后(情況)。雖然這些后視攝像機(jī)一般具有比用于其它圖像數(shù)據(jù)采集目的更充足的分辨率和視野，但是直到現(xiàn)在它們還沒(méi)有被用來(lái)為車道位置和側(cè)向控制應(yīng)用補(bǔ)充來(lái)自前視攝像機(jī)的圖像。這就有機(jī)會(huì)使用來(lái)自后視攝像機(jī)的可用的圖像數(shù)據(jù)，并將其與來(lái)自前視攝像機(jī)和其它傳感器的圖像數(shù)據(jù)結(jié)合，來(lái)提供更加穩(wěn)健的側(cè)向控制系統(tǒng)。得到的雙攝像機(jī)系統(tǒng)不僅在正常情況下充分利用更多的輸入數(shù)據(jù)，而且當(dāng)情況不利于前視成像時(shí)提供可用的圖像數(shù)據(jù)源以允許系統(tǒng)的運(yùn)行。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的教導(dǎo)，公開(kāi)了一種用于閉環(huán)車輛側(cè)向控制的方法和系統(tǒng)，其使用來(lái)自前和后攝像機(jī)的圖像數(shù)據(jù)、數(shù)字地圖、和關(guān)于領(lǐng)先車輛的位置信息作為輸入。主車輛包括位于前面和后面處的攝像機(jī)，其主要目的之一是可以用于檢測(cè)車道邊界例如路邊和車道線。主車輛還包括數(shù)字地圖系統(tǒng)和用于檢測(cè)行駛在主車輛前的車輛位置的系統(tǒng)。開(kāi)發(fā)一種控制策略，其使主車輛轉(zhuǎn)向以使主車輛的路線與車道參考路線的偏離最小，其中車道參考路線是由從前和后攝像機(jī)圖像及從其它輸入所提取的車道邊界計(jì)算的。該控制策略使用前饋和反饋部件，并使用卡爾曼濾波器來(lái)估算主車輛的狀態(tài)變量。從下邊的描述和隨附權(quán)利要求并結(jié)合附圖，本發(fā)明的額外特征是顯而易見(jiàn)的。本發(fā)明還提供以下技術(shù)方案I. 一種用于提供主車輛的側(cè)向控制的方法，所述方法包括提供來(lái)自主車輛車載的前視攝像機(jī)的圖像數(shù)據(jù)；提供來(lái)自主車輛車載的后視攝像機(jī)的圖像數(shù)據(jù)；提供來(lái)自數(shù)字地圖系統(tǒng)的與主車輛正在行駛的道路有關(guān)的數(shù)據(jù)；
提供來(lái)自主車輛車載的領(lǐng)先車輛位置系統(tǒng)的關(guān)于領(lǐng)先車輛的數(shù)據(jù)，其中領(lǐng)先車輛是道路上主車輛前邊的車輛；和通過(guò)使用來(lái)自前視攝像機(jī)和后視攝像機(jī)的圖像數(shù)據(jù)和來(lái)自數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)，計(jì)算為控制主車輛以維持在道路上的路線所需的轉(zhuǎn)向輸入，并且將所述轉(zhuǎn)向輸入提供到主車輛中的轉(zhuǎn)向致動(dòng)器。2.根據(jù)技術(shù)方案I的方法，其中，提供來(lái)自前視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的前面位置處的道路的位置和方位的估算。3.根據(jù)技術(shù)方案I的方法，其中，提供來(lái)自后視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的后面位置處的道路的位置和方位的估算。4.根據(jù)技術(shù)方案I的方法，其中，提供關(guān)于領(lǐng)先車輛的數(shù)據(jù)包括提供領(lǐng)先車輛相對(duì)于主車輛的縱向偏移、側(cè)向偏移、和航向角。
5.根據(jù)技術(shù)方案I的方法，其中，計(jì)算為控制主車輛所需的轉(zhuǎn)向輸入包括基于來(lái)自攝像機(jī)的圖像數(shù)據(jù)和來(lái)自數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)計(jì)算前饋?lái)?xiàng)。6.根據(jù)技術(shù)方案I的方法，其中，計(jì)算為控制主車輛所需的轉(zhuǎn)向輸入包括基于車輛動(dòng)態(tài)響應(yīng)參數(shù)計(jì)算反饋線性化項(xiàng)。7. 一種用于提供主車輛的側(cè)向控制的方法，所述方法包括提供來(lái)自主車輛車載的前視攝像機(jī)的圖像數(shù)據(jù)；提供來(lái)自主車輛車載的后視攝像機(jī)的圖像數(shù)據(jù)；提供來(lái)自主車輛車載的車輛動(dòng)態(tài)傳感器的數(shù)據(jù)；提供來(lái)自數(shù)字地圖系統(tǒng)的與主車輛正在行駛的道路有關(guān)的數(shù)據(jù)；提供來(lái)自主車輛車載的領(lǐng)先車輛位置系統(tǒng)的關(guān)于領(lǐng)先車輛的數(shù)據(jù)，其中領(lǐng)先車輛是道路上主車輛前邊的車輛；通過(guò)使用來(lái)自前視攝像機(jī)和后視攝像機(jī)的圖像數(shù)據(jù)和來(lái)自車輛動(dòng)態(tài)傳感器、數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)，計(jì)算為控制主車輛以維持在道路上的路線所需的轉(zhuǎn)向輸入將所述轉(zhuǎn)向輸入提供到主車輛中的轉(zhuǎn)向致動(dòng)器，以及估算主車輛的動(dòng)態(tài)響應(yīng)。8.根據(jù)技術(shù)方案7的方法，其中，提供來(lái)自前視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的前面位置處的道路的位置和方位的估算。9.根據(jù)技術(shù)方案7的方法，其中，提供來(lái)自后視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的后面位置處的道路的位置和方位的估算。10.根據(jù)技術(shù)方案7的方法，其中，提供來(lái)自車輛動(dòng)態(tài)傳感器的數(shù)據(jù)包括提供主車輛的速度和橫擺率。11.根據(jù)技術(shù)方案7的方法，其中，提供關(guān)于領(lǐng)先車輛的數(shù)據(jù)包括提供領(lǐng)先車輛相對(duì)于主車輛的縱向偏移、側(cè)向偏移、和航向角。12.根據(jù)技術(shù)方案7的方法，其中，計(jì)算為控制主車輛所需的轉(zhuǎn)向輸入包括基于來(lái)自攝像機(jī)的圖像數(shù)據(jù)和來(lái)自車輛動(dòng)態(tài)傳感器、數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)計(jì)算前饋?lái)?xiàng)。13.根據(jù)技術(shù)方案7的方法，其中，計(jì)算為控制主車輛所需的轉(zhuǎn)向輸入包括基于車輛的動(dòng)態(tài)響應(yīng)參數(shù)計(jì)算反饋線性化項(xiàng)。14.根據(jù)技術(shù)方案 7的方法，其中，估算主車輛的動(dòng)態(tài)響應(yīng)包括使用卡爾曼濾波器方法來(lái)估算主車輛的一組狀態(tài)變量。15. 一種用于提供主車輛的側(cè)向控制的系統(tǒng)，所述系統(tǒng)包括第一攝像機(jī)，用于捕獲來(lái)自主車輛的前視圖像；第二攝像機(jī)，用于捕獲來(lái)自主車輛的后視圖像；主車輛車載的多個(gè)車輛動(dòng)態(tài)傳感器，用于提供關(guān)于主車輛的運(yùn)動(dòng)的數(shù)據(jù)；數(shù)字地圖，用于提供關(guān)于主車輛行駛的道路的信息；主車輛車載領(lǐng)先車輛位置子系統(tǒng)，所述領(lǐng)先車輛位置子系統(tǒng)提供關(guān)于領(lǐng)先車輛相對(duì)于主車輛的位置的數(shù)據(jù)；和處理器，其配置為接收來(lái)自攝像機(jī)、車輛動(dòng)態(tài)傳感器、數(shù)字地圖、和領(lǐng)先車輛位置子系統(tǒng)的數(shù)據(jù)，所述處理器計(jì)算為控制主車輛以維持在道路上的路線所需的轉(zhuǎn)向輸入。16.根據(jù)技術(shù)方案15的系統(tǒng)，其中，來(lái)自第一攝像機(jī)和第二攝像機(jī)的圖像提供關(guān)于道路的車道邊界的位置的數(shù)據(jù)，包括路緣和車道線。17.根據(jù)技術(shù)方案15的系統(tǒng),其中，車輛動(dòng)態(tài)傳感器包括速度傳感器和橫擺率傳感器。18.根據(jù)技術(shù)方案15的系統(tǒng)，其中，領(lǐng)先車輛位置子系統(tǒng)提供領(lǐng)先車輛相對(duì)于主車輛的縱向位移、側(cè)向位移、航向角。19.根據(jù)技術(shù)方案15的系統(tǒng)，其中，處理器包括使用卡爾曼濾波器方法估算主車輛的動(dòng)態(tài)響應(yīng)的模塊，并在用于計(jì)算轉(zhuǎn)向輸入的反饋線性化項(xiàng)中使用主車輛的動(dòng)態(tài)響應(yīng)。20.根據(jù)技術(shù)方案15的系統(tǒng)，其中，處理器還包括用于計(jì)算前饋?lái)?xiàng)的模塊，所述前饋?lái)?xiàng)用于計(jì)算轉(zhuǎn)向輸入。


圖I是使用前和后攝像機(jī)及其它輸入源的車輛側(cè)向控制系統(tǒng)的框圖；圖2是主車輛的側(cè)向控制的雙輪車模型的示圖；圖3是顯示了側(cè)向控制模型的多種關(guān)鍵參數(shù)的主車輛的示圖；圖4是示出如何實(shí)施車輛側(cè)向控制模型的控制框圖；圖5是使用雙攝像機(jī)車道融合方法的車輛側(cè)向控制的系統(tǒng)框圖；圖6是使用來(lái)自雙攝像機(jī)的輸入的車道融合系統(tǒng)的第一實(shí)施例的框圖；圖7是使用來(lái)自雙攝像機(jī)的輸入的車道融合系統(tǒng)的第二實(shí)施例的框圖；圖8是示出對(duì)于已經(jīng)檢測(cè)到若干短線和一條長(zhǎng)弧的場(chǎng)景的車道線表達(dá)的示例的示圖；圖9是示出了如何計(jì)算主車輛相對(duì)于車道邊界的位移的直方圖；圖10是用在圖7的車道追蹤模塊中的卡爾曼濾波器追蹤方法的流程圖；以及圖11是用在圖7的車道追蹤模塊中的粒子濾波器追蹤方法的流程圖。
具體實(shí)施例方式下面關(guān)于使用前和后攝像機(jī)的穩(wěn)健的車輛側(cè)向控制方法的本發(fā)明實(shí)施方式的討論實(shí)質(zhì)上僅僅是示例性的，其決不是為了限制本發(fā)明或其應(yīng)用或使用。許多現(xiàn)代車輛包括前視攝像機(jī)，和在應(yīng)用例如車道偏離警告和側(cè)向控制輔助中使用來(lái)自前視攝像機(jī)的圖像數(shù)據(jù)的系統(tǒng)。然而，來(lái)自前視攝像機(jī)的圖像可能被領(lǐng)先車輛妨礙，或者被陽(yáng)光、霧、雨、或雪遮蔽，其降低了依賴于圖像的應(yīng)用的可靠性。假定增加可用的后視攝像機(jī)，所述后視攝像機(jī)經(jīng)常主要用作備用輔助設(shè)備，則使用后視攝像機(jī)圖像數(shù)據(jù)作為前視攝像機(jī)圖像數(shù)據(jù)的補(bǔ)充是很有意義的。與GPS和數(shù)字地圖數(shù)據(jù)、車輛動(dòng)態(tài)傳感器、和基于雷達(dá)的或能夠檢測(cè)道路上主車輛前邊的車輛的其它系統(tǒng)一起，前視和后視攝像機(jī)圖像能夠使用在高級(jí)應(yīng)用中以提高安全和車輛控制。在一種方法中，數(shù)據(jù)源直接用在車輛側(cè)向控制應(yīng)用中。圖I是通過(guò)使用前視和后視攝像機(jī)和其它數(shù)據(jù)源用于車輛的側(cè)向控制的系統(tǒng)10的框圖。如下面將要討論的，系統(tǒng)10使用來(lái)自前視攝像機(jī)12和后視攝像機(jī)14的圖像數(shù)據(jù)。領(lǐng)先車輛位置系統(tǒng)16，其可以是長(zhǎng)距離雷達(dá)(LRR)或其它類型的系統(tǒng)，追蹤領(lǐng)先車輛的位置，以便估計(jì)道路的路線。來(lái)自基于 GPS的導(dǎo)航系統(tǒng)或數(shù)字地圖18的道路曲率信息為系統(tǒng)10提供了另一個(gè)數(shù)據(jù)源。來(lái)自前視攝像機(jī)12、后視攝像機(jī)14、領(lǐng)先車輛位置系統(tǒng)16和數(shù)字地圖18的輸入都由車輛側(cè)向控制模塊20使用，該控制模塊20的運(yùn)行將在下面詳細(xì)討論。圖2是用于車輛側(cè)向控制的雙輪車(bicycle)模型30的示圖，其通過(guò)在車輛的中心線處將每個(gè)車軸的兩個(gè)輪子并成一個(gè)輪得到。圖3是控制模型40的示圖，控制模型40向雙輪車模型30增加更多細(xì)節(jié)。在圖2和圖3中相同的部件和尺度共用相同的參考標(biāo)記，這將一起討論。下面的表提供了圖2和3中所示出的部件和尺度的索引，包括其參考標(biāo)記和描述。
權(quán)利要求
1.一種用于提供主車輛的側(cè)向控制的方法，所述方法包括 提供來(lái)自主車輛車載的前視攝像機(jī)的圖像數(shù)據(jù)； 提供來(lái)自主車輛車載的后視攝像機(jī)的圖像數(shù)據(jù)； 提供來(lái)自數(shù)字地圖系統(tǒng)的與主車輛正在行駛的道路有關(guān)的數(shù)據(jù)； 提供來(lái)自主車輛車載的領(lǐng)先車輛位置系統(tǒng)的關(guān)于領(lǐng)先車輛的數(shù)據(jù)，其中領(lǐng)先車輛是道路上主車輛前邊的車輛；和 通過(guò)使用來(lái)自前視攝像機(jī)和后視攝像機(jī)的圖像數(shù)據(jù)和來(lái)自數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)，計(jì)算為控制主車輛以維持在道路上的路線所需的轉(zhuǎn)向輸入，并且將所述轉(zhuǎn)向輸入提供到主車輛中的轉(zhuǎn)向致動(dòng)器。
2.根據(jù)權(quán)利要求I的方法，其中，提供來(lái)自前視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的前面位置處的道路的位置和方位的估算。
3.根據(jù)權(quán)利要求I的方法，其中，提供來(lái)自后視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的后面位置處的道路的位置和方位的估算。
4.根據(jù)權(quán)利要求I的方法，其中，提供關(guān)于領(lǐng)先車輛的數(shù)據(jù)包括提供領(lǐng)先車輛相對(duì)于主車輛的縱向偏移、側(cè)向偏移、和航向角。
5.根據(jù)權(quán)利要求I的方法，其中，計(jì)算為控制主車輛所需的轉(zhuǎn)向輸入包括基于來(lái)自攝像機(jī)的圖像數(shù)據(jù)和來(lái)自數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)計(jì)算前饋?lái)?xiàng)。
6.根據(jù)權(quán)利要求I的方法，其中，計(jì)算為控制主車輛所需的轉(zhuǎn)向輸入包括基于車輛動(dòng)態(tài)響應(yīng)參數(shù)計(jì)算反饋線性化項(xiàng)。
7.一種用于提供主車輛的側(cè)向控制的方法，所述方法包括 提供來(lái)自主車輛車載的前視攝像機(jī)的圖像數(shù)據(jù)； 提供來(lái)自主車輛車載的后視攝像機(jī)的圖像數(shù)據(jù)； 提供來(lái)自主車輛車載的車輛動(dòng)態(tài)傳感器的數(shù)據(jù)； 提供來(lái)自數(shù)字地圖系統(tǒng)的與主車輛正在行駛的道路有關(guān)的數(shù)據(jù)； 提供來(lái)自主車輛車載的領(lǐng)先車輛位置系統(tǒng)的關(guān)于領(lǐng)先車輛的數(shù)據(jù)，其中領(lǐng)先車輛是道路上主車輛前邊的車輛； 通過(guò)使用來(lái)自前視攝像機(jī)和后視攝像機(jī)的圖像數(shù)據(jù)和來(lái)自車輛動(dòng)態(tài)傳感器、數(shù)字地圖系統(tǒng)和領(lǐng)先車輛位置系統(tǒng)的數(shù)據(jù)，計(jì)算為控制主車輛以維持在道路上的路線所需的轉(zhuǎn)向輸A 將所述轉(zhuǎn)向輸入提供到主車輛中的轉(zhuǎn)向致動(dòng)器，以及 估算主車輛的動(dòng)態(tài)響應(yīng)。
8.根據(jù)權(quán)利要求7的方法，其中，提供來(lái)自前視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的前面位置處的道路的位置和方位的估算。
9.根據(jù)權(quán)利要求7的方法，其中，提供來(lái)自后視攝像機(jī)的圖像數(shù)據(jù)包括提供主車輛相對(duì)于在主車輛的后面位置處的道路的位置和方位的估算。
10.一種用于提供主車輛的側(cè)向控制的系統(tǒng)，所述系統(tǒng)包括 第一攝像機(jī)，用于捕獲來(lái)自主車輛的前視圖像； 第二攝像機(jī)，用于捕獲來(lái)自主車輛的后視圖像； 主車輛車載的多個(gè)車輛動(dòng)態(tài)傳感器，用于提供關(guān)于主車輛的運(yùn)動(dòng)的數(shù)據(jù)；數(shù)字地圖，用于提供關(guān)于主車輛行駛的道路的信息； 主車輛車載領(lǐng)先車輛位置子系統(tǒng)，所述領(lǐng)先車輛位置子系統(tǒng)提供關(guān)于領(lǐng)先車輛相對(duì)于主車輛的位置的數(shù)據(jù)；和 處理器，其配置為接收來(lái)自攝像機(jī)、車輛動(dòng)態(tài)傳感器、數(shù)字地圖、和領(lǐng)先車輛位置子系統(tǒng)的數(shù)據(jù)，所述處理器計(jì)算為控制主車輛以維持在道路上的路線所需的轉(zhuǎn)向輸入。
全文摘要
本發(fā)明涉及具有前攝像機(jī)和后攝像機(jī)的穩(wěn)健的車輛側(cè)向控制，具體地，一種用于閉環(huán)車輛側(cè)向控制的方法和系統(tǒng)，其使用來(lái)自前和后攝像機(jī)的圖像數(shù)據(jù)和關(guān)于領(lǐng)先車輛的位置信息作為輸入。主車輛包括在前面和后面處的攝像機(jī)，其主要目的之一是可以用于檢測(cè)車道邊界例如路邊和車道線。主車輛還包括數(shù)字地圖系統(tǒng)和用于感測(cè)行駛在主車輛前面的車輛的位置的系統(tǒng)。開(kāi)發(fā)一種控制策略，其使主車輛轉(zhuǎn)向以最小化主車輛的路線與車道參考路線的偏離，其中車道參考路線是由從前和后攝像機(jī)圖像及從其它輸入所提取的車道邊界計(jì)算的?？刂撇呗詰?yīng)用前饋和反饋部件，并使用卡爾曼濾波器估算主車輛的狀態(tài)向量。
文檔編號(hào)B60W30/12GK102700548SQ201110257988
公開(kāi)日2012年10月3日 申請(qǐng)日期2011年7月20日 優(yōu)先權(quán)日2010年7月20日
發(fā)明者S·曾 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司