基于多表面模型的跟蹤的制作方法
【專利摘要】一種用于檢測車輛的系統(tǒng)和方法。一個(gè)系統(tǒng)包括控制器?？刂破鞅慌渲脼椋簭陌惭b在第一車輛上的至少一個(gè)攝像機(jī)接收數(shù)據(jù)；基于圖像來識(shí)別位于第一車輛周圍的第二車輛的表面；以及產(chǎn)生與第二車輛相關(guān)聯(lián)的三維模型。該模型包括第一平面和與第一平面近似垂直的第二平面。所述模型的第一平面與第二車輛的被識(shí)別的表面相關(guān)聯(lián)?？刂破鬟€進(jìn)一步被配置為在被識(shí)別的表面至少部分落在至少一個(gè)攝像機(jī)的視場的外部之后，使用三維模型來跟蹤第二車輛的位置。
【專利說明】基于多表面模型的跟蹤
[0001]相關(guān)申請
[0002]本申請要求享有于2012年3月26日提出的美國臨時(shí)專利申請61/615，596的優(yōu)先權(quán)，并在此以引用的方式包含其全部內(nèi)容。

【背景技術(shù)】
[0003]現(xiàn)有的自適應(yīng)巡航控制(“ACC”)和前方碰撞預(yù)警系統(tǒng)(“FCW”)提供了雷達(dá)傳感器解決方案，并可選地附加了前視黑白攝像機(jī)。雷達(dá)傳感器對于縱向間距和速度測量工作良好，但無法檢測某些依賴于精確性和魯棒性的橫向跟蹤的交通情形。例如，當(dāng)一輛車超過另一輛車，諸如相對較低速度的半卡車時(shí)，所出現(xiàn)的相鄰車道干擾，現(xiàn)有的雷達(dá)系統(tǒng)經(jīng)常無法檢測。特別地，由于卡車一側(cè)的巨大體積，雷達(dá)系統(tǒng)可能遇到相鄰車道的散亂反射，并無法繼續(xù)先前所視車輛的跟蹤。當(dāng)位于同一車道的目標(biāo)車輛減速并突然轉(zhuǎn)到另一街道(經(jīng)常被稱為“麥當(dāng)勞轉(zhuǎn)向”)時(shí)，現(xiàn)有雷達(dá)系統(tǒng)也無法提供合適的應(yīng)對。例如，在此情形下，現(xiàn)有的雷達(dá)系統(tǒng)可能不需要對車輛進(jìn)行減速或者提供警示。而且，許多現(xiàn)有的雷達(dá)系統(tǒng)無法正確地檢測“新來的”車輛，例如當(dāng)車輛突然切入車道時(shí)。
[0004]這些狀況可通過攝像機(jī)在一定程度上減少，該攝像機(jī)能夠提供關(guān)于車道位置和車輛檢測信息。然而，現(xiàn)有的黑白攝像機(jī)為了檢測車輛，需要觀測到大部分或全部的車輛后面，并且只在車輛后面的大部分在攝像機(jī)的視場(“FoV”)中時(shí)才能夠跟蹤車輛。其結(jié)果是，攝像機(jī)無法完全消除上述錯(cuò)誤，特別是對于切入的情況。


【發(fā)明內(nèi)容】

[0005]因而，本發(fā)明的實(shí)施例針對攝像機(jī)提供了更通用的方法，以基于雷達(dá)、攝像機(jī)或兩者相結(jié)合來增強(qiáng)當(dāng)前的ACC或FCW系統(tǒng)，并提供了魯棒的車輛跟蹤和車輛識(shí)別。如下所述，本發(fā)明的實(shí)施例能夠檢測車輛的準(zhǔn)確橫向位置(例如，在相鄰車道或同一車道中)而無需觀察到整個(gè)車輛，并且能夠通過檢測車輛的旋轉(zhuǎn)而先于現(xiàn)有的系統(tǒng)檢測到車輛的轉(zhuǎn)向。
[0006]特別地，本發(fā)明的實(shí)施例提供了用于擴(kuò)展前視攝像機(jī)的能力的系統(tǒng)和方法。特別是，所提出的系統(tǒng)和方法使用由攝像機(jī)所捕獲的二維(“2D”)數(shù)據(jù)，基于車輛的全三維(“3D”)模型來執(zhí)行穿過車輛表面的特征追蹤。3D模型用于跟蹤車輛的一側(cè)，即使是初始被攝像機(jī)檢測到的車輛的后面移出了攝像機(jī)的FoV。因此，3D模型補(bǔ)救了上述討論的情形。3D模型還能夠提供附加的功能，例如作為使用多角攝像機(jī)構(gòu)建360度全環(huán)繞模型的基礎(chǔ)。
[0007]例如，本發(fā)明的一個(gè)實(shí)施例提供了用于檢測車輛的系統(tǒng)。該系統(tǒng)具有控制器。該控制器被配置為接收安裝在第一車輛上的攝像機(jī)的圖像，基于圖像來檢測位于第一車輛周圍的第二車輛的表面，并產(chǎn)生與第二車輛相關(guān)聯(lián)的三維模型。模型包括第一平面和與第一平面近似垂直的第二平面。第一平面與第二車輛的被識(shí)別的表面相關(guān)聯(lián)?？刂破鬟€進(jìn)一步被配置為，在被識(shí)別的表面至少部分地落至少一個(gè)攝像機(jī)的視場的外部之后，使用三維模型來跟蹤第二車輛的位置。
[0008]本發(fā)明的另一個(gè)實(shí)施例提供了用于檢測車輛的方法，包括在至少一個(gè)控制器處從安裝第一車輛上的至少一個(gè)攝像機(jī)接收圖像；由至少一個(gè)控制器基于圖像來檢測位于第一車輛周圍的第二車輛的表面；以及由至少一個(gè)控制器生成代表第二車輛的三維模型。三維模型包括第一平面和與第一平面近似垂直的第二平面，并且第一平面代表了第二車輛已識(shí)別的表面。方法還包括，在第二車輛被識(shí)別的表面至少部分地落在至少一個(gè)攝像機(jī)的視場的外部之后，由至少一個(gè)控制器使用模型和來自至少一個(gè)攝像機(jī)的更新數(shù)據(jù)來確定第二車輛的位置。
[0009]本發(fā)明的其他方面將通過參考具體實(shí)施例以及結(jié)合附圖變得更加清楚。

【專利附圖】

【附圖說明】
[0010]圖1示意性地示出了車輛；
[0011]圖2示意性地示出了包含在圖1所示車輛中的目標(biāo)檢測控制器；
[0012]圖3是示出了由圖2中的目標(biāo)檢測控制器執(zhí)行的目標(biāo)檢測方法的流程圖；
[0013]圖4-7示意性地出了由圖2中的目標(biāo)檢測控制器執(zhí)行的車輛檢測和跟蹤；

【具體實(shí)施方式】
[0014]在詳細(xì)解釋本發(fā)明的任何實(shí)施例之前，應(yīng)該理解的是本發(fā)明的應(yīng)用不限于下面的描述或附圖中所示出的具體構(gòu)造以及元件排列。本發(fā)明能夠有其它的實(shí)施方式并以多種方式來實(shí)施和執(zhí)行。
[0015]圖1示出了車輛10。車輛10包括目標(biāo)檢測控制器12。目標(biāo)檢測控制器12連接到網(wǎng)絡(luò)，所述網(wǎng)絡(luò)例如是控制器局域網(wǎng)(“CAN”)總線16?？偩€16允許控制器12與連接到總線16的其他設(shè)備交換數(shù)據(jù)，例如一個(gè)或多個(gè)環(huán)境傳感器22。雖然車輛10中顯示為總線16連接多種組件，組件間的其他連接，不論有線還是無線、直接地還是間接地都是可能的。
[0016]環(huán)境傳感器22具有安裝在車輛10表面上的一個(gè)或多個(gè)雷達(dá)、聲納、超聲波和/或光學(xué)傳感器(例如，一個(gè)或多個(gè)黑白攝像機(jī)、立體攝像機(jī)等)，并檢測車輛10周圍的目標(biāo)(例如，其他車輛)。如圖1所示，傳感器22可位于車輛10的前部和尾部以檢測大致位于車輛10的前方和后方的目標(biāo)。然而，應(yīng)該理解的是傳感器22可位于車輛10的任何位置并檢測任何方向的目標(biāo)。目標(biāo)檢測控制器12從環(huán)境傳感器22獲取數(shù)據(jù)，并使用該數(shù)據(jù)來檢測位于車輛10的周圍的目標(biāo)以及它們的相對位置。例如，傳感器22中的一個(gè)傳感器檢測車輛10與位于車輛10周圍的目標(biāo)之間的距離。在一個(gè)實(shí)施例中，傳感器22中的一個(gè)傳感器包括發(fā)射雷達(dá)波的雷達(dá)傳感器。雷達(dá)波從距離車輛10最近的目標(biāo)反射并返回到雷達(dá)傳感器。雷達(dá)傳感器(或者目標(biāo)檢測控制器12)計(jì)算雷達(dá)波從發(fā)射到返回所用的時(shí)間。通過此信息，雷達(dá)傳感器(或者目標(biāo)檢測控制器12)確定車輛10與車輛10周圍的目標(biāo)(例如，其他車輛)之間的距離。環(huán)境傳感器22還可以包括安裝在車輛10前部的攝像機(jī)(例如，單筒或雙筒(立體視覺)黑白攝像機(jī)系統(tǒng))。攝像機(jī)捕捉車輛10的前方區(qū)域的圖像(例如，靜態(tài)的圖像或視頻)。
[0017]控制器12使用由傳感器22所收集的信息來識(shí)別或檢測位于車輛10周圍的其他目標(biāo)，例如其他車輛。在一些實(shí)施例中，控制器12使用已檢測目標(biāo)的相關(guān)信息(例如，位置、速度、位置的變化等等)來執(zhí)行各種不同的自動(dòng)車輛控制操作，例如自適應(yīng)巡航控制(“ACC”)和/或前方碰撞預(yù)警系統(tǒng)(“FCW”)。然而，其他實(shí)施例中，控制器12被配置為檢測目標(biāo)，并將關(guān)于所檢測的目標(biāo)的信息提供給一個(gè)或多個(gè)附加的控制器24 (例如，ACC控制器、FCff控制器、穩(wěn)定控制系統(tǒng)等)，并且附加的控制器24可被配置為使用關(guān)于所檢測的目標(biāo)的信息來自動(dòng)地修正車輛操作。因而，應(yīng)該理解的是控制器12的功能可以分布于多個(gè)控制設(shè)備或系統(tǒng)中。
[0018]如圖2所示，目標(biāo)檢測控制器12包括處理器30、永久的計(jì)算機(jī)可讀介質(zhì)32和輸入/輸出接口 34。計(jì)算機(jī)可讀介質(zhì)32可包括隨機(jī)存取存儲(chǔ)器(“RAM” )和/或只讀存儲(chǔ)器(“ROM”)。輸入/輸出接口 34通過總線16發(fā)送和接收信息，并且可選地，其他設(shè)備不與總線16連接(例如，車輛10的內(nèi)部或車輛10的外部)。處理器30接收信息(例如，從介質(zhì)32和/或輸入/輸出接口 34)，且通過執(zhí)行一個(gè)或多個(gè)指令或模塊來處理信息。指令或模塊存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)32中。處理器30還存儲(chǔ)信息(例如，從總線16接收到的信息或由處理器30所執(zhí)行的指令或模塊產(chǎn)生的信息)到介質(zhì)32。應(yīng)該理解的是雖然圖2中只示出了單個(gè)處理器、輸入/輸出接口和計(jì)算機(jī)可讀介質(zhì)模塊，目標(biāo)檢測控制器12可以包括多個(gè)處理單元、存儲(chǔ)模塊、和/或輸入/輸出接口。應(yīng)該理解的是在其他實(shí)施例中，控制器12包括替代或附接到處理器30、介質(zhì)32和接口 34的專用集成電路(“ASIC”)。
[0019]計(jì)算機(jī)可讀介質(zhì)32中存儲(chǔ)的指令由處理器30執(zhí)行時(shí)，提供特定的功能。通常地，指令由處理器30執(zhí)行時(shí)，使用來自環(huán)境傳感器22的信息來檢測目標(biāo)，例如車輛10周圍的其他車輛以及它們相對車輛10的位置。如上面指出的，控制器12可被配置為使用有關(guān)所檢測的目標(biāo)的信息來執(zhí)行各種不同車輛控制操作(例如，ACC和/或FCW)或者可被配置為提供該信息給執(zhí)行這些操作的其他控制器。
[0020]如在
【發(fā)明內(nèi)容】
部分中所述，雖然使用帶有雷達(dá)系統(tǒng)的攝像機(jī)可以改進(jìn)周圍目標(biāo)和車輛的檢測與跟蹤，現(xiàn)有的用于檢測周圍的車輛的攝像機(jī)系統(tǒng)基于車輛的后面的出現(xiàn)來進(jìn)行檢測并常常要求攝像機(jī)看到幾乎100%的后面(例如，用以識(shí)別具有特定的大小、形狀和/或其他特征的表面，例如通常預(yù)定大小的矩形表面)。相應(yīng)地，現(xiàn)有的攝像機(jī)無法僅通過看到車輛的側(cè)面來識(shí)別車輛。因而，當(dāng)由于角度變化(例如，當(dāng)車輛10超車時(shí))或者由于車輛轉(zhuǎn)動(dòng)(例如，所檢測的車輛或車輛10轉(zhuǎn)向或變換車道)，車輛的一部分后面移出攝像機(jī)的視場(“FoV”)時(shí)，現(xiàn)有的攝像機(jī)通常無法繼續(xù)跟蹤車輛。
[0021]為了克服這些問題，控制器12被配置為使用多表面模型(包括雙表面模型)以代表所檢測的車輛來檢測目標(biāo)(例如，其他車輛)。雙表面包括目標(biāo)的后表面和目標(biāo)的側(cè)表面。根據(jù)相對的目標(biāo)位置，側(cè)表面可以是左側(cè)表面或右側(cè)表面。然而，拓?fù)浣Y(jié)構(gòu)匹配了位于車輛10的前方的攝像機(jī)看到的內(nèi)容(例如，由攝像機(jī)所檢測到的圖像包括所檢測的車輛的后面的左側(cè)表面或右側(cè)表面的特征)。
[0022]例如，圖3是說明由控制器12執(zhí)行的目標(biāo)檢測和跟蹤(例如，基于存儲(chǔ)在介質(zhì)32中并由處理器30執(zhí)行的指令)的流程圖。在一些實(shí)施例中，控制器12被配置為在三種不同的情形下檢測車輛。特別地，控制器12可被配置為(I)檢測與車輛10在同一行駛車道或廊道的車輛的后面(“情形I”)；(2)檢測與車輛10在鄰近行駛廊道中的車輛的后(“情形2”)；和(3)檢測車輛側(cè)面(“情形3”)。如下面所詳述的，控制器12可初始地或者在初始地檢測車輛的后面之后檢測車輛側(cè)面?？刂破?2可被配置為當(dāng)所檢測的車輛在三種情形之間切換時(shí)，對所檢測的的車輛進(jìn)行跟蹤而幾乎不存在跟蹤的中斷，如果存在任何中斷的話(也稱為“無縫”跟蹤)。特別地，控制器12跟蹤所檢測的車輛從一種情形變化為另一種情況，而不失去對車輛的跟蹤或者將所檢測的車輛誤識(shí)別為新的車輛而不是變換了位置的之前所檢測的車輛。
[0023]特別地，如圖3所示，在情形I中，控制器12基于環(huán)境傳感器22的數(shù)據(jù)(例如攝像機(jī)的圖像)(在40)，使用與現(xiàn)有系統(tǒng)相似的方式來識(shí)別車輛的后面?zhèn)取Ｔ谧R(shí)別了車輛后面之后，控制器12執(zhí)行車輛分類(例如，“小汽車”、“卡車”、或“摩托車”)?？刂破?2之后創(chuàng)建代表已識(shí)別的車輛的后面的二維(“2D”)邊界框(在42)。邊界框的大小可基于車輛分類來設(shè)定。
[0024]控制器12還生成與被識(shí)別的車輛相關(guān)聯(lián)的三維(“3D”)模型(在44)。模型包括被識(shí)別的車輛的多個(gè)表面。特別地，模型包括第一平面和與第一平面近似垂直的第二平面。第一平面能夠與所檢測的車輛的后表面相關(guān)聯(lián)，第二平面能夠與所檢測的車輛的側(cè)表面相關(guān)聯(lián)。根據(jù)所檢測的車輛相對于車輛10的位置(例如，所檢測的車輛在車輛10的左偵U、前方還是右側(cè))，側(cè)表面是所檢測的車輛的左側(cè)表面或右側(cè)表面。模型的每一個(gè)平面代表被識(shí)別的車輛的假定的表面。
[0025]隨著傳感器22持續(xù)獲取新的數(shù)據(jù)(例如，新的圖像)，控制器12跟蹤邊界框內(nèi)和邊界框的任一側(cè)上的可信的預(yù)定區(qū)域內(nèi)的特征。如果控制器12識(shí)別出邊界框的外部而與所檢測的車輛的側(cè)面相關(guān)聯(lián)(例如，在邊界框的外部而在可信區(qū)域的內(nèi)部和/或模型的內(nèi)部)的特征，控制器12就基于車輛的所檢測的側(cè)面來更新模型(在46)。因此，產(chǎn)生的更新模型提供了所檢測的車輛的轉(zhuǎn)動(dòng)和側(cè)向位置的更精確估計(jì)?？刂破?2和/或其他控制設(shè)備和系統(tǒng)可使用該信息來執(zhí)行各種自動(dòng)車輛操作，例如調(diào)整車輛10的巡航控制速度以避免與相同行駛廊道中的車輛的碰撞、發(fā)出警示或降低車輛10的速度以避免與所檢測的車輛的碰撞等。
[0026]所檢測的車輛可能從情形I轉(zhuǎn)換到情形2，例如當(dāng)所檢測的車輛或車輛10橫向移動(dòng)并進(jìn)入相鄰的行駛廊道時(shí)。相似地，所檢測的車輛可能從情形I轉(zhuǎn)換到情形3，例如當(dāng)所檢測的車輛或車輛10轉(zhuǎn)向(例如，急轉(zhuǎn)向，例如麥當(dāng)勞轉(zhuǎn)向)并所檢測的車輛的后面不再可見時(shí)。相應(yīng)地，使用該模型，控制器12能夠在這些轉(zhuǎn)換過程中無縫地跟蹤所檢測的車輛。特別地，即使所檢測的車輛的后面不再可見或不在傳感器的FoV中，控制器12也可以使用由所述模型表示的車輛側(cè)面來跟蹤所檢測的車輛。
[0027]在情形2中，控制器12檢測相鄰行駛廊道中的車輛后面(在50)并同上面情形I所述的那樣創(chuàng)建2D邊界框(在52)。然后，控制器12基于2D邊界框生成3D模型(在54)并也同上面情形I所述的那樣基于從環(huán)境傳感器22所獲取的新的數(shù)據(jù)或更新數(shù)據(jù)來更新模型(在56)。
[0028]所檢測的車輛可能從情形2轉(zhuǎn)換到情形1，例如當(dāng)所檢測的車輛變換車道時(shí)。相似地，所檢測的車輛可能從情形2轉(zhuǎn)換到情形3，例如當(dāng)車輛10超過所檢測的車輛時(shí)。在這兩種轉(zhuǎn)換中，控制器12可繼續(xù)使用模型來跟蹤車輛。特別地，在切入的情形下(例如，在所檢測的車輛與車輛10之間的縱向距離較小的情況下)，即使車輛的后面(部分地或整體地)不再在傳感器的FoV內(nèi)，所檢測的車輛的側(cè)面可能仍可見。相似地，在超過的情形中，即使所檢測的車輛的后面不再可見，控制器12也使用由模型所代表的側(cè)表面來繼續(xù)跟蹤車輛的位置。在這些情形中所檢測的車輛的連續(xù)跟蹤提供了對所檢測的車輛的橫向距離和速度的更優(yōu)估算，這有助于車輛10的ACC和FCW系統(tǒng)。
[0029]如圖3所示，在情形3中，控制器12并如情形I和情形2那樣地檢測車輛的后面。但是，在情形3中，控制器12檢測車輛的側(cè)面。例如，如果車輛的側(cè)面首先被傳感器22發(fā)現(xiàn)，例如當(dāng)另一車輛超過車輛10或者并入與車輛10相同或鄰近的廊道時(shí)，控制器12就基于環(huán)境傳感器22的非背景部分的數(shù)據(jù)(例如，基于攝像機(jī)的圖像)，使用光流和光體或運(yùn)動(dòng)分割來檢測移動(dòng)(在60)。檢測運(yùn)動(dòng)之后，控制器12從與運(yùn)動(dòng)相關(guān)聯(lián)的數(shù)據(jù)中提取特征。然后控制器12基于所提取的特征使用曲面擬合算法來產(chǎn)生表面(在62)?？刂破?2將所產(chǎn)生的表面與一個(gè)或多個(gè)潛在的具有預(yù)定的運(yùn)動(dòng)軌跡的車輛模型的估算側(cè)表面進(jìn)行比較(例如，匹配檢測的運(yùn)動(dòng))(在64)。如果所產(chǎn)生的表面與估算表面匹配(在66)，控制器12就識(shí)別作為與潛在車輛相關(guān)聯(lián)的所提取的特征并產(chǎn)生潛在車輛的模型(在68)。因此，使用該模型，控制器12可以繼續(xù)跟蹤潛在車輛并可以按上述的對應(yīng)的情形I和2相應(yīng)地更新模型(在70)。應(yīng)該理解的是控制器12可被配置為檢測車輛的側(cè)面作為初始檢測車輛的一部分或者可以在初始識(shí)別車輛的后面之后執(zhí)行作為跟蹤車輛的一部分的檢測。
[0030]所檢測的車輛可能從情形3轉(zhuǎn)換到情形2。該轉(zhuǎn)換發(fā)生在當(dāng)鄰近廊道的車輛超過車輛10并且車輛的后面漸漸地移動(dòng)到傳感器的FoV中時(shí)。在轉(zhuǎn)換過程中，控制器12跟蹤車輛的側(cè)面。當(dāng)車輛的后面開始進(jìn)入到傳感器的FoV時(shí)，控制器12檢測的特征并不落在與車輛側(cè)面相關(guān)聯(lián)的估算平面中而是落在車輛后面的估算平面中，如由模型所代表的。因此，使用3D模型，控制器12可以合適地跟蹤檢測車輛并估算檢測車輛的橫向和縱向距離。該信息可由各種自動(dòng)車輛控制操作(例如ACC和FCW系統(tǒng))使用。所檢測的車輛從情形3轉(zhuǎn)換到情形I也是可能的。例如，該情形出現(xiàn)在當(dāng)行駛廊道較寬或傳感器22具有較窄的視場時(shí)。
[0031]因此，如上所述，使用三維模型，控制器12可以準(zhǔn)確地檢測并跟蹤位于車輛10的周圍的車輛的位置(例如，所檢測的車輛與車輛10之間的距離)。特別地，控制器12可以通過識(shí)別車輛的后面或者通過識(shí)別車輛的側(cè)面來識(shí)別車輛。而且，在基于車輛的特定表面(例如，后面或側(cè)面)初始地識(shí)別或認(rèn)出車輛之后，控制器12使用3D模型來跟蹤車輛，即使在被初始地檢測到的車輛的表面落在傳感器的FoV的外部之后。特別地，如圖4所示和如上所述，控制器12能夠基于從傳感器22的數(shù)據(jù)(例如，圖像)提出的特征來識(shí)別車輛102的后面100。在識(shí)別車輛102的后面100之后，控制器12定義了邊界框104，邊界框104構(gòu)成了與所檢測的車輛102相關(guān)聯(lián)的三維模型106的基礎(chǔ)。如圖4所示，模型106包括至少第一平面106a和與第一平面106a近似垂直的第二平面106b。第一平面106a可以代表車輛102的后面100，且第二平面106b可以代表車輛102的側(cè)面。
[0032]如圖5-7所示，在初始地識(shí)別車輛102之后，隨著車輛102移動(dòng)并甚至車輛102的后面100已經(jīng)(部分或全部)落在傳感器的FoV1S的外部之后，控制器12使用模型106來跟蹤車輛102。特別地，控制器12基于從環(huán)境傳感器22的數(shù)據(jù)來識(shí)別車輛102的特征?？刂破?2確定所檢測的特征是否匹配先前為被識(shí)別的車輛102產(chǎn)生的模型106。如果特征匹配模型106，則控制器12繼續(xù)跟蹤被識(shí)別的車輛102。因而，即使在車輛102的后面100全部在傳感器的FoV1S的外部的情況下，這種情況可能出現(xiàn)在車輛102改變車道或改變速度時(shí)，控制器12也使用模型106來繼續(xù)跟蹤車輛102。
[0033]一旦使用可用的特征構(gòu)建車輛模型之后，控制器12從傳感器22獲取新的數(shù)據(jù)或更新數(shù)據(jù)，跟蹤適配模型的特征，并基于所更新數(shù)據(jù)來更新相應(yīng)的模型。改能力使得控制器12能夠檢測現(xiàn)有的目標(biāo)檢測系統(tǒng)無法正確檢測的許多特定的交通情況。例如，控制器12使用“滾動(dòng)特征”來確定從傳感器22的更新數(shù)據(jù)中被識(shí)別的新特征是屬于相同的初始檢測的表面還可以適配于所產(chǎn)生的3D多表面模型的新的表面。特別地，控制器12可被配置為確定新的特征是否適配于模型的平面，所述平面表示由控制器12被識(shí)別的初始表面。如果特征適配于該平面，則控制器12識(shí)別為新的特征與由控制器12識(shí)別的初始表面相關(guān)聯(lián)，并且控制器12能夠相應(yīng)地更新模型(例如，通過調(diào)整模型的大小、位置等)。如果新的特征不適配該平面，則控制器12確定新的特征是否適配模型中的“下一個(gè)”平面。下一個(gè)平面可以與可能被傳感器22觀測到的下一個(gè)表面相關(guān)聯(lián)。例如，如果傳感器22初始地觀測到車輛的后表面，則可能被傳感器22觀測到的下一個(gè)表面將是側(cè)表面。類似地，如果傳感器22初始地觀測到車輛的側(cè)表面，則可能被傳感器22觀測到的下一個(gè)表面將是后表面。因此，控制器12從模型來識(shí)別“下一個(gè)”平面，并確定新的特征是否適配該平面。如果適配，則控制器12識(shí)別為將新的特征關(guān)聯(lián)于“下一個(gè)”平面并相應(yīng)地更新模型(例如，通過調(diào)整模型的大小、位置、方向等)。如果新的特征不適配與先前識(shí)別的車輛的模型相關(guān)聯(lián)的任何平面，則控制器12可配置為產(chǎn)生新的模型和/或刪除現(xiàn)有的模型(例如，指示先前識(shí)別的車輛不再存在)。因此，控制器12從一個(gè)平面或表面“滾動(dòng)”到邏輯上的下一個(gè)平面或表面，以確定從由傳感器22提供的更新數(shù)據(jù)中所提取的新的特征是否繼續(xù)代表先前識(shí)別的車輛。
[0034]通過將特征從后表面“滾動(dòng)”到側(cè)表面且沿著側(cè)跟隨特征，或反之亦然，控制器12能夠在超車情形期間準(zhǔn)確地跟蹤車輛。類似地，對于雙攝像機(jī)系統(tǒng)(例如，包括前視攝像機(jī)和后視攝像機(jī))或360度FoV系統(tǒng)，控制器12可以將特征繼續(xù)滾動(dòng)到前部表面。因此，只要控制器12識(shí)別出匹配模型的特征(例如，落在模型中或落在與模型的一個(gè)或多個(gè)平面相關(guān)聯(lián)的可能的區(qū)域內(nèi)或模型自身使用上述滾動(dòng)特征)，則控制器12仍能夠繼續(xù)跟蹤所檢測的車輛，即使當(dāng)用于初始檢測車輛的原始表面已經(jīng)完全從傳感器的FoV中消失時(shí)。
[0035]除了準(zhǔn)確跟蹤超車的情況以外，控制器12還可以在急轉(zhuǎn)彎情形(諸如麥當(dāng)勞轉(zhuǎn)向等)中準(zhǔn)確跟蹤所檢測的車輛。特別地，控制器12能夠通過沿著3D多表面模型檢測特征的旋轉(zhuǎn)(例如，檢測車輛的側(cè)面的特征的變化)來更早地識(shí)別出所檢測的車輛的旋轉(zhuǎn)或轉(zhuǎn)向。而且，在切入情形或并線情形期間，控制器12檢測車輛的側(cè)面，這使得相對于現(xiàn)有系統(tǒng)，切入或并線車輛將被較早地檢測到。
[0036]因此，本發(fā)明的實(shí)施例提供了用于使用三維多表面模型來檢測和跟蹤位于車輛周圍的其他車輛的系統(tǒng)和方法，并且使用該過程所收集的信息可用于增強(qiáng)自動(dòng)車輛控制，例如ACC和FCW。應(yīng)該理解的是這里所述的前向系統(tǒng)也可以是后向監(jiān)視或可以用于提供近似360度的FoV覆蓋。例如，對于近似360度FoV覆蓋，控制器12可以基于最初觀測車輛的前面和側(cè)面的后視攝像機(jī)、以及隨后觀測車輛的側(cè)面?zhèn)纫晹z像機(jī)來跟蹤經(jīng)過的車輛，并且在一些實(shí)施例中，能夠預(yù)測潛在的切入情況，即使在經(jīng)過的車輛被前視攝像機(jī)觀測之前。
[0037]應(yīng)該理解的是，雖然這里所述的系統(tǒng)和方法涉及檢測和跟蹤車輛，但是系統(tǒng)和方法可以用于檢測和跟蹤位于車輛周圍的其他類型的目標(biāo)。
[0038]在如下的權(quán)利要求中陳述本發(fā)明的各種不同特征和優(yōu)點(diǎn)。
【權(quán)利要求】
1.一種用于檢測車輛的系統(tǒng)，所述系統(tǒng)包括: 控制器，所述控制器被配置為: 從安裝在第一車輛上的攝像機(jī)接收圖像， 基于所述圖像來識(shí)別位于所述第一車輛周圍的第二車輛的表面， 產(chǎn)生與所述第二車輛相關(guān)聯(lián)的三維模型，所述三維模型包括第一平面和與所述第一平面大致垂直的第二平面，其中，所述第一平面與所述第二車輛的被識(shí)別的表面相關(guān)聯(lián)，并且在所述被識(shí)別的表面至少部分地落在至少一個(gè)所述攝像機(jī)的視場的外部之后，使用所述三維模型來跟蹤所述第二車輛的位置。
2.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器進(jìn)一步被配置為從安裝在所述第一車輛上的至少一個(gè)雷達(dá)傳感器接收數(shù)據(jù)。
3.如權(quán)利要求1所述的系統(tǒng)，其中，所述第二車輛的所述表面是所述第二車輛的后表面。
4.如權(quán)利要求1所述的系統(tǒng)，其中，所述第二車輛的所述表面是所述第二車輛的側(cè)表面。
5.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器被配置為基于從所述圖像提取的特征來識(shí)別所述第二車輛的所述表面。
6.如權(quán)利要求6所述的系統(tǒng)，其中，所述控制器被配置為通過以下操作來跟蹤所述第二車輛的位置: 從至少一個(gè)所述攝像機(jī)接收更新的圖像， 從所述更新的圖像提取特征， 確定所提取的特征是否匹配所述三維模型的所述第一平面， 當(dāng)所提取的特征不匹配所述三維模型的所述第一平面時(shí)，確定所提取的特征是否匹配所述三維模型的所述第二平面，并且 當(dāng)所提取的特征匹配所述三維模型的所述第二平面時(shí)，基于所提取的特征來更新所述三維模型。
7.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器被配置為通過以下操作來產(chǎn)生所述三維模型: 基于所述第二車輛的所述被識(shí)別的表面的特點(diǎn)來將所述第二車輛分類到車輛類別中，定義代表所述第二車輛的所述被識(shí)別的表面的邊界框，其中，所述邊界框的大小是基于所述第二車輛的所述車輛類別的，以及 將所述邊界框設(shè)定為所述三維模型的所述第一表面。
8.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器被配置為通過以下操作來識(shí)別所述第二車輛的所述表面: 檢測所述圖像中的運(yùn)動(dòng)， 基于所檢測的運(yùn)動(dòng)來從所述圖像提取特征， 基于所提取的特征來產(chǎn)生表面，以及 將所述表面與至少一個(gè)車輛模型的側(cè)表面進(jìn)行比較。
9.如權(quán)利要求1所述的系統(tǒng)，其中，至少一個(gè)所述攝像機(jī)被安裝在所述第一車輛的前部。
10.如權(quán)利要求1所述的系統(tǒng)，其中，所述控制器被進(jìn)一步地配置為基于所述第二車輛的被跟蹤的位置來執(zhí)行至少一個(gè)自動(dòng)車輛控制操作。
11.如權(quán)利要求10所述的系統(tǒng)，其中，所述至少一個(gè)自動(dòng)車輛控制操作包括自適應(yīng)巡航控制和前方碰撞預(yù)警中的至少一個(gè)。
12.一種用于檢測車輛的方法，所述方法包括: 在至少一個(gè)控制器處從安裝在第一車輛上的至少一個(gè)攝像機(jī)接收圖像； 由所述至少一個(gè)控制器基于所述圖像來檢測位于所述第一車輛周圍的第二車輛的表面； 由所述至少一個(gè)控制器產(chǎn)生表示所述第二車輛的三維模型，所述三維模型包括第一平面和與所述第一平面大致垂直的第二平面，其中，所述第一平面表示所述第二車輛的被識(shí)另IJ的表面；以及 在所述第二車輛的所述被識(shí)別的表面至少部分地落入到所述至少一個(gè)攝像機(jī)的視場的外部之后，由所述至少一個(gè)控制器使用所述模型和來自所述至少一個(gè)攝像機(jī)的更新數(shù)據(jù)來確定所述第二車輛的位置。
13.如權(quán)利要求12所述的方法，其中，檢測第二車輛的表面包括檢測第二車輛的后表面。
14.如權(quán)利要求12所述的方法，其中，檢測所述第二車輛的表面包括檢測第二車輛的側(cè)表面。
15.如權(quán)利要求12所述的方法，其中，確定所述第二車輛的位置包括: 從所述至少一個(gè)攝像機(jī)接收更新的圖像； 從所述更新的圖像提取特征； 確定所提取的特征是否匹配所述三維模型的所述第一平面； 當(dāng)所提取的特征不匹配所述三維模型的所述第一平面時(shí)，確定所提取的特征是否匹配所述三維模型的所述第二平面；以及 當(dāng)所提取的特征匹配所述三維模型的所述第二平面時(shí)，基于所提取的特征來更新所述三維模型。
16.如權(quán)利要求12所述的方法，其中，產(chǎn)生三維模型包括: 基于所述第二車輛的所述被識(shí)別的表面的特點(diǎn)來將所述第二車輛分類到車輛類別中，定義代表所述第二車輛的所述被識(shí)別的表面的邊界框，其中，所述邊界框的大小是基于所述第二車輛的所述車輛類別的，并且 將所述邊界框設(shè)定為所述三維模型的所述第一平面。
17.如權(quán)利要求12所述的方法，其中，檢測第二車輛的表面包括: 檢測所述圖像中的運(yùn)動(dòng)； 基于所檢測的運(yùn)動(dòng)從所述圖像提取特征； 基于所提取的特征來產(chǎn)生表面；并且 將所述表面與至少一個(gè)車輛模型的側(cè)表面進(jìn)行比較。
18.如權(quán)利要求12所述的方法，還包括:基于所述第二車輛的所述位置來執(zhí)行至少一個(gè)自動(dòng)車輛控制操作。
19.如權(quán)利要求12所述的方法，還包括:將所述第二車輛的所述位置傳送給自動(dòng)巡航控制系統(tǒng)和前方碰撞預(yù)警系統(tǒng)中的至少一個(gè)。
【文檔編號(hào)】G01S15/93GK104321665SQ201380017291
【公開日】2015年1月28日 申請日期:2013年3月26日 優(yōu)先權(quán)日:2012年3月26日
【發(fā)明者】Y·羅, X·朱 申請人:羅伯特·博世有限公司