專利名稱：物體檢測裝置和檢測物體的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種物體檢測裝置和檢測物體的方法，其結(jié)合雷達裝置及 成像裝置的檢測結(jié)果#測物體。
背景技術(shù)：
近年來，已開發(fā)出了諸如碰撞減少裝置、自適應(yīng)巡航控制裝置以及 車輛跟馳裝置之類的駕駛輔助裝置。在這些駕駛輔助裝置中，對宿主車 輛前方的車輛的檢測是至關(guān)重要的。為了提高檢測的準確性，某些物體 檢測裝置具有諸如亳米波雷達之類的雷達裝置和諸如立體攝像機之類 的成像裝置。在具有雷達裝置和成像裝置的物體檢測裝置中，雷達裝置 檢測物體的位置(距離)，成像裝置檢測物體的尺寸(例如，參見曰本
專利申請公報No. JP-A-2001-134769 )。在具有雷達裝置和成像裝置的 物體檢測裝置中，將基于雷達信息檢測到的雷達檢出物體與基于圖像信 息檢測到的圖像檢出物體進行比較并且判定雷達檢出物體與圖像檢出 物體是否相同。如果判定出所述物體是相同物體，則所述物體被設(shè)定為 檢出物體(融合物體)-例如宿主車輛前方的車輛(例如，參見日本專 利申請7〉凈艮No. JP畫A-2004國117071 )。
當(dāng)設(shè)定了新的融合物體時，與前次記錄的融合物體進行一致性比 較，如果具有一致性，則更新該融合物體信息。然而，如果不具有一致 性，則重新記錄該新的融合物體，并且立即刪除不具有一致性的之前的 融合物體。
然而，如果由諸如立體攝像機之類的成像裝置獲取的圖像由于光線 接收條件(例如傍晚或有陰影)而變得不穩(wěn)定，即便物體存在(并且由 雷達檢測到)，圖像檢測物體也經(jīng)常瞬時消失(未檢測到)。通常情況下， 當(dāng)發(fā)生這種瞬時圖像消失時，不具有一致性的前次的物體被立即刪除并 且反復(fù)地更新、刪除、更新融合物體，使得不能正確地更新物體的尺寸。 因此，通過使用融合物體的歷史信息(連續(xù)檢測率)算出的信息的可靠 性可能不同于實際情況。例如當(dāng)前方車輛與路上的白線瞬時重疊時，或 者當(dāng)兩個或更多個前方車輛瞬時重疊時，可能會對融合物體進行不正確
的更新，從而使圖像檢出物體的寬度由于顯得過寬而被錯誤地刪除。

發(fā)明內(nèi)容
本發(fā)明提供一種物體檢測裝置和檢測物體的方法，即〗更在來自于成像 裝置的瞬時不穩(wěn)定結(jié)果而不能正確地獲得融合物體的尺寸信息時，所述物 體檢測裝置和檢測物體的方法也能夠適當(dāng)?shù)馗氯诤衔矬w。
根據(jù)本發(fā)明第一個方面的物體檢測裝置具有雷達裝置，其檢測物 體的位置；成像裝置，其檢測物體的位置和尺寸；融合處理裝置，其在 雷達裝置和成像裝置的檢測結(jié)果滿足預(yù)定融合條件時融合由雷達裝置 檢測到的物體和由成像裝置檢測到的物體以生成具有位置信息和尺寸 信息的融合物體。該融合處理裝置具有更新裝置，如果來自成像裝置的 檢測結(jié)果相對于來自雷達裝置的檢測結(jié)果不滿足融合條件，則該更新裝 置通過基于之前獲得的融合物體的尺寸信息進行插值而生成臨時融合 物體并且將之前獲得的融合物體更新成該臨時融合物體。
根據(jù)本發(fā)明第一個方面的物體檢測裝置，即便由于成像裝置因檢測 不到圖像或誤檢了圖像而使得來自成像裝置的瞬時不穩(wěn)定檢測結(jié)果而 不能正確地獲得尺寸信息，在假定來自成像裝置的檢測結(jié)果錯誤并且之 前檢測到的物體仍然存在的情況下，雷達裝置也可以檢測到生成的融合 物體。而且，考慮到尺寸信息的可靠性降低，通過生成臨時融合物體一一 該臨時融合物體具有通過基于之前獲得的融合物體的尺寸信息進行插 值而獲得的尺寸信息——能夠在使無法正確地獲得尺寸信息的影響最 小化的情況下更新融合物體。
在本發(fā)明第一個方面的物體檢測裝置中，隨著時間的流逝，當(dāng)來自 成像裝置的檢測結(jié)果相對于來自雷達裝置的檢測結(jié)果不滿足融合條件 時，更新裝置可改變臨時融合物體的尺寸信息以使臨時融合物體的尺寸 信息偏離與之前獲得的融合物體的尺寸信息接近的值。
根據(jù)本發(fā)明第一個方面的物體檢測裝置，因為隨著時間的流逝，當(dāng) 來自成像裝置的檢測結(jié)果相對來自雷達裝置的檢測結(jié)果而言不滿足融 合條件時，改變通過插值獲取的臨時融合物體的尺寸信息以使其偏離與 之前獲得的融合物體的尺寸信息接近的值，所以能夠減小隨著時間的經(jīng) 過尺寸信息的可靠性的減小的影響程度。
在本發(fā)明第一個方面的物體檢測裝置中，隨著時間的流逝，更新裝 置非線性地增大臨時融合物體的尺寸信息的變化量。
根據(jù)本發(fā)明第一個方面的物體檢測裝置，因為臨時融合物體的尺寸 信息的變化量非線性地增大，所以當(dāng)成像裝置在提供瞬時不穩(wěn)定檢測結(jié) 果之后而再次提供正常檢測結(jié)果時，根據(jù)插值過程中的預(yù)測結(jié)果便于恢 復(fù)為初始融合物體。另外，當(dāng)與預(yù)測結(jié)果相反一一即來自雷達裝置的檢 測結(jié)果錯誤而來自成像裝置的檢測結(jié)果正確時，在插值過程中可以減小 錯誤信息對后續(xù)階段邏輯處理的影響。


通過下文中結(jié)合附圖對示例性實施方式的描述，本發(fā)明的上述以及 其它目的、特征和優(yōu)點將變得顯而易見，附圖中相同的附圖標(biāo)記用于表
示相同的元件，其中
圖1示出了根據(jù)本發(fā)明實施方式的碰撞減少裝置的構(gòu)造；
圖2是示出相對于雷達物體設(shè)定的搜索區(qū)域的示例的示意圖3A、圖3B和圖3C分別是示出在多個圖像物體存在于搜索區(qū)域 內(nèi)的情況下插值操作和融合物體生成的示例的示意圖4是示出融合邏輯部件進行的實際搜索操作的示例的示意圖5是示出在融合邏輯部件進行搜索操作及融合物體生成之后的狀 態(tài)的示意圖6是示出消失次數(shù)與系數(shù)值之間特性關(guān)系的圖表；
圖7A、圖7B、圖7C和圖7D是按時間順序示出在各種次數(shù)的圖 像消失的情形下融合物體生成的示例的示意圖；以及
圖8是示出本發(fā)明實施方式中的融合物體操作的流程的簡化流程圖。
具體實施例方式
下面參照附圖描述根據(jù)本發(fā)明的物體檢測裝置的示例性實施方式。
該實施方式是本發(fā)明的物體檢測裝置在安裝于車輛("宿主車輛")上的 碰撞減少裝置上的應(yīng)用的一個示例。該實施方式的碰撞減少裝置將宿主 車輛前方的車輛("前方車輛")作為檢測目標(biāo)進行檢測并執(zhí)行各種控制 以防止或減少與前方車輛的碰撞。具體而言，該實施方式的碰撞減少裝 置具有兩個傳感器、毫米波雷達以及立體攝《象機，所述傳感器、亳米波 雷達以及立體攝像機通過將毫米波雷達檢測到的物體與立體攝〗象機檢 測到的物體進行比較來檢測前方車輛。
下面將參照圖1至圖8描述根據(jù)本發(fā)明實施方式的碰撞減少裝置1 。 圖1示出根據(jù)該實施方式的碰撞減少裝置1的構(gòu)造。碰撞減少裝置l檢 測前方車輛，并且當(dāng)檢測到前方車輛時根據(jù)發(fā)生碰撞的可能性執(zhí)行制動 控制、懸架控制、座椅安全帶控制以及警示信號控制。為了檢測前方車 輛，碰撞減少裝置1基于來自毫米波雷達的檢測信息設(shè)定雷達物體并基 于來自立體攝像機的立體圖像設(shè)定圖像物體，并且還通過比較雷達物體 和圖像物體而設(shè)定融合物體。
上述碰撞減少裝置l具有對應(yīng)于雷達裝置的實施方式的毫米波雷達 2、對應(yīng)于成像裝置的實施方式的立體攝像機3、制動ECU (電子控制 單元)4、懸架控制致動器5、座椅安全帶致動器6、蜂鳴器7以及碰撞 減少ECU10等，這些元件經(jīng)由CAN (控制器區(qū)域網(wǎng)絡(luò)； 一種標(biāo)準的車 載局域網(wǎng)規(guī)范)發(fā)送和接收各種信號。
首先來描述各種類型的物體。雷達物體是由亳米波雷達2檢測出的 物體。該雷達檢測到的距物體的距離以及物體的水平位置被設(shè)定為雷達 物體信息。圖像物體是由立體攝像機3檢測出的物體。立體攝《象機3檢 測到的距物體的距離以及水平位置(包括作為物體尺寸的物體寬度)被 設(shè)定為圖像物體信息。融合物體是雷達物體和圖像物體被確定為同 一物 體的物體，該融合物體是通過將在同 一搜索區(qū)域內(nèi)存在的滿足融合條件 的雷達物體和圖像物體融合在一起形成的物體。在融合物體中設(shè)定由雷 達物體與圖像物體的信息融合在一起的融合水平位置(包括作為尺寸信
息的水平寬度)和距雷達物體的距離。前方車輛的水平位置以宿主車輛 的中心位置作為參照位置，宿主車輛的中心位置被設(shè)定為零，宿主車輛 的中心位置右側(cè)的位置為正值，朝向宿主車輛的中心位置左側(cè)的為負 值。每個所述物體的位置可通過距離(位置信息)和水平位置(尺寸信 息)限定為相對于車輛位置的位置。相對速度等也可被設(shè)定為雷達物體 信息，并且深度、高度、高度位置以及相對速度等可被設(shè)定為圖像物體 信息。在這些情況下，其它信息也可被設(shè)定為融合物體信息。
在該實施方式中，響應(yīng)于下文將要描述的融合操作結(jié)果，除了上述 正常的融合物體之外，還將使用單獨雷達融合物體、單獨圖像融合物體 以及圖像消失融合物體。單獨雷達融合物體是不能與圖^^物體融合的單 獨雷達物體。單獨圖像融合物體是不能與雷達物體融合的單獨圖像物 體。圖像消失融合物體是在由于例如當(dāng)相對于已生成的融合物體更新圖 像時發(fā)生的圖像消失所致的不可能繼續(xù)融合時生成的物體。圖^^肖失融 合物體是臨時融合物體的示例。
亳米波雷達2通過使用亳米波來檢測物體。毫米波雷達2安裝在車 輛前部的中央位置。毫米波雷達2在水平面內(nèi)掃描毫米波，沿向前的方 向傳輸毫米波并接收經(jīng)過反射的毫米波。毫米波雷達2將傳輸出去的毫 米波數(shù)據(jù)和接收到的亳米波數(shù)據(jù)做為雷達信號發(fā)送給碰撞減少ECUIO。 所述傳輸出去和接收到的數(shù)據(jù)包括這樣的信息例如傳輸出去的毫米波 信息、關(guān)于是否可以接收到對應(yīng)于傳輸出去的毫米波的反射波的信息以 及來自反射波的任何接收到的信息。
立體攝像機3具有沿水平方向以預(yù)定距離分開的兩個電荷耦合裝置 式攝像機(CCD攝像機)。立體攝像機3安裝在車輛前部的中央位置。 立體攝像機3通過上述兩個CCD攝像機進行攝像并將左側(cè)和右側(cè)圖像 的數(shù)據(jù)發(fā)送給碰撞減少ECUIO。
制動ECU4調(diào)節(jié)四個車輪的輪缸的液壓從而控制四個車輪的制動 力。制動ECU4根據(jù)用于各個車輪的目標(biāo)制動力來設(shè)定用于各個車輪的 液壓控制信號，這些液壓控制信號被發(fā)送給制動控制致動器，所述制動 控制致動器改變各個車輪的輪釭液壓。具體而言，當(dāng)制動ECU4接收到 來自碰撞減少ECU10的用于各個車輪的目標(biāo)制動力信號時，制動ECU4 基于由目標(biāo)制動力信號指示的目標(biāo)制動力來設(shè)定各個車輪的液壓控制 信號。當(dāng)接收到液壓控制信號時，制動控制致動器根據(jù)壓力控制信號指 示的目標(biāo)液壓來改變輪缸的液壓。
懸架控制致動器5改變四個車輪處的主動式懸架的液壓。當(dāng)懸架控 制致動器5接收到來自碰撞減少ECU10的目標(biāo)阻尼力信號時，各個懸 架控制致動器基于由目標(biāo)阻尼力信號指示的目標(biāo)阻尼力設(shè)定目標(biāo)液壓
從而基于目標(biāo)液壓來改變主動式液壓懸架的液壓。盡管圖1中僅示出了
一個懸架控制致動器5,但實際上每個車輪處都設(shè)置有一個懸架控制致 動器。
座椅安全帶致動器6張緊各條座椅安全帶從而改變座椅安全帶的束 綽力。當(dāng)座椅安全帶致動器6接收到來自碰撞減少ECU10的用于各條 座椅安全帶的目標(biāo)張緊量信號時，座椅安全帶致動器6響應(yīng)于由目標(biāo)張 緊量信號指示的目標(biāo)張緊量而張緊所述座椅安全帶。盡管圖1中僅示出 了一個座椅安全帶致動器6，但是事實上每條座椅安全帶都設(shè)置有座椅 安全帶致動器6。當(dāng)蜂鳴器7接收到來自碰撞減少ECU10的才艮警信號 時，蜂鳴器7便發(fā)出蜂鳴聲音。
碰撞減少ECU10由諸如中央處理器(CPU)、只讀存儲器(ROM) 以及隨機存取存儲器(RAM)等元件形成，并且執(zhí)行碰撞減少裝置1 的總體控制。碰撞減少ECU10具有雷達物體設(shè)定器11、圖像物體設(shè)定 器12、融合邏輯部件13、存儲器14、碰撞預(yù)測器15、車輛控制器16 等。在基于CPU的主時鐘的每個時間段，碰撞減少ECU10獲取來自于 毫米波雷達2獲取雷達信號以及來自于立體攝像機3的圖像信號，并且 在每個預(yù)定時間段由雷達物體設(shè)定器11基于雷達信息執(zhí)行雷達物體設(shè) 定操作、由圖像物體設(shè)定器12基于立體圖像執(zhí)行圖像物體設(shè)定操作、 并由融合邏輯部件13基于設(shè)定的雷達物體和圖像物體執(zhí)行融合操作。 這樣一來，便能夠檢測出前方車輛，并能夠響應(yīng)于與前方車輛碰撞的可 能性而執(zhí)行對制動ECU4、懸架控制致動器5、座椅安全帶致動器6以 及蜂鳴器7的控制。
現(xiàn)在描述雷達物體設(shè)定器11。碰撞減少ECU10基于從發(fā)射到接收 毫米波的時間計算與前方物體之間的距離。在由亳米波雷達2檢測物體 時，由于在接收到具有高于預(yù)定閾值的強度的反射毫米波時便檢測到了 物體，所以在接收到具有高于預(yù)定閾值的強度的反射毫米波時雷達物體 設(shè)定器ll便設(shè)定一個雷達物體。因為這樣一來可以根據(jù)由亳米波雷達2 進行的物體檢測而準確地檢測出與物體之間的距離，因此設(shè)定的雷達物 體的距離準確性非常高。
現(xiàn)在將描述圖像物體設(shè)定器12。圖像物體設(shè)定器12利用在左側(cè)立 體圖像和右側(cè)立體圖像之間物體的視覺變動通過三角測量來識別車輛 前方的物體，并在可以識別出物體時設(shè)定圖像物體。當(dāng)設(shè)定了圖像物體
時，圖像物體設(shè)定器12基于所述立體圖像計算立體攝像機3與物體之 間的距離以及物體的水平位置。該距離和位置構(gòu)成圖像物體信息。具體 而言，該位置信息是包括物體的水平寬度并表示由立體攝像機3檢測到 的物體沿水平方向的范圍的信息。由于立體攝像機3在可以根據(jù)左側(cè)立 體圖像和右側(cè)立體圖像識別出物體時便進行物體識別，因此在每次識別 出物體時圖像物體設(shè)定器12便設(shè)定一個圖像物體。
現(xiàn)在描述作為具有更新裝置的融合處理裝置的融合邏輯部件13。融 合邏輯部件13在每一給定時間段內(nèi)便周期性地執(zhí)行物體搜索操作和融 合物體生成操作。首先，當(dāng)雷達物體設(shè)定器11檢測到雷達物體時，如 圖2所示，融合邏輯部件13將相對于中心位置沿縱向為士L沿橫向為 土W的搜索區(qū)域SA設(shè)定為融合條件，其中將設(shè)定的雷達物體的距離和 水平位置作為該中心位置。圖2示出了相對于該雷達物體設(shè)定的搜索區(qū) 域的示例。諸如SA之類的搜索區(qū)域基于諸如車輛平均尺寸之類的因素 預(yù)先建立并保存在存儲器14中?；谟蓤D像物體設(shè)定器12檢測到的圖 像物體，融合邏輯部件13判定在搜索區(qū)域SA內(nèi)在圖像物體的位置處(距 離和水平位置)是否存在物體。如果搜索區(qū)域SA內(nèi)存在圖像物體，則
融合邏輯部件13判定雷達物體與圖像物體之間存在相似性并判定雷達 物體與圖像物體是同一物體。
如果判定出雷達物體與圖像物體是同一物體，則融合邏輯部件13 通過融合雷達物體信息與相應(yīng)的圖像物體信息而生成融合物體。雷達物 體的距離被設(shè)定為用作融合物體信息的距離。雷達物體的水平位置以及 多個圖像物體的具有左邊緣和右邊緣的一個水平位置被設(shè)定為融合物 體的信息的水平位置。因此，水平位置是包括物體水平寬度的信息，并 且是毫米波雷達2和立體攝像機3能夠檢測物體的最寬的水平方向范 圍。
如圖2所示，搜索區(qū)域被設(shè)定為以雷達物體MP為中心，并且一個 圖像物體IP存在于搜索區(qū)域SA內(nèi)。在圖2中，例如，雷達物體用X 表示，圖像物體用H表示，并且融合物體用方框表示。H表示圖像物 體，并且方框表示融合物體，融合物體由水平長度和水平寬度表示，水 平寬度設(shè)定在圖像物體和融合物體中。因此，在圖2的示例中，雷達物 體MP和圖像物體IP是滿足融合條件的同一檢測物體，并且融合物體 FP通過使圖像物體IP的水平寬度與雷達物體MP的中心位置重合而進
行設(shè)定，如箭頭所示。在這種情況下，因為融合物體基于雷達物體而生 成，所以雷達物體標(biāo)號不變地用作融合物體標(biāo)號歷史控制，以^更用于追 蹤融合物體。
而且，在多個圖像物體存在于搜索區(qū)域SA內(nèi)的情況下，多個圖像 物體被判定為與雷達物體相同。圖3A、圖3B和圖3C是示出了多個圖 像物體存在于搜索區(qū)域內(nèi)時插值操作和融合物體生成的示例的示意圖。 因為立體攝像機3檢測豎向邊緣圖像，所以可能會出現(xiàn)例如圖3A所示 的情況，即，檢測到位于搜索區(qū)域SA內(nèi)的一個物體的兩個邊緣從而檢 測出所包含的多個圖像物體IPa和IPb。為了處理這種情況下，在生成 融合物體之前，執(zhí)行插值操作以獲取圖像物體IPa和IPb的最大寬度， 如圖3B所示，從而生成單個經(jīng)過插值的圖像物體IPab，融合物體FPab 通過采用插值的圖像物體IPab而生成，如圖3C所示。
圖4是示出了由融合邏輯部件13進行的實際搜索操作的示例的示 意圖。圖4中示出的情形是作為操作對象的雷達物體MP2被i殳定在宿 主車輛OV前方的車輛FV后部，圖像物體IP!存在于使用雷達物體MP2 作為基準的搜索區(qū)域SA2內(nèi)，從而滿足融合條件并設(shè)定融合物體FP2。 下標(biāo)標(biāo)號表示各個物體的物體標(biāo)號，并且融合物體標(biāo)號用雷達物體標(biāo)號
控制。其它雷達物體MPp MP3、 MP4以及圖像物體IP2、 IP3等表示當(dāng) 以雷達物體MP2作為基準時不滿足融合條件的示例。
圖5是示出相對于圖4所示情形由融合邏輯部件13進行的搜索操 作和融合物體生成之后的狀態(tài)的示意圖。如上所述，除了設(shè)定融合物體 FP2之外，還相對于雷達物體MP^ MP3、 MP4分別設(shè)定了單獨雷達融 合物體FMPp FMP3、 FMP4，并且相對于圖像物體IP18、 IPw分別設(shè) 定了單獨圖像融合物體FIPw、 FIP^(物體標(biāo)號根據(jù)預(yù)定規(guī)則分配)，所 有這些都輸出給碰撞預(yù)測器15并被適當(dāng)?shù)乩谩?br> 現(xiàn)在描述一旦生成融合物體，當(dāng)進行圖像更新時(融合搜索操作時) 進行隨后的融合條件判定時，盡管亳米波雷達2能檢測到物體但立體攝 像機3檢測不到物體的情況下(未檢測到的情況)具有融合邏輯部件13 的更新裝置進行的更新操作。當(dāng)亳米波雷達2的檢測結(jié)果產(chǎn)生錯誤并且 實際物體不存在時，這種情況就可能發(fā)生，例如經(jīng)常發(fā)生的是，由于受 到光線接收條件的影響(例如傍晚或因為陰影)，在立體攝像機3側(cè)存 在圖像檢出物體瞬時消失(未檢測到)的現(xiàn)象。
考慮到上述問題，在該實施方式中，在這些情況下，通過賦予來自
亳米波雷達2的具有高度檢測準確性的檢測結(jié)果以優(yōu)先權(quán)而進行預(yù)測， 其中來自立體攝像機3的檢測結(jié)果存在瞬時誤差并且來自前次的圖像物 體存在，圖像消失融合物體(臨時融合物體)通過基于之前獲得的融合 物體的尺寸信息所進行的插值預(yù)測而生成，從而使得在預(yù)定時間段(預(yù) 定次數(shù)內(nèi))內(nèi)的上次的相應(yīng)的融合物體的更新得以連續(xù)進行。在進行這 種操作的過程中，由于圖像消失融合物體是在沒有檢測到具有尺寸信息 的圖像物體的情況下生成的，使得至少尺寸信息的可靠性減小，所以通
平寬度之類的尺寸信息相對于來自前次的相應(yīng)的融合物體的尺寸信息 減小了。
可能生成圖像消失融合物體的次數(shù)被限制到例如五次連續(xù)圖像消 失，并且如果超出該連續(xù)生成次數(shù)，則判定來自立體攝像機3的檢測結(jié) 果是正確的并且圖像物體實際上不存在。因為圖像消失持續(xù)的越長(圖 像消失的時間越長)圖像物體的尺寸信息便減小，設(shè)定在圖像消失融合 物體中的尺寸信息隨著時間的流逝而減小，從而自接近原始融合物體的 尺寸信息的值偏離(沿尺寸信息減小的方向)。具體而言，在該實施方 式中，如圖6所示，用于確定設(shè)定在所生成的圖像消失融合物體中的尺 寸信息的系數(shù)值隨著圖像消失的次數(shù)的增加而迅速減小，圖像消失的次 數(shù)表示時間的流逝，使得縮減量以非線性方式減小。圖6是示出了消失 次數(shù)與系數(shù)值之間特性關(guān)系的圖表，在這種情況下設(shè)定為使得非線性地 增大縮減量。如圖6中以虛線所示，也可響應(yīng)于圖像消失的次數(shù)而以線 性方式減小系數(shù)值。
現(xiàn)在將參照圖7A — 7D描述伴隨著圖像更新而生成圖像消失融合物 體的示例。圖7提供了其中示出各種圖像消失次數(shù)的情況下融合物體生 成的示例的時序圖。首先，在圖7A中，圖像更新幀0是被用作基準的 前提條件，雷達物體MP和圖像物體IP的檢測結(jié)果存在于搜索區(qū)域內(nèi)， 從而滿足融合條件，使得所需的對圖像物體IP的插值操作被用于生成 經(jīng)過插值的圖像物體IP，并將經(jīng)過插值的圖像物體IP，與雷達信息MP相 融合，從而生成融合物體FP。通常，圖像更新幀的0狀態(tài)在每次圖像 更新時會被重復(fù)，直至檢測不到物體。
在圖7B中，處于接下來的更新判定過程中的圖像更新幀1示出盡
管雷達物體MP仍然持續(xù)存在但是圖像物體IP消失的情況。此時，如 果雷達物體MP之前并不是單獨雷達融合物體，融合邏輯部件13便訪 問存儲在存儲器14中的表格，將圖像更新幀0的過程中為融合物體FP 獲取的尺寸信息乘以預(yù)定系數(shù)(例如0.95)，從而生成通過尺寸信息預(yù) 測的經(jīng)過插值的圖像物體LIPi (該下標(biāo)表示圖像消失的次數(shù))，具有該 尺寸信息的經(jīng)過插值的圖像物體LI^與雷達物體MP位置相融合從而 生成圖像消失融合物體LFR (該融合物體的下標(biāo)表示圖像消失的次 數(shù))，從而使得將圖像更新幀O的融合物體FP更新成圖像更新幀1中的 圖像消失融合物體LFPla
圖7C示出圖像更新幀2的情形，該情形是處于當(dāng)更多的時間流逝 之后的更新判定過程，在該過程中雷達物體MP按照原樣持續(xù)存在，但 是圖像物體IP消失，如圖中以虛線所示。此時，如果雷達物體MP在 前次更新時不是單獨雷達融合物體，融合邏輯部件13便訪問存儲在存 儲器14中的表格，將在圖像更新幀0的過程中為融合物體FP獲取的尺 寸信息與預(yù)定系數(shù)(例如0.9 )相乘，從而生成經(jīng)過插值的圖像物體LIP2 并使具有該尺寸信息的經(jīng)過插值的圖像物體LIP2與雷達物體MP位置 相融合從而生成圖像消失融合物體LFP2，進而將圖像更新幀0中的融 合物體FP更新成圖像更新幀1中的圖像消失融合物體LFP2。
圖7D示出進一步經(jīng)過一些時間的情形，例如處于進行更新判定時 圖像更新幀4時，這時盡管雷達物體MP按照原樣持續(xù)存在，但是圖像 物體IP仍然消失，如圖中以虛線所示。此時，如果雷達物體MP在前 一次不是單獨雷達融合物體，融合邏輯部件13 1更訪問存儲在存儲器14 中的表格，將在圖像更新幀0的過程中為融合物體FP獲取的尺寸信息 與預(yù)定系數(shù)(例如0.4)相乘，從而生成經(jīng)過插值的圖像物體LIP4，具 有該尺寸信息的經(jīng)過插值的圖像物體LIP4與雷達物體MP位置相融合 從而生成圖像消失融合物體LFP4，進而將圖像更新幀0中的融合物體 FP更新成圖像更新幀4中的圖像消失融合物體LFP4。
通過執(zhí)行以這種方式生成圖像消失融合物體的操作，當(dāng)?shù)谝淮位虻?二次消失圖像時，如果根據(jù)預(yù)測得知立體攝像機3使圖像出現(xiàn)瞬時消失， 假如隨后恢復(fù)到立體攝像機3的正常檢測結(jié)果，則可以迅速恢復(fù)到初始 融合物體GP狀態(tài)并執(zhí)行更新。例如，在圖像更新幀2中的圖像物體IP 以適當(dāng)方式獲得的情況下，可以從圖7B中示出的圖像消失融合物體LFPi迅速地恢復(fù)到圖7A中示出的融合物體FP。以相同的方式，在圖 像更新幀3中的圖像物體IP以適當(dāng)方式獲得的情況下，可以經(jīng)由圖7C 中示出的圖像消失融合物體LFP2和圖7B中示出的圖像消失融合物體 LFPi迅速地恢復(fù)到圖7A中示出的融合物體FP。特別地，如果圖像消 失的次數(shù)是1次或兩次，由于在假設(shè)起始圖像物體IP的圖像物體信息 的可靠性比較高的情況下將尺寸信息的減小量抑制到低水平，因此可以 在圖像消失融合物體LF^和LFP2之間執(zhí)行過渡，而不會產(chǎn)生不自然的 感覺。
相比之下，如果圖像消失持續(xù)4到5次，則與所估測的情況相反， 來自立體攝像機3的檢測結(jié)果(沒檢測到圖像)是正確的，并且很有可 能是亳米波雷達2的檢測存在錯誤。在這種情況下，由于根據(jù)初始圖像 物體IP假設(shè)的圖像物體信息的可靠性非常低，尺寸信息的減少量以非 線性方式增大，因此圖像消失融合物體LFP4幾乎沒有水平寬度值。因 此，可以減小錯誤信息對后續(xù)階段邏輯處理的影響。
現(xiàn)在描述碰撞預(yù)測器15。當(dāng)融合邏輯部件13設(shè)定了融合物體(包 括圖像消失融合物體)時，在這種情況下存在前方車輛，碰撞預(yù)測器15 在考慮車輛速度的情況下基于設(shè)定在所述融合物體中的與前方車輛之 間的距離來分級設(shè)定碰撞可能性的級別(可能性高、可能性低、或者沒 有可能性)。
當(dāng)由碰撞預(yù)測器15分級設(shè)定了碰撞可能性時，車輛控制器16可以 響應(yīng)于碰撞可能性的級別而控制例如懸架致動器5、座椅安全帶致動器 6和蜂鳴器7。
現(xiàn)在描述碰撞減少裝置1的操作。參照圖8中示出的流程圖來描述 融合邏輯部件13中的物體搜索操作和融合物體生成操作的流程，圖8 是示出了該實施方式中的操作流程的簡化流程圖。
毫米波雷達2在掃描的同時沿向前的方向傳輸亳米波,接收反射波， 并將傳輸出去及接收到的數(shù)據(jù)作為雷達信號發(fā)送給碰撞減少ECUIO。 立體攝像機3捕獲前方的圖像，因此將獲得的左側(cè)圖像和右側(cè)圖像作為 圖像信號發(fā)送給碰撞減少ECUIO。
除了接收來自亳米波雷達2的雷達信號，碰撞減少ECU10還接收
來自立體攝像機3的圖像信號。雷達物體設(shè)定器11在每個給定時間段 內(nèi)基于根據(jù)雷達信號的雷達信息設(shè)定雷達物體。圖像物體設(shè)定器12在
如下文將要描述的，融合邏輯部件13在每個給定時間段內(nèi)執(zhí)行物 體搜索操作和融合物體生成操作。首先，在每個給定時間段內(nèi)，獲取雷 達物體和圖像物體的信息(步驟S1)。此時，識別待作為操作對象的雷 達物體，基于雷達物體設(shè)定搜索區(qū)域，并且將圍繞雷達物體而存在于該 區(qū)域內(nèi)的其它雷達物體和圖像物體作為目標(biāo)。
接下來，通過比較基于作為目標(biāo)的雷達物體而獲得的雷達物體或圖 像物體(步驟S2),執(zhí)行操作以判定存在于搜索區(qū)域內(nèi)的雷達物體和圖 像物體是否因具有相似性而滿足融合條件(步驟S3 )。
在該判定操作中，如果沒有相似性(步驟S3的結(jié)果為"否")并且 不是單獨雷達物體(步驟S4的結(jié)果為"否")，則融合邏輯部件13輸出 單獨圖像融合物體(步驟S5)。同樣，如果沒有相似性(步驟S3的結(jié) 果為"否")并且是單獨雷達融合物體(步驟S4的結(jié)果為"是")，在這 種情況下前一次更新判定(更新幀)時雷達物體是單獨雷達融合物體(步 驟S6的結(jié)果為"是")，則再次更新成單獨雷達融合物體并由融合邏輯 部件13進行輸出(步驟S7)。由于融合物體標(biāo)號與雷達物體標(biāo)號相同， 并且融合物體的歷史以與雷達物體標(biāo)號相同的標(biāo)號管理，因此可以辨別 前一次更新時的雷達融合物體是單獨雷達融合物體還是融合物體。
如果融合條件滿足并且判定出具有相似性(步驟S3的結(jié)果為"是"), 在對圖像物體執(zhí)行所需的插值操作(步驟S8)之后，將雷達物體的信 息與圖像物體的信息融合起來以生成融合物體，該融合物體從融合邏輯 部件13輸出(步驟S9)。在這種情況下，步驟S8處的所需插值操作是 例如在圖3中示出的滿足融合條件的多個圖像物體的融合操作，或者是 在更新期間由于雷達物體和圖像物體之間的差別而進行的插值操作。在 步驟S9的操作中，通過查對物體標(biāo)號，可以辨別融合物體是新的融合 物體還是延續(xù)下來的待更新的融合物體。
另一方面，如果雷達物體滿足融合條件但是圖像物體不滿足融合條 件(步驟S3的結(jié)果為"否"，而步驟S4的結(jié)果為"是")，如果之前更 新判定(更新幀)時的雷達物體不是單獨雷達融合物體(步驟S6的結(jié)
果為"否")，則預(yù)測出之前更新判定時的物體是融合物體并且此時圖像
消失，此時圖像消失的次數(shù)被清點出來(步驟SIO)，并且在通過使用
相應(yīng)于圖像消失次數(shù)的插值系數(shù)對尺寸信息進行插值操作從而執(zhí)行用
于生成經(jīng)過插值的圖像物體的所需插值操作之后(步驟Sll),使雷達物
體的信息和經(jīng)過插值的圖像物體的信息相互融合以生成圖像消失融合
物體，該圖像消失融合物體由融合邏輯部件13輸出。該圖像消失融合 物體更新前次更新判定的融合物體。圖8中示出的操作對于雷達物體和 圖像物體的所有組合都以相同的方式執(zhí)行。
通過前述融合操作，如果設(shè)定了當(dāng)前的融合物體，則碰撞預(yù)測器15 基于設(shè)定給該融合物體的信息分級設(shè)定碰撞可能性的級別，并且車輛控 制器16響應(yīng)于碰撞可能性的級別而控制懸架致動器5、座椅安全帶致動 器6和蜂鳴器7。通過這種控制，在與前方車輛碰撞的可能性級別低時， 通過由座椅安全帶致動器6張緊座椅安全帶以及由蜂鳴器7發(fā)出蜂鳴聲 來通知駕駛員已靠近前方車輛。另外，如果與前方車輛碰撞的可能性級 別增高時，根據(jù)制動ECU4在自動制動力作用下進行減速，由懸架控制 致動器5調(diào)節(jié)懸架的硬度，通過由座椅安全帶致動器6進一步張緊座椅 安全帶來緊緊地束綽住乘客，并且從蜂鳴器7發(fā)出蜂鳴聲通知駕駛員宿 主車輛持續(xù)靠近前方車輛。
本發(fā)明不限于上述實施方式，可以在本發(fā)明的精神范圍內(nèi)采取各種 形式。
例如，盡管該實施方式中描述的是在安裝于車上的碰撞減少裝置上 的應(yīng)用，但是本發(fā)明也可以結(jié)合到其它駕駛輔助裝置或外圍監(jiān)控裝置 中，例如除了用作物體檢測裝置之外，本發(fā)明還可以應(yīng)用到自適應(yīng)巡航 控制裝置或車輛跟馳裝置上。并且，除了前方車輛之外，檢測對象還可 以是諸如行人或自行車之類的另一物體。此外，除了安裝在車上之外， 本發(fā)明還可以安裝在機器人等上。
雖然在上述實施方式中將亳米波雷達2用作雷達裝置，但是任何類 型的雷達均可使用。以相同的方式，雖然將立體攝像機3用作成像裝置， 但是也可以使用單鏡頭攝像機。
雖然作為示例描述了上述實施方式，其中在進行融合條件更新判定 時(圖像更新時)立體攝像機3的檢測結(jié)果相對亳米波雷達2而言不滿
足融合條件，但是不限制圖像消失(未檢出圖像)，例如，可應(yīng)用于下
述情形即，在前方車輛與路上的白線瞬時重疊的情況下或者幾個前方 車輛瞬時重疊的情況下錯誤地檢測出圖像檢出物體的寬度非常寬的結(jié) 果。在這些情況下，在來自立體攝像機3的檢測結(jié)果中，圖像物體的尺 寸信息非常大，使得不滿足融合條件，在這種情況下可改變該物體以使 得隨著時間的流逝偏離與融合物體的尺寸信息接近的值。特別地，期望 的是，待改變的尺寸信息的變化量隨著時間的流逝以非線性方式增大。 例如，如果某尺寸是初始融合物體尺寸的兩倍，則臨時融合物體的尺寸 信息可以變化為初始融合物體的尺寸信息的1.05倍、1.1倍、1.3倍、1.6 倍以及2.0倍。
雖然在該示例性實施方式中通過比較雷達物體和圖像物體來判定是否 滿足融合條件，但是本發(fā)明不限于此。例如，如果前窗玻璃刮水器或光源 被攝像并且判定出不能根據(jù)圖像信息檢測出物體，則僅根據(jù)圖像信息判定 出不滿足融合*。
權(quán)利要求
1. 一種物體檢測裝置，包括雷達裝置，其用于檢測物體的位置信息；成像裝置，其用于檢測物體的位置和尺寸信息；融合處理裝置，其用于在所述雷達裝置和所述成像裝置的檢測結(jié)果滿足預(yù)定融合條件時融合由所述雷達裝置檢測到的物體和由所述成像裝置檢測到的物體以生成具有位置信息和尺寸信息的融合物體，其中，所述融合處理裝置包括更新裝置，當(dāng)來自所述成像裝置的檢測結(jié)果相對于來自所述雷達裝置的檢測結(jié)果不滿足所述融合條件時，所述更新裝置生成臨時融合物體并將之前獲得的融合物體更新成所述臨時融合物體，所述臨時融合物體具有通過基于所述之前獲得的融合物體的尺寸信息進行插值而獲得的尺寸信息。
2. 根據(jù)權(quán)利要求l所述的裝置，其中，隨著時間的流逝，在所述成像裝置的檢測結(jié)果相對于所述雷達裝置 的檢測結(jié)果不滿足所述融合條件的情況下，所述更新裝置改變通過插值 獲得的所述臨時融合物體的尺寸信息，以使所述臨時融合物體的尺寸信 息偏離與所述之前獲得的融合物體的尺寸信息接近的值。
3. 根據(jù)權(quán)利要求2所述的裝置，其中，所述更新裝置非線性地增大所述臨時融合物體的尺寸信息的變化量。
4. 根據(jù)權(quán)利要求2所述的裝置，其中，所述更新裝置使所述臨時融合物體的尺寸信息小于所述之前獲得 的融合物體的尺寸信息。
5. 根據(jù)權(quán)利要求2所述的裝置，其中，所述更新裝置生成的所述臨時融合物體具有比所述之前獲得的融 合物體的尺寸信息更大的尺寸信息。
6. 根據(jù)權(quán)利要求1至5中任一項所述的裝置，其中， 所述融合處理裝置基于由所述雷達裝置檢測到的物體的位置信息設(shè)定物體搜索區(qū)域，并且當(dāng)判定出基于由所述成像裝置檢測到的物體的位置和尺寸信息設(shè)定的圖像物體位置包含在所述搜索區(qū)域內(nèi)時，所述融 合處理裝置判定已經(jīng)滿足所述預(yù)定融合條件。
7. 根據(jù)權(quán)利要求1至6中任一項所述的裝置，還包括 碰撞預(yù)測器，其基于由所述融合處理裝置生成的融合物體的位置信息預(yù)測與前方另 一車輛碰撞的可能性。
8. —種檢測物體的方法，包括下列步驟 由雷達裝置接收物體的位置信息； 由成像裝置接收物體的位置和尺寸信息；以及 當(dāng)所述雷達裝置和所述成像裝置的檢測結(jié)果滿足預(yù)定融合條件時，融合由所述雷達裝置檢測到的物體和由所述成l象裝置檢測到的物體以 生成具有位置信息和尺寸信息的融合物體，以及當(dāng)所述成像裝置的檢測結(jié)果相對于所述雷達裝置的檢測結(jié)果不滿 足所述融合條件時生成臨時融合物體，所述臨時融合物體具有基于之前 獲得的融合物體的尺寸信息進行插值而獲得的尺寸信息，以及將所述之前獲得的融合物體更新成所述臨時融合物體。
9. 根據(jù)權(quán)利要求8所述的方法，其中，在生成所述臨時融合物體的步驟中，隨著時間的流逝，在所述成像 裝置的檢測結(jié)果相對于所述雷達裝置的檢測結(jié)果不滿足所述融合條件 的情況下，將通過插值獲得的所述臨時融合物體的尺寸信息設(shè)定為偏離 與所述之前獲得的融合物體的尺寸信息接近的值。
全文摘要
一種物體檢測裝置，包括雷達裝置，其檢測物體的位置信息；成像裝置，其檢測物體的位置和尺寸；融合處理裝置，其在所述雷達裝置和所述成像裝置的檢測結(jié)果滿足預(yù)定融合條件時融合由所述雷達裝置檢測到的物體和由所述成像裝置檢測到的物體以生成具有位置信息和尺寸信息的融合物體。如果所述成像裝置的檢測結(jié)果相對于所述雷達的檢測結(jié)果不滿足所述融合條件，則生成臨時融合物體。
文檔編號G01S13/86GK101389977SQ200780006367
公開日2009年3月18日 申請日期2007年2月23日 優(yōu)先權(quán)日2006年2月24日
發(fā)明者土田淳, 所節(jié)夫 申請人:豐田自動車株式會社