專利名稱：車輛的周圍監(jiān)測裝置的制作方法
技術領域：
本發(fā)明涉及一種對車輛的周圍進行監(jiān)測以識別存在于車輛周邊的自行車。
背景技術：
現(xiàn)有技術中有一種通過照相機對車輛的周圍進行拍攝從而識別出存在于該車輛周圍的物體的方法。例如，在日本發(fā)明專利公開公報特開2005-165422號(專利文獻1)中記載有這樣一種方法，即，識別出存在于本車前方的自行車等的物體，并確定該自行車的騎乘者的視線方向，在該騎乘者的視線方向未朝向本車時，發(fā)出警報。
現(xiàn)有技術文獻 專利文獻 專利文獻1 日本發(fā)明專利公開公報特開2005-165422號

發(fā)明內容
發(fā)明所要解決的技術問題 與車輛有可能產(chǎn)生接觸的對象物不僅有行人，還包括自行車。自行車一般是行駛在車行道上的，因而，自行車的存在有可能對自身車輛的行駛帶來影響。所以，最好是能夠將自行車與其他物體區(qū)別出來，使本車的駕駛員能夠獲知。在上述專利文獻1中，雖然記載了將自行車作為對象物識別出來，但是并沒有記載具體的識別方法，并且也沒有得出這樣的方法的任何啟示。
因而，本發(fā)明的目的在于提供一種從拍攝到的圖像中判別出自行車的方法。
解決技術問題的技術方案 本發(fā)明涉及一種車輛周圍監(jiān)測裝置，其配備在車輛上，用于識別出位于車輛周圍的、由騎乘者騎乘的自行車。該車輛周圍監(jiān)測裝置對所述車輛的周圍進行拍攝并取得拍攝圖像，該拍攝圖像中的輝度值由對象物的溫度決定。并且，從所述拍攝圖像中提取出輝度值比背景溫度高出規(guī)定值以上的圖像區(qū)域。如果從被提取出的該圖像區(qū)域中檢測出了下述的一對第1對象物部分，并且在該一對對象物部分之間存在下述的第2對象物部分的話，則將包含該一對第1對象物部分與第2對象物部分的對象物判定為自行車。所述一對第1對象物部分各自的豎直方向上的長度比水平方向上的寬度大，并且，一個第1對象物部分與另一個第1對象物部分之間在水平方向上的距離處于規(guī)定值以下。所述第2對象物部分具有不同于所述第1對象物部分的輝度，并且在豎直方向上具有規(guī)定值以上的長度。
采用本發(fā)明，能夠根據(jù)拍攝圖像上的對象物的形狀與配置判斷是否為自行車。艮口， 如果檢測出上述的一對第1對象物部分，并且在該一對第1對象物部分之間存在上述第2 對象物部分，則說明檢測到了兩條腿并且在兩條腿之間存在自行車的車輪，因而可以判斷該對象物為自行車。如此，能夠使駕駛員意識到在車輛周圍存在自行車。另外，由于是根據(jù)形狀與配置進行的判斷，所以使用一個圖像即可完成判斷，不需要用多個圖像進行時間跟蹤，從而能夠降低自行車判定的圖像所需要的處理時間以及計算負擔。
3 關于本發(fā)明的其他特征以及優(yōu)點將在下面詳細說明。


圖1為表示本發(fā)明的一個實施方式的周圍監(jiān)測裝置的結構的框圖； 圖2為為了說明本發(fā)明一個實施方式的照相機的安裝位置的附圖； 圖3為表示本發(fā)明的一個實施方式的圖像處理單元中的程序的流程圖； 圖4為為了說明本發(fā)明一個實施方式的、對游程編碼數(shù)據(jù)進行變換處理以及附帶標簽處理的附圖； 圖5為表示本發(fā)明一個實施方式的真實空間坐標系與圖像坐標系的附圖； 圖6用于說明本發(fā)明一個實施方式的相對移動矢量的計算方法； 圖7表示的是本發(fā)明一個實施方式的車輛前方區(qū)域的劃分； 圖8為用于說明本發(fā)明一個實施方式的自行車判定原理的附圖； 圖9為本發(fā)明一個實施方式的自行車判定程序的流程圖； 圖10為用于說明本發(fā)明一個實施方式的自行車判定程序的附圖； 圖11為本發(fā)明一個實施方式的警報輸出的一個例子的說明圖。
具體實施例方式下面參照附圖對本發(fā)明的具體實施方式
進行說明。
圖為表示本發(fā)明一個實施方式的車輛的周圍監(jiān)測裝置的結構的框圖。該裝置配備在車輛上，具有能夠檢測出遠紅外線的兩個紅外線照相機IR與1L、檢測車輛的偏航角速度的偏航角速度傳感器5、用于檢測剎車的操作量的制動傳感器7、用于根據(jù)由照相機IR與 IL拍攝到的圖像數(shù)據(jù)檢測車輛前方的對象物的圖像處理單元2、根據(jù)該圖像處理單元2的檢測結果而產(chǎn)生聲音警報的揚聲器3、平視顯示器4。其中，平視顯示器4顯示由照相機IR 或IL而得到的圖像，并且進行規(guī)定的顯示以使駕駛員能夠認識到被識別到碰撞可能性較高的對象物，在下面將該平視顯示器4稱為HUD4。
如圖2所示，照相機IR與IL配置在車輛10的前部，并且相對于通過車輛的中心的中心軸互相對稱。兩個照相機IR與IL固定在車輛上，二者的光軸互相平行，并且二者距地面的高度相等。紅外線照相機IR與IL具有對象物的溫度越高其輸出信號的等級也越高 (艮口，拍攝的圖像的輝度較大)的特性。
圖像處理單元2具有A/D變換電路、圖像存儲器、中央運算處理裝置(CPU)、 RAM(隨機存儲器)、R0M(只讀存儲器)、輸出電路。其中，A/D變換電路將模擬輸入信號變換為數(shù)字信號，圖像存儲器存儲數(shù)字化的圖像信號，中央運算處理裝置(CPU)用于進行各種運算處理，RAM用于在CPU進行運算時存儲數(shù)據(jù)，ROM用于存儲CPU所執(zhí)行的程序以及所使用的數(shù)據(jù)(包括表格、圖)，輸出電路用于對揚聲器3輸出驅動信號以及對HUD4輸出顯示信號。照相機IR與IL的輸出信號以及各傳感器5、6、7的輸出信號被變換為數(shù)字信號而輸入到CPU中。如圖2所示，HUD4用于在駕駛員前方的車前窗位置上顯示出畫面4a，從而使駕駛員能夠看到由HUD4顯示的畫面。
圖3為表示由圖像處理單元2所執(zhí)行的程序的流程圖。該程序按照規(guī)定的時間間隔執(zhí)行。
在步驟Sll S13中，接收照相機IR與IL的輸出信號(即，拍攝圖像的數(shù)據(jù))， 對其進行A/D變換，存儲在圖像存儲器中。關于被存儲的圖像數(shù)據(jù)，在灰度圖像上，對象物的溫度比背景溫度越高則其具有的輝度值也越高(輝度值接近白色)。在拍攝同一對象物時，由照相機IR拍攝到的圖像即右側圖像與由照相機IL拍攝到的圖像即左側圖像這二者在圖像的水平位置上有偏差，根據(jù)該偏差(視差)能夠計算出照相機到對象物的距離。
在步驟S14中，以右側圖像為基準圖像(以左側圖像為基準圖像也可以)，對該圖像信號進行二值化處理。具體為，比預先通過模擬實驗等方法確定的輝度閾值ITH明亮的區(qū)域為“1”(白)，比該輝度閾值ITH暗的區(qū)域為“0”(黑)。該閾值ITH設定為能夠將人與動物等比特定溫度值高的對象物與背景(包括路面)區(qū)別開來的值。從而，高溫的對象物區(qū)域能夠以白色區(qū)域的形式提取出來。
在步驟S15中，將二值化的圖像數(shù)據(jù)變換為游程編碼格式(rim length)數(shù)據(jù)。圖 4為用于說明步驟S15中的處理的示意圖。在圖4的(a)中，用線Ll L8表示經(jīng)過二值化處理而變?yōu)榘咨膮^(qū)域。線Ll L8在y方向上的寬度都為一個像素。實際上，線Ll L8 在y方向上并無間隙，但為了便于說明，在圖中使它們之間具有間隙。此外，線Ll L8在χ 方向上的長度分別為2個像素、2個像素、3個像素、8個像素、7個像素、8個像素、8個像素、 8個像素。游程編碼格式數(shù)據(jù)是用各個線的起始點(左端的像素)的坐標以及從起始點到終點(右端的像素)的長度(用像素數(shù)表示)來表征各個線Ll L8。例如，線L3由(x3， y5)、(x4, y5)、(x5, y5)這三個像素構成，因而，表征線L3的游程編碼格式數(shù)據(jù)為(x3, y5, 3)。
在步驟S16與步驟S17中，如圖4中的(b)所示，給對象物(數(shù)據(jù))附上標簽，并提取出對象物(數(shù)據(jù))。具體而言，即，被游程編碼格式數(shù)據(jù)化的線Ll L8中，在y方向上疊加的線Ll L3作為一個對象物1，線L4 L8作為一個對象物2，給游程編碼格式數(shù)據(jù)附上對象物標簽1與2。
如圖4中的(c)所示，在步驟S18中，計算出提取出的對象物的重心G、面積S、以及如虛線所示的、對象物的外接四邊形的縱橫比(縱向長度與橫向長度之比)ASPECT。其中， 通過對游程編碼格式數(shù)據(jù)中同一對象物的長度數(shù)值求積而計算出面積S。關于重心G的坐標的計算方法，以將面積S在χ方向上平分的線的χ軸坐標為重心G的χ軸坐標，以將面積 S在y方向上平分的線的y軸坐標為重心G的y軸坐標。用外接四邊形在y方向上的長度 Dy與在χ方向上的長度Dx計算二者的比值Dy/Dx從而得到對象物的外接四邊形的縱橫比 ASPECT。另外，也可以用外接四邊形的重心位置來代替對象物的重心G。
在步驟S19中，對對象物進行時間跟蹤(tracking)，即，在每個規(guī)定的采樣周期對同一對象物進行識別。采樣周期可以與圖3中的程序的執(zhí)行周期相同。具體而言，以采樣周期為單位將模擬量(連續(xù)量)的時間t離散化成多個時刻，假定在時刻k提取出了對象物A，則判斷該對象物A與在下一個采樣周期即時刻k+Ι提取出的對象物B的同一性。統(tǒng)一性判斷按照規(guī)定的條件進行。例如，如果(1)、對象物A與B 二者的圖像上的重心G的位置的χ坐標值與y坐標值的差在規(guī)定的允許值范圍內；( 、對象物B的圖像面積與對象物 A的圖像面積之比在規(guī)定的允許值范圍內；C3)、對象物B的外接四邊形的縱橫比與對象物A 的外接四邊形的縱橫比在規(guī)定的允許值范圍內這三個條件得到滿足的話，那么判斷為對象物A與對象物B為同一對象物。
這樣，在各采樣周期，提取出的對象物的位置(在本實施方式中為重心G的位置坐標)被附加上了標簽，提取出的對象物數(shù)據(jù)以時間序列數(shù)據(jù)的形式存儲在存儲器中。
另外，在以上所說明的步驟S14 S19中的處理是對二值化后的基準圖像(在本實施方式中為右側圖像)進行的。
在步驟S20中，讀取由車速傳感器6檢測出的車速VCAR以及由偏航角速度傳感器 5檢測出的偏航角速度YR，并對偏航角速度YR進行時間積分從而計算出轉向角θ r (將在后面敘述)。
另外，在步驟S31 S33中，與步驟S19以及S20中的處理并行地，計算出從車輛 10到對象物之間的距離ζ。該運算所需要的時間比步驟S19與S20中的處理所需的時間長， 所以可以用比步驟S19與S20長的周期(例如，步驟Sll S20的運行周期的3倍)進行該運算。
在步驟S31中，由基準圖像(本實施方式中為右側圖像)的二值化圖像選擇出所跟蹤的對象物中的一個，將其作為搜索用圖像Rl (在此，以被外接四邊形所圍成的圖像區(qū)域為搜索用圖像)。在步驟S32中，在左側圖像中搜索與該搜索用圖像Rl相同的對象物的圖像(以下稱為相應圖像)。具體為，在搜索用圖像Rl與左側圖像之間進行如下的相關運算。該相關運算按照下式(1)進行。并且，該相關運算使用的不是二值化圖像，而是灰度圖像。

權利要求
1.一種車輛周圍監(jiān)測裝置，其配備在車輛上，用于識別出位于車輛周圍的、由騎乘者騎乘的自行車，其特征在于，包括攝像機構、提取機構、自行車判定機構，所述攝像機構對所述車輛的周圍進行拍攝并取得拍攝圖像，該拍攝圖像中的輝度值與對象物的溫度對應，所述提取機構從所述拍攝圖像中提取出輝度值比背景溫度高出規(guī)定值以上的圖像區(qū)域，如果從被提取出的該圖像區(qū)域中檢測出了下述的一對第1對象物部分，并且在該一對對象物部分之間存在下述的第2對象物部分的話，則自行車判定機構將包含該一對第1對象物部分與第2對象物部分的對象物判定為自行車，所述一對第1對象物部分各自的豎直方向上的長度比水平方向上的寬度大，并且，一個第1對象物部分與另一個第1對象物部分之間在水平方向上的距離處于規(guī)定值以下，所述第2對象物部分具有不同于所述第1對象物部分的輝度，并且在豎直方向上具有規(guī)定值以上的長度。
2.根據(jù)權利要求1所述的車輛周圍監(jiān)測裝置，其特征在于，如果所述第2對象物部分所具有的輝度值所表示的溫度比所述背景的溫度低，則所述自行車判定機構將包含所述第 1對象物部分與所述第2對象物部分的對象物判定為自行車。
3.根據(jù)權利要求1或2所述的車輛周圍監(jiān)測裝置，其特征在于，如果還檢測出在垂直方向上所述第2對象物部分的最低點的位置比所述一對第1對象物部分的最低點位置低，則所 述自行車判定機構將所述對象物判定為自行車。
4.根據(jù)權利要求1 3中任一項所述的車輛周圍監(jiān)測裝置，其特征在于，如果還檢測出在所述第2對象物部分的最低點附近存在面積在規(guī)定值以上且其輝度值相同的圖像區(qū)域， 則所述自行車判定機構將所述對象物判定為自行車。
全文摘要
本發(fā)明的目的在于判斷出存在于車輛前方的自行車。為達到這樣的目的，本發(fā)明的車輛周圍監(jiān)測裝置對所述車輛的周圍進行拍攝并取得拍攝圖像，該拍攝圖像中的輝度值由對象物的溫度決定，并且，從拍攝圖像中提取出輝度值比背景溫度高出規(guī)定值以上的圖像區(qū)域。如果從被提取出的該圖像區(qū)域中檢測出了下述的一對第1對象物部分，并且在該一對對象物部分之間存在下述的第2對象物部分的話，則將包含該一對第1對象物部分與第2對象物部分的對象物判定為自行車。所述一對第1對象物部分各自的豎直方向上的長度比水平方向上的寬度大，并且，一個第1對象物部分與另一個第1對象物部分之間在水平方向上的距離處于規(guī)定值以下。第2對象物部分具有不同于第1對象物部分的輝度，并且在豎直方向上具有規(guī)定值以上的長度。
文檔編號H04N7/18GK102187377SQ20098014175
公開日2011年9月14日 申請日期2009年10月8日 優(yōu)先權日2008年10月20日
發(fā)明者松田幸大, 相村誠, 高津戶泉 申請人:本田技研工業(yè)株式會社