專利名稱：車輛周圍監(jiān)測裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于對車輛周圍進行監(jiān)測的裝置，更詳細地講，涉及一種檢測出車輛周圍的被監(jiān)測對象并進行顯示的裝置。
背景技術(shù)：
在下述專利文獻I中，有人提出如下一種系統(tǒng)，即利用紅外線攝像頭檢測出車輛周圍的被監(jiān)測對象，如果該被監(jiān)測對象被判定為是行人，利用影像和聲音提示給駕駛員。專利文獻I :日本發(fā)明專利公開公報特開2003-284057號

發(fā)明內(nèi)容
在上述專利文獻I中，在車輛上設(shè)置平視顯示器(HUD)，將利用紅外線攝像頭拍到的圖像顯示在該HUD上。這樣，在對所存在的上述被監(jiān)測對象進行提示時，用框?qū)υ搱D像中的該各個被監(jiān)測對象進行突出顯示。但是，由拍攝圖像檢測出的被監(jiān)測對象為多個時，若對各個被監(jiān)測對象進行突出顯示時，畫面會變得難以看清。因此，為使駕駛員能在更短的時間內(nèi)進行判斷，該顯示方式還有改進的余地。另外，由于平視顯示器設(shè)置在駕駛員的前方，在駕駛員進行判斷時雖有視線移動量較小的優(yōu)點，但通常情況下大多數(shù)車輛上沒有搭載平視顯示器。對此，安裝在儀表板上的顯示裝置正在得到普及。尤其是隨著導(dǎo)航裝置的普及，用于顯示通過導(dǎo)航功能來提供的地圖信息等各種信息的裝置正在得到普及。由于上述的普通顯示裝置未安裝在駕駛員的前方而是位于其左側(cè)或右側(cè)，所以與平視顯示器相比，在駕駛員為確認顯示畫面而所需的視線移動量較大。因此人們要求提供如下一種顯示裝置通過其能使駕駛員在短時間內(nèi)了解顯示在該顯示裝置上的影像。因此人們期望提供如下一種方法即使對所存在的多個被監(jiān)測對象向駕駛員進行提示時，能夠提供可使駕駛員在更短時間內(nèi)判斷出它們的顯示方式。在本發(fā)明的一個實施方式中，車輛周圍監(jiān)測裝置具有拍攝機構(gòu)，其搭載在車輛上，用于拍攝該車輛周圍的情況；檢測機構(gòu)，根據(jù)上述拍攝機構(gòu)拍到的圖像，由該檢測機構(gòu)檢測出上述車輛周圍的被監(jiān)測對象；顯示機構(gòu)，由其將拍到的上述圖像顯示在顯示裝置上；警報機構(gòu)，如果存在被檢測出的上述被監(jiān)測對象，通過其在所顯示的上述圖像上進行警報顯示而向駕駛員發(fā)出警報。上述警報機構(gòu)發(fā)出警報的方式為如果被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量在規(guī)定數(shù)值以下，進行第I方式的警報顯示，即對該各個被監(jiān)測對象的所在位置進行突出顯示；如果被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，不進行上述第I方式的警報顯示而進行第2方式的警報顯示，即對所顯示的整個上述圖像進行一個規(guī)定的突出顯示。采用本發(fā)明時，如果檢測出的被監(jiān)測對象的數(shù)量較少，由于對該各個被監(jiān)測對象的位置進行突出顯示，所以能夠?qū)Ρ槐O(jiān)測對象進行個別突出顯示。但是，如果檢測出的被監(jiān)測對象的數(shù)量較多，則對整個顯示圖像進行一個突出顯示。因此與檢測出的被監(jiān)測對象的數(shù)量較多而對其進行個別突出顯示的顯示方式相比，前者為駕駛員更容易看清并易于判斷的顯示方式。通過對所顯示的圖像進行一個規(guī)定的突出顯示，能使駕駛員在短時間內(nèi)判斷出在車輛周圍存在多個應(yīng)該引起注意的被監(jiān)測對象，這樣，駕駛員不會被所顯示的圖像所困擾，因而能將注意力集中在駕駛操作上。在本發(fā)明的另一實施方式中，上述警報機構(gòu)還以下述方式進行上述第2方式的突出顯示，即如果被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，在所顯示的上述圖像內(nèi)的規(guī)定位置使規(guī)定的圖像進行重疊顯示。采用本發(fā)明時，如果檢測出的被監(jiān)測對象的數(shù)量多于規(guī)定數(shù)值，在圖像內(nèi)的規(guī)定位置使規(guī)定的圖像重疊顯示而進行突出顯示。因此與檢測出的被監(jiān)測對象的數(shù)量較多而對其進行個別突出顯示的顯示方式相比，前者為駕駛員更容易看清并易于判斷的顯示方式。另外，通過在對所顯示的圖像內(nèi)重疊顯示一個規(guī)定的圖像，能使駕駛員在短時間內(nèi)判斷出在車輛周圍存在多個應(yīng)該引起注意的被監(jiān)測對象。 在本發(fā)明的又一實施方式中，上述警報機構(gòu)還以下述方式進行上述第2方式的突出顯示，若被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，對于多于該規(guī)定數(shù)值的所有被監(jiān)測對象判定發(fā)出警報的優(yōu)先度，只對判定為優(yōu)先度最高的被監(jiān)測對象所在的位置進行突出顯示。采用本發(fā)明時，如果檢測出的被監(jiān)測對象的數(shù)量多于規(guī)定數(shù)值，只對判定為最需發(fā)出警報的、即優(yōu)先度最高的被監(jiān)測對象所在的位置進行突出顯示。因此與檢測出的被監(jiān)測對象的數(shù)量較多而對其進行個別突出顯示的顯示方式相比，前者為駕駛員更容易看清并易于判斷的顯示方式。另外，由于只對判定為優(yōu)先度最高的被監(jiān)測對象所在的位置進行突出顯示，所以能使駕駛員在短時間內(nèi)判斷出最應(yīng)注意哪個被監(jiān)測對象。在本發(fā)明的又一實施方式中，上述顯示裝置為汽車導(dǎo)航裝置的顯示裝置。采用本發(fā)明時，將在車輛周圍存在被監(jiān)測對象的情況提示給駕駛員時，能夠有效地利用汽車導(dǎo)航裝置的顯示裝置人們能從以下詳細說明中了解本發(fā)明的其他特征和優(yōu)點。


圖I為表示本發(fā)明的一個實施方式的車輛周圍監(jiān)測裝置的結(jié)構(gòu)的框圖。圖2為用于說明本發(fā)明一個實施方式的顯示裝置和攝像頭的安裝位置的圖。圖3為表示本發(fā)明的一個實施方式的圖像處理單元的圖像處理的流程圖。圖4為表示本發(fā)明的一個實施方式的車輛前方的拍攝范圍和各區(qū)域劃分的圖。圖5為表不本發(fā)明的一個實施方式的警報的顯不方式的圖。圖6為表示本發(fā)明的一個實施方式的警報的顯示方式的圖。圖7為表示本發(fā)明的一個實施方式的警報的顯示方式的圖。圖8為表示本發(fā)明的另一實施方式的圖像處理單元的圖像處理的流程圖。圖9為表示本發(fā)明的一個實施方式的實際空間坐標(biāo)系與圖像坐標(biāo)系的圖。圖10為用于說明本發(fā)明的一個實施方式的相對移動矢量的計算方法的圖。圖11為表示本發(fā)明的一個實施方式的警報判定處理的流程圖。
圖12為說明本發(fā)明的一個實施方式的優(yōu)先度判定用圖。圖13為表示本發(fā)明的一個實施方式的警報的顯示方式的圖。
具體實施例方式下面參照

本發(fā)明的具體實施方式
。圖I為表示本發(fā)明的一個實施方式的利用了導(dǎo)航裝置的顯示裝置的車輛周圍監(jiān)測裝置的結(jié)構(gòu)的框圖。圖2為表示顯示裝置和攝像頭安裝在車輛上的圖。車輛上安裝有導(dǎo)航裝置，該導(dǎo)航裝置具有導(dǎo)航單元5和顯示裝置4。如圖2中(a)所示，相對于通過車輛方向盤(方向盤)21的中心并且向車輛前后方向延伸的線LI (為便于理解，圖中表示為在圖的垂直方向上延伸的狀態(tài))，顯示裝置4安裝在離開該線LI有規(guī)定距離的位置，駕駛員可以觀察它。在本實施例中，顯示裝置4嵌入儀表板23中。
導(dǎo)航單元5通過中央處理裝置(CPU)和存儲器的計算機來實現(xiàn)其功能。導(dǎo)航單元5這樣工作經(jīng)其所具有的通信裝置(未圖示)來接收GPS信號，并根據(jù)該GPS信號來檢測出車輛10的當(dāng)前位置。其中，GPS信號用于測定車輛10的位置，例如由人造衛(wèi)星發(fā)出。由導(dǎo)航單元5使表示該當(dāng)前位置的圖像重疊顯示在車輛周圍的地圖信息(其可存儲在導(dǎo)航裝置的存儲裝置中，也可通過該存儲裝置從規(guī)定的服務(wù)器中接收)上并顯示在顯示裝置4的顯示畫面25上。另外，由顯示裝置4的顯示畫面25構(gòu)成觸摸屏，乘員可通過該觸摸屏或者是按鍵或按鈕等其他輸入裝置27向?qū)Ш絾卧?輸入目的地。由導(dǎo)航單元5來計算車輛到達該目的地的最佳路徑，將表示該最佳路徑的圖像重疊顯示在地圖信息上，并顯示在顯示裝置4的顯示畫面25上。還有，近年來的導(dǎo)航裝置，除了提供交通信息或者指引車輛附近的設(shè)施以外，還搭載有其他各種各樣的功能，在本實施方式中，能夠利用任意所需的導(dǎo)航裝置。另外，車輛周圍監(jiān)測裝置搭載在車輛10上，具有兩個紅外線攝像頭IR與1L，其能檢測出遠紅外線；圖像處理單元2，其用于根據(jù)由攝像頭IR與IL拍攝到的圖像數(shù)據(jù)檢測車輛周圍的被監(jiān)測對象；揚聲器3，根據(jù)該圖像處理單元2的檢測結(jié)果而用聲響或聲音發(fā)出警報。顯示裝置4用于顯示通過攝像頭IR或IL而拍到的圖像，并且進行顯示以使駕駛員能覺察到車輛周圍的被監(jiān)測對象。還有，上述周圍監(jiān)測裝置還具有用于檢測車輛的橫向角速度的橫向角速度傳感器6和用于檢測車輛行駛速度(車速)的車速傳感器7。這些傳感器的檢測結(jié)果送到圖像處理單元2中。如圖2中(b)所示，在本實施例中，攝像頭IR與IL配置在車輛10的前部，并且相對于通過車寬中心的中心軸互相對稱，用于拍攝車輛10的前方情況。兩個攝像頭IR與IL固定在車輛上，兩者的光軸互相平行，并且兩者距地面的高度也相等。紅外線攝像頭IR與IL具有如下特性被監(jiān)測對象的溫度越高其輸出信號的值也越高(即拍攝圖像中的灰度較大)。圖像處理單元2具有A/D變換電路，由其將輸入的模擬信號變換為數(shù)字信號；圖像存儲器，由其存儲經(jīng)數(shù)字化處理后的圖像信號；中央運算處理裝置(CPU)，其用于進行各種運算處理；RAM (隨機存儲器)，在CPU進行運算時其用于存儲數(shù)據(jù)；R0M (只讀存儲器)，其用于存儲CPU所執(zhí)行的程序和所使用的數(shù)據(jù)(含表、圖)；輸出電路，其用于對揚聲器3輸出驅(qū)動信號和對顯示裝置4輸出顯示信號。攝像頭IR與IL的輸出信號被變換為數(shù)字信號而輸入到CPU中。這樣，在本實施例中，導(dǎo)航裝置的顯示裝置4用于顯示通過攝像頭IR或IL而拍到的圖像，并且用于顯示存在根據(jù)該圖像檢測出的規(guī)定的被監(jiān)測對象以提示駕駛員(向其發(fā)出警報)。如上所述，不同于設(shè)置在前車窗上被設(shè)置成顯示畫面位于駕駛員前方位置的平視顯示器(HUD)，由于顯示裝置4設(shè)置在車寬方向上的離開方向盤21有規(guī)定距離的位置，因此與HUD相比，駕駛員為確認顯示裝置4的畫面所需的視線移動量較大，確認所需的的時間也長。所以，為使駕駛員通過顯示裝置4察覺到被監(jiān)測對象，人們期望如下一種顯示方式■ 與HUD相比，以更容易看懂的方式進行顯示、即以在更短的時間內(nèi)察覺到的方式進行顯示。本發(fā)明能實現(xiàn)上述顯示方式，具體地講，如果圖像中存在規(guī)定數(shù)量(例如為I)以下的被監(jiān)測對象，對該被監(jiān)測對象的位置進行突出顯示，如果圖像中存在多于規(guī)定數(shù)量的被監(jiān)測對象，則對整個顯示圖像進行一個突出顯示。下面說明該具體方法。圖3為表示由本發(fā)明的一個實施方式的圖像處理單元2所進行的圖像處理的流程圖，該圖像處理按照規(guī)定的時間間隔執(zhí)行。 在步驟SlfS13中，接收攝像頭IR與IL的輸出信號(即拍攝圖像的數(shù)據(jù))，對其進行A/D變換并存儲在圖像存儲器中。所存儲的圖像數(shù)據(jù)為包含灰度信息的灰度圖像。在步驟S14中，以攝像頭IR拍到的右側(cè)圖像為基準(zhǔn)圖像(也可以以左側(cè)圖像代替右側(cè)圖像而作為基準(zhǔn)圖像)，對該圖像信號進行二值化處理。具體處理為比灰度閾值ITH亮的區(qū)域為“I”(白)、暗的區(qū)域為“0”(黑)。能夠用任何合適的方法來確定灰度閾值ITH。通過進行二值化處理，能將比如像生物體那樣比特定溫度值高的被監(jiān)測對象作為白色區(qū)域而抽出。能夠用任何合適的方法來確定灰度閾值ITH。在步驟S15中，將二值化處理后的圖像數(shù)據(jù)變換為游程編碼數(shù)據(jù)。具體處理為對于二值化處理后變?yōu)榘咨膮^(qū)域，用各個像素組的在該白色區(qū)域(稱為線)中的起點(各線的左端的像素)的坐標(biāo)、從起點到終點(各線的右端的像素)的長度(用像素數(shù)表示)表示游程編碼數(shù)據(jù)。這里，在圖像中的垂直方向上設(shè)y軸、在水平方向上設(shè)X軸。y坐標(biāo)為yl的像素組的白色區(qū)域為從(xl，yl)到(x3，yl)的線時，由于該線由三個像素構(gòu)成，因而能由(xl，y I，3)這一游程編碼數(shù)據(jù)來表示。在步驟S16與步驟S17中，給被監(jiān)測對象附上標(biāo)簽，對被監(jiān)測對象進行抽出處理。即，在被游程編碼數(shù)據(jù)處理的線中，使在y方向上有重合部分的線合起來視為一個被監(jiān)測對象并給它附上標(biāo)簽。這樣能抽出I個或多個被監(jiān)測對象。下面說明通過上述方法抽出的被監(jiān)測對象為行人的情況。還有，在步驟S17之后，為進一步提高檢測精度，也可以對所抽出的被監(jiān)測對象進行判定處理以判定其是否是行人。該判定處理可以利用任意的適當(dāng)?shù)姆椒▉韺崿F(xiàn)。例如，利用公知的圖案匹配方法，求出采用上述方法所抽出的被監(jiān)測對象和表示行人的規(guī)定圖案之間的類似度，如果該類似度較大就判定為是行人。作為上述判定處理的例子，如記載在日本發(fā)明專利公開公報特開2007-241740號、日本發(fā)明專利公開公報特開2007-334751號等中。在步驟S31中，判定被監(jiān)測對象(如上所述，此處為行人)是否位于車輛周圍的規(guī)定警報范圍內(nèi)。這里，作為規(guī)定警報范圍的一個例子，表示在圖4中。區(qū)域ARO表示作為攝像頭IR與IL能拍攝區(qū)域的拍攝范圍。對于對應(yīng)于拍攝范圍ARO的拍攝圖像，執(zhí)行圖3中的從步驟Sll到步驟S17的處理。
區(qū)域ARl為對應(yīng)于在車輛10的車寬a的兩側(cè)分別加上余量0 (例如可以為5(Tl00cm)的范圍的區(qū)域，換言之，是寬度為車輛10的車寬方向的中心軸兩側(cè)具有(a/2+P )寬度的區(qū)域，其為接近判定區(qū)域，表示被監(jiān)測對象若在此區(qū)域中不動，則發(fā)生碰撞的可能性較高。與接近判定區(qū)域相比，區(qū)域AR2和AR3為X坐標(biāo)的絕對值較大的(位于接近判定區(qū)域的橫向方向上的外側(cè))的區(qū)域，其為進入判定區(qū)域，表示存在于該區(qū)域中的被監(jiān)測對象有可能進入接近判定區(qū)域。用于確定區(qū)域ARf AR3在距離方向上的大小的Z1，在本實施例中例如能設(shè)定為規(guī)定數(shù)值。在本實施例中，以接近判定區(qū)域ARl為上述警報范圍而進行步驟S31的判定。這里，如果行人的腳部、即圖像中的該被監(jiān)測對象的底部的至少一部分包含在該警報范圍內(nèi)，就判定為該被監(jiān)測對象位于該警報范圍內(nèi)。也可用以下方法來代替上述方法求出被監(jiān)測對象的重心位置，若該重心位置包含在該警報范圍內(nèi)，就判定為該被監(jiān)測對象位于該警報范圍內(nèi)。在步驟S31中，若判定為沒有任何被監(jiān)測對象位于警報范圍內(nèi)時，進入步驟S32， 禁止發(fā)出警報。即不發(fā)出警報，進行將在步驟S13獲得的灰度圖像輸出給顯示裝置4的通常顯示處理。在步驟S31中，若判定為有若干個被監(jiān)測對象位于警報范圍內(nèi)時，進入步驟S32，判斷被判定為位于警報范圍內(nèi)的被監(jiān)測對象的數(shù)量是否多于規(guī)定數(shù)量(例如該規(guī)定數(shù)量為I)。如果不多于規(guī)定數(shù)量(即在規(guī)定數(shù)量以下)，在步驟S33中的判斷結(jié)果為否。進入步驟S34并且發(fā)出警報。具體來講，在顯示裝置4上顯示灰度圖像，通過對圖像中的位于該警報范圍內(nèi)的各個該被監(jiān)測對象所在的位置進行個別突出顯示以實現(xiàn)發(fā)出警報。下面將對每個被監(jiān)測對象的位置進行個別突出顯示的方式稱為第I方式。在步驟S32中，如果判斷被判定為位于警報范圍內(nèi)的被監(jiān)測對象的數(shù)量多于規(guī)定數(shù)量，進入步驟S35并且發(fā)出警報。具體來講，將灰度圖像顯示在顯示裝置4上，并且對整個顯示圖像進行一個突出顯示以實現(xiàn)發(fā)出警報。下面將對所顯示的整個圖像進行一個突出顯示的方式稱為第2方式。這樣，發(fā)出警報的方式有2種，第I方式是對每個被監(jiān)測對象的位置進行突出顯示(個別突出方式)以發(fā)出警報。第2方式是對顯示在顯示裝置4上的整個圖像進行一個突出顯示(整體突出方式)以發(fā)出警報。圖5是根據(jù)圖4的程序大致按時間順序在顯示裝置4上顯示的畫面的一個例子。由線101和線102圍起來的區(qū)域表示警報范圍。步驟S33中的“規(guī)定數(shù)量”為數(shù)值I。還有，由于行人是生物體，所以在顯示裝置4上所顯示的實際的灰度圖像中會以高于背景的灰度進行顯示(即發(fā)白)，但是為了易于從圖中看清，請注意該圖并不是按照上述實際的情況來制作的(即在圖中，行人被描畫得比背景黑)。這種情況在以下的圖中也是一樣的。在圖5中(a)的時刻tl，判定為有I個行人111存在于警報范圍內(nèi)。由于作為警報對象的行人的數(shù)量為I人，所以按第I方式進行顯示，即，以個別突出方式進行顯示。因此在顯示圖像中，用框圍起行人111而進行突出顯示。之后在圖5中(b)的時刻t2，判定為有5個行人Ilf 115存在于警報范圍內(nèi)，由于作為警報對象的行人的數(shù)量為5人，所以按第2方式進行顯示，即，以整體突出方式進行顯示。在該實施方式中，為突出該整體方式，在顯示圖像上重疊顯示如用符號121所表示的I個圖標(biāo)圖像。該圖標(biāo)圖像121是在整個顯示圖像上進行的的一個突出顯示。在圖標(biāo)圖像121中，三角形中畫有人的圖案，這表示周圍存在多個行人。此時優(yōu)選顯示圖標(biāo)圖像121時能引起駕駛員的注意。例如將三角形顯示為紅色，或點亮該圖標(biāo)圖像或使其閃滅以進行閃爍顯示。之后在圖5中(C)的時刻t3，所有行人Ilf 115都已經(jīng)離開警報范圍，所以由于在警報范圍內(nèi)連I個行人都不存在，所以禁止發(fā)出警報，不進行任何突出顯示。這樣，在本實施方式中，可以根據(jù)被監(jiān)測對象是否多于規(guī)定數(shù)量的判定結(jié)果，使發(fā)出警報方式在第I方式和第2方式之間進行切換。若存在多個被監(jiān)測對象，如用圖標(biāo)圖像121所示的那樣，對整個顯示圖像進行一個突出顯示。在現(xiàn)有技術(shù)中，如圖6所示，用框?qū)Χ鄠€被監(jiān)測對象的各自的位置進行個別突出顯示。如果有多個上述的突出顯示，整個畫面會變得不易看清，駕駛員難以在短時間內(nèi)判斷應(yīng)該注意哪個被監(jiān)測對象。采用本發(fā)明時，若判定為被監(jiān)測對象的數(shù)量多于規(guī)定數(shù)量，由于以整個顯示畫面為單位進行一個突出顯示，所以對于駕駛員來說，能提供易于看懂并且易于判斷的顯示方式。因此，駕駛員通過確認該一 個突出顯示就能在短時間內(nèi)判斷出周圍存在多個應(yīng)引起注意的被監(jiān)測對象。在上述實施方式中，使由符號121所表示的圖標(biāo)圖像重疊顯示，以實現(xiàn)對整個顯示圖像進行一個突出顯示的第2方式。但是整體突出顯示并不局限于此，也可以采用其他方式。圖7中表示有進行整體性突出顯示的其他例子。在圖7中(a)中，通過顯示外框131來按第2方式進行整體性突出顯示，其中，由外框131來圍起所顯示的圖像的外緣?？蓪⒃撏饪?31的顏色設(shè)定為能使駕駛員引起注意的顏色(例如設(shè)定為紅色或黃色)，另外還能點亮該外框131或使其閃滅以進行閃爍顯示。在圖7中(b)中，如網(wǎng)格線部分所示，降低整個拍到的圖像的灰度(例如使各像素的灰度值降低規(guī)定數(shù)值)，以較低對比度的方式顯示圖像，并且使圖標(biāo)圖像121與前者重疊顯示。另外，在圖7中(c)中，不顯示拍到的圖像而只顯示圖標(biāo)圖像121。對于圖7中(b)和圖7中(c)的圖標(biāo)圖像123，能點亮該圖標(biāo)圖像123或使其閃滅以進行閃爍顯示。如圖7中(b)和圖7中(c)所示，既顯示圖標(biāo)圖像121，又使拍到的整個圖像變得不易看清，這樣來提示駕駛員而使其注視前方。圖8為表示由本發(fā)明的第2實施方式的圖像處理單元2所執(zhí)行的圖像處理的流程圖，該處理按照規(guī)定的時間間隔執(zhí)行。由于步驟Slf S17與圖3中的相同，所以省略其說明。步驟S18 S26是用于計算被監(jiān)測對象的相對移動矢量的處理。由于相對移動矢量的計算處理的詳細情況如記載在日本發(fā)明專利公開公報特開2001-6096中，所以在此簡單地進行說明。對于在步驟S17中抽出的各個被監(jiān)測對象，在步驟S18中，計算出該被監(jiān)測對象的重心G、面積S、外接在該被監(jiān)測對象上的四邊形、S卩外接四邊形的長寬比ASPECT。其中，對于同一被監(jiān)測對象的游程編碼數(shù)據(jù)的長度進行積分計算而計算出面積S。重心G的坐標(biāo)的計算方法是，以面積S在X方向上被平分的線的X坐標(biāo)為重心G的X坐標(biāo)，以面積S在y方向上被平分的線的I坐標(biāo)為重心G的y坐標(biāo)。長寬比ASPECT的計算方法為，其為外接四邊形在y方向上的長度Dy與在X方向上的長度Dx之比Dy/Dx。另外，也可用外接四邊形的重心位置來代替重心G的位置。在步驟S 19中，對被監(jiān)測對象進行即時追蹤，即在每個規(guī)定的采樣周期對同一被監(jiān)測對象進行識別。采樣周期可與該程序的執(zhí)行周期相同。具體而言，將作為模擬量的時刻t按采樣周期作為經(jīng)離散處理后的時刻k，假定在時刻k抽出了被監(jiān)測對象A，對該被監(jiān)測對象A與作為下一個采樣周期的時刻k+I抽出的被監(jiān)測對象B的同一性進行判斷。同一性判斷按規(guī)定的條件進行。例如I)被監(jiān)測對象A與B在圖像上的重心G的位置的X坐標(biāo)與I坐標(biāo)之差小于規(guī)定的容許數(shù)值、2)被監(jiān)測對象B在圖像上的面積與被監(jiān)測對象A在圖像上的面積之比小于規(guī)定的容許數(shù)值、3)被監(jiān)測對象B的外接四邊形的長寬比與被監(jiān)測對象A的外接四邊形的長寬比之比小于規(guī)定的容許數(shù)值時，判斷為被監(jiān)測對象A與B為同一被監(jiān)測對象。這樣，在各個采樣周期，關(guān)于抽出的被監(jiān)測對象，其位置(本實施例中為重心G的位置坐標(biāo))與所附上的標(biāo)簽，一同作為時序數(shù)據(jù)而存儲在存儲器中。
另外，上述步驟S14 S19中的處理是對二值化處理后的基準(zhǔn)圖像(本實施例中為右側(cè)圖像)進行的。在步驟S20中，讀取由車速傳感器7檢測出的車速VCAR和由橫向角速度傳感器6檢測出的橫向角速度YR，對橫向角速度YR進行時間積分從而計算出車輛10的方位角度、SP方位角9r。另外，與步驟S19和S20中的處理同步，在步驟S2fS23中，對從車輛10到被監(jiān)測對象之間的距離z進行計算處理。由于該運算所需要的時間比步驟S19與S20中的處理時間長，所以可用比步驟S19與S20的處理時間長的周期(例如為3倍左右于步驟Slf S20的運行周期的周期)進行該運算。在步驟S21中，利用基準(zhǔn)圖像(本實施例中為右側(cè)圖像)的二值化圖像選出追蹤的被監(jiān)測對象中的一個，將其作為搜索圖像Rl (在此將被外接四邊形所圍的圖像區(qū)域作為搜索圖像)。在步驟S22中，在左側(cè)圖像中搜索與該搜索圖像Rl相同的被監(jiān)測對象的圖像(以下稱對應(yīng)圖像)。具體來講，可以在搜索圖像Rl與該左側(cè)圖像之間進行相關(guān)度運算。該相關(guān)度運算按照下式(I)進行。該相關(guān)度運算使用的不是二值化圖像而是灰度圖像。(式I)
N Vt IC{aNb) ^ X 丨 L+ in - b十Ii .. N:l' J i
；"! ■.丨!!'i::丨 _丨'其中，搜索圖像Rl具有MXN個像素數(shù)，IR (m，n)為搜索圖像Rl內(nèi)的坐標(biāo)(m，n))位置的灰度值，IL (a+m-M，b+n-N)為以左側(cè)圖像內(nèi)的規(guī)定坐標(biāo)(a，b)為原點的與搜索圖像Rl的形狀相同的局部區(qū)域內(nèi)的坐標(biāo)(m，n)位置的灰度值。通過改變原點的坐標(biāo)(a，b)而求出灰度差分總和值C (a, b)為最小的位置以確定對應(yīng)圖像的位置。此外，作為上述相關(guān)度運算的替代方法，也可以在左側(cè)圖像中預(yù)先設(shè)定應(yīng)搜索的區(qū)域，在搜索圖像Rl與該區(qū)域之間進行相關(guān)度運算。在步驟S23中，求出搜索圖像Rl的重心位置與拍攝圖像的圖像中心線(將拍攝圖像在X方向上平分的線)LCTR的距離dR (像素數(shù))和對應(yīng)圖像的重心位置與圖像中心線LCTR的距離dL (像素數(shù))，利用式(2)計算車輛10到被監(jiān)測對象的距離z。(式2)BxF BxF,,I;s.'... = . ,: 2 1
(dL + dR) x p Ad x.p其中，B表示基線長、即攝像頭IR的拍攝元件的中心位置與攝像頭IL的拍攝元件的中心位置在X方向(水平方向)上的距離(即兩個攝像頭的光軸的間隔)，F(xiàn)表示設(shè)置在攝像頭IR與IL上的鏡頭的焦距，p表示攝像頭IR與IL的拍攝元件的像素間隔。A d(=dR+dL)表示視差的大小。在步驟S24中，將被監(jiān)測對象的位置(如上所述，本實施例中為重心G的位置)在圖像內(nèi)的坐標(biāo)(x，y)和運用式(2)求出的距離，代入式(3)而變換為實際空間坐標(biāo)(X，Y，Z)。這里，如圖中(a)所示，實際空間坐標(biāo)(X，Y，Z)用下述坐標(biāo)系表示以攝像頭IR與IL的安裝位置的中點(固定在車輛上的位置)為原點0，如圖所示，以車輛10的車寬方向為X軸，車輛10的車高方向為y軸，車輛10的行進方向為z軸。如圖9中(b)所示，圖像上的坐標(biāo)用 下述坐標(biāo)系表示以圖像的中心為原點，以水平方向為X軸，以垂直方向為y軸。(式3)
[X] [xe*叫丨Y 丨=| vex/-T I g 1
^ I II\ 3
j Z J [ f If = F/p其中，(Xc，yc)為根據(jù)攝像頭IR的安裝位置與實際空間坐標(biāo)系的原點0的相對位置關(guān)系，將右側(cè)圖像上的坐標(biāo)(x，y)變換為使實際空間原點0與圖像的中心重合的假想圖像內(nèi)的坐標(biāo)。另外，f為焦距F與像素間隔p之比。在步驟S25中，進行方位角修正處理，以修正因車輛10方位改變而帶來的在圖像上的錯位。從時刻k到(k+i)的期間內(nèi)，車輛10如果向左改變了方位角er時，在由攝像頭拍到的圖像上，在X方向(正向)錯開Ax。因而要對其修正。具體而言，將實際空間坐標(biāo)(X，Y，Z)代入式(4)而求出修正坐標(biāo)(Xr，Yr，Zr)。使計算出的實際空間位置數(shù)據(jù)(Xr，Yr，Zr)與每個被監(jiān)測對象對應(yīng)并按時序存儲在存儲器中。另外，在以下說明中，將該修正后的坐標(biāo)表示為(X，Y，Z)。(式4)
fXrl j"cos Or 0 -smirTx丨Yf j=丨 O I (I || Y U)
I Zr! sin0r § COSlIr |! Z在步驟S26中，針對同一被監(jiān)測對象計算近似直線LMV。具體為，由在AT的期間內(nèi)得到的修正方位角后的N個實際空間位置數(shù)據(jù)(例如N=IO左右)，即時序數(shù)據(jù)，求出被監(jiān)測對象相對于車輛10的相對移動矢量，其對應(yīng)于上述近似直線LMV。具體來講，使表示近似直線LMV的方向的方向矢量L= (lx, ly, lz) ( I L| =1),求出式(5)所示的直線。(式5)X = u* lx+XavY = u* ly+Yav (5)Z = u* lz+Zav置，二堂 Xy)/Nr
權(quán)利要求
1.一種車輛周圍監(jiān)測裝置，具有 拍攝機構(gòu)，其搭載在車輛上，用于拍攝該車輛周圍的情況； 檢測機構(gòu)，根據(jù)上述拍攝機構(gòu)拍到的圖像，由該檢測機構(gòu)檢測出上述車輛周圍的被監(jiān)測對象； 顯示機構(gòu)，由其將拍到的上述圖像顯示在顯示裝置上； 警報機構(gòu)，如果存在被檢測出的上述被監(jiān)測對象，通過其在所顯示的上述圖像上進行警報顯示而向駕駛員發(fā)出警報， 上述車輛周圍監(jiān)測裝置的特征在于， 上述警報機構(gòu)發(fā)出警報的方式為 若被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量在規(guī)定數(shù)值以下，進行第I方式的警報顯示，即對該各個被監(jiān)測對象的所在位置進行突出顯示； 若被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，不進行上述第I方式的警報顯示而進行第2方式的警報顯示，即對所顯示的整個上述圖像進行一個規(guī)定的突出顯示。
2.根據(jù)權(quán)利要求I所述的車輛周圍監(jiān)測裝置，其特征在于， 上述警報機構(gòu)還以下述方式進行上述第2方式的突出顯示，即若被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，在所顯示的上述圖像內(nèi)的規(guī)定位置使規(guī)定的圖像進行重疊顯示。
3.根據(jù)權(quán)利要求I所述的車輛周圍監(jiān)測裝置，其特征在于， 上述警報機構(gòu)還以下述方式進行上述第2方式的突出顯示，如果被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，對于多于該規(guī)定數(shù)值的所有被監(jiān)測對象判定發(fā)出警報的優(yōu)先度，只對判定為優(yōu)先度最高的被監(jiān)測對象所在的位置進行突出顯示。
4.根據(jù)權(quán)利要求廣3的任意一項所述的車輛周圍監(jiān)測裝置，其特征在于， 上述顯示裝置為汽車導(dǎo)航裝置的顯示裝置。
全文摘要
本發(fā)明提供一種車輛周圍監(jiān)測裝置，由其拍攝車輛周圍的情況并根據(jù)拍到的圖像檢測出車輛周圍的被監(jiān)測對象。若存在被檢測出的被監(jiān)測對象，通過在所顯示的圖像上進行警報顯示而向駕駛員發(fā)出警報。這里，若同時檢測出的被監(jiān)測對象的數(shù)量在規(guī)定數(shù)值以下，進行第1方式的警報顯示，即對該各被監(jiān)測對象的所在位置進行突出顯示；如果被上述檢測機構(gòu)同時檢測出的被監(jiān)測對象的數(shù)量多于上述規(guī)定數(shù)值，不進行上述第1方式的警報顯示而進行第2方式的警報顯示，即對所顯示的整個上述圖像進行一個規(guī)定的突出顯示。因此與檢測出的被監(jiān)測對象的數(shù)量較多而對其進行個別突出顯示的顯示方式相比，前者為駕駛員更容易看清并易于判斷的顯示方式。
文檔編號G08G1/16GK102782741SQ20118001149
公開日2012年11月14日 申請日期2011年2月14日 優(yōu)先權(quán)日2010年3月3日
發(fā)明者中村雄介, 相村誠 申請人:本田技研工業(yè)株式會社