專利名稱：障礙檢測裝置、具有該障礙檢測裝置的障礙檢測系統(tǒng)、以及障礙檢測方法
技術領域：
本發(fā)明涉及一種檢測障礙的障礙檢測裝置、包括該障礙檢測裝置的障礙檢測系統(tǒng)、以及障礙檢測方法。更具體地，本發(fā)明涉及一種用于在低照度環(huán)境中檢測出現在車輛后方的障礙的障礙檢測裝置、包括該障礙檢測裝置的障礙檢測系統(tǒng)、以及障礙檢測方法。
背景技術：
近年來，已經廣泛地使用了車載攝像頭。車載攝像攝像頭安裝在車輛上，用于支持安全駕駛的目的。特別地，在車輛后退時，如果駕駛員在視覺上檢查車輛的后方區(qū)域，則駕駛員處于不自然的姿勢，這使他/她難以進行駕駛操作。因此，廣泛地采用后視系統(tǒng)，在后視系統(tǒng)中，當車輛后退時，利用車載攝像頭對車輛的后方區(qū)域進行攝影，并且將視頻顯示在駕駛員座位處的顯示器上。通過由后視系統(tǒng)向駕駛員提供由車載攝像頭獲得的車輛后方區(qū)域的視頻，駕駛員還可以檢查從駕駛員的座位不能在視覺上檢查的范圍中的情況。如此，通過后視系統(tǒng)，在車輛后退時，駕駛員可以以舒服的姿勢通過顯示器在視覺上判定是否存在出現在車輛后方的諸如行人或立體物的障礙。然而，在后視系統(tǒng)中，存在這樣的可能在低照度環(huán)境中(尤其是在夜間，等等)， 不能充分發(fā)揮車載攝像頭的性能，因此僅能呈現不清晰的視頻。因此，僅呈現車輛的后方區(qū)域的視頻不足以使駕駛員判定是否存在障礙，從而導致駕駛員忽略障礙的存在的可能性。關于這種問題，專利文件1介紹了如下技術在對車輛的后方區(qū)域進行攝影的攝像頭之外，還使用利用超聲波、無線電波、激光等的傳感器，從而，在夜間，使用傳感器信息而非攝像頭視頻來進行關于是否存在障礙的判定，并利用視頻呈現是否存在障礙。專利文件1 日本專利國內公表公報特表No. 2002-02934
發(fā)明內容
本發(fā)明所要解決的問題然而，在傳統(tǒng)技術中，因為在攝像頭之外還需要傳感器，所以存在成本增加以及車輛安裝變得麻煩的問題。此外，近年來，已經存在著如下趨勢攝像頭使用魚眼透鏡等來呈現廣角圖像。因此，存在這樣的問題為了利用激光傳感器等在寬視角的全范圍內進行掃描來檢測障礙，需要使用多個傳感器。做出本發(fā)明來解決傳統(tǒng)技術中的問題，并且本發(fā)明的目的在于提供一種即使在低照度環(huán)境中也能夠檢測出現在車輛后方的障礙并且除了攝像頭之外不需要傳感器的障礙檢測裝置，并且提供一種包括該障礙檢測裝置的障礙檢測系統(tǒng)、以及障礙檢測方法。
解決問題的手段在車輛后退時從車輛的后方區(qū)域的圖像檢測障礙的障礙檢測裝置包括差分圖像創(chuàng)建單元，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定單元，基于所述差分圖像中差分發(fā)生在圖像中的位置，判定是否存在障礙。在上述障礙檢測裝置中，當圖像差分發(fā)生在圖像中的水平線位置上方的部分中時，所述障礙判定單元可以判定存在障礙。在上述障礙檢測裝置中，所述障礙判定單元可以從所述車輛獲得所述車輛的舵角 (rudder angle)信息，并以圖像中所述車輛可能行進的車輛行進區(qū)域為目標，根據所述舵角信息判定是否存在障礙。上述障礙檢測裝置可以從所述車輛獲得有關所述車輛的剎車燈的開/關狀態(tài)的信息，并且，基于所述有關所述剎車燈的開/關狀態(tài)的信息，所述差分圖像創(chuàng)建單元可以創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像。在上述障礙檢測裝置中，所述差分圖像創(chuàng)建單元可以創(chuàng)建表示圖像中的紅色成分的差分的差分圖像。上述障礙檢測裝置還可以包括塊劃分單元，其將圖像劃分為多個塊，并為每個塊確定代表值，并且，所述差分圖像創(chuàng)建單元可以獲得所述車輛的剎車燈開啟時拍攝的圖像中的每個塊的代表值與所述車輛的剎車燈關閉時拍攝的圖像中的每個塊的代表值之間的差分，作為所述差分圖像，所述代表值由所述塊劃分單元確定。障礙檢測系統(tǒng)包括成像裝置，在車輛后退時對車輛的后方區(qū)域進行攝影；以及上述障礙檢測裝置，從利用所述成像裝置拍攝的圖像檢測障礙。在上述障礙檢測系統(tǒng)中，所述成像裝置可以包括曝光控制機構，所述曝光控制機構控制所述成像裝置的曝光條件，以使得剎車燈開啟時獲得的圖像與所述剎車燈關閉時獲得的圖像具有相同的曝光條件，所述圖像在差分圖像創(chuàng)建單元中創(chuàng)建差分圖像。用于在車輛后退時從所述車輛的后方區(qū)域的圖像檢測障礙的障礙檢測方法包括: 差分圖像創(chuàng)建步驟，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定步驟，基于所述差分圖像中差分發(fā)生在圖像中的位置，判定是否存在障礙。一種障礙檢測程序使得在車輛后退時從所述車輛的后方區(qū)域的圖像檢測障礙的障礙檢測裝置執(zhí)行差分圖像創(chuàng)建步驟，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定步驟，基于所述差分圖像中差分發(fā)生在圖像中的位置，判定是否存在障礙。本發(fā)明的有益效果根據本發(fā)明，為了檢測出現在車輛后方的障礙，使用成像裝置和原始安裝在車輛中的剎車燈。因此，提供了如下極佳的效果即使在低照度環(huán)境中，也能夠檢測出現在車輛后方的障礙，而不需要除了成像裝置之外的附加傳感器。如下面將描述的，本發(fā)明具有其它方面。因此，本發(fā)明的公開意在提供本發(fā)明的一部分，而不意在限制這里所描述和要求權利的本發(fā)明的范圍。


圖1是示出本發(fā)明的第一實施例的障礙檢測系統(tǒng)的示意結構的框圖。圖2是示出在本發(fā)明的實施例中、當紅色是特定顏色時提取特定顏色的方法的圖。圖3是示出本發(fā)明的實施例中的塊劃分的示例的圖。圖4A是示出本發(fā)明的實施例中劃分為塊的當前幀的圖，圖4B是示出本發(fā)明的實施例中劃分為塊的前一幀的圖，圖4C是示出本發(fā)明的實施例中的差分圖像的圖。圖5A是示出本發(fā)明的實施例中的差分圖像的圖，圖5B是示出本發(fā)明的實施例中的差分閾值處理的結果的圖。圖6A是示出在本發(fā)明的實施例中當剎車燈關閉時獲得的視頻幀的示例的圖，圖 6B是示出在本發(fā)明的實施例中當剎車燈開啟時獲得的視頻幀的示例的圖，圖6C是示出本發(fā)明的實施例中具有差分的塊的圖，圖6D是示出本發(fā)明的實施例中具有差分的塊的提取結果的圖。圖7是本發(fā)明的實施例中的障礙檢測裝置的操作流程圖。圖8是本發(fā)明的第二實施例的障礙檢測系統(tǒng)的示意結構的框圖。圖9A是示出在本發(fā)明的實施例中用于直線后退時的提取目標區(qū)域的圖，圖9B是示出在本發(fā)明的實施例中用于在方向盤向左轉的情況下后退時的提取目標區(qū)域的圖，圖9C 是示出在本發(fā)明的實施例中用于在方向盤向右轉的情況下后退時的提取目標區(qū)域的圖。
具體實施例方式下面提供本發(fā)明的詳細描述。下面描述的實施例僅僅是本發(fā)明的示例，因此本發(fā)明可以以各種方式修改。因此，下面所公開的具體結構和功能并不限定權利要求的范圍。在車輛后退時從車輛的后方區(qū)域的圖像檢測障礙的障礙檢測裝置包括差分圖像創(chuàng)建單元，創(chuàng)建車輛的剎車燈開啟時拍攝的圖像與車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定單元，基于差分圖像中差分發(fā)生在圖像中的位置來判定是否存在障礙。通過此結構，因為使用成像裝置和原始安裝在車輛中的剎車燈來檢測出現在車輛后方的障礙，所以，即使在低照度環(huán)境中，也可以在不需要除了成像裝置之外的附加傳感器的情況下檢測出現在車輛后方的障礙。在上述障礙檢測裝置中，當圖像的差分發(fā)生在圖像中的水平線位置上方的部分中時，障礙判定單元可以判定存在障礙。通過此結構，可以檢測到出現在馬路上高于某一高度的障礙。在上述障礙檢測裝置中，障礙判定單元可以從車輛獲得車輛的舵角信息，并僅以圖像中車輛可能行進的車輛行進區(qū)域為目標，根據該舵角信息判定是否存在障礙。通過此結構，在利用成像裝置拍攝的圖像中僅僅可以檢測到具有碰撞風險的障礙，并且可以警告駕駛員。上述障礙檢測裝置可以從車輛獲得有關車輛的剎車燈的開/關狀態(tài)的信息，并且，基于有關剎車燈的開/關狀態(tài)的信息，差分圖像創(chuàng)建單元可以創(chuàng)建車輛的剎車燈開啟時拍攝的圖像與車輛的剎車燈關閉時拍攝的圖像之間的差分圖像。通過此結構，可以確定在攝影期間分別在剎車燈開啟和關閉時獲得的視頻幀。在上述障礙檢測裝置中，差分圖像創(chuàng)建單元可以創(chuàng)建表示圖像中紅色成分的差分的差分圖像。通過此結構，可以防止將隨著車輛的移動而發(fā)生的圖像差分創(chuàng)建為差分圖像， 并且可以將由于剎車燈的開和關之間的差分而導致的圖像差分創(chuàng)建為差分圖像。上述障礙檢測裝置還可以包括塊劃分單元，其將圖像劃分為多個塊，并為每個塊確定代表值，并且，差分圖像創(chuàng)建單元可以獲得車輛的剎車燈開啟時拍攝的圖像中的每個塊的代表值與車輛的剎車燈關閉時拍攝的圖像中的每個塊的代表值之間的差分，作為差分圖像，所述代表值由塊劃分單元確定。通過此結構，不需要存儲視頻中的所有像素值，而僅需要存儲各個塊的代表值。因此，可以節(jié)約存儲器存儲容量，并且可以防止將圖像中的諸如噪聲成分的偶然差分創(chuàng)建為差分圖像。障礙檢測系統(tǒng)包括成像裝置，在車輛后退時對車輛的后方區(qū)域進行攝影；以及上述障礙檢測裝置，從利用成像裝置拍攝的圖像檢測障礙。通過此結構，因為使用成像裝置和原始安裝在車輛中的剎車燈來檢測出現在車輛后方的障礙，所以，即使在低照度環(huán)境中， 也可以檢測出現在車輛后方的障礙，而不需要除了成像裝置之外的附加傳感器。上述障礙檢測裝置的各種結構也可以應用到障礙檢測系統(tǒng)。在上述障礙檢測系統(tǒng)中，成像裝置可以包括曝光控制機構，所述曝光控制機構控制成像裝置的曝光條件，以使得剎車燈開啟時獲得的圖像與剎車燈關閉時獲得的圖像具有相同的曝光條件，所述圖像在差分圖像創(chuàng)建單元中創(chuàng)建差分圖像。通過此結構，可以將由于剎車燈的照射而導致發(fā)生的圖像差分創(chuàng)建為差分圖像。用于在車輛后退時從車輛的后方區(qū)域的圖像檢測障礙的障礙檢測方法包括差分圖像創(chuàng)建步驟，創(chuàng)建車輛的剎車燈開啟時拍攝的圖像與車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定步驟，基于差分圖像中差分發(fā)生在圖像中的位置來判定是否存在障礙。通過此結構，因為使用車輛的后方區(qū)域的圖像以及原始安裝在車輛中的剎車燈來檢測出現在車輛后方的障礙，所以，即使在低照度環(huán)境中，也可以檢測到出現在車輛后方的障礙，而不需要除了成像裝置之外的附加傳感器。上述障礙檢測裝置的各種結構也可以應用到障礙檢測方法。障礙檢測程序使得在車輛后退時從車輛的后方區(qū)域的圖像檢測障礙的障礙檢測裝置執(zhí)行差分圖像創(chuàng)建步驟，創(chuàng)建車輛的剎車燈開啟時拍攝的圖像與車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定步驟，基于差分圖像中差分發(fā)生在圖像中的位置來判定是否存在障礙。下面參照

本發(fā)明的實施例的障礙檢測系統(tǒng)。(第一實施例)圖1是示出第一實施例的障礙檢測系統(tǒng)的結構的圖。障礙檢測系統(tǒng)1包括攝像頭 10，用作拍攝對象并輸出視頻信號的成像裝置；以及障礙檢測裝置20，檢測障礙。在車輛后方車號牌附近的預定位置處并以預定角度安裝攝像頭10，從而攝像頭10可以對車輛的后方區(qū)域進行攝影。攝像頭10包括透鏡11、成像器件12、A/D轉換器13、以及攝像頭信號處理單元14， 并對出現在車輛后方的對象進行攝影，從而產生視頻信號。透鏡11根據從對象到成像器件 12上的光而形成像。成像器件12對形成的像進行光電轉換，并輸出模擬信號。A/D轉換器13將從成像器件12輸出的模擬信號轉換為數字信號。攝像頭信號處理單元14對經A/D轉換的數字信號進行攝像頭信號處理，以產生視頻信號。除了包括照度信號的產生、顏色信號的產生、孔徑(aperture)信號的產生等的信號處理之外，攝像頭信號處理單元14還進行一般的信號處理，包括OB減法、白平衡調節(jié)、噪聲降低等。注意，在本實施例中，攝像頭10輸出由水平640個像素乘垂直480個像素組成的視頻信號。障礙檢測裝置20包括特定顏色提取單元21、塊劃分單元22、差分圖像創(chuàng)建單元 23、差分閾值處理單元M、具有差分的塊提取單元25、障礙判定單元沈、剎車狀態(tài)改變判定單元27、倒檔(reverse)判定單元觀、前一幀視頻數據存儲存儲器四、以及前一幀剎車狀態(tài)存儲存儲器30。障礙檢測裝置20基于從攝像頭10輸入的視頻信號以及從車輛輸入的駕駛狀態(tài)信息，執(zhí)行障礙的檢測。這里，駕駛狀態(tài)信息包括剎車壓下信息和檔位(gear)選擇信息。剎車壓下信息是指示剎車燈是否通過駕駛員踩下剎車踏板而開啟的信息。檔位選擇信息是指示所選的檔位位置的信息。障礙檢測裝置20通過諸如LIN(局部互連網)或CAN(控制器區(qū)域網絡)的車內網絡來獲得這些駕駛狀態(tài)信息。特定顏色提取單元21判定從攝像頭10輸出的視頻信號中的圖像中的顏色，并從圖像中僅僅提取特定顏色的對象。在本實施例中，因為剎車燈是紅的，所以特定顏色提取單元21提取紅色的對象。當視頻信號是YUV信號時，特定顏色提取單元21通過判定作為顏色成分的UV信號值是否出現在特定顏色范圍中而判定特定顏色。圖2是示出通過UV信號值判定紅色成分的方法的示例。特定顏色提取單元21設置閾值thl和th2，它們劃分出UV顏色空間中的紅色區(qū)域。如果目標像素的UV值出現在由 thl和th2包圍的紅色區(qū)域中，則特定顏色提取單元21判定目標像素是紅色像素。如果目標像素的UV值不出現在紅色區(qū)域中，則目標像素不是紅色像素，因此使視頻中的像素值無效(例如，將像素值設為0)。通過此，視頻信號中僅僅紅色成分可以保留。圖3是示出基于塊而劃分圖像的示例。塊劃分單元22基于塊而劃分圖像，每個塊具有預定數量的像素，并且，塊劃分單元22為每個塊計算代表值。如圖3所示，塊劃分單元 22將從攝像頭10輸出的由水平640個像素乘垂直480個像素組成的圖像劃分為多個塊，每個塊總共具有64個像素，水平8個像素乘垂直8個像素。通過塊劃分，將一幀的圖像劃分為4800個塊。塊劃分單元22為每個塊從包含在該塊中的像素計算一個代表值。這里計算的代表值用在塊劃分單元22之后執(zhí)行的處理中。對于代表值，可以使用包含在每個塊中的像素的平均值或最頻值(mode value)。特別地，當使用平均值時，因為它們提供去除包含在圖像中的噪聲成分的效果，所以對于低照度環(huán)境(諸如夜間)中的噪聲非常有效，這導致提高了檢測性能。塊劃分單元22計算的每個塊的代表值輸入到差分圖像創(chuàng)建單元23以及前一幀視頻數據存儲存儲器29。前一幀視頻數據存儲存儲器四保存一幀視頻中的各個塊的代表值。圖4A至圖4C是用于描述差分圖像的創(chuàng)建的圖。如圖4A至圖4C所示，差分圖像創(chuàng)建單元23為每個塊確定由塊劃分單元22計算的每個塊的代表值(圖4A)與存儲在前一幀視頻數據存儲存儲器四中的過去幀(前一幀)中的每個塊的代表值(圖4B)之間的差分，并由此創(chuàng)建差分圖像(圖4C)。即，要被確定的不同幀之間的代表值的差分的數量與塊的數量相同。通過獲取不同幀之間的差分而創(chuàng)建差分圖像，可以獲知兩個幀之間的圖像改
差分圖像創(chuàng)建單元23不對所有幀都創(chuàng)建幀間的差分圖像，而是僅當剎車狀態(tài)已經改變時才創(chuàng)建幀間的差分圖像。為了這么做，障礙檢測裝置20從車輛獲得剎車壓下信息，并將剎車壓下信息輸入到剎車狀態(tài)改變判定單元27，并將剎車壓下信息存儲在前一幀剎車狀態(tài)存儲存儲器30中。剎車狀態(tài)改變判定單元27通過將從車輛獲得的當前剎車狀態(tài)與存儲在前一幀剎車狀態(tài)存儲存儲器30中的過去剎車狀態(tài)進行比較而判定是否存在剎車狀態(tài)的改變。具體地，當狀態(tài)從駕駛員壓下剎車踏板的狀態(tài)改變到剎車踏板未被壓下的狀態(tài)時，以及相反地，當狀態(tài)從剎車踏板未被壓下的狀態(tài)改變到剎車踏板被壓下的狀態(tài)時，剎車狀態(tài)改變判定單元27判定已經存在剎車狀態(tài)的改變。當已經存在剎車狀態(tài)的改變時，剎車狀態(tài)改變判定單元27通知差分圖像創(chuàng)建單元23。當差分圖像創(chuàng)建單元23接收到已經存在剎車狀態(tài)的改變的通知時，差分圖像創(chuàng)建單元23以上述方式創(chuàng)建從塊劃分單元22輸入的當前幀與存儲在前一幀視頻數據存儲存儲器四中的過去幀之間的差分圖像。這里，前一幀視頻數據存儲存儲器四和前一幀剎車狀態(tài)存儲存儲器30分別存儲同一幀的視頻數據和剎車狀態(tài)。因此，前一幀剎車狀態(tài)存儲存儲器30為存儲在前一幀視頻數據存儲存儲器四中的幀，存儲有關是在剎車被壓下的情況下(剎車燈開啟)進行了攝影、還是在剎車未被壓下的情況下(剎車燈關閉)進行了攝影的信息。通過此，差分圖像創(chuàng)建單元23可以計算由于剎車燈的照射狀態(tài)而導致發(fā)生的圖像差分，并可以防止在不存在障礙的情形中錯誤地檢測障礙，這是因為，差分圖像創(chuàng)建單元23 不將由于車體的移動或對象的移動而導致發(fā)生的圖像差分考慮為處理目標，而與車燈的狀態(tài)無關。差分閾值處理單元M對由差分圖像創(chuàng)建單元23創(chuàng)建的差分圖像執(zhí)行差分閾值處理。具體地，差分閾值處理單元M為差分圖像的每個塊執(zhí)行對差分值的差分閾值處理。這里，差分閾值處理是這樣的處理判定每個塊的差分值大于還是小于預定閾值diffTH，并且如果差分值大于或等于閾值difTTH，則將該塊判定為具有差分的塊(有差分的塊)，而如果差分值小于閾值diffTH，則判定該塊為不具有差分的塊(沒有差分的塊)。圖5A和圖5B是用于描述差分閾值處理的具體示例的示意圖。當對所計算的各個塊的差分值(如圖5A中所示)執(zhí)行具有閾值diffTH = 150的差分閾值處理時，在具有差分的塊和不具有差分的塊之間區(qū)別差分圖像中的塊，如圖5B中所示。例如，通過適當地調節(jié)閾值diffTH，可以消除由于圖像中的噪聲成分而導致發(fā)生的非常小的差分、或者幀間的通過駕駛車輛而引起的對象位移而導致的非常小的差分。因此，可以合適地提取由于剎車燈的照射改變而導致發(fā)生的圖像差分。具有差分的塊提取單元25根據由差分閾值處理單元M執(zhí)行的閾值處理的結果來提取具有差分的塊，其中，僅僅將視頻幀中需要檢測障礙的區(qū)域設置為提取目標區(qū)域。在本實施例中，因為目的是檢測出現在馬路上的高于某一高度的障礙，所以具有差分的塊提取單元25檢測圖像中的水平線，并將作為在水平線位置上方的部分的區(qū)域設置為提取目標區(qū)域。圖6A至圖6D是用于描述由具有差分的塊提取單元25執(zhí)行的具有差分的塊的提取處理的圖。圖6A至圖6D示出了在馬路R上出現行人P(障礙)的情形下提取具有差分的塊的示例。圖6A示出了在剎車燈關閉時所攝影的視頻幀，圖6B示出了在剎車燈開啟時所攝影的視頻幀。圖6B中的陰影部分表示通過剎車燈的開啟而已經改變亮度的區(qū)域。在圖6B的示例中，剎車燈照射道路R的一部分以及行人P。圖6C示出了通過將視頻幀劃分為塊并接著獲取圖6A中的視頻幀與圖6B中的視頻幀之間的差分而執(zhí)行的差分閾值處理的結果。如圖6C中所示，通過切換剎車燈的開啟和關閉，在不是障礙的道路R的區(qū)域中也發(fā)生差分。因此，具有差分的塊提取單元25從圖 6C中所示的結果中僅僅提取出現在水平線H上方的區(qū)域(提取目標區(qū)域)中的那些具有差分的塊，而不考慮視頻中在水平線H下方的區(qū)域，即，排除出現在水平線H下方的區(qū)域中的那些具有差分的塊。圖6D中示出了提取的結果，并且僅僅保留具有由于作為障礙的行人 P (的頭部)而導致發(fā)生的差分的那些塊。假設行人P未出現在圖6A至圖6D中的情況。在圖6C中，所有具有差分的塊都出現在水平線H下方的區(qū)域中，從而導致最終未提取到具有差分的塊。障礙判定單元沈基于由具有差分的塊提取單元25所獲得的提取結果以及來自倒檔判定單元觀的輸出，進行關于是否存在障礙的最終判定。倒檔判定單元觀從車輛獲得當前的檔位選擇信息，以判定檔位是否處于倒檔。在當前選擇的檔位處于倒檔并且由具有差分的塊提取單元25獲得的提取結果有具有差分的塊時，障礙判定單元沈判定存在障礙。將使用圖7描述以上述方式構成的障礙檢測系統(tǒng)1中的障礙檢測裝置20的操作。 障礙檢測裝置20從攝像頭10逐幀地接受視頻信號作為輸入(步驟S70)。特定顏色提取單元21從幀圖像中提取紅色的對象(步驟S71)。然后，塊劃分單元22將一幀的視頻信號劃分為預定大小的塊，并計算包含在每個塊中的像素的紅色成分的平均值，作為每個塊的代表值(步驟S7》。接著，將一幀中的各個塊的代表值輸入到差分圖像創(chuàng)建單元23，并將它們保存在前一幀視頻數據存儲存儲器29中(步驟S73)。對從攝像頭10輸入的每個一幀的視頻信號執(zhí)行這些處理，直到剎車狀態(tài)發(fā)生改變?yōu)橹埂＞唧w地，判定剎車狀態(tài)是否已改變(步驟S74)。如果沒有改變(步驟S74中的 “否”)，則處理返回到步驟S70，并且為下一幀的視頻信號重復步驟S70至S73。如果已經存在剎車狀態(tài)的改變(步驟S74中的“是”)，則為每個塊確定剎車狀態(tài)改變后所獲得的幀與存儲在前一幀視頻數據存儲存儲器四中的剎車狀態(tài)改變前所獲得的幀之間的差分值(即，創(chuàng)建差分圖像)(步驟S75)。接著，對每個塊執(zhí)行差分閾值處理，其中， 將具有大于或等于預定閾值的差分值的塊判定為具有差分的塊，而將具有小于預定閾值的差分值的塊判定為不具有差分的塊(步驟S76)。接著，通過從圖像中水平線H上方的區(qū)域(提取目標區(qū)域)提取具有差分的塊，判定在提取目標區(qū)域中是否存在具有差分的塊(步驟S77)。如果在提取目標區(qū)域中存在具有差分的塊(步驟S77中的“是”)，則基于檔位選擇信息判定檔位是否處于倒檔(步驟S78)。 在步驟S78，如果檔位處于倒檔(步驟S78中的“是”)，則輸出指示存在障礙的檢測結果(步驟S79)。在步驟S77如果在提取目標區(qū)域中不存在具有差分的塊(步驟S77中的“否”)， 并且在步驟S78如果檔位不處于倒檔(步驟S78中的“否”)，則不輸出障礙檢測結果。根據第一實施例的這種障礙檢測系統(tǒng)，通過使用剎車燈開啟時與剎車燈關閉時之間的圖像差分檢測夜間出現在車輛后方的障礙。當車輛后退時，輸出車輛后方區(qū)域的視頻， 并且同時，向駕駛員展示視頻中呈現的障礙的存在與否。(第二實施例)
下面將參照附圖描述本發(fā)明的第二實施例的障礙檢測系統(tǒng)。圖8是示出第二實施例的障礙檢測系統(tǒng)的結構的圖。障礙檢測系統(tǒng)2包括攝像頭100，用作拍攝對象并從而產生視頻信號的成像裝置；以及障礙檢測裝置200，檢測障礙。 在車輛后方車號牌附近的預定位置處并以預定角度安裝攝像頭100。在本實施例的障礙檢測系統(tǒng)2中，用與第一實施例的障礙檢測系統(tǒng)1中的元素相同的附圖標記表示的元素具有與第一實施例的障礙檢測系統(tǒng)1的對應元素相同的結構。攝像頭100包括透鏡11、光圈15、成像器件12、A/D轉換器13、攝像頭信號處理單元14、曝光參數計算單元16、曝光參數選擇單元17、曝光條件調節(jié)單元18、以及前一幀曝光參數存儲存儲器19。攝像頭100對在車輛后方的對象進行攝影，并由此產生視頻信號。通過光圈15調節(jié)已經穿過透鏡11的光量，并在成像器件12上形成像。成像器件12對形成的像進行光電轉換，并輸出模擬信號。A/D轉換器13將從成像器件12輸出的模擬信號轉換為數字信號。攝像頭信號處理單元14對經A/D轉換的數字信號執(zhí)行攝像頭信號處理，以產生視頻信號。障礙檢測裝置200包括特定顏色提取單元21、塊劃分單元22、差分圖像創(chuàng)建單元 23、差分閾值處理單元M、具有差分的塊提取單元25、障礙判定單元沈、剎車狀態(tài)改變判定單元27、倒檔判定單元觀、前一幀視頻數據存儲存儲器29、以及前一幀剎車狀態(tài)存儲存儲器30。障礙檢測裝置200基于從攝像頭100輸出的視頻信號以及駕駛狀態(tài)信息，執(zhí)行障礙的檢測。本實施例的駕駛狀態(tài)信息除了包括剎車壓下信息和檔位選擇信息之外，還包括舵角信息。舵角信息是指示方向盤或輪胎的轉向角的信息，并且是指示車輛的行進方向的信肩、ο在本實施例中，下面將特別描述與第一實施例不同的部分。與第一實施例相比，本實施例的特征在于與障礙檢測裝置200對障礙的檢測協(xié)力地控制攝像頭100的曝光條件， 以及，根據車輛的舵角，從中提取具有差分的塊的區(qū)域是可變的，下面將順序描述它們。本實施例的障礙檢測系統(tǒng)2具有用于與障礙檢測裝置200對障礙的檢測協(xié)力地控制攝像頭100的曝光條件的結構(曝光控制機構)。首先，將描述曝光控制。曝光控制是指對成像裝置的曝光條件進行的調節(jié)，以便獲得由成像器件12接收的來自對象的適當光量。 在曝光控制中，例如，以一幀中所有像素的像素值的平均值或出現在屏幕中心的像素的像素值的平均值作為曝光量，調節(jié)曝光條件以使得曝光量具有適當的值。在曝光控制中，預先確定預定的曝光量作為目標值。如果用于當前視頻幀的曝光量小于目標值，則調節(jié)曝光條件以增加曝光量。相反，如果曝光量大于目標值，則調節(jié)曝光量以降低曝光量。可以通過調節(jié)光圈15的孔徑大小或調節(jié)光量在成像器件12中的放大增益，來進行對曝光條件的調節(jié)。具體地，當圖像太暗時，張開光圈15以及/或者提高光量在成像器件12中的放大增益，以使圖像變亮。相反，當圖像太亮時，使光圈15變窄以及/或者降低光量在成像器件12中的放大增益，以使圖像變暗。在本發(fā)明的障礙檢測系統(tǒng)2中，攝像頭100作為曝光控制機構包括曝光參數計算單元16、曝光參數選擇單元17、曝光條件調節(jié)單元18、以及前一幀曝光參數存儲存儲器19。 通過攝像頭100執(zhí)行上述曝光控制，攝像頭100向駕駛員提供可舒適地觀看的視頻。然而， 當創(chuàng)建剎車燈開啟時拍攝的圖像與剎車燈關閉時拍攝的圖像之間的差分圖像時，不期望執(zhí)行諸如上述的曝光控制。這是因為，當在剎車燈開啟時獲得的幀與剎車燈關閉時獲得的幀之間執(zhí)行曝光控制時，根據對曝光條件的調節(jié)量，相對大的差分也可能發(fā)生在未被剎車燈照射的對象部分中，因此，可能將不是障礙的對象錯誤地檢測為障礙。因此，在本實施例中， 在常規(guī)時間執(zhí)行諸如上述的曝光控制，而在創(chuàng)建差分圖像時不執(zhí)行諸如上述的曝光控制。 即，在剎車燈開啟時獲得的幀與剎車燈關閉時獲得的幀之間創(chuàng)建差分圖像，但在剎車燈開啟時獲得的幀與剎車燈關閉時獲得的幀之間不執(zhí)行曝光控制，使得這兩個幀具有相同的曝光條件。下面將描述用于此的結構。曝光參數計算單元16基于經A/D轉換的數字信號確定曝光參數，從而以適當的亮度拍攝對象。這里，曝光參數是用于確定攝像頭100的曝光條件的參數。曝光參數包括用于光圈15的孔徑大小的參數、以及用于光量在成像器件12中的放大增益量的參數。注意， 曝光參數可以僅包括用于光圈15的孔徑大小的參數，或者可以僅包括用于光量在成像器件12中的放大增益的參數。將由曝光參數計算單元16確定的曝光參數發(fā)送到曝光參數選擇單元17和前一幀曝光參數存儲存儲器19。前一幀曝光參數存儲存儲器19基于一幀視頻信號而存儲曝光參數。從剎車狀態(tài)改變判定單元27向曝光參數選擇單元17通知剎車狀態(tài)的改變?；趶膭x車狀態(tài)改變判定單元27通知的有關剎車狀態(tài)的改變的信息，曝光參數選擇單元17選擇從曝光參數計算單元16輸入的曝光參數(S卩，在當前幀中確定的曝光參數)與從前一幀曝光參數存儲存儲器19輸入的曝光參數(即，在過去的幀中確定的曝光參數)中的一個。 具體地，當剎車狀態(tài)改變判定單元27判定剎車狀態(tài)已經改變、并且曝光參數選擇單元17接收到有關剎車狀態(tài)改變的通知時，曝光參數選擇單元17選擇來自前一幀曝光參數存儲存儲器19的曝光參數。否則，曝光參數選擇單元17選擇來自曝光參數計算單元16的曝光參數。即，當剎車燈的開/關狀態(tài)已經改變時，曝光參數選擇單元17為改變后的視頻幀選擇與改變前的視頻幀相同的曝光參數。曝光參數選擇單元17將所選擇的曝光參數輸出到曝光條件調節(jié)單元18。曝光條件調節(jié)單元18基于由曝光參數選擇單元17選擇的曝光參數，通過增大或減小光圈15的孔徑大小或者光量在成像器件12中的放大增益量，來調節(jié)曝光量。通過此， 可以在剎車燈的開/關狀態(tài)已經改變之前和之后固定曝光參數。因此，不出現由于曝光調節(jié)而導致發(fā)生的視頻幀之間的差分，這使得更易于恰當地確定由于剎車燈的照射的改變而導致發(fā)生的視頻幀之間的差分。注意，存儲在前一幀曝光參數存儲存儲器19中的曝光參數與保存在前一幀視頻數據存儲存儲器四中的視頻幀以及存儲在前一幀剎車狀態(tài)存儲存儲器30中的有關剎車狀態(tài)的信息相關聯(lián)，因此存儲在這三個存儲存儲器中的信息是同一幀的信息。上面已經描述了與對障礙的檢測協(xié)力地執(zhí)行對曝光量的控制。下面，將描述根據舵角改變用于具有差分的塊的提取目標區(qū)域。在本實施例中， 將舵角信息從車輛輸入到具有差分的塊提取單元25。具有差分的塊提取單元25基于舵角信息，改變從中提取具有差分的塊的區(qū)域(提取目標區(qū)域)。雖然在第一實施例中水平線 H上方的區(qū)域是提取目標區(qū)域，但在本實施例中，進一步將提取目標區(qū)域縮小到特定提取區(qū)域。具體地，在本實施例中，通過使用舵角信息，具有差分的塊提取單元25根據車輛的行進方向，在水平線H上方的區(qū)域中僅僅設置局部區(qū)域作為用于具有差分的塊的提取目標區(qū)域。注意，如與剎車壓下信息和檔位選擇信息同樣地，將舵角信息作為一種駕駛狀態(tài)信息而通過車內網絡(諸如LIN或CAN)輸入到具有差分的塊提取單元25。圖9A至圖9C是示出根據方向盤的舵角改變提取目標區(qū)域的示例的圖。圖9A是示出用于直線后退(舵角為0° )時的提取目標區(qū)域的圖。當未轉動方向盤時，具有差分的塊提取單元25設置在水平線H上方并在水平中心附近的區(qū)域，作為用于具有差分的塊的提取目標區(qū)域EA。圖9B是示出用于在方向盤向左轉的情況下后退(舵角為逆時針方向上的 χ0 )時的提取目標區(qū)域的圖。當方向盤向左轉時，具有差分的塊提取單元25設置在水平線H上方并在水平中心右側的區(qū)域，作為用于具有差分的塊的提取目標區(qū)域EA。這里，因為車輛的后方區(qū)域的視頻是鏡面反轉視頻，所以，當方向盤向左轉時，車輛后退時的行進方向在屏幕的右側。圖9C是示出用于在方向盤向右轉的情況下后退(舵角為順時針方向上的x° )時的提取目標區(qū)域的圖。當方向盤向右轉時，具有差分的塊提取單元25設置在水平線H上方并在水平中心左側的區(qū)域，作為用于具有差分的塊的提取目標區(qū)域EA。當方向盤向右轉時， 車輛后退時的行進方向在屏幕的左側。根據舵角，具有差分的塊提取單元25改變用于具有差分的塊的提取目標區(qū)域EA向右或向左偏移的量。通過此結構，因為可以僅僅以車輛根據當前車輛舵角而行進的方向來檢測障礙，所以能夠實現更精確的障礙檢測。如上所述，根據包括第二實施例的障礙檢測裝置的障礙檢測系統(tǒng)，在常規(guī)時間調節(jié)曝光量以使得可以向駕駛員提供可舒適地觀看的視頻，并且當剎車燈的點亮狀態(tài)改變并且創(chuàng)建差分圖像時，在其間獲取差分的視頻幀之間不改變曝光參數，因此，可以減少由于對曝光量的調節(jié)而導致將不是障礙的對象檢測為障礙的錯誤檢測。此外，在第二實施例的曝光檢測系統(tǒng)中，根據車輛舵角改變用于具有差分的塊的提取目標區(qū)域，以便在不存在車輛碰撞的可能性的區(qū)域中不檢測障礙。因此，可以防止在不存在車輛碰撞的可能性的區(qū)域中檢測障礙，從而實現更精確的障礙檢測。雖然上面描述了本發(fā)明的第一和第二實施例，但本發(fā)明不限于這些實施例。例如，雖然上述實施例描述了從視頻幀的圖像中提取紅色成分的示例，但不一定需要提取紅色。例如，當成像裝置不具有阻擋紅外光的IR(紅外)截止濾光片時，由于紅外光的影響而導致剎車燈不總是以紅色拍攝，而在某些情況下以白色拍攝。在此情況下，如果僅以紅色成分為目標，則可能不能恰當地確定由于剎車燈而導致發(fā)生的差分。因此，按需指定要提取的顏色成分是有效的。此外，雖然在上述實施例中，塊劃分的數量是水平80個區(qū)域乘垂直60個區(qū)域，但劃分的數量不限于此。劃分的數量越大，更有可能檢測到小的障礙。此外，在上述實施例中，前一幀視頻數據的存儲不需要每幀都更新。根據成像裝置的幀速率，剎車燈開啟和關閉的切換可能不在一幀時段中完成，因此，利用具有一幀差分的差分圖像可能不能充分地確定差分。在此情況下，代替在一幀的基礎上存儲視頻數據，可以每幾個幀地存儲視頻數據。此時，依據視頻數據，也每幾個幀地存儲前一幀剎車狀態(tài)。此外，雖然在上述實施例中，具有差分的塊提取單元25檢測圖像中的水平線并確定提取目標區(qū)域，但提取目標區(qū)域可以是固定的，而與圖像無關。此外，僅僅當水平線未顯示在圖像中并因此不能提取水平線時，才可以采用固定的水平線。假設車輛在沒有障礙的水平馬路上，則剎車燈在達馬路上所達到的范圍是受限的。還考慮上述實施例的差分閾值處理，在夜間將拍攝剎車燈從馬路反射的光的塊判定為具有差分的塊的距離是受限的。因此，可以考慮剎車燈的照射角和照射強度、假定的夜間黑度、差分閾值處理中使用的閾值， 來設置固定水平線的位置。因為本發(fā)明的目的在于在車輛后退時檢測出現在車輛后方的障礙，所以僅僅當選擇倒檔時才使用檢測障礙的方法。然而，當需要在所有時間都檢測出現在車輛后方的障礙時，可以采用不使用由倒檔判定單元觀獲得的信息的結構。相對比地，可以在初始階段執(zhí)行倒檔判定。具體地，成像裝置可以引用檔位選擇信息，并僅在選擇倒檔時允許攝像頭和障礙檢測裝置工作，并且在未選擇倒檔時完全不允許攝像頭和障礙檢測裝置工作。此外，雖然在上述實施例中，通過檢測是否存在剎車踏板的壓下來間接地判定剎車燈的狀態(tài)改變，但可以直接地檢測剎車燈的狀態(tài)改變，而不是通過檢測是否存在剎車踏板的壓下。在此情況下，當已經存在剎車燈的狀態(tài)改變時，即，當剎車燈已經從開啟變?yōu)殛P閉或從關閉變?yōu)殚_啟時，差分圖像創(chuàng)建單元23計算在剎車燈的各個狀態(tài)中獲得的視頻幀之間的差分。此外，雖然在上述實施例中，將成像裝置和障礙檢測裝置構成為分離單元并整體上組成障礙檢測系統(tǒng)，但可以將成像裝置和障礙檢測裝置構成為單個單元。在本申請中，由成像裝置和障礙檢測裝置組成的這樣的單個單元也稱為障礙檢測系統(tǒng)。雖然已經描述了此時被認為是本發(fā)明的優(yōu)選實施例的內容，但應當理解，在不偏離本發(fā)明的真正精神和范圍的情況下可以進行各種修改，并且意在在所附權利要求中覆蓋所有這樣的修改。工業(yè)實用性如上所述，根據本發(fā)明的障礙檢測系統(tǒng)使用成像裝置和原始安裝在車輛中的剎車燈來檢測出現在車輛后方的障礙。因此，障礙檢測系統(tǒng)具有如下有益效果即使在低照度環(huán)境中，也能夠在不需要除了成像裝置之外的附加傳感器的情況下檢測出現在車輛后方的障礙。因此，所述障礙檢測系統(tǒng)作為在低照度環(huán)境中檢測出現在車輛后方的障礙的障礙檢測
系統(tǒng)等是有用的。
附圖標記說明
1、2障礙檢測系統(tǒng)
10、100 攝像頭
11透鏡
12成像器件
13A/D轉換器
14攝像頭信號處理單元
15光圈
16曝光參數計算單元
17曝光參數選擇單元
18曝光條件調節(jié)單元
19前一幀曝光參數存儲
20和200 障礙檢測裝置
21特定顏色提取單元
22塊劃分單元
23:差分圖像創(chuàng)建單元24:差分閾值處理單元25 具有差分的塊提取單元26:障礙判定單元27 剎車狀態(tài)改變判定單元28:倒檔判定單元29 前一幀視頻數據存儲存儲器30 前一幀剎車狀態(tài)存儲存儲器
權利要求
1.障礙檢測裝置，在車輛后退時從所述車輛的后方區(qū)域的圖像檢測障礙，所述障礙檢測裝置包括差分圖像創(chuàng)建單元，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定單元，基于所述差分圖像中差分發(fā)生在圖像中的位置，判定是否存在障礙。
2.如權利要求1所述的障礙檢測裝置，當圖像差分發(fā)生在圖像中水平線的位置上方的部分中時，所述障礙判定單元判定存在障礙。
3.如權利要求1或2所述的障礙檢測裝置，所述障礙判定單元從所述車輛獲得所述車輛的舵角信息，并以圖像中所述車輛可能行進的車輛行進區(qū)域為目標，根據所述舵角信息判定是否存在障礙。
4.如權利要求1至3中的任一項所述的障礙檢測裝置，所述障礙檢測裝置從所述車輛獲得有關所述車輛的剎車燈的開/關狀態(tài)的信息，并且基于有關所述剎車燈的開/關狀態(tài)的信息，所述差分圖像創(chuàng)建單元創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像。
5.如權利要求1至4中的任一項所述的障礙檢測裝置，所述差分圖像創(chuàng)建單元創(chuàng)建表示圖像中的紅色成分的差分的差分圖像。
6.如權利要求1至5中的任一項所述的障礙檢測裝置，還包括塊劃分單元，將圖像劃分為多個塊，并為每個塊確定代表值，所述差分圖像創(chuàng)建單元獲得所述車輛的剎車燈開啟時拍攝的圖像中的每個塊的代表值、與所述車輛的剎車燈關閉時拍攝的圖像中的每個塊的代表值之間的差分，作為所述差分圖像，所述代表值由所述塊劃分單元確定。
7.障礙檢測系統(tǒng)，包括成像裝置，在車輛后退時對所述車輛的后方區(qū)域進行攝影；以及根據權利要求1至6中的任一項所述的障礙檢測裝置，從利用所述成像裝置拍攝的圖像檢測障礙。
8.如權利要求7所述的障礙檢測系統(tǒng)，所述成像裝置包括曝光控制機構，所述曝光控制機構控制所述成像裝置的曝光條件，以使得剎車燈開啟時獲得的圖像與所述剎車燈關閉時獲得的圖像具有相同的曝光條件，所述圖像在差分圖像創(chuàng)建單元中創(chuàng)建差分圖像。
9.障礙檢測方法，在車輛后退時從所述車輛的后方區(qū)域的圖像檢測障礙，所述方法包括差分圖像創(chuàng)建步驟，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定步驟，基于所述差分圖像中差分發(fā)生在圖像中的位置，判定是否存在障礙。
10.障礙檢測程序，使得在車輛后退時從所述車輛的后方區(qū)域的圖像檢測障礙的障礙檢測裝置執(zhí)行差分圖像創(chuàng)建步驟，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定步驟，基于所述差分圖像中差分發(fā)生在圖像中的位置，判定是否存在障礙。
全文摘要
提供了一種即使在低照度環(huán)境中也能夠在不需要除了成像裝置之外的傳感器的情況下檢測出現在車輛后方的障礙的障礙檢測裝置。障礙檢測裝置(20)在車輛后退時從所述車輛的后方區(qū)域的圖像檢測障礙。所述障礙檢測裝置(20)包括差分圖像創(chuàng)建單元(23)，創(chuàng)建所述車輛的剎車燈開啟時拍攝的圖像與所述車輛的剎車燈關閉時拍攝的圖像之間的差分圖像；以及障礙判定單元(26)，基于由差分圖像創(chuàng)建單元(23)獲得的所述差分圖像中差分發(fā)生在圖像中的位置，來判定是否存在障礙。
文檔編號H04N7/18GK102341273SQ20108001016
公開日2012年2月1日 申請日期2010年8月23日 優(yōu)先權日2010年3月2日
發(fā)明者豐田圭司, 村松洋一 申請人:松下電器產業(yè)株式會社