本發(fā)明涉及對(duì)前行車輛中處于亮燈狀態(tài)的剎車燈進(jìn)行確定的車外環(huán)境識(shí)別裝置。

背景技術(shù)：

以往，已知有檢測(cè)位于本車輛前方的前行車輛等立體物，避免與前行車輛碰撞(碰撞避免功能)、或以將與前行車輛的車間距離保持在預(yù)定的距離的方式進(jìn)行控制(acc：adaptivecruisecontrol)的技術(shù)(例如，專利文獻(xiàn)1)。這里，如果能夠設(shè)置如識(shí)別前行車輛的剎車燈(燈)是否亮燈(亮燈或滅燈)等，并推測(cè)前行車輛的減速動(dòng)作這樣的處理，則能夠進(jìn)行更加平穩(wěn)的碰撞避免功能或acc控制。

作為這樣的檢測(cè)前行車輛的剎車燈是否亮燈的技術(shù)，公開了從利用拍攝裝置拍攝的圖像來確定滿足預(yù)定的亮度條件的發(fā)光源候補(bǔ)，并根據(jù)車外環(huán)境的亮度，對(duì)與已確定的發(fā)光源候補(bǔ)的大小相關(guān)的閾值進(jìn)行變更而判定剎車燈是否亮燈的技術(shù)(例如，專利文獻(xiàn)2)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本專利第3349060號(hào)公報(bào)

專利文獻(xiàn)2：日本特開2013-109391號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

技術(shù)問題

然而，例如若在前行車輛的剎車燈罩和/或后車窗等有太陽光反射，則在利用拍攝裝置拍攝的圖像中，有太陽光反射的區(qū)域的亮度變高。在這樣的情況下，在上述的專利文獻(xiàn)2的技術(shù)中，由于不根據(jù)車外環(huán)境來改變發(fā)光源候補(bǔ)的亮度條件，因此存在將有太陽光反射的區(qū)域確定為發(fā)光源候補(bǔ)，并將該發(fā)光源候補(bǔ)誤判為亮燈狀態(tài)的剎車燈的隱患。

另一方面，也考慮了基于檢測(cè)出的發(fā)光源候補(bǔ)的亮度變化，判定剎車燈是否亮燈。然而，在剛剛確定了前行車輛之后等信息還沒被充分地積累的情況下，難以在早期進(jìn)行剎車燈是否亮燈的判定。

本發(fā)明鑒于這樣的課題，目的在于提供一種能夠在早期對(duì)處于亮燈狀態(tài)的燈進(jìn)行確定的車外環(huán)境識(shí)別裝置。

技術(shù)方案

為了解決上述問題，本發(fā)明的車外環(huán)境識(shí)別裝置的計(jì)算機(jī)作為以下功能部發(fā)揮功能：車輛確定部，基于每個(gè)由攝像裝置連續(xù)拍攝的圖像來確定前行車輛、以及該前行車輛所占的車輛區(qū)域；發(fā)光源候補(bǔ)確定部，將所確定的所述車輛區(qū)域中的發(fā)光源的候補(bǔ)確定為發(fā)光源候補(bǔ)；高光溢出發(fā)光源確定部，將所確定的所述車輛區(qū)域中的、滿足預(yù)定的高光溢出條件的區(qū)域確定為高光溢出發(fā)光源；移動(dòng)量導(dǎo)出部，導(dǎo)出所述高光溢出發(fā)光源相對(duì)于所述車輛區(qū)域在預(yù)定期間的移動(dòng)量；移動(dòng)高光溢出發(fā)光源確定部，在所述高光溢出發(fā)光源的所述移動(dòng)量為預(yù)定的移動(dòng)量閾值以上的情況下，將該高光溢出發(fā)光源確定為移動(dòng)高光溢出發(fā)光源；高光溢出范圍設(shè)定部，將相對(duì)于所述移動(dòng)高光溢出發(fā)光源的預(yù)定的范圍設(shè)定為高光溢出范圍；以及燈判定部，基于不同的條件來判定所確定的所述發(fā)光源候補(bǔ)中的、位于所述高光溢出范圍內(nèi)的發(fā)光源候補(bǔ)和位于該高光溢出范圍以外的發(fā)光源候補(bǔ)是否是亮燈狀態(tài)的燈。

另外，所述燈判定部可以基于滿足預(yù)定強(qiáng)度的顏色條件的像素?cái)?shù)或像素面積來判定所確定的所述發(fā)光源候補(bǔ)中的位于所述高光溢出范圍以外的發(fā)光源候補(bǔ)是否是亮燈狀態(tài)的燈，并基于滿足比所述顏色條件高的強(qiáng)度的顏色條件的像素?cái)?shù)或像素面積來判定位于該高光溢出范圍內(nèi)的發(fā)光源候補(bǔ)是否是亮燈狀態(tài)的燈。

另外，所述計(jì)算機(jī)還可以作為形狀判定部發(fā)揮功能，所述形狀判定部導(dǎo)出由所述高光溢出發(fā)光源確定部確定的所述高光溢出發(fā)光源的圓度，并提取所導(dǎo)出的圓度在預(yù)定的圓形閾值以上的高光溢出發(fā)光源，所述移動(dòng)量導(dǎo)出部可以導(dǎo)出由所述形狀判定部提取的高光溢出發(fā)光源的移動(dòng)量。

另外，高光溢出范圍設(shè)定部可以以所述移動(dòng)高光溢出發(fā)光源為中心來設(shè)定沿垂直方向延長而成的所述高光溢出范圍。

另外，所述計(jì)算機(jī)還可以作為面積轉(zhuǎn)換部發(fā)揮功能，所述面積轉(zhuǎn)換部針對(duì)所確定的所述發(fā)光源候補(bǔ)中的位于所述高光溢出范圍以外的發(fā)光源候補(bǔ)，對(duì)滿足所述預(yù)定強(qiáng)度的顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，并基于與前行車輛的相對(duì)距離將該像素?cái)?shù)轉(zhuǎn)換為面積；針對(duì)位于該高光溢出范圍內(nèi)的發(fā)光源候補(bǔ)，對(duì)滿足比該預(yù)定強(qiáng)度的顏色條件高的強(qiáng)度的顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，并基于與所述前行車輛的相對(duì)距離將該像素?cái)?shù)轉(zhuǎn)換為面積，在轉(zhuǎn)換而得的面積在被認(rèn)為是所述前行車輛的燈處于亮燈狀態(tài)的預(yù)定的亮燈判定閾值以上的情況下，所述燈判定部可以將該發(fā)光源候補(bǔ)判定為亮燈狀態(tài)的燈。

發(fā)明效果

根據(jù)本發(fā)明，能夠在早期確定處于亮燈狀態(tài)的燈。

附圖說明

圖1是表示環(huán)境識(shí)別系統(tǒng)的連接關(guān)系的框圖。

圖2是表示車外環(huán)境識(shí)別裝置的概要的功能的功能框圖。

圖3是用于說明彩色圖像和距離圖像的說明圖。

圖4是用于說明車輛確定部的處理的說明圖。

圖5是用于說明車輛確定部的處理的說明圖。

圖6是用于說明第一曝光形態(tài)的拍攝和第二曝光形態(tài)的拍攝的區(qū)別的說明圖。

圖7是表示顏色閾值的說明圖。

圖8是說明基于前行車輛的反射位置的高光溢出發(fā)光源的形狀的圖。

圖9是說明高光溢出范圍的圖。

圖10是示出由太陽光反射區(qū)域產(chǎn)生的發(fā)光源候補(bǔ)出現(xiàn)的比率的圖。

圖11是示出與存在于高光溢出范圍以及非高光溢出范圍的發(fā)光源候補(bǔ)對(duì)應(yīng)的顏色條件以及亮燈判定閾值的圖。

圖12是本車輛與前行車輛之間的相對(duì)距離和像素?cái)?shù)的關(guān)系的說明圖。

圖13是說明統(tǒng)計(jì)性的亮燈判定閾值的直方圖。

圖14是示出車外環(huán)境識(shí)別處理的流程的流程圖。

圖15是示出剎車燈判定處理的流程的流程圖。

符號(hào)說明

120車外環(huán)境識(shí)別裝置

164車輛確定部

166發(fā)光源候補(bǔ)確定部

168高光溢出發(fā)光源確定部

170形狀判定部

172移動(dòng)量導(dǎo)出部

174移動(dòng)高光溢出發(fā)光源確定部

176高光溢出范圍設(shè)定部

178面積轉(zhuǎn)換部

180燈判定部

具體實(shí)施方式

以下，參照附圖，對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行詳細(xì)說明。上述實(shí)施方式所示的尺寸、材料、其他具體的數(shù)值等僅是為了使發(fā)明容易理解的例示，除了有特殊說明的情況下，并不限定本發(fā)明。應(yīng)予說明，在本說明書和附圖中，通過對(duì)實(shí)際上具有相同的功能、構(gòu)成的元件標(biāo)記相同的符號(hào)，從而省略重復(fù)說明，并且對(duì)于與本發(fā)明沒有直接關(guān)系的元件省略圖示。

近年來，搭載有以下技術(shù)的車輛正在普及：通過搭載于車輛的車載照相機(jī)拍攝本車輛的前方的道路環(huán)境，基于所拍攝的圖像內(nèi)的顏色信息和/或位置信息確定前行車輛等立體物，避免與所確定的立體物碰撞的碰撞防止功能，和/或?qū)⑴c前行車輛的車間距離保持在預(yù)定的距離的自適應(yīng)巡航控制(acc：adaptivecruisecontrol)。

在上述碰撞防止功能或acc中，導(dǎo)出位于本車輛前方的立體物和與本車輛之間的相對(duì)距離，基于上述相對(duì)距離，避免與位于本車輛前方的立體物的碰撞，或在立體物為車輛(前行車輛)的情況下，以將與該前行車輛的相對(duì)距離保持在預(yù)定的距離的方式進(jìn)行控制。另外，通過加入識(shí)別前行車輛的剎車燈的亮燈狀態(tài)(亮燈或者滅燈)等，并推測(cè)前行車輛的減速動(dòng)作的處理，能夠?qū)崿F(xiàn)更加平穩(wěn)的碰撞防止功能或acc。以下，說明用于實(shí)現(xiàn)這樣的目的的環(huán)境識(shí)別系統(tǒng)，并詳細(xì)記述作為其具體的構(gòu)成元件的車外環(huán)境識(shí)別裝置。

(環(huán)境識(shí)別系統(tǒng)100)

圖1是表示環(huán)境識(shí)別系統(tǒng)100的連接關(guān)系的框圖。環(huán)境識(shí)別系統(tǒng)100構(gòu)成為包括在本車輛1內(nèi)設(shè)置的拍攝裝置110、車外環(huán)境識(shí)別裝置120和車輛控制裝置(ecu：enginecontrolunit，發(fā)動(dòng)機(jī)控制單元)130。

拍攝裝置110包括ccd(charge-coupleddevice：電荷耦合器件)和/或cmos(complementarymetal-oxidesemiconductor：互補(bǔ)金屬氧化物半導(dǎo)體)等拍攝元件而構(gòu)成，拍攝本車輛1的前方，生成由顏色值表示的彩色圖像。這里，顏色值是一個(gè)亮度(y)和兩個(gè)色差(uv)構(gòu)成的數(shù)值組、或者由三個(gè)色相(r(紅)、g(綠)、b(藍(lán)))構(gòu)成的數(shù)值組。

另外，拍攝裝置110是在本車輛1的行進(jìn)方向側(cè)以兩個(gè)拍攝裝置110各自的光軸大致平行的方式，在大致水平方向上間隔地配置。拍攝裝置110例如按每1/20秒(20fps)連續(xù)而生成拍攝本車輛1前方的檢測(cè)區(qū)域而得的圖像數(shù)據(jù)。這里，根據(jù)利用拍攝裝置110生成的圖像數(shù)據(jù)識(shí)別的確定物不僅可以是車輛、行人、信號(hào)燈、道路(行駛道路)、護(hù)欄、建筑物之類的獨(dú)立存在的立體物，還可以包括剎車燈、高位制動(dòng)燈、尾燈、方向指示燈、信號(hào)燈的各亮燈部分等能夠確定為立體物的一部分的物體。以下的實(shí)施方式的各功能部以這樣的圖像數(shù)據(jù)的更新作為契機(jī)按每幀進(jìn)行各處理。

并且，在本實(shí)施方式中，拍攝裝置110在第一曝光形態(tài)下拍攝檢測(cè)區(qū)域，生成第一圖像，第一曝光形態(tài)示出與車外環(huán)境的亮度(照度計(jì)的計(jì)測(cè)結(jié)果等)對(duì)應(yīng)的曝光時(shí)間、光圈。另外，拍攝裝置110生成能夠辨別剎車燈等確定的發(fā)光源是否正在自發(fā)光的第二圖像。作為該方法，使用動(dòng)態(tài)范圍大的拍攝元件，可以以不發(fā)光的立體物不產(chǎn)生黑色溢出(黒つぶれ)，發(fā)光源不產(chǎn)生高光溢出(白飛び)的方式進(jìn)行拍攝，也可以在曝光形態(tài)(曝光時(shí)間、光圈)與第一曝光形態(tài)不同的第二曝光形態(tài)下拍攝檢測(cè)區(qū)域，生成第二圖像。例如，如果為白天，則使第二曝光形態(tài)的曝光時(shí)間比與明亮的車外環(huán)境對(duì)應(yīng)的第一曝光形態(tài)的曝光時(shí)間短，或者縮小光圈而生成第二圖像。在本實(shí)施方式中，第一圖像和第二圖像分別作為彩色圖像使用。另外，上述第一曝光形態(tài)和第二曝光形態(tài)通過如下方式實(shí)現(xiàn)。

例如，拍攝裝置110通過按時(shí)間劃分周期性的拍攝時(shí)刻，交替進(jìn)行第一曝光形態(tài)的拍攝和第二曝光形態(tài)的拍攝，從而依次生成第一圖像和第二圖像。在此，拍攝裝置110可以按像素設(shè)置有兩個(gè)電容器，在能夠并行地將電荷充電到這兩個(gè)電容器的拍攝元件中，使利用一次曝光充電的時(shí)間不同而并行地生成曝光形態(tài)不同的兩個(gè)圖像。另外，拍攝裝置110可以在一個(gè)電容器的電荷的充電中，使時(shí)間不同而讀取兩次圖像，并行地生成曝光形態(tài)不同的兩個(gè)圖像。另外，拍攝裝置110可以由使曝光形態(tài)不同的兩組拍攝裝置構(gòu)成(這里，兩個(gè)拍攝裝置110×兩組)，從兩組拍攝裝置110分別生成圖像?？刂破毓庑螒B(tài)的曝光時(shí)間例如被適當(dāng)?shù)乜刂圃?～60msec的范圍內(nèi)。

車外環(huán)境識(shí)別裝置120從兩個(gè)拍攝裝置110分別獲取圖像數(shù)據(jù)，使用所謂圖案匹配而導(dǎo)出視差(角度差)，將基于視差而導(dǎo)出的視差信息(相當(dāng)于后述的三維的位置信息)與圖像數(shù)據(jù)進(jìn)行關(guān)聯(lián)而生成距離圖像。對(duì)彩色圖像和距離圖像如后進(jìn)行詳細(xì)描述。

另外，車外環(huán)境識(shí)別裝置120使用基于彩色圖像的顏色值和基于距離圖像的包括與本車輛1的相對(duì)距離在內(nèi)的實(shí)際空間中的三維的位置信息，將顏色值相等且三維位置信息相近的區(qū)塊彼此群組化為立體物，確定本車輛1前方的檢測(cè)區(qū)域中的立體物是否與任一確定物(例如，前行車輛)對(duì)應(yīng)。例如，通過相對(duì)距離等確定前行車輛，并且，通過顏色值判定該前行車輛的剎車燈的位置、亮燈狀態(tài)。通過這樣的處理，能夠迅速掌握由剎車燈的亮燈顯示的該車輛的減速，并用于碰撞避免控制和acc。

當(dāng)將立體物確定為前行車輛時(shí)，車外環(huán)境識(shí)別裝置120一邊追蹤該前行車輛，一邊導(dǎo)出前行車輛的相對(duì)速度、與前行車輛的相對(duì)距離等，進(jìn)行前行車輛和本車輛1發(fā)生碰撞的可能性是否高的判定。這里，在判定為碰撞的可能性高的情況下，車外環(huán)境識(shí)別裝置120將該內(nèi)容通過設(shè)置于駕駛員前方的顯示器122而向駕駛員進(jìn)行警告顯示(報(bào)告)，并且向車輛控制裝置130輸出表示該內(nèi)容的信息。

車輛控制裝置130通過方向盤132、加速踏板134、制動(dòng)踏板136接收駕駛員的操作輸入，并通過傳遞到轉(zhuǎn)向機(jī)構(gòu)142、驅(qū)動(dòng)機(jī)構(gòu)144、制動(dòng)機(jī)構(gòu)146控制本車輛1。另外，車輛控制裝置130根據(jù)車外環(huán)境識(shí)別裝置120的指示，控制轉(zhuǎn)向機(jī)構(gòu)142、驅(qū)動(dòng)機(jī)構(gòu)144、制動(dòng)機(jī)構(gòu)146。

以下，對(duì)車外環(huán)境識(shí)別裝置120的構(gòu)成進(jìn)行詳細(xì)描述。這里對(duì)本實(shí)施方式中特征性的構(gòu)成進(jìn)行詳細(xì)說明，對(duì)與本實(shí)施方式的特征無關(guān)的構(gòu)成省略說明。

(車外環(huán)境識(shí)別裝置120)

圖2是表示車外環(huán)境識(shí)別裝置120的概要的功能的功能框圖。如圖2所示，車外環(huán)境識(shí)別裝置120構(gòu)成為包括i/f部150、存儲(chǔ)部152和中央控制部154。

i/f部150是用于與拍攝裝置110和/或車輛控制裝置130進(jìn)行雙向信息交換的接口。存儲(chǔ)部152由ram、閃存、hdd等構(gòu)成，保存在以下所示的各功能部的處理所需要的各種信息，另外，暫時(shí)保存從拍攝裝置110接收的圖像數(shù)據(jù)(基于第一圖像和第二圖像的彩色圖像、距離圖像)。

中央控制部154由計(jì)算機(jī)構(gòu)成，該計(jì)算機(jī)由包括中央處理裝置(cpu)、存儲(chǔ)有程序等的rom、作為工作區(qū)域的ram等在內(nèi)的半導(dǎo)體集成電路構(gòu)成，通過系統(tǒng)總線156來控制i/f部150、存儲(chǔ)部152等。另外，在本實(shí)施方式中，中央控制部154作為圖像處理部160、位置信息導(dǎo)出部162、車輛確定部164、發(fā)光源候補(bǔ)確定部166、高光溢出發(fā)光源確定部168、形狀判定部170、移動(dòng)量導(dǎo)出部172、移動(dòng)高光溢出發(fā)光源確定部174、高光溢出范圍設(shè)定部176、面積轉(zhuǎn)換部178、燈判定部180發(fā)揮功能。以下，對(duì)這樣的功能部，基于主要的目的，按照?qǐng)D像處理、車輛確定處理、發(fā)光源候補(bǔ)確定處理、高光溢出范圍設(shè)定處理、燈判定處理這樣的順序來說明詳細(xì)的動(dòng)作。

(圖像處理)

圖像處理部160從兩個(gè)拍攝裝置110分別獲取彩色圖像的圖像數(shù)據(jù)(第一圖像和第二圖像)，并利用所謂的圖案匹配導(dǎo)出視差，圖案匹配是指從一個(gè)第一圖像檢索與從另一個(gè)第一圖像任意提取的區(qū)塊(例如水平4個(gè)像素×垂直4個(gè)像素的排列)對(duì)應(yīng)的區(qū)塊。另外，圖像處理部160針對(duì)第二圖像也使用圖案匹配而導(dǎo)出視差。這里，“水平”表示所拍攝的彩色圖像的畫面橫向，“垂直”表示所拍攝的彩色圖像的畫面縱向。

作為該圖案匹配，考慮在兩個(gè)圖像間，在表示任意的圖像位置的區(qū)塊單位中比較亮度(y色差信號(hào))。例如有獲取亮度的差值的sad(sumofabsolutedifference：絕對(duì)誤差和)、將差值平方而使用的ssd(sumofsquaredintensitydifference：差值平方和)和/或獲取從各像素的亮度減去平均值的分散值的類似度的ncc(normalizedcrosscorrelation：歸一化互相關(guān))等方法。圖像處理部160對(duì)投射到檢測(cè)區(qū)域(例如，水平600個(gè)像素×垂直180個(gè)像素)的全部的區(qū)塊進(jìn)行這樣的區(qū)塊單位的視差導(dǎo)出處理。這里，雖然將區(qū)塊設(shè)為水平4個(gè)像素×垂直4個(gè)像素，但可以任意地設(shè)定區(qū)塊內(nèi)的像素?cái)?shù)。

但是，在圖像處理部160中，雖然能夠按每個(gè)作為檢測(cè)分辨率單位的區(qū)塊導(dǎo)出視差，但無法識(shí)別該區(qū)塊是哪一個(gè)立體物的一部分。因此，基于視差導(dǎo)出的視差信息不是以立體物單位獨(dú)立導(dǎo)出，而是以檢測(cè)區(qū)域中的檢測(cè)分辨率單位(例如區(qū)塊單位)獨(dú)立導(dǎo)出。

位置信息導(dǎo)出部162基于由圖像處理部160導(dǎo)出的檢測(cè)區(qū)域內(nèi)的每個(gè)區(qū)塊(每個(gè)立體部位)的視差，使用所謂立體法，導(dǎo)出包括水平距離、高度以及相對(duì)距離在內(nèi)的三維的位置信息。這里，立體法是通過使用三角測(cè)量法，從立體部位的視差導(dǎo)出該立體部位相對(duì)于拍攝裝置110的相對(duì)距離的方法。此時(shí)，位置信息導(dǎo)出部162基于與立體部位的相對(duì)距離和距離圖像上的從與立體部位處于相同相對(duì)距離的道路表面上的點(diǎn)到立體部位為止的距離，導(dǎo)出立體部位的從道路表面起算的高度。應(yīng)予說明，將由這樣導(dǎo)出的視差信息(三維的位置信息)與圖像數(shù)據(jù)關(guān)聯(lián)而得到的圖像與上述的彩色圖像進(jìn)行區(qū)別而稱為距離圖像。

圖3是用于說明彩色圖像210和距離圖像212的說明圖。例如，通過兩個(gè)拍攝裝置110，對(duì)于檢測(cè)區(qū)域214，生成圖3(a)那樣的彩色圖像(圖像數(shù)據(jù))210。但是，這里為了容易理解，僅示意性地示出兩個(gè)彩色圖像210中的一個(gè)。在本實(shí)施方式中，圖像處理部160從這樣的彩色圖像210求得每個(gè)立體部位的視差，位置信息導(dǎo)出部162基于視差導(dǎo)出每個(gè)立體部位的三維的位置信息，形成圖3(b)那樣的距離圖像212。在距離圖像212中的各立體部位，關(guān)聯(lián)有該立體部位的視差信息。這里，為了便于說明，由黑色的點(diǎn)表示導(dǎo)出了視差信息的立體部位。在本實(shí)施方式中，分別基于第一圖像和第二圖像生成這樣的彩色圖像210和距離圖像212。因此，在本實(shí)施方式中，使用基于第一圖像的彩色圖像210、基于第一圖像的距離圖像212、基于第二圖像的彩色圖像210、基于第二圖像的距離圖像212。

(車輛確定處理)

圖4和圖5是用于說明車輛確定部164的處理的說明圖。車輛確定部164首先將基于第一圖像的距離圖像212的檢測(cè)區(qū)域214沿水平方向分割成多個(gè)分割區(qū)域216。如此，分割區(qū)域216是圖4(a)那樣的長方格形狀。這樣的長方格形狀的分割區(qū)域216原本是使例如水平寬度4個(gè)像素為一列排列成150列，但這里為了便于說明，將檢測(cè)區(qū)域214十六等分進(jìn)行說明。

接著，車輛確定部164按照分割區(qū)域216，基于位置信息，以位于道路表面的上方的全部的區(qū)塊為對(duì)象，將劃分為多個(gè)的預(yù)定距離各自所包含的相對(duì)距離進(jìn)行積分而生成直方圖(圖4(b)中，以橫向長的長方形(bar)表示)。如此，得到圖4(b)那樣的距離分布218。這里，縱向表示進(jìn)行了劃分的預(yù)定距離(距離分區(qū))，橫向表示在距離分區(qū)中各自包含相對(duì)距離的區(qū)塊個(gè)數(shù)(頻數(shù))。這里，圖4(b)是在進(jìn)行計(jì)算時(shí)的虛擬畫面，實(shí)際上與視覺上的畫面的生成不相符。車輛確定部164參照這樣導(dǎo)出的距離分布218，確定作為相當(dāng)于峰值的相對(duì)距離的代表距離(圖4(b)中，以用黑色填充的長方形表示)220。這里，相當(dāng)于峰值是指在峰值或者峰附近滿足任意的條件的值。

接下來，車輛確定部164對(duì)鄰接的分割區(qū)域216彼此之間比較，如圖5所示，將代表距離220接近的(例如，位于1m以下)分割區(qū)域216群組化而生成一個(gè)或者多個(gè)分割區(qū)域組222。此時(shí)，即使在三個(gè)以上的分割區(qū)域216中代表距離220接近的情況下，也將連續(xù)的全部的分割區(qū)域216合成分割區(qū)域組222。通過上述群組化，車輛確定部164能夠確定位于道路表面的上方的立體物。

接著，車輛確定部164以分割區(qū)域組222內(nèi)的相對(duì)距離與代表距離220相當(dāng)?shù)膮^(qū)塊為基點(diǎn)，將該區(qū)塊與水平距離的差值、高度的差值以及相對(duì)距離的差值在預(yù)先決定的范圍(例如0.1m)內(nèi)的區(qū)塊假設(shè)為對(duì)應(yīng)于相同的確定物而群組化。如此，生成假設(shè)的作為區(qū)塊組的立體物224。上述的范圍以實(shí)際空間上的距離表示，可以通過制造商、乘客設(shè)定成任意的值。另外，對(duì)于通過群組化新增加的區(qū)塊，車輛確定部164也以該區(qū)塊為基點(diǎn)，使水平距離的差值、高度的差值以及相對(duì)距離的差值處于預(yù)定范圍內(nèi)的區(qū)塊進(jìn)一步群組化。其結(jié)果能夠假設(shè)為相同的確定物的區(qū)塊全部被群組化。

另外，這里，分別獨(dú)立地判定水平距離的差值、高度的差值以及相對(duì)距離的差值，僅在均包含在預(yù)定范圍的情況下，作為相同的群組，但也可利用其他的計(jì)算來進(jìn)行。例如，也可以在水平距離的差值、高度的差值以及相對(duì)距離的差值的均方根包含于預(yù)定范圍的情況下，作為相同的群組。通過上述計(jì)算，能夠?qū)С鰠^(qū)塊彼此之間在實(shí)際空間上的正確的距離，因而能夠提高群組化精度。

接下來，如果進(jìn)行了群組化的立體物224滿足相當(dāng)于預(yù)先決定的車輛的預(yù)定的條件，則車輛確定部164將該立體物224決定為確定物“車輛”。例如，車輛確定部164在進(jìn)行了群組化的立體物224位于道路上的情況下，判定該整個(gè)立體物224的大小是否相當(dāng)于確定物“車輛”的大小，如果判定為相當(dāng)于確定物“車輛”的大小，則將該立體物224確定為確定物“車輛”。另外，車輛確定部164將確定為確定物“車輛”的立體物224在畫面上占有的矩形的區(qū)域確定為車輛區(qū)域。

這樣，在車外環(huán)境識(shí)別裝置120中，能夠從作為第一圖像的距離圖像212，提取一個(gè)或者多個(gè)立體物224作為確定物，例如車輛(前行車輛)，并能夠?qū)⒃撔畔⒂糜诟鞣N控制。例如，若檢測(cè)區(qū)域214內(nèi)的任意的立體物224被確定為車輛，則能夠進(jìn)行如下的控制，即追蹤已確定的車輛(前行車輛)，檢測(cè)相對(duì)距離、相對(duì)加速度來避免與前行車輛碰撞，或?qū)⑴c前行車輛的車間距離保持在安全的距離。為了進(jìn)一步迅速掌握這樣的前行車輛的確定、前行車輛的動(dòng)作，以下從位于車輛區(qū)域的發(fā)光源候補(bǔ)中判定亮燈狀態(tài)的剎車燈。

(發(fā)光源候補(bǔ)確定處理)

然而，第二圖像例如是在能夠辨別確定的發(fā)光源(這里，為亮燈狀態(tài)的剎車燈)的第二曝光形態(tài)下拍攝的圖像。這里，如剎車燈那樣進(jìn)行自發(fā)光的物體能夠獲得高的顏色值，不限于太陽、街燈的亮度。特別是，剎車燈在亮燈時(shí)的亮度在法規(guī)上有大致的規(guī)定，因而通過僅在以預(yù)定的亮度曝光的曝光形態(tài)(例如，短時(shí)間的曝光)下進(jìn)行拍攝，從而能夠容易地僅提取相當(dāng)于剎車燈的像素。

圖6是用于說明在第一曝光形態(tài)下拍攝和在第二曝光形態(tài)下拍攝的差別的說明圖。圖6(a)表示基于在第一曝光形態(tài)下拍攝的第一圖像的彩色圖像210，特別是，在圖6(a)的左圖中尾燈處于亮燈狀態(tài)，在圖6(a)的右圖中除了尾燈，剎車燈也處于亮燈狀態(tài)。參照?qǐng)D6(a)可知，在基于車外環(huán)境的亮度的第一曝光形態(tài)中，在剎車燈為熄滅狀態(tài)且尾燈為亮燈狀態(tài)時(shí)的尾燈位置230的顏色值和剎車燈為亮燈狀態(tài)且尾燈為亮燈狀態(tài)時(shí)的剎車燈位置232之間幾乎不產(chǎn)生顏色值的差。這是由于在曝光時(shí)間長的第一曝光形態(tài)中，尾燈和剎車燈的rgb成分全部的顏色值均已飽和。

圖6(b)表示基于在第二曝光形態(tài)下拍攝的第二圖像的彩色圖像210，特別是，在圖6(b)的左圖中尾燈處于亮燈狀態(tài)，在圖6(b)的右圖中除了尾燈，剎車燈也處于亮燈狀態(tài)。第二曝光形態(tài)設(shè)定成僅能夠獲取剎車燈處于亮燈狀態(tài)時(shí)的顏色值。因此，參照?qǐng)D6(b)可知，即使在尾燈為亮燈狀態(tài)下，在尾燈位置230也幾乎無法獲取基于其亮度的顏色值，在剎車燈為亮燈狀態(tài)時(shí)的剎車燈位置232，能夠明確地獲取高的顏色值。

在上述第二曝光形態(tài)中，優(yōu)選設(shè)定為剎車燈的顏色值的r成分在拍攝元件中處于飽和與不飽和的邊界的程度的曝光時(shí)間。拍攝裝置110由于通常動(dòng)態(tài)范圍比人窄小得多，所以若在傍晚這樣的低亮度下利用第一曝光形態(tài)拍攝，則相對(duì)于車外環(huán)境剎車燈的顏色值相對(duì)高。這樣，不僅r成分，與r成分重疊而g成分和/或b成分也飽和成為最大值(例如顏色值為255)，像素變白。因此，通過使第二曝光形態(tài)具有在剎車燈處于亮燈狀態(tài)時(shí)r成分處于飽和與不飽和的邊界的程度的曝光時(shí)間，從而不管外部的環(huán)境如何都能夠抑制對(duì)g成分、b成分的顏色值的影響，同時(shí)以最大值僅提取r成分。這樣，例如，能夠最大限度確保與尾燈的顏色值差。

具體而言，在夜間行駛時(shí)存在前行車輛的情況下，若以使亮燈狀態(tài)的剎車燈變?yōu)轭伾秶?r)“200以上”的方式設(shè)定第二曝光狀態(tài)，則亮燈狀態(tài)的尾燈例如以顏色范圍(r)“50”、顏色范圍(g)“50”、顏色范圍(b)“50”程度，顯示于基于第二圖像的彩色圖像210。與此相對(duì)，亮燈狀態(tài)的剎車燈例如以顏色范圍(r)“200以上”，顏色范圍(g)“50以下”，顏色范圍(b)“50以下”顯示于第二圖像。這樣，發(fā)光源候補(bǔ)確定部166通過基于第二圖像的彩色圖像210，能夠確定亮燈狀態(tài)的剎車燈。以下，從基于第二圖像的彩色圖像210，對(duì)將包含亮燈狀態(tài)的剎車燈的發(fā)光源的候補(bǔ)確定為發(fā)光源候補(bǔ)的發(fā)光源候補(bǔ)確定處理進(jìn)行說明。

圖7是表示顏色閾值的說明圖。在本實(shí)施方式中，例如，如圖7所示，作為用于從基于第二圖像的彩色圖像210確定亮燈狀態(tài)的剎車燈的顏色閾值，設(shè)定有“黃色(y)”“紅色(r)”“與紅色比較稍暗的紅色(wr1)”“更暗的紅色(wr2)”“最暗的紅色(wr3)”這五個(gè)等級(jí)，并且為了確定如后面詳細(xì)敘述的產(chǎn)生了高光溢出的發(fā)光源，作為高光溢出閾值而設(shè)定有顏色閾值“高光溢出”。這里將第二曝光形態(tài)的標(biāo)準(zhǔn)的快門速度設(shè)為17msec。另外，在本實(shí)施方式中，不直接使用這樣的多個(gè)顏色閾值，而采用基于多個(gè)顏色閾值的多個(gè)顏色條件。這里，作為多個(gè)顏色條件，設(shè)置有“黃色”(以下，簡稱為“第一顏色條件”)、“黃色”+“紅色”(以下，簡稱為“第二顏色條件”)、“黃色”+“紅色”+“與紅色比較稍暗的紅色”(以下，簡稱為“第三顏色條件”)、“黃色”+“紅色”+“與紅色比較稍暗的紅色”+“更暗的紅色”(以下，簡稱為“第四顏色條件”)、“黃色”+“紅色”+“與紅色比較稍暗的紅色”+“更暗的紅色”+“最暗的紅色”(以下，簡稱為“第五顏色條件”)這五個(gè)等級(jí)。這樣，將各條件設(shè)為各顏色閾值和比其強(qiáng)度(亮度)高的其他顏色閾值之和的理由是為了適當(dāng)?shù)厍蟪鰪?qiáng)度比預(yù)定的顏色閾值高的區(qū)域。

發(fā)光源候補(bǔ)確定部166從基于第二圖像的彩色圖像210的與車輛區(qū)域?qū)?yīng)的區(qū)域，以像素單位獲取三個(gè)色相(r、g、b)的顏色值。并且，至少作為“最暗的紅色”的顏色值的像素有可能是拍攝亮燈狀態(tài)的剎車燈而得到的像素，所以發(fā)光源候補(bǔ)確定部166確定顏色值滿足第五顏色條件的像素，即，“最暗的紅色”的顏色值以上的像素。應(yīng)予說明，檢測(cè)區(qū)域214為例如雨天、陰天的情況下，發(fā)光源候補(bǔ)確定部166可以以能夠獲取本來的顏色值的方式調(diào)整白平衡而獲取。

發(fā)光源候補(bǔ)確定部166在已確定的滿足第五顏色條件的像素彼此的水平距離的差值、高度的差值以及相對(duì)距離的差值處于預(yù)定范圍(例如0.1m)內(nèi)的情況下，將其多個(gè)像素群組化為一個(gè)發(fā)光源候補(bǔ)。這樣，即使構(gòu)成剎車燈的像素跨越多個(gè)，另外，即使車輛的左右的剎車燈分別由多個(gè)燈構(gòu)成的情況下，也能夠?qū)⑵渥鳛榇嬖谟谧笥业膭x車燈中的一個(gè)而分別識(shí)別。

(高光溢出范圍設(shè)定處理)

這里，根據(jù)日照條件等外部環(huán)境，在車身、號(hào)碼牌、剎車燈罩、后車窗等有太陽光、路燈光等反射，在第二圖像中，有反射光反射的區(qū)域的顏色值變高。因此，僅將已確定的發(fā)光源候補(bǔ)的顏色值與固定的閾值簡單地進(jìn)行比較，有太陽光反射的區(qū)域可能被誤判定為處于亮燈狀態(tài)的剎車燈。例如，雖然剎車燈沒有亮燈，但是有太陽光反射的區(qū)域的顏色值高于固定的閾值，導(dǎo)致有可能誤判定為剎車燈正處于亮燈狀態(tài)。

特別地，在太陽光在前行車輛反射的外部環(huán)境中，在第二圖像中的有太陽光反射的區(qū)域的顏色值變高。因此，在本實(shí)施方式中，設(shè)定被認(rèn)為是有太陽光反射的高光溢出范圍(太陽光反射而產(chǎn)生了高光溢出的高光溢出區(qū)域，以及其附近的區(qū)域)，并且將已設(shè)定的高光溢出范圍的閾值設(shè)定得比被認(rèn)為是沒有太陽光反射的非高光溢出范圍的閾值高，使得亮燈狀態(tài)的剎車燈的檢測(cè)精度提高。需要說明的是，高光溢出是表示在第二圖像中，飽和而成為白色或與白色相近的顏色的像素(像素組)。

具體地，高光溢出發(fā)光源確定部168對(duì)于車輛區(qū)域內(nèi)的像素提取顏色值滿足高光溢出顏色閾值(參考圖7)以上的像素(滿足高光溢出條件的像素)，在提取出的像素之間的水平距離的差值、高度的差值以及相對(duì)距離的差值在預(yù)定范圍(例如0.1m)內(nèi)的情況下，對(duì)該多個(gè)像素進(jìn)行群組化。然后，高光溢出發(fā)光源確定部168將進(jìn)行了群組化的像素群確定為高光溢出發(fā)光源。需要說明的是，高光溢出顏色閾值被設(shè)定為在第二圖像中被認(rèn)為是飽和的顏色值。即，高光溢出發(fā)光源是由于太陽光而在第二圖像中飽和的像素組(區(qū)域)的可能性高。需要說明的是，高光溢出發(fā)光源確定部168也可以將已確定的發(fā)光源候補(bǔ)中的具有高光溢出顏色閾值以上的像素的發(fā)光源候補(bǔ)確定為高光溢出發(fā)光源。

圖8是說明基于前行車輛的反射位置的高光溢出發(fā)光源的形狀的圖。這里，如圖8所示，在車輛區(qū)域240內(nèi)，由于后車窗為曲面，因此太陽光在后車窗反射而成的高光溢出發(fā)光源242成為大致圓形。另一方面，由于車身和號(hào)碼牌是在寬度方向上接近平面的復(fù)雜的形狀，因此太陽光在車身反射而成的高光溢出發(fā)光源244和太陽光在號(hào)碼牌反射而成的高光溢出發(fā)光源246大多由太陽光漫反射而在水平方向上成為長條狀。

因此，太陽光在車身反射而成的高光溢出發(fā)光源244和太陽光在號(hào)碼牌反射而成的高光溢出發(fā)光源246由于受到車身和號(hào)碼牌的復(fù)雜形狀的影響，從而在車輛區(qū)域240中難以確定被認(rèn)為是太陽光反射的高光溢出范圍。

因此，形狀判定部170導(dǎo)出由高光溢出發(fā)光源確定部168確定了的高光溢出發(fā)光源的圓度，僅提取所導(dǎo)出的圓度為被認(rèn)為是由后車窗反射的圓形閾值以上的高光溢出發(fā)光源。這里，圓度根據(jù)(高光溢出發(fā)光源的面積×4π)/(包圍高光溢出發(fā)光源的輪廓線的長度)²導(dǎo)出。另外，圓形閾值設(shè)定為0.7(70％)。如此，基于高光溢出發(fā)光源的形狀來將接近圓形的圓形高光溢出發(fā)光源確定為由太陽光的反射而產(chǎn)生高光溢出的發(fā)光源。

另外，在第二圖像中，亮燈狀態(tài)的剎車燈相對(duì)于車輛區(qū)域240始終處于相同的位置關(guān)系，而由太陽光的反射而顏色值變高的區(qū)域根據(jù)太陽與前行車輛以及本車輛1之間的位置關(guān)系而變化。

因此，在確定了圓形高光溢出發(fā)光源的情況下，移動(dòng)量導(dǎo)出部172追蹤圓形高光溢出發(fā)光源而導(dǎo)出圓形高光溢出發(fā)光源的移動(dòng)量。具體地，移動(dòng)量導(dǎo)出部172針對(duì)本次所獲取的第二圖像中的各個(gè)圓形高光溢出發(fā)光源分別導(dǎo)出該圓形高光溢出發(fā)光源的中心坐標(biāo)(ikc、jkc)與前次或者再前次所獲取的第二圖像中的一個(gè)或者多個(gè)圓形高光溢出發(fā)光源的中心坐標(biāo)(itc、jtc)的水平方向以及垂直方向的坐標(biāo)差(di、dj)。需要說明的是，在此，對(duì)于再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源僅用于沒有與前次所獲取的第二圖像中的圓形高光溢出發(fā)光源進(jìn)行關(guān)聯(lián)的(未進(jìn)行追蹤)的圓形高光溢出發(fā)光源。這是因?yàn)?，若再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源與前次所獲取的第二圖像中的圓形高光溢出發(fā)光源具有對(duì)應(yīng)關(guān)系，則能夠使用前次所獲取的第二圖像中的圓形高光溢出發(fā)光源來追蹤。另外，中心坐標(biāo)(ikc、jkc)、中心坐標(biāo)(itc、jtc)是第二圖像中的，從預(yù)定的原點(diǎn)位置起算的水平方向以及垂直方向的像素位置。

移動(dòng)量導(dǎo)出部172將水平方向和垂直方向的坐標(biāo)差(di、dj)在預(yù)定的閾值(tri、trj)以下且水平方向的坐標(biāo)差di與垂直方向的坐標(biāo)差dj之和(di+dj)為最小的本次所獲取的第二圖像中的圓形高光溢出發(fā)光源與前次或再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源的組合進(jìn)行關(guān)聯(lián)。需要說明的是，閾值tri例如設(shè)定為相當(dāng)于50cm的像素?cái)?shù)，閾值trj設(shè)定為相當(dāng)于閾值tri的3倍的像素?cái)?shù)(相當(dāng)于150cm的像素?cái)?shù))。

另外，移動(dòng)量導(dǎo)出部172針對(duì)本次所獲取的第二圖像中的圓形高光溢出發(fā)光源中的、沒有與前次或再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源關(guān)聯(lián)的圓形高光溢出發(fā)光源，設(shè)定為新的(沒有追蹤基礎(chǔ))圓形高光溢出發(fā)光源。

并且，移動(dòng)量導(dǎo)出部172對(duì)于再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源中的、沒有與前次或本次所獲取的第二圖像中的圓形高光溢出發(fā)光源進(jìn)行關(guān)聯(lián)的圓形高光溢出發(fā)光源，作為追蹤中斷而結(jié)束追蹤。

接著，移動(dòng)量導(dǎo)出部172對(duì)于本次所獲取的第二圖像中的圓形高光溢出發(fā)光源中的、與前次或再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源進(jìn)行了關(guān)聯(lián)的圓形高光溢出發(fā)光源，基于由位置信息導(dǎo)出部162導(dǎo)出的視差信息而導(dǎo)出包圍圓形高光溢出發(fā)光源的矩形區(qū)域的中心的三維位置(xti(t)、yti(t)、zti(t))。另外，移動(dòng)量導(dǎo)出部172基于由位置信息導(dǎo)出部162導(dǎo)出的視差信息來導(dǎo)出車輛區(qū)域240的中心的三維位置(xci(t)、yci(t)、zci(t))。

移動(dòng)量導(dǎo)出部172導(dǎo)出與車輛區(qū)域240的中心對(duì)應(yīng)的圓形高光溢出發(fā)光源的水平方向的偏移量dxi(t)＝xci(t)－xti(t)。另外，移動(dòng)量導(dǎo)出部172導(dǎo)出追蹤開始的圓形高光溢出發(fā)光源的偏移量dxi(t)的累計(jì)値，即，移動(dòng)量σddxi(t)。

在通過移動(dòng)量導(dǎo)出部172導(dǎo)出的圓形高光溢出發(fā)光源的移動(dòng)量在預(yù)定的移動(dòng)量閾值(例如，50cm)以上的情況下，高光溢出范圍設(shè)定部176確定為是由太陽光反射造成的發(fā)光源(以下，稱作移動(dòng)高光溢出發(fā)光源)。高光溢出范圍設(shè)定部176對(duì)于移動(dòng)高光溢出發(fā)光源的附近，設(shè)定被認(rèn)為是由于太陽光的反射顏色值變高的高光溢出范圍。

圖9是說明高光溢出范圍252的圖。圖10是示出由太陽光反射區(qū)域產(chǎn)生的發(fā)光源候補(bǔ)出現(xiàn)的比率的圖。具體地，如圖9(a)所示，在車輛區(qū)域240內(nèi)確定有三個(gè)發(fā)光源候補(bǔ)250a、250b、250c，將發(fā)光源候補(bǔ)250a確定為圓形高光溢出發(fā)光源。如圖9(b)、圖9(c)所示，發(fā)光源候補(bǔ)(圓形高光溢出發(fā)光源)250a隨著時(shí)間的經(jīng)過(在多個(gè)幀期間)而移動(dòng)，發(fā)光源候補(bǔ)250a被確定為移動(dòng)高光溢出發(fā)光源。

在這樣的情況下，如圖9(d)所示，高光溢出范圍設(shè)定部176將發(fā)光源候補(bǔ)(移動(dòng)高光溢出發(fā)光源)250a的水平方向的中央作為基準(zhǔn)，設(shè)定預(yù)定寬度的沿垂直方向延長而成的高光溢出范圍252。另外，高光溢出范圍設(shè)定部176將車輛區(qū)域240中的高光溢出范圍252以外的范圍設(shè)定為認(rèn)為沒有受到太陽光的反射的影響的非高光溢出范圍254。

這里，如圖10所示，通過試驗(yàn)證明了由于太陽光反射而被確定的發(fā)光源候補(bǔ)以移動(dòng)高光溢出發(fā)光源的水平方向的中央為基準(zhǔn)，沿水平方向300mm以內(nèi)出現(xiàn)的比率高，在超過300mm出現(xiàn)的比率極其低。這是因?yàn)?，車輛一般為車輛的背面呈沿寬度方向彎曲的形狀，其曲率在高度方向上幾乎沒有變化。因此，高光溢出范圍設(shè)定部176將發(fā)光源候補(bǔ)(移動(dòng)高光溢出發(fā)光源)250a的水平方向的中央作為基準(zhǔn)，設(shè)定以沿車輛區(qū)域240內(nèi)的水平方向?yàn)椤?00mm的寬度沿垂直方向延長而成的高光溢出范圍252。

在以下說明的燈判定處理中，將對(duì)位于車輛區(qū)域240內(nèi)的發(fā)光源候補(bǔ)是否為亮燈狀態(tài)的剎車燈進(jìn)行判定時(shí)使用的顏色條件以及在后詳述的亮燈判定閾值，在高光溢出范圍252和非高光溢出范圍254中設(shè)定得不同。

(燈判定處理)

圖11是示出與存在于高光溢出范圍252以及非高光溢出范圍254的發(fā)光源候補(bǔ)對(duì)應(yīng)的顏色條件以及亮燈判定閾值的圖。如后詳述，面積轉(zhuǎn)換部178使用圖11所示的顏色條件將發(fā)光源候補(bǔ)的像素?cái)?shù)轉(zhuǎn)換為面積。燈判定部180使用圖11所示的亮燈判定閾值來判定位于車輛區(qū)域240內(nèi)的發(fā)光源候補(bǔ)是否是亮燈狀態(tài)的剎車燈。

如圖11所示，在非高光溢出范圍254中，顏色條件根據(jù)與前行車輛的相對(duì)距離而不同。這是因?yàn)椋S著相對(duì)距離變長，在第二圖像中所拍攝的剎車燈的顏色值逐漸變低，由此隨著相對(duì)距離變長，降低作為顏色條件的亮燈判定閾值，來防止亮燈狀態(tài)的剎車燈根據(jù)顏色條件而被誤判定為滅燈狀態(tài)。

在本實(shí)施方式中，非高光溢出范圍254的顏色條件在相對(duì)距離為0～40m的情況下被設(shè)定為第二顏色條件，在相對(duì)距離為40～60m的情況下被設(shè)定為第三顏色條件，在相對(duì)距離為60～80m的情況下被設(shè)定為第四顏色條件，在相對(duì)距離為80m以上的情況下被設(shè)定為第五顏色條件。另外，非高光溢出范圍254的亮燈判定閾值被設(shè)定為在后詳述的亮燈判定閾值thl。

另一方面，高光溢出范圍252的顏色條件由于根據(jù)太陽光的反射顏色值變高的可能性高，因此與相對(duì)距離無關(guān)地被設(shè)定為第二顏色條件。另外，高光溢出范圍252的亮燈判定閾值被設(shè)定為比亮燈判定閾值thl高的亮燈判定閾值thh。

然而，若本車輛1與前行車輛之間的相對(duì)距離長，則滿足顏色條件的發(fā)光源候補(bǔ)變小，其像素?cái)?shù)也變少。與此相對(duì)地，若與前行車輛的相對(duì)距離短，則滿足顏色條件的發(fā)光源候補(bǔ)變大，其像素?cái)?shù)變多。因此，即使剎車燈維持亮燈狀態(tài)，滿足顏色條件的像素?cái)?shù)也根據(jù)與前行車輛的相對(duì)距離的變化而產(chǎn)生變動(dòng)。例如，即使剎車燈是亮燈狀態(tài)，滿足顏色條件的像素?cái)?shù)也根據(jù)與前行車輛的位置關(guān)系而不同，如此，雖然原本剎車燈處于亮燈狀態(tài)，滿足顏色條件的像素存在，但相對(duì)距離過長，而產(chǎn)生了其數(shù)值不滿足閾值的結(jié)果。因此，在本實(shí)施方式中，基于與前行車輛的相對(duì)距離而將像素?cái)?shù)轉(zhuǎn)換為實(shí)際的面積。

圖12是本車輛1與前行車輛之間的相對(duì)距離和像素?cái)?shù)的關(guān)系的說明圖。在圖12中，在橫軸示出相對(duì)距離，在縱軸示出預(yù)定大小的立體物所占的像素?cái)?shù)。如參照?qǐng)D12可理解的那樣，即使是相同的立體物(相同的面積)，相對(duì)距離越長，像素?cái)?shù)越少。該變化可以用函數(shù)來擬合，從相對(duì)距離0地點(diǎn)到圖12中的相對(duì)距離a地點(diǎn)為止，與相對(duì)距離成比例，a地點(diǎn)以后，與相對(duì)距離的3/2次方成比例。通常，圖像中的立體物的大小僅與其相對(duì)距離成比例，然而在發(fā)光源的情況下，收到發(fā)光的影響，發(fā)光范圍看起來較寬。因此，如圖12那樣，相對(duì)距離與像素?cái)?shù)之間的關(guān)系成為非線性。

因此，面積轉(zhuǎn)換部178對(duì)滿足基于與前行車輛的相對(duì)距離而設(shè)定的顏色條件(圖11)的像素?cái)?shù)進(jìn)行計(jì)數(shù)，根據(jù)圖12的反函數(shù)(除以圖12的像素?cái)?shù))而將滿足顏色條件的像素?cái)?shù)轉(zhuǎn)換為面積。具體地，面積轉(zhuǎn)換部178對(duì)于處于非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)，當(dāng)相對(duì)距離為0～40m時(shí)對(duì)滿足第二顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，當(dāng)相對(duì)距離為40～60m時(shí)對(duì)滿足第三顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，當(dāng)相對(duì)距離為60～80m時(shí)對(duì)滿足第四顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，當(dāng)相對(duì)距離為80m以上時(shí)對(duì)滿足第五顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)。另外，面積轉(zhuǎn)換部178對(duì)于位于高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，與相對(duì)距離無關(guān)地對(duì)滿足第二顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)。

面積轉(zhuǎn)換部178根據(jù)圖12的反函數(shù)(除以圖12的像素?cái)?shù))將計(jì)數(shù)而得的像素?cái)?shù)轉(zhuǎn)換為面積。據(jù)此，立體物的大小的變化變少，后述的燈判定部180通過將轉(zhuǎn)換而得的面積與亮燈判定閾值進(jìn)行比較，從而能夠高精度地判定處于亮燈狀態(tài)的剎車燈。

圖13是說明統(tǒng)計(jì)性的亮燈判定閾值的直方圖，是對(duì)于在第二圖像中確定為滿足預(yù)定的顏色條件的發(fā)光源候補(bǔ)的、有太陽光反射的區(qū)域的面積和亮燈狀態(tài)的剎車燈的面積，將橫軸設(shè)為頻數(shù)統(tǒng)計(jì)而得的結(jié)果。如圖13所示，在統(tǒng)計(jì)上可知有太陽光反射的區(qū)域的面積表現(xiàn)出基本上比亮燈狀態(tài)的剎車燈的面積小的值。

因此，在本實(shí)施方式中，將有太陽光反射的區(qū)域的面積與亮燈狀態(tài)的剎車燈的面積進(jìn)行區(qū)別的亮燈判定閾值thh在統(tǒng)計(jì)上預(yù)先被確定，并存儲(chǔ)于存儲(chǔ)部152。這里，雖然考慮僅使用亮燈判定閾值thh針對(duì)全部發(fā)光源候補(bǔ)來判斷是否是亮燈狀態(tài)的剎車燈，但是不足亮燈判定閾值thh的發(fā)光源候補(bǔ)中也包括很多亮燈狀態(tài)的剎車燈。因此，比亮燈判定閾值thh低的值且比亮燈狀態(tài)的剎車燈的面積小的亮燈判定閾值thl也預(yù)先在統(tǒng)計(jì)上被確定，并存儲(chǔ)于存儲(chǔ)部152。針對(duì)被認(rèn)為是由太陽光的反射而顏色值變高的高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，應(yīng)用亮燈判定閾值thh，針對(duì)被認(rèn)為是沒有發(fā)生太陽光的反射的非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)，應(yīng)用亮燈判定閾值thl。

具體地，只要位于非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)的面積為亮燈判定閾值thl以上，燈判定部180就預(yù)判定為亮燈狀態(tài)的剎車燈。另一方面，燈判定部180僅在位于高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)的面積為亮燈判定閾值thh以上的情況下，預(yù)判定為亮燈狀態(tài)的剎車燈。

燈判定部180對(duì)于預(yù)判定為亮燈狀態(tài)的剎車燈的發(fā)光源候補(bǔ)的個(gè)體，判定是否滿足高度范圍(0.3～2.0m)、水平距離的寬度范圍(0.05～0.2m)、垂直距離的寬度范圍(0.05～0.2m)的條件。并且，燈判定部180判定一對(duì)發(fā)光源候補(bǔ)的組合是否滿足水平距離上差分(1.4～1.9m)、垂直距離的差分(0.3m以下)、面積比(50～200％)的條件。燈判定部180將滿足上述條件的一對(duì)發(fā)光源候補(bǔ)判定為亮燈狀態(tài)的剎車燈。如此，僅在發(fā)光源候補(bǔ)與車輛的適當(dāng)?shù)奈恢脤?duì)應(yīng)的情況下，確定為剎車燈，根據(jù)該構(gòu)成，能夠防止將后霧燈等同等亮度的、僅有一個(gè)燈且亮燈的發(fā)光源候補(bǔ)誤識(shí)別為剎車燈。

如此，燈判定部180若判定亮燈狀態(tài)的剎車燈，則將該剎車燈和根據(jù)上述的在第一曝光狀態(tài)下拍攝的第一圖像而確定的“車輛”進(jìn)行關(guān)聯(lián)。

如上，即使高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)的顏色值根據(jù)太陽光的反射而變高、車外環(huán)境識(shí)別裝置120也針對(duì)高光溢出發(fā)光源的附近的高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，使用在非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)的顏色條件以上的高顏色條件來對(duì)像素?cái)?shù)進(jìn)行計(jì)數(shù)。據(jù)此，能夠?qū)С隹紤]了太陽光的反射的影響的面積，能夠高精度地判定亮燈狀態(tài)的剎車燈。在此，針對(duì)高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，可以使用比與非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)對(duì)應(yīng)的顏色條件高的顏色條件來對(duì)像素?cái)?shù)進(jìn)行計(jì)數(shù)。

另外，即使高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)的顏色值因太陽光的反射而變高，車外環(huán)境識(shí)別裝置120也針對(duì)高光溢出發(fā)光源的附近的高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，使用與非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)不同的高亮燈判定閾值thh來判定是否為亮燈狀態(tài)的剎車燈。據(jù)此，能夠進(jìn)行考慮了太陽光的反射的影響的判定，能夠高精度地判定亮燈狀態(tài)的剎車燈。

并且，車外環(huán)境識(shí)別裝置120無需在確定前行車輛之后持續(xù)監(jiān)測(cè)剎車燈的亮度變化，而能夠在早期判定亮燈狀態(tài)的燈。

(車外環(huán)境識(shí)別處理的流程)

接下來，對(duì)中央控制部154執(zhí)行的包括上述的圖像處理、車輛確定處理、發(fā)光源候補(bǔ)確定處理、高光溢出范圍設(shè)定處理和燈判定處理的車外環(huán)境識(shí)別處理在內(nèi)的流程進(jìn)行說明。

圖14是示出車外環(huán)境識(shí)別處理的流程的流程圖。圖15是示出剎車燈判定處理的流程的流程圖。如圖14那樣，首先，圖像處理部160從攝像裝置110取得在第一曝光形態(tài)下拍攝的第一圖像和在第二曝光形態(tài)下拍攝的第二圖像(s300)。圖像處理部160從所取得的圖像導(dǎo)出視差，位置信息導(dǎo)出部162基于所導(dǎo)出的視差導(dǎo)出每個(gè)立體部位的三維位置信息(s302)。接著，車輛確定部164基于三維位置信息從進(jìn)行了群組化的立體物中確定車輛、車輛區(qū)域，并且確定與前行車輛的相對(duì)位置(相對(duì)距離)(s304)。

接下來，發(fā)光源候補(bǔ)確定部166對(duì)是否確定有前行車輛進(jìn)行判定(s306)，若沒有確定有前行車輛(s306中的“否”)，則將取得的第二圖像的幀數(shù)n重置(s308)，結(jié)束該車外環(huán)境識(shí)別處理。

另一方面，若前行車輛被確定(s306中的“是”)，則發(fā)光源候補(bǔ)確定部166將幀數(shù)n加1(s310)，之后將構(gòu)成第二圖像的像素的顏色值滿足第五顏色條件的像素群組確定為發(fā)光源候補(bǔ)(s312)。然后，高光溢出發(fā)光源確定部168將顏色值為高光溢出閾值以上的像素群組確定為高光溢出發(fā)光源(s314)。

然后，形狀判定部170導(dǎo)出由高光溢出發(fā)光源確定部168確定的高光溢出發(fā)光源的圓度，將所導(dǎo)出的圓度為在后車窗反射的圓形閾值以上的高光溢出發(fā)光源確定為圓形高光溢出發(fā)光源(s316)。

接著，移動(dòng)量導(dǎo)出部172通過將前次或再前次所獲取的第二圖像中的圓形高光溢出發(fā)光源與本次所獲取的第二圖像中的圓形高光溢出發(fā)光源進(jìn)行關(guān)聯(lián)，從而追蹤圓形高光溢出發(fā)光源(s318)，并導(dǎo)出正在追蹤的圓形高光溢出發(fā)光源的移動(dòng)量(s320)。

然后，移動(dòng)高光溢出發(fā)光源確定部174判定幀數(shù)n是否為100以上(s322)，若幀數(shù)n不足100(s322中的“否”)，則結(jié)束該車外環(huán)境識(shí)別處理。

另一方面，若幀數(shù)n為100以上(s322中的“是”)，則高光溢出范圍設(shè)定部176判定圓形高光溢出發(fā)光源的移動(dòng)量是否為移動(dòng)量閾值以上(s324)。其結(jié)果，若圓形高光溢出發(fā)光源的移動(dòng)量為移動(dòng)量閾值以上(s324中的“是”)，則移動(dòng)高光溢出發(fā)光源確定部174將移動(dòng)量為移動(dòng)量閾值以上的圓形高光溢出發(fā)光源確定為移動(dòng)高光溢出發(fā)光源(s326)。然后，高光溢出范圍設(shè)定部176將移動(dòng)高光溢出發(fā)光源的水平方向的中央作為基準(zhǔn)，將車輛區(qū)域240內(nèi)沿水平方向±300mm設(shè)定為高光溢出范圍252(s328)。需要說明的是，高光溢出范圍設(shè)定部176在圓形高光溢出發(fā)光源的移動(dòng)量不在移動(dòng)量閾值以上(s324中的“否”)，且移動(dòng)高光溢出發(fā)光源沒有被確定的情況下，將車輛區(qū)域240整體設(shè)定為非高光溢出范圍254，另外，移動(dòng)高光溢出發(fā)光源被確定且設(shè)定了高光溢出范圍252的情況下，將車輛區(qū)域240中的沒有設(shè)定為高光溢出范圍252的范圍設(shè)定為非高光溢出范圍254。

然后，面積轉(zhuǎn)換部178以及燈判定部180進(jìn)行判定亮燈狀態(tài)的剎車燈的剎車燈判定處理(s330)，結(jié)束該車外環(huán)境識(shí)別處理。具體地，如圖15所示，面積轉(zhuǎn)換部178選擇一個(gè)確定了的未判定的發(fā)光源候補(bǔ)(s340)，判定所選擇的發(fā)光源候補(bǔ)是否在高光溢出范圍252內(nèi)(s342)。若所選擇的發(fā)光源候補(bǔ)在高光溢出范圍252內(nèi)(s342中的“是”)，則面積轉(zhuǎn)換部178對(duì)滿足第二顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，并基于與前行車輛的相對(duì)距離將像素?cái)?shù)轉(zhuǎn)換為面積(s344)。接著，燈判定部180通過將轉(zhuǎn)換而得的面積和亮燈判定閾值thh進(jìn)行比較，從而預(yù)判定是否是亮燈狀態(tài)的剎車燈(s346)。

另一方面，若所選擇的發(fā)光源候補(bǔ)不在高光溢出范圍252內(nèi)，即，在非高光溢出范圍254內(nèi)(s342中的“否”)，則面積轉(zhuǎn)換部178對(duì)滿足與相對(duì)距離對(duì)應(yīng)的顏色條件(第二顏色條件～第五顏色條件中的任一個(gè))的像素?cái)?shù)進(jìn)行計(jì)數(shù)，基于與前行車輛的相對(duì)距離將像素?cái)?shù)轉(zhuǎn)換為面積(s348)。接著，燈判定部180通過將轉(zhuǎn)換而得的面積和亮燈判定閾值thl進(jìn)行比較，從而虛擬判定是否是亮燈狀態(tài)的剎車燈(s350)。

然后，面積轉(zhuǎn)換部178判定是否存在未判定的發(fā)光源候補(bǔ)(s352)，若存在未判定的發(fā)光源(s352中的“是”)，則返回s340的處理。另一方面，若不存在未判定的發(fā)光源(s352中的“否”)，則當(dāng)預(yù)判定為亮燈狀態(tài)的剎車燈的發(fā)光源候補(bǔ)滿足位置時(shí)，燈判定部180將該發(fā)光源候補(bǔ)確定為亮燈狀態(tài)的剎車燈(s354)，結(jié)束該剎車燈判定。

以上，參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了說明，但本發(fā)明并不限于上述實(shí)施方式。本技術(shù)領(lǐng)域技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)進(jìn)行各種變化和修改，而且應(yīng)理解的是，這些變化和修改也自然地歸入本發(fā)明的技術(shù)范圍。

需要說明的是，在上述實(shí)施方式中，針對(duì)非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)以及高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，使用不同的顏色條件以及亮燈判定閾值來判定是否是亮燈狀態(tài)的剎車燈。然而，并不限于此，針對(duì)非高光溢出范圍254內(nèi)的發(fā)光源候補(bǔ)以及高光溢出范圍252內(nèi)的發(fā)光源候補(bǔ)，也可以是亮燈判定閾值相同，僅使顏色條件不同來判定是否是亮燈狀態(tài)的剎車燈，另外，也可以是顏色條件相同，僅使亮燈判定閾值不同來判定是否是亮燈狀態(tài)的剎車燈。

另外，在上述的實(shí)施方式中，對(duì)于發(fā)光源候補(bǔ)，對(duì)滿足與相對(duì)距離對(duì)應(yīng)的顏色條件的像素?cái)?shù)進(jìn)行計(jì)數(shù)，基于與前行車輛的相對(duì)距離將像素?cái)?shù)轉(zhuǎn)換為面積，通過將轉(zhuǎn)換而得的面積和亮燈判定閾值進(jìn)行比較，從而判定亮燈狀態(tài)的燈。然而，并不限于此，對(duì)于發(fā)光源候補(bǔ)，也可以通過將滿足預(yù)定的顏色條件的像素?cái)?shù)或者像素面積和亮燈判定閾值進(jìn)行比較，從而判斷亮燈狀態(tài)的燈。

另外，在上述的實(shí)施方式中，針對(duì)預(yù)判定為亮燈狀態(tài)的剎車燈的發(fā)光源候補(bǔ)來判定是否滿足位置、大小等條件，將滿足條件的發(fā)光源候補(bǔ)判定為亮燈狀態(tài)的剎車燈。然而，并不限于此，也可以將預(yù)判定為亮燈狀態(tài)的剎車燈的發(fā)光源候補(bǔ)保持判定為亮燈狀態(tài)的剎車燈不變。

另外，在上述的實(shí)施方式中，雖然設(shè)定為判定亮燈狀態(tài)的剎車燈，并不限于此，也可以設(shè)定為判定其他亮燈狀態(tài)的燈。

另外，在上述的實(shí)施方式中，在移動(dòng)高光溢出發(fā)光源被確定的情況下，針對(duì)移動(dòng)高光溢出發(fā)光源，將沿水平方向±30cm設(shè)定為高光溢出范圍252。然而，并不限于此，在移動(dòng)高光溢出發(fā)光源被確定的情況下，針對(duì)移動(dòng)高光溢出發(fā)光源，也可以將沿平方向以及垂直方向的預(yù)定的范圍(例如，±30cm)設(shè)定為高光溢出范圍。

另外，在上述的實(shí)施方式中，通過形狀判定部170導(dǎo)出高光溢出發(fā)光源的圓度，導(dǎo)出圓度在圓形閾值以上的圓形高光溢出發(fā)光源的移動(dòng)量來確定移動(dòng)高光溢出發(fā)光源，也可以導(dǎo)出全部高光溢出發(fā)光源的移動(dòng)量來確定移動(dòng)高光溢出發(fā)光源。即，也可以不導(dǎo)出高光溢出發(fā)光源的圓度。

另外，在上述的實(shí)施方式中，由包括中央處理裝置(cpu)、rom、ram等在內(nèi)的半導(dǎo)體集成電路構(gòu)成為中央控制部154。然而，并不限于此，也可以由fpga(fieldprogrammablegatearray)和/或asic(applicationspecificintegratedcircuit)等集成電路構(gòu)成。另外，也可以由一個(gè)或多個(gè)中央處理裝置、fpga、asic構(gòu)成。

另外，還提供使計(jì)算機(jī)作為車外環(huán)境識(shí)別裝置120發(fā)揮作用的程序和/或存儲(chǔ)該程序并能夠由計(jì)算機(jī)讀取的軟磁盤、光盤、dram、sram、rom、nvram、cd、dvd、bd等存儲(chǔ)介質(zhì)。這里，程序是指由任意語言和/或記錄方法記錄的數(shù)據(jù)處理單元。

另外，本說明書的車外環(huán)境識(shí)別處理的各步驟不一定沿著流程圖記載的順序地按時(shí)序進(jìn)行處理，也可以包括并列的處理或由子程序進(jìn)行的處理。

產(chǎn)業(yè)上的可利用性

本發(fā)明能夠用于對(duì)前行車輛中的亮燈狀態(tài)的剎車燈進(jìn)行確定的車外環(huán)境識(shí)別裝置。