車外環(huán)境識別裝置制造方法
【專利摘要】根據(jù)本發(fā)明可檢測出車載攝像機的光學(xué)系統(tǒng)部件或前窗玻璃中存在污漬或者污垢的同時，假使在這種情形下也能夠使用顏色信息恰當(dāng)?shù)剡M行圖像識別。車外環(huán)境識別裝置（130）具備：特定物檢測單元，基于彩色圖像檢測特定物；數(shù)據(jù)存儲單元(152)，關(guān)聯(lián)特定物和表示該特定物的顏色的亮度范圍并進行存儲；透射度降低判斷單元(172)，比較特定物在彩色圖像中的亮度和關(guān)聯(lián)到特定物的亮度范圍，以判斷位于車載攝像機的拍攝方向的透射體的透射度的降低。
【專利說明】車外環(huán)境識別裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種通過車載攝像機識別本車輛外的環(huán)境的車外環(huán)境識別裝置，尤其涉及一種檢測附著在光學(xué)系統(tǒng)部件、前窗玻璃的污潰、污垢等，同時依據(jù)檢測結(jié)果來恰當(dāng)?shù)靥幚韴D像的車外環(huán)境識別裝置。
【背景技術(shù)】
[0002]目前，已知有如下的車外環(huán)境識別裝置:通過搭載在車輛的車載攝像機來拍攝本車輛的前方的道路環(huán)境，并基于圖像中的顏色信息、位置信息檢測出信號燈、制動燈等光源(例如，專利文獻I)。
現(xiàn)有技術(shù)文獻 專利文獻
[0003]專利文獻1:日本特開2010-224925號公報
[0004]在這種利用圖像內(nèi)的顏色信息來檢測光源的情況下，假設(shè)透鏡等光學(xué)系統(tǒng)部件、位于拍攝方向的前窗玻璃等透射體上存在污潰、污垢的狀態(tài)下，太陽光(逆光)等較強環(huán)境光從拍攝方向照射進來時，環(huán)境光的顏色成分被加到拍攝的整個圖像上，導(dǎo)致圖像中的對象物與原來的顏色不同。其結(jié)果，使用顏色信息的光源的識別精度變低，或者無法進行識別。

【發(fā)明內(nèi)容】

[0005]鑒于這種問題，本發(fā)明的目的在于提供一種能夠檢測出車載攝像機的光學(xué)系統(tǒng)部件或前窗玻璃中存在污潰、污垢的同時，假使在這種情形下也能夠恰當(dāng)?shù)剡M行使用顏色信息的圖像識別的車外環(huán)境識別裝置。
[0006]為了解決上述問題，基于由車載攝像機拍攝的彩色圖像來識別本車輛外的環(huán)境的本發(fā)明的車外環(huán)境識別裝置的特征在于具備:特定物檢測單元，基于彩色圖像檢測特定物；數(shù)據(jù)存儲單元，關(guān)聯(lián)特定物和表示該特定物的顏色的亮度范圍并進行存儲；透射度降低判斷單元，比較特定物在彩色圖像中的亮度和關(guān)聯(lián)到特定物的亮度范圍，以判斷位于車載攝像機的拍攝方向的透射體的透射度的降低。
[0007]數(shù)據(jù)存儲單元還關(guān)聯(lián)特定物和該特定物原來的亮度并進行存儲，并且車外環(huán)境識別裝置還具備:補償量導(dǎo)出單元，基于特定物在彩色圖像中的亮度和關(guān)聯(lián)到特定物的原來的亮度之間的差值，導(dǎo)出補償量；亮度補償單元，基于被導(dǎo)出來的補償量，補償彩色圖像的對象部位的亮度，其中，特定物檢測單元還可以基于經(jīng)補償?shù)牟噬珗D像檢測特定物。
[0008]為了解決上述問題，基于由車載攝像機拍攝的彩色圖像來識別本車輛外的環(huán)境的本發(fā)明的另一車外環(huán)境識別裝置的特征在于具備:特定物檢測單元，基于彩色圖像檢測特定物；數(shù)據(jù)存儲單元，關(guān)聯(lián)特定物和該特定物原來的亮度并進行存儲；補償量導(dǎo)出單元，基于特定物在彩色圖像中的亮度和關(guān)聯(lián)到特定物的原來的亮度之間的差值，導(dǎo)出補償量；亮度補償單元，基于被導(dǎo)出來的補償量，補償彩色圖像的對象部位的亮度，其中，特定物檢測單元基于被補償?shù)牟噬珗D像檢測特定物。
[0009]車外環(huán)境識別裝置還可具備透射度降低檢測單元，檢測位于車載攝像機的拍攝方向的透射體的透射度的降低，其中，當(dāng)檢測到透射體的透射度降低時，補償量導(dǎo)出單元可導(dǎo)出補償量。
[0010]補償量導(dǎo)出單元可導(dǎo)出將被導(dǎo)出來的補償量除以彩色圖像的曝光時間而得出的基本補償量，亮度補償單元基于向基本補償量乘以作為補償對象的彩色圖像的曝光時間而得出的補償量，補償彩色圖像的對象部位的亮度。
[0011]補償量導(dǎo)出單元能以將彩色圖像分割為多個區(qū)域的分割區(qū)域為單位，導(dǎo)出補償量。
[0012]補償量導(dǎo)出單元可基于導(dǎo)出有補償量的分割區(qū)域的補償量，導(dǎo)出未被導(dǎo)出補償量的分割區(qū)域的補償量。
[0013]補償量導(dǎo)出單元可將時間平均值重新作為補償量，該時間平均值為基于特定物在彩色圖像中的亮度和關(guān)聯(lián)到特定物的原來的亮度之間的差值而導(dǎo)出來的補償量與在相同檢測區(qū)域或者相同分割區(qū)域中過去被導(dǎo)出來的補償量的平均值。
[0014]特定物檢測單元基于彩色圖像中的亮度的隨時間的變化，檢測特定物。
[0015]根據(jù)本發(fā)明，能夠檢測出車載攝像機的光學(xué)系統(tǒng)部件或前窗玻璃中存在污潰、污垢，假使在這種情形下也能夠使用顏色信息恰當(dāng)?shù)剡M行圖像識別。
【專利附圖】

【附圖說明】
圖1是示出環(huán)境識別系統(tǒng)的連接關(guān)系的框圖。
圖2是用于說明亮度圖像和距離圖像的說明圖。
圖3是用于說明環(huán)境識別系統(tǒng)中的環(huán)境光的影響的說明圖。
圖4是示出車外環(huán)境識別裝置的概略的功能的功能框圖。
圖5是用于說明特定物對應(yīng)表、污潰判斷表以及補償參考表的說明圖。
圖6是用于說明通過位置信息獲取單元變換為三維位置信息的說明圖。
圖7是用于說明特定物映射圖的說明圖。
圖8是用于說明透射度降低判斷單元的判斷對象的說明圖。
圖9是用于說明補償量導(dǎo)出單元的處理的說明圖。
圖10是用于說明補償量導(dǎo)出單元的處理的另一說明圖。
圖11是示出環(huán)境識別方法的整體流程的流程圖。
圖12是示出特定物映射圖生成處理的流程的流程圖。
圖13是示出群組化處理的流程的流程圖。
圖14是示出特定物確定處理的流程的流程圖。
圖15是示出透射度降低判斷處理的流程的流程圖。
圖16是示出補償量導(dǎo)出處理的流程的流程圖。
主要符號說明:
1車輛
2透射體
120 圖像處理裝置 122檢測區(qū)域
124亮度圖像
130車外環(huán)境識別裝置
152數(shù)據(jù)存儲單元
160亮度獲取單元
162位置信息獲取單元(特定物檢測單元)
164特定物初步確定單元(特定物檢測單元)
166群組化單元(特定物檢測單元)
168特定物確定單元(特定物檢測單元)
172透射度降低判斷單元
174補償量導(dǎo)出單元
176亮度補償單元
200特定物對應(yīng)表
202污潰判斷表
204補償參考表
206亮度范圍
208高度范圍
210寬度范圍
220特定物映射圖
222對象部位
230分割區(qū)域
【具體實施方式】
[0017]以下，參照附圖來詳細說明本發(fā)明的優(yōu)選實施方式。所涉及的實施方式中所示的尺寸、材料、其他具體數(shù)值等僅僅是為容易地理解發(fā)明的示例而提供的，除了特別指定的情況以外，并不能限定本發(fā)明。在此，在本說明書以及附圖中，對于具備實質(zhì)上相同的功能、結(jié)構(gòu)的要素通過賦予相同的符號的方式省略了重復(fù)性說明，而且對與本發(fā)明沒有直接關(guān)系的要素省略了圖示。
[0018](環(huán)境識別系統(tǒng)100)
圖1是示出環(huán)境識別系統(tǒng)100的連接關(guān)系的框圖。環(huán)境識別系統(tǒng)100包括設(shè)置在車輛I內(nèi)的以下部件而構(gòu)成，具體包括多個(在本實施方式中為兩個)作為車載攝像機的攝像裝置110、圖像處理裝置120、車外環(huán)境識別裝置130、車輛控制裝置140。
[0019]攝像裝置110包括電荷稱合器件(CO), Charge-Coupled Device)、互補金屬氧化半導(dǎo)體(CMOS,Complementary Metal-Oxide Semiconductor)等攝像器件,在彩色圖像(即，在像素單位)中可獲取三個色相(紅:R，綠:G，藍:B)的亮度。在本實施方式中，對顏色和亮度一視同仁，在同一個文章里包括這兩個用語時，彼此可換用另一詞句(例如，構(gòu)成顏色的亮度或者具備亮度的顏色)讀出來。在此，由攝像裝置100拍攝的彩色圖像稱作亮度圖像，以與后述的距離圖像進行區(qū)別。
[0020]并且，攝像裝置110以在車輛I的行進方向側(cè)使兩個攝像裝置100各自的光軸大致平行的方式，在大致水平方向上分開配置。攝像裝置110例如以每1/60秒一幀(60fps)的速度連續(xù)地生成對存在于車輛I前方的檢測區(qū)域的對象物進行拍攝的圖像數(shù)據(jù)。在此，對象物不僅包括車輛、信號燈、道路、護欄等獨立存在的立體物體，還包括尾燈、方向指示燈、信號燈的各個照明部分等能夠確定為立體物的部分的物體。在以下實施方式中的各個功能單元以這種圖像數(shù)據(jù)的更新為契機針對每一幀執(zhí)行各種處理。
[0021]圖像處理裝置120從兩個攝像裝置110中的每一個攝像裝置獲取圖像數(shù)據(jù)，并采用從另一個圖像數(shù)據(jù)中搜索對應(yīng)于從一個圖像數(shù)據(jù)中任意抽出的區(qū)塊(例如，水平4像素X垂直4像素的陣列)的區(qū)塊的所謂圖案匹配而導(dǎo)出視差。在此，水平是指所拍攝的圖像的畫面橫向方向，垂直是指所拍攝的圖像的畫面縱向方向。
[0022]所述圖案匹配是指，在兩個圖像數(shù)據(jù)之間，以示出任意圖像位置的區(qū)塊單位來比較亮度(Y色差信號)的方法。例如，包括求出亮度值的差值的絕對差值和(SAD，Sumof Absolute Difference)、將差值平方后使用的差值的平方和(SSD, Sum of Squaredintensity Difference)、求出從各個像素的亮度值減去了平均值的分散值的相似度的歸一化互相關(guān)(NCC, Normalized Cross Correlation)等方法。圖像處理裝置120對于被顯示在檢索區(qū)域(例如，600像素X 180像素)的全部區(qū)塊執(zhí)行這種區(qū)塊單位的視差導(dǎo)出處理。在此，將區(qū)塊設(shè)定為4像素X4像素，但區(qū)塊內(nèi)的像素數(shù)量可以任意地設(shè)定。
[0023]但是，在圖像處理裝置120中，雖然能夠?qū)ψ鳛闄z測分辨率單位的每個區(qū)塊導(dǎo)出視差，但無法識別該區(qū)塊是哪種對象物的一部分。由此，視差信息不是從對象物單位而是從檢測區(qū)域的檢測分辨率單位(例如區(qū)塊單位)中獨立地導(dǎo)出來的。在此，將如此導(dǎo)出的視差信息(相當(dāng)于后述的相對距離)映射到圖像數(shù)據(jù)的圖像稱為距離圖像。
[0024]圖2為用于說明亮度圖像124和距離圖像126的說明圖。例如，假設(shè)通過兩個攝像裝置110，針對檢測區(qū)域122生成如圖2 (a)所示的亮度圖像(圖像數(shù)據(jù))124。但是，在此為了便于理解，僅模式性地示出兩個亮度圖像124中的一個。在本實施方式中，圖像處理裝置120從這種亮度圖像124求出每個區(qū)塊的視差，從而形成圖2 (b)所示的距離圖像126。對于距離圖像126中的各個區(qū)塊來說，其區(qū)塊的視差相互關(guān)聯(lián)。在此，為了便于說明，將導(dǎo)出有視差的區(qū)塊以黑點表示。
[0025]對于視差而言，在圖像的邊緣部分(相鄰像素之間明暗的差值較大的部分)容易被確定，因此在距離圖像126中，賦予黑點的、被導(dǎo)出視差的區(qū)塊在亮度圖像124中也大多形成邊緣。因此，圖2 (a)所示的亮度圖像124和圖2 (b)所示的距離圖像126在各個對象物的輪廓上比較近似。
[0026]回到圖1，車外環(huán)境識別裝置130從圖像處理裝置120獲取亮度圖像124和距離圖像126，并使用基于亮度圖像124的亮度來確定檢測區(qū)域122中的對象物對應(yīng)于哪種特定物。并且，為了確定對象物，還使用基于距離圖像126的與車輛I之間的相對距離。此時，車外環(huán)境識別裝置130利用所謂立體視覺法將距離圖像126中的檢測區(qū)域122內(nèi)的每個區(qū)塊的視差信息變換為包括相對距離的三維位置信息。在此，立體視覺法是通過使用三角測量法，從對象物的視差導(dǎo)出該對象物相對于攝像裝置110的相對距離的方法。對于上述車外環(huán)境識別裝置130將在后面詳述。
[0027]車輛控制裝置140執(zhí)行避免本車輛與通過車外環(huán)境識別裝置130確定的對象物碰撞或使本車輛與前行車輛的車間距保持在安全距離的控制。具體來說，車輛控制裝置140通過用于檢測方向盤角度的舵角傳感器142和用于檢測車輛I的速度的車速傳感器144等獲取當(dāng)前的車輛I的行駛狀態(tài)，并通過控制致動器146使車輛I與前行車輛的車間距保持在安全距離。在此，致動器146是用于控制剎車、節(jié)氣閥、舵角等的車輛控制用致動器。而且，當(dāng)推斷出將與對象物產(chǎn)生碰撞時，車輛控制裝置140在設(shè)置于駕駛者前方的顯示器148進行相應(yīng)警告顯示(報警)，同時控制致動器146使車輛I自動地減速。上述車輛控制裝置140也可以與車外環(huán)境識別裝置130形成為一體。
[0028]圖3是用于說明環(huán)境識別系統(tǒng)100中的環(huán)境光的影響的說明圖。如同上述，在環(huán)境識別系統(tǒng)100中，攝像裝置110生成亮度圖像124，從而車外環(huán)境識別裝置130使用基于亮度圖像124的亮度來確定檢測區(qū)域122中的對象物對應(yīng)于哪種特定物。在上述亮度圖像124顯示有如在圖3中用箭頭(A)所示的發(fā)光體的光或者如用箭頭(B)所示的物體的反射光。
[0029]并且，當(dāng)攝像裝置110設(shè)置在車輛I內(nèi)時，在攝像裝置110的拍攝方向上存在前窗玻璃等透射體2，攝像裝置110經(jīng)過上述透射體2來生成亮度圖像124。因此，當(dāng)透射體2被弄臟或者變得模糊而透射度降低的情況下，由如圖3中用箭頭(C)所示的太陽光等較強的環(huán)境光從拍攝方向照射進來時，環(huán)境光將影響被拍攝的整個亮度圖像124，例如，箭頭(C)的環(huán)境光被加到箭頭(A)的發(fā)光體的光中，導(dǎo)致亮度圖像124中的對象物與原來的顏色不同。
[0030]在此，需要說明的是，這種現(xiàn)象不限于前窗玻璃中存在污潰或者污垢的情況，當(dāng)透鏡等光學(xué)系統(tǒng)中存在污潰、污垢時也會發(fā)生相同的現(xiàn)象。
[0031]在此，當(dāng)嘗試再現(xiàn)對象物的原來的亮度時，從獲取的亮度圖像124減去因箭頭(C)的環(huán)境光導(dǎo)致的影響(作為補償量)即可。針對上述補償量而言，例如以檢測出RGB的比例被預(yù)先確定的道路標(biāo)識、信號燈這種特定物為前提，通過從亮度圖像124中的特定物所對應(yīng)的對象部位的亮度中減去特定物的原來的亮度，即可求出該補償量。以下，說明上述車外環(huán)境識別裝置130的具體的構(gòu)成。
[0032](車外環(huán)境識別裝置130)
圖4是示出車外環(huán)境識別裝置130的概略的功能的功能框圖。如圖4所示，車外環(huán)境識別裝置130包括I/F單元150、數(shù)據(jù)存儲單元152、中央控制單元154。
[0033]I/F單元150是用于與圖像處理裝置120、車輛控制裝置140進行雙向信息交換的接口。數(shù)據(jù)存儲單元152由RAM、閃存、HDD等構(gòu)成，并存儲特定物對應(yīng)表、污潰判斷表、補償參考表以及以下所示的各個功能單元的處理所需的各種信息，而且，暫時存儲從圖像處理裝置120接收的亮度圖像124、距離圖像126。在此，特定物對應(yīng)表、污潰判斷表以及補償參考表的利用方法如下。
[0034]圖5是用于說明特定物對應(yīng)表200、污潰判斷表202以及補償參考表204的說明圖。在本實施方式中，首先，(I)基于亮度圖像124，使用特定物對應(yīng)表200來確定特定物。接著，(2)使用污潰判斷表202，判斷被確定的特定物是否是伴隨著污潰、污垢被檢測出來的。并且，(3)若判斷為被確定的特定物是伴隨著污潰、污垢被檢測出來的，則使用補償參考表204，導(dǎo)出作為與該特定物的原來的亮度的差值的補償量。由此導(dǎo)出的補償量可使用于同一幀中的其他特定物的檢測處理或者后續(xù)幀中的所有特定物的檢測處理。
[0035]在圖5 Ca)所示的特定物對應(yīng)表200中，針對多個特定物關(guān)聯(lián)有表示示出顏色的亮度(色彩平衡)的范圍的亮度范圍206和表示自道路表面的高度的范圍的高度范圍208和表示特定物的大小范圍的寬度范圍210。在此，作為特定物假定有“信號燈(紅)”、“信號燈(藍)”、“道路標(biāo)識(藍)”、“道路標(biāo)識(綠)”等在道路上行駛時需要視覺上確認的各種物體。但是，顯然，特定物不限于圖5 (a)所記載的物體。特定物中，例如針對特定物“信號燈(紅)”關(guān)聯(lián)有如下信息:將亮度(R)作為基準(zhǔn)值時，亮度(G)為基準(zhǔn)值(R)的0.5倍以下，亮度(B)為基準(zhǔn)值(R)的0.38倍以下，高度范圍208為4.5?7.0m、寬度范圍210為0.05?0.2m。針對特定物“道路標(biāo)識(藍)”關(guān)聯(lián)有如下信息:將亮度(B)作為基準(zhǔn)值時，亮度(R)為基準(zhǔn)值(B)的0.7倍以下，亮度(G)為基準(zhǔn)值(B)的0.8倍以下，高度范圍208為1.5?10.0m、寬度范圍210為0.3?1.0m0
[0036]并且，雖然圖中沒有示出，但是針對各特定物中還關(guān)聯(lián)有該特定物特有的條件，例如針對道路的水平位置、高度等信息。例如，針對特定物“信號燈(紅)”、“道路標(biāo)識(藍)”還關(guān)聯(lián)有如下信息:在距離圖像126的水平方向上位于道路寬度以內(nèi)，與車輛I的相對距離為40?70m，對象部位彼此之間的距離(不規(guī)則)在±lm以內(nèi)，相比與被群組化的對象部位的平均相對距離Z，與未被群組化的對象部位的平均相對距離Z還多于20m以上時視作遠方(被群組化的對象部位以外的距離為20m以上遠處)，群組內(nèi)對象部位的數(shù)量為預(yù)定數(shù)量或者在預(yù)定比例以上等。并且，當(dāng)特定物“信號燈(紅)”為由LED (發(fā)光二極管)構(gòu)成時，關(guān)聯(lián)如后述的閃爍這種動作，針對“道路標(biāo)識(藍)”還關(guān)聯(lián)有能夠判斷為藍色的部位的面積為整體的50%以上這種信息。其中，針對這種特定物的確定可使用現(xiàn)有的各種技術(shù)，例使用諸如日本特愿2009-72165等的基于實際空間上的光源的位置確定特定物的技術(shù)。
[0037]在本實施方式中，基于特定物對應(yīng)表200，在亮度圖像124內(nèi)的任意對象部位之中，滿足關(guān)于任意特定物的亮度范圍206的條件的對象部位成為特定物的候補。例如，對象部位的亮度被包括在特定物對應(yīng)表200的特定物“信號燈(紅)”的亮度范圍206時，該對象部位成為特定物“信號燈(紅)”的候補。并且，將對象部位群組化的對象物以像個特定物的形態(tài)被提取出來時，例如被群組化的對象物的大小滿足:“信號燈(紅)”的高度范圍4.5?
7.0m,寬度范圍0.05?0.2m以及“信號燈(紅)”特有的條件時，將其判斷為特定物。被判斷為特定物的對象部位通過特定物固有的識別號碼來分類。在此，對象部位假定為像素或匯集了像素的區(qū)塊，但是為了便于說明，本實施方式中決定使用像素。
[0038]并且，圖5 (b)所示的污潰判斷表202雖然由與特定物對應(yīng)表200的相同的條目來構(gòu)成，但是其亮度范圍206不同。該污潰判斷表202是用于基于在透射體上沒有污潰或污垢時某一個特定物應(yīng)該滿足的規(guī)定的亮度范圍206，將除此之外的范圍判斷為存在污潰或污垢的表。因此，例如針對特定物“信號燈(紅)”關(guān)聯(lián)有如下的信息:將亮度(R)作為基準(zhǔn)值時，亮度(G)為基準(zhǔn)值(R)的0.35倍以上，亮度(B)為基準(zhǔn)值(R)的0.2倍以上。該污潰判斷表將使用圖5 Ca)的特定物對應(yīng)表200被檢測出來的特定物作為對象，因此與特定物對應(yīng)表200的條件相配合從而在如下結(jié)果時判斷為存在污潰:亮度(G)為基準(zhǔn)值(R)的
0.35倍以上且0.5倍以下，或者亮度(B)為基準(zhǔn)值(R)的0.2倍以上且0.38倍以下時。
[0039]并且，圖5 (C)所示的補償參考表204的亮度范圍206也不同。該補償參考表204表示特定物固有的原來的亮度。因此，可用于導(dǎo)出通過污潰判斷表202被檢測出污潰的特定物的亮度和該特定物的原來的亮度之間的差值，被導(dǎo)出的差值作為補償量使用于特定物的亮度的補償。[0040]回到圖4，中央控制單元154由包括中央處理器(CPU)、存儲有程序等的ROM、作為工作區(qū)的RAM等的半導(dǎo)體集成電路構(gòu)成，并通過系統(tǒng)總線156控制I/F單元150和數(shù)據(jù)存儲單元152等。而且，在本實施方式中，中央控制單元154還具有作為亮度獲取單元160、位置信息獲取單元162、特定物初步確定單元164、群組化單元166、特定物確定單元168、透射度降低判斷單元172、補償量導(dǎo)出單元174、亮度補償單元176的功能。在此，位置信息獲取單元162、特定物初步確定單元164、群組化單元166以及特定物確定單元168具有基于特定物對應(yīng)表200并從亮度圖像124檢測出特定物的特定物檢測單元的功能。
[0041]亮度獲取單元160從接收的亮度圖像124中，以對象部位(像素)為單位來獲取亮度(像素單位中三個色相(紅(R)、綠(G)、藍(B))的亮度)。并且，當(dāng)后述的亮度補償單元176補償亮度時，亮度獲取單元160獲取被補償?shù)难a償亮度。
[0042]位置信息獲取單元162使用立體視覺法，將接收的距離圖像126中的檢測區(qū)域122內(nèi)的每個區(qū)塊的視差信息變換成包括水平距離X、高度y以及相對距離Z的三維的位置信息。在此，視差信息表示距離圖像126中的各對象部位的視差，相對于此，三維的位置信息表示實際空間中的各對象部位的相對距離的信息。因此，當(dāng)使用相對距離、高度這種用語時是指實際空間上的距離，當(dāng)使用檢測距離這種用語時是指距離圖像126上的距離。而且，當(dāng)視差信息不是以像素單位，而是以區(qū)塊單位(即多個像素單位)導(dǎo)出來時，可將該視差信息視為屬于區(qū)塊的所有像素的視差信息，并執(zhí)行像素單位的計算。
[0043]圖6是用于說明通過位置信息獲取單元162變換為三維位置信息的說明圖。位置信息獲取單元162首先將距離圖像126識別為如圖6所示的像素單位的坐標(biāo)系。這里，在圖6中，將左下角設(shè)定為原點(0，0)，橫向方向設(shè)定為i坐標(biāo)軸，縱向方向設(shè)定為j坐標(biāo)軸。因此，具有視差dp的像素能夠由像素位置1、j和視差dp表示為(i, j, dp)。
[0044]將本實施方式中的實際空間上的三維坐標(biāo)系假設(shè)為以車輛1為中心的相對坐標(biāo)系。在此，將車輛I的行進方向的右側(cè)方設(shè)定為X軸的正方向，車輛1的上方設(shè)定為Y軸的正方向，車輛I的行進方向(前方)設(shè)定為Z軸的正方向，經(jīng)過兩個攝像裝置110的中央的鉛垂線和道路表面的交點作為原點(0，0，O)。此時，假設(shè)道路為平面時，道路表面與X-Z平面(y=0) 一致。位置信息獲取單元162通過以下的數(shù)學(xué)式I~數(shù)學(xué)式3將距離圖像126上的區(qū)塊坐標(biāo)(i，j，dp)變換為實際空間上的三維的點坐標(biāo)(x，y, z)。
x = CD / 2 + z.P W.( 1-1 V)...數(shù)學(xué)式 1
y = CH+z.PW.(j — J V)...數(shù)學(xué)式 2
z = K S / d P…數(shù)學(xué)式3
在此，⑶為攝像裝置110之間的間隔(基線長度)，PW為每一個像素的視角，CH為攝像裝置110自道路表面的布置高度，IV、JV為車輛1的正面方向無限遠端的圖像上的坐標(biāo)(像素)，KS為距離系數(shù)(KS=CD/PW)。
[0045]因此，位置信息獲取單元162基于對象部位的相對距離、位于與對象部位相同的相對距離的道路表面上的點與對象部位在距離圖像126上的檢測距離，得以導(dǎo)出自道路表面的高度。
[0046]特定物初步確定單元164參照存儲在數(shù)據(jù)存儲單元152的特定物對應(yīng)表200，基于亮度獲取單元160獲取的亮度(或者補償亮度)來初步確定對應(yīng)于對象物的特定物。
[0047]具體地，特定物初步確定單元164從登記在特定物對應(yīng)表200的特定物中順序選擇任意特定物，并判斷被獲取的一個對象部位的亮度是否被包括于被順序選擇的特定物的亮度范圍206。并且，當(dāng)包括在成為對象的亮度范圍206時，向該對象部位賦予表示該特定物的識別號碼，從而制作特定物映射圖。
[0048]特定物初步確定單元164對多個對象部位中的每個對象部位順序執(zhí)行將這種對象部位各自的亮度和登記在特定物對應(yīng)表200的多個特定物的亮度范圍206之間的一系列的比較處理。在此，特定物的選擇順序按照特定物對應(yīng)表200所示的優(yōu)先順序進行。S卩，在圖5 (a)的特定物對應(yīng)表200的示例中，以“信號燈(紅)”、“信號燈(藍)”、“道路標(biāo)識(藍)”、“道路標(biāo)識(綠)”的順序執(zhí)行比較處理。
[0049]并且，按照上述優(yōu)先順序進行比較的結(jié)果，當(dāng)判斷為對象部位的亮度被包括在優(yōu)先順序較高的特定物的亮度范圍206時，優(yōu)選順序比這個低的特定物相關(guān)的比較處理則不再進行。因此，針對一個對象部位最多只能賦予表示一個特定物的識別號碼。這是基于如下的理由:多個特定物在空間上不會互相重疊，因此對于由特定物初步確定單元164—旦被判斷為任意的特定物的對象物而言，已經(jīng)無需判斷是否為其他特定物。通過這種排他地處理對象部位的操作，可以避免對已經(jīng)初步確定為特定物的對象部位進行重復(fù)的確定處理，由此能夠減輕處理負荷。
[0050]圖7是用于說明特定物映射圖220的說明圖。特定物映射圖220為向亮度圖像124堆疊特定物的識別號碼的構(gòu)件，在相當(dāng)于被初步確定為特定物的對象部位的位置上，關(guān)聯(lián)該特定物的識別編碼。
[0051]例如，在特定物映射圖220中的部分映射圖220a中，相當(dāng)于信號燈的右側(cè)照明部分的多個對象部位222的亮度被包括在特定物“信號燈(紅)”的亮度范圍206，因此對其關(guān)聯(lián)特定物“信號燈(紅)”的識別號碼“I”。在圖7中示出了向亮度圖像124的多個對象部位222賦予了識別號碼“I”的圖，但是這樣表現(xiàn)是為了便于理解的概念性示例而已，實際上是向?qū)ο蟛课?22登記作為數(shù)據(jù)的識別號碼“I”。
[0052]群組化單元166以初步確定的任意的對象部位為基點，將與該對象部位之間的水平距離X的差值以及高度I的差值在預(yù)定范圍內(nèi)且被初步確定為對應(yīng)于相同的特定物(被賦予了相同的識別號碼)的對象部位群組化為對象物。在此，預(yù)定范圍以實際空間上的距離進行表示，可設(shè)定為任意的值(例如，1.0m等)。并且，針對通過群組化而被新添加的對象部位，群組化單元166也以該對象部位為基點，將與該對象部位之間的水平距離X的差值以及高度y的差值在預(yù)定范圍內(nèi)且特定物為相同的對象部位進行群組化。其結(jié)果，若被初步確定為相同的特定物的對象部位彼此的距離在預(yù)定范圍內(nèi)，則這些全部會被群組化。
[0053]在此，群組化單元166使用實際空間上的水平距離和高度來進行判斷，但是也可直接使用亮度圖像124、距離圖像126，以亮度圖像124上或距離圖像126上的檢測距離(例如，像素數(shù)量)來進行判斷。在此，無需導(dǎo)出實際空間上的水平距離和高度，例如可僅用像素數(shù)量來判斷是否在預(yù)定范圍以內(nèi)。但是，此時，用于群組化的預(yù)定范圍的閾值對應(yīng)于對象部位的相對距離而變化。如圖2等所示，在亮度圖像124或距離圖像126中，遠處和近處的物體表示在平面上，因此位于本體遠處的物體被表示地較小(較短),位于近處的物體被表示地較大(較長)。因此，針對在亮度圖像124、距離圖像126中的預(yù)定范圍的閾值而言，例如對于位于遠處的對象部位設(shè)定為較短，對于位于近處的對象部位設(shè)定為較長。據(jù)此，在遠處和近處其檢測距離不同的情況下，也可以恰當(dāng)?shù)卦O(shè)定閾值，從而有望實現(xiàn)穩(wěn)定的群組化。[0054]并且，除了上述水平距離X的差值和高度y的差值以外，群組化單元166還可對相對距離z的差值在預(yù)定范圍內(nèi)且被初步確定為對應(yīng)于相同的特定物的對象部位進行群組化。在實際空間上，即使水平距離X、高度y接近，但是相對距離Z相隔較遠時，可假定為是在不同的對象物上。因此，水平距離X、高度y以及相對距離z中的任意一個相隔較遠時，該對象部位的群組視為獨立的對象物。由此，可以實現(xiàn)高精度的群組化。
[0055]并且，在此將分別獨立判斷水平距離X的差值、高度y的差值以及相對距離z的差值，且僅當(dāng)全部被包括在預(yù)定范圍時當(dāng)作相同的群組，但是也可以基于其他計算。例如，當(dāng)水平距離X的差值、高度y的差值以及相對距離z的差值的歐氏距離
水平距離X的差值;f +(高度y的差值)2 +(相對距離z的差值;f被包括于預(yù)定距離時，也可以
作為相同的群組。通過這樣的計算，能夠?qū)С鰧ο蟛课恢g在實際空間上的準(zhǔn)確的距離，因此能夠提高群組化精度。
[0056]特定物確定單元168在由群組化單元166群組化的對象物滿足預(yù)定的條件(高度范圍208、寬度范圍210等)時，將該對象物確定為特定物。例如，如圖5 (a)所示，當(dāng)特定物對應(yīng)表200中關(guān)聯(lián)有高度范圍208的情況下，特定物確定單元168基于特定物對應(yīng)表200，并在當(dāng)對象物相對于道路的高度y被包括在針對對象物被初步確定的特定物的高度范圍208時，將該對象物確定為作為對象的特定物。并且，除此之外，當(dāng)關(guān)聯(lián)有寬度范圍210的情況下，特定物確定單元168基于特定物對應(yīng)表200，并在當(dāng)對象物的大小(對象物的水平距離X的寬度以及高度I的寬度中的任一個)被包括在對象物被初步確定的特定物的寬度范圍210時，將該對象物確定為作為對象的特定物。并且，還可以對對象物的水平距離X的寬度以及高度y的寬度分別設(shè)定寬度范圍210。在此，確認對象物在被視為特定物時位于適當(dāng)?shù)奈恢靡约熬邆溥m當(dāng)?shù)拇笮　?br> [0057]并且，各特定物中還關(guān)聯(lián)有該特定物特有的信息(例如，針對道路的水平位置、高度等信息)時，僅在滿足該條件時，特定物確定單元168可以確定為特定物。例如，特定物的候補為“道路標(biāo)識(藍)”的情況下，在滿足以下的條件時可確定為特定物:針對道路的水平位置為在距離圖像126的水平方向上位于道路寬度以內(nèi)，且距車輛I的相對距離為40m?70m,相比與被群組化的對象部位的平均相對距離Z，與未被群組化的對象部位的平均相對距離Z還多于20m以上時視作遠方(到被群組化的對象部位以外的距離在20m以上時為遠處)，群組內(nèi)的對象部位的數(shù)量在預(yù)定數(shù)量或者預(yù)定比例以上，能夠判斷為藍色的部位的面積占整體的50%以上。
[0058]并且，當(dāng)特定物具有其他特征時，也可以將該特征為條件從而確定為特定物。例如，“信號燈(紅)”由LED (Light Emitting Diode)、燈來構(gòu)成，但是由LED構(gòu)成時以人眼難以掌握的周期(例如，IOOHz)閃爍。因此，特定物確定單元168可基于與LED的閃爍時機異步獲取的亮度圖像124的對象部位的亮度隨時間發(fā)生的變化來確定特定物“信號燈(紅)”。
[0059]透射度降低判斷單元172將對應(yīng)于被確定(檢測)出來的特定物的對象部位的亮度和在污潰判斷表202中關(guān)聯(lián)到特定物的亮度范圍206進行比較，從而判斷位于亮度圖像124的拍攝方向(攝像裝置110的拍攝方向)的透射體2的透射度的降低情況(污潰或污垢)。
[0060]圖8是用于說明透射度降低判斷單元172的判斷對象的說明圖。透射度降低判斷單元172針對將亮度圖像124(檢測區(qū)域122)分割成多個區(qū)域的每個分割區(qū)域，判斷透射體2的透射度的降低情況。例如如圖8所示，在本實施方式中，將亮度圖像124沿水平方向分為五等分且沿垂直方向分為三等分，從而設(shè)定分割區(qū)域230。在此，將亮度圖像124分割為5 X 3，但是其分割數(shù)量可任意確定，也可以不進行分割。并且，在此，沿著水平方向以及垂直方向進行了等分，但是還能夠以各種大小來進行分割(將亮度圖像124中央的分割區(qū)域230的面積小于端部側(cè)等)。
[0061]透射度降低判斷單元172針對每一個分割區(qū)域230進行如下處理:當(dāng)對應(yīng)于被確定出來的特定物的對象部位的亮度被包括在污潰判斷表202中的關(guān)聯(lián)于特定物的亮度范圍206時，判斷為包含有該對象部位的分割區(qū)域230所對應(yīng)的透射體2的透射度被降低。例如，針對特定物“道路標(biāo)識(藍)”，即使特定物初步確定單元164基于特定物對應(yīng)表200判斷為被包括在亮度范圍206，但是只要其亮度還被包括在污潰判斷表202的亮度范圍206，則判斷為透射體2的透射度被降低。
[0062]通過如此地將亮度圖像124分割為多個分割區(qū)域230，能夠以較細的范圍獨立地判斷透射體2的透射度的降低，從而可以避免連透射度沒有降低的分割區(qū)域230也被補償亮度。
[0063]并且，雖然圖中未示出，但是作為透射度降低判斷單元172的代替，還可設(shè)置硬件性地檢測位于亮度圖像124的拍攝方向的透射體2的透射度的降低的透射度降低檢測單元。上述檢測手段可使用已知的各種技術(shù)。
[0064]當(dāng)由透射度降低判斷單元172或者透射度降低檢測單元檢測出透射體2的透射度降低時，補償量導(dǎo)出單元174參照補償參考表204，基于對應(yīng)于被確定(檢測)出來的特定物的亮度圖像124中的對象部位的亮度和補償參考表204中關(guān)聯(lián)到特定物的亮度之間的差值，來導(dǎo)出補償量。
[0065]并且，與透射度降低判斷單元171相同地，補償量導(dǎo)出單元174也是以將亮度圖像124 (檢測區(qū)域122)分割為多個區(qū)域的分割區(qū)域230為單位來導(dǎo)出補償量。如此，通過對多個分割區(qū)域203中的每個分割區(qū)域?qū)С鲅a償量，可以對每個分割區(qū)域230恰當(dāng)?shù)匮a償亮度。
[0066]圖9是用于說明補償量導(dǎo)出單元174的處理的說明圖。例如，亮度獲取單元160獲取的任意的對象部位的亮度為R=90、G=IOO, B=150，則基于特定物對應(yīng)表200，假定該對象部位近處的對象物被確定為特定物“道路標(biāo)識(藍)”。
[0067]在此，如圖9 Ca)所示，滿足特定物對應(yīng)表200的特定物“道路標(biāo)識(藍)”的范圍，即，由于將亮度(B)作為基準(zhǔn)值時，亮度(R)為基準(zhǔn)值(B)的0.6倍，亮度(G)為基準(zhǔn)值(B)的0.67倍，因此滿足“R = BX0.7，，、“G ^ ΒΧ0.8”的條件。但是，如圖9 (b)所示，上述對象部位的亮度在污潰判斷表202的“道路標(biāo)識(藍)”范圍內(nèi)，即將亮度(B)作為基準(zhǔn)值時，亮度(R)為基準(zhǔn)值(B)的0.55倍以上，亮度(G)為基準(zhǔn)值(B)的0.65倍以上。由此，對于包含有上述對象物的分割區(qū)域230，透射度降低判斷單元172判斷為透射體2的透射度降低。
[0068]接收這種透射度降低判斷單元171的判斷之后，補償量導(dǎo)出單元174導(dǎo)出補償量。首先，補償量導(dǎo)出單元174在計算結(jié)果為O~255的范圍內(nèi)，使對象部位的各顏色的亮度減值(decrement) (-1 )，并將其與當(dāng)其結(jié)果與補償參考表204的“道路標(biāo)識(藍)”的亮度相等的時候的值之間的差值作為補償量。
[0069]例如，如圖9 (C)所示，使對象部位的亮度R=90、G=IOO, B=150減值的亮度R=89、G=99、B=149還沒有達到補償參考表204的“道路標(biāo)識(藍)”的亮度。但是，如圖9 (d)所示，重復(fù)進行50次減值操作時候的亮度R=40、G=50、R=IOO變?yōu)镽/B=0.4，G/B=0.5，從而與補償參考表204的“道路標(biāo)識(藍)”的亮度一致。此時的補償量為差值(即，50)。
[0070]并且，如上所述，當(dāng)作為對象的亮度為多個時，可將任何一個亮度滿足條件時的差值作為補償量，也可將兩個亮度小于條件時(例如，針對“道路標(biāo)識(藍)”而言，R/B〈0.4，G/Β〈0.5 ;針對“信號燈(紅)”而言，G/R〈0.25，B/R〈0.I)的差值作為補償量。
[0071]并且，在直到兩個亮度都小于條件為止進行了減值操作時，如果任何一個亮度變成負值，則可將對對象部位的亮度進行減值操作時的亮度(比)和補償參考表204的亮度(比)之間的差值的平均(中心值)的絕對值最小時的各亮度的差值作為補償量。以下，以特定物“信號燈(紅)”為例來進行說明。
[0072]圖10是用于說明補償量導(dǎo)出單元174的處理的其他說明圖。例如假定這樣一種情況:亮度獲取單元160獲取的任意的對象部位的亮度為R=120、G=45、B=18，基于特定物對應(yīng)表200，該對象部位近處的對象物被確定為了特定物“信號燈(紅)”。
[0073]在此，如圖10 (a)所示，任意的對象部位的亮度R=120、G=45、B=18在特定物對應(yīng)表200的特定物“信號燈(紅)”的范圍，即，將亮度(R)作為基準(zhǔn)值時，亮度(G)為基準(zhǔn)值(R)的0.375倍，亮度(B)為基準(zhǔn)值(R)的0.15倍，因此滿足“G含RX0.5”、“B含RX0.38”。但是，如圖10 (b)所示，上述對象部位的亮度在污潰判斷表202的“信號燈(紅)”的范圍，即，將亮度(R)作為基準(zhǔn)值時，亮度(G)為基準(zhǔn)值(R)的0.35倍以上。由此，針對包含有上述對象物的分割區(qū)域230，透射度降低判斷單元172判斷為透射體2的透射度被降低。
[0074]接收這種透射度降低判斷單元172的判斷之后，補償量導(dǎo)出單元174導(dǎo)出補償量。首先，補償量導(dǎo)出單元174在計算結(jié)果為O?255的范圍內(nèi)，使對象部位的各顏色的亮度減值(-1)，并試圖使該結(jié)果與補償參考表204的“信號燈(紅)”的亮度相等，即，“G=RX0.25”，“B=RX0.1”。
[0075]但是，每次減I時，原本應(yīng)該同時滿足兩個條件，但是當(dāng)滿足一個條件時，另外一個條件不一定必然滿足。因此，補償量導(dǎo)出單元174可將對對象部位的亮度進行減值操作時的亮度和補償參考表204的亮度之間的差值的平均的絕對值最小時的各亮度的差值作為補償量。
[0076]例如，通過減值操作，與補償參考表204的亮度之間的差值的平均的絕對值在遞減，并且如圖10 (C)所示，被減值的對象部位的亮度為R=108、G=33、B=6時，與補償參考表204的亮度之間的差值的平均的絕對值為0.006。相同地，如圖10 (d)所示，亮度為R=107、G=32、B=5時，與補償參考表204的亮度之間的差值的平均的絕對值為0.002，并且如圖10(e)所示，亮度為R=106、G=31、B=4時，與補償參考表204的亮度之間的差值的平均的絕對值為0.010。之后，通過減值操作，與補償參考表204的亮度之間的差值的平均的絕對值在遞增。S卩，R=107、G=32、B=5的與補償參考表204的亮度之間的差值的平均的絕對值(0.002)為最小值，此時的補償量為與進行減值操作之前的亮度之間的差值(即，13)。
[0077]據(jù)此雖然可導(dǎo)出補償量，但是如圖3所說明，亮度的變化是因箭頭(C)的環(huán)境光的影響導(dǎo)致的。并且，環(huán)境光的影響可由入射光(太陽光等)的強度和透射度的乘積來表示。透射度對應(yīng)于透射體2的污潰或者污垢且其值大致是固定值，但是入射光的強度根據(jù)攝像裝置110的曝光時間而成比例地變動。[0078]因此，補償量導(dǎo)出單元174在導(dǎo)出補償量時，獲取導(dǎo)出該補償量時的曝光時間，并且導(dǎo)出補償量除以曝光時間之后的基本補償量(相當(dāng)于透射度)。并且，向基本補償量乘以作為補償對象的亮度圖像124的曝光時間的值為該補償對象的亮度圖像124的補償量。
[0079]但是，如上所述，補償量導(dǎo)出單元174以分割區(qū)域230為單位來導(dǎo)出補償量。并且，補償量是在分割區(qū)域230內(nèi)存在特定物的情形下導(dǎo)出來。因此，當(dāng)分割區(qū)域230內(nèi)不存在特定物時，即使是透射體2的透射度降低的情況，也不會進行補償。
[0080]在此，當(dāng)導(dǎo)出有補償量的分割區(qū)域230和未被導(dǎo)出補償量的分割區(qū)域230同時存在時，補償量導(dǎo)出單元174基于導(dǎo)出有補償量的分割區(qū)域230的補償量，導(dǎo)出未被導(dǎo)出補償量的分割區(qū)域230的補償量。例如，補償量導(dǎo)出單元174對導(dǎo)出有補償量的一個或者多個分割區(qū)域230的補償量進行平均，并且將該平均值作為未被導(dǎo)出補償量的分割區(qū)域230的補償量。但是，被導(dǎo)出來的平均值不會反映于已導(dǎo)出有補償量的分割區(qū)域230。
[0081]根據(jù)上述構(gòu)成，在透射體2整體被弄臟或者整體變得模糊時，不會僅補償一部分分割區(qū)域230，從而可避免特定物的確定精度降低這種情況。
[0082]并且，補償量隨著時間而變化，而且變動較大。因此，補償量導(dǎo)出單元174求出當(dāng)次被導(dǎo)出來的補償量與在相同檢測區(qū)域122或者相同分割區(qū)域230中之前已被導(dǎo)出來的補償量的時間平均值，將該時間平均值重新作為補償量。時間平均值可以是對當(dāng)次被導(dǎo)出來的補償量和以前的預(yù)定次數(shù)的補償量單純地進行平均的值，也可以是根據(jù)伴隨預(yù)定的時間常數(shù)的一階或者多階低通濾波器(LPF:Low Pass Filter)導(dǎo)出來的值。
[0083]根據(jù)上述構(gòu)成，可以緩和補償量隨時間的變化，并且可以抑制補償量的變動。
[0084]亮度補償單元176基于被導(dǎo)出來的補償量來補償亮度圖像124。據(jù)此，被補償?shù)牧炼葓D像在確定除了計算補償量時已使用過的特定物以外的特定物的時候使用(例如，當(dāng)基于道路標(biāo)識(藍)的亮度信息進行了計算時，使用已被補償?shù)牧炼葓D像而在確定除道路標(biāo)識(藍)以外的特定物(例如前行車的尾燈、信號燈等)時被使用)。并且，在后續(xù)幀中，亮度補償單元176基于上述補償量來補償所接收的亮度圖像124，使亮度獲取單元160獲取該被補償?shù)难a償亮度。上述亮度的補償可以一直執(zhí)行，也可僅在由透射度降低判斷單元172或透射度降低檢測單元檢測出透射體2的透射度降低的情況下執(zhí)行。
[0085]并且，與透射度降低判斷單元172相同地，亮度補償單元176也以將亮度圖像124(檢測區(qū)域122)分割為多個區(qū)域的分割區(qū)域230為單位來補償亮度。據(jù)此，可對多個分割區(qū)域230中的每個分割區(qū)域恰當(dāng)?shù)匮a償亮度。在本實施方式中，針對未被導(dǎo)出補償量的分割區(qū)域230，還可以基于補償量被導(dǎo)出來的分割區(qū)域230來導(dǎo)出補償量，從而補償該分割區(qū)域230的亮度，但是對補償量未被導(dǎo)出來的分割區(qū)域230也可以不進行任何補償。
[0086]并且，如上所述，補償量導(dǎo)出單元174導(dǎo)出將補償量除以導(dǎo)出該補償量時的曝光時間而得到的基本補償量。因此，亮度補償單元176基于向由補償量導(dǎo)出單元174導(dǎo)出的基本補償量乘以作為補償對象的亮度圖像124的曝光時間的補償量，來進行補償。據(jù)此，可無關(guān)于曝光時間的變動，恰當(dāng)?shù)匮a償亮度。
[0087]據(jù)此，車外環(huán)境識別裝置130可從亮度圖像124將一個或者多個對象物作為特定物提取出來，并且可將該信息用在各種控制上。例如，通過提取特定物“信號燈(紅)”，可掌握該對象物為沒有移動的被固定的物體，同時該對象物為與本行車道相關(guān)的信號燈時，可掌握車輛I應(yīng)該停止或者減速。并且，雖然在本實施方式中省略了說明，但是通過提取特定物“尾燈(紅)”，可掌握那個地方存在與車輛I 一同行駛的前行車輛。
[0088](環(huán)境識別方法)
以下，基于圖11?圖16的流程圖來說明車外環(huán)境識別裝置130的具體的處理。圖11是示出當(dāng)由圖像處理裝置120發(fā)送距離圖像(視差信息)126時的中斷處理相關(guān)的整體流程的圖，圖12?圖16是示出其中個別子程序的圖。并且，在此作為對象部位例舉了像素，將亮度圖像124或距離圖像126的左下角為原點，在圖像水平方向上I?600像素且在垂直方向上I?180像素的范圍內(nèi)執(zhí)行依據(jù)環(huán)境識別方法的處理。并且，在此準(zhǔn)備好水平方向5X垂直方向3的分割區(qū)域230，一個分割區(qū)域230為水平120像素X60像素。而且，作為對象的特定物的數(shù)量假設(shè)為四個。
[0089]如圖11所示，當(dāng)以距離圖像126的接收為契機，發(fā)生依據(jù)該環(huán)境識別方法的中斷時，參照從圖像處理裝置120獲取的亮度圖像124，并基于對象物對應(yīng)表200，生成特定物映射圖220 (S300)。在特定物映射圖220中，初步確定的特定物被群組化(S302)，將被群組化的對象物確定為特定物(S304)。
[0090]接著，判斷位于亮度圖像124的拍攝方向的透射體2的透射度的降低(S308)，且當(dāng)導(dǎo)出該亮度圖像124的對象部位的補償量時(S310)，基于被導(dǎo)出來的補償量來補償亮度圖像124的對象部位的亮度(S312)。此時，亮度補償單元176基于向由補償量導(dǎo)出單元174導(dǎo)出來的基本補償量乘以作為補償對象的亮度圖像124的曝光時間的補償量，來進行補償。以下，具體說明上述處理。
[0091](特定物映射圖生成處理S300)
參照圖12，特定物初步確定單元164初始化用于確定對象部位(像素)的垂直變量j(代入“O”)(S400)。接著，特定物初步確定單元164使垂直變量j加“I”(增量)的同時初始化水平變量i (代入“O”)(S402)。其次，特定物初步確定單元164使水平變量i加“1”，并且初始化特定物變量m (代入“O”)(S404)。在此，設(shè)置水平變量i和垂直變量j的目的在于，為了對600X 180的像素整體執(zhí)行該特定物映射圖生成處理S300，設(shè)置特定物變量m的目的在于，為了對每個像素順序比較四個特定物。
[0092]特定物初步確定單元164使亮度獲取單元160從亮度圖像124中獲取作為對象部位的像素(i，j)的亮度(S406)，使特定物變量m加“ I”(S408)，獲取特定物(m)的亮度范圍206 (S410)，判斷像素(i，j)的亮度是否被包括在特定物(m)的亮度范圍206 (S412)。
[0093]當(dāng)像素(i，j)的亮度被包括在特定物(m)的亮度范圍206時(S412中的“是”)，特定物初步確定單元164向該像素關(guān)聯(lián)表示特定物(m)的識別號碼P從而成為像素(i，j，p)(S414)。據(jù)此，生成向亮度圖像124中的各像素賦予了識別號碼p的特定物映射圖220。并且，當(dāng)像素(i，j)的亮度不包括在特定物(m)的亮度范圍206時(S142中的“否”)，判斷特定物變量m是否超過了作為特定物的最大數(shù)量的4 (S416)。在此，當(dāng)特定物變量m未超過最大值時(S416中的“否”)，從步驟S408的特定物變量m的增量處理開始重復(fù)處理。并且，若特定物變量m超過了最大值(S416中的“是”)，則假設(shè)不存在對應(yīng)于該像素(i，j)的特定物，處理被轉(zhuǎn)到其次的步驟S418。
[0094]接著，特定物初步確定單元164判斷水平變量i是否超過了作為水平像素的最大值的600(S418)，且當(dāng)水平變量i未超過最大值時(S418中的“否”)，從步驟S404的水平變量i的增量處理開始重復(fù)處理。并且，當(dāng)水平變量i超過了最大值時(S418中的“是”)，特定物初步確定單元164判斷垂直變量j是否超過了作為垂直像素的最大值的180 (S420)。并且，當(dāng)垂直變量j未超過最大值時(S420中的“否”)，從步驟S402的垂直變量j的增量處理開始重復(fù)處理。并且，當(dāng)垂直變量j超過最大值時(S420中的“是”)，結(jié)束該特定物映射圖生成處理S300。據(jù)此，初步確定對應(yīng)于各像素的特定物。
[0095](群組化處理S3O2)
參照圖13，群組化單元166參照用于群組化對象部位的預(yù)定范圍(S450)，并且初始化用于確定對象部位(像素)的垂直變量j (代入“O”)(S452)。接著，群組化單元166使垂直變量j加“I”的同時初始化水平變量i (代入“O”)(S454)。接著，群組化單元166使水平變量 i 加 “I”(S456)。
[0096]群組化單元166從亮度圖像124獲取作為對象部位的像素(i，j，P，dp, x, y，z)(S458)。然后，判斷該像素(i，j，p，dp，x，y，z)中是否關(guān)聯(lián)有特定物的識別號碼p (S460)。在此，當(dāng)關(guān)聯(lián)有識別號碼P時(S460中的“是”)，群組化單元166判斷從該像素(i，j，p，dp，x，y，z)的實際空間上的坐標(biāo)(x，y, z)在預(yù)定范圍內(nèi)是否存在關(guān)聯(lián)有相等識別號碼P的其他像素(i，j，P，dp, X, y, z) (S462)。
[0097]當(dāng)存在識別號碼相等的其他像素(i，j，p，dp, X’ y, z)時(S462中的“是”)，群組化單元166判斷包括自身的預(yù)定范圍內(nèi)的所有像素中的任一像素是否被賦予有群組號碼g(S464)。若任一像素被賦予有群組號碼g(S464中的“是”)，則群組化單元166針對包括在預(yù)定范圍的所有像素以及被賦予了相同的群組號碼g的所有像素，賦予該被賦予的群組號碼g中最小的群組號碼g以及還未作為群組號碼g利用的號碼中最小的值之中的任意一個較小值，從而成為像素(i，j，P，dp，X，y，z，g) (S466)。并且，若任一像素都未被賦予有群組號碼g (S464中的“否”)，則針對包括自身的預(yù)定范圍內(nèi)的所有像素，作為新的群組符號g賦予還未作為群組號碼g利用的號碼中最小的值(S468)。
[0098]如此，多個識別符號P相等的對象部位在預(yù)定范圍內(nèi)存在多個時，通過賦予一個群組號碼g來進行群組化。此時，當(dāng)多個對象部位的任一對象部位均未被賦予群組號碼g時，賦予新的群組號碼g，且當(dāng)任一對象部位已經(jīng)被賦予有群組號碼g時，賦予與其相同的群組號碼g。但是，當(dāng)多個對象部位存在多個群組號碼g時，因為需要視為一個群組，因此將該對象部位所有的群組號碼g置換成一個群組號碼g。
[0099]此時，不僅僅對包括在預(yù)定范圍的所有像素的群組號碼g進行改變，對被賦予有相同的群組號碼g的所有像素的群組號碼g也同時進行改變的目的在于，通過群組號碼g的改變，使已經(jīng)統(tǒng)一化的群組不再分離。并且，采用最小的群組號碼g或者還未作為群組號碼g利用的號碼中最小的值之中的任意一個較小值的目的在于，盡可能地防止在群組的取號中出現(xiàn)空號碼。據(jù)此，可防止群組號碼g的最大值不必要地變大的趨勢，減輕處理負荷。
[0100]當(dāng)沒有關(guān)聯(lián)著識別號碼P時(S460中的“否”)，或者不存在識別號碼P相等的其他像素時(S462中的“否”)，處理被轉(zhuǎn)到其次的步驟S470。
[0101]接著，群組化單元166判斷水平變量i是否超過了作為水平變量的最大值的600(S470)，且當(dāng)水平變量未超過最大值時(S470中的“否”)，從步驟S456的水平變量i的增量處理開始重復(fù)處理。并且，當(dāng)水平變量i超過了最大值時(S470中的“是”)，群組化單元166判斷垂直變量j是否超過了作為垂直變量的最大值的180 (S472)。并且，若垂直變量j未超過最大值(S472中的“否”)，則從步驟S454的垂直變量j的增量處理開始重復(fù)處理。而 且，
若垂直變量j超過了最大值(S472中的“是”)，則結(jié)束該群組化處理S302。
[0102](特定物確定處理S304)
參照圖14，特定物確定單元168初始化用于確定群組的群組變量k(代入“0”)(S500)。接著，特定物確定單元168使群組變量k加“ I ”(S502)。
[0103]特定物確定單元168判斷亮度圖像124中是否存在群組號碼g為群組變量k的對象物(S504)，當(dāng)存在時(S504中的“是”)，計算被賦予了該群組號碼g的對象物的高度以及大小(S506)。并且，判斷計算出來的高度以及大小是否包括在以識別號碼P表示的特定物的高度范圍208、寬度范圍210，且判斷是否滿足特定物特有的條件(S508)，該識別號碼P為關(guān)聯(lián)到群組號碼g為群組變量k的對象物的群組號碼。
[0104]若高度以及大小被包括在以識別號碼P表示的特定物的高度范圍208、寬度范圍210，且滿足特定物特有的條件(S508中的“是”)，則特定物確定單元168將該對象物確定為特定物(S510)。當(dāng)高度以及大小未包括在以識別號碼P表示的特定物的高度范圍208、寬度范圍210，或者不滿足特定物特有的條件時(S508中的“否”)，又或者當(dāng)不存在群組號碼g為群組變量k的對象物時(S504中的“否”)，處理被轉(zhuǎn)到其次的步驟S512。
[0105]接著，特定物確定單元168判斷群組變量k是否超過了在群組化處理S302中設(shè)定的群組號碼的最大值(S512)。并且，若群組變量k未超過最大值(S512中的“否”)，則從步驟S502的群組變量k的增量處理開始重復(fù)處理。并且，若群組變量k超過了最大值(S512中的“是”)，則結(jié)束該特定物確定處理S304。據(jù)此，被群組化的對象物被確定為特定物。
[0106](透射度降低判斷處理S308)
參照圖15，透射度降低判斷單元172將在上述特定物確定處理S304中被確定為特定物的對象物(以下，稱作特定物)保存在預(yù)定的記憶區(qū)域(S550)。并且，透射度降低判斷單元172判斷在該記憶區(qū)域中是否剩于有特定物(S552)。其結(jié)果，若剩下有特定物(S552中的“是”)，則提取一個特定物，并從記憶區(qū)域刪除該特定物(S554)。并且，若未剩下特定物(S552中的“否”)，則結(jié)束該透射度降低判斷處理S308。
[0107]接著，透射度降低判斷單元172判斷對應(yīng)于被提取的特定物的對象部位的亮度是否包括在污潰判斷表202中的被關(guān)聯(lián)到特定物的亮度范圍206 (S556)。其結(jié)果，若包括在亮度范圍206 (S556中的“是”)，則針對包括了該特定物的分割區(qū)域230，判斷為透射體2的透射度降低(S558)，進而從步驟S552開始重復(fù)處理。并且，若未包括在亮度的范圍(S556中的“是”)，則不進行任何處理，進而從步驟S552開始重復(fù)處理。據(jù)此，可判斷針對特定物的透射體2的透射度的降低。
[0108](補償量導(dǎo)出處理S310)
參照圖16，補償量導(dǎo)出單元174將在上述透射度降低判斷處理S308中判斷為透射度降低的特定物保存在預(yù)定的記憶區(qū)域(S600)。并且，補償量導(dǎo)出單元174判斷該記憶區(qū)域中是否剩下有特定物(S602)。其結(jié)果，若剩下有特定物(S602中的“是”)，則提取一個特定物，進而從記憶區(qū)域中刪除該特定物(S604)。并且，若未剩下特定物(S602中的“否”)，則結(jié)束該補償量導(dǎo)出處理S310。
[0109]接著，補償量導(dǎo)出單元174使對應(yīng)于被提取的特定物的對象部位的亮度減值(S606)，判斷其結(jié)果是否達到補償參考表204中的該特定物的亮度范圍206 (S608)。其結(jié)果，若達到亮度范圍206 (S608中的“是”)，則處理被轉(zhuǎn)到其次的步驟S610，若未達到，則從步驟S606開始重復(fù)處理。
[0110]并且，補償量導(dǎo)出單元174將達到亮度范圍206時的、與減值操作之前的值之間的差值設(shè)定為包括有該特定物的分割區(qū)域230的補償量(S610)。在此，也可以求出此次導(dǎo)出來的補償量和在相同檢測區(qū)域122或者相同分割區(qū)域230中之前已導(dǎo)出來的補償量之間的時間平均值，將該時間平均值重新作為補償量。并且，當(dāng)導(dǎo)出補償量時，補償量導(dǎo)出單元174獲取導(dǎo)出該補償量時的曝光時間，還導(dǎo)出補償量除以曝光時間的基本補償量。
[0111]接著，補償量導(dǎo)出單元174判斷針對所有分割區(qū)域230是否設(shè)定了補償量(S612)。其結(jié)果，若存在未設(shè)定補償量的分割區(qū)域230 (S612中的“否”)，則補償量導(dǎo)出單元174對補償量被導(dǎo)出來的一個或者多個分割區(qū)域230的補償量進行平均，并且將該平均值當(dāng)作未被到處補償量的分割區(qū)域230的補償量(S614)，進而從步驟S602開始重復(fù)處理。并且，若對所有的分割區(qū)域230都設(shè)定了補償量(S612中的“是”)，則不進行任何處理，從步驟S602開始重復(fù)處理。據(jù)此，對各分割區(qū)域230設(shè)定補償量。
[0112]如上所說明，通過車外環(huán)境識別裝置130，能夠檢測出車載攝像機的光學(xué)系統(tǒng)部件或前窗玻璃中存在污潰或者污垢，假使在這種情形下也能夠使用顏色信息恰當(dāng)?shù)剡M行圖像識別。
[0113]而且，還提供使計算機執(zhí)行車外環(huán)境識別裝置130的功能的程序或記錄該程序的計算機可讀軟盤、光磁盤、ROM、CD、DVD、BD等記錄介質(zhì)。在此，程序是利用任意的語言或記述方法記述的數(shù)據(jù)處理手段。
[0114]以上的說明中，參照附圖對本發(fā)明的優(yōu)選實施方式進行了說明，但是本發(fā)明并不局限于上述實施方式。本發(fā)明所屬領(lǐng)域的技術(shù)人員應(yīng)知道在權(quán)利要求書所記載的范疇之內(nèi)導(dǎo)出各種變更例或修改例是顯而易見的，而且顯然這些都屬于本發(fā)明的技術(shù)范圍。
[0115]并且，在上述實施方式中，亮度獲取單元160、位置信息獲取單元162、特定物初步確定單元164、群組化單元166、特定物確定單元168、透射度降低判斷單元172、補償量導(dǎo)出單元174、亮度補償單元176由中央控制單元154通過軟件進行操縱。但是，上述的功能單元也可以由硬件構(gòu)成。
[0116]并且，在上述實施方式中，透射度降低判斷單元172判斷出透射體2的透射度降低之后，亮度補償單元176基于由該判斷結(jié)果導(dǎo)出的補償量來補償對象部位的亮度，但是不限于此，也可通過透射度降低判斷單元172僅判斷透射體2的透射度的降低。例如，當(dāng)通過透射度降低判斷單元172判斷出透射體2的透射度降低時，向車輛I的駕駛員和乘客通知該情況。并且，也可在不進行判斷的情形下，由亮度補償單元176補償亮度。例如，使用特定物對應(yīng)表200確定特定物之后，不通過污潰判斷表202來判斷透射體2的透射度的降低的情形下，僅利用補償參考表204來進行補償?shù)取?br> [0117]并且，在上述實施方式中，為了便于說明，作為特定物對應(yīng)表200例舉信號燈(紅)、信號燈(藍)、道路標(biāo)識(藍)、道路標(biāo)識(綠)來進行了說明，但是不限于上述情形，存在于道路上且RGB的值大致不變的特定物均可成為對象。例如，方向指示燈的RGB可大致確定，并且多少有不規(guī)則部分的尾燈等也可大致確定，因此能成為特定物的對象。
[0118]在此，本說明書中的環(huán)境識別方法的各個步驟并不一定要按照流程圖中記載的順序而時序地處理，也可以包括并行處理或通過子程序的處理。 產(chǎn)業(yè)上的可利用性
[0119]本發(fā)明可利用在基于檢測區(qū)域中的對象物的亮度來識別該對象物的環(huán)境識別裝置以及環(huán)境識別方法。
【權(quán)利要求】
1.一種車外環(huán)境識別裝置，在基于由車載攝像機拍攝的彩色圖像來識別本車輛外的環(huán)境的車外環(huán)境識別裝置中，其特征在于，具備: 特定物檢測單元，基于所述彩色圖像檢測特定物； 數(shù)據(jù)存儲單元，關(guān)聯(lián)特定物和表示該特定物的顏色的亮度范圍并進行存儲； 透射度降低判斷單元，比較所述特定物在所述彩色圖像中的亮度和關(guān)聯(lián)到所述特定物的亮度范圍，以判斷位于所述車載攝像機的拍攝方向的透射體的透射度的降低。
2.根據(jù)權(quán)利要求1所述的車外環(huán)境識別裝置，其特征在于，所述數(shù)據(jù)存儲單元還關(guān)聯(lián)特定物和該特定物原來的亮度并進行存儲， 所述車外環(huán)境識別裝置還具備: 補償量導(dǎo)出單元，基于所述特定物在所述彩色圖像中的亮度和關(guān)聯(lián)到所述特定物的原來的亮度之間的差值，導(dǎo)出補償量； 亮度補償單元，基于被導(dǎo)出來的補償量，補償所述彩色圖像的對象部位的亮度， 其中，所述特定物檢測單元基于經(jīng)補償?shù)牟噬珗D像檢測特定物。
3.一種車外環(huán)境識別裝置，在基于由車載攝像機拍攝的彩色圖像來識別本車輛外的環(huán)境的車外環(huán)境識別裝置中，其特征在于，具備: 特定物檢測單元，基于所述彩色圖像檢測特定物； 數(shù)據(jù)存儲單元，關(guān)聯(lián)特定物和該特定物原來的亮度并進行存儲； 補償量導(dǎo)出單元，基于所述特定物在所述彩色圖像中的亮度和關(guān)聯(lián)到所述特定物的原來的亮度之間的差值，導(dǎo)出補償量； 亮度補償單元，基于被導(dǎo)出來的補償量，補償所述彩色圖像的對象部位的亮度， 其中，所述特定物檢測單元基于經(jīng)補償?shù)牟噬珗D像檢測特定物。
4.根據(jù)權(quán)利要求3所述的車外環(huán)境識別裝置，其特征在于，還具備透射度降低檢測單元，檢測位于所述車載攝像機的拍攝方向的透射體的透射度的降低， 其中，當(dāng)檢測到所述透射體的透射度降低時，所述補償量導(dǎo)出單元導(dǎo)出所述補償量。
5.根據(jù)權(quán)利要求2至4中的任意一項所述的車外環(huán)境識別裝置，其特征在于，所述補償量導(dǎo)出單元導(dǎo)出將被導(dǎo)出來的補償量除以所述彩色圖像的曝光時間而得出的基本補償量， 所述亮度補償單元基于向所述基本補償量乘以作為補償對象的彩色圖像的曝光時間而得出的補償量，補償所述彩色圖像的對象部位的亮度。
6.根據(jù)權(quán)利要求2至5中的任意一項所述的車外環(huán)境識別裝置，其特征在于，所述補償量導(dǎo)出單元以將所述彩色圖像分割為多個區(qū)域的分割區(qū)域為單位，導(dǎo)出所述補償量。
7.根據(jù)權(quán)利要求6的所述的車外環(huán)境識別裝置，其特征在于，所述補償量導(dǎo)出單元基于導(dǎo)出有所述補償量的分割區(qū)域的補償量，導(dǎo)出未被導(dǎo)出所述補償量的分割區(qū)域的補償量。
8.根據(jù)權(quán)利要求2至7中的任意一項所述的車外環(huán)境識別裝置，其特征在于，所述補償量導(dǎo)出單元將時間平均值重新作為補償量，該時間平均值為基于所述特定物在所述彩色圖像中的亮度和關(guān)聯(lián)到所述特定物的原來的亮度之間的差值而導(dǎo)出來的補償量與在相同檢測區(qū)域或者相同分割區(qū)域中之前已被導(dǎo)出來的補償量的平均值。
9.根據(jù)權(quán)利要求1至8中的任意一項所述的車外環(huán)境識別裝置，其特征在于，所述特定物檢測單元基于所述彩色圖像中的亮度的隨時間的變化來檢測特定物。
【文檔編號】G06K9/00GK103810469SQ201310548152
【公開日】2014年5月21日 申請日期:2013年11月7日 優(yōu)先權(quán)日:2012年11月9日
【發(fā)明者】木戶辰之輔 申請人:富士重工業(yè)株式會社