本申請是申請日為2012年9月20日、申請?zhí)枮?01210352681.9、發(fā)明名稱為“圖像處理裝置”的申請的分案申請。

本發(fā)明涉及一種基于所拍攝的一對(duì)圖像數(shù)據(jù)來執(zhí)行圖案匹配的圖像處理裝置。

背景技術(shù)：

以往，檢測位于本車輛前方的車輛或信號(hào)燈等所謂障礙物的對(duì)象物，并對(duì)本車輛進(jìn)行控制以避免與所檢測出的對(duì)象物發(fā)生碰撞或使本車輛與前行車輛的車間距離保持在安全距離的技術(shù)已被人所知(例如專利文獻(xiàn)1、2)。

與前行車輛的車間距離，例如可根據(jù)從不同位置拍攝的一對(duì)圖像數(shù)據(jù)中的對(duì)象物的視差中求出。并且，一對(duì)圖像數(shù)據(jù)中的對(duì)象物的視差基于圖像間的圖案匹配來導(dǎo)出。作為圖案匹配，通常進(jìn)行在圖像間比較預(yù)定大小的區(qū)塊之間(匹配)，確定相關(guān)性較高的區(qū)塊的操作。并且，還公開有利用圖像的濃度直方圖來執(zhí)行圖案匹配的技術(shù)(例如，專利文獻(xiàn)3)。

進(jìn)一步，還公開有如下技術(shù)：為了提高圖案匹配的精度，在圖案匹配的前階段，針對(duì)所拍攝的圖像的光學(xué)位置偏差進(jìn)行幾何學(xué)的位置校正(例如，專利文獻(xiàn)4)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特許第3349060號(hào)

專利文獻(xiàn)2：日本特開平10-283461號(hào)公報(bào)

專利文獻(xiàn)3：日本特開平5-210737號(hào)公報(bào)

專利文獻(xiàn)4：日本特許第3284190號(hào)

作為獲取圖像的手段，例如已知有：在對(duì)應(yīng)于以格子狀排列的像素的多個(gè)受光部位(光電二極管)中，規(guī)則且排他地配置三原色的rgb信號(hào)各自的彩色濾光片的、所謂拜爾陣列。在拜爾陣列中，自每個(gè)像素中只能獲取rgb中的一個(gè)色相，因此通常各像素中的未設(shè)定的(缺少)色相的亮度基于相鄰的像素來進(jìn)行插值，從而恢復(fù)色彩。并且，恢復(fù)了色彩的各個(gè)像素進(jìn)行如上的幾何學(xué)的位置校正，之后執(zhí)行圖案匹配。

但是，上述的色彩的恢復(fù)以成為對(duì)象的像素的原來的色彩與相鄰的像素的原來色彩相同的情況為前提，因此在相鄰的像素的色彩不同或者對(duì)象物根本不同的情況下，導(dǎo)致基于該不同的色彩而恢復(fù)色彩，從而可能生成假色彩。并且，當(dāng)像素的物理重心和針對(duì)該像素恢復(fù)的色彩重心不同時(shí)，因?yàn)榛谙袼氐奈锢碇匦牡膸缀螌W(xué)的位置校正，可能導(dǎo)致色彩重心偏移。

而且，在夜間行駛時(shí)，為了有效地獲取較少的入射光，通常抑制遮光器的光圈(打開遮光器)進(jìn)行拍攝，，而此時(shí)會(huì)發(fā)生檢測區(qū)域內(nèi)的光源的光太強(qiáng)而導(dǎo)致任意的色相的亮度達(dá)到飽和(saturation)的現(xiàn)象。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明是鑒于這種問題而提出的，其目的在于提供一種通過確定利用于圖案匹配的色相，從而能夠執(zhí)行確切的圖案匹配的圖像處理裝置。

為了解決上述問題，本發(fā)明的圖像處理裝置，其特征在于，具備：色彩恢復(fù)單元，在以拜爾陣列構(gòu)成的一對(duì)圖像數(shù)據(jù)中，基于相鄰的像素來恢復(fù)每個(gè)像素中未設(shè)定的色相的亮度；匹配處理單元，從亮度被恢復(fù)的一對(duì)圖像數(shù)據(jù)中分別提取預(yù)定大小的區(qū)塊進(jìn)行匹配，確定相關(guān)性高的區(qū)塊，色彩恢復(fù)單元以及匹配處理單元僅將在拜爾陣列中占有度最高的色相為對(duì)象，分別執(zhí)行亮度的恢復(fù)以及匹配。

還可以還具備坐標(biāo)變換單元，基于與生成一對(duì)圖像數(shù)據(jù)的攝像裝置所對(duì)應(yīng)而預(yù)先設(shè)定的每個(gè)像素的位置偏差特性，針對(duì)各個(gè)像素進(jìn)行坐標(biāo)變換。

為了解決上述問題，本發(fā)明的另一圖像處理裝置，其特征在于，具備：匹配處理單元，從一對(duì)圖像數(shù)據(jù)中分別提取預(yù)定大小的區(qū)塊來進(jìn)行匹配，確定相關(guān)性高的區(qū)塊；環(huán)境信息獲取單元，獲取關(guān)于明暗的環(huán)境信息，當(dāng)環(huán)境信息獲取單元獲取表示處于預(yù)定的亮度以下的情況的環(huán)境信息時(shí)，匹配處理單元在成為對(duì)象的多個(gè)色相中，僅將波長最短的色相為對(duì)象而執(zhí)行匹配。

匹配處理單元將高壓氣體放電燈以及鹵素?zé)舻娜我庖粋€(gè)作為光源的對(duì)象物為匹配的對(duì)象。

根據(jù)本發(fā)明，通過確定利用于圖案匹配的色相，可執(zhí)行確切的圖案匹配。由此，導(dǎo)出確切的視差信息，能夠確切地執(zhí)行對(duì)本車輛的控制，以避免與對(duì)象物的碰撞，或使本車輛與前行車輛的車間距離保持在安全距離。

附圖說明

圖1是示出根據(jù)第一實(shí)施方式的環(huán)境識(shí)別系統(tǒng)的連接關(guān)系的方框圖。

圖2是用于說明亮度圖像和距離圖像的說明圖。

圖3是用于說明拜爾陣列的一例的說明圖。

圖4是用于說明色彩恢復(fù)處理的說明圖。

圖5是用于說明坐標(biāo)變換處理的說明圖。

圖6是用于說明色彩重心的說明圖。

圖7是示出圖像處理裝置的概略的功能的功能方框圖。

圖8是用于說明hid燈以及鹵素?zé)舻奶匦缘恼f明圖。

圖9是示出第二實(shí)施方式中的圖像處理裝置的概略的功能的功能方框圖。

符號(hào)說明：

1為車輛，100為環(huán)境識(shí)別系統(tǒng)，120、220為圖像處理裝置，170為敏感

度校正單元，172為色彩恢復(fù)單元，174為坐標(biāo)變換單元，176為匹配處

理單元，280為環(huán)境信息獲取單元。

具體實(shí)施方式

以下，參照附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施方式。所涉及的實(shí)施方式中所示的尺寸、材料、其他具體數(shù)值等是僅僅是為了使發(fā)明容易理解而例示的，除了事先聲明的情況以外，不能用來限定本發(fā)明。在此，本說明書及附圖中，對(duì)于具有實(shí)質(zhì)上相同的功能、結(jié)構(gòu)的要素，通過賦予相同的符號(hào)的方式省略重復(fù)性說明，而且對(duì)與本發(fā)明沒有直接關(guān)系的要素省略了圖示。

(第一實(shí)施方式：環(huán)境識(shí)別系統(tǒng)100)

圖像處理裝置的目的在于，對(duì)于為了確切地達(dá)成任意的目的而拍攝的圖像進(jìn)行加工處理。例如，當(dāng)在用于識(shí)別車輛周圍環(huán)境的環(huán)境識(shí)別系統(tǒng)中采用圖像處理裝置時(shí)，圖像處理裝置為了對(duì)用攝像裝置拍攝的圖像加工處理并確定圖像內(nèi)的對(duì)象物的相對(duì)距離，導(dǎo)出該圖像的視差信息。在此，為了容易理解圖像處理裝置，首先說明采用了圖像處理裝置的一實(shí)施方式的環(huán)境識(shí)別系統(tǒng)，然后詳細(xì)說明圖像處理裝置的具體的構(gòu)成。

圖1為示出環(huán)境識(shí)別系統(tǒng)100的連接關(guān)系的方框圖。環(huán)境識(shí)別系統(tǒng)100包括設(shè)置在車輛1內(nèi)的攝像裝置110、圖像處理裝置120、環(huán)境識(shí)別裝置130、車輛控制裝置140。

(攝像裝置110)

攝像裝置110包括電荷耦合器件(ccd，charge-coupleddevice)或互補(bǔ)金屬氧化半導(dǎo)體(cmos，complementarymetal-oxidesemiconductor)等攝像器件，能夠獲得彩色圖像、即從像素單位中獲取三個(gè)色相(紅、綠、藍(lán))的亮度。在本實(shí)施方式中，將顏色和亮度同等看待，在同一篇文章里包含兩個(gè)詞時(shí)，可相互交替讀取為構(gòu)成顏色的亮度或具有亮度的顏色。這里，假設(shè)獲取在對(duì)應(yīng)于像素的受光部位(光電二極管)規(guī)則且排他地配置rgb信號(hào)各自的彩色濾光片的、基于拜爾陣列的彩色圖像。并且，將由攝像裝置110所拍攝的彩色的圖像稱為亮度圖像，區(qū)別于后述的距離圖像。

攝像裝置110為兩個(gè)，兩個(gè)攝像裝置110在大致水平方向上分開布置，以在車輛1的行駛方向側(cè)使兩個(gè)攝像裝置110各自的光軸大致平行。攝像裝置110每隔例如1/60秒(60fps)連續(xù)生成對(duì)車輛1前方的檢測區(qū)域中所存在的對(duì)象物進(jìn)行了拍攝的圖像數(shù)據(jù)。這里，對(duì)象物不僅包括車輛、信號(hào)燈、道路、護(hù)欄這種獨(dú)立存在的立體物，還包括尾燈或轉(zhuǎn)向指示燈、信號(hào)燈的各個(gè)照明部分等能夠確定為立體物的部分的物體。在以下實(shí)施方式中的各個(gè)功能單元以這種圖像數(shù)據(jù)的更新為契機(jī)執(zhí)行各種處理。

(圖像處理裝置120)

圖像處理裝置120從兩個(gè)攝像裝置110分別獲取圖像數(shù)據(jù)，并評(píng)價(jià)所獲取的一對(duì)圖像數(shù)據(jù)的相關(guān)性，導(dǎo)出包含圖像中的任意的區(qū)塊(集合預(yù)定數(shù)量的像素的區(qū)塊)的兩個(gè)圖像間的視差的視差信息。圖像處理裝置120采用從另一個(gè)圖像數(shù)據(jù)搜索對(duì)應(yīng)于一個(gè)圖像數(shù)據(jù)中任意抽出的區(qū)塊(例如，水平4像素×垂直4像素的陣列)的區(qū)塊的、所謂的圖案匹配而導(dǎo)出視差。在此，水平是指所拍攝的圖像的畫面橫向方向，相當(dāng)于實(shí)際空間中的水平方向。而且，垂直是指所拍攝的圖像的畫面縱向方向，相當(dāng)于實(shí)際空間中的豎直方向。針對(duì)這樣的相關(guān)性的評(píng)價(jià)以及圖案匹配，將在后面詳細(xì)描述。

但是，在圖像處理裝置120中，雖然能夠?qū)ψ鳛闄z測分辨率的單位的每個(gè)區(qū)塊導(dǎo)出視差，但無法識(shí)別該區(qū)塊是哪個(gè)對(duì)象物的一部分。因此，視差信息不是以對(duì)象物單位，而是以檢測區(qū)域中的檢測分辨率單位(例如區(qū)塊單位)獨(dú)立地導(dǎo)出來。在此，將如此導(dǎo)出的視差信息映射到圖像數(shù)據(jù)的圖像稱為距離圖像。

圖2是用于說明亮度圖像124和距離圖像126的說明圖。例如，假設(shè)通過兩個(gè)攝像裝置110而對(duì)檢測區(qū)域122生成如圖2(a)所示的亮度圖像(圖像數(shù)據(jù))124。只是，這里，為了便于理解，僅模式性地示出兩個(gè)亮度圖像124中的一個(gè)。圖像處理裝置120從這種亮度圖像124中求出每個(gè)區(qū)塊的視差，從而形成如圖2(b)所示的距離圖像126。對(duì)于距離圖像126中的各個(gè)區(qū)塊來說，其區(qū)塊的視差相互關(guān)聯(lián)。在此，為了便于說明，將導(dǎo)出了視差的區(qū)塊以黑點(diǎn)表示。

(環(huán)境識(shí)別裝置130)

環(huán)境識(shí)別裝置130從圖像處理裝置120獲取亮度圖像124和距離圖像126，并利用基于亮度圖像124的亮度和基于距離圖像126的視差信息的與車輛(本車輛)1的相對(duì)距離，確定檢測區(qū)域122中的對(duì)象物對(duì)應(yīng)于哪個(gè)物體(車輛、信道燈、道路、護(hù)欄、尾燈、轉(zhuǎn)向指示燈、信號(hào)燈的各個(gè)照明部分等)。此時(shí)，環(huán)境識(shí)別裝置130利用所謂的立體視覺法，將距離圖像126中的檢測區(qū)域122內(nèi)的每個(gè)區(qū)塊的視差信息變換為包含相對(duì)距離的三維位置信息。這里，立體視覺法是通過使用三角測量法從對(duì)象物的視差導(dǎo)出該對(duì)象物相對(duì)于攝像裝置110的相對(duì)距離的方法。

(車輛控制裝置140)

車輛控制裝置140執(zhí)行避免本車輛與通過環(huán)境識(shí)別裝置130確定的對(duì)象物碰撞或使本車輛與前行車輛的車間距離保持在安全距離的控制。具體來說，車輛控制裝置140通過用于檢測方向盤的角度的舵角傳感器142和檢測車輛1的速度的車速傳感器144等獲取當(dāng)前的車輛1的行駛狀態(tài)，并通過控制致動(dòng)器146使車輛1與前行車輛的車間距離保持在安全距離。在此，致動(dòng)器146是用于控制剎車、節(jié)氣閥、舵角等的車輛控制用致動(dòng)器。而且，當(dāng)推斷出將與對(duì)象物發(fā)生碰撞時(shí)，車輛控制裝置140于設(shè)置在駕駛者的前方的顯示器148進(jìn)行相應(yīng)警告顯示(報(bào)警)的同時(shí)，控制致動(dòng)器146使車輛1自動(dòng)地減速。這樣的車輛控制裝置140也可以與環(huán)境識(shí)別裝置130形成為一體。

(第一實(shí)施方式中的問題及其解決方案)

彩色圖像能夠以各種方式來獲取。例如，(1)可通過透鏡將進(jìn)入到攝像裝置110的入射光分割為rgb的各個(gè)色相，并用三個(gè)攝像器件獲取每個(gè)色相的圖像，或者，(2)能夠使用在光路方向上重疊rgb各自的敏感度元件的攝像器件來一次性獲取基于rgb的圖像，或者，(3)依據(jù)拜爾陣列，針對(duì)每個(gè)像素規(guī)則且排他地獲取一個(gè)色相。本實(shí)施方式采用其中的(3)拜爾陣列來獲取圖像。

圖3是用于說明拜爾陣列的一例的說明圖。如圖3(a)所示，拜爾陣列是在以格子狀排列的像素中規(guī)則且排他地布置各個(gè)色相rgb的陣列，針對(duì)任一個(gè)色相，至少在水平方向以及垂直方向的兩個(gè)相鄰像素中配置有相同的色相。只是，色相g的密度為色相r和色相b的兩倍(占有面積)。這是因?yàn)椋鐖D3(b)所示的分光敏感度特性，由于色相g的敏感度分布較高，因此容易獲取亮度信息，并且人的視覺對(duì)色相g有較高的敏感度。

在拜爾陣列中，從各個(gè)像素只能獲取針對(duì)一個(gè)色相的亮度。因此，針對(duì)缺少的其他兩個(gè)色相，利用相鄰的像素的該色相的亮度來進(jìn)行色彩恢復(fù)處理(插值處理)。

圖4為用于說明色彩恢復(fù)處理的說明圖。這里，被附在像素周圍的數(shù)字表示像素的水平以及垂直位置。例如，在拜爾陣列中，色相r如圖4(a)所示地配置。從而，已經(jīng)獲取針對(duì)色相r的亮度的像素(2,1)、(2,3)、(4,1)、(4,3)的亮度可直接利用獲取的亮度a、b、c、d。

并且，在水平方向或者垂直方向上與已獲取了亮度的兩個(gè)像素相鄰的像素(2,2)、(3,1)、(3,3)、(4,2)中，線性插值相鄰的兩個(gè)像素的亮度，像素(2,2)的亮度＝(a+b)/2，像素(3,1)的亮度＝(a+c)/2，像素(3,3)的亮度＝(b+d)/2，像素(4,2)的亮度＝(c+d)/2。

進(jìn)一步，在對(duì)角線方向上與已獲取亮度的四個(gè)像素相鄰的像素(3,2)中，線性插值相鄰的四個(gè)像素的亮度，像素(3,2)的亮度＝(a+b+c+d)/4。這里，為了便于說明，省略水平方向的第一行以及垂直方向的第四行的像素的導(dǎo)出。這樣的像素的插值也適用于如圖(b)所示的色相b，因此在此省略對(duì)色相b的說明。

并且，色相g在拜爾陣列中如圖4(c)所示地配置。從而，已經(jīng)針對(duì)色相g獲取了亮度的像素(2,2)、(3,1)、(3,3)、(4,2)的亮度，可直接利用已獲取的亮度e、f、g、h。而且，在水平方向及垂直方向與已獲取亮度的四個(gè)像素相鄰的像素(3,2)中，線性插值相鄰的四個(gè)像素的亮度，像素(3,2)的亮度＝(e+f+g+h)/4。

因此，對(duì)于任一個(gè)色相，可以理解為了恢復(fù)原來的色彩，在水平方向或者垂直方向需要至少三個(gè)像素的區(qū)域?qū)挾?參照像素?cái)?shù)量的寬度為四個(gè)像素)。此時(shí)，當(dāng)拍攝到電線、樹(葉等)、其他的朝一個(gè)方向較細(xì)的對(duì)象物時(shí)，如果該寬度為一個(gè)像素或兩個(gè)像素，則難以進(jìn)行確切的色彩的恢復(fù)。

例如，在圖4(a)中，假設(shè)在垂直方向的第二行中存在水平方向的寬度為一個(gè)像素的對(duì)象物。在圖4(a)的垂直方向的第二行中沒有任何關(guān)于該對(duì)象物的r成分的信息，依據(jù)上述的線性插值，會(huì)生成受到其他對(duì)象物的r成分的影響的假色彩。同樣地，在圖4(b)中，假設(shè)在垂直方向的第三行中存在水平方向的寬度為一個(gè)像素的對(duì)象物。由于圖4(b)的垂直方向的第三行沒有任何關(guān)于該對(duì)象物的b成分的信息，依據(jù)上述的線性插值，會(huì)生成受到其他對(duì)象物的b成分的影響的假色彩。相對(duì)于此，在圖4(c)中，不管是垂直方向的第二行還是垂直方向的第三行，都包含關(guān)于該對(duì)象物的g成分的信息，因此即使受到其他對(duì)象物的g成分的影響，也能夠通過線性插值來恢復(fù)到接近原來的色彩的色彩。

由此，在色彩恢復(fù)處理中，例如，若在拜爾陣列中僅處理密度較高的色相g，則難以生成假色彩，與還包含色相r、b的情況相比，能夠提高色彩的恢復(fù)性。當(dāng)產(chǎn)生假色彩時(shí)，不僅無法進(jìn)行確切的圖案匹配，而且因錯(cuò)誤匹配還會(huì)導(dǎo)出錯(cuò)誤的視差信息。如上所述，通過提高色彩的恢復(fù)性，能夠避免這種的情況。

當(dāng)完成了色彩恢復(fù)處理時(shí)，接著基于對(duì)應(yīng)于攝像裝置110而預(yù)先設(shè)定的每個(gè)像素的位置偏差(歪曲)特性，執(zhí)行對(duì)各個(gè)像素進(jìn)行坐標(biāo)變換的坐標(biāo)變換處理。坐標(biāo)變換為將因?yàn)橥ㄟ^攝像裝置110獲取而從原來的位置歪曲的對(duì)象物恢復(fù)到原來的位置的處理。例如，將如圖5(a)所示的、具有諸如通過魚眼鏡頭的位置偏差特性的影像，通過使用朝水平方向或垂直方向的單純的位移或仿射變換等的旋轉(zhuǎn)移動(dòng)，校正為如圖5(b)的水平方向或垂直方向?yàn)橹本€的圖像。

針對(duì)這樣的坐標(biāo)變換，也執(zhí)行坐標(biāo)變換后的像素的色彩恢復(fù)，但是像素的物理重心和對(duì)其像素進(jìn)行恢復(fù)的色彩重心不同時(shí)，會(huì)產(chǎn)生問題。這里，色彩重心可能因上述的色彩恢復(fù)處理而偏移。以下，對(duì)色彩重心進(jìn)行說明。

圖6為用于說明色彩重心的說明圖。若根據(jù)圖6(a)中用虛線表示的四個(gè)像素(亮度＝a、b、c、d)通過幾何校正恢復(fù)用實(shí)線表示的一個(gè)像素，則用實(shí)線表示的像素150的亮度利用距離x、y而可表示為a×(1－x)(1－y)+b×x(1－y)+c×(1－x)y+d×xy。

由此，當(dāng)如圖6(b)所示地配置色相r，且其亮度為a、b、c、d時(shí)，假設(shè)像素(2,2)、(3,2)、(3,3)的r成分為e、f、g時(shí)，圖6(b)的用實(shí)線表示的像素152的亮度為(b+e+f+g)/4。但是，這里為了容易理解，將圖6(a)中的距離x、y設(shè)為0.5。并且，依據(jù)上述的色彩恢復(fù)處理，e＝(a+b)/2、f＝(a+b+c+d)/4、g＝(b+d)/2。于是，朝像素152的色相r的貢獻(xiàn)度為，a＝3/16、b＝9/16、c＝1/16、d＝3/16。此時(shí)，色彩重心為相比像素152的物理重心(中心位置)，在附圖中偏左下。當(dāng)針對(duì)色相b也如同色相r那樣求出時(shí)，如圖6(c)所示，色彩重心為相比像素152的物理重心，在附圖中偏右上。這樣的色彩重心的位置因?qū)嵕€的像素152的獲取方法而變化，這是毋庸置疑的。

但是，當(dāng)為色相g的時(shí)候，如圖6(d)所示，假設(shè)像素(3，1)、(2，2)、(1，3)、(4，2)、(3，3)、(2，4)的亮度為h、i、j、k、l、m，則朝像素152的色相g的貢獻(xiàn)度為，h＝1/16、i＝6/16、j＝1/16、k＝1/16、l＝6/16、m＝1/16。此時(shí)，色彩重心與像素152的物理重心(中心位置)一致。

由此，當(dāng)進(jìn)行坐標(biāo)變換時(shí)，針對(duì)色相r、b存在像素的物理重心與針對(duì)該像素進(jìn)行恢復(fù)的色彩重心不一致的情況，因此通過基于像素的物理重心的幾何學(xué)的位置校正，有可能使色彩重心偏于一方。但是，例如，在拜爾陣列中僅處理如方格圖案那樣均勻配置的色相g時(shí)，這樣的物理重心和色彩重心之間不會(huì)產(chǎn)生偏移，與還包含色相r、b的情況相比，坐標(biāo)變換之后的像素的色彩配置更加確切。當(dāng)產(chǎn)生這種色彩重心的偏移時(shí)，與色彩恢復(fù)處理相同，不僅圖案匹配無法確切地執(zhí)行，因?yàn)殄e(cuò)誤匹配還會(huì)導(dǎo)出錯(cuò)誤的視差信息。這里，通過如上所述的抑制色彩的偏移來可避免上述情況。

因此，當(dāng)在坐標(biāo)變換處理中僅處理色相g時(shí)，能夠提高色彩的恢復(fù)性，抑制偏移。以下，具體描述成為對(duì)象的色相僅為色相g時(shí)的圖像處理裝置120的構(gòu)成。

(圖像處理裝置120)

圖7為示出圖像處理裝置120的概略的功能的功能方框圖。如圖7所示，圖像處理裝置120包括i/f單元160、數(shù)據(jù)存儲(chǔ)單元162、中央控制單元164而構(gòu)成。

i/f單元160是用于與攝像裝置110和環(huán)境識(shí)別裝置130進(jìn)行雙向信息交換的接口。數(shù)據(jù)存儲(chǔ)單元162由ram、閃存、hdd等構(gòu)成，以用于存儲(chǔ)以下所示各個(gè)功能單元的處理中所必要的各種信息，而且暫時(shí)存儲(chǔ)從攝像裝置110接收的亮度圖像124。

中央控制單元164由包括中央處理裝置(cpu)、存儲(chǔ)有程序等的只讀存儲(chǔ)器(rom)、作為工作區(qū)的ram等的半導(dǎo)體集成電路構(gòu)成，通過系統(tǒng)總線166來控制i/f單元160、數(shù)據(jù)存儲(chǔ)單元162。并且，在本實(shí)施方式中，中央控制單元164還具有敏感度校正單元170、色彩恢復(fù)單元172、坐標(biāo)變換單元174、匹配處理單元176、視差導(dǎo)出單元178的功能。

敏感度校正單元170針對(duì)從攝像裝置110接收的一對(duì)圖像數(shù)據(jù)實(shí)施伽馬校正、拐點(diǎn)處理等的預(yù)定的處理。

如圖4中進(jìn)行的說明，色彩恢復(fù)單元172是在以拜爾陣列構(gòu)成的一對(duì)圖像數(shù)據(jù)中，基于相鄰的像素通過線性插值等恢復(fù)各個(gè)像素中未設(shè)定的色相的亮度。但是，在本實(shí)施方式中，并不提取整個(gè)三元色，而僅提取在拜爾陣列中占有度較高的色相g，并針對(duì)未設(shè)定與色相g相關(guān)的亮度的像素實(shí)施色彩恢復(fù)處理。

依據(jù)這種構(gòu)成，難以生成假色彩，與還包含色相r、b的情況相比，能夠提高色彩的恢復(fù)性。由此，能夠避免無法確切地執(zhí)行圖案匹配，或者因錯(cuò)誤匹配而導(dǎo)出錯(cuò)誤的視差信息的情況，從而提高圖案匹配的精度。

并且，在此，作為占有度較高的色相而使用色相g，但是只要是在拜爾陣列中占有面積較多的色相，可采用任何一個(gè)色相。例如，不限于rgb的原色系，即使是ymgcygr的輔助色系，也可使用占有度最高的輔助色。

如在圖5的說明，坐標(biāo)變換單元174為，基于對(duì)應(yīng)于生成一對(duì)圖像數(shù)據(jù)的攝像裝置110而預(yù)先設(shè)定的每個(gè)像素的位置偏差特性，對(duì)各個(gè)像素進(jìn)行坐標(biāo)變換，并導(dǎo)出坐標(biāo)變換后的像素的亮度(色彩恢復(fù))。這種坐標(biāo)變換能夠采用日本特許第3284190號(hào)等已知的各種技術(shù)，因此這里省略其詳細(xì)的說明。在此，坐標(biāo)變換單元174僅利用通過色彩恢復(fù)單元172來實(shí)施色彩恢復(fù)處理的色相g，進(jìn)行坐標(biāo)變換后的色彩恢復(fù)。

色相g在拜爾陣列中如方格圖案那樣均勻地配置，因此不會(huì)產(chǎn)生物理重心和色彩重心之間的偏移，與還包含色相r、b的情況相比，坐標(biāo)變換之后的圖像的色彩配置也更加恰當(dāng)。因此，能夠避免無法確切地執(zhí)行圖案匹配，或者因誤匹配而導(dǎo)出錯(cuò)誤的視差信息的這種情況，從而提高圖案匹配的精度。

匹配處理單元176從恢復(fù)了亮度且矯正了位置偏差的一對(duì)數(shù)據(jù)中分別提取預(yù)定大小的區(qū)塊而進(jìn)行匹配，并確定相關(guān)性較高的區(qū)塊彼此。但是，在本實(shí)施方式中僅對(duì)色相g進(jìn)行圖案匹配。

作為該圖案匹配已知有，在兩個(gè)圖像數(shù)據(jù)之間以表示任意的圖像位置的區(qū)塊單位來比較亮度值(y色差信號(hào))。例如，包括求出亮度值的差值的絕對(duì)差值和(sad，sumofabsolutedifference)、將差值平方后使用的差值的平方和(ssd，sumofsquaredintensitydifference)、求出從各個(gè)像素的亮度值減去了平均值的分散值的相似度的歸一化互相關(guān)(ncc，normalizedcrosscorrelation)等方法。圖像處理裝置120對(duì)于被顯示在檢測區(qū)域(例如，600像素×200像素)的全部區(qū)塊執(zhí)行這種區(qū)塊單位的視差導(dǎo)出處理。在此，將區(qū)塊設(shè)定為4像素×4像素，但區(qū)塊內(nèi)的像素?cái)?shù)量可以任意地設(shè)定。

在本實(shí)施方式中，以匹配處理單元176利用一個(gè)色相g來進(jìn)行圖案匹配為例進(jìn)行了說明，但是根據(jù)條件，通過利用切換成依據(jù)現(xiàn)有的三原色的圖案匹配，能夠有效地進(jìn)行圖案匹配。此時(shí)的條件為，例如可以推斷為邊緣的精細(xì)度、假想的影像、dcdx值(亮度的微分)等。例如，當(dāng)整體上邊緣較精細(xì)時(shí)，僅依據(jù)色相g來進(jìn)行圖案匹配，若邊緣較為緩和，依據(jù)三原色來進(jìn)行圖案匹配。

視差導(dǎo)出單元178為，以像素單位求出由匹配處理單元176來確定的區(qū)塊彼此的、以圖像為基準(zhǔn)的視差，并將其關(guān)聯(lián)到該區(qū)塊。這種視差作為視差信息而利用于后述的環(huán)境識(shí)別裝置130中。

以上說明的圖像處理裝置120中，作為色相僅對(duì)色相g進(jìn)行處理，能夠提高色彩的恢復(fù)性，抑制色彩重心的偏移。由此，通過進(jìn)一步提高圖案匹配的精度，能夠確切地導(dǎo)出視差信息，并能夠確切地進(jìn)行控制以避免與對(duì)象物之間的碰撞，并與前行車輛的車間距離保持在安全距離以內(nèi)。

(第二實(shí)施方式)

在第一實(shí)施方式中，基于拜爾陣列的構(gòu)成，依據(jù)一個(gè)色相而進(jìn)行了匹配。在第二實(shí)施方式中，不拘泥于拜爾陣列，而對(duì)應(yīng)于車輛1外的環(huán)境而執(zhí)行依據(jù)一個(gè)色相的匹配。

(第二實(shí)施方式中的問題和其解決方案)

在夜間行駛的車輛1中，環(huán)境識(shí)別系統(tǒng)100可以從檢測區(qū)域122接收的光整體減少，因此較大程度地打開攝像裝置110的遮光器，提高光的受光敏感度。此時(shí)，當(dāng)尾燈、停車燈、前照燈、方向指示燈等自我發(fā)光的光源出現(xiàn)在檢測區(qū)域122時(shí)，因較高的受光敏感度，亮度達(dá)到飽和(saturation)。

如此，若亮度的信息顯示飽和，則飽和的全部的像素表示相同的亮度，因此無法進(jìn)行確切的圖案匹配。為了避免這種現(xiàn)象而縮小遮光器的光圈時(shí)，有可能針對(duì)上述光源進(jìn)行圖案匹配，但是這將無法取得光源以外的對(duì)象物。

然而，如尾燈、停車燈、前照燈、方向指示燈等，車輛1中使用高壓氣體放電燈(hid：highintensitydischarge)或鹵素?zé)?。在第二?shí)施方式中，著眼于這種燈的特性。

圖8是用于說明hid燈以及鹵素?zé)舻奶匦缘恼f明圖。例如，參照圖如8(a)所示的、hid燈(此處為金屬鹵化物燈)的分光能量分布可知，色相g以及位于色相g和色相r之間的波長是相對(duì)能量較高的波長。另外，色相b的相對(duì)能量表現(xiàn)為較低的值。同樣地，在圖8(b)所示的鹵素?zé)糁?，色相b的相對(duì)能量較低，隨著波長變大，即隨著色相朝著色相g、色相r移動(dòng)，相對(duì)能量變高。

因此，在本實(shí)施方式中，通過在光源中僅獲取相對(duì)能量較弱的色相b，從而可以避免達(dá)到飽和。尤其，尾燈、停車燈、方向轉(zhuǎn)向燈等有紅色或者橙色的彩色濾光片，因此色相b的光難以通過，進(jìn)一步降低了色相b的亮度，從而容易避免飽和。

針對(duì)色相b，即使在打開遮光器的情況下，因色相b的起初的相對(duì)能量較低，為此難以達(dá)到飽和，作為亮度可獲取有效的值。于是，生成依據(jù)該色相b的結(jié)構(gòu)，能夠進(jìn)行確切的圖案匹配。

(圖像處理裝置220)

圖9為示出第二實(shí)施方式中的圖像處理裝置220的概略的功能的功能方框圖。如圖9所述，與第一實(shí)施方式的圖像處理裝置120相同，圖像處理裝置220包括i/f單元160、數(shù)據(jù)存儲(chǔ)單元162、中央控制單元164。并且，中央控制單元164還具有敏感度校正單元170、色彩恢復(fù)單元172、坐標(biāo)變換單元174、匹配處理單元176、視差導(dǎo)出單元178、環(huán)境信息獲取單元280的功能。并且與作為在第一實(shí)施方式中的構(gòu)成要素而已經(jīng)闡述的i/f單元160、數(shù)據(jù)存儲(chǔ)單元162、中央控制單元164、敏感度校正單元170、視差導(dǎo)出單元178相比，實(shí)質(zhì)功能相同，因此省略重復(fù)的說明。并且，針對(duì)色彩恢復(fù)單元172、坐標(biāo)變換單元174、匹配處理單元176，除了作為對(duì)象的色相為色相b以外實(shí)質(zhì)上相同，因此省略重復(fù)的說明，主要說明構(gòu)成不同的環(huán)境信息獲取單元280。

環(huán)境信息取得單元280獲取車輛1外的環(huán)境中的明暗相關(guān)的環(huán)境信息。例如，當(dāng)車輛1的前照燈被點(diǎn)亮?xí)r，判斷為當(dāng)前環(huán)境是需要前照燈的程度，并且從該前照燈的點(diǎn)亮中獲取環(huán)境信息“暗”。并且，作為環(huán)境信息獲取單元280，可以設(shè)置亮度傳感器，且根據(jù)是否處于適當(dāng)?shù)拈撝狄韵聛砼袛喹h(huán)境信息“暗”。

當(dāng)環(huán)境信息獲取單元280獲取表示處于預(yù)定的亮度以下的情況的環(huán)境信息“暗”時(shí)，匹配處理單元176從成為對(duì)象的多個(gè)色相中，僅將波長最短的色相的色相b作為對(duì)象而執(zhí)行匹配。例如，前行車輛的尾燈為，色相r的波長較多，色相b的波長較少。為此，當(dāng)僅以色相b的波長的圖像進(jìn)行匹配時(shí)，尾燈不會(huì)達(dá)到飽和，能夠執(zhí)行確切的圖案匹配。于是，能夠?qū)С龃_切的視差信息，確切地執(zhí)行對(duì)本車輛的控制，以避免與對(duì)象物的碰撞，或與前行車輛的車間距離保持在安全距離。

在此，假設(shè)環(huán)境如白天似地十分明亮?xí)r，即環(huán)境信息獲取單元280表示環(huán)境信息“明”時(shí)，匹配處理單元176依據(jù)三原色進(jìn)行圖案匹配。

如以上的說明，根據(jù)圖像處理裝置220，在夜間行駛時(shí)抑制遮光器的光圈，通過攝像器件來有效地獲取較少的入射光，能夠確切地獲取具有光源的對(duì)象物，進(jìn)而進(jìn)一步提高圖案匹配的精度。

而且，還提供使計(jì)算機(jī)起到圖像處理裝置120、220的作用的程序或記錄該程序的計(jì)算機(jī)可讀軟盤、光磁盤、rom、cd、dvd、bd等記錄介質(zhì)。在此，程序是利用任意的語言或記述方法記述的數(shù)據(jù)處理方法。

以上的說明中，參照附圖對(duì)本發(fā)明的優(yōu)選實(shí)施方式進(jìn)行了說明，但是本發(fā)明并不局限于這種實(shí)施方式。只要是本領(lǐng)域的技術(shù)人員，在權(quán)利要求書所記載的范疇之內(nèi)得到各種變更例或修改例是顯而易見的，但顯然這些都屬于本發(fā)明的技術(shù)范圍。

例如，在上述的實(shí)施方式中，利用采用了兩個(gè)攝像裝置100來同時(shí)獲取的圖像數(shù)據(jù)，但是也可以使用采用一個(gè)攝像裝置110時(shí)序地對(duì)應(yīng)的一對(duì)圖像數(shù)據(jù)。并且，攝像裝置110的數(shù)量不限于一個(gè)或兩個(gè)，也能夠適用于三個(gè)以上的復(fù)眼。

而且，在上述的實(shí)施方式中，例舉了作為拜爾陣列的rgb的三原色，但是也可應(yīng)用rgbc的四原色或者不同的五色以上的色彩。

進(jìn)一步，在上述的實(shí)施方式中，僅將通過攝像裝置110來獲取的圖像數(shù)據(jù)作為對(duì)象，但是也可以使用電波激光雷達(dá)，且以不同的頻率濾波器來獲取相當(dāng)于上述特定的色相的激光。在此，電波激光雷達(dá)為，向檢測區(qū)域122發(fā)射激光束，接收該激光束碰到物體而被反射的光，并分析該反射光的裝置。進(jìn)一步，在溫度測量裝置中，針對(duì)每個(gè)溫度測量元件的圖像數(shù)據(jù)也可以應(yīng)用該實(shí)施方式。

產(chǎn)業(yè)上的可利用性

本發(fā)明可以利用基于所拍攝的一對(duì)圖像數(shù)據(jù)來執(zhí)行圖案匹配的圖像處理裝置。