專利名稱：車輛用行駛劃分線識別裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛用行駛劃分線識別裝置。
背景技術(shù)：
在車輛行駛的路面(行駛道路)上，表示或者設(shè)置有作為行駛劃分線的白線、黃線、反光道釘?shù)雀鞣N道路標識，但歷來為了識別白線等行駛劃分線，如專利文獻1所記載，通過對用CCD照相機及圖像處理ECU等拍攝裝置拍攝的圖像進行微分及雙值化處理等并檢測邊緣，對檢測出的邊緣點序列(白線候補點序列)進行哈夫(Hough)變換并尋求近似直線成分來識別。
另外，在路面上表示的白線本身在由于物理的原因發(fā)生模糊不清、或部分缺損的情況下、或者在夜間行駛時等拍攝圖像的對比度下降而使拍攝圖像中的白線變得不鮮明等情況下，不能正確識別白線，因此，如在專利文獻2中所記載，提出了如下技術(shù)在拍攝圖像中設(shè)定窗口，并由窗口內(nèi)的白線候補點的密度等判定白線的模糊不清的程度，當判定為模糊不清時，將從一定時間前的拍攝圖像提取的白線候補點序列與從當前的白線圖像提取的白線候補點序列重合，求出近似重合的白線候補點序列的直線，從而識別白線。
專利文獻1特公平6-42261號公報專利文獻2特開2001-236506號公報但是，有車輛相對于行駛劃分線的姿勢或角度在現(xiàn)時點和過去的時點不同的情況，因此，拍攝的圖像也在兩時點向水平方向或車輛相對于行駛劃分線的角度方向偏移，當然在該狀態(tài)下合成圖像后，成為行駛劃分線水平方向的位置和角度錯開的狀態(tài)。
為了防止該情況，需要進行在過去的時點的圖像上的行駛劃分線的水平方向的位置及角度方向的補正，其補正量為對應(yīng)現(xiàn)在和過去時點的車輛姿勢的變化量。這一點在特許文獻2記載的現(xiàn)有技術(shù)中，檢測車輛的偏行率變化量，即，車輛的旋轉(zhuǎn)(轉(zhuǎn)彎)運動的有無，如果有旋轉(zhuǎn)運動則只是對圖像給予對應(yīng)該量的補正，因此，不能進行水平方向的補正，因此，存在在合成的圖像中行駛劃分線不被適當?shù)匮娱L的不良情況。當然，所謂通過圖像識別而識別行駛劃分線是指識別行駛道路(自車線)，行駛劃分線白線部分的長度越長就越能夠高精度地識別行駛劃分線的方向，因此，優(yōu)選行駛劃分線在外觀上被延長而合成。

發(fā)明內(nèi)容
因此，本發(fā)明提供一種車輛用行駛劃分線識別裝置，其目的在于，消除上述的不良情況，進行對應(yīng)車輛位置(行駛劃分線和車輛的距離)及角度的補正，在合成圖像中使行駛劃分線外觀上延長，因此，能夠高精度地、可靠地識別行駛劃分線。
為解決上述的問題，本發(fā)明第一方面提供一種車輛用行駛劃分線識別裝置，其具備對包括車輛行進方向路面的區(qū)域進行拍攝的拍攝裝置；能夠識別由所述拍攝裝置拍攝的拍攝圖像中的所述路面上至少虛線狀的行駛劃分線的劃分線識別裝置；將由所述拍攝裝置在不同時刻拍攝的多個拍攝圖像合成，延長所述拍攝圖像中的所述行駛劃分線長度的圖像合成裝置，其中，該車輛用行駛劃分線識別裝置具備車輛狀態(tài)檢測裝置，該車輛狀態(tài)檢測裝置求取所述車輛相對于由所述圖像合成裝置合成的多個拍攝圖像的行駛劃分線的前后方向角度及所述行駛劃分線和所述車輛之間的距離，并檢測在所述多個拍攝圖像間的所述角度及所述距離的各個的差，并且，所述圖像合成裝置根據(jù)由所述車輛狀態(tài)檢測裝置檢測的所述角度和距離的差，對以相對于所述行駛劃分線的相同車輛角度及距離拍攝的圖像進行補正后，將所述多個圖像合成。
還有，本發(fā)明第二方面提供一種車輛用行駛劃分線識別裝置，其具備對包括車輛行進方向路面的區(qū)域進行拍攝的拍攝裝置；能夠識別由所述拍攝裝置拍攝的拍攝圖像中的所述路面上至少虛線狀的行駛劃分線的劃分線識別裝置；將由所述拍攝裝置在不同時刻拍攝的多個拍攝圖像合成，延長所述拍攝圖像中的所述行駛劃分線長度的圖像合成裝置，其中，該車輛用行駛劃分線識別裝置具備車輛狀態(tài)檢測裝置，該車輛狀態(tài)檢測裝置求取所述車輛相對于由所述圖像合成裝置合成的多個拍攝圖像的行駛劃分線的前后方向角度及所述行駛劃分線和所述車輛之間的距離，并檢測在所述多個拍攝圖像間的所述角度及所述距離的各個的差，并且，所述圖像合成裝置根據(jù)由所述車輛狀態(tài)檢測裝置檢測的所述角度和距離的差調(diào)整所述多個圖像間的合成位置并合成，形成以相對于所述行駛劃分線的相同車輛角度及距離拍攝的狀態(tài)。
還有，本發(fā)明第三方面提供一種車輛用行駛劃分線識別裝置，其中，具備檢測所述多個拍攝圖像的拍攝時點的所述車輛的傾角并檢測所述多個拍攝圖像間傾角的差的傾角變化檢測裝置，所述圖像合成裝置根據(jù)由所述傾角變化檢測裝置檢測到的傾角的差，對以相同的傾角拍攝的圖像進行補正后，將所述多個圖像合成。
還有，本發(fā)明第四方面提供一種車輛用行駛劃分線識別裝置，其中，具備檢測所述多個拍攝圖像的拍攝時點的所述車輛的傾角并檢測所述多個拍攝圖像間傾角的差的傾角變化檢測裝置，所述圖像合成裝置根據(jù)由所述傾角變化檢測裝置檢測到的傾角的差調(diào)整所述多個圖像間的合成位置并合成，形成以相同傾角拍攝的狀態(tài)。
在第一方面的車輛用行駛劃分線識別裝置中，求出車輛相對于合成的多個拍攝圖像的行駛劃分線的前后方向角度及行駛劃分線和所述車輛之間的距離，并檢測多個拍攝圖像間的各個的差，并且，根據(jù)檢測的所述角度和距離的差，對以相對于行駛劃分線的相同車輛角度及距離拍攝的圖像進行補正后，將多個圖像合成，因此，在合成的圖像中，能夠使行駛劃分線在外觀上切實地延長并能夠提高行駛劃分線的識別精度，由此能夠可靠地識別自車的行駛道路。
在第二方面的車輛用行駛劃分線識別裝置中，求出車輛相對于合成的多個拍攝圖像的行駛劃分線的前后方向角度及行駛劃分線和所述車輛之間的距離，并檢測在多個拍攝圖像間的各個的差，并且，根據(jù)檢測的角度和距離的差調(diào)整多個圖像間的合成位置并合成，形成以相對于行駛劃分線的相同車輛的角度及距離拍攝的狀態(tài)。即，在第一方面車輛用行駛劃分線識別裝置的狀態(tài)下使圖像自身移動，與此相對應(yīng)根據(jù)檢測的角度和距離的差將多個圖像間的合成位置調(diào)節(jié)合成，形成以相對于所述行駛劃分線的相同車輛的角度及距離拍攝的狀態(tài)，因此能夠得到與在第一方面所述同樣的效果。
在第三方面的車輛用行駛劃分線識別裝置中，檢測多個拍攝圖像的拍攝時點的車輛的傾角的差并對以相同的傾角拍攝的圖像補正后，將多個圖像合成，因此，能夠使行駛劃分線在外觀上切實地延長并能夠提高行駛劃分線的識別精度，由此能夠可靠地識別自車的行駛道路。
在第四方面的車輛用行駛劃分線識別裝置中，也檢測多個拍攝圖像的拍攝時點的車輛的傾角的差并對以相同的傾角拍攝的圖像補正后，將多個圖像合成，因此，同樣，能夠使行駛劃分線在外觀上進一步切實地延長并能夠提高行駛劃分線的識別精度，由此能夠可靠地識別自車的行駛道路。
另外，上述的“車輛的行進方向”是指，不只是前進行駛時的前方，也可以是設(shè)置前進行駛時拍攝包括后方的路面區(qū)域的拍攝裝置，并由所述拍攝裝置拍攝到的拍攝圖像識別后方的行駛劃分線。這樣，“車輛的行進方向”是指表示車輛的前后方向的方向。


圖1是表示本發(fā)明實施例的車輛用行駛劃分線識別裝置的全體構(gòu)成的概略圖；圖2是從輸入輸出表示圖1所示的控制ECU的動作的框圖；圖3是表示圖1及圖2所示裝置的動作的流程圖；圖4是通過圖3的邊緣檢測處理得到的邊緣圖像的說明圖；圖5是作為通過圖3的哈夫(Hough)變換處理得到的相當于白線等行駛劃分線的直線成分的標線的說明圖；圖6是通過圖3的車線候補檢測處理得到的車線候補(標線候補點序列)的說明圖；圖7是表示通過圖3的車線位置推定處理得到的本車的行駛車線的推定位置的說明圖；圖8是表示圖3的幀合成處理的子程序流程圖；
圖9是表示在圖8的過去幀選擇處理中成為基準的現(xiàn)在時刻(這次處理周期)t輸入的拍攝圖像的說明圖；圖10是表示向用圖8的過去幀選擇處理與輸入到現(xiàn)在時刻(這次處理周期)t的拍攝圖像合成的時刻(前一次以前的處理周期)t-n輸入的拍攝圖像的說明圖；圖11是表示用圖8的垂直線補正處理補正后的圖像的說明圖；圖12是表示用圖8的合成處理得到的合成圖像的說明圖；圖13是表示要用圖8的過去幀的亮度檢測處理檢測的拍攝區(qū)域的規(guī)定區(qū)域(路面)的說明圖；圖14是表示圖8的過去幀的亮度檢測處理的說明圖；圖15是圖8的亮度補正處理的子程序流程圖；圖16是表示圖15的處理中使用的、相對路面的亮度的快門速度及光圈的特性的說明曲線圖；圖17同樣是表示被圖15的處理使用的、相對路面的亮度的快門速度及光圈的增益放大(放大率)的特性的說明曲線圖；圖18是表示說明圖8的水平象素補正的、由照相機從拍攝(曝光的)時刻t-2經(jīng)過時刻t-1到時刻t0的車輛相對行駛劃分線(車線)的位置、姿勢(角度)的變化的說明圖；圖19是圖8的水平象素補正處理的子程序流程圖；圖20是圖8的垂直線補正處理的子程序流程圖；圖21是圖19的處理的子程序流程圖；圖22是表示圖21的處理的說明圖；圖23同樣是表示圖21的處理的說明圖；圖24是圖19的處理的子程序流程圖；圖25是表示圖24的處理的說明圖；圖26同樣是表示圖24的處理的說明圖；圖27是表示增加圖8的位置補正處理的圖像合成的圖像鏡象的說明圖；圖28是表示不增加圖8的位置補正處理的情況下的圖像合成的圖像鏡象的說明圖；
圖29是表示在進行邊緣檢測處理前由圖8的合成處理合成時的圖像的說明圖；圖30是表示在進行邊緣檢測處理后，用現(xiàn)有技術(shù)合成時的圖像的說明圖；圖31是說明代替邊緣檢測處理、哈夫(Hough)變換的圖形匹配方法的說明圖；圖32是說明圖31的圖形匹配的圖像例的說明圖。
具體實施例方式
下面，就附圖對用于實施本發(fā)明車輛用行駛劃分線識別裝置的最佳方式進行說明。
實施例1圖1是表示本發(fā)明實施例的車輛用行駛劃分線識別裝置的全體構(gòu)成的概略圖。
在同圖中，符號10表示具備朝向車輛12的行進方向安裝于車室12a內(nèi)部的CCD或C-MOS等拍攝元件的照相機，照相機10拍攝(攝像)包括車輛12的行進方向的路面區(qū)域。照相機10的筐體10a中收納有圖像處理ECU(Electronic Control Unit，電子控制單元)。圖像處理ECU具有硬件化的圖像處理IC(Integrated Circuit)，其輸入從照相機10輸出的表示車輛前方的行駛車線(行車線)的信息的攝像(圖像)信號并進行后述的圖像處理。照相機10和圖像處理ECU相當于所述的拍攝裝置。
另外，在本實施例中，“行駛劃分線”是指，劃分車輛通行帶(車線或行車線)的、用油漆在行駛路(道路)的路面上表示的實線狀或虛線狀的白線或黃線，還包括在路面間隔設(shè)置的反光道釘?shù)鹊缆窐俗R。另外，將用該行駛劃分線劃分的車輛通行帶叫做“車線”或“行車線”。
在車輛12的車室12a的駕駛席設(shè)置的方向盤16經(jīng)由齒條齒輪傳送型的轉(zhuǎn)向裝置而連接于齒條軸20，齒條軸20經(jīng)由轉(zhuǎn)向橫拉桿22連結(jié)于驅(qū)動輪24。在齒條軸20上配置有包括電動機26的電動動力轉(zhuǎn)向機構(gòu)(EPSElectric Power Steering)30，通過電動機26的旋轉(zhuǎn)使齒條軸20往復(fù)移動。
在驅(qū)動輪24和從動輪(未圖示)的附近分別設(shè)有車輪速傳感器32(只圖示有兩個)，其輸出對應(yīng)規(guī)定角度附近的旋轉(zhuǎn)即車輛12的行駛速度(車速)的信號。在車輛12的中央部(后車軸附近)配置有偏行率(yaw rate)傳感器34，其輸出對應(yīng)與在車輛12的重心位置的垂直軸(重力軸)旋轉(zhuǎn)的偏行率(旋轉(zhuǎn)角速度)的信號。另外，在方向盤16的附近設(shè)有轉(zhuǎn)向角傳感器36，其輸出對應(yīng)由駕駛員操縱的方向盤16的旋轉(zhuǎn)量，即轉(zhuǎn)向角的信號。
在車輛12的適宜位置，同樣設(shè)有具備微計算機的控制ECU(ElectronicControl Unit)40?？刂艵CU40輸入圖像處理ECU及所述的各傳感器的輸出，且運算對沿行駛車線行駛的行車線保持輔助控制或防止不小心從行駛車線偏移的車線偏移防止控制等所需要的轉(zhuǎn)向力，并換算成指令值而輸出?？刂艵CU40連接于控制EPS30的動作的EPSECU42。EPSECU42也同樣具有微計算機，進行與控制用ECU40數(shù)據(jù)的發(fā)送，并根據(jù)從控制用ECU40輸出的指令值驅(qū)動電動機26。
圖2是從輸入輸出表示圖1所示的控制ECU40的動作的框圖。
如圖所示，控制ECU40輸入由照相機10和所述的圖像處理ECU(用符號44表示)構(gòu)成的拍攝裝置的輸出及偏行率傳感器34等的輸出，且將行車線保持輔助控制等指令值通過通信輸出到EPSECU42，從而驅(qū)動電動機26。在圖1中省略，在車室12a的駕駛席附近配置有儀表及開關(guān)(SW)，控制ECU40的控制內(nèi)容被顯示于該儀表上。另外，由駕駛員控制的指示通過開關(guān)顯示于該儀表上，并且輸入到控制ECU40。
圖3是表示圖1及圖2所示裝置的動作的流程圖。圖示的程序在圖像處理ECU44及控制ECU40中以規(guī)定的時間間隔，例如每33msec執(zhí)行一次。
進行下面說明時，在步驟S10(下面，省略“步驟”)，從照相機10的拍攝元件輸出拍攝信號。照相機10的拍攝元件具有縱n線×橫m像素構(gòu)成的拍攝區(qū)域。照相機10在工廠的生產(chǎn)線等包括行進方向的行駛道路的規(guī)定方向上調(diào)節(jié)其光軸。
其次，在S12中進行幀合成，即輸入從拍攝元件輸出的圖像信號并合成。具體而言，將在本次的處理周期輸入的拍攝信號與在過去的輸入周期輸入并儲存于圖像處理ECU44的存儲器的拍攝信號，換言之，將當前的圖像(幀)和過去的圖像合成。另外，本實施例的特征點在于該幀合成，因此，在后面詳細說明。S12～S16是圖像處理ECU44內(nèi)的被硬件化的圖像處理IC執(zhí)行的處理。
接著，在S14中進行包括眾所周知的微分處理及與此連續(xù)的雙值化處理的邊緣檢測處理，且由輸入圖像生成如圖4所示的邊緣圖像，接著在S16中通過進行同樣眾所周知的哈夫(Hough)變換，而判別相當于白線等行駛劃分線的直線成分(圖5中用實線表示)。
接下來，在S18中，如圖6所示，以沿所述直線成分的多個邊緣點(邊緣點序列。同圖中用黑色圓點表示)作為車線候補(白線候補點序列)而檢測。
接下來，在S20中在作為車線候補存在多個候補的情況下(例如，如圖6所示存在三條點序列a、b、c的情況)，從本車(車輛12)和車線候補的位置關(guān)系，判別多個車線候補中任意一個候補是否表示在本車(車輛12)正在行駛的車線，從而，如圖7所示，推定本車的行駛車線的位置。
接下來在S22中執(zhí)行車輛控制。即，根據(jù)推定的車線位置，將如前所述的行車線保持輔助控制及車線偏移防止控制等車輛控制的指令值輸出到EPSECU42，控制電動機26的驅(qū)動。并且，S12～S16的處理通過圖像處理ECU44內(nèi)的所述的被硬件化的圖像處理IC執(zhí)行，S18及S20的處理通過圖像處理ECU44執(zhí)行，S22以后的處理通過控制ECU40執(zhí)行。
圖8是表示圖3的S12的幀合成(現(xiàn)時點的取得的圖像(拍攝信號)和過去時點取得的且已儲存的圖像(拍攝信號)的幀合成)的處理的子程序流程圖。
在本實施例中，特征的點在于圖8所示的幀合成的各種處理，如果最初參照同圖進行概述，即在S100中根據(jù)檢測的車速選擇應(yīng)合成的過去幀。
即，從在每個上次以前的處理周期輸入并儲存于圖像處理ECU44的存儲器的多個拍攝圖像中選擇應(yīng)與在現(xiàn)在時刻(本次處理周期)t輸入的拍攝圖像(圖9所示)合成的圖像。具體而言，對應(yīng)于車速，選擇在如圖10所示的時刻t-n拍攝且已儲存的拍攝圖像。在此，n的意思為離散性的采樣時刻，t-n的意思為n次前拍攝并輸入的圖像，即，在過去的不同時點拍攝并儲存的圖像。
接著對在S102中選擇的過去幀的亮度進行補正。即，在現(xiàn)時點輸入的拍攝圖像和在S100中對應(yīng)車速而選擇的在過去時點的拍攝圖像，由于拍攝時點不同，因此有拍攝對象(路面)的亮度受陰影的影響而不同的情況，如果在一方圖像的路面部分的亮度比另一方圖像的白線等行駛劃分線更亮的狀態(tài)進行合成后，在合成圖像中白線可能被埋入路面，因此，為了防止該情況，則進行使過去時點的拍攝圖像的亮度與現(xiàn)時點的拍攝圖像的亮度合在一起的處理，以使現(xiàn)時點和過去時點的圖像的亮度一致。另外，其詳細情況將在后面敘述。
在S104中設(shè)定合成開始位置。即，有可能存在車輛12的姿勢因裝貨等原因而與初始狀態(tài)(照相機10的光軸調(diào)節(jié)時)不同的情況，換言之，即靜態(tài)的俯仰方向的姿勢可能變化的情況。為了根據(jù)該姿勢變化而上下改變照相機10的拍攝區(qū)域，學(xué)習(xí)并補正(設(shè)定)在合成圖像時應(yīng)考慮該變動量的合成開始(基準)位置。該處理在識別行駛劃分線時在路面上方的區(qū)域通常不需要，因此，可通過將現(xiàn)時點和過去時點的地平線位置重合而進行。
其次，在S106中進行水平像素補正。即，車輛12相對于車線的姿勢及角度在現(xiàn)時點和過去時點有不同的情況，因此，由拍攝時點得到的圖像可能產(chǎn)生其位置或角度量偏移的情況。在該情況下，當然，在該狀態(tài)合成圖像后，行駛劃分線水平方向的位置或角度方向會偏移。為了防止該情況，僅以對應(yīng)現(xiàn)在和過去時點的車輛姿勢的變化的量，進行過去時點的圖像上的行駛劃分線水平方向的位置和角度方向的補正。另外，其詳細情況也在后面敘述。
接著，在S108中進行垂直線補正。即，考慮在現(xiàn)時點和過去時點的車輛12的俯仰狀態(tài)不同，因此，從由圖像得到的地平線位置的變化求取兩時點間的動態(tài)的傾角變動，并補正在圖像的垂直(上下)方向的位置，從而得到如圖11所示的補正后的圖像。關(guān)于這一點也在后面敘述。另外，在S104補正的是俯仰的靜態(tài)偏移，與此相對，在S108補正的則是其動態(tài)偏移。
接著前進到S110，將現(xiàn)時點和補正過的過去時點的拍攝圖像合成，如圖12所示，從圖9和圖11的對比顯而易見，得到白線等行駛劃分線比在兩時點的各個圖像上的長度在外觀上被延長的圖像。因此，終止圖8所示的幀合成處理。
下面，對本實施例中的特征點依次進行說明時，初始的特征點為，如在圖8的S100中所述，根據(jù)車速(行駛速度)選擇應(yīng)合成的過去幀。
下面對此進行說明時，在專利文獻2記載的現(xiàn)有技術(shù)中，應(yīng)與現(xiàn)時點的圖像合成的過去時點的圖像為一定時間前的圖像。但是，由于車輛12的移動距離根據(jù)車速(行駛速度)而不同，當然照相機10(拍攝元件的)的拍攝區(qū)域也同樣沿車輛12的行進方向移動，因此，圖像上的行駛劃分線的位置也隨車輛12的前進而移動，換言之，車速越高，拍攝的行駛劃分線的位置移動越大。因此，在合成圖像中行駛劃分線的延長的量及比例因相隔多長的時間間隔選擇過去的圖像并和現(xiàn)時點的圖像合成而不同。
但是，作為行駛劃分線，已知為白線部分(彩色部分)和其間的空白(柏油等無彩色部分)周期性地重復(fù)的虛線狀。該行駛劃分線的白線部分有因耐久性方面的原因模糊不清、部分缺損的情況，并且還有因施工等原因而臨時、應(yīng)急性描繪短的白線部分的情況。
另外，當然，所謂根據(jù)識別圖像識別行駛劃分線是識別行駛道路(本車線)，行駛劃分線白線部分的長度越長，識別行駛劃分線的方向的精度越高，根據(jù)這個道理，優(yōu)選不管所述白線部分的偏移、缺損的有無，白線部分外觀上能夠被延長而合成。鑒于這一點，本實施例中，從以根據(jù)車速(行駛速度)決定的時間間隔在過去拍攝的圖像(過去幀)中選擇相應(yīng)的圖像。該情況不限于白線，用黃線也同樣。
發(fā)明者們通過試驗可得知，如果相對于行駛劃分線的白線部分和空白的合計長度的白線部分的長度(所占比例)為30％左右以上，則就能夠高精度地識別行駛劃分線，能夠可靠地識別本車的行駛道路。如前所述，由于被延長的白線部分的長度對應(yīng)車速而變化，因此根據(jù)使用被識別的行駛劃分線的數(shù)據(jù)的前面所述的行車線保持輔助控制及車行線偏移防止控制等車輛控制的控制車速的范圍，以拍攝周期決定使用幾幀前為好。
具體而言，拍攝周期為33.3msec，因此，例如車速(行駛速度)為60km/h以上時，為了確保必要的白線部分的延長量，最好使用3幀前的圖像。白線部分的延長量稍微不足，但如果車速為90km/h以上也可以使用2幀前的圖像，即使在60～90km/h的車速范圍白線部分延長的量減少，但被延長的長度在1m以上，白線部分在合計長度中所占比例也增加到約30％，因此能夠高精度地識別行駛劃分線并可靠地識別本車的行駛道路。
因此，以在相當于根據(jù)檢測的車速(行駛速度)決定的時間間隔的周期拍攝的至少一個圖像的拍攝圖像作為要與任意(現(xiàn)時點)的拍攝圖像合成的拍攝圖像而選擇。另外，以車速在某一值、例如在105km/h、110km/h時維持滯后的方式，也可以切換在2幀前、3幀前合成使用的圖像，或者如果車速為60km/h以上，且如果使用3幀前的圖像，則白線部分的長度相對于行駛劃分線的白線部分和空白的合計長度成為30％以上，因此也可以僅使用3幀前的圖像。
這樣，在本實施例中，以拍攝圖像中的任意拍攝圖像(具體地說，現(xiàn)時點的圖像，更具體地說，在當前的行駛劃分線識別處理周期拍攝的圖像)的拍攝時刻作為基準，以在對應(yīng)相對其任意的拍攝圖像檢測的車速(行駛速度)而決定的相隔時間間隔在過去拍攝的至少一個拍攝圖像(更具體地說在相當于根據(jù)檢測的車速(行駛速度)而決定的相隔時間間隔的周期拍攝的至少一個拍攝圖像)作為要與其任意的拍攝圖像合成的拍攝圖像進行選擇，因此，與車速的高低無關(guān)，可最適宜地設(shè)定行駛劃分線的白線部分外觀上的延長量或延長比例，并能夠提高行駛劃分線的識別精度，從而能夠可靠地識別本車的行駛道路。
還有，檢測的行駛速度越低，越是選擇在相隔更長時間間隔在過去拍攝的至少一個拍攝圖像。即，車速越低，車輛12的移動距離越短，因此，在車速低的情況下，選擇在更過去時點拍攝(輸入)并被儲存的圖像，以使在合成后的圖像中行駛劃分線的長度的延長量或延長比例不會不足。另一方面，因為車速越高，車輛12的移動距離越長，所以，選擇在接近于現(xiàn)時點的過去時點拍攝(輸入)并被儲存的圖像。
還有，為使彩色部分的長度相對于行駛劃分線的白線部分(彩色部分)和空白(無色部分)的合計長度達到30％以上，而選擇相隔時間間隔在過去拍攝的至少一個拍攝圖像，因此，即使是行駛劃分線產(chǎn)生偏移、缺損的情況及因施工等而長度短的情況，也可以最合適地設(shè)定行駛劃分線的白線部分的表面上的延長量或延長比例，從而能夠提高行駛劃分線的識別精度，因此，能夠可靠地識別本車的行駛道路。
另外，作為合成基準的圖像是在當前的行駛劃分線處理周期中拍攝的圖像，因此，能夠根據(jù)最新的信息合成圖像。而且，選擇在相當于根據(jù)檢測的行駛速度而決定的所述時間間隔的周期拍攝的至少一個拍攝圖像，因此，同樣能夠根據(jù)最新的信息合成圖像。
在本實施例中第二特征點在于，如在圖8的S102中所述，進行過去幀合成的亮度補正。
對此進行說明，通常，為了高精度地識別行駛劃分線的白線部分，如圖13所示，檢測照相機10拍攝的區(qū)域的規(guī)定區(qū)域(路面，圖13中的斜線部)的亮度，并可根據(jù)檢測到的亮度調(diào)節(jié)快門速度及光圈，以清晰地檢測白線部分，并且，還根據(jù)需要調(diào)節(jié)拍攝信號的輸出增益放大(放大率)等各種拍攝條件。
另外，在該說明書中所謂“亮度”在全部包括根據(jù)明度、輝度、濃度及檢測的圖像上的亮度調(diào)節(jié)的快門速度、光圈或映像信號的輸出增益等拍攝條件等的意思下使用。
在通常的行駛狀態(tài)下，路面的亮度受建筑物等的陰影、路面的潤濕、強的陽光照射各種各樣的環(huán)境變化的影響而時時刻刻在變化。為了不受該亮度的差異的影響而清晰地檢測白線部分，應(yīng)該進行先前那樣的拍攝條件的調(diào)節(jié)。
在此，考慮在拍攝時點的路面的亮度不同時，將現(xiàn)時點和過去時點的圖像合成。在同一圖像中，由于白線部分比其以外的路面(柏油、混凝土)亮，因此合成時，在圖像上的同一點(同一位置)將亮的一方看做白線部分進行選擇而合成。
如前邊所述，根據(jù)檢測的亮度調(diào)節(jié)快門速度等以使亮度在拍攝圖像之間成為一定，但在實際路面產(chǎn)生明暗變化的情況下，因防止擺動等的原因快門速度、光圈、增益放大不能一口氣改變，而是慢慢地改變，因此，在拍攝圖像之間亮度達不到一定，而稍微不同，就產(chǎn)生與一個拍攝圖像的路面(柏油部分)相比，別的拍攝圖像的白線部分暗的情況。
圖14是表示本實施例中圖像的亮度補正處理的說明圖。并且，在同圖的右端帶a、b、c表示的三種曲線圖，是簡略地表示同圖左側(cè)的圖像中用虛線表示的白線部分和路面(柏油部分)的位置的亮度的圖。同圖a上部的注釋為在脈沖狀波形中突出部為白線部分，其兩側(cè)表示路面。因此，同圖a表示在左側(cè)的圖像A、B中B的路面部分比A的白線部分亮。
圖14的A是在過去時點拍攝并儲存的圖像，B是在現(xiàn)時點拍攝取得的圖像。圖像的亮度如右端的曲線圖a所示，B圖像的路面部分比A圖像的白線部分(圖中點劃線部)亮。如后面的敘述，在本實施例中，如圖14的A′所示，根據(jù)現(xiàn)時點和過去時點的車輛位置變化進行圖像的位置補正。
在該時點圖像的亮度在A和A′不變化，在該階段如圖14中注釋并用虛線表示“無補正”，兩個圖像合成后，如右端的曲線圖a所示，因為圖像B的路面(柏油)部分比圖像A的白線部分亮，所以圖像B的路面部分被選擇，如圖14的C′的圖像，產(chǎn)生了不正常的沒有圖像A(A′)的白線部分的圖像。
鑒于此點，在本實施例中，從拍攝區(qū)域的路面的規(guī)定區(qū)域(圖13的斜線部)的亮度等檢測拍攝的拍攝圖像的亮度，并且將以多個拍攝圖像內(nèi)的一個圖像為基準，對多個拍攝圖像進行補正使得亮度一致。此時，也可以檢測實際亮度，或者也可以簡易地檢測。具體地說，從過去時點和現(xiàn)時點拍攝時的拍攝條件求出兩圖像亮度的比，并通過使用該比使兩圖像的亮度一致而消除所述的不正常情況。另外，也可以代替比而用亮度的差使合成的拍攝圖像的亮度一致。
圖15是圖8的S102的亮度補正處理的子程序流程圖。
下面進行說明時，首先在S200、S202中，儲存由表示拍攝時的拍攝條件即照相機10的快門速度S0、S1、光圈值I0、I1、圖像信號的放大率的增益放大G0、G1構(gòu)成的拍攝條件?？扉T速度從路面的規(guī)定區(qū)域(圖13的斜線部)像素的濃度等檢測檢測到的拍攝圖像的亮度，具體地說，在拍攝裝置的拍攝區(qū)域內(nèi)、該部位的亮度，并按照如圖16所示的特性進行設(shè)定(決定)，調(diào)節(jié)照相機10的拍攝元件(像素)的感光度。
還有，眾所周知，如圖16所示，通過調(diào)節(jié)光圈值，也可改變?nèi)牍饬浚虼?，能夠調(diào)節(jié)圖像的亮度。還有，用快門速度和光圈至少任意一個調(diào)節(jié)的圖像濃度在周圍環(huán)境較暗依然調(diào)節(jié)不足時，也可由增益放大進一步設(shè)為n倍而進行亮度調(diào)節(jié)。其意味著是在S200、S202中，不僅儲存快門速度，還儲存光圈值和增益放大。
接下來，在S204中，根據(jù)儲存的各拍攝條件用如圖的算式算出現(xiàn)時點和過去時點的圖像的亮度比，通過將在S206中算出的亮度比與過去時點的圖像亮度相乘，進行使過去時點的圖像與現(xiàn)時點的圖像亮度一致的補正。
更具體地說，根據(jù)快門速度和光圈值的至少任意一個檢測多個拍攝圖像的亮度比，并且，根據(jù)多個拍攝圖像在各個拍攝時點的快門速度和光圈值內(nèi)的至少任意一個的比及差的至少任意一個，詳細地說根據(jù)該兩者的比補正亮度。另外，還根據(jù)放大率檢測多個拍攝圖像的亮度的比。
還有，亮度，即圖13的斜線部分所示的路面的規(guī)定區(qū)域的亮度從該部位的像素濃度而進行檢測，并且，由此根據(jù)在設(shè)定的多個拍攝圖像的各個拍攝時點的快門速度和光圈值內(nèi)的至少比，補正檢測的亮度。
其結(jié)果為，在圖8的S110的處理中，亮度補正后的過去時點的圖像和現(xiàn)時點的圖像被合成。還有，在S110的處理中，通常，由于白線等行駛劃分線比周圍的柏油等路面亮，所以選擇在合成過程中合成的多個圖像內(nèi)、構(gòu)成多個位置的同一位置(任意位置)的像素內(nèi)的亮度亮的一方，即按像素單位亮的一方進行合成。
通過該處理補正亮度后，如圖14右端的曲線圖b所示，過去時點的圖像(圖14的圖像A″的點劃線部)和現(xiàn)時點的圖像(圖14的圖B的點劃線部)的路面的亮度成為一致。作為其結(jié)果，兩圖像合成后，如圖14C所示，不會出現(xiàn)白線部分被路面埋住的情況，從而能夠得到白線部分被適當延長的圖像。
如以上所述，本實施例中，檢測由拍攝裝置拍攝的拍攝圖像的亮度，以多個拍攝圖像內(nèi)的一個圖像作為基準在多個拍攝圖像中將亮度補正到一致，并且，在亮度補正后，將多個圖像合成，因此，使兩圖像的亮度一致的結(jié)果為，沒有過去時點和現(xiàn)時點的一方圖像的白線部分被在另一方圖像的路面埋沒的情況，從而能夠良好地延長白線部分。因此，能夠提高行駛劃分線的識別精度，且能夠可靠地識別本車的行駛道路。
還有，作為合成基準的圖像是當前的行駛劃分線識別處理周期的圖像，因此，能夠根據(jù)最新信息使亮度一致并合成圖像，從而能夠提高行駛劃分線的識別精度，因此，能夠可靠地識別本車的行駛道路。另外，通過檢測路面的規(guī)定區(qū)域的亮度，能夠以共同的尺度進行亮度的檢測，從而能夠提高行駛劃分線的識別精度。
還有，基于多個拍攝圖像的各個拍攝時點的快門速度和光圈值之中的至少一個比及差的至少任意一個、進而基于增益放大(放大率)將亮度進行檢測或補正，因此，亮度的檢測及補正較容易。將在多個圖像的同一位置的亮度補正為一致，因此能夠進一步高精度地補正亮度。
另外，通過選擇構(gòu)成多個圖像的同一位置的像素內(nèi)亮度亮的一方，將多個拍攝圖像合成，因此，能夠從合成的圖像進一步高精度地識別行駛劃分線，因此，能夠進一步可靠地識別本車的行駛道路。
本實施例中第三特征點在于，如圖8的S106及S108中所述那樣進行水平像素補正和垂直線補正。
對此進行說明時，有車輛12相對于行駛劃分線的姿勢(角度)及與行駛劃分線的水平方向的距離在現(xiàn)時點和過去時點不同的情況，因此，拍攝的圖像在兩時點車輛12相對于水平方向及行駛劃分線的角度方向也會偏移，理所當然地，在該狀態(tài)下合成圖像后，行駛劃分線的水平方向的位置及角度就成為偏移的狀態(tài)。
為了防止這種情況，有必要將在過去時點的圖像上的行駛劃分線的水平方向的位置及角度方向根據(jù)對應(yīng)現(xiàn)在和過去時點的車輛姿勢的變化的量進行補正，另外，因還考慮到在現(xiàn)時點和過去時點的車輛12的俯仰狀態(tài)不同，所以，還有必要從由圖像得到的地平線位置的變化等求取兩時點間的傾角變動，并補正圖像中垂直方向的位置。
這一點在專利文獻2記載的現(xiàn)有技術(shù)中，檢測車輛的偏行率變化量，即車輛的旋轉(zhuǎn)(轉(zhuǎn)彎)運動的有無，如果有旋轉(zhuǎn)運動，則只是在圖像的基礎(chǔ)上進行對應(yīng)該量的補正，而不進行水平方向的位置的補正，因此，存在在合成圖像中行駛劃分線不適當?shù)匮娱L的不良情況。另外，在專利文獻2記載的技術(shù)中，還有未考慮到俯仰變化的不良情況。
圖18是表示相對由照相機10拍攝的，即相對于從曝光的時刻t-2經(jīng)過時刻t-1到時刻t0的車輛12的行駛劃分線(車線)的位置、姿勢(角度)的變化的說明圖。在此曝光時刻t0為現(xiàn)時點，時刻t-1為過去時點，時刻t-2為拍攝以在時刻t0和t-1拍攝的圖像為合成時的基準而使用的圖像的時刻，即比時刻t-1還在過去的時點的時刻。
在本實施例中，識別位于圖18的車輛12左右的行駛劃分線(車線)，以其中央作為基準點，且以這些點連續(xù)的點序列和將其之間連接的線量(圖18的短虛線)在例如車行線保持控制的情況下作為車輛應(yīng)該行駛的線檢測并使用。再有，由于圖18的行駛劃分線是在過去時點的時刻t-2拍攝而得到的劃分線，因此，點序列也是在時刻t-2的點序列。以在曝光時刻t0、t-1的車輛位置的所述點序列和車輛位置的距離(行駛劃分線和車輛12之間的距離)為L0、L1，以連接點序列的線量和車輛12的方向形成的角度(車輛12相對行駛劃分線的前后方向角度)為θ0、θ1。
將在過去時點的曝光時刻t-1拍攝且儲存的圖像與在現(xiàn)時點即曝光時刻t0拍攝的圖像合成，因此，以在曝光時刻t-2取得的行駛劃分線(車線)、點序列及線量為基準求取所述的距離L0、L1、角度θ0、θ1并分別求取L0和L1、θ0和θ1的差，在補正伴隨車輛12相對時刻t0和t-1之間的行駛劃分線的相對位置及角度的變化的拍攝圖像的變化后，將兩時刻的圖像合成。
圖19是圖8的S106的水平象素補正處理的子程序流程圖。
同圖為求取曝光時刻t0和t-1的橫方向的位置偏差(相對現(xiàn)在時刻t0的過去(時刻t-1)的橫方向車輛移動量)ΔL及相對行駛劃分線或其中間的基準線的角度(相對現(xiàn)在時刻t0的過去(時刻t-1)的角度變化量)Δθ，然后求取在圖像上的水平方向的像素位置的補正量的處理流程。
雖然詳細情況將在后面敘述，在S300中求ΔL、Δθ，在S302中根據(jù)該ΔL、Δθ求在圖像平面上的合成時的像素位置的補正量，并進行作為合成前的硬件處理而進行的照相機坐標系(U，V)和實際平面坐標系(X，Y)的相互對應(yīng)。關(guān)于該S302的處理的詳細情況將在后面敘述。
圖20是圖8的S108垂直線補正處理的子程序流程圖。
首先在S400中求曝光時刻t0和t-1的俯仰方向的變化量Δθpit，在S402中根據(jù)該值求取在圖像上的垂直合成線位置的補正量，并進行作為合成前的硬件處理而進行的照相機坐標系(U，V)和實際平面坐標系(X，Y)的相互對應(yīng)。
圖21是圖19的S300處理的子程序流程圖，圖22及圖23是其說明圖。
參照圖21～圖23進行說明。在圖22中，軌跡推定的坐標軸是以在過去某一時刻的車輛行進方向中心軸(車輛中心軸)為X軸而設(shè)定的坐標軸。由于在該坐標系中以在曝光時刻t-2的車輛位置為基準求取在曝光時刻t-1的車輛位置的橫方向變化量，因此考慮以在時刻t-2的車輛(中心)位置為原點(x，y)＝(0，0)，以車輛中心軸方向為X軸的檢測結(jié)果坐標系x，y。
使用根據(jù)車輪速傳感器32、偏行率傳感器34的輸出所求出的曝光時刻t0和t-1之間的車輛的推定軌跡將曝光時刻t-1的車輛12位置、方向變換到以時刻t-2為基準的x，y坐標系上。此時，在檢測結(jié)果坐標系x，y上的曝光時刻t-1的車輛12的位置坐標為(x，y)。在圖21的S500的(1)中，求取曝光時刻t-1的車輛的位置坐標(x，y)。
另外，在S500的(2)中，如圖22所示，用yp-y求出在坐標(x，y)的正橫、坐標x上即在曝光時刻t-2求出的點序列1，Pk，Pk+1內(nèi)的連接設(shè)置車輛的點序列Pk，Pk+1的直線上的點(x，yp)、與先前的坐標(x，y)之間的距離L-1。
同樣地在S500(3)中，以曝光時刻t-2為基準求出在曝光時刻t0的車輛位置和連接點序列間的直線之間的距離L0。另外，在圖22中為了簡化而省略了曝光時刻t0的車輛位置、點序列Pk+2等。
然后，在S500(4)中，用L0-L-1求出曝光時刻t0和t-1的橫方向位置的偏差ΔL。理所當然，根據(jù)在兩曝光時刻的車輛位置在ΔL產(chǎn)生正負。
接著，求出車輛相對于曝光時刻t0和t-1之間的基準線，即點序列及連接點序列的直線的角度的變化量Δθ。
首先，在圖21的S502的(1)中，如圖23所示，從曝光時刻t-1、t0的軌跡推定值的差能夠求出圖22所示的軌跡推定坐標系的角度差。即以軌跡推定坐標系的曝光時刻t0的軌跡推定值為θ0、曝光時刻t-1的軌跡推定值為θ-1時，用θ0-θ-1則求出角度差。
還有，在曝光時刻t-2求出的且連接車輛位于曝光時刻t0和t-1的點序列Pi、Pi+1、Pi+2間的直線不同，該直線如果不成一條直線，則如圖23所示就有必要求這些直線形成的角度θR。當然，直線是否是一條直線，在兩時刻的車輛位置假如是在同一直線的范圍內(nèi)則角度差θR＝0。
在圖21的S502的(2)中，用在曝光時刻t-2拍攝并檢測的點序列求出在曝光時刻t-1、t0車輛所在的直線的角度差θR。而且在S502的(3)中用Δθ＝θ0-θ-1-θR求出角度的變化量Δθ。
圖24是表示圖19的S302的處理的子程序流程圖，圖25及圖26是其說明圖。
首先，圖25是根據(jù)相對在圖21及圖22求出的基準線的位置的變化量ΔL、角度的變化量Δθ，簡化表示時刻t-1和t0的車輛的關(guān)系的圖。在實際平面坐標系中的車輛的行進方向的距離，即X和某一X的橫方向的距離Y的關(guān)系按照ΔL、Δθ而成為下式。
y＝x·tanΔθ+ΔL用該式求出在圖24的S600中距離X＝5m、X＝30m的實際平面上的水平方向合成時需要的補正距離Y5m、Y30m。在此，5m、30m是一例，根據(jù)照相機的拍攝區(qū)域的寬度等能夠適當設(shè)定。
其次在S602中求出與實際平面上的距離X＝5m、X＝30m對應(yīng)的圖像面上的線位置V5m、V30m。圖像面的坐標系表示于圖26。對應(yīng)在實際平面的距離方向的X軸的是V軸，以垂直方向上方為原點，且對應(yīng)橫或水平方向的Y軸的為U軸。該線位置V5m、V30m是在考慮學(xué)習(xí)了在圖8的S104中說明的俯仰方向的變動的補正值之后求出的。
接下來，在S604中求出與S600中求出的補正距離Y5m、Y30m相對應(yīng)的圖像面上的橫方向的像素位置U5m、U30m。
接著，在S606中求出通過求出的圖像面上的坐標(U5m，V5m)和(U30m，V30m)兩點的直線。而且，在該實施例中，進行合成不同時刻的圖像時的合成位置設(shè)定，以使圖像面上V軸上的六點x0，x1，…x6在該直線上。即，為補正相對在時刻t-1和t0的實際平面上的基準線的位置、角度的變化，而使表示實際平面上的時刻t-1的車輛位置及角度的直線(與作為基準的X軸一致)與表示圖25所示的時刻t0的車輛位置及角度的直線成為一致。另外，該合成位置設(shè)定是在所述的硬件化后的圖像處理IC內(nèi)進行處理，因此能夠進行高速處理。
圖27及圖28是表示增加本實施例的位置補正處理的圖像合成的圖像鏡象和不增加位置補正處理的情況下的圖像合成的圖像鏡象的圖。
如圖27，增加車輛相對行駛劃分線的橫方向位置、角度的補正時，如同圖的圖像C所示，行駛劃分線成為被延長的形式，與此相對，在不增加補正的情況下，如圖28所示，在過去及當前的時點拍攝的行駛劃分線被以偏移的形式合成，且行駛劃分線未被延長。
本實施例為，求出車輛12相對于多個拍攝圖像的行駛劃分線的前后方向角度θ及行駛劃分線與車輛12之間的距離L，并檢測多個拍攝圖像之間的角度及距離的各個差(Δθ，ΔL)，根據(jù)檢測到的角度與距離的差，補正為以同一車輛相對于行駛劃分線的角度及距離拍攝的圖像后，將多個圖像合成，因此在合成圖像中，外觀上能夠可靠地延長行駛劃分線。
還有，檢測多個拍攝圖像的拍攝時點t-1和t0的車輛12的傾角，檢測拍攝圖像之間的傾角的差(Δθpit)，并基于檢測到的傾角的差補正為以同一傾角拍攝的圖像后，將多個圖像合成，因此，外觀上能夠進一步可靠地延長行駛劃分線。
另外，替代上述，也可以根據(jù)檢測到的角度和距離的差調(diào)節(jié)并合成所述多個圖像之間的合成位置，使其構(gòu)成在同一車輛相對于行駛劃分線的角度及距離拍攝的狀態(tài)。即，如上所述，也可以將合成位置(重合位置)調(diào)節(jié)并合成而替代使圖像自身移動。
參照圖27說明時，如果將過去取得圖像A和現(xiàn)在取得圖像B的任意一方的圖像自身偏移所述的兩時刻間橫方向的位置和角度的變化量，與另一圖像重疊合成，則可得到與所述的補正同樣的結(jié)果。即，考慮關(guān)于橫方向的位置補正，只要將從p點沿橫方向以橫方向位置的補正量偏移的圖像B的q點重合于圖27的圖像A的p點即可。圖27中兩時刻之間的角度幾乎沒有變化，但在有角度變化的情況下，只要根據(jù)角度變化量將圖像旋轉(zhuǎn)后合成即可。此外，即使在有傾角的差的情況下，只要將一圖像在圖27中上下方向偏移對應(yīng)差的量并合成即可。通過這樣的合成，能夠得到與補正所述圖像的方法同樣的效果。
本實施例的第四特征點為，在圖8的S110的合成處理中，在邊緣檢測處理前的原圖像階段合成現(xiàn)時點和過去時點的圖像。
對此進行說明時，圖29表示在進行邊緣檢測處理前，換言之在原圖像階段將現(xiàn)時點和過去時點的圖像合成時的圖像，圖30表示專利文獻2記載的現(xiàn)有技術(shù)進行邊緣檢測處理后的、所謂邊緣圖像的狀態(tài)下進行的現(xiàn)時點和過去時點的合成的圖像。
在圖30的現(xiàn)有技術(shù)的處理中，如該圖像A、B所示，圖像上從本車向遠方的行駛劃分線的長度短，即，圖像上的大小小，因此在將現(xiàn)時點和過去時點的圖像分別進行邊緣檢測處理的情況下，邊緣不能被識別，結(jié)果是，如圖30的圖像a、b，成為在邊緣圖像上的遠方用虛線圍住的那樣的什么也沒有的狀態(tài)。
接著進行基于車輛姿勢變化的位置補正處理，得到如圖30的圖像a′所示的位置補正圖像，接著將現(xiàn)時點和過去時點的邊緣圖像合成，即使這樣的話，如圖30的圖像D的用虛線圍住的區(qū)域，也沒有與在原圖像中可看到的遠方的行駛劃分線對應(yīng)的邊緣。
對此，如圖29所示，將過去時點的圖像(圖29的圖像A)進行根據(jù)車輛姿勢變化的位置補正(圖29的圖像A′)及圖像的亮度補正(圖29的圖像A″)，并在進行邊緣檢測處理前的原圖像階段將現(xiàn)時點和過去時點的圖像合成后，各個原圖像上短的遠方的行駛劃分線被延長為如圖29的圖像C那樣，之后即使進行邊緣檢測處理，如圖29的圖像D中用實線圍住那樣，邊緣也可被檢測到。
這樣，在本實施例中，在行駛劃分線的識別處理的拍攝圖像中至少行駛劃分線的形狀不改變的處理階段，更具體地說，在邊緣檢測處理前合成所述拍攝圖像而構(gòu)成，即，在邊緣檢測處理前的原圖像的階段將現(xiàn)時點和過去時點的圖像合成，因此也能夠可靠地檢測遠方的行駛劃分線，因此，能夠使行駛劃分線在外觀上延長，從而能夠提高識別精度。
還有，雖然設(shè)定為邊緣檢測處理前，但只要為保留拍攝的原圖像上的行駛劃分線的形狀、外形的狀態(tài)即可，如前面所述，通常，由于邊緣檢測處理由微分處理、雙值化處理、邊緣處理構(gòu)成，所以，即使在邊緣檢測處理前、即沒有微分處理前，若在雙值化處理前合成，則也可以得到本發(fā)明的效果。
還有，本發(fā)明以利用邊緣檢測處理、哈夫(Hough)變換進行的行駛劃分線識別為例進行了說明，但本發(fā)明不限于此，對于其它方法，例如，圖31所示或特開平8-297728號公報所記載的使用圖形匹配的方法，也可以通過延長行駛劃分線部分，來更高精度進行圖形匹配，這是有效的。圖32中表示了該圖形例。
即，公知有將行駛劃分線由車載的照相機拍攝的圖像中形狀的圖形作為如圖32所示的多個樣板預(yù)先設(shè)定，將其如圖31的中央的圖那樣依次放到拍攝圖像中，求出圖形和樣板的一致度，如圖31的下圖，以根據(jù)一致度的分布成為一致度最高點的列作為行駛劃分線等方法，在這樣的圖形匹配中也可以利用本發(fā)明將行駛劃分線延長，更加提高行駛劃分線的識別精度。
還有，該實施例中，在S100的處理中，應(yīng)合成的圖像數(shù)為二個，但根據(jù)需要也可以為其以上的多個。還有，該實施例中根據(jù)車速從周期性拍攝的圖像內(nèi)選擇，但也可以將拍攝裝置設(shè)置兩個以上等，根據(jù)車速從不在共同的同一周期拍攝的圖像內(nèi)選擇。
還有，在S108的補正中，也可以替代由圖像得到的地平線的變化，在車輛12的適宜位置配置傾角傳感器從該輸出求出的動態(tài)偏移并進行補正。
另外，照相機10為拍攝包括前方路面的區(qū)域的構(gòu)成，但也可以設(shè)置拍攝包括車輛12前進行駛時的車輛后方路面的區(qū)域的拍攝裝置(照相機)而構(gòu)成，不用說也可以根據(jù)該拍攝裝置拍攝的拍攝圖像識別車輛后方的行駛劃分線。因此，該說明書中所謂“車輛的進行方向”以表示車輛前后方向的意思而使用。
該實施例如上所述，提供一種車輛用行駛劃分線識別裝置，其具有拍攝包括車輛12的行進方向的路面的區(qū)域拍攝裝置(照相機10、圖像處理ECU44)；能夠識別由所述拍攝裝置拍攝的拍攝圖像中的所述路面上的至少虛線狀的行駛劃分線的劃分線識別裝置(圖像處理ECU44，S12～S16)；合成由所述拍攝裝置在不同時刻拍攝的多個拍攝圖像，延長所述拍攝圖像中的所述行駛劃分線的長度的圖像合成裝置(圖像處理ECU44，S12，S100～S110)，其中，該車輛用行駛劃分線識別裝置具備求取所述車輛相對于由所述圖像合成裝置合成的多個拍攝圖像的行駛劃分線的前后方向角度θ及所述行駛劃分線和所述車輛之間的距離L，并檢測在所述多個拍攝圖像間的所述角度及所述距離的各個的差Δθ、ΔL的車輛狀態(tài)檢測裝置(S106～S108，S300，S302，S400，S402)，并且，所述圖像合成裝置，根據(jù)由所述車輛狀態(tài)檢測裝置檢測的所述角度和距離的差，以同一車輛相對所述行駛劃分線的角度及距離對拍攝的圖像補正后，將所述多個圖像合成(S110)。
還有，提供一種車輛用行駛劃分線識別裝置，其具備拍攝包括車輛12行進方向的路面區(qū)域的拍攝裝置(照相機10、圖像處理ECU44)；能夠識別由所述拍攝裝置拍攝的拍攝圖像中的所述路面上至少虛線狀的行駛劃分線的劃分線識別裝置(圖像處理ECU44，S12～S16)；將由所述拍攝裝置在不同時刻拍攝的多個拍攝圖像合成，延長所述拍攝圖像中的所述行駛劃分線長度的圖像合成裝置(圖像處理ECU44，S12、S100～S110)，其中，該車輛用行駛劃分線識別裝置具備求取所述車輛相對于由所述圖像合成裝置合成的多個拍攝圖像的行駛劃分線的前后方向角度θ及所述行駛劃分線和所述車輛之間的距離L，并檢測在所述多個拍攝圖像間的所述角度及所述距離的各個的差Δθ、ΔL的車輛狀態(tài)檢測裝置(S106～S108、S300、S302、S400、S402)，并且，所述圖像合成裝置根據(jù)由所述車輛狀態(tài)檢測裝置檢測的所述角度和距離的差將所述多個圖像間的合成位置調(diào)節(jié)合成，形成以同一車輛相對于所述行駛劃分線的角度及距離拍攝的狀態(tài)(S110)。
另外，提供一種車輛用行駛劃分線識別裝置，其具備檢測所述多個拍攝圖像的拍攝時點的所述車輛的傾角θpit并檢測所述拍攝圖像間的傾角的差Δθpit的傾角變化檢測裝置(S106～S108、S400、S402)，所述圖像合成裝置根據(jù)由所述傾角變化檢測裝置檢測的傾角的差，在對以相同的傾角拍攝的圖像補正后，將所述多個圖像合成(S110)。
另外，提供一種車輛用行駛劃分線識別裝置，其具備檢測所述多個拍攝圖像的拍攝時點的所述車輛的傾角θpit并檢測所述拍攝圖像間的傾角的差Δθpit的傾角變化檢測裝置(S106～108、S400、S402)，所述合成裝置根據(jù)由所述傾角變化檢測裝置檢測的傾角的差將所述多個圖像的合成位置調(diào)節(jié)合成，形成以相同的傾角拍攝的狀態(tài)(S110)。
工業(yè)上的可利用性根據(jù)本發(fā)明，能夠提供一種車輛用行駛劃分線識別裝置，其求出車輛相對于合成的多個拍攝圖像的行駛劃分線的前后方向角度及行駛劃分線和所述車輛之間的距離，并檢測多個拍攝圖像間的各個的差，并且，根據(jù)檢測到的所述角度和距離的差，對以同一車輛相對于所述行駛劃分線的角度及距離拍攝的圖像補正后，將多個圖像合成，因此，在合成的圖像中，能夠使行駛劃分線在外觀上切實地延長并能夠提高行駛劃分線的識別精度，因此，能夠可靠地識別自車的行駛道路。
權(quán)利要求
1.一種車輛用行駛劃分線識別裝置，其具備對包括車輛行進方向路面的區(qū)域進行拍攝的拍攝裝置；能夠識別由所述拍攝裝置拍攝的拍攝圖像中的所述路面上至少虛線狀的行駛劃分線的劃分線識別裝置；將由所述拍攝裝置在不同時刻拍攝的多個拍攝圖像合成，延長所述拍攝圖像中的所述行駛劃分線長度的圖像合成裝置，該車輛用行駛劃分線識別裝置的特征在于，具備車輛狀態(tài)檢測裝置，該車輛狀態(tài)檢測裝置求取所述車輛相對于由所述圖像合成裝置合成的多個拍攝圖像的行駛劃分線的前后方向角度及所述行駛劃分線和所述車輛之間的距離，并檢測在所述多個拍攝圖像間的所述角度及所述距離的各個的差，并且，所述圖像合成裝置根據(jù)由所述車輛狀態(tài)檢測裝置檢測的所述角度和距離的差，對以相對于所述行駛劃分線的相同車輛的角度及距離拍攝的圖像進行補正后，將所述多個圖像合成。
2.一種車輛用行駛劃分線識別裝置，其具備對包括車輛行進方向路面的區(qū)域進行拍攝的拍攝裝置；能夠識別由所述拍攝裝置拍攝的拍攝圖像中的所述路面上至少虛線狀的行駛劃分線的劃分線識別裝置；將由所述拍攝裝置在不同時刻拍攝的多個拍攝圖像合成，延長所述拍攝圖像中的所述行駛劃分線長度的圖像合成裝置，該車輛用行駛劃分線識別裝置的特征在于，具備車輛狀態(tài)檢測裝置，該車輛狀態(tài)檢測裝置求取所述車輛相對于由所述圖像合成裝置合成的多個拍攝圖像的行駛劃分線的前后方向角度及所述行駛劃分線和所述車輛之間的距離，并檢測在所述多個拍攝圖像間的所述角度及所述距離的各個的差，并且，所述圖像合成裝置根據(jù)由所述車輛狀態(tài)檢測裝置檢測的所述角度和距離的差調(diào)整所述多個圖像間的合成位置并合成，形成以相對于所述行駛劃分線的相同車輛的角度及距離拍攝的狀態(tài)。
3.如權(quán)利要求1所述的車輛用行駛劃分線識別裝置，其特征在于，具備檢測所述多個拍攝圖像的拍攝時點的所述車輛的傾角并檢測所述多個拍攝圖像間傾角的差的傾角變化檢測裝置，所述圖像合成裝置根據(jù)由所述傾角變化檢測裝置檢測到的傾角的差，對以相同的傾角拍攝的圖像進行補正后，將所述多個圖像合成。
4.如權(quán)利要求2所述的車輛用行駛劃分線識別裝置，其特征在于，具備檢測所述多個拍攝圖像的拍攝時點的所述車輛的傾角并檢測所述多個拍攝圖像間傾角的差的傾角變化檢測裝置，所述圖像合成裝置根據(jù)由所述傾角變化檢測裝置檢測到的傾角的差調(diào)整所述多個圖像間的合成位置并合成，形成以相同傾角拍攝的狀態(tài)。
全文摘要
一種車輛用行駛劃分線識別裝置，其具備將由照相機在不同時刻拍攝的多個拍攝圖像合成，延長拍攝圖像中的白線等行駛劃分線的長度的圖像合成裝置(S100～S110)，其中，求取車輛相對于被合成的多個拍攝圖像中的行駛劃分線的前后方向角度及車輛之間的距離，并檢測多個拍攝圖像間的角度及距離的各個的差，并且，根據(jù)檢測到的角度和距離的差對以同一車輛相對于行駛劃分線的角度及距離拍攝的圖像補正后(S106)，將多個圖像合成(S110)。由此，進行對應(yīng)車輛的位置及角度的補正，使行駛劃分線在合成的圖像中外觀上能夠延長，從而能夠高精度地、可靠地識別行駛劃分線。
文檔編號G06T1/00GK1954351SQ200580015768
公開日2007年4月25日 申請日期2005年5月17日 優(yōu)先權(quán)日2004年5月19日
發(fā)明者池田哲夫, 鵜浦清純 申請人:本田技研工業(yè)株式會社