專利名稱：駕駛輔助系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種駕駛輔助系統(tǒng)。
背景技術(shù)：
對(duì)于汽車等駕駛員而言，在后退時(shí)由于產(chǎn)生死角從而難以確認(rèn)后方。因此，已經(jīng)開(kāi)發(fā)了一種裝備有監(jiān)視容易成為駕駛員的死角的車輛后方的車載照相機(jī)，并將其攝像圖像顯示在汽車導(dǎo)航系統(tǒng)等畫(huà)面上的系統(tǒng)。
然而，為了顯示出較廣的范圍在采用廣角透鏡的情況下，影像中就會(huì)產(chǎn)生透鏡失真。并且，越離開(kāi)照相機(jī)就越比一般的透鏡顯示得小，由此難以根據(jù)攝像圖像來(lái)掌握車輛后方的距離或空間。
因此，進(jìn)行了以下的研究，即不僅顯示照相機(jī)的影像，還利用圖像處理技術(shù)來(lái)使人們觀察到優(yōu)質(zhì)的影像。研究的其一在于，對(duì)所攝影的圖像進(jìn)行坐標(biāo)變換，并以生成從地面上方眺望的鳥(niǎo)瞰像的方式進(jìn)行顯示。通過(guò)顯示來(lái)自上方的鳥(niǎo)瞰圖，由此駕駛員容易掌握車輛后方的距離或空間。
并且，作為用于停車的駕駛輔助裝置，開(kāi)發(fā)了一種對(duì)由多個(gè)照相機(jī)獲得的影像根據(jù)幾何變換而變換成全景鳥(niǎo)瞰像并使之顯示在監(jiān)視器上的裝置(參照特開(kāi)平11-78692號(hào)公報(bào))。在該裝置中，由于可以將車輛四周的場(chǎng)景作為由上空觀察到的影像對(duì)駕駛員進(jìn)行提示，因此具有能使車輛的周邊以360度且沒(méi)有死角的方式覆蓋的優(yōu)點(diǎn)。
然而，在鳥(niǎo)瞰像中，如圖1所示，具有高度的物體200按照沿著連結(jié)照相機(jī)1與物體200的延長(zhǎng)線上其像產(chǎn)生變形的方式被投影在地面上。如圖2所示，在車輛100的前后左右分別安裝照相機(jī)1F、1B、1L、1R時(shí)，如果在從車輛的左后端向左斜后方存在具有高度的物體200，則由左側(cè)照相機(jī)1L產(chǎn)生的物體投影圖像為200L，而由后方照相機(jī)1B產(chǎn)生的物體投影圖像為200B。
設(shè)定兩個(gè)物體投影圖像200L、200B，存在于根據(jù)左側(cè)照相機(jī)1L的攝影圖像所得到的鳥(niǎo)瞰圖像與根據(jù)后方照相機(jī)1B的攝影圖像所得到的鳥(niǎo)瞰像重合的重疊部中。并且，如圖3所示，在由從車輛的左后端向左斜后方延伸的邊界線D將該重疊部劃分為左側(cè)照相機(jī)區(qū)域SL和后方照相機(jī)區(qū)域SB的情況下，則左側(cè)照相機(jī)區(qū)域SL中存在由后方照相機(jī)1B產(chǎn)生的物體投影圖像200B，后方照相機(jī)區(qū)域SB中存在由左側(cè)照相機(jī)1L產(chǎn)生的物體投影圖像200L。
在合成該重疊部時(shí)，如果按照對(duì)于左側(cè)照相機(jī)區(qū)域SL僅采用根據(jù)左側(cè)照相機(jī)1L的攝像圖像所得到的鳥(niǎo)瞰像，對(duì)于后方照相機(jī)區(qū)域SB僅采用根據(jù)后方照相機(jī)1B的攝像圖像所得到的鳥(niǎo)瞰像的方式進(jìn)行合成，則可產(chǎn)生合成后所得到的全景鳥(niǎo)瞰像中兩個(gè)物體投影圖像200L、200B消失的問(wèn)題。
因此，為了解決該問(wèn)題，在合成上述重疊部時(shí)，考慮將兩個(gè)鳥(niǎo)瞰像平均化。然而，如果這樣進(jìn)行則在合成后所得到的全景鳥(niǎo)瞰像中存在兩個(gè)物體投影圖像200L、200B，因此物體200表現(xiàn)為雙像。另外，由于將兩個(gè)物體投影圖像200L、200B與背景圖像平均化，而基于物體200與背景的顏色就使得物體投影圖像200L、200B非常難以觀察到。
另外，開(kāi)發(fā)了如下方法，即在合成從后方照相機(jī)1B所得到的鳥(niǎo)瞰像和從兩側(cè)照相機(jī)1L、1R所得到的鳥(niǎo)瞰像時(shí)，不僅在其重疊部中按照僅采用從兩側(cè)照相機(jī)1L、1R所得到的鳥(niǎo)瞰像的方式生成兩側(cè)照相機(jī)優(yōu)先的合成鳥(niǎo)瞰像，并且在其重疊部中按照僅采用從后方照相機(jī)1B所得到的鳥(niǎo)瞰像的方式生成后方照相機(jī)優(yōu)先的合成鳥(niǎo)瞰像，由此將這兩種合成鳥(niǎo)瞰像左右并列顯示(參照特許第3372944號(hào)公報(bào))然而，在該方法中，駕駛員必須比較兩個(gè)鳥(niǎo)瞰像來(lái)掌握車輛周邊的狀態(tài)，相反地，駕駛者的負(fù)擔(dān)增加很有可能損害安全性。
專利文獻(xiàn)1特開(kāi)平11-78692號(hào)公報(bào)專利文獻(xiàn)2特許第3372944號(hào)公報(bào)發(fā)明內(nèi)容本發(fā)明的目的在于，提供一種可以消除具有高度的物體在合成鳥(niǎo)瞰像上消失這樣的問(wèn)題并且可以容易識(shí)別該物體的駕駛輔助系統(tǒng)。
本發(fā)明的第一駕駛輔助系統(tǒng)，是將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上的駕駛輔助系統(tǒng)，其特征在于，具備一種機(jī)構(gòu)，該機(jī)構(gòu)在合成兩個(gè)鳥(niǎo)瞰像重合的各重疊部時(shí)，對(duì)重疊部設(shè)定交替地配置兩個(gè)區(qū)域的邊界線，通過(guò)在重疊部中的由邊界線劃分的一方的區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像，在由邊界線劃分的另一方的區(qū)域采用另一方的鳥(niǎo)瞰像，由此合成重疊部。
本發(fā)明的第二駕駛輔助系統(tǒng)，是將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上的駕駛輔助系統(tǒng)，其特征在于，具備一種機(jī)構(gòu)，該機(jī)構(gòu)在合成兩個(gè)鳥(niǎo)瞰像重合的各重疊部時(shí)，對(duì)重疊部設(shè)定梳齒狀邊界線，通過(guò)在重疊部中由梳齒狀邊界線所劃分的一方區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像，在由梳齒狀邊界線所劃分的另一方的區(qū)域采用另一方的鳥(niǎo)瞰像，由此合成重疊部。
本發(fā)明的第三駕駛輔助系統(tǒng)，是將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上的駕駛輔助系統(tǒng)，其特征在于，具備第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的一方的鳥(niǎo)瞰像而得到的第一合成鳥(niǎo)瞰像；第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的另一方的鳥(niǎo)瞰像而得到的第二合成鳥(niǎo)瞰像；和控制機(jī)構(gòu)，其交替地切換第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)與第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，由此使第一合成鳥(niǎo)瞰像與第二合成鳥(niǎo)瞰像交替地顯示在顯示器上。
本發(fā)明的第四駕駛輔助系統(tǒng)，是將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上的駕駛輔助系統(tǒng)，其特征在于，具備第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的一方的鳥(niǎo)瞰像而得到的第一合成鳥(niǎo)瞰像；第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的另一方的鳥(niǎo)瞰像而得到的第二合成鳥(niǎo)瞰像；判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；第一控制機(jī)構(gòu)，其在由判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，通過(guò)交替切換第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)和第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，而使第一合成鳥(niǎo)瞰像與第二合成鳥(niǎo)瞰像交替地顯示在顯示器上；和第二控制機(jī)構(gòu)，其在由判別機(jī)構(gòu)判別為所有重疊部中皆不存在具有高度的物體時(shí)，通過(guò)第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)及第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)中的預(yù)先設(shè)定的一方的合成鳥(niǎo)瞰像生成機(jī)構(gòu)來(lái)生成合成鳥(niǎo)瞰像，并使之顯示在顯示器上。
本發(fā)明的第五駕駛輔助系統(tǒng)，是將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上的駕駛輔助系統(tǒng)，其特征在于，具備第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的一方的鳥(niǎo)瞰像而得到的第一合成鳥(niǎo)瞰像；第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的另一方的鳥(niǎo)瞰像而得到的第二合成鳥(niǎo)瞰像；選擇機(jī)構(gòu)，其根據(jù)車輛的行駛狀況，選擇第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)及第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)中的一方；和控制機(jī)構(gòu)，其通過(guò)由選擇機(jī)構(gòu)選擇的合成鳥(niǎo)瞰像生成機(jī)構(gòu)生成合成鳥(niǎo)瞰像并使之顯示在顯示器上。
本發(fā)明的第六駕駛輔助系統(tǒng)，是將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上的駕駛輔助系統(tǒng)，其特征在于，具備優(yōu)先鳥(niǎo)瞰像決定機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的重疊部中，將兩個(gè)鳥(niǎo)瞰像中的具有高度的物體呈現(xiàn)得更大的一方的鳥(niǎo)瞰像作為優(yōu)先鳥(niǎo)瞰像；合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)僅采用由優(yōu)先鳥(niǎo)瞰像決定機(jī)構(gòu)決定的優(yōu)先鳥(niǎo)瞰像，來(lái)生成合成鳥(niǎo)瞰像；和使由合成鳥(niǎo)瞰像生成機(jī)構(gòu)生成的合成鳥(niǎo)瞰像顯示在顯示器上的機(jī)構(gòu)。
上述第六駕駛輔助系統(tǒng)中的優(yōu)先鳥(niǎo)瞰像決定機(jī)構(gòu)，例如具備在兩個(gè)鳥(niǎo)瞰像重合的重疊部中，求取一方的鳥(niǎo)瞰像與另一方的鳥(niǎo)瞰像的差分，由此將差分量比規(guī)定量大的區(qū)域決定為差分區(qū)域的機(jī)構(gòu)；和計(jì)算上述兩個(gè)鳥(niǎo)瞰像的差分區(qū)域內(nèi)邊緣強(qiáng)度的積分值，由此將邊緣強(qiáng)度的積分值較大一方的鳥(niǎo)瞰像決定為優(yōu)先鳥(niǎo)瞰像的機(jī)構(gòu)。
上述第一～第六駕駛輔助系統(tǒng)，優(yōu)選具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體像的標(biāo)志的機(jī)構(gòu)。
上述第一～第六駕駛輔助系統(tǒng)，優(yōu)選具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。


圖1是表示在鳥(niǎo)瞰像中將具有高度的物體200按照沿著連結(jié)照相機(jī)1與物體200的延長(zhǎng)線上其像變形的方式投影在地面上的示意圖。
圖2是表示在從車輛的左后端向左斜后方存在具有高度的物體200時(shí)，由左側(cè)照相機(jī)1L產(chǎn)生的物體投影圖像200L與由后方照相機(jī)1B產(chǎn)生的物體投影圖像200B的示意圖。
圖3是表示在左側(cè)照相機(jī)區(qū)域SL中存在由后方照相機(jī)1B產(chǎn)生的物體投影圖像200B，及在后方照相機(jī)區(qū)域SB中存在由左側(cè)照相機(jī)1L產(chǎn)生的物體投影圖像200L的示意圖。
圖4是表示在車輛100的后部所設(shè)置的照相機(jī)1的示意圖。
圖5是表示照相機(jī)坐標(biāo)系XYZ、照相機(jī)1的成像面S的坐標(biāo)系XbuYbu、和包括2維地面坐標(biāo)系Xw、Zw的世界坐標(biāo)系Xw、Yw、Zw之間的關(guān)系的示意圖。
圖6是表示照相機(jī)1F、1B、1L、1R的配置例的俯視圖。
圖7是圖6的側(cè)視圖。
圖8是表示根據(jù)由各照相機(jī)1F、1B、1L、1R攝像的圖像所得到的鳥(niǎo)瞰像10F、10B、10L、10R的示意圖。
圖9是表示以相對(duì)于圖8的后方照相機(jī)1B的鳥(niǎo)瞰像10B為基準(zhǔn)，通過(guò)對(duì)其它3幅鳥(niǎo)瞰像10F、10L、10R進(jìn)行旋轉(zhuǎn)和平行移動(dòng)，并變換成后方照相機(jī)1B的鳥(niǎo)瞰像坐標(biāo)，從而合成4幅鳥(niǎo)瞰像10F、10B、10L、10R的示意圖。
圖10是表示在鳥(niǎo)瞰像10B與鳥(niǎo)瞰像10L的重疊部中實(shí)施例1所采用的梳齒狀邊界線D’BL的一例的示意圖。
圖11是表示合成后的重疊部的圖像例的示意圖。
圖12是表示在鳥(niǎo)瞰像10B與鳥(niǎo)瞰像10L的重疊部中實(shí)施例1所采用的梳齒狀邊界線D’BL的其它例的示意圖。
圖13是表示設(shè)置在汽車中的駕駛輔助系統(tǒng)的電氣結(jié)構(gòu)的框圖。
圖14是表示基于圖像處理單元2的處理步驟的流程圖。
圖15是表示基于圖像處理單元2的處理步驟的流程圖。
圖16是表示基于圖像處理單元2的處理步驟的流程圖。
圖17是表示基于圖像處理單元2的處理步驟的流程圖。
圖18是表示圖17的步驟S44的處理的詳細(xì)步驟的流程圖。
圖19a是表示灰白圖像(grayscale picture)40L、40B的一例的示意圖。
圖19b是表示灰白圖像40L、40B的差分區(qū)域的示意圖。
圖19c是表示灰白圖像40L的差分區(qū)域內(nèi)的邊緣部與灰白圖像40B的差分區(qū)域內(nèi)的邊緣部的示意圖。
具體實(shí)施例方式
以下，參照附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行說(shuō)明。
(A)實(shí)施例1(1)關(guān)于鳥(niǎo)瞰像的生成方法的說(shuō)明首先，對(duì)根據(jù)由1臺(tái)攝像機(jī)攝像的攝像圖像來(lái)生成鳥(niǎo)瞰像的方法進(jìn)行說(shuō)明。
如圖4所示，在車輛100的后部沿后方斜下方配置照相機(jī)1。水平面與照相機(jī)1的光軸形成的角具有兩種角度即圖4中由α表示的角度與由β表示的角度。一般而言，α被稱為俯視角或者俯角。在本說(shuō)明書(shū)中，將角度β設(shè)定為照相機(jī)1相對(duì)水平面的傾斜角θ。
圖5表示照相機(jī)坐標(biāo)系XYZ、照相機(jī)1的成像面S的坐標(biāo)系XbuYbu、和包括2維地面坐標(biāo)系XwZw的世界坐標(biāo)系XwYwZw的關(guān)系。
在照相機(jī)坐標(biāo)系XYZ中，以照相機(jī)的光學(xué)中心為原點(diǎn)O，令光軸方向?yàn)閆軸、與Z軸正交且與地面平行的方向?yàn)閄軸、與Z軸以及X軸正交的方向?yàn)閅軸。在成像面S的坐標(biāo)系XbuYbu中，以成像面S的中心為原點(diǎn)，令成像面S的橫向?yàn)閄bu軸，成像面的縱向?yàn)閅bu。
在世界坐標(biāo)系XwYwZw中，以通過(guò)照相機(jī)坐標(biāo)系XYZ的原點(diǎn)O的垂直線與地面的交點(diǎn)為原點(diǎn)Ow，令與地面垂直的方向?yàn)閅w軸，與照相機(jī)坐標(biāo)系XYZ的X軸平行的方向?yàn)閄w軸，與Xw軸以及Yw軸正交的方向?yàn)閆w軸。
世界坐標(biāo)系Xw、Yw、Zw與照相機(jī)坐標(biāo)系XYZ之間的平行移動(dòng)量為
，繞X軸的旋轉(zhuǎn)量為θ。
因此，照相機(jī)坐標(biāo)系XYZ的坐標(biāo)(x，y，z)與世界坐標(biāo)系Xw、Yw、Zw的坐標(biāo)(xw、yw、zw)之間的變換式，由下式(1)表示。
xyz=1000cosθ-sinθ0sinθcosθ{xwywzw+0h0}···(1)]]>
并且，在將照相機(jī)1的焦距設(shè)為f的情況下，成像面S的坐標(biāo)系XbuYbu的坐標(biāo)(xbu，ybu)與照相機(jī)坐標(biāo)系XYZ的坐標(biāo)(x，y，z)之間的變換式由下式(2)表示。
xbuybu=fxzfyz···(2)]]>根據(jù)上述式(1)、(2)，得到成像面S的坐標(biāo)系XbuYbu的坐標(biāo)(xbu，ybu)與二維地面坐標(biāo)系XwZw的坐標(biāo)(xw，zw)之間的變換式(3)。
xbuybu=fxwhsinθ+zwcosθ(hcosθ-zwsinθ)fhsinθ+zwcosθ···(3)]]>另外，從二維地面坐標(biāo)系XwZw向虛擬照相機(jī)的鳥(niǎo)瞰圖坐標(biāo)系XauYau的投影通過(guò)平行投影來(lái)進(jìn)行。在將照相機(jī)1的焦距設(shè)為f、虛擬照相機(jī)的高度位置設(shè)為H的情況下，二維地面坐標(biāo)系XwZw的坐標(biāo)(xw，Zw)與鳥(niǎo)瞰圖坐標(biāo)系XauYau的坐標(biāo)(xau，yau)之間的變換式就由下式(4)表示。虛擬照相機(jī)的高度位置H是預(yù)先設(shè)定的。
xauyau=fHxwzw···(4)]]>由上述式(4)得到下式(5)。
xwzw=Hfxauyau...(5)]]>若將所得到的式(5)代入上述式(3)，則得到式(6)。
xbuybu=fHxaufhsinθ+Hyaucosθf(fhcosθ-Hyausinθ)fhsinθ+Hyaucosθ···(6)]]>根據(jù)上述式(6)，得到用于將輸入圖像I的坐標(biāo)(Xbu，ybu)變換成鳥(niǎo)瞰圖坐標(biāo)系XauYau的坐標(biāo)(Xau，yau)的式(7)。
xauyau=xbu(fhsinθ+Hyaucosθ)fHfh(fcosθ-ybusinθ)H(fsinθ+ybucosθ)···(7)]]>采用上述式(7)就將輸入圖像I變換成鳥(niǎo)瞰像。
(2)關(guān)于全景鳥(niǎo)瞰像的生成方法的基本考慮方法的說(shuō)明圖6、圖7表示設(shè)置在車輛上的照相機(jī)。
在車輛的前部、后部、左側(cè)部及右側(cè)部分別設(shè)置有照相機(jī)(攝像裝置)1F、1B、1L、1R。照相機(jī)1F沿前方斜下方配置，照相機(jī)1B沿后方斜下方被配置，照相機(jī)1L沿左方斜下方配置，照相機(jī)1F沿右方斜下方配置。
如圖8所示，根據(jù)由各照相機(jī)1F、1B、1L、1R攝像的圖像來(lái)生成鳥(niǎo)瞰像10F、10B、10L、10R。接著，如圖9所示，對(duì)由各照相機(jī)1F、1B、1L、1R分別生成的鳥(niǎo)瞰像10F、10B、10L、10R，以相對(duì)于后方照相機(jī)1B的鳥(niǎo)瞰像10B為基準(zhǔn)，將其它3個(gè)鳥(niǎo)瞰像10F、10L、10R旋轉(zhuǎn)和平行移動(dòng)，從而變換成后方照相機(jī)1B的鳥(niǎo)瞰像坐標(biāo)。這種情況下，如圖9所示，可產(chǎn)生兩個(gè)鳥(niǎo)瞰像重疊的部分。在該重疊部，如何對(duì)兩鳥(niǎo)瞰像進(jìn)行合成是本實(shí)施例1的特征。
在鳥(niǎo)瞰像10F與鳥(niǎo)瞰像10L的重疊部20FL中，將連結(jié)左上頂點(diǎn)與右下頂點(diǎn)的線設(shè)為一般邊界線DFL。在鳥(niǎo)瞰像10F與鳥(niǎo)瞰像10R的重疊部20FR中，將連結(jié)右上頂點(diǎn)與左下頂點(diǎn)的線設(shè)為一般邊界線DFR。鳥(niǎo)瞰像10B與鳥(niǎo)瞰像10L的重疊部20BL中，將連結(jié)右上頂點(diǎn)與左下頂點(diǎn)的線設(shè)為一般邊界線DBL。在鳥(niǎo)瞰像10B與鳥(niǎo)瞰像10R的重疊部20BR中，將連結(jié)左上頂點(diǎn)與右下頂點(diǎn)的線設(shè)為一般邊界線DBR。還有，實(shí)際上由于重疊部并非矩形，因此通常使重疊部劃分為二份的適當(dāng)?shù)倪吔缇€成為一般邊界線。
以往，在兩個(gè)鳥(niǎo)瞰像重疊的重疊部中，在由一般邊界線劃分的一方的區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像；在另一方的區(qū)域內(nèi)采用另一方的鳥(niǎo)瞰像。具體而言，例如在鳥(niǎo)瞰像10B與鳥(niǎo)瞰像10L的重疊部20BL中，在一般邊界線DBL的上側(cè)區(qū)域內(nèi)采用鳥(niǎo)瞰像10L；在一般邊界線DBL的下側(cè)區(qū)域內(nèi)采用鳥(niǎo)瞰像10B。因此，存在著具有高度的物體在合成鳥(niǎo)瞰像上消失的問(wèn)題。
在本實(shí)施例1中，在各重疊部中，在由一般邊界線劃分的兩個(gè)區(qū)域的各個(gè)區(qū)域內(nèi)設(shè)有使兩個(gè)不同的區(qū)域以狹縫狀交替出現(xiàn)的梳齒狀邊界線。由此，在由梳齒狀邊界線劃分的一方區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像，在另一方區(qū)域內(nèi)采用另一方的鳥(niǎo)瞰像。
例如，如圖10所示，在鳥(niǎo)瞰像10B與鳥(niǎo)瞰像10L的重疊部20BL中，采用梳齒沿一般邊界線DBL的方向并列而且梳齒與監(jiān)視器畫(huà)面的垂直方向平行的梳齒狀邊界線D’BL。由此，在該重疊部20BL內(nèi)的梳齒狀邊界線D’BL的上側(cè)區(qū)域SL內(nèi)采用鳥(niǎo)瞰像10L；在梳齒狀邊界線D’BL的下側(cè)區(qū)域SB內(nèi)采用鳥(niǎo)瞰像10B。
在采用這樣的合成方法的情況下，例如圖2所示，在從車輛的左后端向左斜后方存在具有高度的物體200時(shí)，如圖11所示那樣該物體200就出現(xiàn)在合成后的全景鳥(niǎo)瞰像上。在圖11中，D’BL表示梳齒狀邊界線，200L表示根據(jù)左側(cè)照相機(jī)1L的攝像圖像所得到的物體200的鳥(niǎo)瞰像，200B表示根據(jù)后方照相機(jī)1B的攝像圖像所得到的物體200的鳥(niǎo)瞰像。由圖11可知，具有高度的物體200的投影圖像沒(méi)有消失，并且物體像與背景沒(méi)有平均化，因此可以明確地識(shí)別物體200。另外，根據(jù)左側(cè)照相機(jī)1L的攝像圖像所得到的物體像與根據(jù)后方照相機(jī)1B的攝像圖像所得到的物體像交替地出現(xiàn)，就容易將這兩個(gè)物體像識(shí)別作1個(gè)物體像。
還有，如圖12所示，作為梳齒狀邊界線，也可以采用梳齒沿一般邊界線DBL的方向并列而且梳齒與監(jiān)視器畫(huà)面的水平方向平行的梳齒狀的邊界線。另外，也可以采用相對(duì)于一般邊界線梳齒正交那樣的梳齒狀的邊界線。進(jìn)一步，也可以采用相對(duì)一般邊界線梳齒平行那樣的梳齒狀的邊界線。
還有，梳齒狀邊界線中的梳齒的長(zhǎng)度與間隔優(yōu)選按照監(jiān)視器的清晰度或雙像難以映出的方式進(jìn)行調(diào)整。
(3)關(guān)于全景鳥(niǎo)瞰像的生成方法的具體方法說(shuō)明另外，根據(jù)上述式(7)，可以預(yù)先求出與輸入圖像I(對(duì)照相機(jī)的攝像圖像進(jìn)行透鏡失真校正后的圖像)的各像素的坐標(biāo)對(duì)應(yīng)的鳥(niǎo)瞰像上的坐標(biāo)。
并且，與各照相機(jī)1F、1B、1L、1R對(duì)應(yīng)的鳥(niǎo)瞰像上的坐標(biāo)向全景鳥(niǎo)瞰像上的坐標(biāo)的變換，可通過(guò)規(guī)定的旋轉(zhuǎn)與規(guī)定的平行移動(dòng)來(lái)進(jìn)行。也就是，將各照相機(jī)的攝像圖像失真校正后的輸入圖像I變換成鳥(niǎo)瞰像，由此用于將所得到的鳥(niǎo)瞰像變換成全景鳥(niǎo)瞰像的變換參數(shù)全部是固定值。因此，可以預(yù)先求出與由各照相機(jī)1F、1B、1L、1R得到的輸入圖像I(由透鏡失真校正所得到的圖像)的各像素的坐標(biāo)對(duì)應(yīng)的全景鳥(niǎo)瞰像上的坐標(biāo)。
另外，在全景鳥(niǎo)瞰像中，還預(yù)先知道兩個(gè)鳥(niǎo)瞰像重疊的區(qū)域以及在各重疊部中由上述梳齒狀邊界線劃分的區(qū)域，因此還可以預(yù)先求出在全景鳥(niǎo)瞰像上各重疊部?jī)?nèi)的各坐標(biāo)中采用兩個(gè)鳥(niǎo)瞰像中的哪一副。
因此，在本實(shí)施例中，可預(yù)先準(zhǔn)備坐標(biāo)逆變換表格，該坐標(biāo)逆變換表格表示對(duì)全景鳥(niǎo)瞰像上的各坐標(biāo)的每一個(gè)，將由各照相機(jī)1F、1B、1L、1R得到的輸入圖像I(通過(guò)透鏡失真校正所得到的圖像)的各像素的圖像中的哪個(gè)像素的圖像進(jìn)行分配。在坐標(biāo)逆變換表格中，存儲(chǔ)用于對(duì)全景鳥(niǎo)瞰像上的各坐標(biāo)的每一個(gè)指定應(yīng)填入該坐標(biāo)的圖像的數(shù)據(jù)。用于指定應(yīng)分配給全景鳥(niǎo)瞰像上的各坐標(biāo)的圖像的數(shù)據(jù)，由用于指定照相機(jī)的數(shù)據(jù)和用于指定由該照相機(jī)得到的輸入圖像I(由透鏡失真校正所得到的圖像)的像素位置的數(shù)據(jù)(坐標(biāo)數(shù)據(jù))構(gòu)成。作為輸入圖像I，考慮到透鏡失真，由此也可以直接采用由各照相機(jī)1F、1B、1L、1R攝像的圖像。
(4)駕駛輔助系統(tǒng)結(jié)構(gòu)的說(shuō)明圖13表示設(shè)置在汽車中的駕駛輔助系統(tǒng)的電氣結(jié)構(gòu)。駕駛輔助系統(tǒng)具備4臺(tái)照相機(jī)1L、1R、1F、1B；用于根據(jù)由照相機(jī)1L、1R、1F、1B攝像的圖像來(lái)生成全景鳥(niǎo)瞰像的圖像處理單元2；和顯示由圖像處理單元2生成的全景鳥(niǎo)瞰像的監(jiān)視器(顯示器)3。圖像處理單元2，具備存儲(chǔ)上述坐標(biāo)逆變換表格的存儲(chǔ)器。
作為照相機(jī)1L、1R、1F、1B例如采用CCD照相機(jī)。圖像處理單元2例如由微機(jī)構(gòu)成。作為監(jiān)視器3例如采用汽車導(dǎo)航系統(tǒng)的監(jiān)視器。
圖像處理單元2，使用由照相機(jī)1L、1R、1F、1B攝像的圖像和坐標(biāo)逆變換表格來(lái)生成全景鳥(niǎo)瞰像。由圖像處理單元2生成的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上。
圖14表示基于圖像處理單元2的處理步驟。
首先，讀入各照相機(jī)1F、1B、1L、1R的攝像圖像(步驟S1)。接著對(duì)所讀入的各攝像圖像進(jìn)行透鏡失真校正(步驟S2)。以下，將通過(guò)透鏡失真校正得到的圖像稱作輸入圖像I。
接著，使用根據(jù)各照相機(jī)1F、1B、1L、1R的攝像圖像所得到的輸入圖像I與坐標(biāo)逆變換表格來(lái)生成全景鳥(niǎo)瞰像(步驟S3)。使所得到的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上(步驟S4)。然后返回步驟S1。
(B)實(shí)施例2實(shí)施例2中，駕駛輔助系統(tǒng)的電氣結(jié)構(gòu)也與實(shí)施例1相同。實(shí)施例2與實(shí)施例1中，圖像處理單元2的處理內(nèi)容不同。
在實(shí)施例2中，將兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像與前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像交替地顯示在監(jiān)視器上。所謂兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像，是指在如圖9所示的全景鳥(niǎo)瞰圖坐標(biāo)系中，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部通過(guò)僅采用根據(jù)左右照相機(jī)的攝像圖像所得到的鳥(niǎo)瞰像而得到的全景鳥(niǎo)瞰像。具體而言，是指在圖9的重疊部20FL及20BL中通過(guò)僅采用由左側(cè)照相機(jī)1L得到的鳥(niǎo)瞰像10L、在圖9的重疊部20FR及20BR中通過(guò)僅采用由右側(cè)照相機(jī)1R得到的鳥(niǎo)瞰像10R來(lái)得到的全景鳥(niǎo)瞰像。
所謂前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像，是指在如圖9所示的全景鳥(niǎo)瞰圖坐標(biāo)系中，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中通過(guò)僅采用由前后照相機(jī)的攝像圖像得到的鳥(niǎo)瞰像來(lái)得到的全景鳥(niǎo)瞰像。具體而言，是指在圖9的重疊部20FL及20FR中通過(guò)僅采用由前方照相機(jī)1F所得到的鳥(niǎo)瞰像10F、在圖9的重疊部20BL及20BR中通過(guò)僅采用由后方照相機(jī)1B所得到的鳥(niǎo)瞰像10B來(lái)得到的全景鳥(niǎo)瞰像。
圖像處理單元2具備作為坐標(biāo)逆變換表格的第一坐標(biāo)逆變換表格和第二坐標(biāo)逆變換表格，所述第一坐標(biāo)逆變換表格用于生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像，所述第二坐標(biāo)逆變換表格用于生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像。
圖15表示基于圖像處理單元2的處理步驟。
首先，將標(biāo)記F復(fù)位(F＝0)(步驟S11)。讀入各照相機(jī)1F、1B、1L、1R的攝像圖像(步驟S12)。接著，對(duì)所讀入的各攝像圖像進(jìn)行透鏡失真校正(步驟S13)。以下，將通過(guò)透鏡失真校正所得到的圖像稱作輸入圖像I。
接著，對(duì)標(biāo)記F是否被設(shè)置進(jìn)行判別(步驟S14)。在標(biāo)記F被復(fù)位的情況下(F＝0)，設(shè)置標(biāo)記F(F＝1)之后(步驟S15)，使用輸入圖像I與第一坐標(biāo)逆變換表格來(lái)生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像(步驟S16)。使所得到的兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上(步驟S17)。然后返回步驟S12。
在上述步驟S14中，在標(biāo)記F被設(shè)置的情況下(F＝1)，將標(biāo)記F復(fù)位(F＝0)之后(步驟S18)，使用輸入圖像I與第二坐標(biāo)逆變換表格來(lái)生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像(步驟S19)。使所得到的前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上(步驟S20)。然后返回步驟S12。
在上述實(shí)施例2中，使兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像與前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像交替地顯示在監(jiān)視器上，因此，例如如圖2所示那樣，在從車輛的左后端向左斜后方存在具有高度的物體200時(shí)，該具有高度的物體200的投影圖像不僅沒(méi)有消失并且被顯示出。另外，由于在兩側(cè)照相機(jī)優(yōu)先的合成鳥(niǎo)瞰像和前后照相機(jī)優(yōu)先的合成鳥(niǎo)瞰像中，該具有高度的物體200的投影圖像其朝向是不同的，因此在切換那些圖像的時(shí)刻就能看見(jiàn)物體200的投影圖像是變動(dòng)的。因此，駕駛員就容易識(shí)別該物體200。
在圖15中，假定為攝像圖像的讀入間隔較長(zhǎng)的情況，但在攝像圖像的讀入間隔例如為每1幀那樣短的情況下，也可以按每隔數(shù)幀(例如每隔15幀)更換顯示兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像和前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像。
作為坐標(biāo)逆變換表格，設(shè)置有用于生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像的第一坐標(biāo)逆變表格、和用于生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像的第二坐標(biāo)逆變換表格，但代替這兩個(gè)坐標(biāo)逆變換表格也可以采用一個(gè)坐標(biāo)逆變換表格。這種情況下，例如，只要是對(duì)由左側(cè)照相機(jī)1L所得到的鳥(niǎo)瞰像10L與由后方照相機(jī)1B所得到的鳥(niǎo)瞰像10B的重疊部?jī)?nèi)的各坐標(biāo)，預(yù)先存儲(chǔ)表示雙方鳥(niǎo)瞰像10L、10B對(duì)應(yīng)的像素位置的數(shù)據(jù)(指定照相機(jī)的數(shù)據(jù)及坐標(biāo)數(shù)據(jù))，就在生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像時(shí)采用表示鳥(niǎo)瞰像10L對(duì)應(yīng)的像素位置的數(shù)據(jù)，在生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像時(shí)采用表示鳥(niǎo)瞰像10B對(duì)應(yīng)的像素位置的數(shù)據(jù)即可。
然而，如圖2所示，在車輛的前后左右分別安裝照相機(jī)1F、1B、1L、1R時(shí)，如果從車輛的左后端向左斜后方存在具有高度的物體200，則由左側(cè)照相機(jī)1L產(chǎn)生的物體投影圖像就成為200L，由后方照相機(jī)1B產(chǎn)生的物體投影圖像就成為200B。
因此，在如圖9所示的全景鳥(niǎo)瞰像坐標(biāo)系中，在根據(jù)左側(cè)照相機(jī)1L的攝像圖像所得到的鳥(niǎo)瞰圖像與根據(jù)后方照相機(jī)1B的攝像圖像所得到的鳥(niǎo)瞰像之間的重合部存在兩個(gè)物體投影圖像200L、200B時(shí)，那些投影圖像200L、200B就出現(xiàn)在不同的位置。因此，如果在該重疊部求取兩個(gè)鳥(niǎo)瞰像的差分，則兩個(gè)物體投影圖像200L、200B就作為差分值被檢測(cè)出。
在兩個(gè)鳥(niǎo)瞰像重合的重疊部中，在將各鳥(niǎo)瞰像變換成灰白圖像之后，若求取兩個(gè)灰白圖像的差分，則在存在具有高度的物體(障礙物)時(shí)，就提取差分值的絕對(duì)值在規(guī)定閾值以上的差分區(qū)域。因此，根據(jù)在每個(gè)重疊部是否提取了差分區(qū)域就可以判定每個(gè)重疊部是否存在具有高度的障礙物。
因此，在如圖9所示的全景鳥(niǎo)瞰像坐標(biāo)系中，判別鳥(niǎo)瞰像重合的每個(gè)重疊部中是否存在具有高度的物體(障礙物)，在至少一個(gè)重疊部中存在障礙物時(shí)，交替地生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像與前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像并使之交替地顯示；在任何一個(gè)重疊部都不存在障礙物時(shí)，生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像以及前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像中的預(yù)先確定的一方的全景鳥(niǎo)瞰像并使之顯示。
還有，在至少一個(gè)重疊部中存在障礙物時(shí)，也可以僅對(duì)存在障礙物的重疊部，交替地生成兩側(cè)照相機(jī)優(yōu)先的鳥(niǎo)瞰像與前后照相機(jī)優(yōu)先的鳥(niǎo)瞰像并使之交替地顯示，而對(duì)其它重疊部生成相同種類的鳥(niǎo)瞰像并使之顯示。
(C)實(shí)施例3在上述實(shí)施例2中，使兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像與前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像交替地顯示在監(jiān)視器上，但也可以依據(jù)車輛的移動(dòng)狀態(tài)來(lái)對(duì)兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像與前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像進(jìn)行切換。
例如，如圖2所示，在從車輛的左后端向左斜后方存在具有高度的物體200的情況下，如果車輛一直向后方行駛，則該物體200就會(huì)從后方照相機(jī)1B的攝像區(qū)域漏掉。因此，這樣的情況下，生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像并使之顯示。另一方面，如圖2所示，在從車輛的左后端向左斜后方存在具有高度的物體200的情況下，在車輛一邊向左斜后方拐彎一邊后退時(shí)，該物體200就會(huì)從左側(cè)照相機(jī)1L的攝像區(qū)域漏掉。因此，這種情況下，生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像并使之顯示。
在實(shí)施例3中，駕駛輔助系統(tǒng)的電氣結(jié)構(gòu)與實(shí)施例1相同。還有，車輛的移動(dòng)狀態(tài)例如基于車輛齒輪傳感器、駕駛桿的操作方向、車速脈沖等來(lái)判別。
圖像處理單元2，具備作為坐標(biāo)逆變換表格的第一坐標(biāo)逆變換表和第二坐標(biāo)逆變換表格，所述第一坐標(biāo)逆變換表格用于生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像，所述第二坐標(biāo)逆變表格用于生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像。
圖16表示基于圖像處理單元2的處理步驟。
首先，讀入各照相機(jī)1F、1B、1L、1R的攝像圖像(步驟S31)。接著對(duì)讀入的各攝像圖像進(jìn)行透鏡失真校正(步驟S32)。以下，將通過(guò)透鏡失真校正所得到的圖像稱作輸入圖像I。
接著，判別車輛的移動(dòng)狀態(tài)(步驟S33)。具體而言，對(duì)車輛是一直向前方或者后方行駛的第一移動(dòng)狀態(tài)、車輛是一邊向斜前方拐彎一邊前進(jìn)或者車輛一邊向斜后方拐彎一邊后退的第二移動(dòng)狀態(tài)進(jìn)行判別。
當(dāng)判別為車輛的移動(dòng)狀態(tài)是第一移動(dòng)狀態(tài)時(shí)，使用輸入圖像I與第一坐標(biāo)逆變換表格來(lái)生成兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像(步驟S34)。使所得到的兩側(cè)照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上(步驟S35)。然后返回步驟S31。
在上述步驟S33中，當(dāng)判別為車輛的移動(dòng)狀態(tài)是第二移動(dòng)狀態(tài)時(shí)，使用輸入圖像I與第二坐標(biāo)逆變換表格來(lái)生成前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像(步驟S36)。使所得到的前后照相機(jī)優(yōu)先的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上(步驟S37)。然后返回步驟S31。
在實(shí)施例3中，也可以如實(shí)施例2所說(shuō)明那樣，代替第一坐標(biāo)逆變表格與第二坐標(biāo)逆變表格的兩個(gè)坐標(biāo)逆變換表格而采用一個(gè)坐標(biāo)逆變換表格。
(D)實(shí)施例4在實(shí)施例4中，在如圖9所示的全景鳥(niǎo)瞰像坐標(biāo)系中，對(duì)兩個(gè)鳥(niǎo)瞰像重合的各重疊部的每一個(gè)判別在哪個(gè)鳥(niǎo)瞰像中障礙物(具有高度的物體)呈現(xiàn)得更大，由此在合成該重疊部時(shí)，僅采用障礙物呈現(xiàn)得更大的一方的鳥(niǎo)瞰像。
在實(shí)施例4中，駕駛輔助系統(tǒng)的電氣結(jié)構(gòu)與實(shí)施例1相同。圖像處理單元2具備坐標(biāo)逆變換表格。作為坐標(biāo)逆變換表格準(zhǔn)備有一個(gè)逆變換表格。其中，對(duì)于兩個(gè)鳥(niǎo)瞰像重合的重疊部?jī)?nèi)的各坐標(biāo)，存儲(chǔ)有表示該兩個(gè)鳥(niǎo)瞰像對(duì)應(yīng)的像素位置的兩種數(shù)據(jù)。
例如，對(duì)于由左側(cè)照相機(jī)1L所得到的鳥(niǎo)瞰像10L與由后方照相機(jī)1B所得到的鳥(niǎo)瞰像10B之間的重疊部?jī)?nèi)的各坐標(biāo)，存儲(chǔ)有表示雙方鳥(niǎo)瞰像10L、10B對(duì)應(yīng)的像素位置的數(shù)據(jù)。在該重疊部中，在兩個(gè)鳥(niǎo)瞰像10L、10B中的例如鳥(niǎo)瞰像10L一方障礙物呈現(xiàn)得更大時(shí)，選擇表示該鳥(niǎo)瞰像10L對(duì)應(yīng)的像素位置的數(shù)據(jù)。
圖17表示基于圖像處理單元2的處理步驟。
首先，讀入各照相機(jī)1F、1B、1L、1R的攝像圖像(步驟S41)。接著對(duì)讀入的各攝像圖像進(jìn)行透鏡失真校正(步驟S42)。以下，將通過(guò)透鏡失真校正所得到的圖像稱作輸入圖像I。
接著，使用輸入圖像I與坐標(biāo)逆變換表格，對(duì)各照相機(jī)1F、1B、1L、1R的每一個(gè)，生成在全景鳥(niǎo)瞰像坐標(biāo)上兩個(gè)鳥(niǎo)瞰像重疊的部分中的鳥(niǎo)瞰像(步驟S43)。
基于由步驟S43得到的鳥(niǎo)瞰像，對(duì)兩個(gè)鳥(niǎo)瞰像重合的各重疊部的每一個(gè)判定優(yōu)先兩個(gè)鳥(niǎo)瞰像中的哪一個(gè)(步驟S44)。也就是，對(duì)各重疊部的每一個(gè)決定優(yōu)先鳥(niǎo)瞰像。關(guān)于該處理的詳細(xì)情況將后述。
接著，使用步驟S44的決定結(jié)果與輸入圖像I及坐標(biāo)逆變換表格，生成僅采用各重疊部中由步驟44判定為優(yōu)先的鳥(niǎo)瞰像的全景鳥(niǎo)瞰像(步驟S45)。使所得到的全景鳥(niǎo)瞰像顯示在監(jiān)視器3上(步驟S46)。然后返回步驟S41。
圖18表示上述步驟S44的處理的詳細(xì)步驟。
在此，以由左側(cè)照相機(jī)1L所得到的鳥(niǎo)瞰像10L與由后方照相機(jī)1B所得到的鳥(niǎo)瞰像10B之間的重疊部為例進(jìn)行說(shuō)明。重疊部的鳥(niǎo)瞰像中的由左側(cè)照相機(jī)1L所得到的圖像用30L表示，由后方照相機(jī)1B所得到的圖像用30B表示。
將重疊部的鳥(niǎo)瞰像30L、30B分別變換成灰白圖像40L、40B(步驟S51)。圖19a表示灰白圖像40L、40B的一例。
求出兩個(gè)灰白圖像40L、40B的差分區(qū)域(步驟S52)。具體而言，求取兩個(gè)灰白圖像40L、40B的差分，由此將差分值的絕對(duì)值在規(guī)定閾值以上的區(qū)域設(shè)為差分區(qū)域。在灰白圖像40L、40B為圖19a時(shí)，差分區(qū)域就如圖19b所示。
對(duì)每個(gè)灰白圖像40L、40B，在步驟S52求出的差分區(qū)域內(nèi)進(jìn)行邊緣提取處理(步驟S53)。也就是，針對(duì)每個(gè)灰白圖像40L、40B，對(duì)差分區(qū)域內(nèi)的各像素計(jì)算出邊緣強(qiáng)度。接著，針對(duì)每個(gè)灰白圖像40L、40B計(jì)算差分區(qū)域內(nèi)的邊緣強(qiáng)度的總和(步驟S54)。并且，將邊緣強(qiáng)度的總和較大的一方的鳥(niǎo)瞰像決定為優(yōu)先鳥(niǎo)瞰像(步驟S55)。還有，代替邊緣強(qiáng)度的總和(積分值)，也可以使用檢測(cè)出的邊緣數(shù)量或由邊緣部包圍的區(qū)域的面積。
在灰白圖像40L、40B為圖19a時(shí)，灰白圖像40L中的差分區(qū)域內(nèi)的邊緣部就如圖19c的左圖那樣，灰白圖像40B中的差分區(qū)域內(nèi)的邊緣部就如圖19c的右圖那樣。灰白圖像40L中的差分區(qū)域內(nèi)的邊緣部的區(qū)域比灰白圖像40B中的差分區(qū)域內(nèi)的邊緣部的區(qū)域大，因此由左側(cè)照相機(jī)1L所得到的鳥(niǎo)瞰像就成為優(yōu)先鳥(niǎo)瞰像。
(E)實(shí)施例5如上述，根據(jù)在兩個(gè)鳥(niǎo)瞰像重合的每個(gè)重疊部是否提取有差分區(qū)域，就可以判定在該重疊部中是否存在具有高度的物體(障礙物)。
在上述實(shí)施例1、2、3、4中，對(duì)各重疊部是否存在障礙物進(jìn)行判別，由此在判別為至少一個(gè)重疊部中存在障礙物時(shí)，優(yōu)選在所顯示的全景鳥(niǎo)瞰像上顯示用于明示障礙物的標(biāo)志或者發(fā)出警告聲。作為用于明示障礙物的標(biāo)志例如采用包圍障礙物像的標(biāo)志。
權(quán)利要求
1.一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備一種機(jī)構(gòu)，該機(jī)構(gòu)在合成兩個(gè)鳥(niǎo)瞰像重合的各重疊部時(shí)，對(duì)重疊部設(shè)定交替地配置兩個(gè)區(qū)域的邊界線，通過(guò)在重疊部中的由邊界線劃分的一方的區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像，在由邊界線劃分的另一方的區(qū)域采用另一方的鳥(niǎo)瞰像，由此合成重疊部。
2.根據(jù)權(quán)利要求1所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體像的標(biāo)志的機(jī)構(gòu)。
3.根據(jù)權(quán)利要求1所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。
4.一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備一種機(jī)構(gòu)，該機(jī)構(gòu)在合成兩個(gè)鳥(niǎo)瞰像重合的各重疊部時(shí)，對(duì)重疊部設(shè)定梳齒狀邊界線，通過(guò)在重疊部中由梳齒狀邊界線所劃分的一方區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像，在由梳齒狀邊界線所劃分的另一方的區(qū)域采用另一方的鳥(niǎo)瞰像，由此合成重疊部。
5.根據(jù)權(quán)利要求4所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體像的標(biāo)志的機(jī)構(gòu)。
6.根據(jù)權(quán)利要求4所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。
7.一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的一方的鳥(niǎo)瞰像而得到的第一合成鳥(niǎo)瞰像；第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的另一方的鳥(niǎo)瞰像而得到的第二合成鳥(niǎo)瞰像；和控制機(jī)構(gòu)，其交替地切換第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)與第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，由此使第一合成鳥(niǎo)瞰像與第二合成鳥(niǎo)瞰像交替地顯示在顯示器上。
8.根據(jù)權(quán)利要求7所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體的像的標(biāo)志的機(jī)構(gòu)。
9.根據(jù)權(quán)利要求7所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。
10.一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的一方的鳥(niǎo)瞰像而得到的第一合成鳥(niǎo)瞰像；第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的另一方的鳥(niǎo)瞰像而得到的第二合成鳥(niǎo)瞰像；判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；第一控制機(jī)構(gòu)，其在由判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，通過(guò)交替地切換第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)和第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，而使第一合成鳥(niǎo)瞰像與第二合成鳥(niǎo)瞰像交替地顯示在顯示器上；和第二控制機(jī)構(gòu)，其在由判別機(jī)構(gòu)判別為所有重疊部中皆不存在具有高度的物體時(shí)，通過(guò)第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)及第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)中的預(yù)先設(shè)定的一方的合成鳥(niǎo)瞰像生成機(jī)構(gòu)來(lái)生成合成鳥(niǎo)瞰像，并使之顯示在顯示器上。
11.根據(jù)權(quán)利要求10所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體的像的標(biāo)志的機(jī)構(gòu)。
12.根據(jù)權(quán)利要求10所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。
13.一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的一方的鳥(niǎo)瞰像而得到的第一合成鳥(niǎo)瞰像；第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，生成通過(guò)僅采用預(yù)先設(shè)定的另一方的鳥(niǎo)瞰像而得到的第二合成鳥(niǎo)瞰像；選擇機(jī)構(gòu)，其根據(jù)車輛的行駛狀況，選擇第一合成鳥(niǎo)瞰像生成機(jī)構(gòu)及第二合成鳥(niǎo)瞰像生成機(jī)構(gòu)中的一方；和控制機(jī)構(gòu)，其通過(guò)由選擇機(jī)構(gòu)選擇的合成鳥(niǎo)瞰像生成機(jī)構(gòu)生成合成鳥(niǎo)瞰像并使之顯示在顯示器上。
14.根據(jù)權(quán)利要求13所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體的像的標(biāo)志的機(jī)構(gòu)。
15.根據(jù)權(quán)利要求13所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。
16.一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備優(yōu)先鳥(niǎo)瞰像決定機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的重疊部中，將兩個(gè)鳥(niǎo)瞰像中的具有高度的物體呈現(xiàn)得更大的一方的鳥(niǎo)瞰像作為優(yōu)先鳥(niǎo)瞰像；合成鳥(niǎo)瞰像生成機(jī)構(gòu)，其在對(duì)各鳥(niǎo)瞰像進(jìn)行合成時(shí)，在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)僅采用由優(yōu)先鳥(niǎo)瞰像決定機(jī)構(gòu)決定的優(yōu)先鳥(niǎo)瞰像，來(lái)生成合成鳥(niǎo)瞰像；和使由合成鳥(niǎo)瞰像生成機(jī)構(gòu)生成的合成鳥(niǎo)瞰像顯示在顯示器上的機(jī)構(gòu)。
17.根據(jù)權(quán)利要求16所述的駕駛輔助系統(tǒng)，其特征在于，優(yōu)先鳥(niǎo)瞰像決定機(jī)構(gòu)，具備在兩個(gè)鳥(niǎo)瞰像重合的重疊部中，求取一方的鳥(niǎo)瞰像與另一方的鳥(niǎo)瞰像的差分，由此將差分量比規(guī)定量大的區(qū)域決定為差分區(qū)域的機(jī)構(gòu)；和計(jì)算上述兩個(gè)鳥(niǎo)瞰像的差分區(qū)域內(nèi)邊緣強(qiáng)度的積分值，由此將邊緣強(qiáng)度的積分值較大一方的鳥(niǎo)瞰像決定為優(yōu)先鳥(niǎo)瞰像的機(jī)構(gòu)。
18.根據(jù)權(quán)利要求16所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)，在合成鳥(niǎo)瞰像中顯示用于明示上述具有高度的物體的像的標(biāo)志的機(jī)構(gòu)。
19.根據(jù)權(quán)利要求16所述的駕駛輔助系統(tǒng)，其特征在于，具備判別機(jī)構(gòu)，其在兩個(gè)鳥(niǎo)瞰像重合的各重疊部中，通過(guò)比較兩個(gè)鳥(niǎo)瞰像從而判別是否存在具有高度的物體；和在通過(guò)判別機(jī)構(gòu)判別為至少一個(gè)重疊部中存在具有高度的物體時(shí)發(fā)出警告聲的機(jī)構(gòu)。
全文摘要
本發(fā)明提供一種駕駛輔助系統(tǒng)，將由搭載在車輛上且對(duì)車輛周邊進(jìn)行攝像的多個(gè)攝像裝置所攝像的圖像分別變換成鳥(niǎo)瞰像，并對(duì)所得到的各鳥(niǎo)瞰像進(jìn)行合成來(lái)生成合成鳥(niǎo)瞰像，而使所生成的合成鳥(niǎo)瞰像顯示在顯示器上，該駕駛輔助系統(tǒng)具備一種機(jī)構(gòu)，該機(jī)構(gòu)在合成兩個(gè)鳥(niǎo)瞰像重合的各重疊部時(shí)，對(duì)重疊部設(shè)定交替地配置兩個(gè)區(qū)域的邊界線，通過(guò)在重疊部中的由邊界線劃分的一方的區(qū)域內(nèi)采用一方的鳥(niǎo)瞰像，在由邊界線劃分的另一方的區(qū)域采用另一方的鳥(niǎo)瞰像，由此合成重疊部。
文檔編號(hào)G01C11/36GK1953553SQ200610132158
公開(kāi)日2007年4月25日 申請(qǐng)日期2006年10月12日 優(yōu)先權(quán)日2005年10月17日
發(fā)明者楊長(zhǎng)輝, 本鄉(xiāng)仁志 申請(qǐng)人:三洋電機(jī)株式會(huì)社