專利名稱：車輛周圍圖像提供裝置和車輛周圍圖像提供方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種車輛周圍圖像提供裝置和車輛周圍圖像 提供方法。
背景技術(shù)：
以往，眾所周知如下的車輛周圍圖像提供裝置利用多個(gè) 照相機(jī)拍攝車輛周圍，將得到的圖像進(jìn)行坐標(biāo)轉(zhuǎn)換來生成從虛 擬視點(diǎn)觀察車輛那樣的圖像并提示給駕駛員。這種車輛周圍圖 像提供裝置大多以地面為坐標(biāo)變換的基準(zhǔn)面來生成俯視圖像， 并將俯視圖像提示給駕駛員，由此使駕駛員客觀地認(rèn)識地面上 的白線等與本車輛之間的位置關(guān)系，幫助停車駕駛、靠邊停車 駕駛(例如參照專利文獻(xiàn)1)。
另外， 一 般當(dāng)從斜上方拍攝邊緣位置離開地面的物體并對 拍攝的圖像進(jìn)行坐標(biāo)變換時(shí)，邊緣位置被提示為偏離到與實(shí)際 位置不同的位置。并且，其偏離量根據(jù)物體的攝影位置而不同。 因而，如以往的車輛周圍圖像提供裝置那樣，在利用多個(gè)照相 機(jī)拍攝物體并將坐標(biāo)變換后的多個(gè)圖像合成的情況下，邊緣線 在圖像的接縫處不連續(xù)，對于駕駛員來說難以進(jìn)行觀察。
本發(fā)明是為了解決上述以往的問題而完成的，其目的在于 提供一種能夠維持駕駛員的安全性并且消除難以觀察多個(gè)圖像 的接縫部分的情形的車輛周圍圖像提供裝置和車輛周圍圖像提 供方法。
專利文獻(xiàn)l:日本特開2003-169323號7>凈艮 發(fā)明內(nèi)容本發(fā)明所涉及的車輛周圍圖像提供裝置將車輛周圍的圖 像提供給駕駛員。該車輛周圍圖像提供裝置具備多個(gè)攝影單元、 圖像處理單元、邊緣4全測單元、判斷單元、以及圖像處理單元。 多個(gè)攝影單元拍攝本車輛周圍，并且分別拍攝各個(gè)不同的方向。 圖像處理單元以地面為基準(zhǔn)面對由多個(gè)攝影單元拍攝的車輛周 圍的各個(gè)圖像進(jìn)行坐標(biāo)變換來生成坐標(biāo)變換圖像，并將生成的 各坐標(biāo)變換圖像合成來生成俯視圖像。邊緣檢測單元對由圖像 處理單元生成的俯 一見圖像進(jìn)行邊緣檢測。判斷單元判斷由邊緣 檢測單元4全測出的邊緣線中跨越坐標(biāo)變換圖^f象的接縫的邊緣線 的連續(xù)性。圖像處理單元在跨越坐標(biāo)變換圖像的接縫的邊緣線
不連續(xù)的情況下，進(jìn)行如下圖像處理使離本車輛較遠(yuǎn)的一側(cè) 的邊緣線與靠近本車輛的一側(cè)的邊緣線對合，由此使邊緣線在 接縫處連續(xù)。
在本發(fā)明中，在跨越坐標(biāo)變換圖像的接縫的邊緣線不連續(xù) 的情況下，進(jìn)行如下校正使離本車輛較遠(yuǎn)的一側(cè)的邊緣線與 靠近本車輛的一側(cè)的邊緣線對合，由此使邊緣線在接縫處連續(xù)。 即，在本發(fā)明中，使用圖像處理進(jìn)行使邊緣線在圖像的接縫處 具有連續(xù)性的校正，并且使其它的邊緣線與從本車輛看來實(shí)際 位置與圖像上的位置的偏離量較小的靠近本車輛的 一 側(cè)的邊緣 線對合。因而，根據(jù)本發(fā)明能夠維持駕駛員的安全性并且消除 難以觀察多個(gè)圖像的接縫部分的情形。


圖l是本發(fā)明的第一實(shí)施方式所涉及的車輛周圍圖像提供 裝置的結(jié)構(gòu)圖。
圖2是表示通過圖l示出的圖像變換部的坐標(biāo)變換得到的俯 視圖像的一例的圖。圖3是詳細(xì)表示圖1示出的圖像檢測部的邊緣檢測功能的 圖，示出俯視圖像的一例。
圖4是表示圖l示出的圖像檢測部的立體判斷功能的立體判 斷原理的圖，(a)表示存在于地面上的立體物的判斷原理，(b) 表示存在于空中的立體物的判斷原理。
圖5是表示第一實(shí)施方式所涉及的車輛周圍圖像提供裝置 的詳細(xì)動(dòng)作的流禾呈圖。
圖6是表示利用圖5示出的步驟ST2的處理檢測出的立體物 的圖。
圖7是詳細(xì)表示圖5示出的第一圖像校正處理(ST5)的處理 的流程圖。
圖8是詳細(xì)表示圖7示出的步驟ST52的處理的圖，(a)表示步 驟ST52的處理之前的圖像影像，(b)表示執(zhí)行步驟ST52的處理時(shí) 的圖像影像，(c)表示執(zhí)行步驟ST52的處理之后的圖像影像。
圖9是詳細(xì)表示圖7示出的步驟ST53和步驟ST54的處理的 圖，(a)表示步驟ST"的處理之前的圖像影像，(b)表示執(zhí)行步驟 ST53的處理之后的圖像影像，(c)表示執(zhí)行步驟ST54的處理之后 的圖像影像。
圖10是詳細(xì)表示圖5示出的第二圖像校正處理(ST7)的處理 的流程圖。
圖ll是詳細(xì)表示圖IO所示的流程圖的圖，(a)是執(zhí)行圖10所 示的處理之前的護(hù)欄(guard rail)的圖像影像，(b)是執(zhí)行步驟 ST71的處理之后的護(hù)欄的圖像影像，(c)是執(zhí)行步驟ST71的處理 之后的護(hù)欄的第 一 圖像影像，(d)是執(zhí)行步驟ST71的處理之后的 護(hù)欄的第二圖像影像。
圖12是表示第三圖像校正處理的情形的圖，(a)表示第三圖 像校正處理之前的圖像影像，(b)表示第三圖像校正處理之后的
7圖像影像。
圖13是詳細(xì)表示圖5示出的第三圖像校正處理(ST8)的處理 的流程圖。
圖14是詳細(xì)表示圖13所示的流程圖的圖，(a)是詳細(xì)表示步 驟ST81的圖像影像，(b)是執(zhí)行步驟ST82的處理之后的其它車輛 的圖像影像，(c)是執(zhí)行步驟ST84的處理之后的其它車輛的圖像影像。
圖15是表示執(zhí)行圖5所示的處理之后的俯視圖像的圖，(a) 表示第 一俯視圖像的例子，(b)表示第二俯視圖像的例子。
圖16是說明第一實(shí)施方式所涉及的車輛周圍圖像提供裝置 的變形例的圖，(a)表示求出立體物的厚度的原理，(b)表示實(shí)施 與厚度相應(yīng)的校正處理所得到的俯視圖像的例子。
圖17是說明第二實(shí)施方式所涉及的車輛周圍圖像提供裝置 的處理的圖，說明代替圖5示出的步驟ST3的處理而執(zhí)行的處 理。
圖18是表示第二實(shí)施方式所涉及的車輛周圍圖像提供裝置 的邊緣檢測方法的第 一 圖。
圖19是表示第二實(shí)施方式所涉及的車輛周圍圖像提供裝置 的邊緣檢測方法的第二圖。
具體實(shí)施例方式
下面，根據(jù)

本發(fā)明的較佳的實(shí)施方式。 圖l是本發(fā)明的第一實(shí)施方式所涉及的車輛周圍圖像提供 裝置的結(jié)構(gòu)圖。如該圖所示，本實(shí)施方式所涉及的車輛周圍圖 像提供裝置1是將車輛周圍的圖像提供給駕駛員的裝置，具備多 個(gè)照相機(jī)模塊IO、車速傳感器20、轉(zhuǎn)向角傳感器30、移動(dòng)信號 傳感器40、圖像處理裝置50、監(jiān)視器60、以及揚(yáng)聲器70。多個(gè)照相機(jī)模塊10是拍攝本車輛周圍的模塊，例如使用 CCD照相機(jī)、CMOS照相機(jī)。如圖1所示，該照相機(jī)模塊10由第 一照相機(jī)模塊10 a和第二照相機(jī)模塊10 b這兩個(gè)模塊構(gòu)成，分別 將拍攝不同方向得到的圖像數(shù)據(jù)發(fā)送到圖像處理裝置5 0 。此外， 照相機(jī)模塊10并不限于兩個(gè)，至少設(shè)置兩個(gè)即可，也可以設(shè)置 三個(gè)以上。
車速傳感器2 0是檢測本車輛的車速的傳感器。轉(zhuǎn)向角傳感 器30是檢測本車輛的轉(zhuǎn)向角的傳感器。位移信號傳感器40是檢 測本車輛的移動(dòng)位置(齒輪位置)的傳感器。這些各結(jié)構(gòu)20、 30、 4 0將檢測結(jié)果輸出到圖像處理裝置5 0 。
圖像處理裝置50是對由照相機(jī)模塊10拍攝的車輛周圍的 圖像進(jìn)行處理的裝置，由第一輸入緩沖器51a、第二輸入緩沖器 51b、表存儲(chǔ)部52、圖像變換部53、圖像檢測部54、 CPU 55、 以及輸出緩沖器56構(gòu)成。
第一輸入緩沖器51a事先輸入并存儲(chǔ)來自第一照相機(jī)模塊 10a的圖像數(shù)據(jù)。另外，第二輸入緩沖器51b也與第一輸入緩沖 器51a同樣地事先輸入并存儲(chǔ)來自第二照相機(jī)模塊10b的圖像數(shù) 據(jù)。
表存儲(chǔ)部52存儲(chǔ)以地面為基準(zhǔn)面對由照相機(jī)模塊IO拍攝 的車輛周圍的圖像進(jìn)行坐標(biāo)變換的地址變換表。圖像變換部53 使用存儲(chǔ)在表存儲(chǔ)部52中的地址變換表，對由多個(gè)照相機(jī)模塊 IO拍攝的車輛周圍的圖像分別進(jìn)行坐標(biāo)變換來生成坐標(biāo)變換圖 像。另外，圖像變換部53將生成的坐標(biāo)變換圖像合成來生成如 從上空觀察本車輛那樣的俯視圖像。
在此，更詳細(xì)地說明俯視圖像的生成。圖2是表示通過圖1 示出的圖像變換部5 3的坐標(biāo)變換得到的俯視圖像的 一 例的圖。 此外，在圖2的il明中，々支設(shè)在車輛前方、兩側(cè)、以及后方分別各設(shè)置一個(gè)照相機(jī)模塊10從而能夠拍攝四個(gè)方向。
首先，在車輛停在停車框內(nèi)的情況下，首先，利用前方側(cè)
的照相機(jī)模塊10得到前部圖像IOI。在前部圖像101中拍攝有本 車輛的車身101a和前側(cè)的停車框101b。另外，利用后方側(cè)的照 相機(jī)模塊10可得到后部圖像102。在后部圖《象102中拍攝有本車 輛的車身102a和前側(cè)的停車框102b。
另外，利用右側(cè)方側(cè)的照相機(jī)模塊10可得到右側(cè)圖像10 3 ， 利用左側(cè)方側(cè)的照相機(jī)模塊10可得到左側(cè)圖像104。在右側(cè)圖像 103中拍攝有本車輛的車身103a和前側(cè)的停車框103b,在左側(cè)圖 像104中拍攝有本車輛的車身104a和前側(cè)的停車框104b。
圖像變換部53根據(jù)存儲(chǔ)在表存儲(chǔ)部52中的地址變換表對 上述圖像101 104分別進(jìn)行坐標(biāo)變換。即，圖像變換部5對前部 圖像101進(jìn)行坐標(biāo)變換來生成從上空觀察本車輛前方側(cè)的坐標(biāo) 變換圖像201,同樣地，從后部圖像102生成從上空觀察本車輛 后方側(cè)的坐標(biāo)變換圖像202。另外，從右側(cè)圖像103生成從上空 觀察本車輛右側(cè)方側(cè)的坐標(biāo)變換圖像203 ，從左側(cè)圖像104生成 從上空觀察本車輛左側(cè)方側(cè)的坐標(biāo)變換圖像204。
然后，圖像變換部53將生成的各坐標(biāo)變換圖像201 204合 成，生成從上空觀察本車輛周圍的俯視圖像205。此外，圖像變 換部53將本車輛的對象206配置在俯視圖像205的中央部分。
再次參照圖1。圖像檢測部54具備邊緣檢測功能和立體判 斷功能。邊緣檢測功能是對由圖像變換部53生成的俯視圖像進(jìn) 行邊緣檢測的功能。通過該邊緣檢測功能根據(jù)俯視圖像上的各 像素的顏色信息或亮度信息來進(jìn)行邊緣檢測。
圖3是詳細(xì)表示圖l示出的圖像檢測部54的邊緣檢測功能 的圖，示出俯一見圖像的一例。如該圖所示，在俯^L圖像205中的 前側(cè)的坐標(biāo)變換圖^(象201中拍攝有墻壁301、桿302、以及路邊石303。在它們之中路邊石303也被拍攝在右側(cè)的坐標(biāo)變換圖像203 中。另外，在后部側(cè)的坐標(biāo)變換圖像202上拍攝有白線304、護(hù) 欄305、以及其它車輛306。它們之中的護(hù)欄305也被拍攝在右側(cè) 的坐標(biāo)變換圖^f象203中，白線304和其它車輛306也被拍攝在左側(cè) 的坐標(biāo)變換圖像204中。
邊緣檢測功能以如圖3所示的俯視圖像205為對象進(jìn)行邊 緣檢測。在此，路邊石303、護(hù)欄305以及其它車輛306在俯視圖 像205的接縫a d處產(chǎn)生偏離。
再次參照圖1 。立體判斷功能是根據(jù)利用邊緣檢測功能檢 測出的邊緣的狀態(tài)等來判斷立體物的存在及其類別的功能。更 詳細(xì)地說，根據(jù)利用邊緣檢測功能檢測出的邊緣的偏離狀態(tài)來 檢測立體物的存在并且判斷類別。
圖4是表示圖1示出的圖像檢測部54的立體判斷功能的立 體判斷原理的圖，(a)表示存在于地面上的立體物的判斷原理， (b)表示存在于空中的立體物的判斷原理。 一般地，在將多個(gè)照 相機(jī)模塊10設(shè)置在車輛中的情況下，受到設(shè)置位置的限制。因 此，很難將多個(gè)照相機(jī)模塊10分別設(shè)置在同一高度。其結(jié)果， 多個(gè)照相機(jī)模塊10高度分別不同。
如圖4的(a)所示，設(shè)為將第 一 照相機(jī)模塊10 a設(shè)置在與第二 照相機(jī)模塊10b相比更靠上方的位置。此時(shí)，關(guān)于存在于地面上 的立體物、例如^各邊石303,識別延伸方式才艮據(jù)各照相機(jī)才莫塊 10a、 10b的不同而不同。即，各照相才幾才莫塊10a、 10b將3各邊石 303的下端位置識別為點(diǎn)303-1,但是上端位置的識別不同。第 一照相機(jī)模塊10a將路邊石303的上端位置識別為連結(jié)自己10a 與路邊石303的上端位置的線1與地面纟姿觸的地點(diǎn)303-2。與此相 對，第二照相機(jī)模塊10b將路邊石303的上端位置識別為連結(jié)自 己1 Ob與路邊石303的上端位置的線2與地面接觸的地點(diǎn)303-3 。
ii然后，保持如上所述的識別差異，由圖像變換部53進(jìn)行坐 標(biāo)變換，因此在俯視圖像205的接縫a處，路邊石303如圖3所示 那樣在邊緣產(chǎn)生偏離。即，如圖4的(a)所示，在一個(gè)坐標(biāo)變換 圖像中路邊石303被表現(xiàn)為從點(diǎn)303-1到點(diǎn)303-2為止的距離L1 的物體，在另 一個(gè)坐標(biāo)變換圖像中路邊石303被表現(xiàn)為從點(diǎn) 303-1到點(diǎn)303-3為止的距離L2(〉L1)的物體。然后，在這種狀態(tài) 下將各坐標(biāo)變換圖像合成，因此導(dǎo)致在俯視圖像205的接縫處在 路邊石303的邊緣產(chǎn)生偏離。此外，由于路邊石303的下端位置 303-1接觸地面，因此不產(chǎn)生邊緣的偏離。
另外，如圖4的(b)所示，關(guān)于存在于空中的立體物、例如 護(hù)欄305，識別延伸方式也根據(jù)各照相枳4莫塊10a、 10b的不同而 不同。即，各照相機(jī)才莫塊10a、 10b對護(hù)欄305的下端位置和上端 位置的識別不同。第 一 照相機(jī)模塊10 a將護(hù)欄3 0 5的下端位置識 別為連結(jié)自己10a與護(hù)欄305的下端位置的線l與地面接觸的地 點(diǎn)305-1，將護(hù)欄305的上端位置識別為連結(jié)自己10a與護(hù)欄305 的上端位置的線2與地面接觸的地點(diǎn)305-2。與此相對，第二照 相機(jī)模塊10b將護(hù)欄305的下端位置識別為連結(jié)自己10b與護(hù)欄 305的下端位置的線3與地面接觸的地點(diǎn)305-3 ,將護(hù)欄305的上 端位置識別為連結(jié)自己10b與護(hù)欄305的上端位置的線4與地面 接觸的地點(diǎn)305-4。
然后，保持如上所述的識別差異，由圖像變換部53進(jìn)行坐 標(biāo)變換，因此在俯視圖像205的接縫b處，護(hù)欄305如圖3所示那 樣在邊緣產(chǎn)生偏離。即，如圖4的(a)所示，在一個(gè)坐標(biāo)變換圖 像中護(hù)欄305被表現(xiàn)為從點(diǎn)305-1到點(diǎn)305-2為止的距離L3的物 體，在另 一個(gè)坐標(biāo)變換圖像中護(hù)欄305被表現(xiàn)為從點(diǎn)305-3到點(diǎn) 305-4為止的距離L4(〉L3)的物體。然后，在這種狀態(tài)下進(jìn)行合 成，因此導(dǎo)致在俯視圖像205的接縫處產(chǎn)生兩個(gè)邊緣的偏離。如上所述，立體判斷功能根據(jù)利用邊緣檢測功能檢測出的
邊緣中、跨越將各坐標(biāo)變換圖像201 204合成而得到的俯視圖 像205的接縫a d的邊緣的狀態(tài)，判斷該邊緣是否是立體物的邊 緣。并且，立體判斷功能在判斷為邊緣是立體物的邊緣的情況 下，從如圖4的(a)和(b)那樣的差異來判斷立體物是存在于地面 上、存在于空中、還是兩者混雜的立體物。
再次參照圖l。 CPU 55控制整個(gè)圖像處理裝置50,控制圖 像變換部53和圖像;險(xiǎn)測部54,例如由ASIC(Application Specific Integrated Circuit: 專用集成電路)、LSI(Large Scale Integrated Circuit: 大*見才莫集成電3各)、FPGA(Field Programmable Gate Array: 現(xiàn)場可編禾呈門陣列)、DSP(Digital Signal Processor: #t 字信號處理器)等設(shè)備構(gòu)成。
輸出緩沖器56存儲(chǔ)通過圖像變換部53進(jìn)行坐標(biāo)變換得到 的俯視圖像。該輸出緩沖器5 6將所存儲(chǔ)的俯視圖像的信息輸出 到監(jiān)視器60。
監(jiān)視器60顯示進(jìn)行坐標(biāo)變換得到的俯視圖像。另外，監(jiān)視 器60在由圖像4全測部54判斷為接縫a d處的邊緣是立體物的邊 緣的情況下強(qiáng)調(diào)顯示該立體物。此時(shí)，監(jiān)視器60例如將重疊圖 像疊加在俯視圖像上的立體物上，來強(qiáng)調(diào)顯示立體物。
揚(yáng)聲器70在由圖像檢測部54判斷為接縫a d處的邊緣是立 體物的邊緣的情況下通過規(guī)定的聲音通知駕駛員該立體物的存 在。具體地說，揚(yáng)聲器70通過"噼、噼、噼"的蜂鳴聲、"在左 側(cè)方有障礙物"等對話聲來通知駕駛員立體物的存在。
接著，說明本實(shí)施方式所涉及的車輛周圍圖像提供裝置l 的動(dòng)作的概要。首先，多個(gè)照相機(jī)模塊10拍攝本車輛周圍。接 著，圖像變換部53對由照相機(jī)模塊10拍攝的圖像進(jìn)行坐標(biāo)變換 來生成多個(gè)坐標(biāo)變換圖像，將生成的坐標(biāo)變換圖像合成來制作俯視圖像。
之后，圖像檢測部54利用邊緣檢測功能對俯視圖像205進(jìn) 行邊緣檢測。在進(jìn)行邊緣檢測之后，圖像檢測部54提取跨越接 縫a d的邊緣。接著，圖像檢測部54提取跨越接縫a d的邊緣中 存在偏離的邊緣。即，圖像檢測部54通過提取跨越接縫a d的邊 緣中存在偏離的邊緣來判斷邊緣是否是立體物的邊緣。
然后，圖像檢測部54針對判斷為提取出的邊緣、即判斷為 是立體物的邊緣的邊緣，判斷是否是同一物體。有可能存在不 同立體物的邊緣偶然跨越接縫a ~ d那樣被表現(xiàn)在俯視圖像2 0 5上 的情況，因此圖像檢測部54判斷是否是同一物體。此時(shí)，圖像 檢測部54提取構(gòu)成邊緣所跨越的接縫a d的坐標(biāo)變換圖像 201~204,比較在這些坐標(biāo)變換圖像201 204中的立體物的亮度 或顏色信息，判斷在各坐標(biāo)變換圖像201 204中的立體物是否 是同一物體。
在判斷為是同 一物體的情況下，圖像檢測部54判斷立體物 是存在于地面上、存在于空中、還是兩者混雜的立體物。圖像 檢測部54用以下內(nèi)容為基準(zhǔn)來判斷它們的類別。
首先，圖像檢測部5 4在判斷為跨越接縫a d的邊緣是立體 物的邊緣的情況下，當(dāng)該立體物在每個(gè)坐標(biāo)變換圖像中離本車 輛較近的 一 側(cè)的邊緣在接縫a d處連續(xù)時(shí)，判斷為立體物存在于 地面上。
在此，在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè)的邊緣 在接縫a d處連續(xù)的情形表示離本車輛較近的 一 側(cè)的邊緣存在 于地面上。即，如圖3的路邊石303所示，由于以地面為基準(zhǔn)面 進(jìn)行坐標(biāo)變換，因此存在于地面上的邊緣不產(chǎn)生偏離。因此， 圖像檢測部54在上述情況下判斷為立體物存在于地面上。
另外，圖像檢測部54在判斷為在接縫a d處的邊緣是立體
14物的邊緣的情況下，在該立體物在每個(gè)坐標(biāo)變換圖像中離本車
輛較近的 一 側(cè)的邊緣在接縫a d處不連續(xù)、并且離本車輛較近的 一側(cè)的邊緣是沒有屈折點(diǎn)的直線或曲線時(shí)，判斷為立體物存在 于空中。
在此，在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè)的邊緣 在接縫a~ d處不連續(xù)的情形表示離本車輛較近的 一 側(cè)的邊緣不 存在于地面。即，本裝置l以地面為基準(zhǔn)面進(jìn)行坐標(biāo)變換，因此 如圖3的路邊石303所示那樣存在于地面的邊緣不產(chǎn)生偏離，在 接縫a d處產(chǎn)生偏離的情形表示如圖3的護(hù)欄305那樣邊緣存在 于空中。另外，關(guān)于離本車輛較近的一側(cè)的各個(gè)邊緣是沒有屈 折點(diǎn)的直線或曲線的情形，有較大可能性不是由如圖3所示的其 它車輛306的輪胎和車身等那樣兩個(gè)以上的物體構(gòu)成邊緣，而是 由一個(gè)物體構(gòu)成邊緣。因此，是存在于地面的立體物(例如輪胎)
與存在于空中的立體物(例如車身)的混雜的可能性也較小。因 此，圖像檢測部54在上述情況下判斷為立體物存在于空中。
另外，圖像檢測部54在判斷為在接縫a d處的邊緣是立體 物的邊緣的情況下，在該立體物在每個(gè)坐標(biāo)變換圖像中離本車 輛較近的 一 側(cè)的邊緣在接縫a d處不連續(xù)、并且離本車輛較近的 一側(cè)的邊緣中的至少一個(gè)具有屈折點(diǎn)時(shí)，判斷為立體物是存在 于地面上的立體物和存在于空中的立體物的兩者混雜的立體物 (以下稱為混雜物)。
在此，在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè)的邊緣 在接縫a d處不連續(xù)的情形表示離本車輛較近的一側(cè)的邊緣不 存在于地面。即，如圖3的其它車輛306的車身部分那樣，在接 縫a d處產(chǎn)生偏離的情形表示邊緣存在于空中。另外，關(guān)于在離 本車輛較近的一側(cè)的邊緣中的至少一個(gè)具有屈折點(diǎn)的情形，由 如其它車輛306的輪胎和車身等那樣兩個(gè)以上的物體構(gòu)成邊緣的可能性較高，立體物是存在于地面上的立體物(輪胎)和存在 于空中的立體物(車身)的混雜的可能性也很高。在這種情況下，
從車身部分的邊緣跨越接縫a d、存在屈折點(diǎn)來看認(rèn)為由輪胎支 撐車身，從而圖像檢測部54判斷為立體物是混雜物。
如上所述，在圖像檢測部54判斷立體物的類別之后，圖像 變換部53根據(jù)立體物的類別來校正俯視圖像205。此時(shí)，圖像變 換部53校正圖像以消除跨越接縫a d的邊緣的偏離。并且，監(jiān)視 器60將立體物強(qiáng)調(diào)顯示，揚(yáng)聲器70通過規(guī)定的聲音通知駕駛員 立體物的存在。
接著，說明本實(shí)施方式所涉及的車輛周圍圖像提供裝置l 的詳細(xì)動(dòng)作。圖5是表示第一實(shí)施方式所涉及的車輛周圍圖像提 供裝置l的詳細(xì)動(dòng)作的流程圖。在圖像變換部53生成俯視圖像 205之后，圖像檢測部54如圖5所示那樣以俯視圖像205為對象進(jìn) 行邊》彖^r測(STl)。此外，也可以與上述不同地對由各照相枳4莫 塊10拍攝的圖像進(jìn)行邊緣檢測，對這些圖像進(jìn)行坐標(biāo)變換。
接著，圖像檢測部54檢測跨越接縫a d而不連續(xù)的邊緣(產(chǎn) 生偏離的邊緣)(ST2)。由此，圖像檢測部544企測立體物。
圖6是表示通過圖5示出的步驟ST2的處理檢測出的立體物 的圖。如該圖所示，通過步驟ST2的處理檢測到路邊石303、護(hù) 欄305、以及其它車輛306。此外，與圖3所示的俯一見圖像205比 較可知，墻壁301和桿302由于沒有跨越接縫a d，因此在步驟 ST2的處理中沒有^皮檢測到，白線304雖然^爭越接縫c,但是在 邊緣沒有產(chǎn)生偏離，因此在步驟ST2的處理中沒有被檢測到。
再次參照圖5。在步驟ST2之后，圖像檢測部54指定立體物 之中的一個(gè)立體物。即，以圖6的例子進(jìn)行說明，圖像檢測部54 選擇路邊石303、護(hù)欄305、以及其它車輛306中的任一個(gè)，來執(zhí) 行之后的步驟ST3 步驟ST9的處理。在選擇立體物中的任一個(gè)之后，圖像4全測部54在該立體物 跨越的各坐標(biāo)變換圖像201~204中對立體物的亮度或顏色信息 進(jìn)行比較，判斷各坐標(biāo)變換圖像201 204中的立體物是否是同 一物體(ST3)。由此，即使不同的立體物的邊緣偶然跨越接縫a d 而被表現(xiàn)在俯-現(xiàn)圖^象205上，也可防止將不同的立體物判斷為同 一物體。
在此，在判斷為在各坐標(biāo)變換圖{象201~204上的立體物不 是同一物體的情況下(ST3:否)，處理轉(zhuǎn)移到步驟ST9。另一方 面，在判斷為在各坐標(biāo)變換圖像201 204上的立體物是同 一 物 體的情況下(ST3:是)，圖像檢測部54判斷該立體物靠近本車輛 的 一 側(cè)的邊緣是否連續(xù)(ST4)。
在判斷為該立體物靠近本車輛的 一 側(cè)的邊緣連續(xù)的情況 下(ST4:是)，圖^f象檢測部54判斷為立體物存在于地面上。即， 如圖6示出的路邊石303那樣，是立體物并且靠近本車輛的一側(cè) 的邊緣303a、 303b連續(xù)，因此判斷為立體物存在于地面上。
之后，圖像變換部53執(zhí)行第一圖像校正處理，校正俯視圖 像(ST5)。然后，處理轉(zhuǎn)移到步驟ST9。另一方面，在判斷為該 立體物靠近本車輛的一側(cè)的邊緣不連續(xù)的情況下(ST4:否)，圖 像檢測部54判斷該立體物靠近本車輛的 一側(cè)的各個(gè)邊緣是否是 沒有屈折點(diǎn)的直線或者曲線(ST6)。
在判斷為該立體物靠近本車輛的 一側(cè)的各個(gè)邊緣是沒有 屈折點(diǎn)的直線或者曲線的情況下(ST6:是)，圖像檢測部54判斷 為立體物存在于空中。即，如圖6示出的護(hù)欄305那樣，是立體 物并且靠近本車輛的一側(cè)的邊緣305a、 305b不連續(xù)，因此判斷 為立體物存在于空中。特別是，由于邊緣305a、 305b的兩者都 是沒有屈折點(diǎn)的直線或者曲線，因此也很難認(rèn)為是混雜物。由 此，圖像檢測部54判斷為立體物存在于空中。之后，圖像變換部53執(zhí)行第二圖像校正處理，校正俯視圖 像(ST7)。然后，處理轉(zhuǎn)移到步驟ST9。另一方面，在判斷為該 立體物靠近本車輛的一側(cè)的各個(gè)邊緣是具有屈折點(diǎn)的直線或者 曲線的情況下(ST6:否)，圖像檢測部54判斷為立體物是混雜物。 即，如圖6示出的其它車輛306那樣，是立體物并且靠近本車輛 的一側(cè)的邊鄉(xiāng)彖306a、 306b不連續(xù)，因此可判斷為立體物存在于 空中。可是，由于在邊緣306a、 306b處存在屈折點(diǎn)，因此是由 兩個(gè)以上的立體物構(gòu)成的混雜物的可能性較大。因此，圖像檢 測部5 4判斷為立體物是混雜物。
之后，圖像變換部53執(zhí)行第三圖像校正處理，校正俯視圖 像(ST8)。然后，處理轉(zhuǎn)移到步驟ST9。在步驟ST9中，圖像檢 測部54判斷是否將所有立體物作為對象進(jìn)行了處理(ST9)。在 此，在判斷為沒有將所有立體物作為對象進(jìn)行處理的情況下 (ST9:否)，圖像檢測部54選擇未處理的立體物，處理轉(zhuǎn)移到步 驟ST3。另一方面，在判斷為將所有立體物作為對象進(jìn)行了處 理的情況下(ST9:是)，結(jié)束圖5所示的處理。
接著，詳細(xì)說明圖5示出的第一圖像校正處理(ST5)的處理。 圖7是詳細(xì)表示圖5示出的第 一 圖像校正處理(ST5)的處理的流 程圖。首先，在第一圖像校正處理中，圖像變換部53判斷立體 物是否在各坐標(biāo)變換圖像中的某一個(gè)中到達(dá)俯視圖像205的端 部(ST51)。
在判斷為立體物在各坐標(biāo)變換圖像中的某 一 個(gè)中到達(dá)俯 視圖像205的端部的情況下(ST51:是)，圖像變換部53對沒有到 達(dá)俯視圖像2 0 5的端部的坐標(biāo)變換圖像的立體物進(jìn)行擴(kuò)展處理， 使其也到達(dá)俯視圖像205的端部(ST52)。之后，處理轉(zhuǎn)移到圖5 示出的步驟ST9。
圖8是詳細(xì)表示圖7示出的步驟ST52的處理的圖，(a)表示步
18驟ST52的處理之前的圖像影像，(b)表示執(zhí)行步驟ST52的處理時(shí) 的圖像影像，(c)表示執(zhí)行步驟ST52的處理之后的圖像影像。另 外，設(shè)為在圖8中示出對路邊石303進(jìn)行了處理時(shí)的圖像影像。
如該圖的(a)所示，路邊石303離本車輛較近的一側(cè)的邊緣 303a、 303b連續(xù)，4交遠(yuǎn)的 一側(cè)的邊緣303c、 303d不連續(xù)。并且， 一個(gè)坐標(biāo)變換圖像201的路邊石303離本車輛凈支遠(yuǎn)的 一側(cè)的邊緣 303c到達(dá)俯視圖像205的端部。因此，圖像變換部53在步驟ST52 的處理中對沒有到達(dá)俯視圖像205的端部的坐標(biāo)變換圖像203的 路邊石3 0 3進(jìn)行擴(kuò)展處理，使其也到達(dá)俯視圖像2 0 5的端部。
此時(shí)，圖像變換部53進(jìn)行如下處理從沒有到達(dá)俯視圖像 205的端部的坐標(biāo)變換圖像203的離本車輛較遠(yuǎn)的 一 側(cè)的邊緣 303d起、繪出像素直到俯視圖像205的端部為止。此時(shí)，圖像變 換部53沿著與離本車輛4交近的 一側(cè)的邊》彖303b垂直的方向繪出 像素。
另外，代替上述處理，圖像變換部53進(jìn)行如下處理求出 由通過坐標(biāo)(Xb, Yb)和坐標(biāo)(Xc, Yc)的直線、邊緣303d、接縫a、 以及俯一見圖〗象205的端部包圍的區(qū)域400，并填充該區(qū)域400。
并且，代替上述處理，圖像變換部53求出連結(jié)接縫a的坐標(biāo) (Xa, Ya)和坐標(biāo)(Xe， Ye)的線段、與連結(jié)接縫a的坐標(biāo)(Xa, Ya)和 坐標(biāo)(Xd， Yd)的線段的長度之比。然后，圖像變換部53進(jìn)行如 下處理根據(jù)長度之比沿與離本車輛較近的一側(cè)的邊緣303b垂 直的方向擴(kuò)大坐標(biāo)變換圖像2 0 3的路邊石3 0 3的像素。
通過以上處理中的任一個(gè)對俯視圖像205進(jìn)行處理，填充 圖8的(b)示出的區(qū)域400,如圖8的(c)所示那樣使雙方的坐標(biāo)變 換圖像201、 203的路邊石303到達(dá)俯視圖像205的端部，駕駛員 在監(jiān)視器60中參照俯視圖像205時(shí)可容易識別為同 一物體。
再次參照圖7 。在判斷為立體物在任 一 個(gè)坐標(biāo)變換圖像中都沒有到達(dá)俯視圖像205的端部的情況下(ST51:否)，圖像變換 部5 3對俯視圖像進(jìn)行處理，使得該立體物在每個(gè)坐標(biāo)變換圖像 中離本車輛較遠(yuǎn)的一側(cè)的各個(gè)邊緣在接縫a d處連續(xù)(ST53)。之 后，圖像變換部53通過步驟ST53的處理來執(zhí)行處理，用預(yù)先決 定的顏色填充到俯視圖像205中沒有像素信息的部分上(ST54)。 之后，處理轉(zhuǎn)移到圖5示出的步驟ST9。
圖9是詳細(xì)表示圖7示出的步驟ST53和步驟ST54的處理的 圖，(a)表示步驟ST53的處理之前的圖像影像，(b)表示執(zhí)行步驟 ST53的處理之后的圖像影像，(c)表示執(zhí)行步驟ST54的處理之后 的圖像影像。另外，設(shè)為在圖9中示出對路邊石303進(jìn)行處理時(shí) 的圖像影像。
首先，如圖9的(a)所示，路邊石303離本車輛較近的一側(cè)的 邊緣303a、 303b連續(xù)，較遠(yuǎn)的 一側(cè)的邊》彖303c、 303d不連續(xù)。 因此，圖像變換部53在步驟ST53中使較遠(yuǎn)的一側(cè)的邊緣303c、 303d在接縫a處連續(xù)。
此時(shí)，圖像變換部53執(zhí)行使俯視圖像中的邊緣移動(dòng)的位移 (shift)處理。即，圖像變換部53計(jì)算從坐標(biāo)(Xe， Ye)起直到坐標(biāo) (Xd， Yd)為止的距離，使坐標(biāo)變換圖像201離本車輛較遠(yuǎn)的 一 側(cè) 的邊緣303c位移上述距離(圖9的(b))。然后，圖像變換部53將比 位移后的邊緣303c遠(yuǎn)的立體部分、即圖9的(c)示出的廢棄區(qū)域 的像素?cái)?shù)據(jù)廢棄。
另外，代替上述處理，圖像變換部53還可以^丸行對坐標(biāo)變 換圖像中的立體物的像素進(jìn)行間除的間除處理、以及壓縮坐標(biāo) 變換圖像中的立體物的壓縮處理中的至少一個(gè)。即，圖像變換 部53求出連結(jié)接縫a的坐標(biāo)(Xa, Ya)和坐標(biāo)(Xe, Ye)的線段、與連 結(jié)接縫a的坐標(biāo)(Xa， Ya)和坐標(biāo)(Xd， Yd)的線段的長度之比。然 后，圖像變換部53根據(jù)長度之比進(jìn)行對坐標(biāo)變換圖像201的路邊石303的像素進(jìn)行間除的間除處理，或者進(jìn)行壓縮坐標(biāo)變換圖像 201的i 各邊石303的壓縮處理。
通過以上處理中的^f壬一個(gè)，如圖9的(c)所示，1吏兩者的坐 標(biāo)變換圖^f象201、 203的4交遠(yuǎn)的一側(cè)的邊^(qū)彖303c、 303d在接縫a 處連續(xù)，容易使觀察俯視圖像205的利用者識別路邊石303，從 而駕駛員在監(jiān) 一見器6 0中參照俯視圖像2 0 5時(shí)能夠不喪失與路邊 石303的距離感。
之后，圖像變換部53執(zhí)行位移處理、間除處理、壓縮處理 中的任 一 個(gè)，并執(zhí)行用預(yù)先決定的顏色填充到俯視圖像2 0 5上沒 有像素信息的部分(圖9的(c)的廢棄區(qū)域)中的處理。此時(shí)，圖像 變換部53通過涂上與地面相同的顏色，能夠自然地表現(xiàn)俯視圖 像205。另外，圖^f象變換部53通過涂上地面不存在的顏色(例如 紅、藍(lán))，可通知觀察俯視圖像205的利用者進(jìn)行圖像校正。
此外，在上述內(nèi)容中，進(jìn)行處理使得每個(gè)坐標(biāo)變換圖像的 較遠(yuǎn)的一側(cè)的邊緣303c、 303d中、遠(yuǎn)處的邊纟彖303c與近處的邊 緣303d連續(xù)，但是并不限于此，也可以進(jìn)行處理使得近處的邊 緣303d與遠(yuǎn)處的邊緣303c連續(xù)。當(dāng)進(jìn)行該處理時(shí)，路邊石303 被較大地顯示在俯視圖像205上，也可以不像步驟ST54那樣對 失去像素信息的部分著色，從而能夠減少俯視圖像2 0 5由于著色 反而變得不自然的可能性。另外，不需要步驟ST54的處理，能 夠使處理簡單化。
接著，詳細(xì)說明圖5示出的第二圖像校正處理(ST7)的處理。 圖10是詳細(xì)表示圖5示出的第二圖像校正處理(ST7)的處理的流 程圖。首先，在第二圖像校正處理中，圖像變換部53使每個(gè)坐 標(biāo)變換圖像的離本車輛較近的一側(cè)的邊緣連續(xù)(ST71)。此時(shí)， 圖像變換部53對立體物在每個(gè)坐標(biāo)變換圖像上離本車輛較近的 一側(cè)的邊緣進(jìn)行比較。然后，圖像變換部53使坐標(biāo)變換圖像上的立體物移動(dòng)，使得進(jìn)行比較的邊緣中離本車輛較遠(yuǎn)處的邊緣
與離本車輛較近處的邊緣在接縫a d處連續(xù)。
圖ll是詳細(xì)表示圖IO所示的流程圖的圖，(a)是執(zhí)行圖10所 示的處理之前的護(hù)欄305的圖像影像，(b)是執(zhí)行步驟ST71的處 理之后的護(hù)欄305的圖像影像，(c)是執(zhí)行步驟ST71的處理之后 的護(hù)欄305的第 一 圖像影像，(d)是執(zhí)行步驟ST71的處理之后的 護(hù)欄305的第二圖像影像。
如圖ll的(a)所示，如護(hù)欄305那樣存在于空中的立體物離 本車輛較近的一側(cè)的邊緣305a、 305b不連續(xù)。因此，圖像變換 部53在步驟ST71的處理中使離本車輛較近的 一 側(cè)的邊《彖305a、 305b連續(xù)。
此時(shí)，圖像變換部53計(jì)算從圖ll的(a)示出的坐標(biāo)(Xb, Yb) 起到坐標(biāo)(Xa， Ya)為止的距離，使坐標(biāo)變換圖像203的護(hù)欄305 移動(dòng)該距離(圖ll的(b))。由此，使離本車輛較近的一側(cè)的邊緣 305a、 305b之中、遠(yuǎn)處的邊血彖305a與近處的邊纟泉305b3于合，兩 個(gè)邊緣305a、 305b在接縫b處連續(xù)。
此外，通過使遠(yuǎn)處的邊緣305a與近處的邊緣305b對合，可 進(jìn)行更合適的表現(xiàn)。即，當(dāng)使近處的邊緣305b與遠(yuǎn)處的邊緣305a 對合時(shí)，會(huì)在俯視圖像2 0 5上表現(xiàn)為護(hù)欄3 0 5存在于比護(hù)欄3 0 5
的實(shí)際存在位置更遠(yuǎn)的位置上。因此，有可能存在出乎意料地 發(fā)生與車輛的接觸的情況。因此，通過使遠(yuǎn)處的邊緣305a與近
處的邊緣305b對合，在俯一見圖^f象205上表現(xiàn)為護(hù)欄305存在于更 靠近本車輛的位置上，防止與預(yù)料外的車輛的接觸。
再次參照圖IO。如上所述，在使每個(gè)坐標(biāo)變換圖像的離本 車輛較近的一側(cè)的邊緣連續(xù)之后，圖像變換部53判斷立體物是 否在各坐標(biāo)變換圖像的任 一 個(gè)中到達(dá)俯視圖像205的端部 (ST72)。在此，在判斷為立體物在各坐標(biāo)變換圖像的任一個(gè)中
22到達(dá)俯視圖像205的端部的情況下(ST72:是)，圖像變換部53 對沒有到達(dá)俯^L圖像205的端部的坐標(biāo)變換圖像的立體物進(jìn)行 擴(kuò)展處理使其也到達(dá)俯—見圖像205的端部(ST73)。之后，處理轉(zhuǎn) 移到圖5示出的步驟ST9。此外，該步驟ST73的處理與圖7示出 的步驟ST52的處理相同，因此省略詳細(xì)說明。
另一方面，在判斷為立體物在各坐標(biāo)變換圖像的任一個(gè)中 都沒有到達(dá)俯視圖像205的端部的情況下(ST72:否)，圖像變換 部53原樣維持離本車輛較近處的邊緣305a、 305b的連續(xù)狀態(tài)， 對俯視圖像進(jìn)行處理使得該立體物在每個(gè)坐標(biāo)變換圖像中的離 本車輛較遠(yuǎn)的一側(cè)的各個(gè)邊緣在接縫a d處連續(xù)(ST74)。之后， 圖像變換部53通過步驟ST74的處理來執(zhí)行處理，用預(yù)先決定的 顏色填充到俯視圖像205中沒有像素信息的部分上(ST75)。之 后，處理轉(zhuǎn)移到圖5示出的步驟ST9。
參照圖ll。如圖ll的(b)所示，即使移動(dòng)坐標(biāo)變換圖像203 的護(hù)欄305使離本車輛較近的一側(cè)的邊緣305a、 305b連續(xù)，離本 車輛較遠(yuǎn)的一側(cè)的邊緣305c、 305d也不連續(xù)。具體地說，在坐 標(biāo)變換圖像203中移動(dòng)護(hù)欄305的情況下的邊緣305c與接縫b的 接點(diǎn)坐標(biāo)為(Xd, Yd)。另一方面，在坐標(biāo)變換圖像202中離本車 輛較遠(yuǎn)的一側(cè)的邊緣305d與接縫b的接點(diǎn)坐標(biāo)為(Xc， Yc)。這 樣，即使進(jìn)行步驟ST71的處理，離本車輛較遠(yuǎn)的一側(cè)的邊緣 305c、 305d也不連續(xù)。
因此，圖像變換部53在步驟ST74中執(zhí)行使離本車輛較遠(yuǎn)的 一側(cè)的邊緣305c、 305d連續(xù)的處理。此時(shí)，與圖7示出的步驟 ST53同樣，圖像變換部53使較遠(yuǎn)的一側(cè)的邊緣305c、 305d在接 縫b處連續(xù)。
并且，圖像變換部53在步驟ST75中執(zhí)行位移處理、間除處 理、壓縮處理中的任一個(gè)，并執(zhí)行用預(yù)先決定的顏色填充到俯視圖像205中沒有像素信息的部分(圖ll的(c)的斜線部分)上的 處理。該步驟ST75的處理與圖5示出的步驟ST54的處理相同。
此外，不限于上述處理，圖像變換部53也可以如圖U的(d) 所示那樣進(jìn)行處理。即，圖像變換部53使每個(gè)坐標(biāo)變換圖像的 較近的 一側(cè)的邊緣305a、 305b之中遠(yuǎn)處的邊鄉(xiāng)彖305a與近處的邊 緣305b連續(xù)，并且使每個(gè)坐標(biāo)變換圖像的4交遠(yuǎn)一側(cè)的邊緣305c、 305d中近處的邊緣305d與遠(yuǎn)處的邊緣305c連續(xù)。當(dāng)進(jìn)行該處理 時(shí)，護(hù)欄305^皮較大地顯示在俯視圖像205上，也可以不像步驟 ST75那樣對失去像素信息的部分著色，能夠減少俯視圖像205 由于著色反而變得不自然的可能性。另外，不需要步驟ST75的 處理，能夠使處理簡單化。
接著，詳細(xì)說明圖5示出的第三圖像校正處理(ST8)的處理。 在第三圖像校正處理中，對混雜物進(jìn)行圖像處理。圖12是表示 第三圖像校正處理的情形的圖，(a)表示第三圖像校正處理之前 的圖像影像，(b)表示第三圖像校正處理之后的圖像影像。
如該圖的(a)所示，混雜物由存在于地面上的立體物(輪胎) 與存在于空中的立體物(車身)構(gòu)成。 一個(gè)坐標(biāo)變換圖像204的靠 近本車輛的一側(cè)的邊緣306a包含前輪和車身，另 一個(gè)坐標(biāo)變換 圖像2 0 2的靠近本車輛的 一 側(cè)的邊緣3 0 6 b包含后輪和車身。
在此，如第一和第二圖像校正處理那樣，例如當(dāng)進(jìn)行移動(dòng) 邊緣306a等處理時(shí)，導(dǎo)致邊緣306a有可能存在于比前輪與地面 的接觸點(diǎn)a更靠近本車輛的一側(cè)的位置。即，在混雜物的情況 下，需要進(jìn)行如下的處理不對存在于地面上的立體物移動(dòng)邊 緣，僅對存在于空中的立體物移動(dòng)邊緣等。更詳細(xì)地說，不能 使邊緣306a、 306b存在于比連結(jié)前輪與地面的接觸點(diǎn)a、和后輪 與地面的接觸點(diǎn)P的切線更靠近本車輛的一側(cè)的位置。因此，在 第三圖像校正處理中，僅移動(dòng)圖12的(a)示出的坐標(biāo)變換圖像204的車身的邊緣，如圖12的(b)所示，需要使各坐標(biāo)變換圖像 202、 204的邊緣306a、 306b連續(xù)。
圖13是詳細(xì)表示圖5示出的第三圖像校正處理(ST8)的處理 的流程圖。首先，在第三圖像校正處理中，圖像變換部53求出 混雜物的切線(ST81)。
圖14是詳細(xì)表示圖13所示的流程圖的圖，(a)是詳細(xì)表示步 驟ST81的圖像影像，(b)是執(zhí)行步驟ST82的處理之后的其它車輛 306的圖像影像，(c)是執(zhí)行步驟ST84的處理之后的其它車輛306 的圖像影像。
如該圖的(a)所示，圖像變換部5 3求出前輪與地面的接觸點(diǎn) 的坐標(biāo)值(Xc， Yc)、和后輪與地面的接觸點(diǎn)的坐標(biāo)值(Xd， Yd), 求出通過所求出的坐標(biāo)值的切線。
再次參照圖13。在求出切線之后，圖像變換部53使每個(gè)坐 標(biāo)變換圖像中離本車輛較近的一側(cè)的邊緣連續(xù)(ST82)。此時(shí)， 圖像變換部53比較立體物在每個(gè)坐標(biāo)變換圖像中離本車輛較近 的一側(cè)的邊緣，對坐標(biāo)變換圖像上的立體物進(jìn)行壓縮處理，使 進(jìn)行比較的邊緣之中離本車輛較遠(yuǎn)處的邊緣與離本車輛較近處 的邊緣在接縫a d處連續(xù)。
如圖14的(b)所示，由于其它車輛306中的車身存在于空中， 因此離本車輛4交近的一側(cè)的邊》彖306a、 306b不連續(xù)。具體地i兌， 這些邊緣306a、 306b之中離本車輛較遠(yuǎn)處的邊緣306a與接縫c 在坐標(biāo)(Xa， Ya)處接觸，離本車輛較近處的邊緣306b與接縫c在 坐標(biāo)(Xb， Yb)處接觸。因此，圖像變換部53在步驟ST82的處理 中對坐標(biāo)變換圖像204中的其它車輛306進(jìn)行壓縮使得車身的邊 緣連續(xù)。此時(shí)，圖像變換部53進(jìn)行壓縮處理使得其它車輛306 不超過切線。
在進(jìn)行壓縮處理時(shí)，圖像變換部53求出切線與其它車輛306的邊緣之間的距離。在此，如圖14的(a)所示，在坐標(biāo)變換 圖像204中切線與其它車輛306的邊緣之間的距離是A,在坐標(biāo) 變換圖像202中切線與其它車輛306的邊緣之間的距離是 B(<A)。在這種情況下，圖像變換部53將坐標(biāo)變換圖像204的其 它車輛306壓縮到B/A倍。由此，如圖14的(b)所示，各坐標(biāo)變換 圖像202、 204的車身的邊緣與切線之間的距離都是B。并且， 兩個(gè)邊緣306a、 306b與接縫c在坐標(biāo)(Xb， Yb)處接觸，這些邊緣 306a、 306b連續(xù)。
再次參照圖13。如上所述，在使每個(gè)坐標(biāo)變換圖像中離本 車輛較近的 一 側(cè)的邊緣連續(xù)之后，圖像變換部5 3執(zhí)行步驟 ST83 ST86的處理。由于該處理與圖7示出的步-驟ST51 ST54的 處理相同，因此省略詳細(xì)i兌明。
此外，坐標(biāo)變換圖像204的其它車輛306存在通過步驟ST82 的壓縮處理而靠近切線側(cè)、從而失去像素信息的部分(圖14的 (b)),但是由于坐標(biāo)變換圖像202的其它車輛306到達(dá)圖像端部， 因此執(zhí)行步驟ST84的處理，坐標(biāo)變換圖像204的其它車輛306被 擴(kuò)展到俯視圖像205的圖像端部，并表現(xiàn)為如圖14的(c)所示那 樣。另外，在其它車輛306沒有到達(dá)圖像端部的情況下，也可以 執(zhí)行步驟ST86的處理，對失去像素信息的部分著色。
圖15是表示執(zhí)行圖5所示的處理之后的俯視圖像205的圖， (a)表示第 一俯視圖像205的例子，(b)表示第二俯視圖像205的例 子。如圖15的(a)所示，路邊石303、護(hù)欄305、以及其它車輛306 的邊緣連續(xù)，與圖3所示的俯視圖像205進(jìn)行比較，易于將立體 物識別為同一物體。另外，如圖15的(b)所示，在不對失去像素 信息的部分著色的情況下也同樣地，路邊石303、護(hù)欄305、以 及其它車輛306的邊纟彖連續(xù)，易于識別立體物。
如上所述，車輛周圍圖像提供裝置l對車輛周圍的立體物判斷類別，將俯一見圖《象205作為對象實(shí)施合適的圖^f象校正處理， 使駕駛員容易識別車輛周圍的立體物，消除距離感的喪失等問題。
圖16是對第一實(shí)施方式所涉及的車輛周圍圖像提供裝置l 的變形例進(jìn)行說明的圖，(a)表示求出立體物的厚度的原理，(b) 表示實(shí)施了與厚度相應(yīng)的校正處理后的俯視圖像205的例子。變 形例所涉及的車輛周圍圖像提供裝置l在判斷為立體物存在于 地面上的情況下，求出其厚度，根據(jù)其厚度對俯視圖像205實(shí)施 圖像校正處理，并通過監(jiān)視器60進(jìn)行顯示。此外，在圖16中以 立體物中的i 各邊石303為例進(jìn)行說明。
例如，如圖16的(a)所示，在離開照相機(jī)模塊10的距離S的 位置上存在路邊石303的第一個(gè)邊緣，在距離S+I的位置上存在 第二個(gè)邊緣，在距離S+I+L的位置上存在第三個(gè)邊緣。在此， 照相機(jī)模塊10的高度H是已知的值。因此，立體物的高度h為 h=IxH/(I+S),立體物的厚度1為1二((H-h)x(S+I+L)/H}-S。圖像 檢測部54的立體判斷功能從上述運(yùn)算式檢測立體物的厚度l。
然后，圖像變換部53實(shí)施校正處理使得路邊石303的厚度 為l。此時(shí)，由于靠近本車輛的一側(cè)的邊緣與地面接觸，因此圖 像變換部53以靠近本車輛的 一側(cè)的邊緣為基準(zhǔn)，調(diào)整靠近本車 輛的 一側(cè)的邊緣與遠(yuǎn)處的邊緣之間的間隔4吏得路邊石303的厚 度為l,并使各邊緣在接縫a處連續(xù)。在進(jìn)行該間隔調(diào)整時(shí)，圖 像變換部53執(zhí)行位移處理、間除處理、壓縮處理等，用預(yù)先決 定的顏色對失去像素信息的部分著色。根據(jù)以上的變形例，能 夠以準(zhǔn)確的厚度表現(xiàn)俯視圖像205的立體物，更加易于理解地顯 示立體物，能夠防止駕駛員喪失距離感。
這樣，根據(jù)第一實(shí)施方式所涉及的車輛周圍圖像提供裝置 1,根據(jù)檢測出的邊緣中的、跨越將各坐標(biāo)變換圖像201 204合
27成得到的俯視圖像2 0 5的接縫a ~ d的邊緣的狀態(tài)，判斷該邊緣是 否是立體物的邊緣。在此，如果跨越接縫a d的邊緣是立體物的 邊緣，邊緣會(huì)由于多個(gè)照相機(jī)模塊10的設(shè)置位置的關(guān)系而在接 縫a d處產(chǎn)生偏離。這樣，能夠從跨越接縫a d的邊緣的狀態(tài)判 斷該邊緣是否是立體物的邊緣。
另外，在跨越接縫a~ d的邊緣是立體物的邊緣的情況下， 從該邊緣的狀態(tài)判斷立體物是存在于地面上、存在于空中、或 者兩者混雜的立體物。在此，在立體物是存在于地面上的情況 下，該立體物在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè)的邊 緣在接縫a d處連續(xù)。另外，在立體物存在于空中的情況下，該 立體物在每個(gè)坐標(biāo)變換圖像中離本車輛較近的 一側(cè)的邊緣在接 縫處產(chǎn)生偏離。在是兩者混雜的立體物的情況下，該立體物在 每個(gè)坐標(biāo)變換圖像中離本車輛較近的 一側(cè)的邊緣在接縫a d處 產(chǎn)生偏離，并且較近的一側(cè)的邊緣不構(gòu)成為直線等而包含一個(gè) 以上的屈折點(diǎn)。這樣，可以從跨越接縫的邊緣的狀態(tài)判斷立體 物是存在于地面上、存在于空中、還是兩者混雜的立體物。
因而，能夠?qū)囕v周圍的立體物判斷類別。
另外，在判斷為跨越接縫a d的邊緣是立體物的邊緣的情 況下，對構(gòu)成接縫a d的各坐標(biāo)變換圖像201 204中的立體物的 亮度或顏色信息進(jìn)行比較，判斷各坐標(biāo)變換圖像201 204中的 立體物是否是同一物體，在判斷為是同一物體的情況下，判斷 立體物的類別。由此，即使在俯視圖像205中表現(xiàn)為不同的立體 物的邊緣偶然跨越接縫a d,也能夠減少將不同的立體物判斷為 同 一物體并判斷類別的頻率。
另外，在判斷為跨越接縫a d的邊緣是立體物的邊緣的情 況下，當(dāng)該立體物在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè) 的邊緣在接縫a d處連續(xù)時(shí)，判斷為立體物存在于地面上。在此，每個(gè)坐標(biāo)變換圖像的離本車輛較近的 一 側(cè)的邊緣在接縫a d處 連續(xù)的情形表示離本車輛較近的 一 側(cè)的邊緣存在于地面。即， 由于以地面為基準(zhǔn)面進(jìn)行坐標(biāo)變換，因此存在于地面的邊緣不 產(chǎn)生偏離。因此，在上述情況下，可判斷為立體物存在于地面 上。
另外，在判斷為立體物存在于地面上的情況下，對俯視圖 像進(jìn)行處理使得該立體物在每個(gè)坐標(biāo)變換圖像中較遠(yuǎn)的 一 側(cè)的 各個(gè)邊緣在接縫處連續(xù)。在此，在立體物存在于地面上的情況 下，如圖4的(a)所示，立體物由于多個(gè)照相枳4莫塊10的"i殳置位 置的關(guān)系而傾斜識別的量不同。其結(jié)果，立體物的上端側(cè)、即 較遠(yuǎn)的一側(cè)的邊》彖在俯視圖^象205的接縫a d處表現(xiàn)為偏離，容 易使駕駛員喪失從車輛到立體物的距離感。因此，進(jìn)行處理使 得較遠(yuǎn)的 一 側(cè)的各個(gè)邊緣在接縫a d處連續(xù)以消除該偏離，由此 能夠抑制距離感的喪失。
另外，在判斷為在接縫a d處的邊緣是立體物的邊緣的情 況下，當(dāng)該立體物在每個(gè)坐標(biāo)變換圖〗象中離本車輛4交近的一側(cè) 的邊緣在接縫a d處不連續(xù)、并且離本車輛較近的 一 側(cè)的邊緣是 沒有屈折點(diǎn)的直線或曲線時(shí)，判斷為立體物存在于空中。在此， 每個(gè)坐標(biāo)變換圖像的離本車輛較近的 一 側(cè)的邊緣在接縫a d處 不連續(xù)的情形表示離本車輛較近的 一 側(cè)的邊緣包含不存在于地 面的部分。即，由于以地面為基準(zhǔn)面進(jìn)行坐標(biāo)變換，因此存在 于地面的邊緣應(yīng)該不產(chǎn)生偏離，但是在接縫a d處產(chǎn)生偏離的情 形表示邊緣包含存在于空中的部分。另外，關(guān)于離本車輛較近 的一側(cè)的各個(gè)邊緣是沒有屈折點(diǎn)的直線或曲線的情形，不是由 如車輛的輪胎和車身等那樣兩個(gè)以上的物體構(gòu)成邊緣、而由一
個(gè)物體構(gòu)成邊緣的可能性較大。因此，是存在于地面的立體物 和存在于空中的立體物的混雜的可能性也較小。因此，在上述
29的情況下，能夠判斷為立體物存在于空中。
另外，在判斷為立體物存在于空中的情況下，比較該立體 物在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè)的邊緣，移動(dòng)坐 標(biāo)變換圖像中的立體物使進(jìn)行比較的邊緣之中離本車輛較遠(yuǎn)處
的邊緣與較近處的邊緣在接縫a d處連續(xù)。由此，每個(gè)坐標(biāo)變換 圖像的離本車輛較近的一側(cè)的邊緣連續(xù)。此時(shí)，每個(gè)坐標(biāo)變換 圖像的離本車輛較遠(yuǎn)的一側(cè)的邊緣仍然有可能產(chǎn)生偏離。
另外，在移動(dòng)之后，原樣維持離本車輛較近的一側(cè)的邊緣 的連續(xù)狀態(tài)并對俯-f見圖 <象2 0 5進(jìn)行處理，4吏得該立體物在每個(gè)坐 標(biāo)變換圖像中離本車輛較遠(yuǎn)的 一 側(cè)的各個(gè)邊緣在接縫處連續(xù)。 由此，離本車輛較遠(yuǎn)的 一 側(cè)和較近的 一 側(cè)的兩個(gè)邊緣都連續(xù)， 使駕駛員容易識別立體物，能夠抑制距離感的喪失。
另外，在判斷為接縫a d處的邊緣是立體物的邊緣的情況 下，當(dāng)該立體物在每個(gè)坐標(biāo)變換圖像中離本車輛較近的一側(cè)的 邊緣在接縫a d處不連續(xù)、并且離本車輛較近的一側(cè)的邊緣中的 至少一個(gè)具有屈折點(diǎn)時(shí)，判斷為立體物存在于空中。在此，每 個(gè)坐標(biāo)變換圖像中離本車輛較近的 一側(cè)的邊緣在接縫處不連續(xù) 的情形表示離本車輛較近的一側(cè)的邊緣至少包含不存在于地面 的部分。即，由于以地面為基準(zhǔn)面進(jìn)行坐標(biāo)變換，因此存在于 地面的邊緣應(yīng)該不產(chǎn)生偏離，但是在接縫a d處產(chǎn)生偏離的情形 表示邊緣包含存在于空中的部分。另外，關(guān)于離本車輛較近的 一側(cè)的邊緣中的至少一個(gè)具有屈折點(diǎn)的情形，由如車輛的輪胎 和車身等那樣兩個(gè)以上的物體構(gòu)成邊緣的可能性較大，立體物
是存在于地面的立體物與存在于空中的立體物的混雜的可能性 也較大。因此，在上述情況下，可以判斷為立體物是存在于地 面的立體物與存在于空中的立體物的混雜。
另外，在判斷為立體物是存在于地面上的立體物與存在于空中的立體物的兩者的混雜的情況下，求出該立體物在每個(gè)坐 標(biāo)變換圖像中最靠近本車輛的 一 側(cè)的點(diǎn)的坐標(biāo)值，求出通過所 求出的各坐標(biāo)值的切線。由此，求出存在于地面上的立體物與 存在于空中的立體物的兩者混雜的立體物與地面的接觸地點(diǎn)的 坐標(biāo)值，求出連結(jié)該接觸地點(diǎn)的線。
另外，比較該立體物在每個(gè)坐標(biāo)變換圖像中離本車輛較近 的一側(cè)的邊緣，對坐標(biāo)變換圖像上的立體物進(jìn)行處理，使得進(jìn) 行比較的邊緣之中離本車輛較遠(yuǎn)處的邊緣與較近處的邊緣在接 縫處連續(xù)、并且立體物不超出上述接點(diǎn)。由此，每個(gè)坐標(biāo)變換 圖像的離本車輛較近的一側(cè)的邊緣連續(xù)。并且，由于立體物不
超出切線，因此不超過連結(jié)存在于地面上的立體物與存在于空 中的立體物的兩者混雜的立體物與地面的接觸地點(diǎn)的線而對該
混雜的立體物進(jìn)行處理，在俯視圖像205上不將立體物表現(xiàn)在比 線靠近本車輛的一側(cè)的位置上。此外，在這種情況下，每個(gè)坐
標(biāo)變換圖像中離本車輛較遠(yuǎn)的 一側(cè)的邊緣仍然有可能產(chǎn)生偏離。
另外，在進(jìn)行處理之后，對俯視圖像205進(jìn)行處理使得該 立體物在各坐標(biāo)變換圖像201 204之中離本車輛較遠(yuǎn)的一側(cè)的 各個(gè)邊緣在接縫a d處連續(xù)。由此，離本車輛較遠(yuǎn)的一側(cè)和較近 的一側(cè)的兩個(gè)邊緣都連續(xù)，能夠使駕駛員容易識別立體物。
根據(jù)上述內(nèi)容，在俯視圖像205上不將立體物表現(xiàn)在比線 靠近本車輛的 一側(cè)的位置上，并且使離本車輛較近的 一側(cè)與較 遠(yuǎn)的一側(cè)的邊緣連續(xù)，使駕駛員容易識別立體物，能夠抑制距 離感的喪失。
另外，執(zhí)行位移處理、間除處理、以及壓縮處理中的至少 一個(gè)，并執(zhí)行用預(yù)先決定的顏色填充在俯視圖像2 0 5上沒有像素 信息的部分上的處理。由此，能夠?qū)︸{駛員顯示進(jìn)行了圖像處理的情形。符刑足付迥l社地囬上小仔在的溯巴(紅巴^)"
預(yù)先決定的顏色的情況下，可以進(jìn)一步對駕駛員顯示進(jìn)行了圖 像處理的情形。
另外，在跨越接縫a d的立體物在坐標(biāo)變換圖像201 204中 的任一 個(gè)中到達(dá)俯視圖像205的端部的情況下，進(jìn)4亍處理使得沒 有到達(dá)俯視圖像205的端部的坐標(biāo)變換圖像201 204的立體物 也到達(dá)俯視圖^f象205的端部。由此，能夠不進(jìn)行使離本車輛較遠(yuǎn) 的 一側(cè)的邊緣連續(xù)的處理，而顯示為將跨越接縫a d的立體物簡 單地識別為同 一物體。
另外，在判斷為在接縫a d處的邊緣是立體物的邊緣的情 況下，強(qiáng)調(diào)顯示該立體物。因此，能夠易于理解地對駕駛員通 知被顯示的俯浮見圖〗象中的立體物。
另外，在判斷為在接縫a d處的邊緣是立體物的邊緣的情 況下，由于通過規(guī)定的聲音將該立體物的存在通知給駕駛員， 因此能夠從聽覺上將立體物的有無通知給駕駛員。
另外，根據(jù)第一實(shí)施方式所涉及的車輛周圍圖像提供裝置 l的變形例，在判斷為立體物存在于地面上的情況下，求出立體 物的厚度，并根據(jù)求出的厚度調(diào)整立體物在每個(gè)坐標(biāo)變換圖像 中離本車輛較近的一側(cè)的邊緣與較遠(yuǎn)的一側(cè)的邊緣的間隔，使 較遠(yuǎn)的一側(cè)的各個(gè)邊緣在接縫a d處連續(xù)。這樣，根據(jù)立體物的 厚度來調(diào)整各坐標(biāo)變換圖像201 204之中較近的 一 側(cè)的邊緣與 較遠(yuǎn)的 一側(cè)的邊緣的間隔，因此能夠準(zhǔn)確地表現(xiàn)俯視圖像205 的立體物的厚度，能夠顯示為實(shí)際上從正上方觀察立體物。因 而，能夠易于理解地對駕駛員提示立體物。并且，由于使較遠(yuǎn) 的 一側(cè)的各個(gè)邊緣在接縫處連續(xù)，因此能夠消除邊緣之間的偏 離，抑制距離感的喪失。
接著，說明本發(fā)明的第二實(shí)施方式。第二實(shí)施方式所涉及的車輛周圍圖像提供裝置2與第一實(shí)施方式相同，但一部分處理 內(nèi)容不同。下面，說明與第一實(shí)施方式的不同點(diǎn)。
關(guān)于第二實(shí)施方式所涉及的車輛周圍圖像提供裝置2，圖5 示出的步驟ST3的處理與第一實(shí)施方式不同。另外，第二實(shí)施 方式所涉及的車輛周圍圖像提供裝置2與第一實(shí)施方式不同之 處在于，不對俯—見圖像205整體進(jìn)行邊緣;險(xiǎn)測，而是從俯視圖像 205中的一部分進(jìn)行邊緣;險(xiǎn)測。
圖17是對第二實(shí)施方式所涉及的車輛周圍圖像提供裝置2 的處理進(jìn)行說明的圖，說明代替圖5示出的步驟ST3的處理而執(zhí) 行的處理。多個(gè)照相機(jī)模塊10的攝像區(qū)域分別與其它的照 一 目機(jī) 模塊10重疊，圖像變換部53在生成俯視圖像205時(shí)將重疊部分?jǐn)?shù) 據(jù)廢棄。
具體地進(jìn)行說明。如圖17所示，在俯視圖像205中拍攝有 路邊石303。該路邊石303跨越接縫a,因此也被拍攝在作為構(gòu)成 該接縫a的坐標(biāo)變換圖像201 、 203的坐標(biāo)變換之前的圖像的前部 圖像101和右側(cè)圖傳a03中。
在進(jìn)行坐標(biāo)變換時(shí)，圖像變換部53不對全部的前部圖像 IOI進(jìn)行坐標(biāo)變換，而是將前部圖像101的一部分廢棄。因此， 也不對在前部圖像101中拍攝的-各邊石303i全部進(jìn)行坐標(biāo)變換， 而是將一部分(圖17示出的附圖標(biāo)記303r的部分)廢棄。另外， 同樣地，也不對在右側(cè)圖像10 3中拍攝的路邊石3 0 3 2全部進(jìn)行坐 標(biāo)變換，而是將一部分(圖17示出的附圖標(biāo)記3032，的部分)廢棄。
在此，被廢棄的部分是在前部圖像101與右側(cè)圖像103中重 疊的部分。即，在前部圖像101與右側(cè)圖像103中拍攝了相同的 部分，為了不對相同的部分重復(fù)進(jìn)行坐標(biāo)變換來得到俯視圖像 205,而將重疊部分廢棄。
第二實(shí)施方式所涉及的圖像檢測部54對存在于該重疊部分的立體物的亮度或顏色信息進(jìn)行比較，判斷立體物是否是同 一物體。由此，如果立體物是同一物體則比較相同部分的亮度 或顏色信息，從而能夠更正確地判斷是否是同 一 物體。
接著，說明第二實(shí)施方式所涉及的邊緣4僉測方法。圖18是 表示第二實(shí)施方式所涉及的車輛周圍圖像提供裝置2的邊緣檢 測方法的第一圖，圖19是表示第二實(shí)施方式所涉及的車輛周圍 圖像提供裝置2的邊緣檢測方法的第二圖。
例如，如圖18所示，在第二實(shí)施方式中將離開本車輛一定 距離內(nèi)作為第一區(qū)域401，將第一區(qū)域401的外側(cè)的區(qū)域作為第 二區(qū)域402，在本車輛的車速不足規(guī)定速度的情況下，圖像檢測 部54不以第二區(qū)域402為對象進(jìn)行邊緣檢測，而以第 一 區(qū)域401 為對象進(jìn)行邊緣檢測。另外，在規(guī)定速度以上的情況下，圖像 檢測部54不以第 一 區(qū)域401為對象進(jìn)行邊緣沖企測，而以第二區(qū)域 402為對象進(jìn)行邊緣檢測。這樣，在第二實(shí)施方式中，圖像檢測 部5 4的邊緣檢測功能在本車輛的速度大于等于規(guī)定速度的情況 下，與本車輛的速度不足規(guī)定速度的情況相比，以離本車輛更
遠(yuǎn)的位置為對象進(jìn)行邊緣檢測。
在此，在本車輛的速度較快的情況下，駕駛員需要觀察離 本車輛比較遠(yuǎn)的位置。另一方面，在本車輛的速度較慢的情況 下，駕駛員需要觀察本車輛附近。因此，在本車輛的速度大于 等于規(guī)定速度的情況下，與本車輛的速度不足規(guī)定速度的情況 相比，以離本車輛更遠(yuǎn)的位置為對象進(jìn)行邊緣4企測，由此以駕 駛員要觀察的位置為對象進(jìn)行邊緣檢測。
此外，如圖18所示，并不限于如第一和第二區(qū)域401、 402 那樣預(yù)先設(shè)定固定的區(qū)域的情況，也可以將區(qū)域的大小設(shè)為可 變。
另外，如圖19所示，在第二實(shí)施方式中，也可以根據(jù)轉(zhuǎn)向角傳感器30和位移信號傳感器40的信息將本車輛的行進(jìn)方向側(cè) (特別是車身通過的區(qū)域)決定為邊緣檢測區(qū)域403 ，以該區(qū)域 403為對象進(jìn)行邊參彖枱二測，在其它的區(qū)域不進(jìn)行邊緣4全測。由此， 能夠?qū)τ锌赡芘c本車輛接觸的立體物進(jìn)行邊緣檢測。此外，在 圖19所示的例子中，可以在車速較低時(shí)刪除邊緣;險(xiǎn)測區(qū)域403 之中的遠(yuǎn)方側(cè)，也可以在車速較高的情況下以更遠(yuǎn)處為對象進(jìn) 4亍邊纟彖4全測。
這樣，根據(jù)第二實(shí)施方式所涉及的車輛周圍圖像提供裝置 2,與第一實(shí)施方式同樣地，能夠?qū)囕v周圍的立體物判斷類別。
另外，可判斷為立體物存在于地面上，能夠抑制距離感的喪失。 另外，可判斷為立體物存在于空中，并可判斷為立體物是存在 于地面的立體物與存在于空中的立體物的混雜。另外，能夠?qū)?駕駛員進(jìn)一步顯示進(jìn)行了圖像處理的情形，能夠進(jìn)行顯示使得 將跨越接縫a d的立體物簡單地識別為同一物體。另外，能夠易 于理解地對駕駛員通知被顯示的俯視圖像中的立體物，并能夠 從聽覺上將立體物的有無通知給駕駛員。
并且，根據(jù)第二實(shí)施方式，在判斷為跨越接縫a d的邊緣 是立體物的邊緣的情況下，對構(gòu)成該接縫a d的坐標(biāo)變換圖像的 坐標(biāo)變換之前的圖像之中存在于在生成俯視圖像205時(shí)被廢棄 的部分的立體物的亮度或顏色信息進(jìn)行比較，由此來判斷在各 坐標(biāo)變換圖像201 204中的立體物是否是同 一物體，在判斷為 是同一物體的情況下，判斷立體物的類別。在此，多個(gè)照相機(jī)
模塊10的攝像區(qū)域分別與其它的照相機(jī)模塊10重疊，圖像變換 部53在生成俯視圖像205時(shí)將重疊部分?jǐn)?shù)據(jù)廢棄。各照相機(jī)模塊 10在該重疊部分與其它的照相機(jī)模塊10拍攝同 一 位置。因此， 能夠通過比較存在于在生成俯視圖像205時(shí)被廢棄的部分的立 體物的亮度或顏色信息來比較同 一 部分的亮度或顏色信息，能夠更正確地判斷立體物是否是同 一物體。
另外，在本車輛的速度大于等于規(guī)定速度的情況下，與本 車輛的速度不足規(guī)定速度的情況相比，以在俯視圖像上離本車 輛更遠(yuǎn)的區(qū)域?yàn)閷ο筮M(jìn)行邊緣檢測。在此，在本車輛的速度較 快的情況下，駕駛員需要觀察離本車輛較遠(yuǎn)的位置。另一方面， 在本車輛的速度較慢的情況下，駕駛員需要觀察本車輛附近。
因此，在本車輛的速度大于等于規(guī)定速度的情況下，與本車輛 的速度不足規(guī)定速度的情況相比，以在俯視圖像上離本車輛更 遠(yuǎn)的區(qū)域?yàn)閷ο筮M(jìn)行邊緣檢測，由此能夠以駕駛員要觀察的位 置的立體物為對象進(jìn)行邊緣檢測。并且，能夠限定進(jìn)行邊緣檢 測的區(qū)域，能夠減輕處理負(fù)荷。
另夕卜，在俯一見圖4象上以本車輛的行進(jìn)方向側(cè)的區(qū)域?yàn)閷ο?進(jìn)行邊緣檢測，因此能夠?qū)τ锌赡芘c本車輛接觸的立體物進(jìn)行 邊緣檢測。并且，能夠限定進(jìn)行邊緣檢測的區(qū)域，能夠減輕處 理負(fù)荷。
以上，根據(jù)實(shí)施方式說明了本發(fā)明，但是本發(fā)明并不限于 上述實(shí)施方式，在不脫離本發(fā)明要旨的范圍內(nèi)可以加以變更， 也可以將各實(shí)施方式組合。
產(chǎn)業(yè)上的可利用性
本發(fā)明可應(yīng)用于將車輛周圍的圖像提供給駕駛員的車輛 周圍圖像提供裝置。
3權(quán)利要求
1. 一種車輛周圍圖像提供裝置，將車輛周圍的圖像提供給駕駛員，其特征在于，具備多個(gè)攝影單元，該多個(gè)攝影單元拍攝本車輛周圍，并且分別拍攝不同的方向；圖像處理單元，其以地面為基準(zhǔn)面對由上述多個(gè)攝影單元拍攝的車輛周圍的各個(gè)圖像進(jìn)行坐標(biāo)變換來生成坐標(biāo)變換圖像，并將生成的各坐標(biāo)變換圖像合成來生成俯視圖像；邊緣檢測單元，其對由上述圖像處理單元生成的俯視圖像進(jìn)行邊緣檢測；判斷單元，其判斷由邊緣檢測單元檢測出的邊緣線之中跨越坐標(biāo)變換圖像的接縫的邊緣線的連續(xù)性；以及圖像處理單元，其在跨越坐標(biāo)變換圖像的接縫的邊緣線不連續(xù)的情況下，進(jìn)行如下圖像處理使離本車輛較遠(yuǎn)的一側(cè)的邊緣線與靠近本車輛的一側(cè)的邊緣線對合，由此使邊緣線在接縫處連續(xù)。
2. 根據(jù)權(quán)利要求l所述的車輛周圍圖像提供裝置，其特征 在于，上述圖像處理單元在存在多條跨越坐標(biāo)變換圖像的接縫的 邊緣線的情況下，在多條邊緣線之中離本車輛較遠(yuǎn)的一側(cè)的邊 緣線不連續(xù)的情況下，維持離本車輛較近的 一 側(cè)的邊緣線的連 續(xù)性，并且使離本車輛較遠(yuǎn)的 一 側(cè)的邊緣線在接縫處連續(xù)。
3. 根據(jù)權(quán)利要求l所述的車輛周圍圖像提供裝置，其特征 在于，上述圖像處理單元在跨越坐標(biāo)變換圖像的接縫的邊緣線不 連續(xù)的情況下，在邊緣線具有屈折點(diǎn)的情況下，使邊緣線不超 出連結(jié)跨越接縫的曲折的邊緣線之間的切線而使邊緣線在接縫 處連續(xù)。
4. 根據(jù)權(quán)利要求l所述的車輛周圍圖像提供裝置，其特征 在于，上述圖像處理單元在存在多條跨越坐標(biāo)變換圖像的接縫的 邊緣線的情況下，在多條邊緣線之中離本車輛較近的一側(cè)的邊 緣線連續(xù)的情況下，維持離本車輛較近的 一 側(cè)的邊緣線的位置， 并且使離本車輛較遠(yuǎn)的一側(cè)的各邊緣線在接縫處連續(xù)。
5. 根據(jù)權(quán)利要求2所述的車輛周圍圖像提供裝置，其特征 在于，具備判斷跨越坐標(biāo)變換圖像的接縫的多條邊緣線是否構(gòu)成 同一物體的單元，在判斷為構(gòu)成同一物體的情況下，上述圖像 處理單元確定存在于離本車輛較近的一側(cè)的邊緣線和存在于離 本車輛較遠(yuǎn)的 一 側(cè)的邊緣線。
6. 根據(jù)權(quán)利要求1至5中的任一項(xiàng)所述的車輛周圍圖像提供 裝置，其特征在于，上述圖像處理單元為了使邊緣在接縫處連續(xù)而執(zhí)行移動(dòng)邊 緣的位移處理、對像素進(jìn)行間除的間除處理、以及壓縮圖像的 壓縮處理中的至少 一 個(gè)。
7. 根據(jù)權(quán)利要求6所述的車輛周圍圖像提供裝置，其特征 在于，上述圖像處理單元執(zhí)行以下處理將預(yù)先決定的顏色填充 到執(zhí)行上述位移處理、上述間除處理、以及上述壓縮處理中的 至少 一 個(gè)而在俯視圖像中沒有像素信息的部分中。
8. 根據(jù)權(quán)利要求1至7中的任一項(xiàng)所述的車輛周圍圖像提供 裝置，其特征在于，上述邊緣檢測單元在本車輛的速度大于等于規(guī)定速度的情 況下，與本車輛的速度不足規(guī)定速度的情況相比，以在俯視圖 像上離本車輛更遠(yuǎn)的區(qū)域作為對象進(jìn)行邊緣檢測。
9. 根據(jù)權(quán)利要求1至8中的任一項(xiàng)所述的車輛周圍圖像提供 裝置，其特征在于，上述邊緣檢測單元將俯視圖像上本車輛的行進(jìn)方向側(cè)的區(qū) 域作為對象進(jìn)行邊緣檢測。
10. —種車輛周圍圖像提供方法，將車輛周圍的圖像提供 給駕駛員，其特征在于，具有以下步驟拍攝本車輛周圍的不同方向；以地面為基準(zhǔn)面將拍攝的本車輛周圍的各個(gè)圖像進(jìn)行坐標(biāo) 變換來生成坐標(biāo)變換圖像，并將生成的各坐標(biāo)變換圖像合成來 生成俯視圖像；對生成的俯視圖像進(jìn)行邊緣檢測；判斷檢測出的邊緣線中跨越坐標(biāo)變換圖像的接縫的邊緣線 的連續(xù)性；以及進(jìn)行如下圖像處理在跨越坐標(biāo)變換圖像的接縫的邊緣線 不連續(xù)的情況下，使離本車輛較遠(yuǎn)的 一 側(cè)的邊緣線與靠近本車 輛的一側(cè)的邊緣線對合，由此使邊緣線在接縫處連續(xù)。
全文摘要
在車輛周圍圖像提供裝置1中，圖像變換部53從由多個(gè)照相機(jī)模塊10拍攝的圖像中生成俯視圖像205。另外，圖像檢測部54以俯視圖像205為對象進(jìn)行邊緣檢測。并且，圖像檢測部54判斷檢測出的邊緣線之中跨越俯視圖像205的接縫的邊緣線的連續(xù)性，在跨越俯視圖像205的接縫的邊緣線不連續(xù)的情況下，進(jìn)行如下圖像處理使離本車輛較遠(yuǎn)的一側(cè)的邊緣線與靠近本車輛的一側(cè)的邊緣線對合，由此使邊緣線在接縫處連續(xù)。
文檔編號B60R1/00GK101438590SQ200780016689
公開日2009年5月20日 申請日期2007年4月25日 優(yōu)先權(quán)日2006年5月9日
發(fā)明者赤健, 鈴木政康 申請人:日產(chǎn)自動(dòng)車株式會(huì)社