本發(fā)明涉及一種根據(jù)汽車外界的圖像信息來檢測物體的外界識別裝置。

背景技術(shù)：

關(guān)于為了實(shí)現(xiàn)車輛的安全行駛而檢測車輛周圍的危險(xiǎn)事態(tài)、并且為了規(guī)避檢測到的危險(xiǎn)事態(tài)而自動(dòng)控制車輛的操舵、加速、制動(dòng)的裝置，一直進(jìn)行著研究開發(fā)，且一部分車輛中已有搭載。其中，利用車輛上所搭載的攝像機(jī)來檢測車輛前方的車輛或行人等障礙物從而對駕駛員發(fā)出警報(bào)或者進(jìn)行自動(dòng)制動(dòng)的系統(tǒng)在車輛的安全性提高方面較為有效。

在利用汽車上所搭載的攝像機(jī)的圖像來檢測汽車周圍的障礙物的系統(tǒng)中，存在檢測對象物的種類增加的傾向，從而必須同時(shí)檢查多種對象物。因此，在專利文獻(xiàn)1中記載有一種共用1個(gè)攝像元件而按照時(shí)間序列來執(zhí)行檢測多種對象物的處理的方法。此外，在存在進(jìn)行處理的圖像數(shù)據(jù)隨著攝像機(jī)的像素?cái)?shù)的增加而增加的傾向的情況下，必須利用有限的運(yùn)算資源來進(jìn)行檢測處理，作為其實(shí)現(xiàn)方法，在專利文獻(xiàn)2中記載有一種切出用以檢測各對象物所需的圖像區(qū)域來進(jìn)行處理的方法。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：WO2005/006756

專利文獻(xiàn)2：日本專利特開2012-222762號公報(bào)

非專利文獻(xiàn)

非專利文獻(xiàn)1：齋藤徹、他：ステレオ畫像認(rèn)識運(yùn)転支援システムのソフトウェアの開発について、第14回畫像センシングシンポジウム講演論文集、IN2-14(2008)(齋藤徹及其他人：關(guān)于立體圖像識別駕駛支援系統(tǒng)的軟件的開發(fā)，第14屆圖像感測學(xué)術(shù)討論會報(bào)告論文集，IN2-14(2008))

非專利文獻(xiàn)2：大塚裕史他：“エッジペア特徴空間法を用いた車両検知技術(shù)の開発”VIEW2005ビジョン技術(shù)の実用化ワークショップ講演論文集pp160-165,2005(大塚裕史及其他人：“使用邊緣對特征空間法的車輛檢測技術(shù)的開發(fā)”VIEW2005視覺技術(shù)實(shí)用化研究會報(bào)告論文集pp160-165，2005)

非專利文獻(xiàn)3：清原將裕、他：車両周辺監(jiān)視のための移動(dòng)體検出技術(shù)の開発、ViEWビジョン技術(shù)の実利用ワークショップ講演論文集(2011)pp.59-63(清原將裕及其他人：用于車輛周邊監(jiān)視的移動(dòng)體檢測技術(shù)的開發(fā)，ViEW視覺技術(shù)實(shí)際運(yùn)用研究會報(bào)告論文集(2011)pp.59-63)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的問題

專利文獻(xiàn)1中所記載的內(nèi)容是以進(jìn)行處理的運(yùn)算裝置為1個(gè)這一情況為前提，留有如下問題：無法以需要的處理周期對需要的所有對象物進(jìn)行檢測處理。此外，在像專利文獻(xiàn)2中所記載的那樣限制進(jìn)行處理的圖像區(qū)域或分辨率來抑制處理負(fù)荷的方法中，在攝像機(jī)的個(gè)數(shù)、攝像機(jī)的像素?cái)?shù)、對象物的種類有了增加的情況下，無法在需要的圖像分辨率下以需要的處理周期進(jìn)行檢測處理，導(dǎo)致無法獲得汽車的控制所需的精度的檢測結(jié)果。

本發(fā)明是鑒于上述問題而成，其目的在于提供一種在利用拍攝圖像來檢測多種對象物時(shí)可獲得需要的精度的檢測結(jié)果的外界識別裝置。

解決問題的技術(shù)手段

解決上述問題的本發(fā)明的外界識別裝置使用從車輛對外部進(jìn)行拍攝所得的圖像來識別外界，其特征在于，包括：多個(gè)處理部，它們對所述圖像進(jìn)行圖像處理；識別應(yīng)用存儲部，其按所述對象物的種類而存儲多種識別應(yīng)用，所述識別應(yīng)用通過由該多個(gè)處理部中的至少一個(gè)處理部加以處理來識別對象物；外部信息獲取部，其獲取包含外部環(huán)境信息或自身車輛行為信息中的至少一方的外部信息；以及選擇部，其根據(jù)該外部信息，從所述識別應(yīng)用存儲部中選擇至少一種識別應(yīng)用，并從所述多個(gè)處理部中選擇用以處理該所選擇的識別應(yīng)用的處理部。

發(fā)明的效果

根據(jù)本發(fā)明，可提供一種在利用拍攝圖像來檢測多種對象物時(shí)可利用有限的構(gòu)成來獲得需要的精度的檢測結(jié)果的外界識別裝置。再者，上述以外的課題、構(gòu)成及效果將通過以下實(shí)施方式的說明來加以明確。

附圖說明

圖1為說明第1實(shí)施方式中的外界識別裝置的構(gòu)成例的圖。

圖2為表示圖像區(qū)域切出部的處理流程的圖。

圖3為表示車輛為低速的情況下的圖像的切出方法的圖。

圖4為表示車輛為低速的情況下的處理時(shí)間表的圖。

圖5為表示車輛為高速的情況下的圖像的切出方法的圖。

圖6為表示車輛為高速的情況下的處理時(shí)間表的圖。

圖7為表示視差計(jì)算的處理流程的圖。

圖8為說明立體攝像機(jī)中的左右圖像的對應(yīng)點(diǎn)的圖。

圖9為說明左右圖像的對應(yīng)點(diǎn)的求法的圖。

圖10為說明在立體攝像機(jī)中利用視差來算出距離的方法的圖。

圖11為說明第1實(shí)施方式中的外界識別裝置的其他構(gòu)成例的圖。

圖12為說明第1實(shí)施方式中的外界識別裝置的其他構(gòu)成例的圖。

圖13為說明第2實(shí)施方式中的外界識別裝置的構(gòu)成例的圖。

圖14為說明第2實(shí)施方式中的外界識別裝置的其他構(gòu)成例的圖。

具體實(shí)施方式

接著，下面將使用附圖，對本發(fā)明的實(shí)施方式進(jìn)行說明。

[第1實(shí)施方式]

在本實(shí)施方式中，對將本發(fā)明的外界識別裝置運(yùn)用于如下系統(tǒng)的情況進(jìn)行說明：可使用車輛上所搭載的立體攝像機(jī)的圖像來同時(shí)執(zhí)行自身車輛前方的車輛檢測、行人檢測、道路標(biāo)識識別作為識別應(yīng)用。

首先，使用圖1，對本實(shí)施方式中的外界識別裝置的概要進(jìn)行說明。

圖1為實(shí)現(xiàn)本發(fā)明的裝置的框圖。立體攝像機(jī)100自搭載有立體攝像機(jī)100的車輛對車輛前方進(jìn)行拍攝，具有對部分重復(fù)的范圍進(jìn)行拍攝的左右一對左攝像部101及右攝像部102。立體攝像機(jī)100是通過包括運(yùn)算裝置和ROM、RAM等存儲裝置的微型計(jì)算機(jī)等硬件與由硬件加以處理的軟件程序的協(xié)作來構(gòu)成的，作為其內(nèi)部功能，包括圖像區(qū)域切出部103、多個(gè)存儲部105、106、107以及多個(gè)運(yùn)算裝置(處理部)108～111。

并且包括：未圖示的識別應(yīng)用存儲部，其按對象物的種類而存儲多種識別應(yīng)用，所述識別應(yīng)用通過由多個(gè)運(yùn)算裝置108～111中的至少一個(gè)運(yùn)算裝置加以處理來識別對象物；以及外部信息獲取部，其獲取包含外部環(huán)境信息或自身車輛行為信息中的至少一方的外部信息。外部信息包括：自身車輛行為信息，其表示自身車輛速度或燈具是否點(diǎn)亮、有無雨刮動(dòng)作等自身車輛的行為；以及外部環(huán)境信息，其表示從汽車導(dǎo)航的地圖信息中獲取到的道路種類、道路周邊的城市化程度(城市內(nèi)、城市間)等外部環(huán)境。

圖像區(qū)域切出部103切出由左攝像部101、右攝像部102拍攝到的圖像的一部分區(qū)域，并將其圖像數(shù)據(jù)傳送至多個(gè)存儲部105、106、107中的至少一方。圖像區(qū)域切出部103使用外部信息來確定切出由左右攝像部101、102拍攝到的圖像的哪一區(qū)域以及使用哪一存儲部和運(yùn)算裝置來處理圖像。圖像區(qū)域切出部103包括具有存儲部及運(yùn)算裝置選擇功能的選擇部104，根據(jù)外部信息，從識別應(yīng)用存儲部中選擇至少一種識別應(yīng)用，并從多個(gè)處理部中選擇用以處理該所選擇的識別應(yīng)用的處理部。繼而，根據(jù)該所選擇的識別應(yīng)用，從多個(gè)存儲部中選擇使其存儲圖像數(shù)據(jù)的至少一個(gè)存儲部。由圖像區(qū)域切出部103切出的圖像區(qū)域的圖像數(shù)據(jù)被傳送至多個(gè)存儲部即第1存儲部105、第2存儲部106、第3存儲部107中的至少一方而加以存儲。

已傳送至第1存儲部105、第2存儲部106、第3存儲部107的圖像數(shù)據(jù)在第1運(yùn)算裝置108、第2運(yùn)算裝置109、第3運(yùn)算裝置110中進(jìn)行處理。第1運(yùn)算裝置108是以對圖像失真修正和左右攝像機(jī)圖像的視差算出處理進(jìn)行高速運(yùn)算的方式硬件化而成的專用運(yùn)算裝置，由第1運(yùn)算裝置108處理得到的結(jié)果被傳送至第2存儲部106、第3存儲部107，由第2運(yùn)算裝置109、第3運(yùn)算裝置110進(jìn)一步加以識別處理，可識別作為規(guī)定的識別對象物的前方的車輛、行人、道路標(biāo)識。此外，同時(shí)，在第2運(yùn)算裝置109、第3運(yùn)算裝置110中，還可進(jìn)行如下處理：不使用由第1運(yùn)算裝置108計(jì)算出來的視差算出結(jié)果，而是直接處理圖像數(shù)據(jù)來識別作為規(guī)定的識別對象物的前方的車輛、行人、道路標(biāo)識。

由第2運(yùn)算裝置109、第3運(yùn)算裝置110識別出來的結(jié)果被傳送至第4運(yùn)算裝置111。在第4運(yùn)算裝置111中，使用作為前方的車輛、行人、道路標(biāo)識的識別結(jié)果的識別對象物的有無、到識別對象物的相對距離、相對加速度等信息來計(jì)算對自身車輛進(jìn)行自動(dòng)控制的加減速度量、操舵量，并對自身車輛的控制裝置發(fā)出控制指示。此外，在第4運(yùn)算裝置111中，使用作為前方的車輛、行人、道路標(biāo)識的識別結(jié)果的識別對象物的有無、到識別對象物的相對距離、相對加速度等信息來確定對自身車輛的駕駛員發(fā)出警告的內(nèi)容，并將確定好的警告內(nèi)容傳送至自身車輛的計(jì)量器(メータ)裝置，通過計(jì)量器上的警告顯示、語音等來警告駕駛員。在本實(shí)施方式中，圖1中所記載的所有部分101～111均安裝在立體攝像機(jī)100中。

此處，運(yùn)算裝置108、109、110中，運(yùn)算裝置108設(shè)為專用運(yùn)算裝置(ASIC或FPGA)，運(yùn)算裝置109設(shè)為1個(gè)通用運(yùn)算裝置，運(yùn)算裝置110設(shè)為另1個(gè)通用運(yùn)算裝置，整體搭載有3個(gè)處理裝置。作為另一構(gòu)成例，也可設(shè)為如下構(gòu)成：運(yùn)算裝置108為專用運(yùn)算裝置(ASIC或FPGA)，運(yùn)算裝置109為1個(gè)通用運(yùn)算裝置內(nèi)的1個(gè)運(yùn)算核心，運(yùn)算裝置110為相同通用運(yùn)算裝置內(nèi)的另1個(gè)運(yùn)算核心，整體搭載有2個(gè)處理裝置。作為又一構(gòu)成例，也可設(shè)為如下構(gòu)成：整體為單芯片的運(yùn)算裝置，在1個(gè)運(yùn)算裝置中封裝有運(yùn)算裝置108(ASIC或FPGA)、運(yùn)算裝置109(1個(gè)運(yùn)算核心)、運(yùn)算裝置110(另1個(gè)運(yùn)算核心)。

接著，下面將使用圖2，對由立體攝像機(jī)100的圖像區(qū)域切出部103進(jìn)行的處理進(jìn)行說明。

圖2為由圖像區(qū)域切出部103進(jìn)行的處理流程。首先，在外部信息讀入處理201中，從立體攝像機(jī)100的外部獲取外部信息，該外部信息包含自身車輛速度等自身車輛行為信息，以及從汽車導(dǎo)航的地圖信息中獲取到的道路種類、道路周邊的城市化程度(城市內(nèi)、城市間)等外部環(huán)境信息(外部信息獲取部)。繼而，在時(shí)間表讀入處理202中，根據(jù)在外部信息讀入處理201中獲取到的外部信息，讀入包含存儲部及運(yùn)算裝置選擇功能的時(shí)間表。此處，所謂時(shí)間表，是指與要執(zhí)行的識別應(yīng)用以及執(zhí)行的時(shí)刻、左攝像部101、右攝像部102的曝光時(shí)間、曝光時(shí)刻，圖像區(qū)域從由左攝像部101、右攝像部102獲取到的左右圖像中的切出，切出的圖像區(qū)域朝存儲部105、106、107的傳送方法有關(guān)的時(shí)間序列的時(shí)間表。該時(shí)間表預(yù)先存儲在立體攝像機(jī)100的ROM等存儲裝置中。關(guān)于時(shí)間表讀入處理202的詳情，將于后文敘述。

接著，在曝光時(shí)間及時(shí)刻發(fā)送處理203中，將在時(shí)間表讀入處理202中讀入的左攝像部101和右攝像部102的曝光時(shí)間和曝光時(shí)刻發(fā)送至控制左攝像部101和右攝像部102的攝像的控制器。繼而，在左圖像讀入處理204中，根據(jù)在曝光時(shí)間及時(shí)刻發(fā)送處理203中發(fā)送的信息，讀入由左攝像部101拍攝到的左圖像的圖像數(shù)據(jù)。而后，在左圖像傳送處理205中，根據(jù)在時(shí)間表讀入處理202中讀入的存儲部及運(yùn)算裝置選擇時(shí)間表，將在左圖像讀入處理204中讀入的左圖像的圖像數(shù)據(jù)傳送至存儲部105、106、107中的規(guī)定存儲部。接著，在右圖像讀入處理206中，根據(jù)在曝光時(shí)間及時(shí)刻發(fā)送處理203中發(fā)送的信息，讀入由右攝像部102拍攝到的右圖像的圖像數(shù)據(jù)。繼而，在右圖像傳送處理207中，根據(jù)在時(shí)間表讀入處理202中讀入的存儲部及運(yùn)算裝置選擇時(shí)間表，將在右圖像讀入處理206中讀入的右圖像的圖像數(shù)據(jù)傳送至存儲部105、106、107中的規(guī)定存儲部。

例如，在圖2的外部信息讀入處理201中讀入的外部信息中自身車輛速度為低速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為狹窄道路、道路周邊的城市化程度為城市內(nèi)(市區(qū))的情況(以下記作事例1)下，預(yù)料行人會竄出到車輛前方。因而，前方的車輛檢測、行人檢測、道路標(biāo)識識別中，行人檢測的優(yōu)先度最高，而其中優(yōu)先度最高的又是從左右竄出的行人的檢測，前方的車輛檢測的處理設(shè)為第2優(yōu)先度。再者，道路標(biāo)識識別因優(yōu)先度較低，因此在這樣的外部信息的情況下不予執(zhí)行。根據(jù)這些優(yōu)先度，確定切出的圖像朝存儲部105、106、107的傳送方法。

此外，例如，在圖2的外部信息讀入處理201中讀入的外部信息中自身車輛速度為高速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為高速公路的情況(以下記作事例2)下，用以進(jìn)行前方車輛跟隨功能(ACC：Adaptive Cruse Control(自適應(yīng)巡航控制))的前方的車輛檢測處理和超速的警報(bào)為重要應(yīng)用，且行人存在于高速公路內(nèi)的可能性較低。因而，車輛檢測、行人檢測、道路標(biāo)識識別中，車輛檢測的優(yōu)先度最高，標(biāo)識識別的處理設(shè)為第2優(yōu)先度，行人檢測因優(yōu)先度較低而不予執(zhí)行。根據(jù)這些優(yōu)先度，確定切出的圖像朝存儲部105、106、107的傳送方法。

接著，對在時(shí)間表讀入處理202中讀入的時(shí)間表進(jìn)行說明。

首先，使用圖3，對左右圖像的切出進(jìn)行說明。在圖3中，符號301表示由左攝像部101拍攝到的左圖像，符號302表示由右攝像部102拍攝到的右圖像。立體攝像機(jī)100中，由于左攝像部101和右攝像部102是隔著一定距離(基線長度)來設(shè)置的，因此有左攝像部101和右攝像部102拍攝到了相同對象物的重疊部分305、僅由左攝像部101拍攝到的部分306、僅由右攝像部102拍攝到的部分307。

在該情況下，從左圖像301中切出而使用的圖像為如下區(qū)域：左右圖像的重疊部分305的一部分圖像切出區(qū)域303即左圖像重復(fù)切出區(qū)域，以及，僅由左攝像部101拍攝到的部分306的圖像切出區(qū)域304即左圖像單獨(dú)切出區(qū)域(左圖像單獨(dú)區(qū)域)。并且，從右圖像302中切出而使用的圖像為如下區(qū)域：左右圖像的重疊部分305的圖像切出區(qū)域303即右圖像重復(fù)切出區(qū)域，以及，僅由右攝像部102拍攝到的部分307的圖像切出區(qū)域310即右圖像單獨(dú)切出區(qū)域(右圖像單獨(dú)區(qū)域)。

關(guān)于左圖像301與右圖像302的圖像切出區(qū)域303，切出區(qū)域左上方的圖像座標(biāo)308設(shè)為(uS1,vS1)，切出區(qū)域右下方的圖像座標(biāo)309設(shè)為(uE1,vE1)，圖像的采樣率(間引き率)設(shè)為D1。此處，在采樣率D1為1的情況下，采集圖像切出區(qū)域1的全部像素，例如，在采樣率為1/2的情況下，縱橫每隔1像素而采集圖像，在采樣率為1/3的情況下，縱橫每隔2像素而采集圖像。

作為左圖像301與右圖像302的圖像切出區(qū)域303的左圖像重復(fù)切出區(qū)域和右圖像重復(fù)切出區(qū)域在后級的識別處理中用作檢測前方的車輛的圖像。左圖像301的圖像切出區(qū)域304即左圖像單獨(dú)切出區(qū)域和右圖像302的圖像切出區(qū)域310即右圖像單獨(dú)切出區(qū)域也一樣，根據(jù)切出區(qū)域左上方的圖像座標(biāo)、切出區(qū)域右下方的圖像座標(biāo)、圖像采樣率來采集圖像。左圖像單獨(dú)切出區(qū)域和右圖像單獨(dú)切出區(qū)域的圖像在后級的識別處理中用作檢測從自身車輛前方的左右竄出的行人的圖像。

接著，使用圖4，對與左攝像部101、右攝像部102的曝光時(shí)間和曝光時(shí)刻以及切出的圖像朝存儲部105、106、107的傳送方法有關(guān)的時(shí)間序列的時(shí)間表進(jìn)行說明。

圖4為表示在外部信息讀入處理201中讀入的外部信息中自身車輛速度為低速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為狹窄道路、道路周邊的城市化程度為城市內(nèi)(市區(qū))的情況(事例1)下的時(shí)間表的圖。

在圖4中，縱軸401表示時(shí)刻，橫軸412表示立體攝像機(jī)100內(nèi)的各個(gè)裝置(左攝像部101、右攝像部102、第2存儲部106、第1存儲部105、第3存儲部107、第1運(yùn)算裝置108、第2運(yùn)算裝置109、第3運(yùn)算裝置110)，在橫軸412的下方記載有與時(shí)刻401相應(yīng)的動(dòng)作。此處，第1運(yùn)算裝置108是以對圖像失真修正、左右攝像機(jī)圖像的視差算出處理進(jìn)行高速運(yùn)算的方式硬件化而成的專用運(yùn)算裝置，第3運(yùn)算裝置110設(shè)為能夠高速進(jìn)行軟件處理的通用運(yùn)算裝置，第2運(yùn)算裝置109設(shè)為處理速度比第3運(yùn)算裝置110慢的通用運(yùn)算裝置。

首先，以在圖2的圖像區(qū)域切出部103的處理流程的曝光時(shí)間及時(shí)刻讀入處理203中被送至左攝像部101和右攝像部102的曝光時(shí)間和時(shí)刻(t1)來執(zhí)行曝光402、403。通過曝光402而由左攝像部101拍攝到的左圖像的圖像數(shù)據(jù)以及通過曝光403而由右攝像部102拍攝到的右圖像的圖像數(shù)據(jù)中，僅圖3的圖像切出區(qū)域303被分別切出而送至第1存儲部105。

第1存儲部105是附屬于第1運(yùn)算裝置108的存儲器。被送至第1存儲部105的圖像切出區(qū)域303的圖像數(shù)據(jù)406在第1運(yùn)算裝置108中在時(shí)刻t2的時(shí)刻被執(zhí)行視差計(jì)算407，其計(jì)算結(jié)果的輸出即視差圖像408被送至第3存儲部107。關(guān)于視差計(jì)算的方法，將于后文敘述。第3存儲部107是附屬于第2運(yùn)算裝置109、第3運(yùn)算裝置110的存儲器。第3存儲部107中所保持的視差圖像408被送至第2運(yùn)算裝置109。第2運(yùn)算裝置109在時(shí)刻t3的時(shí)刻執(zhí)行檢測自身車輛前方的車輛的車輛檢測處理。

視差與距自身車輛(立體攝像機(jī)100)的距離的信息等價(jià)，要檢測自身車輛前方的車輛，首先針對將視差圖像縱向分割而成的每一區(qū)塊，逐一提取處于最接近自身車輛的位置的距離作為代表值，對該代表值中接近的距離數(shù)據(jù)彼此進(jìn)行分組，將一定以上的大小的群組作為立體物。此外，另行推定自身車輛所行駛的行駛平面，根據(jù)行駛平面檢測處于上部的立體物。關(guān)于該立體物的提取的處理，在非專利文獻(xiàn)1「齋藤徹、他：ステレオ畫像認(rèn)識運(yùn)転支援システムのソフトウェアの開発について、第14回畫像センシングシンポジウム講演論文集、IN2-14(2008)」(齋藤徹及其他人：關(guān)于立體圖像識別駕駛支援系統(tǒng)的軟件的開發(fā)，第14屆圖像感測學(xué)術(shù)討論會報(bào)告論文集，IN2-14(2008))中有記載。繼而，根據(jù)檢測到的立體物的大小和形狀，判定檢測到的立體物是否為車輛。

關(guān)于是否為車輛的判定，還要利用第1存儲部105中所保持的圖像數(shù)據(jù)406而根據(jù)圖像的濃淡圖案信息來判定。因此，還要從第1存儲部105中將圖像數(shù)據(jù)406發(fā)送至第2運(yùn)算裝置109。要利用圖像的濃淡圖案信息來判定是否為車輛，可利用非專利文獻(xiàn)2「大塚裕史他：“エッジペア特徴空間法を用いた車両検知技術(shù)の開発”VIEW2005ビジョン技術(shù)の実用化ワークショップ講演論文集pp160-165,2005」(大塚裕史及其他人：“使用邊緣對特征空間法的車輛檢測技術(shù)的開發(fā)”VIEW2005視覺技術(shù)實(shí)用化研究會報(bào)告論文集pp160-165，2005)的方法。

另一方面，通過曝光402而由左攝像部101拍攝到的圖像數(shù)據(jù)中，僅切出圖3的左圖像301的圖像切出區(qū)域304而送至第2存儲部106，通過曝光403而由右攝像部102拍攝到的圖像數(shù)據(jù)中，僅切出圖3的右圖像302的圖像切出區(qū)域310而送至第2存儲部106。第2存儲部106是附屬于第3運(yùn)算裝置110的存儲器，在時(shí)刻t1的時(shí)刻，將第2存儲部106中所保持的左圖像301的圖像切出區(qū)域304和右圖像302的圖像切出區(qū)域310的圖像數(shù)據(jù)404、以及在時(shí)刻t1的1周期前的時(shí)刻拍攝且保持在第2存儲部106中的左圖像301的圖像切出區(qū)域304和右圖像302的圖像切出區(qū)域310的圖像數(shù)據(jù)405送至第3運(yùn)算裝置110。

在第3運(yùn)算裝置110中，計(jì)算接收到的時(shí)間序列的圖像數(shù)據(jù)405與404的差分，在時(shí)刻t2的時(shí)刻執(zhí)行如下處理：檢測在左圖像單獨(dú)切出區(qū)域304、右圖像單獨(dú)切出區(qū)域310內(nèi)朝圖像中央方向移動(dòng)的物體(從自身車輛前方的左右竄出的行人)。要利用時(shí)間序列的圖像來檢測物體發(fā)生了移動(dòng)的部分，首先算出在時(shí)間序列中連續(xù)的圖像的光流。光流是已確立的公知技術(shù)，可通過對2幀圖像進(jìn)行比較，鑒別2個(gè)圖像各自所包含的相同物體來算出。

此外，由于自身車輛在移動(dòng)而導(dǎo)致移動(dòng)物體以外的背景也在移動(dòng)，因此必須從圖像上發(fā)生變化而物體發(fā)生了移動(dòng)的部分中提取表示與伴隨車輛的移動(dòng)的背景的移動(dòng)不一樣的移動(dòng)的部分。要檢測伴隨車輛的移動(dòng)的背景的移動(dòng)，利用車輛的速度、橫擺率等車輛信息和攝像機(jī)的內(nèi)部參數(shù)(攝像元件的單元尺寸、焦距、失真參數(shù))、外部參數(shù)(攝像機(jī)的設(shè)置高度、俯角、轉(zhuǎn)動(dòng)角度)等幾何條件來推定背景的移動(dòng)。

背景的移動(dòng)的推定在非專利文獻(xiàn)3「清原將裕、他：車両周辺監(jiān)視のための移動(dòng)體検出技術(shù)の開発、ViEWビジョン技術(shù)の実利用ワークショップ講演論文集(2011)pp.59-63」(清原將裕及其他人：用于車輛周邊監(jiān)視的移動(dòng)體檢測技術(shù)的開發(fā)，ViEW視覺技術(shù)實(shí)際運(yùn)用研究會報(bào)告論文集(2011)pp.59-63)中有記載。繼而，從圖像上發(fā)生變化而物體發(fā)生了移動(dòng)的部分中消除背景的移動(dòng)來提取表示與伴隨車輛的移動(dòng)的背景的移動(dòng)不一樣的移動(dòng)的部分，并從中將具有一定范圍內(nèi)的大小的部分作為從自身車輛前方的左右竄出的行人。由此，可檢測相對于自身車輛前方而位于左右兩側(cè)的行人。

此外，在第3運(yùn)算裝置110中，還利用第3存儲部107中所保持的視差圖像408和第1存儲部105中所保持的圖像數(shù)據(jù)406，在時(shí)刻t3的時(shí)刻執(zhí)行檢測自身車輛前方的行人的處理。要檢測行人，可利用與前文所述的車輛檢測410相同的方法，根據(jù)檢測到的立體物的大小和形狀來判定檢測到的立體物是否為行人。因而，可檢測自身車輛前方的前進(jìn)道路上的行人。

接著，對自身車輛速度為高速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為高速公路的情況(事例2)下的時(shí)間表進(jìn)行說明。首先，使用圖5，對事例2中的左右圖像的切出進(jìn)行說明。

在圖5中，對與圖3相同的構(gòu)成要素標(biāo)注同一符號，由此省略其詳細(xì)說明。在該情況下，從左圖像301中切出而使用的圖像為如下區(qū)域：左右圖像的重疊部分305的一部分圖像區(qū)域501即左圖像重復(fù)切出區(qū)域，以及，從僅由左攝像部101拍攝到的部分306跨越至與右圖像302重復(fù)拍攝到的部分305的圖像區(qū)域502即左圖像部分重復(fù)區(qū)域。并且，從右圖像302中切出而使用的圖像為如下區(qū)域：左右圖像的重疊部分305的一部分圖像區(qū)域503即右圖像重復(fù)切出區(qū)域，以及，從僅由右攝像部102拍攝到的部分307跨越至與左圖像301重復(fù)拍攝到的部分305的圖像區(qū)域503即右圖像部分重復(fù)區(qū)域。

在左圖像301與右圖像302的圖像切出區(qū)域501內(nèi)，切出區(qū)域左上方的圖像座標(biāo)504設(shè)為(uS2,vS2)，切出區(qū)域右下方的圖像座標(biāo)505設(shè)為(uE2,vE2)，圖像的采樣率設(shè)為D2。此處，在采樣率D2為1的情況下，采集圖像切出區(qū)域1的全部像素，例如，在采樣率為1/2的情況下，縱橫每隔1像素而采集圖像，在采樣率為1/3的情況下，縱橫每隔2像素而采集圖像。作為左圖像301與右圖像302的圖像切出區(qū)域501的左圖像重復(fù)切出區(qū)域和右圖像重復(fù)切出區(qū)域在后級的識別處理中用作檢測前面遠(yuǎn)方的車輛的圖像。

左圖像301的圖像切出區(qū)域502即左圖像部分重復(fù)區(qū)域和右圖像302的圖像切出區(qū)域503即右圖像部分重復(fù)區(qū)域也一樣，根據(jù)切出區(qū)域左上方的圖像座標(biāo)、切出區(qū)域右下方的圖像座標(biāo)、圖像采樣率來采集圖像。左圖像部分重復(fù)區(qū)域和右圖像部分重復(fù)區(qū)域的圖像在后級的識別處理中用作識別自身車輛前方的道路標(biāo)識的圖像。

接著，使用圖6，對與左攝像部101、右攝像部102的曝光時(shí)間和曝光時(shí)刻以及切出的圖像朝存儲部105、106、107的傳送方法有關(guān)的時(shí)間序列的時(shí)間表進(jìn)行說明。

圖6為表示事例2的時(shí)間表，即，自身車輛速度為高速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為高速公路的情況下的時(shí)間表的圖。

在圖6中，縱軸601表示時(shí)刻，橫軸602表示立體攝像機(jī)100內(nèi)的各個(gè)裝置(左攝像部101、右攝像部102、第2存儲部106、第1存儲部105、第3存儲部107、第1運(yùn)算裝置108、第2運(yùn)算裝置109、第3運(yùn)算裝置110)，在橫軸602的下方記載有與時(shí)刻601相應(yīng)的動(dòng)作。此處，第1運(yùn)算裝置108是以對圖像失真修正、左右攝像機(jī)圖像的視差算出處理進(jìn)行高速運(yùn)算的方式硬件化而成的專用運(yùn)算裝置，第3運(yùn)算裝置110設(shè)為能夠高速進(jìn)行軟件處理的通用運(yùn)算裝置，第2運(yùn)算裝置109設(shè)為處理速度比第3運(yùn)算裝置110慢的通用運(yùn)算裝置。

首先，以在圖2的圖像區(qū)域切出部103的處理流程的曝光時(shí)間及時(shí)刻讀入處理203中被送至左攝像部101和右攝像部102的曝光時(shí)間和時(shí)刻(t1)來執(zhí)行曝光603、604。進(jìn)行曝光603而由左攝像部101拍攝到的圖像數(shù)據(jù)和進(jìn)行曝光604而由右攝像部102拍攝到的圖像數(shù)據(jù)中，僅圖5的圖像切出區(qū)域501被分別切出而送至第1存儲部105。

第1存儲部105是附屬于運(yùn)算裝置1的存儲器。被送至第1存儲部105的圖像切出區(qū)域501的圖像數(shù)據(jù)609在第1運(yùn)算裝置108中在時(shí)刻t2的時(shí)刻被執(zhí)行視差計(jì)算611，其計(jì)算結(jié)果的輸出即視差圖像610被送至第3存儲部107。關(guān)于視差計(jì)算的方法，將于后文敘述。第3存儲部107是附屬于第2運(yùn)算裝置109的存儲器。第3存儲部107中所保持的視差圖像610被送至第3運(yùn)算裝置110，在第3運(yùn)算裝置110中在時(shí)刻t3的時(shí)刻執(zhí)行檢測自身車輛前方的車輛的處理。檢測車輛前方的車輛的方法與前文所述的圖4的車輛檢測處理410相同。

接著，以在圖2的圖像區(qū)域切出部103的處理流程的曝光時(shí)間及時(shí)刻讀入處理203中被送至左攝像部101和右攝像部102的曝光時(shí)間和時(shí)刻(t2)進(jìn)行曝光605、606。曝光603、604用以獲得檢測前方的車輛的圖像，曝光605、606用以獲得識別道路標(biāo)識的圖像。因而，將曝光605、606的曝光時(shí)間設(shè)定得比曝光603、604的曝光時(shí)間長。

進(jìn)行曝光605而由左攝像部101拍攝到的圖像中，僅提取圖5的圖像切出區(qū)域502的圖像區(qū)域并將其圖像數(shù)據(jù)送至第2存儲部106。并且，進(jìn)行曝光606而由右攝像部102拍攝到的圖像中，僅提取圖5的圖像切出區(qū)域503的圖像區(qū)域并將其圖像數(shù)據(jù)送至第2存儲部106。

第2存儲部106是附屬于第2運(yùn)算裝置109的存儲器，將第2存儲部106中所保持的左右的圖像數(shù)據(jù)607、以及在時(shí)刻t2的1周期前的時(shí)刻拍攝且保持在第2存儲部106中的圖像切出區(qū)域502和圖像切出區(qū)域503這部分的圖像數(shù)據(jù)608送至第2運(yùn)算裝置109。

在第2運(yùn)算裝置109中，使用接收到的圖像數(shù)據(jù)607，在時(shí)刻t3的時(shí)刻執(zhí)行識別圖像區(qū)域內(nèi)的標(biāo)識的處理。要識別標(biāo)識，首先從圖像中檢測圓形狀的邊緣，作為存在標(biāo)識的部位的候選，并針對該候選進(jìn)行機(jī)器學(xué)習(xí)，利用機(jī)器學(xué)習(xí)結(jié)果來進(jìn)行其他類別的識別處理，識別候選部位中的文字或數(shù)字。此外，利用自身車輛的速度、橫擺率的信息，預(yù)測與使用圖像數(shù)據(jù)607而識別出來的標(biāo)識相同的圖像圖案處于1周期前所拍攝到的圖像數(shù)據(jù)608的哪一位置，計(jì)算預(yù)測出來的位置的圖像圖案與利用圖像數(shù)據(jù)607而識別出來的標(biāo)識的圖像圖案的類似度，在類似度較高的情況下，將利用圖像數(shù)據(jù)607而識別出來的標(biāo)識確定為識別結(jié)果。

此處，在圖4和圖6中的時(shí)間表中，對各應(yīng)用(車輛檢測、行人檢測、標(biāo)識檢測、車道識別)的處理優(yōu)先順序進(jìn)行敘述。圖4中，由于在圖2的外部信息讀入處理201中讀入的外部信息中自身車輛速度為低速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為狹窄道路、道路周邊的城市化程度為城市內(nèi)(市區(qū))，因此按照處理優(yōu)先度從高到低的順序設(shè)為行人檢測、車輛檢測、標(biāo)識檢測、車道識別的順序。在圖4中，表示有其中的行人檢測和車輛檢測的處理的時(shí)間表，而剩下的標(biāo)識檢測、車道識別是在第2運(yùn)算裝置109和第3運(yùn)算裝置110的處理的空閑時(shí)間內(nèi)實(shí)施。

此外，在圖6中，由于在圖2的外部信息讀入處理201中讀入的外部信息中自身車輛速度為高速、從汽車導(dǎo)航的地圖信息中獲取到的道路種類為高速公路，因此按照處理優(yōu)先度從高到低的順序設(shè)為車輛檢測、標(biāo)識檢測、車道識別、行人檢測的順序。在圖6中，表示有其中的車輛檢測和標(biāo)識檢測的處理的時(shí)間表，而剩下的車道識別、行人檢測是在第2運(yùn)算裝置109和第3運(yùn)算裝置110的處理的空閑時(shí)間內(nèi)實(shí)施。

＜視差算出方法＞

接著，使用圖7的流程圖，對圖4的407和圖6的611中所執(zhí)行的視差算出處理的方法進(jìn)行說明。

在圖7的流程圖中，首先，在左圖像輸入處理901中，接收由左攝像部101拍攝到的圖像數(shù)據(jù)。接著，在右圖像輸入處理902中，接收由右攝像部102拍攝到的圖像數(shù)據(jù)。此處，也能以并行處理的方式同時(shí)進(jìn)行左圖像輸入處理901和右圖像輸入處理902。

接著，在對應(yīng)點(diǎn)算出處理903中，對在左圖像輸入處理901和右圖像輸入處理902中獲取到的左右2張圖像進(jìn)行比較，確定拍攝到了同一物體的部分。即，如圖8所示，當(dāng)利用立體攝像機(jī)100拍攝處于行駛道路上的對象物即物體1001時(shí)，由左方的攝像部101和右方的攝像部102拍攝到的圖像分別成為左圖像1002、右圖像1003的樣子。此處，同一物體1001在左圖像1002中被拍攝至1004的位置、在右圖像1003中被拍攝至1005的位置，在圖像的橫向上產(chǎn)生d₁的偏差，因此，必須確定被拍攝到了左圖像1002的1004的物體被拍攝到了右圖像1003何處。

接著，使用圖9，對確定左圖像1002中所拍攝到的特定的物體被拍攝到了右圖像1003的何處的方法進(jìn)行說明。

在圖9中，關(guān)于左圖像、右圖像的座標(biāo)系，將橫向設(shè)為u軸1101，將縱向設(shè)為v軸1102。首先，在左圖像1002中，利用uv座標(biāo)系來設(shè)定由(u₁,v₁)、(u₁,v₂)、(u₂,v₁)、(u₂,v₂)圍成的矩形區(qū)域1103。

接著，在右圖像1003中，以使U的值從u＝0增加至u＝u₃的方式使由(U,v₁)、(U,v₂)、(U+(u₂－u₁),v₁)、(U+(u₂－u₁),v₂)圍成的區(qū)域朝圖像的右方掃描至該矩形區(qū)域1104為止。掃描時(shí)，對矩形區(qū)域1103內(nèi)的圖像與矩形區(qū)域1104內(nèi)的圖像的相關(guān)值進(jìn)行比較，認(rèn)為與矩形區(qū)域1103中所拍攝到的物體相同的物體被拍攝到了與左圖像1002的矩形區(qū)域1103的相關(guān)性最高的右圖像1003的矩形區(qū)域1105的位置(u₄,v₁)、(u₄,v₂)、(u₄+(u₂－u₁),v₁)、(u₄+(u₂－u₁),v₂)。此處，認(rèn)為矩形區(qū)域1103內(nèi)的各像素與矩形區(qū)域1105內(nèi)的各像素相對應(yīng)。此處，在掃描右圖像1003的矩形區(qū)域1104時(shí)，在沒有相關(guān)值達(dá)到一定以上的值的矩形的情況下，認(rèn)為沒有與左圖像1002的矩形區(qū)域1103相對應(yīng)的右圖像1003內(nèi)的對應(yīng)點(diǎn)。

接著，將左圖像1002的矩形區(qū)域挪動(dòng)至1106的位置，進(jìn)行同樣的處理。如此，在整個(gè)左圖像1002內(nèi)掃描左圖像1002的矩形區(qū)域，針對左圖像1002的全部像素而求右圖像1003內(nèi)的對應(yīng)點(diǎn)。在未找到對應(yīng)點(diǎn)的情況下，認(rèn)為無對應(yīng)點(diǎn)。

接著，在圖7的流程圖中，進(jìn)行距離算出處理904。此處，視差與距離等價(jià)，在該處理中，從視差數(shù)據(jù)轉(zhuǎn)換為距離數(shù)據(jù)。

在距離算出處理904中，針對在前文所述的對應(yīng)點(diǎn)算出處理903中求出的、拍攝到了同一物體的左圖像1002與右圖像1003的對應(yīng)點(diǎn)，算出各對應(yīng)點(diǎn)距立體攝像機(jī)100處于何種程度的距離的位置。

首先，使用圖10，對算出左圖像1002與右圖像1003的對應(yīng)點(diǎn)1201距攝像機(jī)的距離的方法進(jìn)行說明。

在圖10中，左攝像部101為由透鏡1202和攝像面1203構(gòu)成的焦距f、光軸1208的攝像機(jī)，右攝像部102為由透鏡1204和攝像面1205構(gòu)成的焦距f、光軸1209的攝像機(jī)。處于攝像機(jī)前方的點(diǎn)1201被拍攝至左攝像部101的攝像面1203的點(diǎn)1206(與光軸1208相距d₂的距離)，在左圖像1002中成為點(diǎn)1206(與光軸1208相距d₄像素的位置)。同樣地，處于攝像機(jī)前方的點(diǎn)1201被拍攝至右攝像部102的攝像面1205的點(diǎn)1207(與光軸1209相距d₃的距離)，在右圖像1003中成為點(diǎn)1207(與光軸1209相距d₅像素的位置)。

如此，同一物體的點(diǎn)1201在左圖像1002中被拍攝至自光軸1208左移d₄像素的位置、在右圖像1003中被拍攝至自光軸1209右移d₅的位置，產(chǎn)生d₄+d₅像素的視差。因此，若將左攝像部101的光軸1208與點(diǎn)1201的距離設(shè)為x，則可通過下式來求立體攝像機(jī)100到點(diǎn)1201的距離D。

根據(jù)點(diǎn)1201與左方攝像部101的關(guān)系，d₂：f＝x：D

根據(jù)點(diǎn)1201與右方攝像部102的關(guān)系，d₃：f＝(d－x)：D

因而，D＝f×d/(d₂+d₃)＝f×d/{(d₄+d₅)×a}。此處，a為攝像面1203、1205的攝像元件的尺寸。

針對在前文所述的對應(yīng)點(diǎn)算出處理903中算出的所有對應(yīng)點(diǎn)而實(shí)施以上所述的距離算出。結(jié)果，可求出表現(xiàn)出立體攝像機(jī)100到對象物的距離的距離圖像，距離圖像與視差圖像可等價(jià)處理。

在本發(fā)明中，考慮到檢測對象物的識別應(yīng)用所需要的圖像分辨率、圖像區(qū)域、處理周期，而具有從多個(gè)處理部和存儲部中選擇要使用的處理部和存儲部的選擇功能，選擇功能中，帶有與基于自身車輛所行駛的道路種類等外部環(huán)境信息、自身車輛的速度等自身車輛行為信息等外部信息的使用運(yùn)算裝置和存儲裝置的時(shí)刻有關(guān)的信息。

根據(jù)本發(fā)明，由于根據(jù)外部信息來選擇需要的識別應(yīng)用，并選擇用以執(zhí)行該識別應(yīng)用的運(yùn)算裝置和存儲部，因此，可利用有限的存儲裝置、運(yùn)算裝置以需要的精度(處理周期、圖像區(qū)域、圖像分辨率)處理需要的多種識別應(yīng)用。

＜其他構(gòu)成例＞

圖11、圖12為說明第1實(shí)施方式的其他構(gòu)成例的框圖。

與圖1所示的構(gòu)成例的不同點(diǎn)在于，第4運(yùn)算裝置111內(nèi)置于車輛控制運(yùn)算裝置1301中。外界識別裝置由立體攝像機(jī)100和車輛控制運(yùn)算裝置1301構(gòu)成。圖12所示的構(gòu)成例與圖1所示的構(gòu)成例的不同點(diǎn)在于，第2運(yùn)算裝置109和第3運(yùn)算裝置110由單芯片化的多核心構(gòu)成。運(yùn)算裝置1601為具有2個(gè)運(yùn)算核心(第2運(yùn)算裝置109、第3運(yùn)算裝置110)的多核心CPU。本發(fā)明的外界識別裝置并不限定于圖1所示的構(gòu)成，例如可像上述圖11、圖12所示的構(gòu)成那樣進(jìn)行各種變更。

[第2實(shí)施方式]

接著，下面將使用圖13，對本發(fā)明的第2實(shí)施方式進(jìn)行說明。

在本實(shí)施方式中，特征之處在于設(shè)為如下構(gòu)成：將對車輛的前后左右進(jìn)行拍攝的4臺攝像機(jī)連接至立體攝像機(jī)，從而檢測車輛全周圍的行人。攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404是安裝在車輛上的單鏡頭攝像機(jī)，分別設(shè)置在車輛的前后左右。由立體攝像機(jī)100的左攝像部101、右攝像部102拍攝到的圖像和由攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404拍攝到的圖像被送至圖像區(qū)域切出部103。

在圖像區(qū)域切出部103中，切出由左攝像部101、右攝像部102、攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404拍攝到的圖像的一部分區(qū)域并傳送至第1存儲部105、第2存儲部106、第3存儲部107。

在第2運(yùn)算裝置109、第3運(yùn)算裝置110中，使用或者不使用由第1運(yùn)算裝置108計(jì)算出來的視差計(jì)算結(jié)果，進(jìn)行識別作為規(guī)定的識別對象物的前方的車輛、行人、道路標(biāo)識或者車輛全周圍的行人的處理。

在本實(shí)施方式中，除攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404以外的圖1中所記載的部分101～111被安裝在立體攝像機(jī)100中。對車輛的周圍進(jìn)行拍攝的攝像機(jī)并不限定于攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404這4臺，也可為任1個(gè)或2個(gè)或3個(gè)。

＜其他構(gòu)成例＞

圖14為說明第2實(shí)施方式的其他構(gòu)成例的框圖。

與圖13所示的構(gòu)成例的不同點(diǎn)在于，將立體攝像機(jī)100的構(gòu)成僅設(shè)為左攝像部101及右攝像部102，且在車輛控制運(yùn)算裝置1501中設(shè)置有圖像區(qū)域切出部103～第4運(yùn)算裝置111的構(gòu)成。

由立體攝像機(jī)100的左攝像部101、右攝像部102拍攝到的圖像和由攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404拍攝到的圖像被送至車輛控制運(yùn)算裝置1501的圖像區(qū)域切出部103。

在該構(gòu)成例中，除立體攝像機(jī)100、攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404以外的圖13中所記載的部分103～111被安裝在車輛控制運(yùn)算裝置1501中，整體上由立體攝像機(jī)100、攝像機(jī)1401、攝像機(jī)1402、攝像機(jī)1403、攝像機(jī)1404、車輛控制運(yùn)算裝置1501這6個(gè)殼體構(gòu)成。本發(fā)明的外界識別裝置并不限定于圖13所示的構(gòu)成，例如可像上述圖14所示的構(gòu)成那樣進(jìn)行各種變更。

以上，對本發(fā)明的實(shí)施方式進(jìn)行了詳細(xì)敘述，但本發(fā)明并不限定于所述實(shí)施方式，可在不脫離權(quán)利要求內(nèi)所記載的本發(fā)明的精神的范圍內(nèi)進(jìn)行各種設(shè)計(jì)變更。例如，所述實(shí)施方式是為了以易于理解的方式對本發(fā)明進(jìn)行說明而做的詳細(xì)說明，并非一定限定于包括說明過的所有構(gòu)成。此外，可將某一實(shí)施方式的構(gòu)成的一部分替換為其他實(shí)施方式的構(gòu)成，此外，也可對某一實(shí)施方式的構(gòu)成加入其他實(shí)施方式的構(gòu)成。進(jìn)而，可對各實(shí)施方式的構(gòu)成的一部分進(jìn)行其他構(gòu)成的追加、刪除、替換。

符號說明

100 立體攝像機(jī)

101 左攝像部

102 右攝像部

103 圖像區(qū)域切出部

104 選擇部

105 第1存儲部

106 第2存儲部

107 第3存儲部

108 第1運(yùn)算裝置

109 第2運(yùn)算裝置

110 第3運(yùn)算裝置

111 第4運(yùn)算裝置。