本申請是基于2014年10月9日申請的日本專利申請2014－208448號的，并在此通過參照引用該公開。

本公開涉及被應用于搭載了多個車載相機的車輛，用于使用車載相機所拍攝的拍攝圖像來監(jiān)視車輛的周邊的狀況的圖像的技術(shù)，或者校正車載相機的技術(shù)。

背景技術(shù)：

為了使車輛安全地行駛，重要的是掌握車輛的周邊存在的各種對象物(障礙物、行人等)的位置。因此，在現(xiàn)在的車輛中，通過使用多個車載相機來拍攝周邊的圖像，從而由車輛檢測對象物的位置，或使得駕駛員能夠容易地掌握車輛的周邊存在的對象物的位置。

例如提出一種通過將車載相機所拍攝的拍攝圖像俯瞰變換為宛如從俯視車輛的方向拍攝那樣的圖像(俯瞰圖像)并顯示，由此駕駛員能夠容易地掌握車輛和對象物的位置關(guān)系的技術(shù)。

在這個技術(shù)中，前提是車載相機相對于車輛以正確的安裝角度被安裝在正確的安裝位置上。然而，在安裝車載相機時一定會產(chǎn)生安裝誤差。因此，為了排除安裝誤差的影響，在車輛出廠時，對全部車載相機檢測安裝位置以及安裝角度。而且，以各個車載相機按其安裝位置以及安裝角度被安裝在車輛上為前提，通過使針對拍攝圖像的處理內(nèi)容最優(yōu)化來排除安裝誤差的影響。

另外，檢測車載相機的安裝位置以及安裝角度(或它們的一方)，或者檢測從正確的安裝位置以及安裝角度的偏差量來使針對拍攝圖像的處理內(nèi)容最優(yōu)化有時被稱為車載相機的校正(或校準)。

此處，車載相機的安裝位置或安裝角度有時因車輛的行駛中的振動、車載相機干擾到某一物等任何的理由而出廠時的狀態(tài)發(fā)生變化。這種情況下，必須將車輛帶入維修工廠來校正車載相機是不便的。因此，提出一種事先使鄰接的車載相機彼此的拍攝區(qū)域的一部分重復，在某個車載相機的安裝位置或安裝角度從出廠時的狀態(tài)發(fā)生變化的情況下，基于通過鄰接的車載相機的重復區(qū)域所得到的拍攝圖像來校正安裝位置或安裝角度變化的車載相機的技術(shù)(專利文獻1)。

專利文獻1:日本特開2014－101075號公報

然而，根據(jù)本申請發(fā)明人的研究，在所提出的技術(shù)中，若反復車載相機的校正(校準)，則校正的精度逐漸降低，有時不易精度良好地掌握處于車輛周邊的對象物的位置。認為這是因為如下那樣的理由。作為一個例子，使用通過對多個車載相機所拍攝的拍攝圖像進行俯瞰變換來顯示車輛的周邊的狀況的情況的例子來進行說明。

假設(shè)多個車載相機中的一個因相對于車輛的安裝位置或者安裝角度產(chǎn)生偏差而需要校正。以下，為了與其它的車載相機區(qū)別而將要校正的車載相機稱為“對象相機”。此時，如果鄰接的車載相機的安裝位置以及安裝角度沒有從出廠時改變，則使用鄰接的車載相機所拍攝的俯瞰圖像為基準，并使重復區(qū)域中的俯瞰圖像重疊，由此能夠正確地校正對象相機。

然而，對象相機需要校正對于鄰接的車載相機的安裝位置以及安裝角度，也有可能從出廠時的狀態(tài)產(chǎn)生誤差。而且，該情況下，由于使用產(chǎn)生誤差的車載相機為基準來校正對象相機，所以用作基準的車載相機的誤差傳播到對象相機。當然在校正的過程中也有可能產(chǎn)生誤差。

而且，之后，若其它的車載相機需要校正，則與該對象相機鄰接的車載相機以前被校正過，此時也有可能傳播誤差。該情況下，該誤差也傳播到新校正的對象相機。當然用作基準的車載相機以前被校正后，也有可能因行駛中的振動等而產(chǎn)生誤差，該情況下，誤差也傳播到對象相機。

這樣，若反復多個車載相機的校正，則誤差慢慢地積累，校正的精度逐漸降低。結(jié)果認為不易精度良好地掌握車輛周邊的對象物的位置。

技術(shù)實現(xiàn)要素：

本公開的目的之一在于提供即使反復進行車載相機的校正(校準)也能夠不會使精度降低地進行校正的技術(shù)。

根據(jù)本公開的一個觀點，提供被應用于搭載多個車載相機并且該多個車載相機以相互鄰接的該車載相機彼此拍攝區(qū)域的一部分重復的方式安裝的車輛，在上述多個車載相機的任意一個中相對于上述車輛的安裝位置或者安裝角度產(chǎn)生偏差的情況下，對產(chǎn)生該偏差的上述車載相機的安裝位置或者安裝角度進行校正的車載相機校正裝置。車載相機校正裝置具備：變化量檢測部，針對上述車載相機的各個，對該車載相機相對于上述車輛的安裝角度或者安裝位置的至少一方的從初始狀態(tài)的變化量進行檢測；對象相機選擇部，選擇上述變化量大于規(guī)定閾值的上述車載相機作為需要上述校正的對象相機；基準相機選擇部，在從上述多個車載相機中選擇了上述對象相機的情況下，選擇該多個車載相機中上述變化量最少的上述車載相機作為基準相機；中間相機選擇部，在上述對象相機與上述基準相機之間存在其它的上述車載相機的情況下，選擇該車載相機作為中間相機；第一校正部，在未選擇上述中間相機的情況下，基于上述基準相機和上述對象相機重復地拍攝的區(qū)域中的拍攝圖像來校正該對象相機；以及第二校正部，在選擇了上述中間相機的情況下，基于上述基準相機和該中間相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該中間相機后，基于該被校正的中間相機和上述對象相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該對象相機。

根據(jù)本公開的其它觀點，提供被應用于搭載多個車載相機并且該多個車載相機以相互鄰接的該車載相機彼此拍攝區(qū)域的一部分重復的方式安裝的車輛，基于通過上述多個車載相機所得到的拍攝圖像來生成用于監(jiān)視上述車輛的周邊的狀況的監(jiān)視圖像的圖像生成裝置。圖像生成裝置具備：拍攝圖像獲取部，從上述多個車載相機獲取上述拍攝圖像；變化量檢測部，針對上述車載相機的各個，對該車載相機相對于上述車輛的安裝角度或者安裝位置的至少一方的從初始狀態(tài)的變化量進行檢測；對象相機選擇部，選擇上述變化量大于規(guī)定閾值的上述車載相機作為需要進行有關(guān)上述安裝角度或者上述安裝位置的校正的對象相機；基準相機選擇部，在從上述多個車載相機中選擇了上述對象相機的情況下，選擇該多個車載相機中上述變化量最少的上述車載相機作為基準相機；中間相機選擇部，在上述對象相機與上述基準相機之間存在其它的上述車載相機的情況下，選擇該車載相機作為中間相機；第一校正部，在未選擇上述中間相機的情況下，基于上述基準相機和上述對象相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該對象相機；第二校正部，在選擇了上述中間相機的情況下，基于上述基準相機和該中間相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該中間相機后，基于該被校正的中間相機和上述對象相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該對象相機；以及圖像生成部，通過對從上述多個車載相機得到的上述拍攝圖像基于該車載相機的上述校正結(jié)果進行視線變換來生成上述監(jiān)視圖像。

根據(jù)本公開的其它觀點，提供被應用于搭載多個車載相機并且該多個車載相機以相互鄰接的該車載相機彼此拍攝區(qū)域的一部分重復的方式安裝的車輛，在上述多個車載相機的任意一個中在相對于上述車輛的安裝位置或者安裝角度產(chǎn)生偏差的情況下，對產(chǎn)生該偏差的上述車載相機的安裝位置或者安裝角度進行校正的車載相機校正方法。車載相機校正方法具備：變化量檢測步驟，針對上述車載相機的各個，對該車載相機相對于上述車輛的安裝角度或者安裝位置的至少一方的從初始狀態(tài)的變化量進行檢測；對象相機選擇步驟，選擇上述變化量大于規(guī)定閾值的上述車載相機作為需要上述校正的對象相機；基準相機選擇步驟，在從上述多個車載相機中選擇了上述對象相機的情況下，選擇該多個車載相機中上述變化量最少的上述車載相機作為基準相機；中間相機選擇步驟，在上述對象相機與上述基準相機之間存在其它的上述車載相機的情況下，選擇該車載相機作為中間相機；第一校正步驟，在未選擇上述中間相機的情況下，基于上述基準相機和上述對象相機重復地拍攝的區(qū)域中的拍攝圖像來校正該對象相機；以及第二校正步驟，在選擇了上述中間相機的情況下，基于上述基準相機和該中間相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該中間相機后，基于該被校正的中間相機和上述對象相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該對象相機。

根據(jù)本公開的其它觀點，提供被應用于搭載多個車載相機并且該多個車載相機以相互鄰接的該車載相機彼此拍攝區(qū)域的一部分重復的方式安裝的車輛，基于通過上述多個車載相機而得到的拍攝圖像來生成用于監(jiān)視上述車輛的周邊的狀況的監(jiān)視圖像的圖像生成方法。圖像生成方法具備：拍攝圖像獲取步驟，從上述多個車載相機獲取上述拍攝圖像；變化量檢測步驟，針對上述車載相機的各個，對該車載相機相對于上述車輛的安裝角度或者安裝位置的至少一方的從初始狀態(tài)的變化量進行檢測；對象相機選擇步驟，選擇上述變化量大于規(guī)定閾值的上述車載相機作為需要進行上述安裝角度或者上述安裝位置的校正的對象相機；基準相機選擇步驟，在從上述多個車載相機中選擇了上述對象相機的情況下，選擇該多個車載相機中上述變化量最少的上述車載相機作為基準相機；中間相機選擇步驟，在上述對象相機與上述基準相機之間存在其它的上述車載相機的情況下，選擇該車載相機作為中間相機；第一校正步驟，在未選擇上述中間相機的情況下，基于上述基準相機和上述對象相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該對象相機；第二校正步驟，在選擇了上述中間相機的情況下，基于上述基準相機和該中間相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該中間相機后，基于該被校正的中間相機和上述對象相機重復地拍攝的區(qū)域中的上述拍攝圖像來校正該對象相機；以及圖像生成步驟，通過對從上述多個車載相機得到的上述拍攝圖像基于該車載相機的上述校正結(jié)果進行視線變換來生成上述監(jiān)視圖像。

根據(jù)上述的車載相機校正裝置、圖像生成裝置、車載相機校正方法以及圖像生成方法，在選擇了中間相機的情況下，不光使用基準相機來校正對象相機，中間相機也能夠使用基準相機來校正。而且，在下次需要校正時，即使前次校正時的基準相機、對象相機、中間相機的至少一個，如果安裝位置以及安裝角度沒有變化，則選擇該車載相機作為基準相機，能夠以與前次的校正時相同的精度進行校正。結(jié)果即使反復校正也能夠避免校正精度降低。

附圖說明

關(guān)于本公開的上述以及其它目的、特征及優(yōu)點，參照附圖并通過下述的詳細的說明會變得更加明確。在附圖中：

圖1是表示搭載了本實施例的圖像生成裝置以及車載相機校正裝置的車輛的說明圖。

圖2是概念性地示出搭載在車輛上的多個車載相機的拍攝區(qū)域的說明圖。

圖3是表示圖像生成裝置以及車載相機校正裝置200的大致的內(nèi)部結(jié)構(gòu)的說明圖。

圖4是圖像生成裝置生成用于監(jiān)視車輛的周邊的圖像的圖像生成處理的前半部分的流程圖。

圖5是圖像生成處理的后半部分的流程圖。

圖6是有關(guān)為了判斷車載相機的安裝位置以及安裝角度是否從初始狀態(tài)發(fā)生變化而檢測的變化量的說明圖。

圖7a是例示選擇了對象相機以及基準相機的方式的說明圖。

圖7b是例示選擇了對象相機以及基準相機的方式的說明圖。

圖8a是例示選擇了對象相機以及基準相機的其它方式的說明圖。

圖8b是例示選擇了對象相機以及基準相機的其它的方式的說明圖。

圖9是基準相機和對象相機鄰接的情況下使用基準相機為基準來校正對象相機的第一校正處理的流程圖。

圖10a是表示從基準相機的拍攝圖像中截取與對象相機的重復區(qū)域的圖像的樣子的說明圖。

圖10b是表示截取重復區(qū)域的圖像來檢測特征點的樣子的說明圖。

圖11a是例示在重復區(qū)域的圖像中檢測出特征點的樣子的說明圖。

圖11b是例示在重復區(qū)域的圖像中檢測出特征點的樣子的說明圖。

圖12是表示從對象相機的拍攝圖像中截取重復區(qū)域的圖像來檢測特征點的樣子的說明圖。

圖13是基準相機和對象相機不鄰接的情況下使用基準相機為基準來校正對象相機的第二校正處理的前半部分的流程圖。

圖14是第二校正處理的中間部分的流程圖。

圖15是第二校正處理的后半部分的流程圖。

圖16是示意性地示出基準相機和對象相機不鄰接的情況下，使用基準相機為基準來校正對象相機的說明圖。

圖17a是示意性地示出基準相機和對象相機不鄰接的情況下，使用基準相機為基準來校正對象相機的其它的方式的說明圖。

圖17b示意性地示出基準相機和對象相機不鄰接的情況下，使用基準相機為基準來校正對象相機的其它的方式的說明圖。

圖18是表示變形例的圖像生成裝置的大致的內(nèi)部結(jié)構(gòu)的說明圖。

圖19是概念性地示出變形例的圖像生成裝置以及車載相機校正裝置車載相機校正樣子概念性地示說明圖。

圖20是概念性地示出變形例的圖像生成裝置以及車載相機校正裝置200校正車載相機的其它的方式的說明圖。

圖21是概念性地示出在中間相機的選擇方法有多個的情況下，變形例的圖像生成裝置校正車載相機的樣子的說明圖。

圖22是概念性地示出中間相機的選擇方法有多個的情況下，變形例的圖像生成裝置校正車載相機的其它的方式的說明圖。

具體實施方式

以下，對實施例進行說明。

a.裝置結(jié)構(gòu)：

圖1示出搭載了本實施例的圖像生成裝置100(以及車載相機校正裝置200)的車輛1。如圖示，在車輛1上搭載多個(在圖示的例子中為4個)車載相機10f、10b、10l、10r、圖像生成裝置100(以及車載相機校正裝置200)、和顯示畫面20。

圖像生成裝置100(以及車載相機校正裝置200)是以cpu為中心，存儲器、計時器、輸入輸出周邊裝置等經(jīng)由總線相互可通信數(shù)據(jù)地連接的微型計算機。圖像生成裝置100從多個車載相機10f、10b、10l、10r接受拍攝圖像，實施后述的規(guī)定的處理而生成監(jiān)視圖像后，輸出至液晶顯示裝置等的顯示畫面20。

圖2概念性地示出車載相機10f、10b、10l、10r的搭載位置和拍攝區(qū)域。車載相機10f被搭載在車輛1的前方的保險杠上部，對車輛1的前方的拍攝區(qū)域d(f)進行拍攝。另外，車載相機10b被搭載在車輛1的后方的保險杠上部，對車輛1的后方的拍攝區(qū)域d(b)進行拍攝。而且，車載相機10l被搭載在車輛1的左側(cè)車門上后視鏡12l的下面，對車輛1的左側(cè)方的拍攝區(qū)域d(l)進行拍攝，車載相機10r被搭載在車輛1的右側(cè)車門上后視鏡12r的下面，對車輛1的右側(cè)方的拍攝區(qū)域d(r)進行拍攝。

另外，在車載相機10f、10b、10l、10r中搭載魚眼鏡頭等廣角鏡頭，能夠拍攝較寬的角度范圍。因此，如圖2所示，車載相機10f的拍攝區(qū)域d(f)和車載相機10r的拍攝區(qū)域d(r)在區(qū)域d(fr)一部分重復，車載相機10f的拍攝區(qū)域d(f)和車載相機10l的拍攝區(qū)域d(l)在區(qū)域d(fl)一部分重復。同樣地，車載相機10b的拍攝區(qū)域d(b)和車載相機10r的拍攝區(qū)域d(r)在區(qū)域d(br)一部分重復，車載相機10b的拍攝區(qū)域d(b)和車載相機10l的拍攝區(qū)域d(l)在區(qū)域d(bl)一部分重復。因此，如果將車載相機10f、10b、10l、10r的拍攝圖像連在一起，則能夠獲得向車輛1的整個周方向的拍攝圖像。

而且，本實施例的圖像生成裝置100對這些拍攝圖像實施視線變換來生成視線變換圖像。而且從視線變換圖像生成用于監(jiān)視車輛1的周圍的監(jiān)視圖像并輸出給顯示畫面20。此處“視線變換”是指將車載相機所拍攝的拍攝圖像變換為從與實際的拍攝方向不同的方向拍攝那樣的圖像的處理。另外，有時將視線變換為宛如從沿正下方(或斜下方)俯視車輛1的方向拍攝那樣的圖像的處理稱為“俯瞰變換”。另外，“視線變換圖像”是指對拍攝圖像進行視線變換所得到的圖像，“俯瞰圖像”是指對拍攝圖像進行俯瞰變換所得到的圖像。

此外，以下，為了便于說明，作為通過對拍攝圖像進行俯瞰變換而變換為俯瞰圖像進行說明。因此，在以下的說明中記載為“俯瞰變換”的地方通過換用為“視線變換”而能夠一般化。

在圖2中，利用虛線的矩形示出顯示畫面20上所顯示的俯瞰圖像的顯示范圍。這樣，如果對車載相機所拍攝的拍攝圖像進行俯瞰變換并顯示，則駕駛員能夠容易地掌握周圍的狀況。

可是，駕駛員為了正確地掌握車輛1的周圍的狀況，需要正確地進行俯瞰變換，以使顯示畫面20上所顯示的俯瞰圖像成為反映了實際的狀況的圖像。而且為此，前提是各個車載相機10f、10b、10l、10r相對于車輛1的安裝位置以及安裝角度沒有從在俯瞰變換時假定的安裝位置以及安裝角度發(fā)生變化。

當然，車載相機10f、10b、10l、10r的安裝位置或安裝角度有可能在車輛1出廠后因某些理由而產(chǎn)生偏差。因此，也提出一種在車載相機10f、10b、10l、10r的安裝位置或安裝角度產(chǎn)生偏差的情況下，對車載相機10f、10b、10l、10r進行校正(校準)的技術(shù)。此處“車載相機的校正”是指檢測車載相機相對于車輛1的安裝位置或安裝角度，或檢測從正確的安裝位置或安裝角度的偏差量，并基于該結(jié)果能夠適當?shù)貙ε臄z圖像進行俯瞰變換。

然而，若反復車載相機的校正，則無法正確地進行俯瞰變換，結(jié)果駕駛員不易正確地掌握車輛1的周圍的狀況。因此，本實施例的圖像生成裝置100(以及車載相機校正裝置200)為了即使反復進行車載相機的校正也能夠正確地進行俯瞰變換而具備以下那樣的特別的結(jié)構(gòu)。

圖3示出本實施例的圖像生成裝置100(以及車載相機校正裝置200)的大致的內(nèi)部結(jié)構(gòu)。如圖示，圖像生成裝置100具備拍攝圖像獲取部101、俯瞰圖像生成部102、圖像合成部103、圖像輸出部104、變化量檢測部105、對象相機選擇部106、基準相機選擇部107、中間相機選擇部108、第一校正部109、第二校正部110、警報輸出部111。

另外，這11個“部”著眼于圖像生成裝置100將用于監(jiān)視車輛1的周邊的圖像輸出給顯示畫面20的功能，便于對圖像生成裝置100的內(nèi)部結(jié)構(gòu)進行分類，并不是表示圖像生成裝置100物理地區(qū)分這些“部”。因此，這些“部”也能夠?qū)崿F(xiàn)為由cpu執(zhí)行的計算機程序，也能夠?qū)崿F(xiàn)為lsi、包括存儲器的電子電路，還能夠組合它們來實現(xiàn)。計算機程序可以通過存儲在非暫時的存儲介質(zhì)中來提供，也可以經(jīng)由電氣通信線路來提供。

另外，圖像生成裝置100中的變化量檢測部105、對象相機選擇部106、基準相機選擇部107、中間相機選擇部108、第一校正部109、第二校正部110、警報輸出部111的部分對應于“車載相機校正裝置200”。

如圖3所示，拍攝圖像獲取部101與車載相機10f、10b、10l、10r連接，從各個車載相機10f、10b、10l、10r獲取拍攝圖像。

俯瞰圖像生成部102從拍攝圖像獲取部101接受車載相機10f、10b、10l、10r的拍攝圖像，對各個拍攝圖像進行俯瞰變換來生成俯瞰圖像。圖像合成部103使用由俯瞰圖像生成部102生成的各個俯瞰圖像來合成顯示于顯示畫面20上的監(jiān)視圖像。而且，圖像輸出部104將圖像合成部103合成的監(jiān)視圖像輸出至顯示畫面20。

另外，拍攝圖像獲取部101將車載相機10f、10b、10l、10r的拍攝圖像也輸出至變化量檢測部105。變化量檢測部105若從拍攝圖像獲取部101接受車載相機10f、10b、10l、10r的拍攝圖像，則通過后述的方法來檢測各個車載相機10f、10b、10l、10r相對于車輛1的安裝位置以及安裝角度的變化量。

接著，對象相機選擇部106選擇車載相機10f、10b、10l、10r中變化量超過規(guī)定閾值的車載相機作為需要校正的“對象相機”。

另外，在選擇出對象相機的情況下，基準相機選擇部107選擇車載相機10f、10b、10l、10r中變化量最小的車載相機作為用作校正的基準的“基準相機”。

還在對象相機和基準相機不是相互鄰接的車載相機的情況下，選擇對象相機與基準相機之間所存在的車載相機作為“中間相機”。例如在圖2所示的例子中，在對象相機為車載相機10b，基準相機為車載相機10f的情況下，選擇車載相機10l或車載相機10r中的任意一個作為中間相機。

而且，在對象相機和基準相機相互鄰接的情況下，由于不選擇中間相機，所以第一校正部109使用基準相機的拍攝圖像來校正對象相機。

第一校正部109從對象相機選擇部106獲取確定對象相機的信息，并從基準相機選擇部107獲取確定基準相機的信息。而且，基準相機以及對象相機的拍攝圖像從拍攝圖像獲取部101獲取。

另外，第一校正部109將通過校正對象相機而得到的信息輸出給俯瞰圖像生成部102。

與此相對，在對象相機和基準相機不相互鄰接的情況下，選擇中間相機。因此，第二校正部110使用基準相機的拍攝圖像來校正中間相機，之后，使用中間相機的拍攝圖像來校正對象相機。

確定對象相機以及基準相機的信息從對象相機選擇部106以及基準相機選擇部107獲取。另外，確定中間相機的信息從中間相機選擇部108獲取。而且，基準相機、中間相機、以及對象相機的拍攝圖像從拍攝圖像獲取部101獲取。

另外，第二校正部110將通過校正中間相機而得到的信息、和通過校正對象相機而得到的信息輸出給俯瞰圖像生成部102。

此外，認為在被選擇為基準相機的車載相機的變化量較大的情況下，即使利用第一校正部109或第二校正部110校正其它的車載相機，也不會獲得足夠的校正精度。因此，警報輸出部111將被選擇為基準相機的車載相機的變化量與規(guī)定的允許值進行比較，在基準相機的變化量大于允許值的情況下，將該情況的警報經(jīng)由圖像輸出部104輸出至顯示畫面20。

俯瞰圖像生成部102若這樣從第一校正部109或第二校正部110接受與車載相機的校正結(jié)果有關(guān)的信息，則將該信息反映至以后的俯瞰變換。例如在從第一校正部109接受到對象相機的校正結(jié)果的情況下，使該信息在之后對對象相機的拍攝圖像進行俯瞰變換時被反映。另外，在從第二校正部110接受到對象相機以及中間相機的校正結(jié)果的情況下，使這些信息在之后對對象相機以及中間相機的拍攝圖像進行俯瞰變換時被反映。

如果這樣操作，則即使反復車載相機10f、10b、10l、10r的校正，也不會使精度降低而能夠進行校正。以下，對圖像生成裝置100生成用于監(jiān)視車輛1的周邊的圖像(此處為顯示畫面20上所顯示的圖像)的圖像生成處理進行說明，在該說明中，對即使反復車載相機10f、10b、10l、10r的校正，精度也不會降低的理由進行說明。

b.圖像生成處理：

在圖4以及圖5中示出本實施例的圖像生成裝置100生成顯示于顯示畫面20上的圖像的圖像生成處理的流程圖。

如圖示，在圖像生成處理中，首先，最初從車載相機10f、10b、10l、10r的各個獲取拍攝圖像(s100)。

接著，針對車載相機10f、10b、10l、10r的各個，對相對于車輛1的安裝位置以及安裝角度從出廠時的初始狀態(tài)變化的程度，即表示偏差的大小的指標(變化量)進行檢測(s101)。有關(guān)車載相機10f、10b、10l、10r的各個的變化量，能夠通過各種方法來檢測，但在本實施例中，簡便地使用如下那樣的方法來檢測。

圖6示出本實施例的圖像生成裝置100(以及車載相機校正裝置200)對有關(guān)車載相機10f、10b、10l、10r的變化量進行檢測的樣子。如前述，由于在車載相機10f、10b、10l、10r中搭載廣角鏡頭，所以如圖6中作為初始狀態(tài)所例示那樣，在獲得的拍攝圖像中拍入了車輛1的一部分。當然如果車載相機10f、10b、10l、10r相對于車輛1的安裝位置或安裝角度的至少一方發(fā)生變化，則拍入到拍攝圖像中的車輛1的位置也變化。圖6中，因安裝位置或安裝角度發(fā)生變化而拍入到拍攝圖像中的車輛1的位置發(fā)生變化的樣子作為偏差產(chǎn)生而被例示。

因此，事先存儲在相當于車輛1出廠時的初始狀態(tài)的拍攝圖像(圖6中例示)中拍入的車輛1的輪廓線的位置。拍攝圖像中的車輛1的輪廓線的位置針對于車載相機10f、10b、10l、10r的各個事先存儲。而且，之后，若獲取拍攝圖像，則檢測拍入到該拍攝圖像的車輛1的輪廓線的位置，并與作為初始狀態(tài)而被存儲的位置相比較。

圖6示出對作為初始狀態(tài)被存儲的輪廓線的位置(圖中用虛線顯示)、和之后檢測出的車輛1的輪廓線的位置(圖中用實線顯示)進行比較的樣子。在圖6中，由表示初始狀態(tài)的輪廓線的虛線、和表示之后檢測出的輪廓線的實線圍起的部分(圖中標注虛線的部分)的偏差面積s對應于因相對于車輛1的安裝位置以及安裝角度產(chǎn)生的偏差的大小。

可是，若拍入到拍攝圖像的車輛1的輪廓線變長，則偏差面積s有成為較大的值的趨勢。因此，事先存儲初始狀態(tài)下的輪廓線的線長l，通過將偏差面積s除以輪廓線的線長l來計算變化量c(參照圖6的式子)。在車載相機10f、10b、10l、10r的各個的拍攝圖像中，拍入的輪廓線的長度不同，但如果事先計算變化量c，則拍入到拍攝圖像的車輛1的輪廓線的長度不會受到影響，而能夠比較偏差的大小。

另外，此處，作為利用拍入到拍攝圖像的車輛1的輪廓線來檢測有關(guān)車載相機10f、10b、10l、10r的各個的變化量c進行了說明。可是，檢測變化量c的方法并不限于這個方法。也可以例如在車載相機10f、10b、10l、10r的各個安裝精度高的位置傳感器等，通過更直接的方法來檢測變化量c。

如以上那樣，若檢測有關(guān)車載相機10f、10b、10l、10r的各個的變化量c(圖4的s101)，則判斷是否存在變化量c超過規(guī)定閾值的車載相機(s102)。

結(jié)果在判斷為不存在變化量c超過規(guī)定閾值的車載相機的情況下(s102：否)，認為車載相機10f、10b、10l、10r的哪個都不需要校正。因此，對通過各個車載相機10f、10b、10l、10r所得到的拍攝圖像進行俯瞰變換來合成得到的俯瞰圖像，從而生成顯示于顯示畫面20上的圖像(監(jiān)視圖像)(s111)。

之后，在將合成的監(jiān)視圖像輸出至顯示畫面20后(s112)，判斷是否結(jié)束圖像的生成(s113)。結(jié)果在判斷為未結(jié)束的情況下(s113：否)，返回到處理的前端，再次獲取拍攝圖像(s100)。而且，對每個車載相機10f、10b、10l、10r檢測變化量c(s101)，并判斷是否存在變化量c超過規(guī)定閾值的車載相機(s102)。

在車載相機10f、10b、10l、10r的任意一個的變化量c都不超過規(guī)定閾值的期間，直至判斷為結(jié)束處理為止(s113：是)，反復上述的一系列的處理。

與此相對，在車載相機10f、10b、10l、10r的任意一個的變化量c超過規(guī)定閾值的情況下(s102：是)，認為需要車載相機的校正。

因此，選擇變化量c超過規(guī)定閾值的車載相機作為需要校正的“對象相機”(s103)。而且，選擇車載相機10f、10b、10l、10r中變化量c最小的車載相機作為校正時用作基準的“基準相機”(s104)。

另外，在2個以上的車載相機中，變化量c同時超過閾值的狀況在現(xiàn)實中難以想象到，但在產(chǎn)生這樣的狀況的情況下，選擇這些車載相機中變化量c大的一方作為對象相機。而且，在通過后述的方法校正對象相機后，未選擇為對象相機的一個車載相機的變化量c依然超過閾值的情況下，重新選擇該車載相機作為對象相機即可。

接著，判斷選擇為基準相機的車載相機的變化量是否是規(guī)定的允許量以下(s105)。認為結(jié)果基準相機的變化量超過允許量的情況下(s105：否)，即使將基準相機用作基準來校正對象相機，也不會獲得足夠的校正精度。因此，該情況下，通過在顯示畫面20上顯示該情況的警報來通知駕駛員(s106)?；蛘?，也可以輸出不會獲得足夠的校正精度的情況的聲音。如果這樣輸出警報，則能夠促使駕駛員將車輛1搬入維修工廠等來正確地校正車載相機。

與此相對，在基準相機的變化量未超過允許量的情況下(s105：是)，不輸出警報。

之后，判斷被選擇為對象相機的車載相機、和被選擇為基準相機的車載相機是否是鄰接的車載相機(s107)。例如，如圖7a所例示，在車載相機10b被選擇為對象相機、車載相機10r被選擇為基準相機的情況下，判斷為對象相機和基準相機鄰接。

另外，圖中包圍車載相機10b的虛線的矩形表示車載相機10b被選擇為對象相機。另外，圖中包圍車載相機10r的虛線的圓形表示車載相機10r被選擇為基準相機。

與此相對，如圖7b所例示，在車載相機10b被選擇為對象相機，車載相機10f被選擇為基準相機的情況下，判斷為對象相機和基準相機不鄰接。

如以上那樣，判斷對象相機和基準相機是否鄰接(圖4的s107)，在判斷為鄰接的情況下(s107：是)，開始第一校正處理(s108)。第一校正處理的詳細后述，但第一校正處理是在上述的圖像生成處理中起動，并與圖像生成處理并行地校正對象相機的處理。

與此相對，在判斷為對象相機和基準相機不鄰接的情況下(s107：否)，選擇對象相機與基準相機之間存在的車載相機作為中間相機(s109)。例如，在圖7b所示的例子中，選擇車載相機10l或車載相機10r的任意一方作為中間相機。

另外，在本實施例中，在車輛1上搭載4個車載相機10f、10b、10l、10r，因此在對象相機和基準相機不鄰接的情況下，對象相機與基準相機之間存在的車載相機(中間相機)必定為一個。然而，被選擇為中間相機的車載相機未必是一個。

例如如圖8a所例示，假設(shè)在車輛1上搭載6個車載相機，選擇車載相機10b作為對象相機，選擇車載相機10f作為基準相機。此時，搭載在車輛1的右側(cè)方的車載相機10rf以及車載相機10rb這兩個車載相機或搭載在車輛1的左側(cè)方的車載相機10lf以及車載相機10lb這兩個車載相機被選擇為中間相機。

或者，如圖8b所例示，假設(shè)選擇車載相機10b作為對象相機，選擇車載相機10rf作為基準相機。該情況下，也能夠選擇一個車載相機(車載相機10rb)作為中間相機，也能夠選擇車載相機10f、車載相機10lf、以及車載相機10lb這三個車載相機作為中間相機。

若從迅速地校正對象相機的觀點來看，優(yōu)選以選擇的車載相機的數(shù)量變少的方式選擇中間相機。另一方面，若從即使反復校正也不會使精度降低的觀點來看，優(yōu)選以選擇的車載相機的數(shù)量變多的方式選擇中間相機。對該理由，后面詳細地進行說明。

若這樣選擇中間相機，則開始第二校正處理(s110)。詳細后述，但第二校正處理也是在上述的圖像生成處理中起動，并與圖像生成處理并行地校正對象相機的處理。

c.第一校正處理：

圖9示出第一校正處理的流程圖。該處理如上述那樣，在圖4的圖像生成處理中被選擇的對象相機和基準相機是鄰接的車載相機的情況下開始，并由圖像生成裝置100(以及車載相機校正裝置200)執(zhí)行的處理。

若開始第一校正處理(s200)，則首先最初從拍攝圖像獲取部101獲取被選擇為基準相機的車載相機的拍攝圖像、和被選擇為對象相機的車載相機的拍攝圖像(s201)。

另外，以下，按照圖7a所示的例子，作為基準相機為車載相機10r、對象相機為車載相機10b進行說明。

接著，從基準相機的拍攝圖像中截取拍攝區(qū)域與對象相機重復的區(qū)域的圖像，并從該圖像中檢測特征點(s202)。

此處，由于基準相機為車載相機10r、對象相機為車載相機10b，所以如圖10a所示，從車載相機10r的拍攝圖像截取車載相機10r的拍攝區(qū)域d(r)和車載相機10b的拍攝區(qū)域d(b)重復的區(qū)域d(br)的圖像。而且，如圖10b所示，從截取出的圖像中檢測特征點f。

另外，作為特征點f，只要是例如如路面上所描繪的白線的交點等那樣能夠在拍攝圖像中確定位置的點，則能夠檢測各種點。

另外，在如本實施例那樣對拍攝圖像進行俯瞰變換來顯示俯瞰圖像的情況下，并不是重復的區(qū)域d(br)的圖像全體，而是如圖10a和圖10b中虛線所示，也可以截取被顯示為俯瞰圖像的范圍的圖像，從該圖像中檢測特征點f。

之后，計算檢測出的特征點的信賴度評價值(s203)。此處，特征點的信賴度評價值是指評價在使用檢測出的特征點來校正的情況下，能夠以何種程度的可靠性進行校正的指標。

例如如圖11a所例示，認為檢測出的特征點f的個數(shù)較少的情況下難以進行可靠性高的校正。

另外，即使檢測出大量的特征點f，但在它們失衡地分布的情況下，認為難以進行可靠性高的校正。特征點f的分布的失衡如圖11b所例示，能夠使用特征點f的分布寬度w來評價?；蛘?，也能夠使用特征點f的坐標值的方差來評價。

而且，即使在大量的特征點f分布在較寬的范圍的狀態(tài)下被檢測的情況下，如果各個特征點f的位置精度較低，則認為難以進行可靠性高的校正。例如，拍攝圖像的焦點模糊的情況下，即使能夠檢測特征點f，但仍無法以足夠的位置精度進行檢測?；蛘?，在拍攝圖像過暗(或者過亮)等對比度不足夠的情況下，也無法以足夠的位置精度檢測特征點f。而且，認為如果不能以足夠的位置精度檢測特征點f，則難以進行可靠性高的校正。

在本實施例中，使用檢測出特征點f的位置處的圖像的亮度梯度來評價檢測出的特征點f的位置精度。這是因為認為如果在檢測出特征點f的位置上圖像的焦點不模糊、且獲得足夠的對比度，則在該特征點f的位置上，圖像的亮度較大地變化(亮度梯度較大)。

基于以上，在圖9的s203中使用下式來計算特征點的信賴度評價值。

信賴度評價值＝α·(特征點的個數(shù))+β·(特征點的分布)+γ·(各特征點中的亮度梯度的平均值)

此處，α、β、γ是針對于特征點的個數(shù)、特征點的分布、各特征點中的亮度梯度的平均值的權(quán)重系數(shù)。如果事先將各個權(quán)重系數(shù)的比率設(shè)定為適當?shù)谋嚷?，則能夠計算適當?shù)胤从沉颂卣鼽c的個數(shù)、特征點的分布、各特征點中的亮度梯度的平均值的影響的信賴度評價值。另外，根據(jù)該計算式，特征點的個數(shù)越多，特征點的分布越廣，各特征點中的亮度梯度的平均值越大，信賴度評價值越大。

若如以上那樣操作來計算特征點的信賴度評價值(圖9的s203)，則判斷得到的信賴度評價值是否是規(guī)定的基準值以上(s204)。

結(jié)果認為在信賴度評價值小于基準值的情況下(s204：否)，即使使用檢測出的特征點來校正也無法進行可靠性高的校正。因此，返回到處理的前端，獲取基準相機以及對象相機的拍攝圖像后(s201)，從拍攝圖像中的重復區(qū)域的圖像檢測特征點(s202)。而且，計算檢測出的特征點的信賴度評價值后(s203)，判斷得到的信賴度評價值是否超過基準值(s204)。

若反復這樣的步驟的過程中，不久判斷為信賴度評價值為基準值以上(s204：是)。而且由于認為該情況下，檢測出能夠以足夠的可靠性進行校正那樣的特征點，所以如以下那樣開始對象相機的校正。

首先，從對象相機(此處為車載相機10b)的拍攝圖像中截取與基準相機(此處為車載相機10r)重復地拍攝的區(qū)域的圖像來檢測圖像中的特征點(s205)。

圖12示出從車載相機10b的拍攝圖像中，截取車載相機10b(對象相機)的拍攝區(qū)域d(b)和車載相機10r(基準相機)的拍攝區(qū)域d(r)重復的區(qū)域d(br)的圖像來檢測特征點g的樣子。另外，該情況下，也不是重復的區(qū)域d(br)的圖像全體，而如圖12中虛線所示，可以截取被顯示為俯瞰圖像的范圍的圖像并從該圖像中檢測特征點g。

而且，以從對象相機的拍攝圖像檢測出的特征點g(參照圖12)與從基準相機的拍攝圖像檢測出的特征點f(參照圖10b)重疊的方式對對象相機相對于車輛1的安裝位置以及安裝角度進行校正(s206)。校正基于如下那樣的原理來進行。

例如若比較圖10b所示的特征點f、和圖12所示的特征點g，則兩者相對于車輛1的位置不同。認為這是因為作為對象相機的車載相機10b相對于車輛1的安裝位置或安裝角度的至少一方產(chǎn)生偏差，所以無法正確地對拍攝圖像進行俯瞰變換而產(chǎn)生的現(xiàn)象。

因此，一邊在當前假定的安裝位置以及安裝角度的周邊對對象相機的安裝位置以及安裝角度進行各種變更一邊進行俯瞰變換，并將得到的特征點g的位置與從基準相機得到的特征點f的位置相比較。結(jié)果若得到特征點g的位置相對于特征點f的位置接近到誤差的程度的俯瞰圖像，則將在進行此時的俯瞰變換時假定的安裝位置以及安裝角度認為是產(chǎn)生偏差后的對象相機的正確的安裝位置以及安裝角度即可。據(jù)此，如果以從對象相機的拍攝圖像檢測出的特征點g與從基準相機的拍攝圖像檢測出的特征點f重疊的方式求出被俯瞰變換的安裝位置以及安裝角度，則能夠校正對象相機。

若這樣校正對象相機(s206)，則更新作為該對象相機初始狀態(tài)而被存儲的輪廓線的位置后(s207)，結(jié)束圖9的第一校正處理。即，在結(jié)束第一校正處理前，從校正所使用的對象相機的拍攝圖像中檢測車輛1的輪廓線的位置來更新對象相機(此處為車載相機10b)的初始狀態(tài)的輪廓線的位置。

而且，之后，在前述的圖像生成處理(參照圖4以及圖5)中對對象相機(此處為車載相機10b)的拍攝圖像進行俯瞰變換時(圖5的s111)，設(shè)為對象相機的安裝位置以及安裝角度為被校正的安裝位置以及安裝角度而進行俯瞰變換。

以上，對在校正的對象的對象相機和校正時用作基準的基準相機鄰接的情況下，校正對象相機的處理(第一校正處理)進行了說明。與此相對，在對象相機和基準相機不鄰接的情況下，如下那樣校正對象相機。

d.第二校正處理：

圖13～圖15示出第二校正處理的流程圖。該處理如上述那樣，是在圖4以及圖5的圖像生成處理中所設(shè)定的對象相機和基準相機是不鄰接的車載相機的情況下開始，并由圖像生成裝置100(以及車載相機校正裝置200)執(zhí)行的處理。

此處，在進入到第二校正處理的詳細的說明前，為了便于理解，事先說明與前述的第一校正處理的差異的概要。在前述的第一校正處理中，由于基準相機和對象相機鄰接，所以基準相機的拍攝區(qū)域的一部分與對象相機的拍攝區(qū)域的一部分重復。因此，能夠使用基準相機的拍攝圖像來校正對象相機。

與此相對，在第二校正處理中，由于基準相機和對象相機不鄰接，所以無法使用基準相機的拍攝圖像來直接地校正對象相機。因此，首先最初，使用基準相機的拍攝圖像來校正與基準相機鄰接的中間相機。而且，在該中間相機與對象相機鄰接的情況下，使用校正過的中間相機的拍攝圖像校正對象相機。

另外，在與基準相機鄰接的中間相機不與對象相機鄰接的情況下，使用基準相機的拍攝圖像來校正與基準相機鄰接的中間相機，并使用校正過的中間相機的拍攝圖像來校正與該中間相機鄰接的中間相機。這樣，通過從與基準相機鄰接的中間相機逐個地校正中間相機，最終能夠校正與對象相機鄰接的中間相機。而且，若校正與對象相機鄰接的中間相機，則使用校正過的中間相機的拍攝圖像來校正對象相機。

以下，對于這樣的第二校正處理，以與第一校正處理的不同點為中心簡單地進行說明。

如圖13所示，若開始第二校正處理(s300)，則首先最初，從拍攝圖像獲取部101獲取基準相機的拍攝圖像、和與基準相機鄰接的中間相機的拍攝圖像(s301)。另外，以下，按照圖7b的例子，設(shè)為被選擇為基準相機的車載相機為車載相機10f、被選擇為對象相機的車載相機為車載相機10b進行說明。

接著，從基準相機的拍攝圖像中截取拍攝區(qū)域與鄰接的中間相機重復的區(qū)域的圖像，從該圖像中檢測特征點(s302)。在基準相機為車載相機10f、鄰接的中間相機為車載相機10r的情況下，從車載相機10f的拍攝圖像中截取區(qū)域d(fr)的圖像(參照圖2)來檢測特征點f。

之后，計算檢測出的特征點的信賴度評價值(s303)。對于計算特征點的信賴度評價值、以及信賴度評價值的方法，由于與前述的第一校正處理中所說明的內(nèi)容相同，所以此處省略說明。

而且，判斷得到的信賴度評價值是否是規(guī)定的基準值以上(s304)。

結(jié)果在信賴度評價值小于基準值的情況下(s304：否)，返回到處理的前端，再一次獲取基準相機以及與基準相機鄰接的中間相機的拍攝圖像(s301)，反復上述的一系列的處理(s302～s304)。

若反復這樣的步驟的過程中，不久判斷為信賴度評價值為基準值以上(s304：是)，則從與基準相機鄰接的中間相機(此處為車載相機10r)的拍攝圖像中截取與基準相機(此處為車載相機10f)重復地拍攝的區(qū)域的圖像來檢測圖像中的特征點(s305)。

而且，通過求出從中間相機的拍攝圖像檢測出的特征點與從基準相機的拍攝圖像檢測出的特征點重疊那樣的安裝位置以及安裝角度，從而校正中間相機(s306)。

此處，中間相機的安裝位置以及安裝角度所產(chǎn)生的偏差的大小只不過是還不需要校正的程度的大小。然而，由于基準相機是搭載在車輛1上的多個車載相機中偏差最小的車載相機，所以可以說與該基準相機相比，中間相機偏差大。因此，如上述，通過使用基準相機的拍攝圖像來校正鄰接的中間相機，能夠使該中間相機的偏差的大小減少到與基準相機的偏差的大小相同的程度。

若這樣對與基準相機鄰接的中間相機進行校正(s306)，則更新作為該中間相機初始狀態(tài)而被存儲的輪廓線的位置后(s307)，判斷是否存在與該中間相機鄰接的下一個中間相機(s308)。此處，如圖7b例示，由于基準相機為車載相機10f、中間相機為車載相機10r、對象相機為車載相機10b，所以判斷為不存在下一個中間相機(s308：否)。

與此相對，如圖8a例示，在基準相機與對象相機之間存在多個中間相機的情況下，判斷為存在下一個中間相機(s308：是)。而且該情況下，從拍攝圖像獲取部101重新獲取校正過的中間相機的拍攝圖像、和與該中間相機鄰接的下一個中間相機的拍攝圖像(圖14的s309)。之后，針對這些拍攝圖像，與上述的一系列的處理(s302～s307)同樣地校正下一個中間相機。

以下，若參照圖14簡單地進行說明，則從校正過的中間相機的拍攝圖像中截取與鄰接的中間相機的重復區(qū)域的圖像，從該圖像中檢測特征點(s310)。而且，計算檢測出的特征點的信賴度評價值(s311)，并判斷得到的信賴度評價值是否是規(guī)定的基準值以上(s312)。

結(jié)果在信賴度評價值小于基準值的情況下(s312：否)，返回到處理的前端，獲取新的拍攝圖像(s309)。與此相對，在信賴度評價值為基準值以上的情況下(s312：是)，從與校正完畢的中間相機鄰接的中間相機的拍攝圖像中截取與校正完畢的中間相機的重復區(qū)域的圖像來檢測圖像中的特征點(s313)。

而且，以從中間相機的拍攝圖像檢測出的特征點與從校正完畢的中間相機的拍攝圖像檢測出的特征點重疊的方式校正中間相機(s314)，并更新作為該中間相機初始狀態(tài)而被存儲的輪廓線的位置(s315)。

之后，判斷是否存在與該中間相機鄰接的下一個中間相機(s316)。結(jié)果在存在下一個中間相機的情況下(s316：是)，返回到s309，反復之后的上述的一系列的處理(s309～s316)。

與此相對，在不存在下一個中間相機的情況下(s316：否)，在校正過的中間相機和與該中間相機鄰接的對象相機之間進行與上述的處理同樣的處理來校正對象相機。

即，從拍攝圖像獲取部101獲取校正過的中間相機的拍攝圖像、和與該中間相機鄰接的對象相機的拍攝圖像(圖15的s317)。而且，從校正過的中間相機的拍攝圖像中截取與對象相機的重復區(qū)域的圖像來檢測特征點(s318)，計算特征點的信賴度評價值(s319)，并判斷信賴度評價值是否是規(guī)定的基準值以上(s320)。

在信賴度評價值小于基準值的情況下(s320：否)，返回到處理的前端，獲取新的拍攝圖像(s317)。與此相對，在信賴度評價值為基準值以上的情況下(s320：是)，從對象相機的拍攝圖像中截取與校正完畢的中間相機的重復區(qū)域的圖像來檢測特征點(s321)。而且，以從對象相機的拍攝圖像檢測出的特征點與從校正完畢的中間相機的拍攝圖像檢測出的特征點重疊的方式校正對象相機(s322)。之后，更新作為對象相機初始狀態(tài)而被存儲的輪廓線的位置(s323)，結(jié)束圖13～圖15的第二校正處理。

而且，之后，在前述的圖像生成處理(參照圖4以及圖5)中對象相機以及中間相機的拍攝圖像進行俯瞰變換時(圖5的s111)，按照被校正的安裝位置以及安裝角度進行俯瞰變換。

圖16概念性地示出通過上述的第二校正處理校正對象相機的樣子。在圖示的例子中，通過基準相機(車載相機10f)校正中間相機(車載相機10r)，并利用校正過的中間相機(車載相機10r)校正對象相機(車載相機10b)。

因此，對于對象相機(車載相機10b)來說，由于能夠?qū)⑵钭钚〉幕鶞氏鄼C(車載相機10f)用作基準來校正，所以與將鄰接的中間相機(車載相機10r)用作基準來校正的情況相比能夠精度更良好地進行校正。

另外，在對象相機(車載相機10b)的校正之前，中間相機(車載相機10r)也使用基準相機(車載相機10f)而被校正。因此，對于4個車載相機中的3個車載相機，能夠?qū)惭b位置以及安裝角度的偏差的大小保持為與基準相機相同的程度。

當然，對于剩余的一個車載相機(車載相機10l)，無法成為與基準相機相同的程度。然而，在該車載相機的偏差變大而需要校正時，如果剩余的3個車載相機10f、10r、10b的至少一個維持剛校正之后的狀態(tài)，則可以將該車載相機使用為基準相機來進行校正。因此，即使反復校正，也能夠精度良好地進行校正。

另外，如使用圖8b前述那樣，在選擇中間相機時，存在能夠進行中間相機的數(shù)量變少那樣的選擇的方法、和中間相機的數(shù)量變多那樣的選擇的方法的情況。圖17a和圖17b概念性地示出針對各個情況，校正對象相機的樣子。

如圖17a例示，在以中間相機的數(shù)量變少的方式選擇的情況下，由于校正的中間相機的數(shù)量變少，所以能夠迅速地校正對象相機。

與此相對，如圖17b例示，在以中間相機的數(shù)量變多的方式選擇的情況下，對于多個中間相機，能夠?qū)④囕d相機的偏差的大小保持為與基準相機相同的程度。因此，即使在發(fā)生接著需要校正的情況下，也能夠選擇偏差未變大的車載相機作為基準相機的可能性進一步變高。結(jié)果即使反復校正也能夠避免精度降低的情況。

e.變形例：

在上述的實施例中，作為基準相機和對象相機鄰接的情況下，使用基準相機來校正對象相機進行了說明。該情況下，產(chǎn)生未被校正的車載相機。另外，作為基準相機和對象相機不鄰接的情況下，使用基準相機來校正中間相機，并使用校正過的中間相機來校正對象相機進行了說明。該情況下也產(chǎn)生未被校正的車載相機。

對此，也可以使用基準相機來校正剩余的全部的車載相機。

圖18示出變形例的圖像生成裝置100以及變形例的車載相機校正裝置200的大致的內(nèi)部結(jié)構(gòu)。圖18所示的變形例的圖像生成裝置100(以及車載相機校正裝置200)相對于使用圖3所前述的本實施例的圖像生成裝置100(以及車載相機校正裝置200)，在具備第三校正部112來代替警報輸出部111的這一點不同。另外，變形例的圖像生成裝置100也可以具備警報輸出部111。

第三校正部112從對象相機選擇部106獲取被選擇為對象相機的車載相機的信息，從基準相機選擇部107獲取被選擇為基準相機的車載相機的信息，從中間相機選擇部108獲取被選擇為中間相機的車載相機的信息。而且，對于多個車載相機10f、10b、10l、10r中未被選擇為基準相機、對象相機、中間相機的任何一個的車載相機，將基準相機或?qū)ο笙鄼C用作基準來更新。

例如如圖19例示，假設(shè)對象相機(圖中由虛線的矩形包圍來顯示)為車載相機10b，基準相機(圖中由虛線的圓形包圍來顯示)為車載相機10r。該情況下，第一校正部109如圖19的左部所示，使用基準相機(車載相機10r)來校正對象相機(車載相機10b)。

之后，第三校正部112如圖19的右部所示，使用基準相機(車載相機10r)來校正車載相機10f，并使用更新后的車載相機10f來校正車載相機10l。

或者，第三校正部112也可以如圖20例示那樣進行校正。即，首先最初，第一校正部109使用基準相機(車載相機10r)來校正對象相機(車載相機10b)(參照圖20的左部)。之后，也可以由第三校正部112使用校正過的對象相機來校正車載相機10l，并利用校正過的車載相機10l校正車載相機10f(參照圖20的右部)。

另外，如使用圖17a和圖17b前述那樣，存在能夠進行中間相機的數(shù)量變少那樣的選擇的方法、和中間相機的數(shù)變多那樣的選擇的方法的情況。在變形例中，這樣的情況下，如下那樣操作來校正車載相機。

例如如圖21所示，假設(shè)在車輛1上搭載6個車載相機10f、10b、10rf、10rb、10lf、10lb，其中的車載相機10b為對象相機、車載相機10rf為基準相機。該情況下，在變形例中，以中間相機的數(shù)量變少的方式選擇車載相機10rb作為中間相機。

接下來，第二校正部110如圖21的左部所示，使用基準相機(車載相機10rf)來校正中間相機(車載相機10rb)后，使用校正過的中間相機來校正對象相機(車載相機10b)。

之后，第三校正部112如圖21的右部所示，使用基準相機(車載相機10rf)來校正剩下的車載相機10f，接下來校正車載相機10lf，最后校正車載相機10lb。

或者，如圖22的左部例示，第二校正部110使用基準相機(車載相機10rf)來校正中間相機(車載相機10rb)，接下來校正對象相機(車載相機10b)。之后，第三校正部112如圖22的右部例示，可以使用校正完畢的對象相機(車載相機10b)來校正車載相機10lb，接下來校正車載相機10lf，最后校正車載相機10f。

在以上那樣的變形例中，在基準相機和對象相機鄰接的情況下，通過使用基準相機來校正對象相機，能夠迅速地校正對象相機。另外，在基準相機和對象相機不鄰接的情況下，選擇中間相機。此時，在能夠進行中間相機的數(shù)量變少那樣的選擇的方法、和中間相機的數(shù)量變多那樣的選擇的方法的情況下，以中間相機的數(shù)量變少的方式選擇。而且，使用基準相機來校正中間相機后，使用校正過的中間相機來校正對象相機。因此，即使在經(jīng)由中間相機校正對象相機的情況下，也能夠迅速地校正對象相機。

而且，校正對象相機后，未被校正的剩余的車載相機也能夠校正為與基準相機相同的程度。因此，認為在接下來需要校正時，多個車載相機的至少一個被保持為剛校正之后的沒有偏差的狀態(tài)，所以即使在反復校正的情況下，也能夠避免校正的精度降低。

本公開依據(jù)實施例進行了描述，但是應理解本公開并不限定于該實施例、結(jié)構(gòu)。本公開也包含各種變形例、等同范圍內(nèi)的變形。除此以外，各種各樣的組合、形態(tài)、還有在它們中僅包含一要素、其以上或其以下的其它組合或形態(tài)也包含在本申請的范疇及思想范圍內(nèi)。