專利名稱：照相機(jī)校正裝置和方法、以及車輛的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及實(shí)現(xiàn)為了將照相機(jī)的攝影圖像投影及合成到規(guī)定面上而 需要的校正處理的照相機(jī)校正裝置及照相機(jī)校正方法，還涉及利用了該照 相機(jī)校正裝置及照相機(jī)校正方法的車輛。
背景技術(shù)：
隨著近年來安全意識的提高，在汽車等車輛中搭載照相機(jī)(車載照相 機(jī))的情況增多。另外，正在開展不僅對照相機(jī)的影像進(jìn)行顯示，而且利 用圖像處理技術(shù)，使人觀看更柔和的影像的研究。其中之一是通過對拍攝 的圖像進(jìn)行坐標(biāo)變換，生成如從地面上方眺望的鳥瞰像并進(jìn)行顯示。 通過顯示該鳥瞰像，駕駛者易于掌握車輛周邊的狀況。
進(jìn)而，正在開發(fā)通過對從多個(gè)照相機(jī)獲得的攝影圖像進(jìn)行幾何變換而 變換為全周鳥瞰像，并在顯示裝置上對其進(jìn)行顯示的視場支援系統(tǒng)。 在該視場支援系統(tǒng)中，可將車輛全周的狀況作為從上空觀察的影像提示給
駕駛者，因此，具有能從360度無死角地覆蓋車輛的周邊的優(yōu)點(diǎn)。
圖25中表示應(yīng)用了這種視場支援系統(tǒng)的車輛的俯視圖，圖26中表示 從左斜前方觀察該車輛的圖。在車輛的前后左右設(shè)置作為前照相機(jī)的照相 機(jī)1F、作為后照相機(jī)的照相機(jī)1B、作為左照相機(jī)的照相機(jī)1L和作為右照 相機(jī)的照相機(jī)1R。在圖26中，將照相機(jī)1F和1L的各攝影區(qū)域作為斜線 區(qū)域進(jìn)行表示。在該視場支援系統(tǒng)中，利用坐標(biāo)變換將各照相機(jī)的攝影圖 像投影到地面上后進(jìn)行合成，從而生成作為合成圖像的全周鳥瞰像并 進(jìn)行顯示。圖27中表示所顯示的全周鳥瞰像900的示意圖。在全周 鳥瞰像900中，在車輛的前側(cè)、右側(cè)、左側(cè)和后側(cè)，分別描繪基于照 相機(jī)1F、 1R、 1L和1B的攝影圖像的鳥瞰像。
作為將照相機(jī)的攝影圖像投影到地面的方法，存在基于透視投影變換的方法和基于平面射影變換的方法。圖28表示透視投影變換的概念圖。通過透視投影變換，攝影圖像的 各點(diǎn)的坐標(biāo)(x， y)被變換為鳥瞰像的坐標(biāo)(X， Y)。由于鳥瞰圖像 是地面上的圖像，因此高度方向的坐標(biāo)(Z)為0。在透視投影變換中，基于照相機(jī)的安裝角度及照相機(jī)的設(shè)置高度等照 相機(jī)外部信息、和照相機(jī)的焦點(diǎn)距離(或畫角)等照相機(jī)內(nèi)部信息，算出 將攝影圖像投影到設(shè)定平面(路面等)上用的變換參數(shù)。因此，為了高精 度地進(jìn)行坐標(biāo)變換，需要準(zhǔn)確地掌握照相機(jī)外部信息。照相機(jī)的安裝角度 和照相機(jī)的設(shè)置高度等大多在事先設(shè)計(jì)，但這些信息的設(shè)計(jì)值與實(shí)際設(shè)置 在車輛中時(shí)這些信息之間存在誤差，因此，坐標(biāo)變換的精度劣化。結(jié)果， 具有在合成圖像的接合部分無法圓滑地接合各鳥瞰像的問題。另一方面，平面射影變換中，在攝影區(qū)域配置校正圖案，基于所拍攝 的校正圖案，進(jìn)行求取表示攝影圖像的坐標(biāo)(二維照相機(jī)坐標(biāo))和鳥瞰圖 圖像的坐標(biāo)(二維全局坐標(biāo))的對應(yīng)關(guān)系的變換矩陣這樣的校正作業(yè)。該 變換矩陣一般被稱作單應(yīng)(homography)矩陣。圖29表示平面射影變換 的概念圖。通過平面射影變換，攝影圖像的各點(diǎn)的坐標(biāo)(x， y)被變換為 鳥瞰像的坐標(biāo)(x，， y，)。通過平面射影變換，無需照相機(jī)外部信息和 照相機(jī)內(nèi)部信息，另外，由于基于實(shí)際拍攝的校正圖案來指定攝影圖像與 鳥瞰像之間的對應(yīng)坐標(biāo)，因此不會受到照相機(jī)的設(shè)置誤差的影響(或 不易受影響)。將各照相機(jī)的攝影圖像射影到地面上用的單應(yīng)矩陣可基于坐標(biāo)值已 知的4以上個(gè)特征點(diǎn)來算出，為了將多個(gè)照相機(jī)的攝影圖像射影到共用的 合成圖像上，需要在共用的二維坐標(biāo)上設(shè)置各照相機(jī)所使用的特征點(diǎn)。艮P， 需要定義如圖30所示那樣的對所有照相機(jī)共用的二維坐標(biāo)系，且在該二 維坐標(biāo)系上按每個(gè)照相機(jī)指定四個(gè)以上的特征點(diǎn)的坐標(biāo)值。因此，在卡車等車輛中設(shè)置多個(gè)照相機(jī)，進(jìn)行為獲得全周鳥瞰像 的各照相機(jī)的校正時(shí)，需要準(zhǔn)備如覆蓋各照相機(jī)的全部攝影區(qū)域這樣的非 常大的校正圖案。在圖30所示的例子中，在車輛周邊設(shè)置覆蓋各照相機(jī) 的全部攝影區(qū)域的棋盤格狀的校正圖案，將棋盤格的交點(diǎn)用作特征點(diǎn)。這 樣的校正圖案的尺寸例如具有車輛的縱橫尺寸的兩倍的大小，因此，在進(jìn)行校正作業(yè)時(shí)需要占用大的場所，并且校正環(huán)境的配備比較費(fèi)時(shí)，校正作 業(yè)整體的負(fù)擔(dān)增大。為了提高校正作業(yè)的效率，要求更簡便的校正方法。
此外，還提出了利用在多個(gè)位置拍攝的圖像，調(diào)整基于平面射影變換 的變換參數(shù)的方法。但是，在該方法中，還需要設(shè)定在多個(gè)圖像之間共用 的坐標(biāo)(二維全局坐標(biāo))系，因此，不能解決校正環(huán)境的配備費(fèi)時(shí)的問題。

發(fā)明內(nèi)容
本發(fā)明涉及的照相機(jī)校正裝置包括參數(shù)導(dǎo)出單元，該參數(shù)導(dǎo)出單元求
取將來自N臺照相機(jī)的各攝影圖像投影到規(guī)定面上進(jìn)行合成用的參數(shù)，其 中，N是3以上的整數(shù)，所述N臺照相機(jī)由第一、第二、…和第N照相 機(jī)構(gòu)成，第i照相機(jī)與此外的N-l臺照相機(jī)的某一個(gè)具有公共攝影區(qū)域， 整體上存在多個(gè)公共攝影區(qū)域，其中，i是l以上且N以下的整數(shù)，所述 參數(shù)導(dǎo)出單元基于各公共攝影區(qū)域內(nèi)配置的校正圖案的由各照相機(jī)得到 的攝影結(jié)果來求取所述參數(shù)，各校正圖案相互獨(dú)立配置。
具體而言，例如，所述公共攝影區(qū)域至少分別存在于所述第一照相機(jī) 與所述第二照相機(jī)之間、所述第二照相機(jī)與第三照相機(jī)之間、…及第N-1 照相機(jī)與所述第N照相機(jī)之間。
并且，例如，所述參數(shù)導(dǎo)出單元將各攝影圖像被投影且被合成的坐標(biāo) 定義為全局坐標(biāo)，在將所述第N-l照相機(jī)與所述第N照相機(jī)之間的公共攝 影區(qū)域內(nèi)配置的校正圖案稱為關(guān)注校正圖案的情況下，所述參數(shù)導(dǎo)出單元 包括第一參數(shù)導(dǎo)出單元，其利用由所述第一 所述第N-1照相機(jī)得到的 各校正圖案的攝影結(jié)果，求取對所述第一 所述第N-1照相機(jī)的各攝影圖 像進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上用的第一參數(shù)；和第二參數(shù)導(dǎo)出單元， 其基于利用所述第一參數(shù)將通過所述第N-1照相機(jī)拍攝的所述關(guān)注校正圖 案進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上而得到的所述關(guān)注校正圖案的坐標(biāo)信 息、和通過所述第N照相機(jī)拍攝的所述關(guān)注校正圖案的坐標(biāo)信息，求取對 所述第N照相機(jī)的攝影圖像進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上用的第二參 數(shù)；所述參數(shù)導(dǎo)出單元根據(jù)所述第一參數(shù)和所述第二參數(shù)求其所述參數(shù)。
另外，例如，所述參數(shù)導(dǎo)出單元將各攝影圖像被投影且被合成的坐標(biāo) 定義為全局坐標(biāo)，對于所述參數(shù)導(dǎo)出單元而言各校正圖案的形狀已知，該形狀作為己知信息被預(yù)先識別，所述參數(shù)導(dǎo)出單元在利用由各照相機(jī)得到 的各校正圖案的攝影結(jié)果暫時(shí)求出所述參數(shù)之后，利用暫定的所述參數(shù)對 由各照相機(jī)拍攝的各校正圖案進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上，基于該坐 標(biāo)變換后的各校正圖案的形狀和所述已知信息，對暫定的所述參數(shù)進(jìn)行調(diào) 整，經(jīng)過該調(diào)整后最終求取所述參數(shù)。本發(fā)明涉及的車輛，其中設(shè)置有N臺照相機(jī)和圖像處理裝置，所述圖 像處理裝置包括上述任一種照相機(jī)校正裝置。本發(fā)明涉及的照相機(jī)校正方法，求取將來自N臺照相機(jī)的各攝影圖像 投影到規(guī)定面上進(jìn)行合成用的參數(shù)，其中，N是3以上的整數(shù)，所述N臺 照相機(jī)由第一、第二、…和第N照相機(jī)構(gòu)成，第i照相機(jī)與此外的N-l臺 照相機(jī)的某一個(gè)具有公共攝影區(qū)域，整體上存在多個(gè)公共攝影區(qū)域，其中， i是1以上且N以下的整數(shù)，該照相機(jī)校正方法基于各公共攝影區(qū)域內(nèi)配 置的校正圖案的由各照相機(jī)得到的攝影結(jié)果，來求取所述參數(shù)，各校正圖 案相互獨(dú)立配置。本發(fā)明的意義或效果通過以下所示的實(shí)施方式的說明可進(jìn)一步明確。 其中，以下的實(shí)施方式只是本發(fā)明的一個(gè)實(shí)施方式，本發(fā)明甚至各構(gòu)成要 件的用語的意義并不限定于以下實(shí)施方式的記載。


圖1表示從上方觀察應(yīng)用本發(fā)明的實(shí)施方式的視場支援系統(tǒng)的車輛的 俯視圖，是表示向該車輛設(shè)置各照相機(jī)的狀態(tài)的圖； 圖2是從左斜前方觀察圖1的車輛的圖；圖3 (a) (d)是表示圖1的車輛中設(shè)置的各照相機(jī)的攝影區(qū)域的圖；圖4是匯總表示圖1的車輛中設(shè)置的各照相機(jī)的攝影區(qū)域的圖；圖5是本發(fā)明的實(shí)施方式的視場支援系統(tǒng)的構(gòu)成框圖；圖6是表示了各校正圖案配置的情況的圖1的車輛周邊的上面視俯視圖；圖7是從上方觀察描繪了校正圖案的校正片(plate)的圖；圖8是表示圖1的各照相機(jī)的攝影圖像所對應(yīng)的鳥瞰像的圖；圖9是表示由圖5的圖像處理裝置生成的全周鳥瞰像的圖IO是表示本發(fā)明的第一實(shí)施例的校正處理的順序的流程圖11是表示本發(fā)明的第一實(shí)施例涉及的在校正處理時(shí)獲得的各校正
用攝影圖像例的圖12是表示本發(fā)明的第一實(shí)施例涉及的校正用攝影圖像與鳥瞰 像的變換例的圖13 (a)是表示本發(fā)明的第一實(shí)施例涉及的單應(yīng)矩陣的最佳化前的 全周鳥瞰像的圖，圖13 (b)是表示最佳化后的全周鳥瞰像的圖14是用于說明本發(fā)明的第一實(shí)施例涉及的單應(yīng)矩陣的最佳化方法 的圖15是表示本發(fā)明的第一實(shí)施例涉及的在不同照相機(jī)之間公共的校
正圖案的投影圖形不同的狀態(tài)的圖16是表示本發(fā)明的第二實(shí)施例涉及的校正處理的順序的流程圖； 圖17 (a) (d)是表示本發(fā)明的第二實(shí)施例涉及的單應(yīng)矩陣的最佳
化方法的流程圖18 (a)和(b)是用于說明本發(fā)明的第二實(shí)施例涉及的單應(yīng)矩陣的 最佳化方法的圖19是用于說明本發(fā)明的第二實(shí)施例涉及的單應(yīng)矩陣的最佳化方法 的圖20是表示本發(fā)明的第三實(shí)施例涉及的在全局坐標(biāo)上固定的邊的圖； 圖21是用于說明本發(fā)明的第三實(shí)施例涉及的單應(yīng)矩陣的最佳化方法 的圖22是表示本發(fā)明的第四實(shí)施例涉及的照相機(jī)的設(shè)置狀態(tài)的圖； 圖23是表示本發(fā)明中應(yīng)用的校正圖案的變形例的圖； 圖24是表示使用了圖23的校正圖案時(shí)各鳥瞰像的剛體變換的情 況的圖25是現(xiàn)有技術(shù)涉及的應(yīng)用了視場支援系統(tǒng)的車輛的俯視圖； 圖26是從左斜前方觀察圖25的車輛的圖27是表示現(xiàn)有技術(shù)涉及的由視場支援系統(tǒng)顯示的全周鳥瞰像 的情況的圖；圖28是透視投影變換的概念圖； 圖29是平面射影變換的概念圖30是用于說明以往的平面射影變換所對應(yīng)的校正處理的圖，是表
示在多個(gè)照相機(jī)之間公共定義的坐標(biāo)系(或校正圖案)的圖。
具體實(shí)施例方式
下面，參照附圖，對本發(fā)明的實(shí)施方式進(jìn)行具體說明。在所參照的各 圖中，對同一部分標(biāo)注同一標(biāo)記，原則上省略與同一部分有關(guān)的重復(fù)的說 明。后面對第一 第四實(shí)施例進(jìn)行說明，首先對各實(shí)施例中公共的事項(xiàng)或 在各實(shí)施例中參照的事項(xiàng)進(jìn)行說明。
圖1是從上方觀察應(yīng)用本實(shí)施方式涉及的視場支援系統(tǒng)的車輛100的 俯視圖，表示了向該車輛100設(shè)置照相機(jī)的狀態(tài)。圖2是從左斜前方觀察 車輛100的圖。在圖1和圖2中，作為車輛100表示了卡車，但車輛100 可以是卡車以外的車輛(普通乘用車等)。另外，車輛100配置在地面(例 如路面)上。此外，在以下的說明中，地面是指水平面上，"高度"是表 示以地面為基準(zhǔn)的高度。
如圖1所示，在車輛100的前部、右側(cè)部、左側(cè)部以及后部分別安裝 有照相機(jī)(攝像裝置)1F、 1R、 1L和1B。另外，在本實(shí)施方式中，有時(shí) 對照相機(jī)1F、 1R、 1L和1B不加以區(qū)分，將它們僅稱為照相機(jī)或各照相 機(jī)。
另外，如圖2所示，照相機(jī)1F例如配置在車輛100的前視鏡上部， 照相機(jī)1L例如設(shè)置在車輛100的左側(cè)面的最上部。在圖2中未表示，但 照相機(jī)1B例如設(shè)置在車輛100的后部的最上部，照相機(jī)1R例如設(shè)置在車 輛100的右側(cè)面的最上部。
將照相機(jī)1F、 1R、 1L和1B設(shè)置在車輛100上，使得照相機(jī)1F的光 軸朝向車輛100的前方斜下方向、照相機(jī)1B的光軸朝向車輛100的后方 斜下方向、照相機(jī)1L的光軸朝向車輛100的左方斜下方向、且照相機(jī)1R 的光軸朝向車輛100的右方斜下方向。
圖2中表示了各照相機(jī)的視野即各照相機(jī)的攝影區(qū)域。分別用2F、2R、 2L和2B表示照相機(jī)1F、 1R、 1L和1B的攝影區(qū)域。此外，關(guān)于攝影區(qū)域2R和2B，在圖2中僅表示了一部分。在圖3 (a) (d)中表示從上 方觀察的攝影區(qū)域2F、 2L、 2B和2R，即，地面上的攝影區(qū)域2F、 2L、 2B和2R。另外，圖4中表示將圖3 (a) (d)所示的各攝影區(qū)域匯總 為一個(gè)的圖(關(guān)于斜線區(qū)域后述)。
照相機(jī)1F對位于車輛100前方的規(guī)定區(qū)域內(nèi)的被攝體(包括路面) 進(jìn)行攝影。照相機(jī)1R對位于車輛100右側(cè)的規(guī)定區(qū)域內(nèi)的被攝體進(jìn)行攝 影。照相機(jī)1L對位于車輛100左側(cè)的規(guī)定區(qū)域內(nèi)的被攝體進(jìn)行攝影。照 相機(jī)1B對位于車輛100后方的規(guī)定區(qū)域內(nèi)的被攝體進(jìn)行攝影。
照相機(jī)1F和1L共同對車輛100的左斜前方的規(guī)定區(qū)域進(jìn)行攝影。即， 在車輛100的左斜前方的規(guī)定區(qū)域，攝影區(qū)域2F和2L重疊。將兩個(gè)照相 機(jī)的攝影區(qū)域重疊的部分稱為公共攝影區(qū)域(公共攝影空間)，將照相機(jī) 1F和1L的攝影區(qū)域重疊的部分(即，照相機(jī)1F與1L之間的公共攝影區(qū) 域)用3a表示。圖4中將公共攝影區(qū)域表示為斜線區(qū)域。
同樣，如圖4所示，在車輛100的右斜前方的規(guī)定區(qū)域攝影區(qū)域2F 與2R重疊，形成二者的公共擾影區(qū)域3fk，在車輛IOO的左斜后方的規(guī)定 區(qū)域攝影區(qū)域2B與2L重疊，形成二者的公共攝影區(qū)域3禮，在車輛100 的右斜后方的規(guī)定區(qū)域攝影區(qū)域2B與2R重疊，形成二者的公共攝影區(qū)域 3brc
圖5表示本發(fā)明的實(shí)施方式涉及的視場支援系統(tǒng)的構(gòu)成框圖。各照相 機(jī)(1F、 1R、 1L和1B)進(jìn)行攝影，將表示基于拍攝所得到的圖像(以下 也稱為攝影圖像)的信號送到圖像處理裝置10中。圖像處理裝置10通過 視點(diǎn)變換將各攝影圖像變換為鳥瞰像，并通過對各鳥瞰像進(jìn)行合 成來生成一幅全周鳥瞰像。顯示裝置11將該全周鳥瞰像顯示為 影像。
其中，對成為鳥瞰像的基礎(chǔ)的攝影圖像實(shí)施透鏡變形修正等圖像 處理，將該圖像處理后的攝影圖像變換為鳥瞰像。另外，實(shí)際上，基 于后述的變換參數(shù)，將各攝影圖像上的各點(diǎn)一并變換為全周鳥瞰像上 的各點(diǎn)，因此不會生成各個(gè)鳥瞰像(其中，也可通過變換為各鳥瞰圖 圖像來進(jìn)行全周鳥瞰像的生成)。在通過圖像合成來生成全周鳥瞰圖 圖像時(shí)，與公共攝影區(qū)域?qū)?yīng)的圖像通過對要合成的圖像間的像素值進(jìn)行平均化來生成，或通過貼合以所定義的合成邊界線為界進(jìn)行合成的圖像來 生成。無論采用哪種方式，都按照在各鳥瞰像的接合部分圓滑地接合 的方式進(jìn)行圖像合成。鳥瞰像是將實(shí)際的照相機(jī)(例如照相機(jī)1F)的攝影圖像變換為從 假想照相機(jī)的視點(diǎn)(假想視點(diǎn))觀察的圖像后的圖像。更具體地說，鳥瞰 像是將實(shí)際的照相機(jī)的攝影圖像變換為沿鉛直方向?qū)Φ厣厦娓┮暤?圖像后的圖像。這種圖像變換一般也稱為視點(diǎn)變換。通過顯示這種相當(dāng)于 鳥瞰像的合成圖像的全周鳥瞰像，易于支援駕駛者的視場，且進(jìn) 行車輛周邊的安全確認(rèn)。作為照相機(jī)1F、 1R、 1L和1B，例如使用利用了 CCD (Charge Coupled Devices )的照相機(jī)、利用了 CMOS ( Complementary Metal Oxide Semiconductor)圖像傳感器的照相機(jī)。圖像處理裝置10例如由集成電路 形成。顯示裝置11由液晶顯示面板等形成。也可將汽車導(dǎo)航系統(tǒng)等包含 的顯示裝置沿用作視場支援系統(tǒng)中的顯示裝置11。另外，圖像處理裝置 IO可作為汽車導(dǎo)航系統(tǒng)的一部分被組合。圖像處理裝置IO和顯示裝置11 例如設(shè)置在車輛100的駕駛座附近。為了支援廣視野的安全確認(rèn)，各照相機(jī)的視場角為廣角。因此，各照 相機(jī)的攝影區(qū)域在地面上例如具有5mX10m (米)左右的大小。為了生成全周鳥瞰像，需要用于根據(jù)各攝影圖像生成全周鳥瞰圖 圖像的變換參數(shù)。圖像處理裝置10在實(shí)際工作之前進(jìn)行的校正處理中， 對變換參數(shù)進(jìn)行校正。在實(shí)際工作時(shí)，利用校正后的變換參數(shù)，根據(jù)如上 所述的各攝影圖像，生成全周鳥瞰像。本實(shí)施方式在該校正處理中具 有特征，以下(主要)對該校正處理進(jìn)行說明。校正處理時(shí)，在各公共攝影區(qū)域內(nèi)配置比各照相機(jī)的攝影區(qū)域的大小 更小的校正圖案。圖6是表示了配置各校正圖像的情況的車輛100周邊的 上面視俯視圖。如圖6所示，在公共攝影區(qū)域3FR、 3FL、 3br和3br內(nèi)，分別配置俯視 狀(二維)校正圖案A1、 A2、 A3禾BA4。校正圖案A1 A4配置在地面 上。校正圖案A1 A4分別具有正方形形狀，該正方形的一邊的長度為lm 1.5m左右。無需使校正圖案A1 A4全部為相同形狀，但為了便于 說明，設(shè)它們的形狀完全相同。這里的形狀是還包括大小的概念。因此， 校正圖案A1 A4完全相同。在鳥瞰像上，各校正圖案的形狀在理想 情況下應(yīng)該是正方形。由于各校正圖案是正方形形狀，因此具有四個(gè)特征點(diǎn)。在當(dāng)前的例子 中，四個(gè)特征點(diǎn)相當(dāng)于形成正方形的四個(gè)頂點(diǎn)。圖像處理裝置10將各校 正圖案的形狀作為已知信息預(yù)先進(jìn)行識別。通過該已知信息，確定全周鳥 瞰像上(后述的全局坐標(biāo)上)和鳥瞰像上的理想的校正圖案(Al、 A2、 A3和A4)的四個(gè)特征點(diǎn)之間的相對位置關(guān)系。校正圖案的形狀是指將該校正圖案所包含的特征點(diǎn)連接起來而形成 的圖形的形狀。例如，將具有正方形形狀的四個(gè)校正片本身作為四個(gè)校正 圖案A1 A4，將各校正片的四個(gè)角作為各校正圖案的四個(gè)特征點(diǎn)進(jìn)行處 理?；蛘?，例如準(zhǔn)備描繪了校正圖案Al的校正片、描繪了校正圖案A2 的校正片、描繪了校正圖案A3的校正片和描繪了校正圖案A4的校正片。 此時(shí)，校正片本身的外形與校正圖案的外形不一致。作為例子，圖7表示 描繪了校正圖案Al的正方形形狀的校正片150的俯視圖。校正圖案150 為白地，在校正片150的四個(gè)角，各描繪了兩個(gè)通過l頂點(diǎn)相互連接的涂 黑的正方形。并且，校正片150的四個(gè)角的兩個(gè)涂黑的正方形的連接部分 151 154相當(dāng)于校正圖案A1 A4的特征點(diǎn)。通過適當(dāng)選擇校正片本身的顏色和校正片上描繪的花樣的顏色，各照 相機(jī)(及圖像處理裝置10)能將校正圖案的各特征點(diǎn)與路面等明確地區(qū)別 開來進(jìn)行識別，不過，在本實(shí)施方式中，為了便于圖示和說明，忽略校正 片的存在，僅關(guān)注校正圖案。各校正圖案按照收斂在各公共攝影區(qū)域內(nèi)的方式配置，但在各校正圖 案的公共攝影區(qū)域內(nèi)的配置位置是自由的。即，例如，校正圖案A1只要 收斂在公共攝影區(qū)域3^內(nèi)，則校正圖案A1的配置位置是任意的，能與 校正圖案A2 A4的配置位置無關(guān)地獨(dú)立確定公共攝影區(qū)域3fr內(nèi)的校正 圖案A1的配置位置。對于校正圖案A2 A4也同樣。因此，在進(jìn)行校正 處理時(shí)，操作人員無需對配置位置進(jìn)行特殊考慮，而適當(dāng)?shù)貙⒏餍Ｕ龍D案 配置到各公共攝影區(qū)域內(nèi)即可。[校正處理方法的基本原理]接著，對本實(shí)施方式涉及的校正處理方法的基本原理進(jìn)行說明。其中， 對攝影圖像上的各點(diǎn)、鳥瞰像上的各點(diǎn)和全周鳥瞰像上的各點(diǎn)的 對應(yīng)關(guān)系進(jìn)行說明。將照相機(jī)1F、 1R、 1L和1B的攝影圖像上的各點(diǎn)的坐標(biāo)分別用(Xl， y,)、 (x2， y2)、 (x3， y3)、 (X4， y4)表示。圖8中表示與各照相機(jī)的攝影 圖像對應(yīng)的鳥瞰像。將與照相機(jī)1F、 1R、 IL和IB的攝影圖像對應(yīng) 的鳥瞰像分別用50F、 50R、 50L、 50B表示。圖8所示的各鳥瞰 像中，表示了各鳥瞰像上的校正圖案(A1 A4)。將鳥瞰像50F、 50R、 50L、 50B上的各點(diǎn)的坐標(biāo)分別用(X,， Y,)、 (X2， Y2)、 (X3， Y3)、 (X4， Y4)表示。攝影圖像上的坐標(biāo)(xn， yn)與 鳥瞰像上的坐標(biāo)(Xn， Yn)的關(guān)系用單應(yīng)矩陣如下述式(1)那樣表 示。這里，n是l、 2、 3或4，表示照相機(jī)的編號。單應(yīng)矩陣Hn可利用平 面射影變換或透視投影變換來求取。單應(yīng)矩陣Hn是三行三列的矩陣，將單應(yīng)矩陣Hn的各要素用h^ K9表示。進(jìn)而，設(shè)hnfl (按照使hnfl的方式對矩陣進(jìn)行標(biāo)準(zhǔn)化)。另外，根據(jù)式(1)，坐標(biāo)(xn， yn)與坐標(biāo)(Xn， Yn)的關(guān)系也可由下述式(2a)和(2b)表示。<formula>formula see original document page 13</formula>校正處理被分為初始校正階段和調(diào)整階段。在初始校正階段，按照使 全周鳥瞰像上的對應(yīng)的校正圖案的坐標(biāo)大體一致的方式，通過剛體變換對各鳥瞰像迸行坐標(biāo)變換。即，例如，按照使鳥瞰像50F上的 校正圖案Al與鳥瞰像50R上的校正圖案Al重疊的方式通過剛體變換使鳥瞰像50F與50R對位(參照圖8)。剛體變換通過平行移動和 旋轉(zhuǎn)來實(shí)現(xiàn)。圖8中，曲線201、 202、 203和204表示校正圖案的鳥瞰像間的 對應(yīng)關(guān)系，并且表示各剛體變換的圖示。圖像處理裝置10預(yù)先識別由不 同照相機(jī)捕捉的校正圖案及特征點(diǎn)的對應(yīng)關(guān)系。即，例如，預(yù)先識別照相 機(jī)1F的攝影圖像所包含的各校正圖案和各特征點(diǎn)與照相機(jī)1R(或1L)的 攝影圖像所包含的哪一個(gè)校正圖案和特征點(diǎn)對應(yīng)。在其他照相機(jī)之間也同 樣。因此，能實(shí)現(xiàn)如上述的剛體變換。分別用T卜T2、 T3、 T4表示針對鳥瞰像50F、 50R、 50L和50B的平行移動的平行移動矩陣，分別用Rp R2、 R3、 R4表示針對鳥瞰 像50F、 50R、 50L和50B的旋轉(zhuǎn)的旋轉(zhuǎn)矩陣。這樣，在用(X，， Y，)表示全周鳥瞰像上的各點(diǎn)的坐標(biāo)時(shí)，將攝 影圖像上的各點(diǎn)的坐標(biāo)(xn， yn)利用單應(yīng)矩陣HJ根據(jù)下述式(3a)和(3b) 坐標(biāo)變換為全周鳥瞰像上的坐標(biāo)(X'， Y')。另外，平行移動矩陣T。 和旋轉(zhuǎn)矩陣Rn由下述式(4a)和(4b)表示。另外，單應(yīng)矩陣Hn'的各要 素如下述式(5)那樣表示。<formula>formula see original document page 14</formula>
另外，將全周鳥瞰像上的坐標(biāo)(坐標(biāo)系)稱為全局坐標(biāo)(全局坐標(biāo)系)。全局坐標(biāo)與攝影圖像或鳥瞰像上的坐標(biāo)不同，是對各照相機(jī) 公共地定義的坐標(biāo)。在初始校正階段求取各單應(yīng)矩陣Hn，，但在將攝影圖像投影到地面上 來生成鳥瞰像的過程中，因各種誤差因素而會產(chǎn)生投影誤差(距理想 的投影位置的位置誤差)。因此，在通過初始校正求取了各單應(yīng)矩陣Hn， 之后，在調(diào)整階段，使針對Hi' H4'的各要素(8X4個(gè)要素)最佳化。 最佳化例如通過使各校正圖案中的特征點(diǎn)的投影誤差最小化來實(shí)現(xiàn)。這 樣，通過使各單應(yīng)矩陣最佳化，可得到在接合部圓滑地合成的精度高的全 周鳥瞰像。圖9表示所生成的全周鳥瞰像的示例。如圖9所示， 在圖5的顯示裝置11上顯示所獲得的全周鳥瞰像中嵌入了車輛100 的影像的圖像。以下，作為對上述校正處理進(jìn)行具體說明的實(shí)施例，對第一 第四實(shí) 施例進(jìn)行了說明。某一實(shí)施例中記載的事項(xiàng)只要不矛盾則也可應(yīng)用到其他 實(shí)施例中。《第一實(shí)施例》對第一實(shí)施例進(jìn)行說明。圖10是表示第一實(shí)施例涉及的校正處理的 順序的流程圖。第一實(shí)施例涉及的校正處理由步驟S11 S14的各處理構(gòu) 成，步驟Sll由各照相機(jī)和圖像處理裝置IO執(zhí)行，步驟S12 S14由圖像 處理裝置10執(zhí)行。首先，步驟Sll中，在如上述那樣(參照圖6)將各校正圖案配置到 各公共攝影區(qū)域內(nèi)的狀態(tài)下使各照相機(jī)進(jìn)行攝影，圖像處理裝置10從各 照相機(jī)獲得攝影圖像。以下，將這里獲得的攝影圖像特別稱為校正用攝影 圖像。圖11中表示所獲得的各校正用攝影圖像的例子。圖11中，標(biāo)記301、 302、 303和304分別表示照相機(jī)1F、 1R、 1L和1B的校正用攝影圖像。接著，在步驟S12中，進(jìn)行平面射影變換，對各校正用攝影圖像進(jìn)行 鳥瞰圖變換。這里，鳥瞰圖變換是指將攝影圖像(包括校正用攝影圖像) 變換為鳥瞰像的處理。作為例子，圖12中表示通過對校正用攝影圖 像303進(jìn)行鳥瞰圖變換而得到的鳥瞰像313。如上所述，對成為鳥瞰 像的基礎(chǔ)的攝影圖像(包括校正用攝影圖像)實(shí)施透鏡變形(distortkm)修正等圖像處理，將該圖像處理后的攝影圖像變換為鳥瞰像。步驟S12中，求取用于對校正用攝影圖像進(jìn)行鳥瞰圖變換的單應(yīng)矩陣 Hn。對求取單應(yīng)矩陣&的方法進(jìn)行說明。圖像處理裝置IO通過對照相機(jī)IF的校正用攝影圖像實(shí)施邊緣檢測處 理等，來確定照相機(jī)1F的校正用攝影圖像上的校正圖案A1的四個(gè)特征點(diǎn)。所確定的四個(gè)坐標(biāo)值設(shè)為(XA^y八la)、 (XAlb， yAlb)、 "Ale, Ya1c)禾口 (X八ld' YAld)。另夕卜，根據(jù)預(yù)先識別的己知信息，確定照相機(jī)1F所對應(yīng)的鳥瞰 像上的校正圖案Al的四個(gè)特征點(diǎn)的坐標(biāo)值。所確定的四個(gè)坐標(biāo)值設(shè)為 (XAla， YAla)、 (X線，YAlb)、 (XAlc, Ya,c)和(X扁，YAld)。由于校正圖案Al 的形狀為正方形，因此，可將坐標(biāo)值(XA,a， YAla)、 (X線，YAlb)、 (XAlc, Y八J和(X娜YA,d)例如定義為(0, 0) 、 (1， 0) 、 (0， 1)和(1， 1)。在校正用攝影圖像與鳥瞰像之間若知道四點(diǎn)的坐標(biāo)值對應(yīng)關(guān)系， 則可求出單應(yīng)矩陣H,?；谶@四點(diǎn)的坐標(biāo)值對應(yīng)關(guān)系來求取單應(yīng)矩陣(射 影變換矩陣)的方法是公知的，因此省略詳細(xì)的說明。例如，使用特開 2004-342067號公報(bào)所記載的方法(尤其是，參照該公報(bào)的段落
所記載的方法)即可。對根據(jù)校正圖案A1的四個(gè)特征點(diǎn)的坐標(biāo)(坐標(biāo)值)求取單應(yīng)矩陣H！ 的例子進(jìn)行了說明，但也可根據(jù)校正圖案A2的四個(gè)特征點(diǎn)的坐標(biāo)(坐標(biāo) 值)求取單應(yīng)矩陣H,。為了便于說明，之前說明了基于校正圖案Al和 A2中的任一方的四個(gè)特征點(diǎn)來求取單應(yīng)矩陣Hi的方法，但希望根據(jù)針對 校正圖案Al和A2的共計(jì)8個(gè)特征點(diǎn)的坐標(biāo)(坐標(biāo)值)求取單應(yīng)矩陣H"在通過僅基于校正圖案Al (或A2)的四個(gè)特征點(diǎn)的單應(yīng)矩陣H,進(jìn)行 變換的鳥瞰像上，校正圖案A1 (或A2)的形狀正確地為已知的正方 形，但通常，校正圖案A2 (或A1)的形狀并不是正方形。這是由校正用 攝影圖像中特定的特征點(diǎn)的坐標(biāo)誤差等引起的。在通過基于校正圖案Al 和A2的八個(gè)特征點(diǎn)的單應(yīng)矩陣H,進(jìn)行變換的鳥瞰像上，投影誤差擴(kuò) 散到校正圖案Al和A2的雙方上。在利用校正圖案Al和A2的八個(gè)特征 點(diǎn)的坐標(biāo)時(shí)，按照使各特征點(diǎn)的投影誤差的總和最小化的方式求出單應(yīng)矩 陣H,即可。關(guān)注于Hi對單應(yīng)矩陣的計(jì)算方法進(jìn)行了說明，對其他單應(yīng)矩陣H2 H9也同樣計(jì)算。若求出單應(yīng)矩陣Hn，則能夠根據(jù)上述式(2a)和(2b)， 將校正用攝影圖像上的任意點(diǎn)變換為鳥瞰像上的點(diǎn)。在步驟S12接下來的步驟S13中，按照使對應(yīng)的校正圖案的坐標(biāo)一致 的方式，通過對步驟S12中得到的各鳥瞰像進(jìn)行剛體變換(平行移動 和旋轉(zhuǎn))來使其對位。將通過對照相機(jī)1F、 1R、 1L和1B的校正用攝影 圖像進(jìn)行鳥瞰圖變換而得到的鳥瞰像分別作為圖8所示的鳥瞰像 50F、 50R、 50L和50B。具體而言，以鳥瞰像50F為基準(zhǔn)，按照使鳥瞰像50F上的校 正圖案Al與鳥瞰像50R上的校正圖案A1重疊的方式對鳥瞰像 50R進(jìn)行剛體變換，并且，按照使鳥瞰像50F上的校正圖案A2與鳥 瞰像50L上的校正圖案A2重疊的方式對鳥瞰像50L進(jìn)行剛體變 換。進(jìn)而，然后，按照使鳥瞰像50B上的校正圖案A3和A4、與剛 體變換后的鳥瞰像50R和50L上的校正圖案A3和A4重疊的方式對 鳥瞰像50B進(jìn)行剛體變換。然后，根據(jù)各剛體變換中使用的移動平行矩陣Tn和旋轉(zhuǎn)矩陣Rn計(jì)算單應(yīng)矩陣IV (參照上述式(3b)等)。可認(rèn)為 這里算出的單應(yīng)矩陣Hn'是最終應(yīng)求取的單應(yīng)矩陣IV的初始值，在接下來的步驟S14中被最佳化。即，步驟S13中，進(jìn)行單應(yīng)矩陣的初始校正。通過剛體變換應(yīng)重疊的校正圖案的形狀與己知的正方形不同，相互不 一致的情況很多。此時(shí)，按照使對應(yīng)的特征點(diǎn)間的位置誤差的總和(在后 述的圖15的例子中，為(dl+d2+d3+d4))最小的方式進(jìn)行剛體變換。另 外，如上述例子那樣，在以鳥瞰像50F為基準(zhǔn)，對其他鳥瞰像進(jìn) 行剛體變換時(shí)，針對鳥瞰像50F的單應(yīng)矩陣H,和單應(yīng)矩陣Hf相同。 圖13 (a)表示通過步驟S13的剛體變換合成的圖像、即剛剛進(jìn)行初 始校正后的全周鳥瞰像。圖13 (a)(和后述的圖13 (b))中，紙面 上方與鳥瞰像50F對應(yīng)，紙面下方與鳥瞰像50B對應(yīng)。從標(biāo)注了 標(biāo)記313和314的部分可見，校正圖案A3和A4的部分被表示為兩重。 這是由于若使用如上述的剛體變換方法，則會對最后合成的鳥瞰像 50B蓄積誤差。因此，在步驟S14中，僅對與照相機(jī)1B對應(yīng)的單應(yīng)矩陣H4'進(jìn)行最佳 化。具體而言，假設(shè)剛體變換后的鳥瞰像50R和50L上的校正圖案A3和A4的坐標(biāo)位置上不包含誤差，求取下述單應(yīng)矩陣，該單元矩陣如圖 14所示那樣，將照相機(jī)1B的校正用攝影圖像上的校正圖案A3和A4的 各特征點(diǎn)的坐標(biāo)變換為剛體變換后的鳥瞰像50R和50L上的校正圖案 A3和A4的各特征點(diǎn)的坐標(biāo)。并且，將在此求出的單應(yīng)矩陣作為最終的單 應(yīng)矩陣PV進(jìn)行處理。此外，為了便于說明，設(shè)為在步驟S13中對鳥瞰像50B進(jìn)行剛體 變換后求取單應(yīng)矩陣H4'的初始值，但如從步驟S14的處理內(nèi)容可以理解， 第一實(shí)施例中，在步驟S13的階段無需計(jì)算單應(yīng)矩陣H4'。圖13 (b)表示利用步驟S14的最佳化處理后的單應(yīng)矩陣IV生成的全 周鳥瞰像。在圖13 (b)中，可知在圖13 (a)的全周鳥瞰像中 觀測到的兩重描繪等得到改善。'對步驟S14的處理內(nèi)容的說明進(jìn)行補(bǔ)充。通過鳥瞰圖變換和剛體變換， 各校正用攝影圖像的各點(diǎn)被投影到全局坐標(biāo)上的各點(diǎn)。照相機(jī)1R的校正用攝影圖像上的校正圖案A3的各特征點(diǎn)通過單應(yīng)矩 陣H2，被投影到全局坐標(biāo)上，在全局坐標(biāo)上，將與照相機(jī)1R對應(yīng)的校正圖 案A3作為描繪了圖15所示的四邊形340的圖案。照相機(jī)1B的校正用攝影圖像上的校正圖案A3的各特征點(diǎn)通過單應(yīng)矩 陣H4'被投影到全局坐標(biāo)上，在全局坐標(biāo)上，將與照相機(jī)1B對應(yīng)的校正圖 案A3作為描繪了圖15所示的四邊形350的圖案。四邊形340由與四個(gè)特征點(diǎn)向全局坐標(biāo)上的投影點(diǎn)相當(dāng)?shù)乃膫€(gè)頂點(diǎn) 341 344形成，四邊形350由與四個(gè)特征點(diǎn)向全局坐標(biāo)上的投影點(diǎn)相當(dāng)?shù)?四個(gè)頂點(diǎn)351 354形成。并且，頂點(diǎn)341、 342、 343和344分別與頂點(diǎn) 351、 352、 353和354對應(yīng)。在全局坐標(biāo)上，將頂點(diǎn)341與頂點(diǎn)351之間的位置誤差、頂點(diǎn)342與 頂點(diǎn)352之間的位置誤差、頂點(diǎn)343與頂點(diǎn)353之間的位置誤差、頂點(diǎn)344 與頂點(diǎn)354之間的位置誤差分別設(shè)為dl、 d2、 d3和d4。位置誤差作為進(jìn) 行對比的頂點(diǎn)間的距離。例如，位置誤差dl是頂點(diǎn)341與頂點(diǎn)351的距 離。位置誤差d2 d4也同樣。對于在照相機(jī)1L和照相機(jī)1B之間相關(guān)的 校正圖案A4也同樣會產(chǎn)生這樣的位置誤差。因此，在對單應(yīng)矩陣IV進(jìn)行 最佳化時(shí)，參照與校正圖案A3有關(guān)的四個(gè)位置誤差和與校正圖案A4有關(guān)的四個(gè)位置誤差。設(shè)該總計(jì)八個(gè)位置誤差的總和為誤差評價(jià)值DA。由 于位置誤差是進(jìn)行對比的頂點(diǎn)間的距離，因此始終是O或正值。在式(6) 中表示誤差評價(jià)值DA的計(jì)算式。在式(6)的右邊，針對(dl+d2+d3+d4) 的S是指求取所參照的校正圖案的個(gè)數(shù)量的總和。 4<formula>formula see original document page 19</formula> …(6)步驟S14中，求取使該誤差評價(jià)值DA最小化的單應(yīng)矩陣H4'。更具體而言，例如，通過反復(fù)運(yùn)算來調(diào)整單應(yīng)矩陣H4'，直至誤差評價(jià)值DA達(dá)到規(guī)定的閾值以下。在圖10的步驟S13中算出的單應(yīng)矩陣H,' IV和通過步驟S14最終 算出的單應(yīng)矩陣H4'，被作為根據(jù)攝影圖像生成全周鳥瞰像用的校正 完畢變換參數(shù)進(jìn)行處理。然后，結(jié)束圖10的校正處理。實(shí)際上，例如，根據(jù)校正完畢變換參數(shù)，生成表示攝影圖像上的各坐 標(biāo)(xn， yn)與全周鳥瞰像上的各坐標(biāo)(X，， Y，)的對應(yīng)關(guān)系的表格 數(shù)據(jù)，將其存儲到未圖示的存儲器(查找表)中。若利用該表格數(shù)據(jù)，則 可根據(jù)各照相機(jī)的攝影圖像生成全周鳥瞰像，使該全周鳥瞰像所 包含的投影誤差足夠小。此時(shí)，也可將上述表格數(shù)據(jù)捕捉為校正完畢變換 參數(shù)。此外，作為根據(jù)各圖像檢測特征點(diǎn)的方法，也可采用如上述那樣的利 用了圖像處理的自動檢測方法，還可采用基于對操作部(未圖示)進(jìn)行手 動操作的手動檢測方法。另外，作為用于使誤差評價(jià)值DA最小化的方法， 可采用公知的方法。例如，使用多維的下降單純形法(downhill simplex method)或鮑威爾(Powell)法等即可(例如，參照"William H. Press，<formula>formula see original document page 19</formula>數(shù)値計(jì)算op、:/匕?！?基于C語言的數(shù)值計(jì)算的方法)，技術(shù)評論社，1993年發(fā)行")。由于這些方法是公知的，因此省略在此的說明。在圖10的校正處理后，圖5的圖像處理裝置IO將由各照相機(jī)逐個(gè)獲得的各攝影圖像利用校正完畢變換參數(shù)逐個(gè)變換為全周鳥瞰像。圖像處理裝置10向顯示裝置11供給表示各全周鳥瞰像的影像信號。顯示裝置11將各全周鳥瞰像作為運(yùn)動圖像進(jìn)行顯示。這樣，在第一實(shí)施例中，首先，通過平面射影變換，對照相機(jī)1F、 1R 和1L的各攝影圖像進(jìn)行投影，按照使公共的校正圖案重疊的方式使各鳥 瞰像對位，從而求取將照相機(jī)1F、 1R和1L的各攝影圖像進(jìn)行坐標(biāo)變 換到全局坐標(biāo)上用的單應(yīng)矩陣Hr H3，。接著，將由照相機(jī)1R和1L攝 影的校正圖案A3和A4利用單應(yīng)矩陣IV、 H3，，坐標(biāo)變換到全局坐標(biāo)上。 然后，基于通過該坐標(biāo)變換獲得的、全局坐標(biāo)上的校正圖案A3和A4的 坐標(biāo)信息和由照相機(jī)1B攝影的校正圖案A3和A4的坐標(biāo)信息(校正用攝 影圖像上的坐標(biāo)信息)，按照使公共的校正圖案的配置在全局坐標(biāo)上大體 一致的方式求取單應(yīng)矩陣H4'(參照圖14)。將第一次求出的單應(yīng)矩陣Hr H3'和第二次求出的單應(yīng)矩陣H4'合并后的矩陣作為校正完畢變換參數(shù)進(jìn)行處理。此時(shí)，圖像處理裝置10包括求取作為第一參數(shù)的單應(yīng)矩陣Hr H3'的第一參數(shù)導(dǎo)出單元、和求取作為第二參數(shù)的單應(yīng)矩陣KU'的第二參數(shù) 導(dǎo)出單元。根據(jù)本實(shí)施例，在校正處理時(shí)，操作人員無需對配置位置進(jìn)行特殊考 慮，而適當(dāng)?shù)貙⒏餍Ｕ龍D案配置到各公共攝影區(qū)域內(nèi)即可。并且，能使各 校正圖案的大小比由所有照相機(jī)得到的全體攝影區(qū)域或各照相機(jī)的攝影 區(qū)域足夠小。因此，容易進(jìn)行校正環(huán)境的配備。另外，不需要照相機(jī)的安 裝角度和照相機(jī)的配置高度等照相機(jī)外部信息或照相機(jī)的焦點(diǎn)距離等照 相機(jī)內(nèi)部信息，這也有助于校正作業(yè)的簡化。另外，通過進(jìn)行如步驟S14 的調(diào)整處理，能在多個(gè)圖像的接合部分進(jìn)行圓滑的圖像合成。《第二實(shí)施例》接著，對第二實(shí)施例進(jìn)行說明。圖16是表示第二實(shí)施例涉及的校正 處理的順序的流程圖。第二實(shí)施例涉及的校正處理由步驟S11 S13的各 處理和步驟S24的處理構(gòu)成。步驟S11 S13的各處理與第一實(shí)施例(圖 10)中的這些步驟相同。步驟S13中，應(yīng)該按照使對應(yīng)的校正圖案的坐標(biāo)一致的方式通過剛體 變換對步驟S12中獲得的各鳥瞰像進(jìn)行對位后合成，但如在第一實(shí)施 例中已經(jīng)說明過的那樣(參照圖15等)，由于誤差原因，通常，特征點(diǎn)在合成圖像(全周鳥瞰像)上的投影點(diǎn)在兩個(gè)照相機(jī)之間不完全一致。在第一實(shí)施例中，通過步驟S14來降低該投影點(diǎn)的不一致，但在第二實(shí)施 例中，通過步驟S24來降低該投影點(diǎn)的不一致。圖17 (a) (d)是特別 關(guān)注了步驟S24的處理的表示圖16的校正處理的流程的示意圖。第二實(shí)施例中，在步驟S12中進(jìn)行了鳥瞰圖變換之后，在步驟S13中 對各鳥瞰像進(jìn)行剛體變換后進(jìn)行四幅鳥瞰像的對位，然后，轉(zhuǎn)移 到步驟S24。通過鳥瞰圖變換和剛體變換，各校正用攝影圖像的各點(diǎn)被投 影為全局坐標(biāo)上的各點(diǎn)。圖17 (a)表示剛剛進(jìn)行了步驟S13的對位后的(剛剛進(jìn)行初始校正之后)的、全局坐標(biāo)上的各校正圖案的情況。進(jìn)而， 在圖18 (a)中表示剛剛進(jìn)行了步驟S13的對位之后的、校正圖案Al向 全局坐標(biāo)上的投影圖像。照相機(jī)1F的校正用攝影圖像上的校正圖案A1的各特征點(diǎn)通過在步驟 S13中算出的單應(yīng)矩陣a'而投影到全局坐標(biāo)上，在全局坐標(biāo)上，照相機(jī) 1F所對應(yīng)的校正圖案Al作為描繪了四邊形370的圖案。照相機(jī)1R的校正用攝影圖像上的校正圖案Al的各特征點(diǎn)通過在步驟 S13中算出的單應(yīng)矩陣H2，而投影到全局坐標(biāo)上，在全局坐標(biāo)上，照相機(jī) 1R所對應(yīng)的校正圖案A1作為描繪了四邊形380的圖案。四邊形370由相當(dāng)于四個(gè)特征點(diǎn)在全局坐標(biāo)上的投影點(diǎn)的四個(gè)頂點(diǎn) 371 374形成，四邊形380由相當(dāng)于四個(gè)特征點(diǎn)在全局坐標(biāo)上的投影點(diǎn)的 四個(gè)頂點(diǎn)381 384形成。并且，頂點(diǎn)371、 372、 373、 374分別與頂點(diǎn)381、 382、 383、 384對應(yīng)。圖像處理裝置10在全局坐標(biāo)上求取頂點(diǎn)371與381的中點(diǎn)391、頂點(diǎn) 372與382的中點(diǎn)392、頂點(diǎn)373與383的中點(diǎn)393、頂點(diǎn)374與384的中 點(diǎn)394，并求取以中點(diǎn)391 394為四個(gè)頂點(diǎn)的四邊形390。圖18 (b)中 表示四邊形3卯。四邊形390相對于四邊形370與380的平均四邊形。圖 17 (b)中表示算出平均四邊形的階段的示意圖。由于誤差原因，四邊形 370、 380和390大多不會準(zhǔn)確地成為己知的正方形。如上所述，圖像處理裝置10對全局坐標(biāo)上的校正圖案的理想形狀進(jìn) 行識別。圖像處理裝置10如圖18 (b)所示，認(rèn)為該具有理想形狀的正方 形400與四邊形390重疊，求取四邊形390與正方形400之間的各頂點(diǎn)的位置誤差的總和最小的正方形400的位置。與圖15的四邊形340與四邊 形350之間的(dl+d2+d3+d4)同樣地計(jì)算位置誤差的總和。在全局坐標(biāo) 上，在使四邊形390與正方形400的重心一致的基礎(chǔ)上，使正方形400繞 重心旋轉(zhuǎn)，探索上述總和的最小值。然后，將對該總和賦予最小值的正方 形400的四個(gè)頂點(diǎn)確定為校正圖案Al應(yīng)投影的投影目標(biāo)點(diǎn)。同樣，求取校正圖案A2 A4應(yīng)投影的投影目標(biāo)點(diǎn)。圖19中表示求出 的各校正圖案的各特征點(diǎn)的投影目標(biāo)點(diǎn)(共計(jì)16點(diǎn))。這樣，由投影目標(biāo) 點(diǎn)形成的圖形形狀修正為正方形。圖17 (c)表示進(jìn)行了該修正后的階段 的示意圖。然后，在步驟S24中，按照照相機(jī)1F的校正用攝影圖像上的校正圖 案Al的四個(gè)特征點(diǎn)投影到針對校正圖案Al的四個(gè)投影目標(biāo)點(diǎn)上、且照 相機(jī)1F的校正用攝影圖像上的校正圖案A2的四個(gè)特征點(diǎn)投影到針對校正 圖案A2的四個(gè)投影目標(biāo)點(diǎn)上的方式，重新計(jì)算單應(yīng)矩陣IV。實(shí)際上，完 全滿足該條件的單應(yīng)矩陣Hr大多情況下并不是唯一求得，因此，與通過 上述誤差評價(jià)值DA的計(jì)算的單應(yīng)矩陣的最佳化方法同樣，按照使實(shí)際投 影的點(diǎn)與投影目標(biāo)點(diǎn)的位置誤差(共計(jì)產(chǎn)生八個(gè)位置誤差)的總和最小化 的方式求取單應(yīng)矩陣Hi'即可。同樣，對單應(yīng)矩陣H2' H4'也重新計(jì)算。例如，按照照相機(jī)1R的校 正用攝影圖像上的校正圖案Al的四個(gè)特征點(diǎn)投影到針對校正圖案Al的 四個(gè)投影目標(biāo)點(diǎn)上、且照相機(jī)1R的校正用攝影圖像上的校正圖案A3的 四個(gè)特征點(diǎn)投影到針對校正圖案A3的四個(gè)投影目標(biāo)點(diǎn)上的方式，重新計(jì) 算單應(yīng)矩陣H2，。圖17 (d)表示重新計(jì)算了各單應(yīng)矩陣后得到的全周鳥 瞰像。通過步驟S24的重新計(jì)算而最終得到的單應(yīng)矩陣Hr H4'被作為根 據(jù)攝影圖像生成全周鳥瞰像用的校正完畢變換參數(shù)進(jìn)行處理。然后， 結(jié)束圖16的校正處理。實(shí)際上，例如根據(jù)校正完畢變換參數(shù)，生成與第 一實(shí)施例中說明過的同樣的表格數(shù)據(jù)。此時(shí)，也可將該表格數(shù)據(jù)作為校正 完畢變換參數(shù)。在圖16的校正處理后，圖5的圖像處理裝置10將由各照相機(jī)逐個(gè)獲 得的各攝影圖像利用校正完畢變換參數(shù)逐個(gè)變換為全周鳥瞰像。圖像處理裝置10向顯示裝置11供給表示各全周鳥瞰像的影像信號。顯示裝置11將各全周鳥瞰像作為運(yùn)動圖像進(jìn)行顯示。這樣，在第二實(shí)施例中，首先，在對公共的校正圖案進(jìn)行攝影的照相機(jī)之間(即照相機(jī)1F-1R之間、照相機(jī)1F-1L之間、照相機(jī)1B-1L之間、 照相機(jī)1B-1R之間)獨(dú)立地進(jìn)行剛體變換，使得公共的校正圖案的位置在 全局坐標(biāo)上大體一致，從而暫時(shí)求取單應(yīng)矩陣H,， H4，。接著，利用暫 定的單應(yīng)矩陣Hr H4'，將各校正圖案進(jìn)行坐標(biāo)變換到全局坐標(biāo)上。然 后，通過該坐標(biāo)變換而得到的、全局坐標(biāo)上的各校正圖案的形狀的修正， 使單應(yīng)矩陣H,' IV最佳化。根據(jù)第二實(shí)施例，也能獲得與第一實(shí)施例同樣的效果。第二實(shí)施例所 涉及的校正處理尤其在初始校正的精度不高的情況下有效。《第三實(shí)施例》接著，作為說明針對單應(yīng)矩陣Hf H4'的其他最佳化方法的實(shí)施例， 對第三實(shí)施例進(jìn)行說明。第三實(shí)施例相當(dāng)于第二實(shí)施例的變形例。表示第 三實(shí)施例涉及的校正處理的順序的流程圖與第二實(shí)施例涉及的流程圖(圖 16)相同，第三實(shí)施例涉及的校正處理由步驟S11 S13和S24構(gòu)成。但 是，在第三實(shí)施例中，步驟S24中的單應(yīng)矩陣H,' IV的最佳化方法與 第二實(shí)施例不同。因此，以下，對作為與第二實(shí)施例的不同點(diǎn)的該最佳化 方法進(jìn)行說明。在包括第三實(shí)施例的本實(shí)施方式中，將校正圖案的形狀作為正方形。 正方形對具有一個(gè)自由度的旋轉(zhuǎn)和具有兩個(gè)自由度的平行移動而言不變。 因此， 一般的平面射影變換矩陣具有八個(gè)自由度，相對于此，本實(shí)施例中 處理的單應(yīng)矩陣(Hn或Hn，)的自由度在5以下。而且，在本實(shí)施例中， 使全局坐標(biāo)上的校正圖案Al的一邊固定。若使全局坐標(biāo)上的校正圖案Al 的一邊固定并且利用校正圖案A2和A3的特征點(diǎn)的坐標(biāo)信息，則可唯一 確定全周鳥瞰像上的各鳥瞰像的配置位置。若使全局坐標(biāo)上的校 正圖案A1的一邊固定，則將單應(yīng)矩陣Hi'和H2'各自的自由度限制為4， 單應(yīng)矩陣IV和H4，各自的自由度限制為5。考慮到該情況，僅將形成單應(yīng) 矩陣H,' H4'的要素內(nèi)共計(jì)18個(gè)要素hu' h14，、h21， h24，、h31， h35，、h41' h45'作為調(diào)整對象要素進(jìn)行處理(參照上述式(5))，通過使這些調(diào) 整對象要素最佳化來進(jìn)行單應(yīng)矩陣Hi' IV的最佳化。若這些調(diào)整對象 要素的值固定，則此外的要素(h,5'等)可唯一確定。進(jìn)一步具體說明。在全局坐標(biāo)上使各鳥瞰像對位時(shí)，使鳥瞰 像50F上的校正圖案Al的一邊與該一邊所對應(yīng)的鳥瞰像50R上的校 正圖案A1的一邊完全重合，并且，唯一確定全局坐標(biāo)上的該一邊的兩端 坐標(biāo)位置。艮卩，按這種方式調(diào)整單應(yīng)矩陣Hr和H2，。接著，在全局坐標(biāo)上， 按照鳥瞰像50F的校正圖案A2與鳥瞰像50L的校正圖案A2重 合(大致重合)、且鳥瞰像50R的校正圖案A3與鳥瞰像50B的 校正圖案A3重合(大致重合)的方式，通過鳥瞰像50L與50B的剛 體變換進(jìn)行對位，暫時(shí)求取單應(yīng)矩陣H/和H4'。由此，如圖20所示，全局坐標(biāo)上的(換而言之，全周鳥瞰像上 的)各鳥瞰像的配置位置唯一確定。圖20中，標(biāo)注了標(biāo)記450的實(shí) 線邊表示在全局坐標(biāo)上兩端坐標(biāo)位置唯一確定的邊，該邊450的長度與基 于已知信息的已知的正方形的一邊的長度相等。將通過如上述的對位而求出的單應(yīng)矩陣Hn'作為初始值，進(jìn)行如下的 調(diào)整處理。圖21表示利用單應(yīng)矩陣H,，的初始值，將照相機(jī)1F的校正用攝影圖 像投影到全局坐標(biāo)上后的圖像(即，上述的對位后的鳥瞰像50F)。圖 21中，四邊形460和480分別表示實(shí)際的校正圖案Al與A2的投影圖形。 標(biāo)注了標(biāo)記450的邊與圖20中的相應(yīng)邊相同。校正圖案Al所對應(yīng)的四邊 形460的一邊與邊450完全一致。考慮按照將基于己知信息的己知的正方形470和490分別與四邊形 460和480大致重合的方式進(jìn)行配置。此時(shí)，如圖21所示，應(yīng)用如下限制 條件使正方形470的一邊與邊450 —致，使正方形490的一個(gè)頂點(diǎn)與四 邊形480的一個(gè)頂點(diǎn)一致，并且，使以一致的一個(gè)頂點(diǎn)為端點(diǎn)的一邊在正 方形490與四邊形480之間重合。此時(shí)，在四邊形460與正方形470之間，兩個(gè)頂點(diǎn)一致，另外兩個(gè)頂 點(diǎn)不一致(但也有一致的情況)。關(guān)于這另外的兩個(gè)頂點(diǎn)，設(shè)對應(yīng)的頂點(diǎn) 間的位置誤差為A,和A2。另一方面，在四邊形480與正方形490之間，一個(gè)頂點(diǎn)一致，另外三個(gè)頂點(diǎn)不一致(但也有一致的情況)。關(guān)于這另外的三個(gè)頂點(diǎn)，設(shè)對應(yīng)的頂點(diǎn)間的位置誤差為A3、 A4和As。這樣的位置誤差在利用單應(yīng)矩陣H2，的初始值將照相機(jī)1R的校正用攝 影圖像投影到全局坐標(biāo)上后的圖像中也同樣產(chǎn)生。在利用單應(yīng)矩陣H 的 初始值將照相機(jī)1L的校正用攝影圖像投影到全局坐標(biāo)上后的圖像中，應(yīng) 用如下限制條件；校正圖案A2的一個(gè)頂點(diǎn)與已知的正方形的一個(gè)頂點(diǎn)一 致，并且使以一致的一個(gè)頂點(diǎn)為端點(diǎn)的一邊在校正圖案A2與已知的正方 形之間重合。對于照相機(jī)1B與照相機(jī)1L的情況同樣。由此，對于自由度 為4的單應(yīng)矩陣H,'和H 而言，分別產(chǎn)生五個(gè)位置誤差，對于自由度為5 的單應(yīng)矩陣H 和IV而言，分別產(chǎn)生六個(gè)位置誤差。因此，根據(jù)5X2+6 X2=22，所產(chǎn)生的位置誤差的總數(shù)為22。在第三實(shí)施例中，將該共計(jì)22個(gè)位置誤差的總和作為誤差評價(jià)值DB,按照使誤差評價(jià)值DB最小化的方式使各單應(yīng)矩陣Hn'最佳化。使誤差評價(jià)值DB最小化的方法與第一實(shí)施例涉及的誤差評價(jià)值DA最小化的方法相 同。最佳化后的單應(yīng)矩陣H H4'作為根據(jù)攝影圖像生成全周鳥瞰 像用的校正完畢變換參數(shù)進(jìn)行處理。然后，結(jié)束第三實(shí)施例涉及的校正處 理。實(shí)際上，例如，根據(jù)校正完畢變換參數(shù)，生成與第一實(shí)施例中說明過 的同樣的表格數(shù)據(jù)。此時(shí)，也可將該表格數(shù)據(jù)作為校正完畢變換參數(shù)。在校正處理后，圖5的圖像處理裝置10將由各照相機(jī)逐個(gè)獲得的各 攝影圖像利用校正完畢變換參數(shù)逐個(gè)變換為全周鳥瞰像。圖像處理裝 置10向顯示裝置11供給表示各全周鳥瞰像的影像信號。顯示裝置11 將各全周鳥瞰像作為運(yùn)動圖像進(jìn)行顯示?！兜谒膶?shí)施例》上述第一 第三實(shí)施例中，在初始校正時(shí)利用平面射影變換。即，利 用平面射影變換進(jìn)行鳥瞰圖變換，然后，通過剛體變換求取單應(yīng)矩陣Hn' 的初始值。但是，在進(jìn)行初始校正時(shí)，也可取代平面射影變換，而利用透 視投影變換。將利用透視投影變換的情況作為第四實(shí)施例進(jìn)行說明。關(guān)于透視投影變換是公知的(例如參照特開2006-287892號公報(bào))。對通過透視投影變換將一臺照相機(jī)的攝影圖像變換為鳥瞰像的方法進(jìn)行簡單說明。用(Xbu、ybu)表示攝影圖像上的各點(diǎn)的坐標(biāo)，用(x吣yj表示該攝影圖像由透視投影變換變換后的鳥瞰像上的各點(diǎn)的坐標(biāo)，用于將坐標(biāo)(xbu、ybu)變換為坐標(biāo)(xau、yj的式.子如下述式(7)所示。工加aw」乂(7)這里，0a如圖22所示，是地面與照相機(jī)的光軸所成的角度(其中，9 0°<ea<180°)。此外，圖22中，作為照相機(jī)的例子表示了照相機(jī)1B。 h是基于照相機(jī)的高度的量(照相機(jī)坐標(biāo)系與全局坐標(biāo)系的、高度方向的 平行移動量)。f是照相機(jī)的焦點(diǎn)距離。鳥瞰像是將實(shí)際的照相機(jī)的 攝影圖像變換為從假想照相機(jī)的視點(diǎn)(假想視點(diǎn))觀察的圖像后的圖像， Ha表示該假想照相機(jī)的高度。6a、 h和Ha可作為照相機(jī)外部信息(照相 機(jī)的外部參數(shù))，f可作為照相機(jī)內(nèi)部信息(照相機(jī)的內(nèi)部參數(shù))。利用 基于這些信息的式(7)，對照相機(jī)的攝影圖像中的各點(diǎn)進(jìn)行坐標(biāo)變換， 可生成鳥瞰像。圖像處理裝置10對透視投影變換中需要的各照相機(jī)有關(guān)的ea、 h 、 f 和Ha進(jìn)行預(yù)先識別，基于式(7)，對各照相機(jī)的校正用攝影圖像中的各 點(diǎn)進(jìn)行坐標(biāo)變換，從而生成各鳥瞰像。然后，通過與第一 第三實(shí)施 例中的某一個(gè)同樣的方法對各鳥瞰像進(jìn)行剛體變換，使各鳥瞰像 對位。并且，根據(jù)該對位后的各鳥瞰像中的校正圖案的各特征點(diǎn)的坐 標(biāo)(全局坐標(biāo)上的坐標(biāo)值)、與各校正用攝影圖像中的校正圖案的各特征 點(diǎn)的坐標(biāo)(校正用攝影圖像上的坐標(biāo)值)的對應(yīng)關(guān)系，求取各單應(yīng)矩陣 PV的初始值。在求出各單應(yīng)矩陣IV的初始值之后的各單應(yīng)矩陣PV的最佳化處理與第一 第三實(shí)施例中的某一個(gè)相同。在本實(shí)施例中應(yīng)用第一實(shí)施例時(shí)，按如下方式進(jìn)行處理。即，在通過透視投影變換得到了各鳥瞰像之后，通過剛體變換僅對照相機(jī)1F、 1R 和1L所對應(yīng)的鳥瞰像進(jìn)行對位，根據(jù)該對位后的各鳥瞰像中的 校正圖案的各特征點(diǎn)的坐標(biāo)(全局坐標(biāo)上的坐標(biāo)值)、與各校正用攝影圖像中的校正圖案的各特征點(diǎn)的坐標(biāo)(校正用攝影圖像上的坐標(biāo)值)的對應(yīng)關(guān)系，求取各單應(yīng)矩陣Hr h3'。并且，如在第一實(shí)施例中所述，使誤差評價(jià)值DA最小化來求取單應(yīng)矩陣H4'。《變形等》作為上述實(shí)施方式的變形例或注釋事項(xiàng)，以下記載注釋1 注釋5。 各注釋所記載的內(nèi)容只要不矛盾就可以任意組合。 [注釋1]進(jìn)行平面射影變換時(shí)，在變換前圖像與變換后圖像之間需要四個(gè)特征 點(diǎn)。考慮到該情況，在上述實(shí)施方式中，采用具有四個(gè)特征點(diǎn)的正方形作 為校正圖案的形狀例。但校正圖案的形狀未必要為正方形。尤其是，在進(jìn)行變換為鳥瞰像之后的處理時(shí)，各校正圖案所包含 的特征點(diǎn)的總數(shù)在2以上即可。g卩，例如，如圖23所示，在公共攝影區(qū) 域3fr、 3fl、 3br和3bl內(nèi)，即使分別配置具有線段形狀的校正圖案al、 a2、 a3和a4，也能進(jìn)行通過針對各鳥瞰像的剛體變換的單應(yīng)矩陣H。'的調(diào) 整。圖24表示利用了校正圖案al a4時(shí)的剛體變換的情況。各校正圖案 al a4包括線段的兩端作為特征點(diǎn)，全局坐標(biāo)上的線段的長度已知。若在 各公共攝影區(qū)域內(nèi)配置的各校正圖案包括兩個(gè)以上的線段的長度，則通過 參照全局坐標(biāo)上理想情況下應(yīng)一致的投影點(diǎn)之間的位置誤差，可更好地調(diào) 整單應(yīng)矩陣Hn'。[注釋2]上述的鳥瞰像相當(dāng)于將各照相機(jī)的攝影圖像投影到地面上后的 圖像。即，上述實(shí)施方式中，通過將各照相機(jī)的攝影圖像投影到地面上后 進(jìn)行合成，來生成全周鳥瞰像，但攝影圖像應(yīng)被投影的面也可為地面 以外的任意的規(guī)定面(例如規(guī)定平面)。[注釋3]以利用了作為車載照相機(jī)的照相機(jī)1f、 1r和1b的視場支援系統(tǒng)為例 對本發(fā)明的實(shí)施方式進(jìn)行了說明，但也可將應(yīng)與圖像處理裝置10連接的 各照相機(jī)設(shè)置在車輛以外。即，本發(fā)明也可對建筑物等中設(shè)置的監(jiān)視系統(tǒng) 應(yīng)用。在這種監(jiān)視系統(tǒng)中，與上述實(shí)施方式同樣，來自多個(gè)照相機(jī)的各攝影圖像被投影到規(guī)定面上后進(jìn)行合成，從而在顯示裝置上顯示合成圖像。[注釋4]圖5的圖像處理裝置10的功能可通過硬件、軟件、或硬件與軟件的 組合來實(shí)現(xiàn)。將由圖像處理裝置10實(shí)現(xiàn)的功能的全部或一部分記述為程 序，也可通過在計(jì)算機(jī)上執(zhí)行該程序，來實(shí)現(xiàn)該功能的全部或一部分。[注釋5]在校正處理時(shí)進(jìn)行變換參數(shù)的調(diào)整后導(dǎo)出校正完畢變換參數(shù)的參數(shù) 導(dǎo)出單元內(nèi)置于圖像處理裝置10中，包括該參數(shù)導(dǎo)出單元并進(jìn)行照相機(jī) 的校正處理的照相機(jī)校正裝置也內(nèi)置于圖像處理裝置10中。另外，參數(shù) 導(dǎo)出單元包括暫時(shí)求取變換參數(shù)(單應(yīng)矩陣Hn')的暫定參數(shù)導(dǎo)出單元、 調(diào)整暫定變換參數(shù)的參數(shù)調(diào)整單元。在校正處理后，圖像處理裝置10發(fā) 揮通過將攝影圖像投影到規(guī)定面上后進(jìn)行合成來生成合成圖像(在上述實(shí) 施方式中為全周鳥瞰像)的合成圖像生成單元。
權(quán)利要求
1、一種照相機(jī)校正裝置，包括參數(shù)導(dǎo)出單元，該參數(shù)導(dǎo)出單元求取將來自N臺照相機(jī)的各攝影圖像投影到規(guī)定面上進(jìn)行合成用的參數(shù)，其中，N是3以上的整數(shù)，所述N臺照相機(jī)由第一、第二、…和第N照相機(jī)構(gòu)成，第i照相機(jī)與此外的N-1臺照相機(jī)的某一個(gè)具有公共攝影區(qū)域，整體上存在多個(gè)公共攝影區(qū)域，其中，i是1以上且N以下的整數(shù)，所述參數(shù)導(dǎo)出單元基于各公共攝影區(qū)域內(nèi)配置的校正圖案的由各照相機(jī)得到的攝影結(jié)果，來求取所述參數(shù)，各校正圖案相互獨(dú)立配置。
2、 根據(jù)權(quán)利要求1所述的照相機(jī)校正裝置，其特征在于， 所述公共攝影區(qū)域至少分別存在于所述第一照相機(jī)與所述第二照相機(jī)之間、所述第二照相機(jī)與第三照相機(jī)之間、…及第N-1照相機(jī)與所述第 N照相機(jī)之間。
3、 根據(jù)權(quán)利要求2所述的照相機(jī)校正裝置，其特征在于， 所述參數(shù)導(dǎo)出單元，在將各攝影圖像被投影且被合成的坐標(biāo)定義為全局坐標(biāo)，將所述第N-1照相機(jī)與所述第N照相機(jī)之間的公共攝影區(qū)域內(nèi)配置的 校正圖案稱為關(guān)注校正圖案的情況下， 所述參數(shù)導(dǎo)出單元包括第一參數(shù)導(dǎo)出單元，其利用由所述第一 所述第N-1照相機(jī)得到的各 校正圖案的攝影結(jié)果，求取用于將所述第一 所述第N-1照相機(jī)的各攝影 圖像進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上的第一參數(shù)；和第二參數(shù)導(dǎo)出單元，其基于利用所述第一參數(shù)將由所述第N-1照相機(jī) 拍攝的所述關(guān)注校正圖案進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上而得到的所述 關(guān)注校正圖案的坐標(biāo)信息、和由所述第N照相機(jī)拍攝的所述關(guān)注校正圖案 的坐標(biāo)信息，求取用于將所述第N照相機(jī)的攝影圖像進(jìn)行坐標(biāo)變換到所述 全局坐標(biāo)上的第二參數(shù)；所述參數(shù)導(dǎo)出單元根據(jù)所述第一參數(shù)和所述第二參數(shù)求取所述參數(shù)。
4、 根據(jù)權(quán)利要求1所述的照相機(jī)校正裝置，其特征在于， 所述參數(shù)導(dǎo)出單元將各攝影圖像被投影且被合成的坐標(biāo)定義為全局坐標(biāo)，對于所述參數(shù)導(dǎo)出單元而言各校正圖案的形狀為已知，該形狀作為已 知信息被預(yù)先識別，所述參數(shù)導(dǎo)出單元在利用由各照相機(jī)得到的各校正圖案的攝影結(jié)果 暫時(shí)求出所述參數(shù)之后，利用暫定的所述參數(shù)將由各照相機(jī)拍攝的各校正 圖案進(jìn)行坐標(biāo)變換到所述全局坐標(biāo)上，基于該坐標(biāo)變換后的各校正圖案的 形狀和所述已知信息，對暫定的所述參數(shù)進(jìn)行調(diào)整，經(jīng)過該調(diào)整后最終求 取所述參數(shù)。
5、 一種車輛，其中設(shè)置有N臺照相機(jī)和圖像處理裝置，所述圖像處 理裝置包括權(quán)利要求1所述的照相機(jī)校正裝置。
6、 一種照相機(jī)校正方法，求取將來自N臺照相機(jī)的各攝影圖像投影 到規(guī)定面上進(jìn)行合成用的參數(shù)，其中，N是3以上的整數(shù)，所述N臺賠、相機(jī)由第一、第二、…和第N照相機(jī)構(gòu)成，第i照相機(jī)與此外的N-l臺照相機(jī)的某一個(gè)具有公共攝影區(qū)域，整體 上存在多個(gè)公共攝影區(qū)域，其中，i是l以上且N以下的整數(shù)，該照相機(jī)校正方法基于各公共攝影區(qū)域內(nèi)配置的校正圖案的由各照 相機(jī)得到的攝影結(jié)果，來求取所述參數(shù)，各校正圖案相互獨(dú)立配置。
全文摘要
本發(fā)明提供一種照相機(jī)校正裝置，包括參數(shù)導(dǎo)出單元，該參數(shù)導(dǎo)出單元求取將來自N臺照相機(jī)(N是3以上的整數(shù))的各攝影圖像投影到規(guī)定面上進(jìn)行合成用的參數(shù)，所述N臺照相機(jī)由第一、第二、…和第N照相機(jī)構(gòu)成，第i照相機(jī)與此外的N-1臺照相機(jī)的某一個(gè)具有公共攝影區(qū)域(i是1以上且N以下的整數(shù))，整體上存在多個(gè)公共攝影區(qū)域，所述參數(shù)導(dǎo)出單元基于各公共攝影區(qū)域內(nèi)配置的校正圖案的由各照相機(jī)得到的攝影結(jié)果，來求取所述參數(shù)，各校正圖案相互獨(dú)立配置。
文檔編號B60R1/00GK101236654SQ20081000530
公開日2008年8月6日 申請日期2008年1月30日 優(yōu)先權(quán)日2007年1月31日
發(fā)明者奧田浩三, 淺利圭介, 石井洋平, 蚊野浩 申請人:三洋電機(jī)株式會社