圖像處理裝置制造方法
【專利摘要】圖像處理裝置(81)具有距離信息取得部(35)和圖像合成部(30)。距離信息取得部(35)根據(jù)由拍攝車輛周邊的多個(gè)攝像機(jī)(10、11、12、13)拍攝到的共同被攝體在多個(gè)攝影圖像上的位置，計(jì)算從車輛的基準(zhǔn)位置(O)到共同被攝體的第1被攝體距離，根據(jù)第1被攝體距離計(jì)算到由多個(gè)攝像機(jī)(10、11、12、13)中的一個(gè)攝像機(jī)拍攝到的被攝體的第2被攝體距離。圖像合成部(30)根據(jù)第1被攝體距離和第2被攝體距離，將以多個(gè)攝像機(jī)(10、11、12、13)為視點(diǎn)的攝影圖像變換成以基準(zhǔn)位置(O)為視點(diǎn)的圖像，并在一個(gè)投影面上連接起來。
【專利說明】圖像處理裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及車載圖像處理裝置，利用攝像機(jī)拍攝在車輛行駛時(shí)產(chǎn)生的死角區(qū)域而生成圖像，幫助駕駛員確認(rèn)車輛周圍。

【背景技術(shù)】
[0002]駕駛員在駕駛車輛時(shí)通過視覺進(jìn)行車輛周圍的狀況確認(rèn)。但是，由于存在本車的車體和障礙物，有時(shí)產(chǎn)生駕駛員通過視覺不能識(shí)別的死角區(qū)域?！八澜恰笔侵笍哪硞€(gè)角度無論如何都看不到的范圍。在此是指駕駛員看不到的范圍。“本車”是指駕駛員乘坐的車輛。為了幫助駕駛員識(shí)別這樣的死角區(qū)域，提出了利用安裝于車體的攝像機(jī)拍攝車輛周圍的圖像，并顯示在設(shè)置于車內(nèi)的顯示裝置的畫面上的技術(shù)。關(guān)于這種技術(shù)可以列舉如下。
[0003]專利文獻(xiàn)I中記載的技術(shù)是，使用側(cè)方攝像機(jī)和后方攝像機(jī)從各個(gè)攝像機(jī)圖像中切取圖像，并進(jìn)行粘貼來顯示。根據(jù)車速改變圖像的切取范圍。在車速較快時(shí)，在更寬的范圍內(nèi)切取側(cè)方攝像機(jī)的圖像。由此，粘貼而成的顯示圖像的顯示區(qū)域擴(kuò)大，能夠?qū)崿F(xiàn)削減死角區(qū)域。“側(cè)方攝像機(jī)”是指拍攝車輛的左右方向的攝像機(jī)。“后方攝像機(jī)”是指拍攝車輛的后方的攝像機(jī)。“車速”是指車輛的速度。
[0004]另外，專利文獻(xiàn)2中記載的方式是，將由多個(gè)攝像機(jī)拍攝到的車輛的周邊圖像顯示在顯示裝置上，改變顯示面積在顯示裝置的畫面中占據(jù)的比率而進(jìn)行合成。能夠通過根據(jù)方向盤操作的狀態(tài)改變顯示比率，從顯示在同一畫面的多個(gè)攝像圖像中使應(yīng)該關(guān)注的圖像更醒目。
[0005]現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開2004-312523號(hào)公報(bào)(第0021?0024段，圖2)
[0008]專利文獻(xiàn)2:日本特開2005-198160號(hào)公報(bào)(第0030?0038段，圖1)


【發(fā)明內(nèi)容】

[0009]發(fā)明要解決的問題
[0010]但是，在上述專利文獻(xiàn)I公開的現(xiàn)有技術(shù)中，沒有具體披露在進(jìn)行多個(gè)攝像機(jī)圖像的粘貼時(shí)進(jìn)行視點(diǎn)變換的方法。在獨(dú)立地進(jìn)行從各攝像機(jī)圖像中切取區(qū)域和視點(diǎn)變換時(shí)，在攝像機(jī)圖像間的接合部分直線被彎折顯示，存在成為從視覺上難以識(shí)別被攝體形狀的不自然形狀的問題。
[0011]另外，在上述專利文獻(xiàn)2所示的現(xiàn)有技術(shù)中，同樣是按照方向盤操作等切換待顯示的攝像機(jī)圖像的顯示比率。但是，關(guān)于圖像的視點(diǎn)變換，僅從使朝向一致以使在同時(shí)顯示的圖像彼此間車輛的行進(jìn)方向相同的觀點(diǎn)進(jìn)行了記載。即，專利文獻(xiàn)2所示的現(xiàn)有技術(shù)沒有考慮到圖像間的接合。因此，對(duì)于位于多個(gè)攝像機(jī)的邊界區(qū)域的被攝體，存在不能正確把握形狀，駕駛員難以識(shí)別被攝體的問題。
[0012]因此，本發(fā)明的課題是提供一種圖像處理裝置，使駕駛員容易確認(rèn)車輛的周邊狀況的圖像。即，即使在多個(gè)攝像機(jī)的圖像的邊界部分，也能夠降低被攝體的形狀的彎折程度。并且，能夠抑制被攝體被重影顯示。并且，能夠抑制被攝體的顯示有缺失。因此，本發(fā)明的課題是提供一種圖像處理裝置，以接近駕駛員實(shí)際目視確認(rèn)時(shí)的形狀顯示畫面。
[0013]用于解決問題的手段
[0014]為了解決上述課題，本發(fā)明的圖像處理裝置具有:距離信息取得部，其根據(jù)由拍攝車輛周邊的多個(gè)攝像機(jī)拍攝到的共同被攝體在所述多個(gè)攝影圖像上的位置，計(jì)算從所述車輛的基準(zhǔn)位置到所述共同被攝體的第1被攝體距離，根據(jù)所述第1被攝體距離計(jì)算到由所述多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)拍攝到的被攝體的第2被攝體距離；以及圖像合成部，其根據(jù)所述第1被攝體距離和所述第2被攝體距離，將以所述多個(gè)攝像機(jī)為視點(diǎn)的所述攝影圖像變換成以所述基準(zhǔn)位置為視點(diǎn)的圖像，并在一個(gè)投影面上連接起來。
[0015]發(fā)明效果
[0016]本發(fā)明即使在攝像機(jī)間的圖像的邊界部分，也能夠降低被攝體的形狀的彎折程度，提高目視確認(rèn)性。

【專利附圖】

【附圖說明】
[0017]圖1是表示實(shí)施方式1的行駛支援裝置的框圖。
[0018]圖2是表示實(shí)施方式1的攝像機(jī)在車輛上的安裝位置的圖。
[0019]圖3是表示實(shí)施方式1的被合成后的圖像例的圖。
[0020]圖4是表示實(shí)施方式1的方向盤的轉(zhuǎn)向角與圖像切取位置的對(duì)應(yīng)關(guān)系的圖。
[0021]圖5是表示實(shí)施方式2的行駛支援裝置的框圖。
[0022]圖6是表示實(shí)施方式2的被攝體的匹配方法的圖。
[0023]圖7是表示實(shí)施方式2的在合成多個(gè)攝像機(jī)圖像時(shí)產(chǎn)生的被攝體位置偏移的圖。
[0024]圖8是表示實(shí)施方式2的投影面的校正方法的圖。
[0025]圖9是表示實(shí)施方式2的投影面的校正方法的圖。
[0026]圖10是表示實(shí)施方式3的行駛支援裝置的框圖。
[0027]圖11是表示實(shí)施方式3的方向盤的轉(zhuǎn)向角與車輛后方圖像的切取位置的對(duì)應(yīng)關(guān)系的圖。
[0028]圖12是表示實(shí)施方式3的車輛前方圖像和車輛后方圖像的顯示方法的圖。

【具體實(shí)施方式】
[0029]實(shí)施方式1
[0030]圖1是表示實(shí)施方式1的行駛支援裝置100的結(jié)構(gòu)的框圖。本發(fā)明的行駛支援裝置100具有攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、圖像切取部32以及顯示部40。并且，行駛支援裝置100還可以具有存儲(chǔ)器31。實(shí)施方式1的圖像處理裝置80具有圖像合成部30。并且，圖像處理裝置80還可以具有圖像切取部32。圖像處理裝置80還可以具有存儲(chǔ)器31。
[0031]攝像機(jī)10、11、12、13拍攝車輛周邊。轉(zhuǎn)向角檢測(cè)部20檢測(cè)車輛的方向盤轉(zhuǎn)動(dòng)角?！胺较虮P轉(zhuǎn)動(dòng)角”是指轉(zhuǎn)動(dòng)方向盤的角度?！稗D(zhuǎn)動(dòng)方向盤”是指通過旋轉(zhuǎn)方向盤的操作來改變車輛的行進(jìn)方向。即，“方向盤轉(zhuǎn)動(dòng)角”是指旋轉(zhuǎn)方向盤的角度，是表示改變車輛的行進(jìn)方向的程度的角度。
[0032]圖像合成部30合成來自攝像機(jī)10、11、12、13的輸入圖像，生成沿著全周表示車輛周圍的圖像。在此，“合成”是指將各攝像機(jī)10、11、12、13拍攝到的圖像連接起來。因此，“合成”不包括將各攝像機(jī)10、11、12、13拍攝到的圖像疊加在一個(gè)圖像上的情況。另外，在按照后述的方向服、、此那樣由相鄰的攝像機(jī)雙方拍攝到的區(qū)域中，預(yù)先設(shè)定由各攝像機(jī)生成的圖像的區(qū)域，根據(jù)該區(qū)域的設(shè)定，選擇任意一個(gè)攝像機(jī)的圖像。并且，圖像合成部30也能夠合成來自攝像機(jī)10、11、12、13的輸入圖像，生成表示車輛周圍的一部分的圖像。
[0033]存儲(chǔ)器31記錄從圖像合成部30輸出的圖像數(shù)據(jù)。圖像切取部32參照存儲(chǔ)器31中存儲(chǔ)的圖像，根據(jù)轉(zhuǎn)向角檢測(cè)部20的輸出值決定切取區(qū)域，進(jìn)行圖像的切取。顯示部40顯示圖像切取部32切取的圖像。顯示部40與駕駛員的位置相比配置在車輛的前方側(cè)?！皥D像的切取”是指提取圖像的一部分?！扒腥^(qū)域”是指切取圖像的區(qū)域。
[0034]攝像機(jī)10、11、12、13安裝在車輛的前后左右。以使4個(gè)攝像機(jī)10、11、12、13的攝像機(jī)視場(chǎng)角包含車輛周圍的全部方向的方式，配置攝像機(jī)10、11、12、13?！败囕v周圍的全部方向”是指車輛周圍的360度的方向。圖2是從上方觀察車輛的圖。并且，圖2是表示攝像機(jī)10、11、12、13的安裝位置的示意圖。
[0035]圖像合成部30進(jìn)行圖像的視點(diǎn)變換和合成。由此，圖像合成部30生成將4個(gè)攝像機(jī)10、11、12、13的圖像沿水平方向全部連接起來的圖像。為了合成多個(gè)攝像機(jī)圖像而生成以一點(diǎn)為中心的水平方向360度的全周圖像，需要將各攝像機(jī)圖像投影到一個(gè)共同的假想面(投影面)。
[0036]在圖2中，粗實(shí)線表示用于對(duì)各攝像機(jī)10、11、12、13的圖像進(jìn)行投影的共同的投影面5的示例。投影面5是圖像被合成時(shí)的投影面。如圖2所示，例如從車輛的上方觀察，投影面5形成以車輛的中心為中心0的圓形。投影面5是圍繞車輛的圓筒形狀的面。
[0037]在圖2中，攝像機(jī)10被安裝在車輛的前方表面的中央。攝像機(jī)11被安裝在車輛的左側(cè)面的中央。攝像機(jī)12被安裝在車輛的后方表面的中央。攝像機(jī)13被安裝在車輛的右側(cè)面的中央。攝像機(jī)的視場(chǎng)角范圍510是攝像機(jī)10的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍511是攝像機(jī)11的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍512是攝像機(jī)12的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍513是攝像機(jī)13的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍510、511、512、513用虛線示出?！耙晥?chǎng)角”是指用角度表示攝像機(jī)拍攝的范圍。即，“視場(chǎng)角范圍”是指攝像機(jī)拍攝的范圍。
[0038]例如，攝像機(jī)10拍攝到的被攝體8首先被視作位于連接攝像機(jī)10和被攝體8的位置的直線53與投影面5相交的位置八的被攝體。對(duì)于位于位置八的被攝體8，求出視點(diǎn)位置從攝像機(jī)10的位置移動(dòng)到車輛的中心位置0時(shí)的攝像機(jī)圖像內(nèi)的被攝體位置的變動(dòng)，由此進(jìn)行視點(diǎn)位置的變換。即，在將視點(diǎn)位置從攝像機(jī)10的位置移動(dòng)到車輛的中心位置0的情況下，求出位于位置八的被攝體8在攝像機(jī)圖像內(nèi)的被攝體位置的變動(dòng)。“被攝體位置的變動(dòng)”是指被攝體的位置在圖像內(nèi)移動(dòng)。圖像合成部30在將各攝像機(jī)10、11、12、13的圖像連接起來時(shí)進(jìn)行視點(diǎn)位置的變換。這是因?yàn)楦鲾z像機(jī)10、11、12、13的視點(diǎn)位置不同。
[0039]視點(diǎn)位置的變換是指視點(diǎn)位置從攝像機(jī)10、11、12、13的位置移動(dòng)到車輛的中心0時(shí)的變換。例如，圖像合成部30對(duì)于位于位置八的被攝體8，求出視點(diǎn)位置從攝像機(jī)10的位置移動(dòng)到車輛的中心0時(shí)的攝像機(jī)圖像內(nèi)的被攝體8的位置的變動(dòng)。即，假設(shè)被攝體8位于位置A，在被攝體B從車輛的中心O起位于位置A的方向時(shí)，進(jìn)行視點(diǎn)位置的變換。
[0040]對(duì)于攝像機(jī)11、攝像機(jī)12以及攝像機(jī)13拍攝到的圖像進(jìn)行同樣的視點(diǎn)位置的變換。例如，在各攝像機(jī)的圖像重合的區(qū)域中，事前決定采用哪個(gè)攝像機(jī)的圖像。
[0041]由此，生成以車輛的中心O為視點(diǎn)的車輛的前后左右4個(gè)方向的圖像。以攝像機(jī)間的圖像切換的部分為邊界，接合這樣生成的4幅圖像。攝像機(jī)10、11、12、13間的圖像切換的部分是車輛斜向的部分。
[0042]由此，能夠生成相對(duì)于車輛中心具有360度視點(diǎn)的圖像。“車輛斜向”是指相對(duì)于車輛的前后方向，前方的右側(cè)45度的方向、前方的左側(cè)45度的方向、后方的右側(cè)45度的方向以及后方的左側(cè)45度的方向。即，后述的圖8所示的4個(gè)方向FR、FL、RR、RL。
[0043]圖3是表示使用這種投影方法生成的圖像的圖。投影面5由平滑的曲面構(gòu)成。如上所述，在圖2中從車輛的上方觀察，投影面呈圓形。由此，能夠得到被攝體的形狀在攝像機(jī)10、11、12、13的圖像間的邊界部分不會(huì)彎折且保持接近駕駛員直接沿著全周目視確認(rèn)時(shí)的被攝體形狀的合成圖像。投影面5只要是平滑的曲面即可，也可以不是圖2所示的圓形。因?yàn)橹灰恰捌交拿妗?，被攝體的形狀就不會(huì)彎折。
[0044]圖像切取部32接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)，在圖1中是通過存儲(chǔ)器31接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。圖像切取部32也可以直接接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。然后，圖像切取部32進(jìn)行根據(jù)方向盤的轉(zhuǎn)向角切換圖像的切取范圍62 (參照?qǐng)D4)的處理。即，根據(jù)方向盤的轉(zhuǎn)向角進(jìn)行圖像切取位置的變更?！稗D(zhuǎn)向角”是指轉(zhuǎn)動(dòng)方向盤的角度。
[0045]圖4是表示方向盤的轉(zhuǎn)向角與圖像切取位置的對(duì)應(yīng)關(guān)系的圖。圖4的(A)表示方向盤的轉(zhuǎn)向角為O度的情況。圖4的(B)表示方向盤的轉(zhuǎn)向角為向左側(cè)10度的情況。圖4的(C)表示方向盤的轉(zhuǎn)向角為向右側(cè)10度的情況。如圖4所示，在不轉(zhuǎn)動(dòng)方向盤的狀態(tài)下(圖4的(A))，圖像切取部32進(jìn)行相對(duì)于與車輛正面對(duì)應(yīng)的合成圖像6的中心61左右相等距離的圖像切取?！白笥蚁嗟染嚯x”是指與左側(cè)的距離和與右側(cè)的距離相等。在向左轉(zhuǎn)動(dòng)方向盤時(shí)(圖4的(B))，圖像切取部32使圖像的切取范圍62向左側(cè)移動(dòng)。在向右轉(zhuǎn)動(dòng)方向盤時(shí)(圖4的(C))，圖像切取部32使圖像的切取范圍62向右側(cè)移動(dòng)。
[0046]也可以利用使切取位置與方向盤的轉(zhuǎn)向角成比例地連續(xù)移動(dòng)的運(yùn)算式，求出方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系。另外，方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系也可以采用使特定的切取位置對(duì)應(yīng)于固定范圍內(nèi)的方向盤的轉(zhuǎn)向角的分情況處理。在采用運(yùn)算式的情況下，圖像的切取位置連續(xù)移動(dòng)。但是，在采用分情況處理的情況下，圖像的切取位置連續(xù)移動(dòng)。然而，在采用分情況處理的情況下，與采用運(yùn)算式時(shí)相比能夠降低處理量。在不妨礙駕駛員的目視確認(rèn)性的情況下，采用分情況處理時(shí)具有處理變快的優(yōu)點(diǎn)。
[0047]顯示部40在顯示畫面顯示切取出的圖像，將前方圖像提示給駕駛員。
[0048]這樣構(gòu)成的行駛支援裝置100能夠按照方向盤的轉(zhuǎn)向角顯示車輛的行進(jìn)方向前方的圖像。并且，行駛支援裝置100能夠提高對(duì)有無被本車輛的中間立柱等遮擋而難以確認(rèn)的車輛斜后方的障礙物或其它車輛的目視確認(rèn)性?！氨拒囕v”是指駕駛員乘坐的車輛?！傲⒅笔侵肝挥谄囓囬T等的車窗的柱子?！爸虚g立柱”是指汽車車門的中柱。
[0049]另外，能夠抑制被攝體的形狀在攝像機(jī)10、11、12、13的圖像間的邊界部分彎折，顯示保持接近駕駛員直接目視確認(rèn)時(shí)的被攝體的形狀的圖像。因此，能夠提高駕駛員對(duì)車輛周邊狀況的目視確認(rèn)性。
[0050]實(shí)施方式2
[0051]圖5是表示實(shí)施方式2的行駛支援裝置110的結(jié)構(gòu)的框圖。本發(fā)明的行駛支援裝置110具有攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、圖像切取部32、距離信息取得部35以及顯示部40。并且，行駛支援裝置110還可以具有存儲(chǔ)器31。實(shí)施方式2的圖像處理裝置81具有圖像合成部30和距離信息取得部35。并且，圖像處理裝置81還可以具有圖像切取部32。圖像處理裝置81還可以具有存儲(chǔ)器31。
[0052]行駛支援裝置110具有距離信息取得部35，這一點(diǎn)與行駛支援裝置100不同。行駛支援裝置110的攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、圖像切取部32、顯示部40以及存儲(chǔ)器31具有與行駛支援裝置100的攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、圖像切取部32、顯示部40以及存儲(chǔ)器31相同的功能。因此，在沒有進(jìn)行特殊說明的情況下，與在行駛支援裝置100中說明的內(nèi)容相同。另外，關(guān)于用語的定義，在沒有進(jìn)行特殊說明的情況下與實(shí)施方式1相同。
[0053]攝像機(jī)10、11、12、13拍攝車輛周邊。轉(zhuǎn)向角檢測(cè)部20檢測(cè)車輛的方向盤轉(zhuǎn)動(dòng)角。圖像合成部30合成來自攝像機(jī)10、11、12、13的輸入圖像，生成沿著全周表示車輛周圍的圖像。存儲(chǔ)器31記錄從圖像合成部30輸出的圖像數(shù)據(jù)。圖像切取部32參照存儲(chǔ)器31中存儲(chǔ)的圖像，根據(jù)轉(zhuǎn)向角檢測(cè)部20的輸出值決定切取區(qū)域，進(jìn)行圖像的切取。距離信息取得部35參照相鄰的攝像機(jī)10、11、12、13的圖像的同一被攝體部分，根據(jù)被攝體在攝像機(jī)10、11、12、13的圖像上的位置計(jì)算到被攝體的距離。顯示部40顯示切取出的圖像。
[0054]攝像機(jī)10、11、12、13與實(shí)施方式1相同地安裝在車輛的前后左右。以使4個(gè)攝像機(jī)10、11、12、13的攝像機(jī)視場(chǎng)角包含車輛周圍的全部方向的方式，配置攝像機(jī)10、11、12、13?！败囕v周圍的全部方向”是指車輛周圍的360度的方向。
[0055]距離信息取得部35對(duì)于相鄰的2個(gè)攝像機(jī)的圖像進(jìn)行被攝體的匹配。然后，距離信息取得部35計(jì)算被攝體距離。距離信息取得部35根據(jù)由拍攝車輛周邊的多個(gè)攝像機(jī)10、11、12、13拍攝到的共同被攝體8在多個(gè)攝影圖像上的位置，計(jì)算到共同被攝體8的距離。圖6是表示被攝體的匹配方法的說明圖。圖6的(八)是合成圖像時(shí)左側(cè)的攝像機(jī)的圖像。圖6的(8)是合成圖像時(shí)右側(cè)的攝像機(jī)的圖像。
[0056]距離信息取得部35考慮攝像機(jī)圖像的變形和被攝體距離，在2個(gè)攝像機(jī)圖像中，將拍攝同一被攝體的多個(gè)區(qū)域指定為候選。在圖6中示出用框圍起來的部分是針對(duì)攝像機(jī)圖像的匹配框的示例。根據(jù)匹配框中的圖像信息進(jìn)行匹配處理。將用匹配框示出的區(qū)域設(shè)為匹配區(qū)域。在左攝像機(jī)的圖像6禮中，距離信息取得部35指定1個(gè)匹配區(qū)域63匕另一方面，在右攝像機(jī)的圖像648中，距離信息取得部35指定3個(gè)匹配區(qū)域63八、638、630。
[0057]距離信息取得部35在對(duì)匹配區(qū)域631指定的多個(gè)位置(匹配區(qū)域63八、638、630進(jìn)行匹配。然后，距離信息取得部35將與匹配結(jié)果最大的區(qū)域?qū)?yīng)的被攝體距離判定為正確的被攝體距離?！捌ヅ浣Y(jié)果最大的區(qū)域”是指最匹配的區(qū)域。在圖6中，右攝像機(jī)的圖像64尺的匹配區(qū)域638是最匹配的區(qū)域。并且，“被攝體距離”表示被攝入匹配區(qū)域中的被攝體8與車輛中心0的距離。假設(shè)與匹配區(qū)域63八、匹配區(qū)域638以及匹配區(qū)域630對(duì)應(yīng)的被攝體距離的值保持預(yù)先計(jì)算出的值。
[0058]即，當(dāng)在匹配區(qū)域638的位置拍攝到的被攝體8與在匹配區(qū)域631的位置拍攝到的被攝體B相同的情況下，根據(jù)被攝體B在攝像機(jī)的圖像64L、64R上的位置，求出各攝像機(jī)(左攝像機(jī)和右攝像機(jī))的光軸與以各攝像機(jī)的位置為起點(diǎn)的被攝體B的方向形成的角度。即，求出連接左攝像機(jī)和被攝體B的直線與左攝像機(jī)的光軸形成的角度。并且，求出連接右攝像機(jī)和被攝體B的直線與右攝像機(jī)的光軸形成的角度。匹配區(qū)域63B是右攝像機(jī)的圖像64R的匹配區(qū)域。匹配區(qū)域63L是左攝像機(jī)的圖像64L的匹配區(qū)域。
[0059]以后述的圖8的攝像機(jī)10、13為例進(jìn)行說明。攝像機(jī)10是左攝像機(jī)。攝像機(jī)13是右攝像機(jī)。將被攝體B示作被攝體I。攝像機(jī)10的光軸是光軸0A1(I?！白髷z像機(jī)的光軸”是光軸0A1(I?！斑B接左攝像機(jī)和被攝體B的直線與左攝像機(jī)的光軸形成的角度”是角度a。SP，攝像機(jī)10的光軸OAltl與以攝像機(jī)10的位置為起點(diǎn)的被攝體B1的方向形成的角度是角度α。攝像機(jī)13的光軸是光軸0Α13。“右攝像機(jī)的光軸”是光軸0Α13?！斑B接右攝像機(jī)和被攝體B的直線與右攝像機(jī)的光軸形成的角度”是角度β。S卩，攝像機(jī)13的光軸OA13與以攝像機(jī)13的位置為起點(diǎn)的被攝體B1的方向形成的角度是角度β。
[0060]位置Cltl表示被攝體B1在攝像機(jī)10的圖像上的位置。被攝體B1位于連接攝像機(jī)10和位置Cltl的直線Sltl上。因此，能夠根據(jù)位置Cltl求出角度α。同樣，位置C13表示被攝體B1在攝像機(jī)13的圖像上的位置。被攝體B1位于連接攝像機(jī)13和位置C13的直線S13上。因此，能夠根據(jù)位置C13求出角度β。
[0061]能夠根據(jù)從2個(gè)攝像機(jī)(左攝像機(jī)和右攝像機(jī))的光軸到被攝體的角度，計(jì)算被攝體的距離。在此，“被攝體的距離”是指從車輛中心O到被攝體B的距離。以后述的圖8的攝像機(jī)10、13為例進(jìn)行說明?！氨粩z體的距離”是指從車輛中心O到被攝體B1的距離。如上所述，根據(jù)右攝像機(jī)的圖像64R和左攝像機(jī)的圖像64L求出角度α、β。
[0062]被攝體B1的位置是直線Sltl與直線S13的交點(diǎn)位置。攝像機(jī)10、13的位置和車輛中心O的位置是已知的。并且，光軸0A1Q、0A13也是已知的。因此，能夠根據(jù)攝像機(jī)10、13的位置的坐標(biāo)、車輛中心O的位置的坐標(biāo)、光軸0A1Q、0A13以及角度α、β，求出被攝體BI的位置的坐標(biāo)。能夠根據(jù)攝像機(jī)10的坐標(biāo)、光軸OAltl以及角度α，從攝像機(jī)10的坐標(biāo)的位置引出直線31(|。同樣，能夠根據(jù)攝像機(jī)13的坐標(biāo)、光軸0仏3以及角度β，從攝像機(jī)13的坐標(biāo)的位置引出直線S13。直線Sltl與直線S13的交點(diǎn)是被攝體B1的位置。能夠根據(jù)直線Sltl和直線S13求出直線Sltl與直線S13的交點(diǎn)的坐標(biāo)。
[0063]距離信息取得部35根據(jù)多個(gè)攝像機(jī)10、11、12、13的位置、多個(gè)攝像機(jī)10、11、12、13各自的基準(zhǔn)方向以及共同被攝體B所處的方向相對(duì)于基準(zhǔn)方向的角度，求出被攝體B的位置。
[0064]在匹配區(qū)域?yàn)槠ヅ鋮^(qū)域63A或者匹配區(qū)域63C時(shí)也是同樣的。因此，將匹配區(qū)域63L固定，預(yù)先計(jì)算并保持與相對(duì)于左攝像機(jī)64L的匹配區(qū)域63L的右攝像機(jī)64R的各匹配區(qū)域63A、63B、63C分別對(duì)應(yīng)的被攝體距離DA、DB、DC。這樣，能夠計(jì)算被攝體距離，而且不必每次都進(jìn)行用于計(jì)算與各匹配區(qū)域?qū)?yīng)的距離的運(yùn)算。這里的被攝體距離DA、DB、DC是指從車輛中心O到被攝體B的距離。在上述的示例中，將匹配區(qū)域63L固定成一個(gè)，但是，也能夠設(shè)定多個(gè)匹配區(qū)域。
[0065]根據(jù)上述方法，進(jìn)行匹配的區(qū)域被限定于拍攝同一被攝體的區(qū)域，因而能夠削減運(yùn)算量。匹配方法可以舉出模板匹配方法。另外，也可舉出提取圖像的邊緣或者頂點(diǎn)這樣的特征點(diǎn)來計(jì)測(cè)特征點(diǎn)的一致度的方法等。
[0066]圖像合成部30進(jìn)行圖像的視點(diǎn)變換和合成。由此，圖像合成部30生成將4個(gè)攝像機(jī)10、11、12、13的圖像沿水平方向全部連接起來的圖像。為了合成多個(gè)攝像機(jī)圖像而生成以一點(diǎn)為中心的水平方向360度的全周圖像，需要將各攝像機(jī)圖像投影到一個(gè)共同的假想面(投影面)上。圖像合成部30在進(jìn)行圖像合成時(shí)參照由距離信息取得部35計(jì)算出的被攝體距離信息，由此提高合成精度。
[0067]圖7是表示在合成多個(gè)攝像機(jī)的圖像時(shí)產(chǎn)生的被攝體的位置偏移的圖。這里的被攝體的位置偏移是指被投影到投影面73上的被攝體8的位置由于被攝體8與投影面73的位置關(guān)系而不同。在圖7中，圖7的(八)表示位于被攝體位置74的被攝體8被投影到位于與被攝體位置74較近的位置的被攝體的投影面73上時(shí)的視點(diǎn)變換方法。另外，圖7的(8)表示位于被攝體位置74的被攝體8被投影到位于與被攝體位置74較遠(yuǎn)的位置的被攝體的投影面73上時(shí)的視點(diǎn)變換方法。被攝體的投影面73位于與被攝體位置74相比接近攝像機(jī)位置72的位置。被攝體的投影面73位于與被攝體位置74相比接近合成圖像時(shí)的中心位置71的位置。位置八表示將被攝體8投影到投影面73上的位置。
[0068]連接攝像機(jī)的位置72和被攝體的位置74的直線54表示被攝體在攝像機(jī)拍攝到的圖像內(nèi)的方向。即，直線54表示從攝像機(jī)的位置72到被攝體8的方向。并且，連接合成圖像時(shí)的中心位置71和被攝體的位置74的直線55表示從實(shí)施視點(diǎn)變換處理后的合成圖像時(shí)的中心位置71觀察的被攝體在圖像內(nèi)的方向。即，直線55表示從中心位置72到被攝體8的方向。
[0069]圖像合成部30以相對(duì)于多個(gè)攝像機(jī)10、11、12、13的共同基準(zhǔn)位置為基準(zhǔn)生成投影面，將被攝體投影到連接基準(zhǔn)位置和被攝體8的直線與投影面相交的位置。圖像合成部30根據(jù)到共同被攝體8的距離，將多個(gè)攝影圖像在一個(gè)投影面上連接起來。圖像合成部30根據(jù)到共同被攝體8的距離，修正投影面上的被攝體的位置八。
[0070]如圖7所示，為了合成多個(gè)攝像機(jī)圖像而生成以一點(diǎn)為中心的水平方向360度的全周圖像，需要將各攝像機(jī)圖像投影到一個(gè)共同面上。此時(shí)，攝像機(jī)位置72和投影面的中心位置71不同。即，攝像機(jī)位置72和合成圖像時(shí)的中心位置71不同。因此，即使是被攝入到攝像機(jī)上的同一位置的被攝體，其正確的投影位置也因被攝體距離而不同。
[0071]例如，在如圖7的(八)那樣被攝體較近的情況下，被攝體8的投影位置八處于與直線54較近的位置。但是，在如圖7的(8)那樣被攝體較遠(yuǎn)的情況下，被攝體8的投影位置八處于與直線54較遠(yuǎn)的位置。由于這樣的被攝體8的投影位置的差異，在合成圖像的攝像機(jī)間的邊界部分產(chǎn)生被攝體缺失的現(xiàn)象?；蛘撸诤铣蓤D像的攝像機(jī)間的邊界部分產(chǎn)生重影的現(xiàn)象。因此，計(jì)算從投影面73的中心位置71到被攝體8的距離，決定被攝體8在投影面73上的位置。
[0072]通過參照由距離信息取得部35計(jì)算出的被攝體距離信息，對(duì)于相鄰的攝像機(jī)間的視場(chǎng)角重疊的方向的被攝體，能夠得到被攝體距離信息。即，能夠從位于相鄰的攝像機(jī)間的視場(chǎng)角重疊的部分的被攝體，得到被攝體距離信息。即，在4個(gè)攝像機(jī)10、11、12、13被安裝在車輛的前后左右的情況下，能夠在相對(duì)于車輛為前方右側(cè)的方向前方左側(cè)的方向
后方右側(cè)的方向冊(cè)以及后方左側(cè)的方向此上，得到被攝體距離信息。方向服、冊(cè)、此是以車輛中心0為基點(diǎn)的方向。
[0073]與此相對(duì)，關(guān)于前方右側(cè)的方向服與前方左側(cè)的方向幾之間的方向、前方左側(cè)的方向FL與后方左側(cè)的方向RL之間的方向、后方左側(cè)的方向RL與后方右側(cè)的方向RR之間的方向、以及后方右側(cè)的方向RR與前方右側(cè)的方向FR之間的方向，不能得到被攝體距離信息。因此，使用相鄰的攝像機(jī)間的4個(gè)方向FR、FL、RR、RL的被攝體距離信息，生成對(duì)于中間的角度成為內(nèi)插的距離這樣的投影面來進(jìn)行圖像的投影?！皟?nèi)插”是指求出針對(duì)2個(gè)點(diǎn)之間的任意點(diǎn)的函數(shù)值或者近似值。
[0074]“中間的角度”表示從車輛中心O觀察，距離信息取得部35能夠得到被攝體距離信息的4個(gè)方向FR、FL、RR、RL以外的角度。即，中間的角度是指前方右側(cè)的方向FR與前方左側(cè)的方向FL之間的角度、前方左側(cè)的方向FL與后方左側(cè)的方向RL之間的角度、后方左側(cè)的方向RL與后方右側(cè)的方向RR之間的角度、以及后方右側(cè)的方向RR與前方右側(cè)的方向FR之間的角度。
[0075]“內(nèi)插的距離”表示在求出某個(gè)角度下的被攝體的距離的情況下，根據(jù)與該被攝體最近的能夠得到距離信息的2個(gè)被攝體的距離信息，通過線性插值求出角度與距離的對(duì)應(yīng)關(guān)系。即，“對(duì)于中間的角度生成成為內(nèi)插的距離這樣的投影面”，是指根據(jù)距離信息取得部35能夠得到的位于4個(gè)方向FR、FL、RR、RL的被攝體的被攝體距離信息，求出除此以外的方向上的被攝體距離。
[0076]位于方向FR、FL、RR、RL以外的方向上的被攝體的被攝體距離的求出方法如下所示。首先，從方向FR、FL、RR、RL中選擇與求出被攝體距離的被攝體最近的2個(gè)方向。然后，根據(jù)位于選擇出的2個(gè)方向的距離信息已知的被攝體的距離信息，視為被攝體距離與角度形成線性關(guān)系，使用線性插值求出。在此，“角度”是表示被攝體的方向的角度。由此，能夠抑制被攝體在攝像機(jī)的邊界缺失的現(xiàn)象。或者，能夠抑制在攝像機(jī)的邊界成為重影的現(xiàn)象。
[0077]圖8是表示投影面的校正方法的圖。圖8是從上方觀察車輛的圖。在圖8中用粗實(shí)線示出的面表示用于對(duì)各攝像機(jī)10、11、12、13的圖像進(jìn)行投影的共同投影面的示例。
[0078]在圖8中，攝像機(jī)10被安裝在車輛的前方表面的中央。攝像機(jī)11被安裝在車輛的左側(cè)面的中央。攝像機(jī)12被安裝在車輛的后方表面的中央。攝像機(jī)13被安裝在車輛的右側(cè)面的中央。
[0079]攝像機(jī)的視場(chǎng)角范圍510是攝像機(jī)10的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍511是攝像機(jī)11的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍512是攝像機(jī)12的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍513是攝像機(jī)13的視場(chǎng)角范圍。攝像機(jī)的視場(chǎng)角范圍510、511、512、513用虛線示出。
[0080]投影面51、52是圖像被合成時(shí)的投影面。校正前的投影面51通過后述的處理被校正成校正后的投影面52。投影面51、52例如從車輛的上方觀察呈以車輛中心O為中心的圓形。
[0081]圖像合成部30使用從距離信息取得部35得到的被攝體的距離信息，對(duì)相鄰的攝像機(jī)間的視場(chǎng)角重疊的部分，校正對(duì)攝像機(jī)圖像進(jìn)行投影的面(投影面)。校正后的投影面不是如上述的投影面那樣以車輛中心O為中心的圓形。通過投影面的校正，能夠設(shè)定反映實(shí)際的被攝體距離的投影面。即，校正后的投影面是根據(jù)位于4個(gè)方向FR、FL、RR、RL的已計(jì)算出被攝體距離的被攝體，改變投影面的形狀后的投影面。
[0082]因此，在對(duì)由多個(gè)攝像機(jī)拍攝到的圖像進(jìn)行視點(diǎn)變換并合成時(shí)，能夠抑制由于實(shí)際的被攝體距離與投影面的距離不同而造成的在合成圖像的邊界產(chǎn)生被攝體的缺失或產(chǎn)生重影。另外，在位于4個(gè)方向服、％、冊(cè)、此的被攝體變化時(shí)，校正后的投影面的形狀和位置隨時(shí)變化。
[0083]在圖8中，相對(duì)于校正前的投影面51，校正后的投影面52將車輛的前方后側(cè)的方向服校正到近前側(cè)。同樣，校正后的投影面52將車輛的后方右側(cè)的方向冊(cè)的圖像校正到近前側(cè)。并且，相對(duì)于校正前的投影面51，校正后的投影面52將車輛的前方左側(cè)的方向幾校正到里側(cè)。同樣，校正后的投影面52將車輛的后方左側(cè)的方向此的圖像校正到里側(cè)。關(guān)于中間的角度，通過插值求出到被攝體的距離，由此校正投影面。在此，“近前側(cè)”表示接近車輛的方向。另外，“里側(cè)”表示遠(yuǎn)離車輛的方向。
[0084]對(duì)到將距離不明的被攝體夾在中間的2個(gè)共同被攝體的距離和角度的對(duì)應(yīng)關(guān)系進(jìn)行線性插值，從而求出到由一個(gè)攝像機(jī)拍攝到的被拍攝在2個(gè)共同被攝體之間的距離不明的被攝體的距離。
[0085]在對(duì)到被攝體的距離進(jìn)行插值時(shí)，對(duì)角度進(jìn)行線性插值的情況下，到中間的角度的被攝體的距離I的計(jì)算式如下述的式(1)所示。在圖8中，用被攝體82表示中間的角度的被攝體。
[0086]I =X/ (垃-1^)......(1)
[0087]其中，角度&是表示求出距離[的被攝體8的方向的角度。即，角度&是連接車輛中心0和被攝體8的直線與在車輛中心0通過的基準(zhǔn)軸形成的角度。角度匕是表示在角度匕右側(cè)朝向被攝體8最接近角度&的被攝體距離信息已知的方向的角度。角度1?是表示在角度V左側(cè)朝向被攝體最接近角度V的被攝體距離信息已知的方向的角度。即，角度4、匕2是連接車輛中心0和已知位置的直線與在車輛中心0通過的基準(zhǔn)軸形成的角度。
[0088]在圖8中，作為示例將攝像機(jī)10的光軸0\。作為基準(zhǔn)軸。并且，將被攝體8示作被攝體82?！氨粩z體距離信息已知的方向”例如是指4個(gè)方向服、冊(cè)、此。距離I表示到與角度V對(duì)應(yīng)的被攝體的距離。在圖8中是指從車輛中心0到被攝體82的距離。距離I:表示到與角度匕對(duì)應(yīng)的被攝體的距離，在圖8中是指從車輛中心0到被攝體8工的距離。距離12表示到與角度1?對(duì)應(yīng)的被攝體的距離，在圖8中是指從車輛中心0到被攝體83的距離。
[0089]如圖8所示，位于方向服的被攝體8工的距離比位于方向％的被攝體83的距離短。因此，將車輛的前方右側(cè)的方向服校正到近前側(cè)。將車輛的前方左側(cè)的方向幾校正到近里側(cè)。這樣，投影面51被校正成投影面52。
[0090]另外，在對(duì)中間的角度進(jìn)行插值時(shí)，為了平滑地連接投影面，也能夠進(jìn)行根據(jù)被攝體的距離信息已知的方向，在左側(cè)的投影面和右側(cè)的投影面上使相對(duì)于角度變化量的距離變化量一致的插值方法。在圖8中，以與平滑地連接被攝體81和被攝體83的曲線對(duì)應(yīng)的方式使投影面移動(dòng)。在進(jìn)行這樣的插值時(shí)，參照相對(duì)于待插值的角度左右各2個(gè)方向的被攝體的距離信息，進(jìn)行基于三次函數(shù)的插值。
[0091]此時(shí)的距離的運(yùn)算式如式(2)所示。
[0092]I = 8^+)3^+0^:+(1......(2)
[0093]另外，以滿足下述的式⑶⑷(5) (6)的方式?jīng)Q定系數(shù)^以^己。
[0094]=......(3)
[0095]12 = 8^2^+13^+0^2+(1......(4)
[0096]L3 = ak33+bk32+ck3+d......(5)
[0097]L4 = ak43+bk42+ck4+d......(6)
[0098]其中，角度k是表示求出距離L的被攝體的方向的角度。角度Ii1是表示在角度k右側(cè)最接近角度k的被攝體距離信息已知的方向的角度。在圖8中是指方向FR相對(duì)于基準(zhǔn)軸OAltl的角度。角度k2是表示在角度k左側(cè)最接近角度k的被攝體距離信息已知的方向的角度。在圖8中是指方向FL相對(duì)于基準(zhǔn)軸OAltl的角度。角度k3是表示在角度k右側(cè)第二接近角度k的被攝體距離信息已知的方向的角度。在圖8中是指方向RR相對(duì)于基準(zhǔn)軸OA10的角度。角度k4是表示在角度k左側(cè)第二接近角度k的被攝體距離信息已知的方向的角度。在圖8中是指方向RL相對(duì)于基準(zhǔn)軸OAltl的角度。“被攝體距離信息已知的方向”例如是指4個(gè)方向FR、FL、RR、RL。
[0099]距離L表示從位于角度k的被攝體的車輛中心O到被攝體的距離。距離L1表示從位于角度h的被攝體的車輛中心O到被攝體的距離。距離L2表示從位于角度k2的被攝體的車輛中心O到被攝體的距離。距離L3表示從位于角度k3的被攝體的車輛中心O到被攝體的距離。距離L4表示從位于角度k4的被攝體的車輛中心O到被攝體的距離。
[0100]另外，在使用表示被攝體的距離信息已知的方向的角度進(jìn)行校正時(shí)，能夠使投影面始終成為圓形。此時(shí)，例如使用表示距離信息已知的被攝體的方向的角度和距離信息已知的被攝體的被攝體距離的組合，利用最小二乘法計(jì)算投影面的中心位置和半徑。
[0101]使用圖9說明此時(shí)的距離的計(jì)算方法。圖9是表示投影面的校正方法的圖。在圖9中，校正前的投影面51呈以中心O為中心的圓形。中心O表示車輛的中心位置。校正前的投影面51用虛線示出。校正后的投影面52呈以中心P為中心的圓形。半徑R表示校正后的投影面52的半徑。校正后的投影面52用實(shí)線示出。點(diǎn)201、202、203、204表示被攝體的距離信息已知的被攝體的位置。點(diǎn)201、202、203、204的被攝體的方向和距離信息是已知的。
[0102]設(shè)使用最小二乘法決定成為投影面的圓時(shí)的指標(biāo)值為值X。值X是根據(jù)位置205、206、207、208的距離和距離信息已知的點(diǎn)201、202、203、204的距離，對(duì)位置205與點(diǎn)201的距離差的值、位置206與點(diǎn)202的距離差的值、位置207與點(diǎn)203的距離差的值、位置208與點(diǎn)204的距離差的值分別進(jìn)行平方并相加得到的值。位置205、206、207、208的距離是指從車輛中心O到位置205、206、207、208的距離。點(diǎn)201、202、203、204的距離是指從車輛中心O到點(diǎn)201、202、203、204的距離。位置205、206、207、208是指在連接車輛中心O和距離信息已知的點(diǎn)201、202、203、204的直線56、57上，校正后的投影面52與各直線56、57相交的位置。以使值X最小的方式?jīng)Q定校正后的投影面52的中心P和半徑R。
[0103]圖像切取部32與實(shí)施方式I相同地接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。在圖5中是通過存儲(chǔ)器31接收來自圖像合成部30的輸出信號(hào)。圖像切取部32也可以直接接收來自圖像合成部30的輸出信號(hào)。然后，圖像切取部32按照方向盤的轉(zhuǎn)向角進(jìn)行切換圖像的切取范圍的處理。在不轉(zhuǎn)動(dòng)方向盤的狀態(tài)下，圖像切取部32進(jìn)行相對(duì)于與車輛的正面對(duì)應(yīng)的合成圖像的中心左右相等距離的圖像切取。在向右轉(zhuǎn)動(dòng)方向盤時(shí)，圖像切取部32使圖像的切取范圍向右側(cè)移動(dòng)。在向左轉(zhuǎn)動(dòng)方向盤時(shí)，圖像切取部32使圖像的切取范圍向左側(cè)移動(dòng)。
[0104]也可以按照切取位置與方向盤的轉(zhuǎn)向角成比例地連續(xù)移動(dòng)的方式，利用運(yùn)算式求出方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系。另外，方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系也可以采用使特定的切取位置對(duì)應(yīng)于固定范圍內(nèi)的方向盤轉(zhuǎn)向角的分情況處理。在采用運(yùn)算式的情況下，圖像的切取位置連續(xù)移動(dòng)。但是，在采用分情況處理的情況下，圖像的切取位置不連續(xù)移動(dòng)。然而，在采用分情況處理的情況下，與采用運(yùn)算式時(shí)相比能夠降低處理量。在不妨礙駕駛員的目視確認(rèn)性的情況下，采用分情況處理具有處理較快的優(yōu)點(diǎn)。
[0105]顯示部40在顯示畫面顯示切取出的圖像，將前方圖像提示給駕駛員。
[0106]如上所述，距離信息取得部35根據(jù)由拍攝車輛周邊的多個(gè)攝像機(jī)10、11、12、13拍攝到的共同被攝體8在多個(gè)攝影圖像上的位置，計(jì)算從車輛的中心位置0到共同被攝體8的被攝體距離(第1被攝體距離)，根據(jù)該被攝體距離(第1被攝體距離)計(jì)算到由多個(gè)攝像機(jī)10、11、12、13中的一個(gè)攝像機(jī)拍攝到的被攝體的被攝體距離(第2被攝體距離)。
[0107]另外，圖像合成部30根據(jù)第1被攝體距離(從基準(zhǔn)位置0到共同被攝體8的被攝體距離)和第2被攝體距離(到由一個(gè)攝像機(jī)拍攝到的被攝體的被攝體距離)，將以多個(gè)攝像機(jī)10、11、12、13為視點(diǎn)的攝影圖像變換成以基準(zhǔn)位置0為視點(diǎn)的圖像，并在一個(gè)投影面上連接起來。
[0108]另外，距離信息取得部35根據(jù)攝像機(jī)10、11、12、13的位置、成為該攝像機(jī)10、11、12,13的基準(zhǔn)方向、該攝像機(jī)10、11、12、13的視場(chǎng)角以及共同被攝體在攝影圖像上的位置，求出共同被攝體相對(duì)于該攝像機(jī)10、11、12、13的方向，根據(jù)由共同被攝體相對(duì)于2個(gè)以上的攝像機(jī)的方向求出的共同被攝體的位置，計(jì)算第1被攝體距離(從基準(zhǔn)位置0到共同被攝體8的被攝體距離)。
[0109]另外，圖像合成部30在連接基準(zhǔn)位置0和被攝體8的直線與投影面相交的位置配置被攝體8。
[0110]另外，距離信息取得部35根據(jù)將具有第2被攝體距離(到由一個(gè)攝像機(jī)拍攝到的被攝體的被攝體距離)的被攝體夾在中間的2個(gè)共同被攝體的第1被攝體距離(從基準(zhǔn)位置0到共同被攝體8的被攝體距離)、以及基準(zhǔn)位置0相對(duì)于基準(zhǔn)方向的角度，對(duì)被攝體距離和角度的對(duì)應(yīng)關(guān)系進(jìn)行線性插值，從而求出第2被攝體距離(到由一個(gè)攝像機(jī)拍攝到的被攝體的被攝體距離)。
[0111]另外，圖像合成部30對(duì)多個(gè)共同被攝體的從基準(zhǔn)位置0到投影面的距離與第1被攝體距離(從基準(zhǔn)位置0到共同被攝體8的被攝體距離)之間的差值的平方值相加，以使該相加得到的值最小的方式變更投影面。
[0112]這樣構(gòu)成的行駛支援裝置110測(cè)定到被攝體的距離進(jìn)行圖像的合成。由此，行駛支援裝置110能夠生成在相鄰的攝像機(jī)間的圖像合成部分，被攝體的重影或者被攝體的缺失降低的高畫質(zhì)的合成圖像。并且，行駛支援裝置110能夠提高駕駛員對(duì)車輛的周邊狀況的目視確認(rèn)性。
[0113]實(shí)施方式3
[0114]圖10是表示實(shí)施方式3的行駛支援裝置120的結(jié)構(gòu)的框圖。本發(fā)明的行駛支援裝置120具有攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、前方圖像切取部33、后方圖像切取部34以及顯示部40。并且，行駛支援裝置120還可以具有存儲(chǔ)器31。
[0115]實(shí)施方式3的圖像處理裝置82具有圖像合成部30。并且，圖像處理裝置82還可以具有前方圖像切取部33和后方圖像切取部34。圖像處理裝置82還可以具有存儲(chǔ)器31。
[0116]行駛支援裝置120的圖像切取部32具有前方圖像切取部33和后方圖像切取部34，這一點(diǎn)與行駛支援裝置100不同。行駛支援裝置120的攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、顯示部40以及存儲(chǔ)器31具有與行駛支援裝置100的攝像機(jī)10、11、12、13、轉(zhuǎn)向角檢測(cè)部20、圖像合成部30、顯示部40以及存儲(chǔ)器31相同的功能。因此，在沒有進(jìn)行特殊說明的情況下，與在行駛支援裝置100中說明的內(nèi)容相同。另外，關(guān)于用語的定義，在沒有進(jìn)行特殊說明的情況下與實(shí)施方式I相同。并且，也能夠在實(shí)施方式2的行駛支援裝置110中采用實(shí)施方式3的前方圖像切取部33和后方圖像切取部34。
[0117]行駛支援裝置120的圖像切取部32具有前方圖像切取部33和后方圖像切取部34。攝像機(jī)10、11、12、13拍攝車輛周邊。轉(zhuǎn)向角檢測(cè)部20檢測(cè)車輛的方向盤轉(zhuǎn)動(dòng)角。圖像合成部30合成來自攝像機(jī)10、11、12、13的輸入圖像，生成沿著全周記錄車輛周圍的圖像。存儲(chǔ)器31記錄從圖像合成部30輸出的圖像數(shù)據(jù)。前方圖像切取部33參照存儲(chǔ)器31中存儲(chǔ)的圖像，根據(jù)轉(zhuǎn)向角檢測(cè)部20的輸出值決定切取區(qū)域，切取與車輛的前方對(duì)應(yīng)的圖像。后方圖像切取部34參照存儲(chǔ)器31中存儲(chǔ)的圖像，根據(jù)轉(zhuǎn)向角檢測(cè)部20的輸出值決定切取區(qū)域，切取與車輛的后方對(duì)應(yīng)的圖像。顯示部40顯示切取出的圖像。
[0118]攝像機(jī)10、11、12、13與實(shí)施方式I相同地安裝在車輛的前后左右。以使4個(gè)攝像機(jī)10、11、12、13的攝像機(jī)視場(chǎng)角包括車輛周圍的全部方向的方式，配置攝像機(jī)10、11、12、13?！败囕v周圍的全部方向”是指車輛周圍的360度的方向。
[0119]圖像合成部30與實(shí)施方式I相同地進(jìn)行圖像的視點(diǎn)變換和合成，由此，生成將4個(gè)攝像機(jī)10、11、12、13的圖像沿水平方向全部連接起來的圖像。
[0120]前方圖像切取部33接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。在圖10中通過存儲(chǔ)器31接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。然后，前方圖像切取部33按照方向盤的轉(zhuǎn)向角進(jìn)行切換圖像的切取范圍的處理。在不轉(zhuǎn)動(dòng)方向盤的狀態(tài)下，前方圖像切取部33切取相對(duì)于與車輛前方的正面對(duì)應(yīng)的合成圖像的中心左右相等距離的圖像。“左右相等距離”是指與左側(cè)的距離和與右側(cè)的距離相等。在向右轉(zhuǎn)動(dòng)方向盤時(shí)，前方圖像切取部33使圖像的切取范圍向右側(cè)移動(dòng)。在向左轉(zhuǎn)動(dòng)方向盤時(shí)，前方圖像切取部33使圖像的切取范圍向左側(cè)移動(dòng)。
[0121]也可以按照切取位置與方向盤的轉(zhuǎn)向角成比例地連續(xù)移動(dòng)的方式，利用運(yùn)算式求出方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系。另外，方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系也可以采用使特定的切取位置對(duì)應(yīng)于固定范圍內(nèi)的方向盤轉(zhuǎn)向角的分情況處理。在采用運(yùn)算式的情況下，圖像的切取位置連續(xù)移動(dòng)。但是，在采用分情況處理的情況下，圖像的切取位置不連續(xù)移動(dòng)。然而，在采用分情況處理的情況下，與采用運(yùn)算式時(shí)相比能夠降低處理量。在不妨礙駕駛員的目視確認(rèn)性的情況下，采用分情況處理具有處理變快的優(yōu)點(diǎn)。
[0122]后方圖像切取部34接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。在圖10中通過存儲(chǔ)器31接收來自轉(zhuǎn)向角檢測(cè)部20的輸出信號(hào)。然后，后方圖像切取部34按照方向盤的轉(zhuǎn)向角進(jìn)行切換圖像的切取范圍的處理。在不轉(zhuǎn)動(dòng)方向盤的狀態(tài)下，后方圖像切取部34切取相對(duì)于與車輛后方的正面對(duì)應(yīng)的合成圖像的中心左右相等距離的圖像。在向右轉(zhuǎn)動(dòng)方向盤時(shí)，后方圖像切取部34使圖像的切取范圍向左側(cè)移動(dòng)。在向左轉(zhuǎn)動(dòng)方向盤時(shí)，后方圖像切取部34使圖像的切取范圍向右側(cè)移動(dòng)。“后方的正面”是指在從視點(diǎn)位置朝向前面的正面的情況下，從前方的正面向后180度的方向，即正后方。
[0123]也可以按照切取位置與方向盤的轉(zhuǎn)向角成比例地連續(xù)移動(dòng)的方式，利用運(yùn)算式求出方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系。另外，方向盤的轉(zhuǎn)向角與切取位置的對(duì)應(yīng)關(guān)系也可以采用使特定的切取位置對(duì)應(yīng)于固定范圍內(nèi)的方向盤轉(zhuǎn)向角的分情況處理。在采用運(yùn)算式的情況下，圖像的切取位置連續(xù)移動(dòng)。但是，在采用分情況處理的情況下，圖像的切取位置不連續(xù)移動(dòng)。然而，在采用分情況處理的情況下，與采用運(yùn)算式時(shí)相比能夠降低處理量。在不妨礙駕駛員的目視確認(rèn)性的情況下，采用分情況處理具有處理變快的優(yōu)點(diǎn)。
[0124]另外，在圖3所示的合成圖像的生成例中，合成后的圖像的左端和右端成為圖像的后方的正面。即，成為駕駛員回頭觀察后方時(shí)的正面的圖像。即，“后方的正面”。為了生成駕駛員回頭觀察后方時(shí)的正面的圖像，生成連接圖像的左端和右端的圖像。但是，在實(shí)施方式3中，生成與駕駛員回頭觀察后方時(shí)的正面的圖像不同的后方的圖像。使朝向前方的駕駛員的左右方向與后方的圖像的左右方向一致。即，在直接顯示駕駛員回頭觀察后方時(shí)的圖像時(shí)，朝向前方的駕駛員的左右方向與圖像的左右方向相反而不一致。
[0125]圖像切取部33進(jìn)行圖像的切取，并且進(jìn)行生成在連接部分連接起來的圖像的處理。另外，對(duì)于后方的圖像，進(jìn)行將圖像左右反轉(zhuǎn)并接合的處理，以便使從駕駛員觀察的左右方向與圖像的左右方向一致，使得駕駛員在確認(rèn)圖像時(shí)不會(huì)產(chǎn)生混亂?！白笥曳崔D(zhuǎn)”是指交換左側(cè)和右側(cè)。在此，“從駕駛員觀察的左右方向”是指駕駛員觀察車輛的前方時(shí)的左右方向與后方的圖像的左右方向一致。因此，“后方的圖像”與駕駛員回頭看后方時(shí)能夠看到的圖像不同。
[0126]圖11是說明方向盤的轉(zhuǎn)向角與車輛的后方圖像的切取位置的對(duì)應(yīng)關(guān)系的圖。如圖11所示，根據(jù)方向盤的轉(zhuǎn)向角進(jìn)行圖像的切取位置的變更。在不轉(zhuǎn)動(dòng)方向盤的情況下(圖11的(八))，從圖像的左端和右端分別切取相等距離的區(qū)域，左右反轉(zhuǎn)并接合。接合后的圖像67是由將切取圖像65八左右反轉(zhuǎn)后的圖像66八和將切取圖像658左右反轉(zhuǎn)后的圖像668接合形成的。即，切取圖像65八的左端65八I和切取圖像658的右端6581？被連接起來。接合圖像67的右側(cè)成為左端658匕接合圖像67的左側(cè)成為右端65仙。在此，“接合”的意思與“合成”相同?！昂铣伞笔侵笇D像連接起來。因此，“合成”不包括將各攝像機(jī)拍攝到的圖像疊加在一幅圖像上的情況。
[0127]圖11的㈧表示方向盤的轉(zhuǎn)向角為0度的情況。在圖11的㈧中，在合成切取圖像65八、658時(shí)，將切取圖像65八、658左右反轉(zhuǎn)進(jìn)行合成。在圖11的(八)的情況下，切取圖像65八和切取圖像658的寬度相等。圖11的⑶表示方向盤的轉(zhuǎn)向角為向左側(cè)10度的情況。在圖11的(8)中，在合成切取圖像65八、658時(shí)，將切取圖像65八、658左右反轉(zhuǎn)進(jìn)行合成。在圖11的⑶的情況下，切取圖像654的寬度較寬，切取圖像658的寬度較窄。圖11的(0表示方向盤的轉(zhuǎn)向角為向右側(cè)10度的情況。在圖11的⑵中，在合成切取圖像65八、658時(shí)，將切取圖像65八、658左右反轉(zhuǎn)進(jìn)行合成。在圖11的(0的情況下，切取圖像65八的寬度較窄，切取圖像658的寬度較寬。
[0128]在向左轉(zhuǎn)動(dòng)方向盤的情況下(圖11的(8))，擴(kuò)大從合成圖像67的左端起的切取區(qū)域，縮小從圖像右端起的切取區(qū)域。即，使圖像的切取范圍向右側(cè)移動(dòng)。相反，在向右轉(zhuǎn)動(dòng)方向盤的情況下(圖11的(0),擴(kuò)大從合成圖像67的右端起的切取區(qū)域，縮小從圖像左端其的切取區(qū)域。即，使圖像的切取范圍向左側(cè)移動(dòng)。通過這樣地進(jìn)行圖像的切取、左右反轉(zhuǎn)以及接合，能夠根據(jù)方向盤的轉(zhuǎn)向角得到方向與車輛的行進(jìn)方向一致的車輛后方圖像。
[0129]圖像切取部32切取投影面上的圖像的一部分。在左側(cè)是指相對(duì)于所述車輛的前方為左側(cè)，右側(cè)是指相對(duì)于所述車輛的前方為右側(cè)時(shí)，圖像切取部32對(duì)于車輛的后方的圖像將在車輛的后方被投影到投影面上的圖像切斷，切取該切斷位置的左側(cè)的圖像65A和右側(cè)的圖像65B。圖像合成部30以使切取位置65AL成為左側(cè)的方式配置左側(cè)的圖像65A，以使切取位置65BR成為右側(cè)的方式配置右側(cè)的圖像65B，對(duì)左側(cè)的圖像65A的左右和右側(cè)的圖像65B的左右進(jìn)行交換，將左側(cè)的圖像65A和右側(cè)的圖像65B的被切斷的位置65AL、65BR連接起來。
[0130]圖像切取部32在待切取的圖像的切取位置是車輛的前方的情況下，沿與所述車輛的轉(zhuǎn)向角相同的方向移動(dòng)所述切取位置。圖像切取部32在切取位置是車輛的后方的情況下，沿與車輛的轉(zhuǎn)向角相反的方向移動(dòng)切取位置。
[0131]顯示部40進(jìn)行切取出的圖像的畫面顯示。顯示部40將前方的圖像和后方的圖像接合起來提示給駕駛員。圖12是表示車輛的前方的圖像的顯示方法和車輛的后方的圖像的顯示方法的圖。在圖12中，在顯示部40的顯示畫面41同時(shí)顯示車輛的前方圖像42和車輛的后方圖像43。在顯示畫面41中的上側(cè)顯示車輛的前方圖像42。并且，在顯示畫面41中的下側(cè)顯示車輛的后方圖像43。
[0132]通過縱向排列顯示前方的圖像和后方的圖像，能夠同時(shí)確認(rèn)車輛的前方的障礙物和車輛的后方的障礙物。
[0133]這樣構(gòu)成的行駛支援裝置120能夠根據(jù)方向盤的轉(zhuǎn)向角確認(rèn)車輛的行進(jìn)方向前方的圖像。并且，行駛支援裝置120能夠提高對(duì)有無被本車輛的中柱等遮擋而難以確認(rèn)的車輛斜前方及車輛后方的障礙物或其它車輛的目視確認(rèn)性。
[0134]另外，通過將車輛的前方的圖像和反轉(zhuǎn)后的車輛的后方的圖像顯示在同一畫面上，能夠在一個(gè)畫面內(nèi)同時(shí)確認(rèn)有無車輛的前方的障礙物或其它車輛以及有無車輛的后方的障礙物或其它車輛。
[0135]另外，以上對(duì)本發(fā)明的實(shí)施方式進(jìn)行了說明，但本發(fā)明不限于這些實(shí)施方式。
[0136]標(biāo)號(hào)說明
[0137]10、11、12、13攝像機(jī);100、110、120行駛支援裝置;20轉(zhuǎn)向角檢測(cè)部;201、202、203,204點(diǎn)；205、206、207、208位置；30圖像合成部；31存儲(chǔ)器；32圖像切取部；33前方圖像切取部；34后方圖像切取部；35距離信息取得部；40顯示部；41顯示畫面；42車輛前方圖像；43車輛后方圖像；5投影面；510、511、512、513攝像機(jī)的視場(chǎng)角范圍；51校正前的投影面；52校正后的投影面；53、54、55、56、57直線；60合成圖像；61圖像的中心；62切取范圍；63A、63B、63C、63L匹配區(qū)域；64R右攝像機(jī)圖像；64L左攝像機(jī)圖像；65A、65B切取圖像；66A、66B左右反轉(zhuǎn)后的切取圖像；67接合圖像；71合成圖像時(shí)的中心位置；72攝像機(jī)位置；73合成圖像時(shí)的被攝體投影面；74被攝體位置；80、81、82圖像處理裝置；A、C位置；B被攝體;0、P中心；R半徑；S直線；L距離；X值；OA光軸；k、kl、k2、α、β角度；a、b、c、d系數(shù)；FR前方右側(cè)的方向；FL前方左側(cè)的方向；RR后方右側(cè)的方向；RL后方左側(cè)的方向；DA、DB、DC被攝體距離。
【權(quán)利要求】
1.一種圖像處理裝置，該圖像處理裝置具有: 距離信息取得部，其根據(jù)由拍攝車輛周邊的多個(gè)攝像機(jī)拍攝到的共同被攝體在所述多個(gè)攝影圖像上的位置，計(jì)算從所述車輛的基準(zhǔn)位置到所述共同被攝體的第I被攝體距離，根據(jù)所述第I被攝體距離計(jì)算到由所述多個(gè)攝像機(jī)中的一個(gè)攝像機(jī)拍攝到的被攝體的第2被攝體距離；以及 圖像合成部，其根據(jù)所述第I被攝體距離和所述第2被攝體距離，將以所述多個(gè)攝像機(jī)為視點(diǎn)的所述攝影圖像變換成以所述基準(zhǔn)位置為視點(diǎn)的圖像，并在一個(gè)投影面上連接起來。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中， 所述距離信息取得部根據(jù)所述攝像機(jī)的位置、該攝像機(jī)的基準(zhǔn)方向、該攝像機(jī)的視場(chǎng)角以及所述共同被攝體在攝影圖像上的位置，求出所述共同被攝體相對(duì)于該攝像機(jī)的方向，根據(jù)由所述共同被攝體相對(duì)于2個(gè)以上的所述攝像機(jī)的方向求出的所述共同被攝體的位置，計(jì)算所述第I被攝體距離。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其中， 所述圖像合成部在連接所述基準(zhǔn)位置和所述被攝體的直線與所述投影面相交的位置配置所述被攝體。
4.根據(jù)權(quán)利要求1?3中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述距離信息取得部根據(jù)將具有所述第2被攝體距離的被攝體夾在中間的2個(gè)所述共同被攝體的第I被攝體距離、以及所述基準(zhǔn)位置相對(duì)于基準(zhǔn)方向的角度，對(duì)被攝體距離和角度的對(duì)應(yīng)關(guān)系進(jìn)行線性插值，從而求出所述第2被攝體距離。
5.根據(jù)權(quán)利要求1?4中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述圖像合成部對(duì)所述多個(gè)共同被攝體的從所述基準(zhǔn)位置到所述投影面的距離與所述第I被攝體距離之間的差值的平方值進(jìn)行相加，以使該相加得到的值最小的方式變更所述投影面。
6.根據(jù)權(quán)利要求1?5中的任意一項(xiàng)所述的圖像處理裝置，其中， 所述圖像處理裝置還具有圖像切取部，該圖像切取部切取所述投影面上的圖像的一部分， 在左側(cè)是指相對(duì)于所述車輛的前方為左側(cè)，右側(cè)是指相對(duì)于所述車輛的前方為右側(cè)時(shí)， 所述圖像切取部對(duì)于所述車輛的后方的圖像，將在所述車輛的后方被投影到所述投影面的圖像切斷，切取該切斷位置的左側(cè)的圖像和右側(cè)的圖像， 所述圖像合成部以使所述切取位置為左側(cè)的方式配置所述左側(cè)的圖像，以使所述切取位置為右側(cè)的方式配置所述右側(cè)的圖像，對(duì)所述左側(cè)的圖像的左右和所述右側(cè)的圖像的左右進(jìn)行交換，將所述左側(cè)的圖像和所述右側(cè)的圖像的所述切斷的位置連接起來。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述圖像切取部在待切取的圖像的切取位置是所述車輛的前方的情況下，沿與所述車輛的轉(zhuǎn)向角相同的方向移動(dòng)所述切取位置，在所述切取位置是所述車輛的后方的情況下，沿與所述車輛的轉(zhuǎn)向角相反的方向移動(dòng)所述切取位置。
【文檔編號(hào)】H04N7/18GK104285441SQ201380024639
【公開日】2015年1月14日 申請(qǐng)日期:2013年5月20日 優(yōu)先權(quán)日:2012年5月22日
【發(fā)明者】藤田偉雄, 的場(chǎng)成浩, 三次達(dá)也 申請(qǐng)人:三菱電機(jī)株式會(huì)社