專利名稱：圖象合成裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖象合成裝置，特別是有關(guān)將多臺裝在汽車上的攝像裝置攝得的圖象作視點變換合成為來自虛擬視點的圖象，向駕駛者提示汽車周圍的圖象，適合于幫助駕駛者在諸如停車等行驅(qū)時所用的圖象合成裝置。
背景技術(shù)：
過去，作為這種圖象顯示裝置所知道的是，根據(jù)“用于一條道路表面模型的虛擬視點圖象合成原理(The Principle of virtual viewpoint imagesynthesis using a road surface model)”(第7屆ITS世界會議)將攝像機的實攝圖象作視點變換成恰如從虛擬視點拍攝的圖象，在監(jiān)視器上進行顯示的裝置。另外，根據(jù)第2610146號專利，可知是將與車輛的轉(zhuǎn)向角傳感器檢測出的轉(zhuǎn)向角對應(yīng)的倒退預(yù)測軌跡重迭在車載攝象機圖象上的裝置。
但是，在以往的圖象顯示裝置中存在如下的問題，即將倒退預(yù)測軌跡重迭在變換成如在虛擬視點拍攝的圖象上并在監(jiān)視器上顯示時，到周圍的立體物體的距離靠監(jiān)視器上的圖象易誤解成比實際距離大。
以下，利用


之。在圖30，在監(jiān)視器圖象中，自己的車輛的插圖2401看上去和其它車輛的距離好象還相距甚遠。但實際上如圖31所示自己的車輛2401和其它車輛2402正相當(dāng)接近，這是因根據(jù)變換成虛擬視點，如保險杠(bump)那樣不在地上的物體在變換后的圖象上投影到此實際位置還要遠離攝象機的位置向引起的。

發(fā)明內(nèi)容
本發(fā)明為解決前述以往的技術(shù)問題，提供一種圖象合成裝置，將輔助圖象重疊在變換成如虛擬視點拍攝到的圖象上，并在監(jiān)視器上顯示，能夠提示從監(jiān)視器圖象容易地推斷向周圍物體接近的圖象。
本發(fā)明的圖象合成裝置，包括裝在車上的攝像裝置，對由前述攝像裝置攝得的圖象作視點變換，并合成圖象的視點變換圖象合成裝置，前述車輛的任意高度的軌跡線或垂直線中至少生成一方的車輛軌跡線生成裝置，以及在由前述視點變換圖象合成裝置合成的圖象上，描畫由前述車輛軌跡線生成裝置生成的軌跡線的車輛軌跡描畫裝置。根據(jù)該構(gòu)成，生成自己車輛的任意高度的軌跡線，就能在由視點變換所得的合成圖象上顯示，所以能在前述合成圖象上描畫自己車輛的立體軌跡。因此，通過使自己車輛的軌跡和在視點變換圖象合成時產(chǎn)生的周圍立體物體的畸變一樣地變形，就容易捕捉到周圍與自己車的預(yù)想軌跡的三維位置關(guān)系，提高目視識別能力，能容易地進行自己車輛和周圍立體物體的接觸判定。
此外，本發(fā)明的圖象合成裝置還包括裝在車上的攝像裝置，對由前述攝像裝置攝得的圖象作視點變換合成圖象的視點變換圖象合成裝置，從前述車輛生成任意位置的輔助線的輔助線生成裝置，及在由前述視點變換圖象合成裝置合成的圖象上，描繪由前述輔助線生成裝置生成的輔助線的輔助線描繪裝置。根據(jù)該構(gòu)成，從自己車輛開始生成任意的輔助線，在由視點變換得到的合成圖象上顯示，所以在合成圖象上引一根成為距離的大致標準的輔助線，就能使駕駛者在行駛時容易地掌握和后方駛近車輛的距離。
再有，本發(fā)明的圖象合成裝置為還包括裝在車輛上的攝像裝置，對由前述攝像裝置攝得的圖象作視點變換合成圖象的視點變換圖象合成裝置，存儲預(yù)定裝置的存儲裝置，及在由前述視點變換圖象合成裝置合成的圖象，根據(jù)從前述存儲裝置讀出的數(shù)據(jù)，將規(guī)定的輔助數(shù)據(jù)重迭上的描繪裝置，前述攝像裝置裝置成可將前述車輛的尾部收納在其視野內(nèi)，前述視點變換圖象合成裝置包括前述車輛的圖象在內(nèi)作視點變換合成。根據(jù)該構(gòu)成，能向駕駛者提示自己車輛尾部圖象的變換，合成結(jié)果，所以就能容易地作出自己車輛和車輛周圍的立體物的接觸判定。
本發(fā)明的圖象顯示裝置包括顯示由前述圖象合成裝置合成的圖象的顯示裝置，以及將應(yīng)顯示的前述圖象變換成適于前述顯示裝置的數(shù)據(jù)的顯示數(shù)據(jù)變換控制裝置。
根據(jù)該構(gòu)成，能在顯示裝置上顯示由攝像裝置攝得的圖象或合成圖象，能供操作者易于掌握周圍的狀況，與汽車的位置關(guān)系等。
此外，本發(fā)明的圖象取得警告裝置包括探測連接車輛的連接對象物的接近狀況的探測裝置，前述探測裝置的探測信息或前述圖象合成裝置合成的圖象信息兩者中至少根據(jù)具中之一的信息向操作者發(fā)出任意的警告信息的警告裝置，根據(jù)任意設(shè)定的前述連接對象物的接近狀況發(fā)出前述警告信息。
根據(jù)該構(gòu)成，在向車體后部連接對象物時，與連接對象物的靠近相對應(yīng)，通過與接近的狀態(tài)相對應(yīng)發(fā)出警告信息，從而能喚起操作者的注意。此外，在連接結(jié)束時，也能確認結(jié)束狀態(tài)。
另外，本發(fā)明的自己車位辨認判別裝置為在前述圖象合成裝置上攝像裝置內(nèi)至少有一個是設(shè)置在汽車后方的后方攝像裝置，前述后方攝像裝置具有從攝得的圖象或在前述圖象合成裝置合成的圖象檢測出任意對象物圖象的圖象檢測裝置，辯認由前述圖象檢測裝置檢測出的檢測圖象和自己車的圖象間位置關(guān)系的辨認裝置，及與任意設(shè)定的條件比較判斷的比較判別裝置。
根據(jù)該構(gòu)成，能在顯示裝置上顯示由攝像裝置攝得的圖象或合成圖象，能供操作者諸如掌握周圍的狀況，尤其是從任意設(shè)定的對象物的圖象掌握對象物(包括對象顯示)的位置，容易掌握與汽車的位置關(guān)系。

圖1表示本發(fā)明第1實施形態(tài)的圖象合成裝置構(gòu)成的方框圖。
圖2為說明由圖1的圖象合成裝置所得的自上垂直向下所見的合成圖象和軌跡線的圖。
圖3為說明圖1中任意高度的軌跡線運算裝置103B構(gòu)成用的方框圖。
圖4為說明圖1中任意高度的軌跡線運算裝置103B處理流程圖。
圖5為詳細說明圖2軌跡線圖。
圖6為說明由圖1的圖象合成裝置所得的后方全景合成圖象和軌跡線用的圖。
圖7為表示本發(fā)明的第2實施形態(tài)的圖象合成裝置構(gòu)成的方框圖。
圖8為用于說明圖7中任意高度的軌跡線運算裝置502B構(gòu)成的方框圖。
圖9為說明由圖7的圖象合成裝置所得的自后方垂直向下看到的合成圖象和軌跡線的圖。
圖10為說明由圖7的圖象合成裝置所得的自后方看到的合成圖象和軌跡線的圖。
圖11為說明由圖7的圖象合成裝置所得的自上垂直向下看到的合成圖象和軌跡線隨看時間移動立體顯示自己車輛的圖。
圖12為表示本發(fā)明的第3實施形態(tài)的圖象合成裝置的構(gòu)成方框圖。
圖13為說明由圖12的圖象合成裝置所得后方全景合成圖象和軌跡線相撞處的重點顯示的圖。
圖14為表示本發(fā)明的第4實施形態(tài)的圖象合成裝置的構(gòu)成方框圖。
圖15為說明由圖14的圖象合成裝置所得的多畫面顯示圖象和軌跡線的圖。
圖16為表示本發(fā)明的第5實施形態(tài)的圖象合成裝置的構(gòu)成方框圖。
圖17為說明由圖16的圖象合成裝置所得的多畫面顯示圖象和輔助線的圖。
圖18為表示本發(fā)明的第6實施形態(tài)的圖象合成、顯示裝置的構(gòu)成方框圖。
圖19為本發(fā)明的第6實施形態(tài)的圖象合成、顯示裝置的攝象單元設(shè)置20為本發(fā)明的第6實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖21為本發(fā)明的第7實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖22為本發(fā)明的第8實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖23為本發(fā)明的第9實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖24為本發(fā)明的第10實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖25為本發(fā)明的第11實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖26為本發(fā)明的第12實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖27為本發(fā)明的第13實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖28為本發(fā)明的第14實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖29為本發(fā)明的第15實施形態(tài)的圖象合成、顯示裝置的畫面構(gòu)成圖。
圖30為以往的后方視場顯示裝置的畫面構(gòu)成圖。
圖31為說明以往的后方視場顯示裝置問題用的車輛置關(guān)系圖。
具體實施例方式
下面，參照附圖對本發(fā)明的實施形態(tài)進行說明。
(第1實施形態(tài))圖1為表示第1實施形態(tài)的圖象合成裝置的構(gòu)成方框圖。該圖象合成裝置由裝在汽車上的攝像裝置101、視點變換圖象合成裝置102、車輛直行軌跡線生成裝置103、車輛軌跡線描畫裝置104構(gòu)成。
攝像裝置101由裝在車輛的后部或者側(cè)部的1臺以上的攝像機構(gòu)成，朝著車的后方。視點變換圖象合成裝置102通過輸入一張以上由攝像裝置101攝得的圖象，輸出從虛擬視點見到的圖象。車輛直行軌跡線生成裝置103通過輸入自己車輛的大小及形狀，視點變換時的攝象機參數(shù)，攝像裝置101的攝象狀況，輸出自己車輛筆直倒退時的軌跡線。車輛直行軌跡線生成裝置103具備路面上的軌跡線運算裝置103A和經(jīng)意高度的軌跡線運算裝置103B，能輸出自己車輛的任意位置的軌跡線，具備同時輸出例如路面上的軌跡，車輛的保險杠端的軌跡等功能。車輛軌跡線描畫裝置104將由車輛直行軌跡線生成裝置103輸出的自己車輛軌跡線重迭在由視點變換圖象合成裝置102所得的合成圖象上并描畫。再者，車輛軌跡線描畫裝置104的輸出能給予圖中未示出的顯示裝置而顯示。
圖2為將由攝像裝置101所得的圖象靠視點變換圖象合成裝置102合成從自己車輛的后方對看自己車輛的停放路面垂直向下看的圖象，由車輛直行軌跡線生成裝置103在合成圖象上描畫由車輛軌跡線描畫裝置104得到的自己車輛204的路面上的軌跡線201和距路面高度50cm位置的自己車輛的軌跡線202時的圖。在合成圖象上因為很容易了解立體物體是如何投影的，以對路面垂直的直線203連接路面上的軌跡線201和具有高度的軌跡線202。在此，自己車204的后方有第1輛其它的車205存在，在側(cè)面有第2輛其它的車206存在。
圖3為說明圖1中任意高度的軌跡線運算裝置103B的構(gòu)成用的方框圖。任意高度的軌跡運算裝置103B由三維軌跡線合成裝置103B-1三維軌跡線道路路面投影裝置103B-2，合成圖象投影裝置103B-3構(gòu)成。三維軌跡線生成裝置103B-1具備生成在真實空間上的車輛任意高度的三維軌跡線的功能。三維軌跡線道路路面投影裝置103B-2具備從安裝在車上的攝像裝置將由三維軌跡線生成裝置103B-1生成的三維軌將由三維軌跡線生成裝置103B-1生成的三維軌跡線投影到道路路面上的功能。合成圖象投影裝置103B-3具備將由三維軌跡線道路路面投影裝置103B-2投影在道路路面上的軌跡線投影在合成圖象上的功能。
圖4為說明前述任意高度的軌跡線運算裝置103B處理流程用的圖。首先，由三維軌跡線生成裝置103B-1，在三維空間上作為自己車輛的任意部分的軌跡線生成線段105。接著線段105由三維軌跡線道路路面投影裝置103B-2從安裝在車上的攝像裝置投影在道路路面上的線段106上。然后，線段106由合成圖象投影裝置103B-3投影在合成圖象上的線段107上，這樣所得的線段107為在合成圖象上的軌跡線。
圖5為詳細說明圖2軌跡線用的圖。如圖5所示設(shè)車輛的路面上的軌跡上的各點為a至h，離路面高度50cm的軌跡上的各點為A至H。
直線ab為表示自己車輛204的后端在路面上的位置的直線，直線cd為自己車輛204的后方1m的路面上的位置的直線，直線ef為表示自己車輛后方2m的路面上的位置的直線，gh為表示自己車輛后方3m的路面上的位置的直線。另外，直線AB為表示自己車輛204的后端高度50cm的直線，直線CD為表示自己車輛204后方1m的高度50cm的直線，直線EF為表示自己車輛204后方2m的高度50cm的直線，直線GH為表示自己車輛204后方3m的高度50cm的直線。因此，能認為直線Aa、Bb、Cc、Dd、Ee、Ff、Gg、Hh表示在路面的各個位置，長度50cm的棒對看路面垂直豎立時在合成圖象上的象。
一旦如上述那樣定下軌跡線，例如，在合成圖象上長方形ABCD內(nèi)的區(qū)域只表示道路面時，則可以說至少在以自己車輛寬度到后方1m為止區(qū)域不存在高度50cm以下的物體，反之，可以說在長方形ABCD內(nèi)表示路面以外的立體物體時，在以自己車輛寬度到后方1m為止區(qū)域有存在高度50cm以下的物體的可能性。
在此，圖1的裝置也能自由地改變描畫軌跡線的顏色。例如在離自己車輛1m的范圍內(nèi)能用紅色線段表示，在1m至2m的范圍內(nèi)能用黃色的線段表示，2m至3m的范圍內(nèi)能用蘭色的線段表示。此外，路面上的軌跡aceg及bdfh也能選得既黑又粗，就以直感地，易于知道自己車輛輪胎的軌跡。
另外，圖1裝置也能描畫自己車輛保險杠高度的軌跡。從而使其也能持有如下的特征當(dāng)描畫自己車輛保險杠高度的軌跡時，就會容易地判斷合成圖象上自己車輛的保險杠和周圍物體的接觸。
再有，圖2描繪的軌跡線為到車后3m，也能描繪到任意距離的軌跡線。
圖6為從由攝像裝置101所得的圖象通過視點變換圖象合成裝置102合成后方全景圖象，在該合成圖象上描有自己車輛的道路路面上的軌跡401，自己車輛保險杠端的軌跡402，和自己車輛車高的軌跡403的圖象。通過描繪自己車輛的車高軌跡，從而具有易于領(lǐng)會與周圍車輛距離感等的特點。
這樣，采用本發(fā)明的第1實施形態(tài)，因能在視點變換合成圖象上描畫自己車輛的立體軌跡，駕駛者就能容易地進行自己車輛和周圍立體物體的接觸判定。
此外，通過用直線或曲線插入自己車輛路面上的軌跡線和任意高度的軌跡之間，也能在合成圖象上表示對于路面垂直的線，自己車輛的軌跡線上的斷面圖。
例如想象用自己車上裝的車廂連接器(掛鉤)和貨架車連接的情景，在貨架車離開自己車輛的初始狀態(tài)即將自己的車靠近貨架車之際，根據(jù)顯示出的自己車的預(yù)想軌跡，就很容易地找到如何靠近成為對象的貨架車為好的方法，此外，在就要和貨架車連接之前，通過視點變換，提供宛如從正上方看到的圖象(平面投影)，就能正確地捕捉到彼此的掛鉤間位置關(guān)系，靠以上的動作和使用方法，貨架車和自己車就能方便地連接。
另外，無用多言。同樣的優(yōu)點在以下的情形時也是存在的，要將車停到有限的停車空間時，或要把握多條車道后方車輛的位置關(guān)系時，能夠向駕駛者提供容易理解的圖象。
再有，如上述的例子，若是預(yù)先知道保險杠的高度，掛鉤的高度等最極限的部分的高度，就可根據(jù)駕駛者的指示描畫其高度的軌跡線。
而且，通過描畫保險杠的軌跡線能作出保險杠端的接觸判定，通過在合成圖象上描車車高的軌跡線也能直感地描畫出易理解的軌跡線。
另外，通過根據(jù)離自己車輛的距離改變軌跡線的顏色，粗細來描畫，能取得讓駕駛者的注意力集中在自己車輛附近的效果。
本發(fā)明的第1實施形態(tài)的圖象合成裝置對于駕駛者能作為兼具明白地顯示后方死角的安全性及在上述停車，連接時的便利性，性能優(yōu)良的駕駛支援裝置而被靈活利用。
(第2實施形態(tài))圖7為表示第2實施形態(tài)的圖象合成裝置的方框圖。在該圖中，對與圖1相同的構(gòu)成要素或?qū)?yīng)的構(gòu)成要素注上與圖1相同的的標號。
該圖象合成裝置的構(gòu)成為取代圖1的圖象合成裝置中車輛直行軌跡生成裝置103設(shè)置車輛轉(zhuǎn)向角對應(yīng)軌跡線生成裝置502，再附加轉(zhuǎn)向角信號輸出裝置501，將其輸出輸入車輛轉(zhuǎn)向角對應(yīng)軌跡線生成裝置502，其它的構(gòu)成要素具有和圖1的裝置相同的構(gòu)成。
轉(zhuǎn)向角信息輸出裝置501為輸出自己車輛方向盤轉(zhuǎn)向角的裝置，車輛轉(zhuǎn)向角對慶軌際線生成裝置502將方向盤轉(zhuǎn)向角作為輸入，輸出與其方向盤轉(zhuǎn)向角對應(yīng)的軌跡線的裝置。車輛轉(zhuǎn)向角對應(yīng)軌跡線生成裝置502具備路面上的軌跡線的運算裝置502A和任意高度的軌跡線的運算裝置502B，通過輸入方向盤轉(zhuǎn)向角、自己車輛的大小及形狀、視點變換時攝象機參數(shù)、和攝像裝置101的攝像狀況，具備輸出與自己車輛倒退時自己車輛的任意位置的轉(zhuǎn)向角對應(yīng)的軌跡線的功能。
圖8為說明圖7中任意高以軌跡線的運算裝置508B構(gòu)成用的方框圖。任意高度的軌跡線運算裝置502B由三維形狀存儲裝置502B-1、三維軌跡區(qū)域生成裝置502B-2、和道路路面投影裝置502B-3、合成圖象投影裝置502B-4構(gòu)成。三維形狀存儲裝置502B-1能存儲自己車輛的形狀、自己車輛內(nèi)接的長方體、自己車輛的一部分例如保險杠、車輪等形狀。三維軌跡區(qū)域生成裝置502B-2由三維形狀存儲裝置502B-1存儲的自己車輛的形狀生成在自己車輛移動時通過的實際空間上的區(qū)域的功能，道路路面投影裝置502B-3具有將由三維軌跡區(qū)域生成裝置502B-2生成的三維區(qū)域投影在道路路面上的功能，合成圖象投影裝置502B-4具有將由道路路面投影裝置502B-3生成的三維區(qū)域投影在合成圖象上的功能。而且，由三維形狀存儲裝置502B-1存儲的形狀也可以是自己車輛的某部分的一點，所以也可將由三維軌跡區(qū)域生成裝置502B-2生成的區(qū)域做成三維的線段。
圖9為在由視點變換圖象合成圖象上，描出與轉(zhuǎn)向角信息對應(yīng)的軌跡線。在此，車輛轉(zhuǎn)向角對應(yīng)軌跡線生成裝置502中三維形狀存儲裝置502B-1存儲位于自己車輛后方角部離道路路面50cm的一點的三維位置。如該圖所示表示路面上的轉(zhuǎn)向角對應(yīng)軌跡線601和高度50cm的轉(zhuǎn)向角對應(yīng)軌跡線602。其特征在于靠這樣的顯示，能很容易判定車輛的方向盤轉(zhuǎn)多少就會碰到周圍的立體物體，停車時能容易地避免與周圍的立體物體相碰。
圖10為將圖7的裝置應(yīng)用在后方全景圖象上。在此，顯示在自己車輛的后方有兩輛其它車輛、路面上的轉(zhuǎn)向角對應(yīng)軌跡線701、保險杠高度的轉(zhuǎn)向角對應(yīng)軌跡線702、以及車高的轉(zhuǎn)向角對應(yīng)軌跡線703。
圖11為將自己車輛后嫁時的自己車輛的輪胎、保險杠等投影在路面上的軌跡描畫在合成圖象上的樣子。在此，三維形狀存儲裝置502B-1存儲自己車輛的保險杠和車輪的形狀，靠車輛轉(zhuǎn)向角對應(yīng)軌跡線生成裝置502投影自己車輛204的車輪的鳳影圖象801和保險杠端的投影圖象802。該投影圖象以某個周期隨著時間從自己車輛204的后端向后方移動。由此，在自己的車輛開動時，能直感、方便地捕捉到與周圍物體的位置關(guān)系。尤其是在使勁轉(zhuǎn)動方向盤時，輪胎的軌跡與保險杠的軌跡會因轉(zhuǎn)彎半徑的差而異，故如圖8在合成圖象上描畫自己車輛的立體模型是相當(dāng)有效的。
這樣，利用本發(fā)明的第2實施形態(tài)，通過描畫轉(zhuǎn)向角對應(yīng)的自己車輛的立體軌跡，就能容易地判定車輛的方向盤轉(zhuǎn)多少將會碰到周圍的立體物體，停車時容易地避開與周圍的立體物體相碰。
還有，通過在圖象上沿著軌跡線描畫隨著時間移動的物體使得自己車輛的斷面、立體模遠離自己車輛的后端，就能更容易判定與本物體的接觸。
(第3實施形態(tài))圖12為表示第3實施形態(tài)的圖象合成裝置構(gòu)成的方框圖。在該圖中，和圖7相同的構(gòu)成要素或?qū)?yīng)的要素注上與圖7相同的的標號。
該圖象合成裝置為在圖7的裝置上增加與障礙物相預(yù)測裝置901和與障礙物相撞物相撞重點顯示裝置902，其它的構(gòu)成要素上人有和圖7的裝置同樣的構(gòu)成。
與障礙物相撞預(yù)測裝置901為檢測在自己車輛的周圍存在的車輛等障礙物的裝置。另外，車輛軌跡線描畫裝置104判定由與障礙物相撞預(yù)測裝置901檢測出的障礙物的位置和自己車輛的軌跡線將要相撞時，具有不描畫該處的軌跡線的功能。與障礙物相撞重點顯示裝置902，在自己車輛的軌跡線將和障礙物相撞時，具備在合成圖象上重點顯示相撞部位的功能。
由這樣的構(gòu)成，圖12的裝置在預(yù)想軌跡線上有障礙物時，不會有在障礙物描畫軌跡線這種不自然的感覺。在顯示更易理解的預(yù)想軌跡線。
圖13為由圖12的裝置得到的全景圖象和軌跡線。在圖13，存在于此障礙物更靠前的軌跡線的虛線部分1001不能描車在圖象上，此外，通過如1002那樣看重顯示相撞部位，就能使駕駛者的注意力集中在相撞部位。
這樣，采用本發(fā)明的第3實施形態(tài)，通過不在自己車輛周圍的障礙物上描畫軌跡線，能防止在本來就不能前進的進路上描畫軌跡這種不自然現(xiàn)象的發(fā)生。能描畫出對周圍的狀況更易理解的軌跡線。
此外，在預(yù)測出自己車輛將和障礙物相撞時，通過著重顯示相撞部位，也能引起駕駛者的注意。
(第4實施形態(tài))圖14為表示第4實施形態(tài)的圖象合成裝置構(gòu)成的方框圖。在該圖中，與圖7相同的構(gòu)成要素或?qū)?yīng)的構(gòu)成要素注上與圖1相同的的標號。
該圖象合成裝置為在圖7的圖象合成裝置上加了多畫面生成裝置1101，其它的構(gòu)成要素具有和圖7的裝置同樣的構(gòu)成。但攝像裝置101，為取得多畫面生成用的圖象，裝在車輛的后部及兩側(cè)。
圖15為表示裝在車輛后部的攝像機、以裝在車輛兩側(cè)的攝像機攝得的圖象為基礎(chǔ)由圖14的圖象合成裝置所得的合成圖象、及車輛軌跡線的附圖。
用2/3左右的顯示區(qū)域顯示裝在車輛后部的攝像機拍攝的圖象，用余下的1/3左右區(qū)域顯示裝車輛兩側(cè)攝像機拍攝到的圖象。面對于各畫面，描畫自己車輛的后方的軌跡線1201。另外，在朝看自己車輛側(cè)面的攝像機的圖象上也能描畫自己車輛的前方角部的軌跡1202。在此，通過以相同的顏色顯示在不同的畫面間表示相同位置的軌跡線或自己車輛的邊框，即使在不同的畫面上，也能方便地取得自己車輛在相同位置的軌跡的對應(yīng)。
這樣，采用本發(fā)明的第4實施形態(tài)，因為將自己車輛后方的軌跡描在從兩個以上的不同位置攝像機攝得的圖象上，所以容易理解軌跡線的三維位置，并容易判定與周圍障礙物的接觸。
此外，通過以相同的顏色顯示在不同的畫面間表示相同位置的軌跡線或自己車輛的邊框，即使不同的畫面也能取得自己車輛在相同位置的軌跡的對應(yīng)。
而且，也能使圖14的裝置具有讓自己車輛的邊框1203隨著時間移動的功能。
(第5實施形態(tài))圖16為表示第5實施形態(tài)的圖象合成裝置構(gòu)成的方框圖。在該圖中，與圖1相同的構(gòu)成要素或?qū)?yīng)的構(gòu)成要素注上與圖1相同的的標號。
該圖象合成裝置在圖1的圖象合成裝置上增加多畫面生成裝置1101，再將軌跡線生成裝置103置換成輔助線生成裝置1301、將車輛軌跡線描畫裝置104置換成輔助線描畫裝置1302，其它的構(gòu)成要素具有和圖1的裝置相同的構(gòu)成。
輔助線生成裝置1301為在合成圖象上例如生成自己車后10m和20m的位置導(dǎo)線的裝置。而輔助線描畫裝置1302將由輔助線生成裝置1301輸出的輔助線重迭描畫在由多畫面生成裝置1101所得的合成圖象上。
圖17為由圖16的圖象合成裝置所得的合成圖象。在此，表示自己車后10m的輔助線1401及輔助線1402就容易把握與從后方接近的車輛的距離。另外，也能如垂直投影在路面上的輔助線1403那樣描車自己車輛后端的線。其特征在于靠輔助線1403能很容易地判斷想要超越自己車輛的其它車輛是在自己車的車尾后行駛、還是在自己車的側(cè)面行駛，在變道時能方便地確認側(cè)面車輛。再有，也能顯示表示輔助線1401、1402、1403上的一般車輛車寬的輔助線1404。由此，從后面接近的車輛靠近某一刻度線，若該車的寬度變得大致和輔助線1403相同，就可知該車正在該輔助線附近行駛。
這樣，根據(jù)本發(fā)明的第5實施形態(tài)，通過在合成車象上引距離的大致標準的輔助線，諸如在行駛時駕駛者就會容易地把握與從的玟接近的車輛的距離。
另外，通過在自己車輛的側(cè)面攝到的圖象或前述圖象的合成圖象上生成表示自己車輛后端位置的輔助線，就能容易了解側(cè)面車輛的車頭是在自己車尾的后面還是前面，在變道等時候相當(dāng)有效。
還有，在這些輔助線上，通過描畫表示一般車輛的輔助線，也能使把握與周圍車輛的車距更加容易。
(第6實施形態(tài))圖18為表示第6實施形態(tài)的圖象合成。顯示裝置構(gòu)成的方框圖。該圖象合成，顯示裝置由裝在汽車上的第1攝像單元1501及第2攝像單元1502、圖象變換、合成單元1503、描畫單元1504、存儲器1505及第2攝像單元1502與圖1的攝像裝置101對應(yīng)，圖象變換合成單元1503與視點變換圖象全成裝置102對應(yīng)。
第1攝像單元1501及第2攝像單元1502拍攝車輛的后面。第1攝像單元1501及第2攝像單元1502取得的圖象在圖象變換、合成單元1503變換成象是從虛擬視點拍攝到的圖象。描畫單元1504根據(jù)存在存儲器1505中的數(shù)據(jù)，描畫應(yīng)重迭在輸出圖象上的插圖、輔助線。該描畫單元1504描畫過的圖象在顯示單元1506上顯示。并且，在圖18假設(shè)攝像單元為2臺，只要圖象變換、合成單元1503能對應(yīng)幾臺也無發(fā)妨。如圖19所示第1攝像單元1501及第2攝像單元1502安裝在自己車輛204的尾部使得自己車輛204的保險杠及車尾的部份車體收縮在其視野內(nèi)。
對于如上構(gòu)成的圖象合成、顯示裝置利用圖20說明其畫面構(gòu)成。該圖為一作過變換圖象的示例，恰似將攝像涪設(shè)置在車后離地2m的上方一樣。
圖中表示自己車輛204、位于后方的第1輛其它車輛205、位于后側(cè)方的第2輛其它車輛206、及道路路面1701。打斜杠的部分1702為攝像單元視野外的路面。
另外，速顯示自己車輛后部的車號牌204A、保險杠204B、及停止車燈204C。再將輔助線1703重迭在保險杠的后端及車身的尾部位置上著重顯示自己車輛的尾部，這時向上實際的車尾更外的外側(cè)引輔助線，并將輔助線加粗，也能減少相碰的危險。
另外，在僅離保險杠204B的后端一定距離處引一根與保險杠204B水平的反光鏡確認線1704。該反光鏡確認線1704為將顯示圖象分離成和自己車輛相同區(qū)域的危險區(qū)域、和自己車輛不同區(qū)域的安全區(qū)域的輔助線，靠反光鏡具有促使駕駛者確認與周圍物體相撞的功能?？傊?，在行駛中顯示在車輛周圍的物體與已接觸到該反光鏡確認線1704時通過確認反光鏡，駕駛者就能以最佳的時機確認與周圍物體相撞之可能性。并且，反光鏡確認線1704與可為從圖象中映出的車身的尾部及保險杠的后端向僅離開一定距離的外側(cè)引線、也可如要圍位車輛尾部那樣的曲線。
這樣，采用本發(fā)明的第6實施形態(tài)，設(shè)置攝像單元便利自己車輛的保險杠及后面車體的一部分收縮在其視野內(nèi)，通過包括自己車輛在內(nèi)視點變換、合成，就能容易地作出自己車輛的車輛周圍立體物體的接觸判定。
另外將輔助線重迭在保險杠的后端及自己車輛的尾部位置上，通過提供著重顯示這些位置的圖象，能容易判別自己車輛的尾部，接觸壑變得更加容易。
再有，通過提示顯示在僅距自己車輛保險杠一定距離的后面和保險杠水平的反光鏡確認線的圖象，從而能根據(jù)最佳的時機促使駕駛者依靠反光鏡對周圍作安全確認。
(第7實施形態(tài))第7實施形態(tài)的圖象合成、顯示裝置和圖18相同。圖21為第7實施形態(tài)的畫面構(gòu)成圖。
在圖21顯示自己車輛的三維插圖1801。該圖1801生成得宛如變換民從設(shè)置在車后離地2m處上方的虛擬點見到的圖象，重迭在顯示圖象中相當(dāng)于自己車輛的區(qū)域。
此外，輔助線1802表示保險杠區(qū)域。在該區(qū)域也可顯示將攝像單元實際攝到的圖象作過變換的圖象。由此，能給予駕駛者正在看實際的圖象的放心感覺。這時，通過將保險杠區(qū)域的插圖畫得此實際的車輛位置更大，也能降低接觸的危險性。
再有，輔助線1803為在自己車輛直線后退時，表示其車身一端通過的位置投影在路面上的位置在路面上的通過軌跡。另外，輔助線1804為自己車輛在直線后退時表示保險杠通過位置的保險杠通過軌跡。而輔助線1805A～C為從自己的車輛有一定距離的路面上通過軌跡上的點及保險杠通過軌跡上的點相連的立體輔助線。而且不僅是自己車輛的保險端，也可顯示特有與自己車輛不同高度的保險杠、與適當(dāng)?shù)钠渌囕v保險杠高度相當(dāng)?shù)淖约很囕v車身一端的通過軌跡。
這樣，采用本發(fā)明的第7實施形態(tài)，通過將自己車輛恰似由實際設(shè)置的攝像單元拍攝并變換、合成后的三維圖形重迭在顯示圖象上提供立體顯示自己車輛的圖象，從而能立體地抓住自己的車輛，容易立體地掌握自己車輛和車輛周圍立體物體間位置關(guān)系，其結(jié)果，使接觸判定變得容易。
另外，通過將實攝圖象變換、合成的圖象顯示在與插圖和保險杠相當(dāng)?shù)膮^(qū)域上，能給予駕駛者看到實際圖象的放心感覺。
再有，在自己車輛倒車時，通過提示表示車身一端通過的位置投影在路面上位置的路面通過軌跡、及表示保險杠端通過位置的保險杠端通過軌跡、以及它們相聯(lián)顯示產(chǎn)生立體感的立體輔助線的圖象，能立體地方便地把握兩根通過軌跡的位置關(guān)系。
(第8實施形態(tài))第8實施形態(tài)的圖象合成、顯示裝置的構(gòu)成和圖18相同。圖22為第8實施形態(tài)的畫面構(gòu)成圖。
圖22中，插圖1901為以輪廓形式表現(xiàn)自己車輛同時也表現(xiàn)輪胎的三維插圖，能確認自己車輛的輪胎與路面接觸的位置。該插圖1901生成得恰似從設(shè)置在車后離2m左右上方的虛擬視點見到的圖象，重迭在顯示圖象上相當(dāng)于自己車輛的區(qū)域。還有，自己車輛也可用線條框形式表現(xiàn)。
此外，輔助線1902表示保險框區(qū)域，在該區(qū)域也可顯示由攝像單元實際攝到的圖象經(jīng)變換后的圖象。而且，輔助線1903表示從插圖1901內(nèi)的輪胎引出的路面通過軌跡，由此，能直感地容易領(lǐng)會路面上通過軌跡的意義。
這樣，根據(jù)本發(fā)明的第8實施形態(tài)，以輪廓或線條框形式表現(xiàn)自己車輛的插圖，通過提示明白地顯示出輪胎位置的圖象，能更加強自己車輛立體感之同時，因為能直感地理解路面上輪胎的位置，所以就能易于三維地掌握自己車輛和車輛周圍的立體物體間位置關(guān)系恰似變換成從設(shè)置在車后離地2m左右上方的虛擬視點見到的圖象一般，接觸判定變得容易。
(第9實施形態(tài))
第9實施形態(tài)的圖象合成、顯示裝置的構(gòu)成和圖18相同。圖23為第9實施形態(tài)的畫面構(gòu)成圖。
在圖23，第1墻面2001為在自己車輛的后端位置、同路面垂直與停放的車輛寬度相同的墻面的插圖。該墻面2001生成得恰似變換成從設(shè)置在車后離地2m左右的虛擬視點上見到的圖象一般，重迭在與顯示圖象的自己車輛后端位置相當(dāng)?shù)膮^(qū)域上。另外，第2的墻面2202為和置在比第1的墻面2001更靠近自己車輛的內(nèi)側(cè)、與自己車輛寬度相同的墻面的插圖。第2的墻面2002和第1的墻面2001生成方法相同，重迭在顯示圖象內(nèi)適當(dāng)?shù)奈恢蒙?。在此，?的墻面2002可以描繪成能見到與路面接觸之處。
還有，也能在第1的墻面2001上描繪車輛后部那樣的插圖、在第2的墻面2002，與路面接觸的部分上描繪輪胎的插圖。
這樣，采用本發(fā)明的第9實施形態(tài)，通過將自己車輛的后端位置，以及此該位置更靠自己車輛的內(nèi)側(cè)，和路面垂直與停放的自己車輛寬度相同寬度的兩塊墻面的插圖重迭在顯示圖象上，提示以立體物體不勞而獲芘哈表示自己車輛的圖象，由于能立體地抓住自己的車輛，所以就易于三維玫車輛周圍的立體物體間位置關(guān)系，接觸判定變得容易。
(第10實施形態(tài))圖24為表示第10實施形態(tài)圖象合成、顯示裝置構(gòu)成的方框圖，在該圖中，和圖18相同構(gòu)成要素或?qū)?yīng)的構(gòu)成要素注上與圖18相同的的標號。
在圖24，軌跡運算單元2101根據(jù)外部輸入的自己車輛方向盤的轉(zhuǎn)向角信號，算出保持現(xiàn)有轉(zhuǎn)向角不變倒車時自己車輛通過的軌跡。描畫單元1504根據(jù)存在存儲器1505的數(shù)據(jù)以及從軌跡運算單元2101輸入的自己車輛的通過預(yù)測軌跡，在輸出圖象上描畫須重迭的插圖、輔助線等。
第10實施形態(tài)畫面的構(gòu)成為如圖9的輔助線601、602那樣根據(jù)轉(zhuǎn)向角將圖21畫面中輔助線1803、1804、1805A～C彎曲面成。
這樣，采用本發(fā)明的第10實施形態(tài)，通過提示自己車輛轉(zhuǎn)向角表示自己車輛車身的一端通過的位置投影在路面上的位置的路面上通過軌跡、表示自己車輛的保險杠端通過位置的保險框端通過軌端、及顯示將這此跡連接產(chǎn)生出立體感的立體輔助線的圖象，在例車時，根據(jù)自己車輛的轉(zhuǎn)向角就能立體顯示實際的通過預(yù)測軌跡并易于掌握。駕駛者將顯示畫面作為參考，就能最佳地操縱方向盤。
再者，將這些輔助線和在第6～9實施形態(tài)(圖20～23)表示的自己車輛的實際畫面或插圖同時顯示，將路面上通過的軌跡顯示成輪胎的痕跡，也可將保險杠端通過軌跡與自己車輛的實際畫面或插圖的保險杠端相連而顯示，在顯示適當(dāng)?shù)母叨鹊能嚿硪欢说耐ㄟ^軌跡時，與相當(dāng)于該高度的自己車輛位置相連。
另外，也可以輪廓或線條框形式顯示自己車輛。這時，使路面上通過軌跡1903做成從插圖內(nèi)的輪胎上引出。由此，能直感地容易領(lǐng)會路面上通過軌跡的意義。
再有，通過將這些輔助線與自己車輛的實際畫面或插圖同時顯示、將路面上通過軌跡顯示成輪胎的痕跡、將保險杠端通過軌跡與自己車輛的實際畫面或插圖連接而顯示，能直感地容易掌握而兩根通過軌跡和自己車輛間關(guān)系。
此外，通過同時也顯示反光鏡確認線，駕駛者能直感地掌握好在最佳的時機并要確認哪一邊。
(第11實施形態(tài))第11實施形態(tài)的圖象合成、顯示裝置的構(gòu)成和圖18相同。圖25為第11實施形態(tài)的車面構(gòu)成圖。以下，假設(shè)自己車輛為轎車來說明之。
在圖25，輔助線2201表示自己車輛筆直倒車時，自己車輛車身一端通過的位置投影在路面上位置的路面上通過軌跡。輔助線2202表示自己車輛筆直倒車時保險杠端通過位置的保杠端通過軌跡。輔助線2203表示自己車輛筆直倒車時保險杠位置與此自己車輛保險杠位置還要高的SUV等的保險杠位置相當(dāng)?shù)淖约很囕v車體一端通過位置的通過軌跡線。插圖2204A～C為模仿自己車輛后部的車體面的插圖，在自己車輛的車體后部位于各個位置時將實際攝在圖象上的樣子作為插圖表示。還有，作為插圖表示的高度假設(shè)和輔助線2203一樣高，也可不一定一樣高，輔助線2203的高度亦可任意定。
這樣，根據(jù)本發(fā)明第11實施形態(tài)，通過同時顯示筆直倒車時自己車輛的路面通過軌跡、自己車輛保險杠端通過軌跡、SUV等的保險杠端通過軌跡、同時顯示模仿自己車輛的車體的插圖，能直感地掌握自己車輛行進方向和自己車輛周圍存在的物體間位置關(guān)系。
再者，如第7～第8實施形態(tài)，與自己車輛的插圖組合，移動該插圖或在畫面上組合變形將自己車輛后部車體面作為模仿的插圖使用，通過將路面上通過軌跡顯示成輪胎痕跡，該構(gòu)成能更直感地掌握自己車輛的行進方向和自己車輛周圍存在物體間位置關(guān)系。
另外，也能同時顯示第6實施形態(tài)中反光鏡確認線，也能如第10實施形態(tài)那樣根據(jù)自己車輛轉(zhuǎn)向角，移動這些輔助線，顯示實際倒車時通過的軌跡。還有，只正確地顯示輔助線位置，模仿自己車輛后部的插圖也可以預(yù)定的幾種中選出重迭在適當(dāng)位置上。
(第12實施形態(tài))第12實施形態(tài)的圖象合成、顯示裝置的構(gòu)成和圖18相同。圖26為第12實施形態(tài)畫面構(gòu)成圖。以下將自己車輛作為轎車說明之。
在圖26，輔助線2301為表示自己車輛直線倒車時車身端通過的益投影在路面上位置直線倒車時保險杠下面的一端通過位置的保險杠下面端通過軌跡。輔助線2303為表示睦線倒車時保險杠上面的一端通過位置的保險杠上面端通過軌跡。插圖2304A～C為模仿保險杠的插圖，在各個位置上只有保險杠時將作為圖象實際顯示的樣子當(dāng)作插圖來表示。
這樣，采用本發(fā)明的第12實施形態(tài)，通過同時顯示自己車輛直線倒車時的呼面通過軌跡、保險杠上面端通過軌跡、保險杠下面端通過軌跡、及模仿自己車輛保險杠的插圖，能直感地掌握自己車輛的行進方向和自己車輛周圍存在的物體間位置關(guān)系。
還有，如第7～第8實施形態(tài)，通過與自己車輛的插圖組合，移動該插圖或在車豐組合變形將自己車輛的的車體而作為模仿的插圖使用，將路面上通過軌跡顯示成輪胎的痕跡，該構(gòu)成能更直感地掌握自己車的行進方向和自己車周圍存在的物體間位置關(guān)系。
此外，同時也顯示第6實施形態(tài)中的反光鏡確認線，也能如實施形態(tài)10，根據(jù)自己車輛的轉(zhuǎn)向角，移動這些輔助線，顯示實際例車時通過的軌跡。
(第13實施形態(tài))圖27為本發(fā)明第13實施形態(tài)的圖象合成、顯示裝置的方框圖。該實施形態(tài)包括在前述實施訴說明中圖內(nèi)未予示出的顯示裝置。即，如圖27所7示，設(shè)置接受車輛軌跡描畫裝置104的輸出信號即顯示數(shù)據(jù)并變換成規(guī)定形式信號的顯示數(shù)據(jù)變換控制裝置80、及接受顯示數(shù)據(jù)變換控制裝置80所得的顯示數(shù)據(jù)在畫面上顯示的顯示裝置81。該顯示裝置81讓車輛的后視鏡等具有顯示功能，能成為帶顯示功能的反光鏡。
依靠這種構(gòu)成，通過將圖象在帶顯示功能的反光鏡上顯示，就能使操縱者容易地認識周圍狀況、自己車的位置。還有，作為帶顯示功能的反光鏡的反光鏡構(gòu)成可為在液晶或有機電致發(fā)光(ELElectro-Luminescence)等顯示裝置81的顯示單元表面上重疊半透明反光鏡的形式，該液晶或有機EL部份可以由整體是一個顯示單元，或是多個顯示單元的集合體，至少是一個顯示單元構(gòu)成。
再有，這種構(gòu)成的反光鏡能切換到作為通常的反光鏡工作的狀態(tài)和作為圖象顯示畫面工作的狀態(tài)。該切換支作能根據(jù)車內(nèi)的照度傳感器一到晚上自動地切換到圖象顯示狀態(tài)。另外還可以做成與駕駛者打開車頭燈動作一致來切換，再有在雨水粘糊后窗時，或冬季積雪結(jié)冰看不清后方時，也可和接通后窗加熱線開關(guān)等同時切換到圖象顯示狀態(tài)，還能讓與傳動裝置聯(lián)動，只有在傳動裝置向后時切換成圖象顯示狀態(tài)。
這樣，因為能將反光鏡整個面切換成通常的反光鏡狀態(tài)和圖象顯示狀態(tài)，操縱者能在寬大的顯示面上容易掌握汽車后面的狀況安全行駛。
也能用其它構(gòu)成的反光鏡取代上述構(gòu)成的反光鏡，有將通常的反光鏡和液晶或有機EL等顯示單元一并設(shè)置的。這種其它的反光鏡在通常的反光鏡部分能大致掌握后方的狀況，而一并設(shè)置的顯示單元能擴大顯示通常顯示單元上死角的部分，能將需特別注意的對象部分擴大并顯示。再者，這些顯示裝置81并不限于反光鏡，也可是設(shè)置在車輛擋泥板上的顯示單元、聯(lián)接導(dǎo)航系統(tǒng)的顯示器、攜帶式信息終端或抬頭顯示器。
(第14實施形態(tài))圖28為本發(fā)明第14實施形態(tài)的圖象取得、警告裝置的方框圖。該實施形態(tài)上在前述第13實施形態(tài)的基礎(chǔ)上增加設(shè)置了裝在車輛后部的探測裝置82，和與探測裝置82的輸出信號響應(yīng)的警告裝置83。探測裝置82探測向著作為被連接車輛的連接對象部的野營車等車輛的異常接近，至于異常接近與否，在車輛與連接對象部間的距離小于預(yù)先規(guī)定的距離時，能判斷為異常接近。
根據(jù)這樣的構(gòu)成，作為探測裝置82利用接近傳感器探測連接對象物即野營車的接近，在圖象上不斷確認接近狀態(tài)，在汽車和野營車上互相配對的車箱連接器(掛鉤)間的距離接近第1規(guī)定的距離、例如1m以內(nèi)時和進一步接近第2規(guī)定的距離、例如50cm時，能以各自的報警裝置83即揚聲器發(fā)出警告操縱者的警報聲。警報聲可以有不同的聲音。這樣在掛車箱連接器(掛鉤)時，能在圖象上不斷確認連接作業(yè)，根據(jù)其接近狀態(tài)(根據(jù)連接作業(yè)在任意設(shè)定的距離上)恰當(dāng)?shù)匕l(fā)出警告，能安全可靠地進行連接作業(yè)。
還有，警告裝置83使用揚聲器，但并不限于此，通過如圖28的虛線所示地連接、發(fā)送警告信號在圖象的顯示裝置上顯示警告用符號圖象、閃爍圖象等為了引起注意還可再加上適當(dāng)?shù)纳?。再有，發(fā)出警告信息的條件利用警告信號發(fā)生條件設(shè)定裝置87能根據(jù)連接對象物的大小、重量、速度等任意設(shè)定。
也可為攝像裝置安裝在車箱連接器(掛鉤)上，最后確認連接結(jié)束狀態(tài)的構(gòu)成。
此外，探測裝置82可為超聲波、電磁、光學(xué)(包括紅外線)等，也可為從圖象上算出直接距離發(fā)出警告的方式。
還有，將連接對象物當(dāng)作野營車、當(dāng)然也可以為裝著游艇的拖車等其它的東西。
(第15實施形態(tài))圖29為本發(fā)明第15實施形態(tài)自己車位置辯認裝置的方框圖。該實施形態(tài)，在前述第1～第12實施形態(tài)的基礎(chǔ)上增加通過處理車輛后方的圖象，檢測出任意對象物圖象，辯認檢測出的圖象和車輛圖象的位置關(guān)系，將辯認出的位置關(guān)系和預(yù)先設(shè)定的位置關(guān)系作比較就能檢測出兩者之間的偏移量。即，第15實施形態(tài)的自己車位置辯認裝置具有圖象檢測裝置84，檢測由攝像裝置101具有的后方攝像裝置攝得的圖象或來自由第1～第12實施形態(tài)的圖象合成裝置全成的圖象的任意對象物圖象、辯認裝置85，辯認由圖象檢測裝置84檢測出的檢測圖象和車輛圖象的位置、比較裝置86，由辯認裝置辯認的位置關(guān)系和預(yù)先設(shè)定的位置關(guān)系相比較，從這些位置關(guān)系檢測出兩者的偏移量。作為后方攝影裝置，能使用設(shè)置在車輛后方的攝像機，由此，拍攝表示車輛后方停車空間的路面上的白線。圖象檢測裝置84從由后方攝像裝置攝得的圖象、或投影在園筒面和球面組合成的三維投影模型上的圖象、或由圖象合成的圖象檢測出表示停車空間的白線。辯認裝置85從圖象數(shù)據(jù)運算檢測出的白線和自己車的圖象的位置關(guān)系并加以辯認。比較裝置86將由辯認裝置85辯認出的實際位置關(guān)系和自己車圖象中心位于劃定停車窨的左右白線中央的預(yù)先設(shè)定好的位置關(guān)系相比較，從這些位置關(guān)系檢測兩者間的偏移量。還能做成這樣的構(gòu)成，該偏移量異常尺時，若原樣地向后倒車，車輛就無法停在左右白線內(nèi)，于是發(fā)出警報。
利用該構(gòu)成，駕駛者在圖象上不斷確認停車窨的白線向后倒車，能容易地掌握好使自己車和停車窨的位置關(guān)系和后方周圍的位置關(guān)系一致，能更安全地行駛。
如上所述，本發(fā)明通過在來自虛擬視點的模擬圖象上重迭適當(dāng)?shù)牟鍒D、輔助線、軌跡線等，駕駛者能直感地掌握自己車輛和周圍立體物間三維的位置關(guān)系，其結(jié)果是能提供容易地作出恰當(dāng)?shù)慕佑|判定、具有顯著效果的圖象合成裝置。
權(quán)利要求
1.一種圖象合成裝置，其特征在于，包括裝在車輛上的攝像裝置，由所述攝像裝置攝得的圖象作視點變換合成圖象的視點變換圖象合成裝置，所述車輛任意高度的軌跡線或垂直線中至少生成其一的車輛軌跡線生成裝置，和將由所述車輛軌跡所生成裝置生成的軌跡線描畫在由所述視點變換圖象合成裝置合成的圖象上的車輛軌跡線描畫裝置。
2.如權(quán)利要求1所述的圖象合成裝置，其特征在于，所述車輛軌跡線生成裝置由三維軌跡線生成裝置、道路路面投影裝置、和合成圖象投影裝置構(gòu)成。
3.如權(quán)利要求1所述的圖象合成裝置，其特征在于，所述車輛軌跡線生成裝置生成所述車輛一直前進時的軌跡線。
4.如權(quán)利要求1所述的圖象合成裝置，其特征在于，包括輸出所述車輛方向盤轉(zhuǎn)向角的轉(zhuǎn)向角信息輸出裝置，所述車輛軌跡線生成裝置生成與所述轉(zhuǎn)向角信息輸出裝置輸出的轉(zhuǎn)向角信息對應(yīng)的軌跡線。
5.如權(quán)利要求1所述的圖象合成裝置，其特征在于，通過用直線或曲線插入所述車輛路面上的軌跡線和任意高度軌跡線之間，在所述合成圖象上描圖垂直于所述路面的線。
6.如權(quán)利要求1所述的圖象合成裝置，其特征在于，將所述車輛保險杠端的軌跡線或車高的軌跡線描畫在所述合成圖象上。
7.根據(jù)權(quán)利要求1所述的圖象合成裝置，其特征在于，根據(jù)離所述車輛的距離改變所述軌跡線顏色、粗細來描畫。
8.如權(quán)利要求4所述的圖象合成裝置，其特征在于，將所述車輛的立體圖象從所述車輛的后端離去似地沿著所述軌跡線、隨著時間移動的線條描畫在所述合成圖象上。
9.如權(quán)利要求4所述的圖象合成裝置，其特征在于，將所述車輛的立體圖象要從所述車輛后端離去似地沿著所述軌跡線著時間移動的圖形描畫在所述合成圖象上。
10.如權(quán)利要求4所述的圖象合成裝置，其特征在于，所述車輛軌跡線生成裝置由三維形狀存儲裝置、三維軌跡區(qū)域生成裝置、道路路面投影裝置、及合成圖象投影裝置構(gòu)成。
11.如權(quán)利要求10所述的圖象合成裝置，其特征在于，所述三維形狀存儲裝置存儲所述車輛的形狀。
12.如權(quán)利要求10所述的圖象合成裝置，其特征在于，所述三維形狀存儲裝置存儲內(nèi)接所述車輛的長方形形狀。
13.如權(quán)利要求10所述的圖象合成裝置，其特征在于，所述三維形狀存儲裝置存儲所述車輛車輪的形狀。
14.如權(quán)利要求10所述的圖象合成裝置，其特征在于，所述三維形狀存儲裝置存儲所述車輛保險杠的形狀。
15.如權(quán)利要求4所述的圖象合成裝置，其特征在于，包括探測所述車輛周圍存在的障礙物，預(yù)測所述障礙物與所述車輛相撞可能性的障礙物相撞預(yù)測裝置。
16.如權(quán)利要求15所述的圖象合成裝置，其特征在于，所述車輛軌跡線描畫裝置，在靠所述障礙物相撞預(yù)測裝置預(yù)測所述車輛將和所述障礙物相撞時，不描畫相撞處之前的所述車輛軌跡線。
17.如權(quán)利要求15所述的圖象合成裝置，其特征在于，所述車輛軌跡線描畫裝置在靠所述障礙物相撞預(yù)測裝置預(yù)測所述車輛將和所述障礙物相撞時，著重顯示相撞部位。
18.如權(quán)利要求4所述的圖象合成裝置，其特征在于，將由所述視點變換圖象合成裝置合成的圖象分割成多畫面顯示的多畫面生成裝置。
19.如權(quán)利要求18所述的圖象合成裝置，其特征在于，所述車輛軌跡線描畫裝置將車輛軌跡描畫在由所述多畫面生成裝置生成的畫面上。
20.如權(quán)利要求18所述的圖象合成裝置，其特征在于，所述攝像裝置具有拍攝所述車輛后面的和拍攝所述車輛側(cè)面的裝置。
21.如權(quán)利要求18所述的圖象合成裝置，其特征在于，所述車輛軌跡線描畫裝置將所述車輛后端的軌跡線描畫在拍攝所述車輛側(cè)面的圖象或所述圖象作過變換的圖象上。
22.如權(quán)利要求19所述的圖象合成裝置，其特征在于，所述車輛軌跡線描畫裝置在多幅畫面上描畫所述軌跡線時，在不同畫面間用相同顏色描畫表示相同位置的軌跡線或車輛外框。
23.一種圖象合成裝置，其特征在于，包括裝在車輛上的攝像裝置，將由所述攝像裝置攝得的圖象作視點變合成圖象的視點變換圖象合成裝置，生成來自所述車輛任意位置的輔助線的輔助線生成裝置，和將由所述輔助線生成裝置生成的輔助線描畫在由前述視點變換圖象合成裝置合成的合成圖象上的輔助線描畫裝置。
24.如權(quán)利要求23所述的圖象合成裝置，其特征在于，包括將由所述視點變換圖象合成裝置合成的圖象作多畫面分割顯示的多畫面生成裝置，所述輔助線描畫裝置將生成的輔助線描圖在由所述多畫面生成裝置生成的各畫面上。
25.如權(quán)利要求23所述的圖象合成裝置，其特征在于，所述輔助線生成裝置生成表示所述車輛后端位置的輔助線。
26.如權(quán)利要求23所述的圖象合成裝置，其特征在于，所述輔助線生成裝置生成表示離所述車輛后端一定距離的輔助線。
27.如權(quán)利要求23所述的圖象合成裝置，其特征在于，所述輔助線生成裝置生成表示一般車輛車寬的輔助線。
28.一種圖象合成裝置，其特征在于，包括裝在車輛上并設(shè)置成要將所述車輛的后部收納在視野內(nèi)的攝影裝置，對包括由所述攝影裝置拍攝的所述車輛的圖象在內(nèi)的圖象作視點變換合成圖象的視點變換圖象合成裝置，存儲預(yù)定數(shù)據(jù)的存儲裝置，和將規(guī)定的輔助數(shù)據(jù)根據(jù)從所述存儲裝置讀出的數(shù)據(jù)重迭在由所述視點變換圖象合成裝置合成的圖象上的描畫裝置。
29.如權(quán)利要求28所述的圖象合成裝置，其特征在于，輔助線重迭在所述車輛的尾部，提示重點顯示該位置的圖象。
30.如權(quán)利要求28所述的圖象合成的裝置，其特征在于，提示以三維插圖形式顯示的圖象，該三維插圖由實際設(shè)置的攝像單元拍攝所述車輛并變換合成。
31.如權(quán)利要求28所述的圖象合成裝置，其特征在于，以輪廓或線條框形式表現(xiàn)所述車輛，提示明白地顯示輪胎位置的圖象。
32.如權(quán)利要求31所述的圖象合成裝置，其特征在于，提示所述攝像裝置的實攝圖象變形、合成在與插圖的保險杠相當(dāng)?shù)膮^(qū)域上的圖象。
33.如權(quán)利要求28所述的圖象合成裝置，其特征在于，將在所述車輛的后端位置及較該位置更靠所述車輛的內(nèi)側(cè)上與道路路面垂直設(shè)置、和所述車輛寬度相同的兩塊墻面的插圖重迭在顯示圖象上，提示以立體物體形式比喻的手法表現(xiàn)所述車輛的圖象。
34.如權(quán)利要求28所述的圖象合成裝置，其特征在于，提示顯示在只離所述車輛杠后端一定距離的后方上和所述保險杠水平的反光鏡確認線的圖象。
35.如權(quán)利要求28所述的圖象合成裝置，其特征在于，提示在所述車輛倒車時，表示所述車輛車身的一端通過位置投影在路面上的，位置的路面上通過軌跡、以及表示所述車輛保險杠端通過位置的保險杠端通過軌跡及將它們連接顯示產(chǎn)生立體感的立體輔助線的圖象。
36.如權(quán)利要求35所述的圖象合成裝置，其特征在于，提示將所述路面上的通過軌跡顯示成輪胎的痕跡，保險杠端通過軌跡與所述車輛的實際圖象或插圖的保險杠相連顯示的圖象。
37.如權(quán)利要求35所述的圖象合成裝置，其特征在于，提示將所述路面上通過軌跡從插圖內(nèi)注明的輪胎上引出來顯示的圖象。
38.如權(quán)利要求37所述的圖象合成裝置，其特征在于，提示在只離所述車輛保險杠后端一定距離的后方顯示與所述保險杠水平的反光鏡確認線的圖象。
39.如權(quán)利要求35所述的圖象合成裝置，其特征在于，設(shè)置從外部輸入的轉(zhuǎn)向角信號計算預(yù)測軌跡的軌跡運算單元，提示顯示與所述車輛轉(zhuǎn)向角對應(yīng)的路面上通過軌跡、以及與所述車輛轉(zhuǎn)向角對應(yīng)的保險杠端通過軌跡、以及將它們連接生成立體感的立體輔助線的圖象。
40.如權(quán)利要求28所述的圖象合成裝置，其特征在于，在所述車輛倒車時，提示能同時顯示路面上通過軌跡、保險杠端通過軌跡、表示所述車輛車體的適當(dāng)高度部分通過位置的通過軌跡、以及模仿自己車輛后部的插圖的圖象。
41.如權(quán)利要求40所述的圖象合成裝置，其特征在于，將路面上通過軌跡顯示成輪胎的痕跡，提示所述保險杠端通過軌跡與實際圖象或插圖的保險杠端連接而顯示的圖象。
42.如權(quán)利要求40所述的圖象合成裝置，其特征在于，提示從插圖內(nèi)注明的輪胎處引出所述路面上通過軌跡面顯示的圖象。
43.如權(quán)利要求42所述的圖象合成裝置，其特征在于，提示顯示在僅離所述車輛保險杠后端一定距離的后方和前端保險杠水平的反光鏡確認線的圖象。
44.如權(quán)利要求40所述的圖象合成裝置，其特征在于，設(shè)置從外部輸入的轉(zhuǎn)向角信號算出預(yù)測軌跡的軌跡運算單元，提示同時顯示與所述車輛轉(zhuǎn)向角對應(yīng)的路面上通過軌跡、與所述車輛的轉(zhuǎn)向角對應(yīng)的所述保險杠端通過軌跡、表示所述車輛車體的適當(dāng)高度的部分通過位置的通過軌跡、及模仿所述車輛后部的插圖的圖象。
45.如權(quán)利要求28所述的圖象合成裝置，其特征在于，在所述車輛倒車時，提示同時顯示路面上通過軌跡、表示所述車輛保險杠上面一端通過位置的保險杠上面通過軌跡、表示所述車輛保險杠下面一端通過位置的保險杠下面通過軌跡、及模仿所述車輛后部的插圖的圖象。
46.如權(quán)利要求45所述的圖象合成裝置，其特征在于，提示將所述路面上通過軌跡顯示成輪胎的痕跡，將保險杠端通過軌跡和圖象的實際圖象或插圖的保險杠端連接顯示的圖象。
47.如權(quán)利要求45所述的圖象合成裝置，其特征在于，提示將所述路面上通過軌跡從插圖內(nèi)注明的輪胎處引出來顯示的圖象。
48.如權(quán)利要求47所述的圖象合成裝置，其特征在于，提示顯示在僅離所述車輛保險杠的后端一定距離的后方與所述保險杠水平的反光鏡確認線的圖象。
49.如權(quán)利要求45所述的圖象合成裝置，其特征在于，設(shè)置從外部輸入的轉(zhuǎn)向角信號算出預(yù)測軌跡的軌跡運算單元，提示同時顯示與所述車輛轉(zhuǎn)向角對應(yīng)的所述路面上通過軌跡、與所述車輛轉(zhuǎn)向角對應(yīng)的所述保險杠上面通過軌跡、與所述車輛轉(zhuǎn)向角對應(yīng)的所述保險杠下面通過軌跡、及模仿所述車輛保險杠的插圖的圖象。
50.一種圖象合成顯示裝置，其特征在于，包括圖象合成裝置，包括裝在車輛上的攝像裝置、對所述攝像裝置攝得的圖象作視點變換合成圖象的視點變換圖象合成裝置、所述車輛任意高度的軌跡線或垂直線中至少生成一方的車輛軌跡線生成裝置、將由所述車輛軌跡線生成裝置生成的軌跡線描畫在由所述視點變換圖象合成裝置合成的圖象上的車輛軌跡描畫裝置，顯示裝置，顯示由所述圖象合成裝置合成的圖象，和顯示數(shù)據(jù)變換裝置，將須顯示的所述圖象變換與與所述顯示裝置相適應(yīng)的數(shù)據(jù)。
51.一種圖象合成顯示裝置，其特征在于，包括圖象合成裝置，包括裝在車輛上的攝像裝置、對所述攝像裝置攝得的圖象作視點變換合成圖象的視點變換圖象合成裝置、從所述車輛生成任意位置輔助線的輔助線生成裝置、將由所述輔助線生成裝置生成的輔助線描畫在由所述視點變換圖象合成裝置合成的圖象上的輔助線描畫裝置，顯示裝置，顯示由所述圖象合成裝置合成的圖象，和顯示數(shù)據(jù)變換裝置，將須顯示的所述圖象變換成與所述顯示裝置相適應(yīng)的數(shù)據(jù)。
52.一種圖象合成顯示裝置，其特征在于，包括圖象合成裝置，包括裝在車輛上并設(shè)置成要將所述車輛的后部收納在視野內(nèi)似的攝像裝置、對包括所述攝像裝置攝得的圖象在內(nèi)的圖象作視點變換合成圖象的視點變換圖象合成裝置、存儲預(yù)定數(shù)據(jù)的存儲裝置、及根據(jù)從所述存儲裝置讀出的數(shù)據(jù)將規(guī)定的輔助數(shù)據(jù)重迭在由所述視點變換圖象合成裝置合成的圖象上的描畫裝置，顯示裝置，顯示由所述圖象合成裝置合成的圖象，和顯示數(shù)據(jù)變換裝置，將須顯示的所述圖象變換成與所述顯示裝置相適應(yīng)的數(shù)據(jù)。
53.一種圖象取得警告裝置，其特征在于，包括探測裝置，探測接近連接車輛的連接對象物的狀況，圖象合成裝置，包括裝在所述車輛和/或所述連接對象物上的攝像裝置，由所述攝像裝置對攝得的圖象作視點變換合成圖象的視點變換圖象合成裝置，所述車輛任意高度的軌跡線或垂直線中至少生成其一的車輛軌跡線生成裝置，將由所述車輛軌跡線生成裝置生成的軌跡線描畫在由所述視點變換圖象合成裝置合成的圖象上的車輛軌跡線描畫裝置，和警告裝置，從由所述探測裝置得到的所述接近狀況和/或所述圖象合成裝置合成圖象中的所述車輛和所述連接對象物的關(guān)系發(fā)出警告信號。
54.一種圖象取得警告裝置，其特征在于，包括探測裝置，探測接近連接車輛的連接對象物的狀況，圖象合成裝置，具備裝在車輛上和/或所述連接對象物上的攝像、由所述攝像攝得的圖象作視點變換圖象合成的視點變換圖象合成裝置，從所述車輛生成任意位置的輔助線的輔助線生成裝置，將由所述輔助線生成裝置生成的輔助線描畫在由所述視點變換圖象合成裝置合成的圖象上的輔助線描畫裝置，和警告裝置，從由所述探測裝置得到的所述接近狀況和/或由所述圖象合成裝置合成的圖象中所述車輛和所述連接對象物的關(guān)系發(fā)出警告信號。
55.一種圖象取得警告裝置，其特征在于，包括探測裝置，探測連接車輛的連接對象物的狀況，圖象合成裝置，裝在車輛和/或所述連接對象物上、設(shè)置成能將所述車輛的后部收納在視野內(nèi)的攝像裝置，對包括由所述攝像裝置拍攝的所述車輛的圖象在內(nèi)的圖象作視點變換圖象合成的視點變換圖象合成裝置，存儲預(yù)定數(shù)據(jù)的存儲裝置，及根據(jù)從所述存儲裝置讀出的數(shù)據(jù)將規(guī)定的輔助數(shù)據(jù)重迭在由所述視點變換圖象合成裝置合成的圖象上的描畫裝置，和警告裝置，從所述探測裝置探得的所述接近狀況和/和所述圖象合成裝置合成的圖象中所述車輛與所述連接對象物的關(guān)系發(fā)出警告信號。
56.如權(quán)利要求53至55中任一項所述的圖象取得警告裝置，其特征在于，還包括警告信號發(fā)生條件設(shè)定裝置，用于讓使用者任意設(shè)定所述警告裝置發(fā)出警告信號用的條件。
57.一種自己車位置辯認裝置，其特征在于，還包括圖象合成裝置，具備裝在車輛上包括拍攝所述車輛后方的后方攝像裝置在內(nèi)的多臺攝像裝置，對由所述攝像裝置拍攝的圖象作視點變換圖象合成的視點變換圖象合成裝置、所述車輛任意高度的軌跡線或垂直線中至少生成其一的車輛軌跡線生成裝置、及將所述車輛軌跡線生成裝置生成的軌跡線描畫在所述視點變換圖象合成裝置合成的圖象上的車輛軌跡線描畫裝置，圖象檢測裝置，從所述后方攝像裝置攝的圖象或所述圖象合成裝置合成的圖象中檢測出任意對象的圖象，辯認裝置，辯認所述圖象檢測裝置檢測出的圖象和所述車輛的圖象間的位置關(guān)系，和比較裝置，將所述辯認裝置辯認出的位置關(guān)系與預(yù)定的位置關(guān)系作比較，從這些位置關(guān)系檢測出兩者間的偏移量。
58.一種自己車位置辯認裝置，其特征在于，包括圖象合成裝置，包括裝在車上拍攝所述車輛后方的后方攝像裝置在內(nèi)的多臺攝像裝置、對所述攝像裝置拍攝的圖象作視點變換圖象合成的視點變換圖象合成裝置，從所述車輛生成任意位置的輔助線的輔助線生成裝置，及將所述輔助線生成裝置生成的輔助線描畫在所述視點變換圖象合成裝置合成的圖象上的輔助線描畫裝置，圖象檢測裝置，從所述后方攝像裝置拍攝的圖象或所述圖象合成裝置合成的圖象中出任意對象物的圖象，辯認裝置，辯認由所述圖象檢測裝置檢測出的檢測圖象和所述車輛的圖象間位置關(guān)系，和比較裝置，將所述辯認裝置辯認的所述位置關(guān)系和預(yù)定的位置關(guān)系作比較，從這些位置關(guān)系檢測出兩者間的偏移量。
59.一種自己車位置辯認裝置，其特征在于，包括圖象合成裝置，具有裝在車輛上膽述車輛后方的后方裝置在內(nèi)的多臺攝像裝置、設(shè)置成將所述車輛的后部收納在視野內(nèi)的攝像裝置、對包括所述裝置拍攝的圖象作視點變換圖象合成的視點變換圖象合成裝置、存儲預(yù)定數(shù)據(jù)的存儲裝置、根據(jù)從前術(shù)礎(chǔ)的數(shù)據(jù)將預(yù)定的輔助數(shù)據(jù)重迭在由所述視點變換圖象合成裝置合成的圖象上的描畫裝置，圖象檢測裝置，從所述后方攝像裝置拍攝的圖象或所述圖象合成裝置合成的圖象中檢測出任意對象物的圖象，辯認裝置，辯認所述圖象檢測裝置檢測出的檢測圖象和所述車輛的圖象間位置關(guān)系，和比較裝置，對所述辯認裝置辯認出的所述位置關(guān)系和預(yù)定的位置關(guān)系進行比較，從這些位置關(guān)系中檢測出偏移量。
全文摘要
本發(fā)明揭示一種圖象合成裝置,在變換成象在虛擬視點拍攝的圖象上,通過將輔助圖象重迭在監(jiān)視器上顯示,提示能很容易地從監(jiān)視器圖象類推靠近周圍立體物體那樣的圖象。該圖象合成裝置包括裝在車輛上的攝像裝置101、對攝像裝置101拍攝的圖象作視點變換圖象合成的視點變換圖象合成裝置102、生成車輛在直線行駛時車輛任意高度軌軌跡線的車輛直行軌跡線生成裝置103、及將車輛直行軌跡線生成裝置103生成的軌跡線描畫在所述視點變換圖象合成裝置102合成的圖象上的車輛軌跡線描畫裝置104。
文檔編號G06T19/00GK1371079SQ0210307
公開日2002年9月25日 申請日期2002年2月8日 優(yōu)先權(quán)日2001年2月9日
發(fā)明者飯?zhí)锪两? 水澤和史, 三輪道雄 申請人:松下電器產(chǎn)業(yè)株式會社