專利名稱:圖像合成裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像合成裝置和方法，特別涉及一種適用于轉(zhuǎn)化/合成由多個(gè)車用攝象裝置所獲取的影像的圖像合成裝置和方法，攝象裝置用來(lái)給司機(jī)提供汽車周圍影像以便在停車場(chǎng)等地方輔助駕駛。而且，它還涉及一種圖像顯示裝置、一種圖像獲取/警告裝置、和一種汽車位置識(shí)別/判斷裝置。
背景技術(shù)：
在迄今為止的圖像合成裝置中，為了通過(guò)圖像合成在多個(gè)影像的基礎(chǔ)上產(chǎn)生寬視野圖像例如全景圖像，多個(gè)影像需要從各自的攝象裝置投影到一個(gè)表現(xiàn)為圓柱面的普通曲面上，然后被虛擬攝象裝置來(lái)獲得。這種常規(guī)過(guò)程在下面通過(guò)附圖14至15B來(lái)說(shuō)明。
圖14是全景圖像55合成過(guò)程的示意圖，通過(guò)設(shè)置在汽車A上的兩個(gè)攝象裝置(未示出)依次來(lái)獲得影像53和54，然后將它們投影到圓柱面66上形成場(chǎng)景52。圖15A從三維角度表現(xiàn)了將從一個(gè)攝象裝置61a上所獲得的影像62和從另一個(gè)攝象裝置61b上所獲得的影像63投影到圓柱面66上形成合成圖像的過(guò)程。影像62上的點(diǎn)64投影到點(diǎn)67，然后通過(guò)虛擬攝象裝置72投影到合成圖像平面73上的點(diǎn)69。此外，影像63上的點(diǎn)65投影到圓柱面66上的點(diǎn)68，然后通過(guò)使用同樣的虛擬攝象裝置72投影到合成圖像平面73上的點(diǎn)70。圖15B三維地表現(xiàn)了投影到與圓柱面66的軸垂直的平面71上的情況。通過(guò)上述過(guò)程，影像53和54上的每個(gè)點(diǎn)都被映像合成如圖14所示的全景圖像那樣的圖像。
上述常規(guī)技術(shù)已經(jīng)被日本未審查專利(平)5-14751所公開(kāi)。另外，向一個(gè)平面三維投影的技術(shù)也已經(jīng)被日本未審查專利(平)6-20189和日本未審查專利2000-134537所公開(kāi)。還有，球面投影技術(shù)被日本未審查專利(平)9-322040所公開(kāi)。
而且，這樣常規(guī)圖像合成方法是用來(lái)將定位在不同投影中心的攝象裝置所獲取的多個(gè)影像合成一個(gè)合成圖像；因此，就會(huì)產(chǎn)生如圖14中的合成全景圖像55中所示的不連續(xù)的點(diǎn)56a、56b和56c，這樣就很難使不同影像在結(jié)合處成一條直線。而且，當(dāng)投影到一個(gè)圓柱面的時(shí)候，不僅影像會(huì)在靠近和遠(yuǎn)離攝象裝置處嚴(yán)重扭曲使得駕駛員很難掌握遠(yuǎn)處的景物，而且在車身后部例如圖12中所示全景圖像平面上臨近圖像57中的汽車保險(xiǎn)杠或擋泥板處，影像也會(huì)發(fā)生扭曲，從而很難將這種方法用于輔助汽車安全駕駛例如停車輔助中。

發(fā)明內(nèi)容
本發(fā)明就是為了消除上述問(wèn)題，其一個(gè)目的是提供能提供一個(gè)非常寬的范圍(寬虛擬視野)內(nèi)信息的圖像合成裝置和方法，通過(guò)多個(gè)從不同視點(diǎn)所獲得影像來(lái)很容易掌握汽車和周圍環(huán)境(或情況)的，并將這些影像組合在一起，而不會(huì)損害合成天然圖像的清晰度，很容易觀看。
為了達(dá)到這個(gè)目的，按照本發(fā)明，所提供的圖像合成裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)所述攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)確定所述虛擬攝象裝置的攝象位置的攝象位置確定裝置；在由所述攝象位置確定裝置確定的攝象位置，由所述虛擬攝象裝置獲取所述第二投影影像以合成由所述多個(gè)攝象裝置所獲得的多個(gè)影像。
根據(jù)這種結(jié)構(gòu)，因?yàn)橛蓴z象裝置所獲得的影像被投影到第一投影部分，然后投影到三維投影模型上，可以使所合成圖像的結(jié)合處不明顯突出。
而且，在本發(fā)明所述的圖像合成裝置中，多個(gè)攝象裝置是設(shè)置在汽車上，圖像合成裝置還包括一個(gè)汽車行駛方向探測(cè)裝置來(lái)探測(cè)汽車的行駛方向。因此，視點(diǎn)是通過(guò)三維投影模型的投影部分投影中心的直線上，直線平行于汽車行駛方向探測(cè)裝置所探測(cè)到汽車行駛方向，探測(cè)裝置可以顯示滿足特殊條件比如在合成圖像上還是直線的特殊的直線。
因此，在本發(fā)明所述的圖像合成裝置中，多個(gè)攝象裝置是設(shè)置在汽車上，圖像合成裝置還包括一個(gè)汽車行駛車體位置探測(cè)機(jī)構(gòu)來(lái)探測(cè)汽車的車體位置。在這種結(jié)構(gòu)中，虛擬攝象裝置的視點(diǎn)是位于通過(guò)平面投影影像和三維投影模型投影部分投影中心的平面內(nèi)，這樣可以允許滿足特殊條件比如在合成圖像上還是直線的直線。
因此，根據(jù)本發(fā)明，所提供的圖像合成裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并表示平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到一個(gè)球面上形成第二投影影像的第二投影裝置；將第二投影影像在過(guò)球面上一點(diǎn)的第二平面上展開(kāi)的轉(zhuǎn)換裝置。使用這種裝置，即使球面的位置不同，也可以投影一條直線在合成圖像上的作為調(diào)整在一個(gè)平面上影像的中心點(diǎn)的直線。
而且，根據(jù)本發(fā)明，影像合成方法包括由多個(gè)攝象裝置獲取多個(gè)影像的攝象步驟；探測(cè)攝象步驟中攝象位置的攝象位置探測(cè)步驟，以在所述攝象位置中包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)在攝象位置探測(cè)步驟中探測(cè)的攝象位置將所獲取的影像投影到所述平面以形成多個(gè)第一投影影像的第一投影步驟，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影步驟；用來(lái)虛擬攝象第二投影影像的虛擬攝象步驟；用來(lái)確定三維模型位置和形狀的三維投影模型確定步驟；用來(lái)確定所述虛擬攝象步驟中攝象位置的攝象位置確定步驟；在由所述攝象位置確定步驟確定的攝象位置，在所述虛擬攝象步驟中獲取所述第二投影影像以合成在所述多個(gè)攝象步驟中獲得的多個(gè)影像。
這樣的布置可能組成一個(gè)在合成部分連接處不突出的圖像，并且不會(huì)出現(xiàn)不相容的感覺(jué)，還能減小在使用結(jié)合物如圓柱或者球面作為三維模型時(shí)所產(chǎn)生的合成圖像的扭曲。
而且，根據(jù)本發(fā)明，所提供的圖像合成方法包括由多個(gè)攝象裝置獲取多個(gè)影像的攝象步驟；探測(cè)攝象步驟中攝象位置的攝象位置探測(cè)步驟，以在所述攝象位置中包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)在攝象位置探測(cè)步驟中探測(cè)的攝象位置將在攝象步驟中獲取的影像投影到所述平面以形成多個(gè)第一投影影像的第一投影步驟，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到一個(gè)球面上形成第二投影影像的第二投影步驟；將第二投影影像在過(guò)球面上一點(diǎn)的第二平面上展開(kāi)的平面伸展步驟，從而將在平面伸展步驟中獲得多個(gè)影像合成以產(chǎn)生合成圖像；以及確定球面位置的球面位置確定步驟。
在這種結(jié)構(gòu)中，滿足特殊條件的直線可以在合成圖像中表現(xiàn)為均勻并連續(xù)的直線，合成圖像可以認(rèn)為是沒(méi)有不相容感覺(jué)的天然圖像。
而且，根據(jù)本發(fā)明，圖像顯示裝置多個(gè)攝象裝置；用來(lái)探測(cè)所述攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)探測(cè)所述虛擬攝象裝置的攝象位置的攝象位置探測(cè)裝置；顯示影像的顯示裝置；用來(lái)將所要顯示的影像轉(zhuǎn)換成適用于顯示裝置的數(shù)據(jù)的顯示數(shù)據(jù)轉(zhuǎn)換控制裝置，在由所述攝象位置確定裝置確定的攝象位置，由所述虛擬攝象裝置獲取所述第二投影影像以產(chǎn)生合成影像，并且所述合成影像由顯示數(shù)據(jù)轉(zhuǎn)換控制裝置轉(zhuǎn)換成適用于顯示裝置的數(shù)據(jù)。
根據(jù)這種結(jié)構(gòu)，可能顯示從攝象裝置獲得的影像、投影影像或者是合成圖像在顯示裝置上，這樣就可以使駕駛員很容易掌握周圍的情況和相對(duì)于汽車的位置關(guān)系。
而且，根據(jù)本發(fā)明，還有一種圖像獲取/警告裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)探測(cè)所述虛擬攝象裝置的攝象位置的攝象位置探測(cè)裝置；用來(lái)探測(cè)物體接近位置的探測(cè)裝置；以及當(dāng)探測(cè)裝置探測(cè)到的物體接近位置到達(dá)預(yù)定物體接近位置就會(huì)發(fā)出報(bào)警信息的警告裝置。
使用這種結(jié)構(gòu)，一旦所要連接的物體靠近了車身后部，警告裝置根據(jù)連接物體接近狀態(tài)顯示警告信息，這樣就警告了駕駛員。而且，如果連接物體的連接完成，連接的情況可以得到確認(rèn)。
此外，根據(jù)本發(fā)明，汽車位置識(shí)別/確認(rèn)裝置一種汽車位置識(shí)別/確認(rèn)裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)探測(cè)所述虛擬攝象裝置的攝象位置的攝象位置探測(cè)裝置；影像探測(cè)裝置，用于當(dāng)多個(gè)攝象裝置中的至少一個(gè)是設(shè)置在車身后部的后部攝象裝置時(shí)，探測(cè)由后部攝象裝置獲取的影像、通過(guò)將所獲取影像投影到三維投影模型所獲得的影像或通過(guò)在虛擬攝象裝置中合成所獲取的影像而獲得的合成圖像中的任意物體影像；用來(lái)識(shí)別影像探測(cè)裝置所獲得的影像和汽車影像之間位置關(guān)系的識(shí)別裝置；用來(lái)在所述識(shí)別裝置所識(shí)別的位置關(guān)系的基礎(chǔ)上判斷在所述汽車和所述物體之間位置偏差的判斷裝置。
在這種結(jié)構(gòu)中，從攝象裝置所獲得的影像、投影影像和合成影像可以顯示在顯示裝置上，可以使操作者(駕駛員)掌握周圍情況，特別是從任意物體的影像中顯示的物體(包括物體顯示)位置或者是相對(duì)于汽車的位置關(guān)系。



本發(fā)明的其他目的和特點(diǎn)可以在下面對(duì)較好實(shí)施例的詳細(xì)描述中更明顯，
具體實(shí)施方式
參照附圖，下面將描述本發(fā)明的實(shí)施例。在本發(fā)明實(shí)施例的描述中，雖然只有兩個(gè)攝象裝置所獲得的圖像合成了一個(gè)圖像，但是使用三個(gè)或者更多的攝象裝置，通過(guò)相同的過(guò)程也可以獲得合成圖像。
(第一實(shí)施例)圖1是是本發(fā)明第一實(shí)施例所述圖像合成裝置結(jié)構(gòu)的框圖。如圖1所示，這個(gè)圖像合成裝置由攝象裝置1、攝象位置探測(cè)裝置2、平面投影部分3、三維投影模型確定部分4、三維投影模型投影部分5、虛擬攝象裝置攝象位置探測(cè)裝置6和虛擬攝象裝置7組成。
攝象裝置1包括第一攝象裝置1a和第二攝象裝置1b。攝象位置探測(cè)裝置2包括第一攝象位置探測(cè)裝置2a和第二攝象位置探測(cè)裝置2b，分別探測(cè)兩個(gè)攝象裝置1a和1b的攝象位置，平面投影部分3接收第一攝象裝置1a和第二攝象裝置1b、第一攝象位置探測(cè)裝置2a和第二攝象位置探測(cè)裝置2b的輸出信號(hào)。平面投影部分3和三維投影模型探測(cè)裝置4的輸出信號(hào)被輸入到三維投影模型投影部分5中。此外，三維投影模型投影部分5和虛擬攝象裝置攝象位置探測(cè)裝置6的輸出信號(hào)被輸入到虛擬攝象裝置7中。
在本實(shí)施例中，在投影平面部分3中的一個(gè)投影部分是汽車停留的平面，即路面。然而，嚴(yán)格來(lái)說(shuō)，路面并不完全是平面，它可以被認(rèn)為基本是一個(gè)平面。而且，在三維投影模型投影部分5中使用的三維投影模型是圓柱面和球面的光滑結(jié)合光滑結(jié)合所構(gòu)成的曲面，圓柱面垂直于路面，球面的投影中心位于圓柱面的軸線上。
第一，攝象位置探測(cè)裝置2將路面上多個(gè)可以確認(rèn)位置或者是可以找到的點(diǎn)和第一攝象裝置1a或第二攝象裝置1b所獲得的影像上多個(gè)點(diǎn)結(jié)合，就可以探測(cè)到攝象裝置1a或1b的攝象位置。攝象位置可以意味著下面的參數(shù)(1)攝象裝置相對(duì)于路面的定位位置；(2)攝象裝置相對(duì)于路面的定位方向；(3)攝象的典型值，例如視場(chǎng)角、焦距和透鏡應(yīng)變(lens strain)。
如果探測(cè)到了這些參數(shù)，得到了相對(duì)于攝象裝置的物體的形狀和位置，通過(guò)合理的數(shù)值計(jì)算可以獲得攝象裝置所獲得影像上物體的狀態(tài)。實(shí)際上，為了收集必要的參數(shù)并將它們保存在存儲(chǔ)器等中，光柵狀的物體在從工廠運(yùn)輸之前就經(jīng)過(guò)調(diào)整，在三維空間內(nèi)設(shè)置坐標(biāo)，投影平面影像的數(shù)值在計(jì)算機(jī)中進(jìn)行調(diào)整以便獲得參數(shù)的估計(jì)值，二者擇一地，代表攝象裝置安裝狀態(tài)的位置和角度由傳感器探測(cè)并被輸入計(jì)算機(jī)中來(lái)機(jī)械地(自動(dòng)地)獲得參數(shù)。
而且，除了上述方法之外，攝象位置探測(cè)裝置2還可以通過(guò)獲得從影像到路面的變換矩陣來(lái)探測(cè)每個(gè)攝象裝置的攝象位置。將已經(jīng)定位的路面上多個(gè)點(diǎn)和影像上多個(gè)點(diǎn)結(jié)合起來(lái)就可以得到變換矩陣。變換矩陣可以使影像平面投影到路面上。
其次，如圖2和3A所示，下面將描述每個(gè)投影部分的工作過(guò)程。圖2是本發(fā)明第一實(shí)施例的圖像合成裝置工序的流程圖，圖3A是用來(lái)解釋將投影攝象裝置1a和1b所獲得影像形成合成圖像的工作原理示意圖。
在圖2中，通向步驟2的流程表示的工序是平面投影部分3將攝象裝置1a和1b在步驟1中所獲得影像按照攝象位置探測(cè)裝置2所得到的攝象位置投影到投影部分(路面)上。如圖3A三維表示的那樣，圖像攝象裝置1a所獲得的影像8上的點(diǎn)15和圖像攝象裝置1b所獲得的影像9上的點(diǎn)16被轉(zhuǎn)換投影到點(diǎn)17上。在這個(gè)階段，變化是用來(lái)獲取路面上同一物體的影像并使圖8和9能夠準(zhǔn)確重合。例如，路面上的一條白線不會(huì)被投影兩次顯示出來(lái)。平面投影部分3將圖8上點(diǎn)15和圖9上點(diǎn)16的坐標(biāo)轉(zhuǎn)換成路面上點(diǎn)17的坐標(biāo)。
此外，在圖2中，通向步驟3的流程表示的工序是三維投影模型投影部分5將被平面投影部分3投影到路面上的影像投影到三維模型11上。向三維模型11上的投影表示路面上的點(diǎn)17被投影到連接三維投影模型的投影中心12和點(diǎn)17的直線與三維投影模型11表面的交點(diǎn)18上。
另外，在圖2中，通向步驟4的流程表示的工序是虛擬攝象裝置7按照虛擬攝象裝置攝象位置探測(cè)部分6所確定的攝象位置獲取在三維投影模型11的三維投影模型投影部分5上的影像。如圖3A所示，這次攝象是轉(zhuǎn)換到連接點(diǎn)18和虛擬攝象裝置7的視點(diǎn)13的直線與圖像合成表面14的交點(diǎn)19上。由虛擬攝象裝置7獲得的影像成為合成圖像。
當(dāng)如圖14所示的影像52在這種條件下被合成的時(shí)候，就可以獲得如圖3B所示的全景圖像。路面上的直線和其他的線就會(huì)在連接部分20光滑地連接在一起。而且，即使是遠(yuǎn)離攝象裝置的三維物體的連接部分也不會(huì)象連接部分21那樣突出。
而且，當(dāng)三維投影模型11的位置或者投影中心12沿著與路面垂直的方向發(fā)生了變化，可以改變投影到圓柱面的區(qū)域和球面區(qū)域的范圍。如圖4A所示，當(dāng)圓柱面和三維投影模型11的球面之間的分界線和投影中心12高度相等的時(shí)候，比投影中心12位置低的影像就投影到球面上，其他的投影到圓柱面上。此外，如圖4B所示，當(dāng)三維投影模型11的位置低于圖4A所示的位置，而投影中心的位置不變，這時(shí)，被投影到球面的區(qū)域僅覆蓋投影中心12的附近，而投影到圓柱面的區(qū)域擴(kuò)大了。這樣，就可以產(chǎn)生駕駛員想要的合成圖像。
如上所述，根據(jù)本發(fā)明的第一實(shí)施例，因?yàn)橥队安糠质窃O(shè)置在路面上，即使是用不同位置的多個(gè)攝象裝置獲得的影像來(lái)合成，路面上白線等的影像在不同影像的結(jié)合點(diǎn)也可以完全連接起來(lái)，所以路面的情況對(duì)于駕駛員來(lái)說(shuō)是清楚的。一般在這種情況下，雖然路面上的三維物體在不同的結(jié)合點(diǎn)不能象其他物體那樣完全結(jié)合，一個(gè)相對(duì)于不同攝象裝置距離不同的處于移動(dòng)位置的三維物體也會(huì)在不同影像之間結(jié)合點(diǎn)完全連接起來(lái)。因此，合成影像是一個(gè)不會(huì)有不相容感覺(jué)的天然圖像。
此外，攝象位置探測(cè)裝置還會(huì)事先探測(cè)到至少攝象裝置相對(duì)于投影部分的一個(gè)位置、姿勢(shì)和攝象特征，這樣使攝象裝置所獲得的影像與路面的平面投影相一致。
另外，平面投影部分通過(guò)使用從獲得影像和投影部分上相應(yīng)點(diǎn)合成的投影變換矩陣將所獲得的影像上的點(diǎn)投影到投影部分，這樣就可以將攝象裝置獲得的影像投影到路面上。
此外，因?yàn)槎鄠€(gè)形狀不同的平面結(jié)合在一起形成三維投影模型，到模型上的投影也可以盡可能象投影的物體那樣靠近。
此外，因?yàn)槎鄠€(gè)形狀不同的平面結(jié)合在一起以便使它們之間的結(jié)合點(diǎn)不會(huì)非常突出，也會(huì)防止在被合成的路面上的直線等在合成圖像上發(fā)生彎曲，這樣就可以提供一個(gè)沒(méi)有不相容感覺(jué)的完整的天然圖像。
而且，三維投影模型包括球面和圓柱面的合成，當(dāng)投影發(fā)生在三維投影模型時(shí)，遠(yuǎn)處投影到圓柱面上，而其他的位置投影到球面上，這樣靠近汽車的位置就投影到球面上，而遠(yuǎn)離的部分就投影到圓柱面上；因此，與僅僅投影到圓柱面的投影相比，在近處的影像扭曲就可以減小且距離感很容易捕捉。在本實(shí)施例中，如果球面的中心是設(shè)置在圓柱面的軸線上，球面與圓柱面的半徑相等，球面和圓柱面的邊界線就會(huì)很光滑。而且，跟平面與圓柱面結(jié)合且邊界部分也很光滑連接的情況相比，在近處的扭曲會(huì)大大減少，這樣就可以合成一個(gè)沒(méi)有不相容感覺(jué)的天然圖像。
在上面的描述中，雖然三維投影模型是由圓柱面和球面結(jié)合成的，也可以只采用球面。在這種情況下，在寬視野圖像的組合物中，可以完全避免圖像的扭曲變形。在三維投影模型中使用球面可以生成象使用魚眼鏡頭所拍攝一樣的圖像，雖然整幅圖像都會(huì)發(fā)生相同的扭曲，駕駛員還是很容易認(rèn)出周圍物體的類型。
而且，如果使用圓柱面和橢圓面來(lái)組合使得結(jié)合處光滑并使遠(yuǎn)處投影到圓柱面上其他位置投影到橢圓面上，也可以獲得跟圓柱面和球面組合相類似的效果。
而且，還可以采用平面與圓柱面相結(jié)合來(lái)形成三維投影模型，在這種三維投影模型的投影中，遠(yuǎn)處投影到圓柱面上，其他位置投影到平面上。這樣，汽車附近的位置投影到平面上，直線例如路面上的白線可以在合成圖像中仍然投影成直線。此外，因?yàn)檫h(yuǎn)處已經(jīng)投影到圓柱面上，影像就不會(huì)發(fā)生扭曲。因此，汽車可以很容易沿著停車場(chǎng)等處的白線停車，周圍的環(huán)境也可以很容易捕捉到。此外，如果在三維投影模型中僅使用圓柱面，靠近攝象裝置的區(qū)域在合成圖像上就會(huì)變大，很難掌握距離感。但是，可以用將附近區(qū)域投影到平面上來(lái)解決這個(gè)問(wèn)題。
此外，在三維投影模型中還可以使用圓柱面、平面和曲面在邊界處彼此光滑結(jié)合的形式。這樣，當(dāng)遠(yuǎn)處景物的影像被合成的時(shí)候，可以認(rèn)為遠(yuǎn)處的景物在圓柱面上還是垂直地影像。另一方面，攝象裝置正下方的物體被投影到圓柱面上所引起的影像極度扭曲的問(wèn)題也可以在遠(yuǎn)處投影到圓柱面上時(shí)在某種程度上消除，中間位置被投影到曲面上以便光滑地形成圓柱面和平面之間的邊界線，其他的位置被投影到平面上。
因此，假如通過(guò)一個(gè)在汽車上的銷使車廂與汽車連接在一起，在初始狀態(tài)下車廂與車處于分離狀態(tài)，也就是說(shuō)，當(dāng)汽車靠近車廂的時(shí)候，車廂投影到上述圓柱投影面上并顯示出來(lái)，因此就可以很容易掌握周圍的情況和與其它物體的關(guān)系，并通過(guò)上述的平面投影部分或者是球面投影部分很快地在與車廂結(jié)合之前了解到銷的位置關(guān)系，這樣就可以使車廂與車順利結(jié)合。
而且，顯然，在有限的停車位置停車或者是在擁擠的路上顯示相對(duì)于后面的車的位置關(guān)系時(shí)，它可以提供更容易被駕駛員理解的圖像。
(第二實(shí)施例)圖5是是本發(fā)明第二實(shí)施例所述圖像合成裝置的框圖。其中，與圖1功能相同的部分用相同的數(shù)字標(biāo)明，為了簡(jiǎn)明，其詳細(xì)描述也將被省略。除了圖1中所顯示的影像合成裝置結(jié)構(gòu)外，本圖還包括用來(lái)探測(cè)汽車行駛方向的汽車行駛方向探測(cè)部分22，它也可以將探測(cè)結(jié)果輸入到虛擬攝象裝置攝象位置探測(cè)部分6中。
在第一實(shí)施例和第二實(shí)施例中，在平面投影部分3中使用的投影面就是路面，在三維投影模型投影部分中使用的三維投影部分是基于圓柱面特別是路面和球面之間的光滑連接的曲面，投影中心在圓柱面的軸線上。
圖6A三維地顯示了當(dāng)汽車直線行駛的時(shí)候虛擬攝象裝置生成合成圖像的情景。在圖6A中，省略的步驟(圖2中的步驟2)是平面投影部分3根據(jù)一個(gè)攝象位置將攝象裝置1a和1b所獲得的影像都投影到路面上。
在第二實(shí)施例中，在虛擬攝象裝置7獲取影像的時(shí)候，虛擬攝象裝置7的視點(diǎn)13是在通過(guò)三維投影模型投影部分5的投影中心12的直線上，直線與汽車行駛方向探測(cè)部分22所探測(cè)到的汽車行駛方向平行。這時(shí)，平行于汽車行駛方向的直線即使是在合成圖像上也是直線，在合成圖像上的直線在一點(diǎn)相交，當(dāng)汽車直線行駛時(shí)，因?yàn)閺钠嚿峡雌渲車墓潭ㄎ矬w相對(duì)汽車的運(yùn)動(dòng)方向與行駛方向平行，所以這些物體在合成圖像上也是直線運(yùn)動(dòng)。
下面描述的原理是使用圖6A中虛擬攝象裝置7和三維投影模型11之間的幾何關(guān)系。連接了三維投影模型11的投影中心12和虛擬攝象裝置7視點(diǎn)13的線段23平行于汽車行駛方向24。這時(shí)，位于路面上的與汽車行駛方向24平行的線25和線段23處于相同平面26中。由將上述平行線25投影到三維投影模型11所生成的影像27形成了在三維投影模型11和平面26之間的交叉線，當(dāng)虛擬攝象裝置7獲取的影像27時(shí)，所生成的影像28位于圖像合成表面14和平面26之間的交叉線上。作為在平面和平面之間的交叉線，影像28是一條直線，并通過(guò)線段23和圖像合成表面14的交點(diǎn)29。
上述描述并不限于路面，也可以是在線段23所在平面上的任意直線，或者是匯集在點(diǎn)29的所有影像的延伸。
當(dāng)汽車直線行駛時(shí)，從汽車上看其周圍的固定物體相對(duì)汽車的運(yùn)動(dòng)方向與行駛方向平行。因此，如圖6B，固定物體的影像30是向點(diǎn)29的直線運(yùn)動(dòng)。
這樣，根據(jù)本發(fā)明第二實(shí)施例，多個(gè)攝象裝置設(shè)置在汽車上，汽車行駛方向探測(cè)裝置也設(shè)置在這里，虛擬攝象裝置視點(diǎn)的位置設(shè)置在通過(guò)三維投影模型投影部分投影中心并與汽車行駛方向平行的直線上，作為一個(gè)特征，平行于汽車行駛方向的直線投影在合成圖像上也是一條直線。因此，當(dāng)汽車直線行駛時(shí)，從汽車上看其周圍的固定物體相對(duì)汽車的運(yùn)動(dòng)方向與行駛方向平行，在合成圖像上固定物體也是沿著直線運(yùn)動(dòng)，這樣就給駕駛員提供了可以理解環(huán)境的影像。
(第三實(shí)施例)圖7是本發(fā)明第三實(shí)施例所述圖像合成裝置的框圖。其中，與圖1功能相同的部分用相同的數(shù)字標(biāo)明，為了簡(jiǎn)明，其詳細(xì)描述也將被省略。除了圖1中所顯示的影像合成裝置結(jié)構(gòu)外，本圖還包括用來(lái)探測(cè)汽車身位置的汽車身位置探測(cè)部分3 1，并將探測(cè)結(jié)果輸入到虛擬攝象裝置攝象位置探測(cè)部分6中。
在第一實(shí)施例和第二實(shí)施例中，在平面投影部分3中使用的投影面就是路面，在三維投影模型投影部分中使用的三維投影部分是基于圓柱面特別是路面和球面之間的光滑連接的曲面，投影中心在圓柱面的軸線上。
圖8A示意性表示了第三實(shí)施例中為了獲得車身后部32投影的過(guò)程，被第一攝象裝置1a獲得汽車A車身后部32L通過(guò)使用設(shè)置在汽車A上的車身位置探測(cè)部分31所探測(cè)到的車身位置被投影到路面上。圖8B是三維的表示了當(dāng)使用設(shè)置在汽車A上的車身位置探測(cè)部分31所探測(cè)到的車身位置將車身后部32投影到路面上所獲得的車身后部32投影時(shí)，使用虛擬攝象裝置7生成合成圖像31的布置。跟圖6A一樣，圖8B也省略了圖2中的步驟2，也就是，平面投影部分3根據(jù)一個(gè)攝象位置將攝象裝置1a和1b所獲得的影像都投影到路面上。
虛擬攝象裝置7的視點(diǎn)13位置由下面工序確定。假定汽車A的車身后部32L是直線，車身后部32L平面投影所獲得的影像32也是直線。虛擬攝象裝置7的視點(diǎn)13位置設(shè)置在包括影像32和投影中心12的平面33上。這時(shí)，將影像32投影到三維投影模型所獲得影像34也在平面33上，影像34基礎(chǔ)上的合成圖像上的影像35也在平面33上。這樣，影像35就位于平面33和圖像合成平面14之間的交叉線上，也是直線形狀。因此，如圖8C中的全景圖像所示，在合成圖像上，車身后部36是不彎曲或間斷的直線。此外，如圖8D所示，汽車側(cè)面也可以轉(zhuǎn)化成直線來(lái)合成用于監(jiān)視汽車側(cè)面情況的圖像。另外，還可以合成汽車所行駛的道路的情況的圖像，或者是在十字路口交叉中心線的圖像，也可以顯示的是直線。
如上所述，根據(jù)本發(fā)明第三實(shí)施例，多個(gè)攝象裝置設(shè)置在汽車上，汽車車身位置探測(cè)裝置可以用來(lái)探測(cè)車身位置，虛擬攝象裝置視點(diǎn)的位置位于包括了車身后部平面投影影像和第二投影裝置的平面內(nèi)；這樣在合成圖像中，車身后部投影成一條直線。
(第四實(shí)施例)圖9是本發(fā)明第四實(shí)施例所述圖像合成裝置的框圖。
其中，與圖1功能相同的部分用相同的數(shù)字標(biāo)明，為了簡(jiǎn)明，其詳細(xì)描述也將被省略。
如圖9所示，影像合成裝置還包括作為三維投影模型的球面，用來(lái)三維投影模型投影部分5；還包括用來(lái)探測(cè)球面位置的球面探測(cè)部分37。而且，為了合成圖像，球面延伸部分38用來(lái)代替圖1中的虛擬攝象裝置。
如圖10A和10B所示，下面描述第四實(shí)施例影像合成方法。圖10A幾何地、三維地表示了投影到球面模型后在平面內(nèi)伸展或發(fā)展球面的過(guò)程。跟第一實(shí)施例一樣，攝象裝置所獲得的影像被平面投影到路面上，然后投影到如圖10A所示的球面上。這時(shí)，投影中心就是球心。投影到球面上的影像40在球面上的點(diǎn)41伸展。通過(guò)這個(gè)操作，影像40轉(zhuǎn)化成點(diǎn)42。圖10B是球面的截面圖，圖10A中的合成圖像14由通過(guò)點(diǎn)19、40、41和42的平面切開(kāi)。如圖所示，球面伸展部分38完成了伸展操作，以便從點(diǎn)41到點(diǎn)40的圓弧等于從點(diǎn)41到點(diǎn)42的線段的長(zhǎng)度。這樣在圖像合成表面14上伸展的影像構(gòu)成合成圖像。
通過(guò)這個(gè)變化，位于平面上包括連接點(diǎn)39和41的直線43在內(nèi)的直線即使在合成圖像上也是直線。因此，點(diǎn)39和41的位置是為了使直線43平行于汽車的行駛方向，不管球面的位置如何，平行于汽車的行駛方向的直線即使在合成圖像上也是平行的，這樣就可以獲得跟第二實(shí)施例相似的效果。此外，當(dāng)點(diǎn)39和41選擇使車身后部投影的路面10和直線43在一個(gè)平面內(nèi)，車身后部在合成圖像中也是直線，這樣就可以獲得跟第三實(shí)施例相似的效果。
如上所述，根據(jù)第四實(shí)施例，攝象裝置獲得的多個(gè)影像平面投影到路面上，平面投影影像被投影到球面上，然后球面投影影像沿著球面上一點(diǎn)所在平面延伸；這樣，不管球面的位置如何，通過(guò)調(diào)整所要延伸的平面的中心，都可以將一條特殊的直線投影成在合成圖像上的一條直線。
(第五實(shí)施例)圖11是本發(fā)明第五實(shí)施例所述圖像合成裝置的框圖。如圖1所示，第五實(shí)施例中的影像顯示裝置除了上述的結(jié)構(gòu)外，還包括顯示數(shù)據(jù)轉(zhuǎn)換控制裝置80和顯示裝置81例如具有顯示功能的鏡子。顯示數(shù)據(jù)轉(zhuǎn)換控制裝置80用來(lái)將影像轉(zhuǎn)換成能適用于在顯示裝置81上顯示的數(shù)據(jù)。使用了這種結(jié)構(gòu)，在具有顯示功能的鏡子上顯示的圖像可以使駕駛員很容易掌握周圍情況或者是汽車的位置。作為具有顯示功能的鏡子，第一鏡子結(jié)構(gòu)中的一半是設(shè)置在顯示裝置顯示部分的表面上，顯示裝置可以是液晶或者是有機(jī)電致發(fā)光(organic EL)。這時(shí)，液晶或者是有機(jī)電致發(fā)光部分可以僅包括一個(gè)顯示部分或者是很多顯示部分的組合。
此外，第一鏡子結(jié)構(gòu)是可以在普通鏡子狀態(tài)和圖像顯示屏幕狀態(tài)之間切換的。另外，當(dāng)天黑的時(shí)候，通過(guò)汽車上的照明傳感器可以自動(dòng)切換到圖像顯示狀態(tài)。另外，切換操作也可以與駕駛員的大燈照明操作響應(yīng)。還有，切換到圖像顯示狀態(tài)還可以這樣觸發(fā)，例如，當(dāng)后窗因?yàn)橄掠曜兊脺啙峄蛘呤且驗(yàn)槎煜卵┗蚪Y(jié)冰而完全看不清的時(shí)候，通過(guò)后窗中的加熱絲的操作開(kāi)關(guān)來(lái)打開(kāi)顯示狀態(tài)。還有，還可以使開(kāi)關(guān)連接到齒輪上，只有當(dāng)齒輪位于后部時(shí)，才打開(kāi)圖像顯示狀態(tài)。
這樣，因?yàn)殓R子的整個(gè)表面都可以在普通鏡子狀態(tài)和圖像顯示狀態(tài)之間切換，所以駕駛員可以很容易通過(guò)寬顯示面掌握車后的情況，從而保障了安全駕駛。
另一方面，作為第二鏡子結(jié)構(gòu)，也可以使用普通結(jié)構(gòu)的鏡子和液晶或者是有機(jī)電致發(fā)光的顯示部分。使用第二鏡子結(jié)構(gòu)，普通鏡子可以用來(lái)示意性的顯示后面的情況，而附加的顯示部分可以放大顯示普通鏡子所不能顯示的死角，或者是放大需要特別注意的物體。
順便說(shuō)一句，這些顯示裝置不限于鏡子，還可以是在儀表板上的顯示部分、是連接到巡航系統(tǒng)上的顯示部分、便攜式信息終端或者是平面顯示器等可以接受的裝置。
(第六實(shí)施例)圖12是根據(jù)本發(fā)明第六實(shí)施例的圖像獲取/警告裝置的框圖。如圖12所示，這種圖像獲得/警告裝置除了如圖11所示的圖像顯示裝置結(jié)構(gòu)之外，還包括探測(cè)裝置82和一個(gè)警告裝置83。例如，探測(cè)裝置82通過(guò)接近傳感器探測(cè)連接到車上的野營(yíng)車的接近程度。探測(cè)裝置82所獲得的信號(hào)輸入到警告裝置83中。這樣，駕駛員通過(guò)顯示裝置81上所顯示的圖像就可以掌握接近程度。當(dāng)野營(yíng)車是通過(guò)設(shè)置在汽車側(cè)面和野營(yíng)車側(cè)面的銷子與汽車連接在一起的時(shí)候，當(dāng)汽車上的銷子距離為1m或者更少到小于50cm，警告裝置83例如是喇叭，就可以向駕駛員發(fā)出警告的聲音。比較好的是，警告裝置83根據(jù)銷子的距離不同發(fā)出不同的聲音。這樣，在銷子結(jié)合操作中，可以根據(jù)接近程度(可以任意設(shè)定結(jié)合操作的距離)來(lái)合適的發(fā)出警告，同時(shí)結(jié)合操作還可以通過(guò)圖像來(lái)保證。這樣就可以保證安全和準(zhǔn)確的結(jié)合操作。
順便說(shuō)一句，警告裝置83并不限于喇叭，可以是連接到如圖12點(diǎn)劃線所標(biāo)記的顯示數(shù)據(jù)轉(zhuǎn)換控制裝置80，并向其發(fā)送警告信號(hào)，這樣警告符號(hào)影像、閃動(dòng)影像或能引起注意的彩色影像就可以出現(xiàn)在顯示裝置81的圖像上。此外，發(fā)出警告信號(hào)的條件可以根據(jù)汽車或接近物體的形狀、重量、速度等來(lái)任意設(shè)定。
因此，攝象裝置可以設(shè)置在銷子上來(lái)保證完全結(jié)合。另外，作為顯示影像，平面投影部分3的輸出信號(hào)或平面投影部分3的合成影像和虛擬攝象裝置7的影像都可以使用，來(lái)代替虛擬攝象裝置7的影像。
而且，探測(cè)裝置可以是超聲波的、電磁的、光學(xué)的(包括紅外線)等。另外，它也可以采用直接從影像上來(lái)計(jì)算警告距離的類型。
雖然這里說(shuō)的接近物體是野營(yíng)車，它也可以是其他物體例如用來(lái)裝小艇的車廂。
(第七實(shí)施例)圖13是根據(jù)本發(fā)明第七實(shí)施例的汽車識(shí)別/確認(rèn)裝置的框圖。如圖13所示，第七實(shí)施例中的汽車識(shí)別/確認(rèn)裝置除了圖1中所示的結(jié)構(gòu)之外還包括一個(gè)影像探測(cè)裝置84、一個(gè)識(shí)別裝置85和一個(gè)比較/確認(rèn)裝置86。
影像探測(cè)裝置是用來(lái)當(dāng)至少一個(gè)攝象裝置是設(shè)置在車后部的后部攝象裝置時(shí)，探測(cè)后部攝象裝置所獲得的影像、其投影影像和或其組合影像中的任意物體的影像。識(shí)別系統(tǒng)是用來(lái)識(shí)別影像探測(cè)系統(tǒng)所探測(cè)的影像與汽車影像的距離關(guān)系的。比較/確認(rèn)裝置是用來(lái)根據(jù)任意設(shè)定的條件作出比較/確認(rèn)的。更具體點(diǎn)說(shuō)，在本實(shí)施例的汽車識(shí)別/確認(rèn)裝置中，安裝在汽車后部作為后部攝象裝置的照相機(jī)獲取停車位置的白線，影像探測(cè)裝置從所獲得的影像、將所獲得的影像投影到由圓柱面和球面合成的三維投影模型上所獲得的影像或者是由虛擬攝象裝置7所合成的影像中探測(cè)白線的影像。此外，識(shí)別裝置85計(jì)算并確認(rèn)由影像探測(cè)裝置84所探測(cè)的白線和根據(jù)影像探測(cè)裝置84所探測(cè)影像的汽車影像的位置關(guān)系，比較/確認(rèn)裝置84根據(jù)識(shí)別裝置85所確定的位置關(guān)系比較/確認(rèn)汽車和白線的不同(根據(jù)識(shí)別裝置所獲得的影像位置或者是確認(rèn)數(shù)據(jù)作出比較/確認(rèn))，這樣汽車就可以位于左右白線之間。
通過(guò)這些結(jié)構(gòu)，駕駛員可以很容易掌握汽車和后面及周圍環(huán)境的位置關(guān)系，這樣就可以保證安全駕駛。
本發(fā)明并不被上述實(shí)施例所限制，它應(yīng)該包括在不背離發(fā)明精神和范圍的情況下對(duì)實(shí)施例作出的所有變化和修改。
圖11a---第一攝象裝置1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置3---平面投影部分4---三維投影模型確定部分5---三維投影模型投影部分6---虛擬攝象裝置攝象位置確定部分7---虛擬攝象裝置圖2a---第一攝象裝置獲取的影像b---第二攝象裝置獲取的影像c---所探測(cè)的第一攝象裝置的攝象位置d---所探測(cè)的第二攝象裝置的攝象位置e---路面的平面投影f---所確定的三維模型g---向三維投影模型的投影h---所探測(cè)的虛擬攝象裝置的攝象位置I---虛擬攝象裝置所獲得的影像圖4Aa---圓柱面投影部分b---球面投影部分圖4Ba---圓柱面投影部分b---球面投影部分圖51a---第一攝象裝置
1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置3---平面投影部分4---三維投影模型確定部分5---三維投影模型投影部分6---虛擬攝象裝置攝象位置確定部分7---虛擬攝象裝置22---汽車行駛方向探測(cè)部分圖6Ba---車身后部圖71a---第一攝象裝置1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置3---平面投影部分4---三維投影模型確定部分5---三維投影模型投影部分6---虛擬攝象裝置攝象位置確定部分7---虛擬攝象裝置31---車身位置探測(cè)部分圖8Aa---路面圖8Ba---路面圖8C36---車身后部圖8Da---汽車側(cè)面圖91a---第一攝象裝置1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置3---平面投影部分5---球面投影部分37---球面位置確定部分38---球面伸展部分圖10A17---點(diǎn)圖10Ba---相同長(zhǎng)度圖111a---第一攝象裝置1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置3---平面投影部分4---三維投影模型確定部分5---三維投影模型投影部分6---虛擬攝象裝置攝象位置確定部分7---虛擬攝象裝置80---顯示數(shù)據(jù)轉(zhuǎn)換控制裝置81---顯示裝置圖121a---第一攝象裝置1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置
3---平面投影部分4---三維投影模型確定部分5---三維投影模型投影部分6---虛擬攝象裝置攝象位置確定部分7---虛擬攝象裝置22---汽車行駛方向探測(cè)部分80---顯示數(shù)據(jù)轉(zhuǎn)換控制裝置81---顯示裝置82---探測(cè)裝置83---警告裝置圖131a---第一攝象裝置1b---第二攝象裝置2a---第一攝象位置探測(cè)裝置2b---第二攝象位置探測(cè)裝置3---平面投影部分4---三維投影模型確定部分5---三維投影模型投影部分6---虛擬攝象裝置攝象位置確定部分7---虛擬攝象裝置84---影像探測(cè)裝置85---識(shí)別裝置86---比較/確認(rèn)裝置圖14現(xiàn)有技術(shù)a---汽車保險(xiǎn)杠
權(quán)利要求
1.一種圖像合成裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)所述攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)確定所述虛擬攝象裝置的攝象位置的攝象位置確定裝置；在由所述攝象位置確定裝置確定的攝象位置，由所述虛擬攝象裝置獲取所述第二投影影像以合成由所述多個(gè)攝象裝置所獲得的多個(gè)影像。
2.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述攝象位置探測(cè)裝置還會(huì)事先探測(cè)到所述攝象裝置相對(duì)于投影部分的至少一個(gè)位置、姿勢(shì)和攝象特征。
3.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述第一投影裝置通過(guò)使用變換矩陣將所述攝象裝置所獲得的影像上的點(diǎn)投影到所述投影部分，變換矩陣是將所獲得的影像上多個(gè)點(diǎn)與所述投影部分上多個(gè)點(diǎn)相結(jié)合得到的。
4.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述投影部分基本上是一個(gè)平面。
5.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述三維投影模型是球面。
6.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述三維投影模型是多個(gè)不同形狀的表面合成的。
7.如權(quán)利要求
6所述的圖像合成裝置，其特征在于所述三維投影模型是圓柱面與平面合成的，當(dāng)所述第二投影裝置向所述三維投影模型投影的時(shí)候，所述虛擬攝象裝置所獲得的投影影像上遠(yuǎn)處投影到所述圓柱面上，其他位置投影到所述平面上。
8.如權(quán)利要求
6所述的圖像合成裝置，其特征在于所述不同形狀表面被合成使結(jié)合處不突出。
9.如權(quán)利要求
6所述的圖像合成裝置，其特征在于所述三維投影模型是圓柱面與球面合成的，當(dāng)所述第二投影裝置向所述三維投影模型投影的時(shí)候，所述虛擬攝象裝置所獲得的投影影像上遠(yuǎn)處投影到所述圓柱面上，其他位置投影到所述球面上，所述虛擬攝象裝置獲取投影影像。
10.如權(quán)利要求
8所述的圖像合成裝置，其特征在于所述三維投影模型是圓柱面、平面和曲面合成的，所述圓柱面和平面間的邊界很光滑。
11.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述攝象裝置獲得影像上的線段在合成圖像上轉(zhuǎn)化成直線。
12.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述多個(gè)攝象裝置是設(shè)置在汽車上，還有一個(gè)汽車行駛方向探測(cè)裝置來(lái)探測(cè)汽車的行駛方向。
13.如權(quán)利要求
12所述的圖像合成裝置，其特征在于所述虛擬攝象裝置的視點(diǎn)是在通過(guò)所述第二投影裝置投影中心的直線上直線平行于汽車行駛方向。
14.如權(quán)利要求
12所述的圖像合成裝置，其特征在于表示所述汽車行駛方向的線段在合成圖像上轉(zhuǎn)化成直線。
15.如權(quán)利要求
1所述的圖像合成裝置，其特征在于還包括汽車車身位置探測(cè)裝置，用于探測(cè)汽車的車身位置，其中所述多個(gè)攝象裝置設(shè)置在汽車上。
16.如權(quán)利要求
15所述的圖像合成裝置，其特征在于虛擬攝象裝置的視點(diǎn)是位于一平面內(nèi)，該平面通過(guò)所述車身后部平面投影所獲得的影像并通過(guò)所述第二投影裝置的投影中心。
17.如權(quán)利要求
11所述的圖像合成裝置，其特征在于所述攝象裝置設(shè)置在車身后部，所述車身后部在合成圖像上轉(zhuǎn)化成直線。
18.如權(quán)利要求
11所述的圖像合成裝置，其特征在于所述攝象裝置設(shè)置在車身側(cè)面，所述車身側(cè)面在合成圖像上轉(zhuǎn)化成直線。
19.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述攝象裝置設(shè)置在汽車側(cè)面以攝取靠近所述汽車所行駛道路的道路的中心線，并且所述虛擬攝像裝置在合成圖像上將所述中心線轉(zhuǎn)化成直線。
20.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述攝象裝置設(shè)置在汽車后部以攝取垂直于所述汽車所行駛道路的道路的中心線，并且所述虛擬攝像裝置在合成圖像上將所述中心線轉(zhuǎn)化成直線。
21.如權(quán)利要求
1所述的圖像合成裝置，其特征在于所述虛擬裝置設(shè)置在汽車前部以攝取垂直于所述汽車所行駛道路的道路的中心線，并且所述虛擬攝像裝置在合成圖像上將所述中心線轉(zhuǎn)化成直線。
22.一種圖像合成裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并表示平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到一個(gè)球面上形成第二投影影像的第二投影裝置；將第二投影影像在過(guò)球面上一點(diǎn)的第二平面上展開(kāi)的轉(zhuǎn)換裝置。
23.一種圖像合成方法包括由多個(gè)攝象裝置獲取多個(gè)影像的攝象步驟；攝象位置探測(cè)步驟，用于探測(cè)攝象步驟中的攝象位置，從而在所述攝象位置中包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)在攝象位置探測(cè)步驟中探測(cè)的攝象位置將所獲取的影像投影到所述平面以形成多個(gè)第一投影影像的第一投影步驟，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影步驟；用來(lái)虛擬攝象第二投影影像的虛擬攝象步驟；用來(lái)確定三維模型位置和形狀的三維投影模型確定步驟；用來(lái)確定所述虛擬攝象步驟中攝象位置的攝象位置確定步驟；在由所述攝象位置確定步驟確定的攝象位置，在所述虛擬攝象步驟中獲取所述第二投影影像以合成在所述攝象步驟中獲得的多個(gè)影像。
24.如權(quán)利要求
23所述的圖像合成方法，其特征在于還包括以下步驟將對(duì)汽車行駛方向進(jìn)行探測(cè)的信號(hào)信息從汽車行駛方向探測(cè)裝置發(fā)送到用于所述攝象位置確定步驟的攝象位置確定裝置。
25.如權(quán)利要求
23所述的圖像合成方法，其特征在于還包括以下步驟將探測(cè)車身位置的信號(hào)信息從車身位置探測(cè)裝置發(fā)送到用于所述攝象位置確定步驟的攝象位置確定裝置。
26.一種圖像合成方法包括由多個(gè)攝象裝置獲取多個(gè)影像的攝象步驟；探測(cè)攝象步驟中攝象位置的攝象位置探測(cè)步驟，以在所述攝象位置中包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)在攝象位置探測(cè)步驟中探測(cè)的攝象位置將在攝象步驟中獲取的影像投影到所述平面以形成多個(gè)第一投影影像的第一投影步驟，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到一個(gè)球面上形成第二投影影像的第二投影步驟；將第二投影影像在過(guò)球面上一點(diǎn)的第二平面上展開(kāi)的平面伸展步驟，從而將在平面伸展步驟中獲得多個(gè)影像合成以產(chǎn)生合成圖像；以及確定所述球面的位置的球面位置確定步驟。
27.一種圖像顯示裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)所述攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)探測(cè)所述虛擬攝象裝置的攝象位置的攝象位置探測(cè)裝置；顯示影像的顯示裝置；用來(lái)將所要顯示的影像轉(zhuǎn)換成適用于顯示裝置的數(shù)據(jù)的顯示數(shù)據(jù)轉(zhuǎn)換控制裝置，在由所述攝象位置確定裝置確定的攝象位置，由所述虛擬攝象裝置獲取所述第二投影影像以產(chǎn)生合成影像，并且所述合成影像由顯示數(shù)據(jù)轉(zhuǎn)換控制裝置轉(zhuǎn)換成適用于顯示裝置的數(shù)據(jù)。
28.一種圖像獲取/警告裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)探測(cè)所述虛擬攝象裝置的攝象位置的攝象位置探測(cè)裝置；用來(lái)探測(cè)物體接近位置的探測(cè)裝置；以及當(dāng)探測(cè)裝置探測(cè)到的物體接近位置到達(dá)預(yù)定物體接近位置就會(huì)發(fā)出報(bào)警信息的警告裝置。
29.一種汽車位置識(shí)別/確認(rèn)裝置包括多個(gè)攝象裝置；用來(lái)探測(cè)攝象裝置的攝象位置的攝象位置探測(cè)裝置，所述攝象位置包括平面和每一攝象裝置之間的位置關(guān)系以及位于該平面上預(yù)定位置的多個(gè)觀察點(diǎn)；用來(lái)根據(jù)由攝象位置探測(cè)裝置探測(cè)的攝象位置將由攝象裝置獲取的多個(gè)影像投影到所述平面以形成多個(gè)第一投影影像的第一投影裝置，其中分別位于各個(gè)第一投影影像并對(duì)應(yīng)平面上一個(gè)觀察點(diǎn)的多個(gè)影像點(diǎn)對(duì)于每一觀察點(diǎn)分別相互重合；將多個(gè)第一投影影像投影到三維投影模型上來(lái)產(chǎn)生第二投影影像的第二投影裝置；用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置；用來(lái)確定三維模型位置和形狀的三維投影模型確定裝置；用來(lái)探測(cè)所述虛擬攝象裝置的攝象位置的攝象位置探測(cè)裝置；影像探測(cè)裝置，用于當(dāng)多個(gè)攝象裝置中的至少一個(gè)是設(shè)置在車身后部的后部攝象裝置時(shí)，探測(cè)由后部攝象裝置獲取的影像、通過(guò)將所獲取影像投影到三維投影模型所獲得的影像或通過(guò)在虛擬攝象裝置中合成所獲取的影像而獲得的合成圖像中的任意物體影像；用來(lái)識(shí)別影像探測(cè)裝置所獲得的影像和汽車影像之間位置關(guān)系的識(shí)別裝置；用來(lái)在所述識(shí)別裝置所識(shí)別的位置關(guān)系的基礎(chǔ)上判斷在所述汽車和所述物體之間位置偏差的判斷裝置。
專利摘要
一種用來(lái)合成從多個(gè)攝象裝置中獲取的影像的圖像合成裝置。在本裝置中，第一投影部件將攝象裝置所獲得的多個(gè)影像投影到根據(jù)攝象位置的投影部分上，以生成多個(gè)第一投影影像，第二投影部件將第一投影影像投影到三維投影模型上以生成第二投影影像。在本裝置中還有用來(lái)虛擬攝象第二投影影像的虛擬攝象裝置，還有用來(lái)確定虛擬攝象裝置攝象位置的攝象位置確定裝置，在虛擬攝象位置確定裝置所確定的攝象位置由虛擬攝象裝置獲取的第二投影影像被用來(lái)與多個(gè)攝象裝置獲取的影像合成，這樣就可以生成高質(zhì)量的合成圖像。這種裝置就可以提供在不同影像結(jié)合處沒(méi)有突出的天然合成圖像。此外，當(dāng)設(shè)置在汽車上時(shí)，本裝置可以很容易掌握周圍情況以及汽車相對(duì)于別的物體的位置關(guān)系。
文檔編號(hào)G06T19/00GKCN1212724SQ01124844
公開(kāi)日2005年7月27日 申請(qǐng)日期2001年7月6日
發(fā)明者岡田毅, 飯?zhí)锪两? 西澤真人, 恩田勝政, 三輪道雄 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社導(dǎo)出引文BiBTeX, EndNote, RefMan