專(zhuān)利名稱(chēng)：圖象處理裝置及監(jiān)視系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及利用由多臺(tái)攝象機(jī)拍攝的圖象生成合成圖象的圖象處理技術(shù)，特別是屬于構(gòu)成被利用在作為行車(chē)安全確認(rèn)的輔助裝置等中的監(jiān)視系統(tǒng)的技術(shù)。
背景技術(shù)：
以往的監(jiān)視系統(tǒng)一般是通過(guò)設(shè)置1臺(tái)或多臺(tái)監(jiān)視攝象機(jī)對(duì)監(jiān)視對(duì)象進(jìn)行拍攝，將拍攝的圖象顯示在監(jiān)視器上。通常這種系統(tǒng)對(duì)應(yīng)所設(shè)置的攝象機(jī)的臺(tái)數(shù)，需要設(shè)置相同數(shù)量的監(jiān)視器。
而且，作為以往的車(chē)輛用安全監(jiān)視系統(tǒng)，例如具有在車(chē)輛的周?chē)O(shè)置攝象機(jī)，將攝象機(jī)拍攝的圖象顯示在設(shè)置在駕駛席附近的監(jiān)視器上的構(gòu)造。這樣的系統(tǒng)能夠使駕駛員通過(guò)監(jiān)視器觀察到象車(chē)輛后方那樣的通過(guò)目視或反光鏡難以觀察到的部位。
并且，在日本國(guó)專(zhuān)利公報(bào)第2696516號(hào)中發(fā)表了一種具有對(duì)應(yīng)齒輪和車(chē)速在監(jiān)視器上進(jìn)行畫(huà)面分割顯示構(gòu)成的監(jiān)視系統(tǒng)。具體的是，當(dāng)判斷為車(chē)輛是在停止或微速行駛時(shí)，將監(jiān)視器畫(huà)面進(jìn)行3分割，顯示把由設(shè)置在車(chē)輛的左右及下方的3臺(tái)攝象機(jī)所拍攝的圖象合成的合成圖象，當(dāng)車(chē)輛被判斷為前進(jìn)狀態(tài)時(shí)，2分割監(jiān)視器畫(huà)面，顯示配置在車(chē)輛左右的2臺(tái)攝象機(jī)圖象的合成圖象。
另外，在日本國(guó)專(zhuān)利公開(kāi)公報(bào)的特開(kāi)平11-78692號(hào)中，發(fā)表了每當(dāng)遇到實(shí)際情況時(shí)，可確切地合成顯示映象的車(chē)輛用映象提示裝置。具體的是，對(duì)應(yīng)后退入庫(kù)狀態(tài)、或前進(jìn)入庫(kù)狀態(tài)、或縱列停車(chē)狀態(tài)、或進(jìn)入視野不好的交叉路口的狀態(tài)等的車(chē)輛行駛狀態(tài)，進(jìn)行攝象機(jī)圖象的變形合成。
但是，這種以往的構(gòu)成對(duì)于車(chē)輛的駕駛員等的用戶(hù)來(lái)說(shuō)，并不是一種易于使用的系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種在對(duì)車(chē)輛駕駛員等用戶(hù)的方便性方面優(yōu)于以往技術(shù)的圖象處理裝置或監(jiān)視系統(tǒng)。
具體的是，本發(fā)明是一種具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成從假設(shè)視點(diǎn)看去的合成圖象的圖象處理部，上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛狀態(tài)，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)的圖象處理裝置。
并且，理想的是上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛速度，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
另外，理想的是上述圖象處理部在至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)的同時(shí)，進(jìn)行收進(jìn)變更后的假設(shè)視點(diǎn)的視野范圍之外圖象的控制。而且，理想的是上述圖象處理部通過(guò)改變用于圖象合成的模式來(lái)進(jìn)行收進(jìn)變更后的假設(shè)視點(diǎn)的視野范圍之外圖象的控制。
另外，理想的是上述圖象處理部對(duì)應(yīng)上述車(chē)輛的轉(zhuǎn)向角，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
而且，理想的是上述圖象處理部對(duì)應(yīng)上述物體傳感器的檢測(cè)結(jié)果，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
另外，理想的是上述圖象處理部具有原構(gòu)圖表，使用從這個(gè)原構(gòu)圖表中提取出的構(gòu)圖表進(jìn)行合成圖象的生成，并且，通過(guò)改變從原構(gòu)圖表提取出的構(gòu)圖表來(lái)進(jìn)行上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離其中的至少任意一項(xiàng)的變更。
另外，本發(fā)明的圖象處理裝置是一種具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成從假設(shè)視點(diǎn)看去的合成圖象的圖象處理部，上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛狀態(tài)，進(jìn)行收進(jìn)變更后的假設(shè)視點(diǎn)的視野范圍之外圖象的控制的圖象處理裝置。
另外，本發(fā)明的監(jiān)視系統(tǒng)是一種具有對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)、把上述多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成從假設(shè)視點(diǎn)看去的合成圖象的圖象處理部、和顯示上述合成圖象的顯示部，上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛狀態(tài)，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)的監(jiān)視系統(tǒng)。
另外，具體地說(shuō)，本發(fā)明的圖象處理裝置是一種具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，上述圖象處理部生成作為上述合成圖象的包含從假設(shè)視點(diǎn)看去的第1圖象和從至少與上述第1圖象的假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)不同的視點(diǎn)看去的，或與上述第1圖象的模式不同的第2圖象的圖象的圖象處理裝置。
另外，理想的是上述第2圖象是至少一個(gè)上述攝象機(jī)圖象。
而且，理想的是上述第1圖象是表示自己車(chē)輛及其周?chē)慕巿D象，上述第2圖象是表示位于上述近處圖象所示的自己車(chē)輛周?chē)鷧^(qū)域遠(yuǎn)方的區(qū)域的遠(yuǎn)方圖象。并且，理想的是上述圖象處理部在上述合成圖象中的上述近處圖象的周?chē)渲蒙鲜鲞h(yuǎn)方圖象。更好的是上述遠(yuǎn)方圖象是與上述近處圖象具有連續(xù)性的圖象。
另外，理想的是上述第1圖象是表示自己車(chē)輛的至少一部分和自己車(chē)輛周?chē)闹辽僖徊糠值膱D象，上述第2圖象是把上述第1圖象所示的區(qū)域的至少一部分放大的圖象。
另外，本發(fā)明的監(jiān)視系統(tǒng)是，一種具有對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)、把上述多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部、和顯示上述合成圖象顯示部，上述圖象處理部生成作為上述合成圖象的包含從假設(shè)視點(diǎn)看去的第1圖象和從至少與上述第1圖象的假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離其中的任意一項(xiàng)不同的視點(diǎn)看去的，或與上述第1圖象的模式不同的第2圖象的圖象的監(jiān)視系統(tǒng)。
另外，具體地說(shuō)，本發(fā)明是，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，上述圖象處理部在所述合成圖象中把表示自己車(chē)輛存在的車(chē)輛區(qū)域的至少一部分和自己車(chē)輛周?chē)闹辽僖徊糠值膮^(qū)域作為提醒注意的注意提醒區(qū)域進(jìn)行顯示。
另外，理想的是上述合成圖象是從設(shè)定在上述車(chē)輛上方的假設(shè)視點(diǎn)看去的圖象。
而且，理想的是上述圖象處理部在上述車(chē)輛區(qū)域上顯示自己車(chē)輛的插象或?qū)嶋H拍攝圖象。
另外，理想的是上述上述注意提醒區(qū)域包含從任意攝象機(jī)都拍攝不到的車(chē)輛周?chē)乃澜菂^(qū)域的一部分?；蛘?，理想的是上述注意提醒區(qū)域相當(dāng)于從任意攝象機(jī)都拍攝不到的車(chē)輛周?chē)乃澜菂^(qū)域。并且，理想的是上述圖象處理裝置使用表示各個(gè)攝象機(jī)圖象中的映入自己車(chē)輛的區(qū)域的區(qū)域數(shù)據(jù)，確定組合上述死角區(qū)域及車(chē)輛區(qū)域的區(qū)域范圍。
另外，作為本發(fā)明的監(jiān)視系統(tǒng)，具有對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)、把上述多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部、和顯示上述合成圖象的顯示部，上述圖象處理部在上述合成圖象中顯示自己車(chē)輛存在的車(chē)輛區(qū)域的至少一部分和表示自己車(chē)輛周?chē)闹辽僖徊糠值臑榱颂嵝炎⒁獾淖⒁馓嵝褏^(qū)域。
另外，具體地說(shuō)，作為本發(fā)明的圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，上述圖象處理部使用具有記述合成圖象的象素與攝象機(jī)圖象的象素的對(duì)應(yīng)關(guān)系的第1構(gòu)圖數(shù)據(jù)，和記述表示合成圖象的象素與攝象機(jī)圖象以外的象素?cái)?shù)據(jù)互相對(duì)應(yīng)的識(shí)別因子的第2構(gòu)圖數(shù)據(jù)的構(gòu)圖表生成上述合成圖象。
另外，理想的是上述攝象機(jī)圖象以外的象素?cái)?shù)據(jù)用于表示上述車(chē)輛或上述車(chē)輛周?chē)闹辽僖徊糠种械乃澜菂^(qū)域。
另外，理想的是上述圖象處理部記憶有攝象機(jī)圖象以外的規(guī)定的圖象，上述第2構(gòu)圖數(shù)據(jù)用于記述對(duì)于合成圖象的象素，在被記憶的上述規(guī)定的圖象中的與該象素對(duì)應(yīng)的坐標(biāo)值。
另外，理想的是上述第2構(gòu)圖數(shù)據(jù)用于記述對(duì)應(yīng)合成圖象象素的象素?cái)?shù)據(jù)。
另外，作為本發(fā)明的圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，上述圖象處理部使用記述有合成圖象的象素與由攝象機(jī)圖象的象素?cái)?shù)據(jù)和攝象機(jī)圖象以外的象素?cái)?shù)據(jù)中的一方或雙方構(gòu)成的多個(gè)象素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系，并且，對(duì)各個(gè)象素?cái)?shù)據(jù)分別記述了必要度的構(gòu)圖數(shù)據(jù)，根據(jù)必要度把各個(gè)象素?cái)?shù)據(jù)進(jìn)行疊加，來(lái)生成上述合成圖象象素的象素?cái)?shù)據(jù)。
另外，作為本發(fā)明的圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入并且根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，上述圖象處理部具有原構(gòu)圖表，從這個(gè)原構(gòu)圖表中提取出記述合成圖象的象素與攝象機(jī)圖象的象素的對(duì)應(yīng)關(guān)系的構(gòu)圖表，利用提取出的構(gòu)圖表來(lái)生成合成圖象。


圖1是表示本發(fā)明的監(jiān)視系統(tǒng)的示意圖。
圖2是表示攝象機(jī)配置例的視圖。
圖3表示圖2中的各個(gè)攝象機(jī)的拍攝圖象。
圖4是概念地表示假設(shè)視點(diǎn)與實(shí)際攝象機(jī)之間關(guān)系的視圖。
圖5表示一例生成的合成圖象。
圖6是表示構(gòu)圖表進(jìn)行圖象合成的視圖。
圖7表示本發(fā)明的一實(shí)施例的監(jiān)視系統(tǒng)的構(gòu)成。
圖8是表示圖7的圖象合成部的動(dòng)作的流程圖。
圖9表示一例構(gòu)圖表的構(gòu)成。
圖10是詳細(xì)表示圖8的象素合成步驟S14的流程圖。
圖11表示一例記述了攝象機(jī)圖象的象素?cái)?shù)據(jù)的構(gòu)圖數(shù)據(jù)。
圖12表示一例利用8幅攝象機(jī)圖象構(gòu)成的俯視圖象。
圖13表示一例利用4幅攝象機(jī)圖象構(gòu)成的俯視圖象。
圖14表示一例利用2幅攝象機(jī)圖象構(gòu)成的俯視圖象。
圖15表示一例向斜下方看去的圖象。
圖16表示一例全景方式的前方全景圖象。
圖17表示一例全景方式的后方全景圖象。
圖18表示一例由斜下方圖象和全景圖象組合的圖象。
圖19表示一例在對(duì)應(yīng)車(chē)輛的行駛狀態(tài)改變了假設(shè)視點(diǎn)的高度的情況下的合成圖象。
圖20表示一例在對(duì)應(yīng)車(chē)輛的行駛狀態(tài)改變了假設(shè)視點(diǎn)的視線朝向的情況下的合成圖象。
圖21表示一例在對(duì)應(yīng)車(chē)輛的轉(zhuǎn)向角改變了假設(shè)視點(diǎn)的視線朝向情況下的合成圖象。
圖22表示一例對(duì)應(yīng)物體檢測(cè)傳感器輸出信號(hào)的切換圖象的視圖。
圖23表示一例對(duì)應(yīng)物體檢測(cè)傳感器輸出信號(hào)的切換圖象的視圖。
圖24表示一例對(duì)應(yīng)物體檢測(cè)傳感器輸出信號(hào)的切換圖象的視圖。
圖25表示本發(fā)明的一實(shí)施例的監(jiān)視系統(tǒng)的構(gòu)成。
圖26表示在平行移動(dòng)圖象時(shí)的構(gòu)圖表的裁取的視圖。
圖27表示在放大縮小圖象時(shí)的構(gòu)圖表的裁取的視圖。
圖28表示對(duì)構(gòu)圖表以矩形以外的四邊形進(jìn)行裁取的實(shí)例圖。
圖29表示攝象機(jī)圖象的實(shí)例。
圖30表示通過(guò)在俯視圖象的左右附著向斜后方拍攝的攝象機(jī)圖象的合成圖象的實(shí)例。
圖31表示并排顯示窄范圍的俯視圖象和寬范圍的俯視圖象的實(shí)例。
圖32表示在俯視圖象的周?chē)街毕路綀D象的實(shí)例。
圖33表示在俯視圖象的周?chē)街褂媚M圓筒方式的圖象的實(shí)例。
圖34表示在俯視圖象的周?chē)街皥D象的實(shí)例。
圖35表示在俯視圖象的周?chē)街毕路降膱D象，在四角部留有空白部的實(shí)例。
圖36在顯示攝象機(jī)圖象的同時(shí)顯示表示假設(shè)視點(diǎn)位置的圖象。
圖37是表示攝象機(jī)圖象和映入自己車(chē)輛的區(qū)域的掩蔽數(shù)據(jù)的實(shí)例。
圖38表示疊加自己的車(chē)輛的圖象的實(shí)例。
圖39表示在把映入自己車(chē)輛的圖象直接進(jìn)行轉(zhuǎn)換的場(chǎng)合下的一例合成圖象。
圖40是表示掩蔽數(shù)據(jù)的一部分的視圖。
圖41表示一例顯示有車(chē)輛區(qū)域和死角區(qū)域的合成圖象。
圖42是表示在求出死角區(qū)域，附著車(chē)輛圖象時(shí)生成構(gòu)圖數(shù)據(jù)的順序的視圖。
圖43是表示掩蔽數(shù)據(jù)與合成圖象象素之間關(guān)系的視圖。
圖44表示一例利用按照?qǐng)D42的順序獲得的構(gòu)圖數(shù)據(jù)所合成的圖象。
圖45是表示在指定告警區(qū)域時(shí)的構(gòu)圖數(shù)據(jù)的生成順序。
圖46表示一例利用按照?qǐng)D45的順序獲得的構(gòu)圖數(shù)據(jù)所合成的圖象。
圖47是幾何變換的說(shuō)明圖。
圖48是幾何變換的說(shuō)明圖。
圖49是幾何變換的說(shuō)明圖。
圖50是幾何變換的說(shuō)明圖。
具體實(shí)施例方式
圖1是本發(fā)明的監(jiān)視系統(tǒng)的概念圖。在圖1所示的監(jiān)視系統(tǒng)中，圖象處理部2將由拍攝部1輸出的多幅攝象機(jī)圖象作為輸入進(jìn)行合成，生成從假設(shè)視點(diǎn)看去的合成圖象。這個(gè)合成圖象通過(guò)例如象液晶顯示器那樣的顯示部3來(lái)顯示。由圖象處理部2構(gòu)成本發(fā)明的圖象處理裝置。
在這里說(shuō)明的本監(jiān)視系統(tǒng)是裝配在車(chē)輛上的作為在?？寇?chē)輛時(shí)的輔助裝置所使用的系統(tǒng)。
圖2是一例攝象機(jī)的配置圖，圖3是一例按照?qǐng)D2那樣配置的攝象機(jī)的拍攝圖象。如圖2所示，分別在車(chē)輛的車(chē)門(mén)反光鏡附近、后方柱附近及后背箱上配置5臺(tái)攝象機(jī)。圖象處理部2根據(jù)圖3所示的5幅攝象機(jī)圖象生成從假設(shè)視點(diǎn)看去的合成圖象。
假設(shè)視點(diǎn)與在生成計(jì)算機(jī)圖象時(shí)配置攝象機(jī)的情況相同，可在3維空間的任意位置、任意方向上進(jìn)行設(shè)定。確定假設(shè)視點(diǎn)的參數(shù)是由表示假設(shè)視點(diǎn)在3維空間中的位置的坐標(biāo)(X坐標(biāo)、Y坐標(biāo)、Z坐標(biāo))、表示方向的3個(gè)角度，即方位角(水平轉(zhuǎn)動(dòng))、仰角(傾角)及Twist(圍繞光軸的轉(zhuǎn)動(dòng))和確定視野范圍的焦距構(gòu)成。焦距是指假設(shè)視點(diǎn)到生成合成圖象的投影面之間的距離，當(dāng)焦距小時(shí)為廣角圖象，焦距大時(shí)為望遠(yuǎn)圖象。實(shí)際的攝象機(jī)等一般是用根據(jù)投影面的膠片尺寸(35mm)換算的距離(mm)來(lái)表示，但在本說(shuō)明書(shū)中由于合成圖象的尺寸用象素表示，所以焦距也用象素來(lái)表示。
通過(guò)對(duì)應(yīng)具體的狀況選擇這個(gè)假設(shè)視點(diǎn)的位置、方向及焦距可生成適當(dāng)?shù)暮铣蓤D象。
圖4表示假設(shè)視點(diǎn)與實(shí)際攝象機(jī)之間的關(guān)系。在圖4中，假設(shè)視點(diǎn)被設(shè)定在車(chē)輛的上方。圖5表示一例生成的合成圖象，生成表示從圖4所示的假設(shè)視點(diǎn)看去的包括自己車(chē)輛及其附近的圖象。
本實(shí)施例的圖象處理部2為了生成由多幅攝象機(jī)圖象組成的合成圖象，使用了構(gòu)圖表4。這里的所謂“構(gòu)圖表”是指記述了合成圖象的象素與各個(gè)攝象機(jī)圖象的象素?cái)?shù)據(jù)之間關(guān)系的數(shù)據(jù)表。另外，如后面所述的那樣，構(gòu)圖表也可以記述合成圖象的象素與攝象機(jī)圖象以外的象素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系。
構(gòu)圖表的原理下面，利用構(gòu)圖表對(duì)生成由多幅攝象機(jī)圖象構(gòu)成的合成圖象的動(dòng)作進(jìn)行說(shuō)明。
圖6是說(shuō)明這個(gè)動(dòng)作的概要的說(shuō)明圖。圖6中的(a)～(c)分別表示設(shè)置在相互不同位置上的3臺(tái)攝象機(jī)(分別與圖2中的攝象機(jī)3、攝象機(jī)1及攝象機(jī)2相對(duì)應(yīng))的拍攝圖象。圖6的(d)是為了合成由圖6的(a)～(c)的各個(gè)攝象機(jī)圖象構(gòu)成的合成圖象所使用的構(gòu)圖表。圖象處理部2依照?qǐng)D6(d)的構(gòu)圖表的信息，根據(jù)圖6(a)～(c)的3幅攝象機(jī)圖象生成圖6(e)所示的一幅合成圖象。
圖6(d)所示的構(gòu)圖表具有分別對(duì)應(yīng)圖6(e)所示的合成圖象的各個(gè)象素的構(gòu)圖數(shù)據(jù)。各個(gè)構(gòu)圖數(shù)據(jù)記述有關(guān)于對(duì)應(yīng)的合成圖象的象素是由哪個(gè)攝象機(jī)圖象的象素所生成的信息。
所謂生成合成圖象就是確定合成圖象的全部象素的值。這里是以圖象處理部2從左上按照光柵的順序依次確定合成圖象的象素值，確定其中的象素P1的場(chǎng)合為例，對(duì)該動(dòng)作進(jìn)行說(shuō)明。
首先，參照對(duì)應(yīng)合成圖象的象素P1的構(gòu)圖數(shù)據(jù)MP1。在構(gòu)圖數(shù)據(jù)MP1中記述有對(duì)應(yīng)的攝象機(jī)編號(hào)和該攝象機(jī)圖象的對(duì)應(yīng)象素的坐標(biāo)。當(dāng)前記述在構(gòu)圖數(shù)據(jù)MP1中的攝象機(jī)編號(hào)為“1”、X坐標(biāo)為“340”、Y坐標(biāo)為“121”。
圖象處理部2根據(jù)構(gòu)圖數(shù)據(jù)MP1的記述內(nèi)容，參照?qǐng)D6所示的攝象機(jī)1的拍攝圖象的坐標(biāo)(340、121)的象素?cái)?shù)據(jù)C1來(lái)確定合成圖象的象素P1。在這里，作為最簡(jiǎn)單的確定方法是直接把象素?cái)?shù)據(jù)C1的值作為象素P1的值。通過(guò)按照同樣的方法確定合成圖象的各個(gè)象素的值，便可生成圖6(e)所示的合成圖象。
例如，由于對(duì)應(yīng)合成圖象的象素P2的構(gòu)圖數(shù)據(jù)MP2表示圖6(c)所示的攝象機(jī)2的拍攝圖象的象素?cái)?shù)據(jù)C2，所以作為象素P2的值可賦予象素?cái)?shù)據(jù)C2的值。同樣，由于對(duì)應(yīng)合成圖象的象素P3的構(gòu)圖數(shù)據(jù)MP3表示圖6(a)所示的攝象機(jī)3的拍攝圖象的象素?cái)?shù)據(jù)C3，可把象素?cái)?shù)據(jù)C3的值賦予象素P3。在圖6(d)的構(gòu)圖表中，區(qū)域R1與攝象機(jī)1對(duì)應(yīng)，區(qū)域R2與攝象機(jī)2對(duì)應(yīng)，區(qū)域R3與攝象機(jī)3對(duì)應(yīng)。
對(duì)應(yīng)各個(gè)攝象機(jī)的3個(gè)區(qū)域R1～R3以外的區(qū)域R4，可以認(rèn)為是各個(gè)攝象機(jī)的拍攝區(qū)域以外的區(qū)域，或是被自己車(chē)輛遮擋住的死角，總之是不存在對(duì)應(yīng)攝象機(jī)圖象的區(qū)域。例如，合成圖象的象素P4為上述那樣的區(qū)域R4。因此，與象素P4對(duì)應(yīng)的構(gòu)圖數(shù)據(jù)MP4的攝象機(jī)編號(hào)用表示不存在對(duì)應(yīng)攝象機(jī)圖象的特定攝象機(jī)編號(hào)(在這里用“-1”表示)記述。并且，當(dāng)攝象機(jī)編號(hào)為“-1”時(shí)，對(duì)對(duì)應(yīng)的象素P4設(shè)定表示其為拍攝區(qū)域以外或死角的規(guī)定的象素?cái)?shù)據(jù)。這里把規(guī)定的象素?cái)?shù)據(jù)設(shè)定為黑色。
在圖6的實(shí)例中，構(gòu)圖表具有可生成從車(chē)輛上方的假設(shè)視點(diǎn)向下看去的車(chē)輛周?chē)暮铣蓤D象的構(gòu)成。這樣的構(gòu)圖表如后述的那樣，可利用把路面為平面作為前提的幾何變換作成。或也可以一邊觀察合成圖象一邊進(jìn)行修正地作成。
在實(shí)際設(shè)定時(shí)，可通過(guò)利用構(gòu)圖表，把合成圖象與攝象機(jī)圖象的象素?cái)?shù)據(jù)的對(duì)應(yīng)關(guān)系根據(jù)用途自由地設(shè)定。例如，可把攝象機(jī)圖象的任意區(qū)域放大或縮小合成在攝象機(jī)圖象的一部分中，或并排地合成多幅攝象機(jī)圖象等生成任意的合成圖象。
并且，由于無(wú)論是何種生成合成圖象的構(gòu)圖表，圖象處理部2都只需執(zhí)行參照構(gòu)圖數(shù)據(jù)、參照被指定的攝象機(jī)圖象的象素?cái)?shù)據(jù)、設(shè)定合成圖象的各個(gè)象素值的步驟即可完成對(duì)合成圖象的各個(gè)象素值的設(shè)定，所以，其處理量比起通過(guò)逐次的運(yùn)算進(jìn)行圖象合成的場(chǎng)合要小的多。因此，由于本方式的處理量與合成圖象的種類(lèi)無(wú)關(guān)保持不變，并且能夠進(jìn)行高速處理，所以尤其適用于要求實(shí)時(shí)地在一定時(shí)間內(nèi)完成處理的監(jiān)視或駕駛輔助等的用途。
(合成圖象生成動(dòng)作的實(shí)施例1)圖7表示一例本實(shí)施例的監(jiān)視系統(tǒng)的構(gòu)成。圖7所示的圖象處理部2具有圖象合成部200、顯示模式記憶部210及顯示模式設(shè)定部220。顯示模式記憶部210具有記憶如上所述的多個(gè)構(gòu)圖表的構(gòu)圖表記憶部211。顯示模式設(shè)定部220從記憶在構(gòu)圖表記憶部211中的構(gòu)圖表中對(duì)應(yīng)生成的合成圖象的顯示模式選擇出1個(gè)構(gòu)圖表MPT，把其設(shè)定在圖象合成部200的構(gòu)圖表參照部202中。
另外，顯示模式記憶部210具有記憶有各種插象的插圖記憶部212。顯示模式設(shè)定部220從插象記憶部212中讀出生成合成圖象所必要的插象，把其設(shè)定在圖象合成部200的插圖參照部203中。在這里設(shè)定表示自己車(chē)輛的插象。
圖象合成部200根據(jù)設(shè)定在構(gòu)圖表參照部202中的構(gòu)圖表MPT，使用從拍攝部1輸出的攝象機(jī)圖象來(lái)生成合成圖象。時(shí)序生成部205生成為了生成合成圖象動(dòng)畫(huà)系列的時(shí)序信號(hào)。
在各個(gè)攝象機(jī)101中設(shè)有一對(duì)楨存儲(chǔ)器102a、102b。在這里使用CCD感光器件的攝象機(jī)。在使用CMOS器件的攝象機(jī)的情況下，由于可使攝象機(jī)具備楨存儲(chǔ)器的機(jī)能，所以可省去楨存儲(chǔ)器。
圖8是表示在生成1楨的合成圖象時(shí)的圖象合成部200的動(dòng)作的流程圖。
首先，對(duì)應(yīng)從時(shí)序生成部205輸出的開(kāi)始合成一楨圖象的時(shí)序信號(hào)，拍攝部1執(zhí)行在寫(xiě)入有各個(gè)攝象機(jī)101拍攝的圖象的楨存儲(chǔ)器102a與可被圖象合成部200參照的楨存儲(chǔ)器102b之間的轉(zhuǎn)換(步驟S11)。在這里之所以對(duì)各個(gè)攝象機(jī)101要設(shè)置2個(gè)楨存儲(chǔ)器進(jìn)行數(shù)據(jù)轉(zhuǎn)換，是由于如后面所述的那樣，圖象合成部200要對(duì)應(yīng)構(gòu)圖表MPT對(duì)攝象機(jī)圖象的象素?cái)?shù)據(jù)進(jìn)行跳躍式地參照，與攝象機(jī)101的寫(xiě)入順序無(wú)關(guān)，為了防止寫(xiě)入與參照相互發(fā)生干擾。
然后，時(shí)序生成部205生成把進(jìn)行合成處理的象素指定在構(gòu)圖表參照部202中的時(shí)序信號(hào)(步驟S12)。構(gòu)圖表參照部202從構(gòu)圖表MPT中讀出對(duì)應(yīng)被指定的象素的構(gòu)圖數(shù)據(jù)，輸出到象素合成部201(步驟S13)。
象素合成部201對(duì)應(yīng)輸入的構(gòu)圖數(shù)據(jù)的內(nèi)容，使用存儲(chǔ)在楨存儲(chǔ)器102中的各個(gè)攝象機(jī)圖象的象素?cái)?shù)據(jù)，或存儲(chǔ)在插圖參照部203中的插象的象素?cái)?shù)據(jù)，生成被指定的合成圖象的象素值，輸出到映象信號(hào)生成部204(步驟S14)。這個(gè)步驟S14的處理將在后面進(jìn)行詳細(xì)說(shuō)明。
映象信號(hào)生成部204對(duì)應(yīng)從時(shí)序生成部205所輸出的時(shí)序信號(hào)，將輸入的合成圖象的象素值轉(zhuǎn)換成映象信號(hào)，輸出到顯示部3(步驟S15)。
圖象合成部200對(duì)一楨的所有象素執(zhí)行步驟S12～S15的處理(步驟S16，S17)。時(shí)序生成部205在執(zhí)行完一楨的最后象素的處理后，開(kāi)始執(zhí)行下一楨的處理。
另外，也可以以半幀為單位執(zhí)行同樣的處理。
圖9表示一例構(gòu)圖表的構(gòu)成。圖9所示的構(gòu)圖表具有MP11～MP14的4種構(gòu)圖數(shù)據(jù)。雖然各個(gè)構(gòu)圖數(shù)據(jù)的構(gòu)成與圖6所示的構(gòu)圖數(shù)據(jù)基本相同，但在攝象機(jī)編號(hào)及X，Y坐標(biāo)的基礎(chǔ)上增加了該象素值的必要度的記述。在這里，“必要度”用從0到1的值來(lái)表示，值越大表示該象素的必要度越高。
構(gòu)圖數(shù)據(jù)MP11記述了合成圖象的象素與1個(gè)攝象機(jī)圖象的象素?cái)?shù)據(jù)的對(duì)應(yīng)關(guān)系。在此情況下，必要度為“1”。而構(gòu)圖數(shù)據(jù)MP12記述了合成圖象的象素與多個(gè)攝象機(jī)圖象的象素?cái)?shù)據(jù)的對(duì)應(yīng)關(guān)系。在此情況下，是在對(duì)攝象機(jī)圖象的象素?cái)?shù)據(jù)進(jìn)行對(duì)應(yīng)該必要度的疊加之后生成合成圖象的象素值。
構(gòu)圖數(shù)據(jù)MP13用于在合成圖象的象素上附著插入圖象的象素?cái)?shù)據(jù)。即，為了能夠識(shí)別存儲(chǔ)在插圖參照部203中的插象，將不與任何實(shí)際攝象機(jī)對(duì)應(yīng)的編號(hào)(在這里用“99”)作為攝象機(jī)編號(hào)分配給插圖參照部203。
構(gòu)圖數(shù)據(jù)MP14表示合成圖象的象素位于所說(shuō)的死角區(qū)域。即，在生成構(gòu)圖表時(shí)，為了生成合成圖象而對(duì)參照的攝象機(jī)圖象的象素的坐標(biāo)值進(jìn)行計(jì)算的計(jì)算結(jié)果表示該坐標(biāo)值的象素，例如正當(dāng)拍攝車(chē)輛本身的場(chǎng)合，該合成圖象的象素正好位于車(chē)輛區(qū)域與死角區(qū)域重合的區(qū)域。從這個(gè)區(qū)域中除去車(chē)輛區(qū)域的區(qū)域既是死角區(qū)域。所以，例如通過(guò)賦予實(shí)際不存在的攝象機(jī)編號(hào)和X，Y坐標(biāo)值來(lái)表示位于死角區(qū)域。在這里用“-1”表示實(shí)際不存在的攝象機(jī)編號(hào)。
圖10是表示象素合成步驟S14的具體處理過(guò)程的流程圖。
首先，把將要合成的象素值初始化為“0”(步驟S21)。
然后，從對(duì)應(yīng)將要合成的象素的構(gòu)圖數(shù)據(jù)中讀出攝象機(jī)編號(hào)、X，Y坐標(biāo)及必要度(步驟S22)。
在步驟S22中，當(dāng)讀出的攝象機(jī)編號(hào)是表示插象的編號(hào)“99”時(shí)(即構(gòu)圖數(shù)據(jù)MP13)，進(jìn)入步驟S24，讀出存儲(chǔ)在插圖參照部203中的插象中的指定X，Y坐標(biāo)的象素?cái)?shù)據(jù)并保持。然后進(jìn)入步驟S28。另一方面，當(dāng)攝象機(jī)編號(hào)不是“99”時(shí)，進(jìn)入步驟S25。
在步驟S25中，當(dāng)讀出的攝象機(jī)編號(hào)是表示死角區(qū)域的識(shí)別編號(hào)“-1”時(shí)(即構(gòu)圖數(shù)據(jù)MP14)，進(jìn)入步驟S26，保持表示預(yù)先設(shè)定的死角區(qū)域的象素?cái)?shù)據(jù)。然后進(jìn)入步驟S28。當(dāng)攝象機(jī)編號(hào)不是“-1”時(shí)，進(jìn)入步驟S27。
在步驟S27中，當(dāng)攝象機(jī)編號(hào)是“99”“-1”以外的編號(hào)時(shí)，即，被判斷為既不是附著插象的區(qū)域也不是死角區(qū)域時(shí)，這個(gè)攝象機(jī)編號(hào)為實(shí)際的攝象機(jī)編號(hào)，從存儲(chǔ)在與該攝象機(jī)編號(hào)對(duì)應(yīng)的楨存儲(chǔ)器102中的攝象機(jī)圖象中讀出指定X、Y坐標(biāo)的象素?cái)?shù)據(jù)并保持。
在步驟S28中，對(duì)保持的圖象數(shù)據(jù)進(jìn)行對(duì)應(yīng)該必要度的疊加，并加上合成圖象的象素值。對(duì)于在構(gòu)圖數(shù)據(jù)中所記述的所有的攝象機(jī)編號(hào)，重復(fù)進(jìn)行步驟S22～S28的處理(步驟S29、S30)。當(dāng)完成對(duì)所有攝象機(jī)編號(hào)的處理后，把將要合成的象素值輸出到象素合成部201(步驟S31)。
例如，在圖9所示的構(gòu)圖數(shù)據(jù)MP12的場(chǎng)合，可通過(guò)下面的公式求出合成圖象的象素值。
合成圖象的象素值＝(在攝象機(jī)2的坐標(biāo)(10、10)上的象素值×0.3+在攝象機(jī)3的坐標(biāo)(56、80)上的象素值×0.5)/(0.3+0.5)除以必要度之和(0.3+0.5)是為了使象素值標(biāo)準(zhǔn)化。
通過(guò)以上的動(dòng)作可容易地生成混合有多幅攝象機(jī)圖象的合成圖象和包含插象的合成圖象。而且，通過(guò)把攝象機(jī)圖象與插象對(duì)應(yīng)必要度進(jìn)行疊加，可生成在實(shí)際圖象上半透明地顯示插象的合成圖象?；蛲ㄟ^(guò)把攝象機(jī)圖象以外的多個(gè)象素?cái)?shù)據(jù)對(duì)應(yīng)必要度進(jìn)行疊加，也可生成半透明地顯示多幅插象的合成圖象。
而且，作為插象，除了自己車(chē)輛的插圖和圖象，也可以增加例如象刻度或標(biāo)識(shí)那樣的在畫(huà)面上具有固定形狀的插象。
另外，這里所說(shuō)明的構(gòu)成是分別把用于參照插象的攝象機(jī)編號(hào)設(shè)定為“99”，把表示死角區(qū)域的攝象機(jī)編號(hào)設(shè)定為“-1”，不過(guò)只要把表示死角區(qū)域的圖象存儲(chǔ)在插圖參照部203中，在參照插象時(shí)和在表示死角區(qū)域時(shí)可以使用相同的攝象機(jī)編號(hào)“99”。在這種場(chǎng)合下，例如可把表示車(chē)輛的插象和表示死角區(qū)域的圖象組合，事先存儲(chǔ)在插圖參照部203中。
另外，顯示模式設(shè)定部220對(duì)應(yīng)顯示模式的指定來(lái)變更顯示模式時(shí)，只要從構(gòu)圖表記憶部211中讀出對(duì)應(yīng)新的顯示模式的構(gòu)圖表，把其設(shè)定在構(gòu)圖表參照部202中即可。或，也可以把多個(gè)構(gòu)圖表進(jìn)行合成，生成新的構(gòu)圖表。
另外，在這里所說(shuō)明的構(gòu)圖數(shù)據(jù)中，如圖9所示的MP13那樣，記述有為了表示插象的插圖參照部203的X、Y坐標(biāo)值，也可以把插象的象素?cái)?shù)據(jù)本身記述在構(gòu)圖表中。
圖11表示在這個(gè)場(chǎng)合下的一例構(gòu)圖數(shù)據(jù)。圖11的構(gòu)圖數(shù)據(jù)MP15當(dāng)攝象機(jī)編號(hào)為“99”時(shí)，也就是表示插象時(shí)，在記憶X坐標(biāo)、Y坐標(biāo)的區(qū)域內(nèi)，記憶插象的象素?cái)?shù)據(jù)本身的紅(R)、綠(G)、藍(lán)(B)的值。
例如，當(dāng)分別用16位數(shù)字來(lái)記述X坐標(biāo)、Y坐標(biāo)時(shí)，該區(qū)域的數(shù)字位數(shù)為32位。另一方面，由于當(dāng)以8位的R、G、B各色來(lái)記述插象的象素?cái)?shù)據(jù)時(shí)，全部只有24位，所以在該前部的8位中賦予“0”，形成32位的數(shù)據(jù)，記憶在坐標(biāo)區(qū)域中。在這個(gè)場(chǎng)合下，在圖10的步驟S24中，取代參照插圖參照部203，而是把記述在構(gòu)圖數(shù)據(jù)MP15中的R、G、B值讀出，將其保持。
在這個(gè)場(chǎng)合下，構(gòu)圖表與插象形成一體，從而不需要了插圖參照部203。而且，由于不需要從構(gòu)圖數(shù)據(jù)中先讀出X、Y坐標(biāo)值再讀出對(duì)應(yīng)的插象的象素?cái)?shù)據(jù)，而是從構(gòu)圖數(shù)據(jù)中直接讀出R、G、B值，減少了處理程序中的1個(gè)步驟。
另外，在顯示自己車(chē)輛的插象等的場(chǎng)合，其必要度通常多設(shè)置為1.0，如圖11的例所示，不過(guò)也可以通過(guò)把插象的必要度設(shè)置成小于1.0的值，使其與其他的攝象機(jī)圖象合成，在合成的圖象上顯示半透明的刻度和標(biāo)識(shí)。
(基本的合成圖象例)構(gòu)圖表大體上可分成單獨(dú)構(gòu)圖和復(fù)合構(gòu)圖地種方式?！皢为?dú)構(gòu)圖”是利用規(guī)定的空間模式(在后面進(jìn)行詳細(xì)說(shuō)明)根據(jù)象素水平將攝象機(jī)圖象與假設(shè)視點(diǎn)圖象對(duì)應(yīng)疊加。關(guān)于“復(fù)合構(gòu)圖”將在后面進(jìn)行說(shuō)明。
圖象處理部2的顯示模式?jīng)Q定于設(shè)置在圖象合成部200中的構(gòu)圖表。這個(gè)顯示模式可通過(guò)手動(dòng)或自動(dòng)地進(jìn)行切換。
以下說(shuō)明典型的單獨(dú)構(gòu)圖和使用單獨(dú)構(gòu)圖合成圖象的實(shí)例。
—垂直俯視(圖12～圖14)使用路面平面模式的空間模式。假設(shè)視點(diǎn)的位置在自己車(chē)輛的上方，視線朝向正下方。其特點(diǎn)是對(duì)距離感一目了然，主要適用于?？寇?chē)輛(直角、縱列)等。圖12表示使用了8臺(tái)攝象機(jī)，圖13表示使用了4臺(tái)攝象機(jī)，圖14表示使用了2臺(tái)攝象機(jī)。
—斜俯視(圖15)使用路面平面模式的空間模式。假設(shè)視點(diǎn)的位置在自己車(chē)輛的上方，視線朝向斜后方。通過(guò)調(diào)整視線的角度可自由變換視野。這個(gè)模式對(duì)從自己車(chē)輛后方看去的正確位置關(guān)系一目了然。主要適用于作為正常行駛時(shí)的后視監(jiān)視器，或在開(kāi)始停靠車(chē)輛時(shí)的低速后退時(shí)對(duì)后部環(huán)境的觀察確認(rèn)。也可以在低速行駛時(shí)對(duì)應(yīng)速度來(lái)切換視野和方向。
—全景(圖16～圖17)使用圓筒模式的空間模式。圖16表示前方全景模式，假設(shè)視點(diǎn)的位置在自己車(chē)輛的前端，視線朝向正前方。在這個(gè)模式下，由于可觀察到行駛方向的前方的情況，所以適用于作為觀察視角的監(jiān)視器。即，在從窄的道路駛?cè)雽挼牡缆窌r(shí)，通過(guò)這個(gè)模式可對(duì)寬的道路的情況一目了然。
圖17表示后方全景模式。假設(shè)視點(diǎn)的位置在自己車(chē)輛的后端部，視線朝向正后方。在這個(gè)模式下，可一目了然地觀察到從自己車(chē)輛后部看去的180度全景。主要適用于作為在行駛時(shí)(特別是在高速行駛時(shí))的后視監(jiān)視器。
—斜俯視+全景(圖18)使用路面平面模式和圓筒模式作為空間模式。即，如圖18所示，對(duì)自己車(chē)輛后方的附近以使用路面平面模式的斜俯視模式顯示，對(duì)自己車(chē)輛后方的遠(yuǎn)處以使用圓筒模式的全景模式顯示。因而這個(gè)模式同時(shí)適用于斜俯視模式和全景模式所適用的用途。
(顯示的自動(dòng)切換)本監(jiān)視系統(tǒng)通過(guò)對(duì)應(yīng)各種的路況適當(dāng)?shù)厍袚Q至此所舉例說(shuō)明的構(gòu)圖表，可輔助駕駛者進(jìn)行更為安全舒適的駕駛。而且，即便是在1個(gè)駕駛操作中，對(duì)應(yīng)隨之逐漸變化的自己車(chē)輛周?chē)臓顩r進(jìn)行構(gòu)圖表的切換，對(duì)于駕駛者來(lái)說(shuō)也是不可缺少的機(jī)能。
即，通過(guò)對(duì)應(yīng)車(chē)輛的行駛狀態(tài)變更合成圖象的假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的至少一項(xiàng)，可提高駕駛者的便利性。
圖19表示對(duì)應(yīng)車(chē)輛的行駛狀態(tài)，變更合成圖象的假設(shè)視點(diǎn)高度的一個(gè)實(shí)例。圖19(a)～(f)所示的各個(gè)圖象依從上到下的順序表示假設(shè)視點(diǎn)的高度徐徐上升，包含車(chē)輛的顯示區(qū)域也隨之增大。即，通過(guò)降低假設(shè)視點(diǎn)的高度來(lái)實(shí)現(xiàn)近景拍攝，通過(guò)增高假設(shè)視點(diǎn)的高度來(lái)實(shí)現(xiàn)遠(yuǎn)景拍攝。另外，即使在改變了假設(shè)視點(diǎn)的焦點(diǎn)距離的場(chǎng)合，也可以使合成圖象發(fā)生與圖19相同的變化。
作為假設(shè)視點(diǎn)高度的切換條件首先考慮車(chē)輛的行駛速度。例如，可以隨著車(chē)輛的行駛速度的上升，增高假設(shè)視點(diǎn)的高度使其顯示寬的區(qū)域，隨著速度的下降，降低假設(shè)視點(diǎn)的高度使其顯示窄的區(qū)域。或者，對(duì)于具有測(cè)定自己車(chē)輛與障礙物的距離的物體檢測(cè)傳感器的車(chē)輛，也可以使用該物體檢測(cè)傳感器的輸出信號(hào)作為進(jìn)行切換的條件。例如，隨著與被檢測(cè)出的障礙物的距離越來(lái)越近，降低假設(shè)視點(diǎn)來(lái)顯示小的區(qū)域，隨著距離越來(lái)越遠(yuǎn)提高假設(shè)視點(diǎn)來(lái)顯示大的區(qū)域。另外，也可以設(shè)置切換開(kāi)關(guān)，由駕駛者或其他乘員通過(guò)開(kāi)關(guān)來(lái)進(jìn)行放大、縮小的指定。
圖20表示對(duì)應(yīng)車(chē)輛的行駛狀態(tài)，改變合成圖象的假設(shè)視點(diǎn)的視線的實(shí)例。圖20(a)～(d)所示的各個(gè)圖象按照從上到下的順序表示假設(shè)視點(diǎn)的視線方向從斜后方逐漸地變化為垂直下方。而且，與視線的朝向一同，生成合成圖象的模式也發(fā)生變化。即，視線的朝向越是傾斜，模擬圓筒模式的合成圖象的區(qū)域越大可容易看到更遠(yuǎn)的地方。
圖20也可以說(shuō)是在改變假設(shè)視點(diǎn)的視線朝向的同時(shí)，進(jìn)行將變更后的假設(shè)視點(diǎn)的視野范圍外的圖象收入到顯示圖象中的控制。即，通過(guò)利用模擬圓筒模式把假設(shè)視點(diǎn)外的圖象收入到合成圖象中。并且，對(duì)應(yīng)車(chē)輛的行駛狀態(tài)，控制是否收入假設(shè)視點(diǎn)的視野范圍外的圖象、該尺寸以及該拍攝范圍。
作為假設(shè)視點(diǎn)的視線朝向的切換條件，與切換假設(shè)視點(diǎn)高度的場(chǎng)合相同，是根據(jù)車(chē)輛的行駛速度或是通過(guò)鍵輸入等。例如，可以在車(chē)輛低速行駛時(shí)，先使視線朝向正下方，隨著車(chē)速的提高，使視線朝向傾斜，顯示車(chē)輛的后方。
圖21表示對(duì)應(yīng)車(chē)輛的轉(zhuǎn)向角改變合成圖象的假設(shè)視點(diǎn)的視線朝向的實(shí)例。圖21的例是對(duì)應(yīng)轉(zhuǎn)向角使假設(shè)視點(diǎn)圍繞光軸進(jìn)行轉(zhuǎn)動(dòng)。(a)表示向正后方倒車(chē)時(shí)的合成圖象。由于這時(shí)的車(chē)輛向正后方移動(dòng)，為了便于觀察后方的區(qū)域，設(shè)定假設(shè)視點(diǎn)使合成圖象中的自己車(chē)輛朝向正前方，且車(chē)輛左右的區(qū)域相等。另一方面，(b)表示左打方向盤(pán)倒車(chē)時(shí)的合成圖象。由于這時(shí)的車(chē)輛向左后方移動(dòng)，所以圍繞光軸轉(zhuǎn)動(dòng)假設(shè)視點(diǎn)來(lái)觀察這時(shí)的車(chē)輛的移動(dòng)區(qū)域，也就是自己車(chē)輛的右側(cè)、右后方以及后方。以此來(lái)提高安全性。
圖22表示對(duì)應(yīng)物體檢測(cè)傳感器的輸出信號(hào)切換圖象的實(shí)例。圖中的(a)表示物體檢測(cè)傳感器在檢測(cè)出接近自己車(chē)輛的障礙物之前的畫(huà)面。當(dāng)物體檢測(cè)傳感器檢測(cè)出與自己車(chē)輛接近的其他車(chē)輛時(shí)，該畫(huà)面被切換為如圖22(b)所示的畫(huà)面。即，顯示可判斷出與被檢測(cè)出的障礙物的距離的擴(kuò)大圖象。
這樣，當(dāng)物體檢測(cè)傳感器檢測(cè)出障礙物時(shí)，通過(guò)對(duì)應(yīng)與障礙物的距離間斷或連續(xù)地進(jìn)行圖象的放大/縮小/轉(zhuǎn)動(dòng)等的顯示，可提醒乘員對(duì)障礙物的注意。另外，也可以對(duì)應(yīng)障礙物的位置改變假設(shè)視點(diǎn)的位置。
另外，也可以如圖23所示的那樣，在擴(kuò)大顯示障礙物的區(qū)域的同時(shí)，對(duì)該區(qū)域加上邊框?；蚴惯吙蝾l閃顯示、或反轉(zhuǎn)框內(nèi)的顏色。這樣，可更確實(shí)地提醒乘員的注意。當(dāng)然，不擴(kuò)大圖象而只顯示邊框，也可以提醒乘員的注意。而且，也可以改變畫(huà)面顯示的同時(shí)，發(fā)出警告音來(lái)告知障礙物的存在。
圖24表示其他一例對(duì)應(yīng)物體檢測(cè)傳感器的檢測(cè)結(jié)果的圖象切換。圖24表示當(dāng)檢測(cè)到在車(chē)輛后方的障礙物時(shí)，改變假設(shè)視點(diǎn)的視線朝向從直下方到稍微朝向后方。這樣可更容易地觀察到車(chē)輛后方的障礙物。另外，也可以把假設(shè)視點(diǎn)平移，使被檢測(cè)到的障礙物進(jìn)入合成圖象的中心。
另外，圖19～圖24是以假設(shè)視點(diǎn)位于車(chē)輛上方的合成圖象為例進(jìn)行的說(shuō)明，在假設(shè)視點(diǎn)在其他位置的場(chǎng)合，也可以通過(guò)對(duì)應(yīng)車(chē)輛的行駛狀態(tài)，改變假設(shè)視點(diǎn)的位置、視線朝向以及焦點(diǎn)距離中的至少1項(xiàng)來(lái)提高駕駛者的便利性。假設(shè)視點(diǎn)的其他位置可以是后背箱的位置或駕駛者頭部的位置等。
另外，圖20表示在改變假設(shè)視點(diǎn)的視線朝向的同時(shí)，收入該視野范圍之外的圖象，也可以在改變假設(shè)視點(diǎn)的位置或焦點(diǎn)的同時(shí)，控制其視野范圍之外的圖象。另外，不用模式，也可以收入假設(shè)視點(diǎn)的視野范圍之外的圖象。并且，也可以不改變假設(shè)視點(diǎn)，對(duì)應(yīng)車(chē)輛的行駛狀態(tài)來(lái)進(jìn)行假設(shè)視點(diǎn)的視野范圍之外的圖象的收入。
(生成合成圖象動(dòng)作的第2例)通過(guò)適當(dāng)?shù)馗淖兯褂玫臉?gòu)圖表，可容易地實(shí)現(xiàn)顯示圖象的切換。然而，在這個(gè)場(chǎng)合下，為了連續(xù)地記性顯示圖象的切換，則必須事先準(zhǔn)備多個(gè)構(gòu)圖表。因此，在裝置中必須設(shè)置具有大記憶容量的記憶部，不理想。
在這里，預(yù)先設(shè)置好大于合成圖象的原構(gòu)圖表，利用從這個(gè)原構(gòu)圖表中提取出的構(gòu)圖表進(jìn)行合成圖象的生成。在這個(gè)場(chǎng)合下，通過(guò)適當(dāng)?shù)馗淖兲崛〕龅臉?gòu)圖表，可容易地實(shí)現(xiàn)顯示圖象的連續(xù)切換。
圖25表示本實(shí)施例的監(jiān)視系統(tǒng)的構(gòu)成。與圖7所示的構(gòu)成之不同點(diǎn)是構(gòu)圖區(qū)域設(shè)定部302根據(jù)從時(shí)序生成部205輸出的合成圖象的象素坐標(biāo)和由顯示模式設(shè)定部220A所設(shè)定的構(gòu)圖表的區(qū)域指定信息，來(lái)生成對(duì)應(yīng)的構(gòu)圖表的主要內(nèi)容，再把其輸出到構(gòu)圖表參照部202。記憶在具有顯示模式記憶部210A的原構(gòu)圖表記憶部301中的原構(gòu)圖表通過(guò)顯示模式設(shè)定部220A被設(shè)定在構(gòu)圖表參照部202中。
即，在上述的第1例中，在圖8所示的步驟S13中，對(duì)應(yīng)由時(shí)序生成部205設(shè)定的當(dāng)前應(yīng)輸出的合成圖象的象素，讀出在與這個(gè)象素同意位置的構(gòu)圖數(shù)據(jù)，而在本實(shí)例中，在設(shè)定了使用的構(gòu)圖表區(qū)域之后，從原構(gòu)圖表中讀出與合成圖象的象素對(duì)應(yīng)的構(gòu)圖數(shù)據(jù)。
下面，對(duì)本例的構(gòu)圖數(shù)據(jù)的讀出方法進(jìn)行說(shuō)明。圖26及圖27表示本例的合成圖象與原構(gòu)圖表的關(guān)系。圖26的例是把從原構(gòu)圖表提取出的區(qū)域尺寸鎖定為與合成圖象的尺寸相同，通過(guò)改變坐標(biāo)值來(lái)實(shí)現(xiàn)合成圖象的平移。圖27的例是通過(guò)改變讀出原構(gòu)圖表的提取區(qū)域的尺寸及主要內(nèi)容的步驟來(lái)實(shí)現(xiàn)合成圖象的放大、縮小。
首先，參照?qǐng)D26對(duì)平移合成圖象的場(chǎng)合進(jìn)行說(shuō)明。圖26(a)所示的合成圖象的尺寸為寬W-DISP、高H-DISP，圖26(b)所示的原構(gòu)圖表的尺寸為寬W-MAP、高H-MAP的尺寸。在這里，原構(gòu)圖表可認(rèn)為是用于作成從車(chē)輛上方的假設(shè)視點(diǎn)俯視的車(chē)輛周?chē)蠓秶膱D象。在上述的第1實(shí)例中，當(dāng)焦點(diǎn)距離固定時(shí)，可以認(rèn)為在假設(shè)視點(diǎn)與投影面的距離不變的情況下，投影面的尺寸從(W-DISP，H-DISP)擴(kuò)大到投影面的尺寸(W-MAP，H-MAP)，并可由此構(gòu)成原構(gòu)圖表。由于投影面的擴(kuò)大，在原構(gòu)圖表中包含了關(guān)于更大范圍的區(qū)域的信息。圖26(d)表示把這樣的構(gòu)圖表的各個(gè)主要內(nèi)容轉(zhuǎn)換成對(duì)應(yīng)攝象機(jī)圖象及插象的圖象。
然后，顯示模式設(shè)定部220A根據(jù)以原點(diǎn)(0、0)為基準(zhǔn)的坐標(biāo)(off-x，off-y)指定在原構(gòu)圖表上的作為生成合成圖象的構(gòu)圖表所使用的區(qū)域。以點(diǎn)(off-x，off-y)為起點(diǎn)，尺寸為(W-DISP，H-DISP)的區(qū)域MPT，則成為合成圖象所使用的構(gòu)圖表。從構(gòu)圖表參照部202讀出在通過(guò)光柵掃描所獲得的合成圖象的象素的X、Y坐標(biāo)與這個(gè)偏置坐標(biāo)(off-x，off-y)相加后的位置上的構(gòu)圖數(shù)據(jù)，輸入到象素合成部201。象素的合成處理與第1例相同按照?qǐng)D10的流程圖進(jìn)行。圖26(c)表示使用圖26(b)所示的構(gòu)圖表MPT合成的合成圖象。
當(dāng)加上偏置坐標(biāo)的坐標(biāo)超出原構(gòu)圖表的范圍時(shí)，通知象素合成部201，對(duì)超出范圍的區(qū)域用預(yù)設(shè)的顏色(例如黑色)等的象素值進(jìn)行填充等來(lái)保證該區(qū)域的正確顯示。
依照本實(shí)施例，從車(chē)輛上方垂直俯視路面地設(shè)置假設(shè)視點(diǎn)，在使用路面平面模式的場(chǎng)合，可在不增加構(gòu)圖表的情況下生成在與路面平行地移動(dòng)假設(shè)視點(diǎn)時(shí)的合成圖象。即，在上述的第1例中，必須要有分別對(duì)應(yīng)平移后的各個(gè)假設(shè)視點(diǎn)的構(gòu)圖表，而本例則只需要1個(gè)原構(gòu)圖表即可。例如在為了平滑地進(jìn)行視點(diǎn)移動(dòng)一個(gè)象素一個(gè)象素地移動(dòng)假設(shè)視點(diǎn)的場(chǎng)合，上述的第1例必須要有對(duì)應(yīng)全部移動(dòng)步驟的多個(gè)構(gòu)圖表，而本例則只需在1個(gè)大范圍的原構(gòu)圖表中改變構(gòu)圖表的提取開(kāi)始位置(off x，offy)便可實(shí)現(xiàn)移動(dòng)。而且本例例如在通過(guò)轉(zhuǎn)動(dòng)方向盤(pán)來(lái)改變假設(shè)視點(diǎn)的位置、或與障礙物檢測(cè)傳感器輸出的大小成比例地向障礙物的方向改變假設(shè)視點(diǎn)的位置時(shí)，由于可細(xì)微地改變假設(shè)視點(diǎn)的位置，所以可容易地生成與具體狀況相應(yīng)的合成圖象。
本例由于在以細(xì)微的步驟平行移動(dòng)假設(shè)視點(diǎn)時(shí)不需要使用多個(gè)構(gòu)圖表，所以，對(duì)于記憶構(gòu)圖表的存儲(chǔ)器只要具有可記憶1個(gè)原構(gòu)圖表的容量即可。而且，相對(duì)于第1例在進(jìn)行構(gòu)圖表的切換和設(shè)定時(shí)需要時(shí)間，而本例只需要設(shè)定偏置坐標(biāo)即可，所以可實(shí)現(xiàn)高速化的處理。
下面，參照?qǐng)D27對(duì)使用同樣的方法進(jìn)行合成圖象的放大、縮小的處理進(jìn)行說(shuō)明。
在圖27中，時(shí)序生成部205指定了(a)所示的合成圖象的象素P1的坐標(biāo)(x，y)。顯示模式設(shè)定部220A指定區(qū)域的開(kāi)始位置(off x，offy)和主要內(nèi)容的讀出步驟(step-x，step-y)。這時(shí)，如果把對(duì)應(yīng)象素P1的構(gòu)圖數(shù)據(jù)MD的坐標(biāo)設(shè)定為(u，v)，則坐標(biāo)(u，v)可通過(guò)下面的公式求出。
u＝step-x*x+off-xv＝step-y*y+off-y通過(guò)改變讀出步驟(step x，step y)的值可逐漸地放大、縮小合成圖象。當(dāng)從原構(gòu)圖表提取出的構(gòu)圖表的區(qū)域?qū)?yīng)讀出步驟(step x，step y)的變化變化為MPT1、MPT2、MPT3、MPT4時(shí)，合成圖象發(fā)生象(d)、(e)、(f)、(g)那樣的變化。
當(dāng)坐標(biāo)(u，v)超出原構(gòu)圖表的范圍時(shí)，與上述的平行移動(dòng)的情況相同，輸出指定的顏色等。而且，讀出步驟(step-x，step-y)的值也可以使用整數(shù)以外的值，這時(shí)，把計(jì)算結(jié)果的(u，v)的值轉(zhuǎn)換成整數(shù)值。
依照本例所述的放大、縮小，在從車(chē)輛上方垂直向下地設(shè)置假設(shè)視點(diǎn)，使用路面平面模式的場(chǎng)合下，通過(guò)改變假設(shè)視點(diǎn)的高度或焦點(diǎn)距離可生成與放大、縮小視野范圍的場(chǎng)合相同的合成圖象。
例如，在對(duì)應(yīng)駕駛者等的指令或傳感器的輸出，放大顯示原圖象中的一部分時(shí)，不是突然一下子顯示放大的圖象，而是使用本例的方法顯示逐漸放大的圖象，從而，可容易地把握該放大圖象在原圖象中的所在位置。
并且，通過(guò)在與改變讀出步驟的同時(shí)改變偏置坐標(biāo)值，可在放大、縮小合成圖象的同時(shí)實(shí)現(xiàn)圖象的平行移動(dòng)。
另外，在一般的情況下，沒(méi)有必要把構(gòu)圖表的區(qū)域限定為矩形。也可以由顯示模式設(shè)定部220A指定出構(gòu)圖表的四邊形的4個(gè)頂點(diǎn)的坐標(biāo)。
圖28表示用4點(diǎn)n1、n2、n3、n4指定出呈凸形四邊形的構(gòu)圖表區(qū)域。這時(shí)，可通過(guò)如下的步驟求出對(duì)應(yīng)合成圖象的坐標(biāo)(x，y)象素P1的構(gòu)圖數(shù)據(jù)MD的坐標(biāo)(u，v)。
首先，求出將連接頂點(diǎn)n1、n2的直線分成(y/H-DISP1-y/H-DISP)的點(diǎn)na的坐標(biāo)。同樣，求出將連接頂點(diǎn)n3、n4的直線分成(y/H-DISP1-y/H-DISP)的點(diǎn)nb的坐標(biāo)。然后只要再求出將連接點(diǎn)na、nb的直線分成(x/W-DISP1-y/W-DISP)的點(diǎn)的坐標(biāo)，則該坐標(biāo)便是對(duì)應(yīng)的構(gòu)圖數(shù)據(jù)MD的坐標(biāo)(u，v)。
進(jìn)行這樣的指定，可實(shí)現(xiàn)對(duì)包括平行移動(dòng)、放大、縮小、旋轉(zhuǎn)的任意構(gòu)圖表的區(qū)域指定。
另外，依照本方式，在使用路面平面模式，假設(shè)視點(diǎn)為從上方垂直朝向路面的場(chǎng)合下，可生成與象假設(shè)視點(diǎn)的平移、視野范圍的放大和縮小或與路面平行地轉(zhuǎn)向那樣的假設(shè)視點(diǎn)的變化保持正確一致的合成圖象。但在模式或假設(shè)視點(diǎn)的朝向不同的情況下，雖然不是不可能生成與假設(shè)視點(diǎn)的變化保持正確一致的合成圖象，但是即使在這種場(chǎng)合，也可以生成接近于假設(shè)視點(diǎn)的變化的合成圖象，所以說(shuō)，是一種非常有效的方式。
(顯示多種類(lèi)的圖象)通過(guò)把多種類(lèi)的合成圖象同時(shí)顯示在一個(gè)畫(huà)面上，或把合成圖象和攝象機(jī)圖象同時(shí)顯示在一個(gè)畫(huà)面上，可提高對(duì)駕駛者的便利性。例如，通過(guò)同時(shí)顯示自己車(chē)輛的近處和遠(yuǎn)處，或同時(shí)顯示不同方向的圖象，或同時(shí)顯示自己車(chē)輛全體和放大的自己車(chē)輛的局部，可使駕駛者不用進(jìn)行畫(huà)面顯示的切換邊可了解到車(chē)輛周?chē)臓顩r。
通過(guò)使用復(fù)合構(gòu)圖表可容易地實(shí)現(xiàn)這樣的多種類(lèi)的圖象顯示。所謂“復(fù)合構(gòu)圖表”是指把單獨(dú)構(gòu)圖表的必要部分提出，進(jìn)行適當(dāng)?shù)淖冃胃街M合，或者在單獨(dú)構(gòu)圖表上附著組合攝象機(jī)圖象的構(gòu)圖表。利用復(fù)合構(gòu)圖表可容易地實(shí)現(xiàn)下面將要說(shuō)明的圖象顯示，對(duì)于除此之外的圖象顯示，可通過(guò)進(jìn)行單獨(dú)構(gòu)圖表之間的組合或單獨(dú)構(gòu)圖表與攝象機(jī)圖象的組合，來(lái)制作出對(duì)應(yīng)各種駕駛情況的復(fù)合構(gòu)圖表。
在這里，以作為從設(shè)置在車(chē)輛上方的假設(shè)視點(diǎn)看去的表示自己車(chē)輛及其周?chē)慕巿D象的包括使用路面平面模式的俯視圖象和表示位于這個(gè)俯視圖象所示的自己車(chē)輛周?chē)鷧^(qū)域遠(yuǎn)處的區(qū)域的遠(yuǎn)方圖象的圖象為例，進(jìn)行說(shuō)明。圖29表示以在這里的說(shuō)明為前提的攝象機(jī)圖象。
圖30表示在作為第1圖象的俯視圖象的左右位置附著作為第2圖象的拍攝斜后方的攝象機(jī)圖象的示例。在這個(gè)例中，可以認(rèn)為第2圖象的視點(diǎn)與第1圖象的假設(shè)視點(diǎn)、位置、視線的朝向及焦點(diǎn)距離不同。在圖30的圖象中，在俯視圖象的右側(cè)，左右反轉(zhuǎn)地配置拍攝右斜后方風(fēng)景的攝象機(jī)2的圖象，在俯視圖象的左側(cè)，左右反轉(zhuǎn)地配置拍攝左斜后方風(fēng)景的攝象機(jī)6的圖象。即，設(shè)置在左右反光鏡附近的攝象機(jī)2、6的圖象，如從實(shí)際的反光鏡看去的那樣被左右反轉(zhuǎn)地配置。這樣，使駕駛者可以與看反光鏡的感覺(jué)一樣，直觀地了解車(chē)輛周?chē)臓顩r。當(dāng)然也可以不進(jìn)行左右反轉(zhuǎn)地顯示。
圖31表示并排顯示作為表示狹小范圍的第1圖象的俯視圖象和作為表示寬范圍的第2圖象的俯視圖象的一個(gè)示例。在這個(gè)例中，第2圖象的假設(shè)視點(diǎn)與第1圖象的假設(shè)視點(diǎn)、高度或焦點(diǎn)距離不同。通過(guò)圖31的圖象可一目了然地了解自己車(chē)輛近處的細(xì)節(jié)和大范圍內(nèi)的全體狀況。
圖32表示在作為第1圖象的俯視圖象的周?chē)?，附著作為?圖象的向上下左右的斜的方向看去的俯視圖象的示例。在這個(gè)例中，第2圖象的假設(shè)視點(diǎn)與第1圖象的假設(shè)視點(diǎn)和視線的朝向不同。圖33表示在作為第1圖象的俯視圖象的周?chē)街鳛榈?圖象的使用模擬圓筒模式的如同透過(guò)魚(yú)眼透鏡看去的圖象的示例。在這個(gè)例中，第2圖象與第1圖象在顯示模式上不同。圖34表示在第1圖象的俯視圖象的周?chē)街鳛榈?圖象的前后左右的全景圖象的示例。在這個(gè)例中，第2圖象與第1圖象在假設(shè)視點(diǎn)的位置及模式上不同。通過(guò)觀察圖32～圖34的圖象，可保持自己車(chē)輛近旁的距離感，并且可如同眺望地環(huán)顧到自己車(chē)輛周?chē)倪h(yuǎn)方。
另外，沒(méi)有必要在俯視圖象的前后左右全部附著遠(yuǎn)方的圖象，可以只顯示想要觀察的方向上的圖象，例如只顯示右側(cè)、后方的遠(yuǎn)方圖象。
另外，如圖35所示，在俯視圖象周?chē)那昂笞笥腋街备┮晥D象的場(chǎng)合，也可以在顯示區(qū)域的四角設(shè)置空白部，來(lái)強(qiáng)調(diào)斜俯視圖象不具有連續(xù)性。
并且，在顯示如圖32～圖35那樣的圖象時(shí)，也可以通過(guò)對(duì)周?chē)倪h(yuǎn)方圖象進(jìn)行濾鏡處理，來(lái)進(jìn)行模糊顯示。這樣，可使駕駛者把注視區(qū)域集中在自己車(chē)輛的周?chē)?。而且，可使周?chē)倪h(yuǎn)方圖象的變形不明顯。
這樣的部分模糊處理在使用單獨(dú)構(gòu)圖表的圖象顯示時(shí)也是有效。例如，在如圖5所示的俯視圖象的場(chǎng)合，通過(guò)對(duì)自己車(chē)輛及附近不進(jìn)行模糊處理，而對(duì)含有其他車(chē)輛的周?chē)鷧^(qū)域進(jìn)行模糊處理，也可以獲得同樣的效果。在停靠車(chē)輛時(shí)等的場(chǎng)合下，把不進(jìn)行模糊處理的區(qū)域設(shè)定為從自己車(chē)輛的10m以?xún)?nèi)的區(qū)域最為適合。而且，也可以隨著離自己車(chē)輛距離的增加，增加模糊的強(qiáng)度。
另外，圖31所示的圖象也可以說(shuō)是包含自己車(chē)輛、表示自己車(chē)輛周?chē)牡?圖象和至少把這個(gè)第1圖象所表示的區(qū)域中的一部分放大的第2圖象的合成圖象。當(dāng)然，第1圖象也可以不是表示自己車(chē)輛的全體，而是只表示自己車(chē)輛的一部分或自己車(chē)輛周?chē)囊徊糠帧?br> 另外，也可以把顯示圖象分成多窗口，在副窗口中顯示上述那樣的合成圖象、或攝象機(jī)圖象、表示假設(shè)視點(diǎn)位置的圖象以及文字等。這樣，可更容易地把握自己車(chē)輛周?chē)臓顩r，更利于駕駛者的操作。
可以有各種各樣的多畫(huà)面的顯示方法。例如，也可以如圖3b所示的那樣，在副窗口中把表示假設(shè)視點(diǎn)位置的圖象與攝象機(jī)圖象和合成圖象一同顯示。這樣可容易地把握假設(shè)視點(diǎn)的位置。
而且，例如也可以在物體檢測(cè)傳感器檢測(cè)到障礙物時(shí)，在各副窗口的攝象機(jī)圖象或合成圖象上顯示表示該障礙物的位置的警告標(biāo)志，同時(shí)在其他副窗口中通過(guò)文字來(lái)表示該障礙物的位置。
(死角區(qū)域及自己車(chē)輛區(qū)域的顯示)(顯示之一)圖37表示攝象機(jī)圖象以及作為表示該攝象機(jī)圖象中的映入自己車(chē)輛的區(qū)域的區(qū)域數(shù)據(jù)的掩蔽數(shù)據(jù)的示例。如圖37所示，對(duì)各個(gè)攝象機(jī)圖象中的映入自己車(chē)輛的部分進(jìn)行識(shí)別，把表示被識(shí)別出的車(chē)輛區(qū)域的掩蔽數(shù)據(jù)預(yù)先記憶在圖象處理部2中。圖37所示的掩蔽數(shù)據(jù)中的黑色部分既是車(chē)輛的映入?yún)^(qū)域。車(chē)輛的映入?yún)^(qū)域既可以根據(jù)攝象機(jī)的參數(shù)和朝向以及自己車(chē)輛的形狀來(lái)確定，也可以預(yù)先根據(jù)自己的意愿設(shè)定。
圖38(a)表示使用圖37的攝象機(jī)圖象合成的垂直俯視圖象。圖38(a)所示的合成圖象在圖象的中央部的白色區(qū)域表示自己車(chē)輛的映入?yún)^(qū)域，但多少不太直觀。
所以，把各個(gè)攝象機(jī)圖象的掩蔽數(shù)據(jù)轉(zhuǎn)換成從假設(shè)視點(diǎn)看去的圖象，用其填充在合成圖象中車(chē)輛的映入?yún)^(qū)域。結(jié)果可得到如圖38(b)所示的圖象，使直觀性得到了改善。
另外，圖38(a)由于在圖象的中央部映入自己車(chē)輛，不僅不直觀，而且搞不清自己車(chē)輛的實(shí)際位置，給駕駛者造成困難。因此，在自己車(chē)輛的實(shí)際存在位置上疊加自己車(chē)輛的插象或?qū)嶋H圖象。例如，在圖象處理部2中預(yù)置以標(biāo)準(zhǔn)的假設(shè)視點(diǎn)的視角作為前提的自己車(chē)輛的插象或?qū)嶋H圖象，把該圖象轉(zhuǎn)換成從顯示的合成圖象的假設(shè)視點(diǎn)看去的圖象，然后疊加到其中。其結(jié)果可得到如圖38(c)所示的圖象，從而可對(duì)相對(duì)周?chē)奈矬w自己車(chē)輛的大小和相對(duì)的位置關(guān)系一目了然。通過(guò)使用上述的構(gòu)圖表可容易地實(shí)現(xiàn)自己車(chē)輛圖象的轉(zhuǎn)換。
這時(shí)，作為標(biāo)準(zhǔn)的假設(shè)視點(diǎn)例如可以使用設(shè)置在自己車(chē)輛上方的假設(shè)視點(diǎn)、或位于側(cè)面的假設(shè)視點(diǎn)、或設(shè)置在自己車(chē)輛前方或后方的假設(shè)視點(diǎn)。另外，也可以設(shè)置多個(gè)標(biāo)準(zhǔn)假設(shè)視點(diǎn)，準(zhǔn)備分別對(duì)應(yīng)多個(gè)假設(shè)視點(diǎn)的圖象。而且，也可以當(dāng)確定了生成合成圖象的假設(shè)視點(diǎn)的位置后，根據(jù)該假設(shè)視點(diǎn)與各個(gè)標(biāo)準(zhǔn)假設(shè)視點(diǎn)的位置關(guān)系，在進(jìn)行圖象轉(zhuǎn)換時(shí)，選擇圖象的扭曲程度最小的標(biāo)準(zhǔn)假設(shè)視點(diǎn)。
另外，也可以取代附著自己車(chē)輛的插圖或?qū)嶋H圖象，把使用在CAD/CAM或CG技術(shù)領(lǐng)域中廣為人知的平面模型或?qū)嶓w模型的自己車(chē)輛的3維模型附著在合成圖象上。在這個(gè)場(chǎng)合下，可以先預(yù)置好表示從標(biāo)準(zhǔn)假設(shè)視點(diǎn)看去的3維模型的圖象，把這個(gè)圖象轉(zhuǎn)換成從顯示合成圖象的假設(shè)視點(diǎn)看去的圖象，并可進(jìn)行疊加。通過(guò)使用上述的構(gòu)圖表可容易地實(shí)現(xiàn)這個(gè)轉(zhuǎn)換。
并且，也可以直接使用由攝象機(jī)圖象生成的合成圖象作為表示自己車(chē)輛實(shí)際存在的區(qū)域的圖象。另外，也可以只把自己車(chē)輛的一部分，例如保險(xiǎn)杠用合成圖象顯示，在其他部分附著插圖或?qū)嶋H圖象。
(顯示之2)在從假設(shè)視點(diǎn)看去的合成圖象中，有時(shí)包含不屬于任何攝象機(jī)拍攝范圍的區(qū)域。另外，由于自己車(chē)輛的遮擋，有時(shí)還包含各個(gè)攝象機(jī)拍攝不到的區(qū)域。
為了解決這個(gè)問(wèn)題，上述的(顯示之1)是通過(guò)在車(chē)輛的映入?yún)^(qū)域填充規(guī)定的象素?cái)?shù)據(jù)，來(lái)使合成圖象更為直觀。
在這里，如圖39所示，當(dāng)把映入自己車(chē)輛的圖象直接轉(zhuǎn)換成假設(shè)視點(diǎn)的圖象后，形成轉(zhuǎn)換后的自己車(chē)輛的圖象被包含在合成圖象之中，不容易分辨(A1)。這時(shí)可通過(guò)對(duì)自己車(chē)輛的映入?yún)^(qū)域進(jìn)行填充來(lái)改善圖象的可觀性。
然而，在假設(shè)視點(diǎn)圖象中，自己車(chē)輛本來(lái)不存在的部分上映入了自己車(chē)輛的一部分(A2)。在這種情況下，如果對(duì)假設(shè)視點(diǎn)圖象的自己車(chē)輛的部分進(jìn)行填充，則削去了本來(lái)應(yīng)看到的部分，所以這樣不好。產(chǎn)生這個(gè)問(wèn)題的原因是因?yàn)樵诎言瓟z象機(jī)圖象轉(zhuǎn)換成假設(shè)視點(diǎn)圖象時(shí)所使用的空間模型與攝象機(jī)所拍攝的實(shí)際空間不同(基本被單純化)。所以，為了從原理上解決這個(gè)問(wèn)題，必須對(duì)實(shí)際空間的縱深信息進(jìn)行實(shí)時(shí)的計(jì)算，則必須要有具備非常高速運(yùn)算能力的運(yùn)算裝置。因此，這種方法不易于實(shí)施。
因此，這個(gè)問(wèn)題可通過(guò)下述的方法來(lái)解決。
即，參照對(duì)應(yīng)原攝象機(jī)圖象的掩蔽數(shù)據(jù)來(lái)判斷在車(chē)輛的映入?yún)^(qū)域中是否包含合成圖象的象素，對(duì)應(yīng)包含在車(chē)輛的映入?yún)^(qū)域中的場(chǎng)合和不包含的場(chǎng)合對(duì)這個(gè)象素的生成進(jìn)行切換。也就是，不是把掩蔽數(shù)據(jù)轉(zhuǎn)換成假設(shè)視點(diǎn)圖象，而是直接以原攝象機(jī)圖象的形態(tài)使用掩蔽數(shù)據(jù)。
圖40表示掩蔽數(shù)據(jù)的一個(gè)示例。如圖40所示，對(duì)應(yīng)各個(gè)攝象機(jī)圖象設(shè)置表示在進(jìn)行自己車(chē)輛的映入部分等的假設(shè)視點(diǎn)圖象的合成時(shí)不使用的區(qū)域的掩蔽數(shù)據(jù)。
在這個(gè)場(chǎng)合下，也可以例如，在參照生成合成圖象的攝象機(jī)圖象的象素?cái)?shù)據(jù)時(shí)，同時(shí)參照對(duì)應(yīng)這個(gè)攝象機(jī)圖象的掩蔽數(shù)據(jù)，在車(chē)輛的映入?yún)^(qū)域內(nèi)包含該圖象時(shí)，不進(jìn)行象素的生成，進(jìn)行用表示死角區(qū)域的顏色進(jìn)行填充的處理。
另外，也可以象上述的構(gòu)圖數(shù)據(jù)MP14那樣，使構(gòu)圖表本身具有表示合成圖象的象素是否包含在死角區(qū)域中的信息。在這個(gè)場(chǎng)合下，在進(jìn)行假設(shè)視點(diǎn)圖象合成時(shí)，不需要參照每一楨的掩蔽數(shù)據(jù)，可實(shí)現(xiàn)高速的處理。而且，還具有不需要設(shè)置存儲(chǔ)掩蔽數(shù)據(jù)的記憶部的優(yōu)點(diǎn)。
圖41表示圖象合成的結(jié)果的一個(gè)示例。在圖41所示的合成圖象中，表示有存在自己車(chē)輛的車(chē)輛區(qū)域和自己車(chē)輛周?chē)乃澜菂^(qū)域。通過(guò)表示車(chē)輛區(qū)域，使駕駛者容易掌握自己車(chē)輛與周?chē)鸂顩r的位置關(guān)系和距離等。而且，可以通過(guò)合成圖象觀察到從駕駛席難以看到的區(qū)域，并且通過(guò)表示死角區(qū)域，可以使駕駛者了解到任何攝象機(jī)都拍攝不到的區(qū)域，提高了安全性。
另外，也可以不表示存在自己車(chē)輛的全部車(chē)輛區(qū)域，而只表示車(chē)輛區(qū)域的一部分。例如，在攝象機(jī)的設(shè)置臺(tái)數(shù)有限，只能拍攝到車(chē)輛及其周?chē)徊糠值那闆r下，只表示被拍攝的車(chē)輛區(qū)域的一部分及其周?chē)乃澜菂^(qū)域。或在把車(chē)輛周?chē)奶囟ú糠址糯箫@示時(shí)，只顯示所顯示的車(chē)輛區(qū)域的一部分及其周?chē)乃澜菂^(qū)域。
另外，也可以取代死角區(qū)域，顯示提醒車(chē)輛的乘員等注意的注意提醒區(qū)域。這個(gè)注意提醒區(qū)域即可以是包含任意攝象機(jī)拍攝不到的車(chē)輛周?chē)乃澜菂^(qū)域的區(qū)域，也可以是相當(dāng)于死角區(qū)域的區(qū)域。而且，注意提醒區(qū)域也可以是表示車(chē)輛周?chē)徊糠值膮^(qū)域。
由于注意提醒區(qū)域能夠與攝象機(jī)的攝影范圍無(wú)關(guān)地只根據(jù)與車(chē)輛區(qū)域的位置關(guān)系預(yù)先設(shè)定，所以，只需簡(jiǎn)單的處理便可合成。而且，在注意提醒區(qū)域中包含死角區(qū)域時(shí)，有可能把不是死角區(qū)域的由攝象機(jī)所拍攝的部分也作為注意提醒區(qū)域被隱藏起來(lái)，這時(shí)，也可以例如把注意提醒區(qū)域半透明地顯示，與死角區(qū)域一同顯示。
圖42表示在使用掩蔽數(shù)據(jù)求出死角區(qū)域，附著插象時(shí)的生成構(gòu)圖數(shù)據(jù)的步驟順序。在圖42中，(PT1)是根據(jù)1個(gè)攝象機(jī)圖象生成的合成圖象的象素；(PT2)雖然是參照2個(gè)攝象機(jī)圖象，但為了映入車(chē)輛除去其中1個(gè)攝象機(jī)圖象，是根據(jù)剩下的1個(gè)攝象機(jī)圖象生成的合成圖象的象素；(PT3)是參照1個(gè)攝象機(jī)圖象，但為了映入車(chē)輛除去該攝象機(jī)圖象的合成圖象的象素，(PT4)是參照1個(gè)攝象機(jī)圖象，但為了映入車(chē)輛除去該攝象機(jī)圖象并且附著有車(chē)輛的插象的合成圖象的象素。
首先，在步驟1中，計(jì)算參照坐標(biāo)及必要度。對(duì)合成圖象的象素計(jì)算出在全部攝象機(jī)圖象中的參照坐標(biāo)。通過(guò)后述的幾何運(yùn)算來(lái)進(jìn)行這個(gè)參照坐標(biāo)的計(jì)算。這時(shí)，當(dāng)求出的參照坐標(biāo)是在攝象機(jī)圖象的拍攝范圍之外(即，死角)時(shí)，把坐標(biāo)值記述為(-1，-1)。而且，在這里求出所參照的攝象機(jī)的臺(tái)數(shù)，將其倒數(shù)作為必要度的值。必要度的賦值方法可以是人工輸入的方法，也可以是其他的方法。在這個(gè)步驟1中，可以了解到(PT1)參照的是攝象機(jī)6，(PT2)參照的是攝象機(jī)4、5，(PT3)參照的是攝象機(jī)6，(PT4)參照的是攝象機(jī)2。
然后，在步驟2中，參照表示車(chē)輛的映入?yún)^(qū)域的掩蔽數(shù)據(jù)進(jìn)行死角的處理。對(duì)于對(duì)應(yīng)坐標(biāo)值為(-1，-1)以外的攝象機(jī)的掩蔽數(shù)據(jù)判斷該坐標(biāo)值所示的點(diǎn)是否屬于車(chē)輛的映入?yún)^(qū)域。如果屬于車(chē)輛的映入?yún)^(qū)域，則把該坐標(biāo)值轉(zhuǎn)換成(-1，-1)。在通過(guò)這個(gè)轉(zhuǎn)換，減少了參照攝象機(jī)臺(tái)數(shù)時(shí)，重新計(jì)算必要度的值。
如圖43(d)所示，由于(PT1)在攝象機(jī)6的掩蔽數(shù)據(jù)中的坐標(biāo)為(450，200)，不屬于車(chē)輛的映入?yún)^(qū)域，所以，不進(jìn)行坐標(biāo)值的轉(zhuǎn)換。如圖43(b)所示，由于(PT2)在攝象機(jī)4的掩蔽數(shù)據(jù)中的坐標(biāo)為(150，280)，屬于車(chē)輛的映入?yún)^(qū)域，所以，把攝象機(jī)4的坐標(biāo)值轉(zhuǎn)換成(-1，-1)。如圖43(d)所示，由于(PT3)在攝象機(jī)6的掩蔽數(shù)據(jù)中的坐標(biāo)為(110，250)，屬于車(chē)輛的映入?yún)^(qū)域，所以，把攝象機(jī)6的坐標(biāo)值轉(zhuǎn)換成(-1，-1)。由于(PT4)在攝象機(jī)2的掩蔽數(shù)據(jù)中的坐標(biāo)為(600，290)，屬于車(chē)輛的映入?yún)^(qū)域，所以，把攝象機(jī)4的坐標(biāo)值轉(zhuǎn)換成(-1，-1)。
然后，在步驟3中，為了最大限度地簡(jiǎn)化圖象合成所必要的數(shù)據(jù)，對(duì)冗長(zhǎng)的數(shù)據(jù)進(jìn)行整理。首先，把坐標(biāo)值為(-1，-1)的攝象機(jī)編號(hào)全部改變成“-1”。并且在全部的攝象機(jī)編號(hào)都為“-1”時(shí)，把這些數(shù)據(jù)合并為1個(gè)數(shù)據(jù)[(PT3)，(PT4)]。而且在存在“-1”以外的攝象機(jī)編號(hào)時(shí)，除去攝象機(jī)編號(hào)為“-1”的數(shù)據(jù)[(PT1)，(PT2)]。
然后，在步驟4中，進(jìn)行自己車(chē)輛的插象的附著。對(duì)于附著自己車(chē)輛的插象的合成圖象的象素，把構(gòu)圖數(shù)據(jù)的攝象機(jī)編號(hào)轉(zhuǎn)換成“99”，設(shè)定插象的參照坐標(biāo)。在這里，由于(PT4)是附著插象的象素，所以把攝象機(jī)編號(hào)轉(zhuǎn)換為“99”，同時(shí)，把坐標(biāo)值轉(zhuǎn)換為插象的參照坐標(biāo)值(360，44)。
圖44(a)為在步驟1結(jié)束時(shí)使用了構(gòu)圖數(shù)據(jù)時(shí)的合成圖象的示例。圖44(b)為在步驟3結(jié)束時(shí)使用了構(gòu)圖數(shù)據(jù)的合成圖象的示例。圖44(c)為在步驟4結(jié)束時(shí)使用了構(gòu)圖數(shù)據(jù)的合成圖象的示例。
圖45為表示不用構(gòu)圖數(shù)據(jù)，生成在指定注意提醒區(qū)域時(shí)的構(gòu)圖數(shù)據(jù)的順序圖。在圖45中，(PT5為從1個(gè)攝象機(jī)圖象所生成的合成圖象的象素，(PT6)為在注意提醒區(qū)域被指定的合成圖象的象素，(PT7)雖然被指定在注意提醒區(qū)域，但是為附貼車(chē)輛的插象的合成圖象的象素。
首先，在步驟1’中，進(jìn)行生成初始構(gòu)圖表。這是通過(guò)在圖42所示的步驟1及步驟3的處理進(jìn)行的。
然后，在步驟2’中，進(jìn)行注意提醒區(qū)域的指定。使用在步驟1’所生成的初始構(gòu)圖表作成合成圖象，并在該合成圖象中指定注意提醒區(qū)域。
然后，在步驟3’中，進(jìn)行在注意提醒區(qū)域的構(gòu)圖表的改寫(xiě)。把在步驟2’所指定的注意提醒區(qū)域的構(gòu)圖表變換成攝象機(jī)號(hào)“-1”、坐標(biāo)(-1，-1)。然后，當(dāng)所參照的攝象機(jī)的臺(tái)數(shù)減少時(shí)，再次計(jì)算必要度的值。
然后，在步驟4’中，進(jìn)行自己車(chē)輛的插象的裝貼。這里，(PT7)為裝貼插象的象素，所以把攝象機(jī)號(hào)變換成“99”，同時(shí)把坐標(biāo)值變換成插象的參照坐標(biāo)值(360，44)。
圖46(a)表示在步驟1結(jié)束時(shí)使用了構(gòu)圖數(shù)據(jù)的合成圖象的示例。圖46(b)表示在步驟3結(jié)束時(shí)使用了構(gòu)圖數(shù)據(jù)的合成圖象的示例。圖46(c)表示在步驟4結(jié)束時(shí)使用了構(gòu)圖數(shù)據(jù)的合成圖象的示例。
這樣，可容易地進(jìn)行在合成圖象上重疊顯示自己車(chē)輛的圖象，或用特定的顏色填充死角區(qū)域和注意提醒區(qū)域那樣的處理。并且，在設(shè)定注意提醒區(qū)域時(shí)，通過(guò)合成預(yù)先確定好的注意提醒區(qū)域而不用參照對(duì)應(yīng)攝象機(jī)的掩蔽數(shù)據(jù)，可更容易地生成合成圖象。另一方面，在設(shè)定死角區(qū)域時(shí)，通過(guò)參照對(duì)應(yīng)攝象機(jī)的掩蔽數(shù)據(jù)可以把攝象機(jī)所拍攝的車(chē)輛周?chē)臓顩r完整地反映在合成圖象上。
另外，以上的說(shuō)明是針對(duì)把本發(fā)明的監(jiān)視系統(tǒng)和圖象處理裝置應(yīng)用在車(chē)輛上的情況，但同樣也可適用于車(chē)輛以外的移動(dòng)體，例如飛機(jī)和船舶等。而且，也可以把攝象機(jī)設(shè)置在移動(dòng)體以外的監(jiān)視對(duì)象，例如商店、住所、展廳等。
而且，對(duì)于多臺(tái)攝象機(jī)的設(shè)置位置和臺(tái)數(shù)不限于在這里所述的位置和數(shù)量。
而且，也可以使用專(zhuān)用的硬件或軟件來(lái)實(shí)現(xiàn)全部或一部分本發(fā)明的圖象處理裝置的機(jī)能。而且，也可以利用存儲(chǔ)有使計(jì)算機(jī)執(zhí)行本發(fā)明的圖象處理裝置的全部或一部分機(jī)能的程序的記錄媒體和傳送媒體。
(幾何轉(zhuǎn)換)為了作成用于合成圖象的構(gòu)圖表，必須要確定與從假設(shè)視點(diǎn)看去的合成圖象的各個(gè)象素對(duì)應(yīng)的各個(gè)攝象機(jī)圖象的象素坐標(biāo)。
因此，首先，為了便于理解，可分為2步，第1步先求出與從假設(shè)視點(diǎn)看去的合成圖象的各個(gè)象素對(duì)應(yīng)的空間坐標(biāo)系(Xw、Yw、Zw)，在第2步求出與該空間坐標(biāo)系的3維坐標(biāo)對(duì)應(yīng)的攝象機(jī)圖象的象素坐標(biāo)。
最終的必要關(guān)系是假設(shè)視點(diǎn)的合成圖象的各個(gè)象素與各個(gè)攝象機(jī)的象素之間的關(guān)系，不限定在經(jīng)由這個(gè)空間坐標(biāo)系的構(gòu)圖表之內(nèi)。但是，經(jīng)由這個(gè)空間坐標(biāo)系的構(gòu)圖表為了明確地表示其是基于合成圖象時(shí)的立體坐標(biāo)系的空間坐標(biāo)系的構(gòu)圖表，其重要的一點(diǎn)是，可生成易于把周?chē)臓顩r與實(shí)際的距離、位置關(guān)系相對(duì)應(yīng)的合成圖象。
作為表示假設(shè)視點(diǎn)的位置和朝向的參數(shù)，如果用設(shè)定視點(diǎn)的空間坐標(biāo)系下的坐標(biāo)為位置矢量Tv＝(Txv、Tyv、Tzv)、表示旋轉(zhuǎn)視線的朝向、視平面坐標(biāo)系使其與空間坐標(biāo)系的方向形成一致的3行3列的旋轉(zhuǎn)行列式Rv來(lái)表示，則合成圖象的視點(diǎn)坐標(biāo)(Vxe、Vye、Vze)的對(duì)應(yīng)空間坐標(biāo)(Xw、Yw、Zw)可通過(guò)式(1)求出。XwYwZw=RvVxeVyeVze+Tv]]>式中，Rv=rv11rv12rv13rv21rv22rv23rv31rv32rv33,Tv=TxvTyvTzv...(1)]]>圖47是說(shuō)明視點(diǎn)坐標(biāo)系與空間坐標(biāo)系之間關(guān)系的示意圖。如圖48所示，如果設(shè)定假設(shè)視點(diǎn)的朝向?yàn)?，其視線相對(duì)于空間坐標(biāo)系Y-Z平面的水平旋轉(zhuǎn)角度(方位角)為αv，相對(duì)于X-Z平面的傾角(仰角)為βv，以攝象機(jī)光軸為軸的旋轉(zhuǎn)(Twist)為γv，則旋轉(zhuǎn)行列式Rv是，Rv=cosαv0-sinαv010sinαv0cosαv1000cosβv-sinβv0sinβvcosβvcosγvsinγv0-sinγvcosγv0001...(2)]]>另外，對(duì)于假設(shè)視點(diǎn)的視點(diǎn)坐標(biāo)系(Vxe、Vte、Vze)的Vxe、Vye與投影面上的2維坐標(biāo)Uv、Vv的關(guān)系，使用透視投影轉(zhuǎn)換的焦點(diǎn)距離fv，用如下的關(guān)系式(3)表示。uv=fvVZeVxe]]>vv=fvVZeyye...(3)]]>對(duì)于焦點(diǎn)距離的單位，雖然可把投影面作為底片或CCD，用對(duì)應(yīng)其尺寸的mm或英寸來(lái)表示，或?qū)?yīng)合成圖象的尺寸用象素來(lái)表示，但在此，是把投影面設(shè)定為以投影中心作為中心的寬2、高2的標(biāo)準(zhǔn)化的畫(huà)面，來(lái)考慮對(duì)其的焦點(diǎn)距離。
所以，對(duì)于投影面上的坐標(biāo)與合成圖象的象素的關(guān)系，如果設(shè)定與在圖象的右上(Sv、Tv)位置的象素對(duì)應(yīng)的投影面上的坐標(biāo)(Uv、Vv)把圖象的橫幅為Wv象素，縱幅為Hv象素，則可通過(guò)式4求出。
Uv＝2Sv/Wv-1Vv＝2Tv/Hv-1…(4)如上所述，與合成圖象的任意象素(Sv、Tv)對(duì)應(yīng)的空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)可通過(guò)式(1)～(4)求出，攝象機(jī)的位置Txv、Tyv、Tzv，攝象機(jī)的朝向αv、βv、γv、可通過(guò)參照焦點(diǎn)距離fv的下面的式(5)求出。xwywxw=RvVzefvuvVzefvvvVze+Tv=(2Sv-Wvfv·Wvrv11+2Tv-Hvfv·Hvrv12+rv13)Vze+Txv(2Sv-Wvfv·Wvrv21+2Tv-Hyfv·Hvrv22+rv13)Vze+Tyv(2Sv-Wvfv·Wvrv31+2Tv-Hvfv·Hvrv32+rv33)Vze+Tzv...(5)]]>但是，在式(5)中，未確定與合成圖象的坐標(biāo)(Sv、Tv)對(duì)應(yīng)的縱深Vze。也就是說(shuō)，還必須確定各個(gè)象素至合成圖象中的被攝對(duì)象物的縱深值。
盡管只要知道從假設(shè)視點(diǎn)看到的對(duì)象物的3維形狀，就可得出各個(gè)象素的縱深值，但在一般的情況下是困難的。因此，是通過(guò)對(duì)應(yīng)從假設(shè)視點(diǎn)看到的對(duì)象物的形狀設(shè)定若干個(gè)模型，來(lái)求出上述的Vze，進(jìn)而求出合成圖象的坐標(biāo)與空間坐標(biāo)系的3維坐標(biāo)之間的關(guān)系。
-路面平面模式-作為其中的一例，對(duì)把對(duì)象物限定在車(chē)輛接觸的路面平面的情況進(jìn)行說(shuō)明。
假定所有的對(duì)象物全都在空間坐標(biāo)系的平面(路面)上，則空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)滿(mǎn)足以下的平面方程式。
所以，將式(6)代入式(5)，Vze可通過(guò)下式求出。
axw+byw+czw+d＝0…(6)所以，通過(guò)把式(7)代入式(5)，可從假設(shè)視點(diǎn)的合成圖象的象素坐標(biāo)(Sv、Tv)求出對(duì)應(yīng)的空間坐標(biāo)系的平面的3維坐標(biāo)(Xw、Yw、Zw)。Vze=-fvaTxv+bTyv+cTxv+daQ1+bQ2+cQ3]]>式中，Q1=rv112S1-WvWv+rv122Tv-HvHv+rv13fv]]>Q2=rv212Sv-WvWv+rv222Tv-HvHv+rv23fv]]>Q3=rv312Sv-WvWv+rv322Tv-HvHv+rv33fv...(7)]]>可通過(guò)在與式(1)同樣的關(guān)系式中代入與各個(gè)攝象機(jī)的位置、朝向?qū)?yīng)的Tx、Ty、Tz、α、β、γ的參數(shù)，進(jìn)行計(jì)算來(lái)求出與這個(gè)空間坐標(biāo)系中的3維坐標(biāo)(Xw、Yw、Zw)對(duì)應(yīng)的各個(gè)攝象機(jī)圖象的各個(gè)象素的坐標(biāo)。
例如，假設(shè)攝象機(jī)1的位置為T(mén)x1、Ty1、Tz1，朝向?yàn)棣?、β1、γ1，則對(duì)應(yīng)合成圖象的象素(Sv、Tv)的攝象機(jī)1的攝象機(jī)坐標(biāo)系Xe1、Ye1、Ze1，可通過(guò)下面的式(8)求出。Xe1Ye1Xe1=R1-1(XwYwZw-Tx1Ty1Tz1)]]>式中，R1-1=cosγ1-sinγ10sinγ1cosγ100011000cosβ1sinβ10-sinβ1cosβ1cosα10sinα1010-sinα10cosα1...(8)]]>這個(gè)攝象機(jī)坐標(biāo)系與攝象機(jī)圖象的坐標(biāo)系(U1、V1)之間的關(guān)系可通過(guò)把攝象機(jī)1的焦點(diǎn)距離作為f1，由式9計(jì)算出來(lái)。
U1＝f1/Ze1×Xe1V1＝f1/Ze1×Ye1…(9)
對(duì)于對(duì)應(yīng)的攝象機(jī)圖象的象素如果考慮把攝象機(jī)圖象的尺寸設(shè)定為縱H1象素、橫W1象素，設(shè)定縮圖比為1∶1，攝象機(jī)的中心為圖象的中心，則可通過(guò)下面的式(10)計(jì)算出來(lái)。
S1＝W1/2×(Uv+1)T1＝H1/2×(Vv+1)…(10)通過(guò)以上的計(jì)算便求出了與假設(shè)視點(diǎn)圖象的象素對(duì)應(yīng)的攝象機(jī)1的圖象象素(S1、T1)。對(duì)于攝象機(jī)1以外的一般攝象機(jī)n也可以同樣地計(jì)算出對(duì)應(yīng)(Sv、Tv)的象素坐標(biāo)(Sn、Tn)。在實(shí)際中是根據(jù)(Sn、Tn)是否在實(shí)際的攝象機(jī)圖象的范圍之內(nèi)、象素的放大、縮小率是否大等的各種的條件，從中選擇出最合適的1個(gè)或多個(gè)，將其攝象機(jī)編號(hào)n和該坐標(biāo)(Sn、Tn)寫(xiě)入?yún)?shù)表中。
—圓筒模式—在上述的路面平面模式下，攝象機(jī)圖象所反映的從水平線向上拍攝的物體，即使把路面平面無(wú)限地延長(zhǎng)，也不會(huì)落到路面平面上，所以不能通過(guò)假設(shè)視點(diǎn)去觀察。
為了把這些物體反映在從假設(shè)視點(diǎn)看去的合成圖象中，對(duì)于對(duì)象的3維形狀可考慮使用如圖49所示的圓筒模式。這個(gè)模式適合在假設(shè)視點(diǎn)的朝向與路面基本平行的情況等。
為了簡(jiǎn)化說(shuō)明，如果只考慮其軸在X軸、Z軸上的圓筒模式。設(shè)定橢圓圓筒的中心為(Xc、Zc)使用橢圓的參數(shù)(a、c)，該模式可由下面的式(11)表示。另外，對(duì)于軸在X軸、Y軸以外的模式也可通過(guò)旋轉(zhuǎn)XZ平面來(lái)容易地進(jìn)行擴(kuò)展。(Xw-Xc)2a2+(Zw-Zc)2c2=1...(11)]]>通過(guò)利用式(11)從式(5)中消去Vze，可求出與假設(shè)視點(diǎn)的合成圖象的坐標(biāo)(Sv、Tv)對(duì)應(yīng)的空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)。通過(guò)用與上述路面平面模式同樣的方法，根據(jù)這個(gè)坐標(biāo)計(jì)算出各個(gè)攝象機(jī)圖象的對(duì)應(yīng)象素，來(lái)求出假設(shè)視點(diǎn)圖象的象素(Sv、Tv)與攝象機(jī)圖象的象素(Sn、Tn)的關(guān)系，作成構(gòu)圖表。
而且，也可以把路面平面模式與圓筒模式進(jìn)行組合。先求出基于路面平面模式的空間坐標(biāo)系的3維坐標(biāo)，在該3維坐標(biāo)位于圓筒模式的內(nèi)側(cè)，或具有與平面的交點(diǎn)的情況下，然后求出基于圓筒模式的3維坐標(biāo)。這樣，可實(shí)現(xiàn)通過(guò)復(fù)合路面平面模式和圓筒模式的圖象合成?！M圓筒模式—為了易于把握路面平面模式周?chē)h(yuǎn)方的狀況，導(dǎo)入周?chē)纬赏霠畹哪M圓筒模式。模式的形狀如圖50所示。合成的圖象把遠(yuǎn)方的部分壓縮在假設(shè)視點(diǎn)圖象的周?chē)?，可顯示更廣的范圍。這個(gè)模擬圓筒的形狀用式(12)表示。(Xw-Xc)2a2+(Yw-Yc)2b2+(Zw-Zc)2c2=1...(12)]]>碗的中心為(Xc、Yc、Zc)，具有在X軸、Y軸、Z軸方向上的(a、b、c)的長(zhǎng)度。與上述圓筒模式同樣，通過(guò)式(12)及式(5)計(jì)算出與從假設(shè)視點(diǎn)看去的合成圖象的坐標(biāo)對(duì)應(yīng)的空間坐標(biāo)系的3維坐標(biāo)(Xw、Yw、Zw)，可求出合成圖象的各個(gè)象素與各個(gè)攝象機(jī)圖象的象素的對(duì)應(yīng)關(guān)系。
另外，與圓筒模式同樣，可實(shí)現(xiàn)通過(guò)復(fù)合路面平面模式和圓筒模式的圖象合成。—鏡頭失真的補(bǔ)償處理—下面，對(duì)通過(guò)構(gòu)圖表來(lái)補(bǔ)償鏡頭象差的方法進(jìn)行說(shuō)明。在實(shí)際的攝象機(jī)圖象由于鏡頭的象差產(chǎn)生失真的情況下，可通過(guò)在根據(jù)上述Uv、Vv求出這個(gè)失真的實(shí)際象素S1、T1時(shí)，計(jì)算出補(bǔ)償該失真部分的象素坐標(biāo)，來(lái)從合成圖象中除去鏡頭象差的影響。由于這個(gè)失真的補(bǔ)償也被包括在構(gòu)圖表的合成圖象(Sv、Tv)與攝象機(jī)圖象(Sn、Tn)的關(guān)系中，所以，制定好在最初進(jìn)行失真補(bǔ)償?shù)臉?gòu)圖表，則在實(shí)際的合成時(shí)，不需要進(jìn)行補(bǔ)償?shù)挠?jì)算。并具有即使在以往的在補(bǔ)償鏡頭失真時(shí)所使用的象與鏡頭中心的距離的函數(shù)等的失真規(guī)律不確定的情況下，只要通過(guò)拍攝方格圖案，來(lái)獲得鏡頭失真的各個(gè)象素的移動(dòng)狀況的信息，就可以進(jìn)行失真補(bǔ)償?shù)奶卣鳌?br> 權(quán)利要求
1.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成從假設(shè)視點(diǎn)看去的合成圖象的圖象處理部，其特征在于上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛狀態(tài)，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
2.根據(jù)權(quán)利要求項(xiàng)1所述的圖象處理裝置，其特征在于上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛速度，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
3.根據(jù)權(quán)利要求項(xiàng)1所述的圖象處理裝置，其特征在于上述圖象處理部在至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)的同時(shí)，進(jìn)行收進(jìn)變更后的假設(shè)視點(diǎn)的視野范圍之外圖象的控制。
4.根據(jù)權(quán)利要求項(xiàng)3所述的圖象處理裝置，其特征在于上述圖象處理部通過(guò)改變用于圖象合成的模式來(lái)進(jìn)行收進(jìn)變更后的假設(shè)視點(diǎn)的視野范圍之外圖象的控制。
5.根據(jù)權(quán)利要求項(xiàng)1所述的圖象處理裝置，其特征在于上述圖象處理部對(duì)應(yīng)上述車(chē)輛的轉(zhuǎn)向角，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
6.根據(jù)權(quán)利要求項(xiàng)1所述的圖象處理裝置，其特征在于上述車(chē)輛具有檢測(cè)障礙物的物體檢測(cè)傳感器，上述圖象處理部對(duì)應(yīng)上述物體傳感器的檢測(cè)結(jié)果，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
7.根據(jù)權(quán)利要求項(xiàng)1所述的圖象處理裝置，其特征在于上述圖象處理部具有原構(gòu)圖表，使用從這個(gè)原構(gòu)圖表中提取出的構(gòu)圖表進(jìn)行合成圖象的生成，并且，通過(guò)改變從原構(gòu)圖表提取出的構(gòu)圖表來(lái)進(jìn)行上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的至少任意一項(xiàng)的變更。
8.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些圖象生成從假設(shè)視點(diǎn)看去的合成圖象的圖象處理部，其特征在于上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛狀態(tài)，進(jìn)行收進(jìn)假設(shè)視點(diǎn)的視野范圍之外圖象的控制。
9.一種監(jiān)視系統(tǒng)，具有對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)、把上述多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成從假設(shè)視點(diǎn)看去的合成圖象的圖象處理部、和顯示上述合成圖象顯示部，其特征在于上述圖象處理部對(duì)應(yīng)上述車(chē)輛的行駛狀態(tài)，至少改變上述假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)。
10.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部的其特征在于上述圖象處理部生成作為上述合成圖象的包含從假設(shè)視點(diǎn)看去的第1圖象和從至少與上述第1圖象的假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)不同的視點(diǎn)看去的，或與上述第1圖象的模式不同的第2圖象的圖象。
11.根據(jù)權(quán)利要求項(xiàng)10所述的圖象處理裝置，其特征在于上述第2圖象是至少一個(gè)上述攝象機(jī)圖象。
12.根據(jù)權(quán)利要求項(xiàng)10所述的圖象處理裝置，其特征在于上述第1圖象是表示自己車(chē)輛及其周?chē)慕巿D象，上述第2圖象是表示位于上述近處圖象所示的自己車(chē)輛周?chē)鷧^(qū)域遠(yuǎn)方的區(qū)域的遠(yuǎn)方圖象。
13.根據(jù)權(quán)利要求項(xiàng)12所述的圖象處理裝置，其特征在于上述圖象處理部在上述合成圖象中的上述近處圖象的周?chē)渲蒙鲜鲞h(yuǎn)方圖象。
14.根據(jù)權(quán)利要求項(xiàng)13所述的圖象處理裝置，其特征在于上述遠(yuǎn)方圖象是與上述近處圖象具有連續(xù)性的圖象。
15.根據(jù)權(quán)利要求項(xiàng)10所述的圖象處理裝置，其特征在于上述第1圖象是表示自己車(chē)輛的至少一部分和自己車(chē)輛周?chē)闹辽僖徊糠值膱D象，上述第2圖象是把上述第1圖象所示的區(qū)域的至少一部分放大的圖象。
16.一種監(jiān)視系統(tǒng)，具有對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)、把上述多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部、和顯示上述合成圖象顯示部，其特征在于上述圖象處理部生成作為上述合成圖象的包含從假設(shè)視點(diǎn)看去的第1圖象和從至少與上述第1圖象的假設(shè)視點(diǎn)的位置、視線的朝向及焦點(diǎn)距離中的任意一項(xiàng)不同的視點(diǎn)看去的，或與上述第1圖象的模式不同的第2圖象的圖象。
17.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，其特征在于上述圖象處理部在合成圖象中顯示自己車(chē)輛存在的車(chē)輛區(qū)域的至少一部分和表示自己車(chē)輛周?chē)闹辽僖徊糠值臑榱颂嵝炎⒁獾淖⒁馓嵝褏^(qū)域。
18.根據(jù)權(quán)利要求項(xiàng)17所述的圖象處理裝置，其特征在于上述合成圖象是從設(shè)定在上述車(chē)輛上方的假設(shè)視點(diǎn)看去的圖象。
19.根據(jù)權(quán)利要求項(xiàng)17所述的圖象處理裝置，其特征在于上述圖象處理部在上述車(chē)輛區(qū)域上顯示自己車(chē)輛的插象或?qū)嶋H拍攝圖象。
20.根據(jù)權(quán)利要求項(xiàng)17所述的圖象處理裝置，其特征在于上述上述注意提醒區(qū)域包含從任意攝象機(jī)都拍攝不到的車(chē)輛周?chē)乃澜菂^(qū)域的一部分。
21.根據(jù)權(quán)利要求項(xiàng)17所述的圖象處理裝置，其特征在于上述注意提醒區(qū)域相當(dāng)于從任意攝象機(jī)都拍攝不到的車(chē)輛周?chē)乃澜菂^(qū)域。
22.根據(jù)權(quán)利要求項(xiàng)20或21所述的圖象處理裝置，其特征在于上述圖象處理部使用表示各個(gè)攝象機(jī)圖象中的映入自己車(chē)輛的區(qū)域的區(qū)域數(shù)據(jù)，確定組合上述死角區(qū)域及車(chē)輛區(qū)域的區(qū)域范圍。
23.一種監(jiān)視系統(tǒng)，具有對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)、把上述多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部、和顯示上述合成圖象的顯示部，其特征在于上述圖象處理部在上述合成圖象中顯示自己車(chē)輛存在的車(chē)輛區(qū)域的至少一部分和表示自己車(chē)輛周?chē)闹辽僖徊糠值臑榱颂嵝炎⒁獾淖⒁馓嵝褏^(qū)域。
24.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部，其特征在于上述圖象處理部使用具有記述合成圖象的象素與攝象機(jī)圖象的象素的對(duì)應(yīng)關(guān)系的第1構(gòu)圖數(shù)據(jù)，和記述表示合成圖象的象素與攝象機(jī)圖象以外的象素?cái)?shù)據(jù)互相對(duì)應(yīng)的識(shí)別因子的第2構(gòu)圖數(shù)據(jù)的構(gòu)圖表生成上述合成圖象。
25.根據(jù)權(quán)利要求項(xiàng)24所述的圖象處理裝置，其特征在于上述攝象機(jī)圖象以外的象素?cái)?shù)據(jù)用于表示上述車(chē)輛或上述車(chē)輛周?chē)闹辽僖徊糠种械乃澜菂^(qū)域。
26.根據(jù)權(quán)利要求項(xiàng)24所述的圖象處理裝置，其特征在于上述圖象處理部記憶有攝象機(jī)圖象以外的規(guī)定的圖象，上述第2構(gòu)圖數(shù)據(jù)用于記述對(duì)于合成圖象的象素，在被記憶的上述規(guī)定的圖象中的與該象素對(duì)應(yīng)的坐標(biāo)值。
27.根據(jù)權(quán)利要求項(xiàng)24所述的圖象處理裝置，其特征在于上述第2構(gòu)圖數(shù)據(jù)用于記述對(duì)應(yīng)合成圖象象素的象素?cái)?shù)據(jù)。
28.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部的其特征在于上述圖象處理部使用記述有合成圖象的象素與由攝象機(jī)圖象的象素?cái)?shù)據(jù)和攝象機(jī)圖象以外的象素?cái)?shù)據(jù)中的一方或雙方構(gòu)成的多個(gè)象素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系，并且，對(duì)各個(gè)象素?cái)?shù)據(jù)分別記述了必要度的構(gòu)圖數(shù)據(jù)，根據(jù)必要度把各個(gè)象素?cái)?shù)據(jù)進(jìn)行疊加，來(lái)生成上述合成圖象象素的象素?cái)?shù)據(jù)。
29.一種圖象處理裝置，具有把對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象作為輸入，根據(jù)這些攝象機(jī)圖象生成合成圖象的圖象處理部的其特征在于上述圖象處理部具有原構(gòu)圖表，從這個(gè)原構(gòu)圖表中提取出記述合成圖象的象素與攝象機(jī)圖象的象素的對(duì)應(yīng)關(guān)系的構(gòu)圖表，利用提取出的構(gòu)圖表來(lái)生成合成圖象。
全文摘要
一種圖象處理裝置及監(jiān)視系統(tǒng)使用對(duì)車(chē)輛周?chē)M(jìn)行拍攝的多臺(tái)攝象機(jī)的拍攝圖象,生成從車(chē)輛上方的假設(shè)視點(diǎn)看去的合成圖象。在合成圖象中的存在自己車(chē)輛的車(chē)輛區(qū)域顯示自己車(chē)輛的插象或?qū)嶋H拍攝圖象。而且,對(duì)于任意攝象機(jī)拍攝不到的自己車(chē)輛周?chē)膮^(qū)域,表示為死角區(qū)域。
文檔編號(hào)G06T15/20GK1344470SQ00805339
公開(kāi)日2002年4月10日 申請(qǐng)日期2000年4月17日 優(yōu)先權(quán)日1999年4月16日
發(fā)明者岡本修作, 中川雅通, 登一生, 森村淳 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社