專利名稱：圖像處理裝置、圖像處理系統(tǒng)和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在車載顯示裝置上顯示圖像的技術(shù)。
背景 技術(shù)通常，有一種使用戶能夠通過借助車載攝像機獲取車輛周邊的圖像并自動或按照用戶操作將所獲取的圖像顯示在顯示裝置上來監(jiān)控車輛周邊的裝置。還有一種提供用于通過在屏幕上顯示從作為虛擬觀察點的車輛正上方觀察到的向下視圖來向用戶確認(rèn)車輛的整個周邊安全的手段的裝置。此外，例如，日本未審查的專利申請公開第2008-219559號(專利文獻I)公開了利用包括第一屏幕和第二屏幕這兩個屏幕來確認(rèn)車輛周圍安全的技術(shù)，所述第一屏幕顯示了車輛的全景以及由以預(yù)定高度安裝在車輛上的各攝像機所拍攝的各圖像的觀察點位置，所述第二屏幕顯示了與顯示在第一屏幕上的各觀察點位置的移動相對應(yīng)的各自攝像機圖像。

發(fā)明內(nèi)容
本發(fā)明要解決的問題然而，根據(jù)相關(guān)技術(shù)中通過攝像機進行的車輛周邊的圖像顯示，必須確認(rèn)來自各個攝像機的圖像對應(yīng)于車輛的哪一個方向，并且因為沒有在屏幕上顯示用戶的車輛，所以用戶難以掌握諸如車輛與出現(xiàn)在車輛周邊的障礙物之間的距離之類的位置關(guān)系。此外，對于在屏幕上顯示從作為虛擬觀察點的車輛正上方觀察到的向下視圖的情況而言，用戶必須確認(rèn)車輛整個周邊周圍的寬范圍，從而導(dǎo)致要向用戶提供過量的信息，結(jié)果，難以縮窄用戶應(yīng)當(dāng)當(dāng)心的點。此外，根據(jù)專利文獻I所公開的技術(shù)，由于顯示了車輛全景以及由各攝像機拍攝的圖像的觀察點位置的屏幕、以及顯示了與觀察點位置移動相對應(yīng)的各個攝像機圖像的屏幕被顯示為分離的兩個屏幕，所以用戶應(yīng)該對顯示在這兩個屏幕上的信息執(zhí)行映射，這一點導(dǎo)致用戶很難掌握車輛和障礙物之間的位置關(guān)系的問題。因此，考慮到上述情況，提出了本發(fā)明，其目的是提供使用戶能夠直觀掌握車輛與存在于車輛周邊的障礙物之間的位置關(guān)系的技術(shù)。解決問題的手段為了解決該問題，根據(jù)本發(fā)明，提供了以下構(gòu)造。(I):一種圖像處理裝置，其被構(gòu)造為安裝于車輛中，所述圖像處理裝置包括圖像獲取器，其被構(gòu)造為獲取由提供在所述車輛上的多個攝像機拍攝的多個攝像機圖像；合成圖像生成器，其被構(gòu)造為基于所述多個攝像機圖像生成多個合成圖像，所述多個合成圖像包括從彼此不同的多個觀察點觀察到的所述車輛及其周邊的多個第一向下視圖；以及顯示圖像提供器，其被構(gòu)造為將與顯示圖像相對應(yīng)的信息輸出到安裝在所述車輛中的顯示裝置，其中在所述顯示圖像中連續(xù)再現(xiàn)所述多個合成圖像。(2):根據(jù)(I)所述的圖像處理裝置，其中，所述多個合成圖像包括從所述車輛的正上方觀察到的所述車輛和所述車輛的周邊的第二向下視圖；并且其中，在再現(xiàn)所述第一向下視圖時至少再現(xiàn)一次所述第二向下視圖來作為所述顯示圖像。 (3):根據(jù)(I)或(2)所述的圖像處理裝置，其中，所述多個第一向下視圖中的每一個都在其中央處示出所述車輛。(4):根據(jù)(I)到(3)中任意一項所述的圖像處理裝置，其中，所述合成圖像生成器被構(gòu)造為在所述圖像處理裝置啟動時生成所述多個合成圖像。(5):根據(jù)(I)到(4)中任意一項所述的圖像處理裝置，其中，所述合成圖像生成器被構(gòu)造為在生成所述多個合成圖像時消除亮度低于參考值的一部分?jǐn)z像機圖像。(6) 一種圖像處理系統(tǒng)，其包括多個攝像機，其被構(gòu)造為設(shè)置在車輛上；以及圖像處理裝置，其被構(gòu)造為安裝于所述車輛中，所述圖像處理裝置包括圖像獲取器，其被構(gòu)造為獲取由所述多個攝像機拍攝的多個攝像機圖像；合成圖像生成器，其被構(gòu)造為基于所述多個攝像機圖像生成多個合成圖像，所述多個合成圖像分別是從彼此不同的多個觀察點觀察到的所述車輛及其周邊的多個向下視圖；以及顯示圖像提供器，其被構(gòu)造為將與顯示圖像相對應(yīng)的信息輸出到安裝在所述車輛中的顯示裝置，其中在所述顯示圖像中連續(xù)再現(xiàn)所述多個合成圖像。(7):—種圖像處理方法，其包括獲取由提供在車輛上的多個攝像機拍攝的多個攝像機圖像；基于所述多個攝像機圖像生成多個合成圖像，所述多個合成圖像分別是從彼此不同的多個觀察點觀察到的所述車輛及其周邊的多個向下視圖；以及將與所述顯示圖像相對應(yīng)的信息輸出到安裝在所述車輛中的顯示裝置，其中在所述顯示圖像中連續(xù)再現(xiàn)所述多個合成圖像。本發(fā)明的有益效果根據(jù)(I)或(7)的構(gòu)造，能夠提供圖像，從該圖像用戶能夠掌握車輛與多個障礙物之間的位置關(guān)系，所述車輛和這些障礙物以三維顯示，好像用戶從上面看到它們一樣。此夕卜，通過以連續(xù)地對獲得了車輛的鳥瞰視圖的合成圖像進行再現(xiàn)的方式來再現(xiàn)觀察點移動，用戶能夠直觀地掌握車輛與這些障礙物之間的位置關(guān)系。此外，根據(jù)(2)的構(gòu)造，即使在顯示觀察點移動時忽視了諸如障礙物之類的信息，也能夠從車輛的正上方位置再次進行安全確認(rèn)。此外，根據(jù)(3)的構(gòu)造，用戶能夠在一個屏幕上確認(rèn)車輛整個周邊中的障礙物。此外，根據(jù)(4)的構(gòu)造，通常在開始開始操作之前對所述圖像處理裝置進行啟動，使得用戶能夠順利地確認(rèn)車輛整個周邊的障礙物。此外，根據(jù)(5)的構(gòu)造，能夠防止不期望的陰影(機械漸暈)出現(xiàn)在合成圖像中，因此能夠提供使用戶能夠從中直觀地掌握車輛和障礙物之間的位置關(guān)系的合成圖像。


圖I是例示了圖像處理裝置的構(gòu)造的示圖。圖2是例示了車載攝像機在車輛中的安裝位置的視圖。圖3是例示了處于將車輛左側(cè)的攝像機容納在殼體內(nèi)的狀態(tài)中的側(cè)攝像機單元的外部構(gòu)造的視圖。圖4是例示了生成合成圖像的技術(shù)的視圖。圖5是例示了圖像處理系統(tǒng)中的操作模式的變換的示圖。
圖6是例示了虛擬觀察點連續(xù)移動以圍繞車輛而行的視圖。圖7是例示了在獲得車輛的向下視圖的狀態(tài)中圍繞車輛盤旋的視圖。圖8是例示了前方模式中的顯示模式變換的視圖。圖9是例示了后方模式中的顯示模式變換的視圖。圖10是例示了當(dāng)關(guān)閉后視鏡光軸的方向的視圖。圖11是例示了周圍確認(rèn)模式中的圖像處理系統(tǒng)的控制單元的處理流程的示圖。圖12是例示了后方模式中的圖像處理系統(tǒng)的控制單元的處理流程的示圖。
具體實施例方式在下文中，將參照附圖來詳細(xì)描述本發(fā)明的優(yōu)選實施例。<1-1.系統(tǒng)構(gòu)造〉圖I是例示了圖像處理系統(tǒng)120的構(gòu)造的框圖。該圖像處理系統(tǒng)120安裝在車輛(在本發(fā)明的實施例中為汽車)中，并且具有通過拍攝車輛周邊的圖像來生成圖像并在將所生成的圖像輸出到車廂內(nèi)的諸如導(dǎo)航裝置20之類的顯示裝置的功能。圖像處理系統(tǒng)120的用戶(典型地為駕駛員)通過使用圖像處理系統(tǒng)120能夠基本上實時地掌握車輛周邊的外觀。如圖I所示，圖像處理系統(tǒng)120主要包括被構(gòu)造為生成顯示車輛周邊的多個周邊圖像并且將圖像信息輸出到諸如導(dǎo)航裝置20等的顯示裝置的圖像處理裝置100，和被構(gòu)造為提供有用于拍攝車輛周圍的圖像的攝像機的拍攝單元5。導(dǎo)航裝置20為用戶執(zhí)行導(dǎo)航引導(dǎo)，其包括諸如具有觸摸板功能的液晶顯示器之類的顯示器21、由用戶操作的操作單元22和控制整個裝置的控制單元23。在車輛的儀表面板或類似的部件上提供導(dǎo)航裝置20，以便用戶能夠認(rèn)出顯示器21的屏幕。利用操作單元22以及作為觸摸板的顯示器21接收來自用戶的各種指令。控制單元23被構(gòu)造為具有CPU、RAM、ROM等的計算機，在CPU根據(jù)預(yù)定程序執(zhí)行運算處理時實現(xiàn)包括導(dǎo)航功能在內(nèi)的各種功能。導(dǎo)航裝置20與圖像處理裝置100可通信地相連接，導(dǎo)航裝置20與圖像處理裝置100執(zhí)行對各種控制信號的發(fā)送和接收，并且導(dǎo)航裝置20接收由圖像處理裝置100生成的周邊圖像。在顯示器21上，通常顯示的是基于導(dǎo)航裝置20的獨立功能的圖像，而在預(yù)定條件顯示由圖像處理裝置100生成的示出了車輛周邊的外觀的周邊圖像。由此，導(dǎo)航裝置20還用作對圖像處理裝置100生成的周邊圖像進行接收和顯示的顯示裝置。圖像處理裝置100包括主體部分10，在主體部分10中提供具有生成周邊圖像功能的E⑶(電子控制單元)，圖像處理裝置100設(shè)置在車輛的預(yù)定位置處。圖像處理系統(tǒng)120設(shè)置有拍攝車輛周邊圖像的拍攝單元5，并且圖像處理系統(tǒng)120用作在通過拍攝單元5拍攝車輛周邊圖像而獲得的所拍攝圖像的基礎(chǔ)上生成從虛擬觀察點觀察的合成圖像的圖像生成裝置。將提供在拍攝單元5中提供的車載攝像機51、52和53設(shè)置在車輛上不同于主體部分10的適當(dāng)位置處，稍后將描述其細(xì)節(jié)。圖像處理裝置100的主體部分10主要包括控制整個裝置的控制單元I、通過對拍攝單元5獲得的拍攝圖像進行處理來生成用于顯示的周邊圖像的圖像生成單元3 (本發(fā)明中的圖像獲取裝置)以及與導(dǎo)航裝置20通信的導(dǎo)航通信單元42。通過導(dǎo)航裝置20的操作單元22或顯示器21接收的來自用戶的各種指令被導(dǎo)航通信單元42接收并被輸入至控制單元I作為控制信號。此外，圖像處理裝置100包括選擇開關(guān)43，其接收來自用戶的指令以切換顯示內(nèi)容。指示用戶指令的信號也被從選擇開關(guān)43輸入至控制單元I。由此，圖像處理裝置100能夠響應(yīng)于用戶對導(dǎo)航裝置20的操作和用戶對選擇開關(guān)43的操作來工作。選擇開關(guān)43設(shè)置在車輛中不同于主體部分10的適當(dāng)位置處。圖像生成單元3被構(gòu)造為能夠執(zhí)行各種圖像處理的硬件電路，并包括合成圖像生成單元31、圖像范圍選擇單元32和圖像信息輸出單元33。合成圖像生成單元31用作根據(jù)本發(fā)明的合成圖像生成裝置，并在通過拍攝單元5的車載攝像機51、52和53所獲取的拍攝圖像(攝像機圖像)的基礎(chǔ)上生成從車輛周圍的某一個虛擬觀察點觀察到的合成圖像。稍后將描述通過生成單元31來生成從該虛擬觀察點觀察到的合成圖像的技術(shù)。圖像范圍選擇單元32在通過拍攝單元5的側(cè)攝像機53獲取的拍攝圖像的基礎(chǔ)上選擇和裁剪圖像的預(yù)定范圍。在此，在關(guān)閉后視鏡的情況下，所述的圖像的預(yù)定范圍是包含與反映在處于打開狀態(tài)下的后視鏡中的范圍幾乎一樣的物體圖像的圖像范圍。換言之，圖像的預(yù)定范圍是顯示車輛的側(cè)面區(qū)域的后方的圖像范圍。由此，即使在當(dāng)車輛通過狹窄的地方時關(guān)閉后視鏡的狀態(tài)下，用戶也能夠確認(rèn)與打開后視鏡的情況下的范圍幾乎相同范圍中的圖像。此外，在打開后視鏡93的情況下，所述的圖像的預(yù)定范圍是包含車輛9的前擋板外側(cè)的圖像范圍。由此，用戶能夠容易地確認(rèn)在將車輛往路邊移動的情況下要確認(rèn)區(qū)域的狀況。圖像信息輸出單元33通過導(dǎo)航通信單元42將由圖像范圍選擇單元32選擇的圖像信息輸出到導(dǎo)航裝置20。另一方面，基于控制單元I執(zhí)行圖像信息的輸出。此外，在選擇圖像的預(yù)定范圍的情況下，使用了存儲在稍后將描述的非易失性存儲器40中的針對每一種車輛型號的參數(shù)(針對每一種車輛型號的如下參數(shù)被附接到左后視鏡和右后視鏡的側(cè)攝像機53的依據(jù)后視鏡的打開和關(guān)閉而改變的位置、依據(jù)后視鏡的打開和關(guān)閉而改變的光軸角度的數(shù)據(jù)，等等)。此外，圖像信息輸出單元33用作根據(jù)本發(fā)明的顯示圖像提供裝置，并且將由合成圖像生成單元31生成的合成圖像信息(顯示圖像)輸出到導(dǎo)航裝置20。由此，示出了車輛周邊的周邊圖像被顯示在導(dǎo)航裝置20的顯示器21上?！?br> 控制單元I被構(gòu)造為具有CPU、RAM、ROM等的計算機，在CPU根據(jù)預(yù)定程序執(zhí)行運算處理時實現(xiàn)各種控制功能。附圖中所示的圖像控制單元11與如上述所實現(xiàn)的控制單元I的多種功能中的一種相對應(yīng)。圖像控制單元11控制由圖像生成單元3執(zhí)行的圖像處理。例如，圖像控制單元11指示生成 由合成圖像生成單元31生成的合成圖像所必需的各種參數(shù)。此外，圖像范圍選擇單元32根據(jù)有關(guān)后視鏡的打開或關(guān)閉狀態(tài)的信息和針對每一種車輛型號的參數(shù)來執(zhí)行指令以選中由側(cè)攝像機53拍攝的圖像的預(yù)定范圍。此外，圖像處理裝置100的主體部分10還包括連接到控制單元I的非易失性存儲器40、讀卡單元44和信號輸入單元41。非易失性存儲器40構(gòu)造為即使斷電也能夠保存存儲內(nèi)容的閃速存儲器等。在非易失性存儲器40中，存儲了針對每一種車輛型號的數(shù)據(jù)4a。針對每一種車輛型號的數(shù)據(jù)4a可以是依據(jù)在合成圖像生成單元31生成合成圖像時所需的車輛型號的數(shù)據(jù)、或者是針對每一種車輛型號的如下參數(shù)被附接到左后視鏡和右后視鏡的側(cè)攝像機53依據(jù)后視鏡的打開和關(guān)閉而改變的位置的數(shù)據(jù)、以及依據(jù)后視鏡的打開和關(guān)閉而改變的光軸角度的數(shù)
據(jù)坐坐
J/Π，寸寸ο讀卡單元44讀取作為便攜式記錄介質(zhì)的存儲卡MC。讀卡單元44包括可移除地安裝存儲卡MC的卡槽，并且讀卡單元44讀取安裝在卡槽中的存儲卡MC上記錄的數(shù)據(jù)。通過讀卡單元44讀取的數(shù)據(jù)被輸入至控制單元I。存儲卡MC由能夠存儲各種數(shù)據(jù)的閃速存儲器等構(gòu)成，圖像處理裝置100能夠使用存儲卡MC中存儲的各種數(shù)據(jù)。例如，通過在存儲卡MC中存儲程序并且從存儲卡MC讀取該程序，可以對實現(xiàn)控制單元I的功能的程序(固件)進行更新。此外，通過在存儲卡MC中存儲對應(yīng)于與非易失性存儲器40中所存儲的針對每一種車輛型號的數(shù)據(jù)4a的車輛型號不同的車輛型號的針對每一種車輛型號的數(shù)據(jù)，并且在非易失性存儲器40中讀取和存儲該數(shù)據(jù)，可以使圖像處理系統(tǒng)120對應(yīng)于不同種類的車輛型號。此外，來自車輛中提供的各種裝置的信號被輸入至信號輸入單元41。通過該信號輸入單元41，將來自圖像處理系統(tǒng)120外部的信號輸入至控制單元I。具體來說，將指示各種信息的信號從檔位傳感器81、車速傳感器82、方向指示器83和鏡驅(qū)動裝置84輸入到控制單元I。從檔位傳感器81輸入車輛9的變速器的變速桿的操作位置，即檔位“P (駐車)”、“D (前進)”、“N (空檔)”和“R (倒車)”。從車速傳感器82輸入車輛9在當(dāng)時的行駛速度(km/h)。從方向指示器83輸入基于轉(zhuǎn)向信號開關(guān)的操作而指示轉(zhuǎn)向方向的轉(zhuǎn)向信號，SP車輛駕駛員想要轉(zhuǎn)向的方向。當(dāng)操作轉(zhuǎn)向信號開關(guān)時，生成轉(zhuǎn)向信號，并且該轉(zhuǎn)向信號指示操作方向(向左或向右)。當(dāng)轉(zhuǎn)向信號開關(guān)處于中間位置時，轉(zhuǎn)向信號關(guān)閉。此外，鏡驅(qū)動裝置84響應(yīng)于駕駛員的操作而關(guān)閉或打開車輛的后視鏡。從鏡驅(qū)動裝置84輸入后視鏡狀態(tài)(關(guān)閉/打開)信號。<1-2.拍攝單元〉接下來，將詳細(xì)描述圖像處理系統(tǒng)120的拍攝單元5。拍攝單元5電連接至控制單元I，并且基于來自控制單元I的信號工作。拍攝單元5包括多個車載攝像機，即前攝像機51、后攝像機52和多個側(cè)攝像機53。車載攝像機51、52和53具有諸如CXD或CMOS的圖像拾取裝置，并且電子地獲取圖像。圖2是例示了車載攝像機51、52和53的安裝位置的視圖。在下面的描述中，當(dāng)描述朝向和方向時，適當(dāng)?shù)厥褂酶綀D中所示的三維XYZ正交坐標(biāo)。XYZ軸相對于車輛9是相對固定的。在此，X軸方向沿著車輛9的左/右方向，Y軸方向沿著車輛9的前/后方向，Z軸方向沿著豎直方向。此外，為了方便起見，假設(shè)正X側(cè)是車輛9的右側(cè)，正Y側(cè)是車輛9的后側(cè)，正Z側(cè)是上側(cè)。前攝像機51設(shè)置在車輛9前端處的車牌安裝位置附近，其光軸51a指向車輛9的前進方向(如在平面中觀察到的Y軸方向的負(fù)Y側(cè))。后攝像機52設(shè)置在車輛9后端處的車牌安裝位置附近，其光軸52a指向車輛9的前進方向的反方向(如在平面中觀察到的Y軸方向的正Y側(cè))。此外，所述多個側(cè)攝像機53設(shè)置在左右后視鏡93上，其光軸53a沿著車輛9的左/右方向(如在平面中觀察到的X軸方向)指向外側(cè)。另一方面，盡管優(yōu)選使前攝像機51或后攝像機52的附接位置基本處在車輛中心,但該位置也可以從車輛中心向左右方向稍微移動。 采用魚眼鏡頭作為車載攝像機51、52和53的鏡頭，并且車載攝像機51、52和53具有180度或更大的視角a。因此，通過使用四個車載攝像機51、52和53，能夠拍攝車輛9的整個周邊的多個圖像。圖3是例示了處于將車輛9的左側(cè)攝像機53容納在殼體內(nèi)的狀態(tài)中的側(cè)攝像機單元70的外部構(gòu)造的視圖。因為各個側(cè)攝像機單元70對稱構(gòu)造并且設(shè)置在車輛9的左側(cè)和右側(cè)之間，所以將車輛9的左側(cè)(與其右側(cè)相同)作為示例進行詳細(xì)說明。如附圖所示，側(cè)攝像機單元70通過托架79安裝在后視鏡93的下側(cè)。側(cè)攝像機53被構(gòu)造為裝備有鏡頭和圖像拾取裝置。側(cè)攝像機53安裝在殼體中，光軸指向車輛9的外側(cè)。側(cè)攝像機53固定至殼體，使得光軸的方向相對豎直方向具有預(yù)定角度(例如，約45度)。<1-3.圖像轉(zhuǎn)換處理〉下面，描述圖像生成單元3的合成圖像生成單元31基于通過拍攝單元5獲得的拍攝圖像來生成表示從某一個虛擬觀察點觀察到的車輛9周邊外觀的合成圖像的技術(shù)。在生成合成圖像的情況下，使用預(yù)先存儲在非易失性存儲器4a中的針對每一種車輛型號的數(shù)據(jù)。圖4是例示了生成合成圖像的技術(shù)的視圖。如果在拍攝單兀5的如攝像機51、后攝像機52和各個側(cè)攝像機53中冋時執(zhí)彳丁圖像拍攝，則獲取了顯示車輛9的前、后、左和右側(cè)的四幅拍攝圖像Pl至P4。S卩，通過拍攝單元5獲取的四幅拍攝圖像Pl至P4包含顯示了在拍攝時車輛9的整個周邊的信息。然后，將四幅拍攝圖像Pl至P4的各個像素投影到虛擬三維(3D)空間中的三維曲面SP2上。該3D曲面SP2 (例如)基本上為半球形狀(碗形)，并且將其中央部分(碗的底部)確定為車輛9存在的位置。預(yù)先確定了拍攝圖像Pl至P4中包括的各個像素的位置與3D曲面SP2的各個像素的位置之間的對應(yīng)關(guān)系。因此，基于拍攝圖像Pl至P4中包括的各個像素的值能夠確定3D曲面SP2的各個像素的值。另一方面，在拍攝圖像Pl至P4的過程中，將具有180度或更大的視角α的廣角攝像機用作車載攝像機51、52和53。在使用這樣的廣角攝像機來拍攝圖像的情況下，圖像的一部分可能被諸如攝像機的遮光罩和濾框之類的障礙物阻擋，導(dǎo)致周邊區(qū)域中光強度的減弱，從而屏幕上可能出現(xiàn)攝影者不想要的陰影(攝像機圖像中具有低亮度的部分)。通常將該陰影現(xiàn)象稱為機械漸暈。圖4所示的3D曲面SP I顯示由于在拍攝圖像的部分上出現(xiàn)機械漸暈而發(fā)生陰影的狀態(tài)，該陰影是由已在其上投影了拍攝圖像Pl至P4的3D曲面SPl周圍的指定區(qū)域中光強度的減弱而引起的。如果將具有該陰影的3D曲面如此顯示在導(dǎo)航裝置20上，則從預(yù)定虛擬觀察點觀察到的合成圖像可能不是基本上為半球形狀(碗形)。由于這一點，使用3D曲面SP2來生成相應(yīng)于某一個虛擬觀察點的合成圖像，其中，除了由于3D曲面SPl的機械漸暈而出現(xiàn)光強度減弱的周邊區(qū)域之外，3D曲面SP2是基本處于半球形狀(碗形)的中央?yún)^(qū)域。例如,如圖4所示，在考慮作為3D曲面SPl的邊界的虛線部分的情況下，通過除去由于機械漸暈而出現(xiàn)光強度減弱的周邊區(qū)域來確定了 3D曲面SP2。由此，能夠形成基本為半球形狀(碗形)的物體圖像，從而能夠提供使用戶能夠從中掌握以3D方式顯示的車輛與障礙物之間的位置關(guān)系的圖像，就好像用戶從上面看到頂面朝下的碗。
已經(jīng)作為示例描述了在由于機械漸暈而出現(xiàn)光強度減弱的情況下的處理。然而，還能夠?qū)⒃撎幚響?yīng)用于除了機械漸暈以外的光強度減弱(例如，由于光學(xué)漸暈而出現(xiàn)的光強度減弱)的情況。即，可以檢測具有低于參考值的亮度的區(qū)域并將該區(qū)域從通過車載攝像機51、52和53獲得的拍攝圖像(攝像機圖像)中除去。此外，拍攝圖像Pl至P4的各個像素的位置與3D曲面SP的各個像素的位置之間的對應(yīng)關(guān)系取決于四個車載攝像機51、52和53在車輛9上的布置(相互距離、距地面高度、光軸角度等等)。因此，在存儲于非易失性存儲器40中的針對每一種車輛型號的數(shù)據(jù)4a中包括了指示該對應(yīng)關(guān)系的列表數(shù)據(jù)。此外，使用針對每一種車輛型號的數(shù)據(jù)4a中包括的指示車體形狀或尺寸的多邊形數(shù)據(jù)，并且虛擬構(gòu)造了顯示車輛9的3D形狀的多邊形模型的車輛圖像。將所構(gòu)造的車輛圖像設(shè)置在基本上為半球形狀的中央部分，該中央部分對應(yīng)于車輛9在設(shè)置了 3D曲面SP的3D空間中的位置。此外，在存在3D曲面SP的3D空間中，通過控制單元I設(shè)置了虛擬觀察點VP。通過觀察點位置和觀察方向來定義虛擬觀察點VP，并將其設(shè)置在與車輛周邊相對應(yīng)并指向3D空間中的某一個觀察方向的某一個觀察點位置。然后，根據(jù)所設(shè)置的虛擬觀察點VP，將如上所述的3D曲面SP2上的必要區(qū)域裁剪為圖像。虛擬觀察點VP和3D曲面SP中的所述必要區(qū)域之間的關(guān)系為預(yù)定的并且作為列表數(shù)據(jù)預(yù)先存儲在非易失性存儲器40中。另一方面，針對被構(gòu)造為多邊形以對應(yīng)于所設(shè)置的虛擬觀察點VP的車輛圖像進行渲染(rendering)，且作為渲染結(jié)果的二維(2D)車輛圖像重疊在裁剪圖像上。由此，生成了顯示車輛9的外觀以及從某一個虛擬觀察點觀察到的車輛9的周邊的合成圖像。例如，如果在觀察點的位置幾乎為車輛9位置中央的正上方的位置并且觀察方向幾乎為車輛9的正下方的情形中設(shè)置了虛擬觀察點VP1，則生成了顯示車輛9的外觀(實際上為車輛圖像)和從車輛9的幾乎正上方觀察到的車輛9的周邊的合成圖像CPl。此外，如附圖所示，如果在觀察點的位置位于車輛9的位置的左后方并且觀察方向幾乎位于車輛9的前方的情形中設(shè)置了虛擬觀察點VP2，則生成了顯示車輛9的外觀(實際上為車輛圖像)和從車輛9的左后方觀察到的車輛9的整個周邊的合成圖像CP2。 另一方面，在實際生成合成圖像的情況下，不必確定3D曲面SP2的全部像素的值，而是基于拍攝圖像Pl至P4來僅確定與所設(shè)置的虛擬觀察點VP相應(yīng)的必要區(qū)域的像素的值，從而能夠提高處理速度。<1-4.操作模式>接下來，將描述圖像處理系統(tǒng)120的操作模式。圖5是例示了圖像處理系統(tǒng)120的操作模式變換的示圖。圖像處理系統(tǒng)120具有四種操作模式，包括導(dǎo)航模式MO、周圍確認(rèn)模式Ml、前方模式M2和后方模式M3。根據(jù)駕駛員的操作或車輛9的行駛狀態(tài)在控制單元I的控制下切換這些操作模式。導(dǎo)航模式MO是通過導(dǎo)航裝置20的功能在顯示器21上顯示用于導(dǎo)航引導(dǎo)等的地像的操作模式。在導(dǎo)航模式MO中，不使用圖像處理裝置100的功能，而是通過導(dǎo)航裝置20自身的功能來執(zhí)行各種顯示。因此，在導(dǎo)航裝置20具有接收和顯示電視廣播的無線電波的功能的情況下，可以顯示電視廣播屏幕而不顯示用于導(dǎo)航引導(dǎo)的地像。相比之下，周圍確認(rèn)模式Ml、前方模式M2和后方模式M3是通過使用圖像處理裝置100的功能來在顯示器21上顯示實時地示出了車輛9的周邊情況的顯示圖像的操作模式。周圍確認(rèn)模式Ml是執(zhí)行示出了在向下觀察車輛9的情況下圍繞車輛9盤旋的動畫演示的操作模式。前方模式M2是顯示主要示出了在車輛9前進期間必要的車輛9的前方或側(cè)面的顯示圖像的操作模式。另外，后方模式M3是顯示主要示出了在車輛9倒車期間必要的車輛9的后方的顯示圖像的操作模式。如果圖像處理系統(tǒng)120啟動，則初始設(shè)置周圍確認(rèn)模式Ml。在周圍確認(rèn)模式Ml的情況下，如果在執(zhí)行示出了圍繞車輛9盤旋的動畫演示之后經(jīng)過了預(yù)定時間(例如，6秒)，則模式自動切換至前方模式M2。此外，在前方模式M2的情況下，如果在Okm/h的狀態(tài)(停車狀態(tài))下選擇開關(guān)43被持續(xù)按下了預(yù)定時間，則模式切換至周圍確認(rèn)模式Ml。另一方面，通過來自駕駛員的預(yù)定指令可將模式從周圍確認(rèn)模式Ml切換至前方模式M2。此外，在前方模式M2的情況下，例如，如果行駛速度變?yōu)?0km/h或更快，則模式切換至導(dǎo)航模式MO。相反，在導(dǎo)航模式MO的情況下，例如，如果從車速傳感器82輸入的行駛速度變?yōu)樾∮?0km/h，則模式切換至前方模式M2。在車輛9的行駛速度比較高的情況下，則釋放前方模式M2，以使駕駛員集中注意力駕駛。相反，在車輛9的行駛速度比較低的情況下，駕駛員在駕駛時可以更多地考慮車輛9的周圍情況，具體地說，駛進視野差的十字路口、改變方向或者駛向路邊。因此，在行駛速度比較低的情況下，模式從導(dǎo)航模式MO切換至前方模式M2。另一方面,對于模式從導(dǎo)航模式MO切換至前方模式M2的情況，可以將有來自駕駛員的明確操作指令的條件添加到行駛速度小于10km/h的條件。此外，在導(dǎo)航模式MO的情況下，如果在例如Okm/h的狀態(tài)(停車狀態(tài))下持續(xù)按下選擇開關(guān)43達(dá)預(yù)定時間，則模式切換至周圍確認(rèn)模式Ml。此外，如果在執(zhí)行示出了圍繞車輛9盤旋的動畫演示之后經(jīng)過了預(yù)定時間(例如，6秒)，則模式自動切換至前方模式M2。此外，在導(dǎo)航模式MO或前方模式M2的情況下，如果從檔位傳感器81輸入的變速桿的位置為“R (倒車)”，則模式切換至后方模式M3。即，如果將車輛9的變速器操作到“R(倒車)”的位置，則車輛9后退，從而模式切換至主要顯示車輛9后方的后方模式M3。
另一方面，在后方模式M3的情況下，如果變速桿的位置是除了 “R (倒車)”以外的任何其它位置，則基于當(dāng)時的行駛速度將模式切換至導(dǎo)航模式MO或前方模式M2。S卩，如果行駛速度為10km/h或更快，則模式切換至導(dǎo)航模式MO，而如果行駛速度小于10km/h，則模式切換至前方模式M2。在下文中，將詳細(xì)描述周圍確認(rèn)模式Ml、前方模式M2和后方模式M3中車輛9周邊的顯示模式。<1-5.周圍確認(rèn)模式〉 首先，描述周圍確認(rèn)模式Ml中車輛9周邊的顯示模式。在周圍確認(rèn)模式Ml中，如圖6所示，將虛擬觀察點VP設(shè)置為向下觀察車輛9，并且虛擬觀察點VP連續(xù)移動以圍繞車輛9盤旋。虛擬觀察點VP初始設(shè)置至車輛9的后方,然后圍繞車輛9順時針盤旋。由此，如果虛擬觀察點VP通過車輛9的左側(cè)、前方和右側(cè)向上移動至車輛的后方，則其向上移動至車輛9的正上方。在已經(jīng)如上所述移動了虛擬觀察點VP的狀態(tài)下，連續(xù)生成合成圖像。所生成的合成圖像順序輸出至導(dǎo)航裝置20并且連續(xù)顯示在顯示器21上。因此，如圖7所示，執(zhí)行示出了在向下觀察車輛9的情況下圍繞車輛9盤旋的動畫演示。在圖7的示例中，以STl到ST6的次序順序且連續(xù)地顯示各合成圖像RP。每一幅合成圖像RP都是一幅基于除了由于3D曲面SPl的機械漸暈而出現(xiàn)光強度減弱的周邊區(qū)域之外的基本上為半球形狀的3D曲面SP2生成的合成圖像，并以3D顯示每一幅合成圖像RP就好像用戶從上面看碗一樣。由此，根據(jù)該圖像用戶能夠容易掌握車輛與障礙物之間的位置關(guān)系。此外，將車輛9布置在圖像的中央附近，并且能夠與車輛9 一起確認(rèn)車輛9的周邊模式。此外，在圖7中，基于從拍攝單元5的車載攝像機51、52和53輸入的圖像由合成圖像生成單元31生成從車輛9的后方向下觀察車輛9的合成圖像STl (ST5)、從車輛9的左側(cè)向下觀察車輛9的合成圖像ST2、從車輛9的前方向下觀察車輛9的合成圖像ST3、從車輛9的右側(cè)向下觀察車輛9的合成圖像ST4、以及從車輛9的幾乎中央的正上方(正對上方)向下觀察車輛9的合成圖像ST6。合成圖像STl到ST5與根據(jù)本發(fā)明的第一俯瞰視圖相對應(yīng)，合成圖像ST6與根據(jù)本發(fā)明的第二俯瞰視圖相對應(yīng)。然后，如圖7所示，例如，通過在導(dǎo)航裝置20上例如以STl — ST2 — ST3 — ST4 — ST5 — ST6的順序連續(xù)顯示示出了在用戶向下觀察車輛的情況下圍繞車輛9盤旋的圖像，能夠在一個屏幕上直觀地掌握車輛與障礙物之間的位置關(guān)系。此外，通過顯示示出了圍繞車輛盤旋的合成圖像和從車輛的幾乎中央的正上方(正對上方)觀察到的合成圖像，同時連續(xù)移動虛擬觀察點的位置，用戶能夠在一個屏幕上直觀地掌握車輛與障礙物之間的位置關(guān)系。此外，從車輛周圍和車輛的幾乎中央的正上方(正對上方)的觀察點能夠確認(rèn)車輛周圍的安全。此外，即使是障礙物出現(xiàn)在車輛周邊的圖像中的信息被用戶忽視，也能夠通過在圍繞車輛的圖像之后連續(xù)顯示的車輛上方的圖像來再次進行安全確認(rèn)。此外,用戶不必一次確認(rèn)車輛的整個周邊周圍的寬范圍，而是通過借助圍繞車輛的有限范圍的圖像來連續(xù)顯示從車輛的幾乎中央的正上方(正對上方)觀察到的寬范圍中的整個車輛的多幅圖像，以使用戶能夠在一個屏幕上更準(zhǔn)確地執(zhí)行車輛周圍的安全確認(rèn)。
此外，通過生成從以車輛的位置為中心依次圍繞車輛移動的虛擬觀察點觀察到的合成圖像，用戶能夠在一個屏幕上直觀地確認(rèn)車輛的整個周邊的障礙物。另一方面，在此所示的合成圖像是示例性的，并且用戶能夠隨意地改變設(shè)置，諸如合成圖像的向下觀察車輛的高度和方向、合成圖像的連續(xù)顯示的暫時停止、連續(xù)顯示的旋轉(zhuǎn)速度的調(diào)整、連續(xù)顯示的反轉(zhuǎn)，等等。此外，能夠根據(jù)用戶通過對連續(xù)顯示的暫時停止的操作通過選擇顯示單元的屏幕的某一部分來將所選擇部分進行放大顯示。此外，在本發(fā)明的實施例中，已經(jīng)描述了在連續(xù)顯示示出了車輛周邊的合成圖像后連續(xù)顯示從車輛的幾乎中央的正上方(正對上方)觀察到的合成圖像的情況。然而，合成圖像的連續(xù)顯示不限于該順序，而在從車輛的幾乎中央的正上方(正對上方)觀察到的合成圖像之后可以連續(xù)顯示圍繞車輛的合成圖像。此外，根據(jù)本發(fā)明的實施例，已經(jīng)描述了從車輛后方的虛擬觀察點的位置開始圍繞車輛盤旋一次。然而，用于圖像變換的開始位置沒有特別的限定，而可以將任意位置設(shè)置為開始位置。此外，圍繞車輛盤旋的次數(shù)不限于一次，而可以是任意次數(shù)，諸如兩次或更多次，或者是半次。 此外，根據(jù)本發(fā)明的實施例，通過將由圖像處理裝置100或?qū)Ш窖b置20對來自車輛電源控制裝置的ACC-On信號進行接收來作為對車輛周圍進行確認(rèn)處理的開始條件，用戶能夠在圖像處理裝置啟動時確認(rèn)車輛的周邊。通常，因為圖像處理裝置在車輛行駛之前響應(yīng)于ACC-On而啟動，所以用戶能夠在車輛行駛之前確認(rèn)車輛的周邊。用于車輛周圍確認(rèn)處理的開始條件可以不僅是ACC-On信號的接收，還可以是將選擇開關(guān)43持續(xù)按下一段預(yù)定時間(例如，3秒)。由此，用戶能夠在其想要自動確認(rèn)車輛周邊的任何時候來對車輛的周邊進行確認(rèn)。此外，即使是在連續(xù)顯示合成圖像的時候也可以通過按下在導(dǎo)航裝置20上提供的完成按鈕(沒有示出)來結(jié)束對合成圖像的連續(xù)顯示，或者車輛周圍確認(rèn)處理可以不會由于按下諸如ACC-On或選擇開關(guān)43之類的設(shè)置按鈕(沒有示出)一段預(yù)定時間而啟動。通過視覺識別周圍確認(rèn)模式Ml中的動畫演示，用戶能夠從車輛9前方中的觀察點確認(rèn)車輛9整個周邊的情況，并且直觀地掌握車輛整個周邊上的障礙物與車輛9之間的位置關(guān)系。<1-6.前方模式〉下面描述在前方模式M2中車輛9的周邊的顯示模式。圖8是例示了前方模式M2中的顯示模式的變換的視圖。前方模式M2包括四種顯示模式，即行駛向下觀察模式M21、車輛確認(rèn)模式M22、側(cè)攝像機模式M23和導(dǎo)航模式M24，這些顯示模式具有不同的顯示類型。在顯示模式M21、M22和M23的屏幕上，對指示出各個顯示模式中的視野范圍的視野引導(dǎo)90進行顯示，并且該視野引導(dǎo)90指示了針對用戶顯示的是車輛9周邊的哪個區(qū)域。此外，在導(dǎo)航模式M24中，顯示車輛9周圍的地像，還執(zhí)行車輛9當(dāng)前位置的顯示。無論何時用戶按下選擇開關(guān)43，行駛向下觀察模式M21、車輛確認(rèn)模式M22、側(cè)攝像機模式M23和導(dǎo)航模式M24都在控制單元I的控制下依次切換。如果在導(dǎo)航模式M24中按下選擇開關(guān)43，則模式又返回行駛向下觀察模式M21。行駛向下觀察模式M21是用于在顯示器21上并排顯示包含示出了從車輛9正上方的虛擬觀察點VP觀察到的車輛9的外觀的合成圖像FP I和由前方攝像機51進行拍攝而獲得的前方圖像FP2的屏幕的顯示模式。即，在行駛向下觀察模式M21中，在同一屏幕上顯示兩幅圖像示出了車輛9整個周邊的合成圖像FP I和示出了車輛9前方的前方圖像FP2。在行駛向下觀察模式M21中，由于能夠讀取兩個圖像FP I和FP2，所以用戶能夠一眼確認(rèn)作為車輛9行駛方向的前方的情況以及車輛9的整個周邊。行駛向下觀察模式M21可以是能夠在前進行駛期間的各種場景中高度通用的顯示模式。此外，車輛確認(rèn)模式M22是用于在顯示器21上并排顯示包含通過前攝像機51進行拍攝而獲得的前方圖像FP3和示出了從車輛9后方的虛擬觀察點VP觀察到的車輛9的外觀的合成圖像FP4的屏幕的顯示模式。即，在車輛確認(rèn)模式M22中，在同一屏幕上顯示兩個圖像示出了車輛9前方的前方圖像FP3和示出了車輛9側(cè)面的合成圖像FP4。
與行駛向下觀察模式M21中的前方圖像FP2相比，車輛確認(rèn)模式M22中的前方圖像FP3在左右方向上具有較寬的觀察范圍。因此，當(dāng)車輛進入視野差的十字路口時，能夠確認(rèn)處于容易成為盲區(qū)的車輛9前端的前方以及左右方向上的物體。此外，根據(jù)車輛確認(rèn)模式M22中的合成圖像FP4，因為與行駛向下觀察模式M21中的合成圖像FP I相比，虛擬觀察點VP的位置移動至車輛9的后方，所以顯示車輛9后方的區(qū)域變窄，但容易確認(rèn)車輛9的側(cè)面。因此，當(dāng)迎面駛來的車輛彼此經(jīng)過時，能夠容易確認(rèn)與迎面駛來的車輛之間的間隙。因為在車輛確認(rèn)模式M22中能夠讀取兩幅圖像FP3和FP4，所以用戶能夠在需要謹(jǐn)慎駕駛的情況下(例如在車輛進入視野差的十字路口或者迎面駛來的車輛彼此經(jīng)過的情況下)一眼確認(rèn)要確認(rèn)區(qū)域的狀況。此外，側(cè)攝像機模式M23是用于在顯示器21上并排顯示包含通過左側(cè)和右側(cè)攝像機53進行拍攝而獲得的側(cè)面圖像FP5和FP6的屏幕的顯示模式。側(cè)面圖像FP5和FP6僅示出了從駕駛員座位觀察容易成為盲區(qū)的前擋板94的外側(cè)。因為在側(cè)攝像機模式M23中能夠讀取兩幅圖像FP5和FP6，所以用戶在向路邊移動的情況下能夠容易確認(rèn)要確認(rèn)區(qū)域的狀況。導(dǎo)航模式M24是用于在顯示器21上顯示用于通過導(dǎo)航裝置20的功能實現(xiàn)的導(dǎo)航引導(dǎo)的地像的操作模式。在導(dǎo)航模式M24中，未使用圖像處理裝置100的功能，而是通過導(dǎo)航裝置20自身的功能來執(zhí)行各種顯示。因此，在導(dǎo)航裝置20具有接收和顯示電視廣播的無線電波的功能的情況下，可以顯示電視廣播屏幕而不顯示用于導(dǎo)航引導(dǎo)的地像。〈1-7.后方模式〉下面描述后方模式M3中車輛9周邊的顯示模式。圖9是例示了后方模式M3中的顯示模式變換的視圖。后方模式M3包括三種顯示模式停車向下觀察模式M31、前后視鏡模式M32和后后視鏡模式M33，這些顯示模式具有不同的顯示類型。在這些顯示模式的屏幕上，對指示出各個顯示模式中的視野范圍的視野引導(dǎo)90進行顯示，并且該視野引導(dǎo)90指示了針對用戶顯示車輛9周邊的哪個區(qū)域。根據(jù)從鏡驅(qū)動裝置84輸入的后視鏡93的狀態(tài)，在控制單元I的控制下從停車向下觀察模式M31切換到前后視鏡模式M32和后后視鏡模式M33的顯示模式。具體地說，如果將變速桿的位置操作至“R (倒車)”，則將模式切換至停車向下觀察模式M31。在停車向下觀察模式M31中，后視鏡93打開以處在通常狀態(tài)下，并且在車輛9的車速小于10km/h的情況下，如果用戶按下選擇開關(guān)43，則模式切換至前后視鏡模式M32。
在前后視鏡模式M32中，由圖像生成單元3的圖像范圍選擇單元32來選擇圖像范圍，該圖像范圍包含由在后視鏡93上提供的各個側(cè)攝像機53拍攝的圖像的車輛9的前擋板外側(cè)。此外，圖像信息輸出單元33通過導(dǎo)航通信單元42將圖像信息輸出，并且在導(dǎo)航裝置20上顯示該圖像信息。由此，用戶在向路邊移動的情況下能夠容易確認(rèn)要確認(rèn)區(qū)域的狀況。此外，在停車向下觀察模式M31中，在后視鏡93關(guān)閉和車輛9的車速小于10km/h的情況下，如果用戶按下選擇開關(guān)43，則模式切換至后后視鏡模式M33。在后后視鏡模式M33中，選擇由在后視鏡93上提供的各個側(cè)攝像機53拍攝的圖像的圖像范圍，該圖像范圍與處在打開狀態(tài)下的后視鏡中所反映的范圍幾乎相同。具體地說，選擇示出了車輛的側(cè)面區(qū)域后方的圖像范圍。由此，即使在車輛經(jīng)過狹窄地方時處在后視鏡關(guān)閉的狀態(tài)下，用戶也能夠確認(rèn)與在后視鏡打開的情況下的范圍幾乎相同的范圍中的圖像(物體的外觀)。此外，停車向下觀察模式M31是用于在顯示器21上并排顯示包含合成圖像BPl和后方圖像BP2的屏幕的顯示模式，其中合成圖像BPl示出了從車輛9正上方的虛擬觀察點VP觀察到的車輛9的外觀，后方圖像BP2是通過后攝像機52進行拍攝而得到的。即，在停車向下觀察模式M31中，在同一屏幕上顯示兩幅圖像示出了車輛9的整個周邊的合成圖像BP I和示出了車輛9的后方的后方圖像BP2。此外，在停車向下觀察模式M31中，因為能夠讀取兩幅圖像BPI和BP2，所以用戶能夠一眼確認(rèn)作為車輛9的行駛方向的后方的情況以及車輛9的整個周邊。停車向下觀察模式M31可以是能夠在車輛9倒車期間的各種場景中高度通用的顯示模式。另一方面，除了停車向下觀察模式M31之外，還可以提供在車輛9執(zhí)行平行停車時顯示了從車輛后方的預(yù)定虛擬觀察點觀察到的合成圖像的縱列引導(dǎo)模式，以及諸如在示出了車輛9的后方的后方圖像BP2上顯示停車指引線路的后方引導(dǎo)模式之類的其它模式，并且根據(jù)后視鏡的打開/關(guān)閉狀態(tài)，可以執(zhí)行從上述模式中的任何一個到前后視鏡模式M32或后后視鏡模式M33的轉(zhuǎn)換。此外，前后視鏡模式M32是用于在顯示器21上并排顯示包含通過左側(cè)和右側(cè)攝像機53進行拍攝而獲得的側(cè)面圖像FP5和FP6的屏幕的顯示模式。因為在前后視鏡模式M32中的一個屏幕上能夠讀取兩幅圖像FP5和FP6，所以用戶能夠在用戶倒車的情況下確認(rèn)包含具有一些碰撞危險的左右前擋板的外側(cè)的圖像。此外，后后視鏡模式M33是用于在顯示器21上并排顯示包含通過左側(cè)和右側(cè)攝像機53進行拍攝而獲得的側(cè)面圖像BP3和BP4的屏幕的顯示模式。因為在后后視鏡模式M33中的一個屏幕上能夠讀取兩幅圖像BP3和BP4，所以當(dāng)在同一個屏幕上確認(rèn)車輛9的后方的左右側(cè)時可以進行倒車。如圖10所示，在各個后視鏡93上提供各個側(cè)攝像機53，如果各個后視鏡93處于關(guān)閉狀態(tài)，則光軸53a的方向指向車輛9的后方。在這種狀態(tài)下，無法通過各個側(cè)攝像機53獲得示出了車輛9整個側(cè)面的圖像，并且難以生成從某一個虛擬觀察點觀察到的合成圖像。然而，由于光軸53a移向車輛9的后方，所以能夠獲得針對車輛9側(cè)面區(qū)域的后方的具有比較低的失真的拍攝圖像。在后后視鏡模式M33中，使用通過各個側(cè)攝像機53獲得的拍攝圖像來生成并顯示示出了車輛9側(cè)面區(qū)域后方的兩幅圖像BP3和BP4。·
由于在后后視鏡模式M33中能夠讀取兩幅圖像BP3和BP4，所以即使在由于停車環(huán)境而應(yīng)該關(guān)閉后視鏡的狀態(tài)下用戶也能夠確認(rèn)與后視鏡93中所反映的范圍幾乎相同的范圍。<2.操作 >
〈2-1.周圍確認(rèn)模式中的操作〉下面，參照圖11來描述通過周圍確認(rèn)模式中的圖像處理系統(tǒng)的控制單元進行的處理流程。如果圖像處理裝置100的控制單元I通過信號輸入單元41從車輛電源控制裝置(沒有示出)接收到ACC-On信號(步驟S 101中的“是”)，則控制單元I啟動通過導(dǎo)航通信單元42與導(dǎo)航裝置20的初始通信(步驟S 102)。在此，初始通信表示確認(rèn)圖像處理裝置100的控制單元I與導(dǎo)航裝置20之間的通信是否可能的過程。如果控制單元I沒有從車輛電源控制裝置接收到ACC-On信號(步驟S 101中的“否”)，則處理結(jié)束。如果控制單元I與導(dǎo)航裝置20之間的初始通信正常完成(步驟S103中的“是”)，則控制單元I從非易失性存儲器40讀取用于車輛周圍確認(rèn)處理的數(shù)據(jù)(步驟S104)。車輛周圍確認(rèn)處理數(shù)據(jù)的示例包括車輛的位圖數(shù)據(jù)和觀察點的移動數(shù)據(jù)(每一次的觀察點位置或觀察點的方向數(shù)據(jù))。如果初始通信沒有正常完成(步驟S103中的“否”)，則控制單元I再次執(zhí)行與導(dǎo)航裝置20的通信，如果即使嘗試通信不止一次也不能進行通信，則處理結(jié)束。在初始通信沒有正常完成的情況下，控制單元I可能由于故障而不會正常工作。在此情況下，可以在導(dǎo)航裝置20上顯示用于對車輛周邊的圖像進行顯示的系統(tǒng)已出故障的警告。在從非易失性存儲器40讀取用于車輛周圍確認(rèn)處理的數(shù)據(jù)之后，控制單元I的圖像生成單元3基于所讀取的數(shù)據(jù)生成車輛周邊的各合成圖像(步驟S105)。在生成各合成圖像的過程中，使用3D曲面SP2來執(zhí)行生成對應(yīng)于某一個虛擬觀察點的合成圖像的過程，該3D曲面SP2是如圖4例示的除了由于機械漸暈而出現(xiàn)光強度減弱的3D曲面SPl的周邊區(qū)域之外的基本為半球形狀(碗形)的區(qū)域。然后，將所生成的合成圖像數(shù)據(jù)傳輸?shù)綄?dǎo)航裝置20 (步驟 S106)。當(dāng)分階段改變虛擬觀察點的位置的時候(步驟S107a)，圖像生成單元3生成各合成圖像(步驟S105)。然后，控制單元I以使得各合成圖像具有連續(xù)性的方式將數(shù)據(jù)傳輸?shù)綄?dǎo)航裝置20。由此，連續(xù)改變虛擬觀察點的位置，并且能夠在導(dǎo)航裝置20上通過連續(xù)顯示的方式來顯示在向下觀察車輛9的狀態(tài)下圍繞車輛9盤旋的圖像。如果到導(dǎo)航裝置20的合成圖像的傳輸已經(jīng)完成(步驟S107中的“是”)，則通過與車輛周邊的合成圖像相同的處理來生成從車輛9的幾乎中央的正上方(正對上方)觀察到的各合成圖像(步驟S108)，并且將所生成的從車輛9的幾乎中央的正上方(正對上方)觀察的合成圖像傳輸?shù)綄?dǎo)航裝置20(步驟S109)。由此，在顯示裝置上顯示在向下觀察車輛的狀態(tài)下看起來像是圍繞車輛盤旋的各合成圖像，并且用戶能夠通過從用戶在車輛前方的觀察點來確認(rèn)車輛的整個周邊的方式而在一個屏幕上直觀地掌握車輛與障礙物之間的位置關(guān)系。〈2-2.后方模式中的操作〉下面描述根據(jù)如上所述的后視鏡93的打開/關(guān)閉狀態(tài)來選擇拍攝圖像范圍以及輸出圖像信息的處理流程。圖12是示出了后方模式中的圖像處理系統(tǒng)的控制單元的處理流程的示圖。首先，為了確定圖像處理系統(tǒng)的模式是否為后方模式，要確定變速桿的操作位置是否處于檔位“R (倒車)”(步驟S201)。如果將變速桿的操作位置置于“R (倒車)”(步驟S201中的“是”)，則后方模式M3的控制單元I將用于在停車向下觀察模式M31中生成圖像并向?qū)Ш窖b置20輸出圖像信息的指令信號傳輸?shù)綀D像生成單元3 (步驟S202)。另一方面，如果沒有將變速桿的操作位置置于檔位“R (倒車)”(步驟S201中的“否”)，則處理結(jié)束。然后，如果用戶在將停車向下觀察模式M31的圖像顯示在導(dǎo)航裝置20上的情況下按下選擇開關(guān)43 (步驟S203中的“是”)，則控制單元I確定車輛9的車速是否小于IOkm/h (步驟S204)。另一方面，如果用戶沒有按下選擇開關(guān)43 (步驟S203中的“否”)，則控制單元I繼續(xù)進行在導(dǎo)航裝置20上顯示停車向下觀 察模式M31的處理(步驟S209)。在步驟S204中，如果車速小于10km/h (步驟S204中的“是”)，則控制單元I確定車輛9的后視鏡93是否打開(步驟S205)。在步驟S205中，如果后視鏡93打開(步驟S205中的“是”)，則控制單元I將用于執(zhí)行前后視鏡模式M32的處理的指令信號傳輸?shù)綀D像生成單元3 (步驟S206)，并且進行下一步處理。具體地說，控制單元I選擇包含使用各個側(cè)攝像機53拍攝的圖像的前擋板外側(cè)的圖像范圍，并且將用于輸出所選擇范圍的圖像信息的指令信號傳輸?shù)綀D像生成單元3。由此，用戶能夠在向路邊移動等情況下容易確認(rèn)要確認(rèn)區(qū)域的狀況。另一方面，如果車輛9的車速不小于10km/h (步驟S204中的“否”)，則控制單元I繼續(xù)進行在導(dǎo)航裝置20上顯示停車向下觀察模式M31的處理(步驟S209)。此外，如果后視鏡93關(guān)閉(步驟S205中的“否”)，則控制單元I將用于執(zhí)行后后視鏡模式M33的處理的指令信號傳輸?shù)綀D像生成單元3 (步驟S207)，并且進行下一步處理。控制單元I將用于選擇使用各個側(cè)攝像機拍攝的圖像中與在處于打開狀態(tài)中的后視鏡中所反映的范圍幾乎相同的圖像范圍的指令信號以及用于輸出所選擇范圍的圖像信息的指令信號傳輸?shù)綀D像生成單元3。具體地說，控制單元I將用于選擇示出了車輛的側(cè)面區(qū)域的后方的圖像范圍的指令信號以及用于輸出所選擇范圍的圖像信息的指令信號傳輸?shù)綀D像生成單元3。由此，即使在車輛經(jīng)過狹窄地方期間處在后視鏡關(guān)閉的狀態(tài)下，用戶也能夠確認(rèn)與在后視鏡打開的情況下的范圍幾乎相同的范圍中的圖像(物體的外觀)。然后，如果用戶沒有按下選擇開關(guān)43(步驟S208中的“否”)，則控制單元I返回步驟S205中的處理，并且傳輸用于指示圖像生成單元3選擇與前后視鏡模式M32和后后視鏡模式M33中的任一相對應(yīng)的圖像以及根據(jù)各后視鏡93的打開/關(guān)閉狀態(tài)來輸出圖像信息的信號。另一方面，如果用戶按下選擇開關(guān)43 (步驟S208中的“是”)，則以與步驟S202中描述的處理相同的方式，控制單元I生成停車向下觀察模式M31的圖像，并且將用于向?qū)Ш窖b置20輸出圖像信息的指令信號傳輸?shù)綀D像生成單元3 (步驟S209)。在上述處理中，控制單元I在步驟S203中確定是否按下選擇開關(guān)之后在步驟S204中確定車輛9的車速是否小于10km/h。相反，控制單元I可以先確定車輛9的車速是否小于10km/h，然后再確定是否按下選擇開關(guān)。此外，在本發(fā)明的實施例中，例示了在圖像處理系統(tǒng)120的模式為后方模式的情況下，即，在車輛9后退的情況下，根據(jù)各后視鏡93的打開/關(guān)閉狀態(tài)來顯示前后視鏡模式M32和后后視鏡模式M33中的任一個。然而，也可以在圖像處理系統(tǒng)120的模式為前方模式的情況下，即，在車輛9前進的情況下，根據(jù)各后視鏡93的打開/關(guān)閉狀態(tài)來顯示前后視鏡模式M32和后后視鏡模式M33中的任一個?！?變型示例〉雖然已經(jīng)描述了本發(fā)明的實施例，但是本發(fā)明不限于所描述的實施例，并且可以做出各種變型。在下文中，將描述這樣的變型示例。包括上述實施例中描述的形式以及下文將要描述的形式的全部形式可以適當(dāng)?shù)亟M合。在上述實施例中，將圖像處理裝置100和導(dǎo)航裝置20描述為不同的裝置。然而，圖像處理裝置100和導(dǎo)航裝置20可以構(gòu)造為布置在同一個殼體中的集成裝置。此外，在上述實施例中，顯示通過圖像處理裝置100生成的圖像的顯示裝置是導(dǎo)航裝置20。然而，該顯示裝置可以是不具有諸如導(dǎo)航功能之類的特殊功能的一般顯示 裝置。此外，在上述實施例中，由圖像處理裝置100的控制單元I實現(xiàn)的功能的一部分可以由導(dǎo)航裝置20的控制單元23實現(xiàn)。此外，在上述實施例中，通過信號輸入單元41輸入到圖像處理裝置100的控制單元I的信號的一部分或全部可以輸入到導(dǎo)航裝置20。在這種情況下，優(yōu)選通過導(dǎo)航通信單元42將信號輸入到圖像處理裝置100的控制單元I。此外，在上述實施例中，從方向指示器83輸入車輛9的駕駛員想要的方向指示。然而，也可以通過另一種手段輸入方向指示。例如，可以從駕駛員眼睛的圖像中檢測駕駛員觀察點的移動，并且根據(jù)該檢測結(jié)果來輸入駕駛員想要的方向指示。此外，在上述實施例中，根據(jù)程序通過CPU的運算操作由軟件實現(xiàn)各種功能。然而，也可以通過電子硬件電路來實現(xiàn)這些功能的一部分。相對地，通過硬件電路實現(xiàn)的功能的一部分也可以通過軟件實現(xiàn)。本發(fā)明要求2009年12月24日向日本專利局提交的日本專利申請第2009-291878號的優(yōu)先權(quán)，其內(nèi)容通過弓I用并入本文。
權(quán)利要求
1.一種圖像處理裝置，其被構(gòu)造為安裝于車輛中，所述圖像處理裝置包括 圖像獲取器，其被構(gòu)造為獲取由設(shè)置在所述車輛上的多個攝像機拍攝的多個攝像機圖像； 合成圖像生成器，其被構(gòu)造為基于所述多個攝像機圖像生成多個合成圖像，所述多個合成圖像包括從彼此不同的多個觀察點觀察到的所述車輛及其周邊的多個第一向下視圖；以及 顯示圖像提供器，其被構(gòu)造為將與顯示圖像相對應(yīng)的信息輸出到安裝在所述車輛中的顯示裝置，其中在所述顯示圖像中連續(xù)再現(xiàn)所述多個合成圖像。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置， 其中，所述多個合成圖像包括從所述車輛的正上方觀察到的所述車輛及其周邊的第二向下視圖；并且 其中，在再現(xiàn)所述多個第一向下視圖時至少再現(xiàn)一次所述第二向下視圖來作為所述顯示圖像。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述多個第一向下視圖中的每一個都在其中央處示出所述車輛。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述多個第一向下視圖中的每一個都在其中央處示出所述車輛。
5.根據(jù)權(quán)利要求I到4中任意一項所述的圖像處理裝置，其中，所述合成圖像生成器被構(gòu)造為在所述圖像處理裝置啟動時生成所述多個合成圖像。
6.根據(jù)權(quán)利要求I到4中任意一項所述的圖像處理裝置，其中，所述合成圖像生成器被構(gòu)造為在生成所述多個合成圖像時消除具有低于參考值的亮度的一部分?jǐn)z像機圖像。
7.一種圖像處理系統(tǒng)，其包括 多個攝像機，其被構(gòu)造為設(shè)置在車輛上；以及 圖像處理裝置，其被構(gòu)造為安裝于所述車輛中，所述圖像處理裝置包括 圖像獲取器，其被構(gòu)造為獲取由所述多個攝像機拍攝的多個攝像機圖像； 合成圖像生成器，其被構(gòu)造為基于所述多個攝像機圖像生成多個合成圖像，所述多個合成圖像分別是從彼此不同的多個觀察點觀察到的所述車輛及其周邊的多個向下視圖；以及 顯示圖像提供器，其被構(gòu)造為將與顯示圖像相對應(yīng)的信息輸出到安裝在所述車輛中的顯示裝置，其中在所述顯示圖像中連續(xù)再現(xiàn)所述多個合成圖像。
8.一種圖像處理方法，其包括 獲取由設(shè)置在車輛上的多個攝像機拍攝的多個攝像機圖像； 基于所述多個攝像機圖像生成多個合成圖像，所述多個合成圖像分別是從彼此不同的多個觀察點觀察到的所述車輛及其周邊的多個向下視圖；以及 將與顯示圖像相對應(yīng)的信息輸出到安裝在所述車輛中的顯示裝置，其中在所述顯示圖像中連續(xù)再現(xiàn)所述多個合成圖像。
全文摘要
在所公開的車載圖像處理裝置中，圖像獲取裝置獲取由設(shè)置在車輛上的多個攝像機拍攝的多個攝像機圖像。合成圖像生成裝置生成具有從不同觀察點觀察所述車輛及其周圍的多個自上向下的圖像的多個合成圖像。顯示圖像提供裝置將對應(yīng)于顯示圖像的信息輸出至車載顯示裝置，其中在所述顯示圖像中連續(xù)播放所述多個合成圖像。
文檔編號H04N7/18GK102934427SQ201080059089
公開日2013年2月13日 申請日期2010年12月22日 優(yōu)先權(quán)日2009年12月24日
發(fā)明者木下功太郎, 小原澤正弘, 任順子 申請人:富士通天株式會社