圖像生成裝置制造方法【專利摘要】用于提高識(shí)別的立體物和合成在該立體物的拍攝圖像即立體物圖像的區(qū)域中的代替圖像的視覺(jué)辨認(rèn)性的圖像生成裝置，識(shí)別在車輛的周邊區(qū)域中存在的立體物，來(lái)輸出用于表示該立體物的屬性的立體物屬性信息；基于包含在立體物屬性信息中的位置信息，決定立體物在拍攝圖像中的圖像區(qū)域即立體物圖像區(qū)域，并包含在立體物屬性信息中。輸出用基于顏色信息的顏色進(jìn)行著色的立體物的代替圖像，以及基于類別信息和姿勢(shì)信息特定的立體物的特定的朝向姿勢(shì)的所述立體物的代替圖像中的至少一種；具有在立體物圖像區(qū)域的位置上生成合成有代替圖像輸出部所輸出的代替圖像的帶有代替圖像的俯瞰圖像的圖像合成部?！緦＠f(shuō)明】圖像生成裝置【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及一種圖像生成裝置，其將俯瞰圖像作為顯示圖像輸出，該俯瞰圖像是以上方假想觀察點(diǎn)對(duì)用于拍攝車輛的周邊區(qū)域的車載攝像頭所獲取的拍攝圖像進(jìn)行投影轉(zhuǎn)換(投影變換)而生成的?！?br>背景技術(shù)：
】[0002]在以往的俯瞰圖像生成裝置中，通過(guò)將車載攝像頭所獲取的拍攝圖像投影到與路面平行的投影面上，即通過(guò)使假想觀察點(diǎn)位于鉛垂上方的投影轉(zhuǎn)換，生成從正上方觀察的俯瞰圖像。因此，通過(guò)使該俯瞰圖像顯示在監(jiān)視器上，來(lái)幫助駕駛員掌握車輛周邊的路面狀況。然而，存在如下問(wèn)題，即，在利用這種投影轉(zhuǎn)換來(lái)獲得的俯瞰圖像中，與車載攝像頭的附近區(qū)域相比，遠(yuǎn)方區(qū)域的圖像的變形變大，對(duì)駕駛員來(lái)說(shuō)，難以掌握距離感。尤其，配置于路面上的向上方延伸的立體物(不僅是人、車，還有工程用三角錐等路上障礙物)成為在拍攝方向上被拉長(zhǎng)變形的形狀體，導(dǎo)致難以觀察。[0003]為了解決這樣的問(wèn)題，例如專利文獻(xiàn)I所記載的車輛周圍圖像顯示系統(tǒng)包括:攝像頭，其用于攝像車輛周圍；障礙物檢測(cè)單元，其用于檢測(cè)車輛自身周圍的障礙物；存儲(chǔ)部，其預(yù)先存儲(chǔ)與障礙物相對(duì)應(yīng)的代替圖像；圖像處理部，其基于攝像頭所獲取的圖像，生成從車輛自身周圍的假想觀察點(diǎn)觀察的俯瞰圖像。在障礙物檢測(cè)單元檢測(cè)到障礙物的情況下，圖像處理部確定障礙物，從所述存儲(chǔ)部中選擇讀取與所確定的障礙物相對(duì)應(yīng)的代替圖像，將所選擇的代替圖像的朝向和傾斜度變更為與觀察點(diǎn)相適合，然后將其重疊在所述俯瞰圖像上。在該系統(tǒng)中，圖像處理部將攝像單元所拍攝的圖像轉(zhuǎn)換為從車輛上部或者車輛側(cè)面觀察的俯瞰圖像，基于來(lái)自障礙物檢測(cè)單元的信息，從存儲(chǔ)部中選定與車輛周圍的立體障礙物的大小、動(dòng)作相匹配的代替圖像，并將其覆蓋顯示在該俯瞰圖像上。[0004]但是，在顯示代替圖像來(lái)代替用于反映實(shí)際的立體障礙物的障礙物圖像的情況下，有時(shí)駕駛員難以鑒別代替圖像和實(shí)際的立體障礙物。例如，在檢測(cè)到的立體障礙物為人且顯示出用插圖或照片表現(xiàn)的人物形象的情況下，若顯示畫(huà)面小，則不僅難以判斷顯示畫(huà)面上的人物形象和用后視鏡或肉眼確認(rèn)的實(shí)際的人是否為相同，而且若顯示畫(huà)面小，則可能連是否是人的情況都無(wú)法確認(rèn)。另外，尤其，若實(shí)際能夠確認(rèn)的人處于面向后方的姿勢(shì)，而代替圖像是面向前方的姿勢(shì)的人，則難以進(jìn)行鑒別。另外，在檢測(cè)到的立體障礙物為汽車的情況下，若實(shí)際能夠確認(rèn)的汽車是朝向后方的姿勢(shì)的小型貨車，而代替圖像是朝向前方的姿勢(shì)的轎車，則更難以進(jìn)行鑒別。[0005]現(xiàn)有技術(shù)文獻(xiàn)[0006]專利文獻(xiàn)[0007]專利文獻(xiàn)1:日本特開(kāi)2010-251939號(hào)公報(bào)(第0008段?第0056段、圖7、圖10)【
發(fā)明內(nèi)容】[0008]發(fā)明所要解決的問(wèn)題[0009]根據(jù)上述實(shí)際情況，希望能夠提高識(shí)別出的立體物和代替圖像的視覺(jué)辨認(rèn)性的技術(shù)，該代替圖像是指，合成在該立體物的拍攝圖像即立體物圖像的區(qū)域中的代替圖像。[0010]用于解決問(wèn)題的手段[0011]本發(fā)明的圖像生成裝置，將俯瞰圖像作為顯示圖像輸出，該俯瞰圖像，是以上方假想觀察點(diǎn)對(duì)用于拍攝車輛的周邊區(qū)域的車載攝像頭所獲取的拍攝圖像進(jìn)行投影轉(zhuǎn)換來(lái)生成的，該圖像生成裝置具有:立體物識(shí)別部，其識(shí)別在所述周邊區(qū)域存在的立體物，輸出用于表示該立體物的屬性的立體物屬性信息；立體物圖像區(qū)域決定部，其基于包含在所述立體物屬性信息中的位置信息，決定所述立體物在所述拍攝圖像中的圖像區(qū)域即立體物圖像區(qū)域；代替圖像輸出部，其輸出第一代替圖像和第二代替圖像中的至少一種，所述第一代替圖像是用基于包含在所述立體物屬性信息中的顏色信息的顏色進(jìn)行著色的所述立體物的代替圖像，所述第二代替圖像是基于包含在所述立體物屬性信息中的類別信息和姿勢(shì)信息而確定了立體物的確定的朝向姿勢(shì)的所述立體物的代替圖像；圖像合成部，其生成帶有代替圖像的俯瞰圖像，該帶有代替圖像的俯瞰圖像，是在所述立體物圖像區(qū)域的位置上生成合成由所述代替圖像輸出部輸出的代替圖像而成的。[0012]本發(fā)明的結(jié)構(gòu)基于如下的事實(shí)，即，通過(guò)在代替圖像上賦予與實(shí)際的立體物的顏色相對(duì)應(yīng)的顏色，來(lái)改進(jìn)實(shí)際的立體物和顯示畫(huà)面上的代替圖像之間的確定，從而提高實(shí)際的立體物和代替圖像的視覺(jué)辨認(rèn)性。[0013]根據(jù)上述本發(fā)明的結(jié)構(gòu)，包含在拍攝圖像中的識(shí)別立體物，成為明確表示該立體物的特征、尤其該特征的顏色的代替圖像的形式，并包含在該俯瞰圖像中。因此，駕駛員能夠根據(jù)該帶有代替圖像的俯瞰圖像容易地確認(rèn)位于車輛周邊的立體物。[0014]作為輸出著色的代替圖像的方法，有這樣的方法:事先將無(wú)色的代替圖像或者帶有特定顏色的代替圖像按類別和形狀等來(lái)以數(shù)據(jù)庫(kù)的形式存儲(chǔ)，基于實(shí)際的立體物的顏色信息，在將類別或形狀等作為檢索條件來(lái)提取的代替圖像上進(jìn)行著色或者涂抹來(lái)輸出；事先將用各種顏色進(jìn)行了著色的代替圖像以數(shù)據(jù)庫(kù)的形式存儲(chǔ)，通過(guò)在類別或形狀等上加上顏色信息的檢索條件來(lái)提取并輸出帶顏色的代替圖像。在考慮到立體物為人的情況下其衣服的顏色為多種情況時(shí)，前面的方法與后面的方法相比，能夠減少存儲(chǔ)在數(shù)據(jù)庫(kù)中的代替圖像的容量，因此優(yōu)選采用前面的方法。因此，在本發(fā)明的優(yōu)選的一個(gè)實(shí)施方式中，所述代替圖像輸出部包括:代替圖像數(shù)據(jù)庫(kù)，其用于存儲(chǔ)基于顏色信息的所述立體物的代替圖像；代替圖像提取部，其基于包含在所述立體物屬性信息中的立體物類別信息，從該代替圖像數(shù)據(jù)庫(kù)中提取所述立體物的代替圖像；代替圖像著色部，其用基于包含在所述立體物屬性信息中的顏色信息的顏色，對(duì)該代替圖像提取部所提取的代替圖像進(jìn)行著色。[0015]在識(shí)別立體物具有多個(gè)顏色的情況下，優(yōu)選盡量用多個(gè)顏色進(jìn)行著色，因此在本發(fā)明的優(yōu)選的一個(gè)實(shí)施方式中，所述代替圖像著色部基于所述顏色信息決定具有所述立體物的特征的多個(gè)顏色，并用多個(gè)顏色涂抹所述代替圖像。作為用多個(gè)顏色涂抹代替圖像的方法，例如提出了如下方法，即，計(jì)算出拍攝圖像中的立體物高度的下半部分的平均色和上半部分的平均色，用該各平均色分別涂抹代替圖像的下半部分和上半部分。另外，在考慮到代替圖像中的涂抹面積小的情況時(shí)，通過(guò)提高該平均色的色度來(lái)用顯眼(鮮明)的顏色進(jìn)行涂抹也是有效的。[0016]在代替圖像著色部基于顏色信息對(duì)代替圖像進(jìn)行著色時(shí)，在考慮到視覺(jué)辨認(rèn)性時(shí)，與單純地利用拍攝圖像的顏色相比，更優(yōu)選實(shí)施更高色度的顏色、容易與周圍的顏色進(jìn)行區(qū)別的顏色、該立體物所具有的典型色(例如若為郵政信箱則為紅色)，若為移動(dòng)物體則為能夠知道移動(dòng)方向的漸變色等進(jìn)行強(qiáng)調(diào)的顏色。因此，在本發(fā)明的優(yōu)選的一個(gè)實(shí)施方式中，具有顏色強(qiáng)調(diào)指示部，該顏色強(qiáng)調(diào)指示部，基于所述立體物屬性信息來(lái)輸出顏色強(qiáng)調(diào)指示，該顏色強(qiáng)調(diào)指示用于指示對(duì)由所述代替圖像著色部對(duì)所述代替圖像進(jìn)行著色的顏色進(jìn)行強(qiáng)調(diào)。[0017]能夠利用使觀察點(diǎn)向上方移動(dòng)的投影轉(zhuǎn)換來(lái)從拍攝圖像中生成俯瞰拍攝圖像，但是若初始的拍攝圖像為拍攝了車輛的前后左右的周圍的多個(gè)拍攝圖像，則能夠生成俯瞰以車輛為中心的車輛周圍區(qū)域的俯瞰拍攝圖像。而且，若在該俯瞰拍攝圖像上合成代替圖像，則還能夠抑制因代替圖像進(jìn)行投影轉(zhuǎn)換而變形從而難以觀察的情況。因此，在本發(fā)明的優(yōu)選的一個(gè)實(shí)施方式中，具有俯瞰拍攝圖像生成部，該俯瞰拍攝圖像生成部，使用投影轉(zhuǎn)換，從覆蓋所述車輛的周圍的拍攝方向各不相同的多個(gè)拍攝圖像中生成車輛周圍的俯瞰拍攝圖像；所述圖像合成部，對(duì)所述俯瞰拍攝圖像的所述立體物圖像區(qū)域賦予所述代替圖像。[0018]另外，在對(duì)拍攝方向不同的多個(gè)拍攝圖像進(jìn)行處理的該俯瞰拍攝圖像生成部中，附加以與拍攝圖像不同的觀察點(diǎn)進(jìn)行投影轉(zhuǎn)換的功能，因此，在制作出的帶代替圖像的俯瞰拍攝圖像中，能夠使俯瞰拍攝圖像和代替圖像之間的與觀察點(diǎn)有關(guān)的不協(xié)調(diào)感以及投影轉(zhuǎn)換變形的不協(xié)調(diào)感得到改善，即，變得協(xié)調(diào)。[0019]通過(guò)按照時(shí)序評(píng)價(jià)立體物的識(shí)別來(lái)得到立體物的移動(dòng)方向。因此，在本發(fā)明的一個(gè)實(shí)施方式中，與所述代替圖像一起賦予用于表示所述立體物的移動(dòng)方向的圖像。作為用于表示這樣的立體物的移動(dòng)方向的圖像的一個(gè)具體例，用于表示所述移動(dòng)方向的圖像能夠?yàn)榕c所述立體物的移動(dòng)相對(duì)應(yīng)的所述代替圖像的余像。另外，作為另外的一個(gè)例子，還提出了用于表示所述移動(dòng)方向的圖像能夠?yàn)榧^的情況。[0020]另外，所述代替圖像輸出部還能夠包括:代替圖像數(shù)據(jù)庫(kù)，其用于存儲(chǔ)基于類別信息和姿勢(shì)信息的所述立體物的代替圖像；代替圖像提取部，其將包含在所述立體物屬性信息中的類別信息以及姿勢(shì)信息作為檢索條件，從該代替圖像數(shù)據(jù)庫(kù)中提取所述代替圖像。通過(guò)這些構(gòu)件，代替圖像提取部能夠基于立體物屬性信息從代替圖像數(shù)據(jù)庫(kù)中提取立體物的代替圖像。[0021]另外，所述立體物識(shí)別部?jī)?yōu)選具有用于檢測(cè)人的臉部的臉部檢測(cè)部，在所述立體物識(shí)別部中，具有用于檢測(cè)人的臉部的臉部檢測(cè)部，基于所述臉部檢測(cè)部的檢測(cè)結(jié)果，在類別信息中設(shè)定表示所識(shí)別的立體物為人物的信息，并且，在所述姿勢(shì)信息中設(shè)定朝向前方的姿勢(shì)、朝向后方的姿勢(shì)、朝向側(cè)方的姿勢(shì)中的某一種。通過(guò)這些構(gòu)件，在包括臉部的情況下，能夠確定該立體物為人，而且還能夠根據(jù)該臉部的朝向來(lái)推斷人物的姿勢(shì)、朝向側(cè)方的姿勢(shì)、朝向前方的姿勢(shì)。[0022]另外，在所述立體物識(shí)別部中，基于通過(guò)車與車之間的通信而得到的車與車之間通信信息，在類別信息中設(shè)定表示所識(shí)別的立體物為汽車的信息，并且，在所述姿勢(shì)信息中設(shè)定朝向前方的姿勢(shì)、朝向后方的姿勢(shì)、朝向側(cè)方的姿勢(shì)中的某一種。通過(guò)這些構(gòu)件，能夠容易地設(shè)定立體物(汽車)的朝向姿勢(shì)、車種、車的顏色。[0023]另外，還具有俯瞰拍攝圖像生成部，該俯瞰拍攝圖像生成部，使用投影轉(zhuǎn)換，從覆蓋所述車輛的周圍的拍攝方向各不相同的多個(gè)拍攝圖像中生成車輛周圍的俯瞰拍攝圖像；所述圖像合成部，對(duì)所述俯瞰拍攝圖像的所述立體物圖像區(qū)域賦予所述代替圖像。在此，在利用上方觀察點(diǎn)進(jìn)行投影轉(zhuǎn)換處理而得到的周邊俯瞰圖像中，在攝像頭的跟前存在立體物的情況下，會(huì)產(chǎn)生立體物的頂部附近拉長(zhǎng)這樣的變形。因此，如本結(jié)構(gòu)那樣，通過(guò)賦予代替圖像，能夠?qū)⒘Ⅲw物修正為容易進(jìn)行視覺(jué)辨認(rèn)?！緦＠綀D】【附圖說(shuō)明】[0024]圖1是用于說(shuō)明用代替圖像置換立體物圖像且在代替圖像上實(shí)施著色的本發(fā)明的第一實(shí)施方式的基本構(gòu)想的示意圖。[0025]圖2是在圖1的基礎(chǔ)上增加了對(duì)代替圖像也進(jìn)行投影轉(zhuǎn)換的情況的示意圖。[0026]圖3是示出在利用了前后左右4個(gè)拍攝圖像的俯瞰圖像上應(yīng)用本發(fā)明的第一實(shí)施方式的代替圖像的例子的示意圖。[0027]圖4是應(yīng)用本發(fā)明的第一實(shí)施方式的圖像生成裝置的車輛周邊監(jiān)視系統(tǒng)的功能框圖。[0028]圖5是構(gòu)成第一實(shí)施方式的車輛周邊監(jiān)視系統(tǒng)的圖像處理模塊的功能框圖。[0029]圖6是示出將用代替圖像置換第一實(shí)施方式的立體物圖像而得到的俯瞰圖像顯示控制的流程的流程圖。[0030]圖7是用于說(shuō)明顯示將用代替圖像置換第一實(shí)施方式的立體物圖像而得到的俯瞰圖像的過(guò)程的示意圖。[0031]圖8是用于說(shuō)明用代替圖像置換立體物圖像且在代替圖像上實(shí)施著色的本發(fā)明的第二實(shí)施方式的基本構(gòu)想的示意圖。[0032]圖9是在圖8的基礎(chǔ)上增加了對(duì)代替圖像也進(jìn)行投影轉(zhuǎn)換的情況的示意圖。[0033]圖10是示出在利用了前后左右的4個(gè)拍攝圖像的俯瞰圖像上應(yīng)用本發(fā)明的第二實(shí)施方式的代替圖像的例子的示意圖。[0034]圖11是應(yīng)用本發(fā)明的第二實(shí)施方式的圖像生成裝置的車輛周邊監(jiān)視系統(tǒng)的功能框圖。[0035]圖12是構(gòu)成第二實(shí)施方式的車輛周邊監(jiān)視系統(tǒng)的圖像處理模塊的功能框圖。[0036]圖13是示出控制顯示將用代替圖像置換第二實(shí)施方式的立體物圖像而得到的俯瞰圖像的流程的流程圖。[0037]圖14是用于說(shuō)明顯示用代替圖像置換第二實(shí)施方式的立體物圖像而得到的俯瞰圖像的過(guò)程的示意圖。[0038]圖15是用于說(shuō)明其它實(shí)施方式的、顯示用附加了用于表示立體物的移動(dòng)方向的余像的代替圖像置換立體物圖像而得到的俯瞰圖像的過(guò)程的示意圖。[0039]圖16是用于說(shuō)明其它實(shí)施方式的、顯示用附加了用于表示立體物的移動(dòng)方向的箭頭的代替圖像置換立體物圖像而得到的俯瞰圖像的過(guò)程的示意圖?！揪唧w實(shí)施方式】[0040]1.第一實(shí)施方式[0041]首先，利用圖1的示意圖，說(shuō)明本發(fā)明的第一實(shí)施方式的俯瞰圖像生成過(guò)程的基本構(gòu)想，在該俯瞰圖像生成過(guò)程中，在車載攝像頭的拍攝圖像中包含已識(shí)別出的立體物的情況下，制作用代替圖像置換該立體物圖像而得到的俯瞰圖像。在此，為了使說(shuō)明變得簡(jiǎn)單，僅示出了利用作為車載攝像頭的后方攝像頭所拍攝的拍攝圖像而生成的俯瞰圖像，但是通常根據(jù)來(lái)自前后攝像頭和左右側(cè)方攝像頭的拍攝圖像來(lái)生成以車輛為中心的車輛周圍俯瞰圖像。[0042]為了將作為車輛周邊監(jiān)視畫(huà)面的俯瞰圖像顯示在監(jiān)視器上，首先，通過(guò)車載攝像頭獲取在車輛自身的行進(jìn)方向上的周邊區(qū)域的拍攝圖像(#I)。在此，獲取的拍攝圖像還被用于成為車輛周邊的障礙物的立體物的檢測(cè)處理中。在檢測(cè)立體物時(shí)，利用通常的圖像識(shí)別處理，但是能夠輔助性地使用超聲波、激光雷達(dá)法、紅外線法進(jìn)行立體物檢測(cè)(#2)。立體物的識(shí)別算法是廣為人知的，因此在此不進(jìn)行詳細(xì)敘述，但是能夠利用移動(dòng)矢量法或差分法來(lái)判斷是運(yùn)動(dòng)物體還是靜止物體，通過(guò)檢測(cè)大小、邊緣來(lái)確定形狀，根據(jù)顏色信息來(lái)確定類別等，從而識(shí)別立體物。另外，如在圖1中采用的方法那樣，也可以在由超聲波或激光雷達(dá)檢測(cè)出立體物之后，基于該檢測(cè)信息，在使用了拍攝圖像的圖像識(shí)別中更詳細(xì)地識(shí)別立體物。通過(guò)圖像識(shí)別，生成立體物屬性信息(#3)，該立體物屬性信息包括存在于車載攝像頭的攝像視場(chǎng)內(nèi)的立體物的位置、姿勢(shì)、大小、類別、顏色等的立體物屬性值。而且，根據(jù)包含在立體物屬性信息中的位置信息，決定立體物在拍攝圖像中的圖像區(qū)域即立體物圖像區(qū)域(#4)。[0043]另一方面，根據(jù)由后方攝像頭拍攝而得的拍攝圖像，在此，將投影面作為與路面平行的面來(lái)進(jìn)行投影轉(zhuǎn)換，即，在正上方設(shè)定假想觀察點(diǎn)來(lái)進(jìn)行視點(diǎn)轉(zhuǎn)換(#5)。通過(guò)該第一投影轉(zhuǎn)換處理，得到拍攝圖像的從正上方俯瞰的俯瞰圖像即車輛周邊的俯瞰圖像。此外，不僅能夠在拍攝圖像中決定立體物圖像區(qū)域，在該俯瞰圖像中也能夠根據(jù)包含在立體物屬性信息中的位置信息來(lái)決定立體物圖像區(qū)域。[0044]在使用上方觀察點(diǎn)進(jìn)行投影轉(zhuǎn)換處理來(lái)得到的周邊俯瞰圖像中，在攝像頭的跟前存在立體物的情況下，立體物的頂部附近會(huì)產(chǎn)生被拉長(zhǎng)這樣的變形。因此，如下面說(shuō)明那樣，通過(guò)用于置換為代替圖像置換的覆蓋處理或者用于從上方重合的重疊處理等合成處理,將立體物圖像區(qū)域修正為能夠容易地視覺(jué)辨認(rèn)立體物。[0045]首先，為了生成用于對(duì)立體物圖像區(qū)域進(jìn)行分配的代替圖像，從代替圖像數(shù)據(jù)庫(kù)中提取成為該基本(基礎(chǔ))的代替圖像(#6)。在該代替圖像數(shù)據(jù)庫(kù)中，登記有可能存在于車輛周邊且能夠通過(guò)該系統(tǒng)識(shí)別的類別的立體物，并且能夠?qū)诹Ⅲw物屬性信息中的類別信息、運(yùn)動(dòng)物體/靜止物體信息、大小信息等作為檢索條件來(lái)提取該立體物。[0046]基于包含在立體物屬性信息中的顏色信息，對(duì)從代替圖像數(shù)據(jù)庫(kù)中提取的代替圖像進(jìn)行著色(#7)。能夠用各種方式對(duì)該代替圖像進(jìn)行著色。例如，[0047](I)直接應(yīng)用拍攝圖像中的立體物所示的顏色。[0048](2)在具有確定的立體物的特征的顏色的情況下，應(yīng)用該顏色。若為郵政信箱，則為單一的紅色，若為樹(shù)木，則為單一的綠色，若為人，則為上半身部和下半身部的兩種顏色。[0049](3)若為運(yùn)動(dòng)物體,貝U用與動(dòng)作方向相對(duì)應(yīng)的漸變色(gradation)來(lái)進(jìn)行著色。[0050](4)在包括多個(gè)顏色的情況下，用單一的平均色進(jìn)行著色。[0051](5)將立體物在從路面的高度方向或者橫向上進(jìn)行分割，用各區(qū)域的平均色或者代表色分割代替圖像，并分成相對(duì)應(yīng)的顏色來(lái)進(jìn)行著色。[0052]對(duì)進(jìn)行了著色的代替圖像與周邊俯瞰圖像中的立體物圖像區(qū)域進(jìn)行對(duì)位，從而合成俯瞰圖像(#8)。此外，在合成時(shí)，為了使立體物圖像區(qū)域和代替圖像的尺寸相符，按照需要來(lái)進(jìn)行代替圖像的擴(kuò)縮(放大縮小)處理。而且，為了使代替圖像和合成之前的俯瞰圖像之間的邊界不明顯，對(duì)邊界周邊區(qū)域進(jìn)行暈影、與周邊像素混合(α混合等)、低色度化等抑制處理。[0053]通過(guò)合成處理而編入了代替圖像的最終的俯瞰圖像被發(fā)送至監(jiān)視器，并且以車輛周邊監(jiān)視的目的而顯示在監(jiān)視器上(#9)。[0054]圖2也是與圖1同樣地用于說(shuō)明發(fā)明的基本構(gòu)想的示意圖，但是與圖1的基本構(gòu)想不同的不同點(diǎn)在于，對(duì)代替圖像也實(shí)施視點(diǎn)轉(zhuǎn)換處理，然后將其合成在俯瞰圖像上。登記在代替圖像數(shù)據(jù)庫(kù)中的代替圖像也是從規(guī)定的觀察點(diǎn)制作的立體物圖像，但是，有時(shí)因俯瞰圖像中的應(yīng)該合成的圖像位置不同，而可能產(chǎn)生不能忽視的不協(xié)調(diào)感。為了避免該問(wèn)題，對(duì)代替圖像進(jìn)行如下的視點(diǎn)轉(zhuǎn)換處理(#7a)，在該處理中，使根據(jù)應(yīng)該合成的圖像位置、立體物的類別等來(lái)決定的上述不協(xié)調(diào)感消失。[0055]也可以采用如下的結(jié)構(gòu)來(lái)代替上述的通過(guò)視點(diǎn)轉(zhuǎn)換來(lái)避免不協(xié)調(diào)感的方法，即，在對(duì)俯瞰圖像進(jìn)行視點(diǎn)轉(zhuǎn)換之前的拍攝圖像上合成著色代替圖像，對(duì)合成的拍攝圖像進(jìn)行視點(diǎn)轉(zhuǎn)換，從而生成包括著色代替圖像的俯瞰圖像并將其送至監(jiān)視器。[0056]在圖1和圖2的基本構(gòu)想圖中，僅使用來(lái)自后方攝像頭的拍攝圖像，來(lái)生成監(jiān)視器顯示目的的最終的俯瞰圖像，但是為了良好地掌握以車輛自身為中心的四周的周邊狀況，尤其路面狀況，整個(gè)周圍俯瞰圖像更為有效。圖3是示出根據(jù)來(lái)自后方攝像頭la、左側(cè)方攝像頭lb、右側(cè)方攝像頭lc、前方攝像頭Id的4個(gè)拍攝圖像，制作整個(gè)周圍俯瞰圖像的處理過(guò)程的基本構(gòu)想圖，其中，所述整個(gè)周圍俯瞰圖像包括被包含在拍攝圖像中的立體物的著色代替圖像。[0057]在圖3中，例示了為了輔助倒退縱向停車而在監(jiān)視器上顯示整個(gè)周圍俯瞰圖像的生成步驟。此外，在該例子中，假設(shè)在后方攝像頭Ia的拍攝圖像中，存在三角錐來(lái)作為應(yīng)該注意的立體物。對(duì)后方攝像頭Ia所拍攝的后方拍攝圖像進(jìn)行投影轉(zhuǎn)換，使之成為從車輛正上方觀察的整個(gè)周圍俯瞰圖像的后方區(qū)域圖像。同樣，分別對(duì)左側(cè)方攝像頭Ib所拍攝的左方拍攝圖像、右側(cè)方攝像頭Ic所拍攝的右方拍攝圖像、前方攝像頭Id所拍攝的前方拍攝圖像進(jìn)行投影轉(zhuǎn)換，使它們成為整個(gè)周圍俯瞰圖像的左方區(qū)域圖像、右方區(qū)域圖像、前方區(qū)域圖像。在此，使用映射表進(jìn)行投影轉(zhuǎn)換。由于各自的映射數(shù)據(jù)值不同，因此分別設(shè)定有適當(dāng)?shù)挠成?。但是，以能夠?qū)⑴c路面平行的面作為投影面來(lái)進(jìn)行投影轉(zhuǎn)換的方式制作這些映射。[0058]在4個(gè)車載攝像頭中，來(lái)自后方攝像頭Ia的后方拍攝圖像中包括立體物(該例中為三角錐)，通過(guò)安裝在該車輛上的立體物檢測(cè)功能來(lái)檢測(cè)該立體物的存在，并且通過(guò)圖像識(shí)別，從拍攝了包括該立體物的周邊區(qū)域的拍攝圖像中進(jìn)行識(shí)別。包括與識(shí)別出的立體物相關(guān)的位置信息、類別信息、顏色信息等的立體物屬性信息，以能夠與來(lái)自后方攝像頭Ia的拍攝圖像(后方拍攝圖像)連接(link)的方式被輸出。因此，基于包含在立體物屬性信息中的位置信息，將后方區(qū)域圖像中的存在立體物的區(qū)域決定為立體物圖像區(qū)域。[0059]而且，將包含在立體物屬性信息中的類別信息和尺寸信息等作為檢索條件，來(lái)提取包含在后方區(qū)域圖像中的立體物(三角錐和汽車的一部分)的代替圖像?；诎诹Ⅲw物屬性信息中的顏色信息，對(duì)提取的代替圖像進(jìn)行著色。此時(shí)，顏色信息由于基于拍攝圖像中的識(shí)別的立體物圖像的像素值，因此受到環(huán)境光等影響。根據(jù)立體物不同，有時(shí)用原來(lái)的自然顏色進(jìn)行著色比較好，但是通常用強(qiáng)調(diào)的顏色進(jìn)行著色能夠得到更良好的視覺(jué)辨認(rèn)性。在該例子中，即使三角錐的顏色信息為黃色系的暗的顏色，也通過(guò)用高色度的黃色進(jìn)行著色來(lái)提高三角錐的視覺(jué)辨認(rèn)性。進(jìn)行了著色的三角錐以及汽車的一部分即著色代替圖像被合成在后方側(cè)俯瞰圖像中。此時(shí)，也可以使用生成了后方側(cè)俯瞰圖像的視點(diǎn)轉(zhuǎn)換映射表，或者使用更容易觀察著色代替圖像(三角錐和汽車的一部分)的最佳的視點(diǎn)轉(zhuǎn)換映射表，來(lái)將著色代替圖像轉(zhuǎn)換為俯瞰圖像以后再進(jìn)行合成。[0060]另外，優(yōu)選在用于與所輸出的著色代替圖像進(jìn)行合成的整個(gè)周圍俯瞰圖像的后方區(qū)域的圖像(后方側(cè)俯瞰圖像部分)中，對(duì)之前決定的立體物圖像區(qū)域?qū)嵤┮种铺幚怼０ê羞@樣生成的著色代替圖像的后方俯瞰圖像部分，還合成有左方俯瞰圖像部分、右方俯瞰圖像部分、前方俯瞰圖像部分，最終生成用于在監(jiān)視器上顯示的整個(gè)周圍俯瞰圖像。當(dāng)然，也可以先生成整個(gè)周圍俯瞰圖像，然后對(duì)已經(jīng)生成的整個(gè)周圍俯瞰圖像合成著色代替圖像。[0061]以下，基于附圖，對(duì)于本發(fā)明的第一實(shí)施方式進(jìn)行說(shuō)明。在本實(shí)施方式中，如圖3例示那樣，為了構(gòu)建車輛周邊監(jiān)視系統(tǒng)，在車輛上組裝有圖像生成裝置，該圖像生成裝置根據(jù)來(lái)自4個(gè)車載攝像頭即后方攝像頭la、前方攝像頭Id、左側(cè)方攝像頭lb、右側(cè)方攝像頭Ic的拍攝圖像和立體物檢測(cè)信息來(lái)制作整個(gè)周圍俯瞰圖像。在下面的說(shuō)明中，有時(shí)適當(dāng)?shù)貙⑦@些車載攝像頭la、lb、lc、Id簡(jiǎn)單地總稱為攝像頭I。在進(jìn)行車輛周邊監(jiān)視時(shí)，在監(jiān)視器上顯示攝像頭I所拍攝的拍攝圖像或使用該拍攝圖像生成的俯瞰圖像。[0062]攝像頭I是數(shù)字?jǐn)z像頭，其使用CCD(chargecoupleddevice:電荷稱合元件)或CIS(CMOSimagesensor:互補(bǔ)金屬氧化物圖像傳感器)等攝像元件,按照時(shí)序拍攝每秒15?30幀的二維圖像，并進(jìn)行數(shù)字轉(zhuǎn)換，實(shí)時(shí)輸出其拍攝圖像。攝像頭I具有廣角鏡頭。尤其，在本實(shí)施方式中，以在水平方向上確保140?190°的視角且相對(duì)于光軸具有大約30度左右的俯角的方式設(shè)置在車輛上。[0063]在車輛內(nèi)部設(shè)置有形成車輛周邊監(jiān)視系統(tǒng)的核心的E⑶20。如圖4所示，該E⑶20具有將來(lái)車輛自身狀態(tài)檢測(cè)傳感器組的輸入信號(hào)直接或者進(jìn)行評(píng)價(jià)后傳送至ECU20的內(nèi)部的傳感器輸入接口23、通信接口70等，并且具有對(duì)輸入信息進(jìn)行處理的微處理器、DSP(digitalsignalprocessor:數(shù)字信號(hào)處理器)。[0064]與傳感器輸入接口23相連接的車輛狀態(tài)檢測(cè)傳感器組用于檢測(cè)駕駛操作和車輛行駛的狀態(tài)。雖然未圖示，但是在車輛狀態(tài)檢測(cè)傳感器組中包括對(duì)轉(zhuǎn)向操作方向(操舵方向)和操作量(操舵量)進(jìn)行測(cè)量的轉(zhuǎn)向傳感器、對(duì)變速桿的變速位置進(jìn)行判斷的變速位置傳感器、對(duì)油門(mén)踏板的操作量進(jìn)行測(cè)量的油門(mén)傳感器、對(duì)制動(dòng)踏板的操作量進(jìn)行檢測(cè)的制動(dòng)器傳感器、對(duì)車輛自身的行駛距離進(jìn)行檢測(cè)的距離傳感器等。[0065]另外，用作輸入輸出接口的通信接口70采用車載LAN(局域網(wǎng))作為數(shù)據(jù)傳輸線，以能夠傳輸數(shù)據(jù)的方式與監(jiān)視器21、觸摸面板21T、動(dòng)力轉(zhuǎn)向單元PS、變速機(jī)構(gòu)T、制動(dòng)裝置BK等控制單元連接。另外，還具有揚(yáng)聲器22來(lái)作為音頻信息的輸出設(shè)備。[0066]另外，ECU20具有由硬件或軟件或者這兩者構(gòu)成的各種功能部，但是在本發(fā)明中，作為尤其相關(guān)的功能部，列舉了用于識(shí)別車輛周邊的立體物的立體物識(shí)別模塊30、圖像處理模塊50、顯示控制部71、音頻處理模塊72。圖像處理模塊50所生成的監(jiān)視器顯示圖像被顯示控制部71轉(zhuǎn)換為視頻信號(hào)并發(fā)送至監(jiān)視器21。音頻處理模塊72所生成的引導(dǎo)音頻或緊急時(shí)刻的警告音等通過(guò)揚(yáng)聲器22發(fā)出。[0067]立體物識(shí)別模塊30包括:立體物檢測(cè)部31，其對(duì)來(lái)自多個(gè)超聲波傳感器3的檢測(cè)信號(hào)進(jìn)行評(píng)價(jià)而進(jìn)行立體物檢測(cè)；立體物識(shí)別部32，其使用來(lái)自車載攝像頭I的拍攝圖像進(jìn)行立體物的識(shí)別。超聲波傳感器3配置在車輛的前部、后部、左側(cè)部，右側(cè)部這些各部分中的兩端處和中央處，能夠利用位于車輛周邊附近的物體(障礙物)的反射波來(lái)檢測(cè)該物體。不僅能夠通過(guò)處理各超聲波傳感器3中的反射波的返回時(shí)間和振幅，來(lái)推斷從車輛至物體的距離和物體的大小，而且還能夠通過(guò)按時(shí)序?qū)λ械某暡▊鞲衅?的檢測(cè)結(jié)果進(jìn)行處理，來(lái)推斷物體的移動(dòng)和橫向的外形形狀。就立體物識(shí)別部32而言，其本身安裝有公知的物體識(shí)別算法，根據(jù)輸入的拍攝圖像、尤其是按時(shí)序連續(xù)的拍攝圖像，來(lái)識(shí)別車輛周邊的立體物。為了檢測(cè)立體物,可以具有立體物檢測(cè)部31和立體物識(shí)別部32中的某一個(gè)，但是同時(shí)具有能夠優(yōu)良地對(duì)立體物的形態(tài)進(jìn)行檢測(cè)的立體物識(shí)別部32和能夠優(yōu)良地計(jì)算距立體物的距離即立體物的位置的立體物檢測(cè)部31并使它們協(xié)同作業(yè)，能夠進(jìn)行更準(zhǔn)確的立體物的識(shí)別。由此，立體物識(shí)別模塊30輸出記錄有所識(shí)別的立體物的位置、姿勢(shì)、大小、色調(diào)等的立體物屬性信息。作為立體物檢測(cè)部31，還能夠應(yīng)用使用了激光雷達(dá)的其它立體物檢測(cè)裝置。[0068]圖5示出了E⑶20的圖像處理模塊50的功能框圖。圖像處理模塊50具有生成俯瞰圖像等圖像的功能，所述俯瞰圖像是對(duì)用于拍攝車輛自身周邊的攝像頭I所獲取的拍攝圖像進(jìn)行投影轉(zhuǎn)換而成的。[0069]圖像處理模塊50包括拍攝圖像存儲(chǔ)器51、前處理部52、圖像生成部53、立體物屬性信息獲取部54、圖像合成部55、幀存儲(chǔ)器56。攝像頭I所獲取的拍攝圖像被加載在拍攝圖像存儲(chǔ)器51中而被展開(kāi)，前處理部52用于調(diào)整分別被攝像頭I獲取的拍攝圖像之間的輝度平衡、顏色平衡等。立體物屬性信息獲取部54接收從立體物識(shí)別模塊30輸出的立體物屬性信息，并讀取在該立體物屬性信息中記錄的立體物的位置、大小、顏色、姿勢(shì)等各種屬性信息(數(shù)據(jù))。[0070]圖像生成部53包括俯瞰圖像生成部60、代替圖像輸出部80，通常圖像生成部66，立體物圖像區(qū)域決定部67。為了將拍攝圖像直接作為車輛周邊圖像顯示在監(jiān)視器上，通常圖像生成部66對(duì)畫(huà)質(zhì)進(jìn)行適當(dāng)調(diào)整。作為顯示在監(jiān)視器上的車輛周邊圖像，可以是由駕駛員從后方攝像頭la、左側(cè)方攝像頭lb、右側(cè)方攝像頭lc、前方攝像頭Id所拍攝的拍攝圖像中選擇出的I個(gè)拍攝圖像，也可以是多個(gè)拍攝圖像的組合。立體物圖像區(qū)域決定部67根據(jù)從立體物屬性信息獲取部54獲取的立體物屬性信息所含已經(jīng)識(shí)別出的立體物的位置信息，來(lái)決定該立體物在拍攝圖像中的圖像區(qū)域。此時(shí)，能夠決定拍攝圖像或俯瞰拍攝圖像或者這兩者的立體物圖像區(qū)域。[0071]俯瞰圖像生成部60具有俯瞰拍攝圖像生成部63，該俯瞰拍攝圖像生成部63，通過(guò)視點(diǎn)轉(zhuǎn)換處理根據(jù)加載(展開(kāi))在拍攝圖像存儲(chǔ)器51中的一張或者多張拍攝圖像生成俯瞰圖像，而且在該實(shí)施方式中，俯瞰圖像生成部60還具有俯瞰代替圖像生成部64，該俯瞰代替圖像生成部64，通過(guò)視點(diǎn)轉(zhuǎn)換處理根據(jù)后面詳細(xì)說(shuō)明的代替圖像生成俯瞰圖像。此外，在該實(shí)施方式中，通過(guò)使用了映射表(mappingtable)的投影轉(zhuǎn)換，來(lái)進(jìn)行俯瞰拍攝圖像生成部63以及俯瞰代替圖像生成部64中的投影轉(zhuǎn)換，因此以能夠選擇的方式預(yù)先存儲(chǔ)有用于在此使用的投影轉(zhuǎn)換的各種映射表。在此，將由這樣的以能夠選擇的方式存儲(chǔ)的多個(gè)映射表形成的集合體以及逐個(gè)(單個(gè))的映射表稱為映射表62。構(gòu)成映射表62的各映射表(下面，僅稱為映射(map))能夠以各種形式構(gòu)成，在此，構(gòu)成為記錄了拍攝圖像的像素?cái)?shù)據(jù)與投影轉(zhuǎn)換圖像(通常為俯瞰拍攝圖像)的像素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系的映射，以及記錄了代替圖像的像素?cái)?shù)據(jù)和投影轉(zhuǎn)換圖像的像素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系的映射。尤其，在I幀的拍攝圖像的各像素中記錄有俯瞰拍攝圖像中的目的像素坐標(biāo)，在每種車載攝像頭上適用不同的映射。投影轉(zhuǎn)換選擇部61基于從立體物屬性信息中讀取的屬性，選擇盡量與俯瞰拍攝圖像協(xié)調(diào)(適合)的俯瞰代替圖像生成部64的投影轉(zhuǎn)換。[0072]在俯瞰代替圖像生成部64上也設(shè)定有多種投影轉(zhuǎn)換。投影轉(zhuǎn)換選擇部61基于代替物(立體物)的類別、合成目的地的拍攝圖像(俯瞰拍攝圖像)的投影轉(zhuǎn)換的種類(觀察點(diǎn)位置)，選擇在俯瞰代替圖像生成部64中執(zhí)行的投影轉(zhuǎn)換。此外，俯瞰代替圖像生成部64還包括將輸入的代替圖像直接直通輸出的功能。[0073]代替圖像輸出部80包括代替圖像提取部83、代替圖像數(shù)據(jù)庫(kù)82、代替圖像著色部81、顏色強(qiáng)調(diào)指示部84。在代替圖像數(shù)據(jù)庫(kù)82中，針對(duì)可能被立體物識(shí)別部32識(shí)別出的立體物的各種形態(tài)，例如若是人，則針對(duì)孩子、大人、女性、男性，進(jìn)而針對(duì)其朝向和姿勢(shì)等，登記并存儲(chǔ)有按每種類別預(yù)先制作出的圖形(照片、插圖等)圖像來(lái)作為代替圖像，并且能夠通過(guò)檢索條件來(lái)選擇所述代替圖像。代替圖像提取部83基于包含在立體物屬性信息中的立體物類別信息等，來(lái)從代替圖像數(shù)據(jù)庫(kù)中提取立體物識(shí)別部32所識(shí)別出的立體物的代替圖像。而且，代替圖像著色部81基于包含在立體物屬性信息中的顏色信息對(duì)提取的代替圖像進(jìn)行著色。著色的方法可以根據(jù)代替圖像而采用適當(dāng)?shù)姆椒?，但是，?識(shí)別出的對(duì)象)是人，則也可以向分為上半身部分和下半身部分來(lái)設(shè)定的涂抹區(qū)域賦予恰當(dāng)?shù)念伾?，或者將整體涂抹為恰當(dāng)色。另外，也可以預(yù)先賦予恰當(dāng)色。在此，恰當(dāng)色指，使駕駛員觀察用該顏色進(jìn)行了著色的代替圖像而容易想象出實(shí)際的立體物的顏色。若是三角錐，則為預(yù)先賦予的橙色或黃色；若是人物，則為從拍攝圖像中得到的上衣的顏色或裙子的顏色。由于在液晶面板等顯示畫(huà)面上顯示的代替圖像變小，因此顏色強(qiáng)調(diào)指示部84向代替圖像著色部81發(fā)送用于將對(duì)代替圖像進(jìn)行著色的顏色強(qiáng)調(diào)的顏色強(qiáng)調(diào)指示，以便容易視覺(jué)辨認(rèn)該顏色。優(yōu)選根據(jù)立體物的種類和立體物相對(duì)于車輛行駛的危險(xiǎn)度(能夠根據(jù)與車輛之間的距離等來(lái)判斷)，來(lái)進(jìn)行該顏色強(qiáng)調(diào)指示，因此基于立體物屬性信息進(jìn)行即可。[0074]圖像合成部55使俯瞰代替圖像生成部64所生成的俯瞰代替圖像重合在俯瞰拍攝圖像的立體物圖像區(qū)域上，從而進(jìn)行合成。作為合成方法，并不限定于覆蓋，還能夠采用透明的重合等。帶有合成的帶有代替圖像的俯瞰圖像，作為顯示圖像而被傳送至幀存儲(chǔ)器56，并經(jīng)由顯示控制部71顯示在作為顯示畫(huà)面的監(jiān)視器21的畫(huà)面上。[0075]接著，使用圖6的流程圖和圖7的說(shuō)明圖，對(duì)于組裝有如上述那樣構(gòu)成的圖像生成裝置的車輛周邊監(jiān)視系統(tǒng)的俯瞰圖像顯示的流程進(jìn)行說(shuō)明。[0076]當(dāng)該車輛周邊監(jiān)視目的的俯瞰圖像顯示過(guò)程開(kāi)始時(shí)，首先，讀取根據(jù)駕駛員的希望而手動(dòng)設(shè)定或者默認(rèn)設(shè)定的俯瞰圖像的顯示類別(#01)。此處的俯瞰圖像的顯示類另IJ，用于規(guī)定在生成車輛周邊的俯瞰圖像時(shí)使用的拍攝圖像、假想觀察點(diǎn)位置、生成的俯瞰圖像在監(jiān)視器畫(huà)面上的布局等。針對(duì)所使用的車載攝像頭I的每個(gè)拍攝圖像，設(shè)定按照讀取的俯瞰圖像的顯示類別而在俯瞰拍攝圖像生成部63中使用的投影轉(zhuǎn)換所需的映射(#02)。獲取4臺(tái)車載攝像頭I的拍攝圖像(#03)。使用設(shè)定的各映射，從各拍攝圖像生成俯瞰圖像部分(#04)。將生成的俯瞰圖像部分組合，并且在車輛自身位置上配置預(yù)先設(shè)定的車輛的俯瞰圖形圖像(可以為插圖或符號(hào))，從而生成顯示用的俯瞰圖像(#05)。[0077]判斷是否從立體物識(shí)別模塊30輸出了立體物屬性信息(#06)。在未輸出立體物屬性信息的情況下(#06，“否”的分支)，視為在哪個(gè)拍攝圖像中都不存在應(yīng)該注意的立體物，直接使用在步驟#05中生成的周邊俯瞰拍攝圖像來(lái)生成俯瞰顯示圖像(#14)。將生成的俯瞰顯示圖像顯示在監(jiān)視器21上(#15)，只要沒(méi)有結(jié)束該俯瞰圖像顯示過(guò)程的指令(#16，“否”的分支)，就再次返回步驟#01來(lái)反復(fù)進(jìn)行該過(guò)程。[0078]在步驟#06的判斷中，在輸出了立體物屬性信息的情況下(#06，“是”的分支)，視為在拍攝圖像中存在應(yīng)該注意的立體物，首先，讀取包含在立體物屬性信息中的已識(shí)別出的立體物的位置、類別、顏色、姿勢(shì)、大小等數(shù)據(jù)(#07)。基于讀取的與立體物的位置相關(guān)的數(shù)據(jù)，決定該立體物在拍攝圖像中的圖像區(qū)域(#08)。[0079]就合成在決定的立體物圖像區(qū)域中的該立體物的代替圖像而言，將包含在立體物屬性信息中的類別、大小、姿勢(shì)等信息作為檢索條件，來(lái)提取代替圖像并將其加載(展開(kāi))在存儲(chǔ)器中(#09)。接著，代替圖像著色部81基于包含在立體物屬性信息中的顏色信息對(duì)加載在存儲(chǔ)器中的代替圖像涂抹顏色(#10)。包含在立體物屬性信息中的顏色信息，基于包含在拍攝圖像中的立體物的像素值，因此根據(jù)照明條件等不同，可能無(wú)法檢測(cè)到具有本來(lái)的立體物的特征的顏色。在該著色處理中，在判斷為產(chǎn)生了這樣的事情的情況下，強(qiáng)調(diào)對(duì)代替圖像進(jìn)行著色的顏色。另外，也可以對(duì)代替圖像實(shí)施如強(qiáng)調(diào)代替圖像的輪廓等的形狀明確化處理。[0080]針對(duì)進(jìn)行了著色的代替圖像，基于對(duì)拍攝圖像實(shí)施的投影轉(zhuǎn)換的種類(觀察點(diǎn)位置)和被代替圖像代替的立體物的類別、姿勢(shì)等，選擇最佳的投影轉(zhuǎn)換，并將該映射數(shù)據(jù)設(shè)定在俯瞰代替圖像生成部64中(#11)，從而對(duì)代替圖像進(jìn)行投影轉(zhuǎn)換(#12)。當(dāng)然，也可以設(shè)定直通(through)用映射數(shù)據(jù)，至少生成未實(shí)施投影轉(zhuǎn)換的代替圖像。接著，俯瞰代替圖像重合在俯瞰拍攝圖像的立體物圖像區(qū)域中，從而進(jìn)行合成(#13)。這樣生成的最終的車輛周邊的俯瞰圖像作為俯瞰顯示圖像(#14)，并顯示在監(jiān)視器21中(#15)。[0081]2.第二實(shí)施方式[0082]接著，對(duì)于第二實(shí)施方式進(jìn)行說(shuō)明。使用圖8的示意圖，對(duì)于第二實(shí)施方式的俯瞰圖像生成過(guò)程的基本構(gòu)想進(jìn)行說(shuō)明。在此，為了使說(shuō)明變得簡(jiǎn)單，示出了僅使用作為車載攝像頭的后方攝像頭所拍攝的拍攝圖像而生成的俯瞰圖像，但是通常，根據(jù)來(lái)自前后的攝像頭和左右的側(cè)方攝像頭的拍攝圖像來(lái)生成以車輛為中心的車輛周圍俯瞰圖像。[0083]為了將作為車輛周邊監(jiān)視畫(huà)面的俯瞰圖像顯示在監(jiān)視器上，首先，通過(guò)車載攝像頭獲取在車輛自身的行進(jìn)方向上的周邊區(qū)域的拍攝圖像(#I)。在此，獲取的拍攝圖像還被用于成為車輛周邊的障礙物的立體物的檢測(cè)處理中。在檢測(cè)立體物時(shí)，使用通常的圖像識(shí)別處理，但是輔助性地通過(guò)使用超聲波、激光雷達(dá)法、紅外線法來(lái)進(jìn)行立體物檢測(cè)。立體物的識(shí)別算法是廣為人知的，因此在此不進(jìn)行詳細(xì)敘述，但是可以使用移動(dòng)矢量法或差分法來(lái)判斷是運(yùn)動(dòng)物體還是靜止物體，通過(guò)檢測(cè)大小、邊緣來(lái)確定形狀，根據(jù)顏色信息來(lái)確定類別等，從而識(shí)別立體物。另外，如在圖8中采用那樣，也可以在由超聲波或激光雷達(dá)檢測(cè)出立體物之后，基于該檢測(cè)信息，在使用了拍攝圖像的圖像識(shí)別中更詳細(xì)地識(shí)別立體物。而且，雖然對(duì)象物被限定，但是在立體物為能夠與外部進(jìn)行通信的車輛的情況下，能夠使用車與車之間通信來(lái)決定已識(shí)別出的立體物(汽車)的朝向姿勢(shì)、車種、車的顏色。另外，在立體物為持有手機(jī)(移動(dòng)電話)的人物的情況下，還能夠根據(jù)手機(jī)的發(fā)出電波來(lái)判斷識(shí)別的立體物為人物的情況。而且，還能夠根據(jù)臉部檢測(cè)算法來(lái)決定立體物為人物的情況以及該人物的朝向姿勢(shì)(#2)。通過(guò)任一方法以及它們的組合，生成包括存在于車載攝像頭的攝像視場(chǎng)內(nèi)的立體物的位置、類別、姿勢(shì)、大小、顏色等立體物屬性值的立體物屬性信息(#3)。而且，根據(jù)包含在立體物屬性信息中的位置信息，決定立體物在拍攝圖像中的圖像區(qū)域即立體物圖像區(qū)域(#4)。[0084]另一方面，根據(jù)由后方攝像頭拍攝而得的拍攝圖像，在此，進(jìn)行將投影面作為與路面平行的面的投影轉(zhuǎn)換，即在正上方設(shè)定假想觀察點(diǎn)的視點(diǎn)轉(zhuǎn)換(#5)。通過(guò)該第一投影轉(zhuǎn)換處理，得到從拍攝圖像的正上方俯瞰的俯瞰圖像即車輛周邊的俯瞰圖像。此外，就立體物圖像區(qū)域而言，不僅能夠在拍攝圖像中決定，還能夠在該俯瞰圖像中也根據(jù)包含在立體物屬性信息中的位置信息來(lái)決定。[0085]在使用上方觀察點(diǎn)進(jìn)行投影轉(zhuǎn)換處理來(lái)得到的周邊俯瞰圖像中，在攝像頭的跟前存在立體物的情況下，產(chǎn)生立體物的頂部附近拉長(zhǎng)這樣的變形。因此，如下面說(shuō)明那樣，通過(guò)進(jìn)行被代替圖像置換的覆蓋處理或者從上方重合的重疊處理等合成處理，將立體物圖像區(qū)域修正為能夠容易地視覺(jué)辨認(rèn)立體物。[0086]首先，從代替圖像數(shù)據(jù)庫(kù)提取要向立體物圖像區(qū)域分配的代替圖像(#6)。在該代替圖像數(shù)據(jù)庫(kù)中，登記有可能存在于車輛周邊且能夠通過(guò)該系統(tǒng)識(shí)別出的類別的立體物，并且能夠?qū)诹Ⅲw物屬性信息中的類別信息、姿勢(shì)信息、顏色信息、大小信息、運(yùn)動(dòng)物體/靜止物體信息等作為檢索條件來(lái)提取該立體物。因此，為了提取恰當(dāng)?shù)拇鎴D像，將類別信息和姿勢(shì)信息作為檢索條件來(lái)訪問(wèn)代替圖像數(shù)據(jù)庫(kù)。此外，此時(shí)，就作為檢索條件的姿勢(shì)信息而言，根據(jù)得到的姿勢(shì)信息，被置換為成為處理對(duì)象的拍攝圖像中的立體物的朝向姿勢(shì)，例如朝向前方的姿勢(shì)、朝向側(cè)方的姿勢(shì)、朝向后方的姿勢(shì)。通過(guò)使識(shí)別的立體物與類別和姿勢(shì)實(shí)質(zhì)上一致，使提取的代替圖像與周邊俯瞰圖像中的立體物圖像區(qū)域?qū)ξ?，從而合成俯瞰圖像(#8)。此外，在合成時(shí)，為了使立體物圖像區(qū)域和代替圖像的尺寸一致，按照需要來(lái)進(jìn)行代替圖像的擴(kuò)縮處理。而且，為了使代替圖像和合成之前的俯瞰圖像之間的邊界變得不明顯，對(duì)邊界周邊區(qū)域進(jìn)行暈影、與周邊像素混合(α混合等)、低色度化等抑制處理。通過(guò)合成處理而編入了代替圖像的最終的俯瞰圖像被發(fā)送至監(jiān)視器，并且以車輛周邊監(jiān)視的目的而顯示在監(jiān)視器上(#9)。[0087]圖9也是與圖8同樣地用于說(shuō)明發(fā)明的基本構(gòu)想的示意圖，但是與圖8的基本構(gòu)想不同的不同點(diǎn)在于，對(duì)代替圖像也實(shí)施視點(diǎn)轉(zhuǎn)換處理后，將其合成在俯瞰圖像上。登記在代替圖像數(shù)據(jù)庫(kù)中的代替圖像也是從規(guī)定的觀察點(diǎn)制作的立體物圖像，但是根據(jù)俯瞰圖像中的應(yīng)該合成的圖像位置不同可能產(chǎn)生不能忽視的不協(xié)調(diào)感。為了避免該問(wèn)題，對(duì)代替圖像進(jìn)行視點(diǎn)轉(zhuǎn)換處理(#5a)，使根據(jù)應(yīng)該合成的圖像位置和立體物的類別等而決定的上述不協(xié)調(diào)感消失。[0088]也可以采用如下的結(jié)構(gòu)來(lái)代替通過(guò)這樣的視點(diǎn)轉(zhuǎn)換的避免不協(xié)調(diào)感的方法，SP，在進(jìn)行視點(diǎn)轉(zhuǎn)換來(lái)變?yōu)楦╊珗D像之前的拍攝圖像上合成著色代替圖像，對(duì)合成的拍攝圖像進(jìn)行視點(diǎn)轉(zhuǎn)換，從而生成包括著色代替圖像的俯瞰圖像并將其發(fā)送至監(jiān)視器。[0089]此外，雖然是可選擇的(option)處理，但是在立體物屬性信息中包含顏色信息，在該顏色信息中的顏色和提取的代替圖像的顏色不同的情況下，或者在提取的代替圖像為無(wú)色的情況下，也可以用顏色信息中的顏色對(duì)提取的代替圖像進(jìn)行著色處理(#7)。[0090]在圖8和圖9的基本構(gòu)想圖中，僅使用來(lái)自后方攝像頭的拍攝圖像，來(lái)生成監(jiān)視器顯示目的的最終的俯瞰圖像，但是為了良好地掌握以車輛自身為中心的四周的周邊狀況，尤其路面狀況，使用整個(gè)周圍俯瞰圖像更有效。圖10是示出根據(jù)來(lái)自后方攝像頭la、左側(cè)方攝像頭lb、右側(cè)方攝像頭lc、前方攝像頭Id的4個(gè)拍攝圖像，制作整個(gè)周圍俯瞰圖像的處理過(guò)程的基本構(gòu)想圖，其中，所述整個(gè)周圍俯瞰圖像包括包含在拍攝圖像中的立體物的著色代替圖像。[0091]在圖10中例示了為了輔助倒退縱向停車而在監(jiān)視器上顯示的整個(gè)周圍俯瞰圖像的生成步驟。此外，在該例子中，假設(shè)在后方攝像頭Ia的拍攝圖像中，作為應(yīng)該注意的立體物而存在三角錐。對(duì)后方攝像頭Ia所拍攝的后方拍攝圖像進(jìn)行投影轉(zhuǎn)換，使之轉(zhuǎn)換為從車輛正上方觀察的整個(gè)周圍俯瞰圖像的后方區(qū)域圖像。同樣，分別對(duì)左側(cè)方攝像頭Ib所拍攝的左方拍攝圖像、右側(cè)方攝像頭Ic所拍攝的右方拍攝圖像、前方攝像頭Id所拍攝的前方拍攝圖像進(jìn)行投影轉(zhuǎn)換，使它們作為整個(gè)周圍俯瞰圖像的左方區(qū)域圖像、右方區(qū)域圖像、前方區(qū)域圖像。在此，使用映射表進(jìn)行投影轉(zhuǎn)換。由于各自的映射數(shù)據(jù)值不同，因此分別設(shè)定有適當(dāng)?shù)挠成洹５?，這些各映射以能夠?qū)⑴c路面平行的面作為投影面來(lái)進(jìn)行投影轉(zhuǎn)換的方式制作。[0092]在4個(gè)車載攝像頭中的來(lái)自后方攝像頭Ia的后方拍攝圖像中包括立體物(該例中為三角錐)，通過(guò)安裝在該車輛上的立體物檢測(cè)功能來(lái)檢測(cè)該立體物的存在，并且通過(guò)圖像識(shí)別從拍攝了包括該立體物的周邊區(qū)域的拍攝圖像中進(jìn)行識(shí)別該立體物的存在。而且，在立體物為汽車的情況下，能夠通過(guò)車與車之間通信來(lái)獲取車種和朝向姿勢(shì)信息。包括與識(shí)另IJ的立體物相關(guān)的位置信息、類別信息、姿勢(shì)(朝向)信息、顏色信息等的立體物屬性信息，以能夠與來(lái)自后方攝像頭Ia的拍攝圖像(后方拍攝圖像)連接的方式被輸出。因此，基于包含在立體物屬性信息中的位置信息，將后方區(qū)域圖像中的存在立體物的區(qū)域決定為立體物圖像區(qū)域。[0093]而且，將包含在立體物屬性信息中的類別信息和姿勢(shì)信息等作為檢索條件，來(lái)提取包含在后方區(qū)域圖像中的立體物(三角錐和汽車的一部分)的代替圖像。提取的代替圖像合成在后方側(cè)俯瞰圖像上。此時(shí)，也可以使用生成了后方側(cè)俯瞰圖像的視點(diǎn)轉(zhuǎn)換映射表或者更容易觀察的著色代替圖像(三角錐和汽車的一部分)的最佳的視點(diǎn)轉(zhuǎn)換映射表，來(lái)將著色代替圖像轉(zhuǎn)換為俯瞰圖像以后再進(jìn)行合成。[0094]另外，優(yōu)選在用于與輸出的著色代替圖像合成的整個(gè)周圍俯瞰圖像的后方區(qū)域的圖像(后方側(cè)俯瞰圖像部分)中，對(duì)之前決定的立體物圖像區(qū)域進(jìn)行抑制處理。包括含有這樣生成的代替圖像的后方俯瞰圖像部分在內(nèi)，還合成有左方俯瞰圖像部分、右方俯瞰圖像部分、前方俯瞰圖像部分，最終生成用于在監(jiān)視器上顯示的整個(gè)周圍俯瞰圖像。[0095]下面，基于附圖，對(duì)于本發(fā)明的第二實(shí)施方式進(jìn)行說(shuō)明。在本實(shí)施方式中，如圖10例示那樣，為了構(gòu)建車輛周邊監(jiān)視系統(tǒng)，在車輛上組裝圖像生成裝置，該圖像生成裝置根據(jù)來(lái)自4個(gè)車載攝像頭即后方攝像頭la、如方攝像頭IcU左側(cè)方攝像頭lb、右側(cè)方攝像頭Ic的拍攝圖像和立體物檢測(cè)信息制作整個(gè)周圍俯瞰圖像。在下面的說(shuō)明中，有時(shí)適當(dāng)?shù)貙⑦@些車載攝像頭la、lb、lc、Id簡(jiǎn)單地總稱為攝像頭I。在進(jìn)行車輛周邊監(jiān)視時(shí)，攝像頭I所拍攝的拍攝圖像或使用該拍攝圖像生成的俯瞰圖像顯示在監(jiān)視器上。[0096]攝像頭I是數(shù)字?jǐn)z像頭，其使用CCD(chargecoupleddevice:電荷稱合元件)或CIS(CMOSimagesensor:互補(bǔ)金屬氧化物圖像傳感器)等攝像元件,按照時(shí)序拍攝每秒15?30幀的二維圖像，并進(jìn)行數(shù)字轉(zhuǎn)換，實(shí)時(shí)輸出其拍攝圖像。攝像頭I具有廣角鏡頭。尤其，在本實(shí)施方式中，以在水平方向上確保140?190°的視角且相對(duì)于光軸具有大約30度左右的俯角的方式設(shè)置在車輛上。[0097]在車輛內(nèi)部設(shè)置有形成車輛周邊監(jiān)視系統(tǒng)的核心的車輛周邊監(jiān)視控制器20。如圖11所示，該車輛周邊監(jiān)視控制器20具有用作車載LAN(局域網(wǎng))接口的通信接口70，并且具有用于處理輸入信息的微處理器和DSP(digitalsignalprocessor:數(shù)字信號(hào)處理器)。[0098]通信接口70采用車載LAN作為數(shù)據(jù)傳輸線，以能夠傳輸數(shù)據(jù)的方式與傳感器輸入單元25、外部通信部24、監(jiān)視器21、觸摸面板21T、動(dòng)力轉(zhuǎn)向單元PS、變速機(jī)構(gòu)T、制動(dòng)裝置BK等控制單元相連接，其中，所述傳感器輸入單元25將來(lái)車輛自身狀態(tài)檢測(cè)傳感器組的輸入信號(hào)直接或者進(jìn)行評(píng)價(jià)后傳送至車輛周邊監(jiān)視控制器20的內(nèi)部。另外，還具有揚(yáng)聲器22來(lái)作為音頻信息的輸出設(shè)備。[0099]與傳感器輸入單元25相連接的各種傳感器組用于檢測(cè)駕駛操作和車輛行駛的狀態(tài)等。雖然未圖示，但是在傳感器組中包括對(duì)轉(zhuǎn)向操作方向(操舵方向)和操作量(操舵量)進(jìn)行測(cè)量的轉(zhuǎn)向傳感器、對(duì)變速桿的變速位置進(jìn)行判斷的變速位置傳感器、對(duì)油門(mén)踏板的操作量進(jìn)行測(cè)量的油門(mén)傳感器、對(duì)制動(dòng)踏板的操作量進(jìn)行檢測(cè)的制動(dòng)器傳感器、對(duì)車輛自身的行駛距離進(jìn)行檢測(cè)的距離傳感器等。[0100]外部通信部24接收外部的通信設(shè)備所發(fā)出的電波，在外部通信部24和外部的通信設(shè)備之間傳輸信息或僅由外部通信部24接收信號(hào)等，使接收的通信信息在車載LAN上流動(dòng)。與本發(fā)明尤其相關(guān)的通信信息是通過(guò)車與車之間通信得到的與周邊車輛(識(shí)別立體物)的車種、姿勢(shì)(朝向)相關(guān)的信息、用于通過(guò)旁聽(tīng)(監(jiān)聽(tīng))手機(jī)的電波來(lái)確定識(shí)別立體物為人物的情況的信息等。[0101]車輛周邊監(jiān)視控制器20具有由硬件或軟件或者這兩者構(gòu)成的各種功能部，但是在本發(fā)明中，作為尤其相關(guān)的功能部，列舉了用于識(shí)別車輛周邊的立體物的立體物識(shí)別模塊30、圖像處理模塊50、顯示控制部71、音頻處理模塊72。圖像處理模塊50所生成的監(jiān)視器顯示圖像被顯示控制部71轉(zhuǎn)換為視頻信號(hào)并發(fā)送至監(jiān)視器21。音頻處理模塊72所生成的引導(dǎo)音頻或緊急時(shí)刻的警告音等通過(guò)揚(yáng)聲器22發(fā)出。[0102]立體物識(shí)別模塊30包括:立體物檢測(cè)部31，其對(duì)來(lái)自多個(gè)超聲波傳感器3的檢測(cè)信號(hào)進(jìn)行評(píng)價(jià)來(lái)進(jìn)行立體物檢測(cè)；立體物識(shí)別部32，其使用來(lái)自車載攝像頭I的拍攝圖像進(jìn)行立體物的識(shí)別；臉部檢測(cè)部33;通信信息處理部34。[0103]超聲波傳感器3配置在車輛的前部、后部、左側(cè)部，右側(cè)部這些各部分中的兩端處和中央處，能夠通過(guò)位于車輛周邊附近的物體(障礙物)的反射波來(lái)檢測(cè)該物體。不僅能夠通過(guò)處理各超聲波傳感器3中的反射波的返回時(shí)間和振幅，來(lái)推斷從車輛至物體的距離和物體的大小，而且還能夠通過(guò)按時(shí)序?qū)λ械某暡▊鞲衅?的檢測(cè)結(jié)果進(jìn)行處理，來(lái)推斷物體的移動(dòng)和橫向的外形形狀。就立體物識(shí)別部32而言，其本身安裝有公知的物體識(shí)別算法，根據(jù)輸入的拍攝圖像，尤其是按時(shí)序連續(xù)的拍攝圖像，來(lái)識(shí)別車輛周邊的立體物。為了檢測(cè)立體物，可以具有立體物檢測(cè)部31和立體物識(shí)別部32中的某一個(gè)，但是同時(shí)具有能夠優(yōu)良地對(duì)立體物的形態(tài)進(jìn)行檢測(cè)的立體物識(shí)別部32和能夠優(yōu)良地計(jì)算距立體物的距離即立體物的位置的立體物檢測(cè)部31并使它們協(xié)同作業(yè)，能夠進(jìn)行更準(zhǔn)確的立體物的識(shí)別。由此，立體物識(shí)別模塊30輸出記錄有所識(shí)別的立體物的位置、姿勢(shì)、大小、色調(diào)等的立體物屬性信息。作為立體物檢測(cè)部31，還能夠應(yīng)用使用了激光雷達(dá)的其它立體物檢測(cè)裝置。[0104]臉部檢測(cè)部33使用公知的臉部檢測(cè)算法判斷在識(shí)別出的立體物的立體物區(qū)域中是否包含臉部。在包含臉部的情況下，確定該立體物為人物，而且根據(jù)該臉部的朝向來(lái)推斷人物的姿勢(shì)、朝向側(cè)方的姿勢(shì)、朝向前方的姿勢(shì)。另外，在由其它功能部推斷出立體物為人物的情況下，在該立體物中沒(méi)有檢測(cè)到臉部的情況下，推斷該人物處于朝向后方的姿勢(shì)。[0105]通信信息處理部34接收通過(guò)由外部通信部24進(jìn)行的車與車之間通信所得到的周邊車輛的位置、姿勢(shì)(朝向)、車種、車的顏色等其它車輛信息，當(dāng)推斷出推斷立體物為其它車輛時(shí)，將推斷立體物作為汽車，獲取其姿勢(shì)(朝向)、車種、車的顏色等信息。[0106]立體物識(shí)別模塊30將由內(nèi)置的上述功能部得到的類別、姿勢(shì)、顏色等立體物的屬性信息集中起來(lái)生成立體物屬性信息，并將其輸出至圖像處理模塊。[0107]圖12示出了車輛周邊監(jiān)視控制器20的圖像處理模塊50的功能框圖。圖像處理模塊50具有生成俯瞰圖像等圖像的功能，所述俯瞰圖像是對(duì)用于拍攝車輛自身周邊的攝像頭I所獲取的拍攝圖像進(jìn)行投影轉(zhuǎn)換而成的。[0108]圖像處理模塊50包括拍攝圖像存儲(chǔ)器51、前處理部52、圖像生成部53、立體物屬性信息獲取部54、圖像合成部55、幀存儲(chǔ)器56。攝像頭I所獲取的拍攝圖像被加載(展開(kāi))在拍攝圖像存儲(chǔ)器51中，前處理部52用于調(diào)整分別被攝像頭I獲取的拍攝圖像之間的輝度平衡和顏色平衡等。立體物屬性信息獲取部54接收立體物識(shí)別模塊30所輸出的立體物屬性信息，并讀取在該立體物屬性信息中記錄的立體物的位置、大小、顏色、姿勢(shì)等各種屬性信息(數(shù)據(jù))。[0109]圖像生成部53包括俯瞰圖像生成部60、代替圖像輸出部80，通常圖像生成部66，立體物圖像區(qū)域決定部67。為了將拍攝圖像直接作為車輛周邊圖像顯示在監(jiān)視器上，通常圖像生成部66對(duì)畫(huà)質(zhì)進(jìn)行適當(dāng)調(diào)整。作為顯示在監(jiān)視器上的車輛周邊圖像，可以是由駕駛員從后方攝像頭la、左側(cè)方攝像頭lb、右側(cè)方攝像頭lc、前方攝像頭Id所拍攝的拍攝圖像中選擇出的I個(gè)拍攝圖像，也可以是多個(gè)拍攝圖像的組合。立體物圖像區(qū)域決定部67根據(jù)從立體物屬性信息獲取部54獲取的包含在立體物屬性信息中的已識(shí)別出的立體物的位置信息，來(lái)決定該立體物在拍攝圖像中的圖像區(qū)域。此時(shí)，能夠決定拍攝圖像或俯瞰拍攝圖像或者這兩者的立體物圖像區(qū)域。[0110]俯瞰圖像生成部60具有俯瞰拍攝圖像生成部63，該俯瞰拍攝圖像生成部63，通過(guò)視點(diǎn)轉(zhuǎn)換處理從加載在拍攝圖像存儲(chǔ)器51中的一張或者多張拍攝圖像生成俯瞰圖像，而且在該實(shí)施方式中，俯瞰圖像生成部60還具有俯瞰代替圖像生成部64，該俯瞰代替圖像生成部64，通過(guò)視點(diǎn)轉(zhuǎn)換處理，從后面詳細(xì)說(shuō)明的代替圖像生成俯瞰圖像。此外，在該實(shí)施方式中，俯瞰拍攝圖像生成部63以及俯瞰代替圖像生成部64中的投影轉(zhuǎn)換，是通過(guò)使用映射表(mappingtable)來(lái)進(jìn)行投影轉(zhuǎn)換而實(shí)現(xiàn)的，因此，以能夠選擇的方式預(yù)先存儲(chǔ)有用于在此使用的投影轉(zhuǎn)換的各種映射表。在此，將由這樣的以能夠選擇的方式存儲(chǔ)的多個(gè)映射表形成的集合體以及逐個(gè)(單個(gè))的映射表稱為映射表62。構(gòu)成映射表62的各映射表(下面，僅稱為映射(map))能夠以各種形式構(gòu)成，在此，構(gòu)成為記錄了拍攝圖像的像素?cái)?shù)據(jù)與投影轉(zhuǎn)換圖像(通常為俯瞰拍攝圖像)的像素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系的映射，以及記錄了代替圖像的像素?cái)?shù)據(jù)和投影轉(zhuǎn)換圖像的像素?cái)?shù)據(jù)之間的對(duì)應(yīng)關(guān)系的映射。尤其，在I幀的拍攝圖像的各像素中記錄有俯瞰拍攝圖像中的目的像素坐標(biāo)，在每種車載攝像頭上適用不同的映射。投影轉(zhuǎn)換選擇部61基于從立體物屬性信息中讀取的屬性，選擇盡量與俯瞰拍攝圖像協(xié)調(diào)(適合)的俯瞰代替圖像生成部64的投影轉(zhuǎn)換。[0111]在俯瞰代替圖像生成部64上也設(shè)定有多種投影轉(zhuǎn)換。投影轉(zhuǎn)換選擇部61基于代替物(立體物)的類別、合成目的地的拍攝圖像(俯瞰拍攝圖像)的投影轉(zhuǎn)換的種類(觀察點(diǎn)位置)，選擇在俯瞰代替圖像生成部64中執(zhí)行的投影轉(zhuǎn)換。此外，俯瞰代替圖像生成部64還包括將輸入的代替圖像直接直通輸出的功能。[0112]代替圖像輸出部80包括檢索條件設(shè)定部85、代替圖像數(shù)據(jù)庫(kù)82、代替圖像提取部83、代替圖像著色部81。在代替圖像數(shù)據(jù)庫(kù)82中，登記并存儲(chǔ)有針對(duì)可能被立體物識(shí)別部32識(shí)別的立體物的類別(人物、汽車等)和立體物的姿勢(shì)(朝前、朝旁、朝后等)等預(yù)先制作的圖形(照片、插圖等)圖像來(lái)作為代替圖像，并且能夠通過(guò)檢索條件來(lái)選擇所述代替圖像。檢索條件設(shè)定部85基于通過(guò)立體物屬性信息獲取部54從立體物屬性信息中讀取的立體物的位置、大小、顏色、姿勢(shì)等各種屬性信息(數(shù)據(jù))，設(shè)定用于從代替圖像數(shù)據(jù)庫(kù)82提取適合的代替圖像的檢索條件。代替圖像提取部83基于通過(guò)檢索條件設(shè)定部85設(shè)定的檢索條件，來(lái)從提取代替圖像數(shù)據(jù)庫(kù)中進(jìn)行提取。代替圖像著色部81基于包含在立體物屬性信息中的顏色信息，對(duì)提取的代替圖像進(jìn)行著色。著色的方法，可以根據(jù)代替圖像采用適當(dāng)?shù)姆椒?，但是，?對(duì)象物)是人，則也可以向分為上半身部分和下半身部分來(lái)設(shè)定的涂抹區(qū)域賦予恰當(dāng)?shù)念伾?，或者將整體涂抹為恰當(dāng)色。另外，也可以預(yù)先對(duì)代替圖像賦予恰當(dāng)色。在此，恰當(dāng)色指，駕駛員觀察用該顏色進(jìn)行了著色的代替圖像而容易想象出實(shí)際的立體物的顏色。若是三角錐，則為預(yù)先賦予的橙色或黃色，若是人物，則為從拍攝圖像中得到的上衣的顏色或裙子的顏色、若是汽車，則為從拍攝圖像和立體物屬性信息中得到的車的顏色。[0113]圖像合成部55使俯瞰代替圖像生成部64所生成的俯瞰代替圖像重合在俯瞰拍攝圖像的立體物圖像區(qū)域上，從而進(jìn)行合成。作為合成方法，并不限定于覆蓋，能夠采用透明的重合等。帶有合成的代替圖像的俯瞰圖像，作為顯示圖像而被傳送至幀存儲(chǔ)器56，并經(jīng)由顯示控制部71顯示在作為顯示畫(huà)面的監(jiān)視器21的畫(huà)面上。[0114]接著，使用圖13的流程圖和圖14的說(shuō)明圖，對(duì)于組裝有如上述那樣構(gòu)成的圖像生成裝置的車輛周邊監(jiān)視系統(tǒng)的俯瞰圖像顯示的過(guò)程進(jìn)行說(shuō)明。[0115]當(dāng)該車輛周邊監(jiān)視目的的俯瞰圖像顯示過(guò)程開(kāi)始時(shí)，首先，讀取根據(jù)駕駛員的希望而手動(dòng)設(shè)定或者默認(rèn)設(shè)定的俯瞰圖像的顯示類別(#01)。此處的俯瞰圖像的顯示類別，用于規(guī)定在生成車輛周邊的俯瞰圖像時(shí)使用的拍攝圖像、假想觀察點(diǎn)位置、生成的俯瞰圖像在監(jiān)視器畫(huà)面上的布局等。針對(duì)使用的車載攝像頭I的每個(gè)拍攝圖像，設(shè)定按照讀取的俯瞰圖像的顯示類別而在俯瞰拍攝圖像生成部63中使用的投影轉(zhuǎn)換所需的映射(#02)。獲取4臺(tái)車載攝像頭I的拍攝圖像(#03)。使用設(shè)定的各映射，從各拍攝圖像生成俯瞰圖像部分(#04)。將生成的俯瞰圖像部分組合，并且在車輛自身位置上配置預(yù)先設(shè)定的車輛的俯瞰圖形圖像(可以為插圖或符號(hào))，從而生成顯示用的俯瞰圖像(#05)。[0116]與執(zhí)行上面的過(guò)程平行地，還執(zhí)行立體物屬性信息制作過(guò)程。首先，判斷是否由立體物識(shí)別模塊30在拍攝區(qū)域中識(shí)別了立體物(#20)。在識(shí)別了立體物的情況下(#20，“是”的分支)，推算該立體物的位置(#21)。然后，進(jìn)行立體物的類別、姿勢(shì)檢測(cè)處理(#22)。在該類別、姿勢(shì)檢測(cè)處理中例如存在臉部檢測(cè)處理和車與車之間通信處理。在臉部檢測(cè)處理中，對(duì)拍攝圖像中的識(shí)別的立體物的區(qū)域進(jìn)行臉部檢測(cè)，若檢測(cè)到臉部，則確定該立體物為人，而且還能夠根據(jù)該臉部的朝向推斷人物的朝前或者朝旁等姿勢(shì)。在車與車之間通信處理中，若與立體物實(shí)現(xiàn)車與車之間通信，則確定該立體物為汽車，而且還能夠得到該車輛位置或車輛的朝向、車種(車輛形式)等汽車屬性值。在該類別、姿勢(shì)檢測(cè)處理中，在不能確定立體物的類別等的情況下，視為該立體物的類別不定、姿勢(shì)不定。基于類別、姿勢(shì)檢測(cè)處理的結(jié)果，制作立體物屬性信息(#23)。在未識(shí)別立體物的情況(#20，“否”的分支)下，當(dāng)然不制作立體物屬性信息，但是無(wú)論怎樣，在該階段都輸出有無(wú)屬性信息通知(#24)。[0117]在此，當(dāng)返回俯瞰圖像顯示過(guò)程時(shí)，根據(jù)上述的有無(wú)屬性信息通知，判斷是否輸出了立體物屬性信息(#06)。在未輸出立體物屬性信息的情況(#06，“否”的分支)下，視為在哪個(gè)拍攝圖像中都不存在應(yīng)該注意的立體物，直接使用在步驟#05中生成的俯瞰拍攝圖像來(lái)生成俯瞰顯示圖像(#15)。將生成的俯瞰顯示圖像顯示在監(jiān)視器21上(#16)，只要沒(méi)有結(jié)束該俯瞰圖像顯示過(guò)程的指令(#17“否”的分支)，就再次返回步驟#01來(lái)反復(fù)該過(guò)程。[0118]在步驟#06中判斷為用立體物識(shí)別模塊30制作了立體物屬性信息的情況(#06，“是”的分支)下，視為在拍攝圖像中存在應(yīng)該注意的立體物，獲取立體物屬性信息，讀取包含在立體物屬性信息中的與識(shí)別的立體物相關(guān)的位置、類別、姿勢(shì)、顏色、大小等數(shù)據(jù)(#07)?；谧x取的與立體物的位置相關(guān)的數(shù)據(jù)，決定該立體物在俯瞰拍攝圖像中的圖像區(qū)域(#08)。[0119]接著，基于讀取的立體物的屬性信息，設(shè)定用于提取適當(dāng)?shù)拇鎴D像的檢索條件(#09)。使用該檢索條件從代替圖像數(shù)據(jù)庫(kù)82中提取代替圖像，并將其加載在存儲(chǔ)器中(#10)。根據(jù)需要，對(duì)提取的代替圖像進(jìn)行圖像加工(#11)。圖像加工包括使提取的代替圖像的大小與立體物圖像區(qū)域的大小一致的擴(kuò)縮處理，和基于包含在立體物屬性信息中的顏色信息來(lái)對(duì)代替圖像的預(yù)先決定的著色區(qū)域進(jìn)行著色的著色處理等。此外，包含在立體物屬性信息中的顏色信息基于包含在拍攝圖像中的立體物的像素值，因此，根據(jù)照明條件等不同，可能存在無(wú)法檢測(cè)到具有本來(lái)的立體物的特征的顏色。在該著色處理中，在判斷為產(chǎn)生了這樣的事情的情況下，強(qiáng)調(diào)對(duì)代替圖像進(jìn)行著色的顏色。另外，也可以對(duì)代替圖像實(shí)施如強(qiáng)調(diào)代替圖像的輪廓等的形狀明確化處理。[0120]進(jìn)行了著色的代替圖像，基于對(duì)拍攝圖像實(shí)施的投影轉(zhuǎn)換的種類(觀察點(diǎn)位置)和被代替圖像代替的立體物的類別、姿勢(shì)等，選擇最佳的投影轉(zhuǎn)換，并將該映射數(shù)據(jù)設(shè)定在俯瞰代替圖像生成部64中(#12)，從而對(duì)代替圖像進(jìn)行投影轉(zhuǎn)換(#13)。當(dāng)然，也可以設(shè)定直通用映射數(shù)據(jù)，至少生成不實(shí)施投影轉(zhuǎn)換的代替圖像。接著，俯瞰代替圖像重合在俯瞰拍攝圖像的立體物圖像區(qū)域中，從而進(jìn)行合成(#14)。這樣生成的最終的車輛周邊的俯瞰圖像，作為圖14所示那樣的俯瞰顯示圖像(#15)，并顯示在監(jiān)視器21中(#16)。最后，判斷該過(guò)程的結(jié)束，例如判斷是否輸入了使該后方監(jiān)視過(guò)程中止的指令(#17)，只要繼續(xù)進(jìn)行該后方監(jiān)視(#17，“否”的分支)，就返回步驟#01來(lái)反復(fù)上述過(guò)程。[0121]3.其它實(shí)施方式[0122](I)在上述的實(shí)施方式中，舉出了在4個(gè)攝像頭I所獲取的拍攝圖像中的一個(gè)拍攝圖像中存在應(yīng)該注意的一個(gè)立體物的例子，但是也能夠考慮到，在相鄰的攝像頭視場(chǎng)的邊界區(qū)域中，應(yīng)該注意的一個(gè)立體物存在于多個(gè)拍攝圖像中的情況。因此，在為了拍攝車輛整個(gè)周圍而設(shè)置多個(gè)車載攝像頭的實(shí)施方式中，在立體物包含在兩個(gè)以上的攝像頭的拍攝圖像中的情況下，優(yōu)選為了生成立體物俯瞰圖像而提取具有面積更大的立體物區(qū)域的立體物圖像。[0123](2)也可以在攝像俯瞰圖像中合成多個(gè)立體物即多個(gè)代替圖像，來(lái)作為應(yīng)該注意的立體物。[0124](3)在上述的第一實(shí)施方式中，僅將立體物圖像置換為著色代替圖像，但是在評(píng)價(jià)了立體物的移動(dòng)方向的情況下，優(yōu)選以還能夠視覺(jué)辨認(rèn)該立體物的移動(dòng)方向的方式顯示著色代替圖像。因此，如圖15所示那樣，也可以采用附加了用于示出立體物的移動(dòng)方向的余像的代替圖像。另外，如圖16所示那樣，也可以采用附加了用于示出立體物的移動(dòng)方向的箭頭的代替圖像。[0125](4)在上述的第一實(shí)施方式中，作為立體物檢測(cè)方法，提示了使用了超聲波的立體物檢測(cè)和通過(guò)圖像識(shí)別進(jìn)行的立體物檢測(cè)的某一種或者它們的組合，但是當(dāng)然除了這些之外的立體物檢測(cè)方法，例如，使用激光雷達(dá)法或紅外線法的情況也屬于本發(fā)明的范圍內(nèi)。[0126](5)在上述的第二實(shí)施方式中，作為俯瞰顯示圖像，采用了使用了來(lái)自4個(gè)拍攝圖像的正上方觀察點(diǎn)的俯瞰圖像。也可以將對(duì)一個(gè)拍攝圖像進(jìn)行視點(diǎn)轉(zhuǎn)換來(lái)得到的俯瞰圖像作為俯瞰顯示圖像來(lái)代替上述圖像。[0127]產(chǎn)業(yè)上的可使用性[0128]本發(fā)明能夠用于使用俯瞰圖像來(lái)監(jiān)視車輛周邊的所有系統(tǒng)中。[0129]附圖標(biāo)記的說(shuō)明[0130]21:監(jiān)視器[0131]24:外部通信部(車與車之間通信部)[0132]30:立體物檢測(cè)模塊[0133]31:立體物檢測(cè)部[0134]32:立體物識(shí)別部[0135]33:臉部檢測(cè)部[0136]34:通信信息處理部[0137]50:圖像處理模塊[0138]53:圖像生成部[0139]54:立體物屬性信息獲取部[0140]55:圖像合成部[0141]60:俯瞰圖像生成部[0142]61:通常圖像生成部[0143]62:映射表[0144]63:俯瞰拍攝圖像生成部[0145]64:俯瞰代替圖像生成部[0146]65:立體物俯瞰圖像生成部[0147]67:立體物圖像區(qū)域決定部[0148]80:代替圖像輸出部[0149]81:代替圖像著色部[0150]82:代替圖像數(shù)據(jù)庫(kù)[0151]83:代替圖像提取部[0152]84:顏色強(qiáng)調(diào)指示部[0153]85:檢索條件設(shè)定部【權(quán)利要求】1.一種圖像生成裝置，將俯瞰圖像作為顯示圖像輸出，該俯瞰圖像，是以上方假想觀察點(diǎn)對(duì)用于拍攝車輛的周邊區(qū)域的車載攝像頭所獲取的拍攝圖像進(jìn)行投影轉(zhuǎn)換來(lái)生成的，該圖像生成裝置的特征在于，具有:立體物識(shí)別部，其識(shí)別在所述周邊區(qū)域存在的立體物，輸出用于表示該立體物的屬性的立體物屬性信息；立體物圖像區(qū)域決定部，其基于包含在所述立體物屬性信息中的位置信息，決定所述立體物在所述拍攝圖像中的圖像區(qū)域即立體物圖像區(qū)域；代替圖像輸出部，其輸出第一代替圖像和第二代替圖像中的至少一種，所述第一代替圖像是用基于包含在所述立體物屬性信息中的顏色信息的顏色進(jìn)行著色的所述立體物的代替圖像，所述第二代替圖像是基于包含在所述立體物屬性信息中的類別信息和姿勢(shì)信息而確定了立體物的確定的朝向姿勢(shì)的所述立體物的代替圖像；圖像合成部，其生成帶有代替圖像的俯瞰圖像，該帶有代替圖像的俯瞰圖像，是在所述立體物圖像區(qū)域的位置上生成合成由所述代替圖像輸出部輸出的代替圖像而成的。2.根據(jù)權(quán)利要求1所述的圖像生成裝置，其特征在于，所述代替圖像輸出部包括:代替圖像數(shù)據(jù)庫(kù)，其用于存儲(chǔ)基于顏色信息的所述立體物的代替圖像；代替圖像提取部，其基于包含在所述立體物屬性信息中的立體物類別信息，從該代替圖像數(shù)據(jù)庫(kù)中提取所述立體物的代替圖像；代替圖像著色部，其用基于包含在所述立體物屬性信息中的顏色信息的顏色，對(duì)該代替圖像提取部所提取的代替圖像進(jìn)行著色。3.根據(jù)權(quán)利要求2所述的圖像生成裝置，其特征在于，所述代替圖像著色部，基于所述顏色信息來(lái)決定具有所述立體物的特征的多個(gè)顏色，并用多個(gè)顏色涂抹所述代替圖像。4.根據(jù)權(quán)利要求2或3所述的圖像生成裝置，其特征在于，還具有顏色強(qiáng)調(diào)指示部，該顏色強(qiáng)調(diào)指示部，基于所述立體物屬性信息來(lái)輸出顏色強(qiáng)調(diào)指示，該顏色強(qiáng)調(diào)指示用于指示對(duì)由所述代替圖像著色部對(duì)所述代替圖像進(jìn)行著色的顏色進(jìn)行強(qiáng)調(diào)。5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的圖像生成裝置，其特征在于，還具有俯瞰拍攝圖像生成部，該俯瞰拍攝圖像生成部，使用投影轉(zhuǎn)換，從覆蓋所述車輛的周圍的拍攝方向各不相同的多個(gè)拍攝圖像中生成車輛周圍的俯瞰拍攝圖像，所述圖像合成部，對(duì)所述俯瞰拍攝圖像的所述立體物圖像區(qū)域賦予所述代替圖像。6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像生成裝置，其特征在于，與所述代替圖像一起賦予用于表示所述立體物的移動(dòng)方向的圖像。7.根據(jù)權(quán)利要求6所述的圖像生成裝置，其特征在于，用于表示所述移動(dòng)方向的圖像，是與所述立體物的移動(dòng)相對(duì)應(yīng)的所述代替圖像的余像。8.根據(jù)權(quán)利要求6所述的圖像生成裝置，其特征在于，用于表示所述移動(dòng)方向的圖像為箭頭。9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的圖像生成裝置，其特征在于，所述代替圖像輸出部包括:代替圖像數(shù)據(jù)庫(kù)，其用于存儲(chǔ)基于類別信息和姿勢(shì)信息的所述立體物的代替圖像；代替圖像提取部，其將包含在所述立體物屬性信息中的類別信息以及姿勢(shì)信息作為檢索條件，從該代替圖像數(shù)據(jù)庫(kù)中提取所述代替圖像。10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的圖像生成裝置，其特征在于，在所述立體物識(shí)別部中，具有用于檢測(cè)人的臉部的臉部檢測(cè)部，基于所述臉部檢測(cè)部的檢測(cè)結(jié)果，在類別信息中設(shè)定表示所識(shí)別的立體物為人物的信息，并且，在所述姿勢(shì)信息中設(shè)定朝向前方的姿勢(shì)、朝向后方的姿勢(shì)、朝向側(cè)方的姿勢(shì)中的某一種。11.根據(jù)權(quán)利要求1至10中任一項(xiàng)所述的圖像生成裝置，其特征在于，在所述立體物識(shí)別部中，基于通過(guò)車與車之間的通信而得到的車與車之間通信信息，在類別信息中設(shè)定表示所識(shí)別的立體物為汽車的信息，并且，在所述姿勢(shì)信息中設(shè)定朝向前方的姿勢(shì)、朝向后方的姿勢(shì)、朝向側(cè)方的姿勢(shì)中的某一種。12.根據(jù)權(quán)利要求1至11中任一項(xiàng)所述的圖像生成裝置，其特征在于。還具有俯瞰拍攝圖像生成部，該俯瞰拍攝圖像生成部，使用投影轉(zhuǎn)換，從覆蓋所述車輛的周圍的拍攝方向各不相同的多個(gè)拍攝圖像中生成車輛周圍的俯瞰拍攝圖像，`所述圖像合成部，對(duì)所述俯瞰拍攝圖像的所述立體物圖像區(qū)域賦予所述代替圖像?！疚臋n編號(hào)】G06T1/00GK103609100SQ201280028252【公開(kāi)日】2014年2月26日申請(qǐng)日期:2012年5月23日優(yōu)先權(quán)日:2011年6月9日【發(fā)明者】山本欣司,渡邊一矢,武田圣子,三浦健次,門(mén)脅淳申請(qǐng)人:愛(ài)信精機(jī)株式會(huì)社