背景技術：

本申請發(fā)現了在環(huán)繞視圖車輛成像系統(tǒng)中真實地表示對象的具體應用。然而，應當理解，所描述的技術也可以應用于其它車輛監(jiān)控系統(tǒng)、其它成像系統(tǒng)或其它車輛安全系統(tǒng)。

一種用于對象表示的常規(guī)方法涉及識別單個空中拍攝圖像(overheadimage)中的三維對象并輸出該三維對象的屬性的圖像生成器。所得到的顯示包括基于空中拍攝圖像的該對象的地面位置，以向駕駛員指示對象的實際位置和大小。這樣的常規(guī)方法不能補償該對象的來自環(huán)繞視圖合成圖像中的不同有利位置的多個圖像之間的差異。

典型的環(huán)繞視圖或鳥瞰圖系統(tǒng)使用將多個圖像拼接在一起的不同方法。這些拼接方法的主要關注點通常是獲取地面的無縫真實視圖。如果地面上有凸起的對象的話，則不能很好地再現地面上凸起的對象(比如，桿、行人或其它三維對象)。當系統(tǒng)用戶依靠視覺圖像來監(jiān)控車輛周圍以尋找障礙物時，這種缺陷可誘發(fā)潛在的不安全情況，因此降低了系統(tǒng)的效用和價值。

當行人僅面向環(huán)繞視圖系統(tǒng)中的各個照相機之一時，行人的前視圖現于一個照相機視圖中，并且該行人的背部現于其它照相機視圖中。依靠識別對象上的相應點的常規(guī)立體視覺算法不能處理這兩個完全不同的視圖，因此失敗；即，沒有發(fā)現匹配，所以對象的合成圖像中沒有視差并因此沒有深度。

本發(fā)明提供了這樣一種新的且改進的系統(tǒng)和方法，其便于在根據多個照相機圖像生成的合成環(huán)繞視圖圖像中真實地表示靠近車輛的對象(比如，行人)，同時包含對象的真實世界特征用以向駕駛員進行呈現，這克服了上面所提及的問題及其它問題。

技術實現要素：

根據一個方面，一種便于檢測車輛的環(huán)繞視圖圖像中的對象并將對象的半符號圖形表示疊加在環(huán)繞視圖圖像中的系統(tǒng)包括：捕獲對象的第一圖像的第一照相機以及捕獲該對象的第二圖像的第二照相機。該系統(tǒng)還包括處理器，其配置為：通過合并第一圖像和第二圖像來生成合成圖像；分析合成圖像以檢測表示合成圖像中的對象的一個或多個特征；以及利用相應的背景像素替換對象像素。該處理器還配置為：生成該對象的半符號圖形表示，其包括在第一圖像和第二圖像中檢測到的一個或多個對象特征；將對象的半符號圖形表示插入到合成圖像中該對象相對于車輛的計算位置處；以及將具有半符號表示的合成圖像輸出至顯示器。

根據另一方面，一種檢測車輛的環(huán)繞視圖圖像中的對象并將對象的半符號圖形表示疊加在環(huán)繞視圖圖像中的方法包括步驟：從第一有利位置捕獲對象的第一圖像；從第二有利位置捕獲該對象的第二圖像；通過合并第一圖像和第二圖像來生成合成圖像；以及分析合成圖像以檢測表示合成圖像中的對象的一個或多個特征。該方法還包括步驟：利用相應的背景像素替換對象像素；生成該對象的半符號圖形表示，其包括在第一圖像和第二圖像中檢測到的一個或多個對象特征；將該對象的半符號圖形表示插入到合成圖像中該對象相對于車輛的計算位置處；以及將具有半符號表示的合成圖像輸出至顯示器。

根據另一方面，一種處理器配置為執(zhí)行用于在車輛的環(huán)繞視圖圖形中檢測對象并在環(huán)繞視圖圖像中疊加對象的半符號圖形表示的計算機可執(zhí)行指令，所述指令包括：從第一有利位置捕獲對象的第一圖像；從第二有利位置捕獲該對象的第二圖像；通過合并第一圖像和第二圖像來生成合成圖像。所述指令還包括：分析合成圖像以檢測表示合成圖像中的對象的一個或多個特征；利用相應的背景像素替換對象像素；生成該對象的半符號圖形表示，其包括在第一圖像和第二圖像中檢測到的一個或多個對象特征；將對象的半符號圖形表示插入到合成圖像中該對象相對于車輛的計算位置處；以及將具有半符號表示的合成圖像輸出至顯示器。

根據另一方面，一種便于檢測車輛的環(huán)繞視圖圖像中的對象并將對象的半符號圖形表示疊加在環(huán)繞視圖圖像中的設備包括：用于從第一有利位置捕獲對象的第一圖像的裝置；用于從第二有利位置捕獲對象的第二圖像的裝置；用于通過合并第一圖像和第二圖像來生成合成圖像的裝置；以及用于分析合成圖像以檢測表示合成圖像中的對象的一個或多個特征的裝置。所述設備還包括：用于利用相應的背景像素替換對象像素的裝置；用于生成包括在第一圖像和第二圖像中檢測到的一個或多個對象特征的對象的半符號圖形表示的裝置；用于將對象的半符號圖形表示插入到合成圖像中該對象相對于車輛的計算位置處的裝置；以及用于將具有半符號表示的合成圖像輸出至顯示器的裝置。

本領域普通技術人員在閱讀和理解以下詳細描述后將理解本發(fā)明的其它優(yōu)點。

附圖說明

本發(fā)明可以采取各種部件和部件的布置以及各種步驟和步驟的安排的形式。僅出于說明各方面的目的來示出附圖，而不應將其解釋為限制本發(fā)明。

圖1示出了根據本文所述的一個或多個方面的系統(tǒng)，其便于將由多個照相機捕獲的圖像混合到環(huán)繞視圖圖像中，并且利用減少駕駛員困惑的半符號圖形來替換對象(比如，行人)的多張“陰影”圖像。

圖2a和圖2b示出了由兩個照相機拍攝的行人的圖像。

圖3是根據本文所述的一個或多個方面的由兩個照相機拍攝到的路過行人的圖像，其中，由兩個照相機生成的圖像是交疊的。

圖4示出了其中已經識別了射線的交叉點r的合并圖像的示例。

圖5示出了其中第一照相機和第二照相機對對象進行成像的示圖。

圖6示出了其中關于卡車來計算橢圓以確定行人相對于車輛的角度的車輛的示圖。

圖7示出了諸如可以用于在呈現給駕駛員的顯示器上表示環(huán)繞視圖圖像中的行人的行人的半符號圖形表示。

圖8是其中可以看見行人的陰影或“鬼影”的車輛的混合環(huán)繞視圖圖像。

圖9示出了根據本文所述的一個或多個特征的用于在車輛的環(huán)繞視圖圖像中檢測行人并且將行人的半符號圖形表示疊加到環(huán)繞視圖圖像中的方法。

具體實施方式

通過本文所述的便于提供用于在環(huán)繞視圖多照相機系統(tǒng)中顯示三維對象的視圖的高級處理系統(tǒng)的系統(tǒng)和方法克服了上述問題。圖像被混合以保留三維對象的視圖。三維對象可以是行人、騎自行車的人、騎摩托車的人或包括人類特征的其它對象。在一個布置中，兩個照相機從兩個不同的視角拍攝行人?？梢暦秶慕徊纥c確定了行人的高度和位置。在混合圖像中，行人表現為兩個陰影，這可能會使駕駛員感到困惑，因此這兩個陰影被替換為顯示給駕駛員的圖像上的單個高度成比例的符號。以這種方式，僅將行人的一個視圖提供給駕駛員。因此，將在兩個不同圖像中所找到的3d對象(比如，行人)協調成一個可識別的圖像，用以顯示給駕駛員。

圖1示出了根據本文所述的一個或多個方法的系統(tǒng)10，其便于將由多個照相機捕獲的圖像混合到環(huán)繞視圖圖像中，并且利用提高顯示與圖像實物之間的對應性的半符號圖形來替換對象(比如，行人)的多個交疊圖像或“陰影”圖像。系統(tǒng)10包括車載控制器12，該車載控制器12包括執(zhí)行用于執(zhí)行本文所述的各種方法、技術協議等的計算機可執(zhí)行指令(例如，模塊、例程、程序、應用等)的處理器14和存儲用于執(zhí)行本文所述的各種方法、技術協議等的計算機可執(zhí)行指令的存儲器16。與常規(guī)方法相比，系統(tǒng)10便于使用多個照相機視圖來檢測行人18，并且跟蹤行人相對于車輛20的位置。第一照相機22安裝到車輛的第一拐角處，并且第二照相機24安裝到車輛的第二拐角處，以提供車輛側面的交疊視野。應當理解，雖然出于示例性的目的在圖1中僅繪制了兩個照相機并進行描述，但是可以結合本文所述的各種實施例采用多于兩個的照相機。例如，照相機可以安裝在車輛的每個拐角(包括但不限于牽引機-拖車組合車輛上的牽引機的拐角和/或拖車的拐角)處。照相機還可以安裝在車輛的前面或后面。該系統(tǒng)對于提供交疊圖像視圖的各種各樣的照相機布置均是有用的。

根據本文的一個或多個實施例，兩個照相機22、24觀察同一對象或行人18，并且產生兩個視圖。對象或行人的底部將在其鳥瞰視圖圖像中處于相同的位置處。不是直接在顯示器中顯示可能使駕駛員感到困惑的行人或對象的兩個視圖中的一個或兩個，而是將這兩個視圖替換為單個基于現實的符號或圖形表示。通過計算行人的腳的位置來得到圖形表示的位置(比如，由雙視圖創(chuàng)建的“v”308(參見例如圖3)的底部所在的位置)。圖形表示的高度與實際的對象/行人高度相對應。例如，立體檢測方法(例如，找到與行人的頭部相對應的v的末端，執(zhí)行3d射線交叉點計算，并確定實際的頭部高度)生成實際的頭部高度，并且可以使符號高度與實際的對象/行人高度成比例。

圖形表示是基于現實的，以幫助用戶理解圖形表示代表什么，并且還將用戶最終(在現實中)所看到的與已經在符號顯示器中看到的聯系起來(例如，盲點中穿紅色褲子的行人首先作為具有紅色褲子的圖形表示而僅在顯示器上可見；當行人隨后在卡車周圍走動時并且駕駛員看見穿著紅色褲子的他，駕駛員容易地了解行人已如何移動)?？梢酝ㄟ^顏色、紋理、高度等來進行圖形表示與真實世界的聯結。例如，(例如，通過像素差異)可以確定行人軀干的平均顏色，然后將符號的軀干著色為相同明暗度。在一個實施例中，行人可以被分成與腿、軀干和頭部相對應的多個區(qū)域。通過尋找彩色對比度或灰度級對比度來完成區(qū)域的劃分，或者如果彩色對比度或灰度級對比度不明顯的話(例如，行人只穿了深色)，則可以采用對象高度的固定百分比來對腿進行定位(例如，底部50％與腿相對應，接下來的40％與軀干相對應，頂部10％與頭部和脖子相對應)。最終結果是更好理解的、更不雜亂的車輛周圍環(huán)境的環(huán)繞視圖顯示。

存儲器16可以包括易失性存儲器、非易失性存儲器、固態(tài)存儲器、閃速存儲器、隨機存取存儲器(ram)、只讀存儲器(rom)、可編程只讀存儲器(prom)、可擦除可編程只讀存儲器(eprom)、電可擦除可編程只讀存儲器(eeprom)、前述存儲器類型的變體、它們的組合、和/或適于提供所述功能和/或存儲由處理器14執(zhí)行的計算機可執(zhí)行指令的任意其它類型的存儲器。此外，如本文中所使用的“模塊”表示永久地存儲在計算機可讀介質或存儲器上供處理器執(zhí)行的一組計算機可執(zhí)行指令(例如，例程、子例程、程序、應用等)。

在一個實施例中，處理器從照相機22、24中的每一個接收圖像數據，并且執(zhí)行將圖像數據重建為各個照相機圖像28的重建模塊26，所述各個照相機圖像28可以被拼接在一起以形成車輛的環(huán)繞視圖。在一個示例中，處理器生成包括由第一照相機22捕獲的行人18的前視圖和由第二照相機24捕獲的行人18的后視圖的合成圖像。行人的前視圖和后視圖可以被重建以表現為圖像中的陰影或“鬼影”特征，使得行人的視圖在一定程度上顯得易于察覺(transparent)(參見例如圖8)。

處理器執(zhí)行不一致計算模塊30，其通過識別用于形成合成圖像的兩個圖像中不一致的區(qū)域來計算這兩個圖像之間的不一致區(qū)域以確定圖像中存在三維對象。也就是說，對由每個照相機22、24生成的圖像進行分析和比較，以識別各個圖像之間的不一致區(qū)域d。例如，處理器例如通過像素分析等識別不一致區(qū)域的界線。處理器執(zhí)行射線計算模塊32，其對從每個照相機發(fā)出且穿過其視場的射線或線進行計算。也就是說，處理器繪制或計算從每個照相機發(fā)出至不一致區(qū)域d的(相對于每個照相機的)較遠半程的邊界處的射線。射線交叉點識別模塊34識別照相機視圖或射線的交叉點r，其中交叉點對應于通過分析圖像中的不一致區(qū)域d而確定的行人18(或其他對象，比如騎自行的人等)的最高點。也就是說，使用照相機位置和不一致區(qū)域的知識，確定并跟蹤行人18上的最高點。

所計算的射線勾勒出從每個照相機的有利位置所拍攝的行人的“陰影”的輪廓。所計算的射線在行人的頭部交叉。在一個示例中，處理器對限定不一致區(qū)域的像素進行掃描，并且計算射線在何處相交。處理器將交叉點的最高點識別為行人頭部位置的近似值。每個照相機的視圖被重新投影到假定平坦的地平面上。當行人18中斷了各自的照相機的地平面示圖時，地平面投影不一致，行人被檢測到。

在另一實施例中，處理器執(zhí)行對象形狀識別模塊36，其識別由合成圖像中的對象的前視圖表示和后視圖表示形成的形狀。例如，可以檢測例如交叉點處的對象(比如，從車輛后方朝向車輛前方靠近的行人)。對照相機22、24進行校準，使得由各個照相機生成的地平面示圖匹配。也就是說，兩個照相機將完全處于地平面中的對象看作是相同的。在兩個照相機視圖不一致并且沒有生成由不一致計算模塊確定的相同的、重疊的地平面視圖的情況下，檢測到行人。線交叉的位置被確定為行人的腳所處的位置，并且當在3d視圖中成像時，將線交叉處的高度取為行人頭部在地面上的位置的近似值。隨后，跟蹤該位置(即，行人的頭部)。假設了地面上大致恒定的高度，并且當跟蹤行人頭部時采用帶有選通的跟蹤濾波器(例如，卡爾曼跟蹤濾波器或α-β跟蹤濾波器)。在似乎合理或預定義的高度上的持續(xù)的、始終移動的檢測構成行人檢測，并且在顯示器或用戶接口(未示出)上的環(huán)繞視圖圖像中向車輛駕駛員顯示(例如，通過從卡車的后部向前延伸到行人的位置的紅色條來表示駕駛員的危險區(qū)域)。

根據另一實施例，對合成圖像中的由行人的前陰影和后陰影形成的v形進行檢測，用以確認對象是行人。例如，將由第一照相機22生成的行人的前視圖圖像和由第二照相機24生成的行人的后視圖圖像合并。

在對象是騎自行車的人的情況下，將由第一照相機22生成的騎自行車的人的前視圖圖像和由第二照相機24生成的該騎自行車的人的后視圖圖像合并。通過車輪識別模塊40識別與自行車車輪相對應的橢圓。自行車車輪具有有限的尺寸范圍，成對出現并一起移動。在一個實施例中，處理器執(zhí)行霍夫變換模塊42(例如，線/圓/橢圓/常規(guī)形狀最佳匹配圖像的基于投票的機制)等以找到橢圓。各個橢圓交疊并且基本上具有正確的尺寸，以便于確認與自行車的一對車輪相對應的橢圓。因此，隨時間檢測并跟蹤橢圓的群集(constellation)。一旦檢測到騎自行車的人(或行人)，警報生成器44生成由處理器接收的警報信號，處理器進而在環(huán)繞視圖圖像上生成可視化警報，以將駕駛員的注意力吸引至騎自行車的人(或行人)。

在另一個實施例中，一旦對象已經被識別為行人(或騎自行車的人)，并且已經確定了行人高度和位置，則執(zhí)行用于替換混合圖像中的行人的前視圖陰影和后視圖陰影的處理。例如，處理器執(zhí)行陰影去除模塊46，其去除在混合各個照相機圖像時所出現的行人的陰影圖像。一旦去除了行人陰影圖像，則處理器執(zhí)行對去除陰影而遺留的像素間隙進行填充的填充模塊48。例如，由第一照相機捕獲的行人陰影圖像被替換為由第二照相機捕獲的且對應于相同圖像位置的背景像素。類似地，由第二照相機捕獲的行人陰影圖像被替換為由第一照相機捕獲的且對應于相同圖像位置的背景像素。一旦行人陰影圖像已經被背景像素替換，則處理器執(zhí)行半符號圖標生成器50，其生成表示行人并包括行人的一個或多個真實世界特征(例如，高度、襯衫顏色、褲子顏色等)的圖形。將半符號圖形插入到混合圖像中行人的確定位置處，并且半符號圖形具有與行人的高度和寬度一致的高度和寬度。作為替換，半符號圖形可以是具有行人的高度、寬度和著色的矩形棱柱。

處理器還可以執(zhí)行面部識別模塊52，其分析行人的面部的圖像數據并識別具有高于預定閾值的清晰度或分辨率的面部圖像。處理器執(zhí)行面部卷曲模塊54以將所識別的面部圖像放置在半符號圖形上，從而改善真實性和輔助識別。行人的服裝著色可以經受低通濾波器56以避免閃爍效應，同時仍然允許由于改變照明而引起的著色變化。此外，可以增加或調制顏色的飽和度，以便更好地在環(huán)繞視圖中看見行人，特別是在行人的灰度級對比度相對于背景較低的情況下。識別褲子和/或襯衫顏色，并且在半符號圖形中描繪出相似的顏色，以改善圖形的真實性。

還考慮了駕駛員用后視鏡看不到的盲點或盲區(qū)，特別地，可以為這些區(qū)域中的行人提供特別的突出顯示?？梢栽诖_定盲點時考慮車輛的接合角度(例如，對于牽引機-拖車組合車輛等)和車輛運動的方向。

圖2a和圖2b分別示出了由兩個照相機拍攝到的行人84的圖像80、82。在圖2a的圖像80中，可以看到行人的背部。在圖2b的圖像82中，可以看到行人的正面。放置在車輛的側面處的駕駛員輔助照相機通常產生在車輛的拐角處重疊的視圖。如本文中所描述的那樣，當照相機放置在車輛的拐角處且向下查看時，則存在完全圍繞車輛延伸的重疊視圖。在這些重疊區(qū)域中，通過兩個照相機從不同側看到行人兩次。然后，出現了關于應當向駕駛員顯示行人(或對象)的哪一側的問題。顯示兩個視圖會使駕駛員感到困惑。因此，所描述的系統(tǒng)和方法便于協調有區(qū)別的照相機視圖并且組合照相機視圖，以使用行人的一個或多個特性來生成一個與現實相關的或“半符號的”符號。

然而，一旦照相機已經被校準以產生鳥瞰環(huán)繞視圖，則識別兩個照相機的視圖不一致的區(qū)域，比如，足夠大(例如，高于預定面積閾值)的連續(xù)區(qū)域中的灰度級或顏色級顯著不同(例如，高于預定灰度級差閾值)的區(qū)域。這些區(qū)域表示投影的行人“陰影”。圖3示出了這種陰影的示例。

圖3是根據本文所述的一個或多個方面的由兩個照相機拍攝的路過的行人的圖像300，其中，由兩個照相機生成的圖像交疊。可以檢測例如位于交叉點處的從車輛后方靠近車輛前方的對象(比如，行人)。使用觀察檢測區(qū)域的立體照相機和通過對行人位置動態(tài)建模來執(zhí)行檢測。例如，提供了觀察車輛附近區(qū)域的一對立體照相機，比如像關于圖1描述的那樣。對照相機進行校準，使得由照相機生成的地平面視圖匹配。也就是說，兩個照相機將完全處于地平面中的對象看作是相同的(例如，兩個照相機之間沒有圖像差異)。

在地平面上方的行人不會導致匹配的視圖。為了說明該示例，在圖3中，從前視圖302和后視圖304兩者中看到行人，并且僅腳306處被這兩個視圖共享。兩個照相機視圖不一致，并且不生成其中行人是可見的相同的重疊的地平面視圖。正好在與紅線的末端處可見的行人的頭部相對應的陰影末端處(在這個地方照相機再次拍攝到平坦的地平面背景)，視圖再次一致。處理器識別不一致區(qū)域的界線，并且可通過處理器繪制或計算從每個照相機發(fā)射至不一致區(qū)域的(相對于每個照相機的)較遠半程的邊界處的射線。這些射線勾勒出從每個照相機的有利位置看到的行人的“陰影”的輪廓。在圖像中表示行人的陰影的頂部與行人的頂部相對應，并且這些陰影中距離照相機最遠的點表示哪個射線恰好在行人的頭部上方通過。如關于圖1所描述的那樣，計算這些射線的交叉點。該交叉點連同校準一起確定行人的高度和行人的腳所處的位置。也就是說，射線的交叉點與行人的腳的位置相對應，并且陰影圖像中從交叉點到行人的頭部的頂部的射線的長度與行人的高度相對應。這些位置形成了可以被檢測并且用于確定行人腳位置和行人高度的“v”形308(為了可見性而以紅色示出)。在各個陰影視圖中從交叉點到行人頭部的射線的長度不同的情況下，可以平均這些射線的長度，或者可以根據預定度量選擇這些射線長度中的一個或隨機地選擇這些射線長度中的一個。該信息形成了本文描述的半符號替換圖像的基礎。

圖4示出了其中已經識別了射線的交叉點r的合并圖像400的示例。兩個照像機22、24放置在車輛的拐角處或拐角的附近，并且分別捕獲共同地限定兩個照像機圖像之間的不一致區(qū)域的對象的前視圖402和后視圖404。繪制出從每個照相機到騎自行車的人或行人的陰影的最遠點(在該示例中為頭部)的線或射線。也就是說，從每個照相機發(fā)出的射線被限定，并且延伸到不一致區(qū)域的較遠半程處。在圖4中，不一致區(qū)域中的相對于照相機22的較遠半程是行人的前視圖陰影圖像402。類似地，從照相機24發(fā)出的射線延伸到不一致區(qū)域中的相對于照相機24的較遠半程中的最遠點，該較遠半程是行人的后視圖陰影圖像404。在一個示例中，在圖3的2d示圖中各條線在行人的腳的位置上的點r處相交，但是如在3d示圖中所見的那樣，線相交所處的高度位于地面以上的行人的頭部所處的地方。然后，跟蹤該位置(即，行人的頭部)。假設了地面以上的大致恒定的高度，并且當跟蹤行人頭部時采用帶有選通的跟蹤濾波器(例如，卡爾曼跟蹤濾波器或α-β跟蹤濾波器)。在似乎合理高度上的充分持續(xù)的且始終移動的檢測構成行人檢測，并且顯示給車輛駕駛員(例如，通過從卡車的后部向前延伸到行人的位置的紅色條來顯示給車輛駕駛員，其可表示對于駕駛員來說的危險區(qū)域)。

圖5示出了其中第一照相機22和第二照相機24對對象506(例如，行人)成像的圖500。分析和比較由每個照相機生成的圖像，以識別各個圖像之間的不一致區(qū)域d以及通過分析圖像中的不一致區(qū)域d而確定的表示對象506的最高點的照相機視圖的交叉點r。頭部投影到每個行人的“陰影”的遠端。也就是說，使用照相機位置和不一致的區(qū)域的知識，確定和跟蹤對象上的最高點。每個照相機的視圖被重新投影到假定平坦的地平面上。當對象506中斷了各自的照相機的地平面視圖時，地平面投影不一致，并且對象被檢測到。點r處的射線的交叉點用于確定對象的高度及其相對于車輛的位置。一旦確定了高度和位置，則將圖像拼接在一起以形成環(huán)繞視圖圖像，并且利用表示行人的半符號圖形替換對象。

在一個實施例中，兩條射線的交叉點確定了行人的高度和基礎位置。在3d示圖中，射線變成相交的平面或表面，并且它們交叉的中點在基點b上。在環(huán)繞視圖中顯示兩個行人陰影(即，前視圖和后視圖)會使觀察者感到困惑。因此，由基于行人實際外表的單個半符號視圖或圖形替換這兩個陰影。

如關于圖1所討論的那樣，第一步驟是擦除兩個陰影，并且利用對面的照相機可見的背景像素替換陰影像素。例如，如果第一照相機捕獲行人的后視圖，則當去除后視圖陰影時，使用來自前照相機圖像的背景像素來替換該后視圖陰影，反之亦然。由此，去除了令人感到困惑的行人的雙視圖。

第二步驟是將行人的半符號表示放置在先前所計算的行人所站立的地點上，該半符號表示具有與行人的高度成比例的高度，并且在不同區(qū)域具有從行人復制而來的顏色或灰度級。例如，如果行人穿著高達1米的有紋理的藍色褲子，則符號具有達到相同高度的相同顏色的有紋理(等)的藍色褲子(適于襯衫、裙子、鞋子、頭發(fā)、帽子等)。符號的寬度也與行人的寬度成比例，以便基于現實的圖標在正確的地方中表示人。

圖6示出了車輛20的示圖，在該示圖中關于卡車計算了用于確定行人18相對于車輛的角度的橢圓600。行人符號以從車輛中心到行人基部的半徑所給出的角度從照相機“傾斜”。作為替代，可以定義包住車輛的或適于車輛內的橢圓。與從最近的橢圓點a到行人的基點b的方向相垂直的方向定義了行人在顯示器中的角度。橢圓可以包圍車輛或被車輛包圍。

圖7示出了諸如可以用于在呈現給駕駛員的顯示器上的環(huán)繞視圖圖像中表示行人的行人的半符號圖形表示700。圖形表示700包括頭部702、軀干部分704和腿部706。圖形表示具有與通過對單個照相機圖像和/或合成混合圖像的像素分析所確定的行人的實際高度成比例的以像素為單位的高度。頭部702可被著色為接近行人膚色。在另一實施例中，頭部可以包括由照相機中的一個所捕獲到的行人的面部的圖像。軀干部分和腿部可被著色和/或紋理化為分別接近行人的襯衫和褲子的顏色。在一個示例中，通過對由照相機捕獲的行人的底部50％(或其它百分比)內的像素顏色求平均來確定圖形表示的腿部顏色。類似地，通過對由照相機捕獲的行人的上部或中部百分比(例如，50％至90％)中的像素顏色求平均值來確定圖形表示的軀干部分的顏色。以這種方式，生成用于插入到環(huán)繞視圖圖像中的行人的半符號圖形表示，并且該半符號圖形表示包括與行人相關聯的真實世界特征。

圖8是車輛20的混合環(huán)繞視圖圖像，其中行人陰影或“鬼影”802和804是可見的。行人陰影802是由第一照相機捕獲的行人的前視圖，并且行人陰影804是由第二照相機捕獲的行人的后視圖。陰影802和804在與行人的腳相對應的區(qū)域806處相交。因此，半符號圖標或圖形表示可以位于位置806處。相對于車輛跟蹤行人位置，并且對圖形表示的位置進行調節(jié)以使其在環(huán)繞視圖圖像或視頻中隨行人移動。

圖9示出了根據本文所述的一個或多個特征的用于在車輛的環(huán)繞視圖圖像中檢測行人并在環(huán)繞視圖圖像中疊加行人的半符號圖形表示的方法。在900，從第一有利位置處捕獲靠近車輛的對象的第一圖像。在902，從第二有利位置處捕獲該對象的第二圖像。在904，通過將第一圖像和第二圖像合并來生成合成圖像。在906，分析合成圖像以檢測表示合成圖像中的行人的一個或多個特征。在908，在將第一圖像和第二圖像混合在一起時所產生的行人“陰影”像素被替換為相應的背景像素。在910，生成行人的半符號圖形表示，其包括在第一圖像和第二圖像中所檢測到的一個或多個行人特征。在912，將行人的半符號圖形表示插入或疊加到合成圖像上的行人相對于車輛的計算位置處。在914，將具有半符號表示的合成環(huán)繞視圖圖像輸出至顯示器。

在一個實施例中，該方法還包括利用來自第二圖像的背景像素替換與第一圖像中的行人相對應的行人陰影像素，并且利用來自第一圖像的背景像素替換與第二圖像中的行人相對應的行人陰影像素。一個或多個行人特征可以包括例如行人襯衫顏色、行人褲子顏色、行人高度等。此外或作為替代，行人面部的圖像可以疊加在半符號圖像表示上。作為替代，可以基于行人對車輛的接近程度來生成行人面部的符號表示。行人面部的這種表示可以是切爾諾夫臉譜圖或其它表示。

在另一個實施例中，分析合成圖像以識別第一圖像和第二圖像之間的不一致區(qū)域d。計算從每個照相機發(fā)出且穿過其視場到達不一致區(qū)域d中的相對于每個照相機的較遠半程的邊界處的至少一條射線。識別照相機射線的交叉點r，其中交叉點與行人的最高點相對應，并且在行人移動經過車輛時跟蹤行人的最高點。

在另一實施例中，在合成圖像中識別由對象的前視圖表示和后視圖表示中的每一個所形成的形狀，其中，將行人確定為處于前視圖表示和后視圖表示在合成圖像中相交的地方。在合成圖像中確定地面以上的行人的頭部的高度，并且當行人移動經過車輛時跟蹤行人的頭部位置。

已經參考若干實施例描述了本發(fā)明。其他人在閱讀和理解前面的詳細描述之后可以想到修改和改變。旨在將本發(fā)明解釋為包括處于所附權利要求或其等同物的范圍內的所有這樣的修改和改變。