專利名稱：存在交通設(shè)施標(biāo)識的更優(yōu)暢通路徑檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機動車輛的自動或半自動控制。
背景技術(shù)：
本部分的陳述僅僅提供與本發(fā)明相關(guān)的背景信息，可能不構(gòu)成現(xiàn)有技術(shù)。自主駕駛系統(tǒng)和半自主駕駛系統(tǒng)利用與路況和其它駕駛情況相關(guān)的輸入來自動 控制節(jié)氣門和轉(zhuǎn)向機構(gòu)。精確地估計并識別機動車輛所能行駛的暢通路徑，對于成功取代 以人腦作為控制機構(gòu)的車輛操作來說是至關(guān)重要的。路況可能會很復(fù)雜。在車輛正常操作的情況下，駕駛員每分鐘進(jìn)行數(shù)百次觀察并 根據(jù)所感知的路況來調(diào)整車輛操作。感知路況的一個方面是感知車道上和周邊的物體并在 物體中間導(dǎo)航出暢通路徑。用科技來取代人類的感知首先包括精確感知物體的手段；還包 括繼而在這些物體周圍有效地進(jìn)行導(dǎo)航。感知物體或路況的科技手段包括從視頻攝像機、雷達(dá)成像、激光雷達(dá)、車輛之間的 通信、車輛與基礎(chǔ)設(shè)施之間的通信所得到的數(shù)據(jù)以及使用由數(shù)字地圖得到的全球定位數(shù) 據(jù)。攝像機將輻射形式的視覺圖像-如光圖案或紅外特征轉(zhuǎn)換成可讀數(shù)據(jù)格式。一種這類 數(shù)據(jù)格式包括像素圖像，在像素圖像中，感知到的場景被分割成一系列像素。雷達(dá)成像利用 發(fā)射器產(chǎn)生的無線電波來估計出現(xiàn)在發(fā)射器前方的形狀和物體。由這些形狀和物體反射回 來的電波圖案能夠被分析，從而估計物體的位置。有關(guān)車輛前方地面的數(shù)據(jù)一旦產(chǎn)生，這些數(shù)據(jù)必須經(jīng)過分析以便從數(shù)據(jù)中估計出 物體的存在。通過使用攝像機和雷達(dá)成像系統(tǒng)，可以分析車輛前方的地面或道路，從而得到 可能需要避開的物體的存在。然而，僅僅識別那些需要避免的潛在物體并沒有完成分析過 程。任何自主系統(tǒng)的一個重要元素都包括如何處理并操縱在所感知的地面數(shù)據(jù)中識別出的 潛在物體以便識別操作車輛的暢通路徑。一種已知的識別操作車輛的暢通路徑的方法是將所有感知到的物體進(jìn)行分類并 臨時性地識別所有感知到的導(dǎo)航因素，并且根據(jù)所識別的物體的位置和特性來識別暢通路 徑?？筛鶕?jù)圖像的形式以及圖像與道路的關(guān)系來處理這些圖像，從而識別并分類物體。盡 管在識別暢通路徑時該方法是有效的，但是其需要大量的處理能力，例如，在視覺圖像中辨別不同的物體并對其進(jìn)行分類，比如區(qū)分路邊的樹以及走向路緣的行人。這些方法在處理 復(fù)雜情況時的速度慢或者有效性差，或者需要笨重且昂貴的設(shè)備來提供必須的處理能力。

發(fā)明內(nèi)容
一種檢測車輛行駛的暢通路徑的方法，該方法利用位于車輛上的攝像機裝置產(chǎn)生 的多個圖像的分析，該方法包括監(jiān)測這些圖像。這些圖像被分析，所述分析包括確定暢通路 徑以及確定交通基礎(chǔ)設(shè)施標(biāo)識的圖像，在該暢通路徑上潛在道路表面能夠從不指示潛在道 路表面的其它圖像部分估計出來。該方法進(jìn)一步包括確定交通基礎(chǔ)設(shè)施標(biāo)識器的內(nèi)容、基 于交通基礎(chǔ)設(shè)施標(biāo)識器的內(nèi)容修正暢通路徑、以及利用修正后的暢通路徑進(jìn)行車輛導(dǎo)航。


現(xiàn)在將參考附圖通過示例來描述一個或多個實施方式，附圖中圖1示出了配備有根據(jù)本發(fā)明的攝像機和雷達(dá)成像系統(tǒng)的車輛的示例性設(shè)置；圖2示出了根據(jù)本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法；圖3示出了根據(jù)本發(fā)明的一種使用圖像幾率分析來確定暢通路徑的示例性方法；圖4示出了根據(jù)本發(fā)明的一種分析圖像的示例性方法；圖5示出了根據(jù)本發(fā)明的一種通過調(diào)整單個閾值來確定分類誤差的示例性方法；圖6A、6B和6C示出了根據(jù)本發(fā)明的一種通過計算絕對圖像強度差別來確定圖像 差別的示例性方法；圖7示出了根據(jù)本發(fā)明的、將一個特征同時分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的一種示例性方法；圖8示出了根據(jù)本發(fā)明的、將一個特征同時分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的另一種示例性方法；圖9示出了根據(jù)本發(fā)明的通過幾率分析來分析圖像的一個示例性過程；圖10示出了根據(jù)本發(fā)明的用于檢測暢通路徑的第一處理方案；圖11示出了根據(jù)本發(fā)明的一個示例性當(dāng)前圖像，該當(dāng)前圖像包含在當(dāng)前圖像上 識別出的一組示例性的關(guān)切點；圖12示出了根據(jù)本發(fā)明的在圖11所示圖像之后捕獲的示例性當(dāng)前圖像；圖13A和13B示出了根據(jù)本發(fā)明的示例性的匹配點對，該匹配點對包括當(dāng)前圖像 中的關(guān)切點和與其對應(yīng)的先前圖像中的關(guān)切點，并且示例性的像素區(qū)域環(huán)繞這些點；圖13A示出了當(dāng)前圖像中的關(guān)切點和環(huán)繞該關(guān)切點的像素區(qū)域；圖13B示出了先前圖像中的關(guān)切點和環(huán)繞該關(guān)切點的像素區(qū)域；圖14以繪圖形式示出了根據(jù)本發(fā)明的、使用示例性當(dāng)前圖像、示例性先前圖像、 以及宿主車輛的操作來確定觀察到的特征的位置；圖15以繪圖形式示出了根據(jù)本發(fā)明的一個示例性的上方地圖，其描述了在宿主 車輛前方的X和y坐標(biāo)內(nèi)關(guān)切點的垂直位置；圖16示出了根據(jù)本發(fā)明的用于檢測暢通路徑的第二處理方案；圖17示出了根據(jù)本發(fā)明的基于像素顏色強度的一個示例性的濾波圖像；圖18示出了根據(jù)本發(fā)明的采用邊緣識別方法的一個示例性的濾波圖像；
圖19示出了根據(jù)本發(fā)明的用于第二處理方案的可替換的示例性過程；圖20示出了根據(jù)本發(fā)明的檢測更優(yōu)暢通路徑的示例性流程圖；圖21示出了根據(jù)本發(fā)明的檢測更優(yōu)暢通路徑的示例性流程圖；以及圖22示出了根據(jù)本發(fā)明的這種迭代分析。
具體實施例方式現(xiàn)在參考附圖，附圖的目的僅在于示出某些示例性實施方式，而并非用于限制本 發(fā)明，圖1示出了根據(jù)本發(fā)明的攝像機110的示例性設(shè)置，攝像機110定位在車輛100前部 并指向車輛100前方的地面。攝像機110與處理模塊120進(jìn)行通訊，處理模塊120包含處 理來自攝像機Iio的輸入的邏輯算法。車輛100也可以配備雷達(dá)成像系統(tǒng)130，當(dāng)配備雷達(dá) 成像系統(tǒng)130時該系統(tǒng)同樣也與處理模塊120進(jìn)行通信。本領(lǐng)域技術(shù)人員應(yīng)該理解的是， 車輛100能夠利用多種方法來識別路面狀況，這些方法可與攝像機110和雷達(dá)成像系統(tǒng)130 同時使用或者選擇使用，包括GPS信息、來自與車輛100通信的其他車輛的信息、特定道路 的歷史數(shù)據(jù)、生物檢測信息-例如讀取駕駛員視覺焦點的系統(tǒng)信息、雷達(dá)成像系統(tǒng)或者其 他類似系統(tǒng)。本發(fā)明可應(yīng)用于各種設(shè)備，因此不局限于此。攝像機110是本領(lǐng)域公知的，其能夠?qū)⒐廨椛?、紅外輻射或其他電磁(EM)輻射形 式的視覺輸入轉(zhuǎn)換成易于分析的數(shù)據(jù)格式，例如數(shù)字圖像、像素圖像。在一個實施方式中， 攝像機110使用電荷耦合裝置(CCD)傳感器來產(chǎn)生表示視場的圖像。優(yōu)選地，攝像機110被 配置成連續(xù)產(chǎn)生圖像，例如，每秒鐘產(chǎn)生30幅圖像。由攝像機110產(chǎn)生的圖像可以存儲在攝 像機110內(nèi)的存儲器中或者傳給處理模塊120來存儲和/或分析。優(yōu)選地，攝像機110所 產(chǎn)生的每幅圖像都是由多個可識別像素構(gòu)成的、已知像素維度的二維圖像。多個可識別像 素能夠以陣列方式來存儲和分析。每個像素可以在陣列中表示為一組比特(bit)或多組比 特，其中，比特對應(yīng)于預(yù)定調(diào)色板或色彩圖中的顏色。例如在紅-綠-藍(lán)(RGB)顏色模式或 青-品紅-黃-黑(CMYK)顏色模式中，每個像素能夠表示成多個顏色強度值的函數(shù)。優(yōu)選 地，每個像素包括多組比特，其中每組比特對應(yīng)于一個顏色強度和一個顏色強度值，例如， 在RGB顏色模式中，第一組比特對應(yīng)于紅色強度值，第二組比特對應(yīng)于綠色強度值，第三組 比特對應(yīng)于藍(lán)色強度值。雷達(dá)成像裝置130是本領(lǐng)域公知的裝置，其包含如下設(shè)備發(fā)射器，其能夠發(fā)射無 線電波或其他電磁輻射；接收器，其能夠感測被發(fā)射器前的物體反射而回到接收器的發(fā)射 波；以及將感測到的波轉(zhuǎn)換成能夠分析的數(shù)據(jù)格式的裝置，這些數(shù)據(jù)表示出從物體反射回 的波的范圍和角度等信息。替代性地，可使用光檢測和測距(LIDAR)系統(tǒng)來取代雷達(dá)成像 裝置130或者作為其補充，光檢測和測距系統(tǒng)被構(gòu)造成發(fā)射并接收光能量。接收到的光能 量可以用來確定車輛100附近的物體的尺寸和/或幾何參數(shù)。需注意的是，對于執(zhí)行這里 公開的很多方法而言，雷達(dá)成像裝置130是可選的而不是必須的，其中，處理視覺圖像能夠 實現(xiàn)暢通路徑檢測。圖1示出了處理模塊120，這里將處理模塊120描述成一個分立元件。這種圖示 是為了描述方便，應(yīng)該認(rèn)識到這個元件所實現(xiàn)的功能可以由一個或多個裝置組合完成，例 如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。處理模塊120可以是一個通用數(shù)字計算機，其 包括微處理器或中央處理單元；由包括只讀存儲器的非易失性存儲器和電子可編程只讀存儲器組成的存儲介質(zhì)；隨機存取存儲器；高速時鐘；模_數(shù)和數(shù)_模轉(zhuǎn)換電路；輸入/輸 出電路和裝置以及適當(dāng)?shù)男盘栒{(diào)節(jié)和緩沖電路?？商鎿Q地，處理模塊120可以是一個數(shù)字 信號處理(DSP)單元，例如現(xiàn)場可編程門陣列的定制集成電路。處理模塊120具有一組處 理算法，這些算法包括在非易失性存儲器中存儲并且被執(zhí)行以提供所需功能的常駐程序指 令和校準(zhǔn)值。算法優(yōu)選在預(yù)設(shè)環(huán)路循環(huán)中執(zhí)行。算法由中央處理單元執(zhí)行，并能夠監(jiān)測來 自上述檢測裝置的輸入，并且這些算法通過使用預(yù)設(shè)的校準(zhǔn)值來執(zhí)行控制和診斷程序以便 控制致動器的操作。環(huán)路循環(huán)可以規(guī)則性間隔執(zhí)行，例如，在發(fā)動機運行和車輛操作中，每 3. 125,6. 25、12. 5、25和100毫秒執(zhí)行一次。可替換地，算法可以響應(yīng)于事件的發(fā)生來執(zhí)行。處理模塊120處理在其中存儲的算法代碼，以便監(jiān)測相關(guān)儀器，如攝像機110、雷 達(dá)成像系統(tǒng)130，并執(zhí)行在處理模塊內(nèi)進(jìn)行的分析所指示的命令或數(shù)據(jù)傳輸。處理模塊120 可包括算法和機構(gòu)來實現(xiàn)自主駕駛控制，其實現(xiàn)方式在本領(lǐng)域中是已知的，在此不再詳述; 或者，處理模塊120可以僅僅為一個獨立的自主駕駛系統(tǒng)提供信息。處理模塊120適于在 必要的時候接收來自其他系統(tǒng)和操作者的輸入信號，這取決于與控制模塊結(jié)合使用的具體 實施方式。圖2示出了根據(jù)本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法。對應(yīng)于車 輛100前方的道路產(chǎn)生圖像10。通過多種方法中的一種，物體40A、40B和40C在圖像10內(nèi) 被識別，且每個物體根據(jù)過濾和訓(xùn)練的物體特性來進(jìn)行分類。每個物體的單獨處理在計算 量方面的強度較大，需要昂貴且笨重的儀器才能承受這種計算負(fù)荷。一種算法處理所有與 道路和物體40有關(guān)的可用信息，以便估計對車輛100來說可行的暢通路徑。暢通路徑的確 定取決于被識別物體40的特定分類和特性。圖3示出了根據(jù)本發(fā)明的一種為自主或半自主行駛確定暢通路徑的示例性方法。 圖像10示出為包括地面20、水平線30以及物體40。圖像10由攝像機110收集，并表示車 輛100前方的道路環(huán)境。地面20代表了在不基于可能存在的物體進(jìn)行區(qū)分的情況下可供車 輛行駛的所有路徑。圖3所示的基于路面20確定暢通路徑的方法首先假設(shè)所有地面20都 是暢通的，然后利用可用數(shù)據(jù)來確定地面20的某些部分是不暢通的。圖2是將每個物體40 進(jìn)行分類，與圖2的方法不同，圖3的方法分析地面20，并從可用數(shù)據(jù)中限定出一個幾率，其 中，可用數(shù)據(jù)指的是因為一些異常而限制通行或不暢通的那部分地面20的數(shù)據(jù)，這些異常 是可檢測的且可能代表物體40。關(guān)注地面20而不是物體40就避免了檢測物體所帶來的復(fù) 雜的計算任務(wù)。單獨分類和對每個物體進(jìn)行追蹤就不是必須的了，因為獨立的物體40都被 簡單地統(tǒng)一為地面20上的整體均勻阻礙的一部分。上述地面20-也即在不進(jìn)行區(qū)分的情況 下都能夠行駛的路徑減去地面20上被發(fā)現(xiàn)不暢通的不暢通區(qū)域，就可定義出暢通路徑50， 也即圖3中虛線內(nèi)的區(qū)域，或者具有允許車輛100行駛的某個閾值幾率的區(qū)域。在地面20上產(chǎn)生不暢通限制的物體40有多種形式。例如，物體40可以代表一個 獨立的物體，如停著的汽車、行人或者道路障礙；物體40還可以代表不太明顯的表面圖案 變化，這些變化指示諸如路側(cè)緣的路邊緣、草的輪廓線或者道路上的水。物體40還可以包 括與地面20相聯(lián)系的平坦路面的缺失，例如，路面上的大坑。物體40還可以包括相對于路 面在高度上沒有任何明顯變化的指示牌，但對于該路段來說是明顯的暢通路徑提示，例如 道路上的指示車道標(biāo)記的圖案。這里公開的方法并沒有試圖去識別物體40，而是通過僅僅 提取地面20上的視覺線索以及所有在圖像10中的地面附近的物體，從而評估不暢通路徑和暢通路徑的幾率，并在任何物體40存在時調(diào)整車輛100的控制。二維(2D)圖像的自動分析有多種可行的方法。由處理模塊120內(nèi)的算法對圖像 10進(jìn)行分析。圖4示出了根據(jù)本發(fā)明的一種可用于分析圖像10的示例性方法。該方法將 圖像10細(xì)分，識別地面20上的子圖像或補片60來進(jìn)行分析，從補片60中提取特征或分析 可用的視覺信息，以識別出其中的任何關(guān)切特征(interesting features)或區(qū)別特征，并 依據(jù)對特征的分析、根據(jù)暢通路徑的幾率來對補片進(jìn)行分類。大于特定幾率閾值的補片被 歸類為暢通的，對這類補片的匯編能夠用來構(gòu)成圖像內(nèi)的暢通路徑。作為圖像10的子圖像，補片60能夠通過多種已知方法來識別，例如，圖像10的隨 機搜索或密集搜索。可替換地，從其他信息源_例如雷達(dá)成像系統(tǒng)130得到的有關(guān)物體40 存在的信息能夠用來識別補片，以分析能夠描述物體40的那部分圖像10。圖像10需要很 多補片60來分析整個圖像。另外，多個疊層補片或不同大小的補片能夠用來全面分析包含 關(guān)切信息的圖像10的區(qū)域。例如，一個小的補片60能夠用來分析路上的一個小點然而， 一個大的補片60需要用來分析一系列的點，這些點獨自看來都不是關(guān)切點，但是對于整個 系列來說，其能夠指示出關(guān)切物體40。另外，應(yīng)用到某特定區(qū)域的補片的分辨率可以基于可 用信息進(jìn)行調(diào)制，例如，可應(yīng)用更多的補片到圖像10中的物體40可能存在的區(qū)域。多種手 段或策略可以用來確定用于分析的補片60，本發(fā)明不限于這里所述的具體實施方式
。—旦補片60已被識別而用于分析，處理模塊120就通過應(yīng)用濾波器從補片中提取 特征而對該補片進(jìn)行處理。此外，處理模塊120可以對補片位置執(zhí)行相對于車輛位置的分 析。所使用的濾波器可以采用多種形式。用于提取特征的濾波算法經(jīng)常搜索可用的視覺信 息，以便找到與物體相關(guān)的圖像中的特征性圖案，這些圖案通過線的方向、線的位置、顏色、 角落特點、其他視覺屬性和學(xué)習(xí)屬性來定義的特征。學(xué)習(xí)屬性可通過車輛內(nèi)的機器學(xué)習(xí)算 法來學(xué)得，但學(xué)習(xí)屬性通常進(jìn)行離線編程，且能夠通過足以精確地訓(xùn)練區(qū)別屬性的建?；?其他技術(shù)以實驗方式、經(jīng)驗方式、預(yù)測方式來得出。一旦補片60中的特征被提取，補片就基于特征被分類以確定路徑是暢通路徑的 幾率。幾率分析在本領(lǐng)域是已知的，在這種分析中存在某特定條件的幾率值或信心被導(dǎo)出。 應(yīng)用到本發(fā)明中，分類包括幾率分析以確定補片是否代表暢通路徑、或者該補片中的地面 20是否被物體40所限制。在一個示例性實施方式中，分類通過應(yīng)用分類器或算法來實施， 其中，所述算法因被訓(xùn)練而含有數(shù)據(jù)庫，該數(shù)據(jù)庫包括示例性路況以及與被檢測物體的相 互作用。這些分類器允許處理模塊120導(dǎo)出補片60的分?jǐn)?shù)型式的暢通路徑幾率值，該幾率 值將信心值量化在0與1之間，在該區(qū)間中，在補片內(nèi)識別出的特征并不代表一個將會限制 車輛100自由行駛的限制物體40。閾值信心限定確定該補片是暢通路徑的暢通路徑幾率， 例如可通過如下邏輯來設(shè)定閾值信心信心=暢通路徑幾率(i)如果_信心>0.5，那么_補片=暢通路徑(1)在這個特定的示例性實施方式中，50%或者0. 5的信心被選定為閾值信心。該數(shù) 字能夠通過足以精確評估用于暢通路徑特征的補片的建模或其他技術(shù)而實驗方式、經(jīng)驗方 式、預(yù)測方式來得出。在一個示例性實施方式中，如上所述的幾率分析能夠通過將訓(xùn)練過的分類器應(yīng)用 到從補片提取的特征來實現(xiàn)。一種方法通過使用一組訓(xùn)練圖像來分析假定的特征。在該訓(xùn)練階段，從一個原始特征組中來選擇區(qū)別特征，區(qū)別特征由本領(lǐng)域的已知方法定義，例如 Harr小波、Gabor小波以及Leung和Malik濾波器組。另外，基于每個特征的最小分類誤差 并且計算為錯誤接受率(FAR)和錯誤拒絕率(FRR)的總和的二維圖像位置信息能夠通過調(diào) 制圖5所示的單一閾值而被使用。這種分類誤差能用下面的表達(dá)式來描述分類誤差⑴=FARi+FRRi(2)從訓(xùn)練過的分類器中得到的信息用來分類或加權(quán)特征，作為指示暢通路徑或不暢 通路徑的特征。該特定分類取決于與訓(xùn)練數(shù)據(jù)的比較強度。如果該特征是補片內(nèi)的唯一特 征，那么該特征的分類能夠直接應(yīng)用到該補片。有多個識別特征的補片的分類可能有多種 形式，包括由最能代表補片是不暢通的包含特征來定義補片，或者由所有包含特征的加權(quán) 和來定義補片。上述方法能夠用來檢查單一圖像10，并基于圖像10內(nèi)所包含的視覺信息來估計 暢通路徑50。該方法可以隨著車輛沿道路行駛而以某種間隔重復(fù)，從而考慮新的信息并將 確定的暢通路徑擴展至車輛的新位置前方的某些范圍。間隔的選擇必須能夠以足量頻率來 更新圖像10，以便準(zhǔn)確地為車輛100提供行駛的暢通路徑。然而，該間隔也可以選擇為足以 控制車輛同時不會對處理模塊120施加過度的計算負(fù)荷的某個最小值。如上所述，暢通路徑檢測能夠通過單一圖像10來完成。但是，補充使用與原始圖 像的時間間隔非常近的第二幅圖像，例如從連續(xù)視頻補片得到的一系列圖像，則能夠提高 處理速度和精確度。第二幅圖像能夠與第一幅圖像直接比較，并提供有關(guān)車輛行進(jìn)和被檢 測物體運動的最新信息。同時，攝像機110視角的改變允許對第一幅圖像中的特征進(jìn)行不 同的分析在第一幅圖像中沒有清晰地顯現(xiàn)的或者不清楚的特征可能在不同的攝像角度中 出現(xiàn)、更加清楚，或者與第一幅圖像相比已經(jīng)移動的特征，也能夠使得分類算法有額外的機 會來定義該特征。處理與原始圖像10相關(guān)的第二幅圖像能通過計算圖像差異來進(jìn)行。如果關(guān)切點 的圖像差異-例如由雷達(dá)識別出的特征不是0，那么該點能夠被識別為體現(xiàn)新的信息。圖像 差別為0的點能夠從分析中排除，且計算資源能夠保留。確定圖像差異的方法包括絕對圖 像強度差異和車輛運動補償?shù)膱D像差異。通過計算絕對圖像強度差異而確定圖像差異能夠用來收集兩幅圖像之間的信息。 一種絕對圖像強度差異方法包括如下步驟確定原始圖像與第二幅圖像之間的等效圖像特 征，以便補償圖像之間的車輛運動；重疊圖像；并標(biāo)注出圖像強度之間的任何的顯著變化。 表示圖像強度在某個特定區(qū)域的變化的圖像之間的比較包含新的信息。強度上顯示出無變 化的區(qū)域或補片在分析中不再被強調(diào)，而在強度上顯示出明顯變化的區(qū)域被重點關(guān)注，使 用上述方法來分析任一或兩個所獲取的圖像上的補片。圖6A、6B和6C示出根據(jù)本發(fā)明的一種通過計算絕對圖像強度差異來確定圖像差 異的示例性方法。圖6A示出了原始圖像。圖6B示出了比原始圖像有所變化的第二幅圖像。 特別是圓圈向左移動了。圖6C示出了兩幅圖像的比較，所得結(jié)論代表了絕對圖像強度差異 比較的結(jié)果，從第一幅圖像到第二幅圖像識別出一個區(qū)域的亮度變深、另一個區(qū)域的亮度 變淺。這種方法能夠描述為區(qū)別。這種比較分析產(chǎn)生某種信息，該信息表明由運動或視角 變化引起的某種變化可能存在于圖像區(qū)域中。這樣，絕對圖像強度差異能夠用來分析一對 連續(xù)圖像以識別潛在的不暢通路徑。
同樣，通過計算車輛運動補償?shù)膱D像差異來確定圖像差異能夠用來收集兩幅圖像 之間的信息。計算車輛補償?shù)膱D像差異的很多方法是已知的。一種計算車輛補償?shù)膱D像差 異的示例性方法包括分析一個潛在物體，將其同時作為暢通路徑的靜態(tài)部分以及被檢測物 體。對特征實施幾率分析，其中，該特征是根據(jù)同時對兩種分類的潛在物體進(jìn)行識別所得到 的，分類可以被比較，例如可通過以下邏輯進(jìn)行這種比較信心(i)=暢通路徑幾率(i)_被檢測物體幾率(i)如果_信心> 0，那么_補片=暢通路徑(3)在這種示例性的比較中，如果信心⑴大于0，那么包含該特征的補片被分類為暢 通路徑。如果信心(i)等于或小于0，那么包含該特征的補片被分類為不暢通路徑或受限制 路徑。然而，可以選擇不同的信心水平數(shù)值來將路徑分類為暢通路徑。例如，測試可能會表 明錯誤正值比錯誤負(fù)值更有可能出現(xiàn)，因此可能會引入一些因數(shù)或偏差。圖7示出了根據(jù)本發(fā)明的一種將特征進(jìn)行分類的方法，如上所述，該特征同時作 為暢通路徑的一部分和被檢測物體被分類。圖像10包括物體40、梯形投影70和矩形投影 80。這種方法假定投影物體40作為地面上投影70內(nèi)的平面物體，以測試作為暢通路徑的一 部分的特征的分類。該方法還假設(shè)投影物體40作為一個在矩形投影80內(nèi)的垂直物體，來 測試特征作為被檢測物體的分類。圖8示出了根據(jù)本發(fā)明對在兩幅圖像之間收集的數(shù)據(jù)進(jìn) 行比較以評價本發(fā)明的物體40的屬性的方法。攝像機110在tl時刻發(fā)現(xiàn)并以第一幅圖像 的形式獲取了來自物體40的數(shù)據(jù)。如果物體40是一個實際檢測到的物體，那么在tl時刻 攝像機110觀測到的物體40的輪廓將與點90A相對應(yīng)。如果物體40是一個與地面20在 同一平面上的平坦物體，那么攝像機110在tl時刻觀測到的物體40的輪廓將與點90B相 對應(yīng)。在時刻tl和t2之間，攝像機110行駛了一定的距離。在t2時刻獲取第二幅圖像， 關(guān)于物體40的信息能用算法來進(jìn)行測試，該算法著眼于第二幅圖像相對于第一幅圖像的 可見屬性。如果物體40是一個實際檢測到的物體，且從地面20向上延伸，那么在時刻t2物 體40的輪廓將在點90C處被觀察到。如果物體40是一個與地面20在同一平面上的平坦 物體，那么物體40在時刻t2的輪廓將在點90B處被觀察到。通過車輛運動補償?shù)膱D像差 異所得到的比較能夠通過使用基于對點90進(jìn)行觀察的分類器直接設(shè)定一個信心值；或者， 該比較可以簡單地指向顯示變化的區(qū)域，作為關(guān)切點。對被作為平坦物體和實際檢測到的 物體分類的物體進(jìn)行的測試使得要么能夠識別包含物體40的區(qū)域以便通過如上所述的補 片分析進(jìn)行進(jìn)一步分析；要么能夠直接得出暢通路徑幾率和被檢測物體幾率值以便例如在 上述邏輯表達(dá)式3中進(jìn)行比較。從對第二幅圖像的分析所得到的可用信息能夠通過結(jié)合與車輛運動有關(guān)的信息 而被額外改善，所述信息例如是速度和偏航率。與車輛運動有關(guān)的信息可以有很多來源，包 括車輛測速儀、車輛動力傳感器或車輪速度傳感器、防抱死制動機構(gòu)和GPS定位系統(tǒng)。可在 算法中利用這種車輛運動信息，例如結(jié)合圖7和圖8所示的投影，以便基于從第一幅圖像得 到的數(shù)據(jù)和車輛在兩幅圖像之間的測得運動來投影某些角度，所述角度應(yīng)當(dāng)出現(xiàn)在第二幅 圖像的地面上的平坦特征中。比較所用的圖像數(shù)量不一定限制為兩個。多個圖像分析可在多重迭代中實現(xiàn)，物 體在多個循環(huán)中被追蹤和比較。如上所述，計算效率能夠通過圖像差異分析而得以提高，其 中，圖像差異分析識別關(guān)切點并剔除與后續(xù)分析具有0差異的區(qū)域。這種效率能夠用在多
10重迭代中，例如，也就是說只有在第一幅圖像和第二幅圖像之間識別出的關(guān)切點在第三和 第四幅圖像中被分析。有時候，一組新圖像需要被比較，以保證顯示0差異的區(qū)域均沒有任 何變化，例如，一個移動物體撞擊到之前識別出的暢通路徑上。圖像差異分析和聚焦分析的 使用剔除了識別出零變化的區(qū)域，圖像差異分析和聚焦分析的使用對于不同的應(yīng)用和不同 的操作條件而言是不同的，這些操作條件例如是車輛速度或所觀察到的操作環(huán)境。圖像差 異分析和聚焦分析的特定應(yīng)用可能有多種不同的實施方式，本發(fā)明不局限于此處提及的具 體實施方式。圖9示出了根據(jù)本發(fā)明的一個示例性過程200，其中分析來自攝像機的輸入以確 定暢通路徑的幾率。攝像機的輸入以圖像形式在步驟202中生成。在步驟204中，從圖像 中選取補片用于分析。步驟206示出了用于處理補片的一個濾波器或一組濾波器。在步驟 208中，對所選取的補片應(yīng)用來自步驟206的濾波器和其它算法以便進(jìn)行特征提取。應(yīng)該理 解，某些特征具有意義而另一些特征則沒有意義，并且選擇特征的過程可以用于確定用于 分析的一組最佳特征。步驟210包括分類器訓(xùn)練過程。如上文提到的，用于得出幾率值的 分類器或邏輯最初是離線訓(xùn)練的。訓(xùn)練可以基于模糊邏輯、神經(jīng)網(wǎng)絡(luò)或其它本領(lǐng)域已知的 學(xué)習(xí)機構(gòu)在車輛中選擇性地繼續(xù)進(jìn)行。這些經(jīng)過訓(xùn)練的分類器被用于步驟212中從而在通 過步驟208提取的特征上執(zhí)行幾率分析，并且得出補片的幾率值。這種幾率值表示被選取 的補片是暢通的信心。在步驟214中，比較在步驟212中獲得的幾率值與閾值。如果幾率 值大于該閾值，那么在步驟218中該補片被確定為暢通路徑。如果幾率值不大于該閾值，那 么該補片被確定為非暢通路徑。如上所述，通過選擇和分析不同的補片來對相同的圖像進(jìn) 行反復(fù)分析，過程200可以多種方式被重復(fù)或迭代，并且可以追蹤一個被識別的補片并分 析其在多個連續(xù)圖像間的變化。如上所述，處理模塊120可包括通過此處未描述但本領(lǐng)域已知的方法來實現(xiàn)自主 駕駛控制的算法和機構(gòu)，或者處理模塊120可僅僅為獨立的自主駕駛系統(tǒng)提供信息。對觀 察到的物體的反應(yīng)也可有所不同，包括但不局限于轉(zhuǎn)向變化、節(jié)氣門變化、剎車響應(yīng)、警告 和將車輛控制交給操作者。上述對補片進(jìn)行分析的方法是為車輛建立一個行駛暢通路徑的方法中的一種。兩 個額外的相關(guān)處理方案也被公開，其采用類似的方法對像素進(jìn)行分析而不是對補片進(jìn)行分 析。所公開的第一個處理方案是采用富含紋理的方法來分析圖像以確定暢通路徑。圖10 示出了用于檢測暢通路徑的第一處理方案101，其在此處被描述為包括離散元件。這樣的圖 示是為了便于描述，并且應(yīng)該理解由這些元件執(zhí)行的功能可以組合在一個或多個裝置中實 現(xiàn)，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。處理方案101是采用富含紋理的圖像來分析宿主車輛前方視場的示例性方法，并 且開始于步驟103，在該步驟中產(chǎn)生車輛前方的視場的圖像。在步驟106中，檢查被監(jiān)測到 的圖像中是否有關(guān)切點，例如，檢查上面描述的像素顏色強度以及將該像素或一組像素與 周圍像素進(jìn)行比較。通過本領(lǐng)域已知的方法，可以識別出關(guān)切點并且利用這些關(guān)切點來實 現(xiàn)上述方法。在步驟109中，當(dāng)車輛在運動時，比較車輛前方視場中的連續(xù)圖像，并且在可 能的情況下將從每個圖像中提取的關(guān)切點與連續(xù)圖像中的相應(yīng)的點進(jìn)行匹配，這些點對應(yīng) 于視場中的相同點。匹配包括通過模板匹配或者在連續(xù)圖像上對關(guān)切點進(jìn)行比較而定位對 應(yīng)的點，同時考慮宿主車輛的運動，并作出兩個點是否代表視場中相同的可視物體或可視特征的最佳估計。雖然可以匹配關(guān)切點，但不是所有匹配的對應(yīng)點對都代表高質(zhì)量的對應(yīng) 點對，高質(zhì)量的對應(yīng)點對允許識別它們在視場中的三維位置以便分類為能使車輛通過的暢 通路徑。在步驟112中，濾波器被應(yīng)用于匹配的對應(yīng)點對，以便識別出高質(zhì)量的對應(yīng)點對， 高質(zhì)量的對應(yīng)點對可以高信心水平用于三維位置識別。在步驟115中，分析高質(zhì)量的對應(yīng) 點對，從而確定所述對應(yīng)點對代表的物體的三維位置?？梢岳斫獾氖?，在連續(xù)的圖像中與地 面相比具有不同高度的對應(yīng)點對的移動是不相同的。分析關(guān)切點的運動可以得出這些關(guān)切 點的三維坐標(biāo)。在步驟118中，所確定的物體位置被用于繪制宿主車輛前方的物體位置的 地圖。在步驟121中，該地圖被用于確定宿主車輛前方的暢通路徑。圖11示出了一個示例性的當(dāng)前圖像(k) 500，其包括在當(dāng)前圖像(k)上被識別的一 組關(guān)切點501，每個關(guān)切點501對應(yīng)于一個像素。處理模塊120優(yōu)選地在所生成的包括當(dāng)前 圖像(k) 500和先前圖像(k-Ι)的每個圖像上識別關(guān)切點501。關(guān)切點501是圖像上的可識 別像素，并且與一組視覺信息-即富含紋理的特征相關(guān)聯(lián)，而且還與位于視場中的物體相 關(guān)聯(lián)。圖11所示的示例性的視場或視圖包括路面510、路面部分515、路緣520和521、車 道標(biāo)記522、交叉車道526和建筑物524和525。候選關(guān)切點501通過關(guān)切點提取程序在視 圖中被識別出來，通過關(guān)切點提取程序可以選出一組關(guān)切點501。關(guān)切點提取程序可以通 過很多已知方法中的一種在多個圖像上執(zhí)行，例如，比例不變特征變換(SIFT)，采用拐角檢 測或其它形狀檢測的方法，或Sobel濾波器。關(guān)切點提取程序優(yōu)選地在處理模塊120中執(zhí) 行，但是也可以組合在一個或多個裝置中執(zhí)行，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí) 行。關(guān)切點提取程序在每個圖像中定位與預(yù)定的富含紋理的可識別特征對應(yīng)的候選關(guān)切點 501，這些特征例如是指示邊緣的像素、指示視覺數(shù)據(jù)中的轉(zhuǎn)變的像素，其中可在視圖中識 別出潛在的重要特征。在圖11的示例性視圖中，在多個被識別出的關(guān)切點501中，點501A 在路緣520中的部分505的拐角處被識別。在識別出候選關(guān)切點501后，關(guān)切點提取程序可通過除去多余的候選關(guān)切點來過 濾這些候選關(guān)切點，多余的候選關(guān)切點就是對應(yīng)于同一特征的候選關(guān)切點。例如，該關(guān)切 點提取程序可過濾多個對應(yīng)于邊緣的候選關(guān)切點，從而得到對應(yīng)于邊緣的更少的候選關(guān)切 點。剩余的候選關(guān)切點組即是該圖像的關(guān)切點。在一個實施方式中，過濾多余的候選關(guān)切 點是為了提高計算效率?！┰诋?dāng)前圖像(k)500中識別出關(guān)切點501，處理模塊120便對來自當(dāng)前圖像 (k)的關(guān)切點組與來自先前圖像(k-Ι)的關(guān)切點組進(jìn)行匹配，從而確定一組匹配的點對，這 對應(yīng)于過程101中的步驟109。第一種確定一組匹配點對的方法包括采用對應(yīng)匹配程序來匹配當(dāng)前圖像(k)和 先前圖像(k-Ι)中的關(guān)切點。處理模塊120對來自當(dāng)前圖像(k)的一組關(guān)切點與在先前圖 像(k-Ι)中識別出的一組關(guān)切點進(jìn)行匹配，從而確定一組匹配的關(guān)切點對。圖12示出了一 個在圖11所示的圖像之后捕獲到的示例性的當(dāng)前圖像(k)。該示例性的當(dāng)前圖像(k)530 表示一個在圖11所示的圖像之后捕獲的圖像，其中在兩個圖像之間觀察者的視角已沿著 被觀察的道路稍微前進(jìn)。在這種示例性的情況下，雖然當(dāng)時是作為當(dāng)前圖像(k)捕獲的，但 是此時圖11中的圖像500可作為當(dāng)前圖像(k) 530的先前圖像(k-Ι)。圖12中示出的示例 性視圖包括如圖11所示的路面510、路面部分515、路緣520和521、車道標(biāo)記522、交叉車 道526和建筑物524和525，只是在視圖中每個特征的視角略有不同。在圖12的示例性視圖中，多個識別出的關(guān)切點531根據(jù)上述方法被識別，點531A被識別為在路緣520中的部 分505的拐角處。應(yīng)該注意到，在圖像530中識別出的關(guān)切點531不一定直接對應(yīng)于在圖 像500中的識別出的關(guān)切點501。在圖像530中識別出的點531被處理并過濾，如上文結(jié) 合圖11描述的點501的處理和過濾一樣。優(yōu)選地，來自當(dāng)前圖像(k)530的關(guān)切點組中的 多個關(guān)切點531與來自先前圖像(k-l)500的關(guān)切點組中的多個關(guān)切點501進(jìn)行匹配，以確 定多個匹配的點對。包含一個匹配點對的每個關(guān)切點被期望與同一特征對應(yīng)，該同一特征 與視圖中的物體相關(guān)聯(lián)。為了確定一組匹配的點對，通過多個已知的對應(yīng)匹配程序中的一 種-例如比例不變特征變換(SIFT)特征匹配程序和光流程序?qū)碜援?dāng)前圖像(k)的關(guān)切 點組531與在先前圖像(k-Ι)中識別出的關(guān)切點組501進(jìn)行比較。該對應(yīng)匹配程序優(yōu)選在 處理模塊120中執(zhí)行，但是也可以組合在一個或多個裝置中執(zhí)行，例如在軟件、硬件和/或 專用集成電路中執(zhí)行。所產(chǎn)生的匹配點對與既位于當(dāng)前圖像(k)上又位于先前圖像(k-1) 上的同一特征相對應(yīng)，其中該同一特征與視圖中的同一物體相關(guān)聯(lián)。6第二種確定一組匹配點對的方法包括采用模板匹配程序來匹配當(dāng)前圖像(k)和 先前圖像(k-Ι)中的關(guān)切點。在一個實施方式中，采用關(guān)切點周圍的預(yù)定像素區(qū)域來產(chǎn)生 模板。一個示例性的區(qū)域535在圖12中被示出為與關(guān)切點531A相關(guān)聯(lián)。模板匹配可通過 多個方法中的一個來確定，包括采用多個已知模板匹配程序方法中的一個來找到先前圖像 中的對應(yīng)的關(guān)切點，例如采用Lucas-Kanade或Hom-Schunck。優(yōu)選地，將當(dāng)前圖像中的鄰近 關(guān)切點的模板與先前圖像中的鄰近關(guān)切點的模板進(jìn)行比較。當(dāng)模板匹配程序確定所述模板 彼此匹配時，這些關(guān)切點便被包含在匹配點對的組中。所產(chǎn)生的匹配點對與既位于當(dāng)前圖 像(k)上又位于先前圖像(k-Ι)上的同一特征相對應(yīng)，其中該同一特征與視圖中的同一物 體相關(guān)聯(lián)。圖13A和13B示出了一個示例性的匹配點對，該匹配點對包括當(dāng)前圖像(k) 530中 的關(guān)切點531A和先前圖像(k-l)500中的第二關(guān)切點501A以及一個環(huán)繞這些點的示例性 的像素區(qū)域。根據(jù)上述方法，在圖13A中示出了環(huán)繞關(guān)切點531A的像素區(qū)域535。如上所 述，關(guān)切點531A被識別為位于路緣520的若干部分之間的部分505的拐角處。像素區(qū)域535 環(huán)繞點531A選出并且優(yōu)選地包括能用于充分識別該區(qū)域的可識別特征、紋理或圖案。圖 13B類似地示出了關(guān)切點501A和環(huán)繞該關(guān)切點的像素區(qū)域540。由于圖像500和圖像530 的視角發(fā)生改變，可能就使像素區(qū)域535和像素區(qū)域540包含一些不同之處，但是采用上述 方法，通過比較所述像素區(qū)域并識別其中特征的方式，可以某種信心水平確認(rèn)關(guān)切點531A 和501A代表在圖像500和530中捕獲的相同特征并且可以被看作是一個匹配點對。如上述的示例性步驟112，當(dāng)確定匹配點對后，通過應(yīng)用濾波器以除去代表匹配不 佳或錯誤匹配的點對的低質(zhì)量的匹配點對，處理模塊120從匹配點對的組中選擇出高質(zhì)量 的優(yōu)選的匹配點對。優(yōu)選的匹配點對可基于質(zhì)量控制標(biāo)準(zhǔn)來選擇。在一個實施方式中，匹 配點對被分析并且在滿足每個標(biāo)準(zhǔn)之后被識別為優(yōu)選的匹配點對。當(dāng)匹配點對的點之間的距離小于一個閾值時，第一個標(biāo)準(zhǔn)被滿足。該距離基于這 些點在相同的二維圖像坐標(biāo)中的位置來確定。該閾值可以是預(yù)設(shè)的，并且由位置決定或基 于車速來動態(tài)決定。當(dāng)匹配點對中的兩個點與圖像邊界的距離為預(yù)定的閾值距離時，第二 標(biāo)準(zhǔn)得以滿足。由于攝像機對圖像邊界的邊緣處的物體的視角以及車輛運動的原因，太接 近邊緣的點不能定位出對應(yīng)的點，該對應(yīng)的點可能位于攝像機的視角之外或者會產(chǎn)生對物
13體位置的錯誤估計。此外，在車輛正常向前行駛的過程中，車輛需要視圖最邊緣處的暢通路 徑的信息的可能性很小。當(dāng)匹配點對中的每個點附近的預(yù)定區(qū)域的色差小于色差閾值時， 第三標(biāo)準(zhǔn)得以滿足。通過采用圖13中定義的示例性像素區(qū)域，像素區(qū)域535和540之間的 色差則可用于增大匹配點對的信心水平。每個區(qū)域內(nèi)的每個像素基于它相應(yīng)的顏色被分配 一個數(shù)值。所分配的數(shù)值可以基于捕獲圖像時確定的比特值或者可以基于參考預(yù)定調(diào)色板 的索引顏色。處理模塊120 —個像素接著一個像素地計算第一區(qū)域501和第二區(qū)域502內(nèi) 被分配的數(shù)值之間的絕對差值，并且對這些差值求和，所得結(jié)果即是色差。將該色差與閾值 色差進(jìn)行比較。如果該色差小于閾值色差，則第三標(biāo)準(zhǔn)得以滿足。該閾值色差可以通過任何 足以校準(zhǔn)精確路況存在或暢通路徑估計的方法來選取?；谲囕v外部的亮度水平、天氣、車 速或其它任何基于色差而影響暢通路徑存在的精確評估的因素，可采用不同的閾值色差。 通過判斷環(huán)繞關(guān)切點的區(qū)域是否相似，可以判斷包含由所述關(guān)切點代表的特征的相同區(qū)域 是否在兩個圖像中均被分析。可以理解的是，上述三個標(biāo)準(zhǔn)只是用于判斷匹配點對的示例性標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)中 的某些部分或其它沒有名稱但相似的標(biāo)準(zhǔn)也可以用于判斷匹配點對的有效性。此外，可基 于下述條件來選擇判斷匹配點對的標(biāo)準(zhǔn)，例如，車輛外部的亮度水平、天氣、車速和任何其 它影響判斷匹配點對的能力的因素或快速準(zhǔn)確地定義暢通路徑的緊迫性。在選取優(yōu)選的匹配點對之后，如上述的示例性步驟115，處理模塊120確定多個點 相對于車輛100的位置，這些點與視圖中的物體的特征相關(guān)聯(lián)。圖14以繪圖形式示出了使 用一個示例性的當(dāng)前圖像、一個示例性的先前圖像以及宿主車輛的運動來確定觀測到的特 征的位置?？梢曰谶B續(xù)圖像317和327內(nèi)的匹配點對(這些匹配點對在該圖中用點1和 2表示)的優(yōu)選組、車輛100從第一位置310到第二位置320的行駛距離(d)以及車輛偏 航(θ )來確定物體在參考水平框架中的位置和相對于地平面的物體高度。該處理模塊120 執(zhí)行多種已知的三角測量方法中的一種來確定相對于車輛100的點的位置和該點的高度。 在圖14中，示出了來自310的包含圖像k-1317的視場315和來自320的包含圖像k327的 視場325。所示的距離d表示觀測者在點310和320之間的移動距離。線312和322分別 表示與視場315和325沿縱向垂直相交的線。方向的角度改變或偏航(Θ)示出為表示線 312和322之間的角度。通過在點310的時間和點320的時間之間的樣本時間內(nèi)追蹤車速， 可以為示例性車輛確定距離d。類似地，通過在樣本時間內(nèi)追蹤車輛的偏航率可以確定θ。 示出了被觀察到的物體305，所示出的線318和328分別表示從點310和320到物體305的 觀察線。點1和2示出為在圖像317和327上，分別位于線318和328與圖像317和327 相交的位置。距離(a)可定義為表示點1在圖像317上的位置，距離(b)可定義為表示點2 在圖像327上的位置?？梢岳斫獾氖牵瑘D14代表一個上方地圖，其中物體305的位置可以 被定義在一個水平面內(nèi)，并且在相同物體的側(cè)視圖中進(jìn)行的類似運算可用于確定物體的垂 直位置，該垂直位置是相對于觀察者所在的已知地平面的。通過應(yīng)用已知的三角測量方法， 來自連續(xù)圖像的位置數(shù)據(jù)_例如距離a和b以及車輛數(shù)據(jù)-例如車速、車輛偏航率和樣本 時間可用于確定觀察到的物體相對于車輛的位置以及確定物體相對于車輛的相對運動。這 些三角測量方法可以得出物體在水平面中的位置和相對于地平面的高度。一旦位置和高度被確定，如上述的示例性步驟118，處理模塊120可在上方地圖上 繪出這些點。圖15以繪圖形式示出了一個示例性的上方地圖，該地圖示出了宿主車輛前方
14的χ和y坐標(biāo)系內(nèi)的關(guān)切點的垂直位置。在χ軸和y軸上的位置<0、0>對應(yīng)于上述車輛100 的第二位置320，或車輛100的當(dāng)前位置。優(yōu)選地，物體的高度被分類到預(yù)定類別中。例如， 具有最小高度的物體-例如低于預(yù)定閾值的物體可以被分類為地面，超過地面高度但是小 于第二預(yù)定閾值的物體可以被分到第二類別中，該類別接近并且優(yōu)選地小于車輛高度，大 于第二預(yù)定閾值的物體被分到第三類別中。如圖15所示，具有最小高度的物體被分類為地 面(地面)，超過地面高度但是小于2米閾值的物體被分到第二類別中(小于2m)，大于2m 閾值的物體被分到第三類別中(大于2m)。在地圖上繪出這些物體后，如上述的示例性步驟121，處理模塊120基于地圖上繪 出的特征檢測暢通路徑。用于此處的術(shù)語“暢通路徑”對于本領(lǐng)域普通技術(shù)人員來說采用的 是它的通常和習(xí)慣性含義(并且不局限于某種特殊或特定的含義)，并且該術(shù)語不加限制 地意指不存在超過一定閾值的物體的路徑，例如，不存在被分到上述第二和第三類別中的 物體的路徑。被分到預(yù)定類別-例如上述第二和第三類別中的物體的特征由處理模塊120 識別為不暢通的區(qū)域，也就是不希望車輛通行的區(qū)域。優(yōu)選地，被分到預(yù)定類別中的每個物 體附近的預(yù)定區(qū)域也由處理模塊120識別為不暢通的區(qū)域。該處理模塊120可采用多種方 法中的一種來確定地圖上存在暢通路徑。用于確定暢通路徑的第一種方法包括對預(yù)期路徑 與包含非暢通區(qū)域的地圖進(jìn)行比較。如果預(yù)期路徑?jīng)]有與任何非暢通區(qū)域相交，那么處理 模塊120確定該預(yù)期路徑是暢通路徑。然而，如果預(yù)期路徑與非暢通區(qū)域相交，那么處理模 塊120確定沒有暢通路徑。用于確定暢通路徑的第二種方法包括使用地圖上的非暢通區(qū)域 來確定暢通路徑。任何沒有與非暢通區(qū)域相交的路徑均可作為暢通路徑。上述方法采用連續(xù)圖像來建立車輛前方的物體的位置和垂直高度的地圖，從而得 以確定暢通路徑?？梢岳斫獾氖?，在任何兩個給定的圖像中，一個特定物體可能不會被分類 為包含足以在地圖上繪制而用于特定分析的兩個高質(zhì)量的關(guān)切點。然而，上述分析在車輛 行駛過程中每秒發(fā)生多次。當(dāng)車輛通過暢通路徑向前行駛時，將獲得一個物體的不同視角， 并且將對大量的圖像進(jìn)行分析。在路徑上行駛和對通過該路徑的多個重復(fù)圖像的分析可以 通過分析建立一個信心水平，該信心水平表明沒有限制暢通路徑的物體存在于識別出的暢 通路徑上。圖16示出了用于檢測暢通路徑的第二處理方案。此處描述的第一處理方案采用 了富含紋理的方法，其基于圖像內(nèi)的環(huán)境視圖分析描述不同關(guān)切點的像素特征，所公開的 第二處理方案可以被描述為示例性的無紋理圖分析方法，其從圖像中過濾不一致的區(qū)域圖 像，該不一致的區(qū)域圖像不屬于與平坦一致的路面。通過從圖像中過濾不一致的區(qū)域，可以 從剩余圖像部分中識別出暢通表面，該暢通表面作為車輛行駛的潛在暢通路徑。圖16中示 出了過程250，過程250在此被描述為具有離散元件。這樣的描述是為了便于說明，并且應(yīng) 該意識到，由這些元件執(zhí)行的功能可以組合在一個或多個裝置中執(zhí)行，例如在軟件、硬件和 /或?qū)Ｓ眉呻娐分袌?zhí)行。例如，過程250可以作為處理模塊120中的一個或多個算法來執(zhí) 行。用于檢測暢通路徑的過程250包括產(chǎn)生多個濾波圖像和將這些濾波圖像融合在一起從 而確定暢通路徑。所公開的示例性過程250包括采用一個示例性的無紋理暢通路徑檢測方法的步 驟。過程250開始于產(chǎn)生圖像的步驟253。步驟256、259、262和265描述了對圖像進(jìn)行濾 波從而識別包括路面的暢通路徑位置的替代性的示例性方法?？梢岳斫獾氖?，每種方法以某種方式處理圖像以便有助于識別暢通路徑。一個過程可以采用四個示例性方法的某些部 分或者一個過程可以采用包含未命名但是相似的方法來處理圖像。可以采用在圖像內(nèi)過濾 出暢通表面的任何方法，在該暢通表面上可以從不能表示潛在路面的其它部分中估計出路 面。步驟256采用一種示例性方法來過濾出在地平線或消失點以下的區(qū)域，該區(qū)域包括車 輛能夠行駛的路面，上述區(qū)域從地平線或消失點以上的區(qū)域中過濾出來，該區(qū)域包括天空 和不能為路面的一部分的其它垂直特征?；诼访媸且粋€視覺強度大致相同的大表面的假 設(shè)前提，步驟259在像素強度變化的基礎(chǔ)上應(yīng)用濾波器。在區(qū)別連續(xù)圖像的基礎(chǔ)上，步驟 262應(yīng)用一個濾波器來分析圖像之間的變化。步驟265在識別視覺數(shù)據(jù)中的代表邊緣或轉(zhuǎn) 變的像素的基礎(chǔ)上應(yīng)用一個濾波器。并行應(yīng)用所述多種方法，所得結(jié)果將在步驟268中被 融合到一個圖像的地圖上，并且在步驟271中所述結(jié)果被分析以便得到指示行駛暢通路徑 的視覺數(shù)據(jù)。在上述的示例性步驟256中，采用消失點來生成第一濾波圖像。在此處采用的術(shù) 語“消失點”是一個廣義術(shù)語，并且對于本領(lǐng)域技術(shù)人員來說其使用的是普通且慣用的含 義，并且該術(shù)語表示的是在視圖中與地面上的多條平行線相交的無窮遠(yuǎn)的點。識別路面所 生成的行駛暢通路徑必然位于消失點或地平線以下。對圖像進(jìn)行濾波以便僅分析地平線 以下的區(qū)域有助于區(qū)別用于識別路面的像素和不相關(guān)的像素。本領(lǐng)域技術(shù)人員應(yīng)該理解的 是，存在很多種用于確定消失點或相應(yīng)的地平線的已知方法。一種已知的方法包括基于宿 主車輛左邊和右邊的車道標(biāo)記的交叉點來確定消失點?；谙c來確定地平線。第一濾 波圖像包括當(dāng)前圖像上的位于地平線以下的像素。如在上述的示例性步驟259中，處理模塊120基于包含在當(dāng)前圖像(k)中多個像 素的像素顏色強度來生成第二濾波圖像。圖17示出了基于像素顏色強度的示例性的第二 濾波圖像。該第二濾波圖像包括從多個像素中選取的像素?？梢灶A(yù)想出多個對像素進(jìn)行濾 波的方法。處理模塊120將像素的每個顏色強度值與相關(guān)的顏色分布均值-例如紅、綠、藍(lán) 顏色強度分布均值進(jìn)行比較。這些顏色分布均值是相關(guān)顏色強度的平均顏色強度分布，所 述相關(guān)顏色強度與先前在暢通路徑中識別出的像素相關(guān)。這些顏色分布均值還可以基于歷 史性收集的相關(guān)顏色的暢通路徑像素的顏色分布均值來確定。當(dāng)某個像素的每個顏色強度 值均小于相關(guān)顏色分布均值的顏色強度閾值時，將選擇該像素用于第二濾波圖像。當(dāng)某個 像素的一個顏色強度值大于相關(guān)顏色分布均值的顏色強度閾值時，該像素將從第二濾波圖 像中排除。用于相關(guān)顏色強度的顏色分布均值是分布在圖像中的平均顏色強度值。這些顏 色分布均值最初是預(yù)定的。在一個實施方式中，處理模塊120基于預(yù)定數(shù)量的圖像中的顏 色強度分布來調(diào)整每個相關(guān)顏色強度的顏色分布均值。如上所述，每個像素包括多個顏色強度值。優(yōu)選地，將該顏色強度值與相關(guān)顏色分 布均值進(jìn)行比較。例如，對于采用RGB顏色模式生成的像素，對和紅顏色強度相關(guān)聯(lián)的第一 比特組與和紅顏色強度相關(guān)聯(lián)的顏色分布均值進(jìn)行比較，對和綠顏色強度相關(guān)的比特組與 和綠顏色強度相關(guān)的顏色分布均值進(jìn)行比較，并且對和藍(lán)顏色強度相關(guān)的比特組與和藍(lán)顏 色強度相關(guān)的顏色分布均值進(jìn)行比較。如果包含在該像素中的每個顏色強度與相關(guān)顏色分 布均值之間的差值小于顏色強度閾值，那么該像素被用于第二濾波圖像。通過采用RGB顏色模式，每個像素包括第一、第二和第三顏色強度值。第一顏色強 度是紅色強度，第二顏色強度是綠色強度，而第三顏色強度是藍(lán)色強度。當(dāng)該像素的紅色強度與紅色分布均值之間的差值小于紅色強度閾值、該像素的綠色強度與綠色分布均值之間 的差值小于綠色強度閾值、并且該像素的藍(lán)色強度與藍(lán)色分布均值之間的差值小于藍(lán)色強 度閾值時，便從包含在當(dāng)前圖像(k)中的多個像素中選出該像素用于第二濾波圖像。下面 的表達(dá)式表示采用RGB顏色模式的這種過程I R-Rm I < 閾值 κ 并且 I G-Gm | < 閾值 G 并且 | B_BM | < 閾值 B(4)其中R表示紅色，G表示綠色，B表示藍(lán)色，Rm是紅色的顏色分布均值，Gm是綠色的顏色分布均值，Bm是藍(lán)色的顏色分布均值，閾值R是紅色強度閾值，閾值G是綠色強度閾值，閾值B是藍(lán)色強度閾值。本領(lǐng)域技術(shù)人員應(yīng)該理解的是，上面的表達(dá)式4可配置成與包括CMYK、YUV和LAB 在內(nèi)的多個其它顏色模式結(jié)合使用。如在上述的示例性步驟262中，處理模塊120通過區(qū)別當(dāng)前圖像(k)和先前圖像 (k-Ι)來產(chǎn)生第三濾波圖像。在一個示例性的產(chǎn)生差別圖像的過程中，第三濾波圖像作為當(dāng) 前圖像(k)和先前圖像(k-Ι)的圖像差別而產(chǎn)生，并且包括對代表當(dāng)前圖像(k)和先前圖 像(k-Ι)的差別的像素一個一個地進(jìn)行比較。這樣的過程在上文中結(jié)合圖6A-6C進(jìn)行了描 述。用于確定第三濾波圖像的第一種方法包括確定當(dāng)前圖像(k)上的每個像素與先前圖像 (k-Ι)上的每個對應(yīng)像素的差別。通過從對應(yīng)的顏色強度值中減去與一個像素相關(guān)聯(lián)的顏 色強度值從而確定一個顏色強度差值，可以確定該差值，例如，從先前圖像(k-Ι)上的第一 像素的紅色強度值中減去當(dāng)前圖像(k)上的第一像素的紅色強度值。所得到的顏色強度差 值包括該像素的值并且對應(yīng)于當(dāng)前圖像(k)和先前圖像(k-Ι)上的該像素之間的差別。每 個像素值可存儲對應(yīng)于第三濾波圖像的陣列中。在一個實施方式中，該差值的絕對值被確 定并且被存儲在陣列中。所得到的陣列包括代表兩個圖像之間差值的數(shù)值并且包括圖像差 異。在確定該陣列后，處理模塊120除去代表變化小于預(yù)定閾值的像素的數(shù)值。在一個實 施方式中，所得到的數(shù)值可以用預(yù)定數(shù)值-例如1來代替，該預(yù)定閾值在所得到的圖像上代 表識別出的所使用的兩個圖像之間的差別的清楚地圖。此處描述了基于區(qū)別圖像來確定第三濾波圖像的第二種示例性方法。通過比較當(dāng) 前圖像(k)和運動調(diào)整的先前圖像(k-Ι)可以作出一個決定，并且這些圖像之間的差別可 用于繪制與用于產(chǎn)生運動調(diào)整圖像的特定模型不匹配的物體。一個產(chǎn)生運動調(diào)整圖像的示 例性模型包括使用三角測量方法-例如結(jié)合圖14描述的方法、關(guān)于車輛運動的信息、以及 所有被檢測的點都位于地平面上的假設(shè)來預(yù)測先前圖像(k-Ι)中的物體的運動。通過采用 圖像中的所有物體都位于地平面的假設(shè)，對合成圖像中的物體的運動的預(yù)測與先前圖像一 致，其中先前圖像作為存在于地平面處的整體平坦的圖像而存在。對所得到的經(jīng)運動調(diào)整 的先前圖像(k-Ι)與實際當(dāng)前圖像(k)進(jìn)行比較-包括不在地平面上的物體的視角變化，
17使得能夠識別出圖像中的不在地平面上的所有物體或特征。通過減去被比較圖像中的像 素，例如根據(jù)上述用于確定第三濾波圖像的第一示例性過程，代表沒有在地平面上的物體 的像素可以通過非零值或超過預(yù)定閾值的數(shù)字而被識別出來。這樣，采用當(dāng)前圖像(k)和 代替先前圖像(k_l)的經(jīng)運動調(diào)整的先前圖像，處理模塊120可以如上所述地確定第三濾 波圖像。如在上述的示例性步驟256中，處理模塊120基于包含在當(dāng)前圖像(k)中的多個 像素的顏色強度值生成第四濾波圖像。圖18示出了采用邊緣識別方法的第四濾波圖像。該 第四濾波圖像包括當(dāng)前圖像(k)的邊緣。為了生成第四濾波圖像，處理模塊120基于與邊 緣對應(yīng)的顏色強度值、采用一個已知的邊緣檢測濾波器-例如Sobel濾波器從圖像中提取 像素。該邊緣檢測濾波器優(yōu)選地在處理模塊120中執(zhí)行，但是也可以組合在一個或多個裝 置中執(zhí)行，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。在一個實施方式中，采用Sobel 運算器分析每個像素。該Sobel運算器計算每個像素處的顏色強度的梯度向量，從而得出 從亮到暗的最大可能增大方向以及在該方向上的變化率。與超過一定閾值的變化率和附近 像素的梯度向量對應(yīng)的點表示邊緣并且被包含在第四濾波圖像中。這些像素將被預(yù)定的像 素顏色-例如黑色替代。如在示例性步驟268中所述的，在生成多個濾波圖像后，處理模塊120將這些濾波 圖像進(jìn)行融合從而確定對應(yīng)于暢通路徑的像素位置。融合而成的濾波圖像包括一個圖像， 該圖像僅包含在所有濾波圖像中都包含的像素，也就是說，只有包含在多個濾波圖像中的 每個濾波圖像的特定像素位置的像素被包含在融合而成的濾波圖像中。融合這些濾波圖像 包括確定包含在多個濾波圖像中的每個圖像上的像素的位置。將每個像素位置與每個濾波 圖像中的對應(yīng)的像素位置進(jìn)行比較。當(dāng)多個濾波圖像中的每個都包含位于對應(yīng)像素位置處 的一個像素時，該像素便被包含在代表暢通路面的融合而成的暢通路徑地圖上。該融合而 成的暢通路徑被用于檢測車輛100的暢通路徑。融合暢通路徑地圖上的像素對應(yīng)于視圖中 的期望駕駛位置。融合暢通路徑地圖上沒有像素的位置對應(yīng)于視圖中的非期望駕駛位置。圖16所示的過程250并行應(yīng)用多種不同方法從視圖中識別與定義暢通路徑相關(guān) 的特征。然而，應(yīng)該理解的是，這些方法并非必須并行執(zhí)行，相反這些方法可以被用于連續(xù) 地按步驟處理圖像從而識別出視圖中的與定義暢通路徑相關(guān)的特征。圖19中示出了用于 第二處理方案的示例性過程600。過程600開始于步驟603，在步驟603中生成了一系列圖 像。每個圖像被平行地輸送到兩個步驟中，并且從這兩個步驟中輸出的結(jié)果被融合并用于 該過程中的后續(xù)步驟。所述平行步驟包括步驟606和步驟609，在步驟606中第一濾波圖像 根據(jù)上述的消失點方法對像素進(jìn)行濾波，以便從圖像中濾除不能代表路面的圖像部分，在 中步驟609根據(jù)強度對像素進(jìn)行濾波而得到的第二濾波圖像被用于從圖像中濾除表示與 路面不一致的特征的圖像部分。在步驟612中，融合第一濾波圖像和第二濾波圖像，融合而 成的圖像包括僅僅位于消失點以下的圖像部分和與路面強度一致的像素。在步驟615中， 通過采用上述的一種區(qū)別方法，用連續(xù)的融合圖像來生成第三濾波圖像。在步驟618中，通 過采用上述的邊緣提取方法，用第三濾波圖像來生成一第四濾波圖像。過程600的結(jié)果然 后可被分析，以便得到指示行駛暢通路徑的視覺數(shù)據(jù)。過程250和600示出了兩種示例性布置，其中組合使用各種濾波方法以處理一系 列連續(xù)圖像從而識別暢通路徑。然而，應(yīng)該理解的是，這樣的組合可以采用多種形式，不同的步驟可以不同的順序應(yīng)用，并且更少或額外的濾波器可以不同的組合使用。此外，可選擇 性地采用濾波器或者可選擇性地采用各過程的結(jié)構(gòu)，例如在白天使用不同的組合，而在夜 晚采用其它組合。例如，某些組合可繼續(xù)用于分析前燈照亮的路面，而在沒有完全照亮的 視通捕去·細(xì)_?！笑?，餌路ffi卜膚廳制m麻隱目 ^li如，某些方法和分析方法在只有薄雪的情況下仍然有用，例如可以將雪中的輪胎路徑 確定為潛在暢通路徑，而當(dāng)白雪隱藏了大多數(shù)可識別特征時，其它方法可能就不再有用。在 另一個示例中，當(dāng)提供有額外的信息時，可以采用不同的組合從而基于這些額外信息來擴 充或幫助圖像濾波，這些信息例如是紅外線、雷達(dá)、或GPS數(shù)據(jù)?？梢灶A(yù)想出濾波方法的多 種組合，并且本發(fā)明不限于此處描述的特定實施方式。如上所述，描述了采用富含紋理方法的第一處理方案和采用無紋理方法的第二處 理方案，每個方案都能識別出用于描述車輛視圖中的暢通路徑的道路特征。然而，應(yīng)該理解 的是，基于任一方案的單獨分析會產(chǎn)生模糊的結(jié)果，例如，其中特定照明條件、其它車輛的 影子、熱量所致的路面變形、或其它類似因素都會使路面的某些部分不能被識別為與路面 的其余部分一致。一種去除模糊結(jié)果的方法是通過在車輛沿著道路行進(jìn)的同時分析多個迭 代圖像。應(yīng)該理解的是，當(dāng)車輛沿著道路行進(jìn)時，可以對特定路段的快速連續(xù)地獲得的成千 上百個圖像進(jìn)行分析。當(dāng)車輛向前行進(jìn)時，由于觀察視角不同，將會觀察到不同的路面照明 和暴露部分。在路徑上的行駛以及對通過該路徑的多個迭代圖像的分析可通過分析而建立 一個信心水平，該信心水平表明路面的特定部分被正確地估計為暢通路徑。解決任一方案的模糊結(jié)果的另一種方法是同時利用兩種方案并融合其結(jié)果，采用 兩種方案的組合來增大識別暢通路徑的信心水平。每種方案在檢測暢通路徑的不同方面都 具有相對于另一種方案的優(yōu)點。例如，示例性的富含紋理方法的優(yōu)點在于檢測富含紋理的 從地平面明顯豎立的物體。該方法主動識別處于不同高度的可檢測的物體并且生成一個車 輛不應(yīng)在其上行駛否則可能會導(dǎo)致車輛與物體發(fā)生碰撞的區(qū)域的地圖。在另一個示例中， 該示例性的無紋理方法的優(yōu)點在于識別其中的像素具有共同外表面的區(qū)域。該方法主動識 別一個很可能存在路面的區(qū)域，并且繪制出該路面的邊界。第一種方案和第二種方案可以多種方式融合。帶有被識別點和所確定的高度的、 通過富含紋理方法識別出的圖像能夠由無紋理方法產(chǎn)生的濾波圖像覆蓋，并且兩種方法的 一致性能用來通過重疊圖像定義暢通路徑。在另一種融合兩種方案的方法中，來自每個方 案的數(shù)據(jù)都能用來將信息投影在車輛前方區(qū)域的編稈上方地圖上,包含從兩個方案的分析 中得到的數(shù)據(jù)的該上方地圖可包含津立該地圖的各個區(qū)域的信心指示。在另一種融合兩 種方案的方法中，一個方案可作為主要或主導(dǎo)方案使用，第二個方案可用來分析或者被激 活以便分析在視場中被識別為不清晰或不清楚的區(qū)域。在融合兩個方案的任何方法中，一 個處理方案的長處能用來彌補另一個處理方案的弱點。如果兩個方案同時認(rèn)定路徑是暢 通的，那么應(yīng)用這些方案的處理模塊可通過更高的信心水平來確定車輛適于通過該路徑。 融合這些識別方案的多種方法都已被考慮到，本發(fā)明并不局限于此處所描述的特定實施方 式。另外，其中一個或兩個方案可與上述利用補片分析的方法進(jìn)行組合?；谑纠姆椒軌蛱鎿Q其他方法或者作為補充來基于輸入圖像定義暢通路徑。 基于示例的一種示例性方法收集視圖的多個圖像樣本從而定義每個樣本圖像的暢通路徑， 將當(dāng)前圖像與一個或多個樣本圖像進(jìn)行匹配，并基于上述匹配來確定暢通路徑。將當(dāng)前圖像與一個或多個樣本圖像進(jìn)行匹配可通過如下方法實現(xiàn)例如從每個樣本圖像中提取特 征，從當(dāng)前圖像中提取特征，將從當(dāng)前圖像中提取的特征與從樣本圖像所提取特征的數(shù)據(jù) 庫進(jìn)行比較，并為當(dāng)前圖像選擇匹配的樣本圖像。暢通路徑可從最佳匹配樣本圖像中選出 或者基于與當(dāng)前圖像最接近的匹配的組合來確定。多種暢通路徑檢測算法的等級結(jié)構(gòu)可結(jié)合到本發(fā)明中，包括基于計算強度來布置 算法。計算強度較小的檢測方法可用來識別圖像中的暢通路徑，將圖像中不被識別為暢通 路徑的其他部分留給計算強度較大的分析方法，從而提高了暢通路徑識別的計算效率。所 應(yīng)用的具體方法以及所使用的具體等級方法的等級結(jié)構(gòu)可有所不同或發(fā)生改變。在一種示 例性的等級結(jié)構(gòu)中，基于補片的暢通路徑檢測方法分析圖像中的暢通路徑，之后圖像中沒 有被基于補片的方法識別為暢通路徑的剩余部分由基于像素的暢通路徑檢測方法來分析。 在一個實施方式中，使用基于示例的方法的第二種示例性等級層進(jìn)一步分析在基于像素的 方法中未被識別為暢通路徑的那些部分。然而，多種不同的等級結(jié)構(gòu)都已被考慮到，本發(fā)明 并不局限于此處所描述的特定實施方式。本領(lǐng)域技術(shù)人員能夠認(rèn)識到，亮度規(guī)范化(lighting normalization)可應(yīng)用于所 獲取的圖像數(shù)據(jù)。規(guī)范化是改變像素強度值的范圍的一種過程。規(guī)范化的目的是將圖像的 范圍改變?yōu)楦m合機器處理的范圍，以提高可靠度。例如，每個像素倌被規(guī)范化為零均倌和 單位方差，以提高圖像的對比度，特另I丨是在光照較日普的環(huán):^中或?qū)Ρ裙舛鳬N氏的 情況下。上述濾波器和算法可以采用多種形式。用于提取特征的濾波算法經(jīng)常搜索可用的 視覺信息，以便在數(shù)據(jù)中找到特征性圖案，這些圖案通過線的方向、線的位置、顏色、角落特 點、其他視覺屬性和學(xué)習(xí)屬性來定義特征。屬性可通過通過足以精確地訓(xùn)練區(qū)別屬性的建 ?；蚱渌夹g(shù)以實驗方式、經(jīng)驗方式、預(yù)測方式來獲得。學(xué)習(xí)屬性可以由車輛內(nèi)的隨時間而 調(diào)整的機器學(xué)習(xí)算法或模糊邏輯而學(xué)得。此外，可以通過車輛在一個路徑上的重復(fù)行駛來 收集學(xué)習(xí)特性或?qū)W習(xí)標(biāo)記，并且在暢通路徑識別中采用這些學(xué)習(xí)特性或?qū)W習(xí)標(biāo)記。以上具體實施方式
被描述為利用位于車上的攝像機裝置所產(chǎn)生的多個圖像的分 析來檢測車輛行駛的暢通路徑。然而，這里討論的示例性實施方式包括一種方法，該方法確 定交通設(shè)施標(biāo)識的圖像內(nèi)容，以優(yōu)化暢通路徑的確定。應(yīng)該理解的是，交通設(shè)施標(biāo)識的圖像 能被處理模塊分析，以確定交通設(shè)施標(biāo)識的內(nèi)容。因此，交通設(shè)施標(biāo)識的內(nèi)容能通過暢通路 徑的確定來擴充以修正或優(yōu)化暢通路徑的確定，其中優(yōu)化了的暢通路徑被用于車輛導(dǎo)航。 例如，暢通路徑的確定能從交通信號的內(nèi)容中被推斷，例如指示接近十字路口的停止燈。同 樣，指示靠近交通交叉道的暢通路徑確定可被用來推斷出靠近停止燈。在一個實施方式中， 在一個越過停止標(biāo)志的交叉道中的區(qū)域能確定為有阻礙的，直到車輛針對該停止標(biāo)志完成 停止。如上所討論的，由攝像機裝置產(chǎn)生的多個圖像被處理模塊監(jiān)測與分析?；趤碜?攝像機系統(tǒng)的被分析圖像，暢通路徑能被確定，基于該暢通路徑確定潛在的道路表面能從 不指示潛在道路表面的其他圖像部分中被估計出來。例如，參考圖9，第一方案利用宿主車 輛前方的視野的富含紋理圖像分析，其中基于圖像中的相關(guān)景物描述明顯關(guān)切點的被分析 像素特征被繪圖并用來確定宿主車輛前方的暢通路徑。在另一個示例中，參考圖16和圖 19，第二方案利用無紋理圖像分析來過濾圖像中的不一致區(qū)域，這些不一致區(qū)域不屬于平坦的連續(xù)道路表面，其中多個濾波圖像被融合在一起來確定暢通路徑。應(yīng)該理解的是，第一 方案和第二方案能通過許多方式融合。例如，具有通過富含紋理方法識別出的點和確定的 高度的圖像能與無紋理方法所產(chǎn)生的濾波圖像相疊加，這兩個方法的一致性能用來通過疊 加圖像定義暢通路徑。在本發(fā)明的一個示例性實施方式中，通過分析攝像機裝置的圖像所確定的行駛暢 通路徑能基于交通設(shè)施標(biāo)識的圖像內(nèi)容而被修正。如上所討論的，攝像機系統(tǒng)能用來作為 處理模塊的輸入，用于確定交通設(shè)施標(biāo)識的內(nèi)容以及基于該交通設(shè)施標(biāo)識的內(nèi)容修正暢通 路徑的確定。攝像機系統(tǒng)包括攝像機或捕獲表示車前視野的定期或連續(xù)圖像的圖像捕獲裝 置。分析視覺信息的方法是本領(lǐng)域已知的，包括模式識別，角落檢測，垂直邊緣檢測，垂直目 標(biāo)識別以及其他方法。另外，圖像識別經(jīng)常包括尋找交通設(shè)施標(biāo)識所指示的顯示垂直線條、 邊緣、角、或其他型式的圖像的對比度或顏色上的變化的程序。這樣的圖像識別方法可包括 識別來自標(biāo)志中的紋理信息的方法。此外，特殊的標(biāo)志形式、標(biāo)語、或者商標(biāo)能被存儲在數(shù) 據(jù)庫中用于內(nèi)容或意義的比較和橫向參考。然而，應(yīng)該理解的是，對實時了解運動而言必須 的高速率刷新的車前場景的高分辨率的視覺表征包括大量的被分析信息。視覺信息的實時 分析可能被抑制。融合這些方法所產(chǎn)生的來自攝像機系統(tǒng)的輸入的方法_例如跟蹤融合是 本領(lǐng)域已知的，這里將不會詳細(xì)討論。采用融合輸入幫助從靜止的交通設(shè)施標(biāo)識_例如路 旁標(biāo)志中區(qū)分運動目標(biāo)_例如車輛。攝像數(shù)據(jù)能被用來檢測交通設(shè)施標(biāo)識，例如路旁標(biāo)志和交通燈。應(yīng)該理解的是，其 他裝置能用來檢測交通設(shè)施標(biāo)識。例如，LIDAR能用來識別標(biāo)志的出現(xiàn)以及來自標(biāo)志的某 種內(nèi)容，例如辨識停車標(biāo)志的形狀。車輛與基礎(chǔ)設(shè)施(V2I)的通訊能用來將街道標(biāo)志或交 通燈的內(nèi)容傳輸給過往的車輛，并且其他在線裝置-例如雷達(dá)系統(tǒng)能用來將交通指令局限 到例如交叉道路或標(biāo)志桿位置。車與車(V2V)的通訊能用來在車輛之間傳輸數(shù)據(jù)，例如一 輛車采用攝像機系統(tǒng)將關(guān)于交叉道路的信息傳輸?shù)娇拷摻徊娴缆返母S車輛。在另一個 示例中，停止在交叉道路的停止標(biāo)志處的車輛能利用V2V通訊采用反映該指令的每種車輛 的暢通路徑對超過他們停止標(biāo)志前進(jìn)的車輛來協(xié)議一個指令。在一個具體實施方式
中，交 叉道路能確定為有阻礙路徑直到該協(xié)議對前進(jìn)的車輛而產(chǎn)生。類似地，紅燈能用來將交叉 道路分類為有阻礙的直到燈變綠。許多利用裝置來檢測交通設(shè)施標(biāo)識的裝置和附加實施方 式被設(shè)想到，本發(fā)明的目的不是被限定到這里所述的示例性實施方式。交通設(shè)施標(biāo)識包括許多可能。交通設(shè)施標(biāo)識可包括但不限于路旁標(biāo)志以及交通信 號。路旁標(biāo)志可包括限速指示或道路分級指示器，例如洲際公路指示。這種指示能被采用 與暢通路徑分析一起預(yù)測ιΗ在行駛的道路類型。例如，具有高諫限制或公路標(biāo)志牌的道路 不可能包括超出特定引導(dǎo)線的急劇轉(zhuǎn)彎。路旁標(biāo)志進(jìn)一步包括有關(guān)交通通道的接近道路幾 何特征，例如強制道路曲線，只能轉(zhuǎn)彎的道路，單行道，靠右行，靠左行，以及退出/進(jìn)入道 路。路旁標(biāo)志可進(jìn)一步包括接近道路幾何特征的警告，例如增加的左/右通道，左/右通道 終點，無出口，側(cè)面道路左/右，鐵路交叉道，反向曲線，反向左轉(zhuǎn)/右轉(zhuǎn)，道路終點以及接近 的交叉道。暢通路徑分析可包括更優(yōu)的交通設(shè)施標(biāo)識檢測，該檢測基于預(yù)報的道路幾何形 狀集中應(yīng)用運算資源。例如，如果道路上即將到來的左轉(zhuǎn)彎道被預(yù)報，則基于補片的網(wǎng)格圖 案能被選擇為包括被特殊排列到視野左側(cè)的補片。在相似情形下，檢測通道標(biāo)志并伴隨著 跟隨向左彎道的指示的富含紋理分析能包括引導(dǎo)彎道周圍道路標(biāo)志的專用分析。通過基
21于預(yù)定的道路幾何形狀集中應(yīng)用運算資源，全部檢測能被更有效地完成。另外，應(yīng)該理解的 是，暢通路徑檢測包括發(fā)展所檢測道路結(jié)構(gòu)的不同假設(shè)以及在這些不同假設(shè)之間進(jìn)行選擇 從而確定暢通路徑。包括來自交通設(shè)施裝置的可用信息的附加信息可以對不同的假設(shè)或多 或少的給出權(quán)重。應(yīng)該理解的是，3D繪圖裝置與GPS裝置可附加地或可替代地被用來確定 由攝像機系統(tǒng)檢測到的路旁標(biāo)志的內(nèi)容，這里路旁標(biāo)志的內(nèi)容被存儲在3D繪圖裝置和/或 GPS裝置中。例如，基于環(huán)形路的預(yù)先已知結(jié)構(gòu)，一個接近的環(huán)形路能用來引導(dǎo)朝向右側(cè)的 暢通路徑分析。另外，有關(guān)道路結(jié)構(gòu)幾何特征的路旁標(biāo)志的內(nèi)容也能用來修正所確定的暢 通路徑。例如，由于道路工人的出現(xiàn)，速度限制可能在建設(shè)區(qū)域被減少。盡管暢通路徑能被 攝像機系統(tǒng)利用以上的方案之一而確定，在建設(shè)區(qū)域只是減速的路旁標(biāo)志的內(nèi)容能被補充 用于對所確定的暢通路徑相互優(yōu)勢的擴充以及用來輔助車輛的導(dǎo)航。在另一個示例中，建 設(shè)區(qū)域標(biāo)志頻繁的警告切換道路、道路終止、保持當(dāng)前道路的指令、以及其他類似的指示。 這樣的標(biāo)識能用來通過標(biāo)志指令優(yōu)化暢通路徑檢測。類似地，檢測到的暢通路徑也能用來 擴充對標(biāo)識指令的理解，例如，通過有可能包括建設(shè)區(qū)域標(biāo)識的檢測到的暢通路徑的邊界。參考圖20，其中示出了處理方案700的示例性實施方式，處理方案700基于路旁 標(biāo)志分析和檢測到的暢通路徑的地圖融合之間的互利改良來確定更優(yōu)的暢通路徑。示例性 流程700從步驟702開始，其中圖像被產(chǎn)生。應(yīng)該理解的是，在步驟706中，暢通路徑能通 過第一處理方案采用富含紋理方法，或者通過第二處理方案采用無紋理方法而被檢測，其 中每種方案都能使道路特征的識別可用于描述車輛視野中的暢通路徑。通過富含紋理方法 以及無紋理方法的融合暢通路徑分析作為示例性分析被給出，但是應(yīng)該理解的是上述任何 分析都能被使用。在步驟710中，第一方案和第二方案能通過許多方式融合。這些方法在 上文已被討論，因此這里將不再詳細(xì)討論。在步驟704中，路旁標(biāo)志能被檢測并在步驟708 中被分析。如以上所討論的，檢測到的路旁標(biāo)志能被分析以確定路旁標(biāo)志的內(nèi)容。路旁標(biāo) 志的內(nèi)容能通過圖案識別、角落檢測、垂直邊沿檢測、垂直目標(biāo)識別、圖像識別、和/或包括 辨識來自標(biāo)志的紋理信息的方法的圖像識別方法來確定。例如，圖像識別能被用以辨識停 車標(biāo)志。此外，通過將路旁標(biāo)志的圖像存儲在數(shù)據(jù)庫中，用于對背景或意義的比較和交叉參 考。在步驟712中，所分析的路旁標(biāo)志的內(nèi)容能被擴充或與檢測到的和融合的暢通路徑相 融合，用于互利改良?；ダ牧继峁┝藱z測到的暢通路徑的信心值，以及附加地能用來推導(dǎo) 沿著道路的路旁標(biāo)志位置的可能性。在步驟714中，更優(yōu)的暢通路徑基于在步驟712中確 定的互利改良而被確定。交通設(shè)施標(biāo)識也可包括交通信號標(biāo)識。交通信號標(biāo)識可包括但不限定為交通燈、 鐵路岔道燈、停車燈以及交叉道道路警示燈。參考圖21，其中示出了基于交通信號狀態(tài)分 析與檢測到的暢通路徑的地圖融合之間的互利改良來確定更優(yōu)的暢通路徑的處理方案800 的示例性的實施方式。示例性流程800開始于步驟802，其中圖像被產(chǎn)生。應(yīng)該理解的是， 在步驟806中，暢通路徑能通過示例性的基于補片的方法和示例性的基于像素的方法的融 合而被檢測出來。在步驟810中，這兩種檢測方法能通過許多方式被融合。這些方法在上 文已被討論，因此這里將不再詳細(xì)討論。在步驟804中，交通信號-例如交通燈能被檢測并 在步驟808中被分析。在步驟814中，交通信號能通過利用圖案識別、角落檢測、垂直邊沿 檢測、垂直目標(biāo)識別、圖像識別、和/或?qū)⒔煌ㄐ盘柕膱D像存儲在數(shù)據(jù)庫中用于對背景或意 義的比較和交叉參考而被檢測出來。如以上所討論的，檢測到的交通信號能被分析以確定交通信號的內(nèi)容。例如，通過利用顏色反差方法或測量光強度來確定綠紅或黃色信號，交通 燈分析能辨識前進(jìn)信號、停車信號或警告信號。在步驟812中，所分析的交通信號的內(nèi)容能 被擴充或與檢測到的和融合的暢通路徑相融合，用于進(jìn)行互利改良?；ダ牧继峁┝藱z測 到的暢通路徑的信心值，以及附加地能用來推導(dǎo)道路上交通信號位置的可能性。例如暢通 路徑可被確定，而紅色交通信號標(biāo)識可通過檢測到的暢通路徑被擴充，以通知車輛交通流 量可能橫穿暢通路徑。在步驟814中，更優(yōu)的暢通路徑基于在步驟812中確定的互利改良 而被確定。通過監(jiān)測來自攝像機系統(tǒng)的圖像以及為了識別交通設(shè)施標(biāo)識的圖像而應(yīng)用對檢 測到圖像進(jìn)行的分析，以及進(jìn)一步分析交通設(shè)施標(biāo)識的圖像以確定交通設(shè)施標(biāo)識的內(nèi)容， 所確定的暢通路徑能基于交通設(shè)施標(biāo)識的內(nèi)容而被修正，并被用于車輛的導(dǎo)航中。被分析 的交通設(shè)施標(biāo)識的圖像可表示閾值條件。閾值條件可基于許多信息輸入被預(yù)設(shè)、學(xué)習(xí)和/或選擇。閾值條件被設(shè)置為使車 輛上非緊急或非希望的分心狀態(tài)最小化，其中描述閾值條件的交通設(shè)施標(biāo)識的圖像被處理 并通過暢通路徑的確定被擴充，以確定更優(yōu)的暢通路徑，其中該更優(yōu)的暢通路徑被用于車 輛導(dǎo)航。應(yīng)該理解，車輛能夠在自動或半自動駕駛模式下工作。該車輛包括自動轉(zhuǎn)向裝置 和速度控制裝置，這些裝置可基于暢通路徑是否已經(jīng)被確定而操作，以及附加地考慮描述 閾值條件的交通設(shè)施標(biāo)識的內(nèi)容提供了被攝像機裝置捕獲以及通過處理模塊分析的暢通 路徑的增加的信心值。暢通路徑檢測能用來優(yōu)化路旁標(biāo)志背景的檢測和理解。例如，當(dāng)攝像機系統(tǒng)捕獲 到指示速度限制的路旁標(biāo)志的圖像時，車輛的當(dāng)前速度可被檢測。被攝像機系統(tǒng)捕獲的限 速標(biāo)志可通過圖案識別而被分析，以辨識速度限制標(biāo)識。所辨識的速度限制從而與檢測到 的車輛速度相比較，以便基于該比較指示閾值條件。然而，速度限制的檢測可能出現(xiàn)錯誤。 行駛暢通路徑的分析-例如描述道路上接近急轉(zhuǎn)彎道或描述特殊區(qū)域的圖案-例如停車區(qū) 域或?qū)W校區(qū)域，針對可通過暢通路徑分析辨識的信息，監(jiān)測到的速度限制能被檢查并根據(jù) 需要被無效。在另一個示例中，攝像機系統(tǒng)能捕獲交通信號指示的圖像，同時當(dāng)前車速以及車 輛到交通信號的距離能被監(jiān)測。監(jiān)測到的交通信號指示的圖像能被存儲在數(shù)據(jù)庫中，用于 對背景的比較和交叉參考，從而指示交通燈。車輛速度以及車輛離交通燈的距離可被比較， 并且閾值條件能根據(jù)該比較而被指示。例如，描述車輛為沒有計劃在交通燈處停止的閾值 條件能基于車速以及車輛離交通燈的距離而被確定?；谒_定的閾值和所確定的暢通路 徑之間的擴充，該閾值條件能通過暢通路徑的確定而被擴充以產(chǎn)生互利改良。在另一個示例中，攝像機系統(tǒng)能用來捕獲路旁標(biāo)志的圖像，同時信息輸入能被檢 測以描述車輛當(dāng)前行駛的道路。基于有關(guān)車輛行駛的道路以及并入相鄰道路中的空地的監(jiān) 測信息輸入，道路終止路旁標(biāo)志信息通告牌或可配置的交通信息標(biāo)志、或電子傳輸?shù)能囕v 與基礎(chǔ)設(shè)施通訊能被分析以指示閾值條件。例如，利用來自攝像機系統(tǒng)的視覺信息輸入，當(dāng) 被分析的路旁標(biāo)志的圖像顯示車輛當(dāng)前行駛的道路是終止的，并且需要并入相鄰?fù)ǖ罆r， 顯示車輛當(dāng)前行駛在哪一道路的理解被確定并且閾值條件可被指示。基于所確定的閾值 和所確定的暢通路徑之間的擴充，該閾值條件能通過暢通路徑的確定被擴充以產(chǎn)生互利改 良ο
在另一個示例性實施方式中，基于監(jiān)測到的信息輸入的閾值條件能被執(zhí)行，該監(jiān) 測到的信息輸入指示存在被違反風(fēng)險的擴充的道路標(biāo)志。被攝像機系統(tǒng)捕獲的停止標(biāo)志能 使用指示停止信號所顯示的顏色和形狀的圖像識別而被分析。關(guān)于車輛當(dāng)前速度以及到停 止標(biāo)志的停車距離的信息輸入能被檢測。應(yīng)該理解的是，到停止標(biāo)志的停止距離可利用GPS 信息、3D繪圖信息和/或雷達(dá)反饋而被確定。如果基于有關(guān)當(dāng)前車速以及到停止標(biāo)志的停 車距離的監(jiān)測到的信息輸入確定車輛具有違反停車標(biāo)志的風(fēng)險，則閾值條件可被指示。閾 值條件能通過暢通路徑的確定而被擴充，從而基于所確定的閾值和所確定的暢通路徑之間 的擴充來產(chǎn)生互利改良。圖21的步驟812和圖20的步驟712示出了互利改良，該互利改良輸入暢通路徑和 交通設(shè)施標(biāo)識信息，輸出更優(yōu)的暢通路徑。正如從上述方法中所理解的，暢通路徑可從交通 設(shè)施標(biāo)識的檢測中受益，擴充了對什么區(qū)域可能是暢通路徑的理解。應(yīng)該理解的是，更優(yōu)的 交通設(shè)施標(biāo)識也能類似地通過識別暢通路徑的分析來完成。例如，表示在運動中經(jīng)歷非期 望變化的交通流量或車輛的道路切換的暢通路徑指示能用來擴充建設(shè)區(qū)域的檢測和分析。 基于暢通路徑信息，運算資源能被應(yīng)用到該區(qū)域的分析中。這種分析能通過連續(xù)圖像而被 迭代地增強，從而構(gòu)建沿著暢通路徑以及交通設(shè)施標(biāo)識的行駛路線的信心值。另外，單個圖 像能使用暢通路徑分析和交通設(shè)施標(biāo)識分析的多次迭代而被迭代地檢查，從而強化單個圖 像的整體分析。這種分析循環(huán)能有益地優(yōu)化初始假設(shè)和分析結(jié)果。圖22圖示了根據(jù)本發(fā) 明的這種迭代分析。步驟812被描述為包括步驟809中的交通設(shè)施標(biāo)識改良以及步驟811 中的暢通路徑改良。步驟812輸出如上所述的更優(yōu)的暢通路徑和附加的示例性的更優(yōu)目標(biāo) 追蹤fe息ο本發(fā)明已經(jīng)描述了特定的優(yōu)選實施方式及其改型。其他人在閱讀并理解了本發(fā)明 之后將會認(rèn)識到進(jìn)一步的改型和變型。因此，本發(fā)明的目的不是被限定為作為最佳模式而 公開的、旨在用于實施本發(fā)明的特定實施方式，而是本發(fā)明將包括落入所附權(quán)利要求范圍 內(nèi)的所有實施方式。
2權(quán)利要求
一種檢測車輛行駛的暢通路徑的方法，所述方法利用位于車輛上的攝像機裝置產(chǎn)生的多個圖像的分析，所述方法包括監(jiān)測圖像；分析圖像，所述分析圖像包括確定暢通路徑，在所述暢通路徑上潛在道路表面能夠從不指示潛在道路表面的其他圖像部分中估計出來；確定交通設(shè)施標(biāo)識的圖像確定所述交通設(shè)施標(biāo)識的內(nèi)容；基于所述交通設(shè)施標(biāo)識的內(nèi)容修正暢通路徑；以及在車輛導(dǎo)航中應(yīng)用修正后的暢通路徑。
2.如權(quán)利要求1所述的方法，其中，確定交通設(shè)施標(biāo)識的圖像包括確定路旁標(biāo)志。
3.如權(quán)利要求2所述的方法，其中，所述路旁標(biāo)志包括停車標(biāo)志。
4.如權(quán)利要求3所述的方法，其中，基于所述交通設(shè)施標(biāo)識的內(nèi)容修正暢通路徑包括 將越過停車標(biāo)志的道路指示為非暢通路徑，直到車輛停止在停車標(biāo)志處。
5.如權(quán)利要求2所述的方法，其中，所述路旁標(biāo)志包括道路幾何形狀標(biāo)志。
6.如權(quán)利要求2所述的方法，其中，所述路旁標(biāo)志包括道路建設(shè)指示。
7.如權(quán)利要求1所述的方法，其中，確定交通設(shè)施標(biāo)識的圖像包括確定交通信號標(biāo)識。
8.如權(quán)利要求7所述的方法，其中，基于所述交通設(shè)施標(biāo)識的內(nèi)容修正暢通路徑包括 當(dāng)所述交通信號標(biāo)識顯示一個停車條件時將越過交通信號的道路指示為非暢通路徑。
9.如權(quán)利要求1所述的方法，其中，確定所述交通設(shè)施標(biāo)識的內(nèi)容包括將所述交通設(shè) 施標(biāo)識的圖像存儲在數(shù)據(jù)庫中，用于對背景進(jìn)行比較和交叉參考。
10.如權(quán)利要求1所述的方法，其中，確定所述交通設(shè)施標(biāo)識的內(nèi)容包括利用圖案識別 來確定所述交通設(shè)施標(biāo)識的內(nèi)容。
11.如權(quán)利要求1所述的方法，其中，確定所述交通設(shè)施標(biāo)識的內(nèi)容包括監(jiān)測車輛與基 礎(chǔ)設(shè)施的通訊鏈接。
12.如權(quán)利要求1所述的方法，進(jìn)一步包括監(jiān)測GPS數(shù)字地圖裝置；并且其中，確定所述交通設(shè)施標(biāo)識的圖像包括基于來自所述GPS數(shù)字地圖裝置的數(shù)據(jù)確定 交通方向信號。
13.如權(quán)利要求1所述的方法，進(jìn)一步包括 基于暢通路徑優(yōu)化所述交通設(shè)施標(biāo)識；以及 在車輛導(dǎo)航中應(yīng)用更優(yōu)的交通設(shè)施標(biāo)識。
14.一種確定車輛行駛的更優(yōu)的暢通路徑的方法，所述方法利用位于車輛上的攝像機 裝置產(chǎn)生的多個圖像的分析，所述方法包括監(jiān)測來自所述攝像機裝置的圖像；分析圖像，所述分析圖像包括確定暢通路徑，在所述暢通路徑上潛在道路表面能夠從 不指示潛在道路表面的其他圖像部分中估計出來； 監(jiān)測產(chǎn)生描述交通設(shè)施標(biāo)識的數(shù)據(jù)的裝置； 分析描述所述交通設(shè)施標(biāo)識的數(shù)據(jù)以描述閾值條件； 分析所述閾值條件和暢通路徑以確定更優(yōu)的暢通路徑；以及在車輛導(dǎo)航中應(yīng)用更優(yōu)的暢通路徑。
15.如權(quán)利要求14所述的方法，進(jìn)一步包括監(jiān)測描述車輛操作的信息輸入；并且其中，分析描述所述交通設(shè)施標(biāo)識的數(shù)據(jù)以描述 閾值條件是基于所述信息輸入進(jìn)行的。
16.如權(quán)利要求15所述的方法，其中，監(jiān)測描述車輛操作的信息輸入包括監(jiān)測車輛速 度以及車輛離所述交通設(shè)施標(biāo)識的距離；并且其中，分析描述所述交通設(shè)施標(biāo)識的數(shù)據(jù)以指示閾值條件包括 利用數(shù)據(jù)庫來分析描述所述交通設(shè)施標(biāo)識的數(shù)據(jù)以辨識交通信號； 將監(jiān)測到的車輛速度與車輛離交通信號的距離進(jìn)行比較，以及 基于所述比較指示閾值條件。
17.如權(quán)利要求14所述的方法，其中，分析描述所述交通設(shè)施標(biāo)識的數(shù)據(jù)以描述閾值 條件包括確定當(dāng)前速度限制；并且其中，分析所述閾值條件和暢通路徑以確定更優(yōu)的暢通路徑包括 將暢通路徑與當(dāng)前速度限制進(jìn)行比較；以及 基于所述比較修正暢通路徑。
18.如權(quán)利要求14所述的方法，其中，分析描述所述交通設(shè)施標(biāo)識的數(shù)據(jù)以描述閾值 條件包括確定即將到來的道路幾何形狀；并且其中，分析所述閾值條件和暢通路徑以確定更優(yōu)的暢通路徑包括 將暢通路徑與即將到來的道路幾何形狀進(jìn)行比較；以及 基于所述比較修正暢通路徑。
19.一種檢測車輛行駛的暢通路徑的系統(tǒng)，所述系統(tǒng)利用位于車輛上的攝像機裝置產(chǎn) 生的多個圖像的分析，所述系統(tǒng)包括位于車輛上并配置為產(chǎn)生多個圖像的攝像機裝置；控制模塊，其配置為監(jiān)測并分析來自所述攝像機裝置的圖像，其中，分析來自所述攝像 機裝置的圖像包括確定暢通路徑，在所述暢通路徑上潛在道路表面能夠從不指示潛在道路表面的其他圖 像部分中估計出來，確定交通設(shè)施標(biāo)識的圖像， 確定所述交通設(shè)施標(biāo)識的內(nèi)容， 基于所述交通設(shè)施標(biāo)識的內(nèi)容修正暢通路徑，以及 在車輛導(dǎo)航中應(yīng)用修正后的暢通路徑。
20.如權(quán)利要求19所述的系統(tǒng)，進(jìn)一步包括自動轉(zhuǎn)向系統(tǒng)，所述自動轉(zhuǎn)向系統(tǒng)基于分 析來自所述攝像機裝置的圖像而操作。
全文摘要
本發(fā)明涉及存在交通設(shè)施標(biāo)識的更優(yōu)暢通路徑檢測。一種檢測車輛行駛的暢通路徑的方法，該方法利用位于車輛上的攝像機裝置產(chǎn)生的多個圖像的分析，該方法包括監(jiān)測這些圖像。這些圖像被分析，所述分析包括確定暢通路徑以及確定交通設(shè)施標(biāo)識的圖像，在該暢通路徑上潛在道路表面能夠從不指示潛在道路表面的其他圖像部分中估計出來。該方法進(jìn)一步包括確定交通設(shè)施標(biāo)識的內(nèi)容、基于該交通設(shè)施標(biāo)識的內(nèi)容修正暢通路徑、以及在車輛導(dǎo)航中應(yīng)用修正后的暢通路徑。
文檔編號G06K9/00GK101944176SQ200911000058
公開日2011年1月12日 申請日期2009年10月23日 優(yōu)先權(quán)日2009年5月8日
發(fā)明者S·M·奈克, W·張 申請人:通用汽車環(huán)球科技運作公司