專利名稱：基于像素的紋理豐富暢通路徑檢測的制作方法
技術領域：
本發(fā)明涉及機動車輛的自動或半自動控制。
背景技術：
該部分的內(nèi)容僅提供與本發(fā)明有關的背景信息，且可能不構成現(xiàn)有技術。自主駕駛系統(tǒng)和半自主駕駛系統(tǒng)使用關于道路和其它駕駛狀況的輸入來自動地 控制節(jié)氣門和轉(zhuǎn)向機構。對使機動車輛在其上操作的暢通路徑(clear path)的準確估計 和辨識對于用車輛操作的控制機構成功替換人類頭腦是關鍵的。道路狀況可能是復雜的。在車輛的正常操作下，人操作者每分鐘進行數(shù)百次的觀 察并基于所感知的道路狀況來調(diào)節(jié)車輛操作。感知道路狀況的一個方面是在路面中和路面 附近的物體的環(huán)境中感知道路并導航通過任何物體的暢通路徑。用技術來替換人類感知優(yōu) 先包括一些手段來準確地感知物體并在這些物體周圍繼續(xù)有效地導航。用于感知物體的技術手段包括來自于視覺照相機和雷達成像的數(shù)據(jù)。照相機將輻 射形式的視覺圖像(例如，光圖案或紅外符號)譯碼為可讀取的數(shù)據(jù)格式。一種這樣的數(shù) 據(jù)格式包括像素化圖像，其中，所感知的情景分成一系列像素。雷達成像使用發(fā)送器產(chǎn)生的 無線電波來估計發(fā)送器前面存在的形狀和物體。能夠分析反映這些形狀和物體的波的圖案 且能夠估計物體的位置?！┮呀?jīng)產(chǎn)生關于車輛前面地面的數(shù)據(jù)，所述數(shù)據(jù)就必須被分析以根據(jù)數(shù)據(jù)估計 物體的存在。通過使用照相機和雷達成像系統(tǒng)，能夠分析車輛前面的地面或路面是否存在 可能需要避免的物體。然而，僅僅辨識要避免的潛在物體并未完成分析。任何自主系統(tǒng)的 重要組成包括如何處理和管理所感知的地面數(shù)據(jù)中被辨識的潛在物體，以辨識在其中操作 車輛的暢通路徑。一種辨識在其中操作車輛的暢通路徑的已知方法是編目和臨時辨識所有感知的 物體且按照所辨識的物體的位置和特性來辨識暢通路徑。圖像可被處理以根據(jù)其形式和與 路面的關系來辨識和分類物體。雖然該方法能夠有效地辨識暢通路徑，但是它需要大量的 處理能力，從而需要將視覺圖像中的不同物體識別和分開，例如，在沿道路側(cè)面的樹和朝路 邊行走的行人之間進行區(qū)分。這種方法對于處理復雜情況可能是緩慢或無效率的，或者可 能需要笨重而昂貴的設備來提供所需處理容量。

發(fā)明內(nèi)容
一種使用對由位于車輛上的照相機裝置產(chǎn)生的多個圖像的分析來檢測車輛行駛 的暢通路徑的方法，包括監(jiān)測所述圖像，其中，每個圖像包括多個像素；從當前圖像中的多個像素辨識興趣點集合；通過對應性匹配來定位先前圖像中的對應點；對興趣點匹配對 進行濾波以選擇優(yōu)先匹配對集合；基于所述優(yōu)先匹配對集合來產(chǎn)生視圖中特征的三維映射 圖；基于所映射的特征來確定暢通路徑；和使用所述暢通路徑來操作車輛。


現(xiàn)在將參考附圖通過示例的方式來描述一個或多個實施例，在附圖中圖1示出了配備有根據(jù)本發(fā)明的照相機和雷達成像系統(tǒng)的車輛的示例性設置；圖2示出了根據(jù)本發(fā)明的確定用于自主駕駛的暢通路徑的已知方法；圖3示出了使用根據(jù)本發(fā)明的圖像概率分析來確定暢通路徑的示例性方法；圖4示出了根據(jù)本發(fā)明的分析圖像的示例性方法；圖5示出了根據(jù)本發(fā)明的通過調(diào)整單個閾值來限定分類誤差的示例性方法；圖6A、6B和6C示出了根據(jù)本發(fā)明的通過計算絕對圖像強度差來示意性地確定圖
像差；圖7示出了根據(jù)本發(fā)明的將特征分類為暢通路徑的一部分和被檢測物體的示例 性方法，同時作為圖像分析的方法；圖8還示出了根據(jù)本發(fā)明的將特征分類為暢通路徑的一部分和被檢測物體的示 例性方法，同時作為圖像分析的方法；圖9示出了根據(jù)本發(fā)明的通過概率分析來分析圖像的示例性過程；圖10是根據(jù)本發(fā)明的用于檢測暢通路徑的第一處理方案；圖11示出了根據(jù)本發(fā)明的包括在當前圖像上辨識的示例性興趣點集合的示例性 當前圖像；圖12示出了根據(jù)本發(fā)明的在圖11所示的圖像之后捕獲的示例性當前圖像；圖13A和13B示出了根據(jù)本發(fā)明的示例性匹配點對、以及圍繞所述點的示例性像 素區(qū)域，所述匹配點對包括來自于當前圖像的興趣點和來自于先前圖像的相應興趣點；圖13A示出了來自于當前圖像的興趣點和圍繞所述興趣點的像素區(qū)域；圖13B示出了來自于先前圖像的興趣點和圍繞所述興趣點的像素區(qū)域；圖14以圖形示出了根據(jù)本發(fā)明的示例性當前圖像、示例性先前圖像、以及主車輛 的操作的使用，以確定視圖特征的位置；圖15以圖形示出了根據(jù)本發(fā)明的描述在主車輛前面χ和y坐標處的興趣點的豎 直位置的示例性投影圖；圖16示出了根據(jù)本發(fā)明的用于檢測暢通路徑的第二處理方案；圖17示出了根據(jù)本發(fā)明的基于像素顏色強度的示例性濾波圖像；圖18示出了根據(jù)本發(fā)明的使用邊緣識別方法的示例性濾波圖像；和圖19示出了根據(jù)本發(fā)明的用于第二處理方案的替代示例性過程。
具體實施例方式現(xiàn)在參考附圖，其中所述視圖僅僅是為了圖示某些示例性實施例而不是為了限制 所述實施例，圖1示出了根據(jù)本發(fā)明的位于車輛100前面并指向車輛100前面的地面的照 相機Iio的示例性設置。照相機110與處理模塊120通信，處理模塊120包含邏輯以處理來自于照相機110的輸入。車輛100也可配備有雷達成像系統(tǒng)130，在存在時，雷達成像系 統(tǒng)也處理模塊120通信。本領域普通技術人員應當理解，除了使用照相機110和雷達成像 系統(tǒng)130之外或者替代使用照相機110和雷達成像系統(tǒng)130，車輛100可以使用多種方法來 辨識道路狀況，包括GPS信息、來自于與車輛100通信的其它車輛的信息、關于具體路面的 歷史數(shù)據(jù)、生物信息(例如，讀取駕駛員的視覺焦點的系統(tǒng))、雷達成像系統(tǒng)或其它類似系 統(tǒng)。本文公開的內(nèi)容能夠應用于各種裝置設置且因而不受限于此。照相機110是能夠?qū)⒐?、紅外線或其它電磁(EM)輻射形式的視覺輸入譯碼成能夠 便于分析的數(shù)據(jù)格式(例如，數(shù)字、像素化圖像)的本領域熟知的裝置。在一個實施例中， 照相機110使用電荷耦合裝置(CXD)傳感器來產(chǎn)生指示視場的圖像。優(yōu)選地，照相機110 配置成用于連續(xù)圖像生成，例如每秒產(chǎn)生30個圖像。由照相機110產(chǎn)生的圖像可存儲在照 相機110內(nèi)的存儲器中或者傳輸給處理模塊120，以用于存儲和/或分析。優(yōu)選地，照相機 110產(chǎn)生的每個圖像是具有已知像素大小的二維圖像，包括多個可辨識像素。所述多個可辨 識像素可使用陣列存儲和分析。每個像素可在陣列中表示為位集合或多個位集合，其中，位 與預定調(diào)色板或顏色圖上的顏色相對應。每個像素可表示為多個顏色強度值的函數(shù)，例如 紅-綠-藍(RGB)顏色模型或青-紫-黃-黑(CMYK)顏色模型。優(yōu)選地，每個像素包括多 個位集合，其中，每個位集合與顏色強度和顏色強度值相對應，例如，在RGB顏色模型上，第 一位集合與紅色強度值相對應，第二位集合與綠色強度值相對應，且第三位集合與藍色強 度值相對應。雷達成像裝置130是本領域熟知的裝置，包括能夠發(fā)送無線電波或其它EM輻射 的發(fā)送器；能夠感測所發(fā)送的波的接收器裝置，所發(fā)送的波從發(fā)送器前面的物體被反射回 到接收器；和將所感測的波轉(zhuǎn)換成能夠分析的數(shù)據(jù)格式(例如，指示從反射該波的物體的 距離和角度)的裝置。替代性地，雷達成像裝置130可用配置成發(fā)送和接收光能的光檢測和 測距(LIDAR)系統(tǒng)替代或補充。所接收的光能可用于確定物體幾何尺寸和/或與車輛100 的幾何接近度。應當注意的是，雷達成像裝置130對于執(zhí)行本文公開的許多方法來說是可 選的而不是必需的，其中，視覺圖像的處理能夠完成暢通路徑檢測。處理模塊120在圖1中示出，并在本文描述為分立元件，這種圖示是為了便于說明 且應當理解的是，該元件執(zhí)行的功能可組合在一個或更多裝置中，例如在軟件、硬件和/或 專用集成電路中實施。優(yōu)選地，處理模塊120是通用數(shù)字計算機，通用數(shù)字計算機包括微處 理器或中央處理單元；存儲介質(zhì)，所述存儲介質(zhì)包括非易失性存儲器(包括只讀存儲器和 電子可編程只讀存儲器)、隨機存取存儲器；高速時鐘；模數(shù)和數(shù)模電路；輸入/輸出電路 和裝置以及合適的信號調(diào)節(jié)和緩沖電路。處理模塊120具有一組處理算法，所述處理算法 包括存儲在非易失性存儲器中且被執(zhí)行提供期望功能的常駐程序指令和標定值。所述算法 優(yōu)選在預定循環(huán)期間被執(zhí)行。所述算法由中央處理單元執(zhí)行，并且可操作以監(jiān)測來自前述 感測裝置的輸入以及執(zhí)行控制和診斷程序從而用預定標定值控制致動器的操作。在持續(xù)進 行的發(fā)動機和車輛操作期間，循環(huán)以規(guī)則間隔例如每3. 125,6. 25,12. 5、25和100毫秒被執(zhí) 行。替代性地，算法可響應于事件發(fā)生而被執(zhí)行。處理模塊120執(zhí)行存儲在其中的算法代碼以監(jiān)測相關的設備(例如照相機110和 雷達成像系統(tǒng)130)并執(zhí)行由處理模塊內(nèi)執(zhí)行的分析所表示的指令或數(shù)據(jù)傳輸。處理模塊 120可包括借助于本領域已知且在本文未描述的手段來致動自主駕駛控制的算法和機構，
7或者處理模塊120可簡單地提供信息給獨立的自主駕駛系統(tǒng)。取決于與控制模塊結(jié)合使用 的具體實施例，處理模塊120適合于根據(jù)需要從其它系統(tǒng)和操作者接收輸入信號。圖2示出了根據(jù)本發(fā)明的確定用于自主駕駛的暢通路徑的已知方法。產(chǎn)生與車輛 100前面的路面相對應的圖像10。通過各種方法之一，物體40A、40B和40C在圖像10內(nèi)被 辨識，且每個物體根據(jù)濾波和訓練后的物體特性被歸類和分類。每個物體的單獨處理可能 是計算量大的，且需要昂貴和笨重的設備來處理計算負荷。算法處理關于路面和物體40的 所有可用信息以估計車輛100可用的暢通路徑。暢通路徑的確定取決于所辨識的物體40 的具體分類和特性。圖3示出了根據(jù)本發(fā)明的確定用于自主或半自主駕駛的暢通路徑的示例性方法。 圖像10示出為包括地面20、地平線30和物體40。圖像10由照相機110收集且表示車輛 100前面的道路環(huán)境。地面20表示基于可能存在的物體在沒有任何鑒別力的情況下自由行 駛的所有可用路徑的區(qū)域。圖3的方法通過假定所有地面20都是暢通的開始，且然后使用 可用數(shù)據(jù)來取消不暢通的地面20部分，從而確定地面20上的暢通路徑。與將每個物體40 分類的圖2方法相比，圖3的方法而是分析地面20并試圖從可用數(shù)據(jù)限定可表示物體40 的一些可檢測異常限制地面20部分或者使地面20部分不暢通的概率。這種集中于地面20 而不是物體40避免了與管理物體檢測有關的復雜計算任務。獨立物體的單獨分類和跟蹤 是不必要的，因為獨立物體40被簡單地一起分組作為對地面20的總體一致限制的一部分。 地面20 (如上所述描述為在沒有任何鑒別力的情況下自由行駛的所有路徑)減去由發(fā)現(xiàn)為 不暢通的區(qū)域?qū)Φ孛?0施加的限制，限定了暢通路徑50 (在圖3中示出為虛線內(nèi)的區(qū)域) 或者具有車輛100自由行駛的一定閾值概率的區(qū)域。對地面20產(chǎn)生不暢通限制的物體40可呈現(xiàn)許多形式。例如，物體40可表示分離 物體，例如停止的汽車、行人或者道路障礙，或者物體40也可以表示指示道路邊緣的表面 圖案的較不明顯的變化，例如路側(cè)路邊、副索(grass line)或者覆蓋路面的水。物體40也 可以包括與地面20有關的平坦道路的不存在，例如在道路中有大洞時可能檢測到的那樣。 物體40也可以包括與道路在高度上沒有任何限定變化但是對該道路區(qū)段具有明顯的暢通 路徑暗示，例如表示車道標記的路面上的粉刷圖案的標識符。本文公開的方法，通過不試圖 辨識物體40而僅僅在圖像10中從地面20和靠近地面的任何物獲取視覺線索，評估暢通與 不暢通的概率并針對任何物體40的存在調(diào)節(jié)車輛100的控制。自動分析二維(2D)圖像的許多方法是可行的。圖像10分析由處理模塊120內(nèi)的 算法執(zhí)行。圖4示出了根據(jù)本發(fā)明可應用于分析圖像10的一種示例性方法。該方法將圖 像10細分并辨識地面20的子圖像或小塊60以用于分析，從小塊60提取特征或者分析可 用視覺信息以辨識小塊內(nèi)的任何感興趣或區(qū)別特征，且依照特征分析根據(jù)成為暢通路徑的 概率將小塊分類。具有大于一定閾值概率的小塊分類為暢通的，且小塊的匯集可用于組合 成圖像內(nèi)的暢通路徑。小塊60，作為圖像10的子圖像，可通過任何已知的手段被辨識，例如圖像10的隨 機搜索或密集搜索。替代性地，從一些其它信息源(例如雷達成像系統(tǒng)130)可獲得的關于 物體40存在性的信息可用于辨識小塊以分析要描述物體40的圖像10部分。圖像10可需 要許多小塊60來分析整個圖像。此外，多個疊置小塊或具有不同尺寸的小塊可用于充分分 析含有感興趣信息的圖像10區(qū)域。例如，小的小塊60可用于分析道路上的小點；然而，可能需要大的小塊60來分析一系列點，所述點孤立地可能似乎是不感興趣的但是在整個系 列的情況下可能指示感興趣物體40。此外，應用于具體區(qū)域的小塊分辨率可基于可用信息 調(diào)節(jié)，例如，更多小塊應用于認為存在物體40的圖像10區(qū)域。許多方案或策略可用來限定 用于分析的小塊60，且本發(fā)明不打算限制為本文公開的具體實施例。一旦已經(jīng)辨識用于分析的小塊60，處理模塊120通過應用濾波器以從小塊提取特 征來處理小塊。此外，處理模塊120可執(zhí)行與車輛位置相關的小塊位置的分析。所使用的 濾波器可采用許多形式。用來提取特征的濾波算法通常搜索數(shù)據(jù)中用于特性模式的可用視 覺信息，通過線取向、線位置、顏色、角點特性、其它視覺屬性和學習屬性來限定特征。學習 屬性可通過車輛內(nèi)的機器學習算法來學習，但通常被離線編程且可根據(jù)試驗、根據(jù)經(jīng)驗、通 過預測、通過建?；蜃阋詼蚀_地訓練區(qū)分屬性的其它技術來產(chǎn)生。一旦小塊60中的特征已經(jīng)被提取，小塊就基于特征分類以確定小塊是暢通路徑 的概率。概率分析是本領域已知的過程，通過概率分析產(chǎn)生存在特定狀況的概率值或置信 度。應用于本發(fā)明，分類包括概率分析以確定小塊是否表示暢通路徑或者該小塊中的地面 20是否受物體40限制。在示例性實施例中，通過應用用示例性道路狀況的數(shù)據(jù)庫訓練并 與所檢測物體相互作用的分類器或者算法來進行分類。這些分類器允許處理模塊120產(chǎn)生 小塊60的暢通路徑概率值比例，從而在0和1之間量化在小塊內(nèi)辨識的特征不表示將抑 制車輛100自由行駛的限制性物體40的置信度?？梢栽O定閾值置信度，從而限定用于將小 塊定義為暢通路徑所需要的暢通路徑概率，例如通過以下邏輯置信度=暢通路徑概率(i) (1)如果置信度> 0. 5，則小塊=暢通路徑在該具體示例性實施例中，選擇50%或0. 5的置 信度作為閾值置信度。該數(shù)值可根據(jù)試驗、根據(jù)經(jīng)驗、通過預測、通過建?；蜃阋詼蚀_地評 估小塊的暢通路徑特性的其它技術來產(chǎn)生。如上所述，概率分析可在一個示例性實施例中通過將訓練后的分類器應用于從小 塊提取的特征來執(zhí)行。一種方法使用訓練圖像集合來演繹地分析特征。在該訓練階段，區(qū) 別特征從原始特征集合選擇，區(qū)別特征由本領域已知的方法限定，例如Haar小波、Gabor小 波和Leimg-and-Malik濾波器組。此外，基于每個特征的最小分類誤差(根據(jù)錯誤接受率 (FAR)和錯誤拒絕率(FRR)的求和計算)的2D圖像位置信息可通過如圖5所示調(diào)整單個閾 值來使用。該分類誤差可以通過以下表達式描述分類誤差⑴=FARJFRRi (2)來自于 訓練后的分類器的信息用于分類或加權指示暢通路徑或不暢通路徑的特征，具體分類取決 于對訓練數(shù)據(jù)的比較的強度。如果特征是小塊內(nèi)的唯一特征，特征分類可直接應用于小塊。 對辨識到多個特征的小塊的分類可采用多種形式，包括小塊由所包括的最能表示小塊不暢 通的特征限定或者小塊由其中包括的所有特征的加權求和來限定。上述方法用于檢查獨立圖像10并基于圖像10中包含的視覺信息來估計暢通路徑 50。在車輛沿道路行駛時，該方法可以一定間隔重復，以考慮新信息并將所表示的暢通路徑 擴展到車輛新位置前面一定范圍。間隔的選擇必須用足夠的頻率來更新圖像10，以給車輛 100準確地提供要駕駛的暢通路徑。然而，間隔也可以被選擇成某些最小值，以充分控制車 輛而且不過度地加重對處理模塊120施加的計算負荷。暢通路徑檢測可以通過上述單個圖像10完成。然而，處理速度和精度可以通過增 加在接近原始圖像的時間獲得的第二圖像來改進，例如來自于流動視頻削波的順序圖像。 第二圖像允許與第一圖像直接比較，且提供關于車輛前進和所檢測物體的移動的更新信息。而且，照相機110的視角變化允許進行與第一圖像不同的特征分析可能在第一圖像中 未清楚示出或者不明顯的特征可在不同的照相機角度顯示，更明顯地突出，或者已經(jīng)自第 一圖像移動，從而允許分類算法有附加的機會來限定特征。處理與原始圖像10相關的第二圖像可通過計算圖像差進行。如果興趣點(例如， 由雷達辨識的特征)的圖像差不是0，那么該點可辨識為體現(xiàn)新信息。圖像差等于0的點可 以從分析中排除且可以節(jié)省計算資源。確定圖像差的方法包括絕對圖像強度差和車輛運動 補償圖像差。通過計算絕對圖像強度差來確定圖像差可用于收集兩個圖像之間的信息。絕對圖 像強度差的一種方法包括確定原始圖像和第二圖像之間的等同圖像特性以補償圖像之間 的車輛運動，疊置圖像，并注意圖像之間強度的任何顯著變化。對圖像之間的表示某些區(qū)域 中圖像強度的變化的比較包含新信息。沒有顯示強度變化的區(qū)域或小塊可在分析中不作強 調(diào)，而可集中于顯示強度上有清楚變化的區(qū)域，使用前述方法來分析任一或兩個所捕獲圖 像上的小塊。圖6A、6B和6C示出了根據(jù)本發(fā)明的通過計算絕對圖像強度差來示例性地確定圖 像差。圖6A示出了原始圖像。圖6B示出了從原始圖像變化的第二圖像。具體地，所示圓 形已經(jīng)向左移動。如圖6C所示的兩個圖像的比較(表示絕對圖像強度差比較的結(jié)果的輸 出)辨識出已經(jīng)從第一圖像到第二圖像變暗的一個區(qū)域和已經(jīng)從第一圖像到第二圖像變 亮的另一個區(qū)域。這種方法能夠描述為差分。比較分析產(chǎn)生了由于移動或視角變化引起的 一些變化可能在圖像中該區(qū)域中獲得的信息。由此，絕對圖像強度差可用于分析一對順序 圖像以辨識可能不暢通路徑。類似地，通過計算車輛運動補償圖像差來確定圖像差可用于在兩個圖像之間收集 信息。已知計算車輛運動補償圖像差的多種方法。車輛運動補償圖像差的一種示例性方法 包括分析同時作為暢通路徑的固定部分和檢測物體的潛在物體。對從兩個類別同時辨識的 與潛在物體相對應的特征進行概率分析，且可以例如通過以下邏輯比較所述分類置信度 (i)=暢通路徑概率(i)_檢測物體概率(i) (3)如果置信度> 0，則小塊=暢通路徑在 該具體示例性比較中，如果置信度(i)大于0，那么包含該特征的小塊分類為暢通路徑。如 果置信度(i)小于或等于0，那么包含該特征的小塊分類為不暢通路徑或受限制。然而，可 選擇用于置信度水平的不同值以將小塊分類為暢通路徑。例如，試驗可顯示，錯誤肯定值很 可能大于錯誤否定值，從而可引入一些因子或偏差。圖7示出了根據(jù)本發(fā)明的將特征同時分類為上述暢通路徑的一部分和檢測物體 的一種方法。圖10包括物體40、梯形投影70和矩形投影80。該方法采用將物體40作為地 面上的平坦物體投影到投影70內(nèi)的假定，以對將特征分類為暢通路徑的一部分進行試驗。 該方法也采用將物體40作為豎直物體投影到矩形投影80內(nèi)的假定，以對將特征分類為檢 測物體進行試驗。圖8示出了在兩個圖像之間收集的數(shù)據(jù)中作出的比較，以根據(jù)本發(fā)明評 估物體40的性質(zhì)。在時間、時照相機110從物體40觀察并獲得第一圖像形式的數(shù)據(jù)。如 果物體40是實際檢測物體，那么在時間、時由照相機110觀察的物體40的輪廓將對應于 點90A。如果物體40是與地面20在相同平面的平坦物體，那么在時間、時由照相機110 觀察的物體40的輪廓將對應于點90B。在時間、和、之間，照相機110移動一定距離。在 時間t2捕獲第二圖像，且關于物體40的信息可以通過應用尋找第二圖像中物體的可視屬性與第一圖像進行比較的算法來進行試驗。如果物體40是從地面20向上延伸的實際檢測 物體，那么在時間t2時物體40的輪廓將在點90C被觀察。如果物體40是與地面20在相同 平面的平坦物體，那么在時間t2時物體40的輪廓將在點90B被觀察。通過車輛運動補償圖 像差獲得的比較可借助于基于點90的觀察值應用分類器而直接指定置信度，或者比較可 簡單地指向顯示興趣點變化的區(qū)域。對作為平坦物體和作為實際檢測物體兩種分類的物體 進行試驗，允許包括物體40的區(qū)域被辨識以用于通過如上所述分析小塊進一步分析，或者 直接產(chǎn)生暢通路徑概率和檢測物體概率，以用于例如在如上述邏輯表達式(3)進行比較。從第二圖像分析可獲得的信息可附加地通過整合關于車輛運動的信息(例如速 度和偏航速率)來改進。關于車輛運動的信息可從多個源獲得，包括車輛速度計、車輛動態(tài) 傳感器或車輪速度傳感器、防抱死制動機構、和GPS位置系統(tǒng)。算法可使用該車輛移動信 息，例如與圖7和8所述的投影結(jié)合，以基于來自于第一圖像的數(shù)據(jù)和在圖像之間車輛的測 量移動來投影在平躺在地面上的特征中應當存在的角度。用于比較的圖像數(shù)量不需要限制為兩個。可以多次迭接執(zhí)行多個圖像分析，物體 在多個循環(huán)內(nèi)被跟蹤和比較。如上所述，通過使用圖像差分析可獲得計算效率，以辨識興趣 點并將具有0差的區(qū)域從隨后分析中排除。這種效率可用于多次迭接中，例如，僅在第一圖 像和第二圖像之間辨識的興趣點將在獲得的第三和第四圖像中被分析。在一些點，新的圖 像集合將需要被比較以確保示出了 0差的區(qū)域沒有任何變化，例如，撞擊到先前暢通路徑 上的運動物體。使用圖像差分析和集中分析(排除被辨識為具有0變化的區(qū)域)將根據(jù)應 用而不同，且可在不同操作狀況之間不同，例如車輛速度或感知的操作環(huán)境。圖像差分析 和集中分析的具體使用可采用多種不同實施例，且本發(fā)明不打算限于本文描述的具體實施 例。圖9示出了根據(jù)本發(fā)明的分析來自于照相機的輸入以確定暢通路徑概率的示例 性過程200、在步驟202，產(chǎn)生圖像形式的照相機輸入。在步驟204，從圖像選擇用于分析的 小塊。步驟206表示可用于處理小塊的濾波器或濾波器組。在步驟208，通過應用可從步驟 206獲得的濾波器和應用其它算法對選定的小塊進行特征提取。步驟210包括分類器訓練 過程。如上所述，用來產(chǎn)生概率值的分類器或邏輯最初被離線訓練。訓練可基于模糊邏輯、 神經(jīng)網(wǎng)絡或本領域已知的其它學習機制任選地在車輛中繼續(xù)。這些訓練后的分類器在步驟 212中被使用，以對步驟208提取的特征進行概率分析且產(chǎn)生小塊的概率值。該概率值表示 選定小塊暢通的置信度。在步驟214，在步驟212中產(chǎn)生的概率值與閾值概率值進行比較。 如果概率值大于閾值，那么在步驟218，所述小塊被辨識為暢通路徑。如果概率值不大于閾 值，那么所述小塊被辨識為不暢通路徑。如上所述，過程200可以許多方式重復或迭接，借 助于選擇和分析不同小塊重復地分析同一圖像，且辨識的小塊可被跟蹤和針對多個順序圖 像上的變化進行分析。如上所述，處理模塊120可包括借助于本領域已知且在本文未描述的手段來致動 自主駕駛控制的算法和機制，或者處理模塊120可簡單地提供信息給獨立的自主駕駛系 統(tǒng)。對感知物體的反應可以不同，且包括但不限于轉(zhuǎn)向變化、節(jié)氣門變化、制動響應、以及車 輛對操作者的報警和停止控制。使用小塊分析的上述方法是為車輛建立行駛暢通路徑的一種方法。公開了兩個附 加的相關處理方案，采用類似方法來分析像素而不是小塊。公開了使用紋理豐富方法來分析圖像以辨識暢通路徑的第一處理方案。圖10示出了用于檢測暢通路徑的第一處理方案 101，本文描述為包括分立元件。這種圖示是為了便于說明，且應當理解的是，這些元件執(zhí)行 的功能可組合在一個或更多裝置中，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑嵤?。處理方?01是將紋理豐富圖像分析應用于主車輛前面的視場的示例性方法，且 以步驟103開始，其中，產(chǎn)生在車輛前面的視場的圖像。在步驟106，所監(jiān)測的圖像針對興趣 點進行檢查，例如，如上所述檢查像素顏色強度和將像素或像素組與周圍像素進行比較。通 過本領域已知的方法，興趣點被辨識且用于完成本文所述的方法。在步驟109，當車輛運動 時將車輛前面的視場的順序圖像進行比較，且在可能時將每個圖像的興趣點與順序圖像中 的對應點進行匹配，所述對應點與視場中的相同點相對應。匹配包括通過模板匹配定位對 應點或者比較順序圖像上的興趣點，考慮主車輛的移動，且對兩個點是否表示可在視場中 看到的相同物體或特征作出最佳估計。雖然興趣點可以被匹配，但不是所有匹配的對應點 對都表示高質(zhì)量對應點對，高質(zhì)量對應點對允許在視場中辨識其三維位置以分類為車輛行 駛的暢通路徑。在步驟112，濾波器應用于匹配的對應點對以辨識能夠用于以高置信度辨識 三維位置的高質(zhì)量對應點對。在步驟115，高質(zhì)量對應點對被分析以確定由對應點對表示的 物體的三維位置。應當理解的是，與地平面相比處于不同高度的對應點將在順序圖像之間 不同地移動。分析興趣點的移動可以產(chǎn)生興趣點的估計三維坐標。在步驟118，所確定的物 體位置用于將物體位置映射到主車輛前面。在步驟121，映射圖用于確定主車輛前面的暢通 路徑。圖11示出了示例性當前圖像(k) 500，當前圖像(k) 500包括在當前圖像(k)上辨 識的示例性興趣點501集合，每個興趣點501對應于像素。處理模塊120優(yōu)選辨識所產(chǎn)生 的每個圖像(包括當前圖像(k) 500和先前圖像(k-Ι))上的興趣點501。興趣點501是圖 像上的可辨識像素且與一組視覺信息(即，紋理豐富特征)相關聯(lián)，且與位于視場中的物體 相關聯(lián)。圖11所示的示例性視場或視圖包括道路表面510、道路表面中的區(qū)段515、路邊 520和521、車道標記522、相交車道526以及建筑524和525。通過興趣點提取編程在視圖 中辨識候選興趣點501，由此可選定興趣點501集合。興趣點提取編程通過多種已知方法 之一在圖像上執(zhí)行，例如尺度不變特征變換(SIFT)、采用角點檢測或其它形狀檢測的方法、 或Sobel濾波器。興趣點提取編程優(yōu)選在處理模塊120中執(zhí)行，但是可組合在一個或更多 裝置中，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑嵤Ｅd趣點提取編程在每個圖像中定位 與預定可辨識紋理豐富特征相對應的候選興趣點501，例如指示邊緣的像素、指示視覺數(shù)據(jù) 中過渡的像素，其中潛在顯著特征可在視圖中辨識。在圖11的示例性視圖中，所辨識的多 個辨識興趣點501中的一個點501A在路邊520的區(qū)段505處形成的角點處被辨識。在辨識候選興趣點501之后，興趣點提取編程可通過去除冗余候選興趣點(即，與 同一特征相對應的候選興趣點)而對候選興趣點進行濾波。例如，興趣點提取編程可對與 邊緣相對應的多個候選興趣點進行濾波，從而得到與邊緣相對應的較少的候選興趣點。候 選興趣點的其余集合是圖像的興趣點。在一個實施例中，為了計算效率，對冗余候選興趣點 進行濾波。一旦當前圖像(k)500中的興趣點501被辨識，處理模塊120就將來自于當前圖像 (k)的興趣點集合與從先前圖像(k-Ι)辨識的點集合進行匹配，以確定匹配點對集合，與過 程101中的步驟109相對應。
確定匹配點對集合的第一方法包括使用對應性匹配編程來將來自于當前圖像(k) 和先前圖像(k-Ι)的興趣點進行匹配。處理模塊120將來自于當前圖像(k)的興趣點集合 與在先前圖像(k-Ι)中辨識的興趣點集合進行匹配，以確定興趣點匹配對集合。圖12示出 了在圖11所示的圖像之后捕獲的示例性當前圖像(k)。示例性當前圖像(k) 530表示在圖 11所示的圖像之后捕獲的圖像，其中，觀測者的視角已經(jīng)沿圖像之間的所示道路稍微前進。 在該示例性情況中，圖11的圖像500，雖然在捕獲時是當前圖像(k)，但是此時用作當前圖 像(k) 530的先前圖像(k-Ι)。圖12所示的示例性視圖包括道路表面510、道路表面中的區(qū) 段515、路邊520和521、車道標記522、和建筑524和525，如圖11所示，在該視圖中每個特 征具有稍微不同的視角。在圖12的示例性視圖中，根據(jù)上述方法辨識多個辨識興趣點531， 且一個點531A在路邊520的區(qū)段505處形成的角點處被辨識。應當注意的是，在圖像530 中辨識的興趣點531不必與圖像500中辨識的興趣點501直接對應。在圖像530中辨識的 點531被處理和濾波，如結(jié)合點501描述且結(jié)合圖11描述的那樣。優(yōu)選地，來自于當前圖 像(k)530的興趣點集合中的多個興趣點531與從先前圖像(k-1) 500辨識的興趣點集合中 的興趣點501進行匹配，以確定多個匹配點對。包括匹配點對的每個興趣點預期對應于與 視圖中的物體相關聯(lián)的相同特征。為了確定匹配點對集合，來自于當前圖像(k)的興趣點 531集合與從先前圖像(k-Ι)辨識的興趣點501集合通過多種已知對應性匹配編程(例如， 尺度不變特征變換(SIFT)特征匹配編程和光流編程)之一進行比較。對應性匹配編程優(yōu) 選在處理模塊120中執(zhí)行，但是可組合在一個或更多裝置中，例如在軟件、硬件和/或?qū)Ｓ?集成電路中實施。得到的匹配點對與位于當前圖像(k)和先前圖像(k-Ι)兩者上的同一特 征相對應，其中，所述同一特征與視圖中的同一物體相關聯(lián)。確定匹配點對集合的第二方法包括使用模板匹配編程來將來自于當前圖像(k) 和先前圖像(k-Ι)的興趣點進行匹配。在一個實施例中，使用鄰近興趣點的預定像素區(qū)域 產(chǎn)生模板。結(jié)合圖12中的興趣點531A示出了示例性區(qū)域535。模板匹配可使用多種方法 之一來確定，包括多種已知模板匹配編程方法之一，以尋找先前圖像中的對應興趣點，例如 Lucas-Kanade或Horn-Schunck。優(yōu)選地，鄰近當前圖像中的興趣點的模板與鄰近先前圖像 中的興趣點的模板進行比較。當模板匹配編程確定模板匹配時興趣點被包括到匹配點對集 合中。得到的匹配點對與位于當前圖像(k)和先前圖像(k-Ι)兩者上的同一特征相對應， 其中，所述同一特征與視圖中的同一物體相關聯(lián)。圖13A和13B示出了示例性匹配點對和所述點周圍的示例性像素區(qū)域，匹配點對 包括來自于當前圖像(k)530的興趣點531A和來自于先前圖像(k_l) 500的第二興趣點 501A。根據(jù)上述方法，興趣點531A周圍的像素區(qū)域535在圖13A中示出。如上文所述，興 趣點531A是在路邊520部分之間的區(qū)段505的角點處被辨識的點。點531A周圍的像素區(qū) 域535被選擇且優(yōu)選包括可用于主動辨識所述區(qū)域的可辨別特征、紋理或圖案。圖13B類 似地示出了興趣點501A和圍繞所述興趣點的像素區(qū)域540。由于圖像500和圖像530之間 的視角變化，像素區(qū)域535和像素區(qū)域540可包括一些差異，但是應用上述方法，像素區(qū)域 的比較和在其中辨識特征可用作以一定置信度確認興趣點531A和501A表示在圖像500和 530中捕獲的視圖內(nèi)的同一特征且可以當作匹配對的一種方法。在確定匹配點對之后，通過應用濾波器去除表示匹配不好或者不匹配對的低質(zhì)量 匹配對應點對，處理模塊120從匹配點對集合選擇高質(zhì)量優(yōu)先匹配點對，如上文示例性步驟112所述。優(yōu)先匹配點對可基于質(zhì)量控制標準進行選擇。在一個實施例中，匹配點對被 分析且在滿足每個標準之后辨識為優(yōu)先匹配點對。當匹配點對中的點之間的距離小于閾值時，滿足第一標準。該距離基于點的位置 確定，好像它們位于相同二維圖像坐標上一樣。閾值可預先確定且是依賴于位置的，或者取 決于車輛速度是動態(tài)的。當匹配點對中的兩個點距圖像邊界預定閾值距離時，滿足第二標 準。由于照相機對圖像邊界邊緣處的物體的視角和車輛運動，太靠近邊緣的點不能定位對 應點，其可位于照相機的視角之外或者可產(chǎn)生物體位置的不真實估計。此外，在以向前方向 正常車輛操作下，車輛需要關于朝視角盡頭的暢通路徑的信息的可能性很小。當鄰近匹配 點對中的每個點的預定區(qū)域之間的顏色差異小于顏色閾值差異時，滿足第三標準。使用圖 13限定的示例性像素區(qū)域，像素區(qū)域535和540之間的顏色差異可用于增加匹配對的置信 度。在每個區(qū)域內(nèi)每個像素可以基于其對應顏色分配一數(shù)值。分配的數(shù)值可基于在捕獲圖 像時確定的位值或者可以基于參考預定模板的標引顏色。處理模塊120逐像素地計算第一 區(qū)域501和第二區(qū)域502內(nèi)分配的數(shù)值之間的絕對差，且將所述差(為顏色差異)求和。所 述差與閾值差進行比較。如果所述差小于閾值差，那么滿足第三標準。顏色閾值差異可以 通過足以標定準確道路存在或暢通路徑估計的任何方法來選定。可基于車輛外部的光線水 平、天氣、車輛速度或影響基于顏色差異準確估計暢通路徑存在性的任何其它因素來使用 不同的顏色閾值差。通過判斷圍繞興趣點的區(qū)域是否類似，可以對包括由興趣點表示的特 征的相同區(qū)域是否在兩個圖像中被分析進行判斷。應當理解的是，上述三個標準是用于判斷匹配對的示例性標準，但是這些標準中 的一些部分或者附加的未提及類似標準可用于判斷匹配對的有效性。還可以基于車輛外部 存在的狀況(例如光線水平)、天氣、車輛速度或影響判斷匹配對的能力的任何其它因素或 者快速和準確限定暢通路徑的緊急性來選擇標準判斷匹配對。在選擇優(yōu)先匹配點對之后，處理模塊120確定與視圖中的物體特征相關聯(lián)的多個 點相對于車輛100的位置，如上述示例性步驟115所述。圖14以圖形示出了示例性當前圖 像、示例性先前圖像、以及主車輛的操作的使用，以確定視圖特征的位置。在水平參考坐標 中的物體位置和物體與地平面相比的高度可基于順序圖像317和327內(nèi)的優(yōu)先匹配點對集 合(匹配對在該圖中通過點1和2示出)、車輛100從第一位置310行駛到第二位置320的 距離(d)、和車輛偏航角(Θ)來確定。處理模塊120執(zhí)行多種已知三角測量方法之一，以 確定點相對于車輛100的位置和點的高度。在圖14中，示出了包括圖像k-1317的來自于 310的視場315，且示出了包括圖像k 327的來自于320的視場325。示出了距離d，其描述 觀察者已經(jīng)在點310和320之間行進的距離。相對于視場315和325縱向定向的線分別由 線312和322表示。示出了取向或者偏航角(Θ)的角度變化，其描述線312和322之間的 角度。距離d可以通過在310處的時間和320處的時間之間的樣本時間內(nèi)跟蹤車輛速度來 確定。類似地，在示例性車輛中，θ可通過在樣本時間內(nèi)跟蹤車輛的偏航速率來確定。示 出了顯示為305的物體，且示出了線318和328，其分別描述從點310和320到物體305的 線。在圖像317和327上示出了點1和2，線318和328在點1和2處分別與圖像317和 327相交?？上薅枋鰣D像317上點1的位置的距離(a)，且可限定描述圖像327上點2的 位置的距離(b)。應當理解的是，圖14表示投影圖，其中，物體305的位置可以在水平面中 限定，且相同物體在側(cè)視圖中的類似計算可用于限定物體305相對于觀察者的已知地平面
14的豎直位置。通過應用熟知的三角測量方法，來自于順序圖像的位置數(shù)據(jù)(例如距離a和 b)以及車輛數(shù)據(jù)(例如車輛速度、車輛偏航速率和樣本時間)可用于將所示物體相對于車 輛的位置進行定位并確定物體相對于車輛的相對運動。這些三腳測量方法可得到物體在水 平面中的位置和物體相對于地平面的高度。一旦確定位置和高度，處理模塊120就可以在投影圖上繪制點，如上文示例性步 驟118所述。圖15以圖形示出了描述在主車輛前面χ和y坐標處的興趣點的豎直位置的示 例性投影圖。χ軸和1軸上的位置<0，0>與上述車輛100的第二位置320或者車輛100的 當前位置相對應。優(yōu)選地，物體高度分類到預定類別中。例如，具有極小高度的物體(例如， 低于預定閾值)可分類為地面，超過地面高度但小于第二預定閾值的物體可分類為第二類 別，第二預定閾值接近但優(yōu)選小于車輛高度，大于第二預定閾值的物體可分類為第三類別。 如圖15所示，具有極小高度的物體分類為地面(地面)，超過地面高度但小于2米閾值的物 體可分類為第二類別(小于2米)，大于2米閾值的物體可分類為第三類別(大于2米)。在映射圖上繪制物體之后，處理模塊120基于在映射圖中所繪制的特征來檢測暢 通路徑，如上文示例性步驟121所述。本文使用的術語“暢通路徑”旨在給予本領域普通 技術人員其普通和通常的涵義(且不限于特定或定制涵義)，且無限制性地指代沒有超過 閾值的物體的路徑，例如沒有分類為上述第二和第三類別的物體的路徑。分類為預定類別 (例如，上述第二和第三類別)的物體的特征通過處理模塊120辨識為不暢通區(qū)域，S卩，對于 車輛行駛是不希望的。優(yōu)選地，鄰近分類為預定類別的每個物體的預定區(qū)域通過處理模塊 120辨識為不暢通區(qū)域。處理模塊120可使用多種方法之一來確定在映射圖上存在暢通路 徑。確定暢通路徑的第一方法包括將預期路徑與包括不暢通區(qū)域的映射圖進行比較。如果 預期路徑不與任何不暢通區(qū)域相交，那么處理模塊120確定預期路徑為暢通路徑。然而，如 果預期路徑與不暢通區(qū)域相交，那么處理模塊120確定不存在暢通路徑。確定暢通路徑的 第二方法包括使用映射圖中的不暢通區(qū)域來確定暢通路徑。與不暢通區(qū)域不相交的任何路 徑可用作暢通路徑。上述方法使用順序圖像來建立車輛前面的物體位置和豎直高度的映射圖，使得可 以限定暢通路徑。應當理解的是，在任何兩個給定圖像中，具體物體可以不分類為包括在該 具體分析中足以被映射的兩個高質(zhì)量興趣點。然而，上述分析在車輛每行駛一秒發(fā)生多次。 當車輛向前行駛經(jīng)過暢通路徑時，在物體上獲得不同的視角且將分析大量的圖像。在一定 路徑上行駛和通過該路徑的多個迭接圖像的分析會通過分析建立在辨識的暢通路徑中不 存在同暢通路徑相抵觸的物體的置信度。圖16示出了用于檢測暢通路徑的第二處理方案。本文所述的第一處理方案使用 紋理豐富方法，基于圖像內(nèi)的紋理視圖來分析描述明顯興趣點的像素化特征，而所公開的 第二處理方案可以描述為圖像分析的示例性無紋理方法，從圖像中濾波不屬于平面一致道 路表面的不一致圖像區(qū)域。通過從圖像濾波不一致區(qū)域，從其余圖像可以辨識作為車輛行 駛的潛在暢通路徑的暢通表面。在圖16中示出了過程250，且在本文描述為包括分立元件。 這種圖示是為了便于說明且應當理解的是，這些元件執(zhí)行的功能可組合在一個或更多裝置 中，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑嵤?。例如，過程250可在處理模塊120中執(zhí) 行為一個或多個算法。用于檢測暢通路徑的過程250包括形成多個濾波圖像且將濾波圖像 融合在一起以確定暢通路徑。
公開了示例性過程250，包括采用暢通路徑檢測的示例性無紋理方法的步驟。過 程250以步驟253開始，其中產(chǎn)生圖像。步驟256、259、262和265描述了替代性示例性方 法來將圖像濾波以辨識暢通路徑的位置，包括道路表面。應當理解的是，所述方法中的每個 以有助于辨識暢通路徑的一種方式處理圖像。過程可以用四種示例性方法中的一些部分來 實施，或者過程可以實施為包括未提及但類似的方法來處理圖像?？梢圆捎脼V波圖像內(nèi)的 暢通表面的任何方法，基于所述暢通表面可從圖像的不表示潛在道路表面的其它部分估計 道路表面。步驟256應用示例性方法來從高于地平點或消失點的區(qū)域(包括天空和不能成 為道路表面的一部分的其它豎直特征)濾波低于地平點或消失點的區(qū)域(包括能夠駕駛的 道路表面)。步驟259基于像素強度中的變化、基于道路表面將包括具有在表面上非常普 通的視覺強度的大表面的前提來應用濾波器。步驟262基于差分順序圖像來應用濾波器， 從而允許分析圖像之間的變化。步驟265基于辨識表示視覺數(shù)據(jù)中的邊緣或過渡的像素來 應用濾波器。并行應用各種方法，結(jié)果可在步驟268融合到圖像的單個映射圖中并在步驟 271中針對表示行駛暢通路徑的視覺數(shù)據(jù)來分析。第一濾波圖像使用消失點來形成，如上述示例性步驟256所述。本文所使用的術 語“消失點”是廣義術語，且被給予對本領域普通技術人員普通和通常的涵義，且指代地平 面上的無限遠點(在視圖中由地面上的多條平行線相交)。辨識形成要駕駛的暢通路徑的 道路表面有必要低于消失點或地平線。濾波圖像以僅分析低于地平線的區(qū)域有助于使得被 分析的像素清楚以從無關像素辨識道路表面。本領域技術人員應當理解，有許多已知方法 來確定消失點和相應地平線。一種已知方法包括基于主車輛的左側(cè)和右側(cè)上的車道標記彼 此相交的點來確定消失點。地平線基于消失點確定。第一濾波圖像包括當前圖像上低于地 平線的像素。處理模塊120基于包括當前圖像(k)的多個像素中的像素顏色強度來形成第二濾 波圖像，如上文示例性步驟259所述。圖17示出了基于像素顏色強度的示例性第二濾波圖 像。第二濾波圖像包括從所述多個像素選擇的像素?？稍O想濾波像素的多種方法。處理模 塊120將像素的每個顏色強度值與相關顏色分布均值(例如，紅色、綠色和藍色顏色分布均 值)進行比較。顏色分布均值是與先前辨識為暢通路徑的像素有關的相關顏色強度的平均 顏色強度分布。顏色分布均值可附加地基于相關顏色的暢通路徑像素的歷史收集顏色分布 均值。當像素的每個顏色強度值小于相關顏色分布均值的顏色強度閾值時，該像素被選擇 用于第二濾波圖像。當像素的一個顏色強度值大于相關顏色分布均值的顏色強度閾值時， 該像素從第二濾波圖像排除。相關顏色強度的顏色分布均值是分布在圖像中的平均顏色強 度值。顏色分布均值被最初預先確定。在一個實施例中，處理模塊120基于在預定數(shù)量的 圖像中的顏色強度分布來調(diào)節(jié)每個相關顏色強度的顏色分布均值。如上文所述，每個像素包括多個顏色強度值。優(yōu)選地，顏色強度值與相關顏色分布 均值進行比較。例如，對于使用RGB顏色模型形成的像素，與紅色強度相關的第一位集合和 與紅色強度相關的顏色分布均值進行比較，與綠色強度相關的位集合和與綠色強度相關的 顏色分布均值進行比較，與藍色強度相關的位集合和與藍色強度相關的顏色分布均值進行 比較。如果包括像素的每個顏色強度與相關顏色分布均值之間的差小于顏色強度閾值，那 么像素被用于第二濾波圖像。使用RGB顏色模型，每個像素包括第一、第二和第三顏色強度值。第一顏色強度是紅色強度，第二顏色強度是綠色強度，第三顏色強度是藍色強度。當像素的紅色強度和紅 色顏色分布均值之間的差小于紅色強度閾值、像素的綠色強度和綠色顏色分布均值之間的 差小于綠色強度閾值、且像素的藍色強度和藍色顏色分布均值之間的差小于藍色強度閾值 時，第二濾波圖像的像素從包括當前圖像(k)的多個像素選擇。以下關系式使用RGB顏色 模型表達該過程I R-RmI <讓儀81101(11；且 |G-Gm| < threshold(；且 |B_Bm| < thresholdB(4) 其中R是紅色，G是綠色，B是藍色，Rm是紅色的顏色分布均值，Gm是綠色的顏色分布均值，Bm 是藍色的顏色分布均值，threholdE是紅色強度閾值，threholdG是綠色強度閾值，threholdB 是藍色強度閾值。本領域技術人員將理解，上述關系式4可配置成與多種其它顏色模型(包括CMYK、 YUV和LAB顏色模型)一起使用。處理模塊120通過差分所述圖像使用當前圖像(k)和先前圖像(k-Ι)來形成第三 濾波圖像，如上文示例性步驟262所述。在形成差分圖像的示例性過程中，第三濾波圖像作 為當前圖像(k)和先前圖像(k-Ι)之間的圖像差形成且包括表示當前圖像(k)和先前圖像 (k-Ι)之間的差的逐像素比較。這種過程在上文結(jié)合圖6A-6C描述。用于確定第三濾波圖 像的第一方法包括確定當前圖像(k)上的獨立像素和先前圖像(k-Ι)上的對應獨立像素之 間的差。所述差可通過從對應顏色強度值減去與像素有關的顏色強度值以確定顏色強度差 來確定，例如從先前圖像(k-Ι)上的第一像素的紅色強度值減去當前圖像(k)上的第一像 素的紅色強度值。得到的顏色強度差包括像素值且與當前圖像(k)和先前圖像(k-Ι)上的 像素之間的差相對應。每個像素值可以與第三濾波圖像相對應的陣列存儲。在一個實施例 中，差的絕對值被確定且以陣列存儲。得到的陣列包括表示兩個圖像之間的差的值且包括 圖像差。在確定陣列之后，處理模塊120去除表示變化小于預定閾值的像素的值。在一個 實施例中，得到的值可用預定值(例如1)替換，以表示在得到的圖像上兩個所用圖像之間 的辨識差的清楚映射圖。描述了用于基于差分圖像來確定第三濾波圖像的第二示例性方法。通過比較當前 圖像(k)和運動調(diào)節(jié)的先前圖像(k-Ι)可進行確定，且這些圖像之間的差可用于映射不適 合用于產(chǎn)生運動調(diào)節(jié)圖像的具體模型的物體。產(chǎn)生運動調(diào)節(jié)的圖像的一種示例性模型包括 使用三角測量方法(例如結(jié)合圖14描述的方法)、關于車輛運動的信息和所有檢測點都處 于地平面以預測先前圖像(k-Ι)的物體運動的假設。通過使用圖像中的所有物體都處于地 平面的假設，在得到的圖像中物體運動的預測與作為地平面處存在的整個平坦圖像存在的 先前圖像一致。將該得到的運動調(diào)節(jié)的先前圖像(k-Ι)與實際當前圖像(k)進行比較(包 括不在地平面處的物體的視角變化)，則允許辨識在所示圖像中不處于地平面的所有物體 或特征。通過減去所比較圖像中的像素，例如根據(jù)第一示例性過程來確定上述第三濾波圖 像，表示不在地平面上的物體的像素可通過非零值或者超過確定性閾值的值來辨識。由此， 處理模塊120可使用當前圖像(k)和運動調(diào)節(jié)的先前圖像而不是先前圖像(k-Ι)來確定上 述的第三濾波圖像。處理模塊120基于包括當前圖像(k)的多個像素的顏色強度值形成第四濾波圖 像，如上文示例性步驟265所述。圖18示出了使用邊緣識別方法的示例性濾波圖像。第四 濾波圖像包括當前圖像(k)的邊緣。為了形成第四濾波圖像，處理模塊120基于與邊緣相 對應的顏色強度值使用多種已知邊緣檢測濾波器(例如，Sobel濾波器)之一而從圖像提取像素。邊緣檢測濾波器優(yōu)選在處理模塊120中執(zhí)行，但是可組合在一個或更多裝置中，例 如在軟件、硬件和/或?qū)Ｓ眉呻娐分袑嵤?。在一個實施例中，每個像素使用Sobel運算器 來分析。Sobel運算器計算在每個像素處的顏色強度的梯度矢量，從而得到從亮到暗的最 大可能增加的方向和在該方法的變化速率。與超過閾值的變化速率相對應且與附近像素的 梯度矢量相對應的點指示邊緣且包括在第四濾波圖像中。這些像素可用預定像素顏色(例 如，黑色)替換。在形成多個濾波圖像之后，處理模塊120將濾波圖像融合在一起，以確定與暢通 路徑相對應的像素位置，如示例性步驟268所述。所融合的濾波圖像包括包含在所述多個 濾波圖像中所有圖像中含有的像素的圖像，即，僅僅包含在所述多個濾波圖像中的每個中 的特定像素位置處的像素包括在所融合的濾波圖像中。將濾波圖像融合在一起包括確定所 述多個濾波圖像中的每個所包括的像素位置。每個像素位置與每個濾波圖像上的對應像素 位置進行比較。當所述多個濾波圖像中的每個都包含在對應像素位置處的像素時，該像素 包括在表示道路暢通表面的融合暢通路徑映射圖上。融合的暢通路徑用于檢測車輛100的 暢通路徑。融合的暢通路徑映射圖上的像素對應于該視圖中的期望駕駛位置。融合暢通路 徑映射圖上沒有像素的位置對應于該視圖中的不期望駕駛位置。如圖16所述，過程250針對圖像并行應用各種方法來辨識視圖中與限定暢通路徑 有關的特征。然而，應當理解的是，這些方法不需要并行執(zhí)行，而所述方法可用于在步驟中 按順序處理圖像，以辨識視圖中與限定暢通路徑有關的特征。圖19示出了用于第二處理方 案的替代示例性過程600。過程600通過在步驟603產(chǎn)生圖像序列開始。每個圖像并行輸 送到兩個步驟，且兩個步驟的結(jié)果被融合并可用于該過程中的隨后步驟。并行步驟包括步 驟606 (其中根據(jù)上述消失點方法來濾波像素以將不能表示道路表面的圖像部分濾波不進 行處理的第一濾波圖像)和步驟609(其中，如上所述，通過根據(jù)強度濾波像素的第二濾波 圖像用于將描述與道路表面不一致的特征的圖像部分濾波不進行處理)。第一濾波圖像和 第二濾波圖像的融合圖像在步驟612中形成，所述融合圖像僅僅包括低于消失點的圖像部 分且包括具有與道路表面一致的強度的像素。在步驟615中使用順序融合圖像，以使用上 述差分方法中的一種來形成第三濾波圖像。在步驟618，第三濾波圖像用于使用上述邊緣提 取方法來形成第四濾波圖像。過程600的結(jié)果然后可以針對表示行駛暢通路徑的視覺數(shù)據(jù) 進行分析。過程250和600示出了兩種示例性設置，其中濾波方法被組合使用以處理圖像序 列來辨識暢通路徑。然而，應當理解的是，這種組合可采用任何形式，且步驟能以不同順序 應用，且在不同的組合中可以使用更少或附加的濾波器。此外，濾波器可以選擇性地使用或 者過程的配置可以選擇性地使用，例如不同的組合在白天使用且其它組合在晚上使用。例 如，一些組合可繼續(xù)分析由前燈照亮的道路表面，而其它方法在沒有完全照亮的視圖中可 能是無用的。在另一示例中，當?shù)缆飞洗嬖谟晁蜓r，可使用不同的組合。例如，在雪的 淺色層的情況下，一些方法和分析方法可繼續(xù)有用，例如辨識雪中的輪胎路徑作為潛在暢 通路徑，而其它方法在白覆蓋層隱藏最可辨識的特征時可能是無用的。在另一示例中，當附 加信息(例如增強或利于基于附加信息來濾波圖像的紅外、雷達或GPS數(shù)據(jù))可用時，可使 用不同的組合?？稍O想濾波方法的多種組合，且本發(fā)明不打算限于本文所述的具體實施例。如上所述，描述了采用紋理豐富方法的第一處理方案和采用無紋理方法的第二處理方案，每種方案允許辨識可用于描述車輛視圖中的暢通路徑的道路特征。然而，應當理解 的是，基于任一方案的單種分析可能產(chǎn)生模糊結(jié)果，例如，在具體發(fā)光狀況下，來自于另一 車輛的陰影、道路表面的熱引起的扭曲或其它類似問題可引起道路表面部分被誤辨識為與 道路表面的其余部分不一致。解決模糊結(jié)果的一種方法通過在車輛沿道路行駛時分析迭接 圖像來完成。應當理解的是，當車輛沿道路行駛時，以快速持續(xù)時間獲得的具體道路區(qū)段的 數(shù)百個圖像能夠被分析。在車輛向前行駛時，將觀察到由于不同視角引起的道路表面的不 同發(fā)光和暴光性。在路徑上的行駛和對該路徑上的多個迭接圖像的分析能夠通過分析建立 道路表面的特定部分被正確估計為暢通路徑的置信度。解決任一方案的模糊結(jié)果的另一方法是使用兩種方案并融合結(jié)果，使用兩種方案 的組合增加了辨識暢通路徑的置信度。所述方案中的每種在不同暢通路徑檢測方面具有優(yōu) 于另一方案的優(yōu)勢。例如，在檢測從具有豐富紋理的地平面清楚地突出的物體時，示例性紋 理豐富方法勝出。該方法主動地辨識可在不同高度檢測的物體且產(chǎn)生車輛不應當行駛以免 物體與車輛相撞的區(qū)域映射圖。在另一示例中，在對像素辨識通常顯現(xiàn)的表面的區(qū)域進行 辨識時，示例性無紋理方法勝出。該方法主動地辨識道路表面可能存在的區(qū)域并映射該表 面的邊界。第一方案和第二方案可以多種方式融合。具有辨識點和用紋理豐富方法辨識的確 定高度的圖像可以與由無紋理方法產(chǎn)生的濾波圖像疊置，且兩種方法相符可用于限定疊置 圖像上的暢通路徑。在融合兩種方案的替代性方法中，來自于兩種方案中的每種的數(shù)據(jù)可 以用于將信息投影到車輛前面區(qū)域的編程投影圖上，且包括從兩種方案分析獲得的數(shù)據(jù)的 該投影圖可以包括建立映射圖區(qū)域的置信度指示。在融合兩種方案的替代性方法中，一種 方案可用作主或主要方案，第二方案可被使用或致動以分析在視圖中被辨識為模糊或不清 楚的區(qū)域。在融合兩種方案的任何方法中，一種處理方案的強項可以用于減少另一處理方 案的弱點。如果兩種方案都斷定該路徑是暢通的，那么使用所述方案的處理模塊可用增加 的置信度確定該路徑對于車輛行駛是期望的?？稍O想融合辨識方案的多種方法，且本發(fā)明 并不限于本文所述的具體實施例。此外，任一方案或兩種方案可與使用小塊分析的上文所 用方法組合。本領域技術人員將認識到，發(fā)光標準化可應用于所捕獲的圖像數(shù)據(jù)。標準化是改 變像素強度值范圍的過程。標準化的目的是使得圖像處于更適合于機器處理的范圍內(nèi)以改 進可靠性。例如，具體地在低發(fā)光環(huán)境中或者在由于強光而對比度差時，每個像素值被標準 化為0均值和單位方差，以增強圖像對比度。上述所述的濾波器和算法可采用許多形式。用于提取特征的濾波算法通常搜索在 數(shù)據(jù)中的特征模式的可用視覺信息，從而由線取向、線位置、顏色、角點特性、其它視覺屬性 和學習屬性來限定特征。屬性可根據(jù)試驗、根據(jù)經(jīng)驗、通過預測、通過建模或足以準確地訓 練區(qū)分屬性的其它技術來產(chǎn)生。學習屬性可通過車輛內(nèi)的機器學習算法或模糊邏輯學習， 隨時間調(diào)節(jié)。此外，學習屬性或?qū)W習路標可從車輛在路線上的重復行駛收集且可用在暢通 路徑辨識中。本發(fā)明已經(jīng)描述了某些優(yōu)選實施例及其變型。在閱讀和理解說明書之后可以想到 進一步的變型和變化。因而，本發(fā)明不打算限于作為設想用于實施本發(fā)明的最佳模式所公 開的具體實施例，本發(fā)明將包括落入所附權利要求范圍內(nèi)的所有實施例。
權利要求
一種使用對由位于車輛上的照相機裝置產(chǎn)生的視圖中的多個圖像的分析來檢測車輛行駛的暢通路徑的方法，所述方法包括監(jiān)測所述圖像，每個圖像包括多個像素；從兩個圖像中的每個中的所述多個像素辨識興趣點集合，所述兩個圖像包括當前圖像和先前圖像；將來自于當前圖像的興趣點集合和來自于先前圖像的興趣點集合的興趣點對進行匹配，其中，匹配對中的每個被估計為對應于單視圖特征；將興趣點匹配對進行濾波以選擇優(yōu)先匹配對集合；基于所述優(yōu)先匹配對集合來產(chǎn)生視圖中的特征的三維映射圖；和基于所映射的特征來確定暢通路徑。
2.根據(jù)權利要求1所述的方法，其中，辨識興趣點集合包括用興趣點提取來濾波每個 圖像。
3.根據(jù)權利要求2所述的方法，其中，用興趣點提取來濾波每個圖像包括應用尺度不 變特征變換。
4.根據(jù)權利要求2所述的方法，其中，用興趣點提取來濾波每個圖像包括應用角點檢測。
5.根據(jù)權利要求2所述的方法，其中，用興趣點提取來濾波每個圖像包括應用Sobel濾 波器。
6.根據(jù)權利要求1所述的方法，其中，將來自于當前圖像的興趣點集合和來自于先前 圖像的興趣點集合的興趣點對進行匹配包括使用對應性匹配來對來自于當前圖像和先前圖像的興趣點進行匹配。
7.根據(jù)權利要求1所述的方法，其中，將來自于當前圖像的興趣點集合和來自于先前 圖像的興趣點集合的興趣點對進行匹配包括使用模板匹配來對來自于當前圖像和先前圖像的興趣點進行匹配。
8.根據(jù)權利要求1所述的方法，其中，將興趣點匹配對進行濾波以選擇優(yōu)先匹配對集 合包括濾除匹配不好的對。
9.根據(jù)權利要求1所述的方法，其中，將興趣點匹配對進行濾波以選擇優(yōu)先匹配對集 合包括用質(zhì)量控制標準來分析匹配對。
10.根據(jù)權利要求9所述的方法，其中，用質(zhì)量控制標準來分析匹配對包括確定具體興趣點匹配對中的興趣點之間的距離是否小于閾值距離；和如果所述興趣點之間的距離小于閾值距離，將所述具體興趣點匹配對包括到優(yōu)先匹配 對集合中。
11.根據(jù)權利要求10所述的方法，其中，所述閾值距離取決于車輛的速度。
12.根據(jù)權利要求9所述的方法，其中，用質(zhì)量控制標準來分析匹配對包括確定具體匹配對中的興趣點是否處于距圖像邊界的預定閾值距離內(nèi)；和如果具體匹配對中的任一興趣點處于距圖像邊界的預定閾值距離內(nèi)，將所述具體興趣 點匹配對包括到優(yōu)先匹配對集合中。
13.根據(jù)權利要求9所述的方法，其中，用質(zhì)量控制標準來分析匹配對包括限定具體匹配對中的興趣點周圍的區(qū)域；2限定具體匹配對中的另一興趣點周圍的等價區(qū)域；和 確定所述區(qū)域和所述等價區(qū)域之間的顏色差異是否小于顏色閾值差異。
14.根據(jù)權利要求1所述的方法，其中，基于所述優(yōu)先匹配對集合來產(chǎn)生視圖中的特征 的三維映射圖包括基于在產(chǎn)生含有所述優(yōu)先匹配對集合中的興趣點對的圖像之間車輛行駛的距離、車輛 偏航角、和在產(chǎn)生含有所述優(yōu)先匹配對集合中的興趣點對的圖像之間的經(jīng)過時間來映射視 圖中與所述優(yōu)先匹配對集合中的興趣點對相對應的特征中的每個。
15.根據(jù)權利要求1所述的方法，還包括 基于高于地面水平的高度來分類特征。
16.根據(jù)權利要求15所述的方法，其中，基于所映射的特征來確定暢通路徑取決于所 述特征的分類。
17.一種使用對由位于車輛上的照相機裝置產(chǎn)生的多個圖像的分析來檢測車輛行駛的 暢通路徑的方法，所述方法包括監(jiān)測所述圖像，每個圖像包括多個像素； 使用紋理豐富處理方案來分析圖像，包括從兩個圖像中的每個中的所述多個像素辨識興趣點集合，所述兩個圖像包括當前圖像 和先前圖像；將來自于當前圖像的興趣點集合和來自于先前圖像的興趣點集合的興趣點對進行匹 配，其中，匹配對中的每個被估計為對應于單視圖特征； 將興趣點匹配對進行濾波以選擇高質(zhì)量匹配對集合；和 基于高質(zhì)量匹配對集合來產(chǎn)生視圖中的特征的三維映射圖； 使用無紋理處理方案來分析圖像，包括在每個圖像中，將圖像進行濾波以將表示能夠估計潛在道路表面的暢通表面的圖像部 分與不表示潛在道路表面的其它圖像部分分開；基于所述紋理豐富處理方案和所述無紋理處理方案來確定暢通路徑；和 使用暢通路徑來操作車輛。
18.根據(jù)權利要求17所述的方法，其中，將圖像進行濾波以將表示能夠估計潛在道路 表面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開包括將圖像上地平線下方的區(qū)域從地平線上方的區(qū)域進行濾波。
19.根據(jù)權利要求17所述的方法，其中，將圖像進行濾波以將表示能夠估計潛在道路 表面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開包括基于將像素的顏色強度與取決于顏色分布均值的顏色強度閾值進行比較來濾波圖像 中的像素。
20.根據(jù)權利要求17所述的方法，其中，將圖像進行濾波以將表示能夠估計潛在道路 表面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開包括基于差分順序圖像來分析。
21.根據(jù)權利要求17所述的方法，其中，將圖像進行濾波以將表示能夠估計潛在道路 表面的暢通表面的圖像部分與不表示潛在道路表面的其它圖像部分分開包括基于辨識表示邊緣的像素來濾波。
22. 一種使用對由位于車輛上的照相機裝置產(chǎn)生的多個圖像的分析來檢測車輛行駛的 暢通路徑的設備，所述設備包括 照相機裝置；和 控制模塊，所述控制模塊 監(jiān)測來自于照相機裝置的圖像；以及從兩個圖像中的每個中的多個像素辨識興趣點集合，所述兩個圖像包括當前圖像和先 前圖像；將來自于當前圖像的興趣點集合和來自于先前圖像的興趣點集合的興趣點對進行匹 配，其中，匹配對中的每個被估計為對應于單視圖特征； 將興趣點匹配對進行濾波以選擇優(yōu)先匹配對集合； 基于所述優(yōu)先匹配對集合來產(chǎn)生視圖中的特征的三維映射圖；和 基于所映射的特征來確定暢通路徑。
全文摘要
本發(fā)明涉及基于像素的紋理豐富暢通路徑檢測。一種使用對由位于車輛上的照相機裝置產(chǎn)生的多個圖像的分析來檢測車輛行駛的暢通路徑的方法，包括監(jiān)測所述圖像，其中，每個圖像包括多個像素；從當前圖像中的多個像素來辨識興趣點集合；通過對應性匹配來尋找先前圖像中的對應點；對興趣點匹配對進行濾波以選擇優(yōu)先匹配對集合；基于所述優(yōu)先匹配對集合來產(chǎn)生視圖中特征的三維映射圖；基于所映射的特征來確定暢通路徑；和使用所述暢通路徑來操作車輛。
文檔編號G01C21/34GK101900566SQ20091020728
公開日2010年12月1日 申請日期2009年10月23日 優(yōu)先權日2009年5月29日
發(fā)明者S·M·奈克, W·張 申請人:通用汽車環(huán)球科技運作公司