專利名稱：使用分級方法的暢通路徑檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)動(dòng)車輛的自動(dòng)或半自動(dòng)控制。
背景技術(shù)：
本部分的陳述僅僅提供與本發(fā)明相關(guān)的背景信息，可能不構(gòu)成現(xiàn)有技術(shù)。自主駕駛系統(tǒng)和半自主駕駛系統(tǒng)利用與路況和其它駕駛情況相關(guān)的輸入來自動(dòng) 控制節(jié)氣門和轉(zhuǎn)向機(jī)構(gòu)。精確地估計(jì)并識(shí)別機(jī)動(dòng)車輛所能行駛的暢通路徑，對于成功取代 以人腦作為控制機(jī)構(gòu)的車輛操作來說是至關(guān)重要的。路況可能會(huì)很復(fù)雜。在車輛正常操作的情況下，駕駛員每分鐘進(jìn)行數(shù)百次觀察并 根據(jù)所感知的路況來調(diào)整車輛操作。感知路況的一個(gè)方面是感知車道上和周邊的物體并在 物體中間導(dǎo)航出暢通路徑。用科技來取代人類的感知首先包括精確感知物體的手段，例如， 包括靜態(tài)物體(如路緣等)、移動(dòng)物體(如其他車輛)以及路面情況(如車道標(biāo)記、凹坑或 者車道上的結(jié)冰區(qū)域)；還包括繼而根據(jù)這些與導(dǎo)航相關(guān)的信息進(jìn)行有效地駕駛。感知物體或路況的科技手段包括從視頻攝像機(jī)、雷達(dá)成像、以及激光雷達(dá)(LIDAR) 所得到的數(shù)據(jù)。攝像機(jī)將輻射形式的視覺圖像-如光圖案或紅外特征轉(zhuǎn)換成可讀數(shù)據(jù)格 式。一種這類數(shù)據(jù)格式包括像素圖像，在像素圖像中，感知到的場景被分割成一系列像素。 雷達(dá)成像利用發(fā)射器產(chǎn)生的無線電波來估計(jì)出現(xiàn)在發(fā)射器前方的形狀和物體。由這些形狀 和物體反射回來的電波圖案能夠被分析，從而估計(jì)物體的位置。類似地，LIDAR使用光源和 來自車輛環(huán)境的返回光來產(chǎn)生環(huán)境信息。有關(guān)車輛前方地面的數(shù)據(jù)一旦產(chǎn)生，這些數(shù)據(jù)必須經(jīng)過分析來估計(jì)物體或者路況 的存在。通過使用攝像機(jī)、雷達(dá)成像系統(tǒng)以及LIDAR，可以分析車輛前方的地面或道路，從而 得到可能需要避開的物體或路況。然而，僅僅識(shí)別那些需要避免的潛在導(dǎo)航因素并沒有完 成分析過程。任何自主系統(tǒng)的一個(gè)重要元素都包括如何處理并操縱在所感知的地面數(shù)據(jù)中 識(shí)別出的潛在導(dǎo)航因素以便識(shí)別操作車輛的暢通路徑。一種已知的識(shí)別操作車輛的暢通路徑的方法是將所有感知到的導(dǎo)航因素進(jìn)行分 類并臨時(shí)性地識(shí)別所有感知到的導(dǎo)航因素，并且根據(jù)所識(shí)別的導(dǎo)航因素的位置和特性來識(shí) 別暢通路徑?？筛鶕?jù)圖像的形式以及圖像與道路的關(guān)系來處理這些圖像，從而識(shí)別并分類 導(dǎo)航因素。盡管在識(shí)別暢通路徑時(shí)該方法是有效的，但是其需要大量的處理能力，例如，在 視覺圖像中辨別不同的物體并對其進(jìn)行分類，比如區(qū)分路邊的樹以及走向路緣的行人。這 些方法在處理復(fù)雜情況時(shí)的速度慢或者有效性差，或者需要笨重且昂貴的設(shè)備來提供必須 的處理能力。

發(fā)明內(nèi)容
一種使用攝像機(jī)產(chǎn)生的圖像檢測車輛行駛的暢通路徑的方法，該方法包括監(jiān)測 圖像；以及應(yīng)用圖像的基于補(bǔ)片的第一分析，該第一分析包括將圖像分成多個(gè)補(bǔ)片以及分 析每個(gè)補(bǔ)片以確定基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片的第一暢通路徑信心幾率。具有大于第 一閾值信心幾率的第一暢通路徑信心幾率的每個(gè)補(bǔ)片被定義為暢通路徑補(bǔ)片。在具有不大 于第一閾值信心幾率的第一暢通路徑信心幾率的部分補(bǔ)片上應(yīng)用第二分析以確定第二分 析的每個(gè)補(bǔ)片的第二暢通路徑信心幾率。具有大于第二閾值信心幾率的第二暢通路徑信心 幾率的第二分析的每個(gè)補(bǔ)片被定義為暢通路徑補(bǔ)片?；跁惩窂窖a(bǔ)片識(shí)別車輛行駛的暢 通路徑。


現(xiàn)在將參考附圖通過示例來描述一個(gè)或多個(gè)實(shí)施方式，附圖中圖1示出了配備有根據(jù)本發(fā)明的攝像機(jī)和雷達(dá)成像系統(tǒng)的車輛的示例性設(shè)置；圖2示出了根據(jù)本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法；圖3示出了根據(jù)本發(fā)明的一種使用圖像幾率分析來確定暢通路徑的示例性方法；圖4示出了根據(jù)本發(fā)明的一種分析圖像的示例性方法；圖5示出了根據(jù)本發(fā)明的一種通過調(diào)整單個(gè)閾值來確定分類誤差的示例性方法；圖6A、6B和6C示出了根據(jù)本發(fā)明的一種通過計(jì)算絕對圖像強(qiáng)度差別來確定圖像 差別的示例性方法；圖7示出了根據(jù)本發(fā)明的、將一個(gè)特征同時(shí)分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的一種示例性方法；圖8示出了根據(jù)本發(fā)明的、將一個(gè)特征同時(shí)分類為暢通路徑的一部分和被檢測物 體的、作為圖像分析方法的另一種示例性方法；圖9示出了根據(jù)本發(fā)明的一種基于補(bǔ)片來檢測暢通路徑的示例性方法的流程圖；圖10以繪圖方式示出了根據(jù)本發(fā)明的應(yīng)用于示例性圖像的示例性的多個(gè)透視補(bǔ) 片；圖11是根據(jù)本發(fā)明的用于檢測暢通路徑的基于富含紋理像素的方法的流程圖；圖12是根據(jù)本發(fā)明的用于檢測暢通路徑的基于無紋理像素的方法的流程圖；圖13是根據(jù)本發(fā)明的使用暢通路徑檢測方法的第一等級結(jié)構(gòu)檢測車輛行駛的暢 通路徑的流程圖；圖14是根據(jù)本發(fā)明的使用暢通路徑檢測方法的第二等級結(jié)構(gòu)檢測車輛行駛的暢 通路徑的流程圖；圖15示意性地示出了根據(jù)本發(fā)明的示例性的基于示例的方法的操作。
具體實(shí)施例方式現(xiàn)在參考附圖，附圖的目的僅在于示出某些示例性實(shí)施方式，而并非用于限制本 發(fā)明，圖1示出了根據(jù)本發(fā)明的攝像機(jī)110的示例性設(shè)置，攝像機(jī)110定位在車輛100前部 并指向車輛100前方的地面。攝像機(jī)110與處理模塊120進(jìn)行通訊，處理模塊120包含處理來自攝像機(jī)110的輸入的邏輯算法。車輛100也可以配備雷達(dá)成像系統(tǒng)130，當(dāng)配備雷達(dá) 成像系統(tǒng)130時(shí)該系統(tǒng)同樣也與處理模塊120進(jìn)行通信。本領(lǐng)域技術(shù)人員應(yīng)該理解的是， 車輛100能夠利用多種方法來識(shí)別路面狀況，這些方法可與攝像機(jī)110和雷達(dá)成像系統(tǒng)130 同時(shí)使用或者選擇使用，包括LIDAR、與數(shù)字地圖結(jié)合的GPS信息、來自與車輛100通信的其 他車輛的信息、來自與車輛100通信的基礎(chǔ)設(shè)施的信息、特定道路的歷史數(shù)據(jù)、生物檢測信 息-例如讀取駕駛員視覺焦點(diǎn)的系統(tǒng)信息、或其他類似系統(tǒng)。本發(fā)明可應(yīng)用于各種設(shè)備，因 此不局限于此。攝像機(jī)110是本領(lǐng)域公知的，其能夠?qū)⒐廨椛洹⒓t外輻射或其他電磁(EM)輻射形 式的視覺輸入轉(zhuǎn)換成易于分析的數(shù)據(jù)格式，例如數(shù)字圖像、像素圖像。在一個(gè)實(shí)施方式中， 攝像機(jī)110使用電荷耦合裝置(CCD)傳感器來產(chǎn)生表示視場的圖像。優(yōu)選地，攝像機(jī)110被 配置成連續(xù)產(chǎn)生圖像，例如，每秒鐘產(chǎn)生30幅圖像。由攝像機(jī)110產(chǎn)生的圖像可以存儲(chǔ)在攝 像機(jī)110內(nèi)的存儲(chǔ)器中或者傳給處理模塊120來存儲(chǔ)和/或分析。優(yōu)選地，攝像機(jī)110所 產(chǎn)生的每幅圖像都是由多個(gè)可識(shí)別像素構(gòu)成的、已知像素維度的二維圖像。多個(gè)可識(shí)別像 素能夠以陣列方式來存儲(chǔ)和分析。每個(gè)像素可以在陣列中表示為一組比特(bit)或多組比 特，其中，比特對應(yīng)于預(yù)定調(diào)色板或色彩圖中的顏色。例如在紅-綠-藍(lán)(RGB)顏色模式或 青-品紅-黃-黑(CMYK)顏色模式中，每個(gè)像素能夠表示成多個(gè)顏色強(qiáng)度值的函數(shù)。優(yōu)選 地，每個(gè)像素包括多組比特，其中每組比特對應(yīng)于一個(gè)顏色強(qiáng)度和一個(gè)顏色強(qiáng)度值，例如， 在RGB顏色模式中，第一組比特對應(yīng)于紅色強(qiáng)度值，第二組比特對應(yīng)于綠色強(qiáng)度值，第三組 比特對應(yīng)于藍(lán)色強(qiáng)度值。雷達(dá)成像裝置130是本領(lǐng)域公知的裝置，其包含如下設(shè)備發(fā)射器，其能夠發(fā)射無 線電波或其他電磁輻射；接收器，其能夠感測被發(fā)射器前的物體反射而回到接收器的發(fā)射 波；以及將感測到的波轉(zhuǎn)換成能夠分析的數(shù)據(jù)格式的裝置，這些數(shù)據(jù)表示出從物體反射回 的波的范圍和角度等信息。替代性地，可使用光檢測和測距(LIDAR)系統(tǒng)來取代雷達(dá)成像 裝置130或者作為其補(bǔ)充，光檢測和測距系統(tǒng)被構(gòu)造成發(fā)射并接收光能量。接收到的光能 量可以用來確定車輛100附近的物體的尺寸和/或幾何參數(shù)。需注意的是，對于執(zhí)行這里 公開的很多方法而言，雷達(dá)成像裝置130是可選的而不是必須的，其中，處理視覺圖像能夠 實(shí)現(xiàn)暢通路徑檢測。此處所用的術(shù)語“暢通路徑(clear path) ”的含義對本領(lǐng)域普通技術(shù) 人員來說是普通的、常規(guī)的含義(并且不限定于特殊的或?qū)Ｓ玫暮x)，其指的是_但不局 限于不存在超過閾值的物體的路徑。圖1示出了處理模塊120，這里將處理模塊120描述成一個(gè)分立元件。這種圖示 是為了描述方便，應(yīng)該認(rèn)識(shí)到這個(gè)元件所實(shí)現(xiàn)的功能可以由一個(gè)或多個(gè)裝置組合完成，例 如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。處理模塊120可以是一個(gè)通用數(shù)字計(jì)算機(jī)，其 包括微處理器或中央處理單元；由包括只讀存儲(chǔ)器的非易失性存儲(chǔ)器和電子可編程只讀 存儲(chǔ)器組成的存儲(chǔ)介質(zhì)；隨機(jī)存取存儲(chǔ)器；高速時(shí)鐘；模_數(shù)和數(shù)_模轉(zhuǎn)換電路；輸入/輸 出電路和裝置以及適當(dāng)?shù)男盘栒{(diào)節(jié)和緩沖電路?？商鎿Q地，處理模塊120可以是一個(gè)數(shù)字 信號處理(DSP)單元，例如現(xiàn)場可編程門陣列的定制集成電路。處理模塊120具有一組處 理算法，這些算法包括在非易失性存儲(chǔ)器中存儲(chǔ)并且被執(zhí)行以提供所需功能的常駐程序指 令和校準(zhǔn)值。算法優(yōu)選在預(yù)設(shè)環(huán)路循環(huán)中執(zhí)行。算法由中央處理單元執(zhí)行，并能夠監(jiān)測來 自上述檢測裝置的輸入，并且這些算法通過使用預(yù)設(shè)的校準(zhǔn)值來執(zhí)行控制和診斷程序以便控制致動(dòng)器的操作。環(huán)路循環(huán)可以規(guī)則性間隔執(zhí)行，例如，在發(fā)動(dòng)機(jī)運(yùn)行和車輛操作中，每 3. 125,6. 25、12. 5、25和100毫秒執(zhí)行一次。可替換地，算法可以響應(yīng)于事件的發(fā)生來執(zhí)行。處理模塊120處理在其中存儲(chǔ)的算法代碼，以便監(jiān)測相關(guān)儀器，如攝像機(jī)110、雷 達(dá)成像系統(tǒng)130，并執(zhí)行在處理模塊內(nèi)進(jìn)行的分析所指示的命令或數(shù)據(jù)傳輸。處理模塊120 可包括算法和機(jī)構(gòu)來實(shí)現(xiàn)自主駕駛控制，其實(shí)現(xiàn)方式在本領(lǐng)域中是已知的，在此不再詳述； 或者，處理模塊120可以僅僅為一個(gè)獨(dú)立的自主駕駛系統(tǒng)提供信息。處理模塊120適于在 必要的時(shí)候接收來自其他系統(tǒng)和操作者的輸入信號，這取決于與控制模塊結(jié)合使用的具體 實(shí)施方式。圖2示出了根據(jù)本發(fā)明的一種在自主行駛中確定暢通路徑的已知方法。對應(yīng)于車 輛100前方的道路產(chǎn)生圖像10。通過多種方法中的一種，物體40A、40B和40C在圖像10內(nèi) 被識(shí)別，且每個(gè)物體根據(jù)過濾和訓(xùn)練的物體特性來進(jìn)行分類。每個(gè)物體的單獨(dú)處理在計(jì)算 量方面的強(qiáng)度較大，需要昂貴且笨重的儀器才能承受這種計(jì)算負(fù)荷。一種算法處理所有與 道路和物體40有關(guān)的可用信息，以便估計(jì)對車輛100來說可行的暢通路徑。暢通路徑的確 定取決于被識(shí)別物體40的特定分類和特性。圖3示出了根據(jù)本發(fā)明的一種為自主或半自主行駛確定暢通路徑的示例性方法。 圖像10示出為包括地面20、水平線30以及物體40。圖像10由攝像機(jī)110收集，并表示車 輛100前方的道路環(huán)境。地面20代表了在不考慮任何潛在物體的情況下所有可供車輛行駛 的路徑。圖3所示的基于路面20確定暢通路徑的方法首先假設(shè)所有地面20都是暢通的，然 后利用可用數(shù)據(jù)來確定地面20的某些部分是不暢通的。圖2是將每個(gè)物體40進(jìn)行分類， 與圖2的方法不同，圖3的方法分析地面20，并從可用數(shù)據(jù)中限定出暢通路徑信心幾率，其 中，可用數(shù)據(jù)指的是因?yàn)橐恍┊惓６拗仆ㄐ谢虿粫惩ǖ哪遣糠值孛?0的數(shù)據(jù)，這些異常 是可檢測的且可能代表物體40。關(guān)注地面20而不是物體40就避免了檢測物體所帶來的復(fù) 雜的計(jì)算任務(wù)。單獨(dú)分類和對每個(gè)物體進(jìn)行追蹤就不是必須的了，因?yàn)楠?dú)立的物體40都被 簡單地統(tǒng)一為地面20上的整體均勻阻礙的一部分。上述地面20-也即在不進(jìn)行區(qū)分的情況 下都能夠行駛的路徑減去地面20上被發(fā)現(xiàn)不暢通的不暢通區(qū)域，就可定義出暢通路徑50， 也即圖3中虛線內(nèi)的區(qū)域，或者具有允許車輛100行駛的某個(gè)閾值信心幾率的區(qū)域。在地面20上產(chǎn)生不暢通限制的物體40有多種形式。例如，物體40可以代表一個(gè) 獨(dú)立的物體，如停著的汽車、行人或者道路障礙；物體40還可以代表不太明顯的表面圖案 變化，這些變化指示諸如路側(cè)緣的路邊緣、草的輪廓線或者道路上的水。物體40還可以包 括與地面20相聯(lián)系的平坦路面的缺失，例如，路面上的大坑。物體40還可以包括相對于路 面在高度上沒有任何明顯變化的指示牌，但對于該路段來說是明顯的暢通路徑提示，例如 道路上的指示車道標(biāo)記的圖案。這里公開的方法并沒有試圖去識(shí)別物體40，而是通過提取 地面20上的視覺線索以及所有在圖像10中的地面附近的物體，從而評估不暢通路徑和暢 通路徑的暢通路徑信心幾率，并在任何物體40存在時(shí)調(diào)整車輛100的控制。二維(2D)圖像的自動(dòng)分析有多種可行的方法。由處理模塊120內(nèi)的算法對圖像 10進(jìn)行分析。圖4示出了根據(jù)本發(fā)明的一種可用于分析圖像10的示例性方法。該方法將 圖像10細(xì)分，識(shí)別地面20上的子圖像或補(bǔ)片60來進(jìn)行分析，從補(bǔ)片60中提取特征或分析 可用的視覺信息，以識(shí)別出其中的任何關(guān)切特征(interesting features)或區(qū)別特征，并 依據(jù)對特征的分析、根據(jù)暢通路徑的信心幾率來對補(bǔ)片進(jìn)行分類。大于特定幾率閾值的補(bǔ)片被歸類為暢通的，對這類補(bǔ)片的匯編能夠用來構(gòu)成圖像內(nèi)的暢通路徑。作為圖像10的子圖像，補(bǔ)片60能夠通過多種已知方法來識(shí)別，例如，圖像10的隨 機(jī)搜索或密集搜索。可替換地，從其他信息源_例如雷達(dá)成像系統(tǒng)130得到的有關(guān)物體40 存在的信息能夠用來識(shí)別補(bǔ)片，以分析能夠描述物體40的那部分圖像10。圖像10需要很 多補(bǔ)片60來分析整個(gè)圖像。另外，多個(gè)疊層補(bǔ)片或不同大小的補(bǔ)片能夠用來全面分析包含 關(guān)切信息的圖像10的區(qū)域。例如，一個(gè)小的補(bǔ)片60能夠用來分析路上的一個(gè)小點(diǎn)；然而， 一個(gè)大的補(bǔ)片60需要用來分析一系列的點(diǎn)，這些點(diǎn)獨(dú)自看來都不是關(guān)切點(diǎn)，但是對于整個(gè) 系列來說，其能夠指示出關(guān)切物體40。另外，應(yīng)用到某特定區(qū)域的補(bǔ)片的分辨率可以基于可 用信息進(jìn)行調(diào)制，例如，可應(yīng)用更多的補(bǔ)片到圖像10中的物體40可能存在的區(qū)域。多種手 段或策略可以用來確定用于分析的補(bǔ)片60，本發(fā)明不限于這里所述的具體實(shí)施方式
。一旦補(bǔ)片60已被識(shí)別而用于分析，處理模塊120就通過將已知的特征識(shí)別算法應(yīng) 用到該補(bǔ)片而對該補(bǔ)片進(jìn)行處理。另外，處理模塊120能夠?qū)ρa(bǔ)片相對于車輛位置的位置 進(jìn)行分析。特征識(shí)別算法尋找可用的視覺信息，以便找到與物體相關(guān)的圖像中的特征性圖 案，包括由線的方向、線的位置、顏色、角落特點(diǎn)、其他視覺屬性和學(xué)習(xí)屬性所定義的特征。 特征識(shí)別算法可以被應(yīng)用到連續(xù)圖像中以識(shí)別與車輛運(yùn)動(dòng)對應(yīng)的變化，其中，與地面運(yùn)動(dòng) 不相關(guān)的變化可能被識(shí)別為不暢通路徑。學(xué)習(xí)屬性可通過車輛內(nèi)的機(jī)器學(xué)習(xí)算法來學(xué)得， 但學(xué)習(xí)屬性通常進(jìn)行離線編程，且能夠通過足以精確地訓(xùn)練區(qū)別屬性的建模或其他技術(shù)以 實(shí)驗(yàn)方式、經(jīng)驗(yàn)方式、預(yù)測方式來開發(fā)?！┭a(bǔ)片60中的特征被提取，補(bǔ)片就基于特征被分類以確定路徑是否為暢通路 徑的信心幾率。幾率分析在本領(lǐng)域是已知的，在這種分析中存在某特定條件的幾率值或信 心被導(dǎo)出。應(yīng)用到本發(fā)明中，分類包括幾率分析以確定補(bǔ)片是否代表暢通路徑、或者該補(bǔ)片 中的地面20是否被物體40所限制。在一個(gè)示例性實(shí)施方式中，分類通過應(yīng)用分類器或算 法來實(shí)施，其中，所述算法因被訓(xùn)練而含有數(shù)據(jù)庫，該數(shù)據(jù)庫包括示例性路況以及與被檢測 物體的相互作用。這些分類器允許處理模塊120導(dǎo)出補(bǔ)片60的分?jǐn)?shù)型式的暢通路徑幾率 值，該幾率值將信心值量化在0與1之間，在該區(qū)間中，在補(bǔ)片內(nèi)識(shí)別出的特征并不代表一 個(gè)將會(huì)限制車輛100自由行駛的限制物體40。閾值信心限定確定該補(bǔ)片是暢通路徑的暢 通路徑幾率，例如可通過如下邏輯來設(shè)定閾值信心信心=暢通路徑幾率(i)如果_信心> 0. 5，那么_補(bǔ)片=暢通路徑(1)在這個(gè)特定的示例性實(shí)施方式中， 50%或者0. 5的信心被選定為閾值信心。該數(shù)字能夠通過足以精確評估用于暢通路徑特征 的補(bǔ)片的建模或其他技術(shù)而實(shí)驗(yàn)方式、經(jīng)驗(yàn)方式、預(yù)測方式來得出。在一個(gè)示例性實(shí)施方式中，如上所述的幾率分析能夠通過將訓(xùn)練過的分類器應(yīng)用 到從補(bǔ)片提取的特征來實(shí)現(xiàn)。一種方法通過使用一組訓(xùn)練圖像來分析假定的特征。在該 訓(xùn)練階段，從一個(gè)原始特征組中來選擇區(qū)別特征，區(qū)別特征由本領(lǐng)域的已知方法定義，例如 Harr小波、Gabor小波以及Leung和Malik濾波器組。另外，基于每個(gè)特征的最小分類誤差 并且計(jì)算為錯(cuò)誤接受率(FAR)和錯(cuò)誤拒絕率(FRR)的總和的二維圖像位置信息能夠通過調(diào) 制圖5所示的單一閾值而被使用。這種分類誤差能用下面的表達(dá)式來描述分類誤差(i) =FARJFRRi(2)從訓(xùn)練過的分類器中得到的信息用來分類或 加權(quán)特征，作為指示暢通路徑或不暢通路徑的特征。該特定分類取決于與訓(xùn)練數(shù)據(jù)的比較 強(qiáng)度。如果該特征是補(bǔ)片內(nèi)的唯一特征，那么該特征的分類能夠直接應(yīng)用到該補(bǔ)片。有多個(gè)識(shí)別特征的補(bǔ)片的分類可能有多種形式，包括由最能代表補(bǔ)片是不暢通的包含特征來定 義補(bǔ)片，或者由所有包含特征的加權(quán)和來定義補(bǔ)片。上述方法能夠用來檢查單一圖像10，并基于圖像10內(nèi)所包含的視覺信息來估計(jì) 暢通路徑50。該方法可以隨著車輛沿道路行駛而以某種間隔重復(fù)，從而考慮新的信息并將 確定的暢通路徑擴(kuò)展至車輛的新位置前方的某些范圍。間隔的選擇必須能夠以足量頻率來 更新圖像10，以便準(zhǔn)確地為車輛100提供行駛的暢通路徑。然而，該間隔也可以選擇為足以 控制車輛同時(shí)不會(huì)對處理模塊120施加過度的計(jì)算負(fù)荷的某個(gè)最小值。如上所述，暢通路徑檢測能夠通過單一圖像10來完成。但是，補(bǔ)充使用與原始圖 像的時(shí)間間隔非常近的第二幅圖像，例如從連續(xù)視頻補(bǔ)片得到的一系列圖像，則能夠提高 處理速度和精確度。第二幅圖像能夠與第一幅圖像直接比較，并提供有關(guān)車輛行進(jìn)和被檢 測物體運(yùn)動(dòng)的最新信息。同時(shí)，攝像機(jī)110視角的改變允許對第一幅圖像中的特征進(jìn)行不 同的分析在第一幅圖像中沒有清晰地顯現(xiàn)的或者不清楚的特征可能在不同的攝像角度中 出現(xiàn)、更加清楚，或者與第一幅圖像相比已經(jīng)移動(dòng)的特征，也能夠使得分類算法有額外的機(jī) 會(huì)來定義該特征。處理與原始圖像10相關(guān)的第二幅圖像能通過計(jì)算圖像差異來進(jìn)行。如果關(guān)切點(diǎn) 的圖像差異-例如由雷達(dá)識(shí)別出的特征不是0，那么該點(diǎn)能夠被識(shí)別為體現(xiàn)新的信息。圖像 差別為0的點(diǎn)能夠從分析中排除，且計(jì)算資源能夠保留。確定圖像差異的方法包括絕對圖 像強(qiáng)度差異和車輛運(yùn)動(dòng)補(bǔ)償?shù)膱D像差異。通過計(jì)算絕對圖像強(qiáng)度差異而確定圖像差異能夠用來收集兩幅圖像之間的信息。 一種絕對圖像強(qiáng)度差異方法包括如下步驟確定原始圖像與第二幅圖像之間的等效圖像特 征，以便補(bǔ)償圖像之間的車輛運(yùn)動(dòng)；重疊圖像；并標(biāo)注出圖像強(qiáng)度之間的任何的顯著變化。 表示圖像強(qiáng)度在某個(gè)特定區(qū)域的變化的圖像之間的比較包含新的信息。強(qiáng)度上顯示出無變 化的區(qū)域或補(bǔ)片在分析中不再被強(qiáng)調(diào)，而在強(qiáng)度上顯示出明顯變化的區(qū)域被重點(diǎn)關(guān)注，使 用上述方法來分析任一或兩個(gè)所獲取的圖像上的補(bǔ)片。圖6A、6B和6C示出根據(jù)本發(fā)明的一種通過計(jì)算絕對圖像強(qiáng)度差異來確定圖像差 異的示例性方法。圖6A示出了原始圖像。圖6B示出了比原始圖像有所變化的第二幅圖像。 特別是圓圈向左移動(dòng)了。圖6C示出了兩幅圖像的比較，所得結(jié)論代表了絕對圖像強(qiáng)度差異 比較的結(jié)果，從第一幅圖像到第二幅圖像識(shí)別出一個(gè)區(qū)域的亮度變深、另一個(gè)區(qū)域的亮度 變淺。這種方法能夠描述為區(qū)別。這種比較分析產(chǎn)生某種信息，該信息表明由運(yùn)動(dòng)或視角 變化引起的某種變化可能存在于圖像區(qū)域中。這樣，絕對圖像強(qiáng)度差異能夠用來分析一對 連續(xù)圖像以識(shí)別潛在的不暢通路徑。同樣，通過計(jì)算車輛運(yùn)動(dòng)補(bǔ)償?shù)膱D像差異來確定圖像差異能夠用來收集兩幅圖像 之間的信息。計(jì)算車輛補(bǔ)償?shù)膱D像差異的很多方法是已知的。一種計(jì)算車輛補(bǔ)償?shù)膱D像差 異的示例性方法包括分析一個(gè)潛在物體，將其同時(shí)作為暢通路徑的靜態(tài)部分以及被檢測物 體。對特征實(shí)施幾率分析，其中，該特征是根據(jù)同時(shí)對兩種分類的潛在物體進(jìn)行識(shí)別所得到 的，分類可以被比較，例如可通過以下邏輯進(jìn)行這種比較信心⑴=暢通路徑幾率⑴-被 檢測物體幾率⑴如果_信心>0，那么_補(bǔ)片=暢通路徑(3)在這 種示例性的比較中，如果信心(i)大于0，那么包含該特征的補(bǔ)片被分類為暢通路徑。如果 信心(i)等于或小于0，那么包含該特征的補(bǔ)片被分類為不暢通路徑或受限制路徑。然而，可以選擇不同的信心水平數(shù)值來將路徑分類為暢通路徑。例如，測試可能會(huì)表明錯(cuò)誤正值 比錯(cuò)誤負(fù)值更有可能出現(xiàn)，因此可能會(huì)引入一些因數(shù)或偏差。圖7示出了根據(jù)本發(fā)明的一種將特征進(jìn)行分類的方法，如上所述，該特征同時(shí)作 為暢通路徑的一部分和被檢測物體被分類。圖像10包括物體40、梯形投影70和矩形投影 80。這種方法假定投影物體40作為地面上投影70內(nèi)的平面物體，以測試作為暢通路徑的一 部分的特征的分類。該方法還假設(shè)投影物體40作為一個(gè)在矩形投影80內(nèi)的垂直物體，來測 試特征作為被檢測物體的分類。圖8示出了根據(jù)本發(fā)明對在兩幅圖像之間收集的數(shù)據(jù)進(jìn)行 比較以評價(jià)本發(fā)明的物體40的屬性的方法。攝像機(jī)110在、時(shí)刻發(fā)現(xiàn)并以第一幅圖像的 形式獲取了來自物體40的數(shù)據(jù)。如果物體40是一個(gè)實(shí)際檢測到的物體，那么在、時(shí)刻攝 像機(jī)110觀測到的物體40的輪廓將與點(diǎn)90A相對應(yīng)。如果物體40是一個(gè)與地面20在同一 平面上的平坦物體，那么攝像機(jī)110在、時(shí)刻觀測到的物體40的輪廓將與點(diǎn)90B相對應(yīng)。 在時(shí)刻、和t2之間，攝像機(jī)110行駛了一定的距離。在t2時(shí)刻獲取第二幅圖像，關(guān)于物體 40的信息能用算法來進(jìn)行測試，該算法著眼于第二幅圖像相對于第一幅圖像的可見屬性。 如果物體40是一個(gè)實(shí)際檢測到的物體，且從地面20向上延伸，那么在時(shí)刻t2物體40的輪 廓將在點(diǎn)90C處被觀察到。如果物體40是一個(gè)與地面20在同一平面上的平坦物體，那么 物體40在時(shí)刻t2的輪廓將在點(diǎn)90B處被觀察到。通過車輛運(yùn)動(dòng)補(bǔ)償?shù)膱D像差異所得到的 比較能夠通過使用基于對點(diǎn)90進(jìn)行觀察的分類器直接設(shè)定一個(gè)信心值；或者，該比較可以 簡單地指向顯示變化的區(qū)域，作為關(guān)切點(diǎn)。對被作為平坦物體和實(shí)際檢測到的物體分類的 物體進(jìn)行的測試使得要么能夠識(shí)別包含物體40的區(qū)域以便通過如上所述的補(bǔ)片分析進(jìn)行 進(jìn)一步分析；要么能夠直接得出暢通路徑幾率和被檢測物體幾率值以便例如在上述邏輯表 達(dá)式3中進(jìn)行比較。從對第二幅圖像的分析所得到的可用信息能夠通過結(jié)合與車輛運(yùn)動(dòng)有關(guān)的信息 而被額外改善，所述信息例如是速度和偏航率。與車輛運(yùn)動(dòng)有關(guān)的信息可以有很多來源，包 括車輛測速儀、車輛動(dòng)力傳感器或車輪速度傳感器、防抱死制動(dòng)機(jī)構(gòu)和GPS定位系統(tǒng)?？稍?算法中利用這種車輛運(yùn)動(dòng)信息，例如結(jié)合圖7和圖8所示的投影，以便基于從第一幅圖像得 到的數(shù)據(jù)和車輛在兩幅圖像之間的測得運(yùn)動(dòng)來投影某些角度，所述角度應(yīng)當(dāng)出現(xiàn)在第二幅 圖像的地面上的平坦特征中。比較所用的圖像數(shù)量不一定限制為兩個(gè)。多個(gè)圖像分析可在多重迭代中實(shí)現(xiàn)，物 體在多個(gè)循環(huán)中被跟蹤和比較。如上所述，計(jì)算效率能夠通過圖像差異分析而得以提高，其 中，圖像差異分析識(shí)別關(guān)切點(diǎn)并剔除與后續(xù)分析具有0差異的區(qū)域。這種效率能夠用在多 重迭代中，例如，也就是說只有在第一幅圖像和第二幅圖像之間識(shí)別出的關(guān)切點(diǎn)在第三和 第四幅圖像中被分析。有時(shí)候，一組新圖像需要被比較，以保證顯示0差異的區(qū)域均沒有任 何變化，例如，一個(gè)移動(dòng)物體撞擊到之前識(shí)別出的暢通路徑上。圖像差異分析和聚焦分析的 使用剔除了識(shí)別出零變化的區(qū)域，圖像差異分析和聚焦分析的使用對于不同的應(yīng)用和不同 的操作條件而言是不同的，這些操作條件例如是車輛速度或所觀察到的操作環(huán)境。圖像差 異分析和聚焦分析的特定應(yīng)用可能有不同的實(shí)施方式，本發(fā)明不局限于此處提及的具體實(shí) 施方式。此處公開了用于識(shí)別暢通路徑的多種方法，這些方法包括基于補(bǔ)片的方法和基 于像素的方法。這些方法優(yōu)選地在處理模塊120中執(zhí)行，但是也可以組合在一個(gè)或多個(gè)裝置中執(zhí)行，例如，在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。基于補(bǔ)片的方法在上文中以及 此處參考圖9和10進(jìn)行描述。基于像素的方法在此參考圖11和圖12進(jìn)行描述?；谙?素的示例性方法包括無紋理方法和富含紋理方法。富含紋理方法基于圖像內(nèi)前后視圖的關(guān) 系來分析圖像中與像素相關(guān)的特征以確定明顯的關(guān)切點(diǎn)。這些關(guān)切點(diǎn)與車輛100前方的視 場相對應(yīng)地被繪圖，并基于地圖上的關(guān)切點(diǎn)的地形來確定暢通路徑。圖像上的不一致區(qū)域 不屬于平坦連續(xù)路面的一部分，無紋理方法將這些區(qū)域進(jìn)行過濾，剩下的像素就對應(yīng)于暢 通路徑。如上所述，基于補(bǔ)片的方法在計(jì)算上相對較快，而基于像素的方法在計(jì)算上相對較 慢。圖9示出了根據(jù)本發(fā)明的一種基于補(bǔ)片的示例性方法200，其中，分析來自攝像機(jī) 的輸入以確定暢通路徑幾率?；谘a(bǔ)片的方法200如圖9所示，該方法在這里被描述為包 含若干分立元件。這種圖示是為了描述方便，這些元件所實(shí)現(xiàn)的功能可以組合在一個(gè)或多 個(gè)裝置中完成，如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。例如，基于補(bǔ)片的方法200可 作為處理模塊120中的一個(gè)或多個(gè)算法來執(zhí)行。在操作過程中，攝像機(jī)110產(chǎn)生用于處理模塊120中的分析的圖像(202)。處理模 塊120識(shí)別圖像中的補(bǔ)片，并選擇分析用的補(bǔ)片(204)。為了足以充分分析圖像而定義多個(gè) 補(bǔ)片的多種方法都在本發(fā)明中考慮了。如上所述，補(bǔ)片可以根據(jù)隨機(jī)搜索方法或者密集搜 索方法來定義。可替換地，從其他信息源_例如雷達(dá)成像系統(tǒng)或LIDAR所得到的信息能夠 用來定義補(bǔ)片，以便分析圖像的一部分。此外，多個(gè)重疊補(bǔ)片可以基于被分析圖像中的關(guān)切 區(qū)域而被利用。另外，可以使用多種方法來根據(jù)車輛前方的預(yù)期路面定義補(bǔ)片并得到暢通 路徑圖案，例如固定網(wǎng)格補(bǔ)片方法，將一些或所有圖像根據(jù)規(guī)則補(bǔ)片圖案進(jìn)行劃分；視角 補(bǔ)片方法，與固定網(wǎng)格補(bǔ)片方法類似，不同點(diǎn)在于，其基于道路的視圖并且在考慮每個(gè)補(bǔ)片 中所包含的路面的量的情況下對補(bǔ)片大小和/或形狀進(jìn)行調(diào)制。這種車輛前方的預(yù)期路面 能夠通過輸入圖像的最初復(fù)查來判定，例如，使用能夠定義車道邊界的清晰可見的線來作 為定義補(bǔ)片圖案的最初參考。再例如，能夠使用由暢通路徑方法的最近一次迭代所得到的 補(bǔ)片圖案，并且基于反復(fù)定義的暢通路徑和其他能在被分析圖像中識(shí)別出的標(biāo)識(shí)、通過迭 代對其進(jìn)行緩慢調(diào)制。固定網(wǎng)格補(bǔ)片方法基于關(guān)切區(qū)域?qū)D像識(shí)別并分割成多個(gè)補(bǔ)片，并將固定網(wǎng)格圖 案應(yīng)用到關(guān)切區(qū)域。固定網(wǎng)格圖案將整個(gè)關(guān)切區(qū)域充分分割為多個(gè)部分。關(guān)切區(qū)域優(yōu)選環(huán) 繞緊鄰車輛前方的視場，然而，該區(qū)域可定義為環(huán)繞更窄的視場。在一個(gè)實(shí)施方式中，關(guān)切 區(qū)域環(huán)繞緊鄰車輛前方的視場，并由道路的水平線或消失點(diǎn)來限定邊界。固定網(wǎng)格補(bǔ)片方 法可包括通過矩陣進(jìn)行補(bǔ)片追蹤、識(shí)別和分析，其中，每個(gè)補(bǔ)片可通過一個(gè)數(shù)字序列的數(shù)字 來識(shí)別。固定網(wǎng)格補(bǔ)片能通過多種方法應(yīng)用到圖像上。第一種方法是使用相同的圖像坐標(biāo) 將固定網(wǎng)格補(bǔ)片應(yīng)用到連續(xù)圖像。第二種方法是使用在圖像上識(shí)別出的關(guān)切點(diǎn)-例如水平 線將固定網(wǎng)格補(bǔ)片應(yīng)用到圖像。第三種方法是將固定網(wǎng)格補(bǔ)片應(yīng)用到補(bǔ)償車輛運(yùn)動(dòng)-例如 車輛偏航的圖像。視角補(bǔ)片方法基于視場坐標(biāo)而不是圖像坐標(biāo)來識(shí)別圖像、并將圖像分割成多個(gè)補(bǔ) 片。關(guān)切區(qū)域的識(shí)別已在之前進(jìn)行了描述，其中，視角補(bǔ)片圖案基于估計(jì)出的視場坐標(biāo)被應(yīng) 用到關(guān)切區(qū)域，從而相對于由每個(gè)補(bǔ)片覆蓋的地面的近似面積對補(bǔ)片大小進(jìn)行分配。這種視角補(bǔ)片定義使得描述更接近車輛的地面的補(bǔ)片被更詳細(xì)地復(fù)查，而描述離車輛較遠(yuǎn)的 地面的補(bǔ)片不會(huì)被過多地復(fù)查。補(bǔ)片能夠根據(jù)所獲取的道路上的行車道進(jìn)行排列，例如，由 車道標(biāo)志和/或路緣限定的車道。這些補(bǔ)片定義經(jīng)常是梯形的，梯形的兩個(gè)平行邊與地平 線或車輛的水平軸相平行，梯形的其余邊取決于限定在圖像視圖中的路面。這種補(bǔ)片排列 對定義路面是高效的。然而，多種不同的補(bǔ)片形狀使得補(bǔ)片網(wǎng)格的計(jì)算以及補(bǔ)片的分析很 復(fù)雜。補(bǔ)片可以被規(guī)范為矩形(或方形)，仍然平行于地平線或車輛的水平軸。這種矩形補(bǔ) 片在覆蓋路面方面效率較低，例如，與補(bǔ)片相重疊的若干路面部分包括實(shí)際上暢通的道路， 但是補(bǔ)片的足夠的分辨率以及計(jì)算效率的提高能夠使得這種規(guī)范化的視角補(bǔ)片變得有利。圖10以繪圖方式示出了應(yīng)用于示例性圖像的示例性的多個(gè)規(guī)范化的透視補(bǔ)片。 這些透視補(bǔ)片的尺寸基于與透視補(bǔ)片相關(guān)的地理區(qū)域而變化。如圖10所示，與靠近車輛的 地理區(qū)域相關(guān)的補(bǔ)片比與遠(yuǎn)離車輛的地理區(qū)域相關(guān)的補(bǔ)片的尺寸更大。根據(jù)地理區(qū)域在圖 像上定義補(bǔ)片使得能夠基于地理區(qū)域分配補(bǔ)片的處理資源，從而在作出駕駛決定的時(shí)間比 較有限的情況下提高檢測車輛附近的物體的能力。回到圖9，一個(gè)濾波器或一組濾波器能被應(yīng)用到被選擇的補(bǔ)片上(206)，例如，亮 度規(guī)范化濾波器(lighting normalization filter)。一個(gè)示例性的規(guī)范化濾波器改變補(bǔ) 片內(nèi)的像素強(qiáng)度值的范圍，因此使得補(bǔ)片的范圍更適合機(jī)器處理。例如，將每個(gè)像素值規(guī)范 化為零均值和單位方差能夠增強(qiáng)圖像的對比度，特別是在光線較暗的環(huán)境下或者因?yàn)榉垂?而造成對比度較低的情況下。多種示例性濾波器和濾波方法對圖像分析都有用，本發(fā)明不 局限于此處描述的特定的示例性實(shí)施方式。經(jīng)過濾波之后，在被選擇的補(bǔ)片上用特征提取算法進(jìn)行特征提取(208)。特征提取 算法可對所選的補(bǔ)片進(jìn)行分析以得到預(yù)定的特征和/或形狀，其中，預(yù)定的特征包括例如 邊緣、角落和污點(diǎn)；形狀包括例如圓、橢圓和線。應(yīng)當(dāng)認(rèn)識(shí)到，一些特征有意義，而另一些沒 有，選擇特征的過程能用來識(shí)別出一組最好的特征用于進(jìn)行分析。分類器訓(xùn)練算法分析每 個(gè)特征，并分配一個(gè)幾率值(210)。如上所述，在幾率值推導(dǎo)時(shí)所使用的分類器或邏輯最初 是離線訓(xùn)練的?；谀：壿?、神經(jīng)網(wǎng)絡(luò)或本領(lǐng)域已知的其他學(xué)習(xí)機(jī)構(gòu)，訓(xùn)練可選擇性地在 車輛中繼續(xù)進(jìn)行。這些訓(xùn)練過的分類器基于所提取的特征進(jìn)行幾率分析，并確定補(bǔ)片的幾 率值。這種幾率值表示被選補(bǔ)片為暢通的信心。幾率分析可通過使用空間和/或時(shí)間上相關(guān)的補(bǔ)片來擴(kuò)充，以評估在車輛操作過 程中識(shí)別出的特征。當(dāng)特征提取算法識(shí)別出一個(gè)特征時(shí)，處理模塊120可以從空間方面分 析該識(shí)別出的特征在鄰近或附近的補(bǔ)片中的一致性。在一個(gè)補(bǔ)片中識(shí)別出的特征可以與 其他相鄰的補(bǔ)片進(jìn)行比較，以確定其與相鄰補(bǔ)片之間是否有偏差或者是否一致。與相鄰補(bǔ) 片一致的特征可以被分配一個(gè)與相鄰補(bǔ)片近似的幾率值，而與相鄰補(bǔ)片不一致的特征需被 分配一個(gè)不同的幾率值。與空間分析類似，當(dāng)特征提取算法識(shí)別出一個(gè)特征時(shí)，處理模塊 120可以從時(shí)間方面分析被識(shí)別特征在時(shí)間相關(guān)的補(bǔ)片中的一致性，從而對車輛運(yùn)動(dòng)進(jìn)行 補(bǔ)償。例如，在若干幀中分析并被確定為在圖像的各幀中具有高幾率值的特征，能夠與后續(xù) 幀中的收到低幾率值的相同特征從時(shí)間方面進(jìn)行比較。如果該特征的時(shí)間分析揭示了新信 息，例如相對于道路的特征運(yùn)動(dòng)；或者增加的視角表明該特征代表了位于路面上的一個(gè)物 體，那么該特征的較低幾率值能夠被確定。如果沒有得到新信息，那么當(dāng)前幀中的特征的較 低幾率值可以被中止，因?yàn)槠洳灰欢ū硎静粫惩窂?。可用類似的方法來分析后續(xù)幀，以確定該特征是顯著的還是非顯著的。類似地，根據(jù)此處描述的方法，有問題的特征能夠在當(dāng)前 的或者后續(xù)的圖像中、通過增加計(jì)算側(cè)重點(diǎn)來進(jìn)行分析。處理模塊120將幾率值與幾率閾值進(jìn)行比較(214)。如果幾率值比幾率閾值大，那 么該補(bǔ)片被識(shí)別為暢通路徑(218)。如果幾率值不比幾率閾值大，那么該補(bǔ)片就被識(shí)別為不 暢通路徑。如上所述，基于補(bǔ)片的方法200可以通過多種方式進(jìn)行重復(fù)或迭代，通過不同補(bǔ) 片的選擇和分析對同一圖像進(jìn)行反復(fù)分析，并且能夠在多個(gè)連續(xù)圖像中追蹤被識(shí)別的補(bǔ)片 并分析其變化。圖11示出了根據(jù)本發(fā)明的一種示例性的基于富含紋理的像素的方法300，其中， 對攝像機(jī)的輸入進(jìn)行分析以確定暢通路徑幾率。圖10中示出了基于富含紋理的像素的方 法300，并且在此處描述為包含若干分立元件。這種圖示是為了描述方便，應(yīng)該認(rèn)識(shí)到，這些 元件所實(shí)現(xiàn)的功能可以組合在一個(gè)或多個(gè)裝置中完成，例如在軟件、硬件和/或?qū)Ｓ眉?電路中執(zhí)行。例如，基于像素的方法300可作為處理模塊120中的一個(gè)或多個(gè)算法來執(zhí)行。在操作過程中，攝像機(jī)110產(chǎn)生圖像以便在處理模塊120中對其進(jìn)行分析(302)。 處理模塊120分析圖像以找到關(guān)切點(diǎn)，例如，如上所述地檢查像素顏色強(qiáng)度，并將像素或一 組像素與周圍像素進(jìn)行比較。關(guān)切點(diǎn)是圖像上的可識(shí)別像素，并與一系列視覺信息-即富 含紋理的特征相聯(lián)系，并且與位于視場中的物體相聯(lián)系。通過本領(lǐng)域已知的方法，例如，比 例不變特征變換(SIFT)，利用角落檢測或其他形狀檢測的方法；或者Sobel濾波器，關(guān)切點(diǎn) 可被識(shí)別并用以完成此處所述的方法(306)。在一個(gè)實(shí)施方式中，多余關(guān)切點(diǎn)-例如與同一 特征相對應(yīng)的多個(gè)關(guān)切點(diǎn)將被剔除，以便提高計(jì)算效率。一旦識(shí)別出關(guān)切點(diǎn)，在可能的情況下，處理模塊120比較車輛運(yùn)動(dòng)時(shí)的連續(xù)圖像， 以便對來自每個(gè)圖像的關(guān)切點(diǎn)與連續(xù)圖像中的對應(yīng)點(diǎn)進(jìn)行匹配(310)，這些對應(yīng)點(diǎn)在視場 中對應(yīng)于相同的點(diǎn)。匹配包括使用對應(yīng)匹配程序，例如，比例不變特征變換(SIFT)特征匹 配程序和光流程序；并且可進(jìn)一步包括通過模版匹配來定位對應(yīng)點(diǎn)，從而考慮宿主車輛的 運(yùn)動(dòng)，并且對兩個(gè)點(diǎn)是否代表視場中的同一可見物體或可見特征作出最佳估計(jì)。模板匹配 可通過多種方法中的一種來確定以便找到對應(yīng)的關(guān)切點(diǎn)，包括若干已知模板匹配程序方法 中的一個(gè)，例如Lucas-Kanade或者Horn-Schunck。匹配后的點(diǎn)對與位于兩幅圖像中的同一 特征相對應(yīng)，其中，該同一特征與視場中的同一物體相關(guān)聯(lián)。雖然可以匹配關(guān)切點(diǎn)，但不是 所有匹配的對應(yīng)點(diǎn)對都代表高質(zhì)量的對應(yīng)點(diǎn)對，高質(zhì)量的對應(yīng)點(diǎn)對允許識(shí)別它們在視場中 的三維位置以便分類為能使車輛通過的暢通路徑。處理模塊120對匹配的對應(yīng)點(diǎn)對進(jìn)行濾波，以便識(shí)別出高質(zhì)量的、能夠在三維位 置識(shí)別中以高信心水平被應(yīng)用的對應(yīng)點(diǎn)對(314)。優(yōu)選的匹配點(diǎn)對可以基于質(zhì)量控制標(biāo)準(zhǔn) 進(jìn)行選擇，例如，兩個(gè)點(diǎn)之間的距離，與圖像邊界之間的距離以及各相鄰像素之間的顏色相 似度等。判斷匹配點(diǎn)對的標(biāo)準(zhǔn)的選擇還可基于如下條件，例如當(dāng)前車外亮度、天氣、車輛速 度和其他任何影響判斷匹配點(diǎn)對的能力的因素，或者快速、精確地定義暢通路徑的緊迫性。高質(zhì)量的對應(yīng)點(diǎn)對被分析以確定視場中的由對應(yīng)點(diǎn)對所代表的物體的三維位置 (318)。應(yīng)當(dāng)理解的是，與地面相比具有不同高度的對應(yīng)點(diǎn)在連續(xù)圖像中會(huì)有不同的運(yùn)動(dòng)。 在連續(xù)圖像之間分析關(guān)切點(diǎn)的運(yùn)動(dòng)能夠產(chǎn)生關(guān)切點(diǎn)的估計(jì)出的三維坐標(biāo)?；诟哔|(zhì)量的對 應(yīng)點(diǎn)對、連續(xù)圖像之間的樣本時(shí)間以及諸如車速、車輛偏航率等的車輛數(shù)據(jù)，能夠確定物體位置。通過這些三角測量方法能夠得到物體在水平面中的位置以及物體相對于地面的高度。所確定的物體位置用來對宿主車輛前方的物體位置進(jìn)行繪圖(322)，所繪地圖包 括視場的估計(jì)地形。地形可通過指定物體周圍的預(yù)定空間維度來估計(jì)。優(yōu)選地，預(yù)定空間 維度在高度方面相對于距物體的距離以預(yù)定速度減小。通過使用地圖和估計(jì)地形，處理模 塊120能夠確定宿主車輛前方的暢通路徑(326)。上面的方法應(yīng)用連續(xù)圖像來建立有關(guān)車輛前方的物體位置和垂直高度的地圖，從 而可以確定一條暢通路徑。應(yīng)當(dāng)理解的是，在任意兩個(gè)給定的圖像中，一個(gè)特定物體可能不 會(huì)被分類為包含兩個(gè)足夠在該特定分析中被繪圖的、高質(zhì)量的關(guān)切點(diǎn)。然而，上述分析在車 輛行駛過程中每秒鐘發(fā)生多次。當(dāng)車輛在暢通路徑上向前行駛時(shí)，將得到物體的不同視角， 并將分析大量的圖像。在路徑上行駛并分析該路徑上的多個(gè)迭代圖像，可通過所述分析建 立一個(gè)信心值，該信心值表明在被識(shí)別的暢通路徑上不存在阻礙暢通路徑的物體。圖12示出的是根據(jù)本發(fā)明的一種示例性的基于無紋理像素的方法400，其中，分 析攝像機(jī)的輸入以確定暢通路徑的幾率?；跓o紋理像素的方法400在圖12中示出，并在 此處被描述為包含若干分立元件。這種圖示是為了描述方便，應(yīng)該認(rèn)識(shí)到，這些元件所實(shí)現(xiàn) 的功能可以組合在一個(gè)或多個(gè)裝置中完成，例如在軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。 例如，基于無紋理像素的方法400可作為處理模塊120中的一個(gè)或多個(gè)算法來執(zhí)行。在操作過程中，攝像機(jī)110產(chǎn)生圖像以便在處理模塊120中對其進(jìn)行分析(453)。 處理模塊120通過多種濾波方法來分析圖像以識(shí)別并剔除圖像中不一致的像素。剩余的像 素代表了車輛可以行駛的潛在的暢通路徑。圖11示出的基于無紋理像素的方法400包括 識(shí)別并剔除圖像中的不一致像素的4種示例性濾波方法。無紋理的方法能與四種示例性方 法的某些部分結(jié)合應(yīng)用，并且/或者可用未命名的類似方法來處理圖像。第一種示例性濾波方法剔除在地平線或者消失點(diǎn)以上的像素(456)，包括天空和 其他不能構(gòu)成路面的一部分的垂直特征。術(shù)語“消失點(diǎn)”是一個(gè)廣義的術(shù)語，此處采用對本 領(lǐng)域普通技術(shù)人員而言常用和常規(guī)的含義，指的是地平線上的無窮遠(yuǎn)的、與視野中地面上 的多個(gè)平行線交叉的點(diǎn)。識(shí)別路面從而建立車輛行駛的暢通路徑必然在消失點(diǎn)或地平線以 下。濾波圖像以便僅分析地平線以下的區(qū)域有助于使被分析以識(shí)別路面的像素與不相關(guān)的 像素區(qū)分開。本領(lǐng)域技術(shù)人員可以理解，確定消失點(diǎn)和對應(yīng)的地平線有很多已知的方法。第二種示例性濾波方法應(yīng)用基于像素顏色強(qiáng)度差異的濾波器(459)，其前提是路 面將包括一個(gè)大的表面，該整個(gè)表面上的視覺強(qiáng)度都相同。當(dāng)相關(guān)像素顏色強(qiáng)度變化大于 預(yù)設(shè)的閾值時(shí)，從圖像中剔除這些像素。對于與多種顏色相關(guān)聯(lián)的像素，當(dāng)任何特定顏色的 像素顏色強(qiáng)度變化大于預(yù)設(shè)的閾值時(shí)，從圖像中剔除這些像素?；诒蛔R(shí)別為暢通路徑的 像素的歷史顏色強(qiáng)度，預(yù)設(shè)的閾值能夠被更新。第三種示例性濾波方法應(yīng)用基于連續(xù)圖像的差異的濾波器，其能夠分析圖像之間 的變化(462)。某些像素與一種像素顏色強(qiáng)度相關(guān)聯(lián)，當(dāng)該像素顏色強(qiáng)度變化大于預(yù)設(shè)的閾 值時(shí)，從圖像中剔除這些像素。在一個(gè)實(shí)施方式中，基于車輛的運(yùn)動(dòng)來調(diào)整圖像，從而對像 素進(jìn)行區(qū)別和比較，就像所有像素都與地平面上的點(diǎn)相對應(yīng)一樣。已知的三角測量方法能 用來確定對圖像的運(yùn)動(dòng)調(diào)整。通過假設(shè)圖像上的所有物體都在地平面上，同與地平面關(guān)聯(lián) 的像素不一致的變化能夠用來識(shí)別那些不在地平面上的點(diǎn)。例如，地平面上方的像素在連續(xù)圖像之間的運(yùn)動(dòng)可能比預(yù)料的更快，這種運(yùn)動(dòng)能夠通過在連續(xù)圖像之間檢查像素顏色強(qiáng) 度之間的差異來進(jìn)行識(shí)別。第四種示例性濾波方法應(yīng)用基于視覺數(shù)據(jù)中的代表邊緣或過渡的像素識(shí)別的濾 波器(465)。為了產(chǎn)生第四個(gè)濾波圖像，基于與邊緣相對應(yīng)的顏色強(qiáng)度值，通過使用幾種已 知邊緣檢測濾波器中的一種-例如Sobel濾波器，處理模塊120從圖像中提取像素。邊緣 檢測濾波器優(yōu)選在處理模塊120中執(zhí)行，但也可以組合在一個(gè)或多個(gè)裝置中執(zhí)行，例如在 軟件、硬件和/或?qū)Ｓ眉呻娐分袌?zhí)行。在一個(gè)實(shí)施方式中，每個(gè)像素都使用Sobel算子來 進(jìn)行分析。Sobel算子計(jì)算每個(gè)像素顏色強(qiáng)度的梯度矢量，從而生成從亮到暗的最大可能增 加的方向以及該方向上的變化率。與超過閾值的變化率相對應(yīng)的點(diǎn)以及與附近像素的梯度 矢量相對應(yīng)的點(diǎn)代表了邊緣，并被包含在第四個(gè)濾波圖像中。當(dāng)其他像素從圖像中剔除時(shí)， 這些像素仍被保留。通過并行應(yīng)用各種方法，結(jié)果能夠融合到圖像的單個(gè)地圖中(468)。融合包括在每 種不同的濾波方法中被識(shí)別的像素。融合的暢通路徑地圖上的像素與視場中期望的駕駛位 置相對應(yīng)。融合的暢通路徑地圖上的沒有像素的位置與視場中不期望的駕駛位置相對應(yīng)。 處理模塊120能夠分析地圖，以得到指示用于駕駛的暢通路徑的視覺數(shù)據(jù)(471)。如圖12所示的基于無紋理像素的方法400將不同方法并行應(yīng)用到圖像，以識(shí)別視 場中與定義暢通路徑有關(guān)的特征。然而，應(yīng)當(dāng)理解的是，這些方法并非必須并行執(zhí)行，也可 以在各個(gè)步驟中連續(xù)地或者有選擇地用這些方法處理圖像，以識(shí)別視場中與定義暢通路徑 相關(guān)的特征。基于像素的暢通路徑的另一個(gè)檢測方法包括應(yīng)用融合的富含紋理方法和無紋理 方法。富含紋理方法和無紋理方法能夠通過多種方式進(jìn)行融合。帶有被識(shí)別點(diǎn)和所確定 的高度的、通過富含紋理方法識(shí)別出的圖像能夠由無紋理方法產(chǎn)生的濾波圖像覆蓋，并且 兩種方法的一致性能用來通過重疊圖像定義暢通路徑。在另一種融合兩種方案的方法中， 來自每個(gè)方案的數(shù)據(jù)都能用來將信息投影在車輛前方區(qū)域的的編程上方地圖上，包含從兩 個(gè)方案的分析中得到的數(shù)據(jù)的該上方地圖可包含建立該地圖的各個(gè)區(qū)域的信心指示。在另 一種融合兩種方案的方法中，一個(gè)方案可作為主要或主導(dǎo)方案使用，第二個(gè)方案可用來分 析或者被激活以便分析在視場中被識(shí)別為不清晰或不清楚的區(qū)域。在融合兩個(gè)方案的任何 方法中，一個(gè)處理方案的長處能用來彌補(bǔ)另一個(gè)處理方案的弱點(diǎn)。如果兩個(gè)方案同時(shí)認(rèn)定 路徑是暢通的，那么應(yīng)用這些方案的處理模塊可通過更高的信心水平來確定車輛適于通過 該路徑。融合這些識(shí)別方案的多種方法都已被考慮到，本發(fā)明并不局限于此處所描述的特 定實(shí)施方式。另外，其中一個(gè)或兩個(gè)方案可與上述利用補(bǔ)片分析的方法進(jìn)行組合。本領(lǐng)域技術(shù)人員能夠認(rèn)識(shí)到，亮度規(guī)范化(lighting normalization)可應(yīng)用于所 獲取的圖像數(shù)據(jù)。規(guī)范化是改變像素強(qiáng)度值的范圍的一種過程。規(guī)范化的目的是將圖像的 范圍改變?yōu)楦m合機(jī)器處理的范圍，以提高可靠度。例如，每個(gè)像素值被規(guī)范化為零均值和 單位方差，以提高圖像的對比度，特別是在光照較暗的環(huán)境中或?qū)Ρ榷纫驗(yàn)榉垂舛^低的 情況下。如上所述，基于示例的方法能夠替換其他方法或者作為補(bǔ)充來基于輸入圖像定義 暢通路徑。基于示例的一種示例性方法可由下列操作來描述收集視圖的多個(gè)樣本圖像，定義每個(gè)樣本圖像的暢通路徑，將當(dāng)前圖像與一個(gè)或多個(gè)樣本圖像進(jìn)行匹配，以及基于上述 匹配來確定暢通路徑。將當(dāng)前圖像與一個(gè)或多個(gè)樣本圖像進(jìn)行匹配可通過如下方法實(shí)現(xiàn) 例如通過此處描述的方法從每個(gè)樣本圖像中提取特征，從當(dāng)前圖像中提取特征，將從當(dāng)前 圖像中提取的特征與從樣本圖像所提取特征的數(shù)據(jù)庫進(jìn)行比較，以及為當(dāng)前圖像選擇匹配 的樣本圖像。暢通路徑可從匹配最佳的樣本圖像中選出或者基于與當(dāng)前圖像最接近的匹配 的組合來確定。圖15示意性地示出了根據(jù)本發(fā)明的示例性的基于示例方法的操作。基于示例的 方法700被示出在圖15中，并且在此描述為包括離散元件。這種圖示是為了便于描述，并且 應(yīng)該認(rèn)識(shí)到，由這些元件執(zhí)行的功能可以組合在一個(gè)或多個(gè)裝置中，例如在軟件、硬件、和/ 或?qū)Ｓ眉呻娐分袌?zhí)行。例如，基于示例的方法700可以作為處理模塊120中的一個(gè)或多 個(gè)算法來執(zhí)行。方法700示出了當(dāng)前圖像與多個(gè)示例或樣本圖像進(jìn)行比較來確定暢通路徑。如上 所述，多個(gè)樣本圖像通過特征提取(704)被分析，并且例如在離線訓(xùn)練過程中所確定的特 征被存儲(chǔ)在改良的數(shù)據(jù)庫中。方法700輸入當(dāng)前圖像并在圖像上執(zhí)行特征提取(702)。當(dāng) 前圖像的當(dāng)前特征得以產(chǎn)生。這些當(dāng)前特征被用于在改良數(shù)據(jù)庫中選擇與當(dāng)前特征匹配的 一個(gè)或多個(gè)特征(706)。在這個(gè)示例性的實(shí)施方式中，三組匹配特征被識(shí)別出來。匹配特征 的對應(yīng)圖像然后與當(dāng)前圖像進(jìn)行比較，當(dāng)前圖像的暢通路徑基于匹配的樣本圖像的暢通路 徑被確定或推斷出來(708)。本領(lǐng)域技術(shù)人員應(yīng)該理解的是，如上所述的基于示例的方法能夠用來在下述情形 中作出判斷其中各表面之間的視覺差別-例如相似顏色或不具有主導(dǎo)方向的各向同性紋 理或者圖像中區(qū)別不明顯的特征可能無法通過本文描述的其它示例性方法而得到精確的 結(jié)果。在這些實(shí)例中，樣本圖像的人為定義的暢通路徑能夠提供暢通路徑位置的高級輸入。 此外，還應(yīng)該理解的是，攝像機(jī)檢測中的模糊處或弱點(diǎn)-例如存在于一些攝像機(jī)圖像中的 或聚集在背景建筑物中的大的徑向變形，可導(dǎo)致在根據(jù)本文描述的其它方法解釋圖像時(shí)發(fā) 生扭曲或得出不精確的結(jié)果。但是，圖像中的這些模糊處或弱點(diǎn)在所公開的基于示例的方 法中使用的樣本圖像和當(dāng)前圖像中都存在，因此將會(huì)被去除。特別地，如參照本文公開的分 級方法所描述的，在基于補(bǔ)片的方法和/或基于像素的方法不能清楚地識(shí)別出暢通路徑的 情況下，基于示例的方法提供處理圖像并識(shí)別暢通路徑的替代性方法。如上所述，示例性的基于補(bǔ)片的方法和基于像素的方法用于分析補(bǔ)片或補(bǔ)片中的 像素以判斷該補(bǔ)片表示的是暢通路徑還是非暢通路徑。另一方面，基于示例的方法確定或 推斷當(dāng)前圖像上的暢通路徑的位置。應(yīng)用分級方法，用基于示例的方法確定的暢通路徑與 被進(jìn)一步分析的補(bǔ)片的位置進(jìn)行比較，并且基于所述比較能夠?qū)⒃撗a(bǔ)片標(biāo)識(shí)為暢通或非暢
ο本文公開了使用基于計(jì)算強(qiáng)度設(shè)置的暢通路徑檢測算法的等級結(jié)構(gòu)來檢測車輛 行駛的暢通路徑的方法。在該等級結(jié)構(gòu)中，用計(jì)算強(qiáng)度較小的檢測方法識(shí)別圖像中的暢通 路徑，留下圖像中沒有被識(shí)別為暢通路徑的剩余部分用計(jì)算強(qiáng)度較大的方法來分析。以這 種方式，暢通路徑識(shí)別的計(jì)算效率便會(huì)提高。如上所述，所用的特定方法和所用的特定分級 方法的等級結(jié)構(gòu)可以不同或變化。使用等級結(jié)構(gòu)檢測暢通路徑的第一種示例性方法包括使 用基于補(bǔ)片的暢通路徑檢測方法和基于像素的暢通路徑檢測方法。基于補(bǔ)片的暢通路徑檢測方法首先識(shí)別圖像中的暢通路徑，而基于像素的暢通路徑檢測方法被用來分析沒有被基 于補(bǔ)片的方法識(shí)別為暢通路徑的剩余圖像部分。本文公開的第二種示例性方法結(jié)合有額外 的等級層。在第二種方法中，基于示例的方法進(jìn)一步分析沒有被基于像素的方法識(shí)別為暢 通路徑的部分。等級結(jié)構(gòu)的進(jìn)一步的示例性實(shí)施方式已被預(yù)想到。例如，等級結(jié)構(gòu)可被定義為包 括基于補(bǔ)片的方法、基于像素的方法、和另一個(gè)基于像素的方法。在另一個(gè)示例中，等級結(jié) 構(gòu)可以被定義為包括基于像素的方法、然后是基于像素的方法的融合、然后是基于示例的 方法。應(yīng)該理解的是，這種結(jié)構(gòu)不再限制于基于補(bǔ)片的方法的補(bǔ)片，其能夠定義將通過不同 等級層以不同方式來分析圖像區(qū)域。例如，基于像素的方法能夠識(shí)別圓形的區(qū)域或像素群， 并且只有該區(qū)域或群能夠被后續(xù)的暢通路徑方法分析。可以預(yù)想到多種不同的等級結(jié)構(gòu)， 并且本發(fā)明并不局限于本文所述的特定實(shí)施方式。圖13示出了控制方案500的流程圖，該控制方案使用包括基于補(bǔ)片的方法和基于 像素的方法的暢通路徑檢測方法的示例性等級結(jié)構(gòu)來檢測車輛行駛的暢通路徑?？刂品桨?500被示出為多個(gè)離散元件。這種圖示是為了便于描述，并且應(yīng)該認(rèn)識(shí)到，由這些元件執(zhí)行 的功能可以組合到一個(gè)或多個(gè)裝置中，例如在軟件、硬件、和/或?qū)Ｓ眉呻娐分袌?zhí)行。例 如，控制方案500可以作為處理模塊120中的一個(gè)或多個(gè)算法來執(zhí)行。在操作過程中，攝像機(jī)110產(chǎn)生用于在處理模塊120中分析的圖像(502)。使用上 述基于補(bǔ)片的暢通路徑檢測方法中的一個(gè)來分析所述圖像(504)。處理模塊120使用基于 補(bǔ)片的方法在這些圖像中識(shí)別多個(gè)組成補(bǔ)片。使用基于補(bǔ)片的方法對每個(gè)組成補(bǔ)片進(jìn)行特 征分析以確定如上所述的信心幾率(506)。如上所述，信心幾率表示該組成補(bǔ)片是車輛行駛 的暢通路徑的一部分的可能性。確定了多個(gè)組成補(bǔ)片的信心幾率值之后，處理模塊120將該信心幾率值與第一和 第二預(yù)定閾值進(jìn)行比較以確定所述組成補(bǔ)片是暢通的還是非暢通的，或者選擇其用于額外 的分析。與大于第一預(yù)定閾值的信心幾率對應(yīng)的組成補(bǔ)片被指定為暢通路徑(508)。不大 于第一預(yù)定閾值但大于第二預(yù)定閾值的組成補(bǔ)片被選擇用于進(jìn)一步分析(510)。小于第二 預(yù)定閾值的組成補(bǔ)片被指定為非暢通路徑(520)。在選出用于進(jìn)一步分析的那部分組成補(bǔ)片之后，處理模塊120使用基于像素的暢 通路徑檢測方法分析這些組成補(bǔ)片(512)。處理模塊120應(yīng)用上述基于像素的暢通路徑檢 測方法來確定上述信心幾率，從而基于通過基于像素的方法識(shí)別出的特征來確定所選的組 成補(bǔ)片是對應(yīng)于暢通路徑還是非暢通路徑(514)。應(yīng)該理解的是，基于像素的方法根據(jù)一個(gè) 像素或一組像素來做出決定。用于被分析補(bǔ)片的這種決定可基于包含在該補(bǔ)片內(nèi)的像素作 出，例如，如果補(bǔ)片內(nèi)的任何或某些最小數(shù)量的像素被確定為非暢通的，則該補(bǔ)片被確定為 非暢通的。與大于預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片對應(yīng)于暢通路徑，而與小于預(yù) 定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片對應(yīng)于非暢通路徑(515)。在分析所選出的組成補(bǔ)片之后，可使用對應(yīng)于暢通路徑的組成補(bǔ)片(516)和對應(yīng) 于非暢通路徑的組成補(bǔ)片(520)來識(shí)別暢通路徑。圖13描述了使用第一預(yù)定閾值和第二預(yù)定閾值來判斷特定補(bǔ)片是暢通的還是非 暢通的，或者是需要額外分析的。應(yīng)該理解的是，這對閾值可相反地描述為表明何時(shí)應(yīng)該執(zhí) 行額外分析的數(shù)字范圍。
圖13進(jìn)一步描述了使用較低的第二預(yù)定閾值以定義馬上被認(rèn)為是非暢通路徑的 補(bǔ)片。但是，應(yīng)該認(rèn)識(shí)到的是，可以在沒有第二閾值的情況下采用相似方法，其中任何沒有 在第一種分析中識(shí)別為暢通路徑的補(bǔ)片都將在第二種分析中被進(jìn)一步分析。圖14示出了控制方案600的流程圖，該控制方案使用包括基于補(bǔ)片的方法、基于 像素的方法和基于示例的方法的暢通路徑檢測方法的等級結(jié)構(gòu)來檢測車輛行駛的暢通路 徑?？刂品桨?00被描述為包括多個(gè)離散元件。這種圖示是為了便于描述，并且應(yīng)該認(rèn)識(shí) 到，由這些元件執(zhí)行的功能可以組合到一個(gè)或多個(gè)裝置中，例如在軟件、硬件、和/或?qū)Ｓ?集成電路中執(zhí)行。例如，控制方案600可以作為處理模塊120中的一個(gè)或多個(gè)算法來執(zhí)行。在操作過程中，攝像機(jī)110產(chǎn)生用于在處理模塊120中分析的圖像(602)。使用上 述基于補(bǔ)片的暢通路徑檢測方法中的一個(gè)來分析所述圖像(604)?；谘a(bǔ)片的方法識(shí)別這 些圖像內(nèi)的多個(gè)組成補(bǔ)片和這些組成補(bǔ)片內(nèi)的特征。在識(shí)別組成補(bǔ)片內(nèi)的特征之后，處理 模塊120如上所述地使用幾率分析來確定每個(gè)組成補(bǔ)片的信心幾率。與大于第一預(yù)定閾值 的信心幾率相關(guān)聯(lián)的組成補(bǔ)片被指定為暢通路徑(606)。與不大于第一預(yù)定閾值但大于第 二預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片被選擇用于進(jìn)一步分析(608)。與小于第二預(yù) 定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片被指定為非暢通路徑(622)。選出用于進(jìn)一步分析的那部分組成補(bǔ)片之后，處理模塊120使用上述基于像素的 暢通路徑檢測方法來確定上述信心幾率，從而確定所選的組成補(bǔ)片是對應(yīng)于暢通路徑還是 非暢通路徑(610)。基于像素的方法識(shí)別用于幾率分析的特征，以確定所述組成補(bǔ)片的信心 值。與大于第三預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片對應(yīng)于暢通路徑的(612)。與不 大于第三預(yù)定閾值但大于第四預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片被選出來用于進(jìn) 一步分析(614)。與小于第二預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片被指定為非暢通路 徑(622)。在選擇像素之后，處理模塊120使用示例性的基于示例的暢通路徑檢測方法來分 析像素并且確定信心幾率(616)。與大于預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片對應(yīng)于 暢通路徑(618)。與小于第二預(yù)定閾值的信心幾率值相關(guān)聯(lián)的組成補(bǔ)片被指定為非暢通路 徑(622)。在分析所選的組成補(bǔ)片之后，可以使用對應(yīng)于暢通路徑的組成補(bǔ)片和像素(620) 和/或?qū)?yīng)于非暢通路徑的組成補(bǔ)片和像素(622)來識(shí)別暢通路徑。圖14描述了一系列閾值，并且所述閾值由一系列數(shù)字標(biāo)記標(biāo)識(shí)(第一、第二、第 三、等)。應(yīng)該理解的是，這些標(biāo)記僅用于表明這些閾值彼此之間可能不同。用于每次比較 的較高或較低的閾值可能是不同的或相同的。但是，圖14中只給出了這些標(biāo)記，并且這些 數(shù)字標(biāo)記并不暗示其可能互不相同之外的任何涵義。在各種預(yù)想到的實(shí)施方式中，上述等級結(jié)構(gòu)或方法基于計(jì)算或處理的復(fù)雜性定義 所述等級的各個(gè)階段，優(yōu)選在使用高強(qiáng)度方法之前使用低強(qiáng)度的方法。但是，應(yīng)該理解的 是，計(jì)算強(qiáng)度并不是用來定義用于每個(gè)等級階段的特定方法的唯一考慮因素。例如，在正常 條件下，可以使用圖14的等級結(jié)構(gòu)，首先應(yīng)用基于補(bǔ)片的方法，接著是基于像素的方法，最 后是基于示例的方法。但是，所用方法的順序或一種方法的去除或替代可以基于覺察到的 因素來設(shè)定。例如，在臟路的路面或覆蓋有雪的路面上行駛時(shí)其中某種方法可能會(huì)產(chǎn)生很 差的結(jié)果。類似地，具有快速變化的交通狀況或行人交通的城市環(huán)境可能使其中某種方法產(chǎn)生很差的結(jié)果。由攝像機(jī)鏡頭上的污點(diǎn)所導(dǎo)致的來自攝像機(jī)的圖像的污染也可能類似地 使某種方法的結(jié)果較差。車輛速度可能會(huì)影響某種方法的結(jié)果的質(zhì)量。這些因素可以通過 實(shí)驗(yàn)方式、計(jì)算方式來確定，或者基于建模或者其他任何足以精確估計(jì)根據(jù)輸入圖像來確 定暢通路徑的不同暢通路徑方法的有效性的方法來判定。另外，基于車輛內(nèi)使用的多種暢 通路徑方法和車輛的合成操作，可以執(zhí)行例如機(jī)器學(xué)習(xí)算法或者模糊邏輯的方法以便適應(yīng) 用于分級方法的各種暢通路徑方法的選擇。車輛的這種操作能夠用本領(lǐng)域已知的很多方法 來判斷，例如，在車輛控制中監(jiān)測操作員介入的發(fā)生或者通過監(jiān)測圖像中的、描述車輛在車 道上的后續(xù)控制的車道標(biāo)記的位置。在這些暢通路徑方法中進(jìn)行選擇以及對各種暢通路徑 方法的選擇進(jìn)行調(diào)整的多種方法都可以預(yù)想到，本發(fā)明并不局限于此處的公開的特定的示 例性實(shí)施方式。如圖13和14所示，多個(gè)閾值信心幾率被示出為與分級方法的每個(gè)層中得出的信 心幾率進(jìn)行比較。應(yīng)該理解的是，這些閾值每個(gè)都可以是不同的和有差別的，能夠被描述為 第一閾值、第二閾值、第三閾值等。例如，一些閾值是共用的，共用的閾值限定特定補(bǔ)片何時(shí) 是暢通路徑。每個(gè)閾值的準(zhǔn)確水平取決于用于分析補(bǔ)片的暢通路徑方法并且可以通過實(shí)驗(yàn) 方式得出，或者通過足以評估或估計(jì)所采用的圖像處理方法的操作的任何方法來得出。如上所述，處理模塊120可包括通過此處未描述但本領(lǐng)域已知的方法來實(shí)現(xiàn)自主 駕駛控制的算法和機(jī)構(gòu)，或者處理模塊120可僅僅為獨(dú)立的自主駕駛系統(tǒng)提供信息。對觀 察到的物體的反應(yīng)也可有所不同，包括但不局限于轉(zhuǎn)向變化、節(jié)氣門變化、剎車響應(yīng)、警告 和將車輛控制交給操作者。已經(jīng)描述了本發(fā)明的某些優(yōu)選實(shí)施方式及其改型。通過閱讀并理解說明書可以想 到進(jìn)一步的改型和變型。因此，本發(fā)明并不局限于作為最佳實(shí)施模式而公開的特定實(shí)施方 式，相反本發(fā)明包括落入所附權(quán)利要求書的范圍內(nèi)的所有實(shí)施方式。
權(quán)利要求
一種使用攝像機(jī)產(chǎn)生的圖像檢測車輛行駛的暢通路徑的方法，所述方法包括監(jiān)測圖像；應(yīng)用圖像的基于補(bǔ)片的第一分析，所述第一分析包括將圖像分成多個(gè)補(bǔ)片以及分析每個(gè)補(bǔ)片以確定基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片的第一暢通路徑信心幾率；將具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個(gè)補(bǔ)片定義為暢通路徑補(bǔ)片；在具有不大于第一閾值信心幾率的第一暢通路徑信心幾率的部分補(bǔ)片上應(yīng)用第二分析以確定所述第二分析的每個(gè)補(bǔ)片的第二暢通路徑信心幾率；將具有大于第二閾值信心幾率的第二暢通路徑信心幾率的所述第二分析的每個(gè)補(bǔ)片定義為暢通路徑補(bǔ)片；以及基于所述暢通路徑補(bǔ)片識(shí)別車輛行駛的暢通路徑。
2.如權(quán)利要求1的方法，還包括將基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片的第一暢通路徑信 心幾率與第三閾值信心幾率進(jìn)行比較；并且其中，應(yīng)用第二分析還包括在具有大于所述第三閾值信心幾率的第一暢通路徑信心幾 率的基于補(bǔ)片的第一分析的部分補(bǔ)片上應(yīng)用所述第二分析。
3.如權(quán)利要求2的方法，還包括將具有不大于所述第三閾值信心幾率的第一暢通路徑 信心幾率的基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片定義為非暢通路徑補(bǔ)片。
4.如權(quán)利要求1的方法，還包括將具有不大于所述第二閾值信心幾率的第二暢通路徑 信心幾率的所述第二分析的每個(gè)補(bǔ)片定義為非暢通路徑補(bǔ)片。
5.如權(quán)利要求1的方法，其中，所述第二分析包括基于像素的暢通路徑方法。
6.如權(quán)利要求5的方法，其中，所述基于像素的暢通路徑方法包括富含紋理的暢通路 徑方法。
7.如權(quán)利要求5的方法，其中，所述基于像素的暢通路徑方法包括無紋理的暢通路徑 方法。
8.如權(quán)利要求5的方法，其中，所述基于像素的暢通路徑方法包括富含紋理的暢通路 徑方法與無紋理的暢通路徑方法的融合。
9.如權(quán)利要求1的方法，其中，所述第二分析包括基于示例的暢通路徑方法。
10.如權(quán)利要求1的方法，還包括在具有不大于所述第二閾值信心幾率的第二暢通路徑信心幾率的所述第二分析的補(bǔ) 片上應(yīng)用第三分析以確定所述第三分析的每個(gè)補(bǔ)片的第三暢通路徑信心幾率；以及將具有大于所述第三閾值信心幾率的第三暢通路徑信心幾率的所述第三分析的每個(gè) 補(bǔ)片定義為暢通路徑補(bǔ)片。
11.如權(quán)利要求10的方法，還包括將基于補(bǔ)片的所述第二分析的每個(gè)補(bǔ)片的第二暢通 路徑信心幾率與第四閾值信心幾率進(jìn)行比較；并且其中，應(yīng)用第三分析還包括在具有大于所述第四閾值信心幾率的第二暢通路徑信心幾 率的基于補(bǔ)片的所述第二分析的部分補(bǔ)片上應(yīng)用所述第三分析。
12.如權(quán)利要求11的方法，還包括將具有不大于所述第四閾值信心幾率的第二暢通路 徑信心幾率的基于補(bǔ)片的所述第二分析的每個(gè)補(bǔ)片定義為非暢通路徑補(bǔ)片。
13.如權(quán)利要求10的方法，還包括將具有不大于所述第三閾值信心幾率的第三暢通路徑信心幾率的所述第三分析的每個(gè)補(bǔ)片定義為非暢通路徑補(bǔ)片。
14.如權(quán)利要求10的方法，其中，所述第三分析包括應(yīng)用于部分補(bǔ)片上的基于像素的 暢通路徑方法。
15.如權(quán)利要求10的方法，其中，所述第三分析包括應(yīng)用于部分補(bǔ)片上的基于示例的 暢通路徑方法。
16.一種使用攝像機(jī)產(chǎn)生的圖像檢測車輛行駛的暢通路徑的方法，所述方法包括 監(jiān)測圖像；應(yīng)用圖像的基于補(bǔ)片的第一分析，所述第一分析包括將圖像分成多個(gè)補(bǔ)片以及分析每 個(gè)補(bǔ)片以確定基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片的第一暢通路徑信心幾率；將具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個(gè)補(bǔ)片定義為暢通路徑 補(bǔ)片；在具有不大于所述第一閾值信心幾率的第一暢通路徑信心幾率的部分補(bǔ)片上應(yīng)用基 于像素的分析以確定第二分析的每個(gè)補(bǔ)片的第二暢通路徑信心幾率；將具有大于所述第二閾值信心幾率的第二暢通路徑信心幾率的基于像素的分析的每 個(gè)補(bǔ)片定義為暢通路徑補(bǔ)片；基于所述暢通路徑補(bǔ)片識(shí)別車輛行駛的暢通路徑；以及 利用行駛暢通路徑對車輛進(jìn)行導(dǎo)航。
17.一種使用攝像機(jī)產(chǎn)生的圖像檢測車輛行駛的暢通路徑的方法，所述方法包括 監(jiān)測圖像；應(yīng)用圖像的基于補(bǔ)片的第一分析，所述第一分析包括將圖像分成多個(gè)補(bǔ)片以及分析每 個(gè)補(bǔ)片以確定基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片的第一暢通路徑信心幾率；將具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個(gè)補(bǔ)片定義為暢通路徑 補(bǔ)片；在具有不大于所述第一閾值信心幾率的第一暢通路徑信心幾率的部分補(bǔ)片上應(yīng)用基 于示例的分析以確定第二分析的每個(gè)補(bǔ)片的第二暢通路徑信心幾率；將具有大于第二閾值信心幾率的第二暢通路徑信心幾率的基于示例的分析的每個(gè)補(bǔ) 片定義為暢通路徑補(bǔ)片；基于所述暢通路徑補(bǔ)片識(shí)別車輛行駛的暢通路徑；以及 利用行駛暢通路徑對車輛進(jìn)行導(dǎo)航。
全文摘要
本發(fā)明涉及使用分級方法的暢通路徑檢測。一種使用攝像機(jī)產(chǎn)生的圖像檢測車輛行駛的暢通路徑的方法，該方法包括監(jiān)測圖像；以及應(yīng)用圖像的基于補(bǔ)片的第一分析，該第一分析包括將圖像分成多個(gè)補(bǔ)片以及分析每個(gè)補(bǔ)片以確定基于補(bǔ)片的第一分析的每個(gè)補(bǔ)片的第一暢通路徑信心幾率。具有大于第一閾值信心幾率的第一暢通路徑信心幾率的每個(gè)補(bǔ)片被定義為暢通路徑補(bǔ)片。在具有不大于第一閾值信心幾率的第一暢通路徑信心幾率的部分補(bǔ)片上應(yīng)用第二分析以確定第二分析的每個(gè)補(bǔ)片的第二暢通路徑信心幾率。具有大于第二閾值信心幾率的第二暢通路徑信心幾率的第二分析的每個(gè)補(bǔ)片被定義為暢通路徑補(bǔ)片。基于暢通路徑補(bǔ)片識(shí)別車輛行駛的暢通路徑。
文檔編號G06K9/64GK101950350SQ20091025842
公開日2011年1月19日 申請日期2009年10月23日 優(yōu)先權(quán)日2009年5月29日
發(fā)明者S·M·奈克, W·張 申請人:通用汽車環(huán)球科技運(yùn)作公司