本申請要求以下的優(yōu)先權(quán)：2014年1月30日提交的美國臨時專利申請?zhí)?1/933,325；2014年5月14日提交的美國臨時專利申請?zhí)?1/993,111；2014年8月21日提交的美國臨時專利申請?zhí)?2/040,246；2014年10月7日提交的美國臨時專利申請62/060,603；以及2015年1月13日提交的美國臨時專利申請62/102,669。所有前述申請的整體內(nèi)容都通過引用并入本文。

技術(shù)領(lǐng)域

所述本公開總體涉及自主車輛導(dǎo)航，更具體地，涉及使用相機提供自主車輛導(dǎo)航特征的系統(tǒng)和方法。

背景技術(shù)：

隨著技術(shù)的不斷進步，能夠在道路上導(dǎo)航的完全自主車輛的目標(biāo)是即將達(dá)到。首先，自主車輛能夠識別其環(huán)境并且在無操作人員輸入的情況下導(dǎo)航。自主車輛還可考慮各種因素并且基于這些因素做出適當(dāng)?shù)臎Q定，以安全而準(zhǔn)確地到達(dá)預(yù)期目的地。例如，當(dāng)車輛慣常地在道路上行進時會遇到諸如其它車輛和行人的各種對象。自主驅(qū)動系統(tǒng)可在車輛環(huán)境中辨識這些對象，并且采取適當(dāng)?shù)亩皶r的動作來避免碰撞。另外，自主驅(qū)動系統(tǒng)可識別其它指示器，諸如交通信號、交通標(biāo)志和車道標(biāo)記，所述其它指示器規(guī)范車輛移動(例如，當(dāng)車輛必須停止以及可行駛時，車輛不能超過的速度，車輛必須定位在道路上，等等)。自主驅(qū)動系統(tǒng)可能需要確定車輛何時應(yīng)該變道、路口轉(zhuǎn)彎、改變道路，等等。根據(jù)這些示例顯而易見的是，許多因素可能需要解決，以便提供能夠安全而準(zhǔn)確地導(dǎo)航的自主車輛。

技術(shù)實現(xiàn)要素：

與本公開相一致的實施方式提供用于自主車輛導(dǎo)航的系統(tǒng)和方法。公開的實施方式可使用相機來提供自主車輛導(dǎo)航特征。例如，與公開的實施方式相一致，公開的系統(tǒng)可包括一個、兩個或更多個相機，用于監(jiān)測車輛環(huán)境并且基于對由所述相機中的一個或多個捕獲的圖像的分析來產(chǎn)生導(dǎo)航響應(yīng)。

與公開的實施方式相一致，提供了一種用于車輛的車道終止檢測系統(tǒng)。該系統(tǒng)可以包括：至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括提供指示車道終止的信息的至少一個道路標(biāo)志；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口來接收所述至少一個圖像；從包括在所述至少一個圖像中的所述至少一個道路標(biāo)志的表示中提取車道終止信息；基于所述車輛的位置的至少一個指示符，確定從所述車輛到與所述車輛正在行駛的當(dāng)前車道相關(guān)聯(lián)的一個或更多個車道約束的距離；基于所提取的車道終止信息并且基于所確定的從所述車輛到所述一個或更多個車道約束的距離，確定所述車輛正在行駛的當(dāng)前車道是否即將終止；并且基于所述車輛正在行駛的所述當(dāng)前車道是否即將終止的確定，使得所述車輛變更車道。

與公開的實施方式相一致，所述車輛的位置的所述至少一個指示符可以包括多個車道當(dāng)中的所述車輛正在行駛的車道的視覺確定。所提取的車道終止信息可以包括識別多個車道當(dāng)中哪個車道即將終止。進一步，所提取的車道終止信息可以包括到車道終止的距離。另外，所提取的車道終止信息可以包括在車道終止之前道路的曲率。所述車輛的位置的所述至少一個指示符可以包括到所述車道終止的距離的視覺確定。另選地，所述車輛的位置的所述至少一個指示符可以包括到第二車輛的距離的視覺確定，并且所述第二車輛可以在所述車輛的前面行駛。使得所述車輛變更車道可以包括向所述車輛的轉(zhuǎn)向系統(tǒng)發(fā)送指令。進一步，所述至少一個處理裝置還可以被配置為，基于所述車輛的位置的所述至少一個指示符，對從所述車輛到與新行駛車道相關(guān)聯(lián)的一個或更多個車道約束的距離進行更新。

與另一公開的實施方式相一致，車輛可以包括：本體；至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括提供指示車道終止的信息的至少一個道路標(biāo)志；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口來接收所述至少一個圖像；從包括在所述至少一個圖像中的所述至少一個道路標(biāo)志的表示中提取車道終止信息；基于所述車輛的位置的至少一個指示符，確定從所述車輛到與所述車輛正在行駛的當(dāng)前車道相關(guān)聯(lián)的一個或更多個車道約束的距離；基于所提取的車道信息并且基于所確定的從所述車輛到所述一個或更多個車道約束的距離，確定所述車輛正在行駛的當(dāng)前車道是否即將終止；并且基于所述車輛正在行駛的所述當(dāng)前車道是否即將終止的確定，使得所述車輛變更車道。

與公開的實施方式相一致，所述車輛的位置的所述至少一個指示符可以包括多個車道當(dāng)中的所述車輛正在行駛的車道的視覺確定。所提取的車道終止信息可以包括識別多個車道當(dāng)中哪個車道即將終止。進一步，所提取的車道終止信息可以包括到車道終止的距離。另外，所提取的車道終止信息可以包括在車道終止之前道路的曲率。所述車輛的位置的所述至少一個指示符可以包括到所述車道終止的距離的視覺確定。進一步，使得所述車輛變更車道可以包括向所述車輛的轉(zhuǎn)向系統(tǒng)發(fā)送指令。

與另一公開的實施方式相一致，提供了一種用于檢測針對車輛的車道終止的方法。該方法可以包括以下步驟：經(jīng)由至少一個圖像捕獲裝置，獲取所述車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括提供指示車道終止的信息的至少一個道路標(biāo)志；從包括在所述至少一個圖像中的所述至少一個道路標(biāo)志的表示中提取車道終止信息；基于所述車輛的位置的至少一個指示符，確定從所述車輛到與所述車輛正在行駛的當(dāng)前車道相關(guān)聯(lián)的一個或更多個車道約束的距離；基于所提取的車道終止信息并且基于所確定的從所述車輛到所述一個或更多個車道約束的距離，確定所述車輛正在行駛的當(dāng)前車道是否即將終止；以及基于所述車輛正在行駛的所述當(dāng)前車道是否即將終止的確定，使得所述車輛變更車道。

與公開的實施方式相一致，所述車輛的位置的所述至少一個指示符可以包括多個車道當(dāng)中的所述車輛正在行駛的車道的視覺確定。所提取的車道終止信息可以包括識別多個車道當(dāng)中哪個車道即將終止。進一步，所提取的車道終止信息可以包括到車道終止的距離。所述方法還可以包括：基于所述車輛的位置的所述至少一個指示符，對從所述車輛到與新行駛車道相關(guān)聯(lián)的一個或更多個車道約束的距離進行更新。

與公開的實施方式相一致，提供了一種用于車輛的駕駛員輔助對象檢測系統(tǒng)。所述系統(tǒng)可以包括：至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取表示圍繞所述車輛的區(qū)域的多個圖像；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口，接收來自所述多個圖像當(dāng)中的第一圖像以及來自所述多個圖像當(dāng)中的至少第二圖像；對所述第一圖像和至少所述第二圖像進行分析，以確定與道路平面相對應(yīng)的參考平面；將目標(biāo)對象定位在所述第一圖像和所述第二圖像中；確定所述第一圖像和所述第二圖像之間的所述目標(biāo)對象的至少一個維度上的尺寸差；使用所確定的所述至少一個維度上的尺寸差來確定所述目標(biāo)對象的至少高度；并且如果所確定的所述對象的高度超過預(yù)定閾值，則引起所述車輛的至少定向路線的變化。

與公開的實施方式相一致，所述至少一個處理裝置還可以被配置為確定所述車輛的道路凈空高度。如果所確定的所述目標(biāo)對象的高度小于所述車輛的所述道路凈空高度，則所述至少一個處理裝置還可以被配置為確定所述車輛能夠變更定向路線以駕駛經(jīng)過所述對象，所述對象被定向在所述車輛的車輪之間，并且促使所述車輛的所述轉(zhuǎn)向系統(tǒng)變更所述車輛的所述定向路線使得所述車輛駕駛經(jīng)過所述對象，所述對象被定向在所述車輛的車輪之間。進一步，所述圖像捕獲裝置可以具有大約35度至大約55度之間的視場。目標(biāo)對象高度的確定還可以基于檢測到的所述車輛的速度。另外，所述預(yù)定閾值可以是距所述道路的表面至少2cm。所述至少一個處理器還可以被配置為確定所述道路平面為與出現(xiàn)在所述多個圖像中的道路表面相關(guān)聯(lián)的平均表面水平面，并且所述道路表面可以包括砂礫。進一步，所確定的所述目標(biāo)對象的高度相對于所述道路平面小于10cm。

與另一公開的實施方式相一致，一種車輛可包括：主體；至少一個圖像捕獲裝置，所述至少一個圖像捕獲裝置被配置為獲取表示圍繞所述車輛的區(qū)域的多個圖像；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口，接收來自所述多個圖像當(dāng)中的第一圖像以及來自所述多個圖像當(dāng)中的至少第二圖像；對所述第一圖像和至少所述第二圖像進行分析，以確定與道路平面相對應(yīng)的參考平面；將目標(biāo)對象定位在所述第一圖像和所述第二圖像中；確定所述第一圖像和所述第二圖像之間的所述目標(biāo)對象的至少一個維度上的尺寸差；使用所確定的所述至少一個維度上的尺寸差來確定所述目標(biāo)對象的至少高度；并且如果所確定的所述對象的高度超過預(yù)定閾值，則引起所述車輛的至少定向路線的變化。

與公開的實施方式相一致，所述至少一個處理裝置還可以被配置為確定所述車輛的道路凈空高度。如果所確定的所述目標(biāo)對象的高度小于所述車輛的所述道路凈空高度，則所述至少一個處理裝置還可以被配置為確定所述車輛能夠變更定向路線以駕駛經(jīng)過所述對象，所述對象被定向在所述車輛的車輪之間，并且促使所述車輛的所述轉(zhuǎn)向系統(tǒng)變更所述車輛的所述定向路線使得所述車輛駕駛經(jīng)過所述對象，所述對象被定向在所述車輛的車輪之間。進一步，所述圖像捕獲裝置可以具有大約35度至大約55度之間的視場。目標(biāo)對象高度的確定還可以基于檢測到的所述車輛的速度。另外，所述預(yù)定閾值可以是距所述道路的表面至少2cm。所述至少一個處理器還可以被配置為確定所述道路平面為與出現(xiàn)在所述多個圖像中的道路表面相關(guān)聯(lián)的平均表面水平面，并且所述道路表面可以包括砂礫。進一步，所確定的所述目標(biāo)對象的高度相對于所述道路平面小于10cm。

與另一公開的實施方式相一致，提供了一種用于檢測道路上的對象的方法。所述方法可以包括以下步驟：經(jīng)由至少一個圖像捕獲裝置，獲取表示圍繞所述車輛的區(qū)域的多個圖像；接收來自所述多個圖像當(dāng)中的第一圖像以及來自所述多個圖像當(dāng)中的至少第二圖像；對所述第一圖像和至少所述第二圖像進行分析，以確定與道路平面相對應(yīng)的參考平面；確定所述第一圖像和所述第二圖像之間的所述目標(biāo)對象的至少一個維度上的尺寸差；使用所確定的所述至少一個維度上的尺寸差來確定所述目標(biāo)對象的至少高度；并且如果所確定的所述對象的高度超過預(yù)定閾值，則引起所述車輛的至少定向路線的變化。

與公開的實施方式相一致，所述預(yù)定閾值可以是距所述道路的表面至少2cm。

與公開的實施方式相一致，提供了一種用于車輛的交通燈檢測系統(tǒng)。所述系統(tǒng)可包括：至少一個圖像捕獲裝置，所述至少一個圖像捕獲裝置被配置為在所述車輛的典型駕駛員定位的視線外，獲取被定位在所述車輛之上的區(qū)域中的交通燈的多個圖像；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口接收所述多個圖像；基于來自所述多個圖像當(dāng)中的至少第一圖像的分析，確定所述交通燈的狀態(tài)；基于來自所述多個圖像當(dāng)中的至少第二圖像，確定所述交通燈的狀態(tài)的變化；并且基于所述狀態(tài)的變化的確定來引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，所述至少一個圖像捕獲裝置可以包括傳感器以及焦距比所述傳感器的短邊短的透鏡。所述至少一個處理裝置還可以被配置為對所述至少第一圖像中的光學(xué)畸變進行校正。進一步，從所述車輛中的所述典型駕駛員定位開始的垂直視場可以是大約65度，并且所述至少一個圖像捕獲裝置的垂直視場可以是大于65度。所述至少一個圖像捕獲裝置可以被配置為所述車輛內(nèi)部的定位。另外，所述至少一個處理裝置還被配置為，當(dāng)所述至少一個圖像捕獲裝置通過所述車輛的擋風(fēng)玻璃獲取所述多個圖像時，確定所述交通燈的狀態(tài)。所述至少一個圖像捕獲裝置可以被配置為獲取被定位在相對于所述至少一個圖像捕獲裝置的定位的在150度至180度之間的圓錐曲線區(qū)域中的交通燈的圖像。進一步，所述至少一個圖像捕獲裝置可以被配置為獲取被定位在相對于所述至少一個圖像捕獲裝置的定位的在170度至180度之間的圓錐曲線區(qū)域中的交通燈的圖像。所述系統(tǒng)響應(yīng)可以包括將所述狀態(tài)的變化報告給所述車輛的駕駛員。所述系統(tǒng)響應(yīng)還可以包括加速到駕駛員指定巡航速度。所述至少一個處理裝置還可以被配置為基于車輛位置的至少一個指示符來確定所述多個圖像中的所獲取的所述交通燈的關(guān)聯(lián)。車輛位置的所述至少一個指示符可以包括基于所述多個圖像的分析而識別的車道標(biāo)記。另外，車輛位置的所述至少一個指示符可以包括通過GPS獲取的車輛定位，并且所述至少一個處理裝置可以被配置為將所述GPS獲取的車輛定位與地圖數(shù)據(jù)進行比較，以確定所述交通燈的所述關(guān)聯(lián)。

與另一公開的實施方式相一致，一種車輛可包括：本體；至少一個圖像捕獲裝置，所述至少一個圖像捕獲裝置被配置為在車輛的典型駕駛員定位的視線外，獲取被定位在所述車輛之上的區(qū)域中的交通燈的多個圖像；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口接收所述多個圖像；基于來自所述多個圖像當(dāng)中的至少第一圖像的分析，確定所述交通燈的狀態(tài)；基于來自所述多個圖像當(dāng)中的至少第二圖像，確定所述交通燈的狀態(tài)的變化；并且基于所述狀態(tài)的變化的確定來引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，所述至少一個圖像捕獲裝置可以被配置為所述車輛內(nèi)部的定位。所述至少一個處理裝置還可以被配置為，當(dāng)所述至少一個圖像捕獲裝置通過所述車輛的擋風(fēng)玻璃獲取所述多個圖像時，確定所述交通燈的狀態(tài)。另外，所述系統(tǒng)響應(yīng)可以包括將所述狀態(tài)的變化報告給所述車輛的所述駕駛員，或者另選地，可以包括加速到駕駛員指定巡航速度。

與另一公開的實施方式相一致，提供了一種用于導(dǎo)航車輛的方法。所述方法可以包括以下步驟：經(jīng)由至少一個圖像捕獲裝置，在車輛的典型駕駛員定位的視線外，獲取被定位在所述車輛之上的區(qū)域中的交通燈的多個圖像；基于來自所述多個圖像當(dāng)中的至少第一圖像的分析，確定所述交通燈的狀態(tài)；基于來自所述多個圖像當(dāng)中的至少第二圖像，確定所述交通燈的狀態(tài)的變化；以及基于所述狀態(tài)的變化的確定來引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，提供了一種用于車輛的交通燈檢測系統(tǒng)。所述系統(tǒng)可以包括：至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取所述車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括各包括至少一個交通燈的多個交通燈架。所述系統(tǒng)還可以包括數(shù)據(jù)接口和至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口來接收所述至少一個所獲取的圖像；如從所述至少一個所獲取的圖像確定的，使用車輛位置的至少一個指示符來確定所述多個交通燈架中的每一個與所述車輛的關(guān)聯(lián)；基于所述至少一個所獲取的圖像，確定被包括在確定為與所述車輛關(guān)聯(lián)的至少一個交通燈架中的交通燈的狀態(tài)；并且基于所確定的狀態(tài)來引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。進一步，確定所述交通燈的所述狀態(tài)可以包括以下步驟中的任何一種：確定在關(guān)聯(lián)交通燈架內(nèi)的所述交通燈的定位；確定所述交通燈是否被照亮；確定所述交通燈的顏色；以及確定所述交通燈是否包括箭頭。所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供警告；應(yīng)用車輛制動；以及使巡航控制中止。另外，所述多個交通燈架中的每一個與所述車輛的關(guān)聯(lián)可以包括指示所述多個交通燈架中的每一個相對于所述車輛的定向。被確定為與所述車輛關(guān)聯(lián)的所述至少一個交通燈架可以面向所述車輛的前部。

與另一公開的實施方式相一致，車輛可以包括：本體；至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取所述車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括各包括至少一個交通燈的多個交通燈架；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口來接收所述至少一個所獲取的圖像；如從所述至少一個所獲取的圖像確定的，使用車輛位置的至少一個指示符來確定所述多個交通燈架中的每一個與所述車輛的關(guān)聯(lián)；基于所述至少一個所獲取的圖像，確定被包括在確定為與所述車輛關(guān)聯(lián)的至少一個交通燈架中的交通燈的狀態(tài)；并且基于所確定的狀態(tài)來引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。進一步，確定所述交通燈的所述狀態(tài)可以包括以下步驟中的任何一種：確定在關(guān)聯(lián)交通燈架內(nèi)的所述交通燈的定位；確定所述交通燈是否被照亮；確定所述交通燈的顏色；以及確定所述交通燈是否包括箭頭。所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供警告；應(yīng)用車輛制動；以及使巡航控制中止。另外，所述多個交通燈架中的每一個與所述車輛的關(guān)聯(lián)可以包括指示所述多個交通燈架中的每一個相對于所述車輛的定向。被確定為與所述車輛關(guān)聯(lián)的所述至少一個交通燈架可以面向所述車輛的前部。

與另一公開的實施方式相一致，提供了一種用于交通燈檢測的方法。所述方法可以包括以下步驟：經(jīng)由至少一個圖像捕獲裝置，獲取車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括各包括至少一個交通燈的多個交通燈架；如從所述至少一個所獲取的圖像確定的，使用車輛位置的至少一個指示符來確定所述多個交通燈架中的每一個與所述車輛的關(guān)聯(lián)；基于所述至少一個所獲取的圖像，確定被包括在確定為與所述車輛關(guān)聯(lián)的至少一個交通燈架中的交通燈的狀態(tài)；并且基于所確定的狀態(tài)來引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。進一步，確定所述交通燈的所述狀態(tài)可以包括以下步驟中的任何一種：確定在關(guān)聯(lián)交通燈架內(nèi)的所述交通燈的定位；確定所述交通燈是否被照亮；確定所述交通燈的顏色；以及確定所述交通燈是否包括箭頭。所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供警告；應(yīng)用車輛制動；以及使巡航控制中止。另外，所述多個交通燈架中的每一個與所述車輛的關(guān)聯(lián)可以包括指示所述多個交通燈架中的每一個相對于所述車輛的定向。被確定為與所述車輛關(guān)聯(lián)的所述至少一個交通燈架可以面向所述車輛的前部。

與公開的實施方式相一致，提供了一種用于車輛的交通燈檢測系統(tǒng)。該系統(tǒng)可以包括：至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取所述車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括具有至少一個交通燈的交通燈架；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口，接收所述至少一個所獲取的圖像；基于車輛位置的至少一個指示符，確定所述車輛是否在轉(zhuǎn)彎車道上；對所述至少一個圖像執(zhí)行圖像處理，以確定箭頭是否存在于表示所述交通燈的所述圖像的像素內(nèi)部的所述至少一個圖像中；基于所述至少一個圖像，確定所述交通燈的狀態(tài)；并且基于所述交通燈是否包括箭頭的所述交通燈的狀態(tài)以及所述車輛是否在轉(zhuǎn)彎車道上的確定，引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。進一步，車輛位置的所述至少一個指示符可以包括與基于所述至少一個圖像的分析而識別的所述交通燈架相關(guān)聯(lián)的箭頭。車輛位置的所述至少一個指示符可以包括通過GPS獲取的車輛定位。另外，所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。而且，確定所述交通燈的狀態(tài)可以包括以下步驟中的任何一種：確定所述交通燈是否被照亮；確定所述交通燈架內(nèi)的所述交通燈的位置；以及確定與所述交通燈相關(guān)聯(lián)的顏色。車輛位置的所述至少一個指示符可以包括距十字路口的距離。所確定的所述交通燈的狀態(tài)可以是其是閃爍的黃燈，并且如果是的話，所述至少一個處理裝置還可以被配置為確定一個或更多個車輛是否正在從相反的方向接近所述十字路口。如果沒有車輛正在從相反的方向接近所述十字路口，則所述至少一個處理裝置還可以被配置為基于該確定來引起系統(tǒng)響應(yīng)，其中，所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。另外，所述至少一個處理裝置還可以被配置為確定所述車輛所處的所述轉(zhuǎn)彎車道是否被授權(quán)在通過所確定的所述交通燈的狀態(tài)指示的方向上前進。確定所述車輛所處的所述轉(zhuǎn)彎車道是否被授權(quán)前進的步驟可以包括：基于所述車輛的預(yù)定目的地，確定是向左轉(zhuǎn)彎還是向右轉(zhuǎn)彎，或者直行通過所述十字路口。

與另一公開的實施方式相一致，車輛可以包括：本體；至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取所述車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括具有至少一個交通燈的交通燈架；數(shù)據(jù)接口；以及至少一個處理裝置。所述至少一個處理裝置可以被配置為：經(jīng)由所述數(shù)據(jù)接口，接收所述至少一個所獲取的圖像；基于車輛位置的至少一個指示符，確定所述車輛是否在轉(zhuǎn)彎車道上；對所述至少一個圖像執(zhí)行圖像處理，以確定箭頭是否存在于表示所述交通燈的所述圖像的像素內(nèi)部的所述至少一個圖像中；基于所述至少一個圖像，確定所述交通燈的狀態(tài)；并且基于所述交通燈是否包括箭頭的所述交通燈的狀態(tài)以及所述車輛是否在轉(zhuǎn)彎車道上的確定，引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。車輛位置的所述至少一個指示符可以包括通過GPS獲取的車輛定位。另外，所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。而且，確定所述交通燈的狀態(tài)可以包括以下步驟中的任何一種：確定所述交通燈是否被照亮；確定所述交通燈架內(nèi)的所述交通燈的位置；以及確定與所述交通燈相關(guān)聯(lián)的顏色。車輛位置的所述至少一個指示符可以包括距十字路口的距離。所確定的所述交通燈的狀態(tài)可以是其是閃爍的黃燈，并且如果是的話，所述至少一個處理裝置還可以被配置為確定一個或更多個車輛是否正在從相反的方向接近所述十字路口。如果沒有車輛正在從相反的方向接近所述十字路口，則所述至少一個處理裝置還可以被配置為基于該確定來引起系統(tǒng)響應(yīng)，其中，所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。另外，所述至少一個處理裝置還可以被配置為確定所述車輛所處的所述轉(zhuǎn)彎車道是否被授權(quán)在通過所確定的所述交通燈的狀態(tài)指示的方向上前進。

與另一公開的實施方式相一致，提供了一種用于交通燈檢測的方法。所述方法可以包括以下步驟：經(jīng)由至少一個圖像捕獲裝置，獲取車輛的前方區(qū)域的至少一個圖像，所述區(qū)域包括具有至少一個交通燈的交通燈架；基于車輛位置的至少一個指示符，確定所述車輛是否在轉(zhuǎn)彎車道上；對所述至少一個圖像執(zhí)行圖像處理，以確定箭頭是否存在于表示所述交通燈的所述圖像的像素內(nèi)部的所述至少一個圖像中；基于所述至少一個圖像，確定所述交通燈的狀態(tài)；以及基于所述交通燈是否包括箭頭的所述交通燈的狀態(tài)以及所述車輛是否在轉(zhuǎn)彎車道上的確定，引起系統(tǒng)響應(yīng)。

與公開的實施方式相一致，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。進一步，車輛位置的所述至少一個指示符可以包括與基于所述至少一個圖像的分析而識別的所述交通燈架相關(guān)聯(lián)的箭頭。車輛位置的所述至少一個指示符可以包括通過GPS獲取的車輛定位。另外，所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。而且，確定所述交通燈的狀態(tài)可以包括以下步驟中的任何一種：確定所述交通燈是否被照亮；確定所述交通燈架內(nèi)的所述交通燈的位置；以及確定與所述交通燈相關(guān)聯(lián)的顏色。

與公開的實施方式相一致，提供了一種用于車輛的交通燈檢測系統(tǒng)。該系統(tǒng)可以包括：至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取所述車輛的前方區(qū)域的多個圖像，所述區(qū)域包括具有至少一個交通燈的交通燈架；數(shù)據(jù)接口；以及至少一個處理裝置，該至少一個處理裝置被配置為經(jīng)由所述數(shù)據(jù)接口來接收所述多個圖像。所述至少一個處理裝置還可以被配置為：基于確定的亮度中心，將與所述交通燈相對應(yīng)的所述多個圖像的區(qū)域?qū)R；擴展位于經(jīng)對齊的區(qū)域內(nèi)部的每個像素；確定包括針對經(jīng)對齊的區(qū)域內(nèi)部的每組相應(yīng)經(jīng)擴展的像素的平均像素值的一組平均像素值；并且基于所述一組平均像素值來確定所述交通燈是否包括箭頭。

與公開的實施方式相一致，經(jīng)對齊的區(qū)域內(nèi)部的每個像素的擴展可以包括將每個像素擴展成3x3矩陣的像素。另選地，經(jīng)對齊的區(qū)域內(nèi)部的每個像素的擴展可以包括將每個像素擴展成4x4矩陣的像素。將與所述交通燈相對應(yīng)的所述多個圖像的區(qū)域?qū)R的步驟可以包括：使所述多個圖像的所述區(qū)域進行旋轉(zhuǎn)。另外，所述至少一個處理裝置還可以被配置為，當(dāng)所述交通燈包括箭頭時，基于所述一組平均像素值來確定該箭頭的顏色。進一步，所述至少一個處理裝置還可以被配置為基于所述箭頭的所述顏色的確定來引起系統(tǒng)響應(yīng)。所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。

與另一公開的實施方式相一致，提供了一種車輛。該車輛可以包括：本體；至少一個圖像捕獲裝置，該至少一個圖像捕獲裝置被配置為獲取所述車輛的前方區(qū)域的多個圖像，所述區(qū)域包括具有至少一個交通燈的交通燈架；數(shù)據(jù)接口；以及至少一個處理裝置，該至少一個處理裝置被配置為經(jīng)由所述數(shù)據(jù)接口來接收所述多個圖像。所述至少一個處理裝置還可以被配置為：基于確定的亮度中心，將與所述交通燈相對應(yīng)的所述多個圖像的區(qū)域?qū)R；擴展位于經(jīng)對齊的區(qū)域內(nèi)部的每個像素；確定包括針對經(jīng)對齊的區(qū)域內(nèi)部的每組相應(yīng)經(jīng)擴展的像素的平均像素值的一組平均像素值；并且基于所述一組平均像素值來確定所述交通燈是否包括箭頭。

與公開的實施方式相一致，經(jīng)對齊的區(qū)域內(nèi)部的每個像素的擴展可以包括將每個像素擴展成3x3矩陣的像素。另選地，經(jīng)對齊的區(qū)域內(nèi)部的每個像素的擴展可以包括將每個像素擴展成4x4矩陣的像素。將與所述交通燈相對應(yīng)的所述多個圖像的區(qū)域?qū)R的步驟可以包括：使所述多個圖像的所述區(qū)域進行旋轉(zhuǎn)。另外，所述至少一個處理裝置還可以被配置為，當(dāng)所述交通燈包括箭頭時，基于所述一組平均像素值來確定該箭頭的顏色。

與另一公開的實施方式相一致，提供了一種交通燈檢測方法。所述方法可以包括以下步驟：經(jīng)由至少一個圖像捕獲裝置，獲取車輛的前方區(qū)域的多個圖像，所述區(qū)域包括具有至少一個交通燈的交通燈架；基于確定的亮度中心，將與所述交通燈相對應(yīng)的所述多個圖像的區(qū)域進行對齊；以及擴展經(jīng)對齊的區(qū)域內(nèi)部的每個像素。所述方法還可以包括以下步驟：確定包括針對經(jīng)對齊的區(qū)域內(nèi)部的每組相應(yīng)經(jīng)擴展的像素的平均像素值在內(nèi)的一組平均像素值；以及基于所述一組平均像素值，確定所述交通燈是否包括箭頭。

與公開的實施方式相一致，經(jīng)對齊的區(qū)域內(nèi)部的每個像素的擴展可以包括將每個像素擴展成3x3矩陣的像素。另選地，經(jīng)對齊的區(qū)域內(nèi)部的每個像素的擴展可以包括將每個像素擴展成4x4矩陣的像素。將與所述交通燈相對應(yīng)的所述多個圖像的區(qū)域?qū)R的步驟可以包括：使所述多個圖像的所述區(qū)域進行旋轉(zhuǎn)。另外，所述至少一個處理裝置還可以被配置為，當(dāng)所述交通燈包括箭頭時，基于所述一組平均像素值來確定該箭頭的顏色。進一步，所述至少一個處理裝置還可以被配置為基于所述箭頭的所述顏色的確定來引起系統(tǒng)響應(yīng)。所述系統(tǒng)響應(yīng)可以包括以下步驟中的任何一種：向所述車輛的所述駕駛員提供通知；應(yīng)用車輛制動；使巡航控制中止；以及發(fā)起自動轉(zhuǎn)彎機動。

與其它公開的實施方式相一致，非臨時性計算機可讀存儲介質(zhì)可以存儲程序指令，該程序指令由至少一個處理裝置執(zhí)行并且執(zhí)行本文中描述的任何方法。

前面的總體描述和以下詳細(xì)描述僅是示例性和說明性的并不限制權(quán)利要求書。

附圖說明

并入本公開并構(gòu)成本公開一部分的附圖圖示了各種公開的實施方式。在附圖中：

圖1是與公開的實施方式相一致的示例性系統(tǒng)的概略表示。

圖2A是包括與公開的實施方式相一致的系統(tǒng)的示例性車輛的概略側(cè)視圖表示。

圖2B是與公開的實施方式相一致的圖2A所示車輛和系統(tǒng)的概略頂視圖表示。

圖2C是包括與公開的實施方式相一致的系統(tǒng)的車輛的另一實施方式的概略頂視圖表示。

圖2D是包括與公開的實施方式相一致的系統(tǒng)的車輛的又一實施方式的概略頂視圖表示。

圖2E是包括與公開的實施方式相一致的系統(tǒng)的車輛的又一實施方式的概略頂視圖表示。

圖2F是與公開的實施方式相一致的示例性車輛控制系統(tǒng)的概略表示。

圖3A是與公開的實施方式相一致的車輛的內(nèi)部的概略表示，包括用于車輛成像系統(tǒng)的后視鏡和用戶接口。

圖3B是與公開的實施方式相一致的構(gòu)造成定位在后視鏡后面并且抵著車輛擋風(fēng)玻璃的相機安裝件的示例的圖示。

圖3C是與公開的實施方式相一致的圖3B所示的視角不同的相機安裝件的圖示。

圖3D是與公開的實施方式相一致的構(gòu)造成定位在后視鏡后面并且抵著車輛擋風(fēng)玻璃的相機安裝件的示例的圖示。

圖4是與公開的實施方式相一致的存儲器的示例性框圖，該存儲器被構(gòu)造成存儲用于執(zhí)行一個或多個操作的指令。

圖5A是示出與公開的實施方式相一致的用于基于單眼圖像分析來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理的流程圖。

圖5B是示出與公開的實施方式相一致的用于檢測一組圖像中的一個或多個車輛和/或行人的示例性處理的流程圖。

圖5C是示出與公開的實施方式相一致的用于檢測一組圖像中的路標(biāo)和/或車道幾何信息的示例性處理的流程圖。

圖5D是示出與公開的實施方式相一致的用于檢測一組圖像中的交通燈的示例性處理的流程圖。

圖5E是示出與公開的實施方式相一致的用于基于車輛路徑來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理的流程圖。

圖5F是示出與公開的實施方式相一致的用于確定前車是否變道的示例性處理的流程圖。

圖6是示出與公開的實施方式相一致的用于基于立體圖像分析來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理的流程圖。

圖7是示出與公開的實施方式相一致的用于基于三組圖像分析來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理的流程圖。

圖8是包括與車輛的當(dāng)前行駛車道即將終止的公開的實施方式相一致的系統(tǒng)的示例性車輛的概略頂視圖表示。

圖9是與公開的實施方式相一致的示例性車道盡頭識別系統(tǒng)的存儲器的概略表示。

圖10A是與公開的實施方式相一致的包括遇到由道路標(biāo)志進行標(biāo)記的行駛車道的盡頭的車道盡頭識別系統(tǒng)的示例性車輛的概略表示。

圖10B是與公開的實施方式相一致的包括在前車后面行駛可測量距離的車道盡頭識別系統(tǒng)在內(nèi)的示例性車輛的概略表示。

圖11是示出與公開的實施方式相一致的用于確定車輛正在行駛的當(dāng)前車道是否即將終止的示例性處理的流程圖。

圖12是包括與在車輛正在行駛的行駛車道內(nèi)部檢測到對象的公開的實施方式相一致的系統(tǒng)在內(nèi)的示例性車輛的概略頂視圖表示。

圖13是與公開的實施方式相一致的示例性駕駛員輔助對象檢測系統(tǒng)的存儲器的概略表示。

圖14A是與公開的實施方式相一致的指示在通過示例性駕駛員輔助對象檢測系統(tǒng)所獲取的多個圖像當(dāng)中在行駛車道內(nèi)部發(fā)現(xiàn)的對象的兩個所獲取圖像的概略表示。

圖14B是包括與在車輛正在行駛的行駛車道內(nèi)部檢測到對象的公開的實施方式相一致的系統(tǒng)在內(nèi)的示例性車輛的概略頂視圖表示。

圖15是示出與公開的實施方式相一致的用于確定車輛正在行駛的當(dāng)前車道是否即將終止的示例性處理的流程圖。

圖16是與公開的實施方式相一致的包括具有延伸視角的圖像捕獲裝置在內(nèi)的示例性車輛的概略側(cè)視圖表示。

圖17是與公開的實施方式相一致的包括具有延伸視角的圖像捕獲裝置在內(nèi)的車輛的概略頂視圖表示。

圖18是與公開的實施方式相一致的存儲識別定位在典型駕駛員定位的視線外面的對象的指令的存儲器的概略表示。

圖19是示出與公開的實施方式相一致的用于識別定位在典型駕駛員定位的視線外面的對象的示例性處理的流程圖。

圖20是與公開的實施方式相一致的接近具有多個交通燈的十字路口的兩個示例性車輛的概略表示。

圖21是與公開的實施方式相一致的接近具有多個交通燈的十字路口的示例性車輛的概略表示。

圖22是與公開的實施方式相一致的存儲用于檢測交通燈的指令的存儲器的概略表示。

圖23是示出與公開的實施方式相一致的用于檢測交通燈的示例性處理的流程圖。

圖24是包括與車輛正在接近具有交通燈的十字路口的公開的實施方式相一致的系統(tǒng)的示例性車輛的概略頂視圖表示。

圖25是與公開的實施方式相一致的示例性交通燈檢測系統(tǒng)的存儲器的概略表示。

圖26A是與公開的實施方式相一致的包括遇到具有交通燈的十字路口并確定其狀態(tài)的交通燈檢測系統(tǒng)的示例性車輛的概略表示。

圖26B是與公開的實施方式相一致的包括遇到具有閃爍的黃燈的十字路口并確定通過動作的交通燈檢測系統(tǒng)的示例性車輛的概略表示。

圖27是示出與公開的實施方式相一致的用于確定十字路口處的交通燈的狀態(tài)的示例性處理的流程圖。

圖28是與公開的實施方式相一致的存儲器的示例性框圖，該存儲器被構(gòu)造成存儲用于執(zhí)行一個或多個操作的指令。

圖29A是與公開的實施方式相一致的示例性交通燈的例示。

圖29B是與公開的實施方式相一致的示例性交通燈的另一例示。

圖29C是與公開的實施方式相一致的圖29A的交通燈的一部分的示例性圖像的例示。

圖29D是與公開的實施方式相一致的圖29B的交通燈的一部分的示例性圖像的例示。

圖30A是示出與公開的實施方式相一致的用于確定交通燈是否包括箭頭的示例性處理的流程圖。

圖30B是示出與公開的實施方式相一致的用于基于交通燈中箭頭信號的檢測來引起系統(tǒng)響應(yīng)的示例性處理的流程圖。

具體實施方式

以下詳細(xì)描述參照附圖。在可能的情況下，相同的附圖標(biāo)記在圖中和以下描述中用來指相同或類似的部分。雖然本文中描述了若干說明性實施方式，但是可以進行修改、改寫及其它實施。例如，對圖中圖示的部件可做出替換、添加或修改，并且本文中描述的說明性方法可通過將步驟替換、重新排序、移除或添加至公開的方法進行修改。因此，以下詳細(xì)描述并不限于公開的實施方式和示例。相反，適當(dāng)范圍由所附權(quán)利要求限定。

公開的實施方式提供使用相機來提供自主導(dǎo)航特征的系統(tǒng)和方法。在各種實施方式中，所述系統(tǒng)可包括監(jiān)測車輛的環(huán)境的一個、兩個或更多個相機。在一個實施方式中，系統(tǒng)可以識別駕駛車道將何時終止，并且當(dāng)檢測到終止時，做出諸如車道變更的響應(yīng)性導(dǎo)航變更。系統(tǒng)可以僅基于視覺信息進行操作，而不是依賴地圖數(shù)據(jù)來做出該確定。進一步，盡管系統(tǒng)可以通過車道終止的直接觀察來識別車道的盡頭，系統(tǒng)還可以通過例如觀察并識別提供有關(guān)車道終止的信息的道路標(biāo)志警報來較早地識別接近車道盡頭。在另一實施方式中，系統(tǒng)可以確定在道路上存在障礙物，其中，這些障礙物具有小于例如10cm的高度。在另一實施方式中，系統(tǒng)可以看到并識別位于車輛之上的交通燈。在另一實施方式中，系統(tǒng)可以從多個交通燈當(dāng)中識別交通燈及其狀態(tài)，并且基于該交通燈的狀態(tài)來引起導(dǎo)航變更(例如，當(dāng)識別到紅燈時中止巡航并引起制動)。例如，系統(tǒng)可以識別哪些成像的交通燈與車輛關(guān)聯(lián)，并且僅對確定為關(guān)聯(lián)的這些交通燈做出響應(yīng)。在另一實施方式中，系統(tǒng)可以基于與所確定的燈的特性相結(jié)合的道路環(huán)境信息來識別轉(zhuǎn)彎車道交通燈及其狀態(tài)。在另一實施方式中，系統(tǒng)可以采用超分辨率技術(shù)來識別并分析交通燈。例如，系統(tǒng)可以在圓形交通燈和箭頭形交通燈之間進行區(qū)分。

圖1是與示例性公開的實施方式相一致的系統(tǒng)100的框圖表示。取決于特定實施的要求，系統(tǒng)100可包括各種部件。在一些實施方式中，系統(tǒng)100可包括處理單元110、圖像獲取單元120、位置傳感器130、一個或多個存儲器單元140、150、地圖數(shù)據(jù)庫160和用戶接口170。處理單元110可包括一個或多個處理裝置。在一些實施方式中，處理單元110可包括應(yīng)用處理器180、圖像處理器190或任何其它合適的處理裝置。類似地，取決于特定應(yīng)用的要求，圖像獲取單元120可包括任何數(shù)目的圖像獲取裝置和部件。在一些實施方式中，圖像獲取單元120可包括一個或多個圖像捕獲裝置(例如，相機)，諸如圖像捕獲裝置122、圖像捕獲裝置124和圖像捕獲裝置126。系統(tǒng)100可還包括數(shù)據(jù)接口128，該數(shù)據(jù)接口128將處理裝置110和圖像獲取裝置120通信連接。例如，數(shù)據(jù)接口128可包括用于將由圖像獲取裝置120獲取的圖像數(shù)據(jù)發(fā)送到處理單元110的任何一個或多個有線和/或無線鏈路。

應(yīng)用處理器180和圖像處理器190兩者均可包括各種類型的處理裝置。例如，應(yīng)用處理器180和圖像處理器190中的任一者或兩者可包括微處理器、預(yù)處理器(諸如圖像預(yù)處理器)、圖形處理器、中央處理單元(CPU)、支持電路、數(shù)字信號處理器、集成電路、存儲器或適于運行應(yīng)用程序以及圖像處理和分析的任何其它類型的裝置。在一些實施方式中，應(yīng)用處理器180和/或圖像處理器190可包括任何類型的單核或多核處理器、移動裝置微控制器、中央處理單元，等等。可使用各種處理裝置，包括例如可購自諸如等等制造商的處理器，并且可包括各種結(jié)構(gòu)(例如，x86處理器、等等)。

在一些實施方式中，應(yīng)用處理器180和/或圖像處理器190可包括任何可購自的EyeQ系列處理器芯片。這些處理器設(shè)計各包括具有本地存儲器和指令集的多處理單元。這樣的處理器可包括用于接收來自多個圖像傳感器的圖像數(shù)據(jù)的視頻輸入，并且還可包括視頻輸出功能。在一個示例中，使用在332Mhz下操作的90納米微米技術(shù)。結(jié)構(gòu)組成如下：兩個浮點、超線程32位RISC CPU(核)、五個視覺計算引擎(VCE)、三個矢量微碼處理器Denali 64位移動DDR控制器、128位內(nèi)部超音速互連、雙16位視頻輸入控制器和18位視頻輸出控制器、16通道DMA以及若干外設(shè)。MIPS34K CPU管理五個VCE、三個VMP^TM和DMA、第二MIPS34K CPU和多通道DMA以及其它外設(shè)。五個VCE、三個和MIPS34K CPU可以執(zhí)行多功能捆綁應(yīng)用程序所需要的密集的視覺計算。在另一示例中，為第三代處理器并且比強大六倍的可在公開的實施方式中使用。

本文中公開的處理裝置中的任何一個可以被配置為執(zhí)行一定功能。對諸如所描述的EyeQ處理器或其它控制器或微處理器中的任何一種的處理裝置進行配置以執(zhí)行一定功能的步驟可以包括：計算機可執(zhí)行指令的編程，以及使得這些指令對處理裝置可用以用于處理裝置的操作期間的執(zhí)行。在一些實施方式中，對處理裝置進行配置的步驟可以包括：利用架構(gòu)指令直接對處理裝置進行編程。在其它實施方式中，對處理裝置進行配置的步驟可以包括：將可執(zhí)行指令存儲在操作期間對于處理裝置而言可訪問的存儲器上。例如，處理裝置可以在操作期間訪問存儲器，以獲得并執(zhí)行所存儲的指令。

雖然圖1描繪了包括在處理單元110中的兩個分離處理裝置，但是可使用或多或少的處理裝置。例如，在一些實施方式中，單個處理裝置可用于完成應(yīng)用處理器180和圖像處理器190的任務(wù)。在其它實施方式中，這些任務(wù)可由多于兩個處理裝置執(zhí)行。

處理單元110可包括各種類型的裝置。例如，處理單元110可包括各種裝置，諸如控制器、圖像預(yù)處理器、中央處理單元(CPU)、支持電路、數(shù)字信號處理器、集成電路、存儲器或任何其它類型的用于圖像處理和分析的裝置。圖像預(yù)處理器可包括用于捕獲、數(shù)字化并處理來自圖像傳感器的圖像的視頻處理器。CPU可包括任何數(shù)目的微控制器或微處理器。支持電路可以是本領(lǐng)域普遍公知的任何數(shù)目的電路，包括高速緩存、電源、時鐘和輸入輸出電路。存儲器可存儲軟件，該軟件當(dāng)由處理器執(zhí)行時會控制系統(tǒng)的操作。存儲器可包括數(shù)據(jù)庫和圖像處理軟件。存儲器可包括任何數(shù)目的隨機存取存儲器、只讀存儲器、閃速存儲器、盤驅(qū)動器、光學(xué)存儲介質(zhì)、磁帶存儲介質(zhì)、可去除存儲介質(zhì)及其它類型的存儲介質(zhì)。在一個實例中，存儲器可從處理單元110分離。在另一實例中，存儲器可集成到處理單元110中。

每個存儲器140、150可包括軟件指令，該軟件指令當(dāng)由處理器(例如，應(yīng)用處理器180和/或圖像處理器190)執(zhí)行時可控制系統(tǒng)100的各方面的操作。這些存儲器單元可包括各種數(shù)據(jù)庫和圖像處理軟件。存儲器單元可包括隨機存取存儲器、只讀存儲器、閃速存儲器、盤驅(qū)動器、光學(xué)存儲介質(zhì)、磁帶存儲介質(zhì)、可去除存儲介質(zhì)和/或任何其它類型的存儲介質(zhì)。在一些實施方式中，存儲器單元140、150可從應(yīng)用處理器180和/或圖像處理器190分離。在其它實施方式中，這些存儲器單元可集成到應(yīng)用處理器180和/或圖像處理器190中。

位置傳感器130可包括適于確定與系統(tǒng)100的至少一個部件關(guān)聯(lián)的地點的任何類型的裝置。在一些實施方式中，位置傳感器130可包括GPS接收器。這樣的接收器可以通過處理全球定位系統(tǒng)衛(wèi)星傳播的信號來確定用戶位置和速度。來自位置傳感器130的位置信息可供應(yīng)用處理器180和/或圖像處理器190使用。

用戶接口170可包括適于向來自系統(tǒng)100的一個或多個用戶的輸入提供信息或者用于接收所述輸入的任何裝置。在一些實施方式中，用戶接口170可包括用戶輸入裝置，包括例如觸摸屏、麥克風(fēng)、鍵盤、指針裝置、跟蹤輪、相機、旋鈕、按鈕，等等。在這樣的輸入裝置的情況下，用戶能夠通過以下手段向系統(tǒng)100提供信息輸入或命令：鍵入指令或信息、提供語音命令、使用按鈕、指針或眼跟蹤功能在屏幕上選擇菜單選項或者用于將信息與系統(tǒng)100通信的任何其它合適的技術(shù)。

用戶接口170可配備有一個或多個處理裝置，該一個或多個處理裝置被構(gòu)造成向用戶提供信息或從用戶接收信息并且處理該信息以供例如應(yīng)用處理器180使用。在一些實施方式中，這樣的處理裝置可執(zhí)行指令以辨識并跟蹤眼移動、接收并解譯語音命令、辨識并解譯在觸摸屏上做出的觸摸和/或手勢、響應(yīng)于鍵盤輸入或菜單選擇，等等。在一些實施方式中，用戶接口170可包括顯示器、揚聲器、觸覺裝置和/或用于向用戶提供輸出信息的任何其它裝置。

地圖數(shù)據(jù)庫160可包括用于存儲對系統(tǒng)100有用的地圖數(shù)據(jù)的任何類型的數(shù)據(jù)庫。在一些實施方式中，地圖數(shù)據(jù)庫160可包括各種條目的在參考坐標(biāo)系中與位置相關(guān)的數(shù)據(jù)，所述條目包括道路、水特征、地理特征、企業(yè)、關(guān)注點、餐廳、加油站，等等。地圖數(shù)據(jù)庫160不僅可存儲這樣的條目的地點，而且可存儲與這些條目相關(guān)的描述詞(包括例如，與任何存儲特征關(guān)聯(lián)的名稱)。在一些實施方式中，地圖數(shù)據(jù)庫160可與系統(tǒng)100的其它部件物理定位。替代地或另外，地圖數(shù)據(jù)庫160或其一部分可相對于系統(tǒng)100的其它部件(例如，處理單元110)遠(yuǎn)程定位。在這樣的實施方式中，來自地圖數(shù)據(jù)庫160的信息可通過網(wǎng)絡(luò)的有線或無線數(shù)據(jù)連接(例如，通過蜂窩網(wǎng)絡(luò)和/或因特網(wǎng)，等等)下載。

圖像捕獲裝置122、124和126可各包括適于從環(huán)境中捕獲至少一個圖像的任何類型的裝置。而且，任何數(shù)目的圖像捕獲裝置可用于獲取圖像以輸入到圖像處理器。一些實施方式可僅包括單個圖像捕獲裝置，而其它實施方式可包括兩個、三個或者甚至四個以上圖像捕獲裝置。圖像捕獲裝置122、124和126將在下面參照圖2B至圖2E進一步描述。

系統(tǒng)100或其各種部件可整合到各種不同的平臺中。在一些實施方式中，系統(tǒng)100可包括在如圖2A所示的車輛200上。例如，如上面相對于圖1描述的，車輛200可配備有處理單元110和系統(tǒng)100的任何其它部件。而在一些實施方式中，車輛200可僅配備有單個圖像捕獲裝置(例如，相機)，在諸如結(jié)合圖2B至圖2E討論的其它實施方式中，可使用多個圖像捕獲裝置。例如，如圖2A所示的車輛200的圖像捕獲裝置122和124中的任一者可以是ADAS(先進駕駛員輔助系統(tǒng))成像組的一部分。

包括在車輛200上作為圖像獲取單元120的一部分的圖像捕獲裝置可定位在任何合適的地點處。在一些實施方式中，如圖2A至圖2E和圖3A至圖3C所示，圖像捕獲裝置122可位于后視鏡附近。該位置可提供視線(類似于車輛200的駕駛員的視線)，可幫助確定對駕駛員而言什么是可見的，什么是不可見的。圖像捕獲裝置122可定位在后視鏡附近的任何地點處，但將圖像捕獲裝置122放置在鏡子的在駕駛員的那一側(cè)上可進一步幫助獲得表示駕駛員視場和/或視線的圖像。

針對圖像獲取單元120的圖像捕獲裝置，還可使用其它地點。例如，圖像捕獲裝置124可位于車輛200的保險杠之上或之中。這樣的地點可尤其適合具有寬視場的圖像捕獲裝置。位于保險杠上的圖像捕獲裝置的視線可以不同于駕駛員的視線，因此，保險杠圖像捕獲裝置和駕駛員可能并不總是看到相同的對象。圖像捕獲裝置(例如，圖像捕獲裝置122、124和126)也可位于其它地點中。例如，圖像捕獲裝置可位于車輛200的一個或兩個側(cè)視鏡之上或之中、車輛200的車頂上、車輛200的發(fā)動機罩上、車輛200的行李箱上、車輛200的側(cè)面，安裝在車輛200的任何窗口上、定位在車輛200的任何窗口的后面或前面，以及安裝在車輛200的正面和/或背面的光圖之中或附近，等等。

除了圖捕獲裝置，車輛200可包括系統(tǒng)100的各種其它部件。例如，處理單元110可包括在車輛200上，與車輛的發(fā)動機控制單元(ECU)或者集成或者分離。車輛200還可配備有諸如GPS接收器的位置傳感器130，并且還可包括地圖數(shù)據(jù)庫160以及存儲器單元140和150。

圖2A是與公開的實施方式相一致的示例性車輛成像系統(tǒng)的概略側(cè)視圖表示。圖2B是圖2A所示的實施方式的概略頂視圖圖示。如圖2B中圖示的，公開的實施方式可包括車輛200，車輛200在其主體中包括系統(tǒng)100，系統(tǒng)100具有定位在后視鏡附近和/或車輛200的駕駛員附近的第一圖像捕獲裝置122、定位在車輛200的保險杠區(qū)域(例如，保險杠區(qū)域210中的一個)之上或之中的第二圖像捕獲裝置124，以及處理單元110。

如圖2C中所例示的，圖像捕獲裝置122和124都可定位在后視鏡附近和/或靠近車輛200的駕駛員。另外，雖然圖2B和圖2C中示出了兩個圖像捕獲裝置122和124，但是應(yīng)當(dāng)理解，其它實施方式可以包括超過兩個圖像捕獲裝置。例如，在圖2D和圖2E示出的實施方式中，第一圖像捕獲裝置122，第二圖像捕獲裝置124和第三圖像捕獲裝置126被包括在車輛200的系統(tǒng)100中。

如圖2D中圖示的，圖像捕獲裝置122可定位在后視鏡附近和/或車輛200的駕駛員附近，并且圖像捕獲裝置124和126可定位在車輛200的保險杠區(qū)域(例如，保險杠區(qū)域210中的一個)之上或之中。并且如圖2E所示，圖像捕獲裝置122、124和126可定位在后視鏡附近和/或車輛200的駕駛員座椅附近。公開的實施方式并不限于任何特定數(shù)目和構(gòu)造的圖像捕獲裝置，并且圖像捕獲裝置可定位在車輛200內(nèi)和/或上的任何適當(dāng)?shù)牡攸c中。

應(yīng)理解的是，公開的實施方式并不限于車輛并且可以應(yīng)用在其它背景中。還應(yīng)理解的是，公開的實施方式并不限于特定類型的車輛200并且可應(yīng)用于所有類型的車輛，包括汽車、卡車、拖車和其它類型的車輛。

第一圖像捕獲裝置122可包括任何合適類型的圖像捕獲裝置。圖像捕獲裝置122可包括光軸。在一個實例中，圖像捕獲裝置122可包括具有全局快門的Aptina M9V024WVGA傳感器。在其它實施方式中，圖像捕獲裝置122可提供1280x960像素的分辨率并且可包括卷簾快門。圖像捕獲裝置122可包括各種光學(xué)元件。在一些實施方式中，例如，可包括一個或多個透鏡，為圖像捕獲裝置提供期望的焦距和視場。在一些實施方式中，圖像捕獲裝置122可與6mm透鏡或12mm透鏡關(guān)聯(lián)。在一些實施方式中，如圖2D中圖示的，圖像捕獲裝置122可構(gòu)造成獲取具有期望視場(FOV)202的圖像。例如，圖像捕獲裝置122可構(gòu)造成具有常規(guī)的FOV，諸如在40度到56度的范圍內(nèi)，包括46度FOV、50度FOV、52度FOV以上。替代地，圖像捕獲裝置122可構(gòu)造成具有23度到40度范圍內(nèi)的窄FOV，諸如28度FOV或36度FOV。另外，圖像捕獲裝置122可構(gòu)造成具有100度到180度范圍內(nèi)的寬FOV。在一些實施方式中，圖像捕獲裝置122可包括寬角度的保險杠相機或者具有直到180度FOV。

第一圖像捕獲裝置122可相對于與車輛200關(guān)聯(lián)的場景獲取多個第一圖像。多個第一圖像中的每個均可被獲取，作為可使用卷簾快門捕獲的一系列圖像掃描線。每個掃描線均可包括多個像素。

第一圖像捕獲裝置122可具有與獲取第一系列圖像掃描線中的每個關(guān)聯(lián)的掃描速率。掃描速率可指這樣的速率，即在所述速率下，圖像傳感器可以獲取與包括在特定掃描線中的每個像素關(guān)聯(lián)的圖像數(shù)據(jù)。

例如，圖像捕獲裝置122、124和126可包含任何合適類型和數(shù)目的圖像傳感器，包括CCD傳感器或CMOS傳感器。在一個實施方式中，CMOS圖像傳感器可連同卷簾快門一起采用，使得一行中的每個像素一次讀取一個，并且該行的掃描在一行接一行的基礎(chǔ)上進行，直到整個圖像幀已被捕獲。在一些實施方式中，該行可相對于幀從上到下依次捕獲。

使用卷簾快門可導(dǎo)致不同行中的像素在不同的時間被曝光并被捕獲，這可致使被捕獲的圖像幀的歪斜和其它圖像偽影。另一方面，當(dāng)圖像捕獲裝置122被構(gòu)造成用全局或同步快門操作時，所有像素都可曝光持續(xù)相同的時間量并且在共同的曝光周期中。結(jié)果是，從采用全局快門的系統(tǒng)中收集的幀的圖像數(shù)據(jù)表示整個FOV(諸如FOV202)在特定時間的快照。對比之下，在卷簾快門應(yīng)用中，幀中的每行均被曝光，并且數(shù)據(jù)在不同的時間被捕獲。由此，移動的對象可能在具有卷簾快門的圖像捕獲裝置中呈現(xiàn)畸變。該現(xiàn)象將在下面更詳細(xì)地描述。

第二圖像捕獲裝置124和第三圖像捕獲裝置126可以是任何類型的圖像捕獲裝置。如同第一圖像捕獲裝置122，圖像捕獲裝置124和126中的每個均可包括光軸。在一個實施方式中，圖像捕獲裝置124和126中的每個均可包括具有全局快門的Aptina M9V024 WVGA傳感器。替代地，圖像捕獲裝置124和126中的每個均可包括卷簾快門。如同圖像捕獲裝置122，圖像捕獲裝置124和126可構(gòu)造成包括各種透鏡和光學(xué)元件。在一些實施方式中，與圖像捕獲裝置124和126關(guān)聯(lián)的透鏡可提供等于或窄于與圖像捕獲裝置122關(guān)聯(lián)的FOV(諸如FOV 202)的FOV(諸如FOV 204和206)。例如，圖像捕獲裝置124和126可具有40度、30度、26度、23度、20度或以下的FOV。

圖像捕獲裝置124和126可相對于與車輛200的關(guān)聯(lián)的場景獲取多個第二圖像和第三圖像。多個第二圖像和第三圖像中的每個均可獲取為可使用卷簾快門捕獲的第二系列和第三系列的圖像掃描線。每個掃描線或行均可具有多個像素。圖像捕獲裝置124和126可具有與獲取包括在第二系列和第三系列中的每個圖像掃描線關(guān)聯(lián)的第二掃描速率和第三掃描速率。

每個圖像捕獲裝置122、124和126均可相對于車輛200定位在任何合適的位置和取向。可選擇圖像捕獲裝置122、124和126的相對定位以幫助將從圖像捕獲裝置獲取的信息融合到一起。例如，在一些實施方式中，與圖像捕獲裝置124關(guān)聯(lián)的FOV(諸如FOV 204)可與關(guān)聯(lián)圖像捕獲裝置122的FOV(諸如FOV 202)和關(guān)聯(lián)圖像捕獲裝置126的FOV(諸如FOV 206)部分地或完全地地重疊。

圖像捕獲裝置122、124和126可位于車輛200上任何合適的相對高度處。在一個實例中，在圖像捕獲裝置122、124和126之間可能存在高度差，這可提供足夠的視差信息來實現(xiàn)立體分析。例如，如圖2A所示，兩個圖像捕獲裝置122和124處于不同的高度處。例如，在圖像捕獲裝置122、124和126之間還可能存在側(cè)向位移差，為處理單元110的立體分析給出額外視差信息。側(cè)向位移差可記作d_x，如圖2C和圖2D所示。在一些實施方式中，前后位移(例如，范圍位移)可能存在于圖像捕獲裝置122、124和126之間。例如，圖像捕獲裝置122可位于圖像捕獲裝置124和/或圖像捕獲裝置126后面的0.5米到2米以上。這種類型的位移可使圖像捕獲裝置之一能夠覆蓋其它圖像捕獲裝置的潛在盲點。

圖像捕獲裝置122可具有任何合適的分辨率功能(例如，與圖像傳感器關(guān)聯(lián)的像素數(shù)目)，并且與圖像捕獲裝置122關(guān)聯(lián)的圖像傳感器的分辨率可大于、小于或等于與圖像捕獲裝置124和126關(guān)聯(lián)的圖像傳感器的分辨率。在一些實施方式中，與圖像捕獲裝置122和/或圖像捕獲裝置124和126關(guān)聯(lián)的圖像傳感器可具有640x 480、1024x 768、1280x 960的分辨率或具有任何其它合適的分辨率。

幀速率(例如，在移動到捕獲與下一個圖像幀關(guān)聯(lián)的像素數(shù)據(jù)之前圖像捕獲裝置獲取一個圖像幀的一組像素數(shù)據(jù)的速率)可以是可控的。與圖像捕獲裝置122關(guān)聯(lián)的幀速率可大于、小于或等于與圖像捕獲裝置124和126關(guān)聯(lián)的幀速率。與圖像捕獲裝置122、124和126關(guān)聯(lián)的幀速率可取決于可能影響幀速率的計時的各種因素。例如，圖像捕獲裝置122、124和126中的一個或多個可包括在獲取與圖像捕獲裝置122、124和/或126中的圖像傳感器的一個或多個像素關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后強加的可選像素延遲周期。一般，對應(yīng)于每個像素的圖像數(shù)據(jù)可根據(jù)裝置的時鐘速率獲取(例如，每個時鐘周期一個像素)。另外，在包括卷簾快門的實施方式中，圖像捕獲裝置122、124和126中的一個或多個可包括在獲取與圖像捕獲裝置122、124和/或126中的圖像傳感器的一行像素關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后強加的可選水平消隱周期。進一步，圖像捕獲裝置122、124和/或126中的一個或多個可包括在獲取與圖像捕獲裝置122、124和126的圖像幀關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后強加的可選垂直消隱周期。

這些計時控制可使與圖像捕獲裝置122、124和126關(guān)聯(lián)的幀速率同步，甚至當(dāng)每個圖像捕獲裝置的線掃描速率不同時亦如此。另外，如將在下面更詳細(xì)地討論的，在其它因素(例如，圖像傳感器分辨率、最大線掃描速率，等等)之中，這些可選計時控制可使圖像捕獲裝置122的FOV與圖像捕獲裝置124和126的一個或多個FOV重疊的區(qū)域的圖像捕獲同步，甚至當(dāng)圖像捕獲裝置122的視場不同于圖像捕獲裝置124和126的FOV時亦如此。

圖像捕獲裝置122、124和126的幀速率計時可取決于關(guān)聯(lián)的圖像傳感器的分辨率。例如，假設(shè)兩個裝置有類似的線掃描速率，如果一個裝置包括分辨率為640x 480的圖像傳感器并且另一裝置包括分辨率為1280x 960的圖像傳感器，則將需要更多時間來獲取來自具有更高分辨率的傳感器的圖像數(shù)據(jù)的幀。

可影響圖像捕獲裝置122、124和126的圖像數(shù)據(jù)獲取的計時的另一因素是最大線掃描速率。例如，獲取包括在圖像捕獲裝置122、124和126中的圖像傳感器的一行圖像數(shù)據(jù)將需要一些最小時間量。假設(shè)沒有添加像素延遲周期，則獲取一行圖像數(shù)據(jù)的該最小時間量將與特定裝置的最大線掃描速率相關(guān)。提供較高最大線掃描速率的裝置潛在地提供比具有較小最大線掃描速率的裝置更大的幀速率。在一些實施方式中，圖像捕獲裝置124和126中的一個或多個的最大線掃描速率可大于與圖像捕獲裝置122關(guān)聯(lián)的最大線掃描速率。在一些實施方式中，圖像捕獲裝置124和/或126的最大線掃描速率可以是圖像捕獲裝置122的最大線掃描速率的1.25倍、1.5倍、1.75倍或2倍以上。

在另一實施方式中，圖像捕獲裝置122、124和126可具有相同的最大線掃描速率，但圖像捕獲裝置122可在小于或等于其最大掃描速率的掃描速率下操作。所述系統(tǒng)可構(gòu)造成使得圖像捕獲裝置124和126中的一個或多個在等于圖像捕獲裝置122的線掃描速率的線掃描速率下操作。在其它實例中，所述系統(tǒng)可構(gòu)造成使得圖像捕獲裝置124和/或圖像捕獲裝置126的線掃描速率可以是圖像捕獲裝置122的線掃描速率的1.25倍、1.5倍、1.75倍或2倍以上。

在一些實施方式中，圖像捕獲裝置122、124和126可以是非對稱的。即，它們可包括具有不同視場(FOV)和焦距的相機。例如，圖像捕獲裝置122、124和126的視場可包括相對于車輛200的環(huán)境的任何期望區(qū)域。在一些實施方式中，圖像捕獲裝置122、124和126中的一個或多個可構(gòu)造成獲取來自車輛200前方、車輛200后方、車輛200側(cè)方或它們的組合的環(huán)境的圖像數(shù)據(jù)。

進一步，與每個圖像捕獲裝置122、124和/或126關(guān)聯(lián)的焦距可以是可選的(例如，通過包括適當(dāng)?shù)耐哥R等等)，使得每個裝置均獲取在相對于車輛200的期望距離范圍處的對象的圖像。例如，在一些實施方式中，圖像捕獲裝置122、124和126可獲取距車輛幾米內(nèi)的特寫對象的圖像。圖像捕獲裝置122、124和126還可構(gòu)造成獲取更遠(yuǎn)離車輛的范圍(例如，25m、50m、100m、150m以上)的對象的圖像。進一步，圖像捕獲裝置122、124和126的焦距可選擇為使得一個圖像捕獲裝置(例如，圖像捕獲裝置122)可以獲取相對接近車輛(例如，10m內(nèi)或20m內(nèi))的對象的圖像，而其它圖像捕獲裝置(例如，圖像捕獲裝置124和126)可以獲取距車輛200更遠(yuǎn)的對象(例如，大于20m、50m、100m、150m，等等)的圖像。

根據(jù)一些實施方式，一個或多個圖像捕獲裝置122、124和126的FOV可具有寬角度。例如，尤其對于可用于捕獲車輛200附近的區(qū)域的圖像的圖像捕獲裝置122、124和126，可有利的是具有140度的FOV。例如，圖像捕獲裝置122可用于捕獲車輛200右方或左方的區(qū)域的圖像，并且在這樣的實施方式中，圖像捕獲裝置122可期望的是具有寬FOV(例如，至少140度)。

與圖像捕獲裝置122、124和126中的每個關(guān)聯(lián)的視場可取決于相應(yīng)的焦距。例如，隨著焦距的增加，對應(yīng)的視場降低。

圖像捕獲裝置122、124和126可構(gòu)造成具有任何合適的視場。在一個特定示例中，圖像捕獲裝置122可具有46度的水平FOV，圖像捕獲裝置124可具有23度的水平FOV，并且圖像捕獲裝置126可具有介于23度到46度之間的水平FOV。在另一實例中，圖像捕獲裝置122可具有52度的水平FOV，圖像捕獲裝置124可具有26度的水平FOV，并且圖像捕獲裝置126可具有26度到52度之間的水平FOV。在一些實施方式中，圖像捕獲裝置122的FOV與圖像捕獲裝置124和/或圖像捕獲裝置126的FOV的比率可從1.5變化到2.0。在其它實施方式中，該比率可在1.25到2.25之間變化。

系統(tǒng)100可構(gòu)造成使得圖像捕獲裝置122的視場與圖像捕獲裝置124和/或圖像捕獲裝置126的視場至少部分地或完全地重疊。在一些實施方式中，系統(tǒng)100可構(gòu)造成使得圖像捕獲裝置124和126的視場例如落入(例如，窄于)圖像捕獲裝置122的視場內(nèi)并且與圖像捕獲裝置122的視場共享共同的中心。在其它實施方式中，圖像捕獲裝置122、124和126可捕獲相鄰FOV，或者可使它們的FOV部分地重疊。在一些實施方式中，圖像捕獲裝置122、124和126的視場可對準(zhǔn)，使得較窄FOV圖像捕獲裝置124和/或126的中心可位于較寬FOV裝置122的視場的下半部中。

圖2F是與公開的實施方式相一致的示例性車輛控制系統(tǒng)的概略表示。如圖2F中指示的，車輛200可包括節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240。系統(tǒng)100可經(jīng)一個或多個數(shù)據(jù)鏈路(例如，用于發(fā)送數(shù)據(jù)的任何有線和/或無線的一個或多個鏈路)向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供輸入(例如，控制信號)。例如，基于對由圖像捕獲裝置122、124和/或126獲取的圖像的分析，系統(tǒng)100可向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供控制信號，以(例如，通過致使加速、轉(zhuǎn)彎、車道移位，等等)導(dǎo)航車輛200。進一步，系統(tǒng)100可接收來自節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個的輸入，指示車輛200的操作條件(例如，速度，車輛200是否制動和/或轉(zhuǎn)彎，等等)。下面，進一步細(xì)節(jié)結(jié)合圖4至圖7來提供。

如圖3A所示，車輛200還可包括用于與車輛200的駕駛員或乘客交互的用戶接口170。例如，在車輛應(yīng)用中，用戶接口170可包括觸摸屏320、旋鈕330、按鈕340和麥克風(fēng)350。車輛200的駕駛員或乘客還可使用手柄(例如，位于車輛200的轉(zhuǎn)向柱之上或附近，例如包括轉(zhuǎn)向信號手柄)、按鈕(例如，位于車輛200的方向盤上)等，以與系統(tǒng)100交互。在一些實施方式中，麥克風(fēng)350可定位成與后視鏡310相鄰。類似地，在一些實施方式中，圖像捕獲裝置122可位于后視鏡310附近。在一些實施方式中，用戶接口170還可包括一個或多個揚聲器360(例如，車輛音頻系統(tǒng)的揚聲器)。例如，系統(tǒng)100可經(jīng)由揚聲器360提供各種通知(例如，提示)。

圖3B至圖3D是與公開的實施方式相一致的示例性相機安裝件370的圖示，相機安裝件370被構(gòu)造成定位在后視鏡(例如，后視鏡310)后面并且抵著車輛擋風(fēng)玻璃。如圖3B所示，相機安裝件370可包括圖像捕獲裝置122、124和126。圖像捕獲裝置124和126可定位在遮光板380后面，遮光板380可與車輛擋風(fēng)玻璃齊平并且包括薄膜和/或抗反射材料的組合物。例如，遮光板380可定位成使得其抵著具有配合斜度的車輛擋風(fēng)玻璃而對準(zhǔn)。在一些實施方式中，例如，如圖3D中描繪的，圖像捕獲裝置122、124和126中的每個均可定位在遮光板380后面。公開的實施方式并不限于任何特定構(gòu)造的圖像捕獲裝置122、124和126、相機安裝件370和遮光板380。圖3C是圖3B中示出的相機安裝件370從正面視角的圖示。

如受益于本公開的本領(lǐng)域技術(shù)人員將了解的，對于前面的公開的實施方式可做出許多變型和/或修改。例如，并非所有部件對于系統(tǒng)100的操作都是至關(guān)重要的。進一步，任何部件都可位于系統(tǒng)100的任何適當(dāng)?shù)牟糠种?，并且所述部件可重新布置成各種構(gòu)造，同時提供公開的實施方式的功能性。因此，前面的構(gòu)造是示例并且與上面討論的構(gòu)造無關(guān)，系統(tǒng)100可以提供寬范圍的功能性，用以分析車輛200的周邊環(huán)境并且響應(yīng)于所述分析來導(dǎo)航車輛200。

如下面進一步詳細(xì)地討論且與各種公開的實施方式相一致，系統(tǒng)100可提供與自主驅(qū)動和/或駕駛員輔助技術(shù)相關(guān)的各種特征。例如，系統(tǒng)100可分析圖像數(shù)據(jù)、位置數(shù)據(jù)(例如，GPS地點信息)、地圖數(shù)據(jù)、速度數(shù)據(jù)和/或來自包括在車輛200中的傳感器的數(shù)據(jù)。系統(tǒng)100可收集來自例如圖像獲取單元120、位置傳感器130及其它傳感器的數(shù)據(jù)以供分析。進一步，系統(tǒng)100可分析所收集的數(shù)據(jù)以確定車輛200是否應(yīng)該采取某些動作，然后在無人為干預(yù)的情況下自動采取確定的動作。例如，當(dāng)車輛200在無人為干預(yù)的情況下導(dǎo)航時，系統(tǒng)100可(例如，通過向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個發(fā)送控制信號)自動控制車輛200的制動、加速和/或轉(zhuǎn)向。進一步，系統(tǒng)100可分析所收集的數(shù)據(jù)并發(fā)出警告，和/或基于所收集的數(shù)據(jù)的分析來提示車輛駕乘人員。下面提供關(guān)于系統(tǒng)100所提供的各種實施方式的額外細(xì)節(jié)。

朝前多成像系統(tǒng)

如上面討論的，系統(tǒng)100可提供使用多相機系統(tǒng)的驅(qū)動輔助功能性。-多相機系統(tǒng)可使用面對車輛向前方向的一個或多個相機。在其它實施方式中，多相機系統(tǒng)可包括面對車輛側(cè)面或車輛后面的一個或多個相機。在一個實施方式中，例如，系統(tǒng)100可使用雙相機成像系統(tǒng)，其中第一相機和第二相機(例如，圖像捕獲裝置122和124)可定位在車輛(例如，車輛200)的前面和/或側(cè)面。第一相機的視場可大于、小于第二相機的視場，或者與第二相機的視場部分地重疊。另外，第一相機可連接到第一圖像處理器，以執(zhí)行第一相機所提供的圖像的單眼圖像分析，并且第二相機可連接到第二圖像處理器，以執(zhí)行第二相機所提供的圖像的單眼圖像分析。第一圖像處理器和第二圖像處理器的輸出(例如，處理后的信息)可組合。在一些實施方式中，第二圖像處理器可接收來自第一相機和第二相機兩者的圖像以執(zhí)行立體分析。在另一實施方式中，系統(tǒng)100可使用三相機成像系統(tǒng)，其中每個相機均具有不同的視場。因此，這樣的系統(tǒng)可基于從位于車輛前面和側(cè)面兩者的變化距離處的對象得到的信息做出決定。提到單眼圖像分析可指這樣的實例，即：基于從單個觀察點(例如，從單個相機)捕獲的圖像來執(zhí)行圖像分析。立體圖像分析可指這樣的實例，即：基于用圖像捕獲參數(shù)的一個或多個變型捕獲的兩個或更多個圖像來執(zhí)行圖像分析。例如，適于執(zhí)行立體圖像分析的被捕獲圖像可包括采取以下手段捕獲的圖像：根據(jù)兩個或更多個不同位置，從不同的視場，使用不同的焦距，結(jié)合視差信息，等等。

例如，在一個實施方式中，系統(tǒng)100可實施使用圖像捕獲裝置122-126的三相機構(gòu)造。在這樣的構(gòu)造中，圖像捕獲裝置122可提供窄視場(例如，34度，或選自約20度到45度范圍的其它值，等等)，圖像捕獲裝置124可提供寬視場(例如，150度或選自約100度到約180度范圍的其它值)，并且圖像捕獲裝置126可提供中間視場(例如，46度或選自約35度到約60度范圍的其它值)。在一些實施方式中，圖像捕獲裝置126可作為主相機或主要相機。圖像捕獲裝置122-126可定位在后視鏡310后面并且基本上并排定位(例如，6cm間隔)。進一步，在一些實施方式中，如上面討論的，圖像捕獲裝置122-126中的一個或多個可安裝在與車輛200的擋風(fēng)玻璃齊平的遮光板380后面。這樣的遮光可將來自車內(nèi)的任何反射對圖像捕獲裝置122-126造成的影響降到最低。

在另一實施方式中，如上面結(jié)合圖3B和圖3C討論的，寬視場相機(例如，上面示例中的圖像捕獲裝置124)可安裝得低于窄的主視場相機(例如，上面示例中的圖像裝置122和126)。該構(gòu)造可提供來自寬視場相機的自由視線。為了減少反射，相機可安裝得接近車輛200的擋風(fēng)玻璃，并且可包括相機上的偏光器用以抑制反射光。

三相機系統(tǒng)可提供某些性能特性。例如，一些實施方式可包括如下能力：基于另一相機的檢測結(jié)果來驗證一個相機針對對象的檢測。-在上面討論的三相機構(gòu)造中，處理單元110可包括例如三個處理裝置(例如，如上面討論的，三個EyeQ系列的處理器芯片)，每個處理裝置均專用于處理由圖像捕獲裝置122-126中的一個或多個捕獲的圖像。

在三相機系統(tǒng)中，第一處理裝置可接收來自主相機和窄視場相機兩者的圖像，并且執(zhí)行窄FOV相機的視覺處理以例如檢測其它車輛、行人、車道標(biāo)線、交通標(biāo)志、交通燈及其它道路對象。進一步，第一處理裝置可計算主相機和窄相機的圖像之間的像素差距并且創(chuàng)建車輛200的環(huán)境的三維重構(gòu)。然后，第一處理裝置可將三維重構(gòu)與三維地圖數(shù)據(jù)組合，或者與基于另一相機的信息計算的三維信息組合。

第二處理裝置可接收來自主相機的圖像并且執(zhí)行視覺處理以檢測其它車輛、行人、車道標(biāo)線、交通標(biāo)志、交通燈及其它道路對象。另外，第二處理裝置可計算相機位移，并且基于該位移計算連續(xù)圖像之間的像素差距并創(chuàng)建場景的三維重構(gòu)(例如，根據(jù)運動的結(jié)構(gòu))。第二處理裝置可將來自基于運動的三維重構(gòu)的結(jié)構(gòu)發(fā)送到第一處理裝置以與立體三維圖像組合。

第三處理裝置可接收來自寬FOV相機的圖像并且處理所述圖像，以檢測車輛、行人、車道標(biāo)線、交通標(biāo)志、交通燈及其它道路對象。第三處理裝置可進一步執(zhí)行額外處理指令以分析圖像來識別在圖像中移動的對象，諸如變道的車輛、行人，等等。

在一些實施方式中，使基于圖像的信息流被獨立地捕獲并處理可提供：提供系統(tǒng)冗余的機會。例如，這樣的冗余可包括：使用第一圖像捕獲裝置和從該裝置處理的圖像以驗證和/或補充通過捕獲并處理至少來自第二圖像捕獲裝置的圖像信息而獲得的信息。

在一些實施方式中，系統(tǒng)100可使用兩個圖像捕獲裝置(例如，圖像捕獲裝置122和124)來為車輛200提供導(dǎo)航輔助，并且使用第三圖像捕獲裝置(例如，圖像捕獲裝置126)以提供冗余并驗證從其它兩個圖像捕獲裝置接收的數(shù)據(jù)的分析。例如，在這樣的構(gòu)造中，圖像捕獲裝置122和124可為系統(tǒng)100的立體分析提供圖像以導(dǎo)航車輛200，而圖像捕獲裝置126可為系統(tǒng)100的單眼分析提供圖像以提供冗余并驗證基于從圖像捕獲裝置122和/或圖像捕獲裝置124捕獲的圖像而獲得的信息。即，圖像捕獲裝置126(及對應(yīng)的處理裝置)可被認(rèn)為提供冗余子系統(tǒng)，以提供對從圖像捕獲裝置122和124得到的分析的檢查(例如，提供自動緊急制動(AEB)系統(tǒng))。

本領(lǐng)域技術(shù)人員將辨識到，上面的相機構(gòu)造、相機放置、相機數(shù)目、相機地點等等僅是示例。這些部件及相對于整體系統(tǒng)描述的其它部件可組裝并用在各種不同構(gòu)造中而不脫離公開的實施方式的范圍。下面是關(guān)于多相機系統(tǒng)的使用的進一步細(xì)節(jié)，用以提供駕駛員輔助和/或自主車輛功能性。

圖4是與公開的實施方式相一致的存儲器140和/或150的示例性功能框圖，存儲器140和/或150可存儲/編程有用于執(zhí)行一個或多個操作的指令。雖然以下是參照存儲器140，但是本領(lǐng)域技術(shù)人員將辨識到，指令可存儲在存儲器140和/或150中。

如圖4所示，存儲器140可存儲單眼圖像分析模塊402、立體圖像分析模塊404、速度和加速度模塊406以及導(dǎo)航響應(yīng)模塊408。公開的實施方式并不限于任何特定構(gòu)造的存儲器140。-進一步，應(yīng)用處理器180和/或圖像處理器190可執(zhí)行存儲于包括在存儲器140中的任何模塊402-408之中的指令。本領(lǐng)域技術(shù)人員將理解的是，以下討論對處理單元110的引用可單獨或共同指應(yīng)用處理器180和圖像處理器190。因此，任何以下處理的步驟可由一個或多個處理裝置執(zhí)行。

在一個實施方式中，單眼圖像分析模塊402可存儲指令(諸如計算機視覺軟件)，當(dāng)由處理單元110執(zhí)行時，該指令執(zhí)行由圖像捕獲裝置122、124和126之一獲取的一組圖像的單眼圖像分析。在一些實施方式中，處理單元110可將來自一組圖像的信息與額外的感覺信息(例如，來自雷達(dá)的信息)組合，以執(zhí)行單眼圖像分析。如下面結(jié)合圖5A至圖5D描述的，單眼圖像分析模塊402可包括用于檢測一組圖像內(nèi)的一組特征(諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口匝道、交通燈、危險對象及與車輛環(huán)境關(guān)聯(lián)的任何其它特征)的指令。基于此分析，系統(tǒng)100(例如，經(jīng)由處理單元110)可在車輛200中產(chǎn)生一個或多個導(dǎo)航響應(yīng)，諸如轉(zhuǎn)彎、車道移位、加速度改變，等，這在下面結(jié)合導(dǎo)航響應(yīng)模塊408討論。

在一個實施方式中，立體圖像分析模塊404可存儲指令(諸如計算機視覺軟件)，當(dāng)由處理單元110執(zhí)行時，該指令執(zhí)行通過選自任何圖像捕獲裝置122、124和126的圖像捕獲裝置的組合而獲取的第一組和第二組圖像的立體圖像分析。在一些實施方式中，處理單元110可將來自第一組和第二組圖像的信息與額外感覺信息(例如，來自雷達(dá)的信息)組合，以執(zhí)行立體圖像分析。例如，立體圖像分析模塊404可包括用于基于圖像捕獲裝置124獲取的第一組圖像和圖像捕獲裝置126獲取的第二組圖像來執(zhí)行立體圖像分析的指令。如下面結(jié)合圖6描述的，立體圖像分析模塊404可包括用于檢測第一組和第二組圖像內(nèi)的一組特征(諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口匝道、交通燈、危險對象，等)的指令?；诖朔治?，處理單元110可在車輛200中產(chǎn)生一個或多個導(dǎo)航響應(yīng)，諸如轉(zhuǎn)彎、車道移位、加速度改變，等，這在下面結(jié)合導(dǎo)航響應(yīng)模塊408討論。

在一個實施方式中，速度和加速度模塊406可存儲構(gòu)造成分析從車輛200的一個或多個計算機電裝置接收的數(shù)據(jù)的軟件，所述計算機電裝置被構(gòu)造成致使車輛200的速度和/或加速度改變。例如，處理單元110可執(zhí)行與速度和加速度模塊406關(guān)聯(lián)的指令，以基于從執(zhí)行單眼圖像分析模塊402和/或立體圖像分析模塊404得到的數(shù)據(jù)來計算車輛200的目標(biāo)速度。例如，這樣的數(shù)據(jù)可包括：目標(biāo)位置、速度和/或加速度；車輛200相對于近旁車輛、行人或道路對象的位置和/或速度；車輛200相對于道路的車道標(biāo)記的位置信息，等。另外，處理單元110可基于感覺輸入(例如，來自雷達(dá)的信息)和來自車輛200的其它系統(tǒng)(諸如車輛200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240)的輸入來計算車輛200的目標(biāo)速度?；谟嬎愠龅哪繕?biāo)速度，處理單元110可向車輛200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240發(fā)送電子信號，以通過例如物理踩下制動器或松開車輛200的加速器來觸發(fā)速度和/或加速度的改變。

在一個實施方式中，導(dǎo)航響應(yīng)模塊408可存儲可由處理單元110執(zhí)行的軟件，以基于從單眼圖像分析模塊402和/或立體圖像分析模塊404的執(zhí)行得到的數(shù)據(jù)來確定期望導(dǎo)航響應(yīng)。這樣的數(shù)據(jù)可包括與近旁車輛、行人和道路對象關(guān)聯(lián)的位置和速度信息、車輛200的目標(biāo)位置信息，等。另外，在一些實施方式中，導(dǎo)航響應(yīng)可(部分地或完全地)基于地圖數(shù)據(jù)、車輛200的預(yù)定位置和/或車輛200與從單眼圖像分析模塊402和/或立體圖像分析模塊404的執(zhí)行而檢測的一個或多個對象之間的相對速度或相對加速度。導(dǎo)航響應(yīng)模塊408還可基于感覺輸入(例如，來自雷達(dá)的信息)和來自車輛200的其它系統(tǒng)(諸如車輛200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240)的輸入來確定期望導(dǎo)航響應(yīng)?；谒銎谕麑?dǎo)航響應(yīng)，處理單元110可向車輛200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240發(fā)送電子信號，以觸發(fā)期望導(dǎo)航響應(yīng)，例如，通過使車輛200的方向盤轉(zhuǎn)動以實現(xiàn)預(yù)定角度旋轉(zhuǎn)。在一些實施方式中，處理單元110可使用導(dǎo)航響應(yīng)模塊408的輸出(例如，期望導(dǎo)航響應(yīng))作為輸入，以執(zhí)行速度和加速度模塊406來計算車輛200的速度改變。

圖5A是示出與公開的實施方式相一致的用于基于單眼圖像分析來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理500A的流程圖。在步驟510，處理單元110可經(jīng)由位于處理單元110與圖像獲取單元120之間的數(shù)據(jù)接口128接收多個圖像。例如，包括在圖像獲取單元120中的相機(諸如具有視場202的圖像捕獲裝置122)可捕獲車輛200的前面(例如，或是車輛的側(cè)面或后面)的區(qū)域的多個圖像并且經(jīng)數(shù)據(jù)連接(例如，數(shù)字、有線、USB、無線、藍(lán)牙，等等)將圖像發(fā)送到處理單元110。在步驟520，處理單元110可執(zhí)行單眼圖像分析模塊402以分析多個圖像，這在下面結(jié)合圖5B至圖5D進一步詳細(xì)地描述。通過執(zhí)行所述分析，處理單元110可檢測一組圖像內(nèi)的一組特征，諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口匝道、交通燈，等。

在步驟520，處理單元110還可執(zhí)行單眼圖像分析模塊402以檢測各種道路危險，例如，卡車輪胎的一部分、跌落的道路標(biāo)志、松動的貨物、小動物，等。道路危險可能存在結(jié)構(gòu)、形狀、大小和顏色上的變化，可能使檢測這樣的危險更具挑戰(zhàn)性。在一些實施方式中，處理單元110可執(zhí)行單眼圖像分析模塊402，以對多個圖像進行多幀分析來檢測道路危險。例如，處理單元110可估算連貫圖像幀之間的相機運動，并且計算幀之間的像素差距以構(gòu)建道路的三維地圖。然后，處理單元110可使用三維地圖來檢測路面以及存在于路面上方的危險。

在步驟530，處理單元110可執(zhí)行導(dǎo)航響應(yīng)模塊408，以基于步驟520執(zhí)行的分析以及如上面結(jié)合圖4描述的技術(shù)來產(chǎn)生車輛200的一個或多個導(dǎo)航響應(yīng)。例如，導(dǎo)航響應(yīng)可包括轉(zhuǎn)彎、車道移位、加速度改變，等。在一些實施方式中，處理單元110可使用從執(zhí)行速度和加速度模塊406中得到的數(shù)據(jù)，以產(chǎn)生一個或多個導(dǎo)航響應(yīng)。另外，多個導(dǎo)航響應(yīng)可同時、順次或按其任何組合而發(fā)生。例如，處理單元110可致使車輛200變換一個車道，然后通過例如向車輛200的轉(zhuǎn)向系統(tǒng)240和節(jié)流系統(tǒng)220依次發(fā)送控制信號來加速。替代地，處理單元110可致使車輛200制動，同時通過例如向車輛200的制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240同時發(fā)送控制信號來使變道。

圖5B是示出與公開的實施方式相一致的用于檢測一組圖像中的一個或多個車輛和/或行人的示例性處理500B的流程圖。處理單元110可執(zhí)行單眼圖像分析模塊402以實施處理500B。在步驟540，處理單元110可確定表示可能的車輛和/或行人的一組候選對象。例如，處理單元110可掃描一個或多個圖像，將所述圖像與一個或多個預(yù)定圖案比較，并且在每個圖像內(nèi)識別可包含關(guān)注對象(例如，車輛、行人，或其一部分)的可能地點。預(yù)定圖案可采取實現(xiàn)高比率“錯誤擊中”和低比率“未擊中”這樣的方式來設(shè)計。例如，處理單元110可使用與預(yù)定圖案低閾值的相似度來識別候選對象作為可能的車輛或行人。這樣做可允許處理單元110減少未擊中(例如，未識別)表示車輛或行人的候選對象的概率。

在步驟542，處理單元110可過濾這一組候選對象以基于分類標(biāo)準(zhǔn)來排除某些候選(例如，無關(guān)或不太相關(guān)的對象)。這樣的標(biāo)準(zhǔn)可從與存儲在數(shù)據(jù)庫(例如，存儲在存儲器140中的數(shù)據(jù)庫)中的對象類型關(guān)聯(lián)的各種屬性得到。屬性可包括對象形狀、尺寸、質(zhì)地、(例如，相對于車輛200的)位置，等。由此，處理單元110可使用一組或多組標(biāo)準(zhǔn)以拒絕來自一組候選對象的錯誤候選。

在步驟544，處理單元110可分析圖像的多個幀，以確定一組候選對象中的對象是否表示車輛和/或行人。例如，處理單元110可跨越連貫的幀來跟蹤被檢測候選對象并且積累與被檢測對象關(guān)聯(lián)的逐幀數(shù)據(jù)(例如，大小、相對于車輛200的位置，等等)。另外，處理單元110可估算被檢測對象的參數(shù)并且將對象的逐幀位置數(shù)據(jù)與預(yù)測位置比較。

在步驟546，處理單元110可構(gòu)建被檢測對象的一組測量結(jié)果。例如，這樣的測量結(jié)果可包括與被檢測對象關(guān)聯(lián)的(相對于車輛200的)位置、速度和加速度值。在一些實施方式中，處理單元110可基于以下技術(shù)來構(gòu)建測量結(jié)果：基于估算技術(shù)使用一系列基于時間的觀察(諸如卡爾曼濾波器或線性二次估算(LQE))；和/或基于不同對象類型(例如，汽車、卡車、行人、自行車、道路標(biāo)志，等等)的可用建模數(shù)據(jù)?？柭鼮V波器可基于對象尺度的測量結(jié)果，其中尺度測量結(jié)果與將要碰撞的時間(例如，車輛200到達(dá)對象的時間量)成比例。由此，通過執(zhí)行步驟540-546，處理單元110可識別出現(xiàn)在一組被捕獲圖像內(nèi)的車輛和行人并且得到與車輛和行人關(guān)聯(lián)的信息(例如，位置、速度、大小)?；谠撟R別和得到的信息，處理單元110可產(chǎn)生車輛200的一個或多個導(dǎo)航響應(yīng)，這在上面結(jié)合圖5A描述。

在步驟548，處理單元110可執(zhí)行一個或多個圖像的光流分析，以減少檢測“錯誤擊中”以及未擊中表示車輛或行人的候選對象的概率。光流分析可指的是，例如，分析相對于與其它車輛和行人關(guān)聯(lián)的一個或多個圖像中的車輛200的運動圖案，并且區(qū)別于路面運動。處理單元110可通過觀察跨越多個圖像幀(在不同的時間被捕獲)的對象的不同位置來計算候選對象的運動。處理單元110可使用位置和時間值作為用于計算候選對象運動的數(shù)學(xué)模型的輸入。由此，光流分析可提供檢測在車輛200近旁的車輛和行人的另一種方法。處理單元110可與步驟540-546組合來執(zhí)行光流分析，為檢測車輛和行人提供冗余并且增加系統(tǒng)100的可靠性。

圖5C是示出與公開的實施方式相一致的用于檢測一組圖像中的路標(biāo)和/或車道幾何信息的示例性處理500C的流程圖。處理單元110可執(zhí)行單眼圖像分析模塊402以實施處理500C。在步驟550，處理單元110可通過掃描一個或多個圖像來檢測一組對象。為了檢測一段車道標(biāo)記、車道幾何信息及其它相關(guān)路標(biāo)，處理單元110可過濾一組對象以排除確定無關(guān)的這些對象(例如，輕微的坑洼、小石頭，等等)。在步驟552，處理單元110可將步驟550中檢測的屬于相同路標(biāo)或車道標(biāo)線的區(qū)段分組到一起?；谠摲纸M，處理單元110可建立表示被檢測區(qū)段的模型，諸如數(shù)學(xué)模型。

在步驟554，處理單元110可構(gòu)建與被檢測區(qū)段關(guān)聯(lián)的一組測量結(jié)果。-在一些實施方式中，處理單元110可創(chuàng)建被檢測區(qū)段從圖像平面向現(xiàn)實世界平面的投影。該投影可使用三次多項式來表征，該三次多項式具有對應(yīng)于物理屬性(諸如位置、斜度、曲率和被檢測道路的曲率衍生)的系數(shù)。在生成投影時，處理單元110可考慮路面改變，以及與車輛200關(guān)聯(lián)的俯仰和橫擺速率。另外，處理單元110可通過分析存在于路面上的位置和運動線索來建模道路標(biāo)高。進一步，處理單元110可通過跟蹤一個或多個圖像中的一組特征點來估算與車輛200關(guān)聯(lián)的俯仰和橫擺速率。

在步驟556，處理單元110可通過例如跟蹤跨越連貫圖像幀的被檢測區(qū)段以及積累與被檢測區(qū)段關(guān)聯(lián)的逐幀數(shù)據(jù)來執(zhí)行多幀分析。在處理單元110執(zhí)行多幀分析時，在步驟554構(gòu)建的一組測量結(jié)果可變得更可靠并且與更高的置信水平關(guān)聯(lián)。由此，通過執(zhí)行步驟550-556，處理單元110可識別出現(xiàn)在一組被捕獲圖像內(nèi)的路標(biāo)并且得到車道幾何信息?；谠撟R別和得到的信息，處理單元110可產(chǎn)生車輛200的一個或多個導(dǎo)航響應(yīng)，這在上面結(jié)合圖5A描述。

在步驟558，處理單元110可考慮額外信息源來進一步在其周邊環(huán)境的背景下建立車輛200的安全模型。處理單元110可使用安全模型來限定以下背景，即：系統(tǒng)100可采取安全的方式來執(zhí)行車輛200的自主控制。為了建立安全模型，在一些實施方式中，處理單元110可考慮其它車輛的位置和運動、被檢測道路的路邊和障礙和/或從地圖數(shù)據(jù)(諸如地圖數(shù)據(jù)庫160的數(shù)據(jù))提取的總體道路形狀描述。通過考慮額外信息源，處理單元110可提供冗余來檢測路標(biāo)和車道幾何形狀并且增加系統(tǒng)100的可靠性。

圖5D是示出與公開的實施方式相一致的用于檢測一組圖像中的交通燈的示例性處理500D的流程圖。處理單元110可執(zhí)行單眼圖像分析模塊402以實施處理500D。在步驟560，處理單元110可掃描一組圖像并且識別出現(xiàn)在可能包含交通燈的圖像中的地點處的對象。例如，處理單元110可過濾被識別對象以構(gòu)建一組候選對象，排除不可能對應(yīng)于交通燈的這些對象。過濾可基于與交通燈關(guān)聯(lián)的各種屬性(諸如形狀、尺寸、質(zhì)地、(例如，相對于車輛200的)位置，等)來完成。這樣的屬性可基于交通燈和交通控制信號的多個示例并且存儲在數(shù)據(jù)庫中。在一些實施方式中，處理單元110可在反映可能交通燈的一組候選對象上執(zhí)行多幀分析。例如，處理單元110可跟蹤跨越連貫圖像幀的候選對象，估算候選對象的現(xiàn)實世界位置，并且過濾出移動的那些對象(不可能是交通燈)。在一些實施方式中，處理單元110可執(zhí)行候選對象的顏色分析，并且識別出現(xiàn)在可能交通燈內(nèi)側(cè)的被檢測顏色的相對位置。

在步驟562，處理單元110可分析樞紐的幾何形狀。該分析可基于以下的任何組合：(i)在車輛200的任一側(cè)的檢測的車道數(shù)目；(ii)在道路上檢測的標(biāo)記(諸如箭頭標(biāo)線)；以及(iii)從地圖數(shù)據(jù)(諸如地圖數(shù)據(jù)庫160的數(shù)據(jù))提取的樞紐的描述。處理單元110可使用從執(zhí)行單眼分析模塊402得到的信息來進行分析。另外，處理單元110可確定在步驟560檢測的交通燈與出現(xiàn)在車輛200附近的車道之間的對應(yīng)性。

在車輛200接近樞紐時，在步驟564，處理單元110可更新與被分析的樞紐幾何形狀和被檢測交通燈關(guān)聯(lián)的置信水平。例如，與實際出現(xiàn)在樞紐處的交通燈數(shù)目比較，估算的出現(xiàn)在樞紐處的交通燈數(shù)目可能影響置信水平。由此，基于該置信水平，處理單元110可授權(quán)車輛200的駕駛員進行控制，以便改進安全條件。通過執(zhí)行步驟560-564，處理單元110可識別出現(xiàn)在一組被捕獲圖像內(nèi)的交通燈并且分析樞紐幾何形狀信息。基于該識別以及分析，處理單元110可產(chǎn)生車輛200的一個或多個導(dǎo)航響應(yīng)，這在上面結(jié)合圖5A描述。

圖5E是示出與公開的實施方式相一致的用于基于車輛路徑來在車輛200中產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理500E的流程圖。在步驟570，處理單元110可構(gòu)建與車輛200關(guān)聯(lián)的初始車輛路徑。車輛路徑可使用以坐標(biāo)(x，z)表達(dá)的一組點來表示，并且一組點的兩點之間的距離d_i可落入1米到5米的范圍內(nèi)。在一個實施方式中，處理單元110可使用諸如左右道路多項式的兩個多項式來構(gòu)建初始車輛路徑。處理單元110可計算兩個多項式之間的幾何中點，并且如果有偏移的話，使包括在所得的車輛路徑中的每個點偏移預(yù)定偏移量(例如，智能車道偏移)，(零偏移可對應(yīng)于行進在車道的中間)。偏移的方向可垂直于車輛路徑中的任何兩點之間的區(qū)段。在另一實施方式中，處理單元110可使用一個多項式和估算的車道寬度使車輛路徑的每個點偏移達(dá)：估算的車道寬度的一半加上預(yù)定偏移量(例如，智能車道偏移)。

在步驟572，處理單元110可更新在步驟570構(gòu)建的車輛路徑。處理單元110可使用更高分辨率來重新構(gòu)建在步驟570構(gòu)建的車輛路徑，使得表示車輛路徑的一組點的兩點之間的距離d_k小于上面描述的距離d_i。例如，距離d_k可落入0.1米到0.3米的范圍內(nèi)。處理單元110可使用拋物面樣條算法來重新構(gòu)建車輛路徑，這可產(chǎn)生對應(yīng)于車輛路徑的總長度的累計距離向量S(即，基于表示車輛路徑的一組點)。

在步驟574，處理單元110可基于在步驟572構(gòu)建的更新車輛路徑來確定前瞻點(以坐標(biāo)(x_l，z_l)表達(dá))。處理單元110可從累計距離向量S提取前瞻點，并且前瞻點可與前瞻距離和前瞻時間關(guān)聯(lián)。下限范圍可從10米到20米的前瞻距離可計算為車輛200的速度和前瞻時間的乘積。例如，隨著車輛200的速度降低，前瞻距離也可減小(例如，直到前瞻距離達(dá)到下限)。范圍可從0.5秒到1.5秒的前瞻時間可與在車輛200中產(chǎn)生導(dǎo)航響應(yīng)相關(guān)聯(lián)的一個或多個控制環(huán)的增益(諸如跟蹤控制環(huán)的航向誤差)成反比。例如，跟蹤控制環(huán)的航向誤差的增益可取決于偏航率環(huán)的帶寬、轉(zhuǎn)向致動器環(huán)、汽車側(cè)向動態(tài)，等。由此，跟蹤控制環(huán)的航向誤差的增益越大，前瞻時間越短。

在步驟576，處理單元110可基于在步驟574確定的前瞻點來確定航向誤差和偏航率命令。處理單元110可通過計算前瞻點的反正切(例如，arctan(x_l/z_l))來確定航向誤差。處理單元110可將偏航率命令確定為航向誤差和高水平控制增益的乘積。如果前瞻距離未處于下限，則高水平控制增益可等于：(2/前瞻時間)。以其它方式，高水平控制增益可等于：(車輛200的2倍速度/前瞻距離)。

圖5F是示出與公開的實施方式相一致的用于確定前車是否變道的示例性處理500F的流程圖。在步驟580，處理單元110可確定與前車(例如，行進在車輛200之前的車輛)關(guān)聯(lián)的導(dǎo)航信息。例如，處理單元110可使用上面結(jié)合圖5A和圖5B描述的技術(shù)來確定前車的位置、速度(例如，方向和速度)和/或加速度。處理單元110還可使用上面結(jié)合圖5E描述的技術(shù)來確定一個或多個道路多項式、(與車輛200關(guān)聯(lián)的)前瞻點和/或緩慢移動蹤跡(例如，描述前車采取的路徑的一組點)。

在步驟582，處理單元110可分析在步驟580確定的導(dǎo)航信息。在一個實施方式中，處理單元110可計算緩慢移動蹤跡與道路多項式(例如，沿著蹤跡)之間的距離。如果沿著蹤跡的該距離的方差超過預(yù)定閾值(例如，筆直道路上為0.1米到0.2米，適度彎曲的道路上為0.3米到0.4米，并且急劇彎曲的道路上為0.5米到0.6米)，處理單元110可確定：前車可能變道。在檢測有多個車輛行進在車輛200之前的情況下，處理單元110可比較與每個車輛關(guān)聯(lián)的緩慢移動蹤跡。基于該比較，處理單元110可確定：緩慢移動蹤跡與其它車輛的緩慢移動蹤跡不匹配的車輛可能變道。處理單元110可另外將(與前車關(guān)聯(lián)的)緩慢移動蹤跡的曲率與前車行進的道路區(qū)段的預(yù)期曲率比較。預(yù)期曲率可從地圖數(shù)據(jù)(例如，地圖數(shù)據(jù)庫160的數(shù)據(jù))、道路多項式、其它車輛的緩慢移動蹤跡、關(guān)于道路的現(xiàn)有知識等之中提取。如果緩慢移動蹤跡與道路區(qū)段的預(yù)期曲率的曲率差超過預(yù)定閾值，則處理單元110可確定：前車可能變道。

在另一實施方式中，處理單元110可在具體時間段(例如，0.5秒到1.5秒)內(nèi)將前車的瞬時位置與(與車輛200關(guān)聯(lián)的)前瞻點比較。如果前車瞬時位置與前瞻點之間的距離在具體時間段期間變化，并且變化的累計總和超過預(yù)定閾值(例如，筆直道路上為0.3米到0.4米，適度彎曲的道路上為0.7米到0.8米，并且急劇彎曲的道路上為1.3米到1.7米)，則處理單元110可確定：前車可能變道。在另一實施方式中，處理單元110可通過將沿著蹤跡行進的側(cè)向距離與緩慢移動蹤跡的預(yù)期曲率比較來分析緩慢移動蹤跡的幾何形狀。預(yù)期曲率半徑可根據(jù)下面的計算來確定：(δ_z²+δ_x²)/2/(δ_x)，其中δ_x表示行進的側(cè)向距離，并且δ_z表示行進的縱向距離。如果行進的側(cè)向距離與預(yù)期曲率之間的差超過預(yù)定閾值(例如，500米到700米)，則處理單元110可確定：前車可能變道。在另一實施方式中，處理單元110可分析前車的位置。如果前車的位置掩蓋了道路多項式(例如，前車覆蓋在道路多項式的頂部)，則處理單元110可確定：前車可能變道。在前車的位置使得另一車輛被檢測位于前車之前并且兩個車輛的緩慢移動蹤跡不平行的情況下，處理單元110可確定：(更接近的)前車可能變道。

在步驟584，處理單元110可基于在步驟582執(zhí)行的分析來確定前車200是否變道。例如，處理單元110可基于在步驟582執(zhí)行的各個分析的加權(quán)平均來做出確定。在這樣的方案之下，例如，處理單元110基于特定類型的分析做出的前車可能變道的決定可被分配值“1”(而“0”表示確定前車不可能變道)。在步驟582執(zhí)行的不同分析可被分配不同的權(quán)重，并且公開的實施方式并不限于任何特定組合的分析和權(quán)重。

圖6是示出與公開的實施方式相一致的用于基于立體圖像分析來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理600的流程圖。在步驟610，處理單元110可經(jīng)由數(shù)據(jù)接口128接收第一和第二多個圖像。例如，包括在圖像獲取單元120中的相機(諸如具有視場202和204的圖像捕獲裝置122和124)可捕獲車輛200前方的區(qū)域的第一和第二多個圖像并且經(jīng)數(shù)字連接(例如，USB、無線、藍(lán)牙，等等)將第一和第二多個圖像發(fā)送到處理單元110。在一些實施方式中，處理單元110可經(jīng)由兩個或更多個數(shù)據(jù)接口接收第一和第二多個圖像。公開的實施方式并不限于任何特定的數(shù)據(jù)接口構(gòu)造或協(xié)議。

在步驟620，處理單元110可執(zhí)行立體圖像分析模塊404來執(zhí)行第一和第二多個圖像的立體圖像分析，以創(chuàng)建車輛前方道路的三維地圖并且檢測圖像內(nèi)的特征，諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口匝道、交通燈、道路危險，等。立體圖像分析可采取類似于上面結(jié)合圖5A至圖5D描述的步驟的方式執(zhí)行。-例如，處理單元110可執(zhí)行立體圖像分析模塊404以檢測第一和第二多個圖像內(nèi)的候選對象(例如，車輛、行人、路標(biāo)、交通燈、道路危險，等等)，基于各種標(biāo)準(zhǔn)來過濾出候選對象的子集，并且執(zhí)行多幀分析、構(gòu)建測量結(jié)果并確定其余候選對象的置信水平。在執(zhí)行上面的步驟時，處理單元110可考慮來自第一和第二多個圖像兩者的信息，而非單獨來自一組圖像的信息。例如，處理單元110可針對出現(xiàn)在第一和第二多個圖像兩者中的候選對象分析像素水平數(shù)據(jù)(或來自兩個被捕獲圖像流之中的其它數(shù)據(jù)子集)的差別。作為另一示例，處理單元110可通過觀察對象出現(xiàn)在多個圖像中的一個之中但不出現(xiàn)在另一個中或者相對于出現(xiàn)在兩個圖像流中的對象可能存在的其它差別來估算候選對象(例如，相對于車輛200)的位置和/或速度。例如，相對于車輛200的位置、速度和/或加速度可基于與出現(xiàn)在圖像流的一者或兩者中的對象關(guān)聯(lián)的特征的軌跡、位置、移動特性等等來確定。

在步驟630，處理單元110可基于在步驟620執(zhí)行的分析和上面結(jié)合圖4描述的技術(shù)來執(zhí)行導(dǎo)航響應(yīng)模塊408，以在車輛200中產(chǎn)生一個或多個導(dǎo)航響應(yīng)。例如，導(dǎo)航響應(yīng)可包括轉(zhuǎn)彎、車道移位、加速度改變、速度改變、制動，等。在一些實施方式中，處理單元110可使用從執(zhí)行速度和加速度模塊406中得到的數(shù)據(jù)，以產(chǎn)生一個或多個導(dǎo)航響應(yīng)。另外，多個導(dǎo)航響應(yīng)可同時、順次或按其任何組合而發(fā)生。

圖7是示出與公開的實施方式相一致的用于基于對三組圖像的分析來產(chǎn)生一個或多個導(dǎo)航響應(yīng)的示例性處理700的流程圖。在步驟710，處理單元110可經(jīng)由數(shù)據(jù)接口128接收第一、第二和第三多個圖像。例如，包括在圖像獲取單元120中的相機(諸如具有視場202、204和206的圖像捕獲裝置122、124和126)可捕獲車輛200前方和/或側(cè)面的區(qū)域的第一、第二和第三多個圖像并且經(jīng)數(shù)字連接(例如，USB、無線、藍(lán)牙，等等)將第一、第二和第三多個圖像發(fā)送到處理單元110。在一些實施方式中，處理單元110可經(jīng)由三個以上數(shù)據(jù)接口接收第一、第二和第三多個圖像。例如，圖像捕獲裝置122、124、126中的每個均可具有關(guān)聯(lián)的數(shù)據(jù)接口用于與處理單元110通信數(shù)據(jù)。公開的實施方式并不限于任何特定的數(shù)據(jù)接口構(gòu)造或協(xié)議。

在步驟720，處理單元110可分析第一、第二和第三多個圖像以檢測圖像內(nèi)的特征，諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口匝道、交通燈、道路危險，等。該分析可采取類似于上面結(jié)合圖5A至圖5D和圖6描述的步驟的方式執(zhí)行。例如，處理單元110可對第一、第二和第三多個圖像中的每個執(zhí)行單眼圖像分析(例如，經(jīng)由執(zhí)行單眼圖像分析模塊402并且基于上面結(jié)合圖5A至圖5D描述的步驟)。替代地，處理單元110可對第一和第二多個圖像、第二和第三多個圖像和/或第一和第三多個圖像執(zhí)行立體圖像分析(例如，經(jīng)由執(zhí)行立體圖像分析模塊404并且基于上面結(jié)合圖6描述的步驟)。對應(yīng)于第一、第二和/或第三多個圖像的分析的處理后的信息可加以組合。在一些實施方式中，處理單元110可執(zhí)行單眼圖像分析和立體圖像分析的組合。例如，處理單元110可對第一多個圖像執(zhí)行單眼圖像分析(例如，經(jīng)由執(zhí)行單眼圖像分析模塊402)以及對第二和第三多個圖像執(zhí)行立體圖像分析(例如，經(jīng)由執(zhí)行立體圖像分析模塊404)。圖像捕獲裝置122、124和126的構(gòu)造(包括其相應(yīng)地點和視場202、204和206)可影響對第一、第二和第三多個圖像進行的分析的類型。公開的實施方式并不限于特定構(gòu)造的圖像捕獲裝置122、124和126，或者對第一、第二和第三多個圖像進行的分析的類型。

在一些實施方式中，處理單元110可基于在步驟710和720獲取并分析的圖像來執(zhí)行系統(tǒng)100的測試。這樣的測試可向某些構(gòu)造的圖像捕獲裝置122、124和126提供系統(tǒng)100的整體性能的指示器。例如，處理單元110可確定“錯誤擊中”(例如，系統(tǒng)100不正確地確定存在車輛或行人的情況)和“未擊中”的比例。

在步驟730，處理單元110可基于從第一、第二和第三多個圖像中的兩者得到的信息來在車輛200中產(chǎn)生一個或多個導(dǎo)航響應(yīng)。選擇第一、第二和第三多個圖像中的兩者可取決于各種因素，例如，多個圖像中的每個中檢測的對象的數(shù)目、類型和大小。處理單元110還可基于以下做出選擇：圖像質(zhì)量和分辨率、圖像中反射的有效視場、被捕獲幀的數(shù)目、關(guān)注的一個或多個對象實際出現(xiàn)在幀中的程度(例如，對象出現(xiàn)的幀的百分比、出現(xiàn)在每個這樣的幀中的對象的比例，等等)，等。

在一些實施方式中，處理單元110可通過確定從一個圖像源得到的信息與從其它圖像源得到的信息的一致程度來選擇從第一、第二和第三多個圖像中的兩者得到的信息。例如，處理單元110可組合從圖像捕獲裝置122、124和126中的每個得到的被處理信息(不論通過單眼分析、立體分析或兩者的任何組合)并且確定跨越從圖像捕獲裝置122、124和126中的每個捕獲的圖像呈現(xiàn)一致的視覺指示器(例如，車道標(biāo)記、被檢測車輛及其地點和/或路徑、被檢測交通燈，等等)。處理單元110還可排除跨越被捕獲圖像不一致的信息(例如，變道的車輛，指示太接近車輛200的車輛的車道模型，等等)。由此，處理單元110可基于一致和不一致信息的確定來選擇從第一、第二和第三多個圖像中的兩者得到的信息。

例如，導(dǎo)航響應(yīng)可包括轉(zhuǎn)彎、車道移位、加速度改變，等。處理單元110可基于在步驟720執(zhí)行的分析以及上面結(jié)合圖4描述的技術(shù)來產(chǎn)生一個或多個導(dǎo)航響應(yīng)。處理單元110還可使用從執(zhí)行速度和加速度模塊406得到的數(shù)據(jù)，以產(chǎn)生一個或多個導(dǎo)航響應(yīng)。在一些實施方式中，處理單元110可基于車輛200與任何第一、第二和第三多個圖像內(nèi)的被檢測對象之間的相對位置、相對速度和/或相對加速度來產(chǎn)生一個或多個導(dǎo)航響應(yīng)。多個導(dǎo)航響應(yīng)可同時、順次或按其任何組合而發(fā)生。

車道盡頭識別系統(tǒng)

系統(tǒng)100可以識別駕駛車道將何時終止，并且當(dāng)檢測到終止時，做出諸如車道變更的在車輛200的路程中的響應(yīng)性導(dǎo)航變更。車道可指車輛的指定或預(yù)期行進路徑并且可具有標(biāo)記邊界(例如，道路上的線)或未標(biāo)記邊界(例如，道路路邊、道路障礙、護欄、停放的車輛，等等)或約束。系統(tǒng)可以僅基于視覺信息進行操作，而不是依賴地圖數(shù)據(jù)來進行車道盡頭確定。然而，在一些情況下，系統(tǒng)可以依賴地圖數(shù)據(jù)和相對于行駛的車道的視覺信息的結(jié)合。進一步，盡管系統(tǒng)可以通過車道終止的直接觀察來識別車道的盡頭，系統(tǒng)還可以通過例如觀察并識別提供有關(guān)車道終止的信息的道路標(biāo)志警報來較早地識別接近車道盡頭。

圖8例示了在道路800上行駛的車輛200，其中可以使用用于識別行駛車道的盡頭并操作車輛200的公開的系統(tǒng)和方法。盡管車輛200被描述為配備有圖像捕獲裝置122和124，可以在任何特定的車輛200上采用更多或更少相機。如所示，道路800可以被細(xì)分成車道，諸如車道810和820。作為示例示出了車道810和820；給定道路800可以基于道路的大小和性質(zhì)，例如州際高速公路，而具有額外車道。在圖8的示例中，車輛200在車道810上行駛，并且能夠看到車道810很快將終止。作為響應(yīng)，如下面詳細(xì)討論的，系統(tǒng)100可以使得車輛200轉(zhuǎn)向車道820。

處理單元110可以被配置為基于處理單元110可經(jīng)由數(shù)據(jù)接口128接收的由圖像捕獲裝置122-126獲取的多個圖像來確定與車道810和820中的每一個相關(guān)聯(lián)的一個或更多個車道約束。根據(jù)一些實施方式，車道約束可由可見的車道邊界(諸如標(biāo)記在路面上的虛線或?qū)嵕€)識別。另外地或替代地，車道約束可包括路面的路邊或障礙。另外地或替代地，車道約束可包括標(biāo)記(例如，博茨點)。根據(jù)一些實施方式，處理單元110(經(jīng)由下面詳細(xì)描述的車道約束模塊910和/或車道定位模塊920)可以通過識別諸如道路800的整體的路面寬度的中點或者車道810/820中的一個的中點來確定與車道810/820相關(guān)聯(lián)的約束。當(dāng)例如沒有畫出或者標(biāo)記出指定諸如車道810/820的道路車道的線時，處理單元110可以基于已知的道路參數(shù)來通過替代的方式(諸如通過估計或推斷)來識別車道約束。

道路800和構(gòu)成車道810/820的約束和路徑的檢測可以包括經(jīng)由相機坐標(biāo)系來確定其3D模型的處理單元110。例如，車道810/820的3D模型可由三次多項式描述。除了行駛車道的3D建模以外，處理單元110還可執(zhí)行主機運動參數(shù)(諸如車輛200的速度、偏航和俯仰速率以及加速度)的多幀估算。處理單元110可以從例如包括在車輛200中的速度傳感器、多軸加速計等接收屬于這些參數(shù)的信息。可選地，處理單元110可檢測靜止和移動車輛及其位置、航向、速度和加速度(都相對于車輛200，將在下面結(jié)合圖10B對其進行描述)。處理單元110可進一步確定道路標(biāo)高(road elevation)模型以將從多個圖像獲取的所有信息轉(zhuǎn)換為三維空間。

一般，作為默認(rèn)條件，車輛200可在車道810/820內(nèi)相對居中地行駛，使得從車輛200到與圖8中描述的車道810/820相關(guān)聯(lián)的車道約束的距離x₁和x₂相等或者接近相等。然而，在一些情形下，環(huán)境因素可使之非期望或不可行，諸如當(dāng)對象或結(jié)構(gòu)存在于道路的一側(cè)的時候。由此，可存在以下情形，即車輛200可期望或有利地更接近一個車道約束或另一個(即，x₁>x₂或反之亦然)，特別是如果車道被確定為即將過終止的話，如下面將結(jié)合圖10-圖11進行討論的。

圖9是與公開的實施方式相一致的存儲器140和/或150的示例性框圖，該存儲器140和/或150可存儲用于執(zhí)行一個或多個操作的指令。如圖9中例示的，存儲器140可存儲用于執(zhí)行本文中描述的車道盡頭識別和響應(yīng)的一個或更多個模塊。例如，存儲器140可以存儲車道約束模塊910、車道定位模塊920和動作模塊930。應(yīng)用處理器180和/或圖像處理器190可執(zhí)行存儲在任何模塊910-930(包括在存儲器140中)中的指令。本領(lǐng)域技術(shù)人員將理解的是，以下討論對處理單元110的引用可單獨或共同指應(yīng)用處理器180和圖像處理器190。因此，任何以下處理的步驟可由一個或多個處理裝置執(zhí)行。

車道約束模塊910可以存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可以檢測并且限定與諸如車道810和820的車道相關(guān)聯(lián)的邊界。在一些實施方式中，所檢測的邊界可以是人造的，例如畫出的線或反射物。在其它實施方式中，所檢測的邊界可以簡單包括道路的自然曲率或者車道或路面的終止。車道偏移模塊910可處理從至少一個圖像捕獲裝置122-124接收的多個圖像，以檢測車道約束。如上面討論的，這可包括識別噴涂的車道線和/或測量路面的中點。另外，車道約束模塊910可以通過從圖像捕獲裝置122-124的視場內(nèi)部的一個或更多個道路標(biāo)志中提取信息來檢測諸如車道810和820的行駛車道的路線和/或約束。這些道路標(biāo)志的示例可以非限制性地包括包含諸如“車道盡頭-向左并車”的文本消息的標(biāo)志或者包含諸如車道終止的視覺表示的視覺消息的標(biāo)志。

車道定位模塊920可存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可幫助系統(tǒng)100確定車輛200的位置。在一些實施方式中，確定車輛200的位置的步驟可以包括：基于車輛位置的至少一個指示符，確定從車輛到與車輛正在行駛的當(dāng)前車道相關(guān)聯(lián)的一個或更多個車道約束的距離。車輛200的位置的這種確定可以至少部分地基于由一個或更多個圖像捕獲裝置122-126捕獲的圖像數(shù)據(jù)的分析。在一些實施方式中，可以利用地圖數(shù)據(jù)(例如，GPS信息)和/或來自其它傳感器(例如，激光測距儀等)的數(shù)據(jù)來補充或替換圖像數(shù)據(jù)。在這種實施方式中，可以測量相對于由車道約束模塊910識別的車道約束的距離。例如，到一個或更多個車道約束的距離可以指定到車道的盡頭或車道已經(jīng)部分終止的區(qū)域的距離(例如，針對包括減少了直至車道已經(jīng)終止的距離的合并區(qū)域的車道)。為了確定車輛200的位置，車道定位模塊920可以對多個圖像進行處理，以檢測車輛200正在行駛的道路的特征。另外地或者另選地，車道偏移模塊920可以從其它模塊(包括位置傳感器130)或其它系統(tǒng)接收指示存在圖像數(shù)據(jù)中的其它特征的信息(諸如其它車輛、道路的曲率等)。車道定位模塊920可以使用坐標(biāo)系或其它的位置表示法(例如，來自映射應(yīng)用的地圖數(shù)據(jù)、GPS信息等)來定期地對車輛的位置狀態(tài)進行更新。狀態(tài)可以被存儲在系統(tǒng)內(nèi)部，諸如存儲器140/150內(nèi)部。車道定位模塊920可以更新位置狀態(tài)，同時車輛200在設(shè)定的時間點(諸如每分鐘、在預(yù)定的分鐘數(shù)之后、每小時等來)移動。另選地，車道定位模塊920可以在檢測到特定的車輛操作(諸如變更車道、加速、減速或其它轉(zhuǎn)向操作)時更新位置狀態(tài)。

動作模塊930可以存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可以幫助系統(tǒng)100基于從一個或更多個源(諸如位置傳感器130、車道約束模塊910或車道定位模塊920)接收的信息來進行相對于車輛200的操作的一個或更多個動作。在一些實施方式中，動作模塊930可以接收指示車輛200的當(dāng)前行駛車道終止的信息。然后，動作模塊930可以執(zhí)行影響車輛200的操作狀態(tài)的一個或更多個動作，諸如促使系統(tǒng)100向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供控制信號，以(例如，通過致使加速、轉(zhuǎn)彎、車道移位，等等)導(dǎo)航車輛200。例如，在一些實施方式中，動作模塊930可以向轉(zhuǎn)向系統(tǒng)240發(fā)送指令，并且轉(zhuǎn)向系統(tǒng)240可以執(zhí)行該指令以將車輛轉(zhuǎn)向到新的行駛車道中。另外地或者另選地，動作模塊300可以向與車輛200相關(guān)聯(lián)的其它系統(tǒng)(諸如制動系統(tǒng)230、轉(zhuǎn)彎信號、節(jié)流系統(tǒng)220等)發(fā)送指令。在一些實施方式中，動作模塊930相反可以為車輛的人類操作者提供代表從關(guān)聯(lián)系統(tǒng)和/或傳感器收集的信息的音頻、視覺、觸覺或觸覺反饋。然后，人類操作者可以對該反饋進行動作，以將車輛轉(zhuǎn)向到不同車道。

圖10A提供了圖8中描述的情況的帶注釋的視圖。車輛200再次在道路800的車道810上行駛，該車道810即將終止。車輛200再次配備有圖像捕獲裝置122和124；更多或更少裝置可以與任何特定車輛200相關(guān)聯(lián)。

向道路800的右側(cè)的是道路標(biāo)志1002和1004。這些標(biāo)志是示例性的，并且不用于限制。道路標(biāo)志1002呈現(xiàn)車道終止的視覺描述。該標(biāo)志對很多駕駛員來說是熟悉的，指示并車的需要。標(biāo)志1004通常被放置為更接近車道的實際盡頭，該標(biāo)志1004通知駕駛員“車道盡頭-向左并車”。與公開的實施方式相一致，系統(tǒng)100可以被配置為從諸如標(biāo)志1002和1004的道路標(biāo)志中提取信息，用于確定車輛200正在行駛的當(dāng)前行駛車道是否終止并且何時終止。對于諸如標(biāo)志1002的視覺標(biāo)志來說，圖像捕獲裝置122-126可以捕獲標(biāo)志的整個面的圖像。圖像處理器190可以被配置為識別標(biāo)志1002的圖像圖形，并且可以向系統(tǒng)100內(nèi)部的其它模塊或單元發(fā)送指示標(biāo)志指示車道終止的信息。在一些實施方式中，系統(tǒng)100的構(gòu)成模塊或子系統(tǒng)(諸如存儲器140/150)可以被配置為包含典型道路標(biāo)志和圖案的列表或數(shù)據(jù)庫，用于快速、實時檢測和信息提取目的。標(biāo)志1004僅包含文本，因此其警告可以由系統(tǒng)100通過光學(xué)字符識別(OCR)能力來讀取，該OCR能力可以被配置在處理單元110、存儲器140/150、圖像處理器190或系統(tǒng)100的任何其它構(gòu)成子系統(tǒng)或模塊內(nèi)部。

從道路標(biāo)志中提取信息是為了車道識別目的系統(tǒng)100可以被配置來執(zhí)行的多個動作中的一個。另外，經(jīng)由存儲器140/150內(nèi)部的車道約束模塊910和車道定位模塊920，系統(tǒng)100可以被配置為基于車輛的位置的至少一個指示符來執(zhí)行道路800的視覺確定并進行伴隨的距離測量。在圖10A的示例中，示出了系統(tǒng)100可以使用的各種潛在測量。系統(tǒng)100可以通過例如對由一個或更多個圖像捕獲裝置122-126獲取的一個或更多個圖像進行分析來獲取測量。測量1006可以表示車道810的總寬度w。距離w還可以被記作是來自圖8的距離x₁和x₂與車輛200的寬度的總和。測量1008可以表示隨著車道810終止道路800的曲率半徑r。較短半徑r可以指示系統(tǒng)100更加迫切需要將車輛200轉(zhuǎn)向到車道820中。測量1010可以表示從車輛200到與車道810相關(guān)聯(lián)的約束的距離d₁。該約束可以指示車道810終止。如上面討論的，約束可以是畫出的線，或者可以是道路800的自然邊緣。距離d₁還可以被測量為障礙物(諸如欄桿、墻壁、桶、圓錐體或任何其它這種對象)的三維空間中的任何部分。距離d₁和其它這種距離(諸如x₁、x₂和w)可以從內(nèi)部或外部車輛200的任何部分測量出，該任何部分非限制性地包括：車輛200的前部、車輛200的諸如前燈或前面車牌的部分、圖像捕獲裝置122或124的安裝好的位置、所確定的車輛200的形心、車輛200的后部、與車輛200相關(guān)聯(lián)的一個或更多個擋風(fēng)玻璃或反光鏡、車輛200的車輪、車輛200的右側(cè)或左側(cè)或車窗、與車輛200的車頂相關(guān)聯(lián)的點、或者與車輛200的底盤相關(guān)聯(lián)的點。如下面將結(jié)合圖11的處理1100進行討論的，系統(tǒng)100可以使用所提取的道路標(biāo)志信息或距離1006-1010中的一方或雙方來確定車輛200的當(dāng)前行駛車道是否即將終止。

圖10B例示了系統(tǒng)100可以用來確定當(dāng)前行駛車道是否在道路上終止的附加視覺確定和/或距離測量組。在圖10B的示例中，存在在即將終止的道路800的車道810上行駛的兩個車輛200a和200b。在一些實施方式中，車輛200a可以配備有系統(tǒng)100并且可以測量距車輛200b的后側(cè)的距離d₂。距離d₂可以被測量到或者來自之前討論的車輛200a和200b的任何部分。另選地，車輛200b可以配備有系統(tǒng)100，并且可以測量向后方到車輛200a的距離d₂。為了圖10B的示例性例示，兩個車輛都被描述為配備有系統(tǒng)100。在一些實施方式中，系統(tǒng)100(在圖10B中例示的兩個車輛中的任何一個上)可以被配置為基于距離d₂來進行當(dāng)前行駛車道是否終止的視覺確定。在這些實施方式中，系統(tǒng)100可以被配置為基于距離d₂的突然縮短來識別車道終止。另選地，系統(tǒng)100可以檢測距離d₂已經(jīng)獲取側(cè)向要素，而不是作為垂直于與車輛200a相關(guān)聯(lián)的前平面延伸的直線。當(dāng)以這種方式進行配置時，可以測量并使用諸如c₁-c₄的測量，用于通過車道定位模塊920的位置狀態(tài)確定。距離c₁-c₄可以表示從車輛200a或200b的一側(cè)到車道810的邊緣的距離，不管是車道約束1014或者劃分車道810/820的道路800的中間的中心虛線。在其它實施方式中，可以在車道820(未示出)的遠(yuǎn)側(cè)測量到車道約束1012的距離。

如圖8和圖10A中，圖10B中的車道810即將終止，并且車輛200a和200b都將需要并入到車道820中。圖10B例示了系統(tǒng)100可以被配置來在現(xiàn)場駕駛情況下進行計算、提取和/或分析的附加距離。除了上述的距離c₁-c₄以外，系統(tǒng)100還可以被配置為計算車道810相對于與該車道相關(guān)聯(lián)的一個或更多個車道約束的距離w₁和w₂以及中點m。當(dāng)加在一起時，如圖10A中所示，距離w₁和w₂等于測量1006w。系統(tǒng)100可以經(jīng)由車道定位模塊920在設(shè)定的時間點來定期地測量車道810的距離w₁和w₂以及中點m。若距離w₁和w₂縮小，和/或如果中點m向右或向左偏移，則系統(tǒng)100可以確定車道810即將終止并且需要并入到另一車道。

圖11例示了與公開的實施方式相一致的用于檢測針對車輛的車道終止的處理1100。處理1100的步驟可以通過處理單元110、圖像獲取單元120、位置傳感器130、車道約束模塊910、車道定位模塊920或動作模塊930中的一個或更多個來執(zhí)行。

在步驟1110，處理1100可包括：使用至少一個圖像捕獲裝置122、124和/或126來獲取車輛200前方區(qū)域的至少一個圖像。該區(qū)域還可以包括提供指示車道終止的信息的至少一個道路標(biāo)志(諸如道路標(biāo)志1002和/或1004)。處理單元110可以通過數(shù)據(jù)接口128從圖像捕獲裝置接收多個圖像。然后，至少一個圖像可以通過處理單元110的圖像處理器190來實時地進行處理。

在步驟1120，處理1100可以從包括在至少一個圖像中的至少一個道路標(biāo)志的表示中提取車道終止信息。該提取可以由圖像處理器190、車道約束模塊910或車道定位模塊920中的一個或多個來執(zhí)行?？梢詮膱D像數(shù)據(jù)中提取各種車道終止信息。例如，在諸如包括多個行駛車道(諸如車道810和820)的道路800的道路上，所提取的車道終止信息可以包括識別多個車道中的哪個車道即將終止。在其它實施方式中，所提取的車道終止信息可以包括到車道終止的距離。圖像處理器190、車道約束模塊910和/或車道定位模塊920可以識別一個或更多個對象或車道約束，以幫助確定直至車道終止的距離。以圖10A的示例為例，從數(shù)據(jù)接口128接收的一個或更多個圖像可以包括道路標(biāo)志1002和1004，并且可以作為道路曲率1008的一個因素以確定在車道中剩余的距離1010。在一些實施方式中，曲率1008的值本身可以獨立地構(gòu)成所提取的車道終止信息。作為處理所提取的信息的一部分，系統(tǒng)100可以使用位置傳感器130來確定從車輛200到所識別的對象(例如，車道約束)中的一個或多個的距離。在一些實施方式中，系統(tǒng)100可以通過對由一個或更多個圖像捕獲裝置122-126獲取的一個或更多個圖像進行分析來確定從車輛200到所識別的對象(例如，車道約束)中的一個或多個的距離。在其它實施方式中，系統(tǒng)100可以通過使用由位置傳感器130提供的數(shù)據(jù)和通過由一個或更多個圖像捕獲裝置122-126獲取的一個或更多個圖像的分析而獲得的數(shù)據(jù)的組合來確定從車輛200到一個或更多個所識別的對象(例如，車道約束)的距離。在步驟1130，處理1100可以基于車輛的位置的至少一個指示符來確定車輛(諸如車輛200)的位置。車輛的位置的至少一個指示符可以包括通過直接測量工具、物理裝置或模塊(諸如位置傳感器130)獲取的信息。另選地或另外地，車輛的位置的至少一個指示符可以包括通過間接測量獲得的信息。例如，在一些實施方式中，位置的至少一個指示符可以包括車輛200可以行駛在道路800上的多個車道當(dāng)中的哪個車道(諸如車道810和820)上行駛的視覺確定。在其它實施方式中，位置的至少一個指示符可以包括一個或更多個視覺確定。視覺確定可以通過按照“測距儀”的方式由圖像獲取單元120執(zhí)行的軟件指令來直接確定，或者可以從由圖像處理器190從數(shù)據(jù)接口128接收的并且由一個或更多個圖像捕獲裝置122-126獲取的圖像數(shù)據(jù)的分析中確定。在一些實施方式中，位置的至少一個指示符可以包括到車道終止的距離的視覺確定。該確定例如可以由車道約束模塊910和車道定位模塊920基于從車輛200到與一個或更多個車道相關(guān)聯(lián)的道路800的一個或更多個車道約束的所確定的距離來進行。在其它實施方式中，位置的至少一個指示符可以包括到第二車輛的距離的視覺確定。第二車輛可以在車輛200的前面行駛。這是上面結(jié)合圖10B描述的場景。一旦被確定，位置信息就可以被存儲在系統(tǒng)100內(nèi)部，諸如存儲在存儲器140/150中，并且可以如上文結(jié)合圖9所討論的通過車道定位模塊920來定期地進行更新。

在步驟1140，處理1100可以(基于來自步驟1120的所提取的車道信息和來自步驟1130的從車輛到一個或更多個道路800車道約束的所確定的距離)確定車輛正在行駛的當(dāng)前車道是否即將終止。如上面通常所描述的，系統(tǒng)100可以確定道路800內(nèi)的行駛車道(諸如車道810和820)的持續(xù)狀態(tài)。例如，系統(tǒng)100可以從在車輛前面的道路標(biāo)志(諸如指示車輛200正在行駛的車道可以很快終止的道路標(biāo)志1002和1004)中提取信息。另外，可以使用系統(tǒng)100的各種元件來進行距離的測量。例如，位置傳感器130和/或車道定位模塊920可以將包括車輛200距車道的盡頭多遠(yuǎn)在內(nèi)的關(guān)于車道810/810內(nèi)的車輛200的相對位置的信息發(fā)送到處理單元110。車道的盡頭可以基于所測量的距離或者視覺確定(例如，通過對由一個或更多個圖像捕獲裝置122-126獲取的一個或更多個圖像進行分析)。

如果處理單元110從所獲取的信息中確定當(dāng)前行駛車道不終止(步驟1140：否)，則處理1100可以返回至開頭，并且系統(tǒng)100可以繼續(xù)監(jiān)測車輛200相對于其當(dāng)前行駛車道的狀態(tài)。例如，如果道路標(biāo)志指示車道由于道路建設(shè)而即將終止，然而，但是由于主要例外(諸如天氣、工作日或其它因素)，實際上沒有工人或障礙物在擋住車道，則上述情況可以產(chǎn)生。系統(tǒng)100還可以例如經(jīng)由車道約束模塊910來確定一個或更多個車道約束中的感知到的偏移可以由于新的或臨時的道路模式，或者可以包括道路上的自然曲率。當(dāng)然，車輛200的駕駛員(如果有的話)仍能夠手動變更車道。

另選地，如果系統(tǒng)100確定當(dāng)前行駛車道即將終止(步驟1140：是)，則處理1100可以進行到步驟1150。在步驟1150，處理1100可以促使車輛200將車道變更為道路800的不終止的另一個車道。處理單元110可以經(jīng)由動作模塊930來向與車輛200相關(guān)聯(lián)的一個或更多個系統(tǒng)發(fā)送指令。例如，指令可以被發(fā)送到轉(zhuǎn)向系統(tǒng)240，指示車輛200向左或向右并入到下一車道中。可以發(fā)送其它指令；例如，圖像處理器190可以從實時圖像數(shù)據(jù)中確定交通防止立即合并到下一車道中。在這些實施方式中，指令可以首先被發(fā)送到制動系統(tǒng)230和/或轉(zhuǎn)彎信號控制系統(tǒng)，并且車輛200可以減速或者被停止，直至期望的新車道安全并入。此時，可以做出對轉(zhuǎn)向系統(tǒng)220的指令并且車輛可以轉(zhuǎn)彎。在一些另選實施方式中，在車輛200部分地或完全地在人類操作者的控制之下的情況下，步驟1150可以相反包括生成對操作者的通知行駛車道即將終止并且需要車道變更的反饋。在一些實施方式中，如果人類操作者在一定的時間段內(nèi)不對反饋做出響應(yīng)，則諸如系統(tǒng)100的自動系統(tǒng)以及其動作模塊930可以接管汽車的操作并且促使車輛如上所述自動地變更車道。該時間段可以是預(yù)定的，或者可以基于諸如上面結(jié)合步驟1130所描述的視覺確定這樣的距車道的盡頭的距離的視覺確定來計算。

道路上低高度對象的檢測

系統(tǒng)100可以檢測對象何時位于當(dāng)前行駛車道內(nèi)，并且如果系統(tǒng)100確定對象超過閾值高度的話，則系統(tǒng)可以將關(guān)聯(lián)車輛轉(zhuǎn)向繞過或越過該對象?！败嚨馈笨芍杠囕v的指定或預(yù)期行進路徑并且可具有標(biāo)記邊界(例如，道路上的線)或未標(biāo)記邊界(例如，道路路邊、道路障礙、護欄、停放的車輛，等等)或約束。系統(tǒng)100可以僅基于由一個或更多個圖像獲取單元獲取的視覺信息來進行操作以做出這些檢測和確定。在一些實施方式中，系統(tǒng)100可以被配置為檢測道路上的突出路面之上僅僅2cm的對象。

圖12例示了在道路800上行駛的車輛200，其中可以使用用于檢測道路上的對象的所公開的系統(tǒng)和方法。車輛200被描述為配備有圖像捕獲裝置122和124；可以在任何特定的車輛200上采用更多或更少的圖像捕獲裝置(例如，包括相機)。如所示，道路800可以被細(xì)分成車道，諸如車道810和820。作為示例示出了車道810和820；給定道路800可以基于道路的大小和性質(zhì)，例如州際高速公路，而具有額外車道。在圖12的示例中，車輛200在車道810上行駛，并且兩個對象1202和1204位于車道810中。如下面詳細(xì)討論的，系統(tǒng)100可以促使車輛200進行轉(zhuǎn)向繞過或越過(多個)對象。

處理單元110可以被配置為基于處理單元110可經(jīng)由數(shù)據(jù)接口128接收的由圖像捕獲裝置122-126獲取的多個圖像來確定與車道810和820中的每一個相關(guān)聯(lián)的一個或更多個車道約束。根據(jù)一些實施方式，車道約束可由可見的車道邊界(諸如標(biāo)記在路面上的虛線或?qū)嵕€)識別。另外地或替代地，車道約束可包括路面的路邊或障礙。另外地或替代地，車道約束可包括標(biāo)記(例如，博茨點)。根據(jù)一些實施方式，處理單元110(經(jīng)由下面詳細(xì)描述的車道定位模塊1320)可以通過識別諸如道路800的整體的路面寬度的中點或者車道810/820中的一個的中點來確定與車道810/820相關(guān)聯(lián)的約束。當(dāng)例如沒有畫出或者標(biāo)記出指定諸如車道810/820的道路車道的線時，處理單元110可以基于已知的道路參數(shù)來通過替代的方式(諸如通過估計或推斷)來識別車道約束。

道路800和構(gòu)成車道810/820的約束和路徑的檢測可以包括經(jīng)由相機坐標(biāo)系來確定其3D模型的處理單元110。例如，車道810/820的3D模型可由三次多項式描述。除了行駛車道的3D建模以外，處理單元110還可執(zhí)行主機運動參數(shù)(諸如車輛200的速度、偏航和俯仰速率和/或加速度)的多幀估算。處理單元110可以檢測靜止的和移動的對象以及其全部相對于車輛200的位置，這將在下面結(jié)合圖14A、圖14B和圖15來進行描述。例如，處理單元110可以使用圖像數(shù)據(jù)、GPS數(shù)據(jù)和/或來自傳感器(例如，位置傳感器130、速度傳感器等等)的數(shù)據(jù)來確定車輛200的位置。處理單元110可進一步確定道路標(biāo)高模型以將從多個圖像獲取的部分或全部信息轉(zhuǎn)換到三維空間中。

在圖12的示例中，多個測量表示系統(tǒng)100可以考慮何時確定使用動作模塊1330要采取的潛在動作，這將在下面詳細(xì)進行描述。對象1202和1204在圖12的例示中分別由紙板箱和梯子來表示。這些是例如在從看不到的第二車輛上落下之后被看作是典型道路上的障礙物的一般物品。這些對象僅用作示例。系統(tǒng)100可以被配置為檢測可以在道路上發(fā)現(xiàn)的任何對象的存在，非限制性地包括其分支、輪胎或部分，金屬或木頭的廢料、行駛車道內(nèi)部的減速帶、人類或動物、管道、另一輛車等等。

作為與公開的實施方式相一致的駕駛員輔助對象檢測系統(tǒng)的一部分，系統(tǒng)100可以確定例如距離l₁和l₂，該距離l₁和l₂可以表示車輛200的表面到道路800和/或車道810/820的各種特征(諸如車道約束、道路標(biāo)志或任何其它這種特征)的距離。進一步，系統(tǒng)100可以確定距離d₃和d₄，該距離d₃和d₄分別是從車輛200的表面到對象1202和1204中的每一個的測量的距離。諸如l₁、l₂、d₃和d₄的距離可以從內(nèi)部或外部車輛200的任何部分測量出，該任何部分非限制性地包括：車輛200的前部、車輛200的諸如前燈或前面車牌的部分、圖像捕獲裝置122或124的安裝好的位置、所確定的車輛200的形心、車輛200的后部、與車輛200相關(guān)聯(lián)的一個或更多個擋風(fēng)玻璃或反光鏡、車輛200的車輪、車輛200的右側(cè)或左側(cè)或車窗、與車輛200的車頂相關(guān)聯(lián)的點、或者與車輛200的底盤相關(guān)聯(lián)的點。下面將詳細(xì)討論可以如何使用這些示例性距離測量來確定由系統(tǒng)100采取的潛在動作的進一步細(xì)節(jié)。

圖13是與公開的實施方式相一致的存儲器140和/或150的示例性框圖，該存儲器140和/或150可存儲用于執(zhí)行一個或多個操作的指令。如圖13中圖示的，存儲器140可存儲用于執(zhí)行本文中描述的對象檢測和響應(yīng)的一個或多個模塊。例如，存儲器140可以存儲對象檢測模塊1310、車道定位模塊1320和動作模塊1330。應(yīng)用處理器180和/或圖像處理器190可執(zhí)行存儲在任何模塊1310-1330(包括在存儲器140中)中的指令。本領(lǐng)域技術(shù)人員將理解的是，以下討論對處理單元110的引用可單獨或共同指應(yīng)用處理器180和圖像處理器190。因此，任何以下處理的步驟可由一個或多個處理裝置執(zhí)行。

對象檢測模塊1310可以存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可以檢測在道路800內(nèi)部(諸如在車道810和820內(nèi)部)發(fā)現(xiàn)的一個或更多個對象。如下面將結(jié)合圖14A、圖14B和圖15要討論的，對象檢測模塊1310可以識別由一個或更多個圖像捕獲裝置122-126捕獲的圖像數(shù)據(jù)內(nèi)部的一個或更多個對象并且確定這些對象正停留在路面上。對象檢測模塊1310還可以確定與路面相對應(yīng)的參考平面，并且可以使用該參考平面來確定所識別的對象的尺寸和屬性(諸如其高度、長度和寬度)。對象檢測處理還可以包括識別畫出的車道線和/或測量諸如道路800的路面的中點，為了確定參考平面且為了確定道路/車道內(nèi)部的對象的位置。在一些實施方式中，用來生成圖像數(shù)據(jù)的圖像捕獲裝置的視場可以是從大約35度到大約55度的范圍。

車道定位模塊1320可存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可幫助系統(tǒng)100確定車輛200的位置。在一些實施方式中，確定車輛200的位置的步驟可以包括：基于車輛位置的至少一個指示符，確定從車輛到與車輛正在行駛的當(dāng)前車道相關(guān)聯(lián)的一個或更多個車道約束的距離。在這種實施方式中，還可以測量相對于由對象檢測模塊1310檢測的所識別的對象的距離。與公開的實施方式相一致，可以使用針對一個或更多個車道約束而測量的距離來確定是否需要或推薦車輛200的定向路線上的變化。為了確定車輛200的位置，車道定位模塊1320可以對多個圖像進行處理，以檢測車輛200正在行駛的道路的特征。另外地或者另選地，車道定位模塊1320可以從其它模塊(包括位置傳感器130)或其它系統(tǒng)接收指示存在圖像數(shù)據(jù)中的其它特征的信息(諸如其它車輛、道路的曲率等)。

動作模塊1330可以存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可以幫助系統(tǒng)100基于從一個或更多個源(諸如位置傳感器130、對象檢測模塊1310或車道定位模塊1320)接收的信息來進行相對于車輛200的操作的一個或更多個動作。在一些實施方式中，動作模塊1330可以(從例如對象檢測模塊1310)接收指示已經(jīng)檢測到道路800上的一個或更多個對象的信息。該信息還可以包括所檢測的對象的一個或更多個尺寸或?qū)傩裕T如其相對于路面的高度。然后，動作模塊1330可以執(zhí)行影響車輛200的操作狀態(tài)的一個或更多個動作，諸如促使系統(tǒng)100向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供控制信號，以(例如，通過致使加速、轉(zhuǎn)彎、轉(zhuǎn)向、車道移位，等等)導(dǎo)航車輛200。例如，在一些實施方式中，動作模塊1330可以向轉(zhuǎn)向系統(tǒng)240發(fā)送指令，并且轉(zhuǎn)向系統(tǒng)240可以執(zhí)行該指令以將車輛轉(zhuǎn)向到新的行駛車道中。在其它實施方式中，動作模塊1330可以確定更安全和/或更好的動作路線將要簡單地使車輛200轉(zhuǎn)向使得其經(jīng)過對象的頂部，假設(shè)該對象的高度低于車輛200的路凈空高度。另外地或者另選地，動作模塊1330可以向與車輛200相關(guān)聯(lián)的其它系統(tǒng)(諸如制動系統(tǒng)230、轉(zhuǎn)彎信號、節(jié)流系統(tǒng)220等)發(fā)送指令。在一些實施方式中，動作模塊1330相反可以為車輛的人類操作者提供代表從關(guān)聯(lián)系統(tǒng)和/或傳感器收集的信息的音頻、視覺、或觸覺反饋。然后，人類操作者可以對該反饋進行動作，以將車輛轉(zhuǎn)向到不同車道。

圖14A例示了可以由系統(tǒng)100經(jīng)由圖像捕獲裝置122-126獲取的多個所捕獲的圖像當(dāng)中的兩個圖像的示例。在圖14A的示例中，圖像1402(頂部)可以是所獲取的第一圖像，并且圖像1404(底部)可以是稍后(諸如幾秒鐘之后)拍攝的第二圖像。如能夠從圖像1402和1404中看出的，配備有系統(tǒng)100的車輛(諸如上面的車輛200)在道路(諸如道路800)上行駛。道路在車輛的正前方對齊，道路的視線在地平面1406處終止?；趫D像1402中例示的視線，道路可以形成坡。任何道路建設(shè)或?qū)R都能夠通過系統(tǒng)100來進行分析。如能夠從圖像1402和1404中看出的，表示最初未知尺寸的紙板箱的對象1202位于所例示的道路的右行駛車道的中間。

在一些實施方式中，系統(tǒng)100可以被配置為對所捕獲的圖像(諸如圖像1402和1404)進行分析，以確定與道路平面(諸如路面)相對應(yīng)的參考平面。下面將結(jié)合圖15和處理1500來更加詳細(xì)地對該處理進行描述。簡單來說，系統(tǒng)100(經(jīng)由處理單元110和圖像處理器190)可以確定與路面相對應(yīng)的參考平面，作為與路面相關(guān)聯(lián)的平均表面水平面。由于道路的構(gòu)成(即，瀝青、混凝土或者甚至砂礫)或者道路的傾斜和/或曲率的變化，這可能導(dǎo)致路面的變化。來自多個圖像當(dāng)中的多個圖像可以用來確定參考平面。在圖14A的例示中，所確定的參考平面由參考平面1408來表示。

系統(tǒng)100可以經(jīng)由處理單元110和對象檢測模塊1310將一個或多更多個對象(諸如對象1202)定位為位于道路上。例如當(dāng)對象出現(xiàn)在所捕獲的多個圖像當(dāng)中的多個圖像中的相同位置時，可以發(fā)生檢測。對象(諸如對象1202)可以是移動的或靜止的。在圖14A的例示中，對象1202在道路上是靜止的。可以由對象檢測模塊1310通過各種方法來確定(多個)對象的(多個)位置。在一些實施方式中，可以通過GPS和/或其它基于坐標(biāo)的系統(tǒng)來確定(多個)目標(biāo)對象的位置。進一步，對象檢測模塊1310可以進行對象1202的位置的視覺確定。在一些實施方式中，對象檢測模塊1310、位置傳感器130和圖像處理器190中的一個或更多個還可以確定對象1202距車輛200有多遠(yuǎn)，如上面結(jié)合圖12所討論的。當(dāng)以這種方式進行配置時，可以測量并使用如圖12中所示的諸如d₃-d₄的測量，用于通過車道定位模塊1320執(zhí)行的位置狀態(tài)確定。

可以結(jié)合圖5至圖7以上述的方式來計算從車輛200到在道路內(nèi)部檢測到的對象(諸如對象1202)的距離。例如，系統(tǒng)100可分析圖像數(shù)據(jù)、位置數(shù)據(jù)(例如，GPS地點信息)、地圖數(shù)據(jù)、速度數(shù)據(jù)和/或來自包括在車輛200中的傳感器的數(shù)據(jù)，以計算距離。系統(tǒng)100可收集來自例如圖像獲取單元120、位置傳感器130及其它傳感器的數(shù)據(jù)以供分析。

在一些實施方式中，處理單元110可基于以下技術(shù)來構(gòu)建測量結(jié)果：基于估算技術(shù)使用一系列基于時間的觀察(諸如卡爾曼濾波器或線性二次估算(LQE))；和/或基于不同對象類型(例如，汽車、卡車、行人、自行車、道路標(biāo)志，等等)的可用建模數(shù)據(jù)。卡爾曼濾波器可基于對象尺度的測量結(jié)果，其中尺度測量結(jié)果與將要碰撞的時間(例如，車輛200到達(dá)對象所需的時間量)成比例。

處理單元110在一些實施方式中可以被配置為使用之前所討論的一個或更多個數(shù)學(xué)算法或模型來創(chuàng)建道路的可視部分的3D重構(gòu)。例如，如上面結(jié)合圖5所討論的，處理單元110可以確定車輛200的前瞻距離，該前瞻距離可以具有從10米到20米的下限范圍，可以被計算為車輛200的速度和所確定的前瞻時間的乘積。例如，隨著車輛200的速度降低，前瞻距離也可減小(例如，直到前瞻距離達(dá)到下限)。另外地或者另選地，處理單元110可執(zhí)行立體圖像分析模塊404來執(zhí)行第一和第二多個圖像的立體圖像分析，以創(chuàng)建車輛前方道路的3D地圖并且檢測圖像內(nèi)的特征，諸如對象1202。處理單元110可以通過觀察可以相對于出現(xiàn)在圖像數(shù)據(jù)內(nèi)部的多個所捕獲的圖像中的至少兩個圖像中的對象而存在的差異來估計相對于對象1202相對于車輛200的位置。例如，相對于車輛200的位置、速度和/或加速度可基于與對象1202關(guān)聯(lián)的特征的軌跡、位置、移動特性等等來確定。

對象1202可以是相對平坦的對象，或者其可以是三維的。如下面進一步詳細(xì)討論的，如果對象是平坦或者相對平坦(例如，2cm或更小、1cm或更小等)，則系統(tǒng)100可以確定不需要進一步的動作或車輛200的路線的變更。在圖14A的例示中，對象1202再次是紙板箱。在第一圖像1402中，對象1202具有初始維度o_x1、o_y1和o_z1。系統(tǒng)100可以經(jīng)由對象檢測模塊1310被配置為基于參考平面1408、所檢測的道路的車道約束或者圖像數(shù)據(jù)內(nèi)部的已知大小和/或位置的其它參考點來確定這些維度。在稍后拍攝的第二圖像1404中，對象1202那時更靠近車輛，并且表現(xiàn)得更大。對象1202那時具有第二維度o_x2、o_y2和o_z2。系統(tǒng)100可以通過與第一組維度相同的方式來確定該第二組維度。

在一些實施方式中，系統(tǒng)100可以使用第一圖像1402和至少第二圖像(諸如圖像1404)中的對象1202的所確定的維度來收集更多關(guān)于該對象的信息并確定該對象的一個或更多個屬性。在一些實施方式中，系統(tǒng)100(經(jīng)由處理單元110和/或圖像處理器190)可以被配置為基于之前被編程到集成數(shù)據(jù)庫或通過互聯(lián)網(wǎng)可訪問的數(shù)據(jù)庫中的已知對象來自動識別對象。在這些實施方式中，系統(tǒng)100可以被配置為生成對車輛200的人類操作者的音頻或視覺反饋。

系統(tǒng)100可以確定例如來自圖像1404的一個或更多個維度o_x2、o_y2和o_z2與來自圖像1402的維度o_x1、o_y1和o_z1不同。如果來自圖像1404的第二組維度小于來自第一圖像1402的維度，則對象有可能遠(yuǎn)離車輛200移動并且通常不受關(guān)注。如果第二組維度被確定為大于第一組維度，則該確定可以指示對象1202要么在道路上靜止要么朝向車輛200移動，并且可以進行其它動作。例如，系統(tǒng)100可以確定對象1202相對于參考平面1408的高度(實質(zhì)上，維度o_x1/o_x2)，以確定對象1202相對于路面的大致高度。在一些實施方式中，系統(tǒng)100可以被配置為檢測盡量小如2cm高的對象?；谒_定的對象的高度，系統(tǒng)100可以進行多個另選動作中的一個動作，如下面將更加詳細(xì)地討論的。

圖14B提供了圖12中描述的情況的帶注釋的視圖。車輛200(這里表示為車輛200c)再次在道路800的車道810上行駛。車輛200c再次配備有圖像捕獲裝置122和124；更多或更少裝置可以與任何特定車輛200相關(guān)聯(lián)。

對象1202被定位在道路800的車道810上。使用上面結(jié)合圖14A(并且下面結(jié)合圖15和處理1500更加詳細(xì)地)描述的處理，系統(tǒng)100可以被配置為基于從一個或更多個圖像捕獲裝置122-126獲取的并且經(jīng)由數(shù)據(jù)接口128接收的多個圖像來確定對象1202的多個屬性。這些屬性可以包括對象1202的位置和尺寸，包括其相對于道路800的表面的高度。

作為初始步驟，系統(tǒng)100可以經(jīng)由位置傳感器130和/或車道定位模塊1320來確定車輛200c和對象1202的相對位置。該確定可以包括確定車道約束或者與道路800和/或車道810/820相關(guān)聯(lián)的其它這種位置指示符。系統(tǒng)100然后可以經(jīng)由處理單元110通過計算距所確定的約束的距離來確定其當(dāng)前行駛車道(這里，車道810)內(nèi)部的車輛200c的位置。在圖14B的例示中，系統(tǒng)100可以例如確定從車輛200的一個或更多個表面到車道約束的距離q₁和q₂。進一步，系統(tǒng)100可以確定從車輛200c的表面到對象1202的表面的距離d₂。系統(tǒng)100還可以諸如通過測量從對象1202的表面到車道約束分離車道810和820的距離q₃來確定橫向位于車道內(nèi)部的對象1202的相對定位。這些所確定的距離中的每一個(諸如q₁、q₂等等)可以從車輛200c的內(nèi)部或外部的任何部分測量出，該任何部分非限制性地包括：車輛200c的前部、車輛200c的諸如前燈或前面車牌的部分、圖像捕獲裝置122或124的安裝好的位置、所確定的車輛200c的形心、車輛200c的后部、與車輛200c相關(guān)聯(lián)的一個或更多個擋風(fēng)玻璃或反光鏡、車輛200c的車輪、車輛200c的右側(cè)或左側(cè)或車窗、與車輛200c的車頂相關(guān)聯(lián)的點、或者與車輛200c的底盤相關(guān)聯(lián)的點。距離d₂和q₃還可以被測量為對象1202的三維空間中的任何部分。

至少基于如上面結(jié)合圖14A所討論的所確定的對象1202的尺寸，以及圖14B中所例示的所確定的距離，系統(tǒng)100可以確定要進行的一個或更多個動作。系統(tǒng)100可以經(jīng)由動作模塊1330進行動作，以向車輛200c的各種關(guān)聯(lián)子系統(tǒng)發(fā)送信息和指令以執(zhí)行動作，這些子系統(tǒng)非限制性地包括節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240。由動作模塊1330進行的動作還可以通過車輛200c的路凈空高度的確定來通知。該凈空高度可以是存儲在系統(tǒng)100的存儲器140/150中的已知值，或者其可以基于輪胎的充氣狀態(tài)、路面、天氣狀況等的各種因素在每種駕駛情況下再次確定。在一些實施方式中，凈空高度可以使用光學(xué)和參考點(例如，從車輛200c到路面上的點)或者通過聲音回聲、光回聲、來自路面的無線電頻率等來測量。然后動作模塊1330可以基于所確定的對象1202的高度和車輛200c的路凈空高度來確定要進行的多個另選動作中的一個動作。例如，如果對象1202的高度小于車輛200c的路凈空高度，則動作模塊1330可以確定動作的安全進程是簡單地什么也不做，并且允許車輛200c駕駛超過對象1202，對象被定位在車輛200c的車輪之間。另選地，動作模塊1330可以確定對象1202的高度低于車輛200c的路凈空高度，但是車輛200c的定向路線上的微小變化可以允許車輛200c安全駕駛過對象1202。進一步，系統(tǒng)100和動作模塊1330可以確定對象1202的高度超過車輛200c的路凈空高度，并且為了避開對象1202可能需要車輛200c的定向路線的正確調(diào)整。為了安全進行路線變更，這些調(diào)整還可能需要向節(jié)流系統(tǒng)220和/或制動系統(tǒng)230發(fā)送指令。

該后一種場景在圖14B中進行例示。這種例示僅僅是示例，并且不用于限制。在圖14B的示例中，系統(tǒng)100已經(jīng)確定對象1202的高度高于車輛200c的路凈空高度。因此，動作模塊1330可以基于如上所述的所檢測的車道約束和所測量的距離來確定車輛200c的最佳動作路線是稍微向右移動以避開對象1202。然后，動作模塊1330可以向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240發(fā)送指令，以實現(xiàn)該定向路線的變更。

當(dāng)車輛200c經(jīng)過對象1202時，車輛200c的投影位置由車輛200d來表示。為了成功完成對象1202的經(jīng)過，系統(tǒng)100可以確定新的其它距離。例如，系統(tǒng)100可以確定如圖14B中所示的距離q₄，該距離q₄對應(yīng)于從對象1202到車輛200d的表面的所需要的安全距離。系統(tǒng)100還可以經(jīng)由車道定位模塊1320來計算距離q₅和q₆，該距離q₅和q₆表示車輛200d相對于所檢測的車道約束的位置。這些距離可以被發(fā)送到動作模塊1330，以幫助確定車輛200d的合適的定向路線。理想地，車輛200d將成功轉(zhuǎn)彎經(jīng)過對象1202，同時停留在車道810的約束之內(nèi)。然而，在一些實施方式中，為了避免對象1202，可能需要車輛200d移動到車道810的約束的外面，或者可能需要車輛200d簡單變更車道，諸如變更到車道820。一旦經(jīng)過了對象1202，動作模塊1330就可以向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240發(fā)送可以恢復(fù)車輛200的正常操作的指示。

圖15例示了與公開的實施方式相一致的用于檢測道路上的對象的處理1500。處理1500的步驟可以通過處理單元110、圖像獲取單元120、位置傳感器130、圖像處理器190、對象檢測模塊1310、車道定位模塊1320或動作模塊1330中的一個或更多個來執(zhí)行。

在步驟1510，處理1500可包括：使用至少一個圖像捕獲裝置122、124和/或126來獲取車輛200附近區(qū)域的多個圖像。在一些實施方式中，多個圖像可以是車輛200的前方區(qū)域的圖像。處理單元110可以通過數(shù)據(jù)接口128從(多個)圖像捕獲裝置接收多個圖像。然后，多個圖像可以通過處理單元110的圖像處理器190來實時地進行處理。圖像處理器190可以對由至少一個圖像捕獲裝置捕獲的第一圖像、以及在稍后的時間點捕獲的至少一個附加圖像進行處理。至少一個圖像捕獲裝置可以被配置為具有大約35度到大約55度之間的視場。上面結(jié)合圖14A例示了系統(tǒng)100的所獲取圖像和潛在視場的示例。

在步驟1520，處理1500可以確定與道路800的表面相對應(yīng)的參考平面。該確定可以由圖像處理器190、對象檢測模塊1310或車道定位模塊1320中的一個或多個來執(zhí)行。參考平面可以與上面結(jié)合圖14A描述的平面1408相似。參考平面可以基于由至少一個圖像捕獲裝置獲捕獲的多個圖像來確定。在這些實施方式中，參考平面可以通過對多個圖像當(dāng)中的第一圖像和至少第二圖像進行分析來確定。在一些實施方式中，路面的位置可以通過圖像處理器190對多個圖像的分析來確定。

參考平面可以通過視差信息的方式，或者通過檢測路面上的一個或更多個車道約束的方式來檢測。在一些實施方式中，參考平面可以通過圖像數(shù)據(jù)中的色差或暗度差來確定。處理單元110可以利用圖像處理器190生成并提出多個潛在參考平面，然后選擇最佳候選。一旦選擇了參考平面，就可以將關(guān)于其位置的信息存儲在系統(tǒng)100內(nèi)部，諸如存儲在存儲器140/150中。在一些實施方式中，處理單元110和/或圖像處理器190可以基于路面的變化(諸如標(biāo)高變化或曲率變化)或者當(dāng)車輛200轉(zhuǎn)彎到不同道路上時定期地重新確定參考平面。在一些實施方式中，處理單元110可以被配置為確定與道路800的表面相對應(yīng)的參考平面1408，作為與出現(xiàn)在多個圖像中的路面相關(guān)聯(lián)的平均表面水平面。例如當(dāng)?shù)缆?00不完全平坦或者異常時(諸如如果路面包括砂礫、凹坑、雪或冰、泥、植被等等中的一種或多種)，這種方法可以有用。

在步驟1530，處理1500可以將目標(biāo)對象定位在多個圖像內(nèi)的第一圖像和稍后拍攝的至少一個第二圖像中。如上面結(jié)合圖14A所例示的，對象檢測模塊1310可以基于圖像存在于由系統(tǒng)獲取的多個圖像當(dāng)中的多個圖像中來對該圖像進行定位。對象檢測模塊1310可以確定與所檢測的對象相關(guān)聯(lián)的一個或更多個潛在測量。如上面結(jié)合圖14A至圖14B所討論的，這些測量可以包括對其它對象(諸如車輛或車道約束)的相對測量?？梢酝ㄟ^直接測量工具、物理裝置或模塊(諸如位置傳感器130)來幫助對象位置的確定。在其它實施方式中，這些確定可以包括一個或更多個視覺確定。視覺確定可以通過按照“測距儀”的方式由圖像獲取單元120執(zhí)行的軟件指令來直接確定，或者可以從由圖像處理器190從數(shù)據(jù)接口128接收的并且由一個或更多個圖像捕獲裝置122-126獲取的圖像數(shù)據(jù)的分析中確定。一旦被確定，對象的位置就可以被存儲在系統(tǒng)100內(nèi)，諸如存儲在存儲器140/150中，并且可以通過對象檢測模塊1310來定期地進行更新。

在步驟1540，處理1500可以確定所檢測的(多個)對象的一個或更多個屬性。在一些實施方式中，對象可以基于存儲在與系統(tǒng)100相關(guān)聯(lián)的數(shù)據(jù)庫中的信息而被識別為特定對象。如上所討論的，這些所確定的屬性可以包括所檢測對象的尺寸(諸如其相對于所檢測參考平面的高度)。系統(tǒng)100可以被配置為確定道路內(nèi)的在參考平面上面延伸至少大約2cm的任何對象的高度。在另選實施方式中，系統(tǒng)100可以被配置為檢測并確定在參考平面上面在2cm到10cm之間延伸的任何對象的屬性。在其它實施方式中，目標(biāo)對象高度的確定還可以基于檢測到的所述車輛的速度。可以基于從節(jié)流系統(tǒng)220或制動系統(tǒng)230中的一個或多個接收的信息來確定速度。關(guān)于計算針對路面的參考平面和計算目標(biāo)對象的高度的其它細(xì)節(jié)可以在2014年11月26日提交的美國專利申請14/554,500中找到，該美國專利申請的全部內(nèi)容通過引用的方式并入在本文中。

系統(tǒng)100可以被配置為基于所確定的屬性來確定與所檢測的對象相關(guān)聯(lián)的動作。例如，系統(tǒng)100和動作模塊1330可以被配置為除非所檢測的對象的確定高度超過閾值水平，否則不進行任何實質(zhì)性的動作。在一些實施方式中，如上面所討論的，閾值水平可以是大約2cm，或者取決于用戶或系統(tǒng)偏好可以更高(例如，3cm、4cm、5cm、6cm等等)。例如，在一些實施方式中，閾值可以與車輛200的所檢測的路凈空高度相關(guān)聯(lián)。如果處理單元110從所獲取的信息中確定對象的高度不超過所配置的閾值(步驟1550：否)，則處理1500可以返回至開頭，并且系統(tǒng)100可以繼續(xù)監(jiān)測道路內(nèi)的潛在對象的狀態(tài)。

另選地，如果系統(tǒng)100響應(yīng)于在道路中存在所檢測的對象而確定可能需要動作(步驟1550：是)，則處理1100可以進行到步驟1560。在步驟1560，處理1500可以促使車輛200變更定向路線，以避開或經(jīng)過所檢測的對象。處理單元110可以經(jīng)由動作模塊1330來向與車輛200相關(guān)聯(lián)的一個或更多個系統(tǒng)發(fā)送指令。例如，指令可以被發(fā)送到轉(zhuǎn)向系統(tǒng)240，指示車輛200向左或向右并入到下一車道中。另選地，可以發(fā)送指令以轉(zhuǎn)彎繞過對象，或者變更定向路線使得車輛僅駕駛越過對象，該對象位于車輪之間?？梢园l(fā)送其它指令；例如，圖像處理器190可以從實時圖像數(shù)據(jù)中確定交通或其它障礙物防止定向路線的立即變更。在這些實施方式中，指令可以首先被發(fā)送到制動系統(tǒng)230和/或轉(zhuǎn)彎信號，并且車輛200可以減速或者被停止，直至能夠進行定向路線變更。此時，可以安全地做出對轉(zhuǎn)向系統(tǒng)220的指令并且車輛可以轉(zhuǎn)彎以變更路線。

在一些另選實施方式中，在車輛200部分地或完全地在人類操作者的控制之下的情況下，步驟1560可以相反包括生成對操作者的通知在道路上檢測到對象并且建議或需要定向路線的變更的反饋。在一些實施方式中，如果人類操作者在一定的時間段內(nèi)不對反饋做出響應(yīng)，則諸如系統(tǒng)100的自動系統(tǒng)以及其動作模塊1330可以接管汽車的操作并且促使車輛如上所述自動地變更路線。該時間段可以是預(yù)定的，或者可以基于諸如上面結(jié)合圖12和圖14A至圖14B所描述的視覺確定的視覺確定來計算。

超寬交通燈檢測系統(tǒng)

在一些實施方式中，系統(tǒng)100可以識別位于車輛200中的典型駕駛員定位的視線的外部的對象。車輛200中的典型駕駛員定位在道路的右手側(cè)駕駛的國家中位于前座的左側(cè)，并且在道路的左手側(cè)駕駛的國家中位于前座的右側(cè)。美國國家公路交通安全管理局推薦為了安全原因駕駛員自身與駕駛員安全氣囊相距10英尺(25.4厘米)。該距離從方向盤的中心到駕駛員的胸骨測得。因為車輛200是不透明的，車輛200的部分(例如，車頂、車門、擋風(fēng)玻璃框等等)可以使始于典型駕駛員定位的視角模糊。另外，雖然人類具有幾乎180度的面向前方的水平視場，人類視場的垂直范圍明顯較小。然而，駕駛員輔助系統(tǒng)可以使用具有超過坐在典型駕駛員定位上的駕駛員的視角的延伸視角的圖像捕獲裝置(例如，圖像捕獲裝置122)。延伸視角可以使得系統(tǒng)100識別駕駛員無法檢測的在車輛200的環(huán)境中的對象。而且，系統(tǒng)100可以確定與所識別的對象相關(guān)聯(lián)的變化，并因此進行動作。例如，系統(tǒng)100可以確定位于車輛200上方的區(qū)域中的交通燈的狀態(tài)變化。作為另一示例，系統(tǒng)100可以確定位于車輛200旁邊的區(qū)域中的不同對象(例如，行人)的軌跡。

圖16和圖17是與公開的實施方式相一致的在兩種情況下的車輛200的概略表示。如圖16和圖17中所例示的，車輛200可以包括與第一視角相關(guān)聯(lián)的圖像捕獲裝置122。第一視角在垂直方向上由FOV 1610來表示，如圖16中所示，并且在水平方向上由FOV 1710來表示，如圖17中所示。圖16和圖17中同樣例示的是始于車輛200中的典型駕駛員定位的第二視角。第二視角在垂直方向上由FOV 1620來表示，如圖16中所示，并且在水平方向上由FOV 1720來表示，如圖17中所示。與本公開的實施方式相一致，與圖像捕獲裝置122相關(guān)聯(lián)的第一視角可以大于與車輛200中的典型駕駛員定位相關(guān)聯(lián)的第二視角。較大的第一視角與第二視角之間的增量在本公開中被標(biāo)記為延伸區(qū)域。在一些實施方式中，延伸區(qū)域可以包括系統(tǒng)100可以識別的位于車輛200中的典型駕駛員定位的視線的外部的對象。另外，系統(tǒng)100可以基于與在延伸區(qū)域中識別的對象相關(guān)聯(lián)的所確定的變化來觸發(fā)一個或更多個動作(例如，產(chǎn)生導(dǎo)航響應(yīng))。

圖16例示了用于確定與位于車輛200的典型駕駛員定位的視線的外部的一個或更多個對象相關(guān)聯(lián)的變化的第一示例。圖16中使用FOV 1610和FOV 1620的角范圍，用于例示目的。在一些實施方式中，F(xiàn)OV 1620可以是例如大約65度，F(xiàn)OV 1610可以是例如高于65度。在其它實施方式中，F(xiàn)OV 1620可以是例如大約135度，F(xiàn)OV 1610可以是例如高于150度、高于160度或者高于170度。在一些實施方式中，F(xiàn)OV 1610和FOV 1620可以在從水平面開始的向上方向上測得。如圖16中所示，延伸區(qū)域可以包括位于車輛200上方的區(qū)域中的交通燈架1630。位于典型駕駛員定位的視線外部的交通燈架1630顯示紅燈。在一些實施方式中，系統(tǒng)100能夠在車輛200的駕駛員甚至無法看到交通燈架的情況下檢測交通燈和交通燈的顯示顏色的變化。

這些情況的一個示例是車輛200的駕駛員以促使車輛200停在十字路口的停止線和/或?qū)④囕v200放置為太靠近交通燈架1360的方式施加制動。這些情況的另一示例是車輛200到達(dá)十字路口處的停止線，并且交通燈架1630被放置在高桿上所以其能夠從遠(yuǎn)處被看到。因為交通燈架1630位于FOV 1620的外部，當(dāng)交通燈架1630中的燈變綠時，坐在典型駕駛員定位上的駕駛員將不能檢測狀態(tài)變化。然而，因為交通燈架1630位于FOV內(nèi)部并因此考慮到圖像捕獲裝置122，系統(tǒng)100將能夠檢測交通燈的狀態(tài)變化。識別位于車輛200上方的區(qū)域中的交通燈可以提高安全性和駕駛員便利性。例如，當(dāng)考慮車輛200的駕駛員和乘客的安全性時，如果交通燈架1630不在FOV 1620內(nèi)，則使車輛200倒退直至交通燈架1630位于FOV 1620內(nèi)可能是不安全的。另外，即使使車輛200倒退不危險，對駕駛員來說使車輛200倒退也可能是不方便的。在一個實施方式中，在確定交通燈架1630中的燈已經(jīng)變綠之后，系統(tǒng)100可以促使車輛200加速以通過十字路口。

圖17例示了用于確定與位于車輛200的典型駕駛員定位的視線的外部的對象相關(guān)聯(lián)的變化的第二示例。圖17中使用FOV 1710和FOV 1720的角范圍，用于例示目的。在一些實施方式中，F(xiàn)OV 1720可以是例如大約180度，F(xiàn)OV 1710可以是例如高于200度、高于240度或者高于300度。如圖17中所示，延伸區(qū)域可以包括位于車輛200旁邊的區(qū)域中的行人1730。行人1730可以在特定方向上移動。在一些情況下，行人1730可以被定位在FOV 1720的邊緣，但是因為駕駛員集中于前方的道路上，其可能無法檢測行人1730。相反，系統(tǒng)100不但具有較大的FOV，其不必集中于前方的道路上并且能夠識別位于其FOV的任何區(qū)域中的對象。因為行人213位于FOV 1710內(nèi)，系統(tǒng)100可以檢測行人1730并且確定行人的行走方向軌跡。在其它實施方式中，系統(tǒng)100可以識別位于車輛200的旁邊的對象、確定對象的移動方向軌跡、確定對象是否在具有車輛200的可能碰撞路線上、并因此進行動作。例如，在確定行人1730在具有車輛200的可能碰撞路線上之后，系統(tǒng)100可以控制車輛的喇叭以生成一種類型的音頻警報。

如上所討論的，圖3B至圖3D例示了被配置為被定位在后視鏡310的后面并且靠著車輛擋風(fēng)玻璃的示例性相機安裝件370。如圖3B至圖3D中所示，相機安裝件370可包括多個圖像捕獲裝置(122、124和126)。在一個實施方式中，圖像捕獲裝置122、124和126的組合的視角形成第二視角。例如，為了使FOV 1710高于300度，可以使用六個圖像捕獲裝置的組合。在不同實施方式中，圖3B至圖3D中描述的圖像捕獲裝置中的至少一個圖像捕獲裝置(例如，圖像捕獲裝置122)包括超寬透鏡。超寬透鏡可以使得圖像捕獲裝置122能夠具有第一視角。在一些實施方式中，超寬透鏡可以具有比圖像捕獲裝置122的圖像傳感器的短邊短的焦距。另選地，超寬透鏡可以具有比圖像傳感器的長邊短、但是比圖像傳感器的短邊長的焦距。與本公開的實施方式相一致，圖像捕獲裝置122可以被配置為捕獲相對于圖像捕獲裝置122的定位被定位在例如150度到180度之間、150度到190度之間、160度到180度之間或者170度到180度之間的圓錐曲線區(qū)域中的交通燈的圖像。

圖18是與公開的實施方式相一致的存儲器的示例性框圖，該存儲器被構(gòu)造成存儲用于執(zhí)行一個或多個操作的指令。如圖18中所示，存儲器140或150可存儲對象識別模塊1802、狀態(tài)確定模塊1804和系統(tǒng)響應(yīng)模塊1806。公開的實施方式并不限于任何特定構(gòu)造的存儲器140或150。進一步，處理單元110可執(zhí)行存儲在任何模塊1802-1806(包括在存儲器140或150中)中的指令。

在一個實施方式中，對象識別模塊1802可存儲軟件指令(諸如計算機視覺軟件)，當(dāng)由處理單元110執(zhí)行時，該軟件指令識別位于車輛200中的典型駕駛員定位的視線外部的對象。在一個實施方式中，處理單元110可以掃描多個圖像，將圖像的部分與一個或更多個預(yù)定圖案進行比較，并且識別在車輛200旁邊的區(qū)域中的交通燈。在另一實施方式中，處理單元110可以掃描多個圖像，將圖像的部分與一個或更多個預(yù)定圖案進行比較，并且識別位于車輛200旁邊的區(qū)域中的對象。在一些實施方式中，模塊1802可以存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令識別十字路口并確定交通燈可能在附近。處理單元110識別十字路口的一種方式是通過使用歷史圖像數(shù)據(jù)。例如，處理單元110可以在即使當(dāng)在當(dāng)前圖像中看不到交通燈、但是在之前圖像(例如，前一幀、五幀之前等等)中曾看到交通燈時也可以確定交通燈可能在附近。另外地或另選地，處理單元110可以識別指示附近十字路口的圖像數(shù)據(jù)對象。例如，處理單元110可以通過識別前方道路的圖像數(shù)據(jù)中的十字交叉路來確定交通燈可能在附近。在另一示例中，處理單元110可以在圖像數(shù)據(jù)中識別控制在與車輛200的行駛方向相反的方向上進行的交通的其它交通燈的后部。另外地或另選地，處理單元110可以使用地圖數(shù)據(jù)(諸如來自地圖數(shù)據(jù)庫160的數(shù)據(jù))來識別十字路口。例如，處理單元110可以考慮從地圖數(shù)據(jù)庫160中提取的通常道路形狀描述，以確定交通燈可能在附近。

在另一實施方式中，模塊1802可以存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令對多個圖像中的光學(xué)畸變進行校正以使得能夠識別對象。光學(xué)畸變可以是圖像捕獲裝置122使用超寬透鏡的結(jié)果。例如，光學(xué)畸變可以是圖像放大率隨著距光學(xué)軸的距離而減小的桶形畸變，并且因此該畸變可以最接近圖像幀的邊緣。與本公開相一致，可以使用多種算法來校正可以使用超寬透鏡產(chǎn)生的光學(xué)畸變。例如，可以使用一種算法來校正光學(xué)畸變，以識別接近圖像幀的邊緣的對象。作為另一示例，可以使用不同算法來識別位于圖像幀的邊緣處的對象的狀態(tài)。在另一實施方式中，圖像捕獲裝置可以包括多個圖像捕獲裝置(例如，圖像捕獲裝置122、124和126)，并且每個圖像捕獲裝置可以與不同視場相關(guān)聯(lián)。模塊1802可以存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令可以對從多個圖像捕獲裝置中導(dǎo)出的圖像正確進行組合。例如，即使當(dāng)在兩個圖像捕獲裝置的視場中存在一些重疊時，對象的不同部分也可以由不同的圖像捕獲裝置來捕獲。因此，對象識別模塊1802可以包括用于識別跨越由不同圖像捕獲裝置捕獲的相鄰圖像的區(qū)域中的對象的指令。

在一個實施方式中，狀態(tài)確定模塊1804可以存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令確定在圖像數(shù)據(jù)中識別并且至少部分地位于延伸區(qū)域內(nèi)部的對象的狀態(tài)。與本公開相一致，延伸區(qū)域包括圖像捕獲裝置的視場(例如，F(xiàn)OV 1610和1710)與車輛200的典型駕駛員定位的視場(例如，F(xiàn)OV 1620和1720)之間的區(qū)域。在一個實施方式中，狀態(tài)確定模塊1804可存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令確定位于車輛200上方的區(qū)域中的交通燈的狀態(tài)。例如，處理單元110可以通過將一個或更多個圖像與所存儲的圖案進行比較來確定交通燈的狀態(tài)。另外，可以基于所存儲的圖案與在不同的時間拍攝的兩個或更多個圖像之間的差來確定交通燈的狀態(tài)的變化。在另一實施方式中，狀態(tài)確定模塊1804可存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令確定位于車輛200旁邊的區(qū)域中的移動對象的軌跡。例如，處理單元110可以通過將多個圖像彼此進行比較來確定移動對象的軌跡。另外，處理單元110可以確定移動對象是否位于具有車輛200的可能碰撞路線上。

在一個實施方式中，系統(tǒng)響應(yīng)模塊1806可存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令在車輛200中產(chǎn)生一個或更多個響應(yīng)。一種類型的系統(tǒng)響應(yīng)可以包括導(dǎo)航響應(yīng)，如上面參照導(dǎo)航響應(yīng)模塊408詳細(xì)描述的。其它類型的系統(tǒng)響應(yīng)可以涉及控制節(jié)流系統(tǒng)220、制動系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240。例如，處理單元110可發(fā)送電子信號，致使系統(tǒng)100物理地踩下制動器達(dá)預(yù)定的量或者部分地松開車輛200的加速器。進一步，處理單元110可發(fā)送致使系統(tǒng)100車輛200沿特定方向轉(zhuǎn)向的電子信號。這種響應(yīng)可以基于關(guān)聯(lián)交通燈的確定。其它系統(tǒng)響應(yīng)可以包括提供各種通知(例如，警告和/或警報)。通知可以包括：報告位于車輛200上方的交通燈的狀態(tài)；報告位于車輛200上方的交通燈的狀態(tài)的變化；報告在車輛旁邊存在對象；以及報告對象位于具有車輛200的碰撞路線上。

圖19是示出用于基于如圖16中描述的位于車輛200上方的區(qū)域中的交通燈的狀態(tài)的變化來對車輛進行導(dǎo)航的示例性處理1900。預(yù)期一種用于基于如圖17中所示的位于車輛200的旁邊的區(qū)域中的移動對象的軌跡來對車輛進行控制的相似處理。因此，示例性處理1900可以適用于各種情況，包括圖17中描述的情況。

如圖19中所示，在步驟1902，圖像捕獲裝置122可以在典型駕駛員定位的視線的外部獲取位于車輛200上方的區(qū)域中的交通燈的多個圖像。在步驟1904，處理單元110可以基于車輛位置的至少一個指示符(例如，車道標(biāo)記)來確定多個圖像中的所捕獲的交通燈的關(guān)聯(lián)。在一些實施方式中，該步驟可以是可選的并且可省略。在步驟1906，處理單元110可以基于來自多個圖像當(dāng)中的至少第一圖像的分析來確定交通燈的狀態(tài)。在步驟1908，處理單元110可以基于來自多個圖像當(dāng)中的至少第二圖像來確定交通燈的狀態(tài)的變化。例如，交通燈的狀態(tài)的變化可以是從紅燈變?yōu)榫G燈。在確定交通燈的狀態(tài)已經(jīng)變化之后，在步驟1910，處理單元110可以基于所確定的狀態(tài)變化來產(chǎn)生系統(tǒng)響應(yīng)。處理1900的這些步驟下面將更加詳細(xì)地進行討論。

在步驟1902，圖像捕獲裝置122可以獲取位于車輛200上方的區(qū)域中的交通燈的多個圖像。與公開的實施方式相一致，圖像捕獲裝置122可以包括一個或更多個圖像捕獲裝置。與一些實施方式相一致，交通燈可以位于車輛200中的典型駕駛員定位的視線的外部。例如，交通燈可以位于如參照圖16進行描述的延伸區(qū)域中。在一些實施方式中，圖像捕獲裝置122可位于車輛200的內(nèi)部。另外，雖然在一些實施方式中圖像捕獲裝置122可以位于后視鏡后面并且靠著車輛擋風(fēng)玻璃，但是處理單元110可以通過擋風(fēng)玻璃來確定交通燈的狀態(tài)。

在步驟1904，處理單元110可以基于車輛位置的至少一個指示符來確定位于車輛200上方的區(qū)域中的交通燈的關(guān)聯(lián)。系統(tǒng)100如何可以確定交通燈的關(guān)聯(lián)的詳細(xì)公開將在下面結(jié)合圖20至圖23來給出。在一些實施方式中，車輛位置的指示符可以從對多個圖像的分析中導(dǎo)出。例如，處理單元110可以基于多個圖像中的車道標(biāo)記的識別來確定交通燈與車輛200的相對位置。另外地或另選的，車輛位置的指示符可以由從位置傳感器130中檢索出的地理位置數(shù)據(jù)中導(dǎo)出。例如，處理單元110可以基于GPS信號或當(dāng)?shù)囟ㄎ恍盘杹泶_定交通燈與車輛200的相對位置。在一些實施方式中，處理單元110可以將GPS獲取的車輛位置與地圖數(shù)據(jù)進行比較，以確定交通燈的關(guān)聯(lián)。例如，處理單元110可以使用從圖像數(shù)據(jù)和地圖數(shù)據(jù)中導(dǎo)出的信息來進行分析。使用所導(dǎo)出的信息，處理單元110可以確定位于車輛200上方的區(qū)域中的所檢測的交通燈與車輛200當(dāng)前正在行駛的車道之間的對應(yīng)。

在步驟1906，處理單元110可以基于來自多個圖像當(dāng)中的至少第一圖像的分析來確定交通燈的狀態(tài)。在一些實施方式中，位于車輛200上方的區(qū)域中的交通燈的狀態(tài)與交通燈指示的顏色相關(guān)聯(lián)。例如，穩(wěn)定的綠燈可以指示車輛200在給道路上的其它車輛、自行車或行人讓路之后能夠繼續(xù)；閃爍的黃燈是警告并且可以指示車輛200應(yīng)當(dāng)謹(jǐn)慎行事；并且穩(wěn)定的紅燈可以指示車輛200需要停止。另外地或另選地，交通燈的狀態(tài)還可以包括與交通燈相關(guān)聯(lián)的附加信息。該附加信息可以是交通燈的類型。例如，位于車輛200上方的區(qū)域中的交通燈可以是行人通過信號。因此，處理單元110可以確定行人可能通過車輛200前面的道路。在一些實施方式中，為了確定位于車輛200上方的區(qū)域中的交通燈的狀態(tài)，處理裝置110可以校正至少第一圖像中的光學(xué)畸變。當(dāng)圖像捕獲裝置122包括超寬透鏡時，光學(xué)畸變可以發(fā)生。

在步驟1908，處理單元110可以基于來自多個圖像當(dāng)中的至少第二圖像來確定交通燈的狀態(tài)的變化。在一些實施方式中，位于車輛200上方的區(qū)域中的交通燈的狀態(tài)可以例如從紅燈變?yōu)榫G燈。在一個實施方式中，至少第二圖像可以包括繼至少第一圖像之后的兩個或更多個圖像。另外，處理單元110可以僅處理至少第二圖像的一部分。例如，當(dāng)車輛200不移動時，框架中交通燈的位置保持相同。因此，在一些實施方式中，于在至少第一圖像中識別包括交通燈架的框架的一部分之后，處理單元110可以通過僅處理至少第二圖像中的框架的相同部分來確定狀態(tài)的變化。例如，在一些實施方式中，通過僅處理包括交通燈架的框架的一部分，處理單元110可以節(jié)省處理電力。

在步驟1910，處理單元110可以基于所確定的狀態(tài)變化來產(chǎn)生系統(tǒng)響應(yīng)。在一些實施方式中，處理單元110可以產(chǎn)生一個或更多個系統(tǒng)響應(yīng)(例如，兩個或更多個響應(yīng))，包括不同類型的響應(yīng)。一種類型的系統(tǒng)響應(yīng)可以包括向車輛200的駕駛員提供各種通知(例如，警告和/或警報)。該通知可以經(jīng)由揚聲器360或者觸摸屏320來提供。例如，系統(tǒng)響應(yīng)可以包括將所述狀態(tài)的變化報告給所述車輛200的駕駛員。另一種類型的系統(tǒng)響應(yīng)可以包括導(dǎo)航響應(yīng)，導(dǎo)航響應(yīng)可以包括例如加速至駕駛員指定的巡航速度。

識別關(guān)聯(lián)交通燈

在一些實施方式中，系統(tǒng)100可以在關(guān)聯(lián)和非關(guān)聯(lián)(或較少關(guān)聯(lián))交通燈之間進行區(qū)分。在典型的駕駛過程期間，車輛200可以通過一個或更多個樞紐(諸如具有多個交通燈的十字路口)。例如，十字路口處的一個或更多個交通燈可以控制在特定方向上朝向十字路口行駛的交通。因此，一個或更多個交通燈可以控制車輛200是否可以繼續(xù)行駛通過十字路口或者車輛200是否必須停在十字路口處。然而，除了控制車輛200正在行駛的車道的交通燈以外，控制其他車道上的交通的其它交通燈對車輛200也是可視的。根據(jù)控制除了車輛200正在行駛的車道之外的車道的交通燈中的任何一個交通燈來對車輛200進行導(dǎo)航可能產(chǎn)生對車輛200的計劃路線來說不合需要或不適用的導(dǎo)航響應(yīng)。因此，為了使得能夠以適于車輛200的計劃導(dǎo)航路徑的方式來進行車輛200的自助控制，系統(tǒng)100可以識別多個交通燈中的哪一個正在控制車輛200正在行駛的車道的交通同時忽略(或者較少關(guān)注)控制其它交通車道的其它交通燈。進一步，在系統(tǒng)100識別關(guān)聯(lián)交通燈之后，系統(tǒng)100可以識別交通燈的狀態(tài)(例如，紅色、黃色、綠色)并實施合適的導(dǎo)航響應(yīng)。例如，當(dāng)對車輛200正在行駛的車道進行控制的紅燈被識別出時，或者當(dāng)對車輛200正在行駛的車道進行控制的黃燈被識別出且車輛200越過樞紐的預(yù)定距離時，系統(tǒng)100可以中止巡航控制并且施加制動。

在道路上的關(guān)聯(lián)與非關(guān)聯(lián)(或較少關(guān)聯(lián))交通燈之間進行區(qū)分是復(fù)雜的。圖20和圖21例示了基于從不適用交通燈導(dǎo)出的信息的駕駛可能是不合需要的情況的示例。在圖20中，車輛200a正在多車道道路上行駛。道路的每個車道與不同的交通燈架相關(guān)聯(lián)。車輛200a正在接近十字路口并且在指定為前進通過十字路口并到達(dá)十字路口的另一側(cè)的車道上行駛。同樣如圖20中所示，車輛200b在允許交通繼續(xù)直行并通過十字路口或者允許交通進行右轉(zhuǎn)彎的車道上行駛。與車輛200b正在行駛的車道相關(guān)聯(lián)的交通燈架包括右轉(zhuǎn)彎交通燈。作為另一示例，在圖21中，車輛200a到達(dá)非垂直道路的樞紐。包括不對車輛200a正在行駛的車道進行控制的一些交通燈架的多個交通燈架(例如，交通燈架2122和2124)由于樞紐的定位而對車輛200a可見。

返回圖20，示出了具有以下駕駛選項的十字路口2000：具有通向道路B、D和F的車道的道路A；具有通向道路D和F的車道的道路C；具有通向道路F、H和B的車道的道路E；以及具有通向道路H、B和D的車道的道路G。道路A與四個交通燈架2012、2014、2016和2018相關(guān)聯(lián)。在所示的情況下，每個交通燈架對不同車道進行控制。道路C與兩個個交通燈架2022和2024相關(guān)聯(lián)。交通燈架2024包括用于繼續(xù)直行的交通燈2024a和用于右轉(zhuǎn)彎的交通燈2024b(例如，當(dāng)右轉(zhuǎn)彎得到授權(quán)時，顯示綠色箭頭)。道路E與三個交通燈架2032、2034和2036相關(guān)聯(lián)。并且道路G與兩個個交通燈架2042和2044相關(guān)聯(lián)。交通燈架2042包括用于繼續(xù)直行的交通燈2042a和用于左轉(zhuǎn)彎的交通燈2042b。在圖20中例示的情況下，交通燈2042b和交通燈架2012、2018和2032顯示綠燈，而全部的其它交通燈架顯示紅燈。當(dāng)然，除了圖20中示出的這些以外，還可以存在很多其它道路變型和相關(guān)交通燈配置。

在圖20中例示的情況下，車輛200a位于道路A上的繼續(xù)直行通過十字路口2000到達(dá)道路D的車道上。然而，包括在車輛200a中的圖像捕獲裝置的視場可以包括交通燈架2012和交通燈架2014雙方(或者甚至其它架)。車輛200a在交通燈架2012和2014都顯示紅燈時到達(dá)十字路口2000，并且僅最近地交通燈架2012中的燈已經(jīng)變綠。在這種情況下，重要的是車輛200a的交通燈檢測系統(tǒng)100識別出架2012的綠燈不適用于車輛200a。但是，系統(tǒng)100應(yīng)當(dāng)使所確定的導(dǎo)航響應(yīng)基于與另外的關(guān)聯(lián)架2014相關(guān)聯(lián)的燈的狀態(tài)。

在圖20中例示的情況的另一方面，車輛200b位于道路C上的繼續(xù)直行通過十字路口2000到達(dá)道路F的車道中，并且該車道還允許交通進行右轉(zhuǎn)彎到達(dá)道路D。車輛200b面向包括用于繼續(xù)直行的交通燈2024a和用于右轉(zhuǎn)彎的交通燈2024b的交通燈架2024。車輛200b在交通燈架2024顯示用于繼續(xù)直行(交通燈2024a)且用于右轉(zhuǎn)彎(交通燈2024b)的紅燈時到達(dá)十字路口2000，并且僅最近地交通燈2024b已經(jīng)變綠。這意味著交通燈架2024的當(dāng)前狀態(tài)阻止交通直行行駛和右轉(zhuǎn)彎。如果車輛200b針對燈2024b的狀態(tài)來動作而沒有識別并考慮燈2024a的狀態(tài)的話，則可能出現(xiàn)不期望的情況。例如，如果車輛200b基于交通燈2024b的信息(示出綠燈)而行駛到道路F(即，直行行駛)，則從道路E行駛到道路B的車輛可能產(chǎn)生對車輛200b的危險。

轉(zhuǎn)向圖21，圖21例示了具有具備以下行駛選項的非垂直道路的十字路口2100：具有兩個車道的道路A，一個車道通向道路C，另一個車道通向道路E；具有通向道路C的兩個車道以及還能夠通向道路E的一個車道的道路B；以及具有通向道路E的單車道的道路D。道路A與兩個交通燈架2112和211相關(guān)聯(lián)，并且每個交通燈架對不同車道進行控制。道路B也與兩個交通燈架2122和2124相關(guān)聯(lián)，并且每個交通燈架對不同車道進行控制。道路D與單個交通燈架2132相關(guān)聯(lián)。在圖21中例示的情況下，交通燈架2122顯示綠燈，而全部的其它交通燈架顯示紅燈。如圖21中所示，車輛200a位于道路A上的繼續(xù)直行通過十字路口2000到達(dá)道路C的車道上。然而，包括在車輛200a中的圖像捕獲裝置122的視場可以包括交通燈架2114和交通燈架2122雙方。在該示例中，車輛200a在交通燈架2114和2122都為紅時到達(dá)十字路口2100，并且僅最近地交通燈架2122中的燈已經(jīng)變綠。在這種情況下，重要的是，車輛200a基于交通燈架2114的狀態(tài)而不是基于交通燈架2122的狀態(tài)來確定其導(dǎo)航響應(yīng)。

圖20和圖21中描述的三種情況僅提供了道路狀況的一些示例，其中，具有能夠在關(guān)聯(lián)與非關(guān)聯(lián)交通燈架之間進行區(qū)分的駕駛員輔助系統(tǒng)可能是有幫助的，以確定包括在關(guān)聯(lián)交通燈架中的交通燈的狀態(tài)，并且基于該狀態(tài)生成并作出合適的導(dǎo)航響應(yīng)。進一步，這些示例證明系統(tǒng)可能需要對面向車輛的多個交通燈架進行評估，以便識別最適于車輛正在行駛的車道或最適于車輛的計劃行駛方向的交通燈架(尤其是在例如多個交通燈或交通燈架可以與車輛正在行駛的單個車道相關(guān)聯(lián)的情況下)。

如上所討論的，系統(tǒng)100可以在關(guān)聯(lián)與非關(guān)聯(lián)交通燈架之間進行區(qū)分，確定包括在(多個)關(guān)聯(lián)交通燈架中的交通燈的狀態(tài)，并且基于各種行駛場景中的狀態(tài)來生成并作出合適的導(dǎo)航響應(yīng)。例如，當(dāng)車輛200接近十字路口時，系統(tǒng)100可以確定哪個交通燈是關(guān)聯(lián)的，確定該交通燈的狀態(tài)，并且發(fā)現(xiàn)由一個或更多個圖像捕獲裝置122-126捕獲的圖像中的任何其它關(guān)聯(lián)信息。如果交通燈為紅，則系統(tǒng)100可以促使車輛200施加其制動。如果交通燈為綠，則系統(tǒng)100可以促使車輛200繼續(xù)。如果交通燈為黃，則系統(tǒng)100可以基于圖像的分析、車輛200的速度和/或位置數(shù)據(jù)(例如，GPS數(shù)據(jù))來確定距十字路口的距離和/或估計到十字路口的時間。如果車輛200在預(yù)定時間(例如，五秒鐘、十秒鐘等等)和/或距離(例如，一米、五米、十米等等)閾值之內(nèi)，則系統(tǒng)100可以促使車輛200繼續(xù)。如果車輛200不在預(yù)定時間閾值和/或距離閾值之內(nèi)，則系統(tǒng)100可以促使車輛200在到達(dá)十字路口之前停止。作為另一示例，當(dāng)車輛200在交通燈處停止時，在交通燈將其狀態(tài)從紅變?yōu)榫G之后，系統(tǒng)100可以產(chǎn)生導(dǎo)航響應(yīng)，該導(dǎo)航響應(yīng)例如包括施加加速器、釋放制動器并且轉(zhuǎn)向通過十字路口。

圖22是與公開的實施方式相一致的存儲器140/150的示例性框圖，該存儲器140/150被構(gòu)造成存儲用于執(zhí)行一個或多個操作的指令。存儲器140/150可以被處理單元110訪問。如上所討論的，處理單元110可包括各種裝置，諸如控制器、圖像預(yù)處理器、中央處理單元(CPU)、支持電路、數(shù)字信號處理器、集成電路、存儲器或任何其它類型的用于圖像處理和分析的裝置。因此，存儲器140/150可以被處理單元110訪問，可以與處理單元110集成，或者可以與處理單元110一起包括在嵌入式系統(tǒng)中。如圖22中所示，存儲器140或150可存儲關(guān)聯(lián)確定模塊2202、狀態(tài)確定模塊2204和系統(tǒng)響應(yīng)模塊2206。公開的實施方式并不限于任何特定構(gòu)造的存儲器140。進一步，處理單元110可執(zhí)行存儲在任何模塊2202-2206(包括在存儲器140或150中)中的指令。

在一個實施方式中，關(guān)聯(lián)確定模塊2202可存儲軟件指令(諸如計算機視覺軟件)，當(dāng)由處理單元110執(zhí)行時，該軟件指令確定多個交通燈架中的每一個與車輛200的關(guān)聯(lián)。為了本公開的目的，確定交通燈架的關(guān)聯(lián)的步驟可以包括執(zhí)行一個或更多個評估。在一個實施方式中，處理單元110可以對多個交通燈架中的每一個相對于車輛的定向進行評估。例如，在圖21中例示的情況下，圖像捕獲裝置122的視場包括交通燈架2114和交通燈架2122雙方。然而，交通燈架2114的定向表明交通燈架2114比交通燈架2122更與車輛200a關(guān)聯(lián)。

其它評估可以適用于決定做出處理。例如，處理單元110可以對多個交通燈架中的每一個相對于車輛的距離進行評估。另外地或另選地，處理單元110可以評估哪個交通燈正面向車輛200的前部。另外地或另選地，處理單元110可以使用所識別的車道標(biāo)記來將車輛200的前方區(qū)域劃分成多個區(qū)域，將每個所識別的交通燈架與區(qū)域關(guān)聯(lián)起來，并且評估哪個區(qū)域?qū)囕v200最關(guān)聯(lián)。另外地或另選地，處理單元110可以將經(jīng)由GPS獲取的車輛位置與地圖數(shù)據(jù)進行比較，以確定交通燈的關(guān)聯(lián)。例如，車輛200可以對包括關(guān)于在多個位置處的可能行駛選項的信息的地圖數(shù)據(jù)進行評估。通過使用GPS獲取的車輛位置，處理單元110可以確定哪些行駛選項對接近樞紐的車輛200可用，并且使用該信息來確定在樞紐處的交通燈與車輛200的關(guān)聯(lián)。

在一個實施方式中，狀態(tài)確定模塊2204可存儲軟件指令，當(dāng)由處理單元110執(zhí)行時，該軟件指令確定包括在被確定為與車輛關(guān)聯(lián)的至少一個交通燈架中的交通燈的狀態(tài)。如上所述，交通燈的狀態(tài)還可以與交通燈提供的信息相關(guān)聯(lián)。在典型的交通燈中，發(fā)光交通燈的所顯示的顏色和相對位置可以提供與車輛200關(guān)聯(lián)的基本信息。

狀態(tài)確定模塊2204可以從關(guān)聯(lián)交通燈架的環(huán)境中并且從包括在該關(guān)聯(lián)交通燈架中的非典型交通燈中導(dǎo)出附加信息。例如，關(guān)聯(lián)交通燈架可以在其附近具有包括關(guān)聯(lián)文本的標(biāo)志，例如陳述具體日期和時間的標(biāo)志。因此，在一些實施方式中，狀態(tài)確定模塊2204可以從包括在與關(guān)聯(lián)交通燈架相關(guān)聯(lián)的標(biāo)志中的文本中導(dǎo)出信息。例如，狀態(tài)確定模塊2204可以實施光學(xué)字符識別技術(shù)來識別標(biāo)志中的文本。然后，狀態(tài)確定模塊2204可以將所識別的文本與數(shù)據(jù)庫進行比較，以確定由標(biāo)志提供的信息。作為另一示例，關(guān)聯(lián)交通燈架可以包括行人通過信號。狀態(tài)確定模塊2204可以確定行人通過信號的狀態(tài)是指行人可以在車輛200前面通過道路，而車輛200具有向右轉(zhuǎn)的綠燈。

在一個實施方式中，系統(tǒng)響應(yīng)模塊2206可存儲軟件指令(諸如計算機視覺軟件)，當(dāng)由處理單元110執(zhí)行時，該軟件指令在主車輛200中產(chǎn)生一個或多個響應(yīng)。一種類型的系統(tǒng)響應(yīng)可以包括一個或更多個導(dǎo)航響應(yīng)，如上面參照導(dǎo)航響應(yīng)模塊408詳細(xì)描述的。其它類型的系統(tǒng)響應(yīng)可以向節(jié)流系統(tǒng)220、制動系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240提供控制信號。例如，處理單元110可發(fā)送電子信號，致使系統(tǒng)100物理地應(yīng)用制動器達(dá)預(yù)定的量或者部分地松開車輛200的加速器。進一步，處理單元110可發(fā)送致使系統(tǒng)100將車輛200沿特定方向轉(zhuǎn)向的電子信號。這種響應(yīng)可以基于關(guān)聯(lián)交通燈的確定。進一步，如果行人可以在車輛200前面通過道路，則系統(tǒng)響應(yīng)可以包括執(zhí)行圖像數(shù)據(jù)的附加處理。例如，處理單元110可以確認(rèn)在車輛200附近的行人在車輛200正在移動時不在將使行人置于危險中的軌跡上行走。

樞紐中的交通燈架的位置能夠在該樞紐之前、之后或中間。識別樞紐中的每個交通燈架的位置可以被用來例如確定交通燈架的關(guān)聯(lián)。在一些實施方式中，處理單元110可以估計一個或更多個交通燈架相對于車輛200的距離，以創(chuàng)建樞紐的3D模型。在一個實施方式中，樞紐的3D模型可以被存儲用于將來使用。樞紐的3D模型可以包括以下各項中的一個或更多個：一個或更多個交通燈架的3D位置、樞紐中的每個交通燈架與其它交通燈架之間的相對距離、每個交通燈架所指示的(多個)方向、以及樞紐的每個交通燈架和停止線之間的相對距離。另外，當(dāng)車輛200接近樞紐時，可以使用可識別的細(xì)節(jié)來定期地對3D模型進行更新。可識別細(xì)節(jié)的示例可以包括交通燈中的箭頭、樞紐中的車道標(biāo)記等等。在一個示例中，當(dāng)車輛200經(jīng)過樞紐時，將已識別的細(xì)節(jié)與存儲在3D模型中的信息進行比較，并且如果合適的話，則對3D模型進行更新。

與本公開的實施方式相一致，3D模型可以被用來確定一個或更多個交通燈架的關(guān)聯(lián)。為了利用足夠的時間將制動系統(tǒng)230激活以使車輛200在樞紐之前停止，系統(tǒng)100可以在距樞紐大約八十米的距離處確定哪個交通燈與車輛200關(guān)聯(lián)。隨著車輛200接近樞紐，從所捕獲的圖像中導(dǎo)出的信息可以與3D模型進行比較以找到匹配。例如，處理單元110可以將樞紐中的所識別交通燈架之間的相對距離與3D模型進行比較，以確定一個或更多個交通燈架的關(guān)聯(lián)。使用3D模型，處理單元110可以在車輛200距樞紐超過50米、75米、100米或125米遠(yuǎn)時識別關(guān)聯(lián)交通燈。作為另一示例，處理單元110可以將樞紐中的所識別交通燈架之間的相對距離與3D模型進行比較，以確定距樞紐的停止線的距離，即使當(dāng)該停止線從車輛200的當(dāng)前位置看不到時。使用3D模型，處理單元110可以在車輛200距樞紐超過50米、75米、100米或125米遠(yuǎn)時確定距樞紐的停止線的距離。下面將結(jié)合圖23提供關(guān)于關(guān)聯(lián)確定模塊2202、狀態(tài)確定模塊2204和系統(tǒng)響應(yīng)模塊2206的進一步細(xì)節(jié)。

圖23是示出與公開的實施方式相一致的用于識別關(guān)聯(lián)交通燈的示例性處理2300的流程圖。系統(tǒng)100可以實施處理2300來處理在例如圖20和圖21中描述的情況。

如圖23中例示的，在步驟2310，圖像捕獲裝置122可以獲取車輛200的前方區(qū)域的圖像。該區(qū)域可以包括多個交通燈架，每個交通燈架包括至少一個交通燈。在步驟2320，處理單元110可以例如基于從所獲取的圖像中識別的特征(例如，車道標(biāo)記)來確定車輛位置的至少一個指示符。在步驟2330，處理單元110可以使用至少一個指示符來確定多個交通燈架中的每一個的關(guān)聯(lián)。在步驟2340，處理單元110可以確定包括在關(guān)聯(lián)交通燈架中的交通燈的狀態(tài)。例如，交通燈的狀態(tài)可以指示車輛200應(yīng)當(dāng)停止(例如，由于紅燈)或者能夠向左轉(zhuǎn)(如果沒有正在通行的行人)。在確定包括在交通燈架中的交通燈的狀態(tài)之后，在步驟2350，處理單元110可以基于所確定的狀態(tài)變化來產(chǎn)生系統(tǒng)響應(yīng)。處理2300的這些步驟下面將更加詳細(xì)地進行討論。

例如，在步驟2310，圖像捕獲裝置122可以獲取車輛200的前方區(qū)域的至少一個圖像。“車輛的前方區(qū)域”包括位于車輛的前面的相對于其移動方向的地理區(qū)域。區(qū)域可以包括樞紐(例如，在圖20中為十字路口2000并且在圖21中為2100)、十字路口、交叉路、圓形交叉路口、街道、道路等等。在一些情況下，區(qū)域可以包括多個交通燈架，每個交通燈架包括至少一個交通燈?！敖煌艏堋卑ㄈ菁{用來控制交通和/或提供道路相關(guān)信息的一個或更多個光產(chǎn)生裝置的任何形式的結(jié)構(gòu)。在一些情況下，兩個或更多個交通燈架可以被結(jié)合在單個交通燈組件中，但是每個交通燈架可以與不同車道相關(guān)聯(lián)。典型的交通燈架可以包括三個圓形交通燈：綠色交通燈、黃色交通燈和紅色交通燈?！敖煌簟卑ň哂心軌蝻@示獨特顏色的至少一個光源的裝置。在一些情況下，車輛200可以遇到非典型交通燈架。非典型交通燈架可以包括具有不同顏色的一個或更多個非圓形交通燈。例如，右轉(zhuǎn)彎箭頭交通燈、左轉(zhuǎn)彎箭頭交通燈、公共交通交通燈、行人通過交通燈、自行車通過交通燈等。

在一些實施方式中，處理單元110可以經(jīng)由數(shù)據(jù)接口128接收至少一個所獲取的圖像。如參照圖5D詳細(xì)討論的，處理單元110可以識別至少一個所獲取圖像中的交通燈。例如，處理單元110可過濾至少一個所獲取的圖像中所識別的對象，以構(gòu)建一組候選對象，排除不可能對應(yīng)于交通燈的這些對象。過濾可基于與交通燈關(guān)聯(lián)的各種屬性(諸如形狀、尺寸、質(zhì)地、(例如，相對于車輛200的)位置，等)來完成。另外，處理單元110可以分析車輛200的前方區(qū)域的幾何圖形。該分析可基于以下的任何組合：(i)在車輛200的任一側(cè)的檢測的車道數(shù)目；(ii)在道路上檢測的標(biāo)記(諸如箭頭標(biāo)線)；以及(iii)從地圖數(shù)據(jù)中提取的區(qū)域的描述。例如，如果在道路上識別出限定行駛車道的車道標(biāo)記，并且交通燈架在車道標(biāo)記的邊界之內(nèi)，則系統(tǒng)100可以得到結(jié)論：交通燈架與和車道標(biāo)記相關(guān)聯(lián)的車道關(guān)聯(lián)。

在步驟2320，處理單元110可以從圖像中確定車輛位置的至少一個指示符?！败囕v位置的指示符”包括與車輛的物理位置相關(guān)的任何形式的信息。車輛位置的指示符可以從對圖像數(shù)據(jù)(例如，至少一個所獲取圖像)的分析中導(dǎo)出。另外，車輛位置的指示符可以從地理位置數(shù)據(jù)(例如，GPS信號、當(dāng)?shù)囟ㄎ恍盘柡?或地圖數(shù)據(jù))中或者從指示車輛200相對于道路上的其它車輛的位置的數(shù)據(jù)中導(dǎo)出。在一些實施方式中，車輛位置的指示符可以包括從至少一個圖像中導(dǎo)出的距至少一個交通燈架的距離。在其它實施方式中，車輛位置的所述至少一個指示符可以包括基于所述至少一個圖像的分析而識別的車道標(biāo)記。例如，處理單元110可以使用從至少一個圖像中導(dǎo)出的信息來進行分析，以識別一個或更多個車道標(biāo)記。使用所識別的車道標(biāo)記，處理單元110可以確定所檢測的交通燈與車輛200當(dāng)前正在行駛的車道之間的對應(yīng)關(guān)系。

在步驟2330，處理單元110(例如，經(jīng)由關(guān)聯(lián)確定模塊2202)可以使用車輛位置的至少一個指示符，如在步驟2320中所確定的，以確定多個交通燈架中的每一個與車輛200的關(guān)聯(lián)。在一些實施方式中，處理單元110可以對至少一個所獲取圖像中的所識別交通燈架的關(guān)聯(lián)進行排序。具有關(guān)聯(lián)排序的最高值的交通燈架可以被確定為關(guān)聯(lián)交通燈架。例如，在圖20中例示的情況下，圖像捕獲裝置122的視場包括交通燈架2012和交通燈架2014，但是通過使用一個或更多個評估，處理單元110可以確定交通燈架2014具有更高的關(guān)聯(lián)排序值。處理單元110用來確定交通燈架2014具有比交通燈架2012更高的關(guān)聯(lián)排序的一種方法是通過對多個交通燈架中的每一個相對于車輛200a的距離進行評估。例如，在圖20中描述的情況下，交通燈架2014更靠近交通燈架2012。因此，交通燈架2014比交通燈架2012更有可能關(guān)聯(lián)。確定關(guān)聯(lián)的其它方法在上文中參照關(guān)聯(lián)確定模塊2202進行了描述。

在一些實施方式中，多個交通燈架中的每一個與車輛200的關(guān)聯(lián)確定可以包括初步檢查，以消除不大可能的交通燈架。例如，當(dāng)至少一個所獲取圖像包括三個較近交通燈架和兩個較遠(yuǎn)交通燈架時，兩個較遠(yuǎn)交通燈架可以被歸類為不大可能與車輛200關(guān)聯(lián)。通過消除不大可能的交通燈架以及對至少一個所獲取圖像中的所識別的交通燈架的主體的關(guān)聯(lián)進行排序，處理單元110可以節(jié)省處理電力。在一些實施方式中，當(dāng)車輛200接近樞紐時，關(guān)聯(lián)排序可以發(fā)生變化。例如，交通燈架的定向可以從道路上的不同點開始變化，因此，距樞紐的距離可以對給定交通燈架與車輛200關(guān)聯(lián)的概率產(chǎn)生影響。因此，關(guān)聯(lián)排序可以與置信水平相關(guān)聯(lián)，當(dāng)對交通燈架進行評估時，該置信水平可以考慮諸如距樞紐的距離這樣的因素。進一步，當(dāng)置信水平在特定預(yù)定閾值以下時，處理單元110可以定期地或不斷地對交通燈架的關(guān)聯(lián)排序進行更新。

為了確定與車輛200關(guān)聯(lián)的交通燈，關(guān)聯(lián)確定模塊2202還可以使用之前存儲在系統(tǒng)1000內(nèi)部(諸如存儲在存儲器140/150內(nèi)部)的導(dǎo)航信息?；谌缟嫌懻摰乃_定的車輛200的3D位置和/或圖像捕獲裝置122-126，關(guān)聯(lián)確定模塊2202可以執(zhí)行導(dǎo)航地圖數(shù)據(jù)與車輛200之間的注冊(registration)。基于如上所述的相對距離測量的確定，關(guān)聯(lián)確定模塊2202可以使用導(dǎo)航地圖數(shù)據(jù)來確定車輛200(經(jīng)由制動系統(tǒng)230)應(yīng)當(dāng)進行制動以便在樞紐處的每個所檢測的交通燈架處停止的3D空間中的點。根據(jù)3D注冊結(jié)果，關(guān)聯(lián)確定模塊2202可以使用導(dǎo)航地圖數(shù)據(jù)來確定在十字路口處檢測到的每個交通燈的車道分配。然后，關(guān)聯(lián)確定模塊2202可以確定系統(tǒng)100和圖像處理器190內(nèi)部的車道分配，然后執(zhí)行注冊。

在步驟2340，處理單元110(例如，經(jīng)由狀態(tài)確定模塊2204)可以基于至少一個所獲取的圖像來確定包括在被確定為與車輛200關(guān)聯(lián)的至少一個交通燈架中的交通燈的狀態(tài)。在一些情況下，關(guān)聯(lián)交通燈架可以包括多個照亮交通燈，并且每個交通燈的狀態(tài)可以取決于交通燈的類型。在一個實施方式中，交通燈的狀態(tài)僅指其指示的顏色，例如綠色、黃色和紅色。系統(tǒng)100可以使用各種技術(shù)來識別交通燈的狀態(tài)。例如，系統(tǒng)100可以識別包括交通燈在內(nèi)的一個或更多個圖像的區(qū)域，并且執(zhí)行該區(qū)域中的像素的分析以確定像素的顏色。在對區(qū)域中的至少閾值數(shù)量的像素(例如，兩個像素、十個像素、二十個像素等等)進行分析之后，系統(tǒng)100可以例如通過發(fā)現(xiàn)該區(qū)域中的像素的平均值來確定交通燈的顏色。

另外地或另選地，交通燈的狀態(tài)可以包括交通燈所指示的方向。在典型交通燈中，綠色指示允許車輛200前進。然而，有時候該信息本身不足以決定在一定方向上(諸如當(dāng)綠燈僅授權(quán)轉(zhuǎn)彎時)行駛是否安全。確定交通燈指示哪個方向的一種方法包括對使每個交通燈和一個或更多個方向相關(guān)的數(shù)據(jù)庫進行評估。另一種方法包括從圖像數(shù)據(jù)中識別交通燈的類型以及從環(huán)境情境中確定交通燈所指示的方向。例如，在圖20中相對于車輛200b描述的第二種情況下，交通燈架2024可以被確定為關(guān)聯(lián)交通燈架，但是交通燈架2024包括兩個照亮的交通燈2024a和2024b。因此，在步驟2340中，處理單元110可以確定交通燈2024a的狀態(tài)是用于繼續(xù)直行的紅燈，并且交通燈2024b的狀態(tài)是用于右轉(zhuǎn)彎的綠燈。在一些實施方式中，交通燈的狀態(tài)的確定包括以下步驟中的一個或多個：確定在關(guān)聯(lián)交通燈之內(nèi)的交通燈的位置；確定交通燈是否被照亮；確定交通燈的顏色；以及確定交通燈是否包括箭頭。

在步驟2350，處理單元110(例如，經(jīng)由系統(tǒng)響應(yīng)模塊2206)可以基于所確定的狀態(tài)來產(chǎn)生系統(tǒng)響應(yīng)。在一些實施方式中，處理單元110可以產(chǎn)生一個或更多個系統(tǒng)響應(yīng)(例如，兩個或更多個響應(yīng))，包括不同類型的響應(yīng)。一種類型的系統(tǒng)響應(yīng)可以包括導(dǎo)航響應(yīng)，該導(dǎo)航響應(yīng)可以包括例如開始行駛、加速度的變化、速度的變化、施加車輛制動、中止巡航控制等等。例如，這些系統(tǒng)響應(yīng)可以包括向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或更多個提供控制信號以對車輛200進行導(dǎo)航。另一種類型的系統(tǒng)響應(yīng)可以包括啟動定時器和/或增加計數(shù)器，以便向車輛200的駕駛員提供關(guān)于一個或更多個駕駛過程的統(tǒng)計信息。例如，統(tǒng)計信息可以指示在駕駛過程中車輛200已經(jīng)遇到紅燈的次數(shù)，和/或車輛200在紅燈處等待花費的駕駛過程的持續(xù)時間。另一種類型的系統(tǒng)響應(yīng)可以包括向車輛200的駕駛員提供各種通知(例如，警告和/或警報)。警告和/或警報可以包括例如通知關(guān)聯(lián)交通燈的顏色和/或距樞紐的距離。通知可以經(jīng)由揚聲器或者經(jīng)由關(guān)聯(lián)顯示器(例如，觸摸屏320)來提供。

轉(zhuǎn)彎車道交通燈檢測

系統(tǒng)100可以檢測車輛(諸如車輛200)在轉(zhuǎn)彎車道上行駛。車道可指車輛的指定或預(yù)期行進路徑并且可具有標(biāo)記邊界(例如，道路上的線)或未標(biāo)記邊界(例如，道路路邊、道路障礙、護欄、停放的車輛，等等)或約束。例如，系統(tǒng)100可以基于經(jīng)由一個或更多個圖像捕獲裝置獲取的視覺信息來進行操作以做出這些檢測和確定。在一些實施方式中，還可以進行至少部分地關(guān)于地圖數(shù)據(jù)和/或所感測的車輛位置的這些檢測和確定。除了確定在轉(zhuǎn)彎車道中的車輛200的狀態(tài)以外，系統(tǒng)100可以識別與車道相關(guān)聯(lián)的交通燈，并且可以被配置為基于道路環(huán)境信息的分析和所確定的交通燈的特性來確定交通燈的狀態(tài)。

圖24例示了在道路800上行駛的車輛200，其中可以使用用于檢測道路上的對象的所公開的系統(tǒng)和方法。車輛200被描述為配備有圖像捕獲裝置122和124，可以在任何特定的車輛200上采用更多或更少相機。如所示，道路800可以被細(xì)分成車道，諸如車道810和820。作為示例示出了車道810和820；給定道路800可以基于道路的大小和性質(zhì)而具有額外車道。在圖24的示例中，車輛200在車道820上行駛，并且能夠看到其正在接近與交叉路2404的十字路口2402。在十字路口2402處車道820上的交通通過交通燈架2406來控制。如下面詳細(xì)討論的，系統(tǒng)100可以確定交通燈架2406的狀態(tài)并且產(chǎn)生影響車輛200的操作的系統(tǒng)響應(yīng)。道路800上進一步例示的是通向停止線2412的警告線2410。

處理單元110可以被配置為基于處理單元110可經(jīng)由數(shù)據(jù)接口128接收的由一個或更多個圖像捕獲裝置122-126獲取的多個圖像來確定與車道810和820、十字路口2402或者交叉路2404中的每一個相關(guān)聯(lián)的一個或更多個車道約束。根據(jù)一些實施方式，車道約束可由可見的車道邊界(諸如標(biāo)記在路面上的虛線或?qū)嵕€)識別。另外地或替代地，車道約束可包括路面的路邊或障礙。另外地或替代地，車道約束可包括標(biāo)記(例如，博茨點)。根據(jù)一些實施方式，處理單元110(經(jīng)由下面詳細(xì)描述的車道定位模塊2520)可以通過識別諸如道路800或交叉路2404的整體的路面寬度的中點或者車道810/820中的一個的中點來確定與車道810/820、十字路口2402或交叉路2404相關(guān)聯(lián)的約束。當(dāng)例如沒有畫出或者標(biāo)記出指定諸如車道810/820的道路車道的線時，處理單元110可以基于已知的道路參數(shù)來通過替代的方式(諸如通過估計或推斷)來識別車道約束。處理單元110還可以確定各種約束和所檢測的對象(諸如交通燈)之間的物理相對距離。

當(dāng)建立自主車輛或紅色交通燈警告系統(tǒng)時，對于具有交通燈的樞紐的距離估計可能具有挑戰(zhàn)性，這是因為交通燈的位置可以在該樞紐之后或者中間。例如，確定針對十字路口處的每個交通燈的3D位置可以暗示對于車輛的制動點，但是停止線可以提供精確位置。

在當(dāng)前的系統(tǒng)中，道路800、交叉路2404或十字路口2402以及構(gòu)成車道810/820的約束和路徑的檢測可以包括經(jīng)由相機坐標(biāo)系來確定其3D模型的處理單元110。例如，車道810/820的3D模型可由三次多項式描述。除了行駛車道的3D建模以外，處理單元110還可執(zhí)行主機運動參數(shù)(諸如車輛200的速度、偏航和俯仰速率以及加速度)的多幀估算。處理單元110還可確定道路標(biāo)高模型以將從多個圖像獲取的信息轉(zhuǎn)換為三維空間。當(dāng)前系統(tǒng)的一個特征在于，可以同時創(chuàng)建針對交通十字路口處的靜止對象的總體模型，而不是創(chuàng)建針對每個所檢測對象的一個單獨模型。因此，系統(tǒng)100可以被配置為確定針對在例如在大約一百米之內(nèi)的距離處的對象或車道約束的絕對距離。在一些情況下，系統(tǒng)100可以被配置為確定針對其它距離(例如，在125米內(nèi)、150米內(nèi)等等)處的對象或車道約束的絕對距離。進一步，系統(tǒng)100可以被配置為在距停止線2412大約八十米的距離之內(nèi)確定哪個交通燈架(例如，交通燈架2406)與車輛200關(guān)聯(lián)。

可以通過被稱為擴展和縮放的處理來實現(xiàn)對十字路口處的交通燈的精確距離估計。擴展處理可以使用相對距離來確定從車輛200到對象(諸如停止線2412)的距離。例如，如果在圖像數(shù)據(jù)中檢測到兩個交通燈架，并且當(dāng)車輛移動十米的距離時兩個交通燈架之間的距離增加5％，則系統(tǒng)計算出距離為200米。

圖25是與公開的實施方式相一致的存儲器140和/或150的示例性框圖，該存儲器140和/或150可存儲用于執(zhí)行一個或多個操作的指令。如圖25中例示的，存儲器140/150可存儲用于執(zhí)行本文中描述的對象檢測和響應(yīng)的一個或多個模塊。例如，存儲器140/150可以存儲交通燈檢測模塊2510、車道定位模塊2520和動作模塊2530。應(yīng)用處理器180和/或圖像處理器190可執(zhí)行存儲在任何模塊2510-2530(包括在存儲器140/150中)中的指令。本領(lǐng)域技術(shù)人員將理解的是，以下討論對處理單元110的引用可單獨或共同指應(yīng)用處理器180和圖像處理器190。因此，任何以下處理的步驟可由一個或多個處理裝置執(zhí)行。

交通燈檢測模塊2510可以存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可以檢測交通燈架(諸如交通燈架2406)的存在和狀態(tài)。如下面將結(jié)合圖26A、圖26B和圖27進行討論的，交通燈檢測模塊2510連同圖像處理器190可以執(zhí)行對由一個或更多個圖像捕獲裝置122-126獲取的一個或更多個圖像的圖像處理。交通燈檢測模塊2510還可以確定交通燈架2406的狀態(tài)，包括確定交通燈架2406內(nèi)部的一個燈是否包括箭頭。交通燈檢測模塊2510可以確定與交通燈架2406的狀態(tài)關(guān)聯(lián)的其它信息，非限制性地包括交通燈架2406內(nèi)部關(guān)聯(lián)的任何交通燈是否被照亮(以固定或閃爍的方式)、確定交通燈架內(nèi)部的交通燈的位置(即，交通燈的水平定向與垂直定向)、或者確定與交通燈相關(guān)聯(lián)的顏色。在一些實施方式中，交通燈檢測模塊2510可以存儲被確定用于處理單元110內(nèi)部(諸如存儲器140/150中)的特定前進方向、特定十字路口2402和/或特定交通燈架2406的信息。在這些實施方式中，當(dāng)車輛200返回至同一十字路口時，之前確定且保存的信息可以在未來使用。

在一些實施方式中，可以通過在預(yù)定或已知捕獲率獲取的多個圖像的圖像分析(例如，對以1秒、1.5秒、2秒等等獲取的圖像分別進行分析)來確定閃爍的交通燈。例如，系統(tǒng)100可以分析圖像數(shù)據(jù)，以識別多個圖像當(dāng)中的發(fā)光圖案。系統(tǒng)100還可以確定被確定為在交通燈架中的受關(guān)注的特定交通燈的邊界之內(nèi)的所捕獲的圖像的區(qū)域。然后，系統(tǒng)100可以通過被確定為在受關(guān)注的交通燈的邊界之內(nèi)的區(qū)域中的像素分析來確定交通燈的顏色。

車道定位模塊2520可存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可幫助系統(tǒng)100確定車輛200的位置。在一些實施方式中，確定車輛200的位置的步驟可以包括：經(jīng)由視覺確定或者通過經(jīng)由數(shù)據(jù)接口128從圖像捕獲裝置122-126接收的至少一個圖像的分析來確定車輛位置的至少一個指示符。在這些實施方式中，車輛位置的至少一個指示符可以包括從車輛到與車輛正在行駛的當(dāng)前車道相關(guān)聯(lián)的一個或更多個車道約束或車道標(biāo)記，或者到與十字路口相關(guān)聯(lián)的標(biāo)記(諸如警告線2410和停止線2412)的距離。從車輛到位置或?qū)ο蟮木嚯x可以基于例如圖像數(shù)據(jù)、GPS信息或來自位置傳感器的數(shù)據(jù)的分析中的一種或多種來確定。進一步，車輛位置的至少一個指示符可以包括與具有至少一個關(guān)聯(lián)交通燈的交通燈架相關(guān)聯(lián)的箭頭。另外地或另選地，車輛位置的至少一個指示符可以包括通過GPS或者類似坐標(biāo)系獲取的車輛定位。在一些實施方式中，車道定位模塊2520可以存儲針對特定道路800及其車道810/820而確定的車道約束信息。例如，處理單元110可以將信息存儲在存儲器140/150中。在這些實施方式中，當(dāng)車輛200返回至同一十字路口時，之前確定且保存的信息可以在未來使用。例如，GPS信息可以被用來確定車輛200已經(jīng)回到同一十字路口。

與公開的實施方式相一致，車道定位模塊2520可以使用來自車輛位置的至少一個指示符來確定是否需要或推薦改變車輛200的操作的系統(tǒng)響應(yīng)。另外地或者另選地，車道定位模塊2520可以從其它模塊(包括位置傳感器130)或其它系統(tǒng)接收指示存在圖像數(shù)據(jù)中的其它特征的信息(諸如其它車輛、道路的曲率等)。

動作模塊2530可以存儲指令，當(dāng)由處理單元110執(zhí)行時，該指令可以幫助系統(tǒng)100基于從一個或更多個源(諸如位置傳感器130、圖像處理器190、交通燈檢測模塊2510)接收的信息來進行相對于車輛200的操作的一個或更多個動作。在一些實施方式中，動作模塊2530可以(從例如交通燈檢測模塊2510)接收關(guān)于十字路口處的交通燈(諸如如上所討論的十字路口2402處的交通燈架2406)的狀態(tài)的信息。由動作模塊2530接收的其它信息可以包括車輛是否在轉(zhuǎn)彎車道以及交通燈架2406是否包括箭頭的確定。

基于該所接收的信息，動作模塊2530然后可以產(chǎn)生影響車輛200的操作狀態(tài)的系統(tǒng)響應(yīng)，諸如促使系統(tǒng)100向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供控制信號，以(例如，通過加速、轉(zhuǎn)彎，等等)導(dǎo)航車輛200。例如，在一些實施方式中，系統(tǒng)100可以確定轉(zhuǎn)彎車道交通燈授權(quán)車輛200進行轉(zhuǎn)彎。在這些實施方式中，動作模塊2530可以向轉(zhuǎn)向系統(tǒng)240發(fā)送指令，并且轉(zhuǎn)向系統(tǒng)240可以執(zhí)行該指令以使車輛200轉(zhuǎn)彎通過十字路口2402進入與交叉路2404相關(guān)聯(lián)的新行駛車道。在其它實施方式中，由動作模塊2530發(fā)起并執(zhí)行的系統(tǒng)響應(yīng)可以包括以下各項的任何或全部：向車輛的操作者提供視覺或聽覺通知、施加車輛制動、中止巡航控制功能或者發(fā)起一個或更多個自動轉(zhuǎn)彎機動。

另外地或者另選地，動作模塊300可以向與車輛200相關(guān)聯(lián)的其它系統(tǒng)(諸如制動系統(tǒng)230、轉(zhuǎn)彎信號、節(jié)流系統(tǒng)220等)發(fā)送指令。在一些實施方式中，動作模塊2530相反可以為車輛的人類操作者提供代表從關(guān)聯(lián)系統(tǒng)和/或傳感器收集的信息的音頻、視覺、或觸覺反饋。然后，人類操作者可以對該反饋進行動作，以使車輛轉(zhuǎn)彎。

圖26A提供了圖24中描述的情況的帶注釋的視圖。車輛200再次在道路800的車道820上行駛，并且正接近與交叉路2404的十字路口2402。車輛200再次配備有圖像捕獲裝置122和124；更多或更少裝置可以與任何特定車輛200相關(guān)聯(lián)。為了簡單進行例示，圖26A中的道路800被描述為具有兩個行駛車道810和820的在頁面上從上到下定向的單向街道。交叉路2404是具有在每個方向上前進的一個行駛車道的穿過整個頁面的左右定向的雙向街道。

在十字路口2402處向道路800的左側(cè)的是交通燈架2406。在車輛200的前面的車道820的表面上畫出的車道箭頭2408，指示車道820是左轉(zhuǎn)彎車道。同樣在道路800的表面上畫出或者附加的是通向停止線2412的警告線2410。

與公開的實施方式相一致，系統(tǒng)100可以被配置為確定接近十字路口的車輛200的行駛車道(這里，車道820)是否是轉(zhuǎn)彎車道；確定交通燈架(這里，交通燈架2406)是否對十字路口做出控制；確定交通燈架中的交通燈的狀態(tài)；以及確定交通燈是否包括箭頭。下面將結(jié)合圖27和處理2700來更加詳細(xì)地對該處理進行描述。

簡單來說，與車輛200相關(guān)聯(lián)的系統(tǒng)100可以經(jīng)由處理單元110、位置傳感器130、交通燈檢測模塊2510或車道定位模塊2520中的一個或更多個來確定道路800內(nèi)部的車輛200的位置。另外地或另選地，系統(tǒng)100可以收集來自車輛位置的至少一個指示符的信息。如上面結(jié)合車道定位模塊2520所討論的，車輛位置的至少一個指示符可以包括從車輛200到與車輛正在行駛的當(dāng)前車道(諸如車道820)相關(guān)聯(lián)的一個或更多個車道約束或車道標(biāo)記，或者到與十字路口2401相關(guān)聯(lián)的標(biāo)記(諸如警告線2410和停止線2412)的距離。進一步，車輛位置的至少一個指示符可以包括與交通燈架2406相關(guān)聯(lián)的箭頭。另外地或另選地，車輛位置的至少一個指示符可以包括通過GPS或者類似坐標(biāo)系獲取的車輛定位。

在圖26A的例示中，存在車輛200的位置的多個指示符。與車輛200相關(guān)聯(lián)的一個或更多個圖像捕獲裝置122-126可以被配置為捕獲可以幫助確定車輛200的位置的在車輛200的前面的區(qū)域的多個圖像。例如，圖像可以包括車道箭頭2408，其指示車道820是十字路口2402的左轉(zhuǎn)彎車道。圖像還可以包括交通燈架2406，并且可以指示交通燈架2406內(nèi)部的各個燈中的一個或多個包括表明轉(zhuǎn)彎車道狀況的箭頭。一個或更多個圖像捕獲裝置122-126還可以捕獲與道路800或者交叉路2404相關(guān)聯(lián)的警告線2410或停止線2412的圖像。進一步，系統(tǒng)100經(jīng)由車道定位模塊2520可以通過測量從車輛200到停止線2412的距離s₁來確定轉(zhuǎn)彎車道內(nèi)部的車輛200的位置。仍進一步，系統(tǒng)100可以實施光學(xué)字符識別(OCR)處理以獲得包括在一個或更多個所捕獲的圖像中的文本(例如，來自標(biāo)志和/或道路標(biāo)記的文本)。然后，系統(tǒng)100可以使用文本信息作為確定車輛200是否在轉(zhuǎn)彎車道內(nèi)部的一部分或者作為其基礎(chǔ)。例如，系統(tǒng)100可以識別指示轉(zhuǎn)彎車道的特定詞語(例如，“向右轉(zhuǎn)彎”、“向左轉(zhuǎn)彎”等等)。

測量可以是直接測量(諸如經(jīng)由位置傳感器130)，或者可以通過圖像處理器190經(jīng)由所捕獲的圖像數(shù)據(jù)的分析來確定，并且可以與地圖數(shù)據(jù)相結(jié)合地使用。測量結(jié)果可以可以從內(nèi)部或外部車輛200的任何部分測量出，該任何部分非限制性地包括：車輛200的前部、車輛200的諸如前燈或前面車牌的部分、圖像捕獲裝置122-126的安裝好的位置、所確定的車輛200的形心、車輛200的后部、與車輛200相關(guān)聯(lián)的一個或更多個擋風(fēng)玻璃或反光鏡、車輛200的車輪、車輛200的右側(cè)或左側(cè)或車窗、與車輛200的車頂相關(guān)聯(lián)的點、或者與車輛200的底盤相關(guān)聯(lián)的點。

在一些實施方式中，確定從車輛200到交通燈架2406的距離可能足以幫助處理單元110計算制動距離或者其它這種測量。然而，在其它實施方式中，交通燈架2406可以被定位為經(jīng)過車輛200將被要求停止的點。在這些實施方式中，可以通過使用警告線2410或停止線2412中的一個或更多個來確定距十字路口的距離。

如上面結(jié)合圖24所討論的，可以使用采用擴展和縮放的估計處理來計算這些距離。在具有兩個交通燈架的十字路口2402處，例如，系統(tǒng)100可以對如在圖像數(shù)據(jù)中捕獲的兩個架之間的相對距離進行一定時間段的測量，然后使用該相對距離來估計距停止線2412的距離。在一些實施方式中，這些測量可以隨著時間的推移重復(fù)，以提高精確度。精確度還可以通過其它方法來提高；例如，如果在十字路口2402處坐落有三個或四個交通燈架，則可以計算架中的每一個之間的相對距離并取平均值。另外地或另選地，如上所討論的，可以使用卡爾曼過濾器來估計距離。

系統(tǒng)100仍然需要附加信息或輸入來確定停止線2412相對于十字路口2402和/或交通燈架2406的定位。在一些實施方式中，系統(tǒng)100可以使用從之前到十字路口的路程中收集的之前存儲的地圖數(shù)據(jù)。該信息可以從交通燈檢測模塊2510或者車道定位模塊2520中接收。還可以使用下式從圖像數(shù)據(jù)中導(dǎo)出距離測量值Z：

Z＝fW/w

其中，W是兩個交通燈架2406之間的已知距離，w是像素中的圖像數(shù)據(jù)中的距離，并且f是像素中的特定圖像捕獲裝置122-126的焦距。

在圖26A中，插圖2602示出與示例關(guān)聯(lián)的交通燈架2406的兩種狀態(tài)?；诮?jīng)由數(shù)據(jù)接口128從圖像捕獲裝置122-126接收的來自至少一個圖像的圖像數(shù)據(jù)，系統(tǒng)100可以被配置為確定交通燈架2406的狀態(tài)。下面將結(jié)合圖27和處理2700來更加詳細(xì)地對該確定進行描述。當(dāng)接近十字路口2402時，系統(tǒng)100可以首先確定交通燈架2406正顯示固定的紅燈，如在插圖2602的圖像1中所見。在圖26A的示例中，車道820是左轉(zhuǎn)彎車道，所以除非道路800位于紅燈時左轉(zhuǎn)彎是合法的管轄范圍內(nèi)(或者如果交叉路2404被配置作為在頁面上具有從右向左流動的兩個車道的單向街道的話)，否則車輛200必須在停止線2412處停止并且保持靜止直至確定交通燈架2406已經(jīng)發(fā)生改變。在另選實施方式中(未示出)，車輛200可以在被確定為右轉(zhuǎn)彎車道的車道上行駛，并且假設(shè)紅燈時右轉(zhuǎn)彎在該管轄范圍內(nèi)是合法允許的，則系統(tǒng)100可以產(chǎn)生系統(tǒng)響應(yīng)，使得車輛200能夠右轉(zhuǎn)彎同時交通燈架2406保持紅色。

隨后，如從插圖2602的圖像2中所見，交通燈架2406從固定紅燈轉(zhuǎn)變成指示受保護的左轉(zhuǎn)彎的固定綠色箭頭。系統(tǒng)100可以被配置為基于通過圖像處理器190對交通燈架2406的所獲取圖像的像素級圖像分析來不但檢測出燈的顏色已經(jīng)改變，而且檢測出箭頭已經(jīng)出現(xiàn)在燈內(nèi)部。在一些實施方式中，為了使系統(tǒng)100檢測出交通燈的顏色已經(jīng)改變，系統(tǒng)100可以對所捕獲的圖像進行一定時間段(例如，1秒、5秒、10秒、15秒、20秒、30秒、1分鐘等等)的分析，以便識別交通燈的狀態(tài)變化。系統(tǒng)100還可以一次確定交通燈架2406發(fā)生變化以顯示其是否安全或者是否被授權(quán)在由燈的狀態(tài)指示的方向上前進的綠色箭頭。即使燈可以顯示綠色箭頭，各種情況(未示出)也可能要求車輛200在完成轉(zhuǎn)彎之前進一步延遲。例如，行人可能在通過交叉路2404。雖然在圖26A中道路800是單向街道，但是在另選實施方式中(諸如下面描述的且在圖26B中示出的)，道路可以是雙向街道，并且車輛200還可以對從相反方向駛來的第二車輛是否正在從另一方向在紅燈時進行右轉(zhuǎn)彎到交叉路2404上來。進一步，其它障礙物可以阻止及時的左轉(zhuǎn)彎；例如，一組鐵路軌道可以與道路800平行地向其左側(cè)定向，并且雖然左轉(zhuǎn)彎綠色箭頭被照亮，但是與火車軌道相關(guān)聯(lián)的障礙可能落下來以允許火車通過。這些示例不用于限制。一旦系統(tǒng)100確定了交通燈架2406和十字路口處的狀況都允許安全轉(zhuǎn)彎，系統(tǒng)100就可以經(jīng)由動作模塊2530產(chǎn)生涉及節(jié)流系統(tǒng)220、制動系統(tǒng)230、轉(zhuǎn)向系統(tǒng)240、轉(zhuǎn)彎信號、和/或使車輛200自動向左轉(zhuǎn)彎的其它子系統(tǒng)和模塊中的一個或更多個的系統(tǒng)響應(yīng)。

圖26B例示了與公開的實施方式相一致的其它十字路口場景。在圖26B的示例中，車輛200(這里表示為車輛200e)正在道路800的車道810上行駛，并且接近與交叉路2404的十字路口2402。車輛200再次配備有圖像捕獲裝置122和124；更多或更少裝置可以與任何特定車輛200相關(guān)聯(lián)。與圖26A的例示不同，道路800現(xiàn)在在圖26B中是雙向街道，并且交通可以在兩個方向上進行。交叉路2404依然是具有在每個方向上前進的一個行駛車道的穿過整個頁面的左右定向的雙向街道。

在十字路口2402處向道路800的右側(cè)的是交通燈架2604。在車輛200的前面的車道810的表面上畫出的車道箭頭2408，指示車道820是左轉(zhuǎn)彎車道。如前，與公開的實施方式相一致，系統(tǒng)100可以被配置為確定接近十字路口的車輛200的行駛車道(這次，車道810)是否是轉(zhuǎn)彎車道；確定交通燈架(這里，交通燈架2604)是否對十字路口做出控制；確定交通燈的狀態(tài)；以及確定交通燈是否包括箭頭。

系統(tǒng)100可以按照與上面描述的大致相同的方式來進行操作，以進行這些確定。然而，在圖26B的示例中，插圖2606證明當(dāng)車輛200e接近十字路口2402時，交通燈架2604正顯示閃光或閃爍的黃燈。在插圖2606中通過箭頭的虛線指示非固定性質(zhì)。如可能對相關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員來說熟悉的，一些管轄范圍在一天的某些時間期間使用閃爍的黃燈來實質(zhì)上用作與“讓行”或“停止”標(biāo)志相同的功能，同時仍然允許利用紅燈使行駛車道完全停止或者利用綠燈完全授權(quán)行駛車道前進。

如上面概述的，系統(tǒng)100可以確定交通燈架2604正在顯示閃爍的黃燈，并且還可以確定車道810是轉(zhuǎn)彎車道。然而，在圖26B中描述的情況下，系統(tǒng)100可以被要求進行其它確定，以便使車輛200e成功穿過十字路口2402。如本領(lǐng)域技術(shù)人員將理解的，閃爍的黃燈授權(quán)接近的車輛隨意轉(zhuǎn)彎，只要這樣做安全的話。希望駕駛員在十字路口處要謹(jǐn)慎，并且駕駛員確定太早進行轉(zhuǎn)彎的話將不會產(chǎn)生潛在的碰撞或其它危險。

系統(tǒng)100可以進行的一個這種確定是一個或更多個車輛是否正在從另一方向接近十字路口。例如，盡管在道路的一個方向上行駛的行駛車道可以具有轉(zhuǎn)彎車道中的閃爍的黃燈的交通燈，在相反方向上行駛的交通可以具有綠燈以直行前進通過十字路口。因此，如果車輛的操作者在閃爍的黃燈信號下沒有讓行的話，碰撞可能發(fā)生。在圖26B的示例中，第二車輛200f確實正在直行通過十字路口2402。系統(tǒng)100可以被配置為經(jīng)由從一個或更多個圖像捕獲裝置122-126捕獲的圖像數(shù)據(jù)來檢測車輛200f的存在，以及使用位置傳感器130、圖像處理器190、交通燈檢測模塊2510或車道定位模塊2520中的一個或更多個來確定車輛在道路/十字路口內(nèi)的位置以及其速度。在檢測并分析車輛200f時，系統(tǒng)100(經(jīng)由動作模塊2530)可以促使制動系統(tǒng)230保持接合直至車輛200f已經(jīng)通過。

一旦沒有其它車輛正在從相反方向接近十字路口，系統(tǒng)100就可以經(jīng)由動作模塊2530基于該確定來產(chǎn)生系統(tǒng)響應(yīng)。系統(tǒng)響應(yīng)可以包括以下中的一種或多種：向車輛200的操作者提供反饋、經(jīng)由制動系統(tǒng)230來施加車輛制動、中止巡航控制或者使用節(jié)流系統(tǒng)220、制動系統(tǒng)230或轉(zhuǎn)向系統(tǒng)240中的一個或更多個來發(fā)起至交叉路2404上的自動轉(zhuǎn)彎機動。首先，然而，系統(tǒng)100可以分析針對與十字路口2402或交叉路2404相關(guān)聯(lián)的任何其它障礙物或?qū)ο蟮拇嬖诘膱D像數(shù)據(jù)。例如，在圖26B的例示中，能夠看到行人2608步行穿過交叉路2404，因為道路800的另一個車道具有該方向上的綠燈。系統(tǒng)100可以通過分析由一個或更多個圖像捕獲裝置122-126捕獲的多個圖像中的一個或更多個來經(jīng)由圖像處理器190檢測行人2608的存在。如上所述，系統(tǒng)100的其它子系統(tǒng)和模塊可以配合以檢測行人2608的速度，并且可以通知系統(tǒng)100行人2608何時不再在道路上并且轉(zhuǎn)彎是安全的。

圖27例示了與公開的實施方式相一致的用于檢測交通燈的狀態(tài)的處理2700。處理2700的步驟可以通過處理單元110、圖像獲取單元120、位置傳感器130、圖像處理器190、交通燈檢測模塊2510、車道定位模塊2520或動作模塊2530中的一個或更多個來執(zhí)行。

在步驟2710，處理2700可包括：使用至少一個圖像捕獲裝置122、124和/或126來獲取車輛200的前方區(qū)域的多個圖像。該區(qū)域可以包含具有至少一個交通燈的一個或更多個交通燈架(諸如上述的交通燈架2406和2604)。處理單元110可以通過數(shù)據(jù)接口128從(多個)圖像捕獲裝置接收多個圖像。然后，多個圖像可以通過處理單元110的圖像處理器190來實時地進行處理。圖像處理器190可以對由至少一個圖像捕獲裝置捕獲的至少一個圖像、以及在稍后的時間點捕獲的其它圖像進行處理。

在步驟2720，處理2700可以基于車輛位置的至少一個指示符來確定車輛200是否正在轉(zhuǎn)彎車道上行駛。如上面通常描述的，可以使用位置的各種指示符來確定行駛車道是否是轉(zhuǎn)彎車道。在一些實施方式中，位置指示可以包括通過GPS獲取的車輛定位。在其它實施方式中，系統(tǒng)100可以識別車道標(biāo)記或約束(諸如指示車道是轉(zhuǎn)彎車道的車道箭頭2408)。另選地，圖像處理器190可以確定箭頭與控制車道行駛的交通燈架相關(guān)聯(lián)。另外，可以使用系統(tǒng)100的各種元件來進行距離的測量。例如，位置傳感器130和/或車道定位模塊2520可以將包括車輛200距十字路口2402有多遠(yuǎn)(上述的距離s₁)在內(nèi)的關(guān)于車道810/810內(nèi)部的車輛200的相對位置的信息發(fā)送到處理單元110。車道的盡頭可以基于所測量的距離或者視覺確定(例如，通過對由一個或更多個圖像捕獲裝置122-126獲取的一個或更多個圖像進行分析以及檢測警告線2410或停止線2412的存在)。

在步驟2730，處理2700可以執(zhí)行對經(jīng)由數(shù)據(jù)接口128接收的至少一個圖像的圖像處理，以確定箭頭是否存在于與交通燈相關(guān)聯(lián)的圖像數(shù)據(jù)中。交通燈檢測模塊2510和/或圖像處理器190可以被配置為分析與代表交通燈架內(nèi)部的各個交通燈的位置相對應(yīng)的圖像的像素。一種或更多種圖像處理算法可以被應(yīng)用于像素，以確定固定或閃爍的/閃光的箭頭是否存在于關(guān)聯(lián)區(qū)域中。下面將結(jié)合圖28至圖30B來討論系統(tǒng)100可以怎樣對一個或更多個圖像進行分析以確定交通燈是否顯示箭頭的進一步示例。

在步驟2740，處理2700可以確定交通燈的狀態(tài)。如上所討論的，確定交通燈的狀態(tài)的步驟可以非限制性地包括：確定交通燈是否被照亮(和/或是否起作用)、確定交通燈架內(nèi)部的被照亮交通燈的位置、或者確定與交通燈相關(guān)聯(lián)的顏色(即，紅色、黃色或綠色)。還列表僅用于示例，并且可以通過系統(tǒng)100和處理單元110來確定并處理與交通燈關(guān)聯(lián)的任何信息。例如，系統(tǒng)可以被配置為基于對一系列獲取圖像的圖像處理來確定交通燈是固定的還是閃爍的。圖像處理器190可以確定在這些實施方式中，架內(nèi)部的同一交通燈在一個圖像中被照亮，按順序接下來變暗，然后即刻被再次照亮；這將指示特定的燈正在閃爍。在一些實施方式中，系統(tǒng)100可以被配置為識別對車輛正在行駛的特定管轄范圍來說特別的交通燈狀況。該信息可以被預(yù)先編程到系統(tǒng)100中，諸如存儲在存儲器140/150內(nèi)部的數(shù)據(jù)(未示出)中。

在步驟2750，處理2700可以經(jīng)由對車輛200的操作產(chǎn)生影響的系統(tǒng)100來產(chǎn)生系統(tǒng)響應(yīng)。由系統(tǒng)100發(fā)起的響應(yīng)可以基于以下確定中的任何或全部：確定交通燈的狀態(tài)、確定交通燈是否包括箭頭以及確定車輛是否在轉(zhuǎn)彎車道。如上所討論的，由系統(tǒng)100經(jīng)由動作模塊2530發(fā)起的特定動作可以非限制性地包括：向車輛200的操作者提供關(guān)于交通燈的視覺或聽覺反饋通知；經(jīng)由制動系統(tǒng)230施加車輛制動；中止巡航控制功能；或者使用節(jié)流系統(tǒng)220、制動系統(tǒng)230或轉(zhuǎn)向系統(tǒng)240中的一個或更多個來繼續(xù)前進以發(fā)起自動轉(zhuǎn)彎機動并且繼續(xù)前進通過十字路口。

另外，在一些實施方式中，作為系統(tǒng)100的功能的一部分，工作模塊2530和/或處理單元110還可以被配置為確定車輛所處的轉(zhuǎn)彎車道是否被授權(quán)在通過所確定的交通燈的狀態(tài)指示的方向上前進。換句話說，即使交通燈指示特定的系統(tǒng)響應(yīng)是合法允許的，系統(tǒng)100也可以通過進一步確定這種動作實際上是否可能且安全來為車輛200的駕駛員提供額外等級的安全保護。例如，如上面結(jié)合圖26B所討論的，系統(tǒng)100和圖像處理器190可以被配置為檢測與道路或十字路口相關(guān)聯(lián)的其它障礙物的存在(諸如存在于街道上的行人或者其它車輛的存在)。在一些實施方式中，其它車輛可以正常前進通過十字路口(諸如在圖26B中描述的車輛200e具有閃爍的黃燈的場景下)。在這些實施方式中，車輛200e理論上能夠轉(zhuǎn)彎到交叉路2404上，但是系統(tǒng)100還可以考慮車輛200f在綠燈時正在前進通過十字路口的事實。另選地，第二車輛可以不尋?；蚍欠ǖ姆绞匠霈F(xiàn)，諸如如果另一車輛的操作者闖過停車標(biāo)志或者紅燈，或者如果車輛在十字路口或者其中一個道路上已經(jīng)故障。

仍然在其它實施方式中，確定車輛所處的轉(zhuǎn)彎車道是否被授權(quán)在由交通燈的所確定的狀態(tài)指示的方向上前進的步驟還可以包括：基于車輛的預(yù)定目的地來確定實際上是否遵守?zé)舻闹甘緺顟B(tài)。在涉及自主車輛的實施方式中，可以假設(shè)操作者和/或乘客已經(jīng)向系統(tǒng)100的處理單元110指示了其期望目的地。因此，通過使用GPS定位技術(shù)或其它這種信息，系統(tǒng)100可以被配置為確定進行由交通燈指示的轉(zhuǎn)彎實際上是否與預(yù)定目的地關(guān)聯(lián)。例如，在一些實施方式中，車輛200已經(jīng)無意地在轉(zhuǎn)彎車道上熄火，并且向預(yù)定目的地前進可以涉及并入相鄰車道(在車道定位模塊2520的幫助下)以及繼續(xù)前進直行通過十字路口。因此，系統(tǒng)100可以被配置為基于該預(yù)定目的地信息來確定是向左轉(zhuǎn)彎、向右轉(zhuǎn)彎還是繼續(xù)直行通過十字路口。

交通燈細(xì)節(jié)檢測

在一些實施方式中，系統(tǒng)100可以提供與交通信號的識別相關(guān)的附加功能。例如，系統(tǒng)100可以基于交通燈的物理特征的分析來提供交通燈細(xì)節(jié)檢測功能以提供反饋。為了實現(xiàn)這種功能，處理單元110可以處理由圖像捕獲裝置122、124、126中的至少一個捕獲的圖像并且采用超分辨率技術(shù)來識別圖像中的交通燈的特定特征，其中該特定特征可以向系統(tǒng)100指示有用信息。例如，系統(tǒng)100可以識別交通燈的已經(jīng)被照亮的圓形信號和箭頭形信號，并且在其之間進行區(qū)分。

在一些實施方式中，存儲器140和/或150可以存儲指令，這些指令被編程為使得當(dāng)由處理裝置執(zhí)行時將提供交通燈細(xì)節(jié)檢測功能。如圖28中所示，存儲器140和/或150可以存儲圖像對齊模塊2810、像素擴展模塊2820、圖像分析模塊2830和數(shù)據(jù)庫2840。圖像對齊模塊2810可以存儲用于將由圖像捕獲裝置122、124、126捕獲的多個圖像進行對齊的指令。像素擴展模塊2820可以存儲用于增加圖像的至少一部分的分辨率以允許圖像被縮放成標(biāo)準(zhǔn)尺寸的指令。圖像分析模塊2830可以存儲用于對圖像進行分析以檢測并識別圖像的特征的指令。數(shù)據(jù)庫2830可以被配置為存儲與提供交通燈細(xì)節(jié)檢測功能相關(guān)聯(lián)的數(shù)據(jù)并且當(dāng)需要時提供數(shù)據(jù)。進一步，圖像對齊模塊2810、像素擴展模塊2820和圖像分析模塊2830可以單獨地或者以與彼此的各種組合的方式來存儲可以由一個或更多個處理器(例如，處理單元110)執(zhí)行的指令。例如，圖像對齊模塊2810、像素擴展模塊2820和圖像分析模塊2830可以被配置為與彼此和/或系統(tǒng)100的其它模塊相互作用，以執(zhí)行與公開的實施方式相一致的功能。

數(shù)據(jù)庫2840可以包括存儲信息并且通過計算裝置(諸如處理單元110)進行訪問和/或管理的一個或更多個存儲裝置。在一些實施方式中，如圖28中所示，數(shù)據(jù)庫2840可以位于存儲器150中。在其它實施方式中，數(shù)據(jù)庫2840可以被定位得距存儲器150較遠(yuǎn)，并且經(jīng)由一個或更多個無線連接(例如，無線網(wǎng)絡(luò))對于系統(tǒng)100的其它部件(例如，處理單元120)可訪問。雖然示出了一個數(shù)據(jù)庫2840，但是應(yīng)當(dāng)理解，多個單獨的和/或互連的數(shù)據(jù)庫可以組成數(shù)據(jù)庫2840。數(shù)據(jù)庫630可以包括計算部件(例如，數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)庫服務(wù)器等等)，該計算部件被配置為接收并處理針對存儲在與數(shù)據(jù)庫2840相關(guān)聯(lián)的存儲器裝置中的數(shù)據(jù)的請求并且(例如，向處理單元110)提供來自數(shù)據(jù)庫2840的數(shù)據(jù)。

在一些實施方式中，數(shù)據(jù)庫2840可以被配置為存儲與提供交通燈細(xì)節(jié)檢測功能相關(guān)聯(lián)的數(shù)據(jù)。例如，數(shù)據(jù)庫2840可以存儲數(shù)據(jù)(諸如圖像、地圖、算法、多組值等等)，這可以允許處理單元110識別在圖像中檢測的信息。例如，數(shù)據(jù)庫2840可以存儲與交通燈的圓形信號和箭頭形信號中的每一個相對應(yīng)的一組平均像素值。

在一些實施方式中，系統(tǒng)100可以提供基于在一個或更多個所捕獲的圖像中檢測的交通燈的細(xì)節(jié)的反饋。例如，系統(tǒng)100可以被配置為在與交通燈相關(guān)聯(lián)的信號的顏色、形狀和位置之間進行區(qū)分，以便提供基于所檢測的細(xì)節(jié)的含義的特定反饋(例如，箭頭形信號控制轉(zhuǎn)彎移動，而圓形信號控制直行向前移動)。

圖29A和圖29B描述了可以由系統(tǒng)100檢測的示例性對象。圖29A描述了包括圓形信號2910的交通燈架2900A。圖29B描述了包括箭頭形信號2920的交通燈架。雖然兩個對象都包括交通燈，但是它們包括指示不同消息的不同細(xì)節(jié)。在示例性實施方式中，系統(tǒng)100可以被配置為對一個或更多個圖像的像素進行分析以識別區(qū)別特征，諸如圓形信號2910和箭頭形信號2920。

圖29C描述了圓形信號2910的圖像2915的示例性部分，包括多個像素2930。系統(tǒng)100可以被配置為對像素2930進行分析以識別圖像中發(fā)現(xiàn)的對象和/或細(xì)節(jié)。例如，圖像分析模塊2830可以被配置為識別與每個像素2930相關(guān)聯(lián)的特征(諸如亮度、顏色、對比度、色調(diào)、透明度等等)，并且基于像素分析來確定與圖像相關(guān)聯(lián)的對象和/或細(xì)節(jié)。圖像分析模塊2830識別的每個特征可以被給定一個值。例如，圖像分析模塊2830可以將值“一”分配給被識別為顏色紅色的像素，并且將值“零”分配給任何其它像素。

在一些實施方式中，系統(tǒng)100可以被配置為使用超分辨率技術(shù)來允許多個圖像中的對象的更精確的分析。例如，像素擴展模塊2820可以修改圖像2915以將像素2930中的一個或更多個劃分成子集的像素2940。雖然在圖29C中示出僅部分像素2930被擴展到像素2940中，但是應(yīng)當(dāng)理解，像素2930的任何部分或全部都可以按照這種方式來劃分。因此，像素擴展模塊2820可以增加與圖像的特定部分相關(guān)聯(lián)的像素的數(shù)量。

在示例性實施方式中，像素擴展模塊2820可以增加與圖像中的特定對象相關(guān)聯(lián)的像素的數(shù)量，使得圖像的包括對象的部分包括所選定數(shù)量的像素(例如，標(biāo)準(zhǔn)數(shù)量的像素)。通過這種方式，即使多個圖像包括不同尺寸的同一對象(例如，因為圖像是在距對象不同的距離處拍攝的)，圖像也能夠被修改為使得圖像的包括該對象的部分包括相同數(shù)量的像素，該相同數(shù)量的像素能夠直接進行比較并被平均化，以更加可靠地確定對象的位于像素內(nèi)部的部分的特征(例如，顏色)。

將圖像的已選部分縮放以使相同數(shù)量的像素與每個圖像中的對象相關(guān)聯(lián)可以允許對圖像直接進行比較(例如，將圖像中一個像素的值與另一圖像中相同像素進行比較)。通過這種方式，可以通過圖像分析模塊2830對多個圖像進行考慮和分析，從而與一個圖像的分析相比增加準(zhǔn)確性。例如，超分辨率技術(shù)可以增加圖像分析模塊2830可以正確地在圖像中的圓形信號2920和箭頭形信號2930之間進行區(qū)分的可能性。

圖29D描述了箭頭形信號2920的圖像2925的示例性部分。如上面相對于圖像2915所描述的，圖像2925可以被劃分成像素2930，每個像素2930可以被擴展到像素2940的子集中。如圖29C和圖29D中能夠看出的，像素2930圍繞各個信號2920、2930的邊緣而不同。圖像分析模塊2830可以被配置為識別像素2930的一個或更多個特性，以確定像素是對應(yīng)于圓形信號2910還是箭頭形信號2920。像素2930擴展到像素2940中可以允許將考慮多個圖像并將多個圖像對齊，從而增加檢測的可靠性。

圖30A是示出與公開的實施方式相一致的用于確定交通燈是否包括箭頭的示例性處理3000A。在示例性實施方式中，系統(tǒng)100可以執(zhí)行處理3000A以確定在多個圖像中檢測的交通燈的部分是否包括箭頭形信號。箭頭形信號(或者“箭頭”)可以是信號的視覺成分采用箭頭形狀的交通燈的信號的類型。箭頭可以是指示此時可以允許車輛轉(zhuǎn)彎(例如，在箭頭的方向上轉(zhuǎn)彎)的信號。

在步驟3002，處理單元110可以接收交通燈的多個圖像。例如，一個或更多個圖像捕獲裝置122、124、126可以獲取車輛200的前方區(qū)域的多個圖像。在一些實施方式中，諸如當(dāng)車輛200正在接近樞紐時，車輛200的前方區(qū)域可以包括包含至少一個交通燈的一個或更多個交通燈架。在這些實施方式中，一個或更多個圖像捕獲裝置122、124、126可以獲取交通燈的多個圖像。處理單元110可以通過數(shù)據(jù)接口128從圖像捕獲裝置122、124、126接收多個圖像。

處理單元110可以分析所接收的多個圖像。在一些實施方式中，處理單元110可以對多個圖像進行分析以確定多個圖像包括交通燈。例如，處理單元110可以識別一個或更多個對象作為交通燈的候選，并且執(zhí)行一個或更多個處理(例如，圖像匹配)以確定該候選是否對應(yīng)于交通燈。然而，應(yīng)當(dāng)理解，處理單元110可以執(zhí)行處理3000A，無需識別對象作為交通燈的不同步驟。另外，處理單元110可以對多個圖像中的一部分進行分析以確定交通燈的特性。這些特性可以幫助系統(tǒng)100確定對交通燈的響應(yīng)(例如，燈為綠燈-移動通過樞紐，燈為紅燈-在樞紐處停止)。

在步驟3004，處理單元110(例如，經(jīng)由圖像對齊模塊2810)可以將對應(yīng)于交通燈的多個圖像的區(qū)域?qū)R。例如，處理單元110可以使用交通燈的區(qū)域作為公共點來將多個圖像對齊。該對齊可以允許處理單元110分析多個圖像的公共區(qū)域。

為了將對應(yīng)于交通燈的多個圖像的區(qū)域?qū)R，處理單元110可以選擇可以允許識別關(guān)注區(qū)域的交通燈的特點或特性。在示例性實施方式中，處理單元110可以基于所確定的亮度中心(例如，交通燈的亮著的信號的中心)將對應(yīng)于交通燈的多個圖像的區(qū)域?qū)R。在一些實施方式中，亮度的中心可以通過發(fā)現(xiàn)例如交通燈的亮度的質(zhì)心來確定。在其它實施方式中，處理單元110可以使用交通燈的顏色、形狀、位置或任何其它特點或特性來將多個圖像對齊。進一步，在一些實施方式中，處理單元110可以使多個圖像的區(qū)域旋轉(zhuǎn)，以在圖像平面上將這些圖像對齊(例如，匹配區(qū)域的旋轉(zhuǎn)位置)。

如上所述，經(jīng)對齊的多個圖像的區(qū)域可以對應(yīng)于交通燈的關(guān)注區(qū)域。例如，通過基于亮度在對應(yīng)于交通燈的區(qū)域處將多個圖像對齊，可以識別交通燈的亮著的信號并將其放在經(jīng)對齊的區(qū)域內(nèi)部。亮著的信號可以向觀看者指示此時可以接受的動作(例如，停止、前進、轉(zhuǎn)彎等等)。因此，將對應(yīng)于亮著的信號的區(qū)域?qū)R可以幫助處理單元110使交通燈的關(guān)注區(qū)域隔離。

在步驟3006，處理單元110(例如，經(jīng)由像素擴展模塊2820)可以在經(jīng)對齊的區(qū)域內(nèi)部對多個圖像的像素進行擴展，以獲得標(biāo)準(zhǔn)尺寸(例如，相同數(shù)量的像素)。例如，處理單元110可以執(zhí)行圖像修改處理，在該處理中，處理單元110用多個像素來代替與多個圖像的經(jīng)對齊的區(qū)域相對應(yīng)的每個像素。通過這種方式，一個或更多個圖像的經(jīng)對齊的區(qū)域可以被擴展成標(biāo)準(zhǔn)尺寸。像素的擴展可以允許像素在多個圖像之間的直接比較。

在一些實施方式中，處理單元110可以通過用像素矩陣來代替每個像素對在經(jīng)對齊的區(qū)域內(nèi)的多個圖像的像素進行擴展。像素矩陣中的每個像素的特征是可以具有與母像素相同的值。通過這種方式，經(jīng)擴展的像素還可以包括與像素處的圖像的特征(例如，顏色、亮度等等)相關(guān)聯(lián)的值。

在一個實施方式中，處理單元110可以將經(jīng)對齊的區(qū)域內(nèi)部的每個像素擴展成3x3像素矩陣。在另一實施方式中，處理單元110可以將經(jīng)對齊的區(qū)域內(nèi)部的每個像素擴展成4x4像素矩陣。在其它實施方式中，可以使用其它矩陣尺寸(例如，5x5、6x6、8x8等等)。

在一些實施方式中，像素擴展模塊2820可以基于將每個像素轉(zhuǎn)換成與比例因數(shù)相對應(yīng)的多個像素的該比例因數(shù)(例如，2、2.5、3、4、5等等)來對像素進行擴展。像素擴展模塊2820可以基于圖像中對象的尺寸以及使用的標(biāo)準(zhǔn)尺寸來確定比例因數(shù)。通過這種方式，圖像中的對象可以被標(biāo)準(zhǔn)化成包括相同數(shù)量的像素。

處理單元110可以分析遍及多個圖像的像素。例如，在步驟3008中，處理單元110(例如，經(jīng)由圖像分析模塊2830)可以確定包括針對每個像素的平均像素值在內(nèi)的一組平均像素值，包括經(jīng)擴展的像素。如上所述，經(jīng)擴展的像素包括與母像素相關(guān)聯(lián)的值。像素值可以是限定所選像素并允許處理單元110確定經(jīng)對齊的區(qū)域中的交通燈的特性的任何值。例如，像素值可以對應(yīng)于與每個像素相關(guān)聯(lián)的顏色或亮度值。在另一實施方式中，像素值可以是指示每個像素(或像素矩陣平均)是否包括閾值以上的顏色或亮度值的二進制值。處理單元110可以確定在全部的多個圖像中針對每個像素的平均像素值。

處理單元110可以使用像素值來確定經(jīng)對齊的區(qū)域中交通燈的特性。例如，在步驟3010中，處理單元110可以基于一組平均像素值來確定交通燈是否包括箭頭。在一個示例中，處理單元110可以將一組平均像素值與所存儲的標(biāo)準(zhǔn)(例如，存儲在數(shù)據(jù)庫2840中的信息)進行比較，以確定像素值是否對應(yīng)于箭頭。在另一實施方式中，處理單元可以將平均像素值繪制地圖并將其與所存儲的地圖進行比較，以確定像素值是否對應(yīng)于箭頭形狀。

在一些實施方式中，處理單元110可以使用精確度因數(shù)來確定像素值是否對應(yīng)于箭頭。例如，處理單元110可以確定一組平均像素值是否與所存儲的標(biāo)準(zhǔn)(例如，一組像素值、所存儲的圖像、像素地圖等等)匹配在大于閾值的精確度之內(nèi)。在一些實施方式中，精確度因數(shù)可以取決于圖像的質(zhì)量而發(fā)生變化。例如，如果車輛200離交通燈較遠(yuǎn)和/或如果圖像捕獲裝置122、124、126中的僅一個能夠捕獲交通燈的圖像的話，則可以使用相對較低的精確度因數(shù)。類似地，如果車輛200離交通燈較近和/或圖像捕獲裝置122、124、126中的超過一個(或全部)能夠捕獲交通燈的圖像的話，則可以使用相對較高的精確度因數(shù)。在一些實施方式中，圖像分析模塊2830可以針對一個或更多個特征來對對象進行分類。例如，圖像分析模塊2830可以將對象分類為箭頭形信號或圓形信號。

通過示例性處理3000A，系統(tǒng)100可以被配置為識別與交通燈相關(guān)聯(lián)的箭頭形信號。識別箭頭形信號的能力向系統(tǒng)100提供增強系統(tǒng)100的能力的其它功能。特別地，由于箭頭形信號可以指示與非箭頭形信號(例如，簡單的圓形燈)不同的信息，系統(tǒng)100可以被配置為提供特定化的系統(tǒng)響應(yīng)(例如，可以接受此時向左轉(zhuǎn)彎、不可以接受此時向左轉(zhuǎn)彎等等)，該系統(tǒng)響應(yīng)否則可能是不正確的(例如，綠燈指示在全部方向上前進)。在另一實施方式中，系統(tǒng)100可以在兩個所識別的交通信號燈(例如，綠色圓形燈和紅色箭頭形燈)之間進行區(qū)分，以確定應(yīng)當(dāng)遵守哪個交通信號燈。下面將更加詳細(xì)地描述用于使用箭頭形信號的檢測來實現(xiàn)該功能的示例性處理。

圖30B是示出與公開的實施方式相一致的用于基于交通燈中箭頭信號的檢測來引起系統(tǒng)響應(yīng)的示例性處理3000B的流程圖。在示例性實施方式中，處理單元110可以執(zhí)行處理3000B，以使用處理3000A的結(jié)果來控制車輛200。例如，基于交通燈中箭頭形信號的檢測，處理單元110可以命令車輛200加速、轉(zhuǎn)彎、停止、改變車道等等。

在步驟3012中，處理單元110可以識別交通信號燈。例如，處理單元110可以在由一個或更多個圖像捕獲裝置122、124、126捕獲的一個或更多個圖像中識別交通信號燈。在一些情況下，可以在圖像中識別超過一個的交通信號燈(例如，綠色圓形燈和紅色箭頭形燈)。

在步驟3014，處理單元110可以確定所識別的交通信號燈的顏色。處理單元110可以使用顏色識別處理來分析交通燈的多個圖像中的一個或更多個圖像，以確定交通信號燈的顏色并對其進行分類。例如，處理單元110可以將圖像數(shù)據(jù)與所存儲的標(biāo)準(zhǔn)進行匹配，以從多種顏色可能性(例如，綠色、紅色、黃色、橙色等等)中確定顏色。

在一個實施方式中，處理單元110可以識別包括指示像素是交通信號燈的部分形狀的像素值在內(nèi)的像素的顏色。在另一實施方式中，一個或更多個圖像捕獲裝置122、124、126可以使用清晰像素和紅色(或其它顏色)像素來幫助進行顏色區(qū)分。例如，在一些實施方式中，當(dāng)圖像中存在紅燈時，可以使用紅色像素和清晰像素，而當(dāng)存在綠燈(或其它顏色的)燈時，僅可以使用清晰像素而忽略紅色像素(例如，定義為黑色、無顏色、不是紅色等等)。例如，當(dāng)燈是紅燈時，紅色像素可以與顏色匹配并且被“用來”確定該顏色。作為另一示例，當(dāng)燈是綠燈時，可以使用清晰像素來識別顏色和/或忽略掉紅色像素以將顏色限定為不是紅色。通過這種方式，處理單元110可以取決于被用來限定像素內(nèi)部的燈的值的像素的類型來在圖像中的顏色之間進行區(qū)分。進一步，由于圖像可以與其它圖像進行對齊并進行平均化以實現(xiàn)更高分辨率的圖像，可以基于來自其它圖像的信息來提供所忽略紅色像素(或缺失值的其它像素)的值。

應(yīng)當(dāng)理解，上述內(nèi)容是示例并且可以使用其它顏色識別處理和/或技術(shù)。在一些實施方式中，處理單元110可以被配置為確定箭頭和/或交通信號的一個或更多個其它特性。例如，處理單元110可以確定箭頭是閃爍的還是穩(wěn)定的。在另一示例中，處理單元110可以確定箭頭是否最近從其它信號變來。例如，多個圖像可以包括兩個所識別的信號，之前信號和當(dāng)前信號(例如，所識別的箭頭)。這些其它特性可以為處理單元110提供可以有助于確定如何解釋箭頭形信號的附加信息。

在步驟3018中，處理單元110可以基于箭頭的顏色(和/或箭頭和/或交通信號的其它特性)來產(chǎn)生一個或更多個系統(tǒng)響應(yīng)。在一個示例中，系統(tǒng)響應(yīng)可以對應(yīng)于箭頭的指示(例如，綠色箭頭-可以接受轉(zhuǎn)彎、紅色箭頭-不可以接受轉(zhuǎn)彎等等)。在另一示例中，系統(tǒng)響應(yīng)可以對應(yīng)于特定交通信號由于其是箭頭而不適用的指示(例如，車輛正在直行行駛)。系統(tǒng)響應(yīng)可以是被配置為改變或繼續(xù)車輛200的操作參數(shù)的導(dǎo)航響應(yīng)。例如，處理單元110可以向車輛的駕駛員提供通知(例如，經(jīng)由用戶接口170的可聽聲音或可視指示符)，施加車輛制動，中止巡航控制，和/或發(fā)起自動轉(zhuǎn)彎機動。例如，處理單元110可以向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或更多個提供控制信號以對車輛200進行導(dǎo)航。在一些實施方式中，處理單元110可以繼續(xù)對圖像進行分析，以確定是否應(yīng)當(dāng)中斷系統(tǒng)響應(yīng)(例如，箭頭不再是綠色-中止巡航控制并施加制動)。

通過示例性公開的處理3000A和3000B，系統(tǒng)100可以具有提供車輛200的自主控制的增強的功能。特別地，系統(tǒng)100可以被配置為基于由交通信號提供的詳細(xì)信息來對交通信號做出反應(yīng)，并且提供允許車輛200的安全操作的恰當(dāng)?shù)南到y(tǒng)響應(yīng)。進一步，盡管已經(jīng)在箭頭形信號的語境下描述了上述處理，應(yīng)當(dāng)理解的是，其一個或更多個步驟可以被用于相似處理中，以確定對其它對象和/或信號(諸如行人信號、紅燈不轉(zhuǎn)彎信號、固定道路標(biāo)志、街道標(biāo)志、交通咨詢牌、廣告牌等等)的系統(tǒng)響應(yīng)。

出于圖示的目的，前面的描述已呈現(xiàn)。并非窮盡且并不限于公開的具體形式或?qū)嵤┓绞??？紤]到說明書和公開的實施方式的實踐，修改和改寫對本領(lǐng)域技術(shù)人員將是明顯的。另外，雖然公開的實施方式的各方面描述為存儲在存儲器中，但是本領(lǐng)域技術(shù)人員將了解到，這些方面也可以存儲在其它類型的諸如二級存儲裝置的計算機可讀介質(zhì)上，例如，硬盤或CD ROM，或其它形式的RAM或ROM、USB介質(zhì)、DVD、藍(lán)光或其它光驅(qū)介質(zhì)。

基于書面描述和公開方法的計算機程序在有經(jīng)驗的開發(fā)人員的技術(shù)內(nèi)。各種程序或程序模塊可以使用本領(lǐng)域技術(shù)人員公知的任何技術(shù)來創(chuàng)建或者可以結(jié)合現(xiàn)有軟件設(shè)計。例如，程序段或程序模塊可以設(shè)計或借助.Net Framework、.Net Compact Framework(及相關(guān)語言，諸如Visual Basic、C，等等)、Java、C++、Objective-C、HTML、HTML/AJAX組合、XML或包括Java小程序的HTML。

而且，雖然說明性實施方式已在本文中描述，具有等同元件、修改、省略、組合(例如，跨各實施方式的方面)、改寫和/或變更的任何及所有實施方式的范圍將基于本公開被本領(lǐng)域技術(shù)人員了解。權(quán)利要求書中的限制應(yīng)解譯寬泛地基于權(quán)利要求書中采用的語言，并不限于本說明書或本申請審查期間描述的示例。示例應(yīng)被解釋為非排他性的。此外，公開方法中的步驟能以任何方式修改，包括重新排序各步驟和/或插入或刪除步驟。因此，預(yù)期說明書和示例考慮為僅是說明性的，真正的范圍和精神由隨附權(quán)利要求書及其完整的等同范圍指示。