在導(dǎo)航中對車道限制和施工區(qū)域的識別和預(yù)測的制作方法
相關(guān)申請的交叉引用
本申請要求美國臨時專利申請?zhí)?2/038,426的權(quán)益，其公開內(nèi)容通過引用并入本文。
公開領(lǐng)域
本公開大體上涉及自主駕駛和/或駕駛者輔助技術(shù)，特別是涉及使用相機(jī)以提供自主駕駛和/或駕駛者輔助技術(shù)的特征的系統(tǒng)和方法。
背景
隨著技術(shù)不斷地進(jìn)步，能夠在道路上進(jìn)行導(dǎo)航的全自主車輛的目標(biāo)很快就能實(shí)現(xiàn)。首先，自主車輛可在沒有人類操作者的輸入的情況下能夠辨認(rèn)其環(huán)境并導(dǎo)航。自主車輛也可考慮各種因素并基于這些因素做出適當(dāng)?shù)臎Q策，以安全地并準(zhǔn)確地到達(dá)預(yù)期的目的地。例如，在車輛通常行進(jìn)在道路上時會遇到各種對象，諸如其他車輛和行人。自主駕駛系統(tǒng)可識別車輛的環(huán)境中的這些對象，并采取適當(dāng)和及時的行動來避免碰撞。另外，自主駕駛系統(tǒng)可辨認(rèn)調(diào)節(jié)車輛移動(例如，車輛何時必須停止和可以走、車輛必須不能超過的速度、車輛必須位于道路上的哪里等)的其他指示物，諸如交通信號、交通標(biāo)志標(biāo)志和車道標(biāo)記。自主駕駛系統(tǒng)可能需要確定車輛何時應(yīng)改變車道、在交叉口轉(zhuǎn)彎、改變道路等。從這些示例明顯看出的是，為了提供能夠安全和準(zhǔn)確導(dǎo)航的自主車輛，許多因素可能需要加以解決。
概述
當(dāng)前的自主或駕駛者輔助(例如，部分自主)的車輛系統(tǒng)在車道線(例如，劃分車道的標(biāo)記線)或其他標(biāo)記沒有清楚指示道路上的車道限制的位置時，可能無法充分辨認(rèn)車道。例如，當(dāng)前的系統(tǒng)在車道限制不能從在接收的道路圖像中所檢測的線或標(biāo)記中被辨認(rèn)出來時可能不能正常工作；或者，當(dāng)前的系統(tǒng)在車道限制在現(xiàn)實(shí)中不存在的情況下可能不能準(zhǔn)確辨認(rèn)車道限制。當(dāng)前的自主或駕駛者輔助的車輛系統(tǒng)也可能無法充分辨認(rèn)或響應(yīng)于道路上的施工區(qū)，在施工區(qū)中可能要求修改的車輛控制，以及在施工區(qū)中以不同方式響應(yīng)于某些道路元素可能是有利的。發(fā)明人已經(jīng)認(rèn)識到這些和其他問題，這些和其他問題通過本公開將變得明顯，并通過本文中所公開的技術(shù)得以解決。
與本公開一致的一些實(shí)施例提供了用于自主或駕駛者輔助的車輛導(dǎo)航的系統(tǒng)和方法。一些公開的實(shí)施例可使用相機(jī)來提供自主車輛導(dǎo)航特征。例如，與一些公開的實(shí)施例一致的被公開的系統(tǒng)可包括監(jiān)控車輛的環(huán)境的一個、兩個或多個相機(jī)并基于由一個或多個相機(jī)捕獲的圖像的分析引起導(dǎo)航響應(yīng)。
根據(jù)一些實(shí)施例，計算機(jī)系統(tǒng)包括儲存指令的存儲器和執(zhí)行指令以使系統(tǒng)能夠執(zhí)行以下操作的處理器：從相機(jī)接收移動的車輛附近的道路的多個圖像；基于多個圖像識別第一道路車道限制；基于多個圖像確定一個或多個界定的車道預(yù)測條件被滿足；根據(jù)一個或多個界定的車道預(yù)測條件被滿足的確定，預(yù)測第二道路車道限制的位置；以及使移動的車輛能夠避免第一道路車道限制和第二道路車道限制。
根據(jù)一些實(shí)施例，計算機(jī)系統(tǒng)包括儲存指令的存儲器和執(zhí)行指令以使系統(tǒng)能夠執(zhí)行以下操作的處理器：從相機(jī)接收移動的車輛附近的道路的多個圖像；在多個圖像中識別施工區(qū)的一個或多個指示物；基于一個或多個指示物確定車輛接近施工區(qū)；以及，根據(jù)車輛接近施工區(qū)的確定，輸出指示車輛接近施工區(qū)的信號。
附圖簡述
圖1是與公開的實(shí)施例一致的示例性系統(tǒng)的圖形表示。
圖2a是包括與公開的實(shí)施例一致的系統(tǒng)的示例性車輛的圖形側(cè)視圖表示。
圖2b是與公開的實(shí)施例一致的圖2a中示出的車輛和系統(tǒng)的圖形俯視圖表示。
圖2c是包括與公開的實(shí)施例一致的系統(tǒng)的另一車輛實(shí)施例的圖形俯視圖表示。
圖2d是包括與公開的實(shí)施例一致的系統(tǒng)的又一車輛實(shí)施例的圖形俯視圖表示。
圖2e是包括與公開的實(shí)施例一致的系統(tǒng)的又一車輛實(shí)施例的圖形俯視圖表示。
圖2f是與公開的實(shí)施例一致的示例性車輛控制系統(tǒng)的圖形表示。
圖3a是與公開的實(shí)施例一致的包括后視鏡和用于車輛成像系統(tǒng)的用戶接口的車輛內(nèi)部的圖形表示。
圖3b是與公開的實(shí)施例一致的被配置為定位在后視鏡之后并對著車輛擋風(fēng)玻璃的相機(jī)底座的示例的圖示。
圖3c是與公開的實(shí)施例一致的圖3b中示出的相機(jī)底座從不同角度的圖示。
圖3d是與公開的實(shí)施例一致的被配置為定位在后視鏡之后并對著車輛擋風(fēng)玻璃的相機(jī)底座的示例的圖示。
圖4是與公開的實(shí)施例一致的被配置為儲存用于執(zhí)行一個或多個操作的指令的存儲器的示例性框圖。
圖5a是示出了與公開的實(shí)施例一致的用于基于單目圖像分析引起一個或多個導(dǎo)航響應(yīng)的示例性過程的流程圖。
圖5b是示出了與公開的實(shí)施例一致的用于在一組圖像中檢測一個或多個車輛和/或行人的示例性過程的流程圖。
圖5c是示出了與公開的實(shí)施例一致的用于在一組圖像中檢測路標(biāo)記和/或車道幾何形狀信息的示例性過程的流程圖。
圖5d是示出了與公開的實(shí)施例一致的用于在一組圖像中檢測交通燈的示例性過程的流程圖。
圖5e是示出了與公開的實(shí)施例一致的用于基于車輛路徑引起一個或多個導(dǎo)航響應(yīng)的示例性過程的流程圖。
圖5f是示出了與公開的實(shí)施例一致的用于確定領(lǐng)先的車輛是否正改變車道的示例性過程的流程圖。
圖6是示出了與公開的實(shí)施例一致的用于基于立體圖像分析引起一個或多個導(dǎo)航響應(yīng)的示例性過程的流程圖。
圖7是示出了與公開的實(shí)施例一致的用于基于三組圖像的分析引起一個或多個導(dǎo)航響應(yīng)的示例性過程的流程圖。
圖8a-圖8c是根據(jù)一些實(shí)施例的沿著道路行進(jìn)的車輛的描繪。
圖9a-圖9c是根據(jù)一些實(shí)施例的沿著道路行進(jìn)的車輛的描繪。
圖10a是來自與根據(jù)一些實(shí)施例的系統(tǒng)相關(guān)聯(lián)的相機(jī)的透視圖的描繪。
圖10b是根據(jù)一些實(shí)施例的沿著道路行進(jìn)的車輛的描繪。
圖11是與一些公開的實(shí)施例一致的示例性系統(tǒng)的存儲器的圖形表示。
圖12是根據(jù)一些實(shí)施例的示例性過程的流程圖。
圖13是根據(jù)一些實(shí)施例的沿著道路行進(jìn)的車輛的描繪。
圖14是與一些公開的實(shí)施例一致的示例性系統(tǒng)的存儲器的圖形表示。
圖15是根據(jù)一些實(shí)施例的示例性過程的流程圖。
詳細(xì)描述
以下的詳細(xì)描述參照附圖。只要有可能，相同的參考數(shù)字用在附圖和以下的描述中，以指代相同或類似的部分。雖然本文中對幾個說明性實(shí)施例進(jìn)行了描述，但修改、適應(yīng)和其他實(shí)施也是可能的。例如，可對附圖中圖示的組分進(jìn)行替換、添加或修改，并且本文中所描述的說明性方法可通過將步驟替換、重排、移除或添加到公開的方法來修改。因此，以下的詳細(xì)描述不限于公開的實(shí)施例和示例。
公開的實(shí)施例提供了使用相機(jī)來提供自主導(dǎo)航、車輛控制和/或駕駛者輔助技術(shù)的特征的系統(tǒng)和方法。駕駛者輔助技術(shù)，而不是全自主駕駛，指用于在他們車輛的導(dǎo)航和控制中輔助駕駛者的任何合適的技術(shù)，諸如lka(車道保持輔助)、ldw(車道偏離報警)、車輛的加速、車輛的減速、車輛的轉(zhuǎn)向、控制車輛制動、使車輛對不可避免的碰撞做出準(zhǔn)備、和/或控制車輛操作的任何方面或在控制任何這樣的方面輔助駕駛者的任何其他合適的方式。在各個實(shí)施例中，系統(tǒng)可包括監(jiān)控車輛的環(huán)境的一個、兩個或多個相機(jī)。在一些實(shí)施例中，系統(tǒng)可提供用于預(yù)測道路車道限制的位置的技術(shù)和/或用于檢測和響應(yīng)于施工區(qū)的技術(shù)。
圖1是與示例性公開的實(shí)施例一致的系統(tǒng)100的框圖表示。系統(tǒng)100可包括取決于特定實(shí)施的要求的各種組件。在一些實(shí)施例中，系統(tǒng)100可包括處理單元110、圖像采集單元120、定位傳感器130、一個或多個存儲器單元140、150、地圖數(shù)據(jù)庫160和用戶接口170。處理單元110可包括一個或多個處理設(shè)備。在一些實(shí)施例中，處理單元110可包括應(yīng)用處理器180、圖像處理器190或任何其他合適的處理設(shè)備。類似地，圖像采集單元120可包括取決于特定應(yīng)用的要求的任意數(shù)量的圖像采集設(shè)備和組件。在一些實(shí)施例中，圖像采集單元120可包括一個或多個圖像捕獲設(shè)備(例如，相機(jī))，諸如圖像捕獲設(shè)備122、圖像捕獲設(shè)備124和圖像捕獲設(shè)備126。系統(tǒng)100也可包括在通信上將處理單元110連接到圖像采集設(shè)備120的數(shù)據(jù)接口128。例如，數(shù)據(jù)接口128可包括用于將由圖像采集設(shè)備120采集的圖像數(shù)據(jù)傳輸?shù)教幚韱卧?10的任何有線和/或無線的鏈接。
應(yīng)用處理器180和圖像處理器190二者可包括各種類型的處理設(shè)備。例如，應(yīng)用處理器180和圖像處理器190中任意一個或二者可包括一個或多個微處理器、預(yù)處理器(諸如圖像預(yù)處理器)、圖形處理器、中央處理單元(cpu)、支持電路、數(shù)字信號處理器、集成電路、存儲器或適于運(yùn)行應(yīng)用以及適于圖像處理和分析的任何其他類型的設(shè)備。在一些實(shí)施例中，應(yīng)用處理器180和/或圖像處理器190可包括任何類型的單核或多核處理器、移動設(shè)備微控制器、中央處理單元等?？墒褂酶鞣N處理設(shè)備，例如包括從諸如
在一些實(shí)施例中，應(yīng)用處理器180和/或圖像處理器190可包括從
雖然圖1描繪了被包括在處理單元110中的兩個單獨(dú)的處理設(shè)備，但可使用更多或更少的處理設(shè)備。例如，在一些實(shí)施例中，單一處理設(shè)備可用于完成應(yīng)用處理器180和圖像處理器190的任務(wù)。在其他實(shí)施例中，這些任務(wù)可由兩個以上的處理設(shè)備執(zhí)行。
處理單元110可包括各種類型的設(shè)備。例如，處理單元110可包括各種設(shè)備，諸如控制器、圖像預(yù)處理器、中央處理單元(cpu)、支持電路、數(shù)字信號處理器、集成電路、存儲器或用于圖像處理和分析的任何其他類型的設(shè)備。圖像預(yù)處理器可包括用于捕獲、數(shù)字化和處理來自圖像傳感器的圖像的視頻處理器。cpu可包括任意數(shù)量的微控制器或微處理器。支持電路可以是通常在本領(lǐng)域中眾所周知的任意數(shù)量的電路，包括高速緩沖存儲器、電源、時鐘和輸入-輸出電路。存儲器可儲存軟件，該軟件在由處理器執(zhí)行時控制系統(tǒng)的操作。存儲器可包括數(shù)據(jù)庫和圖像處理軟件。存儲器可包括任意數(shù)量的隨機(jī)存取存儲器、只讀存儲器、閃存、盤驅(qū)動、光儲存器、帶儲存器、可移除儲存器和其他類型的儲存器。在一個實(shí)例中，存儲器可與處理單元110分開。在另一實(shí)例中，存儲器可集成到處理單元110中。
每個存儲器140、150可包括軟件指令，該軟件指令在由處理器(例如，應(yīng)用處理器180和/或圖像處理器190)執(zhí)行時可控制系統(tǒng)100的各個方面的操作。這些存儲器單元可包括各種數(shù)據(jù)庫和圖像處理軟件。存儲器單元可包括隨機(jī)存取存儲器、只讀存儲器、閃存、盤驅(qū)動、光儲存器、帶儲存器、可移除儲存器和/或任何其他類型的儲存器。在一些實(shí)施例中，存儲器單元140、150可與應(yīng)用處理器180和/或圖像處理器190分開。在其他實(shí)施例中，這些存儲器單元可集成到應(yīng)用處理器180和/或圖像處理器190中。
定位傳感器130可包括適于確定與系統(tǒng)100的至少一個組件相關(guān)聯(lián)的位置的任意類型的設(shè)備。在一些實(shí)施例中，定位傳感器130可包括gps接收器。這樣的接收器可通過處理由全球定位系統(tǒng)衛(wèi)星傳播的信號確定用戶的定位和速度。來自定位傳感器130的定位信息可供應(yīng)用處理器180和/或圖像處理器190使用。
用戶接口170可包括適于向系統(tǒng)100的一個或多個用戶提供信息或適于接收來自系統(tǒng)100的一個或多個用戶的輸入的任何設(shè)備。在一些實(shí)施例中，用戶接口170可包括用戶輸入設(shè)備，例如包括觸摸屏、麥克風(fēng)、鍵盤、指針設(shè)備、軌道輪(trackwheels)、相機(jī)、旋鈕、按鈕等。借助這樣的輸入設(shè)備，用戶可通過鍵入指令或信息、提供語音命令、使用按鈕、指針或眼睛跟蹤能力在屏幕上選擇菜單選項(xiàng)，或者通過用于將信息傳遞到系統(tǒng)100的任何其他合適的技術(shù)，向系統(tǒng)100提供信息輸入或命令。
用戶接口170可配備有一個或多個處理設(shè)備，該一個或多個處理設(shè)備被配置為向用戶提供信息或接收來自用戶的信息，并對該信息進(jìn)行處理以例如供應(yīng)用處理器180使用。在一些實(shí)施例中，這樣的處理設(shè)備可執(zhí)行用于識別和跟蹤眼睛移動、接收和解釋語音命令、識別和解釋觸摸屏上做出的觸摸和/或手勢、響應(yīng)于鍵盤輸入或菜單選擇等的指令。在一些實(shí)施例中，用戶接口170可包括顯示器、揚(yáng)聲器、觸覺設(shè)備和/或用于向用戶提供輸出信息的任何其他設(shè)備。
地圖數(shù)據(jù)庫160可包括用于儲存對系統(tǒng)100有用的地圖數(shù)據(jù)的任意類型的數(shù)據(jù)庫。在一些實(shí)施例中，地圖數(shù)據(jù)庫160可包括與各種項(xiàng)目在參考坐標(biāo)系中的定位有關(guān)的數(shù)據(jù)，該各種項(xiàng)目包括路、水文特征、地理特征、商行、興趣點(diǎn)、餐館、加油站等。地圖數(shù)據(jù)庫160不僅可儲存這樣的項(xiàng)目的位置，還可儲存與這些項(xiàng)目有關(guān)的描述符，例如包括與任何儲存的特征相關(guān)聯(lián)的名稱。在一些實(shí)施例中，地圖數(shù)據(jù)庫160可用系統(tǒng)100的其他組件來物理定位?？商娲鼗蛄硗獾兀貓D數(shù)據(jù)庫160或其部分可相對于系統(tǒng)100的其他組件(例如，處理單元110)來遠(yuǎn)程定位。在這樣的實(shí)施例中，來自地圖數(shù)據(jù)庫160的信息可通過與網(wǎng)絡(luò)的有線或無線的數(shù)據(jù)連接(例如，通過蜂窩網(wǎng)絡(luò)和/或互聯(lián)網(wǎng)等)來下載。
圖像捕獲設(shè)備122、124和126可各自包括適于從環(huán)境捕獲至少一個圖像的任意類型的設(shè)備。此外，任意數(shù)量的圖像捕獲設(shè)備可用于采集輸入到圖像處理器的圖像。一些實(shí)施例可包括僅單一圖像捕獲設(shè)備，而其他實(shí)施例可包括兩個、三個或者甚至四個或更多的圖像捕獲設(shè)備。以下將參照圖2b-2e進(jìn)一步對圖像捕獲設(shè)備122、124和126進(jìn)行描述。
系統(tǒng)100或其各種組件可被納入到各種不同的平臺。在一些實(shí)施例中，如圖2a中所示，系統(tǒng)100可被包括在車輛200上。例如，如以上根據(jù)圖1所描述的，車輛200兒可配備有處理單元110和系統(tǒng)100的任意其他組件。雖然在一些實(shí)施例中，車輛200可僅配備有單一圖像捕獲設(shè)備(例如，相機(jī))，但在諸如結(jié)合圖2b-圖2e那些所討論的其他實(shí)施例中，可使用多個圖像捕獲設(shè)備。例如，如圖2a中所示，車輛200的圖像捕獲設(shè)備122和124中任意一個可以是adas(高級駕駛者輔助系統(tǒng))成像裝置的部分。
作為圖像采集單元120的部分的被包括在車輛200上的圖像捕獲設(shè)備可位于任何合適的位置。在一些實(shí)施例中，如圖2a-圖2e和圖3a-圖3c中所示，圖像捕獲設(shè)備122可位于后視鏡附近。該位置可提供類似于車輛200駕駛者的視線的視線，這可有助于確定什么對于駕駛者是可見和不可見的。圖像捕獲設(shè)備122可被定位在后視鏡附近的任何位置，但將圖像捕獲設(shè)備122放置在鏡子的駕駛者側(cè)上可進(jìn)一步有助于獲得表示駕駛者的視場和/或視線的圖像。
也可使用圖像采集單元120的圖像捕獲設(shè)備的其他位置。例如，圖像捕獲設(shè)備124可位于車輛200的保險杠(bumper)上或其中。這樣的位置可能尤其適于具有寬視場的圖像捕獲設(shè)備。位于保險杠的圖像捕獲設(shè)備的視線可不同于駕駛者的視線，因此，保險杠圖像捕獲設(shè)備和駕駛者可能不會總是見到相同的對象。圖像捕獲設(shè)備(例如，圖像捕獲設(shè)備122、124和126)也可位于其他位置中。例如，圖像捕獲設(shè)備可位于車輛200的側(cè)視鏡中的一個或二者的上面或其中、車輛200的車頂上、車輛200的引擎罩上、車輛200的后備箱上、車輛200的側(cè)面上、安裝在車輛200的任意窗戶上、定位在車輛200的任意窗戶的后面或前面、以及安裝在車輛200的前面和/或后面的照明輪廓中或附近。
除了圖像捕獲設(shè)備之外，車輛200還可包括系統(tǒng)100的各種其他組件。例如，處理單元110可與車輛的引擎控制單元(ecu)集成或與其分開地被包括在車輛200上。車輛200也可配備有諸如gps接收器的定位傳感器130，并且也可包括地圖數(shù)據(jù)庫160以及存儲器單元140和150。
圖2a是與公開的實(shí)施例一致的示例性車輛成像系統(tǒng)的圖形側(cè)視圖表示。圖2b是圖2a中所示的實(shí)施例的圖形俯視圖圖示。如圖2b中所圖示的，公開的實(shí)施例可包括車輛200，該車輛200在其本體中包括具有第一圖像捕獲設(shè)備122、第二圖像捕獲設(shè)備124和處理單元110的系統(tǒng)100，該第一圖像捕獲設(shè)備122被定位在后視鏡附近和/或接近車輛200的駕駛者，該第二圖像捕獲設(shè)備124被定位在車輛200的保險杠區(qū)域(例如，保險杠區(qū)域210中的一個)上或其中。
如圖2c中所圖示的，圖像捕獲設(shè)備122和124都可被定位在車輛200的后視鏡附近和/或接近車輛200的駕駛者。另外，雖然圖2b和圖2c中示出了兩個圖像捕獲設(shè)備122和124，但應(yīng)理解的是，其他實(shí)施例可包括兩個以上的圖像捕獲設(shè)備。例如，在圖2d和圖2e中示出的實(shí)施例中，第一圖像捕獲設(shè)備、第二圖像捕獲設(shè)備和第三圖像捕獲設(shè)備122、124和126被包括在車輛200的系統(tǒng)100中。
如圖2d中所圖示的，圖像捕獲設(shè)備122可被定位在車輛200的后視鏡附近和/或接近車輛200的駕駛者，并且圖像捕獲設(shè)備124和126可被定位在車輛200的保險杠區(qū)(例如，保險杠區(qū)210中的一個)上或其中。如圖2e中所示，圖像捕獲設(shè)備122、124和126可被定位在車輛200的后視鏡附近和/或接近車輛200的駕駛者。所公開的實(shí)施例不限于任何特定數(shù)量的圖像捕獲設(shè)備和其配置，并且圖像捕獲設(shè)備可被定位在車輛200之內(nèi)和/或之上的任何適當(dāng)?shù)奈恢谩?/p>
應(yīng)理解的是，所公開的實(shí)施例不限于車輛并且能夠在其他背景下應(yīng)用。還應(yīng)理解的是，所公開的實(shí)施例不限于特定類型的車輛200，并且可適用于所有類型的車輛，包括汽車、卡車、拖車、摩托車、自行車、自平衡運(yùn)輸設(shè)備和其他類型的車輛。
第一圖像捕獲設(shè)備122可包括任何合適類型的圖像捕獲設(shè)備。圖像捕獲設(shè)備122可包括光軸。在一個實(shí)例中，圖像捕獲設(shè)備122可包括具有全局快門的aptinam9v024wvga傳感器。在其他實(shí)施例中，圖像捕獲設(shè)備122可提供1280x960像素的分辨率，并可包括卷簾快門。圖像捕獲設(shè)備122可包括各種光學(xué)元件。在一些實(shí)施例中，可包括一個或多個透鏡，例如，以提供對于圖像捕獲設(shè)備期望的焦距和視場。在一些實(shí)施例中，圖像捕獲設(shè)備122可與6mm透鏡或12mm透鏡相關(guān)聯(lián)。在一些實(shí)施例中，圖像捕獲設(shè)備122可被配置為捕獲具有如圖2d中所圖示的期望的視場(fov)202的圖像。例如，圖像捕獲設(shè)備122可被配置為具有規(guī)則的fov，諸如在40度到56度的范圍內(nèi)，包括46度fov、50度fov、52度fov或更大的fov?？商娲兀瑘D像捕獲設(shè)備122可被配置為具有23度到40度的范圍內(nèi)的窄fov，諸如28度fov或36度fov。另外，圖像捕獲設(shè)備122可被配置為具有100度到180度的范圍內(nèi)的廣fov。在一些實(shí)施例中，圖像捕獲設(shè)備122可包括廣角保險杠相機(jī)或一個高達(dá)180度fov的廣角保險杠相機(jī)。
第一圖像捕獲設(shè)備122可采集相對于與車輛200相關(guān)聯(lián)的場景的多個第一圖像。多個第一圖像中的每個可作為一系列圖像掃描線被采集，該多個第一圖像可使用卷簾快門來捕獲。每個掃描線可包括多個像素。
第一圖像捕獲設(shè)備122可具有與第一系列圖像掃描線中的每個的采集相關(guān)聯(lián)的掃描速率。掃描速率可指圖像傳感器可采集與包括在特定掃描線中的每個像素相關(guān)聯(lián)的圖像數(shù)據(jù)的速率。
圖像捕獲設(shè)備122、124和126可包含任何合適類型和數(shù)量的圖像傳感器，例如包括ccd傳感器或cmos傳感器。在一個實(shí)施例中，cmos圖像傳感器可連同卷簾快門來使用，使得成行的每個像素一次讀取一個，并且行的掃描在逐行的基礎(chǔ)上進(jìn)行，直至整個圖像幀被捕獲。在一些實(shí)施例中，行可相對于幀從上到下被依次捕獲。
卷簾快門的使用可能導(dǎo)致不同行的像素在不同時間被曝光和捕獲，這可能在所捕獲的圖像幀中引起歪斜(skew)和其他圖像偽影(artifact)。另一方面，當(dāng)圖像捕獲設(shè)備122被配置為與全局快門或同步快門一起操作時，所有像素可在相同的時間量內(nèi)并在共同的曝光時段期間被曝光。因此，從采用全局快門的系統(tǒng)所收集的幀中的圖像數(shù)據(jù)表示在特定時間的整個fov(諸如fov202)的快照。相反，在卷簾快門應(yīng)用中，幀中的每行在不同時間被曝光，并且數(shù)據(jù)在不同時間被捕獲。因此，移動的對象在具有卷簾快門的圖像捕獲設(shè)備中可能出現(xiàn)扭曲(distort)。以下將對該現(xiàn)象更詳細(xì)地進(jìn)行描述。
第二圖像捕獲設(shè)備124和第三圖像捕獲設(shè)備126可以是任意類型的圖像捕獲設(shè)備。類似于第一圖像捕獲設(shè)備122，圖像捕獲設(shè)備124和126中的每個可包括光軸。在一個實(shí)例中，圖像捕獲設(shè)備124和126中的每個可包括具有全局快門的aptinam9v024wvga傳感器。可替代地，圖像捕獲設(shè)備124和126中的每個可包括卷簾快門。類似于圖像捕獲設(shè)備122，圖像捕獲設(shè)備124和126可被配置為包括各種透鏡和光學(xué)元件。在一些實(shí)施例中，與圖像捕獲設(shè)備124和126相關(guān)聯(lián)的透鏡可提供fov(諸如fov204和206)，該fov同與圖像捕獲設(shè)備122相關(guān)聯(lián)的fov(諸如fov202)相同或不同(例如，更窄)。例如，圖像捕獲設(shè)備124和126可具有40度、30度、26度、23度、20度或更低的fov。
圖像捕獲設(shè)備124和126可采集相對于與車輛200相關(guān)聯(lián)的場景的多個第二圖像和第三圖像。多個第二圖像和第三圖像中的每個可作為第二系列圖像掃描線和第三系列的圖像掃描線被采集，該多個第二圖像和第三圖像中每個可使用卷簾快門來捕獲。每個掃描線或掃描行可具有多個像素。圖像捕獲設(shè)備124和126可具有與包括在第二系列和第三系列中的每個圖像掃描線的采集相關(guān)聯(lián)的第二掃描速率和第三掃描速率。
每個圖像捕獲設(shè)備122、124和126可被定位在相對于車輛200的任何合適的位置和定向處。可選擇圖像捕獲設(shè)備122、124和126的相對定向，以有助于將從圖像捕獲設(shè)備采集的信息融合在一起。例如，在一些實(shí)施例中，與圖像捕獲設(shè)備124相關(guān)聯(lián)的fov(諸如fov204)可與圖像捕獲設(shè)備122相關(guān)聯(lián)的fov(諸如fov202)和與圖像捕獲設(shè)備126相關(guān)聯(lián)的fov(諸如fov206)部分或全部重疊。
圖像捕獲設(shè)備122、124和126可位于車輛200上的任何合適的相對高度上。在一個實(shí)例中，在圖像捕獲設(shè)備122、124和126之間有高度差，這可提供足夠的視差信息以實(shí)現(xiàn)立體分析。例如，如圖2a中所示，兩個圖像捕獲設(shè)備122和124處于不同的高度。在圖像捕獲設(shè)備122、124和126之間也可存在橫向位移差，例如，通過處理單元110給出用于立體分析的額外的視差信息。如圖2c和圖2d中所示，橫向位移上的差可表示為dx。在一些實(shí)施例中，前位移和后位移(例如，范圍位移)可存在于圖像捕獲設(shè)備122、124和126之間。例如，圖像捕獲設(shè)備122可位于圖像捕獲設(shè)備124和/或圖像捕獲設(shè)備126之后的0.5到2米或更多處。這種類型的位移可使圖像捕獲設(shè)備中的一個能夠覆蓋其他圖像捕獲設(shè)備的潛在盲點(diǎn)。
圖像捕獲設(shè)備122可具有任何合適的分辨率能力(例如，與圖像傳感器相關(guān)聯(lián)的像素的數(shù)量)，并且與圖像捕獲設(shè)備122相關(guān)聯(lián)的圖像傳感器的分辨率可高于、低于與圖像捕獲設(shè)備124和126相關(guān)聯(lián)的圖像傳感器的分辨率，或與其相同。在一些實(shí)施例中，與圖像捕獲設(shè)備122和/或圖像捕獲設(shè)備124和126相關(guān)聯(lián)的圖像傳感器可具有640x480、1024x768、1280x960的分辨率或任何其他合適的分辨率。
幀速率(例如，圖像捕獲設(shè)備在移動以捕獲與下個圖像幀相關(guān)聯(lián)的像素數(shù)據(jù)之前，采集一個圖像幀的一組像素數(shù)據(jù)的速率)可以是可控的。與圖像捕獲設(shè)備122相關(guān)聯(lián)的幀速率可高于、低于與圖像捕獲設(shè)備124和126相關(guān)聯(lián)的幀速率，或與其相同。與圖像捕獲設(shè)備122、124和126相關(guān)聯(lián)的幀速率可取決于可能影響幀速率的定時的各種因素。例如，一個或多個圖像捕獲設(shè)備122、124和126可包括可選擇的像素延遲時段，該可選擇的像素延遲時段在采集與圖像捕獲設(shè)備122、124和/或126中圖像傳感器的一個或多個像素相關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后被應(yīng)用。通常，對應(yīng)于每個像素的圖像數(shù)據(jù)可根據(jù)設(shè)備的時鐘速率(例如，每個時鐘周期一個像素)來進(jìn)行采集。另外，在包括卷簾快門的實(shí)施例中，一個或多個圖像捕獲設(shè)備122、124和126可包括可選擇的水平消隱時段，該可選擇的水平消隱時段在采集與圖像捕獲設(shè)備122、124和/或126中的圖像傳感器的像素行相關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后被應(yīng)用。此外，一個或多個圖像捕獲設(shè)備122、124和/或126可包括可選擇的豎直消隱時段，該可選擇的豎直消隱時段在采集與圖像捕獲設(shè)備122、124和126的圖像幀相關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后被應(yīng)用。
這些定時控制可使與圖像捕獲設(shè)備122、124和126相關(guān)聯(lián)的幀速率即使在每個的線掃描速率不同的情況下也能夠同步。另外，如以下將更詳細(xì)討論的，除了其他因素(例如，圖像傳感器分辨率、最大線掃描速率等)之外，這些可選擇的定時控制還可使來自圖像捕獲設(shè)備122的fov與圖像捕獲設(shè)備124和126的一個或多個fov重疊的區(qū)域中的圖像捕獲，即使在圖像捕獲設(shè)備122的視場與圖像捕獲設(shè)備124和126的fov不同的情況下，也能夠同步。
圖像捕獲設(shè)備122、124和126中的幀速率定時可取決于相關(guān)聯(lián)的圖像傳感器的分辨率。例如，假設(shè)兩個設(shè)備有類似的線掃描速率，如果一個設(shè)備包括具有640x480的分辨率的圖像傳感器，以及另一設(shè)備包括具有1280x960的分辨率的圖像傳感器，則從具有較高分辨率的傳感器采集圖像數(shù)據(jù)的幀將需要更多的時間。
可影響圖像捕獲設(shè)備122、124和126中的圖像數(shù)據(jù)采集的定時的另一因素是最大線掃描速率。例如，來自包括在圖像捕獲設(shè)備122、124和126中的圖像傳感器的圖像數(shù)據(jù)的行的采集將需要一些最小時間量。假設(shè)沒有增加像素延遲時段，用于采集圖像數(shù)據(jù)的行的該最小時間量將與特定設(shè)備的最大線掃描速率有關(guān)。給予較高的最大線掃描速率的設(shè)備有可能提供比具有較低的最大線掃描速率的設(shè)備更高的幀速率。在一些實(shí)施例中，一個或多個圖像捕獲設(shè)備124和126可具有比與圖像捕獲設(shè)備122相關(guān)聯(lián)的最大線掃描速率更高的最大線掃描速率。在一些實(shí)施例中，圖像捕獲設(shè)備124和/或126的最大線掃描速率可以是圖像捕獲設(shè)備122的最大線掃描速率的1.25倍、1.5倍、1.75倍或2倍或者更多倍。
在另一實(shí)施例中，圖像捕獲設(shè)備122、124和126可具有相同的最大線掃描速率，但圖像捕獲設(shè)備122可在小于或等于其最大掃描速率的掃描速率來操作。可對系統(tǒng)進(jìn)行配置，使得一個或多個圖像捕獲設(shè)備124和126在等于圖像捕獲設(shè)備122的線掃描速率的線掃描速率下運(yùn)行。在其他實(shí)例中，可對系統(tǒng)進(jìn)行配置，使得圖像捕獲設(shè)備124和/或圖像捕獲設(shè)備126的線掃描速率可以是圖像捕獲設(shè)備122的線掃描速率的1.25倍、1.5倍、1.75倍或2倍或者更多倍。
在一些實(shí)施例中，圖像捕獲設(shè)備122、124和126可以是不對稱的。也就是說，它們可包括具有不同的視場(fov)和焦距的相機(jī)。例如，圖像捕獲設(shè)備122、124和126的視場可包括相對于車輛200的環(huán)境的任何期望的區(qū)域。在一些實(shí)施例中，一個或多個圖像捕獲設(shè)備122、124和126可被配置為從車輛200的前方、車輛200后方、車輛200的側(cè)面或它們的組合的環(huán)境中采集圖像數(shù)據(jù)。
此外，與每個圖像捕獲設(shè)備122、124和/或126相關(guān)聯(lián)的焦距可以是可選擇的(例如，通過包含適當(dāng)?shù)耐哥R等)，使得每個設(shè)備采集在相對于車輛200的期望距離范圍處的對象的圖像。例如，在一些實(shí)施例中，圖像捕獲設(shè)備122、124和126可采集在距車輛幾米內(nèi)的近距離對象的圖像。圖像捕獲設(shè)備122、124和126也可被配置為采集在距車輛較遠(yuǎn)的范圍(例如，25m、50m、100m、150m或更遠(yuǎn))處的對象的圖像。此外，可選擇圖像捕獲設(shè)備122、124和126的焦距，使得一個圖像捕獲設(shè)備(例如，圖像捕獲設(shè)備122)可采集相對接近車輛(例如，在10m內(nèi)或在20m內(nèi))的對象的圖像，而其他圖像捕獲設(shè)備(例如，圖像捕獲設(shè)備124和126)可采集距車輛200更遠(yuǎn)對象(例如，大于20m、50m、100m、150m等)的圖像。
根據(jù)一些實(shí)施例，一個或多個圖像捕獲設(shè)備122、124和126的fov可具有廣角。例如，具有140度的fov，特別是對于可用于捕獲車輛200附近區(qū)域的圖像的圖像捕獲設(shè)備122、124和126來說，可能是有利的。例如，圖像捕獲設(shè)備122可用于捕獲車輛200的右側(cè)或左側(cè)的區(qū)域的圖像，并且在這樣的實(shí)施例中，可能需要圖像捕獲設(shè)備122具有廣fov(例如，至少140度)。
在一些實(shí)施例中，系統(tǒng)可根據(jù)預(yù)定限制或動態(tài)確定的限制來界定車輛的“附近”。車輛的附近例如可認(rèn)為是車輛在任何一個或多個方向上的某距離(諸如1米、5米、10米、25米、50米、100米、250米、500米或1000米)內(nèi)的任何區(qū)域。在一些實(shí)施例中，被界定為車輛的附近的區(qū)域可以是不規(guī)則形狀的，使得其在不同方向上延伸不同距離；由車輛的行駛所界定的前向方向上的附近例如可延伸幾百米，而在后向或側(cè)面的方向上的附近例如僅可延伸幾十米或更少。在一些實(shí)施例中，界定的車輛的附近可根據(jù)由一個或多個圖像捕獲設(shè)備捕獲的信息動態(tài)地變化，使得附近可例如根據(jù)道路的哪些部分在圖像捕獲設(shè)備的fov中是可見的而變化。在一些實(shí)施例中，車輛的附近可例如根據(jù)道路或車輛的任何可察覺狀況或狀態(tài)動態(tài)地變化，該任何可察覺條件或狀態(tài)包括車輛速率、張貼的速率限制、道路狀況、道路擁堵、道路大小、能見度距離、環(huán)境亮度、時間、其他車輛的存在、行人的存在或任何其他合適的因素。
與圖像捕獲設(shè)備122、124和126中的每個相關(guān)聯(lián)的視場可取決于各自的焦距。例如，隨著焦距增加，相應(yīng)的視場減少。
圖像捕獲設(shè)備122、124和126可被配置為具有任何合適的視場。在一個具體事例中，圖像捕獲設(shè)備122可具有46度的水平fov，圖像捕獲設(shè)備124可具有23度的水平fov，以及圖像捕獲設(shè)備126可具有介于23度和46度之間的水平fov。在另一實(shí)例中，圖像捕獲設(shè)備122可具有52度的水平fov，圖像捕獲設(shè)備124可具有26度的水平fov，以及圖像捕獲設(shè)備126可具有介于26度和52度之間的水平fov。在一些實(shí)施例中，圖像捕獲設(shè)備122的fov與圖像捕獲設(shè)備124和/或圖像捕獲設(shè)備126的fov的比可從1.5變化到2.0。在其他實(shí)施例中，該比可在1.25和2.25之間變化。
可對系統(tǒng)100進(jìn)行配置，使得圖像捕獲設(shè)備122的視場與圖像捕獲設(shè)備124和/或圖像捕獲設(shè)備126的視場至少部分或全部重疊。在一些實(shí)施例中，可對系統(tǒng)100進(jìn)行配置，使得圖像捕獲設(shè)備124和126的視場例如在圖像捕獲設(shè)備122的視場的范圍內(nèi)(例如，更窄)并與其共享共同中心。在其他實(shí)施例中，圖像捕獲設(shè)備122、124和126可捕獲臨近的fov，或者在它們的fov中可具有部分重疊。在一些實(shí)施例中，可使圖像捕獲設(shè)備122、124和126的視場對齊，使得較窄的fov圖像捕獲設(shè)備124和/或126的中心可位于較廣的fov設(shè)備122的視場的下半部分。
圖2f是與公開的實(shí)施例一致的示例性車輛控制系統(tǒng)的圖形表示。如圖2f中所示，車輛200可包括節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240。系統(tǒng)100可通過一個或多個數(shù)據(jù)鏈路(例如，任何有線和/或無線的鏈路或者用于傳輸數(shù)據(jù)的鏈路)向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供輸入(例如，控制信號)。例如，基于由圖像捕獲設(shè)備122、124和/或126采集的圖像的分析，系統(tǒng)100可向節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個提供控制信號，以導(dǎo)航車輛200(例如，通過引起加速、轉(zhuǎn)彎、車道偏移等)。此外，系統(tǒng)100可接收來自指示車輛200的運(yùn)行狀況(例如，速率，車輛200是否制動和/或轉(zhuǎn)彎等)的流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個的輸入。以下結(jié)合圖4-圖7提供了進(jìn)一步的細(xì)節(jié)。
如圖3a中所示，車輛200也可包括用于與駕駛者或車輛200的乘客交互的用戶接口170。例如，車輛應(yīng)用中的用戶接口170可包括觸摸屏320、旋鈕330、按鈕340和麥克風(fēng)350。車輛200的駕駛者或乘客也可使用手柄(例如，位于車輛200的轉(zhuǎn)向柱上的或其附近的，例如包括轉(zhuǎn)彎信號手柄)、按鈕(例如，位于車輛200的方向盤上)等，以與系統(tǒng)100交互。在一些實(shí)施例中，麥克風(fēng)350可被定位為臨近后視鏡310。類似地，在一些實(shí)施例中，圖像捕獲設(shè)備122可位于后視鏡310附近。在一些實(shí)施例中，用戶接口170也可包括一個或多個揚(yáng)聲器360(例如，車輛音頻系統(tǒng)的揚(yáng)聲器)。例如，系統(tǒng)100可經(jīng)由揚(yáng)聲器360提供各種通知(例如，警報)。
圖3b-圖3d是與公開的實(shí)施例一致的、被配置為定位在后視鏡(例如，后視鏡310)之后并對著車輛擋風(fēng)玻璃的示例性相機(jī)底座370的圖示。如圖3b中所示，相機(jī)底座370可包括圖像捕獲設(shè)備122、124和126。圖像捕獲設(shè)備124和126可被定位在防眩板380之后，該防眩板380可與車輛擋風(fēng)玻璃齊平，并包括薄膜和/或抗反射的材料的組合物。例如，防眩板380可被定位成使得其對著具有匹配斜率的車輛擋風(fēng)玻璃對準(zhǔn)。在一些實(shí)施例中，例如如圖3d中所描繪的，圖像捕獲設(shè)備122、124和126中的每個可被定位在防眩板380之后。公開的實(shí)施例不限于圖像捕獲設(shè)備122、124和126、相機(jī)底座370以及防眩板380的任何特定配置。圖3c是圖3b中所示的相機(jī)底座370從前視角的圖示。
具有本公開的好處的本領(lǐng)域中的技術(shù)人員將認(rèn)識到的是，可對上述公開的實(shí)施例做出多種變化和/或修改。例如，不是所有組件對于系統(tǒng)100的運(yùn)行是必需的。此外，任何組件可位于系統(tǒng)100的任何適當(dāng)?shù)牟糠种校⑶医M件可被重新布置到各種配置中，同時提供公開的實(shí)施例的功能。因此，上述配置是示例，并且無論以上所討論的配置，系統(tǒng)100都可提供廣泛的功能以分析車輛200的周圍環(huán)境，并且響應(yīng)于該分析，導(dǎo)航和/或以其他方式控制和/或操作車輛200。車輛200的導(dǎo)航、控制和/或操作可包括(直接或經(jīng)由諸如以上所提到的控制器的中間控制器)啟用和/或禁用與車輛200相關(guān)聯(lián)的各種特征、組件、設(shè)備、模式、系統(tǒng)和/或子系統(tǒng)。可替代地或另外地，導(dǎo)航、控制和/或操作可包括例如通過提供視覺、音頻、觸覺和/或其他感官警報以及/或者指示與可位于車輛200的內(nèi)部或外部的用戶、駕駛者、乘客、路人和/或其他車輛或用戶的交互。
如以下進(jìn)一步詳細(xì)討論的且與各種公開的實(shí)施例一致的，系統(tǒng)100可提供與自主駕駛和/或駕駛者輔助技術(shù)有關(guān)的各種特征。例如，系統(tǒng)100可分析圖像數(shù)據(jù)、定位數(shù)據(jù)(例如，gps位置信息)、地圖數(shù)據(jù)、速率數(shù)據(jù)和/或來自包括在車輛200中的傳感器的數(shù)據(jù)。系統(tǒng)100可例如從圖像采集單元120、定位傳感器130和其他傳感器收集用于分析的數(shù)據(jù)。此外，系統(tǒng)100可分析所收集的數(shù)據(jù)，以確定車輛200是否應(yīng)采取某種動作，并隨后在沒有人類干預(yù)的情況下自動采取確定的動作。例如，當(dāng)車輛200在沒有人類干預(yù)的情況下導(dǎo)航時，(例如，通過將控制信號發(fā)送給節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個或多個)系統(tǒng)100可自動控制車輛200的制動、加速和/或轉(zhuǎn)向。此外，系統(tǒng)100可分析所收集的數(shù)據(jù)，并基于所收集的數(shù)據(jù)的分析向駕駛者、乘客、用戶或車輛(或其他車輛)的內(nèi)部或外部的其他人發(fā)出警告、指示、建議、警報或指令。
此外，與公開的實(shí)施例一致，由系統(tǒng)100提供的功能可使車輛200采取不同的動作，以在車道內(nèi)以及/或者相對于其他車輛和/或?qū)ο髮?dǎo)航車輛200。例如，系統(tǒng)100可調(diào)整車輛200相對于車輛200在其內(nèi)行駛的車道和/或相對于被定位在車輛200附近的對象的定位，選擇車輛200在行駛時使用的特定車道，以及響應(yīng)于侵入的車輛(諸如試圖移動到車輛200行駛的車道中的車輛)采取動作。另外，系統(tǒng)100可控制不同場景下(諸如當(dāng)車輛200轉(zhuǎn)彎時)的車輛200的速率。系統(tǒng)100可使車輛200模仿領(lǐng)先的車輛的動作或監(jiān)測目標(biāo)車輛并導(dǎo)航車輛200，使得車輛通過目標(biāo)車輛。以下提供了與由系統(tǒng)100提供的各種實(shí)施例有關(guān)的額外細(xì)節(jié)。
前視多成像系統(tǒng)
如以上所討論的，系統(tǒng)100可提供使用多相機(jī)系統(tǒng)的駕駛輔助功能。多相機(jī)系統(tǒng)可使用面向車輛的前向方向的一個或多個相機(jī)。在其他實(shí)施例中，多相機(jī)系統(tǒng)可包括面向車輛的側(cè)面或車輛后方的一個或多個相機(jī)。在一個實(shí)施例中，例如，系統(tǒng)100可使用兩相機(jī)成像系統(tǒng)，其中第一相機(jī)和第二相機(jī)(例如，圖像捕獲設(shè)備122和124)可被定位在車輛(例如，車輛200)的前面和/或側(cè)面。第一相機(jī)可具有大于、小于第二相機(jī)的視場或與其部分重疊的視場。另外，第一相機(jī)可連接到第一圖像處理器以對由第一相機(jī)提供的圖像執(zhí)行單目圖像分析，并且第二相機(jī)可連接到第二圖像處理器以對由第二相機(jī)提供的圖像執(zhí)行單目圖像分析。第一圖像處理器和第二圖像處理器的輸出(例如，被處理的信息)可組合。在一些實(shí)施例中，第二圖像處理器可接收來自第一相機(jī)和第二相機(jī)二者的圖像，以執(zhí)行立體分析。在另一實(shí)施例中，系統(tǒng)100可使用其中相機(jī)中的每個具有不同的視場的三相機(jī)成像系統(tǒng)。因此，這樣的系統(tǒng)可基于從位于車輛的前向和側(cè)面二者的變化的距離處的對象得到的信息做出決策。對單目圖像分析的參考可指基于從單一視點(diǎn)(例如，從單一相機(jī))捕獲的圖像執(zhí)行圖像分析的實(shí)例。立體圖像分析可指基于通過圖像捕獲參數(shù)的一個或多個變化捕獲的兩個或更多個圖像來執(zhí)行圖像分析的實(shí)例。例如，適用于執(zhí)行立體圖像分析的所捕獲的圖像可包括使用不同焦距連同視差信息等從兩個或更多個不同的定位捕獲的圖像、從不同的視場捕獲的圖像。
例如，在一個實(shí)施例中，系統(tǒng)100可使用圖像捕獲設(shè)備122-126實(shí)施三相機(jī)配置。在這樣的配置中，圖像捕獲設(shè)備122可提供窄視場(例如，34度或選自約20度到45度的范圍的其他值等)，圖像捕獲設(shè)備124可提供廣視場(例如，150度或選自約100度到約180度的范圍的其他值)，以及圖像捕獲設(shè)備126可提供中間視場(例如，46度或選自約35度到約60度的范圍的其他值)。在一些實(shí)施例中，圖像捕獲設(shè)備126可用作主相機(jī)或首要相機(jī)。圖像捕獲設(shè)備122-126可被定位在后視鏡310之后，并且可被定位成基本上并排(例如，間隔6cm)。此外，在一些實(shí)施例中，如以上所討論的，一個或多個圖像捕獲設(shè)備122-126可被安裝在與車輛200的擋風(fēng)玻璃齊平的防眩板380之后。這樣的防護(hù)可用于最小化從汽車內(nèi)部的任何反射對圖像捕獲設(shè)備122-126的影響。
在另一實(shí)施例中，如以上結(jié)合圖3b和圖3c所討論的，廣視場相機(jī)(例如，以上示例中的圖像捕獲設(shè)備124)可被安裝為低于窄視場相機(jī)和主視場相機(jī)(例如，以上示例中的圖像捕獲設(shè)備122和126)。該配置可提供不受廣視場相機(jī)影響的視線。為了降低反射，相機(jī)可被安裝為接近車輛200的擋風(fēng)玻璃，并且可在相機(jī)上包括偏振器以減弱反射光。
三相機(jī)系統(tǒng)可提供某些性能特征。例如，一些實(shí)施例可包括基于來自另一相機(jī)的檢測結(jié)果通過一個相機(jī)驗(yàn)證對象的檢測的能力。在以上所討論的三相機(jī)配置中，處理單元110可例如包括三個處理設(shè)備(例如，如以上所討論的三個eyeq系列的處理器芯片)，每個處理設(shè)備專用于處理由一個或多個圖像捕獲設(shè)備122-126捕獲的圖像。
在三相機(jī)系統(tǒng)中，第一處理設(shè)備可接收來自主相機(jī)和窄視場相機(jī)二者的圖像，并執(zhí)行窄fov相機(jī)的視覺處理，例如，以檢測其他車輛、行人，車道標(biāo)記、交通標(biāo)志、交通燈和其他路對象。此外，第一處理設(shè)備可計算來自主相機(jī)的圖像和來自窄相機(jī)的圖像之間的像素的視差，以創(chuàng)建車輛200的環(huán)境的3d重建。隨后，第一處理設(shè)備可將該3d重建與3d地圖數(shù)據(jù)(例如，深度圖)或與基于來自另外的相機(jī)的信息所計算的3d信息結(jié)合。
第二處理設(shè)備可接收來自主相機(jī)的圖像并執(zhí)行視覺處理，以檢測其他車輛、行人、車道標(biāo)記、交通標(biāo)志、交通燈和其他路對象。另外，第二處理設(shè)備可計算相機(jī)位移，并基于該位移計算連續(xù)的圖像之間的像素的視差，并創(chuàng)建場景的3d重構(gòu)(例如，運(yùn)動恢復(fù)結(jié)構(gòu))。第二處理設(shè)備可將基于運(yùn)動恢復(fù)結(jié)構(gòu)的3d重構(gòu)發(fā)送到第一處理設(shè)備，以與立體3d圖像或與通過立體處理所獲得的深度信息結(jié)合。
第三處理設(shè)備可接收來自廣fov相機(jī)的圖像并處理該圖像，以檢測車輛、行人、車道標(biāo)記、交通標(biāo)志、交通燈和其他路對象。第三處理設(shè)備可執(zhí)行額外的處理指令，以分析圖像從而辨認(rèn)在圖像中移動的對象，諸如改變車道的車輛、行人等。
在一些實(shí)施例中，被單獨(dú)捕獲和處理的基于圖像流的信息可提供用于提供系統(tǒng)中的冗余的機(jī)會。這樣的冗余例如可包括使用第一圖像捕獲設(shè)備和由該設(shè)備處理的圖像來驗(yàn)證和/或補(bǔ)充通過捕獲和處理來自至少第二圖像捕獲設(shè)備的圖像信息所獲得信息。
在一些實(shí)施例中，系統(tǒng)100可使用兩個圖像捕獲設(shè)備(例如，圖像捕獲設(shè)備122和124)來為車輛200提供導(dǎo)航輔助，并且可使用第三圖像捕獲設(shè)備(例如，圖像捕獲設(shè)備126)來提供冗余并驗(yàn)證從其他兩個圖像捕獲設(shè)備所接收的數(shù)據(jù)的分析。例如，在這樣的配置中，圖像捕獲設(shè)備122和124可提供用于由系統(tǒng)100進(jìn)行立體分析的圖像以導(dǎo)航車輛200，而圖像捕獲設(shè)備126可提供用于由系統(tǒng)100進(jìn)行單目分析的圖像，以提供基于從圖像捕獲設(shè)備122和/或圖像捕獲設(shè)備124捕獲的圖像所獲得的信息的冗余和驗(yàn)證。也就是說，圖像捕獲設(shè)備126(和相應(yīng)的處理設(shè)備)可被認(rèn)為提供了用于對從圖像捕獲設(shè)備122和124得到的分析進(jìn)行檢查的冗余子系統(tǒng)(例如，以提供自動應(yīng)急制動(aeb)系統(tǒng))。
本領(lǐng)域中的技術(shù)人員將認(rèn)識到，以上的相機(jī)配置、相機(jī)安置、相機(jī)的數(shù)量、相機(jī)位置等僅是示例。相對于整體系統(tǒng)所描述的這些組件和其他在不背離公開的實(shí)施例的范圍的情況下可被裝配并用在各種不同的配置中。涉及用于提供駕駛者輔助和/或自主車輛功能的多相機(jī)系統(tǒng)的使用的進(jìn)一步細(xì)節(jié)如下。
圖4是存儲器140和/或150的示例性功能框圖，該存儲器140和/或150能夠儲存/編程用于執(zhí)行與公開的實(shí)施例一致的一個或多個操作的指令。雖然以下指的是存儲器140，但本領(lǐng)域中的技術(shù)人員將認(rèn)識到指令可被儲存在存儲器140和/或150中。
如圖4中所示，存儲器140可儲存單目圖像分析模塊402、立體圖像分析模塊404、速度和加速度模塊406、以及導(dǎo)航響應(yīng)模塊408。公開的實(shí)施例不限于存儲器140的任何特定的配置。此外，應(yīng)用處理器180和/或圖像處理器190可執(zhí)行儲存在被包括在存儲器140中的模塊402-408中任意一個中的指令。本領(lǐng)域中的技術(shù)人員將理解的是，在以下討論中對處理單元110的引用可單獨(dú)或統(tǒng)一指應(yīng)用處理器180和圖像處理器190。因此，以下過程中的任意步驟可由一個或多個處理設(shè)備執(zhí)行。
在一個實(shí)施例中，單目圖像分析模塊402可儲存指令(諸如計算機(jī)視覺軟件)，該指令在由處理單元110執(zhí)行時，對由圖像捕獲設(shè)備122、124和126中的一個所采集的一組圖像進(jìn)行單目圖像分析。在一些實(shí)施例中，處理單元110可使來自一組圖像的信息與附加的感覺信息(例如，來自雷達(dá)的信息)結(jié)合，以執(zhí)行單目圖像分析。如以下結(jié)合圖5a-圖5d所描述的，單目圖像分析模塊402可包括用于檢測該組圖像內(nèi)的一組特征(諸如車道標(biāo)記、車輛、行人、路標(biāo)志、高速公路出口匝道、交通燈、危險對象和與車輛的環(huán)境相關(guān)聯(lián)的任何其他特征)的指令。在一些實(shí)施例中，對于任何給定的幀，車輛的環(huán)境可包括由成像設(shè)備中的任意一個或由其任意組合覆蓋的區(qū)域或空間(成像設(shè)備的fov)。如以下結(jié)合導(dǎo)航響應(yīng)模塊408所討論的，基于該分析，系統(tǒng)100(例如，經(jīng)由處理單元110)可在車輛200中引起一個或多個導(dǎo)航響應(yīng)，諸如轉(zhuǎn)彎、車道移位、加速度的變化等。此外，基于該分析，系統(tǒng)100(例如，經(jīng)由處理單元110)可引起一個或多個導(dǎo)航和/或車輛控制響應(yīng)，包括但不限于控制車輛200以及以上所討論的任何相關(guān)聯(lián)的系統(tǒng)和/或子系統(tǒng)的各種方式。在一些實(shí)施例中，以上所提到的響應(yīng)或動作中任意一個或其全部為了簡單起見可被稱作導(dǎo)航動作或?qū)Ш巾憫?yīng)。
在一個實(shí)施例中，立體圖像分析模塊404可儲存指令(諸如計算機(jī)視覺軟件)，該指令在由處理單元110執(zhí)行時，對由選自圖像捕獲設(shè)備122、124和126中的任意一個的圖像捕獲設(shè)備的組合所采集的第一組圖像和第二組圖像執(zhí)行立體圖像分析。在一些實(shí)施例中，處理單元110可使來自第一組圖像和第二組圖像的信息與附加的感覺信息(例如，來自雷達(dá)的信息)結(jié)合，以執(zhí)行立體圖像分析。例如，立體圖像分析模塊404可包括用于基于由圖像捕獲設(shè)備124所采集的第一組圖像和由圖像捕獲設(shè)備126所采集的第二組圖像執(zhí)行立體圖像分析的指令。如以下結(jié)合圖6所描述的，立體圖像分析模塊404可包括用于檢測第一組圖像和第二組圖像內(nèi)的一組特征(諸如車道標(biāo)記、車輛、行人、路標(biāo)志、高速公路出口匝道、交通燈、危險對象等)的指令。如以下結(jié)合導(dǎo)航響應(yīng)模塊408所討論的，基于該分析，處理單元110可在車輛200中引起一個或多個導(dǎo)航響應(yīng)，諸如轉(zhuǎn)彎、車道移位、加速度的變化等。
在一個實(shí)施例中，速度和加速度模塊406可儲存被配置為對從車輛200中的被配置為引起車輛200的速度和/或加速度的改變的一個或多個計算設(shè)備和機(jī)電設(shè)備所接收的數(shù)據(jù)進(jìn)行分析。例如，處理單元110可執(zhí)行與速度和加速度模塊406相關(guān)聯(lián)的指令，以基于通過單目圖像分析模塊402和/或立體圖像分析模塊404的執(zhí)行得出的數(shù)據(jù)計算車輛200的目標(biāo)速率。這樣的數(shù)據(jù)例如可包括目標(biāo)定位、速度和/或加速度、車輛200相對于附近的車輛、行人或路對象的定位和/或速率、車輛200相對于路的車道標(biāo)記等的定位信息。另外，處理單元110可基于感覺輸入(例如，來自雷達(dá)的信息)和來自車輛200的其他系統(tǒng)(諸如車輛200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240)的輸入計算車輛200的目標(biāo)速率?；谒嬎愕哪繕?biāo)速率，處理單元110可將電信號傳輸?shù)杰囕v200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240，以例如通過物理壓下制動器或放松車輛200的加速器來觸發(fā)速度和/或加速度的改變。
在一個實(shí)施例中，導(dǎo)航響應(yīng)模塊408可儲存可由處理單元110執(zhí)行的軟件，以基于通過單目圖像分析模塊402和/或立體圖像分析模塊404的執(zhí)行得出的數(shù)據(jù)確定所需的導(dǎo)航響應(yīng)。這樣的數(shù)據(jù)可包括與附近的車輛、行人和路對象相關(guān)聯(lián)的定位信息和速率信息、車輛200的目標(biāo)定位信息等。另外，在一些實(shí)施例中，導(dǎo)航響應(yīng)可(部分或全部)基于地圖數(shù)據(jù)、車輛200的預(yù)定定位、以及/或者車輛200與通過單目圖像分析模塊402和/或立體圖像分析模塊404的執(zhí)行所檢測到的一個或多個對象之間的相對速度或相對加速度。導(dǎo)航響應(yīng)模塊408也可基于感覺輸入(例如，來自雷達(dá)的信息)和來自車輛200的其他系統(tǒng)(諸如車輛200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240)的輸入確定所需的導(dǎo)航響應(yīng)。基于所需的導(dǎo)航響應(yīng)，處理單元110可將電信號傳輸?shù)杰囕v200的節(jié)流系統(tǒng)220、制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240以例如通過轉(zhuǎn)動車輛200的方向盤來實(shí)現(xiàn)預(yù)定角度的旋轉(zhuǎn)從而觸發(fā)所需的導(dǎo)航響應(yīng)。在一些實(shí)施例中，處理單元110可使用導(dǎo)航響應(yīng)模塊408的輸出(例如，所需的導(dǎo)航響應(yīng))作為速度和加速度模塊406的執(zhí)行的輸入，以用于計算車輛200的速度的改變。
圖5a是示出了與公開的實(shí)施例一致的用于基于單目圖像分析引起一個或多個導(dǎo)航響應(yīng)的示例性過程500a的流程圖。在步驟510，處理單元110可經(jīng)由處理單元110和圖像采集單元120之間的數(shù)據(jù)接口128接收多個圖像。例如，被包括在圖像采集單元120中的相機(jī)(諸如具有視場202的圖像捕獲設(shè)備122)可捕獲車輛200的前向區(qū)域(或者例如，車輛的側(cè)面或其后方)的多個圖像，并通過(例如，數(shù)字、有線、usb、無線、藍(lán)牙等)數(shù)據(jù)連接將它們傳輸?shù)教幚韱卧?10。如以下結(jié)合圖5b-圖5d進(jìn)一步詳細(xì)描述的，在步驟520，處理單元110可使單目圖像分析模塊402執(zhí)行對多個圖像的分析。通過執(zhí)行該分析，處理單元110可檢測該組圖像內(nèi)的一組特征，諸如車道標(biāo)記、車輛、行人、路標(biāo)志、高速公路出口匝道、交通燈等。
在步驟520，處理單元110也可使單目圖像分析模塊402執(zhí)行對各種路危險物(卡車輪胎的部分、倒下的路標(biāo)志、松散的貨物、小動物等)進(jìn)行檢測。路危險物可能在結(jié)構(gòu)、形狀、大小和顏色上有所不同，這可能使對這樣的危險物做出決策更具挑戰(zhàn)性。在一些實(shí)施例中，處理單元110可使單目圖像分析模塊402對多個圖像執(zhí)行多幀分析，以檢測路危險物。例如，處理單元110可估計連續(xù)的圖像幀之間的相機(jī)運(yùn)動，并計算幀之間的像素的視差，以構(gòu)建路或路的某些區(qū)域(例如，在圖像數(shù)據(jù)周圍所界定的疑似有路危險物的興趣區(qū)域內(nèi))的3d地圖。隨后，處理單元110可使用該3d地圖來檢測路危險物。例如，分割技術(shù)和分類技術(shù)可用于檢測路表面以及存在于路表面之上的危險物。例如，如以下另外詳細(xì)解釋的，系統(tǒng)可檢測路表面的特征，諸如畫的車道線或車道標(biāo)記，并且另外可檢測存在于路表面以上的道路的特征，諸如施工區(qū)中的圓錐體/圓筒體/桿/障礙物、護(hù)欄、其他車輛、路標(biāo)志等。
在步驟530，處理單元110可使導(dǎo)航響應(yīng)模塊408執(zhí)行基于在步驟520進(jìn)行的分析和如以上結(jié)合圖4所描述的技術(shù)在車輛200中引起一個或多個導(dǎo)航響應(yīng)。例如，導(dǎo)航響應(yīng)可包括轉(zhuǎn)彎、車道移位、加速度的改變等。在一些實(shí)施例中，處理單元110可使用通過速度和加速度模塊406的執(zhí)行得出的數(shù)據(jù)，以引起一個或多個導(dǎo)航響應(yīng)。另外，多個導(dǎo)航響應(yīng)可同時、依次或它們的任意組合地發(fā)生。例如，處理單元110可使車輛200移過一個車道，并隨后例如通過依次將控制信號傳輸?shù)杰囕v200的轉(zhuǎn)向系統(tǒng)240和節(jié)流系統(tǒng)220來進(jìn)行加速。可替代地，處理單元110可使車輛200制動，同時例如通過同時將控制信號傳輸?shù)杰囕v200的制動系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240移位車道。
圖5b是示出了與公開的實(shí)施例一致的用于在一組圖像中檢測一個或多個車輛和/或行人的示例性過程500b的流程圖。處理單元110可使單目圖像分析模塊402執(zhí)行過程500b。在步驟540，處理單元110可確定表示可能的車輛和/或行人的一組候選對象。例如，處理單元110可掃描一個或多個圖像，將圖像與一個或多個預(yù)定圖案進(jìn)行比較，并在可能包含感興趣的對象(例如，車輛、行人或它們的部分)的可能的位置內(nèi)辨認(rèn)每個圖像。預(yù)定的圖案可通過這樣的方式來設(shè)計，以實(shí)現(xiàn)高比率的“錯誤命中”和低比率的“遺漏”。例如，處理單元110可使用類似于預(yù)定的圖案的低閾值，以用于辨認(rèn)候選對象為可能的車輛或行人。這樣做可使處理單元110能夠降低遺漏(例如，沒有辨認(rèn)出)表示車輛或行人的候選對象的可能性。
在步驟542，處理單元110可基于分類標(biāo)準(zhǔn)過濾該組候選對象，以排除某些候選(例如，不相關(guān)的或不太相關(guān)的對象)。這樣的標(biāo)準(zhǔn)可從與儲存在數(shù)據(jù)庫(例如，儲存在存儲器140中的數(shù)據(jù)庫)中的對象類型相關(guān)聯(lián)的各種屬性中得出。屬性可包括對象的形狀、尺寸、紋理、(例如，相對于車輛200的)定位等。因此，處理單元110可使用一組或多組標(biāo)準(zhǔn)，以排斥該組候選對象中的錯誤的候選。
在步驟544，處理單元110可分析多幀圖像，以確定在該組候選對象中的對象是否表示車輛和/或行人。例如，處理單元110可跟蹤在連續(xù)的幀中被檢測的候選對象，并累積與被檢測的對象相關(guān)聯(lián)的逐幀數(shù)據(jù)(例如，相對于車輛200的大小、定位等)。另外，處理單元110可估計被檢測的對象的參數(shù)，并將對象的逐幀定位數(shù)據(jù)與預(yù)測的定位進(jìn)行比較。
在步驟546，處理單元110可構(gòu)建關(guān)于被檢測的對象的一組測量值。這樣的測量值例如可包括與被檢測的對象相關(guān)聯(lián)的(相對于車輛200)的大小、定位、速度和加速度的值。在一些實(shí)施例中，處理單元110可基于使用一系列基于時間的觀察的估計技術(shù)(諸如，卡爾曼濾波器或線性二次估計(lqe))，和/或基于不同對象類型(例如，汽車、卡車、行人、自行車、路標(biāo)志等)的可用建模數(shù)據(jù)來構(gòu)建測量值?？柭鼮V波器可基于對象的比例的測量值，其中該比例測量值與碰撞時間(例如，車輛200到達(dá)對象的時間量)成比例。因此，通過執(zhí)行步驟540-546，處理單元110可辨認(rèn)出現(xiàn)在該組捕獲的圖像內(nèi)的車輛和行人，并得出與該車輛和行人相關(guān)聯(lián)的信息(例如，定位、速率、大小)。如以上結(jié)合圖5a所描述的，基于辨認(rèn)和得出的信息，處理單元110可在車輛200中引起一個或多個導(dǎo)航響應(yīng)。
在步驟548，處理單元110可執(zhí)行一個或多個圖像的光流分析，以降低檢測“錯誤命中”和遺漏表示車輛或行人的候選對象的可能性。例如，光流分析可指分析相對于與其他車輛和行人相關(guān)聯(lián)的一個或多個圖像中的車輛200的運(yùn)動圖案，并且該運(yùn)動圖案與路表面的運(yùn)動不同。處理單元110可通過觀察在不同時間被捕獲的多個圖像幀中的對象的不同定位來計算候選對象的運(yùn)動。處理單元110可使用定位和時間的值作為用于計算候選對象的運(yùn)動的數(shù)學(xué)模型的輸入。因此，光流分析可提供檢測車輛200附近的車輛和行人的另一種方法。處理單元110可結(jié)合步驟540-546執(zhí)行光流分析，以提供用于檢測車輛和行人的冗余并提高系統(tǒng)100的可靠性。
圖5c是示出了與公開的實(shí)施例一致的用于在一組圖像中檢測路標(biāo)記和/或車道幾何形狀信息的示例性過程500c的流程圖。處理單元110可執(zhí)行單目圖像分析模塊402以實(shí)施過程500c。在步驟550，處理單元110可通過掃描一個或多個圖像檢測一組對象。為了檢測車道標(biāo)記、車道幾何形狀信息和其他有關(guān)的路標(biāo)記的節(jié)段，處理單元110可過濾該組對象，以排除確定是不相關(guān)的那些對象(例如，小坑、小石頭等)。在步驟552，處理單元110可將在步驟550中檢測到的屬于相同的路標(biāo)記或車道標(biāo)記的節(jié)段組合在一起?；谠摲纸M，處理單元110可開發(fā)表示被檢測到的節(jié)段的模型，諸如數(shù)學(xué)模型。
在步驟554，處理單元110可構(gòu)建與被檢測到的節(jié)段相關(guān)聯(lián)的一組測量值。在一些實(shí)施例中，處理單元110可將從圖像平面檢測到的節(jié)段的投影創(chuàng)建到實(shí)際平面上。投影可使用具有對應(yīng)于物理屬性(諸如被檢測的路的定位、斜率、曲率和曲率導(dǎo)數(shù))的系數(shù)的三次多項(xiàng)式來表征。在生成投影時，處理單元110可考慮路表面的改變以及與車輛200相關(guān)聯(lián)的俯仰和滾轉(zhuǎn)的速率。另外，處理單元110可通過分析路表面上現(xiàn)有的定位和運(yùn)動的線索建模路標(biāo)高。此外，處理單元110可通過跟蹤一個或多個圖像中的一組特征點(diǎn)估計與車輛200相關(guān)聯(lián)的俯仰和滾轉(zhuǎn)的速率。
在步驟556，處理單元110可例如通過跟蹤在連續(xù)的圖像幀中的被檢測到的節(jié)段并累積與被檢測到的節(jié)段相關(guān)聯(lián)的逐幀數(shù)據(jù)來執(zhí)行多幀分析。在處理單元110執(zhí)行多幀分析時，在步驟554被構(gòu)建的該組測量值可變得更加可靠并與越來越高的置信水平相關(guān)聯(lián)。因此，通過執(zhí)行步驟550-556，處理單元110可辨認(rèn)在該組被捕獲的圖像內(nèi)出現(xiàn)的路標(biāo)記，并得出車道幾何形狀的信息。如以上結(jié)合圖5a所描述的，基于辨認(rèn)和得出的信息，處理單元110可在車輛200中引起一個或多個導(dǎo)航響應(yīng)。
在步驟558，處理單元110可考慮額外的信息源，以進(jìn)一步開發(fā)用于車輛200的周圍環(huán)境的背景中的車輛200的安全模型。處理單元110可使用安全模型來界定其中系統(tǒng)100能夠以安全模式執(zhí)行車輛200的自主控制的背景。為了開發(fā)安全模型，在一些實(shí)施例中，處理單元110可考慮其他車輛的定位和運(yùn)動、被檢測到的路邊緣和障礙物、和/或從地圖數(shù)據(jù)(諸如來自地圖數(shù)據(jù)庫160的數(shù)據(jù))提取的大致的路形狀的描述。通過考慮額外的信息源，處理單元110可提供用于檢測路標(biāo)記和車道幾何形狀的冗余并增加了系統(tǒng)100的可靠性。
圖5d是示出了與公開的實(shí)施例一致的用于在一組圖像中檢測交通燈的示例性過程500d的流程圖。處理單元110可使單目圖像分析模塊402執(zhí)行過程500d。在步驟560，處理單元110可掃描該組圖像并辨認(rèn)在可能包含交通燈的圖像中的位置處出現(xiàn)的對象。例如，處理單元110可過濾被辨認(rèn)的對象，以構(gòu)建排除了那些不可能對應(yīng)于交通燈的對象的一組候選對象。過濾可基于與交通燈相關(guān)聯(lián)的各種屬性(諸如形狀、尺寸、紋理、(相對于車輛200的)定位等)來完成。這樣的屬性可基于交通燈和交通控制信號的多個示例，并且可被儲存在數(shù)據(jù)庫中。在一些實(shí)施例中，處理單元110可對反映了可能的交通燈的該組候選對象執(zhí)行多幀分析。例如，處理單元110可跟蹤在連續(xù)的圖像幀中的候選對象，估計候選對象的真實(shí)定位，并過濾出移動的那些對象(其不可能是交通燈)。在一些實(shí)施例中，處理單元110可對候選對象執(zhí)行顏色分析，并辨認(rèn)在可能的交通燈內(nèi)出現(xiàn)的被檢測的顏色的相對定位。
在步驟562，處理單元110可分析交叉口的幾何形狀。該分析可基于以下項(xiàng)的任意組合：(i)在車輛200的任意側(cè)面上所檢測到的車道的數(shù)量，(ii)路上所檢測到的標(biāo)記(諸如箭頭標(biāo)記)，以及(iii)從地圖數(shù)據(jù)(諸如來自地圖數(shù)據(jù)庫160的數(shù)據(jù))提取的交叉口的描述。處理單元110可使用通過執(zhí)行單目分析模塊402得到的信息來進(jìn)行該分析。另外，處理單元110可確定在步驟560檢測到的交通燈和在車輛200附近出現(xiàn)的車道之間的對應(yīng)關(guān)系。
在步驟564，當(dāng)車輛200接近交叉口時，處理單元110可更新與所分析的交叉口幾何形狀和被檢測到的交通燈相關(guān)聯(lián)的置信水平。例如，相較于在交叉口實(shí)際出現(xiàn)的交通燈的數(shù)量，估計在交叉口出現(xiàn)的交通燈的數(shù)量可能影響置信水平。因此，基于置信水平，處理單元110可將控制委托給車輛200的駕駛者，以便改進(jìn)安全條件。通過執(zhí)行步驟560-564，處理單元110可辨認(rèn)在該組被捕獲的圖像內(nèi)出現(xiàn)的交通燈，并分析交叉口的幾何形狀的信息。如以上結(jié)合圖5a所描述的，基于辨認(rèn)和分析，處理單元110可在車輛200中引起一個或多個導(dǎo)航響應(yīng)。
圖5e是示出了與公開的實(shí)施例一致的用于基于車輛路徑在車輛200中引起一個或多個導(dǎo)航響應(yīng)的示例性過程500e的流程圖。在步驟570，處理單元110可構(gòu)建與車輛200相關(guān)聯(lián)的初始的車輛路徑。車輛路徑可使用以坐標(biāo)(x,z)表達(dá)的一組點(diǎn)來表示，以及在一些實(shí)施例中，該組點(diǎn)中的兩點(diǎn)之間的距離di可落在1米到5米的范圍內(nèi)，或者在其他實(shí)施例中，定時測量可用于提供該組點(diǎn)，其中該組點(diǎn)中的點(diǎn)彼此間隔0.5秒到5秒(例如，間隔1.5秒)。在一個實(shí)施例中，處理單元110可使用兩個多項(xiàng)式(polynomials)(諸如左側(cè)路和右側(cè)路的多項(xiàng)式)來構(gòu)建初始的車輛路徑。如果有的話(零偏移可對應(yīng)于車道中間的行進(jìn))，處理單元110可計算兩個多項(xiàng)式之間的幾何中點(diǎn)，并使被包括在得到的車輛路徑中的每個點(diǎn)偏移預(yù)定的偏移(例如，智能車道偏移)。偏移可以在垂直于車輛路徑中的任意兩點(diǎn)之間的節(jié)段的方向上。在另一實(shí)施例中，處理單元110可使用一個多項(xiàng)式和所估計的車道寬度，以使車輛路徑的每個點(diǎn)偏移所估計的車道寬度的一半加預(yù)定的偏移(例如，智能車道偏移)。
在步驟572，處理單元110可更新在步驟570所構(gòu)建的車輛路徑。處理單元110可使用更高的分辨率重新構(gòu)建在步驟570所構(gòu)建的車輛路徑，使得表示車輛路徑的該組點(diǎn)中的兩點(diǎn)之間的距離dk小于以上所描述的距離di。例如，距離dk可落在0.1米到0.3米的范圍內(nèi)。處理單元110可使用拋物線樣條算法來重新構(gòu)建車輛路徑，這可得出對應(yīng)于車輛路徑的總長度(即，基于表示車輛路徑的該組點(diǎn))的累積的距離向量s。
在步驟574，處理單元110可基于在步驟572所構(gòu)建的更新的車輛路徑確定(以坐標(biāo)表達(dá)為(x1,z1)的)先行點(diǎn)(look-aheadpoint)。處理單元110可從累積的距離向量s提取先行點(diǎn)，并且該先行點(diǎn)可與先行距離和先行時間相關(guān)聯(lián)。可具有10米到20米范圍的下限的先行距離可作為車輛200的速率和先行時間的乘積來計算。例如，隨著車輛200的速度降低，先行距離也可能減少(例如，直至該先行距離達(dá)到下限)?？山橛?.5秒到1.5秒范圍內(nèi)的先行時間可與一個或多個控制回路(諸如航向誤差跟蹤控制回路)的增益成反比，該一個或多個控制回路與在車輛200中引起導(dǎo)航響應(yīng)相關(guān)聯(lián)。例如，航向誤差跟蹤控制回路的增益可取決于汽車橫向動力、轉(zhuǎn)向執(zhí)行器回路、偏航速率回路的帶寬等。因此，航向誤差跟蹤控制回路的增益越高，先行時間就越低。
在步驟576，處理單元110可基于在步驟574確定的先行點(diǎn)確定航向誤差和偏航速率命令。處理單元110可通過計算先行點(diǎn)的反正切(例如，arctan(x1/z1))確定航向誤差。處理單元110可確定偏航速率命令為航向誤差和高水平控制增益的乘積。高水平控制增益可等于：(2/先行時間)，如果先行距離不在下限上。否則，高水平控制增益可等于：(2*車輛200的速率/先行距離)。
圖5f是示出了與公開的實(shí)施例一致的用于確定領(lǐng)先的車輛是否正改變車道的示例性過程500f的流程圖。在步驟580，處理單元110可確定與領(lǐng)先的車輛(例如，在車輛200的前方行進(jìn)的車輛)相關(guān)聯(lián)的導(dǎo)航信息。例如，處理單元110可使用以上結(jié)合圖5a和圖5b所描述的技術(shù)，確定領(lǐng)先的車輛的定位、速度(例如，方向和速率)和/或加速度。處理單元110也可使用以上結(jié)合圖5e所描述的技術(shù)，確定一個或多個路多項(xiàng)式、(與車輛200相關(guān)聯(lián)的)先行點(diǎn)和/或蝸行蹤跡(snailtrail)(例如，描述領(lǐng)先的車輛所采取的路徑的一組點(diǎn))。
在步驟582，處理單元110可分析在步驟580所確定的導(dǎo)航信息。在一個實(shí)施例中，處理單元110可計算蝸行蹤跡和(例如，沿著該蹤跡的)路多項(xiàng)式之間的距離。如果沿著蹤跡的該距離的方差超過預(yù)定的閾值(例如，直路上0.1米到0.2米、適度彎曲的路上0.3米到0.4米、以及具有尖銳曲線的路上0.5米到0.6米)，則處理單元110可確定領(lǐng)先的車輛可能正改變車道。在檢測到多個車輛在車輛200的前方行進(jìn)的情況下，處理單元110可比較與每個車輛相關(guān)聯(lián)的蝸行蹤跡?；谠摫容^，處理單元110可確定其蝸行蹤跡與其他車輛的蝸行蹤跡不匹配的車輛可能正改變車道。另外，處理單元110可將(與領(lǐng)先的車輛相關(guān)聯(lián)的)蝸行蹤跡的曲率與領(lǐng)先的車輛行進(jìn)的路段的預(yù)期的曲率進(jìn)行比較。預(yù)期的曲率可從地圖數(shù)據(jù)(例如，來自地圖數(shù)據(jù)庫160的數(shù)據(jù))、路多項(xiàng)式、其他車輛的蝸行蹤跡、關(guān)于路的先驗(yàn)知識等提取出來。如果蝸行蹤跡和曲率和路段的預(yù)期的曲率的差值超過預(yù)定的閾值，則處理單元110可確定領(lǐng)先的車輛可能正改變車道。
在另一實(shí)施例中，處理單元110可在指定的時間段(例如，0.5秒到1.5秒)內(nèi)將領(lǐng)先的車輛的瞬時定位與(與車輛200相關(guān)聯(lián)的)先行點(diǎn)進(jìn)行比較。如果在指定的時間段期間，領(lǐng)先的車輛的瞬時定位和先行點(diǎn)之間的距離變化，并且累積的變化的和超過預(yù)定的閾值(例如，直路上0.3米到0.4米、適度彎曲的路上0.7米到0.8米、以及具有尖銳曲線的路上1.3米到1.7米)，則處理單元110可確定領(lǐng)先的車輛可能正改變車道。在另一實(shí)施例中，處理單元110可通過將沿著蹤跡行進(jìn)的橫向距離與蝸行蹤跡的預(yù)期的曲率進(jìn)行比較來分析該蝸行蹤跡的幾何形狀。期望的曲率半徑可根據(jù)以下計算來確定：(δz2+δx2)/2/(δx)，其中，δx表示行進(jìn)的橫向距離，以及δz表示行進(jìn)的縱向距離。如果行進(jìn)的橫向距離和期望的曲率之間的差值超過預(yù)定的閾值(例如，500米到700米)，則處理單元110可確定領(lǐng)先的車輛可能正改變車道。在另一實(shí)施例中，處理單元110可分析領(lǐng)先的車輛的定位。如果領(lǐng)先的車輛的定位掩蓋了道路多項(xiàng)式(例如，領(lǐng)先的車輛重疊在路多項(xiàng)式的頂部上)，則處理單元110可確定領(lǐng)先的車輛可能正改變車道。在領(lǐng)先的車輛的定位的狀況是檢測到另一車輛在該領(lǐng)先的車輛的前方且兩個車輛的蝸行蹤跡不平行的情況下，處理單元110可確定(較近的)領(lǐng)先的車輛可能正改變車道。
在步驟584，處理單元110可基于在步驟582所執(zhí)行的分析確定領(lǐng)先的車輛200是否正改變車道。例如，處理單元110可基于在步驟582執(zhí)行的各個分析的加權(quán)平均值做出確定。在這樣的方案下，例如，處理單元110基于特定類型的分析確定領(lǐng)先的車輛可能正改變車道的決定可被分配值“1”(以及“0”表示領(lǐng)先的車輛不像正改變車道的確定)。在步驟582執(zhí)行的不同分析可被分配不同的權(quán)重，并且公開的實(shí)施例不限于分析和權(quán)重的任何特定組合。
圖6是示出了與公開的實(shí)施例一致的用于基于立體圖像分析引起一個或多個導(dǎo)航響應(yīng)的示例性過程600的流程圖。在步驟610，處理單元110可經(jīng)由數(shù)據(jù)接口128接收第一多個圖像和第二多個圖像。例如，被包括在圖像采集單元120中的相機(jī)(諸如具有視場202和204的圖像捕獲設(shè)備122和124)可捕獲車輛200的前向區(qū)域的第一多個圖像和第二多個圖像，并通過數(shù)字連接(例如，usb、無線、藍(lán)牙等)將它們傳輸給處理單元110。在一些實(shí)施例中，處理單元110可經(jīng)由兩個或更多個數(shù)據(jù)接口接收第一多個圖像和第二多個圖像。公開的實(shí)施例不限于任何特定的數(shù)據(jù)接口配置或協(xié)議。
在步驟620，處理單元110可使立體圖像分析模塊404對第一多個圖像和第二多個圖像執(zhí)行立體圖像分析，以創(chuàng)建在車輛的前面的路的3d地圖并檢測圖像內(nèi)的特征，諸如車道標(biāo)記、車輛、行人、路標(biāo)志、高速公路出口匝道、交通燈、路危險物等。立體圖像分析能夠以類似于以上結(jié)合圖5a-圖5d所描述的步驟的方式來執(zhí)行。例如，處理單元110可使立體圖像分析模塊404執(zhí)行對第一多個圖像和第二多個圖像內(nèi)的候選對象(例如，車輛、行人、路標(biāo)記、交通燈、路危險物等)進(jìn)行檢測，基于各種標(biāo)準(zhǔn)過濾出候選對象的子集，以及執(zhí)行多幀分析、構(gòu)建測量值、和確定關(guān)于剩余的候選對象的置信水平。在執(zhí)行以上步驟時，處理單元110可考慮來自第一多個圖像和第二多個圖像二者的信息，而不是單獨(dú)來自一組圖像的信息。例如，處理單元110可對出現(xiàn)在第一多個圖像和第二多個圖像二者中的候選對象分析像素級數(shù)據(jù)(或來自兩個捕獲的圖像流中的其他數(shù)據(jù)子集)上的差異。另一示例是，處理單元110可通過觀察到對象出現(xiàn)在多個圖像中的一個中但未出現(xiàn)在其他圖像中或者對象相對于其他的可能相對于出現(xiàn)在兩個圖像流中的對象存在的差異來估計(例如，相對于車輛200的)候選對象的定位和/或速度。例如，相對于車輛200的定位、速度和/或加速度可基于與出現(xiàn)在一個或兩個圖像流中的對象相關(guān)聯(lián)的特征的軌跡、定位、移動特性等來確定。
在步驟630，處理單元110可使導(dǎo)航響應(yīng)模塊408執(zhí)行基于在步驟620進(jìn)行的分析和如以上結(jié)合圖4所描述的技術(shù)在車輛200中引起一個或多個導(dǎo)航響應(yīng)。例如，導(dǎo)航響應(yīng)可包括轉(zhuǎn)彎、車道移位、加速度的改變、速度的改變、制動等。在一些實(shí)施例中，處理單元110可使用通過速度和加速度模塊406的執(zhí)行得出的數(shù)據(jù)來引起一個或多個導(dǎo)航響應(yīng)。另外，多個導(dǎo)航響應(yīng)可同時、依次或它們的任意組合地發(fā)生。
圖7是示出了與公開的實(shí)施例一致的用于基于三組圖像的分析引起一個或多個導(dǎo)航響應(yīng)的示例性過程700的流程圖。在步驟710，處理單元110可經(jīng)由數(shù)據(jù)接口128接收第一多個圖像、第二多個圖像和第三多個圖像。例如，被包括在圖像采集單元120中的相機(jī)(諸如具有視場202、204和206的圖像捕獲設(shè)備122、124和126)可捕獲車輛200的前向區(qū)域和/或側(cè)面的第一多個圖像、第二多個圖像和第三多個圖像，并通過數(shù)字連接(例如，usb、無線、藍(lán)牙等)將它們傳輸給處理單元110。在一些實(shí)施例中，處理單元110可經(jīng)由三個或更多個數(shù)據(jù)接口接收第一多個圖像、第二多個圖像和第三多個圖像。例如，圖像捕獲設(shè)備122、124和126中的每個可具有用于將數(shù)據(jù)傳遞給處理單元110的相關(guān)數(shù)據(jù)接口。公開的實(shí)施例不限于任何特定的數(shù)據(jù)接口配置或協(xié)議。
在步驟720，處理單元110可分析第一多個圖像、第二多個圖像和第三多個圖像，以檢測圖像內(nèi)的特征，諸如車道標(biāo)記、車輛、行人、路標(biāo)志、高速公路出口匝道、交通燈、路危險物等。該分析可以以類似于以上結(jié)合圖5a-圖5d及圖6所描述的步驟的方式來執(zhí)行。例如，處理單元110可對第一多個圖像、第二多個圖像和第三多個圖像的每個(例如，通過執(zhí)行單目圖像分析模塊402并基于以上結(jié)合圖5a-圖5d所描述的步驟)執(zhí)行單目圖像分析。可替代地，處理單元110可對第一多個圖像和第二多個圖像、第二多個圖像和第三多個圖像、和/或第一多個圖像和第三多個圖像(例如，通過執(zhí)行單目圖像分析模塊404并基于以上結(jié)合圖6所描述的步驟)執(zhí)行立體圖像分析。對應(yīng)于第一多個圖像、第二多個圖像和/或第三多個圖像的分析所處理的信息可組合。在一些實(shí)施例中，處理單元110可執(zhí)行單目圖像分析和立體圖像分析的組合。例如，處理單元110可對第一多個圖像(例如，通過執(zhí)行單目圖像分析模塊402)執(zhí)行單目圖像分析，并對第二多個圖像和第三多個圖像(例如，通過執(zhí)行立體圖像分析模塊404)執(zhí)行立體圖像分析。圖像捕獲設(shè)備122、124和126的配置-包括它們各自的位置和視場202、204和206-可影響對第一多個圖像、第二多個圖像和第三多個圖像所進(jìn)行的分析的類型。公開的實(shí)施例不限于圖像捕獲設(shè)備122、124和126的特定配置或在第一多個圖像、第二多個圖像和第三多個圖像上所進(jìn)行的分析的類型。
在一些實(shí)施例中，處理單元110可在系統(tǒng)100上基于在步驟710和720所采集并分析的圖像執(zhí)行測試。這樣的測試可提供關(guān)于圖像捕獲設(shè)備122、124和126的某些配置的系統(tǒng)100的整體性能的指示物。例如，處理單元110可確定“錯誤命中”(例如，系統(tǒng)100沒有正確確定車輛或行人的存在的情況)和“遺漏”的比例。
在步驟730，處理單元110可基于從第一多個圖像、第二多個圖像和第三多個圖像中的兩者得出的信息在車輛200中引起一個或多個導(dǎo)航響應(yīng)。第一多個圖像、第二多個圖像和第三多個圖像中的兩者的選擇可取決于各種因素，諸如例如，在多個圖像的每個中所檢測到的對象的數(shù)量、類型和大小。處理單元110也可基于圖像的質(zhì)量和分辨率、圖像中反映的有效視場、被捕獲的幀的數(shù)量、一個或多個感興趣對象實(shí)際出現(xiàn)在幀中的程度(例如，對象出現(xiàn)在其中的幀的百分比、出現(xiàn)在每個這樣的幀中的對象的比例等)等做出選擇。
在一些實(shí)施例中，處理單元110可通過確定從一個圖像源得出的信息與從其他圖像源得出的信息一致的程度，選擇從第一多個圖像、第二多個圖像和第三多個圖像中的兩者得出的信息。例如，處理單元110可(通過單目分析、立體分析或二者的任意組合)組合從圖像捕獲設(shè)備122、124和126中的每個得出的被處理的信息，并確定在從圖像捕獲設(shè)備122、124和126中的每個所捕獲的圖像中一致的視覺指示物(例如，車道標(biāo)記、被檢測到的車輛以及其位置和/或路徑、被檢測到的交通燈等)。處理單元110也可排除在被捕獲的圖像中不一致的信息(例如，改變車道的車輛、指示車輛太接近車輛200的車道模型等)。因此，處理單元110可基于一致的確定和不一致的信息選擇從第一多個圖像、第二多個圖像和第三多個圖像中的兩者得出的信息。
例如，導(dǎo)航響應(yīng)可包括轉(zhuǎn)彎、車道移位、加速度的改變等。處理單元110可基于在步驟720所執(zhí)行的分析和以上結(jié)合圖4所描述的技術(shù)引起一個或多個導(dǎo)航響應(yīng)。處理單元110也可使用通過執(zhí)行速度和加速度模塊406得出的數(shù)據(jù)來引起一個或多個導(dǎo)航響應(yīng)。在一些實(shí)施例中，處理單元110可基于車輛200和第一多個圖像、第二多個圖像以及第三多個圖像中任意一個內(nèi)所檢測到的對象之間的相對定位、相對速度和/或相對加速度來引起一個或多個導(dǎo)航響應(yīng)。多個導(dǎo)航響應(yīng)可同時、依次或它們的任意組合地發(fā)生。
車道限制預(yù)測
系統(tǒng)100可給車輛200提供車道限制預(yù)測技術(shù)，使得系統(tǒng)預(yù)測一個或多個車道限制的位置。
在一些實(shí)施例中，車道限制預(yù)測可被理解為用于預(yù)測車道限制的位置的一種或多種技術(shù)。在一些實(shí)施例中，車道限制可被界定為車道、道路、停車位、或者能夠使車輛行進(jìn)的其他路徑或空間的邊緣處的分界線。在一些情況下，車道限制可被標(biāo)記在道路上，諸如通過畫的線、物理障礙物、博茨點(diǎn)或者一個或多個額外的指示物。在一些實(shí)施例中，車道限制可由道路、路邊、護(hù)欄等的邊緣界定。在一些實(shí)施例中，車道限制可由一個或多個其他車輛(諸如臨近車道成排平行停放的車輛，或停車場中成排停放的車輛)界定。在一些實(shí)施例中，車道限制可不做標(biāo)記，諸如在未標(biāo)記的道路上或在沒有車道線的停車場中。
在一些實(shí)施例中，自駕駛系統(tǒng)或駕駛者輔助系統(tǒng)可使用圖像捕獲設(shè)備和圖像分析，以基于在圖像中所檢測的對象(諸如車道標(biāo)記、道路的邊緣和/或其他車輛)確定一個或多個車道限制的位置。在大多駕駛情況下，系統(tǒng)可以能夠基于所捕獲的圖像的可見的特性(例如，車道線等)檢測至少兩個車道限制——車輛行進(jìn)的車道的每個側(cè)面一個。
然而，在某些情況下，包括在車道的一側(cè)上或車輛200的一側(cè)上的僅一個車道限制可基于所捕獲的圖像中的可見的特性(例如，車道線等)被充分檢測到的那些情況，系統(tǒng)100可預(yù)測在車道的另一側(cè)上或車輛的另一側(cè)上的車道限制的定位，使車輛能夠在由所檢測到的限制和與其相對的所預(yù)測的限制界定的車道內(nèi)繼續(xù)行進(jìn)。
在一些實(shí)施例中，車道限制預(yù)測可由以滿足一個或多個條件為前提的系統(tǒng)100執(zhí)行。例如，在一些實(shí)施例中，當(dāng)先前所檢測的車道限制隨著車輛200沿著道路前進(jìn)被停止檢測時，系統(tǒng)100預(yù)測車道限制的位置。因此，在一些實(shí)施例中，如果車道標(biāo)記或其他所檢測到的車道限制突然結(jié)束或變成不可檢測，則可執(zhí)行車道限制預(yù)測。在其他示例中，當(dāng)系統(tǒng)確定護(hù)欄陰影條件存在時，系統(tǒng)100預(yù)測車道限制的位置，使得護(hù)欄存在于道路的附近或者護(hù)欄在道路上投射陰影。
在一些實(shí)施例中，當(dāng)系統(tǒng)100具有對關(guān)于車輛200行進(jìn)的車道寬度的有效且足夠的歷史信息訪問時，系統(tǒng)100可僅執(zhí)行車道限制預(yù)測；在車輛200的一側(cè)上的車道限制隨著車輛200沿著道路前進(jìn)被新檢測到的情況下，在一些實(shí)施例中，系統(tǒng)100可不執(zhí)行車道限制預(yù)測。
在一些實(shí)施例中，車道限制預(yù)測可在最大行進(jìn)距離內(nèi)被執(zhí)行，使得如果車輛200在系統(tǒng)100連續(xù)執(zhí)行車道限制預(yù)測時行進(jìn)了比預(yù)定的最大行進(jìn)距離更大的距離，則車道限制預(yù)測隨后可停止。在一些實(shí)施例中，預(yù)測的最大行進(jìn)距離可根據(jù)由系統(tǒng)100檢測的一個或多個各種因素來設(shè)置或修改。在一些實(shí)施例中，預(yù)測的最大行進(jìn)距離可根據(jù)由系統(tǒng)100檢測的一個或多個各種因素而折向(例如，其可在功能上被設(shè)置為“無限”)。
在一些實(shí)施例中，車道限制預(yù)測可根據(jù)由系統(tǒng)100檢測的各種取消條件而停止。例如，在一些實(shí)施例中，如果車輛200的駕駛者改變車道，則車道限制預(yù)測可停止。在一些實(shí)施例中，如果車輛200在道路中橫穿超過預(yù)定的曲線銳度閾值的曲線，則車道限制預(yù)測可停止。
圖8a-圖8c圖示了車輛200在道路800上行進(jìn)的實(shí)施例。在一些實(shí)施例中，車輛200可具有由一個或多個圖像捕獲設(shè)備或者相機(jī)(諸如圖像捕獲設(shè)備122、124和/或126)提供的一個或多個視場。在所描繪的示例中，如在車輛200的前面形成向上開口的三角形的成角度的線所描繪的，車輛200可具有從車輛朝前面向的視場；在一些實(shí)施例中，車輛200可具有從車輛200面向多個不同的方向的一個或多個視場。在所描繪的示例中，可使用用于車道限制預(yù)測(例如，當(dāng)沒有檢測到車道限制時，預(yù)測車道限制的位置)和在由預(yù)測的車道限制界定的車道內(nèi)操作車輛200的公開的系統(tǒng)和方法。如圖所示，道路800可具有車輛200行進(jìn)的車道802。車道802可在第一側(cè)面上由第一車道限制804界定，以及在第一側(cè)面相對的第二側(cè)面上由車道限制806界定。如示出車道限制804和806的粗體線所指示的，這些車道限制804和806可由系統(tǒng)100檢測。車輛200可在車輛200與第一車道限制804相同的側(cè)面上具有第一車輛側(cè)面808，以及在車輛200與第二車道限制806相同的側(cè)面上具有第二車輛側(cè)面810。
處理單元110可被配置為基于由圖像捕獲設(shè)備122-126采集的多個圖像確定第一車道限制804和第二車道限制806，該多個圖像可經(jīng)由數(shù)據(jù)接口128由處理單元110接收。根據(jù)一些實(shí)施例，第一車道限制804和/或第二車道限制806可由可見的車道分界線(諸如像車道線803a(實(shí)線)和803b(虛線)的路表面上標(biāo)記的虛線或?qū)嵕€)辨認(rèn)。另外或可替代地，第一車道限制804和/或第二車道限制806可由障礙物或路表面的邊緣辨認(rèn)。另外或可替代地，第一車道限制804和/或第二車道限制806可標(biāo)記(例如，博茨點(diǎn))辨認(rèn)。根據(jù)一些實(shí)施例，處理單元110可通過辨認(rèn)路表面寬度的中點(diǎn)確定第一車道限制804和/或第二車道限制806。根據(jù)一些實(shí)施例，如果處理單元110僅辨認(rèn)第一車道限制804，則處理單元110可估計第二車道限制806，諸如基于所估計的車道寬度或路寬度。例如，當(dāng)指定路車道的線沒有被畫出或通過其他方式標(biāo)記出來時，處理單元110可通過這種方式預(yù)測車道限制。
在圖8a-圖8c中，車道限制804和806分別通過實(shí)線和虛線803a和803b被標(biāo)記在道路800上。在朝向圖8a-圖8c的中心的道路800的部分中，對應(yīng)于車道限制806的虛線803b沒有被畫在道路800上。在圖8a-圖8c中，車道限制804和806通過系統(tǒng)100的檢測由覆蓋在車輛200的前面的相應(yīng)的車道線的粗體線描繪。如圖8a中的粗體線所描繪的，系統(tǒng)100在車輛200的前面的一定可見的距離內(nèi)檢測作為車輛200的左側(cè)的實(shí)線車道限制的車道限制804。類似地，系統(tǒng)100在車輛200的前面的一定可見的距離內(nèi)檢測作為車輛200的右側(cè)的虛線車道限制的車道限制806。根據(jù)車道限制804和806的檢測，系統(tǒng)100使車輛200在由車道限制804和806界定的車道802內(nèi)行進(jìn)。
圖8b描繪了在圖8a中所描繪的時間點(diǎn)之后在車道802中沿著道路800繼續(xù)前進(jìn)的車輛200。當(dāng)車輛200到達(dá)虛線803b沒有被畫在道路800上的道路800的部分時，車道限制預(yù)測可由系統(tǒng)100執(zhí)行。如圖所示，系統(tǒng)100預(yù)測車道限制806的位置位于距相對的車道限制804的距離812處。在一些實(shí)施例中，該距離812可基于所檢測到的歷史信息以及由系統(tǒng)100儲存的關(guān)于車道802的先前寬度和/或車道大致上的平均歷史寬度來確定。如圖所示，系統(tǒng)100基于在車道限制預(yù)測被激活之前車道限制806被系統(tǒng)100檢測到的最后一次由虛的車道線803b標(biāo)記車道限制806的事實(shí)來預(yù)測車道限制806繼續(xù)是虛的車道限制。根據(jù)車道限制804的繼續(xù)的檢測和車道限制806的預(yù)測，系統(tǒng)100使車輛200在由車道限制804和806界定的車道802內(nèi)繼續(xù)行進(jìn)。在一些實(shí)施例中，當(dāng)車道限制預(yù)測被激活時，并且可能在某些情況(例如，附近有其他車輛)下，某默認(rèn)類型的車道限制用于控制車輛的運(yùn)動，該默認(rèn)類型的車道限制不一定與在激活車道限制預(yù)測之前所檢測到的最后的車道限制相同。例如，在一些實(shí)施例中，系統(tǒng)可默認(rèn)為預(yù)測實(shí)線車道限制而不是虛線車道限制。
圖8c描繪了在圖8b中所描繪的時間點(diǎn)之后在車道802中沿著道路800繼續(xù)前進(jìn)的車輛200。當(dāng)車輛200到達(dá)虛線803b又再次被畫在道路800上的道路800的部分時，由于車道限制806作為虛的車道限制又再次由系統(tǒng)100檢測到(而不是被預(yù)測)，因此車道限制預(yù)測可由系統(tǒng)100停止執(zhí)行。如圖8c中所描繪的，車輛200在執(zhí)行車道限制預(yù)測時行進(jìn)了距離814。在一些實(shí)施例中，車道限制預(yù)測僅可在預(yù)定的最大距離(和/或預(yù)定的最大時間)內(nèi)被連續(xù)或基本上連續(xù)地執(zhí)行。在圖8c所描繪的示例中，距離814小于用于執(zhí)行車道限制預(yù)測的預(yù)定的最大距離，使得車道限制預(yù)測隨著車輛200橫穿其在圖8b中的定位和其在圖8c中的定位之間的距離能夠被連續(xù)執(zhí)行。在一些實(shí)施例中，用于執(zhí)行車道限制預(yù)測的預(yù)定的最大距離可被設(shè)置為18米的默認(rèn)值。在一些實(shí)施例中，預(yù)定的最大距離可由車輛制造商、駕駛者和/或任何其他人員改變。
圖9a-圖9c圖示了車輛200在道路900上行進(jìn)的實(shí)施例。在所描繪的示例中，可使用用于車道限制預(yù)測(例如，當(dāng)沒有檢測到車道限制時，預(yù)測車道限制的位置)和在由預(yù)測的車道限制界定的車道內(nèi)操作車輛200的公開的系統(tǒng)和方法。圖9a-圖9c中所描繪的示例不同于圖8a-圖8c中所描繪的示例至少在于在道路900上兩個車道合并成一個車道。如以下更詳細(xì)解釋的，在一些實(shí)施例中，當(dāng)兩個車道合并成一個車道且車道線在合并第二車道的車道的側(cè)面上未被檢測到時，可執(zhí)行車道限制預(yù)測。
如圖所示，道路900可具有車輛200行進(jìn)的車道902。車道902可在第一側(cè)面上由第一車道限制904界定，以及在第一側(cè)面相對的第二側(cè)面上由車道限制906界定。如示出車道限制904和906的粗體線所指示的，這些車道限制904和906可由系統(tǒng)100檢測。車輛200可在車輛200與第一車道限制904相同的側(cè)面上具有第一車輛側(cè)面908，以及在車輛200與第二車道限制906相同的側(cè)面上具有第二車輛側(cè)面910。
處理單元110可被配置為基于由圖像捕獲設(shè)備122-126采集的多個圖像確定第一車道限制904和第二車道限制906，該多個圖像可經(jīng)由數(shù)據(jù)接口128由處理單元110接收。根據(jù)一些實(shí)施例，第一車道限制904和/或第二車道限制906能夠以以上根據(jù)圖8a-圖8c所討論的方式中的任意一種或全部來辨認(rèn)、檢測、估計或預(yù)測。
如圖所示，道路900可具有車道916。車道916可由車道限制界限。在示出的示例中，車道916在其左側(cè)上由實(shí)線918標(biāo)記，以及在其右側(cè)上由實(shí)線120標(biāo)記。在示出的示例中，車道916合并到車道902中作為在車輛200的行進(jìn)的方向上繼續(xù)的道路900。
在圖9a-圖9c中，車道限制904在道路900上由實(shí)線903連續(xù)標(biāo)記。另外，車道限制906被不一致地標(biāo)記；在圖的最底層部分，車道限制906在道路900上由實(shí)線905a標(biāo)記；在該最底層部分以上的部分，隨著車道916開始合并到車道902中，車道限制906在道路900上由虛線905b標(biāo)記；在該部分以上的部分，隨著車道916完成了合并到車道902中，車道限制906未被標(biāo)記；最后，在圖的最頂層部分，車道限制906再次由實(shí)線標(biāo)記，這次在道路900上由實(shí)線905c標(biāo)記。
在圖9a-圖9c中，車道限制904、906和922通過系統(tǒng)100的檢測由覆蓋在車輛200的前面的相應(yīng)的車道線的粗體線描繪。如圖9a中的粗體線所描繪的，系統(tǒng)100在車輛200的前面的一定可見的距離內(nèi)檢測作為車輛200的左側(cè)的實(shí)線車道限制的車道限制904。類似地，系統(tǒng)100在車輛200的前面的一定可見的距離內(nèi)檢測作為車輛200的右側(cè)的實(shí)的車道限制的車道限制906。根據(jù)車道限制904和906的檢測，系統(tǒng)100使車輛200在由車道限制904和906界定的車道902內(nèi)行進(jìn)。
圖9b描繪了在圖9a中所描繪的時間點(diǎn)之后在車道902中沿著道路900繼續(xù)前進(jìn)的車輛200。隨著車輛200到達(dá)車道916從右側(cè)合并到車道902中的道路900的部分，其中車道限制906由虛線905b簡要地標(biāo)記并隨后不由任何線標(biāo)記，車道限制預(yù)測可由系統(tǒng)100執(zhí)行。如圖所示，系統(tǒng)100預(yù)測車道限制906的位置位于距相對的車道限制904的距離912處。在一些實(shí)施例中，該距離912可基于所檢測到的歷史信息以及由系統(tǒng)100儲存的關(guān)于車道902的先前寬度和/或車道大致上的平均歷史寬度來確定。如圖所示，系統(tǒng)100基于在車道限制預(yù)測被激活之前車道限制906被系統(tǒng)100檢測到的最后一次由虛線905b標(biāo)記車道限制906的事實(shí)，預(yù)測車道限制906繼續(xù)是虛的車道限制。根據(jù)車道限制904的繼續(xù)的檢測和車道限制906的預(yù)測，系統(tǒng)100使車輛200在由車道限制904和906界定的車道902內(nèi)繼續(xù)行進(jìn)。
另外，圖9b中示出的是檢測車道限制922的系統(tǒng)100，該車道限制隨著車道916合并到車道902中界限了車道916的右側(cè)。系統(tǒng)100基于道路900上相應(yīng)的實(shí)線920檢測作為實(shí)的車道限制的車道限制922。在一些實(shí)施例中，系統(tǒng)100可確定被檢測到的車道限制922不是車輛200行進(jìn)的車道902的限制，而是合并到車道902中的車道的車道限制。在一些實(shí)施例中，該確定可根據(jù)車道限制922被檢測到在接近的閾值速率以上接近車道902的確定來做出。例如，如果在車輛行進(jìn)的車道的限制以外被檢測到的車道限制使大于預(yù)定的閾值角度以上的角與車輛行進(jìn)的車道的所檢測的或先前所檢測的車道限制平行，則可確定外部的車道限制對應(yīng)于接近的合并車道。
在一些實(shí)施例中，車道合并到另一車道中的確定可根據(jù)車輛中或其周圍的道路中的其他方面、特性或?qū)ο蟮臋z測和分析來做出。例如，(例如，不同于提供系統(tǒng)的車輛的)第二車輛可被檢測和跟蹤，并且系統(tǒng)可確定另一車輛正在與道路上的車道成一角度地行進(jìn)，即指示另一車輛行進(jìn)的車道合并到另一車道中。在一些實(shí)施例中，系統(tǒng)可檢測到另一車輛在接近的閾值速率以上從車道外的區(qū)域接近車道。在一些實(shí)施例中，系統(tǒng)可作出關(guān)于一個或多個其他車輛的這樣的確定，并且可相應(yīng)地確定在一個或多個其他車輛周圍的車道合并。在一些實(shí)施例中，關(guān)于一個或多個其他車輛的信息可通過由與系統(tǒng)相關(guān)聯(lián)的相機(jī)所捕獲的多個圖像來接收；在一些實(shí)施例中，可替代地或另外，關(guān)于一個或多個其他車輛的信息可通過任何合適形式的電子通信(諸如從一個或多個其他車輛中的一個或多個車輛傳輸?shù)耐ㄐ?來接收。
在另外一些其他的實(shí)施例中，車道合并的確定可根據(jù)關(guān)于車道配置和/或布局的歷史信息(諸如在車輛當(dāng)前位置處或周圍的車道的歷史信息)來做出。
圖9c描繪了在圖9b之后在車道902中沿著道路900繼續(xù)前進(jìn)的車輛200。當(dāng)車輛200到達(dá)車道916合并到車道902中已經(jīng)完成的道路900的部分時，由于車道限制906作為虛的車道限制又再次由系統(tǒng)100檢測到(而不是被預(yù)測)，因此車道限制906又再次在道路900上由實(shí)線標(biāo)記，這次由實(shí)線905c標(biāo)記，并且車道限制預(yù)測可停止由系統(tǒng)100執(zhí)行。在一些實(shí)施例中，系統(tǒng)100可通過確定車道限制不再接近在預(yù)定的接近的閾值速率以上的車輛(或車輛行進(jìn)的車道)而確定其檢測車輛200所在的車道的車道限制(而不是合并的車道的車道限制)。在一些實(shí)施例中，系統(tǒng)100可通過確定車道限制在如車道限制預(yù)測所預(yù)測的車道限制的所預(yù)測的位置的預(yù)定的閾值距離內(nèi)確定其檢測車輛所在的車道的車道限制(而不是合并的車道的車道限制)。
如圖9c中所描繪的，車輛200在執(zhí)行車道限制預(yù)測時行進(jìn)了距離914。在一些實(shí)施例中，車道限制預(yù)測僅可在預(yù)定的最大距離(和/或預(yù)定的最大時間)內(nèi)被連續(xù)或基本上連續(xù)地執(zhí)行。根據(jù)一些實(shí)施例，為車道限制預(yù)測所分配的最大距離/時間可被動態(tài)地設(shè)置。例如，為車道限制預(yù)測所分配的最大距離/時間可根據(jù)車輛的周圍環(huán)境、車輛的速率、路的拓?fù)浣Y(jié)構(gòu)、亮度或環(huán)境、天氣、道路上的其他車輛的密度和/或接近度、以及/或者任何其他路條件或特性來調(diào)整。在一些實(shí)施例中，當(dāng)確定了接近的合并車道存在于車輛200的附近時，系統(tǒng)100可準(zhǔn)許在比車道限制預(yù)測應(yīng)另外準(zhǔn)許執(zhí)行更大的總的距離內(nèi)執(zhí)行車道限制預(yù)測。例如，雖然默認(rèn)的最大距離可以是18米，但在檢測到正在進(jìn)行的車道合并的情況下，最大距離可以是1000米。該差異可能是考慮到車道合并可能需要幾百米來完成的事實(shí)的原因。在圖8c所描繪的示例中，距離914小于用于在車道合并的情況下執(zhí)行車道限制預(yù)測的預(yù)定的最大距離，使得車道限制預(yù)測能夠隨著車輛200橫穿在其在圖9b中的定位和其在圖9c中的定位之間的距離被連續(xù)地執(zhí)行。
圖10a和圖10b圖示了車輛200在道路1000上行進(jìn)的實(shí)施例。圖10a示出了如從車輛200的視角所見的三維視圖，諸如當(dāng)車輛200在道路1000上行進(jìn)時由系統(tǒng)100接收的一個或多個圖像中的一個。(圖10a描繪了在車輛200的前面的道路1000上行駛的領(lǐng)先車輛，不要與車輛200本身混淆。)圖10b示出了在道路1000的相同部分上的車輛200的架空圖。
在所描繪的示例中，可使用用于車道限制預(yù)測(例如，當(dāng)存在護(hù)欄陰影條件時，預(yù)測車道限制的位置)和在由預(yù)測的車道限制界定的車道內(nèi)操作車輛200的公開的系統(tǒng)和方法。如圖所示，道路1000可具有車輛200行進(jìn)的車道1002。車道1002可在第一側(cè)面上由第一車道限制1004界定，以及在第一側(cè)面相對的第二側(cè)面上由車道限制1006界定。在一些實(shí)施例中，如示出車道限制1004和1006的粗體線所指示的，這些車道限制1004和1006可由系統(tǒng)100檢測。車輛200可具有在車輛200與第一車道限制1004相同的側(cè)面上的第一車輛側(cè)面1008，以及車輛200在與第二車道限制1006相同的側(cè)面上的第二車輛側(cè)面1010。
道路1000可包括車道線1003a和1003b，其分別在道路1000上物理地標(biāo)記了車道1002的左側(cè)和右側(cè)。
道路1000可包括由柱1014支撐的護(hù)欄1012。護(hù)欄1012和其柱1014二者都投射護(hù)欄陰影1016，該護(hù)欄陰影1016在所描繪的示例中落在車道線1003a上并落進(jìn)車道1002中。
如圖10a和圖10b中的粗體線所描繪的，系統(tǒng)100在車輛200的前面的一定可見的距離內(nèi)檢測作為車輛200的右側(cè)的實(shí)線限制的車道限制1006。在道路1000的左側(cè)，粗體線示出了系統(tǒng)1000如何檢測一些邊緣，其中的一個可歸因于車道線1003a，以及其中的兩個(陰影邊緣1005a和1005b)可歸因于護(hù)欄陰影1016。在一些實(shí)施例中，在車輛或車道的一側(cè)上的多個邊緣的檢測可能使從系統(tǒng)100可用的圖像中辨認(rèn)車道限制更加困難，使得車道限制不能以高水平的確定性來辨認(rèn)。因此，在一些實(shí)施例中，當(dāng)系統(tǒng)100確定護(hù)欄1012或護(hù)欄柱1014存在時，即護(hù)欄陰影1016被投射到道路1000上，或者多個邊緣在車道1002的相同側(cè)面上被檢測到，則系統(tǒng)100可確定護(hù)欄陰影條件存在，并且可相應(yīng)地進(jìn)入護(hù)欄陰影模式。在一些實(shí)施例中，護(hù)欄陰影模式可使對接近被檢測的護(hù)欄、陰影或邊緣的車道的側(cè)面執(zhí)行車道限制預(yù)測。通過使用車道限制預(yù)測，系統(tǒng)100可根據(jù)以上參照圖8a-圖8c和/或圖9a-圖9c所討論的技術(shù)中的任意一種來預(yù)測車道限制1004的位置。在所描繪的示例中，系統(tǒng)100可正確地預(yù)測與由畫出的車道線1003a界定的邊緣而不是由護(hù)欄陰影1016界定的邊緣一致的車道限制1002的位置。根據(jù)車道限制1004和1006的檢測，系統(tǒng)100使車輛200在由車道限制1004和1006界定的車道1002內(nèi)行進(jìn)。
在一些實(shí)施例中，護(hù)欄陰影預(yù)測可使車道限制預(yù)測以沒有關(guān)于車道限制預(yù)測可執(zhí)行多久的限制來進(jìn)行。因此，例如，系統(tǒng)100可折向最大距離，而不是用于車道限制預(yù)測的最大距離被設(shè)置為18米(圖8a-圖8c的示例中)或1000米(圖9a-圖9c的示例中)，在功能上配置系統(tǒng)為使得只要繼續(xù)檢測到護(hù)欄陰影條件且只要沒有檢測到車道限制預(yù)測取消條件，則車道限制預(yù)測就可在無限的距離(和/或無限的時間)內(nèi)繼續(xù)。
圖11是存儲器140或150的示例性功能框圖，該存儲器可儲存用于執(zhí)行與公開的實(shí)施例一致的一個或多個操作的指令。如圖11中所圖示的，存儲器140或150可儲存用于執(zhí)行本文中所描述的技術(shù)的一個或多個模塊。例如，存儲器140或150可儲存圖像獲取模塊1100、道路車道限制識別模塊1102、確定模塊1104、道路車道限制預(yù)測模塊1106、車輛啟動模塊1108、和車道限制預(yù)測停止模塊1110。如本領(lǐng)域中的普通技術(shù)人員將認(rèn)識到的，以上列舉的模塊中的任意一個可與每個另外的模塊或其他模塊合并，可與另外一個模塊或其他模塊接合，以及/或者可被分成另外的模塊和/或子模塊。
在一些實(shí)施例中，處理單元110可執(zhí)行被儲存在存儲器140或150中的一個或多個模塊上的指令，并且處理單元110的執(zhí)行可使系統(tǒng)100執(zhí)行本文中所討論的方法。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100從相機(jī)(例如，圖像捕獲設(shè)備122、124和/或126)獲得(例如，以圖像獲取模塊1100)多個圖像，其中，當(dāng)相機(jī)安裝在車輛(例如，車輛200)上時且在車輛處于運(yùn)動狀態(tài)下時，相機(jī)適于捕獲在相機(jī)視場內(nèi)的道路的圖像，對多個圖像應(yīng)用圖像處理以識別(例如，利用道路車道限制識別模塊1102)第一道路車道限制，基于多個圖像確定(例如，利用確定模塊1104)一個或多個界定的車道預(yù)測條件被滿足，根據(jù)一個或多個界定的車道預(yù)測條件被滿足的確定，預(yù)測(例如，利用道路車道限制預(yù)測模塊1106)第二道路車道限制的位置，以及根據(jù)第二道路車道限制的所預(yù)測的位置發(fā)布(例如，利用發(fā)布模塊1108)通知或控制信號，以控制車輛的運(yùn)動。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100根據(jù)第一道路車道限制的位置發(fā)布(例如，利用發(fā)布模塊1108)通知或控制信號，以引導(dǎo)車輛的運(yùn)動。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100發(fā)布(例如，利用發(fā)布模塊1108)通知或控制信號，以沿著第一道路車道限制和第二道路車道限制之間的車道或區(qū)域引導(dǎo)車輛的運(yùn)動。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100確定(例如，利用確定模塊1104)一個或多個界定的車道預(yù)測取消條件是否滿足，并根據(jù)一個或多個界定的車道預(yù)測取消條件被滿足的確定，停止預(yù)測(例如，利用車道限制預(yù)測停止模塊1110)第二道路車道限制的位置。
圖12說明了用于實(shí)施與公開的實(shí)施例一致的車道限制預(yù)測的過程1200。在一些實(shí)施例中，過程1200中的步驟可通過圖8a-圖8c、圖9a-圖9c和圖10a-圖10b中所圖示的情況來進(jìn)行說明。根據(jù)一些實(shí)施例，過程1200可由導(dǎo)航系統(tǒng)100的一個或多個組件(諸如至少一個處理單元110)實(shí)施。根據(jù)一些實(shí)施例，過程1200可由與車輛200相關(guān)聯(lián)的系統(tǒng)100實(shí)施。
在步驟1202，在一些實(shí)施例中，系統(tǒng)接收與系統(tǒng)相關(guān)聯(lián)的移動的車輛附近的道路的多個圖像。在一些實(shí)施例中，一個或多個圖像使用至少一個圖像捕獲設(shè)備(諸如圖像捕獲設(shè)備122、124和/或126)被采集。多個圖像可通過諸如數(shù)據(jù)接口128的數(shù)據(jù)接口由系統(tǒng)接收。在圖8a-圖8c中所圖示的示例中，系統(tǒng)100可采集車輛200附近的道路800的多個圖像。
在步驟1204，在一些實(shí)施例中，系統(tǒng)識別第一道路車道限制。在一些實(shí)施例中，系統(tǒng)可使用圖像分析技術(shù)，以通過辨認(rèn)指示車道限制的圖像中的對象、標(biāo)記或其他特性(諸如車道標(biāo)記、道路邊緣、車道駕駛者和/或其他車輛)對用于檢測車道限制所接收的一個或多個圖像進(jìn)行處理。在一些實(shí)施例中，系統(tǒng)可試圖辨認(rèn)車輛的一側(cè)上的至少一個車道限制和車輛的另一側(cè)上的另一車道限制(例如，在車輛的從前到后的行進(jìn)的方向上，其中心線的每個側(cè)面一個車道限制)。在一些實(shí)施例中，系統(tǒng)可試圖辨認(rèn)車道的一側(cè)上的至少一個車道限制和車道的另一側(cè)上的另一車道限制。在圖8a-圖8c中所圖示的示例中，系統(tǒng)100可分析道路800的所接收的圖像，并可檢測對應(yīng)于實(shí)的車道線803a且與其相符的車道802的左側(cè)的車道限制804。也就是說，在一些實(shí)施例中，車道線803a可由系統(tǒng)100在多個采集的圖像中識別出來，并且系統(tǒng)100可確定車道線803a是用于車道限制804的視覺標(biāo)記。
在步驟1206，在一些實(shí)施例中，系統(tǒng)基于多個圖像確定一個或多個界定的車道預(yù)測條件是否滿足。在一些實(shí)施例中，車道預(yù)測條件可以是任意預(yù)定的條件，系統(tǒng)100通過該車道預(yù)測條件可確定是否預(yù)測車道限制的位置。在一些實(shí)施例中，僅一個車道預(yù)測條件需要滿足，而在其他實(shí)施例中，車道預(yù)測條件的最小閾值數(shù)量(例如，兩個或更多個)需要滿足。在一些實(shí)施例中，車道預(yù)測條件的最小閾值數(shù)量可根據(jù)與道路車道布局、道路拓?fù)浣Y(jié)構(gòu)、陰影條件、能見度條件、沿著道路的護(hù)欄和/或其他障礙物的存在、道路上的其他車輛的存在等有關(guān)的歷史信息來確定。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測條件包括隨著車輛前進(jìn)，基于多個圖像，第二道路車道限制停止被識別。例如，在一些實(shí)施例中，系統(tǒng)可連續(xù)地捕獲和查閱對應(yīng)于車輛的當(dāng)前位置和附近的多個圖像；隨著車輛沿著道路并沿著車道行進(jìn)，基于多個圖像的一個子集在一種情況下可被及時識別的車道限制可基于多個圖像的后來的子集在隨后的情況下及時停止被識別。在圖8a-圖8c的示例中，隨著車輛200沿著道路800從其在圖8a中的定位行進(jìn)到其在圖8b中的定位，系統(tǒng)100可分析道路800的所接收的圖像。隨著車輛200從其在圖8a中的定位行進(jìn)到其在圖8b中的定位，該車輛200到達(dá)道路800的中間部分，在該中間部分有點(diǎn)的車道線803b未被畫在道路800上。在對從道路800的該中間部分所接收的多個圖像進(jìn)行分析時，由于車道線803b的缺失，系統(tǒng)100可停止識別車道限制806。隨著車輛200沿著道路800前進(jìn)的該停止辨認(rèn)車道限制在一些實(shí)施例中可構(gòu)成車道預(yù)測條件。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測條件包括車道的第一側(cè)面上的車道限制已經(jīng)被辨認(rèn)了至少閾值時間或閾值距離?？蛇x地，與一個或多個界定的車道預(yù)測條件相關(guān)聯(lián)的閾值時間或閾值距離可以是動態(tài)的，并且可根據(jù)與道路車道布局、道路拓?fù)浣Y(jié)構(gòu)、陰影條件、能見度條件、沿著道路的護(hù)欄或其他障礙物的存在、道路上的其他車輛的存在等有關(guān)的歷史信息來調(diào)整。在一些實(shí)施例中，這樣的車道預(yù)測條件可用于在系統(tǒng)第一次檢測到在車道的單一側(cè)面(或車輛的單一側(cè)面)上的車道限制時，防止系統(tǒng)進(jìn)行車道限制預(yù)測(或降低系統(tǒng)進(jìn)行車道限制預(yù)測的可能性)。也就是說，在一些實(shí)施例中，如果車輛正在行進(jìn)并出現(xiàn)第一次碰到單一車道線或者其他車道標(biāo)記或指示物，則系統(tǒng)可基于單一車道標(biāo)記/指示物不預(yù)測另一車道限制的位置。在一些實(shí)施例中，該車道預(yù)測條件可用于確保系統(tǒng)基于存在于道路上的實(shí)際車道而不是孤立的、雜散的或者錯誤或隨機(jī)放置的車道標(biāo)記/指示物作出有效且準(zhǔn)確的車道限制預(yù)測(或增加其可能性)。在一些實(shí)施例中，預(yù)定的閾值距離可被固定在系統(tǒng)中，或者可基于車輛的當(dāng)前速率、車輛行進(jìn)的道路的大小或標(biāo)示的速率、或與車輛或道路有關(guān)的任何其他可辨別的變量通過系統(tǒng)確定。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測條件包括護(hù)欄存在于車輛附近。在一些實(shí)施例中，當(dāng)系統(tǒng)確定車輛在護(hù)欄附近時，系統(tǒng)可進(jìn)行車道限制預(yù)測。在一些實(shí)施例中，該車道預(yù)測條件可用于防止當(dāng)在現(xiàn)實(shí)中一個或多個邊緣與護(hù)欄或與護(hù)欄陰影相關(guān)聯(lián)時系統(tǒng)錯誤地確定在一個或多個圖像中所檢測到的一個或多個邊緣對應(yīng)于車道限制。在一些實(shí)施例中，護(hù)欄可將陰影投射到道路上，并且道路上的陰影的邊緣可通過系統(tǒng)所使用的圖像分析技術(shù)來檢測。在一些實(shí)施例中，系統(tǒng)可能錯誤地確定護(hù)欄陰影是車道限制的標(biāo)記，并且可能根據(jù)護(hù)欄陰影而不是實(shí)際的車道限制使車輛行進(jìn)。在一些實(shí)施例中，為了防止這樣的錯誤，系統(tǒng)可識別護(hù)欄存在于車輛的附近，并因而可進(jìn)行車道限制預(yù)測，以預(yù)測具有護(hù)欄的車道的側(cè)面上的車道限制的位置，而不是試圖識別車道的該側(cè)面上的車道限制，并冒著風(fēng)險錯誤地將護(hù)欄陰影識別為車道限制。
在圖10a和圖10b的示例中，(圖10b中所示的；不是圖10a中所示的，因?yàn)檐囕v200在圖10a中構(gòu)成了視點(diǎn))車輛200行進(jìn)在道路1000上的車道1002中，該車道在車道1002的左側(cè)具有護(hù)欄1012。在一些實(shí)施例中，系統(tǒng)100可分析一個或多個圖像，以檢測護(hù)欄1012存在于車道1002的左側(cè)的車輛200的附近。在一些實(shí)施例中，護(hù)欄1012的存在可滿足車道預(yù)測條件。
在一些實(shí)施例中，確定護(hù)欄存在于車輛的附近包括在一個或多個圖像中檢測由支撐護(hù)欄的柱創(chuàng)建的圖案。在一些實(shí)施例中，系統(tǒng)可被配置為在已知或懷疑指示護(hù)欄的存在的一個或多個圖像中檢測一個或多個圖案。在一些實(shí)施例中，一個這樣的圖案可被稱作“快速虛線(rapiddash)”圖案，并且當(dāng)系統(tǒng)在一個或多個圖像中檢測到由支撐護(hù)欄的柱產(chǎn)生的快速連續(xù)的虛線或快速連續(xù)的線時，這樣的圖案可能存在。在一些實(shí)施例中，系統(tǒng)可被配置為檢測已知為支撐護(hù)欄的柱的特性的任何其他合適的圖案或視覺記號。在一些實(shí)施例中，系統(tǒng)可檢測護(hù)欄的柱的圖案，而在一些實(shí)施例中，可替代地或另外地，系統(tǒng)可檢測由護(hù)欄的柱投射的陰影的圖案。在圖10a和圖10b的示例中，護(hù)欄1012由(圖10a中所示的；從圖10b的架空角(overheadangle)不可見的)柱1014支撐。在圖10a和圖10b中，柱1014投射陰影，該陰影落在道路1000上并落在車道1002中。系統(tǒng)100可檢測快速虛線圖案或在多個圖像中由柱1014或其陰影創(chuàng)建的任何其他合適的圖案的存在，并且該檢測可以是系統(tǒng)100確定護(hù)欄存在于車輛200的附近的一種形式。
在一些實(shí)施例中，系統(tǒng)100可利用深度信息來辨認(rèn)是護(hù)欄或護(hù)欄的部分的特性的形狀。應(yīng)認(rèn)識到的是，畫出的線將基本上沒有體積，并且其高度相對于道路表面幾乎為零，因此，深度信息可用于在車道標(biāo)記和護(hù)欄之間進(jìn)行區(qū)分。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測條件包括護(hù)欄將陰影投射到道路上。在一些實(shí)施例中，代替通過系統(tǒng)對護(hù)欄本身的檢測或除此之外，車道預(yù)測條件還可基于通過系統(tǒng)對護(hù)欄的陰影的檢測。在一些實(shí)施例中，如果護(hù)欄陰影被檢測為在車輛的附近的任何地方，則車道預(yù)測條件可被滿足；在一些實(shí)施例中，如果陰影被檢測到為來自車輛行進(jìn)于其中或其上的車道或道路的方向上的護(hù)欄的投射，則車道預(yù)測條件可被滿足；在一些實(shí)施例中，如果陰影被檢測到為從護(hù)欄投射到車輛行進(jìn)于其中的道路或車道上，則車道預(yù)測條件可被滿足。
在一些實(shí)施例中，確定護(hù)欄是將陰影投射到道路上可涉及確定預(yù)測的太陽的位置是否與可能是護(hù)欄陰影的所檢測到的邊緣的位置一致。例如，在一些實(shí)施例中，系統(tǒng)可確定太陽相對于可用于系統(tǒng)的多個圖像的定向和太陽的定位。這些關(guān)于太陽的位置和車輛的定向的確定可根據(jù)各種信息碎片(例如，包括多個圖像中的一個或多個、由gps確定的車輛的位置和/或定向、由羅盤確定的車輛的定向和/或時間)來完成。系統(tǒng)可基于所確定的太陽的位置和車輛的定向，確定陰影預(yù)計在某個時間某個方向上從護(hù)欄投射。
在圖10a和圖10b的示例中，護(hù)欄1012是將陰影1016投射到道路1000上并投射到車道1002中；落在道路1000上并落在車道1002中的陰影1016可由系統(tǒng)100檢測，并且所述檢測可滿足車道預(yù)測條件。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測條件包括多個基本上平行的邊緣在多個圖像中被檢測到在道路上的車道的一側(cè)上的道路上。在一些實(shí)施例中，由系統(tǒng)應(yīng)用到所接收的多個圖像的圖像分析技術(shù)可在所接收的多個圖像中的一個或多個中檢測邊緣；在一些實(shí)施例中，邊緣的檢測可用于識別車輛周圍的環(huán)境中的對象和標(biāo)記。在一些實(shí)施例中，多個圖像中的邊緣的檢測可用于識別車道線或標(biāo)記或邊緣或道路，并且從而用于確定車道限制的位置。在一些實(shí)施例中，包括護(hù)欄陰影被投射到車輛行進(jìn)的道路或車道上的那些實(shí)施例，系統(tǒng)可在多個圖像中檢測作為邊緣的護(hù)欄陰影的邊緣。在一些其他的實(shí)施例中，其他對象或標(biāo)記可使系統(tǒng)檢測一個車道的相同側(cè)面上的多個邊緣。在這些實(shí)施例中，哪個邊緣對應(yīng)于正確的車道限制的確定可能是困難的、緩慢的或者不可靠的。出于這個原因，在一些實(shí)施例中，可能有利的是，不基于多個圖像來試圖確定幾個所檢測到的邊緣中的哪個邊緣對應(yīng)于車道限制，并如以上所討論的，當(dāng)多個邊緣在多個圖像中被檢測到時，使用車道限制預(yù)測代替簡單地預(yù)測車道限制的位置。在圖10a和圖10b的示例中，系統(tǒng)100在多個圖像中檢測車道1002的左側(cè)由粗體線標(biāo)記的1004、1005a和1005b指示的三個不同的邊緣。在圖10a和圖10b的示例中，如以上所解釋的，系統(tǒng)100可確定多個邊緣在車道1002的左側(cè)被檢測到，并且該檢測可構(gòu)成車道預(yù)測條件。
在一些實(shí)施例中，如果在框1206處確定一個或多個界定的車道預(yù)測條件未被滿足，則方法1200可返回到步驟1202，并且可隨著時間的推移繼續(xù)采集道路的額外的圖像。
在一些實(shí)施例中，如果在框1206處確定一個或多個界定的車道預(yù)測條件滿足，則方法1200可前進(jìn)到步驟1208。在步驟1208，在一些實(shí)施例中，根據(jù)一個或多個界定的車道預(yù)測條件被滿足的確定，系統(tǒng)預(yù)測第二道路車道限制的位置。在一些實(shí)施例中，系統(tǒng)可預(yù)測車道的與所檢測到的車道限制的相對側(cè)面上的車道限制(車輛作為相對側(cè)面的方向的參考)。因此，在一些實(shí)施例中，如果一個車道限制可從所接收的圖像中的車道線或其他視覺記號識別出，并且確定諸如以上所討論的條件中的任意一個的車道預(yù)測條件滿足，則系統(tǒng)可預(yù)測車道的與第一車道限制相對側(cè)面上的第二車道限制的位置。
在一些實(shí)施例中，所預(yù)測的車道限制可被預(yù)測為沿著道路在預(yù)定的距離內(nèi)延伸。在一些實(shí)施例中，所預(yù)測的車道限制可被預(yù)測為平行于與其相對的所識別的車道限制。在一些實(shí)施例中，所預(yù)測的車道限制可被預(yù)測為繼續(xù)沿著與先前由系統(tǒng)檢測的相同的車道限制相同的角度、路徑或位置。在一些實(shí)施例中，所預(yù)測的車道限制可基于另一車道限制的位置、基于道路的其他可辨別的特征的位置、或基于與系統(tǒng)和/或周圍的車輛相關(guān)聯(lián)的車輛的位置來預(yù)測。在一些實(shí)施例中，所預(yù)測的車道限制可被預(yù)測為位于距被識別的車道限制或距基于道路的多個圖像所識別或預(yù)測的任何其他對象的預(yù)定的距離處。在一些實(shí)施例中，所預(yù)測的車道限制可被預(yù)測為是匹配在多個圖像中所檢測的其他車道限制類型或根據(jù)其確定的車道限制類型，或者被預(yù)測為是根據(jù)基于從先前時間的道路的先前的圖像對所預(yù)測的車道限制所確定的車道限制類型確定的車道限制類型(例如，如果系統(tǒng)在車輛的右側(cè)檢測到實(shí)的單一的白線，則停止檢測任何車道線，系統(tǒng)可預(yù)測實(shí)的單一白的車道限制在車輛的右側(cè)繼續(xù)；可替代地或另外地，系統(tǒng)可預(yù)測實(shí)的單一白線位于與實(shí)的單一黃線相對的車道的側(cè)面上)。
在圖8a-圖8c的示例中，系統(tǒng)100基于多個圖像中的車道線803a的檢測識別車道限制804。當(dāng)車輛200到達(dá)其在圖8b中的定位且沒有在車道802的右側(cè)檢測到任何車道線時，則車道預(yù)測條件可被滿足。因此，在一些實(shí)施例中，系統(tǒng)100可預(yù)測車道802的右側(cè)的車道限制806，如圖8b中所示。在一些實(shí)施例中，車道限制806可基于以是單一虛線車道限制的車道限制806的車道線803b為基礎(chǔ)的圖8a中的先前的識別而被預(yù)測為單一虛線車道限制。在一些實(shí)施例中，車道限制806的定位、角度、類型和/或任何其他特性可基于通過系統(tǒng)100可訪問的關(guān)于車輛200、道路800或任何其他周圍環(huán)境的因素的任何儲存的或以其他方式確定的信息來預(yù)測。
在一些實(shí)施例中，預(yù)測車道限制的位置包括基于關(guān)于先前確定的車道的寬度預(yù)測車道的寬度。在一些實(shí)施例中，車道的寬度可基于關(guān)于車道寬度的歷史信息或關(guān)于最新(例如，在執(zhí)行車道限制預(yù)測之前的幾秒鐘)的特定車道的寬度的緩存信息來預(yù)測。在一些實(shí)施例中，當(dāng)系統(tǒng)檢測車道的兩個限制并且從而可確定該車道的寬度并且系統(tǒng)隨后停止檢測或識別車道限制中的一個時，則系統(tǒng)可預(yù)測車道繼續(xù)是相同的寬度。系統(tǒng)可相應(yīng)地預(yù)測所預(yù)測的車道限制的位置，使得車道被預(yù)測為保持寬度恒定或基本上恒定。在圖8a-圖8c的示例中，當(dāng)系統(tǒng)100預(yù)測圖8b中的車道限制806的位置時，限制806被預(yù)測為離車道限制804距離812。當(dāng)車輛200處于圖8a中所示的定位時，該距離812可以是車道限制806和車道限制804之間所檢測到的相同的距離812。在一些實(shí)施例中，系統(tǒng)100可記錄或緩存關(guān)于車道寬度的歷史信息，使得該系統(tǒng)可快速調(diào)回車道寬度信息，以便對所預(yù)測的車道限制的位置進(jìn)行預(yù)測。
在步驟1210，在一些實(shí)施例中，系統(tǒng)使移動的車輛能夠避免第一道路車道限制和第二道路車道限制。因此，在一些實(shí)施例中，系統(tǒng)可使車輛在所檢測/識別的車道限制在一側(cè)上界定的和所預(yù)測的車道限制的相對側(cè)面上所界定的車道中行進(jìn)。在一些實(shí)施例中，系統(tǒng)可引起車輛的任何合適的轉(zhuǎn)向、加速、減速或其他控制，以使車輛在由所預(yù)測和檢測的車道限制界定的車道內(nèi)行進(jìn)。在圖8a-圖8c的示例中，當(dāng)系統(tǒng)100檢測到圖8b中的車道限制806時，系統(tǒng)100隨后使車輛200沿著所檢測到的車道限制804和所預(yù)測的車道限制806之間的車道802行進(jìn)，以從其在圖8b中的定位行進(jìn)到其在圖8c中的定位。
在步驟1212，在一些實(shí)施例中，系統(tǒng)像確定一個或多個界定的車道預(yù)測取消條件是否被滿足。在一些實(shí)施例中，車道預(yù)測取消條件可以是任意預(yù)定的條件，系統(tǒng)通過該車道預(yù)測取消條件可確定是否停止預(yù)測車道限制的位置。在一些實(shí)施例中，一旦系統(tǒng)開始預(yù)測車道限制的位置，車道限制的位置就可被繼續(xù)預(yù)測，直至一個或多個預(yù)定的車道預(yù)測取消條件被滿足為止。在一些實(shí)施例中，僅一個車道預(yù)測取消條件需要被滿足，以便停止車道預(yù)測。在一些實(shí)施例中，預(yù)定的數(shù)量或車道預(yù)測條件大于必須滿足的一個條件，以便停止車道預(yù)測?？蛇x地，置信分?jǐn)?shù)可根據(jù)預(yù)定的標(biāo)準(zhǔn)分配給車道預(yù)測條件?？蛇x地，一些車道預(yù)測條件可具有比其他更高的權(quán)重。仍進(jìn)一步通過示例的方式，可計算總體分?jǐn)?shù)，以確定車道預(yù)測取消條件是否滿足，并且這樣的計算可考慮被分配給車道預(yù)測條件的權(quán)重和置信分?jǐn)?shù)。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測取消條件包括在停止識別之后，基于第一或多個圖像識別第二車道限制。例如，在一些實(shí)施例中，隨著車輛沿著道路行進(jìn)，車道限制可停止被識別(如以上所討論的)，諸如當(dāng)?shù)缆肺幢粯?biāo)記或車道線在多個圖像中不可檢測時；如以上所討論的，可相應(yīng)地執(zhí)行車道預(yù)測。在一些實(shí)施例中，此后，例如當(dāng)車輛繼續(xù)沿著道路行進(jìn)時，隨著系統(tǒng)繼續(xù)采集新的圖像，系統(tǒng)可在多個圖像中再次識別到車道限制。例如，如果車輛到達(dá)車道線不再遺漏的道路的部分，或者如果車道線以其他方式變成可由系統(tǒng)再次檢測到，則系統(tǒng)可基于道路的更新的圖像來識別車道限制。該第二車道限制的識別-被預(yù)測的車道限制-在一些實(shí)施例中可構(gòu)成車道預(yù)測取消條件，該車道預(yù)測取消條件可使系統(tǒng)停止預(yù)測第二車道限制的位置并轉(zhuǎn)而返回依賴于基于多個圖像所檢測/識別的車道限制的位置。
在圖8a-圖8c的示例中，雖然系統(tǒng)100可在車輛200位于圖8b中所示的位置時預(yù)測車道限制806的位置，但隨著車輛200前進(jìn)到圖8c中所示的定位，圖的上半部分上的虛的車道線803在由系統(tǒng)100采集的圖像中可再次是可見的?；谶@些新的圖像，系統(tǒng)100可基于車道線803b再次檢測/識別車道限制806的存在，并且該識別可構(gòu)成車道預(yù)測取消條件，該車道預(yù)測取消條件觸發(fā)車道限制806的位置預(yù)測的停止。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測取消條件包括駕駛者在車道之間移動車輛。在一些實(shí)施例中，系統(tǒng)可基于多個圖像確定駕駛者將車輛轉(zhuǎn)向或合并到另一車道。在一些實(shí)施例中，該檢測可滿足車道預(yù)測取消條件，并且可觸發(fā)車道限制位置預(yù)測的取消。
在一些實(shí)施例中，一個或多個界定的車道預(yù)測取消條件包括車輛橫穿超過預(yù)定的銳度閾值的曲線。在一些實(shí)施例中，系統(tǒng)可訪問關(guān)于曲線的預(yù)定或動態(tài)確定(例如，根據(jù)車輛速率、標(biāo)示的限速、道路狀況、天氣狀況、環(huán)境亮度、其他車輛的附近等確定)的銳度閾值，并且可確定道路或車道中的曲線是否超過銳度閾值(例如，比最大允許的銳度更銳利)。如果確定了車輛橫穿或接近的曲線超過最大允許的銳度，則系統(tǒng)可確定車道預(yù)測取消條件滿足，并且可相應(yīng)地停止車道限制預(yù)測。
在一些實(shí)施例中，確定一個或多個界定的車道預(yù)測取消條件是否滿足包括選擇最大車道預(yù)測距離設(shè)置，并確定車輛在預(yù)測第二道路車道限制的位置時所行進(jìn)的距離是否大于與最大車道預(yù)測距離設(shè)置相關(guān)聯(lián)的最大車道預(yù)測距離。在一些實(shí)施例中，最大車道預(yù)測距離可由系統(tǒng)預(yù)定、設(shè)置或動態(tài)地確定。在一些實(shí)施例中，系統(tǒng)可監(jiān)視車輛在系統(tǒng)預(yù)測車道限制的位置時所行進(jìn)的距離，并且如果該行進(jìn)的距離超過最大允許的車道預(yù)測距離，則可停止預(yù)測車道限制的位置。在一些實(shí)施例中，最大允許的車道預(yù)測距離的實(shí)施可通過確保系統(tǒng)在過長的時間段或過長的距離內(nèi)不預(yù)測車道限制的位置來改進(jìn)安全性和功能，在該距離或時間內(nèi)，車道或道路的一個或多個特性可能改變或變化。在一些實(shí)施例中，由于可預(yù)期車道和道路的特性隨著空間和時間而改變或變化，因此系統(tǒng)可通過確保至少一旦超過最大車道預(yù)測距離(或者，在一些實(shí)施例中，是最大車道預(yù)測時間)車道限制參考點(diǎn)或指示物(諸如車道線或其他車道標(biāo)記)就基于由系統(tǒng)采集的多個圖像來進(jìn)行檢測而改進(jìn)安全性。
在一些實(shí)施例中，最大車道預(yù)測距離在不同的情況下可由系統(tǒng)改變。在一些實(shí)施例中，最大車道預(yù)測距離可與一個或多個最大車道預(yù)測距離設(shè)置相關(guān)聯(lián)，使得系統(tǒng)可選擇一個最大車道預(yù)測距離設(shè)置并實(shí)施相關(guān)聯(lián)的最大車道預(yù)測距離。在一些實(shí)施例中，不同的最大車道預(yù)測距離設(shè)置可在由系統(tǒng)檢測和確定的不同的駕駛場景中實(shí)施。
在一些實(shí)施例中，標(biāo)準(zhǔn)或默認(rèn)的最大車道預(yù)測距離設(shè)置可與標(biāo)準(zhǔn)或默認(rèn)的最大車道預(yù)測距離相關(guān)聯(lián)。在一些實(shí)施例中，標(biāo)準(zhǔn)或默認(rèn)的最大車道預(yù)測距離可以是18米。
在圖8a-圖8c的示例中，車輛200從開車道限制預(yù)測的其在圖8b中的定位行進(jìn)距離814到車道預(yù)測停止的、其在圖8c中的定位。該距離814可小于18米的標(biāo)準(zhǔn)或默認(rèn)的最大車道預(yù)測距離，使得車道限制預(yù)測可在車輛200在圖8b和圖8c中的定位之間被連續(xù)地執(zhí)行。
在一些實(shí)施例中，選擇最大車道預(yù)測距離設(shè)置包括，根據(jù)第一車道與第二車道在車輛的附近合并的確定，選擇最大車道預(yù)測距離設(shè)置，使得該最大車道預(yù)測距離大于默認(rèn)的最大車道預(yù)測距離。因此，在一些實(shí)施例中，系統(tǒng)可實(shí)施延伸的或增加的最大車道預(yù)測距離。例如，在一些實(shí)施例中，系統(tǒng)可基于多個圖像確定車道與車輛行進(jìn)的車道合并，或者車輛行進(jìn)的車道與另一車道合并。系統(tǒng)可通過檢測臨近車輛的車道的合并的車道的遠(yuǎn)側(cè)上的車道限制(例如，通過識別車道線)以及通過確定臨近車道的相對側(cè)面上的車道限制在預(yù)定或動態(tài)確定的接近的閾值速率以上接近車輛行駛的車道，來確定車道合并發(fā)生在車輛的附近。也就是說，在一些實(shí)施例中，隨著車輛沿著道路前進(jìn)，系統(tǒng)可識別接近車輛行駛的車道的臨近車道的遠(yuǎn)側(cè)，并且可相應(yīng)地確定臨近車道與車輛行駛的車道合并。
在一些實(shí)施例中，當(dāng)兩個車道彼此合并時，預(yù)計道路可能將以長距離的無標(biāo)記的車道限制為特征，因此，對于被配置為在比默認(rèn)的最大車道預(yù)測距離或時間更大的距離和/或更長的時間內(nèi)預(yù)測車道限制的位置的系統(tǒng)來說可能是有利的。在一些實(shí)施例中，與車道合并狀況相關(guān)聯(lián)的增加的最大車道預(yù)測距離可以是1000米。
在圖9a-圖9c的示例中，車輛200從車道限制預(yù)測開始的、其在圖9b中的定位到車道預(yù)測停止的、其在圖9c中的定位行進(jìn)了距離914。距離914可大于標(biāo)準(zhǔn)或默認(rèn)的最大車道預(yù)測距離，使得如果選擇了默認(rèn)的最大車道預(yù)測距離設(shè)置，則在車輛200到達(dá)其在圖9c中的定位之前，車道限制預(yù)測可已經(jīng)被停止。然而，如圖8b中的粗體線所指示的，隨著車輛200前進(jìn)，系統(tǒng)100識別接近車道902的車道916的右側(cè)的車道限制922，并且可相應(yīng)地確定車道正在合并，并應(yīng)選擇與車道合并相關(guān)聯(lián)的最大車道預(yù)測距離設(shè)置。所選擇的設(shè)置可與大于18米的默認(rèn)的最大車道預(yù)測距離的1000米的最大車道預(yù)測距離相關(guān)聯(lián)。因此，在一些實(shí)施例中，距離914可小于1000米的增加的最大車道預(yù)測距離，使得車道限制預(yù)測可在圖9b和圖9c中車輛200的定位之間被連續(xù)地執(zhí)行。
在一些實(shí)施例中，選擇最大車道預(yù)測距離設(shè)置包括，根據(jù)界定的護(hù)欄條件滿足的確定，選擇沒有最大車道預(yù)測距離的最大車道預(yù)測距離設(shè)置。也就是說，在一些實(shí)施例中，當(dāng)系統(tǒng)100檢測到護(hù)欄條件滿足時，系統(tǒng)100可無限地預(yù)測車道限制的位置，而無需考慮任何最大車道預(yù)測距離。通過這種方式，在一些實(shí)施例中，與護(hù)欄條件相關(guān)聯(lián)的最大車道預(yù)測距離可被認(rèn)為是無限的最大距離或不存在的最大距離。
在一些實(shí)施例中，護(hù)欄條件可在系統(tǒng)檢測車輛附近的一個或多個護(hù)欄、護(hù)欄柱和/或護(hù)欄陰影的存在的任何情況下得到滿足。例如，護(hù)欄條件可在以上所討論的任意一種或全部情況下得到滿足，其中，系統(tǒng)可確定護(hù)欄和/或護(hù)欄陰影存在于車輛的附近和/或車輛行進(jìn)的道路或車道上。如以上所討論的，在一些情況下，當(dāng)護(hù)欄和/或護(hù)欄陰影的存在、位置和/或定向使系統(tǒng)進(jìn)行車道限制預(yù)測時，護(hù)欄條件可被滿足。
在一些實(shí)施例中，對于不將最大車道預(yù)測距離(或無限的最大車道預(yù)測距離)應(yīng)用到護(hù)欄和/或護(hù)欄陰影存在的情況中可能是有利的，因?yàn)轭A(yù)計護(hù)欄和其相關(guān)聯(lián)的陰影沿著道路可連續(xù)持續(xù)非常長的距離(通常大于默認(rèn)的最大車道預(yù)測距離或甚至大于與車道合并相關(guān)聯(lián)的增加的車道預(yù)測距離)。在圖10a和圖10b的示例中，當(dāng)由于護(hù)欄陰影1016的檢測系統(tǒng)100開始預(yù)測車道限制1004的位置時，系統(tǒng)100可選擇與護(hù)欄條件相關(guān)聯(lián)的最大車道預(yù)測距離設(shè)置；與護(hù)欄條件相關(guān)聯(lián)的最大車道預(yù)測距離設(shè)置的選擇可使系統(tǒng)執(zhí)行車道限制1004的車道預(yù)測，而無需以任何最大車道預(yù)測距離為前提。
在一些實(shí)施例中，如果在框1212處確定一個或多個界定的車道預(yù)測取消條件未滿足，則方法1200可返回到步驟1202，并且可隨著時間的推移繼續(xù)采集道路的額外的圖像。
在一些實(shí)施例中，如果在框1212處確定一個或多個界定的車道預(yù)測取消條件滿足，則方法1200可前進(jìn)到步驟1214。在步驟1212，在一些實(shí)施例中，根據(jù)一個或多個車道預(yù)測取消條件滿足的確定，系統(tǒng)停止預(yù)測第二車道限制的位置。在圖8a-圖8c的示例中，當(dāng)車輛200到達(dá)其在圖8c中所描繪的定位時，車道預(yù)測取消條件可基于車道線803b通過車道限制806的識別得到滿足，并且因此系統(tǒng)100可停止預(yù)測車道限制806的位置。相反，如系統(tǒng)100先前在圖8a中所做的，其可基于所檢測到的車道線803b的位置重新確定車道限制806的定位。
施工區(qū)的檢測與響應(yīng)
系統(tǒng)100可給車輛200提供施工區(qū)檢測，使得系統(tǒng)識別道路上的施工區(qū)的存在并對其采取動作。在一些實(shí)施例中，系統(tǒng)100可在其接收的一個或多個圖像中識別各種元素，并可根據(jù)這些一個或多個元件的識別確定車輛200接近施工區(qū)或在其中。在一些實(shí)施例中，可根據(jù)施工區(qū)的檢測采取任何自動或駕駛者輔助的動作，包括但不限于改變車輛200的速率、轉(zhuǎn)向車輛200、啟用或解除車輛200的一個或多個燈等。在一些實(shí)施例中，根據(jù)施工區(qū)的檢測，信號可由系統(tǒng)100輸出，該系統(tǒng)100指示施工區(qū)已經(jīng)被檢測到和/或施工區(qū)模式被激活。在一些實(shí)施例中，根據(jù)施工區(qū)的檢測(和/或根據(jù)復(fù)雜的施工區(qū)的檢測)，由系統(tǒng)100進(jìn)行的對車輛200的自動控制或駕駛者輔助的控制可被禁用，使得車輛200的控制可返回給駕駛者。
圖13圖示了車輛200行進(jìn)在道路1300上并接近施工區(qū)的實(shí)施例。道路1300具有兩個車道1302和1304。車道1302由車道限制1306和1308界定，而車道1304由車道限制1310和1312界定。如指示車道限制1306、1308、1310和1312的粗體線所示，這些車道限制由系統(tǒng)100檢測。車道限制1306和1308分別通過畫出的車道線1320和1322被標(biāo)記在道路1300上，而車道限制1310和1312分別通過畫出的車道線1322和1324被標(biāo)記在道路1300上。
道路1300包括施工區(qū)或施工區(qū)域的幾個指示物，包括畫出的施工區(qū)車道線1326。在一些實(shí)施例中，施工區(qū)車道線可用與傳統(tǒng)車道線不同的顏色和/或式樣畫出。例如，在德國，黃色的車道線被畫在路上來指示施工區(qū)，而傳統(tǒng)車道線用白色畫出。如粗體線所指示的，系統(tǒng)100基于畫出的施工區(qū)車道線1326檢測施工區(qū)車道限制1314。根據(jù)施工區(qū)車道限制1314的檢測，系統(tǒng)100可使車輛200在由施工區(qū)車道限制1314而不是傳統(tǒng)車道限制界定的車道內(nèi)行駛。在一些實(shí)施例中，當(dāng)系統(tǒng)100檢測到車輛200在施工區(qū)中時，施工區(qū)車道線可優(yōu)先于傳統(tǒng)車道線。
道路1300可包括傳統(tǒng)施工區(qū)指示物，包括圓錐體1316，施工區(qū)指示物中的一些位于道路1300的表面上和車道1304內(nèi)。響應(yīng)于檢測圓錐體1316，系統(tǒng)100可使車輛200改變其路徑，以便避免圓錐體1316，如有必要改變行進(jìn)的車道中的定位或改變車道。響應(yīng)于檢測圓錐體1316，系統(tǒng)100可確定車輛200在施工區(qū)中或在其附近；激活施工區(qū)模式；輸出施工區(qū)信號；禁用車輛200的自動控制或駕駛者輔助控制；以及/或者通過改變其速率、轉(zhuǎn)向或采取任何其他適當(dāng)?shù)膭幼?諸如避免圓錐體1316)控制車輛200。
道路1300可包括額外的施工區(qū)指示物，包括施工路標(biāo)志1318a和1318b，其可指示施工區(qū)的存在和/或?yàn)轳{駛者指示在施工區(qū)中要遵循的指令(例如，減速、停止、合并、轉(zhuǎn)彎等)。系統(tǒng)100可通過一種方式檢測施工路標(biāo)志1318a和1318b，在該方式中系統(tǒng)可檢測任何或所有其他的交通標(biāo)志，并且該系統(tǒng)可響應(yīng)于施工路標(biāo)志1318a和1318b的檢測采取任何適當(dāng)?shù)膭幼?，包括確定車輛200在施工區(qū)中或在其附近；激活施工區(qū)模式；輸出施工區(qū)信號；禁用車輛200的自動控制或駕駛者輔助控制；以及/或者通過改變其速率、轉(zhuǎn)向或采取任何其他適當(dāng)?shù)膭幼?諸如根據(jù)施工路標(biāo)志上的指令)控制車輛200。
圖14是存儲器140或150的示例性框圖，該存儲器可儲存用于執(zhí)行與公開的實(shí)施例一致的一個或多個操作的指令。如圖14中所圖示的，存儲器140或150可儲存用于執(zhí)行本文中所描述的施工區(qū)檢測的一個或多個模塊。例如，存儲器140或150可儲存圖像獲取模塊1400、施工區(qū)指示物識別模塊1402、確定模塊1404、信號輸出模塊1406、車輛移動啟用模塊1408、和車輛控制禁用模塊1410。如本領(lǐng)域中的普通技術(shù)人員將認(rèn)識到的，以上列舉的模塊中的任意一個可與每個另外的模塊或其他模塊合并，與另外一個模塊或其他模塊接合，以及/或者被分成另外的模塊和/或子模塊。
在一些實(shí)施例中，處理單元110可執(zhí)行被儲存在存儲器140或150中的一個或多個模塊上的指令，并且處理單元110的執(zhí)行可使系統(tǒng)100執(zhí)行本文中所討論的方法。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100從相機(jī)(例如，圖像捕獲設(shè)備122、124和/或126)獲得(例如，以圖像獲取模塊1400)多個圖像，其中，當(dāng)相機(jī)安裝在車輛(例如，車輛200)上且當(dāng)車輛處于運(yùn)動狀態(tài)下時，該相機(jī)適于捕獲其視場內(nèi)的道路的圖像，對多個圖像應(yīng)用圖像處理以識別(例如，利用施工區(qū)指示物識別模塊1402)施工區(qū)的一個或多個指示物，以及，根據(jù)識別施工區(qū)的一個或多個指示物，輸出(例如，利用信號輸出模塊1406)輸出指示車輛接近施工區(qū)的信號。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100基于一個或多個指示物確定(例如，利用確定模塊1404)車輛接近施工區(qū)，并根據(jù)車輛接近施工區(qū)的確定，輸出(例如，利用信號輸出模塊1406)指示車輛接近施工區(qū)的信號。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100根據(jù)車輛接近施工區(qū)的確定使移動的車輛(例如，利用車輛移動啟用模塊1408)根據(jù)施工區(qū)指示物移動。
在一些實(shí)施例中，處理單元110可使系統(tǒng)100基于一個或多個指示物確定(例如，利用確定模塊1404)施工區(qū)是復(fù)雜的施工區(qū)，并根據(jù)施工區(qū)是復(fù)雜的施工區(qū)的確定，禁用(例如，利用車輛控制禁用模塊)自動車輛控制功能。
圖15說明了用于實(shí)施與公開的實(shí)施例一致的車道限制預(yù)測的過程1500。在一些實(shí)施例中，過程1500的步驟可通過圖13中所圖示的情況來進(jìn)行說明。根據(jù)一些實(shí)施例，過程1500可由導(dǎo)航系統(tǒng)100的一個或多個組件(諸如至少一個處理單元110)實(shí)施。根據(jù)一些實(shí)施例，過程1500可由與車輛200相關(guān)聯(lián)的系統(tǒng)100實(shí)施。
在步驟1502，在一些實(shí)施例中，系統(tǒng)接收與系統(tǒng)相關(guān)聯(lián)的移動的車輛附近的道路的多個圖像。在一些實(shí)施例中，一個或多個圖像使用至少一個圖像捕獲設(shè)備(諸如圖像捕獲設(shè)備122、124和/或126)被采集。多個圖像可通過諸如數(shù)據(jù)接口128的數(shù)據(jù)接口由系統(tǒng)接收。在圖13中所圖示的示例中，系統(tǒng)100可采集車輛200附近的道路1300的多個圖像。
在步驟1504，在一些實(shí)施例中，系統(tǒng)在多個圖像中識別施工區(qū)的一個或多個指示物。在一些實(shí)施例中，系統(tǒng)可使用圖像分析技術(shù)來對所接收的一個或多個圖像進(jìn)行處理，以檢測標(biāo)志、對象、其他車輛、標(biāo)記的車道線和周圍環(huán)境的任何其他對象或特性。在一些實(shí)施例中，某些標(biāo)志、標(biāo)記、車道線、對象和/或任何這樣檢測的方面的組合可由系統(tǒng)預(yù)定為施工區(qū)的指示物。在一些實(shí)施例中，圓錐體、圓筒體、閃光、桿、障礙物和/或存在于道路附近的標(biāo)記可由系統(tǒng)預(yù)定為施工區(qū)的指示物。在一些實(shí)施例中，預(yù)定的交通標(biāo)志，諸如那些承載的文字、符號或?qū)τ谥甘臼┕^(qū)已知的圖像，可由系統(tǒng)預(yù)定為施工區(qū)的指示物。在一些實(shí)施例中，車道線可由系統(tǒng)預(yù)定為施工區(qū)的指示物。例如，在德國，施工區(qū)可用畫在道路上的專用施工區(qū)車道線來標(biāo)記，施工區(qū)車道線可能是與傳統(tǒng)車道線不同的顏色或不同的外觀。系統(tǒng)可檢測車道線的顏色、外觀、定向和/或位置，其向系統(tǒng)指示該線是施工區(qū)車道線，并且系統(tǒng)可識別這樣的施工區(qū)車道線為施工區(qū)的指示物。
在圖13的示例中，系統(tǒng)100可識別圓錐體1316、施工路標(biāo)志1318a和1318b、和/或畫出的施工區(qū)車道線1326。在一些實(shí)施例中，這些元素中的任意一個或全部可由系統(tǒng)100預(yù)定或由系統(tǒng)100動態(tài)確定為施工區(qū)指示物。
在步驟1506，在一些實(shí)施例中，系統(tǒng)基于一個或多個指示物確定車輛是否接近施工區(qū)。在一些實(shí)施例中，系統(tǒng)可基于施工區(qū)指示物的(車輛、道路或車道的)附近確定車輛接近施工區(qū)。在一些實(shí)施例中，系統(tǒng)可基于相對于道路或車道的定向或位置假設(shè)車輛接近施工區(qū)。在一些實(shí)施例中，系統(tǒng)可根據(jù)一個或多個路標(biāo)志的內(nèi)容(例如，圖像、符號和/或文字)確定車輛接近施工區(qū)。在一些實(shí)施例中，最小閾值數(shù)量的施工區(qū)指示物必須在彼此的最大閾值時間內(nèi)被檢測，以便系統(tǒng)確定車輛接近施工區(qū)。在圖13的示例中，系統(tǒng)100可基于圓錐體1316、施工路標(biāo)志1318a和1318b和/或畫出的施工區(qū)車道線1326的同時檢測確定車輛200接近施工區(qū)。
在一些實(shí)施例中，如果在框1506處確定車輛不接近施工區(qū)，則方法1500可返回到步驟1502，并且可隨著時間的推移繼續(xù)采集道路的額外的圖像。
在一些實(shí)施例中，如果在框1506處確定車輛接近施工區(qū)，則方法1500可前進(jìn)到步驟1508。在步驟1508，在一些實(shí)施例中，根據(jù)車輛接近施工區(qū)的確定，系統(tǒng)輸出指示車輛接近施工區(qū)的信號。在一些實(shí)施例中，由系統(tǒng)100輸出的信號可以是電信號或電消息，其向系統(tǒng)的任何組件或向任何相關(guān)聯(lián)的系統(tǒng)通知施工區(qū)被檢測到。例如，信號可被發(fā)送到與系統(tǒng)相關(guān)聯(lián)的顯示器系統(tǒng)，或者信號可被發(fā)送到與系統(tǒng)在通信上耦合的任何其他本地系統(tǒng)或遠(yuǎn)程系統(tǒng)。在一些實(shí)施例中，信號可由車輛的駕駛者察覺。例如，信號可以是可見的信號(諸如計算機(jī)或娛樂系統(tǒng)顯示器上的發(fā)光指示物或顯示元素)、由揚(yáng)聲器系統(tǒng)發(fā)出的可聽信號和/或諸如振動的觸覺信號。
在步驟1510，在一些實(shí)施例中，根據(jù)車輛接近施工區(qū)的確定，系統(tǒng)使移動的車輛能夠根據(jù)施工區(qū)指示物移動。在一些實(shí)施例中，響應(yīng)于車輛接近施工區(qū)的確定，系統(tǒng)可使車輛根據(jù)所檢測到的施工區(qū)指示物加速、減速、轉(zhuǎn)向或以其他方式受控和移動。在一些實(shí)施例中，車輛可自動減速到降低的速率，以增加安全性。在一些實(shí)施例中，可使車輛轉(zhuǎn)向或改變車道，以便跟隨施工區(qū)車道線，避免圓錐體/圓筒體/桿/障礙物或其他施工區(qū)指示物，或者跟隨在指示施工區(qū)或與其相關(guān)聯(lián)的路標(biāo)志上所指示的指令。在圖13的示例中，系統(tǒng)100可修改車輛200的行進(jìn)的進(jìn)程，使得車輛200根據(jù)施工區(qū)車道線1326跟隨所檢測到的車道限制1314(而不是根據(jù)車道線1324所檢測到的車道限制1312)，避開圓錐體1316并遵守交通標(biāo)志1318(其包括指示車輛200向左合并的符號)。在一些實(shí)施例中，可使車輛200相應(yīng)地從車道1304向左合并到車道1302中。
在步驟1512，在一些實(shí)施例中，系統(tǒng)基于一個或多個指示物確定施工區(qū)是否是復(fù)雜的施工區(qū)。在一些實(shí)施例中，復(fù)雜的施工區(qū)可以是具有一個或多個預(yù)定的或動態(tài)確定的特性的施工區(qū)，該預(yù)定的或動態(tài)確定的特性通過系統(tǒng)與施工區(qū)相關(guān)聯(lián)，在該施工區(qū)中車輛的自主控制和/或駕駛者輔助控制可能是不安全的，其中，車輛的自主控制和/或駕駛者輔助控制可能是不可靠的或不可信賴的，或者其中，車輛的控制應(yīng)返回給車輛的駕駛者。在一些實(shí)施例中，復(fù)雜的施工區(qū)可以是車輛行駛于其上或其中的車道中或道路上存在阻礙的施工區(qū)。在一些實(shí)施例中，復(fù)雜的施工區(qū)可以是預(yù)定或動態(tài)確定的閾值數(shù)量的圓錐體/圓筒體/桿/障礙物或其他施工區(qū)指示物在彼此的閾值距離或閾值時間內(nèi)被檢測到的施工區(qū)。也就是說，在一些實(shí)施例中，當(dāng)施工區(qū)被密集填充了施工區(qū)指示物時，其可被確定為復(fù)雜的施工區(qū)。在圖13的示例中，在一些實(shí)施例中，道路1300可基于道路1300上的圓錐體1316的存在、車道1304中的圓錐體1316、所檢測到的圓錐體1316的最小閾值數(shù)量、和所檢測到的總的施工區(qū)指示物的最小閾值數(shù)量，由系統(tǒng)100確定為包含復(fù)雜的施工區(qū)。
在一些實(shí)施例中，如果在框1512處確定施工區(qū)不是復(fù)雜的施工區(qū)，則方法1500可返回到步驟1502，并可隨著時間的推移繼續(xù)采集道路的額外的圖像。
在一些實(shí)施例中，如果在框1512處確定施工區(qū)是復(fù)雜的施工區(qū)，則方法1500可前進(jìn)到步驟1514。在步驟1514，在一些實(shí)施例中，根據(jù)施工區(qū)是復(fù)雜的施工區(qū)的確定，系統(tǒng)可禁用自動車輛控制功能。在一些實(shí)施例中，駕駛者輔助功能可被禁用。在一些實(shí)施例中，完全自動駕駛功能可被禁用。在一些實(shí)施例中，車輛200的全部控制(例如，加速、減速、轉(zhuǎn)向等)可由系統(tǒng)100返回給車輛200的駕駛者。
出于說明的目的呈現(xiàn)了以上描述。該描述并不詳盡，但不限于公開的精確形式或?qū)嵤├?。從公開的實(shí)施例的規(guī)范和實(shí)踐的考慮，修改和調(diào)整對于本領(lǐng)域中的那些技術(shù)人員來說將是明顯的。另外，雖然公開的實(shí)施例的方面被表述為儲存在存儲器中，但本領(lǐng)域中的技術(shù)人員將認(rèn)識到，這些方面也可儲存在諸如二級儲存設(shè)備的其他類型的計算機(jī)可讀媒介中，例如，硬盤或cdrom，或者其他形式的ram或rom、usb媒介、dvd、blu-ray、或其他光驅(qū)動媒介。
基于書面的描述和公開的方法的計算機(jī)編程在有經(jīng)驗(yàn)的開發(fā)人員的技能的范圍內(nèi)。各種程序或程序模塊可使用與本領(lǐng)域中的技術(shù)人員已知的任何技術(shù)來創(chuàng)建，或者可結(jié)合現(xiàn)有的軟件來設(shè)計。例如，程序段或程序模塊能夠采用或通過.netframework、.netcompactframework(和有關(guān)的語言，諸如visualbasic、c等)、java、c++、面向?qū)ο蟮腸、html、html/ajax的組合、xml、或包括java小程序的html的方法來設(shè)計。此外，應(yīng)理解的是，本文中所描寫的程序模塊的功能不限于本文中所命名的特定類型的程序模塊，而是可在一個或多個模塊或其他軟件結(jié)構(gòu)之間以任何合適的方式來編程。
另外，雖然已經(jīng)在本文中對說明性的實(shí)施例進(jìn)行了描述，但實(shí)施例中的任意一個實(shí)施例或全部實(shí)施例的范圍具有如本領(lǐng)域中的那些技術(shù)人員基于本公開將所認(rèn)識到的等效的元素、修改、省略、組合(例如，跨各個實(shí)施例的方面的組合)、調(diào)整和/或改變。權(quán)利要求中的限制基于權(quán)利要求中所采用的語言被廣泛解釋，并且不限于在本說明書或在申請的貫徹期間所描述的示例。示例被解釋為非排他性。此外，公開的方法的步驟能夠以任何方式修改，包括通過重新排序步驟以及/或者插入或刪除步驟。因此，意圖是說明書和示例被認(rèn)為僅用于說明，真實(shí)范圍和精神由下面的權(quán)利要求及其等效形式的全部范圍指示。
- 還沒有人留言評論。精彩留言會獲得點(diǎn)贊！