用于使用多個傳感器進(jìn)行物體檢測的方法和系統(tǒng)的制作方法
【專利說明】用于使用多個傳感器進(jìn)行物體檢測的方法和系統(tǒng)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2014年4月25日提交的美國專利申請第14/262，269號的優(yōu)先權(quán)，其全部內(nèi)容通過引用結(jié)合于此。
【背景技術(shù)】
[0003]除非在本文中另有指示，否則本部分中描述的材料并不是本申請中的權(quán)利要求的現(xiàn)有技術(shù)，并且也不因包括在本部分中而被承認(rèn)是現(xiàn)有技術(shù)。
[0004]車輛可使用由車輛的傳感器繞著環(huán)境收集的信息導(dǎo)航行駛路線。因此，車輛的計算裝置可接收和處理由車輛傳感器提供的信息以便依照交通法規(guī)導(dǎo)航行駛路線并避開障礙物。自主車輛(autonomous vehicle)可使用傳感器操作，所述傳感器諸如激光、聲納、RADAR、相機(jī)以及其它掃描和記錄來自車輛的周遭的數(shù)據(jù)的裝置。

【發(fā)明內(nèi)容】

[0005]本申請公開了涉及使用多個傳感器進(jìn)行物體檢測(obiect detect1n)的方法和系統(tǒng)的實(shí)施例。
[0006]在一個示例中，本申請描述了一種方法。該方法可包括在計算裝置處以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數(shù)據(jù)的幀。該方法還包括在計算裝置處以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數(shù)據(jù)的幀。該方法還可包括，基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應(yīng)的第二多個幀的第一幀的一部分，確定車輛的環(huán)境中的一個或多個物體的多個參數(shù)。此外，該方法可包括，基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應(yīng)的第二多個幀的第一幀的至少后續(xù)部分，修改一個或多個物體的多個參數(shù)并將經(jīng)修改的一個或多個物體的多個參數(shù)提供給車輛的一個或多個系統(tǒng)。
[0007]在另一實(shí)施例中，本申請描述了一種非暫態(tài)計算機(jī)可讀介質(zhì)，其上存儲有在由計算裝置運(yùn)行后引起該計算裝置執(zhí)行功能的可運(yùn)行指令。所述功能可包括以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數(shù)據(jù)的幀。所述功能還可包括以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數(shù)據(jù)的幀。所述功能還可包括，基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應(yīng)的第二多個幀的第一幀的一部分，來確定車輛的環(huán)境中的一個或多個物體的多個參數(shù)。此外，所述功能可包括，基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應(yīng)的第二多個幀的第一幀的至少后續(xù)部分，來修改一個或多個物體的多個參數(shù)，并將經(jīng)修改的一個或多個物體的多個參數(shù)提供給車輛的一個或多個系統(tǒng)。
[0008]在又一實(shí)施例中，本申請描述了一種系統(tǒng)。所述系統(tǒng)可包括至少一個處理器。所述系統(tǒng)還可包括其上存儲有可運(yùn)行指令的存儲器，所述可運(yùn)行指令在由至少一個處理器運(yùn)行后引起該系統(tǒng)執(zhí)行包括以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數(shù)據(jù)的幀的功能。所述功能還可包括以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數(shù)據(jù)的幀。所述功能還可包括基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應(yīng)的第二多個幀的第一幀的一部分，來確定車輛的環(huán)境中的一個或多個物體的多個參數(shù)。此外，所述功能可包括基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應(yīng)的第二多個幀的第一幀的至少后續(xù)部分，來修改一個或多個物體的多個參數(shù)，并將經(jīng)修改的一個或多個物體的多個參數(shù)提供給車輛的一個或多個系統(tǒng)。
[0009]在另一實(shí)施例中，提供一種系統(tǒng)，其包括使用多傳感器進(jìn)行物體檢測的裝置。所述系統(tǒng)還可包括用于以第一幀率接收指示車輛的環(huán)境的第一多個傳感器數(shù)據(jù)的幀以及以第二幀率接收指示車輛的環(huán)境的第二多個傳感器數(shù)據(jù)的幀的裝置。所述系統(tǒng)還可包括如下裝置:該裝置用于基于在第一時間段的指示環(huán)境的第一多個幀的第一幀和與第一時間段相對應(yīng)的第二多個幀的第一幀的一部分，來確定車輛的環(huán)境中的一個或多個物體的多個參數(shù)。另外，所述系統(tǒng)還可包括用于基于在第二時間段的指示環(huán)境的第一多個幀的后續(xù)幀和與第二時間段相對應(yīng)的第二多個幀的第一幀的至少后續(xù)部分來修改一個或多個物體的多個參數(shù)的裝置，以及將經(jīng)修改的一個或多個物體的多個參數(shù)提供給車輛的一個或多個系統(tǒng)的裝置。
[0010]前述概要僅是說明性的，并且并不意在以任何方式進(jìn)行限制。除了上述的說明性方面、實(shí)施例及特征之外，進(jìn)一步的方面、實(shí)施例及特征將通過參考圖和下面的詳細(xì)描述變得明顯。
【附圖說明】
[0011 ] 圖1是依據(jù)示例實(shí)施例的示例車輛的簡要框圖。
[0012]圖2是依據(jù)示例實(shí)施例的示例車輛。
[0013]圖3是用于使用多個傳感器進(jìn)行物體檢測的示例方法的流程圖。
[0014]圖4是示出車輛的傳感器在一時間段內(nèi)輸出的數(shù)據(jù)的概念性圖示的示例圖。
[0015]圖5是示出車輛的傳感器在一時間段內(nèi)輸出的數(shù)據(jù)的概念性圖示的示例圖。
[0016]圖6是示出車輛的傳感器在一時間段內(nèi)輸出的數(shù)據(jù)的概念性圖示的另外的示例圖。
[0017]圖7是圖示示例計算機(jī)程序產(chǎn)品的概念性局部視圖的示意圖，該示例計算機(jī)程序產(chǎn)品包括用于在計算裝置上運(yùn)行計算機(jī)過程的計算機(jī)程序。
【具體實(shí)施方式】
[0018]以下詳細(xì)描述參考附圖對所公開的系統(tǒng)和方法的各種特征和功能進(jìn)行了描述。在圖中，除非上下文另外指出，否則相似的符號標(biāo)識相似的組件。本文中所描述的說明性系統(tǒng)和方法實(shí)施例并非意圖進(jìn)行限制。可容易理解，所公開的系統(tǒng)和方法的某些方面可以按多種不同的配置進(jìn)行布置和組合，所有這些都在本文中被設(shè)想到。
[0019]車輛，諸如自主或無人駕駛車輛，可在不需要駕駛員提供導(dǎo)引和控制的情況下導(dǎo)航行駛路線。為了確保安全行駛、遵守交通規(guī)則以及避開環(huán)境中的障礙物，車輛可利用由被配置為捕捉車輛環(huán)境的測量值的裝備有一類或多類傳感器的車輛傳感器系統(tǒng)提供的數(shù)據(jù)。除傳感器系統(tǒng)外，車輛還可包括一個或多個計算系統(tǒng)(即，計算裝置)，所述計算系統(tǒng)被配置為處理從車輛傳感器接收到的傳感器數(shù)據(jù)，并使用處理后的數(shù)據(jù)以及其它車輛系統(tǒng)來檢測物體、導(dǎo)航路線以及執(zhí)行安全、自主導(dǎo)航所需的其它必要動作。
[0020]在操作期間，各種傳感器可捕捉對車輛的環(huán)境的測量值，并以不同的速率、按不同的格式將傳感器數(shù)據(jù)提供給車輛的計算裝置。例如，計算裝置可以按傳感器數(shù)據(jù)幀的形式接收傳感器測量值，其中每一幀包含傳感器操作的特定時間段的一個或多個環(huán)境測量值。如此，隨著車輛操作，傳感器可將多個傳感器數(shù)據(jù)幀(例如，一系列傳感器數(shù)據(jù)幀)提供給車輛的計算系統(tǒng)，所述傳感器數(shù)據(jù)幀可反映環(huán)境的變化。
[0021]車輛的計算裝置可使用來自一個傳感器或多個傳感器的引入的傳感器數(shù)據(jù)幀來形成包含關(guān)于環(huán)境的信息的特征狀態(tài)。例如，計算裝置可確定反映環(huán)境中的物體的參數(shù)(例如，位置、速度、大小、加速度)和物體可能的軌跡的特征狀態(tài)。計算裝置可將軌跡與環(huán)境中的物體關(guān)聯(lián)起來，以估計物體相對于車輛的可能的近期位置。結(jié)果，車輛可使用其特征狀態(tài)，包括一般用于避障和導(dǎo)航的估計的物體軌跡。隨著車輛操作，計算裝置可持續(xù)處理新接收到的傳感器數(shù)據(jù)幀以便確定環(huán)境中的變化，并在導(dǎo)航期間基于所述變化更新其特征狀態(tài)以供使用。另外，傳感器數(shù)據(jù)幀可幫助計算裝置對環(huán)境中的物體以及雜波進(jìn)行識別和可能的分類。在一些情況下，傳感器數(shù)據(jù)幀可使得計算裝置也能夠確定其它信息。
[0022]然而，計算裝置可以按不同的速率(例如，不同的延遲水平)從多個傳感器接收傳感器數(shù)據(jù)幀。例如，計算裝置可以按高延遲水平從一個傳感器接收傳感器數(shù)據(jù)幀，并且可按低延遲水平或中延遲水平從另一傳感器接收傳感器數(shù)據(jù)幀。如此，在根據(jù)多個傳感器數(shù)據(jù)幀確定關(guān)于環(huán)境的信息之前，計算裝置可使用緩沖器來保持以快的速率(例如，低延遲)接收到的傳感器數(shù)據(jù)幀(例如，測量值)，直到接收到由其它傳感器以更慢速率(例如，高延遲)提供的在同時刻的指示環(huán)境的其它傳感器數(shù)據(jù)幀。這可能使計算裝置延遲來等待獲取與在同時刻的環(huán)境相對應(yīng)的所有傳感器數(shù)據(jù)幀，這可能阻止計算裝置完成分析，且可能進(jìn)一步引起自主導(dǎo)航的問題。
[0023]為了克服可能的延遲，計算裝置可使用回滾技術(shù)或其它類似策略來處理接收到的傳感器數(shù)據(jù)幀，所述回滾技術(shù)或其它類似策略可使得計算裝置能夠在車輛操作時更快且更有效地確定關(guān)于變化環(huán)境的物體檢測信息。使用回滾技術(shù)可使得計算裝置能夠避免等待和緩沖傳感器測量值。具體地，計算裝置可使用新接收到的傳感器數(shù)據(jù)來確定和更新其指示關(guān)于車輛周圍的環(huán)境的信息的特征狀態(tài)，并且在舊的、無序的傳感器測量值到達(dá)計算裝置時回滾到更舊的緩存位置中的先前采集的關(guān)于環(huán)境的信息(例如，先前的特征狀態(tài))?；貪L到緩存的關(guān)于環(huán)境的信息可降低緩沖延遲，且允許計算裝置更快地更新與環(huán)境中的物體相關(guān)聯(lián)的參數(shù)，包括物體的可能軌跡，同時保留存儲和計算能力。
[0024]另外，計算裝置可額外使用一個或多個數(shù)據(jù)關(guān)聯(lián)技術(shù)，諸如全局最近鄰(GNN)函數(shù)，來處理傳感器數(shù)據(jù)幀。計算裝置可對每個傳感器數(shù)據(jù)幀單獨(dú)執(zhí)行數(shù)據(jù)關(guān)聯(lián)技術(shù)，并且可在使用傳感器數(shù)據(jù)幀內(nèi)的測量值以及與相同時間段相對應(yīng)的其它傳感器數(shù)據(jù)幀的部分中的測量值的每個相應(yīng)的傳感器數(shù)據(jù)幀時刻之后，更新其關(guān)于附近環(huán)境的信息。
[0025]在示例實(shí)施例中，計算裝置可從車輛的多個傳感器接收指示環(huán)境的傳感器數(shù)據(jù)幀。計算裝置可使用完全從一傳感器接收的第一傳感器數(shù)據(jù)幀以及從其它傳感器接收的在與第一傳感器數(shù)據(jù)幀相同的時刻的與環(huán)境相對應(yīng)的其它傳感器幀的部分，來確定包括一個或多個物體的參數(shù)的關(guān)于環(huán)境的信息。如此，計算裝置可在無需緩沖的情況下使用接收到的傳感器數(shù)據(jù)幀和傳感器數(shù)據(jù)幀的部分來開始處理和確定關(guān)于環(huán)境的信息，而當(dāng)計算裝置被配置為在處理之前以較慢速率等待完全接收傳感器數(shù)據(jù)幀的情況下需要進(jìn)行緩沖。
[0026]此外，當(dāng)從車輛傳感器接收到新的傳感器數(shù)據(jù)幀或先前處理過的傳感器數(shù)據(jù)幀的后續(xù)部分時，計算裝置可更新其關(guān)于環(huán)境的信息。例如，計算裝置可使用在后續(xù)時刻從傳感器接收到的指示環(huán)境的后續(xù)傳感器數(shù)據(jù)幀和與后續(xù)時刻相對應(yīng)的其它傳感器數(shù)據(jù)幀的任何部分(包括以較慢速率接收的已被部分使用的傳感器數(shù)據(jù)幀的新接收到的部分)，來修改其關(guān)于環(huán)境的測量值，包括識別先前檢測到的物體的參數(shù)的任何變化或者檢測到新物體。計算裝置可將在新時刻的經(jīng)修改的指示環(huán)境的信息提供給車輛的系統(tǒng)以供導(dǎo)航期間使用。
[0027]現(xiàn)在將更詳細(xì)地描述本公開范圍內(nèi)的示例系統(tǒng)。通常，示例系統(tǒng)可實(shí)現(xiàn)在汽車上或可采取汽車的形式。然而，示例系統(tǒng)還可實(shí)現(xiàn)在其它車輛上或采取其它車輛的形式，諸如轎車、卡車、摩托車、公交車、船、飛機(jī)、直升機(jī)、割草機(jī)、休旅車、游樂園車輛、農(nóng)業(yè)設(shè)備、施工設(shè)備、有軌電車、高爾夫球車、火車和電車。此外，機(jī)器人裝置可被配置為執(zhí)行本文描述的方法和系統(tǒng)。其它車輛也是可能的。
[0028]現(xiàn)在參照圖，圖1是依據(jù)示例實(shí)施例的示例車輛100的簡化框圖。耦合到車輛100或包括在車輛100中的組件可包括推進(jìn)系統(tǒng)102、傳感器系統(tǒng)104、控制系統(tǒng)106、外圍設(shè)備108、電源110、計算裝置111以及用戶接口 112。計算裝置111可包括處理器113和存儲器114。計算裝置111可以是車輛100的控制器或控制器的一部分。存儲器114可包括處理器113可運(yùn)行的指令115，并且還可存儲地圖數(shù)據(jù)116。車輛100的組件可被配置為以與彼此互連和/或與耦合到各系統(tǒng)的其它組件互連的方式工作。例如，電源110可向車輛100的所有組件提供電力。計算裝置111可被配置為從推進(jìn)系統(tǒng)102、傳感器系統(tǒng)104、控制系統(tǒng)106和外圍設(shè)備108接收數(shù)據(jù)并對它們進(jìn)行控制。計算裝置111可被配置為在用戶接口112上生成圖像的顯示并從用戶接口 112接收輸入。
[0029]在其它示例中，車輛100可包括更多、更少或不同的系統(tǒng)，并且每個系統(tǒng)可包括更多、更少或不同的組件。此外，示出的系統(tǒng)和組件可以按任意種的方式進(jìn)行組合或劃分。
[0030]推進(jìn)系統(tǒng)102可被配置為為車輛100提供動力運(yùn)動。如圖所示，推進(jìn)系統(tǒng)102包括引