本發(fā)明總體涉及用于自動駕駛或用于輔助駕駛員的方法、系統(tǒng)和裝置，并且更具體地涉及用于對象檢測和跟蹤的方法、系統(tǒng)和裝置。

背景技術(shù)：

自主車輛和駕駛輔助系統(tǒng)目前被開發(fā)和部署以在車輛行駛的期間提供安全性，降低所需用戶輸入量或者甚至完全消除用戶參與。例如，如碰撞避讓系統(tǒng)的一些駕駛輔助系統(tǒng)可以在人員駕駛時監(jiān)測車輛的行駛、位置和速度以及其它對象。當(dāng)系統(tǒng)檢測到碰撞或撞擊迫近時，碰撞避讓系統(tǒng)可以干預(yù)并且應(yīng)用制動、車輛轉(zhuǎn)向或?qū)嵤┢渌茏尰虬踩圆倏v。作為另一示例，自主車輛可以在少量或沒有用戶輸入的情況下使車輛行駛和導(dǎo)航。然而，由于行駛涉及的危險以及車輛成本，自主車輛和行駛輔助系統(tǒng)安全操縱并且能夠準(zhǔn)確地導(dǎo)航道路、觀察它們的周圍環(huán)境以及避讓對象是非常重要的。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明，提供一種系統(tǒng)，系統(tǒng)包含：

配置用于獲得傳感器數(shù)據(jù)的兩個或多個傳感器；

配置為基于傳感器數(shù)據(jù)計算聯(lián)合概率圖形模型(joint-probabilisticgraphicalmodel)中的數(shù)值的模型部件，其中圖形模型包含對應(yīng)于隨機變量的節(jié)點以及表明節(jié)點間的相關(guān)性的邊緣；以及

推理部件，推理部件配置為基于傳感器數(shù)據(jù)和模型使用散列加權(quán)積分和求和(wish)算法檢測和跟蹤車輛附近的障礙物。

根據(jù)本發(fā)明的一個實施例，其中推理部件確定障礙物相對于車輛的速度、位置和速率中的一個或多個的置信邊界。

根據(jù)本發(fā)明的一個實施例，其中一個或多個節(jié)點對應(yīng)于描述通過兩個或多個傳感器觀察的區(qū)域的網(wǎng)格內(nèi)單元的占用；并且其中推理部件確定單元被對象占用的概率以及占用單元的對象的速率中的一個或多個。

根據(jù)本發(fā)明的一個實施例，其中一個或多個節(jié)點對應(yīng)于被兩個或多個傳感器檢測到的對象的一個或多個連續(xù)變量，其中連續(xù)變量包含障礙物的反射和光譜特征中的一個或多個。

根據(jù)本發(fā)明的一個實施例，其中一個或多個節(jié)點對應(yīng)于障礙物的一個或多個分類變量，其中分類變量包含對象類型和物質(zhì)類型(materialtype)中的一個或多個。

根據(jù)本發(fā)明的一個實施例，其中模型包含基于傳感器數(shù)據(jù)計算節(jié)點處的數(shù)值的函數(shù)，其中函數(shù)包含用于計算數(shù)值的預(yù)定機器學(xué)習(xí)參數(shù)。

根據(jù)本發(fā)明的一個實施例，其中模型包括一個或多個邊緣的聯(lián)合概率函數(shù)，該函數(shù)描述對應(yīng)于邊緣的節(jié)點在數(shù)學(xué)上如何關(guān)聯(lián)。

根據(jù)本發(fā)明的一個實施例，該系統(tǒng)進一步包含用于存儲聯(lián)合概率圖形模型的存儲部件。

根據(jù)本發(fā)明的一個實施例，該系統(tǒng)進一步包含學(xué)習(xí)部件，學(xué)習(xí)部件配置為基于通過一個或多個傳感器檢測到的障礙物的已知位置的機器學(xué)習(xí)以及基于與傳感器或車輛行駛相關(guān)的已知物理定律的因果或確定性約束而產(chǎn)生或改變模型的至少一部分。

根據(jù)本發(fā)明的一個實施例，其中兩個或多個傳感器包含光檢測和測距(激光雷達)系統(tǒng)、攝像系統(tǒng)、超聲系統(tǒng)、定位系統(tǒng)和車輪編碼器(wheelencoder)中的一個或多個。

根據(jù)本發(fā)明，提供一種利用計算裝置實施的方法，方法包含：

從兩個或多個傳感器接收關(guān)于車輛附近區(qū)域的傳感器數(shù)據(jù)；

存儲聯(lián)合概率圖形模型，聯(lián)合概率圖形模型基于兩個或多個傳感器將隨機變量以及隨機變量之間的關(guān)系建模，其中模型將車輛附近的區(qū)域在邏輯上分為網(wǎng)格，并且其中圖形模型的多個節(jié)點表示網(wǎng)格各單元的二元占用；以及

使用降維算法處理傳感器數(shù)據(jù)以及模型以檢測和跟蹤物理對象。

根據(jù)本發(fā)明的一個實施例，其中降維算法包含散列加權(quán)積分和求和(wish)算法。

根據(jù)本發(fā)明的一個實施例，該方法進一步包含向自動駕駛系統(tǒng)或自動輔助系統(tǒng)提供物理對象的位置或速率。

根據(jù)本發(fā)明的一個實施例，該方法進一步包含基于物理對象的檢測和跟蹤使用處理器選擇行駛路徑。

根據(jù)本發(fā)明的一個實施例，其中模型包含基于確定性約束以及概率值中的一個或多個所確定的參數(shù)，確定性約束基于車輛的物理定律，概率值是關(guān)于確定和跟蹤物理對象的置信度。

根據(jù)本發(fā)明的一個實施例，該方法進一步包含基于車輛經(jīng)歷的一個或多個行駛事件的機器學(xué)習(xí)而改變模型的至少一部分。

根據(jù)本發(fā)明，提供一種存儲指令的計算機可讀存儲介質(zhì)，指令在被一個或多個處理器執(zhí)行時使處理器：

從兩個或多個傳感器接收關(guān)于車輛附近區(qū)域的傳感器數(shù)據(jù)；

存儲聯(lián)合概率圖形模型，聯(lián)合概率圖形模型基于兩個或多個傳感器將隨機變量以及隨機變量之間的關(guān)系建模，以及

基于聯(lián)合概率圖形模型處理傳感器數(shù)據(jù)以檢測和跟蹤車輛附近的一個或多個物理對象，其中處理傳感器數(shù)據(jù)包含基于聯(lián)合概率圖形模型使用散列加權(quán)積分和求和(wish)算法處理。

根據(jù)本發(fā)明的一個實施例，該計算機可讀存儲介質(zhì)進一步包含配置為使處理器向車輛的自動駕駛系統(tǒng)或自動輔助系統(tǒng)提供一個或多個物理對象的位置或速率的指令。

根據(jù)本發(fā)明的一個實施例，其中處理傳感器數(shù)據(jù)包含基于通過模型表示的一種或多種虛擬環(huán)境處理傳感器數(shù)據(jù)。

根據(jù)本發(fā)明的一個實施例，其中模型將車輛附近的區(qū)域在邏輯上分成網(wǎng)格，并且其中圖形模型的多個節(jié)點表示網(wǎng)格各單元的占用，其中基于聯(lián)合概率圖形模型處理傳感器數(shù)據(jù)包含確定具有置信邊界的每個單元內(nèi)占用概率的處理。

附圖說明

參照下列附圖描述本發(fā)明的非限制性以及非窮盡的實施方式，其中在全部不同的視圖中相同的附圖標(biāo)記指代相同的部分，除非另有規(guī)定。由下列說明書和附圖將更好理解本發(fā)明的優(yōu)勢，其中：

圖1是說明車輛控制系統(tǒng)的實施方式的示意性框圖，該車輛控制系統(tǒng)包括自動駕駛/輔助系統(tǒng)；

圖2是說明示例道路環(huán)境俯視圖的示意圖；

圖3是根據(jù)一種實施方式說明傳感器融合算法的示意性框圖；

圖4是根據(jù)一種實施方式說明傳感器融合的示意性框圖；

圖5是根據(jù)一種實施方式說明傳感器融合部件的子部件的示意性框圖；

圖6是根據(jù)一種實施方式說明用于傳感器融合的方法的示意性框圖；以及

圖7是根據(jù)另一實施方式的傳感器融合的方法的示意性框圖。

具體實施方式

車輛上的多模態(tài)傳感器(攝像機、雷達、超聲波)的可用性容許系統(tǒng)以協(xié)同方式利用傳感器從而實施準(zhǔn)確和可靠的對象檢測和跟蹤，每個多模態(tài)傳感器具有它們獨特的優(yōu)勢和劣勢并且具有互補的性能。以增強它們的優(yōu)勢而并非它們的劣勢的方式使用多個傳感器需要高保真模型和先進的算法技術(shù)。如卡爾曼濾波器的現(xiàn)有的概率推理與建模技術(shù)被限制于高斯單峰動力學(xué)并且使用馬爾可夫鏈模型表示概率系統(tǒng)，該系統(tǒng)承受具有太過稀疏的采樣和低的安全保障的不足。

而且，傳感器融合算法(例如卡爾曼濾波器、馬爾可夫鏈蒙特卡羅(mcmc)采樣等)要么不可擴展或?qū)τ趯ο髾z測和跟蹤而言不夠準(zhǔn)確。mcmc技術(shù)仍是使用最廣泛的并且是統(tǒng)計推理的主力。遺憾的是，這樣的方法通常不能在結(jié)果的準(zhǔn)確性上提供嚴格保障。本發(fā)明公開的至少一些方法介紹統(tǒng)計推理的基本性新范式，該新范式非常不同并且有希望代替這些現(xiàn)存技術(shù)并且在問題域范圍內(nèi)產(chǎn)生了可證明的準(zhǔn)確性。

本發(fā)明提出基于針對傳感器融合問題的維度降低的推理和決策技術(shù)的應(yīng)用。最近開發(fā)的一個示例是通過散列加權(quán)積分和求和的技術(shù)或算法(weighted-integrals-and-sums-by-hashing，wish)，其在2013年由斯特凡諾·耶爾蒙、卡拉·戈麥斯、阿希什·薩伯瓦爾和巴特·塞爾曼呈現(xiàn)在國際機器學(xué)習(xí)協(xié)會的論文集(proceedingsoftheinternationalmachinelearningsociety)的“控制維數(shù)災(zāi)難：通過散列的離散積分和優(yōu)化(tamingthecurseofdimensionality:discreteintegrationbyhashingandoptimization)”中被公開，通過引用將其全部內(nèi)容結(jié)合于此。在一個實施例中，當(dāng)?shù)讓拥慕y(tǒng)計模型將概率信息與由領(lǐng)域知識(如物理定律)產(chǎn)生的因果或確定性的約束結(jié)合時，使用wish算法或其它降維算法非常有效。

在一個實施例中，本發(fā)明的方法可以理解為包括兩個或更多個等級。第一等級可以包括建立聯(lián)合概率圖形模型，該模型捕獲不確定性以及不同傳感器之間的關(guān)系。在一個實施例中，使用嚴格的理論分析與原則性實驗部分，從概率推理、約束優(yōu)化和機器學(xué)習(xí)獲取理念來創(chuàng)建聯(lián)合概率圖形模型。在一個實施例中，聯(lián)合概率圖形模型包括在其中建模的連續(xù)參數(shù)(例如速度、位置、速率等)以及離散參數(shù)(例如傳感器故障狀態(tài)、對象占用的區(qū)域等)。在一種實施方式中，這些參數(shù)實現(xiàn)了對象位置和速度的估計、用于確定發(fā)現(xiàn)位置和速度的置信度的度量和/或傳感器故障(置信度)的離散檢測/跟蹤?；谠撃Ｐ瞳@得的信息，如wish算法的推理技術(shù)之后可以被用于感知和理解車輛周圍的場景。wish算法的結(jié)果可以包括不同推理的置信邊界以及因此為系統(tǒng)提供概率安全?？梢悦靼椎氖牵跍?zhǔn)確性、穩(wěn)定性以及收斂率方面，與現(xiàn)有的蒙特卡羅估算技術(shù)相比，wish算法是更好的對象檢測方法并且高度可擴展和并行化。

在一個實施例中，為了產(chǎn)生用于特定傳感器/車輛系統(tǒng)的圖形模型，傳感器數(shù)據(jù)由設(shè)置在車輛上并且通過多個現(xiàn)實生活場景或在虛擬駕駛環(huán)境中創(chuàng)建的多個場景驅(qū)動的各種傳感器收集。從現(xiàn)實世界和虛擬世界場景收集的數(shù)據(jù)可以被用于開發(fā)聯(lián)合概率圖形模型。該模型可以包括通過深度學(xué)習(xí)構(gòu)思以及引入的物理系統(tǒng)知識開發(fā)的學(xué)習(xí)參數(shù)。wish算法之后可以被用于改善或定義參數(shù)。wish算法之后可以被用于針對如位置和車度的不同離散和連續(xù)跟蹤變量以及如傳感器故障的離散組成的場景中作出的推理和決策?？梢酝ㄟ^模型(或其它模式)獲得虛擬數(shù)據(jù)，該模型被開發(fā)并且用于測試算法的功能。通過與從虛擬環(huán)境獲得的地面實況的比較確定算法的準(zhǔn)確性。在虛擬測試之后，然后可以在各種場景收集的現(xiàn)實世界數(shù)據(jù)上測試該算法。執(zhí)行傳感器數(shù)據(jù)不同水平的融合的探索以分析針對不同應(yīng)用發(fā)生信息融合的最佳水平。

如上文所述，一個實施例的傳感器融合方法可以包括兩個層次的系統(tǒng)，該系統(tǒng)具有集中創(chuàng)建動態(tài)系統(tǒng)(例如車輛和傳感器)的單一聯(lián)合概率模型的第一部分以及可以基于該模型而用于推理出不同見解的第二部分。在一個實施例中，聯(lián)合概率圖形模型可以是硬編碼或可以使用人工智能或機器學(xué)習(xí)來學(xué)習(xí)和改變。

用于實施本發(fā)明呈現(xiàn)的傳感器融合的一種或多種方法與具有單個實施融合的模型的其它方法的狀態(tài)空間方法不同。由于融合發(fā)生在兩個等級，即在概率模型等級并且也在它之上的推理等級，因此用于實施傳感器融合的一種或多種方法與狀態(tài)空間過濾不同。此外，與現(xiàn)有系統(tǒng)不同，本發(fā)明提供的一種或多種方法提供推理安全性的定量置信測量。與現(xiàn)有技術(shù)相比，本發(fā)明的實施例是高度可擴展性、可并行、并且收斂明顯更快，這對于主動安全性而言都是有利的。因此，本發(fā)明通過融合來自多模塊傳感器的信息而實現(xiàn)了環(huán)境中障礙物的準(zhǔn)確檢測和跟蹤，從而幫助駕駛員輔助部件和自動駕駛能力的發(fā)展。

在下列說明中，參照附圖，附圖構(gòu)成了本發(fā)明的一部分并且以說明的方式示出了具體實施方式，本發(fā)明以該實施方式是可行的。應(yīng)理解的是，在不脫離本發(fā)明范圍的情況下可以使用其它實施方式并且可以做出結(jié)構(gòu)變化。說明書中提到的“一個實施例”、“實施例”、“示例實施例”等表明所描述的實施例可以包括具體的部件、結(jié)構(gòu)或特征，但并非每個實施例都一定包括該具體的部件、結(jié)構(gòu)或特征。而且，這樣的表述不一定指代相同的實施例。進一步地，當(dāng)與實施例相關(guān)聯(lián)地描述具體的部件、結(jié)構(gòu)或特征時，可以認為無論是否明確描述，在本領(lǐng)域技術(shù)人員的認知內(nèi)，可以改變與其它實施例相關(guān)的這樣的部件、結(jié)構(gòu)或特征。

本發(fā)明公開的系統(tǒng)、裝置和方法的實施方式可以包括和使用專用或通用計算機，包括計算機硬件，例如一個或多個處理器和系統(tǒng)存儲器，如下文更詳細地說明的。在本發(fā)明范圍內(nèi)的實施方式也可以包括用于實施或存儲計算機可執(zhí)行指令和/或數(shù)據(jù)結(jié)構(gòu)的物理和其它計算機可讀介質(zhì)。這樣的計算機可讀介質(zhì)可以是任何可用介質(zhì)，該介質(zhì)可以由通用或?qū)Ｓ糜嬎銠C系統(tǒng)訪問。存儲計算機可執(zhí)行指令的計算機可讀介質(zhì)是計算機存儲介質(zhì)(裝置)。傳送計算機可執(zhí)行指令的計算機可讀介質(zhì)是傳輸介質(zhì)。因此，通過示例而并非限制的方式，本發(fā)明的實施方式可以包含至少兩者不同類型的計算機可讀介質(zhì)：計算機存儲介質(zhì)(裝置)和傳輸介質(zhì)。

計算機存儲介質(zhì)(裝置)包括ram(隨機存取存儲器)、rom(只讀存儲器)、eeprom(電可擦除可編程只讀存儲器)、cdrom(只讀光盤存儲器)、固態(tài)驅(qū)動器(“ssd”)(例如基于ram)、閃存存儲器、相變存儲器(“pcm”)、其它類型的存儲器、其它光盤存儲、磁盤存儲或其它磁性存儲裝置或可以被用于存儲所需程序代碼的以計算機可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)的形式并且可以由通用或?qū)Ｓ糜嬎銠C訪問的任何其它介質(zhì)。

本發(fā)明公開的裝置、系統(tǒng)和方法的實施方式可以通過計算機網(wǎng)絡(luò)通信?！熬W(wǎng)絡(luò)”限定為在計算機系統(tǒng)和/或模塊和/或其它電子裝置之間實現(xiàn)電子數(shù)據(jù)傳輸?shù)囊粋€或多個數(shù)據(jù)連接。當(dāng)通過網(wǎng)絡(luò)或另外的通信連接(硬接線、無線或硬接線或無線的組合)傳輸或提供信息時，計算機將該連接完全看作傳輸介質(zhì)。傳輸介質(zhì)可以包括網(wǎng)絡(luò)和/或數(shù)據(jù)連接，該連接可以被用于承載以計算機可執(zhí)行指令或數(shù)據(jù)結(jié)構(gòu)形式并且可以由通用或?qū)Ｓ糜嬎銠C訪問的所需程序代碼裝置。上述這些的組合也應(yīng)包括在計算機可讀介質(zhì)的范圍內(nèi)。

計算機可執(zhí)行指令包含如指令和數(shù)據(jù)，指令和數(shù)據(jù)在處理器中執(zhí)行時使通用計算機、專用計算機或?qū)Ｓ锰幚硌b置執(zhí)行特定的函數(shù)或函數(shù)的群組。計算機可執(zhí)行指令可以是例如匯編語言或者甚至是源代碼的二進制中間格式指令。雖然該主題以特定語言描述為結(jié)構(gòu)組件和/或方法邏輯動作，但應(yīng)理解的是在所附權(quán)利要求中限定的主題不一定必須限定為上文所述的組件或動作。而是以實施權(quán)利要求的示例形式公開所述組件和動作。

本領(lǐng)域技術(shù)人員可以明白的是，本發(fā)明可以實施在具有多種類型的計算機系統(tǒng)配置的網(wǎng)絡(luò)計算環(huán)境中，包括儀表板中的計算機、個人計算機、臺式計算機、膝上型計算機、消息處理器、手持式設(shè)備、多處理器系統(tǒng)、基于微處理器或可編程的消費電子產(chǎn)品、網(wǎng)絡(luò)pc、小型計算機、大型計算機、移動電話、pda、平板電腦、尋呼機、路由器、交換機、各種存儲設(shè)備等。本發(fā)明也可以實施在分布式系統(tǒng)環(huán)境中，其中通過網(wǎng)絡(luò)連接(通過硬接線數(shù)據(jù)連接、無線數(shù)據(jù)連接或通過硬接線和無線數(shù)據(jù)連接的組合)的本地和遠程計算機系統(tǒng)兩者都執(zhí)行任務(wù)。在分布式系統(tǒng)環(huán)境中，編程模塊可以位于本地和遠程存儲裝置兩者中。

進一步地，在合適的情況下，本發(fā)明描述的函數(shù)可以在下列中的一個或多個中執(zhí)行：硬件、軟件、固件、數(shù)字部件或模擬部件。例如，一個或多個專用集成電路(asic)可以被編程用于實施這里所述的系統(tǒng)和程序中的一個或多個。在整個下列說明和權(quán)利要求中所使用的特定術(shù)語用于指代特定計算機部件。如本領(lǐng)域技術(shù)人員明白的，部件可以由不同的名稱指代。本發(fā)明并非意在區(qū)分名字不同而功能相同的部件。

現(xiàn)在參照附圖，圖1示出了包括自動駕駛/輔助系統(tǒng)102的車輛控制系統(tǒng)100。該自動駕駛/輔助系統(tǒng)102可以用于自動化或控制車輛操作或用于為人類駕駛員提供輔助。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛的制動、轉(zhuǎn)向、加速、照明、報警、駕駛員通知、無線電或任何其它輔助系統(tǒng)中的一個或多個。在另一示例中，自動駕駛/輔助系統(tǒng)102不能提供任何駕駛控制(例如轉(zhuǎn)向、加速或制動)，但可以提供通知和警報以輔助人類駕駛員安全駕駛。自動駕駛/輔助系統(tǒng)102包括傳感器融合部件104，傳感器融合部件104可以基于對應(yīng)于控制系統(tǒng)100的車輛圖形模型以及通過一個或多個傳感器收集的數(shù)據(jù)來檢測或跟蹤對象。例如，傳感器融合部件104可以推理與車輛附近的物理對象相關(guān)的位置、速度、速率、對象類型或任何其它細節(jié)。此外，傳感器融合部件104也可以確定關(guān)于物理對象或障礙物的一個或多個細節(jié)的置信水平。

車輛控制系統(tǒng)100也包括用于檢測附近對象存在或確定主車輛(例如包括車輛控制系統(tǒng)100的車輛)的位置的一個或多個傳感器系統(tǒng)/裝置。例如，車輛控制系統(tǒng)100可以包括一個或多個雷達系統(tǒng)106、一個或多個激光雷達系統(tǒng)108、一個或多個攝像系統(tǒng)110、全球定位系統(tǒng)(gps)112和/或一個或多個超聲系統(tǒng)114。一個或多個傳感器系統(tǒng)/裝置可以包括任何其它傳感器，例如用于檢測車輛速度和/或車輛車輪轉(zhuǎn)動距離的車輪編碼器以及用于檢測其它對象或檢測車輛位置或運動的其它傳感器。

車輛控制系統(tǒng)100可以包括用于存儲與導(dǎo)航和安全性相關(guān)或有用的數(shù)據(jù)——例如行駛記錄、地圖數(shù)據(jù)或其它數(shù)據(jù)——的數(shù)據(jù)存儲器116。在一個實施例中，數(shù)據(jù)存儲器116可以存儲對系統(tǒng)100建模的聯(lián)合概率模型，該模型包括系統(tǒng)100的任何傳感器。車輛控制系統(tǒng)100也可以包括與移動或無線網(wǎng)絡(luò)、其它車輛、基礎(chǔ)設(shè)施或任何其它通信系統(tǒng)無線通信的收發(fā)器118。車輛控制系統(tǒng)100可以包括用于控制車輛行駛的各方面的車輛控制致動器120，例如電動馬達、開關(guān)或用于控制制動、加速、轉(zhuǎn)向等的其它致動器。車輛控制系統(tǒng)100也可以包括一個或多個顯示器122、揚聲器124或其它設(shè)備，從而可以向人類駕駛員或乘客提供通知。顯示器122可以包括平視顯示器、儀表板顯示或指示器、顯示屏幕或任何其它視覺指示器，顯示器可以被車輛的駕駛員或乘客看到。揚聲器124可以包括車輛聲音系統(tǒng)的一種或多種揚聲器或可以包括專用于駕駛員通知的揚聲器。

可以明白的是，僅以示例的方式給出圖1的實施例。在不脫離本發(fā)明范圍的情況下，其它實施例可以包括更少或另外的部件。此外，在沒有限制的情況下所示的部件可以組合或包括在其它部件中。例如，傳感器融合部件104可以與自動駕駛/輔助系統(tǒng)102分開并且可以將數(shù)據(jù)存儲器116包括為自動駕駛/輔助系統(tǒng)102的部分和/或傳感器融合部件104的部分。

雷達系統(tǒng)106可以包括本領(lǐng)域熟知的任何雷達系統(tǒng)。雷達系統(tǒng)106操作和性能是總體熟知的。總體上，雷達系統(tǒng)106通過傳輸無線電信號以及檢測對象的反射而操作。在地面應(yīng)用中，雷達可以被用于檢測物理對象，例如其它車輛、停車障礙或停車輪擋、地形(例如有樹、懸崖、巖石、山地等)、道路邊緣、標(biāo)志、建筑或其它對象。雷達系統(tǒng)106可以使用反射無線電波以確定關(guān)于物理對象或物質(zhì)的尺寸、形狀、距離、表面質(zhì)地或其它信息。例如，雷達系統(tǒng)106可以掃過區(qū)域以獲得關(guān)于雷達系統(tǒng)106的特定范圍以及查看角度內(nèi)的對象的數(shù)據(jù)。在一個實施例中，雷達系統(tǒng)106配置用于產(chǎn)生來自車輛附近區(qū)域的感知信息，例如車輛附近或圍繞車輛的一個或多個區(qū)域。例如，雷達系統(tǒng)106可以獲得關(guān)于緊鄰車輛或在車輛附近的地面或垂直區(qū)域的范圍的數(shù)據(jù)。雷達系統(tǒng)106可以包括諸多商業(yè)可用雷達系統(tǒng)中的一種。在一個實施例中，雷達系統(tǒng)106可以向自動駕駛/輔助系統(tǒng)102提供包括二維或三維地圖或模型的感知數(shù)據(jù)以參照或處理。

激光雷達系統(tǒng)108可以包括本領(lǐng)域已知的任何激光雷達系統(tǒng)。激光雷達系統(tǒng)的操作原理和性能總體是熟知的。總體上，激光雷達系統(tǒng)108通過發(fā)射可見波長或紅外波長激光以及檢測對象對激光的反射來操作。在地面應(yīng)用中，激光可以被用于檢測物理對象，例如其它車輛、停車障礙或停車輪擋、地形(例如有樹、懸崖、巖石、山地等)、道路邊緣、標(biāo)志、建筑或其它對象。激光雷達系統(tǒng)108可以使用反射激光以確定關(guān)于物理對象或物質(zhì)的尺寸、形狀、距離、表面質(zhì)地或其它信息。激光雷達系統(tǒng)108可以掃過區(qū)域以獲得激光雷達系統(tǒng)108的特定范圍以及查看角度內(nèi)的數(shù)據(jù)或?qū)ο?。例如，激光雷達系統(tǒng)108可以獲得關(guān)于緊鄰車輛或在車輛附近的地面或垂直區(qū)域的范圍的數(shù)據(jù)。激光雷達系統(tǒng)108可以包括諸多商業(yè)可用激光雷達系統(tǒng)中的一種。在一個實施例中，激光雷達系統(tǒng)108可以提供包括檢測對象或表面的二維或三維模型或地圖的感知數(shù)據(jù)。

攝像系統(tǒng)110可以包括一個或多個攝像機，例如可見波長攝像機或紅外攝像機。攝像系統(tǒng)110可以提供視頻反饋或周期圖像，可以針對對象檢測、道路識別和定位或其它檢測或定位來處理該視頻反饋或周期圖像。在一個實施例中，攝像系統(tǒng)110可以包括兩個或多個攝像機，攝像機可以被用于提供視野內(nèi)對象的測距(例如檢測距離)。

gps系統(tǒng)112是一個實施例的定位系統(tǒng)，該系統(tǒng)基于衛(wèi)星或無線電塔信號提供車輛的地理位置。gps系統(tǒng)112是本領(lǐng)域熟知的并且廣泛應(yīng)用。雖然gps系統(tǒng)112可以提供非常精確的定位信息，但gps系統(tǒng)112總體很少或不提供關(guān)于車輛與其它對象之間的距離的信息。然而，它們僅提供位置，之后將該位置與例如地圖的其它數(shù)據(jù)比較，從而確定與關(guān)注的其它對象、道路或位置的距離。

超聲系統(tǒng)114可以被用于檢測對象或使用超聲波檢測車輛與對象之間的距離。例如，超聲系統(tǒng)114可以從保險杠上或其附近的位置或車輛側(cè)板位置處發(fā)射超聲波?？梢栽诳諝庵幸苿佣叹嚯x的超聲波可以被其它對象反射并且被超聲系統(tǒng)114檢測到?；诎l(fā)射和接收反射超聲波之間的時間量，超聲系統(tǒng)114能夠檢測主車輛和其它車輛或任何其它對象之間的準(zhǔn)確距離。由于其較短的范圍，超聲系統(tǒng)114更多用于在停車期間檢測對象、在行駛期間檢測迫近的碰撞或在車輛停車或行駛期間檢測車輛周圍或?qū)ο蟆?/p>

在一個實施例中，來自雷達系統(tǒng)106、激光雷達系統(tǒng)108、攝像系統(tǒng)110和超聲系統(tǒng)114的數(shù)據(jù)可以被傳感器融合部件104處理，從而快速和準(zhǔn)確地獲得關(guān)于附近對象的信息，例如它們的位置、相對于車輛的速度、行駛方向、形狀等。在一個實施例中，與任何單一傳感器系統(tǒng)(或任何單一傳感器類型)可以單獨獲得的信息相比，傳感器融合部件104獲得關(guān)于對象的更準(zhǔn)確信息。

數(shù)據(jù)存儲器116存儲地圖數(shù)據(jù)、行駛歷史、概率圖形模型和/或其它數(shù)據(jù)，其它數(shù)據(jù)包括其它導(dǎo)航數(shù)據(jù)、設(shè)置或用于自動駕駛/輔助系統(tǒng)102的操作指令。地圖數(shù)據(jù)可以包括關(guān)于道路、停車場、停車點或車輛可以行駛或停放的任何其它位置的位置數(shù)據(jù)，例如gps位置數(shù)據(jù)。例如道路位置數(shù)據(jù)可以包括關(guān)于特定車道的位置數(shù)據(jù)，特定車道是例如車道方向、合并車道、高速路或高速公路車道、出口車道或任何其它車道或道路分支。位置數(shù)據(jù)也可以包括停車場內(nèi)的每個停車點的位置或沿道路的停車點的位置。在一個實施例中，地圖數(shù)據(jù)包括關(guān)于一個或多個結(jié)構(gòu)、或道路或停車位置上或其附近的對象的位置數(shù)據(jù)。例如，地圖數(shù)據(jù)可以包括關(guān)于gps標(biāo)志位置、橋位置、建筑或其它結(jié)構(gòu)位置等的數(shù)據(jù)。在一個實施例中，地圖數(shù)據(jù)可以包括精確度在幾米或在次米級精確度內(nèi)的精確的位置數(shù)據(jù)。該地圖數(shù)據(jù)也可以包括路徑、泥土路、或被車道車輛行駛的其它道路或路徑的位置數(shù)據(jù)。

行駛歷史(或駕駛歷史)可以包括車輛過去行程或停車位置的位置數(shù)據(jù)和/或傳感器數(shù)據(jù)。例如，行駛歷史可以包括先前行程或所選取的路徑的gps位置數(shù)據(jù)。作為另一示例，行駛歷史可以包括與車道線、標(biāo)志、道路邊界線或道路上或附近的其它對象或特征的距離或相對位置數(shù)據(jù)?？梢曰趃ps數(shù)據(jù)、雷達數(shù)據(jù)、激光雷達數(shù)據(jù)、攝像機數(shù)據(jù)或在由車輛選取的先前或過去行程期間所收集的其它傳感器數(shù)據(jù)確定距離或相對位置數(shù)據(jù)。如又一示例，行駛歷史可以包括關(guān)于車輛所經(jīng)歷的事件的詳細傳感器數(shù)據(jù)，包括所產(chǎn)生的事件。在一個實施例中，自動駕駛/輔助系統(tǒng)102配置為針對車輛所選取的任何行程或駕駛以及在車輛所選取的任何行程或駕駛期間把行駛數(shù)據(jù)記錄到數(shù)據(jù)存儲器116。

收發(fā)器118配置為從一個或多個其它數(shù)據(jù)或信號源接收信號。收發(fā)器118可以包括配置為依據(jù)各種通信標(biāo)準(zhǔn)和/或使用各種不同頻率通信的一種或多種無線電。例如，收發(fā)器118可以從其它車輛接收信號。從另一車輛接收信號在這里也可以被稱作車輛到車輛(v2v)的通信。在一個實施例中，收發(fā)器118也可以用于向其它車輛傳輸信息，從而潛在地輔助他們定位車輛或?qū)ο?。在v2v通信期間，收發(fā)器118可以從其它車輛接收關(guān)于它們的位置、其它交通、事故、道路狀況、停車障礙的位置或停車輪擋、或可以輔助車輛和/或自動駕駛/輔助系統(tǒng)102精確或安全行駛的任何其它細節(jié)的信息。

收發(fā)器118可以從位于固定位置的其它信號源接收信號。在一個實施例中，從固定位置處的設(shè)備或塔接收或發(fā)送位置數(shù)據(jù)在這里被稱作車輛到基礎(chǔ)設(shè)施(v2x)的通信。在一個實施例中，術(shù)語v2x通信也可以包含v2v的通信。

在一個實施例中，收發(fā)器118可以通過移動網(wǎng)絡(luò)或蜂窩連接發(fā)送和接收位置數(shù)據(jù)、傳感器數(shù)據(jù)、決策數(shù)據(jù)或任何其它數(shù)據(jù)。例如，收發(fā)器118可以接收關(guān)于概率圖形模型的更新數(shù)據(jù)或關(guān)于傳感器的其它配置數(shù)據(jù)。在一個實施例中，收發(fā)器118可以發(fā)送和接收關(guān)于對象檢測和跟蹤的數(shù)據(jù)，以存儲在遠程服務(wù)器上，例如作為改善傳感器融合算法的云服務(wù)的部分。

在一個實施例中，自動駕駛/輔助系統(tǒng)102配置用于控制主車輛的行駛或?qū)Ш?。例如，自動駕駛/輔助系統(tǒng)102可以控制車輛控制致動器120以在道路、停車場、行車道或其它位置上行駛路徑。例如，自動駕駛/輔助系統(tǒng)102可以基于通過任何部件106-108所提供的信息或感知數(shù)據(jù)來確定行駛的路徑和速度。在一個實施例中，傳感器融合部件104配置用于作出關(guān)于障礙物細節(jié)的推理或決策。例如，傳感器融合部件104可以向?qū)Ш交蛐旭傁到y(tǒng)提供關(guān)于對象的位置、速度或其它信息，從而避讓對象。

圖2是道路200的示意性俯視圖，道路200具有行駛在道路200上的車輛202。車輛202可以包括圖1的系統(tǒng)100。在一個實施例中，如車輛攝像系統(tǒng)110的一個或多個傳感器可以具有以弧形虛線表示的查看區(qū)域204。查看區(qū)域僅是說明性的并且可以沿車輛202周圍的任何方向或全部方向擴展。而且，基于傳感器的類型、定向等，被傳感器覆蓋的區(qū)域可以更大或更小。車輛202或車輛202的傳感器融合部件104可以接收傳感器數(shù)據(jù)并且做出關(guān)于對象的位置、速度等的推理，傳感器數(shù)據(jù)包括與查看區(qū)域204內(nèi)的對象、表面等相關(guān)的數(shù)據(jù)。在一個實施例中，可以基于在查看區(qū)域204內(nèi)收集的數(shù)據(jù)通過車輛202來確定特定對象的存在或環(huán)境屬性。在一個實施例中，車輛202可以處理傳感器數(shù)據(jù)以檢測和跟蹤另一車輛208、標(biāo)志210或212、相交的道路214、道路中的碎片、動物、人或其它對象。在一個實施例中，查看區(qū)域204可以在邏輯上被細分為多個區(qū)域或單元以產(chǎn)生邏輯網(wǎng)格?？梢酝ㄟ^檢測特定單元內(nèi)的對象來實施對象的檢測。之后車輛202可以基于在那里是否檢測到對象或障礙物而獲知是否避讓該單元。

除感知數(shù)據(jù)之外，車輛202可以從存儲地圖、存儲的行駛歷史或從無線信號獲得信息。例如，示出位于道路200附近的基礎(chǔ)設(shè)施收發(fā)器206，收發(fā)器206可以提供具體定位、環(huán)境屬性細節(jié)或關(guān)于車輛的其它信息。如進一步的示例，車輛202可以從如車輛208的其它車輛或無線通信網(wǎng)絡(luò)接收信息?；诮邮盏降男畔?，車輛202可以確定關(guān)于一個或多個檢測到的對象的位置、速度、標(biāo)識等或可以更新算法或聯(lián)合概率圖形模型。

圖3是示出數(shù)據(jù)流和傳感器融合運算組件的示意框圖?？梢葬槍鞲衅魅诤蠌睦走_、攝像機、超聲、gps和/或其它傳感器接收傳感器數(shù)據(jù)。聯(lián)合概率圖形模型包括節(jié)點、邊緣或反映獨立(或非獨立)關(guān)系的連接以及反映每個節(jié)點或節(jié)點間關(guān)系的概率的圖表或數(shù)值。例如，一個或多個節(jié)點可以表示關(guān)于特定傳感器的測量傳感器數(shù)值并且一個或多個其它節(jié)點可以表示特定區(qū)域的二元占用。

聯(lián)合概率圖形模型中關(guān)于關(guān)系(邊緣)和節(jié)點的數(shù)值和組織可以反映車輛或傳感器系統(tǒng)連續(xù)和離散的部件或方法。例如，連續(xù)部件或參數(shù)可以包括如在車速、距離、位置、x坐標(biāo)、y坐標(biāo)、z坐標(biāo)、速率等的不同數(shù)值的連續(xù)數(shù)字上選取的那些。離散部件或參數(shù)的示例可以包括在如傳感器故障狀態(tài)、對象識別(如車輛、動物、行人、騎行者、路緣、樹木、碎片等)、邏輯網(wǎng)格(存在或不存在)中單元的占用等的兩個或多個特定數(shù)值(例如真/假的預(yù)定狀態(tài)或多種識別類別中的一個)上選取的那些。

聯(lián)合概率圖形模型中的關(guān)系和節(jié)點的數(shù)值和組織可以包括使用機器學(xué)習(xí)確定或更新的數(shù)值。例如，在創(chuàng)建模型期間，可以基于在機器學(xué)習(xí)期間檢測的關(guān)系和數(shù)值來創(chuàng)建或改變節(jié)點間的數(shù)值和/或關(guān)系。機器學(xué)習(xí)可以被用于處理與一種或多種關(guān)系的已知(或準(zhǔn)確)數(shù)值相關(guān)的大量實際傳感器數(shù)據(jù)，該關(guān)系是車輛之后檢測或跟蹤的。在一個實施例中，利用具有描述節(jié)點間的相關(guān)性或關(guān)系的未知或估計的參數(shù)的函數(shù)產(chǎn)生單向圖形模型。使用機器學(xué)習(xí)，可以確定或改善未知或估計參數(shù)的數(shù)值。例如，在確定圖形模型結(jié)構(gòu)之后，可以使用wish算法在現(xiàn)實世界或虛擬世界傳感器數(shù)據(jù)中迭代以產(chǎn)生未知或估計的參數(shù)的數(shù)值。

而且，在行駛事件發(fā)生之后，當(dāng)獲得更多的細節(jié)和準(zhǔn)確性之后，通過傳感器融合獲得的任何推理的精確性比較可以與之后獲得的更多細節(jié)或準(zhǔn)確性進行比較(例如在事件結(jié)束并且獲得更準(zhǔn)確的結(jié)果之后)。為了改進與行駛事件相關(guān)的模型的準(zhǔn)確性，可以對聯(lián)合概率模型作出改善。

在聯(lián)合概率圖形模型中的關(guān)系和節(jié)點的數(shù)值和組織可以包括反應(yīng)車輛、傳感器系統(tǒng)和/或特定傳感器的動態(tài)和不確定性的數(shù)值。例如，關(guān)系可以表明通過一個傳感器測量的關(guān)于特定對象的數(shù)值如何與通過不同傳感器(例如不同傳感器類型)測量的關(guān)于相同特定對象的數(shù)值相關(guān)。而且，該數(shù)值可以反映傳感器的測量結(jié)果如何根據(jù)溫度、照度、天氣狀況等而變化。由于下列兩個原因可以產(chǎn)生動態(tài)系統(tǒng)的不確定性：第一是表示系統(tǒng)狀態(tài)的傳感器測量中的噪音；以及第二是系統(tǒng)自身狀態(tài)中的噪音(例如系統(tǒng)不能根據(jù)限定其運動的模型移動(例如車輛以直線行駛))。

在聯(lián)合概率圖形模型中的關(guān)系和節(jié)點的數(shù)值和組織可以反應(yīng)物理定律，物理定律約束車輛或傳感器系統(tǒng)的操作。例如，車輛(或其它對象)運動方面的物理限制以及傳感器的物理限制也可以由聯(lián)合概率圖形模型中的數(shù)值、關(guān)系和節(jié)點來反映。例如，為了消除現(xiàn)實世界中不可行的結(jié)果而基于車輛運動和/或傳感器的物理定律和限制來產(chǎn)生描述節(jié)點間關(guān)系的邊緣函數(shù)。

之后可以基于聯(lián)合概率圖形模型使用推理和如wish算法的決策算法來處理傳感器數(shù)據(jù)。在一個實施例中，可以使用wish算法檢測車輛附近區(qū)域邏輯網(wǎng)格的一個或多個單元內(nèi)的對象的存在。許多隨機變量系統(tǒng)可以采用可行聯(lián)合配置(隨機變量設(shè)置)的實驗數(shù)據(jù)。由于推理通常需要配分函數(shù)的計算，配分函數(shù)是加權(quán)求和(其許多呈指數(shù))的配置，因此這樣存在問題。本發(fā)明所使用的wish算法使用少量比較容易優(yōu)化的問題與該難處理的問題近似(具有嚴格的近似邊界)。而且，wish算法可以針對行駛或車輛操作期間的高效計算并行。主要由于評估特定參數(shù)設(shè)置意味著重新計算配分函數(shù)，因此模型選擇進一步加劇了推理的維度問題。本發(fā)明給出的wish算法的應(yīng)用實現(xiàn)了針對新的多個傳感器平臺而言易處理和自動產(chǎn)生信息融合的模型，該模型在具有有限的領(lǐng)域知識時是尤其有用的，領(lǐng)域知識關(guān)于在給定情形下如何權(quán)衡來自不同傳感器的信息。

圖4是說明使用wish算法的一個實施例的傳感器融合的示意性框圖。雷達、激光雷達、攝像機、gps以及其它系統(tǒng)可以通過各信號接口提供信息。利用來自傳感器或測量系統(tǒng)的信息產(chǎn)生傳感器融合。傳感器融合可以使用卡爾曼濾波、粒子濾波、wish算法和/或深度學(xué)習(xí)算法以產(chǎn)生關(guān)于對象檢測、速度限制、行駛行為決策、概率或置信值或有助于自動駕駛/輔助系統(tǒng)102的其它值的推理值?；趥鞲衅魅诤陷敵龊?或關(guān)于事件的任何已知信息，可以驗證推理值的準(zhǔn)確性和/或更新傳感器融合算法。例如，可以基于現(xiàn)實或虛擬行駛事件期間收集的另外的數(shù)據(jù)更新概率圖形模型。

圖形模型可以用于為傳感器系統(tǒng)建模。在一個實施例中，該方法的概率圖形模型可能是無取向的圖形模型。圖形模型的節(jié)點可以包括隨機變量的集合。在一個實施例中，節(jié)點可以捕捉如占用(例如表示傳感器或車輛附近區(qū)域的邏輯網(wǎng)格單元的占用)的二元隨機變量、如物質(zhì)類型的分類變量、如反射率和光譜特征的連續(xù)變量等。邊緣可以描述成對隨機變量如何彼此相互關(guān)聯(lián)。例如，在圖形中的每個邊緣上，兼容性函數(shù)可以描述節(jié)點如何連接。通過機器學(xué)習(xí)產(chǎn)生的參數(shù)有助于描述這些函數(shù)，這些函數(shù)可以捕獲不同感測模式(例如激光雷達、雷達、攝像機等)的物理特征。

在一個實施例中，系統(tǒng)中的節(jié)點可以表示描述不同點和區(qū)域的占用的二元變量。例如，車輛附近區(qū)域可以在邏輯上被分為具有節(jié)點的網(wǎng)格，節(jié)點表示特定區(qū)域或網(wǎng)格單元內(nèi)的占用。邊緣可以包括描述兩個節(jié)點間數(shù)學(xué)關(guān)系的對應(yīng)聯(lián)合概率分布函數(shù)(pdf)。聯(lián)合pdf可以包括已知的參數(shù)(如不同傳感器測量的噪音水平)。另一示例是使用描述對象等的實質(zhì)特性的參數(shù)學(xué)習(xí)環(huán)境中不同對象隨著時間推移的特征尺度。

可以在圖形模型的制備和設(shè)計期間(例如在離線階段期間)使用wish算法和/或在車輛關(guān)于對象跟蹤和決策的主動操作期間(例如在線階段期間)使用wish算法。如本發(fā)明使用的，術(shù)語“在線”指的是傳感器系統(tǒng)主動地輔助車輛行駛，而術(shù)語“離線”指的是傳感器系統(tǒng)沒有主動效地輔助車輛行駛。例如，在完成圖形模型之前，可以將它作為離線階段的機器學(xué)習(xí)、測試等的模型。一經(jīng)該圖形模型被安裝在車輛內(nèi)，車輛就可以在在線階段期間在主動行駛場景中使用它。

在離線“學(xué)習(xí)”階段，可以將預(yù)收集的傳感器數(shù)據(jù)或模型化傳感器數(shù)據(jù)和圖形模型的結(jié)構(gòu)以及它的參數(shù)化而并非參數(shù)值提供給wish算法。wish算法以迭代的方式核對預(yù)收集的虛擬或現(xiàn)實數(shù)據(jù)而幫助學(xué)習(xí)圖形模型的參數(shù)。一經(jīng)學(xué)會該概率圖形模型參數(shù)，在車輛的主動行駛或操作期間(例如在線階段期間)，可以將來自各種傳感器的數(shù)據(jù)提供給wish算法。之后wish算法將來自傳感器的數(shù)據(jù)與圖形模型的結(jié)構(gòu)以及已知的參數(shù)結(jié)合地使用。wish算法處理該數(shù)據(jù)并且之后提供推理的輸出，推理的輸出包括特定網(wǎng)格單元占用的概率、它的速度或關(guān)于網(wǎng)格單元以及網(wǎng)格單元內(nèi)的對象的其它信息。之后在行駛期間可以使用該信息檢測和跟蹤車輛周圍的對象。

圖5是根據(jù)一個實施例說明傳感器融合部件104的子部件的示意性框圖。傳感器融合部件104包括傳感器數(shù)據(jù)部件502、模型部件504、推理部件506、通知部件508以及學(xué)習(xí)部件510。僅以說明的方式給出部件502-510并且并非在所有實施例中都包括部件502-510。事實上，一些實施例可以包括僅一個部件或部件502-510中的兩個或多個的任意組合。部件502-510中的一些可以位于傳感器融合部件104外部，例如位于自動駕駛/輔助系統(tǒng)102或其它位置內(nèi)。

傳感器數(shù)據(jù)部件502配置為從一個或多個傳感器接收傳感器數(shù)據(jù)。在一個實施例中，傳感器數(shù)據(jù)可以包括來自一個或多個感知傳感器的用于觀察車輛附近區(qū)域的感知數(shù)據(jù)。感知數(shù)據(jù)可以包括由攝像系統(tǒng)110、雷達系統(tǒng)106、激光雷達系統(tǒng)108、超聲系統(tǒng)114或任何其它系統(tǒng)中的一個或多個產(chǎn)生的數(shù)據(jù)。在一個實施例中，感知數(shù)據(jù)可以包括關(guān)于車輛附近的一個或多個區(qū)域的傳感器測量。傳感器數(shù)據(jù)也可以包括來自車輛上的一個或多個傳感器的信息，包括來自gps系統(tǒng)112、車輪編碼器或收集關(guān)于車輛的位置或運動的數(shù)據(jù)的任何其它系統(tǒng)的信息。

模塊部件504對車輛的感測系統(tǒng)建模，例如傳感器融合部件104或自動駕駛/輔助系統(tǒng)102所處的車輛。在一個實施例中，模型部件504可以存儲或計算模型操作、關(guān)系和/或車輛的多個傳感器的數(shù)值的圖形化模型。圖形模型可以包括對應(yīng)于一個或多個連續(xù)變量的節(jié)點，該連續(xù)變量的節(jié)點與通過兩個或多個傳感器檢測的對象相關(guān)，連續(xù)變量是例如障礙物的反射以及光譜特性。圖形模型可以包括對應(yīng)于關(guān)于障礙物的一個或多個分類變量的節(jié)點，例如對象類型和物質(zhì)類型。圖形模型可以包括對應(yīng)于一個或多個二元變量的節(jié)點，例如單元被對象占用。圖形模型可以包括一個或多個邊緣或表明節(jié)點表示的變量之間的關(guān)系的節(jié)點間的連接。在一個實施例中，模型可以包括基于傳感器數(shù)據(jù)計算節(jié)點處的值的函數(shù)。函數(shù)可以包括反應(yīng)機器學(xué)習(xí)或節(jié)點間或傳感器數(shù)據(jù)間的測量關(guān)系和/或傳感器測量和模型化變量之間的計算關(guān)系的一個或多個參數(shù)。在一個實施例中，可以基于現(xiàn)實世界或虛擬數(shù)據(jù)以及來自現(xiàn)實或虛擬環(huán)境的已知地面實況通過機器學(xué)習(xí)確定一個或多個參數(shù)。在一個實施例中，模型包括關(guān)于一個或多個邊緣的聯(lián)合概率函數(shù)，該函數(shù)描述對應(yīng)于邊緣的節(jié)點在數(shù)學(xué)上如何關(guān)聯(lián)。模型的參數(shù)可以被機器學(xué)習(xí)或可以基于確定性的約束和/或基于傳感器測量不確定性檢測和跟蹤物理對象的置信水平的概率值計算模型參數(shù)，確定性的約束基于車輛的物理定律。

在一個實施例中，車輛附近或周圍區(qū)域可以在邏輯上被分為具有多個單元的二維或三維網(wǎng)格。網(wǎng)格可以包括方形、圓形、橢圓形、球形或任何其它類型的網(wǎng)格。在一個實施例中，每個網(wǎng)格單元可以具有圖形模型中的對應(yīng)節(jié)點，該節(jié)點針對占用(例如單元內(nèi)對象的存在)、速度、物質(zhì)類型、對象識別或任何其它對象檢測和跟蹤信息而建模。例如，每個網(wǎng)格單元可以對應(yīng)于車輛附近特定的區(qū)域(例如具有關(guān)于車輛移動的固定位置)并且可以基于該模型以及最近收集的傳感器數(shù)據(jù)推理該單元的對象的一個或多個方面。

在一個實施例中，圖形模型可以存儲在計算機可讀介質(zhì)中，例如圖1的數(shù)據(jù)存儲器116。在一個實施例中，模型部件504可以從存儲器中檢索圖形模型。在一個實施例中，模型部件504可以基于最近的傳感器數(shù)據(jù)和模型中的函數(shù)計算關(guān)于圖形模型的每個節(jié)點的數(shù)值。例如，圖形模型可以包括變量，為了計算圖形模型的每個特定節(jié)點的值，傳感器測量可以代替該變量。模型部件504可以向推理部件506提供具有計算值的模型以推理關(guān)于被檢測對象的位置、速度、標(biāo)識或其它方面的信息。在一個實施例中，模型部件504可以向推理部件506提供模型和傳感器數(shù)據(jù)。

推理部件506配置用于推理關(guān)于障礙物的存在或不存在和/或被檢測障礙物的特性的信息。在一個實施例中，推理部件506配置為使用降維算法處理傳感器數(shù)據(jù)以及模型以檢測和跟蹤物理對象。例如，推理部件506可以確定對象(如車輛、人、動物、路緣、樹木或任何其它障礙物)是否存在于與車輛相關(guān)的特定位置。在一個實施例中，推理部件506可以確定對象的標(biāo)識、對象的速度或速率、對象的預(yù)期行為等。在一個實施例中，推理部件506可以確定特定推理的準(zhǔn)確的概率。

在一個實施例中，推理部件506可以使用wish算法處理傳感器數(shù)據(jù)和圖形模型以確定一個或多個推理。例如，推理部件506可以執(zhí)行模型和/或傳感器數(shù)據(jù)的散列和匯總以確定障礙物是否存在以及關(guān)于車輛的其它信息。

通知部件508可以配置用于向自動駕駛/輔助系統(tǒng)102提供通過推理部件506確定的一個或多個推理。例如，通知部件508可以向自動駕駛/輔助系統(tǒng)102提供對應(yīng)于車輛周圍區(qū)域的網(wǎng)格單元值。例如，每個單元可以包括表明占用、被檢測對象的速率、對象分類和/或概率、速率、或分類的概率值。在一個實施例中，自動駕駛/輔助系統(tǒng)102可以基于傳感器融合部件104提供的推理和概率作出決策。在一個實施例中，通知部件508可以向自動駕駛/輔助系統(tǒng)102提供物理對象的位置或速率。在一個實施例中，自動駕駛/輔助系統(tǒng)102可以基于物理對象的檢測和跟蹤選擇行駛路徑。

學(xué)習(xí)部件510配置用于執(zhí)行機器學(xué)習(xí)以更新傳感器融合部件104的操作。在一個實施例中，學(xué)習(xí)部件510配置用于更新模型部件504所使用的模型和算法。例如，學(xué)習(xí)部件510可以基于通過一個或多個傳感器檢測的障礙物的已知位置的機器學(xué)習(xí)以及基于與傳感器或車輛行駛相關(guān)的已知物理定律的因果或確定性約束來產(chǎn)生或改變模型的至少一部分。在一個實施例中，學(xué)習(xí)部件510可以基于車輛經(jīng)歷的一個或多個行駛事件的機器學(xué)習(xí)而改變模型的參數(shù)、函數(shù)或結(jié)構(gòu)。例如，在行駛事件期間，可以使用傳感器收集傳感器數(shù)據(jù)。在行駛事件期間，可以做出推理部件506確定的推理并且用于車輛行駛。在事件結(jié)束之后，附加信息是可用的，而該信息在事件期間不一定可用。例如可以執(zhí)行在事件期間關(guān)于真正發(fā)生了什么的更準(zhǔn)確的計算或者可以檢測事件的結(jié)果。使用該更準(zhǔn)確的附加信息或結(jié)果，學(xué)習(xí)部件510可以修改模型的參數(shù)或其它方面以改善模型部件504和推理部件506的操作。類似地，學(xué)習(xí)部件510可以更新推理部件506所使用的算法以基于傳感器數(shù)據(jù)和/或圖形模型推理細節(jié)。

現(xiàn)在參照圖6，示出了用于傳感器融合的方法600的示意性流程圖。方法600可以由自動駕駛/輔助系統(tǒng)或傳感器融合部件實施，例如圖1的自動駕駛/輔助系統(tǒng)102或圖1或5的傳感器融合部件104。

方法600在602處傳感器數(shù)據(jù)部件502獲得關(guān)于車輛附近區(qū)域的來自兩個或多個傳感器的傳感器數(shù)據(jù)開始。例如，傳感器數(shù)據(jù)部件502可以從雷達系統(tǒng)106、激光雷達系統(tǒng)108、攝像機系統(tǒng)110、gps112、超聲系統(tǒng)114、車輪編碼器或觀察車輛周圍區(qū)域的任何其它傳感器獲得傳感器數(shù)據(jù)602。在604，模型部件504基于傳感器數(shù)據(jù)計算聯(lián)合概率圖形模型中的數(shù)值。圖形模型可以包括對應(yīng)于隨機變量的節(jié)點和表明節(jié)點間相關(guān)性的邊緣。在一個實施例中，一個或多個函數(shù)可以描述如何基于傳感器數(shù)據(jù)以及與其它節(jié)點的關(guān)系計算節(jié)點值。在606，推理部件506基于傳感器數(shù)據(jù)和模型使用wish算法檢測和跟蹤車輛附近的障礙物。例如，推理部件506可以使用散列函數(shù)和加權(quán)求和檢測和跟蹤障礙物，從而估計車輛附近對象的檢測、位置和/或速率。

現(xiàn)在參照圖7，示出了關(guān)于傳感器融合的方法700的示意性流程圖?？梢岳米詣玉{駛/輔助系統(tǒng)或傳感器融合部件執(zhí)行方法700，例如圖1的自動駕駛/輔助系統(tǒng)102或圖1或5的傳感器融合部件104。

方法700在702以傳感器數(shù)據(jù)部件502從兩個或多個傳感器接收關(guān)于車輛附近區(qū)域的傳感器數(shù)據(jù)開始。在704模型部件504存儲聯(lián)合概率圖形模型，聯(lián)合概率圖形模型基于兩個或多個傳感器建模隨機變量和隨機變量之間的關(guān)系。在一個實施例中，模型在邏輯上將車輛附近的區(qū)域分成網(wǎng)格和表示網(wǎng)格各單元二元占用的圖形模型的多個節(jié)點。在706推理部件506使用降維算法處理傳感器數(shù)據(jù)和模型以檢測和跟蹤物理對象。例如，推理部件506可以使用wish算法處理傳感器數(shù)據(jù)和模型。

示例

下列示例屬于進一步的實施例。

示例1是包括配置用于獲得傳感器數(shù)據(jù)的兩個或多個傳感器的系統(tǒng)。該系統(tǒng)也包括模型部件和推理部件。該模型部件配置為基于傳感器數(shù)據(jù)計算聯(lián)合概率圖形模型中的數(shù)值。圖形模型包括對應(yīng)于隨機變量的節(jié)點以及表明節(jié)點間相關(guān)性的邊緣。推理部件配置為基于傳感器數(shù)據(jù)以及模型使用wish算法來檢測和跟蹤車輛附近的障礙物。

在示例2中，示例1的推理部件進一步確定障礙物相對于車輛的速度、位置和速率中一個或多個的置信邊界。

在示例3中，示例1-2任何一個的一個或多個節(jié)點對應(yīng)于描述被兩個或多個傳感器觀察的區(qū)域的網(wǎng)格內(nèi)單元的占用并且推理部件確定單元被對象占用的概率以及占用單元的對象的速率中的一個或多個。

在示例4中，示例1-3中任何一個的一個或多個節(jié)點對應(yīng)于通過兩個或多個傳感器檢測的對象的一個或多個連續(xù)變量。連續(xù)變量包括障礙物的反射和光譜特征中的一個或多個。

在示例5中，示例1-4中任何一個的一個或多個節(jié)點對應(yīng)于障礙物的一個或多個分類變量。分類變量包括對象類型和物質(zhì)類型中的一個或多個。

在示例6中，示例1-5中任何一個的模型包括基于傳感器數(shù)據(jù)計算節(jié)點值的函數(shù)。函數(shù)包括用于計算數(shù)值的預(yù)定機器學(xué)習(xí)參數(shù)。

在示例7中，示例1-6中任何一個的模型包括描述對應(yīng)于邊緣的節(jié)點在數(shù)學(xué)上如何相關(guān)聯(lián)的一個或多個邊緣的聯(lián)合概率函數(shù)。

在示例8中，示例1-7中任何一個的系統(tǒng)進一步包括用于存儲聯(lián)合概率圖形模型的存儲部件。

在示例9中，示例1-8中任何一個的系統(tǒng)進一步包括學(xué)習(xí)部件，學(xué)習(xí)部件配置為基于通過一個或多個傳感器檢測的障礙物已知位置的機器學(xué)習(xí)以及基于已知物理定律的因果或確定性約束產(chǎn)生或改變模型的至少一部分的，該物理定律與傳感器或車輛行駛相關(guān)。

在示例10中，示例1-9中任何一個的兩個或多個傳感器包括激光雷達系統(tǒng)、攝像系統(tǒng)、超聲系統(tǒng)、定位系統(tǒng)和車輪編碼器中的一個或多個。

示例11是由計算裝置實施的方法。該方法包括從兩個或多個傳感器接收關(guān)于車輛附近區(qū)域的傳感器數(shù)據(jù)。該方法包括存儲聯(lián)合概率圖形模型，該聯(lián)合概率圖形模型基于兩個或多個傳感器建模隨機變量和隨機變量間的關(guān)系。該模型將車輛附近的區(qū)域在邏輯上分成網(wǎng)格和表示網(wǎng)格各單元的二元占用的多個圖形模型節(jié)點。該方法包括使用降維算法處理傳感器數(shù)據(jù)和模型，從而檢測和跟蹤物理對象。

在示例12中，示例11的降維算法包括wish算法。

在示例13中，示例11-12中任何一個的方法進一步包括向自動駕駛系統(tǒng)或自動輔助系統(tǒng)提供物理對象的位置或速率。

在示例14中，示例11-13中任何一個的方法進一步包括基于物理對象的檢測和跟蹤使用處理器選擇行駛路徑。

在示例15中，示例11-14中任何一個的模型包括基于一個或多個確定性約束所確定的參數(shù)以及檢測和跟蹤物理對象的置信水平的概率值，該確定性約束基于車輛的物理定律。

在示例16中，示例11-15中任何一個的方法進一步包括基于車輛經(jīng)歷的一個或多個行駛事件的機器學(xué)習(xí)改變模型的至少一部分。

示例17是存儲指令的計算機可讀存儲介質(zhì)，指令在被一個或多個處理器執(zhí)行時使處理器：從兩個或多個傳感器接收關(guān)于車輛附近區(qū)域的傳感器數(shù)據(jù)；存儲聯(lián)合概率圖形模型，該聯(lián)合概率圖形模型基于兩個或多個傳感器將隨機變量以及隨機變量之間的關(guān)系建模；以及基于聯(lián)合概率圖形模型處理傳感器數(shù)據(jù)，從而檢測和跟蹤車輛附近的一個或多個物理對象。處理傳感器數(shù)據(jù)涉及基于聯(lián)合概率圖形模型使用wish算法的處理。

在示例18中，示例17的計算機可讀存儲介質(zhì)進一步包括使處理器向車輛的自動駕駛系統(tǒng)或自動輔助系統(tǒng)提供一個或多個物理對象的位置或速率的指令。

在示例19中，示例17-18中的任何一個的處理傳感器數(shù)據(jù)包括基于模型表示的一種或多種虛擬環(huán)境來處理傳感器數(shù)據(jù)。

在示例20中，示例17-19中的任何一個的模型將車輛附近的區(qū)域在邏輯上分成網(wǎng)格，以及圖形模型的多個節(jié)點表示網(wǎng)格的各單元的占用。基于聯(lián)合概率圖形模型處理傳感器數(shù)據(jù)包括處理以確定具有置信邊界的每個單元的占用概率。

示例21是包括用于實施或?qū)崿F(xiàn)示例1-20中的任何一個的方式的系統(tǒng)或裝置。

應(yīng)注意的是，上文說明的傳感器實施例可以包括計算機硬件、軟件、固件或它們的任何組合以實施它們的功能的至少一部分。例如，傳感器可以包括計算機代碼，計算機代碼配置為在一個或多個處理器中執(zhí)行并且可以包括通過計算機代碼控制的硬件邏輯/電路。本發(fā)明提供這些示例裝置的目的是說明而并非意在限制。本發(fā)明的實施例可以在進一步類型的裝置中實施，如圖相關(guān)領(lǐng)域技術(shù)人員所知道的。

本發(fā)明的實施例針對計算機程序產(chǎn)品，其包含存儲在任何計算機可用介質(zhì)上的邏輯(例如以軟件的形式)。這樣的軟件在一個或多個數(shù)據(jù)處理裝置內(nèi)運行時會引起裝置如本發(fā)明所描述地操作。

雖然上文描述了本發(fā)明的各種實施例，但應(yīng)理解的是，僅以示例的方式呈現(xiàn)該實施例，而并非是限制。相關(guān)領(lǐng)域技術(shù)人員可以明白的是，在不脫離本發(fā)明精神和范圍的情況下可以對本發(fā)明作出形式和細節(jié)上的各種變化。因此，不應(yīng)通過上述示例性實施例限制本發(fā)明的寬度和范圍，而僅應(yīng)根據(jù)下列權(quán)利要求及其等同的范圍來限定。上述說明為了描述和說明的目的而呈現(xiàn)。并非意在窮舉或?qū)⒈景l(fā)明限定為所公開的精確形式。根據(jù)上述教導(dǎo)，許多改變和變化是可行的。進一步地，應(yīng)指出的是，任何或全部前述可選的實施方式可以以任何所需組合使用以形成本發(fā)明另外的混合實施方式。

進一步地，雖然已經(jīng)描述和說明了本發(fā)明的特定實施方式，但本發(fā)明并非將特定形式或部分的設(shè)置限定為所述和所示的那樣。本發(fā)明的范圍通過本發(fā)明所附權(quán)利要求、本發(fā)明和不同申請中提出的任何未來的權(quán)利要求以及其等同的范圍限定。