融合雷達/攝像機物體數(shù)據(jù)和LiDAR掃描點的方法和裝置相關申請的交叉引用本申請要求2012年3月15日提交的美國臨時專利申請的優(yōu)先權日期的權益,其申請?zhí)枮?1/611,492,題目為“MethodsandApparatusofFusingRadar/CameraObjectDataandLiDARScanPoints”(融合雷達/攝像機物體數(shù)據(jù)和LiDAR掃描點的方法和裝置)。技術領域本申請總體上涉及融合車輛中的多個傳感器的輸出的系統(tǒng)和方法,并且特別地,涉及融合車輛中多個LiDAR傳感器的掃描點的系統(tǒng)和方法,其中響應于車輛中的雷達傳感器或觀察系統(tǒng)檢測到—物體,插入融合LiDAR傳感器掃描點的處理過程。
背景技術:許多新式車輛帶有物體檢測傳感器,其被用于允許碰撞警告或防止碰撞和其他主動安全應用。所述物體檢測傳感器可以使用多種檢測技術中的任一種,例如短程雷達、帶有圖像處理的攝像機、激光或LiDAR(激光雷達)、超聲等。所述物體檢測傳感器檢測主車輛路徑中的車輛及其他物體,并且應用軟件使用該物體檢測信息以提供警告或采取適當?shù)牟僮?。在許多車輛中,所述物體檢測傳感器被直接集成在車輛的前端或其他飾板上。為了使得應用軟件最優(yōu)地執(zhí)行,所述物體檢測傳感器必須與車輛適當?shù)貙R。例如,如果傳感器檢測到一實際上位于主車輛路徑內的物體,但由于傳感器未對準,傳感器判斷該物體稍微偏向主車輛路徑的左側,這可能對應用軟件有顯著影響。即使車輛上有多個前視物體檢測傳感器,將其適當?shù)貙R也是非常重要的,以將不一致的傳感器讀數(shù)最小化或去除。LiDAR傳感器是一種類型的傳感器,其有時用于車輛上以檢測車輛周圍的物體并提供距這些物體的距離。LiDAR傳感器可以提供被追蹤物體的航向,因此其是理想的,而其他類型的傳感器,例如觀察系統(tǒng)和雷達傳感器,通常不能夠這樣做。對于一種類型的LiDAR傳感器,物體反射被作為點群距離圖的一部分的掃描點被返回,其中在傳感器的視野中每隔1/2°便提供一單獨的掃描點。因此,如果在主車輛前方檢測到一目標車輛,可存在返回的多個掃描點以確定目標車輛距離主車輛的距離。車輛可以帶有多個LiDAR傳感器以提供車輛周圍360°的視野。所述多個LiDAR傳感器可以包括側視傳感器、后視傳感器和前視傳感器。每個傳感器都獨立于其他傳感器在各自的視野里追蹤物體。使用來自多個傳感器的掃描點返回,生成距離圖以追蹤接近主車輛的物體。對于帶有多個LiDAR傳感器的車輛,將返回多個點群圖,并且對于重疊的傳感器視野,該傳感器可追蹤同一物體。有必要對傳感器的掃描點圖進行組合,使得被傳感器追蹤的同一物體作為單個物體處理。2010年11月9日提交的申請?zhí)枮?2/942,456,標題為“SystemsandMethodsforTrackingObjects”(追蹤物體的系統(tǒng)和方法)的美國專利申請被轉讓給本申請的受讓者,在.比通過參考被引入,其介紹了使用LiDAR傳感器從主車輛監(jiān)控目標物體的距離和航向的技術。該應用限于單個的LiDAR傳感器,且沒有介紹對多個LiDAR傳感器的返回進行融合。
技術實現(xiàn)要素:依據(jù)本發(fā)明的教導,介紹了一種方法和系統(tǒng),用于對車輛上多個LiDAR傳感器的輸出進行融合,其包括響應于雷達傳感器和/或觀察系統(tǒng)檢測到一物體,插入融合處理過程。該方法包括提供LiDAR傳感器在先前采樣時間時檢測到的物體的物體檔案,其中該物體檔案標示了所檢測物體的位置、方向和速度。該方法將物體檔案中的物體模型從先前采樣時間投影(project,映射或預測)以提供預測物體模型。該方法還包括對當前采樣時間時在傳感器視野中檢測到的物體的多個掃描返回進行接收并從掃描返回中構造點云。然后該方法將點云中的掃描點分割為預測掃描群,其中每個群標示了傳感器檢測的物體。所述方法將預測群與預測物體模型進行匹配。所述方法讀取來自車輛上的雷達傳感器或觀察系統(tǒng)檢測到的目標數(shù)據(jù)并將該目標數(shù)據(jù)配準在分配給LiDAR傳感器掃描點的坐標系上。所述方法使用預測物體模型將目標數(shù)據(jù)與物體檔案中的物體模型進行匹配。所述方法使用匹配后的預測掃描群和匹配后的目標數(shù)據(jù)合并在先前采樣時間時被識別為獨立掃描群而現(xiàn)在被識別為單個掃描群的預測物體模型,并拆分在先前采樣時間里被識別為單個掃描群而現(xiàn)在在當前掃描時間內被識別為獨立掃描群的預測物體模型。所述方法還使用匹配后的預測掃描群和匹配后的目標數(shù)據(jù)創(chuàng)建新的物體模型并刪除將要失效的物體模型。所述方法基于合并的物體模型、拆分的物體模型、新的物體模型和刪除的物體模型提供物體模型更新,并使用更新后的物體模型更新當前采樣時間的物體檔案。方案1.一種用于對來自于車輛上的多個LiDAR傳感器的輸出進行融合的方法,所述方法包括:提供先前采樣時間時由LiDAR傳感器檢測到的物體的物體檔案,所述物體檔案具有標示由傳感器檢測到的物體的位置、方向和速度的物體模型;追蹤由傳感器檢測到的物體的物體模型;對被追蹤的物體檔案中的物體模型從先前采樣時間投影以提供預測物體模型;接收當前采樣時間時在傳感器的視野中檢測到的物體的多個掃描返回;從掃描返回中構造掃描點云;將掃描點云中的掃描點分割為預測掃描群,其中每個掃描群最初標示了傳感器檢測到的物體;將預測掃描群與預測物體模型進行匹配;讀取來自雷達傳感器或觀察系統(tǒng)檢測到的物體的物體數(shù)據(jù);將物體數(shù)據(jù)配準在分配給LiDAR傳感器掃描點的坐標系上;使用預測物體模型對物體數(shù)據(jù)與物體檔案中的物體模型進行匹配;使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)合并在先前采樣時間時被識別為獨立掃描群而現(xiàn)在在當前采樣時間時被識別為單個掃描群的預測物體模型;使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)拆分在先前采樣時間時被識別為單個掃描群而現(xiàn)在在當前采樣時間時被識別為獨立掃描群的預測物體模型;使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)為當前采樣時間時檢測到而在先前采樣時間時不存在的物體創(chuàng)建新的物體模型;使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)刪除在預測掃描群中不再存在的物體模型;基于合并的物體模型、拆分的物體模型、新的物體模型和刪除的物體模型,提供物體模型更新;以及使用物體模型更新對當前采樣時間的物體檔案進行更新。方案2.根據(jù)方案1的方法,其中,分割點云中的掃描點包括分離點云中的掃描點群使得群標示出正被追蹤的獨立物體。方案3.根據(jù)方案1的方法,其中,對預測掃描群和預測物體模型進行匹配包括生成使得掃描群與預測物體模型匹配的二部圖。方案4.根據(jù)方案3的方法,其中,生成二部圖包括在圖的頂點定位掃描點。方案5.根據(jù)方案3的方法,其中,合并預測物體模型和拆分預測物體模型包括將所述二部圖轉換為導出的二部圖,其顯示出正被合并或拆分的物體模型。方案6.根據(jù)方案5的方法,其中,將二部圖轉換為導出的二部圖包括為導出的二部圖計算權重和邊的基數(shù)(cardinality),其中,每個權重標示了從至少一個傳感器的一個掃描點至另一個傳感器的掃描點定位的位置變化,且邊定義了物體模型點和分割掃描點之間的匹配。方案7.根據(jù)方案6的方法,其中,將二部圖轉換為導出的二部圖包括將所述邊的基數(shù)與一閾值進行比較,并且如果基數(shù)大于閾值則突出顯示該邊,且如果邊沒有被突出顯示則移除該邊。方案8.根據(jù)方案7的方法,其中,刪除在預測掃描群中不再存在的物體模型包括刪除與被移除的邊關聯(lián)的物體模型。方案9.根據(jù)方案1的方法,其中,提供物體模型更新包括在貝葉斯網(wǎng)絡中針對先前時間幀至當前時間幀標示出物體數(shù)據(jù)、轉換參數(shù)、物體模型和掃描圖群。方案10.一種用于對來自于車輛上多個LiDAR傳感器的輸出進行融合的方法,所述方法包括:提供先前采樣時間時由LiDAR傳感器檢測到的物體的物體檔案,所述物體檔案具有標示由傳感器檢測到的物體的位置、方向和速度的物體模型;追蹤由傳感器檢測到的物體的物體模型;對被追蹤的物體檔案中的物體模型從先前采樣時間投影以提供預測物體模型;接收當前采樣時間時在傳感器的視野中檢測到的物體的多個掃描返回;從掃描返回中構造掃描點云;將掃描點云中的掃描點分割為預測掃描群,其中,每個掃描群最初標示了傳感器檢測到的物體;將預測掃描群與預測物體模型進行匹配;讀取來自雷達傳感器或觀察系統(tǒng)檢測到的物體的物體數(shù)據(jù);將物體數(shù)據(jù)配準在分配給LiDAR傳感器掃描點的坐標系上;使用預測物體模型對物體數(shù)據(jù)與物體檔案中的物體模型進行匹配;使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)合并在先前采樣時間時被識別為獨立掃描群而現(xiàn)在在當前采樣時間時被識別為單個掃描群的預測物體模型;以及使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)拆分在先前采樣時間時被識別為單個掃描群而現(xiàn)在在當前采樣時間時被識別為獨立掃描群的預測物體模型。方案11.根據(jù)方案10的方法,其中,分割點云中的掃描點包括分離點云中的掃描點群使得群標示出正被追蹤的獨立物體。方案12.根據(jù)方案10的方法,其中,對預測掃描群和預測物體模型進行匹配包括生成使得掃描群與預測物體模型匹配的二部圖。方案13.根據(jù)方案12的方法,其中,生成二部圖包括在圖的頂點定位掃描點。方案14.根據(jù)方案12的方法,其中,合并預測物體模型和拆分預測物體模型包括將所述二部圖轉換為導出的二部圖,其顯示出正被合并或拆分的物體模型。方案15.根據(jù)方案14的方法,其中,將二部圖轉換為導出的二部圖包括為導出的二部圖計算權重和邊的基數(shù),其中,每個權重標示了從至少一個傳感器的一個掃描點至另一個傳感器的掃描點定位的位置變化,且邊定義了物體模型點和分割掃描點之間的匹配。方案16.根據(jù)方案15的方法,其中,將二部圖轉換為導出的二部圖包括將所述邊的基數(shù)與一閾值進行比較,并且如果基數(shù)大于閾值則突出顯示該邊,且如果邊沒有被突出顯示則移除該邊。方案17.根據(jù)方案16的方法,其中,刪除在預測掃描群中不再存在的物體模型包括刪除與被移除的邊關聯(lián)的物體模型。方案18.根據(jù)方案10的方法,其中,提供物體模型更新包括在貝葉斯網(wǎng)絡中針對先前時間幀至當前時間幀標示出物體數(shù)據(jù)、轉換參數(shù)、物體模型和掃描圖群。方案19.一種用于對來自于車輛上的多個LiDAR傳感器的輸出進行融合的系統(tǒng),所述系統(tǒng)包括:用于提供先前采樣時間時由LiDAR傳感器檢測到的物體的物體檔案的設備,所述物體檔案具有標示由傳感器檢測到的物體的位置、方向和速度的物體模型;用于追蹤由傳感器檢測到的物體的物體模型的設備;用于對被追蹤的物體檔案中的物體模型從先前采樣時間投影以提供預測物體模型的設備;用于接收當前采樣時間時在傳感器的視野中檢測到的物體的多個掃描返回的設備;用于從掃描返回中構造掃描點云的設備;用于將掃描點云中的掃描點分割為預測掃描群的設備,其中每個掃描群最初標示了傳感器檢測到的物體;用于將預測掃描群與預測物體模型進行匹配的設備;用于讀取來自雷達傳感器或觀察系統(tǒng)檢測到的物體的物體數(shù)據(jù)的設備;用于將物體數(shù)據(jù)配準在分配給LiDAR傳感器掃描點的坐標系上的設備;用于使用預測物體模型對物體數(shù)據(jù)與物體檔案中的物體模型進行匹配的設備;用于使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)合并在先前采樣時間時被識別為獨立掃描群而現(xiàn)在在當前采樣時間時被識別為單個掃描群的預測物體模型的設備;和用于使用匹配后的預測掃描群和匹配后的物體數(shù)據(jù)拆分在先前采樣時間時被識別為單個掃描群而現(xiàn)在在當前采樣時間時被識別為獨立掃描群的預測物體模型的設備。方案20.根據(jù)方案19的系統(tǒng),其中,用于分割點云中的掃描點的設備分離點云中的掃描點群使得群標示出正被追蹤的獨立物體。通過下面的描述和所附的權利要求,并結合相應的附圖,本發(fā)明的其他特征將顯而易見。附圖說明圖1是跟在目標車輛后面的主車輛的示意圖,并顯示了主車輛上四個LiDAR傳感器的視野;圖2是用于對車輛上多個LiDAR傳感器的掃描點進行融合的融合系統(tǒng)的總體框圖;圖3(A)和(B)示出了LiDAR傳感器的掃描點;圖4是流程圖,顯示了用于配準多個LiDAR傳感器的掃描點的方法;圖5為物體后方的輪廓概率密度函數(shù);圖6是迭代界限最優(yōu)化圖;圖7是框圖,顯示了在新的LiDAR掃描點圖可得時,估計物體運動和更新物體模型的兩個交錯處理過程。圖8是正在被追蹤算法追蹤的物體的動態(tài)貝葉斯網(wǎng)絡;圖9是流程圖,顯示了多物體追蹤算法在單個時間步驟中的處理過程;圖10是二部圖,顯示了在圖9的圖中將掃描群與預測物體模型進行匹配的步驟中的預測物體模型點和分割掃描圖點;圖11是由圖10所示的二部圖生成的導出的二部圖;圖12是來自LiDAR傳感器、觀察系統(tǒng)和雷達傳感器的掃描點的示意圖;圖13是跟在目標車輛后面的主車輛的示意圖,并顯示了主車輛上LiDAR傳感器、雷達傳感器和觀察系統(tǒng)的視野;圖14是追蹤算法的概要流程圖,使得LiDAR傳感器使用來自雷達傳感器或觀察系統(tǒng)的插入;圖15是流程圖,示出了多物體追蹤算法的處理過程,其使用來自雷達傳感器或觀察系統(tǒng)的插入;圖16是二部圖,其示出了為所有的LiDAR掃描點、雷達傳感器返回和觀察系統(tǒng)圖像,對目標數(shù)據(jù)和物體模型進行匹配;圖17是從圖16中所示的二部圖中生成的導出的二部圖;圖18是二部圖,示出了通過提供使用觀察系統(tǒng)進行的匹配對兩個投影的物體模型進行合并;圖19是導出的二部圖,顯示了圖18中物體模型的匹配;圖20是二部圖,示出了通過使用觀察系統(tǒng)進行的匹配對投影物體模型進行拆分;圖21是導出的二部圖,示出了圖20中物體模型的匹配;圖22是二部圖,示出了通過使用雷達傳感器進行匹配的投影物體模型;圖23是導出的二部圖,示出了圖22中模型的匹配;和圖24是追蹤算法和使用來自雷達傳感器或觀察系統(tǒng)的插入信息進行模型更新的動態(tài)貝葉斯網(wǎng)絡。具體實施方式下面對本發(fā)明實施例的介紹是關于一種用于對來自于車輛上的多個LiDAR傳感器的輸出進行融合的系統(tǒng)和方法,其中通過雷達傳感器或觀察系統(tǒng)檢測到的物體插入融合處理過程,本質上僅是示例性的,絕不旨在限制本發(fā)明及其應用或使用。例如,本發(fā)明將被描述為對車輛上LiDAR傳感器的輸出進行融合。然而,本領域技術人員應當理解,本發(fā)明的融合處理過程可以具有除了車輛應用之外的應用。圖1示出了車輛系統(tǒng)10的概況,其包括跟在正被追蹤的目標車輛14后面的所示主車輛12。所述主車輛12包括4個LiDAR傳感器,即,帶有視野18的前視傳感器16、帶有視野22的后視傳感器20、帶有視野26的左視傳感器24和帶有視野30的右視傳感器28。如圖所示,所述傳感器16、24和28被安裝在車輛12的前方,并具有重疊的視野。如果一物體,例如目標車輛14,位于傳感器16、20、24和30中特定一個的視野內,則該傳感器返回標示該物體的多個掃描點。目標車輛14上的點32代表了來自傳感器16、24和28中每一個的從目標車輛14返回的掃描點。所述點32使用坐標轉換技術轉換為主車輛12上的車輛坐標系統(tǒng)(x,y),然后在車輛坐標系統(tǒng)中使用點32執(zhí)行物體檢測。如下所述,所述點32可以被用于限定目標車輛14的尾部造型。各傳感器16、20、24和28將會為傳感器檢測到的每個單獨物體提供一掃描點云。本發(fā)明提出了一種融合算法,其將來自每個傳感器16、20、24和28的輸出進行組合,使得當傳感器16、20、24和28追蹤相同的物體時,該物體作為單個目標處理,其中所述算法輸出每個被追蹤物體的位置、方向和速度。盡管該說明包括四個LiDAR傳感器,所提出的融合算法可以應用于具有重疊視野的任意數(shù)量和位置的多個LiDAR傳感器。在該圖中,目標車輛14的位置通過錨點34來表示,即為,掃描圖的中心。下列值用于表示在時間步驟t時目標車輛14的物體模型M。特別地,物體模型M限定相對縱向速度Vx,相對橫向速度Vy,橫向位移y和目標車輛航向ξ或目標對地速度向量的方向。值M是一系列由參數(shù)平均值mj和方差σ2所表示的高斯組分。所述平均值以多個超參數(shù)vj,ηj,kj和標記(例如,被訪問和到期)為特征。圖2是融合系統(tǒng)36的原理框圖,該系統(tǒng)用于對來自多個LiDAR傳感器(例如傳感器16、20、24和28)的掃描點云返回進行融合。方塊38代表左LiDAR傳感器24的掃描點云返回,方塊40代表右視LiDAR傳感器28的掃描點云返回,方塊42代表前視LiDAR傳感器16的掃描點云返回,且方塊44代表后視LiDAR傳感器20返回的掃描點云。在方塊46,來自LiDAR傳感器16、20、24和28的距離圖被配準并且構造出一360°距離圖(點云)。一旦配準了來自傳感器16、20、24和28的點云并在車輛坐標內形成360°點云,則在方塊48算法對來自多個目標的點云進行融合,這將在下面詳細介紹。在車輛坐標系內對目標融合之后,在方塊50,所述算法輸出目標的位置、方向和速度。在特別介紹對來自多個LiDAR傳感器的掃描點進行組合的融合處理過程之前,將先介紹在方塊46執(zhí)行的掃描點配準算法,以在與所述物體相應的物體模型M和當前掃描圖S可得時估計物體的運動。在許多車輛中,所述物體檢測傳感器被直接集成在車輛的前飾板上。這種安裝類型簡單、有效并且美觀,但有一個缺點,即沒有切實可行的方法以對傳感器的對準進行物理調節(jié)。因此,如果由于飾板的損壞或老化以及氣候導致的變形使得傳感器與車輛的實際航向沒有對準,則按照慣例沒有方法對該失準進行校正,除非更換包含傳感器的整個飾板組件。如下面將要介紹的,在方塊46執(zhí)行的坐標系配準對來自傳感器20、24和28的距離掃描點進行匹配以適應傳感器20、24和28的位置和方向上的可能漂移。當車輛12為新的時,傳感器20、24和28是初始校準的。如前所述,多種因素導致這些方向隨著時間而改變,因此,需要執(zhí)行一種處理過程以重新校準傳感器的方向,使得在視野26和30的重疊部分內檢測到的物體更加準確。本發(fā)明提出了一種期望最大化(EM)匹配算法以尋找多個LiDAR傳感器之間的變換式T,其定義了傳感器的方位角和x,y位置。例如,該算法將對從左視LiDAR傳感器24到右視LiDAR傳感器28的變換式T進行匹配,并且當在后續(xù)計算中變換式T匹配時,傳感器24和28將對齊。所述EM算法開始于選擇初始變換式值T0(其可以為0)、先前估計值、制造商提供的傳感器24和28之間的方向等等。然后該算法使用變換式T將左傳感器距離圖投影到右視LiDAR傳感器28的坐標系中。圖3表示了掃描點圖120,其中圓圈124代表左LiDAR傳感器24的掃描點返回,且橢圓126代表了右視LiDAR傳感器28的掃描點返回。圖3(A)顯示了所有的掃描點返回,且圖3(B)顯示了在圓圈122中為了少數(shù)的掃描點返回而放大的區(qū)域。圖3(B)顯示了如何使用箭頭128將左視LiDAR傳感器掃描點返回124映射至右視LiDAR傳感器掃描點返回126。通過使用當前可得的投影圖箭頭128的變換式T,左視LiDAR傳感器掃描點返回124被相對于右視LiDAR傳感器掃描點返回126進行移動以試圖使得二者重合。當前使用的變換式T對于當前的左視LiDAR傳感器24至右視LiDAR傳感器28的方向可能是不準確的,因此變換式T需要對于傳感器24和28的當前位置進行更新。算法使用當前變換式T以更新左傳感器掃描點sj和右傳感器掃描點mk之間的權重ajk,如下:其中內核函數(shù)K為:K(x)=1σ2πe-x22σ2.---(2)]]>然后可以使用修正后的權重ajk來確定新的變換式T′:接著將新的變換式T′與先前計算的變換式T進行比較,并基于它們之間的差,使用新的變換式T′重新計算權重ajk直到新計算的變換式T′與先前計算出的變換式T匹配,其中傳感器24和28已對齊。在某些情況下,用于對準掃描數(shù)據(jù)點的變換式T將充分大,它可能有助于增強公式(3)中T′的解。對于該示例,變換式T被定義為x′=T·x,其中x′=Rx+t,并且其中R是旋轉矩陣,和t是變換向量。在該分析中,假定:S=[S1,S2,…,SL]T,(4)M=[m1,m2,…,mN]T,(5)A=[ajk],(6)1=[1,1,…,1]T,(7)μS=1LSTAT1,---(8)]]>μm=1NMTA1,---(9)]]>S^=S-1μST,---(10)]]>M^=M-1μmT.---(11)]]>然后公式(3)中新變換式T′的解可以為:T′=[R′,t′],(12)其中:R′=UCV,(13)t′=μs-R′μm,(14)并且其中U和V被定義為下式奇異值分解的因子:USV=svd(S^TATM^),---(15)]]>并且C為:C=100det(UVT).---(16)]]>以上介紹的用于確定變換式T的EM算法可能只是局部最優(yōu)的并且對初始變換式值敏感??梢允褂昧W尤簝?yōu)化算法(PSO)尋找初始變換式T0來對該算法進行增強。在該優(yōu)化算法中,假設E為從左LiDAR傳感器24至右LiDAR傳感器28的合格變換式T的集合。所述算法根據(jù)合格變換式E的均勻分布隨機地產(chǎn)生N個粒子{ti/t,∈E},且每個粒子ti與歸一化的權重wi=1/N有關。對于每個粒子ti,所述EM算法被設置為最佳的變換式Ti,其中ti為初始值。假定權重wi為變換式Ti的兩個掃描之間的匹配百分比。然后該算法輸出帶有最佳匹配百分比的變換式Tk,作為從左LiDAR傳感器24至右LiDAR傳感器28的變換式的標稱值,其中wk=max(wi)。在大多數(shù)的情況中,從一個采樣時間至下一個采樣時間變換式T的變化通常是很小的,因此,不需要使用上述的用于計算對于變換式T的大變化的新變換式T′的復雜計算處理。特別地,如果從上述的PSO算法中估計出了標稱變換式Tn,則可以使用下列小計算量的EM匹配算法對變換式T的新估計值進行遞歸精煉。首先,將變換式Tn應用于右LiDAR傳感器28的每個掃描點:修正的變換式ΔT被確定為:并被定義為:x′=x-εy+tx,(19)y′=εx+y+ty,(20)其中變換式ΔT被模型化為(tx,ty,ε)并且其中先前的變換式ΔT0為(tx0,ty0,ε0)。然后公式(3)被替換為:并且其解為:tx′=Σj,kajk(xj′+ϵyk-xk)+λtx0Σj,kajk+λ,---(22)]]>其中:sj=(x′j,y′j),(23)mk=(xk,yk),(24)T′=t′x,t′y,ε′,(25)ty′=Σj,kajk(yj′+ϵxk-yk)+λty0Σj,kajk+λ,---(26)]]>ϵ′=Σj,kajk[(yj′-ty′-yk)xk-(xj′-tx′-xk)yk]+λϵ0Σj,kajk(xk2+yk2)+λ,---(27)]]>并且其中λ為權重因子,其可以根據(jù)先前估計被使用的程度來調節(jié)。圖4為一流程圖130,其顯示了對齊LiDAR傳感器的操作,例如,如上所述的LiDAR傳感器24和28。在方塊132,所述算法選擇如制造商設置的初始變換式Tn。在方塊134,所述算法采集來自LiDAR傳感器24和28的掃描距離圖數(shù)據(jù),并在判決菱形136處確定來自LiDAR傳感器24和28視野中的物體的掃描點的數(shù)量是否充分以足以執(zhí)行計算。如果掃描點不夠,則該算法返回方塊134以采集更多的距離圖數(shù)據(jù)。如果在判決菱形136處掃描點足夠多,則在方塊138該算法使用EM匹配算法以尋找修正后的變換式ΔT。然后在判決菱形140所述算法確定修正后的變換式ΔT是否大于預定閾值,并且如果是,則在方塊142使用PSO算法采用該大的變換式估計值以尋找新的標稱變換式Tn。如果在判決菱形140處匹配百分比不大于閾值,貝所述算法返回至方塊134以采集接下來的掃描點。返回至融合算法,下面的介紹首先介紹了一種提出的掃描點配準算法,其在給定相應于目標車輛14的物體模型M和當前掃描圖S時,估計目標車輛14的運動。上述關于EM算法的介紹提供了空間匹配,所述EM算法用于確定對齊所述LiDAR傳感器之間的坐標系的變換式T,特別是,不同LiDAR傳感器在同一時刻的兩個坐標系之間的匹配。所述關于掃描點配準的介紹還使用一點集配準算法以尋找變換式T,其對當前掃描圖S和從過去的掃描圖中得出的物體模型M之間的兩個坐標系在時間上匹配。首先定義概率物體模型M,且然后提供提出的迭代算法以尋找一固定變換式,使得概率值為最大,給定后續(xù)幀的掃描圖。為了表征物體的幾何形狀,定義采樣空間R2中的輪廓概率分布函數(shù)(PDF)。圖5顯示了目標車輛14后部的示例PDF的瞬態(tài)圖(快照)。不是使用某些參數(shù),PDF直接表示為一系列粒子(圓點),標記為M=(m1,m2,…,mnM)T。表示PDF的該非參數(shù)方法可以記為:p(x;M)=1nMΣj=1nMKσ(x-mj),---(28)]]>其中x∈R2,為高斯內核函數(shù),并且σ>0為一平滑參數(shù),稱為帶寬或帕曾(Parzen)窗的尺寸。假定y為變換式Ty的參數(shù)。運算符被定義為帶有參數(shù)y的變換操作符Ty(·)以及相應的逆變換1(·)。不失一般性,所述物體模型M可以被認為在原點34對中。在后續(xù)幀中,位于y的物體可以通過PDF表征為:p(x;y,M)=1nMΣj=1nMKσ(Ty-1(x)-mj).---(29)]]>假定S=(s1,s2,…,sns)T為包含一系列掃描點sk的當前掃描圖。概率函數(shù)可以表示為:L(S;y,M)=ΠK=1nsρ(Ty-1(sk);M),---(30)]]>其中假設掃描點sk為物體模型M在位置y的獨立且分布相同的樣本。此處的目的是要尋找相對于變換式參數(shù)y的L(S;y,M)最大值,其相當于尋找J(y;M)≡-LogL(S;y,M)最小值,如下:y*argminyJ(y;M),(31)其中:J(y;M)=Σk=1ns-log(1nmΣj=1nMKσ(Ty-1(sk)-mj)).---(32)]]>該局部最小值指示出了在接下來的幀中出現(xiàn)物體,其具有類似在原點34定義的p(x;M)的表示。引入一輔助的矩陣A≥{akj},其中akj≥0,j=1,…,nM且k=1,…,ns,其中:對有所有的kΣj=1nmakj=1,---(33)]]>因此,公式(32)變?yōu)椋篔(y;M)=Σk=1ns-log(Σj=1nMakjKσ(Ty-1(sk)-mj)akj),---(34)]]>≤-Σk,jakjlogKσ(Ty-1(sk)-mj)akj,---(35)]]>≡J(A,y;M)。(36)在公式(32)中,歸一化因子被并入一忽略的常數(shù)項。對公式(34)應用詹恩遜不等式(jensen′sinequality)得到公式(36)。假設負對數(shù)函數(shù)為凸的,則可以通過對公式(36)求導和拉格朗日乘子(Lagrangemultiplier)約束得出公式(36)的最佳上限J*(y;M),見公式(33),相對于akj,并設置為0。最優(yōu)輔助變量可以表示為:akj=Kσ(Ty-1(sk)-mj)Σj′=1nMKσ(Ty-1(sk)-mj′),---(37)]]>j=1,…,nM和k=1,…,ns。因此,公式(31)可以通過“邊界最優(yōu)化”來迭代計算出,其在相對于輔助矩陣A,變換式T的參數(shù)y,和內核函數(shù)σ的帶寬的最優(yōu)J*(y1;M)之間交替。圖6為圖表,水平軸y顯示了迭代的邊界最優(yōu)化關系,其中線52是一復雜曲線J(y;M),且虛線為在y0,y1和y2的連續(xù)上限,即分別地,圖線54為J*(y2;M),圖線56為J*(y1;M),且圖線58為J*(y1;M)。下方所示算法1的迭代過程被重復直至收斂,即,兩個迭代所估計的y的差值小于預定的小值。經(jīng)驗結果顯示2-3輪迭代就足以使所提出的算法收斂。算法1:掃描點配準輸入:物體模型M,當前掃描圖S,和初始變換參數(shù)y0。1)假設σ=σ0,其中σ0為正數(shù)。2)計算A:給定變換參數(shù)yn的先驗估計值,使用公式(37)對akj進行更新。3)最小化J*(y;M):計算y*以最小化J*(y;M),即:y*=argminy-Σk,jakjlogKσ(Ty-1(sk)-mj).---(38)]]>4)計算σ:相對于σ的不同公式(36),將其導數(shù)設置為0,得出:σ2=1nsΣk,jakj||Ty*-1(sk)-mj||2.---(39)]]>5)假設yn+1=y*。如果||yn+1-yn||>ε,則至步驟2。否則,輸出y*作為變換式的估計參數(shù)。下面的介紹描述了點集配準的特殊情況,其可以用于帶有LiDAR掃描器的機器人技術中??梢詫懗晒潭ㄗ儞Q式x′=Ty(x)和x′=Rx+t,其中參數(shù)向量y包括一旋轉矩陣R和轉換向量t。公式(38)可以被簡化為:y*argminy∑k,jakj||sk-Rmj-t||2,(40)使得det(R)=1且RTR=I。分別求公式(40)對t和R的偏導數(shù),可以求解出公式(40)。為了表示該解,定義下列量:μs=1nsSTAT1,---(41)]]>μM=1nMMTA1,---(42)]]>S^=S-1μST,---(43)]]>M^=M-1μmT,---(44)]]>其中1=[1,1,…,1]T。公式(40)的解為:R=UCVT,(45)t=μs-Rμm,(46)其中U和V被定義為奇異值分解的因子,即且C=diag(1,det(UVT))。下面的介紹提出了一種基于貝葉斯原理的算法,其遞歸地估計物體模型M的運動和更新。假設S0,…,St和St+1為在時間步驟0,…,t和t+1分別從動態(tài)物體采樣得到的掃描圖。圖7顯示了追蹤可以被當作如下處理:i)估計物體運動的問題,和ii)當接收到新的幀的掃描圖時,更新物體模型M的問題。特別地,圖7顯示了一處理過程60,用于在方塊64估計物體位置,在方塊62使用物體位置更新物體模型,并當新的掃描圖可得時估計物體位置。下面的介紹將要包括對二部圖和貝葉斯圖的參照。這兩種類型的圖包括代表不同事物的節(jié)點。貝葉斯圖中的節(jié)點代表要被估計的變量,例如變換式T和物體模型M,其為隨機的,且只可以通過PDF來表示。這些節(jié)點被設置在跨越不同時間幀的序列中,且每個序列只對一個物體建模。相反地,二部圖中的節(jié)點為掃描圖的分割點。每個掃描圖可以在同一時間幀中包括多個物體。因此,其目標為尋找與物體相對應的各片段。沿著時間軸建立片段(s1,ss,…,sn)之間的聯(lián)系,可以獲得多個序列,每個對應于一個物體。這樣,二部圖可以用于使用貝葉斯方法來追蹤各單獨的物體。圖8描述了動態(tài)貝葉斯網(wǎng)絡70,其表示了所提出的追蹤算法的兩個時間步驟。在網(wǎng)絡70中,節(jié)點72代表變換參數(shù)yt和yt+1,即目標的物體位置和姿態(tài),節(jié)點74代表物體模型Mt和Mt+1,且節(jié)點76代表掃描圖St和St+1。在圖8中,yt和yt+1分別為在時間步驟t和t+1的估計變換參數(shù),且Mt和Mt+1分別為在時間步驟t和t+1的物體模型。為了適應貝葉斯網(wǎng)絡70,p(y)被模型化為以為中心參數(shù)化的狄拉克增量分布,且物體模型M為高斯組份的聯(lián)合PDF,其分別由均值{mj}和固定方差σ2參數(shù)化。每個均值mj通過帶有超參數(shù)的高斯PDF來表示,即,均值和方差下面詳細介紹了參數(shù)和超參數(shù){vj,ηj|j=1,…,nM}的更新規(guī)則。分別使用貝葉斯和鏈式法則,給定的至時間t+1的掃描圖集合,后驗PDF可以寫為:p(y,M|S(0:t+1))∝p(S|y,M)p(y,M|S(0:t))=p(S|y,M)p(y|S(0:t))p(M|S0:t),(47)其中y和M為yt+1的簡寫,S(0:t+1)表示一直到時間步驟t+1的掃描圖,S為時間點t+1的掃描圖,p(S|y,M)為公式(30)中L(S;y,M)的等同表示,以及假定給定S(0:t)時的條件性獨立得出最后的等式。在公式(47)中,p(y|S(0:t))為在時間步驟t-1參數(shù)y的先驗PDF,已知先驗掃描圖S(0:t),其可以被計算為:p(y|S(0:t))=∫p(y|yt)p(yt|S(0:t))dyt。(48)在公式(48)中,p(yt|S(0:t))表示了在時間t時變換參數(shù)的后驗PDF,且p(y|yt)為物體運動的后續(xù)發(fā)展模型的條件概率:y=f(yt)+w,(49)其中w為帶有協(xié)方差矩陣Q的零均值高斯隨機變量(即,p(w)=N)w|0,Q))。如果假設p(yt|S(0:t))為以為中心的狄拉克增量分布,則在時間步驟t=1時的先驗PDF可以寫作:p(y|S0:t)=N(y|y~,Q),---(50)]]>其中為物體的后續(xù)發(fā)展模型的預測值。表達式p(Mt-1|S(0:t))可以被模型化為公式(30)中L(S;y,M)的共軛分布族以得到可追蹤的后驗PDF。帶有已知方差σ2的高斯密度的結果可以表示為:p(Mt-1|S(0:t))=ΠjN(mj|vj,σ2ηj),---(51)]]>其中:N(mj|vjσ2ηj)=c(ηj)exp-ηj2σ2||mjvj||2,---(52)]]>并且其中(ηj,vj)為Mt-1的第j個組分的先驗PDF的超參數(shù),并且c(ηj)為歸一化因子。如圖8中所示,在時間步驟t處物體模型M的先驗數(shù)據(jù)為:p(M|S(0:t))=p(M|yt,Mt-1)=ΠjN(mj|Ty‾t(vj),σ2ηj).---(53)]]>現(xiàn)在考慮估計時間t+1時的后驗p(y,M|S(0:t+1))的問題。因為y和M都為條件性獨立的,即:p(y,M|S(0:t+1))=p(y|S(0:t+1))p(m|S(0:t+1)),(54)可以使用接下來的兩個步驟估計后驗相關y和M。假設p(y|S(0:t+1))為以為中心的狄拉克增量PDF,其可以通過公式(47)相對于y最大化來估計。將公式(50)代入公式(47),對公式(47)應用負對數(shù)并且忽略與y不相關的項,得到:y‾t+1=argminy-Σk,jakjlogKσ(Ty-1(sk)-mj)+||y-y~||Q2,---(55)]]>其中,且。因此,公式(38)可以被公式(55)代替以集成先前時間步驟中的先驗信息,然后使用算法1以導出忽略與物體模型M不相關的項,公式(47)的負對數(shù)可以寫為:J(M)=-logp(S|y,M)-logp(M|S(0;t))≤J*(y‾t+1,M)-ΣjN(mj|Ty‾t(vj),σ2ηj).---(56)]]>注意對于y的所有可能值,公式(56)為J(M)的最佳上邊界。如在圖6中,可以使用邊界最優(yōu)化通過尋找上述上邊界函數(shù)的最小值來迭代地尋找最優(yōu)物體模型M。將公式(56)相對于物體模型M的導數(shù)設置為0,則可以得到物體模型M的MAP估計:mj*=ρjTy‾t+1-1(s‾j)+ηjTy‾t(vj)ρj+ηj,---(57)]]>其中:ρj=∑kakj,(58)s‾j=Σkakjsk|ρj.---(59)]]>對于時間t+1的S之后,物體模型M的后驗分布的新超參數(shù)(η′j,v′j)的更新規(guī)則可以寫為:η′j=ηj+ρj,(60)vj′=1ηj+ρj(ηjTy‾t(vj))+ρjTy‾t+1-1(s‾j).---(61)]]>因此,在時間t目標的后驗PDF為:p(M|S(0:t+1))=ΠjN(mj|vj′,σ2ηj′).---(62)]]>注意公式(57)中的為模式,且公式(61)中的vj為物體模型M的第j個組分(粒子)的均值。由于高斯假定,它們是相同的。該遞歸追蹤和模型更新方法被概括在下面的算法2中。步驟1準備當前時間幀的物體模型M,而步驟2估計物體模型M的運動。步驟3基于當前的掃描圖更新物體模型M。步驟4向物體模型M中添加新的粒子,而步驟5從物體模型M中去除異常值。算法2:追蹤和物體模型更新輸入:當前掃描圖St+1,物體模型Mt-1={vj,j},和變換式。輸出:估計出的和更新的Mt。1)對于所有的j,計算公式(51)中p(Mt|S(0:t))的超參數(shù)。將所有的粒子設為未訪問。2)假設對于所有的j,。將公式(38)替換為公式(55)且然后運行算法1以獲得和At+1。3)如果ρj=Σkakj大于閾值,使用公式(60)和(61)計算超參數(shù),將粒子設置為已訪問,并將訪問計數(shù)Kj加1。如果Kj>5,則將第j個粒子標記為成熟。4)對所有的k計算Qk=Σjakj。如果Qk小于閾值,則增加一新的粒子sk,其帶有下列值Kk=1,vk=sk,ηk=1,并被標記為已訪問。5)去除未被標記為已訪問且未成熟的粒子。圖9為一流程圖80,其顯示了在每個時間步驟t所執(zhí)行的提出的融合算法。方塊78代表了在每個時間步驟生成的物體檔案,并提供被檢測和追蹤的物體的位置、速度和航向以及被追蹤的每個物體的物體模型M。當在方塊82,來自傳感器16、20、24和28的距離數(shù)據(jù)的新的幀到達主車輛12,所述算法首先在方塊84用上述方法構造360°點云。一旦構造了點云,然后在方塊86該算法將云中的掃描點分割為可標示特定物體的群。為了執(zhí)行分割操作,假定R表示當前幀(t+1)的掃描圖,且假定G=(R,E)為帶有頂點集合R的不定向圖。如果||p1-p2||小于預定的距離閾值,則邊(p1,p2)∈E連接p1和p2。然后該連接的組分標記被用于將掃描圖R分割為一系列群。將掃描點分割為群包括在返回的點云中分離掃描點群使得群代表正被追蹤的單獨物體。一旦掃描點被分割為群,然后在方塊88該算法將群與預測物體模型進行匹配。特別地,在方塊90所述算法使用物體檔案78對先前時間步驟的追蹤物體模型M投影。為了預測該投影的物體模型,假定為在時間步驟t處的一系列物體模型M。對于每個物體模型,高斯組分的均值表示為。如果為在時間步驟t處變換式的估計值,則在時間步驟t+1處預測的變換式為因此,對于所有的j,第n個物體的預測物體模型為通過所述預測的物體點從時間步驟t被指示出。為使用該投影的追蹤物體模型,在方塊88所述分割的群與預測物體模型進行匹配。在頂點集L至R之間構造二部圖B=(L,R,EB),EB為邊集。如果且僅如果,||p-q||<D,其中D為距離閾值,則在點p∈L和q∈R之間存在邊。邊(p,q)的權重被定義為w(p,q)=||p-q||。q∈R的鄰域被定義為N(q)≡{p|(p,)∈EB}。可以從二部圖B中定義導出的二部圖B′=(L′,R′EB′),其中邊集EB代表在L′中的物體和分割群R′之間的可能的關聯(lián)。如果且僅如果,在B中存在邊(p,q)使得p′∈p且q′∈q,則在p′∈L′和q′∈R′之間存在邊。設E(p′,q′)為B中邊集的子集,即E(p′,q′)≥{(p,q)|(p,q)∈EB∩p∈p′∩q′∈q}。權重(p′,q′)和邊(p′,q′)的基數(shù)被分別定義為:w(p′,q′)=Σq∈q′minp∈N(q)∩p∈p′w(p,q)|q′|---(63)]]>c(p′,q′)=|E(p′,q′)||q′|.---(64)]]>一旦構造了導出的二部圖B′,并計算出了邊的權重和基數(shù),則使用下面的算法3選出強邊和切斷的脆弱連接。圖10為二部圖100,即圖B,如上所述在當前時間步驟t有5個預測物體模型和五個群S的掃描點水平。在該二部圖100中,點102代表預測物體模型點,且三角形104代表分割的掃描圖點。點102和三角形104之間的連線106為圖100的邊。然后在方塊92所述算法對數(shù)據(jù)點群進行合并和拆分以組合相同的檢測物體并拆分最初被檢測為單個物體,但是已經(jīng)形成多個物體的物體。為了對群進行合并和拆分,下面算法3提供了掃描關聯(lián)。圖11示出了導出的二部圖110,即為B′,其通過將點合并為群而從圖B中導出。在所述導出的二部圖110中,節(jié)點114代表物體模型點(M),節(jié)點112代表分割掃描點(M)構成的群,且線116代表限定物體模型點(M)和分割掃描點(S)之間匹配的邊。如下面將要描述的,時間t處的與時間t+1處的S1匹配,和被合并至時間t+1處的S2,時間t處的被拆分成時間t+1處的S3和S4,時間t處的正在衰減且從時間t+1處掃描圖中移除,且S5在時間t+1處到達。在算法3的步驟3,邊和被突出顯示。在步驟4,與匹配,邊被突出顯示。因此,在步驟5,虛線被作為脆弱連接而切斷。圖11顯示了與直接匹配,然而,其他兩種情況需要進行群的合并和拆分。預測物體模型被拆分成兩個匹配的群和當前群和的掃描點將使用在先前幀中曾經(jīng)存在物體的先前知識進行重新聚集。通常需要能夠證明不同的有力證據(jù)來將現(xiàn)有追蹤物體拆分成兩個群。在當前幀中,兩個預測物體模型和與群S2關聯(lián)。群S2中的掃描點將進行重新聚集因為在掃描點之間需要更強的鄰近以將兩個追蹤物體合并為一個物體。算法3:掃描關聯(lián)算法輸入:群和預測物體模型輸出:被切斷的導出的二部圖B′。1)構造將掃描點作為頂點的二部圖B。2)構造將群和輪廓線作為頂點的導出的二部圖B′,并使用公式(63)和(64)分別計算邊的權重和基數(shù)。3)對于每個q′∈R′,尋找p*′∈L′使得基數(shù)大于閾值(即c(p*′,q′)>C)且p*′=argminp′∈L′w(p′,q′),并突出顯示邊(p*′,q′)。4)對于每個沒有被突出顯示的邊覆蓋的p″∈L′,尋找集合使得每個成分q″被且僅被一個突出顯示的邊覆蓋。尋找p″使得(p″,q″)>C且q*″=argminq″∈R″w(p″,q″),并突出顯示邊(p″,q*″)。5)切斷B′中所有未突出顯示的邊。如上所述,在方塊94創(chuàng)建新的物體并刪除正在衰減的物體。特別地,需要解決兩種特殊的情況以創(chuàng)建新的物體并移除在物體檔案中的現(xiàn)有物體,其中不存在與掃描群S5相關聯(lián)的邊。觸發(fā)一追蹤初始化步驟,并在物體檔案中為掃描群S5添加一新的物體,且由于沒有邊與預測物體模型關聯(lián),使得預測物體模型衰減并將從物體檔案中移除。一旦在方塊94創(chuàng)建了新的物體并刪除了衰減的物體,然后在方塊96該算法進行追蹤和模型更新。對于每個由例如算法1的掃描配準操作提供的物體模型Mt和掃描群St+1的匹配對,使用算法2進行追蹤和物體模型更新。然后物體檔案78在方塊98被更新并被存儲用于下一時間步驟的物體檔案78。每個物體的新的變換式y(tǒng)t+1和更新后的物體模型Mt被存儲回物體檔案,且算法等待下一時間步驟中新的掃描圖的到達。如果兩個連續(xù)掃描幀之間的旋轉很小,則2D變換的參數(shù)可以近似為:x′=x-εy+tx,(65)y′=εx+y+ty,(66)其中(x,y)和(x′,y′)分別為先前幀和當前幀中的兩個點,ε為旋轉角且(tx,ty)為變換式。設mj=(xj,yj)和sk=(xk′,yk′)。將公式(65)和(66)代入公式(55),分另對tx,ty,和ε求部分導數(shù)并設為0。設表示公式(49)預測出的y。如果假定為固定模型,給出且為時間步驟t和t-1之間的時間長度。可以導出下列更新規(guī)則:tx=Σk,jakj(x′k+ϵyj-xj)+λxt~xΣk,jakj+λx,---(67)]]>ty=Σk,jakj(y′k+ϵxj-yj)+λyt~yΣk,jakj+λy,---(68)]]>ϵ=Σj,kakj[(y′k-ty-yj)xj-(x′k-tx-xj)yj]+λϵϵ~Σk,jakj(xj2+yj2)+λϵ,---(69)]]>其中λx,λy和λε為從公式(50)中的協(xié)方差矩陣Q中導出的權重。將公式(38)替換成公式(67)-(69),使用算法1迭代地計算tx,ty和作為的ε。設vH和ωH分別表示HV地速和偏航率。目標車輛14的地速可以計算為:vgx=vx+vH-xcωH,(70)vgy=vy+ycωH,(71)且目標車輛14的航向為:ξ=tan-1(vgyvgx).---(72)]]>上述的用于檢測和追蹤多物體的方法和設備可以為主車輛12提供檢測物體的360°視野方案。然而,還需要解決下列有關LiDAR傳感器的問題。第一個問題是局部觀測,其由遮擋或激光測量故障導致,例如,低反射系數(shù)或鏡面反射。例如,黑色車輛的檢測距離大大小于白色車輛的檢測距離。接下來的問題是由低分辨率導致的稀疏測量,其導致了特征的顯著度低,因此,對檢測遠場物體是不夠的。另一個問題是豎直視野受限,例如4°,其將導致漏檢非平坦路面上的物體。另一個問題是缺少可以將物體從混亂的背景中區(qū)分的環(huán)境信息。本發(fā)明提出了增強的融合算法,以解決上述有關LiDAR傳感器的缺陷。特別地,本發(fā)明使用來自車輛上的雷達傳感器或觀察系統(tǒng)的其中一個或兩者的輸出,作為插入信號以使得LiDAR傳感器輸出的融合系統(tǒng)識別目標。通常雷達傳感器的距離較遠,但視野較窄。而觀察系統(tǒng)通常視野很短,但可以與檢測目標接觸。如上,所介紹的增強的融合系統(tǒng)被設計成估計每個檢測物體的x,y,vx,vy和ξ。圖12為顯示在道路152上的目標的圖像150,該目標由主車輛上的LiDAR傳感器、雷達傳感器和觀察系統(tǒng)檢測到。特別地,該目標的距離足夠遠,或者被遮擋,使得LiDAR的掃描點很少,由點156表示。為了增強對目標的檢測,觀察系統(tǒng)圖像154限定來自觀察系統(tǒng)輸出的相同目標和雷達數(shù)據(jù)點158代表了由雷達傳感器檢測到的相同目標。圖13為類似于上述系統(tǒng)10的車輛系統(tǒng)160的示意圖,其用于尾隨和追蹤目標車輛164的主車輛162上。使用位置、速度、航向角等與圖1中所示相同的變量。在該例子中,所述主車輛162包括具有視野168的LiDAR傳感器166,具有視野172的雷達傳感器170和具有視野176的觀察系統(tǒng)174。LiDAR傳感器166的返回顯示為掃描點178,雷達傳感器170的返回被標記為三角形180,和觀察系統(tǒng)174的返回被表示為方塊182。現(xiàn)有技術中己知,觀察系統(tǒng)和雷達傳感器給出來自于目標的四個輸出,即為,至目標的距離,至目標的距離的變化(即,距離變化率),目標航向角以及目標方位角的變化(即,方位角變化率)。圖14為所提出的融合系統(tǒng)190的概觀的框圖。在每個時間步驟,雷達傳感器170和/或觀察系統(tǒng)174捕獲的目標從方塊192發(fā)送至插入內容方塊194。如上所述,在方塊196將LiDAR掃描群圖提供給LiDAR追蹤算法方塊198。所述追蹤算法接收來自方塊194的插入內容目標數(shù)據(jù),并且該目標數(shù)據(jù)與存儲的物體模型進行匹配,其中值n0為檢測到的目標的數(shù)量。每個目標oi=(x″i,y″i,v″iw″i)帶有參數(shù)縱向位移(x″),橫向位移(y″),徑向速度(v″)和橫向速度(w″)。帶有每個掃描點sk的LiDAR掃描圖R=(s1,s2,…,sN)T包括一縱向偏置x″i和橫向偏置y″i,其中N為掃描點的數(shù)量。所述追蹤算法監(jiān)測插入內容方塊194的輸入和LiDAR掃描圖,并生成每個檢測物體的輸出參數(shù)x,y,vx,vy和ξ。應用方塊200使用所估計的物體參數(shù),并執(zhí)行車輛主動安全應用,例如自適應巡航控制、碰撞緩解制動等。圖15為類似于上述的流程圖80的流程圖204,其中相同的操作使用相同的附圖標記標示。流程圖204包括從雷達傳感器170或觀察系統(tǒng)174讀取目標數(shù)據(jù)的方塊206。接著在方塊208,所述算法將目標數(shù)據(jù)配準至LiDAR坐標系。為了完成該步驟,設yo為固定變換式T的參數(shù)(平移和旋轉),該變換將目標從雷達傳感器170或觀察系統(tǒng)174映射至LiDAR坐標系,使得LiDAR坐標系中的映射目標為:oi′=Tyo(oi).---(73)]]>該配準參數(shù)yo可以通過被追蹤的LiDAR物體和來自雷達傳感器170或觀察系統(tǒng)174的目標之間的匹配對來自動估計。2011年8月7日公布的名為“MethodandApparatusforOn-vehicleCalibrationandOrientationofObject-TrackingSystems(用于對車輛上的物體追蹤系統(tǒng)進行校準和定位的方法和裝置)”的美國專利7991550,被轉讓給本申請的受讓人,在此通過參考被引入,介紹了—種適用于該目的的技術。接著,在方塊210所述算法將來自雷達傳感器170或觀察系統(tǒng)174的目標數(shù)據(jù)與物體模型M進行匹配。該處理過程顯示為圖16中的圖像230,其包括主車輛232,其中點234為物體模型點,三角形236為雷達目標,以及菱形238為從觀察系統(tǒng)174的圖像數(shù)據(jù)中導出的虛擬掃描點。雷達目標Or被模型化為由三角形236表示的點。觀察目標Ov被模型化為矩形,其可以表示為一系列在矩形邊上采樣得到的點,該矩形的邊為從主車輛232入射的“虛擬”掃描線。值Ov={ol|l=1…,6}顯示為菱形238。定義出物體模型的集合和所有物體模型的掃描點。設R=(oi)表示了所有的目標點,不論三角形或菱形,分別來自雷達傳感器170或觀察系統(tǒng)174。上述過程被用于構造圖17中的切斷的二部圖240。所述圖240顯示了位于節(jié)點246的物體運動242和位于節(jié)點248的物體模型244,其中為創(chuàng)建新物體的候選,且預測物體模型被標記為正在衰減且可從物體文件中移除。使用方塊90得出的投影追蹤物體模型方塊88中與投影物體模型匹配的群,和方塊210中與物體模型匹配的目標數(shù)據(jù),所述算法在方塊212對物體模型M進行合并和拆分??紤]兩種情況,即,觀察目標和雷達目標。圖18顯示了如下情況的二部圖,兩個預測物體模型和與觀察目標O1匹配。該來自觀察系統(tǒng)74的插入信息提供證據(jù)表明這兩個物體模型和需要合并為新的物體模型圖19為導出的二部圖252,其顯示了將節(jié)點256處的物體模型和從節(jié)點254處的觀察目標O1合并成單個的物體模型圖20為二部圖260,其顯示了另一種情況,其中物體模型與兩個觀察目標O1和O2匹配。來自觀察系統(tǒng)174的插入信息提供證據(jù)表明物體模型需要被拆分成兩個獨立的物體模型和圖21為導出的二部圖262,其顯示了節(jié)點264處的物體模型(其分別被節(jié)點266和268所表示的兩個觀察目標O1和O2檢測到)拆分成分別由節(jié)點270和272表示的物體模型和圖22為二部圖270,其顯示了如下情況,其中兩個物體模型和的點集R與三個雷達目標o1,o2和o3匹配。圖23為導出的二部圖276,其顯示了分配和特別地,圖276顯示了節(jié)點278處的雷達目標o1與節(jié)點280處的物體模型匹配,并且節(jié)點282和284處的雷達目標o2和o3分別顯示為合并成節(jié)點286處的單個物體模型接下來,在方塊214所述算法創(chuàng)建新的物體并刪除正在衰減的物體。類似于上述流程圖80的過程,需要處理兩種特殊的情況以創(chuàng)建新物體并從物體檔案中移除正在衰減的物體。對于未從LiDAR區(qū)段匹配的每個掃描群S和未從雷達傳感器170或觀察系統(tǒng)174匹配的每個目標,使用一追蹤初始化過程以向物體檔案中添加新物體。對于物體檔案中的物體,如果來自于LiDAR傳感器166的分割群S或來自雷達傳感器170或觀察系統(tǒng)174的目標不存在匹配,則該物體被標記為正在衰減。如果該物體在多個連續(xù)時間步驟中始終被標記為正在衰減,其將被從物體檔案中移除。接下來,在方塊216所述算法提供追蹤和模型更新。為了完成該步驟,設o0,…,ot和ot+1為雷達傳感器170或觀察系統(tǒng)174在時間步驟0,…,t和t+1分別檢測到的動態(tài)物體在LiDAR坐標系中的映射測量值。o0:t表示了從時間步驟0至時間步驟t的測量值。圖24顯示了來自圖8的修正的動態(tài)貝葉斯網(wǎng)絡290,代表了帶有插入信息的所提出的追蹤算法的兩個時間步驟。值yt和yt+1分別為在時間步驟t和t+1需要估計的變換式參數(shù)。模型Mt和Mt+1為在時間步驟t和t+1的物體模型。在網(wǎng)絡290中,節(jié)點292為在時間步驟t和t+1的目標數(shù)據(jù)ot和ot+1,節(jié)點294為在時間步驟t和t+1的變換式參數(shù)y,節(jié)點296為在時間步驟t和t+1的物體模型M,以及節(jié)點298為在時間步驟t和t+1的掃描圖。與方程(47)中類似,貝葉斯和鏈式法則被分別用于導出后驗PDF,給定來自于雷達傳感器170或觀察系統(tǒng)174LiDAR的至時間步驟t+1的掃描圖和目標數(shù)據(jù):p(y,M|S(0:t+1),o(0:t+1))∝p(S|y,M)p(o|y,M)p(y,M|S(0:t),o(0:t)),(74)=p(S|y,M)p(o|y)p(y,|S(0:t),o(0:t))p(M|S(0:t),o(0:t))其中y和為M為簡寫的yt+1和Mt,S(0:t+1)代表了至時間步驟t+1的掃描圖,S為在t+1處的掃描圖,o=ot+1為時間步驟t+1處的測量目標的簡寫,以及假設給定S(0:t)和o(0:t)時的條件生獨立得到最后的等式。在公式(74)中,p(y,M|S(0:t),o(0:t))為給定先前掃描圖S(0:t)和目標數(shù)據(jù)o(0:t)時時間步驟t+1處y的先驗PDF,其可以通過下式計算:p(y|S(0:t),o(0:t)=∫p(y|yt)p(yt|S(0:t),o(0:t))dyt(75)其中p(yt|S(0:t),o(0:t)表示在t處變換工參數(shù)的后驗PDF,且p(y|yt)表示了發(fā)展模型方程(49)。如果假設p(yt|S(0:t),o(0:t))為以為中心的迪拉克增量分布,時間步驟t+1處的先驗PDF可以寫為:p(y|S(0:t),o(0:t))=N(y|y~,Q),---(76)]]>其中是物體隨后的發(fā)展模型的預測值現(xiàn)在考慮物體模型M的后驗概率,其中:p(Mt-1|S0:t,o(0:t))=ΠjN(mj|vj,σ2ηj),---(77)]]>并且其中在公式(51)中定義。如圖24中所示,在時間步驟t物體模型的先驗網(wǎng)絡可以寫為:p(M|S(0:t),o(0:t))=p(M|yt,Mt-1)=ΠjN(mj|Ty‾t(vj),σ2ηj),---(78)]]>現(xiàn)在考慮估計時間步驟t+1的后驗概率的問題,其可以被分解為:p(y,M|S(0:t+1),o(0:t+1))=p(y|S(0:t+1),o(0:t+1))p(M|S(0:t+1),o(0:t+1)),(79)并且使用下面兩個步驟獨立地計算。假設p(y|S(0:t+1),o(0:t+1))為以為中心的狄拉克增量PDF,其可以通過將等式(74)相對于y最大化來估計。目標數(shù)據(jù)p(o|y)的測量模型被模型化為:O=h(y)+v,(80)其中v為帶有協(xié)方差矩陣E的零均值高斯隨機變量。因此,p(o|y)為高斯PDF,即:p(o|y)=N(o|h(y),E),(81)將公式(76)和(81)代入公式(74)中,對公式(74)取負對數(shù),并忽略與y無關的項,可以得到下式:y‾t+1=argminy-ΣkjakjlogKσ(Ty-1(sk)-mj)+,---(82)]]>o-hyE2+y-yQ2其中mj=Ty‾t(vj)]]>且||a||Σ2=aTΣ-1a]]>。因此,算法1中的公式(38)可以替換成公式(55)以集成先前時間步驟的先驗信息和來自雷達傳感器170或觀察系統(tǒng)174的插入信息,然后使用算法1導出當計算p(M|S(0:t+1),o(0:t+1))時,應當注意公式(78)和公式(53)是等同的,并且因此,使用了上述相同的超參數(shù)更新規(guī)則。然后在方塊98按照上述方法更新物體檔案78。本領域技術人員應當理解,在此用于描述本發(fā)明的多種不同的步驟和處理過程可以表示由計算機、處理器或其他使用電子現(xiàn)象來操作和/或傳輸數(shù)據(jù)的電子計算設備來執(zhí)行的操作。這些計算機和電子設備可以使用多種易失性和/或非易失性存儲器,包括非暫態(tài)計算機可讀介質,其上存儲有可執(zhí)行程序,包括能夠被計算機或處理器執(zhí)行的多種代碼或可執(zhí)行指令,其中存儲器和/或計算機可讀介質可以包括所有形式和類型的存儲器和其他計算機可讀介質。上述介紹僅僅公開和描述本發(fā)明的示例性實施例。本領域技術人員在上述介紹的基礎上并結合相應的附圖和權利要求,可以在不脫離如在所附權利要求中限定的本發(fā)明的精神和范圍的情況下,對本發(fā)明做出多種改變,修正和變型。