用多個(gè)激光雷達(dá)傳感器利用掃描點(diǎn)追蹤物體的貝葉斯網(wǎng)絡(luò)的制作方法
【專利摘要】本發(fā)明涉及用多個(gè)激光雷達(dá)傳感器利用掃描點(diǎn)追蹤物體的貝葉斯網(wǎng)絡(luò)。具體地，提供了一種用于融合來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出的系統(tǒng)和方法。該方法包括提供先前采樣時(shí)間由這些傳感器檢測(cè)到的物體的物體檔案，其中物體檔案識(shí)別檢測(cè)到的物體的位置、取向和速度。該方法還包括接收當(dāng)前采樣時(shí)間來(lái)自傳感器視野中檢測(cè)到的物體的多個(gè)掃描返回，并從這些掃描返回構(gòu)造點(diǎn)云。然后該方法將點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)群，其中每個(gè)群初始地識(shí)別由傳感器檢測(cè)到的物體。該方法將預(yù)測(cè)群與從先前采樣時(shí)間期間正被追蹤的物體生成的預(yù)測(cè)物體模型進(jìn)行匹配。該方法創(chuàng)建新的物體模型、刪除正在消失的物體模型，并基于當(dāng)前采樣時(shí)間的物體模型來(lái)更新物體檔案。
【專利說(shuō)明】用多個(gè)激光雷達(dá)傳感器利用掃描點(diǎn)追蹤物體的貝葉斯網(wǎng)絡(luò)
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2012年3月15日提交的名稱為“Bayesian Network to TrackObjects Usmg Scan Points Using Multiple LiDAR Sensors” 且序列號(hào)為 N0.61/611471的美國(guó)臨時(shí)專利申請(qǐng)的 優(yōu)先權(quán)日:期的權(quán)益。
【技術(shù)領(lǐng)域】
[0003]本申請(qǐng)總體上涉及融合來(lái)自車輛上多個(gè)傳感器的輸出的系統(tǒng)和方法，并且更特別地，涉及使用貝葉斯網(wǎng)絡(luò)融合來(lái)自車輛上多個(gè)激光雷達(dá)(LiDAR)傳感器的掃描點(diǎn)的系統(tǒng)和方法。
【背景技術(shù)】
[0004]許多現(xiàn)代車輛都包括有物體檢測(cè)傳感器，其被用于使能夠?qū)崿F(xiàn)碰撞警告或防止碰撞以及其他主動(dòng)安全應(yīng)用。物體檢測(cè)傳感器可以使用多種檢測(cè)技術(shù)，例如，短程雷達(dá)、帶有圖像處理的攝像機(jī)、激光或激光雷達(dá)、超聲波，等等。物體檢測(cè)傳感器檢測(cè)主車輛路徑中的車輛及其他物體，并且應(yīng)用軟件使用物體檢測(cè)信息來(lái)提供警告或采取適當(dāng)?shù)拇胧?。在許多車輛中，物體檢測(cè)傳感器被直接集成在車輛的前端或其他儀表盤中。
[0005]為了使應(yīng)用軟件被最優(yōu)地執(zhí)行，物體檢測(cè)傳感器必需關(guān)于車輛被正確地調(diào)準(zhǔn)。例如，如果傳感器檢測(cè)到確實(shí)位于主車輛路徑內(nèi)的物體，但由于傳感器未調(diào)準(zhǔn)，所以傳感器判斷該物體稍微偏向主車輛路徑的左側(cè)，這將導(dǎo)致應(yīng)用軟件出現(xiàn)嚴(yán)重后果。即使車輛上有多個(gè)前向的物體檢測(cè)傳感器，將它們?nèi)空_地調(diào)準(zhǔn)也是非常重要的，以便將不一致的傳感器讀數(shù)最小化或去除。
[0006]LiDAR傳感器是這樣一種類型的傳感器，其有時(shí)用于車輛上以檢測(cè)車輛周圍的物體并提供距這些物體的距離。LiDAR傳感器是令人期望的，這是因?yàn)槠淇梢蕴峁┍蛔粉櫸矬w的方向，而其他類型的傳感器，例如視頻系統(tǒng)和雷達(dá)傳感器一般不能夠提供被追蹤物體的方向。對(duì)于某個(gè)類型的LiDAR傳感器，來(lái)自物體的反射掃描點(diǎn)返回，所述掃描點(diǎn)作為點(diǎn)群距離圖的一部分，其中在傳感器的視野中每隔1/2°便提供一單獨(dú)的掃描點(diǎn)。因此，如果在主車輛前方檢測(cè)到目標(biāo)車輛，那么可以返回多個(gè)掃描點(diǎn)以確定目標(biāo)車輛距離主車輛的距離。
[0007]車輛可以具有多個(gè)LiDAR傳感器以提供車輛周圍360°的視野。所述多個(gè)LiDAR傳感器可以包括側(cè)視傳感器、后視傳感器和前視傳感器。每個(gè)傳感器都獨(dú)立于其他傳感器在各自的視野里追蹤物體。使用從多個(gè)傳感器返回的掃描點(diǎn)，生成距離圖以追蹤接近主車輛的物體。對(duì)于帶有多個(gè)LiDAR傳感器的車輛，將返回多個(gè)點(diǎn)群圖，并且對(duì)于重疊的傳感器視野，這些傳感器可能會(huì)追蹤同一物體。因此，有必要對(duì)這些傳感器的掃描點(diǎn)圖進(jìn)行組合，使得被這些傳感器追蹤的同一物體被處理為單個(gè)目標(biāo)。
[0008]2010年11月9日提交的序列號(hào)為N0.12/942456且標(biāo)題為“System and Methodsfor Tracking Objects”的美國(guó)專利申請(qǐng)被轉(zhuǎn)讓給本申請(qǐng)的所有人,在此通過(guò)引用被并入，其公開了一種使用LiDAR傳感器從主車輛監(jiān)控目標(biāo)物體的距離和方向的技術(shù)。該應(yīng)用局限于使用單個(gè)的LiDAR傳感器，并且也沒(méi)有公開對(duì)來(lái)自多個(gè)LiDAR傳感器的返回進(jìn)行融合。

【發(fā)明內(nèi)容】

[0009]依據(jù)本發(fā)明的教導(dǎo)，公開了一種方法和系統(tǒng)，用于使用貝葉斯網(wǎng)絡(luò)融合來(lái)自車輛上多個(gè)LiDAR傳感器的輸出。該方法包括:提供由LiDAR傳感器在先前采樣時(shí)間檢測(cè)到的物體的物體檔案，其中所述物體檔案識(shí)別了所檢測(cè)物體的位置、取向和速度。該方法還包括:接收來(lái)自當(dāng)前采樣時(shí)間的在傳感器視野中檢測(cè)到的物體的多個(gè)掃描返回；以及，從這些掃描返回來(lái)構(gòu)造點(diǎn)云。然后，該方法將點(diǎn)云中的掃描點(diǎn)劃分為預(yù)測(cè)掃描群，其中每個(gè)群初始地識(shí)別由傳感器檢測(cè)的物體。該方法將這些預(yù)測(cè)群與在先前采樣時(shí)間期間從被追蹤的物體生成的預(yù)測(cè)物體模型進(jìn)行匹配。該方法合并下述這樣的預(yù)測(cè)物體模型，這些預(yù)測(cè)物體模型在先前的采樣時(shí)間中被識(shí)別為一些單獨(dú)的掃描群，而現(xiàn)在則被識(shí)別為單一掃描群；并且，該方法拆分下述這樣的預(yù)測(cè)物體模型，這些預(yù)測(cè)物體模型在先前的采樣時(shí)間中被識(shí)別為單一掃描群，而現(xiàn)在在當(dāng)前采樣時(shí)間中則被識(shí)別為一些單獨(dú)的掃描群。該方法創(chuàng)建新的物體模型、刪除正在消失的物體模型，以及基于當(dāng)前采樣時(shí)間的物體模型來(lái)更新物體檔案。
[0010]本發(fā)明還包括下列技術(shù)方案:
[0011]方案1.一種用于對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的方法，所述方法包括:
[0012]提供先前采樣時(shí)間時(shí)由這些LiDAR傳感器檢測(cè)到的物體的物體檔案，所述物體檔案具有識(shí)別由這些傳感器檢測(cè)到的這些物體的位置、取向和速度的物體模型；
[0013]追蹤由這些傳感器檢測(cè)到的這些物體的物體模型；
[0014]將來(lái)自所述先前掃描時(shí)間的這些物體檔案中的被追蹤的物體模型進(jìn)行投影，以提供預(yù)測(cè)物體模型；
[0015]接收當(dāng)前采樣時(shí)間時(shí)來(lái)自這些傳感器的視野中被檢測(cè)到的這些物體的多個(gè)掃描返回；
[0016]從這些掃描返回來(lái)構(gòu)造掃描點(diǎn)云；
[0017]將所述點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)掃描群，其中每個(gè)掃描群初始地識(shí)別由這些傳感器檢測(cè)到的物體；
[0018]將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配；
[0019]將在所述先前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為單一掃描群的預(yù)測(cè)物體模型進(jìn)行融合；
[0020]將在所述先前采樣時(shí)間內(nèi)被識(shí)別為單一的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群的預(yù)測(cè)物體模型進(jìn)行拆分；
[0021 ]為所述當(dāng)前采樣時(shí)間內(nèi)檢測(cè)到而在所述先前采樣時(shí)間內(nèi)未出現(xiàn)的物體創(chuàng)建新的物體模型；
[0022]刪除在所述預(yù)測(cè)掃描群中不再存在的物體模型；
[0023]基于融合的物體模型、拆分的物體模型、新的物體模型和刪除的物體模型，提供物體模型更新；和
[0024]使用所述物體模型更新來(lái)對(duì)所述當(dāng)前采樣時(shí)間的物體檔案進(jìn)行更新。
[0025]方案2.根據(jù)方案I所述的方法，其中，分割所述點(diǎn)云中的掃描點(diǎn)包括:分離所述點(diǎn)云中的掃描點(diǎn)的群，使得這些群識(shí)別正被追蹤的單獨(dú)物體。
[0026]方案3.根據(jù)方案I所述的方法，其中，將所述預(yù)測(cè)掃描群和所述預(yù)測(cè)物體模型進(jìn)行匹配包括:生成使所述掃描群與所述預(yù)測(cè)物體模型匹配的二部圖。
[0027]方案4.根據(jù)方案3所述的方法，其中，生成二部圖包括將所述掃描點(diǎn)定位在所述圖的頂點(diǎn)處。
[0028]方案5.根據(jù)方案3所述的方法，其中，融合預(yù)測(cè)物體模型和拆分預(yù)測(cè)物體模型包括將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖，所述導(dǎo)出的二部圖顯示了正被融合或拆分的物體模型。
[0029]方案6.根據(jù)方案5所述的方法，其中，將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖包括為所述導(dǎo)出的二部圖計(jì)算權(quán)重和邊的基數(shù)，其中每個(gè)權(quán)重標(biāo)示了至少一個(gè)傳感器的掃描點(diǎn)中的一個(gè)掃描點(diǎn)相對(duì)于這些傳感器中另一個(gè)傳感器的掃描點(diǎn)的位置的位置變化，并且所述邊限定了物體模型點(diǎn)和分割的掃描點(diǎn)之間的匹配。
[0030]方案7.根據(jù)方案6所述的方法，其中，將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖包括將所述邊的基數(shù)與閾值進(jìn)行比較，并且如果所述基數(shù)大于所述閾值則突出顯示所述邊，并且如果沒(méi)有被突出顯示則移除該邊。
[0031]方案8.根據(jù)方案7所述的方法，其中，刪除在所述預(yù)測(cè)掃描群中不再存在的物體模型包括刪除連接到被移除的邊的物體模型。
[0032]方案9.根據(jù)方案I所述的方法，其中，提供物體模型更新包括在從先前時(shí)間幀至當(dāng)前時(shí)間幀的貝葉斯網(wǎng)絡(luò)中識(shí)別目標(biāo)數(shù)據(jù)、變換參數(shù)、所述物體模型和所述掃描圖群。
[0033]方案10.根據(jù)方案I所述的方法，其中，更新物體檔案包括修正所述傳感器的變換式，其識(shí)別所述傳感器的取向角和位置。
[0034]方案11.—種用于對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的方法，所述方法包括:
[0035]提供先前采樣時(shí)間時(shí)由這些LiDAR傳感器檢測(cè)到的物體的物體檔案，所述物體檔案具有識(shí)別由這些傳感器檢測(cè)到的這些物體的位置、取向和速度的物體模型；
[0036]追蹤由這些傳感器檢測(cè)到的這些物體的物體模型；
[0037]對(duì)來(lái)自所述先前掃描時(shí)間的這些物體檔案中的被追蹤的物體模型進(jìn)行投影，以提供預(yù)測(cè)物體模型；
[0038]接收當(dāng)前采樣時(shí)間時(shí)來(lái)自這些傳感器的視野中的檢測(cè)到的這些物體的多個(gè)掃描返回；
[0039]從這些掃描返回來(lái)構(gòu)造掃描點(diǎn)云；
[0040]將所述掃描點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)掃描群，其中每個(gè)掃描群初始地識(shí)別由這些傳感器檢測(cè)到的物體；
[0041]將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配；
[0042]將在所述先前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為單一掃描群的預(yù)測(cè)物體模型進(jìn)行融合；和
[0043]將在所述先前采樣時(shí)間內(nèi)被識(shí)別為單一的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群的預(yù)測(cè)物體模型進(jìn)行拆分。
[0044]方案12.根據(jù)方案11所述的方法，其中，分割所述點(diǎn)云中的掃描點(diǎn)包括:分離所述點(diǎn)云中的掃描點(diǎn)的群，使得這些群識(shí)別正被追蹤的單獨(dú)的物體。
[0045]方案13.根據(jù)方案11所述的方法，其中，將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配包括:生成使這些掃描群與這些預(yù)測(cè)物體模型匹配的二部圖。
[0046]方案14.根據(jù)方案13所述的方法，其中，生成二部圖包括將所述掃描點(diǎn)定位在所述圖的頂點(diǎn)處。
[0047]方案15.根據(jù)方案13所述的方法，其中，融合預(yù)測(cè)物體模型和拆分預(yù)測(cè)物體模型包括將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖，所述導(dǎo)出的二部圖顯示了正被融合或拆分的物體模型。
[0048]方案16.根據(jù)方案15所述的方法，其中，將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖包括為所述導(dǎo)出的二部圖計(jì)算權(quán)重和邊的基數(shù)，其中每個(gè)權(quán)重標(biāo)示了至少一個(gè)傳感器的掃描點(diǎn)中的一個(gè)掃描點(diǎn)相對(duì)于這些傳感器中另一個(gè)傳感器的掃描點(diǎn)的位置的位置變化，并且這些邊限定了物體模型點(diǎn)和分割的掃描點(diǎn)之間的匹配。
[0049]方案17.根據(jù)方案16所述的方法，其中，將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖包括將這些邊的基數(shù)與閾值進(jìn)行比較，并且如果所述基數(shù)大于所述閾值則突出顯示所述邊，并且其中如果沒(méi)有被突出顯示則移除該邊。
[0050]方案18.—種用于對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的系統(tǒng)，所述系統(tǒng)包括:
[0051]用于提供先前采樣時(shí)間時(shí)由這些LiDAR傳感器檢測(cè)到的物體的物體檔案的裝置，所述物體檔案具有識(shí)別由這些傳感器檢測(cè)到的這些物體的位置、取向和速度的物體模型；
[0052]用于追蹤由這些傳感器檢測(cè)到的這些物體的物體模型的裝置；
[0053]用于對(duì)來(lái)自所述先前掃描時(shí)間的這些物體檔案中的被追蹤物體模型進(jìn)行投影以提供預(yù)測(cè)物體模型的裝置；
[0054]用于接收當(dāng)前采樣時(shí)間時(shí)在這些傳感器的視野中檢測(cè)到的這些物體的多個(gè)掃描返回的裝置；
[0055]用于從這些掃描返回構(gòu)造掃描點(diǎn)云的裝置；
[0056]用于將所述掃描點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)掃描群的裝置，其中每個(gè)掃描群初始地識(shí)別由這些傳感器檢測(cè)到的物體；
[0057]用于將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配的裝置；
[0058]用于將在所述先前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為單一掃描群的預(yù)測(cè)物體模型進(jìn)行融合的裝置；以及
[0059]用于將在所述先前采樣時(shí)間內(nèi)被識(shí)別為單一的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群的預(yù)測(cè)物體模型進(jìn)行拆分的裝置；
[0060]用于為所述當(dāng)前采樣時(shí)間內(nèi)檢測(cè)到而在所述先前采樣時(shí)間內(nèi)未出現(xiàn)的物體創(chuàng)建新的物體模型的裝置；
[0061]用于刪除在這些預(yù)測(cè)掃描群中不再存在的物體模型的裝置；
[0062]用于基于融合的物體模型、拆分的物體模型、新的物體模型和刪除的物體模型來(lái)提供物體模型更新的裝置；和
[0063]用于使用所述物體模型更新對(duì)所述當(dāng)前采樣時(shí)間的物體檔案進(jìn)行更新的裝置。
[0064]方案19.根據(jù)方案18所述的系統(tǒng)，其中，用于將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配的裝置生成二部圖，所述二部圖將所述掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配。
[0065]方案20.根據(jù)方案19所述的系統(tǒng)，其中，用于融合預(yù)測(cè)物體模型和拆分預(yù)測(cè)物體模型的裝置將所述二部圖轉(zhuǎn)化為導(dǎo)出的二部圖，所述導(dǎo)出的二部圖顯示了正被融合和拆分的物體模型。
[0066]通過(guò)下面的描述和所附權(quán)利要求，并結(jié)合相應(yīng)的附圖，本發(fā)明的其他特征將顯而易見。
【專利附圖】

【附圖說(shuō)明】
[0067]圖1是跟隨目標(biāo)車輛的主車輛的示意圖，并且顯示了主車輛上四個(gè)LiDAR傳感器的視野；
[0068]圖2是用于對(duì)來(lái)自車輛上多個(gè)LiDAR傳感器的掃描點(diǎn)進(jìn)行融合的融合系統(tǒng)的總體框圖；
[0069]圖3 (A)和⑶示出了來(lái)自LiDAR傳感器的掃描點(diǎn)；
[0070]圖4是流程圖，其顯示了用于配準(zhǔn)來(lái)自多個(gè)LiDAR傳感器的掃描點(diǎn)的方法；
[0071]圖5為物體后方的輪廓概率密度函數(shù)；
[0072]圖6是迭代界限最優(yōu)化圖形；
[0073]圖7是框圖，其顯示了在新的LiDAR掃描點(diǎn)圖可用時(shí)，用于估計(jì)物體運(yùn)動(dòng)和更新物體模型的兩個(gè)交織的處理。
[0074]圖8是用于正在被追蹤算法追蹤的物體的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)；
[0075]圖9是流程圖，其顯示了多物體追蹤算法在一個(gè)單獨(dú)時(shí)間步驟的處理；
[0076]圖10是二部圖，其顯示了在圖9的流程圖中的用于將掃描群與預(yù)測(cè)物體模型進(jìn)行匹配的步驟的預(yù)測(cè)物體模型的點(diǎn)和分割掃描圖的點(diǎn)；
[0077]圖11是由圖10中的二部圖生成的導(dǎo)出的二部圖；
[0078]圖12是來(lái)自LiDAR傳感器、視頻系統(tǒng)和雷達(dá)傳感器的掃描點(diǎn)的示意圖；
[0079]圖13是跟隨目標(biāo)車輛的主車輛的示意圖，并且顯示了主車輛上的LiDAR傳感器、雷達(dá)傳感器和視頻系統(tǒng)的視野；
[0080]圖14是使用來(lái)自雷達(dá)傳感器或視頻系統(tǒng)的提示的LiDAR傳感器所使用的追蹤算法的總體流程圖；
[0081]圖15是流程圖，其示出了用于多物體追蹤算法的處理，所述多物體追蹤算法使用了來(lái)自雷達(dá)傳感器或視頻系統(tǒng)的提示；
[0082]圖16是二部圖，其示出了為所有的LiDAR掃描點(diǎn)、雷達(dá)傳感器返回和視頻系統(tǒng)圖像，將目標(biāo)數(shù)據(jù)與物體模型進(jìn)行匹配；
[0083]圖17是從圖16中所示的二部圖生成的導(dǎo)出的二部圖；
[0084]圖18是二部圖，其示出了通過(guò)提供使用視頻系統(tǒng)進(jìn)行的匹配對(duì)兩個(gè)投影的物體模型進(jìn)行合并；
[0085]圖19是導(dǎo)出的二部圖，其顯示了圖18中物體模型的匹配；
[0086]圖20是二部圖，其示出了通過(guò)使用視頻系統(tǒng)進(jìn)行的匹配對(duì)投影的物體模型進(jìn)行拆分；[0087]圖21是導(dǎo)出的二部圖，其示出了圖20中物體模型的匹配；
[0088]圖22是二部圖，其示出了通過(guò)使用雷達(dá)傳感器進(jìn)行匹配的投影的物體模型；
[0089]圖23是導(dǎo)出的二部圖，其示出了圖22中模型的匹配；和
[0090]圖24是用于追蹤算法和使用來(lái)自雷達(dá)傳感器或視頻系統(tǒng)的提示信息進(jìn)行模型更新的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)。
【具體實(shí)施方式】
[0091]下面對(duì)本發(fā)明實(shí)施例的介紹涉及一種使用貝葉斯網(wǎng)絡(luò)對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的系統(tǒng)和方法，該介紹本質(zhì)上僅是示例性的，并不旨在限制本發(fā)明或者其應(yīng)用或使用。例如，本發(fā)明將被描述為用于對(duì)車輛上的LiDAR傳感器的輸出進(jìn)行融合。然而，正如本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到的是，本發(fā)明的融合處理可以應(yīng)用于除了車輛應(yīng)用之外的其他方面。
[0092]圖1示出了車輛系統(tǒng)10的概況，其包括被顯示為正在尾隨被追蹤的目標(biāo)車輛14的主車輛12。所述主車輛12包括4個(gè)LiDAR傳感器，也就是說(shuō)，具有視野18的前視傳感器16、具有視野22的后視傳感器20、具有視野26的左視傳感器24和具有視野30的右視傳感器28。如圖所示，所述傳感器16、24和28被安裝在車輛12的前部，因而具有重疊的視野。如果一物體，例如目標(biāo)車輛14，位于傳感器16、20、24和30中特定一個(gè)的視野內(nèi)，則該傳感器返回識(shí)別該物體的多個(gè)掃描點(diǎn)。目標(biāo)車輛14上的點(diǎn)32代表了來(lái)自傳感器16、24和28中每一個(gè)的從目標(biāo)車輛14返回的掃描點(diǎn)。所述點(diǎn)32通過(guò)利用坐標(biāo)變換技術(shù)被變換到主車輛12上的車輛坐標(biāo)系統(tǒng)(X，y)中，然后在該車輛坐標(biāo)系統(tǒng)中使用點(diǎn)32執(zhí)行物體檢測(cè)。如下所述，所述點(diǎn)32可以被用于限定目標(biāo)車輛14的后部形狀。
[0093]各傳感器16、20、24和28將會(huì)為傳感器檢測(cè)到的每個(gè)單獨(dú)物體提供掃描點(diǎn)云。本發(fā)明提出了一種融合算法，其將來(lái)自各傳感器16、20、24和28的輸出進(jìn)行組合，使得當(dāng)傳感器16、20、24和28追蹤相同的物體時(shí)，該物體將被處理為一個(gè)單獨(dú)的目標(biāo)，其中所述算法輸出每個(gè)被追蹤物體的位置、取向和速度。盡管該詳述包括了四個(gè)LiDAR傳感器，但是所提出的融合算法可以應(yīng)用于具有重疊視野的任意數(shù)量和位置的多個(gè)LiDAR傳感器。
[0094]在該圖中，目標(biāo)車輛14的位置通過(guò)錨點(diǎn)34來(lái)表示，即為，掃描圖的中心。下列數(shù)值用于表示在時(shí)間步驟t時(shí)目標(biāo)車輛14的物體模型M。特別地，物體模型M限定了相對(duì)縱向速度Vx，相對(duì)橫向速度Vy，橫向位移y和目標(biāo)車輛行駛方向ξ，或目標(biāo)的對(duì)地速度向量的方向。數(shù)值M是由參數(shù)平均值和方差ο2所表示的高斯分量的列表。所述平均值以若干個(gè)超參數(shù)'，和標(biāo)記(例如，被訪問(wèn)和到期)為特征。
[0095]圖2是融合系統(tǒng)36的不意框圖，該融合系統(tǒng)用于對(duì)來(lái)自多個(gè)LiDAR傳感器(例如，傳感器16、20、24和28)的掃描點(diǎn)云返回進(jìn)行融合。方塊38代表來(lái)自左LiDAR傳感器24的掃描點(diǎn)云返回，方塊40代表來(lái)自右視LiDAR傳感器28的掃描點(diǎn)云返回，方塊42代表來(lái)自前視LiDAR傳感器16的掃描點(diǎn)云返回，且方塊44代表來(lái)自后視LiDAR傳感器20的掃描點(diǎn)云返回。在方塊46，來(lái)自LiDAR傳感器16、20、24和28的距離圖被配準(zhǔn)并且構(gòu)造出360°距離圖(點(diǎn)云)。一旦配準(zhǔn)了來(lái)自傳感器16、20、24和28的點(diǎn)云并在車輛坐標(biāo)內(nèi)形成360°點(diǎn)云，則在方塊48處算法對(duì)來(lái)自多個(gè)目標(biāo)的點(diǎn)云進(jìn)行融合，這將在下面詳細(xì)介紹。在車輛坐標(biāo)系框架內(nèi)對(duì)目標(biāo)進(jìn)行融合之后，在方塊50處，所述算法輸出這些目標(biāo)的位置、取向和速度。
[0096]在特別介紹對(duì)來(lái)自多個(gè)LiDAR傳感器的掃描點(diǎn)進(jìn)行組合的融合處理之前，將先提供對(duì)在方塊46處執(zhí)行的掃描點(diǎn)配準(zhǔn)算法的介紹，其用于在與物體對(duì)應(yīng)的物體模型M和當(dāng)前掃描圖S可用的情況下，估計(jì)所述物體的運(yùn)動(dòng)。
[0097]在許多車輛中，物體檢測(cè)傳感器被直接集成到車輛的前飾板中。這種類型的安裝簡(jiǎn)單、有效并且美觀，但有一個(gè)缺點(diǎn)，即沒(méi)有切實(shí)可行的方法以對(duì)傳感器的校準(zhǔn)進(jìn)行物理調(diào)節(jié)。因此，如果由于飾板的損壞或老化以及氣候?qū)е碌穆N曲使得傳感器與車輛的真實(shí)行駛方向沒(méi)有對(duì)準(zhǔn)，則按照慣例沒(méi)有方法對(duì)該失準(zhǔn)進(jìn)行校正，除非更換整個(gè)包含有傳感器的飾板組件。
[0098]如下面將要介紹的那樣，在方塊46執(zhí)行的幀配準(zhǔn)對(duì)來(lái)自傳感器20、24和28的距離掃描點(diǎn)進(jìn)行匹配，以適應(yīng)傳感器20、24和28的位置和取向上的可能的漂移。當(dāng)車輛12為新的時(shí)，傳感器20、24和28是初始校準(zhǔn)的。如前所述，多種因素導(dǎo)致這些取向隨著時(shí)間而改變，因此，需要執(zhí)行一種處理以重新校準(zhǔn)傳感器的取向，使得在視野26和30的重疊部分內(nèi)檢測(cè)到的物體更加準(zhǔn)確。本發(fā)明提出了一種期望最大化(EM)匹配算法以尋找多個(gè)LiDAR傳感器之間的變換式T，其限定了傳感器的方位角以及X和y位置。例如，該算法將匹配從左視LiDAR傳感器24到右視LiDAR傳感器28的變換式T，并且當(dāng)來(lái)自后續(xù)計(jì)算的變換式T匹配時(shí)，傳感器24和28即已經(jīng)調(diào)準(zhǔn)。
[0099]所述EM算法開始于選擇初始變換式值Ttl，其可以為0，先前估計(jì)值、制造商提供的傳感器24和28之間的取向，等等。然后該算法使用變換式T將左傳感器距離圖投影到用于右視LiDAR傳感器28的坐標(biāo)系中。圖3表示了一個(gè)掃描點(diǎn)圖120，其中圓圈124代表來(lái)自左LiDAR傳感器24的掃描點(diǎn)返回，且橢圓126代表了來(lái)自右視LiDAR傳感器28的掃描點(diǎn)返回。圖3(A)顯示了所有的掃描點(diǎn)范圍，且圖3(B)針對(duì)幾個(gè)掃描點(diǎn)返回顯示了圓圈122中的放大區(qū)域。圖3(B)顯示了如何通過(guò)箭頭128將左視LiDAR傳感器掃描點(diǎn)返回124映射至右視LiDAR傳感器掃描點(diǎn)返回126。通過(guò)使用當(dāng)前可得的用于投影圖箭頭128的變換式T，左視LiDAR傳感器的掃描點(diǎn)返回124被相對(duì)于右視LiDAR傳感器的掃描點(diǎn)返回126進(jìn)行移動(dòng)，以試圖使得二者重合。
[0100]當(dāng)前使用的變換式T對(duì)于左視LiDAR傳感器24相對(duì)于右視LiDAR傳感器28的當(dāng)前取向可能是不準(zhǔn)確的，因此使得變換式T需要針對(duì)傳感器24和28的當(dāng)前位置進(jìn)行更新。所述算法使用當(dāng)前變換式T來(lái)更新左傳感器掃描點(diǎn)Sj和右傳感器掃描點(diǎn)mk之間的權(quán)重ajk，如下所示:
[0101]
【權(quán)利要求】
1.一種用于對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的方法，所述方法包括: 提供先前采樣時(shí)間時(shí)由這些LiDAR傳感器檢測(cè)到的物體的物體檔案，所述物體檔案具有識(shí)別由這些傳感器檢測(cè)到的這些物體的位置、取向和速度的物體模型； 追蹤由這些傳感器檢測(cè)到的這些物體的物體模型； 將來(lái)自所述先前掃描時(shí)間的這些物體檔案中的被追蹤的物體模型進(jìn)行投影，以提供預(yù)測(cè)物體模型； 接收當(dāng)前采樣時(shí)間時(shí)來(lái)自這些傳感器的 視野中被檢測(cè)到的這些物體的多個(gè)掃描返回； 從這些掃描返回來(lái)構(gòu)造掃描點(diǎn)云； 將所述點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)掃描群，其中每個(gè)掃描群初始地識(shí)別由這些傳感器檢測(cè)到的物體； 將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配； 將在所述先前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為單一掃描群的預(yù)測(cè)物體模型進(jìn)行融合； 將在所述先前采樣時(shí)間內(nèi)被識(shí)別為單一的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群的預(yù)測(cè)物體模型進(jìn)行拆分； 為所述當(dāng)前采樣時(shí)間內(nèi)檢測(cè)到而在所述先前采樣時(shí)間內(nèi)未出現(xiàn)的物體創(chuàng)建新的物體模型； 刪除在所述預(yù)測(cè)掃描群中不再存在的物體模型； 基于融合的物體模型、拆分的物體模型、新的物體模型和刪除的物體模型，提供物體模型更新；和 使用所述物體模型更新來(lái)對(duì)所述當(dāng)前采樣時(shí)間的物體檔案進(jìn)行更新。
2.根據(jù)權(quán)利要求1所述的方法，其中，分割所述點(diǎn)云中的掃描點(diǎn)包括:分離所述點(diǎn)云中的掃描點(diǎn)的群，使得這些群識(shí)別正被追蹤的單獨(dú)物體。
3.根據(jù)權(quán)利要求1所述的方法，其中，將所述預(yù)測(cè)掃描群和所述預(yù)測(cè)物體模型進(jìn)行匹配包括:生成使所述掃描群與所述預(yù)測(cè)物體模型匹配的二部圖。
4.根據(jù)權(quán)利要求3所述的方法，其中，生成二部圖包括將所述掃描點(diǎn)定位在所述圖的頂點(diǎn)處。
5.根據(jù)權(quán)利要求3所述的方法，其中，融合預(yù)測(cè)物體模型和拆分預(yù)測(cè)物體模型包括將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖，所述導(dǎo)出的二部圖顯示了正被融合或拆分的物體模型。
6.根據(jù)權(quán)利要求5所述的方法，其中，將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖包括為所述導(dǎo)出的二部圖計(jì)算權(quán)重和邊的基數(shù)，其中每個(gè)權(quán)重標(biāo)示了至少一個(gè)傳感器的掃描點(diǎn)中的一個(gè)掃描點(diǎn)相對(duì)于這些傳感器中另一個(gè)傳感器的掃描點(diǎn)的位置的位置變化，并且所述邊限定了物體模型點(diǎn)和分割的掃描點(diǎn)之間的匹配。
7.根據(jù)權(quán)利要求6所述的方法，其中，將所述二部圖轉(zhuǎn)換為導(dǎo)出的二部圖包括將所述邊的基數(shù)與閾值進(jìn)行比較，并且如果所述基數(shù)大于所述閾值則突出顯示所述邊，并且如果沒(méi)有被突出顯示則移除該邊。
8.根據(jù)權(quán)利要求7所述的方法，其中，刪除在所述預(yù)測(cè)掃描群中不再存在的物體模型包括刪除連接到被移除的邊的物體模型。
9.一種用于對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的方法，所述方法包括: 提供先前采樣時(shí)間時(shí)由這些LiDAR傳感器檢測(cè)到的物體的物體檔案，所述物體檔案具有識(shí)別由這些傳感器檢測(cè)到的這些物體的位置、取向和速度的物體模型； 追蹤由這些傳感器檢測(cè)到的這些物體的物體模型； 對(duì)來(lái)自所述先前掃描時(shí)間的這些物體檔案中的被追蹤的物體模型進(jìn)行投影，以提供預(yù)測(cè)物體模型； 接收當(dāng)前采樣時(shí)間時(shí)來(lái)自這些傳感器的視野中的檢測(cè)到的這些物體的多個(gè)掃描返回； 從這些掃描返回來(lái)構(gòu)造掃描點(diǎn)云； 將所述掃描點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)掃描群，其中每個(gè)掃描群初始地識(shí)別由這些傳感器檢測(cè)到的物體； 將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配； 將在所述先前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為單一掃描群的預(yù)測(cè)物體模型進(jìn)行融合；和 將在所述先前采樣時(shí)間內(nèi)被識(shí)別為單一的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群的預(yù)測(cè)物體模型進(jìn)行拆分。
10.一種用于對(duì)來(lái)自車輛上的多個(gè)LiDAR傳感器的輸出進(jìn)行融合的系統(tǒng)，所述系統(tǒng)包括: 用于提供先前采樣時(shí)間時(shí)由這些LiDAR傳感器檢測(cè)到的物體的物體檔案的裝置，所述物體檔案具有識(shí)別由這些傳感器檢測(cè)到的這些物體的位置、取向和速度的物體模型；用于追蹤由這些傳感器檢測(cè)到的這些物體的物體模型的裝置； 用于對(duì)來(lái)自所述先前掃描時(shí)間的這些物體檔案中的被追蹤物體模型進(jìn)行投影以提供預(yù)測(cè)物體模型的裝置； 用于接收當(dāng)前采樣時(shí)間時(shí)在這些傳感器的視野中檢測(cè)到的這些物體的多個(gè)掃描返回的裝置； 用于從這些掃描返回構(gòu)造掃描點(diǎn)云的裝置； 用于將所述掃描點(diǎn)云中的掃描點(diǎn)分割為預(yù)測(cè)掃描群的裝置，其中每個(gè)掃描群初始地識(shí)別由這些傳感器檢測(cè)到的物體； 用于將所述預(yù)測(cè)掃描群與所述預(yù)測(cè)物體模型進(jìn)行匹配的裝置； 用于將在所述先前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為單一掃描群的預(yù)測(cè)物體模型進(jìn)行融合的裝置；以及 用于將在所述先前采樣時(shí)間內(nèi)被識(shí)別為單一的掃描群而現(xiàn)在在所述當(dāng)前采樣時(shí)間內(nèi)被識(shí)別為分散的掃描群的預(yù)測(cè)物體模型進(jìn)行拆分的裝置； 用于為所述當(dāng)前采樣時(shí)間內(nèi)檢測(cè)到而在所述先前采樣時(shí)間內(nèi)未出現(xiàn)的物體創(chuàng)建新的物體模型的裝置； 用于刪除在這些預(yù)測(cè)掃描群中不再存在的物體模型的裝置； 用于基于融合的物體模型、拆分的物體模型、新的物體模型和刪除的物體模型來(lái)提供物體模型更新的裝置；和用于使用所述物體 模型更新對(duì)所述當(dāng)前采樣時(shí)間的物體檔案進(jìn)行更新的裝置。
【文檔編號(hào)】G05D1/02GK104035439SQ201310757427
【公開日】2014年9月10日 申請(qǐng)日期:2013年12月9日 優(yōu)先權(quán)日:2012年3月15日
【發(fā)明者】S·曾 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司