本發(fā)明涉及在自主車輛中執(zhí)行障礙物避讓。

背景技術(shù)：

自主車輛配備有檢測(cè)其環(huán)境的傳感器。算法評(píng)估傳感器的輸出并識(shí)別障礙物。導(dǎo)航系統(tǒng)然后可以操縱車輛、制動(dòng)和/或加速以避讓識(shí)別的障礙物并到達(dá)期望的目的地。傳感器可以包括兩個(gè)成像系統(tǒng)(例如攝像機(jī))，以及雷達(dá)或激光雷達(dá)傳感器。

本文公開的系統(tǒng)和方法提供了用于檢測(cè)障礙物的改進(jìn)方法。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本發(fā)明，提供一種用于自主車輛的系統(tǒng)，包含：

安裝到自主車輛的兩個(gè)或更多個(gè)麥克風(fēng)；

控制器，該控制器用于執(zhí)行：

預(yù)處理器，該預(yù)處理器被編程為檢測(cè)來自兩個(gè)或更多個(gè)麥克風(fēng)的兩個(gè)或更多個(gè)音頻流中的音頻特征；

碰撞避讓模塊，該碰撞避讓模塊被編程為對(duì)音頻特征和到音頻特征的源的方向進(jìn)行分類，并且如果聲源的類別是停放的車輛，則避讓停放的車輛的潛在路徑。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，碰撞避讓模塊進(jìn)一步被編程為通過致動(dòng)自主車輛的轉(zhuǎn)向致動(dòng)器、加速器致動(dòng)器和制動(dòng)致動(dòng)器中的至少一個(gè)來調(diào)用相對(duì)于音頻特征的源的方向的障礙物避讓，以有效避讓與音頻特征的源的碰撞。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，系統(tǒng)進(jìn)一步包含安裝到自主車輛的至少一個(gè)攝像機(jī)；

其中碰撞避讓模塊進(jìn)一步被編程以：

評(píng)估至少一個(gè)攝像機(jī)的圖像流中的車輛的圖像是否位于由音頻特征的源的方向產(chǎn)生的角度公差內(nèi)；和

如果車輛的圖像在由音頻特征的源的方向產(chǎn)生的角度公差內(nèi)，則增加指示音頻特征的源是停放的車輛的置信度值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，碰撞避讓模塊進(jìn)一步被編程為：

檢索自主車輛的當(dāng)前位置的地圖數(shù)據(jù)；

評(píng)估地圖數(shù)據(jù)是否指示在由音頻特征的源的方向產(chǎn)生的角度公差內(nèi)的至少一個(gè)停放區(qū)域；和

如果地圖數(shù)據(jù)指示在由音頻特征的源的方向產(chǎn)生的角度公差內(nèi)的至少一個(gè)停車區(qū)域，則增加指示音頻特征的源是停放的車輛的置信度值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，碰撞避讓模塊進(jìn)一步被編程為：

通過將音頻特征輸入到機(jī)器學(xué)習(xí)模型中來對(duì)音頻特征進(jìn)行分類，機(jī)器學(xué)習(xí)模型被編程為輸出置信度得分；

根據(jù)置信度得分增加置信度值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，機(jī)器學(xué)習(xí)模型是深度神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，碰撞避讓模塊進(jìn)一步被編程為：

接收來自安裝到自主車輛的一個(gè)或多個(gè)傳感器的成像輸出；

識(shí)別成像輸出中的潛在障礙物的集合；

評(píng)估自主車輛與潛在障礙物集合和音頻特征的源之間的可能碰撞；和

激活自主車輛的轉(zhuǎn)向致動(dòng)器、加速器致動(dòng)器和制動(dòng)致動(dòng)器中的至少一個(gè)，以有效避讓與潛在障礙物集合的碰撞。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，一個(gè)或多個(gè)傳感器包括攝像機(jī)、lidar傳感器和radar傳感器中的至少一個(gè)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，碰撞避讓模塊進(jìn)一步被編程為通過對(duì)兩個(gè)或更多個(gè)音頻流進(jìn)行濾波以獲得兩個(gè)或更多個(gè)已濾波的信號(hào)來識(shí)別音頻特征，每個(gè)已濾波的信號(hào)包括可聽見的特征中的一個(gè)或多個(gè)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，碰撞避讓模塊進(jìn)一步被編程為通過從兩個(gè)或更多個(gè)音頻流中去除環(huán)境噪聲來對(duì)兩個(gè)或更多個(gè)音頻流進(jìn)行濾波。

根據(jù)本發(fā)明，提供一種用于在自主車輛中進(jìn)行障礙物檢測(cè)的方法，方法包含：

由包括一個(gè)或多個(gè)處理設(shè)備的控制器從安裝到自主車輛的兩個(gè)或更多個(gè)麥克風(fēng)接收兩個(gè)或更多個(gè)音頻流；

由控制器檢測(cè)兩個(gè)或更多個(gè)音頻流中的音頻特征；

由控制器根據(jù)音頻特征檢測(cè)聲源的方向；

由控制器根據(jù)音頻特征識(shí)別聲源的類別；和

由控制器確定聲源的類別是停放的車輛，

響應(yīng)于確定聲源的類別是車輛而調(diào)用關(guān)于停放的車輛的潛在路徑的障礙物避讓。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，方法進(jìn)一步包含通過致動(dòng)自主車輛的轉(zhuǎn)向致動(dòng)器、加速器致動(dòng)器和制動(dòng)致動(dòng)器中的至少一個(gè)來調(diào)用相對(duì)于聲源的方向的障礙物避讓，以有效避免與聲源碰撞。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，方法進(jìn)一步包含：

由控制器接收來自安裝到自主車輛的至少一個(gè)攝像機(jī)的至少一個(gè)圖像流；

由控制器確定在至少一個(gè)攝像機(jī)的圖像流中的車輛的圖像位于由聲源的方向產(chǎn)生的角度公差內(nèi)；

響應(yīng)于確定至少一個(gè)攝像機(jī)的圖像流中的車輛的圖像位于由聲源的方向產(chǎn)生的角度公差內(nèi)而增加指示聲源是停放的車輛的置信度值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，方法進(jìn)一步包含：

由控制器檢索自主車輛的當(dāng)前位置的地圖數(shù)據(jù)；

由控制器確定地圖數(shù)據(jù)指示在由音頻特征的源的方向產(chǎn)生的角度公差內(nèi)的至少一個(gè)停放區(qū)域；和

響應(yīng)于確定地圖數(shù)據(jù)指示在由音頻特征的源的方向產(chǎn)生的角度公差內(nèi)的至少一個(gè)停車區(qū)域而增加指示音頻特征的源是停放的車輛的置信度值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，方法進(jìn)一步包含：

由控制器通過將音頻特征輸入到機(jī)器學(xué)習(xí)模型中來對(duì)音頻特征進(jìn)行分類，機(jī)器學(xué)習(xí)模型被編程為輸出置信度得分；

由控制器根據(jù)置信度得分增加置信度值。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，機(jī)器學(xué)習(xí)模型是深度神經(jīng)網(wǎng)絡(luò)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，方法進(jìn)一步包含：

由控制器接收來自安裝到自主車輛的一個(gè)或多個(gè)傳感器的成像輸出；

由控制器識(shí)別成像輸出中的潛在障礙物的集合；

由控制器評(píng)估自主車輛與潛在障礙物集合和音頻特征的源之間的可能碰撞；和

激活自主車輛的轉(zhuǎn)向致動(dòng)器、加速器致動(dòng)器和制動(dòng)致動(dòng)器中的至少一個(gè)，以有效避讓與潛在障礙物集合的碰撞。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，一個(gè)或多個(gè)傳感器包括攝像機(jī)、lidar傳感器和radar傳感器中的至少一個(gè)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，識(shí)別可聽見的特征包含由控制器對(duì)兩個(gè)或更多個(gè)音頻流進(jìn)行濾波，以獲得兩個(gè)或更多個(gè)已濾波的信號(hào)，每個(gè)已濾波的信號(hào)包括可聽見的特征中的一個(gè)或多個(gè)。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，對(duì)兩個(gè)或更多個(gè)音頻流進(jìn)行濾波進(jìn)一步包含從兩個(gè)或更多個(gè)音頻流中去除環(huán)境噪聲。

附圖說明

為了容易理解本發(fā)明的優(yōu)點(diǎn)，將通過參照附圖中示出的具體實(shí)施例來呈現(xiàn)上面簡(jiǎn)要描述的本發(fā)明的更具體的描述。應(yīng)當(dāng)理解的是，這些附圖僅描繪了本發(fā)明的典型實(shí)施例，因此不應(yīng)被認(rèn)為是對(duì)其范圍的限制，本發(fā)明將通過使用附圖以附加的特征和細(xì)節(jié)來描述和解釋，其中：

圖1是用于實(shí)現(xiàn)本發(fā)明的實(shí)施例的系統(tǒng)的示意性框圖；

圖2是適合于實(shí)現(xiàn)根據(jù)本發(fā)明實(shí)施例的方法的示例計(jì)算設(shè)備的示意性框圖；

圖3是示出了使用聽覺數(shù)據(jù)的障礙物檢測(cè)的示意圖；

圖4是使用聽覺數(shù)據(jù)執(zhí)行障礙物檢測(cè)的部件的示意性框圖；和

圖5是根據(jù)本發(fā)明的實(shí)施例的用于基于聽覺數(shù)據(jù)執(zhí)行碰撞避讓的方法的過程流程圖。

具體實(shí)施方式

將容易理解的是，如在本文的附圖中總體地描述和示出的本發(fā)明的部件可以以各種各樣的不同結(jié)構(gòu)來布置和設(shè)計(jì)。因此，如圖所示的本發(fā)明的實(shí)施例的以下更詳細(xì)的描述不旨在限制所要求保護(hù)的本發(fā)明的范圍，而是僅代表根據(jù)本發(fā)明當(dāng)前設(shè)想的實(shí)施例的某些示例。通過參照附圖將最好地理解當(dāng)前描述的實(shí)施例，其中相同的部件始終由相同的附圖標(biāo)記表示。

根據(jù)本發(fā)明的實(shí)施例可以實(shí)現(xiàn)為裝置、方法或計(jì)算機(jī)程序產(chǎn)品。因此，本發(fā)明可以采取完全硬件實(shí)施例、完全軟件實(shí)施例(包括固件、駐留軟件、微代碼等)或者結(jié)合軟件和硬件方面的實(shí)施例的形式，這些實(shí)施例在本文中通?？梢员环Q為作為“模塊”或“系統(tǒng)”。此外，本發(fā)明可以采取體現(xiàn)在具有在介質(zhì)中實(shí)現(xiàn)的計(jì)算機(jī)可用程序代碼的任何有形表達(dá)介質(zhì)中的計(jì)算機(jī)程序產(chǎn)品的形式。

可以使用一個(gè)或多個(gè)計(jì)算機(jī)可用或計(jì)算機(jī)可讀介質(zhì)的任何組合。例如，計(jì)算機(jī)可讀介質(zhì)可以包括便攜式計(jì)算機(jī)磁盤、硬盤、隨機(jī)存取存儲(chǔ)器(ram)設(shè)備、只讀存儲(chǔ)器(rom)設(shè)備、可擦除可編程只讀存儲(chǔ)器(eprom或閃存)設(shè)備、便攜式光盤只讀存儲(chǔ)器(cdrom)、光存儲(chǔ)設(shè)備和磁存儲(chǔ)設(shè)備。在所選擇的實(shí)施例中，計(jì)算機(jī)可讀介質(zhì)可以包含任何非暫時(shí)性的可以包含、存儲(chǔ)、傳送、傳播或傳輸由指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用或與指令執(zhí)行系統(tǒng)、裝置或設(shè)備結(jié)合使用的程序的任何非暫態(tài)介質(zhì)。

用于執(zhí)行本發(fā)明的操作的計(jì)算機(jī)程序代碼可以以一種或多種編程語言的任何組合來編寫，所述編程語言包括諸如java、smalltalk、c++等的面向?qū)ο蟮木幊陶Z言和諸如“c”編程語言或類似的編程語言的傳統(tǒng)的過程編程語言。程序代碼可以作為獨(dú)立的軟件包，在獨(dú)立的硬件單元上、部分地在與計(jì)算機(jī)隔開一定距離的遠(yuǎn)程計(jì)算機(jī)上、或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上在計(jì)算機(jī)系統(tǒng)上執(zhí)行。在后一種情況下，遠(yuǎn)程計(jì)算機(jī)可以通過任何類型的網(wǎng)絡(luò)(包括局域網(wǎng)(lan)或廣域網(wǎng)(wan))連接到計(jì)算機(jī)，或者可以連接到外部計(jì)算機(jī)(例如，通過使用因特網(wǎng)服務(wù)提供商的因特網(wǎng))。

下面參照根據(jù)本發(fā)明實(shí)施例的方法、裝置(系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或框圖描述本發(fā)明。應(yīng)當(dāng)理解的是，流程圖和/或框圖的每個(gè)框以及流程圖和/或框圖中的框的組合可以通過計(jì)算機(jī)程序指令或代碼來實(shí)現(xiàn)。這些計(jì)算機(jī)程序指令可以提供給通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器，以產(chǎn)生機(jī)器，使得經(jīng)由計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器執(zhí)行的指令，創(chuàng)建用于實(shí)現(xiàn)流程圖和/或框圖的一個(gè)或多個(gè)框中指定的功能/動(dòng)作的裝置。

這些計(jì)算機(jī)程序指令還可以存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)中，該非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可以指示計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置以特定方式運(yùn)行，使得存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)中的指令產(chǎn)生包括實(shí)現(xiàn)在流程圖和/或框圖的一個(gè)或多個(gè)框中指定的功能/動(dòng)作的指令裝置的制品。

計(jì)算機(jī)程序指令還可以被加載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置上，以使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行一系列操作步驟，以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的過程，使得在計(jì)算機(jī)或其他可編程裝置上執(zhí)行的指令提供用于實(shí)現(xiàn)流程圖和/或框圖的一個(gè)或多個(gè)框中指定的功能/動(dòng)作的過程。

參照?qǐng)D1，控制器102可以容納在車輛內(nèi)。車輛可以包括本領(lǐng)域已知的任何車輛。車輛可具有本領(lǐng)域中已知的任何車輛的所有結(jié)構(gòu)和特征，包括車輪、連接到車輪的傳動(dòng)系、連接到傳動(dòng)系的發(fā)動(dòng)機(jī)、轉(zhuǎn)向系統(tǒng)、制動(dòng)系統(tǒng)以及本領(lǐng)域中已知的包括在車輛中的其它系統(tǒng)。

如本文更詳細(xì)地討論的，控制器102可以執(zhí)行自主導(dǎo)航和碰撞避讓。特別地，可以分析圖像數(shù)據(jù)和音頻數(shù)據(jù)以識(shí)別障礙物。具體地，如下面關(guān)于圖3和圖4詳細(xì)描述的，音頻數(shù)據(jù)可以用于識(shí)別不在一個(gè)或多個(gè)攝像機(jī)或其他成像傳感器的視野中的車輛。

控制器102可以從一個(gè)或多個(gè)成像設(shè)備104接收一個(gè)或多個(gè)圖像流。例如，一個(gè)或多個(gè)攝像機(jī)可以安裝到車輛并輸出由控制器102接收的圖像流?？刂破?02可以接收一個(gè)或更多個(gè)來自一個(gè)或多個(gè)麥克風(fēng)106的音頻流。例如，一個(gè)或多個(gè)麥克風(fēng)或麥克風(fēng)陣列可以安裝到車輛并輸出由控制器102接收的音頻流。麥克風(fēng)106可以包括具有隨角度變化的靈敏度的定向麥克風(fēng)。

控制器102可以執(zhí)行碰撞避讓模塊108，碰撞避讓模塊108接收?qǐng)D像流和音頻流并識(shí)別可能的障礙物并采取措施以避讓它們。在本文公開的實(shí)施例中，僅使用圖像和音頻數(shù)據(jù)來執(zhí)行碰撞避讓。然而，也可以使用用于檢測(cè)障礙物的其它傳感器，例如radar(無線電檢測(cè)和測(cè)距)、lidar(光檢測(cè)和測(cè)距)、sonar(聲音導(dǎo)航和測(cè)距)等。因此，由控制器102接收的“圖像流”可以包括以下中的一個(gè)或兩個(gè)：由攝像機(jī)檢測(cè)的光學(xué)圖像、和使用一個(gè)或多個(gè)其他感測(cè)設(shè)備感測(cè)的對(duì)象和拓?fù)浣Y(jié)構(gòu)?？刂破?02然后可以分析圖像和所感測(cè)的對(duì)象和拓?fù)浣Y(jié)構(gòu)，以便識(shí)別潛在的障礙物。

碰撞避讓模塊108可以包括音頻檢測(cè)模塊110a。音頻檢測(cè)模塊110a可以包括音頻預(yù)處理模塊112a，音頻預(yù)處理模塊112a被編程為處理一個(gè)或多個(gè)音頻流，以便識(shí)別可以對(duì)應(yīng)于車輛的特征。音頻檢測(cè)模塊110a還可以包括機(jī)器學(xué)習(xí)模塊112b，機(jī)器學(xué)習(xí)模塊112b實(shí)現(xiàn)評(píng)估來自預(yù)處理模塊112a的經(jīng)處理的音頻流中的特征并嘗試分類音頻特征的模型。機(jī)器學(xué)習(xí)模塊112b可以輸出指示分類是正確的這樣的可能性的置信度得分。以下相對(duì)于圖5的方法500更詳細(xì)地描述音頻檢測(cè)模塊110a的模塊112a、112b的功能。

音頻檢測(cè)模塊110a還可以包括圖像相關(guān)模塊112c，圖像相關(guān)模塊112c被編程為評(píng)估來自一個(gè)或多個(gè)成像設(shè)備104的圖像輸出，并且嘗試在由對(duì)應(yīng)于諸如正在運(yùn)行但不移動(dòng)的停放的車輛這樣的車輛的聲音源的估算方向產(chǎn)生的角度公差內(nèi)識(shí)別圖像數(shù)據(jù)中的車輛。如果指示車輛在角度公差內(nèi)，則聲音對(duì)應(yīng)于車輛的置信度增加。

音頻檢測(cè)模塊110a還可以包括地圖相關(guān)模塊112d。地圖相關(guān)模塊112d評(píng)估地圖數(shù)據(jù)以確定停車位、車道或其他停車區(qū)域是否位于由與其發(fā)動(dòng)機(jī)運(yùn)行的車輛，特別是停放的車輛相對(duì)應(yīng)的聲音源的方向產(chǎn)生的角度公差內(nèi)。如果是，則聲音對(duì)應(yīng)于其發(fā)動(dòng)機(jī)運(yùn)行的停放的車輛的置信度增加。

碰撞避讓模塊108還可以包括障礙物識(shí)別模塊110b、碰撞預(yù)測(cè)模塊110c和決策模塊110d。障礙物識(shí)別模塊110b分析一個(gè)或多個(gè)圖像流并識(shí)別潛在障礙物，包括人、動(dòng)物、車輛、建筑物、路邊、以及其他物體和結(jié)構(gòu)。特別地，障礙物識(shí)別模塊110b可以識(shí)別圖像流中的車輛圖像。

碰撞預(yù)測(cè)模塊110c基于車輛當(dāng)前軌跡或當(dāng)前預(yù)期路徑預(yù)測(cè)哪些障礙物圖像可能與車輛碰撞。碰撞預(yù)測(cè)模塊110c可以評(píng)估與障礙物識(shí)別模塊110b識(shí)別的物體以及使用音頻檢測(cè)模塊110a檢測(cè)到的障礙物的碰撞的可能性。具體地，通過音頻檢測(cè)模塊110a使車輛發(fā)動(dòng)機(jī)運(yùn)行被標(biāo)識(shí)為具有高于閾值置信度的車輛可以被添加到潛在障礙物的集合，特別是這種車輛的潛在移動(dòng)。決策模塊110d可做出停止、加速、轉(zhuǎn)彎等以便避讓障礙物的決定。碰撞預(yù)測(cè)模塊110c預(yù)測(cè)潛在碰撞的方式以及決策模塊110d采取措施以避讓潛在碰撞的方式可以根據(jù)自主車輛領(lǐng)域中已知的任何方法或系統(tǒng)。

決策模塊110d可以通過致動(dòng)控制車輛的方向和速度的一個(gè)或多個(gè)致動(dòng)器114來控制車輛的軌跡。例如，致動(dòng)器114可以包括轉(zhuǎn)向致動(dòng)器116a、加速器致動(dòng)器116b和制動(dòng)致動(dòng)器116c。致動(dòng)器116a-116c的結(jié)構(gòu)可以根據(jù)自主車輛領(lǐng)域中已知的這種致動(dòng)器的任何實(shí)施方式。

控制器102可以是網(wǎng)絡(luò)啟用的并且通過網(wǎng)絡(luò)118檢索信息。例如，可以從服務(wù)器系統(tǒng)122訪問地圖數(shù)據(jù)120，以便識(shí)別容納控制器102的自主車輛附近的潛在泊車空間。

圖2是示出了示例計(jì)算設(shè)備200的框圖。計(jì)算設(shè)備200可以用于執(zhí)行各種過程，諸如本文所討論的那些過程。控制器102可以具有計(jì)算設(shè)備200的一些或全部屬性。

計(jì)算設(shè)備200包括一個(gè)或多個(gè)處理器202、一個(gè)或多個(gè)存儲(chǔ)器設(shè)備204、一個(gè)或多個(gè)接口206、一個(gè)或多個(gè)大容量存儲(chǔ)設(shè)備208、一個(gè)或多個(gè)輸入/輸出(i/o)設(shè)備210和顯示設(shè)備230，所有這些都連接到總線212。處理器202包括執(zhí)行存儲(chǔ)在存儲(chǔ)器設(shè)備204和/或大容量存儲(chǔ)設(shè)備208中的指令的一個(gè)或多個(gè)處理器或控制器。處理器202還可以包括各種類型的計(jì)算機(jī)可讀介質(zhì)，諸如高速緩存存儲(chǔ)器。

存儲(chǔ)器裝置204包括各種計(jì)算機(jī)可讀媒體，例如易失性存儲(chǔ)器(例如，隨機(jī)存取存儲(chǔ)器(ram)214)和/或非易失性存儲(chǔ)器(例如，只讀存儲(chǔ)器(rom)216)。存儲(chǔ)器設(shè)備204還可以包括可重寫rom，諸如閃存。

大容量存儲(chǔ)設(shè)備208包括各種計(jì)算機(jī)可讀介質(zhì)，諸如磁帶、磁盤、光盤、固態(tài)存儲(chǔ)器(例如，閃存)等等。如圖2所示，特定的大容量存儲(chǔ)設(shè)備是硬盤驅(qū)動(dòng)器224。各種驅(qū)動(dòng)器也可以包括在大容量存儲(chǔ)設(shè)備208中，以使得能夠從各種計(jì)算機(jī)可讀介質(zhì)讀取和/或?qū)懭氲礁鞣N計(jì)算機(jī)可讀介質(zhì)中。大容量存儲(chǔ)設(shè)備208包括可移動(dòng)介質(zhì)226和/或不可移動(dòng)介質(zhì)。

i/o設(shè)備210包括允許將數(shù)據(jù)和/或其它信息輸入到計(jì)算設(shè)備200或從計(jì)算設(shè)備200檢索的各種設(shè)備。示例i/o設(shè)備210包括光標(biāo)控制設(shè)備、鍵盤、鍵板、麥克風(fēng)、監(jiān)視器或其它顯示設(shè)備、揚(yáng)聲器、打印機(jī)、網(wǎng)絡(luò)接口卡、調(diào)制解調(diào)器、透鏡、電荷耦合器(ccd)或其它圖像捕獲設(shè)備等。

顯示設(shè)備230包括能夠向計(jì)算設(shè)備200的一個(gè)或多個(gè)用戶顯示信息的任何類型的設(shè)備。顯示設(shè)備230的示例包括監(jiān)視器、顯示終端、視頻投影設(shè)備等。

接口206包括允許計(jì)算設(shè)備200與其他系統(tǒng)、設(shè)備或計(jì)算環(huán)境交互的各種接口。示例接口206包括任何數(shù)量的不同網(wǎng)絡(luò)接口220，諸如到局域網(wǎng)(lan)、廣域網(wǎng)(wan)、無線網(wǎng)絡(luò)和因特網(wǎng)的接口。其它接口包括用戶接口218和外圍設(shè)備接口222。接口206還可以包括一個(gè)或多個(gè)外圍接口，例如用于打印機(jī)、定點(diǎn)設(shè)備(鼠標(biāo)、軌跡板等)、鍵盤和類似物。

總線212允許處理器202、存儲(chǔ)器設(shè)備204、接口206、大容量存儲(chǔ)設(shè)備208、i/o設(shè)備210、和顯示設(shè)備230彼此通信以及與連接到總線212的其它設(shè)備或部件通信?？偩€212表示若干類型的總線結(jié)構(gòu)中的一個(gè)或多個(gè)，諸如系統(tǒng)總線、外設(shè)部件互連標(biāo)準(zhǔn)(pci)總線、ieee1394總線、通用串行總線(usb總線)等。

為了說明的目的，程序和其它可執(zhí)行程序部件在本文中被示為離散框，但是應(yīng)當(dāng)理解的是，這樣的程序和部件可以在不同時(shí)間駐留在計(jì)算設(shè)備200的不同存儲(chǔ)部件中，并且由處理器202執(zhí)行?；蛘撸疚乃枋龅南到y(tǒng)和過程可以以硬件，或硬件、軟件和/或固件的組合來實(shí)現(xiàn)。例如，一個(gè)或多個(gè)專用集成電路(asic)可以被編程以執(zhí)行本文描述的系統(tǒng)和過程中的一個(gè)或多個(gè)。

現(xiàn)在轉(zhuǎn)到圖3，在許多情況下，可能妨礙容納控制器102的車輛(以下稱為車輛300)目視檢測(cè)潛在障礙物302，例如另一車輛、騎車人、行人等。例如，障礙物302可能被諸如停放的車輛、建筑物、樹木、標(biāo)志等的遮蔽物體從駕駛員或圖像傳感器104的視線遮蔽。因此，成像裝置104在檢測(cè)這樣的障礙物時(shí)可能不是有效的。另外，停放的車輛不移動(dòng)，因此可能不被成像傳感器104檢測(cè)為潛在危險(xiǎn)。然而，如果停放的車輛的發(fā)動(dòng)機(jī)正在運(yùn)行，則車輛300事實(shí)上可能要移動(dòng)到車輛300的路徑中。

車輛300可足夠接近以檢測(cè)由被遮蔽的車輛304或停放的車輛304產(chǎn)生的聲音。盡管本文公開的方法在存在遮蔽物體的情況下特別有用，但是本文所述的障礙物的識(shí)別可以在圖像數(shù)據(jù)可用的情況下執(zhí)行，并且例如可以確認(rèn)對(duì)于成像設(shè)備104也可見的障礙物的位置。同樣，可以使用如下面更詳細(xì)描述的成像設(shè)備104來確認(rèn)車輛發(fā)動(dòng)機(jī)運(yùn)行的停放的車輛的存在。

參照?qǐng)D4，麥克風(fēng)106可以包括多個(gè)麥克風(fēng)106a-106d。每個(gè)麥克風(fēng)106a-106d的輸出信號(hào)可以被輸入到相應(yīng)的預(yù)處理模塊112a-1-112a-4。每個(gè)預(yù)處理模塊112a-1-112a-4的輸出可以由噪聲消除濾波器400a-400d進(jìn)一步處理。噪聲消除模塊400a-400d的輸出然后可以被輸入到機(jī)器學(xué)習(xí)模塊112b。具體地，噪聲消除模塊400a-400d的輸出可以被輸入到機(jī)器學(xué)習(xí)模型402，機(jī)器學(xué)習(xí)模型402將輸出中的特征分類為對(duì)應(yīng)于特定車輛。機(jī)器學(xué)習(xí)模型112b可以進(jìn)一步輸出分類中的置信度。

預(yù)處理模塊112a-1-112a-4可以處理來自麥克風(fēng)106a-106d的原始輸出，并產(chǎn)生輸入到噪聲消除模塊400a-400d或直接到機(jī)器學(xué)習(xí)模塊112b的經(jīng)處理的輸出。經(jīng)處理的輸出可以是原始輸出的已濾波的版本，經(jīng)處理的輸出相對(duì)于原始輸出具有增強(qiáng)的音頻特征。增強(qiáng)的音頻特征可以是可能對(duì)應(yīng)于車輛的原始輸出的段、頻帶或其他分量。因此，預(yù)處理模塊112a-1-112a-4可以包括帶通濾波器，該帶通濾波器在對(duì)應(yīng)于由車輛和車輛發(fā)動(dòng)機(jī)產(chǎn)生的聲音的頻帶中穿過原始輸出的一部分，同時(shí)阻止該頻帶外的原始輸出的部分。預(yù)處理模塊112a-1-112a-4可以是數(shù)字濾波器，該數(shù)字濾波器具有被選擇以傳遞具有對(duì)應(yīng)于車輛發(fā)動(dòng)機(jī)或其它車輛噪聲的頻譜內(nèi)容和/或時(shí)域剖面的信號(hào)的系數(shù)，諸如具有將通過車輛產(chǎn)生的聲音同時(shí)衰減其他聲音的實(shí)驗(yàn)選擇的系數(shù)的自適應(yīng)濾波器。預(yù)處理模塊112a-1-112a-4的輸出可以是時(shí)域信號(hào)或頻域信號(hào)，或者兩者。預(yù)處理模塊112a-1-112a-4的輸出可以包括多個(gè)信號(hào)，包括在時(shí)域和頻域中的一個(gè)或兩個(gè)中的信號(hào)。例如，作為使用不同通帶濾波器進(jìn)行濾波的結(jié)果的信號(hào)可以在頻域或時(shí)域中輸出。

噪聲消除模塊400a-400d可以包括本領(lǐng)域已知的任何噪聲消除濾波器或?qū)崿F(xiàn)本領(lǐng)域已知的任何噪聲消除方法。具體地，噪聲消除模塊400a-400d還可以進(jìn)一步將車輛300的速度、車輛300的發(fā)動(dòng)機(jī)的轉(zhuǎn)速或描述發(fā)動(dòng)機(jī)的狀態(tài)的其它信息、車輛300的通風(fēng)風(fēng)扇的速度或其他信息作為輸入。該信息可以由噪聲消除模塊400a-400d使用以去除由發(fā)動(dòng)機(jī)和風(fēng)扇以及車輛風(fēng)噪聲引起的噪聲。

機(jī)器學(xué)習(xí)模型402可以是深度神經(jīng)網(wǎng)絡(luò)，然而可以使用其他類型的機(jī)器學(xué)習(xí)模型，諸如決策樹、聚類、貝葉斯(bayesian)網(wǎng)絡(luò)、遺傳或其他類型的機(jī)器學(xué)習(xí)模型。機(jī)器學(xué)習(xí)模型402可以在各種類型的情況下用各種類型的噪聲訓(xùn)練。特別地，使用麥克風(fēng)陣列106a-106d(或具有類似規(guī)格的陣列)記錄的聲音可以從任何源在各種相對(duì)位置、相對(duì)速度以及有和沒有背景噪聲的情況下被記錄。

然后可以訓(xùn)練機(jī)器學(xué)習(xí)模型402以識(shí)別來自已知源的聲音。例如，可以使用在上述各種情況下使用麥克風(fēng)106a-106d各自對(duì)音頻記錄進(jìn)行配對(duì)的<音頻輸入，聲源類別>條目和聲源的類別來訓(xùn)練模型。然后，機(jī)器學(xué)習(xí)算法可以使用這些條目來訓(xùn)練機(jī)器學(xué)習(xí)模型402以輸出用于給定音頻輸入的聲源的類別。機(jī)器學(xué)習(xí)算法可以針對(duì)各種類別的聲源訓(xùn)練機(jī)器學(xué)習(xí)模型402。因此，可以針對(duì)每一類聲源和用其訓(xùn)練的模型或者為每一類聲源訓(xùn)練的單獨(dú)模型生成一組訓(xùn)練條目。機(jī)器學(xué)習(xí)模型402可以輸出決策和該決策的置信度得分。因此，機(jī)器學(xué)習(xí)模型402可以產(chǎn)生指示輸入信號(hào)是否對(duì)應(yīng)于特定類別的輸出以及該輸出是正確的這樣的置信度得分。

機(jī)器學(xué)習(xí)模塊112b還可以包括麥克風(fēng)陣列處理模塊404。麥克風(fēng)陣列處理模塊404可以評(píng)估來自各種麥克風(fēng)106a-106d的音頻特征的到達(dá)定時(shí)，以便估算到達(dá)音頻特征的源的方向。例如，音頻特征可以是在噪聲消除模塊400a-400d的輸出中的時(shí)間t1、t2、t3和t4處開始的車輛的聲音。因此，知道麥克風(fēng)106a-106d的相對(duì)位置和聲音的速度s，可以確定從麥克風(fēng)106a-106d到源的距離差，例如，d2＝s/(t2-t1)，d3＝s/(t3-t1)，d4＝s/(t4-t1)，其中d2、d3、d4是音頻特征相對(duì)于參照麥克風(fēng)(在該示例中為麥克風(fēng)106a)行進(jìn)的距離的估算差。

例如，聲音源的角度a可以計(jì)算為asin(d2/r2)、asin(d3/r3)和asin(d4/r4)的平均值，其中r2是麥克風(fēng)106a和麥克風(fēng)106b之間的間隔，r3是麥克風(fēng)106c和麥克風(fēng)106a之間的間隔，r4是麥克風(fēng)106d和麥克風(fēng)106a之間的間隔。該方法假定聲音源與麥克風(fēng)106a-106d具有大的距離，使得入射聲波可被近似為平面波。也可以使用用于基于本領(lǐng)域已知的不同到達(dá)時(shí)間來識(shí)別聲音的方向的其它方法。同樣，不是簡(jiǎn)單地確定方向，而是可以估算角度的扇區(qū)或范圍，即關(guān)于任何估算方向的不確定性的范圍，在不確定性的范圍的情況下，限制所使用的方向估算技術(shù)的精度。

然后可以提供由麥克風(fēng)陣列處理模塊404估算的方向以及由機(jī)器學(xué)習(xí)模型402生成的分類和置信度得分作為來自機(jī)器學(xué)習(xí)模塊112b的輸出。例如，障礙物識(shí)別模塊110b可以將具有位于所估算的方向的所識(shí)別的類別的車輛添加到潛在障礙物的集合，所述潛在障礙物的集合包括通過其他手段(例如使用成像裝置104)識(shí)別的任何障礙物。碰撞預(yù)測(cè)模塊110c然后可以執(zhí)行識(shí)別與潛在障礙物的集合的潛在碰撞，并且決策模塊110d然后可以確定要執(zhí)行的措施(諸如使車輛轉(zhuǎn)彎、應(yīng)用制動(dòng)、加速等)以避讓潛在的碰撞。

圖5示出了可以由控制器102通過處理來自麥克風(fēng)106a-106d的音頻信號(hào)執(zhí)行的方法500。方法500可以包括使用麥克風(fēng)106a-106d生成502表示檢測(cè)到的聲音的音頻信號(hào)、以及預(yù)處理504音頻信號(hào)以增強(qiáng)音頻特征。這可以包括執(zhí)行上面關(guān)于預(yù)處理模塊112a-1-112a-4所描述的任何濾波功能。具體地，預(yù)處理504可以包括在時(shí)域或頻域中生成一個(gè)或多個(gè)預(yù)處理信號(hào)，每個(gè)輸出可以是來自麥克風(fēng)106a-106d之一的音頻信號(hào)的帶通濾波版本，或者可以使用其它技術(shù)(例如使用自適應(yīng)濾波器或其他音頻處理技術(shù))對(duì)輸出進(jìn)行濾波或以其他方式處理。預(yù)處理504還可以包括如上文關(guān)于噪聲消除模塊400a-400d所描述的在預(yù)處理模塊112a-1-112a-4的輸入或輸出上執(zhí)行噪聲消除。

方法500還可以包括將預(yù)處理的信號(hào)輸入506到機(jī)器學(xué)習(xí)模型402中。然后，機(jī)器學(xué)習(xí)模型402將聲音來源分類508，即，將根據(jù)機(jī)器學(xué)習(xí)模型402來處理預(yù)處理信號(hào)中的音頻特征的屬性，然后機(jī)器學(xué)習(xí)模型402將輸出一個(gè)或多個(gè)分類和用于一個(gè)或多個(gè)分類的置信度分?jǐn)?shù)。

方法500還可以包括估算510聲音來源的方向。如上所述，這可以包括調(diào)用麥克風(fēng)陣列處理模塊404的功能以評(píng)估音頻特征在預(yù)處理輸出中的到達(dá)時(shí)間的差異，以確定到音頻特征的發(fā)起者的方向或到音頻特征的發(fā)起者的可能的角度范圍。

方法500還可以包括嘗試使用一個(gè)或多個(gè)其他信息源來驗(yàn)證在步驟508執(zhí)行的分類。例如，方法500可以包括嘗試將與聲音來源的方向與位于與聲音來源的方向相對(duì)應(yīng)的位置處的成像傳感器104的輸出內(nèi)的車輛圖像相關(guān)。例如，可以在步驟512識(shí)別位于包括方向的角度區(qū)域內(nèi)的任何車輛圖像。如果在角度區(qū)域內(nèi)在成像傳感器104的圖像流中發(fā)現(xiàn)車輛圖像，則可以增加置信度值。

方法500可以包括嘗試514將聲音來源的方向與地圖數(shù)據(jù)相關(guān)。例如，如果發(fā)現(xiàn)地圖數(shù)據(jù)指示停車位或其他合法停車區(qū)域位于自主車輛附近(例如在閾值半徑內(nèi))并且在包括聲音來源的方向的角度區(qū)域內(nèi)，則置信度值可以增加，否則置信度值不會(huì)基于地圖數(shù)據(jù)增加。用于確定停車區(qū)域是否在與聲音來源的方向的公差內(nèi)的角度區(qū)域可以與在步驟512中使用的角度區(qū)域相同或不同。

可以基于來自分類步驟508的置信度得分進(jìn)一步增加置信度值。特別地，置信度得分可以與置信度得分的大小成比例或者作為置信度得分的大小的函數(shù)而增加。如本文所述，可以檢測(cè)其發(fā)動(dòng)機(jī)運(yùn)行的停放的車輛。因此，在分類步驟508指示檢測(cè)到停放的車輛發(fā)動(dòng)機(jī)運(yùn)行的聲音的情況下，隨后將基于步驟508以及基于步驟512和514的置信度得分來增加置信度值。

方法500可以包括評(píng)估516步驟508的置信度得分是否超過閾值。例如，在步驟508沒有分類具有高于閾值的置信度得分的情況下，方法500可以包括確定作為分類的基礎(chǔ)的音頻特征可能不對(duì)應(yīng)于車輛。否則，如果置信度得分超過閾值，則方法500可以包括將潛在障礙物添加518到通過其他手段(例如使用成像裝置104)識(shí)別的障礙物的集合。潛在障礙物可以被定義為位于在步驟510確定的方向或角度的范圍內(nèi)的潛在障礙物。

對(duì)于指示其發(fā)動(dòng)機(jī)運(yùn)行的停放的車輛的分類，如果基于所有步驟508、512和514的置信度值超過對(duì)應(yīng)于停放的車輛的閾值，則步驟516可以包括確定停放的車輛是潛在障礙物并且可以從其當(dāng)前位置移動(dòng)。具體地，可以將停放的車輛的潛在路徑或一系列潛在路徑添加518到潛在障礙物的集合。例如，由于到停放的車輛的估算方向是已知的，因此停放的車輛到估算方向的任一側(cè)的潛在移動(dòng)可以被認(rèn)為是潛在障礙物。

在步驟516的任一結(jié)果中，使用其他感測(cè)系統(tǒng)(例如成像裝置104)檢測(cè)障礙物，并且使用這些感測(cè)系統(tǒng)檢測(cè)到的障礙物被添加520到障礙物的集合。相對(duì)于障礙物集合執(zhí)行522碰撞避讓。如上所述，這可以包括檢測(cè)潛在的碰撞并激活轉(zhuǎn)向致動(dòng)器116a、加速器致動(dòng)器116b和制動(dòng)致動(dòng)器116c中的一個(gè)或多個(gè)，以避讓障礙物集合的障礙物，以及將車輛引導(dǎo)到預(yù)期目的地。

在不脫離本發(fā)明的精神或基本特征的情況下，本發(fā)明可以以其它具體形式實(shí)施。所描述的實(shí)施例在所有方面都被認(rèn)為僅是說明性的，而不是限制性的。因此，本發(fā)明的范圍由所附權(quán)利要求書指示，而不是由前面的描述指示。在權(quán)利要求的等同物的含義和范圍內(nèi)的所有改變將被包括在其范圍內(nèi)。