本申請涉及車輛周圍的環(huán)境感知，尤其涉及一種車輛周圍的環(huán)境感知方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、當(dāng)今對(duì)汽車功能的智能化期待越來越高。在不同場景下的智能駕駛，如停車場內(nèi)的自動(dòng)泊車、智能接駕，道路行駛中的l4高階智駕都是今后車輛發(fā)展的主力方向。為了實(shí)現(xiàn)高級(jí)別的自動(dòng)駕駛功能，車輛首先需要依靠傳感器收集周圍的路況信息，才能為后續(xù)的規(guī)控等下游算法提供數(shù)據(jù)支持。如果車輛自身能夠?qū)崿F(xiàn)智能駕駛功能，那么該功能必須有不弱于人類駕駛員的判斷能力來保證駕駛安全。人類駕駛員主要通過視覺、聽覺判斷自車和周圍障礙物的關(guān)系，人類駕駛員通過大腦有意識(shí)地對(duì)各種駕駛情況分析來規(guī)劃的駕駛行為來進(jìn)行合理的駕駛操作決策。為了能夠使自動(dòng)駕駛的車輛擁有不輸于人類駕駛員的判斷能力，車輛的感知功能應(yīng)該盡可能多地綜合運(yùn)用車身上的各類傳感器數(shù)據(jù)，最大限度地確保車輛感知信息能力的靈敏度和準(zhǔn)確性。但是需要保證各傳感器的相互位置關(guān)系等輔助裝置，使得多傳感器系統(tǒng)方案的成本大幅增加。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供一種車輛周圍的環(huán)境感知方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決相關(guān)技術(shù)存在的問題，技術(shù)方案如下：

2、第一方面，本申請實(shí)施例提供了一種車輛周圍的環(huán)境感知方法，包括：

3、獲取車輛周邊的圖像信息；

4、對(duì)圖像信息進(jìn)行目標(biāo)特征識(shí)別，生成各目標(biāo)對(duì)象的點(diǎn)云特征；

5、根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息；

6、根據(jù)各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息轉(zhuǎn)換到車身的俯視圖平面，生成鳥瞰視角的車輛周圍的環(huán)境圖。

7、在一種實(shí)施方式中，對(duì)圖像信息進(jìn)行目標(biāo)特征識(shí)別，生成各目標(biāo)對(duì)象的點(diǎn)云特征包括：

8、圖像信息轉(zhuǎn)換輸入深層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)特征識(shí)別，確定各目標(biāo)特征信息；

9、根據(jù)各目標(biāo)特征的信息，生成各目標(biāo)對(duì)象的點(diǎn)云特征。

10、在一種實(shí)施方式中，根據(jù)各目標(biāo)特征的信息，生成各目標(biāo)對(duì)象的點(diǎn)云特征包括：

11、對(duì)各目標(biāo)特征信息進(jìn)行分割，生成各目標(biāo)對(duì)象的點(diǎn)云特征，各目標(biāo)對(duì)象的點(diǎn)云特征為三維空間中每個(gè)目標(biāo)特征的類點(diǎn)云結(jié)果。

12、在一種實(shí)施方式中，根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息包括：

13、根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定第一特征和第二特征，第一特征為可明確識(shí)別定義的目標(biāo)特征，第一特征被最小立方體框盒包圍，第二特征為不可明確識(shí)別定義的目標(biāo)特征；

14、將包圍各第一特征的對(duì)應(yīng)的立方體框盒進(jìn)行填充，得到各第一特征的對(duì)應(yīng)密集點(diǎn)云；

15、將各第一特征的對(duì)應(yīng)密集點(diǎn)云和各第二特征的類點(diǎn)云結(jié)果通過點(diǎn)云模型進(jìn)行檢測，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息。

16、在一種實(shí)施方式中，方法還包括：

17、根據(jù)各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息，確定各目標(biāo)特征的置信度；

18、將鳥瞰視角的俯視圖在長寬上平均分為n個(gè)目標(biāo)存在置信度柵格，將各目標(biāo)特征的置信度和指定閾值進(jìn)行比較，在目標(biāo)特征的置信度高于指定閾值的情況下，將該目標(biāo)特征的置信度標(biāo)識(shí)在鳥瞰視角的車輛周圍的環(huán)境俯視圖內(nèi)。

19、在一種實(shí)施方式中，方法還包括：

20、獲取車輛在行駛過程中俯視圖的參考坐標(biāo)系數(shù)據(jù)和環(huán)境圖像數(shù)據(jù)；

21、根據(jù)環(huán)境圖像數(shù)據(jù)搜索在距離車身指定范圍內(nèi)的目標(biāo)物，得到目標(biāo)物信息；

22、根據(jù)目標(biāo)物信息和參考坐標(biāo)系數(shù)據(jù)，得到參考坐標(biāo)系中的目標(biāo)物位置；

23、根據(jù)參考坐標(biāo)系中的目標(biāo)物位置和鳥瞰視角的車輛周圍的環(huán)境圖，確定參考坐標(biāo)系中的目標(biāo)物位置和鳥瞰視角的車輛周圍的環(huán)境圖中目標(biāo)物位置之間的距離誤差；

24、根據(jù)在距離誤差大于指定距離誤差的情況下，記錄對(duì)應(yīng)的個(gè)數(shù)和鳥瞰視角的車輛周圍的環(huán)境圖中目標(biāo)物位置。

25、在一種實(shí)施方式中，獲取車輛周邊的圖像信息包括：

26、環(huán)視攝像頭響應(yīng)于同步信號(hào)，進(jìn)行圖像采集，得到帶有時(shí)間戳的車輛周邊的圖像信息，同步信號(hào)用于附帶時(shí)間戳，并觸發(fā)所有環(huán)視攝像頭同時(shí)進(jìn)行曝光。

27、第二方面，本申請實(shí)施例提供了一種車輛周圍的環(huán)境感知裝置，包括：

28、第一獲取模塊，用于獲取車輛周邊的圖像信息；

29、第一生成模塊，用于對(duì)圖像信息進(jìn)行目標(biāo)特征識(shí)別，生成各目標(biāo)對(duì)象的點(diǎn)云特征；

30、第一確定模塊，用于根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息；

31、第二生成模塊，用于根據(jù)各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息轉(zhuǎn)換到車身的俯視圖平面，生成鳥瞰視角的車輛周圍的環(huán)境圖。

32、第三方面，本申請實(shí)施例提供了一種電子設(shè)備，該設(shè)備包括：存儲(chǔ)器和處理器。其中，該存儲(chǔ)器和該處理器通過內(nèi)部連接通路互相通信，該存儲(chǔ)器用于存儲(chǔ)指令，該處理器用于執(zhí)行該存儲(chǔ)器存儲(chǔ)的指令，并且當(dāng)該處理器執(zhí)行該存儲(chǔ)器存儲(chǔ)的指令時(shí)，使得該處理器執(zhí)行上述各方面任一種實(shí)施方式中的方法。

33、第四方面，本申請實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，當(dāng)計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，上述各方面任一種實(shí)施方式中的方法被執(zhí)行。

34、上述技術(shù)方案中的優(yōu)點(diǎn)或有益效果至少包括：

35、本公開實(shí)施例的技術(shù)方案，通過獲取車輛周邊的圖像信息；對(duì)圖像信息進(jìn)行目標(biāo)特征識(shí)別，生成各目標(biāo)對(duì)象的點(diǎn)云特征；根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息；根據(jù)各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息轉(zhuǎn)換到車身的俯視圖平面，生成鳥瞰視角的車輛周圍的環(huán)境信息。本實(shí)施例的車輛周圍的環(huán)境感知方法，實(shí)現(xiàn)簡單，對(duì)傳感器的要求以及算法實(shí)現(xiàn)的硬件要求較低，也不需要依靠高精地圖，云上計(jì)算等大成本方案，價(jià)格低廉，可覆蓋程度高。而且本實(shí)施例的技術(shù)方案在低速情況下對(duì)周圍障礙物能夠?qū)崿F(xiàn)高精度的3d檢測，并生成易于駕駛員理解的路況標(biāo)識(shí)，使駕駛員能夠理解車輛的決策判斷，在有異常情況容易發(fā)生危險(xiǎn)時(shí)，提醒駕駛員及時(shí)接管避免出現(xiàn)事故。采用車輛本地能夠運(yùn)行的方案，使車輛自身能夠在通信信號(hào)不良的地區(qū)保持對(duì)周圍障礙物的判斷功能。在郊區(qū)、荒野等通信設(shè)施建設(shè)不完善的地區(qū)也能夠運(yùn)行。另外通過基于視覺對(duì)環(huán)境的理解，能夠?qū)崿F(xiàn)自車高精度定位。通過對(duì)車輛以及算法的簡單修改，實(shí)現(xiàn)數(shù)據(jù)閉環(huán)可以進(jìn)一步提升該算法的效果和計(jì)算效率。

36、上述概述僅僅是為了說明書的目的，并不意圖以任何方式進(jìn)行限制。除上述描述的示意性的方面、實(shí)施方式和特征之外，通過參考附圖和以下的詳細(xì)描述，本申請進(jìn)一步的方面、實(shí)施方式和特征將會(huì)是容易明白的。

技術(shù)特征：

1.一種車輛周圍的環(huán)境感知方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述車輛周圍的環(huán)境感知方法，其特征在于，所述對(duì)所述圖像信息進(jìn)行目標(biāo)特征識(shí)別，生成各目標(biāo)對(duì)象的點(diǎn)云特征包括：

3.根據(jù)權(quán)利要求2所述車輛周圍的環(huán)境感知方法，其特征在于，所述根據(jù)各目標(biāo)特征的信息，生成各目標(biāo)對(duì)象的點(diǎn)云特征包括：

4.根據(jù)權(quán)利要求2所述車輛周圍的環(huán)境感知方法，其特征在于，所述根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息包括：

5.根據(jù)權(quán)利要求1所述車輛周圍的環(huán)境感知方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求1所述車輛周圍的環(huán)境感知方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求1所述車輛周圍的環(huán)境感知方法，其特征在于，所述獲取車輛周邊的圖像信息包括：

8.一種車輛周圍的環(huán)境感知裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：處理器和存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)指令，所述指令由處理器加載并執(zhí)行，以實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)內(nèi)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本申請?zhí)岢鲆环N車輛周圍的環(huán)境感知方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，所述車輛周圍的環(huán)境感知方法包括：獲取車輛周邊的圖像信息；對(duì)所述圖像信息進(jìn)行目標(biāo)特征識(shí)別，生成各目標(biāo)對(duì)象的點(diǎn)云特征；根據(jù)各目標(biāo)對(duì)象的點(diǎn)云特征，確定各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息；根據(jù)各目標(biāo)特征在車輛坐標(biāo)系下的三維位置信息轉(zhuǎn)換到車身的俯視圖平面，生成鳥瞰視角的車輛周圍的環(huán)境信息。本實(shí)施例的車輛周圍的環(huán)境感知方法，實(shí)現(xiàn)簡單，對(duì)傳感器的要求以及算法實(shí)現(xiàn)的硬件要求較低，也不需要依靠高精地圖，云上計(jì)算等大成本方案，價(jià)格低廉，可覆蓋程度高。

技術(shù)研發(fā)人員：沈克凡,趙木禎,田夢雨,張小勇
受保護(hù)的技術(shù)使用者：蘇州智華汽車電子有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19