本技術(shù)涉及行車計算領(lǐng)域，尤其涉及一種車底透明配準(zhǔn)方法、系統(tǒng)、介質(zhì)和程序產(chǎn)品。

背景技術(shù)：

1、車底透明技術(shù)是一種在車頭位置安裝攝像頭，獲取車輛前方圖像數(shù)據(jù)，通過算法確定車輛前后位置坐標(biāo)，將歷史視圖數(shù)據(jù)用于填補(bǔ)車底空白信息，并通過車內(nèi)大屏顯示，使駕駛員能夠直觀感知車輛底部以及周圍環(huán)境的技術(shù)。該技術(shù)在汽車領(lǐng)域具有重要意義，主要體現(xiàn)在提高駕駛安全性、泊車和操控性能，增強(qiáng)駕駛體驗(yàn)，還能用于輔助車輛維護(hù)。

2、目前常見的車底透明技術(shù)是利用can總線獲取車速和轉(zhuǎn)角信息，據(jù)此推算車輛位移，進(jìn)而匹配車底圖像。該方案通過車身傳感器獲取速度、轉(zhuǎn)向等數(shù)據(jù)，基于運(yùn)動學(xué)模型估計車輛在相鄰時刻的位移量，將位移信息與影像拼接算法相結(jié)合，生成透明車底視圖。

3、然而，相關(guān)技術(shù)的實(shí)現(xiàn)方式容易受到外界因素的影響，道路狀況變化、載荷變化等情況下會導(dǎo)致車輛的速度、轉(zhuǎn)角等信息失真，造成估算誤差。尤其在車輛轉(zhuǎn)彎、加減速等動態(tài)過程中，推算得到的位移數(shù)據(jù)精度下降，與實(shí)際畫面產(chǎn)生明顯錯位。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種車底透明配準(zhǔn)方法、系統(tǒng)、介質(zhì)和程序產(chǎn)品，基于深度神經(jīng)網(wǎng)絡(luò)從純視覺信息出發(fā)提取車輛位移，避免由于速度誤差導(dǎo)致的圖像錯位問題。

2、第一方面，本技術(shù)提供了一種車底透明配準(zhǔn)方法，應(yīng)用于車底透明配準(zhǔn)系統(tǒng)，該方法包括：將測試車輛的車輛俯視圖的相鄰兩幀圖像輸入至預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，得到車輛位移圖；車輛位移圖表示前后兩幀圖像中每個像素在x、y方向上的位移量；根據(jù)測試車輛的車速信息、轉(zhuǎn)角信息、車輛位移圖和車輛俯視圖，確定地面參考點(diǎn)云；根據(jù)地面參考點(diǎn)云中多個點(diǎn)的坐標(biāo)分布，確定地面參考點(diǎn)云相對于車身位置的置信度；在置信度高于預(yù)設(shè)可信閾值時，基于地面參考點(diǎn)云確定測試車輛在x、y方向上的位移結(jié)果數(shù)據(jù)；在置信度不高于預(yù)設(shè)可信閾值時，使用速度傳感器中的位移數(shù)據(jù)作為測試車輛在x、y方向上的位移結(jié)果數(shù)據(jù)；根據(jù)多個車輛位移圖，確定測試車輛的多個對應(yīng)的位移結(jié)果數(shù)據(jù)，得到車身定位點(diǎn)坐標(biāo)；根據(jù)車身定位點(diǎn)坐標(biāo)和車輛俯視圖，生成車底透明圖像。

3、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)確定用以表示前后兩幀每個像素在x、y方向上的位移量的車輛位移圖，然后根據(jù)車速、轉(zhuǎn)角、位移圖和俯視圖確定地面參考點(diǎn)云，并根據(jù)點(diǎn)云坐標(biāo)分布確定相對車身位置的置信度，置信度高時基于點(diǎn)云確定x、y方向位移，置信度低時使用速度傳感器數(shù)據(jù)作為位移。通過多幀位移圖確定多個位移，得到車身定位坐標(biāo)，最終生成車底透明圖像，避免了由于速度誤差導(dǎo)致的圖像錯位問題。

4、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，根據(jù)測試車輛的車速信息、轉(zhuǎn)角信息、車輛位移圖和車輛俯視圖，確定地面參考點(diǎn)云，具體包括：根據(jù)測試車輛的車速信息和轉(zhuǎn)角信息，確定車輛位移圖中測試車輛的位移誤差；根據(jù)位移誤差濾除車輛俯視圖中的錯誤區(qū)域，同時去除車輛俯視圖中的垂直方向物體，得到地面參考點(diǎn)云。

5、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)會確定車輛位移圖中測試車輛的位移誤差，基于該位移誤差濾除車輛俯視圖中的錯誤區(qū)域，同時去除垂直方向物體，得到地面參考點(diǎn)云?？梢匀コ囕v自身運(yùn)動帶來的干擾，同時剔除無關(guān)的垂直物體，提高車底透明圖像的準(zhǔn)確性和穩(wěn)定性。

6、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，根據(jù)地面參考點(diǎn)云中多個點(diǎn)的坐標(biāo)分布，確定地面參考點(diǎn)云相對于車身位置的置信度，具體包括：計算地面參考點(diǎn)云中多個點(diǎn)的空間分布密度和方向一致性，將空間分布密度和方向一致性作為點(diǎn)云分布特征；獲取包括車速信息和轉(zhuǎn)角信息的車輛運(yùn)動狀態(tài)信息，將車輛運(yùn)動狀態(tài)信息映射為車輛運(yùn)動風(fēng)險等級；根據(jù)點(diǎn)云分布特征、車輛運(yùn)動風(fēng)險等級，以及道路材質(zhì)、天氣狀況對應(yīng)的置信度補(bǔ)償系數(shù)，構(gòu)建置信度估計模型，輸出地面參考點(diǎn)云相對于車身位置的置信度。

7、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)計算地面參考點(diǎn)云中點(diǎn)的空間分布密度和方向一致性作為點(diǎn)云分布特征，然后獲取車速、轉(zhuǎn)角等車輛狀態(tài)信息映射為運(yùn)動風(fēng)險等級，綜合點(diǎn)云特征、運(yùn)動風(fēng)險以及道路材質(zhì)、天氣補(bǔ)償系數(shù)，構(gòu)建置信度估計模型，輸出地面點(diǎn)云相對車身的置信度。確定了車輛運(yùn)動狀態(tài)、環(huán)境因素對車輛定位可信度的影響，通過動態(tài)評估定位可靠性，可有效提高車底透明圖像生成的魯棒性。

8、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，在將測試車輛的車輛俯視圖的相鄰兩幀圖像輸入至預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，得到車輛位移圖的步驟之前，該方法還包括：通過車載全景相機(jī)獲取測試車輛的全視角前視圖；對全視角前視圖進(jìn)行魚眼校正和透視變換，得到車輛俯視圖。

9、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)在使用神經(jīng)網(wǎng)絡(luò)提取車輛位移之前，先通過車載全景相機(jī)獲取全視角前視圖，然后對其進(jìn)行魚眼校正和透視變換得到車輛俯視圖?？梢詳U(kuò)大視野，獲取更完整的環(huán)境信息，并消除魚眼鏡頭和成像視角帶來的畸變，提供了更高質(zhì)量的輸入圖像。

10、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，對全視角前視圖進(jìn)行魚眼校正和透視變換，得到車輛俯視圖，具體包括：對全視角前視圖進(jìn)行畸變矯正，消除鏡頭廓形畸變和透視畸變；提取全視角前視圖的紋理特征；紋理特征包括灰度共生矩陣、梯度直方圖和局部二值模式；對紋理特征進(jìn)行聚類和篩選，去除車身區(qū)域和無效區(qū)域，得到紋理特征集；根據(jù)紋理特征集的紋理質(zhì)量評價指標(biāo)，去除紋理質(zhì)量低于預(yù)設(shè)質(zhì)量閾值的紋理特征，得到車輛俯視圖。

11、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)在獲得車輛俯視圖時，對全視角前視圖進(jìn)行畸變矯正，消除鏡頭廓形畸變和透視畸變，提取灰度共生矩陣、梯度直方圖和局部二值模式等紋理特征，對紋理特征聚類篩選，去除車身和無效區(qū)域，并根據(jù)紋理質(zhì)量評價指標(biāo)，剔除低質(zhì)量的紋理特征，得到車輛俯視圖。利用紋理信息判斷區(qū)域有效性和圖像質(zhì)量，可以自適應(yīng)地過濾掉車身遮擋和圖像失真區(qū)域，提取優(yōu)質(zhì)的環(huán)境紋理作為輸入，從而提高系統(tǒng)魯棒性。

12、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，在根據(jù)車身定位點(diǎn)坐標(biāo)和車輛俯視圖，生成車底透明圖像的步驟之后，該方法還包括：獲取車輛俯視圖對應(yīng)的深度圖，根據(jù)深度圖中的深度信息，將車輛俯視圖中的像素點(diǎn)劃分為地面點(diǎn)和非地面點(diǎn)；在三維坐標(biāo)系中，根據(jù)車身定位點(diǎn)坐標(biāo)和深度信息，將車輛俯視圖中車身附近區(qū)域的地面點(diǎn)映射到虛擬車底平面，生成車底透明紋理圖；將車底透明紋理圖與車底模型相結(jié)合，渲染生成三維透明底盤圖像；將三維透明底盤圖像與車身三維模型、環(huán)境三維模型相融合，得到包含行駛路況的立體透明車底全景圖。

13、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)將車身附近的地面點(diǎn)映射到虛擬車底平面生成透明紋理圖，再與車底模型結(jié)合渲染出三維透明底盤圖像，將其與車身、環(huán)境三維模型融合，得到包含行駛路況的立體透明車底全景圖。利用深度信息重建真實(shí)三維環(huán)境，并與虛擬車底模型結(jié)合，生成沉浸式的透明底盤全景圖，使得用戶可以直觀看到車底部件與路面的立體空間關(guān)系，更好地感知車輛與環(huán)境的交互狀態(tài)。

14、結(jié)合第一方面的一些實(shí)施例，在一些實(shí)施例中，將三維透明底盤圖像與車身三維模型、環(huán)境三維模型相融合，得到包含行駛路況的立體透明車底全景圖，具體包括：獲取多幀不同時刻的車身三維模型，提取包括車輪和懸架的底盤部件的運(yùn)動變化信息，得到車身姿態(tài)變化數(shù)據(jù)；獲取多幀不同時刻的環(huán)境三維模型，確定路面高程和坡度變化，得到行駛路況風(fēng)險數(shù)據(jù)；將車身姿態(tài)變化數(shù)據(jù)與行駛路況風(fēng)險數(shù)據(jù)融入至三維透明底盤圖像中，渲染繪制危險區(qū)域示警標(biāo)識；根據(jù)車速信息和轉(zhuǎn)角信息，修正底盤部件與車身、環(huán)境之間的相對位置關(guān)系，得到立體透明車底全景圖。

15、在上述實(shí)施例中，車底透明配準(zhǔn)系統(tǒng)獲取多幀不同時刻的車身模型，提取車輪、懸架等底盤部件的運(yùn)動變化，得到車身姿態(tài)變化數(shù)據(jù)，同時獲取多幀環(huán)境模型，確定路面高程和坡度變化，得到行駛路況風(fēng)險數(shù)據(jù)，將車身姿態(tài)和路況風(fēng)險融入透明底盤，渲染繪制危險區(qū)域示警標(biāo)識，根據(jù)車速和轉(zhuǎn)角，修正底盤部件與車身環(huán)境間的相對位置，得到最終的立體透明車底全景圖。豐富了透明車底圖像的信息維度，將車身姿態(tài)、路況風(fēng)險等數(shù)據(jù)可視化，提示潛在行駛危險，同時以車速轉(zhuǎn)角動態(tài)修正局部細(xì)節(jié)，使圖像更加逼真，提升了行車安全性和駕駛體驗(yàn)。

16、第二方面，本技術(shù)實(shí)施例提供了一種車底透明配準(zhǔn)系統(tǒng)，該車底透明配準(zhǔn)系統(tǒng)包括：一個或多個處理器和存儲器；該存儲器與該一個或多個處理器耦合，該存儲器用于存儲計算機(jī)程序代碼，該計算機(jī)程序代碼包括計算機(jī)指令，該一個或多個處理器調(diào)用該計算機(jī)指令以使得該車底透明配準(zhǔn)系統(tǒng)執(zhí)行如第一方面以及第一方面中任一可能的實(shí)現(xiàn)方式描述的方法。

17、第三方面，本技術(shù)實(shí)施例提供一種包含指令的計算機(jī)程序產(chǎn)品，當(dāng)上述計算機(jī)程序產(chǎn)品在車底透明配準(zhǔn)系統(tǒng)上運(yùn)行時，使得上述車底透明配準(zhǔn)系統(tǒng)執(zhí)行如第一方面以及第一方面中任一可能的實(shí)現(xiàn)方式描述的方法。

18、第四方面，本技術(shù)實(shí)施例提供一種計算機(jī)可讀存儲介質(zhì)，包括指令，當(dāng)上述指令在車底透明配準(zhǔn)系統(tǒng)上運(yùn)行時，使得上述車底透明配準(zhǔn)系統(tǒng)執(zhí)行如第一方面以及第一方面中任一可能的實(shí)現(xiàn)方式描述的方法。

19、可以理解地，上述第二方面提供的車底透明配準(zhǔn)系統(tǒng)，第三方面提供的計算機(jī)程序產(chǎn)品和第四方面提供的計算機(jī)存儲介質(zhì)均用于執(zhí)行本技術(shù)實(shí)施例所提供的方法。因此，其所能達(dá)到的有益效果可參考對應(yīng)方法中的有益效果，此處不再贅述。

20、本技術(shù)實(shí)施例中提供的一個或多個技術(shù)方案，至少具有如下技術(shù)效果或優(yōu)點(diǎn)：

21、1、由于采用了將相鄰兩幀車輛俯視圖輸入預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到像素級位移圖的方法，結(jié)合車速、轉(zhuǎn)角等信息確定地面參考點(diǎn)云，并根據(jù)點(diǎn)云置信度選擇基于視覺或傳感器的位移估計結(jié)果，最終通過多幀累積定位生成車底透明圖像，所以有效利用視覺信息提升定位準(zhǔn)確性，通過置信度評估切換定位方式提高系統(tǒng)魯棒性，避免了速度誤差導(dǎo)致的圖像錯位問題，進(jìn)而實(shí)現(xiàn)了車底透明圖像配準(zhǔn)和實(shí)時顯示的準(zhǔn)確性提升。

22、2、由于采用了車載全景相機(jī)獲取全視角前視圖，并對其進(jìn)行魚眼校正和透視變換得到車輛俯視圖的方法，所以有效擴(kuò)大了環(huán)境感知視野，獲取了更完整的道路信息，通過圖像預(yù)處理消除了鏡頭畸變和透視失真，進(jìn)而實(shí)現(xiàn)了高質(zhì)量車輛俯視圖的生成。該俯視圖作為車輛定位和底盤配準(zhǔn)的輸入，提升了整個系統(tǒng)的感知范圍和成像質(zhì)量，減少了因視野不足、圖像失真導(dǎo)致的配準(zhǔn)誤差，保障了系統(tǒng)性能。

23、3、由于采用了深度圖像分割地面點(diǎn)與非地面點(diǎn)，結(jié)合車底模型渲染出三維透明底盤圖像，生成立體透明車底全景圖的方法，所以利用深度信息重建真實(shí)三維環(huán)境，通過虛擬車底模型映射生成與真實(shí)環(huán)境一致的車底紋理，通過三維融合實(shí)現(xiàn)車輛與環(huán)境的立體顯示，使車底透明圖像從二維平面延伸到三維立體空間。用戶可以從任意角度觀察車底部件與路面的空間關(guān)系，直觀感知車輛行駛狀態(tài)與環(huán)境的動態(tài)交互過程，提升了駕駛安全性和操控體驗(yàn)。