本發(fā)明實施例涉及車道檢測,尤其涉及一種3d車道線檢測方法、電子設備及存儲介質(zhì)。
背景技術(shù):
1、3d車道線檢測在規(guī)劃車輛行駛路線中起著至關(guān)重要的作用,近年來已成為自動駕駛領(lǐng)域的一個快速發(fā)展的主題。目前,國內(nèi)外廠商一般采用單目的輸入,即只使用車載前視相機采集的圖像,來預測自車坐標系(即ego坐標系)下的3d車道線感知結(jié)果。
2、然而,不同車輛的前視相機的外參(即表征相機的安裝位置)往往不一樣,相機外參不同,相機拍攝到的圖像也會有較大差異,從而對預測出的車道線感知結(jié)果的準確性造成非常大的影響,使得3d車道線檢測的泛化能力較差。
3、由此,目前亟需一種新的3d車道線檢測方法,以提升3d車道線檢測的泛化能力,避免相機安裝位置的不同對3d車道線檢測帶來的影響。
技術(shù)實現(xiàn)思路
1、本發(fā)明實施例提供一種3d車道線檢測方法、電子設備及存儲介質(zhì),以至少部分解決相關(guān)技術(shù)中存在的問題。
2、本發(fā)明實施例第一方面提供了一種3d車道線檢測方法,所述方法包括:
3、獲取目標圖像,所述目標圖像為包含車道線的圖像;
4、將所述目標圖像輸入預先訓練的3d車道線檢測模型,得到所述目標圖像的3d車道線檢測結(jié)果;
5、所述3d車道線檢測模型的訓練樣本是位姿擾動后圖像,所述位姿擾動后圖像用于模擬相機在擾動后位姿下針對路面上的車道線采集的圖像。
6、可選地,所述位姿擾動后圖像是按照以下步驟生成的:
7、獲得所述相機的原始位姿,以及,獲得所述相機在所述原始位姿下針對路面上的車道線采集的樣本圖像;
8、對所述原始位姿進行擾動,得到所述擾動后位姿;
9、根據(jù)所述原始位姿、所述擾動后位姿以及所述樣本圖像,得到所述位姿擾動后圖像。
10、可選地,所述樣本圖像攜帶3d車道線標注結(jié)果;所述3d車道線檢測模型的訓練步驟至少包括:
11、根據(jù)所述原始位姿和所述擾動后位姿,對所述3d車道線標注結(jié)果進行變換,得到位姿擾動后3d車道線標注結(jié)果;
12、根據(jù)所述位姿擾動后3d車道線標注結(jié)果和所述位姿擾動后圖像,對目標模型進行訓練,得到所述3d車道線檢測模型。
13、可選地,根據(jù)所述位姿擾動后3d車道線標注結(jié)果和所述位姿擾動后圖像,對目標模型進行訓練,得到所述3d車道線檢測模型,包括:
14、將所述位姿擾動后圖像輸入所述目標模型,得到所述位姿擾動后圖像的第一3d車道線預測結(jié)果;
15、根據(jù)所述位姿擾動后3d車道線標注結(jié)果和所述第一3d車道線預測結(jié)果,確定所述目標模型的第一損失值;
16、根據(jù)所述第一損失值,對所述目標模型的模型參數(shù)進行更新,得到所述3d車道線檢測模型。
17、可選地,所述樣本圖像攜帶3d車道線標注結(jié)果;所述3d車道線檢測模型的訓練步驟至少包括:
18、根據(jù)所述原始位姿和所述擾動后位姿,對目標模型中的特征提取模塊的參數(shù)進行變換,得到位姿擾動后的特征提取模塊;
19、將所述位姿擾動后圖像輸入所述位姿擾動后的特征提取模塊,得到所述位姿擾動后圖像的3d車道線特征;
20、通過所述目標模型中的3d車道線預測模塊,對所述位姿擾動后圖像的3d車道線特征進行處理,得到所述位姿擾動后圖像的第二3d車道線預測結(jié)果;
21、根據(jù)所述第二3d車道線預測結(jié)果和所述3d車道線標注結(jié)果,確定所述目標模型的第二損失值;
22、根據(jù)所述第二損失值,對所述目標模型的模型參數(shù)進行更新,得到所述3d車道線檢測模型。
23、可選地,所述目標模型中的特征提取模塊包括:2d車道線特征提取子模塊和特征轉(zhuǎn)換子模塊,所述特征轉(zhuǎn)換子模塊用于將所述2d車道線特征提取子模塊所提取的2d車道線特征轉(zhuǎn)換成3d車道線特征;
24、根據(jù)所述原始位姿和所述擾動后位姿,對目標模型中的特征提取模塊的參數(shù)進行變換,得到位姿擾動后的特征提取模塊,包括:
25、根據(jù)所述原始位姿和所述擾動后位姿,對所述特征轉(zhuǎn)換子模塊的參數(shù)進行變換,得到位姿擾動后的特征轉(zhuǎn)換子模塊;
26、將所述位姿擾動后圖像輸入所述位姿擾動后的特征提取模塊,得到所述位姿擾動后圖像的3d車道線特征,包括:
27、通過所述2d車道線特征提取子模塊,對所述位姿擾動后圖像進行2d車道線特征提取,得到所述2d車道線特征;
28、通過所述位姿擾動后的特征轉(zhuǎn)換子模塊,對所述2d車道線特征進行轉(zhuǎn)換,得到所述位姿擾動后圖像的3d車道線特征。
29、可選地,根據(jù)所述原始位姿、所述擾動后位姿以及所述樣本圖像,得到所述位姿擾動后圖像,是按照單應變換矩陣進行的,所述單應變換矩陣是按照以下步驟確定的:
30、獲得路面的n個位置點在自車坐標系下的坐標,所述自車坐標系為所述相機所在的車輛的坐標系,n為大于等于4的整數(shù);
31、將所述n個位置點投影到所述原始位姿對應的圖像坐標系,以及將所述n個位置點投影到所述擾動后位姿對應的圖像坐標系,得到n個點對,每個點對包括:一個位置點投影到所述原始位姿對應的圖像坐標系下的坐標,以及,該位置點投影到所述擾動后位姿對應的圖像坐標系下的坐標;
32、根據(jù)所述n個點對,確定所述單應變換矩陣。
33、可選地,所述路面的n個位置點是根據(jù)所述樣本圖像攜帶的3d車道線標注結(jié)果確定的。
34、可選地,對所述原始位姿進行擾動,得到所述擾動后位姿,包括:
35、在目標范圍內(nèi)隨機選取擾動量;
36、按照所述擾動量,對所述原始位姿進行擾動,得到擾動后位姿。
37、本發(fā)明實施例第二方面提供了一種3d車道線檢測裝置,所述裝置包括:
38、第一圖像獲取模塊,用于獲取目標圖像,所述目標圖像為包含車道線的圖像;
39、車道線檢測模塊,用于將所述目標圖像輸入預先訓練的3d車道線檢測模型,得到所述目標圖像的3d車道線檢測結(jié)果;
40、所述3d車道線檢測模型的訓練樣本是位姿擾動后圖像,所述位姿擾動后圖像用于模擬相機在擾動后位姿下針對路面上的車道線采集的圖像。
41、本發(fā)明實施例第三方面提供一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如本發(fā)明第一方面所述的3d車道線檢測方法中的步驟。
42、本發(fā)明實施例第四方面提供一種計算機可讀存儲介質(zhì),其上存儲有計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明第一方面所述的3d車道線檢測方法中的步驟。
43、本發(fā)明實施例第五方面提供一種計算機程序產(chǎn)品,包括計算機程序,該計算機程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明第一方面所述的3d車道線檢測方法的步驟。
44、本發(fā)明實施例中,基于預先訓練好的3d車道線檢測模型對目標圖像進行3d車道線檢測,由于3d車道線檢測模型的訓練樣本是位姿擾動后圖像,而位姿擾動后圖像是用于模擬相機在擾動后位姿下針對路面上的車道線采集的圖像,因此本發(fā)明實施例中的3d車道線檢測模型在訓練時使用了各種不同位姿(即相機不同安裝位置)下針對路面上的車道線采集的圖像,訓練好的3d車道線檢測模型能夠針對相機在各種不同位姿下拍攝的目標圖像進行更加精準的3d車道線檢測,從而避免相機安裝位置的不同對3d車道線檢測帶來的影響,提升了3d車道線檢測的泛化能力。