本發(fā)明涉及智能駕駛,特別涉及一種交通燈數(shù)據(jù)處理方法及裝置。
背景技術(shù):
1、隨著各大汽車企業(yè)及互聯(lián)網(wǎng)公司對自動駕駛汽車技術(shù)的持續(xù)研發(fā)及迭代,自動駕駛領(lǐng)域中的感知技術(shù)實(shí)現(xiàn)了飛速發(fā)展。交通燈檢測與識別是自動駕駛汽車感知技術(shù)中至關(guān)重要的一部分,它是實(shí)現(xiàn)自動駕駛汽車能否順利通過交通路口的關(guān)鍵,進(jìn)而保證自車、行人及其他道路使用者的安全。
2、在對交通燈進(jìn)行識別和檢測時(shí),通常使用視覺與高精度地圖結(jié)合的方式進(jìn)行識別和檢測,該種方案通過高精度地圖獲取交通燈區(qū)域,再對該區(qū)域進(jìn)行檢測與識別。這種方案需要構(gòu)建高精度地圖,構(gòu)建高精度地圖的過程及其繁瑣且價(jià)格昂貴,所需成本極高。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此,本發(fā)明實(shí)施例提供一種交通燈數(shù)據(jù)處理方法及裝置,本發(fā)明無需構(gòu)建高精度的地圖,通過采集的圖片以及點(diǎn)云數(shù)據(jù)即可識別交通燈,有效降低了識別的成本。
2、為實(shí)現(xiàn)上述目的,本發(fā)明實(shí)施例提供如下技術(shù)方案:
3、一種交通燈數(shù)據(jù)處理方法,包括:
4、基于車輛所行駛的道路的道路圖像,獲取所述道路的各個(gè)交通燈的交通燈信息;
5、基于每個(gè)所述交通燈的交通燈信息,在所述道路的點(diǎn)云數(shù)據(jù)中確定每個(gè)所述交通燈的各個(gè)點(diǎn)云坐標(biāo);
6、對各個(gè)所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類處理,得到每個(gè)所述交通燈的中心坐標(biāo);
7、基于各個(gè)所述交通燈的中心坐標(biāo),篩選出滿足預(yù)設(shè)條件的交通燈。
8、上述的方法,可選的,所述基于車輛所行駛的道路的道路圖像,獲取所述道路的各個(gè)交通燈的交通燈信息,包括:
9、將所述道路圖像輸入預(yù)設(shè)的目標(biāo)檢測深度學(xué)習(xí)模型,得到所述道路圖像上的每個(gè)交通燈的輪廓信息;
10、基于每個(gè)所述交通燈的輪廓信息,在所述道路圖像中獲取每個(gè)所述交通燈的檢測圖像;
11、將每個(gè)所述交通燈的檢測圖像輸入預(yù)設(shè)的圖像分類學(xué)習(xí)模型,得到每個(gè)所述交通燈的類別信息;
12、對于每個(gè)所述交通燈,將所述交通燈的輪廓信息和類別信息均確定為交通燈信息。
13、上述的方法,可選的,所述基于每個(gè)所述交通燈的交通燈信息,在所述道路的點(diǎn)云數(shù)據(jù)中確定每個(gè)所述交通燈的各個(gè)點(diǎn)云坐標(biāo),包括:
14、采集所述道路的點(diǎn)云數(shù)據(jù),對所述點(diǎn)云數(shù)據(jù)進(jìn)行分割,得到多個(gè)類別的點(diǎn)云;
15、基于每個(gè)所述點(diǎn)云的類型信息,將滿足預(yù)設(shè)類別的點(diǎn)云確定為目標(biāo)點(diǎn)云;
16、基于各個(gè)所述交通燈的交通燈信息,在各個(gè)所述目標(biāo)點(diǎn)云中確定各個(gè)所述交通燈的匹配點(diǎn)云;
17、對于每個(gè)所述交通燈,將所述交通燈的匹配點(diǎn)云的點(diǎn)云坐標(biāo)確定為所述交通燈的點(diǎn)云坐標(biāo)。
18、上述的方法,可選的,所述基于各個(gè)所述交通燈的交通燈信息,在各個(gè)所述目標(biāo)點(diǎn)云中確定各個(gè)所述交通燈的匹配點(diǎn)云,包括:
19、將各個(gè)所述目標(biāo)點(diǎn)云映射至所述道路圖像上,得到點(diǎn)云映射圖像;
20、對于每個(gè)所述交通燈,基于所述交通燈的交通燈信息,在所述點(diǎn)云映射圖像上確定交通燈輪廓,并將位于所述交通燈輪廓內(nèi)的目標(biāo)點(diǎn)云均確定為所述交通燈的匹配點(diǎn)云。
21、上述的方法,可選的,所述對各個(gè)所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類處理,得到每個(gè)所述交通燈的中心坐標(biāo),包括:
22、將所述車輛作為標(biāo)準(zhǔn)點(diǎn)構(gòu)建網(wǎng)格,所述網(wǎng)格包含多個(gè)子網(wǎng)格;
23、在各個(gè)所述子網(wǎng)格中確定各個(gè)所述交通燈的網(wǎng)格集合,所述網(wǎng)格集合中包含多個(gè)有效子網(wǎng)格;
24、對于每個(gè)所述交通燈,應(yīng)用所述交通燈的網(wǎng)格集合對所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類,得到所述交通燈的中心坐標(biāo)。
25、上述的方法,可選的,所述在各個(gè)所述子網(wǎng)格中確定各個(gè)所述交通燈的網(wǎng)格集合,包括:
26、對于每個(gè)所述點(diǎn)云坐標(biāo),確定所述點(diǎn)云坐標(biāo)所處的子網(wǎng)格,并將該子網(wǎng)格確定為所述點(diǎn)云坐標(biāo)所屬的交通燈的有效子網(wǎng)格;
27、對于每個(gè)所述交通燈,將所述交通燈的各個(gè)有效子網(wǎng)格組成所述交通燈的網(wǎng)格集合。
28、上述的方法,可選的,所述應(yīng)用所述交通燈的網(wǎng)格集合對所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類,得到所述交通燈的中心坐標(biāo),包括:
29、基于所述網(wǎng)格集合,對所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類,得到所述交通燈的各個(gè)聚類簇,所述聚類簇中包含多個(gè)點(diǎn)云坐標(biāo);
30、將點(diǎn)云坐標(biāo)數(shù)最多的聚類簇確定為目標(biāo)聚類簇;
31、對所述目標(biāo)聚類簇中的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行求均值處理,得到中心坐標(biāo)。
32、上述的方法,可選的,所述基于所述網(wǎng)格集合,對所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類,得到所述交通燈的各個(gè)聚類簇,包括:
33、在所述交通燈的各個(gè)點(diǎn)云坐標(biāo)中選擇目標(biāo)點(diǎn)云坐標(biāo);
34、在所述網(wǎng)格集合的各個(gè)有效子網(wǎng)格中確定所述目標(biāo)點(diǎn)云坐標(biāo)的相鄰子網(wǎng)格;
35、將所述目標(biāo)點(diǎn)云坐標(biāo)的相鄰子網(wǎng)格中的點(diǎn)云坐標(biāo)組成聚類簇;
36、對所述交通燈中屬于所述聚類簇的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行標(biāo)記,并在剩余未標(biāo)記的點(diǎn)云坐標(biāo)中選擇新的目標(biāo)點(diǎn)云坐標(biāo);
37、將各個(gè)所述相鄰子網(wǎng)格從所述網(wǎng)格集合中刪除,并返回執(zhí)行在所述網(wǎng)格集合的各個(gè)有效子網(wǎng)格中確定所述目標(biāo)點(diǎn)云坐標(biāo)的相鄰子網(wǎng)格的步驟,直至所述交通燈的所有的點(diǎn)云坐標(biāo)均被標(biāo)記。
38、上述的方法,可選的,還包括:
39、將滿足預(yù)設(shè)條件的交通燈的交通燈信息和三維信息向所述車輛的自動駕駛決策系統(tǒng)反饋,使得所述自動駕駛決策系統(tǒng)基于所述交通燈信息和所述三維信息構(gòu)建所述車輛的行駛場景以及確定所述車輛的行駛策略。
40、一種交通燈數(shù)據(jù)處理裝置,包括:
41、獲取單元,用于基于車輛所行駛的道路的道路圖像,獲取所述道路的各個(gè)交通燈的交通燈信息;
42、確定單元,用于基于每個(gè)所述交通燈的交通燈信息,在所述道路的點(diǎn)云數(shù)據(jù)中確定每個(gè)所述交通燈的各個(gè)點(diǎn)云坐標(biāo);
43、聚類單元,用于對各個(gè)所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類處理,得到每個(gè)所述交通燈的中心坐標(biāo);
44、篩選單元,用于基于各個(gè)所述交通燈的中心坐標(biāo),篩選出滿足預(yù)設(shè)條件的交通燈。
45、上述的裝置,可選的,所述獲取單元,包括:
46、第一輸入子單元,用于將所述道路圖像輸入預(yù)設(shè)的目標(biāo)檢測深度學(xué)習(xí)模型,得到所述道路圖像上的每個(gè)交通燈的輪廓信息;
47、獲取子單元,用于基于每個(gè)所述交通燈的輪廓信息,在所述道路圖像中獲取每個(gè)所述交通燈的檢測圖像;
48、第二輸入子單元,用于將每個(gè)所述交通燈的檢測圖像輸入預(yù)設(shè)的圖像分類學(xué)習(xí)模型,得到每個(gè)所述交通燈的類別信息;
49、第一確定子單元,用于對于每個(gè)所述交通燈,將所述交通燈的輪廓信息和類別信息均確定為交通燈信息。
50、上述的裝置,可選的,所述確定單元,包括:
51、采集子單元,用于采集所述道路的點(diǎn)云數(shù)據(jù),對所述點(diǎn)云數(shù)據(jù)進(jìn)行分割,得到多個(gè)類別的點(diǎn)云;
52、第二確定子單元,用于基于每個(gè)所述點(diǎn)云的類型信息,將滿足預(yù)設(shè)類別的點(diǎn)云確定為目標(biāo)點(diǎn)云;
53、第三確定子單元,用于基于各個(gè)所述交通燈的交通燈信息,在各個(gè)所述目標(biāo)點(diǎn)云中確定各個(gè)所述交通燈的匹配點(diǎn)云;
54、第四確定子單元,用于對于每個(gè)所述交通燈,將所述交通燈的匹配點(diǎn)云的點(diǎn)云坐標(biāo)確定為所述交通燈的點(diǎn)云坐標(biāo)。
55、上述的裝置,可選的,所述第三確定子單元,包括:
56、映射模塊,用于將各個(gè)所述目標(biāo)點(diǎn)云映射至所述道路圖像上,得到點(diǎn)云映射圖像;
57、第一確定模塊,用于對于每個(gè)所述交通燈,基于所述交通燈的交通燈信息,在所述點(diǎn)云映射圖像上確定交通燈輪廓,并將位于所述交通燈輪廓內(nèi)的目標(biāo)點(diǎn)云均確定為所述交通燈的匹配點(diǎn)云。
58、上述的裝置,可選的,所述聚類單元,包括:
59、構(gòu)建子單元,用于將所述車輛作為標(biāo)準(zhǔn)點(diǎn)構(gòu)建網(wǎng)格,所述網(wǎng)格包含多個(gè)子網(wǎng)格;
60、第五確定子單元,用于在各個(gè)所述子網(wǎng)格中確定各個(gè)所述交通燈的網(wǎng)格集合,所述網(wǎng)格集合中包含多個(gè)有效子網(wǎng)格;
61、聚類子單元,用于對于每個(gè)所述交通燈,應(yīng)用所述交通燈的網(wǎng)格集合對所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類,得到所述交通燈的中心坐標(biāo)。
62、上述的裝置,可選的,所述第五確定子單元,包括:
63、第二確定模塊,用于對于每個(gè)所述點(diǎn)云坐標(biāo),確定所述點(diǎn)云坐標(biāo)所處的子網(wǎng)格,并將該子網(wǎng)格確定為所述點(diǎn)云坐標(biāo)所屬的交通燈的有效子網(wǎng)格;
64、組成模塊,用于對于每個(gè)所述交通燈,將所述交通燈的各個(gè)有效子網(wǎng)格組成所述交通燈的網(wǎng)格集合。
65、上述的裝置,可選的,所述聚類子單元,包括:
66、聚類模塊,用于基于所述網(wǎng)格集合,對所述交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類,得到所述交通燈的各個(gè)聚類簇,所述聚類簇中包含多個(gè)點(diǎn)云坐標(biāo);
67、第三確定模塊,用于將點(diǎn)云坐標(biāo)數(shù)最多的聚類簇確定為目標(biāo)聚類簇;
68、處理模塊,用于對所述目標(biāo)聚類簇中的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行求均值處理,得到中心坐標(biāo)。
69、上述的裝置,可選的,所述聚類模塊,包括:
70、選擇子模塊,用于在所述交通燈的各個(gè)點(diǎn)云坐標(biāo)中選擇目標(biāo)點(diǎn)云坐標(biāo);
71、確定子模塊,用于在所述網(wǎng)格集合的各個(gè)有效子網(wǎng)格中確定所述目標(biāo)點(diǎn)云坐標(biāo)的相鄰子網(wǎng)格;
72、組成子模塊,用于將所述目標(biāo)點(diǎn)云坐標(biāo)的相鄰子網(wǎng)格中的點(diǎn)云坐標(biāo)組成聚類簇;
73、標(biāo)記子模塊,用于對所述交通燈中屬于所述聚類簇的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行標(biāo)記,并在剩余未標(biāo)記的點(diǎn)云坐標(biāo)中選擇新的目標(biāo)點(diǎn)云坐標(biāo);
74、刪除子模塊,用于將各個(gè)所述相鄰子網(wǎng)格從所述網(wǎng)格集合中刪除,并返回執(zhí)行在所述網(wǎng)格集合的各個(gè)有效子網(wǎng)格中確定所述目標(biāo)點(diǎn)云坐標(biāo)的相鄰子網(wǎng)格的步驟,直至所述交通燈的所有的點(diǎn)云坐標(biāo)均被標(biāo)記。
75、一種存儲介質(zhì),所述存儲介質(zhì)包括存儲的指令,其中,在所述指令運(yùn)行時(shí)控制所述存儲介質(zhì)所在的設(shè)備執(zhí)行上述交通燈數(shù)據(jù)處理方法。
76、一種電子設(shè)備,具體包括存儲器,以及一個(gè)或者一個(gè)以上的指令,其中一個(gè)或者一個(gè)以上指令存儲于存儲器中,且經(jīng)配置以由一個(gè)或者一個(gè)以上處理器執(zhí)行所述一個(gè)或者一個(gè)以上指令執(zhí)行上述交通燈數(shù)據(jù)處理方法。
77、與現(xiàn)有技術(shù)相比,本發(fā)明具有以下優(yōu)點(diǎn):
78、本發(fā)明提供一種交通燈數(shù)據(jù)處理方法及裝置,包括:基于車輛所行駛的道路的道路圖像,獲取道路的各個(gè)交通燈的交通燈信息;基于每個(gè)交通燈的交通燈信息,在道路的點(diǎn)云數(shù)據(jù)中確定每個(gè)交通燈的各個(gè)點(diǎn)云坐標(biāo);對各個(gè)交通燈的各個(gè)點(diǎn)云坐標(biāo)進(jìn)行聚類處理,得到每個(gè)交通燈的中心坐標(biāo);基于各個(gè)交通燈的中心坐標(biāo),篩選出滿足預(yù)設(shè)條件的交通燈。在確定交通燈的過程中,從道路圖像識別交通燈,然后結(jié)合道路的點(diǎn)云數(shù)據(jù),從識別的各個(gè)交通燈中確定最后的交通燈,整個(gè)過程無需構(gòu)建高精度地圖,有效減少資金的投入,降低識別交通燈所需的花費(fèi)。