本技術(shù)涉及圖像處理領(lǐng)域,尤其涉及一種高速行駛車輛的交通小目標(biāo)檢測方法、相應(yīng)的裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)。
背景技術(shù):
1、當(dāng)今社會,隨著自動駕駛技術(shù)的快速發(fā)展,交通目標(biāo)檢測方法受到越來越多的關(guān)注。交通目標(biāo)檢測在智能交通系統(tǒng)、自動駕駛技術(shù)、交通監(jiān)控與管理以及安全駕駛輔助等多個領(lǐng)域發(fā)揮著至關(guān)重要的作用。交通目標(biāo)檢測能夠?qū)崟r監(jiān)測道路上的車輛和行人等事物,幫助駕駛員或自動駕駛系統(tǒng)提前識別潛在的危險,從而采取相應(yīng)的避讓措施,減少交通事故的發(fā)生。
2、交通目標(biāo)檢測的研究方法主要可以分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法兩大類。傳統(tǒng)的交通目標(biāo)檢測方法主要依賴于圖像處理技術(shù)和機(jī)器學(xué)習(xí)算法。傳統(tǒng)方法通常包括對輸入的圖像進(jìn)行圖像增強(qiáng)等預(yù)處理,再從預(yù)處理后的圖像中提取有用的特征,并通過機(jī)器學(xué)習(xí)算法對提取的特征進(jìn)行訓(xùn)練,最后利用提取的特征,通過分類器對圖像中的區(qū)域進(jìn)行分類。傳統(tǒng)的交通目標(biāo)檢測方法存在計算量大、特征設(shè)計復(fù)雜、泛化能力差等缺點,難以滿足實時性和準(zhǔn)確性的要求。
3、隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展,基于深度學(xué)習(xí)的交通目標(biāo)檢測方法逐漸成為主流。這些方法利用卷積神經(jīng)網(wǎng)絡(luò)(cnn)等深度學(xué)習(xí)模型,直接從原始圖像中學(xué)習(xí)特征并進(jìn)行分類和定位?,F(xiàn)有技術(shù)中的交通目標(biāo)檢測模型雖然已經(jīng)進(jìn)行了一些輕量化,但還未能滿足車輛在高速駕駛場景下的交通小目標(biāo)檢測需求,例如無人駕駛汽車或自動駕駛汽車在高速駕駛場景下的交通小目標(biāo)檢測需求,且yolo模型需要預(yù)設(shè)錨框和進(jìn)行nms操作,要求更多的處理時間,使得在資源受限的邊緣設(shè)備上難以進(jìn)行實時處理。針對小目標(biāo)的檢測,現(xiàn)有技術(shù)中的交通目標(biāo)檢測模型往往暴露出較高的誤檢率和漏檢率,這不僅影響了檢測的準(zhǔn)確性,還可能誤導(dǎo)無人駕駛汽車或自動駕駛汽車做出錯誤判斷,導(dǎo)致安全事故的發(fā)生,甚至危及司乘人員以及行人的生命財產(chǎn)安全。
4、綜上所述,適應(yīng)現(xiàn)有技術(shù)中傳統(tǒng)的交通目標(biāo)檢測方法存在計算量大、特征設(shè)計復(fù)雜、泛化能力差等缺點,難以滿足實時性和準(zhǔn)確性的要求,以及暴露出較高的誤檢率和漏檢率等問題,本技術(shù)人出于解決該問題的考慮作出相應(yīng)的探索。
技術(shù)實現(xiàn)思路
1、本技術(shù)的目的在于解決上述問題而提供一種高速行駛車輛的交通小目標(biāo)檢測方法、相應(yīng)的裝置、電子設(shè)備及計算機(jī)可讀存儲介質(zhì)。
2、為滿足本技術(shù)的各個目的,本技術(shù)采用如下技術(shù)方案:
3、適應(yīng)本技術(shù)的目的之一而提出的一種高速行駛車輛的交通小目標(biāo)檢測方法,包括:
4、獲取高速行駛車輛中包含有交通小目標(biāo)的交通場景圖像幀;
5、將預(yù)設(shè)的第一交通小目標(biāo)檢測模型中的主干網(wǎng)絡(luò)更新為starnet輕量級網(wǎng)絡(luò),將所述starnet輕量級網(wǎng)絡(luò)中的跨步卷積層更新為spd-conv模塊,將所述第一交通小目標(biāo)檢測模型中的特征融合網(wǎng)絡(luò)的ccfm結(jié)構(gòu)更新為fast?panet結(jié)構(gòu),以構(gòu)建第二交通小目標(biāo)檢測模型;
6、將所述交通場景圖像幀輸入至已訓(xùn)練至收斂狀態(tài)的第二交通小目標(biāo)檢測模型,在所述starnet輕量級網(wǎng)絡(luò)的多層堆疊遞歸的多個star?block模塊中,采用星操作對所述交通場景圖像幀相對應(yīng)的圖像特征進(jìn)行逐元素乘法以指數(shù)級增長所述交通場景圖像幀中的隱式特征維度,以確定所述交通場景圖像幀相對應(yīng)的高維圖像特征;
7、將所述高維圖像特征輸入至所述交通小目標(biāo)檢測模型中的檢測頭網(wǎng)絡(luò),獲得所述交通場景圖像幀中的多個交通小目標(biāo),以完成高速行駛車輛的交通小目標(biāo)檢測。
8、可選的,所述starnet輕量級網(wǎng)絡(luò)包括cbr模塊和多個star?layer模塊,其中,每個star?layer模塊包括spd-conv模塊和多個starblock模塊,所述spd-conv模塊包括空間到深度層以及點卷積層;
9、所述fast?panet結(jié)構(gòu)包括上采樣層、下采樣層、特征拼接層以及特征融合層,其中,在所述下采樣層中引入所述spd-conv模塊。
10、可選的,在所述starnet輕量級網(wǎng)絡(luò)的多層堆疊遞歸的多個star?block模塊中,采用星操作對所述交通場景圖像幀相對應(yīng)的圖像特征進(jìn)行逐元素乘法以指數(shù)級增長所述交通場景圖像幀中的隱式特征維度,以確定所述交通場景圖像幀相對應(yīng)的高維圖像特征的步驟,包括:
11、在每個star?block模塊中,首先將輸入的圖像特征經(jīng)過7×7的第一深度可分離卷積模塊進(jìn)行第一深度可分離卷積處理,處理后的結(jié)果并行地送入兩個1x1卷積層,使通道數(shù)擴(kuò)展為原來的4倍;
12、第一1x1卷積層的第一輸出結(jié)果經(jīng)過relu6激活函數(shù)進(jìn)行激活后,與第二1x1卷積層的第二輸出結(jié)果進(jìn)行逐元素乘法結(jié)合,以確定第三輸出結(jié)果;
13、之后,所述第三輸出結(jié)果通過一個1×1的卷積層調(diào)整通道數(shù),將通道數(shù)縮小為四分之一,以恢復(fù)為原來的通道數(shù),在star?block模塊的末尾再次加入了7×7的第二深度可分離卷積模塊,以進(jìn)行第二深度可分離卷積處理;
14、最后,將第二深度可分離卷積處理后的特征圖通過drop_path層進(jìn)行正則化以減少過擬合,并與原始輸入進(jìn)行殘差連接,最終輸出所述交通場景圖像幀相對應(yīng)的高維圖像特征。
15、可選的,在所述starnet輕量級網(wǎng)絡(luò)的多層堆疊遞歸的多個star?block模塊中,采用星操作對所述交通場景圖像幀相對應(yīng)的圖像特征進(jìn)行逐元素乘法以指數(shù)級增長所述交通場景圖像幀中的隱式特征維度,以確定所述交通場景圖像幀相對應(yīng)的高維圖像特征的步驟之前,包括:
16、在所述starnet輕量級網(wǎng)絡(luò)的star?layer模塊中,所述spd-conv模塊中的空間到深度層將所述交通場景圖像幀相對應(yīng)的圖像特征從空間維度劃分為多個子圖像特征,將所述多個子圖像特征從通道維度進(jìn)行拼接以確定第一中間特征圖;
17、所述spd-conv模塊中的點卷積層對所述第一中間特征圖進(jìn)行通道降維以確定通道降維后的第一中間特征圖;
18、所述star?layer模塊中的?star?block模塊將所述通道降維后的第一中間特征圖依次進(jìn)行第一深度可分離卷積、通道數(shù)擴(kuò)展、非線性激活、逐元素乘法、通道數(shù)調(diào)整、第二深度可分離卷積以及殘差連接處理,以確定高層級特征圖。
19、可選的,所述star?layer模塊中的?star?block模塊將所述通道降維后的第一中間特征圖依次進(jìn)行第一深度可分離卷積、通道數(shù)擴(kuò)展、非線性激活、逐元素乘法、通道數(shù)調(diào)整、第二深度可分離卷積以及殘差連接處理,以確定高層級特征圖的步驟之后,包括:
20、在所述交通小目標(biāo)檢測模型的fast?panet結(jié)構(gòu)中,所述上采樣層將所述高層級特征圖采用最鄰近插值算法擴(kuò)展所述高層級特征圖的空間尺寸以對齊低層級特征圖;
21、在所述下采樣層中的?spd-conv模塊通過空間到深度轉(zhuǎn)換和點卷積操作以確定不同層級的圖像特征,在所述特征拼接層中將所述不同層級的圖像特征在通道維度上進(jìn)行拼接以確定拼接后的多層級圖像特征;
22、在所述特征融合層中采用反向瓶頸設(shè)計和多個卷積操作對所述拼接后的多層級圖像特征進(jìn)行特征融合,以確定融合后的多尺度圖像特征;
23、將所述融合后的多尺度圖像特征輸入至所述交通小目標(biāo)檢測模型中的檢測頭網(wǎng)絡(luò),檢測出所述交通場景圖像中的多個交通小目標(biāo),以完成高速行駛車輛的交通小目標(biāo)檢測。
24、可選的,在所述特征融合層中采用反向瓶頸設(shè)計和多個卷積操作對所述拼接后的特征圖進(jìn)行特征融合,以確定融合后的多尺度圖像特征的步驟,包括:
25、將拼接后的多層級圖像特征輸入到所述特征融合層中的通道降維模塊,對所述多層級圖像特征進(jìn)行通道降維處理,其中,所述特征融合層由一個通道降維模塊與兩個殘差反向瓶頸模塊串聯(lián)所構(gòu)建,所述通道降維模塊由多個不改變特征空間尺寸的卷積層所構(gòu)建;
26、將通道降維處理后的多層級圖像特征輸入到第一殘差反向瓶頸模塊中,依次進(jìn)行通道數(shù)增加、深度可分離卷積、通道數(shù)恢復(fù)以及殘差連接處理,得到第一殘差反向瓶頸模塊的輸出;
27、將所述第一殘差反向瓶頸模塊的輸出作為第二殘差反向瓶頸模塊的輸入,重復(fù)上述步驟,以確定融合后的多尺度圖像特征。
28、可選的,所述第一交通小目標(biāo)檢測模型的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為原始rt-detr目標(biāo)檢測模型,所述第二交通小目標(biāo)檢測模型的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為改進(jìn)的rt-detr目標(biāo)檢測模型;
29、所述交通小目標(biāo)包括行人、小動物、交通設(shè)施或非機(jī)動車的一項或任意多項;所述高速行駛車輛表征高速行駛中的無人駕駛汽車或自動駕駛汽車。
30、適應(yīng)本技術(shù)的另一目的而提供的一種高速行駛車輛的交通小目標(biāo)檢測裝置,包括:
31、圖像獲取模塊,設(shè)置為獲取高速行駛車輛中包含有交通小目標(biāo)的交通場景圖像幀;
32、檢測模型構(gòu)建模塊,設(shè)置為將預(yù)設(shè)的第一交通小目標(biāo)檢測模型中的主干網(wǎng)絡(luò)更新為starnet輕量級網(wǎng)絡(luò),將所述starnet輕量級網(wǎng)絡(luò)中的跨步卷積層更新為spd-conv模塊,將所述第一交通小目標(biāo)檢測模型中的特征融合網(wǎng)絡(luò)的ccfm結(jié)構(gòu)更新為fast?panet結(jié)構(gòu),以構(gòu)建第二交通小目標(biāo)檢測模型;
33、高維特征提取模塊,設(shè)置為將所述交通場景圖像幀輸入至已訓(xùn)練至收斂狀態(tài)的第二交通小目標(biāo)檢測模型,在所述starnet輕量級網(wǎng)絡(luò)的多層堆疊遞歸的多個star?block模塊中,采用星操作對所述交通場景圖像幀相對應(yīng)的圖像特征進(jìn)行逐元素乘法以指數(shù)級增長所述交通場景圖像幀中的隱式特征維度,以確定所述交通場景圖像幀相對應(yīng)的高維圖像特征;
34、小目標(biāo)檢測模塊,設(shè)置為將所述高維圖像特征輸入至所述交通小目標(biāo)檢測模型中的檢測頭網(wǎng)絡(luò),獲得所述交通場景圖像幀中的多個交通小目標(biāo),以完成高速行駛車輛的交通小目標(biāo)檢測。
35、適應(yīng)本技術(shù)的另一目的而提供的一種電子設(shè)備,包括中央處理器和存儲器,所述中央處理器用于調(diào)用運行存儲于所述存儲器中的計算機(jī)程序以執(zhí)行本技術(shù)所述高速行駛車輛的交通小目標(biāo)檢測方法的步驟。
36、適應(yīng)本技術(shù)的另一目的而提供的一種計算機(jī)可讀存儲介質(zhì),其以計算機(jī)可讀指令的形式存儲有依據(jù)所述高速行駛車輛的交通小目標(biāo)檢測方法所實現(xiàn)的計算機(jī)程序,該計算機(jī)程序被計算機(jī)調(diào)用運行時,執(zhí)行相應(yīng)的方法所包括的步驟。
37、相對于現(xiàn)有技術(shù),本技術(shù)針對現(xiàn)有技術(shù)中傳統(tǒng)的交通目標(biāo)檢測方法存在計算量大、特征設(shè)計復(fù)雜、泛化能力差等缺點,難以滿足實時性和準(zhǔn)確性的要求,以及暴露出較高的誤檢率和漏檢率等問題,本技術(shù)包括但不限于如下有益效果?:
38、其一,本技術(shù)的交通小目標(biāo)檢測模型中的starnet輕量級網(wǎng)絡(luò),通過星操作實現(xiàn)高維和非線性特征空間的映射,而無需增加計算復(fù)雜度,所述starnet輕量級網(wǎng)絡(luò)中的星操作能夠在低維輸入中隱式獲得高維特征,將原始rt-detr目標(biāo)檢測模型中的主干網(wǎng)絡(luò)更新為starnet輕量級網(wǎng)絡(luò),能夠在保持計算效率的同時,還能夠獲得更豐富和表達(dá)力更強(qiáng)的特征表示,這對于高速行駛車輛中的交通小目標(biāo)檢測任務(wù)中的精細(xì)特征捕獲尤為重要;
39、其二,本技術(shù)的交通小目標(biāo)檢測模型中的starnet輕量級網(wǎng)絡(luò),具有高效網(wǎng)絡(luò)設(shè)計,所述?starnet輕量級網(wǎng)絡(luò)通過星操作實現(xiàn)了高效的特征表示,而無需復(fù)雜的網(wǎng)絡(luò)設(shè)計和額外的計算開銷,能夠在低維空間中執(zhí)行計算,但隱式地考慮極高維的特征?,將starnet輕量級網(wǎng)絡(luò)作為本技術(shù)的交通小目標(biāo)檢測模型的主干網(wǎng)絡(luò),提供高效的計算和更好的特征表示,可以在高速行駛車輛這種資源受限的環(huán)境中實現(xiàn)更高的目標(biāo)檢測性能;
40、其三,本技術(shù)的交通小目標(biāo)檢測模型中的starnet輕量級網(wǎng)絡(luò)具有多層次隱式特征擴(kuò)展,通過多層星操作,starnet能夠遞歸地增加隱式特征維度,接近無限維度。對于具有較大寬度和深度的網(wǎng)絡(luò),這種特性可以顯著增強(qiáng)特征的表達(dá)能力,對于本技術(shù)的交通小目標(biāo)檢測模型,可以通過適當(dāng)?shù)纳疃群蛯挾仍O(shè)計,顯著提高特征提取的質(zhì)量,從而提升交通小目標(biāo)檢測的準(zhǔn)確性;
41、進(jìn)一步的,本技術(shù)的交通小目標(biāo)檢測模型中的starnet輕量級網(wǎng)絡(luò)的優(yōu)勢在于其輕量級和高效的特性,使其適合在高速交通場景中進(jìn)行實時的小目標(biāo)檢測,本技術(shù)的交通小目標(biāo)檢測模型特別適合在需要快速處理和準(zhǔn)確檢測的小目標(biāo)的環(huán)境中應(yīng)用,比如自動駕駛系統(tǒng)中的交通場景圖像中的各種交通小目標(biāo)檢測;通過starnet輕量級網(wǎng)絡(luò)的星操作,模型能夠通過遞歸堆疊顯著提升特征維度,從而更準(zhǔn)確地檢測交通場景中的小目標(biāo);高維特征的生成和后續(xù)的檢測頭網(wǎng)絡(luò)處理,使得starnet輕量級網(wǎng)絡(luò)在高速行駛車輛中的小目標(biāo)檢測任務(wù)中表現(xiàn)出色,具有很高的實時性和準(zhǔn)確性;
42、更進(jìn)一步的,本技術(shù)的高速行駛車輛的交通小目標(biāo)檢測方法,能夠在高速行駛中的交通場景中準(zhǔn)確、快速地檢測出如行人、交通設(shè)施以及非機(jī)動車等交通小目標(biāo),解決了傳統(tǒng)的交通目標(biāo)檢測計算量大、特征設(shè)計復(fù)雜、泛化能力差等缺點,本技術(shù)能夠顯著提高復(fù)雜交通場景中的交通小目標(biāo)的檢測精度,大大降低誤檢率和漏檢率,避免安全事故的發(fā)生,保證了司乘人員以及行人的生命財產(chǎn)安全。