本發(fā)明涉及復(fù)雜場景交通網(wǎng)絡(luò)擁堵識別方法，尤其涉及基于無人機和數(shù)據(jù)融合的復(fù)雜場景交通網(wǎng)絡(luò)擁堵識別方法，屬于交通網(wǎng)絡(luò)擁堵識別。

背景技術(shù)：

1、交通擁堵按照類型可以劃分為交通網(wǎng)絡(luò)擁堵、周期性擁堵、偶發(fā)性擁堵、瓶頸擁堵，其中，交通網(wǎng)絡(luò)擁堵通常是由多重因素疊加引起，例如，同時發(fā)生的多起事故、多個大型活動，或是整個城市的交通管理系統(tǒng)效率不高，導(dǎo)致交通網(wǎng)絡(luò)中多個節(jié)點或路段同時出現(xiàn)擁堵時，可能會影響整個區(qū)域的交通流動；周期性擁堵常發(fā)生在固定的時間和地點，主要包括上下班高峰期擁堵、周末和節(jié)假日擁堵；偶發(fā)性擁堵由突發(fā)事件引起的擁堵，如交通事故、緊急情況、特殊活動、異常天氣條件等；瓶頸擁堵發(fā)生在交通流量被道路物理條件限制的地點，如道路窄化、橋梁、隧道或收費站，也包含由于道路設(shè)計不合理或老化，交通容量不能滿足高峰時段的需求，導(dǎo)致交通速度下降和擁堵；四種交通擁堵按照類型中，交通網(wǎng)絡(luò)擁堵往往對交通通行的影響最為嚴重，這是由于交通網(wǎng)絡(luò)擁堵不僅影響廣泛，涵蓋整個交通網(wǎng)絡(luò)，包括多個重要節(jié)點和路段，而且其復(fù)雜性和不可預(yù)測性使得管理和解決變得更加困難，此外，網(wǎng)絡(luò)擁堵的持續(xù)時間往往較長，需要協(xié)調(diào)和綜合性策略來解決，因此其對經(jīng)濟和社會生活的負面影響也更為顯著；交通網(wǎng)絡(luò)擁堵的識別對城市管理和規(guī)劃至關(guān)重要，其能顯著提高交通效率，減少環(huán)境污染，并促進經(jīng)濟發(fā)展，通過有效管理擁堵，不僅可以確保緊急服務(wù)的快速響應(yīng)，還可以改善居民的日常生活質(zhì)量和減輕心理壓力，此外，減少擁堵還有助于推廣公共交通的使用，支持城市的可持續(xù)發(fā)展策略。

2、無人機在交通網(wǎng)絡(luò)擁堵識別中的使用具有多重優(yōu)勢，首先，無人機能夠快速且高效地從空中收集大范圍的交通流數(shù)據(jù)，具有較高的靈活性和成本效益，其次，無人機搭載的高分辨率攝像頭可以提供詳盡的視角，幫助精確地識別擁堵點，此外，無人機的實時數(shù)據(jù)支持可以直接用于優(yōu)化交通管理決策，如動態(tài)調(diào)整交通信號，無人機還減少了在危險區(qū)域部署人員的風險，增強了采集操作的安全性。

3、另一方面，在交通網(wǎng)絡(luò)擁堵識別中，復(fù)雜場景常常對傳統(tǒng)基于可見光的圖像采集技術(shù)構(gòu)成挑戰(zhàn)，復(fù)雜場景包括低光照環(huán)境、惡劣天氣條件（如霧、霧霾等）、高反射表面（濕潤的道路或陽光直射的表面），上述因素會導(dǎo)致低對比度、高光/反射問題、顏色失真等問題，從而影響圖像的清晰度和識別準確性，使得傳統(tǒng)相機在復(fù)雜環(huán)境下難以有效工作，紅外相機對此提供了一種有效的解決方案，與傳統(tǒng)的可見光相機相比，紅外相機的主要優(yōu)勢在于其能夠在極低的光照條件下仍能獲取清晰的圖像，穿透霧霾和降水，減少散射和吸收的影響，且對強烈的光線反射不敏感，從而在各種光照環(huán)境下提供更穩(wěn)定的圖像質(zhì)量，傳統(tǒng)可見光圖像與紅外圖像的融合，可以提高在復(fù)雜場景下的交通擁堵識別準確性。

4、現(xiàn)有技術(shù)一，公開(公告)號為cn114627642b的專利文件公開了一種交通擁堵識別方法及裝置，通過比對待識別時段的行車速度與其所屬交通時段的速度子序列，確定該時段的交通擁堵；現(xiàn)有技術(shù)二，公開(公告)號為cn108847024a的專利文件公開了基于視頻的交通擁堵識別方法及系統(tǒng)，通過對前端設(shè)備采集的視頻數(shù)據(jù)進行分析處理，可以通過識別得到的車輛的數(shù)量確認道路的擁堵情況；然而，上述方法及系統(tǒng)識別效率較低且難以適用于復(fù)雜場景，由于尚未考慮多源數(shù)據(jù)融合的方式提升算法面向復(fù)雜場景的泛化能力，導(dǎo)致適用的場景少，受到的限制多。

5、因此，需要一種基于無人機和數(shù)據(jù)融合的復(fù)雜場景交通網(wǎng)絡(luò)擁堵識別方法。

技術(shù)實現(xiàn)思路

1、在下文中給出了關(guān)于本發(fā)明的簡要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當理解，這個概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。

2、鑒于此，為解決現(xiàn)有技術(shù)中傳統(tǒng)的交通擁堵識別方法識別效率較低且難以適用于復(fù)雜交通場景的問題，本發(fā)明提供基于無人機和數(shù)據(jù)融合的復(fù)雜場景交通網(wǎng)絡(luò)擁堵識別方法。

3、技術(shù)方案如下：基于無人機和數(shù)據(jù)融合的復(fù)雜場景交通網(wǎng)絡(luò)擁堵識別方法，包括以下步驟：

4、s1.采集復(fù)雜交通場景下的可見光圖像和紅外圖像，將兩種圖像的尺寸和色彩調(diào)整一致并進行圖像特征提取與匹配，經(jīng)圖像融合后，得到融合后的圖像；

5、s2.根據(jù)融合后的圖像，構(gòu)建數(shù)據(jù)集，將數(shù)據(jù)集輸入到建立的基礎(chǔ)模型、輔助模型和強化模型中進行訓(xùn)練，融合三種模型的損失函數(shù)，得到融合后的損失函數(shù)，定義總體損失函數(shù)，采用總體損失函數(shù)對三種模型進行訓(xùn)練，得到最優(yōu)模型；

6、s3.通過調(diào)整增強系數(shù)，進一步優(yōu)化最優(yōu)模型，得到的準確率最大的最優(yōu)模型即最終的最優(yōu)模型，由其輸出擁堵區(qū)域定位。

7、進一步地，所述s1中，具體包括以下步驟：

8、s11.將可見光攝像機和紅外攝像機搭載至無人機上，分別采集復(fù)雜交通場景下的可見光圖像和紅外圖像，將兩種圖像的尺寸和色彩調(diào)整一致，得到像素值更新后的可見光圖像和像素值更新后的紅外圖像；

9、s12.對像素值更新后的可見光圖像和像素值更新后的紅外圖像進行高斯模糊處理，根據(jù)得到的高斯模糊處理后的可見光圖像，計算得到各尺度下高斯模糊處理后的可見光圖像中的局部極值點；

10、s13.為每個局部極值點建立量化表征矩陣，得到可見光圖像特征長度矩陣和紅外圖像特征長度矩陣，計算兩者之間的距離的最小值，確定可見光圖像與紅外圖像的最佳極值點匹配結(jié)果；

11、s14.在確定可見光圖像與紅外圖像的最佳極值點匹配結(jié)果的基礎(chǔ)上，對像素值更新后的紅外圖像進行線性變換，得到變換后的紅外圖像，對像素值更新后的可見光圖像和變換后的紅外圖像進行像素融合，得到融合后的圖像；

12、所述s11中，建立二維坐標系，比較可見光圖像和紅外圖像的尺寸，其中，為可見光圖像的長度，為可見光圖像的寬度，為紅外圖像的長度，和為紅外圖像的寬度；

13、當時，不需要對兩種圖像尺寸進行調(diào)整，當時，需要調(diào)整紅外圖像的尺寸，即將可見光圖像的尺寸作為紅外圖像的目標尺寸進行調(diào)整，得到圖像尺寸調(diào)整后的紅外圖像；

14、對尺寸相同的可見光圖像和圖像尺寸調(diào)整后的紅外圖像進行色彩空間轉(zhuǎn)換，將其由彩色圖像轉(zhuǎn)變?yōu)榛叶葓D像，得到灰度可見光圖像，對其進行像素值更新后，得到像素值更新后的可見光圖像和像素值更新后的紅外圖像；

15、所述s12中，高斯模糊處理表示為：

16、；

17、其中，為圖像所在二維坐標系內(nèi)的像素位置，為像素橫坐標，為像素縱坐標，為標準差，用于控制模糊程度；

18、根據(jù)高斯模糊處理，得到各尺度下高斯模糊處理后的可見光圖像和高斯模糊處理后的紅外圖像；

19、計算得到各尺度下高斯模糊處理后的可見光圖像中的局部極值點，其對應(yīng)圖像中的關(guān)鍵點；

20、各尺度下高斯模糊處理后的可見光圖像中的局部極值點計算過程表示為：

21、；

22、其中，為尺度的差分高斯值，為尺度下高斯模糊處理后的可見光圖像；

23、對于尺度的差分高斯值中的每一個像素點，遍歷其周圍的26個鄰域點，i=1、2、…、26，26個鄰域點包括8個在同一尺度層的鄰居即上下左右及四個對角線方向的鄰域點、9個在上一尺度層的相對應(yīng)位置及其周圍的鄰域點和9個在下一尺度層的相對應(yīng)位置及其周圍的鄰域點，當大于26個鄰域點，則是一個局部最大值，當小于26個鄰域點，則是一個局部最小值，當不滿足大于或小于26個鄰域點，則不是局部極值點，整合局部最大值和局部最小值得到局部極值點；

24、所述s13中，將局部最大值像素點記為，計算得到局部最大值像素點與周圍26個鄰域點之間形成的特征長度；

25、局部最大值像素點與周圍26個鄰域點之間形成的特征長度表示為：

26、；

27、其中，為鄰域點橫坐標，為鄰域點縱坐標，為局部最大值像素點橫坐標，為局部最大值像素點縱坐標；

28、比較局部最大值像素點與周圍26個鄰域點之間形成的特征長度的數(shù)值大小，并按照從大到小的順序進行排序，選取其中排名前4的特征長度，建立局部最大值像素點對應(yīng)的特征長度矩陣；

29、將局部最小值像素點記為，計算得到局部最小值像素點與周圍26個鄰域點之間形成的特征長度；

30、局部最小值像素點與周圍26個鄰域點之間形成的特征長度表示為：

31、；

32、比較局部最小值像素點與周圍26個鄰域點之間形成的特征長度的數(shù)值大小，并按照從大到小的順序進行排序，選取其中排名前4的特征長度，建立局部最小值像素點對應(yīng)的特征長度矩陣；

33、將局部最大值像素點對應(yīng)的特征長度矩陣和局部最小值像素點對應(yīng)的特征長度矩陣均稱作特征長度矩陣記為，即得到可見光圖像對應(yīng)的特征長度矩陣和紅外圖像對應(yīng)的特征長度矩；

34、可見光圖像對應(yīng)的特征長度矩陣表示為：

35、；

36、其中，為局部極值點的總數(shù)量，為第局部極值點對應(yīng)的特征長度；

37、紅外圖像對應(yīng)的特征長度矩陣表示為：

38、；

39、通過隨機變換兩種圖像的極值點匹配情況，計算得到全部可見光圖像和紅外圖像特征長度矩陣之間的距離即第im種局部極值點匹配結(jié)果對應(yīng)的特征可見光圖像和紅外圖像特征長度矩陣之間的距離，其中，im=1、2、3…、，為局部極值點匹配結(jié)果的總數(shù)量，篩選出可見光圖像和紅外圖像特征長度矩陣之間的距離的最小值，其對應(yīng)的極值點匹配情況即最佳的極值點匹配結(jié)果；

40、所述s14中，保持像素值更新后的可見光圖像不變；

41、變換后的紅外圖像為表示為

42、；

43、其中，為變換矩陣；

44、通過調(diào)整變換矩陣，使變換后的紅外圖像與像素值更新后的紅外圖像在最佳的局部極值點匹配；

45、融合后的圖像表示為：

46、；

47、其中，為可見光圖像權(quán)重系數(shù)。

48、進一步地，所述s2中，具體包括以下步驟：

49、s21.基于融合后的圖像，挑選出全部包含交通網(wǎng)絡(luò)擁堵、周期性擁堵、偶發(fā)性擁堵和瓶頸擁堵的圖像作為輸入圖像；

50、s22.通過人工標注，在輸入圖像中框選出交通網(wǎng)絡(luò)擁堵和其他三種擁堵類型，構(gòu)建數(shù)據(jù)集，按照數(shù)量比8:2的比例，將數(shù)據(jù)集劃分為訓(xùn)練集和測試集；

51、s23.根據(jù)數(shù)據(jù)集，構(gòu)建基礎(chǔ)模型、輔助模型和強化模型，計算三種模型的損失函數(shù)并進行融合，得到融合后的損失函數(shù)，定義總體損失函數(shù)；

52、s24.基于鏈式求導(dǎo)法則，通過誤差反向傳播方式，對三種模型進行訓(xùn)練，得到訓(xùn)練完成的深度學(xué)習模型a即最優(yōu)模型；

53、所述s22中，交通網(wǎng)絡(luò)擁堵標記為network，三種擁堵類型即周期性擁堵、偶發(fā)性擁堵和瓶頸擁堵依次標記為other1、other2和other3；

54、所述s23中，構(gòu)建基礎(chǔ)模型即深度學(xué)習模型a的網(wǎng)絡(luò)結(jié)構(gòu)，深度學(xué)習模型a由1個輸入層，14個卷積層，14個激活層，5個池化層，4個拼接層，4個卷積上采樣層和1個輸出層組成；

55、將數(shù)據(jù)集輸入到深度學(xué)習模型a中，通過誤差反向傳播算法，計算得到深度學(xué)習模型a的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習模型a的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習模型a及其損失函數(shù)；

56、深度學(xué)習模型a對應(yīng)的輸出單元節(jié)點的輸出值為，分別為第一輸出單元節(jié)點的輸出值、第二輸出單元節(jié)點的輸出值、第三輸出單元節(jié)點的輸出值和第四輸出單元節(jié)點的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習模型a對應(yīng)的4個輸出單元節(jié)點的輸出值初始轉(zhuǎn)換為第一初步輸出值第一初步輸出值的概率值，再將其進一步優(yōu)化轉(zhuǎn)換得到第一優(yōu)化輸出值和第一優(yōu)化輸出值的增強概率值；

57、采用第一優(yōu)化輸出值的增強概率值和數(shù)據(jù)集，結(jié)合誤差鏈式求導(dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習模型a，訓(xùn)練完畢后，得到第一擁堵類型的輸出值和深度學(xué)習模型a輸出層的節(jié)點對應(yīng)的實際擁堵類型標注，第一擁堵類型的輸出值分別為第一交通網(wǎng)絡(luò)擁堵輸出值、第一周期性擁堵的輸出值、第一偶發(fā)性擁堵輸出值和第一瓶頸擁堵輸出值；

58、構(gòu)建第一輔助模型即深度學(xué)習模型b，深度學(xué)習模型b由1個輸入層，18個卷積層，18個激活層，5個池化層，4個拼接層，4個卷積上采樣層和1個輸出層組成；

59、將數(shù)據(jù)集輸入到深度學(xué)習模型b中，通過誤差反向傳播算法，計算得到深度學(xué)習模型b的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習模型b的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習模型b及其損失函數(shù)；

60、深度學(xué)習模型b對應(yīng)的輸出單元節(jié)點的輸出值為，分別為第五輸出單元節(jié)點的輸出值、第六輸出單元節(jié)點的輸出值、第七輸出單元節(jié)點的輸出值第八輸出單元節(jié)點的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習模型b對應(yīng)的4個輸出單元節(jié)點的輸出值初始轉(zhuǎn)換為第二初步輸出值和第二初步輸出值的概率值，再將其進一步優(yōu)化轉(zhuǎn)換得到第二優(yōu)化輸出值和第二優(yōu)化輸出值的增強概率值；

61、采用第二優(yōu)化輸出值的增強概率值和數(shù)據(jù)集，結(jié)合誤差鏈式求導(dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習模型b，訓(xùn)練完畢后，得到第二擁堵類型的輸出值和深度學(xué)習模型b輸出層的節(jié)點對應(yīng)的實際擁堵類型標注，第二擁堵類型的輸出值分別為第二交通網(wǎng)絡(luò)擁堵輸出值、第二周期性擁堵的輸出值、第二偶發(fā)性擁堵輸出值和第二瓶頸擁堵輸出值；

62、構(gòu)建第二輔助模型即深度學(xué)習模型c，深度學(xué)習模型c由1個輸入層，22個卷積層，22個激活層，6個池化層，5個拼接層，5個卷積上采樣層和1個輸出層組成；

63、將數(shù)據(jù)集輸入到深度學(xué)習模型c中，通過誤差反向傳播算法，計算得到深度學(xué)習模型c的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習模型c的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習模型c及其損失函數(shù)；

64、深度學(xué)習模型c對應(yīng)的輸出單元節(jié)點的輸出值為，分別為第九輸出單元節(jié)點的輸出值、第十輸出單元節(jié)點的輸出值、第十一輸出單元節(jié)點的輸出值和第十二輸出單元節(jié)點的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習模型c對應(yīng)的4個輸出單元節(jié)點的輸出值初始轉(zhuǎn)換為第三初步輸出值和第三初步輸出值的概率值，再將其進一步優(yōu)化轉(zhuǎn)換得到第三優(yōu)化輸出值和第三優(yōu)化輸出值的增強概率值；

65、采用第三優(yōu)化輸出值的增強概率值和數(shù)據(jù)集，結(jié)合誤差鏈式求導(dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習模型c，訓(xùn)練完畢后，得到第三擁堵類型輸出值和深度學(xué)習模型b輸出層的節(jié)點對應(yīng)的實際擁堵類型標注，第三擁堵類型輸出值分別為第三交通網(wǎng)絡(luò)擁堵輸出值、第三周期性擁堵的輸出值、第三偶發(fā)性擁堵輸出值和第三瓶頸擁堵輸出值；

66、構(gòu)建強化模型即深度學(xué)習模型d，深度學(xué)習模型d由1個輸入層，26個卷積層，26個激活層，7個池化層，6個拼接層，6個卷積上采樣層和1個輸出層組成；

67、將數(shù)據(jù)集輸入到深度學(xué)習模型d中，通過誤差反向傳播算法，計算得到深度學(xué)習模型d的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習模型d的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習模型d及其損失函數(shù)；

68、深度學(xué)習模型d對應(yīng)的輸出單元節(jié)點的輸出值為，分別為第十三輸出單元節(jié)點的輸出值、第十四輸出單元節(jié)點的輸出值、第十五輸出單元節(jié)點的輸出值和第十六輸出單元節(jié)點的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習模型d對應(yīng)的4個輸出單元節(jié)點的輸出值初始轉(zhuǎn)換為第四初步輸出值和第四初步輸出值的概率值，再將其進一步優(yōu)化轉(zhuǎn)換得到第四優(yōu)化輸出值和第四優(yōu)化輸出值的增強概率值；

69、采用第四優(yōu)化輸出值的增強概率值和數(shù)據(jù)集，結(jié)合誤差鏈式求導(dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習模型d，訓(xùn)練完畢后，得到第四擁堵類型輸出值和深度學(xué)習模型d輸出層的節(jié)點對應(yīng)的實際擁堵類型標注，第四擁堵類型輸出值分別為第四交通網(wǎng)絡(luò)擁堵輸出值、第四周期性擁堵的輸出值、第四偶發(fā)性擁堵輸出值和第四瓶頸擁堵輸出值；

70、根據(jù)第二擁堵類型輸出值為和第一優(yōu)化輸出值的增強概率值，構(gòu)建深度學(xué)習模型b和深度學(xué)習模型a之間的損失函數(shù)，得到對應(yīng)權(quán)重系數(shù)；

71、基于第一初步輸出值的概率值和深度學(xué)習模型a輸出層的節(jié)點對應(yīng)的實際擁堵類型標注，構(gòu)建考慮第一初步輸出值的概率值的深度學(xué)習模型a的損失函數(shù)，得到對應(yīng)權(quán)重系數(shù)；

72、基于深度學(xué)習模型b和深度學(xué)習模型a之間的損失函數(shù)和考慮第一初步輸出值的概率值的深度學(xué)習模型a的損失函數(shù)，建立深度學(xué)習模型b與深度學(xué)習模型a的輸出層之間的關(guān)系損失函數(shù)；

73、根據(jù)上述操作，建立深度學(xué)習模型c與深度學(xué)習模型b的輸出層之間的關(guān)系損失函數(shù)、深度學(xué)習模型c與深度學(xué)習模型a的輸出層之間的關(guān)系損失函數(shù)、深度學(xué)習模型d與深度學(xué)習模型a的輸出層之間的關(guān)系損失函數(shù)和深度學(xué)習模型d與深度學(xué)習模型c的輸出層之間的關(guān)系損失函數(shù)，定義深度學(xué)習模型a、深度學(xué)習模型b、深度學(xué)習模型c和深度學(xué)習模型d之間對應(yīng)的總體損失函數(shù)；

74、總體損失函數(shù)表示為：

75、。

76、進一步地，所述s3中，基于訓(xùn)練完成的深度學(xué)習模型a即最優(yōu)模型，通過調(diào)整增強系數(shù)g，進一步優(yōu)化深度學(xué)習模型a的性能，增強系數(shù)g取值為1、3、5、7、9、11、15、20、30、40或50，共計11種工況，訓(xùn)練得到11種深度學(xué)習模型a，其對應(yīng)的準確率表示為，i=1、2、3、…、11，計算得到深度學(xué)習模型a的準確率中的最大值，其對應(yīng)的深度學(xué)習模型a即最終的最優(yōu)模型，，其中，為取最大值操作。

77、進一步地，所述s23中，深度學(xué)習模型a的網(wǎng)絡(luò)結(jié)構(gòu)中的層級按以下順序依次進行連接：

78、輸入層：圖像尺寸227×227×3；

79、卷積層1：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

80、激活層1：leakyrelu；

81、卷積層2：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

82、激活層2：leakyrelu；

83、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

84、卷積層3：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

85、激活層3：leakyrelu；

86、卷積層4：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

87、激活層4：leakyrelu；

88、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

89、卷積層5：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

90、激活層5：leakyrelu；

91、卷積層6：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

92、激活層6：leakyrelu；

93、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

94、卷積層7：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

95、激活層7：leakyrelu；

96、卷積層8：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

97、激活層8：leakyrelu；

98、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

99、卷積層9：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

100、激活層9：leakyrelu；

101、卷積層10：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

102、激活層10：leakyrelu；

103、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

104、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

105、拼接層1：與激活層8的輸出進行特征圖的連接，通道數(shù)增加至512；

106、卷積層11：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

107、激活層11：leakyrelu；

108、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

109、拼接層2：與激活層6的輸出進行特征圖的連接，通道數(shù)增加至256；

110、卷積層12：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

111、激活層12：leakyrelu；

112、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

113、拼接層3：與激活層4的輸出進行特征圖的連接，通道數(shù)增加至128；

114、卷積層13：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

115、激活層13：leakyrelu；

116、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至32；

117、拼接層4：與激活層2的輸出進行特征圖的連接，通道數(shù)增加至64；

118、卷積層14：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

119、激活層14：leakyrelu；

120、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

121、進一步地，所述s23中，深度學(xué)習模型b的網(wǎng)絡(luò)結(jié)構(gòu)中的層級按以下順序依次進行連接：

122、輸入層：圖像尺寸227×227×3；

123、卷積層1：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

124、激活層1：leakyrelu；

125、卷積層2：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

126、激活層2：leakyrelu；

127、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

128、卷積層3：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

129、激活層3：leakyrelu；

130、卷積層4：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

131、激活層4：leakyrelu；

132、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

133、卷積層5：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

134、激活層5：leakyrelu；

135、卷積層6：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

136、激活層6：leakyrelu；

137、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

138、卷積層7：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

139、激活層7：leakyrelu；

140、卷積層8：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

141、激活層8：leakyrelu；

142、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

143、卷積層9：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

144、激活層9：leakyrelu；

145、卷積層10：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

146、激活層10：leakyrelu；

147、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

148、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至512；

149、拼接層1：與激活層8的輸出進行特征圖的連接，通道數(shù)增加至1024；

150、卷積層11：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

151、激活層11：leakyrelu；

152、卷積層12：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

153、激活層12：leakyrelu；

154、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

155、拼接層2：與激活層6的輸出進行特征圖的連接，通道數(shù)增加至512；

156、卷積層13：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

157、激活層13：leakyrelu；

158、卷積層14：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

159、激活層14：leakyrelu；

160、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

161、拼接層3：與激活層4的輸出進行特征圖的連接，通道數(shù)增加至256；

162、卷積層15：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

163、激活層15：leakyrelu；

164、卷積層16：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

165、激活層16：leakyrelu；

166、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

167、拼接層4：與激活層2的輸出進行特征圖的連接，通道數(shù)增加至128；

168、卷積層17：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

169、激活層17：leakyrelu；

170、卷積層18：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

171、激活層18：leakyrelu；

172、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

173、進一步地，所述s23中，深度學(xué)習模型c的網(wǎng)絡(luò)結(jié)構(gòu)中的層級按以下順序依次進行連接：

174、輸入層：圖像尺寸227×227×3；

175、卷積層1：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

176、激活層1：leakyrelu；

177、卷積層2：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

178、激活層2：leakyrelu；

179、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

180、卷積層3：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

181、激活層3：leakyrelu；

182、卷積層4：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

183、激活層4：leakyrelu；

184、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

185、卷積層5：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

186、激活層5：leakyrelu；

187、卷積層6：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

188、激活層6：leakyrelu；

189、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

190、卷積層7：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

191、激活層7：leakyrelu；

192、卷積層8：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

193、激活層8：leakyrelu；

194、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

195、卷積層9：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

196、激活層9：leakyrelu；

197、卷積層10：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

198、激活層10：leakyrelu；

199、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

200、卷積層11：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

201、激活層11：leakyrelu；

202、卷積層12：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

203、激活層12：leakyrelu；

204、池化層6：類型：最大池化，池化尺寸：2×2，stride：2；

205、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至512；

206、拼接層1：與激活層10的輸出進行特征圖的連接，通道數(shù)增加至1024；

207、卷積層13：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

208、激活層13：leakyrelu；

209、卷積層14：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

210、激活層14：leakyrelu；

211、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

212、拼接層2：與激活層8的輸出進行特征圖的連接，通道數(shù)增加至512；

213、卷積層15：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

214、激活層15：leakyrelu；

215、卷積層16：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

216、激活層16：leakyrelu；

217、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

218、拼接層3：與激活層6的輸出進行特征圖的連接，通道數(shù)增加至256；

219、卷積層17：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

220、激活層17：leakyrelu；

221、卷積層18：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

222、激活層18：leakyrelu；

223、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

224、拼接層4：與激活層4的輸出進行特征圖的連接，通道數(shù)增加至128；

225、卷積層19：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

226、激活層19：leakyrelu；

227、卷積層20：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

228、激活層20：leakyrelu；

229、卷積上采樣5：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至32；

230、拼接層5：與激活層2的輸出進行特征圖的連接，通道數(shù)增加至64；

231、卷積層21：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

232、激活層21：leakyrelu；

233、卷積層22：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

234、激活層22：leakyrelu；

235、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

236、進一步地，所述s23中，深度學(xué)習模型d的網(wǎng)絡(luò)結(jié)構(gòu)中的層級按以下順序依次進行連接：

237、輸入層：圖像尺寸227×227×3；

238、卷積層1：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

239、激活層1：leakyrelu；

240、卷積層2：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

241、激活層2：leakyrelu；

242、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

243、卷積層3：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

244、激活層3：leakyrelu；

245、卷積層4：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

246、激活層4：leakyrelu；

247、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

248、卷積層5：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

249、激活層5：leakyrelu；

250、卷積層6：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

251、激活層6：leakyrelu；

252、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

253、卷積層7：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

254、激活層7：leakyrelu；

255、卷積層8：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

256、激活層8：leakyrelu；

257、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

258、卷積層9：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

259、激活層9：leakyrelu；

260、卷積層10：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

261、激活層10：leakyrelu；

262、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

263、卷積層11：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

264、激活層11：leakyrelu；

265、卷積層12：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

266、激活層12：leakyrelu；

267、池化層6：類型：最大池化，池化尺寸：2×2，stride：2；

268、卷積層13：卷積核尺寸3×3，卷積核數(shù)量2048，stride：1；

269、激活層13：leakyrelu；

270、卷積層14：卷積核尺寸3×3，卷積核數(shù)量2048，stride：1；

271、激活層14：leakyrelu；

272、池化層7：類型：最大池化，池化尺寸：2×2，stride：2；

273、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至1024；

274、拼接層1：與激活層12的輸出進行特征圖的連接，通道數(shù)增加至2048；

275、卷積層15：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

276、激活層15：leakyrelu；

277、卷積層16：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

278、激活層16：leakyrelu；

279、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至512；

280、拼接層2：與激活層10的輸出進行特征圖的連接，通道數(shù)增加至1024；

281、卷積層17：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

282、激活層17：leakyrelu；

283、卷積層18：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

284、激活層18：leakyrelu；

285、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

286、拼接層3：與激活層8的輸出進行特征圖的連接，通道數(shù)增加至512；

287、卷積層19：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

288、激活層19：leakyrelu；

289、卷積層20：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

290、激活層20：leakyrelu；

291、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

292、拼接層4：與激活層6的輸出進行特征圖的連接，通道數(shù)增加至256；

293、卷積層21：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

294、激活層21：leakyrelu；

295、卷積層22：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

296、激活層22：leakyrelu；

297、卷積上采樣5：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

298、拼接層5：與激活層4的輸出進行特征圖的連接，通道數(shù)增加至128；

299、卷積層23：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

300、激活層23：leakyrelu；

301、卷積層24：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

302、激活層24：leakyrelu；

303、卷積上采樣6：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至32；

304、拼接層6：與激活層2的輸出進行特征圖的連接，通道數(shù)增加至64；

305、卷積層25：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

306、激活層25：leakyrelu；

307、卷積層26：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

308、激活層26：leakyrelu；

309、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

310、本發(fā)明的有益效果如下：本發(fā)明通過對交通場景下由無人機機載的可見光攝像機和紅外攝像機采集的可見光圖像和紅外圖像進行多源圖像融合的方式，有效提升了復(fù)雜場景中無人機采集到的圖像質(zhì)量；本發(fā)明實現(xiàn)了復(fù)雜場景下的交通網(wǎng)絡(luò)擁堵智能識別，在保證對交通網(wǎng)絡(luò)擁堵識別準確率的前提下，降低了模型復(fù)雜程度，提升了模型的識別速度；本發(fā)明通過對最優(yōu)模型調(diào)整增強系數(shù)進行模型改進，進一步提升了模型性能，使得輸出的擁堵區(qū)域定位更加精確。