本發(fā)明涉及無人機(jī)視覺識(shí)別的，特別涉及一種無人機(jī)視覺識(shí)別方法及裝置。

背景技術(shù)：

1、無人機(jī)技術(shù)的快速發(fā)展使其在眾多領(lǐng)域得到廣泛應(yīng)用，其中視覺識(shí)別能力是無人機(jī)執(zhí)行各種任務(wù)的關(guān)鍵。隨著人工智能和計(jì)算機(jī)視覺技術(shù)的進(jìn)步，如何提高無人機(jī)的視覺識(shí)別精度和效率，以適應(yīng)復(fù)雜多變的環(huán)境和任務(wù)需求，成為了研究的重點(diǎn)之一?，F(xiàn)有的無人機(jī)視覺識(shí)別方法通常只依賴單一的圖像數(shù)據(jù)源，例如可見光相機(jī)或紅外相機(jī)，而忽視了多模態(tài)圖像融合所帶來的優(yōu)勢(shì)。這種單一數(shù)據(jù)源的方法在某些復(fù)雜環(huán)境下可能會(huì)導(dǎo)致識(shí)別結(jié)果不準(zhǔn)確或不穩(wěn)定，從而影響無人機(jī)任務(wù)的執(zhí)行效果。此外，傳統(tǒng)的目標(biāo)檢測(cè)和跟蹤算法往往未能充分考慮環(huán)境因素的動(dòng)態(tài)變化，導(dǎo)致在不同場(chǎng)景下的識(shí)別性能存在較大差異。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的為提供一種無人機(jī)視覺識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，能夠提高了無人機(jī)視覺識(shí)別的整體性能和可靠性。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供一種無人機(jī)視覺識(shí)別方法，包括：

3、通過無人機(jī)的多模態(tài)感知設(shè)備采集多模態(tài)圖像，對(duì)所述多模態(tài)圖像進(jìn)行圖像轉(zhuǎn)換，得到增強(qiáng)圖像；

4、依據(jù)預(yù)設(shè)的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)所述增強(qiáng)圖像進(jìn)行目標(biāo)檢測(cè)，得到初步檢測(cè)目標(biāo)；

5、對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行區(qū)域特征分析，得到對(duì)應(yīng)的目標(biāo)區(qū)域特征信息；

6、獲取所述多模態(tài)感知設(shè)備采集的環(huán)境因素，依據(jù)所述環(huán)境因素對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行環(huán)境跟蹤分析，得到目標(biāo)跟蹤結(jié)果；

7、通過預(yù)設(shè)的識(shí)別模型結(jié)合所述目標(biāo)區(qū)域特征信息和所述目標(biāo)跟蹤結(jié)果對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行多任務(wù)分析，得到對(duì)應(yīng)的綜合識(shí)別結(jié)果。

8、進(jìn)一步地，所述通過無人機(jī)的多模態(tài)感知設(shè)備采集多模態(tài)圖像，對(duì)所述多模態(tài)圖像進(jìn)行圖像轉(zhuǎn)換，得到增強(qiáng)圖像包括：

9、通過所述無人機(jī)的所述多模態(tài)感知設(shè)備采集包括可見光圖像、紅外圖像和距離深度圖像在內(nèi)的多模態(tài)圖像；

10、將所述可見光圖像、所述紅外圖像和所述距離深度圖像進(jìn)行多尺度融合，得到初步融合圖像；

11、對(duì)所述初步融合圖像進(jìn)行多尺度空間金字塔處理，得到多層特征圖；

12、對(duì)所述多層特征圖進(jìn)行自頂向下的特征傳播，得到初始特征金字塔；

13、對(duì)所述初始特征金字塔中的每一層特征圖進(jìn)行1x1卷積變換，得到調(diào)整特征圖；

14、將相鄰層級(jí)的所述調(diào)整特征圖進(jìn)行上采樣和元素級(jí)加法融合，得到融合特征圖；

15、對(duì)所述融合特征圖進(jìn)行3x3卷積處理，得到對(duì)應(yīng)層級(jí)的平滑化特征圖；

16、通過預(yù)設(shè)的特征增強(qiáng)算法對(duì)所有的層級(jí)的所述平滑化特征圖進(jìn)行融合處理，得到所述增強(qiáng)圖像。

17、進(jìn)一步地，所述依據(jù)預(yù)設(shè)的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)所述增強(qiáng)圖像進(jìn)行目標(biāo)檢測(cè)，得到初步檢測(cè)目標(biāo)，包括：

18、將所述增強(qiáng)圖像輸入到所述目標(biāo)檢測(cè)網(wǎng)絡(luò)的淺層特征提取層中進(jìn)行視覺提取，得到低級(jí)視覺特征圖；

19、將所述低級(jí)視覺特征圖輸入所述目標(biāo)檢測(cè)網(wǎng)絡(luò)的中層特征融合層中進(jìn)行視覺提取，得到中級(jí)語義特征圖；

20、將所述中級(jí)語義特征圖輸入所述目標(biāo)檢測(cè)網(wǎng)絡(luò)的深層語義特征層中進(jìn)行視覺提取，得到高級(jí)語義特征圖；

21、對(duì)所述低級(jí)視覺特征圖、中級(jí)語義特征圖和高級(jí)語義特征圖進(jìn)行特征融合，得到多級(jí)視覺特征圖；

22、依據(jù)所述多級(jí)視覺特征圖生成錨框，得到初始候選區(qū)域；

23、將所述初始候選區(qū)域與所述多級(jí)視覺特征圖進(jìn)行特征對(duì)齊，得到候選區(qū)域特征；

24、將所述候選區(qū)域特征輸入所述目標(biāo)檢測(cè)網(wǎng)絡(luò)的目標(biāo)分類器和邊界框回歸器，得到目標(biāo)精細(xì)化邊界框坐標(biāo)；

25、依據(jù)預(yù)設(shè)的置信度閾值對(duì)所述目標(biāo)精細(xì)化邊界框坐標(biāo)進(jìn)行目標(biāo)篩選，得到置信度目標(biāo)；

26、對(duì)所述置信度目標(biāo)進(jìn)行重疊檢測(cè)框消除，得到置信度檢測(cè)結(jié)果；

27、依據(jù)所述置信度檢測(cè)結(jié)果對(duì)所述增強(qiáng)圖像進(jìn)行映射檢測(cè)，得到初步檢測(cè)目標(biāo)。

28、進(jìn)一步地，所述對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行區(qū)域特征分析，得到對(duì)應(yīng)的目標(biāo)區(qū)域特征信息，包括：

29、對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行區(qū)域分割，得到多個(gè)目標(biāo)子區(qū)域；

30、依據(jù)預(yù)設(shè)的自適應(yīng)特征提取算法對(duì)每個(gè)所述目標(biāo)子區(qū)域進(jìn)行特征提取，得到子區(qū)域特征集；

31、依據(jù)預(yù)設(shè)的注意力機(jī)制對(duì)所述子區(qū)域特征集進(jìn)行權(quán)重分配，得到加權(quán)特征集；

32、對(duì)所述加權(quán)特征集進(jìn)行拓?fù)涮卣鬓D(zhuǎn)換，得到目標(biāo)的拓?fù)涮卣鞅硎荆?/p>

33、將所述拓?fù)涮卣鞅硎九c預(yù)設(shè)的時(shí)空特征模板進(jìn)行匹配，得到時(shí)空相關(guān)性得分；

34、依據(jù)所述時(shí)空相關(guān)性得分對(duì)所述拓?fù)涮卣鞅硎具M(jìn)行篩選，得到關(guān)鍵特征集；

35、對(duì)所述關(guān)鍵特征集應(yīng)用動(dòng)態(tài)量化編碼，得到壓縮特征向量；

36、依據(jù)預(yù)設(shè)的自校準(zhǔn)算法對(duì)所述壓縮特征向量進(jìn)行校準(zhǔn)計(jì)算，得到所述目標(biāo)區(qū)域特征信息。

37、進(jìn)一步地，所述將所述拓?fù)涮卣鞅硎九c預(yù)設(shè)的時(shí)空特征模板進(jìn)行匹配，得到時(shí)空相關(guān)性得分，包括：

38、對(duì)所述拓?fù)涮卣鞅硎具M(jìn)行時(shí)空維度分解，得到時(shí)間特征序列和空間特征矩陣；

39、對(duì)所述時(shí)間特征序列與所述時(shí)空特征模板中的時(shí)間模板進(jìn)行相似度計(jì)算，得到時(shí)間相關(guān)性分?jǐn)?shù)；

40、對(duì)所述空間特征矩陣進(jìn)行空間頻率變換，得到空間頻譜圖；

41、依據(jù)預(yù)設(shè)的圖像匹配算法對(duì)所述空間頻譜圖與所述時(shí)空特征模板中的空間模板進(jìn)行匹配運(yùn)算，得到空間相關(guān)性分?jǐn)?shù)；

42、對(duì)所述時(shí)間相關(guān)性分?jǐn)?shù)和空間相關(guān)性分?jǐn)?shù)進(jìn)行加權(quán)融合，得到初始時(shí)空相關(guān)性得分；

43、依據(jù)預(yù)設(shè)的閾值判斷規(guī)則對(duì)所述時(shí)空相關(guān)性得分進(jìn)行篩選，得到有效時(shí)空相關(guān)性得分；

44、對(duì)所述有效時(shí)空相關(guān)性得分進(jìn)行統(tǒng)計(jì)分析，得到所述時(shí)空相關(guān)性得分；

45、其中，進(jìn)行相似度計(jì)算的計(jì)算公式為：

46、

47、：第一個(gè)時(shí)間序列中的第i個(gè)值，：第二個(gè)時(shí)間序列中的第i個(gè)值，

48、：第一個(gè)時(shí)間序列的平均值，：第二個(gè)時(shí)間序列的平均值，

49、r：時(shí)間相關(guān)性分?jǐn)?shù)，r的范圍是[-1，1]，其中：1表示完全正相關(guān)，0表示無相關(guān)，-1表示完全負(fù)相關(guān)。

50、進(jìn)一步地，所述獲取多模態(tài)感知設(shè)備采集的環(huán)境因素，依據(jù)所述環(huán)境因素對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行環(huán)境跟蹤分析，得到目標(biāo)跟蹤結(jié)果，包括：

51、獲取所述多模態(tài)感知設(shè)備采集的包括光照強(qiáng)度、天氣狀況和地形特征的多維環(huán)境因素?cái)?shù)據(jù)；

52、對(duì)所述多維環(huán)境因素?cái)?shù)據(jù)進(jìn)行矩陣轉(zhuǎn)換，得到環(huán)境特征矩陣；

53、依據(jù)所述環(huán)境特征矩陣對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行環(huán)境特征分析，得到環(huán)境目標(biāo)特征；

54、對(duì)所述環(huán)境目標(biāo)特征進(jìn)行濾波位置計(jì)算，得到目標(biāo)預(yù)測(cè)位置信息；

55、對(duì)所述目標(biāo)預(yù)測(cè)位置信息進(jìn)行目標(biāo)運(yùn)動(dòng)矢量分析，得到目標(biāo)運(yùn)動(dòng)趨勢(shì)；

56、依據(jù)預(yù)設(shè)的樣條插值算法對(duì)所述目標(biāo)運(yùn)動(dòng)趨勢(shì)進(jìn)行軌跡分析，得到所述目標(biāo)跟蹤結(jié)果。

57、進(jìn)一步地，所述通過預(yù)設(shè)的識(shí)別模型結(jié)合所述目標(biāo)區(qū)域特征信息和所述目標(biāo)跟蹤結(jié)果對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行多任務(wù)分析，得到對(duì)應(yīng)的綜合識(shí)別結(jié)果，包括：

58、對(duì)所述目標(biāo)區(qū)域特征信息和所述目標(biāo)跟蹤結(jié)果進(jìn)行特征提取，得到目標(biāo)特征向量；

59、將所述目標(biāo)特征向量輸入所述識(shí)別模型的第一層決策樹層中進(jìn)行初步分類，得到對(duì)應(yīng)的初步分類結(jié)果；

60、依據(jù)初步分類結(jié)果選擇所述識(shí)別模型對(duì)應(yīng)的分類神經(jīng)網(wǎng)絡(luò)層，將所述目標(biāo)特征向量輸入到所述分類神經(jīng)網(wǎng)絡(luò)層進(jìn)行初始識(shí)別處理，得到初始識(shí)別結(jié)果；

61、將所述初始識(shí)別結(jié)果輸入到所述識(shí)別模型的第二層決策樹中進(jìn)行細(xì)粒度分類，得到細(xì)粒度分類結(jié)果；

62、將所述細(xì)粒度分類結(jié)果和所述初步檢測(cè)目標(biāo)輸入到所述識(shí)別模型的任務(wù)神經(jīng)網(wǎng)絡(luò)層中，依據(jù)所述細(xì)粒度分類結(jié)果對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行包括目標(biāo)分類、姿態(tài)估計(jì)和行為識(shí)別的多任務(wù)分析，得到多任務(wù)分析結(jié)果；

63、對(duì)所述多任務(wù)分析結(jié)果輸入到所述識(shí)別模型的第三層決策樹中進(jìn)行最終決策分析，得到?jīng)Q策結(jié)果；

64、通過所述識(shí)別模型的輸出層對(duì)所述決策結(jié)果進(jìn)行時(shí)序分析，生成并輸出所述綜合識(shí)別結(jié)果。

65、本發(fā)明還提供一種無人機(jī)視覺識(shí)別裝置，應(yīng)用于上述任意一項(xiàng)的無人機(jī)視覺識(shí)別方法，包括：

66、采集模塊，所述采集模塊用于通過無人機(jī)的多模態(tài)感知設(shè)備采集多模態(tài)圖像，對(duì)所述多模態(tài)圖像進(jìn)行圖像轉(zhuǎn)換，得到增強(qiáng)圖像；

67、分析模塊，所述分析模塊用于依據(jù)預(yù)設(shè)的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)所述增強(qiáng)圖像進(jìn)行目標(biāo)檢測(cè)，得到初步檢測(cè)目標(biāo)；

68、關(guān)聯(lián)模塊，所述關(guān)聯(lián)模塊用于對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行區(qū)域特征分析，得到對(duì)應(yīng)的目標(biāo)區(qū)域特征信息；

69、處理模塊，所述處理模塊用于獲取所述多模態(tài)感知設(shè)備采集的環(huán)境因素，依據(jù)所述環(huán)境因素對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行環(huán)境跟蹤分析，得到目標(biāo)跟蹤結(jié)果；

70、控制模塊，所述控制模塊用于通過預(yù)設(shè)的識(shí)別模型結(jié)合所述目標(biāo)區(qū)域特征信息和所述目標(biāo)跟蹤結(jié)果對(duì)所述初步檢測(cè)目標(biāo)進(jìn)行多任務(wù)分析，得到對(duì)應(yīng)的綜合識(shí)別結(jié)果。

71、本發(fā)明提供的一種無人機(jī)視覺識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，具有以下有益效果：

72、通過對(duì)多模態(tài)感知設(shè)備采集的數(shù)據(jù)進(jìn)行圖像轉(zhuǎn)換和增強(qiáng)，能夠充分利用不同傳感器的優(yōu)勢(shì)，提高了目標(biāo)檢測(cè)的準(zhǔn)確性和魯棒性，為后續(xù)分析提供了更為可靠的基礎(chǔ)數(shù)據(jù)。依據(jù)預(yù)設(shè)的目標(biāo)檢測(cè)網(wǎng)絡(luò)對(duì)增強(qiáng)圖像進(jìn)行目標(biāo)檢測(cè)，并進(jìn)行特征識(shí)別，實(shí)現(xiàn)了對(duì)目標(biāo)的精細(xì)化識(shí)別，有助于提高識(shí)別的精度和效率，適應(yīng)復(fù)雜多變的環(huán)境需求。通過獲取環(huán)境因素并對(duì)目標(biāo)區(qū)域特征信息進(jìn)行跟蹤分析，能夠?qū)崿F(xiàn)對(duì)目標(biāo)的動(dòng)態(tài)跟蹤，提高了系統(tǒng)在不同環(huán)境條件下的識(shí)別性能，減少了環(huán)境變化帶來的干擾。采用預(yù)設(shè)的識(shí)別模型對(duì)目標(biāo)跟蹤結(jié)果進(jìn)行多任務(wù)分析，實(shí)現(xiàn)了對(duì)目標(biāo)的綜合識(shí)別，能夠滿足不同任務(wù)場(chǎng)景的需求，提高了系統(tǒng)的靈活性和適應(yīng)性。通過這種多模態(tài)圖像融合和環(huán)境因素考慮的方法，有效解決了單一數(shù)據(jù)源和靜態(tài)識(shí)別算法的局限性，提高了無人機(jī)視覺識(shí)別的整體性能和可靠性，為無人機(jī)在復(fù)雜環(huán)境下執(zhí)行各種任務(wù)提供了有力支持。