本發(fā)明涉及圖像處理、人工智能和航空監(jiān)控，尤其涉及航空視頻流目標(biāo)識(shí)別處理方法及系統(tǒng)。

背景技術(shù)：

1、隨著無(wú)人機(jī)、航空偵察和監(jiān)控系統(tǒng)的廣泛應(yīng)用，實(shí)時(shí)且精確的目標(biāo)識(shí)別技術(shù)對(duì)航空安全和任務(wù)執(zhí)行至關(guān)重要。現(xiàn)有技術(shù)（中國(guó)發(fā)明申請(qǐng)，公開號(hào)：cn116630849a，名稱：一種航空視頻流目標(biāo)識(shí)別算法性能提升方法）主要依賴于深度學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)（cnn）用于從圖像中提取特征并識(shí)別目標(biāo)。然而，在航空?qǐng)鼍爸?，由于目?biāo)通常較小、弱信號(hào)（低信噪比）、以及多模態(tài)數(shù)據(jù)的復(fù)雜性，現(xiàn)有技術(shù)面臨著以下不足：

2、現(xiàn)有技術(shù)對(duì)弱小目標(biāo)的檢測(cè)能力有限，特別是在復(fù)雜背景中，容易漏檢或誤檢；現(xiàn)有技術(shù)在面對(duì)航空?qǐng)鼍爸袆?dòng)態(tài)環(huán)境和多模態(tài)數(shù)據(jù)時(shí)，缺乏足夠的魯棒性；許多算法由于步驟復(fù)雜、依賴大量計(jì)算資源，難以在資源有限的場(chǎng)景（如衛(wèi)星或移動(dòng)設(shè)備）上應(yīng)用；現(xiàn)有技術(shù)常需針對(duì)特定的場(chǎng)景或數(shù)據(jù)重新訓(xùn)練模型，缺乏即插即用的靈活性。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述現(xiàn)有技術(shù)存在的諸多問(wèn)題，本發(fā)明提供一種航空視頻流目標(biāo)識(shí)別處理方法及系統(tǒng)，其通過(guò)自適應(yīng)加權(quán)融合、多模態(tài)數(shù)據(jù)交叉驗(yàn)證、全局卷積優(yōu)化和未來(lái)運(yùn)動(dòng)預(yù)測(cè)等技術(shù)，能夠在動(dòng)態(tài)、復(fù)雜的航空環(huán)境中，實(shí)時(shí)精確地識(shí)別和跟蹤目標(biāo)。顯著提高了系統(tǒng)的魯棒性和識(shí)別準(zhǔn)確性，特別是在多模態(tài)數(shù)據(jù)和快速變化的環(huán)境下具有獨(dú)特的優(yōu)勢(shì)。

2、一種航空視頻流目標(biāo)識(shí)別處理方法，包括以下步驟：

3、通過(guò)對(duì)視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，將各模態(tài)數(shù)據(jù)轉(zhuǎn)換為對(duì)應(yīng)的模態(tài)特征數(shù)據(jù)，并通過(guò)自適應(yīng)加權(quán)融合技術(shù)進(jìn)行融合，生成融合模態(tài)特征數(shù)據(jù)；

4、基于融合模態(tài)特征數(shù)據(jù)，進(jìn)行低層次、中層次和高層次的多階段視覺特征提取，通過(guò)全局卷積優(yōu)化技術(shù)對(duì)視覺特征進(jìn)行全局增強(qiáng)和優(yōu)化，生成全局優(yōu)化視覺特征數(shù)據(jù)；

5、通過(guò)對(duì)全局優(yōu)化視覺特征數(shù)據(jù)及目標(biāo)的歷史運(yùn)動(dòng)軌跡進(jìn)行建模，結(jié)合未來(lái)運(yùn)動(dòng)預(yù)測(cè)技術(shù)對(duì)目標(biāo)的未來(lái)運(yùn)動(dòng)軌跡進(jìn)行預(yù)測(cè)，并根據(jù)目標(biāo)運(yùn)動(dòng)預(yù)測(cè)數(shù)據(jù)修正目標(biāo)的當(dāng)前位置，生成修正目標(biāo)位置數(shù)據(jù)；

6、對(duì)修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗(yàn)證，生成最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)，并將最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)輸出。

7、優(yōu)選的，對(duì)視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，具體包括：

8、通過(guò)濾波算法對(duì)視頻數(shù)據(jù)中的噪聲進(jìn)行去除，使所述視頻數(shù)據(jù)的邊緣和細(xì)節(jié)信息更為清晰；

9、對(duì)紅外數(shù)據(jù)進(jìn)行像素值歸一化處理，以增強(qiáng)不同溫度區(qū)域之間的對(duì)比度，確保所述紅外數(shù)據(jù)能夠準(zhǔn)確反映溫度分布；

10、通過(guò)距離歸一化算法對(duì)雷達(dá)數(shù)據(jù)進(jìn)行處理，標(biāo)準(zhǔn)化所述雷達(dá)數(shù)據(jù)的反射信號(hào)強(qiáng)度，并增強(qiáng)距離信息的分辨率。

11、優(yōu)選的，所述自適應(yīng)加權(quán)融合技術(shù)通過(guò)計(jì)算各模態(tài)特征數(shù)據(jù)的置信度來(lái)確定加權(quán)因子，所述置信度根據(jù)每種模態(tài)數(shù)據(jù)的信號(hào)強(qiáng)度、清晰度及目標(biāo)在不同模態(tài)下的可識(shí)別性進(jìn)行計(jì)算，加權(quán)因子的計(jì)算方法為：

12、采用加權(quán)因子、和分別表示視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)的權(quán)重，其計(jì)算公式為：

13、；

14、其中，為視頻模態(tài)特征數(shù)據(jù)的加權(quán)因子；為紅外模態(tài)特征數(shù)據(jù)的加權(quán)因子；為雷達(dá)模態(tài)特征數(shù)據(jù)的加權(quán)因子；表示視頻模態(tài)特征數(shù)據(jù)的置信度；表示紅外模態(tài)特征數(shù)據(jù)的置信度；表示雷達(dá)模態(tài)特征數(shù)據(jù)的置信度。

15、優(yōu)選的，基于融合模態(tài)特征數(shù)據(jù)，進(jìn)行低層次、中層次和高層次的多階段視覺特征提取，具體包括：

16、通過(guò)大尺寸卷積核對(duì)低層次視覺特征進(jìn)行提取，提取出的所述低層次視覺特征主要包括物體的邊緣、簡(jiǎn)單幾何形狀的基本特征；

17、通過(guò)中等尺寸卷積核對(duì)中層次視覺特征進(jìn)行提取，提取出的所述中層次視覺特征包括物體的形狀、紋理和細(xì)節(jié)信息；

18、通過(guò)小尺寸卷積核對(duì)高層次視覺特征進(jìn)行提取，提取出的所述高層次視覺特征包括目標(biāo)的整體輪廓和復(fù)雜形狀，確保在各層次上準(zhǔn)確捕捉目標(biāo)的不同視覺特征。

19、優(yōu)選的，所述全局卷積優(yōu)化技術(shù)通過(guò)全局卷積網(wǎng)絡(luò)對(duì)低層次視覺特征數(shù)據(jù)、中層次視覺特征數(shù)據(jù)和高層次視覺特征數(shù)據(jù)進(jìn)行統(tǒng)一優(yōu)化，所述全局卷積網(wǎng)絡(luò)通過(guò)分析目標(biāo)的整體空間分布，確保每個(gè)層次的視覺特征在全局范圍內(nèi)的一致性，所述全局卷積網(wǎng)絡(luò)通過(guò)卷積核覆蓋整個(gè)輸入特征空間，捕捉場(chǎng)景中的長(zhǎng)距離關(guān)聯(lián)，生成全局優(yōu)化視覺特征數(shù)據(jù)。

20、優(yōu)選的，目標(biāo)的歷史運(yùn)動(dòng)軌跡建?；跉v史運(yùn)動(dòng)數(shù)據(jù)，通過(guò)分析目標(biāo)在過(guò)去若干幀中的位置信息、速度和運(yùn)動(dòng)方向的動(dòng)態(tài)特征進(jìn)行建模，所述歷史運(yùn)動(dòng)數(shù)據(jù)包括目標(biāo)的每個(gè)位置、時(shí)間戳和運(yùn)動(dòng)矢量，通過(guò)對(duì)所述歷史運(yùn)動(dòng)數(shù)據(jù)進(jìn)行回歸分析，預(yù)測(cè)目標(biāo)的未來(lái)運(yùn)動(dòng)趨勢(shì)并生成目標(biāo)運(yùn)動(dòng)軌跡特征數(shù)據(jù)。

21、優(yōu)選的，所述未來(lái)運(yùn)動(dòng)預(yù)測(cè)技術(shù)通過(guò)對(duì)目標(biāo)的運(yùn)動(dòng)軌跡特征數(shù)據(jù)進(jìn)行時(shí)空推斷，所述時(shí)空推斷基于目標(biāo)的歷史運(yùn)動(dòng)模式和環(huán)境變化因素，結(jié)合多幀歷史數(shù)據(jù)分析目標(biāo)的速度變化和方向調(diào)整，生成目標(biāo)未來(lái)運(yùn)動(dòng)軌跡，并根據(jù)所述目標(biāo)未來(lái)運(yùn)動(dòng)軌跡修正當(dāng)前的目標(biāo)位置，生成修正目標(biāo)位置數(shù)據(jù)。

22、優(yōu)選的，對(duì)修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗(yàn)證，具體包括：通過(guò)對(duì)修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行比較，計(jì)算目標(biāo)在不同模態(tài)中的位置偏差和形狀相似度，確保目標(biāo)在每種模態(tài)下的位置信息一致，對(duì)修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗(yàn)證，具體包括：包括位置校正和形狀一致性校正，生成模態(tài)相似度數(shù)據(jù)。

23、優(yōu)選的，目標(biāo)在不同模態(tài)中的形狀相似度通過(guò)余弦相似度公式計(jì)算，余弦相似度表示修正目標(biāo)位置數(shù)據(jù)與模態(tài)特征數(shù)據(jù)之間的相似度，計(jì)算公式為：

24、

25、其中，為模態(tài)相似度；為修正目標(biāo)位置數(shù)據(jù)的向量表示；為模態(tài)特征數(shù)據(jù)的向量表示；表示向量點(diǎn)積運(yùn)算；表示向量的模長(zhǎng)；所述余弦相似度用于確保目標(biāo)在不同模態(tài)下的形狀信息保持一致性。

26、一種用于實(shí)施所述的航空視頻流目標(biāo)識(shí)別處理方法的系統(tǒng)，包括：

27、預(yù)處理模塊，用于接收并處理視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)，將所述視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)分別轉(zhuǎn)換為視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)；

28、加權(quán)融合模塊，用于基于所述視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)，利用自適應(yīng)加權(quán)融合技術(shù)生成融合模態(tài)特征數(shù)據(jù)；

29、視覺特征提取與優(yōu)化模塊，用于基于所述融合模態(tài)特征數(shù)據(jù)進(jìn)行低層次、中層次和高層次的多階段視覺特征提取，并通過(guò)全局卷積優(yōu)化技術(shù)對(duì)提取的視覺特征進(jìn)行全局增強(qiáng)和優(yōu)化，生成全局優(yōu)化視覺特征數(shù)據(jù)；

30、運(yùn)動(dòng)預(yù)測(cè)與修正模塊，用于基于所述全局優(yōu)化視覺特征數(shù)據(jù)及目標(biāo)的歷史運(yùn)動(dòng)軌跡進(jìn)行建模，結(jié)合未來(lái)運(yùn)動(dòng)預(yù)測(cè)技術(shù)預(yù)測(cè)目標(biāo)的未來(lái)運(yùn)動(dòng)軌跡，并根據(jù)所述目標(biāo)運(yùn)動(dòng)預(yù)測(cè)數(shù)據(jù)修正目標(biāo)的當(dāng)前位置，生成修正目標(biāo)位置數(shù)據(jù)；

31、交叉驗(yàn)證模塊，用于對(duì)所述修正目標(biāo)位置數(shù)據(jù)與所述視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗(yàn)證，生成最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)；

32、輸出模塊，用于輸出所述最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)，供系統(tǒng)控制或可視化展示。

33、相比于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)及有益效果在于：

34、本發(fā)明通過(guò)計(jì)算視頻、紅外和雷達(dá)數(shù)據(jù)的模態(tài)特征權(quán)重，動(dòng)態(tài)調(diào)整各模態(tài)數(shù)據(jù)的貢獻(xiàn)，提升了目標(biāo)識(shí)別的準(zhǔn)確性和魯棒性；

35、本發(fā)明系統(tǒng)能夠逐步提取目標(biāo)的邊緣、形狀和復(fù)雜輪廓，確保目標(biāo)在不同視覺層次上的精確識(shí)別；

36、本發(fā)明通過(guò)目標(biāo)的歷史運(yùn)動(dòng)數(shù)據(jù)，結(jié)合環(huán)境因素預(yù)測(cè)目標(biāo)的未來(lái)運(yùn)動(dòng)軌跡，增強(qiáng)了系統(tǒng)在快速變化環(huán)境中的適應(yīng)能力；

37、本發(fā)明通過(guò)全局卷積優(yōu)化技術(shù)，實(shí)現(xiàn)了全局一致性的目標(biāo)識(shí)別，該技術(shù)確保了不同模態(tài)數(shù)據(jù)和不同層次視覺特征的全局一致性，減少了模態(tài)之間的偏差；

38、本發(fā)明通過(guò)多模態(tài)數(shù)據(jù)的比對(duì)，系統(tǒng)能夠有效修正模態(tài)之間的位置信息偏差，提升了整體識(shí)別的精度。