本發(fā)明屬于計(jì)算機(jī)視覺(jué)，具體涉及一種基于多源信息特征級(jí)融合的艦船分類方法。

背景技術(shù)：

1、高分辨距離像（high?range?resolution?profile，hrrp）是用寬帶雷達(dá)信號(hào)獲取的目標(biāo)散射點(diǎn)子回波在雷達(dá)射線方向上投影的向量和，包含了豐富的目標(biāo)結(jié)構(gòu)特征，如目標(biāo)大小、散射體分布等。由于易獲取、易存儲(chǔ)和易處理等特點(diǎn)，hrrp目標(biāo)識(shí)別受到了雷達(dá)目標(biāo)識(shí)別界的高度關(guān)注。hrrp目標(biāo)識(shí)別方法由傳統(tǒng)方法逐漸發(fā)展到基于數(shù)據(jù)驅(qū)動(dòng)的深度學(xué)習(xí)方法，盡管深度網(wǎng)絡(luò)模型在部分hrrp識(shí)別研究上取得優(yōu)異成果，但其過(guò)于依賴樣本數(shù)據(jù)，當(dāng)樣本數(shù)據(jù)質(zhì)量較差時(shí)，其識(shí)別性能甚至不及傳統(tǒng)方法。因此，充分結(jié)合深度算法和傳統(tǒng)算法的優(yōu)點(diǎn)，在現(xiàn)有深度網(wǎng)絡(luò)模型基礎(chǔ)上，融入目標(biāo)機(jī)理特性，將數(shù)據(jù)與知識(shí)進(jìn)行聯(lián)合驅(qū)動(dòng)，對(duì)解決當(dāng)前方法存在的局限性尤為重要。合成孔徑雷達(dá)（synthetic?aperture?radar，sar）目標(biāo)識(shí)別是雷達(dá)自動(dòng)目標(biāo)識(shí)別技術(shù)的發(fā)展，由于sar具有全天候和遠(yuǎn)距離的感知能力，因此對(duì)目標(biāo)sar圖像進(jìn)行有效的特征提取在目標(biāo)檢測(cè)與識(shí)別等領(lǐng)域都發(fā)揮著重要作用。面對(duì)海量的sar數(shù)據(jù)，迫切需要對(duì)sar目標(biāo)進(jìn)行識(shí)別，sar目標(biāo)識(shí)別問(wèn)題同樣受到國(guó)內(nèi)外的廣泛關(guān)注。當(dāng)前雷達(dá)自動(dòng)目標(biāo)識(shí)別通常只使用單一類型的高分辨率雷達(dá)信號(hào)，盡管在各自單模態(tài)識(shí)別領(lǐng)域的研究都取得了相應(yīng)進(jìn)展，但識(shí)別精度和性能均有限，對(duì)于少量不完備樣本的非合作目標(biāo)識(shí)別還存在較大問(wèn)題。因此，將不同來(lái)源的數(shù)據(jù)進(jìn)行融合，充分挖掘各自獨(dú)立的信息對(duì)雷達(dá)目標(biāo)識(shí)別具有重大意義。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)的缺陷，提出一種基于多源信息特征級(jí)融合的艦船分類方法。該方法基于深度學(xué)習(xí)，針對(duì)兩種不同模態(tài)數(shù)據(jù)設(shè)計(jì)不同的分支模型，基于hrrp序列的上分支：將手工提取的機(jī)理模型特征嵌入到深度時(shí)序網(wǎng)絡(luò)，提取融合后的混合特征；基于sar圖像的下分支：構(gòu)建一個(gè)參數(shù)較少的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模型，提取目標(biāo)結(jié)構(gòu)特征。再設(shè)計(jì)一種具有注意力加權(quán)機(jī)制的特征融合模塊，將兩個(gè)分支輸出的特征向量進(jìn)行加權(quán)融合，最后將融合特征作為分類器的輸入進(jìn)行艦船目標(biāo)分類。

2、為了實(shí)現(xiàn)以上目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于多源信息特征級(jí)融合的艦船分類方法，包括以下步驟：

4、s101：獲取艦船目標(biāo)對(duì)應(yīng)的hrrp和sar兩種原始雷達(dá)數(shù)據(jù)，構(gòu)建艦船目標(biāo)分類數(shù)據(jù)集。其中對(duì)原始hrrp進(jìn)行預(yù)處理，最終生成b×c1格式和b×c2格式的hrrp樣本。

5、s102：在數(shù)據(jù)格式為b×c1的hrrp樣本上進(jìn)行特征提取，其中包括具有物理含義的特征：強(qiáng)散射中心特征（散射中心數(shù)目與波峰寬度）、高階中心矩特征和徑向能量特征；具有數(shù)學(xué)含義的特征：均值、方差、距離像的平均起伏性特征和差分起伏性特征；構(gòu)程傳統(tǒng)特征。

6、s103：構(gòu)建基于hrrp的時(shí)序網(wǎng)絡(luò)模型分支，以雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（bilstm）為主體框架，以數(shù)據(jù)格式為b×c2的hrrp作為模型輸入，設(shè)計(jì)特征融合方法將s102中提取的傳統(tǒng)特征嵌入到時(shí)序網(wǎng)絡(luò)模型分支，最后輸出融合后表征目標(biāo)hrrp信息的混合特征；

7、s104：構(gòu)建基于sar的二維卷積模型分支，設(shè)計(jì)一種輕量級(jí)的cnn網(wǎng)絡(luò)，將sar原始雷達(dá)數(shù)據(jù)通過(guò)輕量級(jí)的cnn網(wǎng)絡(luò)，提取艦船目標(biāo)結(jié)構(gòu)特征。

8、s105：設(shè)計(jì)一種具有注意力加權(quán)機(jī)制的特征融合模塊，將基于hrrp的時(shí)序網(wǎng)絡(luò)模型提取的混合特征與基于sar的二維卷積模型提取的艦船目標(biāo)結(jié)構(gòu)特征進(jìn)行加權(quán)融合，完成構(gòu)建最終的雙通道融合網(wǎng)絡(luò)模型，實(shí)現(xiàn)基于hrrp與sar數(shù)據(jù)的艦船目標(biāo)融合識(shí)別，輸出艦船分類結(jié)果。

9、s101所述獲取的數(shù)據(jù)預(yù)處理具體步驟如下：

10、（1）采用范數(shù)歸一化方法對(duì)hrrp原始雷達(dá)數(shù)據(jù)進(jìn)行強(qiáng)度歸一化，具體實(shí)現(xiàn)為下式：

11、

12、其中，表示hrrp原始雷達(dá)數(shù)據(jù)，為單個(gè)hrrp樣本中距離單元總數(shù)，為樣本中第個(gè)距離單元的值，為歸一化后的hrrp雷達(dá)數(shù)據(jù)。

13、（2）采用絕對(duì)對(duì)齊法中的重心對(duì)齊法對(duì)歸一化后的hrrp雷達(dá)數(shù)據(jù)進(jìn)行對(duì)齊處理，將hrrp的重心平移到hrrp中心點(diǎn)附近，重心對(duì)齊法需先求得的重心，計(jì)算公式如下：

14、

15、其中為樣本中第個(gè)距離單元的值，為單個(gè)hrrp樣本中距離單元總數(shù)，然后根據(jù)下列公式分別求出對(duì)齊后開(kāi)始位置和結(jié)束位置：

16、

17、

18、其中，表示向下取整，通過(guò)重心對(duì)齊法處理過(guò)后的hrrp數(shù)據(jù)為：

19、

20、其中，‖表示將兩個(gè)向量拼接，表示從中提取從到數(shù)據(jù)末尾索引范圍的數(shù)據(jù)，表示從中提取從數(shù)據(jù)起始位置0到索引范圍的數(shù)據(jù)，為通過(guò)強(qiáng)度歸一化和重心對(duì)齊處理后的hrrp雷達(dá)數(shù)據(jù)。

21、（3）通過(guò)不同的滑動(dòng)窗口c1和c2，分別將對(duì)齊處理后的hrrp進(jìn)行時(shí)序分割，分別得到b×c1格式和b×c2格式的樣本；時(shí)序分割具體公式如下：

22、

23、其中，表示最大子序列數(shù)量，表示原始序列長(zhǎng)度，表示窗口大小，表示滑動(dòng)步長(zhǎng)。進(jìn)行時(shí)序分割時(shí)，還包括，對(duì)數(shù)據(jù)采用三次樣條插值擴(kuò)充之后，再進(jìn)行時(shí)序分割。

24、s102所述對(duì)預(yù)處理后hrrp序列進(jìn)行特征提取具體如下：

25、參考傳統(tǒng)的特征提取方法，對(duì)于預(yù)處理后數(shù)據(jù)維度為84×256的hrrp樣本，分別在每個(gè)維度為256的子序列上進(jìn)行特征提?。贿x取的特征為：均值（）、方差（）、散射中心個(gè)數(shù)（）、波峰寬度特征（）、平均起伏性特征（）、差分起伏性特征（）、徑向能量特征（）、各階中心矩（，k表示階數(shù)）；

26、為單個(gè)原始hrrp樣本中距離單元總數(shù)，按s101(3)所述設(shè)置滑動(dòng)窗口，得到的子序列距離單元總數(shù)同樣為，設(shè)為預(yù)處理后的單個(gè)hrrp子序列，上述特征的計(jì)算方法具體如下：

27、（1）均值特征，計(jì)算公式如下：

28、

29、（2）方差特征，計(jì)算公式如下：

30、

31、（3）散射中心個(gè)數(shù)，由于艦船的甲板和島式建筑是其主要構(gòu)成部分，不管姿態(tài)角怎樣變化，其強(qiáng)散射中心個(gè)數(shù)基本不會(huì)改變，因此散射中心個(gè)數(shù)具有姿態(tài)不敏感性；且艦船上層建筑結(jié)構(gòu)較為復(fù)雜，其hrrp呈現(xiàn)多峰，其中特別是波峰的個(gè)數(shù)即散射中心數(shù)目特征能反映出艦船目標(biāo)的結(jié)構(gòu)信息，計(jì)算公式如下：

32、

33、其中，為閾值系數(shù)，表示hrrp子序列的最大值，表示求取滿足上式條件的的個(gè)數(shù)。

34、（4）波峰寬度特征，計(jì)算公式如下：

35、

36、其中，為閾值系數(shù)，表示hrrp子序列的最大值，表示求取滿足上式條件的的個(gè)數(shù)。

37、（5）平均起伏性特征，艦船目標(biāo)一維距離像的起伏特征反映了海上艦船上層建筑結(jié)構(gòu)的復(fù)雜度，起伏特征較小說(shuō)明艦船結(jié)構(gòu)單一，結(jié)構(gòu)上沒(méi)有很大的波動(dòng)性，起伏特征較大說(shuō)明艦船結(jié)構(gòu)復(fù)雜，上層建筑波動(dòng)很大，計(jì)算公式如下：

38、

39、（6）差分起伏性特征，計(jì)算公式如下：

40、

41、（7）徑向能量特征反映的是艦船目標(biāo)的散射能力的強(qiáng)弱，計(jì)算公式如下：

42、

43、（8）中心矩特征具有平移不變性及尺度不變性，二階及高階中心矩通過(guò)一階矩補(bǔ)償了hrrp的平移分量，與距離像的平移無(wú)關(guān)，具有不敏感性，k階中心矩特征計(jì)算公式如下：

44、

45、s103中構(gòu)建基于hrrp單模態(tài)數(shù)據(jù)的時(shí)序網(wǎng)絡(luò)模型分支的具體步驟如下：

46、將格式為b×c2的hrrp樣本數(shù)據(jù)作為時(shí)序網(wǎng)絡(luò)模型分支的輸入序列；輸入序列經(jīng)過(guò)兩層bilstm自動(dòng)提取到深度特征，對(duì)自動(dòng)提取到的深度特征與傳統(tǒng)特征進(jìn)行拼接concat操作，然后將拼接后的向量再輸入到兩層bilstm中，對(duì)兩種特征進(jìn)行融合，提取第二層bilstm最后一個(gè)時(shí)間步的正向和反向隱藏狀態(tài)，再通過(guò)一個(gè)全連接層輸出融合后的混合特征。

47、s104中所述構(gòu)建基于sar單模態(tài)數(shù)據(jù)的二維卷積模型分支具體實(shí)現(xiàn)如下：

48、二維卷積模型分支由若干卷積單元級(jí)聯(lián)構(gòu)成，最后再使用flatten操作將三維張量展平為一個(gè)一維向量，得到艦船目標(biāo)結(jié)構(gòu)特征；

49、每個(gè)卷積單元由卷積層和池化層組成，并在每個(gè)卷積層之后，有一個(gè)整流線性單元relu作為激活函數(shù)，還有一個(gè)批歸一化層。

50、s105中所述特征融合模塊具體實(shí)現(xiàn)步驟如下：

51、（1）將s103中提取的hrrp序列混合特征x與s104中提取的sar圖像的艦船目標(biāo)結(jié)構(gòu)特征y分別送到全連接層中，使用激活函數(shù)relu生成特征和：

52、

53、

54、其中和具有相同的維數(shù)d，和為全連接層的權(quán)重參數(shù)矩陣；全連接層不僅將兩個(gè)特征進(jìn)一步映射到全局空間中，而且使維度和順序包含一致的對(duì)應(yīng)關(guān)系，即中的第i個(gè)特征與中的第i個(gè)特征之間是一對(duì)一的對(duì)應(yīng)關(guān)系；

55、（2）將混合特征x和艦船目標(biāo)結(jié)構(gòu)特征y拼接成一個(gè)長(zhǎng)特征向量，再通過(guò)一個(gè)全連接層來(lái)學(xué)習(xí)注意力向量：

56、

57、其中，的維度也為d，表示全連接層的參數(shù)；表示激活操作，使注意向量的值在[0,1]的范圍內(nèi)；通過(guò)使用全連接層感知所有信息，確定焦點(diǎn)區(qū)域，然后將更多的注意力放在焦點(diǎn)特征上，同時(shí)抑制其他無(wú)用的信息；

58、（3）以注意力向量作為權(quán)重對(duì)和進(jìn)行求和；定義為特征的權(quán)值，通過(guò)1?操作獲得特征的權(quán)值；將注意力向量與特征進(jìn)行逐元素相乘，將向量1?與特征進(jìn)行逐元素相乘，然后使用逐元求和運(yùn)算對(duì)這兩個(gè)特征進(jìn)行加權(quán)求和得到融合特征f：

59、

60、其中，表示逐元素相乘運(yùn)算，1為元素均為1的向量。

61、最后融合特征f經(jīng)過(guò)softmax分類器，輸出艦船分類結(jié)果。

62、本發(fā)明具有以下有益效果：

63、1、本發(fā)明使用l2歸一化和重心對(duì)齊法對(duì)hrrp數(shù)據(jù)做預(yù)處理，有效降低了hrrp數(shù)據(jù)的幅度敏感性和平移敏感性，提高了深度學(xué)習(xí)模型的泛化能力和分類準(zhǔn)確率。

64、2、本發(fā)明提出深度學(xué)習(xí)與傳統(tǒng)機(jī)理的雙驅(qū)動(dòng)模型，將深度網(wǎng)絡(luò)自動(dòng)提取的深度特征與傳統(tǒng)手工特征充分融合，解決了在樣本數(shù)據(jù)質(zhì)量差以及小樣本問(wèn)題下的模型收斂慢與識(shí)別精度差等問(wèn)題，提高了模型魯棒性和可解釋性。

65、3、本發(fā)明使用輕量級(jí)的卷積神經(jīng)網(wǎng)絡(luò)對(duì)sar圖像進(jìn)行建模，模型參數(shù)較少，但仍可達(dá)到其它大模型近似的性能，降低了計(jì)算復(fù)雜度，提高了模型識(shí)別效率。

66、4、本發(fā)明提出具有注意力加權(quán)機(jī)制的特征融合模塊，有效地融合了目標(biāo)不同雷達(dá)數(shù)據(jù)所含的獨(dú)立信息，解決了自動(dòng)目標(biāo)雷達(dá)識(shí)別領(lǐng)域基于單一模態(tài)數(shù)據(jù)識(shí)別精度和性能有限的問(wèn)題，提高了分類準(zhǔn)確率和系統(tǒng)穩(wěn)定性。