本發(fā)明涉及多模態(tài)，具體涉及一種用于調制信號分類識別的多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)。

背景技術：

1、5g通信技術能夠生成大量通信數(shù)據(jù)，人工智能中的深度學習技術能夠學習大量數(shù)據(jù)中的特征，因此人工智能技術和無線通信技術的聯(lián)合發(fā)展是當前主流發(fā)展方向。本專利旨在研究通信物理層中自動調制分類(amc)技術與深度學習技術相結合的相關算法。amc是指在沒有或已知部分先驗知識的情況下，自動識別出信號的調制方式。該過程屬于信號檢測和信號解調之間的中間步驟，是在接收端解調信號的先決條件，也是無線通信的關鍵環(huán)節(jié)。amc在民用和軍事領域都發(fā)揮著關鍵作用。

2、深度學習是一種強大的人工智能技術，能從海量的數(shù)據(jù)中自動學習特征并擬合非線性網絡，在計算機視覺、語音識別等研究領域取得了巨大的成功。基于深度學習的自動調制識別也因此受到了廣泛的關注。目前基于深度學習的自動調制識別方法主要分為兩類。

3、第一類是將信號轉化成圖像，再用圖像識別領域的深度學習算法對調制信號進行分類。如將信號轉換成時頻圖，星座圖，振幅直方圖、循環(huán)譜圖、眼圖等，然后再使用神經網絡進行分類；第二類是直接用神經網絡提取信號序列中的特征并完成分類。如直接將同相正交信號序列(iq)、幅度相位信號序列(ap)、頻率序列等作為神經網絡的輸入進行分類。

4、在這兩種類型的amc方法中，圖像模態(tài)的信號具有空間上的分布特征，序列模態(tài)的信號具有時間上的分布特征。因此，本專利通過將兩種模態(tài)的數(shù)據(jù)融合進同一個網絡，從而提取到更多有效的特征，以獲得更好的分類性能。

技術實現(xiàn)思路

1、針對上述問題，本發(fā)明的目的是提供一種用于調制信號分類識別的多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)，較使用單一模態(tài)數(shù)據(jù)作為輸入的方法，提高識別效果。

2、本發(fā)明提供了一種用于調制信號分類識別的多模態(tài)數(shù)據(jù)融合方法，包括：

3、步驟s101，獲取原始iq信號；

4、步驟s102，對所述原始iq信號的幅值進行最大值歸一化和最小值歸一化處理，并根據(jù)歸一化處理后的iq信號生成iq序列信號；

5、步驟s103，根據(jù)所述原始iq信號計算ap序列信號的振幅和相位，根據(jù)所述振幅和相位生成ap序列信號；

6、步驟s104，將所述原始iq信號轉換為復平面上點的集合，生成iq彩色密度星座圖；

7、步驟s105，將所述原始iq信號在幅值-相位維度進行投影，生成ap散點圖；

8、步驟s106，根據(jù)所述iq序列信號和ap序列信號提取序列模態(tài)信號特征；

9、步驟s107，根據(jù)所述iq彩色密度星座圖和ap散點圖提取圖像模態(tài)信號特征；

10、步驟s108，根據(jù)所述序列模態(tài)信號特征和圖像模態(tài)信號特征進行特征融合，得到聯(lián)合特征；

11、步驟s109，將所述聯(lián)合特征映射到每個調制類別，并將最大概率對應的調制類別作為調制信號分類識別結果輸出。

12、在一種可能的實現(xiàn)方式中，所述步驟s102包括：

13、對接收到的原始iq信號(ri，rq)幅值進行最大值歸一化和最小值歸一化，范圍為(-1，1)，公式如下：

14、

15、將長度n的iq序列信號樣本組織在矩陣siq中，生成iq序列信號siq，公式如下：

16、

17、式中，(ri，rq)為原始iq信號，ri為同相分量，rq為正交分量，siq為iq序列信號，n為長度，ri(n)為幅值最小值歸一化后iq信號，rq(n)為幅值最大值歸一化后iq信號。

18、在一種可能的實現(xiàn)方式中，所述步驟s103包括：

19、對振幅進行l(wèi)2范數(shù)歸一化，歸一化后的幅值范圍為(0，1)，對相位在(-1，1)之間進行歸一化，公式如下：

20、

21、

22、將長度n的ap序列信號樣本組織在矩陣sap中，生成ap序列信號sap，公式如下：

23、

24、式中，(ri，rq)為原始iq信號，ri為同相分量，rq為正交分量，sap為ap序列信號，n為長度，ra(n)為振幅，rq(n)為相位。

25、在一種可能的實現(xiàn)方式中，所述步驟s104包括：

26、將原始iq信號(ri，rq)轉換為復平面上點的集合，公式如下：

27、iiq＝[ri(n)，rq(n)]＝|(ri(0)，rq(0))，(ri(1)，rq(1))，…，(ri(n-1)，rq(n-1))|

28、式中，(ri，rq)為原始iq信號，ri為同相分量，rq為正交分量，iiq為iq彩色密度星座圖中點的集合，n為長度。

29、在一種可能的實現(xiàn)方式中，所述步驟s105包括：

30、將原始iq信號在幅值-相位維度進行投影，公式如下：

31、iap＝[ra(n)，rp(n)]＝[(ra(0)，rp(0))，(ra(1)，rp(1))，…，(ra(n-1)，rp(n-1))]

32、式中，ra(n)為振幅，rq(n)為相位，iap為iq彩色密度星座圖中點的集合，n為長度。

33、在一種可能的實現(xiàn)方式中，所述步驟s106包括：

34、對所述iq序列信號依次進行卷積核大小為1×2，3×1，3×1的卷積運算，并提取不同尺度和維度的通道特征，得到第一特征；

35、對所述ap序列信號依次進行卷積核大小為1×2，3×1，3×1的卷積運算，板提取不同尺度和維度的通道特征，得到第二特征；

36、將所述第一特征和所述第二特征縱向拼接在一起，得到序列信號融合特征；

37、將所述序列信號融合特征輸入到lstm網絡用于提取序列信號的時序特征，得到序列模態(tài)信號特征。

38、在一種可能的實現(xiàn)方式中，所述步驟s107包括：

39、對所述iq彩色密度星座圖依次進行卷積核大小為7×7，5×5，3×3的卷積運算，并提取圖像不同深度的空間特征，得到第三特征；

40、對所述ap散點圖依次進行卷積核大小為7×7，5×5，3×3的卷積運算，并提取圖像不同深度的空間特征，得到第四特征。

41、將所述第三特征和第四特征縱向拼接在一起，得到圖像信號融合特征；

42、將所述圖像信號融合特征輸入到全連接層，經過非線性變化后映射到序列模態(tài)信號特征維度空間，得到圖像模態(tài)信號特征。

43、在一種可能的實現(xiàn)方式中，所述步驟s108包括：

44、在網絡特征層通過連接函數(shù)對所述序列模態(tài)信號特征和圖像模態(tài)信號特征進行特征融合，得到聯(lián)合特征。

45、在一種可能的實現(xiàn)方式中，所述步驟s109包括：

46、根據(jù)交叉熵損失函數(shù)將所述聯(lián)合特征映射到每個調制類別，并將最大概率對應的調制類別作為調制信號分類識別結果輸出。

47、本發(fā)明還提供了一種用于調制信號分類識別的多模態(tài)數(shù)據(jù)融合系統(tǒng)，用于執(zhí)行任一上述的多模態(tài)數(shù)據(jù)融合方法，包括：

48、信號獲取模塊，用于獲取原始iq信號；

49、iq序列信號生成模塊，用于對所述原始iq信號的幅值進行最大值歸一化和最小值歸一化處理，并根據(jù)歸一化處理后的iq信號生成iq序列信號；

50、ap序列信號生成模塊，用于根據(jù)所述原始iq計算ap序列信號的振幅和相位，根據(jù)所述振幅和相位生成ap序列信號；

51、iq彩色密度星座圖生成模塊，用于將所述原始iq信號轉換為復平面上點的集合，生成iq彩色密度星座圖；

52、ap散點圖生成模塊，用于將所述原始iq信號在幅值-相位維度進行投影，生成ap散點圖；

53、序列模態(tài)信號特征提取模塊，用于根據(jù)所述iq序列信號和ap序列信號提取序列模態(tài)信號特征；

54、圖像模態(tài)信號特征提取模塊，用于根據(jù)所述iq彩色密度星座圖和ap散點圖提取圖像模態(tài)信號特征；

55、特征融合模塊，用于根據(jù)所述序列模態(tài)信號特征和圖像模態(tài)信號特征進行特征融合，得到聯(lián)合特征；

56、輸出模塊，用于將所述聯(lián)合特征映射到每個調制類別，并將最大概率對應的調制類別作為調制信號分類識別結果輸出。

57、本發(fā)明的目的是提供一種用于調制信號分類識別的多模態(tài)數(shù)據(jù)融合方法及系統(tǒng)，通過原始iq信號生成多模態(tài)數(shù)據(jù)，然后在神經網絡的特征層對多模態(tài)數(shù)據(jù)進行融合，最后在損失函數(shù)的監(jiān)督下訓練網絡模型，完成對調制信號的分類。該方法較使用單一模態(tài)數(shù)據(jù)作為輸入進行調制識別的方法，識別效果得到較大改進。