本發(fā)明涉及水聲信號處理，具體涉及一種大型海洋哺乳動物聲信號分類方法及系統(tǒng)、電子設(shè)備。

背景技術(shù)：

1、目前對于大型海洋哺乳動物聲信號的研究主要包括兩種方式，一種是利用原始的音頻信號波形特征進行分類，另一種是基于時頻特征圖進行分類研究。通過時頻圖對信號進行時頻分析，強調(diào)了頻率分布的重要性，卻丟失了相位信息，這樣就會導(dǎo)致利用特征進行聲音的還原時出現(xiàn)不夠準(zhǔn)確的問題。對于原始波形特征來說，它擁有聲音信號最原始的特征以及保留了其自身的時間尺度，可以更好的反映出聲音信號的時域特征。

2、目前針對聲音信號研究中，較少的涉及將時頻特征譜圖和波形特征這兩種不同特征進行融合的處理方法。在分類方法上從主要集中在卷積神經(jīng)網(wǎng)絡(luò)（cnn）、長短時記憶網(wǎng)絡(luò)（lstm）與transformer等網(wǎng)絡(luò)模型，這些方法分別從不同角度進行分析，各有利弊，單純的cnn模型只能提取聲音信號中的局部特征信息，然而對于聲音信號來說，只采用cnn會丟失聲音信號的長期依賴性，對突變信號之間的關(guān)系也難以得到適當(dāng)考慮。雖然，lstm可以處理時間序列的問題，但是對于數(shù)據(jù)量較大的問題處理速度較慢。

3、因此，現(xiàn)有技術(shù)還有待進一步發(fā)展。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服上述技術(shù)不足，提供一種大型海洋哺乳動物聲信號分類方法及系統(tǒng)、電子設(shè)備，以解決現(xiàn)有技術(shù)存在的問題。

2、為達到上述技術(shù)目的，根據(jù)本發(fā)明的第一方面，本發(fā)明提供了一種大型海洋哺乳動物聲信號分類方法，包括：

3、s100、獲取不同的海洋哺乳動物的聲信號數(shù)據(jù)，并對所述聲信號數(shù)據(jù)進行預(yù)處理；

4、s200、根據(jù)預(yù)處理后的聲信號數(shù)據(jù)得到原始波形特征，并利用mel與imel特征提取方法對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征；

5、s300、將所述時頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進行全局特征提取，并利用所述全局特征對所述聲信號數(shù)據(jù)進行信號分類。

6、具體的，所述利用mel與imel特征提取方法對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征，包括：

7、利用mel特征提取方法對原始波形特征進行時頻特征提取，所述mel特征提取方法基于短時傅里葉變換和mel濾波器組，對原始波形特征的頻率進行時頻分析，得到原始波形特征的mel譜。

8、具體的，所述利用mel與imel對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征，還包括：

9、利用imel特征提取方法對原始波形特征進行時頻特征提取，所述imel特征提取方法為在進行mel特征提取的基礎(chǔ)上加入經(jīng)驗?zāi)B(tài)分解，得到原始波形的imel譜。

10、具體的，所述s300包括：

11、s310、利用多模態(tài)特征提取器分別提取所述聲信號數(shù)據(jù)的原始波形特征和時頻特征；

12、s320、將所述多模態(tài)特征提取器提取的原始波形特征和時頻特征輸入混合注意力模塊進行特征融合，得到混合特征；

13、s330、利用多層感知器對所述混合特征進行全局特征提取，并利用所述全局特征對所述聲信號數(shù)據(jù)進行分類。

14、具體的，所述利用多模態(tài)特征提取器分別提取所述聲信號數(shù)據(jù)的原始波形特征和時頻特征，包括：

15、所述多模態(tài)特征提取器包括譜圖網(wǎng)絡(luò)和波形網(wǎng)絡(luò)；

16、所述譜圖網(wǎng)絡(luò)用于提取mel譜和imel譜的特征，所述波形網(wǎng)絡(luò)用于提取原始波形特征。

17、具體的，所述將所述多模態(tài)特征提取器提取的原始波形特征和時頻特征輸入混合注意力模塊進行特征融合，包括：

18、利用混合注意力模塊的多頭注意力機制將所述原始波形特征和時頻特征進行局部特征融合。

19、具體的，所述將所述多模態(tài)特征提取器提取的原始波形特征和時頻特征輸入混合注意力模塊進行特征融合，還包括：

20、基于所述原始波形特征和時頻特征的局部特征融合，利用多頭注意力機制提取特征的全局關(guān)系，進行全局特征融合。

21、具體的，所述利用多層感知器對所述混合特征進行全局特征提取，并對全局特征進行信號分類，包括：

22、所述多層感知器中多層感知器塊的數(shù)量為第一預(yù)設(shè)值，利用多層感知器塊對所述混合特征進行全局特征提取，并將所述全局特征輸入分類器中對所述聲信號數(shù)據(jù)進行分類。

23、根據(jù)本發(fā)明的第二方面，提供一種大型海洋哺乳動物聲信號分類系統(tǒng)，包括：

24、獲取模塊：用于獲取不同的海洋哺乳動物的聲信號數(shù)據(jù)；

25、控制模塊：用于對所述聲信號數(shù)據(jù)進行預(yù)處理，根據(jù)預(yù)處理后的聲信號數(shù)據(jù)得到原始波形特征，并利用mel與imel對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征；或用于將所述時頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進行全局特征提取，以及利用所述全局特征對所述聲信號數(shù)據(jù)進行信號分類。

26、根據(jù)本發(fā)明的第三方面，提供一種電子設(shè)備，包括：存儲器；以及處理器，所述存儲器上存儲有計算機可讀指令，所述計算機可讀指令被所述處理器執(zhí)行時實現(xiàn)上述的大型海洋哺乳動物聲信號分類方法。

27、有益效果：

28、本發(fā)明通過利用mel與imel特征提取方法對原始波形特征進行特征提取，得到聲信號數(shù)據(jù)的時頻特征，能夠有效地捕捉到聲信號在頻率域的特征，進一步提高了分類的準(zhǔn)確性；將時頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進行全局特征提取，并利用全局特征對聲信號數(shù)據(jù)進行信號分類，解決了目前缺少將時頻特征譜圖和波形特征這兩種不同特征進行融合的技術(shù)問題，極大的提高了聲信號的分類效率以及分類的準(zhǔn)確率，很大程度上提高了本發(fā)明的智能化程度、可用性和可靠性。

技術(shù)特征：

1.一種大型海洋哺乳動物聲信號分類方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用mel與imel特征提取方法對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征，包括：

3.根據(jù)權(quán)利要求2所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用mel與imel對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征，還包括：

4.根據(jù)權(quán)利要求3所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述s300包括：

5.根據(jù)權(quán)利要求4所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用多模態(tài)特征提取器分別提取所述聲信號數(shù)據(jù)的原始波形特征和時頻特征，包括：

6.根據(jù)權(quán)利要求4所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述將所述多模態(tài)特征提取器提取的原始波形特征和時頻特征輸入混合注意力模塊進行特征融合，包括：

7.根據(jù)權(quán)利要求6所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述將所述多模態(tài)特征提取器提取的原始波形特征和時頻特征輸入混合注意力模塊進行特征融合，還包括：

8.根據(jù)權(quán)利要求4所述的大型海洋哺乳動物聲信號分類方法，其特征在于，所述利用多層感知器對所述混合特征進行全局特征提取，并對全局特征進行信號分類，包括：

9.一種大型海洋哺乳動物聲信號分類系統(tǒng)，其特征在于，包括：

10.一種電子設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種大型海洋哺乳動物聲信號分類方法及系統(tǒng)、電子設(shè)備，包括：獲取不同的海洋哺乳動物的聲信號數(shù)據(jù)，并對所述聲信號數(shù)據(jù)進行預(yù)處理；根據(jù)預(yù)處理后的聲信號數(shù)據(jù)得到原始波形特征，并利用Mel與IMel特征提取方法對所述原始波形特征進行特征提取，得到所述聲信號數(shù)據(jù)的時頻特征；將所述時頻特征和原始波形特征輸入混合注意力網(wǎng)絡(luò)與特征融合模型中進行全局特征提取，并利用所述全局特征對所述聲信號數(shù)據(jù)進行信號分類，解決了目前缺少將時頻特征譜圖和波形特征這兩種不同特征進行融合的技術(shù)問題，極大的提高了聲信號的分類效率以及分類的準(zhǔn)確率，很大程度上提高了本發(fā)明的智能化程度、可用性和可靠性。

技術(shù)研發(fā)人員：李興順,成霄,曹劍
受保護的技術(shù)使用者：青島中科研海海洋科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19