本發(fā)明主要涉及音頻處理，尤其涉及一種基于ai控制的音頻信號(hào)補(bǔ)償方法及相關(guān)裝置。

背景技術(shù)：

1、隨著聲學(xué)技術(shù)的快速發(fā)展，人們對(duì)音響系統(tǒng)的音頻效果也越來(lái)越關(guān)注，對(duì)此，為了提高音頻播放的質(zhì)量，通常會(huì)對(duì)音頻信號(hào)進(jìn)行補(bǔ)償以滿(mǎn)足人們所需的聽(tīng)覺(jué)效果。音頻信號(hào)的音頻類(lèi)別識(shí)別是音頻信號(hào)補(bǔ)償方法中重要的一環(huán)，目前音頻信號(hào)的音頻類(lèi)別識(shí)別通常是通過(guò)相關(guān)人員進(jìn)行標(biāo)簽標(biāo)注來(lái)劃分音頻類(lèi)別，但該方式過(guò)于依賴(lài)相關(guān)人員的專(zhuān)業(yè)素養(yǎng)，無(wú)法保障音頻類(lèi)別識(shí)別的準(zhǔn)確性，同時(shí)所投入的人力成本也過(guò)高。在目前的音頻信號(hào)補(bǔ)償中，較少會(huì)考慮將用戶(hù)習(xí)慣加入至音頻信號(hào)補(bǔ)償參數(shù)的生成中，導(dǎo)致最終所播放的補(bǔ)償后的音頻仍需要用戶(hù)自行調(diào)整，導(dǎo)致對(duì)音頻信號(hào)補(bǔ)償?shù)闹悄芑潭炔蛔?，無(wú)法為用戶(hù)帶來(lái)更為便捷的音頻播放體驗(yàn)。同時(shí)在目前的音頻信號(hào)補(bǔ)償中，由于揚(yáng)聲器自身的頻率響應(yīng)不夠平坦，并且音頻播放空間存在音頻信號(hào)反射和吸收等問(wèn)題，而為了解決這些問(wèn)題，目前通常是通過(guò)在音頻播放空間內(nèi)加裝吸音材料等來(lái)改善音頻播放效果，但該方法的成本較高，并且對(duì)音頻信號(hào)的補(bǔ)償效果也較差，導(dǎo)致音頻信號(hào)補(bǔ)償未能達(dá)到預(yù)期效果，無(wú)法為用戶(hù)提供高質(zhì)量的音頻播放體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于ai控制的音頻信號(hào)補(bǔ)償方法及相關(guān)裝置，提高了用戶(hù)的聽(tīng)覺(jué)感受，使音頻信號(hào)補(bǔ)償達(dá)到更為理想的效果。

2、為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種基于ai控制的音頻信號(hào)補(bǔ)償方法，應(yīng)用于音頻拾取器、嵌入式實(shí)時(shí)操作系統(tǒng)和揚(yáng)聲器，所述嵌入式實(shí)時(shí)操作系統(tǒng)分別與所述音頻拾取器和揚(yáng)聲器連接；所述方法包括：

3、基于音頻拾取器獲取待補(bǔ)償音頻信號(hào)，并將所述待補(bǔ)償音頻信號(hào)傳輸至嵌入式實(shí)時(shí)操作系統(tǒng)中，所述嵌入式實(shí)時(shí)操作系統(tǒng)通過(guò)人工智能引擎對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行特征提取，獲得音頻特征信息；

4、計(jì)算所述待補(bǔ)償音頻信號(hào)的頻譜波動(dòng)，并基于所述頻譜波動(dòng)和音頻特征信息對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行音頻類(lèi)別識(shí)別，獲得待補(bǔ)償音頻信號(hào)對(duì)應(yīng)的音頻類(lèi)別；

5、獲取與所述音頻類(lèi)別對(duì)應(yīng)的用戶(hù)習(xí)慣信息，基于所述用戶(hù)習(xí)慣信息利用均衡器補(bǔ)償分析確定所述待補(bǔ)償音頻信號(hào)的第一補(bǔ)償參數(shù)；

6、獲取所述待補(bǔ)償音頻信號(hào)的頻率響應(yīng)數(shù)據(jù)，基于所述頻率響應(yīng)數(shù)據(jù)結(jié)合環(huán)境頻響參數(shù)利用脈沖響應(yīng)分析生成目標(biāo)校正系數(shù)，并基于所述目標(biāo)校正系數(shù)對(duì)所述第一補(bǔ)償參數(shù)進(jìn)行調(diào)整，獲得第二補(bǔ)償參數(shù)；

7、基于所述第二補(bǔ)償參數(shù)對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行補(bǔ)償，獲得目標(biāo)音頻信號(hào)，并將所述目標(biāo)音頻信號(hào)傳輸至揚(yáng)聲器中，所述揚(yáng)聲器播放所述目標(biāo)音頻信號(hào)。

8、可選的，所述對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行特征提取，獲得音頻特征信息，包括：

9、對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行預(yù)處理，獲得預(yù)處理后的待補(bǔ)償音頻信號(hào)；

10、對(duì)預(yù)處理后的待補(bǔ)償音頻信號(hào)進(jìn)行分割處理，獲得分割處理后的待補(bǔ)償音頻信號(hào)；

11、對(duì)分割處理后的待補(bǔ)償音頻信號(hào)進(jìn)行短時(shí)音頻特征提取，獲得短時(shí)音頻特征信息；

12、對(duì)分割處理后的待補(bǔ)償音頻信號(hào)進(jìn)行長(zhǎng)時(shí)音頻特征提取，獲得長(zhǎng)時(shí)音頻特征信息，并基于所述短時(shí)音頻特征信息和長(zhǎng)時(shí)音頻特征信息生成音頻特征信息。

13、可選的，所述計(jì)算所述待補(bǔ)償音頻信號(hào)的頻譜波動(dòng)，并基于所述頻譜波動(dòng)和音頻特征信息對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行音頻類(lèi)別識(shí)別，獲得待補(bǔ)償音頻信號(hào)對(duì)應(yīng)的音頻類(lèi)別，包括：

14、獲取所述待補(bǔ)償音頻信號(hào)中各音頻幀的頻譜高頻帶峰度；

15、獲取所述待補(bǔ)償音頻信號(hào)中各音頻幀的頻譜，計(jì)算各音頻幀的頻譜在中低頻帶頻譜上的對(duì)數(shù)能量差；

16、獲取所述待補(bǔ)償音頻信號(hào)中各音頻幀的梅爾頻率倒譜系數(shù)，基于所述梅爾頻率倒譜系數(shù)進(jìn)行自然對(duì)數(shù)計(jì)算處理，獲得對(duì)數(shù)能量向量，并基于所述對(duì)數(shù)能量向量生成能量波動(dòng)數(shù)據(jù)；

17、基于所述頻譜高頻帶峰度、對(duì)數(shù)能量差和能量波動(dòng)數(shù)據(jù)生成頻譜波動(dòng)；

18、將所述頻譜波動(dòng)和音頻特征信息輸入至音頻分類(lèi)模型中，所述音頻分類(lèi)模型基于所述頻譜波動(dòng)和音頻特征信息進(jìn)行音頻類(lèi)別識(shí)別，獲得待補(bǔ)償音頻信號(hào)對(duì)應(yīng)的音頻類(lèi)別，其中，所述音頻分類(lèi)模型包括基于通道注意力機(jī)制的殘差門(mén)控卷積神經(jīng)網(wǎng)絡(luò)和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)。

19、可選的，所述基于所述用戶(hù)習(xí)慣信息利用均衡器補(bǔ)償分析確定所述待補(bǔ)償音頻信號(hào)的第一補(bǔ)償參數(shù)，包括：

20、基于所述音頻類(lèi)別確定對(duì)應(yīng)的補(bǔ)償濾波器，并基于所述用戶(hù)習(xí)慣信息獲取所述補(bǔ)償濾波器的第一增益系數(shù)；

21、基于所述用戶(hù)習(xí)慣信息結(jié)合所述音頻特征信息計(jì)算音色增益因子和音量增益因子；

22、獲取所述待補(bǔ)償音頻信號(hào)的頻率分布曲線(xiàn)，確定所述頻率分布曲線(xiàn)中各頻點(diǎn)的幅度值，并基于所述用戶(hù)習(xí)慣信息結(jié)合各頻點(diǎn)的幅度值確定第二增益系數(shù)；

23、基于所述第一增益系數(shù)和第二增益系數(shù)計(jì)算均衡器增益系數(shù)，并基于所述均衡器增益系數(shù)、音色增益因子和音量增益因子確定所述待補(bǔ)償音頻信號(hào)的第一補(bǔ)償參數(shù)。

24、可選的，所述獲取所述待補(bǔ)償音頻信號(hào)的頻率響應(yīng)數(shù)據(jù)，包括：

25、對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行短時(shí)傅里葉變換，獲得短時(shí)頻域信息；

26、基于所述短時(shí)頻域信息計(jì)算所述待補(bǔ)償音頻信號(hào)的自相關(guān)函數(shù)，并基于所述自相關(guān)函數(shù)確定線(xiàn)性預(yù)測(cè)誤差濾波器系數(shù)；

27、基于所述線(xiàn)性預(yù)測(cè)誤差濾波器系數(shù)利用滑動(dòng)窗口和隨機(jī)抑制曲線(xiàn)進(jìn)行頻率響應(yīng)計(jì)算，獲得頻率響應(yīng)數(shù)據(jù)。

28、可選的，所述基于所述頻率響應(yīng)數(shù)據(jù)結(jié)合環(huán)境頻響參數(shù)利用脈沖響應(yīng)分析生成目標(biāo)校正系數(shù)，包括：

29、所述嵌入式實(shí)時(shí)操作系統(tǒng)控制所述音頻拾取器采集當(dāng)前環(huán)境的測(cè)試音頻信號(hào)，并獲取所述測(cè)試音頻信號(hào)的音頻參數(shù)；

30、基于測(cè)試音頻信號(hào)的音頻參數(shù)結(jié)合預(yù)設(shè)標(biāo)準(zhǔn)音頻信號(hào)的音頻參數(shù)生成環(huán)境頻響參數(shù)；

31、獲取所述測(cè)試音頻信號(hào)的波峰出現(xiàn)時(shí)間，基于所述波峰出現(xiàn)時(shí)間結(jié)合預(yù)設(shè)頭相關(guān)傳輸函數(shù)進(jìn)行脈沖響應(yīng)分析，獲得脈沖響應(yīng)數(shù)據(jù)；

32、基于所述頻率響應(yīng)數(shù)據(jù)、環(huán)境頻響參數(shù)和脈沖響應(yīng)數(shù)據(jù)進(jìn)行計(jì)算，獲得目標(biāo)校正系數(shù)。

33、可選的，所述基于所述第二補(bǔ)償參數(shù)對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行補(bǔ)償，獲得目標(biāo)音頻信號(hào)，包括：

34、基于所述第二補(bǔ)償參數(shù)結(jié)合濾波器系數(shù)對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行動(dòng)態(tài)校正，獲得目標(biāo)音頻信號(hào)。

35、另外，本發(fā)明還提供了一種基于ai控制的音頻信號(hào)補(bǔ)償裝置，應(yīng)用于音頻拾取器、嵌入式實(shí)時(shí)操作系統(tǒng)和揚(yáng)聲器，所述嵌入式實(shí)時(shí)操作系統(tǒng)分別與所述音頻拾取器和揚(yáng)聲器連接；所述裝置包括：

36、音頻特征提取模塊：用于基于音頻拾取器獲取待補(bǔ)償音頻信號(hào)，并將所述待補(bǔ)償音頻信號(hào)傳輸至嵌入式實(shí)時(shí)操作系統(tǒng)中，所述嵌入式實(shí)時(shí)操作系統(tǒng)通過(guò)人工智能引擎對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行特征提取，獲得音頻特征信息；

37、音頻類(lèi)別識(shí)別模塊：用于計(jì)算所述待補(bǔ)償音頻信號(hào)的頻譜波動(dòng)，并基于所述頻譜波動(dòng)和音頻特征信息對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行音頻類(lèi)別識(shí)別，獲得待補(bǔ)償音頻信號(hào)對(duì)應(yīng)的音頻類(lèi)別；

38、第一補(bǔ)償參數(shù)獲取模塊：用于獲取與所述音頻類(lèi)別對(duì)應(yīng)的用戶(hù)習(xí)慣信息，基于所述用戶(hù)習(xí)慣信息利用均衡器補(bǔ)償分析確定所述待補(bǔ)償音頻信號(hào)的第一補(bǔ)償參數(shù)；

39、第二補(bǔ)償參數(shù)獲取模塊：用于獲取所述待補(bǔ)償音頻信號(hào)的頻率響應(yīng)數(shù)據(jù)，基于所述頻率響應(yīng)數(shù)據(jù)結(jié)合環(huán)境頻響參數(shù)利用脈沖響應(yīng)分析生成目標(biāo)校正系數(shù)，并基于所述目標(biāo)校正系數(shù)對(duì)所述第一補(bǔ)償參數(shù)進(jìn)行調(diào)整，獲得第二補(bǔ)償參數(shù)；

40、音頻信號(hào)補(bǔ)償模塊：用于基于所述第二補(bǔ)償參數(shù)對(duì)所述待補(bǔ)償音頻信號(hào)進(jìn)行補(bǔ)償，獲得目標(biāo)音頻信號(hào)，并將所述目標(biāo)音頻信號(hào)傳輸至揚(yáng)聲器中，所述揚(yáng)聲器播放所述目標(biāo)音頻信號(hào)。

41、另外，本發(fā)明還提供了一種基于ai控制的音頻信號(hào)補(bǔ)償系統(tǒng)，所述系統(tǒng)包括音頻拾取器、嵌入式實(shí)時(shí)操作系統(tǒng)和揚(yáng)聲器，所述嵌入式實(shí)時(shí)操作系統(tǒng)分別與所述音頻拾取器和揚(yáng)聲器連接，所述系統(tǒng)被配置為用于執(zhí)行上述的基于ai控制的音頻信號(hào)補(bǔ)償方法。

42、另外，本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，當(dāng)所述計(jì)算機(jī)指令在電子設(shè)備上運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行上述的基于ai控制的音頻信號(hào)補(bǔ)償方法。

43、在本發(fā)明實(shí)施例中，基于頻譜波動(dòng)和音頻特征信息對(duì)待補(bǔ)償音頻信號(hào)進(jìn)行音頻類(lèi)別識(shí)別，能夠提高音頻類(lèi)別識(shí)別的準(zhǔn)取性，極大地減少了人力成本的投入?；谟脩?hù)習(xí)慣信息利用均衡器補(bǔ)償分析確定待補(bǔ)償音頻信號(hào)的第一補(bǔ)償參數(shù)，考慮到用戶(hù)習(xí)慣信息對(duì)音頻信號(hào)補(bǔ)償?shù)挠绊?，提高音頻信號(hào)補(bǔ)償?shù)闹悄苄?，使最終所播放的音頻更為貼合用戶(hù)的日常習(xí)慣。獲取待補(bǔ)償音頻信號(hào)的頻率響應(yīng)數(shù)據(jù)，基于頻率響應(yīng)數(shù)據(jù)結(jié)合環(huán)境頻響參數(shù)利用脈沖響應(yīng)分析生成目標(biāo)校正系數(shù)以對(duì)第一補(bǔ)償參數(shù)進(jìn)行調(diào)整，生成第二補(bǔ)償參數(shù)，通過(guò)分析待補(bǔ)償音頻信號(hào)的頻率響應(yīng)數(shù)據(jù)能夠使音頻輸出更為平坦，同時(shí)結(jié)合環(huán)境頻響參數(shù)利用脈沖響應(yīng)分析來(lái)生成最終的補(bǔ)償參數(shù)，能夠最大幅度地避免空間環(huán)境對(duì)音頻信號(hào)的干擾。通過(guò)第二補(bǔ)償參數(shù)對(duì)待補(bǔ)償音頻信號(hào)進(jìn)行補(bǔ)償以生成目標(biāo)音頻信號(hào)，更好地實(shí)現(xiàn)音頻信號(hào)的智能化控制，使最終所播放的音頻能夠更為貼近理想播放效果，提高了用戶(hù)的聽(tīng)覺(jué)感受，使音頻信號(hào)補(bǔ)償達(dá)到更為理想的效果。