本申請(qǐng)涉及聲源成像，具體而言，涉及一種聲源成像計(jì)算方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、目前聲學(xué)成像技術(shù)將聲音信號(hào)轉(zhuǎn)換成圖像信號(hào)使空間聲源的分布可視化。通過(guò)麥克風(fēng)陣列采集多通道音頻數(shù)據(jù)，并對(duì)指定頻率下的上述音頻數(shù)據(jù)，通過(guò)波束形成延時(shí)求和算法計(jì)算出麥克風(fēng)陣列所在平面上的聲源分布信息，并該聲源分布信息與實(shí)景圖像融合。在融合后的圖像上確定聲源的空間位置和產(chǎn)生來(lái)源。

2、聲源成像技術(shù)已廣泛應(yīng)用于交通運(yùn)輸、噪聲檢測(cè)、工業(yè)異常檢測(cè)等多個(gè)領(lǐng)域。聲源成像技術(shù)能夠直觀、準(zhǔn)確地反映聲源的位置和強(qiáng)度，為噪聲控制、故障診斷等方面提供相關(guān)技術(shù)支持。

3、發(fā)明人發(fā)現(xiàn)，常規(guī)的波束形成延時(shí)求和算法直接對(duì)采集的音頻數(shù)據(jù)進(jìn)行延遲求和處理，利用波束形成和時(shí)間差反演出聲源分布，并輸出圖像式結(jié)果。由于多通道麥克風(fēng)陣列會(huì)產(chǎn)生自噪聲，導(dǎo)致聲源識(shí)別的精確度下降。同時(shí)，波束形成延時(shí)求和算法中存在大量矩陣卷積運(yùn)算，傳統(tǒng)的中央處理器架構(gòu)主要執(zhí)行串行計(jì)算，導(dǎo)致計(jì)算速度較慢、處理時(shí)間較長(zhǎng)等問(wèn)題，并且無(wú)法滿足實(shí)時(shí)性要求。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)?zhí)峁┝艘环N聲源成像計(jì)算方法、系統(tǒng)、電子設(shè)備和存儲(chǔ)介質(zhì)，用于解決傳統(tǒng)的中央處理器串行計(jì)算時(shí)間長(zhǎng)、計(jì)算模型復(fù)雜以及難以滿足實(shí)時(shí)性需求等問(wèn)題。

2、根據(jù)本申請(qǐng)的一方面，本申請(qǐng)?zhí)峁┝艘环N方法，該方法包括：對(duì)獲取的音頻數(shù)據(jù)進(jìn)行預(yù)處理，以獲得掃描頻率范圍內(nèi)的中心頻率，其中，音頻數(shù)據(jù)是通過(guò)麥克風(fēng)陣列采集的。在視頻收集裝置的可視范圍內(nèi)劃分聲強(qiáng)網(wǎng)格。確定麥克風(fēng)陣列到聲強(qiáng)網(wǎng)格的歐式距離矩陣和陣列導(dǎo)向矢量。根據(jù)陣列導(dǎo)向矢量和互譜矩陣獲得輸出功率譜矩陣。通過(guò)對(duì)聲強(qiáng)網(wǎng)格進(jìn)行著色獲得熱力圖。

3、根據(jù)本申請(qǐng)一些實(shí)施例，在上述對(duì)獲取的音頻數(shù)據(jù)進(jìn)行預(yù)處理，以獲得掃描頻率范圍內(nèi)的中心頻率的步驟之前，該方法還包括：將視頻收集裝置設(shè)置在麥克風(fēng)陣列中心，以麥克風(fēng)陣列中心為原點(diǎn)建立空間直角坐標(biāo)系。

4、根據(jù)本申請(qǐng)一些實(shí)施例，上述對(duì)獲取的音頻數(shù)據(jù)進(jìn)行預(yù)處理，以獲得掃描頻率范圍內(nèi)的中心頻率的步驟可以包括：將獲取的音頻數(shù)據(jù)按照預(yù)設(shè)的幀長(zhǎng)分幀，得到分幀音頻數(shù)據(jù)；將分幀音頻數(shù)據(jù)的每一幀與預(yù)設(shè)的窗函數(shù)相乘，獲得加窗音頻數(shù)據(jù)；通過(guò)離散傅里葉變換將加窗音頻數(shù)據(jù)轉(zhuǎn)換為頻域音頻數(shù)據(jù)；在掃描頻率范圍內(nèi)掃描頻域音頻數(shù)據(jù)的幅值，獲得中心頻率。

5、根據(jù)本申請(qǐng)一些實(shí)施例，上述在視頻收集裝置的可視范圍內(nèi)劃分聲強(qiáng)網(wǎng)格的步驟可以包括：在麥克風(fēng)陣列預(yù)設(shè)方向上選取一個(gè)與麥克風(fēng)陣列平面平行的矩形區(qū)域；將矩形區(qū)域劃分成預(yù)設(shè)數(shù)量的網(wǎng)格點(diǎn)，以得到聲強(qiáng)網(wǎng)格。

6、根據(jù)本申請(qǐng)一些實(shí)施例，上述確定麥克風(fēng)陣列到聲強(qiáng)網(wǎng)格的歐式距離矩陣和陣列導(dǎo)向矢量的步驟可以包括：根據(jù)歐式距離公式計(jì)算麥克風(fēng)陣元和網(wǎng)格點(diǎn)之間的歐式距離，以生成歐式距離矩陣；根據(jù)歐式距離矩陣和波數(shù)矩陣，通過(guò)cuda架構(gòu)模型并行計(jì)算，第一頻率范圍內(nèi)每個(gè)頻率點(diǎn)下的陣列導(dǎo)向矢量。

7、根據(jù)本申請(qǐng)一些實(shí)施例，將預(yù)處理后的頻域音頻數(shù)據(jù)通過(guò)cuda架構(gòu)模型并行處理，基于波束形成延時(shí)求和算法確定互譜矩陣。

8、根據(jù)本申請(qǐng)一些實(shí)施例，上述根據(jù)陣列導(dǎo)向矢量和互譜矩陣獲得輸出功率譜矩陣的步驟可以包括：根據(jù)陣列導(dǎo)向矢量和互譜矩陣，通過(guò)cuda架構(gòu)模型并行計(jì)算每個(gè)網(wǎng)格點(diǎn)的輸出功率生成輸出功率譜矩陣。

9、根據(jù)本申請(qǐng)一些實(shí)施例，上述通過(guò)對(duì)聲強(qiáng)網(wǎng)格進(jìn)行著色獲得熱力圖的步驟可以包括：將聲強(qiáng)網(wǎng)格的每個(gè)網(wǎng)格點(diǎn)按照輸出功率譜矩陣的輸出功率大小著色，以生成熱力圖。

10、根據(jù)本申請(qǐng)一些實(shí)施例，對(duì)獲取的視頻數(shù)據(jù)與熱力圖疊加處理，獲得實(shí)時(shí)的視頻流；其中，視頻數(shù)據(jù)通過(guò)視頻收集裝置采集。

11、根據(jù)本申請(qǐng)的一方面，本申請(qǐng)還提供了一種系統(tǒng)，該系統(tǒng)包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、矩陣計(jì)算模塊和圖像處理模塊。數(shù)據(jù)采集模塊基于視頻收集裝置和麥克風(fēng)陣列，數(shù)據(jù)采集模塊同時(shí)且實(shí)時(shí)采集視頻數(shù)據(jù)和音頻數(shù)據(jù)。數(shù)據(jù)處理模塊用于對(duì)獲取的音頻數(shù)據(jù)進(jìn)行預(yù)處理；在視頻收集裝置的可視范圍內(nèi)劃分聲強(qiáng)網(wǎng)格。矩陣計(jì)算模塊用于確定麥克風(fēng)陣列到聲強(qiáng)網(wǎng)格的歐式距離矩陣和陣列導(dǎo)向矢量，根據(jù)陣列導(dǎo)向矢量和互譜矩陣獲得輸出功率譜矩陣。圖像處理模塊用于通過(guò)對(duì)聲強(qiáng)網(wǎng)格進(jìn)行著色獲得熱力圖。

12、根據(jù)本申請(qǐng)的一方面，還提供一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序；當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行，使得一個(gè)或多個(gè)處理器，能夠?qū)崿F(xiàn)如上文所述的聲源成像高速計(jì)算方法。

13、根據(jù)本申請(qǐng)的一方面，還提供一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)能夠?qū)崿F(xiàn)如上文所述的聲源成像高速計(jì)算方法。

14、根據(jù)本申請(qǐng)的一方面，還提供一種計(jì)算機(jī)程序產(chǎn)品，包括：存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序；計(jì)算機(jī)程序包括程序指令，當(dāng)程序指令被計(jì)算機(jī)執(zhí)行時(shí)，使計(jì)算機(jī)執(zhí)行如上文所述的聲源成像高速計(jì)算方法。

15、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

16、本申請(qǐng)通過(guò)gpu(graphics?processing?unit，圖形處理器)基于cuda(computeunified?device?architecture，統(tǒng)一計(jì)算設(shè)備架構(gòu))實(shí)現(xiàn)對(duì)音頻數(shù)據(jù)的并行處理和提高聲源成像的處理速度和準(zhǔn)確性。

技術(shù)特征：

1.一種聲源成像計(jì)算方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述對(duì)獲取的所述音頻數(shù)據(jù)進(jìn)行預(yù)處理，以獲得掃描頻率范圍內(nèi)的中心頻率之前，所述方法還包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)獲取的所述音頻數(shù)據(jù)進(jìn)行預(yù)處理，以獲得掃描頻率范圍內(nèi)的中心頻率包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述視頻收集裝置的可視范圍內(nèi)劃分聲強(qiáng)網(wǎng)格包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述麥克風(fēng)陣列到所述聲強(qiáng)網(wǎng)格的歐式距離矩陣和陣列導(dǎo)向矢量包括：

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，將預(yù)處理后的所述頻域音頻數(shù)據(jù)通過(guò)所述cuda架構(gòu)模型并行處理，基于波束形成延時(shí)求和算法確定所述互譜矩陣。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述陣列導(dǎo)向矢量和互譜矩陣獲得輸出功率譜矩陣包括：

8.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過(guò)對(duì)所述聲強(qiáng)網(wǎng)格進(jìn)行著色獲得熱力圖包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，對(duì)獲取的所述視頻數(shù)據(jù)與所述熱力圖疊加處理，獲得實(shí)時(shí)的視頻流；其中，所述視頻數(shù)據(jù)通過(guò)所述視頻收集裝置采集。

10.一種聲源成像計(jì)算系統(tǒng)，其特征在于，所述系統(tǒng)包括：

11.一種電子設(shè)備，其特征在于，包括：

12.一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-9任一所述的聲源成像計(jì)算方法。

13.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，當(dāng)所述程序指令被計(jì)算機(jī)執(zhí)行時(shí)，使所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1-9中任一所述的聲源成像計(jì)算方法。

技術(shù)總結(jié)
本申請(qǐng)?zhí)峁┝艘环N聲源成像計(jì)算方法、系統(tǒng)、電子設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，該方法包括：對(duì)獲取的音頻數(shù)據(jù)進(jìn)行預(yù)處理，以獲得掃描頻率范圍內(nèi)的中心頻率，其中，音頻數(shù)據(jù)是通過(guò)麥克風(fēng)陣列采集的。在視頻收集裝置的可視范圍內(nèi)劃分聲強(qiáng)網(wǎng)格。確定麥克風(fēng)陣列到聲強(qiáng)網(wǎng)格的歐式距離矩陣和陣列導(dǎo)向矢量。根據(jù)陣列導(dǎo)向矢量和互譜矩陣獲得輸出功率譜矩陣。通過(guò)對(duì)聲強(qiáng)網(wǎng)格進(jìn)行著色獲得熱力圖。本申請(qǐng)通過(guò)利用CUDA技術(shù)的并行計(jì)算能力，對(duì)聲源成像方法進(jìn)行了優(yōu)化和創(chuàng)新，實(shí)現(xiàn)了對(duì)聲源的準(zhǔn)確定位，提高了CUDA架構(gòu)模型的處理速度和定位精度，為聲源成像領(lǐng)域的發(fā)展提供了有力的技術(shù)支持。

技術(shù)研發(fā)人員：祁峰,李少東,趙青春,阮方俊,謝越,曾凱,余冬,程立,劉東超
受保護(hù)的技術(shù)使用者：南京南瑞繼保電氣有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19