本發(fā)明涉及信號(hào)處理技術(shù)領(lǐng)域,特別涉及一種音頻信號(hào)校正方法、裝置及設(shè)備。
背景技術(shù):
麥克風(fēng)陣列由于采用了空間濾波技術(shù),因而具有較好的抗噪性能、抗干擾性能和抗混響性能,其逐漸替代了傳統(tǒng)的單一麥克風(fēng),而廣泛應(yīng)用于遠(yuǎn)場(chǎng)語音采集等技術(shù)領(lǐng)域。
麥克風(fēng)陣列的后續(xù)語音增強(qiáng)處理環(huán)節(jié)(如聲源定位、波束形成等)要求其各通道普通音頻信號(hào)相互匹配(例如幅度和時(shí)延匹配),以實(shí)現(xiàn)最大限度地提高語音增強(qiáng)性能。
然而實(shí)際應(yīng)用中,各通道麥克風(fēng)往往具有較大的分散度,且各自信號(hào)采集通道的電子元器件的特性會(huì)受溫濕度等外界條件影響,因而導(dǎo)致各通道之間存在較大的差異,導(dǎo)致各通道普通音頻信號(hào)不匹配,因而影響了后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
技術(shù)實(shí)現(xiàn)要素:
有鑒于此,本發(fā)明提供一種音頻信號(hào)校正方法、裝置及設(shè)備,以使麥克風(fēng)陣列各通道采集信號(hào)相互匹配,提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
第一方面,本發(fā)明實(shí)施例提供了一種音頻信號(hào)校正方法,所述方法用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng);所述方法包括:
獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
可選地,所述樣本差異參數(shù)的確定方法,包括:
獲取所述麥克風(fēng)陣列采集的樣本聲源的多路樣本音頻信號(hào);其中,所述多路樣本音頻信號(hào)包括所述參考麥克風(fēng)采集的參考樣本音頻信號(hào),以及所述普通麥克風(fēng)采集的普通樣本音頻信號(hào);
分別確定所述普通樣本音頻信號(hào)中各路樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù)。
可選地,所述分別確定所述普通樣本音頻信號(hào)中各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù),包括:
計(jì)算所述參考樣本音頻信號(hào)的均方值;
計(jì)算所述普通樣本音頻信號(hào)的均方值;
計(jì)算所述參考樣本音頻信號(hào)與所述各路普通樣本音頻信號(hào)的互相關(guān)函數(shù);
對(duì)所述互相關(guān)函數(shù)進(jìn)行插值運(yùn)算,得到插值互相關(guān)函數(shù);
根據(jù)所述參考樣本音頻信號(hào)的均方值、所述普通樣本音頻信號(hào)的均方值及所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù)。
可選地,所樣本差異參數(shù)包括時(shí)延值;
所述根據(jù)所述參考樣本音頻信號(hào)的均方值、所述普通樣本音頻信號(hào)的均方值及所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù),包括:
根據(jù)所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的視在時(shí)延值;
分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的傳輸路徑時(shí)延差;
根據(jù)所述視在時(shí)延值與所述傳輸路徑時(shí)延差分別計(jì)算所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的時(shí)延值。
可選地,所述分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的傳輸路徑時(shí)延差,包括:
將所述參考麥克風(fēng)作為坐標(biāo)原點(diǎn),建立三維直角坐標(biāo)系;
根據(jù)所述樣本聲源的坐標(biāo),以及所述樣本聲源與所述坐標(biāo)原點(diǎn)之間的距離確定聲源方向矢量;其中,所述樣本聲源的坐標(biāo)為所述樣本聲源在所述三維直角坐標(biāo)系中對(duì)應(yīng)的坐標(biāo);
根據(jù)所述普通麥克風(fēng)各自的坐標(biāo)和所述聲源方向矢量分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的傳輸路徑時(shí)延差;其中,所述普通麥克風(fēng)各自的坐標(biāo)為所述普通麥克風(fēng)在所述三維直角坐標(biāo)系中各自對(duì)應(yīng)的坐標(biāo)。
可選地,所述基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù),包括:
將所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的時(shí)延值,作為所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的時(shí)延值;
所述基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,包括:
分別根據(jù)所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的時(shí)延值,對(duì)所述各路普通音頻信號(hào)進(jìn)行濾波延時(shí)運(yùn)算。
可選地,所樣本差異參數(shù)包括幅度比值;
所述根據(jù)所述參考樣本音頻信號(hào)的均方值、所述普通樣本音頻信號(hào)的均方值及所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù),包括:
分別根據(jù)所述各路普通樣本音頻信號(hào)的均方值和所述參考樣本音頻信號(hào)的均方值的比值,確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的幅度比值。
可選地,所述基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù),包括:
將所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的幅度比值,作為所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的幅度比值;
所述基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,包括:
分別根據(jù)所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的幅度比值,以及所述各路普通音頻信號(hào)進(jìn)行除運(yùn)算。
第二方面,本發(fā)明實(shí)施例提供了一種音頻信號(hào)校正裝置,所述裝置用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng);所述裝置包括:
信號(hào)獲取模塊,用于獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
參數(shù)確定模塊,用于基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
信號(hào)校正模塊,用于基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
第三方面,本發(fā)明實(shí)施例提供了一種電子設(shè)備,所述電子設(shè)備用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng);所述電子設(shè)備包括:
處理器;
被配置為存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器;
其中,所述處理器被配置為:
獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
第四方面,本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng);所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序,該程序被處理器處理時(shí)實(shí)現(xiàn):
獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
由上述技術(shù)方案可知,本發(fā)明提供的音頻信號(hào)校正方法、裝置及設(shè)備,通過獲取麥克風(fēng)陣列采集的多路音頻信號(hào),并基于預(yù)先確定的樣本差異參數(shù)確定普通音頻信號(hào)與參考音頻信號(hào)之間的差異參數(shù),進(jìn)而基于差異參數(shù)對(duì)普通音頻信號(hào)進(jìn)行校正,得到與參考音頻信號(hào)匹配的校正音頻信號(hào),可以很大程度上消除各路麥克風(fēng)采集的音頻信號(hào)之間的差異,提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
附圖說明
圖1是本發(fā)明一種音頻信號(hào)校正方法實(shí)施例的流程圖;
圖2是本發(fā)明確定樣本差異參數(shù)實(shí)施例的流程圖;
圖3是本發(fā)明確定各路普通樣本音頻信號(hào)與參考樣本音頻信號(hào)的樣本差異參數(shù)實(shí)施例的流程圖;
圖4a是本發(fā)明另一種音頻信號(hào)校正方法實(shí)施例的流程圖;
圖4b是本發(fā)明的三維麥克風(fēng)陣列排布及聲源位置實(shí)施例的示意圖;
圖5是本發(fā)明一種音頻信號(hào)校正裝置實(shí)施例的結(jié)構(gòu)框圖;
圖6是本發(fā)明另一種音頻信號(hào)校正裝置實(shí)施例的結(jié)構(gòu)框圖;
圖7是本發(fā)明一種電子設(shè)備實(shí)施例的結(jié)構(gòu)框圖。
具體實(shí)施方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂,下面結(jié)合附圖和具體實(shí)施方式對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。
在本申請(qǐng)使用的術(shù)語是僅僅出于描述特定實(shí)施例的目的,而非旨在限制本申請(qǐng)。在本申請(qǐng)和所附權(quán)利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式,除非上下文清楚地表示普通含義。還應(yīng)當(dāng)理解,本文中使用的術(shù)語“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。
應(yīng)當(dāng)理解,盡管在本申請(qǐng)中可能采用術(shù)語第一、第二、第三等來描述各種信息,但這些信息不應(yīng)限于這些術(shù)語。這些術(shù)語僅用來將同一類型的信息彼此區(qū)分開。例如,在不脫離本申請(qǐng)范圍的情況下,第一信息也可以被稱為第二信息,類似地,第二信息也可以被稱為第一信息。取決于語境,如在此所使用的詞語“如果”可以被解釋成為“在……時(shí)”或“當(dāng)……時(shí)”或“響應(yīng)于確定”。
圖1是本發(fā)明一種音頻信號(hào)校正方法實(shí)施例的流程圖。該方法用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng)。如圖1所示,該方法包括以下步驟s11-s13:
s11:獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);
其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
在一可選的實(shí)施例中,麥克風(fēng)陣列可以由兩個(gè)以上麥克風(fēng)組成,并在三維空間任意排列為三維陣。其中,二維平面陣和一維線陣被視為該三維陣的特殊形式。
在一可選的實(shí)施例中,上述麥克風(fēng)陣列采集的音頻信號(hào)為經(jīng)過模數(shù)變換之后的數(shù)字音頻信號(hào)。
在一可選的實(shí)施例中,參考麥克風(fēng)可以是麥克風(fēng)陣列中的任一路麥克風(fēng),例如可以采用離麥克風(fēng)陣列中心最近的麥克風(fēng)作為參考麥克風(fēng)。
在一可選的實(shí)施例中,上述麥克風(fēng)陣列可以根據(jù)實(shí)際需要采集目標(biāo)環(huán)境或目標(biāo)聲源的音頻信號(hào),本發(fā)明實(shí)施例對(duì)此不進(jìn)行限定。
s12:基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
在一可選的實(shí)施例中,上述的樣本差異參數(shù)為根據(jù)上述麥克風(fēng)陣列之前采集的多路樣本音頻信號(hào)確定的參數(shù)。
在一可選的實(shí)施例中,可以按照下述圖2所示實(shí)施例的方法確定上述樣本差異參數(shù),在此先不詳述。
s13:基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
在一可選的實(shí)施例中,根據(jù)上述確定的普通音頻信號(hào)與參考音頻信號(hào)之間的差異參數(shù),可以對(duì)上述普通音頻信號(hào)進(jìn)行校正,以使校正后的普通音頻信號(hào)與參考音頻信號(hào)相匹配。
由上述技術(shù)方案可知,本發(fā)明提供的音頻信號(hào)校正方法,通過獲取麥克風(fēng)陣列采集的多路音頻信號(hào),并基于預(yù)先確定的樣本差異參數(shù)確定普通音頻信號(hào)與參考音頻信號(hào)之間的差異參數(shù),進(jìn)而基于差異參數(shù)對(duì)普通音頻信號(hào)進(jìn)行校正,得到與參考音頻信號(hào)匹配的校正音頻信號(hào),可以很大程度上消除各路麥克風(fēng)采集的音頻信號(hào)之間的差異,提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
圖2是本發(fā)明確定樣本差異參數(shù)實(shí)施例的流程圖;本實(shí)施例在上述實(shí)施例的基礎(chǔ)上,以如何確定樣本差異參數(shù)為例進(jìn)行示例性說明。如圖2所示,上述樣本差異參數(shù)的確定方法,可以包括以下步驟s21-s22:
s21:獲取所述麥克風(fēng)陣列采集的樣本聲源的多路樣本音頻信號(hào);
其中,所述多路樣本音頻信號(hào)包括所述參考麥克風(fēng)采集的參考樣本音頻信號(hào),以及所述普通麥克風(fēng)采集的普通樣本音頻信號(hào);
在一可選的實(shí)施例中,該樣本聲源可以設(shè)置于空間中的一固定位置。其中,樣本聲源是指位于同一個(gè)位置的至少一個(gè)聲源,而并不是限定聲源個(gè)數(shù)。
在一可選的實(shí)施例中,通過麥克風(fēng)陣列采集樣本聲源的音頻信號(hào)時(shí),可使該樣本聲源對(duì)準(zhǔn)麥克風(fēng)陣列的中心,以確保音頻信號(hào)采集的質(zhì)量。
在一可選的實(shí)施例中,可以在預(yù)設(shè)時(shí)間段內(nèi),通過麥克風(fēng)陣列采集樣本聲源的音頻信號(hào),該預(yù)設(shè)時(shí)間可以自由設(shè)置,例如可以設(shè)置為大于1秒。
s22:分別確定所述普通樣本音頻信號(hào)中各路樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù)。
由上述技術(shù)方案可知,本實(shí)施例通過獲取所述麥克風(fēng)陣列采集的樣本聲源的多路樣本音頻信號(hào),并分別確定所述普通樣本音頻信號(hào)中各路樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù),可以準(zhǔn)確地確定樣本差異參數(shù),進(jìn)而可以確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù),為后續(xù)消除各路麥克風(fēng)采集的音頻信號(hào)之間的差異提供依據(jù),提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
圖3是本發(fā)明確定各路普通樣本音頻信號(hào)與參考樣本音頻信號(hào)的樣本差異參數(shù)實(shí)施例的流程圖;本實(shí)施例在上述實(shí)施例的基礎(chǔ)上,以如何確定各路普通樣本音頻信號(hào)與參考樣本音頻信號(hào)的樣本差異參數(shù)為例進(jìn)行示例性說明。如圖3所示,步驟s22中分別確定所述普通樣本音頻信號(hào)中各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù),可以包括步驟s31-s34:
s31:計(jì)算所述參考樣本音頻信號(hào)的均方值,并計(jì)算所述各路普通樣本音頻信號(hào)的均方值;在一可選的實(shí)施例中,設(shè)麥克風(fēng)陣列采集的m路樣本音頻信號(hào)為sk(n),k=1,2,…m,設(shè)其中由參考麥克風(fēng)采集的參考樣本音頻信號(hào)為sr(n),則計(jì)算參考樣本音頻信號(hào)sr(n)的均方值rrr(0)=e{sr(n)sr(n)},計(jì)算第k路普通樣本音頻信號(hào)sk(n)的均方值rkk(0)=e{sk(n)sk(n)}。
s32:計(jì)算所述參考樣本音頻信號(hào)與所述各路普通樣本音頻信號(hào)的互相關(guān)函數(shù);
在一可選的實(shí)施例中,根據(jù)以下公式計(jì)算參考樣本音頻信號(hào)sr(n)與第k路麥克風(fēng)采集的樣本音頻信號(hào)sk(n)的互相關(guān)函數(shù):
rrk(τ)=e{sr(n)sk(n+τ)},τ=…,0,1,2,3,…;(1.1)
s33:根據(jù)所述互相關(guān)函數(shù)進(jìn)行插值運(yùn)算,得到插值互相關(guān)函數(shù);
在一可選的實(shí)施例中,若記互相關(guān)函數(shù)的最大值點(diǎn)為:i=argmax{rrk(τ)},則可在[i-0.5,i+0.5]區(qū)間對(duì)互相關(guān)函數(shù)rrk(τ)進(jìn)行插值,得到插值互相關(guān)函數(shù):
rrk(η)=rrk(i+t)=rrk(τ)·sinc(i+t-τ),(1.2)
其中,-0.5≤t≤0.5,式中·表示內(nèi)積運(yùn)算;
s34:根據(jù)所述參考樣本音頻信號(hào)的均方值、所述各路普通樣本音頻信號(hào)的均方值及所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù)。
在一可選的實(shí)施例中,上述樣本差異參數(shù)可以包括時(shí)延值;
相應(yīng)地,步驟s34可以包括步驟s41-s42:
s41:根據(jù)所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的視在時(shí)延值;
在一可選的實(shí)施例中,可以將插值互相關(guān)函數(shù)rrk(η)的最大值點(diǎn)對(duì)應(yīng)的時(shí)延值作為sk(n)相對(duì)于sr(n)的視在時(shí)延值d(k)=argmax{rrk(η)}。
需要說明的是,該視在時(shí)延值可以指直接從采集的音頻信號(hào)計(jì)算出來的時(shí)延值,而沒有考慮路徑時(shí)延。
s42:分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的傳輸路徑時(shí)延差。
在一可選的實(shí)施例中,本步驟s42可以包括以下步驟s421-s424:
s421:將所述參考麥克風(fēng)作為坐標(biāo)原點(diǎn),建立三維直角坐標(biāo)系;
s422:根據(jù)所述樣本聲源的坐標(biāo),以及所述樣本聲源與所述坐標(biāo)原點(diǎn)之間的距離確定聲源方向矢量;其中,所述樣本聲源的坐標(biāo)為所述樣本聲源在所述三維直角坐標(biāo)系中對(duì)應(yīng)的坐標(biāo);
s423:根據(jù)所述普通麥克風(fēng)各自的坐標(biāo)和所述聲源方向矢量分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的傳輸路徑時(shí)延差;其中,所述普通麥克風(fēng)各自的坐標(biāo)為所述普通麥克風(fēng)在所述三維直角坐標(biāo)系中各自對(duì)應(yīng)的坐標(biāo)。
在一可選的實(shí)施例中,設(shè)第k路麥克風(fēng)坐標(biāo)位置為(xk,yk,zk),聲源位置坐標(biāo)為(x,y,z),則根據(jù)以下公式(1.3)計(jì)算第k路麥克風(fēng)相對(duì)于參考麥克風(fēng)的傳輸路徑時(shí)延差:
l(k)=-(xk×x+yk×y+zk×z)/(x×x+y×y+z×z)0.5;(1.3)
s424:根據(jù)所述視在時(shí)延值與所述傳輸路徑時(shí)延差分別計(jì)算所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的時(shí)延值。
在一可選的實(shí)施例中,將視在時(shí)延值d(k)減去傳輸路徑時(shí)延差l(k)得到sk(n)相對(duì)于sr(n)的時(shí)延值:
d(k)=d(k)-l(k);(1.4)
在上述實(shí)施例的基礎(chǔ)上,步驟s12中基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù),可以包括:
將所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的時(shí)延值,作為所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的時(shí)延值;
相應(yīng)地,步驟s13中基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,可以包括:
分別根據(jù)所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的時(shí)延值,對(duì)所述各路普通音頻信號(hào)進(jìn)行濾波延時(shí)運(yùn)算。
在一可選的實(shí)施例中,將第k路(k=1,2,…m)音頻信號(hào)sk1(n)與sinc(n+d(k))進(jìn)行卷積運(yùn)算,以使sk1(n)延遲-d(k),實(shí)現(xiàn)補(bǔ)償該第k路信號(hào)的時(shí)延。
在一可選的實(shí)施例中,所樣本差異參數(shù)可以包括幅度比值;
相應(yīng)地,步驟s34還可以包括:
分別根據(jù)所述各路普通樣本音頻信號(hào)的均方值和所述參考樣本音頻信號(hào)的均方值的比值,確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的幅度比值。
在一可選的實(shí)施例中,將sk(n)的均方值除以sr(n)的均方值然后開根號(hào)得到sk(n)相對(duì)于sr(n)的幅度比值:
a(k)=(rkk(0)/rrr(0))0.5;(1.5)
在此基礎(chǔ)上,步驟s12中基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù),可以包括:
將所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的幅度比值,作為所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的幅度比值。相應(yīng)地,步驟s13中基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,可以包括:
分別根據(jù)所述各路普通音頻信號(hào)與所述參考音頻信號(hào)的幅度比值,以及所述各路普通音頻信號(hào)進(jìn)行除運(yùn)算。
在一可選的實(shí)施例中,將延遲后的第k路(k=1,2,…m)音頻信號(hào)除以a(k),以補(bǔ)償該路信號(hào)的幅度。
在一可選的實(shí)施例中,可以將m路經(jīng)過時(shí)延和幅度補(bǔ)償后的校正信號(hào)輸出至外部系統(tǒng)。
由上述技術(shù)方案可知,本發(fā)明提供的音頻信號(hào)校正方法,基于預(yù)先確定的樣本差異參數(shù)確定普通音頻信號(hào)與參考音頻信號(hào)之間的差異參數(shù),并基于差異參數(shù)對(duì)普通音頻信號(hào)進(jìn)行校正,得到與參考音頻信號(hào)匹配的校正音頻信號(hào),可以很大程度上消除各路麥克風(fēng)采集的音頻信號(hào)之間的差異,提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
對(duì)于前述的各方法實(shí)施例,為了簡(jiǎn)單描述,故將其都表述為一系列的動(dòng)作組合,但是本領(lǐng)域技術(shù)人員應(yīng)該知悉,本發(fā)明并不受所描述的動(dòng)作順序的限制,因?yàn)橐罁?jù)本發(fā)明,某些步驟可以采用普通順序或者同時(shí)進(jìn)行。
其次,本領(lǐng)域技術(shù)人員也應(yīng)該知悉,說明書中所描述的實(shí)施例均屬于可選實(shí)施例,所涉及的動(dòng)作和模塊并不一定是本發(fā)明所必須的。
下面以一具體實(shí)施例說明本發(fā)明,但不用于限制本發(fā)明的范圍。
圖4a是本發(fā)明另一種音頻信號(hào)校正方法實(shí)施例的流程圖;如圖4a所示,該方法包括:
a1:通過麥克風(fēng)陣列采集樣本聲源的樣本音頻信號(hào)。
在一可選的實(shí)施例中,步驟a1可以包括以下步驟a11-a12:
a11:在預(yù)設(shè)時(shí)間段內(nèi),通過麥克風(fēng)陣列采集樣本聲源的音頻信號(hào)。
其中,該樣本聲源可以設(shè)置于空間中的一固定位置。
在一可選的實(shí)施例中,樣本聲源是指位于同一個(gè)位置的至少一個(gè)聲源,而并不是限定聲源個(gè)數(shù)。
在一可選的實(shí)施例中,麥克風(fēng)陣列可以由兩個(gè)以上麥克風(fēng)組成,并在三維空間任意排列為三維陣。其中,二維平面陣和一維線陣被視為該三維陣的特殊形式。
在一可選的實(shí)施例中,通過麥克風(fēng)陣列采集音頻信號(hào)時(shí),可使該樣本聲源對(duì)準(zhǔn)麥克風(fēng)陣列的中心,以確保音頻信號(hào)采集的質(zhì)量。
在一可選的實(shí)施例中,上述預(yù)設(shè)時(shí)間可以自由設(shè)置,例如可以設(shè)置為大于1秒。
a12:選取麥克風(fēng)陣列中的一路麥克風(fēng)作為參考麥克風(fēng)。
在一可選的實(shí)施例中,參考麥克風(fēng)可以是麥克風(fēng)陣列中的任一路麥克風(fēng),例如可以采用離麥克風(fēng)陣列中心最近的麥克風(fēng)作為參考麥克風(fēng),并采用參考麥克風(fēng)所采集的信號(hào)作為參考樣本音頻信號(hào)。
舉例來說,圖4b是本發(fā)明的三維麥克風(fēng)陣列排布及聲源位置實(shí)施例的示意圖。如圖4b所示,該麥克風(fēng)陣列包含m個(gè)麥克風(fēng),選取位于麥克風(fēng)陣列中心的麥克風(fēng)作為參考麥克風(fēng),將樣本聲源對(duì)準(zhǔn)麥克風(fēng)陣列中心,該聲源位置坐標(biāo)為(x,y,z)。在此基礎(chǔ)上,設(shè)m路麥克風(fēng)陣列采集的樣本聲源的樣本音頻信號(hào)為sk(n),k=1,2,…m,設(shè)其中由參考麥克風(fēng)采集的樣本聲源的參考樣本音頻信號(hào)為sr(n),設(shè)第k路麥克風(fēng)坐標(biāo)位置為(xk,yk,zk)。
a2:計(jì)算多路麥克風(fēng)采集的樣本音頻信號(hào)與參考樣本音頻信號(hào)之間的幅度比值和時(shí)延值兩種校正參數(shù)。
在一可選的實(shí)施例中,步驟a2可以包括以下步驟a21-a29:
a21:計(jì)算參考樣本音頻信號(hào)sr(n)的均方值rrr(0)=e{sr(n)sr(n)};
a22:計(jì)算參考樣本音頻信號(hào)sr(n)與第k路麥克風(fēng)采集的樣本音頻信號(hào)sk(n)的互相關(guān)函數(shù):
rrk(τ)=e{sr(n)sk(n+τ)},τ=…,0,1,2,3,…;(2.1)
a23:記i=argmax{rrk(τ)},在[i-0.5,i+0.5]區(qū)間對(duì)互相關(guān)函數(shù)rrk(τ)進(jìn)行插值,得到插值互相關(guān)函數(shù):
rrk(η)=rrk(i+t)=rrk(τ)·sinc(i+t-τ),(2.2)
其中,-0.5≤t≤0.5,式中·表示內(nèi)積運(yùn)算;
a24:將rrk(η)的最大值點(diǎn)對(duì)應(yīng)的時(shí)延值作為sk(n)相對(duì)于sr(n)的視在時(shí)延值d(k)=argmax{rrk(η)};
其中,視在時(shí)延值指直接從采集的音頻信號(hào)計(jì)算出來的時(shí)延值,而沒有考慮路徑時(shí)延。
a25:計(jì)算第k路麥克風(fēng)相對(duì)于參考麥克風(fēng)的傳輸路徑時(shí)延差:
l(k)=-(xk×x+yk×y+zk×z)/(x×x+y×y+z×z)0.5;(2.3)
a26:將d(k)減去l(k)得到sk(n)相對(duì)于sr(n)的時(shí)延值:
d(k)=d(k)-l(k);(2.4)
a27:計(jì)算第k路普通音頻信號(hào)sk(n)的均方值:
rkk(0)=e{sk(n)sk(n)};(2.5)
a28:將sk(n)的均方值除以sr(n)的均方值然后開根號(hào)得到sk(n)相對(duì)于sr(n)的幅度比值:
a(k)=(rkk(0)/rrr(0))0.5;(2.6)
a29:輸出m路幅度比值a(k),k=1,2,3,…,m和時(shí)延值d(k),k=1,2,3,…,m兩種校正參數(shù)。
a3:存儲(chǔ)m路幅度比值a(k)和時(shí)延值d(k)兩種校正參數(shù)。
在一可選的實(shí)施例中,將步驟s29中輸出的m路幅度比值a(k)和時(shí)延值d(k)兩種校正參數(shù)存儲(chǔ)到非易失性存儲(chǔ)器中。
在一可選的實(shí)施例中,可以根據(jù)后續(xù)讀取指令從該存儲(chǔ)器讀出該幅度比值a(k)和時(shí)延值d(k)兩種校正參數(shù)。
a4:根據(jù)讀取的上述m路幅度比值a(k)和時(shí)延值d(k)兩種校正參數(shù),對(duì)通過上述麥克風(fēng)陣列采集的目標(biāo)聲源的多路音頻信號(hào)進(jìn)行幅度和時(shí)延校正。
在一可選的實(shí)施例中,步驟a4可以包括:
a41:通過上述麥克風(fēng)陣列采集目標(biāo)聲源的多路音頻信號(hào)。
在一可選的實(shí)施例中,設(shè)m路麥克風(fēng)陣列采集的目標(biāo)聲源的音頻信號(hào)為sk1(n),其中,k=1,2,…m,設(shè)其中由參考麥克風(fēng)所采集的目標(biāo)聲源的音頻信號(hào)為參考音頻信號(hào)sr1(n)。
a42:將第k路(k=1,2,…m)音頻信號(hào)sk1(n)與sinc(n+d(k))進(jìn)行卷積運(yùn)算,以使sk1(n)延遲-d(k),實(shí)現(xiàn)補(bǔ)償該第k路信號(hào)的時(shí)延;
a43:將延遲后的第k路(k=1,2,…m)音頻信號(hào)除以a(k),以補(bǔ)償該路信號(hào)的幅度;
a5:將經(jīng)過時(shí)延和幅度補(bǔ)償后的校正信號(hào)輸出至外部系統(tǒng)。
本實(shí)施例的音頻信號(hào)校正方法,通過麥克風(fēng)陣列采集樣本聲源的多路樣本音頻信號(hào),并計(jì)算出參考樣本音頻信號(hào)與各路音頻信號(hào)之間的幅值比值和時(shí)延值兩種校正參數(shù),進(jìn)而在通過麥克風(fēng)陣列采集目標(biāo)聲源的多路音頻信號(hào)后,基于計(jì)算出的幅值比值和時(shí)延值兩種校正參數(shù),對(duì)采集的多路音頻信號(hào)分別進(jìn)行幅度和時(shí)延校正,得到多路經(jīng)過時(shí)延和幅度補(bǔ)償?shù)男U盘?hào),可以很大程度上消除各路麥克風(fēng)采集的音頻信號(hào)之間的差異,提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
圖5是本發(fā)明一種音頻信號(hào)校正裝置實(shí)施例的結(jié)構(gòu)框圖;所述裝置用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng);如圖5所示,該裝置包括信號(hào)獲取模塊410、參數(shù)確定模塊420以及信號(hào)校正模塊430,其中:
信號(hào)獲取模塊410,用于獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
參數(shù)確定模塊420,用于基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
信號(hào)校正模塊430,用于基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
由上述技術(shù)方案可知,本發(fā)明提供的音頻信號(hào)校正裝置,通過獲取麥克風(fēng)陣列采集的多路音頻信號(hào),并基于預(yù)先確定的樣本差異參數(shù)確定普通音頻信號(hào)與參考音頻信號(hào)之間的差異參數(shù),進(jìn)而基于差異參數(shù)對(duì)普通音頻信號(hào)進(jìn)行校正,得到與參考音頻信號(hào)匹配的校正音頻信號(hào),可以很大程度上消除各路麥克風(fēng)采集的音頻信號(hào)之間的差異,提高后續(xù)語音增強(qiáng)處理環(huán)節(jié)的性能。
圖6是本發(fā)明另一種音頻信號(hào)校正裝置實(shí)施例的結(jié)構(gòu)框圖;其中,信號(hào)獲取模塊510、參數(shù)確定模塊520以及信號(hào)校正模塊530與圖5所示實(shí)施例中的信號(hào)獲取模塊410、參數(shù)確定模塊420以及信號(hào)校正模塊430的功能相同,在此不進(jìn)行贅述。如圖6所示,在上述實(shí)施例的基礎(chǔ)上,該裝置還可以包括:
樣本信號(hào)獲取模塊540,用于獲取所述麥克風(fēng)陣列采集的樣本聲源的多路樣本音頻信號(hào);其中,所述多路樣本音頻信號(hào)包括所述參考麥克風(fēng)采集的參考樣本音頻信號(hào),以及所述普通麥克風(fēng)采集的普通樣本音頻信號(hào);
樣本差異確定模塊550,用于分別確定所述普通樣本音頻信號(hào)中各路樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù)。
在一可選的實(shí)施例中,樣本差異確定模塊550可以包括:
均方值計(jì)算單元551,用于計(jì)算所述參考樣本音頻信號(hào)的均方值;
相關(guān)函數(shù)確定單元552,用于根據(jù)所述參考樣本音頻信號(hào)的均方值分別確定所述參考樣本音頻信號(hào)與所述各路普通樣本音頻信號(hào)的互相關(guān)函數(shù);
插值函數(shù)確定單元553,用于根據(jù)所述互相關(guān)函數(shù)進(jìn)行插值運(yùn)算,得到插值互相關(guān)函數(shù);
差異參數(shù)確定單元554,用于根據(jù)所述參考樣本音頻信號(hào)的均方值、所述各路普通樣本音頻信號(hào)的均方值及所述插值互相關(guān)函數(shù)分別確定所述各路普通樣本音頻信號(hào)與所述參考樣本音頻信號(hào)的樣本差異參數(shù)。需要說明的是,對(duì)于裝置實(shí)施例而言,由于其基本對(duì)應(yīng)于方法實(shí)施例,所以相關(guān)之處參見方法實(shí)施例的部分說明即可,在此不進(jìn)行贅述。
本發(fā)明的信號(hào)處理裝置的實(shí)施例可以應(yīng)用在網(wǎng)絡(luò)設(shè)備上。裝置實(shí)施例可以通過軟件實(shí)現(xiàn),也可以通過硬件或者軟硬件結(jié)合的方式實(shí)現(xiàn)。以軟件實(shí)現(xiàn)為例,作為一個(gè)邏輯意義上的裝置,是通過其所在設(shè)備的處理器運(yùn)行存儲(chǔ)器中對(duì)應(yīng)的計(jì)算機(jī)程序指令形成的。從硬件層面而言,如圖7所示,為本發(fā)明的信號(hào)處理裝置所在設(shè)備的一種硬件結(jié)構(gòu)圖,除了圖7所示的處理器、網(wǎng)絡(luò)接口、內(nèi)存以及非易失性存儲(chǔ)器之外,實(shí)施例中裝置所在的設(shè)備通常還可以包括普通硬件,如負(fù)責(zé)處理報(bào)文的轉(zhuǎn)發(fā)芯片等等;從硬件結(jié)構(gòu)上來講該設(shè)備還可能是分布式的設(shè)備,可能包括多個(gè)接口卡,以便在硬件層面進(jìn)行報(bào)文處理的擴(kuò)展。
本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述存儲(chǔ)介質(zhì)用于對(duì)麥克風(fēng)陣列采集的音頻信號(hào)進(jìn)行處理,所述麥克風(fēng)陣列包括一個(gè)參考麥克風(fēng),以及一個(gè)或多個(gè)普通麥克風(fēng);所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序,其特征在于,該程序被處理器處理時(shí)實(shí)現(xiàn):
獲取所述麥克風(fēng)陣列采集的多路音頻信號(hào);其中,所述多路音頻信號(hào)包括所述參考麥克風(fēng)采集的參考音頻信號(hào),以及所述普通麥克風(fēng)采集的普通音頻信號(hào);
基于預(yù)先確定的樣本差異參數(shù),確定所述普通音頻信號(hào)與所述參考音頻信號(hào)之間的差異參數(shù);
基于所述差異參數(shù)對(duì)所述普通音頻信號(hào)進(jìn)行校正,得到與所述參考音頻信號(hào)匹配的校正音頻信號(hào)。
本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述,每個(gè)實(shí)施例重點(diǎn)說明的都是與普通實(shí)施例的不同之處,各個(gè)實(shí)施例之間相同相似的部分互相參見即可。對(duì)于裝置實(shí)施例而言,由于其與方法實(shí)施例基本相似,所以描述的比較簡(jiǎn)單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并不用以限制本發(fā)明,凡在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。