本發(fā)明實(shí)施例涉及語(yǔ)音信號(hào)處理技術(shù)領(lǐng)域,具體涉及一種語(yǔ)音信號(hào)降噪拾音處理方法和裝置及冰箱。
背景技術(shù):
本部分向讀者介紹可能與本發(fā)明的各個(gè)方面相關(guān)的背景技術(shù),相信能夠向讀者提供有用的背景信息,從而有助于讀者更好地理解本發(fā)明的各個(gè)方面。因此,可以理解,本部分的說(shuō)明是用于上述目的,而并非構(gòu)成對(duì)現(xiàn)有技術(shù)的承認(rèn)。
當(dāng)前集成電路、人工智能、互聯(lián)網(wǎng)技術(shù)的發(fā)展,傳統(tǒng)的白家電業(yè)出現(xiàn)了新的定位,冰箱不僅僅承載了保存食物的功能,也成為家庭網(wǎng)絡(luò)的一部分,可為家庭成員提供更多的智能化服務(wù)。在智能冰箱上,除了傳統(tǒng)控制功能之外,多出了許多人機(jī)交互功能,語(yǔ)音控制也變成了一種趨勢(shì)。智能冰箱的很多場(chǎng)景會(huì)用到麥克風(fēng)獲取語(yǔ)音,由于房間內(nèi)的回響很大,環(huán)境噪聲和信號(hào)是非穩(wěn)態(tài)的,獲取的語(yǔ)音信號(hào)質(zhì)量的不到保證。如圖1所示,冰箱放置的環(huán)境(廚房、客廳等)通常有較大的噪聲,除了目標(biāo)說(shuō)話人的聲音之外,還有環(huán)境噪聲(例如揚(yáng)聲器正在播報(bào)的聲音)干擾說(shuō)話人的語(yǔ)音。傳統(tǒng)的單麥克無(wú)論是錄音還是用作識(shí)別都起不到良好的效果。而基于單麥克的語(yǔ)音增強(qiáng)技術(shù),如維納濾波、卡爾曼濾波等,在抑制噪聲的情況下也會(huì)讓語(yǔ)音造成畸變,并無(wú)法解決上述問(wèn)題。
語(yǔ)音是寬帶信號(hào),傳統(tǒng)的拾音方法無(wú)法在整帶寬提升語(yǔ)音質(zhì)量。房間內(nèi)的回響很大,傳統(tǒng)的拾音方法沒(méi)有有效的回音消除技術(shù)。環(huán)境和信號(hào)是非穩(wěn)態(tài)的,傳統(tǒng)的拾音方法無(wú)法應(yīng)對(duì)變化的噪聲。噪音和語(yǔ)音有類似的頻譜特性,傳統(tǒng)的拾音方法在降低噪聲的同時(shí)會(huì)讓語(yǔ)音造成畸變。在對(duì)話場(chǎng)景下,干擾說(shuō)話人的語(yǔ)音可能會(huì)對(duì)人機(jī)交互造成影響。
技術(shù)實(shí)現(xiàn)要素:
要解決的技術(shù)問(wèn)題是如何消除房間內(nèi)環(huán)境噪音對(duì)語(yǔ)音控制信號(hào)的干擾。
針對(duì)現(xiàn)有技術(shù)中的缺陷,本發(fā)明實(shí)施例提供一種語(yǔ)音信號(hào)降噪拾音處理方法和裝置及冰箱,可以提高信噪比(SNR),另一方面可以進(jìn)行空間選擇,對(duì)所關(guān)注方向的語(yǔ)音進(jìn)行增強(qiáng),對(duì)其他方向的語(yǔ)音進(jìn)行抑制。
第一方面,本發(fā)明實(shí)施例提供了一種語(yǔ)音信號(hào)降噪拾音處理方法,包括:
麥克風(fēng)陣列采集當(dāng)前環(huán)境的多路語(yǔ)音信號(hào);
對(duì)采集到的多路語(yǔ)音信號(hào)執(zhí)行時(shí)間同步;
對(duì)同步的多路語(yǔ)音信號(hào)加權(quán)求和得到降噪后的語(yǔ)音信號(hào)。
可選地,所述對(duì)采集到的多路語(yǔ)音信號(hào)執(zhí)行時(shí)間同步包括:
根據(jù)每個(gè)麥克風(fēng)和參考點(diǎn)之間的到達(dá)時(shí)間差進(jìn)行時(shí)間移動(dòng),得到時(shí)間同步后的語(yǔ)音信號(hào),同步后的語(yǔ)音信號(hào)按下式計(jì)算:
Yα,n(k)=Y(jié)n[k+Fn(τ)]
=αn×s(k-τ)+Vα,n(k)
=Xα,n(k)+Vα,n(k)
其中,Yα,n(k)表示延時(shí)處理后的語(yǔ)音信號(hào),Yn(k)表示當(dāng)前麥克風(fēng)接收到的音頻信號(hào),F(xiàn)n(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差,Xn(k)當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào),Vn(k)表示當(dāng)前麥克風(fēng)接收到的噪聲信號(hào),αn是第n個(gè)麥克風(fēng)的衰減因子,s(k)是未知信號(hào)源的音頻信號(hào),k表示當(dāng)前時(shí)刻,n為常數(shù),n=1、2、…、N,τ是從未知信號(hào)源到當(dāng)前麥克風(fēng)的延時(shí)。
可選地,所示對(duì)同步的多路語(yǔ)音信號(hào)加權(quán)求和得到降噪后的語(yǔ)音信號(hào)按下式計(jì)算:
其中,ZDS(k)表示降噪拾音處理后輸出的語(yǔ)音信號(hào),Yα,n(k)表示時(shí)間同步后的音頻信號(hào),αn是第n個(gè)麥克風(fēng)的衰減因子,s(k)是未知信號(hào)源的音頻信號(hào),k表示當(dāng)前時(shí)刻,τ是從未知信號(hào)源到當(dāng)前麥克風(fēng)的時(shí)延,n為常數(shù),n=1、2、…、N,N表示麥克風(fēng)個(gè)數(shù),Vn(k)表示當(dāng)前麥克風(fēng)接收到的噪聲信號(hào)。
可選地,還包括:對(duì)采集的多路語(yǔ)音信號(hào)自適應(yīng)波束成型處理,包括:
對(duì)采集的多路語(yǔ)音信號(hào)自適應(yīng)濾波處理,所述自適應(yīng)濾波處理后的音頻信號(hào)按下式計(jì)算:
Zα,n(k)=αTYα,n(k)-ωTRYα,n(k)
其中,Zα,n(k)表示輸出的音頻信號(hào),αTYα,n(k)是語(yǔ)音輸出參考信號(hào),ωTRYα,n(k)是噪聲參考信號(hào),R是阻塞矩陣。
可選地,所述阻塞矩陣R按下式計(jì)算:
可選地,還包括對(duì)采集到的多路語(yǔ)音信號(hào)分子帶濾波處理:包括:
對(duì)采集到的多路語(yǔ)音信號(hào)分解成多個(gè)頻域的子帶信號(hào);
分別對(duì)分解的頻域子帶語(yǔ)音信號(hào)執(zhí)行濾波處理;
對(duì)所述濾波處理后的頻域子帶信號(hào)求和得到多路濾波處理后的頻域音頻信號(hào);
對(duì)所述多路濾波處理后的頻域音頻信號(hào)合成時(shí)域語(yǔ)音信號(hào)。
另一方面,本發(fā)明還提供一種語(yǔ)音信號(hào)降噪拾音處理裝置,包括:
語(yǔ)音信號(hào)采集單元,用于采集當(dāng)前環(huán)境的多路語(yǔ)音信號(hào);
同步單元:用于對(duì)采集到的多路語(yǔ)音信號(hào)執(zhí)行時(shí)間同步;
降噪單元:用于對(duì)同步的多路語(yǔ)音信號(hào)加權(quán)求和得到降噪后的語(yǔ)音信號(hào)。
可選地,還包括自適應(yīng)波束濾波單元,用于對(duì)采集的多路語(yǔ)音信號(hào)自適應(yīng)濾波處理,利用到噪聲參考信號(hào),通過(guò)迭代算法更新權(quán)重抑制噪聲。
可選地,還包括分子帶濾波處理單元,包括:
信號(hào)分解單元,用于對(duì)采集到的多路語(yǔ)音信號(hào)分解成多個(gè)頻域的子帶信號(hào);
濾波單元,分別對(duì)分解的頻域子帶語(yǔ)音信號(hào)執(zhí)行濾波處理;
信號(hào)合成單元,用于對(duì)所述濾波處理后的頻域子帶信號(hào)求和得到多路濾波處理后的頻域音頻信號(hào);
信號(hào)轉(zhuǎn)換單元,用于對(duì)所述多路濾波處理后的頻域音頻信號(hào)合成時(shí)域語(yǔ)音信號(hào)。
再一方面,本發(fā)明還提供一種冰箱,包括上述的語(yǔ)音信號(hào)降噪拾音處理裝置。
由上述技術(shù)方案可知,本發(fā)明實(shí)施例提供的語(yǔ)音信號(hào)降噪拾音處理方法和裝置及冰箱,通過(guò)自帶濾波方式再整帶寬提升語(yǔ)音質(zhì)量,通過(guò)權(quán)重相加的方式不會(huì)改變語(yǔ)音特性,可以有效消除回音,在提高信噪比的同時(shí)利用方向選擇特性對(duì)感興趣區(qū)域進(jìn)行增強(qiáng)。
附圖說(shuō)明
為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單的介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為現(xiàn)有技術(shù)中設(shè)備噪聲干擾環(huán)境示意圖;
圖2是本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪拾音處理方法流程示意圖;
圖3是本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪拾音處理方法流程示意圖;
圖4為本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪拾音處理方法流程示意圖;
圖5為本發(fā)明一個(gè)實(shí)施例中麥克風(fēng)陣列示意圖;
圖6為本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪效果示意圖;
圖7為本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪效果示意圖;
圖8為本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪拾音處理方法流程示意圖;
圖9為本發(fā)明一個(gè)實(shí)施例中語(yǔ)音信號(hào)降噪拾音處理方法流程示意圖;
圖10為本發(fā)明一個(gè)實(shí)施示中語(yǔ)音信號(hào)降噪拾音處裝置結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
如圖2所示,本發(fā)明實(shí)施例提供一種語(yǔ)音信號(hào)降噪拾音處理方法,包括:麥克風(fēng)陣列采集當(dāng)前環(huán)境的多路語(yǔ)音信號(hào);對(duì)采集到的多路語(yǔ)音信號(hào)執(zhí)行時(shí)間同步;對(duì)同步的多路語(yǔ)音信號(hào)根據(jù)語(yǔ)音信號(hào)加權(quán)放大并求和得到降噪后的語(yǔ)音信號(hào)。下面對(duì)本發(fā)明和提供的語(yǔ)音信號(hào)降噪拾音處理方法展開詳細(xì)的說(shuō)明。
如圖2、圖3所示,在麥克風(fēng)陣列中每個(gè)麥克風(fēng)接收到的音頻信號(hào)記為Y(k),而該音頻信號(hào)Y(k)既包括語(yǔ)音信號(hào)X(k)也包括噪聲信號(hào)V(k),麥克風(fēng)陣列接收到的音頻信號(hào)如式(1)所示:
Y(k)=X(k)+V(k) (1)
其中,k表示當(dāng)前時(shí)刻,Y(k)表示當(dāng)前時(shí)刻k麥克風(fēng)接收到的音頻信號(hào),X(k)當(dāng)前時(shí)刻k麥克風(fēng)接收到的語(yǔ)音信號(hào),V(k)表示當(dāng)前時(shí)刻k麥克風(fēng)接收到的噪聲信號(hào)。
具體地,如圖3所示,由于麥克風(fēng)陣列中不同位置的麥克風(fēng)與發(fā)出指令的目標(biāo)位置之間的距離不同導(dǎo)致不同位置的麥克風(fēng)接收到的音頻信號(hào)的強(qiáng)度不同,語(yǔ)音信號(hào)X(k)和噪聲信號(hào)V(k)均不同,因此需要將每個(gè)麥克風(fēng)接收到語(yǔ)音信號(hào)執(zhí)行時(shí)間同步。
麥克風(fēng)陣列中每個(gè)麥克風(fēng)接收到的語(yǔ)音信號(hào)如式(2)所示。
Yn(k)=Xn(k)+Vn(k) (2)
其中,k表示當(dāng)前時(shí)刻,Yn(k)表示當(dāng)前時(shí)刻k麥克風(fēng)陣列中的當(dāng)前麥克風(fēng)接收到的音頻信號(hào),Xn(k)表示當(dāng)前時(shí)刻k麥克風(fēng)陣列中的當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào),Vn(k)表示當(dāng)前時(shí)刻k表示麥克風(fēng)陣列中的當(dāng)前麥克風(fēng)接收到的噪聲信號(hào),n為常數(shù),n=1、2、…、N,N表示麥克風(fēng)個(gè)數(shù)。
如圖3、圖4所示,對(duì)采集到的多路語(yǔ)音信號(hào)執(zhí)行時(shí)間同步包括計(jì)算每個(gè)麥克風(fēng)接收到語(yǔ)音信號(hào)的時(shí)延和根據(jù)每個(gè)麥克風(fēng)接收到語(yǔ)音信號(hào)對(duì)每個(gè)麥克風(fēng)接收到的語(yǔ)音信號(hào)執(zhí)行時(shí)間同步。
具體地,同步過(guò)程是延時(shí)(或者提前)每個(gè)麥克風(fēng)的輸出,讓感興趣區(qū)域的信號(hào)同步。每個(gè)麥克風(fēng)接收到的語(yǔ)音信號(hào)的到達(dá)時(shí)間差(TDOA)是無(wú)法預(yù)知的,需要通過(guò)陣列的時(shí)間延時(shí)估計(jì)來(lái)得到。
每個(gè)麥克風(fēng)的時(shí)延可以通過(guò)現(xiàn)有的方法得到。對(duì)每個(gè)麥克風(fēng)接收到語(yǔ)音信號(hào)的時(shí)延估計(jì)方法有很多種。具體例如,通過(guò)各個(gè)信號(hào)之間的相關(guān)性,找到相關(guān)峰的位置。從統(tǒng)計(jì)意義上說(shuō),相關(guān)值最大的地方是信號(hào)間同步的地方,基于這個(gè)思路可以得到信號(hào)間的時(shí)間差。但由于房間中有混響存在,且語(yǔ)音信號(hào)是寬帶信號(hào),通過(guò)相關(guān)值估計(jì)誤差較大。例如,對(duì)每個(gè)麥克風(fēng)接收到語(yǔ)音信號(hào)的時(shí)延估計(jì)方法還可以采用表現(xiàn)較好的有寬帶空間譜估計(jì)算法(MUSIC)得到。通過(guò)上述方法可以得到每個(gè)麥克風(fēng)接收到的語(yǔ)音信號(hào)的時(shí)延τ。
根據(jù)每個(gè)麥克風(fēng)接收到語(yǔ)音信號(hào)對(duì)每個(gè)麥克風(fēng)接收到的語(yǔ)音信號(hào)執(zhí)行時(shí)間同步。由于不同位置的麥克風(fēng)離指令發(fā)出的目標(biāo)位置的距離不同導(dǎo)致同一音頻信號(hào)到達(dá)不同位置的麥克風(fēng)的時(shí)間不同。使不同麥克風(fēng)接收到的音頻信號(hào)存在不同延時(shí),麥克風(fēng)實(shí)際接收到的音頻信號(hào)是按式(3)計(jì)算的:
其中,k表示當(dāng)前時(shí)刻,Yn(k)表示當(dāng)前時(shí)刻k麥克風(fēng)陣列中的當(dāng)前麥克風(fēng)接收到的音頻信號(hào),Xn(k)表示當(dāng)前時(shí)刻k麥克風(fēng)陣列中的當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào),Vn(k)表示當(dāng)前時(shí)刻k表示麥克風(fēng)陣列中的當(dāng)前麥克風(fēng)接收到的噪聲信號(hào),n為常數(shù),n=1、2、…、N,N表示麥克風(fēng)個(gè)數(shù);αn是第n個(gè)麥克風(fēng)在時(shí)域的衰減因子;αn取值在0-1之間,s(k)表示未知信號(hào)源的音頻信號(hào),τ是從未知信號(hào)源到當(dāng)前麥克風(fēng)的時(shí)延,F(xiàn)n(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差。
根據(jù)式(3)可知,麥克風(fēng)實(shí)際接收到的語(yǔ)音信號(hào)是按式(4)計(jì)算的:
Xa,n(k)=Xn(k+Fn(τ)) (4)
其中,k表示當(dāng)前時(shí)刻,Xa,n(k)麥克風(fēng)實(shí)際接收到的語(yǔ)音信號(hào),Xn(k)當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào),Fn(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差。
根據(jù)式(3)可知,麥克風(fēng)實(shí)際接收到的噪音信號(hào)是按式(5)計(jì)算的:
Va,n(k)=Vn(k+Fn(τ)) (5)
其中,k表示當(dāng)前時(shí)刻,Va,n(k)麥克風(fēng)實(shí)際接收到的噪音信號(hào),Vn(k)當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào),Fn(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差。
根據(jù)每個(gè)麥克風(fēng)和參考點(diǎn)之間的到達(dá)時(shí)間差進(jìn)行時(shí)間移動(dòng),得到時(shí)間同步后的語(yǔ)音信號(hào),同步后的語(yǔ)音信號(hào)按式(6)計(jì)算:
其中,k表示當(dāng)前時(shí)刻,Yα,n(k)表示延時(shí)處理后的語(yǔ)音信號(hào),Yn(k)表示當(dāng)前麥克風(fēng)接收到的音頻信號(hào),F(xiàn)n(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差,Xn(k)當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào),Vn(k)表示當(dāng)前麥克風(fēng)接收到的噪聲信號(hào),αn是第n個(gè)麥克風(fēng)的在時(shí)域的衰減因子,s(k)是未知信號(hào)源的音頻信號(hào),k表示當(dāng)前時(shí)刻,n為常數(shù),n=1、2、…、N,N表示麥克風(fēng)個(gè)數(shù)τ是從未知信號(hào)源到當(dāng)前麥克風(fēng)的延時(shí)。
如圖3、圖4所示,對(duì)時(shí)間同步后的多路語(yǔ)音信號(hào)根據(jù)語(yǔ)音信號(hào)加權(quán)放大并求和得到降噪后的語(yǔ)音信號(hào)。將變換過(guò)的音頻信號(hào)增加相應(yīng)的權(quán)重值并相加,得到了得到降噪后的語(yǔ)音信號(hào)Z。降噪后的語(yǔ)音信號(hào)Z是變換后的各個(gè)信號(hào)乘以權(quán)重,求和。
這里假設(shè)當(dāng)前麥克風(fēng)陣列中各個(gè)麥克風(fēng)的權(quán)重相同,N組麥克風(fēng),每個(gè)麥克風(fēng)接收到的信號(hào)的權(quán)重為1/N。對(duì)每個(gè)變換后的結(jié)果Yα,n(k)求和。每個(gè)麥克風(fēng)的權(quán)重值可以根據(jù)實(shí)際需要設(shè)定。下面以各個(gè)麥克風(fēng)接收信號(hào)權(quán)重相同的情況,降噪拾音處理后輸出的語(yǔ)音信號(hào)按式(7)計(jì)算:
其中,ZDS(k)表示降噪拾音處理后輸出的語(yǔ)音信號(hào),Yα,n(k)表示時(shí)間同步后的音頻信號(hào),αn是第n個(gè)麥克風(fēng)在時(shí)域的衰減因子,s(k)是未知信號(hào)源的音頻信號(hào),k表示當(dāng)前時(shí)刻,τ是從未知信號(hào)源到當(dāng)前麥克風(fēng)的時(shí)延,n為常數(shù),n=1、2、…、N,N表示麥克風(fēng)個(gè)數(shù),Vn(k)表示當(dāng)前麥克風(fēng)接收到的噪聲信號(hào)。
整個(gè)麥克風(fēng)陣列接收到的噪聲為各個(gè)麥克風(fēng)接收的噪聲信號(hào)之和。麥克風(fēng)陣列當(dāng)前時(shí)刻接收到的噪聲如式(8)所示:
整個(gè)麥克風(fēng)陣列接收到的語(yǔ)音信號(hào)為各個(gè)麥克風(fēng)接收的語(yǔ)音信號(hào)之和。麥克風(fēng)陣列當(dāng)前時(shí)刻接收到的語(yǔ)音信號(hào)如式(9)所示:
如圖5所示,信號(hào)的性噪比(SNR,SIGNAL-NOISE RATIO)是衡量語(yǔ)音信號(hào)降噪能的一個(gè)重要指標(biāo),對(duì)于麥克風(fēng)接收到的噪比按式(10)計(jì)算:
其中,SNR表示噪聲信號(hào)和語(yǔ)音信號(hào)的能量比,表示麥克風(fēng)收到語(yǔ)音信號(hào)的能量,表示麥克風(fēng)收到的噪聲信號(hào)的能量;表示麥克風(fēng)收到的音頻信號(hào)的能量,Xn(k)當(dāng)前麥克風(fēng)接收到的語(yǔ)音信號(hào);X代表語(yǔ)音信號(hào),V代表噪聲信號(hào),s代表了未知信號(hào)源的音頻信號(hào)。通過(guò)式(10)表示變換后第一個(gè)傳感器的SNR是原始SNR的倍。
假定噪聲能量相同,所有的衰減因子=1,噪聲不相關(guān),所有噪聲信號(hào)的相關(guān)系數(shù)=1,噪聲信號(hào)有類似的方差,可以推導(dǎo)出oSNR=N×SNR。通過(guò)上述可以得到在降噪處理后噪聲信號(hào)和語(yǔ)音信號(hào)的能量比有明顯的提升。
權(quán)重相加的波束形成性能另一個(gè)表達(dá)方式是空間選擇性,通過(guò)傅立葉變化,可以得到對(duì)麥克風(fēng)接收到的音頻信號(hào)進(jìn)行濾波處理的濾波系數(shù)如式(11)所示:
其中,q表示第n個(gè)麥克風(fēng)在頻域的濾波系數(shù),f表示聲波的頻率,j表示虛部。Fn(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差。n為常數(shù),n=1、2、…、N,N表示麥克風(fēng)個(gè)數(shù)。
如圖5所示,對(duì)于均勻間隔d的麥克風(fēng)陣列,第n個(gè)麥克風(fēng)(Yn)相對(duì)于參考的麥克風(fēng)(Y1)的時(shí)間差可以按式(12)計(jì)算:
Fn(τ)=(n-1)τ=d×cos(θ)/c (12)
其中,F(xiàn)n(τ)是第一麥克風(fēng)和第n麥克風(fēng)之間音頻信號(hào)到達(dá)時(shí)間差,τ是從未知信號(hào)源到當(dāng)前麥克風(fēng)的時(shí)延,n為常數(shù),n=1、2、…、N,N表示當(dāng)前麥克風(fēng)陣列中麥克風(fēng)的個(gè)數(shù),d表示麥克風(fēng)之間的間距,θ是波束方向和麥克風(fēng)連線方向的夾角,c表示聲音在空氣中傳播的速度。
通過(guò)傅立葉變換,得到方向性的頻率響應(yīng)如式(13)所示:
其中,表示方向性的頻率響應(yīng),n為常數(shù),n=1、2、…、N,N表示當(dāng)前麥克風(fēng)陣列中麥克風(fēng)的個(gè)數(shù),d表示麥克風(fēng)之間的間距,θ是波束方向和麥克風(fēng)連線方向的夾角,c表示聲音在空氣中傳播的速度。ψ表示需要增強(qiáng)方向和麥克風(fēng)連線方向的夾角。
對(duì)麥克風(fēng)整列中沒(méi)個(gè)麥克風(fēng)的放大系數(shù)是按式(14)計(jì)算的:
其中
其中,A表示對(duì)不同方向上的語(yǔ)音信號(hào)放大系數(shù),方向性的頻率響應(yīng),n為常數(shù),n=1、2、…、N,N表示當(dāng)前麥克風(fēng)陣列中麥克風(fēng)的個(gè)數(shù),d表示兩個(gè)麥克風(fēng)之間的間距,θ是波束方向和麥克風(fēng)連線方向的夾角,c表示聲音在空氣中傳播的速度。ψ表示需要增強(qiáng)方向和麥克風(fēng)連線方向的夾角。
如圖6示出了在麥克風(fēng)數(shù)為8的麥克風(fēng)陣列對(duì)不同角度語(yǔ)音信號(hào)的放大系數(shù)示意圖。如圖6所示,對(duì)于不同角度傳輸?shù)男盘?hào)濾波器的增益不同,可以針對(duì)特定的角度進(jìn)行增強(qiáng),具有空間選擇性??梢赃_(dá)到選擇特定方向聲音的效果。如圖6、圖7所示,垂直于當(dāng)前麥克風(fēng)所在連線上的語(yǔ)音信號(hào)有明顯的增強(qiáng)。在其它方向上的音頻信號(hào)增強(qiáng)不明顯??梢悦黠@看出可以通過(guò)簡(jiǎn)單的權(quán)重相加的已經(jīng)可以有較好的噪聲抑制效果,以及具有方向選擇性。但是也可以看出,信噪比的提升和麥克風(fēng)個(gè)數(shù)成正比,因此提升的效果有限,可以進(jìn)一步進(jìn)行優(yōu)化。
在執(zhí)行上述方法抑制噪聲的同時(shí)還可以對(duì)接收的多路音頻信號(hào)執(zhí)行自適應(yīng)抵消處理形成自適應(yīng)波束,可以達(dá)到抑制波束形成器形成的噪聲殘留。同時(shí)在自適應(yīng)波束形成的基礎(chǔ)上也可以進(jìn)一步增加后置濾波器,通過(guò)調(diào)節(jié)濾波器系數(shù),增強(qiáng)輸出語(yǔ)音。具體地,如圖8所示,通過(guò)阻塞矩陣進(jìn)行噪聲估計(jì),以達(dá)到更好的噪聲抑制效果,具體實(shí)現(xiàn)是估計(jì)R的參數(shù)。
將式(7)換一種更通用寫法,如式(15)所示:
Z(k)=αTYα,n(k) (15)
其中,αT表示α的轉(zhuǎn)置,α是麥克風(fēng)在時(shí)域的衰減因子,αT=[α1,α2,…αn],可以通過(guò)α的不同取值,讓得到不同的輸出。
如果公式(15)中示出的濾波系數(shù)都相同,則α1至αn都取1/N就得到式(7)。
接收的多路音頻信號(hào)執(zhí)行自適應(yīng)抵消處理形成自適應(yīng)波束的原理是利用到噪聲參考信號(hào),通過(guò)迭代算法更新權(quán)重ω,抑制噪聲。執(zhí)行自適應(yīng)抵消處理輸出的音頻信號(hào)如式(16)所示。
Zα,n(k)=αTYα,n(k)-ωTRYα,n(k) (16)
其中,Zα,n(k)表示自適應(yīng)抵消處理輸出的音頻信號(hào),αTYα,n(k)是降噪拾音處理后輸出的語(yǔ)音信號(hào),ωTRYα,n(k)是噪聲參考信號(hào)。αT表示α的轉(zhuǎn)置,α是麥克風(fēng)在時(shí)域的衰減因子,R是n×n的阻塞矩陣。阻塞矩陣如式(17)所示計(jì)算:
采用統(tǒng)計(jì)學(xué)的方法可以通過(guò)殘差信號(hào),根據(jù)誤差最小的方法求解ω。其中該方法可以包括最大SNR,最小化均方誤差(MSE),LCMV(線性約束最小方差)等,可以根據(jù)實(shí)際的情況選用。例如定義不同目標(biāo)函數(shù),根據(jù)目標(biāo)函數(shù)最大化,求解權(quán)重ω,求解過(guò)程可以用迭代法,如圖8所示,采用不同的濾波器得到不同的算法,即不同通道的幅度加權(quán)值是根據(jù)特定的最優(yōu)準(zhǔn)則進(jìn)行調(diào)整和優(yōu)化。
雖然上述方法可以提升的降噪效果,但降噪效果或有限。對(duì)于寬帶信號(hào),并不能生成同樣的波束序列。為解決該問(wèn)題,可以通過(guò)將信號(hào)分解成若干個(gè)子帶信號(hào),分別進(jìn)行濾波的方式實(shí)現(xiàn)寬帶信號(hào)的處理,在整個(gè)帶寬下達(dá)到類似的效果。如圖9所示,具體的方法包括:對(duì)采集到的多路語(yǔ)音信號(hào)分子帶濾波處理:包括:對(duì)采集到的多路語(yǔ)音信號(hào)分解成多個(gè)頻域的子帶信號(hào);分別對(duì)分解的頻域子帶語(yǔ)音信號(hào)執(zhí)行濾波處理;對(duì)所述濾波處理后的頻域子帶信號(hào)求和得到多路濾波處理后的頻域音頻信號(hào);對(duì)所述多路濾波處理后的頻域音頻信號(hào)合成時(shí)域語(yǔ)音信號(hào)。
具體的方法是對(duì)寬帶語(yǔ)音信號(hào)分成不同頻段的多個(gè)子帶,對(duì)劃分后的不同頻段的語(yǔ)音信號(hào)分別濾波處理,并對(duì)濾波后的多路語(yǔ)音信號(hào)求和,對(duì)多路語(yǔ)音信號(hào)合并成一路語(yǔ)音信號(hào),將頻域域的恢復(fù)成時(shí)域信號(hào)。對(duì)寬帶語(yǔ)音信號(hào)分成不同頻段,優(yōu)選可以進(jìn)行離散傅里葉變換DFT,將寬帶語(yǔ)音信號(hào)分成不同頻段的多個(gè)子帶并將不同頻段的語(yǔ)音信號(hào)由時(shí)域信號(hào)變換為頻域信號(hào)。對(duì)多路語(yǔ)音信號(hào)合并成一路語(yǔ)音信號(hào)優(yōu)選進(jìn)行傅里葉逆變換IDFT(InverseDiscreteFourierTransform),將濾波后的不同頻段的多個(gè)子帶合并成一路語(yǔ)音信號(hào)。
具體地,如圖9所示,在時(shí)刻k,n個(gè)麥克風(fēng)分的語(yǔ)音信號(hào)通過(guò)M點(diǎn)離散傅里葉變換DFT分解成若干子帶信號(hào)(例如:Y1(ω,M)、Y2(ω,M)、……、Yn(ω,M)),每個(gè)DFT得到M個(gè)輸出,稱為M個(gè)子帶。每個(gè)麥克風(fēng)的輸出的子帶信號(hào)分別經(jīng)過(guò)頻域?yàn)V波器H(例如:H1(ω,M)、H2(ω,M)、……、Hn(ω,M))進(jìn)行濾波,結(jié)果還是得到n個(gè)M維矢量Zn(ω,M)(例如:Z1(ω,M)、Z2(ω,M)、……、Zn(ω,M)),其中對(duì)Z做IDFT,得到時(shí)域輸出Z(k);其中,
為了進(jìn)一步證明提供的語(yǔ)音信號(hào)降噪拾音處理方法的優(yōu)越性,,本發(fā)明還提供一種應(yīng)用上述方法的語(yǔ)音信號(hào)降噪拾音處理裝置,如圖10所示,該裝置包括:語(yǔ)音信號(hào)采集單元,用于采集當(dāng)前環(huán)境的多路語(yǔ)音信號(hào);同步單元:用于對(duì)采集到的多路語(yǔ)音信號(hào)執(zhí)行時(shí)間同步;降噪單元:用于對(duì)同步的多路語(yǔ)音信號(hào)加權(quán)求和得到降噪后的語(yǔ)音信號(hào)。下面對(duì)本發(fā)明實(shí)施例和提供的可信訪問(wèn)認(rèn)證用戶終端展開詳細(xì)的說(shuō)明。本發(fā)明實(shí)施例提供的語(yǔ)音信號(hào)降噪拾音處理裝置的工作原理和過(guò)程與上述的語(yǔ)音信號(hào)降噪拾音處理方法類似,可以參照上述的可信訪問(wèn)認(rèn)證處理方法,再此不再一一贅述了。
語(yǔ)音信號(hào)降噪拾音處理裝置還包括自適應(yīng)波束濾波單元,用于對(duì)采集的多路語(yǔ)音信號(hào)自適應(yīng)濾波處理,利用到噪聲參考信號(hào),通過(guò)迭代算法更新權(quán)重抑制噪聲。
語(yǔ)音信號(hào)降噪拾音處理裝置,還包括分子帶濾波處理單元,包括:
信號(hào)分解單元,用于對(duì)采集到的多路語(yǔ)音信號(hào)分解成多個(gè)頻域的子帶信號(hào);濾波單元,分別對(duì)分解的頻域子帶語(yǔ)音信號(hào)執(zhí)行濾波處理;信號(hào)合成單元,用于對(duì)所述濾波處理后的頻域子帶信號(hào)求和得到多路濾波處理后的頻域音頻信號(hào);信號(hào)轉(zhuǎn)換單元,用于對(duì)所述多路濾波處理后的頻域音頻信號(hào)合成時(shí)域語(yǔ)音信號(hào)。
為了進(jìn)一步證明提供的語(yǔ)音信號(hào)降噪拾音處理裝置的優(yōu)越性,,本發(fā)明還提供一種應(yīng)用上述裝置的冰箱,該冰箱包括上述的語(yǔ)音信號(hào)降噪拾音處理裝置。
綜上所述,本發(fā)明實(shí)施例提供的語(yǔ)音信號(hào)降噪拾音處理方法和裝置及冰箱,通過(guò)自帶濾波方式再整帶寬提升語(yǔ)音質(zhì)量,通過(guò)權(quán)重相加的方式不會(huì)改變語(yǔ)音特性,可以有效消除回音,在提高信噪比的同時(shí)利用方向選擇特性對(duì)感興趣區(qū)域進(jìn)行增強(qiáng)。
本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白,本申請(qǐng)的實(shí)施例可提供為方法、系統(tǒng)、或計(jì)算機(jī)程序產(chǎn)品。因此,本申請(qǐng)可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且,本申請(qǐng)可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲(chǔ)介質(zhì)(包括但不限于磁盤存儲(chǔ)器、CD-ROM、光學(xué)存儲(chǔ)器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。
本申請(qǐng)是參照根據(jù)本申請(qǐng)實(shí)施例的方法、設(shè)備(系統(tǒng))、和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來(lái)描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合??商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個(gè)機(jī)器,使得通過(guò)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的裝置。
這些計(jì)算機(jī)程序指令也可存儲(chǔ)在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲(chǔ)器中,使得存儲(chǔ)在該計(jì)算機(jī)可讀存儲(chǔ)器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能。
這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上,使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理,從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個(gè)流程或多個(gè)流程和/或方框圖一個(gè)方框或多個(gè)方框中指定的功能的步驟。
需要說(shuō)明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語(yǔ)僅僅用來(lái)將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來(lái),而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語(yǔ)“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過(guò)程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒(méi)有明確列出的其他要素,或者是還包括為這種過(guò)程、方法、物品或者設(shè)備所固有的要素。在沒(méi)有更多限制的情況下,由語(yǔ)句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過(guò)程、方法、物品或者設(shè)備中還存在另外的相同要素。術(shù)語(yǔ)“上”、“下”等指示的方位或位置關(guān)系為基于附圖所示的方位或位置關(guān)系,僅是為了便于描述本發(fā)明和簡(jiǎn)化描述,而不是指示或暗示所指的裝置或元件必須具有特定的方位、以特定的方位構(gòu)造和操作,因此不能理解為對(duì)本發(fā)明的限制。除非另有明確的規(guī)定和限定,術(shù)語(yǔ)“安裝”、“相連”、“連接”應(yīng)做廣義理解,例如,可以是固定連接,也可以是可拆卸連接,或一體地連接;可以是機(jī)械連接,也可以是電連接;可以是直接相連,也可以通過(guò)中間媒介間接相連,可以是兩個(gè)元件內(nèi)部的連通。對(duì)于本領(lǐng)域的普通技術(shù)人員而言,可以根據(jù)具體情況理解上述術(shù)語(yǔ)在本發(fā)明中的具體含義。
本發(fā)明的說(shuō)明書中,說(shuō)明了大量具體細(xì)節(jié)。然而能夠理解的是,本發(fā)明的實(shí)施例可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在一些實(shí)例中,并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù),以便不模糊對(duì)本說(shuō)明書的理解。類似地,應(yīng)當(dāng)理解,為了精簡(jiǎn)本發(fā)明公開并幫助理解各個(gè)發(fā)明方面中的一個(gè)或多個(gè),在上面對(duì)本發(fā)明的示例性實(shí)施例的描述中,本發(fā)明的各個(gè)特征有時(shí)被一起分組到單個(gè)實(shí)施例、圖、或者對(duì)其的描述中。然而,并不應(yīng)將該公開的方法解釋呈反映如下意圖:即所要求保護(hù)的本發(fā)明要求比在每個(gè)權(quán)利要求中所明確記載的特征更多的特征。更確切地說(shuō),如權(quán)利要求書所反映的那樣,發(fā)明方面在于少于前面公開的單個(gè)實(shí)施例的所有特征。因此,遵循具體實(shí)施方式的權(quán)利要求書由此明確地并入該具體實(shí)施方式,其中每個(gè)權(quán)利要求本身都作為本發(fā)明的單獨(dú)實(shí)施例。需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。本發(fā)明并不局限于任何單一的方面,也不局限于任何單一的實(shí)施例,也不局限于這些方面和/或?qū)嵤├娜我饨M合和/或置換。而且,可以單獨(dú)使用本發(fā)明的每個(gè)方面和/或?qū)嵤├蛘吲c一個(gè)或更多其他方面和/或其實(shí)施例結(jié)合使用。
最后應(yīng)說(shuō)明的是:以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換;而這些修改或者替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍,其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說(shuō)明書的范圍當(dāng)中。