專利名稱：回響去除裝置、回響去除方法、回響去除程序、以及記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從所觀測(cè)的觀測(cè)信號(hào)去除回響信號(hào)的回響去除裝置、回響去除方法、 回響去除程序、以及記錄介質(zhì)。
背景技術(shù)：
在以下說明中，將從聲源發(fā)出的信號(hào)設(shè)為音頻(audio)信號(hào)，有回響的房間發(fā)出 音頻信號(hào)，并通過多個(gè)接收部件(例如麥克風(fēng))接收而得到的信號(hào)設(shè)為觀測(cè)信號(hào)。觀測(cè)信 號(hào)是對(duì)音頻信號(hào)疊加了回響信號(hào)的信號(hào)。因此，從觀測(cè)信號(hào)提取原來的音頻信號(hào)的性質(zhì)變 得困難，且聲音的清晰度也降低。相對(duì)于此，回響去除處理從觀測(cè)信號(hào)除去所疊加的回響信 號(hào)，從而容易提取音頻信號(hào)原來的性質(zhì)，并能夠恢復(fù)聲音的清晰度。這是有關(guān)通過作為其他 各種音頻信號(hào)處理系統(tǒng)的要素技術(shù)來使用，從而提高該系統(tǒng)整體的性能的技術(shù)。將回響去 除處理作為要素技術(shù)能夠有助于提高性能的音頻信號(hào)處理系統(tǒng)例如有以下系統(tǒng)。(1)將回響信號(hào)去除作為前處理來使用的聲音識(shí)別系統(tǒng)(2)通過回響信號(hào)去除提高聲音的清晰度的電視會(huì)議系統(tǒng)等通信系統(tǒng)(3)通過去除在講演的錄音中所包含的回響信號(hào)，從而提高錄音的聲音的清晰度 的再現(xiàn)系統(tǒng)(4)通過去除回響信號(hào)，從而提高聽取容易度的助聽器(5)響應(yīng)于人發(fā)出的聲音，從而對(duì)機(jī)器傳遞命令的機(jī)器控制接口、以及機(jī)械和人之 間的對(duì)話裝置(6)接收音頻內(nèi)容時(shí)包括回響信號(hào)，改善所接收的音頻信號(hào)的音質(zhì)的后期制作 (postproduction)系統(tǒng)(7)去除或附加音樂內(nèi)容的回響信號(hào)，從而進(jìn)行音樂內(nèi)容的音頻控制的音頻效果 器(effecter)0

圖1表示以往的回響去除裝置100的功能結(jié)構(gòu)例(以下，稱為“現(xiàn)有技術(shù)1”)?；?響去除裝置100包括估計(jì)單元104、去除單元106、聲源模型存儲(chǔ)單元108。在聲源模型存儲(chǔ) 單元108，通過有限狀態(tài)機(jī)使不包括回響信號(hào)的音頻信號(hào)的短時(shí)間區(qū)間的波形模型化，并存 儲(chǔ)通過信號(hào)的自相關(guān)函數(shù)表現(xiàn)各狀態(tài)的波形的特征的聲源模型。此外，基于在時(shí)域?qū)τ^測(cè) 信號(hào)應(yīng)用了回響去除濾波器的運(yùn)算和上述聲源模型，定義表現(xiàn)了從觀測(cè)信號(hào)去除回響的信 號(hào)(理想的目標(biāo)信號(hào))的似然性(likelihood)的最佳化函數(shù)。該最佳化函數(shù)涉及為將回 響去除濾波器系數(shù)和聲源模型的狀態(tài)時(shí)系列作為參數(shù)，通過提供更加合適的濾波器系數(shù)和 狀態(tài)時(shí)系列，取得更大的值的函數(shù)。以下的說明中，將輸入的時(shí)域的觀測(cè)信號(hào)設(shè)為xt(1)、…、X，)、…、Xt(Q)。其中，X 的右下方的下標(biāo)“t”表示離散時(shí)刻的指示符，右上的q(q= 1、…、Q)表示接收部件(例如 “麥克風(fēng)”)的指示符。以下，將指示符為q的麥克風(fēng)表示為第q信道的麥克風(fēng)。這在下面 也相同。
若輸入觀測(cè)信號(hào)xtW，則估計(jì)單元104使用該觀測(cè)信號(hào)XtW和上述最佳化函數(shù)，估 計(jì)回響去除濾波器。具體地說，估計(jì)單元104通過求出使上述最佳化函數(shù)的值最大的參數(shù)， 從而估計(jì)回響去除濾波器。去除單元106通過對(duì)估計(jì)的回響去除濾波器卷積觀測(cè)信號(hào)，從 而輸出從觀測(cè)信號(hào)去除了回響信號(hào)的信號(hào)。該信號(hào)被稱為目標(biāo)信號(hào)。
圖2表示以往的回響去除裝置200的功能結(jié)構(gòu)例(以下，稱為“現(xiàn)有技術(shù)2”)。回 響去除裝置200包括用于將觀測(cè)信號(hào)分割為U個(gè)頻帶的分割單元202、每個(gè)該頻帶的存儲(chǔ)單 元204u(u = 0、…、U-1)、每個(gè)該頻帶的去除單元206u、合并單元208。分割單元202通過對(duì)觀測(cè)信號(hào)進(jìn)行子帶分割，從而求出對(duì)U個(gè)頻帶的每一個(gè)分割 的子帶信號(hào)。該被分割的子帶信號(hào)是時(shí)域的信號(hào)。此外，在子帶分割時(shí)，有時(shí)進(jìn)行下采樣 (downsample)(模型的間隔剔除)。在以下的說明中，將子帶信號(hào)設(shè)為x’ n, uw。其中，將η 設(shè)為下采樣后的采樣的指示符，將u設(shè)為頻帶的指示符(u = 0、…、U-1)。以下，說明通過 第q信道的麥克風(fēng)接收的觀測(cè)信號(hào)XtW的第u個(gè)頻帶的子帶信號(hào)X’ n,u(q)。如上所述，在U個(gè)頻帶的每一個(gè)，設(shè)置去除單元206u (u = 0、…、U-1)、存儲(chǔ)單元 204u。在存儲(chǔ)單元20釔存儲(chǔ)回響去除濾波器?；仨懭コ秊V波器基于最小二乘法，預(yù)先決定 回響去除濾波器的系數(shù)，使得利用從預(yù)先測(cè)定的聲源至各麥克風(fēng)的室內(nèi)傳達(dá)函數(shù)，在依次 應(yīng)用了該室內(nèi)傳達(dá)函數(shù)、分割單元202的子帶分割處理、去除單元206u的回響去除處理、 合并單元208的合并處理的各處理時(shí)得到的系統(tǒng)整體的輸入輸出函數(shù)盡量成為單位脈沖 (impulse)函數(shù)。去除單元20611通過對(duì)子帶信號(hào)x’n,uw疊加回響去除濾波器，從子帶信號(hào)去除回 響信號(hào)。將從子帶信號(hào)去除了回響信號(hào)的每個(gè)頻帶的子帶信號(hào)設(shè)為按頻率目標(biāo)信號(hào)s:u。 然后，合并單元208合并按頻率目標(biāo)信號(hào)sn,:(u = 0、…、U-1)，從而求出目標(biāo)信號(hào)st\回響去除裝置100、200的細(xì)節(jié)記載在非專利文獻(xiàn)1、2、3中。(非專利文獻(xiàn) 1) T. Nakatani，B. H. Juang, T. Yoshioka, K. Kinoshita, M. Delcroix, and Μ·Miyoshi,“Study on speech dereverberation with autocorrelation codebook, "Proc.IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP-2007)，vol. I，pp. 193—196，April 2007.(2) T. Nakatani，B. H. Juang, T. Yoshioka, K. Kinoshita, M. Miyoshi， "Importance of energy and spectral features in Gaussian source model for speech dereverberation,，，WASPAA-2007，2007(非專禾Ij 文獻(xiàn) 3)N.D.Gaubitch，M.R.P.Thomas，P.A.Naylor，“Subband Method for Multichannel Least Squares Equalization of Room Transfer Functions,，，Proc, IEEE Workshop on Applications of Signal Processing to Audio and Acoustics(WASPAA-2007), pp. 14-17，2007.

發(fā)明內(nèi)容
在上述現(xiàn)有技術(shù)1的回響去除裝置100中，為了通過最佳的方法來利用音頻信號(hào) 的時(shí)變性特征，需要計(jì)算非常大尺寸的協(xié)方差矩陣，以進(jìn)行上述最佳化函數(shù)的值的最大化。 因此，最佳化函數(shù)的值的最大化需要龐大的計(jì)算時(shí)間。說明協(xié)方差矩陣的尺寸變大的理由。有關(guān)在現(xiàn)有技術(shù)1中處理的觀測(cè)信號(hào)的協(xié)方差矩陣H(r)通過以下的式(1)來表示。
權(quán)利要求
1.一種回響去除裝置，對(duì)接收從聲源發(fā)出的音頻信號(hào)而得到的觀測(cè)信號(hào)應(yīng)用回響去除 濾波器，從而從該觀測(cè)信號(hào)去除回響信號(hào)，所述回響去除裝置包括聲源模型存儲(chǔ)單元，存儲(chǔ)將音頻信號(hào)作為概率密度函數(shù)來表示的聲源模型； 分割單元，將上述觀測(cè)信號(hào)變換為與多個(gè)頻帶的各自對(duì)應(yīng)的按頻率觀測(cè)信號(hào)； 估計(jì)單元，基于各頻帶中的用于表示音頻信號(hào)和觀測(cè)信號(hào)以及回響去除濾波器的關(guān)系的回響 模型和上述聲源模型，利用各上述按頻率觀測(cè)信號(hào)，求出與各上述頻帶對(duì)應(yīng)的回響去除濾波器；去除單元，對(duì)各上述按頻率觀測(cè)信號(hào)應(yīng)用通過上述估計(jì)單元得到的上述回響去除濾波 器，從而求出與各上述頻帶對(duì)應(yīng)的按頻率目標(biāo)信號(hào)；以及 合并單元，合并各上述按頻率目標(biāo)信號(hào)。
2.如權(quán)利要求1所述的回響去除裝置，其中，上述回響模型是將當(dāng)前的觀測(cè)信號(hào)作為將具有規(guī)定的延遲的過去的觀測(cè)信號(hào)應(yīng)用回 響去除濾波器而得到的信號(hào)和音頻信號(hào)加法運(yùn)算而得到的信號(hào)來表示的自回歸模型。
3.如權(quán)利要求1或2所述的回響去除裝置，其中，上述聲源模型是平均為0且在頻帶間不具有相關(guān)的時(shí)變復(fù)數(shù)正態(tài)分布模型。
4.如權(quán)利要求3所述的回響去除裝置，其中，上述估計(jì)單元估計(jì)上述按頻率目標(biāo)信號(hào)的方差，并利用通過該被估計(jì)的按頻率目標(biāo)信 號(hào)的方差而被標(biāo)準(zhǔn)化的各上述按頻率觀測(cè)信號(hào)的協(xié)方差矩陣而估計(jì)上述回響去除濾波器。
5.一種回響去除方法，對(duì)接收從聲源發(fā)出的音頻信號(hào)而得到的觀測(cè)信號(hào)應(yīng)用回響去除 濾波器，從而從該觀測(cè)信號(hào)去除回響信號(hào)，在聲源模型存儲(chǔ)單元存儲(chǔ)將音頻信號(hào)作為概率密度函數(shù)來表示的聲源模型， 所述回響去除方法包括分割步驟，將上述觀測(cè)信號(hào)變換為與多個(gè)頻帶的各自對(duì)應(yīng)的按頻率觀測(cè)信號(hào)； 估計(jì)步驟，基于在各頻帶中的用于表示音頻信號(hào)和觀測(cè)信號(hào)以及回響去除濾波器的關(guān) 系的回響模型和上述聲源模型，利用各上述按頻率觀測(cè)信號(hào)，求出與各上述頻帶對(duì)應(yīng)的回 響去除濾波器；去除步驟，對(duì)各上述按頻率觀測(cè)信號(hào)應(yīng)用通過上述估計(jì)步驟得到的上述回響去除濾波 器，求出與各上述頻帶對(duì)應(yīng)的按頻率目標(biāo)信號(hào)；以及 合并步驟，合并各上述按頻率目標(biāo)信號(hào)。
6.如權(quán)利要求5所述的回響去除方法，其中，上述回響模型是將當(dāng)前的觀測(cè)信號(hào)作為對(duì)具有規(guī)定的延遲的過去的觀測(cè)信號(hào)應(yīng)用回 響去除濾波器而得到的信號(hào)加法運(yùn)算音頻信號(hào)而得到的信號(hào)來表示的自回歸模型。
7.如權(quán)利要求5或6所述的回響去除方法，其中，上述聲源模型是平均為0且在頻帶間不具有相關(guān)的時(shí)變復(fù)數(shù)正態(tài)分布模型。
8.如權(quán)利要求7所述的回響去除方法，其中，上述估計(jì)單元估計(jì)上述按頻率目標(biāo)信號(hào)的方差，并利用通過該被估計(jì)的按頻率目標(biāo)信 號(hào)的方差而被標(biāo)準(zhǔn)化的各上述按頻率觀測(cè)信號(hào)的協(xié)方差矩陣而估計(jì)上述回響去除濾波器。
9.一種回響去除程序，使計(jì)算機(jī)作為權(quán)利要求1所述的回響去除裝置來工作。
10.一種計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，被記錄了使計(jì)算機(jī)作為權(quán)利要求1所述的回響去 除裝置來工作的程序。
全文摘要
在聲源模型存儲(chǔ)單元存儲(chǔ)將從聲源發(fā)出的音頻信號(hào)作為概率密度函數(shù)來表示的聲源模型。接收音頻信號(hào)而得到的觀測(cè)信號(hào)被變換為與多個(gè)頻域的各自對(duì)應(yīng)的按頻率觀測(cè)信號(hào)。然后，基于用于表示音頻信號(hào)、觀測(cè)信號(hào)以及回響去除濾波器的關(guān)系的回響模型和聲源模型，利用各按頻率觀測(cè)信號(hào)來估計(jì)與各頻帶對(duì)應(yīng)的回響去除濾波器。對(duì)各按頻率觀測(cè)信號(hào)應(yīng)用各回響去除濾波器，從而求出與各頻帶對(duì)應(yīng)的按頻率目標(biāo)信號(hào)，并將其合并。
文檔編號(hào)H04R3/00GK102084667SQ20098010682
公開日2011年6月1日 申請(qǐng)日期2009年2月27日 優(yōu)先權(quán)日2008年3月3日
發(fā)明者三好正人, 中谷智廣, 吉岡拓也, 木下慶介 申請(qǐng)人:日本電信電話株式會(huì)社