本發(fā)明屬于涉及從進(jìn)入麥克風(fēng)的聲音之中,僅對(duì)期望的聲音進(jìn)行拾音(pickup)的噪聲去除及/或混響成分的去除技術(shù)的技術(shù)領(lǐng)域。
背景技術(shù):研究了用于從麥克風(fēng)所包含的聲音之中,對(duì)聲音被房間的墻壁或天花板等反射因而產(chǎn)生的混響成分高精度地進(jìn)行去除,而僅對(duì)從說話者的嘴邊直接到達(dá)麥克風(fēng)的成分(直接音成分)高精度地進(jìn)行拾音的混響去除技術(shù)(例如參照非專利文獻(xiàn)1)。圖1表示室內(nèi)的聲音的傳播過程的示意圖。如圖1所示,從說話者的嘴邊發(fā)出而通過麥克風(fēng)受音的成分能夠大致分為從說話者的嘴邊至麥克風(fēng)為止沿最短路徑傳播的成分即直接音成分(參照?qǐng)D1的(i))、以及反射到墻壁、地面、或室內(nèi)的人而反彈的聲音混入麥克風(fēng)的成分即混響成分。至今為止的混響去除技術(shù)對(duì)于進(jìn)入麥克風(fēng)的聲音,將傳播特性的逆濾波器估計(jì)為線性濾波器,將所估計(jì)出的線性濾波器與麥克風(fēng)輸入信號(hào)重疊。由此,能夠作為將麥克風(fēng)輸入信號(hào)分為直接音成分和混響成分這兩個(gè),僅提取沒有混響的直接音成分的技術(shù)。以往,將其作為該混響成分的傳播路徑不隨時(shí)間變動(dòng)的非變動(dòng)性(non-fluctuating)混響成分(參照?qǐng)D1的(ii))。但是,實(shí)際上,除了非變動(dòng)性混響成分之外,還有在反射到在室內(nèi)移動(dòng)的人(頭等移動(dòng))等后傳達(dá)到麥克風(fēng)的成分即變動(dòng)性(fluctuating)混響成分(參照?qǐng)D1的(iii))。能夠理解為該變動(dòng)性混響成分是在線性濾波器中不能充分消去的成分。關(guān)于這樣的變動(dòng)性混響成分,提出了通過非線性濾波器進(jìn)行去除的技術(shù)(例如參照專利文獻(xiàn)1)?,F(xiàn)有技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1:特許第4107613號(hào)公報(bào)非專利文獻(xiàn)非專利文獻(xiàn)1:T.Yoshiokaetal.,“Blindseparationanddereverberationofspeechmixturesbyjointoptimization,”IEEETrans.ASLP,vol.19,no.1,pp.69-84,Jan.2011非專利文獻(xiàn)2:K.Kinoshitaetal.,“SuppressionofLateReverberationEffectonSpeechSignalUsingLong-TermMultiple-stepLinearPrediction,”IEEETrans.ASLP,vol.17,no.4,pp.534-545,2009
技術(shù)實(shí)現(xiàn)要素:發(fā)明要解決的課題在以往的使用了線性濾波器的混響去除方式(例如參照非專利文獻(xiàn)1)中,在聲音從說話者的嘴邊傳遞至麥克風(fēng)為止時(shí)的傳遞函數(shù)不變化的前提下去除混響成分。但是,例如在會(huì)議場(chǎng)景等中,受到說話者的面部的朝向或說話者以外的人(頭等)移動(dòng)等的影響,傳遞函數(shù)每時(shí)每刻發(fā)生變化的情況很多。在這樣的情況下,首先存在以下課題:若在用于估計(jì)線性濾波器的信號(hào)之中包含傳遞函數(shù)起伏的時(shí)間段,則傳遞函數(shù)的估計(jì)精度下降,結(jié)果混響去除性能下降(課題1)。此外,存在以下課題:即使高精度地求得了線性濾波器,在線性濾波器中除了傳遞函數(shù)不變化的情況以外不能降低混響,傳遞函數(shù)起伏的時(shí)間段中的混響抑制性能較差(課題2)。另一方面,在使用了非線性濾波器的非線性的混響去除技術(shù)中,通過增大用于控制降低混響成分的量的參數(shù),能夠增加混響去除量。但是,若不能適當(dāng)?shù)卦O(shè)定參數(shù),則導(dǎo)致使本來希望取得的聲音成分失真的量增加,結(jié)果希望取得的聲音的提取精度下降。本發(fā)明是鑒于這樣的狀況而完成的,提供從麥克風(fēng)輸入信號(hào)高精度地去除非變動(dòng)性以及變動(dòng)性的混響成分,對(duì)用于提高直接音的提取精度的參數(shù)進(jìn)行估計(jì)的技術(shù)、以及使用該參數(shù)將混響成分從麥克風(fēng)輸入信號(hào)中去除的技術(shù)。用于解決課題的手段(i)為了解決上述課題,本發(fā)明提出使用了線性濾波器的混響去除方式和使用了非線性濾波器的混響去除方式的綜合算法。更具體而言,具有按每時(shí)間計(jì)測(cè)后級(jí)的非線性濾波器中傳遞函數(shù)的起伏的量的功能,基于該功能對(duì)每時(shí)間的非線性濾波器的強(qiáng)度進(jìn)行控制(對(duì)參數(shù)的生成進(jìn)行控制)。由此,由于設(shè)為僅在傳遞函數(shù)的起伏大時(shí)施加較強(qiáng)的非線性處理的結(jié)構(gòu),所以能夠?qū)⒙曇舫煞值氖д姹3譃樽钚∠薅?。此外,將通過非線性處理得到的變動(dòng)性混響成分的估計(jì)值反饋到線性濾波器的參數(shù)生成處理,使得非變動(dòng)性混響成分去除的精度進(jìn)一步提高。(ii)圖2是示意性地表示去除麥克風(fēng)內(nèi)包含的非變動(dòng)性混響成分和變動(dòng)性混響成分的方法的圖。如圖2所示,傳播過程不變動(dòng)的非變動(dòng)性混響成分通過相當(dāng)于傳播過程的逆濾波器的線性濾波器而被抑制。另一方面,期望的直接音以及變動(dòng)性混響成分沒有被線性濾波器抑制而殘留。之后,通過實(shí)施空間/非線性的濾波,沒有被線性濾波器抑制完的變動(dòng)性混響成分被抑制,最終能夠僅得到期望的直接音。也就是說,將本發(fā)明作為整體來看,成為能夠不僅降低傳播過程沒有起伏的混響成分而且還降低傳播過程起伏的混響成分的結(jié)構(gòu)(解決課題1)。也就是說,在本發(fā)明中,通過線性濾波器來去除聲音輸入信號(hào)中包含的非變動(dòng)性混響成分,生成線性混響去除信號(hào)的估計(jì)值,使用非線性濾波器,生成線性混響去除信號(hào)的估計(jì)值中包含的變動(dòng)性混響成分以及直接音成分的估計(jì)值。并且,基于變動(dòng)性混響成分以及直接音的估計(jì)值,更新構(gòu)成非線性濾波器的參數(shù)的變動(dòng)性混響成分以及直接音成分的參數(shù)。進(jìn)而,基于更新后的變動(dòng)性混響成分以及直接音成分的參數(shù),依次更新線性濾波器的參數(shù)。(iii)此外,將基于同功能的每時(shí)間的傳遞函數(shù)的起伏量反饋到前級(jí)的線性濾波器的估計(jì),對(duì)線性濾波器估計(jì)值降低傳遞函數(shù)起伏的時(shí)間段的權(quán)重,從而能夠減輕傳遞函數(shù)的估計(jì)精度下降的影響(解決課題2)。圖3是示意性地表示每時(shí)間的權(quán)重的差異的圖??梢哉f在學(xué)習(xí)線性濾波器時(shí),應(yīng)該盡可能僅對(duì)應(yīng)該通過線性濾波器抑制的對(duì)象即非變動(dòng)性混響成分較大得存在的時(shí)間段進(jìn)行拾音并學(xué)習(xí)。因此,本發(fā)明的權(quán)重決定過程(process)選擇直接音成分和變動(dòng)性成分少的時(shí)間段,從而能夠僅提取作為學(xué)習(xí)對(duì)象的非變動(dòng)性混響成分較大得存在的時(shí)間段。與本發(fā)明關(guān)聯(lián)的其他特征根據(jù)本說明書的記述和附圖而明確。此外,本發(fā)明的方式通過要素以及多樣要素的組合以及以后的詳細(xì)記述和所付的權(quán)利要求書的形態(tài)而達(dá)成并實(shí)現(xiàn)。本說明書的記述只不過是典型的例示,需要理解為不對(duì)本發(fā)明的權(quán)利要求書或應(yīng)用例在任意意義上進(jìn)行限定。發(fā)明效果根據(jù)本發(fā)明,在將寬闊的房間彼此相連的視頻會(huì)議系統(tǒng)中,能夠估計(jì)混響去除參數(shù)使得能夠以混響的影響少的清晰的聲音進(jìn)行舒適的聲音通話。附圖說明圖1是用于說明聲音的傳播過程的示意圖。圖2是用于說明麥克風(fēng)內(nèi)包含的非變動(dòng)性混響成分和變動(dòng)性混響成分的去除過程(本發(fā)明的基本概念)的示意圖。圖3是用于說明每時(shí)間的權(quán)重的大小的差異的示意圖。圖4是表示本發(fā)明的每據(jù)點(diǎn)會(huì)議系統(tǒng)的概略結(jié)構(gòu)的圖。圖5是表示本發(fā)明的遠(yuǎn)程會(huì)議系統(tǒng)的整體結(jié)構(gòu)的圖。圖6是表示中央運(yùn)算裝置102內(nèi)執(zhí)行的混響去除程序的模塊結(jié)構(gòu)的圖。圖7是表示混響去除302的效果的一例的圖。圖8是表示混響去除302的詳細(xì)的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖9是用于說明各麥克風(fēng)取得數(shù)據(jù)的圖。圖10是關(guān)于混響去除參數(shù)估計(jì)404、在線混響去除405的執(zhí)行定時(shí)的時(shí)間圖。圖11是表示混響去除參數(shù)估計(jì)404的詳細(xì)的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖12是表示逆濾波器計(jì)算701的詳細(xì)的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖13是表示在每個(gè)麥克風(fēng)通道進(jìn)行混響去除的結(jié)構(gòu)的概念圖。圖14是表示殘留混響/直接音分離703的具體的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖15是表示殘留混響參數(shù)估計(jì)704的詳細(xì)的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖16是表示直接音參數(shù)估計(jì)705的詳細(xì)的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖17是表示在線混響去除405的具體構(gòu)成(相當(dāng)于流程圖)的圖。圖18是表示本發(fā)明的第二實(shí)施方式的混響去除處理的結(jié)構(gòu)的圖。圖19是表示能夠使混響去除和回波消除器(canceller)的雙方的性能提高的結(jié)構(gòu)的圖。圖20是表示混響去除及回波消除器2001的具體構(gòu)成的圖。圖21是表示離線參數(shù)估計(jì)1800的詳細(xì)的模塊結(jié)構(gòu)的圖。圖22是表示混響/音響回波消去用參數(shù)估計(jì)1801的詳細(xì)的模塊結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖23是用于說明在同時(shí)執(zhí)行混響去除和回波消除器的結(jié)構(gòu)中的權(quán)重系數(shù)的決定(Rx,f,τ(i)的影響)的圖。圖24是表示在線音響回波/混響去除2301的詳細(xì)的結(jié)構(gòu)(相當(dāng)于流程圖)的圖。圖25是表示基于分散結(jié)構(gòu)的混響去除的模塊結(jié)構(gòu)的圖。具體實(shí)施方式本發(fā)明提供以下技術(shù),該技術(shù)設(shè)想為在寬闊的房間中使用的遠(yuǎn)程會(huì)議系統(tǒng)等中被使用,用于從與被設(shè)置多個(gè)的麥克風(fēng)對(duì)應(yīng)的輸入信號(hào)中去除混響噪聲(非變動(dòng)以及變動(dòng)性的混響成分),使得在嘴邊直接通過麥克風(fēng)取得聲音(拾取直接音)。在第一實(shí)施方式中,示出了混響去除參數(shù)的估計(jì)以及使用該估計(jì)的實(shí)時(shí)混響去除處理。此外,在第二實(shí)施方式中,示出了在混響去除處理中,具有多組通過混響去除參數(shù)估計(jì)處理而求得的過去的混響去除參數(shù),按每時(shí)間選擇并使用最優(yōu)的濾波器的處理。進(jìn)而,在第三實(shí)施方式中,示出了去除混響以及回波(回響)的參數(shù)的估計(jì)以及使用了該估計(jì)的實(shí)時(shí)混響及回波去除處理。此外,在第四實(shí)施方式中,示出了在服務(wù)器側(cè)執(zhí)行混響去除參數(shù)估計(jì)處理的分散處理。以下,參照附圖說明本發(fā)明的實(shí)施方式。在附圖中,有時(shí)將功能上相同的要素以相同的序號(hào)顯示。另外,附圖示出遵從本發(fā)明的原理的具體實(shí)施方式和安裝例,但這些用于理解本發(fā)明,絕不用于對(duì)本發(fā)明進(jìn)行限定性解釋。在本實(shí)施方式中,為了本領(lǐng)域技術(shù)人員實(shí)施本發(fā)明而充分詳細(xì)地進(jìn)行其說明,但需要理解其他安裝/方式也是可能的,在不脫離本發(fā)明的技術(shù)思想范圍和精神的條件下,能夠進(jìn)行結(jié)構(gòu)/構(gòu)造的變更、多種要素的置換。從而,對(duì)以后的記述,不能限定于此來解釋。進(jìn)而,本發(fā)明的實(shí)施方式可以通過在通用計(jì)算機(jī)上工作的軟件來安裝,也可以通過專用硬件或軟件與硬件的組合來安裝。(1)第一實(shí)施方式<各據(jù)點(diǎn)的系統(tǒng)結(jié)構(gòu)>圖4是表示本發(fā)明的第一實(shí)施方式的被設(shè)置在遠(yuǎn)程會(huì)議的各據(jù)點(diǎn)處的會(huì)議系統(tǒng)的硬件概略結(jié)構(gòu)的圖。在各據(jù)點(diǎn)的會(huì)議系統(tǒng)100中,麥克風(fēng)陣列105對(duì)各會(huì)議室之中的聲音波形進(jìn)行集音。設(shè)想麥克風(fēng)陣列105由單一的麥克風(fēng)或者多個(gè)麥克風(fēng)元件構(gòu)成。集音后的模擬的聲音波形通過A/D變換器104從模擬信號(hào)變換為數(shù)字信號(hào)。變換后的數(shù)字聲音波形通過中央運(yùn)算裝置102(也稱為處理器)被實(shí)施了混響去除處理后,經(jīng)由HUB(集線器)108變換為包(packet),并被輸出至網(wǎng)絡(luò)。中央運(yùn)算裝置102讀入非易失性存儲(chǔ)器101中存儲(chǔ)的程序、以及程序中使用的參數(shù),執(zhí)行該程序。此外,程序執(zhí)行時(shí)使用的工作存儲(chǔ)器在易失性存儲(chǔ)器103上被確保,混響去除所需的各種參數(shù)的存儲(chǔ)區(qū)域被定義?;祉懭コ齾?shù)通過中央處理裝置102來估計(jì),并被存儲(chǔ)至易失性存儲(chǔ)器103。并且,所存儲(chǔ)的混響參數(shù)再次通過中央處理裝置102被讀出,用于新的估計(jì)處理。中央運(yùn)算裝置102經(jīng)由網(wǎng)絡(luò),從HUB108接受遠(yuǎn)程會(huì)議中的其他據(jù)點(diǎn)(遠(yuǎn)端)的聲音波形。所接受到的遠(yuǎn)端聲音波形(數(shù)字聲音波形)經(jīng)由中央運(yùn)算裝置102,被發(fā)送至D/A變換器106,從數(shù)字信號(hào)變換為模擬信號(hào)后,將變換后的模擬的聲音波形從揚(yáng)聲器陣列107輸出。揚(yáng)聲器陣列107由單一的揚(yáng)聲器元件或者多個(gè)揚(yáng)聲器元件構(gòu)成。此外,各據(jù)點(diǎn)的影像信息由一般的攝像機(jī)(camera)109拍攝,經(jīng)由HUB108被發(fā)送至其他據(jù)點(diǎn)。其他據(jù)點(diǎn)的影像信息經(jīng)由網(wǎng)絡(luò)經(jīng)由被發(fā)送至HUB108,進(jìn)而經(jīng)由中央運(yùn)算裝置102在被設(shè)置在各據(jù)點(diǎn)的顯示器110上顯示。另外,也可以采取設(shè)置多臺(tái)攝像機(jī)109,或設(shè)置多臺(tái)顯示器110那樣的結(jié)構(gòu)。<遠(yuǎn)程會(huì)議系統(tǒng)的整體結(jié)構(gòu)>圖5是表示本發(fā)明的遠(yuǎn)程會(huì)議系統(tǒng)的整體結(jié)構(gòu)例的圖。遠(yuǎn)程會(huì)議系統(tǒng)具有:N個(gè)各據(jù)點(diǎn)會(huì)議系統(tǒng)100-1、100-2、···100-N(將據(jù)點(diǎn)數(shù)設(shè)為N);MCU(多點(diǎn)處理單元)202,控制各據(jù)點(diǎn)的聲音和影像的傳輸;以及會(huì)議信息計(jì)算服務(wù)器201,執(zhí)行在各據(jù)點(diǎn)的計(jì)算機(jī)中不能處理的、處理量大的計(jì)算,上述結(jié)構(gòu)分別經(jīng)由網(wǎng)絡(luò)而連接。另外,該系統(tǒng)對(duì)本領(lǐng)域技術(shù)人員來說是已知的系統(tǒng),所以不進(jìn)行詳細(xì)的說明。此外,也可以采用在會(huì)議信息計(jì)算服務(wù)器201中執(zhí)行在各據(jù)點(diǎn)的會(huì)議系統(tǒng)中執(zhí)行的混響去除所需的一部分處理的結(jié)構(gòu)。<混響去除處理>圖6是表示在本發(fā)明的第一實(shí)施方式中,中央運(yùn)算裝置102內(nèi)執(zhí)行的處理(程序)的模塊結(jié)構(gòu)的圖。從麥克風(fēng)陣列105經(jīng)由A/D變換器104而得到的數(shù)字聲音波形通過回波消除器301被處理,去除音響回波成分。在此,音響回波成分是指從揚(yáng)聲器陣列107輸出的聲音波形被各據(jù)點(diǎn)的墻壁、天花板等反射后混入麥克風(fēng)陣列105的成分?;夭ㄏ?01為了去除音響回波成分而通過經(jīng)由HUB108得到的NLMS法等對(duì)本領(lǐng)域技術(shù)人員來說已知的結(jié)構(gòu)而實(shí)現(xiàn)。使用遠(yuǎn)端聲音波形作為從揚(yáng)聲器陣列107輸出的信號(hào)?;夭ㄏ蟮穆曇舨ㄐ伪话l(fā)送至混響去除302,去除混響成分,去除了混響成分后的聲音波形被輸出。由于聲音波形是時(shí)序信號(hào),所以在每次A/D變換后的聲音波形被積蓄一定量時(shí)執(zhí)行混響去除程序。<混響去除的效果>圖7是用于說明混響去除302的效果(一例)的圖。麥克風(fēng)輸入信號(hào)(參照?qǐng)D7的(i))表示將構(gòu)成麥克風(fēng)陣列105的某一個(gè)麥克風(fēng)的輸入波形變換為時(shí)間-頻域的頻譜圖(spectrogram)。橫軸表示時(shí)間軸,縱軸表示頻率。在圖7中,意味著越亮的時(shí)間-頻率成分則音量越大。沒有混響的信號(hào)(理想)(參照?qǐng)D7的(ii))表示不存在房間的混響的僅有直接音的波形。將麥克風(fēng)輸入信號(hào)和沒有混響的信號(hào)(理想)進(jìn)行比較,則前者可見像墨水模糊那樣成分在時(shí)間方向上擴(kuò)散的情形。本成分是本發(fā)明中所針對(duì)的混響成分。混響去除后的信號(hào)(參照?qǐng)D7的(iii))是通過本發(fā)明的混響去除302處理后的波形??梢钥吹?,混響成分被去除,接近沒有混響的信號(hào)(理想)的情形。<混響去除處理>圖8是表示第一實(shí)施方式的混響去除(處理)302(參照?qǐng)D6)的詳細(xì)的模塊結(jié)構(gòu)的圖。(i)幀化處理如圖8所示,回波消除后的數(shù)字聲音波形被發(fā)送至幀化(處理)401。在此,將數(shù)字聲音波形記載為q(m,t),將m設(shè)為構(gòu)成麥克風(fēng)陣列105的麥克風(fēng)的索引,將t設(shè)為A/D變換處理的樣本索引。在幀化401中,在每個(gè)麥克風(fēng)元件的數(shù)字聲音波形每次被積蓄一定量時(shí),輸出幀單位的聲音波形。另一方面,在被積蓄一定量之前什么都不輸出。將該一定量稱為幀偏移(shift),記載為S(點(diǎn),point)。聲音的頻率成分逐漸發(fā)生變化而傳達(dá),因此為了準(zhǔn)確地掌握該遷移而進(jìn)行這樣的幀偏移。此外,將通過幀化401輸出的各麥克風(fēng)元件的聲音波形設(shè)為比幀偏移大的、P點(diǎn)量的聲音波形。將幀的單位稱為幀索引,記載為τ。并且,第M個(gè)麥克風(fēng)元件中的幀索引τ的輸出信號(hào)成為t=Sτ至t=Sτ+P-1的點(diǎn)的聲音波形,將其以式(1)來定義。[數(shù)1]k(m,τ)=[x(m,Sτ)···x(m,Sτ+P-1)]···(1)圖9是用于說明幀形成以及幀偏移的處理的圖。在幀索引為1的情況下,“幀1”由剛開始取得數(shù)據(jù)后P點(diǎn)量的數(shù)據(jù)的聲音波形而構(gòu)成。下一幀“幀2”由從幀1錯(cuò)移S點(diǎn)的點(diǎn)開始P點(diǎn)量的數(shù)據(jù)的聲音波形而構(gòu)成。幀化401輸出各麥克風(fēng)元件的幀單位的聲音波形k(m,τ)。(ii)頻率分解處理頻率分解(處理)402通過傅里葉變換處理等對(duì)本領(lǐng)域技術(shù)人員來說一般使用的頻率變換處理,將各麥克風(fēng)元件的聲音波形變換為時(shí)間頻域信號(hào)。將變換為時(shí)間頻域信號(hào)的第M個(gè)幀單位的信號(hào)定義為Xm(f,τ)。在此,將f設(shè)為時(shí)間頻域中的頻率索引。此外,將按每時(shí)間頻率匯總了各麥克風(fēng)的時(shí)域信號(hào)而得到的矢量記載為X(f,τ)=[X1(f,τ),X2(f,τ),..Xm(f,τ),……XM(f,τ)]。M意味著麥克風(fēng)的數(shù)目。并且,各麥克風(fēng)的頻域信號(hào)被發(fā)送至緩沖(處理)403以及在線混響去除(處理)405。(iii)緩沖處理緩沖(處理)403積蓄時(shí)域信號(hào),僅在積蓄量到達(dá)一定量的情況下輸出所積蓄的信號(hào),在這以外的情況下什么都不輸出。對(duì)各麥克風(fēng)積蓄的量設(shè)為T幀(例如,300幀)量。由于若不使用一定程度的統(tǒng)計(jì)量則參數(shù)估計(jì)不能適當(dāng)?shù)?穩(wěn)定地)進(jìn)行,所以在積蓄T幀量的聲音數(shù)據(jù)后執(zhí)行混響參數(shù)估計(jì)處理。此外,例如,若會(huì)議中說話者切換,則至今為止在在線混響去除405中使用的混響去除參數(shù)變得不再適當(dāng),所以再次執(zhí)行參數(shù)估計(jì),更新該參數(shù)。其中,僅從聲音波形檢測(cè)說話者的切換是困難的,所以在本實(shí)施方式中,設(shè)為每T幀更新混響去除參數(shù)。換言之,在本實(shí)施方式中,若估計(jì)了一次參數(shù),則直至下一次參數(shù)估計(jì)的處理結(jié)束為止,使用當(dāng)前的參數(shù)執(zhí)行混響去除處理。也就是說,在本實(shí)施方式的混響去除處理中,始終使用最新的估計(jì)參數(shù)。另外,若能夠探測(cè)說話者切換,則也可以在說話者切換的定時(shí)更新混響去除參數(shù)。(iv)混響去除參數(shù)估計(jì)處理混響去除參數(shù)估計(jì)(處理)404基于緩沖403輸出的T幀量的數(shù)據(jù),估計(jì)用于進(jìn)行混響去除的參數(shù),輸出所估計(jì)出的參數(shù)。參照?qǐng)D11在后面敘述混響去除參數(shù)估計(jì)(處理)404的進(jìn)一步的細(xì)節(jié)。(v)在線混響去除處理在線混響去除(處理)405實(shí)時(shí)利用所估計(jì)出的混響去除參數(shù)?;祉懭コ齾?shù)估計(jì)404在每次積攢T幀量的數(shù)據(jù)時(shí)實(shí)施處理,相對(duì)于此,在線混響去除405需要實(shí)時(shí)進(jìn)行混響去除,因此對(duì)每1幀量的數(shù)據(jù)實(shí)施處理。在線混響去除405輸出將包含混響的1幀量的數(shù)據(jù)中的混響成分去除后的信號(hào)。圖10是用于說明混響去除參數(shù)估計(jì)404、在線混響去除405的執(zhí)行定時(shí)的時(shí)間圖。在混響去除參數(shù)估計(jì)404中,如上述那樣,在每次得到T幀量的數(shù)據(jù)時(shí)執(zhí)行參數(shù)估計(jì)處理。直至在線混響去除405中開始使用所估計(jì)出的參數(shù)為止的各處理延遲幀長(U幀)依賴于混響去除參數(shù)估計(jì)404中的處理量而不同。在線混響去除405使用在處理時(shí)刻得到的最新的混響去除參數(shù),對(duì)各幀的時(shí)域信號(hào)實(shí)施混響去除。通過采用這樣的結(jié)構(gòu),從而即使在混響去除參數(shù)的估計(jì)延遲的情況下,也能夠?qū)崟r(shí)地執(zhí)行混響去除。(vi)時(shí)域變換處理返回圖8,時(shí)域變換(處理)406通過對(duì)每個(gè)麥克風(fēng)中1幀量的頻域信號(hào)執(zhí)行傅里葉逆變換等的從頻域至?xí)r域的變換處理,從而變回時(shí)域信號(hào),將變回后的時(shí)域信號(hào)作為混響去除后的聲音波形而輸出。通過執(zhí)行該時(shí)域變換處理,能夠調(diào)整各幀中的、(P-S)點(diǎn)量的重復(fù)區(qū)域的聲音功率(power)。<混響去除估計(jì)參數(shù)處理的細(xì)節(jié)>圖11是表示混響去除參數(shù)估計(jì)(處理)404的詳細(xì)模塊結(jié)構(gòu)的圖?;祉懭コ齾?shù)估計(jì)404為通過反復(fù)計(jì)算而逐漸提高混響去除性能的結(jié)構(gòu)。也就是說,在本實(shí)施方式中,在求得兩種參數(shù)X以及Y(在此,將X設(shè)為非變動(dòng)性混響去除參數(shù),將Y設(shè)為變動(dòng)性混響去除參數(shù))的情況下,首先將X固定,使Y變化而求得Y的適當(dāng)值。接著,使X變化,求得X的適當(dāng)值。像這樣,圖11表示交替求得X和Y而使其收斂的處理。此外,在混響去除參數(shù)估計(jì)404中,按每個(gè)頻率索引獨(dú)立進(jìn)行處理。從而,還能夠在按每個(gè)頻率不同的中央運(yùn)算裝置(處理器)中執(zhí)行本混響去除參數(shù)估計(jì)處理的結(jié)構(gòu)。(i)逆濾波器計(jì)算處理按每個(gè)頻率得到的、每個(gè)麥克風(fēng)的T幀量的數(shù)據(jù)首先被發(fā)送至逆濾波器計(jì)算(處理)701,計(jì)算用于混響去除的線性濾波器。圖12是表示逆濾波器計(jì)算(處理)701的詳細(xì)的結(jié)構(gòu)的圖。濾波器計(jì)算(處理)1403通過式(2)計(jì)算線性濾波器。由于混響成分是由過去的信號(hào)引起的成分,所以式(2)是用于計(jì)算當(dāng)前的信號(hào)與過去的信號(hào)、以及過去的信號(hào)之間具有多少相關(guān)性的運(yùn)算式。僅求得當(dāng)前的信號(hào)與過去的信號(hào)的相關(guān)性,則可能從當(dāng)前的信號(hào)中過分去除過去的信號(hào),所以為了避免過度的信號(hào)去除,采取也考慮了過去的信號(hào)之間的相關(guān)性的運(yùn)算。另外,對(duì)T幀量的聲音信號(hào)執(zhí)行用于計(jì)算相關(guān)性的運(yùn)算。[數(shù)2]Af=ivec(Pf-1Qf)···(2)若將τ(i)設(shè)為T幀量的數(shù)據(jù)之中第i個(gè)數(shù)據(jù)的幀索引,則式(2)中的Pf是加權(quán)協(xié)方差矩陣,在加權(quán)協(xié)方差矩陣計(jì)算1402中通過式(3)被定義。式(3)是用于計(jì)算過去的信號(hào)之間的相關(guān)性的運(yùn)算式。在此,H設(shè)為表示矩陣或者矢量的共軛轉(zhuǎn)置的運(yùn)算符。[數(shù)3]進(jìn)而,式(2)中的Qf在加權(quán)相關(guān)矩陣計(jì)算1401中通過式(4)被計(jì)算。式(4)是用于計(jì)算當(dāng)前的信號(hào)與過去的信號(hào)的相關(guān)性的運(yùn)算式。[數(shù)4]此外,式(3)中的“’”表示矩陣或者矢量的轉(zhuǎn)置的運(yùn)算符。另外,在式(3)中,是表示克羅內(nèi)克δ(Kroneckerdelta)積的運(yùn)算符。進(jìn)而,在式(3)中,Uf,τ(i)通過式(5)被定義。[數(shù)5]將D、L1設(shè)為預(yù)先決定的參數(shù)。D優(yōu)選設(shè)定為混響成分之中相當(dāng)于初始混響的幀長。L1是與后部混響的持續(xù)幀長對(duì)應(yīng)的參數(shù),優(yōu)選在后部混響大的環(huán)境下設(shè)定為較大的值。Rx,f,τ(i)設(shè)為由線性混響成分權(quán)重計(jì)算707輸出的矩陣。在不進(jìn)行線性混響成分權(quán)重計(jì)算(處理)707的情況,或在每T幀量的數(shù)據(jù)才開始執(zhí)行逆濾波器計(jì)算701的情況下,將Rx,f,τ(i)設(shè)定為單位矩陣。式(2)中,“vec”設(shè)為用于將矩陣變換為矢量的算子。式(6)示出通過vec算子將矩陣A變換為矢量的例子。[數(shù)6]vec(A)=[a11a21…a12a22…a1na2n…]T···(6)在式(6)中,amn意味著矩陣A的第m行n列的成分。ivec設(shè)為vec算子的逆運(yùn)算符,將矢量變換為矩陣。在變換為矩陣時(shí),雖然有行數(shù)的任意性,但在式(2)中,設(shè)為輸出所輸出的矩陣的行數(shù)與麥克風(fēng)數(shù)一致的矩陣。通過式(2)求得的Af通過式(7)按每塊區(qū)分。[數(shù)7]逆濾波器計(jì)算701輸出Af并結(jié)束處理。(ii)線性混響成分消去處理線性混響成分消去(處理)702利用逆濾波器計(jì)算701所輸出的Af,通過式(8)取得去除了非變動(dòng)性混響成分的信號(hào)gf,τ(i)。[數(shù)8]線性混響成分消去(處理)702定性而言,能夠理解為在每個(gè)麥克風(fēng)通道,使各自的FIR濾波器動(dòng)作,得到每通道的混響去除信號(hào)的方式。另外,在圖13中,示出了理解為按每個(gè)麥克風(fēng)通道進(jìn)行混響去除的結(jié)構(gòu)的概念。像這樣,對(duì)全部T幀量的時(shí)間頻率信號(hào)執(zhí)行本實(shí)施方式的線性混響去除處理。并且,線性混響去除后的信號(hào)被發(fā)送至殘留混響/直接音分離703。(iii)殘留混響/直接音分離處理殘留混響/直接音分離(處理)703將線性混響去除后的信號(hào)分離為直接音和混響音(估計(jì)值)這兩個(gè)。圖14表示殘留混響/直接音分離703的詳細(xì)的模塊結(jié)構(gòu)的圖。對(duì)全部T幀量的時(shí)間頻率信號(hào)執(zhí)行殘留混響/直接音分離處理。通過將由直接音濾波器系數(shù)估計(jì)1102估計(jì)出的濾波器系數(shù)Wn,f,τ(i)與各幀的時(shí)間頻率信號(hào)重疊,從而如式(9)那樣計(jì)算每幀的混響去除信號(hào)的估計(jì)值。[數(shù)9]yn,f,τ(i)=Wn,f,τ(i)gf,τ(i)···(9)在此,n是表示音源的索引的變量,設(shè)為1至N的整數(shù)。N是音源數(shù),即使在存在多個(gè)音源的情況下,通過將N設(shè)為2以上,也能夠同時(shí)進(jìn)行多個(gè)音源的混響去除以及直接音的分離。在圖14中,直接音濾波器估計(jì)(處理)1102使用式(10),按每個(gè)音源計(jì)算用于提取直接音的濾波器(鏡像濾波器)Wn,f,τ(i)。式(10)與求得直接音的功率在整體的功率中所占的比例(直接音的功率/(直接音的功率+殘留混響的功率))實(shí)質(zhì)上等價(jià)。[數(shù)10]Wn,f,τ(i)=Rs(n),f,τ(i)Rx,f,τ(i)-1···(10)在此,Rs(n),f,τ(i)是每個(gè)音源、以及每幀的協(xié)方差矩陣,在每時(shí)間的目的音方差估計(jì)(處理)1104中,使用式(11)計(jì)算。[數(shù)11]Rs(n),f,τ(i)=vs(n),f,τ(i)Cs(n),f···(11)在此,vs(n),f,τ(i)、Cs(n),f是與第n個(gè)直接音成分相關(guān)的參數(shù),是在反復(fù)計(jì)算之中依次更新的參數(shù)。vs(n),f,τ(i)的初始值為1,Cs(n),f設(shè)為隨機(jī)的正定埃爾米特(Hermitian)矩陣。因此,通過將Wrev,l,m,f,τ(i)與各幀的時(shí)間頻率信號(hào)重疊,從而如式(12)那樣計(jì)算殘留混響成分。[數(shù)12]yrev,l,m,f,τ(i)=Wrev,l,m,f,τ(i)gf,τ(i)···(12)在此,l為與逆濾波器的抽頭(tap)索引對(duì)應(yīng)的索引,m為麥克風(fēng)索引。也就是說,按每個(gè)逆濾波器的抽頭索引以及麥克風(fēng)索引計(jì)算殘留混響成分。在殘留混響濾波器系數(shù)估計(jì)1103中,通過式(13)計(jì)算Wrev,l,m,f,τ(i)。式(13)與求得殘留混響的功率在整體的功率中所占的比例(殘留混響的功率/(直接音的功率+殘留混響的功率))實(shí)質(zhì)上等價(jià)。[數(shù)13]Wrev,l,m,f,τ(i)=Rrev,l,m,f,τ(i)Rx,f,τ(i)-1···(13)在此,Rrev,l,m,f,τ(i)是逆濾波器的每個(gè)抽頭索引、每幀的協(xié)方差矩陣,在每時(shí)間的殘留混響方差估計(jì)(處理)1105中,按照式(14)計(jì)算。[數(shù)14]Rrev,l,m,f,τ(i)=|xf,τ(i)-l(m)|2Crev,l,m,f···(14)Xf,τ(i)(m)是頻率索引f、幀索引τ(i)的第M個(gè)麥克風(fēng)的時(shí)間頻域信號(hào)。Crev,l,m,f是各抽頭索引、麥克風(fēng)索引的殘留混響成分的協(xié)方差矩陣,是在反復(fù)計(jì)算之中依次更新的參數(shù)。初始值設(shè)為隨機(jī)的正定埃爾米特矩陣。以上那樣,分離出的殘留混響的估計(jì)值、以及直接音的估計(jì)值分別被發(fā)送至殘留混響參數(shù)估計(jì)(處理)704以及直接音參數(shù)估計(jì)(處理)705。(iv)混響參數(shù)估計(jì)處理殘留混響參數(shù)估計(jì)(處理)704估計(jì)變動(dòng)性混響成分的統(tǒng)計(jì)量等參數(shù)。圖15是表示殘留混響參數(shù)估計(jì)(處理)704的細(xì)節(jié)的圖。在圖15中,殘留混響二次統(tǒng)計(jì)量計(jì)算(處理)1301對(duì)從殘留混響/直接音分離703發(fā)送來的殘留混響的估計(jì)值應(yīng)用式(15),計(jì)算每幀的殘留混響成分的二次統(tǒng)計(jì)量(殘留混響的功率)。[數(shù)15]Vrev,l,m,f,τ(i)=y(tǒng)rev,l,m,f,τ(i)yrev,l,m,f,τ(i)H+(I-Wrev,l,m,f,τ(i))Rrev,l,m,f,τ(i)···(15)Vrev,l,m,f,τ(i)被發(fā)送至主軸計(jì)算(處理)1302,Crev,l,m,f通過式(16)更新。[數(shù)16](v)直接音參數(shù)估計(jì)處理直接音參數(shù)估計(jì)(處理)705估計(jì)直接音的統(tǒng)計(jì)量等參數(shù)。圖16是表示直接音參數(shù)估計(jì)705的細(xì)節(jié)的圖。在圖16中,直接音二次統(tǒng)計(jì)量計(jì)算(處理)1201對(duì)從殘留混響/直接音分離703發(fā)送來的殘留混響的估計(jì)值應(yīng)用式(17),計(jì)算各音源的每幀的直接音的協(xié)方差矩陣(被輸入至各麥克風(fēng)的直接音的功率以及信號(hào)到達(dá)各麥克風(fēng)為止的時(shí)間差成分)。[數(shù)17]Vs(n),f,τ(i)=y(tǒng)n,f,τ(i)yn,f,τ(i)H+(I-Wn,f,τ(i))Rs(n),f,τ(i)···(17)時(shí)變參數(shù)計(jì)算1202按照式(18)更新vs(n),f,τ(i)。在此,時(shí)變參數(shù)意味著包含直接音到達(dá)N個(gè)麥克風(fēng)為止的時(shí)間差的信息。[數(shù)18]進(jìn)而,主軸計(jì)算1203按照式(19)更新Cs(n),f。在此,主軸計(jì)算是指:考慮直接音到達(dá)N個(gè)麥克風(fēng)為止的時(shí)間差,求得N維(N個(gè)麥克風(fēng))中的N維多樣體(橢圓)的主軸(被輸入至各麥克風(fēng)的直接音的功率的偏差)。[數(shù)19]例如,在多個(gè)麥克風(fēng)被設(shè)置在會(huì)議室內(nèi)的情況下,若某說話者從特定方向說話,則各麥克風(fēng)中與說話者越接近的麥克風(fēng),各幀時(shí)間的被輸入至該麥克風(fēng)的聲音信號(hào)的功率越大。主軸計(jì)算1203是計(jì)算傳達(dá)到該各麥克風(fēng)的聲音信號(hào)的功率的偏差的處理,時(shí)變參數(shù)計(jì)算1202是計(jì)算到達(dá)各麥克風(fēng)為止的聲音信號(hào)(直接音)的時(shí)間差的處理。更具體而言,在設(shè)置兩個(gè)麥克風(fēng)m1以及m2的情況下,在m1-m2平面上將傳達(dá)到m1以及m2的聲音信號(hào)的功率繪出時(shí)的、連接原點(diǎn)和該繪點(diǎn)的直線的斜率表示主軸,該主軸長(原點(diǎn)至該繪點(diǎn)的距離)表示時(shí)變參數(shù)(時(shí)間差)。(vi)收斂判定處理所估計(jì)出的直接音的參數(shù)和殘留混響的參數(shù)被發(fā)送至收斂判定(處理)706。收斂判定706以是否執(zhí)行規(guī)定次數(shù)的反復(fù)計(jì)算、所估計(jì)出的參數(shù)的值與估計(jì)前的值之差是否為規(guī)定值以下等與一般的反復(fù)計(jì)算的情況相同的尺度,判定計(jì)算是否收斂。若收斂,則輸出混響去除的參數(shù),結(jié)束混響去除參數(shù)估計(jì)404的模塊。若沒有收斂,則處理轉(zhuǎn)移至線性混響成分權(quán)重計(jì)算702。(vii)線性混響成分權(quán)重計(jì)算處理由于直接音、殘留混響(變動(dòng)性混響成分)的功率按每時(shí)間發(fā)生變化,所以如上所述,通過圖11的處理作為變量而學(xué)習(xí)。從而,能夠掌握在T幀之中哪個(gè)幀的直接音、殘留混響的功率大(參照?qǐng)D3)。由于功率(直接音、殘留混響的功率之和)越大則變動(dòng)成分越大,所以該時(shí)間段不作為用于求得逆濾波器的參數(shù)的信息是上策。因此,在此,例如設(shè)為使用與功率(直接音、殘留混響的功率之和)的大小的倒數(shù)成比例的權(quán)重系數(shù)。線性混響成分權(quán)重計(jì)算(處理)707按照式(20)更新Rx,f,τ(i)。在此,N設(shè)為音源數(shù)。[數(shù)20]并且,每時(shí)間的權(quán)重被反饋到逆濾波器計(jì)算701。另外,在運(yùn)算初始階段,無法估計(jì)各時(shí)間段的各成分的功率,所以將權(quán)重系數(shù)設(shè)為1而開始運(yùn)算。并且,通過反復(fù)進(jìn)行圖11的運(yùn)算,能夠使權(quán)重系數(shù)收斂到適當(dāng)?shù)闹?。<在線混響去除處理的詳細(xì)>圖17是表示在線混響去除(處理)405的具體構(gòu)成的圖。在線混響去除(處理)405為通過依次計(jì)算提高參數(shù)估計(jì)精度的結(jié)構(gòu)。(i)緩沖處理緩沖(處理)801將每幀的時(shí)間頻域信號(hào)存儲(chǔ)到易失性存儲(chǔ)器103上。在本實(shí)施方式中,所存儲(chǔ)的時(shí)間頻域信號(hào)設(shè)為在T幀內(nèi)的信號(hào)之中從最新的時(shí)域信號(hào)起開始數(shù)L1幀(例如,5幀)量。在得到某幀的聲音信號(hào)時(shí),為了去除該幀的混響成分需要過去的幀的信號(hào)。因此,通過緩沖處理801積攢規(guī)定幀量的聲音信號(hào)而設(shè)為處理對(duì)象。(ii)線性混響成分消去處理線性混響成分消去(處理)702接受所存儲(chǔ)的L1幀量的時(shí)域信號(hào),通過逆濾波器去除混響成分。此時(shí),所應(yīng)用的逆濾波器是混響去除參數(shù)估計(jì)(處理)404輸出的混響去除的參數(shù)中包含的濾波器。(iii)殘留混響直接音分離處理殘留混響直接音分離(處理)703從線性混響成分消去(處理)702接受混響成分去除信號(hào),分離為直接音和殘留混響成分,輸出直接音。此時(shí),vs(n),f,τ的初始值設(shè)為1。此外,Cs(n),f是混響去除參數(shù)估計(jì)(處理)404輸出的混響去除的參數(shù)中包含的協(xié)方差矩陣。(iv)直接音方差估計(jì)處理由于聲音信號(hào)的功率按每時(shí)間發(fā)生變化,所以需要估計(jì)每時(shí)間的聲音功率的值。這是因?yàn)槔缂词巩a(chǎn)生了相同的說話者,由于按每時(shí)間輸出的音量發(fā)生變化,功率發(fā)生變化,所以需要實(shí)時(shí)更新估計(jì)值。因此,在直接音方差估計(jì)(處理)802中,僅對(duì)非線性參數(shù)之中的一部分參數(shù)(直接音的參數(shù))實(shí)時(shí)估計(jì)。并且,針對(duì)按每時(shí)間實(shí)時(shí)變化的部分,反復(fù)進(jìn)行估計(jì)處理而使得估計(jì)值的精度提高。另外,關(guān)于殘留混響(變動(dòng)性混響成分)的參數(shù),認(rèn)為時(shí)間變動(dòng)少,所以也可以直接使用以過去的幀學(xué)習(xí)的參數(shù)即可。在圖17中,直接音方差估計(jì)(處理)802以與殘留去除參數(shù)估計(jì)404內(nèi)的直接音參數(shù)估計(jì)705相同的流程,按照式(21)(與式(18)相同),計(jì)算處理對(duì)象的幀中的vs(n),f,τ(i)。[數(shù)21](v)收斂判定處理收斂判定(處理)706使用所估計(jì)出的直接音方差等參數(shù),進(jìn)行所求得的參數(shù)的收斂判定。在判斷為收斂的情況下,收斂判定(處理)706輸出所估計(jì)出的直接音并結(jié)束處理。在這以外的情況下,收斂判定(處理)706基于所估計(jì)出的直接音方差,再次執(zhí)行殘留混響直接音分離(處理)703。另外,是否收斂的判定如圖11所說明。(2)第二實(shí)施方式第二實(shí)施方式公開了在混響去除(處理)302中,事先取得多組通過混響去除參數(shù)估計(jì)(處理)404求得的過去的混響去除參數(shù),按每時(shí)間選擇并使用最優(yōu)的濾波器的結(jié)構(gòu)。圖18是表示本發(fā)明的第二實(shí)施方式的混響去除(處理)302的結(jié)構(gòu)的圖。另外,在本結(jié)構(gòu)的混響去除302中,幀化(處理)401至混響去除參數(shù)估計(jì)(處理)404的結(jié)構(gòu)以及處理、以及時(shí)域變換(處理)406與已經(jīng)說明的圖8的結(jié)構(gòu)相同。在圖18中,參數(shù)寫入控制(處理)903是切換是否將混響去除參數(shù)估計(jì)404輸出的混響去除參數(shù)登記為新的混響去除參數(shù)切換的處理?;祉懭コ齾?shù)數(shù)據(jù)庫901將預(yù)先決定的個(gè)數(shù)量的混響去除參數(shù)存儲(chǔ)至數(shù)據(jù)庫內(nèi)。作為參數(shù)寫入控制903執(zhí)行的處理,例如也可以采用以下兩種結(jié)構(gòu),第一種結(jié)構(gòu)是廢棄在混響去除參數(shù)數(shù)據(jù)庫901內(nèi)存儲(chǔ)的混響去除參數(shù)之中所存儲(chǔ)的時(shí)間最早的混響去除參數(shù),代而儲(chǔ)存新的混響去除參數(shù)的結(jié)構(gòu);第二種結(jié)構(gòu)是廢棄混響去除時(shí)的似然性(likelihood:在此與誤差同義)的值最小的混響去除參數(shù),代而儲(chǔ)存新的混響去除參數(shù)的結(jié)構(gòu)。此外,所廢棄的混響去除參數(shù)也可以采用廢棄按每個(gè)頻率在相同的定時(shí)存儲(chǔ)的混響去除參數(shù)的結(jié)構(gòu)。在此,若將混響去除參數(shù)數(shù)據(jù)庫901中存儲(chǔ)的混響去除參數(shù)的數(shù)目設(shè)為A,則在線混響去除(處理)405-1~405-A分別執(zhí)行以各混響去除參數(shù)通過在線處理去除混響成分的處理。最優(yōu)混響去除音選擇(處理)902在通過各混響去除參數(shù)去除的混響去除音之中選擇一個(gè)混響去除音。例如也可以采取選擇在各混響去除音之中音量最小的成分的結(jié)構(gòu)、或選擇似然性值最大的混響去除音的結(jié)構(gòu)。此外,音量成分、似然性值的計(jì)算也可以使用在頻率方向上平均而得到的值。所選擇的混響去除音被發(fā)送至?xí)r域變換(處理)406,變換為時(shí)域信號(hào)并輸出。例如,能夠關(guān)于低頻域的聲音信號(hào)使用參數(shù)1,關(guān)于高頻域的聲音信號(hào)使用參數(shù)2進(jìn)行混響去除。由此,能夠按每頻率求得最優(yōu)的濾波器,即使在多個(gè)人同時(shí)發(fā)聲的場(chǎng)景下也能夠執(zhí)行準(zhǔn)確的混響去除處理。此外,在第二實(shí)施方式中,積蓄過去求得的混響去除參數(shù),即使說話者切換也能夠使用過去求得的最優(yōu)的參數(shù),所以能夠迅速地執(zhí)行混響去除處理。(3)第三實(shí)施方式第三實(shí)施方式涉及在相同的框架(framework)內(nèi)執(zhí)行混響去除和回波消除器,能夠提高混響去除和回波消除器的雙方的性能的結(jié)構(gòu)。還能夠使混響去除和回波消除器的消去分別動(dòng)作,該結(jié)構(gòu)是單純的結(jié)構(gòu)(參照?qǐng)D6)。但是,由于回波消除器的濾波器始終形狀發(fā)生變化,所以存在不能通過回波消除器消去的聲音對(duì)混響去除造成不良影響的情況。因此,將混響去除及回波消除器同時(shí)(考慮相互的影響)最優(yōu)化而不是將兩個(gè)分別最優(yōu)化,能夠使得系統(tǒng)整體的性能更加提高。用于將其實(shí)現(xiàn)的結(jié)構(gòu)是第三實(shí)施方式所涉及的結(jié)構(gòu)。圖19是概略性地表示執(zhí)行第三實(shí)施方式的處理的中央運(yùn)算裝置的內(nèi)部結(jié)構(gòu)的圖。在中央運(yùn)算裝置102內(nèi)執(zhí)行的程序內(nèi),混響去除及回波消除器2001接收數(shù)字聲音波形(麥克風(fēng)輸入信號(hào))以及遠(yuǎn)端數(shù)字聲音波形(參考信號(hào)),對(duì)其同時(shí)執(zhí)行混響去除處理以及回波消除處理,輸出混響去除/回波消除后的聲音波形。<混響去除及回波消除器的結(jié)構(gòu)>圖20是表示混響去除及回波消除器2001的具體構(gòu)成的圖。離線參數(shù)估計(jì)(處理)1800接收數(shù)字聲音波形(麥克風(fēng)輸入信號(hào))和遠(yuǎn)端數(shù)字聲音波形(參考信號(hào)),估計(jì)混響去除和音響回波消除器用的參數(shù)。離線參數(shù)估計(jì)1800在每得到多個(gè)幀(T幀量)時(shí)域信號(hào)時(shí)執(zhí)行估計(jì)處理。參照?qǐng)D21在后面敘述離線參數(shù)估計(jì)(處理)1800的詳細(xì)的結(jié)構(gòu)以及處理。在線音響回波/混響去除(處理)2301使用由離線參數(shù)估計(jì)1800估計(jì)出的參數(shù),對(duì)每幀的時(shí)間頻域信號(hào)進(jìn)行混響去除以及音響回波成分的去除。參照?qǐng)D24在后面敘述在線音響回波/混響去除(處理)2301的詳細(xì)的結(jié)構(gòu)以及處理。時(shí)域變換406將去除了混響成分以及音響回波成分的時(shí)間頻域信號(hào)變換為時(shí)域信號(hào)并將其輸出。<離線參數(shù)估計(jì)處理的細(xì)節(jié)>圖21是表示離線參數(shù)估計(jì)(處理)1800的具體的模塊結(jié)構(gòu)的圖。將通過麥克風(fēng)陣列105得到的聲音波形變換為數(shù)字信號(hào)而得到的數(shù)字聲音波形以及遠(yuǎn)端數(shù)字聲音波形(稱呼為參考信號(hào))一起被實(shí)施幀化(處理)401以及頻率分解(處理)402,變換為時(shí)間頻域信號(hào)。若將構(gòu)成揚(yáng)聲器陣列107的揚(yáng)聲器元件之中第b個(gè)元件的參考信號(hào)的時(shí)域信號(hào)記載為Xref,b(f,τ),則Xm(f,τ)以及Xref,b(f,τ)一起通過緩沖403以多個(gè)幀量(T幀)被積蓄至緩沖器。在此,設(shè)為Xref,b(f,τ)=[Xref,1(f,τ),···,Xref,b(f,τ)],將B設(shè)為揚(yáng)聲器元件數(shù)。并且,在每次通過緩沖(處理)403積攢T幀量的數(shù)據(jù)時(shí),執(zhí)行混響/音響回波消去用參數(shù)估計(jì)(處理)1801,混響/音響回波消去用參數(shù)被輸出。參照?qǐng)D22在后面敘述混響/音響回波消去用參數(shù)估計(jì)(處理)1801的詳細(xì)的結(jié)構(gòu)以及處理。<混響/音響回波消去用參數(shù)估計(jì)處理的細(xì)節(jié)>圖22是表示混響/音響回波消去用參數(shù)估計(jì)(處理)1801的具體的模塊結(jié)構(gòu)的圖。由于線性混響成分消去702、殘留混響參數(shù)估計(jì)704、直接音參數(shù)估計(jì)705、以及收斂判定706是如上述的結(jié)構(gòu)以及處理,所以省略詳細(xì)的說明。(i)逆濾波器計(jì)算處理逆濾波器計(jì)算(處理)1908通過前述的方法(第一實(shí)施方式)求得混響(非變動(dòng)成分)去除用的逆濾波器。在計(jì)算逆濾波器時(shí),也可以代替麥克風(fēng)輸入信號(hào)而使用利用線性音響回波消去濾波器計(jì)算(處理)1901的結(jié)果消去線性音響回波而得到的信號(hào)。此時(shí),逆濾波器計(jì)算1908具有線性音響回波消去(處理)1902的功能。也就是說,逆濾波器計(jì)算1908使用線性音響回波消去濾波器計(jì)算1901所計(jì)算出的回波消去濾波器,消去了輸入信號(hào)(多個(gè)幀的頻域信號(hào))中包含的音響回波后,計(jì)算混響去除用的逆濾波器。(ii)線性音響回波消去濾波器計(jì)算處理線性音響回波消去濾波器計(jì)算(處理)1901使用式(22)求得音響回波消去用的濾波器。[數(shù)22]Jf=ivec(Jp,f-1Jq,f)···(22)此時(shí),線性音響回波消去濾波器計(jì)算(處理)1901也可以代替麥克風(fēng)輸入信號(hào)而使用利用通過前述的逆濾波器計(jì)算1908求得的逆濾波器去除混響成分而得到的信號(hào)來求得音響回波消去用的濾波器。此時(shí),線性音響回波消去濾波器計(jì)算(處理)1901具有線性混響成分消去(處理)702的功能。也就是說,線性音響回波消去濾波器計(jì)算(處理)1901在使用通過逆濾波器計(jì)算1908計(jì)算出的混響去除用的逆濾波器去除了混響后,計(jì)算線性音響回波消去濾波器。在式(22)中,Jp,f、Ju,f,τ(i)以及Jq,f分別由式(23)、(24)以及(25)定義。[數(shù)23][數(shù)24][數(shù)25]此外,音響回波消去用濾波器如式(26)那樣,被分割為每抽頭的濾波器。[數(shù)26](iii)線性音響回波消去處理線性音響回波消去(處理)1902按照式(27),取得使用通過線性音響回波消去濾波器計(jì)算1901計(jì)算出的音響回波消去用的濾波器消去音響回波成分而得到的信號(hào)g2,f,τ(i)。[數(shù)27](iv)殘留混響/殘留音響回波/直接音分離處理殘留混響/殘留音響回波/直接音分離(處理)1904關(guān)于殘留混響以及直接音,以與殘留混響/直接音分離703(第一實(shí)施方式)相同的方法求得。另外,關(guān)于殘留音響回波,通過將由式(28)求得的殘留音響回波提取用濾波器Wref,l,b,f,τ(i)與g2,f,τ(i)重疊,從而按照式(29)計(jì)算殘留音響回波估計(jì)值yref,l,b,f,τ(i)。[數(shù)28]Wref,l,b,f,τ(i)=Rref,l,b,f,τ(i)Rx,f,τ(i)-1···(28)[數(shù)29]yref,l,b,f,τ(i)=Wref,l,b,f,τ(i)g2,f,τ(i)···(29)在此,Rref,l,b,f,τ(i)能夠通過式(30)求得。[數(shù)30]Rref,l,b,f,τ(i)=|xref,f,τ(i)-l(b)|2Cref,l,b,f···(30)在式(30)中,Cref,l,b,f是通過反復(fù)計(jì)算而更新的參數(shù),初始值設(shè)為隨機(jī)的正定埃爾米特矩陣。(v)殘留音響回波參數(shù)估計(jì)處理殘留音響回波參數(shù)估計(jì)(處理)1906通過與殘留混響參數(shù)估計(jì)(處理)704(圖11:第一實(shí)施方式)相同的處理來更新Cref,l,b,f。由于詳細(xì)的說明如上述,所以在此進(jìn)行省略。(vi)線性混響/回波成分權(quán)重計(jì)算處理線性混響/回波成分權(quán)重計(jì)算(處理)1907通過式(31)計(jì)算Rx,f,τ(i)。[數(shù)31]并且,如圖23所示,在不僅對(duì)Rx,f,τ(i)有影響的變動(dòng)性混響成分大、而且變動(dòng)性音響回波成分大的情況下,能夠高精度地求得線性濾波器以使這些權(quán)重變小。<在線音響回波/混響去除處理>圖24是表示在線(實(shí)時(shí))音響回波/混響去除(處理)2301的具體構(gòu)成的圖。數(shù)字聲音波形(麥克風(fēng)輸入聲音信號(hào))以及遠(yuǎn)端數(shù)字聲音波形(參考信號(hào))被實(shí)施幀化(處理)401以及頻率分解(處理)402,進(jìn)而通過緩沖(處理)403被緩沖。緩沖后的聲音波形被發(fā)送至線性音響回波/混響去除(處理)1902。線性音響回波/混響去除(處理)1902對(duì)所接收到的聲音波形的各幀的數(shù)據(jù)去除非變動(dòng)性的混響和音響回波成分。之后,殘留混響/殘留音響回波/直接音分離(處理)1904僅提取直接音。直接音方差估計(jì)(處理)802接收從殘留混響/殘留音響回波/直接音分離(處理)1904提取出的直接音,計(jì)算vs(n),f,τ。該處理的細(xì)節(jié)如第一實(shí)施方式所說明,所以省略說明。之后,收斂判定(處理)706判定方差估計(jì)是否收斂,若收斂則輸出所估計(jì)出的直接音成分。在這以外的情況下,將所估計(jì)出的直接音方差值返回殘留混響/殘留音響回波/直接音分離1904,再次執(zhí)行直接音估計(jì)處理。該處理的細(xì)節(jié)也如第一實(shí)施方式所說明。(4)第四實(shí)施方式第四實(shí)施方式涉及通過會(huì)議信息計(jì)算服務(wù)器201執(zhí)行混響去除之中計(jì)算量尤其大的混響去除參數(shù),通過每據(jù)點(diǎn)會(huì)議系統(tǒng)100執(zhí)行此外的實(shí)時(shí)的混響去除處理的分散結(jié)構(gòu)。圖25是表示第四實(shí)施方式的整體的系統(tǒng)概略結(jié)構(gòu)的圖。在圖25中,幀化(處理)401、頻率分解(處理)402、以及緩沖(處理)403通過每據(jù)點(diǎn)會(huì)議系統(tǒng)100執(zhí)行。并且,在積蓄了T幀量時(shí)間頻域信號(hào)后,每據(jù)點(diǎn)會(huì)議系統(tǒng)100將該時(shí)間頻域信號(hào)發(fā)送至?xí)h信息計(jì)算服務(wù)器201。會(huì)議信息計(jì)算服務(wù)器201接收從每據(jù)點(diǎn)會(huì)議系統(tǒng)100發(fā)送來的T幀量時(shí)間頻域信號(hào),對(duì)該信號(hào)執(zhí)行混響去除參數(shù)估計(jì)404。并且,會(huì)議信息計(jì)算服務(wù)器201將所估計(jì)出的混響去除參數(shù)從服務(wù)器發(fā)送至每據(jù)點(diǎn)會(huì)議系統(tǒng)100。每據(jù)點(diǎn)會(huì)議系統(tǒng)100在每次得到每幀的時(shí)間周波區(qū)域信號(hào)時(shí),執(zhí)行在線混響去除405、以及時(shí)域變換406,取得混響去除音(混響去除后的直接音)。另外,會(huì)議信息計(jì)算服務(wù)器201也可以代替混響去除參數(shù)估計(jì)(處理)404的結(jié)構(gòu)而包含第三實(shí)施方式所示的混響/音響回波消去用參數(shù)估計(jì)(處理)1801的結(jié)構(gòu)。此時(shí),每據(jù)點(diǎn)會(huì)議系統(tǒng)100代替在線混響去除(處理)405的結(jié)構(gòu)而包含第三實(shí)施方式所示的在線音響回波/混響去除(處理)2301的結(jié)構(gòu)。(5)匯總(i)在本發(fā)明的第一實(shí)施方式的混響去除參數(shù)估計(jì)裝置中,在易失性存儲(chǔ)器等存儲(chǔ)器中存儲(chǔ)混響去除參數(shù),按照處理而依次進(jìn)行更新。在存儲(chǔ)器中,至少存儲(chǔ)用于去除聲音輸入信號(hào)中包含的非變動(dòng)性混響成分的線性濾波器的參數(shù)、以及用于去除聲音輸入信號(hào)中包含的變動(dòng)性混響成分的非線性濾波器的參數(shù)。并且,中央處理裝置等處理器估計(jì)以及更新用于去除聲音輸入信號(hào)中包含的混響成分而取得直接音的混響去除參數(shù),將該混響去除參數(shù)作為線性濾波器的參數(shù)以及非線性濾波器的參數(shù)存儲(chǔ)至存儲(chǔ)器。更具體而言,處理器(逆濾波器計(jì)算701以及線性混響成分消去702)從存儲(chǔ)器讀出線性濾波器的參數(shù),通過該線性濾波器去除聲音輸入信號(hào)中包含的非變動(dòng)性混響成分,生成線性混響去除信號(hào)的估計(jì)值。接著,處理器(殘留混響/直接音分離703)從存儲(chǔ)器讀出非線性濾波器的參數(shù),使用該非線性濾波器,生成線性混響去除信號(hào)的估計(jì)值中包含的變動(dòng)性混響成分以及直接音成分的估計(jì)值。接下來,處理器(殘留混響參數(shù)估計(jì)704以及直接音參數(shù)估計(jì)705)基于變動(dòng)性混響成分以及直接音的估計(jì)值,執(zhí)行主軸運(yùn)算(參照?qǐng)D15以及16),更新構(gòu)成非線性濾波器的參數(shù)的變動(dòng)性混響成分以及直接音成分的參數(shù)。并且,處理器(線性混響成分權(quán)重計(jì)算707以及逆濾波器計(jì)算701)基于更新后的變動(dòng)性混響成分以及直接音成分的參數(shù),依次更新線性濾波器的參數(shù)。也就是說,將用于去除非變動(dòng)性混響成分的線性濾波器的參數(shù)固定為某值,估計(jì)用于去除變動(dòng)性混響成分的非線性濾波器的參數(shù),對(duì)照所得到的估計(jì)值而再次更新線性濾波器的參數(shù),反復(fù)進(jìn)行參數(shù)估計(jì)處理直至估計(jì)參數(shù)收斂為止。通過這樣,能夠高精度地估計(jì)用于進(jìn)行混響去除的線性以及非線性濾波器的參數(shù)(混響去除參數(shù))。并且,通過使用該參數(shù)執(zhí)行混響去除處理,能夠高精度地去除混響成分,而不使來自麥克風(fēng)的聲音輸入信號(hào)的直接音成分失真。此外,處理器(線性混響成分權(quán)重計(jì)算707)根據(jù)更新后的變動(dòng)性混響成分以及直接音成分的參數(shù),反映聲音輸入信號(hào)中變動(dòng)性混響成分和直接音成分之和大的時(shí)間段而決定(參照?qǐng)D3)線性濾波器的權(quán)重系數(shù),更新線性濾波器的參數(shù)。像這樣,通過使得線性濾波器的傳遞函數(shù)有可能起伏的時(shí)間段中的濾波器系數(shù)的權(quán)重減小,能夠增大存在較大非變動(dòng)性混響成分的時(shí)間段的比重而提取信號(hào),所以能夠減輕傳遞函數(shù)的估計(jì)精度下降的影響。在本發(fā)明的實(shí)施方式中,作為聲音輸入信號(hào),設(shè)想來自多個(gè)麥克風(fēng)的聲音信號(hào)。此時(shí),處理器(殘留混響/直接音分離703)生成來自多個(gè)麥克風(fēng)各自的聲音信號(hào)中包含的直接音成分的估計(jì)值以及變動(dòng)性混響成分的估計(jì)值。并且,處理器(殘留混響參數(shù)估計(jì)704以及直接音參數(shù)估計(jì)705)提取來自各個(gè)麥克風(fēng)的直接音成分以及變動(dòng)性混響成分的估計(jì)值的二次統(tǒng)計(jì)量,根據(jù)二次統(tǒng)計(jì)量,將表示多個(gè)麥克風(fēng)的聲音信號(hào)的直接音成分以及變動(dòng)性混響成分的各個(gè)功率的偏差的信息設(shè)為變動(dòng)性混響成分以及直接音成分的參數(shù)。通過這樣,在從音源(說話者、墻壁以及人物等反射體的聲音反射面(從音源發(fā)出的音反射的地方))至各麥克風(fēng)的距離不同的情況下,能夠考慮被輸入至各麥克風(fēng)的聲音的功率的偏差,估計(jì)可高精度地去除混響的參數(shù)。第一實(shí)施方式進(jìn)而提出具有上述的混響去除參數(shù)估計(jì)裝置的混響去除裝置。在該裝置(參照?qǐng)D8以及17)中,處理器(中央處理裝置)從混響去除參數(shù)估計(jì)裝置取得混響去除參數(shù),從聲音輸入信號(hào)去除非變動(dòng)性混響成分以及變動(dòng)性混響成分,輸出所述直接音成分。更具體而言,處理器(線性混響成分消去702)通過線性濾波器從聲音輸入信號(hào)去除非變動(dòng)性混響成分,估計(jì)線性混響去除信號(hào)。接著,處理器(殘留混響/直接音分離703)通過非線性濾波器從線性混響去除信號(hào)分離變動(dòng)性混響成分和直接音成分。并且,處理器(直接音方差估計(jì)802以及收斂判定706)學(xué)習(xí)直接音成分中的每時(shí)間的功率的變化,輸出該功率的變化收斂的直接音成分。通過這樣,能夠?qū)崟r(shí)高精度地去除混響。此外,由于執(zhí)行直接音方差估計(jì)(根據(jù)按每時(shí)間變化的聲音功率來更新直接音的處理),所以能夠追隨于伴隨時(shí)間經(jīng)過而發(fā)生的聲音功率的變化而提取沒有失真的直接音。(ii)第二實(shí)施方式提出了其他的混響去除裝置。該裝置(圖18)具有存儲(chǔ)通過混響去除參數(shù)估計(jì)裝置得到的混響去除參數(shù)的混響去除參數(shù)數(shù)據(jù)庫。在該數(shù)據(jù)庫中,存儲(chǔ)了過去估計(jì)而得到的混響去除參數(shù)的全部或一部分。在該裝置中,處理器(與被設(shè)置的麥克風(fēng)對(duì)應(yīng)的在線混響去除450-1至405-A)從混響去除參數(shù)數(shù)據(jù)庫取得對(duì)應(yīng)的多個(gè)混響去除參數(shù),使用該多個(gè)混響去除參數(shù)的每一個(gè),從聲音輸入信號(hào)去除非變動(dòng)性混響成分以及變動(dòng)性混響成分,生成多個(gè)直接音成分,輸出該多個(gè)直接音成分之中最優(yōu)的直接音成分。像這樣,能夠使用已估計(jì)的參數(shù)執(zhí)行混響去除的處理,所以能夠迅速地進(jìn)行混響去除處理,因而有益于實(shí)時(shí)處理。(iii)在第三實(shí)施方式中,在存儲(chǔ)器中,存儲(chǔ)了用于去除聲音輸入信號(hào)中包含的非變動(dòng)性混響成分的線性混響濾波器的參數(shù)、用于去除聲音輸入信號(hào)中包含的非變動(dòng)性回波成分的線性回波消去濾波器的參數(shù)、以及用于去除聲音輸入信號(hào)中包含的變動(dòng)性混響成分以及變動(dòng)性回波成分的非線性濾波器的參數(shù)。此外,處理器(中央處理裝置)去除聲音輸入信號(hào)中包含的混響成分以及回波成分,估計(jì)用于取得直接音的混響/回波去除參數(shù),將該混響/回波去除參數(shù)作為線性混響濾波器的參數(shù)、線性回波消去濾波器的參數(shù)、以及非線性濾波器的參數(shù)存儲(chǔ)至存儲(chǔ)器。更具體而言,處理器(逆濾波器計(jì)算1908以及線性音響回波消去濾波器計(jì)算1901)從存儲(chǔ)器讀出線性混響濾波器的參數(shù)的參數(shù)和線性回波消去濾波器的參數(shù),通過線性混響濾波器以及線性回波消去濾波器去除聲音輸入信號(hào)中包含的非變動(dòng)性混響成分以及非變動(dòng)性回波成分,生成線性混響/回波去除信號(hào)的估計(jì)值。此時(shí),逆濾波器計(jì)算1908和線性音響回波消去濾波器計(jì)算1901利用相互的處理結(jié)果來計(jì)算濾波器。也就是說,線性音響回波消去濾波器計(jì)算1901使用從聲音輸入信號(hào)去除了非變動(dòng)性混響成分而得到的信號(hào)來計(jì)算線性音響回波消去濾波器。另一方面,逆濾波器計(jì)算1908使用從聲音輸入信號(hào)去除了非變動(dòng)音響回波成分而得到的信號(hào)來計(jì)算逆濾波器。接著,處理器(殘留混響/殘留音響回波/直接音分離1904)使用非線性濾波器,生成線性混響/回波去除信號(hào)的估計(jì)值中包含的變動(dòng)性混響成分、變動(dòng)性回波成分、以及直接音成分的估計(jì)值。進(jìn)而,處理器(殘留混響參數(shù)估計(jì)704、直接音參數(shù)估計(jì)705、以及殘留音響回波參數(shù)估計(jì)1906)基于變動(dòng)性混響成分、變動(dòng)性回波成分、以及直接音的估計(jì)值,更新構(gòu)成非線性濾波器的參數(shù)的變動(dòng)性混響成分、變動(dòng)性回波成分、以及直接音成分的參數(shù)。并且,處理器(線性混響/回波成分權(quán)重計(jì)算1907、線性音響回波消去濾波器計(jì)算1901、以及逆濾波器計(jì)算1908)基于更新后的變動(dòng)性混響成分、變動(dòng)性回波成分、以及直接音成分的參數(shù),依次更新線性混響濾波器以及線性回波消去濾波器的參數(shù)。通過這樣在相同的框架內(nèi)執(zhí)行混響去除和回波消除,能夠估計(jì)可使雙方的處理精度提高的參數(shù)。(iv)第四實(shí)施方式提出了將處理中花費(fèi)負(fù)荷的混響參數(shù)估計(jì)處理在會(huì)議系統(tǒng)的計(jì)算機(jī)服務(wù)器中執(zhí)行的結(jié)構(gòu)(圖25)。通過這樣,能夠減輕各個(gè)據(jù)點(diǎn)中的會(huì)議系統(tǒng)的處理負(fù)荷,所以能夠確保會(huì)議系統(tǒng)的實(shí)時(shí)性,并且能夠大幅削減用于構(gòu)筑該會(huì)議系統(tǒng)的成本。(v)本發(fā)明也能夠通過實(shí)現(xiàn)實(shí)施方式的功能的軟件的程序代碼來實(shí)現(xiàn)。此時(shí),將記錄了程序代碼的存儲(chǔ)介質(zhì)提供給系統(tǒng)或裝置,該系統(tǒng)或裝置的計(jì)算機(jī)(或CPU、MPU)讀出存儲(chǔ)介質(zhì)中存儲(chǔ)的程序代碼。此時(shí),從存儲(chǔ)介質(zhì)讀出的程序代碼本身實(shí)現(xiàn)前述的實(shí)施方式的功能,該程序代碼本身以及將其存儲(chǔ)的存儲(chǔ)介質(zhì)構(gòu)成本發(fā)明。作為用于供應(yīng)這樣的程序代碼的存儲(chǔ)介質(zhì),例如使用軟磁盤、CD-ROM、DVD-ROM、硬盤、光盤,光磁盤、CD-R、磁帶、非易失性的存儲(chǔ)卡、ROM等。此外,也可以是基于程序代碼的指示,在計(jì)算機(jī)上工作的OS(操作系統(tǒng))等進(jìn)行實(shí)際的處理的一部分或全部,通過該處理而實(shí)現(xiàn)前述的實(shí)施方式的功能。進(jìn)而,在從存儲(chǔ)介質(zhì)讀出的程序代碼被寫入計(jì)算機(jī)上的存儲(chǔ)器后,基于該程序代碼的指示,計(jì)算機(jī)的CPU等進(jìn)行實(shí)際的處理的一部分或全部,通過該處理實(shí)現(xiàn)前述的實(shí)施方式的功能。進(jìn)而,也可以是通過將實(shí)現(xiàn)實(shí)施方式的功能的軟件的程序代碼經(jīng)由網(wǎng)絡(luò)進(jìn)行分發(fā),將其存儲(chǔ)至系統(tǒng)或裝置的硬盤、存儲(chǔ)器等存儲(chǔ)部件或CD-RW、CD-R等的存儲(chǔ)介質(zhì),在使用時(shí)該系統(tǒng)或裝置的計(jì)算機(jī)(或CPU、MPU)讀出并執(zhí)行該存儲(chǔ)部件、該存儲(chǔ)介質(zhì)中存儲(chǔ)的程序代碼。最后,需要理解在此敘述的進(jìn)程以及技術(shù)還能夠通過元件(component)的任意相應(yīng)的組合來安裝,而不是本質(zhì)上關(guān)聯(lián)于任意特定的裝置。進(jìn)而,通用目的的多樣類型的設(shè)備能夠根據(jù)在此記述的教導(dǎo)而使用。可知為了執(zhí)行在此敘述的方法的步驟,構(gòu)筑專用的裝置是有益的。此外,通過實(shí)施方式中公開的多個(gè)結(jié)構(gòu)要素的適當(dāng)?shù)慕M合,能夠形成各種發(fā)明。例如,也可以從實(shí)施方式所示出的全部結(jié)構(gòu)要素刪除其中幾個(gè)結(jié)構(gòu)要素。進(jìn)而,也可以適當(dāng)組合跨越不同的實(shí)施方式的結(jié)構(gòu)要素。本發(fā)明關(guān)聯(lián)于具體例而記述,但這只是為了說明而不是為了限定全部觀點(diǎn)。對(duì)于在本領(lǐng)域有技能的人來說,應(yīng)該理解存在相應(yīng)于實(shí)施本發(fā)明的硬件、軟件、以及固件的多個(gè)組合。例如,所記述的軟件能夠以匯編(Assembler)、C/C++、perl、Shell、PHP、Java(注冊(cè)商標(biāo))等的大范圍的程序或腳本語言來安裝。進(jìn)而,在上述的實(shí)施方式中,僅示出了認(rèn)為說明上所需的控制線、信息線,不一定示出產(chǎn)品上全部控制線、信息線。也可以是全部結(jié)構(gòu)相互連接。此外,對(duì)于具有本技術(shù)領(lǐng)域的常識(shí)的人來說,根據(jù)此處公開的本發(fā)明的說明書以及實(shí)施方式的考察,可以明確本發(fā)明的其他安裝。所記述的實(shí)施方式的多樣的方式和/或元件在具有管理數(shù)據(jù)的功能的計(jì)算機(jī)化儲(chǔ)存系統(tǒng)中,能夠以單獨(dú)或任意組合來使用。說明書和具體例不過是典型的例子,本發(fā)明的范圍和精神由后續(xù)的權(quán)利要求書來示出。附圖標(biāo)記說明100……每據(jù)點(diǎn)會(huì)議系統(tǒng),101……非易失性存儲(chǔ)器,102……中央運(yùn)算裝置,103……易失性存儲(chǔ)器,104……A/D變換器,105……麥克風(fēng)陣列,106……D/A變換器,107……揚(yáng)聲器陣列,108……HUB、109……攝像機(jī),110……顯示器,201……會(huì)議信息計(jì)算服務(wù)器,202……MCU、301……回波消除器,302……混響去除,401……幀化,402……頻率分解,403……緩沖,404……混響去除參數(shù)估計(jì),405……在線混響去除,406……時(shí)域變換,701……逆濾波器計(jì)算,702……線性混響成分消去,703……殘留混響/直接音分離,704……殘留混響參數(shù)估計(jì),705……直接音參數(shù)估計(jì),706……收斂判定,707……線性混響成分權(quán)重計(jì)算,801……緩沖,802……直接音方差估計(jì),901……混響去除參數(shù)數(shù)據(jù)庫、902……最優(yōu)混響去除音選擇,903……參數(shù)寫入控制,1102……直接音濾波器系數(shù)估計(jì),1103……殘留混響濾波器系數(shù)估計(jì),1104……每時(shí)間的目的音方差估計(jì),1105……每時(shí)間的殘留混響方差估計(jì),1201……直接音二次統(tǒng)計(jì)量計(jì)算,1202……時(shí)變參數(shù)計(jì)算,1203……主軸計(jì)算,1301……殘留混響二次統(tǒng)計(jì)量計(jì)算,1302……主軸計(jì)算,1401……加權(quán)相關(guān)矩陣計(jì)算,1402……加權(quán)協(xié)方差矩陣計(jì)算,1403……濾波器計(jì)算,1800……離線參數(shù)估計(jì),1801……混響/音響回波消去用參數(shù)估計(jì),1901……線性音響回波消去濾波器計(jì)算,1902……線性音響回波消去,1904……殘留混響/殘留音響回波/直接音分離,1906……殘留音響回波參數(shù)估計(jì),1907……線性混響/回波成分權(quán)重計(jì)算,1908……逆濾波器計(jì)算,2001……混響去除及回波消除器,2301……在線音響回波/混響去除。