專利名稱：一種語種識別系統(tǒng)及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及語音識別領(lǐng)域，特別涉及一種語種識別系統(tǒng)及方法。
背景技術(shù)：
語種識別是一種完全自動的判別一段語音信號的語種類別的技術(shù)，近年來，該技術(shù)在國防，安全，監(jiān)控等領(lǐng)域獲得廣泛應(yīng)用。目前，該技術(shù)的主要系統(tǒng)架構(gòu)是傳統(tǒng)的并行音子識別器加語言模型(PPRLM)方法。該方法利用不同語種之間的音位配列之間的差異，即利用不同語種之間，發(fā)音的音子，音子串，以及音子出現(xiàn)的頻率和前后文關(guān)系的不同，來區(qū)分各個(gè)語種。這也是人類區(qū)分不同語種的重要特征。
圖1為傳統(tǒng)的PPRLM系統(tǒng)的一個(gè)支路的結(jié)構(gòu)，稱之為音子識別器加語言模型系統(tǒng)(PRLM)。在PRLM系統(tǒng)中，語音首先提取特征后被送入一個(gè)音子識別器，識別出來的音子序列送到各個(gè)備選語種的語言模型中打分，然后對各個(gè)語言模型的得分進(jìn)行比較而得出結(jié)論。
而并行音子識別器加語言模型的方法，則是多個(gè)PRLM并行的方法。其結(jié)構(gòu)如圖2所示。
目前，PPRLM的方法是語種識別系統(tǒng)的主要方法，在歷屆NIST評測中取得了很好的效果，然而，PPRLM系統(tǒng)有其自身的使用局限性前端的音子識別器需要很大的計(jì)算量，從而嚴(yán)重的影響了PPRLM系統(tǒng)的實(shí)際應(yīng)用。

發(fā)明內(nèi)容
為了克服現(xiàn)有技術(shù)中的不足，本發(fā)明提供一種語種識別系統(tǒng)及方法，該系統(tǒng)及方法利用基于混合高斯模型(G國)的生成性音子序列解碼模塊，代替PPRLM前端的音子識別器，這樣可以避免PPRLM系統(tǒng)中前端音子識別器所需要的計(jì)算量。
為了達(dá)到上述目的，本發(fā)明提供的一種語種識別系統(tǒng)，該系統(tǒng)包括
一預(yù)處理和特征提取模塊，用于對輸入的語音信號做預(yù)處理、提取語音信號的特征，并將該特征送入生成性音子序列解碼模塊。
一生成性音子序列解碼模塊，用于將訓(xùn)練語種語音數(shù)據(jù)通過EM迭代準(zhǔn)則，訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型，并根據(jù)該混合高斯模型對輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列，并將該音子序列送入n元文法語言語法模型模塊。一n元文法語言語法模型模塊，用于對送入的音子序列進(jìn)行似然打分，并將該
得分送入分類器。及
一分類器，用于將n元文法語言語法模型模塊的打分進(jìn)行比較，最終確定輸入
的語音信號的語種類別。
其中，所述生成性音子序列解碼模塊包括
一混合高斯模型訓(xùn)練模塊，用于將訓(xùn)練語種語音數(shù)據(jù)通過em迭代準(zhǔn)則訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型。
所述迭代準(zhǔn)則是訓(xùn)練產(chǎn)生的混合高斯模型參數(shù)與訓(xùn)練種語語音的似然度達(dá)到最
大，對于訓(xùn)練種語語音特征序列i-"，a"j",各幀之間相互獨(dú)立，則該訓(xùn)練種
語語音特征序列對于混合高斯模型的似然度定義為
;7(ZI李fj/^i;i)
其中，t為一段種語語音的幀數(shù)，《是第t幀種語語音的特征。
最大期望(em)，法基本思想是首先初始化模型參數(shù)^，再估計(jì)新的模型參數(shù)I ，使其滿足條件p(z I》》I A)，然后再以估計(jì)的值作為下一次重估的初始值重新估計(jì)模型參數(shù)值，不斷重復(fù)此參數(shù)重估過程，直到收斂條件得到滿足。
一混合高斯模型解碼模塊，用于利用混合高斯模型，根據(jù)后驗(yàn)概率計(jì)算公式對輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列。
所述后驗(yàn)概率計(jì)算公式如下-
其中，；7(/l《)是觀測數(shù)據(jù)《在第/個(gè)高斯分量上的后驗(yàn)概率，w,力,(《)是觀測數(shù)據(jù)《在第f個(gè)高斯分量上的觀察概率，Z二(《)則是觀測數(shù)據(jù)《在m個(gè)高斯分量上的總觀察概率。
對于每幀輸入語音的特征數(shù)據(jù)，該特征數(shù)據(jù)的發(fā)音是所有混合高斯模型分量當(dāng)中具有最大后驗(yàn)概率的分量。
一序列平滑模塊，用于利用平滑公式對音子序列做平滑處理。
所述平滑公式如下/"tfex(x() = arg max(/) { Z 尸(/ / )};
其中，/mfec(jc,)是觀測數(shù)據(jù)《的發(fā)音，w是選擇的平滑窗長。
其中，所述語種識別系統(tǒng)包括多個(gè)生成性音子序列解碼模塊及N元文法語言語
法模型模塊，所述生成性音子序列解碼模塊及N元文法語言語法模型模塊采用并行結(jié)構(gòu)。
本發(fā)明提供的一種語種識別方法，包括以下步驟
(1) 預(yù)處理和特征提取模塊對輸入的語音信號做預(yù)處理、提取語音信號的特征，并將該特征送入生成性音子序列解碼模塊。
(2) 生成性音子序列解碼模塊將訓(xùn)練語種語音數(shù)據(jù)通過EM迭代準(zhǔn)則，訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型，并根據(jù)該混合高斯模型對輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列，并將該音子序列送入N元文法語言語法模型模塊。
(3) N元文法語言語法模型模塊對送入的音子序列進(jìn)行似然打分，并將該得分送入分類器。
(4) 分類器將N元文法語言語法模型模塊的打分進(jìn)行比較，最終確定輸入的語音信號的語種類別。
其中，所述步驟(2)進(jìn)一步包括以下子步驟
(21) 混合高斯模型訓(xùn)練模塊將訓(xùn)練語種語音數(shù)據(jù)通過EM迭代準(zhǔn)則訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型。
(22) 混合高斯模型解碼模塊利用混合高斯模型，根據(jù)后驗(yàn)概率計(jì)算公式對輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列。
(23) 序列平滑模塊利用平滑公式對音子序列做平滑處理。
其中，所述語種識別方法采用多個(gè)生成性音子序列解碼模塊及N元文法語言語法模型模塊并行處理的方式進(jìn)行語種識別。
本發(fā)明的優(yōu)點(diǎn)在于
1、 本發(fā)明提供的語種識別系統(tǒng)及方法，即在輸入語音信號的情況下，自動的判別輸入語音的語種類別。
2、 本發(fā)明提供的語種識別系統(tǒng)及方法利用基于混合高斯模型(GMM)的生成性音子序列解碼模塊，代替PPRLM前端的音子識別器，避免PPRLM系統(tǒng)中前端音子識別器所需要的大量計(jì)算，實(shí)現(xiàn)在保證不損失檢測精度的基礎(chǔ)上識別速度大幅提高。3、 本發(fā)明提供的語種識別系統(tǒng)及方法使用一個(gè)短時(shí)的平滑策略，使得平滑過后 的語音序列具有明顯的短時(shí)穩(wěn)定性。
4、 本發(fā)明提供的語種識別系統(tǒng)及方法采用基于統(tǒng)計(jì)思想建立的N元文法語言模 型，在一定程度上可以刻畫該語音在語法層的信息，通過概率計(jì)算，并經(jīng)過分類以 后，給出檢測結(jié)果。


圖l是現(xiàn)有技術(shù)PRLM系統(tǒng)識別流程圖； 圖2是現(xiàn)有技術(shù)并行PRLM (PPRLM)系統(tǒng)識別流程圖； 圖3是本發(fā)明生成性音子序列解碼模塊的訓(xùn)練流程圖； 圖4是本發(fā)明生成性音子序列解碼模塊的解碼流程圖5是本發(fā)明實(shí)施例GMM解碼后的發(fā)音序列示意圖； 圖6是本發(fā)明實(shí)施例平滑后的發(fā)音序列示意圖7是本發(fā)明實(shí)施例漢語、日語和英語三種語種的混合高斯模型訓(xùn)練示意圖； 圖8是本發(fā)明實(shí)施例漢語、日語和英語三種語種的語法模型訓(xùn)練示意圖； 圖9是本發(fā)明實(shí)施例漢語、日語和英語三種語種打分示意圖。
具體實(shí)施例方式
下面結(jié)合一個(gè)具體的實(shí)施例對本發(fā)明做詳細(xì)說明。
本實(shí)施例的任務(wù)描述假設(shè)我們的應(yīng)用任務(wù)域?yàn)镹個(gè)語種，每個(gè)語種有一定量的 訓(xùn)練數(shù)據(jù)，則每個(gè)語種的訓(xùn)練數(shù)據(jù)我們用S,來表示。
本實(shí)施例采用的語種識別系統(tǒng)，包括預(yù)處理和特征提取模塊、多個(gè)生成性音 子序列解碼模塊、多個(gè)N元文法語言語法模型模塊及分類器。其中，所述生成性音 子序列解碼模塊包括混合高斯模型訓(xùn)練模塊、混合高斯模型解碼模塊及序列平滑 模塊。其中，多個(gè)生成性音子序列解碼模塊及N元文法語言語法模型模塊采用并行 結(jié)構(gòu)。
本實(shí)施例語種識別方法，包括以下步驟
(1 )預(yù)處理和特征提取模塊對輸入的語音信號做預(yù)處理、提取語音信號的特征， 并將該特征送入生成性音子序列解碼模塊。
(2)生成性音子序列解碼模塊將訓(xùn)練語種語音數(shù)據(jù)通過EM迭代準(zhǔn)則，訓(xùn)練生 成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型，并根據(jù)該混合高斯模型對輸入語音的特征 進(jìn)行識別，產(chǎn)生音子序列，并將該音子序列送入N元文法語言語法模型模塊。包括(21) 混合高斯模型訓(xùn)練模塊將訓(xùn)練語種語音數(shù)據(jù)通過EM迭代準(zhǔn)則訓(xùn)練生成 與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型。訓(xùn)練過程如下
(211) 對于所有的數(shù)據(jù)，首先提取特征。
(212) 每個(gè)語種用數(shù)據(jù)S,，根據(jù)EM迭代準(zhǔn)則，估計(jì)其語種相關(guān)的G醒模型G,， 這樣我們有每個(gè)語種對應(yīng)的一個(gè)G畫模型，共有N個(gè)。
(213) 對于每個(gè)語種，使用數(shù)據(jù)S,，在所有N個(gè)語種對應(yīng)的G羅模型G,上計(jì)算 其解碼序列",7，對于每個(gè)語種，我們有N個(gè)解碼序列，而對于所有語種，我們就會 產(chǎn)生一共N*N個(gè)解碼序列。
(214) 每個(gè)解碼序列/),:;，我們用n-gram準(zhǔn)則訓(xùn)練其語法模型丄,7，這樣我們 會得到,N個(gè)語法模型。
對于一個(gè)特定語種(英語)的生成性音子序列解碼模塊的訓(xùn)練流程如圖3所示。 其中，預(yù)處理和特征提取的步驟同傳統(tǒng)PPRLM系統(tǒng)一致，Gmi訓(xùn)練模塊使用該語 種數(shù)據(jù)通過EM迭代來生成該語種對應(yīng)的GMM模型。EM算法的準(zhǔn)則是使訓(xùn)練出來的模 型參數(shù)與訓(xùn)練語音的似然度達(dá)到最大，也就是最佳匹配程度。對于一段給定的訓(xùn)練
語音特征序列^ = "1，《"'"^}，認(rèn)為各幀之間是相互獨(dú)立的，則特征序列對于GMM 的似然度定義為
/7(XI李f]^i;L)
,'=1 ;
其中T為一段語音的幀數(shù)，《是第t幀語音的說話人特征。
最大期望(EM)算法基本思想是首先初始化模型參數(shù)^再估計(jì)新的模型參數(shù)^ ，
使其滿足條件^XI力》I A)，然后再以估計(jì)的值作為下一次重估的初始值重新 估計(jì)模型參數(shù)值，不斷重復(fù)此參數(shù)重估過程，直到收斂條件得到滿足。
該語種對應(yīng)的G畫模型訓(xùn)練出來以后，予以保留，并在識別過程中用以替代PPRLM 系統(tǒng)中的英語音子識別器，生成語音的發(fā)音序列。
(22) 混合高斯模型解碼模塊利用混合高斯模型，根據(jù)后驗(yàn)概率計(jì)算公式對輸 入語音的特征進(jìn)行識別，產(chǎn)生音子序列。識別過程如下
對于一個(gè)測試語音文件Z ，將其送入所有語種的GMM模型&上計(jì)算其解碼序列
《，然后我們將《送入第/個(gè)語種相關(guān)的一系列語法模型、進(jìn)行打分。
而在識別過程中，利用該語種的GMM模型來對待測試語音進(jìn)行解碼的生成性音子序列解碼模塊的解碼流程如圖4所示。
而對于每一幀數(shù)據(jù)來說，它的發(fā)音就是所有GMM分量當(dāng)中具有最大后驗(yàn)概率的 那個(gè)分量。其中后驗(yàn)概率的計(jì)算公式如下
其中p(/l《)是觀測數(shù)據(jù)《在第f個(gè)高斯分量上的后驗(yàn)概率，W力,(《)是觀測數(shù) 據(jù)《在第! 個(gè)高斯分量上的觀察概率，Z:(《)則是觀測數(shù)據(jù)《在M個(gè)高斯分量 上的總觀察概率。
這樣，對于語音中的每幀數(shù)據(jù)，我們都可以通過G隨解碼器，確定它的發(fā)音。 而對于整個(gè)語音數(shù)據(jù)段來說，它的每幀數(shù)據(jù)的發(fā)音構(gòu)成了一個(gè)發(fā)音序列，對于一段
1. 2秒的語音，其發(fā)音序列如圖5所示。
從圖5中我們可以看到，語音的穩(wěn)定性在短時(shí)的語音幀上表現(xiàn)得不明顯，為了
增加識別結(jié)果的穩(wěn)定性，我們使用一個(gè)短時(shí)的序列平滑。
(23)序列平滑模塊利用平滑公式對音子序列做平滑處理。 平滑的做法如下
/"fifex0,) = arg max(Z) { Z / x,+yt)};
其中/mfec(x,)是觀測數(shù)據(jù)《的發(fā)音，w是我們選擇的平滑窗長，在實(shí)際應(yīng)用中，
考慮語音的發(fā)音持續(xù)時(shí)間，我們選擇w二7。
平滑過后的發(fā)音序列如圖6所示。從圖6中可以看出，平滑過后的語音序列具有 明顯的短時(shí)穩(wěn)定性，而這樣的序列我們可以送入后端的n-gram語言模型進(jìn)行建模。 語言模型建模工具我們采用斯坦福研究院公布的SRILM-ToolKit。
(3) N元文法語言語法模型模塊對平滑后的音子序列進(jìn)行似然打分，并將該得 分送入分類器。
(4) 分類器將N元文法語言語法模型模塊的打分進(jìn)行比較，最終確定輸入的語 音信號的語種類別。
下面根據(jù)上述系統(tǒng)及方法，以漢語、日語和英語三個(gè)語種為例，介紹該系統(tǒng)及 方法的訓(xùn)練和識別流程。
一訓(xùn)練流程1) 為每個(gè)語種訓(xùn)練一個(gè)混合高斯模型，如圖7所示。
2) 為每個(gè)語種巧與每個(gè)混合高斯模型A，訓(xùn)練其相應(yīng)的語法模型4，如圖8 所示。
二識別流程
1) 對于一個(gè)測試語音義，我們先通過各個(gè)混合高斯解碼器A，生成其發(fā)音序 列X、 ^0送入相應(yīng)的語法模型￡"中打分，計(jì)算其相應(yīng)的得分&，如圖9所示。
e Sc廳,—丄(5",， ++ 5",3)
2) 綜合得分 ，得到3個(gè)語種的得分，其中<formula>formula see original document page 11</formula>選擇綜
合得分最高的語種即為該語音X的語種類別。
權(quán)利要求
1、一種語種識別系統(tǒng)，該系統(tǒng)包括一預(yù)處理和特征提取模塊，用于對輸入的語音信號做預(yù)處理、提取語音信號的特征，并將該特征送入生成性音子序列解碼模塊；一N元文法語言語法模型模塊，用于對送入的音子序列進(jìn)行似然打分，并將該得分送入分類器；及一分類器，用于將N元文法語言語法模型模塊的打分進(jìn)行比較，最終確定輸入的語音信號的語種類別；其特征在于，所述語種識別系統(tǒng)還包括一生成性音子序列解碼模塊，用于將訓(xùn)練語種語音數(shù)據(jù)通過期望最大化EM迭代準(zhǔn)則，訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型，并根據(jù)該混合高斯模型對輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列，并將該音子序列送入N元文法語言語法模型模塊。
2、 根據(jù)權(quán)利要求1所述的語種識別系統(tǒng)，其特征在于，所述生成性音子序列解 碼模塊包括一混合高斯模型訓(xùn)練模塊，用于將訓(xùn)練語種語音數(shù)據(jù)通過期望最大化EM迭代 準(zhǔn)則訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型；所述迭代準(zhǔn)則是訓(xùn)練產(chǎn)生的混合高斯模型參數(shù)與訓(xùn)練種語語音的似然度達(dá)到最大，對于訓(xùn)練種語語音特征序列％ ="，《"-^}，各幀之間相互獨(dú)立，則該訓(xùn)練種 語語音特征序列對于混合高斯模型的似然度定義為其中，T為一段種語語音的幀數(shù)，《是第t幀種語語音的特征； 一混合高斯模型解碼模塊，用于利用混合高斯模型，根據(jù)后驗(yàn)概率計(jì)算公式對 輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列； 所述后驗(yàn)概率計(jì)算公式如下其中，； Gl《)是觀測數(shù)據(jù)《在第/個(gè)高斯分量上的后驗(yàn)概率，《,力,(^是觀測數(shù) 據(jù)《在第/個(gè)高斯分量上的觀察概率，Z二A4 (《)則是觀測數(shù)據(jù)《在M個(gè)高斯分量 上的總觀察概率；對于每幀輸入語音的特征數(shù)據(jù)，該特征數(shù)據(jù)的發(fā)音是所有混合高斯模型分量當(dāng) 中具有最大后驗(yàn)概率的分量；一序列平滑模塊，用于利用平滑公式對音子序列做平滑處理； 所述平滑公式如下/"cfex(X) = arg max(i) { W / )};其中，/mfec(jc,)是觀測數(shù)據(jù)《的發(fā)音，w是選擇的平滑窗長。
3、根據(jù)權(quán)利要求1所述的語種識別系統(tǒng)，其特征在于，所述語種識別系統(tǒng)包 括多個(gè)生成性音子序列解碼模塊及N元文法語言語法模型模塊，所述生成性音子序 列解碼模塊及N元文法語言語法模型模塊采用并行結(jié)構(gòu)。
4、 一種語種識別方法，該方法包括以下步驟(1 )預(yù)處理和特征提取模塊對輸入的語音信號做預(yù)處理、提取語音信號的特征， 并將該特征送入生成性音子序列解碼模塊；(2) 生成性音子序列解碼模塊將訓(xùn)練語種語音數(shù)據(jù)通過期望最大化EM迭代準(zhǔn) 則，訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型，并根據(jù)該混合高斯模型對輸入 語音的特征進(jìn)行識別，產(chǎn)生音子序列，并將該音子序列送入N元文法語言語法模型 模塊；(3) N元文法語言語法模型模塊對送入的音子序列進(jìn)行似然打分，并將該得分 送入分類器；(4) 分類器將N元文法語言語法模型模塊的打分進(jìn)行比較，最終確定輸入的語 音信號的語種類別。
5、 根據(jù)權(quán)利要求4所述的語種識別方法，其特征在于，所述步驟(2)進(jìn)一步 包括以下子步驟(21)混合高斯模型訓(xùn)練模塊將訓(xùn)練語種語音數(shù)據(jù)通過期望最大化EM迭代準(zhǔn) 則訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型；所述迭代準(zhǔn)則是訓(xùn)練產(chǎn)生的混合高斯模型參數(shù)與訓(xùn)練種語語音的似然度達(dá)到最大，對于訓(xùn)練種語語音特征序列義-《，^，…^"，各幀之間相互獨(dú)立，則該訓(xùn)練種 語語音特征序列對于混合高斯模型的似然度定義為其中，T為一段種語語音的幀數(shù)，《是第t幀種語語音的特征；(22) 混合高斯模型解碼模塊利用混合高斯模型，根據(jù)后驗(yàn)概率計(jì)算公式對輸 入語音的特征進(jìn)行識別，產(chǎn)生音子序列；所述后驗(yàn)概率計(jì)算公式如下其中，pG'i《)是觀測數(shù)據(jù)戈在第/個(gè)高斯分量上的后驗(yàn)概率，w,A^)是觀測數(shù)據(jù)《在第f個(gè)高斯分量上的觀察概率，Z:(《)則是觀測數(shù)據(jù)《在M個(gè)高斯分量 上的總觀察概率；對于每幀輸入語音的特征數(shù)據(jù)，該特征數(shù)據(jù)的發(fā)音是所有混合高斯模型分量當(dāng) 中具有最大后驗(yàn)概率的分量；(23) 序列平滑模塊利用平滑公式對音子序列做平滑處理； 所述平滑公式如下-1)) = arg max(/) { J] P(/ / x,+i)};其中，/"6fec(;c,)是觀測數(shù)據(jù)《的發(fā)音，w是選擇的平滑窗長。
6、根據(jù)權(quán)利要求4所述的語種識別方法，其特征在于，所述語種識別方法采用 多個(gè)生成性音子序列解碼模塊及N元文法語言語法模型模塊并行處理的方式進(jìn)行語 種識別。
全文摘要
本發(fā)明涉及一種語種識別系統(tǒng)及方法，該系統(tǒng)包括預(yù)處理和特征提取模塊、生成性音子序列解碼模塊、N元文法語言語法模型模塊及分類器。生成性音子序列解碼模塊包括混合高斯模型訓(xùn)練模塊、混合高斯模型解碼模塊及序列平滑模塊。該系統(tǒng)及方法將訓(xùn)練語種語音數(shù)據(jù)通過EM迭代準(zhǔn)則，訓(xùn)練生成與該語種數(shù)據(jù)相對應(yīng)的混合高斯模型，并根據(jù)該混合高斯模型對輸入語音的特征進(jìn)行識別，產(chǎn)生音子序列。本發(fā)明的系統(tǒng)及方法利用基于混合高斯模型的生成性音子序列解碼模塊，避免PPRLM系統(tǒng)中前端音子識別器所需要的大量計(jì)算，實(shí)現(xiàn)在不損失檢測精度的基礎(chǔ)上識別速度大幅提高；使用平滑策略，使語音序列具有明顯的短時(shí)穩(wěn)定性。
文檔編號G10L15/00GK101645269SQ20081024757
公開日2010年2月10日 申請日期2008年12月30日 優(yōu)先權(quán)日2008年12月30日
發(fā)明者索宏彬, 翔 肖, 趙慶衛(wèi), 顏永紅 申請人:中國科學(xué)院聲學(xué)研究所;北京中科信利技術(shù)有限公司