專利名稱：英語口語考試系統(tǒng)中的朗讀題自動評分方法和設備的制作方法
技術領域：
本發(fā)明屬于語言考試自動評分技術領域，具體地說，本發(fā)明涉及一種用于非英語母語考生參加的英語口語考試中的朗讀題自動評測方法。
背景技術：
隨著人們對英語口語的重視逐漸加強，目前，口語測試己經(jīng)成為大多數(shù)英語水平考試的重要組成部分?？谡Z考試規(guī)模的日益增大使大量考生的口語數(shù)據(jù)需要進行評分，這需要大量的人力資源。人工評分是傳統(tǒng)的評分方法，但有很多不易解決的問題，如評分員資源短缺、人工評測成本高、評分較主觀，即使是同一個評分者對相同的樣本，在不同的時間受各種條件的影響也可能評出不同的分數(shù)。尤其是對超大規(guī)模的評測，人工評測已難以滿足其需求。因此，一種能夠客觀地、可批量化處理的機器評分方法是目前所急需的。英語口語考試中的一個常見的題型是段落朗讀。在此題型中，考生被要求大聲朗讀一段語段，語段的長度通常不少于100個單詞。該題型由于朗讀的文本固定，因此相對于其他題型，更適于使用機器進行自動批量評分。正是關于這些及其他考慮才作出了本發(fā)明。

發(fā)明內(nèi)容
本發(fā)明的目的是對非英語母語考生參加英語口語考試的朗讀題錄音樣本，提供一種機器自動評分的方法，該方法是一種通過從基于隱馬爾科夫模型的強制對齊結果中提取評分特征，使用訓練數(shù)據(jù)訓練評分模型，使用評分模型進行評分的統(tǒng)計性方法。為實現(xiàn)上述發(fā)明目的，本發(fā)明在第一方面提供一種英語口語朗讀自動評分方法，其特征在于，包括如下步驟對輸入語音進行預處理，該預處理中包括分幀處理；從預處理的語音中提取語音特征；利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊，得到各音素分割點信息；按照各音素分割點信息，計算每個音素的后驗概率；基于音素的后驗概率，提取多維評分特征；根據(jù)評分特征和人工評分信息，訓練非線性回歸模型，以便利用該非線性回歸模型對英語口語朗讀進行評分。優(yōu)選地，所述預處理包括預加重和/加窗處理。優(yōu)選地，所述提取語音特征包括計算每幀語音的感知加權線性預測參數(shù)或者美爾域倒譜參數(shù)系數(shù)；計算每幀語音的能量特征；計算能量特征和倒譜特征的差分；對于每一中貞語音，生成語音特征的特征向量。優(yōu)選地，所述利用線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊的步驟包括利用朗讀文本搭建單詞串聯(lián)網(wǎng)絡，把單詞網(wǎng)絡展開成音素網(wǎng)絡；以便利用該音素網(wǎng)絡對語音特征向量序列強制對齊。
優(yōu)選地，所述根據(jù)強制對齊結果，提取多維評分特征包括用單位時間的音素通過 率作為一個評分特征。
優(yōu)選地，所述基于每個音素的后驗概率，提取多維評分特征包括用音素后驗概率 均值作為評分特征。
優(yōu)選地，所述基于每個音素的后驗概率，提取多維評分特征包括對帶環(huán)境信息的 三音子按照良好發(fā)音數(shù)據(jù)的后驗概率均值聚成多個類別，得到三音子聚類表；利用根據(jù)三 音子聚類表，對輸入語音數(shù)據(jù)中的多個類別的音素的后驗概率分別求平均值，得到多維評 分特征。
在第二方面，本發(fā)明提供一種英語口語朗讀自動評分方法，其特征在于，包括如下 步驟
對輸入語音進行預處理，該預處理中包括分幀處理；
從輸入語音中提取語音特征；
利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對 齊，得到各音素分割點信息；
按照各音素分割點信息，計算每個音素的后驗概率；
基于音素的后驗概率，提取多維評分特征；
利用訓練過的非線性回歸模型根據(jù)評分特征進行評分。
優(yōu)選地，所述提取語音特征包括計算每幀語音的感知加權線性預測參數(shù)或者美爾 域倒譜參數(shù)系數(shù)；計算每幀語音的能量特征；計算能量特征的差分和倒譜特征的差分；對 于每一幀語音，生成語音特征的特征向量。
優(yōu)選地，所述利用線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊 的步驟包括利用朗讀文本搭建單詞串聯(lián)網(wǎng)絡，把單詞網(wǎng)絡展開成音素網(wǎng)絡，再擴展為狀態(tài) 網(wǎng)絡；以便利用該狀態(tài)網(wǎng)絡對語音特征向量序列強制對齊。
優(yōu)選地，所述根據(jù)強制對齊結果，提取多維評分特征包括用單位時間的音素通過 率作為一個評分特征。
優(yōu)選地，所述基于音素的后驗概率，提取多維評分特征包括用基于聚類表的音素 后驗概率均值作為評分特征。
優(yōu)選地，所述基于音素的后驗概率，提取多維評分特征包括對帶環(huán)境信息的三音 子按照良好發(fā)音數(shù)據(jù)的后驗概率均值聚成M個類別，得到三音子聚類表；利用根據(jù)三音子 聚類表，對考生數(shù)據(jù)中的M個類別的音素的后驗概率分別求平均值，得到多維評分特征。
在第三方面，本發(fā)明提供一種英語口語朗讀自動評分設備，其特征在于，包括
對輸入語音進行預處理的模塊，該預處理中包括分幀處理；
從預處理的語音中提取語音特征的模塊；
利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對 齊，得到各音素分割點信息的模塊；
按照各音素分割點信息，計算每個音素的后驗概率的模塊；
基于音素的后驗概率，提取多維評分特征的模塊；
對訓練數(shù)據(jù)，根據(jù)評分特征和人工評分信息，訓練非線性回歸模型，以便利用該非線性回歸模型對英語口語朗讀進行評分的模塊。在第四方面，本發(fā)明提供一種英語口語朗讀自動評分設備，其特征在于，包括對輸入語音進行預處理的模塊，該預處理中包括分幀處理；從預處理的語音中提取語音特征的模塊；利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊，得到各音素分割點信息的模塊；按照各音素分割點信息，計算每個音素的后驗概率的模塊；基于音素的后驗概率，提取多維評分特征的模塊；利用該非線性回歸模型根據(jù)評分特征對英語口語朗讀進行評分的模塊。本發(fā)明的優(yōu)點是，使用專家打分數(shù)據(jù)訓練評分模型，從統(tǒng)計上保證了機器評分的結果不會偏離人工評分，從而達到計算機對專家評分的高度模擬，并且由于計算機相對于人類的不受干擾的優(yōu)勢，機器評分 有可能比專家打分更加穩(wěn)定。


圖1是本發(fā)明第一實施例的評分模型獲取方法的流程圖；圖2是本發(fā)明第二實施例的對考生數(shù)據(jù)進行評分的流程圖；圖3是朗讀題自動評分所用狀態(tài)圖的搭建示意圖。
具體實施例方式下面結合附圖及具體實施例對本發(fā)明的朗讀評分方法做進一步地描述。圖1是本發(fā)明第一實施例的朗讀評分方法的流程圖。如圖1所示，按照該朗讀題自動評分方法，在步驟102，將待識別語音輸入語音識別系統(tǒng)中。在步驟104，對輸入語音進行預處理，主要是進行分幀處理。在一個例子中，預處理可以采用如下流程2-1)首先，將語音信號按照16K (或8K)采樣率進行數(shù)字化；2-2)然后，通過預加重進行高頻提升。一個預加重濾波器的例子是=H(Z)=1-CiZ'其中 α =0. 98 ；2-3)接著，將數(shù)據(jù)進行分幀處理取幀長25ms、幀間重疊15ms，可根據(jù)需要適當調(diào)整；2-4)最后，加窗處理。窗函數(shù)采用常用的hamming窗函數(shù)w(n) = 0.54 — 0.46cos(，_)其中,O 彡 η 彡 N-10
N -\需要說明，上述流程僅屬舉例，本發(fā)明還可以采用其它形式的預處理。比如僅僅進行預加重或者加窗處理。在步驟106,提取語音特征?？刹捎肞LP (Perceptual Linear Predictive,感知加權線性預測)或者MFCC (mel-frequency cepstral coefficient,美爾域倒譜系數(shù))參數(shù)特征提取方法。在一個例子中，一個提取語音特征的具體流程如下3-1)首先，計算每幀語音的PLP或MFCC參數(shù)系數(shù)c (m)，I彡m彡N。，其中N。為倒譜系數(shù)的個數(shù)，N。= 12。
3-2)計算每幀語音的能量特征；
3-3)計算能量特征和倒譜特征的一階和二階差分。采用如下的回歸公式計算差分倒譜系數(shù)
權利要求
1.一種英語口語朗讀自動評分方法，其特征在于，包括如下步驟 對輸入語音進行預處理，該預處理中包括分幀處理； 從預處理的語音中提取語音特征； 利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊，得到各音素分割點信息； 按照各音素分割點信息，計算每個音素的后驗概率； 基于音素的后驗概率，提取多維評分特征； 根據(jù)評分特征和人工評分信息，使用支持向量回歸法訓練非線性回歸模型，以便利用該非線性回歸模型對英語口語朗讀進行評分。
2.根據(jù)權利要求1所述的自動評分方法，其特征在于，所述預處理包括預加重和/加窗處理。
3.根據(jù)權利要求1所述的自動評分方法，其特征在于，所述提取語音特征包括計算每幀語音的感知加權線性預測參數(shù)或者美爾域倒譜參數(shù)系數(shù)；計算每幀語音的能量特征；計算能量特征的差分和倒譜特征的差分；對于每一幀語音，生成語音特征的特征向量。
4.根據(jù)權利要求1所述的自動評分方法，其特征在于，所述利用線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊的步驟包括利用朗讀文本搭建單詞串聯(lián)網(wǎng)絡，把單詞網(wǎng)絡展開成音素網(wǎng)絡，再擴展為狀態(tài)網(wǎng)絡；以便利用該狀態(tài)網(wǎng)絡對語音特征向量序列強制對齊。
5.根據(jù)權利要求1所述的自動評分方法，其特征在于，所述根據(jù)強制對齊結果，提取多維評分特征包括用單位時間的音素通過率作為一個評分特征。
6.根據(jù)權利要求1所述的自動評分方法，其特征在于，所述基于音素的后驗概率，提取多維評分特征包括用基于聚類表的音素后驗概率均值作為評分特征。
7.根據(jù)權利要求6所述的自動評分方法，其特征在于，所述基于音素的后驗概率，提取多維評分特征包括對帶環(huán)境信息的三音子按照良好發(fā)音數(shù)據(jù)的后驗概率均值聚成多個類另Ij，得到三音子聚類表；利用根據(jù)三音子聚類表，對輸入語音數(shù)據(jù)中的多個類別的音素的后驗概率分別求平均值，得到多維評分特征。
8.一種英語口語朗讀自動評分方法，其特征在于，包括如下步驟 對輸入語音進行預處理，該預處理中包括分幀處理； 從輸入語音中提取語音特征； 利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊，得到各音素分割點信息； 按照各音素分割點信息，計算每個音素的后驗概率； 基于音素的后驗概率，提取多維評分特征； 利用訓練過的非線性回歸模型根據(jù)評分特征進行評分。
9.根據(jù)權利要求8所述的自動評分方法，其特征在于，所述提取語音特征包括計算每幀語音的感知加權線性預測參數(shù)或者美爾域倒譜參數(shù)系數(shù)；計算每幀語音的能量特征；計算能量特征和倒譜特征的差分；對于每一幀語音，生成語音特征的特征向量。
10.根據(jù)權利要求8所述的自動評分方法，其特征在于，所述利用線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊的步驟包括利用朗讀文本搭建單詞串聯(lián)網(wǎng)絡，把單詞網(wǎng)絡展開成音素網(wǎng)絡，再將音素網(wǎng)絡展開成狀態(tài)網(wǎng)絡；以便利用該狀態(tài)網(wǎng)絡對語音特征向量序列強制對齊。
11.根據(jù)權利要求8所述的自動評分方法，其特征在于，所述根據(jù)強制對齊結果，提取多維評分特征包括用單位時間的音素通過率作為一個評分特征。
12.根據(jù)權利要求8所述的自動評分方法，其特征在于，所述基于音素的后驗概率，提取多維評分特征包括用音素后驗概率均值作為評分特征。
13.根據(jù)權利要求12所述的自動評分方法，其特征在于，所述基于音素的后驗概率，提取多維評分特征包括對帶環(huán)境信息的三音子按照良好發(fā)音數(shù)據(jù)的后驗概率均值聚成M個類別，得到三音子聚類表；利用根據(jù)三音子聚類表，對考生數(shù)據(jù)中的M個類別的音素的后驗概率分別求平均值，得到多維評分特征。
14.一種英語口語朗讀自動評分設備，其特征在于，包括對輸入語音進行預處理的模塊，該預處理中包括分幀處理；提取語音特征的模塊；利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊， 得到各音素分割點信息的模塊；按照各音素分割點信息，計算每個音素的后驗概率的模塊；基于音素的后驗概率，提取多維評分特征的模塊；對訓練數(shù)據(jù)，根據(jù)評分特征和人工評分信息，使用支持向量回歸法訓練非線性回歸模型，以便利用該非線性回歸模型對英語口語朗讀進行評分的模塊。
15.一種英語口語朗讀自動評分設備，其特征在于，包括對輸入語音進行預處理的模塊，該預處理中包括分幀處理；從預處理的語音中提取語音特征的模塊；利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊， 得到各音素分割點信息的模塊；按照各音素分割點信息，計算音素的后驗概率的模塊；基于音素的后驗概率，提取多維評分特征的模塊；利用該非線性回歸模型根據(jù)評分特征對英語口語朗讀進行評分的模塊。
全文摘要
本發(fā)明提供一種英語口語朗讀自動評分的方法和設備。該方法包括對輸入語音進行預處理，該預處理中包括分幀處理；從預處理的語音中提取語音特征；利用朗讀文本搭建的線性語法網(wǎng)絡和聲學模型，對語音特征向量序列進行強制對齊，得到各音素分割點信息；按照各音素分割點信息，計算每個音素的后驗概率；基于音素的后驗概率，提取多維評分特征；根據(jù)評分特征和人工評分信息，使用支持向量回歸法訓練非線性回歸模型，以便利用該非線性回歸模型對英語口語朗讀進行評分。使用專家打分數(shù)據(jù)訓練評分模型，從統(tǒng)計上保證了機器評分的結果不會偏離人工評分，從而達到計算機對專家評分的高度模擬。
文檔編號G10L15/14GK103065626SQ20121055736
公開日2013年4月24日 申請日期2012年12月20日 優(yōu)先權日2012年12月20日
發(fā)明者顏永紅, 張俊博, 潘復平 申請人:中國科學院聲學研究所, 北京中科信利技術有限公司