專利名稱：交互式語(yǔ)言學(xué)習(xí)系統(tǒng)及交互式語(yǔ)言學(xué)習(xí)方法
交互式語(yǔ)言學(xué)習(xí)系統(tǒng)及交互式語(yǔ)言學(xué)習(xí)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種交互式語(yǔ)言學(xué)習(xí)系統(tǒng)及交互式語(yǔ)言學(xué)習(xí)方法。
背景技術(shù)：
語(yǔ)言學(xué)習(xí)是人們所學(xué)知識(shí)中非常重要的部分之一。也有越來(lái)越多的人依靠語(yǔ)言學(xué) 習(xí)輔助工具來(lái)提高語(yǔ)言學(xué)習(xí)的速度和效率。豐富的學(xué)習(xí)內(nèi)容、互動(dòng)的交互方式、個(gè)性化的課 程、便于操作等方面已經(jīng)是語(yǔ)言學(xué)習(xí)系統(tǒng)的發(fā)展的必然趨勢(shì)。 字典實(shí)質(zhì)是一種學(xué)習(xí)輔助系統(tǒng)，但是它僅僅以文字為媒介，雖然在閱讀和寫作上 有幫助，但是對(duì)于聽(tīng)和說(shuō)并不能起到直接的幫助作用。隨著計(jì)算機(jī)、多媒體、語(yǔ)音等技術(shù)的 不斷發(fā)展，能夠?qū)β?tīng)說(shuō)讀寫等方面有一定程度或部分支持的輔助學(xué)習(xí)系統(tǒng)不斷涌現(xiàn)。從電 子辭典的出現(xiàn)，到后來(lái)的跟讀機(jī)、點(diǎn)讀機(jī)，以及一些學(xué)習(xí)軟件比如聽(tīng)力、寫作軟件等的出現(xiàn)， 使學(xué)習(xí)輔助系統(tǒng)的形式和功能逐漸豐富起來(lái)。 但是，這些系統(tǒng)的不足之處是只實(shí)現(xiàn)了對(duì)聽(tīng)說(shuō)讀寫的部分支持，沒(méi)有把語(yǔ)言學(xué)習(xí) 的各個(gè)環(huán)節(jié)有機(jī)的結(jié)合起來(lái)，缺乏實(shí)時(shí)的錯(cuò)誤判斷和反饋，學(xué)習(xí)者只是在被動(dòng)地接受。其中 存在對(duì)發(fā)音質(zhì)量評(píng)測(cè)的系統(tǒng)，但其最終給學(xué)習(xí)者的只是一個(gè)分?jǐn)?shù)或者級(jí)別，并且這個(gè)分?jǐn)?shù) 難具準(zhǔn)確性和權(quán)威性。更重要的是，學(xué)習(xí)者關(guān)心的是自己發(fā)音的具體錯(cuò)誤、哪個(gè)地方有誤， 但是這種發(fā)音評(píng)測(cè)系統(tǒng)難以給出學(xué)習(xí)者想要的結(jié)果，并且沒(méi)有告訴學(xué)習(xí)者如何糾正錯(cuò)誤。
因此，現(xiàn)有技術(shù)存在缺陷，需要改進(jìn)。

發(fā)明內(nèi)容
有鑒于此，有必要針對(duì)上述問(wèn)題，提供一種能實(shí)時(shí)反饋學(xué)習(xí)錯(cuò)誤情況以及具有交 互式練習(xí)和交互式記憶的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)及交互式語(yǔ)言學(xué)習(xí)方法。
—種交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，包括語(yǔ)音采集模塊，用于采集學(xué)習(xí)者的語(yǔ)音數(shù)據(jù)；發(fā)
音及韻律檢測(cè)模塊，用于從語(yǔ)音數(shù)據(jù)中提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)，并對(duì)錯(cuò)
誤進(jìn)行進(jìn)一步判斷以及控制錯(cuò)誤顯示的程度，得到最終的音素錯(cuò)誤和韻律錯(cuò)誤；數(shù)據(jù)存儲(chǔ)
及統(tǒng)計(jì)模塊，用于記錄所述音素錯(cuò)誤和韻律錯(cuò)誤，并結(jié)合這些錯(cuò)誤對(duì)學(xué)習(xí)者的發(fā)音狀況給
予總體評(píng)價(jià)，將評(píng)價(jià)結(jié)果反饋給交互模塊；交互模塊，包括顯示界面，所述顯示界面用于顯
示音素錯(cuò)誤和韻律錯(cuò)誤，學(xué)習(xí)者發(fā)音狀況的總體評(píng)價(jià)以及幫助選項(xiàng)，并提供發(fā)音提示。 優(yōu)選的，所述發(fā)音及韻律檢測(cè)模塊包括特征提取模塊，用于從所述語(yǔ)音數(shù)據(jù)中提
取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)；語(yǔ)音識(shí)別模塊，基于聲學(xué)模型結(jié)合語(yǔ)言模型或詞
網(wǎng)絡(luò)，對(duì)所述特征參數(shù)進(jìn)行識(shí)別，分別得到單詞序列、音素序列、相應(yīng)的時(shí)間邊界、似然概率
值；發(fā)音評(píng)價(jià)模塊，用于將識(shí)別得到的音素序列和系統(tǒng)的參考音素進(jìn)行比較對(duì)齊，得到音素
錯(cuò)誤及幫助選項(xiàng)；韻律檢測(cè)模塊，用于結(jié)合特征參數(shù)、音素序列、時(shí)間邊界信息，采用統(tǒng)計(jì)模
型得到單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏；韻律評(píng)價(jià)模塊，用于將單詞重讀模式、整句語(yǔ)
調(diào)和時(shí)間節(jié)奏同參考發(fā)音進(jìn)行比較，得到韻律錯(cuò)誤及幫助選項(xiàng)。 優(yōu)選的，所述語(yǔ)音采集模塊采集的語(yǔ)音數(shù)據(jù)包括對(duì)系統(tǒng)提供的發(fā)音提示進(jìn)行跟讀以及按照發(fā)音情景說(shuō)話得到的語(yǔ)音數(shù)據(jù)。 優(yōu)選的，所述發(fā)音評(píng)價(jià)模塊首先使用統(tǒng)計(jì)的方法結(jié)合所述單詞序列、音素序列、時(shí)
間邊界和似然概率值進(jìn)行單詞級(jí)別內(nèi)容的判別，如果內(nèi)容不一致，系統(tǒng)記錄內(nèi)容錯(cuò)誤，并在
所述交互模塊中提示整句內(nèi)容不符合要求，請(qǐng)求學(xué)習(xí)者重新輸入語(yǔ)音；否則對(duì)音素進(jìn)行檢 測(cè)，得到音素錯(cuò)誤，包括單詞中音素的插入、刪除、替換錯(cuò)誤。 優(yōu)選的，所述單詞重讀模式是以音節(jié)為單位進(jìn)行判斷的，包括單詞中主重讀音節(jié) 的位置和次重讀音節(jié)的位置；所述整句語(yǔ)調(diào)是整句話的句重音，即這個(gè)句子中重讀音節(jié)的 位置，其基于音節(jié)和語(yǔ)調(diào)，反映整句的基頻變化趨勢(shì)；所述時(shí)間節(jié)奏是對(duì)說(shuō)話的快慢和時(shí)長(zhǎng) 的判斷。 優(yōu)選的，所述交互模塊的發(fā)音提示采用發(fā)音文本，該發(fā)音文本是學(xué)習(xí)者的目標(biāo)學(xué)
習(xí)內(nèi)容；或采用參考發(fā)音，該參考發(fā)音是目標(biāo)語(yǔ)言國(guó)家的人所發(fā)的標(biāo)準(zhǔn)語(yǔ)音；又或采用發(fā)
音情景，該發(fā)音情景是系統(tǒng)給出的情景，要求學(xué)習(xí)者按照該發(fā)音情景說(shuō)話。 優(yōu)選的，所述交互模塊還包括輸入界面，所述輸入界面用于選擇記憶模式、學(xué)習(xí)內(nèi)
容或退出系統(tǒng)；所述顯示界面還用于顯示系統(tǒng)反饋的信息，包括音頻和拼寫提示信息和所
述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊反饋的信息；所述交互模塊選擇語(yǔ)言學(xué)習(xí)材料，通過(guò)音頻或者文本
方式對(duì)學(xué)習(xí)者進(jìn)行提示，音頻提示是系統(tǒng)給出需要記憶的發(fā)音，要求學(xué)習(xí)者進(jìn)行拼寫和跟
讀，拼寫提示是系統(tǒng)給出需要記憶的拼寫內(nèi)容的文本提示，要求學(xué)習(xí)者進(jìn)行拼寫，得到拼寫
內(nèi)容；所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)還包括文本采集模塊和文本拼寫檢測(cè)模塊，所述文本采集
模塊用于采集所述拼寫內(nèi)容，得到輸入文本；所述文本拼寫檢測(cè)模塊用于檢查輸入文本，通
過(guò)計(jì)算輸入文本和標(biāo)準(zhǔn)答案文本的相似度編輯距離，得到拼寫錯(cuò)誤；所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)
模塊還用于記錄所述拼寫錯(cuò)誤；所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊還包擴(kuò)一個(gè)數(shù)據(jù)庫(kù)，具體的錯(cuò)誤
統(tǒng)計(jì)情況將被及時(shí)地寫入該數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)不僅存儲(chǔ)學(xué)習(xí)記錄，而且還存儲(chǔ)了學(xué)習(xí)內(nèi)容；
系統(tǒng)根據(jù)當(dāng)前的錯(cuò)誤記錄、選擇的記憶模式以及數(shù)據(jù)庫(kù)中存儲(chǔ)的學(xué)習(xí)內(nèi)容，選擇并產(chǎn)生新
的學(xué)習(xí)內(nèi)容以及音頻和拼寫提示，反饋給所述交互模塊，從而進(jìn)入下一輪的交互式學(xué)習(xí)，或
者根據(jù)當(dāng)前的學(xué)習(xí)進(jìn)度重新選擇學(xué)習(xí)內(nèi)容，又或者退出系統(tǒng)。 優(yōu)選的，所述拼寫錯(cuò)誤包括替代、插入和刪除錯(cuò)誤。 優(yōu)選的，所述交互模塊還用于展示一組任務(wù)形式的對(duì)話場(chǎng)景，通過(guò)該交互模塊選 定某個(gè)對(duì)話場(chǎng)景后，將會(huì)出現(xiàn)子任務(wù)，學(xué)習(xí)者要根據(jù)該交互模塊提供的信息，進(jìn)行交互操作 并進(jìn)行發(fā)音和拼寫來(lái)完成任務(wù)；所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)還包括用戶接口、操作判別模塊； 所述用戶接口用于采集所述交互操作；所述操作判別模塊用于判斷所述交互操作是否符合 任務(wù)要求，得到操作錯(cuò)誤；所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊還用于記錄所述操作錯(cuò)誤，所述數(shù)據(jù)庫(kù) 還存儲(chǔ)了與對(duì)話相關(guān)的信息；所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)還包括對(duì)話場(chǎng)景模塊，根據(jù)所述數(shù) 據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊輸出的錯(cuò)誤統(tǒng)計(jì)和與對(duì)話相關(guān)的信息，動(dòng)態(tài)生成新的對(duì)話場(chǎng)景，并通過(guò) 所述交互模塊進(jìn)行顯示；學(xué)習(xí)者可以通過(guò)所述交互模塊選擇進(jìn)入新一輪學(xué)習(xí)，或者退出學(xué) 習(xí)。 優(yōu)選的，所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)的實(shí)現(xiàn)方式是客戶端/服務(wù)器方式、瀏覽器/服 務(wù)器方式、基于嵌入式系統(tǒng)的單機(jī)模式中的一種。 —種交互式語(yǔ)言學(xué)習(xí)方法，包括采集學(xué)習(xí)者按程序要求進(jìn)行發(fā)音得到的語(yǔ)音數(shù) 據(jù)；從語(yǔ)音數(shù)據(jù)中提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)；基于聲學(xué)模型，結(jié)合語(yǔ)言模型或詞網(wǎng)絡(luò)，對(duì)特征參數(shù)進(jìn)行識(shí)別，分別得到單詞序列、音素序列、相應(yīng)的時(shí)間邊界、似然概 率值；將音素序列和系統(tǒng)的參考音素進(jìn)行比較對(duì)齊，得到音素錯(cuò)誤及幫助選項(xiàng)；結(jié)合特征 參數(shù)、音素序列、時(shí)間邊界信息，采用統(tǒng)計(jì)模型得到單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏；將 單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏同參考發(fā)音進(jìn)行比較，得到韻律錯(cuò)誤及幫助選項(xiàng)；顯示 音素、韻律錯(cuò)誤，發(fā)音狀況的總體評(píng)價(jià)以及幫助選項(xiàng)，并提供發(fā)音提示。 優(yōu)選的，還包括以下步驟在采集語(yǔ)音數(shù)據(jù)前，輸出音頻或文本方式的記憶材料， 要求學(xué)習(xí)者進(jìn)行發(fā)音和拼寫；采集需要記憶的拼寫內(nèi)容，得到輸入文本；檢查輸入文本，得 到拼寫錯(cuò)誤；根據(jù)得到的音素、韻律和拼寫錯(cuò)誤進(jìn)行錯(cuò)誤統(tǒng)計(jì)，記錄具體音素錯(cuò)誤、韻律錯(cuò) 誤以及拼寫錯(cuò)誤情況，并給出評(píng)價(jià)得分和反饋信息；顯示評(píng)價(jià)得分和反饋信息；接收選擇 記憶模式、學(xué)習(xí)內(nèi)容或退出程序的指令。 優(yōu)選的，還包括以下步驟展示對(duì)話場(chǎng)景，學(xué)習(xí)者按對(duì)話場(chǎng)景要求進(jìn)行發(fā)音、拼寫 及交互操作；采集交互操作；判斷交互操作是否符合任務(wù)要求，得到操作錯(cuò)誤；根據(jù)得到的 音素、韻律、拼寫和操作錯(cuò)誤進(jìn)行錯(cuò)誤統(tǒng)計(jì)，記錄具體音素發(fā)音、韻律、拼寫以及操作錯(cuò)誤情 況，并給出評(píng)價(jià)得分和反饋；動(dòng)態(tài)生成新的對(duì)話場(chǎng)景，并進(jìn)行顯示。 上述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)能實(shí)時(shí)的將學(xué)習(xí)者的語(yǔ)音輸入進(jìn)行判斷和反饋，對(duì)學(xué)習(xí) 者的輸入音頻進(jìn)行音素級(jí)別的發(fā)音檢測(cè)和單詞級(jí)別的韻律檢測(cè)，使學(xué)習(xí)者能夠精確把握自 己發(fā)音的具體錯(cuò)誤之處，并結(jié)合反饋結(jié)果和記憶曲線動(dòng)態(tài)提供記憶內(nèi)容，使學(xué)習(xí)者能夠循 序漸進(jìn)的提高語(yǔ)言水平，形成一種交互式的學(xué)習(xí)方式。


圖1是交互式語(yǔ)言學(xué)習(xí)系統(tǒng)第一實(shí)施方式的示意圖。
圖2是發(fā)音及韻律檢測(cè)模塊的示意圖。
圖3是交互式語(yǔ)言學(xué)習(xí)系統(tǒng)第二實(shí)施方式的示意圖。
圖4是交互式語(yǔ)言學(xué)習(xí)系統(tǒng)第三實(shí)施方式的示意圖。
具體實(shí)施方式

下面結(jié)合附圖，通過(guò)對(duì)本發(fā)明的具體實(shí)施方式
的詳細(xì)描述，將使本發(fā)明的技術(shù)方 案及其他有益效果顯而易見(jiàn)。 圖1是交互式語(yǔ)言學(xué)習(xí)系統(tǒng)第一實(shí)施方式的示意圖。交互式語(yǔ)言學(xué)習(xí)系統(tǒng)包括兩 大部分，即面向用戶的用戶端11和進(jìn)行后臺(tái)處理的數(shù)據(jù)處理端12。用戶端11提供采集學(xué) 習(xí)者行為的設(shè)備和顯示界面，包括語(yǔ)音采集模塊112、交互模塊111 ;數(shù)據(jù)處理端12負(fù)責(zé)對(duì) 用戶端11采集的數(shù)據(jù)進(jìn)行處理并生成顯示信息，包括發(fā)音及韻律檢測(cè)模塊121、數(shù)據(jù)存儲(chǔ) 及統(tǒng)計(jì)模塊122。 語(yǔ)音采集模塊112用于采集學(xué)習(xí)者的語(yǔ)音數(shù)據(jù)。對(duì)于采集到的語(yǔ)音首先需要進(jìn)行 靜音檢測(cè)，其通過(guò)計(jì)算音頻特征，例如能量(Energy)、過(guò)零率(ZeroCrossing Rate)等判斷 是否有語(yǔ)音輸入或者輸入的是否是靜音等，如果判別沒(méi)有語(yǔ)音輸入或者是靜音，將會(huì)要求 重新采集語(yǔ)音。 發(fā)音及韻律檢測(cè)模塊121用于從語(yǔ)音數(shù)據(jù)中提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特 征參數(shù)，并對(duì)錯(cuò)誤進(jìn)行進(jìn)一步判斷以及控制錯(cuò)誤顯示的程度，得到最終的音素錯(cuò)誤和韻律
7錯(cuò)誤。 數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122記錄內(nèi)容錯(cuò)誤、音素錯(cuò)誤以及韻律錯(cuò)誤，并結(jié)合這些錯(cuò)
誤對(duì)學(xué)習(xí)者的發(fā)音狀況給予總體評(píng)價(jià)，將評(píng)價(jià)結(jié)果反饋給交互模塊lll。 交互模塊111用于將該內(nèi)容、音素、韻律錯(cuò)誤，發(fā)音狀況的總體評(píng)價(jià)以及幫助選項(xiàng)
顯示給學(xué)習(xí)者，并提供包括發(fā)音文本、參考發(fā)音或發(fā)音情景的發(fā)音提示。該發(fā)音文本是學(xué)
習(xí)者的目標(biāo)學(xué)習(xí)內(nèi)容，如單詞、短語(yǔ)或句子；該參考發(fā)音是目標(biāo)語(yǔ)言國(guó)家的人所發(fā)的標(biāo)準(zhǔn)語(yǔ)
音；該發(fā)音情景是系統(tǒng)給出的一個(gè)情景，例如在路上遇到朋友向其打招呼，要求學(xué)習(xí)者按照
該情景說(shuō)話。 圖2是發(fā)音及韻律檢測(cè)模塊的示意圖。發(fā)音及韻律檢測(cè)模塊121包括特征提取模 塊202、語(yǔ)音識(shí)別模塊203、發(fā)音評(píng)價(jià)模塊204、韻律檢測(cè)模塊205、韻律評(píng)價(jià)模塊206。
特征提取模塊202對(duì)語(yǔ)音數(shù)據(jù)提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)，例如 感知線性預(yù)測(cè)參數(shù)PLP(Perc印tual Li固r Prediction coefficients) ， Mel倒譜系數(shù) MFCC (Mel—frequency c印stral coefficients)，巾貞平均會(huì)g量(Energy)、艮卩元音所跨越的所 有幀的能量，幀平均基頻(Pitch)、即元音所跨越的所有幀的基頻和被其跨越幀數(shù)平均，以 及它們前后向差分參數(shù)，包括前向幀平均能量差、后向幀平均能量差、前向輔音幀平均能量 差、前向幀平均基頻差、后向幀平均基頻差、前向時(shí)長(zhǎng)差、后向時(shí)長(zhǎng)差等。
語(yǔ)音識(shí)別模塊203基于聲學(xué)模型，并結(jié)合語(yǔ)言模型或者詞網(wǎng)絡(luò)，對(duì)特征參數(shù)進(jìn) 行識(shí)別，分別得到單詞級(jí)別和音素級(jí)別的序列、對(duì)應(yīng)的時(shí)間邊界以及相應(yīng)的似然概率值 (likelihood)?？梢允褂没陔[式馬爾可夫模型(HMM， HiddenMarkov Model)的聲學(xué)模型 和一個(gè)發(fā)音詞典。其聲學(xué)模型是使用收集了目標(biāo)語(yǔ)言國(guó)家的人們(Native Speakers)覆蓋 所有音素的語(yǔ)音而訓(xùn)練得到的；發(fā)音詞典不僅包含了正確的發(fā)音，同時(shí)也包含了可能的錯(cuò) 誤發(fā)音。其語(yǔ)言模型或詞網(wǎng)絡(luò)是在單詞級(jí)別發(fā)生概率的統(tǒng)計(jì)模型。對(duì)于學(xué)習(xí)者跟讀輸入的 語(yǔ)音數(shù)據(jù)，語(yǔ)音識(shí)別模塊203可以使用強(qiáng)制對(duì)齊方法，結(jié)合發(fā)音文本進(jìn)行識(shí)別，得到單詞序 列和音素序列，以及時(shí)間邊界和似然概率值；對(duì)于學(xué)習(xí)者按照情景要求說(shuō)話輸入的語(yǔ)音數(shù) 據(jù)，語(yǔ)音識(shí)別模塊可以結(jié)合詞網(wǎng)絡(luò)或語(yǔ)言模型進(jìn)行解碼，得到單詞序列和音素序列，以及時(shí) 間邊界。 發(fā)音評(píng)價(jià)模塊204首先使用統(tǒng)計(jì)的方法結(jié)合語(yǔ)音識(shí)別模塊203的輸入進(jìn)行單詞 級(jí)別內(nèi)容的判別。如果判定按發(fā)音提示跟讀得到的語(yǔ)音數(shù)據(jù)和參考發(fā)音的單詞序列不同， 或者按發(fā)音情景說(shuō)話得到的語(yǔ)音數(shù)據(jù)和標(biāo)準(zhǔn)答案內(nèi)容不同，將不會(huì)進(jìn)行音素級(jí)別的判斷， 而直接進(jìn)入數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122，記錄內(nèi)容錯(cuò)誤，并在交互模塊111中提示整句內(nèi)容不 符合要求，請(qǐng)求用戶重新輸入語(yǔ)音；否則使用字符串對(duì)齊算法，例如動(dòng)態(tài)規(guī)劃算法(Dynamic Programming Algorithm)，通過(guò)對(duì)音素序列和系統(tǒng)提供的參考音素進(jìn)行比較對(duì)齊并依據(jù)設(shè) 定的反饋錯(cuò)誤精度來(lái)進(jìn)行發(fā)音評(píng)價(jià)，得到音素錯(cuò)誤，包括單詞中音素的插入(Insertion), 刪除(Deletion)和替換(Substitution)三類錯(cuò)誤，以及幫助選項(xiàng)。 韻律檢測(cè)模塊205包括單詞級(jí)別的單詞重音模式(Lexical stress)檢測(cè)、韻律 (Prosody)檢測(cè)，其結(jié)合語(yǔ)音識(shí)別模塊203的結(jié)果、即音素序列、對(duì)應(yīng)的時(shí)間邊界信息、似然 概率值，和特征提取模塊202得到的幀平均能量、幀平均基頻信息，根據(jù)系統(tǒng)提供的統(tǒng)計(jì)模 型來(lái)得到語(yǔ)音數(shù)據(jù)句子中的單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏情況。該統(tǒng)計(jì)模型可以是 通過(guò)訓(xùn)練得到的支持向量機(jī)模型(SVM， Su卯ort Vector Machine)，或者神經(jīng)網(wǎng)絡(luò)(NeuralNetwork)，或者隱式馬爾可夫模型(HMM，Hidden Markov Model)等；該單詞重讀模式是以音節(jié)為單位進(jìn)行判斷的，包括單詞中主重讀音節(jié)的位置和次重讀音節(jié)的位置；該整句語(yǔ)調(diào)是整句話的句重音，即這個(gè)句子中重讀音節(jié)的位置，是基于音節(jié)和語(yǔ)調(diào)的整句的基頻變化趨勢(shì)；該時(shí)間節(jié)奏是說(shuō)話的快慢和時(shí)長(zhǎng)方面的判斷。 韻律評(píng)價(jià)模塊206將該單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏同參考發(fā)音進(jìn)行比較，并依據(jù)設(shè)定的反饋錯(cuò)誤精度需求得到單詞重讀模式的錯(cuò)誤情況和糾正幫助，以及整句重讀音節(jié)、整句音調(diào)和節(jié)奏等韻律錯(cuò)誤情況以及幫助選項(xiàng)。 圖3是交互式語(yǔ)言學(xué)習(xí)系統(tǒng)第二實(shí)施方式的示意圖。其與第一實(shí)施方式的區(qū)別在于增加了屬于用戶端11的文本采集模塊113和屬于數(shù)據(jù)處理端12的文本拼寫檢測(cè)模塊123，并且將與這兩個(gè)模塊直接連接的交互模塊111和數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122的功能做了相應(yīng)拓展。 交互模塊lll包括一顯示界面和一輸入界面。顯示界面用于顯示系統(tǒng)反饋給學(xué)習(xí)者的信息，包括音頻和拼寫提示信息，數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122反饋的信息等。輸入界面用于選擇記憶模式、學(xué)習(xí)內(nèi)容或退出系統(tǒng)等。交互模塊111根據(jù)學(xué)習(xí)者選擇或者系統(tǒng)自動(dòng)選擇的語(yǔ)言學(xué)習(xí)材料，比如單詞、短語(yǔ)或者一個(gè)文本段，針對(duì)語(yǔ)言記憶的目的，通過(guò)文本或者音頻方式提供給學(xué)習(xí)者。音頻提示是系統(tǒng)給出需要記憶的發(fā)音，而要求學(xué)習(xí)者進(jìn)行拼寫和跟讀；拼寫提示是系統(tǒng)給出需要記憶的拼寫內(nèi)容，比如一個(gè)單詞的部分字母，或者一個(gè)句子的部分單詞。學(xué)習(xí)者根據(jù)提示拼寫、同時(shí)讀出需要記憶的內(nèi)容，從而在發(fā)音和拼寫上同時(shí)進(jìn)行記憶。 文本采集模塊113用于采集學(xué)習(xí)者拼寫的需要記憶的內(nèi)容，得到輸入文本。
文本拼寫檢測(cè)模塊123用于檢查輸入文本，通過(guò)計(jì)算輸入文本和標(biāo)準(zhǔn)答案文本的相似度編輯距離(Levenshtein distance)，得到具體的替代(Substitution)、插入(Insertion)、刪除(Deletion)等拼寫錯(cuò)誤。 數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122根據(jù)得到的語(yǔ)音錯(cuò)誤和拼寫錯(cuò)誤進(jìn)行錯(cuò)誤統(tǒng)計(jì)，記錄學(xué)習(xí)者的具體音素發(fā)音錯(cuò)誤、韻律錯(cuò)誤以及拼寫錯(cuò)誤情況，并給出評(píng)價(jià)得分和反饋，通過(guò)交互模塊111進(jìn)行顯示。數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122包含一個(gè)數(shù)據(jù)庫(kù)，具體的錯(cuò)誤統(tǒng)計(jì)情況將被及時(shí)地寫入該數(shù)據(jù)庫(kù)；該數(shù)據(jù)庫(kù)不僅存儲(chǔ)了學(xué)習(xí)者的學(xué)習(xí)記錄，而且還存儲(chǔ)了學(xué)習(xí)內(nèi)容，包括對(duì)應(yīng)的多媒體信息和標(biāo)準(zhǔn)答案等；系統(tǒng)根據(jù)當(dāng)前用戶的錯(cuò)誤、選擇的記憶模式以及數(shù)據(jù)庫(kù)中存儲(chǔ)的學(xué)習(xí)內(nèi)容，選擇并產(chǎn)生新的學(xué)習(xí)內(nèi)容以及音頻和拼寫提示，從而進(jìn)入下一輪的交互式記憶。學(xué)習(xí)者也可以根據(jù)當(dāng)前的學(xué)習(xí)進(jìn)度重新選擇學(xué)習(xí)內(nèi)容，或者退出此子系統(tǒng)。
圖4是交互式語(yǔ)言學(xué)習(xí)系統(tǒng)第三實(shí)施方式的示意圖。其與第二實(shí)施方式的主要區(qū)別在于增加了屬于用戶端11的用戶接口 114和屬于數(shù)據(jù)處理端12的操作判別模塊124、對(duì)話場(chǎng)景模塊125，并且將與這三個(gè)模塊直接連接的交互模塊111和數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122的功能做了相應(yīng)拓展。交互式語(yǔ)言學(xué)習(xí)系統(tǒng)的第三實(shí)施方式將語(yǔ)言記憶和對(duì)話(Dialogue)相結(jié)合，充分練習(xí)語(yǔ)言學(xué)習(xí)中聽(tīng)說(shuō)讀寫四要素，并與特定的場(chǎng)景結(jié)合，通過(guò)對(duì)話的方式學(xué)習(xí)在特定場(chǎng)合中語(yǔ)言的運(yùn)用。 交互模塊111是面向?qū)W習(xí)者的一個(gè)界面設(shè)備，用于給學(xué)習(xí)者展示一組任務(wù)形式的對(duì)話場(chǎng)景，比如在問(wèn)路、買菜、旅游等各種使用語(yǔ)言的場(chǎng)景完成系統(tǒng)指定的任務(wù)；當(dāng)學(xué)習(xí)者通過(guò)該模塊選定某個(gè)對(duì)話場(chǎng)景后，將會(huì)先后出現(xiàn)對(duì)話、拼寫、跟讀、選擇等子任務(wù)，學(xué)習(xí)者根據(jù)對(duì)話場(chǎng)景提供的信息，進(jìn)行交互操作、輸入語(yǔ)音和文本信息來(lái)完成任務(wù)。 用戶接口 114用于采集學(xué)習(xí)者與系統(tǒng)的交互操作，例如用鍵盤來(lái)控制方向、或者
使用鼠標(biāo)進(jìn)行選擇，得到具體的學(xué)習(xí)者對(duì)內(nèi)容或者答案的選擇。 操作判別模塊124用于判斷學(xué)習(xí)者的交互操作是否符合任務(wù)要求，得到操作錯(cuò)誤。 數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122根據(jù)得到的語(yǔ)音錯(cuò)誤、拼寫錯(cuò)誤和操作錯(cuò)誤進(jìn)行錯(cuò)誤統(tǒng)計(jì)，記錄學(xué)習(xí)者的具體音素發(fā)音錯(cuò)誤、韻律錯(cuò)誤、拼寫錯(cuò)誤以及操作錯(cuò)誤情況，并給出評(píng)價(jià)得分，通過(guò)交互模塊111進(jìn)行顯示。數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122包含一個(gè)數(shù)據(jù)庫(kù)，具體的錯(cuò)誤統(tǒng)計(jì)情況將被及時(shí)地寫入該數(shù)據(jù)庫(kù)；該數(shù)據(jù)庫(kù)不僅存儲(chǔ)了學(xué)習(xí)者的學(xué)習(xí)記錄，還存儲(chǔ)了學(xué)習(xí)內(nèi)容，包括對(duì)應(yīng)的多媒體信息和標(biāo)準(zhǔn)答案等，并存儲(chǔ)了與對(duì)話相關(guān)的信息，比如對(duì)話場(chǎng)景信息、任務(wù)信息等。 對(duì)話場(chǎng)景模塊125根據(jù)數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊122輸出的錯(cuò)誤統(tǒng)計(jì)情況和對(duì)話場(chǎng)景、任務(wù)信息，動(dòng)態(tài)生成新的對(duì)話場(chǎng)景，并通過(guò)交互模塊111顯示給學(xué)習(xí)者，學(xué)習(xí)者可以通過(guò)交互模塊111選擇進(jìn)入新一輪對(duì)話場(chǎng)景的學(xué)習(xí)，或者選擇退出學(xué)習(xí)。 上述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)有多種實(shí)現(xiàn)方式，例如基于網(wǎng)絡(luò)的客戶端/服務(wù)器(Client/Server)方式、基于網(wǎng)絡(luò)的瀏覽器/服務(wù)器(Browser/Server)方式、基于嵌入式系統(tǒng)的單機(jī)模式等等。 基于網(wǎng)絡(luò)的客戶端、服務(wù)器方式其客戶端是學(xué)習(xí)者訪問(wèn)終端，提供語(yǔ)音輸入、文本輸入、音頻播放以及鼠標(biāo)鍵盤操作，并且對(duì)輸入音頻完成靜音檢測(cè)、特征提取以及網(wǎng)絡(luò)傳輸、對(duì)話場(chǎng)景生成等功能，其服務(wù)器端完成對(duì)輸入語(yǔ)音的錯(cuò)誤發(fā)音檢測(cè)、單詞重音模式檢測(cè)、韻律檢測(cè)、拼寫檢查、錯(cuò)誤反饋、幫助選項(xiàng)反饋、對(duì)話場(chǎng)景內(nèi)容生成、數(shù)據(jù)庫(kù)操作、學(xué)習(xí)信息統(tǒng)計(jì)、網(wǎng)絡(luò)傳輸?shù)裙δ堋?基于網(wǎng)絡(luò)的瀏覽器、服務(wù)器方式其瀏覽器是學(xué)習(xí)者訪問(wèn)終端，提供語(yǔ)音輸入、文本輸入、音頻播放、鼠標(biāo)鍵盤操作、網(wǎng)絡(luò)傳輸、對(duì)話場(chǎng)景，并通過(guò)插件(Plug-in)完成對(duì)輸入音頻完成靜音檢測(cè)以及特征提取等操作，其服務(wù)器包括數(shù)據(jù)處理服務(wù)器和Web服務(wù)器，其中數(shù)據(jù)服務(wù)器端完成對(duì)輸入語(yǔ)音的錯(cuò)誤發(fā)音檢測(cè)、單詞重音模式檢測(cè)、韻律檢測(cè)、拼寫檢查、錯(cuò)誤反饋、幫助選項(xiàng)反饋、對(duì)話內(nèi)容生成、數(shù)據(jù)庫(kù)操作、學(xué)習(xí)信息統(tǒng)計(jì)、網(wǎng)絡(luò)傳輸?shù)裙δ?，其中Web服務(wù)器是瀏覽器的訪問(wèn)服務(wù)器，瀏覽器與數(shù)據(jù)處理服務(wù)器之間進(jìn)行直接的數(shù)據(jù)傳輸。 基于嵌入式系統(tǒng)的單機(jī)方式在一個(gè)程序框架內(nèi)完成語(yǔ)音輸入、文本輸入、音頻播放、音頻靜音檢測(cè)、音頻特征提取、輸入語(yǔ)音的錯(cuò)誤發(fā)音檢測(cè)及單詞重讀模式檢測(cè)、韻律檢測(cè)、拼寫檢查、錯(cuò)誤反饋、對(duì)話內(nèi)容生成、數(shù)據(jù)庫(kù)操作、學(xué)習(xí)信息統(tǒng)計(jì)等。 上述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)構(gòu)建了一種交互式語(yǔ)言學(xué)習(xí)平臺(tái)，使學(xué)習(xí)者充分練習(xí)語(yǔ)言學(xué)習(xí)中的聽(tīng)說(shuō)讀寫四要素，把語(yǔ)言學(xué)習(xí)的各個(gè)環(huán)節(jié)有機(jī)的結(jié)合起來(lái)，提供自由度極高的場(chǎng)景對(duì)話學(xué)習(xí)形式以提高學(xué)習(xí)者的興趣，調(diào)動(dòng)學(xué)習(xí)者的積極性使其主動(dòng)參與到學(xué)習(xí)當(dāng)中，并給出實(shí)時(shí)的錯(cuò)誤判斷和反饋。 上述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)對(duì)學(xué)習(xí)者的輸入音頻進(jìn)行實(shí)時(shí)的音素級(jí)別(Phone-level)的錯(cuò)誤發(fā)音(Mispronunciation)檢測(cè)和韻律(Prosody)檢測(cè)，韻律檢測(cè)包括單詞級(jí)別的單詞重音模式(Lexical stress)檢測(cè)及糾正幫助、韻律(Prosody)檢測(cè)及模仿幫助；其中音素級(jí)別的錯(cuò)誤發(fā)音檢測(cè)對(duì)輸入語(yǔ)音進(jìn)行音素級(jí)別的語(yǔ)音識(shí)別，并指出其發(fā)生錯(cuò)誤的具體音素；其中單詞級(jí)別的單詞重音模式檢測(cè)及糾正幫助根據(jù)音素級(jí)別的檢測(cè)獲得的音素序列進(jìn)行單詞級(jí)別的識(shí)別，識(shí)別出單詞的重音模式以及給出與正確重音模式相對(duì)比的錯(cuò)誤種類；其中韻律檢測(cè)及模仿幫助包括對(duì)發(fā)音語(yǔ)句的句重讀(Sentence Stress)，節(jié)奏(Rhythm)，語(yǔ)調(diào)(Intonation)等方面的檢測(cè)分析和標(biāo)準(zhǔn)發(fā)音的語(yǔ)句的韻律對(duì)比判別，并給出在韻律上的評(píng)價(jià)以及和模仿標(biāo)準(zhǔn)發(fā)音語(yǔ)句的幫助選項(xiàng)。使學(xué)習(xí)者能夠精確把握自己發(fā)音的具體錯(cuò)誤之處。并結(jié)合反饋結(jié)果和記憶曲線動(dòng)態(tài)提供記憶內(nèi)容，使學(xué)習(xí)者能夠循序漸進(jìn)的提高語(yǔ)言水平。 以上所述實(shí)施方式僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對(duì)本發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保護(hù)范圍。因此，本發(fā)明專利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
權(quán)利要求
一種交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于，包括語(yǔ)音采集模塊，用于采集學(xué)習(xí)者的語(yǔ)音數(shù)據(jù)；發(fā)音及韻律檢測(cè)模塊，用于從語(yǔ)音數(shù)據(jù)中提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)，并對(duì)錯(cuò)誤進(jìn)行進(jìn)一步判斷以及控制錯(cuò)誤顯示的程度，得到最終的音素錯(cuò)誤和韻律錯(cuò)誤；數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊，用于記錄所述音素錯(cuò)誤和韻律錯(cuò)誤，并結(jié)合這些錯(cuò)誤對(duì)學(xué)習(xí)者的發(fā)音狀況給予總體評(píng)價(jià)，將評(píng)價(jià)結(jié)果反饋給交互模塊；交互模塊，包括顯示界面，所述顯示界面用于顯示音素錯(cuò)誤和韻律錯(cuò)誤，學(xué)習(xí)者發(fā)音狀況的總體評(píng)價(jià)以及幫助選項(xiàng)，并提供發(fā)音提示。
2. 根據(jù)權(quán)利要求1所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于，所述發(fā)音及韻律檢測(cè)模 塊包括特征提取模塊，用于從所述語(yǔ)音數(shù)據(jù)中提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)； 語(yǔ)音識(shí)別模塊，基于聲學(xué)模型結(jié)合語(yǔ)言模型或詞網(wǎng)絡(luò)，對(duì)所述特征參數(shù)進(jìn)行識(shí)別，分別得到單詞序列、音素序列、相應(yīng)的時(shí)間邊界、似然概率值；發(fā)音評(píng)價(jià)模塊，用于將識(shí)別得到的音素序列和系統(tǒng)的參考音素進(jìn)行比較對(duì)齊，得到音素錯(cuò)誤及幫助選項(xiàng)；韻律檢測(cè)模塊，用于結(jié)合特征參數(shù)、音素序列、時(shí)間邊界信息，采用統(tǒng)計(jì)模型得到單詞 重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏；韻律評(píng)價(jià)模塊，用于將單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏同參考發(fā)音進(jìn)行比較，得到 韻律錯(cuò)誤及幫助選項(xiàng)。
3. 根據(jù)權(quán)利要求2所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述語(yǔ)音采集模塊采集 的語(yǔ)音數(shù)據(jù)包括對(duì)系統(tǒng)提供的發(fā)音提示進(jìn)行跟讀以及按照發(fā)音情景說(shuō)話得到的語(yǔ)音數(shù)據(jù)。
4. 根據(jù)權(quán)利要求2所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述發(fā)音評(píng)價(jià)模塊首先 使用統(tǒng)計(jì)的方法結(jié)合所述單詞序列、音素序列、時(shí)間邊界和似然概率值進(jìn)行單詞級(jí)別內(nèi)容 的判別，如果內(nèi)容不一致，系統(tǒng)記錄內(nèi)容錯(cuò)誤，并在所述交互模塊中提示整句內(nèi)容不符合要 求，請(qǐng)求學(xué)習(xí)者重新輸入語(yǔ)音；否則對(duì)音素進(jìn)行檢測(cè)，得到音素錯(cuò)誤，包括單詞中音素的插 入、刪除、替換錯(cuò)誤。
5. 根據(jù)權(quán)利要求2所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述單詞重讀模式是以 音節(jié)為單位進(jìn)行判斷的，包括單詞中主重讀音節(jié)的位置和次重讀音節(jié)的位置；所述整句語(yǔ) 調(diào)是整句話的句重音，即這個(gè)句子中重讀音節(jié)的位置，其基于音節(jié)和語(yǔ)調(diào)，反映整句的基頻 變化趨勢(shì)；所述時(shí)間節(jié)奏是對(duì)說(shuō)話的快慢和時(shí)長(zhǎng)的判斷。
6. 根據(jù)權(quán)利要求1所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述交互模塊的發(fā)音提 示采用發(fā)音文本，該發(fā)音文本是學(xué)習(xí)者的目標(biāo)學(xué)習(xí)內(nèi)容；或采用參考發(fā)音，該參考發(fā)音是目 標(biāo)語(yǔ)言國(guó)家的人所發(fā)的標(biāo)準(zhǔn)語(yǔ)音；又或采用發(fā)音情景，該發(fā)音情景是系統(tǒng)給出的情景，要求 學(xué)習(xí)者按照該發(fā)音情景說(shuō)話。
7. 根據(jù)權(quán)利要求1所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述交互模塊還包括輸 入界面，所述輸入界面用于選擇記憶模式、學(xué)習(xí)內(nèi)容或退出系統(tǒng)；所述顯示界面還用于顯示 系統(tǒng)反饋的信息，包括音頻和拼寫提示信息和所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊反饋的信息；所述 交互模塊選擇語(yǔ)言學(xué)習(xí)材料，通過(guò)音頻或者文本方式對(duì)學(xué)習(xí)者進(jìn)行提示，音頻提示是系統(tǒng) 給出需要記憶的發(fā)音，要求學(xué)習(xí)者進(jìn)行拼寫和跟讀，拼寫提示是系統(tǒng)給出需要記憶的拼寫內(nèi)容的文本提示，要求學(xué)習(xí)者進(jìn)行拼寫，得到拼寫內(nèi)容；所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)還包括文本采集模塊和文本拼寫檢測(cè)模塊，所述文本采集模 塊用于采集所述拼寫內(nèi)容，得到輸入文本；所述文本拼寫檢測(cè)模塊用于檢查輸入文本，通過(guò) 計(jì)算輸入文本和標(biāo)準(zhǔn)答案文本的相似度編輯距離，得到拼寫錯(cuò)誤；所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊還用于記錄所述拼寫錯(cuò)誤；所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊還包擴(kuò) 一個(gè)數(shù)據(jù)庫(kù)，具體的錯(cuò)誤統(tǒng)計(jì)情況將被及時(shí)地寫入該數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)不僅存儲(chǔ)學(xué)習(xí)記錄， 而且還存儲(chǔ)了學(xué)習(xí)內(nèi)容；系統(tǒng)根據(jù)當(dāng)前的錯(cuò)誤記錄、選擇的記憶模式以及數(shù)據(jù)庫(kù)中存儲(chǔ)的 學(xué)習(xí)內(nèi)容，選擇并產(chǎn)生新的學(xué)習(xí)內(nèi)容以及音頻和拼寫提示，反饋給所述交互模塊，從而進(jìn)入 下一輪的交互式學(xué)習(xí)，或者根據(jù)當(dāng)前的學(xué)習(xí)進(jìn)度重新選擇學(xué)習(xí)內(nèi)容，又或者退出系統(tǒng)。
8. 根據(jù)權(quán)利要求7所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述拼寫錯(cuò)誤包括替代、 插入和刪除錯(cuò)誤。
9. 根據(jù)權(quán)利要求8所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述交互模塊還用于展 示一組任務(wù)形式的對(duì)話場(chǎng)景，通過(guò)該交互模塊選定某個(gè)對(duì)話場(chǎng)景后，將會(huì)出現(xiàn)子任務(wù)，學(xué)習(xí) 者要根據(jù)該交互模塊提供的信息，進(jìn)行交互操作并進(jìn)行發(fā)音和拼寫來(lái)完成任務(wù)；所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)還包括用戶接口、操作判別模塊；所述用戶接口用于采集 所述交互操作；所述操作判別模塊用于判斷所述交互操作是否符合任務(wù)要求，得到操作錯(cuò) 誤；所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊還用于記錄所述操作錯(cuò)誤，所述數(shù)據(jù)庫(kù)還存儲(chǔ)了與對(duì)話相關(guān) 的信息；所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)還包括對(duì)話場(chǎng)景模塊，根據(jù)所述數(shù)據(jù)存儲(chǔ)及統(tǒng)計(jì)模塊輸出的 錯(cuò)誤統(tǒng)計(jì)和與對(duì)話相關(guān)的信息，動(dòng)態(tài)生成新的對(duì)話場(chǎng)景，并通過(guò)所述交互模塊進(jìn)行顯示；學(xué) 習(xí)者可以通過(guò)所述交互模塊選擇進(jìn)入新一輪學(xué)習(xí)，或者退出學(xué)習(xí)。
10. 根據(jù)權(quán)利要求l所述的交互式語(yǔ)言學(xué)習(xí)系統(tǒng)，其特征在于所述交互式語(yǔ)言學(xué)習(xí)系 統(tǒng)的實(shí)現(xiàn)方式是客戶端/服務(wù)器方式、瀏覽器/服務(wù)器方式、基于嵌入式系統(tǒng)的單機(jī)模式中 的一種。
11. 一種交互式語(yǔ)言學(xué)習(xí)方法，包括 采集學(xué)習(xí)者按程序要求進(jìn)行發(fā)音得到的語(yǔ)音數(shù)據(jù)； 從語(yǔ)音數(shù)據(jù)中提取用于發(fā)音和韻律錯(cuò)誤檢測(cè)的特征參數(shù)；基于聲學(xué)模型，結(jié)合語(yǔ)言模型或詞網(wǎng)絡(luò)，對(duì)特征參數(shù)進(jìn)行識(shí)別，分別得到單詞序列、音素序列、相應(yīng)的時(shí)間邊界、似然概率值；將音素序列和系統(tǒng)的參考音素進(jìn)行比較對(duì)齊，得到音素錯(cuò)誤及幫助選項(xiàng)； 結(jié)合特征參數(shù)、音素序列、時(shí)間邊界信息，采用統(tǒng)計(jì)模型得到單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏；將單詞重讀模式、整句語(yǔ)調(diào)和時(shí)間節(jié)奏同參考發(fā)音進(jìn)行比較，得到韻律錯(cuò)誤及幫助選項(xiàng)；顯示音素、韻律錯(cuò)誤，發(fā)音狀況的總體評(píng)價(jià)以及幫助選項(xiàng)，并提供發(fā)音提示。
12. 根據(jù)權(quán)利要求11所述的交互式語(yǔ)言學(xué)習(xí)方法，其特征在于，還包括以下步驟 在采集語(yǔ)音數(shù)據(jù)前，輸出音頻或文本方式的記憶材料，要求學(xué)習(xí)者進(jìn)行發(fā)音和拼寫； 采集需要記憶的拼寫內(nèi)容，得到輸入文本；檢查輸入文本，得到拼寫錯(cuò)誤；根據(jù)得到的音素、韻律和拼寫錯(cuò)誤進(jìn)行錯(cuò)誤統(tǒng)計(jì)，記錄具體音素錯(cuò)誤、韻律錯(cuò)誤以及拼 寫錯(cuò)誤情況，并給出評(píng)價(jià)得分和反饋信息； 顯示評(píng)價(jià)得分和反饋信息；接收選擇記憶模式、學(xué)習(xí)內(nèi)容或退出程序的指令。
13.根據(jù)權(quán)利要求12所述的交互式語(yǔ)言學(xué)習(xí)方法，其特征在于，還包括以下步驟 展示對(duì)話場(chǎng)景，學(xué)習(xí)者按對(duì)話場(chǎng)景要求進(jìn)行發(fā)音、拼寫及交互操作； 采集交互操作；判斷交互操作是否符合任務(wù)要求，得到操作錯(cuò)誤；根據(jù)得到的音素、韻律、拼寫和操作錯(cuò)誤進(jìn)行錯(cuò)誤統(tǒng)計(jì)，記錄具體音素發(fā)音、韻律、拼寫 以及操作錯(cuò)誤情況，并給出評(píng)價(jià)得分和反饋； 動(dòng)態(tài)生成新的對(duì)話場(chǎng)景，并進(jìn)行顯示。
全文摘要
本發(fā)明涉及一種交互式語(yǔ)言學(xué)習(xí)系統(tǒng)及交互式語(yǔ)言學(xué)習(xí)方法，所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)的核心模塊包括特征提取模塊、語(yǔ)音識(shí)別模塊、發(fā)音評(píng)價(jià)模塊、韻律檢測(cè)模塊、韻律評(píng)價(jià)模塊，它們一起組成發(fā)音及韻律檢測(cè)模塊。所述交互式語(yǔ)言學(xué)習(xí)系統(tǒng)能實(shí)時(shí)的將學(xué)習(xí)者的語(yǔ)音輸入進(jìn)行判斷和反饋，使學(xué)習(xí)者能夠精確把握自己發(fā)音的具體錯(cuò)誤之處，并結(jié)合反饋結(jié)果和記憶曲線動(dòng)態(tài)提供記憶內(nèi)容，使學(xué)習(xí)者能夠循序漸進(jìn)的提高語(yǔ)言水平，形成一種交互式的學(xué)習(xí)方式。
文檔編號(hào)G09B19/06GK101739870SQ20091018870
公開(kāi)日2010年6月16日 申請(qǐng)日期2009年12月3日 優(yōu)先權(quán)日2009年12月3日
發(fā)明者李崇國(guó), 王嵐, 蒙美玲, 陳金玉 申請(qǐng)人:深圳先進(jìn)技術(shù)研究院