專利名稱：計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種計(jì)算機(jī)輔助學(xué)習(xí)方法，特別是一種計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法。
背景技術(shù)：
改革開(kāi)放以來(lái)，尤其是跨入新千年之后，隨著我國(guó)的經(jīng)濟(jì)、政治、文化和科學(xué)技術(shù)力量的飛速發(fā)展，在全球范圍內(nèi)出現(xiàn)了一股學(xué)習(xí)漢語(yǔ)的熱潮。特別是在我國(guó)加入WTO、北京成功申辦2008年奧運(yùn)會(huì)和上海成功申辦2010年世博會(huì)后，漢語(yǔ)日益受到各國(guó)的重視。突出表現(xiàn)在以下幾個(gè)方面來(lái)華留學(xué)生人數(shù)急劇上升；國(guó)內(nèi)外漢語(yǔ)教學(xué)機(jī)構(gòu)數(shù)量快速增長(zhǎng)；參加漢語(yǔ)水平考試(HSK)的考生人數(shù)快速增長(zhǎng)。目前在國(guó)外通過(guò)各種方式學(xué)習(xí)漢語(yǔ)的人數(shù)已超過(guò)3000萬(wàn)，100個(gè)國(guó)家超過(guò)2500余所大學(xué)在教授中文。為了滿足這些非漢語(yǔ)母語(yǔ)人群學(xué)習(xí)漢語(yǔ)的需求，我國(guó)政府已向數(shù)十個(gè)國(guó)家派遣了數(shù)百名專業(yè)漢語(yǔ)教師和國(guó)際漢語(yǔ)志愿者教師。即便這樣，從事漢語(yǔ)教學(xué)的專業(yè)人士的數(shù)目還是極其有限，如此有限的漢語(yǔ)教師數(shù)量和如此龐大的漢語(yǔ)用戶群相比，可以說(shuō)是杯水車薪。除了國(guó)際上學(xué)習(xí)漢語(yǔ)普通話熱潮的因素外，國(guó)內(nèi)普通話普及工作對(duì)普通話教學(xué)的需求也不斷增加。我國(guó)是一個(gè)具有56個(gè)民族的國(guó)家，大多數(shù)少數(shù)民族都有自己的民族語(yǔ)言。即使許多漢族地區(qū)，其地方方言的發(fā)音與普通話發(fā)音相差很大，為了普及普通話發(fā)音，標(biāo)準(zhǔn)語(yǔ)音的教學(xué)工作量很大。因此，為了在少數(shù)民族地區(qū)和中國(guó)南方的大部分地區(qū)普及普通話，也需要大量的師資。
在學(xué)習(xí)普通話發(fā)音的過(guò)程中，學(xué)習(xí)者要想能夠正確發(fā)音，必須有一個(gè)對(duì)其普通話發(fā)音準(zhǔn)確性的反饋來(lái)源，而目前這個(gè)反饋來(lái)源的唯一渠道就是專業(yè)漢語(yǔ)教師。由專業(yè)漢語(yǔ)教師對(duì)學(xué)習(xí)者的發(fā)音做出評(píng)估和判斷，指點(diǎn)發(fā)音要領(lǐng)，糾正發(fā)音錯(cuò)誤。但由于每個(gè)人的教學(xué)精力有限，一個(gè)專業(yè)漢語(yǔ)教師僅能指導(dǎo)數(shù)目非常有限的學(xué)生。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，要解決的技術(shù)問(wèn)題是利用計(jì)算機(jī)多媒體系統(tǒng)，幫助各種母語(yǔ)人群學(xué)習(xí)漢語(yǔ)發(fā)音。
本發(fā)明采用以下技術(shù)方案一種計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，包括以下步驟一、用戶選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境；二、用戶選擇并確定所需學(xué)習(xí)的漢語(yǔ)普通話發(fā)音學(xué)習(xí)內(nèi)容；三、計(jì)算機(jī)的顯示器向用戶顯示學(xué)習(xí)的語(yǔ)音和需注意的環(huán)節(jié)；四、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置，等待用戶語(yǔ)音信號(hào)的輸入；五、語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)，進(jìn)行模擬/數(shù)字轉(zhuǎn)換，并存儲(chǔ)；六、計(jì)算機(jī)的中央處理器從存儲(chǔ)裝置提取語(yǔ)音單元；七、中央處理器采集語(yǔ)音信號(hào)、分析判斷、并結(jié)合標(biāo)準(zhǔn)發(fā)音對(duì)用戶的發(fā)音進(jìn)行評(píng)估；八、在顯示器上顯示用戶發(fā)音的準(zhǔn)確度。
本發(fā)明的方法在用戶選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境時(shí)，在系統(tǒng)主界面的語(yǔ)言選擇菜單欄內(nèi)選擇并確定語(yǔ)言名稱。
本發(fā)明的漢語(yǔ)普通話發(fā)音學(xué)習(xí)內(nèi)容包括聲母、韻母、單字、詞組和句子選項(xiàng)。
本發(fā)明的顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和需注意的環(huán)節(jié)時(shí)，在用戶選擇的語(yǔ)言環(huán)境下利用動(dòng)畫(huà)圖像、聲音和文字向用戶提示發(fā)音時(shí)所需注意的環(huán)節(jié)，并示范所選學(xué)習(xí)內(nèi)容的標(biāo)準(zhǔn)漢語(yǔ)發(fā)音，利用多媒體音箱播放真人教學(xué)錄音。
本發(fā)明的方法在啟動(dòng)語(yǔ)音接收裝置時(shí)，同時(shí)啟動(dòng)視頻采集裝置，捕捉用戶發(fā)音時(shí)的口型等細(xì)部特征。
本發(fā)明的語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)時(shí)，記錄用戶發(fā)音時(shí)的語(yǔ)音，消除語(yǔ)音信號(hào)中的噪聲干擾，視頻采集裝置記錄用戶發(fā)音時(shí)的口型圖像，并存儲(chǔ)。
本發(fā)明計(jì)算機(jī)的中央處理器提取語(yǔ)音單元時(shí)采用端點(diǎn)檢測(cè)的方法，通過(guò)計(jì)算信號(hào)能量和過(guò)零率實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決。
本發(fā)明的中央處理器采集語(yǔ)音信號(hào)、分析判斷、并結(jié)合標(biāo)準(zhǔn)發(fā)音對(duì)用戶的發(fā)音進(jìn)行評(píng)估時(shí)，通過(guò)Viterbi算法的尋優(yōu)結(jié)果，找出真實(shí)的發(fā)音軌跡，并在基于隱含馬爾可夫方法的分段對(duì)準(zhǔn)的基礎(chǔ)上，使用短時(shí)自相關(guān)方法，結(jié)合隱含馬爾可夫方法的輸出概率結(jié)果對(duì)發(fā)音進(jìn)行最終評(píng)估。
本發(fā)明的顯示器上顯示用戶發(fā)音的準(zhǔn)確度時(shí)，利用百分?jǐn)?shù)顯示語(yǔ)音準(zhǔn)確度，同時(shí)回放用戶發(fā)音時(shí)的錄音及口型錄像。
本發(fā)明的方法在用戶根據(jù)評(píng)判結(jié)果后，選擇重復(fù)上次練習(xí)、開(kāi)始新的練習(xí)或退出。
本發(fā)明的用戶在選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境、選擇并確定所需學(xué)習(xí)的語(yǔ)音內(nèi)容或啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置時(shí)，使用鍵盤(pán)、鼠標(biāo)或遙控器。
本發(fā)明與現(xiàn)有技術(shù)相比，利用多媒體計(jì)算機(jī)，結(jié)合計(jì)算機(jī)圖形圖像軟件技術(shù)和語(yǔ)音技術(shù)，采用中文、英語(yǔ)、日語(yǔ)、法語(yǔ)、藏語(yǔ)等20多種語(yǔ)言界面輔助具有各種不同母語(yǔ)的人群學(xué)習(xí)漢語(yǔ)普通話發(fā)音，拓寬普通話發(fā)音學(xué)習(xí)中反饋的來(lái)源，讓更多學(xué)習(xí)漢語(yǔ)的人能夠得到糾正自身發(fā)音的機(jī)會(huì)，更快更方便的學(xué)習(xí)普通話。


圖1是本發(fā)明計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法實(shí)施例的流程圖。
圖2是本發(fā)明實(shí)施例系統(tǒng)主界面示意圖。
圖3是本發(fā)明實(shí)施例的英文環(huán)境下學(xué)習(xí)內(nèi)容選擇界面圖。
圖4是本發(fā)明實(shí)施例的英文環(huán)境下韻母選擇界面圖。
圖5是本發(fā)明實(shí)施例的英文環(huán)境下韻母a的發(fā)音教學(xué)圖。
圖6是本發(fā)明實(shí)施例的英文環(huán)境下韻母a的測(cè)試結(jié)果及反饋圖。
圖7是本發(fā)明實(shí)施例的英文環(huán)境下單字選擇界面圖。
具體實(shí)施例方式
下面結(jié)合附圖和實(shí)施例并對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述。如圖1所示，本發(fā)明的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，采用以下步驟一、開(kāi)啟計(jì)算機(jī)，啟動(dòng)漢語(yǔ)發(fā)音輔助學(xué)習(xí)系統(tǒng)；二、用戶在系統(tǒng)主界面的語(yǔ)言選擇菜單欄內(nèi)選擇并確定母語(yǔ)語(yǔ)言名稱，從而確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境；三、用戶選擇并確定所需學(xué)習(xí)的漢語(yǔ)普通話發(fā)音學(xué)習(xí)內(nèi)容，在聲母、韻母、單字、詞組和句子五個(gè)選項(xiàng)中確定其中一個(gè)選項(xiàng)；四、計(jì)算機(jī)的顯示器向用戶顯示學(xué)習(xí)的語(yǔ)音內(nèi)容和需注意的環(huán)節(jié)，在用戶選擇的語(yǔ)言環(huán)境下利用動(dòng)畫(huà)圖像、聲音和文字向用戶提示發(fā)音時(shí)所需注意的環(huán)節(jié)，并示范所選學(xué)習(xí)內(nèi)容的標(biāo)準(zhǔn)漢語(yǔ)發(fā)音，利用多媒體音箱播放真人教學(xué)錄音；五、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置，等待用戶語(yǔ)音信號(hào)的輸入，同時(shí)啟動(dòng)視頻采集裝置，用于捕捉用戶發(fā)音時(shí)的口型等細(xì)部特征；六、語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)，記錄用戶發(fā)音時(shí)的語(yǔ)音，實(shí)施反混疊濾波，消除語(yǔ)音信號(hào)中的噪聲干擾，進(jìn)行模擬/數(shù)字轉(zhuǎn)換，并存儲(chǔ)，視頻采集裝置記錄用戶發(fā)音時(shí)的口型圖像，并存儲(chǔ)；七、計(jì)算機(jī)的中央處理器從存儲(chǔ)裝置提取語(yǔ)音單元，采用端點(diǎn)檢測(cè)的方法，通過(guò)計(jì)算信號(hào)能量和過(guò)零率實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決；八、中央處理器采用隱含馬爾可夫方法對(duì)語(yǔ)音單元發(fā)音過(guò)程進(jìn)行分段時(shí)間對(duì)準(zhǔn)，使用短時(shí)自相關(guān)方法提取發(fā)音過(guò)程的聲調(diào)變化軌跡進(jìn)行分析，采用Viterbi算法的尋優(yōu)結(jié)果，對(duì)被訓(xùn)練者發(fā)音與標(biāo)準(zhǔn)發(fā)音間的相似程度給出初步判斷，結(jié)合隱含馬爾可夫方法的輸出概率結(jié)果對(duì)發(fā)音進(jìn)行評(píng)估；九、在顯示器上顯示用戶發(fā)音的準(zhǔn)確度，利用百分?jǐn)?shù)顯示語(yǔ)音準(zhǔn)確度，同時(shí)回放用戶發(fā)音時(shí)的錄音及口型錄像；十、用戶根據(jù)評(píng)判結(jié)果，選擇重復(fù)上次練習(xí)、開(kāi)始新的練習(xí)或退出。
在學(xué)習(xí)的過(guò)程中，用戶選擇中斷，系統(tǒng)則退出，用戶在選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境、選擇并確定所需學(xué)習(xí)的語(yǔ)音內(nèi)容、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置或中斷時(shí)，使用鍵盤(pán)、鼠標(biāo)或遙控器。
實(shí)施例1，英語(yǔ)語(yǔ)言背景下漢語(yǔ)拼音韻母“a”的發(fā)音學(xué)習(xí)。所使用計(jì)算機(jī)型號(hào)為Dell Dimension 5150-n，CPU為Intel Pentium 43.00GHz，內(nèi)存為512MB，80GB硬盤(pán)，17英寸液晶顯示器，聲卡為Creative Ectiva Audio 5.1，多媒體音箱使用Edifier 2.1TC，語(yǔ)音接收裝置采用新貴ME-818、視頻采集裝置采用多彩DLV-B16，操作系統(tǒng)使用Microsoft Window XP Professional，版本2002，Service Pack2，“多語(yǔ)言計(jì)算機(jī)輔助漢語(yǔ)普通話發(fā)音學(xué)習(xí)系統(tǒng)”為根據(jù)本發(fā)明申請(qǐng)開(kāi)發(fā)的“Acoustic-Visual Bimodal Learning System for MandarinPronunciation”軟件，Version 2.0。首先開(kāi)啟多媒體計(jì)算機(jī)，啟動(dòng)本輔助學(xué)習(xí)系統(tǒng)。學(xué)習(xí)系統(tǒng)檢測(cè)到各必要硬件設(shè)施都獲得正確安裝后，進(jìn)入本輔助學(xué)習(xí)系統(tǒng)主界面。如圖2所示，主界面所使用的語(yǔ)言為中文，在主界面上用戶可以看到“選擇學(xué)習(xí)語(yǔ)言種類”的中文提示。用戶可以通過(guò)下拉菜單選擇在學(xué)習(xí)過(guò)程中輔助教學(xué)系統(tǒng)所使用的教學(xué)語(yǔ)言。本具體實(shí)施例用戶的母語(yǔ)為英語(yǔ)，希望使用英語(yǔ)來(lái)指導(dǎo)用戶進(jìn)行普通話發(fā)音練習(xí)，因此用戶選擇“英語(yǔ)”。此后系統(tǒng)所使用的提示語(yǔ)言為英文和中文兩種語(yǔ)言。
如圖3所示，選擇“英語(yǔ)”后，進(jìn)入學(xué)習(xí)內(nèi)容選擇界面，用戶可以看到“Initial Consonant(聲母)”、“Simple or Compound Vowel(韻母)”、“Character(單字)”、“Phrase(詞組)”、“Sentence(句子)”共五個(gè)由中文和英文共同顯示的選項(xiàng)，用戶學(xué)習(xí)漢語(yǔ)拼音“a”的發(fā)音，因此用戶在屏幕上用鼠標(biāo)左鍵單擊“Simple or CompoundVowel(韻母)”選項(xiàng)。如圖4所示，進(jìn)入韻母選擇界面后，用戶可以看到計(jì)算機(jī)屏幕上顯示出全部24個(gè)韻母。
用戶使用鼠標(biāo)左鍵單擊韻母“a”，如圖5所示，計(jì)算機(jī)屏幕顯示出韻母“a”以及發(fā)“a”音的中英文提示“Open your mouth naturallyand let your tongue off to pronounce.Bear in mind to lay yourtongue as low as possible and keep the tip of your tongue awayfrom teeth.Remember to low your Chin and relax your tongue thenyou can pronounce smoothly.(發(fā)音時(shí)，嘴巴自然張大，舌頭放平，舌位低，唇態(tài)自然)”。同時(shí)，屏幕顯示正確發(fā)出“a”音時(shí)口型的正面錄像、側(cè)面錄像和發(fā)聲器官解剖結(jié)構(gòu)的發(fā)音過(guò)程錄像，并通過(guò)多媒體音箱播放系統(tǒng)所存儲(chǔ)的真人教學(xué)錄音，講解發(fā)“a”音時(shí)所需注意的要點(diǎn)。用戶可以點(diǎn)擊屏幕左下角的“Play the Standard Pronunciation(播放標(biāo)準(zhǔn)發(fā)音)”按鍵，系統(tǒng)將通過(guò)音箱播放標(biāo)準(zhǔn)發(fā)音示范人發(fā)“a”的標(biāo)準(zhǔn)發(fā)音。用戶點(diǎn)擊屏幕右下方“test(開(kāi)始測(cè)試)”，則屏幕顯示視頻采集裝置所捕捉的實(shí)時(shí)畫(huà)面，并提示“(Please adjust theposition of your head correctly)請(qǐng)正確調(diào)整頭部的位置”。用戶根據(jù)提示調(diào)整自己頭部的位置和角度，使視頻采集裝置能夠穩(wěn)定清晰的捕捉到用戶發(fā)音時(shí)的口型及面部特征。調(diào)整結(jié)束后，用戶再次點(diǎn)擊“test(開(kāi)始測(cè)試)”。此時(shí)語(yǔ)音采集裝置和視頻采集裝置開(kāi)始分別記錄下長(zhǎng)度為10秒鐘的音頻和視頻信號(hào)，并在計(jì)算機(jī)屏幕上顯示十秒鐘倒計(jì)時(shí)。在十秒鐘之內(nèi)，用戶對(duì)準(zhǔn)語(yǔ)音采集裝置發(fā)出“a”的聲音。十秒鐘后，語(yǔ)音采集裝置和視頻采集裝置停止記錄音頻和視頻信號(hào)。
本發(fā)明中計(jì)算機(jī)的語(yǔ)音評(píng)估模塊負(fù)責(zé)對(duì)當(dāng)前發(fā)音進(jìn)行基于隱含馬爾可夫HMM(Hidden Markov Model)方法的統(tǒng)計(jì)參數(shù)匹配和發(fā)音過(guò)程基音軌跡分析，并給出準(zhǔn)確性評(píng)價(jià)。語(yǔ)音信號(hào)由聲卡實(shí)現(xiàn)模擬/數(shù)字變換，計(jì)算機(jī)首先對(duì)采集到的數(shù)字音頻數(shù)據(jù)流進(jìn)行短時(shí)分幀，由于語(yǔ)音信號(hào)具有短時(shí)平穩(wěn)特性，在連續(xù)的短時(shí)數(shù)字語(yǔ)音幀之間保持一定的交疊。數(shù)字音頻數(shù)據(jù)經(jīng)過(guò)加窗，本發(fā)明的方法使用漢明窗處理后，再通過(guò)預(yù)處理數(shù)字濾波，實(shí)現(xiàn)環(huán)境噪聲抑制和高頻信號(hào)分量預(yù)加重。在連續(xù)的短時(shí)語(yǔ)音幀中，通過(guò)計(jì)算信號(hào)能量和過(guò)零率參數(shù)實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決。在經(jīng)過(guò)初步確認(rèn)的數(shù)字話音流中，對(duì)連續(xù)短時(shí)語(yǔ)音幀進(jìn)行基于μ律倒譜分析的MFCC(Mel-FrequencyCepstral Coefficients，MFCC)參數(shù)計(jì)算，在每個(gè)參數(shù)矢量中包含信號(hào)短時(shí)能量以及參數(shù)的一階、二階差分分量。本發(fā)明的方法覆蓋了全部訓(xùn)練場(chǎng)景的非特定人隱含馬爾可夫模型HMM(Hidden Markov Model)集合。以該集合為基礎(chǔ)，對(duì)特征提取后得到的特征向量序列應(yīng)用Viterbi最優(yōu)化算法。由于已知話音的內(nèi)容，通過(guò)Viterbi算法是要找到被訓(xùn)練者本次發(fā)音的真實(shí)狀態(tài)轉(zhuǎn)移路徑。例如，對(duì)于發(fā)音“a”，在語(yǔ)音流中找到“a”的相應(yīng)發(fā)音軌跡及其起止短時(shí)幀的位置。這時(shí)，本系統(tǒng)已經(jīng)可以根據(jù)Viterbi算法的尋優(yōu)結(jié)果，對(duì)被訓(xùn)練者發(fā)音與標(biāo)準(zhǔn)發(fā)音間的相似程度給出初步判斷。漢語(yǔ)發(fā)音包含5種聲調(diào)變化，他們是陰平、陽(yáng)平、上聲、去聲和輕聲。發(fā)音聲調(diào)是非漢語(yǔ)母語(yǔ)被訓(xùn)練者學(xué)習(xí)漢語(yǔ)過(guò)程的突出難點(diǎn)。為了更加嚴(yán)格地評(píng)價(jià)被訓(xùn)練者發(fā)音水平，在基于HMM的分段對(duì)準(zhǔn)的基礎(chǔ)上，使用短時(shí)自相關(guān)方法，提取被訓(xùn)練者發(fā)音過(guò)程包含的音調(diào)變化信息，即基音軌跡。將當(dāng)前發(fā)音的基音軌跡與正確發(fā)音的基音軌跡進(jìn)行比對(duì)，并向被訓(xùn)練者給出可視化的比對(duì)結(jié)果。以上述分析處理過(guò)程的結(jié)果為基礎(chǔ)，本系統(tǒng)將以百分制對(duì)被訓(xùn)練者給出評(píng)測(cè)成績(jī)。
如圖6所示，語(yǔ)音評(píng)測(cè)結(jié)束后，在計(jì)算機(jī)屏幕上方用百分?jǐn)?shù)顯示出本次發(fā)音的得分。同時(shí)，屏幕中反復(fù)回放視頻采集裝置所記錄下的用戶在發(fā)“a”音過(guò)程中口型及面部特征變化的視頻錄像，并利用音頻裝置通過(guò)音箱播放用戶所發(fā)“a”音的錄音。用戶還可以點(diǎn)擊屏幕右方的“Standard Audio(標(biāo)準(zhǔn)發(fā)音)”與“Standard Video(標(biāo)準(zhǔn)口型)”兩個(gè)按鍵。點(diǎn)擊“Standard Audio(標(biāo)準(zhǔn)發(fā)音)”按鍵，音頻裝置通過(guò)音箱播放標(biāo)準(zhǔn)發(fā)音示范人發(fā)“a”的標(biāo)準(zhǔn)發(fā)音；點(diǎn)擊“Standard Video(標(biāo)準(zhǔn)口型)”按鍵，顯示器上播放標(biāo)準(zhǔn)發(fā)音示范人發(fā)“a”音的標(biāo)準(zhǔn)發(fā)音口型錄像。用戶可以將自己的發(fā)音和口型與標(biāo)準(zhǔn)發(fā)音和口型做比較，根據(jù)這些反饋信息反復(fù)矯正自己的發(fā)音。測(cè)評(píng)完畢，界面最下方有三個(gè)選項(xiàng)“Try again(重復(fù)上次測(cè)試)”、“Choose new section(選擇新的學(xué)習(xí)內(nèi)容)”、“Quit(退出系統(tǒng))”。如果用戶選擇“Tryagain(重復(fù)上次測(cè)試)”，則系統(tǒng)重新進(jìn)行拼音“a”的發(fā)音輔助訓(xùn)練。如果用戶選擇“Choose new section(選擇新的學(xué)習(xí)內(nèi)容)”，則系統(tǒng)退回到主界面，等待用戶選擇新的語(yǔ)音訓(xùn)練。如果用戶選擇“Quit(退出系統(tǒng))”，則退出，返回操作系統(tǒng)界面。
實(shí)施例2，英語(yǔ)語(yǔ)言背景下漢語(yǔ)拼音“shā”的發(fā)音學(xué)習(xí)，學(xué)習(xí)拼音為“shā”的常用漢字“沙、紗、殺”等字發(fā)音。所使用的軟件與硬件，以及計(jì)算機(jī)輔助學(xué)習(xí)系統(tǒng)與實(shí)施例1相同。啟動(dòng)方式與實(shí)施例1相同。選擇語(yǔ)言環(huán)境為“英語(yǔ)”，用戶同樣看到“Initial Consonant(聲母)”、“Simple or Compound Vowel(韻母)”、“Character(單字)”、“Phrase(詞組)”、“Sentence(句子)”五個(gè)選項(xiàng)。在本實(shí)施例中，用戶學(xué)習(xí)的是單字“shā”的發(fā)音，因此用戶在屏幕上用鼠標(biāo)左鍵單擊“Character(單字)”選項(xiàng)。如圖7所示，進(jìn)入該子選項(xiàng)后，用戶可以看到計(jì)算機(jī)屏幕分為上下兩部分，上半部分顯示出全部23個(gè)聲母，下半部分顯示出全部24個(gè)韻母，用戶使用鼠標(biāo)左鍵首先單擊聲母“sh”，然后單擊韻母“a”，并單擊聲調(diào)“the first expression(第一聲)”，最后單擊“Enter(確認(rèn))”。計(jì)算機(jī)屏幕顯示拼音“shā”以及拼音為“shā”的常用漢字“沙、紗、殺”等字，顯示出拼音“shā”發(fā)音的中英文提示，屏幕播放標(biāo)準(zhǔn)發(fā)音的多角度視頻錄像，多媒體音箱播放真人教學(xué)錄音。播放屏幕下方同樣有“Play the StandardPronunciation(播放標(biāo)準(zhǔn)發(fā)音)”按鍵和“test(開(kāi)始測(cè)試)”按鍵，用戶選擇后，計(jì)算機(jī)的處理過(guò)程與實(shí)施例1相同。
實(shí)施例3，日語(yǔ)語(yǔ)言背景下詞組“沙灘”的發(fā)音學(xué)習(xí)，所使用的軟件與硬件，以及“多語(yǔ)言計(jì)算機(jī)輔助漢語(yǔ)普通話發(fā)音學(xué)習(xí)系統(tǒng)”與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)后，用戶在主界面上的語(yǔ)言種類中選擇“日語(yǔ)”。選擇“日語(yǔ)(日語(yǔ))”后，用戶可以看到“聲母(聲母)”、“韻母(韻母)”、“語(yǔ)彙(單字)”、“連語(yǔ)(詞組)”、“センテンス(句子)”共五個(gè)由日文和中文共同顯示的選項(xiàng)，在本具體實(shí)施例中，用戶學(xué)習(xí)的是詞組“沙灘”的發(fā)音，因此用戶在屏幕上用鼠標(biāo)左鍵單擊“語(yǔ)彙(詞組)”選項(xiàng)。進(jìn)入該子選項(xiàng)后，用戶可以看到計(jì)算機(jī)屏幕分為上下兩部分，上半部分顯示出全部23個(gè)聲母，下半部分顯示出全部24個(gè)韻母。用戶使用鼠標(biāo)左鍵首先單擊聲母“sh”，然后單擊韻母“a”，再單擊聲母“t”，然后單擊韻母“an”，并單擊“確認(rèn)(確認(rèn))”后，屏幕顯示出拼音“shātān”以及與該拼音相對(duì)應(yīng)的詞組“沙灘(砂浜)”。此后的輔助學(xué)習(xí)過(guò)程與測(cè)試及結(jié)果的反饋過(guò)程與實(shí)施例2相同。
本次測(cè)試結(jié)束后，屏幕最下方有三個(gè)選項(xiàng)“前回テストを繰り返す(重復(fù)上次測(cè)試)”、“新しい內(nèi)容(選擇新的學(xué)習(xí)內(nèi)容)”、“終了(退出系統(tǒng))”。如果用戶選擇“前回テストを繰り返す(重復(fù)上次測(cè)試)”，則系統(tǒng)重新進(jìn)行拼音“shātān”的發(fā)音輔助訓(xùn)練。如果用戶選擇“新しい內(nèi)容(選擇新的學(xué)習(xí)內(nèi)容)”，則系統(tǒng)退回到主界面，等待用戶選擇新的語(yǔ)音訓(xùn)練。如果用戶選擇“終了(退出系統(tǒng))”，則程序退出，返回操作系統(tǒng)界面。
實(shí)施例4，法語(yǔ)語(yǔ)言背景下句子“世界需要和平”的發(fā)音“shìjìexūyào hépíng”的計(jì)算機(jī)輔助學(xué)習(xí)方法，所使用的軟件與硬件，以及“多語(yǔ)言計(jì)算機(jī)輔助漢語(yǔ)普通話發(fā)音學(xué)習(xí)系統(tǒng)”與實(shí)施例1相同。學(xué)習(xí)系統(tǒng)的啟動(dòng)后，用戶在主界面上的語(yǔ)言種類中選擇“法語(yǔ)”。選擇“French(法語(yǔ))”后，用戶可以看到“l(fā)es initiales(聲母)”、“l(fā)esfinales(韻母)”、“un caractère(單字)”、“une locution(詞組)”、“une phrase(句子)”共五個(gè)由法文和中文共同顯示的選項(xiàng)，用戶在屏幕上用鼠標(biāo)左鍵單擊“une phrase(句子)”選項(xiàng)。進(jìn)入該子選項(xiàng)后，用戶可以看到計(jì)算機(jī)屏幕分為上下兩部分，上半部分顯示出全部23個(gè)聲母，下半部分顯示出全部24個(gè)韻母。用戶使用鼠標(biāo)左鍵首先單擊聲母“sh”，然后單擊韻母“i”；單擊聲母“j”，然后單擊韻母“ie”；單擊聲母“x”，然后單擊韻母“u”；再單擊聲母“y”，然后單擊韻母“ao”；單擊聲母“h”，然后單擊韻母“e”；單擊聲母“p”，然后單擊韻母“ing”；并單擊“confirmer(確認(rèn))”后，屏幕顯示出拼音“shìjìe xūyào hépíng”以及與該拼音相對(duì)應(yīng)的句子“Le monde a besoinde la paix(世界需要和平)”。此后的輔助學(xué)習(xí)過(guò)程與測(cè)試及結(jié)果的反饋過(guò)程與實(shí)施例3相同。本次測(cè)試結(jié)束后，屏幕最下方有三個(gè)選項(xiàng)“Répéter le test precedent(重復(fù)上次測(cè)試)”、“choisir unnouveau sujet(選擇新的學(xué)習(xí)內(nèi)容)”、“quitter(退出系統(tǒng))”。如果用戶選擇“Répéter le test precedent(重復(fù)上次測(cè)試)”，則系統(tǒng)重新進(jìn)行拼音“shìjìe xūyào héping”的發(fā)音輔助訓(xùn)練。如果用戶選擇“choisir un nouveau sujet(選擇新的學(xué)習(xí)內(nèi)容)”，則系統(tǒng)退回到主界面，等待用戶選擇新的語(yǔ)音訓(xùn)練。如果用戶選擇“quitter(退出系統(tǒng))”，則程序退出，返回操作系統(tǒng)界面。
本發(fā)明的方法合理而有效地將語(yǔ)音識(shí)別、語(yǔ)音評(píng)估、圖形圖像處理、音頻處理等計(jì)算機(jī)技術(shù)結(jié)合起來(lái)。針對(duì)使用對(duì)象具有不同國(guó)家(地區(qū))、不同母語(yǔ)的特點(diǎn)，在輔助教學(xué)過(guò)程中可以使用多種不同的教學(xué)語(yǔ)言，可以充分滿足眾多不同國(guó)家和地區(qū)學(xué)習(xí)普通話的人群的需要。本學(xué)習(xí)輔助系統(tǒng)簡(jiǎn)便易用，用戶可以在任何一臺(tái)帶有語(yǔ)音接收裝置、視頻采集裝置和多媒體音箱的多媒體電腦上使用。對(duì)學(xué)習(xí)對(duì)象的普通話發(fā)音突破簡(jiǎn)單的“正確”或是“錯(cuò)誤”的評(píng)價(jià)，而是對(duì)其正確性用百分?jǐn)?shù)進(jìn)行量化評(píng)估，并利用聲音對(duì)比與視頻動(dòng)畫(huà)對(duì)比等手段向?qū)W習(xí)者充分反饋其發(fā)聲與參考標(biāo)準(zhǔn)的差異。
本發(fā)明充分利用多媒體計(jì)算機(jī)的語(yǔ)音接收裝置、視頻采集裝置、多媒體音箱以及顯示器等多個(gè)硬件裝備，將計(jì)算機(jī)圖形圖像技術(shù)，包括靜態(tài)圖像技術(shù)和動(dòng)畫(huà)技術(shù)，多媒體計(jì)算機(jī)語(yǔ)音技術(shù)，包括語(yǔ)音識(shí)別和語(yǔ)音評(píng)測(cè)以及多媒體音頻技術(shù)，包括真人發(fā)音教學(xué)有機(jī)的結(jié)合起來(lái)，能夠幫助各種母語(yǔ)人群進(jìn)行簡(jiǎn)單漢語(yǔ)發(fā)音的學(xué)習(xí)，有效解決全球范圍內(nèi)漢語(yǔ)普通話教學(xué)師資力量不足的問(wèn)題。
權(quán)利要求
1.一種計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，包括以下步驟一、用戶選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境；二、用戶選擇并確定所需學(xué)習(xí)的漢語(yǔ)普通話發(fā)音學(xué)習(xí)內(nèi)容；三、計(jì)算機(jī)的顯示器向用戶顯示學(xué)習(xí)的語(yǔ)音和需注意的環(huán)節(jié)；四、啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置，等待用戶語(yǔ)音信號(hào)的輸入；五、語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)，進(jìn)行模擬/數(shù)字轉(zhuǎn)換，并存儲(chǔ)；六、計(jì)算機(jī)的中央處理器從存儲(chǔ)裝置提取語(yǔ)音單元；七、中央處理器采集語(yǔ)音信號(hào)、分析判斷、并結(jié)合標(biāo)準(zhǔn)發(fā)音對(duì)用戶的發(fā)音進(jìn)行評(píng)估；八、在顯示器上顯示用戶發(fā)音的準(zhǔn)確度。
2.根據(jù)權(quán)利要求1所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述用戶選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境時(shí)，在系統(tǒng)主界面的語(yǔ)言選擇菜單欄內(nèi)選擇并確定語(yǔ)言名稱。
3.根據(jù)權(quán)利要求2所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述漢語(yǔ)普通話發(fā)音學(xué)習(xí)內(nèi)容包括聲母、韻母、單字、詞組和句子選項(xiàng)。
4.根據(jù)權(quán)利要求3所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述顯示器向用戶顯示需要學(xué)習(xí)的語(yǔ)音和需注意的環(huán)節(jié)時(shí)，在用戶選擇的語(yǔ)言環(huán)境下利用動(dòng)畫(huà)圖像、聲音和文字向用戶提示發(fā)音時(shí)所需注意的環(huán)節(jié)，并示范所選學(xué)習(xí)內(nèi)容的標(biāo)準(zhǔn)漢語(yǔ)發(fā)音，利用多媒體音箱播放真人教學(xué)錄音。
5.根據(jù)權(quán)利要求4所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述啟動(dòng)語(yǔ)音接收裝置時(shí)，同時(shí)啟動(dòng)視頻采集裝置，捕捉用戶發(fā)音時(shí)的口型等細(xì)部特征。
6.根據(jù)權(quán)利要求5所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述語(yǔ)音接收裝置接收用戶發(fā)出的語(yǔ)音信號(hào)時(shí)，記錄用戶發(fā)音時(shí)的語(yǔ)音，消除語(yǔ)音信號(hào)中的噪聲干擾，視頻采集裝置記錄用戶發(fā)音時(shí)的口型圖像，并存儲(chǔ)。
7.根據(jù)權(quán)利要求6所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述計(jì)算機(jī)的中央處理器提取語(yǔ)音單元時(shí)采用端點(diǎn)檢測(cè)的方法，通過(guò)計(jì)算信號(hào)能量和過(guò)零率實(shí)現(xiàn)對(duì)輸入話音信號(hào)起始和終止位置的初步判決。
8.根據(jù)權(quán)利要求7所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述中央處理器采集語(yǔ)音信號(hào)、分析判斷、并結(jié)合標(biāo)準(zhǔn)發(fā)音對(duì)用戶的發(fā)音進(jìn)行評(píng)估時(shí)，通過(guò)Viterbi算法的尋優(yōu)結(jié)果，找出真實(shí)的發(fā)音軌跡，并在基于隱含馬爾可夫方法的分段對(duì)準(zhǔn)的基礎(chǔ)上，使用短時(shí)自相關(guān)方法，結(jié)合隱含馬爾可夫方法的輸出概率結(jié)果對(duì)發(fā)音進(jìn)行最終評(píng)估。
9.根據(jù)權(quán)利要求8所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述顯示器上顯示用戶發(fā)音的準(zhǔn)確度，利用百分?jǐn)?shù)顯示語(yǔ)音準(zhǔn)確度，同時(shí)回放用戶發(fā)音時(shí)的錄音及口型錄像。
10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述用戶根據(jù)評(píng)判結(jié)果，選擇重復(fù)上次練習(xí)、開(kāi)始新的練習(xí)或退出。
11.根據(jù)權(quán)利要求10所述的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，其特征在于所述用戶選擇并確定計(jì)算機(jī)運(yùn)行的語(yǔ)言環(huán)境、選擇并確定所需學(xué)習(xí)的語(yǔ)音內(nèi)容或啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置時(shí)，使用鍵盤(pán)、鼠標(biāo)或遙控器。
全文摘要
本發(fā)明公開(kāi)了一種計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，要解決的技術(shù)問(wèn)題是利用計(jì)算機(jī)多媒體系統(tǒng)，幫助各種母語(yǔ)人群學(xué)習(xí)漢語(yǔ)發(fā)音，本發(fā)明的計(jì)算機(jī)輔助漢語(yǔ)發(fā)音學(xué)習(xí)方法，包括以下步驟用戶選擇語(yǔ)言環(huán)境；選擇學(xué)習(xí)內(nèi)容；顯示器顯示學(xué)習(xí)的語(yǔ)音；啟動(dòng)計(jì)算機(jī)的語(yǔ)音接收裝置；語(yǔ)音接收裝置接收信號(hào)；中央處理器提取語(yǔ)音單元；中央處理器采集語(yǔ)音信號(hào)、分析判斷、評(píng)估；顯示用戶發(fā)音的準(zhǔn)確度，本發(fā)明與現(xiàn)有技術(shù)相比，利用多媒體計(jì)算機(jī)，結(jié)合計(jì)算機(jī)圖形圖像軟件技術(shù)和語(yǔ)音技術(shù)，采用中文、英語(yǔ)、日語(yǔ)、法語(yǔ)、藏語(yǔ)等20多種語(yǔ)言界面輔助具有各種不同母語(yǔ)的人群學(xué)習(xí)漢語(yǔ)普通話發(fā)音，拓寬普通話發(fā)音學(xué)習(xí)中反饋的來(lái)源，更快更方便的學(xué)習(xí)普通話。
文檔編號(hào)G06F17/00GK1804934SQ20061003299
公開(kāi)日2006年7月19日 申請(qǐng)日期2006年1月13日 優(yōu)先權(quán)日2006年1月13日
發(fā)明者黃中偉, 蒙山, 楊磊, 孫宏元, 徐 明 申請(qǐng)人:黃中偉, 蒙山, 楊磊, 孫宏元, 徐 明