專(zhuān)利名稱(chēng)：面向聽(tīng)障兒童語(yǔ)訓(xùn)的舌部訓(xùn)練方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種聽(tīng)障兒童語(yǔ)訓(xùn)的舌部訓(xùn)練方法以及實(shí)現(xiàn)這種方法的系統(tǒng)，屬于聾兒語(yǔ)言康復(fù)技術(shù)領(lǐng)域，尤指利用三維建模技術(shù)建立可視模型，能夠讓聾兒清楚的看到正常人發(fā)音時(shí)舌腭部的運(yùn)動(dòng)過(guò)程，并且利用傳感器與語(yǔ)音識(shí)別技術(shù)，將聾兒發(fā)音情況進(jìn)行反饋和分析的面向聽(tīng)障兒童語(yǔ)訓(xùn)的舌部訓(xùn)練方法及其系統(tǒng)。
背景技術(shù)：
聽(tīng)障兒童由于聽(tīng)カ障礙，使得語(yǔ)言能力遠(yuǎn)遠(yuǎn)落后于同齡健全兒童，聾兒說(shuō)出的話，一般人聽(tīng)不懂或較難聽(tīng)懂，因此要對(duì)聾兒進(jìn)行語(yǔ)言康復(fù)訓(xùn)練。有資料表明聾兒的最佳語(yǔ)訓(xùn)期為3-7歲，如果能夠及時(shí)的進(jìn)行康復(fù)訓(xùn)練，鍛煉發(fā)音，培養(yǎng)語(yǔ)感及自主學(xué)習(xí)語(yǔ)言的意識(shí)，使其具有一定的懂話能力，說(shuō)話能力，達(dá)到能聽(tīng)會(huì)說(shuō)，聾而不啞，為其今后的知識(shí)學(xué)習(xí)和參與社會(huì)活動(dòng)奠定基礎(chǔ)。聾啞人的語(yǔ)言康復(fù)訓(xùn)練始于20世紀(jì)60年代，主要康復(fù)訓(xùn)練內(nèi)容可分為聽(tīng)覺(jué)訓(xùn)練和語(yǔ)言訓(xùn)練。人類(lèi)的語(yǔ)言都有一套完整的體系，它包括語(yǔ)音、詞匯和語(yǔ)法三個(gè)要素。語(yǔ)音是由發(fā)音器官發(fā)生的，發(fā)音器官活動(dòng)的部位不同，方法不同，產(chǎn)生的聲音也不同。為了鍛煉聾兒的發(fā)音器官，要讓聾兒做呼吸操、舌頭操、ロ部操。為了練習(xí)好發(fā)音，要進(jìn)行鼻音練習(xí)、嗓音訓(xùn)練、音素訓(xùn)練、拼音訓(xùn)練。但由于耳聾使聾兒缺少聽(tīng)覺(jué)的反饋，不能及時(shí)校正自己的發(fā)音，因此他們發(fā)音訓(xùn)練時(shí)會(huì)存在許多缺陷，比如發(fā)音不準(zhǔn)，發(fā)音音量小，缺少聲調(diào)變化，有時(shí)發(fā)假首，冒聞?wù){(diào)，有時(shí)又發(fā)低首等等。舌部方法訓(xùn)練是語(yǔ)言康復(fù)訓(xùn)練的重要環(huán)節(jié)，是學(xué)習(xí)發(fā)音方法、發(fā)音技巧以及養(yǎng)成良好發(fā)音習(xí)慣的訓(xùn)練基礎(chǔ)，為聽(tīng)障兒童今后進(jìn)行語(yǔ)言訓(xùn)練打下好的基礎(chǔ)。舌部的方法訓(xùn)練關(guān)鍵是舌部運(yùn)動(dòng)，傳統(tǒng)的舌部訓(xùn)練方式是教師通過(guò)讓聽(tīng)障兒童進(jìn)行舌操訓(xùn)練。安排時(shí)間組織聽(tīng)障兒童做舌操。如伸縮舌頭、頂腮、翻轉(zhuǎn)舌頭等。目前針對(duì)舌部的訓(xùn)練比較少，中國(guó)發(fā)明專(zhuān)利申請(qǐng)?zhí)?6196157.0，專(zhuān)利名稱(chēng)“挺伸舌頭的口腔習(xí)性矯正裝置”，涉及ー種舌頭挺伸口腔習(xí)性矯正裝置，該裝置被設(shè)計(jì)成用后牙固定，并訓(xùn)練在吞咽時(shí)不用舌頭抵壓前牙，使用者的舌頭可以卷入位于口腔中央位置的該槽中，從而可在開(kāi)始正常吞咽時(shí)正確和準(zhǔn)確地定位舌尖的位置。發(fā)明專(zhuān)利申請(qǐng)?zhí)?2132458. 1，專(zhuān)利名稱(chēng)“舌像采集設(shè)備”，涉及ー種舌像采集設(shè)備，本發(fā)明是計(jì)算機(jī)舌像診斷系統(tǒng)中的關(guān)鍵組成部分，其結(jié)構(gòu)設(shè)計(jì)可確保舌像照片的質(zhì)量、計(jì)算機(jī)診斷結(jié)果的可靠性、獲得舌體的真實(shí)顏色和舌面紋理、舌體形狀不失真、舌像采集的準(zhǔn)確性、舒適性。發(fā)明專(zhuān)利申請(qǐng)?zhí)?00680014327. 8，專(zhuān)利名稱(chēng)“根據(jù)舌圖像診斷疾病的方法”，涉及一種通過(guò)檢查個(gè)體的舌的圖像來(lái)診斷疾病的方法。它包括形成舌和個(gè)體的面部的一部分的第一圖像、第二圖像。進(jìn)行第二圖像中個(gè)體的面部和第一圖像中個(gè)體的面部的所述部分的顔色比較，并且基于顏色比較來(lái)使第二圖像中的顔色匹配第一圖像中的顔色，由此基于第一舌圖像和第二舌圖像中的變化來(lái)診斷至少ー種疾病。發(fā)明專(zhuān)利申請(qǐng)?zhí)?2118128. 4名稱(chēng)“可動(dòng)態(tài)調(diào)整播速的聽(tīng)講訓(xùn)練系統(tǒng)及其方法”，涉及了一種可動(dòng)態(tài)調(diào)整播速的聽(tīng)講訓(xùn)練系統(tǒng)及其方法，使用者可以通過(guò)對(duì)使用者操作接ロ的操作，在跟讀學(xué)習(xí)過(guò)程中隨時(shí)進(jìn)行動(dòng)態(tài)參數(shù)設(shè)定，并且系統(tǒng)可以立即根據(jù)設(shè)定內(nèi)容進(jìn)行調(diào)整，實(shí)時(shí)產(chǎn)生滿(mǎn)足使用者所需求的跟讀學(xué)習(xí)過(guò)程，讓使用者得以順利完成聽(tīng)講訓(xùn)練。上述涉及舌部及發(fā)音訓(xùn)練的方法和裝置，用于訓(xùn)練正常吞咽時(shí)正確和準(zhǔn)確地定位舌尖的位置和舌像診斷具有一定作用，但對(duì)于聽(tīng)カ障礙兒童進(jìn)行語(yǔ)言訓(xùn)練過(guò)程中的舌部訓(xùn)練方法卻沒(méi)有涉及。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服目前聽(tīng)障兒童語(yǔ)言訓(xùn)練中舌部訓(xùn)練過(guò)程不可視及無(wú)反饋診斷的不足，提出ー種面向聽(tīng)カ障礙的兒童如何在語(yǔ)言訓(xùn)練過(guò)程中進(jìn)行的舌部訓(xùn)練方法及其系統(tǒng)，以解決聾兒由于聽(tīng)カ缺陷，缺少聽(tīng)覺(jué)的反饋，使舌頭得不到很好的鍛煉，故舌尖轉(zhuǎn)動(dòng)不靈敏，舌頭動(dòng)作跟不上言語(yǔ)節(jié)拍的速度，因此發(fā)音不準(zhǔn)，缺少聲調(diào)變化的 問(wèn)題，進(jìn)而提高聽(tīng)障兒童發(fā)音訓(xùn)練的效率，提高發(fā)音訓(xùn)練的準(zhǔn)確度。為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案將三維建模技術(shù)與傳感器技術(shù)相結(jié)合，建立基于視覺(jué)反饋模型及適合聽(tīng)障兒童語(yǔ)訓(xùn)的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，并在建立標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的基礎(chǔ)上，結(jié)合傳感器和音頻技術(shù)對(duì)聽(tīng)障兒童發(fā)音過(guò)程的舌部運(yùn)動(dòng)進(jìn)行校正，以達(dá)到聽(tīng)障兒童在恢復(fù)漢語(yǔ)發(fā)音過(guò)程中正確發(fā)音，使聾兒在發(fā)音學(xué)習(xí)中能直觀看到顯示屏幕上的舌部模型的發(fā)音運(yùn)動(dòng)過(guò)程，一邊模仿一邊練習(xí)，具體步驟包括
步驟I :聾兒根據(jù)自己的訓(xùn)練層次，首先選擇ー種舌部發(fā)音訓(xùn)練環(huán)節(jié)，比如元音訓(xùn)練，輔音訓(xùn)練，音調(diào)訓(xùn)練等。顯示屏幕上的舌部模型播放某ー漢語(yǔ)音素的發(fā)音過(guò)程，同時(shí)播放該信息的語(yǔ)音，該發(fā)音過(guò)程是經(jīng)過(guò)參數(shù)驅(qū)動(dòng)三維舌部模型完成的，接下來(lái)進(jìn)行步驟2 ；
步驟2 :聽(tīng)障兒童根據(jù)屏幕顯示的發(fā)音過(guò)程進(jìn)行發(fā)音練習(xí)，同時(shí)系統(tǒng)收集聽(tīng)障兒童練習(xí)過(guò)程的音頻信息和傳感器信息，并通過(guò)傳感器技術(shù)和語(yǔ)音識(shí)別技術(shù)進(jìn)行分析，給聽(tīng)障兒童發(fā)音進(jìn)行評(píng)價(jià)優(yōu)秀、合格、不合格，若合格進(jìn)入步驟3，若優(yōu)秀進(jìn)入步驟4，若不合格進(jìn)入步驟5 ;
步驟3 :鼓勵(lì)學(xué)生繼續(xù)進(jìn)行練習(xí)，爭(zhēng)取達(dá)到優(yōu)秀標(biāo)準(zhǔn)，若聽(tīng)障兒童選擇繼續(xù)練習(xí)則返回到剛剛訓(xùn)練的內(nèi)容，同時(shí)系統(tǒng)進(jìn)入步驟2，若不想繼續(xù)學(xué)習(xí)此內(nèi)容則可選擇進(jìn)入下ー訓(xùn)練環(huán)節(jié)，同時(shí)系統(tǒng)進(jìn)入步驟1，或者進(jìn)入步驟6 ；
步驟4:給予聽(tīng)障兒童一定獎(jiǎng)勵(lì)，一段視頻或是動(dòng)畫(huà)，激勵(lì)聽(tīng)障兒童繼續(xù)努力學(xué)習(xí)，若想繼續(xù)學(xué)習(xí)可選擇進(jìn)入下ー訓(xùn)練環(huán)節(jié)，同時(shí)系統(tǒng)進(jìn)入步驟2，或者進(jìn)入步驟6 ；
步驟5 :給予聽(tīng)障兒童一定鼓勵(lì)，同時(shí)重新播放正確的三維舌部模型發(fā)音過(guò)程，通過(guò)視頻分析，提示其在剛剛發(fā)音過(guò)程中的錯(cuò)誤之處，并系統(tǒng)進(jìn)入步驟2或者進(jìn)入步驟6 ；
步驟6 :退出系統(tǒng)。一種實(shí)現(xiàn)上述方法的聽(tīng)障兒童語(yǔ)訓(xùn)的系統(tǒng)，包括
I)舌部訓(xùn)練基本素材単元，包括五種訓(xùn)練素材漢語(yǔ)音素/t/、/d/和/n/，漢語(yǔ)音素/k/、/g/和/ng/，漢語(yǔ)音素/zh/、/ch/和/sh/，漢語(yǔ)音素/1/，漢語(yǔ)音素/z/、/c/和/s/，每ー種音素經(jīng)參數(shù)驅(qū)動(dòng)后都會(huì)形成與之對(duì)應(yīng)的模擬動(dòng)畫(huà)。2)標(biāo)準(zhǔn)舌部訓(xùn)練參數(shù)單元,用以驅(qū)動(dòng)舌部模型的參數(shù),姆ー參數(shù)對(duì)應(yīng)ー個(gè)音素單元;
3)舌部訓(xùn)練單元，按照聽(tīng)障兒童訓(xùn)練不同階段分為元音、輔音、音調(diào)三個(gè)等級(jí)，分別裝載各自不同級(jí)別的訓(xùn)練單元；
4)音頻接收模塊、接收聽(tīng)障兒童發(fā)音過(guò)程的音頻文件。5)傳感器模塊,接收來(lái)自傳感器的信息。6)顯示模塊，根據(jù)系統(tǒng)輸入需要顯示的相應(yīng)語(yǔ)訓(xùn)等級(jí)中的音素単元，從參數(shù)庫(kù)中調(diào)取參數(shù)驅(qū)動(dòng)舌部模型，進(jìn)入可視化舌部模型發(fā)音過(guò)程；
7)受訓(xùn)者資料數(shù)據(jù)庫(kù)，記錄受訓(xùn)者學(xué)習(xí)情況，并對(duì)受訓(xùn)者所學(xué)發(fā)音過(guò)程進(jìn)行統(tǒng)計(jì)評(píng)估，通過(guò)評(píng)估認(rèn)定受訓(xùn)者應(yīng)該在哪個(gè)語(yǔ)訓(xùn)等級(jí)中。8)判斷模塊，通過(guò)語(yǔ)音識(shí)別識(shí)別技術(shù)判斷聽(tīng)障兒童發(fā)音的級(jí)別優(yōu)秀或合格或不合格；
9)反饋模塊，根據(jù)判斷模塊的結(jié)果提取上述記錄的聽(tīng)障兒童發(fā)音過(guò)程文件，或者提示聽(tīng)障兒童如何正確發(fā)音，或者播放正確的發(fā)音過(guò)程。本發(fā)明的有益效果是，應(yīng)用逼真的三維模型充分指導(dǎo)聽(tīng)障兒童進(jìn)行舌部發(fā)音訓(xùn)練，使聽(tīng)障兒童從各個(gè)方向了解舌部發(fā)音時(shí)的動(dòng)作序列，讓聽(tīng)障兒童從最基本的語(yǔ)素開(kāi)始進(jìn)行發(fā)音練習(xí)，通過(guò)獎(jiǎng)勵(lì)和鼓勵(lì)措施調(diào)動(dòng)聽(tīng)障兒童訓(xùn)練的興趣，能夠縮短聽(tīng)障兒童發(fā)音訓(xùn)練所需時(shí)間，提高發(fā)音訓(xùn)練的效率。同時(shí)本發(fā)明采用傳感器和音頻反饋的方法對(duì)聽(tīng)障兒童發(fā)音訓(xùn)練進(jìn)行評(píng)估，針對(duì)每ー個(gè)聽(tīng)障兒童各自特點(diǎn)記該錄聽(tīng)障兒童訓(xùn)練過(guò)程和訓(xùn)練效果。


圖I為本發(fā)明發(fā)音訓(xùn)練中舌部訓(xùn)練方法流程圖。圖2為本發(fā)明的發(fā)音訓(xùn)練中反饋流程圖。
具體實(shí)施例方式如附圖I和附圖2所示，一種基于視覺(jué)反饋的聽(tīng)障兒童語(yǔ)言訓(xùn)練舌部訓(xùn)練方法，旨在使聽(tīng)障兒童在學(xué)習(xí)發(fā)音過(guò)程中通過(guò)視覺(jué)直觀看到顯示屏幕上的舌部運(yùn)動(dòng)模式，如發(fā)/V、/d/和/n/音素時(shí)形成的馬蹄形上抬模式，發(fā)漢語(yǔ)/k/、/g/和/ng/音素時(shí)形成的舌后部上抬模式，發(fā)漢語(yǔ)/zh/、/ch/和/sh/音素時(shí)形成的舌兩側(cè)上抬模式，發(fā)漢語(yǔ)/I/音素時(shí)舌尖上抬和下降模式，發(fā)漢語(yǔ)/z/、/c/和/s/音素時(shí)形成的舌葉上抬模式等，聾兒ー邊模仿ー邊練習(xí)。如圖I所示的操作步驟進(jìn)入系統(tǒng)一選擇舌部發(fā)音訓(xùn)練環(huán)節(jié)一顯示舌部模型發(fā)音過(guò)程一聽(tīng)障兒童發(fā)音練習(xí)一對(duì)傳感器和音頻信息進(jìn)行分析一判斷評(píng)估；對(duì)不合格者(進(jìn)入)一鼓勵(lì)并提示錯(cuò)誤之處一記錄用戶(hù)信息一退出(系統(tǒng));對(duì)于優(yōu)秀、合格者(進(jìn)入)一給予受訓(xùn)者獎(jiǎng)勵(lì)并記錄用戶(hù)信息一退出(系統(tǒng))。這樣訓(xùn)練者進(jìn)入用戶(hù)相應(yīng)等級(jí)訓(xùn)練模塊，顯示ー組指定的訓(xùn)練單元，用戶(hù)點(diǎn)擊某一特定訓(xùn)練單元，三維舌部模型模擬整個(gè)發(fā)音過(guò)程，用戶(hù)模仿整個(gè)發(fā)音過(guò)程，評(píng)估模塊判斷用戶(hù)訓(xùn)練等級(jí)，提示或獎(jiǎng)勵(lì)用戶(hù)，記錄用戶(hù)訓(xùn)練信息。上述操作步驟結(jié)合如下具體方法達(dá)到聽(tīng)障兒童發(fā)音訓(xùn)練中舌部訓(xùn)練的目的
步驟I :聾兒根據(jù)自己的訓(xùn)練層次，首先選擇ー種舌部發(fā)音訓(xùn)練環(huán)節(jié)，比如元音訓(xùn)練，
輔音訓(xùn)練，音調(diào)訓(xùn)練等，顯示屏幕上的舌部模型播放某ー漢語(yǔ)音素的發(fā)音過(guò)程，同時(shí)播放該信息的語(yǔ)音，該發(fā)音過(guò)程是經(jīng)過(guò)參數(shù)驅(qū)動(dòng)三維舌部模型完成的，接下來(lái)進(jìn)行步驟2 ；
步驟2 :聽(tīng)障兒童根據(jù)屏幕顯示的發(fā)音過(guò)程進(jìn)行發(fā)音練習(xí)，同時(shí)系統(tǒng)收集聽(tīng)障兒童練習(xí)過(guò)程的音頻信息和傳感器信息，并通過(guò)傳感器技術(shù)和語(yǔ)音識(shí)別技術(shù)進(jìn)行分析，給聽(tīng)障兒童發(fā)音進(jìn)行評(píng)價(jià)優(yōu)秀、合格、不合格，若合格進(jìn)入步驟3，若優(yōu)秀進(jìn)入步驟4，若不合格進(jìn)入步驟5 ;
步驟3 :鼓勵(lì)學(xué)生繼續(xù)進(jìn)行練習(xí)，爭(zhēng)取達(dá)到優(yōu)秀標(biāo)準(zhǔn)，若聽(tīng)障兒童選擇繼續(xù)練習(xí)則返回到剛剛訓(xùn)練的內(nèi)容，同時(shí)系統(tǒng)進(jìn)入步驟2，若不想繼續(xù)學(xué)習(xí)此內(nèi)容則可選擇進(jìn)入下ー訓(xùn)練環(huán)節(jié)，同時(shí)系統(tǒng)進(jìn)入步驟1，或者進(jìn)入步驟6 ；
步驟4 :給予聽(tīng)障兒童一定獎(jiǎng)勵(lì)，一段視頻或是動(dòng)畫(huà)，激勵(lì)聽(tīng)障兒童繼續(xù)努力學(xué)習(xí)，若想繼續(xù)學(xué)習(xí)可選擇進(jìn)入下ー訓(xùn)練環(huán)節(jié)，同時(shí)系統(tǒng)進(jìn)入步驟2，或者進(jìn)入步驟6 ；
步驟5 :給予聽(tīng)障兒童一定鼓勵(lì)，同時(shí)重新播放正確的三維舌部模型發(fā)音過(guò)程，通過(guò)視頻分析，提示其在剛剛發(fā)音過(guò)程中的錯(cuò)誤之處，并系統(tǒng)進(jìn)入步驟2或者進(jìn)入步驟6 ；
步驟6 :退出系統(tǒng)。 一種實(shí)現(xiàn)上述方法的聽(tīng)障兒童語(yǔ)訓(xùn)的系統(tǒng)，包括
I)舌部訓(xùn)練基本素材単元，包括五種訓(xùn)練素材(漢語(yǔ)音素/1/，/d/和/n/，漢語(yǔ)音素/k/, /g/和/ng/，漢語(yǔ)音素/zh/，/ch/和/sh/，漢語(yǔ)音素/1/，漢語(yǔ)音素/z/，/c/和/s/)，每ー種音素經(jīng)參數(shù)驅(qū)動(dòng)后都會(huì)形成與之對(duì)應(yīng)的模擬動(dòng)畫(huà)。2)標(biāo)準(zhǔn)舌部訓(xùn)練參數(shù)單元,用以驅(qū)動(dòng)舌部模型的參數(shù),姆ー參數(shù)對(duì)應(yīng)ー個(gè)音素單元;
3)舌部訓(xùn)練單元，按照聽(tīng)障兒童訓(xùn)練不同階段分為元音、輔音、音調(diào)三個(gè)等級(jí)，分別裝載各自不同級(jí)別的訓(xùn)練單元；
4)音頻接收模塊、接收聽(tīng)障兒童發(fā)音過(guò)程的音頻文件。5)傳感器模塊，接收來(lái)自傳感器的信息。6)顯示模塊，根據(jù)系統(tǒng)輸入需要顯示的相應(yīng)語(yǔ)訓(xùn)等級(jí)中的音素単元，從參數(shù)庫(kù)中調(diào)取參數(shù)驅(qū)動(dòng)舌部模型，進(jìn)入可視化舌部模型發(fā)音過(guò)程；
7)受訓(xùn)者資料庫(kù)，記錄受訓(xùn)者學(xué)習(xí)情況，并對(duì)受訓(xùn)者所學(xué)發(fā)音過(guò)程進(jìn)行統(tǒng)計(jì)評(píng)估，通過(guò)評(píng)估認(rèn)定受訓(xùn)者應(yīng)該在哪個(gè)語(yǔ)訓(xùn)等級(jí)中。8)判斷模塊，通過(guò)語(yǔ)音識(shí)別技術(shù)判斷聽(tīng)障兒童發(fā)音的級(jí)別優(yōu)秀或合格或不合格；
9)反饋模塊，根據(jù)判斷模塊的結(jié)果提取上述記錄的聽(tīng)障兒童發(fā)音過(guò)程文件，或者提示聽(tīng)障兒童如何正確發(fā)音，或者播放正確的發(fā)音過(guò)程。如附圖2所示，本發(fā)明的發(fā)音訓(xùn)練中的反饋流程包括音頻反饋受訓(xùn)者一音頻信息采集一音頻信息處理一顯示輸出；傳感器信息反饋受訓(xùn)者一傳感器一傳感器信息分析—顯不輸出。
權(quán)利要求
1.一種面向聽(tīng)障兒童語(yǔ)訓(xùn)的舌部訓(xùn)練方法及其系統(tǒng)，其特征在于將三維建模技術(shù)與傳感器技術(shù)相結(jié)合，建立基于視覺(jué)反饋模型及適合聽(tīng)障兒童語(yǔ)訓(xùn)的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，并在建立標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的基礎(chǔ)上，結(jié)合傳感器技術(shù)對(duì)聽(tīng)障兒童發(fā)音過(guò)程的舌部運(yùn)動(dòng)進(jìn)行校正，以達(dá)到幫助聽(tīng)障兒童在恢復(fù)漢語(yǔ)發(fā)音過(guò)程中正確發(fā)音，聾兒在發(fā)音學(xué)習(xí)中通過(guò)視覺(jué)直觀看到顯示屏幕上的的三維模型的模擬發(fā)音過(guò)程，通過(guò)半透明的頭像可以看到舌部發(fā)音器官發(fā)音過(guò)程的動(dòng)作序列及與上腭貼合的位置，一邊模仿一邊練習(xí)，具體內(nèi)容包括 步驟I :聾兒根據(jù)自己的訓(xùn)練層次，首先選擇一種舌部發(fā)音訓(xùn)練環(huán)節(jié)，比如元音訓(xùn)練，輔音訓(xùn)練，音調(diào)訓(xùn)練等，顯示屏幕上的舌部模型播放某一漢語(yǔ)音素的發(fā)音過(guò)程，同時(shí)播放該信息的語(yǔ)音，該發(fā)音過(guò)程是經(jīng)過(guò)參數(shù)驅(qū)動(dòng)三維舌部模型完成的，接下來(lái)進(jìn)行步驟2 ； 步驟2 :聽(tīng)障兒童根據(jù)屏幕顯示的發(fā)音過(guò)程進(jìn)行發(fā)音練習(xí)，同時(shí)系統(tǒng)收集聽(tīng)障兒童練習(xí)過(guò)程的音頻信息和傳感器信息，并通過(guò)傳感器技術(shù)和語(yǔ)音識(shí)別技術(shù)進(jìn)行分析，給聽(tīng)障兒童發(fā)音進(jìn)行評(píng)價(jià)優(yōu)秀、合格、不合格，若合格進(jìn)入步驟3，若優(yōu)秀進(jìn)入步驟4，若不合格進(jìn)入步驟5 ; 步驟3 :鼓勵(lì)學(xué)生繼續(xù)進(jìn)行練習(xí)，爭(zhēng)取達(dá)到優(yōu)秀標(biāo)準(zhǔn)，若聽(tīng)障兒童選擇繼續(xù)練習(xí)則返回到剛剛訓(xùn)練的內(nèi)容，同時(shí)系統(tǒng)進(jìn)入步驟2，若不想繼續(xù)學(xué)習(xí)此內(nèi)容則可選擇進(jìn)入下一訓(xùn)練環(huán)節(jié)，同時(shí)系統(tǒng)進(jìn)入步驟1，或者進(jìn)入步驟6 ； 步驟4:給予聽(tīng)障兒童一定獎(jiǎng)勵(lì)，一段視頻或是動(dòng)畫(huà)，激勵(lì)聽(tīng)障兒童繼續(xù)努力學(xué)習(xí)，若想繼續(xù)學(xué)習(xí)可選擇進(jìn)入下一訓(xùn)練環(huán)節(jié)，同時(shí)系統(tǒng)進(jìn)入步驟2，或者進(jìn)入步驟6 ； 步驟5 :給予聽(tīng)障兒童一定鼓勵(lì)，同時(shí)重新播放正確的三維舌部模型發(fā)音過(guò)程，通過(guò)視頻分析，提示其在剛剛發(fā)音過(guò)程中的錯(cuò)誤之處，并系統(tǒng)進(jìn)入步驟2或者進(jìn)入步驟6 ； 步驟6 :退出系統(tǒng)。
2.一種實(shí)現(xiàn)上述方法的聽(tīng)障兒童語(yǔ)訓(xùn)的系統(tǒng)，其特征在于包括 1)舌部訓(xùn)練基本素材單元，包括五種訓(xùn)練素材漢語(yǔ)音素/t/、/d/和/n/，漢語(yǔ)音素/k/、/g/和/ng/，漢語(yǔ)音素/zh/、/ch/和/sh/，漢語(yǔ)音素/1/，漢語(yǔ)音素/z/、/c/和/s/，每一種音素經(jīng)參數(shù)驅(qū)動(dòng)后都會(huì)形成與之對(duì)應(yīng)的模擬動(dòng)畫(huà)； 2)標(biāo)準(zhǔn)舌部訓(xùn)練參數(shù)單元，用以驅(qū)動(dòng)舌部模型的參數(shù)，每一參數(shù)對(duì)應(yīng)一個(gè)音素單元； 3)舌部訓(xùn)練單元，按照聽(tīng)障兒童訓(xùn)練不同階段分為元音、輔音、音調(diào)三個(gè)等級(jí)，分別裝載各自不同級(jí)別的訓(xùn)練單元； 4)音頻接收模塊、接收聽(tīng)障兒童發(fā)音過(guò)程的音頻文件； 5)傳感器模塊，接收來(lái)自傳感器的信息； 6)顯示模塊，根據(jù)系統(tǒng)輸入需要顯示的相應(yīng)語(yǔ)訓(xùn)等級(jí)中的音素單元，從參數(shù)庫(kù)中調(diào)取參數(shù)驅(qū)動(dòng)舌部模型，進(jìn)入可視化舌部模型發(fā)音過(guò)程； 7)受訓(xùn)者數(shù)據(jù)庫(kù)，記錄受訓(xùn)者學(xué)習(xí)情況，并對(duì)受訓(xùn)者所學(xué)發(fā)音過(guò)程進(jìn)行統(tǒng)計(jì)評(píng)估，通過(guò)評(píng)估認(rèn)定受訓(xùn)者應(yīng)該在哪個(gè)語(yǔ)訓(xùn)等級(jí)中； 8)判斷模塊，通過(guò)語(yǔ)音識(shí)別識(shí)別技術(shù)判斷聽(tīng)障兒童發(fā)音的級(jí)別優(yōu)秀或合格或不合格； 9)反饋模塊，根據(jù)判斷模塊的結(jié)果提取上述記錄的聽(tīng)障兒童發(fā)音過(guò)程文件，或者提示聽(tīng)障兒童如何正確發(fā)音，或者播放正確的發(fā)音過(guò)程。
全文摘要
本發(fā)明涉及一種聽(tīng)障兒童語(yǔ)訓(xùn)的舌部訓(xùn)練方法以及實(shí)現(xiàn)這種方法的系統(tǒng)，屬于聾兒語(yǔ)言康復(fù)技術(shù)領(lǐng)域，其將三維建模技術(shù)與傳感器技術(shù)相結(jié)合，建立基于視覺(jué)反饋模型及適合聽(tīng)障兒童語(yǔ)訓(xùn)的標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)，并在建立標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)的基礎(chǔ)上，結(jié)合傳感器技術(shù)對(duì)聽(tīng)障兒童發(fā)音過(guò)程的舌部運(yùn)動(dòng)進(jìn)行校正，以達(dá)到幫助聽(tīng)障兒童的正確發(fā)音；聾兒在發(fā)音學(xué)習(xí)中通過(guò)視覺(jué)直觀看到顯示屏幕上的三維模型的模擬發(fā)音過(guò)程，通過(guò)半透明的頭像可以看到舌部發(fā)音器官發(fā)音過(guò)程的動(dòng)作序列及與上腭貼合的位置，一邊模仿一邊練習(xí)。本發(fā)明應(yīng)用逼真的三維模型，可以充分指導(dǎo)聽(tīng)障兒童進(jìn)行舌部發(fā)音訓(xùn)練，能夠縮短聽(tīng)障兒童發(fā)音訓(xùn)練所需時(shí)間，提高發(fā)音訓(xùn)練的效率。
文檔編號(hào)G09B21/00GK102663925SQ20121014048
公開(kāi)日2012年9月12日 申請(qǐng)日期2012年5月9日 優(yōu)先權(quán)日2012年5月9日
發(fā)明者劉威, 史麗娟, 宋雅娟, 張超, 杜欽生, 王麗榮, 王曉麗, 趙劍 申請(qǐng)人:長(zhǎng)春大學(xué)