本發(fā)明屬于發(fā)音糾正方法，具體涉及一種聾啞人發(fā)音糾正方法。

背景技術(shù)：

1、聾啞人一般存在發(fā)音困難的問題，主要原因在于無法聽到自己的聲音和他人的語音，因此無法準(zhǔn)確地模仿和掌握語音的發(fā)音方式。聾啞人缺乏對(duì)語音的聽覺反饋，無法調(diào)節(jié)和糾正自己的發(fā)音。此外，由于他們無法聽到語音的細(xì)微差別，也很難區(qū)分和掌握不同音素之間的差異，導(dǎo)致發(fā)音不準(zhǔn)確或混淆。因此，聾啞人通常需要通過口形、手勢(shì)和其他輔助工具來進(jìn)行交流，而發(fā)音能力受到一定的限制。

2、為了幫助聾啞人學(xué)習(xí)發(fā)音，現(xiàn)有技術(shù)提出了多種方式評(píng)估聾啞人的發(fā)音準(zhǔn)確性，并針對(duì)性提出糾正建議，然而現(xiàn)有技術(shù)一般僅通過與聾啞人發(fā)聲音頻與參考音頻的簡單比對(duì)實(shí)現(xiàn)對(duì)發(fā)音準(zhǔn)確性的評(píng)估，缺乏對(duì)發(fā)音準(zhǔn)確性的全面評(píng)估方法，導(dǎo)致糾正效果較差。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題在于克服現(xiàn)有技術(shù)中發(fā)音糾正方法的發(fā)音準(zhǔn)確性評(píng)估不夠全面導(dǎo)致糾正效果較差的缺陷，從而提供一種聾啞人發(fā)音糾正方法。

2、一種聾啞人發(fā)音糾正方法，包括以下步驟：

3、步驟s1：標(biāo)注標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元，提取標(biāo)準(zhǔn)音頻數(shù)據(jù)中的梅爾頻率倒譜系數(shù)和濾波器組特征，基于所述梅爾頻率倒譜系數(shù)和濾波器組特征建立深度神經(jīng)網(wǎng)絡(luò)隱馬爾可夫模型的聲學(xué)模型；

4、步驟s2：顯示跟讀文本，錄制發(fā)音者跟讀音頻；

5、步驟s3：通過模數(shù)轉(zhuǎn)換器將根據(jù)音頻轉(zhuǎn)換為用戶音頻數(shù)據(jù)；

6、步驟s4：將用戶音頻數(shù)據(jù)輸入所述聲學(xué)模型，獲取發(fā)音單元的文本；

7、步驟s5：通過動(dòng)態(tài)時(shí)間規(guī)整算法，將用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行時(shí)間軸對(duì)齊；

8、步驟s6：對(duì)根據(jù)音頻進(jìn)行評(píng)分，包括準(zhǔn)確度分?jǐn)?shù)、流暢性分?jǐn)?shù)、完整性分?jǐn)?shù)和韻律分?jǐn)?shù)。

9、進(jìn)一步的，還包括步驟s7：將用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行比對(duì)，識(shí)別發(fā)音錯(cuò)誤，確定錯(cuò)誤原因，并生成糾正建議。

10、進(jìn)一步的，所述步驟s7中，糾正建議包括：使用不同顏色區(qū)分顯示用戶音頻數(shù)據(jù)波形圖中的正確發(fā)音部分和錯(cuò)誤發(fā)音部分。

11、進(jìn)一步的，所述步驟s7中，糾正建議包括：根據(jù)對(duì)應(yīng)的發(fā)音位置，顯示動(dòng)態(tài)的口型模型，展示對(duì)應(yīng)部分正確發(fā)音時(shí)嘴唇和舌頭的位置，以及發(fā)音時(shí)氣流的方向。

12、進(jìn)一步的，所述步驟s7中，糾正建議包括：將錯(cuò)誤發(fā)音對(duì)應(yīng)的正確發(fā)音聲音頻率轉(zhuǎn)換成振動(dòng)，利用手環(huán)振動(dòng)傳遞給發(fā)音者。

13、進(jìn)一步的，所述步驟s5中，通過計(jì)算尋找最佳的時(shí)間軸對(duì)齊路徑將用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行時(shí)間軸對(duì)齊。

14、進(jìn)一步的，所述步驟s6中，所述準(zhǔn)確度分?jǐn)?shù)的計(jì)算方法為：其中c表示用戶音頻數(shù)據(jù)中正確發(fā)音的發(fā)音單元數(shù)量，n表示標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元數(shù)量。

15、進(jìn)一步的，所述步驟s6中，所述流暢性分?jǐn)?shù)的計(jì)算方法為：其中u＝{u1,u2,...,un}表示用戶音頻數(shù)據(jù)的特征向量，s＝{s1,s2,...,sm}表示標(biāo)準(zhǔn)音頻數(shù)據(jù)的特征向量，d(u,s)表示用戶音頻數(shù)據(jù)的特征向量u和標(biāo)準(zhǔn)音頻數(shù)據(jù)的特征向量s之間的距離。

16、進(jìn)一步的，所述步驟s6中，所述完整性分?jǐn)?shù)的計(jì)算方法為：其中l(wèi)u表示用戶音頻數(shù)據(jù)的有效發(fā)音單元數(shù)，ls表示標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元數(shù)。

17、進(jìn)一步的，所述步驟s6中，所述韻律分?jǐn)?shù)的計(jì)算方法為其中，xi和yi表示用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)兩個(gè)波形在相同時(shí)間點(diǎn)i處的數(shù)值，n表示數(shù)據(jù)點(diǎn)數(shù)量，rmse可以評(píng)估用戶音頻數(shù)據(jù)和標(biāo)準(zhǔn)音頻數(shù)據(jù)在相同時(shí)間點(diǎn)上的相似度作為評(píng)判韻律分?jǐn)?shù)的指標(biāo)。

18、有益效果：本發(fā)明屬于發(fā)音糾正方法技術(shù)領(lǐng)域，具體公開了一種聾啞人發(fā)音糾正方法，本發(fā)明通過標(biāo)注標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元，提取標(biāo)準(zhǔn)音頻數(shù)據(jù)中的梅爾頻率倒譜系數(shù)和濾波器組特征，并建立深度神經(jīng)網(wǎng)絡(luò)隱馬爾可夫模型的聲學(xué)模型，能夠有效提取標(biāo)準(zhǔn)音頻數(shù)據(jù)中的聲學(xué)特征，并通過聲學(xué)模型將用戶音頻轉(zhuǎn)換為文本，同時(shí)通過動(dòng)態(tài)時(shí)間規(guī)整算法與標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行時(shí)間軸對(duì)齊，從而為用戶音頻提供精準(zhǔn)評(píng)分，幫助用戶更清晰地了解自己的發(fā)音能力，實(shí)現(xiàn)更高效的糾正和學(xué)習(xí)。

技術(shù)特征：

1.一種聾啞人發(fā)音糾正方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種聾啞人發(fā)音糾正方法，其特征在于，還包括步驟s7：將用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行比對(duì)，識(shí)別發(fā)音錯(cuò)誤，確定錯(cuò)誤原因，并生成糾正建議。

3.根據(jù)權(quán)利要求2所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s7中，糾正建議包括：使用不同顏色區(qū)分顯示用戶音頻數(shù)據(jù)波形圖中的正確發(fā)音部分和錯(cuò)誤發(fā)音部分。

4.根據(jù)權(quán)利要求2所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s7中，糾正建議包括：根據(jù)對(duì)應(yīng)的發(fā)音位置，顯示動(dòng)態(tài)的口型模型，展示對(duì)應(yīng)部分正確發(fā)音時(shí)嘴唇和舌頭的位置，以及發(fā)音時(shí)氣流的方向。

5.根據(jù)權(quán)利要求2所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s7中，糾正建議包括：將錯(cuò)誤發(fā)音對(duì)應(yīng)的正確發(fā)音聲音頻率轉(zhuǎn)換成振動(dòng)，利用手環(huán)振動(dòng)傳遞給發(fā)音者。

6.根據(jù)權(quán)利要求1所述的一種聾啞人發(fā)音糾正方法，其特征在于，通過計(jì)算尋找最佳的時(shí)間軸對(duì)齊路徑，將用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行時(shí)間軸對(duì)齊。

7.根據(jù)權(quán)利要求1所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s6中，所述準(zhǔn)確度分?jǐn)?shù)的計(jì)算方法為：其中c表示用戶音頻數(shù)據(jù)中正確發(fā)音的發(fā)音單元數(shù)量，n表示標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元數(shù)量。

8.根據(jù)權(quán)利要求1所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s6中，所述流暢性分?jǐn)?shù)的計(jì)算方法為：其中u＝{u1,u2,...,un}表示用戶音頻數(shù)據(jù)的特征向量，s＝{s1,s2,...,sm}表示標(biāo)準(zhǔn)音頻數(shù)據(jù)的特征向量，d(u,s)表示用戶音頻數(shù)據(jù)的特征向量u和標(biāo)準(zhǔn)音頻數(shù)據(jù)的特征向量s之間的距離。

9.根據(jù)權(quán)利要求1所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s6中，所述完整性分?jǐn)?shù)的計(jì)算方法為：其中l(wèi)u表示用戶音頻數(shù)據(jù)的有效發(fā)音單元數(shù)，ls表示標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元數(shù)。

10.根據(jù)權(quán)利要求1所述的一種聾啞人發(fā)音糾正方法，其特征在于，所述步驟s6中，所述韻律分?jǐn)?shù)的計(jì)算方法為其中，xi和yi表示用戶音頻數(shù)據(jù)和對(duì)應(yīng)的標(biāo)準(zhǔn)音頻數(shù)據(jù)兩個(gè)波形在相同時(shí)間點(diǎn)i處的數(shù)值，n表示數(shù)據(jù)點(diǎn)數(shù)量，rmse可以評(píng)估用戶音頻數(shù)據(jù)和標(biāo)準(zhǔn)音頻數(shù)據(jù)在相同時(shí)間點(diǎn)上的相似度作為評(píng)判韻律分?jǐn)?shù)的指標(biāo)。

技術(shù)總結(jié)
本發(fā)明屬于發(fā)音糾正方法技術(shù)領(lǐng)域，具體公開了一種聾啞人發(fā)音糾正方法，本發(fā)明通過標(biāo)注標(biāo)準(zhǔn)音頻數(shù)據(jù)中的發(fā)音單元，提取標(biāo)準(zhǔn)音頻數(shù)據(jù)中的梅爾頻率倒譜系數(shù)和濾波器組特征，并建立深度神經(jīng)網(wǎng)絡(luò)隱馬爾可夫模型的聲學(xué)模型，能夠有效提取標(biāo)準(zhǔn)音頻數(shù)據(jù)中的聲學(xué)特征，并通過聲學(xué)模型將用戶音頻轉(zhuǎn)換為文本，同時(shí)通過動(dòng)態(tài)時(shí)間規(guī)整算法與標(biāo)準(zhǔn)音頻數(shù)據(jù)進(jìn)行時(shí)間軸對(duì)齊，從而為用戶音頻提供精準(zhǔn)評(píng)分，幫助用戶更清晰地了解自己的發(fā)音能力，實(shí)現(xiàn)更高效的糾正和學(xué)習(xí)。

技術(shù)研發(fā)人員：宋凱,晉昊
受保護(hù)的技術(shù)使用者：長沙翊豐汽車科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26