構(gòu)音障礙識(shí)別的方法、系統(tǒng)和裝置制造方法
【專(zhuān)利摘要】本發(fā)明提供了一種構(gòu)音障礙識(shí)別的方法，所述方法包括:獲取樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)；提取所述語(yǔ)音數(shù)據(jù)的共振峰值，計(jì)算樣本聲學(xué)參數(shù)；計(jì)算所述器官運(yùn)動(dòng)數(shù)據(jù)的舌唇偏移位移；計(jì)算所述器官運(yùn)動(dòng)數(shù)據(jù)的樣本運(yùn)動(dòng)學(xué)參數(shù)；對(duì)所述共振峰值和所述舌唇偏移位移進(jìn)行相關(guān)性計(jì)算，對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程；獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計(jì)算目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)；根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。采用該方法能有效地提高構(gòu)音障礙識(shí)別的準(zhǔn)確度。此外，還提供了一種構(gòu)音障礙識(shí)別的裝置和系統(tǒng)。
【專(zhuān)利說(shuō)明】構(gòu)音障礙識(shí)別的方法、系統(tǒng)和裝置【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語(yǔ)音輔助工具領(lǐng)域，特別是涉及一種構(gòu)音障礙識(shí)別的方法、裝置和系統(tǒng)。
【背景技術(shù)】
[0002]隨著社會(huì)發(fā)展，人與人之間的語(yǔ)言交流在社會(huì)生活各個(gè)方面的作用越來(lái)越重要，因此語(yǔ)言交流過(guò)程中的諸多問(wèn)題也日益受到重視。其中，構(gòu)音障礙是最常見(jiàn)的語(yǔ)言障礙，嚴(yán)重影響患者日常的交流和正常的心理發(fā)育。實(shí)踐證明對(duì)構(gòu)音障礙的患者進(jìn)行語(yǔ)言訓(xùn)練效果較好，而語(yǔ)音訓(xùn)練的關(guān)鍵是對(duì)患者進(jìn)行準(zhǔn)確地評(píng)價(jià)，因此找出患者和正常人的發(fā)音區(qū)別和特點(diǎn)并進(jìn)行準(zhǔn)確有效的評(píng)價(jià)有著非常重要的意義。
[0003]目前，對(duì)構(gòu)音障礙進(jìn)行檢測(cè)與評(píng)估的方法主要是從語(yǔ)音中提取共振峰數(shù)值，利用共振峰數(shù)值代替舌部運(yùn)動(dòng)數(shù)據(jù)來(lái)計(jì)算聲學(xué)參數(shù)，并根據(jù)得到的聲學(xué)參數(shù)評(píng)估構(gòu)音障礙。其中第一共振峰Fl用于表示舌部的上下運(yùn)動(dòng)，第二共振峰F2用于表示舌部的前后運(yùn)動(dòng)。
[0004]然而，聲學(xué)參數(shù)評(píng)估的缺點(diǎn)主要是共振峰能否完全替代患者說(shuō)話(huà)時(shí)的舌部真實(shí)運(yùn)動(dòng)數(shù)據(jù)尚未可知，因此，根據(jù)共振峰計(jì)算出來(lái)的聲學(xué)參數(shù)去檢測(cè)評(píng)估構(gòu)音障礙的準(zhǔn)確性不聞。

【發(fā)明內(nèi)容】

[0005]基于此，有必要提供一種準(zhǔn)確度高的構(gòu)音障礙識(shí)別的方法。
[0006]一種構(gòu)音障礙識(shí)別的方法，包括:
[0007]獲取樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，所述器官運(yùn)動(dòng)數(shù)據(jù)包括舌`部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)；
[0008]提取所述語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計(jì)算所述語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)；
[0009]根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移；
[0010]根據(jù)所述舌唇偏移位移計(jì)算與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的樣本運(yùn)動(dòng)學(xué)參數(shù)；
[0011]對(duì)所述共振峰值和所述舌唇偏移位移進(jìn)行相關(guān)性計(jì)算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程；
[0012]獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計(jì)算與所述采集數(shù)據(jù)的語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)；
[0013]根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
[0014]在其中一個(gè)實(shí)施例中，所述獲取樣本數(shù)據(jù)的步驟為:通過(guò)電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
[0015]在其中一個(gè)實(shí)施例中，所述根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移的步驟包括:
[0016]獲取所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段；
[0017]在所述器官運(yùn)動(dòng)數(shù)據(jù)中分別獲取與所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對(duì)應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段；
[0018]選取所述器官運(yùn)動(dòng)數(shù)據(jù)的子靜音數(shù)據(jù)段中運(yùn)動(dòng)軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計(jì)算所述窗口中坐標(biāo)值的方差，選取所述方差最小的窗口作為目標(biāo)窗口，提取所述目標(biāo)窗口中坐標(biāo)值的平均值作為靜態(tài)幀；
[0019]在所述器官運(yùn)動(dòng)數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標(biāo)值的舌唇偏移位移最大時(shí)的動(dòng)態(tài)幀;
[0020]獲取基準(zhǔn)發(fā)音坐標(biāo)系，根據(jù)所述基準(zhǔn)發(fā)音坐標(biāo)系對(duì)所述靜態(tài)幀和所述動(dòng)態(tài)幀分別進(jìn)行歸一化，得到標(biāo)準(zhǔn)靜態(tài)幀和標(biāo)準(zhǔn)動(dòng)態(tài)幀;
[0021]計(jì)算所述標(biāo)準(zhǔn)動(dòng)態(tài)幀的坐標(biāo)值與所述標(biāo)準(zhǔn)靜態(tài)幀的坐標(biāo)值的差值，根據(jù)所述差值得到與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的舌唇偏移位移。
[0022]在其中一個(gè)實(shí)施例中,所述對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸分析的步驟包括采用最小二乘法對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算。
[0023]在其中一個(gè)實(shí)施例中，所述獲取樣本數(shù)據(jù)的步驟之后還包括:
[0024]獲取所述樣本數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算舌部速度閾值和舌部加速度閾值。
·[0025]在其中一個(gè)實(shí)施例中，所述獲取采集數(shù)據(jù)的步驟之后還包括:
[0026]獲取所述采集數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算目標(biāo)舌部速度數(shù)據(jù)和目標(biāo)舌部加速度數(shù)據(jù)；
[0027]根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標(biāo)舌部速度數(shù)據(jù)、目標(biāo)舌部加速度數(shù)據(jù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
[0028]一種構(gòu)音障礙識(shí)別的裝置，包括:
[0029]樣本數(shù)據(jù)獲取模塊，用于獲取樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，所述器官運(yùn)動(dòng)數(shù)據(jù)包括舌部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)；
[0030]樣本聲學(xué)參數(shù)計(jì)算模塊，用于提取所述語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計(jì)算所述語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)；
[0031]偏移位移計(jì)算模塊，用于根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移；
[0032]樣本運(yùn)動(dòng)學(xué)參數(shù)計(jì)算模塊，用于根據(jù)所述舌唇偏移位移計(jì)算與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的樣本運(yùn)動(dòng)學(xué)參數(shù)；
[0033]回歸計(jì)算模塊，用于對(duì)所述共振峰值和所述舌唇偏移位移進(jìn)行相關(guān)性計(jì)算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程；
[0034]目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)計(jì)算模塊，用于獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計(jì)算與所述采集數(shù)據(jù)的語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)；
[0035]識(shí)別模塊，用于根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。[0036]在其中一個(gè)實(shí)施例中，所述樣本數(shù)據(jù)采集模塊通過(guò)電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
[0037]在其中一個(gè)實(shí)施例中，所述偏移位移計(jì)算模塊包括:
[0038]第一數(shù)據(jù)獲取模塊，用于獲取所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段；
[0039]第二數(shù)據(jù)獲取模塊，用于在所述器官運(yùn)動(dòng)數(shù)據(jù)中分別獲取與所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對(duì)應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段；
[0040]靜態(tài)幀提取模塊，用于選取所述器官運(yùn)動(dòng)數(shù)據(jù)的子靜音數(shù)據(jù)段中運(yùn)動(dòng)軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計(jì)算所述窗口中坐標(biāo)值的方差，選取所述方差最小的窗口作為目標(biāo)窗口，提取所述目標(biāo)窗口中坐標(biāo)值的平均值作為靜態(tài)幀；
[0041]關(guān)鍵幀提取模塊，用于在所述器官運(yùn)動(dòng)數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標(biāo)值的舌唇偏移位移最大時(shí)的動(dòng)態(tài)幀;
[0042]歸一化模塊，用于獲取基準(zhǔn)發(fā)音坐標(biāo)系，根據(jù)所述基準(zhǔn)發(fā)音坐標(biāo)系對(duì)所述靜態(tài)幀和所述動(dòng)態(tài)幀分別進(jìn)行歸一化，得到標(biāo)準(zhǔn)靜態(tài)幀和標(biāo)準(zhǔn)動(dòng)態(tài)幀;
[0043]計(jì)算模塊，用于計(jì)算所述標(biāo)準(zhǔn)動(dòng)態(tài)幀的坐標(biāo)值與所述標(biāo)準(zhǔn)靜態(tài)幀的坐標(biāo)值的差值，根據(jù)所述差值得到與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的舌唇偏移位移。
[0044]在其中一個(gè)實(shí)施例中，所述回歸計(jì)算模塊采用最小二乘法對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算。
[0045]在其中一個(gè)實(shí)施例中，所述裝置還包括速度閾值計(jì)算模塊，所述速度閾值計(jì)算模塊用于獲取所述樣本數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算舌部速度閾值和舌部加速度閾值。
[0046]在其中一個(gè)實(shí)施例中，所述裝置還包括目標(biāo)速度計(jì)算模塊，所述目標(biāo)計(jì)算模塊用于獲取所述采集數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算目標(biāo)舌部速度數(shù)據(jù)和目標(biāo)舌部加速度數(shù)據(jù)；
[0047]所述識(shí)別模塊還用于根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標(biāo)舌部速度數(shù)據(jù)、目標(biāo)舌部加速度數(shù)據(jù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
[0048]一種構(gòu)音障礙識(shí)別的系統(tǒng)，包括電磁發(fā)音記錄儀、聲學(xué)參數(shù)計(jì)算組件、運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件和中央處理組件，所述電磁發(fā)音記錄儀分別連接所述聲學(xué)參數(shù)計(jì)算組件和所述運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件，所述中央處理組件分別連接所述聲學(xué)參數(shù)計(jì)算組件和所述運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件；
[0049]所述電磁發(fā)音記錄儀用于采集樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，所述器官運(yùn)動(dòng)數(shù)據(jù)包括舌部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)；
[0050]所述聲學(xué)參數(shù)計(jì)算組件用于提取所述語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計(jì)算所述語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)；
[0051]所述運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件用于根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移，根據(jù)所述舌唇偏移位移計(jì)算與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的樣本運(yùn)動(dòng)學(xué)參數(shù)；
[0052]所述中央處理組件用于對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程。[0053]在其中一個(gè)實(shí)施例中，所述系統(tǒng)還包括識(shí)別組件，所述識(shí)別組件連接所述中央處理組件；
[0054]所述電磁發(fā)音記錄儀還用于獲取采集數(shù)據(jù)；
[0055]所述中央處理組件還用于根據(jù)所述采集數(shù)據(jù)的目標(biāo)聲學(xué)參數(shù)和所述回歸方程，計(jì)算所述采集數(shù)據(jù)的目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)；
[0056]所述識(shí)別組件用于根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
[0057]在其中一個(gè)實(shí)施例中，所述電磁發(fā)音記錄儀包括語(yǔ)音傳感器和運(yùn)動(dòng)傳感器和校準(zhǔn)單元；
[0058]所述語(yǔ)音傳感器用于采集所述語(yǔ)音數(shù)據(jù)；
[0059]所述運(yùn)動(dòng)傳感器用于采集所述器官運(yùn)動(dòng)數(shù)據(jù)；
[0060]所述校準(zhǔn)單元用于對(duì)所述語(yǔ)音數(shù)據(jù)和所述器官運(yùn)動(dòng)數(shù)據(jù)進(jìn)行校準(zhǔn)去噪。
[0061]上述構(gòu)音障礙識(shí)別的方法，利用待測(cè)者語(yǔ)音數(shù)據(jù)的聲學(xué)參數(shù)和回歸方程，可直接得到待測(cè)者對(duì)應(yīng)的運(yùn)動(dòng)學(xué)參數(shù)，進(jìn)而根據(jù)聲學(xué)參數(shù)和運(yùn)動(dòng)學(xué)參數(shù)識(shí)別該待測(cè)者是否有構(gòu)音障礙，避免了傳統(tǒng)的方法僅靠聲學(xué)參數(shù)識(shí)別所帶來(lái)的誤差，從而提高了識(shí)別構(gòu)音障礙的準(zhǔn)確度。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0062]圖1為一個(gè)實(shí)施例中構(gòu)音障礙識(shí)別的方法的流程示意圖；
[0063]圖2為一個(gè)實(shí)施例中計(jì)算偏移位移的流程示意圖；
[0064]圖3為一個(gè)實(shí)施例中構(gòu)音障礙識(shí)別的裝置的結(jié)構(gòu)框圖；
[0065]圖4為一個(gè)實(shí)施例中偏移位移計(jì)算模塊的結(jié)構(gòu)框圖；
[0066]圖5為一個(gè)實(shí)施例中構(gòu)音障礙識(shí)別的系統(tǒng)的結(jié)構(gòu)框圖；
[0067]圖6為一個(gè)實(shí)施例中構(gòu)音障礙識(shí)別的系統(tǒng)的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0068]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0069]如圖1所示，在一個(gè)實(shí)施例中，提出了一種構(gòu)音障礙識(shí)別方法，該方法的數(shù)據(jù)通過(guò)電磁發(fā)音記錄儀(EMA, Electro Magnetic Articulography AG501)采集，該方法包括:
[0070]步驟S102，獲取樣本數(shù)據(jù)，對(duì)樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，器官運(yùn)動(dòng)數(shù)據(jù)包括舌部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)。
[0071]樣本數(shù)據(jù)即通過(guò)電磁發(fā)音記錄儀采集多個(gè)發(fā)音正常的錄音者所得到的數(shù)據(jù)。校準(zhǔn)去噪是指對(duì)該樣本數(shù)據(jù)進(jìn)行校準(zhǔn)，以避免在錄音過(guò)程中，由于錄音者頭部的移動(dòng)而導(dǎo)致樣本數(shù)據(jù)的坐標(biāo)值產(chǎn)生偏差。語(yǔ)音數(shù)據(jù)是采集錄音者的錄音所得到的聲頻數(shù)據(jù)，器官運(yùn)動(dòng)數(shù)據(jù)是錄音者錄音時(shí)其舌部和唇部的三維坐標(biāo)值。
[0072]具體的，電磁發(fā)音記錄儀有16個(gè)通道，每個(gè)通道可以插1個(gè)傳感器。在本實(shí)施例中，在錄音者頭部貼13個(gè)傳感器，包括:鼻梁1個(gè)、左耳垂1個(gè)、右耳垂1個(gè)，舌頭3個(gè)(舌根、舌中、舌尖)、下牙床I個(gè)、嘴唇4個(gè)(上下唇、左右嘴角)、臉頰2個(gè)(左臉頰、右臉頰)。其中，鼻梁、左耳垂、右耳垂及上唇這4個(gè)傳感器所采集的坐標(biāo)值用于校準(zhǔn)。舌根、舌中、舌尖以及上下嘴唇、左右嘴唇7個(gè)傳感器所采集的三維坐標(biāo)值即為器官運(yùn)動(dòng)數(shù)據(jù)。
[0073]進(jìn)一步的,錄音者讀4個(gè)元音/a/,/i/,/u/ 12d每個(gè)元音讀3遍,每遍讀的間隔為5到10秒。電磁發(fā)音記錄儀以48KHz的頻率采集錄音者的錄音，以250KHz的頻率采集錄音者舌部和唇部的坐標(biāo)值。
[0074]步驟S104，提取語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)共振峰值計(jì)算語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)。
[0075]共振峰值包括第一共振峰值和第二共振峰值，第一共振峰值用于表示舌部的上下運(yùn)動(dòng)，第二共振峰值用于表示舌部的前后運(yùn)動(dòng)。
[0076]在本實(shí)施例中，根據(jù)語(yǔ)音數(shù)據(jù)的共振峰值計(jì)算該語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)，不同的樣本聲學(xué)參數(shù)可反應(yīng)構(gòu)音障礙患者不同的特征。
[0077]具體的，樣本聲學(xué)參數(shù)包括TVSA，F(xiàn)CR3, VAI3, FCR4, VAI4, F1RR, F2RR 和 AVS。TVSA為元音/a/，/i/, /u/在聲學(xué)元音圖中的面積，用于反映個(gè)體語(yǔ)音變化，正常人的TVSA值比構(gòu)音障礙患者的要大。TVSA可根據(jù)公式:
[0078]
【權(quán)利要求】
1.一種構(gòu)音障礙識(shí)別的方法，包括: 獲取樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，所述器官運(yùn)動(dòng)數(shù)據(jù)包括舌部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)； 提取所述語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計(jì)算所述語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)； 根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移； 根據(jù)所述舌唇偏移位移計(jì)算與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的樣本運(yùn)動(dòng)學(xué)參數(shù)； 對(duì)所述共振峰值和所述舌唇偏移位移進(jìn)行相關(guān)性計(jì)算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程； 獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計(jì)算與所述采集數(shù)據(jù)的語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)； 根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取樣本數(shù)據(jù)的步驟為:通過(guò)電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移的步驟包括: 獲取所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段； 在所述器官運(yùn)動(dòng)數(shù)據(jù)中分別獲取與所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對(duì)應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段； 選取所述器官運(yùn)動(dòng)數(shù)據(jù)的子靜音數(shù)據(jù)段中運(yùn)動(dòng)軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計(jì)算所述窗口中坐標(biāo)值的方差，選取所述方差最小的窗口作為目標(biāo)窗口，提取所述目標(biāo)窗口中坐標(biāo)值的平均值作為靜態(tài)幀； 在所述器官運(yùn)動(dòng)數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標(biāo)值的舌唇偏移位移最大時(shí)的動(dòng)態(tài)幀; 獲取基準(zhǔn)發(fā)音坐標(biāo)系，根據(jù)所述基準(zhǔn)發(fā)音坐標(biāo)系對(duì)所述靜態(tài)幀和所述動(dòng)態(tài)幀分別進(jìn)行歸一化，得到標(biāo)準(zhǔn)靜態(tài)幀和標(biāo)準(zhǔn)動(dòng)態(tài)幀； 計(jì)算所述標(biāo)準(zhǔn)動(dòng)態(tài)幀的坐標(biāo)值與所述標(biāo)準(zhǔn)靜態(tài)幀的坐標(biāo)值的差值，根據(jù)所述差值得到與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的舌唇偏移位移。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸分析的步驟包括采用最小二乘法對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取樣本數(shù)據(jù)的步驟之后還包括: 獲取所述樣本數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算舌部速度閾值和舌部加速度閾值。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述獲取采集數(shù)據(jù)的步驟之后還包括: 獲取所述采集數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算目標(biāo)舌部速度數(shù)據(jù)和目標(biāo)舌部加速度數(shù)據(jù)； 根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標(biāo)舌部速度數(shù)據(jù)、目標(biāo)舌部加速度數(shù)據(jù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
7.一種構(gòu)音障礙識(shí)別的裝置，包括: 樣本數(shù)據(jù)獲取模塊，用于獲取樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，所述器官運(yùn)動(dòng)數(shù)據(jù)包括舌部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)；樣本聲學(xué)參數(shù)計(jì)算模塊，用于提取所述語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計(jì)算所述語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)； 偏移位移計(jì)算模塊，用于根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移； 樣本運(yùn)動(dòng)學(xué)參數(shù)計(jì)算模塊，用于根據(jù)所述舌唇偏移位移計(jì)算與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的樣本運(yùn)動(dòng)學(xué)參數(shù)； 回歸計(jì)算模塊，用于對(duì)所述共振峰值和所述舌唇偏移位移進(jìn)行相關(guān)性計(jì)算，判斷所述共振峰值和所述舌唇偏移位移是否相關(guān)，若是，則對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程； 目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)計(jì)算模塊，用于獲取采集數(shù)據(jù)，根據(jù)所述回歸方程計(jì)算與所述采集數(shù)據(jù)的語(yǔ)音數(shù)據(jù)對(duì)應(yīng)的目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)； 識(shí)別模塊，用于根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述樣本數(shù)據(jù)采集模塊通過(guò)電磁發(fā)音記錄儀采集獲取樣本數(shù)據(jù)。
9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述偏移位移計(jì)算模塊包括: 第一數(shù)據(jù)獲取模塊，用于獲取所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段；` 第二數(shù)據(jù)獲取模塊，用于在所述器官運(yùn)動(dòng)數(shù)據(jù)中分別獲取與所述語(yǔ)音數(shù)據(jù)的發(fā)音數(shù)據(jù)段和靜音數(shù)據(jù)段對(duì)應(yīng)的子發(fā)音數(shù)據(jù)段和子靜音數(shù)據(jù)段； 靜態(tài)幀提取模塊，用于選取所述器官運(yùn)動(dòng)數(shù)據(jù)的子靜音數(shù)據(jù)段中運(yùn)動(dòng)軌跡最平穩(wěn)的數(shù)據(jù)段，在所述數(shù)據(jù)段中設(shè)定窗口，計(jì)算所述窗口中坐標(biāo)值的方差，選取所述方差最小的窗口作為目標(biāo)窗口，提取所述目標(biāo)窗口中坐標(biāo)值的平均值作為靜態(tài)幀； 關(guān)鍵幀提取模塊，用于在所述器官運(yùn)動(dòng)數(shù)據(jù)的子發(fā)音數(shù)據(jù)段中提取關(guān)鍵幀，所述關(guān)鍵幀為與所述靜態(tài)幀的坐標(biāo)值的舌唇偏移位移最大時(shí)的動(dòng)態(tài)幀； 歸一化模塊，用于獲取基準(zhǔn)發(fā)音坐標(biāo)系，根據(jù)所述基準(zhǔn)發(fā)音坐標(biāo)系對(duì)所述靜態(tài)幀和所述動(dòng)態(tài)幀分別進(jìn)行歸一化，得到標(biāo)準(zhǔn)靜態(tài)幀和標(biāo)準(zhǔn)動(dòng)態(tài)幀; 計(jì)算模塊，用于計(jì)算所述標(biāo)準(zhǔn)動(dòng)態(tài)幀的坐標(biāo)值與所述標(biāo)準(zhǔn)靜態(tài)幀的坐標(biāo)值的差值，根據(jù)所述差值得到與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的舌唇偏移位移。
10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述回歸計(jì)算模塊采用最小二乘法對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算。
11.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括速度閾值計(jì)算模塊，所述速度閾值計(jì)算模塊用于獲取所述樣本數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算舌部速度閾值和舌部加速度閾值。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述裝置還包括目標(biāo)速度計(jì)算模塊，所述目標(biāo)計(jì)算模塊用于獲取所述采集數(shù)據(jù)的舌部運(yùn)動(dòng)數(shù)據(jù)的坐標(biāo)差值和所述坐標(biāo)差值對(duì)應(yīng)的時(shí)間間隔，計(jì)算目標(biāo)舌部速度數(shù)據(jù)和目標(biāo)舌部加速度數(shù)據(jù)；所述識(shí)別模塊還用于根據(jù)所述舌部速度閾值、舌部加速度閾值和所述目標(biāo)舌部速度數(shù)據(jù)、目標(biāo)舌部加速度數(shù)據(jù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。
13.一種構(gòu)音障礙識(shí)別的系統(tǒng)，包括電磁發(fā)音記錄儀、聲學(xué)參數(shù)計(jì)算組件、運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件和中央處理組件，所述電磁發(fā)音記錄儀分別連接所述聲學(xué)參數(shù)計(jì)算組件和所述運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件，所述中央處理組件分別連接所述聲學(xué)參數(shù)計(jì)算組件和所述運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件；所述電磁發(fā)音記錄儀用于采集樣本數(shù)據(jù)，對(duì)所述樣本數(shù)據(jù)進(jìn)行校準(zhǔn)去噪，所述樣本數(shù)據(jù)包括語(yǔ)音數(shù)據(jù)和器官運(yùn)動(dòng)數(shù)據(jù)，所述器官運(yùn)動(dòng)數(shù)據(jù)包括舌部運(yùn)動(dòng)數(shù)據(jù)和唇部運(yùn)動(dòng)數(shù)據(jù)；所述聲學(xué)參數(shù)計(jì)算組件用于提取所述語(yǔ)音數(shù)據(jù)的共振峰值，根據(jù)所述共振峰值計(jì)算所述語(yǔ)音數(shù)據(jù)的樣本聲學(xué)參數(shù)；所述運(yùn)動(dòng)學(xué)參數(shù)計(jì)算組件用于根據(jù)所述器官運(yùn)動(dòng)數(shù)據(jù)計(jì)算舌唇偏移位移，根據(jù)所述舌唇偏移位移計(jì)算與所述器官運(yùn)動(dòng)數(shù)據(jù)對(duì)應(yīng)的樣本運(yùn)動(dòng)學(xué)參數(shù)；所述中央處理組件用于對(duì)所述樣本聲學(xué)參數(shù)和所述樣本運(yùn)動(dòng)學(xué)參數(shù)進(jìn)行多元回歸計(jì)算，得到回歸方程。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括識(shí)別組件，所述識(shí)別組件連接所述中央處理組件；所述電磁發(fā)音記錄儀還用于獲取采集數(shù)據(jù)；所述中央處理組件還用于根據(jù)所述采集數(shù)據(jù)的目標(biāo)聲學(xué)參數(shù)和所述回歸方程，計(jì)算所述采集數(shù)據(jù)的目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)；所述識(shí)別組件用于根據(jù)所述樣本運(yùn)動(dòng)學(xué)參數(shù)和所述目標(biāo)運(yùn)動(dòng)學(xué)參數(shù)，對(duì)所述采集數(shù)據(jù)進(jìn)行識(shí)別并分類(lèi)。·
15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其特征在于，所述電磁發(fā)音記錄儀包括語(yǔ)音傳感器和運(yùn)動(dòng)傳感器和校準(zhǔn)單元；所述語(yǔ)音傳感器用于采集所述語(yǔ)音數(shù)據(jù)；所述運(yùn)動(dòng)傳感器用于采集所述器官運(yùn)動(dòng)數(shù)據(jù)；所述校準(zhǔn)單元用于對(duì)所述語(yǔ)音數(shù)據(jù)和所述器官運(yùn)動(dòng)數(shù)據(jù)進(jìn)行校準(zhǔn)去噪。
【文檔編號(hào)】A61B5/00GK103705218SQ201310713782
【公開(kāi)日】2014年4月9日 申請(qǐng)日期:2013年12月20日 優(yōu)先權(quán)日:2013年12月20日
【發(fā)明者】張丹, 燕楠, 王嵐, 王知踐 申請(qǐng)人:中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院