本發(fā)明涉及醫(yī)療康復(fù)領(lǐng)域，具體涉及一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)。

背景技術(shù)：

1、近年來，隨著經(jīng)濟(jì)社會的發(fā)展和診斷技術(shù)的提高，甲狀腺結(jié)節(jié)發(fā)病率逐年升高，甲狀腺手術(shù)是目前常用的治療手段，甲狀腺圍手術(shù)期出現(xiàn)的人聲發(fā)聲變化是困擾外科醫(yī)生及患者的一大臨床難題，常見的原因包括喉神經(jīng)損傷、麻醉插管機(jī)械損傷、聲帶息肉、聲帶炎性水腫等等，喉神經(jīng)損傷包括喉返神經(jīng)損傷和喉上神經(jīng)損傷，喉返神經(jīng)損傷的發(fā)音表現(xiàn)為聲音嘶啞，喉上神經(jīng)損傷則表現(xiàn)為聲音低沉，這兩種情況均影響患者的正常發(fā)音功能，影響患者的社交能力，甚至嚴(yán)重影響患者的生活質(zhì)量。麻醉插管損傷常常由于傷及聲帶或發(fā)音相關(guān)肌肉或關(guān)節(jié)引起，而聲帶息肉、聲帶炎性水腫等病理性改變，也會出現(xiàn)發(fā)音功能改變。

2、目前常用的檢查方法是有創(chuàng)的電子喉鏡檢查，患者常常有不適感，就醫(yī)體驗(yàn)較差，也無法隨時隨地進(jìn)行。且喉鏡只能觀察聲帶活動情況，沒有精細(xì)化的嚴(yán)重程度分級，而且對喉上神經(jīng)損傷也無法起到診斷作用。另一種檢查方法是喉肌電圖檢查，檢測時將針電極插入待檢者的喉肌，引出動作電位經(jīng)放大器放大后，在示波器上顯示出喉肌電電位圖形，這也是一種有創(chuàng)檢查，且將針電極準(zhǔn)確插入喉肌也有一定的技術(shù)難度。另外，喉肌電圖在神經(jīng)損傷后的初期多為電靜息表現(xiàn)，在神經(jīng)損傷10天后，才可出現(xiàn)纖顫電位及正銳波等異常的自發(fā)電位，無法即時判斷出喉神經(jīng)損傷。所以，目前對喉返神經(jīng)、喉上神經(jīng)和其它原因引起的發(fā)音功能改變，缺乏有效便捷無創(chuàng)的鑒別診斷工具。

3、對于發(fā)音功能受損程度的量化分級，以及治療恢復(fù)期恢復(fù)程度的評估監(jiān)測，也缺乏可量化的精細(xì)化評估手段。喉鏡檢查僅能判斷聲帶活動受限的粗略情況，且評估結(jié)果與檢查者的主觀判斷相關(guān)。而喉肌電圖反復(fù)多次的對比檢查，不僅有創(chuàng)傷增加患者痛苦，而且其檢查結(jié)果容易因每次針電極放置的位置不同而受到影響。所以上述檢查手段也存在一定的局限性。

4、在改善發(fā)音功能和糾正發(fā)音受損狀態(tài)方面，尤其是對于喉返神經(jīng)損傷和喉上神經(jīng)的患者，缺乏有效的手段。神經(jīng)營養(yǎng)藥物、改善循環(huán)類藥物、消炎消腫藥物僅對暫時性喉神經(jīng)損傷有一定作用，而對于永久性神經(jīng)損傷則基本無效。嗓音訓(xùn)練可適當(dāng)改善喉上神經(jīng)損傷引起的聲音低沉，但耗時較長且效果不確切，個體差異較大。外科治療如喉神經(jīng)再支配手術(shù)的手術(shù)難度大，成功幾率低，無法作為常規(guī)治療手段。

5、申請內(nèi)容

6、本申請的目的在于提供一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，以解決背景技術(shù)中描述的技術(shù)問題。

7、本申請采用的技術(shù)方案如下：

8、一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，包括：語音元素識別單元、治療恢復(fù)評估單元、術(shù)后發(fā)音矯正單元；

9、語音元素識別單元：采用傳統(tǒng)拾音模式和喉部貼傳感器件相結(jié)合的方法，組成人聲收集系統(tǒng)，通過電聲學(xué)分析進(jìn)行基本語音元素(音素、聲調(diào)和詞語)的高精度語音識別，分別記錄手術(shù)前、手術(shù)當(dāng)天、術(shù)后10天、術(shù)后1月、術(shù)后3月、術(shù)后1年的基本語音元素；將術(shù)前與術(shù)后的語音特征進(jìn)行對比，對正常的語音與發(fā)音受損的語音均進(jìn)行記錄，對不同語音功能受損的電聲學(xué)表現(xiàn)分別記錄，探索其音素、聲調(diào)、波形的特點(diǎn)，從而對正常與異常的人聲進(jìn)行對比，也對不同原因?qū)е碌陌l(fā)音功能受損進(jìn)行診斷鑒別；

10、治療恢復(fù)評估單元：通過對人聲音素、聲調(diào)、波形的特點(diǎn)的精細(xì)化分析，進(jìn)行可視化可量化的評估，設(shè)置損傷程度的臨界值和區(qū)分度，根據(jù)聲波情況進(jìn)行損傷程度的量化分級，也可對確診發(fā)音功能受損患者治療恢復(fù)期的恢復(fù)程度進(jìn)行評估監(jiān)測；

11、術(shù)后發(fā)音矯正單元：利用人工智能機(jī)器學(xué)習(xí)和語音交互技術(shù)，先記錄受試者手術(shù)前的原聲，通過語音數(shù)據(jù)分析，記錄其健康狀態(tài)下的語音特點(diǎn)，進(jìn)行機(jī)器學(xué)習(xí)和數(shù)字化處理，形成機(jī)器記憶，一旦患者出現(xiàn)術(shù)后發(fā)音功能受損，機(jī)器一方面可以檢測到其語音元素異常，另一方面則通過機(jī)器學(xué)習(xí)記憶，自動將受損后的聲音狀態(tài)記錄并作數(shù)字化調(diào)整，再通過連接的語音外放設(shè)備，將調(diào)整后的接近患者健康狀態(tài)的聲音通過播放器播出，改善和糾正聲音嘶啞、聲音低沉等不同的發(fā)音功能受損情況。

12、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果在于：申請人設(shè)計(jì)發(fā)明的甲狀腺圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析器，彌補(bǔ)了現(xiàn)有技術(shù)的上述三點(diǎn)不足：通過分析不同人聲發(fā)聲變化的特異性聲波特點(diǎn)，鑒別發(fā)音功能損傷的種類，迅速尋找發(fā)聲改變病因；解決目前圍手術(shù)期發(fā)音改變程度的不可量化問題，根據(jù)聲波情況進(jìn)行損傷程度的量化分級，也可對治療恢復(fù)期的恢復(fù)程度進(jìn)行評估監(jiān)測；利用人工智能機(jī)器學(xué)習(xí)和語音交互技術(shù)，通過聲波數(shù)據(jù)分析，使用外放語音設(shè)備，改善和糾正聲音嘶啞、聲音低沉等不同的發(fā)音功能受損情況。因此，該項(xiàng)目能滿足科研、臨床及患者實(shí)際需求，具有極廣泛的市場前景。

技術(shù)實(shí)現(xiàn)思路

技術(shù)特征：

1.一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，包括：語音元素識別單元、治療恢復(fù)評估單元、術(shù)后發(fā)音矯正單元；

2.如權(quán)利要求1所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，語音元素識別單元包括：音素識別模塊、聲調(diào)識別模塊、詞語識別模塊和綜合識別模塊；

3.如權(quán)利要求2所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：語音元素識別單元還包括：聲調(diào)分類模型對分類結(jié)果進(jìn)行后處理，包括去除錯誤的聲調(diào)標(biāo)記、合并連續(xù)的相同聲調(diào)標(biāo)記等，修正聲調(diào)a2；詞語識別模型對識別詞語解碼結(jié)果進(jìn)行優(yōu)化，包括去除重復(fù)詞、修正語法錯誤等，修正詞語a3；綜合識別模塊根據(jù)修正結(jié)果調(diào)整語音元素識別結(jié)果a。

4.如權(quán)利要求1-3中任一項(xiàng)所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：語音元素識別單元通過使用傅立葉分析技術(shù)，特殊選擇的數(shù)字濾波器和深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)分析患者聲音的基本語音元素，來進(jìn)行圍手術(shù)期人聲疾病的識別診斷；傅立葉分析用于預(yù)處理語音頻譜并隔離其頻率特性，執(zhí)行傅立葉變換并確定患者新輸入的語音信號的主要特征：梅爾頻率倒譜系數(shù)(mfccs)、基頻、音高、音長、能量；還包括：基音的穩(wěn)定性，聲音的類型(高音、中音、低音等)，幅度范圍，音色，顫音特性等；選擇數(shù)字濾波器，用于對表征不良語音頻譜與患者正常語音頻譜偏差的數(shù)據(jù)進(jìn)行采樣，并切斷不影響診斷的輔助數(shù)據(jù)。

5.如權(quán)利要求1-3中任一項(xiàng)所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：語音元素識別單元還識別患者語音中的時域特征：低能量幀比值、過零率、能量；通過分析患者語音中的低能量幀比值、過零率、能量等時域特征，濾除或降低噪聲部分，提高語音的清晰度，有效識別患者語音中的清音和濁音，提高因素識別的準(zhǔn)確性，進(jìn)行語速和語調(diào)的分析，提升情感識別的準(zhǔn)確性。

6.如權(quán)利要求1-3中任一項(xiàng)所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：語音元素識別單元綜合識別模塊對患者語音元素識別結(jié)果a分析，分析出患者語音和臨床數(shù)據(jù)頻譜特征的變化，顯示出患者病理情況。

7.如權(quán)利要求1-3中任一項(xiàng)所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：語音元素識別單元還包括可視化模塊，可視化模塊對患者新輸入的語音信號進(jìn)行時域特征提取，提取時域特征值肌電均方根，并進(jìn)行加窗處理，得到一系列反應(yīng)肌電能量強(qiáng)度的時域值；通過軟件算法處理，將肌電能量強(qiáng)度與色彩相對應(yīng)，形成面頸部的三維動態(tài)能量分布圖，并獲取發(fā)音肌群的動態(tài)可視化時空信息，將面頸部發(fā)音肌群所采集到的多通道肌電的時間和空間特性可視化；同時，對肌電進(jìn)行頻域分析提取肌電頻譜分布圖、時頻分布圖，將發(fā)音過程中肌電頻域分布特性可視化。

8.如權(quán)利要求1-3中任一項(xiàng)所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：治療恢復(fù)評估單元包括：精細(xì)化分析模塊、量化評估模塊、恢復(fù)程度監(jiān)測模塊，精細(xì)化分析模塊對經(jīng)過處理后的語音元素識別結(jié)果a進(jìn)行特征提取，提取患者音素、聲調(diào)、波形的特點(diǎn)的精細(xì)化分析數(shù)據(jù)b；量化評估模塊，將精細(xì)化分析數(shù)據(jù)b1與患者正常發(fā)音數(shù)據(jù)庫特征進(jìn)行模板匹配與差異化分析，解析患者發(fā)音功能異常情況以及受損程度，獲取損傷程度的臨界值b2和區(qū)分度b3；恢復(fù)程度監(jiān)測模塊監(jiān)測恢復(fù)值b，損傷程度臨界值b2和區(qū)分度b3共同構(gòu)成恢復(fù)值b，恢復(fù)值b＝β1b2+β2b3。

9.如權(quán)利要求1-3中任一項(xiàng)所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：術(shù)后發(fā)音矯正單元包括：年齡及性別模塊、詞語矯正模塊、聲調(diào)矯正模塊、情感調(diào)整模塊、音量調(diào)整模塊；年齡及性別模塊識別出患者的年齡和性別，包括：兒童、少年、青少年女性、青少年男性、成年女性、成年男性；患者出現(xiàn)術(shù)后發(fā)音功能受損后，根據(jù)患者的年齡和性別，結(jié)合患者當(dāng)前恢復(fù)值b，輔助患者進(jìn)行詞語矯正、聲調(diào)矯正、情感調(diào)整、音量調(diào)整；詞語矯正模塊根據(jù)語音元素識別結(jié)果a中的詞語特征，提示患者當(dāng)前詞語發(fā)音的準(zhǔn)確度、節(jié)奏差異及單字發(fā)聲時長的調(diào)整方式；聲調(diào)矯正模塊根據(jù)跟蹤患者輸入聲音信號中聲調(diào)的變化，提升其聲調(diào)變化的上升、下降、保持情況；情感調(diào)整模塊提示患者改善情感表達(dá)，包括：喜悅、興奮、緊張、悲傷、沉思等；音量調(diào)整模塊提示患者改善單字音量，包括提高音量、降低音量、保持音量。

10.如權(quán)利要求9所述的一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，其特征在于，還包括：術(shù)后發(fā)音矯正單元還利用語音元素識別單元的可視化模塊輸出的三維動態(tài)能量分布圖、肌電頻譜分布圖、時頻分布圖，同時應(yīng)用隱馬爾可夫模型和共振峰圖相互比較導(dǎo)出用戶的發(fā)音問題類型，提供準(zhǔn)確地建議改進(jìn)說話者的嘴部形狀或舌頭位置的方向的診斷結(jié)果。

技術(shù)總結(jié)
一種圍手術(shù)期人聲變化監(jiān)測及矯正的語音交互分析系統(tǒng)，通過分析不同人聲發(fā)聲變化的特異性聲波特點(diǎn)，鑒別發(fā)音功能損傷的種類，迅速尋找發(fā)聲改變病因；解決目前圍手術(shù)期發(fā)音改變程度的不可量化問題，根據(jù)聲波情況進(jìn)行損傷程度的量化分級，也可對治療恢復(fù)期的恢復(fù)程度進(jìn)行評估監(jiān)測；利用人工智能機(jī)器學(xué)習(xí)和語音交互技術(shù)，通過聲波數(shù)據(jù)分析，使用外放語音設(shè)備，改善和糾正聲音嘶啞、聲音低沉等不同的發(fā)音功能受損情況。因此，該項(xiàng)目能滿足科研、臨床及患者實(shí)際需求，具有極廣泛的市場前景。

技術(shù)研發(fā)人員：黃澤楠,張翹楚,王文娟,陳潮金
受保護(hù)的技術(shù)使用者：中山大學(xué)附屬第三醫(yī)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26