本發(fā)明涉及電子信息技術(shù)領(lǐng)域，尤其是一種基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法。

背景技術(shù)：

語(yǔ)音識(shí)別技術(shù)現(xiàn)在已經(jīng)進(jìn)入了成熟期，可以準(zhǔn)確的識(shí)別人們的語(yǔ)句。然而這種先進(jìn)的技術(shù)仍未被廣泛的應(yīng)用到醫(yī)療系統(tǒng)中。與此同時(shí)，機(jī)器學(xué)習(xí)方法在當(dāng)今社會(huì)再有了蓬勃的發(fā)展，但是在醫(yī)療系統(tǒng)中，它也沒(méi)有被充分利用。

目前，國(guó)內(nèi)外大部分醫(yī)院都使用電子信息系統(tǒng)來(lái)存儲(chǔ)病人的健康醫(yī)療信息。這種健康記錄通常是在醫(yī)生為病人看病或者護(hù)士查房時(shí)手動(dòng)記錄，并手動(dòng)輸入電腦進(jìn)行存儲(chǔ)的。這種生成健康記錄的方式不僅費(fèi)時(shí)費(fèi)力，而且容易因?yàn)槭韬龆鴮?dǎo)致記錄發(fā)生錯(cuò)誤。醫(yī)生在做門診時(shí)，一方面要進(jìn)行望聞問(wèn)切來(lái)確定病人的健康狀況，一方面還需要手動(dòng)將這些信息輸入到電腦中。對(duì)于那些對(duì)計(jì)算機(jī)不熟悉的醫(yī)生，將病人信息填寫到電腦就是一件很耗時(shí)且分散注意力的工作。這樣在進(jìn)行診斷時(shí)，尤其是在長(zhǎng)時(shí)間工作后進(jìn)行診斷時(shí)，就可能因?yàn)橐恍亩枚斐稍\斷失誤，從而影響到病人的康復(fù)。如何在保證準(zhǔn)確性的前提下，解決病人健康記錄的自動(dòng)填寫問(wèn)題就成為了新的研究重點(diǎn)。

但是將現(xiàn)有語(yǔ)音識(shí)別與機(jī)器學(xué)習(xí)相結(jié)合，并將其應(yīng)用到病人健康記錄的自動(dòng)填寫上存在以下主要難點(diǎn)：(1)不同醫(yī)務(wù)工作者說(shuō)話的語(yǔ)音、語(yǔ)調(diào)和習(xí)慣不同，如果用同一個(gè)模型進(jìn)語(yǔ)音識(shí)別，勢(shì)必會(huì)降低識(shí)別的準(zhǔn)確度；(2)將機(jī)器學(xué)習(xí)的方法應(yīng)用到病人病歷的自動(dòng)生成上的關(guān)鍵問(wèn)題是如何保證生成文件的準(zhǔn)確率，而造成準(zhǔn)確率升降的主要原因是選用哪些特征來(lái)進(jìn)行模型訓(xùn)練。醫(yī)療文本有諸多特征，哪些特征能夠最大程度的提高結(jié)果的準(zhǔn)確率是研究者比較頭疼的問(wèn)題。因此目前亟需一種能夠適應(yīng)多種不同語(yǔ)音語(yǔ)調(diào)習(xí)慣用戶的語(yǔ)音輸入及識(shí)別方法，提高病歷輸入的效率和準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出了一種基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法，包括如下步驟：

訓(xùn)練集獲取步驟：預(yù)先獲取用于語(yǔ)音識(shí)別訓(xùn)練的訓(xùn)練集文件，包括預(yù)錄制的語(yǔ)音文件及其對(duì)應(yīng)的文本文件，以及已標(biāo)注特征和標(biāo)簽的文本特征文件；

識(shí)別模型訓(xùn)練步驟：調(diào)用深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別模型，利用所述語(yǔ)音文件及所述文本文件作為輸入訓(xùn)練所述深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別模型，得到適合識(shí)別語(yǔ)音語(yǔ)調(diào)的改進(jìn)語(yǔ)音識(shí)別模型；

抽取模型訓(xùn)練步驟：調(diào)用條件隨機(jī)場(chǎng)模型，利用所述文本特征文件和模型訓(xùn)練指令作為控制輸入訓(xùn)練所述條件隨機(jī)場(chǎng)模型，得到用于抽取標(biāo)簽的信息抽取模型；

識(shí)別錄入步驟：輸入待識(shí)別的語(yǔ)音數(shù)據(jù)，經(jīng)所述改進(jìn)語(yǔ)音識(shí)別模型自動(dòng)識(shí)別后轉(zhuǎn)換成文本數(shù)據(jù)；獲取所述文本數(shù)據(jù)中每個(gè)詞的特征形成文本特征數(shù)據(jù)，利用所述信息抽取模型對(duì)所述文本特征數(shù)據(jù)進(jìn)行標(biāo)注，得到所述文本特征數(shù)據(jù)中每個(gè)詞語(yǔ)的標(biāo)簽，根據(jù)標(biāo)簽將每個(gè)詞語(yǔ)錄入相應(yīng)的數(shù)據(jù)中，得到自動(dòng)填寫的記錄。

本發(fā)明提出的所述基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法中，所述文本特征文件所標(biāo)注的特征包括：詞頻、命名實(shí)體標(biāo)簽、.詞性/詞類、從根節(jié)點(diǎn)到這個(gè)詞的解析樹、依賴于這個(gè)詞的詞、這個(gè)詞依賴的詞、是否有短語(yǔ)包含這個(gè)詞、統(tǒng)一化醫(yī)學(xué)語(yǔ)言映射后的詞、是否是醫(yī)藥、詞在文本中的位置信息、用MetaMap映射后的詞的SegType標(biāo)簽信息。提高條件隨機(jī)場(chǎng)模型標(biāo)注準(zhǔn)確率的重點(diǎn)在于訓(xùn)練特征的選取，本發(fā)明創(chuàng)新的對(duì)以上特征進(jìn)行了組合應(yīng)用，同時(shí)結(jié)合了語(yǔ)義特征、語(yǔ)境特征、語(yǔ)法特征及其醫(yī)療領(lǐng)域的相關(guān)特征，大大提高了標(biāo)注的準(zhǔn)確率。

本發(fā)明提出的所述基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法中，識(shí)別模型訓(xùn)練步驟中，預(yù)先將常用醫(yī)學(xué)專業(yè)詞匯、醫(yī)學(xué)名詞縮寫詞表加入到所述深度神經(jīng)網(wǎng)絡(luò)語(yǔ)音識(shí)別模型中。

本發(fā)明提出的所述基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法中，抽取模型訓(xùn)練步驟中，進(jìn)一步將MetaMap中的醫(yī)療標(biāo)簽加入到所述模型訓(xùn)練指令中。

本發(fā)明的有益效果在于：本發(fā)明利用成熟的語(yǔ)音識(shí)別技術(shù)，實(shí)時(shí)識(shí)別醫(yī)生或者護(hù)士對(duì)病人健康情況的描述，并且以文本的形式保存結(jié)果。然后利用訓(xùn)練好的條件隨機(jī)場(chǎng)模型來(lái)自動(dòng)填寫預(yù)設(shè)的病歷表格，以幫助醫(yī)務(wù)工作者生成規(guī)范化的病歷，方便查詢和歸檔。本發(fā)明提出的信息抽取方法在特征選取時(shí)創(chuàng)新性的結(jié)合了語(yǔ)義特征，語(yǔ)境特征，語(yǔ)法特征以及醫(yī)療領(lǐng)域相關(guān)特征，同時(shí)引入外部數(shù)據(jù)MetaMap作為訓(xùn)練特征，大大提高了抽取的準(zhǔn)確率。此外，此種方法的程序運(yùn)行效率較高，可以實(shí)現(xiàn)實(shí)時(shí)抽取。

附圖說(shuō)明

圖1為本發(fā)明基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法的流程示意圖。

具體實(shí)施方式

結(jié)合以下具體實(shí)施例和附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。實(shí)施本發(fā)明的過(guò)程、條件、實(shí)驗(yàn)方法等，除以下專門提及的內(nèi)容之外，均為本領(lǐng)域的普遍知識(shí)和公知常識(shí)，本發(fā)明沒(méi)有特別限制內(nèi)容。

參閱附圖1，一種基于語(yǔ)音識(shí)別的醫(yī)療健康記錄自動(dòng)填寫方法，其特征在于利用成熟的語(yǔ)音識(shí)別技術(shù)，實(shí)時(shí)識(shí)別醫(yī)生或者護(hù)士對(duì)病人健康情況的描述，并且以文本的形式保存結(jié)果。然后利用訓(xùn)練好的條件隨機(jī)場(chǎng)模型來(lái)自動(dòng)填寫預(yù)設(shè)的病歷表格，以幫助醫(yī)務(wù)工作者生成規(guī)范化的病歷，方便查詢和歸檔。具體操作按下述步驟進(jìn)行：

(一)、獲取訓(xùn)練集

本方法的實(shí)現(xiàn)需要提前獲取兩種訓(xùn)練集：(1)醫(yī)生錄制的語(yǔ)音文件，及對(duì)應(yīng)的文本文件。語(yǔ)音文件是醫(yī)生用正常語(yǔ)音語(yǔ)調(diào)來(lái)復(fù)述病人病情的音頻文件，文本文件是與此音頻文件對(duì)應(yīng)的文本，此訓(xùn)練集主要用于訓(xùn)練語(yǔ)音識(shí)別模型。(2)標(biāo)注好的文本文件。此文件應(yīng)來(lái)自于醫(yī)生平時(shí)看病時(shí)，對(duì)病人健康狀況描述的文本文件。文件中每個(gè)詞成一行，其后是這個(gè)詞對(duì)應(yīng)的11維特征和這個(gè)詞的標(biāo)簽，這些特征分別是：

(a).詞頻；

(b).命名實(shí)體標(biāo)簽(如：時(shí)間，數(shù)字，姓名等)；

(c).詞性/詞類；

(d).從根節(jié)點(diǎn)到這個(gè)詞的解析樹；

(e).依賴于這個(gè)詞的詞，這個(gè)詞依賴的詞；

(f).是否有短語(yǔ)包含這個(gè)詞；

(g).統(tǒng)一化醫(yī)學(xué)語(yǔ)言映射后的詞(UMLS)；

(h).是否是醫(yī)藥；

(i).詞在文本中的位置信息；

(j).用MetaMap映射后的詞的SegType標(biāo)簽信息。

每個(gè)詞的標(biāo)簽可以由醫(yī)生自定義，同時(shí)也可以用預(yù)設(shè)標(biāo)簽，預(yù)設(shè)標(biāo)簽根據(jù)醫(yī)療健康記錄表格設(shè)計(jì)了病人個(gè)人信息，病情描述，治療方法等基本信息，預(yù)設(shè)標(biāo)簽有：

Appointment/Procedure_City看病城市

Appointment/Procedure_ClinicianGivenNames/Initials臨床醫(yī)生的名

Appointment/Procedure_ClinicianLastname；臨床醫(yī)生的姓

Appointment/Procedure_Day看病日期

Appointment/Procedure_Description病情描述

Appointment/Procedure_Status病人看病時(shí)狀態(tài)

Appointment/Procedure_Time看病時(shí)間

Appointment/Procedure_Ward病人病房

Future_Alert/Warning/AbnormalResult病人異常狀況

Future_Discharge/TransferPlan出院時(shí)間

Future_Goal/TaskToBeCompleted/ExpectedOutcome預(yù)期結(jié)果

Medication_Dosage醫(yī)藥用量

Medication_Medicine用藥

Medication_Status用藥后狀態(tài)

MyShift_ActivitiesOfDailyLiving病人日常生活描述

MyShift_Contraption病人使用的醫(yī)療設(shè)備

MyShift_Input/Diet病人日常飲食

MyShift_OtherObservation病人其他觀測(cè)癥狀

MyShift_Output/Diuresis/BowelMovement病人排便情況

MyShift_RiskManagement緊急應(yīng)對(duì)策略

MyShift_Status病人日常狀態(tài)描述

MyShift_Wounds/Skin病人傷口描述

NA無(wú)

PatientIntroduction_AdmissionReason/Diagnosis病人確診信息

PatientIntroduction_Ageinyears病人年齡

PatientIntroduction_Allergy病人過(guò)敏反應(yīng)

PatientIntroduction_CarePlan治療方法

PatientIntroduction_ChronicCondition病人慢性病狀態(tài)描述

PatientIntroduction_CurrentBed病床號(hào)

PatientIntroduction_CurrentRoom病房號(hào)

PatientIntroduction_Disease/ProblemHistory病史

PatientIntroduction_Gender病人性別

PatientIntroduction_GivenNames/Initials病人名

PatientIntroduction_Lastname病人姓

PatientIntroduction_UnderDr_GivenNames/Initials主治醫(yī)生名

PatientIntroduction_UnderDr_Lastname主治醫(yī)生姓

訓(xùn)練集二可以通過(guò)專業(yè)醫(yī)生的手動(dòng)標(biāo)注或者眾包平臺(tái)獲取。

(二)、語(yǔ)音識(shí)別軟件的訓(xùn)練

利用Kaldi開(kāi)源語(yǔ)音識(shí)別工具來(lái)進(jìn)行語(yǔ)音識(shí)別，在使用前需要對(duì)其中的深度神經(jīng)網(wǎng)絡(luò)(DNN)語(yǔ)音識(shí)模型進(jìn)行訓(xùn)練，以得到適合醫(yī)生語(yǔ)音語(yǔ)調(diào)的語(yǔ)音識(shí)別模型?？梢酝ㄟ^(guò)已經(jīng)取得的訓(xùn)練集一和Kaldi的模型訓(xùn)練命令自動(dòng)的進(jìn)行模型訓(xùn)練；

(三)、信息抽取模型的訓(xùn)練

利用條件隨機(jī)場(chǎng)(CRF)模型來(lái)進(jìn)行信息抽取。本方法采用開(kāi)源的CRF++0.58來(lái)實(shí)現(xiàn)。通過(guò)已經(jīng)獲得的訓(xùn)練集二和CRF++0.58的模型訓(xùn)練命令來(lái)自動(dòng)的進(jìn)行模型訓(xùn)練；在進(jìn)行模型訓(xùn)練時(shí)，將語(yǔ)義特征，語(yǔ)法特征，語(yǔ)境特征以及醫(yī)療領(lǐng)域的相關(guān)特征相結(jié)合，同時(shí)引入外部數(shù)據(jù)MetaMap，作為輸入特征對(duì)CRF進(jìn)行訓(xùn)練，提高了最終的標(biāo)注準(zhǔn)確度。

調(diào)用kaldi語(yǔ)音識(shí)別工具包進(jìn)行語(yǔ)音識(shí)別，進(jìn)行語(yǔ)音識(shí)別的語(yǔ)段如下：

“Vera Abbott on bed four eats fair at work 93years old under Dr Lee and she came in with chest pain in with a history of stroke in the previous chest pains is a she is in also Cataract asthma in glaucoma and she is almost blind in she needs assistance with her nitros she had tonight yesterday but still No effects and she is under monitoring underdone that she is down all of her also fine in that all for her。”

通過(guò)統(tǒng)計(jì)和人工標(biāo)注可以得到此文本對(duì)應(yīng)的抽取訓(xùn)練樣本如以下表1所示：

表1抽取訓(xùn)練樣本的人工標(biāo)注結(jié)果

利用這種已標(biāo)注好的文本來(lái)訓(xùn)練CRF++0.58。文本的特征的值分別通過(guò)以下工具獲取CoreNLP(用于獲得特征b,c,d,e)，NICTA(用于獲得特征i)，MetaMap(用于獲得特征f,g,h,j)

(四)病人健康記錄的自動(dòng)填寫

醫(yī)生口述病人的健康情況，并通過(guò)麥克風(fēng)進(jìn)行輸入。利用已經(jīng)訓(xùn)練好的語(yǔ)音識(shí)別模型來(lái)自動(dòng)地將音頻文件轉(zhuǎn)化為文本文件，并進(jìn)行保存。獲取文本文件中每個(gè)詞的11維特征，并將文本以訓(xùn)練集二的格式保存，形成目標(biāo)文件。利用訓(xùn)練好的CRF模型對(duì)目標(biāo)文件進(jìn)行標(biāo)注，從而得到每個(gè)詞的標(biāo)簽。根據(jù)每個(gè)詞的標(biāo)簽，將其填寫到健康記錄表格對(duì)應(yīng)的每一項(xiàng)處，從而自動(dòng)生成病人的醫(yī)療健康記錄，并將其存儲(chǔ)在系統(tǒng)數(shù)據(jù)庫(kù)中。

(五)、病人健康記錄的可視化

通過(guò)調(diào)用系統(tǒng)數(shù)據(jù)庫(kù)中病人的醫(yī)療信息，將其展示在屏幕上使得醫(yī)務(wù)工作者能對(duì)表格內(nèi)容進(jìn)行修改和完善。

本發(fā)明的保護(hù)內(nèi)容不局限于以上實(shí)施例。在不背離發(fā)明構(gòu)思的精神和范圍下，本領(lǐng)域技術(shù)人員能夠想到的變化和優(yōu)點(diǎn)都被包括在本發(fā)明中，并且以所附的權(quán)利要求書為保護(hù)范圍。