本發(fā)明涉及信息網(wǎng)絡(luò)的，尤其涉及面向敘事醫(yī)學(xué)的移情醫(yī)患對(duì)話智能增強(qiáng)系統(tǒng)。

背景技術(shù)：

1、智能增強(qiáng)(intelligence?augmentation,ia)技術(shù)，是一種基于人工智能，旨在擴(kuò)展和增強(qiáng)人類智能能力的技術(shù)。與完全依賴于自動(dòng)化和人工智能的解決方案不同，智能增強(qiáng)技術(shù)注重人類和機(jī)器的協(xié)作，以提高人類的認(rèn)知能力、決策能力和生產(chǎn)力。人機(jī)協(xié)作是智能增強(qiáng)技術(shù)的核心理念。通過(guò)人機(jī)協(xié)作，技術(shù)可以提供輔助工具，使人類更有效地處理復(fù)雜任務(wù)。例如，醫(yī)生可以利用智能診斷工具來(lái)更快更準(zhǔn)確地做出診斷決策，而不是完全依賴于人工智能來(lái)做出最終決定。在醫(yī)療保健領(lǐng)域，ia已在臨床環(huán)境中得到應(yīng)用，例如個(gè)性化治療計(jì)劃、醫(yī)學(xué)成像和診斷等。

2、但在醫(yī)患移情對(duì)話領(lǐng)域中，對(duì)醫(yī)生移情能力的智能增強(qiáng)方面，ia技術(shù)至今還未有所研究和探索。因此，在此領(lǐng)域中的ia技術(shù)研發(fā)還面臨著以下主要的挑戰(zhàn)：

3、首先，多模態(tài)人工智能ai技術(shù)的有效整合。在該場(chǎng)景中，多模態(tài)情感識(shí)別、自然語(yǔ)言處理等方面的數(shù)據(jù)和技術(shù)，需要通過(guò)合理的融合機(jī)制來(lái)滿足醫(yī)患交流中的移情任務(wù)流；并構(gòu)建適當(dāng)?shù)纳窠?jīng)網(wǎng)絡(luò)來(lái)有效提取和融合語(yǔ)音、面部表情等多模態(tài)數(shù)據(jù)中的情感特征，提高情感識(shí)別的準(zhǔn)確性和魯棒性。

4、其次，在實(shí)現(xiàn)高效的人機(jī)協(xié)作方面，如何找到人類和機(jī)器之間的最佳互動(dòng)方式，使得技術(shù)既能提供有效的幫助，又不會(huì)過(guò)度干擾人類的自主性和創(chuàng)造力，是一個(gè)復(fù)雜的問(wèn)題。這需要在設(shè)計(jì)和應(yīng)用過(guò)程中進(jìn)行大量的研究和實(shí)驗(yàn)。

5、“敘事醫(yī)學(xué)”于2011年進(jìn)入中國(guó)，其理論與實(shí)踐方法受到了醫(yī)學(xué)界的廣泛認(rèn)可，被認(rèn)為是醫(yī)學(xué)人文在臨床的落地工具?！皵⑹箩t(yī)學(xué)”被證明能有效提升醫(yī)師人文素養(yǎng)，改善臨床治療效果，緩解醫(yī)患矛盾，在當(dāng)今極具現(xiàn)實(shí)意義。敘事醫(yī)學(xué)實(shí)際在臨床環(huán)境的實(shí)踐過(guò)程中，遇到了很多現(xiàn)實(shí)的挑戰(zhàn)，其中缺乏支持?jǐn)⑹箩t(yī)學(xué)的有效工具是最多被提及的挑戰(zhàn)之一。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種面向敘事醫(yī)學(xué)的移情醫(yī)患對(duì)話智能增強(qiáng)系統(tǒng)，通過(guò)ia技術(shù)提升醫(yī)生與患者進(jìn)行問(wèn)診對(duì)話過(guò)程中的移情交流能力，協(xié)助醫(yī)生更好的開(kāi)展敘事實(shí)踐，加速敘事醫(yī)學(xué)的臨床落地。

2、面向敘事醫(yī)學(xué)的移情醫(yī)患對(duì)話智能增強(qiáng)系統(tǒng)，三個(gè)部分：作為數(shù)據(jù)基礎(chǔ)的醫(yī)患移情對(duì)話多模態(tài)語(yǔ)料庫(kù)；

3、多模態(tài)移情識(shí)別模型；用于識(shí)別出“積極/消極移情機(jī)會(huì)”和“積極/消極潛在移情機(jī)會(huì)”；

4、相互配合的“醫(yī)生-ai協(xié)作交互框架”和“醫(yī)生-患者共享可視部件”的人機(jī)協(xié)作“共享表達(dá)”。

5、優(yōu)選的是，本發(fā)明的醫(yī)患移情對(duì)話多模態(tài)語(yǔ)料庫(kù)是數(shù)據(jù)基礎(chǔ)；語(yǔ)料庫(kù)的源數(shù)據(jù)來(lái)自語(yǔ)音識(shí)別、敘事情感分析和表情情感分析；

6、醫(yī)患對(duì)話中的語(yǔ)音識(shí)別，通過(guò)asr技術(shù)將音頻流轉(zhuǎn)換為實(shí)時(shí)文本并識(shí)別說(shuō)話者的角色；同時(shí)，記錄每個(gè)敘事單元的開(kāi)始時(shí)間和結(jié)束時(shí)間；

7、敘事情感分析，通過(guò)預(yù)訓(xùn)練中文語(yǔ)言模型，進(jìn)行語(yǔ)句級(jí)情感分析，識(shí)別每個(gè)敘事單元語(yǔ)句中傳達(dá)的情感狀態(tài)；

8、表情情感分析，使用自動(dòng)面部表情識(shí)別(fer)提供預(yù)測(cè)六種情緒的概率。針對(duì)視頻流中的每個(gè)圖像幀，計(jì)算六種情緒的概率分?jǐn)?shù)，包括score(快樂(lè))、score(悲傷)、score(驚訝)、score(憤怒)、score(厭惡)和score(恐懼)；每秒捕獲一定數(shù)量的幀進(jìn)行分析；

9、為六種情緒設(shè)定一個(gè)概率閾值t，

10、t＝[t(快樂(lè)),t(悲傷),t(驚訝),t(憤怒),t(厭惡),t(恐懼)]

11、通過(guò)概率分?jǐn)?shù)(score)與概率閾值的比較，計(jì)算出每個(gè)圖像幀中六種不同面部情緒的值v，具體如下：

12、

13、六種情緒的v值共同構(gòu)成了臉部情感狀態(tài)值v(fes)；每一個(gè)圖像幀都有一個(gè)v(fes)，則每秒有30個(gè)v(fes)；

14、v(fes)＝[v(快樂(lè)),v(悲傷),v(驚訝),v(憤怒),v(厭惡),v(恐懼)]。

15、優(yōu)選的是，本發(fā)明在源數(shù)據(jù)基礎(chǔ)上，醫(yī)患移情對(duì)話多模態(tài)語(yǔ)料庫(kù)針對(duì)每個(gè)敘事單元，進(jìn)行“移情機(jī)會(huì)”標(biāo)注和“移情內(nèi)容”標(biāo)注；

16、“移情機(jī)會(huì)”標(biāo)注為以下五個(gè)類別之一：消極潛在移情機(jī)會(huì)pno、積極潛在移情機(jī)會(huì)ppo、消極移情機(jī)會(huì)no、積極移情機(jī)會(huì)po、非機(jī)會(huì)none；

17、“移情內(nèi)容”標(biāo)注：將敘事單元及其敘事情境中的關(guān)鍵詞或子句標(biāo)出，并按語(yǔ)義組合連接；

18、所有敘事單元標(biāo)注完成后，組成為醫(yī)患移情對(duì)話多模態(tài)語(yǔ)料庫(kù)；語(yǔ)料庫(kù)結(jié)構(gòu)中每個(gè)敘事單元包含：(1)敘事單元語(yǔ)言文字，(2)說(shuō)話者角色，(3)單元的開(kāi)始時(shí)間和結(jié)束時(shí)間，(4)敘事單元情緒狀態(tài)p(ses)，(5)與時(shí)長(zhǎng)對(duì)應(yīng)的相應(yīng)數(shù)量的患者臉部情感狀態(tài)序列v(fes)，(6)標(biāo)注的移情機(jī)會(huì)類別，(7)以及標(biāo)出的移情內(nèi)容子句。

19、優(yōu)選的是，本發(fā)明的人機(jī)協(xié)作“共享表達(dá)”，包括“醫(yī)生-ai協(xié)作交互框架”和“醫(yī)生-患者共享可視部件”兩個(gè)部分；

20、醫(yī)生-ai協(xié)作交互框架：構(gòu)建了交互式“引導(dǎo)-決策循環(huán)”，使醫(yī)生有效地參與到與ai交互循環(huán)中的反饋或行動(dòng)中；并賦予醫(yī)生自主權(quán)，與ai算法進(jìn)行自主交互；

21、若ai模型已經(jīng)識(shí)別并提醒存在一個(gè)“移情機(jī)會(huì)”，而醫(yī)生卻沒(méi)有感知到這個(gè)“移情機(jī)會(huì)”；評(píng)估是否要忽略它；若不認(rèn)為這是一個(gè)“移情機(jī)會(huì)”，手動(dòng)去除；若認(rèn)同這個(gè)“移情機(jī)會(huì)”，根據(jù)移情機(jī)會(huì)的類別給予患者適當(dāng)?shù)鼗貞?yīng)；

22、當(dāng)醫(yī)生與ai識(shí)別和提醒的“移情機(jī)會(huì)”一致時(shí)，醫(yī)生和患者之間就會(huì)展開(kāi)相應(yīng)的動(dòng)態(tài)交流和反饋；隨后，將與此移情機(jī)會(huì)相關(guān)的移情內(nèi)容收集并匯總到患者的移情內(nèi)容“池”中；同時(shí)，允許醫(yī)生通過(guò)交互通道，手動(dòng)添加要納入的移情內(nèi)容，即同時(shí)提供自動(dòng)和手動(dòng)兩種移情內(nèi)容收集方法。

23、若醫(yī)生識(shí)別出、但ai尚未識(shí)別到的“移情機(jī)會(huì)”的情況，在這種情況下，醫(yī)生通過(guò)手動(dòng)添加交互通道，直接添加“移情機(jī)會(huì)”，此“移情機(jī)會(huì)”及相關(guān)的移情內(nèi)容，會(huì)出現(xiàn)在系統(tǒng)的提示列表中；醫(yī)生繼續(xù)和患者之間展開(kāi)相應(yīng)的動(dòng)態(tài)交流和反饋；從而系統(tǒng)啟動(dòng)“移情機(jī)會(huì)”和移情內(nèi)容收集和匯總行動(dòng)；

24、醫(yī)生-患者共享可視部件：由醫(yī)患對(duì)話的移情任務(wù)引出三類可視部件：“情感參考”、“移情機(jī)會(huì)提醒和移情內(nèi)容收集”、“患者情況理解”；首先，“情感參考”組件體現(xiàn)了患者情緒的實(shí)時(shí)描繪，包括情緒狀態(tài)、轉(zhuǎn)變和情緒基調(diào)；“情感參考”組件提供兩個(gè)可視方式：動(dòng)態(tài)情緒條和情緒河流圖；“移情機(jī)會(huì)提醒和移情內(nèi)容收集”組件充當(dāng)醫(yī)生的視覺(jué)提示，提醒他們共情機(jī)會(huì)并幫助實(shí)現(xiàn)與ai的協(xié)作識(shí)別與收集；“患者情況理解”支持醫(yī)生和患者共同深入了解患者在醫(yī)療對(duì)話過(guò)程中的綜合情況?！盎颊咔闆r理解”組件也提供兩種支持方式：移情內(nèi)容時(shí)序列表和移情內(nèi)容樹(shù)圖。

25、本發(fā)明采用上述技術(shù)方案，醫(yī)患移情交流智能增強(qiáng)技術(shù)的功效統(tǒng)計(jì)分析結(jié)果可以總結(jié)：(1)醫(yī)患移情交流智能增強(qiáng)技術(shù)有潛力讓醫(yī)生積極、反復(fù)地努力表達(dá)共情，準(zhǔn)確理解患者的觀點(diǎn)，一些醫(yī)生可以超越患者的表面表達(dá)來(lái)掌握其更深層次的情感細(xì)微變化；(2)患者的感知測(cè)量表明，使用醫(yī)患移情交流智能增強(qiáng)技術(shù)時(shí)，醫(yī)生的共情溝通水平有所提高。(3)醫(yī)患移情交流智能增強(qiáng)技術(shù)鼓勵(lì)醫(yī)生深入討論生活方式和社會(huì)心理方面的問(wèn)題，促進(jìn)建立牢固的醫(yī)患關(guān)系，并增強(qiáng)患者的參與度。