本發(fā)明涉及醫(yī)療信息領(lǐng)域，更具體地，涉及一種基于llm的影像報(bào)告修改類型自動評價方法及系統(tǒng)。

背景技術(shù)：

1、在影像報(bào)告書寫過程中，同一份報(bào)告會經(jīng)過初級醫(yī)生初步撰寫，由高級醫(yī)生審核修改。為了評價初級醫(yī)生的報(bào)告書寫質(zhì)量和針對性的對初級醫(yī)生的知識進(jìn)行查漏補(bǔ)缺，需要先針對醫(yī)學(xué)影像報(bào)告中的診斷印象的修改進(jìn)行分類。現(xiàn)有技術(shù)中，審核報(bào)告醫(yī)生對初步報(bào)告的修改點(diǎn)如何分配，查閱了很多文獻(xiàn)，一直沒有一個清晰的方法，對影像報(bào)告修改類型的分類方法也比較多，主要技術(shù)如下：基于規(guī)則的文本分類方法，根據(jù)一些人工制定的規(guī)則對文本進(jìn)行分類，由于場景不同，規(guī)則也不同。基于統(tǒng)計(jì)的文本分類方法，如利用機(jī)器學(xué)習(xí)、深度學(xué)習(xí)，通過大量有標(biāo)注數(shù)據(jù)的監(jiān)督學(xué)習(xí)進(jìn)行文本分類。基于大語言模型提示詞的文本分類方法。主要指的是在不進(jìn)行微調(diào)或者訓(xùn)練的情況下，直接通過提示詞輸入到大語言模型得出分類結(jié)果等等，但是這些分類結(jié)果是否正確，還得需要報(bào)告醫(yī)生進(jìn)行手工判斷，提高了人工成本。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的主要目的在于提供一種基于llm的影像報(bào)告修改類型自動評價方法及系統(tǒng)，該方法可以將使用llm按照預(yù)先設(shè)置的提問進(jìn)行模型預(yù)測，將llm預(yù)測的影像報(bào)告修改類型與nlp分析的影像報(bào)告修改類型進(jìn)行一致性比對，解決了現(xiàn)有技術(shù)中存在的需要人工判斷報(bào)告修改類型是否正確，提高人工成本的問題。

2、為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、一方面，本發(fā)明提供了一種基于llm的影像報(bào)告修改類型自動評價方法，包括：基于llm對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行預(yù)測，輸出影像報(bào)告的修改類型，定義為llm修改類型；其中，所述影像報(bào)告的修改類型為漏診、誤診、定位錯誤、特征未識別、特征識別錯誤、診斷邏輯錯誤、文字語法和格式錯誤、診斷信心不一致、語言習(xí)慣不一致、程度判斷錯誤、臨床溝通問題；通過nlp對所述修改前的醫(yī)學(xué)影像報(bào)告和所述修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行分析，輸出影像報(bào)告的修改類型，定義為nlp修改類型；對所述llm修改類型和所述nlp修改類型進(jìn)行一致性的判斷，輸出判斷結(jié)果。

4、優(yōu)選地，所述基于llm對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行預(yù)測，輸出影像報(bào)告的修改類型，其步驟包括：獲取提示詞，所述提示詞為：修改前后的影像報(bào)告；修改前后的正常、異常判斷；修改前后的疾病種類；修改前后的影像特征；影像報(bào)告的修改類型的定義；獲取例子，所述例子為歷史修改類型例子庫相似度匹配最高的預(yù)設(shè)個數(shù)例子；基于所述提示詞和所述例子，進(jìn)行所述llm修改類型預(yù)測，輸出所述llm修改類型。

5、優(yōu)選地，該方法還包括：基于所述提示詞和所述例子，進(jìn)行多次所述llm修改類型預(yù)測，將多次結(jié)果一致的所述llm修改類型作為最終的輸出結(jié)果。

6、優(yōu)選地，通過nlp對所述修改前的醫(yī)學(xué)影像報(bào)告和所述修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行分析，輸出影像報(bào)告的修改類型，其步驟包括：對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告做預(yù)處理，預(yù)處理后的數(shù)據(jù)以句子對的形式呈現(xiàn)修改前和修改后的報(bào)告數(shù)據(jù)；識別所述句子對中的命名實(shí)體和命名實(shí)體類型；將每個句子對中的命名實(shí)體進(jìn)行配對，輸出配對后的命名實(shí)體和命名實(shí)體類型；其中，未能匹配的命名實(shí)體，按照原有順序插入到序列中；以逗號或句號分隔符為一個單元，基于配對后的命名實(shí)體是否相同以及命名實(shí)體對應(yīng)的命名實(shí)體類型，按照預(yù)設(shè)的邏輯規(guī)則判斷每個單元的修改類型。

7、優(yōu)選地，該方法還包括：所述對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告做預(yù)處理，其步驟包括：識別句子邊界：以句號或冒號作為句子邊界，將醫(yī)學(xué)影像報(bào)告文本拆成每個表達(dá)完整含義的短句；調(diào)整語序：將修改前后的每個短句進(jìn)行對比，若移動該短句到對應(yīng)位置時，診斷前后的最長公共子序列長度比未移動該短句增加的數(shù)量占被移動短句的比例達(dá)到預(yù)設(shè)值后，則判斷需要移動該短句到對應(yīng)位置；句子配對：基于最長公共子序列，用包裝后的算法得到修改前后短句的對應(yīng)位置以及對應(yīng)關(guān)系，根據(jù)對應(yīng)位置以及對應(yīng)關(guān)系，生成四個移動的指針，分別對應(yīng)修改前短句的起點(diǎn)位置、終點(diǎn)位置，修改后短句的起點(diǎn)位置、終點(diǎn)位置，結(jié)合短句邊界位置，不斷更新四個指針，記錄匹配成對的短句，形成所述句子對。

8、優(yōu)選地，該方法還包括：所述影像報(bào)告的修改類型包括多個時，將優(yōu)先級別最高的影像報(bào)告的修改類型作為該影像報(bào)告的修改類型；其中，所述優(yōu)先級別排序?yàn)椋赫`診>漏診>特征識別錯誤>特征未識別>定位錯誤>診斷邏輯錯誤>臨床溝通問題>程度判斷錯誤>文字語法和格式錯誤>診斷信心不一致>語言習(xí)慣不一致。

9、另一方面，本發(fā)明還提供了一種基于llm的影像報(bào)告修改類型自動評價系統(tǒng)，該系統(tǒng)包括：llm預(yù)測模塊、nlp分析模塊和結(jié)果對比模塊，其中，所述llm預(yù)測模塊，與所述結(jié)果對比模塊相連，用于基于llm對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行預(yù)測，輸出影像報(bào)告的修改類型，定義為llm修改類型；其中，所述影像報(bào)告的修改類型為漏診、誤診、定位錯誤、特征未識別、特征識別錯誤、診斷邏輯錯誤、文字語法和格式錯誤、診斷信心不一致、語言習(xí)慣不一致、程度判斷錯誤、臨床溝通問題；所述nlp分析模塊，與所述結(jié)果對比模塊相連，用于通過nlp對所述修改前的醫(yī)學(xué)影像報(bào)告和所述修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行分析，輸出影像報(bào)告的修改類型，定義為nlp修改類型；所述結(jié)果對比模塊，分別與所述llm預(yù)測模塊、所述nlp分析模塊相連，用于對所述llm修改類型和所述nlp修改類型進(jìn)行一致性的判斷，輸出判斷結(jié)果。

10、優(yōu)選地，所述llm預(yù)測模塊包括：獲取單元和預(yù)測單元，其中，所述獲取單元，與所述預(yù)測單元相連，用于獲取提示詞和例子；其中，所述提示詞為：修改前后的影像報(bào)告；修改前后的正常、異常判斷；修改前后的疾病種類；修改前后的影像特征；影像報(bào)告的修改類型的定義；所述例子為歷史修改類型例子庫相似度匹配最高的預(yù)設(shè)個數(shù)例子；所述預(yù)測單元，與所述獲取單元相連，用于基于所述提示詞和所述例子，進(jìn)行所述llm修改類型預(yù)測，輸出所述llm修改類型。

11、優(yōu)選地，所述nlp分析模塊包括：數(shù)據(jù)預(yù)處理單元、數(shù)據(jù)識別單元、命名實(shí)體配對單元和修改類型判斷單元，其中，所述數(shù)據(jù)預(yù)處理單元，與所述數(shù)據(jù)識別單元相連，用于對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告做預(yù)處理，預(yù)處理后的數(shù)據(jù)以句子對的形式呈現(xiàn)修改前和修改后的報(bào)告數(shù)據(jù)；所述數(shù)據(jù)識別單元，分別與所述數(shù)據(jù)預(yù)處理單元、所述命名實(shí)體配對單元相連，用于識別所述句子對中的命名實(shí)體和命名實(shí)體類型；所述命名實(shí)體配對單元，分別與所述數(shù)據(jù)識別單元、所述修改類型判斷單元相連，用于將每個句子對中的命名實(shí)體進(jìn)行配對，輸出配對后的命名實(shí)體和命名實(shí)體類型；其中，未能匹配的命名實(shí)體，按照原有順序插入到序列中；所述修改類型判斷單元，與所述命名實(shí)體配對單元相連，用于以逗號或句號分隔符為一個單元，基于配對后的命名實(shí)體是否相同以及命名實(shí)體對應(yīng)的命名實(shí)體類型，按照預(yù)設(shè)的邏輯規(guī)則判斷每個單元的修改類型。

12、優(yōu)選地，所述影像報(bào)告的修改類型包括多個時，該系統(tǒng)還包括llm修改類型確定模塊和nlp修改類型確定模塊，分別與所述llm預(yù)測模塊和所述nlp分析模塊相連，均用于將優(yōu)先級別最高的修改類型作為影像報(bào)告的修改類型；其中，所述優(yōu)先級別排序?yàn)椋赫`診>漏診>特征識別錯誤>特征未識別>定位錯誤>診斷邏輯錯誤>臨床溝通問題>程度判斷錯誤>文字語法和格式錯誤>診斷信心不一致>語言習(xí)慣不一致。

13、本發(fā)明的技術(shù)效果：

14、本發(fā)明的方法基于llm對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行預(yù)測，輸出影像報(bào)告的修改類型，定義為llm修改類型；通過nlp對修改前的醫(yī)學(xué)影像報(bào)告和修改后的醫(yī)學(xué)影像報(bào)告進(jìn)行分析，輸出影像報(bào)告的修改類型，定義為nlp修改類型；對llm修改類型和nlp修改類型進(jìn)行一致性的判斷，輸出判斷結(jié)果，如果llm修改類型和nlp修改類型相同，則作為金標(biāo)準(zhǔn)結(jié)果，進(jìn)行抽樣檢查即可，無需人工再逐一檢查修改類型是否正確；如果llm修改類型和nlp修改類型相同不同，則對llm修改類型和nlp修改類型的結(jié)果進(jìn)行逐個分析，提高nlp規(guī)則或者llm提示內(nèi)容來提高兩個結(jié)果的一致性，降低了人工成本，節(jié)省了醫(yī)生時間，每個醫(yī)生可以負(fù)責(zé)更多的任務(wù)量。