本發(fā)明涉及醫(yī)療，具體地涉及一種醫(yī)療影像輔助決策方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、醫(yī)療影像cdss(臨床決策支持系統(tǒng))利用計(jì)算機(jī)技術(shù)分析和解讀醫(yī)療影像，輔助醫(yī)生診斷和治療。常規(guī)方案主要基于單一模態(tài)數(shù)據(jù)，如x光片、ct、mri影像或電子病歷文本，通過深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法進(jìn)行圖像分類、病灶檢測(cè)和診斷預(yù)測(cè)。這些系統(tǒng)通常需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，但往往缺乏可解釋性和個(gè)性化，且交互體驗(yàn)和實(shí)時(shí)更新能力有限。此外，數(shù)據(jù)隱私保護(hù)也是一個(gè)重要的技術(shù)挑戰(zhàn)。

2、目前常規(guī)醫(yī)療影像cdss方案主要依賴單一模態(tài)數(shù)據(jù)(影像或文本)，需要大量標(biāo)注數(shù)據(jù)，采用黑箱模型，缺乏可解釋性和個(gè)性化建議，交互性差，難以實(shí)時(shí)更新，且隱私保護(hù)不足。這些限制影響了診斷準(zhǔn)確性、可信度和數(shù)據(jù)安全。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例的目的是提供一種醫(yī)療影像輔助決策方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，用于全部或至少部分的解決上述現(xiàn)有技術(shù)中存在的技術(shù)問題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例提供一種醫(yī)療影像輔助決策方法，包括：

3、采集多模態(tài)醫(yī)療數(shù)據(jù)，所述多模態(tài)醫(yī)療數(shù)據(jù)包括醫(yī)療影像和相應(yīng)的文本數(shù)據(jù)；

4、構(gòu)建多模態(tài)大語言模型，并使用歷史醫(yī)療影像和文本數(shù)據(jù)對(duì)所述多模態(tài)大語言模型進(jìn)行預(yù)訓(xùn)練，獲得目標(biāo)多模態(tài)大語言模型；

5、利用目標(biāo)多模態(tài)大語言模型分別提取醫(yī)療影像和文本數(shù)據(jù)對(duì)應(yīng)的圖像特征向量和文本特征向量，并將所述圖像特征向量和文本特征向量進(jìn)行融合，獲得融合特征向量；

6、根據(jù)不同的臨床任務(wù)采用與其對(duì)應(yīng)的模型，結(jié)合融合特征向量，獲得輔助決策方案。

7、可選的，對(duì)所述影像數(shù)據(jù)分別進(jìn)行去躁、增強(qiáng)對(duì)比度以及歸一化處理，獲得處理后的影像數(shù)據(jù)；

8、對(duì)所述文本數(shù)據(jù)進(jìn)行分詞、去除停用詞和標(biāo)準(zhǔn)化處理，獲得處理后的文本數(shù)據(jù)。

9、可選的，構(gòu)建多模態(tài)大語言模型，并使用歷史醫(yī)療影像和文本數(shù)據(jù)對(duì)所述多模態(tài)大語言模型進(jìn)行預(yù)訓(xùn)練，獲得目標(biāo)多模態(tài)大語言模型，包括：

10、基于gpt-4模型的架構(gòu)，設(shè)計(jì)多模態(tài)輸入層并集成視覺transformer，以使多模態(tài)大語言模型學(xué)習(xí)醫(yī)療影像和文本之間的關(guān)聯(lián)關(guān)系，其中，對(duì)于影像數(shù)據(jù)，使用預(yù)訓(xùn)練的視覺transformer提取圖像特征向量，對(duì)于文本數(shù)據(jù)，利用gpt-4模型的tokenizer進(jìn)行處理，獲得文本特征向量；

11、構(gòu)建特征融合機(jī)制，以融合圖像特征向量和文本特征向量；

12、設(shè)計(jì)交叉熵?fù)p失函數(shù)，來評(píng)估多模態(tài)大語言模型在預(yù)訓(xùn)練任務(wù)上的表現(xiàn)；

13、根據(jù)不同的臨床任務(wù)設(shè)計(jì)輸出層；

14、將歷史醫(yī)療影像特診向量和文本數(shù)據(jù)特征向量融合后，迭代訓(xùn)練多模態(tài)大語言模型，每次迭代都更新多模態(tài)大語言模型參數(shù)以最小化損失函數(shù)，獲得目標(biāo)多模態(tài)大語言模型。

15、可選的，利用目標(biāo)多模態(tài)大語言模型分別提取醫(yī)療影像和文本數(shù)據(jù)對(duì)應(yīng)的圖像特征向量和文本特征向量，并將所述圖像特征向量和文本特征向量進(jìn)行融合，獲得融合特征向量，包括：

16、利用特征融合機(jī)制中的查詢向量、鍵向量和值向量調(diào)整圖像特征向量和文本特征向量的權(quán)重；

17、根據(jù)權(quán)重對(duì)圖像特征向量和文本特征向量進(jìn)行加權(quán)求和，得到融合后的特征表示。

18、可選的，根據(jù)不同的臨床任務(wù)采用與其對(duì)應(yīng)的模型，結(jié)合融合特征向量，獲得輔助決策方案，包括：

19、針對(duì)診斷預(yù)測(cè)分類任務(wù)，通過分類器結(jié)合圖像特征向量和文本特征向量輸出預(yù)測(cè)結(jié)果，并基于預(yù)測(cè)結(jié)果推薦輔助決策方案；

20、針對(duì)診斷預(yù)測(cè)回歸任務(wù)，通過回歸模型預(yù)測(cè)病變概率，并基于預(yù)測(cè)病變概率推薦輔助決策方案；

21、針對(duì)病情檢測(cè)任務(wù)，使用yolo檢測(cè)模型檢測(cè)醫(yī)療影像中的病灶區(qū)域，并標(biāo)注病灶區(qū)域，針對(duì)病灶區(qū)域推薦輔助決策方案。

22、另一方面，本發(fā)明還提供一種醫(yī)療影像輔助決策系統(tǒng)，包括：

23、采集單元，用于采集多模態(tài)醫(yī)療數(shù)據(jù)，所述多模態(tài)醫(yī)療數(shù)據(jù)包括醫(yī)療影像和相應(yīng)的文本數(shù)據(jù)；

24、模型構(gòu)建單元，用于構(gòu)建多模態(tài)大語言模型，并使用歷史醫(yī)療影像和文本數(shù)據(jù)對(duì)所述多模態(tài)大語言模型進(jìn)行預(yù)訓(xùn)練，獲得目標(biāo)多模態(tài)大語言模型；

25、特征融合單元，用于利用目標(biāo)多模態(tài)大語言模型分別提取醫(yī)療影像和文本數(shù)據(jù)對(duì)應(yīng)的圖像特征向量和文本特征向量，并將所述圖像特征向量和文本特征向量進(jìn)行融合，獲得融合特征向量；

26、決策單元，用于根據(jù)不同的臨床任務(wù)采用與其對(duì)應(yīng)的模型，結(jié)合融合特征向量，獲得輔助決策方案。

27、可選的，模型構(gòu)建單元具體用于：

28、基于gpt-4模型的架構(gòu)，設(shè)計(jì)多模態(tài)輸入層并集成視覺transformer，以使多模態(tài)大語言模型學(xué)習(xí)醫(yī)療影像和文本之間的關(guān)聯(lián)關(guān)系，其中，對(duì)于影像數(shù)據(jù)，使用預(yù)訓(xùn)練的視覺transformer提取圖像特征向量，對(duì)于文本數(shù)據(jù)，利用gpt-4模型的tokenizer進(jìn)行處理，獲得文本特征向量；

29、構(gòu)建特征融合機(jī)制，以融合圖像特征向量和文本特征向量；

30、設(shè)計(jì)交叉熵?fù)p失函數(shù)，來評(píng)估多模態(tài)大語言模型在預(yù)訓(xùn)練任務(wù)上的表現(xiàn)；

31、根據(jù)不同的臨床任務(wù)設(shè)計(jì)輸出層；

32、將歷史醫(yī)療影像特診向量和文本數(shù)據(jù)特征向量融合后，迭代訓(xùn)練多模態(tài)大語言模型，每次迭代都更新多模態(tài)大語言模型參數(shù)以最小化損失函數(shù)，獲得目標(biāo)多模態(tài)大語言模型。

33、可選的，特征融合單元具體用于：

34、利用特征融合機(jī)制中的查詢向量、鍵向量和值向量調(diào)整圖像特征向量和文本特征向量的權(quán)重；

35、根據(jù)權(quán)重對(duì)圖像特征向量和文本特征向量進(jìn)行加權(quán)求和，得到融合后的特征表示。

36、另一方面，本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上進(jìn)行運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述所述的醫(yī)療影像輔助決策方法的步驟。

37、另一方面，本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述所述的醫(yī)療影像輔助決策方法的步驟。

38、通過上述技術(shù)方案，通過融合醫(yī)療影像與文本數(shù)據(jù)中的詳細(xì)臨床信息，多模態(tài)大語言模型能夠更全面地理解患者的健康狀況，從而提供更加準(zhǔn)確和全面的診斷建議，而且針對(duì)不同臨床任務(wù)能夠靈活調(diào)整模型配置，結(jié)合融合特征向量生成針對(duì)性的輔助決策方案，這有助于醫(yī)生在復(fù)雜病例中做出更加科學(xué)、合理的決策，生成個(gè)性化的輔助決策方案，滿足不同患者的獨(dú)特需求。綜合多模態(tài)信息進(jìn)行分析，有助于發(fā)現(xiàn)單一模態(tài)數(shù)據(jù)可能忽略的細(xì)微異?；蜿P(guān)聯(lián)，從而降低誤診和漏診的風(fēng)險(xiǎn)。

39、本發(fā)明實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說明。

技術(shù)特征：

1.一種醫(yī)療影像輔助決策方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的醫(yī)療影像輔助決策方法，其特征在于，對(duì)所述醫(yī)療影像分別進(jìn)行去躁、增強(qiáng)對(duì)比度以及歸一化處理，獲得處理后的影像數(shù)據(jù)；

3.根據(jù)權(quán)利要求1所述的醫(yī)療影像輔助決策方法，其特征在于，構(gòu)建多模態(tài)大語言模型，并使用歷史醫(yī)療影像和文本數(shù)據(jù)對(duì)所述多模態(tài)大語言模型進(jìn)行預(yù)訓(xùn)練，獲得目標(biāo)多模態(tài)大語言模型，包括：

4.根據(jù)權(quán)利要求3所述的醫(yī)療影像輔助決策方法，其特征在于，利用目標(biāo)多模態(tài)大語言模型分別提取醫(yī)療影像和文本數(shù)據(jù)對(duì)應(yīng)的圖像特征向量和文本特征向量，并將所述圖像特征向量和文本特征向量進(jìn)行融合，獲得融合特征向量，包括：

5.根據(jù)權(quán)利要求1所述的醫(yī)療影像輔助決策方法，其特征在于，根據(jù)不同的臨床任務(wù)采用與其對(duì)應(yīng)的模型，結(jié)合融合特征向量，獲得輔助決策方案，包括：

6.一種醫(yī)療影像輔助決策系統(tǒng)，其特征在于，包括：

7.根據(jù)權(quán)利要求6所述的醫(yī)療影像輔助決策系統(tǒng)，其特征在于，模型構(gòu)建單元具體用于：

8.根據(jù)權(quán)利要求6所述的醫(yī)療影像輔助決策系統(tǒng)，其特征在于，特征融合單元具體用于：

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上進(jìn)行運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的醫(yī)療影像輔助決策方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的醫(yī)療影像輔助決策方法的步驟。

技術(shù)總結(jié)
本發(fā)明實(shí)施例提供一種醫(yī)療影像輔助決策方法、系統(tǒng)、電子設(shè)備及存儲(chǔ)介質(zhì)，屬于醫(yī)療領(lǐng)域。該方法包括：采集多模態(tài)醫(yī)療數(shù)據(jù)，多模態(tài)醫(yī)療數(shù)據(jù)包括醫(yī)療影像和相應(yīng)的文本數(shù)據(jù)；構(gòu)建多模態(tài)大語言模型，并進(jìn)行預(yù)訓(xùn)練，獲得目標(biāo)多模態(tài)大語言模型；利用目標(biāo)多模態(tài)大語言模型提取醫(yī)療影像和文本數(shù)據(jù)對(duì)應(yīng)的圖像和文本特征向量并融合，獲得融合特征向量；根據(jù)不同的臨床任務(wù)采用與其對(duì)應(yīng)的模型，結(jié)合融合特征向量，獲得輔助決策方案。通過融合醫(yī)療影像與文本數(shù)據(jù)中的詳細(xì)臨床信息，多模態(tài)大語言模型能夠更全面地理解患者的健康狀況，從而提供更加準(zhǔn)確和全面的診斷建議，而且針對(duì)不同臨床任務(wù)能夠靈活調(diào)整模型配置，結(jié)合融合特征向量生成針對(duì)性的輔助決策方案。

技術(shù)研發(fā)人員：單保濤,華國,王思涵,趙倩,李鳳榮
受保護(hù)的技術(shù)使用者：北方健康醫(yī)療大數(shù)據(jù)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19