本發(fā)明涉及專門用于處置或處理醫(yī)療或健康數(shù)據(jù)的信息和通信技術，具體涉及一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)。

背景技術：

1、在鏡檢病例分級方面，主要通過參考相關書籍中的圖像示例、與科室內(nèi)其他醫(yī)師交流解決，相關書籍中的圖像有限，并且一般較為典型，難以覆蓋真實病例中可能出現(xiàn)的情況；內(nèi)部交流效率較低，高質量的診斷依賴于醫(yī)師資歷，并且往往缺少實際圖像作為參照，醫(yī)師能獲取的信息有限。

2、近年來，隨著信息化在醫(yī)院等醫(yī)療機構的發(fā)展，對患者的病例進行電子化并進行管理的醫(yī)療機構逐步增加。在電子病例的實際運用中，有時需要從所存儲的過去的履歷數(shù)據(jù)中檢索出具有類似的檢查圖像的病例，以作為當前病例的診斷的參考。但是如何從大量的電子病例中進行檢索成為了難點。

3、因此，需要一種鏡檢病例分級檢索系統(tǒng)。

技術實現(xiàn)思路

1、本發(fā)明是為了解決鏡檢病例檢索的問題，提供一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，結合病人的鏡檢圖像和醫(yī)師診斷中的具體需求，檢索、呈現(xiàn)歷史相關病例圖像及診斷信息，輔助醫(yī)師做出判斷，該系統(tǒng)將特別有助于鏡檢中爭議病例、稀少病例等的診斷，為醫(yī)師診療提供可靠的依據(jù)和參考。

2、本發(fā)明提供一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，包括依次連接的圖像采集模塊、檢測診斷模塊、定制檢索模塊和與檢測診斷模塊、定制檢索模塊均可交互的數(shù)據(jù)庫模塊，定制檢索模塊也可與檢測診斷模塊進行交互；

3、圖像采集模塊將鏡檢病例進行成像、圖片增強處理并結合鏡檢病例信息對圖像進行唯一編號后得到鏡檢病例圖像輸出至檢測診斷模塊；

4、檢測診斷模塊接收圖像采集模塊、外接設備和定制檢索模塊輸入的數(shù)據(jù)并在獲取診斷結果后將診斷結果和鏡檢病例圖像打包傳入數(shù)據(jù)庫模塊中保存；檢測診斷模塊還包括系統(tǒng)使用界面，用戶可通過系統(tǒng)使用界面觀察圖像采集模塊采集得到的鏡檢病例圖像、輸入診斷結果；用戶也可結合當前鏡檢病例圖像通過系統(tǒng)使用界面在定制檢索模塊中輸入對歷史鏡檢病例圖像、診斷結果的檢索需求、檢索歷史相關病例并綜合檢索結果給出診斷生成診斷結果；

5、定制檢索模塊分析從檢測診斷模塊傳入的鏡檢病例圖像和文字檢索需求，從數(shù)據(jù)庫模塊的歷史數(shù)據(jù)中找到符合用戶要求的歷史鏡檢病例圖像并將歷史鏡檢病例圖像和對應的診斷結果返回給用戶；

6、定制檢索模塊使用基于圖像-文本匹配得到的預訓練模型處理以圖像形式輸入的檢索需求，將以圖像形式輸入的檢索需求與以文本形式輸入的檢索需求融合后得到融合后檢索需求，從融合后檢索需求中提取融合后檢索需求特征表示信息，再與數(shù)據(jù)庫模塊中編碼后歷史鏡檢病例圖像的特征表示進行對比得到與融合后檢索需求最接近的歷史鏡檢病例圖像并輸出至系統(tǒng)使用界面；

7、數(shù)據(jù)庫模塊保存輸入的鏡檢病例圖像和診斷結果，數(shù)據(jù)庫模塊從檢測診斷模塊接收新數(shù)據(jù)后保存并接受定制檢索模塊對數(shù)據(jù)的檢索和調(diào)用。

8、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，鏡檢病例圖像為數(shù)字化顯微鏡下的涂片成像，圖片增強處理包括去噪和銳化。

9、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，定制化鏡檢病例分級檢索系統(tǒng)的檢索方法包括以下步驟：

10、s1、圖像采集模塊將待觀察鏡檢涂片進行涂片掃描、圖片增強處理并結合鏡檢病例信息對圖像進行唯一編號后得到鏡檢病例圖像并通過檢測診斷模塊上傳給醫(yī)生預覽；

11、s2、醫(yī)生進行診斷，判斷是否需要檢索相似病例，如果是，進入步驟s3，如果否，進入步驟4；

12、s3、醫(yī)生在檢測診斷模塊的系統(tǒng)使用界面中定制檢索要求，定制檢索模塊解析圖像和文本要求，檢索數(shù)據(jù)庫模塊中的歷史鏡檢病例圖像并返回符合要求的歷史鏡檢病例圖像、診斷結果；

13、s4、醫(yī)生出具診斷結果，定制化鏡檢病例分級檢索系統(tǒng)的檢索完成。

14、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，步驟s3包括以下步驟：

15、s31、用戶通過檢測診斷模塊在定制檢索模塊中輸入文本檢索需求和鏡檢圖像檢索需求，定制檢索模塊通過模板嵌入的方法將文本檢索需求和鏡檢圖像檢索需求進行融合得到融合后檢索需求，融合后檢索需求為以文本為載體的、對檢索需求的統(tǒng)一表示；定制檢索模塊提取數(shù)據(jù)庫模塊中待檢索圖像不同尺度的歷史數(shù)據(jù)圖像特征；

16、s32、定制檢索模塊根據(jù)融合后檢索需求通過與數(shù)據(jù)庫模塊中不同尺度的歷史數(shù)據(jù)圖像特征間進行相似度計算逐級篩選與融合后檢索需求的語義信息特征相似度最高的圖像，得到與融合后檢索需求最接近的歷史圖像并輸出至系統(tǒng)使用界面。

17、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，步驟s31包括以下步驟：

18、s311、用戶通過檢測診斷模塊在定制檢索模塊中輸入文本檢索需求和鏡檢圖像檢索需求，圖像編碼器從鏡檢圖像檢索需求中提取特征；

19、s312、圖像-文本特征轉換單元預測特征在文本表示空間內(nèi)向量表示，通過對文本檢索需求進行分詞、線性映射得到文本表示空間下的向量表示；

20、s313、將向量表示與向量表示按模板進行融合得到文本，文本編碼器從文本中提取特征得到融合后檢索需求特征表示；

21、s314、圖像編碼器提取數(shù)據(jù)庫模塊中待檢索歷史鏡檢病例圖像最后3層輸出和，得到待檢索歷史鏡檢病例圖像的不同尺度特征表示。

22、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，圖像編碼器、圖像-文本特征轉換單元和文本編碼器均為基于clip組件；

23、模板由使用者預先設定；當檢索模板為一個以上時，隨機選擇一個模板。

24、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，圖像編碼器、圖像-文本特征轉換單元、文本編碼器均為resnet50結構的模型。

25、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，步驟s32包括以下步驟：

26、s321、計算融合后檢索需求特征表示與待檢索歷史鏡檢病例圖像最后一層特征的相似度，其中，為所有待檢索歷史鏡檢病例圖像的總數(shù)；根據(jù)預先定義的第一相似度閾值篩選得到數(shù)量為的第一次篩選歷史數(shù)據(jù)；

27、s322、計算第一次篩選歷史數(shù)據(jù)的倒數(shù)第二層特征與融合后檢索需求特征表示的相似度，根據(jù)預先定義的第二相似度閾值篩選得到數(shù)量為的第二次篩選歷史數(shù)據(jù)；

28、s323、計算第二次篩選歷史數(shù)據(jù)的倒數(shù)第三層特征與融合后檢索需求特征表示的相似度，根據(jù)預先定義的第三相似度閾值篩選得到與融合后檢索需求的語義信息特征相似度最高的圖像并輸出至系統(tǒng)使用界面。

29、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，步驟s321、s322、s323中，當未得到相似度超過預設閾值的歷史數(shù)據(jù)時，返回“歷史數(shù)據(jù)中無相似圖像”信息并在系統(tǒng)使用界面中顯示，提示用戶修改檢索要求或修改檢索相似度閾值設置。

30、本發(fā)明所述的一種基于多模態(tài)學習的定制化鏡檢病例分級檢索系統(tǒng)，作為優(yōu)選方式，步驟s321中，使用余弦相似度進行相似度計算，其中和分別為歸一化后的文本和待檢索歷史鏡檢病例圖像數(shù)據(jù)經(jīng)clip編碼器輸出的特征表示；

31、步驟s322、s323中，對在空間維度上各位置處的向量通過線性映射層分別得到對應圖像特定區(qū)域在圖像編碼器輸出空間上的降維映射向量，通過在空間維度上取平均得到，再使用余弦相似度

32、、進行相似度計算；

33、步驟s323中，返回歷史數(shù)據(jù)中相似度最高的1個或0個圖像索引，并將歷史圖像與索引定位數(shù)據(jù)庫中病例圖像的其他信息一起返回檢測診斷模塊；

34、、和均為0.9~1之間的數(shù)值。

35、本發(fā)明具有以下優(yōu)點：

36、（1）本發(fā)明利用在大量文本-圖像對數(shù)據(jù)上預訓練的clip模型處理以圖像形式輸入的檢索需求，并與以文本形式輸入的檢索需求融合后，提取其特征表示信息，再與歷史數(shù)據(jù)中圖像經(jīng)clip編碼后的特征表示進行對比，得到與融合后檢索需求最接近的歷史圖像；本發(fā)明針對醫(yī)學圖像具有較多細粒度差異的特點，對現(xiàn)有的特征匹配方式進行了改進，引入對歷史數(shù)據(jù)特征表示的分級檢索設計，提高了定制檢索的準確度。

37、（2）本發(fā)明結合病人的鏡檢圖像和醫(yī)師診斷中的具體需求，檢索、呈現(xiàn)歷史相關病例圖像及診斷信息，輔助醫(yī)師做出判斷、提高診斷準確性；本發(fā)明將特別有助于鏡檢中爭議病例、稀少病例等的診斷，為醫(yī)師診療提供可靠的依據(jù)和參考；本發(fā)明也可用于科研教學，通過自定義提問針對性的解決教學中的問題。