本發(fā)明涉及信息處理，尤其涉及一種基于多模態(tài)學(xué)習(xí)的藥物圖像識(shí)別管理方法。

背景技術(shù)：

1、目前，現(xiàn)有的藥物圖像識(shí)別管理方法通常依賴于計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理技術(shù)，并結(jié)合了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法。下面是一些常見(jiàn)的方法和技術(shù)：

2、1.計(jì)算機(jī)視覺(jué)技術(shù)：

3、圖像預(yù)處理：包括圖像去噪、裁剪、縮放和歸一化等步驟，以提高圖像質(zhì)量并標(biāo)準(zhǔn)化輸入數(shù)據(jù)。

4、特征提?。菏褂镁矸e神經(jīng)網(wǎng)絡(luò)（cnn）等技術(shù)提取圖像中的高級(jí)特征。cnn能夠識(shí)別圖像中的局部模式，并通過(guò)池化操作降低特征的空間維度。

5、圖像分類：訓(xùn)練分類器對(duì)藥物圖像進(jìn)行分類，常用的分類算法包括支持向量機(jī)（svm）、隨機(jī)森林（rf）以及深度學(xué)習(xí)模型如resnet、inception等。

6、2.自然語(yǔ)言處理技術(shù)：

7、文本清洗：去除文本中的噪音數(shù)據(jù)，如停用詞、標(biāo)點(diǎn)符號(hào)等。

8、關(guān)鍵詞抽取：使用tf-idf、textrank等算法從文本中提取關(guān)鍵詞，這些關(guān)鍵詞可以幫助識(shí)別藥物的名稱、成分、功能等。

9、文本分類：使用傳統(tǒng)的機(jī)器學(xué)習(xí)算法（如樸素貝葉斯、邏輯回歸）或深度學(xué)習(xí)模型（如lstm、gru、bert）對(duì)文本進(jìn)行分類，幫助識(shí)別藥物的種類及其相關(guān)信息。

10、然而上述現(xiàn)有技術(shù)中通常依賴單一模態(tài)（如圖像或文本），這在面對(duì)復(fù)雜或相似藥物時(shí)容易出現(xiàn)誤識(shí)別的情況。單一模態(tài)信息不足以全面表征藥物特性，導(dǎo)致識(shí)別準(zhǔn)確率不高，尤其是在藥物外觀相似或文本描述不充分的情況下；而且現(xiàn)有技術(shù)中對(duì)于不同模態(tài)的藥物信息特征表示缺乏一致性，導(dǎo)致在融合過(guò)程中難以捕捉到不同模態(tài)之間的內(nèi)在聯(lián)系。特征表示的不一致性會(huì)降低藥物圖像識(shí)別和管理的計(jì)算機(jī)系統(tǒng)對(duì)藥物信息的理解深度，影響最終的識(shí)別性能。此外，缺乏對(duì)不同模態(tài)特征重要性動(dòng)態(tài)調(diào)整的機(jī)制，使得系統(tǒng)可解釋性較差。

11、因此需要一種可以解決上述問(wèn)題的一種基于多模態(tài)學(xué)習(xí)的藥物圖像識(shí)別管理方法。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于多模態(tài)學(xué)習(xí)的藥物圖像識(shí)別管理方法，本發(fā)明通過(guò)集成藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征，本發(fā)明能夠全面地表征藥物信息。這種多模態(tài)特征的融合不僅增強(qiáng)了藥物識(shí)別的魯棒性，還顯著提升了識(shí)別的準(zhǔn)確性。

2、本發(fā)明為解決上述技術(shù)問(wèn)題所采用的技術(shù)方案是：一種基于多模態(tài)學(xué)習(xí)的藥物圖像識(shí)別管理方法，包括以下步驟：

3、步驟s1：收集藥物圖像數(shù)據(jù)及相應(yīng)的藥物名稱、化學(xué)成分、功能主治和使用說(shuō)明的文本數(shù)據(jù)；

4、步驟s2：清洗所述藥物圖像數(shù)據(jù)，去除噪聲并對(duì)其進(jìn)行分類標(biāo)注，同時(shí)利用自然語(yǔ)言處理方法提取并標(biāo)注所述文本數(shù)據(jù)的關(guān)鍵信息；

5、步驟s3：通過(guò)卷積神經(jīng)網(wǎng)絡(luò)或transformer視覺(jué)模型提取所述藥物圖像的視覺(jué)特征；

6、步驟s4：利用預(yù)訓(xùn)練的語(yǔ)言模型提取所述文本數(shù)據(jù)的語(yǔ)義特征；

7、步驟s5：從藥物的化學(xué)成分?jǐn)?shù)據(jù)中提取化學(xué)特征，包括藥物分子結(jié)構(gòu)和藥理性質(zhì)；

8、步驟s6：采用注意力機(jī)制動(dòng)態(tài)調(diào)整不同模態(tài)特征的重要性，并通過(guò)多層異構(gòu)圖模型整合藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征；

9、步驟s7：通過(guò)對(duì)比學(xué)習(xí)方法縮小所述藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征之間的差異，得到藥物多模態(tài)特征表示數(shù)據(jù)；

10、步驟s8：將所述藥物多模態(tài)特征表示數(shù)據(jù)輸入藥物圖像識(shí)別和管理的計(jì)算機(jī)系統(tǒng)中，優(yōu)化藥物圖像識(shí)別和文本理解任務(wù)。

11、進(jìn)一步的，所述步驟s1中收集藥物圖像數(shù)據(jù)及相應(yīng)的藥物名稱、化學(xué)成分、功能主治和使用說(shuō)明的文本數(shù)據(jù)包括：

12、步驟s1-1：數(shù)據(jù)源獲?。簭尼t(yī)院、藥店、藥品生產(chǎn)商、公開(kāi)數(shù)據(jù)庫(kù)獲取藥物圖像數(shù)據(jù)；

13、步驟s1-2：圖像數(shù)據(jù)收集：收集藥物的正面、背面、側(cè)面角度圖像；

14、步驟s1-3：文本數(shù)據(jù)收集：收集與藥物圖像對(duì)應(yīng)的藥物名稱、化學(xué)成分、功能主治和使用說(shuō)明文本數(shù)據(jù)；

15、步驟s1-4：數(shù)據(jù)配對(duì)：將收集到的藥物圖像數(shù)據(jù)與其對(duì)應(yīng)的文本數(shù)據(jù)進(jìn)行配對(duì)，形成一一對(duì)應(yīng)的關(guān)系；

16、步驟s1-5：多樣性增強(qiáng)：通過(guò)數(shù)據(jù)增強(qiáng)增加藥物圖像數(shù)據(jù)的多樣性。

17、進(jìn)一步的，所述步驟s2中清洗所述藥物圖像數(shù)據(jù)，去除噪聲并對(duì)其進(jìn)行分類標(biāo)注，同時(shí)利用自然語(yǔ)言處理方法提取并標(biāo)注所述文本數(shù)據(jù)的關(guān)鍵信息包括：

18、步驟s2-1：對(duì)所述藥物圖像數(shù)據(jù)進(jìn)行去噪處理，去除圖像中的隨機(jī)噪聲；

19、步驟s2-2：對(duì)所述藥物圖像數(shù)據(jù)進(jìn)行裁剪、縮放、歸一化預(yù)處理操作；

20、步驟s2-3：對(duì)預(yù)處理后的藥物圖像數(shù)據(jù)進(jìn)行分類標(biāo)注，標(biāo)記其所屬的藥物類別；

21、步驟s2-4：對(duì)所述文本數(shù)據(jù)進(jìn)行清洗，去除無(wú)關(guān)字符、標(biāo)點(diǎn)符號(hào)和停用詞；

22、步驟s2-5：詞干化和詞形還原步驟：對(duì)清洗后的文本數(shù)據(jù)進(jìn)行詞干化和詞形還原處理；

23、步驟s2-6：利用自然語(yǔ)言處理方法提取所述文本數(shù)據(jù)中的關(guān)鍵信息；

24、步驟s2-7：對(duì)提取的關(guān)鍵信息進(jìn)行標(biāo)注，生成對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)。

25、進(jìn)一步的，所述步驟s2-5中文本數(shù)據(jù)中的關(guān)鍵信息包括藥物名稱、藥物化學(xué)成分、藥物功能、藥物使用說(shuō)明、藥物不良反應(yīng)、藥物儲(chǔ)存條件、藥物生產(chǎn)信息與藥物有效期。

26、進(jìn)一步的，所述步驟s3中通過(guò)卷積神經(jīng)網(wǎng)絡(luò)或transformer視覺(jué)模型提取所述藥物圖像的視覺(jué)特征包括：

27、步驟s3-1:加載預(yù)處理后的藥物圖像數(shù)據(jù)；

28、步驟s3-2:初始化卷積神經(jīng)網(wǎng)絡(luò)或transformer視覺(jué)模型；

29、步驟s3-3:通過(guò)卷積神經(jīng)網(wǎng)絡(luò)或transformer視覺(jué)模型提取藥物圖像的高級(jí)特征；

30、步驟s3-4:對(duì)提取的特征進(jìn)行處理，生成標(biāo)準(zhǔn)化的特征向量；

31、步驟s3-5：存儲(chǔ)提取的特征向量，供后續(xù)使用。

32、進(jìn)一步的，所述步驟s4中利用預(yù)訓(xùn)練的語(yǔ)言模型提取所述文本數(shù)據(jù)的語(yǔ)義特征包括：

33、步驟s4-1：加載經(jīng)過(guò)預(yù)處理的藥物文本數(shù)據(jù)；

34、步驟s4-2：初始化預(yù)訓(xùn)練的語(yǔ)言模型；

35、步驟s4-3：用預(yù)訓(xùn)練語(yǔ)言模型對(duì)文本數(shù)據(jù)進(jìn)行編碼，提取語(yǔ)義特征；

36、步驟s4-4：對(duì)提取的語(yǔ)義特征進(jìn)行處理，生成標(biāo)準(zhǔn)化的特征向量；

37、步驟s4-5：存儲(chǔ)提取的語(yǔ)義特征向量，供后續(xù)使用。

38、進(jìn)一步的，所述步驟s5中從藥物的化學(xué)成分?jǐn)?shù)據(jù)中提取化學(xué)特征，包括藥物分子結(jié)構(gòu)和藥理性質(zhì)包括：

39、步驟s5-1：加載藥物的化學(xué)成分?jǐn)?shù)據(jù)；

40、步驟s5-2：從化學(xué)成分?jǐn)?shù)據(jù)中提取藥物的分子結(jié)構(gòu)信息；

41、步驟s5-3：從化學(xué)成分?jǐn)?shù)據(jù)中提取藥物的藥理性質(zhì)信息；

42、步驟s5-4：對(duì)提取的分子結(jié)構(gòu)和藥理性質(zhì)信息進(jìn)行編碼，生成特征向量；

43、步驟s5-5：存儲(chǔ)編碼后的特征向量，供后續(xù)使用。

44、進(jìn)一步的，所述步驟s6中采用注意力機(jī)制動(dòng)態(tài)調(diào)整不同模態(tài)特征的重要性，并通過(guò)多層異構(gòu)圖模型整合藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征包括：

45、步驟s6-1：加載提取的藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征；

46、步驟s6-2：初始化注意力機(jī)制模塊和多層異構(gòu)圖模型；

47、步驟s6-3：利用注意力機(jī)制動(dòng)態(tài)調(diào)整不同模態(tài)特征的重要性；

48、步驟s6-4：構(gòu)建包含不同模態(tài)節(jié)點(diǎn)的異構(gòu)圖；

49、步驟s6-5：在異構(gòu)圖上傳播特征信息；

50、步驟s6-6：整合不同模態(tài)的特征信息，生成最終的多模態(tài)特征表示；

51、步驟s6-7：存儲(chǔ)整合后的多模態(tài)特征向量，供后續(xù)使用。

52、進(jìn)一步的，所述步驟s7中通過(guò)對(duì)比學(xué)習(xí)方法縮小所述藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征之間的差異，得到藥物多模態(tài)特征表示數(shù)據(jù)包括：

53、步驟s7-1：加載整合后的藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征；

54、步驟s7-2：初始化對(duì)比學(xué)習(xí)框架；

55、步驟s7-3：將不同模態(tài)的特征嵌入到同一潛在空間；

56、步驟s7-4：選擇不同模態(tài)的正樣本；

57、步驟s7-5：選擇不同模態(tài)的負(fù)樣本；

58、步驟s7-6：計(jì)算正樣本與負(fù)樣本對(duì)比損失，縮小特征差異；

59、步驟s7-7：根據(jù)對(duì)比損失更新特征表示；

60、步驟s7-8：存儲(chǔ)更新后的多模態(tài)特征表示數(shù)據(jù)。

61、本發(fā)明的優(yōu)點(diǎn)在于：

62、1.多模態(tài)特征融合提高了藥物識(shí)別的準(zhǔn)確性：

63、本發(fā)明通過(guò)集成藥物圖像的視覺(jué)特征、藥物文本數(shù)據(jù)的語(yǔ)義特征及藥物化學(xué)特征，本發(fā)明能夠全面地表征藥物信息。這種多模態(tài)特征的融合不僅增強(qiáng)了藥物識(shí)別的魯棒性，還顯著提升了識(shí)別的準(zhǔn)確性，特別是在面對(duì)復(fù)雜或相似藥物的情況下。

64、2.增強(qiáng)了藥物信息的一致性和可解釋性：

65、本發(fā)明利用預(yù)訓(xùn)練的語(yǔ)言模型和對(duì)比學(xué)習(xí)方法，不僅提高了不同模態(tài)特征之間的一致性，還通過(guò)對(duì)比學(xué)習(xí)縮小了特征差異，增強(qiáng)了跨模態(tài)特征的一致性。此外，通過(guò)注意力機(jī)制動(dòng)態(tài)調(diào)整不同模態(tài)特征的重要性，使得最終的多模態(tài)特征表示更加符合實(shí)際藥物信息的需求，從而提高了系統(tǒng)的可解釋性。

66、3.提供了全面的藥物信息管理和識(shí)別解決方案：

67、本發(fā)明涵蓋了從數(shù)據(jù)收集、預(yù)處理、特征提取到特征整合和多任務(wù)學(xué)習(xí)的全過(guò)程，為藥物圖像識(shí)別和文本理解提供了完整的解決方案。這種方法不僅能夠應(yīng)對(duì)單一模態(tài)數(shù)據(jù)的局限性，還能有效地處理多種模態(tài)數(shù)據(jù)之間的關(guān)聯(lián)性，為藥物管理提供了一個(gè)高效、智能的平臺(tái)。