本技術(shù)屬于數(shù)據(jù)處理，尤其涉及一種眼疾預(yù)測方法、裝置、電子設(shè)備及可讀存儲介質(zhì)。

背景技術(shù)：

1、目前，由于人力短缺導(dǎo)致眼保健服務(wù)質(zhì)量參差不齊，以及人口老齡化與生活方式的改變(待在戶外的時間減少，以及久坐的生活方式和不健康的飲食習(xí)慣日益嚴(yán)重)，導(dǎo)致患有眼病和視力損傷的人數(shù)增多。

2、醫(yī)生通過眼底圖檢查或光學(xué)相干斷層掃描(oct)檢查對眼疾進(jìn)行診斷。但該診斷方式可能會誤判患者的情況，而漏掉患有眼疾的患者。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種眼疾預(yù)測方法、裝置、電子設(shè)備、可讀存儲介質(zhì)及計算機(jī)程序產(chǎn)品，可以解決診斷眼疾準(zhǔn)確率低的問題。

2、第一方面，本技術(shù)實(shí)施例提供了一種眼疾預(yù)測方法，包括：

3、獲取用戶眼部的眼底圖像和眼前節(jié)光學(xué)相干斷層成像圖像；

4、將所述眼底圖像和所述眼前節(jié)光學(xué)相干斷層成像圖像輸入已訓(xùn)練的眼疾預(yù)測模型，獲得所述已訓(xùn)練的眼疾預(yù)測模型輸出的眼疾預(yù)測結(jié)果；

5、其中，所述已訓(xùn)練的眼疾預(yù)測模型用于從所述眼底圖像提取第一眼部特征和從所述眼前節(jié)光學(xué)相干斷層成像圖像提取第二眼部特征后，將所述第一眼部特征和所述第二眼部特征進(jìn)行融合獲得眼部融合特征，以及根據(jù)所述眼部融合特征輸出所述眼疾預(yù)測結(jié)果。

6、在一個實(shí)施例中，所述已訓(xùn)練的眼疾預(yù)測模型包括已訓(xùn)練的第一提取網(wǎng)路、已訓(xùn)練的第二提取網(wǎng)絡(luò)和已訓(xùn)練的預(yù)測網(wǎng)絡(luò)；

7、將所述眼底圖像和所述眼前節(jié)光學(xué)相干斷層成像圖像輸入已訓(xùn)練的眼疾預(yù)測模型，獲得所述已訓(xùn)練的眼疾預(yù)測模型輸出的眼疾預(yù)測結(jié)果，包括：

8、將所述眼底圖像輸入所述已訓(xùn)練的第一提取網(wǎng)絡(luò)，獲得所述已訓(xùn)練的第一提取網(wǎng)絡(luò)輸出的所述第一眼部特征；

9、將所述眼前節(jié)光學(xué)相干斷層成像圖像輸入所述已訓(xùn)練的第二提取網(wǎng)絡(luò)，獲得所述已訓(xùn)練的第二提取網(wǎng)絡(luò)輸出的所述第二眼部特征；

10、將所述第一眼部特征和所述第二眼部特征輸入所述已訓(xùn)練的預(yù)測網(wǎng)絡(luò)，獲得所述已訓(xùn)練的預(yù)測網(wǎng)絡(luò)輸出的所述預(yù)測結(jié)果，所述已訓(xùn)練的預(yù)測網(wǎng)絡(luò)用于將所述第一眼部特征轉(zhuǎn)換為第一眼部特征向量和將所述第二眼部特征轉(zhuǎn)換為第二眼部特征向量后，對所述第一眼部特征向量和所述第二眼部特征向量進(jìn)行融合獲得眼部融合特征向量，以及根據(jù)所述眼部融合特征輸出所述眼疾預(yù)測結(jié)果。

11、在一個實(shí)施例中，所述已訓(xùn)練的預(yù)測網(wǎng)絡(luò)包括已訓(xùn)練的多頭注意力機(jī)制網(wǎng)絡(luò)；

12、所述已訓(xùn)練的多頭注意力機(jī)制網(wǎng)絡(luò)用于：對所述第一眼部特征向量進(jìn)行映射，獲得第一映射向量；對所述第二眼部特征向量進(jìn)行映射，獲得第二映射向量和第三映射向量；以及基于注意力頭的數(shù)量，將所述第一映射向量、所述第二映射向量和所述第三映射向量進(jìn)行融合，獲得所述眼部融合特征向量。

13、在一個實(shí)施例中，所述將所述眼底圖像和所述眼前節(jié)光學(xué)相干斷層成像圖像輸入至已訓(xùn)練的眼疾預(yù)測模型之前，還包括：

14、獲取圖像訓(xùn)練樣本，所述圖像訓(xùn)練樣本包括多組眼底圖樣本、眼前節(jié)光學(xué)相干斷層成像圖樣本、第一標(biāo)簽，所述第一標(biāo)簽用于表征樣本的眼疾情況；

15、將所述眼底圖樣本輸入至第一提取網(wǎng)絡(luò)，通過所述第一提取網(wǎng)絡(luò)提取第一樣本特征，以及將所述第一樣本特征輸入至預(yù)測網(wǎng)絡(luò)；

16、將所述眼前節(jié)光學(xué)相干斷層成像圖樣本輸入至第二提取網(wǎng)絡(luò)，通過所述第二提取網(wǎng)絡(luò)提取第二樣本特征，以及將所述第二樣本特征輸入至所述預(yù)測網(wǎng)絡(luò)；

17、通過所述預(yù)測網(wǎng)絡(luò)將所述第一樣本特征轉(zhuǎn)換為第一樣本特征向量和所述第二樣本特征轉(zhuǎn)換為第二樣本特征向量后，將所述第一樣本特征向量和所述第二樣本特征向量進(jìn)行融合獲得樣本融合特征向量，以及根據(jù)所述樣本融合特征向量預(yù)測并輸出樣本結(jié)果，獲得所述樣本結(jié)果；

18、根據(jù)所述樣本結(jié)果和所述第一標(biāo)簽，確定所述眼疾預(yù)測模型的第一損失函數(shù)的損失值；

19、若所述第一損失函數(shù)的損失值大于第一預(yù)設(shè)損失值，則調(diào)整所述眼疾預(yù)測模型的參數(shù)后，繼續(xù)訓(xùn)練所述眼疾預(yù)測模型，直至所述第一損失函數(shù)的損失值小于所述第一預(yù)設(shè)損失值；

20、若所述第一損失函數(shù)的損失值小于所述第一預(yù)設(shè)損失值，則獲得所述已訓(xùn)練的眼疾預(yù)測模型；

21、其中，所述眼疾預(yù)測模型包括所述第一提取網(wǎng)絡(luò)、所述第二提取網(wǎng)絡(luò)和所述預(yù)測網(wǎng)絡(luò)。

22、在一個實(shí)施例中，所述圖像訓(xùn)練樣本還包括所述眼底圖樣本的第二標(biāo)簽，所述第二標(biāo)簽用于表征視杯視盤的真實(shí)分割結(jié)果；

23、通過所述預(yù)測網(wǎng)絡(luò)將所述第一樣本特征轉(zhuǎn)換為第一樣本特征向量之后，還包括：

24、根據(jù)所述第一樣本特征向量對所述眼底圖樣本進(jìn)行分割，獲得所述眼底圖樣本的分割預(yù)測結(jié)果；

25、根據(jù)所述分割預(yù)測結(jié)果和所述第二標(biāo)簽，確定所述眼疾預(yù)測模型的第二預(yù)設(shè)損失函數(shù)的損失值；

26、若總損失函數(shù)的損失值大于第二預(yù)設(shè)損失值，則調(diào)整所述眼疾預(yù)測模型的參數(shù)后，繼續(xù)訓(xùn)練所述眼疾預(yù)測模型，直至所述總損失函數(shù)的損失值小于所述第二預(yù)設(shè)損失值；

27、若所述總損失函數(shù)的損失值小于所述第二預(yù)設(shè)損失值，則獲得所述已訓(xùn)練的眼疾預(yù)測模型；

28、其中，所述總損失函數(shù)包括所述第一預(yù)設(shè)損失函數(shù)和所述第二預(yù)設(shè)損失函數(shù)。

29、在一個實(shí)施例中，所述第一眼部特征為所述眼底圖像中視杯視盤區(qū)域的外觀特征，所述第二眼部特征為所述眼前節(jié)光學(xué)相干斷層成像圖像中前房角區(qū)域的外觀特征。

30、第二方面，本技術(shù)實(shí)施例提供了一種眼疾預(yù)測裝置，包括：

31、獲取模塊，用于獲取用戶眼部的眼底圖像和眼前節(jié)光學(xué)相干斷層成像圖像；

32、預(yù)測模塊，用于將所述眼底圖像和所述眼前節(jié)光學(xué)相干斷層成像圖像輸入已訓(xùn)練的眼疾預(yù)測模型，獲得所述已訓(xùn)練的眼疾預(yù)測模型輸出的眼疾預(yù)測結(jié)果；

33、其中，所述已訓(xùn)練的眼疾預(yù)測模型用于從所述眼底圖像提取第一眼部特征和從所述眼前節(jié)光學(xué)相干斷層成像圖像提取第二眼部特征后，將所述第一眼部特征和所述第二眼部特征進(jìn)行融合獲得眼部融合特征，以及根據(jù)所述眼部融合特征輸出所述眼疾預(yù)測結(jié)果。

34、在一個實(shí)施例中，所述裝置還包括訓(xùn)練模塊；

35、獲取模塊，還用于獲取圖像訓(xùn)練樣本，所述圖像訓(xùn)練樣本包括多組眼底圖樣本、眼前節(jié)光學(xué)相干斷層成像圖樣本、第一標(biāo)簽，所述第一標(biāo)簽用于表征樣本的眼疾情況；

36、訓(xùn)練模塊，用于將所述眼底圖樣本輸入至第一提取網(wǎng)絡(luò)，通過所述第一提取網(wǎng)絡(luò)提取第一樣本特征，以及將所述第一樣本特征輸入至預(yù)測網(wǎng)絡(luò)；

37、還用于將所述眼前節(jié)光學(xué)相干斷層成像圖樣本輸入至第二提取網(wǎng)絡(luò)，通過所述第二提取網(wǎng)絡(luò)提取第二樣本特征，以及將所述第二樣本特征輸入至所述預(yù)測網(wǎng)絡(luò)；

38、還用于通過所述預(yù)測網(wǎng)絡(luò)將所述第一樣本特征轉(zhuǎn)換為第一樣本特征向量和所述第二樣本特征轉(zhuǎn)換為第二樣本特征向量后，將所述第一樣本特征向量和所述第二樣本特征向量進(jìn)行融合獲得樣本融合特征向量，以及根據(jù)所述樣本融合特征向量預(yù)測并輸出樣本結(jié)果，獲得所述樣本結(jié)果；

39、還用于根據(jù)所述樣本結(jié)果和所述第一標(biāo)簽，確定所述眼疾預(yù)測模型的第一損失函數(shù)的損失值；

40、還用于若所述第一損失函數(shù)的損失值大于第一預(yù)設(shè)損失值，則調(diào)整所述眼疾預(yù)測模型的參數(shù)后，繼續(xù)訓(xùn)練所述眼疾預(yù)測模型，直至所述第一損失函數(shù)的損失值小于所述第一預(yù)設(shè)損失值；

41、還用于若所述第一損失函數(shù)的損失值小于所述第一預(yù)設(shè)損失值，則獲得所述已訓(xùn)練的眼疾預(yù)測模型；

42、其中，所述眼疾預(yù)測模型包括所述第一提取網(wǎng)絡(luò)、所述第二提取網(wǎng)絡(luò)和所述預(yù)測網(wǎng)絡(luò)。

43、第三方面，本技術(shù)實(shí)施例提供了一種電子設(shè)備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)如上述第一方面中任一項所述的方法。

44、第四方面，本技術(shù)實(shí)施例提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上述第一方面中任一項所述的方法。

45、第五方面，本技術(shù)實(shí)施例提供了一種計算機(jī)程序產(chǎn)品，當(dāng)計算機(jī)程序產(chǎn)品在電子設(shè)備上運(yùn)行時，使得電子設(shè)備執(zhí)行上述第一方面中任一項所述的方法。

46、本技術(shù)實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是：

47、本技術(shù)實(shí)施例通過獲取用戶眼部的眼底圖像和眼前節(jié)光學(xué)相干斷層成像圖像；將眼底圖像和眼前節(jié)光學(xué)相干斷層成像圖像輸入已訓(xùn)練的眼疾預(yù)測模型，獲得已訓(xùn)練的眼疾預(yù)測模型輸出的眼疾預(yù)測結(jié)果；其中，已訓(xùn)練的眼疾預(yù)測模型用于從眼底圖像提取第一眼部特征和從眼前節(jié)光學(xué)相干斷層成像圖像提取第二眼部特征后，將第一眼部特征和第二眼部特征進(jìn)行融合獲得眼部融合特征，以及根據(jù)眼部融合特征輸出眼疾預(yù)測結(jié)果，實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)獲取多模態(tài)數(shù)據(jù)的互補(bǔ)信息，并依據(jù)多模態(tài)數(shù)據(jù)的互補(bǔ)信息預(yù)測眼疾，提高判斷眼疾風(fēng)險的準(zhǔn)確率。

48、可以理解的是，上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關(guān)描述，在此不再贅述。