本發(fā)明涉及組織病理圖像處理領(lǐng)域，特別是涉及一種基于深度學(xué)習(xí)的高分辨率乳腺癌her2評(píng)分方法。

背景技術(shù)：

1、針對(duì)人類(lèi)表皮生長(zhǎng)因子受體2(her2)陽(yáng)性乳腺癌患者，已有靶向療法可用。此外，一些新的her2陽(yáng)性乳腺癌藥物，如曲妥珠單抗-德拉斯特金(ds-8201)和曲妥珠單抗-杜卡馬嗪(syd985)，不僅在經(jīng)典her2陽(yáng)性乳腺癌中具有令人滿意的治療效果，而且可能在her2低表達(dá)乳腺癌(her2低表達(dá)指的是her2?ihc?2+和ish陰性或ihc?1+)中也具有臨床活性。然而，ihc?0和ihc?1+由于其不明顯的特征而難以精確區(qū)分。是否使用這種昂貴的藥物與患者的康復(fù)和經(jīng)濟(jì)負(fù)擔(dān)有關(guān)。因此，準(zhǔn)確區(qū)分ihc?0和ihc?1+之間的her2狀態(tài)以確定是否可以使用這些藥物尤為重要。同時(shí)，her2?2+的結(jié)果被認(rèn)為是模棱兩可的，需要進(jìn)一步進(jìn)行熒光原位雜交(fish)測(cè)試，僅通過(guò)her2指標(biāo)進(jìn)行判斷是有意義的。

2、當(dāng)前的評(píng)分在很大程度上依賴(lài)于病理學(xué)家的經(jīng)驗(yàn)，這是主觀的且不可復(fù)制的。由幾位醫(yī)生或甚至同一位醫(yī)生在不同時(shí)間進(jìn)行的診斷結(jié)果不一致。相比之下，人工智能(ai)可以為癌細(xì)胞中her2表達(dá)提供更客觀和精確的評(píng)估，以指導(dǎo)臨床治療。其次，考慮到當(dāng)前的評(píng)估，her2染色的四個(gè)不同等級(jí)(ihc?0,ihc?1+,ihc?2+,和ihc?3+)可以被細(xì)分。在這種情況下，可以建立一個(gè)新的her2染色分級(jí)系統(tǒng)，這可能為臨床乳腺癌靶向治療和患者的預(yù)后提供更準(zhǔn)確的評(píng)估。

3、her2評(píng)分是在全玻片圖像(wsis)的侵襲性腫瘤區(qū)域中進(jìn)行的。具體來(lái)說(shuō)，her2評(píng)分不包括原位癌。原位癌的癌細(xì)胞被限制在乳腺導(dǎo)管中，因此通常被認(rèn)為是非侵襲性的，并且預(yù)后較好。另一方面，侵襲性癌的癌細(xì)胞已經(jīng)穿過(guò)基底膜，并且預(yù)后較差。由于原位癌和侵襲性癌在her2表達(dá)水平上存在根本差異，只有侵襲性癌被考慮用于her2評(píng)分，以確保治療決策基于侵襲性癌的準(zhǔn)確分子特征。自2016年沃里克大學(xué)發(fā)布her2分級(jí)競(jìng)賽以來(lái)，計(jì)算機(jī)識(shí)別算法在her2狀態(tài)方面已被廣泛研究。然而，現(xiàn)有的方法忽略了侵襲性腫瘤區(qū)域的識(shí)別，而是直接在wsi的某些區(qū)域上進(jìn)行。如在her2狀態(tài)評(píng)估工作中，他們直接在上皮組織中計(jì)算her2評(píng)分，而這些組織中既有癌組織也有正常上皮組織。病理學(xué)家專(zhuān)注于癌組織的侵襲部分，因?yàn)槿橄侔┲械膆er2狀態(tài)是由侵襲性腫瘤決定的。因此，這種方法不適用于臨床使用。盡管qaiser可以通過(guò)自動(dòng)選擇的一系列圖塊預(yù)測(cè)her2評(píng)分，并在算法上取得了突破，但網(wǎng)絡(luò)可能會(huì)忽略關(guān)鍵塊。這可能對(duì)病理診斷產(chǎn)生致命影響?；谖掷锟舜髮W(xué)競(jìng)賽的her2數(shù)據(jù)集和其他研究的算法要么沒(méi)有考慮到侵襲性腫瘤區(qū)域，要么無(wú)法識(shí)別侵襲性腫瘤區(qū)域(有些只考慮了癌區(qū)域，而不是侵襲性癌區(qū)域)。因此，這些算法在臨床環(huán)境中不實(shí)用，也不具備說(shuō)服力，不能在臨床環(huán)境中使用。

4、需要說(shuō)明的是，在上述背景技術(shù)部分公開(kāi)的信息僅用于對(duì)本技術(shù)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于解決上述背景技術(shù)中存在的問(wèn)題，提供一種基于深度學(xué)習(xí)的高分辨率乳腺癌her2評(píng)分方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

3、一種基于深度學(xué)習(xí)的高分辨率乳腺癌her2評(píng)分方法，包括：

4、構(gòu)建包含蘇木精-伊紅染色和her2染色的全玻片圖像wsi數(shù)據(jù)集；

5、對(duì)數(shù)據(jù)集中的全玻片圖像進(jìn)行病理專(zhuān)家標(biāo)注，區(qū)分正常組織、原位腫瘤和侵襲性腫瘤區(qū)域；

6、對(duì)全玻片圖像進(jìn)行剪裁，提取不同尺寸和放大倍數(shù)的圖塊，并對(duì)圖塊進(jìn)行分類(lèi)和標(biāo)注；

7、對(duì)剪裁得到的圖塊進(jìn)行預(yù)處理，提取組織區(qū)域并進(jìn)行灰度轉(zhuǎn)換、二值化以及形態(tài)學(xué)操作；

8、構(gòu)建深度學(xué)習(xí)模型，該深度學(xué)習(xí)模型結(jié)合視覺(jué)變換器和傅里葉變換，實(shí)現(xiàn)特征提取和圖像頻率域分析，其中，通過(guò)視覺(jué)變換器捕捉局部特征和上下文關(guān)系，通過(guò)傅里葉變換識(shí)別頻率域特征，從而識(shí)別侵襲性腫瘤和評(píng)估乳腺癌組織中her2蛋白的表達(dá)水平；

9、使用圖塊數(shù)據(jù)集訓(xùn)練所述深度學(xué)習(xí)模型；

10、將訓(xùn)練好的深度學(xué)習(xí)模型集成到自動(dòng)化評(píng)分軟件系統(tǒng)中，通過(guò)深度學(xué)習(xí)模型識(shí)別和評(píng)估乳腺癌組織中her2蛋白的表達(dá)水平并根據(jù)her2蛋白的表達(dá)水平進(jìn)行評(píng)分，自動(dòng)輸出評(píng)分結(jié)果。

11、進(jìn)一步地，對(duì)數(shù)據(jù)集中的全玻片圖像進(jìn)行病理專(zhuān)家標(biāo)注具體包括：使用與her2配對(duì)的h&e染色wsi來(lái)指導(dǎo)腫瘤區(qū)域及其her2陽(yáng)性區(qū)域的注釋?zhuān)瑥亩行У乇碚髂[瘤區(qū)域的結(jié)構(gòu)，提高注釋的準(zhǔn)確性和速度。

12、進(jìn)一步地，所述對(duì)全玻片圖像進(jìn)行剪裁具體包括：在20×的放大倍數(shù)下裁剪2048×1024像素大小的圖塊用于腫瘤識(shí)別；在40×的放大倍數(shù)下裁剪100×100像素大小的圖塊用于her2分類(lèi)。

13、進(jìn)一步地，針對(duì)腫瘤識(shí)別，所述對(duì)圖塊進(jìn)行分類(lèi)和標(biāo)注具體包括：

14、對(duì)于純區(qū)域的圖塊，使用相應(yīng)的注釋直接進(jìn)行標(biāo)記；

15、對(duì)于帶有混合區(qū)域的圖塊，根據(jù)以下標(biāo)準(zhǔn)進(jìn)行分類(lèi)和標(biāo)注：如果圖塊中正常組織區(qū)域占比超過(guò)50％且不包含原位癌區(qū)域，則將該圖塊標(biāo)注為正常組織；如果圖塊中原位腫瘤區(qū)域占比超過(guò)1/3，并且該原位腫瘤在圖塊中占癌原位區(qū)域的2/3，則將該圖塊標(biāo)注為原位腫瘤；如果圖塊中侵襲性腫瘤區(qū)域占比超過(guò)50％且不包含原位癌區(qū)域，則將該圖塊標(biāo)注為侵襲性腫瘤。

16、進(jìn)一步地，針對(duì)her2分類(lèi)，所述對(duì)圖塊進(jìn)行分類(lèi)和標(biāo)注具體包括：

17、將圖塊根據(jù)her2染色強(qiáng)度分為五個(gè)類(lèi)別：無(wú)染色、弱染色、中等染色、強(qiáng)染色和背景；使用在imagenet-1k數(shù)據(jù)集上預(yù)訓(xùn)練的resnet50模型作為初始模型，以加速后續(xù)的自動(dòng)注釋過(guò)程；初始階段，由病理學(xué)家對(duì)圖塊進(jìn)行標(biāo)注和審查；使用得到的標(biāo)注數(shù)據(jù)訓(xùn)練resnet50模型，以識(shí)別不同類(lèi)別的her2染色圖塊；應(yīng)用訓(xùn)練完成的resnet50模型于未標(biāo)記的圖塊，自動(dòng)預(yù)測(cè)其類(lèi)別；對(duì)于模型預(yù)測(cè)某類(lèi)別概率大于或等于概率閾值的圖塊，自動(dòng)將其歸類(lèi)為該類(lèi)別，并作為新生成的數(shù)據(jù)集；由病理學(xué)家對(duì)自動(dòng)歸類(lèi)的圖塊標(biāo)簽進(jìn)行檢查。

18、進(jìn)一步地，所述對(duì)剪裁得到的圖塊進(jìn)行預(yù)處理以提取組織區(qū)域具體包括：將全玻片圖像wsi轉(zhuǎn)換為灰度圖像，以減少顏色通道的復(fù)雜性并集中于形態(tài)學(xué)特征；計(jì)算灰度圖像中所有像素的中值，并使用該中值作為閾值，將灰度圖像轉(zhuǎn)換為二值化圖像，以區(qū)分組織和背景；在二值化圖像上執(zhí)行形態(tài)學(xué)閉運(yùn)算，使用1×1像素的核，以填充小的空洞和連接鄰近的對(duì)象；在閉運(yùn)算后的圖像上執(zhí)行形態(tài)學(xué)開(kāi)運(yùn)算，使用15×15像素的核，以去除小的噪點(diǎn)和分離接觸的對(duì)象；將開(kāi)運(yùn)算后的二值化圖像中的像素值標(biāo)準(zhǔn)化到[0,1]的范圍內(nèi)。

19、進(jìn)一步地，所述深度學(xué)習(xí)模型中，利用所述視覺(jué)變換器的標(biāo)記化能力處理圖像圖塊，捕捉每個(gè)圖塊的局部特征以及圖像整體的上下文關(guān)系，使模型能夠識(shí)別不同組織區(qū)域中her2表達(dá)的復(fù)雜模式；結(jié)合傅里葉變換至所述深度學(xué)習(xí)架構(gòu)中，以增強(qiáng)模型對(duì)圖像頻率域特征的解釋能力，特別是針對(duì)病理幻燈片中常見(jiàn)的可變?nèi)旧珡?qiáng)度和紋理模式；通過(guò)傅里葉變換將染色和紋理模式分解為基本頻率成分，為所述視覺(jué)變換器提供簡(jiǎn)化的特征表示，從而提高模型對(duì)病理圖像的學(xué)習(xí)和泛化能力。

20、進(jìn)一步地，所述深度學(xué)習(xí)模型的骨干網(wǎng)絡(luò)選自resnet18、resnet50、resnet101和resnet152，優(yōu)選resnet50。

21、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序由處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的基于深度學(xué)習(xí)的高分辨率乳腺癌her2評(píng)分方法。

22、一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品由處理器執(zhí)行時(shí)實(shí)現(xiàn)所述的基于深度學(xué)習(xí)的高分辨率乳腺癌her2評(píng)分方法。

23、本發(fā)明具有如下有益效果：

24、本發(fā)明提供了一種基于深度學(xué)習(xí)的高分辨率乳腺癌her2評(píng)分方法，建立了一個(gè)用于her2高分辨率下的評(píng)分系統(tǒng)，引入了一個(gè)多尺度模型，在her2評(píng)分之前識(shí)別wsi的侵襲性腫瘤區(qū)域，模擬了臨床診斷程序，實(shí)現(xiàn)了從wsis到her2高分辨率評(píng)分的自動(dòng)過(guò)程。

25、相比傳統(tǒng)技術(shù)，本發(fā)明具有下述優(yōu)點(diǎn)：

26、1.本發(fā)明所提出的基于深度學(xué)習(xí)的高分辨率下的乳腺癌her2評(píng)分系統(tǒng)在算法上進(jìn)行了創(chuàng)新，在侵襲性腫瘤識(shí)別和her2圖塊分類(lèi)上具有較強(qiáng)的競(jìng)爭(zhēng)力。

27、2.本發(fā)明整合到臨床工作流程中可以顯著簡(jiǎn)化her2評(píng)分，減少醫(yī)生的工作量并提高輔助診斷精度。這種自動(dòng)化可以釋放病理學(xué)家專(zhuān)注于更具細(xì)微差別的診斷病理學(xué)方面，可能幫助醫(yī)生達(dá)到更好的患者管理效果。

28、本發(fā)明實(shí)施例中的其他有益效果將在下文中進(jìn)一步述及。