本發(fā)明屬于病理圖像處理的,具體涉及一種基于自適應(yīng)聚類的病理圖像內(nèi)組織分類方法及設(shè)備。
背景技術(shù):
1、在醫(yī)學(xué)領(lǐng)域,病理圖像分析是疾病診斷和研究的基石。
2、傳統(tǒng)的病理圖像的分類方法通常采用手工標(biāo)注的方式,一張(wsi)全數(shù)字病理圖像的全部切片圖像塊,數(shù)量級(jí)在幾萬(wàn)至十幾萬(wàn)不等,既耗時(shí)又費(fèi)力。
3、隨著人工智能和深度學(xué)習(xí)技術(shù)的發(fā)展,智能病理圖像分類已經(jīng)逐步取代人工注釋,成為了醫(yī)學(xué)診斷和研究的重要手段?,F(xiàn)有的一系列基于深度學(xué)習(xí)的病理圖像分類方法,試圖通過(guò)優(yōu)化模型結(jié)構(gòu)或調(diào)整訓(xùn)練策略來(lái)提高分類精度。這些方法盡管在一定程度上提升了模型的泛化性能,但是對(duì)部署和運(yùn)行模型的硬件設(shè)備提出了更高的要求,大大提升了計(jì)算復(fù)雜度和運(yùn)算量,效率低下,更難以滿足大規(guī)模病理圖像分類的實(shí)際需求。
4、不同的病理圖像具有不同染色風(fēng)格、不同采集部位、不同圖像大小等情況,導(dǎo)致深度學(xué)習(xí)的方法存在泛化性差的問(wèn)題,無(wú)法對(duì)病理圖像塊進(jìn)行正確分類。
5、由于不同病理圖像的圖像質(zhì)量、亮度、對(duì)比度和色彩等參數(shù)存在差異,這使得直接采用深度學(xué)習(xí)模型對(duì)圖像進(jìn)行分類可能會(huì)導(dǎo)致分類結(jié)果不準(zhǔn)確。因此,目前的主流做法是在處理病理圖像數(shù)據(jù)前需要進(jìn)行顏色標(biāo)準(zhǔn)化和數(shù)據(jù)歸一化等處理,以提高病理圖像分類的準(zhǔn)確性和穩(wěn)定性。然而,這些處理需要耗費(fèi)大量計(jì)算資源和時(shí)間成本,尤其是對(duì)于大規(guī)模病理圖像數(shù)據(jù),處理時(shí)間和成本會(huì)急劇增加。圖像預(yù)處理步驟的困境在于務(wù)必對(duì)病理圖像產(chǎn)生的上萬(wàn)個(gè)圖像塊做無(wú)差別統(tǒng)一處理,以避免不同分布的數(shù)據(jù)及其噪聲對(duì)分類模型的影響。這將帶來(lái)巨大的硬件成本和能耗問(wèn)題,需要運(yùn)用高性能計(jì)算設(shè)備和大規(guī)模存儲(chǔ)系統(tǒng),效率低下的問(wèn)題嚴(yán)重制約了醫(yī)學(xué)診斷和疾病研究的及時(shí)進(jìn)行。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述技術(shù)問(wèn)題,本發(fā)明提出了一種基于自適應(yīng)聚類的病理圖像內(nèi)組織分類方法及設(shè)備,可以有效解決病理圖像分類過(guò)程中的依賴人工標(biāo)注,效率低,泛化性差的問(wèn)題。
2、為了達(dá)到上述目的,本發(fā)明的技術(shù)方案如下:
3、一方面,本發(fā)明公開(kāi)一種基于自適應(yīng)聚類的病理圖像內(nèi)組織分類方法,包括:
4、步驟s1:獲取待分類的病理圖像;
5、步驟s2:根據(jù)預(yù)設(shè)的縮放倍率對(duì)病理圖像處理,獲得縮略圖;
6、步驟s3:對(duì)縮略圖進(jìn)行分割,獲得組織掩碼圖像;
7、步驟s4:對(duì)組織掩碼圖像進(jìn)行劃分,劃分成若干圖像塊,并記錄各圖像塊的坐標(biāo)位置;
8、步驟s5:利用預(yù)訓(xùn)練的特征提取模型提取每個(gè)圖像塊的圖像語(yǔ)義特征;
9、利用統(tǒng)計(jì)學(xué)方法提取每個(gè)圖像塊的統(tǒng)計(jì)學(xué)特征;
10、將圖像語(yǔ)義特征與統(tǒng)計(jì)學(xué)特征進(jìn)行融合;
11、步驟s6:基于融合的特征進(jìn)行聚類,將所有圖像塊劃分為k個(gè)類簇;
12、步驟s7:根據(jù)聚類結(jié)果,預(yù)測(cè)每個(gè)類簇的組織類別;
13、步驟s8:對(duì)預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化修正;
14、步驟s9:根據(jù)圖像塊的坐標(biāo)位置,將不同組織類別的圖像塊以不同顏色拼接,形成新的縮略圖,進(jìn)行可視化展示。
15、在上述技術(shù)方案的基礎(chǔ)上,還可做如下改進(jìn):
16、作為優(yōu)選的方案,步驟s5中,統(tǒng)計(jì)每個(gè)圖像塊的r值或灰度圖的直方圖作為該圖像塊的統(tǒng)計(jì)學(xué)特征。
17、作為優(yōu)選的方案,步驟s6包括:
18、步驟s6.1:將每個(gè)圖像塊的圖像語(yǔ)義特征、統(tǒng)計(jì)學(xué)特征融合,形成新的圖像塊特征;
19、步驟s6.2:隨機(jī)選擇k個(gè)圖像塊特征作為初始的聚類中心;
20、步驟s6.3:通過(guò)式(1)計(jì)算每個(gè)圖像塊特征到每個(gè)聚類中心的距離,并將每個(gè)圖像塊特征分配到最近的聚類中心所在的簇中,得到k個(gè)類簇{s1,s2,…,sk};
21、
22、其中:xi為第i個(gè)圖像塊特征,1≤i≤n;
23、cj為第j個(gè)聚類中心,1≤j≤k;
24、xvi為第i個(gè)圖像塊特征的圖像語(yǔ)義特征;
25、cvj為第j個(gè)聚類中心的圖像特征;
26、xhi為第i個(gè)圖像塊特征的直方圖特征;
27、chj為第j個(gè)聚類中心的直方圖特征;
28、α、β為調(diào)比因子;
29、步驟s6.4:對(duì)于每個(gè)類簇,通過(guò)式(2)重新計(jì)算,選出新的聚類中心;
30、
31、其中,cl為第l個(gè)聚類中心,1≤l≤k;
32、|sl|表示第l個(gè)類簇中圖像塊特征的個(gè)數(shù);
33、xi表示第l個(gè)類簇中第i個(gè)圖像塊特征,1≤i≤|sl|;
34、步驟s6.5:重復(fù)步驟s6.3-步驟s6.4,直到滿足停止條件為止。
35、作為優(yōu)選的方案,步驟s7包括:
36、步驟s7.1:預(yù)先構(gòu)建病理圖像塊數(shù)據(jù)庫(kù),病理圖像塊數(shù)據(jù)庫(kù)中存儲(chǔ)有已知組織類別的若干圖像塊;
37、步驟s7.2:將待匹配的圖像塊與病理圖像塊數(shù)據(jù)庫(kù)中的圖像塊進(jìn)行尺寸匹配;
38、若匹配,則繼續(xù)執(zhí)行步驟s7.3;
39、若不匹配,則將病理圖像塊數(shù)據(jù)庫(kù)中圖像塊的尺寸裁剪成與待匹配的圖像塊的尺寸一致,再繼續(xù)執(zhí)行步驟s7.3;
40、步驟s7.3:將待匹配的任一類簇圖像塊的特征均值與病理圖像塊數(shù)據(jù)庫(kù)中的每個(gè)已知組織類別圖像塊的特征均值進(jìn)行對(duì)比;
41、按照對(duì)比結(jié)果,將特征均值差值最小的組織類別賦予該類簇,作為其標(biāo)簽。作為優(yōu)選的方案,步驟s8包括:
42、步驟s8.1:根據(jù)圖像塊的坐標(biāo)位置以及圖像塊的組織類別,形成類別標(biāo)簽圖;
43、步驟s8.2:按照遍歷方向,遍歷類別標(biāo)簽圖中的每個(gè)圖像塊的組織類別,若坐標(biāo)為(x,y)的圖像塊的組織類別與其連通域內(nèi)其他圖像塊的組織類別不同,則利用類別計(jì)數(shù)矩陣count(x,y,label)記錄,label為其連通域內(nèi)其他圖像塊出現(xiàn)最頻繁的組織類別標(biāo)簽;
44、步驟s8.3:切換其它遍歷方向,重復(fù)執(zhí)行步驟s8.2直至所有遍歷方向均完成遍歷;
45、步驟s8.4:根據(jù)類別計(jì)數(shù)矩陣count(x,y,label),對(duì)每個(gè)圖像塊的組織類別進(jìn)行修正。此外,另一方面,本發(fā)明還公開(kāi)一種基于自適應(yīng)聚類的病理圖像內(nèi)組織分類設(shè)備,包括:
46、病理圖像獲取模塊,用于獲取待分類的病理圖像;
47、縮放模塊,用于根據(jù)預(yù)設(shè)的縮放倍率對(duì)病理圖像處理,獲得縮略圖;
48、分割模塊,用于對(duì)縮略圖進(jìn)行分割,獲得組織掩碼圖像;
49、劃分模塊,用于對(duì)組織掩碼圖像進(jìn)行劃分,劃分成若干圖像塊,并記錄各圖像塊的坐標(biāo)位置;
50、特征提取模塊,用于利用預(yù)訓(xùn)練的特征提取模型提取每個(gè)圖像塊的圖像語(yǔ)義特征;
51、利用統(tǒng)計(jì)學(xué)方法提取每個(gè)圖像塊的統(tǒng)計(jì)學(xué)特征;
52、將圖像語(yǔ)義特征與統(tǒng)計(jì)學(xué)特征進(jìn)行融合;
53、聚類模塊,用于融合的特征進(jìn)行聚類,將所有圖像塊劃分為k個(gè)類簇;
54、組織類別預(yù)測(cè)模塊,用于根據(jù)聚類結(jié)果,預(yù)測(cè)每個(gè)類簇的組織類別;
55、優(yōu)化模塊,用于對(duì)預(yù)測(cè)結(jié)果進(jìn)行優(yōu)化修正;
56、可視化展示模塊,用于根據(jù)圖像塊的坐標(biāo)位置,將不同組織類別的圖像塊以不同顏色拼接,形成新的縮略圖,進(jìn)行可視化展示。
57、作為優(yōu)選的方案,特征提取模塊中,統(tǒng)計(jì)每個(gè)圖像塊的r值或灰度圖的直方圖作為該圖像塊的統(tǒng)計(jì)學(xué)特征。
58、作為優(yōu)選的方案,聚類模塊包括:
59、樣本點(diǎn)形成單元,用于將每個(gè)圖像塊的圖像語(yǔ)義特征、統(tǒng)計(jì)學(xué)特征融合,形成新的圖像塊特征;
60、初始化單元,用于隨機(jī)選擇k個(gè)圖像塊特征作為初始的聚類中心;
61、分配單元,用于通過(guò)式(1)計(jì)算每個(gè)圖像塊特征到每個(gè)聚類中心的距離,并將每個(gè)圖像塊特征分配到最近的聚類中心所在的簇中,得到k個(gè)類簇{s1,s2,…,sk};
62、
63、其中:xi為第i個(gè)圖像塊特征,1≤i≤n;
64、cj為第j個(gè)聚類中心,1≤j≤k;
65、xvi為第i個(gè)圖像塊特征的圖像語(yǔ)義特征;
66、cvj為第j個(gè)聚類中心的圖像特征;
67、xhi為第i個(gè)圖像塊特征的直方圖特征;
68、chj為第j個(gè)聚類中心的直方圖特征;
69、α、β為調(diào)比因子;
70、調(diào)整單元,用于對(duì)于每個(gè)類簇,通過(guò)式(2)重新計(jì)算,選出新的聚類中心;
71、
72、其中,cl為第l個(gè)聚類中心,1≤l≤k;
73、|sl|表示第l個(gè)類簇中圖像塊特征的個(gè)數(shù);
74、xi表示第l個(gè)類簇中第i個(gè)圖像塊特征,1≤i≤|sl|;
75、重復(fù)執(zhí)行單元,用于重復(fù)執(zhí)行分配單元、調(diào)整單元內(nèi)的方法,直至滿足停止條件為止。
76、作為優(yōu)選的方案,
77、組織類別預(yù)測(cè)模塊包括:
78、數(shù)據(jù)庫(kù)構(gòu)建單元,用于預(yù)先構(gòu)建病理圖像塊數(shù)據(jù)庫(kù),病理圖像塊數(shù)據(jù)庫(kù)中存儲(chǔ)有已知組織類別的若干圖像塊;
79、尺寸匹配單元,用于將待匹配的圖像塊與病理圖像塊數(shù)據(jù)庫(kù)中的圖像塊進(jìn)行尺寸匹配;
80、若匹配,則繼續(xù)執(zhí)行特征對(duì)比單元中的方法;
81、若不匹配,則將病理圖像塊數(shù)據(jù)庫(kù)中圖像塊的尺寸裁剪成與待匹配的圖像塊的尺寸一致,再繼續(xù)執(zhí)行特征對(duì)比單元中的方法;
82、特征對(duì)比單元,用于將待匹配的任一類簇圖像塊的特征均值與病理圖像塊數(shù)據(jù)庫(kù)中的每個(gè)已知組織類別圖像塊的特征均值進(jìn)行對(duì)比;
83、按照對(duì)比結(jié)果,將特征均值差值最小的組織類別賦予該類簇,作為其標(biāo)簽。
84、作為優(yōu)選的方案,優(yōu)化模塊包括:
85、類別標(biāo)簽圖形成單元,用于根據(jù)圖像塊的坐標(biāo)位置以及圖像塊的組織類別,形成類別標(biāo)簽圖;
86、遍歷單元,用于按照遍歷方向,遍歷類別標(biāo)簽圖中的每個(gè)圖像塊的組織類別,若坐標(biāo)為(x,y)的圖像塊的組織類別與其連通域內(nèi)其他圖像塊的組織類別不同,則利用類別計(jì)數(shù)矩陣count(x,y,label)記錄,label為其連通域內(nèi)其他圖像塊出現(xiàn)最頻繁的組織類別標(biāo)簽;
87、重復(fù)執(zhí)行單元,用于切換其它遍歷方向,重復(fù)執(zhí)行遍歷單元中的方法直至所有遍歷方向均完成遍歷;
88、修正單元,用于根據(jù)類別計(jì)數(shù)矩陣count(x,y,label),對(duì)每個(gè)圖像塊的組織類別進(jìn)行修正。
89、本發(fā)明公開(kāi)一種基于自適應(yīng)聚類的病理圖像內(nèi)組織分類方法及設(shè)備,其能夠自適應(yīng)的處理不同病理圖像的分類任務(wù),顯著減少預(yù)測(cè)時(shí)間,提高分類效率,有助于及時(shí)發(fā)現(xiàn)疾病、制定治療方案,并且對(duì)于大規(guī)模的病理圖像數(shù)據(jù)處理也具有重要的實(shí)際意義。