本發(fā)明涉及醫(yī)學(xué)細(xì)胞圖像處理領(lǐng)域,具體涉及一種無監(jiān)督式的宮頸細(xì)胞圖像自動(dòng)分割方法及系統(tǒng)。
背景技術(shù):
宮頸細(xì)胞人工智能輔助閱片本身對(duì)于減輕閱片工作者的勞動(dòng)強(qiáng)度、提升閱片準(zhǔn)確率和工作效率、應(yīng)用于大批量的宮頸癌細(xì)胞學(xué)普查等方面將產(chǎn)生積極的作用,其遵循醫(yī)療市場(chǎng)的發(fā)展規(guī)律與需要,符合國(guó)家健康醫(yī)療大數(shù)據(jù)的研究布局。從宮頸細(xì)胞圖像中精確定位每個(gè)細(xì)胞的細(xì)胞質(zhì)和細(xì)胞核,并把二者從整個(gè)圖像中分割出來,是實(shí)現(xiàn)宮頸細(xì)胞人工智能輔助閱片的重要基礎(chǔ)。
針對(duì)宮頸細(xì)胞如何進(jìn)行分割是一個(gè)值得探討的問題,細(xì)胞圖像往往存在細(xì)胞重疊粘連、染色顏色不一致以及背景含有雜質(zhì)的問題,多種分割技術(shù)已經(jīng)應(yīng)用到宮頸細(xì)胞圖像的分割算法中??紤]到背景、細(xì)胞質(zhì)區(qū)域、細(xì)胞核區(qū)域在色彩、灰度值、紋理等方面存在區(qū)分性,基于像素分類的分割方法應(yīng)用到宮頸細(xì)胞學(xué)液基涂片圖像的分割中,但此方法無法解決重疊細(xì)胞的問題;另外一種基于細(xì)胞核邊界局特征和細(xì)胞核形狀特征的重疊細(xì)胞核分割方法,基于物理原則的形變模型,經(jīng)過迭代形變直到收斂,最終確定重疊細(xì)胞核的輪廓,但該方法沒有針對(duì)細(xì)胞質(zhì)區(qū)域進(jìn)行處理,只完成了細(xì)胞核的檢測(cè)分割;目前世界各地的醫(yī)學(xué)圖像分析組正在迅速進(jìn)入深度學(xué)習(xí)領(lǐng)域,并將卷積神經(jīng)網(wǎng)絡(luò)和醫(yī)學(xué)圖像處理方法廣泛的應(yīng)用于醫(yī)療影像領(lǐng)域,國(guó)外研究學(xué)者針對(duì)腦腫瘤病理切片使用像素級(jí)分割的卷積神經(jīng)網(wǎng)絡(luò)得到了理想的結(jié)果,但是該方法對(duì)重疊細(xì)胞以及較小的細(xì)胞核的分割也存在一定問題。
由于涂片染色不均勻、染色不一致、不均勻光照、細(xì)胞重疊、雜質(zhì)干擾(包括:微生物、細(xì)胞碎片、血液、污染物等)的原因,針對(duì)宮頸細(xì)胞的分割研究尚未有有效的方法,目前任何一種基于單一特征的算法都難以獲得滿意的結(jié)果,亟待針對(duì)實(shí)際應(yīng)用研究建立針對(duì)特殊組織的有效分割方法。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于克服目前宮頸細(xì)胞分割存在的上述問題,提供一種無監(jiān)督式的宮頸細(xì)胞圖像自動(dòng)分割方法,能夠解決單個(gè)獨(dú)立細(xì)胞與重疊的團(tuán)簇細(xì)胞的分割問題。該發(fā)明結(jié)合了醫(yī)學(xué)圖像處理、宮頸液基細(xì)胞學(xué)領(lǐng)域知識(shí)、深度學(xué)習(xí)算法、機(jī)器學(xué)習(xí)算法、大數(shù)據(jù)列式存儲(chǔ)等多項(xiàng)技術(shù),充分利用宮頸細(xì)胞形態(tài)結(jié)構(gòu)信息、空間鄰域信息和顏色分布信息建立準(zhǔn)確的細(xì)胞圖像分割。
為了解決上述目的,本發(fā)明提供了一種無監(jiān)督式的宮頸細(xì)胞圖像自動(dòng)分割方法,所述方法包括:
步驟1)對(duì)宮頸細(xì)胞圖像進(jìn)行預(yù)處理;
步驟2)對(duì)預(yù)處理后的細(xì)胞圖像進(jìn)行前背景粗分割,提取細(xì)胞所屬的區(qū)域;
步驟3)對(duì)粗分割后的細(xì)胞圖像進(jìn)行細(xì)胞成分的檢測(cè)分割,使用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)分割出不同類型的細(xì)胞;
步驟4)檢測(cè)并分割宮頸細(xì)胞細(xì)胞核;
步驟5)根據(jù)細(xì)胞核的特征參數(shù)篩選細(xì)胞核,得到最終的候選細(xì)胞核;
步驟6)判斷步驟3)中得到的細(xì)胞類型是否為細(xì)胞團(tuán)簇,如果不是,則使用活動(dòng)輪廓模型以及先驗(yàn)?zāi)0暹M(jìn)行細(xì)胞質(zhì)區(qū)域的分割;否則,轉(zhuǎn)入步驟7);
步驟7)綜合細(xì)胞核與細(xì)胞質(zhì)的分割結(jié)果與領(lǐng)域知識(shí)進(jìn)行后處理,完成整個(gè)宮頸細(xì)胞的有效分割。
上述技術(shù)方案中,所述步驟1)的預(yù)處理包括:采用雙邊濾波器對(duì)圖像進(jìn)行去噪,該濾波器是由兩個(gè)函數(shù)構(gòu)成:一個(gè)函數(shù)是由幾何空間距離決定濾波器系數(shù),另一個(gè)由像素差值決定濾波器系數(shù);然后使用形態(tài)學(xué)處理對(duì)圖像的邊緣進(jìn)行修補(bǔ),填充空洞并去除細(xì)的連接,最后使用直方圖均衡化來增加細(xì)胞核與細(xì)胞質(zhì)的對(duì)比度。
上述技術(shù)方案中,所述快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)選用卷積神經(jīng)網(wǎng)絡(luò)的vgg16的網(wǎng)絡(luò)結(jié)構(gòu),輸入圖像的大小為515*512,最終細(xì)胞成分的檢測(cè)類別分為5類:鱗細(xì)胞、腺細(xì)胞、頸管細(xì)胞、化生細(xì)胞以及背景素質(zhì),除鱗細(xì)胞和背景素質(zhì)外的細(xì)胞成分都定義為不可分的細(xì)胞團(tuán)簇。
上述技術(shù)方案中,于所述步驟4)的具體實(shí)現(xiàn)過程為:
采用改進(jìn)的隨機(jī)森林的算法,通過提取細(xì)胞核的5種特征進(jìn)行細(xì)胞核區(qū)域的分割;使用多尺度分水嶺算法進(jìn)行細(xì)胞核的檢測(cè),通過選取5種不同的參數(shù)進(jìn)行合并,將待分割圖像分為合并程度高和合并程度低的不同尺度的細(xì)胞圖像,再將兩者的檢測(cè)到的結(jié)果結(jié)合起來,作為細(xì)胞核的候選區(qū)域。
上述技術(shù)方案中,所述步驟6)中的使用活動(dòng)輪廓模型以及先驗(yàn)?zāi)0暹M(jìn)行細(xì)胞質(zhì)區(qū)域的分割的具體過程為:
采用了改進(jìn)的活動(dòng)輪廓模型,加上能量函數(shù)以及形狀先驗(yàn)信息,迭代地進(jìn)行輪廓的優(yōu)化,得到細(xì)胞質(zhì)的精確邊界;
能量函數(shù)e(u)為:
e(u)=λ1es(u)+r(u)(2)
其中es(u)是形狀先驗(yàn),r(u)是正則項(xiàng),用于保證分割邊界的平滑性,λ1為可學(xué)習(xí)的參數(shù);形狀先驗(yàn)es(u)為:
其中,h為黑塞矩陣。
上述技術(shù)方案中,所述步驟7)的后處理為:使用醫(yī)學(xué)圖像處理中的形態(tài)學(xué)操作對(duì)圖像的邊緣進(jìn)行修補(bǔ),填充空洞并去除細(xì)的連接,從而得到最終的精準(zhǔn)邊界信息。
一種無監(jiān)督式的宮頸細(xì)胞圖像自動(dòng)分割系統(tǒng),包括存儲(chǔ)器、處理器和存儲(chǔ)在存儲(chǔ)器上的并可在處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法的步驟。
本發(fā)明的有益效果是:
1、本發(fā)明的提出的方法是采用無監(jiān)督式的全自動(dòng)分割,不僅解決了單個(gè)的細(xì)胞的分割問題,還部分解決了細(xì)胞團(tuán)簇的有效分割問題。該無監(jiān)督式的全自動(dòng)分割方法可以用做醫(yī)療影像中細(xì)胞圖像分割的通用框架,適用于各種質(zhì)量的宮頸細(xì)胞液基涂片。根據(jù)不同種類和不同廠家的液基涂片只需對(duì)模型的超參數(shù)進(jìn)行調(diào)整,即可得到理想的分割結(jié)果;
2、針對(duì)腺細(xì)胞與出血壞死的背景素質(zhì)等不可分的細(xì)胞團(tuán)簇,本發(fā)明將人工智能與醫(yī)療影像有效的結(jié)合到一起,采用了深度學(xué)習(xí)的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)模型,訓(xùn)練針對(duì)細(xì)胞團(tuán)簇專有的卷積神經(jīng)網(wǎng)絡(luò)模型,從而完成從液基涂片細(xì)胞圖像中將不可分的細(xì)胞團(tuán)簇區(qū)域篩出;
3、本發(fā)明的提出的無監(jiān)督式的全自動(dòng)分割方法里面結(jié)合了宮頸細(xì)胞學(xué)的領(lǐng)域知識(shí)以及細(xì)胞特征,解決了宮頸細(xì)胞分割的準(zhǔn)確率低,細(xì)胞團(tuán)簇區(qū)域不能有效分割的問題。
附圖說明
圖1為本發(fā)明的無監(jiān)督式的宮頸細(xì)胞圖像自動(dòng)分割方法的流程圖;
圖2為本發(fā)明的細(xì)胞成分檢測(cè)流程圖;
圖3為本發(fā)明的細(xì)胞核檢測(cè)分割流程圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述,以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解,從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。
如圖1所示,一種無監(jiān)督式的宮頸細(xì)胞圖像自動(dòng)分割方法,解決了宮頸細(xì)胞分割的準(zhǔn)確率低,細(xì)胞團(tuán)簇的有效分割的問題,所述方法包括:
步驟1)對(duì)宮頸細(xì)胞圖像進(jìn)行預(yù)處理,具體過程為:采用雙邊濾波去噪,形態(tài)學(xué)處理和直方圖均衡化來增強(qiáng)細(xì)胞邊緣和增加對(duì)比度;
針對(duì)宮頸細(xì)胞的背景雜亂性,采用雙邊濾波去噪,該濾波器是由兩個(gè)函數(shù)構(gòu)成。一個(gè)函數(shù)是由幾何空間距離決定濾波器系數(shù)。另一個(gè)由像素差值決定濾波器系數(shù)。本發(fā)明中參數(shù)的設(shè)置w為5,方差sigma采用[50.3];然后使用形態(tài)學(xué)處理對(duì)圖像的邊緣進(jìn)行修補(bǔ),填充空洞并去除細(xì)的連接,主要采用開操作和閉操作,其中模板的參數(shù)設(shè)置為[55]的大??;最后使用直方圖均衡化來增加細(xì)胞核與細(xì)胞質(zhì)的對(duì)比度。
步驟2)對(duì)上述預(yù)處理后的細(xì)胞圖像,進(jìn)行前背景粗分割,提取細(xì)胞所屬的區(qū)域;
采用9個(gè)閾值進(jìn)行整個(gè)細(xì)胞圖像的噪聲的去除;然后采用sift邊緣檢測(cè)和多尺度分水嶺算法得到前景區(qū)域,sift對(duì)旋轉(zhuǎn)、尺度縮放、亮度變化保持不變性,對(duì)視角變化、仿射變換、噪聲也保持一定程度的穩(wěn)定性;最后針對(duì)分割出的區(qū)域進(jìn)行優(yōu)化微調(diào),采用k均值聚類算法將鄰近的像素合并,本發(fā)明聚類算法的團(tuán)簇?cái)?shù)選擇為3,即分為細(xì)胞質(zhì)、細(xì)胞核和背景三個(gè)類別。
步驟3)對(duì)粗分割后的細(xì)胞圖像進(jìn)行細(xì)胞成分的檢測(cè)分割,使用快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)分割出不同類別的細(xì)胞及背景素質(zhì);
如圖2所示,首先針對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)的清洗整理,再采用深度學(xué)習(xí)算法中的快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行細(xì)胞成分的檢測(cè)分割。其訓(xùn)練階段選擇端到端的訓(xùn)練方式,模型選用了卷積神經(jīng)網(wǎng)絡(luò)的vgg16的網(wǎng)絡(luò)結(jié)構(gòu),輸入圖像的大小為515*512,最終細(xì)胞成分的檢測(cè)類別分為5類:鱗細(xì)胞、腺細(xì)胞、頸管細(xì)胞、化生細(xì)胞以及背景素質(zhì),本發(fā)明中將除鱗細(xì)胞外的四種類別的細(xì)胞成分都定義為不可分的細(xì)胞團(tuán)簇。考慮到人工智能輔助閱片后續(xù)的分級(jí)識(shí)別步驟,此處將不可分的細(xì)胞團(tuán)簇區(qū)域詳細(xì)分為腺細(xì)胞、頸管細(xì)胞、化生細(xì)胞以及背景素質(zhì)四類,其中背景素質(zhì)不屬于細(xì)胞范疇,不參與后續(xù)的分級(jí)識(shí)別。
步驟4)檢測(cè)并分割宮頸細(xì)胞細(xì)胞核;
如圖3所示,采用了改進(jìn)的隨機(jī)森林的算法,通過提取細(xì)胞核的5種特征進(jìn)行細(xì)胞核區(qū)域的分割,森林中樹的個(gè)數(shù)選擇20,每次選擇最優(yōu)特征時(shí)的特征個(gè)數(shù)選擇為logn,葉子節(jié)點(diǎn)的最小個(gè)數(shù)選擇為3;
為了防止漏掉細(xì)胞核區(qū)域又輔以多尺度分水嶺算法進(jìn)行細(xì)胞核的檢測(cè),通過選取5種不同的參數(shù)進(jìn)行合并,將待分割圖像分為合并程度高和合并程度低的不同尺度的細(xì)胞圖像,再將兩者的檢測(cè)到的結(jié)果結(jié)合起來,作為細(xì)胞核的候選區(qū)域。
步驟5)根據(jù)細(xì)胞核的特征參數(shù)篩選細(xì)胞核,得到最終的候選細(xì)胞核;
如圖3所示,依據(jù)了細(xì)胞核的特征參數(shù),包含細(xì)胞核大小,細(xì)胞核的圓形度,細(xì)胞核的深度可計(jì)算特征。例如細(xì)胞核的大小的參數(shù)是通過直接計(jì)算細(xì)胞核區(qū)域邊界內(nèi)的像素的總和來表示,具體做法如式1。
其中f(x,y)為二值圖像上某點(diǎn)(x,y)的像素值,取值為1時(shí)表示該像素點(diǎn)屬于目標(biāo)區(qū)域,取值為0時(shí)表示該像素點(diǎn)屬于背景區(qū)域,其面積就是統(tǒng)計(jì)f(x,y)為1的像素個(gè)數(shù)。
步驟6)判斷步驟3)中得到的細(xì)胞類型是否為細(xì)胞團(tuán)簇,如果不是,則使用活動(dòng)輪廓模型以及先驗(yàn)?zāi)0暹M(jìn)行細(xì)胞質(zhì)區(qū)域的分割;否則,轉(zhuǎn)入步驟7);
采用了改進(jìn)的活動(dòng)輪廓模型,加上能量函數(shù)以及形狀先驗(yàn)信息,迭代的進(jìn)行輪廓的優(yōu)化,得到細(xì)胞質(zhì)的精確邊界;
能量函數(shù)e(u)為:
e(u)=λ1es(u)+r(u)(2)
其中es(u)是本發(fā)明提出使用的形狀先驗(yàn),r(u)是正則項(xiàng),保證分割邊界的平滑性,λ1為可學(xué)習(xí)的參數(shù);形狀先驗(yàn)es(u)為:
其中h為黑塞矩陣(hessianmatrix)。
步驟7)綜合細(xì)胞核與細(xì)胞質(zhì)的分割結(jié)果與領(lǐng)域知識(shí)進(jìn)行后處理,完成整個(gè)宮頸細(xì)胞的有效分割。
針對(duì)上述步驟的分割結(jié)果進(jìn)行后處理,主要使用醫(yī)學(xué)圖像處理中的形態(tài)學(xué)操作對(duì)圖像的邊緣進(jìn)行修補(bǔ),填充空洞并去除細(xì)的連接,主要采用開操作和閉操作,其中模板的參數(shù)設(shè)置為[33]的大小,以及濾波去噪等方法進(jìn)行邊界的平滑,其中參數(shù)的設(shè)置w為2,方差sigma采用[20.1],從而得到最終的精準(zhǔn)邊界信息。
以上所述的具體實(shí)施方式,對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明,所應(yīng)理解的是,以上所述僅為本發(fā)明的具體實(shí)施方式而已,并不用于限定本發(fā)明的保護(hù)范圍,凡在本發(fā)明的精神和原則之內(nèi),所做的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。