本發(fā)明涉及醫(yī)學(xué)圖像處理領(lǐng)域,尤其涉及一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)窺鏡圖像腸道出血檢測方法。
背景技術(shù):
如今,無線膠囊內(nèi)窺鏡由于其易于吞服和全程無痛的特點(diǎn),在醫(yī)學(xué)方面已越來越普及。而且由其得到的內(nèi)窺鏡圖像也使得醫(yī)生對病人的診斷更加準(zhǔn)確。但由于在做胃窺鏡的整個(gè)過程中,內(nèi)窺鏡會傳輸出上千幅胃腸道圖片,而只有少部分的圖片顯示胃腸道有疾病(比如胃出血),所以很有可能會被醫(yī)生遺漏掉。因此,開發(fā)出一個(gè)檢測胃腸道圖片是否正常的算法來減輕醫(yī)生的負(fù)擔(dān)就變得尤為重要。
在目前的內(nèi)窺鏡圖像檢測研究中,Liu和Yuan研究了像素值、顏色通道和不同顏色的像素比例這三種特征,并使用SVM來預(yù)測胃腸道圖片是否表示出血。Pan和Sainju則用神經(jīng)網(wǎng)絡(luò)基于圖片的像素值和他們的統(tǒng)計(jì)數(shù)據(jù)(比如平均值,標(biāo)準(zhǔn)差和交叉熵)來預(yù)測胃腸道的出血區(qū)域。Li等人利用圖片的彩色紋理特征和LBPs(uniform local binary patterns)特征來表示胃腸道圖片,然后用多層感知神經(jīng)網(wǎng)絡(luò)來探測出血區(qū)域。最近,Hassan和Haque提取圖像的離散傅里葉變換系數(shù)特征,然后用SVM訓(xùn)練得到一個(gè)分類器。然而,受腸道內(nèi)部環(huán)境的影響,無線膠囊內(nèi)窺鏡在腸道內(nèi)移動時(shí),其所獲取的圖像在內(nèi)容、紋理和亮度等方面都有較大的差別?,F(xiàn)有方法采用的底層視覺特征受圖像內(nèi)容、光照等因素的影響較大,無法對存在遮擋或光線過暗的圖像進(jìn)行精確判別。此外,異常圖像和正常圖像的比例嚴(yán)重不平衡,導(dǎo)致學(xué)習(xí)自動預(yù)測胃腸道圖像是否正常的模型變得十分復(fù)雜和困難。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足,提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)窺鏡圖像腸道出血檢測方法。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案包括以下步驟:
步驟1、在訓(xùn)練深度網(wǎng)絡(luò)的過程中,首先將出血圖像和不出血圖像分別進(jìn)行旋轉(zhuǎn)、亮度調(diào)節(jié)、高斯模糊、加泊松噪聲四種變換,然后將變換后的圖像和原始圖像一起構(gòu)成新的數(shù)據(jù)集;
步驟2、在訓(xùn)練深度網(wǎng)絡(luò)的過程中,復(fù)制所有的出血圖像,使得出血圖像和不出血圖像數(shù)量一樣多,從而得到擴(kuò)增數(shù)據(jù)集;
步驟3、對步驟2得到的擴(kuò)增數(shù)據(jù)集,訓(xùn)練VGGNet、GoogLeNet、AlexNet這三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò),得到三個(gè)非線性映射關(guān)系;
步驟4、依據(jù)得到的三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)做內(nèi)窺鏡圖像腸道出血檢測,以內(nèi)窺鏡圖像作為輸入,得到三個(gè)卷積神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果,然后根據(jù)多數(shù)投票規(guī)則,得到最終的檢測結(jié)果。
步驟1所述的將出血圖像和不出血圖像進(jìn)行旋轉(zhuǎn)、亮度、高斯模糊、加噪四種變換,具體如下:
1-1.將原始圖像分別旋轉(zhuǎn)60度、120度、180度、240度、300度,每張?jiān)紙D像將得到5張經(jīng)過旋轉(zhuǎn)變換的圖像。
1-2.隨機(jī)產(chǎn)生5個(gè)0-1均勻分布的隨機(jī)數(shù)作為5個(gè)亮度因子,記為λ1,λ2,λ3,λ4,λ5,將原始圖像由RGB顏色空間轉(zhuǎn)到Y(jié)CbCr空間,將Y通道分別乘以5個(gè)亮度因子,得到5張經(jīng)過亮度變換的圖片。
1-3.對原始圖像進(jìn)行高斯模糊,計(jì)算公式為:
G(x,y)=exp(-(x2+y2)/2σ2)/2πσ2,
設(shè)置高斯濾波器的大小和參數(shù),即([x,y],σ)分別為([3,3],1),([5,5],3),([7,7],5),([9,9],7),([11,11],9)。根據(jù)這五種高斯濾波器,對原始圖像做5種高斯模糊,每張?jiān)紙D像將得到5張經(jīng)過高斯模糊變換的圖像。
1-4.給原始圖像添加符合泊松分布模型的噪聲,泊松分布公式:
P(x=k)=exp(-λ)·λk/k!,
每張?jiān)紙D像將得到1張?zhí)砑硬此稍肼暤膱D像。
步驟2所述的基于步驟1得到的圖像復(fù)制所有出血圖像,使得出血圖像和不出血圖像一樣多,具體如下:
2-1.經(jīng)過步驟1,每張?jiān)紙D像都會得到由自身經(jīng)過變換的16張圖像。在原始圖像中,由于不出血圖像數(shù)量是出血圖像數(shù)量的30倍,將每張?jiān)汲鲅獔D像及其經(jīng)過變換的所有圖像復(fù)制30倍,使得出血圖像和不出血圖像在數(shù)量上達(dá)到一致,從而得到擴(kuò)增數(shù)據(jù)集;
步驟3中所述的對步驟2得到的擴(kuò)增數(shù)據(jù)集,訓(xùn)練VGGNet、GoogLeNet、AlexNet這三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò),得到三個(gè)非線性映射關(guān)系,具體如下:
3-1.使用原始圖像的80%及其對應(yīng)的變換圖像作為訓(xùn)練集,其余的20%及其變換圖像作為測試集。
3-2.使用訓(xùn)練集訓(xùn)練VGGNet、GoogLeNet、AlexNet三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)。采用Softmax損失函數(shù)作為目標(biāo)函數(shù),利用反向傳播算法優(yōu)化目標(biāo)函數(shù)。
3-3.訓(xùn)練結(jié)束后,將測試圖像庫中的任意一幅內(nèi)窺鏡圖像作為三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的輸入,然后基于得到的三個(gè)檢測結(jié)果,根據(jù)多數(shù)投票原則,得到最終的檢測結(jié)果。
本發(fā)明具有的有益的效果是:
通過學(xué)習(xí)不同質(zhì)量的圖像的特征和學(xué)習(xí)不同質(zhì)量的圖像的特征到檢測結(jié)果的非線性映射關(guān)系,指導(dǎo)內(nèi)窺鏡圖像腸道出血檢測過程,不僅能夠提高檢測結(jié)果的準(zhǔn)確率,而且還能夠檢測不理想環(huán)境下得到的圖像,基本能夠達(dá)到實(shí)時(shí)的要求。
附圖說明
圖1是本發(fā)明流程圖;
圖2是本發(fā)明基于深度卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)窺鏡圖像腸道出血檢測方法的訓(xùn)練過程框架示意圖;
圖3是本發(fā)明中基于深度卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)窺鏡圖像腸道出血檢測方法的檢測過程框架示意圖;
具體實(shí)施方式
下面結(jié)合附圖對本發(fā)明作進(jìn)一步說明。
如圖1-3所示,基于深度卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)窺鏡圖像腸道出血檢測方法,具體步驟參看圖1:
步驟1、在訓(xùn)練深度網(wǎng)絡(luò)的過程中,首先將出血圖像和不出血圖像分別進(jìn)行旋轉(zhuǎn)、亮度調(diào)節(jié)、高斯模糊、加泊松噪聲四種變換,然后將變換后的圖像和原始圖像一起構(gòu)成新的數(shù)據(jù)集;
步驟2、在訓(xùn)練深度網(wǎng)絡(luò)的過程中,復(fù)制所有的出血圖像,使得出血圖像和不出血圖像數(shù)量一樣多,從而得到擴(kuò)增數(shù)據(jù)集;
步驟3、對步驟2得到的擴(kuò)增數(shù)據(jù)集,訓(xùn)練VGGNet、GoogLeNet、AlexNet這三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò),得到三個(gè)非線性映射關(guān)系;
步驟4、依據(jù)得到的三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)做內(nèi)窺鏡圖像腸道出血檢測,以內(nèi)窺鏡圖像作為輸入,得到三個(gè)卷積神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果,然后根據(jù)多數(shù)投票規(guī)則,得到最終的檢測結(jié)果。
如圖2所示,步驟1所述的將出血圖像和不出血圖像進(jìn)行旋轉(zhuǎn)、亮度、高斯模糊、加噪四種變換,具體如下:
1-5.將原始圖像分別旋轉(zhuǎn)60度、120度、180度、240度、300度,每張?jiān)紙D像將得到5張經(jīng)過旋轉(zhuǎn)變換的圖像。
1-6.隨機(jī)產(chǎn)生5個(gè)0-1均勻分布的隨機(jī)數(shù)作為5個(gè)亮度因子,記為λ1,λ2,λ3,λ4,λ5,將原始圖像由RGB顏色空間轉(zhuǎn)到Y(jié)CbCr空間,將Y通道分別乘以5個(gè)亮度因子,得到5張經(jīng)過亮度變換的圖片。
1-7.對原始圖像進(jìn)行高斯模糊,計(jì)算公式為:
G(x,y)=exp(-(x2+y2)/2σ2)/2πσ2,
設(shè)置高斯濾波器的大小和參數(shù),即([x,y],σ)分別為([3,3],1),([5,5],3),([7,7],5),([9,9],7),([11,11],9)。根據(jù)這五種高斯濾波器,對原始圖像做5種高斯模糊,每張?jiān)紙D像將得到5張經(jīng)過高斯模糊變換的圖像。
1-8.給原始圖像添加符合泊松分布模型的噪聲,泊松分布公式:
P(x=k)=exp(-λ)·λk/k!,
每張?jiān)紙D像將得到1張?zhí)砑硬此稍肼暤膱D像。
步驟2所述的基于步驟1得到的圖像復(fù)制所有出血圖像,使得出血圖像和不出血圖像一樣多,具體如下:
2-1.經(jīng)過步驟1,每張?jiān)紙D像都會得到由自身經(jīng)過變換的16張圖像。在原始圖像中,由于不出血圖像數(shù)量是出血圖像數(shù)量的30倍,將每張?jiān)汲鲅獔D像及其經(jīng)過變換的所有圖像復(fù)制30倍,使得出血圖像和不出血圖像在數(shù)量上達(dá)到一致,從而得到擴(kuò)增數(shù)據(jù)集;
如圖3所示,步驟3中所述的對步驟2得到的擴(kuò)增數(shù)據(jù)集,訓(xùn)練VGGNet、GoogLeNet、AlexNet這三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò),得到三個(gè)非線性映射關(guān)系,具體如下:
3-1.使用原始圖像的80%及其對應(yīng)的變換圖像作為訓(xùn)練集,其余的20%及其變換圖像作為測試集。
3-2.使用訓(xùn)練集訓(xùn)練VGGNet、GoogLeNet、AlexNet三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)。采用Softmax損失函數(shù)作為目標(biāo)函數(shù),利用反向傳播算法優(yōu)化目標(biāo)函數(shù)。
3-3.訓(xùn)練結(jié)束后,將測試圖像庫中的任意一幅內(nèi)窺鏡圖像作為三個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的輸入,然后基于得到的三個(gè)檢測結(jié)果,根據(jù)多數(shù)投票原則,得到最終的檢測結(jié)果。