本發(fā)明涉及一種針對(duì)ct圖像的肺結(jié)節(jié)檢測(cè)方法,尤其涉及一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的ct肺結(jié)節(jié)檢測(cè)方法。
背景技術(shù):
肺癌是全球癌癥相關(guān)死亡的主要原因,利用ct掃描對(duì)高風(fēng)險(xiǎn)人群進(jìn)行檢查是一種有效的發(fā)現(xiàn)早期肺癌的手段,而這樣的人群數(shù)量龐大,影像科醫(yī)師的工作量急劇增大,因此計(jì)算機(jī)輔助診斷就扮演了非常重要的角色。
當(dāng)前,在ct圖像里利用計(jì)算機(jī)輔助檢測(cè)肺結(jié)節(jié)領(lǐng)域,基于傳統(tǒng)的統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法已經(jīng)進(jìn)行了大量研究工作,并取得了一定成果。檢測(cè)步驟通常分為兩步,第一步是推薦候選結(jié)節(jié),檢測(cè)出肺部ct圖像中可能存在結(jié)節(jié)的區(qū)域,第二步是篩除假陽性結(jié)節(jié),對(duì)第一步中檢測(cè)得到的區(qū)域進(jìn)行識(shí)別,判斷其中的懷疑目標(biāo)是否為結(jié)節(jié),盡量減少假陽性結(jié)節(jié),另外還可以判斷結(jié)節(jié)是否發(fā)生癌變等。然而,基于傳統(tǒng)統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法,在圖像中提取預(yù)先定義的紋理形態(tài)特征,如面積、有效直徑、梯度等,這些特征不足以來準(zhǔn)確地表示結(jié)節(jié)的,導(dǎo)致檢測(cè)出的假陽性肺結(jié)節(jié)數(shù)量仍然很多。
近年來,深度學(xué)習(xí)吸引了大量的研究興趣,在眾多領(lǐng)域取得了傳統(tǒng)方法無法企及的成果。同樣地,在醫(yī)學(xué)圖像分析領(lǐng)域中深度學(xué)習(xí)也被證明是最為有效的手段,目前主流的計(jì)算機(jī)輔助檢測(cè)系統(tǒng)均是使用了深度學(xué)習(xí)的方法。olafronneberger等人于2015年提出了“u-net:convolutionalnetworksforbiomedicalimagesegmentation”,該方法提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的醫(yī)學(xué)圖像分割方法,該方法應(yīng)用在了多種醫(yī)學(xué)圖像分割任務(wù)上,如血管分割、細(xì)胞分割,均取得了不錯(cuò)效果。在肺結(jié)節(jié)檢測(cè)方法方面,setio等人于2016年提出了“pulmonarynoduledetectioninctimages:falsepositivereductionusingmulti-viewconvolutionalnetworks”,該方法將傳統(tǒng)的方法與深度學(xué)習(xí)方法相結(jié)合,在推薦候選結(jié)節(jié)仍采用傳統(tǒng)的方法,在篩除假陽性結(jié)節(jié)時(shí)設(shè)計(jì)了一種多視角的二維卷積神經(jīng)網(wǎng)絡(luò),取得了不錯(cuò)的檢測(cè)效果。qi等人于2016年提出了“multi-levelcontextual3dcnnsforfalsepositivereductioninpulmonarynoduledetection”,該方法提出了一種三維卷積神經(jīng)網(wǎng)絡(luò)來篩除假陽性結(jié)節(jié),降低假陽性肺結(jié)節(jié)檢出率。與二維卷積神經(jīng)網(wǎng)絡(luò)相比,三維的卷積神經(jīng)神經(jīng)網(wǎng)絡(luò)能捕捉更多的空間信息,能提取更豐富的圖像特征,一定程度上降低了假陽性肺結(jié)節(jié)的檢出率。然而,該方法設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)較淺,只有三層卷積層,需要訓(xùn)練多個(gè)尺度的網(wǎng)絡(luò)模型進(jìn)行融合。且該方法仍采用傳統(tǒng)方法來推薦候選結(jié)節(jié),未能充分利用深度學(xué)習(xí)的優(yōu)勢(shì)。本發(fā)明為進(jìn)一步提高計(jì)算機(jī)輔助檢測(cè)ct肺結(jié)節(jié)方法的準(zhǔn)確性和魯棒性,提出了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法來在ct圖像中檢測(cè)肺結(jié)節(jié)。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所關(guān)注的技術(shù)問題為:如何利用計(jì)算機(jī)在ct圖像中自動(dòng)、高效、準(zhǔn)確地檢測(cè)肺結(jié)節(jié)。
為解決上述技術(shù)問題,本發(fā)明提供了一種利用深度卷積神經(jīng)網(wǎng)絡(luò)來檢測(cè)ct中肺結(jié)節(jié)的方法,它在推薦候選結(jié)節(jié)和篩除假陽性結(jié)節(jié)時(shí)均采用了深度學(xué)習(xí)的方法,充分發(fā)揮了深度學(xué)習(xí)方法的優(yōu)勢(shì),并能在保證假陽性結(jié)節(jié)檢出率更低的同時(shí),保證對(duì)結(jié)節(jié)有較高的查全率。它具體包括以下步驟:
(1)對(duì)ct圖像預(yù)處理,使全部ct圖像像素間隔統(tǒng)一,圖像對(duì)比度統(tǒng)一;
(2)訓(xùn)練二維卷積神經(jīng)網(wǎng)絡(luò)u-net,預(yù)測(cè)肺結(jié)節(jié)分割圖像,基于肺結(jié)節(jié)分割圖像推薦候選結(jié)節(jié);
(3)訓(xùn)練三維深度殘差神經(jīng)網(wǎng)絡(luò)resnet3d,預(yù)測(cè)肺結(jié)節(jié)的真假陽性概率,篩除假陽性結(jié)節(jié)。
其中,步驟(1)對(duì)ct圖像預(yù)處理
不同儀器不同環(huán)境采集得到的ct圖像在像素間隔(即相鄰兩像素點(diǎn)間的實(shí)際距離),圖像對(duì)比度方面有很大的不同。本步驟通過三維線性插值、數(shù)值歸一化的手段預(yù)處理ct圖像,來得到各方面一致的ct體數(shù)據(jù)。這使得后續(xù)檢測(cè)的步驟中ct圖像的空間信息和強(qiáng)度信息保持一致,并保證了后續(xù)機(jī)器學(xué)習(xí)步驟能提取到有用的特征,獲得更好的效果;
其具體方法為:
1)統(tǒng)一像素間隔
首先統(tǒng)計(jì)全部ct圖像的像素間隔信息,結(jié)節(jié)的直徑信息,制定統(tǒng)一的像素間隔,然后通過三維線性插值的方式來對(duì)原始ct圖像進(jìn)行縮放操作,使得所有ct圖像的像素間隔統(tǒng)一;
2)統(tǒng)一ct圖像對(duì)比度
計(jì)算第i幅ct圖像的均值為meani,標(biāo)準(zhǔn)差為stdi;通過對(duì)ct圖像中每個(gè)像素的像素值ixyz按如下式(1)進(jìn)行歸一化,從而統(tǒng)一ct圖像的對(duì)比度;
ixyz=(ixyz-meani)/stdi(1)。
步驟(2)中具體為:先生成推薦候選結(jié)節(jié)步驟訓(xùn)練樣本的標(biāo)準(zhǔn)分割圖像作為標(biāo)簽,對(duì)二維卷積神經(jīng)網(wǎng)絡(luò)u-net進(jìn)行訓(xùn)練,獲得二維卷積神經(jīng)網(wǎng)絡(luò)u-net的網(wǎng)絡(luò)模型。再根據(jù)二維卷積神經(jīng)網(wǎng)絡(luò)u-net的網(wǎng)絡(luò)模型對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)獲得肺結(jié)節(jié)分割圖像,對(duì)肺結(jié)節(jié)分割圖像進(jìn)行二值化處理,區(qū)分像素是背景還是結(jié)節(jié),對(duì)二值化分割圖像采用形態(tài)學(xué)腐蝕操作降低噪聲,并計(jì)算結(jié)節(jié)像素的三維連通區(qū)域的重心坐標(biāo),即為推薦的候選肺結(jié)節(jié)的中心,合并三維空間歐氏距離小于3cm的肺結(jié)節(jié)中心,避免同一肺結(jié)節(jié)的重復(fù)檢測(cè)。
步驟(3)具體采用如下方法:
1)數(shù)據(jù)準(zhǔn)備與預(yù)處理
對(duì)篩除假陽性結(jié)節(jié)步驟的訓(xùn)練樣本先采用步驟(2)的方法獲得推薦候選結(jié)節(jié)后,根據(jù)推薦的結(jié)節(jié)中心將上述訓(xùn)練樣本和所有測(cè)試樣本均復(fù)制出ct圖像的三維圖像塊,對(duì)訓(xùn)練樣本根據(jù)專業(yè)醫(yī)師在這些訓(xùn)練樣本原始圖像中標(biāo)注的肺結(jié)節(jié)位置,對(duì)每一個(gè)三維圖像塊進(jìn)行標(biāo)注,區(qū)分真陽性結(jié)節(jié)及假陽性肺結(jié)節(jié);對(duì)真陽性結(jié)節(jié)樣本進(jìn)行擴(kuò)展;
2)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建
構(gòu)建三維深度殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)resnet3d,該結(jié)構(gòu)中采用三維卷積層、三維殘差塊、三維池化層;
3)網(wǎng)絡(luò)模型訓(xùn)練
基于所構(gòu)建的三維深度殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)resnet3d來訓(xùn)練真假陽性結(jié)節(jié)的分類器,得到三維深度殘差神經(jīng)網(wǎng)絡(luò)resnet3d的網(wǎng)絡(luò)模型;
4)肺部結(jié)節(jié)預(yù)測(cè)
使用訓(xùn)練得到的網(wǎng)絡(luò)模型預(yù)測(cè)測(cè)試樣本的真假陽性結(jié)節(jié)概率,根據(jù)預(yù)先設(shè)定的概率閾值區(qū)分真假陽性結(jié)節(jié),記錄真陽性結(jié)節(jié)的位置坐標(biāo),從而得到每個(gè)ct圖像中肺結(jié)節(jié)檢測(cè)結(jié)果。
上述步驟(3)的具體方案中,進(jìn)一步的,步驟1)中對(duì)真陽性結(jié)節(jié)樣本進(jìn)行擴(kuò)展可以采用隨機(jī)對(duì)原樣本的三維圖像塊作若干次的平移、縮放和水平旋轉(zhuǎn)操作,得到若干個(gè)新的三維圖像塊,即新的真陽性結(jié)節(jié)圖像塊擴(kuò)充訓(xùn)練數(shù)據(jù)。
進(jìn)一步的,步驟2)中所述的三維池化層中可以采用p&c(pooling+cropping)池化層,所述的p&c池化層是指同時(shí)對(duì)上一層的輸出進(jìn)行池化(pooling)與裁切(cropping)操作,并將池化與裁切操作的結(jié)果在通道維上連接起來,作為下一層的輸入;所述的池化操作是指將輸入降采樣為原來1/8大小的最大池化,所述的裁切操作是在輸入的特征圖中截取出正中間的1/8部分。
進(jìn)一步的,步驟3)中網(wǎng)絡(luò)模型訓(xùn)練可以基于隨機(jī)梯度下降算法,并可先采用隨機(jī)梯度下降算法進(jìn)行預(yù)訓(xùn)練,再采用在線動(dòng)態(tài)選擇困難樣本訓(xùn)練的優(yōu)化策略,即每次迭代有n個(gè)樣本,迭代前首先用當(dāng)前網(wǎng)絡(luò)測(cè)試n個(gè)樣本的損失,將其排序,取出損失最大的k個(gè)樣本,將這k個(gè)樣本損失函數(shù)向后傳播更新網(wǎng)絡(luò)的權(quán)值。
進(jìn)一步的,步驟4)中在樣本預(yù)測(cè)中可以對(duì)測(cè)試樣本作若干次平移、縮放和水平旋轉(zhuǎn)的擴(kuò)展操作,對(duì)每次擴(kuò)展得到的樣本均進(jìn)行預(yù)測(cè),將所有擴(kuò)展樣本的預(yù)測(cè)結(jié)果的算術(shù)平均值作為最終樣本的預(yù)測(cè)結(jié)果。本發(fā)明具有以下有益效果:
(1)提供了一套利用深度卷積神經(jīng)網(wǎng)絡(luò)來檢測(cè)ct中肺結(jié)節(jié)的方法,能使計(jì)算機(jī)更高效準(zhǔn)確地輔助在ct圖像中檢測(cè)肺結(jié)節(jié);
(2)提供了一種p&c(pooling+cropping)的新型池化層結(jié)構(gòu),其中pooling操作獲取特征圖中的全局信息,而cropping操作獲取特征圖中的中央結(jié)節(jié)信息。生成的不同尺度的特征圖能有助于捕捉多尺度肺結(jié)節(jié)的特征,得到更準(zhǔn)確的檢測(cè)效果。同時(shí)該結(jié)構(gòu)使得不同尺度的結(jié)節(jié)之間共享了之前的所有卷積計(jì)算,相比背景技術(shù)中提到的qi等人提出的方法,分開處理多尺度數(shù)據(jù),訓(xùn)練多個(gè)模型,具有更高的效率。
(3)提供了一種在線動(dòng)態(tài)選擇困難樣本訓(xùn)練的優(yōu)化策略,動(dòng)態(tài)排除了大部分較易區(qū)分的樣本,大大加快了網(wǎng)絡(luò)訓(xùn)練的效率。同時(shí),使得較難分類的樣本得到了充分的訓(xùn)練,提升了模型的預(yù)測(cè)能力。
(4)從方法性質(zhì)上講,由于本發(fā)明完全采用了深度學(xué)習(xí)的方法,所涉及的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)能從大量的ct圖像中自動(dòng)學(xué)習(xí)圖像特征,對(duì)醫(yī)療大數(shù)據(jù)有更強(qiáng)的適應(yīng)能力,可以得到更準(zhǔn)確的檢測(cè)效果。
附圖說明
圖1是本發(fā)明所提供方法的流程圖;
圖2是本發(fā)明推薦候選結(jié)節(jié)中深度二維卷積神經(jīng)網(wǎng)絡(luò)u-net的網(wǎng)絡(luò)結(jié)構(gòu)示意圖;
圖3是本發(fā)明篩除假陽性結(jié)節(jié)中深度三維卷積神經(jīng)網(wǎng)絡(luò)resnet3d的網(wǎng)絡(luò)結(jié)構(gòu)示意圖;
圖4是本發(fā)明實(shí)施實(shí)例的肺結(jié)節(jié)檢測(cè)結(jié)果(froc曲線)示意圖;
圖5是setio等人方法公開的肺結(jié)節(jié)檢測(cè)結(jié)果(froc曲線)示意圖;
圖6是qi等人方法公開的肺結(jié)節(jié)檢測(cè)結(jié)果(froc曲線)示意圖。
具體實(shí)施方式
下面結(jié)合附圖和實(shí)施例,對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例用于說明本發(fā)明,但不用來限制本發(fā)明的范圍:
本發(fā)明具體實(shí)驗(yàn)中所用的數(shù)據(jù)來自于lidc/idri數(shù)據(jù)庫,包含888個(gè)患者的ct圖像,共包含1086個(gè)結(jié)節(jié)。該數(shù)據(jù)是4位有經(jīng)驗(yàn)的胸部放射科醫(yī)師在對(duì)該患者的ct圖像進(jìn)行兩次圖像標(biāo)注而得的,第一次是盲標(biāo),第二次是參考其他醫(yī)師修正結(jié)果。但是,這888個(gè)ct圖像是由不同儀器采集得到的,ct圖像的像素間隔不同,且變化范圍較大,z軸維度的像素間隔范圍為0.45-2.50mm,x、y軸維度的像素間隔范圍為0.46-0.97mm。同時(shí),這些ct圖像的hu范圍及對(duì)比度也不同。
如圖1所示為本發(fā)明所提供的基于深度卷積神經(jīng)網(wǎng)絡(luò)的ct肺結(jié)節(jié)檢測(cè)方法的處理流程圖。包括如下步驟:
1.ct圖像預(yù)處理
本步驟通過預(yù)處理不同儀器不同環(huán)境采集得到的ct圖像,來得到各方面一致的ct體數(shù)據(jù),使得后續(xù)檢測(cè)的步驟中的機(jī)器學(xué)習(xí)方法能獲得更好的效果,具體包括如下子步驟:
1.1、統(tǒng)一像素間隔
首先統(tǒng)計(jì)全部ct圖像的像素間隔信息,結(jié)節(jié)的直徑信息,制定統(tǒng)一的像素間隔,使其與原圖像不至相差過遠(yuǎn),同時(shí)保證在任何維度上結(jié)節(jié)均有合適的像素長度范圍。然后通過三維線性插值的方式來對(duì)原始ct圖像進(jìn)行縮放操作,來使得所有ct圖像的像素間隔統(tǒng)一。這樣可以避免結(jié)節(jié)的空間信息不一致,在網(wǎng)絡(luò)的正向傳播過程當(dāng)中,避免結(jié)節(jié)的特征信息產(chǎn)生模糊,影響后續(xù)步驟的準(zhǔn)確性。本發(fā)明具體實(shí)驗(yàn)中所采用的像素間隔:x、y維度為0.75mm,z維度為1.25mm。
1.2、統(tǒng)一ct圖像對(duì)比度
計(jì)算第i幅ct圖像的均值為meani,標(biāo)準(zhǔn)差為stdi。通過對(duì)ct圖像中每個(gè)像素的像素值ixyz按如下式(1)進(jìn)行歸一化,從而統(tǒng)一ct圖像的對(duì)比度。這樣可以避免結(jié)節(jié)的信號(hào)強(qiáng)度不一致,影響到結(jié)節(jié)的特征信息的提取。
ixyz=(ixyz-meani)/stdi(1)
2.推薦候選結(jié)節(jié)
本步驟基于如圖2中所示的u-net二維卷積神經(jīng)網(wǎng)絡(luò),訓(xùn)練u-net二維卷積神經(jīng)網(wǎng)絡(luò),預(yù)測(cè)肺結(jié)節(jié)分割圖像,基于肺結(jié)節(jié)分割圖像推薦候選結(jié)節(jié);具體包括如下子步驟:
2.1、生成訓(xùn)練樣本的標(biāo)準(zhǔn)分割圖像
對(duì)于推薦候選結(jié)節(jié)步驟訓(xùn)練樣本,將其按z軸劃分為橫斷面二維圖像,第z層每個(gè)像素的像素值ixy,z按公式(2)計(jì)算,其中pxyz該像素坐標(biāo),
2.2、訓(xùn)練u-net網(wǎng)絡(luò)
采用01afronneberger等人提出的二維卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)結(jié)構(gòu)u-net,該網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示,在本發(fā)明具體實(shí)驗(yàn)中在每層卷積層后加入了dropout層來減輕過擬合。并直接采用隨機(jī)梯度下降的優(yōu)化策略、交叉驗(yàn)證的訓(xùn)練方式來訓(xùn)練獲得其網(wǎng)絡(luò)模型,并預(yù)測(cè)ct體數(shù)據(jù)中的每層肺結(jié)節(jié)分割圖像。
2.3、提取候選結(jié)節(jié)中心
首先,根據(jù)二維卷積神經(jīng)網(wǎng)絡(luò)u-net的網(wǎng)絡(luò)模型對(duì)測(cè)試樣本進(jìn)行預(yù)測(cè)獲得肺結(jié)節(jié)分割圖像,對(duì)肺結(jié)節(jié)分割圖像進(jìn)行二值化處理,0表示該像素是背景,1表示該像素屬于結(jié)節(jié)。接著,對(duì)二值化分割圖像采用形態(tài)學(xué)腐蝕的操作降低噪聲,并計(jì)算每個(gè)像素值為1的三維連通區(qū)域的重心坐標(biāo),即為推薦的候選肺結(jié)節(jié)的中心。最后,合并三維空間距離太近(通常可以設(shè)定三維空間歐氏距離小于3cm)的肺結(jié)節(jié)中心,避免同一肺結(jié)節(jié)的重復(fù)檢測(cè)。
3.篩除假陽性結(jié)節(jié)
推薦的候選結(jié)節(jié)中的假陽性結(jié)節(jié)較多,本步驟采用三維深度殘差神經(jīng)網(wǎng)絡(luò)resnet3d的方式來獲取肺結(jié)節(jié)的特征,進(jìn)而篩除假陽性結(jié)節(jié)。具體包括如下子步驟:
3.1、數(shù)據(jù)準(zhǔn)備與預(yù)處理
對(duì)篩除假陽性結(jié)節(jié)步驟的訓(xùn)練樣本采用步驟2中推薦的結(jié)節(jié)中心,根據(jù)推薦的結(jié)節(jié)中心將上述訓(xùn)練樣本和所有測(cè)試樣本均復(fù)制出ct圖像的三維圖像塊(圖像patch),本發(fā)明具體實(shí)驗(yàn)中采用的圖像塊大小為44x44x28像素。對(duì)訓(xùn)練樣本而言,根據(jù)專業(yè)醫(yī)師在原始圖像中標(biāo)注的肺結(jié)節(jié)位置,來對(duì)每一個(gè)三維圖像塊進(jìn)行標(biāo)注,1表示真陽性結(jié)節(jié),0表示假陽性肺結(jié)節(jié)。為了使得訓(xùn)練數(shù)據(jù)中正負(fù)樣本均衡,且為了能獲得更好的分類效果,擴(kuò)展真陽性結(jié)節(jié)樣本數(shù)據(jù),即隨機(jī)對(duì)原樣本的三維圖像塊作若干次微小的平移、縮放和水平旋轉(zhuǎn)操作,得到若干個(gè)新的三維圖像塊,即新的真陽性結(jié)節(jié)圖像塊擴(kuò)充訓(xùn)練數(shù)據(jù)。
3.2、網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)建
構(gòu)建如圖3所示的三維深度殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)resnet3d來篩選假陽性結(jié)節(jié),該結(jié)構(gòu)中采用了三維的卷積層,相比普通二維的卷積能獲取更加豐富的空間信息,網(wǎng)絡(luò)可以提取出更加具有代表性的特征。該結(jié)構(gòu)借鑒了現(xiàn)有的二維殘差網(wǎng)絡(luò)的思想,設(shè)計(jì)了三維殘差塊,深度殘差網(wǎng)絡(luò)相比通常的卷積神經(jīng)網(wǎng)絡(luò)往往具有更好的數(shù)據(jù)表達(dá)能力。該結(jié)構(gòu)中設(shè)計(jì)了獨(dú)特的p&c(pooling+cropping)池化層以融合多尺度的信息,即同時(shí)對(duì)上一層的輸出進(jìn)行池化(pooling)與裁切(cropping)操作,把池化操作的結(jié)果和裁切操作的結(jié)果在通道維上連接起來,作為下一層的輸入。池化操作是將輸入降采樣為原來1/8大小的最大池化,裁切操作是在輸入的特征圖中截取出正中間的1/8部分。由于三維卷積神經(jīng)網(wǎng)絡(luò)對(duì)計(jì)算資源要求較高,綜合考慮實(shí)驗(yàn)數(shù)據(jù)與計(jì)算資源中,本實(shí)例中設(shè)置兩層池化層之間的三維殘差塊個(gè)數(shù)n=3,采用了27層三維深度殘差神經(jīng)網(wǎng)絡(luò)。
3.3、網(wǎng)絡(luò)模型訓(xùn)練
基于3.2中所構(gòu)建的三維深度殘差神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)resnet3d來訓(xùn)練真假陽性結(jié)節(jié)的分類器,得到三維深度殘差神經(jīng)網(wǎng)絡(luò)resnet3d的網(wǎng)絡(luò)模型。網(wǎng)絡(luò)訓(xùn)練基于隨機(jī)梯度下降算法,在隨機(jī)梯度下降算法的基礎(chǔ)上,采用取在線動(dòng)態(tài)選擇困難樣本訓(xùn)練的優(yōu)化策略,即每次迭代有n個(gè)樣本,迭代前首先用當(dāng)前網(wǎng)絡(luò)測(cè)試n個(gè)樣本的損失,將其排序,取出損失最大的k個(gè)樣本,將這k個(gè)樣本損失函數(shù)向后傳播更新網(wǎng)絡(luò)的權(quán)值。
這種優(yōu)化策略會(huì)一定程度上增加網(wǎng)絡(luò)的訓(xùn)練難度,為保證網(wǎng)絡(luò)收斂正常,可以進(jìn)一步采用一種預(yù)訓(xùn)練技巧,即先直接采用隨機(jī)梯度下降算法訓(xùn)練網(wǎng)絡(luò),此時(shí)網(wǎng)絡(luò)的收斂速度是較快的,在一定迭代次數(shù)后,繼續(xù)采用上述優(yōu)化策略訓(xùn)練該網(wǎng)絡(luò),此時(shí)網(wǎng)絡(luò)會(huì)更易訓(xùn)練,收斂能夠得到保證。
3.4、肺部結(jié)節(jié)預(yù)測(cè)
使用3.3中訓(xùn)練得到的網(wǎng)絡(luò)模型預(yù)測(cè)測(cè)試樣本的真假陽性結(jié)節(jié)概率,根據(jù)預(yù)先設(shè)定的概率閾值區(qū)分真假陽性結(jié)節(jié),記錄真陽性結(jié)節(jié)的位置坐標(biāo),從而得到每個(gè)ct中肺結(jié)節(jié)檢測(cè)結(jié)果。為了獲得更為魯棒的預(yù)測(cè)結(jié)果,進(jìn)一步在樣本預(yù)測(cè)中也采用了一個(gè)優(yōu)化方法,即對(duì)測(cè)試樣本作若干次微小的平移、縮放和水平旋轉(zhuǎn)擴(kuò)展操作,對(duì)每次擴(kuò)展得到的樣本均進(jìn)行預(yù)測(cè),最終該樣本的預(yù)測(cè)結(jié)果為所有擴(kuò)展樣本的預(yù)測(cè)結(jié)果的算術(shù)平均值。這種方法可以有效地減小網(wǎng)絡(luò)過擬合對(duì)結(jié)果的影響,與融合多個(gè)相同網(wǎng)絡(luò)的模型的結(jié)果相仿,這兩種方法均可以提升最終預(yù)測(cè)結(jié)果的準(zhǔn)確性,然而擴(kuò)展測(cè)試數(shù)據(jù)與多次測(cè)試所花費(fèi)的時(shí)間遠(yuǎn)小于訓(xùn)練多個(gè)模型所花費(fèi)的時(shí)間,因而多次測(cè)試的優(yōu)化方法具有更高的可實(shí)踐性。
本發(fā)明實(shí)施實(shí)例的froc(自由接受者操作特性曲線)曲線示意圖如圖4所示,可以看出,相對(duì)于setio等人采用多視角的二維卷積神經(jīng)網(wǎng)絡(luò)的方法與qi等人采用淺層三維卷積神經(jīng)網(wǎng)絡(luò)的方法來改進(jìn)篩除假陽性結(jié)節(jié)步驟所獲得的結(jié)果(如圖5、圖6,二者均是采用與本發(fā)明相同的數(shù)據(jù)集進(jìn)行的,具體參見背景技術(shù)部分的相應(yīng)文獻(xiàn)),采用本發(fā)明的方法顯然能得到更準(zhǔn)確的檢測(cè)效果。