本發(fā)明涉及一種肺結(jié)節(jié)分類(lèi)方法，特別是涉及一種基于可遷移的多模型集成的計(jì)算機(jī)輔助肺結(jié)節(jié)分類(lèi)方法。

背景技術(shù)：

傳統(tǒng)的基于ct圖像的肺結(jié)節(jié)良性惡性分類(lèi)技術(shù)一般可分為三部分：肺結(jié)節(jié)分割、特征提取以及肺結(jié)節(jié)的良性惡性分類(lèi)。以上方法依賴(lài)于肺結(jié)節(jié)的預(yù)分割。目前的很多分割方法都依賴(lài)于算法的初始化，如區(qū)域生長(zhǎng)算法，水平集算法等。不同的初始化會(huì)對(duì)最終的分割結(jié)果產(chǎn)生不同的影響，因此，利用這樣的分割結(jié)果得到的特征，通常是不準(zhǔn)確的。

文獻(xiàn)“申請(qǐng)公布號(hào)是cn104700118a中國(guó)發(fā)明專(zhuān)利”公開(kāi)了一種基于卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)良惡性預(yù)測(cè)方法。該方法從肺結(jié)節(jié)坐標(biāo)中獲取多尺度肺結(jié)節(jié)圖像塊；根據(jù)所述多尺度肺結(jié)節(jié)圖像塊構(gòu)造所述多尺度肺結(jié)節(jié)圖像塊對(duì)應(yīng)的各個(gè)卷積神經(jīng)網(wǎng)絡(luò)；根據(jù)損失函數(shù)利用所述多尺度肺結(jié)節(jié)圖像塊訓(xùn)練所述卷積神經(jīng)網(wǎng)絡(luò)；利用訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)提取肺結(jié)節(jié)的低維特征；利用所述低維特征訓(xùn)練非線(xiàn)性分類(lèi)器，并預(yù)測(cè)未知肺結(jié)節(jié)圖像塊。

文獻(xiàn)所述方法通過(guò)利用肺結(jié)節(jié)原始圖像塊預(yù)測(cè)，這樣只可以表現(xiàn)肺結(jié)節(jié)的全局特性，而且對(duì)于一個(gè)給定的肺結(jié)節(jié)圖像，分類(lèi)的性能不僅與其全局特征，而且與其形狀特征，紋理特征也高度相關(guān)，因此會(huì)文獻(xiàn)所述方法并不能很好地進(jìn)行肺結(jié)節(jié)的分類(lèi)。

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有肺結(jié)節(jié)分類(lèi)方法準(zhǔn)確率差的不足，本發(fā)明提供一種基于可遷移的多模型集成的計(jì)算機(jī)輔助肺結(jié)節(jié)分類(lèi)方法。該方法通過(guò)訓(xùn)練三個(gè)預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)(pre-traineddcnn)，分別描述肺結(jié)節(jié)的紋理的異質(zhì)性、形狀的異質(zhì)性和全局特征，并且將深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行加權(quán)平均，每個(gè)網(wǎng)絡(luò)的權(quán)重通過(guò)誤差反向傳播機(jī)制自適應(yīng)地進(jìn)行學(xué)習(xí)，進(jìn)而提高肺結(jié)節(jié)分類(lèi)方法的準(zhǔn)確率，其中pre-traineddcnn將深度卷積神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)集上的好的圖像表征能力遷移肺結(jié)節(jié)分類(lèi)任務(wù)上，可以有效改善深度卷積神經(jīng)網(wǎng)絡(luò)在小的肺結(jié)節(jié)數(shù)據(jù)上訓(xùn)練性能。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：一種基于可遷移的多模型集成的計(jì)算機(jī)輔助肺結(jié)節(jié)分類(lèi)方法，其特點(diǎn)是包括以下步驟：

步驟一、從每一個(gè)包含肺結(jié)節(jié)的ct切片圖像中提取包含肺結(jié)節(jié)的原始圖像子塊，對(duì)該原始圖像子塊進(jìn)行預(yù)處理，分別產(chǎn)生描述紋理和形狀的肺結(jié)節(jié)圖像子塊。對(duì)原始圖像子塊進(jìn)行預(yù)處理。一方面，將原始圖像子塊的非結(jié)節(jié)區(qū)域像素值設(shè)置為0，如果結(jié)節(jié)區(qū)域大于16×16，則提取其中的16×16區(qū)域，如果結(jié)節(jié)區(qū)域小于16×16，則對(duì)結(jié)節(jié)區(qū)域不作處理，生成一系列經(jīng)過(guò)預(yù)處理的紋理圖像子塊。另一方面，將原始圖像子塊的結(jié)節(jié)區(qū)域像素值設(shè)置為255，非結(jié)節(jié)區(qū)域不做處理，生成一系列經(jīng)過(guò)預(yù)處理的形狀圖像子塊。使用最鄰近插值算法將得到原始圖像子塊、紋理圖像子塊和形狀圖像子塊的尺寸統(tǒng)一為200×200。

步驟二、構(gòu)建三個(gè)相同的預(yù)訓(xùn)練resnetdcnn模型，并且三個(gè)相同的預(yù)訓(xùn)練resnetdcnn模型都在imagenet大型數(shù)據(jù)庫(kù)上進(jìn)行了初步的訓(xùn)練。在每一個(gè)resnet模型的最后一個(gè)全連接層，隨機(jī)保留兩個(gè)節(jié)點(diǎn)，并且移除其余節(jié)點(diǎn)。使用增廣后的原始圖像子塊、紋理圖像子塊和形狀圖像子塊分別微調(diào)這三個(gè)resnetdcnn模型參數(shù)。

構(gòu)建基于誤差反向傳播的自適應(yīng)權(quán)重學(xué)習(xí)系統(tǒng)，將三個(gè)resnetdcnn模型進(jìn)行自適應(yīng)的集成。在該學(xué)習(xí)系統(tǒng)中，定義每一個(gè)resnetdcnn模型的輸出向量為xi＝(xi1，xi2)(i＝1，2，3)，該集成模型最終的輸出向量通過(guò)公式(1)進(jìn)行計(jì)算：

在公式(1)中，pk是輸入變量被預(yù)測(cè)為第k類(lèi)的可能性，ωijk是連接xij和pk的權(quán)重。

集成模型的損失函數(shù)通過(guò)公式(2)進(jìn)行計(jì)算：

在公式(2)中，y∈{1，2}是輸入數(shù)據(jù)的真實(shí)標(biāo)簽。

ωijk是根據(jù)誤差反向傳播機(jī)制進(jìn)行更新，每次迭代時(shí)ωijk的改變量根據(jù)公式(3)進(jìn)行計(jì)算：

在公式(3)中，η是模型的學(xué)習(xí)率。

步驟三、當(dāng)分類(lèi)一個(gè)肺結(jié)節(jié)的ct圖像時(shí)，首先，同樣的從每一個(gè)包含肺結(jié)節(jié)的ct切片圖像中提取包含肺結(jié)節(jié)的原始圖像子塊，對(duì)該原始圖像子塊進(jìn)行預(yù)處理并產(chǎn)生紋理子塊和形狀圖像子塊；接著，將三種類(lèi)型的圖像子塊輸入相應(yīng)的已訓(xùn)練好的tmme模型中，得到對(duì)該圖像子塊加權(quán)重之后的分類(lèi)結(jié)果。接著，基于多數(shù)表決的原則將該測(cè)試ct圖像歸入該圖像大多數(shù)切片所屬的類(lèi)別。定義ψ＝{ψ1，ψ2，...，ψs}，當(dāng)把第i個(gè)切片ψi輸入到可遷移多模型集成算法中時(shí)，得到一個(gè)二維的預(yù)測(cè)向量h(ψi)。最后，對(duì)每個(gè)切片的預(yù)測(cè)輸出進(jìn)行相加，得到肺結(jié)節(jié)ψ的預(yù)測(cè)輸出，如公式(5)所示：

本發(fā)明的有益效果是：該方法通過(guò)訓(xùn)練三個(gè)預(yù)訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)(pre-traineddcnn)，分別描述肺結(jié)節(jié)的紋理的異質(zhì)性、形狀的異質(zhì)性和全局特征，并且將深度卷積神經(jīng)網(wǎng)絡(luò)的結(jié)果進(jìn)行加權(quán)平均，每個(gè)網(wǎng)絡(luò)的權(quán)重通過(guò)誤差反向傳播機(jī)制自適應(yīng)地進(jìn)行學(xué)習(xí)，進(jìn)而提高肺結(jié)節(jié)分類(lèi)方法的準(zhǔn)確率，其中pre-traineddcnn將深度卷積神經(jīng)網(wǎng)絡(luò)在大數(shù)據(jù)集上的好的圖像表征能力遷移肺結(jié)節(jié)分類(lèi)任務(wù)上，可以有效改善深度卷積神經(jīng)網(wǎng)絡(luò)在小的肺結(jié)節(jié)數(shù)據(jù)上訓(xùn)練性能。

本發(fā)明結(jié)合肺結(jié)節(jié)全局信息、紋理信息和形狀信息，取長(zhǎng)補(bǔ)短，克服了基于單種信息的分類(lèi)方法正確率偏低的問(wèn)題。同時(shí)，使用預(yù)訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，較好的克服了圖像數(shù)量少所導(dǎo)致的深度學(xué)習(xí)分類(lèi)算法效果不佳，實(shí)現(xiàn)了準(zhǔn)確率為93％的肺結(jié)節(jié)ct圖像自動(dòng)分類(lèi)。

下面結(jié)合具體實(shí)施方式對(duì)本發(fā)明作詳細(xì)說(shuō)明。

具體實(shí)施方式

本發(fā)明基于可遷移的多模型集成的計(jì)算機(jī)輔助肺結(jié)節(jié)分類(lèi)方法具體步驟如下：

步驟一、數(shù)據(jù)預(yù)處理及數(shù)據(jù)增廣。

由于肺結(jié)節(jié)是三維空間上的類(lèi)球體，因此一個(gè)完整的肺結(jié)節(jié)ct圖像由多個(gè)切片組成?；诖爽F(xiàn)象，可以將基于ct圖像的三維肺結(jié)節(jié)分類(lèi)問(wèn)題轉(zhuǎn)換為二維空間上的分類(lèi)問(wèn)題。首先在每一個(gè)包含肺結(jié)節(jié)的二維切片上提取能包含肺結(jié)節(jié)完整信息的原始(oa)圖像子塊從而來(lái)描述肺結(jié)節(jié)的全局信息。為了突顯肺結(jié)節(jié)的紋理(hvv)和形狀(hs)特性，接下來(lái)對(duì)oa圖像子塊進(jìn)行預(yù)處理。一方面，將oa圖像子塊的非結(jié)節(jié)區(qū)域像素值設(shè)置為0，如果結(jié)節(jié)區(qū)域大于16×16，則提取其中的16×16區(qū)域使其包含肺結(jié)節(jié)的像素最多，如果結(jié)節(jié)區(qū)域小于16×16，則對(duì)結(jié)節(jié)區(qū)域不作處理，從而生成一系列經(jīng)過(guò)預(yù)處理的hvv圖像子塊。另一方面，將oa圖像子塊的結(jié)節(jié)區(qū)域像素值設(shè)置為255，非結(jié)節(jié)區(qū)域不做處理，從而生成一系列經(jīng)過(guò)預(yù)處理的hs圖像子塊。為了得到大小一致的圖像子塊，使用最鄰近插值算法將得到oa圖像子塊，hvv圖像子塊，hs圖像子塊的尺寸統(tǒng)一調(diào)整為200×200。

為了使訓(xùn)練數(shù)據(jù)具有更加豐富的特性，在此步驟中還利用了數(shù)據(jù)增廣的思想。使用旋轉(zhuǎn)，剪切，翻轉(zhuǎn)和平移四種圖像變換方法，每次只選用這四種變換中的一種或幾種，使訓(xùn)練數(shù)據(jù)增廣至原來(lái)的4倍。

步驟二、可遷移多模型集成算法。

在得到這些處理后的數(shù)據(jù)之后，接下來(lái)用這些處理后的數(shù)據(jù)來(lái)構(gòu)建可遷移多模型集成算法。

首先，構(gòu)建三個(gè)相同的預(yù)訓(xùn)練resnetdcnn模型，每一個(gè)resnet模型都包括50個(gè)可學(xué)習(xí)的層，并且三個(gè)模型都已經(jīng)在imagenet大型數(shù)據(jù)庫(kù)上進(jìn)行了初步的訓(xùn)練。由于肺結(jié)節(jié)分類(lèi)問(wèn)題是二分類(lèi)問(wèn)題，因此在每一個(gè)resnet模型的最后一個(gè)全連接層，隨機(jī)的保留兩個(gè)節(jié)點(diǎn)，并且移除其余的節(jié)點(diǎn)。在構(gòu)建了三個(gè)resnet模型之后，接下來(lái)使用增廣后的oa圖像子塊，hvv圖像子塊，hs圖像子塊分別微調(diào)這三個(gè)resnet模型參數(shù)，從而更全面的描述肺結(jié)節(jié)的全局，紋理和形狀特性。

最后構(gòu)建一套基于誤差反向傳播的自適應(yīng)權(quán)重學(xué)習(xí)系統(tǒng)將三個(gè)模型進(jìn)行了自適應(yīng)的集成。在該系統(tǒng)中，定義每一個(gè)resnet模型的輸出向量為xi＝(xi1，xi2)(i＝1，2，3)，那么該集成模型最終的輸出向量可以通過(guò)公式(1)進(jìn)行計(jì)算：

在公式(1)中，pk是輸入變量被預(yù)測(cè)為第k類(lèi)的可能性，ωijk是連接xij和pk的權(quán)重。

集成模型的損失函數(shù)可以通過(guò)公式(2)進(jìn)行計(jì)算：

在公式(2)中，y∈{1，2}是輸入數(shù)據(jù)的真實(shí)標(biāo)簽。

ωijk是根據(jù)誤差反向傳播機(jī)制進(jìn)行更新，每次迭代時(shí)ωijk的改變量可以根據(jù)公式(3)進(jìn)行計(jì)算：

在公式(3)中，η是模型的學(xué)習(xí)率。

步驟三、基于肺結(jié)節(jié)的分類(lèi)。

當(dāng)使用本方法分類(lèi)一個(gè)肺結(jié)節(jié)的ct圖像時(shí)，首先，同樣的從每一個(gè)包含肺結(jié)節(jié)的ct切片圖像中提取剛剛好包含肺結(jié)節(jié)的原始圖像子塊，對(duì)該原始圖像子塊進(jìn)行預(yù)處理并產(chǎn)生紋理和形狀圖像子塊；接著，將三種類(lèi)型的圖像子塊輸入相應(yīng)的已訓(xùn)練好的tmme模型中，得到對(duì)該圖像子塊加權(quán)重之后的分類(lèi)結(jié)果。由于肺結(jié)節(jié)ψ是一個(gè)由s個(gè)切片組成的三維的類(lèi)球體，因此基于多數(shù)表決的原則將該測(cè)試ct圖像歸入該圖像大多數(shù)切片所屬的類(lèi)別。定義ψ＝{ψ1,ψ2,...，ψs}，當(dāng)把第i個(gè)切片ψi輸入到可遷移多模型集成算法中時(shí)，這時(shí)候可以得到一個(gè)二維的預(yù)測(cè)向量h(ψi)。最后對(duì)每個(gè)切片的預(yù)測(cè)輸出進(jìn)行相加，可以得到肺結(jié)節(jié)ψ的預(yù)測(cè)輸出，如公式(5)所示：