本發(fā)明涉及一種圖像分類方法，特別是針對(duì)具有類內(nèi)差異大(如來自身體不同部位的CT圖像)、類間差異小(如CT圖像和MRI圖像)的醫(yī)學(xué)圖像分類問題，同時(shí)使用基于深度卷積神經(jīng)網(wǎng)絡(luò)的特征提取和由領(lǐng)域知識(shí)指導(dǎo)的視覺特征提取，并且將得到的深層和淺層特征結(jié)合起來訓(xùn)練分類器，較好的實(shí)現(xiàn)了醫(yī)學(xué)圖像分類。

背景技術(shù)：

圖像分類主要包括特征提取和分類器構(gòu)造兩個(gè)主要環(huán)節(jié)。其中，特征提取旨在將圖像轉(zhuǎn)化為一組便于后續(xù)處理的數(shù)值特征，是分類器構(gòu)造的基礎(chǔ)，在解決圖像分類問題中顯得尤為重要。傳統(tǒng)的視覺特征一般包括圖像的顏色、紋理、形狀特征和拓?fù)浣Y(jié)構(gòu)特征等，其中著名的有模糊顏色紋理直方圖(Fuzzy Color and Texture Histogram，F(xiàn)CTH)、顏色邊緣方向算子(Color and Edge Directivity Descriptor，CEDD)、灰度共生矩陣(Gray Level Co-Occurrence Matrix，GLCM)、局部二值模式(Local Binary Pattern，LBP)特征、Gabor濾波器特征和尺度不變特征變換(Scale-invariant feature transform，SIFT)等。對(duì)于醫(yī)學(xué)圖像分類問題，由于同一模態(tài)的圖像(如CT圖像)可能采集自人體的不同部位，從而具有較大的類內(nèi)差異；同時(shí)，當(dāng)兩種不同模態(tài)的圖像(如CT圖像和MRI圖像)采集自人體的同一部位時(shí)，又具有較小的類間差異。因此，尋找能夠反映各種模態(tài)的醫(yī)學(xué)圖像的固有特點(diǎn)而非人體的解剖機(jī)構(gòu)信息的圖像描述特征，是解決醫(yī)學(xué)圖像分類問題的難點(diǎn)和關(guān)鍵所在。

2006年以來，深度學(xué)習(xí)技術(shù)受到了越來越多的重視，被廣泛應(yīng)用于語音識(shí)別、自然語言理解、廣告分類、游戲設(shè)計(jì)和圖像處理等領(lǐng)域，甚至被認(rèn)為是大數(shù)據(jù)時(shí)代最成功的機(jī)器學(xué)習(xí)技術(shù)。近年來，各類深度學(xué)習(xí)技術(shù)在自然景物圖像分類競賽中取得了令人矚目的成績，特別是深度卷積神經(jīng)網(wǎng)絡(luò)將特征提取和分類集成在一個(gè)統(tǒng)一的網(wǎng)絡(luò)結(jié)構(gòu)中進(jìn)行，通過訓(xùn)練，可以自動(dòng)學(xué)習(xí)到特征提取所需的卷積模板，其有效性已經(jīng)在自然景物圖像分類中得到了驗(yàn)證。但是，一方面深度學(xué)習(xí)網(wǎng)絡(luò)通常都要求海量的訓(xùn)練數(shù)據(jù)，這對(duì)于醫(yī)學(xué)圖像而言，很難實(shí)現(xiàn)；另一方面，各種醫(yī)學(xué)影像技術(shù)涉及各自獨(dú)特的物理過程，所獲得的圖像有不同的物理意義和自身特點(diǎn)，目前很多醫(yī)學(xué)圖像分類方法都是根據(jù)這些特點(diǎn)來尋找合適的圖像描述特征，也取得了不錯(cuò)的效果。

技術(shù)實(shí)現(xiàn)要素：

要解決的技術(shù)問題

為了避免現(xiàn)有技術(shù)由于醫(yī)學(xué)圖像數(shù)量少所導(dǎo)致的基于深度學(xué)習(xí)的分類算法效果不佳，以及基于視覺特征的傳統(tǒng)分類方法正確率偏低的問題，本發(fā)明提出一種結(jié)合深層特征提取和淺層特征提取的醫(yī)學(xué)圖像分類方法。

技術(shù)方案

一種結(jié)合深層特征提取和淺層特征提取的醫(yī)學(xué)圖像分類方法，其特征在于步驟如下：

步驟1：訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型、詞袋模型和BP神經(jīng)網(wǎng)絡(luò)：

步驟1a：從每一幅訓(xùn)練醫(yī)學(xué)圖像中隨機(jī)提取若干個(gè)大小為L×L圖像子塊，使用雙線性插值算法將所有的圖像子塊的尺寸調(diào)整一致；

步驟1b：采用隨機(jī)梯度下降方法使用圖像子塊去訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)模型；提取深度卷積神經(jīng)網(wǎng)絡(luò)的全連接層作為深層特征；

步驟1c：采用快速魯棒特征算法SURF提取圖像子塊中的關(guān)鍵點(diǎn)，使用尺度不變特征算子計(jì)算關(guān)鍵點(diǎn)附近局部信息的特征，采用向量量化算法VQ將全部關(guān)鍵點(diǎn)附近局部信息特征聚類構(gòu)成詞袋模型；將全部關(guān)鍵點(diǎn)附近局部信息特征映射到不同類聚，計(jì)算這些特征歸屬不同類別的頻率直方圖，將頻率直方圖作為淺層特征；

步驟1d：將每一個(gè)圖像子塊的深層特征和淺層特征拼接在一起，然后將所有的拼接特征訓(xùn)練一個(gè)BP神經(jīng)網(wǎng)絡(luò)；

步驟2：從待分類醫(yī)學(xué)圖像中隨機(jī)提取若干個(gè)大小為L×L圖像子塊，使用雙線性插值算法將所有的圖像子塊的尺寸調(diào)整一致；

步驟3：將圖像子塊輸入到訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)模型，提取深度卷積神經(jīng)網(wǎng)絡(luò)的全連接層作為深層特征；

步驟4：將圖像子塊輸入到訓(xùn)練好的詞袋模型，提取詞袋模型的頻率直方圖作為淺層特征；

步驟5：將每個(gè)圖像子塊的深層特征和淺層特征拼接在一起，將拼接特征輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到每個(gè)圖像子塊的類別；

步驟6：基于多數(shù)表決的原則對(duì)待分類醫(yī)學(xué)圖像進(jìn)行分類：即將待分類醫(yī)學(xué)圖像歸入從其上提取的最多圖像子塊所屬的類別。

所述的其中W為測(cè)試圖像的寬度、H為測(cè)試圖像的高度。

步驟1b中訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)模型中：網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.6，最大迭代次數(shù)為500，每一批訓(xùn)練所用的樣本量為50。

步驟1d中訓(xùn)練時(shí)采用批訓(xùn)練模式，每一批包括50個(gè)樣本，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)率為3，動(dòng)量比設(shè)置為0.5，最大迭代步數(shù)為100。

有益效果

本發(fā)明提出的一種結(jié)合深層特征提取和淺層特征提取的醫(yī)學(xué)圖像分類方法，該方法較好的克服了由于醫(yī)學(xué)圖像數(shù)量少所導(dǎo)致的基于深度學(xué)習(xí)的分類算法效果不佳，以及基于視覺特征的傳統(tǒng)分類方法正確率偏低的問題，通過將深度學(xué)習(xí)技術(shù)的特征提取能力與傳統(tǒng)方法中的視覺描述能力相結(jié)合，實(shí)現(xiàn)了正確率較高的醫(yī)學(xué)圖像自動(dòng)分類，為計(jì)算機(jī)輔助的醫(yī)學(xué)圖像存儲(chǔ)、管理、分析和計(jì)算機(jī)輔助診斷等應(yīng)用提供了技術(shù)支撐；同時(shí)，本方法也可以應(yīng)用于其它圖像分類問題。

附圖說明

圖1結(jié)合深層特征提取和淺層特征提取的醫(yī)學(xué)圖像分類算法流程

具體實(shí)施方式

現(xiàn)結(jié)合實(shí)施例、附圖對(duì)本發(fā)明作進(jìn)一步描述：

本發(fā)明提供了一種同時(shí)進(jìn)行基于深度卷積神經(jīng)網(wǎng)絡(luò)的特征提取和由領(lǐng)域知識(shí)指導(dǎo)的啟發(fā)式特征提取，并結(jié)合使用所得到的兩類特征訓(xùn)練分類器，實(shí)現(xiàn)醫(yī)學(xué)圖像分類的創(chuàng)新方法。

該方法從每一幅醫(yī)學(xué)圖像中提取若干小的圖像塊，每一個(gè)圖像塊的類別就是其所在圖像的類別，從而將基于圖像的分類問題轉(zhuǎn)換為基于圖像塊的分類問題。首先，使用從所有訓(xùn)練圖像中提取的圖像塊采用隨機(jī)梯度下降方法訓(xùn)練一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)模型，選取該網(wǎng)絡(luò)的全連接層的輸出作為相應(yīng)圖像塊的描述特征，稱之為深層特征；接著，對(duì)每一個(gè)圖像塊提取能夠描述關(guān)鍵點(diǎn)附近局部信息的特征，在本發(fā)明中采用了SURF特征，并利用所有圖像塊上的全部關(guān)鍵點(diǎn)特征訓(xùn)練一個(gè)詞袋模型(Bag of Keypoints，BoK)，利用該模型得到的詞袋頻率統(tǒng)計(jì)直方圖描述每個(gè)圖像塊上的局部視覺信息的特征，由于該特征提取過程中并不涉及深度學(xué)習(xí)，所以將其稱為淺層特征；最后，將每一個(gè)圖像塊的深層特征和淺層特征拼接在一起，用所有這些特征去訓(xùn)練一個(gè)分類器，本發(fā)明中采用的是BP神經(jīng)網(wǎng)絡(luò)。當(dāng)使用本方法分類一幅醫(yī)學(xué)圖像時(shí)，首先，同樣的從該圖像中提取若干小的圖像塊；接著，將每一個(gè)圖像塊分別輸入訓(xùn)練好的深度卷積網(wǎng)絡(luò)模型和詞袋模型，提取其深層和淺層特征，并將兩種特征拼接在一起；然后，將每一個(gè)拼接特征輸入訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)，得到對(duì)該圖像塊的分類結(jié)果；最后，基于多數(shù)表決的原則對(duì)測(cè)試圖像進(jìn)行分類，即將測(cè)試圖像歸入從其上提取的最多圖像塊所屬的類別。

1.提取圖像子塊

基本思想是將基于圖像的分類轉(zhuǎn)換為基于圖像子塊的分類問題來解決。設(shè)原始圖像I寬度為W、高度為H，我們從圖像中隨機(jī)提取100個(gè)部分交疊的邊長為L(這里，的圖像子塊。由于每個(gè)圖像的原始大小未必一致，即每個(gè)原始圖像的W和H的值不一致，所以從原始圖像中提取出的圖像子塊的邊長L大小也不一定相同，為了得到大小一致的圖像子塊，我們使用雙線性插值算法將大小不一的圖像子塊的尺寸統(tǒng)一調(diào)整為56×56。

2.基于深度學(xué)習(xí)模型的深層特征提取

我們以LeNet-5模型為基礎(chǔ)，構(gòu)造了深度卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包括6個(gè)子層：第一層是采用6個(gè)5×5卷積模板的卷積層，為了消除卷積邊界效應(yīng)的影響，圖像塊兒四周邊界在卷積時(shí)被丟棄；第二層是一個(gè)最大降采樣層，采用2×2區(qū)域中的最大值像素來代替該區(qū)域；第三層同樣是采用2個(gè)5×5卷積模板的卷積層；第四層是另一個(gè)2×2的最大降采樣層；第五層是一個(gè)具有1452個(gè)神經(jīng)節(jié)點(diǎn)的全連接層，使用sigmoid激活函數(shù)，且沒有經(jīng)過降采樣或歸一化處理；第六層為輸出層，包括兩個(gè)神經(jīng)節(jié)點(diǎn)，同樣采用sigmoid激活函數(shù)。該網(wǎng)絡(luò)的前四層扮演了特征提取的角色，第五層和第六層扮演了分類器的角色。

給定一個(gè)56×56的圖像塊作為網(wǎng)絡(luò)的輸入，前五層的網(wǎng)絡(luò)輸出分別為6個(gè)52×52的特征矩陣、6個(gè)26×26的特征矩陣、12個(gè)22×22的特征矩陣、12個(gè)11×11的特征矩陣和一個(gè)1452維的特征向量。在訓(xùn)練過程中，我們?cè)O(shè)置網(wǎng)絡(luò)的學(xué)習(xí)率為0.6，最大迭代次數(shù)為500，每一批訓(xùn)練所用的樣本量為50。當(dāng)網(wǎng)絡(luò)訓(xùn)練至收斂后，我們提取第五層網(wǎng)絡(luò)輸出的1452維向量作為輸入圖像塊的深層特征。

3.領(lǐng)域知識(shí)啟發(fā)下的淺層特征提取

不同醫(yī)學(xué)影像技術(shù)所得到的圖像反映的是人體不同的理化特性或生理過程，因此這些圖像具有不同的特點(diǎn)，特別表現(xiàn)在圖像的局部細(xì)節(jié)上。例如，CT圖像中骨頭呈現(xiàn)出高亮，而MRI圖像中不同軟組織呈現(xiàn)出較好的對(duì)比度。為了提取圖像局部所呈現(xiàn)的這些視覺特征，我們采用了將尺度不變特征與詞袋模型相結(jié)合的方法。首先，利用快速魯棒特征(Speeded-Up Robust Feature，SURF)算法提取圖像塊兒中的關(guān)鍵點(diǎn)；接著，使用尺度不變特征算子，在以每個(gè)關(guān)鍵點(diǎn)為中心的小區(qū)域內(nèi)計(jì)算一個(gè)128維的尺度不變特征；然后，使用向量量化(Vector Quantization，VQ)算法將所有圖像塊中關(guān)鍵點(diǎn)的特征聚為500類，構(gòu)成詞袋模型，每個(gè)類在該模型中被稱為一個(gè)單詞；最后，將每個(gè)圖像塊中全部關(guān)鍵點(diǎn)特征映射到不同類聚，計(jì)算這些特征歸屬不同類的頻率直方圖。這個(gè)500維的直方圖就是每一個(gè)圖像塊的淺層特征。

4.構(gòu)造BP分類器

對(duì)于每一個(gè)圖像塊，我們將其1452維深層特征和500維淺層特征拼在一起，構(gòu)成了一個(gè)維度為1952的組合特征。我們使用所有從訓(xùn)練圖像中提取的圖像塊的組合特征訓(xùn)練一個(gè)單隱層的BP神經(jīng)網(wǎng)絡(luò)作為圖像塊的分類器。在該網(wǎng)絡(luò)中，輸入層有1952個(gè)節(jié)點(diǎn)，隱藏層有200個(gè)節(jié)點(diǎn)，輸出層有2個(gè)節(jié)點(diǎn)。隱藏層使用的是優(yōu)化的tanh激活函數(shù)，輸出層使用sigmoid激活函數(shù)。訓(xùn)練時(shí)采用批訓(xùn)練模式，每一批包括50個(gè)樣本，設(shè)置網(wǎng)絡(luò)學(xué)習(xí)率為3，動(dòng)量比(momentum rate)設(shè)置為0.5，最大迭代步數(shù)為100。

5.醫(yī)學(xué)圖像的分類

有了特征提取方案和訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)、詞袋模型和BP神經(jīng)網(wǎng)絡(luò)，整個(gè)醫(yī)學(xué)圖像的分類工作可以分為以下幾個(gè)步驟進(jìn)行。

1)、從一幅待分類的測(cè)試圖像中隨機(jī)提取49個(gè)大小為L×L的圖像塊，然后通過雙線性插值算法將每個(gè)圖像塊的大小調(diào)整為56×56；

2)、將圖像塊輸入到訓(xùn)練好的深度卷積神經(jīng)網(wǎng)絡(luò)中，由第五層的輸出得到1452維的深層特征；

3)、利用訓(xùn)練好的詞袋模型，提取每個(gè)圖像塊的淺層特征；

4)、對(duì)每個(gè)圖像子塊，結(jié)合其深層特征和淺層特征形成一個(gè)1952維的特征向量，將其輸入到訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò)中，預(yù)測(cè)出該圖像子塊所屬類別；

5)、根據(jù)BP網(wǎng)絡(luò)預(yù)測(cè)的這49個(gè)圖像塊的類別，采用多數(shù)投票機(jī)制進(jìn)行測(cè)試圖像類別的最終判定，即將測(cè)試圖像歸入包含圖像塊最多的那個(gè)類。