本發(fā)明涉及醫(yī)學(xué)圖像分割和模式識(shí)別與機(jī)器學(xué)習(xí)領(lǐng)域，特別涉及基于深度神經(jīng)網(wǎng)絡(luò)和多模態(tài)MRI圖像的腦腫瘤分割方法。

背景技術(shù)：

在圖像處理技術(shù)和模式識(shí)別于機(jī)器學(xué)習(xí)理論和方法蓬勃發(fā)展的今天，醫(yī)學(xué)圖像處理作為關(guān)系人類生活最密切的領(lǐng)域之一，跟隨人工智能的腳步越來越受到人們關(guān)注。關(guān)于腦腫瘤的醫(yī)學(xué)圖像分割作為圖像分割領(lǐng)域的一個(gè)重要分支，在腫瘤的計(jì)算機(jī)輔助診斷中具有重要意義，特別是對(duì)三維可視化、組織定量分析和制定手術(shù)計(jì)劃等尤為重要。隨著MRI(Magnetic Resonance Imaging)成像技術(shù)的發(fā)展，對(duì)單個(gè)病人獲得相應(yīng)的多模態(tài)MRI圖像已經(jīng)成為一種診斷趨勢，這也為發(fā)展一種基于多模態(tài)MRI圖像的腫瘤分割方法提供必要前提。

多模態(tài)MRI圖像，就是利用在MRI成像過程中利用不同的脈沖序列生成一系列不用的MRI圖像，比如：Flair、T1、T1c和T2等模態(tài)。以Flair和T2序列為例：腫瘤在這兩種MRI圖像的都呈現(xiàn)亮的高信號(hào)，由于細(xì)胞自身病變的原因使得結(jié)合水含量急劇上升，原本組織的中的自由水成分轉(zhuǎn)換成結(jié)合水，而結(jié)合水在Flair和T2模態(tài)的MRI中以亮信號(hào)顯現(xiàn)，自由水以暗信號(hào)顯現(xiàn)，所以這兩種模態(tài)中的MRI圖像里亮信號(hào)的區(qū)域就基本描述的病變組織區(qū)域。

近年來，醫(yī)學(xué)圖像處理的頂級(jí)會(huì)議之一的MICCAI連續(xù)多次舉行了相關(guān)的腫瘤分割競賽，為推動(dòng)腦腫瘤分割技術(shù)的發(fā)展產(chǎn)生極大影響?；贛RI圖像的腦腫瘤分割方法主要分為人工手動(dòng)分割、半自動(dòng)分割和自動(dòng)分割三種。隨著人工智能技術(shù)的引入，傳統(tǒng)的腫瘤分割方法開始發(fā)生了根本性的變化：從基于閾值或者模板的方式發(fā)展成為基于學(xué)習(xí)的方式。深度神經(jīng)網(wǎng)絡(luò)的引入，又為這一關(guān)鍵領(lǐng)域，增添了時(shí)代的智能氣息。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于深度學(xué)習(xí)和多模MRI圖像的腦腫瘤分割方法，解決現(xiàn)有技術(shù)中腫瘤圖像分割過于粗糙、具有冗余圖像信息等技術(shù)問題。

根據(jù)本發(fā)明，基于深度神經(jīng)網(wǎng)絡(luò)和多模態(tài)MRI圖像的腦腫瘤分割方法，包括步驟：

步驟1、設(shè)置2個(gè)3層的卷積層和1個(gè)3層全連接及1個(gè)分類層，輸入層對(duì)應(yīng)著多模態(tài)MRI圖像且輸出層每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)腫瘤類別標(biāo)簽，構(gòu)造出深度神經(jīng)網(wǎng)絡(luò)；

步驟2、采集包含腦腫瘤的多模態(tài)MRI圖像，對(duì)多模態(tài)MRI圖像進(jìn)行對(duì)比度提升操作和灰度值歸一化操作，提取出多模態(tài)MRI圖像序列，在提取的多模態(tài)MRI圖像序列中采樣腫瘤圖像塊，對(duì)腫瘤圖像塊進(jìn)行灰度值歸一化，獲得歸一化后的腫瘤圖像塊，從而完成多模態(tài)MRI圖像預(yù)處理；

步驟3、將腦腫瘤分割任務(wù)作為基于多模態(tài)MRI圖像多特征的多分類問題，利用歸一化后的腫瘤圖像塊作為訓(xùn)練樣本并將其輸入至深度神經(jīng)網(wǎng)絡(luò)，再采用無監(jiān)督的逐步逐層訓(xùn)練方法提取腦腫瘤特征，并利用反向傳播算法和隨機(jī)梯度下降算法有監(jiān)督地最小化損失函數(shù)，從而獲得優(yōu)化網(wǎng)絡(luò)連接權(quán)重的深度神經(jīng)網(wǎng)絡(luò)；

步驟4、利用深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的腫瘤圖像塊及其均值和標(biāo)準(zhǔn)差，將待分割腫瘤圖像塊所屬多模態(tài)MRI圖像序列進(jìn)行歸一化，并將歸一化后的多模態(tài)MRI圖像序列輸入到具有優(yōu)化網(wǎng)絡(luò)連接權(quán)重的深度神經(jīng)網(wǎng)絡(luò)，得到分類層的節(jié)點(diǎn)值，根據(jù)節(jié)點(diǎn)值，分割出腦腫瘤圖像及腦腫瘤內(nèi)部結(jié)構(gòu)圖像。

上述方法中，步驟1中構(gòu)建的深度網(wǎng)絡(luò)模型，以多模態(tài)多通道的MRI圖像作為數(shù)據(jù)輸入，以2個(gè)階層6層的卷積網(wǎng)絡(luò)結(jié)合3層的全連接層提取腫瘤的抽象特征映射的網(wǎng)絡(luò)結(jié)構(gòu)。

上述方法中，步驟2中對(duì)多模態(tài)MRI圖像進(jìn)行對(duì)比度提升和灰度歸一化操作：

$f(x,y)=\frac{GW-BW}{L_{max}-L_{min}}\left(\mathrm{\α}L\right(x,y)+\mathrm{\β}-L_{min})+BW$

其中：L(x,y)是MRI圖像的原始直方圖，L_max和L_min是它的最大和最小灰度級(jí)，α>0是對(duì)比度提升的增益參數(shù)，β是對(duì)比度提升的偏移參數(shù)，f(x,y)是對(duì)比度提升和歸一化之后的圖像的直方圖，GW和BW是歸一化之后圖像的直方圖的最大和最小灰度級(jí)。

上述方法中，步驟3中訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)使用的損失函數(shù)：

loss(w,b)＝mean(-ln(p(Y＝y(tǒng)|x,w,b)))+λ₁||w||₁+λ₂||w||²

其中，mean(-ln(p(Y＝y(tǒng)|x,w,b)))是負(fù)的平均softmax似然概率，λ₁||w||₁+λ₂||w||²是正則項(xiàng)，λ₁、λ₂是相應(yīng)的正則系數(shù)。

上述方法中，步驟4中分通道逐模態(tài)對(duì)輸入的測試模型的多模態(tài)MRI圖像塊進(jìn)行地歸一化的預(yù)處理操作，在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型的過程中分別計(jì)算多通道的MRI圖像塊的均值和標(biāo)準(zhǔn)差，然后利用相應(yīng)輸入通道訓(xùn)練過程中的多模態(tài)MRI圖像塊的均值和方差歸一化要輸入到測試模型的多模態(tài)MRI圖像塊。

與現(xiàn)有技術(shù)相比，本發(fā)明有益效果：

為了充分發(fā)掘MRI圖像中的腦腫瘤信息，本發(fā)明在傳統(tǒng)使用單一模態(tài)的MRI圖像進(jìn)行腫瘤圖像分割的基礎(chǔ)上，引入多模態(tài)MRI圖像信息，構(gòu)建多模態(tài)多通道的MRI圖像數(shù)據(jù)輸入，通過對(duì)腫瘤信息的建模學(xué)習(xí)，本發(fā)明構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)對(duì)腫瘤及內(nèi)部結(jié)構(gòu)的比較精確地分割；提升了腫瘤和正常組織的可分辨性；在卷積輸出層之后采用最大值池化操作消除可能的冗余特征，在消除冗余特征的基礎(chǔ)上利用全連接層獲取進(jìn)一步的特征抽象。

附圖說明

圖1是本發(fā)明中基于深度神經(jīng)網(wǎng)絡(luò)和多模態(tài)MRI圖像的腦腫瘤分割方法的基本流程圖；

圖2是本發(fā)明所構(gòu)建的基本深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)圖；

圖3是本發(fā)明中深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試基本流程；

圖4是本發(fā)明所構(gòu)造的深度神經(jīng)網(wǎng)絡(luò)的一個(gè)具體樣例流程圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施與和附圖，對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。

本發(fā)明提出的一種基于深度神經(jīng)網(wǎng)絡(luò)和多模態(tài)MRI圖像的腦腫瘤分割放大，能夠廣泛的應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域，特別是腦腫瘤分割方面。

圖1示出了本發(fā)明提出的基于深度神經(jīng)網(wǎng)絡(luò)和多模態(tài)MRI圖像的腦腫瘤分割方法的步驟流程。如圖1所示，該方法包括：

步驟1、構(gòu)造深度神經(jīng)網(wǎng)絡(luò)，包含2個(gè)3層的卷積層和1個(gè)3層全連接及1個(gè)分類層深度卷積神經(jīng)網(wǎng)絡(luò)，輸入層對(duì)應(yīng)著多模態(tài)MRI圖像，輸出層每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)腫瘤類別標(biāo)簽；

圖2示出了本發(fā)明中所構(gòu)造和使用的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。如圖2所示，這是一個(gè)11層的深度神經(jīng)網(wǎng)絡(luò)：第1層為數(shù)據(jù)輸入層，第2-4層和第5-7層為的兩個(gè)階段的卷積層，第8-10層為全連接層，最后1層為基于softmax的預(yù)測分類層。其中，輸入層對(duì)應(yīng)著提取的多模態(tài)MRI圖像序列的圖像塊，以N×M×M的尺寸作為輸入，其中N表示輸入的多模態(tài)MRI圖像的種類數(shù)，M×M為圖像塊的尺寸；在卷積層采用3×3樣式的級(jí)聯(lián)層，以在減少連通權(quán)值的同時(shí)減小了過擬合的可能性，其中卷積核h_s(也就是濾波器)為：

$h_s=b_s+\underset{r}{\Σ}{w}_{sr}*X_r$

其中，X_r是第r個(gè)輸入模態(tài)通道，w_sr是相應(yīng)通道子核，*實(shí)卷積操作，b_s是偏移項(xiàng)。由于卷積層卷積濾波之后的特征映射可能包含大量的冗余信息，從而使得這種特征映射對(duì)于小圖像更緊湊且具有很小變化性，因此，在卷積輸出層之后采用最大值池化操作消除可能的冗余特征。在全連接層，所有的神經(jīng)元都暴露在經(jīng)過卷積濾波后的特征映射之下，為了能夠快速有效地獲取卷積濾波后的特征映射，采用一種非線性漏隙修正激活函數(shù)(LReLu)將特征映射到全連接層,LReLu定義為:

σ(h)＝max(0,h)+αmin(0,h)

其中，α為漏隙參數(shù)。在最后的輸出分類層，利用softmax函數(shù)：生成分類標(biāo)簽y的后驗(yàn)概率，y＝{0,1,…,n}，這里n等于要分割的腫瘤類別數(shù)。softmax函數(shù)定義為：

$p(Y=y|x,w,b)=\frac{e^{w_{y}x+b_y}}{{\mathrm{\Σ}}_j{e}^{w_{j}x+b_j}}$

其中，w_j是第j類的線性參數(shù)向量，b_j是其偏移權(quán)重，x對(duì)應(yīng)著分類層之前的全連接層的輸出響應(yīng)向量。

步驟2、多模態(tài)MRI圖像進(jìn)行預(yù)處理，為了保障腫瘤分割有效進(jìn)行，多模態(tài)MRI圖像在輸入到深度神經(jīng)網(wǎng)絡(luò)模型之前，需要對(duì)MRI圖像進(jìn)行對(duì)比度提升和灰度值歸一化等預(yù)處理操作。其中，對(duì)比度提升主要是為了提高腫瘤和正常組織的可分辨性；在對(duì)比度提升之后的MRI圖像上，通過歸一化函數(shù)進(jìn)行灰度值歸一化。對(duì)比度提升和灰度歸一化操作函數(shù)f(x,y)定義為：

$f(x,y)=\frac{GW-BW}{L_{max}-L_{min}}\left(\mathrm{\α}L\right(x,y)+\mathrm{\β}-L_{min})+BW$

其中：L(x,y)是MRI圖像的原始直方圖，L_max和L_min是它的最大和最小灰度級(jí)，α>0是對(duì)比度提升的增益參數(shù)，β是對(duì)比度提升的偏移參數(shù)。f(x,y)是對(duì)比度提升和歸一化之后的圖像的直方圖。GW和BW是歸一化之后圖像的直方圖的最大和最小灰度級(jí)。

步驟3、由于圖像分割與分類天生的相關(guān)性，基于多模態(tài)MRI圖像的腦腫瘤分割問題，可以描述為：在MRI圖像中，對(duì)不同腫瘤結(jié)構(gòu)進(jìn)行語義劃分的過程，具體來講就是利用不同腫瘤結(jié)構(gòu)之間的特征描述差異利用某種有效的技術(shù)手段進(jìn)行類別語義劃分。基于這種思想，具體到本發(fā)明，就是利用深度神經(jīng)網(wǎng)絡(luò)對(duì)多模態(tài)MRI腫瘤圖像中不同的腫瘤結(jié)構(gòu)進(jìn)行特征提取并最終進(jìn)行腫瘤分割和結(jié)構(gòu)分類的過程，也就是本發(fā)明提出的：將腦腫瘤分割任務(wù)作為基于多模態(tài)MRI圖像多特征的多分類問題。訓(xùn)練模型權(quán)值參數(shù)，通過構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)，將腦腫瘤分割任務(wù)看作基于多模態(tài)MRI圖像的多特征的多分類問題，利用步驟2歸一化后的腫瘤圖像塊作為訓(xùn)練樣本，采用無監(jiān)督的逐步逐層的訓(xùn)練方法提取腦腫瘤的特征，并結(jié)合反向傳播和隨機(jī)梯度下降算法有監(jiān)督地最小化損失函數(shù)：

loss(w,b)＝mean(-ln(p(Y＝y(tǒng)|x,w,b)))+λ₁||w||₁+λ₂||w||²

其中，mean(-ln(p(Y＝y(tǒng)|x,w,b)))是負(fù)的平均softmax似然概率，λ₁||w||₁+λ₂||w||²是正則項(xiàng)，λ₁、λ₂是相應(yīng)的L1和L2的正則系數(shù)。

圖3示出了本發(fā)明所構(gòu)造和使用的深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試過程。如圖3中訓(xùn)練過程所示，采用帶有腫瘤標(biāo)簽的多模態(tài)MRI圖像作為訓(xùn)練樣本，經(jīng)過預(yù)處理輸入到深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練網(wǎng)絡(luò)模型，通過以最小化損失函數(shù)目標(biāo)函數(shù)為目標(biāo)獲得最終優(yōu)化的深度神經(jīng)網(wǎng)絡(luò)模型。

步驟4、測試模型，利用訓(xùn)練過程中的腫瘤圖像塊及其均值和標(biāo)準(zhǔn)差，將待分割腫瘤圖像序列的圖像塊歸一化，并將歸一化后的圖像序列輸入到具有優(yōu)化網(wǎng)絡(luò)連接權(quán)重的深度神經(jīng)網(wǎng)絡(luò)，得到分類層的節(jié)點(diǎn)值，據(jù)此得到待分割的腦腫瘤圖像的腫瘤標(biāo)簽及內(nèi)部結(jié)構(gòu)的分割。

圖3中間的測試部分示出了模型測試的流程，使用經(jīng)過訓(xùn)練得到的最優(yōu)的權(quán)值參數(shù)配置到深度網(wǎng)絡(luò)模型，利用訓(xùn)練過程中使用的圖像塊的均值和標(biāo)準(zhǔn)差歸一化之后的測試圖像塊，并輸入到配置最優(yōu)參數(shù)的深度神經(jīng)網(wǎng)絡(luò)模型。

圖4示出了本發(fā)明所構(gòu)造和使用的深度神經(jīng)網(wǎng)絡(luò)模型。如圖4所示，以Flair、T1、T1c和T2等四種模態(tài)的MRI腦腫瘤圖像為例，將具體的測試模型的過程概括為如下步驟：1、利用深度神經(jīng)網(wǎng)絡(luò)的第一層，從多模態(tài)MRI圖像序列中提取的4×33×33腫瘤圖像塊(其中4為輸入的多模態(tài)圖像種類數(shù)，根據(jù)實(shí)際需要4可以進(jìn)行相應(yīng)調(diào)整)，并進(jìn)行相應(yīng)的預(yù)處理；2、把預(yù)處理之后腫瘤圖像塊輸入到深度神經(jīng)網(wǎng)絡(luò)的第2-4層，分別與每層64個(gè)3×3的卷積濾波器進(jìn)行卷積，并輸出第一階層的64×33×33的腫瘤圖像的特征描述塊；再尺寸為3×3，步長為2×2的池化濾波器對(duì)得到的第一階層的特征描述塊進(jìn)行最大值池化，得到64×16×16的特征圖像塊；3、將池化后的特征圖像塊輸入到第二階層的3層卷積神經(jīng)網(wǎng)絡(luò)，利用128個(gè)3×3的卷積濾波器和池化濾波器重復(fù)2中的操作，得到6272個(gè)第二階層的腫瘤特征映射；4、將6272個(gè)腫瘤特征映射通過非線性漏隙修正激活函數(shù)映射到3層的全連接層，得到256個(gè)最終的抽象特征描述點(diǎn)；5、利用softmax對(duì)全連接層輸出的256個(gè)特征點(diǎn)進(jìn)行分類預(yù)測得到要腫瘤類別；6、重復(fù)1-5的過程，直到遍歷完圖像的所有像素點(diǎn)，得到腫瘤分割結(jié)果。以分割膠質(zhì)瘤為例，最終分割結(jié)果包含水腫結(jié)構(gòu)、活躍的腫瘤結(jié)構(gòu)和壞死的腫瘤結(jié)構(gòu)等3個(gè)類別的結(jié)果；根據(jù)腫瘤的類型活躍的腫瘤結(jié)構(gòu)區(qū)又可以分為增強(qiáng)的區(qū)域和非增強(qiáng)的區(qū)域，此時(shí)就有3或4個(gè)分割類別產(chǎn)生。

以上所述的具體實(shí)施僅為本發(fā)明的一種最佳實(shí)現(xiàn)方式，并不用于限制本發(fā)明的專利范圍，凡是利用本發(fā)明精神和原則及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，均應(yīng)包括在本發(fā)明的專利保護(hù)范圍內(nèi)。