本發(fā)明涉及醫(yī)學(xué)圖像處理領(lǐng)域，具體是一種基于高效cnn-crf(convolutionalneuralnetwork，conditionalrandomfield)網(wǎng)絡(luò)的視網(wǎng)膜圖像分割方法。

背景技術(shù)：

視網(wǎng)膜圖像與糖尿病、高血壓及青光眼等易造成失明的眼部疾病密切相關(guān)，因此對視網(wǎng)膜圖像進(jìn)行分割以便數(shù)字化分析是基本步驟。由于手動分割視網(wǎng)膜圖像十分耗時費力，因此視網(wǎng)膜圖像的自動分割方法逐漸成為主流。

視網(wǎng)膜血管圖像的分割方法主要分為兩大類：基于規(guī)則和基于學(xué)習(xí)的分割方法?；谝?guī)則的分割方法主要是利用調(diào)整好的構(gòu)成分割規(guī)則的參數(shù)來處理圖像。chaudhuri等人提出采用高斯型曲線近似表示灰度級信息，并采用12個不同的匹配濾波器檢測血管。al-rawi等人使用一組參數(shù){l,σ,t}構(gòu)造了12個模板，沿著所有可能的方向?qū)σ暰W(wǎng)膜圖像進(jìn)行濾波，然后選擇出最佳響應(yīng)。azzopardi等人提出了引入b-cosfire濾波器有方向選擇性地檢測血管。由于一系列的樣本獲得最大響應(yīng)，匹配濾波器的方法能夠很好地檢測到棒狀物體，但該方法運算過程復(fù)雜，同時增加了棒狀的噪聲。mart′-p′erez等人提出了一種采用梯度幅值的局部最大值和多連通區(qū)域生長過程的hessian張量最大主曲率相結(jié)合的方法，其中區(qū)域增長方法須分配所需的區(qū)域生長初始的種子。zana等人提出了基于數(shù)學(xué)形態(tài)學(xué)和曲率估計的方法檢測血管樣型。bankhead等人提出了各向同性非抽樣小波變換(iuwt)的方法來處理綠色通道的視網(wǎng)膜圖像。

基于學(xué)習(xí)的分割方法主要是選擇合適的特征。niemeijer等人使用knn分類器對視網(wǎng)膜數(shù)字圖像中的每個像素進(jìn)行分類。soares等人提出采用類條件概率密度函數(shù)的貝葉斯分類器，其中特征向量由像素強度和二維gabor小波變換響應(yīng)組成。xu等人采用自適應(yīng)局部閾值將原圖像轉(zhuǎn)換成二進(jìn)制圖像，提取出大量連通部分作為血管，然后訓(xùn)練支持向量機對剩余的圖像像素進(jìn)行分類?；诠潭ㄩL度的物體的平均灰度值估計，ricci等人提出了采用線性檢測器和支持向量機對視網(wǎng)膜圖像像素進(jìn)行分類。深度學(xué)習(xí)方法關(guān)鍵在于設(shè)計架構(gòu)，有人提出了采用10層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行像素分類，還有人提出了采用深度學(xué)習(xí)的架構(gòu)來分割視網(wǎng)膜圖像。

上述分割方法要么精度低，要么不能自動分割，要么處理時間長。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是提供一種基于高效cnn-crf網(wǎng)絡(luò)的視網(wǎng)膜圖像分割方法，實現(xiàn)視網(wǎng)膜血管數(shù)字圖像的自動分割，精度高，速度快。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

一種基于高效cnn-crf網(wǎng)絡(luò)的視網(wǎng)膜圖像分割方法，包括以下步驟：

步驟1：對數(shù)據(jù)庫中的視網(wǎng)膜血管圖像進(jìn)行樣本擴(kuò)充；

步驟2：在深度學(xué)習(xí)工具caffe庫中構(gòu)建cnn-crf神經(jīng)網(wǎng)絡(luò)，所述cnn-crf神經(jīng)網(wǎng)絡(luò)分為全卷積神經(jīng)網(wǎng)絡(luò)和條件隨機場語義分割；

步驟3：將擴(kuò)充后的視網(wǎng)膜血管圖像作為全卷積神經(jīng)網(wǎng)絡(luò)的輸入，對訓(xùn)練樣本進(jìn)行預(yù)訓(xùn)練，得到cnn-crf神經(jīng)網(wǎng)絡(luò)模型的初始參數(shù)；

步驟4：在網(wǎng)絡(luò)層最后一層前面加入條件隨機場層，進(jìn)行二次調(diào)優(yōu)訓(xùn)練；根據(jù)前端全卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，采用條件隨機場對視網(wǎng)膜血管圖像的特征圖像進(jìn)行分割；

步驟5：采用訓(xùn)練好的cnn-crf神經(jīng)網(wǎng)絡(luò)模型對測試樣本進(jìn)行分割，得到最終的視網(wǎng)膜血管圖像分割圖。

進(jìn)一步的，所述步驟1中對樣本進(jìn)行擴(kuò)充具體為：通過圖像變換處理進(jìn)行樣本擴(kuò)充，包括對視網(wǎng)膜血管圖像進(jìn)行平移、旋轉(zhuǎn)、翻轉(zhuǎn)。

進(jìn)一步的，所述步驟2中全卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、激活層、池化層和上采樣層；所述卷積層是采用尺寸大小為3*3像素的卷積核與輸入數(shù)據(jù)內(nèi)一個窗口內(nèi)的局部數(shù)據(jù)進(jìn)行加權(quán)和運算，然后在圖像上滑動卷積窗口，直到卷積完所有的輸入數(shù)據(jù)；所述激活層是采用relu修正線性單元，將線性函數(shù)轉(zhuǎn)化為非線性，通過激活函數(shù)max{0，x}對輸入數(shù)據(jù)進(jìn)行處理；所述池化層采用最大池化法。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：針對視網(wǎng)膜血管圖像分割的特點，將條件隨機場和全卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，僅通過一次前向運算即可有效的對完整的視網(wǎng)膜血管圖像進(jìn)行分割，保證了圖像分割的精度。

附圖說明

圖1是本發(fā)明方法的流程示意圖。

圖2是條件隨機場層進(jìn)行語義分割的層數(shù)示意圖。

圖3是分割前的原始圖像。

圖4是標(biāo)準(zhǔn)分割示意圖。

圖5是其他方法分割效果圖。

圖6是本發(fā)明中分割效果圖。

具體實施方式

本發(fā)明方法首先將整幅視網(wǎng)膜圖像作為全卷積神經(jīng)網(wǎng)絡(luò)的輸入，然后采用全卷積神經(jīng)網(wǎng)絡(luò)對視網(wǎng)膜圖像中的像素進(jìn)行預(yù)測；根據(jù)全卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果，采用條件隨機場對視網(wǎng)膜特征圖像進(jìn)行分割，僅通過一次前向運算最后得到血管分割圖，如圖1所示。

下面通過具體實例對本發(fā)明方法及技術(shù)效果進(jìn)行說明。

步驟一：從國際公開數(shù)據(jù)集drive(digitalretinalimageforvesselextraction)中隨機選擇40幅視網(wǎng)膜圖像，其中30幅圖像作為訓(xùn)練樣本，剩余10幅作為測試圖像。針對訓(xùn)練樣本不足的問題，本發(fā)明采用對每幅圖像進(jìn)行旋轉(zhuǎn)、翻轉(zhuǎn)、等操作擴(kuò)充樣本數(shù)，將30幅視網(wǎng)膜血管圖像擴(kuò)充為15750幅視網(wǎng)膜血管圖像，從而滿足深度學(xué)習(xí)訓(xùn)練的要求。

步驟二：在深度學(xué)習(xí)工具caffe庫中構(gòu)建設(shè)計cnn-crf神經(jīng)網(wǎng)絡(luò)，將整幅視網(wǎng)膜圖像作為全卷積神經(jīng)網(wǎng)絡(luò)的輸入，對訓(xùn)練樣本進(jìn)行預(yù)訓(xùn)練，得到網(wǎng)絡(luò)模型的初始參數(shù)。前端全卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果是圖像中每個像素所屬于類別的概率和圖像中任意兩像素之間的灰度值差異和空間距離的能量值。

實驗硬件：中央處理器為英特爾酷睿i7-4790k，圖形處理器為英偉達(dá)gtx770，顯存為2gb，隨機存取存儲器ram為8gb。實驗軟件：操作系統(tǒng)為ubuntu14.04lts，深度學(xué)習(xí)工具caffe。

本發(fā)明的cnn-crf神經(jīng)網(wǎng)絡(luò)主要分為全卷積神經(jīng)網(wǎng)絡(luò)和條件隨機場語義分割兩部分，所述全卷積神經(jīng)網(wǎng)絡(luò)主要由卷積層、激活層、池化層、上采樣層組成，每層數(shù)據(jù)都可表示為d×h×w的三維矩陣，其中d表示通道數(shù)，w和h分別表示圖像的寬度和高度。針對視網(wǎng)膜血管圖像的特點，為了增加神經(jīng)網(wǎng)絡(luò)對特征的空間約束，加入條件隨機場層對之前網(wǎng)絡(luò)層的特征圖像進(jìn)行語義分割，如圖2所示，共25層，其參數(shù)設(shè)置如表1所示。

表1

卷積層、池化層和激活層對輸入圖像矩陣進(jìn)行逐個窗口處理，從而能夠保證輸出相對位置不變性。假設(shè)l表示全卷積神經(jīng)網(wǎng)絡(luò)中的第l層，k表示內(nèi)核的尺寸大小，s表示步長，即每次向后移動的長度，為第l層的輸出；為第l層所對應(yīng)的操作(卷積、激活或池化)；為該層在當(dāng)前位置進(jìn)行操作的矩形區(qū)域，則網(wǎng)絡(luò)層之間的操作可表示為：

兩個連接層之間的運算公式如下：

本發(fā)明中，卷積層主要是利用尺寸大小為3*3像素的卷積核與輸入數(shù)據(jù)內(nèi)一個窗口內(nèi)的局部數(shù)據(jù)進(jìn)行加權(quán)和運算，然后在圖像上滑動卷積窗口，直到卷積完所有的輸入數(shù)據(jù)。卷積層相當(dāng)于二維線性濾波器對整幅視網(wǎng)膜圖像進(jìn)行濾波，提取特征的上下文信息。不同于高斯濾波器的是，在圖像處理的過程中卷積的參數(shù)不是固定不變的，而是從訓(xùn)練的數(shù)據(jù)中學(xué)習(xí)得到的，訓(xùn)練過程中，通過采用梯度下降法最小化損失函數(shù)，不斷更新網(wǎng)絡(luò)層中的權(quán)重和偏置參數(shù)，因此效果更好。

池化層的作用是在局部范圍內(nèi)選擇最有效的特征作為輸出，從而抑制噪聲。本發(fā)明選擇最大池化法進(jìn)行有效特征提取，設(shè)置池化窗口尺寸大小為3×3，取這9個值中的最大值作為池化后的值，忽略另外8個值。通過池化降低激活層輸出的特征向量，同時改善結(jié)果，避免出現(xiàn)過擬合。本發(fā)明的激活層是采用了relu修正線性單元，將線性函數(shù)轉(zhuǎn)化為非線性，通過激活函數(shù)max{0，x}對輸入數(shù)據(jù)進(jìn)行處理，其作用是如果計算輸出值小于0就讓它等于0，否則保持原來的值，從而得到更加稀疏的數(shù)據(jù)，減少過擬合的可能性。

為了保證輸出數(shù)據(jù)和原圖輸入圖像尺寸大小相同，采用了尺寸大小為4*4的反卷積核對上一網(wǎng)絡(luò)層輸出的特征圖像進(jìn)行反卷積操作，將特征圖像中的值放入對應(yīng)的池化層中記錄的最大值的位置，同時將其他位置的值置為0，從而使圖像恢復(fù)到和輸入圖像尺寸相同。

選擇交叉熵函數(shù)作為代價函數(shù)進(jìn)行預(yù)訓(xùn)練，設(shè)n表示訓(xùn)練樣本數(shù)，yn表示第n個樣本標(biāo)簽值，在本發(fā)明中，對二進(jìn)制視網(wǎng)膜圖像而言，0表示背景，1表示血管；表示網(wǎng)絡(luò)對預(yù)測結(jié)果值，w為網(wǎng)絡(luò)中的待學(xué)習(xí)的參數(shù)，則有

采用批梯度下降方法最小化損失函數(shù)，即每次將一部分?jǐn)?shù)據(jù)作為一批數(shù)據(jù)輸入全卷積神經(jīng)網(wǎng)絡(luò)中，完成該批次數(shù)據(jù)前向運算后得到其平均的損失函數(shù)，然后利用該損失函數(shù)值進(jìn)行梯度計算。選擇多步學(xué)習(xí)率策略改變學(xué)習(xí)速率，本發(fā)明的全卷積神經(jīng)網(wǎng)絡(luò)中所有的權(quán)重和偏置參數(shù)更新可以按如下方式進(jìn)行：

wi+1:＝wi+vi+1,

其中，η為學(xué)習(xí)率，是根據(jù)迭代次數(shù)而逐漸減小。當(dāng)達(dá)到指定的迭代次數(shù)時，全卷積神經(jīng)網(wǎng)絡(luò)停止訓(xùn)練，得到預(yù)訓(xùn)練的網(wǎng)絡(luò)模型參數(shù)。

步驟三：在網(wǎng)絡(luò)層最后一層前面加入條件隨機場層，將前端卷積網(wǎng)絡(luò)層的輸出結(jié)果作為條件隨機場層的輸入，利用預(yù)先訓(xùn)練的參數(shù)對其進(jìn)行初始化，使用條件隨機場對視網(wǎng)膜血管圖像進(jìn)行分割。

本發(fā)明的條件隨機場能量函數(shù)包括一元能量項和二元能量項，其中一元能量項是基于每個像素屬于各個類別的概率，二元能量項是基于圖像中任意兩像素之間的灰度值差異和空間距離的能量。

假設(shè)x為像素向量，xi為第i層的標(biāo)簽，ψu(xi)表示將元素i劃分為標(biāo)簽xi的能量，ψp(xi,xj)表示將像素點i，j同時劃分為xi，xj的能量，則能量函數(shù)可以表示為

第二次訓(xùn)練過程中，通過最小化能量函數(shù)，不斷更新網(wǎng)絡(luò)層的權(quán)值和偏置的大小。設(shè)置迭代次數(shù)為300000，當(dāng)達(dá)到指定的迭代次數(shù)時，網(wǎng)絡(luò)停止訓(xùn)練。前端部分卷積網(wǎng)絡(luò)主要是提取圖像中的特征信息，輸出結(jié)果包括一元能量項ψu(xi)和二元能量項ψp(xi,xj)，將其作為條件隨機場的輸入。當(dāng)把像素標(biāo)簽的預(yù)測結(jié)果作為隨機變量且能夠獲得全局觀測時，通過條件隨機場對這些標(biāo)簽進(jìn)行建模，對前端卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行優(yōu)化，并考慮像素之間的空間關(guān)系，有效避免了圖像背景中類似血管狀的紋理引入的干擾，采用平均場相似的方法，對視網(wǎng)膜圖像進(jìn)行分割，采用softmax層輸出圖像每個像素中對應(yīng)背景類別或血管類別的概率大小，最后得到視網(wǎng)膜血管分割圖。

步驟四：利用訓(xùn)練好的cnn-crf網(wǎng)絡(luò)模型對測試樣本進(jìn)行分割，得到最終的視網(wǎng)膜血管分割圖。

訓(xùn)練好的cnn-crf模型中包含各個網(wǎng)絡(luò)層中的權(quán)重和偏置的參數(shù)，采用本發(fā)明方法對視網(wǎng)膜圖像進(jìn)行血管分割，其準(zhǔn)確率為0.9536，召回率為0.8368，分割效果高于目前其他的方法。分割效果如圖3至圖6所示。由于條件隨機場(crf)分割圖像時考慮了空間結(jié)構(gòu)信息的約束，該方法分割精度大大提高.本發(fā)明cnn-crf網(wǎng)絡(luò)是視網(wǎng)膜血管分割深度學(xué)習(xí)方法中第一個僅需一次前向運算即可處理整幅圖像的，且每幅圖像的處理時間僅為0.53s。因此，基于cnn-crf網(wǎng)絡(luò)的視網(wǎng)膜圖像分割方法是十分高效的。