本發(fā)明涉及計(jì)算機(jī)視覺(jué)以及模式識(shí)別領(lǐng)域，是一種基于深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合的視網(wǎng)膜血管分割方法。

背景技術(shù)：

眼底成像可以通過(guò)視網(wǎng)膜成像來(lái)判斷是否存在異常，其中對(duì)于視網(wǎng)膜血管的觀察相當(dāng)重要。青光眼、白內(nèi)障以及糖尿病等疾病都會(huì)造成視網(wǎng)膜眼底血管的病變。視網(wǎng)膜病變患者逐年增加，如果不能及時(shí)治療，通常會(huì)導(dǎo)致長(zhǎng)期患有這些疾病的患者承受巨大痛苦甚至失明。然而，目前視網(wǎng)膜病是由?？漆t(yī)生進(jìn)行人工診斷，?？漆t(yī)生首先對(duì)患者的眼底圖像進(jìn)行手工血管的標(biāo)記，然后，再測(cè)量所需的血管口徑、分叉角度等相關(guān)參數(shù)。其中，手工標(biāo)記血管的過(guò)程大概需要兩個(gè)小時(shí)左右，診斷過(guò)程花費(fèi)大量時(shí)間，為了節(jié)約人力物力，自動(dòng)化提取血管的方法顯得尤為重要。不但可以減輕?？漆t(yī)生的負(fù)擔(dān)，也可以有效解決偏遠(yuǎn)地區(qū)缺乏?？漆t(yī)生的問(wèn)題。鑒于視網(wǎng)膜血管分割的重要性，國(guó)內(nèi)外學(xué)者做了許多研究，大致分非監(jiān)督和監(jiān)督方法。

非監(jiān)督方法是通過(guò)某種規(guī)則來(lái)提取血管目標(biāo)，包括匹配濾波，形態(tài)學(xué)處理，血管追蹤，多尺度分析等算法。監(jiān)督學(xué)習(xí)也叫作像素特征分類方法或者機(jī)器學(xué)習(xí)技術(shù)。通過(guò)訓(xùn)練將每個(gè)像素分類判斷為血管或者非血管。主要分為兩個(gè)過(guò)程：特征提取和分類。特征提取階段通常包括gabor濾波，高斯匹配濾波，形態(tài)學(xué)增強(qiáng)等方法。分類階段通常包括的分類器有bayesian(樸素貝葉斯)，svm等分類器。但是，該種對(duì)于像素的判斷不能很好的考慮每個(gè)像素與其周?chē)I(lǐng)域像素之間的聯(lián)系。因而出現(xiàn)了cnn，它可以根據(jù)圖像塊的特征來(lái)判斷中心像素為血管或者非血管，通過(guò)進(jìn)行多層結(jié)構(gòu)的自動(dòng)學(xué)習(xí)特征，使這些抽象的特征有利于中心像素點(diǎn)的分類判斷。但是，對(duì)每個(gè)像素進(jìn)行分類很少涉及全局信息，使得在局部有病變的情況下，分類失??；其次，每幅圖像至少有幾十萬(wàn)個(gè)像素，如果一一判斷，使得存儲(chǔ)開(kāi)銷(xiāo)大，計(jì)算效率很低。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)現(xiàn)有算法的不足，本發(fā)明提出了一種基于深度學(xué)習(xí)與傳統(tǒng)方法相結(jié)合的視網(wǎng)膜血管分割方法。首先，根據(jù)視網(wǎng)膜血管的特點(diǎn)做其針對(duì)性的預(yù)處理，包括進(jìn)行clahe(限制性對(duì)比度自適應(yīng)直方圖均衡)處理使得視網(wǎng)膜血管和背景能夠具有較高的對(duì)比度，進(jìn)行高斯匹配濾波的傳統(tǒng)方法使得視網(wǎng)膜的細(xì)小血管得到很好的增強(qiáng)，本發(fā)明提出將兩種灰度圖像都作為網(wǎng)絡(luò)的訓(xùn)練樣本。在此基礎(chǔ)上，我們針對(duì)視網(wǎng)膜圖像數(shù)據(jù)少的問(wèn)題做了相應(yīng)的數(shù)據(jù)擴(kuò)增包括彈性形變，平滑濾波等等，不僅使得數(shù)據(jù)量增大有利于深度學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練，更重要的是模擬了具有各種各樣情況下的視網(wǎng)膜圖像，都能夠通過(guò)本發(fā)明的處理得到很好的視網(wǎng)膜血管分割圖，擴(kuò)大了該發(fā)明的廣泛適用性。

其次，本發(fā)明通過(guò)構(gòu)建fcn-hned的視網(wǎng)膜血管分割深度網(wǎng)絡(luò)，將fcn(fullyconvolutionalnetwork)網(wǎng)絡(luò)末端得到血管概率圖與淺層信息hned(holisticallynestededgedetection)的血管概率圖進(jìn)行了很好的融合，得到我們所需的視網(wǎng)膜血管分割圖，該網(wǎng)絡(luò)極大程度的實(shí)現(xiàn)了自主學(xué)習(xí)的過(guò)程，不僅可以分享整個(gè)圖像的卷積特征，減少特征冗余，又可以從抽象的特征中恢復(fù)出多個(gè)像素的所屬類別，實(shí)現(xiàn)一種端到端，像素到像素的視網(wǎng)膜血管分割方法，這種全局輸入和全局輸出的方法既簡(jiǎn)單又有效。在視網(wǎng)膜血管檢測(cè)當(dāng)中本發(fā)明分別將視網(wǎng)膜血管圖像的clahe圖和高斯匹配濾波圖分別輸入網(wǎng)絡(luò)使其得到的血管分割圖進(jìn)行加權(quán)平均從而得到更好更完整的視網(wǎng)膜血管分割概率圖，該種處理方式極大程度的提高了血管分割的魯棒性與準(zhǔn)確性。

本文采用如下技術(shù)方案：

1、預(yù)處理

1)對(duì)彩色的視網(wǎng)膜圖像的rgb三個(gè)通道中對(duì)比度比較高的綠色通道進(jìn)行提取。其次，由于拍攝角度等的問(wèn)題，采集到的視網(wǎng)膜眼底圖像的亮度往往是不均勻的，或者病變區(qū)域由于過(guò)亮或者過(guò)暗在圖像中呈現(xiàn)出對(duì)比度不高等問(wèn)題很難與背景區(qū)分，所以，我們進(jìn)行歸一化處理。然后，對(duì)歸一化后的視網(wǎng)膜圖像進(jìn)行clahe處理提高視網(wǎng)膜眼底圖像質(zhì)量，均衡眼底圖像的亮度，使其更適合后續(xù)血管提取。

clahe處理之后的視網(wǎng)膜血管在增強(qiáng)血管與背景對(duì)比度的同時(shí)，能夠極大程度的保持視網(wǎng)膜血管的本身特性，然而，由于其中細(xì)小血管與背景很相似，在后續(xù)的深度學(xué)習(xí)當(dāng)中不能夠很好的分割出來(lái)，針對(duì)于此，本發(fā)明利用血管的橫截面灰度圖呈高斯走向的特點(diǎn)，將clahe處理之后的視網(wǎng)膜血管進(jìn)行高斯匹配濾波處理，使得細(xì)小血管能夠極大程度的表現(xiàn)出來(lái)。由于血管的方向是任意的，因此，本文采用12個(gè)不同方向的高斯核模板來(lái)對(duì)視網(wǎng)膜圖像進(jìn)行匹配濾波，將其最大響應(yīng)作為該像素的響應(yīng)值。二維高斯匹配濾波核函數(shù)k(x,y)可表示為：

其中σ表示高斯曲線的方差,l表示y軸被截?cái)嗟囊暰W(wǎng)膜血管長(zhǎng)度，濾波窗口的寬度選擇[-3σ,3σ]即核函數(shù)x的取值范圍，選擇較小的σ數(shù)值設(shè)置為0.5，使得細(xì)小血管能夠極大程度的得到增強(qiáng)。

為了充分考慮到視網(wǎng)膜圖像的整體特性以及其中細(xì)小血管的特性，我們將clahe處理之后的視網(wǎng)膜血管圖和高斯匹配濾波圖都作為訓(xùn)練的樣本，可以極大地提升網(wǎng)絡(luò)分割的性能。

2、數(shù)據(jù)擴(kuò)增和構(gòu)建訓(xùn)練樣本

由于訓(xùn)練深度網(wǎng)絡(luò)需要大量的數(shù)據(jù)，僅現(xiàn)有的視網(wǎng)膜圖像用于訓(xùn)練遠(yuǎn)遠(yuǎn)不夠。于是需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行不同方式的擴(kuò)張，加大數(shù)據(jù)量，提高訓(xùn)練和檢測(cè)效果。數(shù)據(jù)擴(kuò)增方式：

1)將預(yù)處理后的圖像進(jìn)行左右上下等平移分別為20個(gè)像素，實(shí)現(xiàn)網(wǎng)絡(luò)學(xué)習(xí)的平移不變性。

2)將1)處理后的圖像分別進(jìn)行45°,90°,125°,180°的旋轉(zhuǎn)，截取其中的最大矩形，這種變換不僅增強(qiáng)了訓(xùn)練數(shù)據(jù)的旋轉(zhuǎn)魯棒性，又將數(shù)據(jù)擴(kuò)大為原來(lái)的5倍。

3)在一般的數(shù)據(jù)擴(kuò)增當(dāng)中，從未考慮視網(wǎng)膜圖像可能出現(xiàn)的模糊現(xiàn)象，然而，本發(fā)明考慮到在各種情況下，譬如相機(jī)的抖動(dòng)或者病人的不小心移動(dòng)，都會(huì)造視網(wǎng)膜圖像在一定程度上的部分模糊，所以，本發(fā)明將2)處理后的圖像集選取其中25％分別進(jìn)行3×3和5×5的中值濾波模糊操作，使得網(wǎng)絡(luò)能對(duì)于各種模糊程度的視網(wǎng)膜圖像具有廣泛適用性。

4)在以往的視網(wǎng)膜圖像數(shù)據(jù)擴(kuò)增當(dāng)中常用的只是平移，縮放，旋轉(zhuǎn)等等，遠(yuǎn)遠(yuǎn)達(dá)不到對(duì)視網(wǎng)膜圖像的各種情況的考慮，鑒于此，本發(fā)明考慮視網(wǎng)膜的血管方向形狀等的各異性，我們對(duì)3)處理后的圖像集取25％進(jìn)行隨機(jī)的彈性變形，該項(xiàng)數(shù)據(jù)擴(kuò)增方式對(duì)于視網(wǎng)膜血管的分割有很重要的意義，它可以幫助網(wǎng)絡(luò)學(xué)習(xí)到各種方向錯(cuò)綜復(fù)雜的視網(wǎng)膜血管，有利于實(shí)際應(yīng)用中視網(wǎng)膜血管分割準(zhǔn)確率的提升。

5)由于fcn適用于任何大小的圖像，我們對(duì)4)處理后的圖像進(jìn)行50％和75％的縮放處理，從而擴(kuò)增數(shù)據(jù)。

當(dāng)然，我們對(duì)于視網(wǎng)膜血管分割的專家標(biāo)準(zhǔn)圖(groundtruth)進(jìn)行同樣的處理，從而與樣本一一對(duì)應(yīng)。將構(gòu)件好的訓(xùn)練樣本數(shù)據(jù)的3/4作為訓(xùn)練集，1/4作為驗(yàn)證集。

3、fcn-hned網(wǎng)絡(luò)構(gòu)建

fcn網(wǎng)絡(luò)：一般的fcn網(wǎng)絡(luò)層主要由5部分組成，輸入層，卷積層，降采樣層，上采樣層(反卷積層)和輸出層。本發(fā)明中構(gòu)建的網(wǎng)絡(luò)為：

輸入層，兩個(gè)卷積層(c1，c2)，第一降采樣層(pool1)，兩個(gè)卷積層(c3，c4)，第二降采樣層(pool2)，兩個(gè)卷積層(c5，c6)，第三降采樣層(pool3)，兩個(gè)卷積層(c7，c8)，第四降采樣層(pool4)，兩個(gè)卷積層(c9，c10),第一上采樣層(u1)，兩個(gè)卷積層(c11，c12)，第二上采樣層(u2)，兩個(gè)卷積層(c13，c14)，第三上采樣層(u3)，兩個(gè)卷積層(c15，c16)，第四上采樣層(u4)，兩個(gè)卷積層(c17，c18)，目標(biāo)層(輸出層)。形成一個(gè)前后對(duì)稱的u型深度網(wǎng)絡(luò)構(gòu)架。

由于fcn網(wǎng)絡(luò)的低層的特征分辨率較高，而高層信息體現(xiàn)了更強(qiáng)的語(yǔ)義信息，對(duì)于視網(wǎng)膜圖像的部分病變等區(qū)域的血管分類具有很好的魯棒性，但同時(shí)fcn網(wǎng)絡(luò)最后得到與輸入樣本相同大小的輸出卻會(huì)丟失很多較小的目標(biāo)和局部的細(xì)節(jié)信息，因而，本發(fā)明將淺層的視網(wǎng)膜血管信息以邊緣檢測(cè)hned(holisticallynestededgedetection)的方法在深度監(jiān)督情況下來(lái)學(xué)習(xí)豐富的多層信息表達(dá)，很大程度上解決了目標(biāo)邊緣模糊問(wèn)題。即我們將c2，c4，c6，c8層之后分別添加一個(gè)softmax分類器，從而將隱藏層的信息在將groundtruth為標(biāo)簽的情況下學(xué)習(xí)得到視網(wǎng)膜血管概率圖，分別稱為側(cè)輸出1、側(cè)輸出2、側(cè)輸出3、側(cè)輸出4。在此基礎(chǔ)上，我們將四個(gè)側(cè)輸出與最后的輸出層進(jìn)行融合，從而形成fcn-hned的網(wǎng)絡(luò)結(jié)構(gòu)，將淺層信息與輸出層信息進(jìn)行互補(bǔ)，得到多尺度，多層次，與目標(biāo)樣本更相近的融合特征圖，為分割血管的精細(xì)化起到很大的作用，以至于不需要后續(xù)專門(mén)的精化步驟來(lái)進(jìn)行視網(wǎng)膜血管的精細(xì)化。

本發(fā)明的卷積層都通過(guò)補(bǔ)零的方式得到同樣大小的特征圖，pooling層的結(jié)果是使得特征減少，參數(shù)減少，但pooling層的目的并不僅在于此。本發(fā)明使用max-pooling能減小卷積層參數(shù)誤差造成的估計(jì)均值的偏移，更多的保留紋理信息。本發(fā)明最大池化層的采樣率為2。上采樣即為雙線性插值的過(guò)程。

整個(gè)模型的構(gòu)建過(guò)程中激活函數(shù)都用relu除了softmax分類層，損失函數(shù)為交叉熵。

訓(xùn)練：fcn-hned網(wǎng)絡(luò)構(gòu)建好之后可以進(jìn)行網(wǎng)絡(luò)的訓(xùn)練來(lái)進(jìn)行對(duì)圖像的自動(dòng)特征提取和學(xué)習(xí)過(guò)程，每代輸入128個(gè)圖像，直到網(wǎng)絡(luò)收斂之后停止。

測(cè)試：將每張視網(wǎng)膜圖像綠色通道圖的clahe圖和高斯匹配濾波圖分別輸入到已訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試，分別得到融合的視網(wǎng)膜血管分割圖稱為和對(duì)和進(jìn)行加權(quán)平均得到最后的視網(wǎng)膜血管分割概率圖。4、后處理

對(duì)測(cè)試中得到視網(wǎng)膜血管概率圖進(jìn)行二值化得到分割圖。

有益效果

1、本發(fā)明根據(jù)視網(wǎng)膜血管的不同特性，采用針對(duì)性的數(shù)據(jù)處理方法，訓(xùn)練數(shù)據(jù)的好壞直接決定了訓(xùn)練得到的模型是否可靠，準(zhǔn)確率是否達(dá)到所需的水平，本發(fā)明利用模糊操作，彈性形變等，很好的模擬了各種各樣可能出現(xiàn)的視網(wǎng)膜數(shù)據(jù)，同時(shí)擴(kuò)大數(shù)據(jù)達(dá)到足夠多的數(shù)量以避免訓(xùn)練過(guò)擬合，也能夠?yàn)楹罄m(xù)的檢測(cè)提供幫助，進(jìn)而提高視網(wǎng)膜血管分割準(zhǔn)確率。

2、本發(fā)明將clahe處理后的視網(wǎng)膜圖像與高斯匹配濾波處理之后的圖像分別輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練學(xué)習(xí)，不僅使得視網(wǎng)膜血管的性質(zhì)得到各個(gè)性能層次下的充分學(xué)習(xí)，而且高斯匹配濾波圖充分彌補(bǔ)了clahe處理圖對(duì)于細(xì)小血管不清晰的不足，大大的提升了視網(wǎng)膜血管分割的性能。

3、本發(fā)明通過(guò)構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)fcn-hned的方法，能夠快速的進(jìn)行視網(wǎng)膜圖像的自動(dòng)特征提取，它能夠從不同的層次對(duì)視網(wǎng)膜眼底圖像進(jìn)行特征提取，學(xué)習(xí)到視網(wǎng)膜圖像的中各個(gè)像素與其周?chē)鄠€(gè)鄰域之間的關(guān)系，將其視網(wǎng)膜血管圖的中，高級(jí)特征很好的表現(xiàn)出來(lái)，從而使其很好的區(qū)分了血管與非血管的內(nèi)部特征，實(shí)現(xiàn)了端到端，像素到像素的血管分割，比傳統(tǒng)單個(gè)像素的分類判斷效率提升很多倍。

4、本發(fā)明利用淺層特征的四個(gè)側(cè)輸出與fcn網(wǎng)絡(luò)的末端輸出進(jìn)行高度融合，從而實(shí)現(xiàn)血管分割的精細(xì)化與魯棒性。使得血管分割圖與專家的手動(dòng)分割圖達(dá)到很好的一致性。同時(shí)，極大程度的實(shí)現(xiàn)了視網(wǎng)膜血管分割的自動(dòng)化，大大降低了人力物力的消耗。

附圖說(shuō)明

圖1是本發(fā)明的整體流程圖；

圖2是血管橫截面灰度分布圖；(a)一段血管圖(b)灰度級(jí)

圖3是預(yù)處理效果圖；(a)原始圖像(b)clahe處理之后的圖像(c)高斯匹配濾波后的圖像

圖4是fcn-hned網(wǎng)絡(luò)結(jié)構(gòu)；

圖5是視網(wǎng)膜血管分割結(jié)果。(a)原始圖像(b)視網(wǎng)膜血管分割圖(c)第一位專家手動(dòng)分割圖

具體實(shí)施方式

下面結(jié)合附圖進(jìn)行具體說(shuō)明：

本發(fā)明的技術(shù)框圖如圖1所示。具體實(shí)施步驟分別如下：

1、預(yù)處理

對(duì)每一幅視網(wǎng)膜眼底圖像不管是訓(xùn)練集還是測(cè)試集都進(jìn)行同樣的預(yù)處理。

1)對(duì)彩色的視網(wǎng)膜圖像的rgb三個(gè)通道中對(duì)比度比較高的綠色通道進(jìn)行提取。其次，由于拍攝角度等的問(wèn)題，采集到的視網(wǎng)膜眼底圖像的亮度往往是不均勻的，或者病變區(qū)域由于過(guò)亮或者過(guò)暗在圖像中呈現(xiàn)出對(duì)比度不高等問(wèn)題很難與背景區(qū)分，所以，我們進(jìn)行歸一化處理，然后，對(duì)歸一化后的視網(wǎng)膜圖像進(jìn)行clahe處理提高視網(wǎng)膜眼底圖像質(zhì)量，均衡眼底圖像的亮度，使其更適合后續(xù)血管提取。

clahe處理之后的視網(wǎng)膜血管在增強(qiáng)血管與背景對(duì)比度的同時(shí)，能夠極大程度的保持視網(wǎng)膜血管的本身特性，然而，由于其中細(xì)小血管與背景很相似，在后續(xù)的深度學(xué)習(xí)當(dāng)中不能夠很好的分割出來(lái)，針對(duì)于此，本發(fā)明利用血管的橫截面灰度圖呈高斯走向的特點(diǎn)，對(duì)視網(wǎng)膜圖像進(jìn)行搞死匹配濾波處理。如圖2所示，(a)為血管灰度圖，(b)為血管的橫截面的灰度值，細(xì)小的血管的橫截面也呈現(xiàn)高斯走向，所以，本發(fā)明將clahe處理之后的視網(wǎng)膜血管進(jìn)行高斯匹配濾波處理。由于血管的方向是任意的，因此，本文采用12個(gè)不同方向的高斯核模板來(lái)對(duì)視網(wǎng)膜圖像進(jìn)行匹配濾波，找到相應(yīng)的最大響應(yīng)作為該像素的響應(yīng)值。

為了充分考慮到視網(wǎng)膜圖像的整體特性以及其中細(xì)小血管的特性，我們將clahe處理之后的視網(wǎng)膜血管圖和高斯匹配濾波圖都作為訓(xùn)練的樣本，可以極大地提升網(wǎng)絡(luò)分割的性能。

2、數(shù)據(jù)擴(kuò)增和構(gòu)建訓(xùn)練樣本

由于訓(xùn)練深度網(wǎng)絡(luò)需要大量的數(shù)據(jù)，僅現(xiàn)有的視網(wǎng)膜圖像用于訓(xùn)練遠(yuǎn)遠(yuǎn)不夠。于是需要對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行不同方式的數(shù)據(jù)擴(kuò)張，加大數(shù)據(jù)量，提高訓(xùn)練和檢測(cè)效果。數(shù)據(jù)擴(kuò)增方式：

1)將預(yù)處理后的圖像進(jìn)行左右上下等平移分別為20個(gè)像素，實(shí)現(xiàn)網(wǎng)絡(luò)學(xué)習(xí)的平移不變性。

2)將1)處理后的圖像分別進(jìn)行45°,90°,125°,180°的旋轉(zhuǎn)，截取其中的最大矩形，這種變換不僅增強(qiáng)了訓(xùn)練數(shù)據(jù)的旋轉(zhuǎn)魯棒性，又將數(shù)據(jù)擴(kuò)大為原來(lái)的5倍。

3)在一般的數(shù)據(jù)擴(kuò)增當(dāng)中，從來(lái)未用到中值濾波，然而，本發(fā)明考慮到在各種情況下，譬如相機(jī)的抖動(dòng)或者病人的不小心移動(dòng)，都會(huì)造視網(wǎng)膜圖像在一定程度上的部分模糊情況，所以，本發(fā)明將2)處理后的圖像取其中25％圖像分別進(jìn)行3×3和5×5的中值濾波模糊操作，使得網(wǎng)絡(luò)能對(duì)于各種模糊程度的視網(wǎng)膜圖像具有廣泛適用性。

4)在以往的視網(wǎng)膜圖像數(shù)據(jù)擴(kuò)增當(dāng)中常用的只是平移，縮放，旋轉(zhuǎn)等等，遠(yuǎn)遠(yuǎn)達(dá)不到對(duì)視網(wǎng)膜圖像的各種情況的考慮，鑒于此，本發(fā)明考慮視網(wǎng)膜的血管方向形狀等的各異性，我們對(duì)3)處理后的圖像取25％進(jìn)行隨機(jī)的彈性變形，該項(xiàng)數(shù)據(jù)擴(kuò)增方式對(duì)于視網(wǎng)膜血管的分割有很重要的意義，它可以幫助網(wǎng)絡(luò)學(xué)習(xí)到各種方向錯(cuò)綜復(fù)雜的視網(wǎng)膜血管，有利于實(shí)際應(yīng)用中視網(wǎng)膜血管分割準(zhǔn)確率的提升。

5)由于fcn適用于任何大小的圖像，我們對(duì)4)處理后的圖像進(jìn)行50％和75％的縮放處理，從而擴(kuò)增數(shù)據(jù)。

當(dāng)然，我們對(duì)于視網(wǎng)膜血管分割的專家標(biāo)準(zhǔn)圖(groundtruth)進(jìn)行同樣的處理，從而與樣本一一對(duì)應(yīng)。將構(gòu)件好的訓(xùn)練樣本數(shù)據(jù)的3/4作為訓(xùn)練集，1/4作為驗(yàn)證集。

3、fcn-hned網(wǎng)絡(luò)構(gòu)建以及訓(xùn)練和測(cè)試過(guò)程

fcn網(wǎng)絡(luò)：一般的fcn網(wǎng)絡(luò)層主要由5部分組成，輸入層，卷積層，降采樣層，上采樣層(反卷積層)和輸出層。本發(fā)明中構(gòu)建的網(wǎng)絡(luò)為：輸入層，兩個(gè)卷積層(c1，c2)，第一降采樣層(pool1)，兩個(gè)卷積層(c3，c4)，第二降采樣層(pool2)，兩個(gè)卷積層(c5，c6)，第三降采樣層(pool3)，兩個(gè)卷積層(c7，c8)，第四降采樣層(pool4)，兩個(gè)卷積層(c9，c10),第一上采樣層(u1)，兩個(gè)卷積層(c11，c12)，第二上采樣層(u2)，兩個(gè)卷積層(c13，c14)，第三上采樣層(u3)，兩個(gè)卷積層(c15，c16)，第四上采樣層(u4)，兩個(gè)卷積層(c17，c18)，目標(biāo)層(輸出層)。形成一個(gè)前后對(duì)稱的u型深度網(wǎng)絡(luò)構(gòu)架。

其中卷積過(guò)程實(shí)現(xiàn)如下：

f(x；w,b)＝w*sx+b(2)

其中，f(x；w,b)為輸出為特征圖，x是前一層的輸入特征圖，w和b是卷積核和偏移值，*s代表卷積操作，不像傳統(tǒng)的cnn網(wǎng)絡(luò)，fcn網(wǎng)絡(luò)將最后的全連接層全部換做卷積層，但是，經(jīng)過(guò)卷積和下采樣等一系列操作使得特征圖越來(lái)越小，要使圖像恢復(fù)到與輸入圖像同樣大小，fcn采用上采樣操作或者說(shuō)是反卷積。

本發(fā)明的中間卷積層都通過(guò)補(bǔ)零的方式得到同樣大小的特征圖，左右對(duì)稱的u型網(wǎng)絡(luò)中都重復(fù)應(yīng)用兩個(gè)緊相連的3×3濾波卷積核進(jìn)行卷積操作，步長(zhǎng)為1，每個(gè)卷積層后邊都有一個(gè)relu激活函數(shù)，pooling層的結(jié)果是使得特征減少，參數(shù)減少，但pooling層的目的并不僅在于此，它能夠保持某種不變性旋轉(zhuǎn)、平移等，本結(jié)構(gòu)用核為2×2，步長(zhǎng)為2的max-pooling層，能減小卷積層參數(shù)誤差造成的估計(jì)均值的偏移，更多的保留紋理信息。在每個(gè)下采樣的過(guò)程中，特征圖的數(shù)目都會(huì)翻倍，上采樣則相反。除此之外，在最后一層用1×1的卷積核將64個(gè)特征圖以標(biāo)準(zhǔn)輸出為目標(biāo)映射進(jìn)行訓(xùn)練。

整個(gè)模型的構(gòu)建過(guò)程中激活函數(shù)都用relu除了softmax分類層，損失函數(shù)為交叉熵。

hned結(jié)構(gòu)：我們把血管分割看做是邊緣檢測(cè)問(wèn)題，我們使用基于深度監(jiān)督的網(wǎng)絡(luò)得到淺層fcn網(wǎng)絡(luò)的四個(gè)血管概率圖。即我們將c2，c4，c6，c8之后分別添加一個(gè)softmax分類器，通過(guò)以標(biāo)準(zhǔn)分割結(jié)果為目標(biāo)的深度監(jiān)督網(wǎng)絡(luò)從而將隱藏層的信息以視網(wǎng)膜血管概率圖的形式展現(xiàn)出來(lái)，分別稱為側(cè)輸出1、側(cè)輸出2、側(cè)輸出3、側(cè)輸出4，實(shí)現(xiàn)多尺度的特征映射圖的學(xué)習(xí)。

由于fcn網(wǎng)絡(luò)的低層特征分辨率較高，而高層信息體現(xiàn)了更強(qiáng)的語(yǔ)義信息，對(duì)于視網(wǎng)膜圖像的部分病變等區(qū)域的血管分類具有很好的魯棒性，但最后得到與輸入樣本相同大小的輸出卻會(huì)丟失很多較小的目標(biāo)和局部的細(xì)節(jié)信息，因而，本發(fā)明將淺層的視網(wǎng)膜血管信息以邊緣檢測(cè)hned的方法在深度監(jiān)督情況下來(lái)學(xué)習(xí)豐富的多層信息表達(dá)，很大程度上解決了目標(biāo)邊緣模糊問(wèn)題。在此基礎(chǔ)上，我們將四個(gè)側(cè)輸出與最后的輸出層進(jìn)行融合，從而形成fcn-hned的網(wǎng)絡(luò)結(jié)構(gòu)，如圖4所示，如果輸入圖像大小為512×512，經(jīng)過(guò)c1，c2都為64個(gè)3×3的濾波器得到64個(gè)特征圖，通過(guò)對(duì)原圖像補(bǔ)零的方式使得c1，c2特征圖保持大小為512×512，經(jīng)過(guò)降采樣使得特征圖翻倍，到達(dá)最底端c9和c10時(shí)，1024個(gè)特征圖大小為32×32，之后的卷積實(shí)現(xiàn)與前邊類似，上采樣的實(shí)現(xiàn)方式為雙線性插值。該網(wǎng)絡(luò)結(jié)構(gòu)將淺層信息的四個(gè)側(cè)輸出血管概率圖與fcn網(wǎng)絡(luò)的輸出層血管概率圖進(jìn)行互補(bǔ)融合，通過(guò)訓(xùn)練得到更好的與目標(biāo)樣本更相近的特征圖，為分割血管的精細(xì)化起到很大的作用，以至于不需要后續(xù)專門(mén)的精化步驟來(lái)進(jìn)行視網(wǎng)膜血管的精細(xì)化。

融合過(guò)程：為了直接利用側(cè)輸出概率圖和fcn上采樣之后的輸出概率圖，我們對(duì)其進(jìn)行融合得到：其中，σ(·)表示sigmoid函數(shù)，表示第m個(gè)側(cè)輸出，hm與h分別是四個(gè)側(cè)輸出和fcn最后輸出的融合權(quán)值，初始融合權(quán)值都設(shè)為1/5。進(jìn)行加權(quán)融合的損失函數(shù)為：

其中，y表示標(biāo)準(zhǔn)血管分割圖即groundtruth，dist(·,·)表示融合之后的概率圖與標(biāo)準(zhǔn)血管分割圖之間的距離，即相差程度，通過(guò)學(xué)習(xí)的方式調(diào)整權(quán)值逐漸接近收斂，我們最小化其損失函數(shù)通過(guò)sdg(梯度下降法)。

訓(xùn)練：fcn-hned網(wǎng)絡(luò)構(gòu)建好之后可以進(jìn)行網(wǎng)絡(luò)的訓(xùn)練來(lái)進(jìn)行對(duì)圖像的自動(dòng)特征提取和學(xué)習(xí)過(guò)程，分兩步進(jìn)行：第一步，人工選取一些比較直觀的圖片1280張，先對(duì)本文構(gòu)建的模型進(jìn)行訓(xùn)練，每代輸入128個(gè)圖像，等到模型收斂之后，將模型參數(shù)保存下來(lái)，因?yàn)檫@1280張圖片內(nèi)容比較直觀簡(jiǎn)單，血管非血管的語(yǔ)義信息比較清晰，模型的收斂速度比較快；第二步，在全集訓(xùn)練集上對(duì)模型進(jìn)行再次訓(xùn)練，但是模型參數(shù)的初始值采用第一歩中得到的參數(shù)，這樣大大減少了模型的訓(xùn)練時(shí)間，使得整體模型的收斂速度加快。

訓(xùn)練：將每個(gè)圖像訓(xùn)練數(shù)據(jù)通過(guò)卷積神經(jīng)網(wǎng)絡(luò)算法進(jìn)行逐層計(jì)算后，得到輸出一個(gè)融合后的血管概率圖，計(jì)算該概率圖與對(duì)應(yīng)的標(biāo)準(zhǔn)圖中每個(gè)像素所屬類別的誤差。根據(jù)最小誤差準(zhǔn)則，通過(guò)誤差計(jì)算進(jìn)行逐層反饋修正所構(gòu)建的深度卷積神經(jīng)網(wǎng)絡(luò)中各層參數(shù)。當(dāng)誤差逐漸下降趨于穩(wěn)定時(shí)，認(rèn)為網(wǎng)絡(luò)已經(jīng)收斂，訓(xùn)練結(jié)束，生成所需檢測(cè)模型。

測(cè)試：將每張視網(wǎng)膜眼底圖像綠色通道圖的clahe圖和高斯匹配濾波圖分別輸入到已訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行測(cè)試，分別得到融合的視網(wǎng)膜血管分割圖稱為和對(duì)和進(jìn)行加權(quán)平均從而得到更多的血管信息，也得到了最后的視網(wǎng)膜血管分割概率圖。

4后處理

對(duì)綜合得到的視網(wǎng)膜血管概率圖進(jìn)行二值化得到分割圖，呈現(xiàn)出與專家分割一致的二值圖。通過(guò)對(duì)分割結(jié)果進(jìn)行參數(shù)評(píng)估，得到96％以上的準(zhǔn)確率，如圖5所示。