基于3d卷積神經(jīng)網(wǎng)絡(luò)的腦血管分割方法
【專利摘要】本發(fā)明公開了一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的腦血管分割方法，該方法涉及機器學(xué)習(xí)、模式識別、圖像處理等領(lǐng)域。該方法首先將標記好的腦血管造影圖像按序堆疊成3維矩陣，對于其中的血管點取25×25×25大小的patch，然后再隨機相同數(shù)量、相同大小的非血管點patch，得到訓(xùn)練數(shù)據(jù)。之后將訓(xùn)練數(shù)據(jù)輸入到3D卷積神經(jīng)網(wǎng)絡(luò)用于訓(xùn)練，得到訓(xùn)練模型。然后將實際的血管造影序列圖像的每個像素點取25×25×25大小的patch，輸入到模型中，得到分類標簽，在將分類標簽拉伸為相同大小的圖像，即為分割血管圖像。該方法具有準確率高、泛型程度好的效果。
【專利說明】
基于3D卷積神經(jīng)網(wǎng)絡(luò)的腦血管分割方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于計算機視覺領(lǐng)域，更為具體地講，設(shè)及一種基于3D卷積神經(jīng)網(wǎng)絡(luò)，針對 血管造影圖像的血管分割方法。
【背景技術(shù)】
[0002] 隨著人們生活水平的提高，血管疾病已成為危害人們健康的首要疾病之一。血管 是人體中非常重要的器官，一旦發(fā)生病變將嚴重影響著人們的正常生活。因此，血管疾病的 早期預(yù)防、診斷和治療凸顯重要，借助于現(xiàn)代醫(yī)學(xué)影像手段對血管進行檢查、分析W及輔助 治療也成為該領(lǐng)域研究的熱點。
[0003] 目前，用于血管疾病檢查和診斷的臨床技術(shù)主要有:基于射線的數(shù)字減影血管造 影（Digital Subtraction Angiography ,DSA)，基于超聲的彩色經(jīng)煩多普勒成像（Color Transcranial Doppler ,CTD)，石茲共振???管造景多（Magnetic Resonance An邑io邑raphy ,MRA)， 計算機斷層掃描血管造影(Computed Tomogra地y Angiogra地y)等W上幾種。
[0004] 而卷積神經(jīng)網(wǎng)絡(luò)在自然圖像的分類及分割任務(wù)中取得了巨大成功，因此近年來將 深度學(xué)習(xí)的方法應(yīng)用到醫(yī)學(xué)圖像的研究也越來越多。卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一 種，已成為當前語音分析和圖像識別領(lǐng)域的研究熱點，它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似 于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點在網(wǎng)絡(luò)的輸入是多 維圖像時表現(xiàn)的更為明顯，使圖像可W直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜 的特征提取和數(shù)據(jù)重建過程。卷積網(wǎng)絡(luò)是為識別二維形狀而特殊設(shè)計的一個多層感知器， 運種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于設(shè)計一種能夠從3個維度提取圖像信息的卷積神經(jīng)網(wǎng)絡(luò)，用于 分割腦血管圖像，該方法對傳統(tǒng)的2維卷積神經(jīng)網(wǎng)絡(luò)做了 3D擴展，能夠提取相似血管造影圖 像中更多的隱含信息。
[0006] 為實現(xiàn)上述目的，本發(fā)明一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的分類方法，主要包括兩個階 段:訓(xùn)練階段和預(yù)測階段;訓(xùn)練階段是對帶有標簽的3維腦血管造影圖像輸入進3D卷積神經(jīng) 網(wǎng)絡(luò)，訓(xùn)練網(wǎng)絡(luò)參數(shù)，得到訓(xùn)練模型。預(yù)測階段是根據(jù)該訓(xùn)練好的模型預(yù)測測試數(shù)據(jù)，分割 腦血管。
[0007] 訓(xùn)練階段如圖1所示，具體技術(shù)流程如下：
[000引步驟一:首先對腦血管造影圖像中的血管點做好標簽，然后將標記好的圖像堆疊 成3維矩陣，對每一個血管點取25X25X25的patch即為正樣本，然后在3維矩陣中隨機取相 同數(shù)量的非血管點的path即為負樣本；
[0009] 步驟二:輸入訓(xùn)練樣本，對該樣本進行歸一化處理，然后進行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；
[0010] 步驟Ξ:在第一層設(shè)置20個卷積核，每個卷積核大小為6 X 6 X 6，并采用全連接方 式與輸入層相連進行卷積，得到20個大小為20 X 20 X 20的特征map;
[0011] 步驟四：對第一層的各個特征map進行空間上的下采樣，采樣單元為2,得到20個大 小為10 X 10 X 10的特征map,即為第二層；
[0012] 步驟五:對第二層的各個特征map采用5X5X5大小的3D卷積核進行3D卷積，輸出 為40個大小為6 X 6 X 6的特征map，連接方式采用全連接，此為第Ξ層；
[0013] 步驟六:對第Ξ層的各個特征map進行空間上的下采樣，采樣單元為2,得到40個大 小為3 X 3 X 3的特征map，即為第四層；
[0014] 步驟屯:對第四層的各個特征map采用3X3X3大小的3D卷積核進行3D卷積，輸出 為80個大小為1 X 1 X 1的特征map,連接方式采用全連接，此為第五層；
[0015] 步驟八:將第五層的各個特征map拉伸成維度為80的特征向量，然后對該特征向量 左乘一個128X80的隨機參數(shù)矩陣，得到一個128維的特征向量，此為第六層；
[0016]步驟九:將第六層得到的特征向量輸入進一個Logistic Regression分類器，輸出 為一個0到1的浮點數(shù)，表示輸入樣本中屯、是血管點的概率，此為第屯層；
[0017]步驟十:通過BP(反向傳播)算法對每一層的計算參數(shù)進行調(diào)整，使最終預(yù)測標簽 和訓(xùn)練標簽的誤差函數(shù)最小，當誤差滿足收斂條件時，迭代結(jié)束，得到訓(xùn)練模型。
[001引預(yù)測階段
[0019] 步驟十一:對測試圖像的每個像素點進行步驟一中的取25X25X25大小的patch 的操作，得到測試樣本，將測試樣本輸入進訓(xùn)練模型，得到預(yù)測標簽；
[0020] 步驟十二:設(shè)置一個闊值(如0.8)，將大于等于闊值的預(yù)測標簽設(shè)置為1，將小于闊 值的預(yù)測標簽設(shè)置為0,然后將所有的預(yù)測標簽根據(jù)對應(yīng)位置回復(fù)為原本圖像大小，即為得 到的血管分割圖像。
【附圖說明】
[0021] 圖1是3D卷積的示意圖；
[0022] 圖2是3D卷積神經(jīng)網(wǎng)絡(luò)的總體結(jié)構(gòu)圖。
[0023] 下面結(jié)合附圖對本發(fā)明的【具體實施方式】進行描述，W便本領(lǐng)域的技術(shù)人員更好地 理解本發(fā)明。需要特別提醒注意的是，在W下的描述中，可能淡化本發(fā)明主要內(nèi)容的已知功 能和設(shè)計的詳細描述將被忽略。
[0024] 在本實施方案中，本發(fā)明一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的腦血管分割方法主要包括W 下環(huán)節(jié):1.前向傳播、2.反向傳播。
[0025] 其中前向傳播過程中3D卷積操作實現(xiàn)如下公式：
[0026]
[0027] 其中Pi，Qi，Ri為卷積核的大小，?端''是卷積核連接到前層第m個特征map中坐標為 (i，j，m)的參數(shù)。
[0028] 反向傳播更新權(quán)值使用的是BP算法，3D卷積神經(jīng)網(wǎng)絡(luò)使用的BP算法與傳統(tǒng)的BP算 法不同，且由于卷積神經(jīng)網(wǎng)絡(luò)中卷積層和下采樣層交替出現(xiàn)，故卷積層和下采樣層的誤差 懲罰項δ的計算是不同的；
[0029] 對于輸出層神經(jīng)元的誤差懲罰項δ為：
[0030] SL = f' (uL)O(yn-tn)
[0031] 其中，yn表示神經(jīng)網(wǎng)絡(luò)實際的輸出向量，tn為樣本對應(yīng)的實際標簽，L代表最后一層 分類層，0表示點乘。
[0032] 第1層的誤差懲罰項如下：
[0033] Si=(wW)TSi+i〇f'(ui)
[0034] 然后由計算得到的誤差懲罰項來計算權(quán)值參數(shù)的梯度。在向量模式中可W由計算 輸入向量的內(nèi)積得到：
[0037] 由此可看出前一層的誤差依賴于后一層的誤差，即計算梯度是由后層逐步向前層 計算的。
[0038] 針對3D卷積神經(jīng)網(wǎng)絡(luò)，其具體的卷積層的誤差懲罰項的計算如下：
[0039]
[0040] 其中，C為常數(shù)，表示下采樣的尺度，up為上采樣函數(shù)，即將矩陣每個維度都擴展C 倍。
[0041 ]下采樣層的誤差懲罰項的計算如下：
[0042]
[0043] 其中，conv3表示3維卷積，rotlSO表示將卷積核旋轉(zhuǎn)180度，full表示卷積邊界的 方式。
[0044] 得到每一層的誤差懲罰項后，就可W計算參數(shù)的梯度：
[0047]其中，valid為卷積邊界的方式，表示不對邊界做任何處理。
[004引相比于其他傳統(tǒng)的腦血管分割方法如闊值分割、區(qū)域生長、主動輪廓，我們的方法 能夠提取腦血管圖像的Ξ維特征，可W達到更好的分割效果。且由于神經(jīng)網(wǎng)絡(luò)包含大量參 數(shù)，故得到的訓(xùn)練模型具有良好的泛化能力，對各種腦血管造影圖像(如CTA，MRA)都與較高 的分割準確率。
【主權(quán)項】
1. 本發(fā)明一種基于3D卷積神經(jīng)網(wǎng)絡(luò)的分類方法，主要包括兩個階段：訓(xùn)練階段和預(yù)測 階段。 步驟一:首先對腦血管造影圖像中的血管點做好標簽，然后將標記好的圖像堆疊成3維 矩陣，取25 X 25 X 25的patch作為樣本； 步驟二:輸入訓(xùn)練樣本，對該樣本進行歸一化處理，然后進行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練； 步驟三:在第一層設(shè)置20個卷積核，每個卷積核大小為6 X 6 X 6，并采用全連接方式與 輸入層相連進行卷積，得到20個大小為20 X 20 X 20的特征map; 步驟四：對第一層的各個特征map進行空間上的下采樣，采樣單元為2,得到20個大小為 10 X 10 X 10的特征map，即為第二層； 步驟五:對第二層的各個特征map采用5 X 5 X 5大小的3D卷積核進行3D卷積，輸出為40 個大小為6 X 6 X 6的特征map，連接方式采用全連接，此為第三層； 步驟六:對第三層的各個特征map進行空間上的下采樣，采樣單元為2,得到40個大小為 3 X 3 X 3的特征map，即為第四層； 步驟七:對第四層的各個特征map采用3 X 3 X 3大小的3D卷積核進行3D卷積，輸出為80 個大小為1 X 1 X 1的特征map，連接方式采用全連接，此為第五層； 步驟八:將第五層的各個特征map拉伸成維度為80的特征向量，然后對該特征向量左乘 一個128 X 80的隨機參數(shù)矩陣，得到一個128維的特征向量，此為第六層； 步驟九:將第六層得到的特征向量輸入進一個Logistic Regression分類器，輸出為一 個0到1的浮點數(shù)，表示輸入樣本中心是血管點的概率，此為第七層； 步驟十:通過BP(反向傳播)算法對每一層的計算參數(shù)進行調(diào)整，使最終預(yù)測標簽和訓(xùn) 練標簽的誤差函數(shù)最小，得到訓(xùn)練模型。2. 根據(jù)步驟十得到的訓(xùn)練模型，進行樣本預(yù)測： 步驟十一 :對測試圖像的每個像素點進行步驟一中的取25 X 25 X 25大小的patch的操 作，得到測試樣本，將測試樣本輸入進訓(xùn)練模型，得到預(yù)測標簽； 步驟十二：設(shè)置一個閾值，將大于等于閾值的預(yù)測標簽設(shè)置為1，將小于閾值的預(yù)測標 簽設(shè)置為〇,然后將所有的預(yù)測標簽根據(jù)對應(yīng)位置回復(fù)為原本圖像大小，即為得到的血管分 割圖像。3. 如權(quán)利要求1所述的基于3D卷積神經(jīng)網(wǎng)絡(luò)的分類方法，主要是卷積層和池化層的交 互堆疊，并通過BP算法訓(xùn)練參數(shù)，得到特征表述用于分類。
【文檔編號】G06T7/00GK105825509SQ201610154198
【公開日】2016年8月3日
【申請日】2016年3月17日
【發(fā)明人】秦臻, 楊曉明, 藍天, 秦志光, 陳圓, 徐路路, 陳浩, 肖哲, 王飛, 李雪瑞
【申請人】電子科技大學(xué)