本發(fā)明屬于圖像配準(zhǔn)領(lǐng)域，更具體地，涉及一種醫(yī)學(xué)圖像實時配準(zhǔn)方法及系統(tǒng)。
背景技術(shù)：
：圖像配準(zhǔn)廣泛應(yīng)用于臨床醫(yī)學(xué)、航空遙感、公安刑偵等領(lǐng)域，圍繞該問題展開了大量而深入的研究。醫(yī)學(xué)圖像中有大量的2D-3D圖像配準(zhǔn)的問題，現(xiàn)行的2D-3D配準(zhǔn)方法基本可描述為：從不同的角度和位置獲得3D數(shù)據(jù)的切面圖，比較切面圖與實際的二維圖像，根據(jù)相似度最優(yōu)的原則，得到2D圖像在3D數(shù)據(jù)中的位置。根據(jù)以上分析，已有的2D-3D圖像配準(zhǔn)，嚴(yán)格說是粗配準(zhǔn)，主要采用的策略是接近窮舉的方法或輔助于人工交互，為提高計算效率，金字塔方法及GPU被采用，對金字塔策略而言，在高級別層上通過少量的計算，為后續(xù)匹配提供較小的搜索范圍；GPU的優(yōu)勢體現(xiàn)在數(shù)值計算方面，對邏輯性判斷較多的計算過程，其加速比是有限的。據(jù)報道，2D-3D圖像的配準(zhǔn)速度在2s～15s，GPU加速的情況下，配準(zhǔn)的速度在1s左右，距離實時性的要求還是有相當(dāng)?shù)牟罹?。因此，建立一種快速且無損的配準(zhǔn)方法具有十分重要的意義。技術(shù)實現(xiàn)要素：針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的2D-3D實時配準(zhǔn)方法，將卷及神經(jīng)網(wǎng)絡(luò)引入到配準(zhǔn)中，其目的在于模擬實際生物的神經(jīng)網(wǎng)絡(luò)，通過其優(yōu)異的特征學(xué)習(xí)能力達(dá)到實時的2D-3D配準(zhǔn)，由此解決現(xiàn)有技術(shù)配準(zhǔn)方法準(zhǔn)確性低、魯棒性低的技術(shù)問題。為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種圖像實時配準(zhǔn)方法，其特征在于，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)；(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(1)所述待配準(zhǔn)的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為同源數(shù)據(jù)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其當(dāng)直接采集得到的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為不同源數(shù)據(jù)時，步驟(1)包括以下子步驟：將直接采集得到的2D圖像數(shù)據(jù)轉(zhuǎn)換為與目標(biāo)3D圖像數(shù)據(jù)同源的2D圖像數(shù)據(jù)，作為待配準(zhǔn)的2D圖像數(shù)據(jù)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其所述根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，按照如下方法獲?。?2-1)獲取目標(biāo)3D圖像；(2-2)抽取切面數(shù)據(jù)：從步驟(2-1)中獲得的目標(biāo)3D圖像中抽取切面；(2-3)設(shè)置神經(jīng)網(wǎng)絡(luò)模型參數(shù)；(2-4)根據(jù)步驟(2-2)中獲取的切面數(shù)據(jù)訓(xùn)練步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-2)所述切面滿足以下條件：θ∈[0,360)；其中，l為所述目標(biāo)3D圖像數(shù)據(jù)中的長，w為所述目標(biāo)3D圖像數(shù)據(jù)中的寬，h為所述目標(biāo)3D圖像數(shù)據(jù)中的高。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-3)所述的神經(jīng)網(wǎng)絡(luò)模型優(yōu)選為卷積神經(jīng)網(wǎng)絡(luò)模型；所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依次鏈接的卷積層、池化層、卷積層、池化層、全連接層、激勵層和全連接層。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其所述卷積神經(jīng)網(wǎng)絡(luò)其所述全連接層輸出為3，即待配準(zhǔn)2D圖像的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-4)具體為：將步驟(2-2)中獲得的切面數(shù)據(jù)輸入步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，設(shè)置訓(xùn)練解決方案參數(shù)并初始化網(wǎng)絡(luò)參數(shù)，迭代更新權(quán)重，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。優(yōu)選地，所述圖像實時配準(zhǔn)方法，其步驟(2-4)所述訓(xùn)練解決方案參數(shù)中學(xué)習(xí)率優(yōu)選設(shè)置為0.0001。按照本發(fā)明的另一方面，提供了一種圖像實時配準(zhǔn)系統(tǒng)，包括：圖像采集模塊，用于采集待配準(zhǔn)的2D圖像數(shù)據(jù)；配準(zhǔn)模塊，用于將圖像采集模塊獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)?？傮w而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，能夠取得下列有益效果：1、將深度學(xué)習(xí)引入到2D-3D配準(zhǔn)的問題中，將2D與3D的對應(yīng)關(guān)系表達(dá)為一個深度卷積神經(jīng)網(wǎng)絡(luò)，從理論上探索一種解決窮舉計算問題的策略，以達(dá)到實時配準(zhǔn)的目的。2、訓(xùn)練網(wǎng)絡(luò)的合理設(shè)計，為準(zhǔn)確訓(xùn)練提供了保障并且對結(jié)果優(yōu)化有著重要影響。3、解決方案參數(shù)的合理設(shè)置，在保證結(jié)果準(zhǔn)確的前提下進(jìn)一步縮短了網(wǎng)絡(luò)訓(xùn)練的時間。4、訓(xùn)練時調(diào)用GPU，大幅度提高了訓(xùn)練數(shù)據(jù)。附圖說明圖1本發(fā)明配準(zhǔn)流程圖；圖2抽取切面原理圖；圖3深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；圖4待配準(zhǔn)的3D醫(yī)學(xué)數(shù)據(jù)圖；圖5待配準(zhǔn)的3D醫(yī)學(xué)數(shù)據(jù)中心處三個斷面圖像；圖6真實切面與測試切面絕對殘差圖。具體實施方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。一種圖像時是配準(zhǔn)方法，包括以下步驟：(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)。所述待配準(zhǔn)的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為同源數(shù)據(jù)，當(dāng)直接采集得到的2D圖像數(shù)據(jù)與目標(biāo)3D圖像數(shù)據(jù)為不同源數(shù)據(jù)時，將直接采集得到的2D圖像數(shù)據(jù)轉(zhuǎn)換為與目標(biāo)3D圖像數(shù)據(jù)同源的2D圖像數(shù)據(jù)，作為待配準(zhǔn)的2D圖像數(shù)據(jù)。(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。所述根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，按照如下方法獲?。?2-1)獲取目標(biāo)3D圖像；(2-2)抽取切面數(shù)據(jù)：從步驟(2-1)中獲得的目標(biāo)3D圖像中抽取切面，所述切面的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r滿足以下條件：θ∈[0,360)；其中，l為所述目標(biāo)3D圖像數(shù)據(jù)中的長，w為所述目標(biāo)3D圖像數(shù)據(jù)中的寬，h為所述目標(biāo)3D圖像數(shù)據(jù)中的高。(2-3)設(shè)置神經(jīng)網(wǎng)絡(luò)模型參數(shù)；所述神經(jīng)網(wǎng)絡(luò)模型優(yōu)選為卷積神經(jīng)網(wǎng)絡(luò)模型；所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依次鏈接的卷積層、池化層、卷積層、池化層、全連接層、激勵層和全連接層。所述全連接層輸出為3，即待配準(zhǔn)2D圖像的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r。(2-4)根據(jù)步驟(2-2)中獲取的切面數(shù)據(jù)訓(xùn)練步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。將步驟(2-2)中獲得的切面數(shù)據(jù)輸入步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，設(shè)置訓(xùn)練解決方案參數(shù)并初始化網(wǎng)絡(luò)參數(shù)，迭代更新權(quán)重，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。所述訓(xùn)練解決方案參數(shù)中學(xué)習(xí)率優(yōu)選設(shè)置為0.0001，即每訓(xùn)練10000次學(xué)習(xí)率下降為原學(xué)習(xí)率的1/10，動量momentum設(shè)為0.9，權(quán)值衰減懲罰項weight_decay設(shè)為0.00003。為了方便觀察訓(xùn)練過程中的網(wǎng)絡(luò)變化，設(shè)置每100次顯示一次loss值，每500次測試一次，每1000次保存一次網(wǎng)絡(luò)結(jié)構(gòu)。以下為實施例：實施例1(1)采集待配準(zhǔn)的2D圖像數(shù)據(jù)。待配準(zhǔn)的2D圖像為CT數(shù)據(jù)。(2)將步驟(1)中獲得的待配準(zhǔn)的2D圖像數(shù)據(jù)，輸入根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，獲得所述2D圖像在所述目標(biāo)3D圖像中位置信息；所述位置信息包括待配準(zhǔn)2D圖像在目標(biāo)3D圖像坐標(biāo)系中的特征向量及與坐標(biāo)系原點的距離；所述特征向量為經(jīng)過坐標(biāo)系原點且垂直于所述2D圖像平面的向量，包括仰角和方位角兩個參數(shù)。所述根據(jù)目標(biāo)3D圖像訓(xùn)練得到的配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，按照如下方法獲?。?2-1)獲取目標(biāo)3D圖像；(2-2)抽取切面數(shù)據(jù)：從步驟(2-1)中獲得的目標(biāo)3D圖像中抽取切面，所述切面的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r滿足以下條件：θ∈[0,360)；其中，l為所述目標(biāo)3D圖像數(shù)據(jù)中的長，w為所述目標(biāo)3D圖像數(shù)據(jù)中的寬，h為所述目標(biāo)3D圖像數(shù)據(jù)中的高。(2-3)設(shè)置神經(jīng)網(wǎng)絡(luò)模型參數(shù)；所述神經(jīng)網(wǎng)絡(luò)模型優(yōu)選為卷積神經(jīng)網(wǎng)絡(luò)模型；所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依次鏈接的卷積層、池化層、卷積層、池化層、全連接層、激勵層和全連接層。所述全連接層輸出為3，即待配準(zhǔn)2D圖像的特征向量仰角特征向量的方位角θ和與坐標(biāo)系原點的距離r。參數(shù)設(shè)置為：訓(xùn)練塊小為32，測試塊大小為16，第一個卷積層模板大小設(shè)置為10×9×9，第一個池化層尺寸為3，第二個卷積層模板大小設(shè)置為5×7×7，第二個池化層尺寸為4，第一個全連接層輸出為200，激勵層采用ReLU，最后一個全連接層輸出為3。殘差由歐幾里得距離產(chǎn)生，采用隨機梯度下降法進(jìn)行權(quán)重的優(yōu)化迭代。(2-4)根據(jù)步驟(2-2)中獲取的切面數(shù)據(jù)訓(xùn)練步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。將步驟(2-2)中獲得的切面數(shù)據(jù)輸入步驟(2-3)中獲得的神經(jīng)網(wǎng)絡(luò)參數(shù)模型，設(shè)置訓(xùn)練解決方案參數(shù)并初始化網(wǎng)絡(luò)參數(shù)，迭代更新權(quán)重，得到所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)。設(shè)置學(xué)習(xí)率為0.0001，每訓(xùn)練10000次學(xué)習(xí)率下降為原學(xué)習(xí)率的1/10，動量momentum設(shè)為0.9，權(quán)值衰減懲罰項weight_decay設(shè)為0.00003。為了方便觀察訓(xùn)練過程中的網(wǎng)絡(luò)變化，設(shè)置每100次顯示一次loss值，每500次測試一次，每1000次保存一次網(wǎng)絡(luò)結(jié)構(gòu)。測試所述配準(zhǔn)用神經(jīng)網(wǎng)絡(luò)，評價配準(zhǔn)的準(zhǔn)確性以及魯棒性，具體如下：選取loss值盡可能小的一個網(wǎng)絡(luò)結(jié)構(gòu)，運用測試數(shù)據(jù)兩種進(jìn)行測試。第:1種測試為：將測試數(shù)據(jù)輸入網(wǎng)絡(luò)，得到的標(biāo)簽值與測試數(shù)據(jù)的真實標(biāo)簽值作對比，我們認(rèn)為誤差在一定范圍內(nèi)是滿足條件的；第2種測試為：將測試數(shù)據(jù)輸入網(wǎng)絡(luò)，得到一組標(biāo)簽值，將以此組標(biāo)簽值得到的切面圖像與測試圖像進(jìn)行對比。表1展示了第一種測試的結(jié)果，圖6和表2展示了第二種測試的結(jié)果。測試1：表1表示3個標(biāo)簽的測試值與真實值的絕對值誤差同時滿足在同一個范圍內(nèi)時的準(zhǔn)確率(測試圖像為598幅)：表1標(biāo)簽誤差與準(zhǔn)確率關(guān)系表誤差值準(zhǔn)確率290.47％397.66％499.00％599.67％699.83％7100％8100％訓(xùn)練數(shù)據(jù)采樣間隔為5，上表可以看出誤差滿足小于等于5時，準(zhǔn)確率可以達(dá)到98.05％，因此我們認(rèn)為準(zhǔn)確率小于等于采樣間隔時滿足我們配準(zhǔn)的需求。同時，在普通個人電腦上，配準(zhǔn)過程小于10ms(配準(zhǔn)過程無GPU加速)，完全滿足實時性的要求。測試2：將一張測試的真實圖像作為輸入圖像，得到的標(biāo)簽值分別為(23.40707416.62757179.137238)，由標(biāo)簽值可以得到對應(yīng)的切面估計圖像，圖6standard為估計圖像與輸入圖像的絕對誤差圖。圖6(a)-(f)分別表示6中不同標(biāo)簽得到的估計圖像與輸入圖像的絕對誤差圖。為了方便查看，我們將絕對誤差圖進(jìn)行了數(shù)值翻轉(zhuǎn)。表2展示了圖6的估計圖像的標(biāo)簽值和對應(yīng)絕對誤差圖翻轉(zhuǎn)前MSE：表2估計圖像標(biāo)簽值與絕對誤差MSE表圖6和表2可以很明顯的看出，我們得到的標(biāo)簽值對應(yīng)的估計圖像與原始圖像最為接近，因此也驗證我們方法的正確性。本領(lǐng)域的技術(shù)人員容易理解，以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。當(dāng)前第1頁1 2 3