本發(fā)明涉及一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，實現(xiàn)對smri灰質(zhì)和pet多模態(tài)影像的特征提取，并有效地融合多模態(tài)特征以進(jìn)一步提升阿爾茨海默病的輔助診斷性能，涉及醫(yī)學(xué)影像和深度學(xué)習(xí)領(lǐng)域。

背景技術(shù)：

1、阿爾茨海默病(alzheimer's?disease，ad)是一種中樞神經(jīng)系統(tǒng)的退行性疾病，主要以記憶、語言、認(rèn)知甚至情感障礙為特征，可影響患者的日常生活，是最常見的癡呆癥類型。隨著全球老齡化的趨勢，阿爾茨海默病患者的數(shù)量在逐年增加，實現(xiàn)對ad的早期發(fā)現(xiàn)和準(zhǔn)確診斷對于延緩疾病進(jìn)展，提高患者的生活質(zhì)量至關(guān)重要。目前，ad的臨床診斷需要認(rèn)知行為學(xué)評估和影像學(xué)及其他輔助檢查的基礎(chǔ)上進(jìn)行綜合評估。影像學(xué)檢查是一種相對方便、可靠的診斷輔助手段，在檢測和確診阿爾茨海默病方面發(fā)揮著重要作用，影像學(xué)檢查的結(jié)果可以在一定程度上協(xié)助醫(yī)生提高阿爾茨海默病診斷的準(zhǔn)確性。隨著影像學(xué)技術(shù)的發(fā)展，出現(xiàn)了多種神經(jīng)影像學(xué)技術(shù)，包括結(jié)構(gòu)成像smri和功能成像pet等。smri作為一種無創(chuàng)、無輻射的結(jié)構(gòu)成像，是目前臨床上應(yīng)用最廣泛的影像學(xué)工具，醫(yī)生通過smri可以觀察到大腦中一些明顯的結(jié)構(gòu)變化來評估ad。在功能成像方面，18f-fdg?pet是一種分子檢查方式，通過向體內(nèi)注射放射性元素來觀察葡萄糖代謝情況，分析大腦的葡萄糖代謝功能以評估ad。上述兩種成像技術(shù)為ad的篩查和早期診斷提供了更多依據(jù)。為此，利用當(dāng)前的深度學(xué)習(xí)技術(shù)，如何有效地利用這兩種影像特征來提升ad診斷性能是近年的研究熱點。

技術(shù)實現(xiàn)思路

1、本發(fā)明為解決上述問題提供一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，實現(xiàn)基于多模態(tài)smri灰質(zhì)和pet影像的ad輔助診斷，提升對ad的分類準(zhǔn)確率。首先，考慮到腦影像的特點，為減少卷積特征提取中細(xì)節(jié)信息的丟失，在全連接層中整合了低級特征和高級特征。其次，為了有效融合兩個不同模態(tài)影像的相關(guān)特征，我們通過基于非共享參數(shù)的網(wǎng)絡(luò)訓(xùn)練方式對多模態(tài)影像實現(xiàn)了特征提取和特征學(xué)習(xí)，并進(jìn)一步利用了空間金字塔池化對多模態(tài)影像特征降維，最后通過全連接層和softmax層得到最終的分類預(yù)測，提高了分類和輔助診斷的可靠性。

2、adni數(shù)據(jù)集是目前全球公開的數(shù)據(jù)集，用于研究阿爾茨海默病的診斷。我們選擇了數(shù)據(jù)庫中461名受試者的smri影像和pet影像作為子數(shù)據(jù)集，為了避免數(shù)據(jù)泄露的情況發(fā)生，按受試者的id劃分訓(xùn)練集驗證集和測試集。受試者分為：認(rèn)知正常(normal?control,nc)和ad受試者。我們的發(fā)明在adni子數(shù)據(jù)集上取得了較好的測試結(jié)果，并通過消融實驗驗證了該發(fā)明的合理性和有效性。

3、本發(fā)明通過以下技術(shù)方案來實現(xiàn)上述目的：

4、1、步驟一中構(gòu)建數(shù)據(jù)集，用于ad輔助診斷的公開數(shù)據(jù)集是adni，本發(fā)明專利的數(shù)據(jù)子集總共使用了adni數(shù)據(jù)庫中461位受試者的smri和pet影像，其中nc受試者為246名，ad受試者為215名。我們根據(jù)受試者數(shù)量以70％、15％和15％的比例按受試者編號劃分?jǐn)?shù)據(jù)集，前n-1個編號的受試者用于網(wǎng)絡(luò)訓(xùn)練，n后的一半數(shù)據(jù)用于驗證，另一半用于測試，所有受試者沒有來自同一個人，這避免了由于數(shù)據(jù)泄露而導(dǎo)致的測試結(jié)果不準(zhǔn)確。利用clinica軟件平臺對兩種模態(tài)影像進(jìn)行預(yù)處理，經(jīng)過偏差校正，模板配準(zhǔn)和像素歸一化后得到標(biāo)準(zhǔn)的影像，預(yù)處理后的兩種影像分辨率大小為121×145×121。

5、2、步驟二中本發(fā)明提出了對兩種模態(tài)影像特征提取的實現(xiàn)。首先，將預(yù)處理后的兩種影像分別經(jīng)過兩個3d?resnet10子網(wǎng)絡(luò)進(jìn)行特征提取，然后對4個卷積層中獲取的特征圖實施通道注意力機(jī)制作用，最后將每個卷積層中的多模態(tài)特征圖進(jìn)行拼接，得到4組多模態(tài)影像的融合特征，通過該方法對兩種腦影像實現(xiàn)了有效的特征提取，同時多模態(tài)影像通過互補(bǔ)信息特性提供了更好的特征特異性。

6、3、步驟三中本發(fā)明提出了空間金字塔池化對融合特征的降維，空間金字塔池化是一種增加感受野的方法，同時還解決了池化作用中導(dǎo)致的一些細(xì)節(jié)信息的損失問題?？臻g金字塔池化模塊對融合特征作用后得到多尺度特征圖，其特征圖尺度分別為4×4×4、2×2×2和1×1×1，然后對多尺度特征圖進(jìn)行展平拼接，最后利用1維卷積分別對4組多模態(tài)特征降維，降維后的特征維度分別為128，256，512，1024，再將4組降維后的特征在全連接層中進(jìn)行拼接得到1960維度的1維特征向量。由于空間金字塔池化策略對融合特征表示階段考慮了多尺度信息，其池化作用使采樣特征具有更好的魯棒性，這些降維后的特征包含了多模態(tài)特征的多尺度信息，有利于網(wǎng)絡(luò)分類性能的進(jìn)一步提升。

7、4、步驟四中本發(fā)明提出了多模態(tài)子網(wǎng)絡(luò)非共享參數(shù)的訓(xùn)練方式，拼接后的1960維特征向量經(jīng)過全連接層和softmax后輸出最后的預(yù)測結(jié)果，多模態(tài)網(wǎng)絡(luò)中的兩個子網(wǎng)絡(luò)在訓(xùn)練時通過非共享參數(shù)的方式學(xué)習(xí)各自的影像特征，網(wǎng)絡(luò)采用交叉熵?fù)p失進(jìn)行優(yōu)化實現(xiàn)分類。

技術(shù)特征：

1.一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，其特征在于包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，其特征在于步驟一中數(shù)據(jù)集的制作和預(yù)處理，構(gòu)建過程如下：基于公開數(shù)據(jù)集adni選擇同一受試者的smri和pet影像構(gòu)成本發(fā)明的數(shù)據(jù)集，通過非泄露方式劃分訓(xùn)練集、驗證集和測試集；對smri和pet影像進(jìn)行預(yù)處理，包括偏差校正，模板配準(zhǔn)和歸一化等流程，并對smri進(jìn)行灰質(zhì)組織的提取，預(yù)處理后的smri灰質(zhì)影像和pet影像的分辨率大小皆為121×145×121。

3.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，其特征在于步驟二中多模態(tài)特征的提取和融合，構(gòu)建過程如下：將步驟一數(shù)據(jù)集中的smri灰質(zhì)和pet影像輸入3dresnet10殘差網(wǎng)絡(luò)中，獲得多模態(tài)影像特征并進(jìn)行特征融合；首先，兩個殘差子網(wǎng)絡(luò)分別對多模態(tài)影像進(jìn)行特征提取，然后對殘差網(wǎng)絡(luò)4個卷積層獲取的特征圖進(jìn)行通道注意力作用，再將作用后的特征圖在相應(yīng)卷積層中拼接得到4組融合后的多模態(tài)特征。

4.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，其特征在于步驟三中多模態(tài)融合特征的降維，構(gòu)建過程如下：首先，利用空間金字塔池化對步驟二中獲取的多模態(tài)特征作用，獲得多尺度特征圖，其尺度分別為4×4×4、2×2×2和1×1×1，然后將多尺度特征圖展平后拼接，最后再利用1維卷積降維，對4組多模態(tài)特征降維后的特征維度分別為128、256、512、1024，在全連接層中再進(jìn)行融合得到1920維度的一維特征向量。

5.根據(jù)權(quán)利要求1所述的一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，其特征在于步驟四中多模態(tài)子網(wǎng)絡(luò)非共享參數(shù)的學(xué)習(xí)方式，構(gòu)建過程如下：將步驟三獲取的1920維度的1維向量經(jīng)過全連接層和softmax層得到最后的預(yù)測結(jié)果，多模態(tài)網(wǎng)絡(luò)采用交叉熵?fù)p失進(jìn)行優(yōu)化，兩個子網(wǎng)絡(luò)通過非共享參數(shù)的訓(xùn)練方式能更好地學(xué)習(xí)各模態(tài)影像的特征，進(jìn)一步提高了基于多模態(tài)影像特征融合的阿爾茨海默病輔助診斷性能。

技術(shù)總結(jié)
本發(fā)明公開了一種基于多模態(tài)影像特征融合的阿爾茨海默病分類方法，用于對阿爾茨海默病的輔助診斷。首先，對大腦sMRI和PET影像數(shù)據(jù)進(jìn)行預(yù)處理，提取sMRI灰質(zhì)組織。其次，將sMRI灰質(zhì)和PET兩種影像分別送入多模態(tài)網(wǎng)絡(luò)中的兩個子殘差網(wǎng)絡(luò)進(jìn)行特征提取和特征融合，并采用空間金字塔池化對融合后的特征作用。最后，兩個子網(wǎng)絡(luò)通過非共享參數(shù)的訓(xùn)練方式分別學(xué)習(xí)多模態(tài)影像的各自特征，再由全連接和softmax層輸出預(yù)測結(jié)果。結(jié)合深度學(xué)習(xí)方法和腦影像的特點，本發(fā)明通過對多模態(tài)特征的有效融合實現(xiàn)了更顯著的診斷性能，相對于兩種單模態(tài)的診斷性能都有進(jìn)一步的提升，在阿爾茨海默病的輔助診斷方面具有一定的應(yīng)用前景。

技術(shù)研發(fā)人員：何小海,張雁騰,滕奇志,劉艷,卿粼波,陳洪剛
受保護(hù)的技術(shù)使用者：四川大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26