本發(fā)明涉及特征工程
技術(shù)領(lǐng)域：
，特別是一種基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法。
背景技術(shù)：
：乳腺癌是發(fā)生在婦女群體中最普遍的惡性腫瘤之一。近年來我國調(diào)查研究顯示，乳腺癌的發(fā)生比率在逐年遞增。因此提高乳腺癌的早期診斷精度變得越來越有意義。目前，乳腺癌診斷采用的主要方法是通過乳腺鉬靶、B超圖像等影像檢查，診斷者通過鈣化或腫塊等影像特征來對病情進(jìn)行分析。但由于乳腺組織中的腺體、血管、脂肪等軟組織的密度與病灶區(qū)的密度都很接近，加上診斷者視覺疲勞等因素，使得早期乳腺癌的誤診和漏診仍時常發(fā)生。隨著醫(yī)學(xué)影像技術(shù)和計算機(jī)技術(shù)的不斷發(fā)展，利用計算機(jī)進(jìn)行輔助診斷成為可能。從計算機(jī)輔助診斷乳腺癌的應(yīng)用現(xiàn)狀來看，計算機(jī)輔助診斷的準(zhǔn)確度很大程度取決于提取到乳腺圖像病理相關(guān)特征是否有效。目前，一張?zhí)囟ǖ尼t(yī)學(xué)圖像對應(yīng)一個單一的視角，只能捕捉到該視角下的局部信息，輔助診斷通常需要綜合考慮不同視角的情況。例如對于乳腺鉬靶圖像而言，就可分為LCC、LMLO、RCC、RMLO四個不同的視角。其中LCC、LMLO是針對左乳腺的影像，而RCC、RMLO是針對右乳腺的影像。CC、MLO代表不同視角，分別表示軸位和側(cè)位。不同視角下圖像特征的融合有助于提供更為全面的病理描述。其次，醫(yī)學(xué)成像技術(shù)發(fā)展至今，有各種模態(tài)的醫(yī)學(xué)圖像，如超聲、核磁共振成像、乳腺鉬靶圖像、核醫(yī)學(xué)圖像、計算機(jī)斷層攝影、紅外線、熒光造影等。由于采用不同的成像技術(shù)，每種模態(tài)的醫(yī)學(xué)圖像在輔助診斷中具有各自的特點(diǎn)。就乳腺癌診斷而言，鈣化和腫塊是兩個非常重要的診斷依據(jù)。乳腺鉬靶對微小鈣化敏感度高，但對腫塊受致密性影響很大；乳腺B超圖像腫塊檢測性能良好，不受致密性影響，但是對微小鈣化敏感性差。顯然，乳腺X射線和B超圖像在輔助診斷上存在很強(qiáng)的互補(bǔ)性，兩種模態(tài)下各自的圖像特征亟需有效融合。因此，最好的解決機(jī)制是提供一種可以根據(jù)以往乳腺癌鉬靶圖像自動學(xué)習(xí)出與病理有關(guān)且可用于輔助診斷的鉬靶圖像高層語義特征的方法。醫(yī)學(xué)圖像特征融合是隸屬于醫(yī)學(xué)圖像融合的一個子問題。目前研究最多也最為成熟的是像素級圖像融合技術(shù)，包含兩個階段：圖像配準(zhǔn)和像素信息融合。但是像素級融合是最低層次的融合，在盡可能多的保留原始圖像信息的同時也帶來了計算繁雜的缺陷。決策級融合發(fā)生在決策階段，主要是通過集成不同分類器來實現(xiàn)，以此達(dá)到提高單一分類器性能的目的。作為最高層次的融合，決策級融合處理簡單但是損失細(xì)節(jié)信息過多。特征級融合介于像素級和決策級之間，在保留足夠數(shù)量的有效信息的基礎(chǔ)上，對信息進(jìn)行了一定的壓縮，減少信息處理的繁雜度。無論是信息飽和度還是處理效用度的角度來考察，特征級融合都是醫(yī)學(xué)圖像融合中更為合理有效的機(jī)制。目前特征級融合主要有級(串)聯(lián)融合、并聯(lián)融合、加權(quán)融合、基于主成分分析的融合和基于典型相關(guān)分析融合等。例如王之瓊等人首先提取乳腺乳腺鉬靶圖像的特征，然后將左側(cè)乳腺、右側(cè)乳腺以及雙側(cè)乳腺對比特征進(jìn)行級聯(lián)融合。Dong-JunYu,JunHu等人對蛋白質(zhì)的多視角特征利用復(fù)數(shù)空間進(jìn)行融合，然后在利用廣義的主成分分析進(jìn)行分類。魏旭等人先提取了包括分形特征、局域灰度概率特征等多種特征，通過基于PCA的特征融合算法對其進(jìn)行融合，對目標(biāo)進(jìn)行了匹配識別。醫(yī)學(xué)圖像含有異構(gòu)性、成分復(fù)雜、噪聲顯著、生理相關(guān)性等特性，使得到目前為止的醫(yī)學(xué)圖像特征級融合的效果不盡人意。受限玻爾茲曼機(jī)作為一種多隱層的人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)模型，具有很強(qiáng)的特征學(xué)習(xí)能力，可以從數(shù)據(jù)中學(xué)習(xí)得到更抽象更本質(zhì)的特征；而多層人工神經(jīng)網(wǎng)絡(luò)很難進(jìn)行有效訓(xùn)練的問題也可以通過逐層無監(jiān)督訓(xùn)練加以克服。因此，本申請基于上述方法，從乳腺鉬靶、B超圖像預(yù)處理獲取的手工淺層特征中經(jīng)由堆疊自編碼學(xué)習(xí)抽取效用度更好的高層病理特征，進(jìn)一步經(jīng)由單模態(tài)多視角下圖像病理特征融合和多模態(tài)圖像病理特征融合等階段，從而為臨床診斷提供更有價值的“參考意見”，提高乳腺癌診斷的準(zhǔn)確率和效率。技術(shù)實現(xiàn)要素：本發(fā)明的目的在于提供一種基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法，以克服現(xiàn)有技術(shù)中存在的缺陷。為實現(xiàn)上述目的，本發(fā)明的技術(shù)方案是：一種基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法，包括以下步驟：步驟S1：針對乳腺鉬靶圖像，從不同視角提取的手工淺層特征，并經(jīng)過深度學(xué)習(xí)，得到不同視角的高層語義特征；步驟S2：針對乳腺B超圖像，從不同視角提取的手工淺層特征，并經(jīng)過深度學(xué)習(xí)，得到不同視角的高層語義特征；步驟S3：將所述步驟S1中獲取的乳腺鉬靶圖像不同視角的高層語義特征級聯(lián)，得到乳腺鉬靶多視角融合后的高層語義特征；步驟S4：將所述步驟S2中獲取的乳腺B超圖像不同視角的高層語義特征級聯(lián)，得到乳腺B超多視角融合后的高層語義特征；步驟S5：將所述步驟S3及所述步驟S4得到的乳腺鉬靶多視角融合后的高層語義特征、乳腺B超多視角融合后的高層語義特征作為訓(xùn)練樣本，利用CD算法訓(xùn)練整個多模態(tài)乳腺圖像特征融合模型，也即FUSION_RBM模型；步驟S6：所述FUSION_RBM模型訓(xùn)練完成后，給定一待測樣本(f_mod1，f_mod2)，根據(jù)以下公式獲得融合特征表示：P(hj=1|f_mod1,f_mod2)=σ(Σi=1v1w1ijf_mod1i+Σi=1v2w2ijf_mod2i+bhj)]]>其中，hj為隱層h第j個單元，f_modti為模態(tài)t圖像特征第i個單元，wtij為模態(tài)t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權(quán)值，bhj為隱層h中第j個單元的偏置，bti為模態(tài)t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數(shù)。進(jìn)一步的，在本發(fā)明一實施例中，在所述步驟S1中，從每一張視角為CC位，也即view1，的鉬靶ROI圖像中提取手工淺層特征，經(jīng)過堆疊自編碼器深度學(xué)習(xí)，得到鉬靶的高層語義特征SAE-F2-view1；從每一張視角為MLO位，也即view2，的鉬靶ROI圖像中提取手工淺層特征，經(jīng)過堆疊自編碼器深度學(xué)習(xí)，得到鉬靶高層語義特征SAE-F2-view2。進(jìn)一步的，在本發(fā)明一實施例中，在所述步驟S2中，從每一張視角為切面1，也即view1，的B超ROI圖像中提取手工淺層特征，經(jīng)過堆疊自編碼器深度學(xué)習(xí)，得到B超的高層語義特征BSAE-F2-view1；從每一張視角為切面2，也即view2，的B超ROI圖像中提取手工淺層特征，經(jīng)過堆疊自編碼器深度學(xué)習(xí)，得到B超的高層語義特征BSAE-F2-view2。進(jìn)一步的，在本發(fā)明一實施例中，在所述步驟S3中，將所述步驟S1得到的乳腺鉬靶兩個視角的圖像特征SAE-F2-view1和SAE-F2-view2，串聯(lián)成一個高維特征向量SAE-F2-fusion，以保留所有視角的信息。進(jìn)一步的，在本發(fā)明一實施例中，在所述步驟S4中，將所述步驟S2中得到的乳腺B超兩個視角的圖像特征BSAE-F2-view1和BSAE-F2-view2，串聯(lián)成一個高維特征向量BSAE-F2-fusion，以保留所有視角的信息。進(jìn)一步的，在本發(fā)明一實施例中，在所述步驟S5中，將所述步驟S3及所述步驟S4得到的乳腺鉬靶多視角融合后的高層語義特征、乳腺B超多視角融合后的高層語義特征作為訓(xùn)練樣本，利用CD算法訓(xùn)練整個多模態(tài)乳腺圖像特征融合模型，也即FUSION_RBM模型，具體包括以下步驟：步驟S51：初始化，α表示學(xué)習(xí)率，size表示訓(xùn)練集樣本個數(shù)，num_epoch表示設(shè)置的循環(huán)次數(shù)；步驟S52：外重循環(huán)fort＝1:num_epoch；內(nèi)重循環(huán)fors＝1:size；步驟S521：輸入層采樣；將訓(xùn)練樣本轉(zhuǎn)化為二進(jìn)制單元，具體為：即，當(dāng)特征大于一個0至1之間的隨機(jī)數(shù)時，賦值為1，否則為0；其中，f_mod1＝BSAE-F2-fusion，f_mod2＝SAE-F2-fusion，vi表示模態(tài)i的特征維數(shù)；rand(1,v1+v2)表示產(chǎn)生1行v1+v2列的(0,1)區(qū)間的隨機(jī)數(shù)；步驟S522：計算正向概率隱層P(pos_h_proj(s)=1|f_mod1(s),f_mod2(s))=σ(Σi=1v1w1ijf_mod1i(s)+Σi=1v2w2ijf_mod2i(s)+bhj);]]>步驟S523：正向隱層采樣。將概率隱層轉(zhuǎn)化為二進(jìn)制隱層：pos_h_state(s)=pos_h_pro(s)>rand(1,vh);]]>步驟S524：反向重構(gòu)輸入層：P(neg_f_modti(s)=1|pos_h_state(s))=σ(Σj=1vhwtijpos_h_statej(s)+bti),t=1,2;]]>步驟S525：反向輸入層采樣：neg_state_f(s)_modt=neg_f_modt(s)>rand(1,vt),t=1,2;]]>步驟S526：計算反向概率隱層P(neg_h_proj(s)=|neg_state_f_mod1(s),neg_state_f_mod2(s))=σ(Σi=1v1w1ijneg_state_f_mod1i(s)+Σi=1v2w2ijneg_state_f_mod2i(s)+bhj);]]>步驟S527：計算梯度：dwtij=f_modti(s)*pos_h_proj(s)-neg_f_modti(s)*neg_h_proj(s),t=1,2dbhj=pos_h_proj(s)-neg_h_proj(s)dbti=f_modti(s)-neg_f_modti(s),t=1,2;]]>步驟S528：更新權(quán)值和偏置：wtij＝wtij+α*dwtij,t＝1,2bhj＝bhj+α*dbhjbti＝bti+α*dbti,t＝1,2；其中，hj為隱層h第j個單元，f_modti為模態(tài)t圖像特征第i個單元，wtij為模態(tài)t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權(quán)值，bhj為隱層h中第j個單元的偏置，bti為模態(tài)t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數(shù)。相較于現(xiàn)有技術(shù)，本發(fā)明具有以下有益效果：本發(fā)明所提出的一種基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法，將單一模態(tài)多視角的乳腺醫(yī)學(xué)圖像病理特征進(jìn)行級聯(lián)融合，然后進(jìn)一步地引入受限玻爾茲曼機(jī)，計算不同模態(tài)醫(yī)學(xué)圖像的病理特征的概率聯(lián)合分布模型，獲取其隱層特征作為多模態(tài)乳腺醫(yī)學(xué)影像病理特征融合后的特征，在一定程度上完善不同模態(tài)乳腺醫(yī)學(xué)圖像之間的信息互補(bǔ)。為臨床診斷提供更有價值的“參考意見”，具有較強(qiáng)的實用性。附圖說明圖1為本發(fā)明中基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法圖像特征融合流程圖。圖2為本發(fā)明中基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法中多模態(tài)乳腺圖像特征融合模型(FUSION_RBM)。具體實施方式下面結(jié)合附圖，對本發(fā)明的技術(shù)方案進(jìn)行具體說明。本發(fā)明一種基于受限玻爾茲曼機(jī)的乳腺圖像特征融合方法，如圖1所示，具體包括以下步驟：步驟S1：針對乳腺鉬靶圖像，從不同視角提取的手工淺層特征經(jīng)過深度學(xué)習(xí)后，可得到不同視角的高層語義特征；步驟S2：針對乳腺B超圖像，從不同視角提取的手工淺層特征經(jīng)過深度學(xué)習(xí)后，可得到不同視角的高層語義特征；步驟S3：將乳腺鉬靶圖像不同視角的高層語義特征級聯(lián)后，得到乳腺鉬靶多視角融合后的高層語義特征；步驟S4：將乳腺B超圖像不同視角的高層語義特征級聯(lián)后得到乳腺B超多視角融合后的高層語義特征；步驟S5：將步驟S3及步驟S4得到的乳腺鉬靶多視角融合后的高層語義特征、乳腺B超多視角融合后的高層語義特征作為訓(xùn)練樣本，利用CD算法，訓(xùn)練整個多模態(tài)乳腺圖像特征融合模型FUSION_RBM，如圖2所示。步驟S6：FUSION_RBM模型訓(xùn)練完成后，給定任一待測樣本(f_mod1，f_mod2)，根據(jù)公以下式即可以獲得融合特征表示：P(hj=1|f_mod1,f_mod2)=σ(Σi=1v1w1ijf_mod1i+Σi=1v2w2ijf_mod2i+bhj)]]>其中，hj為隱層h第j個單元，f_modti為模態(tài)t圖像特征第i個單元，wtij為模態(tài)t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權(quán)值，bhj為隱層h中第j個單元的偏置，bti為模態(tài)t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數(shù)。進(jìn)一步的，在本實施例中，給出198個帶標(biāo)簽的乳腺B超、198個帶標(biāo)簽的乳腺鉬靶ROI圖像，這些圖像同屬于99個乳腺實例對象。取53個實例對象用于訓(xùn)練多模態(tài)特征融合模型，46個實例對象(良性21個，惡性25個)作為測試樣本。進(jìn)一步地，在本實施例中，在步驟S1中，從每一張視角為CC位，也即view1的鉬靶ROI圖像中提取提取手工淺層特征，得到樣本集m_set_view1，具體地，m_set_view1＝{(xview1(1),y(1)),(xview1(2),y(2)),…,(xview1(53),y(53))}，其中，xview1(i)∈[0,1]94,y(i)∈{-1,1},i＝1,2,…,53，經(jīng)過堆疊自編碼器深度學(xué)習(xí)后得到鉬靶的高層語義特征SAE-F2-view1，具體地，SAE-F2-view1∈[0,1]70；從每一張視角為MLO位，也即view2的鉬靶ROI圖像中提取手工淺層特征，得到樣本集m_set_view2，具體地，m_set_view2＝{(xview2(1),y(1)),(xview2(2),y(2)),…,(xview2(53),y(53))}，其中，xview2(i)∈[0,1]94,y(i)∈{-1,1},i＝1,2,…,53，經(jīng)過堆疊自編碼器深度學(xué)習(xí)后得到鉬靶高層語義特征SAE-F2-view2，具體地，SAE-F2-view2∈[0,1]70。進(jìn)一步地，在本實施例中，在步驟S2中，從每一張視角為切面1，也即view1的B超ROI圖像中提取提取手工淺層特征，得到樣本集b_set_view1，具體地，b_set_view1＝{(xview1(1),y(1)),(xview1(2),y(2)),…,(xview1(99),y(53))}，其中，xview1(i)∈[0,1]399,y(i)∈{-1,1},i＝1,2,…,53，經(jīng)過堆疊自編碼器深度學(xué)習(xí)后得到B超的高層語義特征BSAE-F2-view1，具體地，BSAE-F2-view1∈[0,1]200；從每一張視角為切面2，也即view2的B超ROI圖像中提取手工淺層特征，得到樣本集b_set_view2，具體地，b_set_view2＝{(xview2(1),y(1)),(xview2(2),y(2)),…,(xview2(53),y(53))}，其中，xview2(i)∈[0,1]399,y(i)∈{-1,1},i＝1,2,…,53，經(jīng)過堆疊自編碼器深度學(xué)習(xí)后得到B超的高層語義特征BSAE-F2-view2，具體地，BSAE-F2-view2∈[0,1]200。進(jìn)一步地，在本實施例中，在步驟S3中，對步驟S1得到的乳腺鉬靶兩個視角的圖像特征SAE-F2-view1和SAE-F2-view2，串聯(lián)成一個高維特征向量SAE-F2-fusion，SAE-F2-fusion∈[0,1]140，這樣盡可能地保留了所有視角的信息。進(jìn)一步地，在本實施例中，在步驟S4中，對步驟S2得到的乳腺B超兩個視角的圖像特征BSAE-F2-view1和BSAE-F2-view2，串聯(lián)成一個高維特征向量BSAE-F2-fusion，BSAE-F2-fusion∈[0,1]400，這樣盡可能地保留了所有視角的信息。進(jìn)一步地，在本實施例中，在步驟S5中，利用CD算法，訓(xùn)練一個多模態(tài)乳腺圖像特征融合模型FUSION_RBM，如圖2所示，其中hj為隱層h第j個單元，f_modti為模態(tài)t圖像特征第i個單元，wtij為模態(tài)t圖像特征輸入層第i個單元與隱層h第j個單元之間的連接權(quán)值，bhj為隱層h中第j個單元的偏置，bti為模態(tài)t圖像特征輸入層第i個單元的偏置，σ表示sigmoid函數(shù)。具體包括以下步驟：步驟S51：初始化：α表示學(xué)習(xí)率，在本實施例中，該α設(shè)置為0.01，size表示訓(xùn)練集樣本個數(shù)，在本實施例中，該size取值為53，num_epoch表示設(shè)置的循環(huán)次數(shù)，在本實施例中，該num_epoch設(shè)置為10；步驟S52：外重循環(huán)fort＝1:num_epoch；內(nèi)重循環(huán)fors＝1:size；步驟S521：輸入層采樣。將訓(xùn)練樣本轉(zhuǎn)化為二進(jìn)制單元，具體為：即，當(dāng)特征大于一個0至1之間的隨機(jī)數(shù)時，賦值為1，否則為0；其中，f_mod1＝BSAE-F2-fusion，f_mod2＝SAE-F2-fusion，vi表示模態(tài)i的特征維數(shù)，在本實施例中，v1＝400，v2＝140，rand(1,v1+v2)表示產(chǎn)生1行v1+v2列的(0,1)區(qū)間的隨機(jī)數(shù)；步驟S522：計算正向概率隱層P(pos_h_proj(s)=1|f_mod1(s),f_mod2(s))=σ(Σi=1v1w1ijf_mod1i(s)+Σi=1v2w2ijf_mod2i(s)+bhj);]]>步驟S523：正向隱層采樣。將概率隱層轉(zhuǎn)化為二進(jìn)制隱層：pos_h_state(s)=pos_h_pro(s)>rand(1,vh);]]>步驟S524：反向重構(gòu)輸入層：P(neg_f_modti(s)=1pos_h_state(s))=σ(Σj=1vhwtijpos_h_statej+(s)bti),t=1,2;]]>步驟S525：反向輸入層采樣：具體為：當(dāng)特征大于一個0至1之間的隨機(jī)數(shù)時，賦值為1，否則為0，即：neg_state_(s)f_modt=neg_f_modt(s)>rand(1,vt),t=1,2;]]>步驟S526：計算反向概率隱層P(neg_h_proj(s)=1|neg_state_f_mod1(s),neg_state_f_mod2(s))=σ(Σi=1v1w1ijneg_state_f_mod1i(s)+Σi=1v2w2ijneg_state_f_mod2i(s)+bhj);]]>步驟S527：計算梯度：dwtij=f_modti(s)*pos_h_proj(s)-neg_f_modti(s)*neg_h_proj(s),t=1,2dbhj=pos_h_proj(s)-neg_h_proj(s)dbti-f_modti(s)-neg_f_modti(s),t=1,2;]]>步驟S528：更新權(quán)值和偏置：wtij＝wtij+α*dwtij,t＝1,2bhj＝bhj+α*dbhjbti＝bti+α*dbti,t＝1,2。進(jìn)一步的，在本實施例中，為了驗證融合后特征的表達(dá)能力，在多模態(tài)多視角融合特征上，采用基于RBF和線性核的SVM分類器對樣本進(jìn)行分類。將46個實例對象(良性21個，惡性25個)作為測試樣本，將同一樣本的乳腺鉬靶多視角融合后的高層語義特征SAE-F2-fusion以及乳腺B超多視角融合后的高層語義特征BSAE-F2-fusion作為FUSION-RBM的輸入；F-b-m作為FUSION-RBM的輸出，即乳腺B超BSAE-F2-fusion和乳腺鉬靶SAE-F2-fusion融合后的特征。在RBF核及線性核下，采用網(wǎng)格搜索及留一交叉驗證法進(jìn)行參數(shù)擇優(yōu)，并在各自最優(yōu)參數(shù)條件下，采用留一法來評估融合后特征的分類能力，如表1所示。表1多模態(tài)多視角融合后的特征的分類結(jié)果以上是本發(fā)明的較佳實施例，凡依本發(fā)明技術(shù)方案所作的改變，所產(chǎn)生的功能作用未超出本發(fā)明技術(shù)方案的范圍時，均屬于本發(fā)明的保護(hù)范圍。當(dāng)前第1頁1 2 3