本發(fā)明涉及圖像處理技術(shù),尤其涉及一種對(duì)MR圖像進(jìn)行處理的方法及裝置。
背景技術(shù):
核磁共振是一種物理現(xiàn)象,作為一種分析手段廣泛應(yīng)用于物理、化學(xué)生物、醫(yī)學(xué)臨床檢測(cè)等領(lǐng)域。為了避免與核醫(yī)學(xué)中放射成像混淆,把它稱(chēng)為磁共振成像術(shù)(Magnetic Resonance,MR)。
MR成像通過(guò)對(duì)靜磁場(chǎng)中的人體施加某種特定頻率的射頻脈沖序列,使人體中的氫質(zhì)子受到激勵(lì)而發(fā)生磁共振現(xiàn)象。停止脈沖后,質(zhì)子在弛豫過(guò)程中產(chǎn)生MR信號(hào)。通過(guò)對(duì)MR信號(hào)的接收、空間編碼和圖像重建等處理過(guò)程,即產(chǎn)生MR圖像。
MR成像已應(yīng)用于全身各系統(tǒng)的成像診斷。對(duì)于軟組織,MR圖像與其它模態(tài)相比可以提供更多結(jié)構(gòu)和紋理信息,但是醫(yī)生直接從MR圖像上判斷感興趣區(qū)域病變程度很難,只能在MR確認(rèn)存在病變后,依靠組織學(xué)的分析得到病理。
技術(shù)實(shí)現(xiàn)要素:
以下給出一個(gè)或多個(gè)方面的簡(jiǎn)要概述以提供對(duì)這些方面的基本理解。此概述不是所有構(gòu)想到的方面的詳盡綜覽,并且既非旨在指認(rèn)出所有方面的關(guān)鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡(jiǎn)化形式給出一個(gè)或多個(gè)方面的一些概念以為稍后給出的更加詳細(xì)的描述之序。
根據(jù)本發(fā)明的一方面,提供了一種MR圖像的處理方法,該MR圖像包括多種序列的MR圖像,該處理方法包括:
從每幅MR圖像分割感興趣區(qū)域;
針對(duì)每種序列的MR圖像執(zhí)行各感興趣區(qū)域之間的灰度的歸一化處理;
基于歸一化后的各感興趣區(qū)域執(zhí)行特征計(jì)算以提取紋理特征;以及
基于所提取的紋理進(jìn)行特征訓(xùn)練,獲取關(guān)于該感興趣區(qū)域的分類(lèi)結(jié)果的分類(lèi)器。
在一實(shí)例中,該感興趣區(qū)域包括病灶區(qū)域,該歸一化處理包括針對(duì)每種序列的MR圖像執(zhí)行病灶區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,該歸一化處理包括針對(duì)每種序列的各MR圖像,將各病灶區(qū)域的灰度值除以該病灶區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
在一實(shí)例中,該感興趣區(qū)域還包括解剖組織的實(shí)質(zhì)區(qū)域,該處理方法還包括將每幅MR圖像病灶區(qū)域的灰度減去其實(shí)質(zhì)區(qū)域的灰度均值以獲得修正后的病灶區(qū)域,該歸一化處理包括針對(duì)每種序列的各MR圖像,將各經(jīng)修正的病灶區(qū)域的灰度值除以該MR圖像的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
在一實(shí)例中,該處理方法還包括:對(duì)歸一化后的病灶區(qū)域執(zhí)行局部對(duì)比度增強(qiáng)處理,該局部對(duì)比度增強(qiáng)處理包括將各歸一化后的病灶區(qū)域的灰度值減去局部均值的估計(jì)值之后再除以局部標(biāo)準(zhǔn)差的估計(jì)值,該特征計(jì)算包括基于各個(gè)經(jīng)局部對(duì)比度增強(qiáng)的病灶區(qū)域執(zhí)行特征計(jì)算以提取紋理特征。
在一實(shí)例中,該多種序列的MR圖像包括DWI序列和ADC序列的MR圖像。
在一實(shí)例中,該感興趣區(qū)域包括解剖組織的實(shí)質(zhì)區(qū)域,該歸一化處理包括針對(duì)每種序列的MR圖像執(zhí)行解剖組織的實(shí)質(zhì)區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,該歸一化處理包括針對(duì)每種序列的各MR圖像,將各解剖組織的實(shí)質(zhì)區(qū)域的灰度值處于μ±3σ范圍內(nèi)的像素點(diǎn)灰度歸一化至相同的預(yù)設(shè)范圍,同時(shí)丟棄不處于μ±3σ范圍內(nèi)的像素點(diǎn),其中μ指代當(dāng)前解剖組織的實(shí)質(zhì)區(qū)域的灰度均值,σ指代標(biāo)準(zhǔn)差。
在一實(shí)例中,該歸一化處理包括針對(duì)每種序列的各MR圖像,將解剖組織的實(shí)質(zhì)區(qū)域的灰度值除以解剖組織的實(shí)質(zhì)區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
在一實(shí)例中,該處理方法還包括:使用所獲得的分類(lèi)器對(duì)目標(biāo)圖像進(jìn)行分類(lèi)。
在一實(shí)例中,該分類(lèi)結(jié)果包括肝腫瘤惡性程度分級(jí)、微血管浸潤(rùn)程度、肝纖維化程度分級(jí)、肝炎性程度分級(jí)中的至少一種。
根據(jù)本發(fā)明的另一方面,提供了一種MR圖像的處理裝置,該MR圖像包括多種序列的MR圖像,該處理裝置包括:
圖像分割模塊,用于從每幅MR圖像分割感興趣區(qū)域;
歸一化模塊,用于針對(duì)每種序列的MR圖像執(zhí)行各感興趣區(qū)域之間的灰度的歸一化處理;
特征計(jì)算模塊,用于基于歸一化后的各感興趣區(qū)域執(zhí)行特征計(jì)算以提取紋理特征;以及
訓(xùn)練模塊,用于基于所提取的紋理進(jìn)行特征訓(xùn)練,獲取關(guān)于該感興趣區(qū)域的分類(lèi)結(jié)果的分類(lèi)器。
在一實(shí)例中,該感興趣區(qū)域包括病灶區(qū)域,該歸一化模塊針對(duì)每種序列的MR圖像執(zhí)行病灶區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,該歸一化模塊針對(duì)每種序列的各MR圖像,將各病灶區(qū)域的灰度值除以該病灶區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
在一實(shí)例中,該感興趣區(qū)域還包括解剖組織的實(shí)質(zhì)區(qū)域,該處理裝置還包括修正模塊,用于將每幅MR圖像病灶區(qū)域的灰度減去其實(shí)質(zhì)區(qū)域的灰度均值以獲得修正后的病灶區(qū)域,該歸一化模塊針對(duì)每種序列的各MR圖像,將各經(jīng)修正的病灶區(qū)域的灰度值除以該MR圖像的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
在一實(shí)例中,該處理裝置還包括:局部對(duì)比度增強(qiáng)模塊,用于將各歸一化后的病灶區(qū)域的灰度值減去局部均值的估計(jì)值之后再除以局部標(biāo)準(zhǔn)差的估計(jì)值,該特征計(jì)算模塊基于各個(gè)經(jīng)局部對(duì)比度增強(qiáng)的病灶區(qū)域執(zhí)行特征計(jì)算以提取紋理特征。
在一實(shí)例中,該多種序列的MR圖像包括DWI序列和ADC序列的MR圖像。
在一實(shí)例中,該感興趣區(qū)域包括解剖組織的實(shí)質(zhì)區(qū)域,該歸一化模塊針對(duì)每種序列的MR圖像執(zhí)行解剖組織的實(shí)質(zhì)區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,該歸一化模塊針對(duì)每種序列的各MR圖像,將各解剖組織的實(shí)質(zhì)區(qū)域的灰度值處于μ±3σ范圍內(nèi)的像素點(diǎn)灰度歸一化至相同的預(yù)設(shè)范圍,同時(shí)丟棄不處于μ±3σ范圍內(nèi)的像素點(diǎn),其中μ指代當(dāng)前解剖組織的實(shí)質(zhì)區(qū)域的灰度均值,σ指代標(biāo)準(zhǔn)差。
在一實(shí)例中,該歸一化模塊針對(duì)每種序列的各MR圖像,將解剖組織的實(shí)質(zhì)區(qū)域的灰度值除以解剖組織的實(shí)質(zhì)區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
在一實(shí)例中,該處理裝置還包括:分類(lèi)模塊,用于使用所獲得的分類(lèi)器對(duì)目標(biāo)圖像進(jìn)行分類(lèi)。
在一實(shí)例中,該分類(lèi)結(jié)果包括肝腫瘤惡性程度分級(jí)、微血管浸潤(rùn)程度、肝纖維化程度分級(jí)、肝炎性程度分級(jí)中的至少一種。
本發(fā)明通過(guò)一系列手段對(duì)MR圖像進(jìn)行預(yù)先處理,例如歸一化處理、病灶區(qū)域減去解剖組織實(shí)質(zhì)的灰度均值處理、局部圖像增強(qiáng)處理等等,在由此經(jīng)處理的圖像上提取出的特征在分類(lèi)器訓(xùn)練中顯著提高了分類(lèi)器的準(zhǔn)確度。
附圖說(shuō)明
在結(jié)合以下附圖閱讀本公開(kāi)的實(shí)施例的詳細(xì)描述之后,能夠更好地理解本發(fā)明的上述特征和優(yōu)點(diǎn)。在附圖中,各組件不一定是按比例繪制,并且具有類(lèi)似的相關(guān)特性或特征的組件可能具有相同或相近的附圖標(biāo)記。
圖1示出了根據(jù)本發(fā)明的一方面的MR圖像的處理流程的框架示意圖;
圖2示出了7個(gè)序列的肝MR圖像;
圖3示出了根據(jù)本發(fā)明的一方面的MR圖像的處理方法300的流程圖;
圖4a、圖4b分別示出了肝MR圖像中的肝腫瘤感興趣區(qū)域和肝實(shí)質(zhì)感興趣區(qū)域;
圖5a-5f示出了兩個(gè)不同惡性等級(jí)的腫瘤在T2序列下的示例和局部對(duì)比增強(qiáng)結(jié)果的示例;
圖6示出了分類(lèi)器的典型訓(xùn)練框架;
圖7示出了特征選擇的一般性流程;
圖8示出了肝腫瘤惡性程度高低測(cè)試的ROC曲線對(duì)比;以及
圖9示出了根據(jù)本發(fā)明的一方面的MR圖像的處理裝置的框圖。
具體實(shí)施方式
以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作詳細(xì)描述。注意,以下結(jié)合附圖和具體實(shí)施例描述的諸方面僅是示例性的,而不應(yīng)被理解為對(duì)本發(fā)明的保護(hù)范圍進(jìn)行任何限制。
MR成像通過(guò)對(duì)靜磁場(chǎng)中的人體施加某種特定頻率的射頻脈沖序列,使人體中的氫質(zhì)子受到激勵(lì)而發(fā)生磁共振現(xiàn)象。停止脈沖后,質(zhì)子在弛豫過(guò)程中產(chǎn)生MR信號(hào)。通過(guò)對(duì)MR信號(hào)的接收、空間編碼和圖像重建等處理過(guò)程,即產(chǎn)生MR圖像。
圖1是示出了根據(jù)本發(fā)明的一方面的MR圖像的處理流程的框架示意圖。如圖1所示,整個(gè)處理框架包括后臺(tái)和前臺(tái)兩部分。后臺(tái)部分主要是從收集的病例的MR圖像訓(xùn)練出分類(lèi)器,前臺(tái)部分則是采用訓(xùn)練得到的分類(lèi)器對(duì)新的MR圖像進(jìn)行分類(lèi),以獲得病理分析結(jié)果。
在本發(fā)明的以下描述中,以肝的MR圖像為示例來(lái)描述本發(fā)明的MR圖像處理方案的。然而,本發(fā)明的MR圖像處理方案也可用于其他部位器官的MR圖像分析。
后臺(tái)部分主要包括特征計(jì)算101、特征選擇102、以及輸出分類(lèi)器103三個(gè)部分。
特征計(jì)算是指從MR圖像的感興趣區(qū)域提取出對(duì)于病理分析有幫助的特征。MR圖像的“感興趣區(qū)域”是指圖像中需要著重處理的部分,例如腫瘤感興趣區(qū)域,或者解剖組織的實(shí)質(zhì)區(qū)域等等。感興趣區(qū)域可以由用戶(hù)手動(dòng)繪出,或者也可以用自動(dòng)/半自動(dòng)分割技術(shù)得到。
本發(fā)明中利用了多個(gè)序列的MR圖像。核磁共振掃描的序列是具有一定帶寬、一定幅度的射頻脈沖與梯度脈沖的有機(jī)組合,射頻脈沖與梯度脈沖不同的組合方式構(gòu)成不同的序列,不同的序列獲得的圖像有各自的特點(diǎn)。
作為示例,本發(fā)明使用DWI,ADC,T1,T1_AP,T1_PP,T1_DP,T2這7個(gè)序列,對(duì)這7個(gè)序列的MR圖像進(jìn)行處理。圖2示出了7個(gè)序列的肝MR圖像。
在特征計(jì)算101過(guò)程中,對(duì)MR圖像的感興趣區(qū)域進(jìn)行特征提取計(jì)算。任何對(duì)于病理分析有意義的特征都可以被計(jì)算提取出來(lái)。一般地,圖像中基于Intensity(強(qiáng)度)的特征,例如均值、Entropy(熵)、Skewness(偏斜度)、Kurtosis(峰度)等統(tǒng)計(jì)值,基于Gradient(梯度)的特征,例如感興趣區(qū)域內(nèi)部或邊緣梯度的均值、差分等統(tǒng)計(jì)值等等都是對(duì)于病理分析有意義的特征。
特征選擇102步驟對(duì)提取出的特征進(jìn)行選擇,在步驟103中利用所選擇的特征結(jié)合病例樣本進(jìn)行分類(lèi)器訓(xùn)練,以獲得分類(lèi)器。
分類(lèi)的概念是在已有數(shù)據(jù)的基礎(chǔ)上學(xué)會(huì)一個(gè)分類(lèi)函數(shù)或構(gòu)造出一個(gè)分類(lèi)模型,即分類(lèi)器(Classifier)。該函數(shù)或模型能夠把數(shù)據(jù)庫(kù)中的數(shù)據(jù)紀(jì)錄映射到給定類(lèi)別中的某一個(gè),從而可以應(yīng)用于數(shù)據(jù)預(yù)測(cè)。分類(lèi)器是數(shù)據(jù)挖掘中對(duì)樣本進(jìn)行分類(lèi)的方法的統(tǒng)稱(chēng),包含決策樹(shù)、邏輯回歸、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)等算法。
例如在收集了患者病例的MR圖像后,結(jié)合MR圖像的圖像特征以及病例的病理結(jié)果構(gòu)件出的分類(lèi)器建立了特征與病理結(jié)果之間建立了一種映射。從而,該通過(guò)該分類(lèi)器可以對(duì)新的病人的MR圖像進(jìn)行分類(lèi)預(yù)測(cè),以判斷該病人的病理結(jié)果。此利用分類(lèi)器的分類(lèi)過(guò)程是在前臺(tái)的步驟201中進(jìn)行。所輸出的結(jié)果即為基于MR圖像做出的病理判斷。
在本發(fā)明中,以肝MR圖像為示例,可對(duì)樣本的惡性等級(jí)、微血管浸潤(rùn)情況,或纖維化等級(jí)、炎性等級(jí)進(jìn)行分類(lèi)。
圖3是示出了根據(jù)本發(fā)明的一方面的MR圖像的處理方法300的流程圖。
這里的MR圖像可包括多種序列的MR圖像,例如DWI,ADC,T1,T1_AP,T1_PP,T1_DP,T2序列。MR圖像可以是上述一種或多種序列的圖像。這些MR圖像是患者在醫(yī)院診斷時(shí)拍攝的圖像,可以從醫(yī)院獲得。這些MR圖像作為本發(fā)明的處理方法的基礎(chǔ)。
在步驟301:從每幅MR圖像分割感興趣區(qū)域。
感興趣區(qū)域可以是圖像中的病灶區(qū)域,例如腫瘤區(qū)域,或者解剖組織的實(shí)質(zhì)區(qū)域。圖4a示出了肝MR圖像中的肝腫瘤感興趣區(qū)域,圖4b示出了肝MR圖像中的肝實(shí)質(zhì)感興趣區(qū)域。
感興趣區(qū)域的確定可以由用戶(hù)手動(dòng)繪制,如圖4a、4b所示,或者用自動(dòng)/半自動(dòng)技術(shù)確定感興趣區(qū)域。
如上所述,MR圖像可以包括一種或多種序列的MR圖像。假設(shè)有50個(gè)病例,每個(gè)病例有7個(gè)序列的MR圖像,則從每個(gè)病例的每個(gè)序列的MR圖像中確定感興趣區(qū)域,再?gòu)闹蟹指畛龈信d趣區(qū)域以用于后續(xù)的計(jì)算分析。
圖像分割可采用任何已知的分割技術(shù)執(zhí)行,再次不再贅述。
在步驟302:針對(duì)每種序列的MR圖像執(zhí)行各感興趣區(qū)域之間的灰度的歸一化處理。
對(duì)于每一種序列,不同患者的圖像存在亮度以及對(duì)比度上的差異。在本發(fā)明中,對(duì)于每一個(gè)序列,執(zhí)行了感興趣區(qū)域之間的灰度歸一化。這保證了不同患者圖像之間數(shù)據(jù)特征的一致性,提高了后續(xù)訓(xùn)練的分類(lèi)器的準(zhǔn)確性。
本發(fā)明中,針對(duì)感興趣區(qū)域的歸一化,特別采用了一些特殊的歸一化計(jì)算方法,從實(shí)驗(yàn)結(jié)果來(lái)看,大大提高了分類(lèi)器的準(zhǔn)確性,如下文詳細(xì)描述。
一方面,感興趣區(qū)域可以是病灶區(qū)域。此時(shí),可針對(duì)每種序列的MR圖像執(zhí)行病灶區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,通過(guò)統(tǒng)一各感興趣區(qū)域的均值進(jìn)行歸一化處理(本文稱(chēng)之為“基于感興趣區(qū)域的相同均值”)。即,針對(duì)每種序列的各MR圖像,將各病灶區(qū)域的灰度值除以該病灶區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。作為示例,該預(yù)設(shè)常數(shù)可設(shè)為例如500。
此歸一化處理對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝腫瘤的微血管浸潤(rùn)有無(wú)的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
在另一實(shí)例中,在歸一化之前,先借助解剖組織的實(shí)質(zhì)區(qū)域進(jìn)行預(yù)處理。具體而言,感興趣區(qū)域除了病灶區(qū)域外,還包括解剖組織的實(shí)質(zhì)區(qū)域。此時(shí),在歸一化之前,對(duì)于每一幅MR圖像,可將每幅MR圖像病灶區(qū)域的灰度值減去其實(shí)質(zhì)區(qū)域的灰度均值以獲得經(jīng)修正的病灶區(qū)域,然后以該經(jīng)修正的病灶區(qū)域?yàn)閷?duì)象執(zhí)行歸一化。
然后,通過(guò)統(tǒng)一各圖像的均值進(jìn)行歸一化處理(本文稱(chēng)之為“相同均值”)。即針對(duì)每種系列的各MR圖像,將以上述方式經(jīng)過(guò)修正的各個(gè)病灶區(qū)域灰度值除以該MR圖像的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。作為示例,該預(yù)設(shè)常數(shù)可設(shè)為例如500。
此歸一化處理對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝腫瘤的惡性程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性,這是因?yàn)闇p去肝實(shí)質(zhì)區(qū)域灰度均值的操作可移除同一個(gè)序列的不同患者間,相對(duì)腫瘤的肝實(shí)質(zhì)亮度不一對(duì)紋理分析的影響。
另一方面,感興趣區(qū)域可以是解剖組織的實(shí)質(zhì)區(qū)域。以肝實(shí)質(zhì)區(qū)域?yàn)槔?,肝?shí)質(zhì)感興趣區(qū)域指的是MR圖像上肝的范圍內(nèi),排除血管、膽管、病灶和運(yùn)動(dòng)偽影的、亮度和紋理均勻的肝組織VOI。解剖組織的實(shí)質(zhì)區(qū)域的分析對(duì)于病癥是有意義的,以肝實(shí)質(zhì)區(qū)域?yàn)槔?,可以得到肝纖維化和炎性程度的信息。
在感興趣區(qū)域?yàn)榻馄式M織的實(shí)質(zhì)區(qū)域的情況下,可針對(duì)每種序列的MR圖像執(zhí)行解剖組織的實(shí)質(zhì)區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,通過(guò)將圖像的值限定在均值的6個(gè)標(biāo)準(zhǔn)差范圍內(nèi)來(lái)歸一化(本文稱(chēng)之為“均值±3倍標(biāo)準(zhǔn)差”)。具體地,針對(duì)每種序列的各MR圖像,將各解剖組織的實(shí)質(zhì)區(qū)域的灰度值處于μ±3σ范圍內(nèi)的像素點(diǎn)灰度歸一化至相同的預(yù)設(shè)范圍,例如,歸一化到[0,VAL]內(nèi),同時(shí)丟棄不處于μ±3σ范圍內(nèi)的像素點(diǎn),其中μ指代當(dāng)前解剖組織的實(shí)質(zhì)區(qū)域的灰度均值,σ指代標(biāo)準(zhǔn)差,其中該VAL為一個(gè)常數(shù),例如作為一個(gè)實(shí)例可以是1000。
此歸一化方式可以移除不同圖像之間均值的偏移以及乘法性差異。這種歸一化對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝纖維化程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
在另一實(shí)例中,仍通過(guò)統(tǒng)一各感興趣區(qū)域的均值進(jìn)行歸一化處理。即,針對(duì)每種序列的各MR圖像,將解剖組織的實(shí)質(zhì)區(qū)域的灰度值除以解剖組織的實(shí)質(zhì)區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。
此歸一化對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝炎性程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
在步驟303:基于歸一化后的各感興趣區(qū)域執(zhí)行特征計(jì)算以提取紋理特征。
如上所述,任何對(duì)于病理分析有意義的特征都可以被計(jì)算提取出來(lái)。如圖像中基于Intensity(強(qiáng)度)的特征、基于Gradient(梯度)的特征。作為實(shí)例,在本發(fā)明中可以計(jì)算每個(gè)感興趣區(qū)域253個(gè)特征,如下表所列:
表1
表1中,LBP-HF(Local Binary Pattern Histogram Fourier)是指局部二值模式直方圖傅里葉特征;GLCM(Grey-level co-occurrence matrix)是指灰度共生矩陣特征。這些特征的計(jì)算都是已知技術(shù),在此不再贅述。
對(duì)于7個(gè)系列的圖像,則每個(gè)病例的MR圖像可以總共計(jì)算253x7=1771個(gè)紋理特征。當(dāng)然,這僅僅是示例,也可以計(jì)算更多或更少的紋理特征。
特別的是,在本發(fā)明中,計(jì)算特征時(shí),特別計(jì)算了基于LCE圖像的特征。
LCE(Local Contrast Enhancement)局部對(duì)比度增強(qiáng)技術(shù)是一種增強(qiáng)圖像細(xì)節(jié)和局部信息的現(xiàn)有技術(shù),被提出并用于肺結(jié)節(jié)檢測(cè)的特征計(jì)算。二維的LCE計(jì)算,是將圖像中每個(gè)像素的值減去局部均值的估計(jì)值之后,再除以局部標(biāo)準(zhǔn)差的估計(jì)值,如下式所示:
其中i(x,y)代表輸入圖像中位于坐標(biāo)x,y的像素的值,o(x,y)為輸出圖像。局部均值的計(jì)算式為:
μ(x,y)=i(x,y)*h(x,y)
局部標(biāo)準(zhǔn)差的估計(jì)值的計(jì)算式為:
其中*代表二維卷積,而核函數(shù)h(x,y)的選擇與待處理圖像中目標(biāo)的類(lèi)型和大小有關(guān)。例如,為了處理不同大小的、肝腫瘤或肝實(shí)質(zhì)的感興趣區(qū)域,選用11*11和51*51兩種大小的高斯的核函數(shù)。兩個(gè)不同惡性等級(jí)腫瘤在T2序列下的示例如圖5a-f所示,對(duì)應(yīng)的LCE圖像分別由兩種不同大小的的核函數(shù)計(jì)算。圖5a為惡性II級(jí)肝腫瘤的示例T2圖像,圖5b和圖5c為圖5a的兩種LCE圖像,圖5d為惡性III級(jí)肝腫瘤的示例T2圖像,圖5e和圖5f為圖5d的兩種LCE圖像。
在本發(fā)明中,通過(guò)對(duì)歸一化后的感興趣區(qū)域圖像執(zhí)行局部增強(qiáng),然后基于各個(gè)經(jīng)局部對(duì)比度增強(qiáng)的病灶區(qū)域執(zhí)行特征計(jì)算以提取紋理特征。局部增強(qiáng)技術(shù)對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝腫瘤的惡性程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。更優(yōu)地,可采用DWI和ADC序列的圖像,此時(shí)分類(lèi)器訓(xùn)練準(zhǔn)確度也有顯著提高。
在步驟304:基于所提取的紋理進(jìn)行特征訓(xùn)練,獲取關(guān)于所述感興趣區(qū)域的分類(lèi)結(jié)果的分類(lèi)器。
在提取出紋理特征后,可基于這些特征進(jìn)行特征訓(xùn)練以獲得分類(lèi)器。分類(lèi)器是數(shù)據(jù)挖掘中對(duì)樣本進(jìn)行分類(lèi)的方法的統(tǒng)稱(chēng),包含決策樹(shù)、邏輯回歸、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)等經(jīng)典算法。分類(lèi)器的訓(xùn)練可采用任何已知算法,圖6中示出了分類(lèi)器的訓(xùn)練框架。
以肝腫瘤惡性分級(jí)為例。從醫(yī)院得到86個(gè)病例,一共107個(gè)腫瘤。從合作的醫(yī)生處得到各個(gè)序列中腫瘤和肝實(shí)質(zhì)的感興趣區(qū)域,以及腫瘤的惡性分級(jí)病理結(jié)果。每個(gè)腫瘤可以計(jì)算1771個(gè)特征。將107個(gè)腫瘤分為2部分,72個(gè)腫瘤作為訓(xùn)練集,35個(gè)腫瘤作為測(cè)試集。而訓(xùn)練集又隨機(jī)分為k份,系統(tǒng)基于訓(xùn)練集進(jìn)行特征選擇,并將選出的特征子集用K折交叉驗(yàn)證(k-fold Cross Validation)的形式驗(yàn)證分類(lèi)效果。例如用得到的受試者工作特征曲線(ROC)的曲線下面積(AUC),或者分類(lèi)的錯(cuò)誤率,作為特征選擇的評(píng)判準(zhǔn)則。用最終選定的特征子集,和訓(xùn)練集中的所有病例,訓(xùn)練一個(gè)分類(lèi)器,并用測(cè)試集的病例測(cè)試這個(gè)分類(lèi)器,得到ROC曲線和AUC。本實(shí)例中所述分類(lèi)器為L(zhǎng)DA。
如上述,圖6的大框中,將72個(gè)腫瘤的訓(xùn)練集隨機(jī)分為k份,最終獲得測(cè)試集的測(cè)試結(jié)果(AUC值)的這個(gè)過(guò)程會(huì)重復(fù)N次,得到AUC1,AUC2,…,AUCN,最后從中選出最大的AUC值對(duì)應(yīng)的特征子集,以及對(duì)應(yīng)的分類(lèi)器,作為最后輸出供系統(tǒng)使用的、對(duì)用戶(hù)輸入的腫瘤VOI進(jìn)行惡性分級(jí)的分類(lèi)器。
K折交叉驗(yàn)證是一項(xiàng)常用的交叉驗(yàn)證方法,即將訓(xùn)練集的數(shù)據(jù)再平均分成k份,使用其中k-1份數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),訓(xùn)練得到分類(lèi)器并測(cè)試剩下的那一份沒(méi)有參與訓(xùn)練的數(shù)據(jù),重復(fù)k次。結(jié)果是,所有k份數(shù)據(jù)被輪流測(cè)試過(guò)一遍,所有這些數(shù)據(jù)的測(cè)試結(jié)果匯總之后被用來(lái)做評(píng)價(jià)。本發(fā)明的實(shí)驗(yàn)中,k取4。以上述肝腫瘤惡性分級(jí)為例,劃分的訓(xùn)練集包含72個(gè)腫瘤,平均分成4份后,每份是18個(gè)腫瘤。在交叉驗(yàn)證中每次都是3份用于訓(xùn)練,剩下的1份用于測(cè)試。
圖6中的特征選擇流程如圖7所示。首先選定特征選擇的搜索策略。常見(jiàn)的搜索策略包括前向、后向或隨機(jī)等方式。例如,根據(jù)SFS(順序前向選擇)策略,特征子集X從空集開(kāi)始,每次選擇一個(gè)特征fx加入特征子集X,使得評(píng)價(jià)函數(shù)J(X)最優(yōu)。簡(jiǎn)單說(shuō)就是,每次都選擇一個(gè)使得評(píng)價(jià)函數(shù)的取值達(dá)到最優(yōu)的特征加入。根據(jù)SFFS(順序前向浮位選擇)策略,在SFS的基礎(chǔ)上,對(duì)已選擇的特征子集X中的特征,逐一計(jì)算移除某個(gè)特征fx后的評(píng)價(jià)函數(shù)J(X),若J(X)反而提升,則執(zhí)行特征fx的移除,也就是特征子集X既有增加特征也有移除特征的操作。根據(jù)mRMR(最小冗余最大相關(guān)性)+SFS的組合方法,利用基于互信息的特征選擇方法,對(duì)特征進(jìn)行排序,選出候選特征集X’,再進(jìn)行SFS等結(jié)合分類(lèi)器的特征選擇方法,選出最終的特征子集X。在本發(fā)明的實(shí)驗(yàn)中,使用了基于互信息的特征選擇方法為SFS方法。
得到特征子集后,用選定的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行評(píng)估,若滿足停止條件則輸出該特征子集,否則繼續(xù)搜索特征。在本發(fā)明的實(shí)驗(yàn)中,采用了該特征子集在訓(xùn)練集中的分類(lèi)效果為評(píng)價(jià)標(biāo)準(zhǔn),即訓(xùn)練集數(shù)據(jù)進(jìn)行交叉驗(yàn)證后得到的AUC。停止準(zhǔn)則為新的特征子集無(wú)法使AUC提升則停止搜索。
上文簡(jiǎn)要描述了分類(lèi)器訓(xùn)練的相關(guān)知識(shí)以及在本發(fā)明的實(shí)驗(yàn)中采用的一些手段,鑒于分類(lèi)器訓(xùn)練的過(guò)程是本領(lǐng)域非常成熟的技術(shù),在此不再贅述。
通過(guò)上述的訓(xùn)練,可以得到關(guān)于感興趣區(qū)域的分類(lèi)結(jié)果的分類(lèi)器。
盡管為使解釋簡(jiǎn)單化將上述方法圖示并描述為一系列動(dòng)作,但是應(yīng)理解并領(lǐng)會(huì),這些方法不受動(dòng)作的次序所限,因?yàn)楦鶕?jù)一個(gè)或多個(gè)實(shí)施例,一些動(dòng)作可按不同次序發(fā)生和/或與來(lái)自本文中圖示和描述或本文中未圖示和描述但本領(lǐng)域技術(shù)人員可以理解的其他動(dòng)作并發(fā)地發(fā)生。
根據(jù)本發(fā)明的上述方案,可以訓(xùn)練出關(guān)于各種分類(lèi)結(jié)果的分類(lèi)器。例如,對(duì)于肝MR圖像而言,分類(lèi)結(jié)果可包括肝腫瘤惡性程度分級(jí)、微血管浸潤(rùn)程度、肝纖維化程度分級(jí)、肝炎性程度分級(jí)等等。
本發(fā)明通過(guò)一系列手段對(duì)MR圖像進(jìn)行預(yù)先處理,例如歸一化處理、病灶區(qū)域減去解剖組織實(shí)質(zhì)的灰度均值處理、局部圖像增強(qiáng)處理等等,在由此經(jīng)處理的圖像上提取出的特征在分類(lèi)器訓(xùn)練中顯著提高了分類(lèi)器的準(zhǔn)確度。
以肝MR圖像為例,在肝腫瘤惡性程度分級(jí)(肝腫瘤感興趣區(qū)域)、微血管浸潤(rùn)程度(肝腫瘤感興趣區(qū))、肝纖維化程度分級(jí)(肝實(shí)質(zhì)感興趣區(qū)域)、肝炎性程度分級(jí)(肝實(shí)質(zhì)感興趣區(qū)域)的分類(lèi)器訓(xùn)練的結(jié)果如下表2:
表2
為了對(duì)比,在此還列出了沒(méi)有采用基于LCE的特征以及沒(méi)使用DWI和ADC系列的訓(xùn)練結(jié)果的對(duì)比,如圖8所示。圖8中是以肝腫瘤惡性程度高低作對(duì)比,從圖8中可以看出,不使用基于LCE的特征和不使用DWI和ADC序列的結(jié)果相比于本發(fā)明的方案明顯更差。
圖9是示出了根據(jù)本發(fā)明的一方面的MR圖像的處理裝置900的框圖。如圖9所示,處理裝置900可包括圖像分割模塊901、歸一化模塊902、特征計(jì)算模塊903、訓(xùn)練模塊904。
圖像分割模塊901用于從每幅MR圖像分割感興趣區(qū)域。如前所述,感興趣區(qū)域可包括病灶區(qū)域或者解剖組織的實(shí)質(zhì)區(qū)域。本發(fā)明的方案主要是對(duì)MR圖像的感興趣區(qū)域進(jìn)行處理。
歸一化模塊902用于針對(duì)每種序列的MR圖像執(zhí)行各感興趣區(qū)域之間的灰度的歸一化處理。由于不同患者的圖像存在亮度以及對(duì)比度上的差異,通過(guò)歸一化處理,保證了不同患者圖像之間數(shù)據(jù)特征的一致性,提高了后續(xù)訓(xùn)練的分類(lèi)器的準(zhǔn)確性。
特別地,歸一化模塊采用了一系列特殊的歸一化算法,大大提供了分類(lèi)器的準(zhǔn)確性。
一方面,感興趣區(qū)域?yàn)椴≡顓^(qū)域,歸一化模塊902可針對(duì)每種序列的MR圖像執(zhí)行病灶區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,歸一化模塊902可將各病灶區(qū)域的灰度值除以該病灶區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。此歸一化處理對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝腫瘤的微血管浸潤(rùn)有無(wú)的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
另一實(shí)例中,處理裝置900還可包括修正模塊905,在歸一化模塊902執(zhí)行歸一化之前,修正模塊905可將每幅MR圖像病灶區(qū)域的灰度減去其實(shí)質(zhì)區(qū)域的灰度均值以獲得修正后的病灶區(qū)域,然后歸一化模塊902針對(duì)每種序列的各MR圖像,將各經(jīng)修正的病灶區(qū)域的灰度值除以該MR圖像的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。此歸一化處理對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝腫瘤的惡性程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
較優(yōu)地,處理裝置900還可包括局部對(duì)比度增強(qiáng)模塊906。局部對(duì)比度增強(qiáng)模塊906可將各歸一化后的病灶區(qū)域的灰度值減去局部均值的估計(jì)值之后再除以局部標(biāo)準(zhǔn)差的估計(jì)值。由此得到的圖像再進(jìn)行后續(xù)的特征計(jì)算,可以進(jìn)一步提高分類(lèi)器訓(xùn)練準(zhǔn)確度,例如對(duì)于肝MR圖像的肝腫瘤的惡性程度高低的判斷的分類(lèi)器訓(xùn)練。
另一方面,感興趣區(qū)域?yàn)榻馄式M織的實(shí)質(zhì)區(qū)域,歸一化模塊902可針對(duì)每種序列的MR圖像執(zhí)行解剖組織的實(shí)質(zhì)區(qū)域之間的灰度的歸一化處理。
在一實(shí)例中,歸一化模塊902可針對(duì)每種序列的各MR圖像,將各解剖組織的實(shí)質(zhì)區(qū)域的灰度值處于μ±3σ范圍內(nèi)的像素點(diǎn)灰度歸一化至相同的預(yù)設(shè)范圍,例如,歸一化到[0,VAL]內(nèi),同時(shí)丟棄不處于μ±3σ范圍內(nèi)的像素點(diǎn),其中μ指代當(dāng)前解剖組織的實(shí)質(zhì)區(qū)域的灰度均值,σ指代標(biāo)準(zhǔn)差,其中該VAL為一個(gè)常數(shù),例如作為一個(gè)實(shí)例可以是1000。這可以移除不同圖像之間均值的偏移以及乘法性差異。這種歸一化對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝纖維化程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
在另一實(shí)例中,歸一化模塊902可針對(duì)每種序列的各MR圖像,將解剖組織的實(shí)質(zhì)區(qū)域的灰度值除以解剖組織的實(shí)質(zhì)區(qū)域內(nèi)的灰度均值再乘以相同的預(yù)設(shè)常數(shù)。此歸一化對(duì)于一些病癥的分類(lèi)器訓(xùn)練準(zhǔn)確度有明顯的幫助。例如,對(duì)于肝MR圖像的肝炎性程度高低的判斷的分類(lèi)器訓(xùn)練,顯著提高了準(zhǔn)確性。
在進(jìn)行感興趣區(qū)域的歸一化之后,特征計(jì)算模塊903基于歸一化后的各感興趣區(qū)域執(zhí)行特征計(jì)算以提取紋理特征,然后由訓(xùn)練模塊904基于所提取的紋理進(jìn)行特征訓(xùn)練,獲取關(guān)于所述感興趣區(qū)域的分類(lèi)結(jié)果的分類(lèi)器。特征計(jì)算模塊903和訓(xùn)練模塊904可采用任何常規(guī)的算法執(zhí)行,在此不再贅述。
最后,處理裝置900還可包括分類(lèi)模塊905,分類(lèi)模塊905可使用所獲得的分類(lèi)器對(duì)目標(biāo)圖像進(jìn)行分類(lèi)。例如,對(duì)于新患者的MR圖像,可通過(guò)使用前述獲得的分類(lèi)器進(jìn)行分類(lèi)判斷。
本領(lǐng)域技術(shù)人員將進(jìn)一步領(lǐng)會(huì),結(jié)合本文中所公開(kāi)的實(shí)施例來(lái)描述的各種解說(shuō)性邏輯板塊、模塊、電路、和算法步驟可實(shí)現(xiàn)為電子硬件、計(jì)算機(jī)軟件、或這兩者的組合。為清楚地解說(shuō)硬件與軟件的這一可互換性,各種解說(shuō)性組件、框、模塊、電路、和步驟在上面是以其功能性的形式作一般化描述的。此類(lèi)功能性是被實(shí)現(xiàn)為硬件還是軟件取決于具體應(yīng)用和施加于整體系統(tǒng)的設(shè)計(jì)約束。技術(shù)人員對(duì)于每種特定應(yīng)用可用不同的方式來(lái)實(shí)現(xiàn)所描述的功能性,但這樣的實(shí)現(xiàn)決策不應(yīng)被解讀成導(dǎo)致脫離了本發(fā)明的范圍。
結(jié)合本文所公開(kāi)的實(shí)施例描述的各種解說(shuō)性邏輯模塊、和電路可用通用處理器、數(shù)字信號(hào)處理器(DSP)、專(zhuān)用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門(mén)陣列(FPGA)或其它可編程邏輯器件、分立的門(mén)或晶體管邏輯、分立的硬件組件、或其設(shè)計(jì)成執(zhí)行本文所描述功能的任何組合來(lái)實(shí)現(xiàn)或執(zhí)行。通用處理器可以是微處理器,但在替換方案中,該處理器可以是任何常規(guī)的處理器、控制器、微控制器、或狀態(tài)機(jī)。處理器還可以被實(shí)現(xiàn)為計(jì)算設(shè)備的組合,例如DSP與微處理器的組合、多個(gè)微處理器、與DSP核心協(xié)作的一個(gè)或多個(gè)微處理器、或任何其他此類(lèi)配置。
結(jié)合本文中公開(kāi)的實(shí)施例描述的方法或算法的步驟可直接在硬件中、在由處理器執(zhí)行的軟件模塊中、或在這兩者的組合中體現(xiàn)。軟件模塊可駐留在RAM存儲(chǔ)器、閃存、ROM存儲(chǔ)器、EPROM存儲(chǔ)器、EEPROM存儲(chǔ)器、寄存器、硬盤(pán)、可移動(dòng)盤(pán)、CD-ROM、或本領(lǐng)域中所知的任何其他形式的存儲(chǔ)介質(zhì)中。示例性存儲(chǔ)介質(zhì)耦合到處理器以使得該處理器能從/向該存儲(chǔ)介質(zhì)讀取和寫(xiě)入信息。在替換方案中,存儲(chǔ)介質(zhì)可以被整合到處理器。處理器和存儲(chǔ)介質(zhì)可駐留在ASIC中。ASIC可駐留在用戶(hù)終端中。在替換方案中,處理器和存儲(chǔ)介質(zhì)可作為分立組件駐留在用戶(hù)終端中。
在一個(gè)或多個(gè)示例性實(shí)施例中,所描述的功能可在硬件、軟件、固件或其任何組合中實(shí)現(xiàn)。如果在軟件中實(shí)現(xiàn)為計(jì)算機(jī)程序產(chǎn)品,則各功能可以作為一條或更多條指令或代碼存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)上或藉其進(jìn)行傳送。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)兩者,其包括促成計(jì)算機(jī)程序從一地向另一地轉(zhuǎn)移的任何介質(zhì)。存儲(chǔ)介質(zhì)可以是能被計(jì)算機(jī)訪問(wèn)的任何可用介質(zhì)。作為示例而非限定,這樣的計(jì)算機(jī)可讀介質(zhì)可包括RAM、ROM、EEPROM、CD-ROM或其它光盤(pán)存儲(chǔ)、磁盤(pán)存儲(chǔ)或其它磁存儲(chǔ)設(shè)備、或能被用來(lái)攜帶或存儲(chǔ)指令或數(shù)據(jù)結(jié)構(gòu)形式的合意程序代碼且能被計(jì)算機(jī)訪問(wèn)的任何其它介質(zhì)。任何連接也被正當(dāng)?shù)胤Q(chēng)為計(jì)算機(jī)可讀介質(zhì)。例如,如果軟件是使用同軸電纜、光纖電纜、雙絞線、數(shù)字訂戶(hù)線(DSL)、或諸如紅外、無(wú)線電、以及微波之類(lèi)的無(wú)線技術(shù)從web網(wǎng)站、服務(wù)器、或其它遠(yuǎn)程源傳送而來(lái),則該同軸電纜、光纖電纜、雙絞線、DSL、或諸如紅外、無(wú)線電、以及微波之類(lèi)的無(wú)線技術(shù)就被包括在介質(zhì)的定義之中。如本文中所使用的盤(pán)(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數(shù)字多用碟(DVD)、軟盤(pán)和藍(lán)光碟,其中盤(pán)(disk)往往以磁的方式再現(xiàn)數(shù)據(jù),而碟(disc)用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。上述的組合也應(yīng)被包括在計(jì)算機(jī)可讀介質(zhì)的范圍內(nèi)。
提供對(duì)本公開(kāi)的先前描述是為使得本領(lǐng)域任何技術(shù)人員皆能夠制作或使用本公開(kāi)。對(duì)本公開(kāi)的各種修改對(duì)本領(lǐng)域技術(shù)人員來(lái)說(shuō)都將是顯而易見(jiàn)的,且本文中所定義的普適原理可被應(yīng)用到其他變體而不會(huì)脫離本公開(kāi)的精神或范圍。由此,本公開(kāi)并非旨在被限定于本文中所描述的示例和設(shè)計(jì),而是應(yīng)被授予與本文中所公開(kāi)的原理和新穎性特征相一致的最廣范圍。