背景技術(shù):
本發(fā)明涉及冠狀動脈狹窄的無創(chuàng)性功能評估,并且更特別地涉及根據(jù)醫(yī)學(xué)圖像數(shù)據(jù)的冠狀動脈狹窄的基于機器學(xué)習(xí)的無創(chuàng)性功能評估。
心血管疾病(CVD)是世界范圍內(nèi)的死亡的主要原因。在各種CVD之間,冠狀動脈疾?。–AD)導(dǎo)致那些死亡中的幾乎百分之五十。盡管在醫(yī)學(xué)成像和其他診斷形式中的顯著提高,但是CAD病人的提早的發(fā)病率和死亡率中的增加仍非常高。用于冠狀動脈狹窄的診斷和管理的當(dāng)前臨床實踐涉及視覺上地或者通過定量冠狀動脈血管造影術(shù)(QCA)評估患病血管。這樣的評估給臨床醫(yī)生提供對狹窄段和載瘤血管(parent vessel)的解剖概觀,包括斷面收縮(area reduction)、病變長度和最小管腔直徑,但是不提供病變對通過血管的血流的影響的功能評估。通過將壓力導(dǎo)絲插入到變窄的血管中來測量血流儲備分?jǐn)?shù)(FFR)已經(jīng)被證明是用于指導(dǎo)血運重建決定的較好選項,因為與無創(chuàng)性血管造影術(shù)相比,F(xiàn)FR在標(biāo)識局部缺血引起的病變中更有效。QCA僅評估狹窄的形態(tài)意義并且具有多個其他限制?;趬毫?dǎo)絲的FFR測量涉及與對將壓力導(dǎo)絲插入到血管中所必需的干預(yù)相關(guān)聯(lián)的風(fēng)險,并且對于非常窄的狹窄,壓力導(dǎo)絲可能誘發(fā)附加的壓降。
近來,提出了使用數(shù)學(xué)方程在從醫(yī)學(xué)圖像提取的病人的冠狀動脈血管的三維解剖模型中模擬血流的物理現(xiàn)象(physics)的機械模型。這樣的方法依賴基于物理現(xiàn)象的數(shù)學(xué)方程來模擬休息時和充血時的生理學(xué),從而允許人們在計算機上數(shù)字上解出方程并針對單個病人確定流和壓降。最廣泛使用的基于物理現(xiàn)象的模型是納維斯托克斯方程,其是基于質(zhì)量、動量和能量守恒的原理的非線性偏微分方程并且其被用來表征冠狀動脈中的血液的流動。這常常與模擬解剖的上游(心臟、主動脈)和下游(心?。﹨^(qū)域的生理學(xué)的數(shù)學(xué)方程結(jié)合。依靠復(fù)雜性和臨床使用案例,這些方法可以被用來合并各種規(guī)模的生理學(xué)模型。盡管已經(jīng)針對血流提出了各種類型的基于物理現(xiàn)象的模型、邊界條件和生理學(xué)假設(shè),但是機械模型的共同主題是它們對用以明確地模擬各種生理學(xué)的相互作用的數(shù)學(xué)方程的使用。然而,這樣的機械模型的缺點是與模型制備和基于物理現(xiàn)象的方程的數(shù)值解相關(guān)聯(lián)的高計算代價和復(fù)雜性。另外,這樣的機械模型通常僅合并解剖的和某些局部的生理學(xué)測量,并且省去其他有意義的測量。
技術(shù)實現(xiàn)要素:
本公開提供用于根據(jù)醫(yī)學(xué)圖像數(shù)據(jù)的對血液動力學(xué)指標(biāo)的基于機器學(xué)習(xí)的評估的方法和系統(tǒng)。本發(fā)明的實施例提供了數(shù)據(jù)驅(qū)動的統(tǒng)計方法以根據(jù)來自單個病人的包括解剖、功能、診斷、分子和人口統(tǒng)計(hemodynamic)的信息中的一個或多個的輸入?yún)?shù)或直接根據(jù)醫(yī)學(xué)圖像數(shù)據(jù)來計算一個或多個血液動力學(xué)指標(biāo),諸如血流儲備分?jǐn)?shù)(FFR)、冠狀動脈血流儲備(CFR)、瞬時無波比(instantaneous wave-free ratio)(IFR)、充血應(yīng)力儲備(HSR)、基底狹窄阻力(BSR)和微循環(huán)阻力指數(shù)(IMR)。本發(fā)明的實施例采用機器學(xué)習(xí)算法來學(xué)習(xí)在輸入?yún)?shù)或輸入醫(yī)學(xué)圖像數(shù)據(jù)和輸出血液動力學(xué)指標(biāo)之間的復(fù)雜映射。
在本發(fā)明的一個實施例中,接收包括感興趣的狹窄的病人的醫(yī)學(xué)圖像數(shù)據(jù)。從病人的醫(yī)學(xué)圖像數(shù)據(jù)提取針對感興趣的狹窄的特征的集合。使用被訓(xùn)練的基于機器學(xué)習(xí)的映射基于特征的被提取的集合來確定針對感興趣的狹窄的FFR值。
在本發(fā)明的另一實施例中,接收包括感興趣的狹窄的病人的醫(yī)學(xué)圖像。檢測對應(yīng)于感興趣的狹窄和病人的冠狀動脈樹的圖像塊(patch)。使用被直接地應(yīng)用于檢測到的圖像塊的被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器來確定針對感興趣的狹窄的FFR值。
參考以下詳細(xì)描述和附圖,本發(fā)明的這些和其他優(yōu)勢將對本領(lǐng)域那些普通技術(shù)人員而言是顯然的。
附圖說明
圖1圖示了根據(jù)本發(fā)明的實施例的用于確定FFR的訓(xùn)練基于機器學(xué)習(xí)的映射的方法;
圖2圖示了根據(jù)本發(fā)明的實施例的用于實現(xiàn)圖1的方法的框架;
圖3圖示了表征狹窄的形狀的幾何特征;
圖4圖示了根據(jù)本發(fā)明的實施例的用于使用增強的基于圖像的推進的嶺回歸來訓(xùn)練基于機器學(xué)習(xí)的映射的算法;
圖5圖示了根據(jù)本發(fā)明的實施例的特征選擇算法;
圖6圖示了根據(jù)本發(fā)明的實施例的用于針對病人使用被訓(xùn)練的基于機器學(xué)習(xí)的映射確定FFR的方法;
圖7、8和9圖示了用于實現(xiàn)圖6的方法的各種情況;
圖10圖示了用于使用被直接地應(yīng)用于病人的醫(yī)學(xué)圖像數(shù)據(jù)的被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)確定FFR的方法;
圖11圖示了針對特定的參數(shù)空間訓(xùn)練深度多層神經(jīng)網(wǎng)絡(luò)回歸器;
圖12圖示了根據(jù)本發(fā)明的實施例的用于對象檢測的訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的系列方法;
圖13圖示了根據(jù)本發(fā)明的實施例的將被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器應(yīng)用于圖像塊以針對狹窄確定FFR值;以及
圖14是能夠?qū)崿F(xiàn)本發(fā)明的計算機的高級框圖。
具體實施方式
本發(fā)明涉及用于對針對冠狀動脈狹窄的血液動力學(xué)指標(biāo)的基于機器學(xué)習(xí)的評估的方法和系統(tǒng),所述血液動力學(xué)指標(biāo)諸如血流儲備分?jǐn)?shù)(FFR)。在本文中描述本發(fā)明的實施例以給出對用于評估冠狀動脈狹窄的方法的視覺理解。數(shù)字圖像常常包括一個或多個對象(或形狀)的數(shù)字表示。在本文中常常在標(biāo)識和操縱對象方面描述對象的數(shù)字表示。這樣的操縱是在計算機系統(tǒng)的存儲器或其他電路/硬件中完成的虛擬操縱。因此,應(yīng)理解,可以在計算機系統(tǒng)內(nèi)使用存儲在計算機系統(tǒng)內(nèi)的數(shù)據(jù)執(zhí)行本發(fā)明的實施例。
血流儲備分?jǐn)?shù)(FFR)是用于確定冠狀動脈狹窄的血液動力學(xué)意義的功能測量。FFR被定義為變窄的血管中的流對正常血管中的流的分?jǐn)?shù),所述兩個流在最大充血時被確定。特別地,F(xiàn)FR可以被表達(dá)為:
這里,max指最大充血條件。Normal(正常)血管是假定的(即,如果狹窄不存在的話)。因為諸如正常血管不存在,所以通常使用替代的基于壓力的公式化用于量化FFR。由于冠狀動脈的自動調(diào)節(jié)機制,靜止流在灌注壓的范圍中保持不變。通過降低微血管阻力來實現(xiàn)自動調(diào)節(jié)。為了經(jīng)由壓力測量來計算FFR,人們需要在最大充血狀態(tài)中操作,其中壓力與流(因為心肌阻力現(xiàn)在被固定在其最低值處并且可以不進一步改變)直接成比例。因此,流速率項可以由適當(dāng)?shù)墓嘧喉椞娲龉嘧喉椫械娜靠梢栽谧冋难苤袦y得,沒有對假定的正常血管的需要。在該情況下,F(xiàn)FR可以被計算為:
這里,Pd和分別為在心動周期上的平均遠(yuǎn)端壓力和主動脈壓力,并且Pv是靜脈壓力()。FFR在[0,1]的范圍中變化,其中0.80通常是截止值,低于其狹窄被認(rèn)為是血液動力學(xué)上有意義的(即,局部缺血的)。
除FFR之外,諸如壓降、冠狀動脈血流儲備(CFR)、瞬時無波比(IFR)、充血應(yīng)力儲備(HSR)、基底狹窄阻力(BSR)和微循環(huán)阻力指數(shù)(IMR)之類的其他血液動力學(xué)指標(biāo)可以被用來評估冠狀動脈狹窄。在本文中將本發(fā)明的實施例描述為針對病人估計FFR。應(yīng)理解,本發(fā)明不限于FFR估計,并且也可以類似地應(yīng)用本發(fā)明的實施例來估計其他血液動力學(xué)指標(biāo)。
本發(fā)明的實施例利用數(shù)據(jù)驅(qū)動的統(tǒng)計方法來根據(jù)來自單個病人的解剖、功能、診斷、分子和/或人口統(tǒng)計信息計算一個或多個血液動力學(xué)指標(biāo)。本發(fā)明的實施例采用機器學(xué)習(xí)算法來學(xué)習(xí)輸入?yún)?shù)(例如,解剖、功能和/或人口統(tǒng)計信息)和感興趣的輸出量(例如,F(xiàn)FR)之間的復(fù)雜映射。不同于基于機械模型的方法,本發(fā)明的實施例不依賴描述輸入和輸出之間的關(guān)系的先驗假設(shè)模型。代之以,本發(fā)明的實施例經(jīng)由使用機器學(xué)習(xí)算法從訓(xùn)練數(shù)據(jù)學(xué)習(xí)映射的統(tǒng)計方法來確定最優(yōu)映射。
根據(jù)有利的實施例,用于確定FFR的基于機器學(xué)習(xí)的方法包括兩個階段:訓(xùn)練階段和預(yù)測階段。訓(xùn)練階段是離線過程,在其期間匯集利用地面實況測量結(jié)果注釋的訓(xùn)練數(shù)據(jù)的數(shù)據(jù)庫。特別地,構(gòu)造來自多個病人的具有無創(chuàng)地測得的FFR值的病變(狹窄)的數(shù)據(jù)庫。在該數(shù)據(jù)庫中,每個實例(即,無創(chuàng)地測得的FFR值)由多個特征表示,所述多個特征諸如解剖、功能、診斷、分子和/或人口統(tǒng)計測量結(jié)果。然后訓(xùn)練階段通過在整個訓(xùn)練數(shù)據(jù)庫上最小化預(yù)測和地面實況值之間的最優(yōu)擬合來學(xué)習(xí)或訓(xùn)練在特征和地面實況值之間的映射。
預(yù)測階段是在線過程,由此通過使用從訓(xùn)練階段學(xué)習(xí)的映射來計算針對新的數(shù)據(jù)集(未被發(fā)現(xiàn)的數(shù)據(jù))的FFR值。為了實現(xiàn)這點,從新的數(shù)據(jù)集提取所要求的特征并且將針對特征的值用作到被預(yù)學(xué)習(xí)的映射的輸入。
圖1圖示了根據(jù)本發(fā)明的實施例的用于確定FFR的訓(xùn)練基于機器學(xué)習(xí)的映射的方法。使用圖1的方法來實現(xiàn)產(chǎn)生用于確定FFR的被訓(xùn)練的映射的訓(xùn)練階段。圖2圖示了根據(jù)本發(fā)明的實施例的用于實現(xiàn)圖1的方法的框架。
參考圖1,在步驟100處,接收訓(xùn)練數(shù)據(jù)。訓(xùn)練數(shù)據(jù)是來自多個病人的狹窄的數(shù)據(jù)庫,其中每個狹窄具有地面實況FFR值。針對每個狹窄的地面實況FFR值可以是有創(chuàng)地測得的FFR值。圖2圖示了根據(jù)本發(fā)明的實施例的用于實現(xiàn)圖1的方法的框架。如在圖2中示出的那樣,訓(xùn)練數(shù)據(jù)200可以包括針對每個訓(xùn)練實例的解剖數(shù)據(jù)202、功能數(shù)據(jù)204和人口統(tǒng)計數(shù)據(jù)206,以及針對每個訓(xùn)練實例的地面實況測量的FFR值208。解剖數(shù)據(jù)202可以包括狹窄的一個或多個醫(yī)學(xué)圖像。例如,解剖數(shù)據(jù)202可以包括使用一個或多個醫(yī)學(xué)成像形式獲得的醫(yī)學(xué)成像數(shù)據(jù),所述一個或多個醫(yī)學(xué)成像形式諸如計算機斷層掃描(CT)、X射線血管造影術(shù)、磁共振成像(MRI)、超聲、血管內(nèi)超聲(IVUS)、光學(xué)相干斷層掃描(OTC)等。功能數(shù)據(jù)204可以包括諸如血壓、心率和ECG測量結(jié)果之類的功能測量結(jié)果,以及涉及針對病人的一個或多個醫(yī)學(xué)成像測試的數(shù)據(jù),諸如來自灌注掃描(例如,SPECT、PET等)的數(shù)據(jù)或與醫(yī)學(xué)圖像中的造影劑傳播相關(guān)的數(shù)據(jù)。人口統(tǒng)計數(shù)據(jù)206可以包括人口統(tǒng)計信息,諸如年齡、性別、身高和體重等。盡管在圖2中未示出,但是訓(xùn)練數(shù)據(jù)還可以包括各種其他類型的數(shù)據(jù),諸如體外診斷數(shù)據(jù)、病人的基因型、病人的生活方式因素和病史。
在步驟110處,從訓(xùn)練數(shù)據(jù)提取特征。該特征提取步驟被示出為圖2的步驟210。特別地,針對每個訓(xùn)練實例(即,每個測得的FFR值)提取特征的集合。針對每個訓(xùn)練實例的特征的集合可以包括解剖、功能、診斷、分子和/或人口統(tǒng)計的測量結(jié)果??梢詮尼t(yī)學(xué)成像數(shù)據(jù)提取解剖特征。解剖特征可以包括表征狹窄的解剖測量結(jié)果,以及針對相關(guān)聯(lián)的區(qū)域的其他解剖測量結(jié)果,所述相關(guān)聯(lián)的區(qū)域諸如心臟、冠狀動脈血管樹、心肌和主動脈。取決于輸入數(shù)據(jù)的源和類型,被提取的特征可以是二元的、數(shù)字的、分類的、順序的、二項的、間隔、基于文本的或其組合。
根據(jù)有利的實現(xiàn),從醫(yī)學(xué)圖像數(shù)據(jù)提取的解剖特征可以包括表征狹窄的幾何形狀(geometry)的參數(shù),諸如狹窄的近端和遠(yuǎn)端血管的參考直徑、狹窄內(nèi)的最小管腔直徑(MLD)、病變長度(LL)、狹窄的入口角度、入口長度、狹窄的出口角度、出口長度、被狹窄阻塞的直徑的百分比以及被狹窄阻塞的面積的百分比。也可以提取表征狹窄的幾何形狀的附加參數(shù)或者可以組合各種參數(shù)以生成附加特征也是可能的。根據(jù)有利的實施例,可以使用在美國專利號8,526,699中描述的方法自動地提取表征狹窄的幾何形狀的特征,所述美國專利通過引用被并入本文中。圖3圖示了表征狹窄的形狀的幾何特征。特別地,圖3示出近端血管的半徑rprox、遠(yuǎn)端血管的半徑rdist、狹窄的病變長度Lsten、狹窄的半徑rsten、狹窄的入口角度β以及狹窄的出口角度γ。
從醫(yī)學(xué)圖像數(shù)據(jù)提取的解剖特征還可以包括表征狹窄的形態(tài)的參數(shù),諸如鈣化的特性、斑塊的特性、血栓的特性、彌漫性疾病(即,沿著動脈的單個狹窄或彌漫性狹窄)的特性、全部或次全部(sub-total)閉塞(即,完全堵塞或部分堵塞)的存在以及心肌橋的存在。表征狹窄的形態(tài)的參數(shù)可以是指示存在或缺乏的二元參數(shù)或者是指示針對特定參數(shù)的分級的數(shù)字值。
從醫(yī)學(xué)圖像數(shù)據(jù)提取的解剖特征還可以包括表征承載狹窄的血管分支的幾何形狀的參數(shù),諸如沿著分支的中心線取樣的血管半徑和斷面、血管分支的末端半徑和面積、中心線彎曲度測量結(jié)果、狹窄在分支中的位置(例如,在分支中的近端、中間或遠(yuǎn)端)、在感興趣的狹窄近端的分支中的血管變窄的累積數(shù)量以及在感興趣的狹窄近端的分支內(nèi)的鈣化的累積數(shù)量。
從醫(yī)學(xué)圖像數(shù)據(jù)提取的解剖特征還可以包括表征整個冠狀動脈樹的參數(shù),諸如左或右優(yōu)勢的指示,與心肌質(zhì)量相關(guān)聯(lián)的冠狀動脈面積的大小,每個冠狀動脈分支的末端半徑,整個冠狀動脈樹中的病變(狹窄)的數(shù)量,冠狀動脈樹的哪些段具有病變、二分叉(類型和成角)、三分叉(類型和成角)、已經(jīng)植入的支架(stent)的數(shù)量和位置,以及旁路移植的數(shù)量和位置。每個二分叉和三分叉的“類型”指對每個二分叉和三分叉的作為預(yù)確定類型的集合中的一個的表征。
從醫(yī)學(xué)圖像數(shù)據(jù)提取的解剖特征還可以包括表征心臟解剖和功能的參數(shù),諸如收縮末期容積(ESV)、舒張末期容積(EDV)、射血分?jǐn)?shù)(EF)、心內(nèi)膜容積、心外膜容積、心肌容積、小梁和乳頭肌容積和質(zhì)量、左和右心室容積和質(zhì)量、造影劑衰減的特性(例如,針對來自醫(yī)學(xué)圖像序列的不同幀的每個體素的不同強度值)以及造影劑傳播的特性(例如,用以傳播造影劑的幀的數(shù)量)。
可以從針對與每個訓(xùn)練實例相關(guān)聯(lián)的病人的功能測量結(jié)果和/或人口統(tǒng)計信息提取附加特征。這樣的特征可以包括收縮血壓、舒張血壓、平均動脈壓、休息時和/或應(yīng)激期間的心率、從ECG痕跡導(dǎo)出的參數(shù)(例如,QRS持續(xù)時間、R-R間隔等)、心臟病既往史、瓣功能障礙既往史、瓣修復(fù)或更換既往史、身體質(zhì)量指數(shù)(BMI)、身體表面積(BSA)、體重、身高、年齡以及性別。針對病人的既往史的特征可以是二元的,指示存在或不存在既往史,或者是分類的,提供對既往史種的類別的進一步指示。
除了從醫(yī)學(xué)圖像提取的解剖和形態(tài)特征之外,還可以從針對病人的一個或多個醫(yī)學(xué)成像測試提取功能特征。例如,來自諸如SPECT、PET等的灌注掃描的數(shù)據(jù)可以被用來提取諸如表征在休息時和/或在應(yīng)激期間在每個冠狀動脈中的相對和/或絕對組織灌注的度量的特征。另一示例是使用血管造影術(shù)數(shù)據(jù)來提取造影劑傳播的特性,其可以通過諸如來自時間-密度曲線的峰時間、峰密度和時間平均密度的度量而被量化。
除了上面描述的特征之外,還可以從被提取的特征計算出若干導(dǎo)出特征。這些導(dǎo)出特征可以被表示為被提取的特征的線性或非線性組合。例如,可以組合病變長度(LL)和最小管腔直徑(MLD)以獲得新的特征(LL/MLD^4),其然后可以被用在訓(xùn)練數(shù)據(jù)庫中。更進一步地,可以利用主要從成像和其他診斷化驗導(dǎo)出的如通過體內(nèi)診斷化驗(例如,知識心肌損傷、炎癥等的級別的血清化驗)測得的分子信息和關(guān)于堵塞的性質(zhì)的(例如,纖維變性的、鈣化的等)診斷信息來生成附加特征。
來自針對每個訓(xùn)練實例的醫(yī)學(xué)圖像數(shù)據(jù)的特征提取可以是完全自動化的、半自動化的、手動的或其組合。根據(jù)有利的實現(xiàn),在完全自動化的特征提取方法中,一個或多個基礎(chǔ)圖像處理算法來首先檢測感興趣的解剖區(qū)域并且然后提取解剖特征。例如,圖像處理算法可以自動地檢測狹窄、冠狀動脈血管、冠狀動脈口、心室、心肌、小梁和乳突肌以及主動脈,并且然后從檢測到的區(qū)域中的醫(yī)學(xué)圖像數(shù)據(jù)提取所有要求的解剖特征。可以使用在美國專利號8,526,699、美國公開專利申請?zhí)?013/0216110、美國專利號8,582,854和美國專利號8,116,548中描述的方法執(zhí)行自動化的特征選擇,所述專利中的每個通過引用被并入本文中。在半自動化方法下,特征中的某些可以被自動地提取,而某些其他特征可以被用戶注釋、編輯或改正。在手動方法下,特征由用戶注釋或測量。可以在醫(yī)學(xué)圖像掃描器上或在諸如成像工作站的另一設(shè)備上執(zhí)行特征提取步驟。
回到圖1,在步驟120處,使用機器學(xué)習(xí)算法訓(xùn)練地面實況FFR值和被提取的特征之間的映射。一旦訓(xùn)練數(shù)據(jù)庫與地面實況匯集到一起,就通過使用機器學(xué)習(xí)算法確定輸入特征和地面實況FFR值之間的映射。用來訓(xùn)練映射的機器學(xué)習(xí)算法的類型可以是有監(jiān)督的、半監(jiān)督的、直推式的或基于強化的學(xué)習(xí)算法。根據(jù)有利的實施例,被訓(xùn)練的映射是將被提取的特征與各種所學(xué)習(xí)的權(quán)重組合的所學(xué)習(xí)的經(jīng)驗?zāi)P汀?/p>
在有利的實施例中,我們使用基于圖像的推進的嶺回歸方法來訓(xùn)練映射??梢酝ㄟ^擴展在美國專利號7,949,173中描述的基于圖像的推進的嶺回歸(IBRR)方法捕獲使功能參數(shù)與輸入測量結(jié)果相關(guān)的輸出流形(manifold)的復(fù)雜性,所述專利通過引用被并入本文中。IBRR方法能夠封裝圖像特征、圖像上下文信息和解剖對象參數(shù)之間的非線性關(guān)系,所述解剖對象參數(shù)諸如在位置、定向和規(guī)模中相對于當(dāng)前圖像樣本的差異。在本申請中,除了直接的基于圖像的特征之外,輸入測量空間還被擴展成包括表征狹窄的幾何形狀、形態(tài)、分支的幾何形狀、整個心臟樹的幾何形狀、心臟解剖和功能和/或其他功能或人口統(tǒng)計信息的參數(shù)。在本申請中,輸出空間是針對感興趣的血液動力學(xué)指標(biāo)(例如,壓降、FFR、CFR、iFR、BSR、HSR、IMR)的值。被擴展的基于圖像的推進的回歸(EIBRR)最小化將回歸輸出保真項(預(yù)測的和地面實況輸出之間的差異)和正則項組合的代價函數(shù)。EIBRR使用聚合與嶺回歸(吉洪諾夫正則化)組合的弱回歸樹樁(stump)的集合和增量(incremental)特征選擇方案的加法(additive)輸出函數(shù)。使用增量特征選擇方案,EIBRR從可用的輸入選擇可以預(yù)測輸出的特征的子集而丟棄與輸出流形不相關(guān)的特征。EIBRR能夠高效地模擬復(fù)雜的或非線性的流形。
在替代的實施例中,也可以使用其他機器學(xué)習(xí)算法來訓(xùn)練基于機器學(xué)習(xí)的映射,用于確定FFR或其他血液動力學(xué)指標(biāo)。例如,可以使用諸如(線性的、非線性的或邏輯的)回歸算法、決策樹或圖、關(guān)聯(lián)規(guī)則學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)、支持向量機、歸納邏輯編程、貝葉斯網(wǎng)絡(luò)、基于實例的學(xué)習(xí)、流形學(xué)習(xí)、子空間學(xué)習(xí)、深度學(xué)習(xí)、字典學(xué)習(xí)等的機器學(xué)習(xí)算法來訓(xùn)練基于機器學(xué)習(xí)的映射。
下面通過首先描述被擴展的基于圖像的推進的回歸(EIBR)訓(xùn)練方法并且然后描述EIBRR訓(xùn)練方法來更詳細(xì)地描述EIBRR。
本文中使用以下記號:a 是標(biāo)量,a是列向量,并且A是矩陣。由表示輸入,由表示輸出,由表示回歸函數(shù)并且由表示訓(xùn)練數(shù)據(jù)點。進一步地,我們表示和。
EIBR最小化以下代價函數(shù),其將回歸輸出保真項和子空間正則項組合:
其中λ 是正則化系數(shù)。
EIBR假設(shè)回歸輸出函數(shù)采取加法形式:
其中每個是駐留在字典集H 中的弱學(xué)習(xí)器(或弱函數(shù)),并且是強學(xué)習(xí)器(強函數(shù))。推進是迭代算法,其利用的加法性質(zhì):在迭代t 時,將再多一個弱函數(shù)添加到目標(biāo)函數(shù)。因此,
其中并且。
如下給出了最大地減少代價函數(shù)(或推進性能)的最優(yōu)弱函數(shù)和它的權(quán)重系數(shù)(為了記法清楚略去下標(biāo)t ):
其中
并且矩陣、和分別被定義為:、、。最后,EIBR調(diào)用收縮(其中收縮因數(shù)η =0.5),導(dǎo)致平滑的輸出函數(shù):。
使用整個輸入特征集合將一維(1D)決策樹樁構(gòu)造為字典集H 的基元。將1D決策樹樁與特征索引f 、特征值、決策閾值和二元方向指示符p (即,)相關(guān)聯(lián)。這樣的1D決策樹樁可以被表達(dá)為:
針對基于圖像的特征,給定適中的圖像大小,可以通過改變它們的屬性生成大量的圖像特征??梢杂?i>M 表示特征的數(shù)量。通過調(diào)整閾值,例如,K 個均勻地間隔的級別,可以每個特征創(chuàng)建K 個決策樹樁,使得2KM個1D決策樹樁被創(chuàng)建。
將弱函數(shù)構(gòu)造為堆疊q 個1D決策樹樁的q 維(q -D)決策樹樁。這可以被表達(dá)為:
因為將每個與不同的特征相關(guān)聯(lián),所以構(gòu)造包含個弱函數(shù)的充分大的弱函流形是可能的。
推進起特征選擇器的作用,使得在每輪推進處選擇最大地降低在方程(5)中的代價函數(shù)的特征。然而,為了將推進算法變換成高效的實現(xiàn),存在計算瓶頸,即在方程(6)中的最大化任務(wù)。該最大化任務(wù)需要貪婪特征選擇方案,其可能評估太昂貴,因為其涉及針對每個推進輪評估個決策樹樁。
EIBR通過將q-D回歸問題分成q個依存的1D回歸問題來利用增量特征選擇方案。使用增量向量:
搜索最優(yōu)以最大化,其在(7)中被類似地定義但是基于到目前為止處理的所有i ()維。增量選擇方案需要利用某些開銷計算來評估僅2qMNK個決策樹樁,同時在一定程度上維持在輸出維度之間的依存度。
上面描述的EIBR具有兩個缺點。第一,使用在(3)中的子空間正則項是限制性的,其相當(dāng)于關(guān)于輸出變量的多變量高斯假設(shè),針對真實數(shù)據(jù)其常常證明是非高斯結(jié)構(gòu)。因此,泛化能力被妨礙。第二,弱函數(shù)可能太“弱”,因為其包括共享相同的權(quán)重系數(shù)的若干1D二元決策樹樁。因此,訓(xùn)練過程可能花費長時間,并且被訓(xùn)練的回歸函數(shù)使用過多弱函數(shù),其可以影響運行速度。下面詳細(xì)描述的EIBRR通過更換子空間正則化和增強弱函數(shù)的模擬強度來克服EIBR的缺點。
代替使用1D決策樹樁作為基元,EIBRR方法使用回歸樹樁?;貧w樹樁被定義為:
其中[.]是指示符函數(shù),是具有索引f 的特征值,并且是均勻地間隔的區(qū)間。在方程(11)中,通過權(quán)重向量對所有權(quán)重簡潔地編碼,并且向量是單位矩陣的某列:僅一個元素是一并且所有其他元素是零。類似地,通過堆疊q 個不同的1D回歸樹樁來構(gòu)造弱函數(shù),即,
其中wj是針對第j 個回歸樹樁的權(quán)重向量。屬于所有回歸樹樁的權(quán)重可以被進一步編碼成權(quán)重矩陣。因為我們現(xiàn)在使用權(quán)重,所以我們省略在方程(4)中定義的回歸輸出函數(shù)中的公共系數(shù),并且替代地如下表達(dá)回歸函數(shù):
驗證可以通過組合多個決策樹樁來形成回歸樹樁是容易的。這樣的組合加強了弱函數(shù)的模擬能力并且因此使訓(xùn)練過程加速。經(jīng)驗證據(jù)示出,訓(xùn)練時間幾乎與在弱函數(shù)中使用的級別的數(shù)量成反比。盡管使用回歸樹樁帶來了過度擬合的風(fēng)險,但是可以通過考慮回歸樹樁的模型復(fù)雜性來改善該風(fēng)險。
也被稱為吉洪諾夫正則化的嶺回歸是針對病態(tài)的線性方程系統(tǒng)的正則化的方法。將嶺回歸原理適配到推進的框架中以便使用EIBRR訓(xùn)練回歸函數(shù)?;貧w輸出函數(shù)的模型復(fù)雜性取決于它的權(quán)重矩陣。因為推進回歸迭代地進行,所以在第t 個推進迭代處,執(zhí)行僅涉及權(quán)重矩陣(為了記法清楚省略下標(biāo)t )的以下嶺回歸任務(wù):
因為權(quán)重矩陣W 中的權(quán)重向量與q 個不同的本地(local)矩形特征相關(guān)聯(lián),所以(14)中的優(yōu)化隱含兩個子任務(wù):
1.給定分別具有選擇器索引的q 個特征的集合,找出最優(yōu)矩陣和最小代價;以及
2.找出具有相應(yīng)的選擇器索引屬性的q 個特征的最優(yōu)集合,其使最小代價最小化。這對應(yīng)于特征選擇。
(14)中的優(yōu)化需要可能在計算上難以管理的貪婪特征選擇。因此,求助于次最優(yōu)的、但計算上經(jīng)得起檢驗的增量特征選擇方法可能是有利的。因此,我們引入以下“增量”向量和矩陣:
假設(shè)已經(jīng)選擇多達(dá)i -1個特征,即增量向量和權(quán)重向量是已知的,IBRR方法旨在找出使以下嶺回歸代價(本文中被稱為EIBRR代價函數(shù))最小化的弱函數(shù):
可以導(dǎo)出,針對固定的fi,最優(yōu)的權(quán)重向量是:
其中
因此,EIBRR方法搜索最優(yōu)fi以使IBRR代價函數(shù)最小化。
當(dāng)時,增量特征選擇給出最優(yōu)解。在該情況下,針對第j 個弱函數(shù)的最優(yōu)權(quán)重wj,k是加權(quán)平均:
輸出變量的維度的階可以被隨機地變更(permutate)以便提高魯棒性并移除偏置。通過對字典集隨機地取樣(即,以較小的M '更換M )以及對訓(xùn)練數(shù)據(jù)集隨機地取樣(即,以較小的N '更換N )來增強效率也是可能的。
圖4圖示了根據(jù)本發(fā)明的實施例的用于使用EIBRR訓(xùn)練基于機器學(xué)習(xí)的映射的算法。在402處,初始化IBRR調(diào)整參數(shù)。特別地,設(shè)置規(guī)范化矩陣A 和B 、正則化系數(shù)λ 和收縮因數(shù)η 。這些可以被自動地或由用戶手動地設(shè)置。還設(shè)置諸如迭代的最大數(shù)量Tmax和最小代價函數(shù)值Jmin之類的停止標(biāo)準(zhǔn)。還針對設(shè)置初始值和。
在404處,基于圖像特征的集合來確定最優(yōu)弱函數(shù)。最優(yōu)弱函數(shù)被確定成使EIBRR代價函數(shù)(15)最小化。在圖5中更詳細(xì)地描述了步驟404。
在406處,基于在404中確定的最優(yōu)弱函數(shù)更新回歸函數(shù)。如在(13)中示出的那樣,在每個迭代處通過將針對該迭代的最優(yōu)弱函數(shù)添加到在前的回歸函數(shù)來更新回歸函數(shù),使得最終的回歸函數(shù)是針對所有迭代的弱函數(shù)的和。因此,當(dāng)弱函數(shù)被確定時,其被添加到在前的回歸函數(shù)。
在408處,基于被更新的回歸函數(shù)評估近似誤差和EIBRR代價函數(shù)。近似誤差通過將由回歸函數(shù)產(chǎn)生的基于輸入訓(xùn)練數(shù)據(jù)的差異向量與已知的輸出訓(xùn)練數(shù)據(jù)比較來測試回歸函數(shù)。在(15)中表達(dá)了EIBRR代價函數(shù)。
在步驟410處,確定IBRR方法是否已經(jīng)收斂。為了使方法收斂,確定是否滿足停止條件。例如,如果代價函數(shù)小于最小代價函數(shù)Jmin,則可以實現(xiàn)收斂。當(dāng)?shù)淖畲髷?shù)量Tmax發(fā)生時、當(dāng)近似誤差小于某閾值時、當(dāng)在前一步驟和當(dāng)前步驟處的代價函數(shù)之間的差異小于某閾值時或當(dāng)在前一步驟和當(dāng)前步驟處的近似誤差之間的差異小于某閾值時實現(xiàn)收斂也是可能的。如果在410處EIBRR算法尚未收斂,則算法返回到步驟404并重復(fù)步驟404、406和408直到收斂被實現(xiàn)。如果EIBRR已經(jīng)在步驟510處收斂,則存儲或輸出被訓(xùn)練的回歸函數(shù)??梢詫⒂杀痉椒óa(chǎn)生的被訓(xùn)練的回歸函數(shù)存儲在計算機系統(tǒng)的存儲器或貯存器中或輸出供在確定新的病人數(shù)據(jù)集中的諸如FFR的血液動力學(xué)指標(biāo)中使用。
圖5圖示了根據(jù)本發(fā)明的實施例的特征選擇算法。該方法對應(yīng)于圖4的步驟404。在502處,設(shè)置弱函數(shù)的維度。如上面描述的那樣,可以變更弱函數(shù)的維度以便提高魯棒性并移除偏置。弱函數(shù)的維度確定使用多少圖像特征來確定每個弱函數(shù)。
在504處,選擇使EIBRR代價函數(shù)(15)最小化的圖像特征。通過循環(huán)特征字典集M中的圖像特征中的每個以找出使IBR代價函數(shù)(15)極其最小化的特征來選擇圖像特征。如在圖5的503處示出的那樣,從字典集M 取樣減小的字典集M '并將其代替M 用于特征選擇以便提高計算效率也是可能的。并且,如在圖5的503處示出的那樣,可以從訓(xùn)練集N 取樣訓(xùn)練數(shù)據(jù)的減小集N '以便提高計算效率。
在步驟506處,更新弱函數(shù)。如上面描述的那樣,通過堆疊q 個不同的1D回歸樹樁來構(gòu)造弱函數(shù)?;貧w樹樁中的每個使用圖像特征。一旦在步驟504處選擇了圖像特征,弱函數(shù)就將當(dāng)前特征以增量的方式增加到先前選擇的特征。如在圖5中示出的那樣,在維度q上迭代步驟504和506。即,算法重復(fù)步驟504和506直到已經(jīng)針對弱函數(shù)選擇了q 個圖像特征。一旦選擇了q 個圖像特征,就輸出或存儲弱函數(shù)。可以將由被選擇的特征的組合產(chǎn)生的弱函數(shù)輸出供在圖4的EIBRR方法中繼續(xù)使用??梢詫⑷鹾瘮?shù)存儲在計算機系統(tǒng)的存儲器或貯存器中??梢越M合在圖5的EIBRR方法的每個迭代中存儲的弱函數(shù)以生成被訓(xùn)練的回歸函數(shù)。
一旦訓(xùn)練了基于機器學(xué)習(xí)的映射,就將被訓(xùn)練的映射存儲在計算機系統(tǒng)的存儲器或貯存器中并然后將其用來針對新病人確定FFR值(或其他血液動力學(xué)指標(biāo)值)。圖6圖示了根據(jù)本發(fā)明的實施例的用于針對病人使用被訓(xùn)練的基于機器學(xué)習(xí)的映射確定FFR的方法。
在步驟602處,接收包括感興趣的狹窄的病人數(shù)據(jù)集。病人數(shù)據(jù)集包括病人的醫(yī)學(xué)圖像數(shù)據(jù)。醫(yī)學(xué)圖像數(shù)據(jù)可以包括來自任何醫(yī)學(xué)成像形式的醫(yī)學(xué)圖像,所述醫(yī)學(xué)成像形式諸如計算斷層掃描(CT)、X射線血管造影術(shù)、磁共振成像(MRI)、超聲、血管內(nèi)超聲(IVUS)、光學(xué)相干斷層掃描(OTC)等。可以通過使用圖像獲取設(shè)備獲得醫(yī)學(xué)圖像數(shù)據(jù)、直接地從圖像獲取設(shè)備接收醫(yī)學(xué)圖像數(shù)據(jù)或加載針對病人的被存儲的醫(yī)學(xué)圖像數(shù)據(jù)來接收醫(yī)學(xué)圖像數(shù)據(jù)。病人數(shù)據(jù)集還可以包括諸如功能測量結(jié)果(例如,血壓、心率、ECG等)的功能數(shù)據(jù)和人口統(tǒng)計數(shù)據(jù)以及可以從其提取特征的任何其他類型的數(shù)據(jù)。在某些情況下,病人數(shù)據(jù)集可以包括感興趣的多個狹窄。
在步驟604處,針對感興趣的狹窄從病人數(shù)據(jù)集提取特征。當(dāng)存在感興趣的多個狹窄時,針對感興趣的每個狹窄提取特征的相應(yīng)集合。特別地,針對感興趣的狹窄提取了與針對訓(xùn)練數(shù)據(jù)中的每個訓(xùn)練實例提取的那些特征相同的特征。上面關(guān)于圖1的步驟110描述了這些特征。根據(jù)有利的實現(xiàn),可以使用全自動化特征提取方法來提取特征。例如,可以使用一個或多個基礎(chǔ)圖像處理算法來首先檢測感興趣的每個解剖區(qū)域并且然后提取解剖特征。例如,圖像處理算法可以自動地檢測狹窄、冠狀動脈血管、冠狀動脈口、心室、心肌、小梁和乳頭肌以及主動脈,并且然后從被檢測的區(qū)域中的醫(yī)學(xué)圖像數(shù)據(jù)提取所有要求的解剖特征。在一個實施例中,在醫(yī)學(xué)圖像數(shù)據(jù)中首先自動地檢測感興趣的冠狀動脈狹窄,并且然后針對感興趣的每個狹窄自動檢測相應(yīng)的特征集合??梢允褂迷诿绹鴮@?,526,699、美國公開專利申請?zhí)?013/0216110、美國專利號8,582,854和美國專利號8,116,548中描述的方法執(zhí)行自動化的特征提取,所述專利中的每個通過引用被并入本文中。根據(jù)其他可能的實現(xiàn),特征中的某些可以被半自動地或由用戶手動地提取??梢栽卺t(yī)學(xué)圖像掃描器上或在諸如成像工作站的另一設(shè)備上執(zhí)行特征提取步驟。
在步驟606處,使用被訓(xùn)練的基于機器學(xué)習(xí)的映射基于被提取的特征針對感興趣的狹窄確定FFR值。特別地,使用圖1的方法基于訓(xùn)練數(shù)據(jù)訓(xùn)練的基于機器學(xué)習(xí)的映射被用來基于被提取的特征計算針對病人的狹窄的FFR值。根據(jù)有利的實施例,被訓(xùn)練的映射是將被提取的特征與各種所學(xué)習(xí)的權(quán)重組合的所學(xué)習(xí)的經(jīng)驗?zāi)P?。如上面描述的那樣,被?xùn)練的基于機器學(xué)習(xí)的映射可以是使用基于圖像的推進的嶺回歸(例如使用在圖4和5中圖示的擴展的基于圖像的推進的嶺回歸(EIBRR)方法)訓(xùn)練的回歸函數(shù)。如果在病人數(shù)據(jù)集中存在感興趣的多個狹窄,則使用針對感興趣的每個狹窄提取的特征的相應(yīng)集合針對感興趣的每個狹窄確定相應(yīng)的FFR值。在可能的實現(xiàn)中,被訓(xùn)練的映射可以計算FFR值連同置信區(qū)間。
在步驟608處,輸出FFR值。例如,可以將FFR值顯示在計算機系統(tǒng)的顯示設(shè)備上。還可以將FFR值存儲在計算機系統(tǒng)的存儲器或貯存器上。
在可能的實施例中,用戶可以利用圖6的方法來通過適當(dāng)?shù)馗淖兡承┨卣鞯闹狄苑从持委熀笄闆r來分析不同的治療情況的效果。在該情況下,一旦在步驟608處輸出FFR值,就從用戶接收反映治療情況的改變一個或多個特征的用戶輸入,并且使用被訓(xùn)練的基于機器學(xué)習(xí)的映射基于被修改的特征來重新計算FFR值。
圖7、8和9圖示了用于實現(xiàn)圖6的方法的各種場景。如在圖7中示出的那樣,在一個實施例中,使用掃描器700(圖像獲取設(shè)備)用于圖像獲取702,并且將圖像從掃描器700傳送到工作站710。然后工作站710執(zhí)行特征提取704和FFR計算706步驟,產(chǎn)生被預(yù)測的FFR值。如在圖8中示出的那樣,在另一實施例中,掃描器800執(zhí)行圖像獲取802和特征提取804,并且僅將被提取的圖像特征從掃描器800傳送到工作站810。然后工作站執(zhí)行隨后的FFR計算806,產(chǎn)生被預(yù)測的FFR值。如在圖9中示出的那樣,在另一實施例中,掃描器900執(zhí)行圖像獲取902、特征提取904和FFR計算906,產(chǎn)生被預(yù)測的FFR值。
隨著更多的數(shù)據(jù)被收集,包含解剖、生理學(xué)和人口統(tǒng)計測量結(jié)果和/或特征連同地面實況有創(chuàng)FFR測量結(jié)果的訓(xùn)練數(shù)據(jù)庫可能在大小方面增長。然后可以使用被更新的數(shù)據(jù)庫來周期性地重新訓(xùn)練基于機器學(xué)習(xí)的映射。訓(xùn)練數(shù)據(jù)庫中的新的實例可以來自未被發(fā)現(xiàn)的案例(即,過去尚未被用于訓(xùn)練或預(yù)測的案例)或來自過去被用于預(yù)測但是現(xiàn)在具有可用的有創(chuàng)FFR測量的案例。訓(xùn)練數(shù)據(jù)庫可以是用于特定機構(gòu)的本地數(shù)據(jù)庫的中央數(shù)據(jù)庫。在可能的實施例中,代替有創(chuàng)的血液動力學(xué)量(諸如FFR),訓(xùn)練數(shù)據(jù)庫中的地面實況值可以由計算替代物替代。例如,可以由使用機械模擬方法數(shù)字地計算的FFR值更換或補充用于訓(xùn)練數(shù)據(jù)的地面實況FFR值。
根據(jù)可能的實施例,代替在訓(xùn)練階段期間使用病人特定的幾何形狀來計算針對FFR的計算替代物,可以使用不是基于病人特定的數(shù)據(jù)的綜合生成的幾何形狀??梢酝ㄟ^改變狹窄的形狀、嚴(yán)重性、位置和數(shù)量連同冠狀動脈血管樹的一般模型中的主和側(cè)分支的半徑和位置來生成這樣的幾何形狀。作為綜合生成的幾何形狀的最簡單的示例,人們可以使用具有變窄部分的直管來表示狹窄??梢酝ㄟ^改變綜合幾何形狀(例如,狹窄的最小半徑、入口角、出口角)以及改變流入或流出邊界條件以計算FFR值來執(zhí)行多個CFD仿真。使用綜合生成的幾何形狀的一個優(yōu)勢是其不要求收集和處理病人特定的數(shù)據(jù)用于完成訓(xùn)練階段,從而節(jié)省時間和代價兩者。進一步地,不存在對可以被生成的綜合幾何形狀的類型限制,從而覆蓋寬范圍的血管形狀和拓?fù)洹J褂迷摲椒?,可以在沒有任何病人特定的幾何形狀或圖像數(shù)據(jù)的情況下執(zhí)行整個訓(xùn)練階段。通過引用被并入本文中的美國公開專利申請?zhí)?014/0024932描述了對綜合生成的狹窄形狀的CFD仿真的示例。
如上面描述的那樣,各種特征可以被提取并被用來訓(xùn)練基于機器學(xué)習(xí)的映射和被用來確定FFR值。應(yīng)理解,上面描述的方法自適應(yīng)于可用的病人特征并且可以使用更多的或更少的特征。上面描述的方法也可以被類似地用于其他應(yīng)用,諸如確定諸如腎動脈狹窄、主動脈狹窄、周圍動脈狹窄等的其他血管狹窄的嚴(yán)重性,確定諸如腦動脈瘤、腹部主動脈瘤等的動脈瘤的破裂風(fēng)險以及將心力衰竭病人分類為對心臟再同步治療(CRT)的很可能的響應(yīng)者或無響應(yīng)者。
根據(jù)本發(fā)明的另一實施例,代替從醫(yī)學(xué)圖像數(shù)據(jù)提取特征,將機器學(xué)習(xí)算法直接應(yīng)用在圖像體素(體積塊或體素的集合)上以學(xué)習(xí)那些體素和感興趣的血液動力學(xué)量(例如,F(xiàn)FR)之間的關(guān)聯(lián)。在該實施例中,可以在兩個階段中解決計算FFR(或感興趣的其他血液動力學(xué)量)的問題。在第一階段中,在輸入3D醫(yī)學(xué)圖像中定位解剖上顯著的圖像塊??梢允褂眠吘壙臻g深度學(xué)習(xí)(MSDL)或邊緣空間深度回歸(MSDR)來定位感興趣的圖像塊,所述MSDL和MSDR是訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)在具有增加的維度的一系列邊緣參數(shù)空間中檢測感興趣的圖像塊的機器學(xué)習(xí)方法。在第二階段中,針對包含狹窄的每個圖像塊連同包含其余的冠狀動脈解剖的其他重疊塊,深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的回歸器被用來計算特定于該狹窄的FFR值。必要時,然后針對冠狀動脈樹內(nèi)的每個狹窄重復(fù)本過程。
圖10圖示了用于使用被直接地應(yīng)用于病人的醫(yī)學(xué)圖像數(shù)據(jù)的被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)確定FFR的方法。參考圖10,在步驟1002處,接收病人的醫(yī)學(xué)圖像數(shù)據(jù)。在有利的實現(xiàn)中,醫(yī)學(xué)圖像數(shù)據(jù)是3D醫(yī)學(xué)圖像,但是本發(fā)明不被限于其。醫(yī)學(xué)圖像數(shù)據(jù)可以包括來自任何醫(yī)學(xué)成像形式的醫(yī)學(xué)圖像,所述醫(yī)學(xué)成像形式諸如計算機斷層掃描(CT)、X射線血管造影術(shù)、磁共振成像(MRI)、超聲、血管內(nèi)超聲(IVUS)、光學(xué)相干斷層掃描(OTC)等。可以通過使用圖像獲取設(shè)備獲得醫(yī)學(xué)圖像數(shù)據(jù)、直接從圖像獲取設(shè)備接收醫(yī)學(xué)圖像數(shù)據(jù)或加載針對病人的被存儲的醫(yī)學(xué)圖像數(shù)據(jù)來接收醫(yī)學(xué)圖像數(shù)據(jù)。
在步驟1004處,在醫(yī)學(xué)圖像數(shù)據(jù)中檢測對應(yīng)于病人的狹窄和冠狀動脈樹的圖像塊。根據(jù)有利的實現(xiàn),定位圖像塊的集合以表示所有狹窄區(qū)域(圍繞每個狹窄的某大小的圖像塊)、冠狀動脈口(以每個口為中心的圖像塊)、冠狀動脈血管(在管狀冠狀動脈結(jié)構(gòu)周圍的圖像塊)和冠狀動脈二分叉和三分叉。
根據(jù)有利的實施例,可以使用被直接地應(yīng)用于3D醫(yī)學(xué)圖像的體素的邊緣空間深度學(xué)習(xí)(MSDL)或邊緣空間深度回歸(MSDR)來檢測感興趣的圖像塊,所述MSDL和MSDR是訓(xùn)練一系列深度神經(jīng)網(wǎng)絡(luò)在具有增加的維度的邊緣參數(shù)空間的系列中檢測感興趣的圖像塊的機器學(xué)習(xí)方法。MSDL和MSDR利用深度學(xué)習(xí)來直接地從醫(yī)學(xué)圖像數(shù)據(jù)自動地學(xué)習(xí)高級領(lǐng)域特定的圖像特征。
在MSDL和MSDR兩者中,為了檢測對象,將目標(biāo)對象的參數(shù)空間分成具有增加的維度的一系列邊緣搜索空間,并且針對每個邊緣搜索空間訓(xùn)練相應(yīng)的深度多層神經(jīng)網(wǎng)絡(luò)。在MSDL中,每個被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)是有區(qū)別的,因為其針對搜索空間中的給定假設(shè)計算搜索空間中的假設(shè)正確的概率。在MSDR中,每個被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)提供回歸函數(shù)(回歸器),其針對搜索空間中的每個假設(shè)計算從該假設(shè)到搜索空間中的對象的被預(yù)測的位姿參數(shù)的差異向量。
使用訓(xùn)練圖像的數(shù)據(jù)庫訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。為了訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),給定其中在訓(xùn)練圖像的全部或子集中注釋了目標(biāo)對象的訓(xùn)練圖像的數(shù)據(jù)庫,參數(shù)化對象位置(位姿)并且建立邊緣空間層級。例如,針對對象位置的參數(shù)的集合可以是嚴(yán)格(rigid)的平移(位置)、旋轉(zhuǎn)(定向)和規(guī)模,并且邊緣空間可以是平移、平移+旋轉(zhuǎn)以及平移+旋轉(zhuǎn)+縮放。從被注釋的訓(xùn)練圖像子集確定參數(shù)化空間的范圍。接下來,在當(dāng)前搜索空間中生成假設(shè)。針對第一搜索空間,直接地從當(dāng)前范圍生成假設(shè),并且針對其他搜索空間,從具有從當(dāng)前相應(yīng)的范圍取樣的附加參數(shù)的當(dāng)前假設(shè)集合增加來生成假設(shè)。給定針對當(dāng)前搜索空間的假設(shè)的集合,訓(xùn)練深度多層神經(jīng)網(wǎng)絡(luò),使通過相應(yīng)的假設(shè)參數(shù)參數(shù)化的子圖象作為輸入并且使當(dāng)前參數(shù)和針對當(dāng)前搜索空間的目標(biāo)或地面實況參數(shù)之間的差異作為輸出。圖11圖示了針對特定的參數(shù)空間訓(xùn)練深度多層神經(jīng)網(wǎng)絡(luò)回歸器。如在圖11中示出的那樣,P是當(dāng)前參數(shù)空間(邊緣空間),p(2)是參數(shù)空間中的假設(shè)的參數(shù),根據(jù)其從圖像空間I中的第i個圖像Ii(p(2))生成圖像。使用參數(shù)化的圖像作為到多層深度神經(jīng)網(wǎng)絡(luò)1100的輸入,并且由在當(dāng)前參數(shù)空間P中的假設(shè)參數(shù)p(2)和地面實況參數(shù)p(1)之間的參數(shù)差異dp(2)和可選地置信測量給出有監(jiān)督的輸出??梢灾苯拥仃P(guān)于對地面實況的差異(在該情況下p(1)是被注釋的參流形)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)1100,或者可以關(guān)于朝向地面實況的位移訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)1100。
針對深度神經(jīng)網(wǎng)絡(luò)架構(gòu)和訓(xùn)練,可以使用各種類型的神經(jīng)網(wǎng)絡(luò),諸如卷積神經(jīng)網(wǎng)絡(luò)(CNN)、堆疊的受限玻爾茲曼機(RBM)或堆疊的自動編碼器(AE)。在RBM或AE的情況下,我們可以在使用被注釋的訓(xùn)練圖像的子集的有監(jiān)督的訓(xùn)練之前,以無監(jiān)督的方式使用(未被注釋的)可用圖像中的全部來預(yù)訓(xùn)練網(wǎng)絡(luò)以確定表征來自大的數(shù)據(jù)庫的數(shù)據(jù)的種類的代表性特征。在有利的實施例中,在兩個階段中使用堆疊的去噪自動編碼器(DAE)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。第一階段是無監(jiān)督的,其中訓(xùn)練多層深度神經(jīng)網(wǎng)絡(luò)中的每層以重新構(gòu)造輸入。在該階段中,將類似于輸入的虛擬層添加到輸出,并且在該虛擬層中使輸入的誤差最小化。第二階段是有監(jiān)督的,并且使整個網(wǎng)絡(luò)誤差相對于從預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重開始的輸出訓(xùn)練數(shù)據(jù)最小化。DAE的一個特性是其在訓(xùn)練期間隨機地省略某百分比(多達(dá)50%)的輸入,這顯著地增加了得到的回歸器的魯棒性。輸出參數(shù)空間可以被使用線性函數(shù)直接地回歸,或者其可以如解決多類分類問題那樣相對于參數(shù)范圍被離散。第二公式化具有可以直接地對輸出概率編碼并且可以生成多個假設(shè)的優(yōu)勢。
然后通過被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)傳播當(dāng)前假設(shè)的集合,并且在可能的實施例中,可以使用相同的深度神經(jīng)網(wǎng)絡(luò)或通過新近被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)迭代地細(xì)化假設(shè)的新集合。該迭代過程可以消除(不重疊的)遠(yuǎn)離解的樣本并且生成更接近真正位置的樣本以提高精度。給假設(shè)的新集合增加來自隨后的邊緣空間的新的參數(shù),并且針對隨后的邊緣空間重復(fù)本過程。這產(chǎn)生針對邊緣空間中的每個的相應(yīng)的被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)(回歸器或有區(qū)別的深度神經(jīng)網(wǎng)絡(luò))。
圖12圖示了根據(jù)本發(fā)明的實施例的用于對象檢測的訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的系列方法??梢允褂脠D12的方法來訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),用于檢測對應(yīng)于狹窄和冠狀動脈樹解剖的圖像塊。參考圖12,在步驟1202處,接收訓(xùn)練圖像。特別地,從數(shù)據(jù)庫加載多個訓(xùn)練圖像。利用感興趣的對象的位姿(位置、定向和規(guī)模)注釋訓(xùn)練圖像的至少一個子集。此外,訓(xùn)練圖像還可以包括未注釋的圖像。
在步驟1204處,訓(xùn)練第一深度神經(jīng)網(wǎng)絡(luò)以檢測位置候選。在可能的實現(xiàn)中,第一深度神經(jīng)網(wǎng)絡(luò)可以是有區(qū)別的深度神經(jīng)網(wǎng)絡(luò),其輸入圖像的體素作為假設(shè)并且針對每個體素計算中心在體素處的圖像塊是感興趣的對象的概率。在另一可能的實現(xiàn)中,第一深度神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練回歸函數(shù),其輸入圖像的體素作為假設(shè),針對每個輸入計算差異向量,產(chǎn)生針對每個輸入體素計算的被預(yù)測的位置。在步驟1206處,通過被訓(xùn)練的第一深度神經(jīng)網(wǎng)絡(luò)傳遞訓(xùn)練樣本并保持多個最好的位置候選。
在步驟1208處,給位置候選增加定向參數(shù)以生成位置-定向搜索空間中的假設(shè)。例如,可以通過將中心在位置候選處的每個圖像塊旋轉(zhuǎn)到多個可能的旋轉(zhuǎn)來針對每個位置候選生成多個位置-定向假設(shè)。可以通過被注釋的訓(xùn)練數(shù)據(jù)中的地面實況對象的定向的范圍來確定這些旋轉(zhuǎn)的范圍。
在步驟1210處,訓(xùn)練第二深度神經(jīng)網(wǎng)絡(luò)以檢測位置-定向候選。在可能的實現(xiàn)中,第二深度神經(jīng)網(wǎng)絡(luò)可以是有區(qū)別的深度神經(jīng)網(wǎng)絡(luò),其輸入對應(yīng)于位置-定向搜索空間中的假設(shè)的圖像的圖像塊,并針對每個圖像塊計算圖像塊是感興趣的對象的概率。在另一可能的實現(xiàn)中,第二深度神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練回歸函數(shù),其輸入對應(yīng)于在位置-定向搜索空間中的假設(shè)的圖像的圖像塊,并針對每個輸入計算在位置-定向參數(shù)空間中的差異向量,產(chǎn)生被預(yù)測的位置和定向以及圖像中的相應(yīng)的圖像塊。在步驟1212處,通過被訓(xùn)練的第二深度神經(jīng)網(wǎng)絡(luò)傳遞位置-定向假設(shè)并保持多個最好的位置-定向候選。
在步驟1214處,給位置-定向候選增加縮放參數(shù)以在位置-定向-規(guī)模搜索空間中生成假設(shè)。例如,可以通過將對應(yīng)于程序位置-定向候選的每個圖像塊縮放到多個可能的規(guī)模來針對每個位置-定向候選生成多個位置-定向-規(guī)模假設(shè)??梢酝ㄟ^在被注釋的訓(xùn)練數(shù)據(jù)中的地面實況對象的規(guī)模的范圍確定這些規(guī)模的范圍。
在步驟1216處,訓(xùn)練第三深度神經(jīng)網(wǎng)絡(luò)以檢測感興趣的對象的完整的參流形(位置-定向-規(guī)模)。在可能的實現(xiàn)中,第三深度神經(jīng)網(wǎng)絡(luò)可以是有區(qū)別的深度神經(jīng)網(wǎng)絡(luò),其輸入對應(yīng)于在位置-定向-規(guī)模搜索空間中的假設(shè)的圖像的圖像塊并針對每個圖像塊計算圖像塊是感興趣的對象的概率。在另一可能的實現(xiàn)中,第三深度神經(jīng)網(wǎng)絡(luò)可以訓(xùn)練回歸函數(shù),其輸入對應(yīng)于在位置-定向-規(guī)模搜索空間中的假設(shè)的圖像的圖像塊并針對每個輸入計算在位置-定向-規(guī)模參數(shù)空間中的差異向量,產(chǎn)生被預(yù)測的位置、定向和規(guī)模以及圖像中的相應(yīng)的圖像塊。
在圖10的步驟1004中,當(dāng)接收到病人的輸入醫(yī)學(xué)圖像時,使用被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)來檢測對應(yīng)于狹窄和冠狀動脈樹解剖的圖像塊。用于檢測目標(biāo)對象參數(shù)的過程類似于訓(xùn)練過程。所生成的假設(shè)的集合通過被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)傳播并通過邊緣空間迭代地細(xì)化,產(chǎn)生定義每個目標(biāo)圖像塊的位置、定向和規(guī)模參數(shù)。
返回到圖10,在步驟1006處,針對狹窄通過將被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器直接地應(yīng)用于檢測到的圖像塊來確定FFR值。在該情況下將機器學(xué)習(xí)算法直接地應(yīng)用在檢測到的圖像塊上,其包含醫(yī)學(xué)圖像的原始結(jié)構(gòu)連同來自步驟1004的相關(guān)聯(lián)的標(biāo)簽。在訓(xùn)練在步驟1006中使用的深度神經(jīng)網(wǎng)絡(luò)回歸器中,目標(biāo)是學(xué)習(xí)那些圖像塊和針對特定的狹窄的感興趣的血液動力學(xué)量(例如,F(xiàn)FR或壓降)之間的關(guān)聯(lián)。使用這樣的方法,首先從圖像提取解剖特征(諸如狹窄的半徑、狹窄的長度等)不是必要的。
圖13圖示了根據(jù)本發(fā)明的實施例的將被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器應(yīng)用于圖像塊以確定針對狹窄的FFR值。如在圖13中示出的那樣,深度神經(jīng)網(wǎng)絡(luò)1300從檢測到的圖像塊1302輸入DICOM數(shù)據(jù)(未經(jīng)處理的體素)。深度神經(jīng)網(wǎng)絡(luò)是具有潛變量的三層1304、1306和1308以及輸出狹窄特定的FFR值的第四層1310的多層神經(jīng)網(wǎng)絡(luò)。學(xué)習(xí)權(quán)重以將輸入體素1302映射到潛變量的第一集合1304,將潛變量的第一集合1304映射到潛變量的第二集合1306,將潛變量的第二集合1306映射到潛變量的第三集合1308,以及將潛變量的第三集合1308映射到狹窄特定的FFR值1310。應(yīng)理解,本發(fā)明不被限于在圖13中示出的特定數(shù)量的層。
根據(jù)有利的實施例,可以如下訓(xùn)練用于確定狹窄的FFR值的深度神經(jīng)網(wǎng)絡(luò)回歸器:(1)收集來自各種病人(例如,500+個)的醫(yī)學(xué)圖像(例如,心臟CT圖像)但是沒有匹配的FFR值的被訓(xùn)練的圖像塊的大集合(數(shù)據(jù)集A)。(2)收集來自各種病人(例如,200+個)的醫(yī)學(xué)圖像(例如,心臟CT圖像)的具有被標(biāo)識的狹窄圖像塊和相應(yīng)的FFR值的被訓(xùn)練的圖像塊的大集合(數(shù)據(jù)集B)。(3)通過選擇層數(shù)、每層單元數(shù)、學(xué)習(xí)速率以及初始隨機權(quán)重來設(shè)置網(wǎng)絡(luò)??梢詫嶒炆洗_定深度神經(jīng)網(wǎng)絡(luò)的這些設(shè)置。(4)使用受限玻爾茲曼機(RBM)對比散度或自動編碼器算法,使用數(shù)據(jù)集A來逐層地訓(xùn)練(即,調(diào)整)深度神經(jīng)網(wǎng)絡(luò)的權(quán)重。在該步驟中不對最后一層執(zhí)行訓(xùn)練。(5)使用梯度下降反向傳播算法,使用數(shù)據(jù)集B來細(xì)化所有層(包括最后一層)的權(quán)重。在該步驟期間,可以對權(quán)重使用L1或L2正則化以避免過度擬合。
在圖10的步驟1006中,一旦在1004中檢測到圖像塊,就將被訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)回歸器直接地應(yīng)用于檢測到的圖像塊,這產(chǎn)生針對每個狹窄的狹窄特定的FFR值。
返回到圖10,在步驟1008處,輸出FFR值。例如,可以將FFR值顯示在計算機系統(tǒng)的顯示設(shè)備上。還可以將FFR值存儲在計算機系統(tǒng)的存儲器或貯存器上。
可以在計算機上使用公知的計算機處理器、存儲器單元、存儲設(shè)備、計算機軟件以及其他部件來實現(xiàn)上面描述的用于確定FFR的用于訓(xùn)練基于機器學(xué)習(xí)的映射的方法以及針對病人使用被訓(xùn)練的基于機器學(xué)習(xí)的映射確定FFR的方法。在圖14中圖示了這樣的計算機的高級框圖??梢允褂脠D14的計算機實現(xiàn)圖7、8和9的掃描器和工作站。計算機1402包含處理器1404,其通過執(zhí)行定義計算機1402的整體操作的計算機程序指令來控制這樣的操作??梢詫⒂嬎銠C程序指令存儲在存儲設(shè)備1412(例如,磁盤)中并在期望執(zhí)行計算機程序指令時將其加載到存儲器1410中。因此,可以通過存儲在存儲器1410和/或貯存器1412中的計算機程序指令定義并通過執(zhí)行計算機程序指令的處理器1404控制圖1、4、5、6、10和12的方法的步驟。可以將諸如MR掃描設(shè)備、超聲設(shè)備等的圖像獲取設(shè)備1420連接到計算機1402以向計算機1402輸入圖像數(shù)據(jù)。將圖像獲取設(shè)備1420和計算機1402實現(xiàn)為一個設(shè)備是可能的。圖像獲取設(shè)備1420和計算機1402通過網(wǎng)絡(luò)無線地通信也是可能的。計算機1402還包括一個或多個網(wǎng)絡(luò)接口1406,用于經(jīng)由網(wǎng)絡(luò)與其他設(shè)備通信。計算機1402還包括使能與計算機1402的用戶交互的其他輸入/輸出設(shè)備1408(例如,顯示器、鍵盤、鼠標(biāo)、揚聲器、按鈕等)??梢詫⑦@樣的輸入/輸出設(shè)備1408連同計算機程序的集合用作注釋工具以注釋從圖像獲取設(shè)備1420接收的量。本領(lǐng)域技術(shù)人員將認(rèn)識到,實際的計算機的實現(xiàn)還可以包含其他部件,并且圖14是出于說明性目的的對這樣的計算機的部件中的某些的高級表示。
前述詳細(xì)描述應(yīng)被理解為在各個方面是說明性和示例性的而不是限制性的,并且本文中公開的發(fā)明的范圍不應(yīng)根據(jù)詳細(xì)描述而是根據(jù)權(quán)利要求書被確定,如根據(jù)由專利法許可的完整篇幅解釋的那樣。應(yīng)理解,本文中示出和描述的實施例僅說明本發(fā)明的原理,并且本領(lǐng)域那些技術(shù)人員可以在不脫離本發(fā)明的范圍和精神的情況下實現(xiàn)各種修改。本領(lǐng)域那些技術(shù)人員可以在不脫離本發(fā)明的范圍和精神的情況下實現(xiàn)各種其他特征組合。