生物組織分析診斷系統(tǒng)與方法
【專利摘要】一種計算機診斷系統(tǒng)和相關(guān)方法，可以在原始組織圖像中自動分類組織類型，該圖像由基于紋理分析的成像設(shè)備捕捉。該系統(tǒng)接受并劃分組織圖像為許多較小的組織塊圖像。在非限制性實施案例中，局部二進制模式(LBP)和平均局部二進制模式(ALBP)提取方法的組合應(yīng)用于每一塊組織塊上。也可以使用其它紋理分析方法。該提取方法為每個組織塊生成一組LBP和ALBP特征，以此分類其組織類型。分類結(jié)果為原始組織圖像的數(shù)字增強型地圖。在實施案例中，所關(guān)注的組織類型被展現(xiàn)于原始組織圖像之上。在其他或相同實施案例中，該地圖在原始組織圖像上顯示每一個不同的組織類型。
【專利說明】生物組織分析診斷系統(tǒng)與方法
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求美國臨時專利申請(序列號61/900，828,2013年11月6日提交）的權(quán)益， 其全部內(nèi)容通過引用并入本文。
[0003] 政府利益聲明
[0004] 本發(fā)明是由政府的國家衛(wèi)生研究院/國家生物醫(yī)學(xué)成像和生物工程研究院(NIH/ NIBIB)獨立獎（R00-EB010071)和國家衛(wèi)生研究院/國家醫(yī)學(xué)圖書館（NLM)獎（NLM-HHSN276201000693P)支持。政府對本發(fā)明具有一定的權(quán)利。
【背景技術(shù)】
[0005] 本發(fā)明一般涉及生物組織成像技術(shù)，能夠提供一種醫(yī)療診斷工具，即更具體地涉 及用于分析組織樣品的紋理以及對組織進行分類以檢測組織異常的一種計算機系統(tǒng)和方 法。
[0006] 乳腺癌是一種全世界婦女發(fā)病率較高的癌癥。篩查和早期檢測能夠改善乳腺癌的 存活率?；顧z是一種常見的醫(yī)學(xué)檢驗，病理學(xué)醫(yī)師在顯微鏡下觀察從受試者處取得的組織 樣本，以確定疾病性質(zhì)或程度。一般來說，需要將組織切成極薄的切片并且染色，然后才能 在顯微鏡下進行觀察。光學(xué)相干斷層成像儀(0CT)-種無損光學(xué)成像模式的替代方案，無需 染色也能夠提供活檢樣品組織的三維高清圖像。光學(xué)相干顯微鏡(0CM)結(jié)合了 0CT和共焦顯 微鏡的優(yōu)點，利用大數(shù)值孔徑物鏡生產(chǎn)細胞分辨率圖像。
[0007] 為了提高從醫(yī)學(xué)圖像中自動區(qū)分組織區(qū)域的準確度和效率，大量實施軟件程序算 法的計算機輔助診斷方法被提出。這類自動化技術(shù)的準確度和速度水平無法被組織圖像的 人工分析合理地重現(xiàn)。實驗表明，光譜紋理分析善于從0CT圖像中提取獨特的紋理特征，即 使圖像中結(jié)構(gòu)特征有限。圖像處理和數(shù)據(jù)挖掘技術(shù)應(yīng)用于大量醫(yī)學(xué)圖像，以區(qū)分組織的不 同的模式。
[0008] 紋理分析是醫(yī)學(xué)圖像分類的常用技術(shù)。主要有兩種紋理分析技術(shù):基于結(jié)構(gòu)的方 法和統(tǒng)計方法，包括光譜分析和特征分布。
[0009] 在基于結(jié)構(gòu)的方法中，圖像的典型組織模式被提取并聚類為若干組。每種模式的 出現(xiàn)頻率用于代表紋理。如果某類紋理模式在圖像中頻繁出現(xiàn)，聚類步驟能夠從紋理圖像 中保留更多信息，因此基于結(jié)構(gòu)的方法擅長高度重復(fù)的紋理圖像的分類。但是人體組織的 0CT/0CM圖像中的紋理模式很少有完全一樣的，以致于基于結(jié)構(gòu)的方法在0CT/0CM圖像上的 進行組織分類并不理想。
[0010]在統(tǒng)計方法中，提取的目標特征和全組織圖像中每種特征的出現(xiàn)頻率都能體現(xiàn)紋 理性質(zhì)。不同的紋理特征能在很多統(tǒng)計方法中應(yīng)用，包括灰度共生矩陣、中心對稱自相關(guān)、 灰度差和局部二進制模式(LBP)。計算不同特征的統(tǒng)計分布，并且將其作為紋理表達的特征 向量。因為統(tǒng)計方便不要求紋理圖像具有高重復(fù)度，所以適用于0CT/0CM圖像的組織分類工 作。
[0011] LBP是近年來備受追捧的一種統(tǒng)計紋理分析技術(shù)。LBP的特點是計算不同的局部圖 像強度特征模式的頻率，并且將其作為特征向量。LBP特征應(yīng)用廣泛，例如紋理分析、面部識 別和所關(guān)注的區(qū)域描述。LBP抗旋轉(zhuǎn)，并且使用固定模式表達紋理。LBP在不同紋理圖像數(shù)據(jù) 集上有較高的分類準確度。雖然LBP在OCT/OCM圖像表達和分類紋理上相對有效率，但是仍 需在組織分類準確度上作進一步優(yōu)化，特別是在醫(yī)學(xué)診斷方面。

【發(fā)明內(nèi)容】

[0012] 公開了一種計算機輔助診斷系統(tǒng)，該計算機輔助診斷系統(tǒng)提供了基于使用成像設(shè) 備成像的組織樣本或樣品的紋理分析的組織分類和異常檢測技術(shù)。一種新穎的圖像分析技 術(shù)用于組織圖像，實現(xiàn)自動分類和樣本中組織類型展示。圖像分析技術(shù)采用了局部二進制 模式(LBP)特征、平均局部二進制模式(ALBP)特征的新變量，用于組織圖像紋理分析，并且 結(jié)合LBP特征提高圖像分類準確度。在諸多實施案例中，成像設(shè)備不受限制，包括光學(xué)相干 顯微鏡(0CM)系統(tǒng)，光學(xué)相干斷層(0CT)系統(tǒng)，共焦顯微鏡系統(tǒng)，或雙光子顯微鏡系統(tǒng)。本自 動診斷系統(tǒng)可能被用來鑒定通過肉眼可觀察到的組織異常疾病，例如癌癥檢測，特別是乳 腺癌檢測的非限制性案例。該系統(tǒng)也可能還有其它的應(yīng)用。
[0013] 本組織分類過程一般包括兩個基本步驟:訓(xùn)練和測試。在訓(xùn)練過程中，從組織數(shù)字 圖像中提取一系列能夠代表圖像紋理的LBP特征。類似地，還可以從組織數(shù)字圖像中提取一 系列能夠代表圖像紋理的ALBP特征。在LBP特征分析中，將一定數(shù)量的鄰域像素灰度值與中 心像素灰度值進行比較，生成二進制編碼模式。相比之下，ALBP紋理分析則是將鄰域灰度值 與所有鄰域灰度值的平均數(shù)作對比，而不是與中心像素灰度值進行比較。將LBP和ABLP的結(jié) 果相結(jié)合并且集成至本系統(tǒng)。通過利用集成的ABLP和LBP特征，而非單獨的LBP特征，發(fā)明人 發(fā)現(xiàn)分類準確度得到改善。
[0014] 根據(jù)本發(fā)明的其它方面，所述診斷系統(tǒng)能夠根據(jù)獲取的原始組織圖像生成腫瘤概 率熱圖，該原始組織圖中的高度可疑區(qū)域為在原始灰度組織圖像上數(shù)字化增強，因此能夠 有利地提高快速診斷能力。所述系統(tǒng)還能夠進一步根據(jù)LBP和ALBP集成特征生成增強型多 級組織分類圖，該集成特征能夠鑒別樣本中所有不同的組織類型，有助于實現(xiàn)診斷目標。在 一個實施方案中，熱圖和組織分類圖可能是彩色和/或圖形。
[0015] 在一個實施方案中，一種用于分析組織圖像數(shù)據(jù)的計算機輔助診斷系統(tǒng)包括:存 儲有軟件程序指令的非臨時性的計算機可讀介質(zhì)和能與計算機可讀介質(zhì)通信的計算機處 理器。該處理器配置完成后可執(zhí)行程序指令進行以下操作:接收由成像裝置獲取的原始組 織圖像;將原始組織圖像分割成多個更小的組織塊，這些組織塊能集中體現(xiàn)獲取的原始組 織圖像;通過分析每個組織塊對各組織塊中發(fā)現(xiàn)的組織的類型進行分類;生成的增強型數(shù) 字熱圖覆蓋在原始組織圖像上，以視覺可辨別的突出方式展示所關(guān)注的預(yù)設(shè)組織類型。在 一個實施方案中，處理器能夠進一步對每個組織塊進行多種紋理分析方法的組合。在一個 實施方案中，紋理分析方法包括用于生成局部二進制模式特征的局部二進制模式提取和用 于生成平均局部二進制模式特征的平均局部二進制模式提取。
[0016] 根據(jù)另一個實施方案，一種用于分析組織圖像數(shù)據(jù)的計算機輔助診斷系統(tǒng)包括： 存儲有軟件程序指令的非臨時性的計算機可讀介質(zhì)和能與計算機可讀介質(zhì)通信的計算機 處理器。該處理器配置完成后可執(zhí)行程序指令進行以下操作:接收由成像裝置獲取的原始 組織圖像;將原始組織圖像分割成多個更小的能集中體現(xiàn)所獲取的原始組織圖像的組織 塊;提取每個組織塊的局部二進制模式特征、平均局部二進制模式特征;根據(jù)原始組織圖像 中發(fā)現(xiàn)的上下文(contextually)相關(guān)組織的預(yù)定義類型，分類每個組織塊中發(fā)現(xiàn)的組織的 類型；以及展示原始組織圖像的增強型數(shù)字圖像，在圖像上以視覺可辨別的方式標出至少 一種組織類型。在一個實施方案中，處理器能夠生成每個組織塊的多集成特征，包括每個組 織塊的局部二進制模式特征和平均局部二進制模式特征。
[0017] 提供了一種對數(shù)字組織圖像中的組織類型進行自動分類的計算機輔助診斷方法。 該方法由處理器執(zhí)行程序指令來實現(xiàn)，并且包括以下步驟:接收由成像裝置獲取的原始組 織圖像;將原始組織圖像分割成多個更小的組織塊，這些組織塊能集中體現(xiàn)獲取的原始組 織圖像;對每個組織塊中發(fā)現(xiàn)的組織的類型進行分類；以及展示原始組織圖像的增強型數(shù) 字地圖，在圖像上以與原始圖像的其他部分在視覺上可辨識的方式標出至少一種組織類 型。在一個實施方案中，該方法進一步包括處理器的以下步驟:提取每個組織塊的局部二進 制模式特征和平均局部二進制模式特征的組合。
【附圖說明】
[0018] 示范案例的特征描述參考以下附圖，其中類似的元素標識相似：
[0019] 圖1是根據(jù)本公開的計算機輔助醫(yī)療診斷系統(tǒng)的示范系統(tǒng)體系構(gòu)架的示意圖；
[0020] 圖2是概述由圖1所示的系統(tǒng)執(zhí)行的基于紋理分析的方法或過程以分類并展示組 織類型的流程圖；
[0021 ]圖3是上述系統(tǒng)訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器的訓(xùn)練過程或方法的流程圖；
[0022] 圖4是上述系統(tǒng)分析生物組織樣本的測試過程或方法的流程圖；
[0023] 圖5是上述系統(tǒng)將所關(guān)注組織(例如惡性腫瘤）的熱圖生成并呈現(xiàn)出來時的過程或 方法流程圖；
[0024] 圖6是上述系統(tǒng)將樣本中所有組織類型的多組織分類熱圖生成并呈現(xiàn)出來時的過 程或方法流程圖；
[0025]圖7是上述所有過程的匯總圖；
[0026]圖8A闡述了從0CM圖像中獲取局部二進制模式(LBP)特征的坐標參考系和坐標點； [0027]圖8B是證明存在LBP特征重疊的0CM圖像；
[0028] 圖9展示了上述系統(tǒng)從0CM圖像中提取的LBP和平均局部二進制模式(ALBP)特征 (由二進制數(shù)表示）；
[0029] 圖10A展示了兩種不同類型組織圖像塊的0CM圖像；
[0030] 圖10B展示了圖10A中兩種類型組織各自的LBP和ALBP特征；
[0031] 圖11A是組織樣本的0CM圖像，該組織能夠被上述系統(tǒng)分析，實現(xiàn)組織類型分類和 展示的目標；
[0032]圖11B是由上述系統(tǒng)生成和顯示的熱圖，以突出顯示的方式在圖11A的原始0CM圖 像上疊加所關(guān)注的組織類型；
[0033]圖11C展示了圖11A的0CM圖中的所有不同組織類型的多組織分類類型；
[0034]圖12展示了腫瘤0CM圖像的綜合多尺度特征；以及
[0035] 圖13以曲線圖的形式展示了組織的四種不同類型和背景的綜合多尺度特征；
[0036] 上述附圖皆為示意圖，且未按照比例繪制。為簡化起見，在一張圖中出現(xiàn)并給出參 考編號的部件在其它附圖中出現(xiàn)時可能沒有編號，除非特別標明了不同的部件編號和描 述。
【具體實施方式】
[0037]在此以非限制性實施案例作為參考闡明并描述本發(fā)明的特點與效益。該實施案例 描述旨在闡述附圖間的聯(lián)系，這也被看做整個書面描述的一部分。因此，本發(fā)明并不應(yīng)該局 限于某一實施案例所述的一些可能的非限制性特征組合;本發(fā)明的使用范圍由所附的權(quán)利 要求限定。
[0038]在本文公開的實施方案說明中，對方向或取向的任何附圖僅旨在為了描述方便， 并不旨在以任何方式限制本發(fā)明的適用范圍。相對術(shù)語(例如，"更低"、"更高"、"水平的"、 "垂直的"、"上方"、"下方"、"向上"、"向下"、"頂端"、"底部"）以及其衍生詞（例如，"水平 地"、"向下地"、"向上地"）應(yīng)被解釋為指的是取向，然后進行描述或者以附圖形式展現(xiàn)。術(shù) 語(例如，"附加的"、"固定的"、"連接的"、"親合的"、"相連的"）和類似的指代詞指的一種結(jié) 構(gòu)關(guān)系，該關(guān)系可能是通過中介結(jié)構(gòu)直接或間接地固定或連接，也有可能是可移動的或剛 性的附加或關(guān)系，除非另有說明。
[0039] 本發(fā)明的各個方面可以通過軟件、硬件、固件或其組合實現(xiàn)。本發(fā)明可以利用計算 機執(zhí)行的方法和設(shè)備實踐以上過程的形式體現(xiàn)。本文所述計算機程序不限于任何特定的實 施案例，可以在操作系統(tǒng)、應(yīng)用程序、前臺或后臺進程、驅(qū)動程序或以上的組合中實施操作， 在一臺計算機或服務(wù)器處理器、多臺計算機或服務(wù)器處理器上執(zhí)行。本文所述處理器可以 是一個或者多個計算機/服務(wù)器處理器中央處理器(CPU)、包含兩個或以上獨立CPU的多核 處理器、微處理器、微控制器或其他計算裝置或電路，該處理器經(jīng)過設(shè)置后能夠執(zhí)行計算機 程序指令(例如，控制邏輯或編碼）。
[0040] 本發(fā)明可以通過有形的非暫時性計算機可讀介質(zhì)中程序編碼的方式體現(xiàn)，其中可 讀介質(zhì)包括且不限于：隨機存取存儲器(RAM)、只讀存儲器(ROM)、只讀光盤驅(qū)動器、數(shù)字化 視頻光盤、硬盤、電腦壓縮盤、磁軟盤驅(qū)動器、記憶棒、磁帶或者任何其他計算機可讀存儲介 質(zhì)，當(dāng)計算器處理器加載并運行計算機程序編碼時，處理器就可以作為實施本發(fā)明的設(shè)備 了。當(dāng)在一臺通用處理器上操作處理時，計算機程序代碼配置和定制處理器形成控制邏輯 回路，轉(zhuǎn)變處理器進入專用處理器實施本發(fā)明。
[0041] 為了方便描述，本發(fā)明的非限制性實施案例不限于對人類乳腺組織惡性腫瘤的研 究。但是，不論成像設(shè)備獲取的組織樣本圖像來自于體外或體內(nèi)活體，本發(fā)明都不限于在此 方面的的用途，而且會廣泛應(yīng)用于其它動物組織檢查(例如，人類或非人類）。
[0042]本系統(tǒng)中描述動作的術(shù)語通常是指通過特殊配置的數(shù)據(jù)處理硬件(例如，電子計 算機或類似系統(tǒng)的處理器)所演示與執(zhí)行的動作。當(dāng)處理器被編程完成并執(zhí)行配置控制邏 輯或軟件程序指令時，數(shù)據(jù)處理系統(tǒng)操縱和轉(zhuǎn)換代表寄存器和內(nèi)存中的物理量(例如，電 氣/電子)數(shù)據(jù)為代表計算機系統(tǒng)內(nèi)存或寄存器中寄存器和內(nèi)容的物理量(例如，電氣/電 子)數(shù)據(jù)的其它形式。
[0043]圖1是示例計算機輔助診斷系統(tǒng)100實施本發(fā)明的方框圖?；谔幚砥鞯南到y(tǒng)100 包括一臺捕捉組織圖像的成像設(shè)備100,一個可以聯(lián)接的、與成像設(shè)備通信的計算機系統(tǒng) 120。成像設(shè)備110和計算機系統(tǒng)120可以通過任何合適的方法或通信協(xié)議連接有線或無線 網(wǎng)絡(luò)，或者以有線或無線方式直接連接。計算機系統(tǒng)120可以是臺式個人計算機、便攜式計 算機、平板電腦或其他類型的便攜式設(shè)備、大型計算機、服務(wù)器、其他具有儲存和處理功能 的可編程式數(shù)據(jù)處理設(shè)備。
[0044]在實施案例中，計算機系統(tǒng)120可以包括至少一臺可編程計算機處理器122,例如 中央處理器(CPU)或其他類型處理器、非臨時性計算機可讀介質(zhì)(CRM)124、輸入設(shè)備126(例 如，鍵盤、鼠標、音頻麥克風(fēng)等）、視覺顯示(VD)器128(例如圖像顯示器），輸入/輸出界面130 可以連接并建立上述設(shè)備之間的通信。計算機可讀介質(zhì)124經(jīng)由輸入/輸出界面130訪問處 理器122,用于交換數(shù)據(jù)和程序指令。可以提供各種電路和輔助或外圍設(shè)備(例如，電源、時 鐘驅(qū)動器等），以形成一個全功能系統(tǒng)。還可以通過有線或無線方式給計算機系統(tǒng)120提供 并連接輔助電子器件(例如，數(shù)據(jù)存儲設(shè)備、打印機等）。
[0045]計算器處理器122可以連接有線或無線通信基礎(chǔ)設(shè)施(例如，通信總線、交叉桿、局 域網(wǎng)(LAN)或廣域網(wǎng)(WAN)。處理器122可由控制邏輯步驟或指令(例如計算機程序編碼或指 令)編程，以形成執(zhí)行基于處理器的步驟的專用處理器，該步驟專用于分析并分類組織和展 示上述結(jié)果。
[0046]計算機可讀介質(zhì)124可由作為任何媒介訪問處理器122，可以存儲數(shù)據(jù)和通過處理 器處理的計算機程序指令實施本發(fā)明。計算機可讀介質(zhì)124包括易失和非易失的可移動或 非移動類型介質(zhì)。例如，可以使用計算機可讀介質(zhì)124的包括但不限于隨機存取存儲器 (RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPR0M)、快閃存儲器，或其它類型 的存儲器技術(shù):只讀光盤驅(qū)動器(CD-ROM)、、數(shù)字多功能盤(DVD)、藍光光盤、內(nèi)部/外部硬盤 驅(qū)動器，或數(shù)據(jù)存儲設(shè)備:諸如光盤存儲、磁盒、磁帶、磁盤存儲、電腦壓縮盤或其它磁存儲 設(shè)備，或可以用來存儲數(shù)據(jù)和信息的可讀、可寫和由計算機處理器122檢索的任何其它介 質(zhì)。還可以使用其它類型的可讀數(shù)據(jù)存儲介質(zhì)。
[0047] 計算機系統(tǒng)120還可以包括適當(dāng)配置的通信界面。通信界面使得軟件和數(shù)據(jù)能夠 在計算機處理器122和外部設(shè)備間轉(zhuǎn)換。通信界面示例包括但不限于一個調(diào)制解調(diào)器、一個 網(wǎng)絡(luò)界面（例如，以太網(wǎng)或無線上網(wǎng)卡）、一個通信端口，一個個人計算機存儲卡國際協(xié)會 (PCMCIA)插槽和卡、條形碼閱讀器、USB、、藍牙或類似設(shè)備。這些信號經(jīng)由通信路徑或信道 提供給通信接口。攜帶信號的路徑或信道可以是有線或無線的，并使用電線或電纜、光纖、 電話線、、蜂窩鏈路，射頻(RF)鏈路或類似方式實現(xiàn)。
[0048] 計算機可讀介質(zhì)124中存儲了計算機程序軟件或指令，該軟件或指令可于分析和 分類組織，并且將原始組織圖像轉(zhuǎn)換成增強型數(shù)字組織圖像，有助于醫(yī)學(xué)診斷工作。計算機 處理器122可以是通用計算機系統(tǒng)，當(dāng)執(zhí)行上述程序指令時成為專用計算機系統(tǒng)。程序指令 不限于任何特定編程語言或執(zhí)行。
[0049]成像設(shè)備110是獨立操作的成像系統(tǒng)，能夠用于捕捉組織樣品圖像，然后傳輸至計 算機系統(tǒng)100進行處理分析，正如本文進一步所述。捕捉的圖像是多像素組織的圖像數(shù)據(jù)形 成的數(shù)字像素圖像。圖像通過有線或無線連接通信并電子傳送至計算機系統(tǒng)100,用于組織 分析和分類。在一些實施案例(但不限于此）中，成像設(shè)備110是使用光學(xué)相干顯微鏡(0CM)、 光學(xué)相干斷層掃描儀(0CT)、共焦顯微鏡或雙光子顯微鏡捕捉圖像的商用系統(tǒng)。在一個優(yōu)選 的實施方案中，使用0CM可以綜合0CT和共焦顯微鏡的優(yōu)點。成像設(shè)備捕捉具有足夠分辨率 的組織樣本，使得能夠識別不同組織類型，從而分析和分類正常或病變組織。
[0050] 特征提取
[0051] 本發(fā)明使用了不同組織分析方法或技術(shù)的組合，生成用于分類數(shù)字組織圖像中找 到的組織類型的組織模式。在一個非限制性實施案例匯中，處理器122執(zhí)行LBP(局部二進制 模式)和ALBP(平均局部二進制模式)技術(shù)，從原始數(shù)字組織圖像中提取特征。原始數(shù)字圖像 中提取得來的特征可通過計算機系統(tǒng)120用于自動識別不同組織類型。
[0052]在灰度圖像中以LBP為特征來描述紋理。LBP算法將圖像分割成塊，比較中心像素 強度和其鄰域強度值。
[0055] P表示鄰域像素數(shù)，R表示鄰域區(qū)域半徑，g。表示中心像素的灰度值，gP表示鄰域像 素的灰度值。LBPp, R選擇以中心像素為圓點、R為半徑的P鄰域。圖8A為LBPs, 4的圖解。假設(shè)中 心像素位于(〇,〇)，那么gP則位于
[0056] 圖8B展示了從0CM圖形中獲得LBP特征的示例。該圖用LBP模式表達LBP特征，表示 為"11100010"。對于1^[^，有2?中可能的模式。為了實現(xiàn)旋轉(zhuǎn)不變性，定義函數(shù)1]〇^[^)為 數(shù)字0/1在循環(huán)二進制模式中的變化：
[0058] 所以，圖8所示LBP特征的U值為U( "11100010〃）=4
[0059] 在所有的LBP模式中，出現(xiàn)頻率最高的模式為均勻模式，限制了循環(huán)二進制表示法 /7"2 的連續(xù)性，因此U值較小?；赨值的旋轉(zhuǎn)不變特征.LaPp A定義為：
riu2 riiP
[0061] E總共有P+2種可能值。對于NX N圖像中的每一個像素，Λ值是由計 算而得。不包括那些離圖像邊界距離小于R的像素，我們能得到
。計 HrO 算出圖像中每個值的出現(xiàn)次數(shù)并以直方圖形式呈現(xiàn)。該直方圖進一步歸一化，并 保存為LBP特征向量，如圖10B第1 -9列所示。
[0062] 根據(jù)本發(fā)明，除了以上LBP特征，還使用了LBP特征的新變量，即平均LBP(ALBP)特 征，該特征比較特定形狀的組織塊的中心像素與周邊像素的平均強度值：

[0065]通過進行上述相同操作計算出旋轉(zhuǎn)不變特征
，即將LBPp,r轉(zhuǎn)換為

[0067]然后，可生產(chǎn)圖像的一系列ALBP特征。
[0068]相比之下，LBP特征能夠揭示中心像素及其鄰域之間的關(guān)系，而ALBP則展現(xiàn)了鄰域 中更多的具體關(guān)系。圖9所示為兩個不同的0CM圖像，兩者LBP特征相同，但鄰域ALBP特征不 同。圖像1LBP和2LBP的圖像表明，對于中心像素，這兩個不同像但是具有相同LBP模式的圖 像都可以通過一個二進制數(shù)"1111111Γ來表示。圖像1ALBP和2ALBP表明，對于相同的中心 元素，兩者的ALBP特征模式不同，分別用二進制數(shù)"10110011"和"10000111"來表示。通過整 合LBP和ALBP特征，圖像分類準確度得到有效提高。
[0069] LBP和ALBP相互補充。LBP特征善于表現(xiàn)中心像素及其鄰域的灰度強度值之間的關(guān) 系，然而ALBP特征對鄰域強度變化更為敏感。圖10B展示了圖10A左右兩張 0CM圖像的 nu2 @合特征。特征向量（圖10B)中第1-9列表示/J?P8 1()，第10-18表 /7 / / } 示/1/W8 6。由圖片可知，兩張 0CM圖像具有相似的LBP特征，但是ALBP特征區(qū)別很大。
[0070] 雖然上述示例使用LBP和ALBP紋理分析方法從數(shù)字圖像中提取和生成組織特征， 但是本發(fā)明并不限于此方面。因此，在一些實施案例中其它組織特征提取技術(shù)(紋理分析方 法)能夠被進一步或者替代LBP和ALBP單獨應(yīng)用，以提高組織分類準確度。
[0071] 集合特征與屬性篩選。
[0072]人類乳腺組織0CM圖像中有不同規(guī)格的紋理特征。不同半徑參數(shù)的LBP和ALBP特征 捕捉不同規(guī)格的組織特征。本發(fā)明將使用一系列不同半徑參數(shù)的LBP和ALBP特征。多級特征 由具有不同半徑參數(shù)的LBP和ALBP特征集合構(gòu)成。然后屬性篩選階段進行特征評估，選擇最 具代表性的屬性作為構(gòu)建分類器的綜合特征。圖12展示了腫瘤0CM圖像的綜合多級特征的 構(gòu)成：1-9維度：
28-36維度：
[0073]為了提高分類算法的速度，可以在執(zhí)行分類步驟之前進去屬性篩選。在屬性篩選 階段，應(yīng)該保留能夠代表不同組織類型的特殊特征屬性，刪除無相關(guān)屬性，從而降低特征向 量維度。在屬性篩選之后，訓(xùn)練和測試階段的計算復(fù)雜度降低，然而分類準確度維持在高水 平上。
[0074] 屬性篩選由兩部分組成:從原始屬性空間提取屬性新子集的搜索方法，以及給不 同屬性分配分數(shù)的評估方法。常用的搜索方法包括正向貪婪挑選法、模擬退火法、遺傳算法 等。常用的評估方法包括信息增益法、卡方分析等。在本發(fā)明中，遺傳算法可以作為搜索方 法，信息增益法可以作為評估算法，實現(xiàn)高效、準確的屬性子集選擇過程。根據(jù)圖10B所示綜 合特征，我們從18組屬性中篩選出14組。特征降維可以保持原有分類準確度水平，分類耗時 減少15%。我們還在綜合多維特征上進行屬性篩選(表1II最后一列）。我們將特征維數(shù)從72 降到24。算法運行時間降低至14.8%，然而分類準確度從90.2%降至87.0%。圖13四個不同 組織類型和背景的綜合多維特征(如曲線圖）。排名前24位的特征(在底軸標記方框)被篩選 為綜合特征。15個所選特征來自于LBP特征，其它9個所選特征來自于ALBP特征。圖中的不同 曲線代表不同類型或級別的組織(該圖中含有組織脂肪、纖維間質(zhì)、乳腺小葉、惡性腫瘤和 背景）。
[0075] 圖像分類
[0076] 不同的分類方法能夠基于篩選的圖像特征子集用于分類0CM圖像。通過比較從組 織學(xué)圖像中獲取的標定真實類標簽，評估了每個分類器的分類結(jié)果。采用的典型方法包括k 最近鄰算法、樸素貝葉斯方法、C4.5決策樹和神經(jīng)網(wǎng)絡(luò)分類器。
[0077] k最近鄰算法是一種研究較為廣泛的分類方法。該方法在許多分類應(yīng)用中都有很 好的表現(xiàn)，其應(yīng)用包括圖像分類。由于本應(yīng)用中的特征為數(shù)值特征，當(dāng)構(gòu)建k最近鄰算法分 類模型時，以歐幾里德距離為距離量度。樸素貝葉斯算法是基于貝葉斯定理的概率分類器。 C4.5是一種基于決策樹的分類器。通過將特征值映射在特征所屬的輸出級上建立一個預(yù)測 模型。對于難以通過基于規(guī)則的分類方法解決的問題(例如圖像分類），神經(jīng)網(wǎng)絡(luò)在該方面 的應(yīng)用中尤為有效。在本發(fā)明的實施案例中，三層神經(jīng)網(wǎng)絡(luò)可以用于分類模型。其它方法 (例如AdaBoost分類器)也能用于分類模型。
[0078] 現(xiàn)在將進一步詳細描述本計算機輔助診斷系統(tǒng)100和由用于組織分析和疾病檢測 的計算機系統(tǒng)120所實現(xiàn)的相關(guān)過程。
[0079] 圖2是示例中計算機方法或過程200的高水平流程圖，該方法或過程通過圖1所示 診斷系統(tǒng)用于分析生物組織樣本。執(zhí)行步驟順序可以同所示步驟相同，也可打亂順序或者 增減步驟。各個步驟可以包含子步驟或程序，正如本文進一步所述。
[0080] 參考圖2,過程200通過成像設(shè)備110捕捉原始圖像始于步驟205。組織圖像可以是 由0CM、0CT、共焦顯微鏡或雙光子顯微鏡捕捉到的像素化數(shù)字圖像。圖像數(shù)據(jù)傳輸并被計算 機系統(tǒng)120接收用于處理過程(參見圖1)。在步驟210中，處理器122通過運行被編入計算機 系統(tǒng)120的程序軟件或指令的控制邏輯步驟，執(zhí)行所接收組織圖像的紋理分析和模式識別 分析。在步驟215中，處理器122分類原始組織圖像中的組織類型。在步驟220中，處理器122 生成熱圖，可以視覺化地指示或展示所關(guān)注或醫(yī)療高風(fēng)險的組織類型。在步驟225中，處理 器122將熱圖覆蓋于原始組織圖像上，生成合成圖像，并且以突出顯示的方式標出所關(guān)注的 或醫(yī)療高風(fēng)險的組織類型。在一個實施案例中，所關(guān)注的或高醫(yī)療風(fēng)險的組織比其他部相 關(guān)的組織更暗。
[0081] 在步驟230的替代或平行處理過程中，處理器122生成多級圖像，展示所有不同組 織類型和原始組織圖像的各自區(qū)域。在各個實施方案中，地圖可以是彩色的、灰色的、圖形 的，或者是上述情況的組合，在各個區(qū)域/位置的每個組織類型都以不同顏色、陰影和/或圖 案表示。在步驟235中，處理器122將熱圖覆蓋于原始組織圖像上，生成增強型數(shù)字合成圖 像。該地圖有助于快速識別圖像樣本中發(fā)現(xiàn)的所有組織類型/結(jié)構(gòu)。過程200中的上述步驟 將在本文中進一步描述。
[0082] 訓(xùn)練過程
[0083]為了使計算機輔助診斷系統(tǒng)100準確地識別和分類圖像樣本中的組織結(jié)構(gòu)，要使 用機器學(xué)習(xí)技術(shù)編程計算機系統(tǒng)120,并且更具體地訓(xùn)練系統(tǒng)中的人工神經(jīng)網(wǎng)絡(luò)分類器。神 經(jīng)網(wǎng)絡(luò)分類器在本領(lǐng)域眾所周知，并且在美國專利5262871中有相關(guān)描述，通過引用并入本 文。神經(jīng)網(wǎng)絡(luò)分類器包括軟件程序以圖像訓(xùn)練輸入(例如組織學(xué)圖像)為基礎(chǔ)，建立計算機 模型，使得計算機系統(tǒng)能夠識別不同組織類型。
[0084]圖3示例訓(xùn)練方法或過程300的流程圖，該方法或過程可以用于實施學(xué)習(xí)算法，計 算機系統(tǒng)120實施的神經(jīng)網(wǎng)絡(luò)組織分類器，并訓(xùn)練由識別鑒定原始組織樣本圖像中的不同 組織類型。例如，如果所研究的組織是乳腺組織時，發(fā)現(xiàn)的組織類型可以用于編程和訓(xùn)練處 理器122,該組織類型可以是但不限于以下五類之一：脂肪組織、纖維間質(zhì)、乳腺小葉、惡性 腫瘤和背景。不同類別的塊表現(xiàn)出0CM圖像中的獨特紋理圖案，可用作組織分類的線索。訓(xùn) 練過程300可以被作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)分類器的圖像預(yù)處理過程。圖4為補充參考圖，以圖形 的方式描繪訓(xùn)練方法。
[0085]參考圖3和圖4,訓(xùn)練過程300開始于步驟305。執(zhí)行軟件計算機程序指令的處理器 122首先訪問步驟310中的數(shù)據(jù)庫，可訪問計算機系統(tǒng)120,其中包含原始數(shù)字組織圖像401， 并且對應(yīng)上下文中的與所關(guān)注組織相關(guān)的組織學(xué)組織圖像403。通過任何可利用資源下載 數(shù)據(jù)至可存儲圖像的計算機系統(tǒng)120,在訓(xùn)練方法或過程300之前更新該數(shù)據(jù)庫中的組織圖 像。該數(shù)據(jù)庫可以存儲在計算機可讀介質(zhì)124(包括系統(tǒng)或可移動存儲器），或者是處理器 122可訪問的其他外部數(shù)據(jù)庫上。從成像設(shè)備110下載的數(shù)字組織圖像可以存儲在相同或不 同的數(shù)據(jù)庫或存儲器。在非限制性示例中，可以使用體外人類乳腺組織0CM圖像。
[0086] 在步驟315中，可以通過處理器122從數(shù)據(jù)庫中檢索數(shù)字組織圖像。在步驟320中， 將原始組織圖像401分割成許多更小的組織塊402(參見圖4)，使圖像尺寸小于完整的原始 組織圖像?？梢允褂萌魏魏线m尺寸的組織塊。在實施方案中，組織塊402的尺寸可以全部相 同。為了說明該步驟，在一些具有代表性的非限制性軟件參數(shù)中，l〇,〇〇〇xl〇,〇〇〇像素的原 始圖像可以由處理器122分割成許多400x400像素或500x500像素的組織塊。也可以使用其 它尺寸的組織塊。
[0087] 對于每個組織塊402,處理器122利用LBP(局部二進制模式）和ALBP(平均局部二進 制模式)運行一套平行的組織紋理分析生成特征。LBP特征生成如步驟330所示。對于每個組 織塊402,利用上述方法和算法執(zhí)行LBP提取步驟，LBP特征通過二進制字符串呈現(xiàn)LBP圖案 (參加圖9)。
[0088] ALBP特征生成如步驟329所示。對于每個組織塊402,利用新的方法和算法執(zhí)行 ALBP提取步驟，ALBP特征通過二進制字符串呈現(xiàn)LBP圖案(參加圖9)。特征提取過程的最終 結(jié)果是每個組織塊402由LBP特征和ALBP特征表示，其中LBP特征含帶有二進制數(shù)字（步驟/ 塊335)的相關(guān)圖案，ALBP特征含帶有二進制數(shù)字(步驟/塊340)的相關(guān)圖案。小葉和脂肪組 織塊402的LBP和ALBP組合如圖10B所示（如上文所述）。在實施案例中，對于所有的組織塊 402,處理器122可以平行運行一系列的LBP和ALBP提取和圖案生成，從而加快處理時間。 [0089] 在步驟350中，計算機系統(tǒng)120編譯和集合了所有LBP和ALBP特征，并且在步驟306 中生成原始數(shù)字組織圖案401綜合多級特征。圖12展示了具有代表性的多級特征(如上文所 述）。結(jié)果被輸入組織塊370的數(shù)據(jù)庫，在測試原始數(shù)字組織圖像的過程中，由訓(xùn)練過程300 建立的訓(xùn)練數(shù)據(jù)集通過處理器存儲于此數(shù)據(jù)庫。計算機系統(tǒng)120可以通過神經(jīng)網(wǎng)絡(luò)分類器 模塊訪問并檢索訓(xùn)練數(shù)據(jù)集，該模塊能夠分類原始數(shù)字組織圖像401中的組織類型，如步 驟/塊375所示。
[0090] 接著參考圖3,在步驟341中，處理器122可以從塊310所述數(shù)據(jù)庫中檢索組織圖像 和實際數(shù)字組織圖像。同一人類乳腺組織的組織學(xué)圖像被用作采集真實標定數(shù)據(jù)。在一些 實施案例中，該步驟與諸子組織圖像處理過程平行進行，以加快處理速度。
[0091] 與步驟320所述過程類型，在步驟342中，將組織學(xué)圖像分割成許多更小的組織塊 404(參見圖4)，使圖像尺寸小于完整的原始組織圖像。也可以使用其它尺寸的組織塊。 [0092]在步驟365中，處理器122對每個組織學(xué)圖像塊404進行真實數(shù)據(jù)組織分類操作。在 數(shù)字組織圖像及其組織學(xué)圖像上進行登記，使得數(shù)字組織圖像中的圖像塊402與組織學(xué)圖 像塊404相對應(yīng)(參見圖7)。因此，該步驟在以圖像塊為基礎(chǔ)的圖像上進行操作?；谝陨咸?征，每個組織學(xué)圖像被人工（如有經(jīng)驗的病理學(xué)家)分配級別標簽。每個數(shù)字組織圖像及其 相應(yīng)組織學(xué)圖像被分配到相同的級別標簽。所標定的真實組織分類標簽由圖像塊生成，該 圖像塊被采集后又被轉(zhuǎn)換為所見訓(xùn)練數(shù)據(jù)集的一部分。
[0093]在步驟370中，由步驟365生成的結(jié)果被傳輸并保存至訓(xùn)練數(shù)據(jù)集的數(shù)據(jù)庫370中， 用于處理器執(zhí)行神經(jīng)網(wǎng)絡(luò)分類器檢索和使用，實現(xiàn)原始數(shù)字組織圖像401中的組織分類(參 見圖4)。訓(xùn)練集中各樣品由兩部分組成:綜合特征向量和標定真實標簽。
[0094] 測試過程
[0095]圖4所示為用于測試或分析原始數(shù)字組織圖像的測試方法或過程500的流程圖。過 程500依靠于過程300訓(xùn)練的計算機系統(tǒng)120分類器。該過程的初始部分與訓(xùn)練過程300相 似，平行執(zhí)行LBP和ALBP組織提取和特征分析。
[0096] 在步驟505中，處理開始。在步驟510中，新的原始數(shù)字組織圖像401(例如但不限于 乳腺0CM圖像或其他)可以由處理器122檢索分析。
[0097] 相對于測試過程300來說，接下來的步驟515至540基本上與步驟315至360相似。 [0098]在步驟515中，將原始組織圖像401分割成許多更小的組織塊402(參見圖4)，使圖 像尺寸小于完整的原始組織圖像。該圖像塊用于將數(shù)字組織圖像中的不同區(qū)域分類為組織 的不同類型。在實施案例示范中，為了進行測試，將數(shù)字組織圖像分割為兩種尺寸。在實施 案例中，將數(shù)字組織圖像分割為尺寸相同的組織塊402,用于訓(xùn)練過程(參見圖3)。在另一個 實施案例，將數(shù)字組織圖像分割為尺寸不同的組織塊，用于測試過程。使用不同尺寸的組織 塊可以避免在訓(xùn)練過程中生成相同組織塊，因此提高測試結(jié)果的可靠性。
[0099] 對于組織塊402,處理器122平行運行LBP(局部二進制模式）和ALBP(平均局部二進 制模式）的組織紋理分析，生成組織特征。LBP特征生成如步驟525所示。對于每個組織塊 402,利用上述方法和算法執(zhí)行LBP提取步驟，LBP特征通過二進制字符串呈現(xiàn)LBP圖案(參加 圖9)。
[0100] ALBP特征生成如步驟526所示。對于每個組織塊402,利用新的方法和算法執(zhí)行 ALBP提取步驟，ALBP特征通過二進制字符串呈現(xiàn)ALBP圖案(參加圖9)。特征提取過程的最終 結(jié)果是每個組織塊402由LBP特征和ALBP特征表示，其中LBP特征含帶有二進制數(shù)字（步驟/ 塊530)的相關(guān)圖案，ALBP特征含帶有二進制數(shù)字(步驟/塊531)的相關(guān)圖案。小葉和脂肪組 織塊402的LBP和ALBP組合如圖10B所示（如上文所述）。在實施案例中，對于所有的組織塊 402,處理器122可以平行運行一系列的LBP和ALBP提取和圖案生成，從而加快處理時間。
[0101] 在步驟534中，計算機120編譯和集合了所有LBP和ALBP特征，并且在步驟540中生 成原始數(shù)字組織圖案401綜合多級特征。圖12展示了具有代表性的多級特征(如上文所述）。
[0102] 在步驟545中，特征或?qū)傩院Y選方法如上文所述，即選擇集合特征中最具有代表性 的屬性建立神經(jīng)網(wǎng)絡(luò)分類器，提高分類算法的處理速度。
[0103] 在步驟375中，基于上述LBP和ALBP特征提取過程的綜合結(jié)果，預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)分 類器識別原始數(shù)字組織圖像401中的不同組織類型或分類。根據(jù)訓(xùn)練過程300中每種類型的 預(yù)分配標簽，神經(jīng)網(wǎng)絡(luò)分類器可以通過使用數(shù)據(jù)庫370中的圖像數(shù)據(jù)集，分類原始數(shù)字組織 圖像中的不同組織類型。在以癌癥檢測為目標的乳腺組織調(diào)查示例中，組織類型/種類為腫 瘤、脂肪、間質(zhì)、小葉和不屬于其他組織種類的背景組織。
[0104] 隨后神經(jīng)網(wǎng)絡(luò)分類器生成熱圖，在步驟550中識別所關(guān)注組織（例如腫瘤）的存在 及程度，和/或在步驟551中生成多級組織分類地圖，顯示所有組織類型，如本文進一步所描 述。然后，該過程止于步驟555,并且可以重復(fù)進行下一張組織圖像分析。
[0105] 熱圖生成
[0106] 圖5所示為計算機系統(tǒng)120所執(zhí)行示例方法或過程600(例如子程序）的流程圖，該 方法或過程能夠在圖4方框中生成顯示熱圖。該熱圖識別并以突出顯示的方式標出原始數(shù) 字組織圖像401中所關(guān)注類型的基本組織(例如癌癥檢測中的惡性腫瘤）。生成熱圖的步驟 始于步驟605。圖5為測試過程500的初步處理步驟匯總，簡要標明步驟/塊510、515、540和 375,不重復(fù)標明其它臨時步驟。
[0107] 在步驟375中，神經(jīng)網(wǎng)絡(luò)分類器預(yù)測原始組織圖像中每個組織塊圖像出現(xiàn)每種組 織類型或種類的概率。在以癌癥檢測為目標的乳腺組織調(diào)查示例中，組織類型/種類為腫 瘤、脂肪、間質(zhì)、小葉和背景組織。在判定步驟610中，神經(jīng)網(wǎng)絡(luò)分類器判定:如果概率為最大 值，那么判斷圖像中的組織為腫瘤。如果返回結(jié)果為"否"，那么該組織在步驟615中被歸為 "正常"，該組織塊圖像不會以突出顯示的方式(如彩色)覆蓋在原始組織圖像401上。
[0108] 如果返回結(jié)果為"是"（不同于判定步驟610)，那么控制轉(zhuǎn)到判定步驟620,該步驟 中神經(jīng)網(wǎng)絡(luò)分類器判定腫瘤出現(xiàn)的概率是否大于步驟620中的預(yù)設(shè)閾值。通過設(shè)定一個輸 出值的閾值Θ，對應(yīng)一個組織類型（例如惡性腫瘤），可以得到并顯示代表腫瘤區(qū)域的組織 塊。如果數(shù)字組織圖像中有被分類為腫瘤組織的圖像塊，整個數(shù)字組織圖像被分類為腫瘤； 否則，整個數(shù)字組織圖像被分類為良性。為了提高算法的魯棒性，被分為腫瘤的獨立圖像塊 (例如小于lmmxlmm)小區(qū)域?qū)⒈粍h除。對于分類結(jié)果，可以通過調(diào)整閾值Θ得到不同的靈敏 度和特異性組合。還可以這種方式生成分類結(jié)果的接收器工作特征(R0C)曲線。由計算機輔 助診斷系統(tǒng)100執(zhí)行的一項具有代表性的實驗測試中，當(dāng)敏感度為85.2%，特異性為94.7% 時，該算法實現(xiàn)了最佳分類準確度。完整組織圖像分類的準確度（％)總結(jié)參見下表：
[0110] 繼續(xù)參考圖5,如果步驟620的返回結(jié)果為"是"，神經(jīng)網(wǎng)絡(luò)分類器將組織塊標為腫 瘤區(qū)域，并且生成步驟550中的熱圖，以突出的方式標出腫瘤組織塊和區(qū)域。該熱圖所示為 腫瘤區(qū)域疊加在原始數(shù)字組織圖像上，從而建立了數(shù)字增強型組織圖像，有利于專業(yè)護理 人員檢查。結(jié)果示于圖11B的熱圖中，非增強型灰度原始組織圖像熱圖示于圖11A，以供比
較。
[0111] 值得注意的是，上述過程是對每個組織圖像塊401進行操作，以判斷熱圖上顯著標 明的圖像塊是否為惡性腫瘤。
[0112] 在實施案例中，計算機系統(tǒng)120顯示了以突出方式在熱圖中標出腫瘤區(qū)域，顯示設(shè) 備128將該區(qū)域顯示為彩色和/或深色區(qū)域，覆蓋于灰度原始組織圖401上方。對于判斷為腫 瘤的組織塊，計算機系統(tǒng)120將輸出并顯示結(jié)果，即在原始灰度組織圖像上顯示為彩色。在 一些實施案例中，數(shù)字增強型組織圖像中的顏色完全不透明，而在另一些實施案例中，其圖 像中的顏色呈半透明狀態(tài)，可以透過看到原始組織結(jié)構(gòu)。彩色組織塊組合將形成原始組織 圖像中的彩色區(qū)域。
[0113] 系統(tǒng)120還可以用其它方式突出顯示腫瘤區(qū)域，不受限于以上非限制性示例。在未 來的醫(yī)學(xué)研究中，熱圖能讓專業(yè)護理人員快速檢測疑似腫瘤區(qū)域是否有很大概率成為惡性 腫瘤。
[0114]值得注意的是，處理器122對每個組織塊圖像進行判定，不論其被分類為腫瘤或正 常。數(shù)字增強版的原始組織圖像（由許多獨立組織塊圖像共同組成）顯示每個組織塊為灰色 (正常組織）或彩色（腫瘤）。如果沒有組織塊圖像被神經(jīng)網(wǎng)絡(luò)分類器分為腫瘤，那么一些實 施案例中生成的熱圖非彩色，整張原始組織圖像為灰色。
[0115] 多級組織分類地圖
[0116] 圖6為示例方法或過程700(即子程序）的流程圖，該方法或過程由計算機系統(tǒng)120 執(zhí)行，生成并顯示多級組織分類地圖，如圖4中的方框551所示。該地圖以突出顯示的方式展 示了原始數(shù)字組織圖像401中所有不同組織類型。該過程始于步驟705。與圖5相似，圖5為測 試過程500的初步處理步驟匯總，簡要標明步驟/塊510、515、540和375，不重復(fù)標明其它臨 時步驟。
[0117] 在步驟375中，神經(jīng)網(wǎng)絡(luò)分類器程序由處理器122運行，在原始0CM組織圖像401的 組織圖像塊402中，預(yù)測每個組織類型(預(yù)設(shè)組織類型）的可能性。在以癌癥檢測為目標的乳 腺組織調(diào)查示例中，組織類型/種類為腫瘤、脂肪、間質(zhì)、小葉和背景組織。對于圖像塊402， 神經(jīng)網(wǎng)絡(luò)分類器根據(jù)訓(xùn)練步驟300生成一組上述組織類型概率，在步驟710中，處理器122比 較每個圖像塊的組織類型概率，判定哪一種類型概率最高（即哪一個組織類型最有可能在 圖像塊中出現(xiàn)）。在步驟715中，神經(jīng)網(wǎng)絡(luò)分類器標明每種組織圖像塊中概率最高的組織類 型（即腫瘤、脂肪、間質(zhì)、小葉和背景）。
[0118] 在步驟720中，計算機系統(tǒng)120的顯示設(shè)備128上以不同的方式突出原始數(shù)字組織 圖像中每個組織圖像塊402的組織類型。對于每個圖像塊，系統(tǒng)120可以通過各種不同的顯 示方式突出每種組織類型，從而在視覺上區(qū)分不同的組織類型。在實施案例中，不同組織類 型/種類的區(qū)域可以呈現(xiàn)為不同的顏色和/或圖案。圖lie所示為示例的多級組織分類，其中 不同組織類型圖案和顏色不同（在黑白圖像中不明顯）。可以通過計算機系統(tǒng)120-鍵生成 并顯示不同顏色/圖案的組織標記。腫瘤區(qū)域比其他組織區(qū)域顏色更深。
[0119] 在步驟551中，數(shù)字增強版的完整原始組織圖像401集中顯示了每個組織圖像塊， 并顯示相應(yīng)的顏色/圖案。
[0120] 圖7以高度簡潔的圖片形式，總結(jié)并闡述了計算機輔助診斷系統(tǒng)100進行上述訓(xùn) 練、測試、熱圖生成和彩圖生成過程的方法。因此，該圖總結(jié)了由計算機系統(tǒng)120執(zhí)行的關(guān)于 圖3-6的主要步驟。
[0121] 實驗測試
[0122] 在本發(fā)明的一種配置和測試中，高速0CM系統(tǒng)基于時間域檢測技術(shù)，被用于生成剛 切除的人類乳腺組織圖像。該裝置包括飛秒釹玻璃激光器，在1060nm出產(chǎn)生輸出光譜，光譜 寬度為~200nm，軸向分辨率不高于4μπι。通過40倍水浸入式IR-Achroplan物鏡（例如Carl Zeiss Co.)提供~2μπι橫向分辨率的0CM圖像。單張0CM圖像覆蓋500μπι X 400μπι成像區(qū)域， 幀頻為2幀每秒。高精密三維電移臺（例如e. g. Newport Inc.)用于組織內(nèi)快速調(diào)整聚焦位 置，以及在組織表明區(qū)域上成像。乳腺組織樣品的整個表面通過水平平移試樣成像。
[0123] 在本實驗中，使用了體外人體乳腺組織0CM圖像。本實驗使用的圖像相互面對面， 經(jīng)對比調(diào)節(jié)并顯示為灰度反色圖像。這意味著0CM圖像中的較暗區(qū)域代表反射率上升。這些 0CM圖像軸向分辨率為4μπι，橫向分辨率為2μπι。
[0124] 為了訓(xùn)練和測試，需要對0CM圖像進行預(yù)處理。在訓(xùn)練過程中，每個0CM圖像被分割 為500x500像素的圖像塊。每個圖像塊被用作訓(xùn)練的實例。每個組織塊可以標為以下五類之 一:脂肪組織、纖維間質(zhì)、乳腺小葉、惡性腫瘤和背景。不同類別的圖像塊在0CM圖像中表現(xiàn) 為獨特的紋理圖案，同時也被用作組織分類的線索。
[0125] 相同人類乳腺組織的組織學(xué)圖像有助于收集標定真實數(shù)據(jù)。在數(shù)字組織圖像及其 組織學(xué)圖像上進行登記，0CM圖像中的每個圖像塊都有各自對應(yīng)的組織學(xué)圖像。不同的組織 類型在組織學(xué)圖像呈現(xiàn)不同特征?；谝陨咸卣?，每個組織學(xué)圖像被人工(如有經(jīng)驗的病理 學(xué)家)分配級別標簽。每個數(shù)字組織圖像及其相應(yīng)組織學(xué)圖像被分配到相同的級別標簽。圖 7所示為人類乳腺組織的完整0CM圖像401以及對應(yīng)組織學(xué)圖像403。
[0126] 以測試為目的，將0CM圖像分割為兩種不同尺寸。在10倍交叉驗證測試中，將0CM圖 像分割為500x500像素的圖像塊。與訓(xùn)練過程中的尺寸相同。在另一個實驗中，0CM圖像被分 割為400x400像素。該組織塊可以將0CM圖像的不同區(qū)域分類為不同的組織類型。使用不同 尺寸的組織塊可以避免在訓(xùn)練過程中生成相同組織塊，因此提高測試結(jié)果的可靠性。
[0127] 為了測試和驗證計算機輔助診斷系統(tǒng)100以及綜合LBP/ALBP特征（由人類組織0CM 圖像生成）的性能，進行0CM圖像組織塊分類，該圖像源自圖像預(yù)處理步驟。組織塊可以分為 五類:脂肪組織、纖維間質(zhì)、乳腺小葉、惡性腫瘤和背景。在實驗測試中，4359個0CM圖像組織 塊被用于實驗（小葉、間質(zhì)、惡性腫瘤、脂肪、背景樣本數(shù)量分別為198、2065、1127、347、 572)。利用神經(jīng)網(wǎng)絡(luò)分類器進行分類。
[0128] 采用10倍交叉驗證不同特征計算分類準確度（％)，結(jié)果如下表所示：
[0130] 上表所述特征為：
[0137] "總計"欄中的結(jié)果為所有示例的分類準確度。本測試總分類率為90.2%。由表可 知，該多尺度集成特征(M，MA)能給出最佳結(jié)果。多尺度特征性能最佳的原因是，人類乳腺組 織0CM圖像具有不同尺度的紋理特征。所以在區(qū)分不同組織類型方面，多尺度紋理特征的信 息量更豐富。
[0138] 盡管上文的描述和附圖代表了本發(fā)明的示例性實施案例，但是可以被理解的是， 其中的各種增補、修改和替換均不脫離的精神和范圍，以及所附權(quán)利要求書的等同方案。值 得特別說明的是，本發(fā)明可以以其他的形式、結(jié)構(gòu)、布置、比例、尺寸以及與其它元件、材料 和部件來實施，然而不脫離其精神或基本特征，該領(lǐng)域的專業(yè)人員明確認同此觀點。此外， 方法/步驟中的許多變型可以在不脫離本發(fā)明精神的情況下存在。本領(lǐng)域的專業(yè)人員將進 一步理解到，本發(fā)明可以以其變型方式實施，變型包括結(jié)構(gòu)、排列、比例、尺寸、材料和部件 等的修改方案，在本發(fā)明的實踐中，這特別適合于特定環(huán)境和操作使用需要，而并不脫離本 發(fā)明原則。因此，目前已公開的實施案例被視為說明性的而非限制性實施案例，本發(fā)明的范 圍由所有權(quán)利要求書及其等同方案定義，并且不限于上述描述或?qū)嵤┌咐?。相反，?yīng)該被廣 義地理解所附權(quán)利要求書，以包括本發(fā)明的其它變型及實施方案，并且由本領(lǐng)專業(yè)人員在 不脫離本發(fā)明的等同方案的范圍的情況下作出的實施方案。
【主權(quán)項】
1. 一種用于分析組織圖像數(shù)據(jù)的計算機輔助診斷系統(tǒng)，包括： 非臨時性的計算機可讀介質(zhì)，上面存儲有軟件程序指令； 能與計算機可讀介質(zhì)通信的計算機處理器，該處理器配置完成后可執(zhí)行程序指令進行 以下操作： 接收由成像裝置獲取的原始組織圖像； 將原始組織圖像分割成多個更小的組織塊，這些組織塊能集中體現(xiàn)獲取的原始組織圖 像； 通過分析每個組織塊對各組織塊中發(fā)現(xiàn)的組織的類型進行分類；以及 生成的增強型數(shù)字熱圖覆蓋在原始組織圖像上，以視覺可辨別的突出方式展示所關(guān)注 的預(yù)設(shè)組織類型。2. 權(quán)利要求1所述的系統(tǒng)，其中處理器能夠進一步對每個組織塊采用多種紋理分析方 法的組合。3. 權(quán)利要求2所述的系統(tǒng)，其中紋理分析方法包括用于生成局部二進制模式特征的局 部二進制模式提取和用于生成平均局部二進制模式特征的平均局部二進制模式提取。4. 權(quán)利要求2所述的系統(tǒng)，其中由處理器對每個組織塊平行執(zhí)行局部二進制模式提取 和平均局部二進制模式提取。5. 權(quán)利要求2所述的系統(tǒng)，其中處理器能夠進一步整合每個組織塊的局部二進制模式 特征和平均局部二進制模式特征，并生成每個組織塊的多集成特征。6. 權(quán)利要求5所述的系統(tǒng)，進一步包括：由處理器實施的組織分類器，可配置和操作來 根據(jù)每個組織塊各自的多集成特征對其進行組織類型分類。7. 權(quán)利要求6所述的系統(tǒng)，其中神經(jīng)網(wǎng)絡(luò)分類器對每個組織塊進行組織模式識別分析， 通過將每個組織塊中提取的組織模式與預(yù)設(shè)的組織模式訓(xùn)練集相關(guān)聯(lián)，從而實現(xiàn)組織類型 分類。8. 權(quán)利要求5所述的系統(tǒng)，其中處理器能夠進一步在每個組織塊的多集成特征中選擇 表示不同組織類型的區(qū)別性特性的屬性，并消除無關(guān)屬性。9. 權(quán)利要求1所述的系統(tǒng)，其中原始組織圖像為灰色，所關(guān)注的組織在熱圖上呈彩色。10. 權(quán)利要求1所述的系統(tǒng)，其中成像設(shè)備通過光學(xué)相干顯微鏡、光學(xué)相干斷層成像儀、 共焦顯微鏡或雙光子顯微鏡捕捉原始組織圖像。11. 權(quán)利要求1所述的系統(tǒng)，其中處理器能夠進一步判斷每個組織塊中是否含有所關(guān)注 的組織，如果組織塊中含有所關(guān)注的組織，在其原始組織圖像上展示彩色標注;如果組織塊 中不含有所關(guān)注的組織，不在其原始組織圖像上展示彩色標注。12. 權(quán)利要求11所述的系統(tǒng)，其中處理器能夠判斷每個組織塊中發(fā)現(xiàn)的組織類型為所 關(guān)注的組織的概率，僅當(dāng)發(fā)現(xiàn)的組織類型為所關(guān)注的組織的概率大于其它組織類型時，展 示彩色標注。13. 權(quán)利要求5所述的系統(tǒng)，其中處理器能夠進一步從每個組織塊的多集成特征中選擇 表示不同組織類型的區(qū)別性特性的屬性，并消除無關(guān)屬性。14. 權(quán)利要求1所述的系統(tǒng)，其中所關(guān)注的組織為腫瘤。15. -種用于分析組織圖像數(shù)據(jù)的計算機輔助診斷系統(tǒng)，包括： 非臨時性的計算機可讀介質(zhì)，上面存儲有軟件程序指令； 能與計算機可讀介質(zhì)通信的計算機處理器，該處理器配置完成后可執(zhí)行程序指令進行 以下操作： 接收由成像裝置獲取的原始組織圖像； 將原始組織圖像分割成多個更小的組織塊，這些組織塊能集中體現(xiàn)獲取的原始組織圖 像； 針對每個組織塊提取局部二進制模式特征和平均局部二進制模式特征； 根據(jù)原始組織圖像中發(fā)現(xiàn)的相關(guān)組織的預(yù)定義類型，分類每個組織塊中發(fā)現(xiàn)的組織的 類型；以及 展示原始組織圖像的增強型數(shù)字圖像，在圖像上以視覺可辨別的方式標出至少一種組 織類型。16. 權(quán)利要求15所述的系統(tǒng)，其中處理器能夠生成每個組織塊的多集成特征，包括每個 組織塊的局部二進制模式特征和平均局部二進制模式特征。17. 權(quán)利要求16所述的系統(tǒng)，其中處理器能夠根據(jù)每個組織塊各自的多集成特征對其 進行組織類型分類。18. 權(quán)利要求15所述的系統(tǒng)，其中增強型數(shù)字圖像中的每個組織塊呈現(xiàn)灰色，或覆蓋為 彩色，以表示該區(qū)域為預(yù)設(shè)的所關(guān)注的組織類型。19. 權(quán)利要求15所述的系統(tǒng)，其中增強型數(shù)字圖像包括多組織類型，每個組織類型通過 處理器在增強型數(shù)字圖像上呈現(xiàn)為不同可視化形態(tài)。20. 權(quán)利要求19所述的系統(tǒng)，其中增強型數(shù)字圖像中展示的每種組織類型表現(xiàn)為不同 的顏色。21. -種對數(shù)字組織圖像中的組織類型進行自動分類的計算機輔助診斷方法，該方法 由處理器執(zhí)行程序指令來實現(xiàn)，并且包括以下步驟： 接收由成像裝置獲取的原始組織圖像； 將原始組織圖像分割成多個更小的組織塊，這些組織塊能集中體現(xiàn)獲取的原始組織圖 像； 對每個組織塊中發(fā)現(xiàn)的組織的類型進行分類；以及 展示原始組織圖像的增強型數(shù)字地圖，在圖像上以與原始圖像的其他部分在視覺上可 辨識的方式標出至少一種組織類型。22. 權(quán)利要求21所述的方法，進一步包括處理器的以下步驟:提取每個組織塊的局部二 進制模式特征和平均局部二進制模式特征的組合。23. 權(quán)利要求22所述的方法，進一步將包括處理器的以下步驟： 集成每個組織塊的局部二進制模式特征和平均局部二進制模式特征；以及 生成每個組織塊的多集成特征，包含組織塊各自的局部二進制模式特征和平均局部二 進制模式特征。24. 權(quán)利要求23所述的方法，進一步通過處理器配置程序指令，生成神經(jīng)網(wǎng)絡(luò)分類器， 該神經(jīng)網(wǎng)絡(luò)分類器能夠根據(jù)組織塊的多集成特征分類每個組織塊中的組織類型。25. 權(quán)利要求21所述的方法，其中展示步驟進一步包括處理器在原始組織圖像上覆蓋 表示所述至少一種組織類型的彩色，原始組織圖像的其它部分則為灰色。26. 權(quán)利要求21所述的方法，其中展示步驟進一步包括包括處理器展示多級增強型數(shù)
【文檔編號】G06K9/00GK106030608SQ201480061057
【公開日】2016年10月12日
【申請日】2014年11月6日
【發(fā)明人】黃曉蕾, 萬孫華, 周超
【申請人】理海大學(xué)