本發(fā)明涉及數(shù)字圖像處理技術(shù)領(lǐng)域，具體涉及一種數(shù)字病理全切片圖像檢索方法。

背景技術(shù)：

數(shù)字病理全切片是通過專用的掃描成像系統(tǒng)將病理切片轉(zhuǎn)換為可供計(jì)算機(jī)顯示、傳輸及處理的高倍率大規(guī)模數(shù)字圖像。在臨床診斷中，大量的已診斷病理的數(shù)字切片被保存起來，形成了寶貴的病例數(shù)據(jù)庫(kù)?；诓±韴D像的癌癥診斷是一項(xiàng)對(duì)醫(yī)生診斷經(jīng)驗(yàn)要求很高的工作，然而我國(guó)偏遠(yuǎn)地區(qū)的大部分病理醫(yī)生還不能準(zhǔn)確的利用病理切片對(duì)癌癥進(jìn)行診斷，這迫切需要一種計(jì)算機(jī)輔助診斷算法為醫(yī)生提供相關(guān)的已確診病例作為診斷參考，并逐步提升其診斷水平。

傳統(tǒng)的基于文本的圖像檢索方法需要用戶輸入圖像的文字描述，并不適用于只有圖像信息而病變類型未知的數(shù)字病理切片的檢索中。為了滿足這一需求，數(shù)字圖像處理與模式識(shí)別領(lǐng)域的科學(xué)家將基于內(nèi)容的病理圖像檢索(Content-based image retrieval,CBIR)方法應(yīng)用的于數(shù)字病理切片中，該方法能夠通過對(duì)圖像本身進(jìn)行分析，提取關(guān)鍵特征，并利用這些特征計(jì)算查詢圖像與數(shù)據(jù)庫(kù)中圖像的相似度，從而返回在圖像內(nèi)容上與待診斷病例中的圖像最相關(guān)的一批圖像，供醫(yī)生進(jìn)行參考。醫(yī)生通過對(duì)返回的病例進(jìn)行分析，并與待診斷病例進(jìn)行對(duì)比，最終給出更加可靠的診斷結(jié)果。

近年來，國(guó)內(nèi)外學(xué)者在基于內(nèi)容的數(shù)字病理圖像檢索領(lǐng)域進(jìn)行廣泛的研究，所用方法逐漸成熟，已經(jīng)具備將其應(yīng)用到臨床診斷中的條件。

傳統(tǒng)方法流程圖如圖1所示。

可以看出，當(dāng)前對(duì)數(shù)字病理圖像檢索方面的研究基本停留在獨(dú)立小規(guī)模圖像的水平，將其應(yīng)用到臨床應(yīng)用中，需要解決以下兩個(gè)關(guān)鍵問題：

1、病理切片一般存儲(chǔ)為一個(gè)空間上連續(xù)的超大規(guī)模的數(shù)字圖像，稱為全切片圖像(Whole Slide Image,WSI)，圖像大小可達(dá)90000×90000像素。而醫(yī)生在診斷過程中通常在待診斷病例的切片中截取一個(gè)感興趣區(qū)域(Region of Interest,ROI)作為檢索應(yīng)用的輸入，在一次檢索中將ROI與數(shù)據(jù)庫(kù)中大量WSI的每一區(qū)域進(jìn)行對(duì)比顯然是不可行。如何在存有大量WSI的數(shù)字病例切片庫(kù)中快速準(zhǔn)確的定位到與ROI相似的區(qū)域是該應(yīng)用中的一項(xiàng)關(guān)鍵問題。

2、醫(yī)生根據(jù)診斷需要，所選取ROI的尺寸變化范圍很大。當(dāng)醫(yī)生關(guān)心高倍率下細(xì)胞細(xì)節(jié)時(shí)，所截取的ROI區(qū)域較?。欢谟^察病變區(qū)域整個(gè)組織分布時(shí)，所截取的ROI較大，其尺寸要遠(yuǎn)大于前者。如果對(duì)較大ROI進(jìn)行分析時(shí)使用與較小ROI同樣的特征表示方法，將會(huì)損失掉大量的局部組織信息，導(dǎo)致檢索結(jié)果不準(zhǔn)確。發(fā)明一種能夠適應(yīng)ROI尺寸大范圍變化的特征表示策略是該應(yīng)用的另一關(guān)鍵問題。

技術(shù)實(shí)現(xiàn)要素：

(一)要解決的技術(shù)問題

本發(fā)明要解決的技術(shù)問題是：如何針對(duì)傳統(tǒng)的基于內(nèi)容的數(shù)字病理圖像方法難以適用于數(shù)字病理全切片檢索的問題，設(shè)計(jì)一種應(yīng)用于存儲(chǔ)大量數(shù)字病理全切片數(shù)據(jù)庫(kù)的，適應(yīng)查詢圖像尺寸大幅度變化的快速檢索方法。

(二)發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提供了一種數(shù)字病理全切片圖像檢索方法，包括以下步驟：

首先確定將圖像編碼為二進(jìn)制編碼矩陣的方法，具體包括步驟1～4：

步驟1.用切片掃描儀將病理切片掃描到電子計(jì)算機(jī)中得到數(shù)字病理全切片，并將數(shù)字病理全切片在RGB顏色空間中進(jìn)行表示；

用到公式如下：

其中I_r(x,y),I_g(x,y),I_b(x,y)分別表示數(shù)字病理全切片I在坐標(biāo)(x,y)位置紅綠藍(lán)三個(gè)顏色通道的像素值；

步驟2.對(duì)數(shù)字病理全切片進(jìn)行分塊存儲(chǔ)；

令S_ij表示分割后的第i行，第j列的圖像塊，數(shù)字病理全切片圖像I表示為：

其中，A表示圖像塊，m和n分別表示圖像塊的列數(shù)和行數(shù)；

步驟3.使用數(shù)字圖像處理方法，對(duì)數(shù)字病理全切片提取特征；

用到公式如下：

S_ij＝f(A_ij),

其中，S_ij表示圖像塊A_ij的特征向量，f(*)代表數(shù)字圖像特征提取方法；

步驟4.對(duì)數(shù)字病理全切片圖像進(jìn)行二進(jìn)制編碼，形成二進(jìn)制編碼矩陣；

用到公式如下：

H_ij＝h_b(S_ij),

其中，H_ij為特征向量S_ij的二進(jìn)制編碼，h_b(*)為哈希函數(shù)組，b表示哈希函數(shù)組中函數(shù)的個(gè)數(shù)，具體為：h_b(*)＝{h₁(*),h₂(*),…,h_b(*)}，函數(shù)組中每個(gè)哈希函數(shù)h_k(*)將特征向量S_ij編碼成一位二進(jìn)制數(shù)字，b個(gè)哈希函數(shù)則生成b位的二進(jìn)制編碼，將數(shù)字病理全切片的所有圖像塊進(jìn)行二進(jìn)制編碼后，將其表示成一個(gè)與圖像塊的行數(shù)和列數(shù)相對(duì)的二進(jìn)制編碼矩陣，用到公式如下：

其中，H表示數(shù)字病理全切片圖像的二進(jìn)制編碼矩陣，H_ij表示第i行，第j列的圖像塊的二進(jìn)制編碼；

步驟5.選取典型已確診病例建立數(shù)據(jù)庫(kù)，將數(shù)據(jù)庫(kù)中每個(gè)病例的數(shù)字病理全切片均使用步驟1～4的方法編碼為二進(jìn)制編碼矩陣，將第k張數(shù)字病理全切片圖像的二進(jìn)制編碼矩陣表示為H^(k)；

步驟6.在診斷過程中，使用感興趣區(qū)域進(jìn)行檢索；

在使用病理全切片進(jìn)行診斷時(shí)，隨時(shí)截取感興趣的圖像區(qū)域檢索，這一區(qū)域稱為查詢圖像，用I^(Q)表示，檢索的步驟為：

A.使用步驟1～4的方法對(duì)查詢圖像I^(Q)進(jìn)行編碼，生成二進(jìn)制編碼矩陣H^(Q)；

B.使用圖像塊的二進(jìn)制編碼查找備選區(qū)域；

C.在備選區(qū)域中查找與查詢圖像I^(Q)最為相似的區(qū)域。

優(yōu)選地，在步驟C中，定義基于二進(jìn)制編碼矩陣的相似性度量算法公式如下：

其中，代表第l個(gè)備選區(qū)域的二進(jìn)制編碼矩陣，m_q和n_q分別表示查詢圖像中包含圖像塊的行數(shù)和列數(shù)，H_rc表示查詢圖像的二進(jìn)制編碼矩陣中第r行，第c列的二進(jìn)制編碼，H_ij表示備選區(qū)域圖像的二進(jìn)制編碼矩陣中第i行，第j列的二進(jìn)制編碼，hamming(X,Y)表示漢明距離，其輸入X,Y為二進(jìn)制編碼，計(jì)算結(jié)果為X和Y中編碼位數(shù)不相同的個(gè)數(shù)；

使用公式(1)計(jì)算查詢圖像與步驟B中產(chǎn)生的所有備選區(qū)域的差異度并對(duì)其進(jìn)行從小到大排序，按照需求返回最為相似的前N個(gè)備選區(qū)域及其所在的切片作為檢索最終結(jié)果。

(三)有益效果

本發(fā)明設(shè)計(jì)了一種應(yīng)用于存儲(chǔ)大量數(shù)字病理全切片數(shù)據(jù)庫(kù)的，適應(yīng)查詢圖像尺寸大幅度變化的快速檢索方法，該方法中將數(shù)字病理全切片分割成等大小的圖像塊進(jìn)行二進(jìn)制編碼；在檢索時(shí)，利用兩步搜索策略。首先使用圖像塊的二進(jìn)制編碼在整個(gè)全切片數(shù)據(jù)庫(kù)中定位一些與查詢圖像大小相等的備選區(qū)域，然后利用本發(fā)明提出的相似性度量方法在備選區(qū)域中進(jìn)行精確查找，得到檢索結(jié)果。該方法能夠在臨床診斷中，為醫(yī)生提供準(zhǔn)確的參考信息，有效提升病理科醫(yī)生的診斷質(zhì)量。

附圖說明

圖1為傳統(tǒng)檢索方法流程圖；

圖2為本發(fā)明實(shí)施例的檢索方法流程圖；

圖3為本發(fā)明實(shí)施例的檢索方法與傳統(tǒng)檢索方法對(duì)比圖；

圖4為本發(fā)明實(shí)施例中檢索算法框圖。

具體實(shí)施方式

為使本發(fā)明的目的、內(nèi)容、和優(yōu)點(diǎn)更加清楚，下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述。以下實(shí)施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，而不能以此來限制本發(fā)明的保護(hù)范圍。

參照?qǐng)D2和圖3，本發(fā)明實(shí)施例提出的一種數(shù)字病理全切片圖像檢索方法，涉及病理圖像特征提取和基于內(nèi)容的數(shù)字圖像檢索技術(shù)，該方法包括以下步驟：

首先確定將圖像編碼為二進(jìn)制編碼矩陣的方法，包括步驟1～4：

步驟1.用切片掃描儀將病理切片掃描到電子計(jì)算機(jī)中得到數(shù)字病理全切片，將數(shù)字病理全切片圖像在RGB顏色空間中進(jìn)行表示；

數(shù)字病理全切片是由專用的切片掃描儀將病理切片掃描并存儲(chǔ)在計(jì)算機(jī)中的病理圖像，并通過通道分解獲取圖像每個(gè)像素點(diǎn)在R、G、B三個(gè)通道的像素值，從而獲得了圖像的數(shù)據(jù)信息，這些數(shù)據(jù)信息是數(shù)字病理全切片檢索技術(shù)的基礎(chǔ)，用到公式如下：

其中I_r(x,y),I_g(x,y),I_b(x,y)分別表示數(shù)字病理全切片I在坐標(biāo)(x,y)位置紅綠藍(lán)三個(gè)顏色通道的像素值。

步驟2.對(duì)數(shù)字病理全切片進(jìn)行分塊存儲(chǔ)；

為了便于存儲(chǔ)和后續(xù)處理，數(shù)字病理全切片圖像在計(jì)算機(jī)中一般被分割成等大小的圖像塊進(jìn)行存儲(chǔ)，單個(gè)圖像塊的大小根據(jù)實(shí)際需要和計(jì)算機(jī)的處理能力而定。本發(fā)明中使用的數(shù)字病理圖像塊大小為512×512像素，但本發(fā)明方法可以使用的圖像塊大小不限于512×512。令S_ij表示分割后的第i行，第j列的圖像塊，數(shù)字病理全切片圖像I可以表示為：

其中，A表示圖像塊，m和n分別表示圖像塊的列數(shù)和行數(shù)。

步驟3.使用數(shù)字圖像處理方法，對(duì)數(shù)字病理全切片提取特征；

在步驟2中已經(jīng)將數(shù)字病理全切片分塊存儲(chǔ)，在對(duì)其提取特征時(shí)可以對(duì)每個(gè)圖像塊分別處理，達(dá)到簡(jiǎn)化計(jì)算的目的。特征提取用到公式如下：

S_ij＝f(A_ij),

其中，S_ij表示圖像塊A_ij的特征向量，f(*)代表數(shù)字圖像特征提取方法，可以選用但不限于圖像顏色、形狀、紋理、頻譜以及基于語(yǔ)義分析和深度學(xué)習(xí)的高級(jí)圖像特征提取方法。

步驟4.對(duì)數(shù)字病理全切片圖像進(jìn)行二進(jìn)制編碼，形成二進(jìn)制編碼矩陣；

為了節(jié)省存儲(chǔ)空間，提高檢索效率，通常對(duì)圖像特征向量進(jìn)行進(jìn)一步處理，生成更為簡(jiǎn)潔的二進(jìn)制編碼，這一過程稱為哈希編碼，用到公式如下：

H_ij＝h_b(S_ij),

其中，H_ij為特征向量S_ij的二進(jìn)制編碼，h_b(*)為哈希函數(shù)組，b表示哈希函數(shù)組中函數(shù)的個(gè)數(shù)，具體為:h_b(*)＝{h₁(*),h₂(*),…,h_b(*)}，函數(shù)組中每個(gè)哈希函數(shù)h_k(*)將特征向量S_ij編碼成一位二進(jìn)制數(shù)字，b個(gè)哈希函數(shù)則可以生成b位的二進(jìn)制編碼，每個(gè)二進(jìn)制數(shù)字在計(jì)算機(jī)中只需一個(gè)比特存儲(chǔ)，b位二進(jìn)制編碼在計(jì)算機(jī)中只占據(jù)b比特的存儲(chǔ)空間。本發(fā)明的哈希函數(shù)h_k(*)可選用但不限于：局部敏感哈希、譜哈希，核哈希以及基于機(jī)器學(xué)習(xí)的哈希算法。將數(shù)字病理全切片的所有圖像塊進(jìn)行二進(jìn)制編碼后，可以將其表示成一個(gè)與圖像塊的行數(shù)和列數(shù)相對(duì)的二進(jìn)制編碼矩陣，用到公式如下：

其中，H表示數(shù)字病理全切片圖像的二進(jìn)制編碼矩陣，H_ij表示第i行，第j列的圖像塊的二進(jìn)制編碼。

步驟5.選取典型已確診病例建立數(shù)據(jù)庫(kù)，將數(shù)據(jù)庫(kù)中每個(gè)病例的數(shù)字病理全切片均使用上述1～4步的方法編碼為二進(jìn)制編碼矩陣，為了便于區(qū)分每張切片的二進(jìn)制編碼，這里將第k張數(shù)字病理全切片圖像的二進(jìn)制編碼矩陣表示為H^(k)。

步驟6.醫(yī)生在診斷過程中，使用感興趣區(qū)域進(jìn)行檢索；

醫(yī)生在使用病理全切片進(jìn)行診斷時(shí)，可以隨時(shí)截取感興趣的圖像區(qū)域檢索，這一區(qū)域稱為查詢圖像，用I^(Q)表示。檢索的整個(gè)流程附件2所示，具體步驟為：

A.使用步驟1～4所述方法對(duì)查詢圖像I^(Q)進(jìn)行編碼，生成二進(jìn)制編碼矩陣H^(Q)，為了便于展示，圖4中將二進(jìn)制編碼以十進(jìn)制數(shù)字顯示；

B.使用圖像塊的二進(jìn)制編碼查找備選區(qū)域。在步驟5建立的檢索數(shù)據(jù)庫(kù)中，查找與H^(Q)中二進(jìn)制編碼相同的圖像塊，并提取包含這些圖像塊的、與查詢圖像I^(Q)大小相等的圖像區(qū)域作為檢索結(jié)果的備選區(qū)域。

C.在備選區(qū)域中查找與查詢圖像I^(Q)最為相似的區(qū)域。定義基于二進(jìn)制編碼矩陣的相似性度量算法，用到公式如下：

其中，代表第l個(gè)備選區(qū)域的二進(jìn)制編碼矩陣，m_q和n_q分別表示查詢圖像中包含圖像塊的行數(shù)和列數(shù)，H_rc表示查詢圖像的二進(jìn)制編碼矩陣中第r行，第c列的二進(jìn)制編碼，H_ij表示備選區(qū)域圖像的二進(jìn)制編碼矩陣中第i行，第j列的二進(jìn)制編碼，hamming(X,Y)表示漢明距離，其輸入X,Y為二進(jìn)制編碼，計(jì)算結(jié)果為X和Y中編碼位數(shù)不相同的個(gè)數(shù)，漢明距離越小，說明X,Y越相似，漢明距離為0表示X,Y相等。例如：X＝01001,Y＝01010(不同的位數(shù)用粗體顯示),則hamming(X,Y)＝2。公式(1)直觀理解為：對(duì)查詢圖像中的每一個(gè)圖像塊，在備選區(qū)域中查找與之最為相似的圖像塊，并計(jì)算二者的差異度D，作為此查詢圖像塊與備選區(qū)域的相似度衡量標(biāo)準(zhǔn)；將查詢圖像中所有圖像塊均與備選區(qū)域的差異度加和，作為查詢圖像與備選圖像的差異度。差異度越小代表越相似。

使用公式(1)計(jì)算查詢圖像與上述步驟B中產(chǎn)生的所有備選區(qū)域的差異度并對(duì)其進(jìn)行從小到大排序。按照醫(yī)生的需求返回最為相似的前N個(gè)備選區(qū)域及其所在的切片作為檢索最終結(jié)果，返回給醫(yī)生，作為醫(yī)生的診斷參考。

由以上實(shí)施例可以看出，本發(fā)明方法中將數(shù)字病理全切片分割成等大小的圖像塊進(jìn)行二進(jìn)制編碼；并在檢索時(shí)，利用兩步搜索策略。首先使用圖像塊的二進(jìn)制編碼在整個(gè)全切片數(shù)據(jù)庫(kù)中定位一些與查詢圖像大小相等的備選區(qū)域，然后利用本發(fā)明提出的相似性度量方法在備選區(qū)域中進(jìn)行精確查找，得到檢索結(jié)果。該方法能夠在臨床診斷中，為醫(yī)生提供準(zhǔn)確的參考信息，有效提升病理科醫(yī)生的診斷質(zhì)量。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明技術(shù)原理的前提下，還可以做出若干改進(jìn)和變形，這些改進(jìn)和變形也應(yīng)視為本發(fā)明的保護(hù)范圍。