專利名稱：面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于醫(yī)療信息技術(shù)和信息檢索技術(shù)領(lǐng)域，具體為一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)。
背景技術(shù)：
醫(yī)學(xué)影像信息學(xué)及其工程應(yīng)用的關(guān)鍵核心系統(tǒng)是醫(yī)學(xué)圖像歸檔與通信系統(tǒng) (PACS)。PACS集醫(yī)學(xué)圖像的采集、通信、處理、存儲與顯示于一體，是醫(yī)院實現(xiàn)數(shù)字化的關(guān)鍵信息系統(tǒng)和技術(shù)支撐平臺。隨著醫(yī)學(xué)成像技術(shù)的發(fā)展和醫(yī)學(xué)信息系統(tǒng)的普及，一所現(xiàn)代化醫(yī)院的放射科每天會產(chǎn)生大量的放射醫(yī)學(xué)圖像，這些圖像是醫(yī)生進行臨床診斷、病情跟蹤、 手術(shù)計劃、預(yù)后研究、鑒別診斷的重要客觀依據(jù)。醫(yī)學(xué)圖像數(shù)據(jù)的多樣性和重要性亟待高效的醫(yī)學(xué)圖像檢索方法，希望用計算機代替人眼，從海量歷史圖像數(shù)據(jù)中選出需要的圖像并反饋給用戶，以最大限度地利用醫(yī)學(xué)圖像所提供的信息，可廣泛用于醫(yī)學(xué)診斷，研究機構(gòu)和教學(xué)系統(tǒng)中。現(xiàn)有的醫(yī)學(xué)圖像存儲系統(tǒng)中，一般是通過元數(shù)據(jù)進行查詢，如利用病人姓名，檢查時間，DICOM圖像文件頭中的信息等來找到相關(guān)的圖像，該方法針對性較強，但無法與圖像自身的內(nèi)容相關(guān)聯(lián)。少部分引入了文本檢索和基于內(nèi)容的檢索方法(Content-base Image Retrieval, CBIR)，利用醫(yī)生診斷報告中的關(guān)鍵詞或圖像的一些視覺特征(如灰度值、形狀、紋理等)來查詢圖像系列。文本查詢的速度較快，但文本描述的多樣性和各異性使其無法準(zhǔn)確描述出圖像中包含的信息；而當(dāng)前的CB^系統(tǒng)大多針對孤立病灶或整體內(nèi)容進行檢索，如針對胸部X光圖片，肺結(jié)節(jié)，乳腺癌圖像等，但實際的醫(yī)學(xué)圖像通常會有多種病癥并發(fā)出現(xiàn)，而基于圖像的整體內(nèi)容進行檢索會弱化對病灶區(qū)域的描述，且當(dāng)圖像數(shù)據(jù)庫達到一定規(guī)模后，計算圖像特征向量間的距離將非常耗時，使得CB^技術(shù)在大規(guī)模圖像數(shù)據(jù)庫中無法實用化；低層視覺特征與用戶查詢所使用的高層概念之間存在的“語義鴻溝”，也成為制約CB^系統(tǒng)進一步發(fā)展的瓶頸，因此，單一的采用文本或僅使用圖像內(nèi)容進行檢索無法取得較好的結(jié)果。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供了一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)(Regional Content based Image Retrieval，RCBIR)，解決當(dāng)前無法利用“樣圖”快速有效的檢索相關(guān)醫(yī)學(xué)圖像的問題。本發(fā)明采用的技術(shù)方案是一種面向醫(yī)學(xué)影像數(shù)據(jù)庫基于多病灶圖像區(qū)域特征的檢索系統(tǒng)，其特征在于，將該檢索系統(tǒng)與PACS顯示工作站集成，實現(xiàn)與放射科醫(yī)生診斷工作流的無縫結(jié)合；采用高級圖像描述符對圖像信息進行全方位的描述，通過文本導(dǎo)航和高維數(shù)據(jù)索引相結(jié)合的方式縮小檢索空間。一個有效的查詢請求至少由示例圖像和高級圖像描述符組成。放射科醫(yī)生在診斷過程中，可選出圖像系列中的關(guān)鍵圖像作為示例圖像。高級圖像描述符由圖像基本信
3息和感興趣區(qū)域列表組成。圖像基本信息包括了病人和DICOM文件頭中的基本信息，病人姓名、檢查日期、檢查設(shè)備類型、檢查部位、以往病史。感興趣區(qū)域列表順次列出了每個感興趣區(qū)域病灶名稱、解剖學(xué)位置、中心點，輪廓坐標(biāo)，特征矢量值和優(yōu)先級，當(dāng)一幅圖像中有多個同種病灶時，可通過優(yōu)先級確定比較次序。本發(fā)明提出了一種面向醫(yī)學(xué)影像數(shù)據(jù)庫多病灶放射圖像的基于區(qū)域的檢索系統(tǒng)， 其系統(tǒng)工作流程如下步驟1.放射科醫(yī)生指定感興趣的病灶區(qū)域，對病灶區(qū)域進行文本標(biāo)注，通過該區(qū)域的圖像內(nèi)容來計算病灶區(qū)域的中心點和區(qū)域特征值，生成高級圖像描述符并發(fā)送到RCB^服務(wù)器中查詢相似圖像。步驟2. RBIR服務(wù)器利用描述符中的信息和特征值矢量在高維索引文件中查詢，根據(jù)距離閾值，選擇和查詢具有相同標(biāo)注信息和相似特征矢量的區(qū)域簇作為候選結(jié)果集。步驟3.精確計算示例圖像和候選圖像的相似度值，根據(jù)計算所得結(jié)果對候選結(jié)果排序，并去除不符合要求的結(jié)果，將結(jié)果返回給用戶。用戶最終得到的搜索結(jié)果集中的每條結(jié)果都由兩部分組成，一部分是結(jié)果圖像中每個感興趣區(qū)域的信息列表，包括文本標(biāo)注、解剖學(xué)位置、病理診斷結(jié)果信息，另一部分是與示例圖像具有相似視覺特征的圖像縮略圖。步驟4.若用戶想查看某一圖像的詳細信息，可發(fā)送請求至PACS服務(wù)器，來提取完整的圖像系列；若用戶不滿意當(dāng)前搜索結(jié)果，可通過重新指定感興趣區(qū)域， 調(diào)整距離閾值來重新查詢。本發(fā)明的效果和優(yōu)點如下1.通過高級圖像描述符對圖像進行全方位描述，實現(xiàn)對感興趣區(qū)域的準(zhǔn)確定位， 使得對具有多種影像表現(xiàn)的復(fù)雜病灶圖像的檢索成為可能，且便于用戶將示例圖像中的感興趣區(qū)域與檢索結(jié)果圖像的病灶區(qū)域相對應(yīng)；2.通過高維數(shù)據(jù)索引的方法實現(xiàn)對大規(guī)模圖像特征值的快速查詢，大大減少了一次查詢過程中需要進行特征向量間距離計算的圖像的數(shù)量，且檢索時間不隨圖像數(shù)據(jù)庫的增長而顯著增加；3.將文本檢索和基于內(nèi)容的圖像檢索(CBIR)技術(shù)有效整合，形成了本發(fā)明的語義導(dǎo)航的基于多病灶圖像區(qū)域特征的檢索系統(tǒng)，充分發(fā)揮了兩種技術(shù)的優(yōu)勢，在一定程度上緩解傳統(tǒng)CB^的“語義鴻溝”現(xiàn)象，具有更好的性能和更高的準(zhǔn)確度。


圖1是本發(fā)明面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)的結(jié)構(gòu)框圖。圖2是本發(fā)明實施實例面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)的客戶端工作流程圖。圖3是本發(fā)明實施實例面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)的RCB^服務(wù)器端的工作流程圖。
具體實施例方式下面結(jié)合附圖給出了本發(fā)明的一個較好的實施例，進一步對本發(fā)明進行詳細闡述，使得更易于了解本發(fā)明的結(jié)構(gòu)特征和功能特征。本發(fā)明的面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，采用服務(wù)器-客戶端架構(gòu)，其結(jié)構(gòu)圖如圖1所示，其主要由RCB^客戶端，RCB^服務(wù)器和PACS、RIS 服務(wù)器組成。其中第一部分客戶端本實施例的RCB^客戶端通常集成在PACS顯示工作站中，主要包括圖像查詢模塊(101)，診斷報告查詢模塊(102)，圖像顯示及用戶交互模塊(103)，圖像區(qū)域特征提取模塊(104)，圖像標(biāo)注模塊(105)，查詢接口模塊(106)。其中，圖像查詢模塊(101)根據(jù)圖像的唯一標(biāo)識符(UID)從PACS服務(wù)器查詢提取圖像；診斷報告查詢模塊(102)用于從RIS 服務(wù)器中查詢圖像系列的診斷報告；用戶顯示交互模塊(103)實現(xiàn)圖像的顯示、感興趣區(qū)域的選擇(通過自動分割或人工干預(yù)來指定感興趣區(qū)域)、輸入?yún)^(qū)域的文本標(biāo)志符、解剖位置以及其它相關(guān)信息，并提交查詢請求；特征提取模塊(104)執(zhí)行圖像感興趣區(qū)域的特征提取操作，包括灰度統(tǒng)計特征、共生矩陣特征、紋理特征、馬爾可夫隨機域參數(shù)特征、形狀特征；圖像標(biāo)注模塊(10 讀取DICOM文件頭中的基本信息，并根據(jù)區(qū)域輪廓坐標(biāo)來計算中心點位置，結(jié)合提取出的特征，形成高級圖像描述符，利用圖像標(biāo)注語言(Image markup language)對高級圖像描述符進行分層管理，并保存為xml格式文件；查詢接口模塊負責(zé)顯示工作站與服務(wù)器端進行交互的接口操作。第二部分服務(wù)器端本實施例的服務(wù)器端為RCB^服務(wù)器，主要包括圖像特征選擇模塊(109)，高維數(shù)據(jù)索引模塊(110)，圖像匹配模塊(111)，管理模塊(112)。其中，圖像特征選擇模塊(109) 采用支持向量機遞歸越減(Support Vector Machine Recursive Feature Elimination) 算法選擇出每種病灶的高效特征子集，提高匹配的精確度；高維數(shù)據(jù)索引模塊(110)根據(jù) VA-Tire算法(或其它高維數(shù)據(jù)索引算法)和語義導(dǎo)航相結(jié)合，構(gòu)建高維索引文件，該算法通過對高維空間的每一維進行切分，將分布在同一個空間超立方體中的特征矢量聚集在一起，形成一個數(shù)據(jù)簇，并通過樹結(jié)構(gòu)來管理分割的數(shù)據(jù)空間，使得查詢性能有了較大的提升；圖像匹配模塊(111)用于計算感興趣區(qū)域的特征矢量間的相似度，采用一對一的匹配模式，即每個圖像病灶檢索區(qū)域和目標(biāo)圖像中的一個區(qū)域相對應(yīng)，反之亦然，匹配原則為相似度優(yōu)先原則；管理模塊用于對感興趣區(qū)域的特征矢量，圖像縮略圖以及圖像標(biāo)注文件進行管理。PACS服務(wù)器PACS服務(wù)器是系統(tǒng)的影像中心存儲單元，接收來自各個采集網(wǎng)關(guān)的各種醫(yī)學(xué)DICOM圖像，并進行統(tǒng)一存儲、歸檔和備份。PACS服務(wù)器中的數(shù)據(jù)庫保存著與病人有關(guān)的所有數(shù)字圖像，用戶可以通過病人編號、病人姓名、檢查類別、檢查時間來查詢和提取病人的圖像資料。RIS服務(wù)器RIS系統(tǒng)是放射科信息管理系統(tǒng)，是放射科的登記、分診、影像診斷報告的管理系統(tǒng)。RIS服務(wù)器是信息管理系統(tǒng)的中心存儲單元，對放射科的各項信息，影像診斷報告進行管理，可通過報告編號來查詢圖像系列的相關(guān)診斷報告。本實施例的檢索流程如下本實施例的客戶端工作流程如圖2所示步驟201 通過圖像查詢模塊(101)從 PACS服務(wù)器中提取待診斷的圖像系列；步驟202 若用戶需要查詢歷史數(shù)據(jù)中的相似圖像， 則執(zhí)行步驟203，否則可按正常的診斷流程書寫診斷報告；步驟203 選擇系列中關(guān)鍵的圖像幀作為示例圖像；步驟204:用戶通過交互模塊(103)來指定圖像中感興趣區(qū)域(疑似病灶區(qū))，用戶可指定一個或多個感興趣區(qū)域，并為每個區(qū)域添加文本標(biāo)注；步驟205 通過特征提取模塊(104)計算感興趣區(qū)域的視覺特征矢量值(灰度統(tǒng)計特征、共生矩陣特征、 紋理特征、馬爾可夫隨機域參數(shù)特征、形狀特征)；步驟206 利用圖像標(biāo)注模塊(105)提取DICOM文件頭中的信息，并結(jié)合區(qū)域輪廓坐標(biāo)和特征值矢量，生成高級圖像描述符；步驟 207 通過查詢接口模塊(106)將高級圖像描述符發(fā)送到此8頂服務(wù)器，提交查詢請求，等待服務(wù)器響應(yīng)；步驟208:1^^頂服務(wù)器將結(jié)果集(Results group)返回，結(jié)果集中的每條結(jié)果都由兩部分組成，一部分是結(jié)果圖像(Returned image)中每個感興趣區(qū)域的信息列表， 包括文本標(biāo)注、解剖學(xué)位置、病理診斷結(jié)果信息，另一部分是與示例圖像具有相似視覺特征的圖像縮略圖；步驟209 將結(jié)果集通過圖像顯示模塊(10 顯示出來；步驟201，若用戶對當(dāng)前結(jié)果不滿意，則返回步驟203，重新選擇關(guān)鍵圖像幀，或返回步驟204，重新指定感興趣區(qū)域，并調(diào)整參數(shù)值，再次查詢，若用戶滿意當(dāng)前結(jié)果，則執(zhí)行步驟211 ；步驟211 可通過圖像查詢模塊(101)來提取結(jié)果集中某條記錄的整個圖像系列，或通過診斷報告查詢模塊 (102)來查詢該記錄完整的診斷報告，檢索過程結(jié)束。 本實施例的1^8頂服務(wù)器端工作流程如下，如圖3所示步驟301 ！^^頂服務(wù)器收到查詢請求；步驟302 服務(wù)器對查詢請求進行驗證，若請求無效則執(zhí)行步驟303，若請求查詢是有效的則進行步驟304 ；步驟303 服務(wù)器通過查詢接口模塊(106)返回出錯提示至圖像顯示模塊(103)，檢索過程結(jié)束；步驟304:特征選擇模塊(109)根據(jù)高級圖像描述符中的病灶名稱，對特征矢量進行選擇，利用高效的特征子集來進行相似度匹配；步驟305 利用特征子集從高維索引文件中查詢相似特征矢量簇，將對應(yīng)的記錄號作為候選結(jié)果，根據(jù)距離閾值，可通過調(diào)節(jié)高維數(shù)據(jù)索引模塊(110)中的距離閾值參數(shù)，來限制候選結(jié)果集的數(shù)目；步驟306:對候選結(jié)果集進行驗證，若候選結(jié)果集為空(即沒有找到匹配的相似特征矢量)，則進行步驟307，若候選結(jié)果不為空則進行步驟308 ；步驟307 通過查詢接口模塊 106返回空的搜索結(jié)果，檢索過程結(jié)束；步驟308 使用特征數(shù)據(jù)庫中提取出候選結(jié)果集對應(yīng)的特征矢量；步驟309 通過圖像匹配模塊(111)計算示例圖像與候選集中圖像的精確相似度值；步驟310 去掉相似度值不滿足距離閾值參數(shù)的結(jié)果(即高維索引檢索中多檢的結(jié)果)，并根據(jù)相似度值對結(jié)果按照相似度從高到低的順序進行排序；步驟311 通過管理模塊(11 將結(jié)果集中對應(yīng)的圖像縮略圖、圖像標(biāo)注文件返回至接口模塊(106)，并在客戶端顯示出來，檢索過程結(jié)束。
權(quán)利要求
1.一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，系統(tǒng)包括RCB^客戶端和RCB^服務(wù)器兩個部分，其特征在于所述的RCB^客戶端集成在PACS顯示工作站中，包括圖像查詢模塊，診斷報告查詢模塊，圖像顯示及用戶交互模塊，特征提取模塊，圖像標(biāo)注模塊，查詢接口模塊，實現(xiàn)從PACS 服務(wù)器中提取圖像，從RIS服務(wù)器中提取診斷報告，圖像的顯示，感興趣區(qū)域的選擇，輸入?yún)^(qū)域相關(guān)信息，感興趣區(qū)域的特征矢量提取，生成高級圖像描述符，提交查詢請求；所述的 RCBIR服務(wù)器包括特征選擇模塊，高維數(shù)據(jù)索引模塊，圖像匹配模塊，特征矢量、圖像縮略圖以及圖像標(biāo)注文件的管理模塊，實現(xiàn)對高效特征子集的特征選擇，維護高維索引文件，計算最優(yōu)相似度，管理特征矢量、圖像縮略圖以及圖像標(biāo)注文件功能；其工作流程為，放射科醫(yī)生指定感興趣的病灶區(qū)域，對病灶區(qū)域進行文本標(biāo)注，通過該區(qū)域的圖像紋理內(nèi)容來計算病灶區(qū)域的中心點和區(qū)域特征矢量值，生成高級圖像描述符并發(fā)送到RCB^服務(wù)器中查詢相似圖像；RCB^服務(wù)器對每種病灶選擇出高效特征子集，利用描述符中的信息和特征值子集在高維索引文件中查詢，根據(jù)距離閾值，選擇和查詢具有相同標(biāo)注信息和相似特征矢量的區(qū)域簇作為候選結(jié)果集；通過相似度計算方法精確計算示例圖像和候選圖像的相似度值，根據(jù)計算所得結(jié)果對候選結(jié)果排序，并去除不符合要求的結(jié)果，將結(jié)果返回給用戶。
2.根據(jù)權(quán)利要求1所述的一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，其特征在于所述的高級圖像描述符由圖像基本信息和感興趣區(qū)域列表組成，圖像基本信息包括了病人和DICOM文件頭中的基本信息，具體為病人姓名、病人性別、檢查日期、檢查設(shè)備類型、檢查部位和以往病史；感興趣區(qū)域列表順次列出了每個感興趣區(qū)域病灶名稱、 解剖學(xué)位置、中心點，輪廓坐標(biāo)，特征矢量值和優(yōu)先級。
3.根據(jù)權(quán)利要求1所述的一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，其特征在于所述的利用描述符中的信息和特征值矢量在高維索引文件中查詢，是采用了文本導(dǎo)航和高維數(shù)據(jù)索引的方式來縮小檢索空間，減少一次查詢過程中需要進行特征向量間距離計算的圖像的數(shù)量，文本導(dǎo)航是通過與已標(biāo)注圖像的病灶名稱相匹配或?qū)IS報告的進行全文檢索實現(xiàn)的。
4.根據(jù)權(quán)利要求1所述的一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，其特征在于所述的選擇出高效特征子集，是利用特征選擇算法選出相應(yīng)病灶的高效特征子集，來提高特征匹配的準(zhǔn)確度，減少了部分無效特征對相似度計算結(jié)果的影響。
5.根據(jù)權(quán)利要求1所述的面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，其特征在于所述的相似度計算方法，是采用一對一的匹配模式，即每個檢索區(qū)域和目標(biāo)圖像中的一個區(qū)域相對應(yīng)，反之亦然，對于多個同種病灶之間的相似度計算，采用匹配原則為相似度優(yōu)先原則。
全文摘要
本發(fā)明公開了一種面向醫(yī)學(xué)影像數(shù)據(jù)庫的基于多病灶區(qū)域特征的檢索系統(tǒng)，該發(fā)明通過高級圖像描述符對圖像進行全方位描述，包括圖像區(qū)域內(nèi)容，病理學(xué)表現(xiàn)，解剖學(xué)位置信息，實現(xiàn)了對多個病灶區(qū)域的準(zhǔn)確定位和匹配方法，采用語義導(dǎo)航和高維數(shù)據(jù)索引相結(jié)合的方法實現(xiàn)對大規(guī)模圖像特征值的快速查詢，提高了檢索效率，并在一定程度上緩解了傳統(tǒng)的圖像檢索技術(shù)中的“語義鴻溝”現(xiàn)象。本發(fā)明充分的利用了PACS數(shù)據(jù)庫中的歷史圖像和診斷資料，可作為計算機輔助診斷的有效手段，廣泛應(yīng)用于醫(yī)學(xué)臨床，研究和教學(xué)領(lǐng)域。
文檔編號G06F17/30GK102156715SQ201110071310
公開日2011年8月17日 申請日期2011年3月23日 優(yōu)先權(quán)日2011年3月23日
發(fā)明者張建國, 朱燕杰 申請人:中國科學(xué)院上海技術(shù)物理研究所