專利名稱：面向pacs數(shù)據(jù)庫中放射圖像的基于內(nèi)容的檢索方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于醫(yī)療信息技術(shù)和信息檢索技術(shù)領(lǐng)域，具體涉及一種面向 PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的檢索方法和系統(tǒng).
背景技術(shù)：
醫(yī)學(xué)影像信息學(xué)及其工程應(yīng)用的關(guān)鍵核心系統(tǒng)是醫(yī)學(xué)圖像歸檔與通信 系統(tǒng)(PACS). PACS集醫(yī)學(xué)困像的采集、通信、處理、存儲與顯示于一體， 是醫(yī)院實現(xiàn)數(shù)字化的關(guān)健信息系統(tǒng)和技術(shù)支撐平臺.隨著醫(yī)學(xué)成像技術(shù)的發(fā) 展和醫(yī)學(xué)信息系統(tǒng)的普及， 一所現(xiàn)代化醫(yī)院的放射科每天會產(chǎn)生大量的放射 醫(yī)學(xué)圖像，這些困像是醫(yī)生進行臨床診斷、病情跟蹤、手術(shù)計劃、預(yù)后研究、 鑒別診斷的重要客觀依據(jù).醫(yī)學(xué)困^MH:據(jù)的多樣性和重要性亟待高效的醫(yī)學(xué) 圖^r索方法，以最大限度地利用醫(yī)學(xué)困像所提供的信息?；趦?nèi)容的圖像 檢索(Content-base Image Retrieval, CBIR)技術(shù)在近年來引起了廣泛的關(guān) 注，其目的便是從圍像自身包含的內(nèi)容出發(fā)，檢索數(shù)據(jù)庫中與^目關(guān)的圖像， 其目標(biāo)是要求計算機能代替人眼從海童困像中選出與"樣圖"相似的圖像并 反饋給用戶，
現(xiàn)今的CBIR系統(tǒng)一般都采用如下方法進行檢索首先對圖像進行特征 提取，得到描述困像內(nèi)容的特征向量，然后根據(jù)Euclid距離、相關(guān)系數(shù)等度 量方法計算出待檢索的困像與數(shù)據(jù)庫中困像的特征向量間的距離，最終選取 距離最小的一些閨像作為檢索結(jié)果輸出.這種檢索方法面臨的最大困難在 于，當(dāng)困^Mt據(jù)庫iiJ，J一定^^，困像特征向童間的距離計算非常耗時， 這使得CBIR技術(shù)在大規(guī)模困像數(shù)據(jù)庫中無法實用化，此外，要想真正模擬 人識別圖像的功能需要閨條現(xiàn)覺特征與圍像語義特征間的有效溝通，而當(dāng)前用于閨像險索的特征主要是一些較為低層的視覺特征(如顏色、形狀、紋 理等)，這些低在特征與用戶查詢所使用的高層概念(如病灶的影像學(xué)表 現(xiàn)或病理學(xué)診斷等)之間還存在著巨大的"語義鴻溝".目前醫(yī)學(xué)上雖然已經(jīng) 建立了不少CBIR系統(tǒng)，但這些系統(tǒng)大都處于實驗研究或臨床評估階段，而 且這些,統(tǒng)所存儲和管理的困M量非常有限(幾千到幾萬幅)，幾乎沒有 一個真正應(yīng)用到臨店^診斷或治療的曰常工作之中.

發(fā)明內(nèi)容
本發(fā)明提供了 一種面向PACS數(shù)據(jù)庫中放射圖像的基于內(nèi)容的檢索方法 和系統(tǒng)，以解決傳統(tǒng)CBIR技術(shù)不適用于大規(guī)模困像數(shù)據(jù)庫的缺陷，并可以 在一定程度上緩解傳統(tǒng)CBIR技術(shù)中的"語義鴻溝"現(xiàn)象。
本發(fā)明所采用的技術(shù)方案如下
一種面向PACS數(shù)據(jù)庫中放射圖像的基于內(nèi)容的檢索方法，其特征在于 通itit射信息系統(tǒng)(RIS)與PACS間的集成，將RIS中的放射診斷報告與 PACS中的放射困像進行關(guān)聯(lián)，并分別建立放射診斷報告的倒排索引和放射 圍像的特征索引，然后使用兩階段搜索算法對查詢請求進行基于內(nèi)容的圖像 檢索； 一個有效的查詢請求至少由困像示例和困像示例相關(guān)文^述信息組 成，其中圖像示例為用戶指定的一幅PACS困像，困像示例相關(guān)文^述信
息為困像示例的影像學(xué)表現(xiàn)或/和可能的病理學(xué)診斷結(jié)果的文字描述；
兩階段搜索算法的具體過程是第一階段，使用待檢圖像的影像學(xué)所見 或/和可能的病理學(xué)診斷的描迷文W放射診斷報告倒排索引中進行檢索，此 階段可以得到與待檢困像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的一組放射診 斷報告列表，稱為候選搜索結(jié)果集，候選搜索結(jié)果集中的報告是按照文本向
量空間模型中的相關(guān)度排序的；笫二階段，在圍像特征索引庫中提取候選搜索結(jié)果集中報告的相關(guān)PACS困像臬合的特征，然后計算困像集合中的圖像 與待檢困^M9L特征向量空間中的距離，并依據(jù)計算得出的距離對候選搜索結(jié) 果臬重新排序，然后將最終結(jié)果返回給用戶.
所述的面向PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的檢索方法，其特征在 于所述第二階段算法中計算困像集合中的困像與待檢困^4特征向量空間 中的距離，并> 1據(jù)計算得出的距離從小到大對候選搜索結(jié)果集重新排序，然 后將最終結(jié)果返回給用戶.
所述的面向PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的檢索方法，其特征在
于查詢請求還包括患者基本身裕^fr息和影乘除查相關(guān)信息.
一種面向PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的檢索系統(tǒng)，由于實施如 上所述的方法，其特征在于它由圍像顯示工作站、查詢接口模塊、放射診 斷報告索引模塊、圖像特征提M^、放射診斷報告檢索模塊、圖像匹配模 塊、圖像特征庫管理模塊、放射診斷報告倒排索引、圖像特征和縮略圖庫、 放射診斷報告數(shù)據(jù)庫和PACS閨像數(shù)據(jù)庫組成；其中
困像顯示工作站醫(yī)生使用困像顯示工作站進行困M擇、圖像的感興 趣區(qū)域選擇、輸入查詢文本和提交查詢請求，檢索結(jié)果也在圖像顯示工作站 中顯示；
查詢接口模塊困像顯示工作站與搜索引擎進行交互的接口模塊； 放射診斷報告索引模塊用于建立RIS數(shù)據(jù)庫中的放射報告的文本索
引；
圖像特征提M塊用于對PACS困像或困像中的感興趣區(qū)域進行特征 提?。环派湓\斷報告檢索模塊放射報告的文本險索引擎服務(wù)器； 困像匹配模塊用于計算困像特征或者困像感興趣區(qū)域的特征間的相似
度；
困像特征庫管理模塊用于對困像或者困像感興趣區(qū)域的特征，以及圖 像縮略困進行管理.
本發(fā)明具有以下效果和優(yōu)點
1. 通過檢索放射診斷報告倒排索引的方法實現(xiàn)對iJS^ PACS圖像數(shù) 據(jù)庫的導(dǎo)航，大大減少一次查詢過程中需要進行特征向量間距離計算的圖像 的數(shù)量，使得對;^L^棋PACS困像數(shù)據(jù)庫的檢索成為可能；
2. 使用放射診斷報告文本險索技術(shù)在一定程度上緩解CBIR的"語義鴻 溝，，現(xiàn)象.因為放射診斷報告是對放射圖像的人為理解和描述，故放射診斷 報告中的關(guān)鍵詞比困像4^視覺特征在語義上更加接i^們的搜索意3. 通過對文本檢索技術(shù)和基于內(nèi)容的困像檢索技術(shù)的有效整合，充分發(fā) 揮兩種技術(shù)的優(yōu)勢，以達到取長補短的效果。相對于獨立的文扣險索方法和 CBIR方法，本發(fā)明的檢索方法具有更好的性能和更高的準(zhǔn)確度。


圖l是本發(fā)明一種實施例系統(tǒng)的架構(gòu)框困；
圖2是本發(fā)明方法檢索過程的沐艱困。
具體實施例方式
本發(fā)明提供了一種面向PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的檢索方 法。通過RIS與PACS間的集成，將RIS中的放射診斷報告與PACS中的放射困M行關(guān)聯(lián)，并分別建立放射診斷報告的倒排索引和放射困像的特征 索引，然后使用"兩階段搜索"算法對查詢請求進行基于內(nèi)容的困絲索。一 個有效的查詢請求至少由困像示例和困像示例相關(guān)文^述信息組成，其中
困像示例為用戶指定的一幅PACS困像，困像示例相關(guān)文^述信息為圖像 示例的影像學(xué)表現(xiàn)或/和可能的病理學(xué)診斷結(jié)果的文字描述。此外，查詢請求 還可以包括患者基本身伯^信息(患者姓名、性別、出生日期等)和影像除查 相關(guān)信息(檢查設(shè)備類型、患者的檢查部位等).
兩階段搜索算法的具體過程是第一階段，使用待檢圖像的影像學(xué)所見
階段可以得到與待檢困像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的一組放射診
斷報告列表，稱為候選搜索結(jié)果集，候選搜索結(jié)果集中的報告是按照文本向
量空間模型中的相關(guān)度排序的；第二階段，在困像特征索引庫中提取候選搜
索結(jié)果集中報告的相關(guān)PACS困像集合的特征，然后計算圖像集合中的圖像
與待檢圖M特征向量空間中的距離，并依據(jù)計算得出的距離從小到大對候
選搜索結(jié)果集重新排序，然后將最終結(jié)果返回給用戶.
下面結(jié)合附困和實施例對本發(fā)明進行進一步說明.
如圖1，該檢索系統(tǒng)由困像顯示工作站100、查詢接口模塊101、放射診
斷報告索引模塊102、困像特征提^*:103、放射診斷報告檢索模塊104、
圖像匹配模塊105、圖像特征庫管理模塊106、放射診斷報告倒排索引107、
困像特征和縮略困庫108、放射診斷報告數(shù)據(jù)庫110和PACS圖像數(shù)據(jù)庫120
組成.其中
圍像顯示工作站100:醫(yī)生使用困像顯示工作站進行圖^it擇、圖像的 感興趣區(qū)域選擇、榆入查詢文本和提交查詢請求，檢索結(jié)果也在圖像顯示工作站中顯示.
查詢接口模塊ioi:困像顯示工作站與搜索引擎進行交互的接口模塊。 放射診斷報告索引模塊102:用于建立RIS數(shù)據(jù)庫中的放射報告的文本 索引.
困像特征提^U^: 103:用于對PACS閨M困像中的感興趣區(qū)域進行 特征提取.
放射診斷報告檢索模塊104:放射報告的文#索引擎服務(wù)器. 圖像匹配模塊105:用于計算困像特征(或者困像感興趣區(qū)域的特征) 間的相似度.
困像特征庫管理模塊106:用于對困像或者圖像感興趣區(qū)域的特征，以 及困像縮略圖進行管理， 該系統(tǒng)索引過程
1、 在醫(yī)生完成放射困像的診斷報告的撰寫任務(wù)后，圖像特征提取模塊 103執(zhí)行困像或圖像感興趣區(qū)域的特征提取操作(可能的方式包括自動提取 或通過圖像顯示工作站進行人工提取)，然后困像特征提取溪塊103將提取
108中，同時生成困像的縮略困并^M "到困像特征和縮略圖庫108中；
2、 困像特征提$**: 103發(fā)送需要進行文本索引的放射診斷報告的標(biāo) 識號至放射診斷報告索引模塊102;
3、 放射診斷報告索引模塊102接收到放射診斷報告的標(biāo)識號后將為對 應(yīng)的放射診斷報告的內(nèi)容建立文本索引.
該系統(tǒng)的檢索#，如困2所示
200、困像顯示工作站IOO將查詢請求提交至查詢接口模塊101;210、查詢接口模塊101對查詢請求進行驗證，若如查詢請求是無效的 則進行步槺220，若查詢請求是有效的則進行步驟230;
220、查詢接口模塊101返回出錯提示至困像顯示工作站100，檢索過程 結(jié)束；
230、查詢接口模塊101使用放射診斷報告檢索系統(tǒng)104在放射診斷報 告倒排索引107中檢索與查詢請求中的困像示例相關(guān)文^^B匹配的放射 診斷報告，檢索得到的結(jié)果稱為候選搜索結(jié)果集；
240、查詢接口模塊101對候選搜索結(jié)果集進行驗證，若候選搜索結(jié)果 集為空(即沒有找到匹配的放射診斷報告)則進行步驟250，若候選搜索結(jié) 果集不空則進行步蘇260;
250、查詢接口模塊101返回空的搜索結(jié)果集至圖像顯示工作站100，檢 索過程結(jié)束；
260、查詢接口模塊101使用圍像特征庫管理系統(tǒng)106提取出與候選搜 索結(jié)果集中的放射診斷報告相關(guān)聯(lián)的圖像的特征以及縮略圖URL;
270、查詢接口模塊101使用困像匹配系統(tǒng)105計算候選搜索結(jié)果集中 ^t射診斷報告的關(guān)聯(lián)困像與待檢困象&特征向量空間中的距離，并依據(jù)計算 得出的距離從小到大對候選搜索結(jié)果重新進行排序；
280、查詢接口模塊101返回最終的搜索結(jié)果集至圖像顯示工作站100， 檢索過程結(jié)束.
用戶最終得到的搜索結(jié)果集中的每條結(jié)果都由兩部分組成， 一部分是與 待檢困像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的放射診斷報告的文本片段，另 一部分是與待檢困像在視覺特征上最相似的一幅PACS圖像的縮略圖。
權(quán)利要求
1、一種面向PACS數(shù)據(jù)庫中放射圖像的基于內(nèi)容的檢索方法，其特征在于通過RIS與PACS間的集成，將RIS中的放射診斷報告與PACS中的放射圖像進行關(guān)聯(lián)，并分別建立放射診斷報告的倒排索引和放射圖像的特征索引，然后使用兩階段搜索算法對查詢請求進行基于內(nèi)容的圖像檢索；一個有效的查詢請求至少由圖像示例和圖像示例相關(guān)文本描述信息組成，其中圖像示例為用戶指定的一幅PACS圖像，圖像示例相關(guān)文本描述信息為圖像示例的影像學(xué)表現(xiàn)或/和可能的病理學(xué)診斷結(jié)果的文字描述；兩階段搜索算法的具體過程是第一階段，使用待檢圖像的影像學(xué)所見或/和可能的病理學(xué)診斷的描述文本在放射診斷報告倒排索引中進行檢索，此階段可以得到與待檢圖像在影像學(xué)表現(xiàn)或病理學(xué)診斷上相關(guān)的一組放射診斷報告列表，稱為候選搜索結(jié)果集，候選搜索結(jié)果集中的報告是按照文本向量空間模型中的相關(guān)度排序的；第二階段，在圖像特征索引庫中提取候選搜索結(jié)果集中報告的相關(guān)PACS圖像集合的特征，然后計算圖像集合中的圖像與待檢圖像在特征向量空間中的距離，并依據(jù)計算得出的距離對候選搜索結(jié)果集重新排序，然后將最終結(jié)果返回給用戶。
2、 根據(jù)權(quán)利要求1所述的面向PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的 檢索方法，其特征在于所述第二階段算法中計算困像集合中的圖像與待檢 圖M特征向量空間中的距離，并依據(jù)計算得出的距離從小到大對候選搜索 結(jié)果集重新排序，然后將最終結(jié)果返回給用戶.
3、 根據(jù)權(quán)利要求1或2所述的面向PACS數(shù)據(jù)庫中放射圖像的基于內(nèi) 容的檢索方法，其特征在于查詢請求還包括患者基本身份信息和影像險查 相關(guān)信息.
4、 一種面向PACS數(shù)據(jù)庫中放射困像的基于內(nèi)容的檢索系統(tǒng)，由于實 施如權(quán)利要求1或2或3所述的方法，其特征在于它由圖像顯示工作站 (100)、查詢接口模塊(101)、放射診斷報告索引模塊(102)、圖像特 征提絲塊(103 )、放射診斷報告檢索模塊(104 )、困像匹配模塊(105)、 困像特征庫管理模塊(106)、放射診斷報告倒排索引(107)、圖像特征和 縮略困庫(108)、放射診斷報告數(shù)據(jù)庫(110)和PACS困像數(shù)據(jù)庫(120) 組成；其中困像顯示工作站(100):醫(yī)生使用困像顯示工作站進行圖像選擇、圖像的感興趣區(qū)域選擇、輸入查詢文本和提交查詢請求，檢索結(jié)果也在圖像顯 示工作站中顯示；查詢接口模塊(101):困像顯示工作站與搜索引擎進行交互的接口模塊；放射診斷報告索引棋塊(102):用于建立R1S數(shù)據(jù)庫中的放射報告的 文本索引；困像特征提MI^ (103):用于對PACS圖像或圖像中的感興趣區(qū)域 進行特征提取；放射診斷報告檢索模塊(104):放射報告的文^索引擎服務(wù)器； 圍像匹配模塊(105):用于計算困像特征或者困像感興趣區(qū)域的特征 間的相似度；圖像特征庫管理模塊(106):用于對圍像或者困像感興趣區(qū)域的特征， 以及圖像縮略困進行管理.
全文摘要
本發(fā)明公開了一種面向PACS數(shù)據(jù)庫中放射圖像的基于內(nèi)容的檢索方法和系統(tǒng)，該方法通過將放射信息系統(tǒng)中的放射診斷報告與PACS中的放射圖像進行關(guān)聯(lián)，并建立放射診斷報告的倒排索引和放射圖像的特征索引庫，然后使用“兩階段搜索”算法實現(xiàn)對放射圖像的基于內(nèi)容的檢索。本發(fā)明將文本檢索技術(shù)和基于內(nèi)容的圖像檢索技術(shù)進行了有效的整合，解決了傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)不適用于大規(guī)模圖像數(shù)據(jù)庫的缺陷，并且在一定程度上緩解了傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)中的“語義鴻溝”現(xiàn)象，具有很高的應(yīng)用價值。
文檔編號G06F19/00GK101441658SQ200810201548
公開日2009年5月27日 申請日期2008年10月22日 優(yōu)先權(quán)日2008年10月22日
發(fā)明者何振宇, 張建國 申請人:中國科學(xué)院上海技術(shù)物理研究所