專利名稱：用于識別x光照片投影圖的方法
技術領域：
本發(fā)明總體上涉及用于處理X光照片的技術，并且特別涉及用于自動識別X光照片投影圖的技術。
背景技術：
識別X光照片投影圖的重要性包括下列兩個方面。首先，它有助于使得圖像渲染(render)過程以及優(yōu)化圖像顯示質量。根據計算機X光照片(CR)系統(tǒng)的工作流程，技術人員拍攝在檢查中安排的X光照片，隨后掃描每個CR暗盒，同時在與所述暗盒有關的投影圖中手動鍵入。這個投影圖信息以及當所述檢查被安排時獲得的身體局部(body part)信息決定所述X光照片的特性，并且直接影響圖像渲染參數的選擇。因此，成功識別X光照片的投影圖有助于消除放射學家的輸入的需要、使得圖像渲染過程自動化以及加速工作流程。其次，投影圖識別還有利于在圖片存檔和通信系統(tǒng)(PACS)中進行圖像管理。例如，如果根據圖像內容自動導出所述投影圖信息，則它能夠在圖像標題中減少遺漏或錯誤信息的出現，并且使PACS中的醫(yī)學圖像管理系統(tǒng)更合理和有效。
然而，由于經常在變化的檢查條件下拍攝X光照片，所以識別X光照片的投影圖是一個復雜的問題。病人的姿勢和大小可以是變量；因而是放射學家取決于病人情況的選擇項。所有這些因素將導致來自相同檢查條件的X光照片出現很大不同。人類希望使用高級語義學通過捕獲圖像信息、將它們分組成有意義的對象并且將它們與上下文信息進行比較(即，體格檢查)來識別X光照片的投影圖。然而，由于圖像分析算法的限制，計算機以類似的方式完成所有這些分析過程是困難的。
已經采用了一些嘗試來識別醫(yī)學圖像的投影圖。例如，I.Kawshita等人的(″Development of Computerized Method for AutomatedClassification of Body Parts in Digital Radiographs(用于在數字X光照片中身體局部自動化分類的計算機化方法的進展)″，RSNA2002)提出了一種方法來分類六個身體局部。所述方法通過使用交叉相關值作為相似性測量來檢查所給圖像與一組預先確定的模板圖像的相似性。然而，手動生成這些模板圖像十分耗費時間，并且，特別地，這個過程主要由觀測者決定，這可能將誤差引入到所述分類中。Guld等人的(″Comparision of Global Features for Categorization of MedicalImages(對于醫(yī)學圖像的分類的整體體征的比較)″，SPIE medicalImaging 2004(SPIE醫(yī)學圖像2004))中揭示了一種評價一組從圖像提取的用于分類的整體特征的方法。在這兩種方法中，沒有進行預處理來減少不相關的影響并且經常分散數據。例如，在曝光期間由于X射線瞄準儀的阻塞造成的未曝光區(qū)域可以導致圖像周圍明顯的白邊。申請人已經注意到，如果這些區(qū)域在預處理步驟中未被消除，并且因此在相似性測量中被使用，則分類結果可能被嚴重偏離。
最近的文獻集中在自然景色圖像分類。這些例子包括QBIC(W.Niblack等人，″The QBIC projectQuerying images by contentusing color，texture，and shape(QBIC方案通過使用顏色、紋理和形狀的內容來查詢圖像)″，Proc.SPIE Storage and Retrieval forImage and Video Databases(攝影光學儀器工程師學會會刊，圖像和視頻數據庫的存儲和檢索)，1994年2月)、Photobook(A.Pentland等人，″PhotobookContent-based manipulation of image database(攝影圖像數據庫的基于內容的處理)″，International Journal ofComputer Vision(計算機視覺國際期刊)，1996年)、Virage(J.R.Bach等人，″The Virage images earch engineAn open framework for imagemanagement(Virage圖像搜索引擎一種用于圖像管理的開放框架)″，Proc.SPIE Storage and Retrieval for image and VideoDatabse(攝影光學儀器工程師學會會刊，圖像和視頻數據庫的存儲和檢索)，1996年，2670卷，第76-79頁)、Visualseek(R.Smith等人，″VisualseekA fully automated content-based image query system(Visualseek全自動基于內容的圖像查詢系統(tǒng))″，Proc ACMMultimedia 96(ACM多媒體會刊96)，1996年)、Netra(Ma等人“NetraA toolbox for navigating large image database(Netra用于操縱大型圖像數據庫的工具箱)”，Proc IEEE Int.Conf.On Image Proc.1997(IEEE國際組織會議會刊，關于圖像會刊)，1997年)、以及MAR(T.S.Huang等人，″Multimedia analysis and retrieval system(MARS)project(多媒體分析和檢索系統(tǒng)(MARS)方案)”，Proc of 33rd AnnualClinic on Library Application of Data Processing Digital ImageAccess and Retrieval(第33屆數據處理數字圖像選取和檢索的圖書館應用年會會刊)，1996年)。這些系統(tǒng)遵循相同的計算范例，即，它將一幅圖像視為一個完整的實體，并且借助于一組初級特征或屬性，諸如顏色、紋理、形狀和布局來表示它。典型地，這些特征屬性共同構成了一個特征向量，并且圖像分類以分組這些初級視覺特征向量為基礎。在很多情況下，最有效的特征是顏色。然而，在X光照片中顏色信息是不可用的。因此，這些方法不直接適于X光照片投影圖識別。
由于現有技術的局限性，所以需要一種自動識別X光照片的投影圖的方法。這種方法應該足夠健壯以便處理X光照片中的大量變化。

發(fā)明內容
本發(fā)明的目的是提供一種識別X光照片的投影圖的自動方法。
根據本發(fā)明，通過下列步驟達到這個目的校正X光照片的方位、從所述X光照片提取感興趣的區(qū)域、以及識別X光照片的投影圖。另外，可以完成輸入的X光照片的預處理。
預處理輸入的X光照片包括子采樣原始圖像，將圖像分割成前景、背景和人體，并且根據人體的特征歸一化圖像的強度(intensity)。
校正X光照片的方位包括檢測X光照片的方位，從而對X光照片重定方位。
從X光照片提取感興趣的區(qū)域包括檢測人體的中軸，確定感興趣區(qū)域的中心、大小和形狀，并且在X光照片中定位感興趣的區(qū)域。
通過關于全部可能的視圖對X光照片進行分類并且組合分類結果確定X光照片的最可能的投影圖來完成識別X光照片的投影圖。
本發(fā)明提供了一些優(yōu)點。例如，所述方法的特性促進了健壯性。X光照片的預處理幫助避免了來自瞄準區(qū)域和其它噪音的干擾。另外，用于方位分類的特性對于大小、平移和旋轉是不變量。所述方法的特性還提高了效率。例如，所述過程可以在子采樣粗分辨圖像上被實現，這大大提高了所述識別過程的速度。


如附圖中所示，根據本發(fā)明實施方案的下列更特別的描述，本發(fā)明的上述和其它目的、特性、優(yōu)點將顯而易見。附圖中的元件不必互相成比例。
圖1A、1B和1C顯示了表示用于識別X光照片投影圖的自動方法的流程圖。
圖2是一個表示所述預處理步驟的流程圖。
圖3A-3E表示顯示預處理步驟結果的示意圖。圖3A顯示X光照片的原始圖。圖3B-3D分別描述了來自分割的相應的前景、背景和人體圖像。圖3E顯示強調所述人體的被歸一化的圖像。
圖4A-4C顯示了表示人體的中軸檢測的示意圖。圖4A顯示原始圖。圖4B是根據人體圖像計算的歐幾里得距離圖。圖4C顯示了從人體圖像被檢測的中軸。
圖5A-5B顯示了表示感興趣的區(qū)域(ROI)形狀的示意圖。圖5A描述了從頸椎X光照片提取的感興趣的區(qū)域。圖5B顯示了手X光照片中發(fā)現感興趣的區(qū)域。白點代表ROI的中心。
圖6顯示了表示關于全部可能的視圖的X光照片的分類的流程圖。
發(fā)明詳述下面是本發(fā)明的優(yōu)選實施方案的詳細說明，參考的附圖中相同的參考編號標識每一幅圖中相同的結構單元。
本發(fā)明揭示了一種自動識別X光照片投影圖的方法。圖1A中顯示了根據本發(fā)明的一種方法的流程圖。如圖1A中所示，所述方法包括三個階段校正X光照片的方位(步驟11)；從輸入的X光照片提取感興趣的區(qū)域(ROI)(步驟12)；以及識別X光照片的投影圖(步驟13)。
在本發(fā)明的另一個實施方案中，如圖1B的流程圖中所示，一個額外的步驟可以優(yōu)先于圖像方位校正被應用。這個額外的步驟(步驟14)是X光照片的預處理，下面將更具體地描述。
仍然在本發(fā)明的另一個實施方案中，如圖1C的流程圖中所示，識別X光照片投影圖的步驟(即步驟13)可以包括兩個步驟1)使用一組特征和預先訓練分類器來分類X光照片，每個分類器被訓練識別一個投影圖(步驟15)；2)通過組合所述分類結果來確定X光照片的投影圖(步驟16)。
現在參考圖2，它顯示了表示預處理X光照片的步驟14的流程圖。預處理的目的包括三方面(1)在不降低所述識別性能的情況下，最小化需要被處理的象素；(2)減少來自瞄準區(qū)域(前景)和直接曝光區(qū)域(背景)的干擾，這樣通過在診斷上有用的圖像數據部分(人體)來驅動所述方位識別；(3)生成一致的強度和對比度圖像用于后面的處理。
仍然參考圖2，預處理X光照片的方法步驟從將原始圖像子采樣成小尺寸粗分辨圖像開始(步驟20)。被子采樣的圖像隨后被分割成前景、背景和人體區(qū)域(步驟21)。稍后，前景和背景區(qū)域從所述圖像中被刪除(步驟22)，只保留人體區(qū)域做進一步處理。最后，結果圖像根據所述人體區(qū)域的強度范圍被歸一化(步驟23)。
通過用于減小圖像尺寸同時保留用于方位識別的足夠信息的已知方法可以執(zhí)行子采樣原始圖像(步驟20)。在本發(fā)明的一個實施方案中，一種Guassian金字塔數據結構被用于生成子采樣圖像。
通過使用本領域技術人員已知的方法可以完成圖像分割(步驟21)。一種這樣的分割方法是從圖像柱狀圖發(fā)現兩個閾值，隨后將所述圖像分割成前景、背景和人體區(qū)域。圖3A顯示了一個典型的X光照片，圖3B-3D顯示了從分割獲得的它的前景、背景和人體圖像。
一旦圖像被分割，所述前景和背景區(qū)域就從所述子采樣圖像被刪除(步驟22)。可以通過將這些區(qū)域中的象素設置到預定值，同時在剩余的人體區(qū)域中的象素保持不變來完成這個步驟。作為這個步驟的結果，被預處理的圖像包括診斷上有用的圖像數據部分，因此可以最小化來自瞄準區(qū)域的干擾，并且人體區(qū)域的強度范圍可以被精確地檢測。
根據本發(fā)明，為了補償由于病人變化和檢查條件造成的曝光密度的差別，圖像強度歸一化(步驟23)在所述圖像上被執(zhí)行。一種完成歸一化的技術是從圖像柱狀圖檢測最小和最大的亮度值，根據人體區(qū)域中的象素優(yōu)選地計算，隨后應用線性或對數轉換功能將圖像強度調整到預定的范圍。還可以在圖像上執(zhí)行柱狀圖均衡化來展開(spread out)圖像柱狀圖中的那些峰值，這樣在圖像中低對比度區(qū)域中的更多細節(jié)可以被更好地顯示。圖3E顯示了一個使用這種方法進行強度歸一化后的結果圖像。可替代地，諸如在1997年頒布的Lee等人的題為“AUTOMATIC TONESCALE ADJUSTMENT USING IMAGE AVTIVITY MEAURES(使用圖像活動度測量自動色階調整)”的美國專利No.5,633,511中揭示的色階方法的其它已知的技術可以被用于提供歸一化。應該注意，本發(fā)明并不限于使用上述方法歸一化所述圖像。類似性質的已知算法可以被用于達到X光照片的一致的強度和對比度。
X光照片的方位校正(步驟11)包括檢測X光照片的方位并且將它重定方位到放射學家建議的位置。使用本領域的技術人員已知的方法可以所述完成方位檢測。在2004年11月19日提交的Luo等人的題為″DETECTION AND CORRECTION METHOD FOR RADIOGRAPH ORIENTATION(X光照片方位的檢測和校正方法)″的共同轉讓的美國序號10/993,055中揭示了一種合適的方法，該申請被轉讓給本申請的受讓人，并且在此合并作為參考。
由于檢查條件，來自同一個檢查的人體的大小和位置以及方位是變化的。另外，在X光照片中顯示的人體部分也根據病人的情況和瞄準葉片的設置而改變。這些因素可以造成不同的X光照片外觀，這向方位識別提出了挑戰(zhàn)。
為了解決這些問題，一個感興趣的區(qū)域(ROI)被從X光照片中提取。ROI用于在從圖像數據中捕獲診斷上有用的部分，并且最小化由上述因素造成的分散和干擾。憑借ROI的幫助，投影圖識別可以集中在診斷上重要的區(qū)域。為此目的，ROI提取方法(步驟12)包括兩個步驟檢測X光照片中人體的中軸，從而定位ROI。
根據本發(fā)明，所述中軸被用于描述X光照片中的人體。因為提供了X光照片中人體的位置和方位的簡單說明，并且大大限制了搜索復雜性和加速了處理過程，所以使用中軸是有吸引力的。
在本發(fā)明的一個優(yōu)選實施方案中，通過使用歐幾里得距離圖可以檢測所述中軸。如圖4B中所示，在執(zhí)行期間，人體的輪廓被檢測并且被用于為圖4A中所示的圖像計算歐幾里得距離圖。隨后最大隆起線(ridge)被檢測并且被用作所述中軸。圖4C描述了一種合成的中軸。這種方法特別適合于四肢的X光照片，諸如肘、膝和腕，盡管形狀復雜，但是趨向于具有輪廓分明的中軸。
在本發(fā)明的另一個實施方案中，通過通用換算平均分析(Morse等人的″Multiscale Medial Analysis of Medical Images(醫(yī)學圖像的通用換算平均分析)″，Image and Vision Computing(圖像和視覺計算)，1994年第12卷，第6期)可以檢測中軸。使用MMA的一個優(yōu)點是，它直接關于圖像強度工作，并且不需要圖像的預先分割或者明確目標的邊界。
ROI提取從搜索ROI中心開始，隨后根據人體的特征來確定ROI的大小和形狀。
根據本發(fā)明，ROI中心取決于檢查中人體的特征。例如，如圖5A中所示，在頸椎檢查的X光照片中，ROI的中心被定位在頸部中心。如圖5B中所示，對于手的X光照片，手掌的中心可以被用作ROI的中心。
ROI的大小與X光照片中人體的大小有關，這可以借助于中軸來從所述人體圖像中得到。根據本發(fā)明，ROI的大小與人體的邊緣到中軸的最小距離成比例。
關于ROI的形狀，在本發(fā)明中兩種類型的形狀被優(yōu)選地使用。一種是長方形，另一種是與中軸對準的適合的形狀。使用一個適合的形狀，中軸提供了X光照片中人體的位置和方位信息，這樣沿著中軸調整ROI的形狀能夠幫助減少平移和旋轉造成的影響并且確保ROI平移-旋轉-恒定，進而確保整個投影圖識別方法的健壯性。
圖5A和5B顯示了從不同的人體目標的X光照片中提取的RO I的不同形狀的例子。在圖5A中，頸椎的中軸幾乎是直的，因此ROI的形狀是長方形。對于諸如手的其它一些人體，中軸不總是直的。因此，如圖5B中所示，ROI的形狀可以表現為圍繞中軸的扭曲或傾斜的條。ROI形狀的選擇很大程度上取決于它如何影響所述識別的性能。如果一個簡單的長方形可以滿足需要，則它將被采用；否則將考慮更復雜的合適的形狀。
為了計算特征用于投影圖識別，ROI被進一步分成N*N個塊并且一組初級視覺特征被根據子塊計算。子塊的數量根據經驗被確定來平衡計算復雜性和識別性能之間的交替使用。根據本發(fā)明，可能的初級特征可以是從子塊提取的灰度平均值、方差、邊緣信息、紋理和其它圖像特征。
已經完成了所述特征提取，所獲得的初級視覺特征需要在訓練例子的整個集合上被歸一化，以便調節(jié)在所述特征提取期間的比例尺的差別。一個特征向量x的成比例(scaled)的第i個特征分量xi被計算為xi＝xi-mini/maxi-mini其中，mini和maxi代表在所述訓練例子上x的第i個特征分量xi的范圍。
現在參考圖6，其中，通過一組預先訓練的分類器來完成投影圖的分類。每個分類器被訓練將一個投影圖從全部其它的投影圖中分類出，并且它的輸出表示所輸入的X光照片與這個投影圖的匹配程度。分類器的數量等于一個檢查可能具有的投影圖的總數。例如，胸部X光照片通常具有四個投影圖，前后視圖(AP)、后前視圖(PA)、側視圖(LAT)和斜視圖(OBL)。因此，需要四個分類器來分類胸部X光照片。
根據本發(fā)明的一個實施方案，提供了一種建立這種分類器的方法。所述方法由訓練步驟和測試步驟組成。
在訓練步驟期間，根據已知的目標投影圖信息首先獲得訓練圖像的集合。接下來，規(guī)定正確或錯誤的投影圖的一組從各訓練圖像提取的特征和它們相關的目標輸出被用于訓練一個分類器。所述分類器可以是現有的技術中已知的任何方法，諸如神經網絡和支持向量機。如果最初的特征對于分類是無效的，則可以增加一個可選擇的步驟，它根據最初的特征計算一種適當的轉換。增加這個步驟的好處是進一步研究訓練特征的特性并且導出最具識別性的特征用于分類。這種轉換的例子包括通過主分量分析(PCA)或獨立成分分析(ICA)的歸一化、特征提取，或者一種非線性轉換來建立次要的特征。關于分類器和特征提取的更多的信息見Duda、Hart、和Stort的Pattern Classification(圖案分類)，John Wiley & Sons，紐約，2001年。
因此，可以通過下列步驟獲得一組預先被訓練的分類器用已知的投影圖信息收集預先被確定的多個訓練圖像；為每個訓練圖像定位感興趣的區(qū)域；根據每個訓練圖像的感興趣的區(qū)域計算一組特征；聯合一個規(guī)定每個訓練圖像已知的投影圖的目標輸出；基于全部訓練圖像使用主分量分析為每個訓練圖像計算一個轉換的特征組；以及利用所述轉換的特征組和目標輸出來訓練分類器。
一旦所述分類器被訓練，一個測試步驟就在新的圖像上被執(zhí)行來估計分類性能。如果所述性能不能滿足預置的要求，則所述分類器可能有被所述訓練數據偏差或者過度擬合(overfit)。當這種情況發(fā)生時，所述分類器可以被重新訓練直到它根據訓練和測試數據最好地工作。
再次參考圖6，上面描述的特征從新的X光照片圖像的ROI中被提取(步驟61)。一旦從用于分類各種投影圖的預先被訓練的分類器組獲得結果(例如，AP，LAT以及其它，步驟62，63，64)，則最后的步驟是通過組合所述分類器的輸出來確定所輸入的X光照片最可能的投影圖(步驟65，在圖6中為新的步驟)。在本發(fā)明的一個優(yōu)選實施方案中，貝葉斯決定規(guī)則被用于組合來自分類器的結果并且推斷X光照片的投影圖作為具有最大可信度的投影圖。
本發(fā)明可以在例如一個計算機程序產品中被實現。一種計算機程序產品可以包括一個或多個存儲介質，例如，諸如磁盤的磁存儲介質(諸如軟盤)或磁帶；諸如光盤、光帶、或機器可讀取的條形碼的光存儲介質；諸如隨機存儲器(RAM)、或只讀存儲器(ROM)的固態(tài)電子存儲設備；或者任何其它的物理設備或被用于存儲具有控制一個或多個計算機來實踐根據本發(fā)明的方法的指令的計算機程序的介質。
本發(fā)明的系統(tǒng)可以包括一臺具有微處理器、計算機存儲器、和被存儲在所述計算機存儲器中用于執(zhí)行所述方法的步驟的計算機程序的可編程的計算機。所述計算機具有一個可操作地被連接到所述微處理器的存儲器接口。這可以是一個諸如USB端口的端口，通過一個驅動器接受移動式存儲器，或者允許接入照相機存儲器的其它設備。所述系統(tǒng)包括一個具有與所述存儲器接口兼容的存儲器的數字照相機。如果要求，則可以用照相軟片照相機和掃描儀來代替數字照相機?？梢蕴峁┲T如鼠標和鍵盤的圖形用戶接口(GUI)和用戶輸入單元作為計算機的一部分。
已經特別參考現在的優(yōu)選實施方案詳細描述了本發(fā)明，但是，應當理解，在本發(fā)明的精神和范圍內可以進行變化和修改。
權利要求
1.一種用于識別X光照片投影圖的方法，包括步驟選取一個被輸入的X光照片；校正所述X光照片的方位；從所述X光照片中提取感興趣的區(qū)域；以及識別所述X光照片的投影圖。
2.如權利要求1中所述的方法，其中，提取感興趣的區(qū)域的步驟通過下列步驟被完成檢測一個中軸；定位感興趣的區(qū)域的中心；確定感興趣的區(qū)域的大小和形狀；以及提取所述感興趣的區(qū)域。
3.如權利要求2中所述的方法，其中，中軸被檢測的步驟使用歐幾里得距離圖或者通用換算平均分析。
4.如權利要求1中所述的方法，其中，識別所述X光照片的投影圖的步驟通過下列步驟被完成使用一組相應于全部可能的投影圖的被預先訓練的分類器來分類所述X光照片；以及根據所述分類結果確定所述X光照片的投影圖為具有最高可信度的投影圖。
5.如權利要求4中所述的方法，其中，分類所述X光照片的步驟包括步驟從所述感興趣的區(qū)域中提取一組特征；以及通過一組預先被訓練的分類器分類所述X光照片。
6.如權利要求5中所述的方法，其中，一組預先被訓練的分類器通過下列步驟被獲得利用已知的投影圖信息來收集預定數量的訓練圖像；為每個訓練圖像定位一個感興趣的區(qū)域；從每個訓練圖像的感興趣的區(qū)域計算一組特征；聯合一個規(guī)定每個訓練圖像的已知投影圖的目標輸出；基于全部訓練圖像使用主分量分析為每個訓練圖像計算被轉換的特征組；以及利用所述被轉換的特征組和目標輸出來訓練一個分類器。
7.如權利要求1中所述的方法，還包括步驟，在校正所述方位之前，預處理被輸入的X光照片。
8.如權利要求7中所述的方法，其中，預處理所述X光照片的步驟包括步驟子采樣所述X光照片；將所述X光照片分割成前景區(qū)域、背景區(qū)域以及人體區(qū)域；從所述X光照片中消除所述前景和背景區(qū)域以便生成人體圖像；以及根據所述人體區(qū)域的特征來歸一化所述人體圖像。
全文摘要
一種用于識別X光照片投影圖的方法包括步驟校正被輸入的X光照片的方位、在所述X光照片中定位感興趣的區(qū)域、識別所述X光照片的投影圖。
文檔編號G06T7/00GK101065777SQ200580040144
公開日2007年10月31日 申請日期2005年11月21日 優(yōu)先權日2004年11月23日
發(fā)明者H·羅, J·羅 申請人:伊斯曼柯達公司