專利名稱：圖像處理裝置以及圖像處理方法
技術領域：
本發(fā)明涉及對按照時間序列取得的時間序列圖像進行處理的圖像處理裝置以及
圖像處理方法。
背景技術：
作為用于高效觀察大量的時間序列圖像的技術，例如在日本特表2004-521662號 公報中，示出了根據圖像間的相似性使圖像的顯示速率變化的方法。具體而言，根據時間序 列順序鄰近的圖像間的像素值的差等求取圖像間的相似性，在相似性較高、即圖像的變化 較小的情況下，提高圖像的顯示速率以高速進行顯示，在相似性較低、即圖像的變化較大的 情況下，降低圖像的顯示速率以低速進行顯示。 另一方面，在日本特開2006-296569號公報中，示出了根據構成時間序列圖像的
各圖像中的關注區(qū)域(特征區(qū)域)的占有率，變更顯示速率，或設定是否進行顯示的方法。
具體而言，根據圖像的顏色信息等檢測圖像內的關注區(qū)域。此外，在關注區(qū)域在圖像內的占
有率較高的情況下，降低圖像的顯示速率以低速進行顯示，在關注區(qū)域在圖像內的占有率
較低的情況下，提高圖像的顯示速率以高速進行顯示，或設定為不進行圖像的顯示。 在日本特表2004-521662號公報中，不考慮圖像內是否有關注區(qū)域，而根據圖像
整體的相似性使顯示速率變化。因此，即使是觀察的必要性低而不存在關注區(qū)域的圖像，在
時間序列順序鄰近的圖像間的相似性較低的情況下也以低速的顯示速率進行顯示，從而存
在觀察需要多余的時間和精力的問題。另一方面，在日本特開2006-296569號公報中，根據
關注區(qū)域在圖像內的占有率來設定顯示速率等，在關注區(qū)域連續(xù)顯現(xiàn)的情況下，即使在該
圖像間基本沒有變化，也以低速的顯示速率進行顯示，從而還是存在觀察需要多余的時間
和精力的問題。

發(fā)明內容
本發(fā)明一個方式涉及的圖像處理裝置對按照時間序列取得的時間序列圖像進行 處理，其特征在于，上述圖像處理裝置具有關注區(qū)域檢測部，其從構成所述時間序列圖像 的各圖像中檢測關注區(qū)域；區(qū)域分割部，其根據時間序列順序鄰近的多個圖像中的關注區(qū) 域的檢測結果，對所述多個圖像進行區(qū)域分割；圖像間變化量計算部，其根據由所述區(qū)域分 割部進行區(qū)域分割的各區(qū)域中的變化量，計算所述多個圖像的圖像間變化量；以及顯示條 件設定部，其根據所述圖像間變化量設定所述各圖像的顯示條件。 本發(fā)明的另一個方式涉及的圖像處理方法對按照時間序列取得的時間序列圖像 進行處理，其特征在于，上述圖像處理方法包括從構成所述時間序列圖像的各圖像中檢測 關注區(qū)域，根據在時間序列順序鄰近的多個圖像中檢測關注區(qū)域的結果，對所述多個圖像 進行區(qū)域分割，根據所述區(qū)域分割的各區(qū)域中的變化量，計算所述多個圖像的圖像間變化 量，根據所述圖像間變化量設定所述各圖像的顯示條件。 —并參照附圖來閱讀如下的本發(fā)明的詳細說明，可進一步對如上所述內容以及本發(fā)明的其他目的、特征、優(yōu)點和技術上及產業(yè)上的意義加深理解。


圖1是表示包含圖像處理裝置的圖像處理系統(tǒng)的整體構成的概要示意圖。
圖2是表示管腔內圖像的一個例子的示意圖。 圖3是說明圖像處理裝置的功能構成的框圖。 圖4是表示圖像處理裝置進行的處理步驟的整體流程圖。 圖5是表示圖2所示的圖像(管腔內圖像)中的關注區(qū)域檢測結果的示意圖。
圖6是基于圖像I(i)和圖像I(i+l)內的關注區(qū)域檢測結果的區(qū)域分割的說明 圖。 圖7是表示圖像間變化量計算處理的詳細處理步驟的流程圖。
具體實施例方式
下面，參照

本發(fā)明的優(yōu)選實施方式。并且，本發(fā)明不限于該實施方式。另 外，在各附圖的描述中對相同部分標以同一符號進行表示。 圖1是表示包含本實施方式的圖像處理裝置的圖像處理系統(tǒng)的整體構成的概要 示意圖。如圖1所示，圖像處理系統(tǒng)由膠囊內窺鏡3、接收裝置5和圖像處理裝置10等構 成。膠囊內窺鏡3對被檢體1內部的圖像進行拍攝。接收裝置5接收從膠囊內窺鏡3無線 發(fā)送的圖像。圖像處理裝置10根據通過接收裝置5接收的圖像，對通過膠囊內窺鏡3拍攝 到的圖像進行處理并顯示。對于接收裝置5與圖像處理裝置10之間的圖像數(shù)據傳遞，例如 可使用移動式的記錄介質(可移動記錄介質)7。 膠囊內窺鏡3是一邊在管腔內通過一邊按照時間序列依次對管腔內的圖像(管腔 內圖像)進行拍攝的小型攝像機，用于檢查消化管等那樣的體內管腔。該膠囊內窺鏡3從 被檢體1的口中被吞入后導入到被檢體1內部，在體內管腔內一邊移動一邊依次拍攝管腔 內圖像。然后，將拍攝到的管腔內圖像無線發(fā)送到體外。 此處，通過膠囊內窺鏡3拍攝的時間序列的管腔內圖像的張數(shù)用攝像速率(大約 2 4幀/秒)X膠囊內窺鏡的體內停留時間(大約8小時=8X60X60秒)來概略示出， 為5 6萬張。圖2是通過膠囊內窺鏡3拍攝的管腔內圖像的示意圖。如圖2所示，在管 腔內圖像中，以粘膜31為主，偶爾顯現(xiàn)出了內容物33和泡35等。在達到甚至5 6萬張 的時間序列的管腔內圖像中，醫(yī)生一邊關注尤其是粘膜區(qū)域一邊進行觀察，找出粘膜的異 常(病變等)。因此，在這些時間序列的管腔內圖像中需要設定能夠高效觀察粘膜區(qū)域等關 注區(qū)域的變化的、圖像的顯示條件。并且，通過膠囊內窺鏡3拍攝的管腔內圖像通常是在各 像素位置上具有相對于R(紅)、G(綠)、B(藍)各顏色分量的像素水平(像素值)的彩色 圖像。 接收裝置5具有接收用天線Al An，該接收用天線Al An分散配置在與被檢 體1內的膠囊內窺鏡3的通過路徑對應的體表上的位置上。而且，接收裝置5經由各接收 用天線Al An接收從膠囊內窺鏡3無線發(fā)送來的圖像數(shù)據。該接收裝置5構成為能自由 拆裝可移動記錄介質7，將接收到的圖像數(shù)據依次保存在可移動記錄介質7內。這樣，由膠 囊內窺鏡3所拍攝的被檢體1內部的圖像(管腔內圖像)就會通過接收裝置5按照時間序列的順序存儲在可移動記錄介質7內，從而保存為時間序列圖像。 圖像處理裝置10用于由醫(yī)生等觀察、診斷通過膠囊內窺鏡3拍攝的圖像(管腔內 圖像)，通過工作站或個人計算機等通用計算機來實現(xiàn)。該圖像處理裝置10構成為能自由 拆裝可移動記錄介質7，對保存在可移動記錄介質7內的構成時間序列圖像的各圖像進行 處理，例如按照時間序列的順序依次在LCD或EL顯示器等顯示器上顯示。
本實施方式如上所述，從通過膠囊內窺鏡3拍攝的時間序列圖像的各圖像中檢測 關注區(qū)域，根據關注區(qū)域的檢測結果(關注區(qū)域檢測結果)設定各圖像的顯示條件。
此處，所謂"關注區(qū)域"，是指觀察者關注的區(qū)域，即設為觀察對象的區(qū)域，是存在 想要檢測的對象的可能性較高的區(qū)域。以下，作為時間序列圖像，將通過膠囊內窺鏡3拍攝 的時間序列的管腔內圖像作為例子進行說明，但是此時，醫(yī)生想從管腔內圖像中檢測的對 象所存在的區(qū)域成為關注區(qū)域。例如，在想從管腔內圖像中檢測出體內管腔內的內壁的活 體組織(粘膜)異常化的"病變部"的情況下，醫(yī)生關注于有可能存在病變部的粘膜來觀察 管腔內圖像。由此，檢測出病變部的可能性較高的觀察對象的區(qū)域即關注區(qū)域成為粘膜區(qū) 域。 另一方面，所謂"非關注區(qū)域"，是指"關注區(qū)域"以外的區(qū)域，是存在想檢測的對象 的可能性較低的區(qū)域。在上述的管腔內圖像的例子中，除成為"關注區(qū)域"的粘膜區(qū)域以外 的泡或內容物顯現(xiàn)的區(qū)域相當于該"非關注區(qū)域"。 此外，將圖像內的哪個區(qū)域設為關注區(qū)域，哪個設為非關注區(qū)域，根據想檢測的對 象而不同。例如，在觀察管腔內圖像的情況下，在醫(yī)生想檢測"內容物中的異物"的情況下， 檢測出該異物的可能性較高的觀察對象的區(qū)域就是圖像中的內容物顯現(xiàn)的區(qū)域。由此，關 注區(qū)域成為內容物區(qū)域。此外，在這種情況下，除成為關注區(qū)域的內容物區(qū)域以外的粘膜區(qū) 域或泡顯現(xiàn)的區(qū)域成為非關注區(qū)域。 此外，對于實際上圖像內的哪個區(qū)域相當于關注區(qū)域或非關注區(qū)域，是根據表示 各像素的特征的例如顏色和紋理等特征量來確定的。 圖3是說明實施方式1的圖像處理裝置10的功能構成的框圖。在本實施方式中， 圖像處理裝置10具有圖像取得部11、輸入部12、顯示部13、存儲部14、運算部15以及控制 裝置各部分的控制部16。 圖像取得部11取得通過膠囊內窺鏡3拍攝且通過接收裝置5保存在可移動記錄 介質7中的時間序列圖像。例如，圖像取得部11以能自由拆裝的方式安裝可移動記錄介質 7，讀出并取得存儲在所安裝的可移動記錄介質7內的構成時間序列圖像的各圖像的圖像 數(shù)據。該圖像取得部11例如可通過與可移動記錄介質7的種類對應的讀寫裝置來實現(xiàn)。并 且，關于通過膠囊內窺鏡3拍攝的時間序列圖像的取得并不限于使用可移動記錄介質7的 構成。例如既可以構成為代替圖像取得部11而具備硬盤，也可以構成為預先將通過膠囊內 窺鏡3拍攝的時間序列圖像保存在硬盤內?；蛘哌€可以構成為另外設置服務器來代替可 移動記錄介質7，預先將時間序列圖像保存在該服務器內。這種情況下，通過用于與服務器 連接的通信裝置等來構成圖像取得部，經由該圖像取得部與服務器連接，從服務器取得時 間序列圖像。 輸入部12例如可通過鍵盤、鼠標、觸摸面板和各種開關等實現(xiàn)，將與操作輸入對 應的操作信號輸出到控制部16。顯示部13可通過LCD、EL顯示器等顯示裝置來實現(xiàn)，通過控制部16的控制，顯示包含時間序列的管腔內圖像的顯示畫面在內的各種畫面。 存儲部14通過能更新存儲的閃速存儲器等ROM或RAM這樣的各種IC存儲器、內置
的或通過數(shù)據通信端子來連接的硬盤、CD-ROM等信息記錄介質及其讀取裝置等來實現(xiàn)。該
存儲部14存儲有程序以及在該程序執(zhí)行中所使用的數(shù)據等，該程序用于使圖像處理裝置
10進行動作、實現(xiàn)該圖像處理裝置IO具備的各種功能。另外，還存儲有圖像處理程序141，
其用于設定構成時間序列圖像的各圖像的顯示條件。 運算部15可通過CPU等硬件來實現(xiàn)，對通過圖像取得部11取得的時間序列圖像 進行處理，進行用于設定構成時間序列圖像的各圖像的顯示條件的各種運算處理。該運算 部15具有關注區(qū)域檢測部151、區(qū)域分割部152、圖像間變化量計算部153和顯示條件設定 部155。關注區(qū)域檢測部151從通過膠囊內窺鏡拍攝的時間序列圖像的各圖像內檢測關注 區(qū)域。區(qū)域分割部152根據在時間序列上鄰近的多個圖像內檢測關注區(qū)域的檢測結果，對 多個圖像內進行區(qū)域分割。圖像間變化量計算部153根據所分割的區(qū)域中的變化量來計算 圖像間變化量。該圖像間變化量計算部153具有占有率計算部154，該占有率計算部154對 由區(qū)域分割部152所分割的各區(qū)域相對于整個圖像區(qū)域的占有率進行計算。顯示條件設定 部155根據圖像間變化量設定各圖像的顯示條件。 控制部16通過CPU等硬件來實現(xiàn)。該控制部16根據從圖像取得部11輸入的圖 像數(shù)據或從輸入部12輸入的操作信號、以及存儲在存儲部14中的程序和數(shù)據等，對構成圖 像處理裝置10的各部分進行指示和數(shù)據轉送等，統(tǒng)一控制圖像處理裝置10整體的動作。
圖4是表示實施方式1的圖像處理裝置10進行的處理步驟的整體流程圖。此處 所說明的處理是通過由運算部15執(zhí)行存儲在存儲部14中的圖像處理程序141來實現(xiàn)的。 此外，此處示出了對構成從時間序列順序i_start到i_end為止的時間序列圖像的各圖像 I(i_start) I(i_end)進行處理時的流程。 如圖4所示，首先由運算部15將符號i設定為i_Start(步驟SI)，該符號i表示 成為處理對象的圖像在時間序列圖像內的順序。接著，圖像間變化量計算部153將從圖像 I(i-l)到圖像I(i)的圖像間變化量V(i)設為表示圖像的變化較大的預定值(步驟S3)。 此處，i在步驟Sl中首先設定為i—start，因此圖像I(i)成為圖像I(i—start)，成為時間 序列順序是開頭的圖像。因此，圖像I(i-l)實際上不存在。因此，作為從不存在圖像的狀 態(tài)到存在圖像的狀態(tài)的圖像間變化量V(i)而設定如下預定值該預定值預先確定為表示 圖像的變化較大這樣的值。 接著，運算部15取得圖像I(i)和圖像I(i+l)(步驟S5)。在本例中，作為時間序 列順序鄰近的多個圖像，使用了時間序列順序連續(xù)的兩張圖像，但是不一定需要連續(xù)，也可 以使用不連續(xù)的時間序列鄰近的圖像。 接著，關注區(qū)域檢測部151檢測圖像I(i)內和圖像I(i+l)內的關注區(qū)域(步驟 S7)。如上所述，在本實施方式中設想了這樣的情況醫(yī)生關注于管腔內圖像中的粘膜區(qū)域 來進行圖像的觀察。由此，在本例中，將粘膜區(qū)域作為關注區(qū)域進行檢測。此外，粘膜區(qū)域 的檢測方法有各種方法，但是此處，示出根據顏色和紋理的特征量來進行檢測的方法。
首先，對基于顏色特征量的方法進行說明。在基于顏色特征量的方法中，事先取樣 屬于多個圖像內的粘膜區(qū)域的多個像素，求取這些像素的顏色特征量。此處，所謂顏色特征 量，是指成為對象的像素的各顏色分量的像素值、或根據這些像素值并利用已公知的轉換2
7次計算出的值、色差(YCbCr轉換)、色調、明亮度(HIS轉換)和色比(G/R、B/G)等。接著， 計算由取樣的像素的顏色特征量構成的特征矢量Fn二 (fn_l、fn_2、 、fn_k)t。此處，fru j為第n個教師數(shù)據的第j個特征量值，k為特征量的個數(shù)。此外，根據該特征矢量Fn，按 照下式(1)求取平均矢量P和方差協(xié)方差矩陣Z，并記錄在存儲部14中。此處，ND為取樣 數(shù)據的數(shù)量。ju = :2Fn ，Z (Fn _ W(Fn — ^ (1)
ND ^ ND t 此外，根據由處理對象的圖像I(i)和圖像I(i + 1)內的各像素的顏色特征量構成 的特征矢量x二 (x_l、x_2、…、x—k)t、和事先求取并記錄在存儲部14中的平均矢量ii和 方差協(xié)方差矩陣Z，按照下式(2)計算用于判定各像素是粘膜區(qū)域還是粘膜區(qū)域以外的區(qū) 域的判定指標即概率密度P(x)。此外，將P(x)是預定閾值以上的像素作為關注區(qū)域檢測出 來。此處，|Z|為Z的矩陣式，Z—1為Z的逆矩陣。. P(x)= 、」I— ,,, exp!(xi)tx-!Z-、(x一p)1 (2)
(2『x Z
1/2
2 接著，對基于紋理特征量的方法進行說明。在基于紋理特征量的方法中，事先將多 個圖像內分割為預定大小的矩形區(qū)域，取樣多個屬于粘膜區(qū)域的矩形區(qū)域。此外，求取該矩 形區(qū)域的紋理特征量。所謂紋理特征量，是指將像素值的重復圖案數(shù)值化后的值，是已經公 知的頻率特征或共生矩陣等(參考CG-ARTS協(xié)會，亍"< -夕A畫像処理，192P，領域特徴量 (數(shù)字圖像處理，第192頁，區(qū)域特征量))。這些可以使用各顏色分量的像素值來算出，也 可以使用特定的顏色分量或二次計算的值來算出。 接著，計算由取樣的像素的紋理特征量構成的特征矢量Fn = (fn_l、fn_2、一、fn_ k)、此處，fn—j為第n個教師數(shù)據的第j個特征量值，k為特征量的個數(shù)。此外，根據該特 征矢量Fn，按照上式(1)求取平均矢量P和方差協(xié)方差矩陣Z，并記錄在存儲部14中。
接著，將處理圖像的圖像I(i)和圖像I(i+l)內分割為預定大小的矩形區(qū)域，根據 由各矩形區(qū)域的紋理特征量構成的特征矢量x二 (x_l、x_2、…、x—k)t、和事先求取并記錄 在存儲部14中的平均矢量y以及方差協(xié)方差矩陣Z，按照上述的式(2)計算用于判定各 矩形區(qū)域是粘膜區(qū)域還是粘膜區(qū)域以外的區(qū)域的判定指標即概率密度P(x)。此外，將P(x) 為預定閾值以上的矩形區(qū)域(屬于矩形區(qū)域的像素)作為關注區(qū)域檢測出。
圖5是表示圖2所示的圖像(管腔內圖像)中的關注區(qū)域檢測結果的示意圖。如 圖5所示，通過此處的處理，將圖2所示的粘膜31顯現(xiàn)的區(qū)域檢測為關注區(qū)域All ;另一方 面，將圖2所示的內容物33或泡35顯現(xiàn)的區(qū)域檢測為不是關注區(qū)域的非關注區(qū)域A131和 A133。 以上，在本例中，示出了根據像素值的顏色特征量或矩形區(qū)域的紋理特征量并使 用概率密度函數(shù)來檢測粘膜區(qū)域的方法，但是檢測方法根據設為對象的關注區(qū)域而不同。 總之，只要能夠檢測圖像內的關注區(qū)域即可，因此也可以用本例以外的方法進行檢測。
接著，如圖4所示，區(qū)域分割部152將圖像I(i)和圖像I(i+l)內分割例如為第一 區(qū)域、第二區(qū)域和第三區(qū)域(步驟S9)。此處，第一區(qū)域是在圖像I(i)和圖像I(i+l)內檢 測關注區(qū)域的檢測結果是沿著時間序列一直為關注區(qū)域的區(qū)域的稱呼。第二區(qū)域是從非關注區(qū)域變成關注區(qū)域的區(qū)域的稱呼。第三區(qū)域是包括從關注區(qū)域變成非關注區(qū)域的區(qū)域或 一直為非關注區(qū)域的區(qū)域的稱呼。 圖6是基于圖像I(i)和圖像I(i+l)內的關注區(qū)域檢測結果的區(qū)域分割的說明 圖。圖6(a)是圖像I(i)的關注區(qū)域檢測結果的例子，圖6(b)是圖像I(i+l)的關注區(qū)域 檢測結果的例子。并且，圖6(c)是基于圖6(a)、圖6(b)的關注區(qū)域檢測結果的區(qū)域分割的 結果的例子。此外，在圖6(c)中，用虛線表示在圖像I(i)內檢測到的關注區(qū)域的輪廓線， 用實線表示在圖像I(i+l)內檢測到的關注區(qū)域的輪廓線。通過此處的處理，如圖6(c)所 示，圖像I (i)和圖像I (i+l)內被分割為第一區(qū)域A31、第二區(qū)域A33和兩個第三區(qū)域A351、 A353。 作為實際處理，準備與圖像I(i)相同大小的、用于記錄區(qū)域分割的信息的標記圖 像。此外，在標記圖像內的各像素的坐標上，參照處于與該坐標相同的坐標上的圖像I(i) 內的像素和圖像I(i+l)的像素是關注區(qū)域還是非關注區(qū)域，同時針對標記圖像內的成為 對象的像素設定標記值。具體而言，針對標記圖像內的成為對象的像素，對一直為關注區(qū)域 的像素設定表示第一區(qū)域的標記值，對從非關注區(qū)域變成關注區(qū)域的像素設定表示第二區(qū) 域的標記值，對從關注區(qū)域變成非關注區(qū)域的像素或一直為非關注區(qū)域的像素設定表示第 三區(qū)域的標記值。 接著，如圖4所示，占有率計算部154分別計算所分割的第一 第三區(qū)域相對于 整個圖像區(qū)域的占有率(步驟Sll)。具體而言，在標記圖像中，求取屬于第一區(qū)域的像素 數(shù)量，設為面積Areaj。并且，在標記圖像中，求取屬于第二區(qū)域的像素數(shù)量，設為面積 Area_2。并且，在標記圖像中，求取屬于第三區(qū)域的像素數(shù)量，設為面積Area_3。然后，根 據這些面積Area_l、 Area_2和Area_3，按照下式(3) (5)，分別計算第一區(qū)域的占有率 Occj、第二區(qū)域的占有率Occ_2和第三區(qū)域的占有率Occ_3。<formula>formula see original document page 9</formula> 接著，圖像間變化量計算部153進行圖像間變化量計算處理，計算圖像I(i)和圖 像l(i+l)之間的圖像間變化量V(i+l)(步驟S13)。圖7是表示圖像間變化量計算處理的 詳細處理步驟的流程圖。 此處，在成為第一區(qū)域的一直是關注區(qū)域的區(qū)域中，應該將該區(qū)域中的圖像變化 反映為圖像間變化量。因此，如圖7所示，在圖像間變化量計算處理中，首先，圖像間變化量 計算部153計算第一區(qū)域中的圖像I (i)和圖像I (i+l)之間的變化量Vaj (步驟S131)。對 于變化量的計算方法，具有多種方法，此處示出基于圖像間的第一區(qū)域的相似度或差異度、 移動量和統(tǒng)計量變化的方法。 首先，對基于相似度或差異度的方法進行說明。此處，所謂相似度，是指表示比較 對象的區(qū)域的相似性的指標。此外，所謂差異度，是指表示比較對象的區(qū)域的差異性的指標。因此，通過下式(6)計算屬于圖像I(i)和圖像I(i+l)內的第一區(qū)域的像素的像素值 之差的平方和SSD。其中，在下式(6)中，PI(i)(x， y)是圖像I(i)的坐標(x， y)的像素值。 各圖像具有相對于R(紅)、G(綠)和B(藍)的各顏色分量的像素值，因此SSD的值也能夠 通過各顏色分量來計算。因此，求取各顏色分量的SSD的合計值或平均值，將該值設為第一 區(qū)域中的變化量Va_l。 SSD=E (PI(i+1)(x，y)-PI(i)(X，y))2 (6)
{(X，y) ￡第一區(qū)域} 此外，也可以使用下式(7)所示的像素值之差的絕對值和SAD、下式(8)所示的歸 一化互相關值NCC等來代替SSD。此外，在NCC的情況下，值成為-1 1的范圍，圖像的變 化越少則值越大，因此需要進行反轉符號等的處理。
SAD = E I PI(i+1) (x， y) _PI(i) (x， y) {(x，y) ￡第一區(qū)域}
I!(P,)(x， y)xPI(i)(x, y》 Vi;(P,)(x， y)2x2Xi)(x， y)2
{(X，y) ￡第一區(qū)域}
接著，對基于移動量的方法進行說明。此處，所謂移動
NCC
(7)
(8)
:，是指在不同的時刻拍攝
的兩張圖像間進行了相同對象的對應時的坐標的變化量。因此，在圖像i(i)的第一區(qū)域內 設定多個預定大小的矩形區(qū)域，將各矩形區(qū)域作為模板，在圖像i(i+i)內，進行已經公知
的模板匹配處理。(參考CG-ARTS協(xié)會，亍"< -夕A畫像処理，192P，于> :/ ^ 一卜"？ 7乎 >夕"(數(shù)字圖像處理，第192頁，模板匹配))。 此外，在模板匹配中，計算圖像間的相似度或差異度，但是在用各顏色分量進行計 算后求取平均值，設為最終的相似度或差異度即可。此外，對于匹配的搜索范圍，以各模板 的中心坐標為中心，考慮拍攝速率和攝像對象的運動速度來進行設定即可。此外，為了高速 化，也可以使用從粗略到細致的搜索方法、余量逐次檢測法等(參考CG-ARTS協(xié)會，于、-夕^畫像処理，206P，高速探索法(數(shù)字圖像處理，第206頁，高速搜索法))。
結果，能夠得到相對于各模板的圖像I (i+l)內的最相似的區(qū)域的坐標、和此時的 相似度或差異度。此外，通過求取從圖像I(i)處的各模板的中心坐標開始分別到最相似的 圖像I(i+l)內的區(qū)域的中心坐標為止的矢量，能夠得到相對于在圖像I(i)的第一區(qū)域內 設定的各矩形區(qū)域的移動量。求取所得到的移動量的長度的最大值或平均值，將該值設為 第一區(qū)域中的變化量Vaj。此外，關于匹配時的相似度較低的模板或差異度較高的模板，相 同對象不對應的可能性較高，因此也可以根據變化量計算將其排除。 接著，對基于統(tǒng)計量變化的方法進行說明。此處統(tǒng)計量，是指比較對象的區(qū)域內的 像素值的平均值、方差值、偏斜系數(shù)、尖銳度和直方圖等。例如，通過下式(9)計算作為屬 于圖像I(i)和圖像I(i+1)內的第一區(qū)域的像素的統(tǒng)計量而分別得到的數(shù)值Stat的差D— Euclid，將該值設為第一區(qū)域中的變化量Vaj。其中，StatKi)d為屬于圖像I(i)的第一區(qū) 域的像素的第d個統(tǒng)計量，D為統(tǒng)計量的個數(shù)。D—Euclid = 、|^(Sta《i+1) — Sta"w)2
(9)
d=0
此外，在將區(qū)域內的像素值的平均和方差設為統(tǒng)計量的情況下，用R(紅)、G(綠)、 B(藍)的各顏色分量逐個進行計算，因此加在一起成為三個統(tǒng)計量。此外，在直方圖的情 況下，在R(紅)、G(綠)、B(藍)各顏色分量中的各階級數(shù)為n_edge的情況下，成為3Xn_ edge的統(tǒng)計量。此外，也可以進行歸一化以使各統(tǒng)計量能取得的范圍互相一致，或對各統(tǒng)計 量乘上加權系數(shù)來進行計算。 以上，示出了對第一區(qū)域中的圖像I(i)和圖像I(i+l)之間的變化量Vaj進行計 算的方法，但是總而言之，只要是能夠得到與區(qū)域間的變化對應的數(shù)值即可，也可以用本例 以外的方法進行計算。 此外，在本例中，示出了使用R (紅)、G (綠)、B (藍)的所有顏色分量進行處理的 方法，但是也可以僅使用圖像的變化鮮明的顏色分量進行處理。例如，在管腔內圖像中，靠 近血液的吸收頻帶，感光度和分辨率高的G分量具有很好表示圖像信息的傾向。由此，也可 以僅使用G分量進行上述處理。此外，也可以使用利用各像素值并通過已公知的轉換2次 計算出的值，例如基于YCbCr轉換的亮度、色差，基于HIS轉換的色調、明亮度和明度等進行 處理。 在計算出相對于第一區(qū)域的變化量Vaj后，如圖7所示，接著由圖像間變化量計 算部153將第二區(qū)域中的圖像I(i)和圖像I(i+l)之間的變化量Va—2設為表示圖像的變 化較大的預定值(步驟S133)。在成為第二區(qū)域的從非關注區(qū)域變?yōu)殛P注區(qū)域的區(qū)域中，由 于新出現(xiàn)了應該關注的區(qū)域，待觀察的圖像的變化變大。因此，在第一區(qū)域中要計算的變化 量Vaj(相似度或差異度、移動量、統(tǒng)計量差)中，預先確定表示圖像的變化較大的預定值， 將該預定值設為第二區(qū)域的變化量Va—2。例如，在集中了圖像的變化從小到大的預定值的 多個樣本圖像組中，事先確認上述式(6)所示的SSD從min SSD(圖像的變化較小的狀態(tài)) 變成maxSSD(圖像的變化較大的狀態(tài))的值。此外，作為第二區(qū)域的變化量Va_2，設定表示 圖像的變化較大的max SSD。 此外，在關注區(qū)域和非關注區(qū)域中，在前述的相似度或差異度、移動量、統(tǒng)計量變 化中也產生差異，因此也可以如本例那樣不設定預定值，而仿照第一區(qū)域中的方法，求取第 二區(qū)域的變化量Va—2。但是，在設為預定值的情況下，能夠縮短變化量計算所花費的處理時 間。 在計算出相對于第二區(qū)域的變化量Va—2后，如圖7所示，接著由圖像間變化量計 算部153將第三區(qū)域中的圖像I(i)和圖像I(i+l)間的變化量Va—3設為表示圖像的變化 較小的預定值(步驟S135)。在成為第三區(qū)域的從關注區(qū)域變?yōu)榉顷P注區(qū)域的區(qū)域和一直 為非關注區(qū)域的區(qū)域中，結果是變成非關注區(qū)域，因此，即使具有圖像的變化，也不是應該 觀察的圖像的變化。因此，在第一區(qū)域中計算出的變化量Vaj(相似度或差異度、移動量、 統(tǒng)計量差)中，預先確定表示圖像的變化較小的預定值，將該預定值設為第三區(qū)域的變化 量Va—3。在前述的SSD的例子中，設定表示圖像的變化較小的min SSD。
接著，圖像間變化量計算部153根據針對第一 第三區(qū)域分別計算的占有率和變 化量，計算圖像間變化量V(i+l)(步驟S137)。具體而言，按照下式(10)，將第一 第三區(qū) 域的變化量Vaj、2、3分別乘以了對應的第一 第三區(qū)域的占有率0ccJ、2、3后的值的總 和作為圖像間變化量V(i+l)而計算出。 V(i+1) = 0cc_lXVa_l+0cc_2XVa_2+0cc_3XVa_3 (10)
11
此外，在本例中，示出了根據占有率對各區(qū)域的變化量進行加權平均來計算圖像 間變化量的方法，但是也可以是以下方法等通過圖像間的運算來求取第一區(qū)域和第二區(qū) 域的變化量，將較大的值設為圖像間變化量。此時，在存在局部具有變化的區(qū)域的情況下， 能夠計算反映了該變化的圖像間變化量。 接著，如圖4所示，運算部15將表示成為處理對象的圖像的時間序列順序的符號 設為i = i+l (步驟S15)，判定是否有下一個處理對象圖像。如果i《i_end(步驟S17 : 是)，則將下一個圖像作為處理對象，進行步驟S5 S15的處理。另一方面，在步驟S17的 判定結果為否的情況下，轉移到步驟S19。 此外，在本例中，在步驟S15中使符號i遞增后的圖像I(i)相當于遞增前的圖 像l(i+l)。由此，步驟S5、S7中的相對于圖像I(i)的處理已經作為相對于遞增前的圖像 I(i+1)的處理而被執(zhí)行。因此，也可以在存儲部14中預先記錄遞增前的結果，在遞增后進 行讀出來使用。 接著，顯示條件設定部155根據圖像間變化量，設定各圖像的顯示條件(步驟 S19)。在本例中，作為圖像的顯示條件，示出設定各圖像的顯示時間的方法、和設定是否顯 示各圖像的方法。 首先，對設定各圖像的顯示時間的方法進行說明。已經通過步驟S3 S17的處理 而計算出的圖像間變化量V(i) (i = i_Start i_end)是考慮了各圖像的關注區(qū)域的圖像 間變化量。由此，越是該圖像間變化量大的圖像，越增長顯示時間即可。但是，越增長顯示 時間，觀察時間也越長。實際上，事先確定觀察者能夠充分確認圖像的顯示時間max T，并與 此結合即可。另一方面，越是圖像間變化量小的圖像，越能縮短顯示時間。但是，顯示時間 的最小值是根據顯示裝置的性能來確定的值。此處，假設將顯示時間的最小值設為min T。
此夕卜，對圖像間變化量V(i)也設定表示值的范圍的最小值min V和最大值max V。 該min V和max V例如也可以事先求取成為樣本的幾個時間序列圖像中的圖像間變化量， 根據所求取的圖像間變化量并以經驗來設定?；蛘?，將通過步驟S3 S17的處理而計算出 的圖像間變化量V(i) (i = i_start i_end)中的最小值和最大值分別用作min V和max V。 此外，根據max T、min T、max V、min V和圖像間變化量V(i)，按照下式(11)計算 各圖像的顯示時間T(i)。由此，能夠在min T maxT間設定與圖像間變化量V(i)的大小 對應的顯示時間。
<formula>formula see original document page 12</formula> 此外，在本例中，圖像間變化量V(i)和顯示時間T(i)用式(11)所示的線性函數(shù) 對應起來，但是相互關系可以用遞增函數(shù)對應起來，也可以用其他非線性的函數(shù)對應起來。
接著，對設定是否顯示各圖像的方法進行說明。在通過設定前述的顯示時間的方 法對所有圖像的顯示時間進行設定的情況下，即使是基本沒有變化的圖像也以最短顯示時 間min T進行顯示。因此，為了更高效地觀察，對基本沒有變化的圖像設定不進行顯示那樣 的顯示條件。具體而言，設定為僅顯示圖像間變化量V(i)成為事先確定的預定閾值以上 的圖像，其他圖像設定為不進行顯示。 另一方面，作為想以預定張數(shù)掌握時間序列圖像的概要的情況下的顯示條件，還能夠設定為按照圖像間變化量從大到小的順序顯示預定張數(shù)的圖像。實際上，例如首先通 過公知的排序算法按降序來排列圖像間變化量V(i) (i = i_start i_end)。此外，求取用 于從值較大的圖像中剩下預定張數(shù)的閾值，設定成僅顯示成為該閾值以上的圖像，其他圖 像設定為不進行顯示。 此外，在本例中，單獨說明了設定各圖像的顯示時間的方法、和是否顯示各圖像的 方法，但是也可以是如下的合成方法針對通過設定是否顯示各圖像的方法設定為顯示的 圖像，設定顯示時間。 此外，最后如圖4所示，運算部15輸出在步驟S19中針對構成時間序列圖像的各 圖像輸出所設定的顯示條件(步驟S21)，之后，結束圖像處理裝置10的運算部15中的處理。 時間序列圖像的顯示不限于在圖像處理裝置10中進行的情況，也可以構成為用 例如專用的顯示裝置等其他的裝置進行顯示。此時，在步驟S21中，將所設定的各圖像的顯 示條件輸出到對應的裝置。此外，沒有必要在即將顯示時間序列圖像之前進行各圖像的顯 示時間的設定。此時，在步驟S21中，將例如在步驟S19中設定的各圖像的顯示條件輸出到 存儲部14或可移動記錄介質7，與該圖像關聯(lián)地存儲。此外，在指示了時間序列圖像的顯示 的情況下，參照存儲在存儲部14或可移動記錄介質7中的顯示條件來顯示各圖像。
此外，代替步驟S21的處理，也可以按照在步驟19中設定的顯示條件進行在顯示 部13上顯示各圖像的處理。S卩，如果是在步驟S19中設定了各圖像的顯示時間的情況，則 針對從時間序列順序i_Start到i—end為止的各圖像，進行按照其各自的顯示時間沿時間 序列順序依次在顯示部13上顯示的處理?；蛘?，如果是在步驟19中設定了是否顯示各圖 像的情況，則進行如下處理按照時間序列順序依次在顯示部13上顯示設定為進行顯示的 圖像。 如以上所說明的那樣，根據實施方式l，能夠在時間序列順序鄰近的多個圖像間計 算與各圖像內的關注區(qū)域對應的圖像間變化量，根據該圖像間變化量設定各圖像的顯示時 間。由此，能夠適當設定構成時間序列圖像的各圖像的顯示條件，能夠高效觀察大量的時間 序列圖像。 此外，在上述實施方式中，示出了這樣的例子作為相對于時間序列圖像的最初的 圖像I(i—start)的圖像間變化量V(i—start)，設定表示圖像的變化較大的預定值。但是， 在最初的圖像中基本上不存在關注區(qū)域的情況下，設定表示圖像的變化較大的預定值未必 適合。由此，也可以分別計算最初的圖像中的關注區(qū)域和非關注區(qū)域的占有率。此外，也可 以將關注區(qū)域中的變化量設為表示圖像的變化較大的預定值，將非關注區(qū)域中的變化量設 為表示圖像的變化較小的預定值，按照每個區(qū)域將占有率和變化量相乘所得的值的總和作 為圖像間變化量求取出。 此外，在上述實施方式中，以觀察通過膠囊內窺鏡3拍攝的時間序列的管腔內圖 像的情況為例，對設定時間序列圖像的各圖像的顯示條件的情況進行了說明，但是不限于 此，也能夠作為如下圖像處理裝置廣泛利用該圖像處理裝置處理由多個圖像構成的時間 序列圖像，設定各圖像的顯示條件。 例如，能夠適用于用監(jiān)視照相機觀察所拍攝的時間序列的監(jiān)視圖像的情況。此處， 在適用于監(jiān)視圖像的情況下，如果監(jiān)視者想檢測的對象為"人物的異常動作"，則檢測出異常動作的可能性高的觀察對象的區(qū)域為顯現(xiàn)人物的區(qū)域(人物區(qū)域)。由此，此時的"關注 區(qū)域"成為人物區(qū)域。此外，成為"關注區(qū)域"的人物區(qū)域以外的例如顯現(xiàn)背景構造物的區(qū) 域成為"非關注區(qū)域"。此外，在監(jiān)視者想在監(jiān)視對象中檢測出的對象為"背景構造物的變 化"的情況下，檢測出該"背景構造物的變化"的可能性高的觀察對象的區(qū)域為顯現(xiàn)背景構 造物的區(qū)域(背景構造物區(qū)域)。由此，此時的"關注區(qū)域"成為背景構造物區(qū)域，成為該 "關注區(qū)域"的背景構造物區(qū)域以外的例如人物區(qū)域成為"非關注區(qū)域"。
此外，在上述實施方式中，對關注區(qū)域檢測部151根據顏色和紋理等的特征量來 檢測關注區(qū)域的情況進行了說明。與此相對，也可以構成為用戶經由輸入部12指定顯現(xiàn)在 圖像內的關注區(qū)域。此時，在圖像處理裝置10中，例如控制部16進行如下處理在顯示部 13上顯示圖像中的關注區(qū)域和非關注區(qū)域的至少任意一個的指定委托的通知。此外，響應 該指定委托的通知，將用戶選擇例如圖像上的范圍等并指定的區(qū)域設定為關注區(qū)域和/或 非關注區(qū)域。 此外，也可以根據用戶進行的圖像中的關注區(qū)域和非關注區(qū)域的至少任意一個的 指定，在圖像中設定多個區(qū)域。例如，也可以構成為在由用戶指定了圖像中的一個關注區(qū) 域的情況下，針對圖像設定該關注區(qū)域和除此以外的區(qū)域(例如非關注區(qū)域)這兩個區(qū)域。 或者，也可以構成為在由用戶指定了圖像中的一個非關注區(qū)域的情況下，針對圖像設定該 非關注區(qū)域和除此以外的區(qū)域(例如關注區(qū)域)這兩個區(qū)域。 此外，能夠針對一張圖像進行指定的關注區(qū)域的數(shù)量可以是一個，也可以是多個。 同樣地，能夠針對一張圖像進行指定的非關注區(qū)域的數(shù)量可以是一個，也可以是多個。
根據本發(fā)明，能夠根據時間序列鄰近的多個圖像內的關注區(qū)域的檢測結果對該多 個圖像內進行區(qū)域分割，根據各區(qū)域中的變化量計算多個圖像間的圖像間變化量。此外，能 夠根據所計算的圖像間變化量設定各圖像的顯示條件。由此，能夠適當設定構成時間序列 圖像的各圖像的顯示條件，能夠高效觀察大量的時間序列圖像。
權利要求
一種圖像處理裝置，其對按照時間序列取得的時間序列圖像進行處理，其特征在于，上述圖像處理裝置具有關注區(qū)域檢測部，其從構成所述時間序列圖像的各圖像中檢測關注區(qū)域；區(qū)域分割部，其根據時間序列順序鄰近的多個圖像中的關注區(qū)域的檢測結果，對所述多個圖像進行區(qū)域分割；圖像間變化量計算部，其根據由所述區(qū)域分割部進行區(qū)域分割的各區(qū)域中的變化量，計算所述多個圖像的圖像間變化量；以及顯示條件設定部，其根據所述圖像間變化量設定所述各圖像的顯示條件。
2. 根據權利要求1所述的圖像處理裝置，其特征在于，所述區(qū)域分割部將所述多個圖 像分割為包括所述關注區(qū)域的檢測結果是沿著時間序列一直為關注區(qū)域的區(qū)域、關注區(qū)域 以外的區(qū)域即一直為非關注區(qū)域的區(qū)域、從關注區(qū)域變成非關注區(qū)域的區(qū)域、以及從非關 注區(qū)域變成關注區(qū)域的區(qū)域中的至少一個在內的區(qū)域。
3. 根據權利要求2所述的圖像處理裝置，其特征在于，所述圖像間變化量計算部將從 非關注區(qū)域變成關注區(qū)域的區(qū)域中的變化量、和從關注區(qū)域變成非關注區(qū)域的區(qū)域中的變 化量以及一直為非關注區(qū)域的區(qū)域中的變化量的至少任意一個作為預定值來計算所述圖 像間變化量。
4. 根據權利要求3所述的圖像處理裝置，其特征在于，所述圖像間變化量計算部將從 非關注區(qū)域變成關注區(qū)域的區(qū)域中的變化量作為表示圖像的變化較大的預定值來計算所 述圖像間變化量。
5. 根據權利要求3所述的圖像處理裝置，其特征在于，所述圖像間變化量計算部將從 關注區(qū)域變成非關注區(qū)域的區(qū)域和一直為非關注區(qū)域的區(qū)域中的變化量作為表示圖像的 變化較小的預定值來計算所述圖像間變化量。
6. 根據權利要求1所述的圖像處理裝置，其特征在于，所述圖像間變化量計算部根據 所述多個圖像之間的所述各區(qū)域的相似度、差異度、移動量和統(tǒng)計量變化中的任意一個，計 算所述各區(qū)域中的變化量。
7. 根據權利要求1所述的圖像處理裝置，其特征在于，所述圖像間變化量計算部具有 占有率計算部，該占有率計算部對所述各區(qū)域相對于全部圖像區(qū)域的占有率進行計算，所述圖像間變化量計算部根據所述各區(qū)域中的變化量和所述各區(qū)域的占有率計算所述圖像 間變化量。
8. 根據權利要求7所述的圖像處理裝置，其特征在于，所述圖像間變化量計算部將所 述各區(qū)域中的變化量乘以所述各區(qū)域的占有率所得的值的總和作為所述圖像間變化量來 計算。
9. 根據權利要求1所述的圖像處理裝置，其特征在于，所述顯示條件設定部根據所述 圖像間變化量計算所述各圖像的顯示時間。
10. 根據權利要求1所述的圖像處理裝置，其特征在于，所述顯示條件設定部根據所述 圖像間變化量設定是否顯示所述各圖像。
11. 根據權利要求IO所述的圖像處理裝置，其特征在于，所述顯示條件設定部設定為 顯示所述圖像間變化量比預先設定的預定閾值大的圖像。
12. 根據權利要求10所述的圖像處理裝置，其特征在于，所述顯示條件設定部設定為顯示按照所述圖像間變化量從大到小的順序預先設定的預定張數(shù)的圖像。
13. 根據權利要求1所述的圖像處理裝置，其特征在于，構成所述時間序列圖像的各圖 像為體內管腔內圖像。
14. 根據權利要求13所述的圖像處理裝置，其特征在于，所述關注區(qū)域是顯現(xiàn)有體內管腔內的內壁的活體組織區(qū)域。
15. —種圖像處理方法，其對按照時間序列取得的時間序列圖像進行處理，其特征在 于，上述圖像處理方法包括從構成所述時間序列圖像的各圖像中檢測關注區(qū)域，根據時間序列順序鄰近的多個圖像中的關注區(qū)域的檢測結果，對所述多個圖像進行區(qū) 域分割，根據所述區(qū)域分割的各區(qū)域中的變化量，計算所述多個圖像的圖像間變化量， 根據所述圖像間變化量設定所述各圖像的顯示條件。
全文摘要
本發(fā)明提供一種圖像處理裝置以及圖像處理方法。圖像處理裝置(10)具有關注區(qū)域檢測部(151)，其從構成按照時間序列取得的時間序列圖像的各圖像中檢測關注區(qū)域；區(qū)域分割部(152)，其根據時間序列順序鄰近的多個圖像中的關注區(qū)域的檢測結果，對多個圖像進行區(qū)域分割；圖像間變化量計算部(153)，其根據由區(qū)域分割部(152)進行區(qū)域分割的各區(qū)域中的變化量，計算多個圖像的圖像間變化量；以及顯示條件設定部(155)，其根據圖像間變化量設定各圖像的顯示條件。
文檔編號G06T7/20GK101751680SQ20091025407
公開日2010年6月23日 申請日期2009年12月16日 優(yōu)先權日2008年12月16日
發(fā)明者神田大和 申請人:奧林巴斯株式會社