本發(fā)明涉及從通過(guò)拍攝活體的管腔內(nèi)而取得的圖像組中提取代表圖像的圖像處理裝置、圖像處理方法以及圖像處理程序。

背景技術(shù)：

已知以下技術(shù)：從通過(guò)使用內(nèi)窺鏡或膠囊型內(nèi)窺鏡等醫(yī)用觀察裝置按照時(shí)間序列順序拍攝活體的管腔內(nèi)而取得的一系列的圖像組(以下，也稱作管腔內(nèi)圖像組)中，提取拍攝有異常區(qū)域等關(guān)注區(qū)域的圖像作為代表圖像。用戶通過(guò)觀察從圖像組中提取出的代表圖像，能夠減輕詳細(xì)觀察大量圖像的負(fù)擔(dān)，并能夠進(jìn)行正確且高效的診斷。

例如在專利文獻(xiàn)1中公開(kāi)了以下圖像處理裝置：從按照時(shí)間序列順序取得的管腔內(nèi)圖像組中檢測(cè)關(guān)注區(qū)域，根據(jù)檢測(cè)出的各個(gè)關(guān)注區(qū)域的特征量，將在時(shí)間序列上相鄰且特征量類似的關(guān)注區(qū)域分類為相同的組，根據(jù)特征量的平均值，從分類為各個(gè)組的關(guān)注區(qū)域中選出該組的代表區(qū)域，將包含選出的代表區(qū)域的圖像作為代表圖像輸出。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開(kāi)2011-24727號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明所要解決的課題

如膠囊型內(nèi)窺鏡那樣，在使用攝像方向頻繁發(fā)生變化的醫(yī)用觀察裝置進(jìn)行了拍攝的情況下，雖然在時(shí)間序列中接近的管腔內(nèi)圖像之間拍攝有相同的關(guān)注區(qū)域，但是有時(shí)關(guān)注區(qū)域的位置、形狀或顏色發(fā)生較大變化，或者相同的關(guān)注區(qū)域從視野中消失或再次出現(xiàn)。例如浮游出血那樣，在將不具有特定形狀的異常設(shè)為關(guān)注區(qū)域的情況下，關(guān)注區(qū)域的形狀頻繁發(fā)生變化的情況較多。

當(dāng)針對(duì)這樣的管腔內(nèi)圖像組使用在上述專利文獻(xiàn)1中公開(kāi)的技術(shù)時(shí)，有時(shí)會(huì)將位置、形狀或顏色發(fā)生較大變化的關(guān)注區(qū)域判斷為不同的關(guān)注區(qū)域，分類到不同的組中。其結(jié)果，有可能連續(xù)提取出拍攝有相同的關(guān)注區(qū)域的關(guān)注圖像作為代表圖像。

本發(fā)明正是鑒于上述問(wèn)題而作出的，其目的在于提供在從按照時(shí)間序列順序拍攝活體的管腔內(nèi)而取得的一系列的圖像組中提取代表圖像的情況下，能夠抑制連續(xù)提取拍攝有相同的關(guān)注區(qū)域的關(guān)注圖像作為代表圖像的情況的圖像處理裝置、圖像處理方法以及圖像處理程序。

用于解決課題的手段

為了解決上述課題、實(shí)現(xiàn)目的，本發(fā)明的圖像處理裝置的特征在于，具有：檢測(cè)單元，其從通過(guò)依次拍攝活體的管腔內(nèi)而取得的一系列的圖像組中，檢測(cè)包含被估計(jì)為檢測(cè)對(duì)象的區(qū)域即關(guān)注區(qū)域的關(guān)注圖像；大局類似度計(jì)算單元，其計(jì)算不同的關(guān)注圖像之間，至少包含除了所述關(guān)注區(qū)域以外的區(qū)域的區(qū)域之間的類似度即大局類似度；關(guān)注圖像組提取單元，其根據(jù)所述大局類似度或者基于該大局類似度的判別參數(shù)與閾值之間的比較，提取包含相同的關(guān)注區(qū)域的關(guān)注圖像組；以及代表圖像提取單元，其從所述關(guān)注圖像組中提取代表圖像。

本發(fā)明的根據(jù)通過(guò)依次拍攝活體的管腔內(nèi)而取得并記錄在記錄部中的一系列的圖像組的圖像數(shù)據(jù)來(lái)使計(jì)算機(jī)具備的運(yùn)算部執(zhí)行的圖像處理方法，其特征在于，所述圖像處理方法包含：檢測(cè)步驟，從所述一系列的圖像組中檢測(cè)包含關(guān)注區(qū)域的關(guān)注圖像；大局類似度計(jì)算步驟，計(jì)算在不同的關(guān)注圖像之間至少包含除了所述關(guān)注區(qū)域以外的區(qū)域的區(qū)域之間的類似度即大局類似度；關(guān)注圖像組提取步驟，根據(jù)所述大局類似度或者基于該大局類似度的判別參數(shù)與閾值之間的比較，提取包含相同的關(guān)注區(qū)域的關(guān)注圖像組；以及代表圖像提取步驟，從所述關(guān)注圖像組中提取代表圖像。

本發(fā)明的圖像處理程序的特征在于，使計(jì)算機(jī)執(zhí)行以下步驟：檢測(cè)步驟，從通過(guò)依次拍攝活體的管腔內(nèi)而取得的一系列的圖像組中檢測(cè)包含關(guān)注區(qū)域的關(guān)注圖像；大局類似度計(jì)算步驟，計(jì)算在不同的關(guān)注圖像之間至少包含除了所述關(guān)注區(qū)域以外的區(qū)域的區(qū)域之間的類似度即大局類似度；關(guān)注圖像組提取步驟，根據(jù)所述大局類似度或者基于該大局類似度的判別參數(shù)與閾值之間的比較，提取包含相同的關(guān)注區(qū)域的關(guān)注圖像組；以及代表圖像提取步驟，從所述關(guān)注圖像組中提取代表圖像。

發(fā)明效果

根據(jù)本發(fā)明，由于根據(jù)關(guān)注圖像之間的大局類似度，對(duì)于從一系列的圖像組中檢測(cè)出的關(guān)注圖像提取關(guān)注圖像組，所以能夠抑制連續(xù)提取拍攝有相同的異常區(qū)域的異常圖像作為代表圖像。

附圖說(shuō)明

圖1是示出本發(fā)明實(shí)施方式1的圖像處理裝置的結(jié)構(gòu)的框圖。

圖2是示出圖1所示的圖像處理裝置的動(dòng)作的流程圖。

圖3是示出按照時(shí)間序列順序取得的一系列的管腔內(nèi)圖像的示意圖。

圖4是示出由圖1所示的大局類似度計(jì)算部執(zhí)行的大局類似度計(jì)算處理的流程圖。

圖5是用于說(shuō)明由圖1所示的大局類似度計(jì)算部執(zhí)行的大局類似度計(jì)算處理的示意圖。

圖6是用于說(shuō)明本發(fā)明實(shí)施方式1的變形例1-1的大局類似度計(jì)算處理的示意圖。

圖7是示出本發(fā)明實(shí)施方式2的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。

圖8是示出本發(fā)明實(shí)施方式2的圖像處理裝置的動(dòng)作的流程圖。

圖9是示出由圖7所示的異常圖像組提取部執(zhí)行的異常圖像組提取處理的流程圖。

圖10是用于說(shuō)明由圖7所示的異常圖像組提取部執(zhí)行的異常圖像組的提取處理的示意圖。

圖11是示出本發(fā)明實(shí)施方式2的變形例2的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。

圖12是示出由圖11所示的代表圖像提取部執(zhí)行的代表圖像提取處理的流程圖。

圖13是示出本發(fā)明實(shí)施方式3的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。

圖14是示出本發(fā)明的實(shí)施方式3的圖像處理裝置的動(dòng)作的流程圖。

圖15是示出由圖13所示的異常圖像組提取部執(zhí)行的異常圖像組的提取處理的流程圖。

圖16是示出圖13所示的異常分類部的另一個(gè)結(jié)構(gòu)例的框圖。

圖17是示出圖13所示的異常分類部的另一其它結(jié)構(gòu)例的框圖。

圖18是示出本發(fā)明實(shí)施方式4的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。

圖19是示出本發(fā)明的實(shí)施方式4的圖像處理裝置的動(dòng)作的流程圖。

圖20是示出由圖18所示的異常圖像組提取部執(zhí)行的異常圖像組的提取處理的流程圖。

圖21是示出本發(fā)明實(shí)施方式5的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。

圖22是示出本發(fā)明的實(shí)施方式5的圖像處理裝置的動(dòng)作的流程圖。

圖23是示出由圖21所示的異常圖像組提取部執(zhí)行的異常圖像組的提取處理的流程圖。

圖24是示出本實(shí)施方式5的變形例5-3中的異常圖像組的提取處理的流程圖。

具體實(shí)施方式

以下，參照附圖說(shuō)明本發(fā)明的實(shí)施方式的圖像處理裝置、圖像處理方法以及圖像處理程序。另外，本發(fā)明不受這些實(shí)施方式限定。另外，在各附圖的記載中，對(duì)相同部分標(biāo)注相同標(biāo)號(hào)來(lái)示出。

(實(shí)施方式1)

圖1是示出本發(fā)明實(shí)施方式1的圖像處理裝置的框圖。實(shí)施方式1的圖像處理裝置1是以下裝置：從通過(guò)膠囊型內(nèi)窺鏡等醫(yī)用觀察裝置依次拍攝作為被檢體的活體的管腔內(nèi)而取得的一系列的圖像組中，提取包含被估計(jì)為檢測(cè)對(duì)象的關(guān)注區(qū)域的圖像(關(guān)注圖像)組，從提取出的關(guān)注圖像組中進(jìn)一步提取代表圖像。拍攝有活體的管腔內(nèi)的圖像(也稱作管腔內(nèi)圖像)通常是在各個(gè)像素位置處對(duì)于R(紅)、G(綠)、B(藍(lán))的波長(zhǎng)成分具有像素級(jí)(像素值)的彩色圖像。在以下的說(shuō)明中，對(duì)于檢測(cè)出血、發(fā)紅、口瘡、潰瘍等異常區(qū)域作為關(guān)注區(qū)域，從包含這些異常區(qū)域的關(guān)注圖像(異常圖像)組中提取代表圖像的情況進(jìn)行說(shuō)明，但是關(guān)注區(qū)域不限定于上述例示的異常區(qū)域。

如圖1所示，圖像處理裝置1具有：控制部10，其控制該圖像處理裝置1整體的動(dòng)作；圖像取得部20，其取得與通過(guò)膠囊內(nèi)窺鏡等醫(yī)用觀察裝置拍攝的管腔內(nèi)圖像對(duì)應(yīng)的圖像數(shù)據(jù)；輸入部30，其將與來(lái)自外部的操作對(duì)應(yīng)的信號(hào)輸入到控制部10；顯示部40，其進(jìn)行各種信息和圖像的顯示；記錄部50，其存儲(chǔ)由圖像取得部20取得的圖像數(shù)據(jù)和各種程序；以及運(yùn)算部100，其對(duì)圖像數(shù)據(jù)執(zhí)行規(guī)定的圖像處理。

控制部10由CPU等硬件來(lái)實(shí)現(xiàn)，其通過(guò)讀入記錄在記錄部50中的各種程序，根據(jù)從圖像取得部20輸入的圖像數(shù)據(jù)和從輸入部30輸入的信號(hào)等，向構(gòu)成圖像處理裝置1的各部進(jìn)行指示或者數(shù)據(jù)傳送等，統(tǒng)一控制整個(gè)圖像處理裝置1的動(dòng)作。

圖像取得部20根據(jù)包含對(duì)被檢體內(nèi)進(jìn)行拍攝的膠囊型內(nèi)窺鏡的系統(tǒng)的方式而適當(dāng)構(gòu)成。例如，在使用與膠囊型內(nèi)窺鏡之間交換圖像數(shù)據(jù)的可移動(dòng)型記錄介質(zhì)的情況下，圖像取得部20由拆裝自如地安裝該記錄介質(zhì)并讀出已記錄的圖像的圖像數(shù)據(jù)的讀出裝置構(gòu)成。此外，在設(shè)置預(yù)先保存由膠囊型內(nèi)窺鏡拍攝的圖像的圖像數(shù)據(jù)的服務(wù)器的情況下，圖像取得部20由與服務(wù)器連接的通信裝置等構(gòu)成，并與服務(wù)器進(jìn)行數(shù)據(jù)通信來(lái)取得圖像數(shù)據(jù)。

輸入部30通過(guò)例如鍵盤、鼠標(biāo)、觸摸面板及各種開(kāi)關(guān)等輸入器件來(lái)實(shí)現(xiàn)，其將根據(jù)針對(duì)這些輸入設(shè)備的來(lái)自外部的操作而產(chǎn)生的輸入信號(hào)輸出到控制部10。

顯示部40由LCD或EL顯示器等顯示裝置來(lái)實(shí)現(xiàn)，在控制部10的控制下，顯示包含管腔內(nèi)圖像在內(nèi)的各種畫(huà)面。

記錄部50由可更新記錄的閃存等ROM或RAM這樣的各種IC存儲(chǔ)器、內(nèi)置或者利用數(shù)據(jù)通信端子連接的硬盤、或者CD-ROM等信息記錄裝置及其讀取裝置等來(lái)實(shí)現(xiàn)。記錄部50除了存儲(chǔ)由圖像取得部20取得的管腔內(nèi)圖像的圖像數(shù)據(jù)以外，還存儲(chǔ)用于使圖像處理裝置1動(dòng)作并使該圖像處理裝置1執(zhí)行各種功能的程序、以及在該程序的執(zhí)行中使用的數(shù)據(jù)等。具體而言，記錄部50存儲(chǔ)圖像處理程序51、在檢測(cè)異常區(qū)域時(shí)使用的判別基準(zhǔn)和在提取代表圖像時(shí)使用的判別基準(zhǔn)等，其中，該圖像處理程序51使該圖像處理裝置1執(zhí)行以下圖像處理：從管腔內(nèi)圖像中檢測(cè)出血、發(fā)紅、口瘡、潰瘍等異常區(qū)域，從包含這些異常區(qū)域的圖像(異常圖像)中提取包含相同的異常區(qū)域的異常圖像組，從各個(gè)異常圖像組中提取代表圖像。

運(yùn)算部100由CPU等硬件來(lái)實(shí)現(xiàn)，通過(guò)讀入圖像處理程序51，進(jìn)行以下圖像處理：從管腔內(nèi)圖像中提取包含相同的異常區(qū)域的異常圖像組，從各個(gè)異常圖像組中提取代表圖像。

接著，對(duì)運(yùn)算部100的結(jié)構(gòu)進(jìn)行說(shuō)明。如圖1所示，運(yùn)算部100具有；檢測(cè)部110，其從一系列的管腔內(nèi)圖像組中檢測(cè)包含異常區(qū)域的異常圖像；大局類似度計(jì)算部120，其計(jì)算不同的異常圖像之間的整體上的類似度即大局類似度；異常圖像組提取部130，其根據(jù)大局類似度，從由檢測(cè)部110檢測(cè)出的異常圖像中提取包含相同的異常區(qū)域的異常圖像組；以及代表圖像提取部140，其從提取出的各個(gè)異常圖像組中提取代表圖像。

檢測(cè)部110根據(jù)管腔內(nèi)圖像的各種特征量來(lái)檢測(cè)異常區(qū)域。在實(shí)施方式1中，對(duì)于根據(jù)管腔內(nèi)圖像的顏色特征量(顏色信息)來(lái)檢測(cè)異常區(qū)域的例子進(jìn)行說(shuō)明。這里，出血、發(fā)紅或血管異常等異常區(qū)域示出紅色調(diào)的特定顏色，潰瘍或口瘡等異常區(qū)域示出白色調(diào)的特定顏色。因此，檢測(cè)部110可以使用像素值的各個(gè)顏色成分(R成分、G成分、B成分)和根據(jù)這些各個(gè)顏色成分通過(guò)公知的轉(zhuǎn)換而2元地計(jì)算出的值(例如，通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、通過(guò)HSI轉(zhuǎn)換計(jì)算出的色相、飽和度、G/R、B/G等顏色比等)這樣的顏色特征量，檢測(cè)管腔內(nèi)圖像內(nèi)的示出特定顏色的區(qū)域，設(shè)該區(qū)域?yàn)楫惓^(qū)域。更詳細(xì)而言，根據(jù)預(yù)先收集的各種異常區(qū)域的顏色特征量，預(yù)先制作異常區(qū)域的判別基準(zhǔn)(顏色范圍)，并記錄到記錄部50中。然后，在從管腔內(nèi)圖像中檢測(cè)異常區(qū)域時(shí)，從記錄部50讀出該判別基準(zhǔn)，并且對(duì)于構(gòu)成管腔內(nèi)圖像的各個(gè)像素計(jì)算顏色特征量，通過(guò)將各個(gè)像素的顏色特征量與判別基準(zhǔn)進(jìn)行比較，從該管腔內(nèi)圖像中檢測(cè)異常區(qū)域。

另外，異常區(qū)域的檢測(cè)方法不限定于上述的檢測(cè)方法，只要能夠檢測(cè)異常區(qū)域，則可應(yīng)用公知的各種方法。例如，可以使用基于與代表性的顏色特征量之間的特征空間距離的方法等。此外，雖然在上述說(shuō)明中，使用以構(gòu)成管腔內(nèi)圖像的像素為單位的顏色特征量來(lái)檢測(cè)出異常區(qū)域，但是也可以根據(jù)圖像內(nèi)的邊緣信息等將管腔內(nèi)圖像分割為小區(qū)域，使用以小區(qū)域?yàn)閱挝坏念伾卣髁縼?lái)檢測(cè)異常區(qū)域。并且，可以使用除顏色特征量以外的形狀特征量或紋理特征量來(lái)檢測(cè)異常區(qū)域。

大局類似度計(jì)算部120計(jì)算在相互不同的異常圖像之間，至少包含除異常區(qū)域以外的區(qū)域的區(qū)域、即包含異常區(qū)域的背景的區(qū)域之間的類似度作為大局類似度。

異常圖像組提取部130是以下的關(guān)注圖像組提取單元：根據(jù)由大局類似度計(jì)算部120計(jì)算出的大局類似度，提取包含由檢測(cè)部110檢測(cè)出的異常區(qū)域中的相同的異常區(qū)域的圖像作為一個(gè)異常圖像組。

代表圖像提取部140分別從包含相同的異常區(qū)域的異常圖像組中提取代表圖像。代表圖像的提取方法未特別限定，可以僅是提取異常圖像組的時(shí)間序列上的開(kāi)頭的圖像或中央的圖像作為代表圖像，也可以提取包含在圖像診斷上重要度高的異常區(qū)域的異常圖像和異常區(qū)域的視覺(jué)辨認(rèn)性良好的異常圖像作為代表圖像。能夠根據(jù)例如異常區(qū)域的顏色特征量、形狀特征量、紋理特征量等，判別異常區(qū)域的重要度和視覺(jué)辨認(rèn)性。

接著，對(duì)圖1所示的圖像處理裝置1的動(dòng)作進(jìn)行說(shuō)明。圖2是示出圖像處理裝置1的動(dòng)作的流程圖。首先，在步驟S10中，圖像處理裝置1經(jīng)由圖像取得部20取得按照時(shí)間序列順序拍攝的一系列的管腔內(nèi)圖像的圖像數(shù)據(jù)，并記錄到記錄部50中。

在接下來(lái)的步驟S11中，檢測(cè)部110依次讀出記錄在記錄部50中的管腔內(nèi)圖像的圖像數(shù)據(jù)，從各個(gè)管腔內(nèi)圖像中檢測(cè)異常區(qū)域，提取包含異常區(qū)域的異常圖像。具體而言，檢測(cè)部110讀出預(yù)先記錄在記錄部50中的異常區(qū)域的判別基準(zhǔn)，通過(guò)將構(gòu)成各個(gè)管腔內(nèi)圖像的各個(gè)像素的顏色特征量與該判別基準(zhǔn)進(jìn)行比較，來(lái)檢測(cè)異常區(qū)域。

圖3是示出按照時(shí)間序列順序取得的一系列的管腔內(nèi)圖像的示意圖。這里，下標(biāo)i(i＝1、2、……)表示各個(gè)管腔內(nèi)圖像在時(shí)間序列上的排列順序(拍攝順序)，并與圖像編號(hào)對(duì)應(yīng)。通過(guò)步驟S11的處理，檢測(cè)出異常區(qū)域A_i(i＝t1～t1+4、t2、t2+2、t2+4)，提取包含各個(gè)異常區(qū)域A_i的管腔內(nèi)圖像Ii。以下，將包含異常區(qū)域A_i的管腔內(nèi)圖像I_i記作異常圖像I_i，也將僅由沿著時(shí)間序列(拍攝順序)排列的異常圖像I_i構(gòu)成的圖像列稱作異常圖像列。

在接下來(lái)的步驟S12中，大局類似度計(jì)算部120對(duì)于在步驟S11中提取出的各個(gè)異常圖像，計(jì)算在異常圖像列中相鄰的異常圖像之間的大局類似度。在例如圖3的情況下，計(jì)算作為在異常圖像列中相鄰的異常圖像，即異常圖像I_t1與I_t1+1、異常圖像I_t1+1與I_t1+2、異常圖像I_t1+2與I_t1+3、異常圖像I_t1+3與I_t1+4、異常圖像I_t1+4與I_t2、異常圖像I_t2與I_t2+2、異常圖像I_t2+2與I_t2+4的各個(gè)組合的大局類似度。

在實(shí)施方式1中，說(shuō)明計(jì)算異常區(qū)域的背景區(qū)域之間的類似度作為大局類似度的例子。圖4是示出在步驟S12中由大局類似度計(jì)算部120執(zhí)行的大局類似度計(jì)算處理的流程圖。此外，圖5是用于說(shuō)明大局類似度計(jì)算處理的示意圖。

如圖5所示，假設(shè)從在異常圖像列中相鄰的異常圖像I_k、I_k’(k、k’為k<k’的自然數(shù))中分別檢測(cè)異常區(qū)域A_k、A_k’。在該情況下，在圖4所示的步驟S101中，大局類似度計(jì)算部120從各個(gè)異常圖像I_k、I_k’中分別提取除異常區(qū)域A_k、A_k’以外的區(qū)域、即非異常區(qū)域B_k、B_k’作為背景區(qū)域。

在接下來(lái)的步驟S102中，大局類似度計(jì)算部120分別計(jì)算背景區(qū)域、即非異常區(qū)域B_k、B_k’的特征量c_k、c_k’。作為特征量c_k、c_k’，可以舉出構(gòu)成非異常區(qū)域B_k、B_k’的像素的像素值(亮度值或G成分的值)的平均值或者中央值等統(tǒng)計(jì)量、構(gòu)成非異常區(qū)域B_k、B_k’的像素的顏色特征量(使用R成分、G成分、B成分的各個(gè)值，通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、通過(guò)HSI轉(zhuǎn)換計(jì)算出的色相、飽和度、G/R、B/G等顏色比等)的平均值或者中央值等統(tǒng)計(jì)量、非異常區(qū)域B_k、B_k’的形狀特征量(面積或圓形度等)、構(gòu)成非異常區(qū)域B_k、B_k’的各個(gè)像素的紋理特征量(使用索貝爾濾波器或拉普拉斯濾波器等計(jì)算的邊緣量等)的平均值或者中央值等統(tǒng)計(jì)量等。

在接下來(lái)的步驟S103中，大局類似度計(jì)算部120計(jì)算在異常圖像列中相鄰的異常圖像I_k、I_k’之間的非異常區(qū)域B_k、B_k’的特征量c_k、c_k’的變化量Δc(Δc＝c_k-c_k’)。

在接下來(lái)的步驟S104中，大局類似度計(jì)算部120使用特征量的最大值c_max和變化量Δc來(lái)計(jì)算通過(guò)下式(1)給出的大局類似度s_global。

s_global＝(c_max－Δc)/c_max……(1)

在式(1)中，特征量的特征量的最大值c_max是特征量c_k、c_k’能夠采用的最大的值。在對(duì)于例如256灰度的異常圖像I_k、I_k’，計(jì)算像素值(G成分的值)的統(tǒng)計(jì)值作為特征量c_k、c_k’的情況下，最大值c_max是256。此外，在計(jì)算圓形度作為特征量c_k、c_k’的情況下，最大值c_max是1。然后，圖像處理裝置1的動(dòng)作返回到主例程。

在接著步驟S12的步驟S13中，異常圖像組提取部130根據(jù)在步驟S12中計(jì)算出的大局類似度s_global，從在步驟S11中提取出的異常圖像中提取包含相同的異常區(qū)域的異常圖像組。詳細(xì)來(lái)說(shuō)，異常圖像組提取部130將大局類似度s_global為規(guī)定閾值以上的異常圖像彼此判定為包含相同的異常區(qū)域的異常圖像。相反地，將大局類似度s_global小于等于規(guī)定閾值的異常圖像彼此判定為不包含相同的異常區(qū)域的異常圖像。然后，異常圖像組提取部130提取包含相同的異常區(qū)域的異常圖像，作為1個(gè)異常圖像組。

例如，在圖3中，在判定為異常圖像I_t1與I_t1+1、異常圖像I_t1+1與I_t1+2、異常圖像I_t1+2與I_t1+3、和異常圖像I_t1+3與I_t1+4分別包含相同的異常區(qū)域的情況下，提取這些異常圖像I_t1、I_t1+1、I_t1+2、I_t1+3、I_t1+4作為1個(gè)異常圖像組G_t1。此外，在判定為異常圖像I_t1+4和I_t2不包含相同的異常區(qū)域的情況下，不提取異常圖像I_t2作為與異常圖像I_t1+4相同的異常圖像組。并且，在判定為異常圖像I_t2與I_t2+2、異常圖像I_t2+2與I_t2+4分別包含相同的異常區(qū)域的情況下，提取這些異常圖像I_t2、I_t2+2、I_t2+4作為1個(gè)異圖像組G_t2。

在接下來(lái)的步驟S14中，代表圖像提取部140從在步驟S13中提取出的各個(gè)異常圖像組中提取代表圖像。提取的代表圖像的數(shù)量可以是常數(shù)(例如，從各個(gè)異常圖像組中提取1張)，也可以根據(jù)包含于異常圖像組中的異常圖像的張數(shù)來(lái)確定(例如，異常圖像的張數(shù)的α倍、0<α<1)。另外，在后者的情況下，假設(shè)在代表圖像的張數(shù)不足1張時(shí)，提取至少1張代表圖像?；蛘?，不指定要提取的代表圖像的數(shù)量，可以提取滿足規(guī)定基準(zhǔn)的全部異常圖像(例如，顏色特征量為規(guī)定閾值以上的異常圖像)作為代表圖像。

代表圖像的提取方法沒(méi)有特別限定。例如，可以提取各個(gè)異常圖像組的時(shí)間序列順序上的開(kāi)頭的圖像或中央的圖像作為代表圖像?；蛘?，可以根據(jù)各個(gè)異常圖像組中的相同的異常區(qū)域的顏色特征量來(lái)提取。具體而言，在異常區(qū)域示出紅色調(diào)的特定顏色的情況下，優(yōu)先提取異常區(qū)域的紅色強(qiáng)的異常圖像作為代表圖像，在異常區(qū)域示出白色調(diào)的特定顏色的情況下，優(yōu)先提取異常區(qū)域的白色強(qiáng)的異常圖像作為代表圖像。此外，可以優(yōu)先提取異常區(qū)域的面積大的異常圖像或異常區(qū)域的位置靠近中央的異常圖像作為代表圖像。

在接下來(lái)的步驟S15中，運(yùn)算部100輸出表示在步驟S14中從各個(gè)異常圖像組中提取出的代表圖像的信息作為代表圖像的提取結(jié)果。與此相應(yīng)，記錄部50在作為代表圖像提取出的管腔內(nèi)圖像的圖像數(shù)據(jù)中附加表示是代表圖像的意思的信息(標(biāo)記)。

如以上所說(shuō)明那樣，根據(jù)本發(fā)明的實(shí)施方式1，由于根據(jù)包含異常圖像內(nèi)的背景區(qū)域的區(qū)域之間的大局類似度來(lái)提取異常圖像組，所以即使在由于拍攝異常區(qū)域時(shí)的狀況而導(dǎo)致異常區(qū)域的位置、形狀或顏色在異常圖像之間發(fā)生較大變化，或者，異常區(qū)域一瞬間從視野偏離且異常圖像彼此在時(shí)間序列上遠(yuǎn)離這樣的情況下，也能夠提取這些異常圖像作為相同的異常圖像組。所以，能夠抑制連續(xù)提取拍攝有相同的異常區(qū)域的異常圖像作為代表圖像的情況。因此，通過(guò)網(wǎng)羅檢測(cè)出的全部異常，同時(shí)觀察提取張數(shù)得到抑制的代表圖像，用戶能夠進(jìn)行正確且高效的診斷。

(變形例1-1)

接著，說(shuō)明本發(fā)明實(shí)施方式1的變形例1-1。

在計(jì)算大局類似度時(shí)從各個(gè)異常圖像中提取的背景區(qū)域可以不是整個(gè)非異常區(qū)域。例如，可以提取拍攝有異常圖像內(nèi)的粘膜的區(qū)域(粘膜區(qū)域)作為背景區(qū)域，計(jì)算該粘膜區(qū)域之間的大局類似度。

能夠使用預(yù)先制成的判別基準(zhǔn)，提取粘膜區(qū)域。判別基準(zhǔn)根據(jù)在管腔內(nèi)圖像中拍攝的出血、殘?jiān)?、泡、光暈、暗部等非粘膜區(qū)域的顏色特征量(像素值的R成分、G成分、B成分的值、根據(jù)這些各個(gè)顏色成分的值而通過(guò)公知的轉(zhuǎn)換而2元地計(jì)算出的值(通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、通過(guò)HSI轉(zhuǎn)換計(jì)算出的色相、飽和度、G/R、B/G等顏色比等))、形狀特征量(HOG(Histogramsof Oriented Gradients：直方圖梯度方向)、面積、周長(zhǎng)、費(fèi)雷特直徑等形狀信息)或紋理特征量(LBP(Local Binary Pattern：局部二值模式)、同時(shí)歸一矩陣等)的特征量分布，通過(guò)SVM(support vector machines：支持向量機(jī))等學(xué)習(xí)機(jī)來(lái)制作，并預(yù)先記錄到記錄部50中。

圖6是用于說(shuō)明變形例1-1的大局類似度計(jì)算處理(參照?qǐng)D2的步驟S12和圖4)的示意圖。在該情況下，在步驟S101中，大局類似度計(jì)算部120從記錄部50讀出用于判別粘膜區(qū)域的判別基準(zhǔn)，通過(guò)將對(duì)于構(gòu)成異常圖像的各個(gè)像素計(jì)算出的特征量與判別基準(zhǔn)進(jìn)行比較，提取粘膜區(qū)域。由此，如圖6所示，從在異常圖像列中相鄰的異常圖像I_k、I_k’中分別提取除了出血等異常區(qū)域A_k、A_k’和泡等無(wú)用區(qū)域C_k、C_k’以外的粘膜區(qū)域D_k、D_k’。

大局類似度計(jì)算部120將該粘膜區(qū)域D_k、D_k’作為背景區(qū)域計(jì)算特征量c_k、c_k’(參照步驟S102)，使用該特征量的最大值c_max和變化量Δc，計(jì)算通過(guò)式(1)給出的大局類似度s_global(參照步驟S103、S104)。

如以上所說(shuō)明那樣，根據(jù)變形例1-1，由于計(jì)算異常圖像之間的粘膜區(qū)域之間的大局類似度，所以能夠抑制由于如出血、殘?jiān)⑴?、光暈和暗部那樣局部發(fā)生的現(xiàn)象引起的影響，并提取包含相同的異常區(qū)域的異常圖像組。

(變形例1-2)

接著，說(shuō)明本發(fā)明實(shí)施方式1的變形例1-2。

大局類似度不僅可以根據(jù)背景區(qū)域，還可以根據(jù)包含異常區(qū)域的區(qū)域的特征量來(lái)進(jìn)行計(jì)算。具體而言，可以根據(jù)包含異常區(qū)域和非異常區(qū)域的整個(gè)異常圖像的特征量來(lái)計(jì)算大局類似度?；蛘?，可以使用從整個(gè)異常圖像中去除了殘?jiān)?、泡、光暈、暗部等無(wú)用區(qū)域(除診斷中的檢測(cè)對(duì)象以外的區(qū)域)以外的區(qū)域的特征量來(lái)計(jì)算大局類似度。無(wú)論哪一種情況，大局類似度只要是針對(duì)至少包含非異常區(qū)域的區(qū)域彼此計(jì)算出的即可。

(變形例1-3)

接著，說(shuō)明本發(fā)明實(shí)施方式1的變形例1-3。

異常圖像之間的大局類似度可以根據(jù)在異常圖像中拍攝到的臟器的種類來(lái)確定。以下，說(shuō)明基于臟器的種類的大局類似度的確定方法。

首先，判別在各個(gè)異常圖像中拍攝到的臟器的種類。能夠使用公知的各種方法，來(lái)判別臟器的種類。以下，作為一個(gè)例子，說(shuō)明在日本特開(kāi)2006-288612號(hào)公報(bào)中公開(kāi)的方法。首先，預(yù)先確定拍攝有管腔內(nèi)的各個(gè)臟器(食道、胃、小腸和大腸)的圖像中的R、G、B各個(gè)顏色成分(顏色要素)的數(shù)值范圍。然后，計(jì)算構(gòu)成異常圖像的各個(gè)像素的R成分、G成分和B成分的值的各自的平均值，并與預(yù)先確定的各個(gè)臟器的顏色成分的數(shù)值范圍進(jìn)行比較。其結(jié)果，如果針對(duì)異常圖像計(jì)算出的每個(gè)顏色成分的平均值在預(yù)先確定的食道的顏色成分的數(shù)值范圍內(nèi)，則判別為在該異常圖像中拍攝的臟器是食道。同樣，如果針對(duì)異常圖像計(jì)算出的每個(gè)顏色成分的平均值在預(yù)先確定的胃的顏色成分的數(shù)值范圍內(nèi)，則判別為在該異常圖像中拍攝的臟器是胃，如果在小腸的顏色成分的數(shù)值范圍內(nèi)，則判別為在該異常圖像中拍攝的臟器是小腸，如果在大腸的顏色成分的數(shù)值范圍內(nèi)，則判別為在該異常圖像中拍攝的臟器是大腸。

大局類似度計(jì)算部120根據(jù)針對(duì)各個(gè)異常圖像判別出的臟器的種類來(lái)確定大局類似度。具體而言，在異常圖像列中相鄰的異常圖像之間，如果臟器的種類相同，則將類似度確定為1.0。另一方面，在異常圖像列中相鄰的異常圖像之間，在臟器的種類不同的情況下，將類似度確定為0.0。

另外，臟器的種類也可以由用戶進(jìn)行判別。具體而言，通過(guò)運(yùn)算部100中的圖像處理，計(jì)算一系列的管腔內(nèi)圖像各自的平均顏色，制作按照管腔內(nèi)圖像的排列順序(時(shí)間序列順序)排列這些平均顏色的彩條并顯示在顯示部40中。該彩條上的平均顏色的交替位置(邊界)與一系列的管腔內(nèi)圖像中的臟器的邊界對(duì)應(yīng)。因此，在根據(jù)針對(duì)輸入部30的用戶操作而從輸入部30向控制部10輸入了選擇彩條上的特定的點(diǎn)的信號(hào)后，控制部10將與該點(diǎn)對(duì)應(yīng)的管腔內(nèi)圖像的圖像編號(hào)輸入到運(yùn)算部100。運(yùn)算部100以與所輸入的圖像編號(hào)對(duì)應(yīng)的管腔內(nèi)圖像為臟器的邊界，確定在各個(gè)管腔內(nèi)圖像中拍攝的臟器的種類。大局類似度計(jì)算部120根據(jù)檢測(cè)出異常區(qū)域的管腔內(nèi)圖像的臟器的種類來(lái)確定大局類似度。

(變形例1-4)

接著，說(shuō)明本發(fā)明實(shí)施方式2的變形例1-4。

運(yùn)算部100可以在步驟S10中取得圖像數(shù)據(jù)以后，對(duì)一系列的管腔內(nèi)圖像整體進(jìn)行臟器的種類的判別處理。另外，臟器的種類的判別方法與變形例1-3相同，可以進(jìn)行自動(dòng)判別，也可以由用戶手動(dòng)進(jìn)行判別。

在該情況下，運(yùn)算部100對(duì)于拍攝有檢查對(duì)象的臟器(例如小腸)的管腔內(nèi)圖像執(zhí)行上述的步驟S11～S14的處理(參照?qǐng)D2)。另一方面，運(yùn)算部100對(duì)于拍攝有除檢查對(duì)象以外的臟器(例如食道、胃、大腸)的管腔內(nèi)圖像，在通過(guò)檢測(cè)異常區(qū)域而提取了異常圖像以后，按照例如異常區(qū)域的紅色從強(qiáng)到弱的順序或者異常區(qū)域的白色從強(qiáng)到弱的順序，提取規(guī)定張數(shù)的異常圖像(例如10張等少量)，作為代表圖像進(jìn)行輸出。另外，紅色的強(qiáng)度能夠通過(guò)顏色比G/R來(lái)表示，顏色比G/R越小，則表示紅色越強(qiáng)。此外，白色的強(qiáng)度能夠通過(guò)顏色比G/R和B/G來(lái)表示，顏色比G/R和B/G均越大，則表示白色越強(qiáng)?；蛘?，運(yùn)算部100不對(duì)拍攝有除檢查對(duì)象以外的臟器的管腔內(nèi)圖像進(jìn)行異常區(qū)域的檢測(cè)，而可以根據(jù)各個(gè)管腔內(nèi)圖像的顏色特征量(上述的顏色比等)，提取規(guī)定張數(shù)(例如10張等少量)的管腔內(nèi)圖像作為代表圖像。并且，運(yùn)算部100也可以不從拍攝有除檢查對(duì)象以外的臟器的管腔內(nèi)圖像中進(jìn)行代表圖像的提取。

(實(shí)施方式2)

接著，對(duì)本發(fā)明的實(shí)施方式2進(jìn)行說(shuō)明。

圖7是示出本發(fā)明實(shí)施方式2的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。實(shí)施方式2的圖像處理裝置替代圖1所示的運(yùn)算部100而具有圖7所示的運(yùn)算部200。除運(yùn)算部200以外的各部分的結(jié)構(gòu)和動(dòng)作與實(shí)施方式1相同。

運(yùn)算部200具有：檢測(cè)部110、位置信息取得部210、大局類似度計(jì)算部120、異常圖像組提取部220和代表圖像提取部140。其中，檢測(cè)部110、大局類似度計(jì)算部120和代表圖像提取部140的動(dòng)作與實(shí)施方式1相同。

位置信息取得部210取得各個(gè)異常圖像I_i的一系列的管腔內(nèi)圖像(參照?qǐng)D3)的時(shí)間序列上的排列順序(拍攝順序)或者表示該排列順序的圖像編號(hào)或者各個(gè)異常圖像I_i的拍攝時(shí)刻，作為該異常圖像I_i的時(shí)間序列上的位置信息。這里，當(dāng)設(shè)在一系列的管腔內(nèi)圖像的拍攝中使用的膠囊型內(nèi)窺鏡的平均行進(jìn)速度為v(例如，1mm/秒)、拍攝幀率為F(例如，2張/秒)時(shí)，能夠?qū)⒐芮粌?nèi)圖像(異常圖像)I_i的拍攝位置估計(jì)為從一系列的管腔內(nèi)圖像的拍攝開(kāi)始位置(例如，口腔內(nèi))行進(jìn)了距離i·v/F(mm)后的位置。此外，即使使用拍攝時(shí)刻，同樣也能夠估計(jì)膠囊型內(nèi)窺鏡的位置。因此，能夠?qū)⒐芮粌?nèi)圖像的排列順序、圖像編號(hào)和拍攝時(shí)刻作為異常圖像I_i的位置信息進(jìn)行處理。

異常圖像組提取部220根據(jù)由位置信息取得部210取得的位置信息和由大局類似度計(jì)算部120計(jì)算出的大局類似度，提取包含相同的異常區(qū)域的異常圖像組。

接著，對(duì)實(shí)施方式2的圖像處理裝置的動(dòng)作進(jìn)行說(shuō)明。圖8是示出實(shí)施方式2的圖像處理裝置的動(dòng)作的流程圖。另外，圖8所示的步驟S10和S11與實(shí)施方式1相同(參照?qǐng)D2)。

在接著步驟S11的步驟S21中，位置信息取得部210取得在步驟S11中提取出的異常圖像的時(shí)間序列上的位置信息。具體而言，取得異常圖像I_i的拍攝時(shí)刻或者排列順序i作為位置信息。

在接下來(lái)的步驟S22中，大局類似度計(jì)算部120計(jì)算在異常圖像列中相鄰的異常圖像之間的大局類似度。大局類似度的計(jì)算方法與實(shí)施方式1相同(參照?qǐng)D4和圖5)?；蛘撸梢耘c變形例1-1～1-3同樣地計(jì)算大局類似度。

在接下來(lái)的步驟S23中，異常圖像組提取部220根據(jù)在步驟S21中取得的位置信息和在步驟S22中計(jì)算出的大局類似度，提取包含相同的異常區(qū)域的異常圖像組。

圖9是示出在步驟S23中由異常圖像組提取部220執(zhí)行的異常圖像組的提取處理的流程圖。此外，圖10是用于說(shuō)明異常圖像組的提取處理的示意圖。異常圖像組提取部220對(duì)在步驟S11中提取出的各個(gè)異常圖像執(zhí)行循環(huán)A的處理。

首先，在步驟S201中，異常圖像組提取部220對(duì)于處理對(duì)象的異常圖像I_k(k為自然數(shù))，計(jì)算與在異常圖像列中相鄰的異常圖像I_k’(k’為k<k’的自然數(shù))之間的拍攝時(shí)刻T(I_k)、T(I_k’)的差分ΔT(＝T(I_k’)－T(I_k))、即經(jīng)過(guò)時(shí)間。

在接下來(lái)的步驟S202中，異常圖像組提取部220判定在步驟S201中計(jì)算出的拍攝時(shí)刻的差分ΔT是否為規(guī)定閾值th1以下。

在拍攝時(shí)刻的差分ΔT為閾值th1以下的情況下(步驟S202：是)，接著，異常圖像組提取部220判定該異常圖像I_k、I_k’之間的大局類似度s_global是否為規(guī)定閾值th2以上(步驟S203)。

在大局類似度s_global為閾值th2以上的情況下(步驟S203：是)，異常圖像組提取部220判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’包含相同的異常區(qū)域(步驟S204)。

例如圖10所示的異常圖像I_t1與異常圖像I_t1+1那樣，在按照時(shí)間序列相鄰的情況下(ΔT1<th1)，如果大局類似度s_global為閾值th2以上，則判定為這些異常圖像I_t1、I_t1+1包含相同的異常區(qū)域。此外，即使是如異常圖像I_t2和異常圖像I_t2+2那樣在管腔內(nèi)圖像組I_i(i＝1、2、……)中按照時(shí)間序列未直接相鄰的情況下，如果拍攝時(shí)刻的差分ΔT2為閾值th1以下，則將大局類似度s_global在閾值th2以上作為條件，判定為這些異常圖像I_t2、I_t2+2包含相同的異常區(qū)域。

另一方面，在步驟S202中拍攝時(shí)刻的差分ΔT大于閾值th1的情況下(步驟S202：否)、或者在步驟S203中大局類似度s_global小于閾值th2的情況下(步驟S203：否)，異常圖像組提取部220判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’不包含相同的異常區(qū)域(步驟S205)。在例如圖10的情況下，由于異常圖像I_t1+4與異常圖像I_t2之間的拍攝時(shí)刻的差分ΔT3大于閾值th1，所以判定為不包含相同的異常區(qū)域。

在針對(duì)全部異常圖像結(jié)束循環(huán)A的處理后，在步驟S206中，異常圖像組提取部220提取判定為拍攝有相同的異常區(qū)域的異常圖像彼此作為相同的異常圖像組。然后，圖像處理裝置的動(dòng)作返回到主例程。

另外，在步驟S201中可以替代拍攝時(shí)刻，計(jì)算異常圖像I_i的排列順序i的差分。在該情況下，在步驟S202中，判定排列順序的差分是否為規(guī)定閾值以下。

接著步驟S22的步驟S14和S15與實(shí)施方式1相同(參照?qǐng)D2)。

如以上所說(shuō)明那樣，根據(jù)本發(fā)明的實(shí)施方式2，由于根據(jù)異常圖像的時(shí)間序列上的位置信息和大局類似度，提取包含相同的異常區(qū)域的異常圖像組，所以能夠防止提取在時(shí)間序列上分離較大的異常圖像彼此作為相同的異常圖像組的情況。

(變形例2)

接著，對(duì)本發(fā)明的實(shí)施方式2的變形例2進(jìn)行說(shuō)明。

雖然在上述實(shí)施方式2中，在包含相同的異常區(qū)域的異常圖像組的提取處理中使用了異常圖像的時(shí)間序列上的位置信息，但是也可以使用該位置信息來(lái)進(jìn)行代表圖像的提取處理。

圖11是示出變形例2的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。如圖11所示，變形例2的運(yùn)算部250替代實(shí)施方式2的運(yùn)算部200(參照?qǐng)D7)具備的代表圖像提取部140而具有代表圖像提取部141。除了代表圖像提取部141以外的運(yùn)算部205的各部分的結(jié)構(gòu)和動(dòng)作與實(shí)施方式2相同。

代表圖像提取部141分別從包含相同的異常區(qū)域的異常圖像組中，優(yōu)先提取作為重要度高的異常區(qū)域而拍攝有出血源的異常圖像作為代表圖像。更詳細(xì)來(lái)說(shuō)，代表圖像提取部141具有出血源檢測(cè)部141a，該出血源檢測(cè)部141a從拍攝有出血的異常區(qū)域的異常圖像組中檢測(cè)出血源。該出血源檢測(cè)部141a具有位置估計(jì)部141b，該位置估計(jì)部141b估計(jì)在異常圖像中拍攝的被攝體(臟器)在管腔內(nèi)的位置、即異常圖像在管腔內(nèi)的拍攝位置。

圖12是示出在圖8所示的步驟S14中由代表圖像提取部141執(zhí)行的代表圖像提取處理的流程圖。代表圖像提取部141對(duì)在步驟S23中提取出的各個(gè)異常圖像組執(zhí)行循環(huán)B的處理。另外，在以下的說(shuō)明中，設(shè)從各個(gè)異常圖像組中提取的代表圖像的張數(shù)為n張。

首先，在步驟S211中，代表圖像提取部141判定在處理對(duì)象的異常圖像組中包含的相同的異常區(qū)域是否是出血。具體而言，在步驟S11(參照實(shí)施方式1)中，將被檢測(cè)為表示紅色調(diào)的特定顏色的區(qū)域的異常區(qū)域判定為出血?；蛘?，可以根據(jù)異常區(qū)域的顏色特征量、形狀特征量或者紋理特征量，判定異常區(qū)域是否是出血。

在相同的異常區(qū)域是出血的情況下(步驟S211：是)，位置估計(jì)部141b取入在步驟S21中由位置信息取得部210取得的時(shí)間序列上的位置信息(異常圖像的拍攝時(shí)刻或者排列順序)，根據(jù)該位置信息來(lái)估計(jì)在該異常圖像組中包含的各個(gè)異常圖像在管腔內(nèi)的拍攝位置(步驟S212)。

在接下來(lái)的步驟S213中，出血源檢測(cè)部141a檢測(cè)出血源圖像(拍攝有出血源的異常圖像)。詳細(xì)來(lái)說(shuō)，從該異常圖像組中的、包含紅色強(qiáng)的異常區(qū)域的異常圖像中檢測(cè)管腔內(nèi)的拍攝位置為最上游的異常圖像(換言之，在時(shí)間序列上最早的異常圖像)，作為出血源圖像。這里，能夠?qū)⒓t色強(qiáng)的異常區(qū)域判別為是例如顏色比G/R的值為規(guī)定閾值以下的區(qū)域。另外，可以比在步驟S11中檢測(cè)異常區(qū)域時(shí)使用的判別基準(zhǔn)(顏色比G/R)更嚴(yán)格(減小值)地設(shè)定這時(shí)使用的顏色比G/R的閾值。

一般來(lái)說(shuō)，在管腔內(nèi)發(fā)生了出血的情況下，血液從上游(口腔側(cè))朝向下游(肛門側(cè))流動(dòng)。所以，能夠估計(jì)為在包含紅色強(qiáng)的異常區(qū)域的異常圖像中的、拍攝位置最靠上游的異常圖像中拍攝有出血源。

在接下來(lái)的步驟S214中，代表圖像提取部141提取1張?jiān)诓襟ES213中檢測(cè)出的出血源圖像作為代表圖像。

在接下來(lái)的步驟S215中，代表圖像提取部141從該異常圖像組中的、包含紅色強(qiáng)的異常區(qū)域的異常圖像(除了出血源圖像以外)中隨機(jī)提取代表圖像的提取張數(shù)為n-1張的代表圖像。

在接下來(lái)的步驟S216中，代表圖像提取部141判定是否提取了n張代表圖像。在該異常圖像組中的、包含紅色強(qiáng)的異常區(qū)域的異常圖像的張數(shù)為n張以上的情況下，能夠從這些異常圖像中提取總計(jì)n張的代表圖像。在該情況下(步驟S216：是)，處理轉(zhuǎn)移到步驟S219。

另一方面，在該異常圖像組中的、包含紅色強(qiáng)的異常區(qū)域的異常圖像的張數(shù)不足n張的情況下，無(wú)法提取n張代表圖像。在該情況下(步驟S216：否)，代表圖像提取部141從不包含紅色強(qiáng)的異常區(qū)域的剩余的異常圖像中，隨機(jī)提取代表圖像直到總張數(shù)為n張為止(步驟S217)。然后，處理轉(zhuǎn)移到步驟S219。

此外，在步驟S211中，在處理對(duì)象的異常圖像組的相同的異常區(qū)域不是出血的情況下(步驟S211：否)，代表圖像提取部141與實(shí)施方式1同樣地從異常圖像組中提取n張代表圖像(步驟S218)。然后，處理轉(zhuǎn)移到步驟S219。

在步驟S219中，代表圖像提取部141在提取出的n張代表圖像的圖像數(shù)據(jù)中附加表示是代表圖像的意思的信息(標(biāo)記)。

在對(duì)于在步驟S23(參照?qǐng)D8)中提取出的全部異常圖像組執(zhí)行了循環(huán)B的處理以后，圖像處理裝置的動(dòng)作返回到主例程。

如以上所說(shuō)明那樣，根據(jù)變形例2，能夠根據(jù)異常區(qū)域的紅色的強(qiáng)度和各個(gè)異常圖像在管腔內(nèi)的位置信息，優(yōu)先提取在診斷中重要度高的出血源作為代表圖像。

(實(shí)施方式3)

接著，對(duì)本發(fā)明的實(shí)施方式3進(jìn)行說(shuō)明。

圖13是示出本發(fā)明實(shí)施方式3的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。實(shí)施方式3的圖像處理裝置替代圖1所示的運(yùn)算部100而具有圖13所示的運(yùn)算部300。除運(yùn)算部300以外的各部分的結(jié)構(gòu)和動(dòng)作與實(shí)施方式1相同。

運(yùn)算部300具有：檢測(cè)部110、位置信息取得部210、大局類似度計(jì)算部120、異常分類部310、異常圖像組提取部320和代表圖像提取部140。其中，檢測(cè)部110、大局類似度計(jì)算部120和代表圖像提取部140的動(dòng)作與實(shí)施方式1相同。其中，位置信息取得部210的動(dòng)作與實(shí)施方式2相同。

異常分類部310是根據(jù)該異常區(qū)域中的被攝體的種類來(lái)對(duì)作為關(guān)注區(qū)域的異常區(qū)域進(jìn)行分類的關(guān)注區(qū)域分類單元。詳細(xì)來(lái)說(shuō)，異常分類部310具有連續(xù)異常判定部(連續(xù)性判定單元)311，該連續(xù)異常判定部311判定異常區(qū)域是否是在一系列的管腔內(nèi)圖像中連續(xù)產(chǎn)生的異常區(qū)域。在異常區(qū)域中的被攝體為浮游的出血或血管異常等異常的情況下，連續(xù)異常判定部311判定為該異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域。

能夠使用預(yù)先制成的判別基準(zhǔn)，判定浮游的出血或血管異常這樣的異常的種類。判別基準(zhǔn)根據(jù)在管腔內(nèi)圖像中拍攝的浮游的出血或血管異常等異常區(qū)域的顏色特征量(像素值的R成分、G成分、B成分的值、根據(jù)這些各個(gè)顏色成分的值通過(guò)公知的轉(zhuǎn)換而2元地計(jì)算的值(通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、通過(guò)HSI轉(zhuǎn)換計(jì)算出的色相、飽和度、G/R、B/G等顏色比等))、形狀特征量(HOG、面積、周長(zhǎng)、費(fèi)雷特直徑等形狀信息)或紋理特征量(LBP、同時(shí)歸一矩陣等)的特征量分布，通過(guò)支持向量機(jī)(SVM)等學(xué)習(xí)機(jī)來(lái)生成，并預(yù)先記錄到記錄部50中。

異常圖像組提取部320根據(jù)由位置信息取得部210取得的位置信息、由大局類似度計(jì)算部120計(jì)算出的大局類似度和異常分類部310的分類結(jié)果，提取包含相同的異常區(qū)域的異常圖像組。

接著，說(shuō)明實(shí)施方式3的圖像處理裝置的動(dòng)作。圖14是示出實(shí)施方式3的圖像處理裝置的動(dòng)作的流程圖。另外，圖14所示步驟S10、S11與實(shí)施方式1相同(參照?qǐng)D2)。

在接著步驟S11的步驟S31中，位置信息取得部210取得在步驟S11中提取出的異常圖像的時(shí)間序列上的位置信息。具體而言，取得異常圖像I_i的排列順序i或者拍攝時(shí)刻作為位置信息。

在接下來(lái)的步驟S32中，大局類似度計(jì)算部120計(jì)算在異常圖像列中相鄰的異常圖像之間的大局類似度。大局類似度的計(jì)算方法與實(shí)施方式1相同(參照?qǐng)D4和圖5)?；蛘?，可以與變形例1-1～1-3同樣地計(jì)算大局類似度。

在接下來(lái)的步驟S33中，異常分類部310對(duì)在步驟11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。詳細(xì)來(lái)說(shuō)，連續(xù)異常判定部311從記錄部50讀出用于判定連續(xù)產(chǎn)生的異常區(qū)域的判別基準(zhǔn)，通過(guò)將對(duì)處理對(duì)象的異常區(qū)域計(jì)算出的特征量與判別基準(zhǔn)進(jìn)行比較，判別該異常區(qū)域中的被攝體的種類，并根據(jù)該被攝體的種類來(lái)判定該異常區(qū)域是否是連續(xù)產(chǎn)生的異常區(qū)域。具體而言，在異常區(qū)域中的被攝體是浮游的出血或血管異常的情況下，判定為該異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域。

在接下來(lái)的步驟S34中，異常圖像組提取部320根據(jù)步驟S33的分類結(jié)果，使用在步驟S31中取得的位置信息和在步驟S32中計(jì)算出的大局類似度，提取包含相同的異常區(qū)域的異常圖像組。

圖15是示出在步驟S34中由異常圖像組提取部320執(zhí)行的異常圖像組的提取處理的流程圖。異常圖像組提取部320對(duì)在步驟S11中提取出的各個(gè)異常圖像執(zhí)行循環(huán)C的處理。

首先，在步驟S301中，異常圖像組提取部320計(jì)算表示處理對(duì)象的異常圖像I_j(j為自然數(shù))與在異常圖像列中和該異常圖像I_j相鄰的異常圖像I_j+n(n為自然數(shù))之間的位置的接近度的參數(shù)s_pos。參數(shù)s_pos通過(guò)下式(2)給出。

s_pos＝(N－n)/N……(2)

在式(2)中，N是用于使排列順序的差n歸一化的參數(shù)，設(shè)定為例如N＝10。在異常圖像I_j、I_j+n中分別拍攝的被攝體在管腔內(nèi)的位置越近(n越小)，則該參數(shù)s_pos的值越大。

另外，步驟S31中，在取得了異常圖像I_i的拍攝時(shí)刻作為位置信息的情況下，通過(guò)替代式(2)中的排列順序的差n而代入拍攝時(shí)刻的差，替代參數(shù)N而使用用于使拍攝時(shí)刻的差歸一化的參數(shù)，計(jì)算表示位置的接近度的參數(shù)。

在接下來(lái)的步驟S302中，異常圖像組提取部320根據(jù)處理對(duì)象的異常圖像中的異常區(qū)域的分類結(jié)果(參照步驟S33)，確定分別賦予給大局類似度s_global和表示位置的接近度的參數(shù)s_pos的權(quán)重w₁、w₂(w₁+w₂＝1)。這時(shí)，如果異常圖像I_j中的異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域，則以相對(duì)于權(quán)重w₁使權(quán)重w₂相對(duì)較大的方式來(lái)確定權(quán)重w₁、w₂。另一方面，如果異常圖像I_j中的異常區(qū)域不是連續(xù)產(chǎn)生的異常區(qū)域，則以相對(duì)于權(quán)重w₂使權(quán)重w₁相對(duì)較大的方式來(lái)確定權(quán)重w₁、w₂。

在接下來(lái)的步驟S303中，異常圖像組提取部320使用在步驟S302中確定的權(quán)重w₁、w₂，計(jì)算結(jié)合了大局類似度s_global和表示位置的接近度的參數(shù)s_pos的總判別參數(shù)s_total1?？偱袆e參數(shù)s_total1通過(guò)下式(3)給出。

s_total1＝w₁·s_global+w₂·s_pos……(3)

在接下來(lái)的步驟S304中，異常圖像組提取部320判定總判別參數(shù)s_total1是否為規(guī)定閾值th3以上。在總判別參數(shù)s_total1為閾值th3以上的情況下(步驟S304：是)，異常圖像組提取部320判定為處理對(duì)象的異常圖像I_j和下一個(gè)提取的異常圖像I_j+n包含相同的異常區(qū)域(步驟S305)。另一方面，在總判別參數(shù)s_total小于閾值th3的情況下(步驟S304：否)，異常圖像組提取部320判定為處理對(duì)象的異常圖像I_j和下一個(gè)提取的異常圖像I_j+n不包含相同的異常區(qū)域(步驟S306)。

在針對(duì)全部異常圖像結(jié)束循環(huán)C的處理后，在步驟S307中，異常圖像組提取部320提取判定為拍攝有相同的異常區(qū)域的異常圖像彼此作為相同的異常圖像組。然后，圖像處理裝置的動(dòng)作返回到主例程。

另外，接著步驟S34的步驟S14和S15與實(shí)施方式1相同(參照?qǐng)D2)。

如以上所說(shuō)明那樣，根據(jù)本發(fā)明的實(shí)施方式3，由于在根據(jù)異常圖像的時(shí)間序列上的位置信息和大局類似度來(lái)提取包含相同的異常區(qū)域的異常圖像組時(shí)，根據(jù)異常圖像中的異常區(qū)域是否是連續(xù)產(chǎn)生的異常區(qū)域，變更大局類似度與位置信息的權(quán)重，所以能夠提高包含相同的異常區(qū)域的異常圖像組的提取精度。

(變形例3-1)

接著，說(shuō)明本發(fā)明實(shí)施方式3的變形例3-1。

圖16是示出圖13所示的異常分類部310的另一個(gè)結(jié)構(gòu)例的框圖。可以在圖13所示的運(yùn)算部300中設(shè)置圖16所示的異常分類部330來(lái)替代異常分類部310。異常分類部330具有零散異常判定部(零散性判定單元)331，該零散異常判定部331判定異常區(qū)域在一系列的管腔內(nèi)圖像中是否是零散產(chǎn)生的異常區(qū)域。在異常區(qū)域中的被攝體是發(fā)紅、出血點(diǎn)、口瘡、潰瘍等異常的情況下，零散異常判定部331判定為該異常區(qū)域是零散產(chǎn)生的異常區(qū)域。

能夠使用預(yù)先制成的判別基準(zhǔn)，來(lái)判定發(fā)紅、出血點(diǎn)、口瘡、潰瘍這樣的異常的種類。判別基準(zhǔn)根據(jù)在管腔內(nèi)圖像中拍攝的發(fā)紅、出血點(diǎn)、口瘡、潰瘍等異常區(qū)域的顏色特征量(像素值的R成分、G成分、B成分的值、根據(jù)這些各個(gè)顏色成分的值通過(guò)公知的轉(zhuǎn)換而2元地計(jì)算的值(通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、通過(guò)HSI轉(zhuǎn)換計(jì)算出的色相、飽和度、G/R、B/G等顏色比等))、形狀特征量(HOG、面積、周長(zhǎng)、費(fèi)雷特直徑等形狀信息)或紋理特征量(LBP、同時(shí)歸一矩陣等)的特征量分布，通過(guò)支持向量機(jī)(SVM)等學(xué)習(xí)機(jī)來(lái)制作，并預(yù)先記錄到記錄部50中。

在該情況下，在圖14所示的步驟S33中，異常分類部330對(duì)在步驟S11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。詳細(xì)來(lái)說(shuō)，零散異常判定部331從記錄部50讀出用于判定零散產(chǎn)生的異常區(qū)域的判別基準(zhǔn)，通過(guò)將對(duì)處理對(duì)象的異常區(qū)域計(jì)算出的特征量與判別基準(zhǔn)進(jìn)行比較，判別該異常區(qū)域中的被攝體的種類，并根據(jù)該被攝體的種類來(lái)判定異常區(qū)域是否是零散產(chǎn)生的異常區(qū)域。

此外，在該情況下，在圖14所示的步驟S34中，異常圖像組提取部320根據(jù)異常分類部330的分類結(jié)果，使用在步驟S31中取得的位置信息和在步驟S32中計(jì)算出的大局類似度，提取包含相同的異常區(qū)域的異常圖像組。

詳細(xì)來(lái)說(shuō)，在圖15所示的步驟S302中，異常圖像組提取部320根據(jù)異常分類部330對(duì)異常區(qū)域的分類結(jié)果，確定分別賦予給大局類似度s_global和表示位置的接近度的參數(shù)s_pos的權(quán)重w₁、w₂。這時(shí)，如果異常圖像I_j中的異常區(qū)域是零散產(chǎn)生的異常區(qū)域，則以相對(duì)于權(quán)重w₂使權(quán)重w₁相對(duì)較大的方式來(lái)確定權(quán)重w₁、w₂。另一方面，如果異常圖像I_j中的異常區(qū)域不是零散產(chǎn)生的異常區(qū)域，則以相對(duì)于權(quán)重w₁使權(quán)重w₂相對(duì)較大的方式來(lái)確定權(quán)重w₁、w₂。

(變形例3-2)

接著，說(shuō)明本發(fā)明實(shí)施方式3的變形例3-2。

圖17是示出圖13所示的異常分類部310的另一其它結(jié)構(gòu)例的框圖。在圖13所示的運(yùn)算部300中設(shè)置圖17所示的異常分類部340來(lái)替代異常分類部310。異常分類部340具有連續(xù)異常判定部311和零散異常判定部331。連續(xù)異常判定部311的動(dòng)作與實(shí)施方式3相同，零散異常判定部331的動(dòng)作與變形例3-1相同。

在該情況下，在圖14所示的步驟S33中，異常分類部340對(duì)在步驟S11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。詳細(xì)來(lái)說(shuō)，連續(xù)異常判定部311判定處理對(duì)象的異常區(qū)域是否是在一系列的管腔內(nèi)圖像組中連續(xù)產(chǎn)生的異常區(qū)域。此外，零散異常判定部331判定處理對(duì)象的異常區(qū)域是否是在一系列的管腔內(nèi)圖像組中零散產(chǎn)生的異常區(qū)域。其結(jié)果，將該異常區(qū)域分類為連續(xù)產(chǎn)生的異常區(qū)域、零散產(chǎn)生的異常區(qū)域和除此以外的異常區(qū)域。

此外，在該情況下，在圖14所示的步驟S34中，異常圖像組提取部320根據(jù)異常分類部340的分類結(jié)果，使用在步驟S31中取得的位置信息和在步驟S32中計(jì)算出的大局類似度，提取包含相同的異常區(qū)域的異常圖像組。

詳細(xì)來(lái)說(shuō)，在圖15所示的步驟S302中，異常圖像組提取部320根據(jù)異常分類部340的分類結(jié)果，確定分別賦予給大局類似度s_global和表示位置的接近度的參數(shù)s_pos的權(quán)重w₁、w₂。這時(shí)，如果異常圖像I_j中的異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域，則以相對(duì)于權(quán)重w₁使權(quán)重w₂相對(duì)較大的方式來(lái)確定權(quán)重w₁、w₂。另一方面，如果異常圖像I_j中的異常區(qū)域是零散產(chǎn)生的異常區(qū)域，則以相對(duì)于權(quán)重w₂使權(quán)重w₁相對(duì)較大的方式來(lái)確定權(quán)重w₁、w₂。并且，在異常圖像I_j中的異常區(qū)域既不是連續(xù)產(chǎn)生的異常區(qū)域，也不是零散產(chǎn)生的異常區(qū)域的情況下，將權(quán)重w₁、w₂確定為相同程度。

(實(shí)施方式4)

接著，對(duì)本發(fā)明的實(shí)施方式4進(jìn)行說(shuō)明。

圖18是示出本發(fā)明實(shí)施方式4的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。實(shí)施方式4的圖像處理裝置替代圖1所示的運(yùn)算部100而具有圖18所示的運(yùn)算部400。除運(yùn)算部400以外的各部分的結(jié)構(gòu)和動(dòng)作與實(shí)施方式1相同。

運(yùn)算部400具有：檢測(cè)部110、大局類似度計(jì)算部120、局部類似度計(jì)算部410、異常分類部310、異常圖像組提取部420和代表圖像提取部140。其中，檢測(cè)部110、大局類似度計(jì)算部120和代表圖像提取部140的動(dòng)作與實(shí)施方式1相同(參照?qǐng)D1)。此外，異常分類部310的動(dòng)作與實(shí)施方式3相同。

局部類似度計(jì)算部410計(jì)算在異常圖像列中相鄰的異常圖像之間，異常區(qū)域彼此的類似度作為局部類似度。

異常圖像組提取部420根據(jù)由大局類似度計(jì)算部120計(jì)算出的大局類似度、由局部類似度計(jì)算部410計(jì)算出的局部類似度和異常分類部310的分類結(jié)果，提取包含相同的異常區(qū)域的異常圖像組。

接著，對(duì)實(shí)施方式4的圖像處理裝置的動(dòng)作進(jìn)行說(shuō)明。圖19是示出實(shí)施方式4的圖像處理裝置的動(dòng)作的流程圖。另外，圖19所示步驟S10～S12與實(shí)施方式1相同(參照?qǐng)D2)。步驟S12可以與變形例1-1～1-3同樣地計(jì)算大局類似度。

在接著步驟S12的步驟S41中，局部類似度計(jì)算部410計(jì)算在異常圖像列中相鄰的異常圖像之間的局部類似度。局部類似度的計(jì)算方法沒(méi)有特別限定。作為一例，通過(guò)SIFT(Scale Invariant Feature Transform：尺度不變特征轉(zhuǎn)換)等公知手法提取異常圖像之間的對(duì)應(yīng)點(diǎn)，在2個(gè)異常圖像之間異常區(qū)域相對(duì)應(yīng)的情況下，設(shè)局部類似度為1.0。另一方面，在2個(gè)異常圖像之間異常區(qū)域未對(duì)應(yīng)起來(lái)的情況下，設(shè)局部類似度為0.0。

在接下來(lái)的步驟S42中，異常分類部310對(duì)在步驟11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。即，連續(xù)異常判定部311從記錄部50讀出用于判定連續(xù)產(chǎn)生的異常區(qū)域的判別基準(zhǔn)，根據(jù)該判別基準(zhǔn)來(lái)判定該異常區(qū)域是否是連續(xù)產(chǎn)生的異常區(qū)域。

在接下來(lái)的步驟S43中，異常圖像組提取部420根據(jù)步驟S42中的分類結(jié)果，使用在步驟S12中計(jì)算出的大局類似度和在步驟S41中計(jì)算出的局部類似度，提取包含相同的異常區(qū)域的異常圖像組。

圖20是示出在步驟S43中由異常圖像組提取部420執(zhí)行的異常圖像組的提取處理的流程圖。異常圖像組提取部420對(duì)在步驟S11中提取出的各個(gè)異常圖像執(zhí)行循環(huán)D的處理。

首先，在步驟S401中，異常圖像組提取部420根據(jù)處理對(duì)象的異常圖像中的異常區(qū)域的分類結(jié)果(參照步驟S42)，確定分別賦予給大局類似度s_global和局部類似度s_local的權(quán)重w₃、w₄。如果該異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域，則以使權(quán)重w₃相對(duì)較大的方式來(lái)確定權(quán)重w₃、w₄(例如，w₃＝1、w₄＝0等)。另一方面，如果該異常區(qū)域不是連續(xù)產(chǎn)生的異常區(qū)域，則以使權(quán)重w₄相對(duì)較大的方式來(lái)確定權(quán)重w₃、w₄(例如，w₃＝0、w₄＝1等)。

在接下來(lái)的步驟S402中，異常圖像組提取部420使用在步驟S401中確定的權(quán)重w₃、w₄，計(jì)算結(jié)合了大局類似度s_global與局部類似度s_local的總判別參數(shù)s_total2。總判別參數(shù)s_total2通過(guò)下式(4)給出。

s_total2＝w₃·s_global+w₄·s_local……(4)

在接下來(lái)的步驟S403中，異常圖像組提取部420判定總判別參數(shù)s_total2是否為規(guī)定閾值th4以上。在總判別參數(shù)s_total2為閾值th4以上的情況下(步驟S403：是)，異常圖像組提取部420判定為處理對(duì)象的異常圖像和下一個(gè)提取的異常圖像包含相同的異常區(qū)域(步驟S404)。另一方面，在總判別參數(shù)s_total2小于閾值th4的情況下(步驟S403：否)，異常圖像組提取部420判定為處理對(duì)象的異常圖像和下一個(gè)提取的異常圖像不包含相同的異常區(qū)域(步驟S405)。

在針對(duì)全部異常圖像結(jié)束循環(huán)D的處理后，在步驟S406中，異常圖像組提取部420提取判定為拍攝有相同的異常區(qū)域的異常圖像彼此作為相同的異常圖像組。然后，圖像處理裝置的動(dòng)作返回到主例程。

接著步驟S43的步驟S14和S15與實(shí)施方式1相同(參照?qǐng)D2)。

如以上所說(shuō)明那樣，根據(jù)本發(fā)明的實(shí)施方式4，由于根據(jù)異常區(qū)域是否是連續(xù)產(chǎn)生的異常區(qū)域，改變分別賦予給異常圖像的整體類似度和異常區(qū)域的局部類似度的權(quán)重，根據(jù)這些總判別參數(shù)來(lái)判斷2個(gè)異常圖像是否包含相同的異常區(qū)域，所以能夠提高包含相同的異常區(qū)域的異常圖像組的提取精度。

(變形例4-1)

接著，說(shuō)明本發(fā)明實(shí)施方式4的變形例4-1。

圖18所示的局部類似度計(jì)算部410除了在上述實(shí)施方式4中說(shuō)明的方法以外，還通過(guò)各種方法來(lái)計(jì)算局部類似度。

作為一個(gè)例子，局部類似度計(jì)算部410首先計(jì)算在各個(gè)異常圖像中包含的異常區(qū)域的特征量。作為特征量，可以舉出構(gòu)成各個(gè)異常區(qū)域的像素的像素值(亮度值或G成分的值)的平均值或者中央值等統(tǒng)計(jì)量、構(gòu)成各個(gè)異常區(qū)域的像素的顏色特征量(使用R成分、G成分、B成分的各個(gè)值，通過(guò)YCbCr轉(zhuǎn)換計(jì)算出的色差、通過(guò)HSI轉(zhuǎn)換計(jì)算出的色相、飽和度、G/R、B/G等顏色比等)的平均值或者中央值等統(tǒng)計(jì)量、各個(gè)異常區(qū)域的形狀特征量(面積或圓形度等)、構(gòu)成各個(gè)異常區(qū)域的各個(gè)像素中的紋理特征量(使用索貝爾濾波器或拉普拉斯濾波器等計(jì)算的邊緣量等)的平均值或者中央值等統(tǒng)計(jì)量等。

接著，局部類似度計(jì)算部410計(jì)算在異常圖像列中相鄰的異常圖像之間，上述的特征量的變化量Δc_a。然后，使用特征量的最大值c_a(max)和變化量Δc_a，計(jì)算通過(guò)下式(5)給出的局部類似度s_local。

s_local＝(c_a(max)-Δc_a)/c_a(max)……(5)

在式(5)中，特征量的最大值c_a(max)是特征量可以采用的最大的值。在對(duì)于例如256灰度的異常圖像計(jì)算出像素值(G成分的值)的統(tǒng)計(jì)值作為特征量的情況下，最大值c_a(max)是256。此外，在計(jì)算圓形度作為特征量的情況下，最大值c_a(max)是1。

(變形例4-2)

接著，說(shuō)明本發(fā)明實(shí)施方式4的變形例4-2。

在圖18所示的運(yùn)算部400中，替代異常分類部310而設(shè)置僅具有圖16所示的零散異常判定部331的異常分類部330，將處理對(duì)象的異常區(qū)域分類為是否是零散產(chǎn)生的異常區(qū)域的2類(參照變形例3-1)。

在該情況下，在圖19所示的步驟S42中，異常分類部330對(duì)在步驟S11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。即，零散異常判定部331從記錄部50讀出用于判定零散產(chǎn)生的異常區(qū)域的判別基準(zhǔn)，根據(jù)該判別基準(zhǔn)來(lái)判定異常區(qū)域是否是零散產(chǎn)生的異常區(qū)域。

此外，在該情況下，在圖19所示的步驟S43中，異常圖像組提取部420根據(jù)異常分類部330的分類結(jié)果，使用在步驟S12中計(jì)算出的大局類似度s_global和在步驟S41中計(jì)算出的局部類似度s_local，提取包含相同的異常區(qū)域的異常圖像組。

詳細(xì)來(lái)說(shuō)，在圖20所示的步驟S401中，異常圖像組提取部420根據(jù)異常分類部330對(duì)異常區(qū)域的分類結(jié)果，確定分別賦予給大局類似度s_global和局部類似度s_local的權(quán)重w₃、w₄。如果該異常區(qū)域是零散產(chǎn)生的異常區(qū)域，則以使權(quán)重w₄相對(duì)較大的方式來(lái)確定權(quán)重w₃、w₄(例如，w₃＝0、w₄＝1等)。另一方面，如果該異常區(qū)域不是零散產(chǎn)生的異常區(qū)域，則以使權(quán)重w₃相對(duì)較大的方式來(lái)確定權(quán)重w₃、w₄(例如，w₃＝1、w₄＝0等)。

(變形例4-3)

接著，說(shuō)明本發(fā)明實(shí)施方式4的變形例4-3。

在圖18所示的運(yùn)算部400中，可以替代異常分類部310而設(shè)置圖17所示的具有連續(xù)異常判定部311和零散異常判定部331的異常分類在部340，將處理對(duì)象的異常區(qū)域分類為是連續(xù)產(chǎn)生的異常區(qū)域、是零散產(chǎn)生的異常區(qū)域、或是兩者都不是的三類(參照變形例3-2)。

在該情況下，在圖19所示的步驟S42中，異常分類部340對(duì)在步驟S11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。即，連續(xù)異常判定部311判定處理對(duì)象的異常區(qū)域是否是在一系列的管腔內(nèi)圖像組中連續(xù)產(chǎn)生的異常區(qū)域。此外，零散異常判定部331判定處理對(duì)象的異常區(qū)域是否是在一系列的管腔內(nèi)圖像組中零散產(chǎn)生的異常區(qū)域。

此外，在該情況下，在圖19所示的步驟S43中，異常圖像組提取部420根據(jù)異常分類部340的分類結(jié)果，使用在步驟S12中計(jì)算出的大局類似度s_global和在步驟S41中計(jì)算出的局部類似度s_local，提取包含相同的異常區(qū)域的異常圖像組。

詳細(xì)來(lái)說(shuō)，在圖20所示的步驟S401中，異常圖像組提取部420根據(jù)異常分類部340的分類結(jié)果，確定分別賦予給大局類似度s_global和局部類似度s_local的權(quán)重w₃、w₄。如果異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域，則以使權(quán)重w₃相對(duì)較大的方式來(lái)確定權(quán)重w₃、w₄(例如，w₃＝1、w₄＝0等)。此外，如果異常區(qū)域是零散產(chǎn)生的異常區(qū)域，則以使權(quán)重w₄相對(duì)較大的方式來(lái)確定權(quán)重w₃、w₄(例如，w₃＝0、w₄＝1等)。并且，在異常區(qū)域既不是連續(xù)產(chǎn)生的異常區(qū)域，也不是零散產(chǎn)生的異常區(qū)域的情況下，將權(quán)重w₃、w₄確定為相同程度的值(例如，w₃＝0.5、w₄＝0.5等)。

(實(shí)施方式5)

接著，對(duì)本發(fā)明的實(shí)施方式5進(jìn)行說(shuō)明。

圖21是示出本發(fā)明實(shí)施方式5的圖像處理裝置具備的運(yùn)算部的結(jié)構(gòu)的框圖。實(shí)施方式5的圖像處理裝置替代圖1所示的運(yùn)算部100而具有圖21具備的運(yùn)算部500。除運(yùn)算部500以外的各部分的結(jié)構(gòu)和動(dòng)作與實(shí)施方式1相同。

運(yùn)算部500具有：檢測(cè)部110、位置信息取得部210、大局類似度計(jì)算部120、局部類似度計(jì)算部410、異常分類部340、異常圖像組提取部510和代表圖像提取部140。其中，檢測(cè)部110、大局類似度計(jì)算部120和代表圖像提取部140的動(dòng)作與實(shí)施方式1相同(參照?qǐng)D1)。位置信息取得部210的動(dòng)作與實(shí)施方式2(參照?qǐng)D7)相同。局部類似度計(jì)算部410的動(dòng)作與實(shí)施方式4或者變形例4-1(參照?qǐng)D18)相同。局部分類部340的動(dòng)作與變形例3-2(參照?qǐng)D17)相同。

異常圖像組提取部510根據(jù)由位置信息取得部210取得的位置信息、由大局類似度計(jì)算部120計(jì)算出的大局類似度、由局部類似度計(jì)算部410計(jì)算出的局部類似度和異常分類部340的分類結(jié)果，提取包含相同的異常區(qū)域的異常圖像組。

接著，對(duì)實(shí)施方式5的圖像處理裝置的動(dòng)作進(jìn)行說(shuō)明。圖22是示出實(shí)施方式5的圖像處理裝置的動(dòng)作的流程圖。另外，圖14所示的步驟S10和S11與實(shí)施方式1相同(參照?qǐng)D2)。

在接著步驟S11的步驟S51中，位置信息取得部210取得異常圖像I_i的拍攝時(shí)刻或者排列順序i作為在步驟S11中提取出的異常圖像的時(shí)間序列上的位置信息。

在接下來(lái)的步驟S52中，大局類似度計(jì)算部120計(jì)算在異常圖像列中相鄰的異常圖像之間的大局類似度s_global。大局類似度s_global的計(jì)算方法與實(shí)施方式1相同(參照?qǐng)D4和圖5)?；蛘撸c變形例1-1～1-3同樣地計(jì)算大局類似度s_global。

在接下來(lái)的步驟S53中，局部類似度計(jì)算部410計(jì)算在異常圖像列中相鄰的異常圖像之間的局部類似度s_local。局部類似度s_local的計(jì)算方法與實(shí)施方式4或者變形例4-1相同(參照?qǐng)D19的步驟S41)。

在接下來(lái)的步驟S54中，異常分類部340對(duì)在步驟11中檢測(cè)出的各個(gè)異常區(qū)域進(jìn)行分類。異常區(qū)域的分類方法與變形例3-2相同。其結(jié)果，將各個(gè)異常區(qū)域分類為連續(xù)產(chǎn)生的異常區(qū)域、零散產(chǎn)生的異常區(qū)域和除此以外的異常區(qū)域。

在接下來(lái)的步驟S55中，異常圖像組提取部510根據(jù)步驟S54中的分類結(jié)果，根據(jù)在步驟S51中取得的位置信息、在步驟S52中計(jì)算出的大局類似度s_global和在步驟S53中計(jì)算出的局部類似度s_local，提取包含相同的異常區(qū)域的異常圖像組。

圖23是示出在步驟S55中由異常圖像組提取部510執(zhí)行的異常圖像組的提取處理的流程圖。異常圖像組提取部510對(duì)在步驟S11中提取出的各個(gè)異常圖像執(zhí)行循環(huán)E的處理。

首先，在步驟S501中，異常圖像組提取部510對(duì)于處理對(duì)象的異常圖像I_k(k為自然數(shù))，計(jì)算與在異常圖像列中相鄰的異常圖像I_k’(k’為k<k’的自然數(shù))之間的拍攝時(shí)刻T(I_k)、T(I_k’)的差分ΔT(＝T(I_k’)－T(I_k))、即經(jīng)過(guò)時(shí)間。

在接下來(lái)的步驟S502中，異常圖像組提取部510判定異常圖像I_k中的異常區(qū)域的分類結(jié)果(參照步驟S54)是否是連續(xù)的。

在上述分類結(jié)果是連續(xù)的情況下(步驟S502：是)，異常圖像組提取部510判定拍攝時(shí)刻的差分ΔT是否為規(guī)定閾值th5以下(步驟S503)。

在拍攝時(shí)刻的差分ΔT為閾值th5以下的情況下(步驟S503：是)，接著，異常圖像組提取部510判定異常圖像I_k、I_k’之間的大局類似度s_global是否為規(guī)定閾值th6以上(步驟S504)。

在大局類似度s_global為閾值th6以上的情況下(步驟S504：是)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’包含相同的異常區(qū)域(步驟S505)。

另一方面，在步驟S503中拍攝時(shí)刻的差分ΔT大于閾值th5的情況下(步驟S503：否)、或者在步驟S504中大局類似度s_global小于閾值th6的情況下(步驟S504：否)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’不包含相同的異常區(qū)域(步驟S506)。

在步驟S502中分類結(jié)果不是連續(xù)的情況下(步驟S502：否)，接著，異常圖像組提取部510判定該分類結(jié)果是否是零散的(步驟S507)。

在上述分類結(jié)果是零散的情況下(步驟S507：是)，異常圖像組提取部510判定拍攝時(shí)刻的差分ΔT是否為規(guī)定閾值th7以下(步驟S508)。這里，在零散產(chǎn)生的異常區(qū)域的情況下，有可能在一系列的時(shí)間序列圖像中分散地拍攝有相同的異常區(qū)域。所以，將閾值th7設(shè)定為比步驟S503中的閾值th5長(zhǎng)。

在拍攝時(shí)刻的差分ΔT為閾值th7以下的情況下(步驟S508：是)，接著，異常圖像組提取部510判定異常圖像I_k、I_k’之間的局部類似度s_local是否為規(guī)定閾值th8以上(步驟S509)。

在局部類似度s_local為閾值th8以上的情況下(步驟S509：是)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’包含相同的異常區(qū)域(步驟S505)。

另一方面，在步驟S508中拍攝時(shí)刻的差分ΔT大于閾值th7的情況下(步驟S508：否)、或者在步驟S509中局部類似度s_local小于閾值th8的情況下(步驟S509：否)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’不包含相同的異常區(qū)域(步驟S506)。

在步驟S507中分類結(jié)果不是零散的情況下(步驟S507：否)，接著，異常圖像組提取部510判定拍攝時(shí)刻的差分ΔT是否為規(guī)定閾值th9以下(步驟S510)。這里，在異常區(qū)域既不是連續(xù)產(chǎn)生的異常區(qū)域，也不是零散產(chǎn)生的異常區(qū)域的情況下，將閾值th9設(shè)定為步驟S503中的閾值th5與步驟S508中的閾值th7之間的值。

在拍攝時(shí)刻的差分ΔT為閾值th9以下的情況下(步驟S510：是)，接著，異常圖像組提取部510判定異常圖像I_k、I_k’之間的大局類似度s_global是否為規(guī)定閾值th6以上且局部類似度s_local是否為規(guī)定閾值th8以上(步驟S511)。

在大局類似度s_global為規(guī)定閾值th6以上且局部類似度s_local為規(guī)定閾值th8以上的情況下(步驟S511：是)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’包含相同的異常區(qū)域(步驟S505)。

另一方面，在步驟S510中拍攝時(shí)刻的差分ΔT大于閾值th9的情況下(步驟S510：否)、或者在步驟S511中大局類似度s_global小于閾值th6或者局部類似度s_local小于閾值th8的情況下(步驟S511：否)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_k和下一個(gè)提取的異常圖像I_k’不包含相同的異常區(qū)域(步驟S506)。

在針對(duì)全部異常圖像結(jié)束循環(huán)E的處理后，在步驟S512中，異常圖像組提取部510提取判定為拍攝有相同的異常區(qū)域的異常圖像彼此作為相同的異常圖像組。然后，圖像處理裝置的動(dòng)作返回到主例程。

接著步驟S55的步驟S14和S15與實(shí)施方式1相同(參照?qǐng)D2)。

如以上所說(shuō)明那樣，根據(jù)本發(fā)明的實(shí)施方式5，由于根據(jù)異常區(qū)域中的被攝體的種類而改變判定拍攝時(shí)刻的差分ΔT時(shí)的閾值，并且切換在異常圖像之間的類似的判定中使用的類似度(大局類似度s_global、局部類似度s_local)，所以能夠提高包含相同的異常區(qū)域的異常圖像組的提取精度。

另外，在本實(shí)施方式5中，可以通過(guò)調(diào)整分別在連續(xù)異常判定部311和零散異常判定部331進(jìn)行異常區(qū)域的判定時(shí)使用的判別基準(zhǔn)，將全部異常區(qū)域分類為連續(xù)產(chǎn)生的異常區(qū)域和零散產(chǎn)生的異常區(qū)域中的任意一個(gè)。在該情況下，省略上述步驟S510、S511。

(變形例5-1)

接著，說(shuō)明本發(fā)明實(shí)施方式5的變形例5-1。

在圖21所示的運(yùn)算部500中，可以替代異常分類部340而設(shè)置僅具有圖13所示的連續(xù)異常判定部311的異常分類部310，將處理對(duì)象的異常區(qū)域分類為是否是連續(xù)產(chǎn)生的異常區(qū)域這2類(參照實(shí)施方式3)。在該情況下，在圖23所示的步驟S502中處理對(duì)象的異常區(qū)域不是連續(xù)產(chǎn)生的異常區(qū)域的情況下(步驟S502：否)，視作零散產(chǎn)生的異常區(qū)域，處理直接轉(zhuǎn)移到步驟S508。此外，在該情況下，省略步驟S510、S511。

(變形例5-2)

接著，說(shuō)明本發(fā)明實(shí)施方式5的變形例5-2。

在圖21所示的運(yùn)算部500中，替代異常分類部340而設(shè)置僅具有圖16所示的零散異常判定部331的異常分類部330，將處理對(duì)象的異常區(qū)域分類為是否是零散產(chǎn)生的異常區(qū)域這2類(參照變形例3-1)。在該情況下，在圖23所示的步驟S501以后，處理直接轉(zhuǎn)移到步驟S507。然后，在步驟S507中處理對(duì)象的異常區(qū)域不是零散產(chǎn)生的異常區(qū)域的情況下(步驟S507：否)，視作是連續(xù)產(chǎn)生的異常區(qū)域，處理轉(zhuǎn)移到步驟S503。此外，在該情況下，省略步驟S510、S511。

(變形例5-3)

接著，說(shuō)明本發(fā)明實(shí)施方式5的變形例5-3。

在圖22所示的步驟S55中，異常圖像組提取部510可以根據(jù)使用了位置信息、大局類似度和局部類似度的總判別參數(shù)，提取包含相同的異常區(qū)域的異常圖像組。

圖24是示出在變形例5-3中由異常圖像組提取部510執(zhí)行的異常圖像組的提取處理的流程圖。異常圖像組提取部510對(duì)在步驟S11中提取出的各個(gè)異常圖像執(zhí)行循環(huán)F的處理。

首先，在步驟S521中，異常圖像組提取部510計(jì)算表示處理對(duì)象的異常圖像I_j(j為自然數(shù))與在異常圖像列中和該異常圖像I_j相鄰的異常圖像I_j+n(n為自然數(shù))之間的位置的接近度的參數(shù)s_pos(s_pos＝(N－n)/N)。另外，在步驟S51中，可以在取得異常圖像I_i的拍攝時(shí)刻作為位置信息的情況下，根據(jù)拍攝時(shí)刻的差來(lái)計(jì)算表示位置的接近度的參數(shù)。

在接下來(lái)的步驟S522中，異常圖像組提取部510根據(jù)處理對(duì)象的異常圖像中的異常區(qū)域的分類結(jié)果(參照步驟S54)，確定分別賦予給大局類似度s_global、局部類似度s_local和表示位置的接近度的參數(shù)s_pos的權(quán)重w₅、w₆、w₇(w₅+w₆+w₇＝1)。

如果異常圖像I_j中的異常區(qū)域是連續(xù)產(chǎn)生的異常區(qū)域，則以使權(quán)重w₇相對(duì)較大，在權(quán)重w₅、w₆之間權(quán)重w₅相對(duì)較大的方式來(lái)設(shè)定權(quán)重w₅、w₆、w₇。另一方面，如果該異常區(qū)域是零散產(chǎn)生的異常區(qū)域，則以使權(quán)重w₇相對(duì)較小，在權(quán)重w₅、w₆之間使權(quán)重w₆相對(duì)較大的方式來(lái)設(shè)定權(quán)重w₅、w₆、w₇。

在接下來(lái)的步驟S523中，異常圖像組提取部510使用在步驟S522確定的權(quán)重w₅、w₆、w₇，計(jì)算結(jié)合了大局類似度s_global、局部類似度s_local和表示位置的接近度的參數(shù)s_pos的總判別參數(shù)s_total3?？偱袆e參數(shù)s_total3通過(guò)下式(6)給出的。

s_total3＝w₅·s_global+w₆·s_local+w₇·s_pos……(6)

在接下來(lái)的步驟S524中，異常圖像組提取部510判定總判別參數(shù)s_total3是否為規(guī)定閾值th10以上。在總判別參數(shù)s_total3為閾值th10以上的情況下(步驟S524：是)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_j和下一個(gè)提取的異常圖像I_j+n包含相同的異常區(qū)域(步驟S525)。另一方面，在總判別參數(shù)s_total3小于閾值th10的情況下(步驟S524：否)，異常圖像組提取部510判定為處理對(duì)象的異常圖像I_j和下一個(gè)提取的異常圖像I_j+n不包含相同的異常區(qū)域(步驟S526)。

在針對(duì)全部異常圖像結(jié)束循環(huán)F的處理后，在步驟S527中，異常圖像組提取部510提取判定為拍攝有相同的異常區(qū)域的異常圖像彼此作為相同的異常圖像組。然后，圖像處理裝置的動(dòng)作返回到主例程。

雖然在以上說(shuō)明的實(shí)施方式1～5和這些變形例中構(gòu)成為在不同的異常圖像之間大局類似度或者基于該大局類似度的判別參數(shù)為規(guī)定閾值以上的情況下，判定為這些異常圖像包含相同的異常區(qū)域，但是也可以構(gòu)成為根據(jù)大局類似度或者判別參數(shù)的計(jì)算方法，在大局類似度或者判別參數(shù)為規(guī)定閾值以下的情況下判定為包含相同的異常區(qū)域。

以上所說(shuō)明的實(shí)施方式1～5以及它們的變形例的圖像處理裝置能夠通過(guò)在個(gè)人計(jì)算機(jī)或工作站等計(jì)算機(jī)系統(tǒng)中執(zhí)行記錄介質(zhì)所記錄的圖像處理程序來(lái)實(shí)現(xiàn)。此外，也可以經(jīng)由局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)或互聯(lián)網(wǎng)等的公共線路，將這種計(jì)算機(jī)系統(tǒng)連接到其他計(jì)算機(jī)系統(tǒng)或服務(wù)器等設(shè)備上進(jìn)行使用。此時(shí)，實(shí)施方式1～5以及這些變形例的圖像處理裝置也可以經(jīng)由這些網(wǎng)絡(luò)取得管腔內(nèi)圖像的圖像數(shù)據(jù)，或者將圖像處理結(jié)果輸出到經(jīng)由這些網(wǎng)絡(luò)連接的各種輸出設(shè)備(瀏覽器或打印機(jī)等)，還將圖像處理結(jié)果存儲(chǔ)到經(jīng)由這些網(wǎng)絡(luò)連接的存儲(chǔ)裝置(記錄介質(zhì)及其讀取裝置等)中。

另外，本發(fā)明不直接限定為各實(shí)施方式1～5及它們的變形例，可通過(guò)適當(dāng)組合各實(shí)施方式或變形例所公開(kāi)的多個(gè)結(jié)構(gòu)要素來(lái)形成各種發(fā)明。例如，可從個(gè)各實(shí)施方式或變形例所示的全部結(jié)構(gòu)要素中去除幾個(gè)結(jié)構(gòu)要素來(lái)形成，也可適當(dāng)組合不同實(shí)施方式或變形例所示的結(jié)構(gòu)要素來(lái)形成。

標(biāo)號(hào)說(shuō)明

1：圖像處理裝置；10：控制部；20：圖像取得部；30：輸入部；40：顯示部；50：記錄部；51：圖像處理程序；100、200、250、300、400、500：運(yùn)算部；110：檢測(cè)部；120：大局類似度計(jì)算部；130、220、320、420、510：異常圖像組提取部；140、141：代表圖像提取部；210：位置信息取得部；310、330、340：異常分類部；311：連續(xù)異常判定部；331：零散異常判定部；410：局部類似度計(jì)算部。