技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理裝置和圖像處理方法等。

背景技術(shù)：

在根據(jù)給定時間間隔以時間序列的方式持續(xù)靜態(tài)圖像拍攝的情況下、在通過多個圖像網(wǎng)羅具有空間范圍的被攝體的情況下、或者在拍攝動態(tài)圖像后取得構(gòu)成該動態(tài)圖像的各圖像作為靜態(tài)圖像的情況下等，取得時間或空間上連續(xù)的非常大量的圖像(以下也記載為圖像列)。在這種情況下，圖像列中接近(即時間或空間上接近)的圖像彼此是相似圖像的可能性較高，在掌握所拍攝的內(nèi)容時，檢查大量的全部圖像的必要性不高。圖像張數(shù)為幾萬張以上的情況本來就不稀奇，用戶手動檢查全部圖像本身的負(fù)擔(dān)很大。

因此，需要通過從圖像列中刪除一部分圖像，精簡為張數(shù)比原來的圖像列的張數(shù)少的圖像列(以下將該處理記載為圖像精簡處理)。例如在專利文獻1中公開了如下的圖像精簡處理方法：通過提取圖像列中的場景變化的邊界的圖像或代表圖像列的圖像，保留容易掌握圖像列的內(nèi)容的圖像。

現(xiàn)有技術(shù)文獻

專利文獻

專利文獻1：日本特開2009-5020號公報

專利文獻2：日本特開2011-24763號公報

技術(shù)實現(xiàn)要素：

發(fā)明所要解決的課題

例如在醫(yī)學(xué)領(lǐng)域中應(yīng)用圖像精簡技術(shù)的情況下，從避免疾患的漏看的觀點來看，需要抑制產(chǎn)生由于刪除圖像而無法觀察的區(qū)域。特別是需要使得病變區(qū)域或異常區(qū)域那樣的重要區(qū)域不包含在無法觀察的區(qū)域中。

但是，如專利文獻1的方法那樣，當(dāng)僅保留場景變化的邊界的圖像、或以是否容易直觀地觀察精簡后的圖像列的觀點進行圖像精簡時，可能產(chǎn)生由于刪除圖像而無法觀察的區(qū)域，并不理想。并且，由于無法觀察的區(qū)域的產(chǎn)生程度取決于圖像的內(nèi)容，所以，在現(xiàn)有的圖像精簡處理的方法中，難以控制疾患的漏看等的程度。

根據(jù)本發(fā)明的若干個方式，能夠提供如下的圖像處理裝置和圖像處理方法等：在抑制由于圖像刪除而無法觀察的區(qū)域產(chǎn)生的情況下，進行高效的圖像精簡處理。

用于解決課題的手段

本發(fā)明的一個方式涉及一種圖像處理裝置，其包含：第1圖像精簡處理部，其通過基于多個圖像間的相似度的第1圖像精簡處理，取得第1精簡圖像列；第2圖像精簡處理部，其通過針對所述多個圖像中的各圖像的、基于對象物體或場景的識別處理的第2圖像精簡處理，取得第2精簡圖像列；以及合并處理部，其進行所述第1精簡圖像列和所述第2精簡圖像列的合并處理、或所述第1圖像精簡處理和所述第2圖像精簡處理的合并處理，來取得輸出精簡圖像列。

在本發(fā)明的一個方式中，在考慮了基于相似度的第1圖像精簡處理、和基于對象物體等的識別處理的第2圖像精簡處理的情況下，進行這些處理的合并處理，來取得輸出精簡圖像列。由此，能夠進行將使用了相似度時的優(yōu)點、和使用了對象物體等的識別處理時的優(yōu)點組合起來的圖像精簡處理，能夠進行高效的圖像精簡和用戶的便利性提高等。

本發(fā)明的其他方式涉及一種圖像處理裝置，其包含：圖像列取得部，其取得具有多個圖像的圖像列；以及處理部，其基于刪除所述圖像列取得部所取得的所述圖像列的所述多個圖像的一部分的第1可否刪除判定處理和第2可否刪除判定處理，進行取得精簡圖像列的圖像精簡處理，所述處理部設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從所設(shè)定的所述關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選擇第1判定對象圖像，根據(jù)表示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的第1變形信息，進行判定所述第1判定對象圖像可否刪除的處理，作為所述第1可否刪除判定處理，所述處理部利用所述圖像列，設(shè)定在所述第1可否刪除判定處理中被判定為不可刪除的所述圖像連續(xù)多個而成的部分圖像列，所述處理部從所述部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，根據(jù)表示所述第2基準(zhǔn)圖像與所述第2判定對象圖像之間的變形的第2變形信息，進行判定所述第2判定對象圖像可否刪除的處理，作為所述第2可否刪除判定處理。

在本發(fā)明的其他方式中，設(shè)定關(guān)注圖像列，根據(jù)所設(shè)定的關(guān)注圖像列進行第1可否刪除判定處理，并根據(jù)第1可否刪除判定處理的結(jié)果，進行第2可否刪除判定處理。將第1、第2可否刪除判定處理設(shè)為基于圖像間的變形信息的處理，因此能夠進行考慮到了關(guān)注圖像和變形信息兩者的圖像精簡處理。此時，成為使用前段中的結(jié)果進行后段處理的多階段處理，因此與分別獨立進行的情況相比，能夠進行有效的圖像精簡處理等。

此外，本發(fā)明的其他方式涉及使計算機作為上述各部件發(fā)揮功能的程序。

并且，本發(fā)明的其他方式涉及進行第1圖像精簡處理和第2圖像精簡處理的圖像處理方法，所述第1圖像精簡處理根據(jù)多個圖像間的相似度，取得第1精簡圖像列，所述第2圖像精簡處理基于針對所述多個圖像中的各圖像的、對象物體或場景的識別處理，取得第2精簡圖像列，在所述圖像處理方法中，進行如下合并處理：通過進行所述第1精簡圖像列和所述第2精簡圖像列的合并處理、或所述第1圖像精簡處理和所述第2圖像精簡處理的合并處理，取得輸出精簡圖像列。

并且，本發(fā)明的其他方式涉及圖像處理方法，其中，取得具有多個圖像的圖像列，設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從所設(shè)定的所述關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選擇第1判定對象圖像，進行根據(jù)表示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的第1變形信息，判定所述第1判定對象圖像可否刪除的處理，作為第1可否刪除判定處理，利用所述圖像列，設(shè)定在所述第1可否刪除判定處理中被判定為不可刪除的所述圖像連續(xù)多個而成的部分圖像列，從所述部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，進行根據(jù)表示所述第2基準(zhǔn)圖像與所述第2判定對象圖像之間的變形的第2變形信息，判定所述第2判定對象圖像可否刪除的處理，作為第2可否刪除判定處理，基于所述第1可否刪除判定處理和所述第2可否刪除判定處理，進行刪除所述圖像列的所述多個圖像的一部分來取得精簡圖像列的圖像精簡處理。

附圖說明

圖1是本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例。

圖2是說明計算覆蓋率的方法的圖。

圖3(A)、圖3(B)是說明第1圖像精簡處理的具體例的圖。

圖4是說明第1圖像精簡處理的流程圖。

圖5是說明第2圖像精簡處理的流程圖。

圖6是說明第2圖像精簡處理的圖。

圖7是說明第1實施方式的合并處理的流程圖。

圖8(A)、圖8(B)是說明第2精簡圖像列的更新處理的圖。

圖9(A)、圖9(B)是說明第2精簡圖像列的可否更新判定處理的圖。

圖10是說明第2實施方式的合并處理的流程圖。

圖11是本實施方式的圖像精簡裝置的另一系統(tǒng)結(jié)構(gòu)例。

圖12(A)～圖12(C)是說明第3實施方式的方法的圖。

圖13是說明第3實施方式的合并處理的流程圖。

圖14(A)～圖14(E)是說明第4實施方式的方法的圖。

圖15是說明第4實施方式的合并處理的流程圖。

圖16(A)～圖16(D)是說明本實施方式的圖像精簡處理的圖。

圖17是第5實施方式的圖像處理裝置的結(jié)構(gòu)例。

圖18是說明第5實施方式的圖像精簡處理的流程圖。

圖19(A)～圖19(D)是說明基準(zhǔn)圖像和判定對象圖像的選擇方法的圖。

圖20是第1可否刪除判定部的結(jié)構(gòu)例。

圖21是第2可否刪除判定部的結(jié)構(gòu)例。

圖22是第1可否刪除判定部的另一結(jié)構(gòu)例。

圖23(A)～圖23(E)是說明對非覆蓋區(qū)域的基于結(jié)構(gòu)要素的收縮處理的圖。

圖24(A)、圖24(B)是說明對判定對象圖像的基于結(jié)構(gòu)要素的收縮處理的圖。

圖25(A)、圖25(B)是基準(zhǔn)圖像和要覆蓋區(qū)域的包含判定的例子。

圖26(A)、圖26(B)是說明使用了結(jié)構(gòu)要素的另一處理的圖。

圖27是第2基準(zhǔn)圖像選擇部的結(jié)構(gòu)例。

圖28(A)～圖28(G)是說明后方基準(zhǔn)圖像的更新方法的圖。

圖29是用于說明第7實施方式的圖像精簡處理的流程圖。

圖30是圖像處理裝置的基本的系統(tǒng)結(jié)構(gòu)例。

具體實施方式

下面，對實施方式進行說明。另外，以下說明的本實施方式并不是不當(dāng)限定權(quán)利要求范圍所記載的本發(fā)明的內(nèi)容。并且，本實施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的必需結(jié)構(gòu)要件。

1.本實施方式的方法

首先，對本實施方式的方法進行說明。在取得由時間或空間上連續(xù)的大量圖像構(gòu)成的圖像列的情況下，在用戶使用該圖像列進行某些處理(例如如果是內(nèi)窺鏡圖像列，則進行診斷等醫(yī)療行為)時，優(yōu)選進行圖像精簡處理。之所以這樣，是因為，圖像列所包含的圖像張數(shù)非常多，用戶在觀看全部圖像后進行判斷很費力。并且，在圖像列所包含的圖像中存在彼此相似的圖像的可能性很高，即使檢查全部這種相似的圖像，可取得的信息量也有限，與勞動量不相稱。

作為具體例，考慮使用膠囊內(nèi)窺鏡拍攝而得到的圖像列。膠囊內(nèi)窺鏡是內(nèi)置有小型照相機的膠囊形狀的內(nèi)窺鏡，按給定時間間隔(例如1秒兩次等)拍攝圖像。膠囊內(nèi)窺鏡從內(nèi)服到排出需要幾小時(根據(jù)情況而需要十幾小時)，所以，在1個用戶的1次檢查中取得幾萬張拍攝圖像。并且，膠囊內(nèi)窺鏡在活體內(nèi)移動時，由于受到該活體的運動影響等而停留在相同場所或向相反方向返回。因此，在大量圖像中，存在多個拍攝與其他圖像相同的被攝體、在病變發(fā)現(xiàn)等中有用性不高的圖像。

在現(xiàn)有的圖像精簡處理中，提取出了場景變化的邊界的圖像、代表圖像列的圖像。但是，在這種方法中，刪除圖像時，沒有特別考慮作為該刪除對象的圖像中所拍攝的被攝體、和保留圖像中所拍攝的被攝體之間的關(guān)系。因此，可能產(chǎn)生如下情況：在精簡后的圖像列所包含的任意圖像上，均未拍攝到在精簡前的圖像列所包含的圖像上所拍攝的被攝體。

該情況特別是在醫(yī)療領(lǐng)域的圖像精簡處理中并不理想。在醫(yī)療領(lǐng)域中，在其目的方面，必須極力抑制作為應(yīng)關(guān)注區(qū)域的關(guān)注區(qū)域(例如病變部)的漏看。因此，優(yōu)選拍攝活體內(nèi)的盡可能寬的范圍，在圖像精簡處理中，應(yīng)該抑制產(chǎn)生由于刪除給定圖像而變得無法觀察的被攝體范圍。

因此，本申請人從抑制由于圖像刪除而無法觀察的區(qū)域產(chǎn)生的觀點來看，提出了進行圖像精簡處理的方法。具體而言，使用基于作為圖像精簡處理對象的圖像列所包含的多個圖像間的相似度的圖像精簡處理。通過使用相似度，能夠進行基于多個圖像的關(guān)系的圖像精簡處理。

考慮多種求出相似度的方法，但例如可以從圖像列中選擇基準(zhǔn)圖像(保留圖像、根據(jù)基準(zhǔn)圖像的設(shè)定方法而成為保留候選的圖像)和判定對象圖像(判定是否刪除的對象圖像)，并進行基于基準(zhǔn)圖像和判定對象圖像之間的變形信息的圖像精簡處理。具體而言，如圖2所示，通過對基準(zhǔn)圖像進行變形，在判定對象圖像上計算覆蓋區(qū)域。在基準(zhǔn)圖像中所拍攝的被攝體與在判定對象圖像的覆蓋區(qū)域上所拍攝的被攝體對應(yīng)。即，判定對象圖像中的覆蓋區(qū)域外的范圍(以下記述為非覆蓋區(qū)域)是在刪除了該判定對象圖像的情況下、即使保留基準(zhǔn)圖像也無法覆蓋的區(qū)域。

由此，作為一例，計算覆蓋區(qū)域在判定對象圖像中所占的比例等作為覆蓋率，根據(jù)計算出的覆蓋率判定是否刪除判定對象圖像，由此，對無法觀察的被攝體范圍的產(chǎn)生程度進行控制。例如，如果在覆蓋率為閾值以上時刪除判定對象圖像、在覆蓋率小于閾值時不刪除判定對象圖像，則能夠根據(jù)閾值的設(shè)定，對無法覆蓋的區(qū)域的產(chǎn)生程度進行控制。

如圖23(A)～圖23(E)所示，作為使用了變形信息的圖像精簡處理的另一例，可以根據(jù)對非覆蓋區(qū)域的基于結(jié)構(gòu)要素(與關(guān)注區(qū)域?qū)?yīng))的收縮處理結(jié)果，對判定對象圖像可否刪除進行判定。詳細(xì)將后述，但該情況下，即使刪除了判定對象圖像，也能夠保證在該判定對象圖像上所拍攝的結(jié)構(gòu)要素的尺寸以上的區(qū)域的至少一部分被拍攝到基準(zhǔn)圖像上。因此，在判定對象圖像中拍攝了關(guān)注區(qū)域整體的情況下，不論該關(guān)注區(qū)域在判定對象圖像上的位置如何，都能夠通過基準(zhǔn)圖像觀察其至少一部分，因此能夠抑制關(guān)注區(qū)域的漏看可能性。

另外，使用變形信息的方法是計算相似度的方法的一例，也可以通過其他方法求出圖像間的相似度。

但是，在使用相似度的圖像精簡處理中，根據(jù)圖像間的關(guān)系進行處理，因此有可能未考慮到作為處理對象的圖像中所拍攝的被攝體和場景等。因此，如果想拍攝到圖像上的對象(例如在膠囊內(nèi)窺鏡中是醫(yī)生的觀察對象，狹義地講是病變部等區(qū)域)是明確的，則與基于相似度的圖像精簡處理分開地，另外執(zhí)行基于在圖像上是否拍攝有該對象這一觀點而進行的圖像精簡處理也是有用的。

因此，本申請人提出如下方法：進行基于相似度的第1圖像精簡處理、和基于對象物體或場景識別處理的第2圖像精簡處理兩方，并且進行合并兩個處理來取得輸出精簡圖像列的合并處理。由此，能夠進行兼有兩個圖像精簡處理的優(yōu)點的圖像精簡處理。具體而言，能夠進行可在抑制無法觀察的被攝體范圍產(chǎn)生的同時、高效地觀察作為觀察對象的物體和場景的圖像精簡處理。

以下，使用第1～第4實施方式針對該方法說明具體例。在第1實施方式中，通過第1圖像精簡處理取得第1精簡圖像列，并且通過第2圖像精簡處理取得第2精簡圖像列，作為合并處理，進行合并第1精簡圖像列和第2精簡圖像列的處理。在第2實施方式中，在取得了第1精簡圖像列和第2精簡圖像列后，根據(jù)第1精簡圖像列進行第2精簡圖像列的更新處理(狹義地講，是削減第2精簡圖像列所包含的精簡圖像張數(shù)的處理)，對第1精簡圖像列、和更新處理后的第2精簡圖像列進行合并。

第3、第4實施方式是如下的實施方式：與其說與精簡圖像列的合并處理相關(guān)，不如說與第1圖像精簡處理和第2圖像精簡處理這兩個處理的合并處理相關(guān)。在第3實施方式中，將基于第2圖像精簡處理的結(jié)果(狹義地講，是第2精簡圖像列)的第1圖像精簡處理的執(zhí)行，作為所述合并處理來進行。具體而言，在第1、第2實施方式中，第1精簡圖像列所包含的精簡圖像根據(jù)相似度被確定，但在第3實施方式中，除了相似度以外，還是用第2圖像精簡處理的結(jié)果確定精簡圖像。

在第4實施方式中，組合第3實施方式的方法、和第2實施方式中的第2精簡圖像列的更新處理，進行反饋處理。具體而言，進行基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理，取得第1精簡圖像列。然后，根據(jù)所取得的第1精簡圖像列，執(zhí)行第2精簡圖像列的更新處理。進而，再次進行基于更新處理后的第2精簡圖像列的第1圖像精簡處理，取得第1精簡圖像列，并將所取得的第1精簡圖像列設(shè)為輸出精簡圖像列。在無法執(zhí)行更新處理的情況下，將此時的第1精簡圖像列設(shè)為輸出精簡圖像列即可，結(jié)果與第3實施方式相同。

另外，在以下的說明中，將通過基于相似度的第1圖像精簡處理得到的圖像列設(shè)為第1精簡圖像列，將第1精簡圖像列所包含的圖像稱作相似度精簡圖像。此外，將通過基于對象物體等的識別處理的第2圖像精簡處理得到的圖像列設(shè)為第2精簡圖像列，將第2精簡圖像列所包含的圖像稱作物體精簡圖像。將根據(jù)到合并處理等為止所包含的處理而最終被輸出的圖像列設(shè)為輸出精簡圖像列，將輸出精簡圖像列所包含的圖像稱作輸出精簡圖像。

此外，在進行使用上述變形信息作為相似度的處理、并使用了關(guān)注區(qū)域的檢測處理作為識別處理的情況下，還能夠考慮第1～第4實施方式以外的方法。與僅使用了相似度的處理同樣，僅以基于覆蓋率的可否刪除判定，沒有特別考慮可否刪除拍攝有關(guān)注區(qū)域的圖像即關(guān)注圖像。例如，如果關(guān)注圖像以外的其他圖像(可以是其他關(guān)注圖像、也可以是不為關(guān)注圖像的圖像)的覆蓋率高，則即使是關(guān)注圖像也成為刪除對象。因此，在極端的情況下，還有可能從圖像列中刪除所有關(guān)注圖像，且無法從圖像精簡處理后的精簡圖像列中觀察到關(guān)注區(qū)域。

此外，在基于結(jié)構(gòu)要素的可否刪除判定中，存在刪除拍攝有關(guān)注區(qū)域整體的圖像、保留僅拍攝有該關(guān)注區(qū)域的小部分的圖像的情形，從關(guān)注區(qū)域的觀察這一觀點來看，可能會不理想。

當(dāng)然，還充分考慮了如下情形：能夠通過使用了變形信息的處理(使用了覆蓋率、結(jié)構(gòu)要素、或該兩方的處理等)進行有效的圖像精簡處理。但是，如果像使用了膠囊內(nèi)窺鏡的情況下的病變部那樣，存在應(yīng)重點觀察的關(guān)注區(qū)域，則基于是否拍攝有關(guān)注區(qū)域這一觀點的處理的有用性高。具體而言，能夠通過積極地(狹義地講是必須)將關(guān)注圖像保留到精簡圖像列，應(yīng)對在使用了變形信息的處理中可能產(chǎn)生的問題。

因此，本申請人提出了如下方法：將所取得的圖像列中的、拍攝有關(guān)注區(qū)域的1個或多個圖像設(shè)定為關(guān)注圖像列，根據(jù)所設(shè)定的關(guān)注圖像列，進行使用了變形信息的圖像可否刪除判定處理來取得精簡圖像列。但是，在如圖16(A)所示那樣求出關(guān)注圖像列，并與其獨立地求出了根據(jù)變形信息進行圖像精簡處理后的結(jié)果的圖像列的情況下，在取單純的并集時，可能如圖16(B)的I1中示出的部位那樣，存在圖像密集的部分。在該部位處，未被其他圖像充分覆蓋的圖像可能被保留在精簡圖像列中，從而圖像精簡處理對圖像張數(shù)的削減效果可能降低。因此這里，進行基于關(guān)注圖像列的第1可否刪除判定處理、然后進行基于第1可否刪除判定處理結(jié)果的第2可否刪除判定處理這樣的2階段處理，由此提高圖像精簡處理對圖像張數(shù)的削減效果。第1、第2可否刪除判定處理是使用了變形信息的處理，其詳細(xì)情況將后述。

作為這里的圖像處理裝置的1個實施方式，如圖30所示，考慮包含處理部100、和圖像列取得部30的圖像處理裝置。圖像列取得部30取得具有多個圖像的圖像列。并且，處理部100進行如下處理，作為第1可否刪除判定處理：設(shè)定由多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從所設(shè)定的關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從多個圖像中選擇第1判定對象圖像，根據(jù)表示第1基準(zhǔn)圖像與第1判定對象圖像之間的變形的第1變形信息，判定第1判定對象圖像可否刪除。此外，處理部100利用圖像列，設(shè)定在第1可否刪除判定處理中被判定為不可刪除的圖像連續(xù)多個而成的部分圖像列。而且，處理部100進行如下處理，作為第2可否刪除判定處理：從部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，根據(jù)表示第2基準(zhǔn)圖像與第2判定對象圖像之間的變形的第2變形信息，判定第2判定對象圖像可否刪除。

以下，在第5實施方式中，對基本的方法進行說明。在第5實施方式中，說明作為第1、第2可否刪除判定處理而使用了覆蓋率的例子。其中，第1、第2可否刪除判定處理可考慮各種變形例(例如使用結(jié)構(gòu)要素的方法)。因此，利用第6實施方式說明這些變形例。此外，第2可否刪除判定處理中的基準(zhǔn)圖像(第2基準(zhǔn)圖像)和判定對象圖像(第2判定對象圖像)的選擇方法也可考慮各種變形例，因此利用第7實施方式說明這些變形例。

2.第1實施方式

對第1實施方式的方法進行說明。首先說明圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例，然后敘述第1圖像精簡處理和第2圖像精簡處理的具體例。最后說明合并處理的方法。

2.1系統(tǒng)結(jié)構(gòu)例

圖1示出本實施方式的圖像精簡裝置的結(jié)構(gòu)例。如圖1所示，圖像精簡裝置包含圖像列取得部30、第1圖像精簡處理部100、第2圖像精簡處理部200、合并處理部300和輸出部40。另外，圖像精簡裝置不限于圖1的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素(例如輸出部40等)或追加其他結(jié)構(gòu)要素等各種變形。

圖像列取得部30取得作為圖像精簡處理的對象的圖像列數(shù)據(jù)。要取得的圖像列數(shù)據(jù)是時間或空間上連續(xù)的多個圖像，從圖像輸入裝置10或圖像數(shù)據(jù)庫20等被取得。對于圖像輸入裝置10，可考慮數(shù)字照相機或膠囊內(nèi)窺鏡等、拍攝圖像的攝像裝置。圖像數(shù)據(jù)庫20是存儲大量圖像的數(shù)據(jù)庫，蓄積由攝像裝置等取得的圖像數(shù)據(jù)。另外，圖像數(shù)據(jù)庫20可以設(shè)置于與圖像精簡裝置遠(yuǎn)離的位置處，可以由經(jīng)由網(wǎng)絡(luò)與圖像精簡裝置連接的服務(wù)器等構(gòu)成。此外，假定圖像輸入裝置10和圖像數(shù)據(jù)庫20與圖像精簡裝置分開設(shè)置，但被包含在圖像精簡裝置中也無妨。

第1圖像精簡處理部100進行基于相似度的第1圖像精簡處理。第1圖像精簡處理部100可以包含相似度計算部110、精簡處理部120和第1精簡圖像列生成部130。另外，第1圖像精簡處理部100不限于圖1的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。

相似度計算部110計算由圖像列取得部30取得的圖像列所包含的圖像間的相似度。精簡處理部120根據(jù)計算出的相似度，進行精簡處理(具體而言，是第1精簡圖像列所保留的相似度精簡圖像、和刪除圖像的確定處理)。第1精簡圖像列生成部130基于精簡處理部120中的精簡處理，生成作為第1圖像精簡處理部100的輸出的第1精簡圖像列。另外，第1圖像精簡處理的詳細(xì)情況將后述。

第2圖像精簡處理部200進行基于對象物體或場景識別處理的第2圖像精簡處理。第2圖像精簡處理部200可以包含識別處理部210、精簡處理部220和第2精簡圖像列生成部230。另外，第2圖像精簡處理部200不限于圖1的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。

識別處理部210進行由圖像列取得部30取得的圖像列所包含的圖像是包含對象物體、還是拍攝了作為對象的場景的識別處理。識別處理的方法可考慮多種，但例如可以存儲表示對象物體和場景的模板，進行使用了該模板的匹配處理。精簡處理部220根據(jù)識別處理部210中的識別結(jié)果，進行精簡處理(具體而言，是第2精簡圖像列所保留的物體精簡圖像、和刪除圖像的確定處理)。具體而言，進行如下處理：考慮同一對象物體或同一場景連續(xù)的區(qū)域而進行了分段處理后，從所生成的片段(連續(xù)圖像列)中，選擇至少1張圖像作為物體精簡圖像。第2精簡圖像列生成部230基于精簡處理部220中的精簡處理，生成作為第2圖像精簡處理部200的輸出的第2精簡圖像列。另外，第2圖像精簡處理的詳細(xì)情況將后述。

合并處理部300進行基于第1圖像精簡處理部100和第2圖像精簡處理部200中的處理的合并處理。在本實施方式中，進行第1精簡圖像列和第2精簡圖像列的合并處理。具體將后述。

輸出部40輸出作為合并處理部300中的合并處理結(jié)果而被取得的輸出精簡圖像列。輸出部40例如可以是由液晶顯示器或有機EL顯示器等實現(xiàn)的顯示部，該情況下，考慮對輸出精簡圖像列所包含的輸出精簡圖像進行顯示等。另外，圖像精簡裝置不需要具有作為與用戶的接口的顯示部等，可以與圖像精簡裝置分開設(shè)置輸出部40(顯示部)。

2.2第1圖像精簡處理

接著對基于相似度的第1圖像精簡處理進行說明。作為這里使用的相似度，可考慮圖像間的運動矢量、SSD或SAD、以及歸一化互相等的相關(guān)值等。另外，通常只要是被計算為多個圖像間的相似度那樣的信息，則能夠利用任意的信息作為相似度。

作為基于相似度的圖像精簡處理的方法，可以考慮使用一直以來執(zhí)行的如下方法：按相似度從小到大的順序進行排序，通過從上位起選擇至所設(shè)定的數(shù)量為止，進行場景變化的檢測。

此外，如圖2所示，可以根據(jù)基準(zhǔn)圖像(第1精簡圖像列所保留的相似度精簡圖像、或相似度精簡圖像的候選圖像)，將表示判定對象圖像被怎樣程度地覆蓋的覆蓋率用作相似度，并根據(jù)該覆蓋率，進行判定對象圖像可否刪除的判定，從而進行圖像精簡。這里詳細(xì)說明使用了覆蓋率的方法。

在使用覆蓋率的方法中，使用基準(zhǔn)圖像與判定對象圖像之間的變形信息，對基準(zhǔn)圖像進行變形并映射到判定對象圖像上。這里，變形信息是與基準(zhǔn)圖像上所拍攝的被攝體被怎樣地變形并拍攝到判定對象圖像上對應(yīng)的信息，可以利用變形估計或根據(jù)運動矢量等求出，也可以使用利用專利文獻2所記載的方法估計的非剛體變形參數(shù)等。

圖2是設(shè)定了判定對象圖像前方的第1基準(zhǔn)圖像、和判定對象圖像后方的第2基準(zhǔn)圖像這兩張作為基準(zhǔn)圖像的例子。判定對象圖像上的A1是對第1基準(zhǔn)圖像進行變形而得到的區(qū)域，A2是對第2基準(zhǔn)圖像進行變形而得到的區(qū)域。例如考慮求出與A1和A2的并集對應(yīng)的區(qū)域作為覆蓋區(qū)域，并使用覆蓋區(qū)域在判定對象圖像整體中所占比例的值作為覆蓋率。

判定對象圖像可否刪除的判定通過覆蓋率與事先設(shè)定的閾值(可以由系統(tǒng)設(shè)定，也可以根據(jù)來自用戶的輸入確定)的比較處理來進行即可。具體而言，如果覆蓋率小于閾值，則將判定對象圖像判定為不可刪除，如果覆蓋率在閾值以上，則將判定對象圖像判定為可刪除。覆蓋率為閾值以上的情況使得判定對象圖像中所拍攝的被攝體范圍中的、由閾值表示的程度的部分被拍攝到第1基準(zhǔn)圖像和第2基準(zhǔn)圖像的至少一方中，因此只要保留第1、第2基準(zhǔn)圖像作為相似度精簡圖像，則即使刪除了判定對象圖像，也能夠充分覆蓋此處所拍攝的區(qū)域。

圖3(A)、圖3(B)圖示了第1、第2基準(zhǔn)圖像和判定對象圖像的選擇處理。另外，在該處理中，確定了第1基準(zhǔn)圖像被選擇為相似度精簡圖像，而第2基準(zhǔn)圖像是相似度精簡圖像的候選，最終不確定是否被選擇為相似度精簡圖像。

如圖3(A)所示，設(shè)為選擇整個圖像列的第k個圖像作為第1基準(zhǔn)圖像(另外，與如下情況對應(yīng)：關(guān)于第1～k－1個圖像，是設(shè)為相似度精簡圖像還是設(shè)為刪除圖像的判定處理結(jié)束，第k～N個圖像成為了處理對象)。該情況下，首先選擇第k+2個圖像作為第2基準(zhǔn)圖像。

然后，從第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像前方起依次選擇判定對象圖像，根據(jù)第1基準(zhǔn)圖像與判定對象圖像之間的變形信息，對第1基準(zhǔn)圖像進行變形，并且根據(jù)第2基準(zhǔn)圖像與判定對象圖像之間的變形信息，對第2基準(zhǔn)圖像進行變形，從而計算覆蓋率。進而，根據(jù)計算出的覆蓋率，進行判定對象圖像可否刪除的判定。

如圖3(A)所示，在將第1基準(zhǔn)圖像和第2基準(zhǔn)圖像之間的所有圖像判定為可刪除的情況(這里將閾值設(shè)為了70％)下，作為第2基準(zhǔn)圖像，由于存在可以選擇與第1基準(zhǔn)圖像相比進一步遠(yuǎn)離的圖像的可能性，因此如圖3(B)所示那樣，進行第2基準(zhǔn)圖像的重新選擇。具體而言，將第k+2個第2基準(zhǔn)圖像更新為第k+3個即可。

然后，再次針對第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像，進行可否刪除的判定。如圖3(B)所示，在具有被判定為不可刪除的判定對象圖像的情況下，在第1基準(zhǔn)圖像和當(dāng)前的第2基準(zhǔn)圖像這兩張中，無法覆蓋其間所包含的所有圖像(具體而言，無法覆蓋被判定為不可刪除的判定對象圖像)，因此認(rèn)為過度增大了兩個基準(zhǔn)圖像的間隔、即第2基準(zhǔn)圖像的更新(選擇位置的增計數(shù))是不恰當(dāng)?shù)摹?/p>

因此，保留當(dāng)前時刻的第2基準(zhǔn)圖像的前一個圖像(與圖3(A)中的第2基準(zhǔn)圖像對應(yīng))作為相似度精簡圖像。具體而言，選擇當(dāng)前時刻的第2基準(zhǔn)圖像的前一個圖像作為新的第1基準(zhǔn)圖像，與此同時，關(guān)于第2基準(zhǔn)圖像、判定對象圖像，也重新選擇來繼續(xù)處理。

圖4是說明使用了覆蓋率作為相似度的情況下的第1圖像精簡處理的流程圖。在開始該處理后，設(shè)定作為圖像精簡處理的對象的圖像列的第I_S個圖像，作為最初的相似度精簡圖像(S101)。這里，I_S的值可以是1(即可以將圖像列的起始的圖像設(shè)為相似度精簡圖像)，也可以是1以外的值。

接著，將第I_S個圖像設(shè)定為第1基準(zhǔn)圖像(S102)，并且將第I_E個圖像設(shè)定為第2基準(zhǔn)圖像(S103)。這里，將滿足I_E＝I_S+2的值作為I_E的初始值。

并且，進行I_E是否為超過處理對象圖像列所包含的圖像張數(shù)的值的判定(S104)，在“是”的情況下結(jié)束圖像精簡處理。在“否”的情況下，由于能夠恰當(dāng)設(shè)定第2基準(zhǔn)圖像，因此將第1基準(zhǔn)圖像和第2基準(zhǔn)圖像之間的圖像依次設(shè)定為判定對象圖像，并進行可否刪除判定(S105～S108)。具體而言，將第1基準(zhǔn)圖像的下一圖像設(shè)為最初的判定對象圖像，利用圖2示出的方法求出覆蓋率，并進行與閾值的比較處理(S106、S107)。在覆蓋率為閾值以上(S107中的“是”)的情況下，由于判定對象圖像是可刪除的，因此將當(dāng)前的判定對象圖像的后方1個圖像設(shè)為新的判定對象圖像(圖4中與i的增計數(shù)對應(yīng))。在S107中未判定為“否”、且S105～S108的循環(huán)結(jié)束的情況下，如圖3(A)所示，由于能夠利用第1、第2基準(zhǔn)圖像覆蓋其間的所有圖像，因此對I_E的值進行增計數(shù)來更新第2基準(zhǔn)圖像(S109)，并返回S104。

在S107中判定為“否”的情況下，如圖3(B)所示，由于第1、第2基準(zhǔn)圖像之間的至少1張圖像無法被兩個基準(zhǔn)圖像充分覆蓋，因此需要將該時刻的第2基準(zhǔn)圖像的前一個圖像保留在精簡圖像中。因此，將第I_E－1個圖像設(shè)定為下一相似度精簡圖像(S110)。與此同時，設(shè)為I_S＝I_E－1(S111)，返回到S102，由此將設(shè)定為相似度精簡圖像的圖像設(shè)定為新的第1基準(zhǔn)圖像來繼續(xù)處理。

2.3第2圖像精簡處理

接著，對基于對象物體或場景的識別處理的第2圖像精簡處理進行說明。關(guān)于這里的識別處理，能夠利用基于與參照圖像的相似度的檢測處理、或由基于機械學(xué)習(xí)的圖案識別得到的識別結(jié)果等各種圖像識別或圖像檢測的處理結(jié)果。

在第2圖像精簡處理中，對作為圖像精簡處理的對象的圖像列的所有圖像進行識別處理，對各圖像進行是否拍攝了對象物體、或是否拍攝了作為對象的場景的判定。并且，將拍攝有對象物體的圖像中的連續(xù)的圖像、或拍攝有對象場景的圖像中的連續(xù)的圖像設(shè)定為連續(xù)圖像列(片段)，關(guān)于各片段提取至少1張圖像，并設(shè)定為第2精簡圖像列所保留的物體精簡圖像。

圖5是說明基于對象物體或場景的識別處理的第2圖像精簡處理的流程圖。這里，特別說明將識別出的對象物體面積最大的圖像選擇為物體精簡圖像的例子，但從連續(xù)圖像列中選擇物體精簡圖像的方法不限于此。

另外，設(shè)為進行識別處理作為圖5的處理的預(yù)處理。作為其結(jié)果，從前方起對檢測到對象物體等的圖像依次分配ID，該ID進行了與編號的對應(yīng)，編號表示作為圖像精簡處理的對象的圖像列(輸入圖像列)中的圖像位置。例如，如圖6所示，在設(shè)為通過針對輸入圖像列的識別處理，在由斜線示出的圖像中檢測到對象物體等時，在由斜線示出的圖像中，從起始起依次分配ID(這里，圖像編號和ID從0開始，但是不限于此)。此外，進行了被分配ID的圖像在輸入圖像列中是第幾個這樣的對應(yīng)，因此保持了ID＝0的圖像是輸入圖像列的第1個、ID＝4的圖像是輸入圖像列的第7個這樣的信息。圖5說明在此之后的分段處理和代表圖像(精簡圖像)的選擇處理。

在開始圖5的處理后，首先將作為計數(shù)器值的count初始化(S201)。這里，count是與物體精簡圖像的張數(shù)對應(yīng)的計數(shù)器值。另外，示出了從1個片段中選擇1張精簡圖像的例子，因此count是與被設(shè)定為分段處理的結(jié)果的片段也對應(yīng)的計數(shù)器值。接著，將表示對象物體面積的最大值的變量max初始化(S202)。

在初始化后，反復(fù)S203～S208的循環(huán)，將作為預(yù)處理而被分配了ID的圖像作為對象，從前方起依次進行處理。具體而言，將j＝0作為初始值，比較ID＝j(luò)的圖像中的對象物體的面積和max，在面積大于max的情況下，用面積的值改寫max的值，并且設(shè)定第count個精簡圖像作為當(dāng)前ID的圖像(S204)。但是，精簡圖像理想的是不用ID的值表現(xiàn)，而用是輸入圖像列的第幾個圖像來表現(xiàn)，因此根據(jù)輸入圖像列中的編號與ID的對應(yīng)，保持輸入圖像列的第幾個圖像是第count個精簡圖像這樣的信息。

然后，進行ID＝j(luò)的圖像與ID＝j(luò)+1的圖像在輸入圖像列中是否相鄰的判定(S205)。用圖6來說的話，S205中的“否”的情況如ID＝2或ID＝4那樣，是指將位于片段最后的圖像設(shè)為處理對象。因此，結(jié)束當(dāng)前片段中的處理，作為下一片段中的處理的預(yù)處理，對count的值進行增計數(shù)(S206)，并且將面積的最大值max初始化(S207)。

此外，用圖6來說的話，S205中的“是”的情況如ID＝1或ID＝3那樣，是指將位于片段起始或中途的圖像設(shè)為了處理對象，因此不進行S206、S207的處理。另外，在片段起始的圖像是處理對象的情況下，max＝0，因此在S204中，選擇當(dāng)前的圖像作為暫定的物體精簡圖像。另一方面，在片段中途的圖像是處理對象的情況下，暫定選擇當(dāng)前片段所包含、且處于處理對象的前方的給定圖像作為第count個物體精簡圖像，并且將此時的對象物體的面積保持為max。因此，在S204中，進行該暫定的物體精簡圖像中的對象物體面積、與ID＝j(luò)的圖像中的對象物體面積的比較處理，如果ID＝j(luò)的圖像中的對象物體面積較大，則利用ID＝j(luò)的圖像進行第count個物體精簡圖像的重寫處理。此外，如果暫定的物體精簡圖像中的對象物體面積較大，則一直保持該物體精簡圖像。

結(jié)果在S203～S208中的循環(huán)中，進行分段處理，在各片段中進行將對象物體的面積最大的圖像設(shè)為物體精簡圖像的處理，由此在對檢測到了對象物體的所有圖像進行了上述處理的情況下，結(jié)束處理。

另外，這里敘述了選擇對象物體的面積最大那樣的圖像作為物體精簡圖像的方法，但利用對象物體的圖像內(nèi)的位置、顏色信息、紋理信息、識別或檢測的精度等圖像識別、或圖像檢測結(jié)果的信息，同樣也可以進行圖像精簡處理。

2.4合并處理

接著，說明本實施方式中的合并處理。這里，進行如下處理：選擇通過第1圖像精簡處理得到的第1精簡圖像列、和通過第2圖像精簡處理得到的第2精簡圖像列中的至少一方所包含的圖像，作為輸出精簡圖像列的輸出精簡圖像。

圖7是說明本實施方式的合并處理的流程圖。如圖7所示，合并處理成為S301～S306的循環(huán)，針對輸入圖像列的所有圖像進行S302～S305的處理。

具體而言，進行輸入圖像列的第i個圖像是否包含在第1精簡圖像列中(是否為相似度精簡圖像)的判定(S302)。在“是”的情況下，選擇第i個圖像作為輸出精簡圖像列的輸出精簡圖像(S303)。在S302中的“否”的情況下，進行第i個圖像是否包含在第2精簡圖像列中(是否為物體精簡圖像)的判定(S304)。在“是”的情況下，轉(zhuǎn)移到S303，選擇第i個圖像作為輸出精簡圖像。在S304中的“否”的情況下，將第i個圖像設(shè)為刪除圖像(S305)。然后，將i＝0作為初始值，在將i增計數(shù)的同時，對輸入圖像列整體進行該處理。

在以上的本實施方式中，如圖1所示，圖像精簡裝置包含：第1圖像精簡處理部100，其通過基于多個圖像間的相似度的第1圖像精簡處理，取得第1精簡圖像列；第2圖像精簡處理部200，其通過針對多個圖像中的各圖像的、基于對象物體或場景的識別處理的第2圖像精簡處理，取得第2精簡圖像列；以及合并處理部300，其進行第1精簡圖像列和第2精簡圖像列的合并處理、或第1圖像精簡處理和第2圖像精簡處理的合并處理，取得輸出精簡圖像列。

這里，多個圖像被假定與由圖像列取得部30取得的圖像列整體對應(yīng)，但也可以是該圖像列的一部分。

由此，能夠合并通過基于圖像間的相似度判定、和對象物體或場景的識別處理這些不同觀點進行的圖像精簡處理得到的精簡圖像列，取得輸出精簡圖像列，因此能夠進行兼具有兩個圖像精簡處理的優(yōu)點的圖像精簡處理。通過進行使用了對象物體等的識別處理的第2圖像精簡處理，能夠生成保留了拍攝有重要的對象物體的圖像中的恰當(dāng)圖像后的精簡圖像列，但即使利用圖像識別、檢測處理也難以檢測所有重要的對象物體。在這點上，利用基于相似度這一不同觀點的圖像精簡處理，抑制無法觀察的區(qū)域產(chǎn)生，由此能夠?qū)o法檢測的重要物體包含到經(jīng)過第1圖像精簡處理的第1精簡圖像列中，能夠通過合并處理生成互補的輸出精簡圖像列。

此外，第1圖像精簡處理部100可以進行如下處理，作為第1圖像精簡處理：從多個圖像中選擇基準(zhǔn)圖像和判定對象圖像，根據(jù)基準(zhǔn)圖像與判定對象圖像之間的變形信息，計算基準(zhǔn)圖像對判定對象圖像的覆蓋率作為相似度，根據(jù)覆蓋率進行判定對象圖像可否刪除的判定。

這里，覆蓋率是表示判定對象圖像上所拍攝的被攝體中的、怎樣程度的被攝體被拍攝到了基準(zhǔn)圖像上的信息。例如，在取得縱橫比為1：1的圖像的情況下，判定對象圖像中，在實際空間上縱橫分別10m的正方形的被攝體被占滿拍攝到圖像中，基準(zhǔn)圖像中，上述被攝體所包含的縱橫分別5m的正方形的區(qū)域被占滿拍攝到圖像中。該情況下，判定對象圖像中拍攝有實際空間中的100m²的區(qū)域，基準(zhǔn)圖像中拍攝有實際空間中的25m²的區(qū)域(且是上述100m²的區(qū)域所包含的區(qū)域)。因此，基準(zhǔn)圖像覆蓋了判定對象圖像的25％，因此作為覆蓋率，可考慮25％、25m²、或0.25等值。另外，與平面的被攝體正對地進行拍攝的情況很少見，因此通常即使是相同的被攝體，在基準(zhǔn)圖像和判定對象圖像中，形狀也不同。在本實施方式中，利用專利文獻2等的方法取得與這樣的變形對應(yīng)的變形信息，并使用該變形信息計算覆蓋率。另外，覆蓋率只要是表示基準(zhǔn)圖像對判定對象圖像的覆蓋程度的信息即可，不限于比例/比率等。

此外，可否刪除的判定處理例如是與給定閾值的比較處理。如果增高閾值(例如，如果設(shè)定為接近100％的值)，則能夠期待提高以下效果：抑制由于刪除圖像而無法觀察的區(qū)域產(chǎn)生。另一方面，如果降低閾值，則能夠減少精簡處理后的精簡圖像列所包含的圖像張數(shù)。上述抑制效果的提高和減少圖像張數(shù)處于折衷的關(guān)系，能夠通過閾值的設(shè)定進行控制，因此期望根據(jù)狀況恰當(dāng)?shù)卦O(shè)定閾值。

由此，通過第1圖像精簡處理刪除圖像后的結(jié)果是，能夠抑制無法觀察的被攝體區(qū)域產(chǎn)生，并且能夠控制其抑制程度(強度)。這是因為，通過使用本實施方式的方法，如果使用與x％對應(yīng)的值，作為上述用于可否刪除判定處理的閾值，則即使刪除了判定對象圖像，也能夠保證該判定對象圖像上所拍攝的被攝體中的、x％被基準(zhǔn)圖像覆蓋(x％的被攝體范圍被拍攝到基準(zhǔn)圖像上)。另外，既然作為變形信息難以完全不產(chǎn)生誤差地求出被攝體在圖像上的變形，那么即使設(shè)定x作為閾值，判定對象圖像中的、被基準(zhǔn)圖像覆蓋的區(qū)域也有可能小于x％。

此外，在輸入了第1～第N(N為2以上的整數(shù))圖像作為輸入圖像列的情況下，第1圖像精簡處理部100選擇第p圖像作為第1基準(zhǔn)圖像，選擇第q(q是滿足p+2≦q≦N－1的整數(shù))圖像作為第2基準(zhǔn)圖像，并且選擇第r(r是滿足p+1≦r≦q－1的整數(shù))圖像作為判定對象圖像。并且，根據(jù)第1基準(zhǔn)圖像與判定對象圖像之間的變形信息、和第2基準(zhǔn)圖像與所述判定對象圖像之間的所述變形信息，計算所述覆蓋率，并根據(jù)覆蓋率，進行判定對象圖像可否刪除的判定。該情況下，例如在將第p+1～第q－1圖像判定為可刪除的情況下，能夠重新選擇第q+1圖像作為第2基準(zhǔn)圖像。

由此，如圖3(A)、圖3(B)所示，能夠在判定對象圖像的前方和后方設(shè)定了基準(zhǔn)圖像后，進行基于覆蓋率的圖像精簡處理。該情況下，由于使用兩個基準(zhǔn)圖像，因此與設(shè)定1個基準(zhǔn)圖像的情況等相比，能夠判定為可刪除判定對象圖像的可能性增高，能夠減少精簡處理后的圖像張數(shù)。

此外，第1圖像精簡處理部100在將第p+1～第q－1圖像中的至少1個判定為不可刪除的情況下，可以進行將被選擇為第1基準(zhǔn)圖像的圖像包含到第1精簡圖像列中的處理。而且，可以選擇第q－1圖像作為新的第1基準(zhǔn)圖像，再次進行處理。

由此，能夠?qū)⒌?基準(zhǔn)圖像包含到第1精簡圖像列中。此外，第1基準(zhǔn)圖像和第2基準(zhǔn)圖像之間的判定對象圖像中的至少1個是不可刪除的情況，與過度增大了第1基準(zhǔn)圖像和第2基準(zhǔn)圖像的間隔的情形對應(yīng)，因此應(yīng)該將此時處于第2基準(zhǔn)圖像前方的(狹義地講是處于前方且最近處的)圖像保留在第1精簡圖像列中。因此，選擇第q－1圖像作為新的第1基準(zhǔn)圖像，反復(fù)同樣的處理。

但是，第1圖像精簡處理中的第2基準(zhǔn)圖像的重新選擇(更新)處理不限于朝輸入圖像列的后方每次移動1個的方法。

例如，考慮如下情況：從設(shè)定了與第p+2～第N圖像對應(yīng)的起點和終點的第2基準(zhǔn)圖像選擇區(qū)間中，選擇第2基準(zhǔn)圖像，根據(jù)第1基準(zhǔn)圖像和第2基準(zhǔn)圖像，進行判定對象圖像可否刪除的判定。此時，第1圖像精簡處理部100在將第p+1～第q－1圖像判定為可刪除的情況下，可以選擇第2基準(zhǔn)圖像選擇區(qū)間所包含的第x(x是滿足x＞q的整數(shù))圖像作為新的第2基準(zhǔn)圖像，并且將第2基準(zhǔn)圖像選擇區(qū)間的起點更新為第q圖像。此外，在將第p+1～第q－1圖像中的至少1個判定為不可刪除的情況下，可以選擇第2基準(zhǔn)圖像選擇區(qū)間所包含的第y(y是滿足y＜q的整數(shù))圖像作為新的第2基準(zhǔn)圖像，并且將第2基準(zhǔn)圖像選擇區(qū)間的終點更新為所述第q圖像。

這里，第2基準(zhǔn)圖像選擇區(qū)間具有表示第2基準(zhǔn)圖像的候選的性質(zhì)，并且具有表示第1精簡圖像列所保留的相似度精簡圖像(狹義地講，是已觀察到的相似度精簡圖像的下一相似度精簡圖像)的候選的性質(zhì)。因此，第2基準(zhǔn)圖像選擇區(qū)間與相似度精簡圖像的搜索范圍對應(yīng)。

由此，在更新第2基準(zhǔn)圖像時，能夠靈活地決定新的第2基準(zhǔn)圖像的位置。將第2基準(zhǔn)圖像每次向后方移動1個的方法，說起來是從起始起逐個檢查搜索范圍、逐漸減小搜索范圍的方法，因此根據(jù)正解的位置，計算量變得非常多。在這點上，通過使得可將不相鄰的圖像也選擇為新的第2基準(zhǔn)圖像，能夠利用一個單位的判定(一次第2基準(zhǔn)圖像選擇處理和伴隨于此的可否刪除判定)大幅度減小搜索范圍。因此，能夠期待計算量的削減效果，能夠減輕對系統(tǒng)的負(fù)荷，能夠縮短處理時間。另外，既然向后方的搜索不限于選擇相鄰圖像，那么在當(dāng)前的第2基準(zhǔn)圖像的前方可能剩余未搜索范圍，根據(jù)可否刪除的判定結(jié)果，考慮在該未搜索范圍內(nèi)存在正解的情況。能夠考慮該情況還進行向前方的搜索，此時的第2基準(zhǔn)圖像的選擇與向后方的搜索同樣，不限于相鄰圖像。

此外，第1圖像精簡處理部100在第j(j為整數(shù))圖像與第2基準(zhǔn)圖像選擇區(qū)間的終點對應(yīng)的情況下，可以根據(jù)(q+j)/2的值設(shè)定x的值?；蛘?，在第i(i為整數(shù))圖像與第2基準(zhǔn)圖像選擇區(qū)間的起點對應(yīng)的情況下，可以根據(jù)(i+q)/2的值設(shè)定y的值。

由此，在選擇新的第2基準(zhǔn)圖像時，能夠使用二分搜索的方法。在向后方搜索的情況下，選擇處于當(dāng)前的第2基準(zhǔn)圖像與終點中間的圖像，在向前方搜索的情況下，選擇處于當(dāng)前的第2基準(zhǔn)圖像與起點中間的圖像。因此，能夠使搜索范圍(與第2基準(zhǔn)圖像選擇區(qū)間的長度對應(yīng))減半，如果選擇logN張圖像作為第2基準(zhǔn)圖像，則可期待整個搜索范圍的搜索結(jié)束。因此，能夠?qū)⒂嬎懔考壱种茷镹×logN，在N非常大的情況下，與每次向后方移動1個的方法(計算量級為N²)相比，計算量的削減效果大。另外，(q+j)/2和(i+q)/2不限于為整數(shù)，因此有時不存在與各個值對應(yīng)的圖像。此時，例如可以考慮不超過(q+j)/2的最大整數(shù)、或比其大1的整數(shù)等。其中，第2基準(zhǔn)圖像的更新不限于基于二分搜索的方法，可以使用各種方法。例如，在一定程度地預(yù)測到搜索范圍內(nèi)的正解位置的情況等時，以能夠重點搜索預(yù)測位置及其周邊的方式選擇第2基準(zhǔn)圖像，由此能夠期待計算量的削減等。

此外，第1圖像精簡處理部100可以根據(jù)基準(zhǔn)圖像與判定對象圖像之間的變形信息，求出由基準(zhǔn)圖像覆蓋判定對象圖像的區(qū)域即覆蓋區(qū)域，并計算覆蓋區(qū)域在判定對象圖像中所占的比例，作為覆蓋率。

由此，能夠根據(jù)覆蓋區(qū)域計算覆蓋率。覆蓋區(qū)域具體在圖2中示出，表示在根據(jù)變形信息對基準(zhǔn)圖像進行了變形后、映射到判定對象圖像上的區(qū)域?；鶞?zhǔn)圖像中所拍攝的被攝體區(qū)域、與所求出的覆蓋區(qū)域中所拍攝的被攝體區(qū)域?qū)?yīng)(如果是變形信息沒有誤差的理想狀況，則一致)。因此，能夠根據(jù)覆蓋區(qū)域在判定對象圖像中所占的比例(具體是各個區(qū)域的面積比)求出覆蓋率。另外，對于覆蓋區(qū)域，根據(jù)變形信息對基準(zhǔn)圖像進行變形而求出即可，所求出的覆蓋區(qū)域不一定限于被映射到判定對象圖像上。此外，覆蓋區(qū)域不限于根據(jù)基準(zhǔn)圖像的整體求出，可以通過利用變形信息對基準(zhǔn)圖像的一部分進行變形而求出。

此外，第2圖像精簡處理部200可以進行如下處理，作為第2圖像精簡處理：根據(jù)識別處理，將多個圖像中的包含同一對象物體的連續(xù)圖像、或多個圖像中的被識別為同一場景的連續(xù)圖像，設(shè)定為作為精簡圖像的提取對象的連續(xù)圖像列，從所設(shè)定的連續(xù)圖像列中提取至少1張圖像作為精簡圖像。

這里，從連續(xù)圖像列中至少被提取1張的精簡圖像是指保留在第2精簡圖像列中的物體精簡圖像。

由此，能夠采用使用圖5、圖6說明的、設(shè)定連續(xù)圖像列(片段)的方法，作為第2圖像精簡處理。連續(xù)圖像列是指包含同一對象物體的連續(xù)圖像、或被識別為同一場景的連續(xù)圖像，因此通過從連續(xù)圖像列中提取張數(shù)比該連續(xù)圖像列所包含的圖像張數(shù)少的圖像，并設(shè)為物體精簡圖像，能夠抑制對象物體或場景不被包含在精簡圖像列中的情況，同時降低圖像的冗余性。另外，如果提高冗余性的降低效果，則可以減少從連續(xù)圖像列中提取為精簡圖像的圖像的張數(shù)，狹義地講，可以提取1張圖像。

此外，第2圖像精簡處理部100可以根據(jù)對象物體的面積，從連續(xù)圖像列中選擇要提取的精簡圖像(物體精簡圖像)。

由此，能夠?qū)ο笪矬w在圖像上被更大范圍地拍攝的圖像設(shè)為精簡圖像，因此能夠使得用戶觀察等變得容易等。此外，還考慮以下狀況：在即使面積較大但亮度值較小且變暗的情況、形狀極端不宜觀察的情況、由于位于圖像周緣部而無法忽視畸變像差等畸變的情況下等，不可能用戶一定容易觀察到。因此，除了面積以外，也可以利用圖像內(nèi)的位置、顏色信息、紋理信息、識別的精度等圖像識別或圖像檢測的信息。由此，能夠進行考慮到對象物體的圖像特征的圖像精簡，因此能夠選擇容易觀察到所檢測的對象物體的圖像作為精簡圖像，能夠更好地掌握對象物體。

此外，合并處理部300可以進行如下處理，作為第1精簡圖像列和第2精簡圖像列的合并處理：選擇第1精簡圖像列和第2精簡圖像列中的至少一方所包含的圖像作為輸出精簡圖像列的精簡圖像(輸出精簡圖像)。

由此，能夠進行圖7所示的合并處理。根據(jù)圖7的流程圖可知，本實施方式的合并處理能夠通過簡單的方法實現(xiàn)，因此有處理負(fù)荷輕的優(yōu)點。

此外，第1圖像精簡處理部100可以根據(jù)多個圖像間的相似度，檢測場景變化來進行第1圖像精簡處理。

由此，通過進行基于場景變化的圖像精簡，刪除連續(xù)的相似圖像，因此能夠刪除基本相同的冗余場景，能夠高效地削減圖像數(shù)來生成圖像精簡列。另外，該處理使用多個圖像間的相似度，因此只要檢測到第1圖像中所拍攝的第1場景、和第2圖像中所拍攝的第2場景不同的情況就足夠，不需要識別第1場景和第2場景具體與怎樣的場景對應(yīng)。與此相對，第2圖像精簡處理中的場景的識別處理在以下方面不同：需要判定作為處理對象的圖像中所拍攝的場景是否與作為檢測對象的場景一致，需要預(yù)先保持例如檢測對象場景的特征量等。

此外，多個圖像可以是膠囊內(nèi)窺鏡圖像。并且，第2圖像精簡處理部200將膠囊內(nèi)窺鏡圖像中所拍攝的活體內(nèi)的關(guān)注區(qū)域作為對象物體，進行識別處理。

這里，關(guān)注區(qū)域是指對于用戶而言，觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的區(qū)域，例如在用戶是醫(yī)生且希望治療的情況下，是指拍攝有粘膜部和病變部的區(qū)域。另外，作為其他例，如果醫(yī)生希望觀察的對象是泡或便，則關(guān)注區(qū)域是拍攝有該泡部分或便部分的區(qū)域。即，用戶要關(guān)注的對象根據(jù)其觀察目的而不同，但無論怎樣，在其觀察時，對于用戶而言觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的區(qū)域成為關(guān)注區(qū)域。

由此，能夠?qū)κ褂媚z囊內(nèi)窺鏡拍攝的圖像應(yīng)用本實施方式的圖像精簡處理。如上所述，在醫(yī)療領(lǐng)域中，必須極力抑制病變等的漏看。在第2圖像精簡處理中，通過將關(guān)注區(qū)域設(shè)為對象物體，能夠?qū)z測到關(guān)注區(qū)域的圖像高效地保留到精簡圖像列中，但關(guān)注區(qū)域的檢測未必成功。因此，即使拍攝到了關(guān)注區(qū)域，作為識別處理的結(jié)果，也有可能檢測不到對象物體，產(chǎn)生不成為物體精簡圖像的候選而成為刪除對象的圖像。因此，一并采用使用了相似度(狹義地講是覆蓋率)的圖像精簡處理時的優(yōu)點較大。特別在使用膠囊內(nèi)窺鏡的例子中，醫(yī)生難以從外部操作處于活體內(nèi)的膠囊內(nèi)窺鏡，無法高效地改變拍攝對象，因此可能取得多個相似的圖像。而且，由于操作比較困難，因此假定不實時地逐一檢查拍攝圖像，而在大量蓄積拍攝圖像后進行處理。因此，對膠囊內(nèi)窺鏡取得的圖像列進行本實施方式的圖像精簡處理的優(yōu)點較大。

此外，第2圖像精簡處理部200可以根據(jù)通過特定波段的光的照射而取得的特殊光圖像，進行活體內(nèi)的關(guān)注區(qū)域的識別處理。

由此，能夠進行使用了特殊光圖像的觀察，因此能夠提高第2圖像精簡處理中的對象物體的檢測精度，能夠抑制拍攝有重要物體(關(guān)注區(qū)域)的圖像通過圖像精簡處理而被刪除的情況。另外，即使能夠期待對象物體的檢測精度提高，也期望一并采用使用了相似度的第1圖像精簡處理，能夠期待進一步的關(guān)注區(qū)域的漏看抑制效果。

另外，特定的波段是比白色光的波段窄的頻帶。具體而言，特殊光圖像是活體內(nèi)圖像，特定的波段可以是被血液中的血紅蛋白吸收的波長的波段。更具體而言，可以是390nm～445nm或530nm～550nm的波段。該波段與被稱作NBI(Narrow Band Imaging：窄帶成像)的窄帶光觀察對應(yīng)。

由此，能夠觀察活體的表層部和位于深部的血管的結(jié)構(gòu)。并且，通過將所得到的信號輸入特定通道(R、G、B)，能夠利用褐色等顯示扁平上皮癌等難以用通常光視覺辨認(rèn)的病變等，能夠抑制病變部的漏看。另外，390nm～445nm或530nm～550nm是根據(jù)被血紅蛋白吸收這樣的特性和分別到達(dá)活體的表層部或深部這樣的特性而得到的數(shù)字。

此外，特定波段的光不限于與NBI對應(yīng)，也可以與被稱作AFI(Auto Fluorescence Imaging：自動熒光成像)的熒光觀察或被稱作IRI(Infra Red Imaging：紅外成像)的紅外光觀察對應(yīng)。

此外，以上的本實施方式還可應(yīng)用于程序，該程序使計算機作為以下部件發(fā)揮功能：第1圖像精簡處理部100，其通過基于多個圖像間的相似度的第1圖像精簡處理，取得第1精簡圖像列；第2圖像精簡處理部200，其通過針對多個圖像中的各圖像的、基于對象物體或場景的識別處理的第2圖像精簡處理，取得第2精簡圖像列；以及合并處理部300，其進行第1精簡圖像列和第2精簡圖像列的合并處理、或第1圖像精簡處理和第2圖像精簡處理的合并處理，取得輸出精簡圖像列。

由此，能夠?qū)崿F(xiàn)進行上述圖像精簡處理的程序。例如，圖像精簡處理如果在PC等信息處理系統(tǒng)中進行，則該程序被PC的處理部(CPU或GPU等)讀出并執(zhí)行。并且，上述程序被記錄在信息存儲介質(zhì)中。這里，作為信息記錄介質(zhì)，可以假設(shè)DVD或CD等光盤、磁光盤、硬盤(HDD)、非易失性存儲器或RAM等存儲器等、可由PC等信息處理系統(tǒng)讀取的各種記錄介質(zhì)。

3.第2實施方式

接著說明第2實施方式。本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例與第1實施方式中使用的圖1相同，因此省略詳細(xì)的說明。與第1實施方式相比，合并處理部300中的合并處理不同，因此詳細(xì)敘述該點。

取得基于第1圖像精簡處理的第1精簡圖像列、和基于第2圖像精簡處理的第2精簡圖像列的方面與第1實施方式相同。在本實施方式中，合并兩個精簡圖像列之前，根據(jù)第1精簡圖像列進行第2精簡圖像列的更新處理。

圖8(A)、圖8(B)是說明第2實施方式的合并處理的圖。在圖8(A)中，利用連續(xù)的橫向直線表示輸入圖像列(輸入圖像列所包含的多個圖像)。此外，縱向的線表示第2圖像精簡處理的結(jié)果、即所選擇的物體精簡圖像。此外，圖8(A)中的橫向箭頭表示對該范圍內(nèi)所包含的圖像連續(xù)檢測到對象物體等，1個個箭頭與連續(xù)圖像列(片段)對應(yīng)。同樣，圖8(B)的橫向直線表示輸入圖像列，縱向的線表示相似度精簡圖像。

在本實施方式的合并處理中，將被設(shè)定為第2圖像精簡處理的結(jié)果的多個連續(xù)圖像列匯總到1個結(jié)合連續(xù)圖像列中，并從該結(jié)合連續(xù)圖像列中提取至少1張精簡圖像，由此削減第2精簡圖像列所包含的物體精簡圖像的張數(shù)。

說明具體例子。首先，選擇第1精簡圖像列所包含的相似度精簡圖像中的相鄰兩個圖像。然后，在這兩個相似度精簡圖像之間，包含有多個在第2圖像精簡處理中設(shè)定的連續(xù)圖像列的情況下，進行能否結(jié)合這多個連續(xù)圖像列的判定。

或者，可以不將相鄰的相似度精簡圖像作為基準(zhǔn)，而選擇相鄰的連續(xù)圖像列，根據(jù)這兩者是否處于相鄰的相似度精簡圖像之間，進行是否能夠結(jié)合連續(xù)圖像列的判定。

這里，連續(xù)圖像列處于兩個相似度精簡圖像之間是指，只要該連續(xù)圖像列所包含的至少1張圖像處于兩個相似度精簡圖像之間即可，沒必要使連續(xù)圖像列的整個圖像列都處于兩個相似度精簡圖像之間。

此外，提取連續(xù)圖像列所包含的給定圖像，在提取出的圖像處于兩個相似度精簡圖像之間的情況下，可以將作為提取方的連續(xù)圖像列設(shè)為結(jié)合判定的對象。該情況下，被設(shè)為提取圖像的圖像典型的是被選擇為物體精簡圖像的圖像，但也可以是連續(xù)圖像列所包含的其他圖像。

使用圖8(A)、圖8(B)示出例子。著眼于C1和C2作為圖8(B)中的相鄰的兩個相似度精簡圖像的情況下，圖8(A)中示出的連續(xù)圖像列B1和連續(xù)圖像列B2根據(jù)上述定義，均包含在C1與C2之間。因此，針對B1和B2進行是否能夠結(jié)合的判定。

圖9(A)示出連續(xù)圖像列的可否結(jié)合判定的具體例。使用相似度精簡圖像、和從作為處理對象的多個連續(xù)圖像列中選擇出的物體精簡圖像進行判定。具體而言，對相似度精簡圖像進行變形，并分別映射到多個物體精簡圖像(至少作為結(jié)合判定對象的連續(xù)圖像列的數(shù)量的張數(shù))，求出覆蓋區(qū)域。該處理與使用了覆蓋率的第1圖像精簡處理同樣，可以根據(jù)圖像間的變形信息進行。然后，對物體精簡圖像中的各圖像，進行檢測到的對象物體是否處于覆蓋區(qū)域內(nèi)的判定，如果在所有物體精簡圖像中，對象物體處于覆蓋區(qū)域內(nèi)，則判定為能夠?qū)⒆鳛閷ο蟮倪B續(xù)圖像列結(jié)合到結(jié)合連續(xù)圖像列。相似度精簡圖像、和各覆蓋區(qū)域拍攝了同一被攝體范圍，因此在針對所有圖像，對象物體處于覆蓋區(qū)域內(nèi)的情況下，可以說該對象物體是同一物體的可能性高。即，關(guān)于該對象物體，不需要從多個連續(xù)圖像列中提取至少連續(xù)圖像列的數(shù)量的物體精簡圖像，只要在對該多個連續(xù)圖像列進行結(jié)合后，從結(jié)合連續(xù)圖像列中提取至少1張物體精簡圖像即可。

另外，只要不變更作為選擇基準(zhǔn)的提取量，則從結(jié)合連續(xù)圖像列(與圖8(A)的B1和B2的并集對應(yīng))中提取的物體精簡圖像與從結(jié)合前的連續(xù)圖像列中提取出的物體精簡圖像中的任意一個一致。即，如果用圖8(A)的例子來說，從結(jié)合連續(xù)圖像列中提取B3或B4中的任意一個作為物體精簡圖像，因此連續(xù)圖像列的結(jié)合處理狹義地講，與刪除物體精簡圖像的一部分的處理對應(yīng)。

另外，相似度精簡圖像不僅處于前方，還處于后方，因此對后方，也如圖9(B)那樣進行相同的處理。并且，如果在圖9(A)和圖9(B)的任意一方的處理中判定為可結(jié)合，則進行連續(xù)圖像列的結(jié)合處理即可。

圖10是說明本實施方式的合并處理的流程圖。如圖10所示，合并處理成為S401～S408的循環(huán)，針對輸入圖像列的所有圖像進行S401～S407的處理。

具體而言，進行輸入圖像列的第i個圖像是否包含在第1精簡圖像列中的判定(S402)。在“是”的情況下，選擇第i個圖像作為輸出精簡圖像(S403)。在S402中的“否”的情況下，進行第i個圖像是否包含在第2精簡圖像列中的判定(S404)。在S404中的“否”的情況下，將第i個圖像設(shè)為刪除圖像(S407)。在S404中的“是”的情況(即第i個圖像是物體精簡圖像的情況)下，關(guān)于第i個圖像、和前1個物體精簡圖像，進行基于與相似度精簡圖像之間的關(guān)系的判定(S405)。具體而言，如以上使用圖8(A)、圖8(B)敘述那樣，在第i個圖像和前1個物體精簡圖像處于相鄰的相似度精簡圖像之間的情況下，成為“是”。在S405中的“否”的情況下，不進行連續(xù)圖像列的結(jié)合，因此不存在第i個圖像從第2精簡圖像列中被刪除的情況。因此，轉(zhuǎn)移到S403，選擇第i個圖像作為輸出精簡圖像。

此外，在S405中的“是”的情況下，存在能夠結(jié)合連續(xù)圖像列的可能性，因此進行圖9(A)、圖9(B)所示的判定(S406)。在S406中的“否”的情況下，不進行連續(xù)圖像列的結(jié)合，因此不存在第i個圖像從第2精簡圖像列中被刪除的情況。因此，轉(zhuǎn)移到S403，選擇第i個圖像作為輸出精簡圖像。另一方面，在S406中的“是”的情況下，結(jié)合兩個連續(xù)圖像列，因此轉(zhuǎn)移到S407，將第i個圖像設(shè)為刪除圖像。然后，將i＝0作為初始值，在將i增計數(shù)的同時，對輸入圖像列整體進行該處理。

另外，根據(jù)1次作為結(jié)合對象的連續(xù)圖像列限定于兩個的方面、在結(jié)合了連續(xù)圖像列時刪除與后方的連續(xù)圖像列對應(yīng)的物體精簡圖像的方面等可知，圖10的流程圖只不過示出本實施方式的處理的一例，當(dāng)然也可以通過與圖10不同的處理實現(xiàn)本實施方式的方法。

在以上的本實施方式中，合并處理部300根據(jù)第1精簡圖像列，將在第2圖像精簡處理中設(shè)定的多個連續(xù)圖像列結(jié)合成1個結(jié)合連續(xù)圖像列，并從結(jié)合連續(xù)圖像列中提取至少1張圖像，作為精簡圖像(物體精簡圖像)，由此進行第2精簡圖像列的更新處理。

由此，能夠根據(jù)第1精簡圖像列，更新第2精簡圖像列。更新處理狹義地講，是指刪除物體精簡圖像的一部分，從而削減第2精簡圖像列所包含的圖像張數(shù)的處理。另外，具體而言，連續(xù)圖像列的結(jié)合處理可以進行圖8(A)、圖8(B)和圖9所示的處理，也可以通過其他方法進行。

此外，合并處理部300可以進行如下處理，作為第1精簡圖像列和第2精簡圖像列的合并處理：選擇第1精簡圖像列、和更新處理后的第2精簡圖像列中的至少一方所包含的圖像作為輸出精簡圖像列的精簡圖像(輸出精簡圖像)。

由此，能夠使用更新處理后的第2精簡圖像列，進行與第1精簡圖像列的合并處理。由此，保留使用了相似度的圖像精簡處理、和使用了對象物體等的識別處理的圖像精簡處理這兩者的優(yōu)點，與不進行更新處理的情況(第1實施方式等)相比，能夠削減輸出精簡圖像列所包含的圖像的張數(shù)，能夠提高利用輸出精簡圖像列的用戶的便利性等。

4.第3實施方式

接著說明第3實施方式。圖11示出本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例。如圖11所示，基本的結(jié)構(gòu)與第1實施方式相同，但在第1圖像精簡處理部100與合并處理部300的連接是雙向的方面不同。

在本實施方式中，合并處理部300首先取得第2圖像精簡處理的結(jié)果，并根據(jù)所取得的結(jié)果，使第1圖像精簡處理部100執(zhí)行第1圖像精簡處理。

圖12(A)～圖12(C)示出具體例。關(guān)于圖12(A)～圖12(C)的表現(xiàn)，與圖8(A)、圖8(B)相同。如圖12(A)所示，與第1實施方式同樣，根據(jù)對象物體或場景的識別處理，從例如連續(xù)圖像列中提取至少1張精簡圖像，由此取得第2精簡圖像列。此外，對于第1圖像精簡處理，如果是第1實施方式等，則如圖12(B)所示，在選擇了S(i)作為相似度精簡圖像(第1基準(zhǔn)圖像)的情況下，在設(shè)定了第2基準(zhǔn)圖像后，進行基于覆蓋率的判定，由此搜索作為下一相似度精簡圖像的S(i+1)。

但是，即使是根據(jù)相似度(覆蓋率)判定為可刪除的圖像，只要是拍攝有作為觀察對象的對象物體、且代表連續(xù)圖像列的圖像，則應(yīng)該將其選擇為輸出精簡圖像，在第1實施方式中也進行了那樣的合并處理。基于該觀點考慮的話，在第1圖像精簡處理中，不僅使用相似度，還使用第2圖像精簡處理的結(jié)果選擇相似度精簡圖像(或第1基準(zhǔn)圖像)，由此可期待相同的效果。

因此，在本實施方式中，在設(shè)定相似度精簡圖像(第1基準(zhǔn)圖像)后，搜索下一相似度精簡圖像時，與相似度無關(guān)地，將作為物體精簡圖像的圖像選擇為相似度精簡圖像。例如圖12(B)所示，由E1表示的圖像在相似度的判定中應(yīng)該被設(shè)為刪除圖像，但如圖12(A)的D1所示，選擇了該圖像作為物體精簡圖像。因此，如圖12(C)所示，在本實施方式的第1圖像精簡處理中，將該圖像設(shè)定為相似度精簡圖像S(i+1)。

然后也同樣地，在相似度滿足了給定條件的情況、或找到了第2精簡圖像列的精簡圖像的情況下，接著設(shè)定精簡圖像即可。如果是圖12(C)的例子，則S(i+2)是根據(jù)相似度而被選擇的圖像，且S(i+3)是根據(jù)物體精簡圖像而被選擇的圖像。狹義的相似度精簡圖像(第1實施方式的第1圖像精簡處理的結(jié)果)在圖像列中的位置取決于其他相似度精簡圖像(狹義地講，是前1個相似度精簡圖像)進行確定。因此，在加進第2圖像精簡處理的結(jié)果來選擇了相似度精簡圖像的情況下，根據(jù)圖12(B)、圖12(C)可知，與不使用第2圖像精簡處理的結(jié)果的情況相比，通常被選擇為相似度精簡圖像的圖像的差異較大。

另外，能夠通過基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理，取得考慮了對象物體等的識別處理和相似度兩者的圖像列，因此最終的輸出精簡圖像列使用第1圖像精簡處理的結(jié)果即可。

圖13是說明本實施方式的合并處理的流程圖。實際上是說明基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理的流程圖，與圖4接近。

關(guān)于圖13的S501～S511，與圖4的S101～S111相同，因此省略詳細(xì)的說明。圖13增加了S512～S514，作為圖4的S505的接下來的步驟，在S512中，進行處理對象的第i個圖像是否成為第2圖像精簡處理的結(jié)果、即物體精簡圖像的判定。在S512中的“是”的情況下，退出S505～S508的循環(huán)，將第i個圖像設(shè)為下一相似度精簡圖像(S513)，并且設(shè)為I_S＝i(S514)，返回S502，將在S514中設(shè)定的相似度精簡圖像設(shè)定為新的第1基準(zhǔn)圖像，繼續(xù)處理。

在以上的本實施方式中，合并處理部300進行如下處理，作為第1圖像精簡處理和第2圖像精簡處理的合并處理：使第1圖像精簡處理部根據(jù)第2圖像精簡處理的結(jié)果，執(zhí)行第1圖像精簡處理。

由此，能夠合并基于圖像間的相似度判定、和對象物體或場景的識別處理這些不同觀點進行的圖像精簡處理，取得輸出精簡圖像列，因此能夠進行兼具有兩個圖像精簡處理的優(yōu)點的圖像精簡處理。

此外，第1圖像精簡處理部100可以進行如下處理，作為第1圖像精簡處理：根據(jù)合并處理，從多個圖像中選擇第2精簡圖像列所包含的圖像(物體精簡圖像)作為基準(zhǔn)圖像，并且從多個圖像中選擇判定對象圖像，根據(jù)基準(zhǔn)圖像與判定對象圖像之間的變形信息，計算基準(zhǔn)圖像對判定對象圖像的覆蓋率作為相似度，根據(jù)覆蓋率進行判定對象圖像可否刪除的判定。

由此，作為第1圖像精簡處理和第2圖像精簡處理的合并處理，具體而言，能夠根據(jù)第2圖像精簡處理的結(jié)果，進行第1圖像精簡處理中的基準(zhǔn)圖像的選擇處理。更具體而言，直接將第2精簡圖像列所包含的物體精簡圖像設(shè)為基準(zhǔn)圖像，并且在物體精簡圖像以外的圖像中，如基本那樣根據(jù)相似度進行處理即可。

此外，合并處理部300可以通過合并處理，取得由第1圖像精簡處理部生成的第1精簡圖像列，作為輸出精簡圖像列。

由此，能夠?qū)⒒诘?圖像精簡處理的第1圖像精簡處理的結(jié)果直接設(shè)為輸出精簡圖像列。如上所述，在本實施方式的方法中，選擇作為第2圖像精簡處理的結(jié)果而被設(shè)為精簡圖像(物體精簡圖像)的圖像，作為第1圖像精簡處理中的精簡圖像(相似度精簡圖像)。因此，在第1圖像精簡處理中，保留基于對象物體等的識別處理的圖像，因此可以不考慮第1精簡圖像列和第2精簡圖像列的合并處理等。

5.第4實施方式

接著說明第4實施方式。本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例與第3實施方式中使用的圖11相同，因此省略詳細(xì)的說明。在本實施方式中，使用組合第3實施方式的方法、和第2實施方式中的第2精簡圖像列的更新處理(連續(xù)圖像列的結(jié)合處理)后的方法。具體而言，與第3實施方式同樣，進行基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理，并根據(jù)作為其結(jié)果而取得的第1精簡圖像列，進行是否能夠更新第2精簡圖像列的判定。在進行了更新處理的情況下，基于更新處理后的第2圖像精簡處理的結(jié)果進行第1圖像精簡處理，并取得作為其結(jié)果而取得的新的第1精簡圖像列，作為輸出精簡圖像列。

圖14(A)～圖14(E)示出具體例。圖14(A)表示最初取得的第2精簡圖像列，圖14(B)表示不使用第2圖像精簡處理的結(jié)果的情況下的第1精簡圖像列。在本實施方式中，與第3實施方式同樣，使用第2圖像精簡處理的結(jié)果進行第1圖像精簡處理，因此所取得的第1精簡圖像列成為圖14(C)。

在取得了圖14(C)的第1精簡圖像列后，使用其進行能否執(zhí)行圖14(A)的第2精簡圖像列的更新處理的判定。具體而言，在第2實施方式中，如上所述，進行能否將多個連續(xù)圖像列結(jié)合成結(jié)合連續(xù)圖像列的判定。例如，圖14(A)的連續(xù)圖像列F1和F2均包含在相鄰的相似度精簡圖像G1與G2之間，因此成為結(jié)合判定的對象。

其結(jié)果，在如圖14(D)那樣更新了第2精簡圖像列的情況下，圖14(A)的F3所示的物體精簡圖像被刪除，因此可以不在輸出精簡圖像中包含與F3對應(yīng)的圖像。即，不需要圖14(C)的第1精簡圖像列的G1，因此對于第1精簡圖像列，也需要進行變更。具體而言，可以根據(jù)作為更新處理后的第2精簡圖像列的圖14(D)，再次進行第1圖像精簡處理，其結(jié)果，取得圖14(E)作為新的第1精簡圖像列。

另外，在取得圖14(E)時，可以對輸入圖像列整體進行處理。其中，通過更新了第2精簡圖像列，可知需要刪除圖14(C)的哪個圖像，因此關(guān)于作為刪除對象的G1的前1個相似度精簡圖像(G3)之前的圖像，沒有變化，還可知不進行新的第1圖像精簡處理。因此，可以針對可能發(fā)生變化的部分、即圖14(C)的G3示出的圖像之后進行處理。

圖15是說明本實施方式的合并處理的流程圖。在開始該處理后，首先進行第2圖像精簡處理(S601)。S601的處理與圖5的處理對應(yīng)。接著，根據(jù)第2圖像精簡處理的結(jié)果(狹義地講是第2精簡圖像列)，進行第1圖像精簡處理(S602)。S602的處理與圖13的處理對應(yīng)。

然后，根據(jù)第1精簡圖像列，進行第2精簡圖像列的更新處理(S603)。S603的處理與圖10的S404～S406等處理對應(yīng)。然后，更新處理后進行第2精簡圖像列是否發(fā)生了變化(狹義地講，是否刪除了第2精簡圖像列的精簡圖像的一部分)的判定(S604)，在發(fā)生了變化的情況下，根據(jù)更新處理后的第2精簡圖像列，進行第1圖像精簡處理(S605)。在S605的處理后、或S604中的“否”的情況下，轉(zhuǎn)移到S606，將對應(yīng)的第1精簡圖像列設(shè)定為輸出精簡圖像列，并結(jié)束處理。在S604中的“是”的情況下，將S605中的處理結(jié)果設(shè)定為輸出精簡圖像列，在S604中的“否”的情況下，將S602中的處理結(jié)果設(shè)定為輸出精簡圖像列。

另外，在將基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理設(shè)為步驟A、基于第1精簡圖像列的第2精簡圖像列的更新處理設(shè)為步驟B的情況下，在以上的說明中，設(shè)為執(zhí)行最初的步驟A(與圖15的S602對應(yīng))和使用了其結(jié)果的步驟B(S603)，并使用步驟B的結(jié)果進行第2次步驟A(S605)。其中，根據(jù)輸入圖像列，還可能使用第2次步驟A的結(jié)果，執(zhí)行第2次步驟B(更新處理的結(jié)果是第2精簡圖像列發(fā)生變化)。

因此，作為本實施方式的變形例，針對步驟A和步驟B，可以在加進前1個步驟的結(jié)果的同時，反復(fù)執(zhí)行任意次數(shù)。該情況下，可以在進行第N次(N為2以上的整數(shù))步驟A后的階段結(jié)束處理，并將其結(jié)果設(shè)為輸出精簡圖像列?；蛘撸跈z測到無法執(zhí)行步驟B(或執(zhí)行了但第2精簡圖像列不發(fā)生變化)的情況下，可以將緊接其之前的步驟A的結(jié)果設(shè)為輸出精簡圖像列。

在以上的本實施方式中，合并處理部300通過合并處理，根據(jù)由第1圖像精簡處理部生成的第1精簡圖像列，判定可否執(zhí)行削減第2精簡圖像列所包含的圖像張數(shù)的第2精簡圖像列的更新處理。

由此，能夠采用使用了第3實施方式的方法的情況下的第1精簡圖像列(第3實施方式中直接成為輸出精簡圖像列)，判定可否進行在第2實施方式中使用的第2精簡圖像列的更新處理。在求出了第1精簡圖像列的時刻，如在第3實施方式中敘述那樣，進行了第1圖像精簡處理和第2圖像精簡處理的合并處理，但結(jié)果未考慮所包含的圖像的張數(shù)削減。通過減少輸出精簡圖像列的圖像張數(shù)，實現(xiàn)了用戶的便利性提高，因此在嘗試圖像的張數(shù)削減方面存在優(yōu)點，這里設(shè)為采用在第2實施方式中使用的第2精簡圖像列的更新處理(具體為連續(xù)圖像列的結(jié)合處理等)。

此外，合并處理部300可以在判定為可執(zhí)行第2精簡圖像列的更新處理的情況下，進行第2精簡圖像列的更新處理。并且，進行如下處理，作為第1圖像精簡處理和第2圖像精簡處理的合并處理：使第1圖像精簡處理部根據(jù)更新處理后的第2圖像精簡處理的結(jié)果，執(zhí)行第1圖像精簡處理。

由此，能夠進行基于更新處理后的第2圖像精簡處理結(jié)果(更新后的第2精簡圖像列)的第1圖像精簡處理。能夠通過進行第2精簡圖像列的更新處理，削減第2精簡圖像列所包含的物體精簡圖像的張數(shù)(從圖14(A)被削減為圖14(D))，但在與輸出精簡圖像列對應(yīng)的第1精簡圖像列(圖14(C))中未直接反映刪除處理。此外，在通過更新處理刪除了圖14(A)中的F3的情況下，從第1精簡圖像列中單純地刪除對應(yīng)的圖像(圖14(C)的G1)是不理想的。之所以這樣，是因為根據(jù)圖14(B)(不考慮第2圖像精簡處理的第1圖像精簡處理的結(jié)果)可知，作為H3的下一相似度精簡圖像，當(dāng)不選擇H2(或比H2更靠近H3的圖像)時，基于相似度的觀點，無法覆蓋其間的圖像。但是，在圖14(C)中刪除G1時，G3的下一精簡圖像成為G2，間隔過度增大，不能完全覆蓋G3與G2間的圖像。因此，在如圖14(A)至圖14(D)那樣，進行了針對第2精簡圖像列的更新處理的情況下，理想的是，不從圖14(C)中單純地刪除G1，而使用更新處理后的第2精簡圖像列，再次進行第1圖像精簡處理來取得圖14(E)。

此外，合并處理部300可以通過合并處理，取得由第1圖像精簡處理部生成的第1精簡圖像列，作為輸出精簡圖像列。

由此，能夠?qū)⑼ㄟ^基于更新處理后的第2精簡圖像列的第1圖像精簡處理而取得的第1精簡圖像列設(shè)為輸出精簡圖像列。在本實施方式中，也與第3實施方式同樣，在第1圖像精簡處理中，保留基于對象物體等的識別處理的圖像，因此可以不考慮第1精簡圖像列和第2精簡圖像列的合并處理等。另外，還考慮嘗試第2精簡圖像列的更新處理后的結(jié)果是，在處理前后沒有變化(無法削減物體精簡圖像)的情況。該情況下，即使進行了基于更新處理后的第2精簡圖像列的第1圖像精簡處理，輸出結(jié)果與基于更新處理前的第2精簡圖像列的第1圖像精簡處理相比也未發(fā)生變化，因此如圖15的流程圖所示，理想的是跳過再次的第1圖像精簡處理。該情況下，作為輸出精簡圖像列而被取得的第1精簡圖像列基于更新處理前的第2精簡圖像列(圖15中的S602的處理結(jié)果)。

6.第5實施方式

對第5實施方式進行說明。具體而言，在說明圖像處理裝置的系統(tǒng)結(jié)構(gòu)例、并使用流程圖說明了處理流程后，說明第1可否刪除判定處理、第2可否刪除判定處理的各處理的詳細(xì)情況。

6.1系統(tǒng)結(jié)構(gòu)例

圖17示出本實施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。圖像處理裝置包含處理部100、圖像列取得部30、存儲部50。

處理部100通過針對圖像列取得部30取得的圖像列刪除該圖像列所包含的多個圖像的一部分，進行圖像精簡處理。該處理部100的功能能夠通過各種處理器(CPU等)、ASIC(門陣列等)等硬件，或者程序等實現(xiàn)。

圖像列取得部30取得作為圖像精簡處理對象的圖像列。認(rèn)為要取得的圖像列是按照時間序列順序排列的RGB三通道圖像?；蛘?，也可以是通過排列成橫向一列的攝像設(shè)備拍攝的、如空間上排列的圖像列那樣在空間上連續(xù)的圖像列。另外，構(gòu)成圖像列的圖像不限于RGB三通道圖像，也可以使用Gray單通道圖像等、其他顏色空間。

存儲部50除了存儲圖像列取得部30取得的圖像列以外，還作為處理部100等的工作區(qū)域，其功能能夠通過RAM等存儲器或HDD(硬盤驅(qū)動器)等實現(xiàn)。

此外，如圖17所示，處理部100可以包含關(guān)注圖像列設(shè)定部1001、第1基準(zhǔn)圖像選擇部1002、第1判定對象圖像選擇部1003、第1可否刪除判定部1004、部分圖像列設(shè)定部1005、第2基準(zhǔn)圖像選擇部1006、第2判定對象圖像選擇部1007和第2可否刪除判定部1008。另外，處理部100不限于圖17的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。并且上述各部件是在將由處理部100執(zhí)行的圖像精簡處理分割為多個子例程時，為了說明各子例程而設(shè)定的，處理部100未必具有上述各部件作為結(jié)構(gòu)要件。

關(guān)注圖像列設(shè)定部1001從構(gòu)成圖像列取得部30所取得的圖像列(以下為了明確與關(guān)注圖像列以及精簡圖像列等的區(qū)別，也記述為取得圖像列)的多個圖像中提取關(guān)注圖像，并設(shè)定由提取出的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列。這里，關(guān)注圖像是指例如拍攝有關(guān)注區(qū)域(病變部等)的圖像。關(guān)注區(qū)域的檢測假定由處理部100進行，例如通過對取得圖像列的各圖像進行給定的圖像處理，判定是否拍攝有關(guān)注區(qū)域，并將拍攝有關(guān)注區(qū)域的圖像設(shè)為關(guān)注圖像即可。關(guān)注區(qū)域的檢測方法可考慮各種，例如可以從圖像中提取邊緣成分，也可以進行根據(jù)像素值判定顏色等的處理。

但是，關(guān)注區(qū)域的檢測不限于在圖像處理裝置中進行，例如圖像列取得部30可以取得如下的圖像列，該圖像列對各圖像賦予了表示是否為關(guān)注圖像的元數(shù)據(jù)而成。該情況下，關(guān)注圖像列設(shè)定部1001不需要進行關(guān)注區(qū)域的檢測處理，而根據(jù)元數(shù)據(jù)的讀出處理設(shè)定關(guān)注圖像列。

第1基準(zhǔn)圖像選擇部1002從關(guān)注圖像列的多個圖像中選擇第1基準(zhǔn)圖像。第1判定對象圖像選擇部1003選擇取得圖像列的多個圖像中的、與第1基準(zhǔn)圖像不同的圖像，作為第1判定對象圖像。另外，狹義地講，第1判定對象圖像選擇部1003從取得圖像列的多個圖像中的、不是關(guān)注圖像的圖像中，選擇第1判定對象圖像。

第1可否刪除判定部1004根據(jù)所選擇的第1基準(zhǔn)圖像和第1判定對象圖像，判定第1判定對象圖像可否刪除。詳細(xì)情況將后述。

部分圖像列設(shè)定部1005根據(jù)第1可否刪除判定部1004中的第1可否刪除判定處理的結(jié)果，設(shè)定由取得圖像列的部分圖像構(gòu)成的部分圖像列。部分圖像列的數(shù)不限于1個，也可以設(shè)定多個部分圖像列。詳細(xì)情況將后述。

在設(shè)定有多個部分圖像列的情況下，針對各部分圖像列，獨立地進行第2基準(zhǔn)圖像選擇部1006、第2判定對象圖像選擇部1007、第2可否刪除判定部1008中的處理。具體而言，從部分圖像列的多個圖像中，選擇第2基準(zhǔn)圖像。第2判定對象圖像選擇部1007選擇部分圖像列的多個圖像中的、與第2基準(zhǔn)圖像不同的圖像，作為第2判定對象圖像。第2可否刪除判定部1008根據(jù)所選擇的第2基準(zhǔn)圖像和第2判定對象圖像，判定第2判定對象圖像可否刪除。關(guān)于各處理的詳細(xì)情況將后述。

6.2處理流程

圖18示出對本實施方式的圖像精簡處理進行說明的流程圖。在開始該處理后，首先從取得圖像列的多個圖像中提取關(guān)注圖像，設(shè)定關(guān)注圖像列(S701)。然后，從關(guān)注圖像列中選擇第1基準(zhǔn)圖像(S702)。在初次進行S702的處理的情況下，將關(guān)注圖像列所包含的圖像中的起始圖像設(shè)為第1基準(zhǔn)圖像即可。如果是圖16(A)的例子，則由J1表示的關(guān)注圖像成為最初的第1基準(zhǔn)圖像。此外，在S702的第2次之后的處理中，根據(jù)當(dāng)前的第1基準(zhǔn)圖像在關(guān)注圖像列中的位置，進行更新第1基準(zhǔn)圖像的處理。具體而言，在關(guān)注圖像列中，將當(dāng)前的第1基準(zhǔn)圖像后方的1個圖像設(shè)為新的第1基準(zhǔn)圖像即可。在圖16(A)的例子中，如果當(dāng)前的第1基準(zhǔn)圖像是J1的圖像，則選擇J2的圖像，作為新的第1基準(zhǔn)圖像。

在選擇了第1基準(zhǔn)圖像后，從取得圖像列中選擇第1判定對象圖像。這里，在初次進行S702的處理的情況下，將包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像中的處于取得圖像列的最前方的圖像設(shè)為第1判定對象圖像。此外，在S703的第2次之后的處理中，根據(jù)當(dāng)前的第1判定對象圖像在取得圖像列中的位置，進行更新第1判定對象圖像的處理。具體而言，可以將包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像中的在取得圖像列中處于當(dāng)前的第1判定對象圖像的之后1個的圖像設(shè)為新的第1判定對象圖像。

在選擇了第1基準(zhǔn)圖像、和第1判定對象圖像后，進行第1可否刪除判定處理(S704)。這里，進行基于覆蓋率的判定，具體的處理將后述。在S704的處理后，存儲該時刻的第1判定對象圖像是可刪除還是不可刪除的信息，并返回S703。通過反復(fù)S703、S704中的處理，依次選擇包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像，作為第1判定對象圖像，并對所選擇的各圖像，求出可刪除或不可刪除那樣的結(jié)果。

針對包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像中的處于取得圖像列的最后的圖像，進行S704的判定后，返回S703時不存在要選擇為第1判定對象圖像的圖像，從而返回S702。在S702中，進行第1基準(zhǔn)圖像的更新處理，在更新后的情況下反復(fù)S703、S704的處理，由此使用新的第1基準(zhǔn)圖像，進行包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的所有圖像(在圖16(A)的例子中，是J1～J3以外的所有圖像)可否刪除的判定。

然后，將關(guān)注圖像列的最后的圖像(圖16(A)的例子中為J3)設(shè)為第1基準(zhǔn)圖像，在基于使用了該第1基準(zhǔn)圖像的S703、S704的處理的可否刪除判定結(jié)束并返回S702時，在S702中不存在要選擇為第1基準(zhǔn)圖像的圖像，結(jié)束第1可否刪除判定處理并轉(zhuǎn)移到S705。

通過以上的處理，對包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的各圖像，進行可否刪除的判定。另外，在具有多個關(guān)注圖像的情況下，針對各圖像多次進行可否刪除判定，但這里，設(shè)為至少1次被判定為可刪除的圖像是可刪除的。之所以這樣，是因為在本實施方式中設(shè)為將關(guān)注圖像全部保留在精簡圖像列中，只要是被該關(guān)注圖像中的任何1個覆蓋的圖像，則即使不被其他關(guān)注圖像覆蓋，刪除也不會有問題。

其結(jié)果，將設(shè)為可刪除的圖像確定為不保留在精簡圖像列中。但是，關(guān)于被設(shè)為不可刪除的圖像，不能確定為保留在精簡圖像列中，進而進行第2可否刪除判定處理。之所以這樣，是因為被設(shè)為不可刪除的圖像只是未被關(guān)注圖像覆蓋，只要由被設(shè)為不可刪除的圖像中的給定圖像覆蓋其他圖像，則即使刪除該其他圖像也不會有問題。

這里，在第1可否刪除判定處理中為不可刪除的所有圖像不一定連續(xù)。例如，在第1可否刪除判定處理的結(jié)果是如圖16(C)所示那樣，根據(jù)關(guān)注圖像求出可刪除的區(qū)間的情況下，如I2～I4所示，將不可刪除的圖像分成3個部分。此時，對不可刪除的圖像整體進行可否刪除判定處理是沒有效率的。之所以這樣，是因為多個部分中的、第1部分和第2部分在取得圖像列中遠(yuǎn)離，因此假定作為拍攝對象的被攝體也發(fā)生了變化的可能性高、由于第1部分的圖像而使得第2部分的圖像成為可刪除的可能性低。即，進行跨越多個部分的處理的必要性低，在各部分進行封閉的處理即足夠。

因此這里，在取得圖像列中，檢測在第1可否刪除判定處理中被設(shè)為不可刪除的圖像連續(xù)的區(qū)間，設(shè)定由與該區(qū)間對應(yīng)的圖像構(gòu)成的部分圖像列(S705)。在圖16(D)的例子中，設(shè)定I5～I7的3個部分圖像列。另外，在第1可否刪除判定處理中被設(shè)為不可刪除的圖像為1張，在不連續(xù)的情況下，不設(shè)定為部分圖像列。之所以這樣，是因為既然對各部分圖像列進行封閉的處理，那么即使設(shè)定由1張圖像構(gòu)成的部分圖像列，也不會發(fā)生由于部分圖像列的給定圖像而能夠刪除其他圖像的狀況。因此，對于在第1可否刪除判定處理中被設(shè)為不可刪除的不連續(xù)的1張圖像，在不進行第2可否刪除判定處理的情況下，將其確定為保留在精簡圖像列中的圖像。

在設(shè)定部分圖像列后，選擇該部分圖像列的起始圖像作為第2基準(zhǔn)圖像(S706)。然后，從部分圖像列所包含的圖像中的、第2基準(zhǔn)圖像以外的圖像中，選擇第2判定對象圖像(S707)。這里，在第2基準(zhǔn)圖像的設(shè)定后初次進行S707的處理的情況下，將第2基準(zhǔn)圖像的后方1個圖像(部分圖像列的第2個圖像)設(shè)為第2判定對象圖像。此外，在S708后進行S707的處理的情況下，根據(jù)當(dāng)前的第2判定對象圖像在部分圖像列中的位置，進行第2判定對象圖像的更新處理。具體而言，在部分圖像列中，將當(dāng)前的第2判定對象圖像的后方1個圖像設(shè)為新的第2判定對象圖像即可。

在選擇了第2基準(zhǔn)圖像、第2判定對象圖像后，進行第2可否刪除判定處理(S708)。在本實施方式中與第1可否刪除判定處理同樣，進行基于覆蓋率的判定處理，詳細(xì)將后述。

在S708中判定為可刪除的情況下，返回S707，更新第2判定對象圖像。反復(fù)S707、S708的處理，在將部分圖像列中的最后的圖像設(shè)為第2判定對象圖像時，在S708中設(shè)為可刪除并返回S707的情況下，通過第2基準(zhǔn)圖像覆蓋部分圖像列的其他所有圖像，因此設(shè)為將第2基準(zhǔn)圖像保留在精簡圖像列中、且刪除其他所有圖像，結(jié)束對該部分圖像列的處理。具體而言，在S707中不存在要選擇為第2判定對象圖像的圖像，返回S705。

另一方面，在至少1個第2判定對象圖像被設(shè)為不可刪除的情況下，該時刻的第2判定對象圖像無法由第2基準(zhǔn)圖像覆蓋，因此需要保留在精簡圖像列中。因此，在S708中的不可刪除的情況下，返回S705，將由該時刻的第2判定對象圖像、和部分圖像列中的其之后的圖像構(gòu)成的圖像列設(shè)定為新的部分圖像列。通過對該新的部分圖像列進行S706～S708的處理，能夠?qū)⑿碌牟糠謭D像列的起始的圖像、即在上述處理中被設(shè)為不可刪除的第2判定對象圖像設(shè)定為第2基準(zhǔn)圖像(能夠保留在精簡圖像列中)。

在S705中，依次選擇作為第1可否刪除判定處理的結(jié)果而被設(shè)定的1個或多個部分圖像列、和作為針對這些部分圖像列的S706～S708的處理結(jié)果而重新設(shè)定的部分圖像列。并且，在對所有部分圖像列結(jié)束了處理后(如果在S705中不存在要選擇的部分圖像列)，結(jié)束本實施方式的圖像精簡處理。另外，在本實施方式中，將設(shè)定為第2基準(zhǔn)圖像的圖像保留在精簡圖像列中，且刪除其他圖像。

圖19(A)～圖19(D)圖示了針對部分圖像列中的1個圖像列的處理流程，所述部分圖像列是作為第1可否刪除判定處理的結(jié)果而被設(shè)定的。如圖19(A)所示，在將具有N張圖像的圖像列作為第1可否刪除判定處理的結(jié)果設(shè)定為部分圖像列的情況下，首先選擇第1個圖像作為第2基準(zhǔn)圖像、選擇第2個圖像作為第2判定對象圖像。然后，判定第2判定對象圖像可否刪除。

在將第2判定對象圖像判定為可刪除的情況下，重新選擇第2判定對象圖像。具體而言，成為使第2判定對象圖像的位置向后方移位的處理，如圖19(B)所示，選擇第3個圖像作為第2判定對象圖像。進而，判定新的第2判定對象圖像可否刪除，在找到被判定為不可刪除的第2判定對象圖像之前，更新被選擇為第2判定對象圖像的圖像。

如圖19(C)所示，在將第2個～第k－1個圖像判定為可刪除、第k個圖像判定為不可刪除的情況下，第2個～第k－1個圖像被第2基準(zhǔn)圖像一定程度地覆蓋，因此進行刪除處理，而不將這些圖像包含到精簡圖像列中。與此相對，第k個圖像無法被第2基準(zhǔn)圖像充分覆蓋，因此需要保留在精簡圖像列中。因此，這里將第k個圖像和其之后的圖像(第k～N個圖像)設(shè)定為新的部分圖像列。

然后，對該新的部分圖像列再次反復(fù)圖19(A)～圖19(C)的處理即可。具體而言，如圖19(D)所示，對由N－x+1張圖像構(gòu)成的新的部分圖像列，將起始(圖19(C)等中為第k個)圖像作為第2基準(zhǔn)圖像、第2個(圖19(C)等中為第k+1個)圖像作為第2判定對象圖像，進行處理。之后的處理相同，如果將第2判定對象圖像判定為可刪除，則選擇下一圖像作為新的第2判定對象圖像。此外，如果將第2判定對象圖像判定為不可刪除，則將第2基準(zhǔn)圖像保留在精簡圖像列中，刪除被判定為可刪除的圖像，將該時刻的第2判定對象圖像之后的圖像設(shè)定為新的部分圖像列。最終，在到部分圖像列的最后圖像為止全部被判定為可刪除的情況、或者部分圖像列所包含的圖像僅為1張而無法設(shè)定第2判定對象圖像的情況下，結(jié)束處理。

另外，在圖18的流程圖中，在第1可否刪除判定處理的結(jié)果是設(shè)定了多個部分圖像列的情況下，逐個地依次處理該多個部分圖像列，但不限于此。在處理部100的結(jié)構(gòu)適于并列處理(例如使用具有多個內(nèi)核的CPU作為處理部100)的情況下、通過多個計算機構(gòu)成本實施方式的圖像處理裝置并在各計算機中進行分散處理的情況下等，也可以并列地對多個部分圖像列進行第2可否刪除判定處理。這樣，能夠縮短第2可否刪除判定處理所需要的時間等。

6.3第1可否刪除判定處理

接著，作為第1可否刪除判定處理的具體例，對使用了覆蓋率的處理進行說明。如圖20所示，第1可否刪除判定部1004可以包含變形信息取得部1009、覆蓋區(qū)域計算部1010、覆蓋率計算部1011和閾值判定部1012。但是，第1可否刪除判定部1004不限于圖20的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。

變形信息取得部1009取得兩個圖像間的變形信息。關(guān)于變形信息，如上所述，變形信息取得部1009取得由第1基準(zhǔn)圖像選擇部1002選擇的第1基準(zhǔn)圖像、與由第1判定對象圖像選擇部1003選擇的第1判定對象圖像之間的變形信息。

覆蓋區(qū)域計算部1010利用兩個圖像間的變形信息(變形參數(shù))，將一個圖像映射到另一個圖像上，求出覆蓋區(qū)域。覆蓋率計算部1011根據(jù)覆蓋區(qū)域計算覆蓋率。閾值判定部1012進行計算出的覆蓋率和給定閾值的比較處理。具體的處理內(nèi)容與第1實施方式等相同，因此省略詳細(xì)的說明。

6.4第2可否刪除判定處理

接著說明第2可否刪除判定處理。在本實施方式中，第2可否刪除判定處理也根據(jù)覆蓋率進行。如圖21所示，第2可否刪除判定部1008可以包含變形信息取得部1013、覆蓋區(qū)域計算部1014、覆蓋率計算部1015和閾值判定部1016。但是，第2可否刪除判定部1008不限于圖21的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。

變形信息取得部1013取得第2基準(zhǔn)圖像與第2判定對象圖像之間的變形信息。覆蓋區(qū)域計算部1014根據(jù)第2基準(zhǔn)圖像與第2判定對象圖像之間的變形信息，對第2基準(zhǔn)圖像進行變形，將其映射到第2判定對象圖像上，計算覆蓋區(qū)域。覆蓋率計算部1015根據(jù)相對于第2判定對象圖像整體面積的覆蓋區(qū)域面積等求出覆蓋率。閾值判定部1016進行計算出的覆蓋率和給定閾值的比較處理。另外，在第2可否刪除判定處理中使用的閾值可以是與在第1可否刪除判定處理中使用的閾值不同的值。

在本實施方式中，第1可否刪除判定處理與第2可否刪除判定處理是相同的處理。即，變形信息取得部不需要設(shè)置有1009和1013這兩個，也可以匯總成1個，其他各部件是相同的。因此，本實施方式的處理部100可以包含變形信息取得部、覆蓋區(qū)域計算部、覆蓋率計算部和閾值判定部，這各個部件進行第1可否刪除判定處理和第2可否刪除判定處理兩方。

在以上的本實施方式中，如圖17所示，圖像處理裝置包含：圖像列取得部30，其取得具有多個圖像的圖像列；以及處理部100，其基于將圖像列取得部30所取得的圖像列中多個圖像的一部分刪除的第1可否刪除判定處理和第2可否刪除判定處理，進行取得精簡圖像列的圖像精簡處理。處理部100設(shè)定由多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列。并且，進行如下處理，作為第1可否刪除判定處理：從所設(shè)定的關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從多個圖像中選擇第1判定對象圖像，根據(jù)表示第1基準(zhǔn)圖像與第1判定對象圖像之間的變形的第1變形信息，判定第1判定對象圖像可否刪除。此外，處理部100利用圖像列，設(shè)定在第1可否刪除判定處理中被判定為不可刪除的圖像連續(xù)多個而成的部分圖像列。而且，處理部100進行如下處理，作為第2可否刪除判定處理：從部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，根據(jù)表示第2基準(zhǔn)圖像與第2判定對象圖像之間的變形的第2變形信息，判定第2判定對象圖像可否刪除。

這里，關(guān)注圖像是指對于用戶而言要關(guān)注的圖像，例如可以是拍攝有特定的被攝體的圖像，也可以是具有特定顏色的圖像。此外，是否為關(guān)注圖像不限于根據(jù)圖像自身(例如通過圖像處理等)確定，例如可以將來自設(shè)置于攝像裝置的傳感器的傳感器信息作為元數(shù)據(jù)預(yù)先賦予到圖像，并根據(jù)該元數(shù)據(jù)確定是否為關(guān)注圖像。

由此，能夠進行使用了以下兩個觀點的圖像精簡處理，因此能夠進行有效的圖像精簡處理：是否為關(guān)注圖像的觀點、和是否由根據(jù)多個圖像間的變形信息而保留的圖像覆蓋了要刪除的圖像的觀點。但是，在進行各觀點的處理，并單純地組合結(jié)果時，如圖16(B)所示，圖像張數(shù)的削減效果不充分。因此，這里進行以確定保留的關(guān)注圖像為基準(zhǔn)的第1可否刪除判定處理、和對以關(guān)注圖像基準(zhǔn)無法刪除的部分圖像列的第2可否刪除判定處理這兩階段處理，由此能夠進行高效的圖像精簡處理。另外，第1可否刪除判定處理中的第1判定對象圖像可以從圖像列的多個圖像整體中選擇，但如果考慮到處理效率，則狹義上，是從多個圖像中的、未包含在關(guān)注圖像列內(nèi)的圖像中選擇的。

此外，處理部100可以進行第1覆蓋率判定處理、和第1結(jié)構(gòu)要素判定處理中的至少一方的處理，作為第1可否刪除判定處理。此外，處理部100可以進行第2覆蓋率判定處理、和第2結(jié)構(gòu)要素判定處理中的至少一方的處理，作為第2可否刪除判定處理。這里，第1覆蓋率判定處理是如下處理：根據(jù)第1變形信息，求出第1基準(zhǔn)圖像對第1判定對象圖像的覆蓋率，并根據(jù)所求出的覆蓋率，判定第1判定對象圖像可否刪除。第1結(jié)構(gòu)要素判定處理是如下處理：根據(jù)使用了與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素和第1變形信息的處理結(jié)果，判定第1判定對象圖像可否刪除。同樣，第2覆蓋率判定處理是如下處理：根據(jù)第2變形信息，求出第2基準(zhǔn)圖像對第2判定對象圖像的覆蓋率，并根據(jù)所求出的覆蓋率，判定第2判定對象圖像可否刪除。第2結(jié)構(gòu)要素判定處理是如下處理：根據(jù)使用了與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素和所述第2變形信息的處理結(jié)果，判定所述第2判定對象圖像可否刪除。

這里，關(guān)注區(qū)域是指對于用戶而言，觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的區(qū)域，例如在用戶是醫(yī)生且希望治療的情況下，是指拍攝有粘膜部和病變部的區(qū)域。另外，作為其他例，如果醫(yī)生希望觀察的對象是泡或便，則關(guān)注區(qū)域是拍攝有該泡部分或便部分的區(qū)域。即，用戶要關(guān)注的對象根據(jù)其觀察目的而不同，但無論怎樣，在其觀察時，對于用戶而言觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的區(qū)域成為關(guān)注區(qū)域。

由此，作為使用了變形信息的處理，可以進行使用了覆蓋率的處理、和在第2實施方式詳細(xì)敘述的使用了結(jié)構(gòu)要素的處理中的至少一方的處理。在使用了覆蓋率的情況下，即使刪除了給定圖像，也能夠保證該圖像的一定程度比例(例如以面積為基準(zhǔn)的比例)的區(qū)域被精簡圖像列所保留的精簡圖像覆蓋，能夠抑制由于圖像精簡處理而變得無法觀察的區(qū)域產(chǎn)生。此外，使用了結(jié)構(gòu)要素的情況下，即使刪除了給定圖像，也能夠保證該圖像中所拍攝的與結(jié)構(gòu)要素對應(yīng)的尺寸區(qū)域的至少一部分被拍攝到精簡圖像上。因此，能夠通過設(shè)定與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素，抑制由于圖像精簡處理而變得無法觀察的關(guān)注區(qū)域產(chǎn)生。

此外，處理部100可以進行從多個圖像中檢測關(guān)注區(qū)域的處理，并將多個圖像中的、檢測到關(guān)注區(qū)域的圖像設(shè)定為關(guān)注圖像。

由此，能夠根據(jù)關(guān)注區(qū)域設(shè)定關(guān)注圖像。這里的關(guān)注區(qū)域被假定為與作為結(jié)構(gòu)要素的設(shè)定基準(zhǔn)的關(guān)注區(qū)域相同，但也可以設(shè)定不同的關(guān)注區(qū)域。例如，可以使用如下方法：對于關(guān)注圖像，將邊緣成分多的區(qū)域設(shè)定為關(guān)注區(qū)域(例如提取活體內(nèi)的褶皺或血管結(jié)構(gòu)等)，對于結(jié)構(gòu)要素，將病變部設(shè)定為關(guān)注區(qū)域(例如抑制給定大小以上的病變漏看)。

此外，圖像列取得部30可以取得拍攝活體內(nèi)而得的多個活體內(nèi)圖像，作為圖像列。處理部100進行從多個活體內(nèi)圖像中檢測病變區(qū)域作為關(guān)注區(qū)域的處理，并將多個活體內(nèi)圖像中的、檢測到病變區(qū)域的圖像設(shè)定為關(guān)注圖像。

由此，能夠進行使用了病變區(qū)域作為關(guān)注區(qū)域的處理，因此例如能夠用于使用了由膠囊內(nèi)窺鏡等取得的圖像的診斷等。

此外，以上的本實施方式可以適用于包含攝像部(例如設(shè)置于內(nèi)窺鏡鏡體的前端部等)、和上述圖像處理裝置的內(nèi)窺鏡裝置。

此外，處理部100在設(shè)定了多個部分圖像列的情況下，可以對多個部分圖像列并列地進行第2可否刪除判定處理。

由此，能夠通過并列處理進行第2可否刪除判定處理的部分，因此能夠?qū)崿F(xiàn)處理的高速化。

此外，本實施方式的圖像處理裝置等可以通過程序?qū)崿F(xiàn)其處理的一部分或大部分。該情況下，通過由CPU等處理器執(zhí)行程序，實現(xiàn)本實施方式的圖像處理裝置等。具體而言，讀出信息存儲介質(zhì)所存儲的程序，并由CPU等處理器執(zhí)行所讀出的程序。這里，信息存儲介質(zhì)(計算機可讀取的介質(zhì))是存儲程序和數(shù)據(jù)等的介質(zhì)，其功能能夠通過光盤(DVD、CD等)、HDD(硬盤驅(qū)動器)、或存儲器(卡型存儲器、ROM等)等實現(xiàn)。并且，CPU等處理器根據(jù)信息存儲介質(zhì)所存儲的程序(數(shù)據(jù))進行本實施方式的各種處理。即，在信息存儲介質(zhì)中，存儲有用于使計算機(具有操作部、處理部、存儲部、輸出部的裝置)作為本實施方式的各部件發(fā)揮功能的程序(用于使計算機執(zhí)行各部件的處理的程序)。

7.第6實施方式

接著，對第1可否刪除判定處理、和第2可否刪除判定處理的其他方法進行說明。對于本實施方式的圖像處理裝置的結(jié)構(gòu)例，雖然第1可否刪除判定部1004、和第2可否刪除判定部1008中的處理內(nèi)容不同，但與圖17相同，因此省略詳細(xì)的說明。此外，關(guān)于處理流程，雖然S704和S708中的處理內(nèi)容不同，但與圖18的流程圖相同，因此省略詳細(xì)的說明。

7.1使用了結(jié)構(gòu)要素的可否刪除判定

首先，作為第1可否刪除判定處理和第2可否刪除判定處理，對進行使用了與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素的處理的例子進行說明。這里的關(guān)注區(qū)域可以與在圖17的關(guān)注圖像列設(shè)定部1001中使用的關(guān)注圖像的基準(zhǔn)相同(例如，如果將拍攝有病變部的圖像作為關(guān)注圖像來設(shè)定了關(guān)注圖像列，則此處的結(jié)構(gòu)要素也根據(jù)病變部進行設(shè)定)，也可以不同。

這里，在將關(guān)注圖像列的設(shè)定中的關(guān)注區(qū)域、與第1可否刪除判定處理中的關(guān)注區(qū)域設(shè)為同一關(guān)注區(qū)域的情況下，拍攝有關(guān)注區(qū)域的圖像包含在關(guān)注圖像列中，因此既然被假定保留在精簡圖像列中，那么還產(chǎn)生在第1可否刪除判定中判定關(guān)注區(qū)域的漏看可能性是否有意義的疑問。但是，既然越是需要圖像精簡處理，越需要將大量的圖像設(shè)為處理對象，那么關(guān)注區(qū)域的檢測自然由系統(tǒng)自動進行。該情況下，難以利用100％的精度檢測關(guān)注區(qū)域，可能產(chǎn)生無法在拍攝關(guān)注區(qū)域的同時檢測到的(無法設(shè)為關(guān)注圖像的)圖像。如果要不漏看地觀察那樣的圖像中的關(guān)注區(qū)域，則進行基于關(guān)注區(qū)域的漏看可能性的判定是有意義的，如以下將說明那樣，可以說在以下方面也有優(yōu)點：將與用于關(guān)注圖像列的設(shè)定的關(guān)注區(qū)域相同的關(guān)注區(qū)域用于結(jié)構(gòu)要素的設(shè)定。

另外，第2可否刪除判定處理與第1可否刪除判定處理相同，因此省略詳細(xì)的說明，對第1可否刪除判定處理進行說明。

如圖22所示，第1可否刪除判定部1004可以包含結(jié)構(gòu)要素生成部1017、變形信息取得部1009、覆蓋區(qū)域計算部1010和關(guān)注區(qū)域漏看可能性判定部1018。但是，第1可否刪除判定部1004不限于圖22的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。

結(jié)構(gòu)要素生成部1017根據(jù)關(guān)注區(qū)域，生成關(guān)注區(qū)域漏看可能性判定部1018中的處理所使用的結(jié)構(gòu)要素。這里，設(shè)定與在漏看方面不理想的關(guān)注區(qū)域相同形狀、相同尺寸的區(qū)域，但是不限于此。

覆蓋區(qū)域計算部1010可以計算覆蓋區(qū)域，并且將第2判定對象圖像中的不是覆蓋區(qū)域的區(qū)域設(shè)定為非覆蓋區(qū)域。

關(guān)注區(qū)域漏看可能性判定部1018進行針對以下可能性的判定處理：在刪除了第1判定對象圖像的情況下，第1判定對象圖像上所拍攝的關(guān)注區(qū)域成為在第1基準(zhǔn)圖像中未被拍攝的狀況(即成為漏看關(guān)注區(qū)域的狀況)。

對具體的處理流程進行說明。結(jié)構(gòu)要素生成部1017根據(jù)關(guān)注區(qū)域生成結(jié)構(gòu)要素。這里，考慮關(guān)注區(qū)域的典型大小等，將在在漏看方面不理想的尺寸、形狀的區(qū)域設(shè)定為結(jié)構(gòu)要素。例如，如果知曉關(guān)注區(qū)域是病變部，圖像上的大于直徑為30像素的圓的病變的嚴(yán)重性高且不應(yīng)漏看，則對于結(jié)構(gòu)要素，設(shè)定直徑為30像素的圓。

在選擇了第1基準(zhǔn)圖像和第1判定對象圖像后，變形信息取得部1009取得第1基準(zhǔn)圖像與第1判定對象圖像之間的變形信息。覆蓋區(qū)域計算部1010利用所取得的變形信息，將第1基準(zhǔn)圖像映射到第1判定對象圖像上，求出覆蓋區(qū)域。

在計算出覆蓋區(qū)域后，關(guān)注區(qū)域漏看可能性判定部1018判定關(guān)注區(qū)域的漏看可能性。具體而言，對第1判定對象圖像中的覆蓋區(qū)域以外的區(qū)域即非覆蓋區(qū)域，進行使用了結(jié)構(gòu)要素的收縮處理，進行是否存在殘留區(qū)域的判定。

使用圖23(A)～圖23(E)說明收縮處理的具體例。如圖23(A)所示，非覆蓋區(qū)域必定是封閉的區(qū)域，能夠設(shè)定其邊界。例如，在圖23(A)中，設(shè)定作為外側(cè)邊界的BO1、和作為內(nèi)側(cè)邊界的BO2。

此時，基于結(jié)構(gòu)要素的收縮處理是指如下處理：在非覆蓋區(qū)域的邊界上設(shè)定了該結(jié)構(gòu)要素的基準(zhǔn)點的情況下，刪除非覆蓋區(qū)域與結(jié)構(gòu)要素的重復(fù)區(qū)域。例如，在設(shè)定了圓形區(qū)域作為結(jié)構(gòu)要素、并將該基準(zhǔn)點設(shè)為圓的中心的情況下，進行如下處理：描繪在非覆蓋區(qū)域的邊界上具有中心的圓，從非覆蓋區(qū)域中排除該圓與非覆蓋區(qū)域重疊的部分。具體而言，如圖23(A)所示，描繪以非覆蓋區(qū)域的外側(cè)邊界BO1上的點為中心的圓，排除與非覆蓋區(qū)域的重復(fù)區(qū)域(這里，是用斜線示出的半圓形的區(qū)域)。

外側(cè)邊界BO1如果考慮被離散地處理，則由多個點構(gòu)成，因此對該多個點的各點進行上述處理即可。作為一例，如圖23(A)所示，以邊界上的一點為起點，在給定方向上依次描繪以邊界BO1上的點為中心的圓，從非覆蓋區(qū)域中排除與非覆蓋區(qū)域的重復(fù)區(qū)域即可。

在非覆蓋區(qū)域的邊界的一部分與判定對象圖像的邊界一致的情況下等，還考慮非覆蓋區(qū)域的邊界是1個的情況，此時對該1個邊界進行上述處理即可。此外，如圖23(A)所示，在考慮BO1和BO2這兩個作為非覆蓋區(qū)域的邊界的情況下，對各個邊界進行上述處理。具體而言，如圖23(B)所示，對于內(nèi)側(cè)邊界BO2，也進行描繪在BO2上具有中心的圓、并排除與非覆蓋區(qū)域的重復(fù)區(qū)域的處理，對構(gòu)成BO2的各點反復(fù)該處理即可。

通過進行這樣的收縮處理，非覆蓋區(qū)域的面積減小。例如，在著眼于圖23(A)的非覆蓋區(qū)域的左部的情況下，通過圖23(A)所示的BO1上的收縮處理、和圖23(B)所示的BO2上的收縮處理，完全刪除非覆蓋區(qū)域，從而不存在要保留的區(qū)域。例如，在著眼于非覆蓋區(qū)域的右下部分的情況下，如圖23(C)所示，產(chǎn)生在BO1上的收縮處理和BO2上的收縮處理中都未成為排除對象而殘留的殘留區(qū)域RE。因此，此處的對非覆蓋區(qū)域整體進行基于結(jié)構(gòu)要素的收縮處理后的結(jié)果如圖23(D)所示，產(chǎn)生殘留區(qū)域RE。

這里，考慮將半徑r的圓設(shè)為結(jié)構(gòu)要素的情況下的收縮處理所具有的意義?？梢詫⒆鳛榉忾]區(qū)域的非覆蓋區(qū)域認(rèn)作處于邊界(可以如BO1和BO2那樣是不同的邊界，也可以是1個邊界)的內(nèi)側(cè)的區(qū)域。通過對該邊界進行上述收縮處理，非覆蓋區(qū)域所包含的點中的、與上述邊界上的點的距離為r以內(nèi)的點成為刪除的對象。即，在考慮到不作為刪除對象的殘留區(qū)域所包含的點的情況下，從該點到邊界上的任意點為止的距離大于r。因此，在描繪了以殘留區(qū)域上的任意點為中心的半徑為r的圓的情況下，該圓的圓周與任何邊界都不交叉。換言之，表示如下狀況：由半徑R(＝r)的圓表示的關(guān)注區(qū)域通過將殘留區(qū)域中的點設(shè)為其中心，完全收斂在非覆蓋區(qū)域中。另外，即使在使用了圓以外的形狀(四邊形等)作為結(jié)構(gòu)要素的情況下，基本思路也相同。

即，如圖23(E)的右下所示，存在殘留區(qū)域的情況是與結(jié)構(gòu)要素對應(yīng)的區(qū)域包含在非覆蓋區(qū)域中的情況，在那樣的位置處存在病變部等關(guān)注區(qū)域的情況下，如果刪除第1判定對象圖像，則即使保留第1基準(zhǔn)圖像，也有可能無法觀察關(guān)注區(qū)域。反之，如圖23(E)的左上所示，不存在殘留區(qū)域的情況是指關(guān)注區(qū)域的至少一部分包含在覆蓋區(qū)域中，即使刪除了第1判定對象圖像，也能夠?qū)㈥P(guān)注區(qū)域的至少一部分保留在第1基準(zhǔn)圖像中。如上所述，在關(guān)注區(qū)域漏看可能性判定部1018中，對非覆蓋區(qū)域進行基于結(jié)構(gòu)要素的收縮處理，根據(jù)是否存在殘留區(qū)域，進行第1判定對象圖像可否刪除的判定。

7.2可否刪除判定的變形例

如上所述，作為第1、第2可否刪除判定處理，考慮使用了覆蓋率的處理或使用了結(jié)構(gòu)要素的處理。但是，第1、第2可否刪除判定處理不限于以單體形式使用這些要素的處理，也可以組合多個要素。

例如，可以是，作為第1可否刪除判定處理，進行使用了覆蓋率的處理和使用了結(jié)構(gòu)要素的處理兩方，作為第2可否刪除判定處理，也進行使用了覆蓋率的處理和使用了結(jié)構(gòu)要素的處理兩方。該情況下，如果基于通過抑制無法觀察的區(qū)域產(chǎn)生、且抑制關(guān)注區(qū)域的漏看可能性來提高精簡圖像列的有用性的觀點考慮，在基于覆蓋率的判定中設(shè)為可刪除、且在基于結(jié)構(gòu)要素的判定中設(shè)為可刪除的情況下，設(shè)為可刪除，在除此以外的情況下設(shè)為不可刪除即可。另外，第1可否刪除判定處理中的與覆蓋率的比較處理所使用的閾值、與第2可否刪除判定處理中的與覆蓋率的比較處理所使用的閾值可以相同，也可以不同。同樣，在第1可否刪除判定處理中使用的結(jié)構(gòu)要素(狹義地講是其尺寸)、與在第2可否刪除判定處理中使用的結(jié)構(gòu)要素(狹義地講是其尺寸)可以相同，也可以不同。

此外，第1可否刪除判定處理和第2可否刪除判定處理不限于為同一處理。例如，也可以是，第1可否刪除判定處理是基于覆蓋率的處理，第2可否刪除判定處理是基于覆蓋率的處理和基于結(jié)構(gòu)要素的處理這兩方的處理。由此，使用了多個觀點(上述例子中為覆蓋率和結(jié)構(gòu)要素)的處理在第1、第2可否刪除判定處理的至少一方中進行，因此與單一觀點的處理相比，能夠期待判定精度的提高，且基于給定觀點(上述例子中為結(jié)構(gòu)要素)的處理在第1、第2可否刪除判定處理的一方中可省略，因此與在第1、第2可否刪除判定處理的兩方中使用所有觀點進行處理的情況相比，能夠減輕處理負(fù)荷。

其中，如果使用兩個觀點，則理想的是，在第1、第2可否刪除判定處理的至少一方的處理中，采用基于兩方的觀點的處理。例如，可以避免如下情況：在第1可否刪除判定處理中使用覆蓋率，在第2可否刪除判定處理中使用結(jié)構(gòu)要素。之所以這樣，是因為根據(jù)作為處理對象的圖像，利用基于覆蓋率單體、或結(jié)構(gòu)要素單體的處理，可能無法發(fā)揮足夠的精度。通過使用覆蓋率和結(jié)構(gòu)要素這兩方而使得判定精度提高正是因為在基準(zhǔn)圖像和判定對象圖像的組合中進行兩方的處理而實現(xiàn)的。但是，如果依照上述選擇方法，則第1可否刪除判定處理中的第1基準(zhǔn)圖像和第1判定對象圖像的組合、與第2可否刪除判定處理中的第2基準(zhǔn)圖像和第2判定對象圖像的組合不會重復(fù)。即，在第1可否刪除判定處理中使用覆蓋率、在第2可否刪除判定處理中使用結(jié)構(gòu)要素那樣的例子中，如果視作圖像精簡處理整體，則可以說使用覆蓋率和結(jié)構(gòu)要素兩方進行了處理，只不過分別獨立地被使用，判定精度的提高效果可能不充分。盡管如此，處理部100必須能夠執(zhí)行多個不同的可否刪除判定處理，因此作為系統(tǒng)結(jié)構(gòu)是沒有效率的。

另外，可以導(dǎo)入與覆蓋率和結(jié)構(gòu)要素均不同的觀點，進行基于3個以上觀點的可否刪除判定處理。該情況下，理想的是在第1可否刪除判定處理和第2可否刪除判定處理的至少一方的處理中，進行使用了所有觀點的處理。

在以上的本實施方式中，處理部100在進行第1覆蓋率判定處理作為第1可否刪除判定處理的情況下，可以進行第2覆蓋率判定處理，作為第2可否刪除判定處理。此外，處理部100在進行第1結(jié)構(gòu)要素判定處理作為第1可否刪除判定處理的情況下，可以進行第2結(jié)構(gòu)要素判定處理，作為第2可否刪除判定處理。

由此，能夠進行基于覆蓋率的判定處理，作為第1、第2可否刪除判定處理。同樣，能夠進行基于結(jié)構(gòu)要素的判定處理，作為第1、第2可否刪除判定處理。該情況下，第1、第2可否刪除判定處理能夠通過基于單一觀點的處理實現(xiàn)，因此與一并使用覆蓋率和結(jié)構(gòu)要素兩方的情況相比，能夠減輕處理負(fù)荷。

此外，處理部100可以進行第1覆蓋率判定處理、和第1結(jié)構(gòu)要素判定處理兩方的處理，作為第1可否刪除判定處理。此外，處理部100可以進行第2覆蓋率判定處理、和第2結(jié)構(gòu)要素判定處理兩方的處理，作為第2可否刪除判定處理。

由此，第1可否刪除判定處理和第2可否刪除判定處理中的至少一方進行覆蓋率判定處理和結(jié)構(gòu)要素判定處理兩方的處理，與第1、第2可否刪除判定處理均僅為覆蓋率判定處理的情況、或第1、第2可否刪除判定處理均僅為結(jié)構(gòu)要素判定處理的情況相比，能夠提高判定精度。另外，當(dāng)然可以在第1可否刪除判定處理和第2可否刪除判定處理的兩方中，進行覆蓋率判定處理和結(jié)構(gòu)要素判定處理兩方的處理。其中，能夠通過簡化第1、第2可否刪除判定處理中的任意一方的處理(例如省略結(jié)構(gòu)要素判定處理)，減輕處理負(fù)荷。

此外，第1覆蓋率判定處理可以是基于表示第1基準(zhǔn)圖像對第1判定對象圖像的覆蓋率的值、與第1覆蓋率閾值的比較結(jié)果的判定處理。第1結(jié)構(gòu)要素判定處理設(shè)定第1尺寸的要素作為結(jié)構(gòu)要素，其是基于所設(shè)定的結(jié)構(gòu)要素的收縮處理、或判定在未通過第1基準(zhǔn)圖像覆蓋第1判定對象圖像的區(qū)域中是否包含所設(shè)定的結(jié)構(gòu)要素的處理。

同樣，第2覆蓋率判定處理可以是基于表示第2基準(zhǔn)圖像對第2判定對象圖像的覆蓋率的值、與第2覆蓋率閾值的比較結(jié)果的判定處理。第2結(jié)構(gòu)要素判定處理設(shè)定第2尺寸的要素作為結(jié)構(gòu)要素，其是基于所設(shè)定的結(jié)構(gòu)要素的收縮處理、或判定在未通過第2基準(zhǔn)圖像覆蓋第2判定對象圖像的區(qū)域中是否包含所設(shè)定的結(jié)構(gòu)要素的處理。

由此，作為基于覆蓋率的判定處理，能夠進行所求出的覆蓋率與閾值的比較處理。如果像圖2那樣求出覆蓋率，則判定處理自身進行與閾值的比較即可，因此處理比較容易。此外，作為基于結(jié)構(gòu)要素的判定處理，能夠進行圖23(A)～圖23(E)所示那樣的、使用了結(jié)構(gòu)要素的收縮處理。其中，基于結(jié)構(gòu)要素的收縮處理的對象不限于非覆蓋區(qū)域。

例如圖24(A)所示，可以將判定對象圖像作為對象來進行基于結(jié)構(gòu)要素的收縮處理。該情況下，通過設(shè)定為關(guān)注區(qū)域完全未收斂在通過收縮處理刪除的區(qū)域內(nèi)(典型的是設(shè)定關(guān)注區(qū)域的2倍尺寸的要素作為結(jié)構(gòu)要素)，如圖24(B)所示，殘留區(qū)域是要求被基準(zhǔn)圖像覆蓋的要覆蓋區(qū)域。即，該情況下，根據(jù)要覆蓋區(qū)域整體是否被基準(zhǔn)圖像覆蓋來進行可否刪除判定即可，具體而言，如圖25(A)、圖25(B)所示，利用變形信息對基準(zhǔn)圖像和要覆蓋區(qū)域中的一方進行變形，并進行使用了變形后的區(qū)域的包含判定即可。在要覆蓋區(qū)域包含在基準(zhǔn)圖像中的情況下，判定對象圖像是可刪除的，如果存在不被包含的部分，則判定對象圖像是不可刪除的。

此外，使用了結(jié)構(gòu)要素的可否刪除判定處理不限于使用收縮處理，只要是判定非覆蓋區(qū)域中是否包含結(jié)構(gòu)要素的處理即可。例如圖26(A)和圖26(B)所示，可以是如下那樣的簡單方法：根據(jù)從覆蓋區(qū)域的邊界上的點(p1～p6等)到判定對象圖像的邊界的距離(k1～k6等)、或從判定對象圖像的邊界上的點到覆蓋區(qū)域的邊界的距離，求出與非覆蓋區(qū)域的最大直徑對應(yīng)的值，進行所求出的值與結(jié)構(gòu)要素(該情況下是與關(guān)注區(qū)域相同的尺寸)的最小直徑的比較處理。

此外，處理部100可以設(shè)定與第1覆蓋率閾值不同的值，作為第2覆蓋率閾值。此外，處理部100可以設(shè)定與第1尺寸不同的尺寸，作為第2尺寸。

由此，即使在第1可否刪除判定處理和第2可否刪除判定處理中進行同一觀點的處理的情況下，也能夠在各個處理中變更判定的基準(zhǔn)值，從而能夠?qū)崿F(xiàn)靈活的兩階段判定處理。

8.第7實施方式

在第5實施方式中，作為第2可否刪除判定處理中的第2基準(zhǔn)圖像和第2判定對象圖像的選擇方法，說明了圖19(A)～圖19(D)的方法。但是，第2基準(zhǔn)圖像和第2判定對象圖像的選擇方法不限于圖19(A)～圖19(D)的方法。在本實施方式中，說明如下方法：設(shè)定兩張圖像(前方基準(zhǔn)圖像和后方基準(zhǔn)圖像)作為第2基準(zhǔn)圖像，將它們之間的圖像設(shè)為第2判定對象圖像。

基準(zhǔn)圖像有兩張，但此時的覆蓋區(qū)域如圖2所示，將作為如下兩個區(qū)域的并集的區(qū)域設(shè)為覆蓋區(qū)域即可：根據(jù)前方基準(zhǔn)圖像與第2判定對象圖像之間的變形信息對前方基準(zhǔn)圖像進行變形而求出的區(qū)域；以及基于后方基準(zhǔn)圖像與第2判定對象圖像之間的變形信息對后方基準(zhǔn)圖像進行變形而求出的區(qū)域。之所以這樣，是因為如果被前方基準(zhǔn)圖像和后方基準(zhǔn)圖像的至少一方覆蓋，則即使刪除第2判定對象圖像也不會有問題。另外，覆蓋區(qū)域計算后的處理在使用覆蓋率的方法和使用結(jié)構(gòu)要素的方法中均與上述處理相同。

根據(jù)前方基準(zhǔn)圖像和后方基準(zhǔn)圖像將其間的圖像全部判定為可刪除的情況，是指不將前方基準(zhǔn)圖像和后方基準(zhǔn)圖像保留在精簡圖像列中，可以刪除其間的所有圖像。但是，如果提高圖像精簡處理后的圖像張數(shù)的削減效果，則理想的是，滿足其間的圖像全部可刪除這樣的條件，同時將前方基準(zhǔn)圖像和后方基準(zhǔn)圖像設(shè)定在盡可能遠(yuǎn)離的位置處。因此這里，在前方基準(zhǔn)圖像固定、且使后方基準(zhǔn)圖像的位置變化的同時，搜索最佳的位置。具體而言，使用圖3(A)、圖3(B)所示的方法。

以下，為了簡化文章，將選擇第q圖像作為后方基準(zhǔn)圖像并進行可否刪除判定的結(jié)果是判定為能夠刪除前方基準(zhǔn)圖像與后方基準(zhǔn)圖像之間的全部圖像的狀況記述為“第q圖像OK”，將不可刪除前方基準(zhǔn)圖像與后方基準(zhǔn)圖像之間的至少1張圖像的狀況記述為“第q圖像NG”。

這里，輸入第1～第N圖像作為部分圖像列，選擇第1圖像作為前方基準(zhǔn)圖像、第q圖像作為后方基準(zhǔn)圖像，在搜索最佳的后方基準(zhǔn)圖像的位置的情況下，依次選擇第2～第q－1圖像作為第2判定對象圖像，并判定第q圖像是OK還是NG。在第q圖像為OK的情況下，存在可以進一步增大前方基準(zhǔn)圖像與后方基準(zhǔn)圖像的間隔的可能性，因此從第q+1圖像及其后方的圖像中選擇新的后方基準(zhǔn)圖像。另一方面，在第q圖像為NG的情況下，過度增大了前方基準(zhǔn)圖像與后方基準(zhǔn)圖像的間隔，因此基本上通過選擇比第q圖像更靠前方的圖像作為新的后方基準(zhǔn)圖像，對前方的圖像進行判定。

即，在本實施方式中，在滿足結(jié)束條件之前，在OK的情況下向后方更新后方基準(zhǔn)圖像，在NG的情況下向前方更新后方基準(zhǔn)圖像，由此，搜索前方基準(zhǔn)圖像的下一個精簡圖像。通過對新的后方基準(zhǔn)圖像的位置進行適當(dāng)更新，能夠減少在發(fā)現(xiàn)下一個精簡圖像之前作為后方基準(zhǔn)圖像而被選擇的圖像張數(shù)，還能夠期待計算量的削減效果。以下，對本實施方式的方法進行詳細(xì)說明。

本實施方式中，如圖27所示，第2基準(zhǔn)圖像選擇部1006包含前方基準(zhǔn)圖像選擇部1019和后方基準(zhǔn)圖像選擇部1020。前方基準(zhǔn)圖像選擇部1019選擇前方基準(zhǔn)圖像，后方基準(zhǔn)圖像選擇部1020選擇后方基準(zhǔn)圖像。

這里，如上所述，選擇部分圖像列的起始圖像(第1圖像)作為前方基準(zhǔn)圖像。另外，在部分圖像列是通過第1可否刪除判定處理取得的部分圖像列的情況(進行了最初的前方基準(zhǔn)圖像選擇處理的情況)下，可以選擇起始以外的圖像作為前方基準(zhǔn)圖像，下面，只要沒有特別說明，則設(shè)前方基準(zhǔn)圖像為起始的圖像進行說明。

然后，選擇后方基準(zhǔn)圖像。這里，設(shè)定與作為后方基準(zhǔn)圖像的選擇對象的圖像對應(yīng)的后方基準(zhǔn)圖像選擇區(qū)間(實際上與搜索前方基準(zhǔn)圖像的下一精簡圖像的范圍對應(yīng))。設(shè)與第i圖像～第j圖像對應(yīng)的半開區(qū)間[i、j)為后方基準(zhǔn)圖像選擇區(qū)間，使i對應(yīng)于前方基準(zhǔn)圖像的下一圖像(狹義地講為i＝2)，設(shè)j＝N+2。另外，設(shè)j＝N+2是因為，可以設(shè)定假想的第N+1圖像作為后方基準(zhǔn)圖像。后方基準(zhǔn)圖像為第N+1圖像的情況與如下情況對應(yīng)：判定是否僅通過前方基準(zhǔn)圖像就能夠覆蓋其后方的全部圖像而不需要后方基準(zhǔn)圖像。

然后，從所設(shè)定的后方基準(zhǔn)圖像選擇區(qū)間中選擇后方基準(zhǔn)圖像。這里，為了高效進行處理，根據(jù)給定條件決定后方基準(zhǔn)圖像。首先，在前方基準(zhǔn)圖像設(shè)定后、初次選擇后方基準(zhǔn)圖像的情況下，選擇第i+1圖像(狹義地講為第3圖像)作為后方基準(zhǔn)圖像。

圖28(A)圖示了此前的處理。這里，考慮N＝12的圖像列，前方基準(zhǔn)圖像為第1個圖像，后方基準(zhǔn)圖像選擇區(qū)間為第2個圖像～第14個圖像(i＝2、j＝14)，后方基準(zhǔn)圖像為第3個圖像。

關(guān)于選擇后方基準(zhǔn)圖像后的第2判定對象圖像選擇處理、覆蓋率計算處理、可否刪除判定處理和這些處理的反復(fù)，省略詳細(xì)的說明。在圖28(A)的情況下，作為第2判定對象圖像，僅選擇第2個圖像即可。

在選擇了給定圖像(最初為第3圖像)作為后方基準(zhǔn)圖像的情況下，如果該圖像OK，則可以使后方基準(zhǔn)圖像的位置進一步地遠(yuǎn)離前方基準(zhǔn)圖像，所以，作為新的后方基準(zhǔn)圖像，選擇比當(dāng)前圖像更靠后方的圖像。

作為一例，在當(dāng)前的后方基準(zhǔn)圖像為從前方基準(zhǔn)圖像起數(shù)第a個圖像的情況下，可以將從前方基準(zhǔn)圖像起數(shù)第2×a個圖像設(shè)為新的后方基準(zhǔn)圖像。具體而言，如圖28(B)所示，在選擇第3個圖像(從前方基準(zhǔn)圖像起數(shù)第2個)作為后方基準(zhǔn)圖像的情況下，如果該第3個圖像OK，則下一后方基準(zhǔn)圖像選擇第5個(從前方基準(zhǔn)圖像起數(shù)第4個)圖像。

但是，如果第q個圖像OK，則不需要選擇第q-1個以前的圖像作為保留在精簡圖像列中的精簡圖像。因此，選擇比當(dāng)前位置(第q個)更靠前方的圖像作為后方基準(zhǔn)圖像并沒有優(yōu)點，所以，對后方基準(zhǔn)圖像選擇區(qū)間進行更新即可。具體而言，設(shè)選擇區(qū)間的起點i為i＝q即可。在該變形例中，由于從后方基準(zhǔn)圖像選擇區(qū)間中選擇后方基準(zhǔn)圖像，所以，這樣不會選擇比當(dāng)前位置更靠前方的圖像。例如，如圖28(B)所示，在第3個圖像OK的情況下，第2個圖像不是精簡圖像，所以從選擇區(qū)間中排除即可，將選擇區(qū)間的起點更新為第3個圖像。

同樣，如果第5個圖像OK(該情況下，選擇第2～4個圖像作為第2判定對象圖像，進行第2可否刪除判定處理)，則如圖28(C)所示，選擇第9個圖像作為新的后方基準(zhǔn)圖像，并且將后方基準(zhǔn)圖像選擇區(qū)間的起點更新為第5個圖像。

但是，考慮在圖28(C)中假設(shè)第9個圖像OK的情況可知，將第q個圖像作為后方基準(zhǔn)圖像，在該第q圖像OK的情況下，當(dāng)q的值增大時，新的后方基準(zhǔn)圖像可能位于極后方。例如，比第N+1個更靠后方的圖像成為候選，后方基準(zhǔn)圖像不能選擇，并且即使不這樣，更新前后的后方基準(zhǔn)圖像的間隔過寬，下一個精簡圖像的搜索也沒有效率。

因此，在選擇比當(dāng)前位置更靠后方的圖像作為新的后方基準(zhǔn)圖像的情況下，也可以一并使用其他方法。作為一例，根據(jù)(q+j)/2的值決定新的后方基準(zhǔn)圖像。例如在第9個圖像OK的情況下，后方基準(zhǔn)圖像選擇區(qū)間的起點被更新為第9個圖像，所以，成為[9、14)的半開區(qū)間。即，通過將其中央附近的圖像設(shè)為新的后方基準(zhǔn)圖像，將搜索范圍的中央設(shè)為處理對象。通過對搜索范圍的中央進行判定而使搜索范圍減半的方法就是廣泛公知的二分搜索，并且，廣泛公知二分搜索在計算量方面具有優(yōu)點。本實施方式的后方基準(zhǔn)圖像選擇區(qū)間具有如下性質(zhì)：如果給定圖像OK，則可以認(rèn)為該給定圖像的前方的圖像全部OK，如果給定圖像NG，則可以認(rèn)為該給定圖像的后方的圖像全部NG，能夠應(yīng)用二分搜索的方法。即，通過從更新前的后方基準(zhǔn)圖像與后方基準(zhǔn)圖像選擇區(qū)間的終點的中間附近選擇新的后方基準(zhǔn)圖像，能夠期待高效的處理。

這里，一并使用使前方基準(zhǔn)圖像起點的距離成為2倍的方法和與二分搜索對應(yīng)的方法。例如，在第q圖像為更新前的后方基準(zhǔn)圖像的情況下，設(shè)滿足下式(1)的第k圖像為下一個后方基準(zhǔn)圖像即可。這里，min(a、b)表示a和b中的較小的一方。

【式1】

另一方面，如上所述，在第q圖像NG的情況下，與OK的情況相反，從比當(dāng)前位置更靠前方選擇新的后方基準(zhǔn)圖像?？梢酝ㄟ^各種方法決定選擇何種程度前方的圖像，但是，例如，這里也可以使用與二分搜索對應(yīng)的方法。該情況下，由于后方基準(zhǔn)圖像選擇區(qū)間的起點為第i圖像，所以，根據(jù)(i+q)/2的值決定新的后方基準(zhǔn)圖像。并且，既然第q圖像為NG，那么不會選擇第q圖像及其后方的圖像作為精簡圖像。因此，可以對后方基準(zhǔn)圖像選擇區(qū)間的終點進行更新，設(shè)為j＝q即可。圖28(D)示出第9個圖像為NG的情況下的例子。選擇第7個圖像作為新的后方基準(zhǔn)圖像，并且，后方基準(zhǔn)圖像選擇區(qū)間的終點j被更新為j＝9。

另外，后方基準(zhǔn)圖像選擇區(qū)間為半開區(qū)間是為了便于進行這里的說明。即，在第q圖像OK的情況下，存在選擇該第q圖像作為精簡圖像的可能性，所以，在設(shè)后方基準(zhǔn)圖像選擇區(qū)間的起點i為i＝q的情況下，i可以包含在后方基準(zhǔn)圖像選擇區(qū)間中。另一方面，在第q圖像NG的情況下，由于不會選擇該第q圖像作為精簡圖像，所以，在設(shè)后方基準(zhǔn)圖像選擇區(qū)間的終點j為j＝q的情況下，j最好不包含在后方基準(zhǔn)圖像選擇區(qū)間中。如上所述，只不過將后方基準(zhǔn)圖像選擇區(qū)間設(shè)為[i、j)，在符號和式子的記述方面，通過開區(qū)間或閉區(qū)間表示后方基準(zhǔn)圖像選擇區(qū)間都沒有問題。

通過以上的處理，縮小后方基準(zhǔn)圖像選擇區(qū)間(狹義地講為下一精簡圖像的搜索范圍)。由于下一精簡圖像是第k圖像OK且第k+1圖像NG的情況下的第k圖像，所以，如果發(fā)現(xiàn)了OK圖像和NG圖像相鄰的部位，則結(jié)束處理。在上述例子中，假設(shè)在即將結(jié)束之前以二分搜索的方式進行處理，例如圖28(E)所示。第i圖像OK，其相鄰的兩個第j圖像NG，其間的第q圖像成為后方基準(zhǔn)圖像。該情況下，如果第q圖像OK，則如圖28(F)所示，如果NG，則如圖28(G)所示，不管怎樣，后方基準(zhǔn)圖像選擇區(qū)間的起點和終點相鄰，并且，與起點對應(yīng)的圖像OK，與終點對應(yīng)的圖像NG。因此，選擇與起點對應(yīng)的圖像作為下一精簡圖像即可，所以，針對部分圖像列的搜索處理結(jié)束。

如果找到了下一精簡圖像，則將由該圖像及其之后的圖像構(gòu)成的圖像列設(shè)定為新的部分圖像列即可。在設(shè)定了新的部分圖像列之后，其之后的處理相同，因此省略詳細(xì)的說明。

圖29示出對本實施方式的圖像精簡處理進行說明的流程圖。關(guān)于S801～S805，與圖18的S701～S705相同，因此省略詳細(xì)的說明。在設(shè)定部分圖像列后，選擇作為處理對象的部分圖像列的起始圖像作為前方基準(zhǔn)圖像(S806)，并設(shè)定后方基準(zhǔn)圖像選擇區(qū)間(S807)。作為緊接著S806之后進行的S807的處理，例如上述那樣設(shè)定滿足i＝2、j＝N+2的[i、j)的半開區(qū)間即可。并且，如后所述，在S810或S811之后進行S807的處理的情況下，成為已經(jīng)設(shè)定的后方基準(zhǔn)圖像選擇區(qū)間的更新處理。

在S807中進行后方基準(zhǔn)圖像選擇區(qū)間的設(shè)定(或更新)處理后，判定其起點和終點是否相鄰(是否滿足j＝i+1)(S808)。在S808中的“是”的情況下，如圖28(F)所示，可知是第i圖像為第1圖像(前方基準(zhǔn)圖像)的下一精簡圖像的狀況，因此返回S805，將第i圖像及其之后的圖像設(shè)定為部分圖像列。

在S808中的“否”的情況下，處于還未找到下一精簡圖像的狀況，所以，從S807中設(shè)定的后方基準(zhǔn)圖像選擇區(qū)間中選擇后方基準(zhǔn)圖像(S809)。在S806的前方基準(zhǔn)圖像設(shè)定后、初次進行S809的處理的情況下，例如選擇第i+1圖像(前方基準(zhǔn)圖像后方兩個的圖像)即可。除此以外的情況下，根據(jù)緊前的后方基準(zhǔn)圖像的位置，進行選擇新的后方基準(zhǔn)圖像的處理。

在S809中選擇出后方基準(zhǔn)圖像后，選擇第2判定對象圖像(S810)。在S809中的后方基準(zhǔn)圖像選擇后、初次進行了S810的處理的情況下，選擇前方基準(zhǔn)圖像與后方基準(zhǔn)圖像之間的圖像中的起始的圖像(圖28(A)等中為第2個圖像)。關(guān)于第2判定對象圖像選擇后的第2可否刪除判定處理(例如覆蓋區(qū)域計算處理、覆蓋率計算處理、閾值判定處理等)，與圖18的S708相同。在S811中判定為可刪除的情況下，返回S809，將第2判定對象圖像更新為后方1個的圖像，進行相同的處理。通過反復(fù)S810、S811的處理，執(zhí)行前方基準(zhǔn)圖像與后方基準(zhǔn)圖像之間的圖像全部是可刪除、還是至少1個是不可刪除的判定。在全部可刪除的情況下，在S810的判定中成為第2判定對象圖像＝后方基準(zhǔn)圖像，返回S807。此外，在至少1張圖像是不可刪除的情況下，在S811的判定中成為不可刪除，返回S807。另外，雖然在圖29中未圖示，但是，需要保持是從S810返回S807、還是從S811返回S807這樣的信息，根據(jù)該信息對下一S807等中的處理進行變更。

在從S810返回S807的情況下，處于可刪除全部圖像的狀況，所以，進行更新后方基準(zhǔn)圖像選擇區(qū)間的起點的處理，其結(jié)果，在S807中選擇比前一個后方基準(zhǔn)圖像更靠后方的圖像作為新的后方基準(zhǔn)圖像。另一方面，在從S811返回S807的情況下，處于至少1張圖像不可刪除的狀況，所以，進行更新后方基準(zhǔn)圖像選擇區(qū)間的終點的處理，其結(jié)果，在S807中選擇比前一個后方基準(zhǔn)圖像更靠前方的圖像作為新的后方基準(zhǔn)圖像。

在以上的本實施方式中，在設(shè)定了第1～第N(N為2以上的整數(shù))圖像作為部分圖像列的情況下，處理部100選擇作為第p(p為滿足1≦p≦N的整數(shù))圖像的前方基準(zhǔn)圖像、和作為第q(q為p+2以上的整數(shù))圖像的后方基準(zhǔn)圖像，作為第2基準(zhǔn)圖像。并且，選擇第r(r為滿足p+1≦r≦q－1的整數(shù))圖像，作為第2判定對象圖像。而且，求出表示前方基準(zhǔn)圖像與第2判定對象圖像之間的變形的前方變形信息、和表示后方基準(zhǔn)圖像與第2判定對象圖像之間的變形的后方變形信息，作為第2變形信息，并根據(jù)所求出的前方變形信息和后方變形信息，進行第2判定對象圖像可否刪除的判定。

由此，在第2可否刪除判定處理中，能夠在前方和后方設(shè)定兩張基準(zhǔn)圖像。如上所述，保證由要保留的圖像覆蓋要刪除的圖像(如果是覆蓋率，則表示面積等的比例高，如果是結(jié)構(gòu)要素，則表示拍攝了關(guān)注區(qū)域的至少一部分)這一情況，是本實施方式中的使用了變形信息的處理的基本。因此，如果具有多個要保留的圖像，即使是用其中的1張不能完全覆蓋的圖像也能通過組合多個保留圖像而覆蓋，則刪除也沒有問題。因此這里，通過使用兩張基準(zhǔn)圖像，提高將判定對象圖像判定為可刪除的可能性，提高基于圖像精簡處理的圖像張數(shù)的削減效果。

此外，處理部100可以從設(shè)定了與第p+2～第N圖像對應(yīng)的起點和終點的后方基準(zhǔn)圖像選擇區(qū)間中，選擇后方基準(zhǔn)圖像，根據(jù)前方基準(zhǔn)圖像和后方基準(zhǔn)圖像，進行第2判定對象圖像可否刪除的判定。并且，在將第p+1～第q－1圖像判定為可刪除的情況下，選擇后方基準(zhǔn)圖像選擇區(qū)間所包含的第x(x是滿足x＞q的整數(shù))圖像作為新的后方基準(zhǔn)圖像，并且將后方基準(zhǔn)圖像選擇區(qū)間的起點更新為第q圖像。

這里，鑒于作為后方基準(zhǔn)圖像的候選的圖像的性質(zhì)，后方基準(zhǔn)圖像選擇區(qū)間包含第p+2～第N圖像。但是，如第N+1圖像那樣，也可以選擇假想圖像作為后方基準(zhǔn)圖像，所以，后方基準(zhǔn)圖像選擇區(qū)間的終點可以大于N。并且，后方基準(zhǔn)圖像選擇區(qū)間還具有下一精簡圖像(將前方基準(zhǔn)圖像確定為精簡圖像，是指其下一精簡圖像)的搜索范圍這樣的方面，所以，即使是未被選擇為后方基準(zhǔn)圖像的圖像，可能被選擇為精簡圖像的圖像也可以包含在該選擇區(qū)間中。該情況下，可以設(shè)定前方基準(zhǔn)圖像的后方1個的圖像(第p+1圖像)作為后方基準(zhǔn)圖像選擇區(qū)間的起點。

由此，在更新后方基準(zhǔn)圖像時，能夠靈活地決定新的后方基準(zhǔn)圖像的位置。可以使用如下方法：以將后方基準(zhǔn)圖像每次向后方更新1個的方式，從起始起逐個檢查搜索范圍，從而減小搜索范圍。或者，可以通過使得將不相鄰的圖像也可選擇為新的后方基準(zhǔn)圖像，利用一個單位的判定(第q圖像是OK還是NG這一判定)大幅度減小搜索范圍。怎樣的更新方法是有效的還依據(jù)作為處理對象的部分圖像列的性質(zhì)等。例如，在能夠一定程度地預(yù)測正解位置的狀況中，應(yīng)該重點搜索預(yù)測位置附近，因此可以使用使后方基準(zhǔn)圖像每次移動1個的方法，并且在無法預(yù)測正解位置的情況下等，考慮計算量的期望值削減等，使用上述二分搜索等即可。

此外，處理部100在將第p+1～第q－1圖像中的至少1個判定為不可刪除的情況下，可以選擇后方基準(zhǔn)圖像選擇區(qū)間所包含的第y(y為滿足y＜q的整數(shù))圖像作為新的后方基準(zhǔn)圖像。與此同時，將后方基準(zhǔn)圖像選擇區(qū)間的終點更新為第q圖像。

由此，在更新后方基準(zhǔn)圖像時，能夠選擇比當(dāng)前的后方基準(zhǔn)圖像更靠前方的圖像作為新的后方基準(zhǔn)圖像。如上所述，既然向后方的搜索不限于選擇相鄰圖像，那么在當(dāng)前的后方基準(zhǔn)圖像的前方可能剩余未搜索范圍，根據(jù)可否刪除的判定結(jié)果，考慮在該未搜索范圍內(nèi)存在正解的情況。該情況下，能夠通過進行向前方的搜索，進行恰當(dāng)?shù)奶幚?。并且，與向后方的搜索同樣，新的后方基準(zhǔn)圖像的選擇不限于相鄰圖像。

此外，處理部100在第j(j為整數(shù))圖像與后方基準(zhǔn)圖像選擇區(qū)間的終點對應(yīng)的情況下，可以根據(jù)(q+j)/2的值設(shè)定x的值?；蛘?，在第i(i為整數(shù))圖像與后方基準(zhǔn)圖像選擇區(qū)間的起點對應(yīng)的情況下，可以根據(jù)(i+q)/2的值設(shè)定y的值。

由此，在選擇新的后方基準(zhǔn)圖像時，能夠使用二分搜索的方法。在向后方搜索的情況下，選擇處于當(dāng)前的后方基準(zhǔn)圖像與終點中間的圖像，在向前方搜索的情況下，選擇處于當(dāng)前的后方基準(zhǔn)圖像與起點中間的圖像。因此，能夠使搜索范圍(與后方基準(zhǔn)圖像選擇區(qū)間的長度對應(yīng))減半，如果選擇logN張的圖像作為后方基準(zhǔn)圖像，則可期待整個搜索范圍的搜索結(jié)束。因此，能夠?qū)⒂嬎懔考壱种茷镹×logN，在N非常大的情況下，與將后方基準(zhǔn)圖像從前方起每次向后方移動1個的方法(計算量級為N²)相比，計算量的削減效果大。另外，不限于(q+j)/2和(i+q)/2為整數(shù)，因此有時不存在與各個值對應(yīng)的圖像。此時，例如可以考慮不超過(q+j)/2的最大整數(shù)、或比其大1的整數(shù)等。

此外，處理部100在更新了后方基準(zhǔn)圖像選擇區(qū)間的起點或終點的結(jié)果為起點和終點相鄰的情況下，可以進行將被選擇為前方基準(zhǔn)圖像的多個圖像中的1個包含到精簡圖像列中的處理。并且，也可以將與起點對應(yīng)的多個圖像中的1個、以及在部分圖像列中和與起點對應(yīng)的多個圖像中的1個相比位于后方的圖像，設(shè)定為新的部分圖像列，并針對所設(shè)定的新的部分圖像列，將上述p的值設(shè)定為1，再次進行處理。

這里，起點和終點相鄰是指，與起點對應(yīng)的圖像和與終點對應(yīng)的圖像在部分圖像列中相鄰。在給出N張圖像作為部分圖像列的情況下，假定了部分圖像列是在時間序列或空間上連續(xù)的圖像的集合，所以，能夠根據(jù)其連續(xù)性定義圖像列的前方、后方。例如時間序列中較早時刻取得的圖像是比該時刻之后的時刻取得的圖像更靠前方的圖像。具體而言，將部分圖像列的各圖像表示為第1～第N圖像，給出的數(shù)值越小的圖像越位于前方。因此，圖像列中的第i圖像和第j(＞i)圖像相鄰是指滿足j＝i+1的狀況。

由此，作為針對部分圖像列的處理的結(jié)束條件，能夠設(shè)定基于后方基準(zhǔn)圖像選擇區(qū)間的起點、終點的條件。通過設(shè)定這樣的結(jié)束條件，能夠選擇在被選擇為后方基準(zhǔn)圖像的情況下判定為OK的圖像組中的、預(yù)想與前方基準(zhǔn)圖像最遠(yuǎn)的圖像，作為新的部分圖像列的起始圖像(與下一精簡圖像對應(yīng))。之所以這樣，是因為，如圖28(F)等所示，該結(jié)束條件等同于搜索OK圖像和NG圖像相鄰的位置的條件。因此，能夠減少最終輸出的精簡圖像列所包含的精簡圖像的張數(shù)，能夠減輕用戶的負(fù)擔(dān)等。

以上對應(yīng)用了本發(fā)明的7個實施方式1～7及其變形例進行了說明，但本發(fā)明不直接限定于各實施方式1～7及其變形例，在實施階段，可以在不脫離發(fā)明主旨的范圍內(nèi)對結(jié)構(gòu)要素進行變形而具體化。另外，通過適當(dāng)組合上述各實施方式1～7和變形例所公開的多個結(jié)構(gòu)要素，能形成各種發(fā)明。例如可以從各實施方式1～7及其變形例所記載的所有結(jié)構(gòu)要素中刪除掉某些結(jié)構(gòu)要素。進而，還可以適當(dāng)組合不同實施方式和變形例中所說明的結(jié)構(gòu)要素。此外，在說明書或附圖中，對于至少一次地與更廣義或同義的不同用語一起記載的用語，在說明書或附圖的任何位置處，都可以將其置換為該不同的用語。這樣，能夠在不脫離發(fā)明主旨的范圍內(nèi)進行各種變形和應(yīng)用。

標(biāo)號說明

BO1：外側(cè)邊界；BO2：內(nèi)側(cè)邊界；RE：殘留區(qū)域；10：圖像輸入裝置；20：圖像數(shù)據(jù)庫；30：圖像列取得部；40：輸出部；50：存儲部；100：第1圖像精簡處理部；110：相似度計算部；120：精簡處理部；130：第1精簡圖像列生成部；200：第2圖像精簡處理部；210：識別處理部；220：精簡處理部；230：第2精簡圖像列生成部；300：合并處理部；1001：關(guān)注圖像列設(shè)定部；1002：第1基準(zhǔn)圖像選擇部；1003：第1判定對象圖像選擇部；1004：第1可否刪除判定部；1005：部分圖像列設(shè)定部；1006：第2基準(zhǔn)圖像選擇部；1007：第2判定對象圖像選擇部；1008：第2可否刪除判定部；1009、1013：變形信息取得部；1010、1014：覆蓋區(qū)域計算部；1011、1015：覆蓋率計算部；1012、1016：閾值判定部；1017：結(jié)構(gòu)要素生成部；1018：關(guān)注區(qū)域漏看可能性判定部；1019：前方基準(zhǔn)圖像選擇部；1020：后方基準(zhǔn)圖像選擇部。