技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理裝置和圖像處理方法等。

背景技術(shù)：

在根據(jù)給定的時(shí)間間隔以時(shí)間序列的方式持續(xù)對(duì)靜態(tài)圖像進(jìn)行攝像的情況下、在通過(guò)多個(gè)圖像網(wǎng)羅具有空間寬度的被攝體的情況下、或者在對(duì)動(dòng)態(tài)圖像進(jìn)行攝像后取得構(gòu)成該動(dòng)態(tài)圖像的各圖像作為靜態(tài)圖像的情況下等，取得時(shí)間或空間上連續(xù)的非常大量的圖像(以下也記載為圖像列)。在這種情況下，圖像列中靠近(即時(shí)間或空間上靠近)的圖像彼此是相似圖像的可能性較高，在掌握所攝像的內(nèi)容時(shí)，不需要檢查大量的全部圖像。圖像張數(shù)為數(shù)萬(wàn)張以上的情況也不稀奇，用戶手動(dòng)檢查全部圖像本身的負(fù)擔(dān)很大。

因此，需要通過(guò)從圖像列中刪除一部分圖像，精簡(jiǎn)為張數(shù)比原來(lái)的圖像列的張數(shù)少的圖像列(以下將該處理記載為圖像精簡(jiǎn)處理)。例如在專(zhuān)利文獻(xiàn)1中公開(kāi)了如下的圖像精簡(jiǎn)處理方法：通過(guò)提取圖像列中的場(chǎng)景變化的接縫的圖像或代表圖像列的圖像，保留容易掌握?qǐng)D像列的內(nèi)容的圖像。

現(xiàn)有技術(shù)文獻(xiàn)

專(zhuān)利文獻(xiàn)

專(zhuān)利文獻(xiàn)1：日本特開(kāi)2009-5020號(hào)公報(bào)

專(zhuān)利文獻(xiàn)2：日本特開(kāi)2011-24763號(hào)公報(bào)

專(zhuān)利文獻(xiàn)3：日本特開(kāi)2007-257287號(hào)公報(bào)

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

例如在醫(yī)學(xué)領(lǐng)域中應(yīng)用圖像精簡(jiǎn)技術(shù)的情況下，從避免疾患的漏看的觀點(diǎn)來(lái)看，需要抑制由于刪除圖像而無(wú)法觀察的區(qū)域的產(chǎn)生。

但是，如專(zhuān)利文獻(xiàn)1的方法那樣，當(dāng)僅保留場(chǎng)景變化的接縫的圖像、或以是否容易直觀觀察精簡(jiǎn)后的圖像列的觀點(diǎn)進(jìn)行圖像精簡(jiǎn)時(shí)，可能產(chǎn)生由于刪除圖像而無(wú)法觀察的區(qū)域，并不理想。并且，由于無(wú)法觀察的區(qū)域的產(chǎn)生程度依賴(lài)于圖像的內(nèi)容，所以，在現(xiàn)有的圖像精簡(jiǎn)處理的方法中，很難控制疾患的漏看等的程度。

根據(jù)本發(fā)明的若干個(gè)方式，能夠提供如下的圖像處理裝置、程序和圖像處理方法等：在通過(guò)刪除一部分圖像來(lái)進(jìn)行圖像精簡(jiǎn)處理的情況下，也能夠抑制由于刪除圖像而無(wú)法觀察的區(qū)域的產(chǎn)生，并且能夠控制產(chǎn)生程度。

用于解決課題的手段

本發(fā)明的一個(gè)方式涉及一種圖像處理裝置，該圖像處理裝置包括：圖像列取得部，其取得具有多個(gè)圖像的圖像列；以及處理部，其進(jìn)行刪除所述圖像列取得部所取得的所述圖像列的所述多個(gè)圖像的一部分而取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理，所述處理部從所述多個(gè)圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)所述基準(zhǔn)圖像與所述判定對(duì)象圖像之間的變形信息，計(jì)算所述基準(zhǔn)圖像對(duì)所述判定對(duì)象圖像的覆蓋率，根據(jù)所述覆蓋率判定可否刪除所述判定對(duì)象圖像。

在本發(fā)明的一個(gè)方式中，從所取得的圖像列中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)選擇出的基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息，計(jì)算基準(zhǔn)圖像對(duì)判定對(duì)象圖像的覆蓋率，判定可否刪除判定對(duì)象圖像。由此，能夠根據(jù)判定對(duì)象圖像被基準(zhǔn)圖像(狹義地講為精簡(jiǎn)圖像列中保留的圖像)以何種程度覆蓋來(lái)判定可否刪除，所以，能夠抑制產(chǎn)生由于刪除圖像而無(wú)法觀察的區(qū)域等。

本發(fā)明的另一個(gè)方式涉及一種圖像處理裝置，該圖像處理裝置包括：圖像列取得部，其取得具有多個(gè)圖像的圖像列；以及處理部，其進(jìn)行刪除所述圖像列取得部所取得的所述圖像列的所述多個(gè)圖像的一部分而取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理，所述處理部從所述多個(gè)圖像中選擇所述圖像精簡(jiǎn)處理的基準(zhǔn)圖像和判定對(duì)象圖像，在所述判定對(duì)象圖像上設(shè)定觀察區(qū)域，并且，根據(jù)所述基準(zhǔn)圖像與所述判定對(duì)象圖像之間的變形信息求出對(duì)應(yīng)區(qū)域，該對(duì)應(yīng)區(qū)域是與所述觀察區(qū)域?qū)?yīng)的所述基準(zhǔn)圖像上的區(qū)域，根據(jù)從所述對(duì)應(yīng)區(qū)域中求出的第1特征量和從所述觀察區(qū)域中求出的第2特征量中的至少一方判定可否刪除所述判定對(duì)象圖像。

在本發(fā)明的另一個(gè)方式中，在判定對(duì)象圖像上設(shè)定觀察區(qū)域，并且，根據(jù)變形信息在基準(zhǔn)圖像上設(shè)定與觀察區(qū)域?qū)?yīng)的對(duì)應(yīng)區(qū)域，根據(jù)觀察區(qū)域和對(duì)應(yīng)區(qū)域的特征量中的至少一方判定可否刪除判定對(duì)象圖像。由此，在對(duì)應(yīng)區(qū)域不適于觀察的情況下，通過(guò)將包含觀察區(qū)域的判定對(duì)象圖像包含在精簡(jiǎn)圖像列中等的處理，能夠抑制產(chǎn)生不適于觀察的區(qū)域等。

本發(fā)明的另一個(gè)方式涉及使計(jì)算機(jī)作為上述各部發(fā)揮功能的程序。

本發(fā)明的另一個(gè)方式涉及一種圖像處理方法，取得具有多個(gè)圖像的圖像列，從所述圖像列的所述多個(gè)圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)所述基準(zhǔn)圖像與所述判定對(duì)象圖像之間的變形信息，計(jì)算所述基準(zhǔn)圖像對(duì)所述判定對(duì)象圖像的覆蓋率，根據(jù)所述覆蓋率判定可否刪除所述判定對(duì)象圖像，根據(jù)所述刪除可否的判定結(jié)果，進(jìn)行刪除所述圖像列的所述多個(gè)圖像的一部分而取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。

本發(fā)明的另一個(gè)方式涉及一種圖像處理方法，取得具有多個(gè)圖像的圖像列，從所述圖像列的所述多個(gè)圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像，在所述判定對(duì)象圖像上設(shè)定觀察區(qū)域，并且，根據(jù)所述基準(zhǔn)圖像與所述判定對(duì)象圖像之間的變形信息求出對(duì)應(yīng)區(qū)域，該對(duì)應(yīng)區(qū)域是與所述觀察區(qū)域?qū)?yīng)的所述基準(zhǔn)圖像上的區(qū)域，根據(jù)從所述對(duì)應(yīng)區(qū)域中求出的第1特征量和從所述觀察區(qū)域中求出的第2特征量中的至少一方判定可否刪除所述判定對(duì)象圖像，根據(jù)所述可否刪除的判定結(jié)果，進(jìn)行刪除所述圖像列的所述多個(gè)圖像的一部分而取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。

附圖說(shuō)明

圖1是第1實(shí)施方式的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。

圖2是用于說(shuō)明第1實(shí)施方式的處理的流程圖。

圖3是說(shuō)明使用了覆蓋區(qū)域的覆蓋率計(jì)算處理的圖。

圖4(A)～圖4(D)是說(shuō)明第1實(shí)施方式的圖像精簡(jiǎn)處理的圖。

圖5是說(shuō)明使用了多個(gè)點(diǎn)的覆蓋率計(jì)算處理的圖。

圖6是用于說(shuō)明使用了多個(gè)點(diǎn)的覆蓋率計(jì)算處理的流程圖。

圖7是說(shuō)明選擇多個(gè)基準(zhǔn)圖像的變形例的圖。

圖8是說(shuō)明根據(jù)多個(gè)基準(zhǔn)圖像求出覆蓋區(qū)域的處理的圖。

圖9(A)、圖9(B)是說(shuō)明選擇多個(gè)基準(zhǔn)圖像的變形例的圖。

圖10是說(shuō)明使用了加權(quán)的覆蓋率計(jì)算處理的圖。

圖11是第2實(shí)施方式的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。

圖12是用于說(shuō)明第2實(shí)施方式的處理的流程圖。

圖13(A)、圖13(B)是說(shuō)明第2實(shí)施方式的圖像精簡(jiǎn)處理的圖。

圖14(A)～圖14(D)是說(shuō)明第2實(shí)施方式中的最初的基準(zhǔn)圖像的選擇方法的一例的圖。

圖15是第3實(shí)施方式的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。

圖16是用于說(shuō)明第3實(shí)施方式的處理的流程圖。

圖17是用于說(shuō)明第3實(shí)施方式的處理的另一個(gè)流程圖。

圖18(A)、圖18(B)是說(shuō)明第3實(shí)施方式的圖像精簡(jiǎn)處理的圖。

圖19是本實(shí)施方式的圖像精簡(jiǎn)處理的系統(tǒng)結(jié)構(gòu)例。

圖20(A)～圖20(G)是說(shuō)明第2實(shí)施方式的變形例的圖。

圖21是用于說(shuō)明第2實(shí)施方式的變形例的處理的流程圖。

圖22是第4實(shí)施方式的圖像處理裝置的結(jié)構(gòu)例。

圖23是說(shuō)明第4實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。

圖24是說(shuō)明觀察區(qū)域和對(duì)應(yīng)區(qū)域的設(shè)定方法的圖。

圖25是使用明度信息作為特征量的例子。

圖26是使用尺寸信息作為特征量的例子。

圖27是使用與給定的形狀的相似度作為特征量的例子。

圖28是第5實(shí)施方式的圖像處理裝置的結(jié)構(gòu)例。

圖29是說(shuō)明第5實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。

圖30是說(shuō)明精簡(jiǎn)候選圖像列生成處理的圖。

圖31是第6實(shí)施方式的圖像處理裝置的結(jié)構(gòu)例。

圖32(A)、圖32(B)是說(shuō)明場(chǎng)景變換與部分圖像列的關(guān)系的圖。

圖33是可否刪除判定部的結(jié)構(gòu)例。

圖34是說(shuō)明第6實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。

圖35(A)、圖35(B)是說(shuō)明圖像列中的選擇圖像的位置與檢測(cè)到的場(chǎng)景變換的位置的關(guān)系的圖。

圖36是作為紋理信息的計(jì)算對(duì)象的區(qū)域的設(shè)定例。

圖37(A)、圖37(B)是說(shuō)明由于變形信息的精度差異而導(dǎo)致的覆蓋區(qū)域的形狀差異的圖。

圖38是精度信息的計(jì)算方法的例子。

圖39是說(shuō)明圖像列中的第1、第2圖像的位置與檢測(cè)到的場(chǎng)景變換的位置的關(guān)系的圖。

具體實(shí)施方式

下面，對(duì)本實(shí)施方式進(jìn)行說(shuō)明。另外，以下說(shuō)明的本實(shí)施方式并不是不當(dāng)?shù)叵薅?quán)利要求范圍所記載的本發(fā)明的內(nèi)容。并且，本實(shí)施方式中說(shuō)明的全部結(jié)構(gòu)不一定是本發(fā)明的必須結(jié)構(gòu)要件。

1.本實(shí)施方式的方法

首先，對(duì)本實(shí)施方式的方法進(jìn)行說(shuō)明。在取得由時(shí)間或空間上連續(xù)的大量圖像構(gòu)成的圖像列的情況下，在用戶使用該圖像列進(jìn)行某些處理(例如如果是內(nèi)窺鏡圖像列，則進(jìn)行診斷等醫(yī)療行為)時(shí)，優(yōu)選進(jìn)行圖像精簡(jiǎn)處理。這是因?yàn)椋瑘D像列中包含的圖像的張數(shù)非常多，用戶觀看全部圖像后進(jìn)行判斷需要很大勞力。并且，在圖像列所包含的圖像中存在彼此相似的圖像的可能性很高，即使檢查全部這種相似的圖像，可取得的信息量也有限，與勞力不相稱(chēng)。

作為具體例，考慮使用膠囊內(nèi)窺鏡進(jìn)行攝像而得到的圖像列。膠囊內(nèi)窺鏡是內(nèi)置有小型照相機(jī)的膠囊形狀的內(nèi)窺鏡，以給定的時(shí)間間隔(例如1秒2次等)對(duì)圖像進(jìn)行攝像。膠囊內(nèi)窺鏡從內(nèi)服到排出需要幾個(gè)小時(shí)(根據(jù)情況而需要十幾個(gè)小時(shí))，所以，在1個(gè)用戶的1次檢查中取得幾萬(wàn)張攝像圖像。并且，膠囊內(nèi)窺鏡在活體內(nèi)移動(dòng)時(shí)，由于受到該活體的運(yùn)動(dòng)的影響等而停留在相同場(chǎng)所或向相反方向返回。因此，在大量圖像中存在對(duì)與其他圖像相同的被攝體進(jìn)行攝像、在病變發(fā)現(xiàn)等中有用性不高的多個(gè)圖像。

在現(xiàn)有的圖像精簡(jiǎn)處理中，提取了場(chǎng)景變化的接縫的圖像、代表圖像列的圖像。但是，在這種方法中，在刪除圖像時(shí)，沒(méi)有特別考慮作為該刪除對(duì)象的圖像中攝像的被攝體和保留圖像中攝像的被攝體的關(guān)系。因此，可能導(dǎo)致在精簡(jiǎn)后的圖像列所包含的任意圖像上均未對(duì)精簡(jiǎn)前的圖像列所包含的圖像上攝像的被攝體進(jìn)行攝像。并且，通過(guò)圖像精簡(jiǎn)處理而以何種程度產(chǎn)生圖像列的任意圖像中均未包含的被攝體的程度依賴(lài)于作為處理對(duì)象的圖像列，所以，在現(xiàn)有方法中很難控制該程度。

特別是在醫(yī)療領(lǐng)域中的圖像精簡(jiǎn)處理中并不理想。在醫(yī)療領(lǐng)域中，從其目的來(lái)看，必須極力抑制應(yīng)該關(guān)注的區(qū)域(例如病變部)的漏看。因此，優(yōu)選對(duì)活體內(nèi)的盡可能寬的范圍進(jìn)行攝像，在圖像精簡(jiǎn)處理中，應(yīng)該抑制產(chǎn)生由于刪除給定的圖像而無(wú)法觀察的被攝體范圍。

因此，本申請(qǐng)人提出了使用圖像間的變形信息的方法。作為使用變形信息的方法，考慮根據(jù)基準(zhǔn)圖像(保留圖像、根據(jù)實(shí)施方式而成為保留候選的圖像)和判定對(duì)象圖像(判定是否刪除的對(duì)象圖像)的覆蓋率進(jìn)行圖像精簡(jiǎn)處理的方法。具體而言，如圖3所示，通過(guò)對(duì)基準(zhǔn)圖像進(jìn)行變形，在判定對(duì)象圖像上計(jì)算覆蓋區(qū)域。在基準(zhǔn)圖像中攝像的被攝體和在判定對(duì)象圖像的覆蓋區(qū)域上攝像的被攝體相對(duì)應(yīng)。即，判定對(duì)象圖像中的覆蓋區(qū)域外的范圍是在刪除了該判定對(duì)象圖像的情況下、即使保留基準(zhǔn)圖像也無(wú)法覆蓋的區(qū)域。

由此，計(jì)算覆蓋區(qū)域在判定對(duì)象圖像中占據(jù)的比例等作為覆蓋率，根據(jù)計(jì)算出的覆蓋率判定是否刪除判定對(duì)象圖像，由此，對(duì)無(wú)法觀察的被攝體范圍的產(chǎn)生程度進(jìn)行控制。例如，在覆蓋率為閾值以上時(shí)刪除判定對(duì)象圖像、在覆蓋率小于閾值時(shí)不刪除判定對(duì)象圖像即可，能夠根據(jù)閾值的設(shè)定，對(duì)無(wú)法覆蓋的區(qū)域的產(chǎn)生程度進(jìn)行控制。如果增大閾值，則能夠降低無(wú)法覆蓋的區(qū)域的產(chǎn)生程度，所以，病變的漏看等的抑制效果提高。并且，如果減小閾值，則雖然容易產(chǎn)生無(wú)法覆蓋的區(qū)域，但是，能夠減少精簡(jiǎn)后的圖像列中包含的圖像的張數(shù)，能夠減輕此后的用戶負(fù)擔(dān)等。

作為這里的圖像處理裝置的1個(gè)實(shí)施方式，如圖19所示，考慮包括處理部100和圖像列取得部200。圖像列取得部200取得具有多個(gè)圖像的圖像列。而且，處理部100進(jìn)行刪除圖像列取得部200取得的圖像列所具有的多個(gè)圖像的一部分并取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。具體而言，處理部100從多個(gè)圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)選擇出的基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息，計(jì)算基準(zhǔn)圖像對(duì)判定對(duì)象圖像的覆蓋率。然后，根據(jù)計(jì)算出的覆蓋率判定可否刪除判定對(duì)象圖像。

由此，能夠根據(jù)覆蓋率進(jìn)行圖像精簡(jiǎn)處理。另外，可以在通過(guò)可否刪除的判定而判定為能夠刪除判定對(duì)象圖像的情況下，確定刪除該判定對(duì)象圖像(第1、第2實(shí)施方式)，也可以在取得將其他圖像作為判定對(duì)象圖像的情況下的可否刪除的判定結(jié)果之前，不確定刪除(第3實(shí)施方式)。

下面，在第1實(shí)施方式中，說(shuō)明以序列順序進(jìn)行對(duì)基準(zhǔn)圖像的后方的圖像保證覆蓋率的圖像精簡(jiǎn)處理的方法。并且，作為變形例，還說(shuō)明不利用覆蓋區(qū)域而利用多個(gè)點(diǎn)計(jì)算覆蓋率的方法、使用多個(gè)基準(zhǔn)圖像計(jì)算覆蓋率的方法、在求出覆蓋率時(shí)使用與圖像上位置對(duì)應(yīng)的加權(quán)的方法、以及根據(jù)相鄰圖像間的變形信息求出期望的變形信息的方法。另外，第1實(shí)施方式中說(shuō)明的變形例也可以應(yīng)用于第2、第3實(shí)施方式。

在第2實(shí)施方式中，說(shuō)明根據(jù)在判定對(duì)象圖像的前方和后方設(shè)定的基準(zhǔn)圖像以序列順序進(jìn)行對(duì)前方后方的圖像保證覆蓋率的圖像精簡(jiǎn)處理的方法。并且，在第3實(shí)施方式中，說(shuō)明在圖像列的端點(diǎn)以外設(shè)定基準(zhǔn)圖像并判定是否刪除該基準(zhǔn)圖像的前方部分圖像列和后方部分圖像列的方法。

但是，僅通過(guò)基于覆蓋率的可否刪除的判定，即使在保留圖像中攝像有被刪除圖像中攝像的被攝體區(qū)域，也無(wú)法考慮保留圖像上的該被攝體區(qū)域的觀察難易度。例如，如圖26所示，考慮在基準(zhǔn)圖像上的非常狹小的區(qū)域中攝像有判定對(duì)象圖像上的給定的區(qū)域中攝像的被攝體的情況。在圖26的例子中，如果以覆蓋率這樣的觀點(diǎn)進(jìn)行考慮，則由于在基準(zhǔn)圖像上對(duì)該被攝體進(jìn)行了攝像，所以，判定為即使刪除判定對(duì)象圖像也不會(huì)漏看該被攝體，能夠刪除判定對(duì)象圖像。但是，根據(jù)圖26可知，在基準(zhǔn)圖像上，被攝體的尺寸非常小，所以，根據(jù)基準(zhǔn)圖像的像素?cái)?shù)(分辨率)，基本上不適于觀察。這是因?yàn)?，考慮到如果被攝體的尺寸較小則存在漏看該被攝體自身的危險(xiǎn)性，即使沒(méi)有漏看，在需要被攝體的詳細(xì)觀察的情況下(例如如果被攝體為病變部則診斷該被攝體是否真的是病變部；或者在是病變部的情況下診斷發(fā)展情況是何種程度的情況等)，也無(wú)法進(jìn)行充分的觀察。

因此，作為使用了變形信息的其他方法，本申請(qǐng)人提出了如下方法：選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)判定對(duì)象圖像上的觀察區(qū)域的特征量和與觀察區(qū)域?qū)?yīng)的基準(zhǔn)圖像上的區(qū)域即對(duì)應(yīng)區(qū)域的特征量，判定可否刪除判定對(duì)象圖像。此時(shí)，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息，通過(guò)對(duì)觀察區(qū)域進(jìn)行變形而求出對(duì)應(yīng)區(qū)域。即，觀察區(qū)域中攝像的被攝體區(qū)域和對(duì)應(yīng)區(qū)域中攝像的被攝體區(qū)域相對(duì)應(yīng)(狹義地講為一致)。

由此，例如，如果使用該區(qū)域的尺寸信息(面積等)作為特征量，則如圖26所示，能夠檢測(cè)到對(duì)應(yīng)區(qū)域的尺寸小于觀察區(qū)域，所以，能夠應(yīng)對(duì)上述課題。具體而言，在基準(zhǔn)圖像上，被攝體壓迫在狹小范圍(與對(duì)應(yīng)區(qū)域?qū)?yīng)的范圍)中而不適于觀察，所以，判定為不能刪除判定對(duì)象圖像而將其保留在精簡(jiǎn)圖像列中，在判定對(duì)象圖像上的寬范圍(與觀察區(qū)域?qū)?yīng)的范圍)內(nèi)對(duì)上述被攝體進(jìn)行了攝像的狀態(tài)下進(jìn)行觀察即可。

作為這里的圖像處理裝置的1個(gè)實(shí)施方式，如圖19所示，考慮包括處理部100和圖像列取得部200。圖像列取得部200取得具有多個(gè)圖像的圖像列。而且，處理部100進(jìn)行刪除圖像列取得部200取得的圖像列所具有的多個(gè)圖像的一部分并取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。具體而言，處理部100從多個(gè)圖像中選擇圖像精簡(jiǎn)處理的基準(zhǔn)圖像和判定對(duì)象圖像，在判定對(duì)象圖像上設(shè)定觀察區(qū)域，并且，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息求出與觀察區(qū)域?qū)?yīng)的基準(zhǔn)圖像上的區(qū)域即對(duì)應(yīng)區(qū)域，根據(jù)從對(duì)應(yīng)區(qū)域中求出的第1特征量和從觀察區(qū)域中求出的第2特征量中的至少一方，判定可否刪除判定對(duì)象圖像。

下面，在第4實(shí)施方式中，說(shuō)明根據(jù)觀察區(qū)域和對(duì)應(yīng)區(qū)域的特征量進(jìn)行可否刪除的判定的圖像精簡(jiǎn)處理的基本方法。并且，在將基于觀察區(qū)域和對(duì)應(yīng)區(qū)域的特征量的可否刪除的判定作為第1可否刪除判定處理的情況下，也可以通過(guò)組合該第1可否刪除判定處理和與其不同的第2可否刪除判定處理(例如使用了上述覆蓋率的處理)，來(lái)進(jìn)行圖像精簡(jiǎn)處理。具體方法在第5實(shí)施方式中進(jìn)行說(shuō)明。

并且，還能夠進(jìn)行考慮了使用變形信息的處理的高速化和精度提高的變形實(shí)施。例如，可以從作為處理對(duì)象的圖像列全體中選擇基準(zhǔn)圖像和判定對(duì)象圖像，但是，這樣有時(shí)并不高效。具體而言，在作為處理對(duì)象的圖像列中，在該圖像列的前半部分和后半部分中攝像對(duì)象大幅不同的情況下(例如，在來(lái)自膠囊內(nèi)窺鏡的圖像列中，前半部分對(duì)胃進(jìn)行攝像、后半部分對(duì)小腸進(jìn)行攝像的情況等)，很難通過(guò)前半部分的圖像覆蓋后半部分的圖像。由此，跨越前半部分和后半部分的比較處理的必要性較低，通過(guò)分成僅將前半部分作為對(duì)象的圖像精簡(jiǎn)處理和僅將后半部分作為對(duì)象的圖像精簡(jiǎn)處理來(lái)進(jìn)行處理，實(shí)現(xiàn)高效化。

由此，本申請(qǐng)人提出了如下方法：從圖像列中檢測(cè)場(chǎng)景變換，根據(jù)檢測(cè)到的場(chǎng)景變換將圖像列分割為多個(gè)部分圖像列。然后，針對(duì)各部分圖像列獨(dú)立地進(jìn)行使用了上述變形信息的圖像精簡(jiǎn)處理即可。這樣，能夠高效地進(jìn)行圖像精簡(jiǎn)處理。并且，由于能夠針對(duì)多個(gè)部分圖像列并行地進(jìn)行圖像精簡(jiǎn)處理，所以，能夠?qū)崿F(xiàn)處理的高速化。該變形例在第6實(shí)施方式中進(jìn)行說(shuō)明。

2.第1實(shí)施方式

作為第1實(shí)施方式，說(shuō)明對(duì)基準(zhǔn)圖像的后方的圖像保證覆蓋率的圖像精簡(jiǎn)處理。首先說(shuō)明基本方法，然后敘述4個(gè)變形例。另外，關(guān)于各變形例，可以使用其中1個(gè)變形例，也可以組合使用2個(gè)以上的變形例。

2.1第1實(shí)施方式的方法

圖1示出本實(shí)施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。圖像處理裝置包括處理部100、圖像列取得部200、存儲(chǔ)部300。

處理部100通過(guò)對(duì)圖像列取得部200取得的圖像列刪除該圖像列中包含的多個(gè)圖像的一部分，進(jìn)行圖像精簡(jiǎn)處理。該處理部100的功能可以由各種處理器(CPU等)、ASIC(門(mén)陣列等)等硬件、程序等實(shí)現(xiàn)。

圖像列取得部200取得作為圖像精簡(jiǎn)處理對(duì)象的圖像列。存儲(chǔ)部300除了存儲(chǔ)圖像列取得部200取得的圖像列以外，還作為處理部100等的工作區(qū)域，其功能可以由RAM等存儲(chǔ)器、HDD(硬盤(pán)驅(qū)動(dòng))等實(shí)現(xiàn)。

并且，如圖1所示，處理部100也可以包括基準(zhǔn)圖像選擇部1001、判定對(duì)象圖像選擇部1002、覆蓋區(qū)域計(jì)算部1003、覆蓋率計(jì)算部1004、可否刪除判定部1005、部分圖像列設(shè)定部1008、精簡(jiǎn)圖像列決定部1009。另外，處理部100不限于圖1的結(jié)構(gòu)，能夠進(jìn)行省略它們的一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形實(shí)施。并且，在將由處理部100執(zhí)行的圖像精簡(jiǎn)處理分割為多個(gè)子進(jìn)程時(shí)，設(shè)定上述各部以用于說(shuō)明各子進(jìn)程，處理部100不是必須具有上述各部作為結(jié)構(gòu)要件。

基準(zhǔn)圖像選擇部1001從圖像列的多個(gè)圖像中選擇基準(zhǔn)圖像。判定對(duì)象圖像選擇部1002選擇圖像列的多個(gè)圖像中的與基準(zhǔn)圖像不同的圖像作為判定對(duì)象圖像。

覆蓋區(qū)域計(jì)算部1003利用基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息(變形參數(shù))，向判定對(duì)象圖像映射基準(zhǔn)圖像，求出覆蓋區(qū)域。覆蓋率計(jì)算部1004根據(jù)覆蓋區(qū)域計(jì)算覆蓋率。

可否刪除判定部1005根據(jù)計(jì)算出的覆蓋率判定是否能夠刪除判定對(duì)象圖像。具體而言，進(jìn)行覆蓋率與給定的閾值的比較處理等即可。

在可否刪除判定部1005判定為不能刪除判定對(duì)象圖像的情況下，部分圖像列設(shè)定部1008根據(jù)該時(shí)刻的判定對(duì)象圖像在圖像列中的位置，設(shè)定由圖像列的一部分即1張以上的圖像構(gòu)成的圖像列作為部分圖像列。

精簡(jiǎn)圖像列決定部1009決定精簡(jiǎn)處理后的圖像列即精簡(jiǎn)圖像列。在本實(shí)施方式中，將基準(zhǔn)圖像選擇部1001選擇出的基準(zhǔn)圖像包含在精簡(jiǎn)圖像列中。并且，刪除判定對(duì)象圖像中的被判定為能夠刪除的圖像，不將其包含在精簡(jiǎn)圖像列中。

圖2示出說(shuō)明本實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。該處理開(kāi)始后，首先，取得作為圖像精簡(jiǎn)處理對(duì)象的圖像列(S101)。認(rèn)為圖像列是由圖像列取得部200取得的按照時(shí)間序列排列的RGB 3通道圖像?；蛘?，也可以是通過(guò)排列成橫向一列的攝像設(shè)備拍攝的空間上排列的圖像列那樣在空間上連續(xù)的圖像列。并且，空間上連續(xù)的圖像列中的“空間”可以是表示二維或三維位置的空間，也可以是顏色空間等空間。

在取得圖像列后，基準(zhǔn)圖像選擇部1001選擇輸入圖像列(在最初的處理中為S101中取得的圖像列、此后為后述S107中設(shè)定的部分圖像列)的開(kāi)頭的圖像作為基準(zhǔn)圖像(S102)。這里選擇出的基準(zhǔn)圖像保留在精簡(jiǎn)圖像列中。另外，在由于錯(cuò)誤等理由而無(wú)法從輸入圖像列中選擇基準(zhǔn)圖像的情況下(例如圖像列中不存在圖像的情況下等)，結(jié)束處理。

然后，判定對(duì)象圖像選擇部1002從輸入圖像列所包含的圖像中選擇判定對(duì)象圖像(S103)。在未設(shè)定判定對(duì)象圖像的情況下，選擇基準(zhǔn)圖像的下一個(gè)圖像(輸入圖像列的第2個(gè)圖像)作為判定對(duì)象圖像。并且，在已經(jīng)選擇了輸入圖像列的第k個(gè)圖像作為判定對(duì)象圖像的情況下，錯(cuò)開(kāi)一個(gè)選擇位置，選擇輸入圖像列的第k+1個(gè)圖像作為新的判定對(duì)象圖像。在無(wú)法選擇判定對(duì)象圖像的情況下(輸入圖像列中包含的圖像的張數(shù)少于2或k+1的情況下等)，結(jié)束處理。

在選擇出基準(zhǔn)圖像和判定對(duì)象圖像后，覆蓋區(qū)域計(jì)算部1003利用基準(zhǔn)圖像與判定對(duì)象圖像之間的變形參數(shù)，向判定對(duì)象圖像上映射基準(zhǔn)圖像，求出覆蓋區(qū)域(S104)。這里，作為變形參數(shù)，可以是通過(guò)專(zhuān)利文獻(xiàn)2所記載的方法估計(jì)出的非剛體變形參數(shù)等。圖3示出覆蓋區(qū)域的例子。這里的變形參數(shù)表示基準(zhǔn)圖像中攝像的被攝體在判定對(duì)象圖像上如何變形。換言之，基準(zhǔn)圖像中攝像的被攝體和判定對(duì)象圖像上的覆蓋區(qū)域中攝像的被攝體相對(duì)應(yīng)(狹義地講為相同)。

在計(jì)算出覆蓋區(qū)域后，覆蓋率計(jì)算部1004根據(jù)覆蓋區(qū)域和判定對(duì)象圖像計(jì)算覆蓋率(S105)。例如如圖3所示，可以根據(jù)覆蓋區(qū)域的面積相對(duì)于判定對(duì)象圖像全體的面積的比例等求出覆蓋率。

然后，可否刪除判定部1005對(duì)計(jì)算出的覆蓋率與事前設(shè)定的閾值(可以通過(guò)系統(tǒng)來(lái)設(shè)定，也可以根據(jù)來(lái)自用戶的輸入來(lái)決定)進(jìn)行比較處理(S106)。如果覆蓋率小于閾值，則判定為不能刪除判定對(duì)象圖像，轉(zhuǎn)移到部分圖像列的設(shè)定處理。并且，如果覆蓋率為閾值以上，則判定為能夠刪除判定對(duì)象圖像，返回S103，再次選擇判定對(duì)象圖像。

在S106中判定為不能刪除判定對(duì)象圖像的情況下，部分圖像列設(shè)定部1008設(shè)定部分圖像列(S107)。具體而言，設(shè)定由被判定為不能刪除的判定對(duì)象圖像及其以后的圖像構(gòu)成的圖像列作為部分圖像列即可。設(shè)定部分圖像列后，返回S102，將該部分圖像列作為輸入圖像列執(zhí)行上述處理。

圖4(A)～圖4(D)圖示了以上的圖像精簡(jiǎn)處理。如圖4(A)所示，在圖像列取得部200取得了具有N張圖像的圖像列的情況下，首先，選擇第1個(gè)圖像作為基準(zhǔn)圖像，選擇第2個(gè)圖像作為判定對(duì)象圖像。然后，在基準(zhǔn)圖像與判定對(duì)象圖像之間計(jì)算覆蓋率，判定可否刪除判定對(duì)象圖像。

在判定為能夠刪除判定對(duì)象圖像的情況下，重新選擇判定對(duì)象圖像。具體而言，成為使判定對(duì)象圖像的位置錯(cuò)后的處理，如圖4(B)所示，選擇第3個(gè)圖像作為判定對(duì)象圖像。然后，在基準(zhǔn)圖像與判定對(duì)象圖像之間計(jì)算覆蓋率，判定可否刪除判定對(duì)象圖像，在發(fā)現(xiàn)被判定為不能刪除的判定對(duì)象圖像之前，對(duì)作為判定對(duì)象圖像而選擇的圖像進(jìn)行更新。

如圖4(C)所示，在判定為能夠刪除第2個(gè)～第k-1個(gè)圖像、且判定為不能刪除第k個(gè)圖像的情況下，由于第2個(gè)～第k-1個(gè)圖像被基準(zhǔn)圖像以某種程度(通過(guò)閾值設(shè)定的程度)覆蓋，所以，進(jìn)行刪除處理而不使其包含在精簡(jiǎn)圖像列中。與此相對(duì)，由于在基準(zhǔn)圖像中無(wú)法充分覆蓋第k個(gè)圖像，所以，第k個(gè)圖像需要保留在精簡(jiǎn)圖像列中。因此，這里，設(shè)定第k個(gè)圖像及其以后的圖像(第k～N個(gè)圖像)作為部分圖像列(下面，第1～第5實(shí)施方式中的“部分圖像列”規(guī)定反復(fù)進(jìn)行處理的單位，與第6實(shí)施方式中的作為并列處理對(duì)象的部分圖像列不同)。

然后，再次對(duì)該部分圖像列反復(fù)進(jìn)行圖4(A)～圖4(C)的處理即可。具體而言，如圖4(D)所示，將由N-x+1張圖像構(gòu)成的部分圖像列作為輸入圖像列，將開(kāi)頭(圖4(C)等中為第k個(gè))圖像作為基準(zhǔn)圖像，將第2個(gè)(圖4(C)等中為第k+1個(gè))圖像作為判定對(duì)象圖像進(jìn)行處理。以后的處理相同，在判定為能夠刪除判定對(duì)象圖像后，選擇下一個(gè)圖像作為新的判定對(duì)象圖像。并且，在判定為不能刪除判定對(duì)象圖像后，將基準(zhǔn)圖像保留在精簡(jiǎn)圖像列中，刪除被判定為能夠刪除的圖像，將該時(shí)刻的判定對(duì)象圖像以后的圖像設(shè)定為新的部分圖像列。最終，在直到輸入圖像列的最后的圖像為止判定為全部能夠刪除的情況下、或輸入圖像列中包含的圖像僅為1張而無(wú)法設(shè)定判定對(duì)象圖像的情況下，處理結(jié)束。

在以上的本實(shí)施方式中，如圖1所示，圖像處理裝置包括：圖像列取得部200，其取得具有多個(gè)圖像的圖像列；以及處理部100，其進(jìn)行刪除圖像列取得部200取得的圖像列的多個(gè)圖像的一部分并取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。而且，處理部100從多個(gè)圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像。該處理例如由基準(zhǔn)圖像選擇部1001和判定對(duì)象圖像選擇部1002進(jìn)行。進(jìn)而，根據(jù)選擇出的基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息，計(jì)算基準(zhǔn)圖像對(duì)判定對(duì)象圖像的覆蓋率，根據(jù)計(jì)算出的覆蓋率判定可否刪除判定對(duì)象圖像。覆蓋率的計(jì)算處理例如由覆蓋率計(jì)算部1004進(jìn)行，可否刪除的判定處理例如由可否刪除判定部1005進(jìn)行。

這里，覆蓋率是表示在基準(zhǔn)圖像上攝像有判定對(duì)象圖像上攝像的被攝體中的什么程度的被攝體的信息。例如，在取得縱橫比為1：1的圖像的情況下，在判定對(duì)象圖像中以滿幅圖像的方式攝像有實(shí)際空間上縱橫分別為10m的正方形的被攝體，在基準(zhǔn)圖像中以滿幅圖像的方式攝像有所述被攝體中包含的縱橫分別為5m的正方形的區(qū)域。該情況下，在判定對(duì)象圖像中攝像有實(shí)際空間中的100m²的區(qū)域，在基準(zhǔn)圖像中攝像有實(shí)際空間中的25m²的區(qū)域(且包含在所述100m²的區(qū)域中的區(qū)域)。由此，基準(zhǔn)圖像覆蓋判定對(duì)象圖像的25％，所以，作為覆蓋率，認(rèn)為是25或0.25等值。另外，由于很少正對(duì)著平面的被攝體進(jìn)行攝像，所以，一般即使是同一被攝體，基準(zhǔn)圖像和判定對(duì)象圖像中形狀也不同。在本實(shí)施方式中，利用專(zhuān)利文獻(xiàn)2等的方法取得與這種變形對(duì)應(yīng)的變形信息，使用該變形信息計(jì)算覆蓋率。另外，覆蓋率只要是表示基準(zhǔn)圖像對(duì)判定對(duì)象圖像的覆蓋程度的信息即可，不限于比例、比率等。

并且，可否刪除的判定處理例如是與給定的閾值的比較處理。如果提高閾值(例如如果設(shè)定為相當(dāng)于100％的值)，則能夠期待針對(duì)產(chǎn)生由于刪除圖像而無(wú)法觀察的區(qū)域的抑制效果的提高。另一方面，如果降低閾值，則能夠減少精簡(jiǎn)處理后的精簡(jiǎn)圖像列中包含的圖像的張數(shù)。上述抑制效果的提高和圖像張數(shù)的減少存在折衷關(guān)系，能夠通過(guò)閾值的設(shè)定進(jìn)行控制，所以，優(yōu)選根據(jù)狀況而適當(dāng)設(shè)定閾值。

由此，通過(guò)圖像精簡(jiǎn)處理刪除了圖像的結(jié)果是能夠抑制產(chǎn)生無(wú)法觀察的被攝體區(qū)域，并且，能夠控制其抑制程度(強(qiáng)度)。這是因?yàn)椋ㄟ^(guò)使用本實(shí)施方式的方法，作為上述可否刪除的判定處理中使用的閾值，如果使用相當(dāng)于x％的值，則即使刪除了判定對(duì)象圖像，也能夠保證該判定對(duì)象圖像上攝像的被攝體中的x％被基準(zhǔn)圖像覆蓋(在基準(zhǔn)圖像上攝像有x％的被攝體范圍)。另外，作為變形信息，很難以完全不產(chǎn)生誤差的方式求出被攝體的圖像上的變形，即使設(shè)定x作為閾值，判定對(duì)象圖像中的被基準(zhǔn)圖像覆蓋的區(qū)域也可能小于x％。

并且，在輸入第1～第N(N為2以上的整數(shù))圖像作為輸入圖像列的情況下，處理部100也可以選擇第1圖像作為基準(zhǔn)圖像，并且選擇第k(k為滿足2≦k≦N-1的整數(shù))圖像作為判定對(duì)象圖像。然后，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息計(jì)算覆蓋率，根據(jù)覆蓋率判定可否刪除判定對(duì)象圖像。進(jìn)而，在判定為能夠刪除第k圖像的情況下，選擇第k+1圖像作為判定對(duì)象圖像。

這里，輸入圖像列是作為該處理(基準(zhǔn)圖像/判定對(duì)象圖像的選擇、可否刪除的判定、以及能夠刪除的情況下的判定對(duì)象圖像的更新)對(duì)象的圖像列，可以是圖像列取得部200取得的圖像列，也可以是由該圖像列的一部分圖像構(gòu)成的圖像列。

由此，在輸入了輸入圖像列的情況下，能夠進(jìn)行圖4(A)～圖4(B)等所示的處理。這里，從基準(zhǔn)圖像的后方(例如最初為與基準(zhǔn)圖像相鄰的圖像)選擇判定對(duì)象圖像，在能夠刪除所選擇出的判定對(duì)象圖像的情況下，將判定對(duì)象圖像更新為靠后方的圖像。即，從接近基準(zhǔn)圖像的位置起依次判定是否能夠刪除(是否能夠被基準(zhǔn)圖像充分覆蓋)，搜索不能刪除的位置。另外，這里，判定為能夠刪除的判定對(duì)象圖像基本上被刪除而不包含在精簡(jiǎn)圖像列中，但是不限于此，也可以將判定為能夠刪除的判定對(duì)象圖像的一部分包含在精簡(jiǎn)圖像列中。

并且，處理部100也可以進(jìn)行將作為基準(zhǔn)圖像而選擇出的圖像包含在精簡(jiǎn)圖像列中的處理。并且，在判定為不能刪除作為判定對(duì)象圖像而選擇出的第k圖像的情況下，也可以設(shè)定由第k～第N圖像構(gòu)成的部分圖像列作為新的輸入圖像列，再次對(duì)所設(shè)定的輸入圖像列進(jìn)行處理。

由此，能夠進(jìn)行圖4(C)所示的處理。如上所述，根據(jù)判定對(duì)象圖像被基準(zhǔn)圖像以何種程度覆蓋來(lái)進(jìn)行可否刪除判定處理，所以，即使刪除被判定為能夠刪除的判定對(duì)象圖像，通過(guò)保留基準(zhǔn)圖像，也能夠抑制無(wú)法觀察的區(qū)域的產(chǎn)生。即，在本實(shí)施方式中，將基準(zhǔn)圖像包含在精簡(jiǎn)圖像列中。并且，在不能刪除第k圖像的情況下，第k圖像無(wú)法被基準(zhǔn)圖像充分覆蓋，所以，第k圖像應(yīng)該保留在精簡(jiǎn)圖像列中。即，只要將第k圖像設(shè)定為下一個(gè)基準(zhǔn)圖像即可，具體而言，例如將由第k～第N圖像構(gòu)成的部分圖像列設(shè)定為新的輸入圖像列即可。這樣，如圖4(D)所示，選擇輸入圖像列的開(kāi)頭的圖像、即圖像列取得部200取得的圖像列中的第k圖像作為基準(zhǔn)圖像，依次選擇第k+1圖像以后的圖像作為判定對(duì)象圖像。另外，也可以新設(shè)定由圖4(D)的圖像列的一部分圖像構(gòu)成的部分圖像列作為輸入圖像列，反復(fù)(或循環(huán))進(jìn)行該處理。

并且，處理部100也可以根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息，求出判定對(duì)象圖像被基準(zhǔn)圖像覆蓋的區(qū)域即覆蓋區(qū)域。然后，計(jì)算覆蓋區(qū)域在判定對(duì)象圖像中占據(jù)的比例作為覆蓋率。

由此，能夠根據(jù)覆蓋區(qū)域計(jì)算覆蓋率。具體而言，如圖3所示，覆蓋區(qū)域表示在根據(jù)變形信息對(duì)基準(zhǔn)圖像進(jìn)行變形后將其映射到判定對(duì)象圖像上的區(qū)域?；鶞?zhǔn)圖像上攝像的被攝體區(qū)域和所求出的覆蓋區(qū)域中攝像的被攝體區(qū)域相對(duì)應(yīng)(如果是變形信息沒(méi)有誤差的理想狀況，則一致)。由此，能夠根據(jù)覆蓋區(qū)域在判定對(duì)象圖像中占據(jù)的比例(具體而言為各自的面積之比)求出覆蓋率。另外，根據(jù)變形信息對(duì)基準(zhǔn)圖像進(jìn)行變形來(lái)求出覆蓋區(qū)域即可，所求出的覆蓋區(qū)域不一定被映射到判定對(duì)象圖像上。并且，不限于根據(jù)基準(zhǔn)圖像全體求出覆蓋區(qū)域，也可以根據(jù)變形信息對(duì)基準(zhǔn)圖像的一部分進(jìn)行變形來(lái)求出覆蓋區(qū)域。

并且，以上的本實(shí)施方式能夠應(yīng)用于使計(jì)算機(jī)作為以下部分發(fā)揮功能的程序：圖像列取得部200，其取得具有多個(gè)圖像的圖像列；以及處理部100，其進(jìn)行刪除圖像列取得部200取得的圖像列的多個(gè)圖像的一部分并取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。然后，處理部100從多個(gè)圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像。進(jìn)而，根據(jù)選擇出的基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息，計(jì)算基準(zhǔn)圖像對(duì)判定對(duì)象圖像的覆蓋率，根據(jù)計(jì)算出的覆蓋率判定可否刪除判定對(duì)象圖像。

由此，能夠通過(guò)程序來(lái)實(shí)現(xiàn)上述圖像處理。例如，考慮將由膠囊內(nèi)窺鏡等取得的圖像列輸入到PC等系統(tǒng)中，通過(guò)由該系統(tǒng)的處理部(CPU、GPU等)執(zhí)行的程序進(jìn)行圖像精簡(jiǎn)處理。而且，上述程序記錄在信息存儲(chǔ)介質(zhì)中。這里，作為信息記錄介質(zhì)，可以假設(shè)DVD或CD等光盤(pán)、光磁盤(pán)、硬盤(pán)(HDD)、非易失性存儲(chǔ)器或RAM等存儲(chǔ)器等、PC等系統(tǒng)可讀取的各種記錄介質(zhì)。

2.2變形例(基于多個(gè)點(diǎn)的覆蓋率計(jì)算)

接著，敘述本實(shí)施方式的變形例。在上述方法中，根據(jù)變形參數(shù)對(duì)基準(zhǔn)圖像本身進(jìn)行變形，計(jì)算覆蓋區(qū)域，但是，覆蓋率的計(jì)算方法不限于此。例如也可以不是圖像本身，而在判定對(duì)象圖像上設(shè)定多個(gè)點(diǎn)，在根據(jù)變形參數(shù)使這些點(diǎn)移動(dòng)的情況下，根據(jù)移動(dòng)后的多個(gè)點(diǎn)與基準(zhǔn)圖像的位置關(guān)系計(jì)算覆蓋率。下面進(jìn)行詳細(xì)敘述。

與圖1相比，處理部100的結(jié)構(gòu)為刪除了覆蓋區(qū)域計(jì)算部1003的結(jié)構(gòu)。并且，覆蓋率計(jì)算部1004中的處理不同。另外，其他結(jié)構(gòu)的處理內(nèi)容相同，所以省略詳細(xì)說(shuō)明，敘述覆蓋率計(jì)算處理。

如圖5所示，覆蓋率計(jì)算部1004在判定對(duì)象圖像上例如等間隔地配置多個(gè)點(diǎn)。然后，利用基準(zhǔn)圖像與判定對(duì)象圖像之間的變形參數(shù)(與上述方法同樣，為專(zhuān)利文獻(xiàn)2的非剛體變形參數(shù)等)，將判定對(duì)象圖像上的點(diǎn)映射到基準(zhǔn)圖像上。設(shè)映射到基準(zhǔn)圖像上的多個(gè)點(diǎn)中的包含在基準(zhǔn)圖像中的點(diǎn)的數(shù)量的比例為覆蓋率即可。

由此，與對(duì)圖像本身進(jìn)行變形并求出覆蓋區(qū)域的方法相比，能夠容易地計(jì)算覆蓋率，能夠減輕處理負(fù)荷等。

圖6示出說(shuō)明該處理的流程圖。S201～S203和S206～S207與S101～S103和S106～S107相同。并且，由于不需要計(jì)算覆蓋區(qū)域，所以，沒(méi)有與S104相當(dāng)?shù)膲K。S205對(duì)應(yīng)于S105，但是，如上所述，處理內(nèi)容不同，在S105中，根據(jù)S104中計(jì)算出的覆蓋區(qū)域計(jì)算覆蓋率，與此相對(duì)，在S205中，根據(jù)對(duì)多個(gè)點(diǎn)進(jìn)行映射的結(jié)果來(lái)計(jì)算覆蓋率。

在以上的變形例中，處理部100對(duì)判定對(duì)象圖像設(shè)定多個(gè)點(diǎn)，在根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息對(duì)多個(gè)點(diǎn)進(jìn)行了轉(zhuǎn)換的情況下，根據(jù)基準(zhǔn)圖像中包含的轉(zhuǎn)換后的點(diǎn)的數(shù)量計(jì)算覆蓋率。

由此，不對(duì)基準(zhǔn)圖像本身進(jìn)行基于變形信息的處理，能夠通過(guò)對(duì)所設(shè)定的點(diǎn)進(jìn)行處理來(lái)計(jì)算覆蓋率，所以，與求出上述覆蓋區(qū)域的方法相比，能夠減輕處理負(fù)荷。具體而言，在判定對(duì)象圖像上設(shè)定多個(gè)點(diǎn)，求出所設(shè)定的各點(diǎn)在基準(zhǔn)圖像中對(duì)應(yīng)于哪個(gè)圖像上位置(這里還包含基準(zhǔn)圖像外的位置)。然后，通過(guò)判定對(duì)象圖像中設(shè)定的多個(gè)點(diǎn)的數(shù)量與基于變形信息的處理后的多個(gè)點(diǎn)中的包含在基準(zhǔn)圖像中的點(diǎn)的數(shù)量的比較，計(jì)算覆蓋率。這樣，在基于變形信息的處理后，不需要計(jì)算面積等，能夠減輕處理。另外，這里成為問(wèn)題的是在基準(zhǔn)圖像中不能充分覆蓋判定對(duì)象圖像的情況，在這種情況下，即使在基準(zhǔn)圖像上設(shè)定多個(gè)點(diǎn)并使其移動(dòng)到判定對(duì)象圖像上，轉(zhuǎn)換后的點(diǎn)也全部包含在判定對(duì)象圖像中，不能作為表示覆蓋程度的指標(biāo)。由此，如果使用設(shè)定多個(gè)點(diǎn)的方法，則優(yōu)選在判定對(duì)象圖像上設(shè)定該多個(gè)點(diǎn)。

2.3變形例(設(shè)定多個(gè)基準(zhǔn)圖像的例子)

接著，對(duì)使用多個(gè)圖像作為基準(zhǔn)圖像的例子進(jìn)行說(shuō)明。這里的處理部100的結(jié)構(gòu)與圖1相同。在覆蓋區(qū)域計(jì)算部1003中，如圖7所示，在多個(gè)基準(zhǔn)圖像(基準(zhǔn)圖像群)的各基準(zhǔn)圖像與判定對(duì)象圖像之間分別計(jì)算覆蓋區(qū)域的候選區(qū)域，根據(jù)計(jì)算出的多個(gè)候選區(qū)域計(jì)算覆蓋區(qū)域。該情況下，覆蓋率計(jì)算部1004和可否刪除判定部1005等中的處理與上述方法相同。

或者，也可以考慮在多個(gè)基準(zhǔn)圖像(基準(zhǔn)圖像群)的各基準(zhǔn)圖像與判定對(duì)象圖像之間分別計(jì)算覆蓋區(qū)域，在覆蓋率計(jì)算部1004中，根據(jù)判定對(duì)象圖像和計(jì)算出的多個(gè)覆蓋區(qū)域計(jì)算覆蓋率。

下面，對(duì)具體處理進(jìn)行說(shuō)明。另外，由于流程圖與圖2相同，所以省略附圖。由于S101相同，所以省略說(shuō)明。在S102中，選擇輸入圖像列的開(kāi)頭的圖像作為基準(zhǔn)圖像，并追加在基準(zhǔn)圖像群中。在初次進(jìn)行S102的情況下，基準(zhǔn)圖像群中包含的基準(zhǔn)圖像為1個(gè)，所以，S103～S107的處理與上述方法相同。

然后，在S107中設(shè)定部分圖像列并返回S102的情況下，基準(zhǔn)圖像選擇部1001選擇部分圖像列的開(kāi)頭的圖像作為基準(zhǔn)圖像，并追加在基準(zhǔn)圖像群中。即，如果第m次進(jìn)行S102的處理，則在基準(zhǔn)圖像群中保持合計(jì)m張基準(zhǔn)圖像。然后，通過(guò)根據(jù)基準(zhǔn)圖像群中的第i(1≦i≦m)基準(zhǔn)圖像和判定對(duì)象圖像計(jì)算第i候選區(qū)域，求出m個(gè)候選區(qū)域，從m個(gè)候選區(qū)域中計(jì)算覆蓋區(qū)域。例如如圖8所示，將與多個(gè)候選區(qū)域的并集對(duì)應(yīng)的區(qū)域作為覆蓋區(qū)域即可。

圖9(A)、圖9(B)示出具體例。在將開(kāi)頭的圖像作為基準(zhǔn)圖像的情況下，在判定為能夠刪除第2～x-1個(gè)圖像、且判定為不能刪除第x個(gè)圖像的情況下，如上所述，將具有第x～N個(gè)圖像的圖像列設(shè)定為部分圖像列。然后，由于將該部分圖像列作為輸入圖像列，所以，選擇部分圖像列的開(kāi)頭、即原來(lái)的圖像列中的第x個(gè)圖像作為基準(zhǔn)圖像。由此，在基準(zhǔn)圖像群中保持第1個(gè)和第x個(gè)這2張圖像作為基準(zhǔn)圖像。然后，在選擇判定對(duì)象圖像(從第x+1個(gè)起依次進(jìn)行選擇)時(shí)，根據(jù)第1個(gè)圖像和判定對(duì)象圖像求出候選區(qū)域，并且，根據(jù)第x個(gè)圖像和判定對(duì)象圖像求出候選區(qū)域。然后，利用使用圖8說(shuō)明的方法等計(jì)算最終的覆蓋區(qū)域，判定可否刪除。

同樣，如果判定為不能刪除第y個(gè)圖像，則包含第y～N個(gè)圖像的圖像列成為部分圖像列，所以，第y個(gè)圖像被追加到基準(zhǔn)圖像群中。然后，選擇第y+1個(gè)以后的圖像作為判定對(duì)象圖像，根據(jù)第1個(gè)圖像、第x個(gè)圖像和第y個(gè)圖像這3個(gè)圖像，分別求出候選區(qū)域，計(jì)算覆蓋區(qū)域。下面，反復(fù)進(jìn)行同樣的處理。

另外，這里，在覆蓋率的計(jì)算中使用了覆蓋區(qū)域，但是不限于此。也可以與上述使用多個(gè)點(diǎn)的方法進(jìn)行組合。

在以上的變形例中，處理部100可以從多個(gè)圖像中選擇第1～第M(M為2以上的整數(shù))基準(zhǔn)圖像作為基準(zhǔn)圖像。然后，根據(jù)第u(1≦u≦M)基準(zhǔn)圖像與所述判定對(duì)象圖像之間的變形信息求出第u覆蓋區(qū)域，設(shè)定第1～第M覆蓋區(qū)域的并集的區(qū)域作為所述覆蓋區(qū)域，根據(jù)所設(shè)定的覆蓋區(qū)域計(jì)算覆蓋率。

由此，如圖9(A)、圖9(B)所示，能夠設(shè)定多個(gè)基準(zhǔn)圖像作為基準(zhǔn)圖像。在設(shè)定1個(gè)基準(zhǔn)圖像的實(shí)施方式中，在判定對(duì)象圖像(例如圖9(A)的第x+1個(gè)圖像)的可否刪除的判定中，使用最近的基準(zhǔn)圖像(例如圖9(A)的第x個(gè)圖像)。但是，從抑制產(chǎn)生由于刪除圖像而無(wú)法觀察的區(qū)域的觀點(diǎn)來(lái)看，不需要在最近的保留圖像中攝像有刪除圖像中攝像的被攝體，只要攝像在保留圖像中的至少1張圖像中即可。由此，基準(zhǔn)圖像不需要限定為1個(gè)，可以使用多個(gè)。例如，如果是圖9(A)的例子，則通過(guò)將第x個(gè)～第N個(gè)圖像設(shè)定為部分圖像列，第x個(gè)圖像成為新的基準(zhǔn)圖像，但是，保持在前一個(gè)處理中作為基準(zhǔn)圖像的第1個(gè)圖像，用于第x+1個(gè)以后的判定對(duì)象圖像的可否刪除的判定即可。該情況下，覆蓋區(qū)域如圖8所示，考慮將表示根據(jù)變形信息對(duì)各基準(zhǔn)圖像進(jìn)行變形后的區(qū)域的并集的區(qū)域作為覆蓋區(qū)域。由此，可以判定為能夠刪除判定對(duì)象圖像的可能性提高，能夠減少精簡(jiǎn)處理后的圖像列中包含的圖像的張數(shù)。由此，能夠減輕用戶的負(fù)荷等。另外，通過(guò)反復(fù)進(jìn)行處理，能夠用作基準(zhǔn)圖像的圖像的張數(shù)增加(在圖9(B)的例子中，除了第y個(gè)圖像以外，還能夠使用第1個(gè)、第x個(gè)圖像)，判定為能夠刪除的可能性進(jìn)一步提高。但是，通過(guò)增加基準(zhǔn)圖像的張數(shù)，處理負(fù)荷增大，所以，不需要使用全部可使用的基準(zhǔn)圖像的候選，可以使用其中一部分。

并且，在不使用覆蓋區(qū)域而使用多個(gè)點(diǎn)的方法中，處理部100也可以從多個(gè)圖像中選擇第1～第M(M為2以上的整數(shù))基準(zhǔn)圖像作為基準(zhǔn)圖像。然后，在根據(jù)第u(1≦u≦M)基準(zhǔn)圖像與所述判定對(duì)象圖像的間的變形信息對(duì)判定對(duì)象圖像上設(shè)定的多個(gè)點(diǎn)進(jìn)行了轉(zhuǎn)換的情況下，求出第u基準(zhǔn)圖像中包含的轉(zhuǎn)換后的點(diǎn)的數(shù)量作為第u覆蓋信息，根據(jù)第1～第M覆蓋信息計(jì)算覆蓋率。

由此，在使用多個(gè)點(diǎn)的情況下，能夠設(shè)定多個(gè)基準(zhǔn)圖像。但是，在使用多個(gè)點(diǎn)的情況下，由于在覆蓋率計(jì)算中使用基準(zhǔn)圖像中包含的轉(zhuǎn)換后的點(diǎn)的數(shù)量，所以，很難計(jì)算與從多個(gè)基準(zhǔn)圖像中求出的覆蓋信息的并集相當(dāng)?shù)男畔?為了求出轉(zhuǎn)換后的點(diǎn)的位置，只要根據(jù)該位置信息進(jìn)行某些處理即可，但是，與使用覆蓋區(qū)域的方法相比，不得不喪失處理容易這樣的優(yōu)點(diǎn))。由此，作為一例，考慮使用從各基準(zhǔn)圖像求出的點(diǎn)的數(shù)量中的最大值來(lái)計(jì)算該情況下的覆蓋率。由此，雖然無(wú)法得到使用多個(gè)基準(zhǔn)圖像和覆蓋區(qū)域的方法那樣的圖像張數(shù)減少的效果，但是，與該方法相比，處理負(fù)荷減輕，并且，與使用1個(gè)基準(zhǔn)圖像的方法相比，能夠減少精簡(jiǎn)處理后的圖像張數(shù)。

2.4變形例(加權(quán))

并且，在上述方法中，單純地將相對(duì)于判定對(duì)象圖像的面積的覆蓋區(qū)域的面積作為覆蓋率，但是不限于此。例如，也可以根據(jù)圖像上的位置設(shè)定權(quán)重系數(shù)，使用該權(quán)重系數(shù)進(jìn)行加權(quán)來(lái)求出覆蓋率。這里，說(shuō)明以序列順序進(jìn)行圖像精簡(jiǎn)的變形例，在該圖像精簡(jiǎn)中，保證與到圖像中心之間的距離對(duì)應(yīng)的加權(quán)覆蓋率。另外，省略與上述方法相同的處理的詳細(xì)說(shuō)明。

覆蓋區(qū)域計(jì)算部1003取得根據(jù)圖像中的位置施加了區(qū)域權(quán)重的基準(zhǔn)圖像的權(quán)重映射圖。然后，如圖10所示，利用基準(zhǔn)圖像與判定對(duì)象圖像之間的變形參數(shù)，將基準(zhǔn)圖像的權(quán)重映射圖映射到判定對(duì)象圖像上，設(shè)為加權(quán)覆蓋區(qū)域。例如，在四角具有涂黑區(qū)域的膠囊內(nèi)窺鏡圖像等中，應(yīng)用將四角的規(guī)定的區(qū)域的權(quán)重設(shè)為0、將其余區(qū)域的權(quán)重設(shè)為1的權(quán)重。

然后，在覆蓋率計(jì)算部1004中，取得根據(jù)圖像中的位置施加了區(qū)域權(quán)重的判定對(duì)象圖像的權(quán)重映射圖。然后，將對(duì)加權(quán)覆蓋區(qū)域和判定對(duì)象圖像的權(quán)重映射圖進(jìn)行相乘而得到的覆蓋權(quán)重映射圖的總和在判定對(duì)象圖像的權(quán)重映射圖的總和中占據(jù)的比例設(shè)為覆蓋率。例如，在四角具有涂黑區(qū)域的膠囊內(nèi)窺鏡圖像等中，應(yīng)用將四角的規(guī)定的區(qū)域的權(quán)重設(shè)為0、將其余區(qū)域的權(quán)重設(shè)為1的權(quán)重。

如果是圖10的例子，則相當(dāng)于覆蓋區(qū)域中的基準(zhǔn)圖像的權(quán)重映射圖中權(quán)重為0的四角的區(qū)域不作為覆蓋區(qū)域進(jìn)行處理。并且，相當(dāng)于覆蓋區(qū)域中的判定對(duì)象圖像的權(quán)重映射圖中權(quán)重為0的四角中映射的區(qū)域也不作為覆蓋區(qū)域進(jìn)行處理。并且，與覆蓋率計(jì)算式的分母相當(dāng)?shù)呐卸▽?duì)象圖像的面積也不包含判定對(duì)象圖像的權(quán)重映射圖中權(quán)重為0的四角的區(qū)域。

并且，在圖10的例子中，使用0或1作為權(quán)重，但是，也可以設(shè)定0～1之間的值。并且，權(quán)重為0～1之間是典型情況，但是，設(shè)定負(fù)值或大于1的值也無(wú)妨。

另外，加權(quán)不限于使用覆蓋區(qū)域的方法，也可以設(shè)定多個(gè)點(diǎn)，針對(duì)各點(diǎn)設(shè)定權(quán)重系數(shù)。并且，還可以應(yīng)用于使用多個(gè)基準(zhǔn)圖像的方法。

在以上的變形例中，處理部100也可以根據(jù)判定對(duì)象圖像的圖像上位置來(lái)設(shè)定權(quán)重系數(shù)。然后，根據(jù)基于權(quán)重系數(shù)和覆蓋區(qū)域計(jì)算出的第1權(quán)重總和與基于權(quán)重系數(shù)和判定對(duì)象圖像計(jì)算出的第2權(quán)重總和的比例，計(jì)算覆蓋率。

由此，能夠進(jìn)行與判定對(duì)象圖像的圖像上位置對(duì)應(yīng)的加權(quán)，能夠根據(jù)判定對(duì)象圖像的圖像上位置設(shè)定針對(duì)覆蓋率計(jì)算的幫助程度。例如，在使用魚(yú)眼透鏡等畸變影響較大的光學(xué)系統(tǒng)的情況下，與圖像中央部相比，圖像周緣部的變形較大，不適于被攝體的觀察。這種情況下，通過(guò)增大中央部的權(quán)重系數(shù)并減小周緣部的權(quán)重系數(shù)，能夠進(jìn)行重視中央部的可否刪除的判定。具體而言，即使在圖像上覆蓋同等區(qū)域，在覆蓋中央部的情況下，對(duì)覆蓋率的幫助較大，與此相對(duì)，即使覆蓋周緣部，對(duì)覆蓋率的幫助也較小。

另外，根據(jù)作為處理對(duì)象的區(qū)域和權(quán)重系數(shù)決定權(quán)重總和。例如，如果按照每1個(gè)像素來(lái)設(shè)定權(quán)重系數(shù)，則第1權(quán)重總和針對(duì)覆蓋區(qū)域中包含的像素取各像素中設(shè)定的權(quán)重系數(shù)的總和即可，第2權(quán)重總和針對(duì)判定對(duì)象圖像全體的像素取各像素中設(shè)定的權(quán)重系數(shù)的總和即可。并且，如果按照給定的區(qū)域(各區(qū)域的面積可以不同)來(lái)設(shè)定權(quán)重系數(shù)，則第2權(quán)重總和為權(quán)重系數(shù)設(shè)定區(qū)域的面積與權(quán)重系數(shù)之積的總和，第1權(quán)重總和為權(quán)重系數(shù)設(shè)定區(qū)域中的包含在覆蓋區(qū)域中的區(qū)域的面積與權(quán)重系數(shù)之積的總和。并且，根據(jù)權(quán)重系數(shù)的設(shè)定方法，也可以通過(guò)其他方法求出權(quán)重總和。

并且，在不使用覆蓋區(qū)域而使用多個(gè)點(diǎn)的方法中，處理部100也可以根據(jù)判定對(duì)象圖像的圖像上位置設(shè)定權(quán)重系數(shù)。然后，在根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息對(duì)多個(gè)點(diǎn)進(jìn)行轉(zhuǎn)換的情況下，根據(jù)基準(zhǔn)圖像中包含的轉(zhuǎn)換后的點(diǎn)和權(quán)重系數(shù)計(jì)算覆蓋率。

由此，在使用多個(gè)點(diǎn)的情況下，也能夠利用權(quán)重系數(shù)。作為具體方法，在判定對(duì)象圖像上設(shè)定多個(gè)點(diǎn)時(shí)，對(duì)各點(diǎn)賦予與圖像上位置對(duì)應(yīng)的權(quán)重系數(shù)即可。然后，在根據(jù)變形信息將多個(gè)點(diǎn)映射到基準(zhǔn)圖像上的情況下，不是單純地對(duì)基準(zhǔn)圖像中包含的點(diǎn)的數(shù)量進(jìn)行計(jì)數(shù)，而是通過(guò)與對(duì)基準(zhǔn)圖像中包含的點(diǎn)賦予的權(quán)重系數(shù)的值進(jìn)行相乘，求出覆蓋率。該情況下，圖5所示的覆蓋率計(jì)算式的分母也不是單純的點(diǎn)的總數(shù)，而是對(duì)所設(shè)定的全部點(diǎn)取權(quán)重系數(shù)的總和而得到的值。

并且，處理部100也可以在判定對(duì)象圖像的第1區(qū)域中設(shè)定0作為權(quán)重系數(shù)的值，并且在判定對(duì)象圖像的與第1區(qū)域不同的第2區(qū)域中設(shè)定1作為權(quán)重系數(shù)的值。

由此，作為加權(quán)的極端例子，能夠進(jìn)行使用判定對(duì)象圖像的一部分區(qū)域而不使用其他區(qū)域的處理。

另外，在以上的加權(quán)的例子中，在判定對(duì)象圖像中設(shè)定權(quán)重系數(shù)，但是，也可以在基準(zhǔn)圖像側(cè)也設(shè)定權(quán)重系數(shù)。例如，在以使用覆蓋區(qū)域的例子進(jìn)行說(shuō)明時(shí)，在圖10中，在基準(zhǔn)圖像的四角設(shè)定權(quán)重系數(shù)0，在其他區(qū)域設(shè)定權(quán)重系數(shù)1。該情況下，第2權(quán)重總和與上述方法相同，但是，第1權(quán)重總和的計(jì)算方法不同。該情況下，在覆蓋區(qū)域中的與基準(zhǔn)圖像的四角相當(dāng)?shù)膮^(qū)域中設(shè)定權(quán)重系數(shù)0，在覆蓋區(qū)域的其他區(qū)域中設(shè)定權(quán)重系數(shù)1。進(jìn)而，如上所述，由于覆蓋區(qū)域映射在判定對(duì)象圖像上，所以，還設(shè)定與判定對(duì)象圖像的圖像上位置對(duì)應(yīng)的權(quán)重系數(shù)。即，如果以像素為單位設(shè)定權(quán)重系數(shù)，則在覆蓋區(qū)域所包含的像素中以1個(gè)像素為單位設(shè)定基準(zhǔn)圖像側(cè)的權(quán)重系數(shù)和判定對(duì)象圖像側(cè)的權(quán)重系數(shù)這2個(gè)權(quán)重系數(shù)。該情況下，作為第1權(quán)重總和，例如進(jìn)行如下處理即可：針對(duì)覆蓋區(qū)域中包含的各像素求出基準(zhǔn)圖像側(cè)權(quán)重系數(shù)與判定對(duì)象圖像側(cè)權(quán)重系數(shù)之積，求出該值的總和。

并且，在如圖5那樣使用多個(gè)點(diǎn)的情況下，也可以在基準(zhǔn)圖像側(cè)也設(shè)定權(quán)重系數(shù)。該情況下，能夠使多個(gè)點(diǎn)中的通過(guò)轉(zhuǎn)換而位于基準(zhǔn)圖像內(nèi)的點(diǎn)與基準(zhǔn)圖像側(cè)設(shè)定的權(quán)重系數(shù)對(duì)應(yīng)起來(lái)，所以，其結(jié)果，針對(duì)1個(gè)點(diǎn)設(shè)定基準(zhǔn)圖像側(cè)的權(quán)重系數(shù)和判定對(duì)象圖像側(cè)的權(quán)重系數(shù)這2個(gè)權(quán)重系數(shù)。由此，例如，分別對(duì)基準(zhǔn)圖像中包含的轉(zhuǎn)換后的點(diǎn)求出基準(zhǔn)圖像側(cè)權(quán)重系數(shù)與判定對(duì)象圖像側(cè)權(quán)重系數(shù)之積，根據(jù)該值的總和計(jì)算覆蓋率即可。

2.5變形例(使用相鄰圖像間的變形參數(shù)的方法)

并且，在上述方法中，使用基準(zhǔn)圖像與判定對(duì)象圖像之間的變形參數(shù)，直接計(jì)算了覆蓋區(qū)域，但是不限于此。例如，也可以利用從基準(zhǔn)圖像到判定對(duì)象圖像的全部相鄰圖像間的變形參數(shù)，在相鄰圖像間累積映射覆蓋區(qū)域，求出將基準(zhǔn)圖像映射到判定對(duì)象圖像上的覆蓋區(qū)域。

在以上的變形例中，處理部100也可以針對(duì)圖像列中基準(zhǔn)圖像與判定對(duì)象圖像之間的圖像求出相鄰圖像間的變形信息，根據(jù)所求出的相鄰圖像間的變形信息，計(jì)算基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息。

由此，在基準(zhǔn)圖像和判定對(duì)象圖像不相鄰的情況下，不是在這2個(gè)圖像間直接求出變形信息，而是通過(guò)對(duì)相鄰圖像間求出的變形信息進(jìn)行累積，能夠計(jì)算變形信息。變形信息可以通過(guò)專(zhuān)利文獻(xiàn)2等所示的方法來(lái)計(jì)算，但是，一般情況下與計(jì)算一個(gè)變形信息的處理相比，對(duì)多個(gè)變形信息進(jìn)行合成的處理非常簡(jiǎn)單。例如，如果變形信息為矩陣等，則根據(jù)2個(gè)圖像信息求出該矩陣的處理的負(fù)荷較大，但是，對(duì)已經(jīng)求出的多個(gè)矩陣進(jìn)行合成(例如僅取得矩陣的積即可)則非常容易。

例如如后述第2實(shí)施方式那樣，在使用變形信息的次數(shù)較多的處理等中，該方法特別有效。例如，在第2實(shí)施方式中，不僅在判定對(duì)象圖像的前方，在后方也設(shè)定基準(zhǔn)圖像(第2基準(zhǔn)圖像)，根據(jù)條件對(duì)第2基準(zhǔn)圖像進(jìn)行更新。具體而言，在設(shè)第1圖像為第1基準(zhǔn)圖像、第k圖像為第2基準(zhǔn)圖像的情況下，在第2～第k-1圖像與各基準(zhǔn)圖像之間進(jìn)行可否刪除的判定，根據(jù)條件，保持第1基準(zhǔn)圖像不變，將第2基準(zhǔn)圖像更新為第k+1圖像。該情況下，需要第2～第k圖像的各圖像與第2基準(zhǔn)圖像即第k+1圖像之間的變形信息，需要求出k-1次的變形信息。然后，由于與之前處理中使用的第2～第k-1圖像與第k圖像(之前的第2基準(zhǔn)圖像)之間的變形信息不同，所以，必須重新求出變形信息。例如，如果圖像列取得部200取得N張圖像作為圖像列，并且假設(shè)第1基準(zhǔn)圖像不變、第2基準(zhǔn)圖像依次更新到第3～第N圖像的極端情況，則需要求出1+2+3+…+(N-2)＝(N-2)(N-1)/2次的變形信息。即，進(jìn)行負(fù)荷較大的變形信息的計(jì)算處理的次數(shù)較多，是沒(méi)有效率的。

關(guān)于這點(diǎn)，如果使用相鄰的變形信息，則當(dāng)圖像列取得部200取得N張圖像作為圖像列時(shí)，在相鄰圖像間求出N-1次的變形信息就足夠了。該情況下，在從N張圖像中選擇基準(zhǔn)圖像和判定對(duì)象圖像時(shí)，需要進(jìn)行對(duì)N-1個(gè)變形信息中的必要的變形信息進(jìn)行合成的處理，但是，如上所述，與變形信息的計(jì)算處理相比，該合成處理的負(fù)荷較輕。

3.第2實(shí)施方式

在第2實(shí)施方式中，說(shuō)明以序列順序進(jìn)行對(duì)前方/后方的圖像保證覆蓋率的圖像精簡(jiǎn)處理的方法。首先說(shuō)明基本方法，然后敘述2個(gè)變形例。

3.1第2實(shí)施方式的方法

圖11示出本實(shí)施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。構(gòu)成為相對(duì)于圖1的處理部100追加第2基準(zhǔn)圖像選擇部1007。

基準(zhǔn)圖像選擇部1001選擇第1基準(zhǔn)圖像。第2基準(zhǔn)圖像選擇部1007選擇比第1基準(zhǔn)圖像靠后方2個(gè)以上的圖像作為第2基準(zhǔn)圖像。并且，判定對(duì)象圖像選擇部1002選擇在基準(zhǔn)圖像后方、且在第2基準(zhǔn)圖像前方的圖像作為判定對(duì)象圖像。另外，在圖11中，分出基準(zhǔn)圖像選擇部1001和第2基準(zhǔn)圖像選擇部1007，但是不限于此，也可以由基準(zhǔn)圖像選擇部1001選擇第1基準(zhǔn)圖像和第2基準(zhǔn)圖像雙方。

圖12示出說(shuō)明本實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。S301～S302與S101～S102相同。在S302之后，選擇比S302中選擇出的第1基準(zhǔn)圖像靠后方2個(gè)以上的圖像作為第2基準(zhǔn)圖像(S308)。然后，設(shè)定判定對(duì)象圖像(S303)。在未設(shè)定判定對(duì)象圖像的情況下，選擇第1基準(zhǔn)圖像的下一個(gè)圖像(輸入圖像列的第2個(gè)圖像)作為判定對(duì)象圖像。并且，在已經(jīng)選擇輸入圖像列的第k個(gè)圖像作為判定對(duì)象圖像的情況下，錯(cuò)開(kāi)一個(gè)選擇位置，選擇輸入圖像列的第k+1個(gè)圖像作為新的判定對(duì)象圖像。但是，判定對(duì)象圖像的選擇范圍并不是到輸入圖像列的最后的圖像為止，而是到與第2基準(zhǔn)圖像一致為止。

在判定對(duì)象圖像不與第2基準(zhǔn)圖像一致的情況下，轉(zhuǎn)移到S304，計(jì)算覆蓋區(qū)域。這里，根據(jù)第1基準(zhǔn)圖像與判定對(duì)象圖像之間的變形參數(shù)計(jì)算第1候選區(qū)域，并且根據(jù)第2基準(zhǔn)圖像與判定對(duì)象圖像之間的變形參數(shù)計(jì)算第2候選區(qū)域。然后，與圖8中說(shuō)明的處理同樣，將與第1候選區(qū)域和第2候選區(qū)域的并集對(duì)應(yīng)的區(qū)域作為覆蓋區(qū)域即可。

S304～S306與S104～S106相同。在S306中判定為能夠刪除的情況下，返回S303，將判定對(duì)象圖像更新為后方一個(gè)圖像。在更新的結(jié)果為判定對(duì)象圖像與第2基準(zhǔn)圖像一致的情況下，返回S308，將第2基準(zhǔn)圖像更新為后方一個(gè)圖像。并且，在對(duì)第2基準(zhǔn)圖像進(jìn)行了更新的情況下，對(duì)判定對(duì)象圖像的選擇狀態(tài)進(jìn)行復(fù)位。在判定對(duì)象圖像不與第2基準(zhǔn)圖像一致的情況下，進(jìn)行S304以后的處理。

并且，在S306中判定為不能刪除判定對(duì)象圖像的情況下，在基準(zhǔn)圖像與當(dāng)前時(shí)刻的第2基準(zhǔn)圖像這2張圖像中，由于無(wú)法覆蓋其間夾持的全部圖像，所以，需要將當(dāng)前時(shí)刻的第2基準(zhǔn)圖像的前一個(gè)圖像保留在精簡(jiǎn)圖像列中。由此，設(shè)定包含當(dāng)前的第2基準(zhǔn)圖像的前一個(gè)圖像及其以后的圖像的圖像列作為部分圖像列(S307)，返回S302。

圖13(A)、圖13(B)圖示了以上的圖像精簡(jiǎn)處理。另外，這里，在將基準(zhǔn)圖像映射到判定對(duì)象圖像上時(shí)，說(shuō)明了累積使用相鄰圖像間的變形參數(shù)的方法，但是不限于此。

選擇全部圖像列的第k個(gè)圖像作為第1基準(zhǔn)圖像(另外，相當(dāng)于針對(duì)第1～k-1個(gè)圖像的處理結(jié)束、設(shè)定第k～N個(gè)圖像作為部分圖像列的情況)。然后，選擇第k+2個(gè)圖像作為第2基準(zhǔn)圖像。

進(jìn)而，從第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像的前方選擇判定對(duì)象圖像，通過(guò)基于第1基準(zhǔn)圖像和判定對(duì)象圖像的覆蓋區(qū)域計(jì)算處理以及基于第2基準(zhǔn)圖像和判定對(duì)象圖像的覆蓋區(qū)域計(jì)算處理計(jì)算覆蓋率，判定可否刪除。

如圖13(A)所示，在判定為第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像全部能夠刪除的情況下，有可能可以選擇與第1基準(zhǔn)圖像分開(kāi)更遠(yuǎn)的圖像作為第2基準(zhǔn)圖像，所以，如圖13(B)所示，再次選擇第2基準(zhǔn)圖像。具體而言，將第k+2個(gè)第2基準(zhǔn)圖像更新為第k+3個(gè)即可。

然后，再次判定可否刪除第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像。如圖13(B)所示，在存在判定為不能刪除的判定對(duì)象圖像的情況下，在第1基準(zhǔn)圖像與當(dāng)前的第2基準(zhǔn)圖像這2張圖像中，無(wú)法覆蓋其間包含的全部圖像(具體而言，無(wú)法覆蓋判定為不能刪除的判定對(duì)象圖像)，所以，認(rèn)為第2基準(zhǔn)圖像的更新(選擇位置的遞增)是不適當(dāng)?shù)摹?/p>

由此，設(shè)定包含當(dāng)前時(shí)刻的第2基準(zhǔn)圖像的前一個(gè)圖像(相當(dāng)于圖13(A)中的第2基準(zhǔn)圖像)及其以后的圖像的圖像列作為部分圖像列。由此，選擇圖13(A)的時(shí)刻的第2基準(zhǔn)圖像作為下一個(gè)處理中的基準(zhǔn)圖像，保證通過(guò)保留在精簡(jiǎn)圖像列中的圖像覆蓋被刪除的圖像。

另外，在以上的說(shuō)明中，在S302中選擇了輸入圖像列的開(kāi)頭的圖像作為基準(zhǔn)圖像，但是，初次進(jìn)行S302的處理的情況不在此限。在本實(shí)施方式中，如果通過(guò)位于判定對(duì)象圖像后方的第2基準(zhǔn)圖像進(jìn)行覆蓋，則能夠刪除該判定對(duì)象圖像。即，如圖14(A)所示，例如如果通過(guò)第3個(gè)圖像覆蓋第1個(gè)和第2個(gè)圖像，則第1～2個(gè)圖像不需要保留在精簡(jiǎn)處理后的圖像中。由此，不是必須保留開(kāi)頭的圖像，在將開(kāi)頭的圖像作為基準(zhǔn)圖像的方法中，可能導(dǎo)致精簡(jiǎn)圖像列中包含的圖像的張數(shù)不必要地增加。

因此，在本實(shí)施方式中，最初的基準(zhǔn)圖像不需要是圖像列取得部200所取得的圖像列的開(kāi)頭圖像。示出具體方法的一例。如圖14(B)所示，選擇實(shí)際不存在的第0個(gè)圖像作為第1基準(zhǔn)圖像(這里的選擇處理是為了便于說(shuō)明，實(shí)際上不需要準(zhǔn)備第0個(gè)圖像等的處理)。這樣，通過(guò)S308中的第2基準(zhǔn)圖像選擇處理選擇第2個(gè)圖像，判定對(duì)象圖像依次選擇其間的圖像(這里僅為第1個(gè)圖像)。實(shí)際上不存在第1基準(zhǔn)圖像，在判定對(duì)象圖像與第2基準(zhǔn)圖像之間進(jìn)行S304～S306的處理。如果通過(guò)第2個(gè)圖像覆蓋第1個(gè)圖像，則根據(jù)圖12的處理，如圖14(C)所示，更新第2基準(zhǔn)圖像，轉(zhuǎn)移到第3個(gè)圖像，判定是否能夠通過(guò)該第3個(gè)圖像覆蓋第1～2個(gè)圖像。下面，如果反復(fù)進(jìn)行處理，則能夠發(fā)現(xiàn)如下的k：如圖14(D)所示，如果將第k-1個(gè)圖像作為第2基準(zhǔn)圖像，則能夠覆蓋全部第1～k-2個(gè)圖像，但是，即使將第k個(gè)圖像作為第2基準(zhǔn)圖像，也無(wú)法覆蓋全部第1～k-1個(gè)圖像。該情況下，在S306中判定為不能刪除，在S307中將由第k-1～N個(gè)圖像構(gòu)成的圖像列設(shè)定為部分圖像列，返回S302。在第2次以后的S302的處理中，如上所述，由于選擇輸入圖像列的開(kāi)頭的圖像作為基準(zhǔn)圖像，所以，第k-1個(gè)圖像作為基準(zhǔn)圖像而保留在精簡(jiǎn)圖像列中。如上所述，由于能夠通過(guò)第k-1個(gè)圖像覆蓋第1～k-2個(gè)圖像，所以，能夠刪除該第1～k-2個(gè)圖像，能夠削減精簡(jiǎn)圖像列中包含的圖像的張數(shù)。

在以上的本實(shí)施方式中，在輸入第1～第N(N為2以上的整數(shù))圖像作為輸入圖像列的情況下，處理部100選擇第p圖像作為第1基準(zhǔn)圖像，選擇第q(q為滿足p+2≦q≦N-1的整數(shù))圖像作為第2基準(zhǔn)圖像，并且，選擇第r(r為滿足p+1≦r≦q-1的整數(shù))圖像作為判定對(duì)象圖像。然后，根據(jù)第1基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息、以及第2基準(zhǔn)圖像與所述判定對(duì)象圖像之間的所述變形信息計(jì)算所述覆蓋率，根據(jù)覆蓋率判定可否刪除判定對(duì)象圖像。進(jìn)而，在判定為能夠刪除第p+1～第q-1圖像的情況下，重新選擇第q+1圖像作為第2基準(zhǔn)圖像。

由此，如圖13(A)、圖13(B)所示，在判定對(duì)象圖像的前方和后方設(shè)定基準(zhǔn)圖像后，能夠進(jìn)行基于覆蓋率的圖像精簡(jiǎn)處理。該情況下，由于使用2個(gè)基準(zhǔn)圖像，所以，可以判定為能夠刪除判定對(duì)象圖像的可能性提高，能夠減少精簡(jiǎn)處理后的圖像張數(shù)。并且，如第1實(shí)施方式的變形例所述，與僅在前方設(shè)定多個(gè)基準(zhǔn)圖像的方法相比，能夠?qū)⒃跁r(shí)間上(或空間上)接近判定對(duì)象圖像的圖像設(shè)定為基準(zhǔn)圖像。由于越近的圖像所攝像的被攝體相似的可能性越高，所以，能夠進(jìn)一步提高判定對(duì)象圖像的刪除可能性。另外，在本實(shí)施方式中，如上述變形例那樣，也可以在前方、后方或這兩方設(shè)定多個(gè)基準(zhǔn)圖像。并且，在判定為能夠刪除第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間設(shè)定的判定對(duì)象圖像的情況下(狹義地講為能夠刪除全部判定對(duì)象圖像的情況，但是不限于此)，即使進(jìn)一步擴(kuò)大第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間，也存在能夠覆蓋其間的圖像的可能性，所以，將第2基準(zhǔn)圖像更新為比當(dāng)前的第2基準(zhǔn)圖像靠后方的圖像。

另外，如上所述，在本實(shí)施方式中，由于可以在判定對(duì)象圖像的后方設(shè)定基準(zhǔn)圖像，所以，在最初的處理中，不需要將第1基準(zhǔn)圖像設(shè)為開(kāi)頭的圖像。這是因?yàn)?，如果能夠通過(guò)第2個(gè)以后的給定的圖像覆蓋這之前的全部圖像，則通過(guò)將該給定的圖像設(shè)為基準(zhǔn)圖像，能夠刪除這之前的圖像。

并且，處理部100也可以進(jìn)行將作為第1基準(zhǔn)圖像而選擇出的圖像包含在精簡(jiǎn)圖像列中的處理。并且，在判定為不能刪除第p+1～第q-1圖像中的至少1個(gè)圖像的情況下，設(shè)定由第q-1～第N圖像構(gòu)成的部分圖像列作為輸入圖像列，針對(duì)所設(shè)定的輸入圖像列，將p的值設(shè)定為1后，再次進(jìn)行處理。

由此，與第1實(shí)施方式中將基準(zhǔn)圖像包含在精簡(jiǎn)圖像列中的情況同樣，在本實(shí)施方式中也能夠?qū)⒌?基準(zhǔn)圖像包含在精簡(jiǎn)圖像列中。并且，第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的判定對(duì)象圖像中的至少1個(gè)圖像不能刪除的情況相當(dāng)于第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間過(guò)寬的情況，所以，位于此時(shí)的第2基準(zhǔn)圖像的前方(狹義地講位于前方且最近)的圖像應(yīng)該保留在精簡(jiǎn)圖像列中。由此，設(shè)定由第q-1～第N圖像構(gòu)成的部分圖像列作為輸入圖像列，針對(duì)所設(shè)定的輸入圖像列，再次進(jìn)行第1、第2基準(zhǔn)圖像和判定對(duì)象圖像的選擇處理、可否刪除判定處理，并且根據(jù)條件再次進(jìn)行第2圖像的更新處理等。另外，關(guān)于所設(shè)定的部分圖像列，由于應(yīng)該將其開(kāi)頭圖像保留在精簡(jiǎn)圖像列中，所以，上述參數(shù)p優(yōu)選為1。

3.2變形例(第2基準(zhǔn)圖像的其他更新方法)

接著，敘述本實(shí)施方式的變形例。另外，在該變形例中，在敘述第2基準(zhǔn)圖像的選擇方法的關(guān)系上，針對(duì)可否刪除的判定反復(fù)進(jìn)行相同表記。由此，為了簡(jiǎn)化文章，將選擇第q圖像作為第2基準(zhǔn)圖像并進(jìn)行可否刪除的判定的結(jié)果為判定為能夠刪除第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的全部圖像的狀況表記為“第q圖像可以”，將不能刪除第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的至少1張圖像的狀況表記為“第q圖像不可以”。

在上述方法中，在第q圖像可以的情況下，再次選擇第2基準(zhǔn)圖像，但是，要選擇的新的第2基準(zhǔn)圖像限于第q+1圖像。

在輸入第1～第N圖像作為輸入圖像列并選擇第1圖像作為第1基準(zhǔn)圖像的情況下，當(dāng)選擇第q圖像作為第2基準(zhǔn)圖像時(shí)，作為判定對(duì)象圖像的候選，考慮q-2張圖像(第2～第q-1圖像)，進(jìn)行q-2次的判定處理。假設(shè)一次也沒(méi)有判定為不能刪除判定對(duì)象圖像而結(jié)束圖像精簡(jiǎn)處理，則選擇3～N(如果考慮假想圖像，則也可以包含N+1)作為q，所以，至少需要進(jìn)行1+2+3+…+(N-2)＝(N-2)(N-1)/2次的處理，計(jì)算量的級(jí)別為N²。即，在上述方法中，當(dāng)N非常大時(shí)，計(jì)算量劇增，并不理想。

因此，這里，在再次選擇第2基準(zhǔn)圖像的情況下，其對(duì)象不限于相鄰圖像，通過(guò)擴(kuò)大選擇寬度來(lái)削減計(jì)算量。具體而言，在第q圖像可以的情況下，新的第2基準(zhǔn)圖像不限于第q+1圖像，容許從第q+2圖像及其后方的圖像中進(jìn)行選擇。該情況下，即使第q圖像不可以，也不清楚第q-1圖像是否可以(這是因?yàn)?，存在未選擇第q-1圖像作為第2基準(zhǔn)圖像的可能性)。由此，不像第2實(shí)施方式的基本方法那樣，僅因?yàn)榈趒圖像不可以就立即進(jìn)行保留第q-1圖像作為精簡(jiǎn)圖像的處理，而是通過(guò)選擇基本上比第q圖像靠前方的圖像作為新的第2基準(zhǔn)圖像，對(duì)前方的圖像進(jìn)行判定。

即，在該變形例中，在滿足結(jié)束條件之前，在可以的情況下在后方更新第2基準(zhǔn)圖像，在不可以的情況下在前方更新第2基準(zhǔn)圖像，由此，搜索第1基準(zhǔn)圖像的下一個(gè)精簡(jiǎn)圖像。通過(guò)適當(dāng)設(shè)定新的第2基準(zhǔn)圖像的位置，能夠減少在發(fā)現(xiàn)下一個(gè)精簡(jiǎn)圖像之前作為第2基準(zhǔn)圖像而選擇的圖像的張數(shù)，能夠削減計(jì)算量。另外，這里的計(jì)算量削減停留在計(jì)算量的期待值的削減上，根據(jù)第1基準(zhǔn)圖像的下一個(gè)精簡(jiǎn)圖像的位置，不能否定上述方法成為較少計(jì)算量的可能性。下面，對(duì)變形例的方法進(jìn)行詳細(xì)說(shuō)明。

圖像處理裝置的系統(tǒng)結(jié)構(gòu)例與圖11相同，第2基準(zhǔn)圖像選擇部1007中的第2基準(zhǔn)圖像的選擇處理(更新處理)不同。由此，省略相同部分的詳細(xì)說(shuō)明，對(duì)不同之處進(jìn)行說(shuō)明。

在輸入了輸入圖像列后，基準(zhǔn)圖像選擇部1001選擇第1基準(zhǔn)圖像。這里，如上所述，選擇輸入圖像列的開(kāi)頭的圖像(第1圖像)。另外，在輸入圖像列是圖像列取得部200所取得的圖像列的情況下(進(jìn)行最初的第1基準(zhǔn)圖像選擇處理的情況下)，可以選擇開(kāi)頭以外的圖像(例如假想的第0個(gè)圖像)作為第1基準(zhǔn)圖像，這點(diǎn)相同，但是，下面，只要沒(méi)有特別說(shuō)明，則設(shè)第1基準(zhǔn)圖像為開(kāi)頭的圖像進(jìn)行說(shuō)明。

然后，選擇第2基準(zhǔn)圖像。這里，設(shè)定與作為第2基準(zhǔn)圖像的選擇對(duì)象的圖像對(duì)應(yīng)的第2基準(zhǔn)圖像選擇區(qū)間(實(shí)際上相當(dāng)于搜索第1基準(zhǔn)圖像的下一個(gè)精簡(jiǎn)圖像的范圍)。設(shè)與第i圖像～第j圖像對(duì)應(yīng)的半開(kāi)區(qū)間[i、j)為第2基準(zhǔn)圖像選擇區(qū)間，使i對(duì)應(yīng)于第1基準(zhǔn)圖像的下一個(gè)圖像(狹義地講為i＝2)，設(shè)j＝N+2。另外，設(shè)j＝N+2是因?yàn)?，如可以設(shè)定假想的第0圖像作為第1基準(zhǔn)圖像那樣，也可以設(shè)定假想的第N+1圖像作為第2基準(zhǔn)圖像。第2基準(zhǔn)圖像為第N+1圖像的情況相當(dāng)于判定是否僅通過(guò)第1基準(zhǔn)圖像就能夠覆蓋其后方的全部圖像而不需要第2基準(zhǔn)圖像的情況。

然后，從所設(shè)定的第2基準(zhǔn)圖像選擇區(qū)間中選擇第2基準(zhǔn)圖像。這里，為了高效進(jìn)行處理，根據(jù)給定的條件決定第2基準(zhǔn)圖像。首先，在第1基準(zhǔn)圖像設(shè)定后、初次選擇第2基準(zhǔn)圖像的情況下，選擇第i+1圖像(狹義地講為第3圖像)作為第2基準(zhǔn)圖像。這點(diǎn)與第2實(shí)施方式的基本方法相同。

圖20(A)圖示了此前的處理。這里，考慮N＝12的圖像列，第1基準(zhǔn)圖像為第1個(gè)圖像，第2基準(zhǔn)圖像選擇區(qū)間為第2個(gè)圖像～第14個(gè)圖像(i＝2、j＝14)，第2基準(zhǔn)圖像為第3個(gè)圖像。

選擇出第2基準(zhǔn)圖像后的判定對(duì)象圖像選擇處理、覆蓋率計(jì)算處理、可否刪除判定處理、以及這些處理的重復(fù)與上述方法相同，所以省略詳細(xì)說(shuō)明。

在選擇了給定的圖像(最初為第3圖像)作為第2基準(zhǔn)圖像的情況下，如果該圖像可以，則第2基準(zhǔn)圖像的位置可以進(jìn)一步遠(yuǎn)離第1基準(zhǔn)圖像，所以，作為新的第2基準(zhǔn)圖像，選擇比當(dāng)前圖像靠后方的圖像。該想法本身與第2實(shí)施方式的基本方法相同。但是，在上述方法中，使第2基準(zhǔn)圖像一個(gè)一個(gè)地向后方移動(dòng)，但是，這里可以轉(zhuǎn)移到后方2個(gè)以上的圖像。

作為一例，在當(dāng)前的第2基準(zhǔn)圖像為從第1基準(zhǔn)圖像起第a個(gè)圖像的情況下，可以將從第1基準(zhǔn)圖像起第2×a個(gè)圖像作為新的第2基準(zhǔn)圖像。具體而言，如圖20(B)所示，在選擇第3個(gè)圖像(從第1基準(zhǔn)圖像起第2個(gè))作為第2基準(zhǔn)圖像的情況下，如果該第3個(gè)圖像可以，則下一個(gè)第2基準(zhǔn)圖像選擇第5個(gè)(從第1基準(zhǔn)圖像起第4個(gè))圖像。

但是，如果第q個(gè)圖像可以，則不需要選擇第q-1個(gè)以前的圖像作為保留在精簡(jiǎn)圖像列中的精簡(jiǎn)圖像。由此，選擇比當(dāng)前位置(第q個(gè))靠前方的圖像作為第2基準(zhǔn)圖像并沒(méi)有優(yōu)點(diǎn)，所以，對(duì)第2基準(zhǔn)圖像選擇區(qū)間進(jìn)行更新即可。具體而言，設(shè)選擇區(qū)間的始點(diǎn)i為i＝q即可。在該變形例中，由于從第2基準(zhǔn)圖像選擇區(qū)間中選擇第2基準(zhǔn)圖像，所以，這樣不會(huì)選擇比當(dāng)前位置靠前方的圖像。例如，如圖20(B)所示，在第3個(gè)圖像可以的情況下，第2個(gè)圖像不是精簡(jiǎn)圖像，所以從選擇區(qū)間中除外即可，將選擇區(qū)間的始點(diǎn)更新為第3個(gè)圖像。

同樣，如果第5個(gè)圖像可以，則如圖20(C)所示，選擇第9個(gè)圖像作為新的第2基準(zhǔn)圖像，并且將第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)更新為第5個(gè)圖像。

但是，如在圖20(C)中考慮假設(shè)第9個(gè)圖像可以的情況而可知的那樣，將第q個(gè)圖像作為第2基準(zhǔn)圖像，在該第q圖像可以的情況下，當(dāng)q的值增大時(shí)，新的第2基準(zhǔn)圖像可能位于極端后方。例如，比第N+1靠后方的圖像成為候選，不能選擇第2基準(zhǔn)圖像，即使不這樣，更新前后的第2基準(zhǔn)圖像的間隔過(guò)寬，下一個(gè)精簡(jiǎn)圖像的搜索也沒(méi)有效率。

因此，在選擇比當(dāng)前位置靠后方的圖像作為新的第2基準(zhǔn)圖像的情況下，也可以一并使用其他方法。作為一例，根據(jù)(q+j)/2的值決定新的第2基準(zhǔn)圖像。例如在第9個(gè)圖像可以的情況下，第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)被更新為第9個(gè)圖像，所以，成為[9、14)的半開(kāi)區(qū)間。即，通過(guò)將其中央附近的圖像作為新的第2基準(zhǔn)圖像，將搜索范圍的中央作為處理對(duì)象。通過(guò)對(duì)搜索范圍的中央進(jìn)行判定而使搜索范圍減小一半的方法無(wú)外乎廣泛公知的二分搜索，并且，二分搜索在計(jì)算量方面具有優(yōu)點(diǎn)也是廣泛公知的。本實(shí)施方式的第2基準(zhǔn)圖像選擇區(qū)間具有如下性質(zhì)：如果給定的圖像可以，則可以認(rèn)為該給定的圖像的前方的圖像全部可以，如果給定的圖像不可以，則可以認(rèn)為該給定的圖像的后方的圖像全部不可以，能夠應(yīng)用二分搜索的方法。即，通過(guò)從更新前的第2基準(zhǔn)圖像與第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)的中間附近選擇新的第2基準(zhǔn)圖像，能夠期待高效的處理。

這里，一并使用使第1基準(zhǔn)圖像起點(diǎn)的距離成為2倍的方法和與二分搜索對(duì)應(yīng)的方法。例如，在第q圖像為更新前的第2基準(zhǔn)圖像的情況下，設(shè)滿足下式(1)的第k圖像為下一個(gè)第2基準(zhǔn)圖像即可。這里，min(a、b)表示a和b中的較小的一方。

【數(shù)學(xué)式1】

$k=\min (2q-1,\frac{q+j}{2})\mathrm{.....}\left(1\right)$

另一方面，如上所述，在第q圖像不可以的情況下，與可以的情況相反，從比當(dāng)前位置靠前方選擇新的第2基準(zhǔn)圖像。可以通過(guò)各種方法決定選擇何種程度前方的圖像，但是，例如，這里也可以使用與二分搜索對(duì)應(yīng)的方法。該情況下，由于第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)為第i圖像，所以，根據(jù)(i+q)/2的值決定新的第2基準(zhǔn)圖像。并且，既然第q圖像不可以，那么不會(huì)選擇第q圖像及其后方的圖像作為精簡(jiǎn)圖像。由此，可以對(duì)第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)進(jìn)行更新，設(shè)為j＝q即可。圖20(D)示出第9個(gè)圖像不可以的情況的例子。選擇第7個(gè)圖像作為新的第2基準(zhǔn)圖像，并且，第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)j被更新為j＝9。

另外，第2基準(zhǔn)圖像選擇區(qū)間為半開(kāi)區(qū)間是為了便于進(jìn)行這里的說(shuō)明。即，在第q圖像可以的情況下，存在選擇該第q圖像作為精簡(jiǎn)圖像的可能性，所以，在設(shè)第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)i為i＝q的情況下，i可以包含在第2基準(zhǔn)圖像選擇區(qū)間中。另一方面，在第q圖像不可以的情況下，由于不會(huì)選擇該第q圖像作為精簡(jiǎn)圖像，所以，在設(shè)第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)j為j＝q的情況下，j不包含在第2基準(zhǔn)圖像選擇區(qū)間中較好。如上所述，只不過(guò)將第2基準(zhǔn)圖像選擇區(qū)間設(shè)為[i、j)，在符號(hào)和式子的表記方面，通過(guò)開(kāi)區(qū)間或閉區(qū)間表示第2基準(zhǔn)圖像選擇區(qū)間都沒(méi)有問(wèn)題。

通過(guò)以上的處理，縮小第2基準(zhǔn)圖像選擇區(qū)間(狹義地講為下一個(gè)精簡(jiǎn)圖像的搜索范圍)。由于下一個(gè)精簡(jiǎn)圖像是第k圖像可以且第k+1圖像不可以的情況下的第k圖像，所以，如果發(fā)現(xiàn)了可以的圖像和不可以的圖像相鄰的部位，則結(jié)束處理。在上述例子中，假設(shè)在結(jié)束之前以二分搜索的方式進(jìn)行處理，例如如圖20(E)所示。第i圖像可以，其相鄰的兩個(gè)第j圖像不可以，其間的第q圖像成為第2基準(zhǔn)圖像。該情況下，如果第q圖像可以，則如圖20(F)所示，如果不可以，則如圖20(G)所示，不管怎樣，第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)和終點(diǎn)相鄰，并且，與始點(diǎn)對(duì)應(yīng)的圖像可以，與終點(diǎn)對(duì)應(yīng)的圖像不可以。由此，選擇與始點(diǎn)對(duì)應(yīng)的圖像作為下一個(gè)精簡(jiǎn)圖像即可，所以，針對(duì)輸入圖像列的搜索處理結(jié)束。

如果發(fā)現(xiàn)了下一個(gè)精簡(jiǎn)圖像，則設(shè)定由該圖像及其以后的圖像構(gòu)成的部分圖像列作為輸入圖像列即可，這點(diǎn)與第2實(shí)施方式的基本方法相同。由此，部分圖像列設(shè)定部1008將第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)及其以后的圖像設(shè)定為部分圖像列，將該部分圖像列作為新的輸入圖像列。給出新的輸入圖像列后，以后的處理相同，所以省略詳細(xì)說(shuō)明。

圖21示出說(shuō)明該處理的流程圖。S601、S602與S301、S302相同。在S602中選擇出第1基準(zhǔn)圖像后，設(shè)定第2基準(zhǔn)圖像選擇區(qū)間(S609)。作為S602之后進(jìn)行的S609的處理，例如如上所述，設(shè)定滿足i＝2、j＝N+2的[i、j)的半開(kāi)區(qū)間即可。并且，如后所述，在S603或S606之后進(jìn)行S609的處理的情況下，成為已經(jīng)設(shè)定的第2基準(zhǔn)圖像選擇區(qū)間的更新處理。

在S609中進(jìn)行第2基準(zhǔn)圖像選擇區(qū)間的設(shè)定(或更新)處理后，判定其始點(diǎn)和終點(diǎn)是否相鄰(是否滿足j＝i+1)(S610)。在S610為“是”的情況下，如圖20(F)所示，處于得知第i圖像是第1圖像的下一個(gè)精簡(jiǎn)圖像的狀況，所以，將第i圖像及其以后的圖像設(shè)定為部分圖像列(S607)，返回S602。

在S610為“否”的情況下，處于還未發(fā)現(xiàn)下一個(gè)精簡(jiǎn)圖像的狀況，所以，從S609中設(shè)定的第2基準(zhǔn)圖像選擇區(qū)間中選擇第2基準(zhǔn)圖像(S608)。在S602的第1基準(zhǔn)圖像設(shè)定后、首次進(jìn)行S608的處理的情況下，例如選擇第i+1圖像(第1基準(zhǔn)圖像后方2個(gè)的圖像)即可。除此以外的情況下，進(jìn)行根據(jù)之前的第2基準(zhǔn)圖像的位置選擇新的第2基準(zhǔn)圖像的處理。

在S608中選擇出第2基準(zhǔn)圖像后，選擇判定對(duì)象圖像(S603)。判定對(duì)象圖像選擇后的覆蓋區(qū)域計(jì)算處理(S604)、覆蓋率計(jì)算處理(S605)、圖像可否刪除判定處理(S606)與S304～S306相同。在S606中判定為能夠刪除的情況下，返回S603，將判定對(duì)象圖像更新為后方1個(gè)的圖像，進(jìn)行同樣的處理。通過(guò)反復(fù)進(jìn)行S603～S606的處理，執(zhí)行是第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像全部能夠刪除、還是至少1個(gè)圖像不能刪除的判定。在全部能夠刪除的情況下，在S603的判定中成為判定對(duì)象圖像＝第2基準(zhǔn)圖像，返回S609。并且，在至少1張圖像不能刪除的情況下，在S606的判定中成為不能刪除，返回S609。另外，雖然在圖21中未圖示，但是，需要保持是從S603返回S609、還是從S606返回S609這樣的信息，根據(jù)該信息對(duì)下一個(gè)S609等中的處理進(jìn)行變更。

在從S603返回S609的情況下，處于能夠刪除全部圖像的狀況，所以，進(jìn)行更新第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)的處理，其結(jié)果，在S608中選擇比前一個(gè)第2基準(zhǔn)圖像靠后方的圖像作為新的第2基準(zhǔn)圖像。另一方面，在從S606返回S609的情況下，處于至少1張圖像不能刪除的狀況，所以，進(jìn)行更新第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)的處理，其結(jié)果，在S608中選擇比前一個(gè)第2基準(zhǔn)圖像靠前方的圖像作為新的第2基準(zhǔn)圖像。

在以上的變形例中，在從由第1～第N圖像構(gòu)成的輸入圖像列中選擇第p圖像作為第1基準(zhǔn)圖像、選擇第q圖像作為第2基準(zhǔn)圖像的情況下，處理部100從設(shè)定了與第p+2～第N圖像對(duì)應(yīng)的始點(diǎn)和終點(diǎn)的第2基準(zhǔn)圖像選擇區(qū)間中選擇第2基準(zhǔn)圖像。然后，根據(jù)第1基準(zhǔn)圖像和第2基準(zhǔn)圖像判定可否刪除判定對(duì)象圖像，在判定為能夠刪除第p+1～第q-1圖像的情況下，選擇第2基準(zhǔn)圖像選擇區(qū)間中包含的第x(x為滿足x>q的整數(shù))圖像作為新的第2基準(zhǔn)圖像。并且，與此同時(shí)，可以將第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)更新為第q圖像。

這里，鑒于作為第2基準(zhǔn)圖像的候選的圖像的性質(zhì)，第2基準(zhǔn)圖像選擇區(qū)間包含第p+2～第N圖像。但是，如第N+1圖像那樣，也可以選擇假想圖像作為第2基準(zhǔn)圖像，所以，第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)可以大于N。并且，第2基準(zhǔn)圖像選擇區(qū)間還具有下一個(gè)精簡(jiǎn)圖像的搜索范圍這樣的側(cè)面，所以，未被選擇為第2基準(zhǔn)圖像的圖像而可能被選擇為精簡(jiǎn)圖像的圖像也可以包含在該選擇區(qū)間中。該情況下，可以設(shè)定第1基準(zhǔn)圖像的后方1個(gè)的圖像(第p+1圖像)作為第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)。

由此，在更新第2基準(zhǔn)圖像時(shí)，能夠靈活地決定新的第2基準(zhǔn)圖像的位置。換言之，第2實(shí)施方式的基本方法是從開(kāi)頭起一個(gè)一個(gè)地檢查搜索范圍來(lái)減小搜索范圍的方法，所以，根據(jù)正解的位置，計(jì)算量非常大。關(guān)于這點(diǎn)，能夠選擇不相鄰的圖像作為新的第2基準(zhǔn)圖像，由此，通過(guò)一個(gè)單位的判定(第q圖像是可以還是不可以的判定)，能夠大大減小搜索范圍。由此，能夠期待計(jì)算量的削減效果，能夠減輕系統(tǒng)的負(fù)荷并縮短處理時(shí)間。

并且，在判定為不能刪除第p+1～第q-1圖像中的至少1個(gè)圖像的情況下，處理部100可以選擇第2基準(zhǔn)圖像選擇區(qū)間中包含的第y(y為滿足y<q的整數(shù))圖像作為新的第2基準(zhǔn)圖像。與此同時(shí)，將第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)更新為第q圖像。

由此，在更新第2基準(zhǔn)圖像時(shí)，能夠選擇比當(dāng)前的第2基準(zhǔn)圖像靠前方的圖像作為新的第2基準(zhǔn)圖像。如上所述，朝向后方的搜索不限于選擇相鄰圖像，在比當(dāng)前的第2基準(zhǔn)圖像靠前方也可能存在未搜索范圍，根據(jù)可否刪除的判定結(jié)果，認(rèn)為該未搜索范圍內(nèi)存在正解。該情況下，通過(guò)朝向前方進(jìn)行搜索，能夠進(jìn)行適當(dāng)?shù)奶幚?。并且，與朝向后方的搜索同樣，新的第2基準(zhǔn)圖像的選擇不限于相鄰圖像。

并且，在第j(j為整數(shù))圖像對(duì)應(yīng)于第2基準(zhǔn)圖像選擇區(qū)間的終點(diǎn)的情況下，處理部100可以根據(jù)(q+j)/2的值設(shè)定x的值?；蛘?，在第i(i為整數(shù))圖像對(duì)應(yīng)于第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)的情況下，可以根據(jù)(i+q)/2的值設(shè)定y的值。

由此，在每次選擇新的第2基準(zhǔn)圖像時(shí)，能夠使用二分搜索的方法。在朝向后方進(jìn)行搜索的情況下，選擇當(dāng)前的第2基準(zhǔn)圖像與終點(diǎn)的中間的圖像，在朝向前方進(jìn)行搜索的情況下，選擇當(dāng)前的第2基準(zhǔn)圖像與始點(diǎn)的中間的圖像。由此，能夠使搜索范圍(相當(dāng)于第2基準(zhǔn)圖像選擇區(qū)間的長(zhǎng)度)減小一半，如果選擇logN張圖像作為第2基準(zhǔn)圖像，則期待全部搜索范圍的搜索結(jié)束。由此，計(jì)算量的級(jí)別能夠抑制為N×logN，在N非常大的情況下，與第2實(shí)施方式的基本方法(計(jì)算量的級(jí)別為N²)相比，計(jì)算量的削減效果很大。另外，(q+j)/2和(i+q)/2不限于整數(shù)，所以，有時(shí)不存在與各個(gè)值對(duì)應(yīng)的圖像。此時(shí)，例如考慮不超過(guò)(q+j)/2的最大的整數(shù)、或比該值大1的整數(shù)等即可。

并且，在更新了第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)或終點(diǎn)的結(jié)果為始點(diǎn)和終點(diǎn)相鄰的情況下，處理部100也可以進(jìn)行將作為第1基準(zhǔn)圖像而選擇出的圖像包含在精簡(jiǎn)圖像列中的處理。并且，也可以設(shè)定由與始點(diǎn)對(duì)應(yīng)的圖像和輸入圖像列中比與始點(diǎn)對(duì)應(yīng)的圖像靠后方的圖像構(gòu)成的部分圖像列作為輸入圖像列，針對(duì)所設(shè)定的輸入圖像列，將p的值設(shè)定為1，再次進(jìn)行處理。

這里，始點(diǎn)和終點(diǎn)相鄰是指，與始點(diǎn)對(duì)應(yīng)的圖像和與終點(diǎn)對(duì)應(yīng)的圖像在輸入圖像列中相鄰。在給出N張圖像作為輸入圖像列的情況下，假設(shè)輸入圖像列是在時(shí)間序列或空間中連續(xù)的圖像的集合，所以，根據(jù)其連續(xù)性，能夠定義圖像列的前方、后方。例如時(shí)間序列中較早時(shí)刻取得的圖像是比該時(shí)刻之后的時(shí)刻取得的圖像靠前方的圖像。具體而言，將輸入圖像列的各圖像表示為第1～第N圖像，給出的數(shù)值越小的圖像越位于前方。由此，圖像列中的第i圖像和第j(>i)圖像相鄰是指滿足j＝i+1的狀況。

由此，作為針對(duì)輸入圖像列的處理的結(jié)束條件，能夠設(shè)定基于第2基準(zhǔn)圖像選擇區(qū)間的始點(diǎn)、終點(diǎn)(或長(zhǎng)度)的條件。通過(guò)設(shè)定這種結(jié)束條件，在選擇為第2基準(zhǔn)圖像的情況下，能夠選擇被判定為可以的圖像群中的預(yù)想與第1基準(zhǔn)圖像最遠(yuǎn)的圖像作為部分圖像列的開(kāi)頭圖像(相當(dāng)于下一個(gè)精簡(jiǎn)圖像)。這是因?yàn)椋鐖D20(F)等所示，該結(jié)束條件與搜索可以的圖像和不可以的圖像相鄰的位置相等。因此，能夠減少最終輸出的精簡(jiǎn)圖像列中包含的精簡(jiǎn)圖像的張數(shù)，能夠減輕用戶的負(fù)擔(dān)等。

3.3變形例(第2基準(zhǔn)圖像的初始設(shè)定)

在以上的第2實(shí)施方式及其變形例中，在輸入了輸入圖像列(可以是圖像列取得部200取得的圖像列，也可以是由其一部分圖像構(gòu)成的部分圖像列)的情況下，最初設(shè)定的第2基準(zhǔn)圖像限定為第1基準(zhǔn)圖像的后方2個(gè)的圖像。

但是，第2基準(zhǔn)圖像的初始位置可以不同。例如，在實(shí)際的圖像列中，相似圖像大幅連續(xù)的區(qū)間和不怎么存在相似圖像的區(qū)間相鄰的情況并不多。即，預(yù)測(cè)為下次的精簡(jiǎn)區(qū)間的長(zhǎng)度(表示相鄰的精簡(jiǎn)圖像以何種長(zhǎng)度分開(kāi))接近上次的精簡(jiǎn)區(qū)間的長(zhǎng)度。由此，如果已經(jīng)得到多個(gè)精簡(jiǎn)圖像、且取得了與“上次的精簡(jiǎn)區(qū)間的長(zhǎng)度”相當(dāng)?shù)男畔?，則將第2基準(zhǔn)圖像的初始位置設(shè)定在從第1基準(zhǔn)圖像分開(kāi)“上次的精簡(jiǎn)區(qū)間的長(zhǎng)度”的位置，由此，能夠期待更快到達(dá)正解，還能夠期待計(jì)算量的削減效果。

具體而言，從緊挨著的之前的精簡(jiǎn)圖像及其前一個(gè)精簡(jiǎn)圖像取得精簡(jiǎn)區(qū)間的長(zhǎng)度g。然后，在第2基準(zhǔn)圖像選擇區(qū)間為[i、j)的情況下，不將第2基準(zhǔn)圖像設(shè)定為第i+1圖像，而將其設(shè)定為第i+g圖像即可。另外，在已經(jīng)決定的精簡(jiǎn)圖像為0張或1張的情況下，無(wú)法取得g。該情況下，不使用g設(shè)定第2基準(zhǔn)圖像的初始位置。例如，如果精簡(jiǎn)圖像為0張，則如上所述可以將第2基準(zhǔn)圖像設(shè)為第i+1圖像。并且，在精簡(jiǎn)圖像為1張的情況下，可以將從圖像列取得部200所取得的圖像列的開(kāi)頭的圖像到該精簡(jiǎn)圖像的長(zhǎng)度設(shè)為g’，將最初的第2基準(zhǔn)圖像設(shè)為第i+g’圖像。

另外，在需要進(jìn)行第2基準(zhǔn)圖像的更新處理的情況下，該更新方法考慮各種方法。例如，如上述變形例那樣，可以使用二分搜索的方法選擇下一個(gè)第2基準(zhǔn)圖像。

但是，鑒于在第i+g圖像附近存在下一個(gè)精簡(jiǎn)圖像的可能性較高這樣的假設(shè)，在更新后的第2基準(zhǔn)圖像大幅遠(yuǎn)離第i+g圖像時(shí)，認(rèn)為不得不增大發(fā)現(xiàn)下一個(gè)精簡(jiǎn)圖像為止的搜索次數(shù)，反而不理想。該情況下，如第2實(shí)施方式的基本方法所述那樣，可以選擇與上次的第2基準(zhǔn)圖像相鄰的圖像作為新的第2基準(zhǔn)圖像。但是，既然沒(méi)有對(duì)第i+1～第i+g-1圖像進(jìn)行判定，也可能在該范圍內(nèi)存在下一個(gè)精簡(jiǎn)圖像。由此，第2基準(zhǔn)圖像的更新不限于一個(gè)一個(gè)地向后方轉(zhuǎn)移，根據(jù)可否刪除的判定結(jié)果，有時(shí)還會(huì)一個(gè)一個(gè)地向前方轉(zhuǎn)移。

4.第3實(shí)施方式

在第3實(shí)施方式中，說(shuō)明以序列順序進(jìn)行對(duì)基準(zhǔn)圖像的前方/后方的圖像保證覆蓋率的圖像精簡(jiǎn)處理的方法。圖15示出本實(shí)施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。構(gòu)成為相對(duì)于圖1的處理部100追加圖像列分割部1006。

在本實(shí)施方式中，基準(zhǔn)圖像選擇部1001從輸入圖像列的最初和最后的圖像以外的圖像中選擇基準(zhǔn)圖像(如果輸入圖像列的圖像小于3張，則不在此限)。狹義地講，可以將輸入圖像列的中央的圖像作為基準(zhǔn)圖像。判定對(duì)象圖像選擇部1002依次選擇輸入圖像列中包含的圖像中的基準(zhǔn)圖像以外的全部圖像。

圖像列分割部1006將輸入圖像列分割為由比基準(zhǔn)圖像靠前的圖像構(gòu)成的第1圖像列和由比基準(zhǔn)圖像靠后的圖像構(gòu)成的第2圖像列。部分圖像列設(shè)定部1008根據(jù)第1圖像列中包含的圖像的可否刪除的判定結(jié)果進(jìn)行部分圖像列設(shè)定處理，并且，根據(jù)第2圖像列中包含的圖像的可否刪除的判定結(jié)果進(jìn)行部分圖像列設(shè)定處理。

圖16示出說(shuō)明本實(shí)施方式的圖像精簡(jiǎn)處理的流程圖。該處理開(kāi)始后，首先，與S101等同樣，在圖像列取得部200中取得作為圖像精簡(jiǎn)處理的對(duì)象的圖像列(S501)。然后，將圖像列取得部200所取得的圖像列追加到輸入圖像列群中。

接著，使用圖17對(duì)輸入圖像列群中包含的輸入圖像列執(zhí)行后述處理(S502)。在初次進(jìn)行S502的處理的情況下，成為針對(duì)S501中取得的圖像列的處理。另外，從輸入圖像列群中刪除作為S502的處理對(duì)象的輸入圖像列。然后，判定在輸入圖像列群中是否殘留有輸入圖像列(S503)。如后所述，在S502的處理中，根據(jù)情況設(shè)定1個(gè)或2個(gè)部分圖像列，所設(shè)定的部分圖像列被追加到輸入圖像列群中，所以，在S503中可能判定為“是”。在S503為“否”的情況下，結(jié)束處理。

圖17示出說(shuō)明圖16的S502的處理的流程圖。該處理開(kāi)始后，首先，從輸入圖像列群中選擇作為處理對(duì)象的輸入圖像列(S401)。關(guān)于S402～S406，雖然存在基準(zhǔn)圖像的選擇位置的差異等，但是大致與S102～S106相同。另外，在本實(shí)施方式中，與可否刪除的判定結(jié)果無(wú)關(guān)，依次選擇輸入圖像列中包含的全部圖像(其中，基準(zhǔn)圖像除外)作為判定對(duì)象圖像進(jìn)行處理。然后，在針對(duì)全部圖像的可否刪除的判定結(jié)束的情況下，在S403中判定為不存在要選擇的圖像，轉(zhuǎn)移到S409。

在S409中，將輸入圖像列分割為由比基準(zhǔn)圖像靠前的圖像構(gòu)成的第1分割圖像列和由比基準(zhǔn)圖像靠后的圖像構(gòu)成的第2分割圖像列。然后，根據(jù)第1分割圖像列和第2分割圖像列進(jìn)行部分圖像列的設(shè)定處理(S407)。在S407中，具體而言，首先，判定在第1分割圖像列所包含的圖像中是否存在至少一個(gè)在S406中判定為不能刪除的圖像(S4071)，在“是”的情況下，將第1分割圖像列設(shè)定為部分圖像列，將其追加到輸入圖像列群中(S4072)。同樣，判定在第2分割圖像列所包含的圖像中是否存在至少一個(gè)在S406中判定為不能刪除的圖像(S4073)，在“是”的情況下，將第2分割圖像列設(shè)定為部分圖像列，將其追加到輸入圖像列群中(S4074)。即，在S502的處理中，將1個(gè)輸入圖像列作為輸入進(jìn)行處理的結(jié)果為，將0～2個(gè)部分圖像列追加到輸入圖像列群中。

圖18(A)～圖18(B)圖示了以上的圖像精簡(jiǎn)處理。如圖18(A)所示，在圖像列取得部200取得了具有N張圖像的圖像列的情況下，將該圖像列追加到輸入圖像列群中，作為S502中的處理對(duì)象。在S502中，首先，選擇第x個(gè)(2≦x≦N-1、狹義地講x為接近N/2的值)圖像作為基準(zhǔn)圖像，依次選擇第1～x-1個(gè)圖像和第x+1～N個(gè)圖像作為判定對(duì)象圖像，進(jìn)行可否刪除的判定。

然后，在判定為不能刪除第1～x-1個(gè)圖像中的至少1個(gè)圖像的情況下，無(wú)法通過(guò)基準(zhǔn)圖像覆蓋全部第1～x-1個(gè)圖像，所以，需要在第1～x-1個(gè)圖像中設(shè)定基準(zhǔn)圖像。具體而言，將第1～x-1個(gè)圖像作為分割圖像列，將該分割圖像列作為輸入圖像列，再次執(zhí)行S502的處理。例如，如圖18(B)所示，選擇由x-1張圖像構(gòu)成的圖像列中的第y個(gè)(2≦y≦x-2、狹義地講y為接近(x-1)/2的值)圖像作為基準(zhǔn)圖像，依次選擇其他圖像作為判定對(duì)象圖像，進(jìn)行可否刪除的判定。其結(jié)果，根據(jù)情況，將由第1～y-1個(gè)圖像構(gòu)成的分割圖像列和由第y+1～x-1個(gè)圖像構(gòu)成的分割圖像列追加到輸入圖像列群中，作為S502的處理對(duì)象。下面，在判定為能夠刪除分割圖像列中包含的全部圖像、而不將該分割圖像列包含在精簡(jiǎn)圖像列中之前，反復(fù)進(jìn)行S502的處理。

并且，如圖18(B)所示，由第x+1～N個(gè)圖像構(gòu)成的分割圖像列也進(jìn)行同樣的處理。

在以上的本實(shí)施方式中，在輸入了第1～第N(N為2以上的整數(shù))圖像作為輸入圖像列的情況下，處理部100選擇第s(s為滿足2≦s≦N-1的整數(shù))圖像作為所述基準(zhǔn)圖像，并且選擇第t(t為滿足1≦t≦N且t≠s的整數(shù))圖像作為所述判定對(duì)象圖像。然后，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息計(jì)算覆蓋率，根據(jù)覆蓋率判定可否刪除判定對(duì)象圖像。進(jìn)而，在判定為不能刪除第1～第s-1圖像中的至少1個(gè)圖像的情況下，將由第1～第s-1圖像構(gòu)成的部分圖像列設(shè)定為輸入圖像列，再次進(jìn)行處理。并且，在判定為不能刪除第s+1～第N圖像中的至少1個(gè)圖像的情況下，將由第s+1～第N圖像構(gòu)成的部分圖像列設(shè)定為輸入圖像列，再次進(jìn)行處理。

由此，能夠進(jìn)行圖18(A)、圖18(B)所示的處理。這里，優(yōu)選第s圖像是輸入圖像列的中央附近的圖像。即，以基準(zhǔn)圖像為邊界將輸入圖像列分成2個(gè)分割圖像列，分別對(duì)其進(jìn)行可否刪除的判定，如果不能刪除，則將該分割圖像列設(shè)定為輸入圖像列。由此，在本實(shí)施方式中，在輸入了1個(gè)輸入圖像列的情況下，作為輸出，也可能設(shè)定2個(gè)新的輸入圖像列。并且，在本實(shí)施方式中，在判定為不能刪除分割圖像列中至少1個(gè)圖像的情況下，將該分割圖像列全體設(shè)定為新的輸入圖像列，從中選擇基準(zhǔn)圖像。即，應(yīng)該留意到，即使判定為能夠刪除給定的圖像，也不一定立即確定刪除，在將包含該給定的圖像的分割圖像列設(shè)定為新的輸入圖像列時(shí)，可能選擇該給定的圖像作為基準(zhǔn)圖像，最終包含在精簡(jiǎn)圖像列中(即，未通過(guò)圖像精簡(jiǎn)處理而刪除)。

5.第4實(shí)施方式

對(duì)使用了觀察區(qū)域的基本方法進(jìn)行說(shuō)明。具體而言，說(shuō)明圖像處理裝置的系統(tǒng)結(jié)構(gòu)例，使用流程圖說(shuō)明處理流程后，舉出3個(gè)例子對(duì)可否刪除判定處理進(jìn)行詳細(xì)說(shuō)明。

5.1系統(tǒng)結(jié)構(gòu)例

圖22示出本實(shí)施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。圖像處理裝置包括處理部100、圖像列取得部200、存儲(chǔ)部300。

如圖22所示，處理部100可以包括基準(zhǔn)圖像選擇部1011、判定對(duì)象圖像選擇部1012、變形信息取得部1013、觀察區(qū)域設(shè)定部1014、對(duì)應(yīng)區(qū)域設(shè)定部1015、圖像特征量計(jì)算部1016、可否刪除判定部1017、部分圖像列設(shè)定部1018。

基準(zhǔn)圖像選擇部1011、判定對(duì)象圖像選擇部1012與圖1的基準(zhǔn)圖像選擇部1001、判定對(duì)象圖像選擇部1002相同。變形信息取得部1013取得2個(gè)圖像間的變形信息。

觀察區(qū)域設(shè)定部1014設(shè)定判定對(duì)象圖像的一部分區(qū)域作為觀察區(qū)域。作為觀察區(qū)域，例如使用一邊的長(zhǎng)度為L(zhǎng)的正方形區(qū)域即可。對(duì)應(yīng)區(qū)域設(shè)定部1015根據(jù)變形信息取得部1013所取得的變形信息，對(duì)觀察區(qū)域進(jìn)行變形，求出基準(zhǔn)圖像上的對(duì)應(yīng)區(qū)域。

圖像特征量計(jì)算部1016計(jì)算觀察區(qū)域設(shè)定部1014設(shè)定的觀察區(qū)域的特征量和對(duì)應(yīng)區(qū)域設(shè)定部1015設(shè)定的對(duì)應(yīng)區(qū)域的特征量。特征量的具體例在后面敘述。

可否刪除判定部1017根據(jù)圖像特征量計(jì)算部1016計(jì)算出的觀察區(qū)域的特征量(第2特征量)和對(duì)應(yīng)區(qū)域的特征量(第1特征量)，判定可否刪除判定對(duì)象圖像。詳細(xì)在后面敘述。

在可否刪除判定部1017判定為不能刪除判定對(duì)象圖像的情況下，部分圖像列設(shè)定部1018根據(jù)該時(shí)刻的判定對(duì)象圖像在圖像列中的位置，設(shè)定圖像列的一部分、即由1張以上的圖像構(gòu)成的圖像列作為部分圖像列。

5.2處理流程

接著，使用圖23的流程圖對(duì)本實(shí)施方式的圖像精簡(jiǎn)處理的流程進(jìn)行說(shuō)明。該處理開(kāi)始后，首先，取得作為圖像精簡(jiǎn)處理對(duì)象的圖像列(S701)。

基準(zhǔn)圖像選擇部1011選擇輸入圖像列(在最初的處理中為S701中取得的圖像列、此后為后述S709中設(shè)定的部分圖像列)的開(kāi)頭的圖像作為基準(zhǔn)圖像(S702)。這里選擇出的基準(zhǔn)圖像保留在精簡(jiǎn)圖像列中。另外，在由于錯(cuò)誤等理由而無(wú)法從輸入圖像列中選擇基準(zhǔn)圖像的情況下(例如圖像列中不存在圖像的情況下等)，結(jié)束處理。

然后，判定對(duì)象圖像選擇部1012從輸入圖像列中包含的圖像中選擇判定對(duì)象圖像(S703)。在未設(shè)定判定對(duì)象圖像的情況下，選擇基準(zhǔn)圖像的下一個(gè)圖像(輸入圖像列的第2個(gè)圖像)作為判定對(duì)象圖像。并且，在已經(jīng)選擇了輸入圖像列的第k個(gè)圖像作為判定對(duì)象圖像的情況下，錯(cuò)開(kāi)一個(gè)選擇位置，選擇輸入圖像列的第k+1個(gè)圖像作為新的判定對(duì)象圖像。在無(wú)法選擇判定對(duì)象圖像的情況下(輸入圖像列中包含的圖像的張數(shù)少于2或k+1的情況下等)，結(jié)束處理。

在選擇出基準(zhǔn)圖像和判定對(duì)象圖像后，變形信息取得部1013取得基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息(S704)。然后，在判定對(duì)象圖像上設(shè)定觀察區(qū)域(S705)。在S703的判定對(duì)象圖像設(shè)定后、初次進(jìn)行S705的處理的情況下，例如將判定對(duì)象圖像的左上方的區(qū)域作為觀察區(qū)域即可。

在設(shè)定了觀察區(qū)域的情況下，根據(jù)S704中取得的變形信息對(duì)所設(shè)定的觀察區(qū)域進(jìn)行變形，通過(guò)將其映射到基準(zhǔn)圖像上，求出對(duì)應(yīng)區(qū)域(S706)。

然后，求出觀察區(qū)域的特征量即第2特征量和對(duì)應(yīng)區(qū)域的特征量即第1特征量(S707)，根據(jù)所求出的第1、第2特征量判定可否刪除判定對(duì)象圖像(S708)。S707、S708的處理在后面詳細(xì)敘述。

在S708中判定為能夠刪除判定對(duì)象圖像的情況下，返回S705，再次設(shè)定觀察區(qū)域。具體而言，進(jìn)行更新觀察區(qū)域的設(shè)定位置的處理即可，作為一例，如圖24所示，使觀察區(qū)域在判定對(duì)象圖像上的位置從左上方向右下方向移動(dòng)即可。在設(shè)定了觀察區(qū)域的情況下，再次執(zhí)行S706～S708的處理。

在S705中觀察區(qū)域到達(dá)右下端的情況下，在判定對(duì)象圖像中設(shè)定的全部觀察區(qū)域中，S708的可否刪除的判定結(jié)果為能夠刪除，所以，確認(rèn)能夠刪除該判定對(duì)象圖像這樣的結(jié)果，返回S703，進(jìn)行判定對(duì)象圖像的更新處理。

另一方面，在更新觀察區(qū)域的過(guò)程中，在即使一次在S708中判定為不能刪除判定對(duì)象圖像的情況下，確定不能刪除該判定對(duì)象圖像這樣的結(jié)果，部分圖像列設(shè)定部1018設(shè)定部分圖像列(S709)。具體而言，設(shè)定由判定為不能刪除的判定對(duì)象圖像及其以后的圖像構(gòu)成的圖像列作為部分圖像列即可。在設(shè)定了部分圖像列后，返回S702，將該部分圖像列作為輸入圖像列，執(zhí)行上述處理。作為圖像精簡(jiǎn)處理的流程，與使用了圖4(A)～圖4(D)的上述的流程相同。

另外，在圖23的流程圖中，設(shè)在S708中即使1次判定為不能刪除的情況下則不能刪除判定對(duì)象圖像來(lái)進(jìn)行說(shuō)明，但是不限于此。例如，也可以在判定對(duì)象圖像上最大M次(M為2以上的整數(shù))設(shè)定觀察區(qū)域的情況下，設(shè)定滿足1≦t≦M的整數(shù)t，在S708中t次以上判定為不能刪除的情況下，不能刪除判定對(duì)象圖像。并且，在根據(jù)最大M次進(jìn)行的S708中的可否刪除的判定結(jié)果來(lái)決定最終結(jié)果時(shí)，也可以使用其他方法，例如，進(jìn)行與圖像周緣部設(shè)定的觀察區(qū)域(或?qū)?yīng)區(qū)域)中的結(jié)果相比更加重視圖像中央部設(shè)定的觀察區(qū)域(或?qū)?yīng)區(qū)域)中的結(jié)果的加權(quán)處理等，能夠進(jìn)行各種變形實(shí)施。

5.3可否刪除的判定

接著，對(duì)圖23的S707中的特征量計(jì)算處理和S708中的可否刪除判定處理進(jìn)行詳細(xì)說(shuō)明。另外，這里，設(shè)已經(jīng)設(shè)定了觀察區(qū)域和對(duì)應(yīng)區(qū)域來(lái)進(jìn)行說(shuō)明。

5.3.1基于明度信息的可否刪除的判定

首先，對(duì)使用觀察區(qū)域和對(duì)應(yīng)區(qū)域的明度信息作為特征量的方法進(jìn)行說(shuō)明?？紤]各種表示區(qū)域的明度信息的指標(biāo)值，例如，將區(qū)域內(nèi)的像素的RGB值轉(zhuǎn)換為明度值，將該明度值在區(qū)域內(nèi)的平均值作為特征量即可。另外，根據(jù)各像素的明度值求出區(qū)域的明度信息的方法不限于平均值的計(jì)算，也可以使用中央值等。并且，平均值的計(jì)算也不限于單純平均，還可以使用加權(quán)平均，還可以使用將極端值除外的修整平均。

考慮各種將各像素的RGB值轉(zhuǎn)換為明度值的方法，但是，這里，直接使用R的像素值、G的像素值、B的像素值中的最大的像素值作為明度值。但是，通過(guò)其他方法求出明度值也無(wú)妨。

接著，對(duì)基于對(duì)應(yīng)區(qū)域的明度信息即第1特征量和觀察區(qū)域的明度信息即第2特征量的可否刪除判定處理進(jìn)行說(shuō)明。這里，根據(jù)2個(gè)條件判定可否刪除判定對(duì)象圖像。

第1條件是根據(jù)上限閾值K_over和下限閾值K_under決定的條件。具體而言，進(jìn)行第1特征量與K_over、K_under的比較處理。更具體而言，在第1特征量滿足下式(2)的情況下判定為能夠刪除判定對(duì)象圖像，在不是這樣的情況下判定為不能刪除。

K_under≦第1特征量≦K_over……(2)

這里，K_under設(shè)定在明度信息小于該值的情況下區(qū)域過(guò)暗而難以觀察的值即可，典型情況下，第1特征量小于K_under的情況表示對(duì)應(yīng)區(qū)域發(fā)黑而不適于觀察的狀況。

另一方面，K_over設(shè)定在明度信息大于該值的情況下區(qū)域過(guò)亮而難以觀察的值即可，典型情況下，第1特征量大于K_over的情況表示對(duì)應(yīng)區(qū)域泛白而不適于觀察的狀況。

通過(guò)進(jìn)行基于上式(2)的判定，能夠檢測(cè)對(duì)應(yīng)區(qū)域泛白或發(fā)黑(或與其接近的狀態(tài))的情況，所以，可知對(duì)應(yīng)區(qū)域中攝像的被攝體難以觀察。該情況下，既然根據(jù)變形信息設(shè)定了對(duì)應(yīng)區(qū)域和觀察區(qū)域，在所攝像的被攝體區(qū)域具有對(duì)應(yīng)關(guān)系，所以，將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中，通過(guò)參照判定對(duì)象圖像上的觀察區(qū)域，能夠進(jìn)行適當(dāng)?shù)挠^察。

另外，即使將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中，在判定對(duì)象圖像上觀察區(qū)域泛白或發(fā)黑而無(wú)法觀察作為問(wèn)題的被攝體的情況也不變，保留判定對(duì)象圖像的優(yōu)點(diǎn)較少。由此，可以使用如下方法：不僅進(jìn)行上式(2)的判定，還對(duì)下式(3)進(jìn)行判定，在不滿足上式(2)且滿足下式(3)的情況下，判定為不能刪除判定對(duì)象圖像，除此以外判定為能夠刪除。

K_under≦第2特征量≦K_over……(3)

并且，第2條件是針對(duì)第1特征量與第2特征量的差分值(狹義地講為其絕對(duì)值)而由給定的閾值K_light決定的條件。具體而言，在下式(4)成立的情況下，判定為不能刪除判定對(duì)象圖像。

|第1特征量-第2特征量|>K_light……(4)

如圖25所示，第1特征量與第2特征量的差分值的絕對(duì)值較大的情況是對(duì)應(yīng)區(qū)域的明亮度和觀察區(qū)域的明亮度大幅不同的狀況。假設(shè)觀察被攝體時(shí)優(yōu)選的明亮度根據(jù)被攝體的種類(lèi)等而不同，既存在希望觀察較亮圖像的情況，也存在希望觀察較暗圖像的情況。雖然基于閾值K_light的設(shè)定，但是，假設(shè)上式(4)成立的狀況為第1、第2特征量中的一方較大、另一方較小的情況，對(duì)應(yīng)于對(duì)應(yīng)區(qū)域和觀察區(qū)域中的一方較亮、一方較暗的極端狀況。即，由于對(duì)應(yīng)區(qū)域的明亮度不是假設(shè)為能夠通用的中間值，所以，根據(jù)狀況，對(duì)應(yīng)區(qū)域的被攝體可能難以觀察。由此，通過(guò)將包含明亮度大幅不同的觀察區(qū)域的判定對(duì)象圖像保留在精簡(jiǎn)圖像列中，提高能夠進(jìn)行適當(dāng)觀察的可能性。

另外，在上式(4)成立的情況下，也考慮對(duì)應(yīng)區(qū)域適于觀察、觀察區(qū)域不適于觀察的情況。但是，如上所述，哪種明亮度適于觀察依賴(lài)于狀況，所以，既然事前難以進(jìn)行設(shè)定，在本實(shí)施方式中，如果上式(4)成立，則進(jìn)行將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中的處理。即，在本實(shí)施方式的方法中，根據(jù)狀況，容許可能將不需要的判定對(duì)象圖像保留在精簡(jiǎn)圖像列中。

5.3.2基于尺寸信息的可否刪除的判定

接著，對(duì)使用觀察區(qū)域和對(duì)應(yīng)區(qū)域的尺寸信息作為特征量的方法進(jìn)行說(shuō)明。尺寸信息對(duì)應(yīng)于區(qū)域的面積，例如通過(guò)對(duì)區(qū)域中包含的像素的數(shù)量進(jìn)行計(jì)數(shù)來(lái)求出尺寸信息即可。但是，尺寸信息的計(jì)算方法不限于此，也可以通過(guò)其他方法求出尺寸信息。

如圖26所示，將尺寸信息作為特征量的情況下的問(wèn)題在于，對(duì)應(yīng)區(qū)域的尺寸極小而使被攝體被壓縮的狀況。由此，這里，在對(duì)應(yīng)區(qū)域的尺寸信息即第1特征量的值較小的情況下，將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中，能夠在判定對(duì)象圖像的觀察區(qū)域中觀察對(duì)應(yīng)區(qū)域中壓縮的被攝體。另外，僅根據(jù)對(duì)應(yīng)區(qū)域的尺寸(即，僅根據(jù)第1特征量)進(jìn)行可否刪除的判定也無(wú)妨，但是，這里，使用觀察區(qū)域的尺寸相對(duì)于對(duì)應(yīng)區(qū)域的尺寸的比等相對(duì)尺寸進(jìn)行判定。例如在滿足下式(5)的情況下，視為對(duì)應(yīng)區(qū)域的尺寸小到不適于觀察的程度，判定為不能刪除判定對(duì)象圖像。

(第2特征量/第1特征量)>K_area·····(5)

另外，用于判定的式子不限于上式(5)，基于第1特征量與第2特征量的相差度即可。例如，也可以求出第2特征量的對(duì)數(shù)與第1特征量的對(duì)數(shù)的差分值，進(jìn)行所求出的差分值與給定的閾值的比較處理。并且，還可以單純地求出第2特征量與第1特征量的差分值，進(jìn)行所求出的差分值與給定的閾值的比較處理。

5.3.3基于給定的形狀的相似度的可否刪除的判定

接著，對(duì)使用觀察區(qū)域和對(duì)應(yīng)區(qū)域的與給定的形狀的相似度作為特征量的方法進(jìn)行說(shuō)明。與給定的形狀的相似度表示區(qū)域與給定的形狀以何種程度相似，例如如果給定的形狀為圓，則將通過(guò)下式(6)求出的圓形度作為特征量即可。但是，給定的形狀不限于圓，相似度的計(jì)算方法也不限于下式(6)。

【數(shù)學(xué)式2】

如圖27所示，將與給定的形狀的相似度作為特征量的情況下的問(wèn)題在于，由于對(duì)應(yīng)區(qū)域采取極端形狀而使被攝體壓縮的狀況。例如在圖27中，對(duì)應(yīng)區(qū)域采取短邊遠(yuǎn)遠(yuǎn)短于長(zhǎng)邊的長(zhǎng)方形，由此，在短邊方向上，被攝體被壓縮而難以觀察。由此，這里，在設(shè)定適于觀察的簡(jiǎn)單形狀(例如圓形狀或正方形等)作為給定的形狀后，在對(duì)應(yīng)區(qū)域與給定的形狀的相似度即第1特征量的值較小的情況下，將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中，能夠在判定對(duì)象圖像的觀察區(qū)域中觀察對(duì)應(yīng)區(qū)域中被壓縮的被攝體。另外，僅根據(jù)對(duì)應(yīng)區(qū)域的相似度(即，僅根據(jù)第1特征量)進(jìn)行可否刪除的判定也無(wú)妨，但是，這里，使用觀察區(qū)域的相似度相對(duì)于對(duì)應(yīng)區(qū)域的相似度的比等相對(duì)信息進(jìn)行判定。例如在滿足下式(7)的情況下，視為對(duì)應(yīng)區(qū)域的形狀極端地成為不適于觀察的程度，判定為不能刪除判定對(duì)象圖像。

(第2特征量/第1特征量)>K_shape·····(7)

另外，用于判定的式子不限于上式(7)，這點(diǎn)與使用尺寸信息的例子相同。例如，也可以求出第2特征量的對(duì)數(shù)與第1特征量的對(duì)數(shù)的差分值，進(jìn)行所求出的差分值與給定的閾值的比較處理。并且，還可以單純地求出第2特征量與第1特征量的差分值，進(jìn)行所求出的差分值與給定的閾值的比較處理。

5.3.4基于多個(gè)特征量的判定的組合

并且，也可以組合使用上述使用了明度信息的可否刪除的判定、使用了尺寸信息的可否刪除的判定、以及使用了與給定的形狀的相似度的可否刪除的判定中的2種以上。

此時(shí)的組合方式考慮各種方法，但是，如果重點(diǎn)在于抑制不適于觀察的區(qū)域的產(chǎn)生，則能夠提高判定為不能刪除判定對(duì)象圖像的可能性。由此，在使用多種特征量的情況下，針對(duì)各特征量進(jìn)行可否刪除的判定，在全部可否刪除的判定中判定為能夠刪除的情況下，刪除判定對(duì)象圖像。另一方面，在多個(gè)可否刪除的判定中的至少1個(gè)判定中不能刪除的情況下，不刪除判定對(duì)象圖像。由此，在根據(jù)至少1個(gè)特征量判定為對(duì)應(yīng)區(qū)域不適于觀察時(shí)，保留判定對(duì)象圖像，能夠提高可適當(dāng)觀察作為對(duì)象的被攝體的可能性。

但是，由于容易判定為不能刪除判定對(duì)象圖像，由此，圖像精簡(jiǎn)處理后的精簡(jiǎn)圖像列中保留的圖像的張數(shù)增加，圖像張數(shù)的削減效果可能降低。由此，如果重視圖像張數(shù)的削減，則與上述方法相比，可以使用判定為能夠刪除判定對(duì)象圖像的可能性較高的方法。

例如，與上述方法同樣，在多個(gè)可否刪除的判定中的至少1個(gè)判定中不能刪除的情況下，即使不刪除判定對(duì)象圖像的情況下，也考慮變更各特征量的可否刪除的判定的判定條件。例如，在一并使用尺寸信息和與給定的形狀的相似度的情況下，與分別單獨(dú)使用的情況相比，增大K_area的值和K_shape的值即可。這樣，由于容易在各可否刪除的判定中判定為能夠刪除，所以，能夠進(jìn)行基于尺寸和相似度這2個(gè)不同觀點(diǎn)的判定，能夠抑制圖像精簡(jiǎn)處理后的精簡(jiǎn)圖像列中包含的圖像張數(shù)過(guò)度增加。

在以上的本實(shí)施方式中，如圖22所示，圖像處理裝置包括：圖像列取得部200，其取得具有多個(gè)圖像的圖像列；以及處理部100，其進(jìn)行刪除圖像列取得部200所取得的圖像列的多個(gè)圖像的一部分并取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。處理部100從多個(gè)圖像中選擇圖像精簡(jiǎn)處理的基準(zhǔn)圖像和判定對(duì)象圖像，在判定對(duì)象圖像上設(shè)定觀察區(qū)域，并且，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息求出與觀察區(qū)域?qū)?yīng)的基準(zhǔn)圖像上的區(qū)域即對(duì)應(yīng)區(qū)域。然后，根據(jù)從對(duì)應(yīng)區(qū)域中求出的第1特征量和從觀察區(qū)域中求出的第2特征量中的至少一方判定可否刪除判定對(duì)象圖像。

這里，觀察區(qū)域是判定對(duì)象圖像上設(shè)定的區(qū)域，狹義地講，是比判定對(duì)象圖像小的區(qū)域。如果要判定在判定對(duì)象圖像中攝像的被攝體全體是否是在基準(zhǔn)圖像中適于觀察的狀態(tài)，則需要在選擇出一組基準(zhǔn)圖像和判定對(duì)象圖像時(shí)，改變觀察區(qū)域在判定對(duì)象圖像上的位置，并多次進(jìn)行設(shè)定以網(wǎng)羅判定對(duì)象圖像全體。例如，判定對(duì)象圖像中包含的全部像素至少一次包含在觀察區(qū)域中，這個(gè)如圖24所示，通過(guò)從左上方向朝右下方向以1個(gè)像素為單位一邊移動(dòng)一邊設(shè)定觀察區(qū)域來(lái)實(shí)現(xiàn)。但是，如果觀察區(qū)域的設(shè)定次數(shù)變多，則處理負(fù)荷也加重，所以，也可以通過(guò)以觀察區(qū)域的一邊的長(zhǎng)度為單位來(lái)移動(dòng)觀察區(qū)域并進(jìn)行設(shè)定等，來(lái)削減計(jì)算量。

另外，在使用尺寸信息作為特征量的情況下，觀察區(qū)域也可以設(shè)定進(jìn)行適當(dāng)觀察所需要的充分的區(qū)域。這樣，由于第2特征量示出適當(dāng)?shù)幕鶞?zhǔn)值，所以，通過(guò)該第2特征量與第1特征量的比較處理等，能夠判定對(duì)應(yīng)區(qū)域是否是適于觀察的尺寸。同樣，如果特征量為與給定的形狀(這里為圓或正方形等適于觀察的形狀)的相似度，則觀察區(qū)域也可以使用接近該給定的形狀的形狀(狹義地講為同一形狀)。并且，假設(shè)觀察區(qū)域在一連串處理中使用固定尺寸、形狀的區(qū)域，但是，可變地設(shè)定觀察區(qū)域也無(wú)妨。

由此，能夠根據(jù)判定對(duì)象圖像上的觀察區(qū)域的特征量和基準(zhǔn)圖像上的對(duì)應(yīng)區(qū)域的特征量來(lái)判定可否刪除判定對(duì)象圖像。如果對(duì)應(yīng)區(qū)域是根據(jù)變形信息對(duì)觀察區(qū)域進(jìn)行變形而求出的區(qū)域，則觀察區(qū)域和對(duì)應(yīng)區(qū)域中攝像的被攝體具有對(duì)應(yīng)關(guān)系。由此，在根據(jù)特征量判定為對(duì)應(yīng)區(qū)域不適于觀察的情況下，使攝像有對(duì)應(yīng)(狹義地講為相同)的被攝體的觀察區(qū)域在圖像精簡(jiǎn)處理后也成為能夠閱覽的狀態(tài)即可，能夠通過(guò)將判定對(duì)象圖像包含在精簡(jiǎn)圖像列中(判定為不能刪除判定對(duì)象圖像)的處理來(lái)實(shí)現(xiàn)。

并且，上述第1特征量可以是對(duì)應(yīng)區(qū)域的明度信息、尺寸信息和與特定形狀的相似度信息中的至少一方。并且，上述第2特征量可以是觀察區(qū)域的明度信息、尺寸信息和與特定形狀的相似度信息中的至少一方。

這里，給定的區(qū)域與特定形狀的相似度是表示該給定的區(qū)域以何種程度接近特定形狀的指標(biāo)值。例如，在考慮圓作為特定形狀的情況下，關(guān)于正k邊形(k為3以上的整數(shù))的區(qū)域，k越小則相似度越小，k越大則相似度越大。并且，如果特定形狀如圓那樣具有對(duì)稱(chēng)性，則與不具有對(duì)稱(chēng)性的區(qū)域相比，具有對(duì)稱(chēng)性的區(qū)域存在相似度較大的傾向。

由此，能夠使用明度信息、尺寸信息和與特定形狀的相似度信息中的至少一方作為特征量。即，在本實(shí)施方式的圖像處理裝置中，根據(jù)明亮度、尺寸、形狀中的任意一方判定對(duì)應(yīng)區(qū)域中的被攝體是否適于觀察，在不適于觀察的情況下，將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中。具體而言，認(rèn)為明亮度過(guò)亮的情況(泛白)、過(guò)暗的情況(發(fā)黑)、尺寸極小的情況、形狀極端的情況(壓縮或扭曲的情況)等是不適于觀察的狀態(tài)。

并且，處理部100可以根據(jù)第1特征量與第1閾值的第1比較處理、第2特征量與第2閾值的第2比較處理、以及第1特征量和第2特征量的相差度與第3閾值的第3比較處理中的至少1個(gè)比較處理，判定可否刪除判定對(duì)象圖像。

這里，相差度表示第1特征量與第2特征量的差異程度，根據(jù)差分、比或與它們相當(dāng)?shù)闹?例如各個(gè)特征量的對(duì)數(shù)的差分等)來(lái)求出相差度。在使用了明度信息作為特征量的情況下，相差度較大是指對(duì)應(yīng)區(qū)域和觀察區(qū)域中的一方較亮、另一方較暗的狀況。并且，在使用了尺寸信息作為特征量的情況下，相差度較大是指對(duì)應(yīng)區(qū)域和觀察區(qū)域中的一方的面積較大、另一方的面積較小的狀況。同樣，在使用了與特定形狀的相似度作為特征量的情況下，相差度較大是指對(duì)應(yīng)區(qū)域和觀察區(qū)域中的一方是接近特定形狀的形狀、另一方是遠(yuǎn)離特定形狀的形狀的狀況。

由此，能夠根據(jù)第1～第3比較處理中的至少一個(gè)比較處理進(jìn)行可否刪除的判定。第1比較處理是根據(jù)對(duì)應(yīng)區(qū)域的特征量即第1特征量進(jìn)行的處理，例如如上式(2)所示，如判定對(duì)應(yīng)區(qū)域的泛白或發(fā)黑時(shí)那樣，假設(shè)在能夠與觀察區(qū)域的狀態(tài)無(wú)關(guān)地進(jìn)行判定的狀況下使用該第1比較處理。第2比較處理是根據(jù)觀察區(qū)域的特征量即第2特征量進(jìn)行的處理，例如如上式(3)所示，假設(shè)在判定觀察區(qū)域的泛白或發(fā)黑時(shí)使用該第2比較處理。另外，單獨(dú)使用第2比較處理也無(wú)妨，但是，如果考慮圖像精簡(jiǎn)處理后的圖像張數(shù)的削減效果，則優(yōu)選與第1比較處理等一并使用。另一方面，第3比較處理是基于第1特征量與第2特征量的相差度的處理，所以是考慮了對(duì)應(yīng)區(qū)域和觀察區(qū)域雙方的狀態(tài)的處理，通過(guò)進(jìn)行第3比較處理，能夠進(jìn)行高精度的可否刪除的判定。另外，對(duì)應(yīng)區(qū)域的明度信息和觀察區(qū)域的尺寸信息的比較等無(wú)用，所以可知，第3比較處理中使用的2個(gè)特征量需要具有對(duì)應(yīng)關(guān)系。即，如果一個(gè)特征量是明度信息，則第3比較處理中使用的另一個(gè)特征量也是明度信息，如果一方是尺寸信息，則另一方也是尺寸信息，如果一方是與特定形狀的相似度，則另一方也是與特定形狀的相似度。

并且，處理部100可以根據(jù)對(duì)應(yīng)區(qū)域的像素的像素值求出對(duì)應(yīng)區(qū)域的明度信息作為第1特征量，并且根據(jù)觀察區(qū)域的像素的像素值求出觀察區(qū)域的明度信息作為第2特征量。

由此，能夠使用明度信息作為特征量來(lái)進(jìn)行可否刪除的判定。針對(duì)區(qū)域中包含的各像素計(jì)算明度，根據(jù)計(jì)算出的明度求出對(duì)應(yīng)區(qū)域、觀察區(qū)域的明度信息。像素的明度使用R、G、B的各像素值中的最大像素值，但是，也可以通過(guò)其他方法(例如最大值與最小值的平均值等)求出。并且，作為根據(jù)像素的明度求出區(qū)域的明度信息的方法，取區(qū)域中包含的全部像素的明度的平均值即可，但是，也可以使用其他方法(中央值、加權(quán)平均、修整平均等)。作為基于明度信息的可否刪除的判定的具體例，考慮如下處理：在對(duì)應(yīng)區(qū)域泛白或發(fā)黑而不適于觀察的情況下，不能刪除判定對(duì)象圖像。這樣，能夠?qū)僭O(shè)攝像有與對(duì)應(yīng)區(qū)域相同的被攝體的觀察區(qū)域的判定對(duì)象圖像保留在精簡(jiǎn)圖像列中，能夠進(jìn)行被攝體的適當(dāng)觀察。

并且，也可以在明度信息即第1特征量大于給定的上限閾值的情況下、或第1特征量小于給定的下限閾值的情況下，處理部100判定為不能刪除判定對(duì)象圖像。

由此，能夠進(jìn)行上式(2)所示的處理。這是假設(shè)了對(duì)應(yīng)區(qū)域的泛白或發(fā)黑(或與其接近的情況)的處理。由此，作為上限閾值，設(shè)定在明度信息大于該上限閾值的情況下、被攝體過(guò)亮而不適于觀察的值，作為下限閾值，設(shè)定在明度信息小于該下限閾值的情況下、被攝體過(guò)暗而不適于觀察的值即可。

并且，處理部100可以求出由對(duì)應(yīng)區(qū)域的尺寸信息表示的值作為第1特征量，并且求出由觀察區(qū)域的尺寸信息表示的值作為第2特征量。

由此，能夠使用尺寸信息作為特征量來(lái)進(jìn)行可否刪除的判定。尺寸信息例如使用與面積對(duì)應(yīng)的信息即可，具體而言，對(duì)區(qū)域中包含的像素的數(shù)量進(jìn)行計(jì)數(shù)即可。作為基于尺寸信息的可否刪除的判定的具體例，如圖26所示，考慮如下處理：在對(duì)應(yīng)區(qū)域的面積非常小、被攝體壓縮而不適于觀察的情況下，不能刪除判定對(duì)象圖像。

并且，處理部100可以求出表示對(duì)應(yīng)區(qū)域與給定的形狀的相似度的值作為第1特征量，并且求出表示觀察區(qū)域與給定的形狀的相似度的值作為第2特征量。

由此，能夠使用與特定形狀的相似度作為特征量來(lái)進(jìn)行可否刪除的判定。關(guān)于與特定形狀的相似度，例如如果特定形狀為圓，則使用上式(6)的圓形度即可。作為基于與特定形狀的相似度的可否刪除的判定的具體例，如圖27所示，考慮如下處理：在對(duì)應(yīng)區(qū)域的形狀極端、被攝體壓縮(在圖27的例子中在縱方向上進(jìn)行壓縮)而不適于觀察的情況下，不能刪除判定對(duì)象圖像。

并且，也可以在第1特征量與第2特征量的相差度大于給定的閾值的情況下，處理部100判定為不能刪除判定對(duì)象圖像。

由此，能夠使用對(duì)應(yīng)區(qū)域和觀察區(qū)域雙方的特征量進(jìn)行可否刪除的判定。在使用明度信息作為特征量的情況下，相差度較大的狀況是對(duì)應(yīng)區(qū)域和觀察區(qū)域中的一方較亮、另一方較暗的狀況。關(guān)于適于觀察的明亮度，不能唯一決定該值，例如根據(jù)與正在關(guān)注的被攝體的形狀和色相、或者在正在關(guān)注的被攝體后方攝像的背景部分的色相等之間的關(guān)系而變動(dòng)。如果對(duì)應(yīng)區(qū)域的明度信息為中間值，則存在能夠在某種程度上通用的可能性，但是，如上所述，在相差度較大的狀況下很難這么想。即，在相差度較大(例如上式(4)成立)的情況下，必須考慮對(duì)應(yīng)區(qū)域是不適于觀察的明亮度的可能性，不能刪除判定對(duì)象圖像。但是，需要注意，對(duì)應(yīng)區(qū)域是適于觀察的狀態(tài)，通過(guò)使用了上式(4)等的處理反而有可能將包含不適于觀察的觀察區(qū)域的判定對(duì)象圖像保留在精簡(jiǎn)圖像列中。

并且，在使用尺寸信息作為特征量的情況下，對(duì)應(yīng)區(qū)域的面積較小成為問(wèn)題，該情況下，觀察區(qū)域的面積不增大到適于觀察的程度，即使保留判定對(duì)象圖像也是無(wú)效的。由此，作為相差度較大的狀況，如上式(5)那樣檢測(cè)對(duì)應(yīng)區(qū)域的面積遠(yuǎn)遠(yuǎn)小于觀察區(qū)域的面積即可。另外，在使用尺寸信息作為特征量的處理中，在所設(shè)定的觀察區(qū)域的尺寸、形狀不變的情況下，假設(shè)第2特征量也不變，所以，能夠繼續(xù)使用事前計(jì)算出的值。該情況下，由于上式(5)的第2特征量為固定值，所以，處理實(shí)質(zhì)上成為基于第1特征量的判定。但是，動(dòng)態(tài)設(shè)定本實(shí)施方式的觀察區(qū)域(例如觀察區(qū)域根據(jù)用戶指示而變化的情況、設(shè)定與通過(guò)圖像處理而檢測(cè)到的關(guān)注區(qū)域?qū)?yīng)的區(qū)域的情況等)也無(wú)妨，所以，這種情況下，需要每次求出第2特征量。

并且，在使用與特定形狀(設(shè)定適于觀察的形狀)的相似度作為特征量的情況下，對(duì)應(yīng)區(qū)域的形狀的極端成為問(wèn)題，該情況下，觀察區(qū)域的形狀不以某種程度接近特定形狀，即使保留判定對(duì)象圖像也是無(wú)效的。由此，作為相差度較大的狀況，如上式(7)那樣檢測(cè)對(duì)應(yīng)區(qū)域的相似度遠(yuǎn)遠(yuǎn)小于觀察區(qū)域的相似度即可。該情況下，如果觀察區(qū)域的形狀不變，，則能夠在事前求出第2特征量。例如，考慮設(shè)定與特定形狀相同的形狀的區(qū)域作為觀察區(qū)域。

6.第5實(shí)施方式

接著，對(duì)除了第4實(shí)施方式中說(shuō)明的使用了第1、第2特征量的可否刪除的判定(以下記載為第1可否刪除判定處理)以外、還一并使用與其不同的第2可否刪除判定處理的方法進(jìn)行說(shuō)明。

具體而言，針對(duì)圖像列取得部200所取得的圖像列的各圖像進(jìn)行第2可否刪除判定處理，設(shè)定由判定為不能刪除的精簡(jiǎn)圖像構(gòu)成的精簡(jiǎn)候選圖像列和由判定為能夠刪除的刪除候選圖像構(gòu)成的刪除候選圖像列。然后，進(jìn)行第1可否刪除判定處理并生成精簡(jiǎn)圖像列，但是，此時(shí)，從精簡(jiǎn)候選圖像列中選擇基準(zhǔn)圖像，并且從刪除候選圖像列中選擇判定對(duì)象圖像。

即，本實(shí)施方式的方法是進(jìn)行如下2個(gè)階段的處理的方法：首先，進(jìn)行第2可否刪除判定處理作為預(yù)處理，暫定決定要保留的圖像和要?jiǎng)h除的圖像，然后，通過(guò)使用了暫定結(jié)果的第1可否刪除判定處理決定最終結(jié)果。由此，與僅根據(jù)第1可否刪除判定處理和第2可否刪除判定處理中的某一方進(jìn)行圖像精簡(jiǎn)處理的情況相比，能夠提高判定精度等。這是因?yàn)?，由于?可否刪除判定處理使用與第1可否刪除判定處理不同的處理，所以能夠從不同觀點(diǎn)進(jìn)行處理。

例如，作為第2可否刪除判定處理，可以進(jìn)行基于上述覆蓋率的判定。通過(guò)基于覆蓋率的判定，能夠進(jìn)行保證區(qū)域的覆蓋程度的圖像精簡(jiǎn)處理，但是，如圖26所示，可能產(chǎn)生難以觀察的區(qū)域。即，在使用了覆蓋率的第2可否刪除判定處理中，過(guò)度刪除了不應(yīng)該刪除的圖像，通過(guò)進(jìn)行使用了第2可否刪除判定處理的結(jié)果的第1可否刪除判定處理，能夠使過(guò)度刪除圖像復(fù)活，能夠進(jìn)行更加適當(dāng)?shù)膱D像精簡(jiǎn)處理。

下面，說(shuō)明圖像處理裝置的系統(tǒng)結(jié)構(gòu)例，使用流程圖說(shuō)明處理的流程。另外，使用第1～第3實(shí)施方式中上述的方法作為第2可否刪除判定處理即可，所以省略詳細(xì)說(shuō)明。

6.1系統(tǒng)結(jié)構(gòu)例

圖28示出本實(shí)施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。構(gòu)成為相對(duì)于圖22的處理部100去掉部分圖像列設(shè)定部1018并追加精簡(jiǎn)候選圖像列生成部1010。省略與第4實(shí)施方式相同的結(jié)構(gòu)的詳細(xì)說(shuō)明。

精簡(jiǎn)候選圖像列生成部1010對(duì)圖像列取得部200所取得的圖像列進(jìn)行第2可否刪除判定處理，生成由保留在精簡(jiǎn)圖像列中的圖像即精簡(jiǎn)圖像構(gòu)成的精簡(jiǎn)候選圖像列。與此同時(shí)，也可以設(shè)定由圖像列取得部200取得的圖像列中的、未包含在精簡(jiǎn)候選圖像列中的圖像即刪除候選圖像構(gòu)成的刪除候選圖像列。

本實(shí)施方式的判定對(duì)象圖像選擇部1012從刪除候選圖像列所包含的圖像中選擇判定對(duì)象圖像。并且，基準(zhǔn)圖像選擇部1011根據(jù)判定對(duì)象圖像選擇部1012選擇出的判定對(duì)象圖像在圖像列(圖像列取得部200取得的圖像列)中的位置，從精簡(jiǎn)候選圖像列所包含的圖像中選擇基準(zhǔn)圖像。基準(zhǔn)圖像選擇部1011和判定對(duì)象圖像選擇部1012中的處理在后面詳細(xì)敘述。

另外，在本說(shuō)明書(shū)中，如上所述，將保留在精簡(jiǎn)圖像列中的圖像(或作為其候選的圖像)設(shè)為基準(zhǔn)圖像，將作為基于該基準(zhǔn)圖像的可否刪除的判定對(duì)象的圖像設(shè)為判定對(duì)象圖像。即，在第2可否刪除判定處理中使用覆蓋率的情況下，在該處理中也設(shè)定基準(zhǔn)圖像和判定對(duì)象圖像，在第1可否刪除判定處理(使用觀察區(qū)域的處理)中也設(shè)定基準(zhǔn)圖像和判定對(duì)象圖像。但是，在單純使用基準(zhǔn)圖像、判定對(duì)象圖像這樣的用語(yǔ)可能混淆該圖像是第1可否刪除判定處理和第2可否刪除判定處理中的哪個(gè)處理中設(shè)定的圖像的情況下，將第1可否刪除判定處理中的基準(zhǔn)圖像表現(xiàn)為“第1圖像”、將判定對(duì)象圖像表現(xiàn)為“第2圖像”進(jìn)行區(qū)分。

6.2處理的流程

接著，使用圖29的流程圖對(duì)本實(shí)施方式的圖像精簡(jiǎn)處理的流程進(jìn)行說(shuō)明。該處理開(kāi)始后，首先，取得作為圖像精簡(jiǎn)處理對(duì)象的圖像列(S801)。下面，為了明確地與其他圖像列進(jìn)行區(qū)分，將S801中取得的圖像列也表記為取得圖像列。

然后，針對(duì)取得圖像列進(jìn)行第2可否刪除判定處理，設(shè)定精簡(jiǎn)候選圖像列和刪除候選圖像列(S802)。S802中的第2可否刪除判定處理的具體例在后面敘述，但是，例如如圖30所示，在判定為取得圖像列所包含的12張圖像中的第3個(gè)和第8個(gè)圖像不能刪除、其他圖像能夠刪除的情況下，精簡(jiǎn)候選圖像列由第3個(gè)和第8個(gè)圖像構(gòu)成，刪除候選圖像列由其他10張圖像構(gòu)成。另外，根據(jù)第2可否刪除判定處理的處理內(nèi)容，可能存在針對(duì)1個(gè)圖像進(jìn)行多次的可否刪除的判定的情況，但是，這里的可否刪除是指第2可否刪除判定處理結(jié)束時(shí)的最終結(jié)果，通過(guò)一次判定為能夠刪除或不能刪除，不一定立即決定該圖像是刪除候選圖像或精簡(jiǎn)圖像。

在第2可否刪除判定處理后，選擇判定對(duì)象圖像(S803)。這里，關(guān)于判定對(duì)象圖像，從刪除候選圖像列的開(kāi)頭起依次選擇判定對(duì)象圖像。由此，在初次進(jìn)行S803的處理的情況下，選擇刪除候選圖像列的第1個(gè)圖像。然后，在第2次以后的S803的處理中，進(jìn)行針對(duì)當(dāng)前的判定對(duì)象圖像選擇刪除候選圖像列中后方1個(gè)的圖像的判定對(duì)象圖像的更新處理。

在選擇出判定對(duì)象圖像后，根據(jù)判定對(duì)象圖像在取得圖像列中的位置，從精簡(jiǎn)候選圖像列中選擇基準(zhǔn)圖像(S804)。這里，在取得圖像列中，選擇位于比判定對(duì)象圖像靠前方的精簡(jiǎn)圖像中的最接近該判定對(duì)象圖像的圖像作為第1基準(zhǔn)圖像，并且，選擇位于比判定對(duì)象圖像靠后方的精簡(jiǎn)圖像中的最接近該判定對(duì)象圖像的圖像作為第2基準(zhǔn)圖像。但是，在判定對(duì)象圖像的前方或后方不存在精簡(jiǎn)圖像的情況下，不選擇對(duì)應(yīng)的基準(zhǔn)圖像。

在圖30的例子中，在選擇了刪除候選圖像列的第1個(gè)圖像作為判定對(duì)象圖像的情況下，在取得圖像列中不存在比判定對(duì)象圖像靠前方的精簡(jiǎn)圖像，所以不選擇第1基準(zhǔn)圖像。并且，在比判定對(duì)象圖像靠后方存在2張精簡(jiǎn)圖像(取得圖像列中第3個(gè)和第8個(gè)圖像)，但是，其中最接近判定對(duì)象圖像的第3個(gè)圖像(精簡(jiǎn)候選圖像列的第1個(gè)圖像)成為第2基準(zhǔn)圖像。

另外，在圖30的例子中，如果選擇刪除候選圖像列的第3～6個(gè)圖像作為判定對(duì)象圖像，則第1基準(zhǔn)圖像成為精簡(jiǎn)候選圖像列的第1個(gè)圖像，第2基準(zhǔn)圖像成為精簡(jiǎn)候選圖像列的第2個(gè)圖像。同樣，如果選擇刪除候選圖像列的第7～10個(gè)圖像作為判定對(duì)象圖像，則第1基準(zhǔn)圖像成為精簡(jiǎn)候選圖像列的第2個(gè)圖像，不選擇第2基準(zhǔn)圖像。

選擇出基準(zhǔn)圖像和判定對(duì)象圖像后的變形信息取得處理(S805)、觀察區(qū)域選擇處理(S806)、對(duì)應(yīng)區(qū)域選擇處理(S807)、圖像特征量計(jì)算處理(S808)、可否刪除判定處理(S809)與圖23的S704～S708相同，所以省略詳細(xì)說(shuō)明。

另外，在選擇2張基準(zhǔn)圖像的情況下，分別進(jìn)行基于第1基準(zhǔn)圖像和判定對(duì)象圖像的第1可否刪除判定處理、以及基于第2基準(zhǔn)圖像和判定對(duì)象圖像的第1可否刪除判定處理，在兩個(gè)判定中不能刪除時(shí)，視為不能刪除判定對(duì)象圖像，進(jìn)行將其保留在精簡(jiǎn)圖像列中的處理即可。這是因?yàn)?，即使一個(gè)基準(zhǔn)圖像上的對(duì)應(yīng)區(qū)域不適于觀察，如果攝像有同一被攝體的另一個(gè)基準(zhǔn)圖像上的對(duì)應(yīng)區(qū)域適于觀察，則將判定對(duì)象圖像保留在精簡(jiǎn)圖像列中的優(yōu)點(diǎn)較小。

并且，在本實(shí)施方式中，通過(guò)第2可否刪除判定處理進(jìn)行暫定保留的圖像的搜索，所以，不需要進(jìn)行如第4實(shí)施方式那樣設(shè)定部分圖像列的處理(對(duì)應(yīng)于圖23的S709)。

在以上的本實(shí)施方式中，處理部100設(shè)定圖像列取得部200所取得的圖像列的多個(gè)圖像中的、由基于覆蓋率的判定中判定為不能刪除的精簡(jiǎn)圖像構(gòu)成的精簡(jiǎn)候選圖像列，并且，設(shè)定由基于覆蓋率的判定中判定為能夠刪除的刪除候選圖像構(gòu)成的刪除候選圖像列。然后，處理部100從精簡(jiǎn)候選圖像列中選擇第1圖像，從刪除候選圖像列中選擇第2圖像，在第2圖像上設(shè)定觀察區(qū)域，并且，根據(jù)第1圖像與第2圖像之間的變形信息求出與觀察區(qū)域?qū)?yīng)的第1圖像上的區(qū)域即對(duì)應(yīng)區(qū)域，根據(jù)從對(duì)應(yīng)區(qū)域中求出的第1特征量和從觀察區(qū)域中求出的第2特征量中的至少一方判定可否刪除第2圖像。

這里，第1圖像表示第1可否刪除判定處理中的基準(zhǔn)圖像，第2圖像表示第1可否刪除判定處理中的判定對(duì)象圖像。

由此，作為使用了第1、第2特征量的可否刪除判定處理(第1可否刪除判定處理)的預(yù)處理，如圖30所示，能夠進(jìn)行根據(jù)圖像列(取得圖像列)設(shè)定精簡(jiǎn)候選圖像列和刪除候選圖像列的處理。通過(guò)從精簡(jiǎn)候選圖像列中選擇基準(zhǔn)圖像、從刪除候選圖像列中選擇判定對(duì)象圖像，確定精簡(jiǎn)圖像包含在精簡(jiǎn)圖像列中，能夠進(jìn)行確認(rèn)刪除候選圖像是真正刪除還是保留在精簡(jiǎn)候選圖像列中的處理。由此，精簡(jiǎn)候選圖像列和刪除候選圖像列的設(shè)定處理的精度可以在某種程度上較低。這是因?yàn)椋?，可以針?duì)取得圖像列中包含的多個(gè)圖像的各圖像，將能夠明確判定為精簡(jiǎn)圖像的圖像以外的圖像全部判定為刪除候選圖像。然后，通過(guò)第1可否刪除判定處理進(jìn)行高精度的判定，其結(jié)果，刪除候選圖像還有可能包含在精簡(jiǎn)圖像列中。但是，由于假設(shè)作為精簡(jiǎn)圖像的圖像直接保留在精簡(jiǎn)圖像列中，所以，如果考慮最終的圖像精簡(jiǎn)處理的結(jié)果(例如圖像張數(shù)的削減效果)等，則不是完全隨機(jī)進(jìn)行精簡(jiǎn)候選圖像列和刪除候選圖像列的設(shè)定處理，優(yōu)選根據(jù)某種基準(zhǔn)進(jìn)行該設(shè)定處理。

7.第6實(shí)施方式

接著，對(duì)使用場(chǎng)景變換來(lái)設(shè)定部分圖像列的方法進(jìn)行說(shuō)明。

7.1系統(tǒng)結(jié)構(gòu)例

圖31示出本實(shí)施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。圖像處理裝置包括處理部100、圖像列取得部200、存儲(chǔ)部300。

如圖31所示，處理部100可以包括變形信息取得部1019、場(chǎng)景變換檢測(cè)部1020、部分圖像列設(shè)定部1021、基準(zhǔn)圖像選擇部1022、判定對(duì)象圖像選擇部1023、可否刪除判定部1024。

變形信息取得部1019取得2個(gè)圖像間的變形信息。場(chǎng)景變換檢測(cè)部1020從所取得的圖像列中檢測(cè)場(chǎng)景變換。具體方法在后面敘述。

部分圖像列設(shè)定部1021根據(jù)場(chǎng)景變換檢測(cè)部1020檢測(cè)到的場(chǎng)景變換，設(shè)定圖像列的一部分作為部分圖像列。具體而言，使用場(chǎng)景變換的位置作為部分圖像列的始點(diǎn)或終點(diǎn)即可。例如，如圖32(A)所示，在圖像列中檢測(cè)到A1～A3這3個(gè)場(chǎng)景變換的情況下，作為部分圖像列，設(shè)定從圖像列的開(kāi)頭到A1為止的部分圖像列B1、從A1～A2為止的部分圖像列B2、從A2～A3為止的部分圖像列B3、從A3到圖像列的最后為止的部分圖像列B4這4個(gè)部分圖像列即可。更具體而言，如圖32(B)所示，如果各場(chǎng)景變換設(shè)定在相鄰的圖像間，則各部分圖像列的始點(diǎn)和終點(diǎn)為即將場(chǎng)景變換之前的圖像或剛剛場(chǎng)景變換之后的圖像。如果是圖32(B)的例子，則部分圖像列B1對(duì)應(yīng)于從圖像列的開(kāi)頭到場(chǎng)景變換A1之前的圖像，部分圖像列B2對(duì)應(yīng)于從A1之后的圖像到A2之前的圖像。另外，假設(shè)設(shè)定多個(gè)部分圖像列，該情況下，分別對(duì)各部分圖像列進(jìn)行以下的各部中的處理。

基準(zhǔn)圖像選擇部1022從部分圖像列的多個(gè)圖像中選擇基準(zhǔn)圖像。判定對(duì)象圖像選擇部1023選擇部分圖像列的多個(gè)圖像中的與基準(zhǔn)圖像不同的圖像作為判定對(duì)象圖像。

可否刪除判定部1024根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息進(jìn)行判定對(duì)象圖像的可否刪除判定處理。在本實(shí)施方式中，根據(jù)表示通過(guò)基準(zhǔn)圖像覆蓋判定對(duì)象圖像的程度的覆蓋率進(jìn)行判定對(duì)象圖像的可否刪除判定處理。

如圖33所示，可否刪除判定部1024可以包括覆蓋區(qū)域計(jì)算部1025、覆蓋率計(jì)算部1026、閾值判定部1027。但是，可否刪除判定部1024不限于圖33的結(jié)構(gòu)，能夠進(jìn)行省略這些一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形實(shí)施。

覆蓋區(qū)域計(jì)算部1025利用2個(gè)圖像間的變形信息(變形參數(shù))，將一個(gè)圖像映射到另一個(gè)圖像上，求出覆蓋區(qū)域。覆蓋率計(jì)算部1026根據(jù)覆蓋區(qū)域計(jì)算覆蓋率。閾值判定部1027進(jìn)行計(jì)算出的覆蓋率與給定的閾值的比較處理。

7.2處理的流程

接著，使用圖34的流程圖對(duì)本實(shí)施方式的圖像精簡(jiǎn)處理的流程進(jìn)行說(shuō)明。該處理開(kāi)始后，首先，在圖像列取得部200中取得作為圖像精簡(jiǎn)處理對(duì)象的圖像列(S1001)。

然后，從所取得的圖像列中檢測(cè)場(chǎng)景變換(S1002)。具體而言，針對(duì)圖像列的各圖像判定該圖像是否適于計(jì)算變形信息，在存在判定為不適于計(jì)算變形信息的圖像的情況下，在與該圖像對(duì)應(yīng)的位置存在場(chǎng)景變換。例如如圖35(A)所示，在從圖像列中選擇出的選擇圖像不適于計(jì)算變形信息的情況下，可以視為在該選擇圖像與其下一個(gè)圖像之間產(chǎn)生場(chǎng)景變換，該情況下，選擇圖像成為部分圖像列的終點(diǎn)，后方1個(gè)圖像成為下一個(gè)部分圖像列的始點(diǎn)。并且，如圖35(B)所示，也可以視為在選擇圖像的前后位置產(chǎn)生場(chǎng)景變換。

這里，考慮針對(duì)該選擇圖像的各像素判定是否適于計(jì)算變形信息，根據(jù)適當(dāng)像素在圖像全體中占據(jù)的比例進(jìn)行選擇圖像是否適于計(jì)算變形信息的判定。例如，如圖36所示，在考慮到包含作為是否適于計(jì)算變形信息的判定對(duì)象的處理對(duì)象像素的給定區(qū)域的情況下，當(dāng)該區(qū)域中的紋理較少時(shí)，很難區(qū)分處理對(duì)象像素與其周邊像素。由此，即使選擇該選擇圖像作為基準(zhǔn)圖像并在判定對(duì)象圖像上發(fā)現(xiàn)具有相似特性的區(qū)域，也無(wú)法判別處理對(duì)象像素對(duì)應(yīng)于判定對(duì)象圖像上的區(qū)域中的哪個(gè)像素，無(wú)法計(jì)算正確的變形信息。即，這里，計(jì)算包含處理對(duì)象像素的給定區(qū)域中的紋理信息(例如邊緣量)，在由紋理信息表示的值大于給定的閾值的情況下，判定為該處理對(duì)象像素是適于計(jì)算變形信息的像素。

依次選擇圖像列的各圖像作為選擇圖像，針對(duì)選擇出的選擇圖像求出適于計(jì)算變形信息的像素相對(duì)于該選擇圖像的全部像素?cái)?shù)的比例，如果該值大于給定的閾值，則判定為該選擇圖像適于計(jì)算變形信息(即，在與該選擇圖像對(duì)應(yīng)的位置未進(jìn)行場(chǎng)景變換)，相反，如果為給定的閾值以下，則判定為該選擇圖像不適于計(jì)算變形信息(即，在與該選擇圖像對(duì)應(yīng)的位置產(chǎn)生場(chǎng)景變換)即可。

在檢測(cè)到場(chǎng)景變換后，根據(jù)檢測(cè)到的場(chǎng)景變換來(lái)設(shè)定部分圖像列(S1003)。具體而言，如圖32(A)、圖32(B)所示，對(duì)應(yīng)于檢測(cè)到的場(chǎng)景變換的位置來(lái)設(shè)定部分圖像列的始點(diǎn)和終點(diǎn)即可。

與此同時(shí)，選擇S1003中設(shè)定的部分圖像列中的未進(jìn)行圖像精簡(jiǎn)處理的圖像。然后，基準(zhǔn)圖像選擇部1022選擇已選擇出的部分圖像列的開(kāi)頭的圖像作為基準(zhǔn)圖像(S1004)。并且，在給定的部分圖像列中，在第2次以后的S1004的處理(從S1007返回S1004的情況)中，選擇S1007的可否刪除判定處理中判定為不能刪除的判定對(duì)象圖像作為新的基準(zhǔn)圖像。這里選擇出的基準(zhǔn)圖像保留在精簡(jiǎn)圖像列中。另外，在由于錯(cuò)誤等而無(wú)法從部分圖像列中選擇基準(zhǔn)圖像的情況下，結(jié)束針對(duì)該部分圖像列的處理，返回S1003。

在選擇了基準(zhǔn)圖像的情況下，判定對(duì)象圖像選擇部1023從部分圖像列所包含的圖像中選擇判定對(duì)象圖像(S1005)。在未設(shè)定判定對(duì)象圖像的情況下，選擇基準(zhǔn)圖像的下一個(gè)圖像(如果是針對(duì)給定的部分圖像列的最初的S1005的處理，則為部分圖像列的第2個(gè)圖像)作為判定對(duì)象圖像。并且，在已經(jīng)選擇了部分圖像列的第k個(gè)圖像作為判定對(duì)象圖像的情況下，錯(cuò)開(kāi)一個(gè)選擇位置，選擇輸入圖像列的第k+1個(gè)圖像作為新的判定對(duì)象圖像。在S1005中不存在要選擇的圖像的情況下，在本實(shí)施方式的方法中，進(jìn)行可否刪除判定處理直到部分圖像列的最后的圖像為止，所以，結(jié)束針對(duì)該部分圖像列的圖像精簡(jiǎn)處理，返回S1003。

在選擇出基準(zhǔn)圖像和判定對(duì)象圖像后，求出其間的變形信息(S1006)，根據(jù)所求出的變形信息進(jìn)行判定對(duì)象圖像的可否刪除判定處理(S1007)。具體而言，利用2個(gè)圖像間的變形信息(變形參數(shù))求出覆蓋區(qū)域，根據(jù)覆蓋區(qū)域計(jì)算覆蓋率。

在S1007中判定為能夠刪除的情況下，返回S1005，進(jìn)行判定對(duì)象圖像的更新處理。并且，在S1007中判定為不能刪除的情況下，在此時(shí)的基準(zhǔn)圖像中無(wú)法覆蓋判定對(duì)象圖像，所以，此時(shí)的判定對(duì)象圖像需要保留在精簡(jiǎn)圖像列中。由此，返回S1004，選擇S1007中判定為不能刪除的判定對(duì)象圖像作為新的基準(zhǔn)圖像。

通過(guò)S1004～S1007的處理，針對(duì)1個(gè)部分圖像列的圖像精簡(jiǎn)處理結(jié)束。該情況下，返回S1003，對(duì)下一個(gè)部分圖像列也進(jìn)行同樣的圖像精簡(jiǎn)處理，在針對(duì)全部部分圖像列的圖像精簡(jiǎn)處理結(jié)束后，由于S1003中不存在要選擇的部分圖像列，所以結(jié)束處理。

以上的針對(duì)各部分圖像列的圖像精簡(jiǎn)處理的流程與使用圖4(A)～圖4(D)的上述的流程相同。

另外，在圖34的流程圖中，在根據(jù)場(chǎng)景變換設(shè)定了多個(gè)部分圖像列的情況下，一個(gè)一個(gè)地依次對(duì)該多個(gè)部分圖像列進(jìn)行處理，但是不限于此。在處理部100的結(jié)構(gòu)適于并列處理(例如使用具有多個(gè)核的CPU作為處理部100)情況下、通過(guò)多個(gè)計(jì)算機(jī)構(gòu)成本實(shí)施方式的圖像處理裝置并在各計(jì)算機(jī)中進(jìn)行分散處理的情況下等，也可以并列地對(duì)多個(gè)部分圖像列進(jìn)行S1004～S1007的可否刪除判定處理。這樣，能夠縮短可否刪除判定處理所需要的時(shí)間等。

7.3變形例

另外，針對(duì)上述方法考慮各種變形例。例如，場(chǎng)景變換的檢測(cè)不限于上述方法。具體而言，也可以根據(jù)圖像列取得部200取得的圖像列中的2張圖像(狹義地講為相鄰的2張圖像)的相似度信息，檢測(cè)場(chǎng)景變換。這是因?yàn)?，由于認(rèn)為圖像間的相似度越高、越能夠準(zhǔn)確地估計(jì)變形信息，所以，能夠利用圖像間的相似度信息作為表示變形信息的精度的信息。該情況下，作為圖像間的相似度信息，利用作為公知技術(shù)的NCC、作為圖像間相差度的公知技術(shù)的SSD或SAD的倒數(shù)等即可。在由相似度信息表示的值低于給定的閾值的情況下，判定為在2張圖像間產(chǎn)生場(chǎng)景變換。例如，在判定為相鄰的第1圖像與第2圖像之間的相似度較低的情況下，如圖39所示，視為在第1圖像與第2圖像之間產(chǎn)生場(chǎng)景變換即可。如果考慮唯一決定場(chǎng)景變換的位置，則優(yōu)選求出相似度信息的2張圖像在圖像列中相鄰。

并且，圖34的S1004、S1005中的基準(zhǔn)圖像和判定對(duì)象圖像的選擇方法也不限于上述方法。

在以上的本實(shí)施方式中，如圖31所示，圖像處理裝置包括：圖像列取得部200，其取得具有多個(gè)圖像的圖像列；以及處理部100，其進(jìn)行刪除圖像列取得部200所取得的圖像列的多個(gè)圖像的一部分并取得精簡(jiǎn)圖像列的圖像精簡(jiǎn)處理。處理部100從圖像列中檢測(cè)場(chǎng)景變換，根據(jù)檢測(cè)到的場(chǎng)景變換設(shè)定由圖像列的一部分構(gòu)成的部分圖像列。然后，處理部100從所設(shè)定的部分圖像列中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息判定可否刪除判定對(duì)象圖像。

這里，場(chǎng)景變換表示與所攝像的圖像對(duì)應(yīng)的場(chǎng)景的變化。以往，在動(dòng)態(tài)圖像的分割(例如章節(jié)信息的插入等)等領(lǐng)域中廣泛使用場(chǎng)景變換這樣的概念，作為本實(shí)施方式的場(chǎng)景變換，可以直接應(yīng)用現(xiàn)有方法中使用的場(chǎng)景變換。該情況下，處理部100可以根據(jù)從多個(gè)圖像中求出的運(yùn)動(dòng)信息、特定被攝體的攝像信息和明度信息中的任意一方檢測(cè)所述場(chǎng)景變換。

運(yùn)動(dòng)信息表示2個(gè)圖像間(在本實(shí)施方式中，狹義地講為相鄰的2個(gè)圖像間)的被攝體的圖像上位置的變化，例如是運(yùn)動(dòng)矢量等。公知有求出運(yùn)動(dòng)矢量的各種方法，但是，單純地將一個(gè)圖像上的給定區(qū)域作為塊并針對(duì)另一個(gè)圖像進(jìn)行塊匹配處理，從而求出運(yùn)動(dòng)矢量。具體而言，表示所述給定區(qū)域的圖像上的位置和取得匹配的區(qū)域的圖像上的位置的相對(duì)位置關(guān)系的信息是運(yùn)動(dòng)矢量。如果使用運(yùn)動(dòng)矢量，則在運(yùn)動(dòng)矢量的大小較大的情況下(例如進(jìn)行與給定的閾值的比較處理)，判定為在該運(yùn)動(dòng)矢量的計(jì)算中使用的2個(gè)圖像之間產(chǎn)生場(chǎng)景變換即可。

并且，特定被攝體的攝像信息是表示是否攝像有特征性的被攝體的信息。考慮從圖像檢測(cè)被攝體的各種方法，但是，作為一例，保持作為對(duì)象的特定被攝體的信息作為模板，對(duì)各圖像進(jìn)行模板匹配處理即可。該情況下，將從攝像有特定被攝體的狀態(tài)到未攝像有特定被攝體的狀態(tài)的變化、或從未攝像有特定被攝體的狀態(tài)到攝像有特定被攝體的狀態(tài)的變化檢測(cè)為場(chǎng)景變換。

并且，也可以使用明度信息檢測(cè)場(chǎng)景變換。關(guān)于明度信息的計(jì)算，例如如果是RGB 3通道的圖像，則針對(duì)各像素求出R、G、B的值的最大值作為該像素的明度值，將圖像中的全部像素的明度值的平均值作為該圖像的明度信息即可。如果使用明度信息，則在圖像列的給定圖像的明度信息和下一個(gè)圖像的明度信息大幅不同(例如閾值以上)的情況下，判定為在該圖像間產(chǎn)生場(chǎng)景變換即可。另外，在攝像裝置具有閃光燈機(jī)構(gòu)等的情況下，通過(guò)使該機(jī)構(gòu)進(jìn)行動(dòng)作，即使被攝體等完全沒(méi)有變化，明度信息也可能大幅變化。由此，根據(jù)攝像裝置的結(jié)構(gòu)等，可能優(yōu)選在場(chǎng)景變換的檢測(cè)中使用明度信息以外的信息、或一并使用明度信息和其他信息。

并且，不限于根據(jù)運(yùn)動(dòng)信息、特定被攝體的攝像信息、明度信息等進(jìn)行場(chǎng)景變換的檢測(cè)，能夠進(jìn)行使用了彩度信息(如果為活體內(nèi)圖像，則為紅色程度等)等各種方法的變形實(shí)施。

并且，場(chǎng)景變換檢測(cè)用的這些信息不限于單獨(dú)使用，也可以組合使用2個(gè)以上。例如，如果組合運(yùn)動(dòng)信息和明度信息這2個(gè)信息，則可以根據(jù)由運(yùn)動(dòng)信息表示的圖像間的運(yùn)動(dòng)較大和由明度信息表示的明度的變化較大這雙方進(jìn)行判定?？紤]該情況下的各種組合方式，可以在運(yùn)動(dòng)較大且明度變化較大的情況下檢測(cè)為場(chǎng)景變換，也可以是如果運(yùn)動(dòng)較大或明度變化較大中的任意一方成立，則檢測(cè)為場(chǎng)景變換。

由此，能夠根據(jù)從圖像列檢測(cè)到的場(chǎng)景變換將該圖像列分割為部分圖像列，對(duì)各部分圖像列進(jìn)行使用了變形信息的可否刪除判定處理。在場(chǎng)景變換的前方的圖像和場(chǎng)景變換的后方的圖像中，攝像對(duì)象等不同的可能性較高，所以，在使用了變形信息的可否刪除判定處理中，將這樣的2個(gè)圖像用于處理的必要性不高。如果考慮由于在大幅不同的圖像間勉強(qiáng)地計(jì)算變形信息而使可否刪除判定處理的精度降低的可能性，則也可能寧可避免基于場(chǎng)景變換前后的圖像的處理。由此，這里，通過(guò)根據(jù)場(chǎng)景變換設(shè)定部分圖像列，能夠進(jìn)行高效的圖像精簡(jiǎn)處理。

另外，在本說(shuō)明書(shū)中，使用圖像的前方、后方(或場(chǎng)景變換的前方、后方)這樣的表現(xiàn)，但是，這是指圖像列中的位置的前后。由于假設(shè)圖像列是在時(shí)間序列或空間上連續(xù)的圖像的集合，所以，能夠根據(jù)其連續(xù)性定義圖像列的前方、后方。例如時(shí)間序列中較早時(shí)刻取得的圖像是比該時(shí)刻之后的時(shí)刻取得的圖像靠前方的圖像。

并且，處理部100可以根據(jù)表示判定對(duì)象圖像的可否刪除的判定中使用的變形信息的精度的精度信息，檢測(cè)場(chǎng)景變換。具體而言，可以在由精度信息表示的值小于給定的精度閾值的情況下，處理部100判定為檢測(cè)到場(chǎng)景變換。

這里，在本實(shí)施方式中，變形信息的精度信息是按照?qǐng)D像列中的1個(gè)圖像或2個(gè)圖像的組合而求出的信息。而且，由從1個(gè)圖像中求出的精度信息表示的精度較低是指，在該圖像與圖像列中的其他圖像之間求出變形信息的情況下，該變形信息未適當(dāng)表示2個(gè)圖像間的變形。由此，在本實(shí)施方式的精度信息的計(jì)算時(shí)，不需要先求出對(duì)應(yīng)的變形信息，根據(jù)情況，可以使用先計(jì)算精度信息、并根據(jù)該精度信息決定是否計(jì)算對(duì)應(yīng)的變形信息的方法。同樣，由針對(duì)2個(gè)圖像的組合而求出的精度信息表示的精度較低是指，在該2個(gè)圖像間求出變形信息的情況下，該變形信息未適當(dāng)表示2個(gè)圖像間的變形。

由此，能夠根據(jù)表示變形信息的精度的精度信息檢測(cè)場(chǎng)景變換。如圖37(A)、圖37(B)所示，在變形信息的精度較低的情況下，無(wú)法充分得到使用了變形信息的處理的優(yōu)點(diǎn)即抑制無(wú)法觀察的區(qū)域的產(chǎn)生、或抑制關(guān)注區(qū)域的漏看可能性這樣的效果。關(guān)于這點(diǎn)，通過(guò)根據(jù)精度信息檢測(cè)場(chǎng)景變換，能夠提高可否刪除判定處理的精度。并且，與場(chǎng)景變換檢測(cè)無(wú)關(guān)，通過(guò)使用精度信息，也能夠提高精度，但是，該情況下，需要進(jìn)行場(chǎng)景變換檢測(cè)用的其他處理。關(guān)于這點(diǎn)，如果在場(chǎng)景變換檢測(cè)中使用精度信息，則能夠通過(guò)簡(jiǎn)單的處理實(shí)現(xiàn)可否刪除判定處理的精度提高、以及圖像精簡(jiǎn)處理的高效化、高速化。

并且，處理部100也可以進(jìn)行如下處理：針對(duì)多個(gè)圖像中的選擇圖像的各像素判定是否適于計(jì)算變形信息，根據(jù)判定為適于計(jì)算變形信息的像素的數(shù)量求出精度信息，根據(jù)所求出的精度信息，檢測(cè)圖像列中的與選擇圖像對(duì)應(yīng)的位置處的場(chǎng)景變換。

由此，在從圖像列中選擇了給定的圖像作為選擇圖像的情況下，能夠根據(jù)該選擇圖像的各像素的判定結(jié)果求出選擇圖像的精度信息?？紤]變形信息的各種形式，并且，還考慮使用了該變形信息的可否刪除判定處理(狹義地講為其中的變形處理)的各種方法，但是，一個(gè)圖像上的給定的像素對(duì)應(yīng)于另一個(gè)圖像上的哪個(gè)位置的像素是基本想法。即，自然是根據(jù)像素單位的信息決定變形信息的精度，在本實(shí)施方式中，針對(duì)選擇圖像的各像素判定是否適于計(jì)算變形信息，根據(jù)判定結(jié)果求出精度信息。具體而言，如圖38所示，將適于計(jì)算變形信息的像素?cái)?shù)(掩蓋像素?cái)?shù))相對(duì)于選擇圖像的全部像素?cái)?shù)的比例等作為精度信息即可。

另外，在根據(jù)從選擇圖像中求出的精度信息判定為將該選擇圖像作為對(duì)象的變形信息的精度較低的情況下，視為在圖像列中的選擇圖像的位置檢測(cè)到場(chǎng)景變換。例如，如圖35(A)那樣，可以視為在選擇圖像及其后方1個(gè)圖像之間存在場(chǎng)景變換?；蛘?，考慮到選擇圖像與其前方1個(gè)圖像之間的變形信息的精度也較低，所以，如圖35(B)那樣，可以視為在選擇圖像與其后方1個(gè)圖像之間、以及選擇圖像與其前方1個(gè)圖像之間的2個(gè)部位檢測(cè)到場(chǎng)景變換。

并且，處理部100可以在選擇圖像上設(shè)定包含作為是否適于計(jì)算變形信息的判定對(duì)象的處理對(duì)象像素的給定尺寸的區(qū)域，根據(jù)所設(shè)定的區(qū)域中的紋理信息，判定處理對(duì)象像素是否適于計(jì)算變形信息。

這里，紋理表示圖像的圖案。例如，可以對(duì)圖像進(jìn)行二維傅里葉轉(zhuǎn)換等求出空間頻率的功率譜，將其結(jié)果作為紋理信息。但是，本實(shí)施方式的紋理信息只要是表示圖像上的圖案量的信息即可，紋理信息可以包含表示被攝體的輪廓等的邊緣信息。

由此，能夠根據(jù)紋理信息求出圖像上的各像素是否適于計(jì)算變形信息。由于假設(shè)描繪了復(fù)雜圖案的情況容易區(qū)分處理對(duì)象像素與其周邊的其他像素，所以，在求出選擇圖像與其他圖像之間的變形信息時(shí)，明確處理對(duì)象像素與該其他圖像上的哪個(gè)像素對(duì)應(yīng)的可能性較高。相反，在沒(méi)有圖案的情況下，無(wú)法區(qū)分處理對(duì)象像素和其他像素，必然難以進(jìn)行處理對(duì)象像素與其他圖像上的像素的對(duì)應(yīng)。

另外，針對(duì)各像素判定該像素是否適于計(jì)算變形信息時(shí)，不限于使用紋理信息，例如也可以使用專(zhuān)利文獻(xiàn)3所公開(kāi)的方法等。

并且，處理部100可以求出圖像列的多個(gè)圖像中的第1圖像與第1圖像的下一個(gè)第2圖像之間的相似度信息作為精度信息。然后，根據(jù)所求出的精度信息，檢測(cè)圖像列中的第1圖像與第2圖像之間的位置處的場(chǎng)景變換。

由此，能夠使用2個(gè)圖像間(這里為相鄰的圖像間)的相似度信息作為精度信息。這是因?yàn)?，認(rèn)為圖像間的相似度越高，則能夠以越高精度計(jì)算變形信息。相似度信息可以使用以往公知的NCC等?；蛘撸部梢郧蟪鲆酝谋硎緢D像間相差度的SSD或SAD，將其倒數(shù)作為相似度信息。另外，如圖39所示，該情況下的場(chǎng)景變換的位置為第1圖像與第2圖像之間即可。

并且，處理部100可以在從圖像列中檢測(cè)到第i(i為整數(shù))場(chǎng)景變換和第i場(chǎng)景變換的下一個(gè)的第i+1場(chǎng)景變換的情況下，設(shè)定圖像列的多個(gè)圖像中的、在第i場(chǎng)景變換的后方且在第i+1場(chǎng)景變換的前方的圖像作為部分圖像列。

由此，如圖32(B)所示，能夠根據(jù)場(chǎng)景變換來(lái)設(shè)定部分圖像列。在本實(shí)施方式中，由于假設(shè)在圖像與圖像之間檢測(cè)到場(chǎng)景變換(但是不限于此)，所以，設(shè)定以第i場(chǎng)景變換之后的圖像為始點(diǎn)、以第i+1場(chǎng)景變換之前的圖像為終點(diǎn)的圖像列作為部分圖像列。另外，考慮在第i場(chǎng)景變換與第i+1場(chǎng)景變換之間僅存在1張圖像的情況，但是，該情況下，如果決定將該圖像保留在精簡(jiǎn)圖像列中或?qū)⑵鋭h除(如果考慮抑制產(chǎn)生無(wú)法觀察的區(qū)域等，則優(yōu)選將其保留在精簡(jiǎn)圖像列中)，則不需要設(shè)定為部分圖像列。或者，也可以統(tǒng)一設(shè)定為部分圖像列，并對(duì)部分圖像列進(jìn)行處理。該情況下，在S1004中設(shè)定基準(zhǔn)圖像，然后，在S1005中不存在要選擇為判定對(duì)象圖像的圖像，所以，在針對(duì)由1張圖像構(gòu)成的部分圖像列的處理中，將該圖像保留在精簡(jiǎn)圖像列中，處理結(jié)束。

并且，在設(shè)定了多個(gè)部分圖像列的情況下，針對(duì)多個(gè)部分圖像列，處理部100可以并行選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息判定可否刪除判定對(duì)象圖像。

具體而言，在從圖像列中檢測(cè)到第j(j為整數(shù))場(chǎng)景變換的情況下，處理部100設(shè)定包含圖像列的多個(gè)圖像中的第j場(chǎng)景變換的前方的圖像的第k(k為整數(shù))部分圖像列和包含第j場(chǎng)景變換的后方的圖像的第k+1部分圖像列。該情況下，并行執(zhí)行如下處理：從第k部分圖像列中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息判定可否刪除判定對(duì)象圖像；以及從第k+1部分圖像列中選擇基準(zhǔn)圖像和判定對(duì)象圖像，根據(jù)基準(zhǔn)圖像與判定對(duì)象圖像之間的變形信息判定可否刪除判定對(duì)象圖像。

由此，由于能夠并行執(zhí)行針對(duì)各部分圖像列的可否刪除判定處理(圖34的S1004～S1007所示的處理)，所以，能夠?qū)崿F(xiàn)圖像精簡(jiǎn)處理的高速化。

以上對(duì)應(yīng)用了本發(fā)明的6個(gè)實(shí)施方式1～6及其變形例進(jìn)行了說(shuō)明，但是，本發(fā)明不限于各實(shí)施方式1～6及其變形例，能夠在實(shí)施階段在不脫離發(fā)明主旨的范圍內(nèi)對(duì)結(jié)構(gòu)要素進(jìn)行變形而具體化。并且，通過(guò)適當(dāng)組合上述各實(shí)施方式1～6和變形例所公開(kāi)的多個(gè)結(jié)構(gòu)要素，能夠形成各種發(fā)明。例如，可以從各實(shí)施方式1～6和變形例所記載的全部結(jié)構(gòu)要素中刪除若干個(gè)結(jié)構(gòu)要素。進(jìn)而，還可以適當(dāng)組合不同實(shí)施方式和變形例中說(shuō)明的結(jié)構(gòu)要素。并且，在說(shuō)明書(shū)或附圖中，至少一次與更加廣義或同義的不同用語(yǔ)一起記載的用語(yǔ)能夠在說(shuō)明書(shū)或附圖的任意部位置換為該不同用語(yǔ)。這樣，能夠在不脫離發(fā)明主旨的范圍內(nèi)進(jìn)行各種變形和應(yīng)用。

標(biāo)號(hào)說(shuō)明

100：處理部；200：圖像列取得部；300：存儲(chǔ)部；1001：基準(zhǔn)圖像選擇部；1002：判定對(duì)象圖像選擇部；1003：覆蓋區(qū)域計(jì)算部；1004：覆蓋率計(jì)算部；1005：可否刪除判定部；1006：圖像列分割部；1007：第2基準(zhǔn)圖像選擇部；1008：部分圖像列設(shè)定部；1009：精簡(jiǎn)圖像列決定部；1010：精簡(jiǎn)候選圖像列生成部；1011：基準(zhǔn)圖像選擇部；1012：判定對(duì)象圖像選擇部；1013：變形信息取得部；1014：觀察區(qū)域設(shè)定部；1015：對(duì)應(yīng)區(qū)域設(shè)定部；1016：圖像特征量計(jì)算部；1017：可否刪除判定部；1018：部分圖像列設(shè)定部；1019：變形信息取得部；1020：場(chǎng)景變換檢測(cè)部；1021：部分圖像列設(shè)定部；1022：基準(zhǔn)圖像選擇部；1023：判定對(duì)象圖像選擇部；1024：可否刪除判定部；1025：覆蓋區(qū)域計(jì)算部；1026：覆蓋率計(jì)算部；1027：閾值判定部。