圖像處理裝置、程序和圖像處理方法
【專利摘要】圖像精簡裝置包含：第1圖像精簡處理部(100)，其通過基于多個圖像間的相似度的第1圖像精簡處理，取得第1精簡圖像列；第2圖像精簡處理部(200)，其通過針對多個圖像中的各圖像的、基于對象物體或場景的識別處理的第2圖像精簡處理，取得第2精簡圖像列；以及合并處理部(300)，其進(jìn)行第1精簡圖像列和第2精簡圖像列的合并處理、或第1圖像精簡處理和第2圖像精簡處理的合并處理，來取得輸出精簡圖像列。
【專利說明】圖像處理裝置、程序和圖像處理方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、程序和圖像處理方法等。

【背景技術(shù)】
[0002] 在根據(jù)給定時間間隔以時間序列的方式持續(xù)靜態(tài)圖像拍攝的情況下、在通過多個 圖像網(wǎng)羅具有空間范圍的被攝體的情況下、或者在拍攝動態(tài)圖像后取得構(gòu)成該動態(tài)圖像的 各圖像作為靜態(tài)圖像的情況下等，取得時間或空間上連續(xù)的非常大量的圖像（以下也記載 為圖像列）。在這種情況下，圖像列中接近（即時間或空間上接近）的圖像彼此是相似圖像 的可能性較高，在掌握所拍攝的內(nèi)容時，檢查大量的全部圖像的必要性不高。圖像張數(shù)為幾 萬張以上的情況本來就不稀奇，用戶手動檢查全部圖像本身的負(fù)擔(dān)很大。
[0003]因此，需要通過從圖像列中刪除一部分圖像，精簡為張數(shù)比原來的圖像列的張數(shù) 少的圖像列（以下將該處理記載為圖像精簡處理）。例如在專利文獻(xiàn)1中公開了如下的圖 像精簡處理方法：通過提取圖像列中的場景變化的邊界的圖像或代表圖像列的圖像，保留 容易掌握圖像列的內(nèi)容的圖像。
[0004] 現(xiàn)有技術(shù)文獻(xiàn)
[0005] 專利文獻(xiàn)
[0006] 專利文獻(xiàn)1 :日本特開2009-5020號公報
[0007] 專利文獻(xiàn)2 :日本特開2011-24763號公報


【發(fā)明內(nèi)容】

[0008] 發(fā)明所要解決的課題
[0009]例如在醫(yī)學(xué)領(lǐng)域中應(yīng)用圖像精簡技術(shù)的情況下，從避免疾患的漏看的觀點來看， 需要抑制產(chǎn)生由于刪除圖像而無法觀察的區(qū)域。特別是需要使得病變區(qū)域或異常區(qū)域那樣 的重要區(qū)域不包含在無法觀察的區(qū)域中。
[0010]但是，如專利文獻(xiàn)1的方法那樣，當(dāng)僅保留場景變化的邊界的圖像、或以是否容易 直觀地觀察精簡后的圖像列的觀點進(jìn)行圖像精簡時，可能產(chǎn)生由于刪除圖像而無法觀察的 區(qū)域，并不理想。并且，由于無法觀察的區(qū)域的產(chǎn)生程度取決于圖像的內(nèi)容，所以，在現(xiàn)有的 圖像精簡處理的方法中，難以控制疾患的漏看等的程度。
[0011] 根據(jù)本發(fā)明的若干個方式，能夠提供如下的圖像處理裝置、程序和圖像處理方法 等：在抑制由于圖像刪除而無法觀察的區(qū)域產(chǎn)生的情況下，進(jìn)行高效的圖像精簡處理。 [0012] 用于解決課題的手段
[0013]本發(fā)明的一個方式涉及一種圖像處理裝置，其包含：第1圖像精簡處理部，其通過 基于多個圖像間的相似度的第1圖像精簡處理，取得第i精簡圖像列；第2圖像精簡處理 部，其通過針對所述多個圖像中的各圖像的、基于對象物體或場景的識別處理的第2圖像 精簡處理，取得第 2精簡圖像列；以及合并處理部，其進(jìn)行所述第1精簡圖像列和所述第2 精簡圖像列的合并處理、或所述第1圖像精簡處理和所述第2圖像精簡處理的合并處理，來 取得輸出精簡圖像列。
[0014] 在本發(fā)明的一個方式中，在考慮了基于相似度的第1圖像精簡處理、和基于對象 物體等的識別處理的第2圖像精簡處理的情況下，進(jìn)行這些處理的合并處?，來取得輸出 精簡圖像列。由此，能夠進(jìn)行將使用了相似度時的優(yōu)點、和使用了對象物體等的識別處理時 的優(yōu)點組合起來的圖像精簡處理，能夠進(jìn)行高效的圖像精簡和用戶的便利性提高等。
[0015] 本發(fā)明的其他方式涉及一種圖像處理裝置，其包含：圖像列取得部，其取得具有多 個圖像的圖像列；以及處理部，其基于刪除所述圖像列取得部所取得的所述圖像列的所述 多個圖像的一部分的第1可否刪除判定處理和第2可否刪除判定處理，進(jìn)行取得精簡圖像 列的圖像精簡處理，所述處理部設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的 關(guān)注圖像列，從所設(shè)定的所述關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選 擇第1判定對象圖像，根據(jù)表示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的 第1變形信息，進(jìn)行判定所述第1判定對象圖像可否刪除的處理，作為所述第1可否刪除判 定處理，所述處理部利用所述圖像列，設(shè)定在所述第1可否刪除判定處理中被判定為不可 刪除的所述圖像連續(xù)多個而成的部分圖像列，所述處理部從所述部分圖像列中選擇第2基 準(zhǔn)圖像和第2判定對象圖像，根據(jù)表示所述第2基準(zhǔn)圖像與所述第2判定對象圖像之間的 變形的第2變形信息，進(jìn)行判定所述第2判定對象圖像可否刪除的處理，作為所述第2可否 刪除判定處理。
[0016] 在本發(fā)明的其他方式中，設(shè)定關(guān)注圖像列，根據(jù)所設(shè)定的關(guān)注圖像列進(jìn)行第1可 否刪除判定處理，并根據(jù)第1可否刪除判定處理的結(jié)果，進(jìn)行第2可否刪除判定處理。將第 1、第2可否刪除判定處理設(shè)為基于圖像間的變形信息的處理，因此能夠進(jìn)行考慮到了關(guān)注 圖像和變形信息兩者的圖像精簡處理。此時，成為使用前段中的結(jié)果進(jìn)行后段處理的多階 段處理，因此與分別獨立進(jìn)行的情況相比，能夠進(jìn)行有效的圖像精簡處理等。
[0017] 此外，本發(fā)明的其他方式涉及使計算機作為上述各部件發(fā)揮功能的程序。
[0018] 并且，本發(fā)明的其他方式涉及進(jìn)行第1圖像精簡處理和第2圖像精簡處理的圖像 處理方法，所述第1圖像精簡處理根據(jù)多個圖像間的相似度，取得第1精簡圖像列，所述第 2圖像精簡處理基于針對所述多個圖像中的各圖像的、對象物體或場景的識別處理，取得第 2精簡圖像列，在所述圖像處理方法中，進(jìn)行如下合并處理：通過進(jìn)行所述第1精簡圖像列 和所述第2精簡圖像列的合并處理、或所述第1圖像精簡處理和所述第2圖像精簡處理的 合并處理，取得輸出精簡圖像列。
[0019] 并且，本發(fā)明的其他方式涉及圖像處理方法，其中，取得具有多個圖像的圖像列， 設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從所設(shè)定的所述關(guān) 注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選擇第1判定對象圖像，進(jìn)行根據(jù)表 示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的第1變形信息，判定所述第1 判定對象圖像可否刪除的處理，作為第1可否刪除判定處理，利用所述圖像列，設(shè)定在所述 第1可否刪除判定處理中被判定為不可刪除的所述圖像連續(xù)多個而成的部分圖像列，從所 述部分圖像列中選擇第2基準(zhǔn)圖像和第 2判定對象圖像，進(jìn)行根據(jù)表示所述第2基準(zhǔn)圖像 與所述第2判定對象圖像之間的變形的第2變形信息，判定所述第2判定對象圖像可否刪 除的處理，作為第2可否刪除判定處理，基于所述第1可否刪除判定處理和所述第2可否刪 除判定處理，進(jìn)行刪除所述圖像列的所述多個圖像的一部分來取得精簡圖像列的圖像精簡 處理。

【專利附圖】

【附圖說明】
[0020] 圖1是本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例。
[0021] 圖2是說明計算覆蓋率的方法的圖。
[0022] 圖3(A)、圖3(B)是說明第1圖像精簡處理的具體例的圖。
[0023] 圖4是說明第1圖像精簡處理的流程圖。
[0024] 圖5是說明第2圖像精簡處理的流程圖。
[0025] 圖6是說明第2圖像精簡處理的圖。
[0026] 圖7是說明第1實施方式的合并處理的流程圖。
[0027] 圖8(A)、圖8(B)是說明第2精簡圖像列的更新處理的圖。
[0028] 圖9 (A)、圖9 (B)是說明第2精簡圖像列的可否更新判定處理的圖。
[0029] 圖10是說明第2實施方式的合并處理的流程圖。
[0030] 圖11是本實施方式的圖像精簡裝置的另一系統(tǒng)結(jié)構(gòu)例。
[0031] 圖12(A)?圖12(C)是說明第3實施方式的方法的圖。
[0032] 圖13是說明第3實施方式的合并處理的流程圖。
[0033] 圖14⑷?圖14⑶是說明第4實施方式的方法的圖。
[0034] 圖15是說明第4實施方式的合并處理的流程圖。
[0035] 圖16(A)?圖16(D)是說明本實施方式的圖像精簡處理的圖。
[0036] 圖17是第5實施方式的圖像處理裝置的結(jié)構(gòu)例。
[0037] 圖18是說明第5實施方式的圖像精簡處理的流程圖。
[0038] 圖19(A)?圖19⑶是說明基準(zhǔn)圖像和判定對象圖像的選擇方法的圖。
[0039] 圖20是第1可否刪除判定部的結(jié)構(gòu)例。
[0040] 圖21是第2可否刪除判定部的結(jié)構(gòu)例。
[0041] 圖22是第1可否刪除判定部的另一結(jié)構(gòu)例。
[0042] 圖23(A)?圖23(E)是說明對非覆蓋區(qū)域的基于結(jié)構(gòu)要素的收縮處理的圖。
[0043] 圖24(A)、圖24⑶是說明對判定對象圖像的基于結(jié)構(gòu)要素的收縮處理的圖。
[0044] 圖25 (A)、圖25⑶是基準(zhǔn)圖像和要覆蓋區(qū)域的包含判定的例子。
[0045] 圖26(A)、圖26(B)是說明使用了結(jié)構(gòu)要素的另一處理的圖。
[0046] 圖27是第2基準(zhǔn)圖像選擇部的結(jié)構(gòu)例。
[0047] 圖28(A)?圖28(G)是說明后方基準(zhǔn)圖像的更新方法的圖。
[0048] 圖29是用于說明第7實施方式的圖像精簡處理的流程圖。
[0049] 圖30是圖像處理裝置的基本的系統(tǒng)結(jié)構(gòu)例。

【具體實施方式】
[0050] 下面，對實施方式進(jìn)行說明。另外，以下說明的本實施方式并不是不當(dāng)限定權(quán)利要 求范圍所記載的本發(fā)明的內(nèi)容。并且，本實施方式中說明的全部結(jié)構(gòu)不一定是本發(fā)明的必 需結(jié)構(gòu)要件。
[0051] 1.本實施方式的方法
[0052]首先，對本實施方式的方法進(jìn)行說明。在取得由時間或空間上連續(xù)的大量圖像構(gòu) 成的圖像列的情況下，在用戶使用該圖像列進(jìn)行某些處理（例如如果是內(nèi)窺鏡圖像列，則 進(jìn)行診斷等醫(yī)療行為）時，優(yōu)選進(jìn)行圖像精簡處理。之所以這樣，是因為，圖像列所包含的 圖像張數(shù)非常多，用戶在觀看全部圖像后進(jìn)行判斷很費力。并且，在圖像列所包含的圖像中 存在彼此相似的圖像的可能性很高，即使檢查全部這種相似的圖像，可取得的信息量也有 限，與勞動量不相稱。
[0053]作為具體例，考慮使用膠囊內(nèi)窺鏡拍攝而得到的圖像列。膠囊內(nèi)窺鏡是內(nèi)置有小 型照相機的膠囊形狀的內(nèi)窺鏡，按給定時間間隔（例如1秒兩次等）拍攝圖像。膠囊內(nèi)窺 鏡從內(nèi)服到排出需要幾小時（根據(jù)情況而需要十幾小時），所以，在1個用戶的1次檢查中 取得幾萬張拍攝圖像。并且，膠囊內(nèi)窺鏡在活體內(nèi)移動時，由于受到該活體的運動影響等而 停留在相同場所或向相反方向返回。因此，在大量圖像中，存在多個拍攝與其他圖像相同的 被攝體、在病變發(fā)現(xiàn)等中有用性不高的圖像。
[0054] 在現(xiàn)有的圖像精簡處理中，提取出了場景變化的邊界的圖像、代表圖像列的圖像。 但是，在這種方法中，刪除圖像時，沒有特別考慮作為該刪除對象的圖像中所拍攝的被攝 體、和保留圖像中所拍攝的被攝體之間的關(guān)系。因此，可能產(chǎn)生如下情況：在精簡后的圖像 列所包含的任意圖像上，均未拍攝到在精簡前的圖像列所包含的圖像上所拍攝的被攝體。 [0055] 該情況特別是在醫(yī)療領(lǐng)域的圖像精簡處理中并不理想。在醫(yī)療領(lǐng)域中，在其目的 方面，必須極力抑制作為應(yīng)關(guān)注區(qū)域的關(guān)注區(qū)域（例如病變部）的漏看。因此，優(yōu)選拍攝活 體內(nèi)的盡可能寬的范圍，在圖像精簡處理中，應(yīng)該抑制產(chǎn)生由于刪除給定圖像而變得無法 觀察的被攝體范圍。
[0056] 因此，本 申請人:從抑制由于圖像刪除而無法觀察的區(qū)域產(chǎn)生的觀點來看，提出了 進(jìn)行圖像精簡處理的方法。具體而言，使用基于作為圖像精簡處理對象的圖像列所包含的 多個圖像間的相似度的圖像精簡處理。通過使用相似度，能夠進(jìn)行基于多個圖像的關(guān)系的 圖像精簡處理。
[0057] 考慮多種求出相似度的方法，但例如可以從圖像列中選擇基準(zhǔn)圖像（保留圖像、 根據(jù)基準(zhǔn)圖像的設(shè)定方法而成為保留候選的圖像）和判定對象圖像（判定是否刪除的對象 圖像），并進(jìn)行基于基準(zhǔn)圖像和判定對象圖像之間的變形信息的圖像精簡處理。具體而言， 如圖2所示，通過對基準(zhǔn)圖像進(jìn)行變形，在判定對象圖像上計算覆蓋區(qū)域。在基準(zhǔn)圖像中所 拍攝的被攝體與在判定對象圖像的覆蓋區(qū)域上所拍攝的被攝體對應(yīng)。即，判定對象圖像中 的覆蓋區(qū)域外的范圍（以下記述為非覆蓋區(qū)域）是在刪除了該判定對象圖像的情況下、即 使保留基準(zhǔn)圖像也無法覆蓋的區(qū)域。
[0058]由此，作為一例，計算覆蓋區(qū)域在判定對象圖像中所占的比例等作為覆蓋率，根據(jù) 計算出的覆蓋率判定是否刪除判定對象圖像，由此，對無法觀察的被攝體范圍的產(chǎn)生程度 進(jìn)行控制。例如，如果在覆蓋率為閾值以上時刪除判定對象圖像、在覆蓋率小于閾值時不刪 除判定對象圖像，則能夠根據(jù)闞值的設(shè)定，對無法覆蓋的區(qū)域的產(chǎn)生程度進(jìn)行控制。
[0059] 如圖23(A)?圖23⑶所示，作為使用了變形信息的圖像精簡處理的另一例，可以 根據(jù)對非覆蓋區(qū)域的基于結(jié)構(gòu)要素（與關(guān)注區(qū)域?qū)?yīng)）的收縮處理結(jié)果，對判定對象圖像 可否刪除進(jìn)行判定。詳細(xì)將后述，但該情況下，即使刪除了判定對象圖像，也能夠保證在該 判定對象圖像上所拍攝的結(jié)構(gòu)要素的尺寸以上的區(qū)域的至少一部分被拍攝到基準(zhǔn)圖像上。 因此，在判定對象圖像中拍攝了關(guān)注區(qū)域整體的情況下，不論該關(guān)注區(qū)域在判定對象圖像 上的位置如何，都能夠通過基準(zhǔn)圖像觀察其至少一部分，因此能夠抑制關(guān)注區(qū)域的漏看可 能性。
[0060]另外，使用變形信息的方法是計算相似度的方法的一例，也可以通過其他方法求 出圖像間的相似度。
[0061] 但是，在使用相似度的圖像精簡處理中，根據(jù)圖像間的關(guān)系進(jìn)行處理，因此有可能 未考慮到作為處理對象的圖像中所拍攝的被攝體和場景等。因此，如果想拍攝到圖像上的 對象（例如在膠囊內(nèi)窺鏡中是醫(yī)生的觀察對象，狹義地講是病變部等區(qū)域）是明確的，則與 基于相似度的圖像精簡處理分開地，另外執(zhí)行基于在圖像上是否拍攝有該對象這一觀點而 進(jìn)行的圖像精簡處理也是有用的。
[0062] 因此，本 申請人:提出如下方法：進(jìn)行基于相似度的第1圖像精簡處理、和基于對象 物體或場景識別處理的第2圖像精簡處理兩方，并且進(jìn)行合并兩個處理來取得輸出精簡圖 像列的合并處理。由此，能夠進(jìn)行兼有兩個圖像精簡處理的優(yōu)點的圖像精簡處理。具體而 曰' 1?夠進(jìn)行可在抑制無法觀察的被攝體范圍產(chǎn)生的同時、高效地觀察作為觀察對象的物 體和場景的圖像精簡處理。
[0063] 以下，使用第1?第4實施方式針對該方法說明具體例。在第1實施方式中，通過 第、1圖像精簡處理取得第1精簡圖像列，并且通過第2圖像精簡處理取得第2精簡圖像列， 作為合并處理，進(jìn)行合并第i精簡圖像列和第2精簡圖像列的處理。在第2實施方式中，在 取得了第1精簡圖像列和第2精簡圖像列后，根據(jù)第丨精簡圖像列進(jìn)行第2精簡圖像列的 更新處理（狹義地講，是削減第2精簡圖像列所包含的精簡圖像張數(shù)的處理），對第i精簡 圖像列、和更新處理后的第2精簡圖像列進(jìn)行合并。
[0064]第3、第4實施方式是如下的實施方式：與其說與精簡圖像列的合并處理相關(guān)，不 如說與第1圖像精簡處理和第2圖像精簡處理這兩個處理的合并處理相關(guān)。在第3實施方 式中，將基于第2圖像精簡處理的結(jié)果（狹義地講，是第 2精麵像列）的第i醜精簡處 ^的執(zhí)行，作為臟合并處理來蹄。難賄，德U 2實施方式巾，第丨精簡圖 所包?的精簡圖像根據(jù)相似度被確定，但在第3實施方式中，除了相似度以外 圖像精簡處_結(jié)定隨。 在第4頭施方式中，組合第3實施方式的方法、和第2實施方式中的第 2精麵像 處進(jìn)行反饋處理。具體而言，進(jìn)行基于第2賺精簡處理的結(jié)果的第1圖像精 Ι----得第1精簡圖像列。然后，根撕取得的第1精麵像列，執(zhí)行第2精簡圖像列 而，再次進(jìn)雜于更新處理后的第 2精麵像列的第1 _精簡處理，取得 f ，并?綱^彳i的第1觀醜砸為輸出 _列。在無法撕更新處理 ，兄下，減時的第丨精簡圖像列設(shè)為輸出精簡圖像列即可，結(jié)果與第3實施 ^!!6] 外，在以下的說明中，麵過基于娜度的第1圖彳象精簡處理得到的圖像列設(shè) 精間圖像列，將第1精簡圖像列所包含的圖像稱作相似度精簡圖像此外將通討其 二if體等的處理的第2圖像精簡處理得到的圖像列簡 像列馳a關(guān)像稱作物體麵像。浦翻合并處理等為 曰 ^輸出_像列設(shè)為輸出精麵像列，將輸出精簡醜列所包含細(xì)像稱^輸出精簡=
[0067]此外，在進(jìn)行使用上述變形信息作為相似度的處理、并使用了關(guān)注區(qū)域的檢測處 理作為識別處理的情況下，還能夠考慮第1?第4實施方式以外的方法。與僅使用了相似 度的處理同樣，僅以基于覆蓋率的可否刪除判定，沒有特別考慮可否刪除拍攝有關(guān)注區(qū)域 的圖像即關(guān)注圖像。例如，如果關(guān)注圖像以外的其他圖像（可以是其他關(guān)注圖像、也可以是 不為關(guān)注圖像的圖像）的覆蓋率高，則即使是關(guān)注圖像也成為刪除對象。因此，在極端的情 況下，還有可能從圖像列中刪除所有關(guān)注圖像，且無法從圖像精簡處理后的精簡圖像列中 觀察到關(guān)注區(qū)域。
[0068]此外，在基于結(jié)構(gòu)要素的可否刪除判定中，存在刪除拍攝有關(guān)注區(qū)域整體的圖像、 保留僅拍攝有該關(guān)注區(qū)域的小部分的圖像的情形，從關(guān)注區(qū)域的觀察這一觀點來看，可能 會不理想。
[0069]當(dāng)然，還充分考慮了如下情形：能夠通過使用了變形信息的處理（使用了覆蓋率、 結(jié)構(gòu)要素、或該兩方的處理等）進(jìn)行有效的圖像精簡處理。但是，如果像使用了膠囊內(nèi)窺鏡 的情況下的病變部那樣，存在應(yīng)重點觀察的關(guān)注區(qū)域，則基于是否拍攝有關(guān)注區(qū)域這一觀 點的處理的有用性高。具體而言，能夠通過積極地（狹義地講是必須）將關(guān)注圖像保留到 精簡圖像列，應(yīng)對在使用了變形信息的處理中可能產(chǎn)生的問題。
[0070]因此，本 申請人:提出了如下方法：將所取得的圖像列中的、拍攝有關(guān)注區(qū)域的i個 或多個圖像設(shè)定為關(guān)注圖像列，根據(jù)所設(shè)定的關(guān)注圖像列，進(jìn)行使用了變形信息的圖像可 否刪除判定處理來取得精簡圖像列。但是，在如圖16(A)所示那樣求出關(guān)注圖像列，并與其 獨立地求出了根據(jù)變形信息進(jìn)行圖像精簡處理后的結(jié)果的圖像列的情況下，在取單純的并 集時，可能如圖16(B)的II中示出的部位那樣，存在圖像密集的部分。在該部位處，未被其 他圖像充分覆蓋的圖像可能被保留在精簡圖像列中，從而圖像精簡處理對圖像張數(shù)的削減 效果可能降低。因此這里，進(jìn)行基于關(guān)注圖像列的第1可否刪除判定處理、然后進(jìn)行基于第 1可否刪除判定處理結(jié)果的第2可否刪除判定處理這樣的2階段處理，由此提高圖像精簡處 理對圖像張數(shù)的削減效果。第1、第2可否刪除判定處理是使用了變形信息的處理，其詳細(xì) 情況將后述。
[0071]作為這里的圖像處理裝置的1個實施方式，如圖3〇所示，考慮包含處理部100、和 圖像列取得部30的圖像處理裝置。圖像列取得部30取得具有多個圖像的圖像列。并且， 處理部100進(jìn)行如下處理，作為第1可否刪除判定處理：設(shè)定由多個圖像所包含的1個或多 個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從所設(shè)定的關(guān)注圖像列中選擇第丨基準(zhǔn)圖像，并且從多個 圖像中選擇第1判定對象圖像，根據(jù)表示第1基準(zhǔn)圖像與第i判定對象圖像之間的變形的 第1變形信息，判定第1判定對象圖像可否刪除。此外，處理部 100利用圖像列，設(shè)定在第1 可否刪除判定處理中被判定為不可刪除的圖像連續(xù)多個而成的部分圖像列。而且，處理部 100進(jìn)行如下處理，作為第2可否刪除判定處理：從部分圖像列中選擇第 2基準(zhǔn)圖像和第2 判定對象圖像，根據(jù)表示第2基準(zhǔn)圖像與第2判定對象圖像之間的變形的第2變形信息，判 定第2判定對象圖像可否刪除。
[0072]以下，在第5實施方式中，對基本的方法進(jìn)行說明。在第5實施方式中，說明作為 第1、第2可否刪除判定處理而使用了覆蓋率的例子。其中，第i、第2可否刪除判定處理可 考慮各種變形例（例如使用結(jié)構(gòu)要素的方法）。因此，利用第6實施方式說明這些變形例。 此外，第2可否刪除判定處理中的基準(zhǔn)圖像（第2基準(zhǔn)圖像）和判定對象圖像（第 2判定 對象圖像）的選擇方法也可考慮各種變形例，因此利用第7實施方式說明這些變形例。 [0073] 2.第1實施方式
[0074] 對第1實施方式的方法進(jìn)行說明。首先說明圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例，然后敘 述第1圖像精簡處理和第2圖像精簡處理的具體例。最后說明合并處理的方法。
[0075] 2· 1系統(tǒng)結(jié)構(gòu)例
[0076]圖1示出本實施方式的圖像精簡裝置的結(jié)構(gòu)例。如圖1所示，圖像精簡裝置包含 圖像列取得部3〇、第1圖像精簡處理部100、第2圖像精簡處理部200、合并處理部300和輸 出部40。另外，圖像精簡裝置不限于圖1的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素（例如 輸出部40等）或追加其他結(jié)構(gòu)要素等各種變形。
[0077] 圖像列取得部30取得作為圖像精簡處理的對象的圖像列數(shù)據(jù)。要取得的圖像列 數(shù)據(jù)是時間或空間上連續(xù)的多個圖像，從圖像輸入裝置10或圖像數(shù)據(jù)庫20等被取得。對 于圖像輸入裝置10,可考慮數(shù)字照相機或膠囊內(nèi)窺鏡等、拍攝圖像的攝像裝置。圖像數(shù)據(jù)庫 2〇是存儲大量圖像的數(shù)據(jù)庫，蓄積由攝像裝置等取得的圖像數(shù)據(jù)。另外，圖像數(shù)據(jù)庫20可 以設(shè)置于與圖像精簡裝置遠(yuǎn)離的位置處，可以由經(jīng)由網(wǎng)絡(luò)與圖像精簡裝置連接的服務(wù)器等 構(gòu)成。此外，假定圖像輸入裝置10和圖像數(shù)據(jù)庫20與圖像精簡裝置分開設(shè)置，但被包含在 圖像精簡裝置中也無妨。
[0078] 第1圖像精簡處理部100進(jìn)行基于相似度的第1圖像精簡處理。第1圖像精簡處 理部100可以包含相似度計算部110、精簡處理部120和第1精簡圖像列生成部130。另外， 第1圖像精簡處理部100不限于圖1的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其 他結(jié)構(gòu)要素等各種變形。
[0079] 相似度計算部110計算由圖像列取得部3〇取得的圖像列所包含的圖像間的相似 度。精簡處理部120根據(jù)計算出的相似度，進(jìn)行精簡處理（具體而言，是第i精簡圖像列所 保留的相似度精簡圖像、和刪除圖像的確定處理）。第1精簡圖像列生成部 130基于精簡處 理部120中的精簡處理，生成作為第1圖像精簡處理部1〇〇的輸出的第1精簡圖像列。另 夕卜，第1圖像精簡處理的詳細(xì)情況將后述。
[0080]第2圖像精簡處理部2〇〇進(jìn)行基于對象物體或場景識別處理的第2圖像精簡處 理。第2圖像精簡處理部2〇〇可以包含識別處理部210、精簡處理部220和第2精簡圖像列 生成部230。另外，第2圖像精簡處理部 2〇0不限于圖1的結(jié)構(gòu)，可以實施省略其中一部分 結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。
[0081] 識別處理部210進(jìn)行由圖像列取得部30取得的圖像列所包含的圖像是包含對象 物體！是拍攝了作為對象的場景的識別處理。識別處理的方法可考慮多種，但例如可以存 儲表示對象物體和場景的模板，進(jìn)行使用了該模板的匹配處理。精簡處理部 22〇根據(jù)識別 處理部21〇中的識別結(jié)果，進(jìn)行精簡處理（具體而言，是第2精簡圖像列所保留的物體精簡 圖像、和刪除圖像的確定處理）。具體而言，進(jìn)行如下處理：考慮同一對象物體或同一場景 連續(xù)的區(qū)域而進(jìn)行了分段處理后，從所生成的片段（連續(xù)圖像列）中，選擇至少1張圖像作 為物體精簡圖像。第2精簡圖像列生成部230基于精簡處理部220中的精簡處理，生成作 為第2圖像精簡處理部200的輸出的第 2精簡圖像列。另外，第2圖像精簡處理的詳細(xì)情 況將后述。
[0082]合并處理部300進(jìn)行基于第1圖像精簡處理部1〇〇和第2圖像精簡處理部2〇〇中 的處理的合并處理。在本實施方式中，進(jìn)行第丨精簡圖像列和第2精簡圖像列的合并處理。 具體將后述。
[0083]輸出部40輸出作為合并處理部3〇0中的合并處理結(jié)果而被取得的輸出精簡圖像 列。輸出部40例如可以是由液晶顯示器或有機EL顯示器等實現(xiàn)的顯示部，該情況下，考慮 對輸出精簡圖像列所包含的輸出精簡圖像進(jìn)行顯示等。另外，圖像精簡裝置不需要具有作 為與用戶的接口的顯示部等，可以與圖像精簡裝置分開設(shè)置輸出部 4〇(；顯示部）。
[0084] 2. 2第1圖像精簡處理
[0085]接著對基于相似度的第1圖像精簡處理進(jìn)行說明。作為這里使用的相似度，可考 慮圖像間的運動矢量、SSD或SAD、以及歸一化互相等的相關(guān)值等。另外，通常只要是被計算 為多個圖像間的相似度那樣的信息，則能夠利用任意的信息作為相似度。
[0086]作為基于相似度的圖像精簡處理的方法，可以考慮使用一直以來執(zhí)行的如下方 法：按相似度從小到大的順序進(jìn)行排序，通過從上位起選擇至所設(shè)定的數(shù)量為止，進(jìn)行場景 變化的檢測。
[0087]此外，如圖2所示，可以根據(jù)基準(zhǔn)圖像（第丨精簡圖像列所保留的相似度精簡圖 像、或相似度精簡圖像的候選圖像），將表示判定對象圖像被怎樣程度地覆蓋的覆蓋率用作 相似度，并根據(jù)該覆蓋率，進(jìn)行判定對象圖像可否刪除的判定，從而進(jìn)行圖像精簡。這里詳 細(xì)說明使用了覆蓋率的方法。
[0088] ^在使用覆蓋率的方法中，使用基準(zhǔn)圖像與判定對象圖像之間的變形信息，對基準(zhǔn) 圖像進(jìn)行變形并映射到判定對象圖像上。這里，變形信息是與基準(zhǔn)圖像上所拍攝的被攝體 被怎樣地變形并拍攝到判定對象圖像上對應(yīng)的信息，可以利用變形估計或根據(jù)運動矢量等 求出，也可以使用利用專利文獻(xiàn) 2所記載的方法估計的非剛體變形參數(shù)等。
[0089]圖2是設(shè)定了判定對象圖像前方的第1基準(zhǔn)圖像、和判定對象圖像后方的第2基 準(zhǔn)圖像這兩張作為基準(zhǔn)圖像的例子。判定對象圖像上的A1是對第1基準(zhǔn)圖像進(jìn)行變形而 得到的區(qū)域，A2是對第2基準(zhǔn)圖像進(jìn)行變形而得到的區(qū)域。例如考慮求出與Μ和A2的并 集對應(yīng)的區(qū)域作為覆蓋區(qū)域，并使用覆蓋區(qū)域在判定對象圖像整體中所占比例的值作為覆 蓋率。
[0090]判定對象圖像可否刪除的判定通過覆蓋率與事先設(shè)定的閾值（可以由系統(tǒng)設(shè)定， 也可以根據(jù)來自用戶的輸入確定）的比較處理來進(jìn)行即可。具體而言，如果覆蓋率小于閾 值，則將判定對象圖像判定為不可刪除，如果覆蓋率在閾值以上，則將判定對象圖像判定為 可刪除。覆蓋率為閾值以上的情況使得判定對象圖像中所拍攝的被攝體范圍中的、由閾值 表示的程度的部分被拍攝到第1基準(zhǔn)圖像和第2基準(zhǔn)圖像的至少一方中，因此只要保留第 1、第2基準(zhǔn)圖像作為相似度精簡圖像，則即使刪除了判定對象圖像，也能夠充分覆蓋此處 所拍攝的區(qū)域。
[0091]圖3(A)、圖3(B)圖示了第1、第2基準(zhǔn)圖像和判定對象圖像的選擇處理。另外，在 該處理中，確定了第1基準(zhǔn)圖像被選擇為相似度精簡圖像，而第2基準(zhǔn)圖像是相似度精簡圖 像的候選，最終不確定是否被選擇為相似度精簡圖像。
[0092] 如圖3㈧所示，設(shè)為選擇整個圖像列的第k個圖像作為第1基準(zhǔn)圖像（另外，與 如下情況對應(yīng)：關(guān)于第1?k _ 1個圖像，是設(shè)為相似度精簡圖像還是設(shè)為刪除圖像的判定 處理結(jié)束，第k?N個圖像成為了處理對象）。該情況下，首先選擇第k+2個圖像作為第2 基準(zhǔn)圖像。
[0093] 然后，從第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像前方起依次選擇判定對象圖像， 根據(jù)第1基準(zhǔn)圖像與判定對象圖像之間的變形信息，對第1基準(zhǔn)圖像進(jìn)行變形，并且根據(jù)第 2基準(zhǔn)圖像與判定對象圖像之間的變形信息，對第2基準(zhǔn)圖像進(jìn)行變形，從而計算覆蓋率。 進(jìn)而，根據(jù)計算出的覆蓋率，進(jìn)行判定對象圖像可否刪除的判定。
[0094] 如圖3㈧所示，在將第1基準(zhǔn)圖像和第2基準(zhǔn)圖像之間的所有圖像判定為可刪除 的情況（這里將閾值設(shè)為了 70% )下，作為第2基準(zhǔn)圖像，由于存在可以選擇與第1基準(zhǔn)圖 像相比進(jìn)一步遠(yuǎn)離的圖像的可能性，因此如圖3(B)所示那樣，進(jìn)行第2基準(zhǔn)圖像的重新選 擇。具體而言，將第k+2個第2基準(zhǔn)圖像更新為第k+3個即可。
[0095] 然后，再次針對第1基準(zhǔn)圖像與第2基準(zhǔn)圖像之間的圖像，進(jìn)行可否刪除的判定。 如圖3(B)所示，在具有被判定為不可刪除的判定對象圖像的情況下，在第1基準(zhǔn)圖像和當(dāng) 前的第2基準(zhǔn)圖像這兩張中，無法覆蓋其間所包含的所有圖像（具體而言，無法覆蓋被判定 為不可刪除的判定對象圖像），因此認(rèn)為過度增大了兩個基準(zhǔn)圖像的間隔、即第2基準(zhǔn)圖像 的更新（選擇位置的增計數(shù)）是不恰當(dāng)?shù)摹?br> [0096] 因此，保留當(dāng)前時刻的第2基準(zhǔn)圖像的前一個圖像（與圖3(A)中的第2基準(zhǔn)圖像 對應(yīng)）作為相似度精簡圖像。具體而言，選擇當(dāng)前時刻的第2基準(zhǔn)圖像的前一個圖像作為 新的第1基準(zhǔn)圖像，與此同時，關(guān)于第2基準(zhǔn)圖像、判定對象圖像，也重新選擇來繼續(xù)處理。 [0097] 圖4是說明使用了覆蓋率作為相似度的情況下的第1圖像精簡處理的流程圖。在 開始該處理后，設(shè)定作為圖像精簡處理的對象的圖像列的第I s個圖像，作為最初的相似度 精簡圖像（S101)。這里，Is的值可以是1(即可以將圖像列的起始的圖像設(shè)為相似度精簡 圖像），也可以是1以外的值。
[0098] 接著，將第Is個圖像設(shè)定為第1基準(zhǔn)圖像（Sl〇2)，并且將第IE個圖像設(shè)定為第2 基準(zhǔn)圖像（S103)。這里，將滿足IE = Is+2的值作為IE的初始值。
[0099] 并且，進(jìn)行、是否為超過處理對象圖像列所包含的圖像張數(shù)的值的判定（S104)， 在"是"的情況下結(jié)束圖像精簡處理。在"否"的情況下，由于能夠恰當(dāng)設(shè)定第2基準(zhǔn)圖像， 因此將第1基準(zhǔn)圖像和第2基準(zhǔn)圖像之間的圖像依次設(shè)定為判定對象圖像，并進(jìn)行可否刪 除判定（S105?Sl〇 8)。具體而言，將第1基準(zhǔn)圖像的下一圖像設(shè)為最初的判定對象圖像， 利用圖2示出的方法求出覆蓋率，并進(jìn)行與閾值的比較處理（S106、S107)。在覆蓋率為閾 值以上（Sl〇 7中的"是"）的情況下，由于判定對象圖像是可刪除的，因此將當(dāng)前的判定對象 圖像的后方1個圖像設(shè)為新的判定對象圖像（圖4中與i的增計數(shù)對應(yīng)）。在S107中未 判定為"否"、且S105?Sl〇 8的循環(huán)結(jié)束的情況下，如圖3 (A)所示，由于能夠利用第1、第2 基準(zhǔn)圖像覆蓋其間的所有圖像，因此對IE的值進(jìn)行增計數(shù)來更新第2基準(zhǔn)圖像（S109)，并 返回S104。
[0100] 在Sl〇7中判定為"否"的情況下，如圖3⑶所示，由于第1、第2基準(zhǔn)圖像之間的 至少1張圖像無法被兩個基準(zhǔn)圖像充分覆蓋，因此需要將該時刻的第2基準(zhǔn)圖像的前一個 圖像保留在精簡圖像中。因此，將第IE-1個圖像設(shè)定為下一相似度精簡圖像（S110)。與 此同時，設(shè)為I s = IE _ 1 (S111)，返回到Sl〇2,由此將設(shè)定為相似度精簡圖像的圖像設(shè)定為 新的第1基準(zhǔn)圖像來繼續(xù)處理。
[0101] 2. 3第2圖像精簡處理
[0102]接著，對基于對象物體或場景的識別處理的第2圖像精簡處理進(jìn)行說明。關(guān)于這 里的識別處理，能夠利用基于與參照圖像的相似度的檢測處理、或由基于機械學(xué)習(xí)的圖案 識別得到的識別結(jié)果等各種圖像識別或圖像檢測的處理結(jié)果。
[0103] 在第2圖像精簡處理中，對作為圖像精簡處理的對象的圖像列的所有圖像進(jìn)行識 別處理，對各圖像進(jìn)行是否拍攝了對象物體、或是否拍攝了作為對象的場景的判定。并且， 將拍攝有對象物體的圖像中的連續(xù)的圖像、或拍攝有對象場景的圖像中的連續(xù)的圖像設(shè)定 為連續(xù)圖像列（片段），關(guān)于各片段提取至少1張圖像，并設(shè)定為第2精簡圖像列所保留的 物體精簡圖像。
[0104]圖5是說明基于對象物體或場景的識別處理的第2圖像精簡處理的流程圖。這里， 特別說明將識別出的對象物體面積最大的圖像選擇為物體精簡圖像的例子，但從連續(xù)圖像 列中選擇物體精簡圖像的方法不限于此。
[0105]另外，設(shè)為進(jìn)行識別處理作為圖5的處理的預(yù)處理。作為其結(jié)果，從前方起對檢測 到對象物體等的圖像依次分配ID，該ID進(jìn)行了與編號的對應(yīng)，編號表示作為圖像精簡處理 的對象的圖像列（輸入圖像列）中的圖像位置。例如，如圖6所示，在設(shè)為通過針對輸入圖 像列的識別處理，在由斜線示出的圖像中檢測到對象物體等時，在由斜線示出的圖像中，從 起始起依次分配ID (這里，圖像編號和ID從0開始，但是不限于此）。此外，進(jìn)行了被分配 ID的圖像在輸入圖像列中是第幾個這樣的對應(yīng)，因此保持了 ID = 〇的圖像是輸入圖像列的 第1個、ID = 4的圖像是輸入圖像列的第7個這樣的信息。圖5說明在此之后的分段處理 和代表圖像（精簡圖像）的選擇處理。
[0106] 在開始圖5的處理后，首先將作為計數(shù)器值的count初始化（S201)。這里，count 是與物體精簡圖像的張數(shù)對應(yīng)的計數(shù)器值。另外，示出了從1個片段中選擇1張精簡圖像 的例子，因此count是與被設(shè)定為分段處理的結(jié)果的片段也對應(yīng)的計數(shù)器值。接著，將表示 對象物體面積的最大值的變量max初始化（S202)。
[0107] 在初始化后，反復(fù)S203?S208的循環(huán)，將作為預(yù)處理而被分配了 ID的圖像作為 對象，從前方起依次進(jìn)行處理。具體而言，將j = 0作為初始值，比較ID = j的圖像中的 對象物體的面積和max，在面積大于max的情況下，用面積的值改寫max的值，并且設(shè)定第 count個精簡圖像作為當(dāng)前ID的圖像（S204)。但是，精簡圖像理想的是不用ID的值表現(xiàn)， 而用是輸入圖像列的第幾個圖像來表現(xiàn)，因此根據(jù)輸入圖像列中的編號與ID的對應(yīng)，保持 輸入圖像列的第幾個圖像是第count個精簡圖像這樣的信息。
[0108] 然后，進(jìn)行ID = j的圖像與ID = j+Ι的圖像在輸入圖像列中是否相鄰的判定 (S2〇5)。用圖6來說的話，S205中的"否"的情況如ID = 2或ID = 4那樣，是指將位于片 段最后的圖像設(shè)為處理對象。因此，結(jié)束當(dāng)前片段中的處理，作為下一片段中的處理的預(yù)處 理，對count的值進(jìn)行增計數(shù)（S206)，并且將面積的最大值max初始化（S207)。
[0109] 此外，用圖6來說的話，S205中的"是"的情況如ID = 1或ID = 3那樣，是指將位 于片段起始或中途的圖像設(shè)為了處理對象，因此不進(jìn)行S206、S207的處理。另外，在片段起 始的圖像是處理對象的情況下，max = 0,因此在S204中，選擇當(dāng)前的圖像作為暫定的物體 精簡圖像。另一方面，在片段中途的圖像是處理對象的情況下，暫定選擇當(dāng)前片段所包含、 且處于處理對象的前方的給定圖像作為第count個物體精簡圖像，并且將此時的對象物體 的面積保持為max。因此，在S204中，進(jìn)行該暫定的物體精簡圖像中的對象物體面積、與ID =j的圖像中的對象物體面積的比較處理，如果ID = j的圖像中的對象物體面積較大，則 利用ID = j的圖像進(jìn)行第count個物體精簡圖像的重寫處理。此外，如果暫定的物體精簡 圖像中的對象物體面積較大，則一直保持該物體精簡圖像。
[0110] 結(jié)果在S203?S208中的循環(huán)中，進(jìn)行分段處理，在各片段中進(jìn)行將對象物體的面 積最大的圖像設(shè)為物體精簡圖像的處理，由此在對檢測到了對象物體的所有圖像進(jìn)行了上 述處理的情況下，結(jié)束處理。
[0111] 另外，這里敘述了選擇對象物體的面積最大那樣的圖像作為物體精簡圖像的方 法，但利用對象物體的圖像內(nèi)的位置、顏色信息、紋理信息、識別或檢測的精度等圖像識別、 或圖像檢測結(jié)果的信息，同樣也可以進(jìn)行圖像精簡處理。
[0112] 2. 4合并處理
[0113]接著，說明本實施方式中的合并處理。這里，進(jìn)行如下處理：選擇通過第1圖像精 簡處理得到的第1精簡圖像列、和通過第2圖像精簡處理得到的第2精簡圖像列中的至少 一方所包含的圖像，作為輸出精簡圖像列的輸出精簡圖像。
[0114]圖7是說明本實施方式的合并處理的流程圖。如圖7所示，合并處理成為S301? S306的循環(huán)，針對輸入圖像列的所有圖像進(jìn)行S302?S305的處理。
[0115]具體而言，進(jìn)行輸入圖像列的第i個圖像是否包含在第1精簡圖像列中（是否為 相似度精簡圖像）的判定（S3〇2)。在"是"的情況下，選擇第i個圖像作為輸出精簡圖像列 的輸出精簡圖像（S303)。在S3〇 2中的"否"的情況下，進(jìn)行第i個圖像是否包含在第2精 簡圖像列中（是否為物體精簡圖像）的判定（S304)。在"是，，的情況下，轉(zhuǎn)移到S303,選擇 第i個圖像作為輸出精簡圖像。在S304中的"否"的情況下，將第i個圖像設(shè)為刪除圖像 (S305)。然后，將i = 〇作為初始值，在將i增計數(shù)的同時，對輸入圖像列整體進(jìn)行該處理。 [0116] 在以上的本實施方式中，如圖1所示，圖像精簡裝置包含：第1圖像精簡處理部 1〇〇,其通過基于多個圖像間的相似度的第1圖像精簡處理，取得第1精簡圖像列；第2圖像 精簡處理部 2〇0,其通過針對多個圖像中的各圖像的、基于對象物體或場景的識別處理的第 2圖像精簡處理，取得第2精簡圖像列；以及合并處理部300,其進(jìn)行第1精簡圖像列和第2 精簡圖像列的合并處理、或第1圖像精簡處理和第2圖像精簡處理的合并處理，取得輸出精 簡圖像列。
[0117]這里，多個圖像被假定與由圖像列取得部30取得的圖像列整體對應(yīng)，但也可以是 該圖像列的一部分。
[0118]由此，能夠合并通過基于圖像間的相似度判定、和對象物體或場景的識別處理這 些不同觀點進(jìn)行的圖像精簡處理得到的精簡圖像列，取得輸出精簡圖像列，因此能夠進(jìn)行 兼具有兩個圖像精簡處理的優(yōu)點的圖像精簡處理。通過進(jìn)行使用了對象物體等的識別處理 的第2圖像精簡處理，能夠生成保留了拍攝有重要的對象物體的圖像中的恰當(dāng)圖像后的精 簡圖像列，但即使利用圖像識別、檢測處理也難以檢測所有重要的對象物體。在這點上，利 用基于相似度這一不同觀點的圖像精簡處理，抑制無法觀察的區(qū)域產(chǎn)生，由此能夠?qū)o法 檢測的重要物體包含到經(jīng)過第1圖像精簡處理的第1精簡圖像列中，能夠通過合并處理生 成互補的輸出精簡圖像列。
[0119] 此外，第1圖像精簡處理部100可以進(jìn)行如下處理，作為第1圖像精簡處理：從多 個圖像中選擇基準(zhǔn)圖像和判定對象圖像，根據(jù)基準(zhǔn)圖像與判定對象圖像之間的變形信息， 計算基準(zhǔn)圖像對判定對象圖像的覆蓋率作為相似度，根據(jù)覆蓋率進(jìn)行判定對象圖像可否刪 除的判定。
[0120] 這里，覆蓋率是表示判定對象圖像上所拍攝的被攝體中的、怎樣程度的被攝體被 拍攝到了基準(zhǔn)圖像上的信息。例如，在取得縱橫比為1 :1的圖像的情況下，判定對象圖像 中，在實際空間上縱橫分別10m的正方形的被攝體被占滿拍攝到圖像中，基準(zhǔn)圖像中，上述 被攝體所包含的縱橫分別5m的正方形的區(qū)域被占滿拍攝到圖像中。該情況下，判定對象圖 像中拍攝有實際空間中的100m 2的區(qū)域，基準(zhǔn)圖像中拍攝有實際空間中的25m2的區(qū)域（且 是上述100m2的區(qū)域所包含的區(qū)域）。因此，基準(zhǔn)圖像覆蓋了判定對象圖像的25%，因此作 為覆蓋率，可考慮25%、25m 2、或0. 25等值。另外，與平面的被攝體正對地進(jìn)行拍攝的情況 很少見，因此通常即使是相同的被攝體，在基準(zhǔn)圖像和判定對象圖像中，形狀也不同。在本 實施方式中，利用專利文獻(xiàn)2等的方法取得與這樣的變形對應(yīng)的變形信息，并使用該變形 信息計算覆蓋率。另外，覆蓋率只要是表示基準(zhǔn)圖像對判定對象圖像的覆蓋程度的信息即 可，不限于比例/比率等。
[0121] 此外，可否刪除的判定處理例如是與給定閾值的比較處理。如果增高閾值（例如， 如果設(shè)定為接近100%的值），則能夠期待提高以下效果：抑制由于刪除圖像而無法觀察的 區(qū)域產(chǎn)生。另一方面，如果降低閾值，則能夠減少精簡處理后的精簡圖像列所包含的圖像張 數(shù)。上述抑制效果的提高和減少圖像張數(shù)處于折衷的關(guān)系，能夠通過閾值的設(shè)定進(jìn)行控制， 因此期望根據(jù)狀況恰當(dāng)?shù)卦O(shè)定閾值。
[0122] 由此，通過第1圖像精簡處理刪除圖像后的結(jié)果是，能夠抑制無法觀察的被攝體 區(qū)域產(chǎn)生，并且能夠控制其抑制程度（強度）。這是因為，通過使用本實施方式的方法，如 果使用與X%對應(yīng)的值，作為上述用于可否刪除判定處理的閾值，則即使刪除了判定對象圖 像，也能夠保證該判定對象圖像上所拍攝的被攝體中的、X%被基準(zhǔn)圖像覆蓋（X%的被攝體 范圍被拍攝到基準(zhǔn)圖像上）。另外，既然作為變形信息難以完全不產(chǎn)生誤差地求出被攝體在 圖像上的變形，那么即使設(shè)定X作為閾值，判定對象圖像中的、被基準(zhǔn)圖像覆蓋的區(qū)域也有 可能小于X%。
[0123] 此外，在輸入了第1?第N(N為2以上的整數(shù)）圖像作為輸入圖像列的情況下，第 1圖像精簡處理部1〇〇選擇第P圖像作為第1基準(zhǔn)圖像，選擇第q (q是滿足P+2蘭q蘭N - 1的整數(shù)）圖像作為第2基準(zhǔn)圖像，并且選擇第r (r是滿足p+1 5 r蘭q _ 1的整數(shù)）圖像 作為判定對象圖像。并且，根據(jù)第1基準(zhǔn)圖像與判定對象圖像之間的變形信息、和第2基準(zhǔn) 圖像與所述判定對象圖像之間的所述變形信息，計算所述覆蓋率，并根據(jù)覆蓋率，進(jìn)行判定 對象圖像可否刪除的判定。該情況下，例如在將第P+1?第q - 1圖像判定為可刪除的情 況下，能夠重新選擇第q+Ι圖像作為第2基準(zhǔn)圖像。
[0124] 由此，如圖3(A)、圖3(B)所示，能夠在判定對象圖像的前方和后方設(shè)定了基準(zhǔn)圖 像后，進(jìn)行基于覆蓋率的圖像精簡處理。該情況下，由于使用兩個基準(zhǔn)圖像，因此與設(shè)定1 個基準(zhǔn)圖像的情況等相比，能夠判定為可刪除判定對象圖像的可能性增高，能夠減少精簡 處理后的圖像張數(shù)。
[0125] 此外，第1圖像精簡處理部100在將第P+1?第q - 1圖像中的至少1個判定為 不可刪除的情況下，可以進(jìn)行將被選擇為第1基準(zhǔn)圖像的圖像包含到第1精簡圖像列中的 處理。而且，可以選擇第q - 1圖像作為新的第1基準(zhǔn)圖像，再次進(jìn)行處理。
[0126]由此，能夠?qū)⒌?基準(zhǔn)圖像包含到第1精簡圖像列中。此外，第1基準(zhǔn)圖像和第2 基準(zhǔn)圖像之間的判定對象圖像中的至少1個是不可刪除的情況，與過度增大了第1基準(zhǔn)圖 像和第2基準(zhǔn)圖像的間隔的情形對應(yīng)，因此應(yīng)該將此時處于第2基準(zhǔn)圖像前方的（狹義地 講是處于前方且最近處的）圖像保留在第1精簡圖像列中。因此，選擇第q - 1圖像作為 新的第1基準(zhǔn)圖像，反復(fù)同樣的處理。
[0127]但是，第1圖像精簡處理中的第2基準(zhǔn)圖像的重新選擇（更新）處理不限于朝輸 入圖像列的后方每次移動1個的方法。
[0128] 例如，考慮如下情況：從設(shè)定了與第p+2?第N圖像對應(yīng)的起點和終點的第2基準(zhǔn) 圖像選擇區(qū)間中，選擇第2基準(zhǔn)圖像，根據(jù)第1基準(zhǔn)圖像和第2基準(zhǔn)圖像，進(jìn)行判定對象圖 像可否刪除的判定。此時，第1圖像精簡處理部100在將第p+1?第q - 1圖像判定為可 刪除的情況下，可以選擇第2基準(zhǔn)圖像選擇區(qū)間所包含的第X (X是滿足X > q的整數(shù)）圖 像作為新的第2基準(zhǔn)圖像，并且將第2基準(zhǔn)圖像選擇區(qū)間的起點更新為第q圖像。此外，在 將第P+1?第q - 1圖像中的至少1個判定為不可刪除的情況下，可以選擇第2基準(zhǔn)圖像 選擇區(qū)間所包含的第y(y是滿足y < q的整數(shù)）圖像作為新的第2基準(zhǔn)圖像，并且將第2 基準(zhǔn)圖像選擇區(qū)間的終點更新為所述第q圖像。
[0129] 這里，第2基準(zhǔn)圖像選擇區(qū)間具有表示第2基準(zhǔn)圖像的候選的性質(zhì)，并且具有表示 第1精簡圖像列所保留的相似度精簡圖像（狹義地講，是已觀察到的相似度精簡圖像的下 一相似度精簡圖像）的候選的性質(zhì)。因此，第2基準(zhǔn)圖像選擇區(qū)間與相似度精簡圖像的搜 索范圍對應(yīng)。
[0130] 由此，在更新第2基準(zhǔn)圖像時，能夠靈活地決定新的第2基準(zhǔn)圖像的位置。將第2 基準(zhǔn)圖像每次向后方移動1個的方法，說起來是從起始起逐個檢查搜索范圍、逐漸減小搜 索范圍的方法，因此根據(jù)正解的位置，計算量變得非常多。在這點上，通過使得可將不相鄰 的圖像也選擇為新的第2基準(zhǔn)圖像，能夠利用一個單位的判定（一次第2基準(zhǔn)圖像選擇處 理和伴隨于此的可否刪除判定）大幅度減小搜索范圍。因此，能夠期待計算量的削減效果， 能夠減輕對系統(tǒng)的負(fù)荷，能夠縮短處理時間。另外，既然向后方的搜索不限于選擇相鄰圖 像，那么在當(dāng)前的第2基準(zhǔn)圖像的前方可能剩余未搜索范圍，根據(jù)可否刪除的判定結(jié)果，考 慮在該未搜索范圍內(nèi)存在正解的情況。能夠考慮該情況還進(jìn)行向前方的搜索，此時的第2 基準(zhǔn)圖像的選擇與向后方的搜索同樣，不限于相鄰圖像。
[0131] 此外，第1圖像精簡處理部100在第j(j為整數(shù)）圖像與第2基準(zhǔn)圖像選擇區(qū)間 的終點對應(yīng)的情況下，可以根據(jù)（q+j)/2的值設(shè)定X的值?；蛘撸诘趇(i為整數(shù)）圖像與 第2基準(zhǔn)圖像選擇區(qū)間的起點對應(yīng)的情況下，可以根據(jù)（i+q)/2的值設(shè)定y的值。
[0132] 由此，在選擇新的第2基準(zhǔn)圖像時，能夠使用二分搜索的方法。在向后方搜索的情 況下，選擇處于當(dāng)前的第2基準(zhǔn)圖像與終點中間的圖像，在向前方搜索的情況下，選擇處于 當(dāng)前的第2基準(zhǔn)圖像與起點中間的圖像。因此，能夠使搜索范圍（與第2基準(zhǔn)圖像選擇區(qū) 間的長度對應(yīng)）減半，如果選擇l〇gN張圖像作為第2基準(zhǔn)圖像，則可期待整個搜索范圍的 搜索結(jié)束。因此，能夠?qū)⒂嬎懔考壱种茷镹X logN，在N非常大的情況下，與每次向后方移 動1個的方法（計算量級為N2)相比，計算量的削減效果大。另外，（q+j)/2和（i+q)/2不 限于為整數(shù)，因此有時不存在與各個值對應(yīng)的圖像。此時，例如可以考慮不超過（q+j)/2的 最大整數(shù)、或比其大1的整數(shù)等。其中，第2基準(zhǔn)圖像的更新不限于基于二分搜索的方法， 可以使用各種方法。例如，在一定程度地預(yù)測到搜索范圍內(nèi)的正解位置的情況等時，以能夠 重點搜索預(yù)測位置及其周邊的方式選擇第2基準(zhǔn)圖像，由此能夠期待計算量的削減等。
[0133] 此外，第1圖像精簡處理部100可以根據(jù)基準(zhǔn)圖像與判定對象圖像之間的變形信 息，求出由基準(zhǔn)圖像覆蓋判定對象圖像的區(qū)域即覆蓋區(qū)域，并計算覆蓋區(qū)域在判定對象圖 像中所占的比例，作為覆蓋率。
[0134] 由此，能夠根據(jù)覆蓋區(qū)域計算覆蓋率。覆蓋區(qū)域具體在圖2中示出，表示在根據(jù)變 形信息對基準(zhǔn)圖像進(jìn)行了變形后、映射到判定對象圖像上的區(qū)域?；鶞?zhǔn)圖像中所拍攝的被 攝體區(qū)域、與所求出的覆蓋區(qū)域中所拍攝的被攝體區(qū)域?qū)?yīng)（如果是變形信息沒有誤差的 理想狀況，則一致）。因此，能夠根據(jù)覆蓋區(qū)域在判定對象圖像中所占的比例（具體是各個 區(qū)域的面積比）求出覆蓋率。另外，對于覆蓋區(qū)域，根據(jù)變形信息對基準(zhǔn)圖像進(jìn)行變形而求 出即可，所求出的覆蓋區(qū)域不一定限于被映射到判定對象圖像上。此外，覆蓋區(qū)域不限于根 據(jù)基準(zhǔn)圖像的整體求出，可以通過利用變形信息對基準(zhǔn)圖像的一部分進(jìn)行變形而求出。
[0135] 此外，第2圖像精簡處理部200可以進(jìn)行如下處理，作為第2圖像精簡處理：根據(jù) 識別處理，將多個圖像中的包含同一對象物體的連續(xù)圖像、或多個圖像中的被識別為同一 場景的連續(xù)圖像，設(shè)定為作為精簡圖像的提取對象的連續(xù)圖像列，從所設(shè)定的連續(xù)圖像列 中提取至少1張圖像作為精簡圖像。
[0136] 這里，從連續(xù)圖像列中至少被提取1張的精簡圖像是指保留在第2精簡圖像列中 的物體精簡圖像。
[0137] 由此，能夠采用使用圖5、圖6說明的、設(shè)定連續(xù)圖像列（片段）的方法，作為第2 圖像精簡處理。連續(xù)圖像列是指包含同一對象物體的連續(xù)圖像、或被識別為同一場景的連 續(xù)圖像，因此通過從連續(xù)圖像列中提取張數(shù)比該連續(xù)圖像列所包含的圖像張數(shù)少的圖像， 并設(shè)為物體精簡圖像，能夠抑制對象物體或場景不被包含在精簡圖像列中的情況，同時降 低圖像的冗余性。另外，如果提高冗余性的降低效果，則可以減少從連續(xù)圖像列中提取為精 簡圖像的圖像的張數(shù)，狹義地講，可以提取1張圖像。
[0138] 此外，第2圖像精簡處理部1〇〇可以根據(jù)對象物體的面積，從連續(xù)圖像列中選擇要 提取的精簡圖像（物體精簡圖像）。
[0139] 由此，能夠?qū)ο笪矬w在圖像上被更大范圍地拍攝的圖像設(shè)為精簡圖像，因此能 夠使得用戶觀察等變得容易等。此外，還考慮以下狀況：在即使面積較大但亮度值較小且變 暗的情況、形狀極端不宜觀察的情況、由于位于圖像周緣部而無法忽視畸變像差等畸變的 情況下等，不可能用戶一定容易觀察到。因此，除了面積以外，也可以利用圖像內(nèi)的位置、顏 色信息、紋理信息、識別的精度等圖像識別或圖像檢測的信息。由此，能夠進(jìn)行考慮到對象 物體的圖像特征的圖像精簡，因此能夠選擇容易觀察到所檢測的對象物體的圖像作為精簡 圖像，能夠更好地掌握對象物體。
[0140]此外，合并處理部3〇0可以進(jìn)行如下處理，作為第1精簡圖像列和第2精簡圖像列 的合并處理：選擇第1精簡圖像列和第2精簡圖像列中的至少一方所包含的圖像作為輸出 精簡圖像列的精簡圖像（輸出精簡圖像）。
[0141]由此，能夠進(jìn)行圖7所示的合并處理。根據(jù)圖7的流程圖可知，本實施方式的合并 處理能夠通過簡單的方法實現(xiàn)，因此有處理負(fù)荷輕的優(yōu)點。
[0142]此外，第1圖像精簡處理部則可以根據(jù)多個圖像間的相似度，檢測場景變化來進(jìn) 行第1圖像精簡處理。
[0143]由此，通過進(jìn)行基于場景變化的圖像精簡，刪除連續(xù)的相似圖像，因此能夠刪除基 本相同的冗余場景，能夠高效地削減圖像數(shù)來生成圖像精簡列。另外，該處理使用多個圖像 間的相似度，因此只要檢測到第1圖像中所拍攝的第1場景、和第2圖像中所拍攝的第2場 景不同的情況就足夠，不需要識別第1場景和第2場景具體與怎樣的場景對應(yīng)。與此相對， 第2圖像精簡處理中的場景的識別處理在以下方面不同：需要判定作為處理對象的圖像中 所拍攝的場景是否與作為檢測對象的場景一致，需要預(yù)先保持例如檢測對象場景的特征量 等。
[0144] 此外，多個圖像可以是膠囊內(nèi)窺鏡圖像。并且，第2圖像精簡處理部2〇0將膠囊內(nèi) 窺鏡圖像中所拍攝的活體內(nèi)的關(guān)注區(qū)域作為對象物體，進(jìn)行識別處理。
[0145] 這里，關(guān)注區(qū)域是指對于用戶而言，觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的 區(qū)域，例如在用戶是醫(yī)生且希望治療的情況下，是指拍攝有粘膜部和病變部的區(qū)域。另外， 作為其他例，如果醫(yī)生希望觀察的對象是泡或便，則關(guān)注區(qū)域是拍攝有該泡部分或便部分 的區(qū)域。即，用戶要關(guān)注的對象根據(jù)其觀察目的而不同，但無論怎樣，在其觀察時，對于用戶 而言觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的區(qū)域成為關(guān)注區(qū)域。
[0146] 由此，能夠?qū)κ褂媚z囊內(nèi)窺鏡拍攝的圖像應(yīng)用本實施方式的圖像精簡處理。如上 所述，在醫(yī)療領(lǐng)域中，必須極力抑制病變等的漏看。在第2圖像精簡處理中，通過將關(guān)注區(qū) 域設(shè)為對象物體，能夠?qū)z測到關(guān)注區(qū)域的圖像高效地保留到精簡圖像列中，但關(guān)注區(qū)域 的檢測未必成功。因此，即使拍攝到了關(guān)注區(qū)域，作為識別處理的結(jié)果，也有可能檢測不到 對象物體，產(chǎn)生不成為物體精簡圖像的候選而成為刪除對象的圖像。因此，一并采用使用了 相似度（狹義地講是覆蓋率）的圖像精簡處理時的優(yōu)點較大。特別在使用膠囊內(nèi)窺鏡的例 子中，醫(yī)生難以從外部操作處于活體內(nèi)的膠囊內(nèi)窺鏡，無法高效地改變拍攝對象，因此可能 取得多個相似的圖像。而且，由于操作比較困難，因此假定不實時地逐一檢查拍攝圖像，而 在大量蓄積拍攝圖像后進(jìn)行處理。因此，對膠囊內(nèi)窺鏡取得的圖像列進(jìn)行本實施方式的圖 像精簡處理的優(yōu)點較大。
[0147] 此外，第2圖像精簡處理部200可以根據(jù)通過特定波段的光的照射而取得的特殊 光圖像，進(jìn)行活體內(nèi)的關(guān)注區(qū)域的識別處理。
[0148] 由此，能夠進(jìn)行使用了特殊光圖像的觀察，因此能夠提高第2圖像精簡處理中的 對象物體的檢測精度，能夠抑制拍攝有重要物體（關(guān)注區(qū)域）的圖像通過圖像精簡處理而 被刪除的情況。另外，即使能夠期待對象物體的檢測精度提高，也期望一并采用使用了相似 度的第1圖像精簡處理，能夠期待進(jìn)一步的關(guān)注區(qū)域的漏看抑制效果。
[0149] 另外，特定的波段是比白色光的波段窄的頻帶。具體而言，特殊光圖像是活體內(nèi) 圖像，特定的波段可以是被血液中的血紅蛋白吸收的波長的波段。更具體而言，可以是 390nm ?445nm 或 530nm ?550nm 的波段。該波段與被稱作 NBI (Narrow Band Imaging :窄 帶成像）的窄帶光觀察對應(yīng)。
[0150] 由此，能夠觀察活體的表層部和位于深部的血管的結(jié)構(gòu)。并且，通過將所得到的信 號輸入特定通道（R、G、B)，能夠利用褐色等顯示扁平上皮癌等難以用通常光視覺辨認(rèn)的病 變等，能夠抑制病變部的漏看。另外，390nm?445nm或530nm? 55〇nm是根據(jù)被血紅蛋白 吸收這樣的特性和分別到達(dá)活體的表層部或深部這樣的特性而得到的數(shù)字。
[0151]此外，特定波段的光不限于與NBI對應(yīng)，也可以與被稱作AFI(Auto Flu〇rescence Imaging :自動熒光成像）的熒光觀察或被稱作IRI (Infra Recl imaging :紅外成像）的紅 外光觀察對應(yīng)。
[0152]此外，以上的本實施方式還可應(yīng)用于程序，該程序使計算機作為以下部件發(fā)揮功 能：第1圖像精簡處理部100,其通過基于多個圖像間的相似度的第丨圖像精簡處理，取得 弟1精簡圖像列；第2圖像精簡處理部 2〇〇,其通過針對多個圖像中的各圖像的、基于對象 物體或場景的識別處理的第2圖像精簡處理，取得第2精簡圖像列；以及合并處理部 300， 其進(jìn)行第1精簡圖像列和第2精簡圖像列的合并處理、或第1圖像精簡處理和第2圖像精 簡處理的合并處理，取得輸出精簡圖像列。
[0153]由此，能夠?qū)崿F(xiàn)進(jìn)行上述圖像精簡處理的程序。例如，圖像精簡處理如果在pC等 信息處理系統(tǒng)中進(jìn)行，則該程序被PC的處理部（CPU或GPU等）讀出并執(zhí)行。并且，上述程 序被記錄在信息存儲介質(zhì)中。這里，作為信息記錄介質(zhì)，可以假設(shè)DVD或CD等光盤、磁光 盤、硬盤（HDD)、非易失性存儲器或RAM等存儲器等、可由p C等信息處理系統(tǒng)讀取的各種記 錄介質(zhì)。
[0154] 3.第2實施方式
[0155]接著說明第2實施方式。本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例與第1實施方 式中使用的圖1相同，因此省略詳細(xì)的說明。與第1實施方式相比，合并處理部300中的合 并處理不同，因此詳細(xì)敘述該點。
[0156]取得基于第1圖像精簡處理的第1精簡圖像列、和基于第2圖像精簡處理的第2 精簡圖像列的方面與第1實施方式相同。在本實施方式中，合并兩個精簡圖像列之前，根據(jù) 第1精簡圖像列進(jìn)行第2精簡圖像列的更新處理。
[0157]圖8(A)、圖8(B)是說明第2實施方式的合并處理的圖。在圖8(A)中，利用連續(xù)的 橫向直線表示輸入圖像列（輸入圖像列所包含的多個圖像）。此外，縱向的線表示第2圖 像精簡處理的結(jié)果、即所選擇的物體精簡圖像。此外，圖8(A)中的橫向箭頭表示對該范圍 內(nèi)所包含的圖像連續(xù)檢測到對象物體等，1個個箭頭與連續(xù)圖像列（片段）對應(yīng)。同樣，圖 8⑶的橫向直線表示輸入圖像列，縱向的線表示相似度精簡圖像。
[0158]在本實施方式的合并處理中，將被設(shè)定為第2圖像精簡處理的結(jié)果的多個連續(xù)圖 像列匯總到1個結(jié)合連續(xù)圖像列中，并從該結(jié)合連續(xù)圖像列中提取至少i張精簡圖像，由此 削減第2精簡圖像列所包含的物體精簡圖像的張數(shù)。
[0159]說明具體例子。首先，選擇第1精簡圖像列所包含的相似度精簡圖像中的相鄰兩 個圖像。然后，在這兩個相似度精簡圖像之間，包含有多個在第2圖像精簡處理中設(shè)定的連 續(xù)圖像列的情況下，進(jìn)行能否結(jié)合這多個連續(xù)圖像列的判定。
[0160] 或者，可以不將相鄰的相似度精簡圖像作為基準(zhǔn)，而選擇相鄰的連續(xù)圖像列，根據(jù) 這兩者是否處于相鄰的相似度精簡圖像之間，進(jìn)行是否能夠結(jié)合連續(xù)圖像列的判定。
[0161]這里，連續(xù)圖像列處于兩個相似度精簡圖像之間是指，只要該連續(xù)圖像列所包含 的至少1張圖像處于兩個相似度精簡圖像之間即可，沒必要使連續(xù)圖像列的整個圖像列都 處于兩個相似度精簡圖像之間。
[0162]此外，提取連續(xù)圖像列所包含的給定圖像，在提取出的圖像處于兩個相似度精簡 圖像之間的情況下，可以將作為提取方的連續(xù)圖像列設(shè)為結(jié)合判定的對象。該情況下，被設(shè) 為提取圖像的圖像典型的是被選擇為物體精簡圖像的圖像，但也可以是連續(xù)圖像列所包含 的其他圖像。
[0163] 使用圖8(A)、圖8⑶示出例子。著眼于C1和C2作為圖8(B)中的相鄰的兩個相 似度精簡圖像的情況下，圖8(A)中示出的連續(xù)圖像列B1和連續(xù)圖像列B2根據(jù)上述定義， 均包含在C1與C2之間。因此，針對B1和B2進(jìn)行是否能夠結(jié)合的判定。
[0164] 圖9㈧示出連續(xù)圖像列的可否結(jié)合判定的具體例。使用相似度精簡圖像、和從作 為處理對象的多個連續(xù)圖像列中選擇出的物體精簡圖像進(jìn)行判定。具體而言，對相似度精 簡圖像進(jìn)行變形，并分別映射到多個物體精簡圖像（至少作為結(jié)合判定對象的連續(xù)圖像列 的數(shù)量的張數(shù)），求出覆蓋區(qū)域。該處理與使用了覆蓋率的第1圖像精簡處理同樣,可以根 據(jù)圖像間的變形信息進(jìn)行。然后，對物體精簡圖像中的各圖像，進(jìn)行檢測到的對象物體是否 處于覆蓋區(qū)域內(nèi)的判定，如果在所有物體精簡圖像中，對象物體處于覆蓋區(qū)域內(nèi)，則判定為 能夠?qū)⒆鳛閷ο蟮倪B續(xù)圖像列結(jié)合到結(jié)合連續(xù)圖像列。相似度精簡圖像、和各覆蓋區(qū)域拍 攝了同一被攝體范圍，因此在針對所有圖像，對象物體處于覆蓋區(qū)域內(nèi)的情況下，可以說該 對象物體是同一物體的可能性高。即，關(guān)于該對象物體，不需要從多個連續(xù)圖像列中提取至 少連續(xù)圖像列的數(shù)量的物體精簡圖像，只要在對該多個連續(xù)圖像列進(jìn)行結(jié)合后，從結(jié)合連 續(xù)圖像列中提取至少1張物體精簡圖像即可。
[0165] 另外，只要不變更作為選擇基準(zhǔn)的提取量，則從結(jié)合連續(xù)圖像列（與圖8(A)的B1 和B2的并集對應(yīng)）中提取的物體精簡圖像與從結(jié)合前的連續(xù)圖像列中提取出的物體精簡 圖像中的任意一個一致。即，如果用圖8(A)的例子來說，從結(jié)合連續(xù)圖像列中提取B3或B4 中的任意一個作為物體精簡圖像，因此連續(xù)圖像列的結(jié)合處理狹義地講，與刪除物體精簡 圖像的一部分的處理對應(yīng)。
[0166] 另外，相似度精簡圖像不僅處于前方，還處于后方，因此對后方，也如圖9(B)那樣 進(jìn)行相同的處理。并且，如果在圖9(A)和圖9(B)的任意一方的處理中判定為可結(jié)合，則進(jìn) 行連續(xù)圖像列的結(jié)合處理即可。
[0167]圖1〇是說明本實施方式的合并處理的流程圖。如圖10所示，合并處理成為 S401?S408的循環(huán)，針對輸入圖像列的所有圖像進(jìn)行S4〇l?S407的處理。
[0168]具體而言，進(jìn)行輸入圖像列的第i個圖像是否包含在第1精簡圖像列中的判定 (S402)。在"是"的情況下，選擇第i個圖像作為輸出精簡圖像（S4〇3)。在S402中的"否" 的情況下，進(jìn)行第i個圖像是否包含在第 2精簡圖像列中的判定（S404)。在S404中的"否" 的情況下，將第i個圖像設(shè)為刪除圖像（S407)。在S404中的"是"的情況（即第i個圖像 是物體精簡圖像的情況）下，關(guān)于第i個圖像、和前1個物體精簡圖像，進(jìn)行基于與相似度 精簡圖像之間的關(guān)系的判定（S405)。具體而言，如以上使用圖8(A)、圖8(B)敘述那樣，在 第i個圖像和前1個物體精簡圖像處于相鄰的相似度精簡圖像之間的情況下，成為"是"。 在S405中的"否"的情況下，不進(jìn)行連續(xù)圖像列的結(jié)合，因此不存在第i個圖像從第 2精簡 圖像列中被刪除的情況。因此，轉(zhuǎn)移到S4〇3,選擇第i個圖像作為輸出精簡圖像。
[0169]此外，在S405中的"是"的情況下,存在能夠結(jié)合連續(xù)圖像列的可能性，因此進(jìn)行 圖9 (A)、圖9 (B)所示的判定（S406)。在S406中的"否"的情況下，不進(jìn)行連續(xù)圖像列的結(jié) 合，因此不存在第i個圖像從第2精簡圖像列中被刪除的情況。因此，轉(zhuǎn)移到 S4〇3,選擇第 i個圖像作為輸出精簡圖像。另一方面，在S406中的"是"的情況下，結(jié)合兩個連續(xù)圖像列， 因此轉(zhuǎn)移到S407,將第i個圖像設(shè)為刪除圖像。然后，將i = ο作為初始值，在將i增計數(shù) 的同時，對輸入圖像列整體進(jìn)行該處理。
[0170]另外，根據(jù)1次作為結(jié)合對象的連續(xù)圖像列限定于兩個的方面、在結(jié)合了連續(xù)圖 像列時刪除與后方的連續(xù)圖像列對應(yīng)的物體精簡圖像的方面等可知，圖1〇的流程圖只不 過不出本實施方式的處理的一例，當(dāng)然也可以通過與圖10不同的處理實現(xiàn)本實施方式的 方法。
[0171]、在以上的本實施方式中，合并處理部300根據(jù)第丨精簡圖像列，將在第2圖像精簡 處理中設(shè)定的多個連續(xù)圖像列結(jié)合成1個結(jié)合連續(xù)圖像列，并從結(jié)合連續(xù)圖像列中提取至 少1張圖像，作為精簡圖像（物體精簡圖像），由此進(jìn)行第2精簡圖像列的更新處理。
[0172] 由此，能夠根據(jù)第1精簡圖像列，更新第2精簡圖像列。更新處理狹義地講，是指 刪除物體精簡圖像的一部分，從而削減第2精簡圖像列所包含的圖像張數(shù)的處理。另外，具 體而言，連續(xù)圖像列的結(jié)合處理可以進(jìn)行圖8㈧、圖8⑶和圖9所示的處理，也可以通過^ 他方法進(jìn)行。 ~
[0173] 此外，合并處理部300可以進(jìn)行如下處理，作為第1精簡圖像列和第2精簡圖像列 的合并處理：選擇第1精簡圖像列、和更新處理后的第2精簡圖像列中的至少一方所包含的 圖像作為輸出精簡圖像列的精簡圖像（輸出精簡圖像）。
[0174]由此，能夠使用更新處理后的第2精簡圖像列，進(jìn)行與第1精簡圖像列的合并處 理。由此，保留使用了相似度的圖像精簡處理、和使用了對象物體等的識別處理的圖像精簡 處理這兩者的優(yōu)點，與不進(jìn)行更新處理的情況（第1實施方式等）相比，能夠削減輸出精簡 圖像列所包含的圖像的張數(shù)，能夠提高利用輸出精簡圖像列的用戶的便利性等。
[0175] 4·第3實施方式 c〇176] ^著說明第3實施方式。圖11示出本實施方式的圖像精簡裝置的系統(tǒng)結(jié)構(gòu)例。如 圖11所示，基本的結(jié)構(gòu)與第1實施方式相同，但在第1圖像精簡處理部10〇與合并處理部 300的連接是雙向的方面不同。
[0177]在本實施方式中，合并處理部3〇〇首先取得第2圖像精簡處理的結(jié)果，并根據(jù)所取 得的結(jié)果，使第1圖像精簡處理部100執(zhí)行第1圖像精簡處理。
[0178]圖12⑷?圖12(c)示出具體例。關(guān)于圖12(A)?圖12(c)的表現(xiàn)，與圖8(A)、 圖8(B)相同。如圖12(A)所示，與第1實施方式同樣，根據(jù)對象物體或場景的識別處理，從 例如連續(xù)圖像列中提取至少1張精簡圖像，由此取得第2精簡圖像列。此外，對于第丨圖像 精簡處理，如果是第1實施方式等，則如圖12(B)所示，在選擇了 S(i)作為相似度精簡圖像 (第1基準(zhǔn)圖像）的情況下，在設(shè)定了第2基準(zhǔn)圖像后，進(jìn)行基于覆蓋率的判定，由此搜索作 為下一相似度精簡圖像的S(i+1)。
[0179]但是，即使是根據(jù)相似度（覆蓋率）判定為可刪除的圖像，只要是拍攝有作為觀察 對象的對象物體、且代表連續(xù)圖像列的圖像，則應(yīng)該將其選擇為輸出精簡圖像，在第1實施 方式中也進(jìn)行了那樣的合并處理?；谠撚^點考慮的話，在第1圖像精簡處理中，不僅使用 相似度，還使用第2圖像精簡處理的結(jié)果選擇相似度精簡圖像（或第1基準(zhǔn)圖像），由此可 期待相同的效果。
[0180]因此，在本實施方式中，在設(shè)定相似度精簡圖像（第1基準(zhǔn)圖像）后，搜索下一相 似度精簡圖像時，與相似度無關(guān)地，將作為物體精簡圖像的圖像選擇為相似度精簡圖像。例 如圖12(B)所示，由El表示的圖像在相似度的判定中應(yīng)該被設(shè)為刪除圖像，但如圖12(A) 的D1所示，選擇了該圖像作為物體精簡圖像。因此，如圖i2(C)所示，在本實施方式的第i 圖像精簡處理中，將該圖像設(shè)定為相似度精簡圖像S(i+1)。
[0181]然后也同樣地，在相似度滿足了給定條件的情況、或找到了第2精簡圖像列的精 簡圖像的情況下，接著設(shè)定精簡圖像即可。如果是圖12(C)的例子，則S(i+2)是根據(jù)相似 度而被選擇的圖像，且S(i+3)是根據(jù)物體精簡圖像而被選擇的圖像。狹義的相似度精簡圖 像（第1實施方式的第1圖像精簡處理的結(jié)果）在圖像列中的位置取決于其他相似度精簡 圖像（狹義地講，是前1個相似度精簡圖像）進(jìn)行確定。因此，在加進(jìn)第2圖像精簡處理的 結(jié)果來選擇了相似度精簡圖像的情況下，根據(jù)圖12(B)、圖12(C)可知，與不使用第2圖像精 簡處理的結(jié)果的情況相比，通常被選擇為相似度精簡圖像的圖像的差異較大。
[0182]另外，能夠通過基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理，取得考慮了對 象物體等的識別處理和相似度兩者的圖像列，因此最終的輸出精簡圖像列使用第1圖像精 簡處理的結(jié)果即可。
[0183]圖I3是說明本實施方式的合并處理的流程圖。實際上是說明基于第2圖像精簡 處理的結(jié)果的第1圖像精簡處理的流程圖，與圖4接近。
[0184] 關(guān)于圖13的S501?S511，與圖4的S101?S111相同，因此省略詳細(xì)的說明。圖 13增加了 S512?S514,作為圖4的S505的接下來的步驟，在S512中，進(jìn)行處理對象的第 i個圖像是否成為第2圖像精簡處理的結(jié)果、即物體精簡圖像的判定。在S512中的"是，，的 情況下，退出S505?S5〇8的循環(huán)，將第i個圖像設(shè)為下一相似度精簡圖像（ S513)，并且設(shè) 為Is = i (S514)，返回S5〇2,將在S514中設(shè)定的相似度精簡圖像設(shè)定為新的第i基準(zhǔn)圖像， 繼續(xù)處理。
[0185]在以上的本實施方式中，合并處理部300進(jìn)行如下處理，作為第1圖像精簡處理和 第2圖像精簡處理的合并處理：使第1圖像精簡處理部根據(jù)第2圖像精簡處理的結(jié)果，執(zhí)行 第1圖像精簡處理。
[0186]由此，能夠合并基于圖像間的相似度判定、和對象物體或場景的識別處理這些不 同觀點進(jìn)行的圖像精簡處理，取得輸出精簡圖像列，因此能夠進(jìn)行兼具有兩個圖像精簡處 理的優(yōu)點的圖像精簡處理。
[0187]此外，第1圖像精簡處理部100可以進(jìn)行如下處理，作為第1圖像精簡處理：根據(jù) 合并處理，從多個圖像中選擇第2精簡圖像列所包含的圖像（物體精簡圖像）作為基準(zhǔn)圖 像，并且從多個圖像中選擇判定對象圖像，根據(jù)基準(zhǔn)圖像與判定對象圖像之間的變形信息， 計算基準(zhǔn)圖像對判定對象圖像的覆蓋率作為相似度，根據(jù)覆蓋率進(jìn)行判定對象圖像可否刪 除的判定。
[0188]由此，作為第1圖像精簡處理和第2圖像精簡處理的合并處理，具體而言，能夠根 據(jù)第2圖像精簡處理的結(jié)果，進(jìn)行第1圖像精簡處理中的基準(zhǔn)圖像的選擇處理。更具體而 言，直接將第2精簡圖像列所包含的物體精簡圖像設(shè)為基準(zhǔn)圖像，并且在物體精簡圖像以 外的圖像中，如基本那樣根據(jù)相似度進(jìn)行處理即可。
[0189]此外，合并處理部3〇〇可以通過合并處理，取得由第丨圖像精簡處理部生成的第1 精簡圖像列，作為輸出精簡圖像列。
[0190]由此，能夠?qū)⒒诘?圖像精簡處理的第1圖像精簡處理的結(jié)果直接設(shè)為輸出精 間^像列。如上所述，在本實施方式的方法中，選擇作為第2圖像精簡處理的結(jié)果而被設(shè)為 精簡圖像（物體精簡圖像）的圖像，作為第i圖像精簡處理中的精麵似相似度精簡圖 像）。因此，在第1圖像精簡處理中，保留基于對象物體等的識別處理的圖像，因此可以不 慮第1精簡圖像列和第 2精簡圖像列的合并處理等。
[0191] 5·第4實施方式
[0192]接著說明第4實施方式。本實施方式酬像精簡裝置的系統(tǒng)結(jié)構(gòu)例與第3實施 方式中使用的圖11相同，因此省略詳細(xì)的說明。在本實施方式中，使用組合第3實施方式 的方法、和第2_實施方式中的第 2精簡圖像列的更新處理（連續(xù)圖像列的結(jié)合處理）后的 方法。、具體而言，與第3實施方式同樣，進(jìn)行基于第2圖像精簡處理的結(jié)果的第丨圖像精簡 處理，并根據(jù)作為其結(jié)果而取得的第i精簡圖像列，進(jìn)行是否能夠更新第 2精簡圖像列的判 定。?進(jìn)行了更新處理的情況下，基于更新處理后的第2圖像精簡處理的結(jié)果進(jìn)行第1圖 像精簡處理，并取得作為其結(jié)果而取得的新的第1精簡圖像列，作為輸出精簡圖像列。
[0193]圖14(A)?圖14(E)示出具體例。圖14㈧表示最初取得的第2精簡圖像列，圖 14(B) ^示不使用第2圖像精簡處理的結(jié)果的情況下的第丨精簡圖像列。在本實施方式中， 與第3實施方式同樣，使用第2圖像精簡處理的結(jié)果進(jìn)行第1圖像精簡處理，因此所取得的 第1精簡圖像列成為圖14(C)。 ^194]在取得了圖14(〇的第1精簡圖像列后，使用其進(jìn)行能否執(zhí)行圖14(A)的第2精 簡圖像列的更新處理的判定。具體而言，在第2實施方式中，如上所述，進(jìn)行能否將多個連 續(xù)圖像列結(jié)合成結(jié)合連續(xù)圖像列的判定。例如，圖 14(A)的連續(xù)圖像列F1和F2均包含在 相鄰的相似度精簡圖像G1與G 2之間，因此成為結(jié)合判定的對象。
[0195]其結(jié)果，在如圖14(D)那樣更新了第2精簡圖像列的情況下，圖14(A)的F3所示 的物體精簡圖像被刪除，因此可以不在輸出精簡圖像中包含與Μ對應(yīng)的圖像。即，不需要 圖14(C)的第1精簡圖像列的G1，因此對于第丨精簡圖像列，也需要進(jìn)行變更。具體而言， 可以根據(jù)作為更新處理后的第2精簡圖像列的圖 14(D)，再次進(jìn)行第1圖像精簡處理，其結(jié) 果，取得圖14(E)作為新的第1精簡圖像列。
[0196]另外，在取得圖14(E)時，可以對輸入圖像列整體進(jìn)行處理。其中，通過更新了第2 精簡圖像列，可知需要刪除圖14(C)的哪個圖像，因此關(guān)于作為刪除對象的G1的前1個相 似度精簡圖像（G3)之前的圖像，沒有變化，還可知不進(jìn)行新的第1圖像精簡處理。因此，可 以針對可能發(fā)生變化的部分、即圖14(C)的G3示出的圖像之后進(jìn)行處理。
[0197]圖15是說明本實施方式的合并處理的流程圖。在開始該處理后，首先進(jìn)行第2圖 像精簡處理（S601)。S601的處理與圖5的處理對應(yīng)。接著，根據(jù)第2圖像精簡處理的結(jié)果 (狹義地講是第2精簡圖像列），進(jìn)行第1圖像精簡處理（ S6〇2)。S6〇2的處理與圖13的處 理對應(yīng)。
[0198]然后，根據(jù)第1精簡圖像列，進(jìn)行第2精簡圖像列的更新處理（S603)。S603的處 理與圖10的S404?S406等處理對應(yīng)。然后，更新處理后進(jìn)行第2精簡圖像列是否發(fā)生了 變化（狹義地講，是否刪除了第2精簡圖像列的精簡圖像的一部分）的判定（ S604)，在發(fā)生 了變化的情況下，根據(jù)更新處理后的第2精簡圖像列，進(jìn)行第i圖像精簡處理（S605)。在 S605的處理后、或S6〇4中的"否"的情況下，轉(zhuǎn)移到S6〇6,將對應(yīng)的第！精簡圖像列設(shè)定為 輸出精簡圖像列，并結(jié)束處理。在S604中的"是"的情況下，將S605中的處理結(jié)果設(shè)定為 輸出精簡圖像列，在S6〇4中的"否，，的情況下，將S6〇2中的處理結(jié)果設(shè)定為輸出精簡圖像 列。
[0199]另外，在將基于第2圖像精簡處理的結(jié)果的第1圖像精簡處理設(shè)為步驟A、基于第 1精簡圖像列的第2精簡圖像列的更新處理設(shè)為步驟b的情況下，在以上的說明中，設(shè)為執(zhí) 行最初的步驟A(與圖IS的s6〇2對應(yīng)）和使用了其結(jié)果的步驟B (S6〇3)，并使用步驟B的 結(jié)果進(jìn)行第2次步驟A(S605)。其中，根據(jù)輸入圖像列，還可能使用第2次步驟A的結(jié)果，執(zhí) 行第2次步驟B (更新處理的結(jié)果是第2精簡圖像列發(fā)生變化）。
[0200]因此，作為本實施方式的變形例，針對步驟A和步驟B，可以在加進(jìn)前1個步驟的結(jié) 果的同時，反復(fù)執(zhí)行任意次數(shù)。該情況下，可以在進(jìn)行第N次⑴為2以上的整數(shù)）步驟A 后的階段結(jié)束處理，并將其結(jié)果設(shè)為輸出精簡圖像列?；蛘?，在檢測到無法執(zhí)行步驟B(或 執(zhí)行了但第2精簡圖像列不發(fā)生變化）的情況下，可以將緊接其之前的步驟a的結(jié)果設(shè)為 輸出精簡圖像列。
[0201]在以上的本實施方式中，合并處理部3〇〇通過合并處理，根據(jù)由第i圖像精簡處理 部生成的第1精簡圖像列，判定可否執(zhí)行削減第2精簡圖像列所包含的圖像張數(shù)的第2精 簡圖像列的更新處理。
[0202]由此，能夠采用使用了第3實施方式的方法的情況下的第1精簡圖像列（第3實 施方式中直接成為輸出精簡圖像列），判定可否進(jìn)行在第2實施方式中使用的第2精簡圖 像列的更新處理。在求出了第1精簡圖像列的時刻，如在第 3實施方式中敘述那樣，進(jìn)行了 第1圖像精簡處理和第2圖像精簡處理的合并處理，但結(jié)果未考慮所包含的圖像的張數(shù)削 減。通過減少輸出精簡圖像列的圖像張數(shù)，實現(xiàn)了用戶的便利性提高，因此在嘗試圖像的張 數(shù)削減方面存在優(yōu)點，這里設(shè)為采用在第2實施方式中使用的第2精簡圖像列的更新處理 (具體為連續(xù)圖像列的結(jié)合處理等）。
[0203]此外，合并處理部300可以在判定為可執(zhí)行第2精簡圖像列的更新處理的情況下， 進(jìn)行第2精簡圖像列的更新處理。并且，進(jìn)行如下處理，作為第丨圖像精簡處理和第2圖像 精簡處理的合并處理：使第1圖像精簡處理部根據(jù)更新處理后的第2圖像精簡處理的結(jié)果， 執(zhí)行第1圖像精簡處理。
[0204]由此，能夠進(jìn)行基于更新處理后的第2圖像精簡處理結(jié)果（更新后的第2精簡圖 像列）的第1圖像精簡處理。能夠通過進(jìn)行第2精簡圖像列的更新處理，削減第2精簡圖像 列所包含的物體精簡圖像的張數(shù)（從圖1 4(A)被削減為圖Ηφ))，但在與輸出精簡圖像列 對應(yīng)的第1精簡圖像列（圖14(C))中未直接反映刪除處理。此外，在通過更新處理刪除了 圖14㈧中的F 3的情況下，從第1精簡圖像列中單純地刪除對應(yīng)的圖像（圖14(c)的G1) 是不理想的。之所以這樣，是因為根據(jù)圖14(B)(不考慮第2圖像精簡處理的第1圖像精簡 處理的結(jié)果）可知，作為H3的下一相似度精簡圖像，當(dāng)不選擇 H2(或比H2更靠近H3的圖 像）時，基于相似度的觀點，無法覆蓋其間的圖像。但是，在圖14(C)中刪除G1時，G3的下 精間圖像成為G2,間隔過度增大，不能完全覆蓋G 3與G2間的圖像。因此，在如圖14 (A) 至圖14(D)那樣，進(jìn)行了針對第2精簡圖像列的更新處理的情況下，理想的是，不從圖14(〇 中單純地刪除G1，而使用更新處理后的第2精簡圖像列，再次進(jìn)行第丨圖像精簡處理來取得 圖 14(E)。
[0205]此外，合并處理部300可以通過合并處理，取得由第丨圖像精簡處理部生成的第i 精簡圖像列，作為輸出精簡圖像列。
[02^6]由此，能夠?qū)⑼ㄟ^基于更新處理后的第2精簡圖像列的第丨圖像精簡處理而取得 的第1精簡圖像列設(shè)為輸出精簡圖像列。在本實施方式中，也與第3實施方式同樣，在第丄 圖像精簡處理中，保留基于對象物體等的識別處理的圖像，因此可以不考慮第丨精簡圖像 列和第 2精簡圖像列的合并處理等。另外，還考慮嘗試第2精麵像列的更新處理后的結(jié) 果是，在處理前后沒有變化（無法削減物體精簡圖像）的情況。該情況下，即使進(jìn)行了基于 更新處理后的第2精簡圖像列的第1圖像精簡處理，輸出結(jié)果與基于更新處理前的第 2精 簡圖像列的第1圖像精簡處理相比也未發(fā)生變化，因此如圖15的流程圖所示，理想的是跳 過再次的第1圖像精簡處理。該情況下，作為輸出精簡圖像列而被取得的第i精簡圖像列 基于更新處理前的第2精簡圖像列（圖15中的S602的處理結(jié)果）。
[0207] 6.第5實施方式 一 °
[0208] 對第5實施方式進(jìn)行說明。具體而言，在說明圖像處理裝置的系統(tǒng)結(jié)構(gòu)例、并使用 流程圖說明了處理流程后，說明第1可否刪除判定處理、第2可否刪除判定處理的各處理的 詳細(xì)情況。
[0209] 6. 1系統(tǒng)結(jié)構(gòu)例
[0210]圖17示出本實施方式中的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。圖像處理裝置包含處理 部100、圖像列取得部30、存儲部50。
[0211]處理部1〇〇通過針對圖像列取得部30取得的圖像列刪除該圖像列所包含的多個 圖像的一部分，進(jìn)行圖像精簡處理。該處理部1〇〇的功能能夠通過各種處理器（CPU等）、 ASIC(門陣列等）等硬件，或者程序等實現(xiàn)。
[0212]圖像列取得部3〇取得作為圖像精簡處理對象的圖像列。認(rèn)為要取得的圖像列是 按照時間序列順序排列的RGB三通道圖像?；蛘?，也可以是通過排列成橫向一列的攝像設(shè) 備拍攝的、如空間上排列的圖像列那樣在空間上連續(xù)的圖像列。另外，構(gòu)成圖像列的圖像不 限于RGB三通道圖像，也可以使用Gray單通道圖像等、其他顏色空間。
[0213]存儲部50除了存儲圖像列取得部30取得的圖像列以外，還作為處理部1〇〇等的 工作區(qū)域，其功能能夠通過RAM等存儲器或HDD (硬盤驅(qū)動器）等實現(xiàn)。
[0214]此外，如圖17所示，處理部100可以包含關(guān)注圖像列設(shè)定部iooi、第1基準(zhǔn)圖像 選擇部10〇2、第1判定對象圖像選擇部1〇〇3、第1可否刪除判定部1004、部分圖像列設(shè)定 部10〇 5、第2基準(zhǔn)圖像選擇部1〇〇6、第2判定對象圖像選擇部1007和第2可否刪除判定部 1008。另外，處理部100不限于圖17的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他 結(jié)構(gòu)要素等各種變形。并且上述各部件是在將由處理部100執(zhí)行的圖像精簡處理分割為多 個子例程時，為了說明各子例程而設(shè)定的，處理部100未必具有上述各部件作為結(jié)構(gòu)要件。 [0215] 關(guān)注圖像列設(shè)定部1001從構(gòu)成圖像列取得部3〇所取得的圖像列（以下為了明確 與關(guān)注圖像列以及精簡圖像列等的區(qū)別，也記述為取得圖像列）的多個圖像中提取關(guān)注圖 像，并設(shè)定由提取出的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列。這里，關(guān)注圖像是指例如拍 攝有關(guān)注區(qū)域（病變部等）的圖像。關(guān)注區(qū)域的檢測假定由處理部100進(jìn)行，例如通過對 取得圖像列的各圖像進(jìn)行給定的圖像處理，判定是否拍攝有關(guān)注區(qū)域，并將拍攝有關(guān)注區(qū) 域的圖像設(shè)為關(guān)注圖像即可。關(guān)注區(qū)域的檢測方法可考慮各種，例如可以從圖像中提取邊 緣成分，也可以進(jìn)行根據(jù)像素值判定顏色等的處理。
[0216]但是，關(guān)注區(qū)域的檢測不限于在圖像處理裝置中進(jìn)行，例如圖像列取得部30可以 取得如下的圖像列，該圖像列對各圖像賦予了表示是否為關(guān)注圖像的元數(shù)據(jù)而成。該情況 下，關(guān)注圖像列設(shè)定部1001不需要進(jìn)行關(guān)注區(qū)域的檢測處理，而根據(jù)元數(shù)據(jù)的讀出處理設(shè) 定關(guān)注圖像列。
[0217]第1基準(zhǔn)圖像選擇部10〇2從關(guān)注圖像列的多個圖像中選擇第1基準(zhǔn)圖像。第1 判定對象圖像選擇部10〇3選擇取得圖像列的多個圖像中的、與第1基準(zhǔn)圖像不同的圖像， 作為第1判定對象圖像。另外，狹義地講，第1判定對象圖像選擇部 1003從取得圖像列的 多個圖像中的、不是關(guān)注圖像的圖像中，選擇第1判定對象圖像。
[0218]第1可否刪除判定部1004根據(jù)所選擇的第1基準(zhǔn)圖像和第1判定對象圖像，判定 第1判定對象圖像可否刪除。詳細(xì)情況將后述。
[0219] 部分圖像列設(shè)定部1005根據(jù)第1可否刪除判定部1004中的第1可否刪除判定處 理的結(jié)果，設(shè)定由取得圖像列的部分圖像構(gòu)成的部分圖像列。部分圖像列的數(shù)不限于1個， 也可以設(shè)定多個部分圖像列。詳細(xì)情況將后述。
[0220] 在設(shè)定有多個部分圖像列的情況下，針對各部分圖像列，獨立地進(jìn)行第2基準(zhǔn)圖 像選擇部1〇〇6、第2判定對象圖像選擇部10〇7、第2可否刪除判定部1008中的處理。具體 而言，從部分圖像列的多個圖像中，選擇第2基準(zhǔn)圖像。第2判定對象圖像選擇部1〇〇7選 擇部分圖像列的多個圖像中的、與第 2基準(zhǔn)圖像不同的圖像,作為第2判定對象圖像。第2 可否刪除判定部1〇〇8根據(jù)所選擇的第2基準(zhǔn)圖像和第 2判定對象圖像，判定第2判定對象 圖像可否刪除。關(guān)于各處理的詳細(xì)情況將后述。
[0221] 6. 2處理流程
[0222]圖18示出對本實施方式的圖像精簡處理進(jìn)行說明的流程圖。在開始該處理后，首 先從取得圖像列的多個圖像中提取關(guān)注圖像，設(shè)定關(guān)注圖像列（S701)。然后，從關(guān)注圖像列 中選擇第1基準(zhǔn)圖像（S7〇 2)。在初次進(jìn)行S7〇2的處理的情況下，將關(guān)注圖像列所包含的圖 像中的起始圖像設(shè)為第1基準(zhǔn)圖像即可。如果是圖le(A)的例子，則由J1表示的關(guān)注圖像 成為最初的第1基準(zhǔn)圖像。此外，在S 7〇2的第2次之后的處理中，根據(jù)當(dāng)前的第i基準(zhǔn)圖 像在關(guān)注圖像列中的位置，進(jìn)行更新第1基準(zhǔn)圖像的處理。具體而言，在關(guān)注圖像列中，將 當(dāng)前的第1基準(zhǔn)圖像后方的1個圖像設(shè)為新的第1基準(zhǔn)圖像即可。在圖16(A)的例子中， 如果當(dāng)前的第1基準(zhǔn)圖像是J1的圖像，則選擇J 2的圖像，作為新的第1基準(zhǔn)圖像。
[0223] 在選擇了第1基準(zhǔn)圖像后，從取得圖像列中選擇第1判定對象圖像。這里,在初次 進(jìn)行S702的處理的情況下，將包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像中的 處于取得圖像列的最前方的圖像設(shè)為第1判定對象圖像。此外，在S703的第2次之后的處 理中，根據(jù)當(dāng)前的第1判定對象圖像在取得圖像列中的位置，進(jìn)行更新第1判定對象圖像的 處理。具體而言，可以將包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像中的在取得 圖像列中處于當(dāng)前的第1判定對象圖像的之后1個的圖像設(shè)為新的第1判定對象圖像。
[0224] 在選擇了第1基準(zhǔn)圖像、和第1判定對象圖像后，進(jìn)行第1可否刪除判定處理 (S704)。這里，進(jìn)行基于覆蓋率的判定，具體的處理將后述。在S 7〇4的處理后，存儲該時刻 的第1判定對象圖像是可刪除還是不可刪除的信息，并返回S703。通過反復(fù)S703、S704中 的處理，依次選擇包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像，作為第1判定對 象圖像，并對所選擇的各圖像，求出可刪除或不可刪除那樣的結(jié)果。
[0225] 針對包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的圖像中的處于取得圖像 列的最后的圖像，進(jìn)行S704的判定后，返回S703時不存在要選擇為第1判定對象圖像的 圖像，從而返回S702。在S702中，進(jìn)行第1基準(zhǔn)圖像的更新處理，在更新后的情況下反復(fù) S703、S704的處理，由此使用新的第1基準(zhǔn)圖像，進(jìn)行包含在取得圖像列內(nèi)、且未包含在關(guān) 注圖像列內(nèi)的所有圖像（在圖16(A)的例子中，是J1?J3以外的所有圖像）可否刪除的 判定。
[0226] 然后，將關(guān)注圖像列的最后的圖像（圖16(A)的例子中為J3)設(shè)為第1基準(zhǔn)圖像， 在基于使用了該第1基準(zhǔn)圖像的S703、S704的處理的可否刪除判定結(jié)束并返回S702時，在 S702中不存在要選擇為第1基準(zhǔn)圖像的圖像，結(jié)束第1可否刪除判定處理并轉(zhuǎn)移到S705。
[0227] 通過以上的處理，對包含在取得圖像列內(nèi)、且未包含在關(guān)注圖像列內(nèi)的各圖像，進(jìn) 行可否刪除的判定。另外，在具有多個關(guān)注圖像的情況下，針對各圖像多次進(jìn)行可否刪除判 定，但這里，設(shè)為至少1次被判定為可刪除的圖像是可刪除的。之所以這樣，是因為在本實 施方式中設(shè)為將關(guān)注圖像全部保留在精簡圖像列中，只要是被該關(guān)注圖像中的任何1個覆 蓋的圖像，則即使不被其他關(guān)注圖像覆蓋，刪除也不會有問題。
[0228] 其結(jié)果，將設(shè)為可刪除的圖像確定為不保留在精簡圖像列中。但是，關(guān)于被設(shè)為不 可刪除的圖像，不能確定為保留在精簡圖像列中，進(jìn)而進(jìn)行第2可否刪除判定處理。之所以 這樣，是因為被設(shè)為不可刪除的圖像只是未被關(guān)注圖像覆蓋，只要由被設(shè)為不可刪除的圖 像中的給定圖像覆蓋其他圖像，則即使刪除該其他圖像也不會有問題。
[0229] 這里，在第1可否刪除判定處理中為不可刪除的所有圖像不一定連續(xù)。例如，在第 1可否刪除判定處理的結(jié)果是如圖16(c)所示那樣，根據(jù)關(guān)注圖像求出可刪除的區(qū)間的情 況下，如12?14所示，將不可刪除的圖像分成3個部分。此時，對不可刪除的圖像整體進(jìn)行 可否刪除判定處理是沒有效率的。之所以這樣，是因為多個部分中的、第1部分和第2部分 在取得圖像列中遠(yuǎn)離，因此假定作為拍攝對象的被攝體也發(fā)生了變化的可能性高、由于第1 部分的圖像而使得第2部分的圖像成為可刪除的可能性低。即，進(jìn)行跨越多個部分的處理 的必要性低，在各部分進(jìn)行封閉的處理即足夠。
[0230] 因此這里，在取得圖像列中，檢測在第1可否刪除判定處理中被設(shè)為不可刪除的 圖像連續(xù)的區(qū)間，設(shè)定由與該區(qū)間對應(yīng)的圖像構(gòu)成的部分圖像列（S705)。在圖16(D)的例 子中，設(shè)定15?17的3個部分圖像列。另外，在第1可否刪除判定處理中被設(shè)為不可刪除 的圖像為1張，在不連續(xù)的情況下，不設(shè)定為部分圖像列。之所以這樣，是因為既然對各部 分圖像列進(jìn)行封閉的處理，那么即使設(shè)定由1張圖像構(gòu)成的部分圖像列，也不會發(fā)生由于 部分圖像列的給定圖像而能夠刪除其他圖像的狀況。因此，對于在第1可否刪除判定處理 中被設(shè)為不可刪除的不連續(xù)的1張圖像，在不進(jìn)行第2可否刪除判定處理的情況下，將其確 定為保留在精簡圖像列中的圖像。
[0231] 在設(shè)定部分圖像列后，選擇該部分圖像列的起始圖像作為第2基準(zhǔn)圖像（S706)。 然后，從部分圖像列所包含的圖像中的、第2基準(zhǔn)圖像以外的圖像中，選擇第2判定對象圖 像（S707)。這里，在第2基準(zhǔn)圖像的設(shè)定后初次進(jìn)行S707的處理的情況下，將第2基準(zhǔn)圖 像的后方1個圖像（部分圖像列的第2個圖像）設(shè)為第2判定對象圖像。此外，在S 7〇8后 進(jìn)行S707的處理的情況下，根據(jù)當(dāng)前的第2判定對象圖像在部分圖像列中的位置，進(jìn)行第 2判定對象圖像的更新處理。具體而言，在部分圖像列中，將當(dāng)前的第2判定對象圖像的后 方1個圖像設(shè)為新的第2判定對象圖像即可。
[0232]在選擇了第2基準(zhǔn)圖像、第2判定對象圖像后，進(jìn)行第2可否刪除判定處理 (S708)。在本實施方式中與第丨可否刪除判定處理同樣，進(jìn)行基于覆蓋率的判定處理，詳細(xì) 將后述。
[0233]在S708中判定為可刪除的情況下，返回S707,更新第2判定對象圖像。反復(fù) S7〇7、 S7〇8的處理，在將部分圖像列中的最后的圖像設(shè)為第2判定對象圖像時，在S7〇8中設(shè)為可 刪除并返回S 7〇7的情況下，通過第2基準(zhǔn)圖像覆蓋部分圖像列的其他所有圖像，因此設(shè)為 將第2基準(zhǔn)圖像保留在精簡圖像列中、且刪除其他所有圖像，結(jié)束對該部分圖像列的處理。 具體而言，在S 7〇7中不存在要選擇為第2判定對象圖像的圖像，返回S7〇5。
[0234]另一方面，在至少1個第2判定對象圖像被設(shè)為不可刪除的情況下，該時刻的第2 判定對象圖像無法由第2基準(zhǔn)圖像覆蓋，因此需要保留在精簡圖像列中。因此，在S7〇8中的 不可刪除的情況下，返回S 7〇5,將由該時刻的第2判定對象圖像、和部分圖像列中的其之后 的圖像構(gòu)成的圖像列設(shè)定為新的部分圖像列。通過對該新的部分圖像列進(jìn)行 s7〇6?S7〇8 的處理，能夠?qū)⑿碌牟糠謭D像列的起始的圖像、g卩在上述處理中被設(shè)為不可刪除的第2判 定對象圖像設(shè)定為第 2基準(zhǔn)圖像（能夠保留在精簡圖像列中）。
[0235]在S7〇5中，依次選擇作為第1可否刪除判定處理的結(jié)果而被設(shè)定的1個或多個部 分圖像列、和作為針對這些部分圖像列的S706?S7〇8的處理結(jié)果而重新設(shè)定的部分圖像 列。并且，在對所有部分圖像列結(jié)束了處理后（如果在5 705中不存在要選擇的部分圖像 列），結(jié)束本實施方式的圖像精簡處理。另外，在本實施方式中，將設(shè)定為第2基準(zhǔn)圖像的圖 像保留在精簡圖像列中，且刪除其他圖像。
[0236]圖丨9⑷?圖I9⑶圖示了針對部分圖像列中的1個圖像列的處理流程，所述部 分圖像列是作為第1可否刪除判定處理的結(jié)果而被設(shè)定的。如圖19(A)所示，在將具有N 張圖像的圖像列作為第1可否刪除判定處理的結(jié)果設(shè)定為部分圖像列的情況下，首先選擇 第1個圖像作為第2基準(zhǔn)圖像、選擇第2個圖像作為第2判定對象圖像。然后，判定第 2判 定對象圖像可否刪除。
[0237]在將第2判定對象圖像判定為可刪除的情況下，重新選擇第2判定對象圖像。具 體而g，成為使第2判定對象圖像的位置向后方移位的處理，如圖19(B)所示，選擇第3個 圖像作為第2判定對象圖像。進(jìn)而，判定新的第2判定對象圖像可否刪除，在找到被判定為 不可刪除的第2判定對象圖像之前，更新被選擇為第2判定對象圖像的圖像。
[0238]如圖19 (C)所示，在將第2個?第k_ 1個圖像判定為可刪除、第k個圖像判定為 不可刪除的情況下，第2個?第k 一 1個圖像被第2基準(zhǔn)圖像一定程度地覆蓋，因此進(jìn)行刪 除處理，而不將這些圖像包含到精簡圖像列中。與此相對，第k個圖像無法被第 2基準(zhǔn)圖像 充分覆蓋，因此需要保留在精簡圖像列中。因此，這里將第圖像和其之后的圖像（第 k?N個圖像）設(shè)定為新的部分圖像列。 ~
[0239]然后，對該新的部分圖像列再次反復(fù)圖]_9(A)?圖19(C)的處理即可。具體而言， 如圖19(D)所示，對由N_ X+1張圖像構(gòu)成的新的部分圖像列，將起始（圖19(c)等中為第 k個）圖像作為第2基準(zhǔn)圖像、第2個（圖19(C)等中為第k+Ι個）圖像作為第2判定對 象圖像，進(jìn)行處理。之后的處理相同，如果將第2判定對象圖像判定為可刪除，則選擇下一 圖像作為新的第2判定對象圖像。此外，如果將第2判定對象圖像判定為不可刪除，則將第 2基準(zhǔn)圖像保留在精簡圖像列中，刪除被判定為可刪除的圖像，將該時刻的第2判定對象圖 像之后的圖像設(shè)定為新的部分圖像列。最終，在到部分圖像列的最后圖像為止全部被判定 為可刪除的情況、或者部分圖像列所包含的圖像僅為1張而無法設(shè)定第2判定對象圖像的 情況下，結(jié)束處理。
[0240] 另外，在圖18的流程圖中，在第1可否刪除判定處理的結(jié)果是設(shè)定了多個部分圖 像列的情況下，逐個地依次處理該多個部分圖像列，但不限于此。在處理部100的結(jié)構(gòu)適于 并列處理（例如使用具有多個內(nèi)核的CPU作為處理部100)的情況下、通過多個計算機構(gòu)成 本實施方式的圖像處理裝置并在各計算機中進(jìn)行分散處理的情況下等，也可以并列地對多 個部分圖像列進(jìn)行第2可否刪除判定處理。這樣，能夠縮短第2可否刪除判定處理所需要 的時間等。
[0241] 6. 3第1可否刪除判定處理
[0242] 接著，作為第1可否刪除判定處理的具體例，對使用了覆蓋率的處理進(jìn)行說明。 如圖20所示，第1可否刪除判定部1〇〇4可以包含變形信息取得部1009、覆蓋區(qū)域計算部 1010、覆蓋率計算部1011和閾值判定部1012。但是，第1可否刪除判定部1004不限于圖 20的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種變形。
[0243]變形信息取得部1009取得兩個圖像間的變形信息。關(guān)于變形信息，如上所述，變 形信息取得部1009取得由第1基準(zhǔn)圖像選擇部1002選擇的第1基準(zhǔn)圖像、與由第1判定 對象圖像選擇部1003選擇的第1判定對象圖像之間的變形信息。
[0244] 覆蓋區(qū)域計算部1010利用兩個圖像間的變形信息（變形參數(shù)），將一個圖像映射 到另一個圖像上，求出覆蓋區(qū)域。覆蓋率計算部1011根據(jù)覆蓋區(qū)域計算覆蓋率。閾值判定 部101 2進(jìn)行計算出的覆蓋率和給定閾值的比較處理。具體的處理內(nèi)容與第1實施方式等 相同，因此省略詳細(xì)的說明。
[0245] 6· 4第2可否刪除判定處理
[0246] 接著說明第2可否刪除判定處理。在本實施方式中，第2可否刪除判定處理也根 據(jù)覆蓋率進(jìn)行。如圖21所示，第2可否刪除判定部1008可以包含變形信息取得部1013、 覆蓋區(qū)域計算部1014、覆蓋率計算部1〇1 5和閾值判定部1〇16。但是，第2可否刪除判定部 100S不限于圖21的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要素等各種 變形。
[0247]變形信息取得部1013取得第2基準(zhǔn)圖像與第2判定對象圖像之間的變形信息。覆 蓋區(qū)域計算部1014根據(jù)第2基準(zhǔn)圖像與第2判定對象圖像之間的變形信息，對第2基準(zhǔn)圖 像進(jìn)行變形，將其映射到第2判定對象圖像上，計算覆蓋區(qū)域。覆蓋率計算部 1015根據(jù)相 對于第2判定對象圖像整體面積的覆蓋區(qū)域面積等求出覆蓋率。閾值判定部1〇16進(jìn)行計 算出的覆蓋率和給定閾值的比較處理。另外，在第 2可否刪除判定處理中使用的閾值可以 是與在第1可否刪除判定處理中使用的閾值不同的值。
[0248]在本實施方式中，第1可否刪除判定處理與第2可否刪除判定處理是相同的處理。 艮P，變形信息取得部不需要設(shè)置有10〇9和1013這兩個，也可以匯總成1個，其他各部件是 相同的。因此，本實施方式的處理部100可以包含變形信息取得部、覆蓋區(qū)域計算部、覆蓋 率計算部和閾值判定部，這各個部件進(jìn)行第丨可否刪除判定處理和第 2可否刪除判定處理 兩方。
[0249]在以上的本實施方式中，如圖17所示，圖像處理裝置包含：圖像列取得部30,其取 得具有多個圖像的圖像列；以及處理部1〇〇,其基于將圖像列取得部3〇所取得的圖像列中 多個圖像的一部分刪除的第1可否刪除判定處理和第 2可否刪除判定處理，進(jìn)行取得精簡 圖像列的圖像精簡處理。處理部100設(shè)定由多個圖像所包含的i個或多個關(guān)注圖像構(gòu)成的 關(guān)注圖像列。并且，進(jìn)行如下處理，作為第i可否刪除判定處理：從所設(shè)定的關(guān)注圖像列中 選擇第1基準(zhǔn)圖像，并且從多個圖像中選擇第1判定對象圖像，根據(jù)表示第i基準(zhǔn)圖像與第 1判定對象圖像之間的變形的第1變形信息，判定第1判定對象圖像可否刪除。此外，處理 部100利用圖像列，設(shè)定在第1可否刪除判定處理中被判定為不可刪除的圖像連續(xù)多個而 成的部分圖像列。而且，處理部100進(jìn)行如下處理，作為第2可否刪除判定處理：從部分圖 像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，根據(jù)表示第2基準(zhǔn)圖像與第2判定對象圖 像之間的變形的第2變形信息，判定第2判定對象圖像可否刪除。
[0250]這里，關(guān)注圖像是指對于用戶而言要關(guān)注的圖像，例如可以是拍攝有特定的被攝 體的圖像，也可以是具有特定顏色的圖像。此外，是否為關(guān)注圖像不限于根據(jù)圖像自身（例 如通過圖像處理等）確定，例如可以將來自設(shè)置于攝像裝置的傳感器的傳感器信息作為元 數(shù)據(jù)預(yù)先賦予到圖像，并根據(jù)該元數(shù)據(jù)確定是否為關(guān)注圖像。
[0251]由此，能夠進(jìn)行使用了以下兩個觀點的圖像精簡處理，因此能夠進(jìn)行有效的圖像 精簡處理：是否為關(guān)注圖像的觀點、和是否由根據(jù)多個圖像間的變形信息而保留的圖像覆 蓋了要刪除的圖像的觀點。但是，在進(jìn)行各觀點的處理，并單純地組合結(jié)果時，如圖 16(B) 所示，圖像張數(shù)的削減效果不充分。因此，這里進(jìn)行以確定保留的關(guān)注圖像為基準(zhǔn)的第1可 否刪除判定處理、和對以關(guān)注圖像基準(zhǔn)無法刪除的部分圖像列的第2可否刪除判定處理這 兩階段處理，由此能夠進(jìn)行高效的圖像精簡處理。另外，第1可否刪除判定處理中的第1判 定對象圖像可以從圖像列的多個圖像整體中選擇，但如果考慮到處理效率，則狹義上，是從 多個圖像中的、未包含在關(guān)注圖像列內(nèi)的圖像中選擇的。
[0252] 此外，處理部1〇〇可以進(jìn)行第1覆蓋率判定處理、和第1結(jié)構(gòu)要素判定處理中的至 少一方的處理，作為第1可否刪除判定處理。此外，處理部100可以進(jìn)行第2覆蓋率判定處 理、和第2結(jié)構(gòu)要素判定處理中的至少一方的處理，作為第2可否刪除判定處理。這里，第1 覆蓋率判定處理是如下處理：根據(jù)第1變形信息，求出第1基準(zhǔn)圖像對第1判定對象圖像的 覆蓋率，并根據(jù)所求出的覆蓋率，判定第1判定對象圖像可否刪除。第1結(jié)構(gòu)要素判定處理 是如下處理：根據(jù)使用了與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素和第1變形信息的處理結(jié)果，判定第1 判定對象圖像可否刪除。同樣，第2覆蓋率判定處理是如下處理：根據(jù)第2變形信息，求出 第2基準(zhǔn)圖像對第2判定對象圖像的覆蓋率，并根據(jù)所求出的覆蓋率，判定第2判定對象圖 像可否刪除。第2結(jié)構(gòu)要素判定處理是如下處理：根據(jù)使用了與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素 和所述第2變形信息的處理結(jié)果，判定所述第2判定對象圖像可否刪除。
[0253] 這里，關(guān)注區(qū)域是指對于用戶而言，觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的 區(qū)域，例如在用戶是醫(yī)生且希望治療的情況下，是指拍攝有粘膜部和病變部的區(qū)域。另外， 作為其他例，如果醫(yī)生希望觀察的對象是泡或便，則關(guān)注區(qū)域是拍攝有該泡部分或便部分 的區(qū)域。即，用戶要關(guān)注的對象根據(jù)其觀察目的而不同，但無論怎樣，在其觀察時，對于用戶 而言觀察的優(yōu)先順序與其他區(qū)域相比、相對較高的區(qū)域成為關(guān)注區(qū)域。
[0254] 由此，作為使用了變形信息的處理，可以進(jìn)行使用了覆蓋率的處理、和在第2實施 方式詳細(xì)敘述的使用了結(jié)構(gòu)要素的處理中的至少一方的處理。在使用了覆蓋率的情況下， 即使刪除了給定圖像，也能夠保證該圖像的一定程度比例（例如以面積為基準(zhǔn)的比例）的 區(qū)域被精簡圖像列所保留的精簡圖像覆蓋，能夠抑制由于圖像精簡處理而變得無法觀察的 區(qū)域產(chǎn)生。此外，使用了結(jié)構(gòu)要素的情況下，即使刪除了給定圖像，也能夠保證該圖像中所 拍攝的與結(jié)構(gòu)要素對應(yīng)的尺寸區(qū)域的至少一部分被拍攝到精簡圖像上。因此，能夠通過設(shè) 定與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素，抑制由于圖像精簡處理而變得無法觀察的關(guān)注區(qū)域產(chǎn)生。
[0255] 此外，處理部1〇〇可以進(jìn)行從多個圖像中檢測關(guān)注區(qū)域的處理，并將多個圖像中 的、檢測到關(guān)注區(qū)域的圖像設(shè)定為關(guān)注圖像。
[0256] 由此，能夠根據(jù)關(guān)注區(qū)域設(shè)定關(guān)注圖像。這里的關(guān)注區(qū)域被假定為與作為結(jié)構(gòu)要 素的設(shè)定基準(zhǔn)的關(guān)注區(qū)域相同，但也可以設(shè)定不同的關(guān)注區(qū)域。例如，可以使用如下方法： 對于關(guān)注圖像，將邊緣成分多的區(qū)域設(shè)定為關(guān)注區(qū)域（例如提取活體內(nèi)的褶皺或血管結(jié)構(gòu) 等），對于結(jié)構(gòu)要素，將病變部設(shè)定為關(guān)注區(qū)域（例如抑制給定大小以上的病變漏看）。
[0257] 此外，圖像列取得部3〇可以取得拍攝活體內(nèi)而得的多個活體內(nèi)圖像，作為圖像 列。處理部100進(jìn)行從多個活體內(nèi)圖像中檢測病變區(qū)域作為關(guān)注區(qū)域的處理，并將多個活 體內(nèi)圖像中的、檢測到病變區(qū)域的圖像設(shè)定為關(guān)注圖像。
[0258] 由此，能夠進(jìn)行使用了病變區(qū)域作為關(guān)注區(qū)域的處理，因此例如能夠用于使用了 由膠囊內(nèi)窺鏡等取得的圖像的診斷等。
[0259] 此外，以上的本實施方式可以適用于包含攝像部（例如設(shè)置于內(nèi)窺鏡鏡體的前端 部等）、和上述圖像處理裝置的內(nèi)窺鏡裝置。
[0260] 此外，處理部1〇〇在設(shè)定了多個部分圖像列的情況下，可以對多個部分圖像列并 列地進(jìn)行第2可否刪除判定處理。
[0261] 由此，能夠通過并列處理進(jìn)行第2可否刪除判定處理的部分，因此能夠?qū)崿F(xiàn)處理 的高速化。
[0262] 此外，本實施方式的圖像處理裝置等可以通過程序?qū)崿F(xiàn)其處理的一部分或大部 分。該情況下，通過由CPU等處理器執(zhí)行程序，實現(xiàn)本實施方式的圖像處理裝置等。具體而 言，讀出信息存儲介質(zhì)所存儲的程序，并由CPU等處理器執(zhí)行所讀出的程序。這里，信息存 儲介質(zhì)（計算機可讀取的介質(zhì)）是存儲程序和數(shù)據(jù)等的介質(zhì)，其功能能夠通過光盤（DVD、 ⑶等）、HDD(硬盤驅(qū)動器）、或存儲器（卡型存儲器、ROM等）等實現(xiàn)。并且，CPU等處理器 根據(jù)信息存儲介質(zhì)所存儲的程序（數(shù)據(jù)）進(jìn)行本實施方式的各種處理。即，在信息存儲介 質(zhì)中，存儲有用于使計算機（具有操作部、處理部、存儲部、輸出部的裝置）作為本實施方式 的各部件發(fā)揮功能的程序（用于使計算機執(zhí)行各部件的處理的程序）。
[0263] 7.第6實施方式
[0264] 接著，對第1可否刪除判定處理、和第2可否刪除判定處理的其他方法進(jìn)行說明。 對于本實施方式的圖像處理裝置的結(jié)構(gòu)例，雖然第1可否刪除判定部1004、和第2可否刪除 判定部1008中的處理內(nèi)容不同，但與圖Π 相同，因此省略詳細(xì)的說明。此外，關(guān)于處理流 程，雖然S704和S708中的處理內(nèi)容不同，但與圖18的流程圖相同，因此省略詳細(xì)的說明。
[0265] 7. 1使用了結(jié)構(gòu)要素的可否刪除判定
[0266] 首先，作為第1可否刪除判定處理和第2可否刪除判定處理，對進(jìn)行使用了與關(guān)注 區(qū)域?qū)?yīng)的結(jié)構(gòu)要素的處理的例子進(jìn)行說明。這里的關(guān)注區(qū)域可以與在圖17的關(guān)注圖像 列設(shè)定部1001中使用的關(guān)注圖像的基準(zhǔn)相同（例如，如果將拍攝有病變部的圖像作為關(guān)注 圖像來設(shè)定了關(guān)注圖像列，則此處的結(jié)構(gòu)要素也根據(jù)病變部進(jìn)行設(shè)定），也可以不同。
[0267] 這里，在將關(guān)注圖像列的設(shè)定中的關(guān)注區(qū)域、與第1可否刪除判定處理中的關(guān)注 區(qū)域設(shè)為同一關(guān)注區(qū)域的情況下，拍攝有關(guān)注區(qū)域的圖像包含在關(guān)注圖像列中，因此既然 被假定保留在精簡圖像列中，那么還產(chǎn)生在第1可否刪除判定中判定關(guān)注區(qū)域的漏看可能 性是否有意義的疑問。但是，既然越是需要圖像精簡處理，越需要將大量的圖像設(shè)為處理對 象，那么關(guān)注區(qū)域的檢測自然由系統(tǒng)自動進(jìn)行。該情況下，難以利用100%的精度檢測關(guān)注 區(qū)域，可能產(chǎn)生無法在拍攝關(guān)注區(qū)域的同時檢測到的（無法設(shè)為關(guān)注圖像的）圖像。如果 要不漏看地觀察那樣的圖像中的關(guān)注區(qū)域，則進(jìn)行基于關(guān)注區(qū)域的漏看可能性的判定是有 意義的，如以下將說明那樣，可以說在以下方面也有優(yōu)點：將與用于關(guān)注圖像列的設(shè)定的關(guān) 注區(qū)域相同的關(guān)注區(qū)域用于結(jié)構(gòu)要素的設(shè)定。
[0268] 另外，第2可否刪除判定處理與第1可否刪除判定處理相同，因此省略詳細(xì)的說 明，對第1可否刪除判定處理進(jìn)行說明。
[0269] 如圖22所示，第1可否刪除判定部1004可以包含結(jié)構(gòu)要素生成部1017、變形信息 取得部1009、覆蓋區(qū)域計算部1010和關(guān)注區(qū)域漏看可能性判定部1018。但是，第1可否刪 除判定部1004不限于圖22的結(jié)構(gòu)，可以實施省略其中一部分結(jié)構(gòu)要素或追加其他結(jié)構(gòu)要 素等各種變形。
[0270] 結(jié)構(gòu)要素生成部1017根據(jù)關(guān)注區(qū)域，生成關(guān)注區(qū)域漏看可能性判定部1018中的 處理所使用的結(jié)構(gòu)要素。這里，設(shè)定與在漏看方面不理想的關(guān)注區(qū)域相同形狀、相同尺寸的 區(qū)域，但是不限于此。
[0271] 覆蓋區(qū)域計算部1010可以計算覆蓋區(qū)域，并且將第2判定對象圖像中的不是覆蓋 區(qū)域的區(qū)域設(shè)定為非覆蓋區(qū)域。
[0272] 關(guān)注區(qū)域漏看可能性判定部1018進(jìn)行針對以下可能性的判定處理：在刪除了第1 判定對象圖像的情況下，第1判定對象圖像上所拍攝的關(guān)注區(qū)域成為在第1基準(zhǔn)圖像中未 被拍攝的狀況（即成為漏看關(guān)注區(qū)域的狀況）。
[0273] 對具體的處理流程進(jìn)行說明。結(jié)構(gòu)要素生成部1017根據(jù)關(guān)注區(qū)域生成結(jié)構(gòu)要素。 這里，考慮關(guān)注區(qū)域的典型大小等，將在在漏看方面不理想的尺寸、形狀的區(qū)域設(shè)定為結(jié)構(gòu) 要素。例如，如果知曉關(guān)注區(qū)域是病變部，圖像上的大于直徑為30像素的圓的病變的嚴(yán)重 性高且不應(yīng)漏看，則對于結(jié)構(gòu)要素，設(shè)定直徑為30像素的圓。
[0274] 在選擇了第1基準(zhǔn)圖像和第1判定對象圖像后，變形信息取得部1009取得第1基 準(zhǔn)圖像與第1判定對象圖像之間的變形信息。覆蓋區(qū)域計算部1〇1〇利用所取得的變形信 息，將第1基準(zhǔn)圖像映射到第1判定對象圖像上，求出覆蓋區(qū)域。
[0275] 在計算出覆蓋區(qū)域后，關(guān)注區(qū)域漏看可能性判定部1018判定關(guān)注區(qū)域的漏看可 能性。具體而言，對第1判定對象圖像中的覆蓋區(qū)域以外的區(qū)域即非覆蓋區(qū)域，進(jìn)行使用了 結(jié)構(gòu)要素的收縮處理，進(jìn)行是否存在殘留區(qū)域的判定。
[0276] 使用圖23㈧?圖23(E)說明收縮處理的具體例。如圖23(A)所示，非覆蓋區(qū)域 必定是封閉的區(qū)域，能夠設(shè)定其邊界。例如，在圖23(A)中，設(shè)定作為外側(cè)邊界的B01、和作 為內(nèi)側(cè)邊界的B02。
[0277] 此時，基于結(jié)構(gòu)要素的收縮處理是指如下處理：在非覆蓋區(qū)域的邊界上設(shè)定了該 結(jié)構(gòu)要素的基準(zhǔn)點的情況下，刪除非覆蓋區(qū)域與結(jié)構(gòu)要素的重復(fù)區(qū)域。例如，在設(shè)定了圓形 區(qū)域作為結(jié)構(gòu)要素、并將該基準(zhǔn)點設(shè)為圓的中心的情況下，進(jìn)行如下處理：描繪在非覆蓋區(qū) 域的邊界上具有中心的圓，從非覆蓋區(qū)域中排除該圓與非覆蓋區(qū)域重疊的部分。具體而言， 如圖23(A)所示，描繪以非覆蓋區(qū)域的外側(cè)邊界B01上的點為中心的圓，排除與非覆蓋區(qū)域 的重復(fù)區(qū)域（這里，是用斜線示出的半圓形的區(qū)域）。
[0278] 外側(cè)邊界B01如果考慮被離散地處理，則由多個點構(gòu)成，因此對該多個點的各點 進(jìn)行上述處理即可。作為一例，如圖23(A)所示，以邊界上的一點為起點，在給定方向上 依次描繪以邊界B01上的點為中心的圓，從非覆蓋區(qū)域中排除與非覆蓋區(qū)域的重復(fù)區(qū)域即 可。
[0279] 在非覆蓋區(qū)域的邊界的一部分與判定對象圖像的邊界一致的情況下等，還考慮非 覆蓋區(qū)域的邊界是1個的情況，此時對該1個邊界進(jìn)行上述處理即可。此外，如圖23(A)所 示，在考慮B01和B02這兩個作為非覆蓋區(qū)域的邊界的情況下，對各個邊界進(jìn)行上述處理。 具體而言，如圖23(B)所示，對于內(nèi)側(cè)邊界B02,也進(jìn)行描繪在B02上具有中心的圓、并排除 與非覆蓋區(qū)域的重復(fù)區(qū)域的處理，對構(gòu)成B02的各點反復(fù)該處理即可。
[0280] 通過進(jìn)行這樣的收縮處理，非覆蓋區(qū)域的面積減小。例如，在著眼于圖23(A)的非 覆蓋區(qū)域的左部的情況下，通過圖23(A)所示的B01上的收縮處理、和圖23(B)所示的B02 上的收縮處理，完全刪除非覆蓋區(qū)域，從而不存在要保留的區(qū)域。例如，在著眼于非覆蓋區(qū) 域的右下部分的情況下，如圖23(C)所示，產(chǎn)生在B01上的收縮處理和B02上的收縮處理中 都未成為排除對象而殘留的殘留區(qū)域RE。因此，此處的對非覆蓋區(qū)域整體進(jìn)行基于結(jié)構(gòu)要 素的收縮處理后的結(jié)果如圖23(D)所示，產(chǎn)生殘留區(qū)域RE。
[0281] 這里，考慮將半徑r的圓設(shè)為結(jié)構(gòu)要素的情況下的收縮處理所具有的意義。可以 將作為封閉區(qū)域的非覆蓋區(qū)域認(rèn)作處于邊界（可以如B01和B02那樣是不同的邊界，也可 以是1個邊界）的內(nèi)側(cè)的區(qū)域。通過對該邊界進(jìn)行上述收縮處理，非覆蓋區(qū)域所包含的點 中的、與上述邊界上的點的距離為r以內(nèi)的點成為刪除的對象。S卩，在考慮到不作為刪除對 象的殘留區(qū)域所包含的點的情況下，從該點到邊界上的任意點為止的距離大于r。因此，在 描繪了以殘留區(qū)域上的任意點為中心的半徑為r的圓的情況下，該圓的圓周與任何邊界都 不交叉。換言之，表示如下狀況：由半徑R( = r)的圓表示的關(guān)注區(qū)域通過將殘留區(qū)域中的 點設(shè)為其中心，完全收斂在非覆蓋區(qū)域中。另外，即使在使用了圓以外的形狀（四邊形等） 作為結(jié)構(gòu)要素的情況下，基本思路也相同。
[0282] 即，如圖23(E)的右下所示，存在殘留區(qū)域的情況是與結(jié)構(gòu)要素對應(yīng)的區(qū)域包含 在非覆蓋區(qū)域中的情況，在那樣的位置處存在病變部等關(guān)注區(qū)域的情況下，如果刪除第1 判定對象圖像，則即使保留第1基準(zhǔn)圖像，也有可能無法觀察關(guān)注區(qū)域。反之，如圖23 (E)的 左上所示，不存在殘留區(qū)域的情況是指關(guān)注區(qū)域的至少一部分包含在覆蓋區(qū)域中，即使刪 除了第1判定對象圖像，也能夠?qū)㈥P(guān)注區(qū)域的至少一部分保留在第1基準(zhǔn)圖像中。如上所 述，在關(guān)注區(qū)域漏看可能性判定部1018中，對非覆蓋區(qū)域進(jìn)行基于結(jié)構(gòu)要素的收縮處理， 根據(jù)是否存在殘留區(qū)域，進(jìn)行第1判定對象圖像可否刪除的判定。
[0283] 7. 2可否刪除判定的變形例
[0284] 如上所述，作為第1、第2可否刪除判定處理，考慮使用了覆蓋率的處理或使用了 結(jié)構(gòu)要素的處理。但是，第1、第2可否刪除判定處理不限于以單體形式使用這些要素的處 理，也可以組合多個要素。
[0285] 例如，可以是，作為第1可否刪除判定處理，進(jìn)行使用了覆蓋率的處理和使用了結(jié) 構(gòu)要素的處理兩方，作為第2可否刪除判定處理，也進(jìn)行使用了覆蓋率的處理和使用了結(jié) 構(gòu)要素的處理兩方。該情況下，如果基于通過抑制無法觀察的區(qū)域產(chǎn)生、且抑制關(guān)注區(qū)域的 漏看可能性來提高精簡圖像列的有用性的觀點考慮，在基于覆蓋率的判定中設(shè)為可刪除、 且在基于結(jié)構(gòu)要素的判定中設(shè)為可刪除的情況下，設(shè)為可刪除，在除此以外的情況下設(shè)為 不可刪除即可。另外，第1可否刪除判定處理中的與覆蓋率的比較處理所使用的閾值、與第 2可否刪除判定處理中的與覆蓋率的比較處理所使用的閾值可以相同，也可以不同。同樣， 在第1可否刪除判定處理中使用的結(jié)構(gòu)要素（狹義地講是其尺寸）、與在第2可否刪除判定 處理中使用的結(jié)構(gòu)要素（狹義地講是其尺寸）可以相同，也可以不同。
[0286] 此外，第1可否刪除判定處理和第2可否刪除判定處理不限于為同一處理。例如， 也可以是，第1可否刪除判定處理是基于覆蓋率的處理，第2可否刪除判定處理是基于覆蓋 率的處理和基于結(jié)構(gòu)要素的處理這兩方的處理。由此，使用了多個觀點（上述例子中為覆 蓋率和結(jié)構(gòu)要素）的處理在第1、第2可否刪除判定處理的至少一方中進(jìn)行，因此與單一觀 點的處理相比，能夠期待判定精度的提高，且基于給定觀點（上述例子中為結(jié)構(gòu)要素）的處 理在第1、第2可否刪除判定處理的一方中可省略，因此與在第1、第2可否刪除判定處理的 兩方中使用所有觀點進(jìn)行處理的情況相比，能夠減輕處理負(fù)荷。
[0287] 其中，如果使用兩個觀點，則理想的是，在第1、第2可否刪除判定處理的至少一方 的處理中，采用基于兩方的觀點的處理。例如，可以避免如下情況：在第1可否刪除判定處 理中使用覆蓋率，在第2可否刪除判定處理中使用結(jié)構(gòu)要素。之所以這樣，是因為根據(jù)作 為處理對象的圖像，利用基于覆蓋率單體、或結(jié)構(gòu)要素單體的處理，可能無法發(fā)揮足夠的精 度。通過使用覆蓋率和結(jié)構(gòu)要素這兩方而使得判定精度提高正是因為在基準(zhǔn)圖像和判定對 象圖像的組合中進(jìn)行兩方的處理而實現(xiàn)的。但是，如果依照上述選擇方法，則第1可否刪除 判定處理中的第1基準(zhǔn)圖像和第1判定對象圖像的組合、與第2可否刪除判定處理中的第2 基準(zhǔn)圖像和第2判定對象圖像的組合不會重復(fù)。即，在第1可否刪除判定處理中使用覆蓋 率、在第2可否刪除判定處理中使用結(jié)構(gòu)要素那樣的例子中，如果視作圖像精簡處理整體， 則可以說使用覆蓋率和結(jié)構(gòu)要素兩方進(jìn)行了處理，只不過分別獨立地被使用，判定精度的 提高效果可能不充分。盡管如此，處理部100必須能夠執(zhí)行多個不同的可否刪除判定處理， 因此作為系統(tǒng)結(jié)構(gòu)是沒有效率的。
[0288]另外，可以導(dǎo)入與覆蓋率和結(jié)構(gòu)要素均不同的觀點，進(jìn)行基于3個以上觀點的可 否刪除判定處理。該情況下，理想的是在第1可否刪除判定處理和第2可否刪除判定處理 的至少一方的處理中，進(jìn)行使用了所有觀點的處理。
[0289] 在以上的本實施方式中，處理部100在進(jìn)行第1覆蓋率判定處理作為第1可否刪 除判定處理的情況下，可以進(jìn)行第2覆蓋率判定處理，作為第2可否刪除判定處理。此外， 處理部100在進(jìn)行第1結(jié)構(gòu)要素判定處理作為第丨可否刪除判定處理的情況下，可以進(jìn)行 第2結(jié)構(gòu)要素判定處理，作為第2可否刪除判定處理。
[0290]由此，能夠進(jìn)行基于覆蓋率的判定處理，作為第1、第2可否刪除判定處理。同樣， 能夠進(jìn)行基于結(jié)構(gòu)要素的判定處理，作為第1、第2可否刪除判定處理。該情況下，第1、第2 可否刪除判定處理能夠通過基于單一觀點的處理實現(xiàn)，因此與一并使用覆蓋率和結(jié)構(gòu)要素 兩方的情況相比，能夠減輕處理負(fù)荷。
[0291] 此外，處理部100可以進(jìn)行第1覆蓋率判定處理、和第i結(jié)構(gòu)要素判定處理兩方的 處理，作為第1可否刪除判定處理。此外，處理部100可以進(jìn)行第2覆蓋率判定處理、和第 2結(jié)構(gòu)要素判定處理兩方的處理，作為第2可否刪除判定處理。
[0292]由此，第1可否刪除判定處理和第2可否刪除判定處理中的至少一方進(jìn)行覆蓋率 判定處理和結(jié)構(gòu)要素判定處理兩方的處理，與第1、第2可否刪除判定處理均僅為覆蓋率判 定處理的情況、或第1、第2可否刪除判定處理均僅為結(jié)構(gòu)要素判定處理的情況相比，能夠 提高判定精度。另外，當(dāng)然可以在第1可否刪除判定處理和第2可否刪除判定處理的兩方 中，進(jìn)行覆蓋率判定處理和結(jié)構(gòu)要素判定處理兩方的處理。其中，能夠通過簡化第1、第2可 否刪除判定處理中的任意一方的處理（例如省略結(jié)構(gòu)要素判定處理），減輕處理負(fù)荷。
[0293] 此外，第1覆蓋率判定處理可以是基于表示第1基準(zhǔn)圖像對第1判定對象圖像的 覆蓋率的值、與第1覆蓋率閾值的比較結(jié)果的判定處理。第1結(jié)構(gòu)要素判定處理設(shè)定第1尺 寸的要素作為結(jié)構(gòu)要素，其是基于所設(shè)定的結(jié)構(gòu)要素的收縮處理、或判定在未通過第1基 準(zhǔn)圖像覆蓋第1判定對象圖像的區(qū)域中是否包含所設(shè)定的結(jié)構(gòu)要素的處理。
[0294] 同樣，第2覆蓋率判定處理可以是基于表示第2基準(zhǔn)圖像對第2判定對象圖像的 覆蓋率的值、與第2覆蓋率閾值的比較結(jié)果的判定處理。第2結(jié)構(gòu)要素判定處理設(shè)定第2尺 寸的要素作為結(jié)構(gòu)要素，其是基于所設(shè)定的結(jié)構(gòu)要素的收縮處理、或判定在未通過第2基 準(zhǔn)圖像覆蓋第2判定對象圖像的區(qū)域中是否包含所設(shè)定的結(jié)構(gòu)要素的處理。
[0295] 由此，作為基于覆蓋率的判定處理，能夠進(jìn)行所求出的覆蓋率與閾值的比較處理。 如果像圖2那樣求出覆蓋率，則判定處理自身進(jìn)行與閾值的比較即可，因此處理比較容易。 此外，作為基于結(jié)構(gòu)要素的判定處理，能夠進(jìn)行圖23(A)?圖23(E)所示那樣的、使用了結(jié) 構(gòu)要素的收縮處理。其中，基于結(jié)構(gòu)要素的收縮處理的對象不限于非覆蓋區(qū)域。
[0296] 例如圖24(A)所示，可以將判定對象圖像作為對象來進(jìn)行基于結(jié)構(gòu)要素的收縮處 理。該情況下，通過設(shè)定為關(guān)注區(qū)域完全未收斂在通過收縮處理刪除的區(qū)域內(nèi)（典型的是 設(shè)定關(guān)注區(qū)域的2倍尺寸的要素作為結(jié)構(gòu)要素），如圖24(B)所示，殘留區(qū)域是要求被基準(zhǔn) 圖像覆蓋的要覆蓋區(qū)域。即，該情況下，根據(jù)要覆蓋區(qū)域整體是否被基準(zhǔn)圖像覆蓋來進(jìn)行可 否刪除判定即可，具體而言，如圖25 (A)、圖25 (B)所示，利用變形信息對基準(zhǔn)圖像和要覆蓋 區(qū)域中的一方進(jìn)行變形，并進(jìn)行使用了變形后的區(qū)域的包含判定即可。在要覆蓋區(qū)域包含 在基準(zhǔn)圖像中的情況下，判定對象圖像是可刪除的，如果存在不被包含的部分，則判定對象 圖像是不可刪除的。
[0297] 此外，使用了結(jié)構(gòu)要素的可否刪除判定處理不限于使用收縮處理，只要是判定非 覆蓋區(qū)域中是否包含結(jié)構(gòu)要素的處理即可。例如圖26(A)和圖 26(B)所示，可以是如下那 樣的簡單方法：根據(jù)從覆蓋區(qū)域的邊界上的點（pi?p6等）到判定對象圖像的邊界的距 離（kl?k6等）、或從判定對象圖像的邊界上的點到覆蓋區(qū)域的邊界的距離，求出與非覆蓋 區(qū)域的最大直徑對應(yīng)的值，進(jìn)行所求出的值與結(jié)構(gòu)要素（該情況下是與關(guān)注區(qū)域相同的尺 寸）的最小直徑的比較處理。
[0298] 此外，處理部100可以設(shè)定與第1覆蓋率閾值不同的值，作為第2覆蓋率閾值。此 夕卜，處理部1〇〇可以設(shè)定與第1尺寸不同的尺寸，作為第 2尺寸。
[0299] 由此，即使在第1可否刪除判定處理和第2可否刪除判定處理中進(jìn)行同一觀點的 處理的情況下，也能夠在各個處理中變更判定的基準(zhǔn)值，從而能夠?qū)崿F(xiàn)靈活的兩階段判定 處理。
[0300] 8.第7實施方式
[0301] 在第5實施方式中，作為第2可否刪除判定處理中的第2基準(zhǔn)圖像和第2判定對 象圖像的選擇方法，說明了圖19(A)?圖19(D)的方法。但是，第2基準(zhǔn)圖像和第2判定對 象圖像的選擇方法不限于圖19(A)?圖19(D)的方法。在本實施方式中，說明如下方法：設(shè) 定兩張圖像（前方基準(zhǔn)圖像和后方基準(zhǔn)圖像）作為第 2基準(zhǔn)圖像，將它們之間的圖像設(shè)為 第2判定對象圖像。
[0302] 基準(zhǔn)圖像有兩張，但此時的覆蓋區(qū)域如圖2所示，將作為如下兩個區(qū)域的并集的 區(qū)域設(shè)為覆蓋區(qū)域即可：根據(jù)前方基準(zhǔn)圖像與第2判定對象圖像之間的變形信息對前方基 準(zhǔn)圖像進(jìn)行變形而求出的區(qū)域；以及基于后方基準(zhǔn)圖像與第2判定對象圖像之間的變形信 息對后方基準(zhǔn)圖像進(jìn)行變形而求出的區(qū)域。之所以這樣，是因為如果被前方基準(zhǔn)圖像和后 方基準(zhǔn)圖像的至少一方覆蓋，則即使刪除第 2判定對象圖像也不會有問題。另外，覆蓋區(qū)域 計算后的處理在使用覆蓋率的方法和使用結(jié)構(gòu)要素的方法中均與上述處理相同。
[0303]根據(jù)前方基準(zhǔn)圖像和后方基準(zhǔn)圖像將其間的圖像全部判定為可刪除的情況，是指 不將前$基準(zhǔn)圖像和后方基準(zhǔn)圖像保留在精簡圖像列中，可以刪除其間的所有圖像。但是， 如果提高圖像精簡處理后的圖像張數(shù)的削減效果，則理想的是，滿足其間的圖像全部可刪 除這條件，同時將前方基準(zhǔn)圖像和后方基準(zhǔn)圖像設(shè)定在盡可能遠(yuǎn)離的位置處。因此這 里，在前方基準(zhǔn)圖像固定、且使后方基準(zhǔn)圖像的位置變化的同時，搜索最佳的位置。具體而 言，使用圖 3 (A)、圖3 (B)所示的方法。
[0304]以下，為了簡化文章，將選擇第q圖像作為后方基準(zhǔn)圖像并進(jìn)行可否刪除判定的 結(jié)果是判定為能夠刪除前方基準(zhǔn)圖像與后方基準(zhǔn)圖像之間的全部圖像的狀況記述為"第q 圖像0K"，將不可刪除前方基準(zhǔn)圖像與后方基準(zhǔn)圖像之間的至少1張圖像的狀況記述為''第 q圖像NG"。
[0305]這里，輸入第1?第N圖像作為部分圖像列，選擇第1圖像作為前方基準(zhǔn)圖像、第 q圖像作為后方基準(zhǔn)圖像，在搜索最佳的后方基準(zhǔn)圖像的位置的情況下，依次選擇第2?第 q - 1圖像作為第2判定對象圖像，并判定第q圖像是〇κ還是NG。在第q圖像為 〇κ的情況 下，存在可以進(jìn)一步增大前方基準(zhǔn)圖像與后方基準(zhǔn)圖像的間隔的可能性，因此從第q+l圖 像及其f方的圖像中選擇新的后方基準(zhǔn)圖像。另一方面，在第q圖像為 NG的情況下，過度 增大了前方基準(zhǔn)圖像與后方基準(zhǔn)圖像的間隔，因此基本上通過選擇比第q圖像更靠前方的 圖像作為新的后方基準(zhǔn)圖像，對前方的圖像進(jìn)行判定。
[0306] S卩，在本實施方式中，在滿足結(jié)束條件之前，在0K的情況下向后方更新后方基準(zhǔn) 圖像丨在NG的情況下向前方更新后方基準(zhǔn)圖像，由此，搜索前方基準(zhǔn)圖像的下一個精簡圖 像。通過對新的后方基準(zhǔn)圖像的位置進(jìn)行適當(dāng)更新，能夠減少在發(fā)現(xiàn)下一個精簡圖像之前 作為后方基準(zhǔn)圖像而被選擇的圖像張數(shù)，還能夠期待計算量的削減效果。以下，對本實施方 式的方法進(jìn)行詳細(xì)說明。
[0307]本實施方式中，如圖27所示，第2基準(zhǔn)圖像選擇部1006包含前方基準(zhǔn)圖像選擇部 1019和后方基準(zhǔn)圖像選擇部1〇2〇。前方基準(zhǔn)圖像選擇部1〇19選擇前方基準(zhǔn)圖像，后方基 準(zhǔn)圖像選擇部1020選擇后方基準(zhǔn)圖像。
[0308] 這里，如上所述，選擇部分圖像列的起始圖像（第1圖像）作為前方基準(zhǔn)圖像。另 夕卜，在部分圖像列是通過第1可否刪除判定處理取得的部分圖像列的情況（進(jìn)行了最初的 前方基準(zhǔn)圖像選擇處理的情況）下，可以選擇起始以外的圖像作為前方基準(zhǔn)圖像，下面，只 要沒有特別說明，則設(shè)前方基準(zhǔn)圖像為起始的圖像進(jìn)行說明。
[0309] 然后，選擇后方基準(zhǔn)圖像。這里，設(shè)定與作為后方基準(zhǔn)圖像的選擇對象的圖像對應(yīng) 的后方基準(zhǔn)圖像選擇區(qū)間（實際上與搜索前方基準(zhǔn)圖像的下一精簡圖像的范圍對應(yīng)）。設(shè) 與第i圖像?第j圖像對應(yīng)的半開區(qū)間[i、j)為后方基準(zhǔn)圖像選擇區(qū)間，使i對應(yīng)于前方 基準(zhǔn)圖像的下一圖像（狹義地講為i = 2)，設(shè)j = N+2。另外，設(shè)j = N+2是因為，可以設(shè) 定假想的第N+1圖像作為后方基準(zhǔn)圖像。后方基準(zhǔn)圖像為第N+1圖像的情況與如下情況對 應(yīng)：判定是否僅通過前方基準(zhǔn)圖像就能夠覆蓋其后方的全部圖像而不需要后方基準(zhǔn)圖像。 [0310] 然后，從所設(shè)定的后方基準(zhǔn)圖像選擇區(qū)間中選擇后方基準(zhǔn)圖像。這里，為了高效進(jìn) 行處理，根據(jù)給定條件決定后方基準(zhǔn)圖像。首先，在前方基準(zhǔn)圖像設(shè)定后、初次選擇后方基 準(zhǔn)圖像的情況下，選擇第i+Ι圖像（狹義地講為第3圖像）作為后方基準(zhǔn)圖像。
[0311] 圖28(A)圖示了此前的處理。這里，考慮N= 12的圖像列，前方基準(zhǔn)圖像為第1 個圖像，后方基準(zhǔn)圖像選擇區(qū)間為第2個圖像?第14個圖像（i = 2、j = 14)，后方基準(zhǔn)圖 像為第3個圖像。
[0312]關(guān)于選擇后方基準(zhǔn)圖像后的第2判定對象圖像選擇處理、覆蓋率計算處理、可否 刪除判定處理和這些處理的反復(fù)，省略詳細(xì)的說明。在圖28(A)的情況下，作為第2判定對 象圖像，僅選擇第2個圖像即可。
[0313]在選擇了給定圖像（最初為第3圖像）作為后方基準(zhǔn)圖像的情況下，如果該圖像 0K，則可以使后方基準(zhǔn)圖像的位置進(jìn)一步地遠(yuǎn)離前方基準(zhǔn)圖像，所以，作為新的后方基準(zhǔn)圖 像，選擇比當(dāng)前圖像更靠后方的圖像。
[0314]作為一例，在當(dāng)前的后方基準(zhǔn)圖像為從前方基準(zhǔn)圖像起數(shù)第a個圖像的情況下， 可以將從前方基準(zhǔn)圖像起數(shù)第2Xa個圖像設(shè)為新的后方基準(zhǔn)圖像。具體而言，如圖28(B) 所示，在選擇第3個圖像（從前方基準(zhǔn)圖像起數(shù)第2個）作為后方基準(zhǔn)圖像的情況下，如果 該第3個圖像0K，則下一后方基準(zhǔn)圖像選擇第5個（從前方基準(zhǔn)圖像起數(shù)第4個）圖像。 [0 315]但是，如果第q個圖像0K，則不需要選擇第q-l個以前的圖像作為保留在精簡圖像 列中的精簡圖像。因此，選擇比當(dāng)前位置（第q個）更靠前方的圖像作為后方基準(zhǔn)圖像并 沒有優(yōu)點，所以，對后方基準(zhǔn)圖像選擇區(qū)間進(jìn)行更新即可。具體而言，設(shè)選擇區(qū)間的起點i 為i = q即可。在該變形例中，由于從后方基準(zhǔn)圖像選擇區(qū)間中選擇后方基準(zhǔn)圖像，所以， 這樣不會選擇比當(dāng)前位置更靠前方的圖像。例如，如圖28(B)所示，在第3個圖像0K的情 況下，第 2個圖像不是精簡圖像，所以從選擇區(qū)間中排除即可,將選擇區(qū)間的起點更新為第 3個圖像。
[CXB16]同樣，如果第5個圖像0K(該情況下，選擇第2?4個圖像作為第2判定對象圖像， 進(jìn)行第2可否刪除判定處理），則如圖別(C)所示，選擇第9個圖像作為新的后方基準(zhǔn)圖像， 并且將后方基準(zhǔn)圖像選擇區(qū)間的起點更新為第5個圖像。
[0317]但是，考慮在圖28(C)中假設(shè)第9個圖像〇Κ的情況可知，將第q個圖像作為后方 基準(zhǔn)圖像，在該第q圖像0K的情況下，當(dāng)q的值增大時，新的后方基準(zhǔn)圖像可能位于極后 方。例如，比第N+1個更靠后方的圖像成為候選，后方基準(zhǔn)圖像不能選擇，并且即使不這樣， 更新前后的后方基準(zhǔn)圖像的間隔過寬，下一個精簡圖像的搜索也沒有效率。
[0318]因此，在選擇比當(dāng)前位置更靠后方的圖像作為新的后方基準(zhǔn)圖像的情況下，也可 以一并使用其他方法。作為一例，根據(jù)（q+j)/2的值決定新的后方基準(zhǔn)圖像。例如在第9 個圖像0K的情況下，后方基準(zhǔn)圖像選擇區(qū)間的起點被更新為第9個圖像，所以，成為[9、14) 的半開區(qū)間。即，通過將其中央附近的圖像設(shè)為新的后方基準(zhǔn)圖像，將搜索范圍的中央設(shè)為 處理對象。通過對搜索范圍的中央進(jìn)行判定而使搜索范圍減半的方法就是廣泛公知的二分 搜索，并且，廣泛公知二分搜索在計算量方面具有優(yōu)點。本實施方式的后方基準(zhǔn)圖像選擇區(qū) 間具有如下性質(zhì)：如果給定圖像0K，則可以認(rèn)為該給定圖像的前方的圖像全部 οκ，如果給 定圖像NG，則可以認(rèn)為該給定圖像的后方的圖像全部NG，能夠應(yīng)用二分搜索的方法。即，通 過從更新前的后方基準(zhǔn)圖像與后方基準(zhǔn)圖像選擇區(qū)間的終點的中間附近選擇新的后方基 準(zhǔn)圖像，能夠期待高效的處理。
[0319]這里，一并使用使前方基準(zhǔn)圖像起點的距離成為2倍的方法和與二分搜索對應(yīng)的 方法。例如，在第q圖像為更新前的后方基準(zhǔn)圖像的情況下，設(shè)滿足下式的第k圖像為 下一個后方基準(zhǔn)圖像即可。這里，min (a、b)表示a和b中的較小的一方。
[0320] 【式1】
[0321]

【權(quán)利要求】
1. 一種圖像處理裝置，其特征在于，該圖像處理裝置包含： 第1圖像精簡處理部，其通過基于多個圖像間的相似度的第1圖像精簡處理，取得第i 精簡圖像列； 第2圖像精簡處理部，其通過針對所述多個圖像中的各圖像的、基于對象物體或場景 的識別處理的第2圖像精簡處理，取得第2精簡圖像列；以及 合并處理部，其進(jìn)行所述第1精簡圖像列和所述第2精簡圖像列的合并處理、或所述第 1圖像精簡處理和所述第2圖像精簡處理的合并處理，來取得輸出精簡圖像列。
2. 根據(jù)權(quán)利要求1所述的圖像處理裝置,其特征在于， 所述第1圖像精簡處理部進(jìn)行如下處理，作為所述第1圖像精簡處理：從所述多個圖 像中選擇基準(zhǔn)圖像和判定對象圖像，根據(jù)所述基準(zhǔn)圖像與所述判定對象圖像之間的變形信 息，計算所述基準(zhǔn)圖像對所述判定對象圖像的覆蓋率作為所述相似度，根據(jù)所述覆蓋率進(jìn) 行所述判定對象圖像可否刪除的判定。
3. 根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 在輸入了第1?第N圖像作為輸入圖像列的情況下， 所述第1圖像精簡處理部選擇第P圖像作為第1基準(zhǔn)圖像，選擇第q圖像作為第2基 準(zhǔn)圖像，并且選擇第r圖像作為所述判定對象圖像， 所述第1圖像精簡處理部根據(jù)所述第1基準(zhǔn)圖像與所述判定對象圖像之間的所述變形 信息、和所述第2基準(zhǔn)圖像與所述判定對象圖像之間的所述變形信息，計算所述覆蓋率，并 根據(jù)所述覆蓋率，進(jìn)行所述判定對象圖像可否刪除的判定， 其中，N為2以上的整數(shù)，p為滿足1蘭p當(dāng)N的整數(shù)，q為P+2以上的整數(shù)，r為滿足 p+1芻r芻q - 1的整數(shù)。
4. 根據(jù)權(quán)利要求3所述的圖像處理裝置，其特征在于， 所述第1圖像精簡處理部在將第P+1?第q _ 1圖像判定為可刪除的情況下，選擇第 q+Ι圖像作為所述第2基準(zhǔn)圖像。
5. 根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述第1圖像精簡處理部在將所述第P+1?第q - 1圖像中的至少1個判定為不可刪 除的情況下，進(jìn)行將被選擇為所述第1基準(zhǔn)圖像的所述圖像包含到所述第1精簡圖像列中 的處理，并且選擇所述第q - 1圖像，作為新的所述第1基準(zhǔn)圖像，再次進(jìn)行處理。
6. 根據(jù)權(quán)利要求2?5中的任意一項所述的圖像處理裝置，其特征在于， 所述第1圖像精簡處理部根據(jù)所述基準(zhǔn)圖像與所述判定對象圖像之間的所述變形信 息，求出所述判定對象圖像被所述基準(zhǔn)圖像覆蓋的區(qū)域即覆蓋區(qū)域，并計算所述覆蓋區(qū)域 在所述判定對象圖像中所占的比例，作為所述覆蓋率。
7. 根據(jù)權(quán)利要求1?6中的任意一項所述的圖像處理裝置，其特征在于， 所述第2圖像精簡處理部進(jìn)行如下處理，作為所述第2圖像精簡處理：根據(jù)所述識別處 理，將所述多個圖像中的包含同一所述對象物體的連續(xù)圖像、或所述多個圖像中的被識別 為同一所述場景的連續(xù)圖像，設(shè)定為作為精簡圖像提取對象的連續(xù)圖像列，從所設(shè)定的所 述連續(xù)圖像列中提取至少1張圖像作為所述精簡圖像。
8. 根據(jù)權(quán)利要求7所述的圖像處理裝置，其特征在于， 所述第2圖像精簡處理部根據(jù)所述對象物體的面積，從所述連續(xù)圖像列中選擇要提取 的所述精簡圖像。 9_根據(jù)權(quán)利要求1?8中的任意一項所述的圖像處理裝置，其特征在于， 所述合并處理部進(jìn)行如下處理，作為所述第1精簡圖像列和所述第2精簡圖像列的所 述合并處理：選擇所述第1精簡圖像列和所述第2精簡圖像列的至少一方所包含的圖像作 為所述輸出精簡圖像列的精簡圖像。
10·根據(jù)權(quán)利要求7或8所述的圖像處理裝置，其特征在于， 所述合并處理部根據(jù)所述第1精簡圖像列，將在所述第2圖像精簡處理中設(shè)定的多個 所述連續(xù)圖像列結(jié)合成1個結(jié)合連續(xù)圖像列，并從所述結(jié)合連續(xù)圖像列中提取至少i張圖 像，作為所述精簡圖像，由此進(jìn)行所述第2精簡圖像列的更新處理。
11·根據(jù)權(quán)利要求10所述的圖像處理裝置，其特征在于， 所述合并處理部進(jìn)行如下處理，作為所述第1精簡圖像列和所述第2精簡圖像列的所 述合并處理：選擇所述第1精簡圖像列和所述更新處理后的所述第2精簡圖像列的至少一 方所包含的圖像作為所述輸出精簡圖像列的精簡圖像。
12.根據(jù)權(quán)利要求1?8中的任意一項所述的圖像處理裝置，其特征在于， 所述合并處理部進(jìn)行如下處理，作為所述第1圖像精簡處理和所述第2圖像精簡處理 的所述合并處理：使所述第1圖像精簡處理部執(zhí)行基于所述第2圖像精簡處理的結(jié)果的所 述第1圖像精簡處理。 I3·根據(jù)權(quán)利要求12所述的圖像處理裝置，其特征在于， 所述第1圖像精簡處理部進(jìn)行如下處理，作為所述第1圖像精簡處理：根據(jù)所述合并處 理，從所述多個圖像中選擇所述第2精簡圖像列所包含的圖像作為基準(zhǔn)圖像，并且從所述 多個圖像中選擇判定對象圖像，根據(jù)所述基準(zhǔn)圖像與所述判定對象圖像之間的變形信息， 計算所述基準(zhǔn)圖像對所述判定對象圖像的覆蓋率作為所述相似度，并根據(jù)所述覆蓋率進(jìn)行 所述判定對象圖像可否刪除的判定。
14. 根據(jù)權(quán)利要求I2或I3所述的圖像處理裝置，其特征在于， 所述合并處理部通過所述合并處理，根據(jù)由所述第1圖像精簡處理部生成的所述第i 精簡圖像列，進(jìn)行削減所述第2精簡圖像列所包含的所述圖像的張數(shù)的所述第2精簡圖像 列的更新處理。
15. 根據(jù)權(quán)利要求14所述的圖像處理裝置，其特征在于， 所述合并處理部進(jìn)行如下處理，作為所述第1圖像精簡處理和所述第2圖像精簡處理 的所述合并處理：使所述第1圖像精簡處理部執(zhí)行基于所述更新處理后的所述第2圖像精 簡處理的結(jié)果的所述第1圖像精簡處理。
16. 根據(jù)權(quán)利要求12?15中的任意一項所述的圖像處理裝置，其特征在于， 所述合并處理部通過所述合并處理，取得由所述第1圖像精簡處理部生成的所述第1 精簡圖像列，作為所述輸出精簡圖像列。
17. 根據(jù)權(quán)利要求1?16中的任意一項所述的圖像處理裝置，其特征在于， 所述第1圖像精簡處理部根據(jù)所述多個圖像間的所述相似度，檢測場景變化來進(jìn)行所 述第1圖像精簡處理。
18. 根據(jù)權(quán)利要求1?17中的任意一項所述的圖像處理裝置，其特征在于， 所述多個圖像是膠囊內(nèi)窺鏡圖像， 所述第2圖像精簡處理部將所述膠囊內(nèi)窺鏡圖像中所拍攝的活體內(nèi)的關(guān)注區(qū)域作為 所述對象物體，進(jìn)行所述識別處理。
19. 根據(jù)權(quán)利要求18所述的圖像處理裝置，其特征在于， 所述第2圖像精簡處理部根據(jù)通過特定波段的光的照射而取得的特殊光圖像，進(jìn)行所 述活體內(nèi)的所述關(guān)注區(qū)域的所述識別處理。
20. -種圖像處理裝置，其特征在于，該圖像處理裝置包含： 圖像列取得部，其取得具有多個圖像的圖像列；以及 處理部，其基于第1可否刪除判定處理和第2可否刪除判定處理，進(jìn)行取得精簡圖像列 的圖像精簡處理，所述第1可否刪除判定處理和第2可否刪除判定處理刪除所述圖像列取 得部所取得的所述圖像列中的所述多個圖像的一部分， 所述處理部設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從 所設(shè)定的所述關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選擇第1判定對象 圖像，進(jìn)行根據(jù)表示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的第1變形信 息，判定所述第1判定對象圖像可否刪除的處理，作為所述第1可否刪除判定處理， 所述處理部利用所述圖像列，設(shè)定在所述第1可否刪除判定處理中被判定為不可刪除 的所述圖像連續(xù)多個而成的部分圖像列， 所述處理部從所述部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，進(jìn)行根據(jù)表 示所述第2基準(zhǔn)圖像與所述第2判定對象圖像之間的變形的第2變形信息，判定所述第2 判定對象圖像可否刪除的處理，作為所述第2可否刪除判定處理。
21. 根據(jù)權(quán)利要求20所述的圖像處理裝置，其特征在于， 所述處理部進(jìn)行第1覆蓋率判定處理和第1結(jié)構(gòu)要素判定處理中的至少一方的處理， 作為所述第1可否刪除判定處理， 所述處理部進(jìn)行第2覆蓋率判定處理和第2結(jié)構(gòu)要素判定處理中的至少一方的處理， 作為所述第2可否刪除判定處理， 所述第1覆蓋率判定處理是如下處理：根據(jù)所述第1變形信息，求出所述第1基準(zhǔn)圖像 對所述第1判定對象圖像的覆蓋率，并根據(jù)所求出的所述覆蓋率，判定所述第1判定對象圖 像可否刪除， 所述第1結(jié)構(gòu)要素判定處理是如下處理：根據(jù)使用了與關(guān)注區(qū)域?qū)?yīng)的結(jié)構(gòu)要素和所 述第1變形信息的處理的結(jié)果，判定所述第1判定對象圖像可否刪除， 所述第2覆蓋率判定處理是如下處理：根據(jù)所述第2變形信息，求出所述第2基準(zhǔn)圖像 對所述第2判定對象圖像的所述覆蓋率，并根據(jù)所求出的所述覆蓋率，判定所述第2判定對 象圖像可否刪除， 所述第2結(jié)構(gòu)要素判定處理是如下處理：根據(jù)使用了與所述關(guān)注區(qū)域?qū)?yīng)的所述結(jié)構(gòu) 要素和所述第2變形信息的處理的結(jié)果，判定所述第2判定對象圖像可否刪除。
22. 根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于， 所述處理部在進(jìn)行所述第1覆蓋率判定處理作為所述第1可否刪除判定處理的情況 下，進(jìn)行所述第2覆蓋率判定處理，作為所述第2可否刪除判定處理， 所述處理部在進(jìn)行所述第1結(jié)構(gòu)要素判定處理作為所述第1可否刪除判定處理的情況 下，進(jìn)行所述第2結(jié)構(gòu)要素判定處理，作為所述第2可否刪除判定處理。
23. 根據(jù)權(quán)利要求21所述的圖像處理裝置，其特征在于， 所述處理部進(jìn)行所述第1覆蓋率判定處理和所述第1結(jié)構(gòu)要素判定處理這兩方的處 理，作為所述第1可否刪除判定處理。
24. 根據(jù)權(quán)利要求21或23所述的圖像處理裝置，其特征在于， 所述處理部進(jìn)行所述第2覆蓋率判定處理和所述第2結(jié)構(gòu)要素判定處理這兩方的處 理，作為所述第2可否刪除判定處理。
25. 根據(jù)權(quán)利要求21?24中的任意一項所述的圖像處理裝置，其特征在于， 所述第1覆蓋率判定處理是基于表示所述第1基準(zhǔn)圖像對所述第1判定對象圖像的所 述覆蓋率的值、與第1覆蓋率閾值的比較結(jié)果的判定處理， 所述第1結(jié)構(gòu)要素判定處理設(shè)定第1尺寸的要素作為所述結(jié)構(gòu)要素，是基于所設(shè)定的 所述結(jié)構(gòu)要素的收縮處理、或判定在所述第1判定對象圖像未被所述第1基準(zhǔn)圖像覆蓋的 區(qū)域中是否包含所設(shè)定的所述結(jié)構(gòu)要素的處理， 所述第2覆蓋率判定處理是基于表示所述第2基準(zhǔn)圖像對所述第2判定對象圖像的所 述覆蓋率的值、與第2覆蓋率閾值的比較結(jié)果的判定處理， 所述第2結(jié)構(gòu)要素判定處理設(shè)定第2尺寸的要素作為所述結(jié)構(gòu)要素，是基于所設(shè)定的 所述結(jié)構(gòu)要素的收縮處理、或判定在所述第2判定對象圖像未被所述第2基準(zhǔn)圖像覆蓋的 區(qū)域中是否包含所設(shè)定的所述結(jié)構(gòu)要素的處理。
26. 根據(jù)權(quán)利要求25所述的圖像處理裝置，其特征在于， 所述處理部設(shè)定與所述第1覆蓋率閾值不同的值，作為所述第2覆蓋率閾值。
27. 根據(jù)權(quán)利要求25或26所述的圖像處理裝置，其特征在于， 所述處理部設(shè)定與所述第1尺寸不同的尺寸，作為所述第2尺寸。
28. 根據(jù)權(quán)利要求20?27中的任意一項所述的圖像處理裝置，其特征在于， 在設(shè)定了第1?第N圖像作為所述部分圖像列的情況下，所述處理部選擇作為第p圖 像的前方基準(zhǔn)圖像、和作為第q圖像的后方基準(zhǔn)圖像，作為所述第2基準(zhǔn)圖像，并且選擇第r 圖像作為所述第2判定對象圖像，求出表示所述前方基準(zhǔn)圖像與所述第2判定對象圖像之 間的變形的前方變形信息、和表示所述后方基準(zhǔn)圖像與所述第2判定對象圖像之間的變形 的后方變形信息，作為所述第2變形信息，并根據(jù)所求出的所述前方變形信息和所述后方 變形信息，進(jìn)行所述第2判定對象圖像可否刪除的判定， 其中，N為2以上的整數(shù)，p為滿足1蘭p蘭N的整數(shù)，q為p+2以上的整數(shù)，r為滿足 p+1蘭r蘭q - 1的整數(shù)。
29. 根據(jù)權(quán)利要求28所述的圖像處理裝置，其特征在于， 所述處理部從設(shè)定了與第P+2?第N圖像對應(yīng)的起點和終點的后方基準(zhǔn)圖像選擇區(qū)間 中，選擇所述后方基準(zhǔn)圖像，進(jìn)行根據(jù)所述前方基準(zhǔn)圖像和所述后方基準(zhǔn)圖像，所述第2判 定對象圖像可否刪除的判定， 所述處理部在第P+1?第q _ 1圖像被判定為可刪除的情況下，選擇所述后方基準(zhǔn)圖 像選擇區(qū)間所包含的第X圖像作為新的所述后方基準(zhǔn)圖像，并且將所述后方基準(zhǔn)圖像選擇 區(qū)間的所述起點更新為所述第q圖像， 其中，X是滿足X > q的整數(shù)。
30. 根據(jù)權(quán)利要求29所述的圖像處理裝置，其特征在于， 所述處理部在所述第ρ+l?第q - 1圖像中的至少一個被判定為不可刪除的情況下， 選擇所述后方基準(zhǔn)圖像選擇區(qū)間所包含的第y圖像作為新的所述后方基準(zhǔn)圖像，并且將所 述后方基準(zhǔn)圖像選擇區(qū)間的所述終點更新為所述第q圖像， 其中，y是滿足y <q的整數(shù)。
31.根據(jù)權(quán)利要求29或30所述的圖像處理裝置，其特征在于， 所述處理部在更新了所述后方基準(zhǔn)圖像選擇區(qū)間的所述起點或所述終點的結(jié)果是所 述起點與所述終點相鄰的情況下，進(jìn)行將作為所述前方基準(zhǔn)圖像而被選擇的所述多個圖像 中的1個包含到所述精簡圖像列中的處理，并且將與所述起點對應(yīng)的所述多個圖像中的1 個、和所述多個圖像中的在所述部分圖像列中和與所述起點對應(yīng)的所述多個圖像中的1個 相比位于后方的所述圖像，設(shè)定為新的所述部分圖像列，并針對所設(shè)定的新的所述部分圖 像列，將所述P的值設(shè)定為1，再次進(jìn)行處理。
32·根據(jù)權(quán)利要求2〇?31中的任意一項所述的圖像處理裝置，其特征在于， 所述處理部進(jìn)行從所述多個圖像中檢測關(guān)注區(qū)域的處理，并將所述多個圖像中的、檢 測到所述關(guān)注區(qū)域的所述圖像設(shè)定為所述關(guān)注圖像。
33. 根據(jù)權(quán)利要求32所述的圖像處理裝置，其特征在于， 所述圖像列取得部取得拍攝活體內(nèi)而得的多個活體內(nèi)圖像，作為所述圖像列， 所述處理部進(jìn)行從所述多個活體內(nèi)圖像中檢測病變區(qū)域作為所述關(guān)注區(qū)域的處理，并 將所述多個活體內(nèi)圖像中的、檢測到所述病變區(qū)域的所述圖像設(shè)定為所述關(guān)注圖像。
34. 根據(jù)權(quán)利要求20?33中的任意一項所述的圖像處理裝置，其特征在于， 所述處理部在設(shè)定了多個所述部分圖像列的情況下，對多個所述部分圖像列并列地進(jìn) 行所述第2可否刪除判定處理。
35· -種程序，其特征在于，該程序使計算機作為以下部件發(fā)揮功能： 第1圖像歸納處理部，其通過基于多個圖像間的相似度的第1圖像歸納處理，取得第1 歸納圖像列； 第2圖像歸納處理部，其通過針對所述多個圖像的各圖像的、基于對象物體或場景的 識別處理的第2圖像歸納處理，取得第2歸納圖像列；以及 合并處理部，其進(jìn)行所述第1歸納圖像列和所述第2歸納圖像列的合并處理、或所述第 1圖像歸納處理和所述第2圖像歸納處理的合并處理，取得輸出歸納圖像列。
36. -種程序，其特征在于，該程序使計算機作為以下部件發(fā)揮功能： 圖像列取得部，其取得具有多個圖像的圖像列；以及 處理部，其基于刪除所述圖像列取得部所取得的所述圖像列的所述多個圖像的一部分 的第1可否刪除判定處理和第2可否刪除判定處理，進(jìn)行取得歸納圖像列的圖像歸納處理， 所述處理部設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列，從 所設(shè)定的所述關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選擇第1判定對象 圖像，根據(jù)表示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的第1變形信息，進(jìn) 行判定所述第1判定對象圖像可否刪除的處理，作為所述第1可否刪除判定處理， 所述處理部利用所述圖像列，設(shè)定在所述第1可否刪除判定處理中被判定為不可刪除 的所述圖像連續(xù)多個而成的部分圖像列， 所述處理部從所述部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像，根據(jù)表示所 述第2基準(zhǔn)圖像與所述第2判定對象圖像之間的變形的第2變形信息，進(jìn)行判定所述第2 判定對象圖像可否刪除的處理，作為所述第2可否刪除判定處理。
37·-種圖像處理方法,進(jìn)行第1圖像精簡處理和第2圖像精簡處理，所述第1圖像精 簡處理根據(jù)多個圖像間的相似度，取得第1精簡圖像列，所述第2圖像精簡處理基于針對所 述多個圖像中的各圖像的、對象物體或場景的識別處理,取得第2精簡圖像列，所述圖像處 理方法的特征在于， 進(jìn)行如下的合并處理：通過進(jìn)行所述第1精簡圖像列和所述第2精簡圖像列的合并處 理、或所述第1圖像精簡處理和所述第2圖像精簡處理的合并處理，取得輸出精簡圖像列。 38. -種圖像處理方法，其特征在于， 取得具有多個圖像的圖像列， 設(shè)定由所述多個圖像所包含的1個或多個關(guān)注圖像構(gòu)成的關(guān)注圖像列， 從所設(shè)定的所述關(guān)注圖像列中選擇第1基準(zhǔn)圖像，并且從所述多個圖像中選擇第1判 定對象圖像， 進(jìn)行根據(jù)表示所述第1基準(zhǔn)圖像與所述第1判定對象圖像之間的變形的第1變形信 息，判定所述第1判定對象圖像可否刪除的處理，作為第1可否刪除判定處理， 利用所述圖像列，設(shè)定在所述第1可否刪除判定處理中被判定為不可刪除的所述圖像 連續(xù)多個而成的部分圖像列， 從所述部分圖像列中選擇第2基準(zhǔn)圖像和第2判定對象圖像， 進(jìn)行根據(jù)表示所述第2基準(zhǔn)圖像與所述第2判定對象圖像之間的變形的第2變形信 息，判定所述第2判定對象圖像可否刪除的處理，作為第2可否刪除判定處理， 基于所述第1可否刪除判定處理和所述第2可否刪除判定處理，進(jìn)行刪除所述圖像列 的所述多個圖像的一部分來取得精簡圖像列的圖像精簡處理。
【文檔編號】A61B1/00GK104203065SQ201380012984
【公開日】2014年12月10日 申請日期:2013年3月7日 優(yōu)先權(quán)日:2012年3月8日
【發(fā)明者】松崎弘, 矢口陽一 申請人:奧林巴斯株式會社