關(guān)注區(qū)域提取裝置以及關(guān)注區(qū)域提取方法
【專利摘要】本發(fā)明提供關(guān)注區(qū)域提取裝置以及關(guān)注區(qū)域提取方法。從圖像中高精度地提取關(guān)注區(qū)域，并且計算其關(guān)心度。關(guān)注區(qū)域提取裝置包括：提取部件，從輸入圖像提取一個或者多個部分區(qū)域；檢索部件，關(guān)于由所述提取部件提取出的各自的部分區(qū)域，從存儲多個圖像的圖像數(shù)據(jù)庫中檢索與該部分區(qū)域相似的圖像；以及關(guān)心度決定部件，基于所述檢索部件的檢索結(jié)果，決定各自的部分區(qū)域的關(guān)心度。
【專利說明】
關(guān)注區(qū)域提取裝置以及關(guān)注區(qū)域提取方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及從圖像提取關(guān)注區(qū)域的技術(shù)。
【背景技術(shù)】
[0002]以往，存在檢測(提取)圖像中的關(guān)注區(qū)域(預(yù)計人會關(guān)注的圖像區(qū)域或者應(yīng)關(guān)注的圖像區(qū)域)的各種現(xiàn)有技術(shù)。另外，關(guān)注區(qū)域檢測也被稱為顯著區(qū)域檢測(SaliencyDetect1n)、對象性檢測(Objectness Detect1n)、前景檢測(Foreground Detect1n)、注意力檢測(Attent1n Detect1n)等。這些現(xiàn)有技術(shù)大致分為基于學(xué)習(xí)的算法和基于模型的算法這兩個。
[0003]在基于學(xué)習(xí)的算法中，基于有關(guān)學(xué)習(xí)對象的多個圖像數(shù)據(jù)，學(xué)習(xí)想要檢測的區(qū)域的模式(pattern)，基于該學(xué)習(xí)結(jié)果而進行關(guān)注區(qū)域的檢測。例如，在專利文獻I中，記載了基于成為學(xué)習(xí)對象的多個圖像數(shù)據(jù)事先學(xué)習(xí)并決定特征的種類，基于所決定的特征的種類和成為顯著性的計算對象的對象圖像數(shù)據(jù)，提取該對象圖像數(shù)據(jù)中的各部的特征。
[0004]在基于模型的算法中，將看到了圖像時的人腦的反應(yīng)模型轉(zhuǎn)換為算式，利用該反應(yīng)模型而提取圖像中的關(guān)注區(qū)域。例如，在非專利文獻I中，將位于眼睛的視網(wǎng)膜的視網(wǎng)膜神經(jīng)節(jié)細胞中被稱為感受域的區(qū)域在受到光的刺激時傳遞到大腦的信息轉(zhuǎn)換為模型。感受域由中央?yún)^(qū)域和周邊區(qū)域構(gòu)成，在非專利文獻I中，構(gòu)筑了將通過對中央?yún)^(qū)域和周邊區(qū)域的刺激而信號變強的部位(引起注意的地方)進行數(shù)值化的模型。
[0005][專利文獻I](日本)特開2OOl-2365O8號公報
[0006][非專利文獻 I] Laurent Itti, Christof Koch, Ernst Niebur, “A Model ofSaliency-based Visual Attent1n for Rapid Scene Analysis，，，IEEE Transact1ns onPattern Analysis and Machine Intelligence, Vol.20.N0.11，pp.1254-1259，1998 年 11月
[0007]在基于學(xué)習(xí)的算法中，雖然不需要構(gòu)筑大腦的反應(yīng)模型，但存在檢測結(jié)果依賴于學(xué)習(xí)數(shù)據(jù)，無法檢測與學(xué)習(xí)數(shù)據(jù)不相似的對象的缺點。另一方面，在基于模型的算法中，事先沒有知識就能夠檢測關(guān)注區(qū)域，但存在模型的構(gòu)筑較為困難，關(guān)注區(qū)域的檢測精度不充分的缺陷。因此，任一種方式都無法在不用限定檢測對象的前提下高精度地提取關(guān)注區(qū)域。
[0008]此外，即便是基于學(xué)習(xí)以及基于模型的任一個算法，在從一個圖像中檢測出了多個區(qū)域的情況下，也無法判斷哪個區(qū)域更重要、人的關(guān)心更高。在檢測出了多個區(qū)域的情況下，期望對關(guān)心程度進行排序。

【發(fā)明內(nèi)容】

[0009]本發(fā)明鑒于上述實際情況而完成，本發(fā)明的目的在于提供一種從圖像中高精度地提取關(guān)注區(qū)域，并且能夠算出其關(guān)心度的技術(shù)。
[0010]本發(fā)明從圖像數(shù)據(jù)庫中檢索與從輸入圖像提取出的部分區(qū)域相似的圖像，并利用檢索結(jié)果求出上述部分區(qū)域的關(guān)心度。由此，能夠?qū)崿F(xiàn)反映了與在圖像數(shù)據(jù)庫中存儲的圖像有關(guān)的息的尚精度的關(guān)注區(qū)域提取。
[0011]更具體地說，本發(fā)明的關(guān)注區(qū)域提取裝置包括:提取部件，從輸入圖像提取一個或者多個部分區(qū)域；檢索部件，關(guān)于由所述提取部件提取出的各自的部分區(qū)域，從存儲多個圖像的圖像數(shù)據(jù)庫中檢索與該部分區(qū)域相似的圖像；以及關(guān)心度決定部件，基于所述檢索部件的檢索結(jié)果，決定各自的部分區(qū)域的關(guān)心度。
[0012]上述部分區(qū)域優(yōu)選是在輸入圖像中預(yù)計人會關(guān)注的圖像區(qū)域或者應(yīng)關(guān)注的圖像區(qū)域的候選、即關(guān)注區(qū)域的候選。提取部件進行的部分區(qū)域的提取能夠利用現(xiàn)有的任意方法來進行。提取部件例如能夠通過利用了基于學(xué)習(xí)或基于模型的算法的關(guān)注區(qū)域提取方法來提取部分區(qū)域。
[0013]圖像數(shù)據(jù)庫是以可檢索的方式存儲多個圖像數(shù)據(jù)的裝置。圖像數(shù)據(jù)庫可以與關(guān)注區(qū)域提取裝置作為一體而構(gòu)筑，也可以有別于關(guān)注區(qū)域提取裝置而構(gòu)筑。例如，圖像數(shù)據(jù)庫能夠在關(guān)注區(qū)域提取裝置具備的存儲裝置中構(gòu)筑。此外，圖像數(shù)據(jù)庫能夠在關(guān)注區(qū)域提取裝置可經(jīng)由通信網(wǎng)絡(luò)而訪問的另一裝置中構(gòu)筑。圖像數(shù)據(jù)庫的制作/管理者不需要與關(guān)注區(qū)域提取裝置的制作/管理者相同。作為本發(fā)明中的圖像數(shù)據(jù)庫，例如也能夠利用由第三者管理且在互聯(lián)網(wǎng)上公開的圖像數(shù)據(jù)庫。
[0014]檢索部件從圖像數(shù)據(jù)庫中檢索與通過提取部件提取出的部分區(qū)域相似的圖像，并取得檢索結(jié)果。具體地說，檢索部件生成請求取得與部分區(qū)域相似的圖像的詢問(query)，并將該詢問發(fā)送到圖像數(shù)據(jù)庫，從圖像數(shù)據(jù)庫取得對于該詢問的響應(yīng)。圖像數(shù)據(jù)庫中的相似圖像的檢索能夠利用現(xiàn)有的任意方法來進行。例如，能夠利用基于圖像的全部區(qū)域之間的比較、圖像的整體和部分的比較、或者圖像的部分和部分的比較來計算相似度的算法，檢索相似圖像。
[0015]關(guān)心度決定部件基于檢索部件的檢索結(jié)果，關(guān)于各自的部分區(qū)域決定關(guān)心度。關(guān)心度是表示預(yù)計人會對該部分區(qū)域具有的關(guān)心的程度、或者應(yīng)該對該部分區(qū)域具有的關(guān)心的程度的指標。關(guān)于某一部分區(qū)域的關(guān)心度高是指，人對該部分區(qū)域具有更高的關(guān)心，或者應(yīng)該對該部分區(qū)域具有更高的關(guān)心。另外，關(guān)心度可以以所有人為對象來決定，也可以以某一群人(具有特定的屬性的人)為對象來決定，也可以以特定的個人為對象來決定。
[0016]關(guān)心度決定部件優(yōu)選利用通過檢索部件檢索到的與部分區(qū)域相似的圖像(以下，也簡稱為相似圖像)的統(tǒng)計信息，決定該部分區(qū)域的關(guān)心度。統(tǒng)計信息是對作為檢索的結(jié)果而得到的信息施加統(tǒng)計性的處理而得到的信息。
[0017]例如，采用與部分區(qū)域相似的圖像的數(shù)目作為統(tǒng)計信息，相似圖像的數(shù)目越多，能夠?qū)㈥P(guān)心度決定得越高。這是因為認為在圖像數(shù)據(jù)庫中存儲的數(shù)目越多的物體(對象)，被關(guān)注的可能性越高。另外，還認為相似圖像的數(shù)目表示由提取部件提取出的區(qū)域為關(guān)注區(qū)域的可靠性(精度)。從而，可以說相似圖像數(shù)目少的部分區(qū)域原本不是關(guān)注區(qū)域卻被錯誤地檢測出，因而關(guān)心度決定部件也優(yōu)選關(guān)于相似圖像數(shù)目少于閾值的部分區(qū)域，不決定關(guān)心度。
[0018]此外，也能夠采用與相似圖像建立關(guān)聯(lián)的標簽信息作為統(tǒng)計信息。標簽信息是與圖像數(shù)據(jù)庫中的圖像數(shù)據(jù)建立關(guān)聯(lián)而存儲的、表示通過自然語言指定的圖像數(shù)據(jù)的內(nèi)容或特征等的信息。標簽信息可以被嵌入到圖像數(shù)據(jù)中進行存儲，也可以作為與圖像數(shù)據(jù)不同的文件而進行存儲。標簽信息的附加可以任意進行，例如可以由人以手動輸入方式附加標簽信息，也可以通過計算機的圖像處理而自動地附加標簽信息。在采用標簽信息作為統(tǒng)計信息時，優(yōu)選與相似圖像建立關(guān)聯(lián)的標簽信息的意義的收斂性越高，關(guān)心度決定部件將部分區(qū)域的關(guān)心度決定得越高。這是因為認為標簽的語義(意味)越收斂，對于該區(qū)域的識別越一致，會被寄予越高的關(guān)心。標簽信息的語義的收斂性優(yōu)選通過自然語言處理來進行，例如優(yōu)選即便是標簽信息的措辭不同，但只要是相同的概念或相近的概念就判斷為語義相近。
[0019]此外，也能夠采用關(guān)于與和部分區(qū)域相似的圖像的部分區(qū)域的相似度的平均值、最頻值、中位數(shù)、中間值、方差、標準偏差等作為統(tǒng)計信息。相似圖像的相似度越高且相似度的偏差越小，能夠?qū)㈥P(guān)心度決定得越高。此外，除了相似圖像的相似度之外，還能夠采用相似圖像的大小(面積或者像素數(shù))、圖像中的位置、顏色等作為統(tǒng)計信息。例如，相似圖像的大小能夠采用相似圖像整體的大小、與部分區(qū)域相似的區(qū)域的大小(絕對的大小或者對于圖像整體的相對的大小)等。此外，圖像中的位置能夠采用與部分圖像相似的區(qū)域在圖像整體中的位置。關(guān)心度決定部件能夠基于這些信息的平均值、最頻值、中位數(shù)、中間值、方差、標準偏差等而決定關(guān)心度。
[0020]此外，也能夠采用對相似圖像附加的元信息的平均等作為統(tǒng)計信息。在元信息中包含有關(guān)圖像本身的屬性信息(大小、顏色空間等)、圖像拍攝時的條件(拍攝時間日期、快門速度、光圈、ISO靈敏度、測光模式(mode)、有無閃光、焦距、拍攝位置等)。關(guān)心度決定部件也可以基于這些元信息而決定關(guān)心度。
[0021]此外，關(guān)心度決定部件也能夠基于部分區(qū)域的大小或者位置，決定該部分區(qū)域的關(guān)心度。部分區(qū)域的大小可以是絕對的大小，也可以是對于輸入圖像的相對的大小。關(guān)心度決定部件可以在部分區(qū)域的大小越大時將關(guān)心度決定得越高，也可以在部分區(qū)域的大小越小時將關(guān)心度決定得越高。關(guān)心度決定部件還可以在部分區(qū)域越接近輸入圖像的中心時將關(guān)心度決定得越高，也可以在部分區(qū)域越接近輸入圖像的周邊時將關(guān)心度決定得越高。關(guān)心度決定部件優(yōu)選除了部分區(qū)域的大小或者位置之外，還將部分區(qū)域中包含的物體的種類也考慮在內(nèi)而決定關(guān)心度。
[0022]此外，關(guān)心度決定部件還優(yōu)選基于上述的多個信息來求出多個關(guān)心度，整合這些多個關(guān)心度而決定最終的關(guān)心度。多個關(guān)心度的整合方法不特別限定，例如能夠?qū)⑺嘘P(guān)心度的積或加權(quán)平均設(shè)為最終的關(guān)心度。
[0023]此外，本發(fā)明的關(guān)注區(qū)域提取裝置，還優(yōu)選進一步包含計算基準取得部件，該計算基準取得部件接受關(guān)心度的計算基準的輸入，所述關(guān)心度決定部件基于按照預(yù)先決定的計算基準而算出的第I關(guān)心度和按照由所述計算基準取得部件取得的計算基準而算出的第2關(guān)心度，計算最終的關(guān)心度。這里，上述預(yù)先決定的計算基準優(yōu)選為以一般的人為對象的關(guān)心度的計算基準、即通用的計算基準。另一方面，由計算基準取得部件取得的計算基準優(yōu)選為與狀況相應(yīng)的計算基準、例如與觀看圖像的用戶相應(yīng)的計算基準、與利用提取出的關(guān)注區(qū)域的應(yīng)用相應(yīng)的計算基準。
[0024]此外，本發(fā)明的關(guān)注區(qū)域提取裝置，還優(yōu)選進一步具有整合部件，該整合部件將在所述輸入圖像中包含的部分區(qū)域中鄰近的多個部分區(qū)域整合為一個部分區(qū)域。部分區(qū)域鄰近包含以下情況，即部分區(qū)域之間相鄰的情況、其間的距離為預(yù)定距離(像素數(shù))以內(nèi)的情況。上述的預(yù)定距離也可以根據(jù)部分區(qū)域的大小或部分區(qū)域中包含的物體的種類等而決定。
[0025]此外，本發(fā)明的關(guān)注區(qū)域提取裝置，還優(yōu)選進一步具有輸出部件，該輸出部件輸出在所述輸入圖像中包含的部分區(qū)域的位置和對于各自的部分區(qū)域的關(guān)心度。部分區(qū)域的位置的輸出例如能夠通過以下方式而進行，即對輸入圖像疊加表示部分區(qū)域的地點的框線而顯示，或者將部分區(qū)域的顏色或亮度有別于其他的區(qū)域而顯示。關(guān)心度的輸出可以通過顯示關(guān)心度的數(shù)值而進行，也可以通過顯示與關(guān)心度相應(yīng)的顏色或大小的標記而進行。這時，輸出部件還能夠關(guān)于關(guān)心度小于閾值的部分區(qū)域不進行關(guān)心度的顯示或者部分區(qū)域的顯示，而僅關(guān)于關(guān)心度為閾值以上的部分區(qū)域，進行部分區(qū)域的位置以及關(guān)心度的輸出。
[0026]另外，本發(fā)明能夠作為包含上述部件的至少一部分的關(guān)注區(qū)域提取裝置而掌握。此外，本發(fā)明也能夠作為關(guān)注區(qū)域提取方法或者關(guān)心度計算方法而掌握。此外，也能夠作為用于使計算機執(zhí)行這些方法的各步驟的計算機程序、非臨時性地存儲了該程序的計算機可讀取的存儲介質(zhì)而掌握。上述結(jié)構(gòu)以及處理的每一個只要不產(chǎn)生技術(shù)性的矛盾則能夠相互組合而構(gòu)成本發(fā)明。
[0027]根據(jù)本發(fā)明，能夠從圖像中高精度地提取關(guān)注區(qū)域，并且算出其關(guān)心度。
【附圖說明】
[0028]圖1的(A)?⑶是表示第I實施方式的關(guān)注區(qū)域提取裝置的硬件結(jié)構(gòu)和功能塊的圖。
[0029]圖2是表示第I實施方式中的關(guān)注區(qū)域提取處理的流程的流程圖。
[0030]圖3的(A)?(B)是表示輸入圖像的例子和從輸入圖像提取的關(guān)注區(qū)域的例子的圖。
[0031]圖4是說明關(guān)注區(qū)域的關(guān)心度計算的概念圖。
[0032]圖5的㈧?⑶是表示相似圖像檢索的結(jié)果的例子和基于檢索結(jié)果的關(guān)心度計算的例子的圖。
[0033]圖6的(A)?(B)是表示關(guān)心度的輸出處理的流程的流程圖和表示關(guān)心度的輸出例的圖。
[0034]圖7是表示第2實施方式中的關(guān)注區(qū)域提取處理的流程的流程圖。
[0035]圖8是表示第3實施方式的關(guān)注區(qū)域提取裝置的功能塊的圖。
[0036]圖9是表示第3實施方式中的關(guān)注區(qū)域提取處理的流程的流程圖。
[0037]圖10是表示第4實施方式的關(guān)注區(qū)域提取裝置的功能塊的圖。
[0038]圖11是表示第4實施方式中的關(guān)注區(qū)域提取處理的流程的流程圖。
[0039]圖12的(A)?(B)是表示第4實施方式中的關(guān)注區(qū)域整合處理前和關(guān)注區(qū)域整合處理后的圖。
[0040]標號說明
[0041]10、310、410:關(guān)注區(qū)域提取裝置
[0042]20:攝像機，30:圖像數(shù)據(jù)庫
[0043]110:區(qū)域提取部，120:相似圖像檢索部，130:關(guān)心度計算部
[0044]140:輸出部，150:區(qū)域整合部
[0045]400:輸入圖像，401、402、403、404:關(guān)注區(qū)域
[0046]601、602、603:關(guān)心度顯示部
[0047]1200:輸入圖像
[0048]1201、1202、1203:關(guān)注區(qū)域(整合處理前)
[0049]1204:關(guān)注區(qū)域(整合處理后)
【具體實施方式】
[0050](第I實施方式)
[0051]本實施方式的關(guān)注區(qū)域提取裝置是，通過對圖像數(shù)據(jù)庫進行相似圖像檢索，從而能夠從輸入圖像高精度地提取出關(guān)注區(qū)域，并且，算出各關(guān)注區(qū)域的關(guān)心度的裝置。通過對圖像數(shù)據(jù)庫進行檢索，能夠利用僅憑輸入圖像則無法獲得的信息，能夠?qū)崿F(xiàn)關(guān)注區(qū)域的高精度提取以及關(guān)心度的計算。
[0052]< 結(jié)構(gòu) >
[0053]圖1 (a)是表示本實施方式的關(guān)注區(qū)域提取裝置10的硬件結(jié)構(gòu)的圖。關(guān)注區(qū)域提取裝置10包含圖像輸入部11、運算裝置12、存儲裝置13、通信裝置14、輸入裝置15、輸出裝置16。圖像輸入部11是從攝像機20獲取圖像數(shù)據(jù)的接口。另外在本實施方式中，從攝像機20直接獲取圖像數(shù)據(jù)，但也可以經(jīng)由通信裝置14獲取圖像數(shù)據(jù)，也可以經(jīng)由存儲介質(zhì)獲取圖像數(shù)據(jù)。運算裝置12是CPU(中央處理單元)等的通用的處理器，執(zhí)行在存儲裝置13中存儲程序而實現(xiàn)后述的功能。存儲裝置13包含主存儲裝置以及輔助存儲裝置，存儲由運算裝置12執(zhí)行的程序，并且存儲圖像數(shù)據(jù)和程序執(zhí)行中的臨時數(shù)據(jù)。通信裝置14是用于關(guān)注區(qū)域提取裝置10與外部的計算機進行通信的裝置。通信的方式可以是有線也可以是無線，通信標準可以是任意的。在本實施方式中，關(guān)注區(qū)域提取裝置10經(jīng)由通信裝置14訪問圖像數(shù)據(jù)庫30。輸入裝置15由鍵盤和鼠標等組成，是用于用戶對關(guān)注區(qū)域提取裝置輸入指示的裝置。輸出裝置16由顯示裝置和揚聲器等組成，是用于關(guān)注區(qū)域提取裝置進行對于用戶的輸出的裝置。
[0054]圖像數(shù)據(jù)庫30是包含運算裝置和存儲裝置等的計算機，是以可檢索的方式存儲多個圖像數(shù)據(jù)的裝置。圖像數(shù)據(jù)庫30可以由一臺計算機構(gòu)成，也可以由多個計算機構(gòu)成。在圖像數(shù)據(jù)庫30中存儲的圖像數(shù)據(jù)中，除了圖像其本身的數(shù)據(jù)(每個像素的顏色信息等)以外，關(guān)聯(lián)了各種屬性信息。例如，圖像數(shù)據(jù)的數(shù)據(jù)文件能夠按照Exif格式而包含各種屬性信息。此外，圖像數(shù)據(jù)庫30能夠?qū)⒃诓煌趫D像數(shù)據(jù)的數(shù)據(jù)文件的文件中存儲的屬性信息與圖像數(shù)據(jù)建立關(guān)聯(lián)而存儲。在屬性信息中，例如包含關(guān)于圖像的大小、顏色空間、圖像的拍攝條件(拍攝日期時間、快門速度、光圈、ISO靈敏度、測光模式(mode)、有無閃光、焦距、拍攝位置等)、圖像的內(nèi)容和特征，以自然語言描述的信息(標簽信息)。這些屬性信息是有關(guān)圖像數(shù)據(jù)的元信息。圖像數(shù)據(jù)庫30經(jīng)由互聯(lián)網(wǎng)等公用網(wǎng)絡(luò)而普通公開，接受圖像數(shù)據(jù)的注冊和檢索。
[0055]誰將圖像注冊到圖像數(shù)據(jù)庫30、所注冊的圖像的數(shù)目不特別限定。例如，也可以注冊與關(guān)注區(qū)域提取裝置10的用戶應(yīng)關(guān)注的物體有關(guān)的圖像。這時可以說注冊圖像是適合關(guān)注區(qū)域提取處理的圖像，因而注冊圖像的數(shù)目可以不用那么多。此外，也可以由作為第三者的普通用戶和檢索服務(wù)等的提供者來注冊圖像。這時，注冊圖像有可能不是適合關(guān)注區(qū)域提取處理的圖像。因此，在這樣的情況下，優(yōu)選有眾多圖像被注冊在圖像數(shù)據(jù)庫30中。
[0056]<關(guān)注區(qū)域提取裝置的功能和處理>
[0057]運算裝置12通過執(zhí)行程序，實現(xiàn)圖1(b)所示那樣的功能。即，運算裝置12提供區(qū)域提取部110、相似圖像檢索部120、關(guān)心度計算部130、輸出部140的各功能。關(guān)于各部的處理內(nèi)容在以下進行說明。
[0058]圖2是表示由關(guān)注區(qū)域提取裝置10執(zhí)行的關(guān)注區(qū)域提取處理的流程的流程圖。在步驟SlO中，關(guān)注區(qū)域提取裝置10取得圖像(輸入圖像)。輸入圖像可以經(jīng)由圖像輸入部11從攝像機20取得，也可以經(jīng)由通信裝置14從其他的計算機取得，也可以經(jīng)由存儲裝置13從存儲介質(zhì)取得。圖3(a)是表示輸入圖像400的一例的圖。
[0059]在步驟S20中，區(qū)域提取部110從輸入圖像提取關(guān)注區(qū)域(部分區(qū)域)。區(qū)域提取部110使用的關(guān)注區(qū)域提取算法不特別限定，能夠采用包含基于學(xué)習(xí)的算法以及基于模型的算法在內(nèi)的現(xiàn)有的任意算法。此外，采用的算法不必限定為一個，也可以按照多個算法提取關(guān)注區(qū)域。另外，在基于學(xué)習(xí)的算法中只能提取已學(xué)習(xí)的對象，因而優(yōu)選使用基于模型的提取算法。
[0060]圖3(b)是表示從輸入圖像400提取的關(guān)注區(qū)域的例子的圖。在該例子中，從輸入圖像400提取了 4個關(guān)注區(qū)域401-404。區(qū)域401是車輛，區(qū)域402是人物，區(qū)域403是路標。區(qū)域404本來不是被關(guān)注的區(qū)域，是被區(qū)域提取部110錯誤檢測為是關(guān)注區(qū)域的區(qū)域。
[0061]接著，如圖4所示，相似圖像檢索部120對于在步驟S20中提取的各個關(guān)注區(qū)域進行相似圖像的檢索處理，并基于檢索結(jié)果而計算該關(guān)注區(qū)域的關(guān)心度(循環(huán)LI)。更詳細地說，在步驟S30中，相似圖像檢索部120對圖像數(shù)據(jù)庫30發(fā)出用于檢索與各關(guān)注區(qū)域相似的圖像的詢問(query)而從圖像數(shù)據(jù)庫30取得檢索結(jié)果。圖像數(shù)據(jù)庫30如果接受檢索詢問，則從數(shù)據(jù)庫檢索與在檢索詢問中包含的檢索圖像(關(guān)注區(qū)域的圖像)相似的圖像，發(fā)送檢索結(jié)果。圖像數(shù)據(jù)庫30中的相似圖像檢索的算法能夠采用已知的任意算法。例如，能夠采用進行圖像整體和圖像整體的對照的算法、進行圖像整體和圖像的一部分的對照的算法、進行圖像的一部分和圖像的一部分的對照的算法。圖像數(shù)據(jù)庫30將通過檢索獲取的相似圖像和其屬性信息作為檢索結(jié)果發(fā)送到關(guān)注區(qū)域提取裝置10。
[0062]在步驟S40中，關(guān)注區(qū)域提取裝置10的關(guān)心度計算部130基于從圖像數(shù)據(jù)庫30獲取的檢索結(jié)果，計算關(guān)注區(qū)域的關(guān)心度。在本實施方式中，關(guān)心度計算部130基于檢索結(jié)果計算多個個別關(guān)心度(Rl?R4)，整合這多個關(guān)心度得分而算出最終的關(guān)心度(綜合關(guān)心度)R。個別關(guān)心度是分別從不同的觀點評價的關(guān)心度，例如包含基于與檢索一致的相似圖像的數(shù)目的關(guān)心度(Rl)、基于相似圖像的平均相似度的關(guān)心度(R2)、基于相似圖像中的相似區(qū)域的相對尺寸的關(guān)心度(R3)、以及基于標簽信息的語義的收斂性的關(guān)心度(R4)。在本實施方式中，個別關(guān)心度Rl?R4是歸一化為O到I的范圍的數(shù)值，綜合關(guān)心度R設(shè)為這些個別關(guān)心度Rl?R4的積(R = R1XR2XR3XR4)。但是，綜合關(guān)心度R只要基于個別關(guān)心度Rl?R4來決定，則例如也可以作為個別關(guān)心度Rl?R4的平均(包含加權(quán)平均)、最大值、最小值等而求出。此外，這里所示的個別關(guān)心度是一例，也可以使用基于檢索條件且按照上述以外的基準而決定的值。此外，關(guān)心度不一定要僅根據(jù)檢索結(jié)果而算出，例如也可以考慮提取區(qū)域自身和輸入圖像而算出。
[0063]圖5(a)是表示步驟S30中的檢索結(jié)果的例子的圖。在圖5(a)中，關(guān)于與關(guān)注區(qū)域(檢索圖像)相似的圖像(相似度為預(yù)定的閾值以上的圖像)，示出了圖像編號501、相似度502、相似圖像的整體尺寸503、相似圖像中與關(guān)注區(qū)域相似的區(qū)域的尺寸504、與相似圖像關(guān)聯(lián)存儲的標簽信息505，但也可以有這些以外的信息包含在檢索結(jié)果中。
[0064]圖5(b)是表示關(guān)心度計算部130進行的關(guān)心度計算的例子的圖?；谂c檢索一致的相似圖像的數(shù)目的關(guān)心度R1，檢索命中數(shù)越多，則算出的Rl越高。由此，越是在圖像數(shù)據(jù)庫30中注冊得多的物體，算出的關(guān)心度越高。另外，在關(guān)心度Rl的計算中使用的檢索命中數(shù)，可以是從圖像數(shù)據(jù)庫30送來的相似圖像的整體數(shù)目，也可以是在檢索結(jié)果中相似度502為預(yù)定的閾值以上的結(jié)果的數(shù)目。
[0065]基于相似圖像的平均相似度的關(guān)心度R2，在檢索結(jié)果中包含的相似圖像的相似度502的平均相似度越高，則算出的R2越高。即使檢索命中數(shù)高，但如果相似圖像的相似度低，則不一定是關(guān)心度高的物體，因而能夠通過考慮平均相似度而提高關(guān)心度計算的精度。另外，這里在關(guān)心度R2的計算中使用了相似度的平均，但也可以基于最頻值、中位數(shù)、中間值、方差、標準偏差等其他的統(tǒng)計量進行計算。
[0066]基于相似圖像中的相似區(qū)域的相對尺寸的關(guān)心度(R3)，在檢索結(jié)果中包含的相似圖像的相似區(qū)域的尺寸504與相似圖像的整體尺寸503之比的平均值越大，算出的R3越高。由此，在圖像中照得越大的物體，算出的關(guān)心度越高。另外，關(guān)心度R3除了基于相似圖像的整體尺寸503和相似區(qū)域的尺寸504的比之外，也可以基于這些值且按照另一基準來求出。
[0067]基于標簽信息的語義的收斂性的關(guān)心度R4，在檢索結(jié)果中包含的標簽信息的語義的收斂性越高，算出的R4越高。由此，越是有眾多的人附加了同樣意義的標簽信息的物體，算出的關(guān)心度越高。語義的收斂性優(yōu)選通過自然語言處理來判斷，優(yōu)選即便是標簽信息的措辭不同，但只要是相同的概念或相近的概念就判斷為語義的收斂性高。關(guān)心度計算部130例如能夠?qū)z索結(jié)果所包含的標簽信息的語義分為幾個類別(category)，且將最大類別中的要素數(shù)相對于整體的比例作為關(guān)心度R4而求出。在圖5(b)所示的標簽信息的例子中，“汽車”以及“轎車”是相同的概念，能夠分類到相同的類別?！芭苘嚒笔恰捌嚒币约啊稗I車”的下位概念，因而能夠分類到與“汽車”以及“轎車”相同的類別。另一方面，“公園”是與“汽車”等不同的概念，因而被分類到不同的類別?！败囌埂笔恰捌嚒钡认嚓P(guān)聯(lián)的概念，因而可以分類到與“汽車”等相同的類別，也可以分類到不同的類別。這里，如果設(shè)為“車展”也被分類到與“汽車”相同的類別，檢索結(jié)果為圖5(b)所示的5個項目(item)，則關(guān)心度計算部130算出關(guān)心度R4為0.8( = 4/5)。另外，在圖5(b)的例子中，僅示出了標簽信息為單詞的情況，但標簽信息也可以表示為文章，該情況下也能夠通過自然語言處理來推測意義。
[0068]關(guān)心度計算部130基于個別關(guān)心度Rl?R4，如上述那樣算出綜合關(guān)心度R。這里，上述的個別關(guān)心度Rl?R4針對推測為一般的人會關(guān)注的區(qū)域，作為較大的值而被算出。即，可以說個別關(guān)心度Rl?R4是以所有人為對象的通用的關(guān)心度，基于這些而算出的綜合關(guān)心度R也是通用的關(guān)心度。
[0069]如果針對所有的關(guān)注區(qū)域，關(guān)心度的計算結(jié)束，則在步驟S50中，輸出部140輸出輸入圖像中的關(guān)注區(qū)域的位置和對于各自的關(guān)注區(qū)域的關(guān)心度。這里，輸出部140并非輸出在步驟S20中提取的所有關(guān)注區(qū)域，而是輸出這些關(guān)注區(qū)域中關(guān)心度為預(yù)定的閾值ThR以上的關(guān)注區(qū)域。圖6(a)是更詳細地說明步驟S50中的輸出處理的流程圖。輸出部140關(guān)于在步驟S20中提取的所有關(guān)注區(qū)域，重復(fù)以下的處理(循環(huán)L2)。首先，輸出部140判定針對關(guān)注區(qū)域而算出的關(guān)心度是否為閾值1\以上(S51)。這里，如果關(guān)心度為閾值1\以上(S51- “是”)，則輸出該關(guān)注區(qū)域的位置和其關(guān)心度(S52)，如果關(guān)心度小于閾值ThR(S51- “否”)，則不輸出該關(guān)注區(qū)域的位置和其關(guān)心度。
[0070]圖6(b)是表示本實施方式中的關(guān)注區(qū)域的位置和其關(guān)心度的輸出的一例的圖。這里，假設(shè)在圖3(b)所示的關(guān)注區(qū)域401?404中，關(guān)心度成為閾值1\以上的是關(guān)注區(qū)域401?403。因此，針對關(guān)注區(qū)域401?403，通過包圍其區(qū)域的框顯示來顯示位置。此夕卜，在關(guān)注區(qū)域401?403的旁邊將這些關(guān)注區(qū)域的關(guān)心度作為數(shù)值顯示到關(guān)心度顯示部601?603。關(guān)注區(qū)域404因關(guān)心度小于閾值ThR而不顯示。另外，該例只不過是顯示的一例，例如關(guān)注區(qū)域的位置還能夠通過在關(guān)注區(qū)域和關(guān)注區(qū)域以外的區(qū)域的顯示中改變亮度或顏色來確定。此外，關(guān)心度也不必通過數(shù)值來顯示，例如能夠通過改變標記的顏色或形狀來表示關(guān)心度的大小，并且，也能夠通過改變表示關(guān)注區(qū)域的框線的粗細或顏色來表示關(guān)心度的大小。
[0071]另外，這里說明了將關(guān)注區(qū)域的提取結(jié)果和其關(guān)心度顯示到畫面中的例子，但這些結(jié)果例如也可以輸出到其他的功能部或其他的計算機，也可以輸出(記錄)到存儲裝置中。
[0072]〈本實施方式的效果〉
[0073]根據(jù)本實施方式，通過利用與在圖像數(shù)據(jù)庫中包含的圖像有關(guān)的信息，從輸入圖像提取關(guān)注區(qū)域，從而與僅根據(jù)輸入圖像提取關(guān)注區(qū)域相比，能夠進行更高精度的提取。尤其，相比于以往的基于學(xué)習(xí)的關(guān)注區(qū)域提取，能夠提取的關(guān)注區(qū)域不限于與學(xué)習(xí)數(shù)據(jù)相似的對象，具有能夠提取各種對象作為關(guān)注區(qū)域的優(yōu)點。此外，相比于以往的基于模型的關(guān)注區(qū)域提取，通過利用圖像數(shù)據(jù)庫的檢索結(jié)果，能夠提高提取精度。
[0074](第2實施方式)
[0075]以下，說明本發(fā)明的第2實施方式。本實施方式與第I實施方式基本相同，但區(qū)別在于判斷基于相似圖像的檢索命中數(shù)而提取的關(guān)注區(qū)域是否為準確地提取的區(qū)域。
[0076]圖7是表示本實施方式中的關(guān)注區(qū)域提取處理的流程的流程圖。相比于第I實施方式(圖2)，不同點在于在相似圖像檢索步驟S30之后，增加了將檢索出的相似圖像的數(shù)目與閾值1\進行比較的處理。如果檢索出的相似圖像數(shù)為閾值Th #上635_“是”)，則關(guān)心度計算部130與第I實施方式同樣地算出針對關(guān)注區(qū)域的關(guān)心度(S40)，但如果相似圖像數(shù)小于閾值ThN(S35- “否”)，則針對該關(guān)注區(qū)域不計算關(guān)心度。
[0077]如果這樣，則針對通過檢索而發(fā)現(xiàn)的相似圖像數(shù)少的區(qū)域，不會算出關(guān)心度。相似圖像數(shù)少也可以說本來就不必那么關(guān)注的區(qū)域，上述的判斷處理也能夠掌握為判定步驟S20的關(guān)注區(qū)域提取處理的提取精度是否為閾值以上的處理。
[0078]提取精度不一定要通過相似圖像的檢索命中數(shù)來評價，也可以以其他基準進行評價。本實施方式也能夠掌握為利用相似圖像檢索結(jié)果分別以不同的基準來算出通過以往的關(guān)注區(qū)域提取處理(S20)而提取的區(qū)域的提取精度和關(guān)心度。
[0079](第3實施方式)
[0080]以下，說明本發(fā)明的第3實施方式。在上述第I以及第2實施方式中，關(guān)心度作為以所有人為對象的通用的尺度來算出。但是，當關(guān)注區(qū)域提取處理面向特定的用戶或應(yīng)用而進行的情況下，也能夠利用預(yù)備知識求出專用于用戶或應(yīng)用的關(guān)心度。本實施方式的關(guān)注區(qū)域提取裝置310接受基于預(yù)備知識而決定的關(guān)心度的計算基準，還求出專用于用戶的關(guān)心度。
[0081]本實施方式的關(guān)注區(qū)域提取裝置310的硬件結(jié)構(gòu)與第I實施方式(圖1 (a))相同。圖8是表示通過由本實施方式的關(guān)注區(qū)域提取裝置310的運算裝置12執(zhí)行程序而實現(xiàn)的功能塊的圖。關(guān)注區(qū)域提取裝置310的功能塊也與第I實施方式(圖1(b))基本相同，但關(guān)心度計算部130構(gòu)成為包含通用關(guān)心度計算部131、關(guān)心度計算基準取得部132、特定關(guān)心度計算部133、關(guān)心度整合部134。
[0082]圖9是表示由本實施方式的關(guān)注區(qū)域提取裝置310執(zhí)行的關(guān)注區(qū)域提取處理的流程的流程圖。關(guān)于與第I實施方式(圖2)相同的處理，附加相同的標號而省略其詳細的說明。
[0083]在步驟S25中，關(guān)心度計算基準取得部132取得用于計算面向特定的用戶或應(yīng)用的關(guān)心度(特定關(guān)心度)的基準。特定關(guān)心度的計算基準根據(jù)利用關(guān)注區(qū)域提取裝置310的處理結(jié)果的用戶或應(yīng)用而變化。例如，如果某一用戶具有對特定的物體特別感興趣這樣的預(yù)備知識，則對于該用戶應(yīng)當較大地計算該物體的關(guān)心度。此外，當應(yīng)用為促使用戶注意容易看漏的物體的應(yīng)用時，應(yīng)當較大地計算輸入圖像中尺寸小或者與周圍的顏色相近而難以視覺識別的物體的關(guān)心度。關(guān)心度計算基準取得部132可以從外部接受計算基準本身，也可以取得用于確定用戶或者應(yīng)用的信息，從而自己取得與該用戶或者應(yīng)用對應(yīng)的關(guān)心度計算基準。后者的情況下，關(guān)心度計算基準取得部132存儲每個用戶或應(yīng)用的關(guān)心度計算基準，或者詢問外部的裝置而取得。另外，圖9中在步驟S20之后取得關(guān)心度計算基準，但關(guān)心度計算基準的取得也可以在輸入圖像的取得處理SlO或關(guān)注區(qū)域提取處理S20之前進行。
[0084]在循環(huán)LI中關(guān)心度計算部130針對從輸入圖像提取出的各個關(guān)注區(qū)域計算關(guān)心度這一點與第I實施方式相同。在本實施方式中具體的計算方法與第I實施方式不同，因而以下說明。
[0085]在步驟S30中，相似圖像檢索部120從圖像數(shù)據(jù)庫30檢索與關(guān)注區(qū)域相似的圖像，取得其檢索結(jié)果。該處理與第I實施方式相同。在步驟S41中，通用關(guān)心度計算部131利用檢索結(jié)果和預(yù)先決定的計算基準而算出通用的關(guān)心度。該處理是與以下的處理相同的處理，即與第I實施方式中的關(guān)心度計算功能相同的處理(S40)。
[0086]接著在步驟S42中，特定關(guān)心度計算部133利用相似圖像檢索部120的檢索結(jié)果和由關(guān)心度計算基準取得部132取得的計算基準而算出面向特定用戶或者應(yīng)用的關(guān)心度(特定關(guān)心度)。該處理除了計算基準不同之外，與通用關(guān)心度計算部131的處理相同。另夕卜，特定關(guān)心度計算部133也可以按照不同的基準而算出多個個別關(guān)心度，并通過整合這些多個個別關(guān)心度而算出特定關(guān)心度。
[0087]在步驟S43中，關(guān)心度整合部134對由通用關(guān)心度計算部131算出的通用關(guān)心度和由特定關(guān)心度計算部133算出的特定關(guān)心度進行整合，從而算出最終的關(guān)心度。整合的方法可以是任意的，例如能夠?qū)⑼ㄓ藐P(guān)心度和特定關(guān)心度的平均(單純平均或者加權(quán)平均)設(shè)為最終的關(guān)心度。加權(quán)平均中的權(quán)重可以是固定的，也可以根據(jù)用戶或應(yīng)用而改變。此外，關(guān)心度整合部134也可以將在計算通用關(guān)心度和特定關(guān)心度時求出的個別關(guān)心度的加權(quán)平均決定為最終的關(guān)心度等，作為個別關(guān)心度的函數(shù)來決定最終的關(guān)心度。
[0088]在算出有關(guān)各關(guān)注區(qū)域的關(guān)心度之后的輸出處理(S50)與第I實施方式相同。
[0089]以下，說明特定關(guān)心度的計算基準的例子。如上所述，能夠利用用戶的關(guān)心的傾向，越是用戶感興趣的對象則將關(guān)心度計算得越高。此外，當用戶難以視覺識別特定的顏色時，能夠?qū)⒕哂羞@些顏色的物體的關(guān)心度計算得較高。此外，如果應(yīng)用為識別難以視覺識別的物體的應(yīng)用，則輸入圖像中的關(guān)注區(qū)域的尺寸越小的物體，能夠?qū)㈥P(guān)心度計算得越高。此夕卜，當應(yīng)用于動態(tài)圖像時，能夠?qū)⑼蝗伙@現(xiàn)的物體(在之前的幀中不存在的物體)的關(guān)心度計算得較高，或者相反將長時間連續(xù)存在的物體的關(guān)心度計算得較高。
[0090]根據(jù)本實施方式，分別算出通用的關(guān)心度和專用于特定用途的關(guān)心度，從而對這些進行整合而求出最終的關(guān)心度，因而能夠算出與用途相應(yīng)的關(guān)心度。
[0091]另外，不一定要求出通用關(guān)心度和特定關(guān)心度的雙方，也可以僅求出特定關(guān)心度。這時，在關(guān)心度計算部130中能夠省略通用關(guān)心度計算部131以及關(guān)心度整合部134。
[0092](第4實施方式)
[0093]以下，說明本發(fā)明的第4實施方式。在本實施方式中，相比于第I至第3實施方式，關(guān)注區(qū)域的輸出處理不同。具體地說，在輸入圖像中將相互鄰接的關(guān)注區(qū)域進行整合后作為一個關(guān)注區(qū)域來輸出。
[0094]本實施方式的關(guān)注區(qū)域提取裝置410的硬件結(jié)構(gòu)與第I實施方式(圖1 (a))相同。圖10是表示通過由本實施方式的關(guān)注區(qū)域提取裝置410的運算裝置12執(zhí)行程序而實現(xiàn)的功能塊的圖。關(guān)注區(qū)域提取裝置410除了第I實施方式的功能之外，具備區(qū)域整合部150。
[0095]圖11是表示由本實施方式的關(guān)注區(qū)域提取裝置410執(zhí)行的關(guān)注區(qū)域提取處理的流程的流程圖。關(guān)于與第I實施方式(圖2)相同的處理，附加相同的標號而省略其詳細的說明。在本實施方式中，在循環(huán)LI的處理后的步驟S45中，區(qū)域整合部150基于關(guān)注區(qū)域的位置關(guān)系而整合多個關(guān)注區(qū)域。例如，如果關(guān)注區(qū)域間的距離為預(yù)定的閾值ThD以下，則區(qū)域整合部150整合這些關(guān)注區(qū)域。關(guān)注區(qū)域間的距離可以作為中心間的距離(像素數(shù))來定義，也可以作為最接近的邊界部之間的距離來定義。此外，上述的閾值ThD可以是固定值，也可以根據(jù)關(guān)注區(qū)域的尺寸或關(guān)注區(qū)域內(nèi)的物體種類而變化。
[0096]圖12(a)是表示從輸入圖像1200在步驟S20中提取出的關(guān)注區(qū)域1201?1203的圖。關(guān)注區(qū)域1201與其他關(guān)注區(qū)域的距離較遠，另一方面，關(guān)注區(qū)域1202和關(guān)注區(qū)域1203的距離較近。因此，區(qū)域整合部150整合關(guān)注區(qū)域1202和關(guān)注區(qū)域1203。圖12(b)是表示整合處理后的圖像1200的圖。如圖所示，關(guān)注區(qū)域1202和關(guān)注區(qū)域1203被整合為一個關(guān)注區(qū)域1204。另外，這里，整合后的關(guān)注區(qū)域1204設(shè)為包含關(guān)注區(qū)域1202和關(guān)注區(qū)域1203的最小矩形，但也可以通過與此不同的方法來生成整合后的關(guān)注區(qū)域1204。
[0097]在區(qū)域整合處理中，針對關(guān)心度低的關(guān)注區(qū)域也可以不設(shè)為整合的對象，也可以只在關(guān)注區(qū)域的關(guān)心度滿足預(yù)定的關(guān)系時(例如，關(guān)心度的平均為閾值以上等)整合這些區(qū)域。即，區(qū)域整合部150可以除了關(guān)注區(qū)域間的距離之外還基于關(guān)注區(qū)域的關(guān)心度來判定是否要進行整合。此外，區(qū)域整合部150也可以將三個以上的關(guān)注區(qū)域整合到一個區(qū)域。
[0098]區(qū)域整合部150在整合了多個關(guān)注區(qū)域時，還決定對于整合后的關(guān)注區(qū)域的關(guān)心度。整合后的關(guān)注區(qū)域的關(guān)心度例如優(yōu)選采用有關(guān)被整合的關(guān)注區(qū)域的關(guān)心度的平均值或最大值等，但也可以通過其他的方式來決定。
[0099]步驟S50的關(guān)注區(qū)域的關(guān)心度輸出處理除了將整合后的關(guān)注區(qū)域作為對象來進行之外，與第I實施方式中的處理相同。
[0100]根據(jù)本實施方式，通過整合處于彼此靠近的關(guān)系的多個關(guān)注區(qū)域，能夠抑制輸出的關(guān)注區(qū)域的數(shù)目。此外，在是否要整合區(qū)域的判定中，通過采用利用了圖像數(shù)據(jù)庫的檢索結(jié)果的關(guān)心度，能夠更加適當?shù)卣蠀^(qū)域。
[0101](其他的實施方式)
[0102]上述的實施方式的說明只不過是例示性地說明本發(fā)明，本發(fā)明并不限定于上述的具體的方式。本發(fā)明在其技術(shù)思想的范圍內(nèi)能夠進行各種變形。
[0103]在上述的說明中，說明了圖像數(shù)據(jù)庫作為與關(guān)注區(qū)域提取裝置不同的裝置而構(gòu)成的例子，但圖像數(shù)據(jù)庫也可以與關(guān)注區(qū)域提取裝置作為一體而構(gòu)成。此外，圖像數(shù)據(jù)庫中包含的圖像數(shù)據(jù)可以由關(guān)注區(qū)域提取裝置的制造者進行注冊，也可以由用戶進行注冊。此外，關(guān)注區(qū)域提取裝置也可以使用包含裝置內(nèi)部的圖像數(shù)據(jù)庫和裝置外部的圖像數(shù)據(jù)庫在內(nèi)的多個圖像數(shù)據(jù)庫。
[0104]在上述中說明的關(guān)心度的計算方法是例示，在本發(fā)明中只要利用檢索了與關(guān)注區(qū)域相似的圖像的檢索結(jié)果來計算關(guān)心度，則其計算方法不特別限定。關(guān)心度優(yōu)選利用檢索結(jié)果的統(tǒng)計信息來計算。在檢索結(jié)果的統(tǒng)計信息中包含檢索命中數(shù)、相似度的統(tǒng)計量、相似圖像的大小的統(tǒng)計量、相似圖像中與檢索圖像相似的區(qū)域的位置、由標簽信息所示的意義的收斂性等。此外，當相似圖像中包含元信息的情況下，能夠基于元信息的統(tǒng)計量來計算關(guān)心度。另外，統(tǒng)計量是對多個數(shù)據(jù)實施統(tǒng)計性的處理而得到的量，典型地包含平均值、最頻值、中位數(shù)、中間值、方差、標準偏差等。
[0105]關(guān)注區(qū)域的關(guān)心度也能夠利用相似圖像檢索的結(jié)果以外的信息而計算。例如，也能夠基于關(guān)注區(qū)域自身的大小或顏色、關(guān)注區(qū)域在輸入圖像中的位置等來計算。
[0106]在上述的說明中，以輸入圖像是靜止圖像為前提進行說明，但輸入圖像也可以是動態(tài)圖像(多個靜止圖像)。這時，區(qū)域提取部110利用從動態(tài)圖像提取關(guān)注區(qū)域的現(xiàn)有的算法來提取關(guān)注區(qū)域即可。此外，關(guān)心度計算部130還能夠?qū)㈥P(guān)注區(qū)域的位置的時間變化也考慮在內(nèi)而計算關(guān)心度。例如，能夠考慮關(guān)注區(qū)域的移動速度或移動方向等?？梢栽陉P(guān)注區(qū)域的移動速度越大時將關(guān)心度計算得越高，也可以計算得越低。此外，在考慮移動方向而計算關(guān)心度的情況下，可以基于移動方向本身來計算關(guān)心度，也可以基于移動方向的偏差來計算關(guān)心度。
[0107]本發(fā)明的關(guān)注區(qū)域提取裝置能夠作為臺式計算機、筆記本型計算機、平板型計算機、智能手機、便攜式電話、數(shù)碼相機、數(shù)碼攝像機等任意的信息處理裝置(計算機)而安裝。
【主權(quán)項】
1.一種關(guān)注區(qū)域提取裝置，其包括: 提取部件，從輸入圖像提取一個或者多個部分區(qū)域； 檢索部件，關(guān)于由所述提取部件提取出的各自的部分區(qū)域，從存儲多個圖像的圖像數(shù)據(jù)庫中檢索與該部分區(qū)域相似的圖像；以及 關(guān)心度決定部件，基于所述檢索部件的檢索結(jié)果，決定各自的部分區(qū)域的關(guān)心度。2.如權(quán)利要求1所述的關(guān)注區(qū)域提取裝置， 所述關(guān)心度決定部件利用通過所述檢索部件檢索到的與部分區(qū)域相似的圖像的統(tǒng)計信息，決定該部分區(qū)域的關(guān)心度。3.如權(quán)利要求2所述的關(guān)注區(qū)域提取裝置， 與部分區(qū)域相似的圖像的數(shù)目越多，所述關(guān)心度決定部件將該部分區(qū)域的關(guān)心度決定得越高。4.如權(quán)利要求3所述的關(guān)注區(qū)域提取裝置， 所述關(guān)心度決定部件關(guān)于進行檢索而得到的相似圖像的數(shù)目少于閾值的部分區(qū)域，不用于決定關(guān)心度。5.如權(quán)利要求1至4的任一項所述的關(guān)注區(qū)域提取裝置， 在與部分區(qū)域相似的圖像上建立關(guān)聯(lián)的標簽信息的意義的收斂性越高，所述關(guān)心度決定部件將該部分區(qū)域的關(guān)心度決定得越高。6.如權(quán)利要求1至4的任一項所述的關(guān)注區(qū)域提取裝置， 所述關(guān)心度決定部件基于部分區(qū)域的大小或者位置，決定該部分區(qū)域的關(guān)心度。7.如權(quán)利要求1至4的任一項所述的關(guān)注區(qū)域提取裝置， 還包含計算基準取得部件，該計算基準取得部件接受關(guān)心度的計算基準的輸入，所述關(guān)心度決定部件基于按照預(yù)先決定的計算基準而算出的第I關(guān)心度和按照由所述計算基準取得部件取得的計算基準而算出的第2關(guān)心度，計算所述關(guān)心度。8.如權(quán)利要求1至4的任一項所述的關(guān)注區(qū)域提取裝置， 還具有整合部件，該整合部件將在所述輸入圖像中包含的部分區(qū)域中鄰近的多個部分區(qū)域整合為一個部分區(qū)域。9.如權(quán)利要求1至4的任一項所述的關(guān)注區(qū)域提取裝置， 還具有輸出部件，該輸出部件輸出在所述輸入圖像中包含的部分區(qū)域的位置和對于各自的部分區(qū)域的關(guān)心度。10.如權(quán)利要求9所述的關(guān)注區(qū)域提取裝置， 所述輸出部件僅關(guān)于所述關(guān)心度為閾值以上的部分區(qū)域，進行部分區(qū)域的位置以及關(guān)心度的輸出。11.一種關(guān)注區(qū)域提取方法，由計算機進行，該關(guān)注區(qū)域提取方法包含: 提取步驟，從輸入圖像提取一個或者多個部分區(qū)域； 檢索步驟，關(guān)于在所述提取步驟中提取出的各自的部分區(qū)域，從存儲多個圖像的圖像數(shù)據(jù)庫中檢索與該部分區(qū)域相似的圖像；以及 關(guān)心度決定步驟，基于所述檢索步驟中的檢索結(jié)果，決定各自的部分區(qū)域的關(guān)心度。
【文檔編號】G06F17/30GK105989174SQ201510098283
【公開日】2016年10月5日
【申請日】2015年3月5日
【發(fā)明人】阮翔, 盧湖川, 安田成留, 呂艷萍
【申請人】歐姆龍株式會社