本發(fā)明涉及圖像檢索裝置及檢索圖像的方法。

背景技術(shù)：

隨著電視圖像的數(shù)字檔案化及因特網(wǎng)上的運(yùn)動圖像分發(fā)服務(wù)的普及，將大規(guī)模的圖像數(shù)據(jù)進(jìn)行高速檢索、分類的必要性增加。此外，對于面向安全性而儲存的監(jiān)視圖像的解析的期待變高。對于這些龐大的圖像，難以以人工賦予文本信息，所以要求使用圖像中的特征量的圖像檢索技術(shù)。

目前，大規(guī)模、高速的類似圖像檢索系統(tǒng)正在被實(shí)用化，提出了通過事前提取圖像特征量并數(shù)據(jù)庫化來高速地找出看起來與查詢圖像類似的圖像的技術(shù)。

作為本技術(shù)領(lǐng)域的背景技術(shù)，有日本特開2010－250529(專利文獻(xiàn)1)。在專利文獻(xiàn)1中，記載有“圖像檢索裝置具備：圖像數(shù)據(jù)庫；檢索請求受理機(jī)構(gòu)，受理查詢圖像；類似圖像檢索機(jī)構(gòu)，從登記在圖像數(shù)據(jù)庫中的圖像中，提取與查詢圖像類似的類似圖像；以及檢索結(jié)果提示機(jī)構(gòu)，在查詢圖像的周圍配置類似圖像，并且在顯示機(jī)構(gòu)提示將查詢圖像與類似圖像間連結(jié)顯示的檢索結(jié)果。并且，檢索結(jié)果提示機(jī)構(gòu)在由上述檢索請求受理機(jī)構(gòu)受理了新的查詢圖像的情況下，在顯示機(jī)構(gòu)上保持過去提示的檢索結(jié)果的連結(jié)顯示，并且向該檢索結(jié)果追加基于新的查詢圖像的檢索結(jié)果來在顯示機(jī)構(gòu)進(jìn)行提示。”(參照說明書摘要)。

現(xiàn)有技術(shù)文獻(xiàn)

專利文獻(xiàn)

專利文獻(xiàn)1：日本特開2010－250529號公報

技術(shù)實(shí)現(xiàn)要素：

發(fā)明要解決的課題

專利文獻(xiàn)1所記載的檢索系統(tǒng)通過與用戶的交互來更新檢索結(jié)果。具體而言，專利文獻(xiàn)1所記載的檢索系統(tǒng)反復(fù)進(jìn)行將根據(jù)用戶指定的查詢圖像得到的檢索結(jié)果中包含的圖像作為新的查詢圖像的檢索。由此，只要用戶適當(dāng)?shù)刂付ú樵儓D像，則有可能得到關(guān)于目標(biāo)檢索對象的富于變化的檢索結(jié)果。

但是，在專利文獻(xiàn)1所記載的檢索系統(tǒng)中，在用戶僅將特定的外觀的圖像選擇為查詢圖像的情況下，反而有可能難以包羅性地找出檢索對象，即檢索的包羅性受用戶操作影響。

用來解決課題的手段

為了解決上述課題，本發(fā)明例如采用權(quán)利要求書所記載的結(jié)構(gòu)。本申請包括多個解決上述課題的手段，舉出其一例如下，一種圖像檢索裝置，從圖像數(shù)據(jù)庫中檢索圖像，該圖像數(shù)據(jù)庫保持已登記圖像、上述已登記圖像的包括第1種類在內(nèi)的一個種類以上的特征量、和表示上述已登記圖像的相同種類的特征量間的鏈接的傳播信息，上述圖像檢索裝置包括：圖像取得部，取得第1圖像及上述第1圖像的上述一個種類以上的特征量，向上述圖像數(shù)據(jù)庫登記；屬性傳播部，針對上述第1圖像的各個種類的特征量，計算表示與上述已登記圖像的該種類的特征量各自之間的類似相同性的傳播強(qiáng)度，將上述第1圖像的該種類的特征量和與上述第1圖像的該種類的特征量之間的傳播強(qiáng)度最大的已登記圖像的該種類的特征量間的鏈接包含到上述傳播信息中；查詢輸入部，從上述圖像數(shù)據(jù)庫所保持的上述已登記圖像的特征量中，取得第1種類的第1特征量，生成包含上述第1特征量的輸入查詢；查詢加強(qiáng)部，基于上述傳播信息所表示的對應(yīng)，進(jìn)行以上述第1特征量為出發(fā)點(diǎn)的、沿著上述已登記圖像的特征量推移的搜索，生成追加查詢，該追加查詢包含具有上述搜索的路徑上的特征量的已登記圖像的第1種類的特征量；以及圖像檢索部，使用上述輸入查詢及上述追加查詢，從上述圖像數(shù)據(jù)庫中檢索圖像。

發(fā)明效果

根據(jù)本發(fā)明的一技術(shù)方案，能夠高精度且包羅性地檢索圖像。上述以外的課題、結(jié)構(gòu)及效果根據(jù)以下的實(shí)施方式的說明會變得清楚。

附圖說明

圖1是實(shí)施例1中表示圖像檢索系統(tǒng)的結(jié)構(gòu)例的框圖。

圖2是實(shí)施例1中表示圖像檢索系統(tǒng)的硬件結(jié)構(gòu)例的框圖。

圖3是表示實(shí)施例1的圖像數(shù)據(jù)庫的構(gòu)造例的圖。

圖4a是實(shí)施例1中說明屬性傳播信息的生成過程的例子的圖。

圖4b是實(shí)施例1中說明屬性傳播信息的生成過程的例子的圖。

圖4c是實(shí)施例1中說明屬性傳播信息的生成過程的例子的圖。

圖5是實(shí)施例1中表示屬性傳播信息的生成處理的一例的流程圖。

圖6是實(shí)施例1中說明使用屬性傳播信息的圖像檢索的例子的圖。

圖7是實(shí)施例1中表示使用屬性傳播信息的圖像檢索的處理的一例的流程圖。

圖8是表示實(shí)施例1的檢索畫面的一例的圖。

圖9是實(shí)施例1中表示系統(tǒng)整體的處理的一例的順序圖。

圖10是實(shí)施例2中表示圖像檢索系統(tǒng)的結(jié)構(gòu)例的框圖。

圖11是實(shí)施例2的注釋畫面的結(jié)構(gòu)例。

圖12是實(shí)施例2中表示注釋處理的一例的流程圖。

圖13是在實(shí)施例1中說明聚類和屬性傳播的圖。

具體實(shí)施方式

以下，參照附圖說明本發(fā)明的實(shí)施方式。應(yīng)注意的是，本實(shí)施方式不過是用來實(shí)現(xiàn)本發(fā)明的一例，并非限定本發(fā)明的技術(shù)范圍。在各圖中，對于共通的結(jié)構(gòu)賦予相同的標(biāo)號。

<本實(shí)施方式例的概要>

本實(shí)施方式的圖像檢索裝置從新登記的圖像中提取規(guī)定的1個種類以上的屬性的特征量，將提取出的各個種類的屬性的特征量與已登記圖像各自的相同種類的屬性的特征量比較。圖像檢索裝置將包含通過該比較判定為類似性高或特征量相同的特征量間的鏈接的傳播信息進(jìn)行儲存。該鏈接還可以看成經(jīng)由相同種類的特征量的圖像間的鏈接。在本實(shí)施方式中，在不需要特別區(qū)分的情況下，也有將特征量間的鏈接(傳播)記載為圖像間的鏈接(傳播)的情況。另外，本實(shí)施方式的圖像，是包括運(yùn)動圖像及靜止圖像的概念。

另外，屬性表示構(gòu)成圖像的部分(part)，例如在圖像中包含人物的情況下，該人物的手臂、頭等部位分別是屬性的一例。特征量是表示各屬性具有的圖像的特征的值。關(guān)于特征量的具體例后述。在本實(shí)施方式中，也有將屬性的特征量簡單稱作特征量的情況。

傳播信息例如包括表示傳播源的圖像和傳播目的地的圖像的信息、特征量的種類及傳播強(qiáng)度。關(guān)于傳播強(qiáng)度后述。結(jié)果，形成表示圖像間的鏈接的圖表構(gòu)造。在本實(shí)施方式中，圖表是包括樹的概念。圖像檢索裝置通過沿著圖表構(gòu)造推移，能夠搜索與查詢圖像不直接類似的圖像。

圖像檢索裝置在檢索時利用該傳播信息，例如從數(shù)據(jù)庫取得與給出的查詢的查詢圖像鏈接的多個圖像，將以所取得的圖像為查詢圖像的查詢添加到該給出的查詢中，從而將檢索查詢加強(qiáng)。圖像檢索裝置使用加強(qiáng)后的查詢進(jìn)行類似圖像檢索，將其檢索結(jié)果合并，從而能夠提高檢索精度及包羅率。

實(shí)施例1

<系統(tǒng)結(jié)構(gòu)>

圖1是表示實(shí)施例1的圖像檢索系統(tǒng)100的結(jié)構(gòu)例的框圖。圖像檢索系統(tǒng)100對于輸入圖像的1個種類以上的特征量，將與具有類似性高的該種類的特征量的已登記圖像間的鏈接作為傳播信息進(jìn)行儲存，使用傳播信息將查詢加強(qiáng)，進(jìn)行基于加強(qiáng)后的查詢的檢索，從而提高使檢索精度及包羅率。

圖像檢索系統(tǒng)100例如包括圖像存儲裝置101、輸入裝置102、顯示裝置103及圖像檢索裝置104。圖像存儲裝置101是保存靜止圖像數(shù)據(jù)或運(yùn)動圖像數(shù)據(jù)的存儲介質(zhì)，例如使用計算機(jī)內(nèi)置的硬盤驅(qū)動器、或者nas(networkattachedstorage)或san(storageareanetwork)等的在網(wǎng)絡(luò)上連接的存儲系統(tǒng)構(gòu)成。此外，圖像存儲裝置101例如也可以是將從相機(jī)持續(xù)性地輸入的圖像數(shù)據(jù)暫時保持的閃存存儲器。

輸入裝置102例如是鼠標(biāo)、鍵盤、觸摸設(shè)備等用來將用戶的操作向圖像檢索裝置104傳遞的輸入接口。顯示裝置103例如是液晶顯示器等輸出接口，用于圖像檢索裝置104的識別結(jié)果的顯示、與用戶的對話操作等。

<各部的動作>

圖像檢索裝置104進(jìn)行登記處理，該登記處理中從儲存在圖像存儲裝置101中的圖像中提取檢索所需要的信息并數(shù)據(jù)庫化。此外，圖像檢索裝置104進(jìn)行檢索處理，該檢索處理中使用用戶從輸入裝置102指定的檢索查詢，從圖像數(shù)據(jù)庫108中檢索與檢索查詢類似的圖像，向顯示裝置103進(jìn)行信息提示。

圖像檢索裝置104從圖像中提取1個種類以上的屬性的特征量，向圖像數(shù)據(jù)庫108登記。此外，圖像檢索裝置104將登記的圖像的特征量與已登記的其他圖像的相同種類的特征量比較，在類似性高或相同的特征量間賦予傳播信息，儲存到圖像數(shù)據(jù)庫中。

圖像檢索裝置104包括圖像輸入部105、特征量提取部106、屬性傳播部107、圖像數(shù)據(jù)庫108、傳播信息儲存部109、查詢輸入部110、查詢加強(qiáng)部111及圖像檢索部112。

圖像輸入部105從圖像存儲裝置101受理靜止圖像數(shù)據(jù)或運(yùn)動圖像數(shù)據(jù)的輸入，根據(jù)被輸入的數(shù)據(jù)的數(shù)據(jù)形式，將被輸入的數(shù)據(jù)變換為在圖像檢索裝置104內(nèi)部使用的數(shù)據(jù)形式。例如，圖像輸入部105在受理了運(yùn)動圖像數(shù)據(jù)的輸入的情況下，圖像輸入部105進(jìn)行例如分解為幀(靜止圖像數(shù)據(jù)形式)的運(yùn)動圖像解碼處理。

此外，圖像輸入部105根據(jù)需要，例如也可以按照來自用戶的指示等而從輸入的圖像進(jìn)行部分區(qū)域的提取處理。具體而言，例如圖像輸入部105也可以從各幀中提取人物的區(qū)域，將提取出的區(qū)域的圖像作為在內(nèi)部中使用的數(shù)據(jù)。由圖像輸入部105處理后的圖像數(shù)據(jù)被發(fā)送至特征量提取部106。另外，圖像輸入部105也可以同時受理特征量的輸入，將輸入的特征量向圖像數(shù)據(jù)庫108登記。此時，圖像檢索裝置104也可以不包括特征量提取部106。

特征量提取部106從輸入的各圖像中提取1個種類以上的屬性的特征量。特征量是表示圖像的特征的能夠在圖像間進(jìn)行比較的值，例如用固定長度的向量表現(xiàn)。作為將圖像的顏色、形狀等外觀上的信息數(shù)值化而得到的數(shù)據(jù)的圖像特征量是屬性的特征量的一例。此外，只要是能夠在圖像間比較的值，可以將任意的圖像信息作為特征量。如果是上述人物圖像的例子，則除了人物圖像的形狀、顏色等圖像特征量以外，也可以使用通過幀間的運(yùn)動體跟蹤得到的運(yùn)動體id作為屬性的特征量。包括圖像和特征量的圖像信息被登記到圖像數(shù)據(jù)庫108中。

特征量提取部106例如在向圖像數(shù)據(jù)庫108登記圖像特征量時，也可以以高速檢索為目的，進(jìn)行數(shù)據(jù)的聚類(clustering)處理。特征量提取部106例如通過k－means算法等的聚類處理，生成由具有類似度高的特征量的1個以上的登記數(shù)據(jù)構(gòu)成的類群(cluster)。類似度是表示相同種類的兩個特征量間的類似性的指標(biāo)，例如通過向值域?yàn)閇0，1]的規(guī)定的減函數(shù)代入兩個特征量間的距離而得到。

圖像數(shù)據(jù)庫108例如記錄類群的代表值(例如類群成員的平均向量)和類群成員的id。圖像檢索裝置104在檢索時，例如將檢索查詢的特征量與類群的代表值進(jìn)行比較，僅對類似度高的類群在檢索查詢與該類群的成員之間進(jìn)行特征量比較，從而能夠削減處理次數(shù)而高速地搜索。

屬性傳播部107將已登記的各圖像的特征量與新登記的圖像的相同種類的特征量進(jìn)行比較，例如將傳播強(qiáng)度高的特征量間的鏈接作為傳播信息向圖像數(shù)據(jù)庫108記錄。傳播強(qiáng)度是表示相同種類的兩個特征量間的類似性或相同性的指標(biāo)。例如，由兩個特征量一致的情況下的值為1、兩個特征量不一致的情況下的值為0的函數(shù)給出的值是傳播強(qiáng)度的一例。因而，即使是在特征量間不能定義類似性的情況，也能夠定義傳播強(qiáng)度。此外，上述類似度也是傳播強(qiáng)度的一例。在圖像具有多個屬性的情況下，屬性傳播部107例如與屬性的數(shù)量相應(yīng)地生成傳播信息。以下，舉出屬性的特征量的例子。

(1)如上述那樣，將顏色、形狀等圖像本身的外觀的信息數(shù)值化而得到的圖像特征量是特征量的一例。例如，在圖像特征量間的類似度是規(guī)定的閾值以上的情況下，屬性傳播部107在該圖像間生成傳播信息，將該類似度作為傳播強(qiáng)度。

(2)運(yùn)動體跟蹤等的時間序列圖像識別結(jié)果中的物體id是特征量的一例。連續(xù)幀中的相同物體具有相同的id。例如，屬性傳播部107在存在包含相同物體id的兩個幀的情況下，在各幀的相同物體id中生成傳播信息，將傳播強(qiáng)度設(shè)為1.0。

(3)定點(diǎn)觀測圖像中的表示位置的信息是特征量的一例。例如，在定點(diǎn)觀測圖像被規(guī)定的柵格劃分的情況下，屬性傳播部107在不同時刻間的相同位置的單元中生成傳播信息，將傳播強(qiáng)度設(shè)為1.0。

(4)用戶指定的標(biāo)簽是特征量的一例。屬性傳播部107例如對被賦予了用戶指定的標(biāo)簽的圖像與作為該圖像的賦予標(biāo)簽的線索的參照圖像之間生成傳播信息。屬性傳播部107例如計算該圖像與參照圖像之間的其他特征量的類似度，將計算出的類似度作為該傳播強(qiáng)度。屬性傳播部107例如也可以在具有相同的標(biāo)簽的圖像間生成傳播信息，將傳播強(qiáng)度設(shè)為1.0。關(guān)于借助標(biāo)簽的傳播信息的生成處理的詳細(xì)情況后述。

(5)檢索履歷是特征量的一例。屬性傳播部107例如參照反復(fù)檢索的操作日志，在檢索查詢圖像與檢索結(jié)果圖像之間生成傳播信息，例如將在圖像的檢索中使用過的特征量間的類似度作為傳播強(qiáng)度。

圖13是用來將基于屬性傳播及聚類的特征量空間進(jìn)行的構(gòu)造化進(jìn)行比較的圖。聚類形成以代表向量為中心的特征量組，相對于此屬性傳播形成表示特征量間的鏈接的圖表。圖像檢索裝置104通過使用屬性傳播，能夠得到在特征量空間上處于離開的地方的圖像間的鏈接。關(guān)于傳播信息的生成方法，使用圖4a～圖4c后述。

圖像數(shù)據(jù)庫108保持通過上述登記處理得到的圖像信息。此外，圖像數(shù)據(jù)庫108包括儲存?zhèn)鞑バ畔⒌膫鞑バ畔Υ娌?09。傳播信息儲存部109也可以配置在圖像數(shù)據(jù)庫108之外。例如，也可以是客戶端裝置的主存儲對傳播信息進(jìn)行儲存，此時，圖像檢索裝置104可以利用按每個用戶而暫時不同的傳播信息。

圖像數(shù)據(jù)庫108保存特征量，圖像檢索部112進(jìn)行使用該特征量的類似圖像檢索。類似圖像檢索是按特征量與查詢從近到遠(yuǎn)的順序?qū)?shù)據(jù)重新排列并輸出的功能。圖像檢索部112例如使用向量間的歐幾里德距離將特征量進(jìn)行比較。關(guān)于圖像數(shù)據(jù)庫108的構(gòu)造，詳細(xì)情況使用圖3后述。以上是圖像檢索裝置104的登記處理中的各部的動作。接著，說明圖像檢索裝置104的檢索處理中的各部的動作。

查詢輸入部110受理用戶經(jīng)由輸入裝置102指定的查詢。在查詢是已登記數(shù)據(jù)的id的情況下，從圖像數(shù)據(jù)庫108取得特征量，在作為查詢而從外部提供了圖像的情況下，通過與特征量提取部106同樣的處理，從圖像得到特征量。查詢加強(qiáng)部111使用儲存在圖像數(shù)據(jù)庫108中的傳播信息，取得與輸入查詢關(guān)聯(lián)的登記數(shù)據(jù)，作為追加查詢。

圖像檢索部112使用輸入查詢及由查詢加強(qiáng)部111得到的追加查詢，對圖像數(shù)據(jù)庫108進(jìn)行類似圖像檢索處理。圖像檢索部112進(jìn)行將從各查詢得到的檢索結(jié)果按類似度順序重新排列、關(guān)于相同id的數(shù)據(jù)僅留下位次低的結(jié)果等的匯總處理。此外，此時關(guān)于由查詢加強(qiáng)部111追加的查詢的結(jié)果，也可以根據(jù)需要而對類似度進(jìn)行加權(quán)。關(guān)于查詢加強(qiáng)和圖像檢索，使用圖6后述。顯示裝置103顯示通過以上的檢索處理得到的檢索結(jié)果，由此將檢索結(jié)果提示給用戶。

圖2是表示本實(shí)施例的圖像檢索系統(tǒng)100的硬件結(jié)構(gòu)例的框圖。圖像檢索裝置104例如由通常的計算機(jī)實(shí)現(xiàn)。例如，圖像檢索裝置104具有相互連接的處理器201及存儲裝置202。存儲裝置202由任意種類的存儲介質(zhì)構(gòu)成。例如，存儲裝置202也可以由半導(dǎo)體存儲器和硬盤驅(qū)動器的組合構(gòu)成。

另外，圖像輸入部105、特征量提取部106、屬性傳播部107、圖像數(shù)據(jù)庫108及傳播信息儲存部109、查詢輸入部110、查詢加強(qiáng)部111及圖像檢索部112等功能部例如通過由處理器201執(zhí)行保存在存儲裝置202中的處理程序203而實(shí)現(xiàn)。換言之，上述各功能部執(zhí)行的處理由處理器201基于處理程序203執(zhí)行。此外，圖像數(shù)據(jù)庫108的數(shù)據(jù)例如包含在存儲裝置202中。

圖像檢索裝置104還包括連接在處理器201上的網(wǎng)絡(luò)接口裝置(nif)204。圖像存儲裝置101例如也可以是經(jīng)由網(wǎng)絡(luò)接口裝置204連接在圖像檢索裝置104上的nas或san。圖像存儲裝置101也可以包含在存儲裝置202中。

圖3是表示本實(shí)施例的圖像數(shù)據(jù)庫108的結(jié)構(gòu)及數(shù)據(jù)例的說明圖。另外，在本實(shí)施方式中，系統(tǒng)使用的信息不依賴于數(shù)據(jù)構(gòu)造，用怎樣的數(shù)據(jù)構(gòu)造表現(xiàn)都可以。圖3表示表形式的例子，但例如能夠由從表、列表、數(shù)據(jù)庫或隊列中適當(dāng)選擇的數(shù)據(jù)構(gòu)造體保存信息。

圖像數(shù)據(jù)庫108例如包括保持圖像信息的圖像表300和保持圖像間的鏈接的傳播信息表310。圖3的各表結(jié)構(gòu)及各表的字段結(jié)構(gòu)不過是一例，例如也可以根據(jù)應(yīng)用而追加表及字段。此外，只要保持同樣的信息，也可以改變表結(jié)構(gòu)。例如，也可以是將圖像表300與傳播信息表310結(jié)合而得到的一個表。

圖像表300例如包括圖像id字段301、圖像數(shù)據(jù)字段302及屬性1特征量字段303。此外，在特征量提取部106從圖像中提取多個種類的屬性的特征量的情況下，圖像表300包括多個特征量字段。圖3的圖像表300是提取了兩個屬性的特征量的例子，包括屬性2特征量字段304。

圖像id字段301保持各圖像數(shù)據(jù)的識別號碼。圖像數(shù)據(jù)字段302例如將在顯示檢索結(jié)果時使用的圖像數(shù)據(jù)以二進(jìn)制值保持。屬性1特征量字段303及屬性2特征量字段304分別保持對應(yīng)的種類的特征量。特征量例如由固定長度的向量數(shù)據(jù)給出。此外，特征量例如如屬性2特征量字段304保持的特征量那樣，只要能夠在圖像間進(jìn)行比較，也可以是標(biāo)量數(shù)據(jù)。

傳播信息表310例如包括傳播信息id字段311、屬性id字段312、傳播源字段313、傳播目的地字段314及傳播強(qiáng)度字段315。傳播信息id字段311保持圖像間的屬性傳播的識別號碼。屬性id字段312保持作為傳播對象的屬性的特征量的id。屬性的特征量的id既可以由應(yīng)用管理，也可以由包括表的數(shù)據(jù)庫管理。

傳播源字段313保持作為屬性的傳播源的圖像id。傳播目的地字段314保持作為屬性的傳播目的地的圖像id。傳播強(qiáng)度字段315保持傳播的強(qiáng)度或可靠度的數(shù)值。例如傳播源與傳播目的地的特征量向量間的距離越近，傳播強(qiáng)度為越大的值。另外，傳播信息表310例如也還包括記錄生成了傳播的時刻的字段。

本實(shí)施例的圖像檢索裝置104使用在登記時構(gòu)建的傳播信息生成追加查詢，使用對輸入查詢加上了追加查詢后的檢索查詢進(jìn)行檢索，從而能夠提高圖像檢索的包羅性，能夠提高圖像檢索效率及圖像數(shù)據(jù)庫108的分析效率。

圖4a～圖4c是說明在登記處理中生成傳播信息的過程的圖。圖4a～圖4c表示因圖像的追加而圖像數(shù)據(jù)庫108的狀態(tài)變化為狀態(tài)1～狀態(tài)3的過程。此外，圖4a～圖4c表示在兩個特征量間能夠定義類似度、采用類似度作為傳播強(qiáng)度的例子。以下，將圖像id為n(n是自然數(shù))的圖像表現(xiàn)為圖像n。

圖4a表示圖像數(shù)據(jù)庫108的狀態(tài)是狀態(tài)1的例子。狀態(tài)1表示對于已登記有圖像1的圖像表300追加了圖像2的狀態(tài)。屬性傳播部107將相同種類的特征量進(jìn)行比較，如果類似度是規(guī)定的閾值以上，則將傳播信息向傳播信息表310記錄。

在圖4a的例子中，關(guān)于屬性1特征量，類似度是閾值以下，所以屬性傳播部107不進(jìn)行傳播。此外，關(guān)于屬性2特征量，特征量一致即類似度是閾值以上，所以屬性傳播部107記錄傳播信息411。具體而言，屬性傳播部107分別在屬性id字段312中保存表示屬性2特征量的識別碼的2，在傳播源字段313中保存作為已登記圖像的圖像id的2，在傳播目的地字段314中保存作為被追加的圖像的圖像id的1，在傳播強(qiáng)度字段315中保存類似度1.0。

圖4b表示圖像數(shù)據(jù)庫108的狀態(tài)是狀態(tài)2的例子。狀態(tài)2表示在圖像表300中新登記了圖像3的狀態(tài)。屬性傳播部107進(jìn)行圖像3與圖像1之間的特征量比較、以及圖像3與圖像2之間的特征量比較。在圖4b的例子中，僅發(fā)生圖像3與圖像1之間的關(guān)于屬性1特征量的傳播。因而，屬性傳播部107關(guān)于屬性1特征量記錄傳播信息421。結(jié)果，在圖像1與圖像2之間記錄有關(guān)于屬性2特征量的傳播信息411，還在圖像1與圖像3之間記錄有關(guān)于屬性1特征量的傳播信息421，所以由兩個傳播信息表示在圖像3與圖像2間有關(guān)系。

圖4c表示圖像數(shù)據(jù)庫108的狀態(tài)是狀態(tài)3的例子。狀態(tài)3表示還登記有圖像4、圖像5及圖像6的狀態(tài)。如圖4c所示，形成用基于屬性的特征量的傳播信息連結(jié)的多個圖表構(gòu)造。另外，在以上的處理中，圖像檢索裝置104也可以使用上述聚類來削減特征量比較次數(shù)，或使用圖像的登記時刻等目錄數(shù)據(jù)來將作為特征量比較的對象的圖像縮減，此時能夠提高登記處理速度。

圖5是表示本實(shí)施例的圖像檢索裝置104從由圖像存儲裝置101輸入的運(yùn)動圖像或靜止圖像中提取圖像特征量和圖像間的傳播信息、并向圖像數(shù)據(jù)庫108登記的處理的一例的流程圖。

圖像輸入部105從圖像存儲裝置101取得圖像數(shù)據(jù)，將所取得的圖像數(shù)據(jù)根據(jù)需要而變換為在系統(tǒng)內(nèi)部中能夠利用的形式，將圖像數(shù)據(jù)向圖像表300記錄(s501)。圖像輸入部105例如在受理了運(yùn)動圖像數(shù)據(jù)的輸入的情況下，進(jìn)行將運(yùn)動圖像數(shù)據(jù)分解為幀(靜止圖像數(shù)據(jù)形式)的運(yùn)動圖像解碼處理。此外，圖像輸入部105根據(jù)需要也可以進(jìn)行部分區(qū)域的提取處理。

圖像檢索裝置104關(guān)于例如作為系統(tǒng)設(shè)計事項(xiàng)給出的規(guī)定種類的各屬性的特征量，重復(fù)從步驟s503到步驟s507的處理(s502)。特征量提取部106根據(jù)輸入的圖像，計算該種類的特征量(s503)。特征量提取部106將在步驟s503中得到的特征量登記到圖像表300(s504)。特征量提取部106根據(jù)需要，例如也可以在圖像表300的記錄數(shù)是規(guī)定的閾值以上的情況下進(jìn)行基于特征量的聚類處理。

屬性傳播部107計算在步驟s503中得到的特征量與已登記在圖像表300中的各圖像的相同種類的特征量之間的傳播強(qiáng)度，判定傳播強(qiáng)度是否是閾值以上(s505)。屬性傳播部107，如果存在傳播強(qiáng)度是閾值以上的已登記的圖像(s505：是)，則執(zhí)行步驟s507，如果不是這樣(s505：否)，則向步驟s508移動。

屬性傳播部107將表示傳播強(qiáng)度是閾值的已登記圖像的特征量與輸入圖像的特征量間的鏈接的傳播信息向傳播信息表310記錄(s507)。如果有尚未被執(zhí)行步驟s503～步驟s507的處理的屬性的特征量，則向步驟s502移動，進(jìn)行關(guān)于其他屬性的特征量的處理(s508)。如果對于全部的屬性的特征量的步驟s503～步驟s507的處理都已執(zhí)行，則圖5的處理結(jié)束。

圖6是表示本實(shí)施例的圖像檢索裝置104使用用戶指定的查詢來檢索圖像數(shù)據(jù)庫108中登記的圖像的處理的一例的圖。用戶輸入用來生成用于從圖像數(shù)據(jù)庫108檢索希望的圖像的輸入查詢的信息。輸入查詢包括圖像表300保持的圖像的特征量。

查詢輸入部110例如受理圖像表300中包含的圖像的圖像id和表示特征量的種類的信息的輸入，將由從圖像表300取得的該圖像id和特征量構(gòu)成的組合作為輸入查詢。另外，將與輸入查詢中包含的圖像id對應(yīng)的圖像稱作查詢圖像。

此外，查詢輸入部110例如也可以受理從外部新提供的圖像和特征量的種類的輸入。此時，查詢輸入部110例如通過與特征量提取部106同樣的處理，從該提供的圖像中提取該種類的特征量，例如，從圖像表300中，確定1個具有與提取出的特征量類似度最高的特征量的已登記圖像。查詢輸入部110例如將由所確定的已登記圖像的圖像id和該已登記圖像的該種類的特征量構(gòu)成的組合作為輸入查詢。

圖6是表示輸入查詢601的圖像id是6、特征量的種類是屬性1特征量的例子。另外，輸入查詢601也可以包括多個種類的特征量。此外，也可以指定多個圖像作為查詢圖像。圖像檢索裝置104保持有表示由傳播信息表310定義的已登記圖像間的鏈接的信息、即由1個以上的圖表構(gòu)成的圖表集合430的信息。查詢加強(qiáng)部111從圖表集合430中選擇包含由輸入查詢601指定的查詢圖像的信息的圖表，通過以由查詢圖像的輸入查詢601指定的特征量為出發(fā)點(diǎn)、沿著鏈接推移而搜索所選擇的圖表。

查詢加強(qiáng)部111通過從由輸入查詢601指定的圖像6的屬性1特征量沿著鏈接602推移，得到圖像3。查詢加強(qiáng)部111得到由處于從得到的圖像的特征量依次沿著鏈接推移的路徑上的圖像6、圖像3、圖像1及圖像2構(gòu)成的一系列的圖像集合。

另外，查詢加強(qiáng)部111當(dāng)沿著鏈接推移時，也可以在相同的圖像內(nèi)進(jìn)行屬性切換603，沿著切換目的地的特征量的鏈接推移。通過由查詢加強(qiáng)部111在相同圖像內(nèi)進(jìn)行屬性切換603，能夠在維持特征量間的關(guān)聯(lián)的同時提高檢索的包羅率。此外，在圖6中用有向邊表現(xiàn)了鏈接，但鏈接也可以是無向邊。即，圖像檢索裝置104既可以進(jìn)行按照方向的搜索，也可以如圖6所示那樣進(jìn)行忽視方向的搜索。查詢加強(qiáng)部111例如使用迪杰斯特拉(dijkstra)法等的搜索算法進(jìn)行上述搜索。

查詢加強(qiáng)部111將對輸入查詢601加上追加查詢后的查詢作為檢索查詢604，所述追加查詢是由通過上述搜索得到的一系列圖像的圖像id各自、和該圖像的與輸入查詢相同種類的特征量構(gòu)成的組合。另外，在輸入查詢601包括多個種類的特征量的情況下，查詢加強(qiáng)部111進(jìn)行以各特征量為出發(fā)點(diǎn)的搜索，針對各特征量生成加強(qiáng)查詢。

接著，圖像檢索部112針對檢索查詢604中包含的各特征量，進(jìn)行從圖像表300中檢索具有類似的特征量的圖像的類似圖像檢索。另外，在檢索查詢604的各查詢包含多個種類的特征量的情況下，圖像檢索部112例如既可以針對多個種類的特征量分別檢索該種類的特征量類似的圖像，也可以檢索將該多個種類的特征量綜合而得到的特征量相類似的圖像。圖像檢索部112得到圖像id、和該圖像id的圖像與作為檢索源的查詢圖像id的類似度的組合，作為檢索結(jié)果。

圖像檢索部112例如將得到的全部的檢索結(jié)果按類似度順序重新排列，向顯示裝置103輸出。此時，圖像檢索部112例如也可以僅輸出相同的圖像id的檢索結(jié)果中的、類似度為規(guī)定的閾值以上的檢索結(jié)果。

此外，圖像檢索部112在將檢索結(jié)果按類似度順序重新排列時，也可以根據(jù)使用的查詢圖像的從輸入查詢圖像傳播的傳播強(qiáng)度，對檢索結(jié)果的類似度賦予權(quán)重。從圖像3向圖像6的傳播強(qiáng)度是0.9，所以圖像檢索部112例如對于將圖像3作為查詢圖像的檢索結(jié)果的類似度，將0.9作為其權(quán)重來賦予。

此外，圖像檢索部112對于從作為輸入查詢601的查詢圖像的圖像6沿著多個傳播信息推移而得到的檢索結(jié)果的類似度，例如將該多個傳播信息中的傳播強(qiáng)度的乘積作為其權(quán)重來賦予。此外，圖像檢索部112對于進(jìn)行屬性切換而得到的檢索結(jié)果的類似度，例如也可以計算作為輸入查詢的圖像6的特征量與該檢索結(jié)果的圖像的特征量間的傳播強(qiáng)度，將計算出的傳播強(qiáng)度作為其權(quán)重來賦予。通過由圖像檢索部112對類似度賦予權(quán)重，與用戶最初指定的輸入查詢601的查詢圖像接近的圖像的類似度變高。

圖7是說明本實(shí)施的圖像檢索裝置104使用用戶指定的查詢來檢索圖像數(shù)據(jù)庫108中登記的圖像的處理的一例的流程圖。以下，對圖7的各步驟進(jìn)行說明。

查詢輸入部110從用戶受理用來生成輸入查詢的信息，生成輸入查詢(s701)。查詢輸入部110在受理了已登記圖像id和特征量的種類的輸入的情況下，從圖像表300取得具有該圖像id的圖像的該種類的特征量。查詢輸入部110在受理了外部的圖像數(shù)據(jù)和特征量的種類的輸入的情況下，從圖像表300中取得具有與從該圖像提取出的該種類的特征量類似的特征量的圖像的圖像id、和具有該圖像id的圖像的該種類的特征量。查詢輸入部110得到查詢圖像的圖像id與查詢圖像的規(guī)定的特征量的組合作為輸入查詢。

查詢加強(qiáng)部111將在步驟s701中得到的輸入查詢追加到空的查詢集合(s702)。查詢加強(qiáng)部111對于查詢集合中包含的各查詢，執(zhí)行從步驟s704到步驟s706的處理(s703)。查詢加強(qiáng)部111以查詢圖像為傳播源及傳播目的地，從傳播信息表310中取得具有與該種類的特征量對應(yīng)的屬性id的傳播信息(s704)。

查詢加強(qiáng)部111判定在所取得的傳播信息中是否包含傳播強(qiáng)度為閾值以上的傳播信息(s705)。如果有傳播強(qiáng)度為閾值以上的傳播信息(s705：是)，則執(zhí)行步驟s706，否則(s705：否)向步驟s707移動。查詢加強(qiáng)部111例如使用系統(tǒng)規(guī)定的值、或用戶作為檢索參數(shù)給出的值作為該閾值。另外，該閾值例如也可以是按每個屬性id而不同的值。

查詢加強(qiáng)部111向查詢集合追加以傳播強(qiáng)度是閾值以上的圖像為查詢圖像的查詢(s706)。另外，在傳播信息表310中記錄有生成了傳播的時刻的情況下，查詢加強(qiáng)部111也可以將生成了傳播的時刻相對于當(dāng)前時刻在規(guī)定時間以內(nèi)的圖像從查詢集合中排除。

如果對查詢集合的全部查詢已執(zhí)行了步驟s704～步驟s706的處理，則向步驟s708移動，如果有尚未被執(zhí)行步驟s704～步驟s706的處理的查詢，則向步驟s704返回，對該查詢進(jìn)行處理(s707)。

圖像檢索部112對查詢集合中包含的全部查詢執(zhí)行從步驟s709到步驟s710的處理(s708)。另外，圖像檢索部112例如也可以關(guān)于傳播強(qiáng)度為規(guī)定的閾值以上(該閾值是比步驟s705的閾值大的值)的查詢(類似性高的查詢)，僅對隨機(jī)選擇的規(guī)定數(shù)量的查詢進(jìn)行處理，而關(guān)于其余的查詢將步驟s708～步驟s709的處理跳過?；趥鞑?qiáng)度極高的兩個查詢各自得到的類似圖像檢索結(jié)果相互酷似的可能性較高。因而，圖像檢索部112例如關(guān)于傳播強(qiáng)度比閾值高的兩個查詢，僅對一方的查詢進(jìn)行檢索處理，由此能夠在抑制檢索包羅率下降的同時縮短檢索時間。

圖像檢索部112使用該查詢進(jìn)行圖像檢索，從圖像數(shù)據(jù)庫108取得類似圖像。圖像檢索部112例如作為檢索結(jié)果而得到類似圖像id、和該查詢圖像的特征量與類似圖像的特征量間的類似度的組合(s709)。

圖像檢索部112對在步驟s709中得到的類似圖像賦予對應(yīng)于輸入查詢與相應(yīng)查詢間的傳播強(qiáng)度的權(quán)重，追加到檢索結(jié)果的集合(s710)。圖像檢索部112例如也可以按照用戶指定的檢索參數(shù)，切換是否執(zhí)行步驟s710的處理。

如果對于查詢集合中包含的全部的查詢已執(zhí)行步驟s709～步驟s710的處理，則向步驟s712移動，如果有尚未被執(zhí)行步驟s709～步驟s710的處理的查詢，則回到步驟s709，對該查詢進(jìn)行處理(s711)。

圖像檢索部112將檢索結(jié)果按類似度(在對類似度賦予了權(quán)重的情況下，按賦予權(quán)重后的類似度)從高到低的順序重新排列，顯示到顯示裝置103上并結(jié)束處理(s712)。此時，圖像檢索部112在得到了包含相同圖像id的圖像在內(nèi)的多個檢索結(jié)果的情況下，例如也可以按類似度從高到低的順序僅將規(guī)定個數(shù)的檢索結(jié)果留下而匯總。

圖8是表示用來使用本實(shí)施例的圖像檢索裝置104進(jìn)行圖像檢索的操作畫面的結(jié)構(gòu)例的圖。操作畫面例如在顯示裝置103上被提示給用戶。用戶例如使用輸入裝置102將顯示在畫面上的光標(biāo)800進(jìn)行操作，從而向圖像檢索裝置104給出處理的指示。

操作畫面例如包括查詢圖像顯示區(qū)域801、詳細(xì)選項(xiàng)顯示按鈕802、追加查詢顯示區(qū)域803、傳播信息顯示區(qū)域804、檢索按鈕805及檢索結(jié)果顯示區(qū)域806。在查詢圖像顯示區(qū)域801中顯示的信息例如由查詢輸入部110向顯示裝置103輸出。在追加查詢顯示區(qū)域803及傳播信息顯示區(qū)域804中顯示的信息例如由查詢加強(qiáng)部111向顯示裝置103輸出。在檢索結(jié)果顯示區(qū)域806中顯示的信息例如由圖像檢索部112向顯示裝置103輸出。

首先，用戶指定作為檢索的線索的圖像。操作畫面例如可以顯示用于登記圖像選擇的對話，也可以包含輸入外部的圖像的接口。用戶指定的圖像顯示在查詢圖像顯示區(qū)域801中。

查詢加強(qiáng)部111使用用戶指定的查詢圖像的傳播信息生成追加查詢。追加查詢顯示區(qū)域803例如顯示所生成的追加查詢的信息，例如追加查詢的查詢圖像、特征量等。通過由追加查詢顯示區(qū)域803顯示追加查詢的信息，用戶能夠判斷追加查詢是否適當(dāng)。另外，例如在用戶對詳細(xì)選項(xiàng)顯示按鈕802進(jìn)行了勾選的情況下，追加查詢顯示區(qū)域803也可以顯示追加查詢的信息。

傳播信息顯示區(qū)域804例如顯示查詢圖像是傳播源或傳播目的地的傳播信息。通過由傳播信息顯示區(qū)域804顯示傳播信息，能夠直觀地向用戶傳達(dá)以怎樣的緣由得到了追加查詢。操作畫面也可以構(gòu)成為，在用戶判斷為顯示在追加查詢顯示區(qū)域803中的追加查詢作為追加查詢并不適當(dāng)?shù)那闆r下，例如用戶對追加查詢顯示區(qū)域803及傳播信息顯示區(qū)域804進(jìn)行操作而能夠?qū)⒉樵兣懦?/p>

如果用戶點(diǎn)擊檢索按鈕805，則圖像檢索部112對圖像數(shù)據(jù)庫108進(jìn)行使用輸入查詢及檢索查詢的類似圖像檢索。將檢索結(jié)果例如按類似度順序重新排列，將具有相同圖像id的檢索結(jié)果匯總，顯示到檢索結(jié)果顯示區(qū)域806中。

圖9是說明本實(shí)施例的圖像檢索系統(tǒng)100的處理的一例的順序圖。圖9具體表示上述圖像檢索系統(tǒng)100的圖像登記及圖像檢索處理中的用戶900、圖像存儲裝置101、計算機(jī)901及圖像數(shù)據(jù)庫108間的處理次序。另外，計算機(jī)901是實(shí)現(xiàn)圖像檢索裝置104的計算機(jī)。用戶900例如經(jīng)由輸入裝置102進(jìn)行對于計算機(jī)901的請求及指示的發(fā)送、以及數(shù)據(jù)的輸入等，經(jīng)由顯示裝置103接受來自計算機(jī)901的處理結(jié)果等的提示。

在圖9中，s910表示登記處理，s920表示檢索處理。登記處理s910包括在步驟s911～步驟s916中表示的處理。如果用戶900發(fā)出登記開始請求(s911)，則計算機(jī)901向圖像存儲裝置101發(fā)出圖像數(shù)據(jù)取得請求(s912)，從圖像存儲裝置101取得圖像數(shù)據(jù)(s913)。

以下所述的步驟s914～步驟s916的處理相當(dāng)于在圖5中說明的一系列的登記處理。計算機(jī)901從所取得的圖像中提取特征量，將特征量和圖像數(shù)據(jù)向圖像數(shù)據(jù)庫108登記(s914)。接著，計算機(jī)901將所取得的圖像的特征量與已登記在圖像數(shù)據(jù)庫108中的圖像的相同種類的特征量進(jìn)行比較，將傳播強(qiáng)度高的特征量彼此的鏈接及該鏈接的傳播強(qiáng)度作為傳播信息向圖像數(shù)據(jù)庫108記錄(s915)。如果登記處理結(jié)束，則計算機(jī)901對用戶900進(jìn)行登記完成的通知(s916)。

檢索處理s920包括在步驟s921～步驟s928中表示的處理，相當(dāng)于在圖7中說明的一系列的檢索處理。如果用戶900對計算機(jī)901發(fā)出檢索請求(s921)，則計算機(jī)901從圖像數(shù)據(jù)庫108讀出查詢圖像的數(shù)據(jù)(s922)。此外，在檢索請求中從外部提供了圖像的情況下，計算機(jī)901提取該圖像的特征量，例如從圖像數(shù)據(jù)庫108中選擇該特征量的類似度高的圖像，將所選擇的圖像作為查詢圖像。

接著，計算機(jī)901使用傳播信息搜索圖像數(shù)據(jù)庫108，將通過搜索而得到的圖像追加到查詢集合(s923)。將追加后的查詢向用戶900提示(s924)，用戶900根據(jù)需要將查詢訂正，向計算機(jī)901發(fā)送檢索執(zhí)行請求(s925)。計算機(jī)901使用查詢集合的各圖像特征量執(zhí)行類似圖像檢索(s926)。計算機(jī)901將得到的檢索結(jié)果按類似度順序重新排列，關(guān)于具有相同圖像id的檢索結(jié)果進(jìn)行匯總(s927)，將檢索結(jié)果向用戶900提示(s928)。

本實(shí)施例的圖像檢索裝置104將輸入的圖像的1個種類以上的特征量與已登記的圖像的特征量進(jìn)行比較，生成表示類似性高的圖像間的鏈接的傳播信息，向圖像數(shù)據(jù)庫108記錄。圖像檢索裝置104使用通過基于傳播信息將輸入查詢進(jìn)行加強(qiáng)而得到的檢索查詢進(jìn)行類似圖像檢索，從而能夠在確保檢索精度的同時提高檢索的包羅率。

實(shí)施例2

實(shí)施例1的圖像檢索裝置104在圖像的登記時生成傳播信息，而本實(shí)施例的圖像檢索裝置104能夠在圖像的登記后更新傳播信息，或賦予對新的屬性的傳播信息。

圖10是表示本實(shí)施例的圖像檢索系統(tǒng)的結(jié)構(gòu)例的框圖。圖像檢索系統(tǒng)100利用圖像檢索進(jìn)行屬性的賦予及傳播信息的更新。本實(shí)施例的圖像檢索系統(tǒng)100除了實(shí)施例1的圖像檢索系統(tǒng)100的結(jié)構(gòu)以外還包括傳播信息更新部1001。傳播信息更新部1001例如對在圖像檢索部112的檢索處理中得到的檢索結(jié)果中包含的圖像賦予屬性及傳播信息。傳播信息更新部1001對于查詢圖像與由圖像檢索部112得到的檢索結(jié)果的圖像之間，例如按照用戶的指示賦予傳播信息。

圖11是用來利用傳播信息的追加功能進(jìn)行對圖像的注釋的畫面結(jié)構(gòu)例。注釋是對圖像賦予說明圖像的詞語或語句等的標(biāo)簽的作業(yè)，為了基于標(biāo)簽對圖像進(jìn)行分類或檢索、及對數(shù)據(jù)庫進(jìn)行解析等而進(jìn)行。此外，如果能得到充分的數(shù)量的圖像和標(biāo)簽的組，則能夠通過利用機(jī)械學(xué)習(xí)而制作出識別未知的圖像的圖像識別器。圖11的注釋支持畫面是在僅通過圖像的類似性的自動判定不能期待正確的標(biāo)簽賦予的情況下、用來通過人的判斷來傳播標(biāo)簽的畫面。

注釋畫面包括標(biāo)簽輸入?yún)^(qū)域1101、檢索按鈕1102、參照圖像顯示區(qū)域1103、傳播信息顯示區(qū)域1104、標(biāo)簽賦予候選顯示區(qū)域1105及標(biāo)簽賦予按鈕1106。在參照圖像顯示區(qū)域1103及傳播信息顯示區(qū)域1104中顯示的信息例如由查詢加強(qiáng)部111向顯示裝置103輸出。在標(biāo)簽賦予候選顯示區(qū)域1105中顯示的信息例如由圖像檢索部112向顯示裝置103輸出。

如果用戶向標(biāo)簽輸入?yún)^(qū)域1101輸入標(biāo)簽并點(diǎn)擊檢索按鈕1102，則查詢加強(qiáng)部111取得具有輸入標(biāo)簽的圖像作為參照圖像。參照圖像顯示區(qū)域1103顯示參照圖像。接著，圖像檢索部112進(jìn)行以各參照圖像為查詢的、基于輸入標(biāo)簽以外的規(guī)定的特征量的類似圖像檢索，從圖像數(shù)據(jù)庫108取得沒有被賦予輸入標(biāo)簽的類似圖像。

圖像檢索部112將包括類似圖像與類似度的組合的檢索結(jié)果例如按類似度順序重新排列。檢索結(jié)果由于類似于已賦予標(biāo)簽的圖像，所以可以認(rèn)為是應(yīng)賦予相同標(biāo)簽的候選圖像。標(biāo)簽賦予候選顯示區(qū)域1105顯示該檢索結(jié)果。此外，例如查詢加強(qiáng)部111也可以參照傳播信息表310而在參照圖像與候選圖像之間取得傳播信息。傳播信息顯示區(qū)域1104顯示查詢加強(qiáng)部111取得的傳播信息。

通過由傳播信息顯示區(qū)域1104使傳播信息可視化，例如用戶容易發(fā)現(xiàn)作為錯誤的候選提示的原因的參照圖像。在圖11的例子中，候選圖像c、g及h在與參照圖像4之間有傳播關(guān)系，有可能參照圖像4自身被賦予了錯誤的標(biāo)簽。注釋畫面也可以將這樣的圖像強(qiáng)調(diào)顯示。

用戶檢查顯示在標(biāo)簽賦予候選顯示區(qū)域1105中的圖像，選擇應(yīng)賦予輸入標(biāo)簽的圖像。選擇操作既可以通過鼠標(biāo)的拖拽操作進(jìn)行，也可以通過復(fù)選框的點(diǎn)擊來進(jìn)行。接著，用戶點(diǎn)擊標(biāo)簽賦予按鈕1106，對所選擇的圖像賦予標(biāo)簽。圖像檢索裝置104對所選擇的圖像寫入輸入標(biāo)簽作為屬性的特征量，在與參照圖像之間追加傳播信息。

圖12是表示注釋的處理的一例的流程圖。以下，對圖12的各步驟進(jìn)行說明。查詢輸入部110取得用戶輸入的標(biāo)簽(s1201)。

查詢加強(qiáng)部111從圖像數(shù)據(jù)庫108取得規(guī)定數(shù)量的被賦予了輸入標(biāo)簽的圖像，將由所取得的圖像的圖像id和該輸入標(biāo)簽以外的規(guī)定種類的特征量的組合構(gòu)成的該規(guī)定數(shù)量的查詢作為查詢集合(s1202)。此時，查詢加強(qiáng)部111也可以使用傳播信息來選擇包含到查詢集合中的查詢圖像。例如，有傳播信息的特征量間的類似度高，所以帶標(biāo)簽的具有該特征量的圖像作為參照圖像而言是冗余的可能性較高。所以，查詢加強(qiáng)部111例如關(guān)于在傳播信息的圖表構(gòu)造上相鄰的圖像，例如僅選擇該圖像的一方作為查詢圖像。由此，查詢加強(qiáng)部111能夠得到具有相同標(biāo)簽的富于變化的參照圖像。

圖像檢索部112使用在步驟s1202中得到的參照圖像的規(guī)定種類的特征量，執(zhí)行類似圖像檢索(s1203)。圖像檢索部112例如按類似度從高到低的順序?qū)z索結(jié)果重新排列，將具有相同的圖像id的檢索結(jié)果進(jìn)行匯總。此外，圖像檢索部112也可以將相互類似的檢索結(jié)果進(jìn)行匯總并輸出，由此，圖像檢索部112能夠在確保檢索結(jié)果的變化的同時，減少要顯示的檢索結(jié)果的數(shù)量。

圖像檢索部112將檢索結(jié)果中包含的圖像作為標(biāo)簽賦予的候選圖像，向顯示裝置103顯示(s1204)。用戶從候選圖像中選擇標(biāo)簽賦予對象的圖像，向系統(tǒng)傳遞。此時，當(dāng)選擇了候選圖像時，顯示裝置103也可以將作為傳播源或傳播目的地的參照圖像進(jìn)行強(qiáng)調(diào)顯示等，此時用戶容易確認(rèn)傳播信息。此外，在用實(shí)施例1的方法自動構(gòu)建的傳播信息與用戶指定的傳播信息不一致的情況下，圖像檢索裝置104也可以發(fā)出警報。

傳播信息更新部1001對用戶選擇的圖像賦予標(biāo)簽(s1205)。此外，傳播信息更新部1001在對各個參照圖像賦予的標(biāo)簽與新賦予的標(biāo)簽之間追加傳播信息。即，傳播信息更新部1001例如在傳播信息表310的屬性id字段312中保存表示輸入標(biāo)簽的id，在傳播源字段313中保存查詢圖像的圖像id，在傳播目的地字段314中保存該選擇的圖像，在傳播強(qiáng)度中保存用戶指定的值(例如1.0)。

本實(shí)施例的圖像檢索裝置104可以在圖像登記后將傳播信息更新。特別是，本實(shí)施例的圖像檢索裝置104能夠高精度且包羅性地檢索注釋作業(yè)中的標(biāo)簽賦予候選圖像。

另外，本發(fā)明并不限定于上述實(shí)施例，包括各種各樣的變形例。例如，上述實(shí)施例是為了將本發(fā)明容易理解地說明而詳細(xì)說明的，并不一定限定于具備所說明的全部結(jié)構(gòu)的構(gòu)成。此外，也可以將某實(shí)施例的結(jié)構(gòu)的一部分替換為其他實(shí)施例的結(jié)構(gòu)，此外，也可以對某實(shí)施例的結(jié)構(gòu)添加其他實(shí)施例的結(jié)構(gòu)。此外，關(guān)于各實(shí)施例的結(jié)構(gòu)的一部分，能夠進(jìn)行其他結(jié)構(gòu)的追加、刪除、置換。

此外，上述各結(jié)構(gòu)、功能、處理部、處理機(jī)構(gòu)等也可以通過將它們的一部分或全部例如用集成電路設(shè)計等而由硬件實(shí)現(xiàn)。此外，上述各結(jié)構(gòu)、功能等也可以由處理器對實(shí)現(xiàn)各自的功能的程序進(jìn)行解釋并執(zhí)行而由軟件來實(shí)現(xiàn)。實(shí)現(xiàn)各功能的程序、表、文件等的信息可以置于存儲器或硬盤、ssd(solidstatedrive)等記錄裝置、或者ic卡、sd卡、dvd等記錄介質(zhì)中。

此外，關(guān)于控制線及信息線示出了認(rèn)為在說明上需要的部分，并不一定在產(chǎn)品上示出了全部的控制線及信息線。實(shí)際上可以認(rèn)為幾乎全部的結(jié)構(gòu)被相互連接。