專利名稱：圖像檢索裝置及圖像檢索程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于從存儲(chǔ)有圖像的圖像數(shù)據(jù)庫檢索出所希望的圖像的圖像檢索技術(shù)。
背景技術(shù)：
首先，作為檢索圖像方法，對(duì)以下兩種公知的方法進(jìn)行說明。
第1種方法為人們預(yù)先對(duì)圖像賦予反映其內(nèi)容的關(guān)鍵字，在進(jìn)行檢索時(shí)，從圖像數(shù)據(jù)庫中將被賦予了與用戶所輸入的關(guān)鍵字相同的關(guān)鍵字的圖像提取出來進(jìn)行提示。
在該方法中，存在有對(duì)每個(gè)圖像賦予恰當(dāng)?shù)年P(guān)鍵字的操作很麻煩的問題。另外，在用戶和賦予關(guān)鍵字的人為不同的人的情況下，即使在概念上為相同的，但也會(huì)有參照關(guān)鍵字和在圖像數(shù)據(jù)庫中所使用的關(guān)鍵字不一致的情況，因而還存在著發(fā)生檢索遺漏的問題。
第2種方法為信息處理裝置利用將圖像所具有的色彩及形狀、紋理等圖像的物理特征進(jìn)行定量化的屬性值自動(dòng)地進(jìn)行檢索，將參照?qǐng)D像和各屬性值進(jìn)行比較，從圖像數(shù)據(jù)庫中將相似性高的圖像作為檢索結(jié)果提取出來進(jìn)行提示。
在該方法中，由于根據(jù)規(guī)定的算法抽出的屬性值不一定與人們具有相同感覺的圖像的屬性值相同，所以還有多種情況是，被檢索出的圖像與參照?qǐng)D像的相似度往往比人們所感覺的相似度低，因此被指出了其檢索精度低的問題。
作為避免上述問題的技術(shù)，提出了對(duì)于被賦予了數(shù)據(jù)庫中的同樣的關(guān)鍵字的圖像的集合，求出其特征量向量和重要度，將關(guān)鍵字轉(zhuǎn)換為屬性值，以該屬性值為基準(zhǔn)進(jìn)行圖像檢索的方法(特開2002-140332號(hào)公報(bào))。
但是，在該檢索方法中，由于按以往那樣必須由用戶對(duì)圖像賦予關(guān)鍵字，因而在賦予關(guān)鍵字的操作上需要花費(fèi)很大勞動(dòng)。另外，由于被賦予了同樣關(guān)鍵字的圖像的特征量向量的分布，在特征空間上不能得到充分的定域化的保證，因而不能保證精確的相似圖像的檢索。
另外，作為其它的技術(shù)，提出有如下的技術(shù)。即利用所賦予的關(guān)鍵子進(jìn)行檢索，使用檢索結(jié)果的圖像的屬性值進(jìn)行相似檢索(特開平10-289240號(hào)公報(bào))。
但是，由于該檢索方法也采用關(guān)鍵字，因而將關(guān)鍵字賦予給圖像就成為很大的負(fù)擔(dān)。并且，即使具有同樣關(guān)鍵字的圖像，也有圖像的屬性值有很大差異的情況，因而即使根據(jù)屬性值來檢索相似圖像，也未必可以解決檢索精確度低的問題。

發(fā)明內(nèi)容
為了解決上述的問題，本發(fā)明之1的圖像檢索裝置，具有輸入圖像的圖像輸入單元；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得單元；將所述圖像和該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)單元；將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的第1檢索單元；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示單元；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇單元；對(duì)所述圖像存儲(chǔ)單元所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的符號(hào)的數(shù)據(jù)區(qū)域的類別，對(duì)所述被選擇的至少一個(gè)的每個(gè)第2圖像賦予表示與該類別相似的符號(hào)的符號(hào)賦予單元；對(duì)應(yīng)所述類別，賦予表示相似的可靠度的數(shù)值的數(shù)值分配單元。
本發(fā)明之2的圖像檢索裝置，具有輸入圖像的圖像輸入單元；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得單元；將所述圖像與該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)單元；將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索出與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的第1檢索單元；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示單元；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇單元；對(duì)所述圖像存儲(chǔ)單元所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的數(shù)值的數(shù)據(jù)區(qū)域的類別，對(duì)應(yīng)所述類別，將表示和所述第1參照?qǐng)D像相似的可靠度的數(shù)值賦予所述被選擇的至少一個(gè)的每個(gè)第2圖像的數(shù)值分配單元。
本發(fā)明之1的圖像檢索程序，具有輸入圖像的圖像輸入步驟；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得步驟；將所述圖像和該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)步驟；將從在所述圖像輸入步驟所輸入的多個(gè)圖像或在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的檢索步驟；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示步驟；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇步驟；對(duì)在所述圖像存儲(chǔ)步驟所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的符號(hào)的數(shù)據(jù)區(qū)域的類別，對(duì)所述被選擇的至少一個(gè)的每個(gè)第2圖像賦予表示與該類別相似的符號(hào)的符號(hào)賦予步驟；對(duì)應(yīng)所述類別，賦予表示相似的可靠度的數(shù)值的數(shù)值分配步驟。
本發(fā)明之2的圖像檢索程序，具有輸入圖像的圖像輸入步驟；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得步驟；將所述圖像與該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)步驟；將從在所述圖像輸入步驟所輸入的多個(gè)圖像或在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的檢索步驟；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示步驟；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇步驟；對(duì)在所述圖像存儲(chǔ)步驟所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的數(shù)值的數(shù)據(jù)區(qū)域的類別，對(duì)應(yīng)所述類別，將表示和所述第1參照?qǐng)D像相似的可靠度的數(shù)值賦予所述被選擇的至少一個(gè)的每個(gè)第2圖像的數(shù)值分配步驟。


圖1為表示應(yīng)用本發(fā)明的圖像檢索方法的圖像檢索裝置的結(jié)構(gòu)的方框圖。
圖2為表示登錄原圖像時(shí)的圖像檢索裝置的各功能的關(guān)聯(lián)的圖。
圖3為表示登錄原圖像時(shí)的概略的處理順序的流程圖。
圖4為表示索引數(shù)據(jù)的結(jié)構(gòu)的圖。
圖5為表示對(duì)原圖像賦予符號(hào)時(shí)的圖像檢索裝置的各功能的關(guān)聯(lián)的圖。
圖6為表示將符號(hào)賦予原圖像時(shí)的概略的處理順序的流程圖。
圖7為表示符號(hào)區(qū)域的結(jié)構(gòu)的圖。
圖8為表示第1實(shí)施例的圖像檢索裝置的圖像檢索方法的各功能的關(guān)聯(lián)的圖。
圖9為表示圖像檢索方法的概略的處理順序的流程圖。
圖10為加法運(yùn)算方法的說明圖。
圖11為表示第2實(shí)施例的圖像檢索裝置的圖像檢索方法的各功能的關(guān)聯(lián)的圖。
圖12為表示圖像檢索方法的概略的處理順序的流程圖。
圖13為表示第3實(shí)施例的圖像檢索裝置的圖像檢索方法的各功能的關(guān)聯(lián)的圖。
圖14為表示圖像檢索方法的各功能的關(guān)聯(lián)的圖。
圖15為表示分組的順序圖。
具體實(shí)施例方式
圖1為表示本發(fā)明的第1實(shí)施例的圖像檢索裝置的結(jié)構(gòu)的方框圖。以下將成為檢索對(duì)象的圖像稱為「原圖像」。
圖像檢索裝置1由圖像處理部4、屬性處理部5、符號(hào)處理部6、分組分析部7、圖像DB8及緩沖存儲(chǔ)器9構(gòu)成。
圖像處理部4用于處理圖像數(shù)據(jù)；屬性處理部5用于處理圖像的屬性數(shù)據(jù)；符號(hào)處理部6用于處理表示圖像是否屬于該類別的符號(hào)；分組分析部7用于進(jìn)行圖像的分組分析；圖像DB8是原圖像的存儲(chǔ)區(qū)域。緩沖存儲(chǔ)器9為其他的數(shù)據(jù)存儲(chǔ)區(qū)域。
在圖像處理部4中，設(shè)置有圖像輸入部11、索引圖像作成部12、圖像顯示部13及圖像選擇部14。
圖像輸入部11從圖像輸入裝置(未圖示)中將原圖像輸入到圖像檢索裝置1中。索引圖像作成部12作成圖像DB8所存儲(chǔ)的原圖像的縮小圖像的索引圖像。圖像顯示部13將索引圖像及原圖像顯示到顯示裝置(未圖示)。圖像選擇部14輔助用戶的圖像選擇操作。
在屬性處理部5中，設(shè)置有屬性處理部18、屬性分析部19及相似度計(jì)算部20。
屬性處理部18求得原圖像的屬性值。屬性分析部19從屬屬性處理部18，從原圖像中提取出各種屬性值。相似度計(jì)算部20根據(jù)屬性值來計(jì)算判斷圖像彼此之間是否相似的指數(shù)。
在符號(hào)處理部6中，設(shè)置有符號(hào)賦予部23、符號(hào)加法運(yùn)算部24、符號(hào)檢索部25及加權(quán)處理部26。
符號(hào)賦予部23以圖像顯示部13所顯示的索引圖像為基準(zhǔn)，對(duì)于在圖像選擇部所選擇的所有原圖像，作為與參照?qǐng)D像相似的圖像賦予相同的符號(hào)。在原圖像與參照?qǐng)D像相似的情況下，對(duì)于被賦予給各原圖像的符號(hào)區(qū)域的特定的位數(shù)，作為從屬相似參照?qǐng)D像的類別，例如將「1」賦予該參照?qǐng)D像。另外，在原圖像與該參照?qǐng)D像不相似的情況下，例如對(duì)上述符號(hào)區(qū)域的相同類別的位數(shù)賦予「0」。符號(hào)加法運(yùn)算部24對(duì)于多個(gè)原圖像進(jìn)行符號(hào)的加法運(yùn)算。符號(hào)檢索部25檢索規(guī)定的符號(hào)為「1」的原圖像。加權(quán)處理部26設(shè)定符號(hào)的加法運(yùn)算所使用的加權(quán)系數(shù)，并進(jìn)行附加加權(quán)的乘法運(yùn)算。
在分組分析部7中，設(shè)置有分組處理部41、分組判斷部42及參數(shù)檢索部43。
分組處理部41根據(jù)屬性值將圖像分類為組。分組判斷部42判斷是否存在定域化的分組。參數(shù)檢索部43檢索具有規(guī)定的屬性的圖像。
在圖像DB8中，設(shè)置有原圖像區(qū)域28、索引圖像區(qū)域29及索引數(shù)據(jù)區(qū)域30。
在原圖像區(qū)域28中儲(chǔ)存有成為檢索對(duì)象的原圖像。在索引圖像區(qū)域29中儲(chǔ)存有將原圖像縮小的索引圖像。在索引數(shù)據(jù)區(qū)域30中儲(chǔ)存有用于訪問原圖像、索引圖像的地址和原圖像的屬性值等的信息。
在緩沖存儲(chǔ)器9內(nèi)，具有在圖像檢索時(shí)做為基準(zhǔn)的圖像的參照?qǐng)D像進(jìn)行儲(chǔ)存的參照?qǐng)D像存儲(chǔ)器33及將在檢索的中間階段中所選擇的原圖像的儲(chǔ)存地址等進(jìn)行儲(chǔ)存的備用索引存儲(chǔ)器34。
下面，對(duì)本圖像檢索裝置1的動(dòng)作進(jìn)行說明。
用戶作為在準(zhǔn)備階段的操作，對(duì)圖像檢索裝置1進(jìn)行原圖像的登錄。
圖2為表示在登錄原圖像時(shí)的圖像檢索裝置的各功能的關(guān)聯(lián)的圖，圖3為表示在登錄原圖像時(shí)的概略的處理順序的流程圖。
在步驟S1，圖像輸入部11從圖像輸入裝置(未圖示)中讀取原圖像。然后，圖像輸入部11在將所讀取的原圖像儲(chǔ)存到DB8的原圖像區(qū)域28內(nèi)的同時(shí)，起動(dòng)屬性處理部18。
在步驟S2，屬性處理部18將控制變量P設(shè)定為初始值1，起動(dòng)第P個(gè)屬性分析部19。
在步驟S3，第P個(gè)屬性分析部19對(duì)所讀取的原圖像求得第P個(gè)屬性值。在這里，所謂原圖像的屬性值，是指將原圖像所表示的色彩、形狀、紋理等的圖像的物理屬性進(jìn)行數(shù)值化的值。因此，在這里所說的屬性值，是對(duì)色彩、形狀等的物理結(jié)構(gòu)要素進(jìn)行定量化所表現(xiàn)的量，不是基于人的主觀感覺的要素的值。
在步驟S4，屬性處理部18將第P個(gè)屬性分析部19所求得的屬性值P儲(chǔ)存到索引數(shù)據(jù)區(qū)域30所存儲(chǔ)的索引數(shù)據(jù)37的屬性值區(qū)域內(nèi)。
圖4為表示索引數(shù)據(jù)37的結(jié)構(gòu)的圖。
在索引數(shù)據(jù)37中，設(shè)置有圖像ID37a、原圖像地址37b、索引圖像地址37c、屬性值區(qū)域37d及符號(hào)區(qū)域37e。
圖像ID37a用于特定原圖像；原圖像地址37b用于表示儲(chǔ)存了原圖像的原圖像區(qū)域28內(nèi)的地址；索引圖像地址37c用于表示存儲(chǔ)了為原圖像的縮小圖像的索引圖像的索引圖像區(qū)域29內(nèi)的地址；屬性值區(qū)域37d用于存儲(chǔ)了多個(gè)原圖像的屬性值；符號(hào)區(qū)域37e用于將與被賦予原圖像的類別相對(duì)應(yīng)的符號(hào)和所有的符號(hào)數(shù)進(jìn)行儲(chǔ)存。
在這里所說的「類別」，是指用于識(shí)別和要求者在視覺上判斷為與所提示的參照?qǐng)D像相同的圖像的符號(hào)，對(duì)應(yīng)在后面所述的每個(gè)參照?qǐng)D像而確定。所謂原圖像屬于第J個(gè)類別，是指要求者在視覺上判斷為所提示的第J個(gè)參照?qǐng)D像與該原圖像相似，符號(hào)區(qū)域37e的「符號(hào)J」成為1。
在步驟S5，調(diào)查是否求得了規(guī)定數(shù)N的所有屬性值。在步驟S5未否定的情況下，即在還沒有求得規(guī)定數(shù)N的屬性值的情況下，在步驟S6，對(duì)控制變量P進(jìn)行加1計(jì)數(shù)，然后重復(fù)步驟S3～S4的處理。
在步驟S5為肯定的情況下，即，在求得了規(guī)定數(shù)N的屬性值的情況下，索引圖像作成部12根據(jù)原圖像制作成為原圖像的縮小圖像的索引圖像，在步驟S7，在存儲(chǔ)到索引圖像區(qū)域29內(nèi)的同時(shí)，更新索引數(shù)據(jù)37的索引圖像地址37c。
在步驟S8，調(diào)查是否完成了所有的原圖像的登錄。當(dāng)在步驟S8為否定的情況下，即，在還剩有應(yīng)登錄的圖像的情況下，重復(fù)步驟S1～S7的處理。
當(dāng)在步驟S8為肯定的情況下，即，在完成了所有的原圖像的登錄的情況下，結(jié)束圖像的登錄處理。另外，原圖像的登錄沒有必要一次完成，根據(jù)需要可反復(fù)進(jìn)行。
接下來，用戶對(duì)登錄到圖像檢索裝置1的每個(gè)原圖像賦予符號(hào)。在這里，在本發(fā)明中所說的「符號(hào)」，具有和以往的關(guān)鍵字相似的概念，但比關(guān)鍵字具有更廣泛的上位概念。即、關(guān)鍵字根據(jù)「語言」來表示圖像的特征，對(duì)此，「符號(hào)」并不限定通過語言來進(jìn)行概念化，而是根據(jù)圖像的視覺上的相似性來進(jìn)行組化的。被判斷為相似的圖像表現(xiàn)為屬于同樣的類別，將1儲(chǔ)存到符號(hào)區(qū)域37e的相同的位數(shù)上。除去符號(hào)區(qū)域37e的符號(hào)數(shù)的各位數(shù)表示各個(gè)類別。
圖5為表示將符號(hào)賦予原圖像的情況下的圖像檢索裝置的各功能的關(guān)聯(lián)的圖，圖6為表示將符號(hào)賦予原圖像的情況下的概略的處理順序的流程圖。
在步驟S10，戶準(zhǔn)備好成為把符號(hào)賦予原圖像時(shí)的基準(zhǔn)的參照?qǐng)D像。在這里，參照?qǐng)D像為替代以往的關(guān)鍵字的圖像，在以下的處理中，將表示與參照?qǐng)D像是否相似的符號(hào)賦予原圖像。
在步驟S11，圖像輸入部11從圖像輸入裝置(未圖示)讀取參照?qǐng)D像。然后，圖像輸入部11將所讀取的參照?qǐng)D像儲(chǔ)存到緩沖存儲(chǔ)器9的參照?qǐng)D像存儲(chǔ)器33內(nèi)。另外，參照?qǐng)D像也可以不從圖像輸入裝置(未圖示)讀取，而從圖像DB8的原圖像區(qū)域28所儲(chǔ)存的原圖像中進(jìn)行選擇。
在步驟S12，相似度計(jì)算部20從參照?qǐng)D像存儲(chǔ)器33中取出參照?qǐng)D像，并對(duì)該參照?qǐng)D像計(jì)算上述的屬性值。即、根據(jù)上述的步驟S3、S4的順序，得到在屬性分析部19所處理的多個(gè)屬性值。
在步驟S13，相似度計(jì)算部20根據(jù)索引數(shù)據(jù)區(qū)域30所儲(chǔ)存的索引數(shù)據(jù)37，計(jì)算出相似度，并特定與參照?qǐng)D像相似的原圖像。相似的判斷，是通過比較參照?qǐng)D像和原圖像的多個(gè)屬性值1～M來進(jìn)行的。例如，將屬性值1～M設(shè)定為參數(shù)的函數(shù)，如果參照?qǐng)D像的函數(shù)值和原圖像的函數(shù)值接近的話，就可以判斷該原圖像與參照?qǐng)D像相似。然后，按照該相似度的大小順序，對(duì)原圖像進(jìn)行排序。
在步驟S14，圖像顯示部13從索引圖像區(qū)域29中取出按相似度大小順序所特定的索引圖像，只將規(guī)定數(shù)顯示到顯示裝置上(未圖示)。然后，對(duì)用戶輸出進(jìn)行選擇的敦促指示。
在步驟S15，用戶看到所顯示的索引圖像，選擇多個(gè)(一個(gè)或0個(gè)均可)被判斷為與參照?qǐng)D像相似的原圖像。圖像選擇部14在輔助用戶的選擇操作的同時(shí)，取得關(guān)于被選擇的圖像的信息。
在步驟S16，符號(hào)賦予部23將符號(hào)賦予對(duì)被選擇的原圖像的索引數(shù)據(jù)37的符號(hào)區(qū)域37e。
圖7為表示符號(hào)區(qū)域37e的結(jié)構(gòu)的圖。符號(hào)賦予部23通過在被選擇的原圖像的符號(hào)區(qū)域37e中的「符號(hào)數(shù)」內(nèi)加1而得到M，同時(shí)在新設(shè)定的「符號(hào)M」的位置上記入數(shù)字「1」。另外，符號(hào)賦予部23通過在沒有被選擇的原圖像的符號(hào)區(qū)域37e的「符號(hào)數(shù)」內(nèi)加1而得到M，同時(shí)在新設(shè)定的「符號(hào)M」的位置記入數(shù)字「0」。
在步驟S17為肯定的情況下，即，在對(duì)一個(gè)種類的參照?qǐng)D像可以附加多個(gè)符號(hào)的情況下，進(jìn)行是否完成了符號(hào)賦予的判斷。
加權(quán)處理部26對(duì)于在「符號(hào)M」的位置上被記載了「1」的圖像，參照索引數(shù)據(jù)37中的屬性值區(qū)域37d。并定義將屬性值1～N作為要素的屬性值向量Xi(i＝1～K)。在這里，K表示在「符號(hào)M」的位置上被記載了「1」的圖像的數(shù)為K。
然后，在步驟S18，將屬性值向量Xi的各要素(屬性值)作為xij(j＝1～N)，對(duì)每個(gè)屬性值計(jì)算在公式(1)中所表示的分布σj。
σj=Σi=1K(xij-x‾j)2K]]>…公式(1)在這里K圖像數(shù)、 xij屬性值向量xi的要素N屬性值數(shù) xj第j個(gè)的屬性值的平均值在步驟S19，加權(quán)處理部26根據(jù)分布σj(j＝1～N)計(jì)算出加權(quán)系數(shù)，這時(shí)，在分布大的情況下，將加權(quán)系數(shù)定為小的值、在分布小的情況下、將加權(quán)系數(shù)定為大的值來進(jìn)行計(jì)算。
在分布大時(shí)，表示在「符號(hào)M」的位置上被記載了「1」的圖像的屬性值的不均衡性較大。因此，要考慮到波及到相似度的屬性值的影響、換言之，相似度的可靠性較低。為此，考慮到該位置的符號(hào)對(duì)相似度的有用程度相對(duì)較低，將加權(quán)系數(shù)定為相對(duì)小的值比較妥當(dāng)。
于此相反，在分布小時(shí)，表示在「符號(hào)M」的位置上被記載了「1」的圖像的屬性值的不均衡較小。因此，要考慮到波及到相似度的屬性值的影響、換言之，相似度的可靠性較高。為此，考慮該位置的符號(hào)對(duì)相似度的有用程度相對(duì)較高，將加權(quán)系數(shù)定為相對(duì)大的值比較妥當(dāng)。
另外，加權(quán)系數(shù)如果滿足上述關(guān)系的話，例如，也可以用分布的倒數(shù)來進(jìn)行定義，一般來講，也可以設(shè)定將分布σj(j＝1～N)定為參數(shù)的函數(shù)、根據(jù)該函數(shù)值來進(jìn)行定義。另外，即使不采用分布，也可以求得表示屬性值的不均衡的統(tǒng)計(jì)量，并根據(jù)該值計(jì)算出加權(quán)系數(shù)。例如，也可以采用最大值和最小值的差。
另外，在計(jì)算加權(quán)系數(shù)時(shí)，為了排除屬性值之間的個(gè)體差，最好在將各個(gè)屬性值歸一化后，再進(jìn)行上述的運(yùn)算。將所計(jì)算出的與類別M有關(guān)的加權(quán)系數(shù)存儲(chǔ)到索引數(shù)據(jù)區(qū)域內(nèi)。
在步驟S20，調(diào)查是否結(jié)束了符號(hào)賦予操作。例如，調(diào)查是否結(jié)束了對(duì)所有的參照?qǐng)D像的符號(hào)賦予處理。
當(dāng)在步驟S20為否定的情況下，即，在還剩有未處理的參照?qǐng)D像的情況下，重復(fù)步驟S12～S19的處理。當(dāng)在步驟S20為肯定的情況下，即，在結(jié)束了對(duì)所有的參照?qǐng)D像的符號(hào)賦予處理的情況下，結(jié)束本符號(hào)賦予處理。
另外，雖然在本實(shí)施方式中是采用符號(hào)「1」、「0」，但本發(fā)明并不限于該方式。符號(hào)也可以是英文字母、特殊符號(hào)，并不要求是具有特殊意義的符號(hào)。另外，由符號(hào)1～M所表示的是什么樣的被攝體或被攝體的性質(zhì)是不必要的信息。在這一點(diǎn)上，和必須在關(guān)鍵字自身包含特定的意思內(nèi)容的關(guān)鍵字方式有本質(zhì)上的不同。
另外，本實(shí)施方式的特征是，不僅根據(jù)屬性值來定量地判斷是否相似，并且還將人在視覺上所判斷的與參照?qǐng)D像相似的結(jié)果作為符號(hào)加以利用。一般來講，圖像是否相似，主要取決于主觀的因素。于是，通過構(gòu)成為不局限于根據(jù)將圖像數(shù)值化的物理數(shù)據(jù)的機(jī)械判斷，而同時(shí)參照人的視覺判斷，可以提供與使用檢索裝置1的用戶的主觀愿望相近的結(jié)果。
并且，在本實(shí)施方式中，在每次讀取參照?qǐng)D像、實(shí)施符號(hào)賦予處理時(shí)，在圖7中所示的「符號(hào)數(shù)」內(nèi)所記載的數(shù)字就被增加1，使賦予符號(hào)的數(shù)據(jù)區(qū)域，即類別增加。這就意味著其構(gòu)成為對(duì)圖像附加特征的符號(hào)信息隨著反復(fù)進(jìn)行和參照?qǐng)D像相似的圖像的選擇而增加。因此，可達(dá)到越是增加相似判斷的次數(shù)，檢索精確度就越好的效果。
另一方面，雖然本實(shí)施方式的特點(diǎn)為不使用關(guān)鍵字，但從步驟S10到S16可以應(yīng)用在以往的關(guān)鍵字檢索中的關(guān)鍵字賦予。通過將同樣的關(guān)鍵字賦予到從步驟S10到S15所選擇的圖像中，與對(duì)每個(gè)圖像分別賦予關(guān)鍵字的情況相比，可更簡(jiǎn)單地進(jìn)行關(guān)鍵字賦予。
下面，對(duì)圖像的檢索方法進(jìn)行說明。
圖8為表示第1實(shí)施例的圖像檢索裝置的圖像檢索方法的各功能的關(guān)聯(lián)的圖，圖9為表示該圖像檢索方法的概略的處理順序的流程圖。
在步驟S21，用戶準(zhǔn)備好與希望檢索的圖像相似的參照?qǐng)D像。圖像輸入部11從圖像輸入裝置(未圖示)中讀取參照?qǐng)D像。然后，圖像輸入部11在將所讀取的參照?qǐng)D像儲(chǔ)存到緩沖存儲(chǔ)器9的參照?qǐng)D像存儲(chǔ)器33內(nèi)。另外，參照?qǐng)D像也可以不從圖像輸入裝置(未圖示)中讀取，事先選擇參照?qǐng)D像存儲(chǔ)器33所儲(chǔ)存的參照?qǐng)D像，另外，也可以將在原圖像區(qū)域28所儲(chǔ)存的原圖像作為參照?qǐng)D像來進(jìn)行選擇。
在步驟S22，相似度計(jì)算部20從參照?qǐng)D像存儲(chǔ)器33中取出參照?qǐng)D像，并對(duì)該參照?qǐng)D像計(jì)算上述的屬性值。即、根據(jù)上述的步驟S3、S4的順序，得到在屬性分析部19所處理的多個(gè)屬性值。
在步驟S23，相似度計(jì)算部20根據(jù)在索引數(shù)據(jù)區(qū)域30所儲(chǔ)存的索引數(shù)據(jù)37，選擇與參照?qǐng)D像相似的原圖像。
相似的判斷，是根據(jù)將參照?qǐng)D像和原圖像分別作為多個(gè)屬性值1～N的函數(shù)所求得的相似度的大小來進(jìn)行的。例如，將屬性值1～N進(jìn)行歸納，將參照?qǐng)D像的屬性值向量設(shè)為V，把第h個(gè)原圖像的屬性值向量設(shè)為Uh，采用公式(2)來計(jì)算相似度Dh。
Dh＝(Uh-V)·(Uh-V)…公式(2)另外，運(yùn)算符“·”表示在公式(3)中所示的向量的積。
W·V＝W1×V1+W2×V2+…WN×VN …公式(3)公式(2)的Dh表示第h個(gè)原圖像的屬性向量和參照?qǐng)D像的屬性向量之間的歐幾里德距離的2次方，為相似性的指標(biāo)。即、距離越近(Dh小)，相似度就越大。
另外，對(duì)各屬性進(jìn)行加權(quán)來計(jì)算距離，通過將其作為屬性值，校正各屬性值的特性的差異(例如色彩和形狀)，可成為更妥當(dāng)?shù)南嗨菩缘闹笜?biāo)。
在該情況下，將在各屬性中表示加權(quán)的加權(quán)向量作為W，由公式(4)表示相似度Dh。
Dh＝(W*Uh-W*V)·(W*Uh-W*V)…公式(4)另外，“*”為將在公式(5)中所示的每?jī)蓚€(gè)向量的要素相乘的值作為要素的向量的運(yùn)算符。
W*V＝(W1×V1、W2×V2、…WN×VN) …公式(5)作為加權(quán)，可以通過進(jìn)行為了計(jì)算在步驟S18、S19中所示的加權(quán)系數(shù)的運(yùn)算處理來求得。例如，使用從多個(gè)樣品圖像中所求得的各屬性值樣品的分布的倒數(shù)等。
然后，相似度計(jì)算部20按照相似度高的順序?qū)⑺x擇的多個(gè)原圖像(以下稱為「一次選擇圖像」)的索引數(shù)據(jù)37進(jìn)行分類，作為備用索引數(shù)據(jù)，儲(chǔ)存到備用索引存儲(chǔ)器34內(nèi)。
在步驟S24，符號(hào)加法運(yùn)算部24在一次選擇圖像內(nèi)將一直到相似度高的上位的第K個(gè)圖像作為對(duì)象，從備用索引存儲(chǔ)器34中取出索引數(shù)據(jù)37，加上被賦予了符號(hào)區(qū)域37e的同樣符號(hào)的數(shù)據(jù)(在本實(shí)施例中為「1」或「0」)。然后，加權(quán)處理部26用加權(quán)系數(shù)乘以該加法運(yùn)算結(jié)果，計(jì)算出計(jì)數(shù)值。
圖10為加法運(yùn)算方法的說明圖。
圖10表示了與上位K個(gè)原圖像(Image 1～K)相對(duì)應(yīng)的符號(hào)區(qū)域37e的符號(hào)1～M。符號(hào)加法運(yùn)算部24將數(shù)據(jù)加到每個(gè)符號(hào)1～M。即、在每個(gè)符號(hào)1～M中求得與該符號(hào)所表示的類別相似的原圖像的個(gè)數(shù)。在圖10的下段表示了加法運(yùn)算的結(jié)果。
接下來，加權(quán)處理部26計(jì)算出用加權(quán)系數(shù)乘以該加法運(yùn)算結(jié)果的新的加法運(yùn)算值。在這里使用的加權(quán)系數(shù)為在步驟S18、S19中所求得的值，對(duì)每個(gè)符號(hào)1～M決定了值。在圖10的最下段表示了修正后的新的加法運(yùn)算值。
即、在符號(hào)1中，當(dāng)初的加法運(yùn)算值15通過乘以加權(quán)系數(shù)0.7變化為新的加法運(yùn)算值10.5。同樣，在符號(hào)2中，當(dāng)初的加法運(yùn)算值19通過乘以加權(quán)系數(shù)1.1變化為新的加法運(yùn)算值20.9。
在步驟S25，符號(hào)加法運(yùn)算部24根據(jù)新的加法運(yùn)算值選定直到上位第T個(gè)大的符號(hào)。如果T＝3的話，如圖10所示，符號(hào)2、符號(hào)4和符號(hào)M就被選定。
這表示被認(rèn)為與參照?qǐng)D像「很」相似的原圖像具備有很多由符號(hào)2、符號(hào)4和符號(hào)M所表示的視覺上的特征。即、判斷具有符號(hào)2、符號(hào)4和符號(hào)M所表示的視覺上的特征的原圖像與參照?qǐng)D像相似的可能性很大。
另外，在本實(shí)施方式中，是將符號(hào)和加權(quán)分開進(jìn)行處理，但作為符號(hào)也可以不為0，1、也可以將包含了加權(quán)的符號(hào)作為符號(hào)。在該情況下，將被附加了加權(quán)的符號(hào)儲(chǔ)存到符號(hào)區(qū)域37e內(nèi)，在檢索時(shí)，只要在加法運(yùn)算部24對(duì)每個(gè)符號(hào)進(jìn)行加上其值的處理，就可以完成加權(quán)附加處理，從而可以不需要加權(quán)處理部26。
在步驟S26，符號(hào)檢索部25根據(jù)索引數(shù)據(jù)33，檢索被選定的T個(gè)符號(hào)內(nèi)的至少S個(gè)以上的符號(hào)為「1」的原圖像。然后，將根據(jù)符號(hào)所檢索的圖像定為在上述原圖像中作為一次選擇圖像而沒有被選擇的圖像。即、在提取出根據(jù)屬性值所選擇的原圖像的基礎(chǔ)上，將根據(jù)符號(hào)所檢索的原圖像作為與參照?qǐng)D像相似的圖像來提取出。另外，將這樣根據(jù)符號(hào)來選擇圖像的方式稱為符號(hào)檢索方式。
在步驟S27，圖像顯示部13將一次選擇圖像和通過符號(hào)檢索方式所提取出的圖像的索引圖像作為檢索結(jié)果顯示到顯示裝置(未圖示)上。
根據(jù)第1實(shí)施例的圖像檢索裝置，由于將基于屬性值的檢索和符號(hào)檢索合并起來檢索相似圖像，因而就可以提高檢索精確度。即、基于屬性值的檢索由于根據(jù)色彩、形狀等的物理結(jié)構(gòu)要素來判斷相似，因而只靠此基準(zhǔn)所選定的相似圖像，未必是人在視覺上所感到的相似的圖像。因此，通過將采用人的主觀的感覺要素來判斷相似的符號(hào)檢索方式合并起來應(yīng)用，就可以減少相似圖像檢索的遺漏，提高檢索精確度。
另外，由于采用了基于屬性值的加權(quán)系數(shù)，因而可以高精確度地進(jìn)行相似圖像的檢索。
下面對(duì)本發(fā)明的第2實(shí)施例的圖像檢索裝置進(jìn)行說明。由于第2實(shí)施例的圖像檢索裝置的結(jié)構(gòu)和上述的圖1所示的第1實(shí)施例的圖像檢索裝置的結(jié)構(gòu)相同，因而對(duì)同樣的部分附以相同的符號(hào)，省略圖示及詳細(xì)的說明。
圖11為表示第2實(shí)施例的圖像檢索裝置的圖像檢索方法的各功能的關(guān)聯(lián)的圖。圖12為表示其圖像檢索方法的概略的處理順序的流程圖。
在步驟S31，用戶準(zhǔn)備好與希望檢索的圖像相似的參照?qǐng)D像。圖像輸入部11從圖像輸入裝置(未圖示)讀取參照?qǐng)D像。然后，圖像輸入部11將所讀取的參照?qǐng)D像儲(chǔ)存到緩沖存儲(chǔ)器9的參照?qǐng)D像存儲(chǔ)器33內(nèi)。另外，參照?qǐng)D像也可以不從圖像輸入裝置(未圖示)中讀取，事先選擇參照?qǐng)D像存儲(chǔ)器33所儲(chǔ)存的參照?qǐng)D像，另外，也可以將原圖像區(qū)域28所儲(chǔ)存的原圖像作為參照?qǐng)D像來進(jìn)行選擇。
在步驟S32，相似度計(jì)算部20從參照?qǐng)D像存儲(chǔ)器33中取出參照?qǐng)D像，并對(duì)該參照?qǐng)D像計(jì)算上述的屬性值。即、根據(jù)上述的步驟S3、S4的順序，得到在屬性分析部19所處理的多個(gè)屬性值。
在步驟S33，相似度計(jì)算部20根據(jù)索引數(shù)據(jù)區(qū)域30所儲(chǔ)存的索引數(shù)據(jù)37，選擇與參照?qǐng)D像相似的原圖像。相似的判斷，用和所述第1實(shí)施例同樣的方法來進(jìn)行。
然后，相似度計(jì)算部20按照相似度高的順序?qū)⑺x擇的多個(gè)一次選擇圖像的索引數(shù)據(jù)37進(jìn)行分類，并儲(chǔ)存到備用索引存儲(chǔ)器34內(nèi)。
在步驟S34，圖像顯示部13將一次選擇圖像的索引圖像作為檢索結(jié)果顯示到顯示裝置上(未圖示)。
在步驟S35，用戶看到所顯示的索引圖像，選擇多個(gè)(一個(gè)或0個(gè)均可)被判斷為與參照?qǐng)D像相似的原圖像，圖像選擇部14在輔助用戶的選擇操作的同時(shí)，取得有關(guān)被選擇的圖像的信息。另外，將0個(gè)選擇作為和選擇了所顯示的全部的圖像一樣來進(jìn)行處理。
在步驟S36，符號(hào)加法運(yùn)算部24將用戶所選擇的原圖像作為對(duì)象，從備用索引存儲(chǔ)器34中取出索引數(shù)據(jù)37，加上符號(hào)區(qū)域37e的同樣符號(hào)的數(shù)據(jù)，加權(quán)處理部26用加權(quán)系數(shù)乘以該加法運(yùn)算值，計(jì)算出計(jì)數(shù)值。另外，由于加法運(yùn)算方法和在第1實(shí)施例的檢索方法中所述的方法同樣，因而省略其詳細(xì)說明。
在步驟S37，符號(hào)加法運(yùn)算部24選定直到所加的結(jié)果數(shù)字大的上位第T個(gè)符號(hào)。
在步驟S38，符號(hào)檢索部25根據(jù)索引數(shù)據(jù)37，檢索被選定的T個(gè)符號(hào)內(nèi)的至少S個(gè)以上的符號(hào)為「1」的原圖像。然后，將根據(jù)符號(hào)所檢索的圖像定為在上述原圖像中作為一次選擇圖像而沒有被選擇的圖像。
在步驟S39，圖像顯示部13將一次選擇圖像和通過符號(hào)檢索方式所提取出的原圖像的索引圖像作為檢索結(jié)果顯示到顯示裝置(未圖示)上。
根據(jù)第2實(shí)施例的圖像檢索裝置，由于根據(jù)人的視覺從一次選擇圖像中選擇相似圖像、并根據(jù)該被選擇的圖像應(yīng)用符號(hào)檢索方式，因而可以更加提高符號(hào)檢索的相似圖像檢索的精確度。
下面對(duì)本發(fā)明的第3實(shí)施例的圖像檢索裝置進(jìn)行說明。由于第3實(shí)施例的圖像檢索裝置的結(jié)構(gòu)和上述的圖1所示的第1實(shí)施例的圖像檢索裝置的結(jié)構(gòu)相同，因而對(duì)同樣的部分附以相同的符號(hào)，省略圖示及詳細(xì)的說明。
圖13為表示第3實(shí)施例的圖像檢索裝置的圖像檢索方法的各功能的關(guān)聯(lián)的圖，圖14為表示其圖像檢索方法的概略的處理順序的流程圖。
在步驟S51，用戶準(zhǔn)備好與希望檢索的圖像相似的參照?qǐng)D像。圖像輸入部11從圖像輸入裝置(未圖示)讀取參照?qǐng)D像。然后，圖像輸入部11在將所讀取的參照?qǐng)D像儲(chǔ)存到緩沖存儲(chǔ)器9的參照?qǐng)D像存儲(chǔ)器33內(nèi)。另外，參照?qǐng)D像也可以不從圖像輸入裝置(未圖示)中讀取，事先選擇參照?qǐng)D像存儲(chǔ)器33所儲(chǔ)存的參照?qǐng)D像，另外，也可以將原圖像區(qū)域28所儲(chǔ)存的原圖像作為參照?qǐng)D像來進(jìn)行選擇。
在步驟S52，相似度計(jì)算部20從參照?qǐng)D像存儲(chǔ)器33中取出參照?qǐng)D像，并對(duì)該參照?qǐng)D像計(jì)算上述的屬性值。即、根據(jù)上述的步驟S3、S4的順序，得到在屬性分析部19所處理的多個(gè)屬性值。
在步驟S53，相似度計(jì)算部20根據(jù)索引數(shù)據(jù)區(qū)域30所儲(chǔ)存的索引數(shù)據(jù)37，選擇與參照?qǐng)D像相似的原圖像。相似的判斷方法和步驟S23同樣。
然后，相似度計(jì)算部20按照相似度高的順序?qū)⑺x擇的多個(gè)原圖像(以下稱為「一次選擇圖像」)的索引數(shù)據(jù)37進(jìn)行分類，并作為備用索引數(shù)據(jù)儲(chǔ)存到備用索引存儲(chǔ)器34內(nèi)。
在步驟S54，符號(hào)加法運(yùn)算部24將一次選擇圖像內(nèi)的相似度高的上位第K個(gè)圖像作為對(duì)象，從備用索引存儲(chǔ)器34中取出索引數(shù)據(jù)37，加上被賦予了符號(hào)區(qū)域37e的同樣符號(hào)的數(shù)據(jù)(在本實(shí)施例中為「1」或「0」)。然后，加權(quán)處理部26用加權(quán)系數(shù)乘以該加法運(yùn)算結(jié)果，計(jì)算出計(jì)數(shù)值。計(jì)數(shù)值的計(jì)算方法和步驟S24相同。
在步驟S55，符號(hào)加法運(yùn)算部24對(duì)新的加法運(yùn)算值選定直到上位第T個(gè)大的符號(hào)。如果T＝3的話，如圖10所示，選定符號(hào)2和符號(hào)4、符號(hào)M。
在步驟S56，符號(hào)檢索部25根據(jù)索引數(shù)據(jù)33，檢索被選定的T個(gè)符號(hào)內(nèi)的至少S個(gè)以上的符號(hào)為「1」的原圖像。然后，將根據(jù)符號(hào)所檢索的圖像定為在上述原圖像中作為一次選擇圖像而沒有被選擇的圖像。即、在提取出根據(jù)屬性值所選擇的原圖像的基礎(chǔ)上，將根據(jù)符號(hào)所檢索的原圖像作為與參照?qǐng)D像相似的圖像來提取出。
在步驟S57，分組處理部41根據(jù)屬性值，將一次選擇圖像和通過符號(hào)檢索方式所提取出的圖像分類為組(分組)。
圖15為表示分組的順序的圖。
在步驟T1，設(shè)定分組處理的基準(zhǔn)值的最小距離D和組的最小要素?cái)?shù)Nmin。
在步驟T2，調(diào)查所有的備用圖像從屬于哪一個(gè)組Ci。當(dāng)在步驟T2為否定的情況下，即，有不從屬于任何組Ci的備用圖像的情況下，在步驟T3從備用圖像中選擇兩個(gè)圖像。然后，在步驟T4，調(diào)查是否為至少一方的圖像不從屬于任何的組CI的組合。
當(dāng)在步驟T4為肯定的情況下，即，在備用圖像的兩個(gè)組合內(nèi)，有至少一方的圖像不從屬于任何的組Ci的組合的情況下，在步驟T5，計(jì)算這兩個(gè)圖像(圖像A及圖像B)的屬性值的距離XAB。
在這里，根據(jù)公式(6)來定義圖像A及圖像B的屬性值的距離XAB的2次方。
XAB2＝(XA-XB)2…(6)XA圖像A的屬性值向量XB圖像B的屬性值向量然后，在步驟T6，選擇屬性值的距離XAB變?yōu)樽钚〉膱D像A、B的組合。即、在這里所選擇的圖像A、B，為從屬于同樣的組的可能性最高的組合。
在步驟T7，將屬性值的距離XAB和為基準(zhǔn)值的最小距離D進(jìn)行比較。當(dāng)在步驟T7為肯定的情況下，即，在屬性值的距離XAB小于為基準(zhǔn)值的最小距離D的情況下，就判斷為在這里所選擇的圖像A、B從屬于同樣的組。
因此，在步驟T8，調(diào)查圖像A、B中的一方是否從屬于任何一個(gè)組。當(dāng)在步驟T8為肯定的情況下，即，在圖像A、B中的任何一方從屬于組Ci的情況下，將另外一方的圖像也作為應(yīng)從屬于組Ci登錄到組Ci中，在步驟T9，再次實(shí)施步驟T2以后的處理。
當(dāng)在步驟T8為否定的情況下，即，在圖像A、B中的任何一方不從屬于組Ci的情況下，在步驟T10，將圖像A、B登錄到新的組Cj中。然后，再次實(shí)施步驟T2以后的處理。
當(dāng)在步驟T7為否定的情況下，即，在屬性值的距離XAB大于基準(zhǔn)值的最小距離D的情況下，判斷為在這里所選擇的圖像A、B不從屬于同樣的組。因此，在步驟T11，將在圖像A、B內(nèi)不從屬于組的圖像登錄到新的組Ci中。這時(shí)，在圖像A、B任何一方都不從屬于組的情況下，將各個(gè)圖像登錄到別的新的組中。然后，再次實(shí)施步驟T2以后的處理。
當(dāng)在步驟T2為肯定的情況下，即，在備用圖像的所有的圖像都從屬于任何一個(gè)組Ci的情況下，結(jié)束分組處理。
在以上的分組處理之后，分組判斷部42調(diào)查是否存在定域化的組。即、在從屬于組的要素?cái)?shù)(圖像數(shù))大于最小要素?cái)?shù)Nmin、且從屬于該組的所有的圖像的屬性值在規(guī)定的范圍內(nèi)存在有某個(gè)組的情況下，就判斷該組為定域組，將這些組作為備用組。
即、在所提取出的圖像內(nèi)，存在多個(gè)具有特征型屬性值的圖像的情況下，作為相似的圖像，重新檢索具有與該特征性屬性值接近的屬性值的圖像。
當(dāng)在步驟S58為肯定的情況下，即，在存在定域化的組的情況下，在步驟S59，參數(shù)檢索部43調(diào)查屬于備用組的圖像的屬性值，檢索具有在該屬性值的分布范圍內(nèi)所包含的屬性值的原圖像。并且，將所檢索的圖像作為在原圖像中在步驟S56中而沒被選擇的圖像。
在這里，所謂屬性值的分布范圍，是指可以判斷從屬于該組的屬性值的范圍。例如，是指檢索與從屬于該組的圖像的特征向量的重心的距離在規(guī)定值以下的原圖像。
在步驟S60，圖像顯示部13將利用一次選擇圖像、通過符號(hào)檢索方式所提取出的圖像、及分組所檢索的圖像作為檢索結(jié)果顯示到顯示裝置(未圖示)上。另外，分組處理為利用了統(tǒng)計(jì)學(xué)的方法，眾所周知在上述以外還有很多的方法。也可以利用在本實(shí)施方式中所說明的以外的分組方法。
根據(jù)第3實(shí)施例的圖像檢索裝置，由于將基于屬性值的檢索和符號(hào)檢索合并起來檢索相似圖像，并將基于分組的圖像檢索加在一起來應(yīng)用，因而就可以減少相似圖像檢索的遺漏，可以更加提高檢索精確度。
根據(jù)以上所說明的各實(shí)施例，與以往的賦予關(guān)鍵字的操作相比，由于為引入了「符號(hào)」的概念的結(jié)構(gòu)，因而可以大幅度地減輕賦予操作的勞動(dòng)。另外，由于賦予的符號(hào)沒有必要為關(guān)鍵字，因而在檢索時(shí)也沒有選定關(guān)鍵字的煩惱。另外，由于在以往的相似圖像檢索方法的基礎(chǔ)上，將符號(hào)檢索合并起來使用，因而可以提高相似圖像的檢索精確度。
另外，由于采用基于分組的圖像檢索，因而可以減少相似圖像檢索的遺漏，可以更加提高檢索精確度。
還有，在上述的各實(shí)施例中所說明的功能，并不局限于采用硬件來構(gòu)成，也可以通過采用軟件使計(jì)算機(jī)讀取具備各功能的程序來實(shí)現(xiàn)。另外，也可以為適宜地選擇軟件、硬件中的任何一方來構(gòu)成各功能。
并且，也可以通過使計(jì)算機(jī)讀取未圖示的存儲(chǔ)介質(zhì)所儲(chǔ)存的程序來實(shí)現(xiàn)各功能。在這里，本實(shí)施方式的存儲(chǔ)介質(zhì)，只要是可以存儲(chǔ)程序、且計(jì)算機(jī)可讀取的存儲(chǔ)介質(zhì)，其存儲(chǔ)形式也可以為任何一種方式。
另外，本發(fā)明并不限于上述的實(shí)施方式，在實(shí)施階段，在不脫離其技術(shù)構(gòu)思的范圍內(nèi)可以將結(jié)構(gòu)要素進(jìn)行變形并具體化。另外，通過把在上述實(shí)施例中所公開的多個(gè)結(jié)構(gòu)要素進(jìn)行恰當(dāng)?shù)慕M合，可以構(gòu)成各種的發(fā)明。例如，也可以從實(shí)施例所示的整體結(jié)構(gòu)要素中削減幾個(gè)結(jié)構(gòu)要素。并且也可以將不同的實(shí)施例的結(jié)構(gòu)進(jìn)行恰當(dāng)?shù)慕M合。
權(quán)利要求
1.一種圖像檢索裝置，其特征在于，具有輸入圖像的圖像輸入單元；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得單元；將所述圖像和該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)單元；將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的第1檢索單元；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示單元；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇單元；對(duì)所述圖像存儲(chǔ)單元所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的符號(hào)的數(shù)據(jù)區(qū)域的類別，對(duì)所述被選擇的至少一個(gè)的每個(gè)第2圖像賦予表示與該類別相似的符號(hào)的符號(hào)賦予單元；對(duì)應(yīng)所述類別，賦予表示相似的可靠度的數(shù)值的數(shù)值分配單元。
2.根據(jù)權(quán)利要求1所述的圖像檢索裝置，其特征在于，所述第1檢索單元將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像，并具有根據(jù)賦予給每個(gè)所述被檢索出的至少一個(gè)第3圖像的類別的所述符號(hào)和所述數(shù)值，至少選擇一個(gè)用于檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇單元；和從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索被賦予了表示與所述被選擇的類別相似的符號(hào)的圖像的第2檢索單元。
3.根據(jù)權(quán)利要求2所述的圖像檢索裝置，其特征在于，還具有將至少一個(gè)所述第3圖像，根據(jù)該圖像的所述屬性值，至少分類為一個(gè)組的分組單元；判斷在所述的組內(nèi)從屬于該組的圖像數(shù)為規(guī)定數(shù)以上的組的分組判斷單元；和從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索被分類為從屬于所述被判斷的組的至少一個(gè)圖像的第3檢索單元。
4.根據(jù)權(quán)利要求2所述的圖像檢索裝置，其特征在于，所述第1檢索單元具有通過將所述第2參照?qǐng)D像的所述屬性值和所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像的所述屬性值進(jìn)行比較，計(jì)算出圖像的相似度，來判斷圖像的相似的相似判斷單元。
5.根據(jù)權(quán)利要求1所述的圖像檢索裝置，其特征在于，所述第1檢索單元將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索出與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像，所述檢索圖像顯示單元將被檢索出的至少一個(gè)第3圖像的縮小圖像進(jìn)行顯示，所述圖像選擇單元使圖像檢索的要求者從被顯示的縮小圖像中選擇與所述第2參照?qǐng)D像相似的至少一個(gè)第4圖像，并具有根據(jù)賦予給每個(gè)所述被選擇的第4圖像的類別的所述符號(hào)和所述數(shù)值，至少選擇一個(gè)用于進(jìn)一步檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇單元；和從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索被賦予了表示與所述被選擇的類別相似的符號(hào)的圖像的第2檢索單元。
6.根據(jù)權(quán)利要求5所述的圖像檢索裝置，其特征在于，還具有將至少一個(gè)所述第4圖像，根據(jù)該圖像的所述屬性值，至少分類為一個(gè)組的分組單元；判斷在所述的組內(nèi)從屬于該組的圖像數(shù)為規(guī)定數(shù)以上的組的分組判斷單元；和從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索被分類為從屬于所述被判斷的組的至少一個(gè)圖像的第3檢索單元。
7.根據(jù)權(quán)利要求1所述的圖像檢索裝置，其特征在于，所述第1檢索單元具有通過將所述第1參照?qǐng)D像的所述屬性值和所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像的所述屬性值進(jìn)行比較，計(jì)算出圖像的相似度，來判斷圖像的相似的相似判斷單元。
8.根據(jù)權(quán)利要求7所述的圖像檢索裝置，其特征在于，所述第1檢索單元具有按照所述相似度大的順序?qū)λ鰣D像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像進(jìn)行排序的圖像排序單元。
9.根據(jù)權(quán)利要求1所述的圖像檢索裝置，其特征在于，所述數(shù)字分配單元具有根據(jù)表示所述被選擇的至少一個(gè)第2圖像的所述屬性值的分布狀態(tài)的統(tǒng)計(jì)量來計(jì)算出表示所述相似的可靠度的數(shù)值的數(shù)值計(jì)算單元。
10.一種圖像檢索裝置，其特征在于，具有輸入圖像的圖像輸入單元；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得單元；將所述圖像與該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)單元；將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索出與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的第1檢索單元；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示單元；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇單元；對(duì)所述圖像存儲(chǔ)單元所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的數(shù)值的數(shù)據(jù)區(qū)域的類別，對(duì)應(yīng)所述類別，將表示和所述第1參照?qǐng)D像相似的可靠度的數(shù)值賦予所述被選擇的至少一個(gè)的每個(gè)第2圖像的數(shù)值分配單元。
11.根據(jù)權(quán)利要求10所述的圖像檢索裝置，其特征在于，所述第1檢索單元將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索出與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像，并具有根據(jù)賦予給每個(gè)所述被檢索出的至少一個(gè)的第3圖像的類別的所述數(shù)值，至少選擇一個(gè)用于檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇單元；和從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索出表示所述被選擇的至少一個(gè)類別的相似的可靠度的數(shù)值在規(guī)定值以上的圖像的第2檢索單元。
12.根據(jù)權(quán)利要求10所述的圖像檢索裝置，其特征在于，所述第1檢索單元將從所述圖像輸入單元所輸入的多個(gè)圖像或所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像，所述檢索圖像顯示單元將被檢索出的至少一個(gè)第3圖像的縮小圖像進(jìn)行顯示，所述圖像選擇單元使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第2參照?qǐng)D像相似的至少一個(gè)第4圖像，并具有根據(jù)賦予給每個(gè)所述被選擇的第4圖像的類別的所述數(shù)值，至少選擇一個(gè)用于進(jìn)一步檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇單元；和從所述圖像存儲(chǔ)單元所存儲(chǔ)的多個(gè)圖像中檢索出表示所述被選擇的類別的相似的可靠度的數(shù)值在規(guī)定值以上的圖像的第2檢索單元。
13.一種圖像檢索程序，其特征在于，使計(jì)算機(jī)執(zhí)行如下的步驟，即輸入圖像的圖像輸入步驟；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得步驟；將所述圖像和該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)步驟；將從在所述圖像輸入步驟所輸入的多個(gè)圖像或在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的檢索步驟；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示步驟；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇步驟；對(duì)在所述圖像存儲(chǔ)步驟所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的符號(hào)的數(shù)據(jù)區(qū)域的類別，對(duì)所述被選擇的至少一個(gè)的每個(gè)第2圖像賦予表示與該類別相似的符號(hào)的符號(hào)賦予步驟；對(duì)應(yīng)所述類別，賦予表示相似的可靠度的數(shù)值的數(shù)值分配步驟。
14.根據(jù)權(quán)利要求13所述的圖像檢索程序，其特征在于，使計(jì)算機(jī)執(zhí)行如下的步驟，即將從在所述圖像輸入步驟所輸入的多個(gè)圖像或在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像的檢索步驟；根據(jù)賦予給每個(gè)所述被檢索出的至少一個(gè)第3圖像的類別的所述符號(hào)和所述數(shù)值，至少選擇一個(gè)用于檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇步驟；和從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索被賦予了表示與所述被選擇的類別相似的符號(hào)的圖像的檢索步驟。
15.根據(jù)權(quán)利要求14所述的圖像檢索程序，其特征在于，使計(jì)算機(jī)進(jìn)一步執(zhí)行如下的步驟，即將至少一個(gè)所述第3圖像，根據(jù)該圖像的所述屬性值，至少分類為一個(gè)組的分組步驟；判斷在所述的組內(nèi)從屬于該組的圖像數(shù)為規(guī)定數(shù)以上的組的分組判斷步驟；和從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索被分類為從屬于所述被判斷的組的至少一個(gè)圖像的檢索步驟。
16.根據(jù)權(quán)利要求13所述的圖像檢索程序，其特征在于，使計(jì)算機(jī)進(jìn)一步執(zhí)行如下的步驟，即將從在所述圖像輸入步驟所輸入的多個(gè)圖像或所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像；將被檢索出的至少一個(gè)第3圖像的縮小圖像進(jìn)行顯示的顯示步驟；使圖像檢索的要求者從被顯示的縮小圖像中選擇與所述第2參照?qǐng)D像相似的至少一個(gè)第4圖像的步驟；根據(jù)賦予給每個(gè)所述被選擇的第4圖像的類別的所述符號(hào)和所述數(shù)值，至少選擇一個(gè)用于進(jìn)一步檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇步驟；和從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索被賦予了表示與所述被選擇的類別相似的符號(hào)的圖像的第2檢索步驟。
17.根據(jù)權(quán)利要求16所述的圖像檢索程序，其特征在于，使計(jì)算機(jī)進(jìn)一步執(zhí)行如下的步驟，即將至少一個(gè)所述第4圖像，根據(jù)該圖像的所述屬性值，至少分類為一個(gè)組的分組步驟；判斷在所述的組內(nèi)從屬于該組的圖像數(shù)為規(guī)定數(shù)以上的組的分組判斷步驟；和從所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索被分類為從屬于所述被判斷的組的至少一個(gè)圖像的檢索步驟。
18.一種圖像檢索程序，其特征在于，使計(jì)算機(jī)執(zhí)行如下的步驟，即輸入圖像的圖像輸入步驟；求得將所輸入的多個(gè)圖像的特征定量化的屬性值的屬性值獲得步驟；將所述圖像與該圖像的屬性值建立對(duì)應(yīng)關(guān)聯(lián)并進(jìn)行存儲(chǔ)的圖像存儲(chǔ)步驟；將從在所述圖像輸入步驟所輸入的多個(gè)圖像或在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的檢索步驟；將所述被檢索出的至少一個(gè)第1圖像的縮小圖像進(jìn)行顯示的檢索圖像顯示步驟；使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇步驟；對(duì)在所述圖像存儲(chǔ)步驟所存儲(chǔ)的所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的數(shù)值的數(shù)據(jù)區(qū)域的類別，對(duì)應(yīng)所述類別，將表示和所述第1參照?qǐng)D像相似的可靠度的數(shù)值賦予所述被選擇的至少一個(gè)的每個(gè)第2圖像的數(shù)值分配步驟。
19.根據(jù)權(quán)利要求18所述的圖像檢索程序，其特征在于，使計(jì)算機(jī)進(jìn)一步執(zhí)行如下的步驟，即將從在所述圖像輸入步驟所輸入的多個(gè)圖像或在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像的第1檢索步驟；根據(jù)賦予給每個(gè)所述被檢索出的至少一個(gè)的第3圖像的類別的所述數(shù)值，至少選擇一個(gè)用于檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇步驟；和從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出表示所述被選擇的至少一個(gè)類別的相似的可靠度的數(shù)值在規(guī)定值以上的圖像的第2檢索步驟。
20.根據(jù)權(quán)利要求18所述的圖像檢索程序，其特征在于，使計(jì)算機(jī)進(jìn)一步執(zhí)行如下的步驟，即將從在所述圖像輸入步驟所輸入的多個(gè)圖像或所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第2參照?qǐng)D像，根據(jù)所述屬性值，從所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出與所述第2參照?qǐng)D像相似的至少一個(gè)第3圖像的檢索步驟；將被檢索出的至少一個(gè)第3圖像的縮小圖像進(jìn)行顯示的步驟，使圖像檢索的要求者從所述被顯示的縮小圖像中選擇與所述第2參照?qǐng)D像相似的至少一個(gè)第4圖像的選擇步驟；根據(jù)賦予給每個(gè)所述被選擇的第4圖像的類別的所述數(shù)值，至少選擇一個(gè)用于進(jìn)一步檢索與所述第2參照?qǐng)D像相似的圖像的類別的類別選擇步驟；和從在所述圖像存儲(chǔ)步驟所存儲(chǔ)的多個(gè)圖像中檢索出表示所述被選擇的類別的相似的可靠度的數(shù)值在規(guī)定值以上的圖像的檢索步驟。
全文摘要
一種圖像檢索裝置及圖像檢索程序。該圖像檢索裝置具有圖像輸入單元；求得圖像的屬性值的屬性值獲得單元；圖像存儲(chǔ)單元；將從輸入的或存儲(chǔ)的多個(gè)圖像中所選擇的圖像作為第1參照?qǐng)D像，根據(jù)所述屬性值，從所存儲(chǔ)的圖像中檢索與所述第1參照?qǐng)D像相似的至少一個(gè)第1圖像的第1檢索單元；顯示所述被檢索出的第1圖像的縮小圖像的單元；使圖像檢索的要求者選擇與所述第1參照?qǐng)D像相似的至少一個(gè)第2圖像的圖像選擇單元；對(duì)所有的圖像，重新設(shè)置作為用于賦予表示和所述第1參照?qǐng)D像是否相似的符號(hào)的數(shù)據(jù)區(qū)域的類別，對(duì)所述被選擇的至少一個(gè)第2圖像賦予表示與該類別相似的符號(hào)的符號(hào)賦予單元；對(duì)應(yīng)所述類別賦予表示相似的可靠度的數(shù)值的數(shù)值分配單元。
文檔編號(hào)H04N5/76GK1551018SQ20041004223
公開日2004年12月1日 申請(qǐng)日期2004年5月8日 優(yōu)先權(quán)日2003年5月8日
發(fā)明者和田利昭 申請(qǐng)人:奧林巴斯株式會(huì)社