專利名稱：圖像處理系統(tǒng)、裝置、方法、程序及記錄介質的制作方法
技術領域：
本發(fā)明涉及圖像處理系統(tǒng)、裝置、方法、程序、以及記錄介質，特別涉及用于從圖像中提取特征的系統(tǒng)、裝置、方法、程序、以及記錄介質。
背景技術：
日本未審查專利申請公開第2004-62868號披露了在諸如數碼照相機的小型消費電器(CE)中檢測面部、提取圖像特征、以及檢索圖像的功能。

發(fā)明內容
由于在典型小型CE中安裝的處理器的能力有限，因而只能在有限的區(qū)域內分析圖像。無法充分地對圖像進行分析。分析結果提供不了足夠的精確度，因而用途有限。
除非把要分析的圖像的清晰度設置得很低，否則檢測人物面部需要很長的時間。處理時間基本上都將超過典型用戶可用的時間。如果將圖像的清晰度設置得過低，則難以檢測小尺寸的面部圖像，特別是在團體照片中人物的面部圖像。因此，低清晰度的圖像不能滿足檢索團體照片中特定面部的需要。
例如，如果在數碼照相機中執(zhí)行上述分析處理，則照相機必須集中于該處理，使得功耗增加。圖像拍攝所需的時間縮短，并減少了圖像的幀數。
現在，數碼照相機得到廣泛使用，并且很多數碼照相機功能轉移到手機中。在日常生活中，拍攝(靜止)圖片的機會大量增加。如果用戶想要在數碼照相機上觀察所拍攝的圖像，則在檢索處理中，只有依照圖像拍攝順序的縮小圖像(縮略圖)是可行的。就圖像檢索性能來說，數碼照相機實質上優(yōu)于提供有圖像管理程序的計算機。
在具有大容量存儲功能和相冊功能的數碼照相機中，需要檢索用戶期望的圖像的功能。
期望提供一種即使自身的處理能力相對較小也能檢索期望圖像的裝置。
根據本發(fā)明的一個實施例，圖像處理系統(tǒng)包括用于拍攝圖像的成像設備和用于處理圖像的圖像處理裝置。成像設備包括成像單元，用于拍攝圖像；第一記錄單元，用于將與圖像相關的信息記錄為具有預定數據結構的數據，所述信息與圖像相關聯；以及第一傳輸控制單元，用于控制圖像向圖像處理裝置的傳輸。圖像處理裝置包括接收控制單元，用于控制從成像設備傳輸的圖像的接收；特征提取單元，用于提取所接收圖像的特征；第二記錄單元，用于將從圖像中提取的特征記錄為具有與成像設備中的數據結構相同結構的數據，所述特征與圖像相關聯；以及第二傳輸控制單元，用于控制特征向成像設備的傳輸。
成像單元拍攝圖像。第一記錄單元將與圖像相關的信息記錄為具有預定數據結構的數據，該信息與圖像相關聯。第一傳輸控制單元控制圖像向圖像處理裝置的傳輸。接收控制單元控制從成像設備傳輸的圖像的接收。特征提取單元提取所接收圖像的特征。第二記錄單元將從圖像中提取的特征記錄為具有與成像設備中的數據結構相同結構的數據，該特征與圖像相關聯。第二傳輸控制單元控制特征向成像設備的傳輸。
根據本發(fā)明的一個實施例，圖像處理裝置包括特征提取單元，用于提取圖像的特征；第一記錄單元，用于將從圖像中提取的特征記錄為具有預定結構的數據，該特征與圖像相關聯；以及傳輸控制單元，用于控制特征向設備的傳輸，該設備將與圖像相關的信息記錄為具有與預定結構相同結構的數據。
圖像處理裝置還可包括接收控制單元，用于控制從設備傳輸的圖像的接收。
圖像處理裝置還可包括用于記錄圖像的第二記錄單元。
圖像處理裝置還可包括檢索單元，用于根據被記錄為具有所述結構的數據的特征來檢索所記錄的圖像。
圖像處理裝置還可包括用于顯示所檢索出的圖像的顯示單元。
第一記錄單元可包括數據庫。
特征提取單元可提取特征作為與包含在圖像中的面部圖像相關的信息。
特征提取單元可提取包括圖像中包含的面部圖像的數目、面部圖像的位置、面部圖像的尺寸、以及面部圖像面向的方向的特征中的至少一個。
特征提取單元可提取表示按照表示圖像的顏色中特定顏色而分類的像素的數目的特征。
特征提取單元可提取用于計算任意兩個圖像的特征之間的相似程度的特征。
根據本發(fā)明的一個實施例，圖像處理方法包括以下步驟提取圖像的特征；將從圖像中提取的特征記錄為具有預定結構的數據，所述特征與圖像相關聯；以及控制特征向設備的傳輸，設備將與圖像相關的信息記錄為具有與預定結構相同結構的數據。
根據本發(fā)明的一個實施例，計算機程序使計算機執(zhí)行以下步驟提取圖像的特征；將從圖像中提取的特征記錄為具有預定結構的數據，所述特征與圖像相關聯；以及控制特征向設備的傳輸，設備將與圖像相關的信息記錄為具有與預定結構相同結構的數據。
根據本發(fā)明的一個實施例，記錄介質存儲計算機程序。
根據本發(fā)明的實施例，提取圖像的特征，將從圖像中提取的特征記錄為具有預定結構的數據，所述特征與圖像相關聯?？刂铺卣飨蛟O備的傳輸。設備將與圖像相關的信息記錄為具有與預定結構相同結構的數據。
根據本發(fā)明的一個實施例，設備檢索圖像。
根據本發(fā)明的一個實施例，所期望的圖像可通過具有相對較低處理能力的設備來檢索。


圖1是根據本發(fā)明一個實施例的信息處理系統(tǒng)的框圖；
圖2是數碼照相機的框圖；圖3是服務器的框圖；圖4示出了執(zhí)行程序的微處理器單元(MPU)的功能；圖5示出了執(zhí)行程序的中央處理單元(CPU)的功能；圖6是圖像分析器的框圖；圖7是圖像拍攝處理的流程圖；圖8示出了原圖像和縮小圖像之間的關系；圖9是示出備份處理的流程圖；圖10是示出圖像分析處理的流程圖；圖11示出了顏色直方圖的生成；圖12示出了垂直分量直方圖和水平分量直方圖的生成；圖13A和圖13B示出了垂直分量直方圖和水平分量直方圖的生成；圖14示出了圖像備份和元數據重寫；圖15示出了元數據的具體實例；圖16示出了存儲在內容數據庫上的元數據的結構；
圖17示出了存儲在內容數據庫上的元數據或者存儲在相似特征數據庫上的元數據的結構；圖18示出了相似特征項的結構；圖19是示出圖像獲取處理的流程圖；圖20示出了圖像的獲取以及元數據的重寫；圖21是示出檢索處理的流程圖；圖22示出了數碼照相機和服務器共用的元數據與圖像之間的聯系；圖23是示出檢索處理的流程圖；圖24示出了縮小圖像的顯示；圖25示出了縮小圖像的顯示；圖26是示出檢索相似圖像的檢索處理的流程圖；圖27示出了元數據和距離的結構；圖28示出了內容數據庫、相似特征數據庫、和時間組數據庫的聯系以及各個記錄內容；圖29示出了相似性順序的顯示；圖30示出了相似性順序的顯示和時間序列的顯示之間的切換；圖31是示出檢索處理的流程圖；
圖32示出了相似性順序的顯示和時間序列的顯示之間的切換；圖33是示出顏色特征提取器的框圖；圖34示出了相關度提取器對應存儲器上記錄的對應信息；圖35示出了在提取特征存儲器上記錄的相關度的邏輯結構；圖36是詳細示出顏色特征提取處理的流程圖；圖37是詳細示出相關度提取處理的流程圖；圖38示出了RGB色空間；圖39示出了L*a*b*空間；圖40示出了白色子空間和黑色子空間；圖41示出了色飽和度邊界和亮度邊界；圖42示出了綠色、藍色、紅色、以及黃色的子空間；圖43是詳細示出另一相關度提取處理的流程圖；圖44是詳細示出又一相關度提取處理的流程圖；圖45示出了確定數據；圖46是詳細示出又一相關度提取處理的流程圖；圖47是示出檢索處理的流程圖；圖48示出了檢索處理中的GUI圖像；以及圖49A～圖49D示出了檢索處理中的圖像命中。
具體實施例方式
在描述本發(fā)明的實施例之前，以下論述了權利要求的元件與在說明書或附圖中公開的特定元件之間的對應關系。該描述內容的目的是確保在說明書或附圖中描述了支持要求保護的發(fā)明的實施例。因此，即使以下實施例中的元件沒有被描述為與本發(fā)明的特定特征相關，這并不意味該元件與權利要求的特征不相關。相反，即使元件在文中被描述為與權利要求的特定特征相關，這也并不必然意味著該元件不與權利要求的其他特征相關。
根據本發(fā)明的一個實施例，圖像處理系統(tǒng)包括用于拍攝圖像的成像設備(例如，圖1的數碼照相機11)和用于處理圖像的圖像處理裝置(例如，圖1的服務器13)。成像設備包括成像單元(例如，圖2的成像器件33)，用于拍攝圖像；第一記錄單元(例如，圖4的相似特征數據庫112)，用于將與圖像相關的信息記錄為具有預定數據結構的數據，所述信息與圖像相關聯；以及第一傳輸控制單元(例如，圖4的傳輸控制器108)，用于控制圖像向圖像處理裝置的傳輸。圖像處理裝置包括接收控制單元(例如，圖5的接收控制器139-1)，用于控制從成像設備傳輸的圖像的接收；特征提取單元(例如，圖5的圖像分析器131)，用于提取所接收圖像的特征；第二記錄單元(例如，圖5的相似特征數據庫142)，用于將從圖像中提取的特征記錄為具有與成像設備中的數據結構相同結構的數據，所述特征與圖像相關聯；以及第二傳輸控制單元(例如，圖5的傳輸控制器138-1)，用于控制特征向成像設備的傳輸。
根據本發(fā)明的一個實施例，圖像處理裝置(例如，圖1的服務器13)包括特征提取單元(例如，圖5的圖像分析器131)，用于提取圖像的特征；第一記錄單元(例如，圖5的相似特征數據庫142)，將從圖像中提取的特征記錄為具有預定結構的數據，所述特征與圖像相關聯；以及傳輸控制單元(例如，圖5的傳輸控制器138-1)，用于控制特征向設備(例如，圖1的數碼照相機11)的傳輸，設備將與圖像相關的信息記錄為具有與預定結構相同的結構的數據。
圖像處理裝置還可包括接收控制單元(例如，圖5的接收控制器139-1)，用于控制從設備傳輸的圖像的接收。
圖像處理裝置還可包括第二記錄單元(例如，圖5的圖像存儲器140)，用于記錄圖像。
圖像處理裝置還可包括檢索單元(例如，圖5的檢索單元137)，用于根據被記錄為具有所述結構的數據的特征來檢索所記錄的圖像。
圖像處理裝置還可包括顯示單元(例如，作為圖3中的顯示器的輸出單元77)，用于顯示所檢索到的圖像。
根據本發(fā)明的實施例，圖像處理方法和計算機程序的其中一個包括以下步驟提取圖像的特征(例如，圖9的步驟S34)；將從圖像中提取的特征記錄為具有預定結構的數據，所述特征與圖像相關聯(例如，圖9的步驟S36)；以及控制特征向設備的傳輸，設備將與圖像相關的信息記錄為具有與預定結構相同結構的數據(例如，圖9的步驟S37)。
圖1示出了根據本發(fā)明的一個實施例的圖像處理系統(tǒng)。作為成像設備實例的數碼照相機11拍攝圖像，并將所拍攝的圖像提供給作為圖像處理裝置實例的服務器13。作為成像設備另一個實例的手機12拍攝圖像，隨后將所拍攝的圖像提供給服務器13。數碼照相機11和手機12中的每一個都由所拍攝的圖像生成縮小圖像。
數碼照相機11、手機12、以及服務器13中的每一個也是顯示控制器的一個實例。
服務器13包括個人計算機、非便攜式記錄器、游戲機、以及專用設備，并記錄從數碼照相機11和手機12中的一個提供的圖像。服務器13處理從數碼照相機11和手機12中的一個提供的圖像，并提取圖像的特征。服務器13將作為處理結果而得到的數據提供給數碼照相機11和手機12中的一個。
服務器13從網絡服務器15-1和網絡服務器15-2中的一個獲取圖像，并將所獲取的圖像記錄在其上。服務器13處理從網絡服務器15-1和網絡服務器15-2中的一個獲取的圖像，并根據所獲取的圖像生成縮小圖像。服務器13將作為處理結果得到的數據與縮小圖像一起提供給數碼照相機11和手機12中的一個。
數碼照相機11和手機12中的一個基于作為圖像處理結果得到并通過服務器13提供的數據，從所記錄的圖像中檢索期望的圖像。服務器13也基于作為圖像處理結果得到的數據來檢索所記錄圖像中的期望圖像。
由于數碼照相機11、手機12、以及服務器13中的每一個都基于作為圖像處理結果得到的相同數據來檢索圖像，所以期望的圖像可以相同的方式檢索。
圖2是示出數碼照相機11的結構的框圖。數碼照相機11包括成像透鏡31、光圈32、成像器件33、模擬信號處理器34、模數(A/D)轉換器35、數字信號處理器36、微處理器(MPU)37、存儲器38、數模(D/A)轉換器39、監(jiān)視器40、壓縮/解壓縮器41、卡接口42、存儲卡43、AF電機和變焦電機44、控制電路45、電可擦可編程只讀存儲器(EEPROM)46、通信單元47、通信單元48、以及輸入單元49。
成像透鏡組31通過光圈32將對象的光學圖像聚焦在成像器件33的光聚焦表面上。成像透鏡31包括至少一個透鏡。成像透鏡31可以為單一焦距透鏡或者諸如變焦透鏡的可變焦距型透鏡。
光圈32調節(jié)在成像器件33的聚焦表面上聚焦的光學圖像的光量。
成像器件33可以包括電荷耦合器件(CCD)或互補金屬氧化物半導體(CMOS)傳感器中的一個，并將在其聚焦表面上聚焦的光學圖像轉換為電信號。成像器件33將作為轉換結果獲得的電信號提供給模擬信號處理器34。
模擬信號處理器34包括采樣保持電路、色分離電路、增益控制電路等。模擬信號處理器34對來自成像器件33的電信號執(zhí)行相關雙采樣(CDS)處理，同時將電信號分離成R(紅色)、G(綠色)、以及B(藍色)的顏色信號，并(在白平衡處理中)調節(jié)每個顏色信號的信號電平。模擬信號處理器34將顏色信號提供給A/D轉換器35。
A/D轉換器35將各個顏色信號轉換成數字信號，然后將數字信號提供給數字信號處理器36。
數字信號處理器36包括亮度及色差信號發(fā)生器、清晰度校正器、對比度校正器等。數字信號處理器36在MPU 37的控制下將數字信號轉換成亮度信號(Y信號)和色差信號(Cr和Cb信號)。數字信號處理器36將經過處理的數字信號提供給存儲器38。
MPU 37為嵌入式處理器，通常通過執(zhí)行其程序來控制數碼照相機11。
存儲器38包括動態(tài)隨機存取存儲器(DRAM)。存儲器38在MPU 37的控制下臨時存儲從數字信號處理器36提供的數字信號。D/A轉換器39從存儲器38讀取數字信號，將讀出的信號轉換成模擬信號，并將模擬信號提供給監(jiān)視器40。諸如液晶顯示器(LCD)或場致發(fā)光(EL)顯示器的監(jiān)視器40響應于從D/A轉換器39提供的模擬信號來顯示圖像。
從成像器件33提供的電信號定期更新存儲器38中的數字信號，并且根據更新的數字信號生成的模擬信號提供給監(jiān)視器40。結果，在成像器件33上聚焦的圖像能夠實時地在監(jiān)視器40上顯示。
監(jiān)視器40在其屏幕上顯示圖形用戶界面(GUI)圖像。為了這個目的，MPU 37在存儲器38中寫入用以顯示GUI圖像的視頻數據，使D/A轉換器39將視頻數據轉換成模擬信號，然后使監(jiān)視器40顯示基于該模擬信號的GUI圖像。
壓縮/解壓縮器41在MPU 37的控制下根據聯合圖像專家組(JPEG)或JPEG 2000標準來對存儲在存儲器38上的數字信號進行編碼。壓縮/解壓縮器41通過卡接口42將經過編碼的視頻數據提供給存儲卡43。包括半導體存儲器或硬盤驅動器(HDD)的存儲卡43可移動地裝載于數碼照相機11中。當被裝載于數碼照相機11中時，存儲卡43被電連接至卡接口42。存儲卡43存儲從卡接口42提供的視頻數據。
響應于來自MPU 37的命令，卡接口42控制視頻數據向與其電連接的存儲卡43的記錄以及視頻數據從存儲卡43的讀取。
記錄在存儲卡43上的視頻數據經由卡接口42讀取，并通過壓縮/解壓縮器41解碼成數字信號。
通過控制電路45驅動的AF電機和變焦電機44相對于成像器件33移動成像透鏡31，從而改變成像透鏡31的焦點和焦距。響應于來自MPU 37的命令，控制電路45驅動AF電機和變焦電機44，同時也控制光圈32和成像器件33。
EEPROM 46存儲由MPU 37執(zhí)行的程序以及各種數據。
通信單元47滿足諸如通用串行總線(USB)或電氣電子工程師協(xié)會(IEEE)1394的標準，并通過有線傳輸介質與服務器13交換各種數據。
通信單元48滿足諸如IEEE 802.11a、IEEE 802.11b、或IEEE802.11g的標準或藍牙，并通過無線傳輸介質與服務器13交換各種數據。
輸入單元49包括開關、按鈕、以及觸摸屏，并將響應于用戶操作輸入的信號提供給MPU 37。
如上所述，存儲卡43記錄視頻數據。其上記錄有視頻數據的介質不限于半導體存儲器或磁盤。介質可以為任何光盤、磁光盤。此外，可以使用的介質可以為允許以電方式、磁方式、光學方式、量子方式、或上述方式的組合寫入和讀取數據的介質?？梢詫⑦@些介質中的一種安裝在數碼照相機11中。
可將視頻數據簡稱為圖像。
圖3是示出服務器13的結構的框圖。CPU 71在存儲于只讀存儲器(ROM)72或存儲單元78中的程序的控制下執(zhí)行各種處理。隨機存取存儲器(RAM)73存儲將被CPU 71執(zhí)行的程序和數據。CPU 71、ROM 72、以及RAM 73通過總線74互相連接。
CPU 71通過總線74連接至輸入-輸出接口75。此外，由鍵盤、鼠標、麥克風等組成的輸入單元76以及由顯示器和揚聲器組成的輸出單元77也連接至輸入輸出接口75。響應于從輸入單元76輸入的命令，CPU 71執(zhí)行各種處理。CPU 71將處理結果輸出給輸出單元77。
連接至輸入-輸出接口75的存儲單元78包括例如硬盤，存儲將被CPU 71執(zhí)行的程序和數據。通信單元79滿足諸如USB或IEEE1394的標準，并通過有線傳輸介質與數碼照相機11和手機12中的一個交換各種數據，或者，滿足IEEE 802.11a、IEEE 802.11b、或IEEE 802.11g的標準或藍牙，通過無線傳輸介質與數碼照相機11和手機12中的一個交換各種數據。通信單元80通過諸如互聯網或局域網的網絡14與網絡服務器15-1和網絡服務器15-2中的一個進行通信。
可以通過通信單元80獲取程序，然后存儲在存儲單元78中。
當被加載有諸如磁盤、光盤、磁光盤、或半導體存儲器的可移動介質82時，連接至輸入-輸出接口75的驅動器81驅動所加載的介質，以讀取記錄于其上的程序和數據。根據存儲需要，將所讀取的程序和數據傳輸至存儲單元78。
圖4示出了執(zhí)行程序的RAM 73的功能。通過執(zhí)行程序，MPU37實現了成像控制器101、縮小圖像生成器102、元數據生成器103、條目生成器104、記錄控制器105、顯示控制器106、檢索單元107、傳輸控制器108、接收控制器109、圖像存儲器110、內容數據庫111、相似特征數據庫112、相似結果數據庫113、時間組數據庫114、以及檢索結果存儲器115。
通過由數字信號處理器36控制成像透鏡31以及由控制電路45控制存儲器38，成像控制器101控制數碼照相機11的圖像拍攝操作。成像控制器101在起圖像存儲器110作用的存儲卡43的記錄區(qū)上記錄所拍攝的圖像。
縮小圖像生成器102從存儲器38讀取所拍攝圖像的數字信號，并縮小拍攝的圖像，從而生成縮小圖像。隨后通過卡接口42將生成的縮小圖像提供給存儲卡43，隨后，將其記錄在作為圖像存儲器110的存儲卡43的記錄區(qū)上。
在成像控制器101的控制下拍攝像素數為3000000像素～4000000像素的高清晰圖像?？s小圖像生成器102根據所拍攝的圖像生成適于通過數碼照相機11觀察的VGA(視頻圖形陣列)水平的像素數為640×480像素的縮小圖像尺寸或等同的圖像尺寸。
縮小圖像生成器102可從圖像存儲器110讀取圖像，并可以縮小所讀取的圖像從而生成縮小圖像。
為了區(qū)分縮小圖像和拍攝的圖像，將拍攝的圖像稱為原圖像。如果不需要區(qū)分這兩個圖像，則將這兩個圖像都簡稱為圖像。
如將在后面所描述的，原圖像和縮小圖像通過記錄在內容數據庫111上的數據而彼此對應。
元數據生成器103生成原圖像的元數據。例如，元數據生成器103生成將以通過由日本電子工業(yè)發(fā)展協(xié)會(JEIDA)標準化的可交換圖像文件格式(EXIF)指定的格式存儲的元數據。
當拍攝原圖像時，條目生成器104被構成為數據管理系統(tǒng)，并生成原圖像和縮小圖像的條目。所生成的條目存儲在內容數據庫111中。
記錄控制器105控制原圖像和縮小圖像在圖像存儲器110上的記錄。
顯示控制器106控制縮小圖像和GUI圖像在監(jiān)視器40上的顯示。
檢索單元107基于記錄在內容數據庫111、相似特征數據庫112、相似結果數據庫113、以及時間組數據庫114中的數據，從記錄在圖像存儲器110中的縮小圖像和原圖像中檢索期望的縮小圖像或期望的原圖像。檢索單元107使相應于檢索結果的數據存儲在檢索結果存儲器115中。
檢索單元107包括距離計算器121。距離計算器121根據表示存儲在相似特征數據112上的圖像的特征的數據，計算表示兩個圖像之間相似程度的距離。距離計算器121使相似結果數據庫113存儲計算出的距離。
傳輸控制器108控制通信單元47，從而通過通信單元47控制原圖像或縮小圖像向服務器13的傳輸。通過控制通信單元47，接收控制器109控制從服務器13傳輸的圖像的特征經由通信單元47的接收。圖像的特征利用在服務器13中的各種圖像處理獲得。
設置于存儲卡43的記錄空間中的圖像存儲器110存儲原圖像和縮小圖像。
內容數據庫111、相似特征數據庫112、相似結果數據庫113、以及時間組數據庫114由存儲卡43中的預定記錄空間及其數據庫管理系統(tǒng)構成。
內容數據庫111存儲用于識別各個圖像的數據和與該數據相關的圖像的各種元數據。相似特征數據庫112存儲表示作為服務器13中圖像處理的結果而獲得的圖像特征的數據。
相似結果數據庫113存儲通過檢索單元107中的距離計算器121計算的表示兩個圖像之間的相似程度的距離。
當用戶將圖像分成組時，時間組數據庫114存儲用于識別屬于每個組的圖像的信息。
檢索結果存儲器115存儲作為檢索結果的數據。例如，檢索結果存儲器115存儲具有相應于某一權重的顏色的圖像的檢索結果。已經根據通過特定的顏色名想起各個圖像的相關度、以及根據通過用戶操作輸入的顏色名所表示的顏色的權重來執(zhí)行檢索操作。
相關度將在后面詳細描述。
圖5示出了執(zhí)行其程序的CPU 71的功能。通過執(zhí)行程序，CPU71實現了圖像分析器131、縮小圖像生成器132、元數據生成器133、條目生成器134、記錄控制器135、顯示控制器136、檢索單元137、傳輸控制器138-1和138-2、接收控制器139-1和139-2、圖像存儲器140、內容數據庫141、相似特征數據庫142、相似結果數據庫143、時間組數據庫144、相關度提取器對應存儲器145、提取特征存儲器146、以及檢索結果存儲器147。
圖像分析器131提取各個圖像的特征。更具體來說，圖像分析器131對各個圖像執(zhí)行圖像處理，從而分析圖像。圖像分析器131將作為圖像處理結果獲得的圖像特征提供給相似特征數據庫142和傳輸控制器138-1中的一個。
圖6是示出圖像分析器131的結構的框圖。圖像分析器131包括面部圖像檢測器161和相似特征量提取器162。
面部圖像檢測器161提取作為與包含在圖像中的面部圖像相關的信息的圖像的特征。例如，面部圖像檢測器161提取包含在圖像中的面部圖像的數目、圖像中面部圖像的位置、面部圖像的尺寸、以及圖像中面部圖像面向的方向。
相似特征量提取器162提取圖像的特征量，從而確定圖像的相似程度。相似特征量提取器162包括相似特征矢量計算器171和顏色特征提取器172。相似特征矢量計算器171提取兩個圖像的特征，這兩個圖像之間的相似程度根據該特征來計算。顏色特征提取器172根據圖像中每個像素的顏色，提取通過預定的顏色名想起圖像的相關度。換句話說，顏色特征提取器172提取表示以具有預定顏色名的顏色進行分類的像素的數目的特征。
返回到圖5，縮小圖像生成器132在接收控制器139-2的控制下，縮小通過網絡14從網絡服務器15-1和網絡服務器15-2中的一個獲取的原圖像。隨后，將縮小圖像記錄在圖像存儲器140上。
縮小圖像生成器132可從圖像存儲器140中讀取圖像，并縮小讀出的圖像，從而生成縮小圖像。
元數據生成器133生成原圖像的元數據。例如，元數據生成器133生成將被存儲為符合由JEIDA標準化的EXIF格式的數據的元數據。
在接收控制器139-1的控制下，被構成為數據庫管理系統(tǒng)的條目生成器134生成從數碼照相機11獲取的原圖像的條目。條目生成器134在接收控制器139-2的控制下通過網絡14從網絡服務器15-1和網絡服務器15-2中的一個獲取原圖像。如果根據原圖像獲得縮小圖像，則條目生成器134生成原圖像和縮小圖像的條目。生成的條目被存儲在內容數據庫141上。
記錄控制器135控制原圖像和縮小圖像在圖像存儲器140中的記錄。
顯示控制器136控制原圖像和GUI圖像在作為顯示器的輸出單元77上的顯示。
根據存儲在內容數據庫141、相似特征數據庫142、以及時間組數據庫144中的一個中的數據，檢索單元137檢索存儲在圖像存儲器140上的原圖像和縮小圖像，得到期望的原圖像或期望的縮小圖像。根據存儲在提取特征存儲器146中的數據，檢索單元137檢索存儲在圖像存儲器140上的原圖像和縮小圖像，得到期望的原圖像或期望的縮小圖像。檢索出單元137將檢索結果數據存儲在檢索結果存儲器147上。
檢索單元137包括距離計算器151。距離計算器151根據表示存儲在相似特征數據庫142上的圖像的特征的數據，計算表示兩個圖像之間相似程度的距離。距離計算器151使相似結果數據庫143記錄計算出的距離。
通過控制通信單元79，傳輸控制器138-1使通信單元79將作為圖像分析器131中的圖像處理結果而獲得的圖像特征傳輸給數碼照相機11。通過控制通信單元79，接收控制器139-1使通信單元79接收從數碼照相機11傳輸的原圖像和縮小圖像。
傳輸控制器138-2控制通信單元80。傳輸控制器138-2使通信單元80通過網絡14將圖像請求傳輸至網絡服務器15-1和網絡服務器15-2中的一個。通過控制通信單元80，接收控制器139-2使通信單元80接收從網絡服務器15-1和網絡服務器15-2中的一個傳輸的原圖像和縮小圖像。
設置于由硬盤構成的存儲單元78的記錄空間中的圖像存儲器140記錄原圖像和縮小圖像。圖像存儲器140可設置在加載到驅動器81上的可移動介質82(例如磁盤、光盤、磁光盤、或半導體存儲器)的記錄空間中。
內容數據庫141、相似特征數據庫142、相似結果數據庫143、以及時間組數據庫144由存儲單元78中的預定記錄空間及其數據庫管理系統(tǒng)構成。
內容數據庫141存儲用于識別各個圖像的數據和與識別數據相關的各種元數據。相似特征數據庫142存儲作為圖像分析器131中的圖像處理結果而獲得的圖像特征的數據。
相似結果數據庫113存儲通過檢索單元137中距離計算器151計算的表示兩個圖像之間相似程度的距離。
當用戶將圖像分成組時，時間組數據庫144存儲用于識別屬于每個組的圖像的信息。
相關度提取器對應存儲器145存儲表示顏色特征提取器172中的顏色名和以顏色為單位提取相關度的相關度提取器(將參照圖33詳細描述)之間對應關系的對應信息。
提取特征存儲器146存儲通過預定的顏色名想起圖像的相關度。相關度通過顏色特征提取器172提取。
檢索結果存儲器147存儲具有相應于某一權重的顏色的圖像的檢索結果。已經根據通過特定的顏色名想起每個圖像的相關度，以及根據通過由用戶操作輸入的顏色名所表示的顏色的權重執(zhí)行了檢索操作。例如，檢索結果存儲器147存儲在相關度和檢索條件(由顏色名代表的顏色的權重)下檢索得到的對應于某一權重的顏色的的圖像的檢索結果。
從圖像中提取特征，隨后將提取的特征記錄在服務器13和數碼照相機11中。下面描述該處理。
下面，參照圖7的流程圖來描述數碼照相機11的圖像拍攝處理。
在步驟S11中，成像控制器101通過數字信號處理器36、存儲器38、AF電機和變焦電機44、以及控制電路45來控制成像透鏡31，從而拍攝對象的圖像。在步驟S12中，成像控制器101使壓縮/解壓縮器41根據JPEG或JPEG 2000標準對存儲在存儲器38上的數字信號進行編碼，從而生成作為視頻數據的原圖像。成像控制器101將原圖像記錄在圖像存儲器110上。
元數據生成器103生成原圖像的元數據。例如，元數據生成器103生成嵌入通過JEIDA標準化的EXIF數據中的元數據。例如，元數據可包括原圖像的圖像拍攝時間或成像條件。
在步驟S13中，縮小圖像生成器102從存儲器38中讀取所拍攝圖像的數字信號，并縮小所拍攝的圖像，從而生成縮小圖像?？s小圖像生成器102使圖像存儲器110記錄縮小圖像。
在步驟S14中，條目生成器104生成原圖像和縮小圖像的條目。條目生成器104將所生成的條目與通過元數據生成器103生成的元數據相關聯，然后，將條目添加(存儲)在內容數據庫111中，從而結束其處理。
由于將諸如圖像拍攝時間和成像條件的元數據存儲在內容數據庫111中，所以可根據圖像拍攝時間和成像條件來檢索原圖像和縮小圖像。
手機12執(zhí)行與圖7所示的流程圖相同的圖像拍攝處理。
當如圖8所示，數碼照相機11和手機12中的一個拍攝圖像時，在內容數據庫111上存儲與原圖像201相關的元數據，并由原圖像201生成縮小圖像202。與原圖像201相關并被存儲在內容數據庫111中的元數據也與縮小圖像202相關聯。
下面，參照圖9的流程圖描述服務器13的備份處理。在該備份處理中，由數碼照相機11拍攝的圖像通過服務器13備份。當將一端連接至數碼照相機11的通用串連總線(USB)連接至服務器13時，響應于程序的啟動開始服務器13的備份處理。
在步驟S31中，服務器13中的傳輸控制器138-1和傳輸控制器138-2通過通信單元79連接至數碼照相機11。
在步驟S32中，服務器13中的傳輸控制器138-1和傳輸控制器138-2使通信單元79從數碼照相機11獲取原圖像201和縮小圖像202。例如，在步驟S32中，傳輸控制器138-1使通信單元79向數碼照相機11發(fā)送傳輸原圖像201和縮小圖像202的傳輸請求。數碼照相機11傳輸了原圖像201和縮小圖像202后，接收控制器139-1使通信單元79從數碼照相機11接收原圖像201和縮小圖像202。接收控制器139-1將所接收的原圖像201和縮小圖像202提供給圖像存儲器140。
在步驟S33中，圖像存儲器140記錄從數碼照相機11獲取的原圖像201和縮小圖像202。
在步驟S34中，圖像分析器131分析記錄在圖像存儲器140上的圖像。
圖像分析器131可以分析原圖像201或縮小圖像202。
參照圖10的流程圖更加詳細地描述步驟S34中的分析處理。
在步驟S41中，圖像分析器131中的面部圖像檢測器161從圖像中檢測面部圖像。具體而言，在步驟S41中，面部圖像檢測器161提取作為與包含在圖像中的面部圖像相關的信息的圖像特征。在步驟S41中，面部圖像檢測器161提取包含在圖像中的面部圖像的數目、圖像中每個面部圖像的位置、面部圖像的尺寸、以及面部圖像面向的方向。
具體而言，面部圖像檢測器161識別具有表示落入相應于人類皮膚的預定顏色范圍內的顏色的像素值的像素。然后，面部圖像檢測器161將通過顏色識別的像素中預定數目的連續(xù)像素所組成的區(qū)域視為面部圖像。
面部圖像檢測器161計算所檢測的面部圖像數。當將圖像的總高度和總寬度中的每一個均設置為1時，面部圖像檢測器161檢測面部圖像的垂直位置和水平位置，作為面部圖像相對于整個圖像的位置。
當將圖像的總高度和總寬度中的每一個均設置為1時，面部圖像檢測器161檢測面部圖像相對于整個圖像的高度和寬度，作為圖像中面部圖像的尺寸。
面部圖像檢測器161確定所選擇的面部圖像在每個面部假定方向上是否與多個預定義圖案中的一個相匹配。通過將與面部圖像的圖案相匹配的方向確定為面部方向，來檢測面部方向。在這種情況下，面部圖像檢測器161檢測面部的側傾角(roll angle)、俯仰角(pitch angle)、及偏轉角(yaw angle)，作為所選面部圖像的面部方向。
在步驟S42中，圖像分析器131中的相似特征量提取器162中的相似特征矢量計算器171計算作為在圖像相似程度確定中的特征量的相似特征矢量。具體而言，在步驟S42中，相似特征矢量計算器171提取兩個圖像的特征，這兩個圖像的相似程度就通過所述特征來計算。
例如，相似特征矢量計算器171計算作為顏色直方圖的相似特征矢量。
具體來說，如圖11所示，相似特征矢量計算器171將24位RGB原圖像201的167772161色減小至32色，從而生成具有32色的減色圖像221。換句話說，生成5位RGB減色圖像221。相似特征矢量計算器171從原圖像201的像素的像素值中提取預定的較高位，從而生成減色圖像221。
相似特征矢量計算器171將由RGB表示的減色圖像221的每個像素顏色轉化成以L*a*b*表示的像素顏色。相似特征矢量計算器171識別表示減色圖像221的像素顏色的L*a*b*空間中的位置。換句話說，識別通過減色圖像221的每個像素所表示的32色中的任何顏色(L*a*b*空間中的位置)。
相似特征矢量計算器171進一步確定減色圖像221中的32色的每種顏色的像素數，即，每種顏色出現的頻率，從而生成顏色直方圖。顏色直方圖的標度代表顏色，以及顏色直方圖的頻率代表顏色像素的數目。
例如，相似特征矢量計算器171計算作為垂直分量直方圖和水平分量直方圖的相似特征矢量。
如圖12所示，相似特征矢量計算器171將原圖像201分成多個塊241，每個塊241包括16像素×16像素。在垂直方向和水平方向上對塊241執(zhí)行離散傅立葉變換(DFT)處理。
具體而言，相似特征矢量計算器171對設置于每個塊241的垂直列中的16個像素執(zhí)行DFT處理，從而提取垂直列的16個像素中圖像的頻率分量。由于塊241包括16個垂直列，每個垂直列包括16個像素，因此，相似特征矢量計算器171通過在垂直方向上對塊241執(zhí)行DFT來提取16個圖像的頻率分量。
相似特征矢量計算器171以頻率為單位將作為在垂直方向上對塊241執(zhí)行DFT處理的結果的圖像的頻率分量相加。相似特征矢量計算器171從相加得到的值中除DC分量之外的八個最低頻率分量中選擇最大分量。如果該最大值小于預定閾值，則廢除塊241的處理結果。
相似特征矢量計算器171將圖像中每8個頻率在每個塊241中確定的各個最大值相加。如圖13A和圖13B所示，相似特征矢量計算器171生成表示每8個頻率的最大值的出現頻率的垂直分量直方圖。垂直分量直方圖的標度代表圖像的頻率，垂直分量直方圖的出現頻率代表提供最大頻率分量的數目。
類似地，相似特征矢量計算器171對設置于塊241的一行中的16個像素執(zhí)行DFT處理，并提取一行中16個像素的圖像的頻率分量。由于每個塊241包括16行，每行包括16個像素，所以相似特征矢量計算器171通過在水平方向上對塊241執(zhí)行DFT處理來提取16個圖像的頻率分量。
相似特征矢量計算器171將作為在水平方向上對塊241執(zhí)行DFT處理的結果而獲得的圖像的頻率分量相加。相似特征矢量計算器171以頻率為單位將作為在水平方向上對塊241執(zhí)行DFT處理的結果的圖像的頻率分量相加。相似特征矢量計算器171從相加得到的值中除DC分量之外的八個最低頻率分量中選擇最大分量。如果該最大值小于預定閾值，則廢除塊241的處理結果。
相似特征矢量計算器171將圖像中每8個頻率在每個塊241中確定的各個最大值相加。如圖13A和圖13B所示，相似特征矢量計算器171生成表示每8個頻率的最大值出現的頻率的水平分量直方圖。水平分量直方圖的標度代表圖像的頻率，水平分量直方圖中的出現頻率代表提供最大頻率分量的數目。
通過這種方式，相似特征矢量計算器171生成圖像的垂直分量直方圖和水平分量直方圖。
在步驟S42中，相似特征矢量計算器171提取顏色直方圖、垂直分量直方圖、以及水平分量直方圖作為兩個圖像的特征，根據該特征計算兩個圖像的相似程度。
返回圖10，在步驟S43中，圖像分析器131中的相似特征量提取器162內的顏色特征提取器172對圖像執(zhí)行顏色特征提取處理，從而結束處理。通過顏色特征提取處理，基于圖像像素的顏色從圖像中提取響應于預定顏色名想起圖像的相關度。稍后將參照圖36的流程圖描述顏色特征提取處理。
在步驟S34中，圖像分析器131分析記錄在圖像存儲器140上的圖像，并提取圖像的特征。
在步驟S35中，元數據生成器133生成包含步驟S34中提取的圖像特征的元數據。在步驟S36中，條目生成器134生成原圖像201和縮小圖像202的條目。條目生成器134將所生成的條目與在步驟S35中生成的元數據相關聯，并將條目添加(存儲)到內容數據庫141和相似特征數據庫142中。內容數據庫141和相似特征數據庫142記錄含有在服務器13中提取的圖像特征的元數據。
在步驟S37中，傳輸控制器138-1使通信單元79將包含圖像特征的元數據記錄到數碼照相機11的內容數據庫111和相似特征數據庫112上。具體而言，在步驟S37中，傳輸控制器138-1使通信單元79將寫入內容數據庫111和相似特征數據庫112的命令和在步驟S35中生成的元數據傳輸至數碼照相機11。當通信單元47接收到元數據和寫入內容數據庫111和相似特征數據庫112的命令時，接收控制器109將元數據和寫入內容數據庫111和相似特征數據庫的命令提供給內容數據庫111和相似特征數據庫112。一旦接收到寫入命令，內容數據庫111和相似特征數據庫112就記錄含有在服務器13中提取的圖像特征的元數據。
內容數據庫141和相似特征數據庫142以及內容數據庫111和相似特征數據庫112記錄了含有在服務器13中提取的圖像特征的相同元數據。
在步驟S38中，服務器13中的傳輸控制器138-1和接收控制器139-1使通信單元79斷開與數碼照相機11的連接，以結束其處理。
服務器13能夠對通過手機12拍攝的圖像執(zhí)行如圖9所示的相同備份處理。
如圖14所示，當通過服務器13-1和13-2中的一個來備份通過數碼照相機11和手機12中的一個所拍攝的圖像時，服務器13-1和13-2分析所備份的圖像，提取圖像特征，并通過包含所提取圖像特征的元數據261來重寫數碼照相機11和手機12中的一個。
圖15示出了描述所提取的圖像特征并與原圖像201和縮小圖像202相關聯的元數據261的具體實例。
元數據261例如以可擴展標記語言(XML)描述。
<photo>標記和</photo>標記之間設置的是與原圖像201和縮小圖像202相關的信息以及表示原圖像201和縮小圖像202的特征的信息。
<guid>標記和</guid>標記之間設置的是作為識別與元數據261相關的原圖像201和縮小圖像202的識別信息的內容ID。例如，內容ID為128位長。內容ID對原圖像201和源于原圖像201的縮小圖像202是共用的。
<FullImgPath>標記和</FullImgPath>標記之間設置的是包括作為視頻數據的原圖像201的文件的路徑和包括原圖像201的文件的文件名。<CacheImgPath>標記和</CacheImgPath>標記之間設置的是包括為視頻數據的縮小圖像202的文件的路徑和包括縮小圖像202的文件的文件名。
<TimeStamp>標記和</TimeStamp>標記之間設置的時間信息2003:03:31 06:52:32是指原圖像201是在2003年3月31日6:52:32時拍攝的。
<Faceinfo>標記和</Faceinfo>標記之間設置的是與包括在通過內容ID識別的原圖像201和縮小圖像202中的面部圖像相關的信息。
<TotalFace>標記和</TotalFace>標記之間設置的1是指包含在通過內容ID識別的原圖像201和縮小圖像202其中之一中的面部圖像數為1。具體而言，設置在<TotalFace>標記和</TotalFace>標記之間的值是指包含在通過內容ID識別的原圖像201和縮小圖像202其中之一中的面部圖像數。
<FaceEntry>標記和</FaceEntry>標記之間設置的是與一個面部圖像相關的信息。由于圖15中所示的元數據261中的面部圖像數為1，所以排列了一對<FaceEntry>標記和</FaceEntry>標記。
<x>標記和</x>標記之間設置的值表示在通過內容ID識別的原圖像201和縮小圖像202其中之一中面部圖像在水平方向上的位置。如圖15所示，<x>標記和</x>標記之間的0.328767表示在原圖像201和縮小圖像202中的一個的左端在0.0，以及原圖像201和縮小圖像202中的一個的右端在1.0的情況下，面部圖像在水平方向上的右端位置為0.328767。
<y>標記和</y>標記之間設置的值表示在通過內容ID識別的原圖像201和縮小圖像202其中之一中面部圖像在垂直方向上的位置。如圖15所示，<y>標記和</y>標記之間的0.204082表示在原圖像201和縮小圖像202中的一個的上端在0.0，以及原圖像201和縮小圖像202中的一個的下端在1.0的情況下，面部圖像在垂直方向上的上端位置為0.204082。
具體而言，<x>標記和</x>標記之間設置的是面部圖像的標準化水平位置，<y>標記和</y>標記之間設置的是面部圖像的標準化垂直位置。
<width>標記和</width>標記之間設置的值表示通過內容ID識別的原圖像201和縮小圖像202其中之一中的面部圖像的寬度(水平方向上的尺寸)。如圖15所示，<width>標記和</width>標記之間的0.408163表示在原圖像201和縮小圖像202中的一個的寬度為1.0的情況下，面部圖像的寬度為0.408163。
<height>標記和</height>標記之間設置的值表示通過內容ID識別的原圖像201和縮小圖像202其中之一中的面部圖像的高度(垂直方向上的尺寸)。如圖15所示，<height>標記和</height>標記之間的0.273973表示在原圖像201和縮小圖像202中的一個的高度為1.0的情況下，面部圖像的寬度為0.273973。
具體而言，<width>標記和</width>標記之間設置的是面部圖像的標準化寬度。<height>標記和</height>標記之間設置的是面部圖像的標準化高度。
<roll>標記和</roll>標記之間設置的值為面部圖像的側傾角。如圖15所示，<roll>標記和</roll>標記之間的0.000000表示面部圖像的側傾角為0.000000度。
<pitch>標記和</pitch>標記之間設置的值為面部圖像的俯仰角。如圖15所示，<pitch>標記和</pitch>標記之間的0.000000表示面部圖像的俯仰角為0.000000度。
<yaw>標記和</yaw>標記之間設置的值為面部圖像的偏轉角。如圖15所示，<yaw>標記和</yaw>標記之間的0.000000表示面部圖像的偏轉角為0.000000度。
側傾角為相對于前后軸(x軸)形成的角，表示面部在前后方向上的位置。俯仰角為相對于水平軸(y軸)形成的角，表示面部在左右方向上的位置。偏轉角為相對于垂直軸(z軸)形成的角，表示面部在垂直方向上的位置。
<Similarityinfo>標記和</Similarityinfo>標記之間設置的是通過內容ID識別的原圖像201和縮小圖像202中的一個的特征量。當確定通過內容ID識別的原圖像201和縮小圖像202中的一個與另一個圖像之間的相似程度時，使用該特征量。
如圖15所示，<Similarityinfo>標記和</Similarityinfo>標記之間設置的是相關度和特征量。相關度表示響應于預定顏色名想起原圖像201和縮小圖像202中的一個的關聯度，特征量用于計算圖像的顏色或頻率分量的相似程度。
<Colorinfo>標記和</Colorinfo>標記之間設置的相關度表示基于從通過內容ID識別的原圖像201和縮小圖像202其中之一中提取的原圖像201和縮小圖像202中的一個的像素的顏色，響應于特定顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。
<ColorWhite>標記和</ColorWhite>標記之間設置的相關度表示響應于從通過內容ID識別的原圖像201和縮小圖像202中的一個的像素顏色提取的白色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。如圖15所示，<ColorWhite>標記和</ColorWhite>標記之間的0示出的是表示響應于白色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度為0。
<ColorBlack>標記和</ColorBlack>標記之間設置的相關度表示響應于從通過內容ID識別的原圖像201和縮小圖像202中的一個的像素顏色提取的黑色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。如圖15所示，<ColorBlack>標記和</ColorBlack>標記之間的0示出的是表示響應于黑色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度為0。
<ColorRed>標記和</ColorRed>標記之間設置的相關度表示響應于從通過內容ID識別的原圖像201和縮小圖像202中的一個的像素顏色提取的紅色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。如圖15所示，<ColorRed>標記和</ColorRed>標記之間的0示出的是表示響應于紅色顏色名想起原圖像201和縮小圖像202中的一個的相關度為0。
<ColorYellow>標記和</ColorYellow>標記之間設置的相關度表示響應于從通過內容ID識別的原圖像201和縮小圖像202中的一個的像素顏色提取的黃色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。如圖15所示，<ColorYellow>標記和</ColorYellow>標記之間的0示出的是表示響應于黃色顏色名想起原圖像201和縮小圖像202中的一個的相關程度為0。
<ColorGreen>標記和</ColorGreen>標記之間設置的相關度表示響應于從通過內容ID識別的原圖像201和縮小圖像202中的一個的像素顏色提取的綠色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。如圖15所示，<ColorGreen>標記和</ColorGreen>標記之間的12示出的是表示響應于綠色顏色名想起原圖像201和縮小圖像202中的一個的相關度為0.12。相關度以百分率的形式表示。
<ColorBlue>標記和</ColorBlue>標記之間設置的相關度表示響應于從通過內容ID識別的原圖像201和縮小圖像202中的一個的像素顏色提取的藍色顏色名想起原圖像201和縮小圖像202中的一個的關聯程度。如圖15所示，<ColorBlue>標記和</ColorBlue>標記之間的0示出的是表示響應于藍色顏色名想起原圖像201和縮小圖像202中的一個的相關度為0。
<VectorInfo>標記和</VectorInfo>標記之間設置的是通過內容ID識別的原圖像201和縮小圖像202中的一個的特征，用于確定通過內容ID識別的原圖像201和縮小圖像202中的一個與另一個圖像之間的相似程度。
在一對<VectorInfo>標記和</VectorInfo>標記之間設置的是通過內容ID識別的原圖像201和縮小圖像202的每一個的單個特征。在圖15的元數據261中，描述了兩對<VectorInfo>標記和</VectorInfo>標記。
在每對<VectorInfo>標記和</VectorInfo>標記之間設置有<method>標記和</method>標記以及<vector>標記和</vector>標記。<method>標記和</method>標記之間描述的是特征的方式，<vector>標記和</vector>標記之間描述的是其特征量。<vector>標記和</vector>標記之間描述的特征量為矢量。
在圖15中最上面的<VectorInfo>標記和</VectorInfo>標記之間設置的<method>標記和</method>標記之間描述的顏色特征表示在隨后的<vector>標記和</vector>標記之間設置的特征量為顏色特征量。顏色特征量為參照圖11描述的顏色直方圖中示出的顏色特征量。
如圖15所示，從頂部開始的第二個<VectorInfo>標記和</VectorInfo>標記之間的<vector>標記和</vector>標記之間設置的文本特征表示在隨后的<vector>標記和</vector>標記之間的特征量為圖案(pattem)的特征量。圖案的特征量為通過頻率分量的頻率直方圖(即，參照圖12和圖13描述的垂直分量直方圖和水平分量直方圖)所表示的圖案特征量。
整個元數據261存儲在數碼照相機11的內容數據庫111和相似特征數據庫112以及服務器13的內容數據庫141和相似特征數據庫142中。具體而言，適當地分割元數據261，將一部分存儲在內容數據庫111上，剩余部分存儲在相似特征數據庫112上。在服務器13中，也將存儲在內容數據庫111中的元數據261的相同部分存儲在內容數據庫141中，并也將存儲在相似特征數據庫112中的元數據261的相同部分存儲在相似特征數據庫142中。
圖16示出了存儲在內容數據庫111和內容數據庫141其中之一中的元數據的結構。
存儲在內容數據庫111和內容數據庫141其中之一中的元數據包括內容ID、圖像拍攝時間、路徑名、文件名、組ID、與包含在圖像中的面部圖像相關的信息(下文中稱作面部圖像信息)、標簽ID、以及注釋。
圖像唯一的內容ID可識別圖像。內容ID識別原圖像201和縮小圖像202。內容ID為GUID屬性，并以字符串描述。表示拍攝圖像的日期和時間的圖像拍攝時間以協(xié)調世界時(UTC)或地方時描述。用協(xié)調世界時描述的圖像拍攝時間與以嵌入EXIF格式的日期時間初始數據中的圖像拍攝時間(UTC)一致。
以地方時描述的圖像拍攝時間為date屬性，并以日期格式描述。以地方時描述的圖像拍攝時間與以嵌入EXIF格式的日期時間初始數據中的圖像拍攝時間(地方時)一致。
諸如ms/CDIM/XXXXX/的路徑名表示原圖像201文件的目錄名(文件名)。路徑名為path屬性，并以字符串描述。
諸如DSC00001.JPG的文件名表示包含作為視頻數據的原圖像201的文件的名稱。文件名為DCFname屬性，并以字符串描述。
諸如/DATA/EVENTTIMAGE/000000000001.JPG的縮小圖像202的路徑名和文件名表示縮小圖像202的文件的目錄名和文件名?？s小圖像202的路徑名和文件名為vgaCachePath屬性，并以字符串寫入。
組ID識別圖像所屬的組。用戶將圖像分類成所期望的組。組ID識別經過分類的圖像的組。例如，通過事件(諸如旅行、運動會等)來分類圖像，將在每個事件中拍攝的圖像分成對應于事件的組。
組ID為groupID屬性，并以數字串描述。
例如，面部圖像信息表示圖像是風景照片(不包括面部圖像)、少數人物照片(1～5個人)、還是多數人物照片(6人以上)。如果面部圖像信息為1，則圖像為風景照片。如果面部圖像信息為2，則圖像為少數人物照片。如果面部圖像信息為3，則圖像為多數人物照片。面部圖像信息為faceExistence屬性，并以數字串描述。
面部圖像信息可表示圖像中包含的面部圖像數、圖像中面部圖像的位置、面部圖像的尺寸、以及面部面向的方向。
標簽ID表示附屬于圖像的標簽。標簽ID為labels屬性，并以數字串描述。
注釋為comment屬性，并以字符串描述。
保護狀態(tài)表示諸如刪除或添加的圖像保護狀態(tài)。保護狀態(tài)為protect屬性，并以邏輯數據串描述。
交換/輸入標志表示是交換還是輸入圖像。交換/輸入標志為exchangeOrImport屬性，并以邏輯數據串描述。
為真的元啟動標志表示服務器13根據圖像生成元數據。元啟動標志為metaEnableFlag屬性，并以邏輯數據串描述。
為真的備份標志表示服務器13備份圖像。備份標志為backUpFlag屬性，并以邏輯數據串描述。
圖17示出了在數碼照相機11中存儲的元數據部分和在相似特征數據庫112中存儲的元數據部分的結構。
內容項以圖像為單位存儲在內容數據庫111上。內容項由元數據261的一部分構成。
例如，內容項281-1對應于通過存儲的內容ID所識別的一個圖像，并包括內容ID、原圖像201的路徑名和文件名(圖17中的Path)、縮小圖像202的路徑名和文件名、組ID、地方時格式的圖像拍攝時間、以及面部圖像信息。對應于另一個圖像的內容項281-2包括內容ID、原圖像201的路徑名和文件名(圖17中的Path)、縮小圖像202的路徑名和文件名、組ID、地方時格式的圖像拍攝時間、以及面部圖像信息。
如果不需要區(qū)分內容項281-1和281-2，則將內容項簡稱為內容項281。
相似特征項以圖像為單位存儲在相似特征數據庫112中。相似特征項包括除內容項281之外的元數據261的部分。相似特征項包括內容ID。
內容項282-1對應于通過所存儲的內容ID識別的內容項281-1，即，對應于通過所存儲的內容ID識別的一個圖像。內容項282-1由內容ID、顏色直方圖、以及頻率分量直方圖構成。
顏色直方圖表示圖像中32中顏色中的每一種出現的頻率，并且為histogram屬性。頻率分量直方圖包括垂直分量直方圖和水平分量直方圖，并表示在圖像的每個垂直方向和水平方向上的八個頻率的頻率分量的最大值出現的頻率，并且為texture屬性。
類似地，內容項282-2對應于通過所存儲的內容ID識別的內容項281-2，即，對應于通過存儲的內容ID所識別的一個圖像。內容項282-2由內容ID、顏色直方圖、以及頻率分量直方圖構成。
如果不需要區(qū)分內容項282-1和282-2，則將內容項簡稱為內容項282。
相應于存儲在內容數據庫111上的內容項281的內容項282存儲在相似特征數據庫112上。
圖18示出了內容項282的結構。內容項282包括項目291、項目292-1～292-32、以及項目293。項目291包括內容ID、指向項目292-1～292-32的指針、以及指向項目293的指針。指向項目292-1～292-32的指針對應于顏色直方圖。指向項目293的指針對應于頻率分量直方圖。
項目292-1～292-32分別表示顏色直方圖出現的頻率，即，通過L*a*b*代表的每種顏色以及被那種顏色占據的圖像與圖像的面積比(例如，32色中的每一種的像素數)。項目292-1表示通過L*a*b*代表的作為32色其中一種的第一色，以及由第一色占據的圖像與圖像的占有率。項目292-2表示通過L*a*b*代表的作為32色其中一種的第二色，以及由第二色占據的圖像與圖像的占有率。
項目292-3～292-32(分別通過L*a*b*代表的每種顏色)包括32色中的第3至第32色，并且分別表示圖像中第3至第32色的占有率。
項目292-1～292-32通常表示單個圖像的顏色直方圖?？梢酝ㄟ^顏色特征矢量Cv表示顏色直方圖。顏色特征矢量Cv可表示為Cv＝{(c1，r1)，...，(c32，r32)}。(c1，r1)～(c32，r32)中的每一個表示通過c1～c32代表的32色的每一種對圖像的占有率。
項目293表示垂直分量直方圖和水平分量直方圖。垂直分量直方圖和水平分量直方圖的每一個均示出八個出現頻率。
由垂直分量直方圖和水平分量直方圖構成的頻率分量直方圖可以通過頻率分量矢量Tv表示?？蓪㈩l率分量矢量Tv描述為Tv＝{(t1，1)，...，(t8，1)，(t9，1)，...，(t16，1)}。(t1，1)～(t16，1)中的每一個均表示通過t1～t16中任意一個所表示的頻率分量的最大數(出現)。
下面，參照圖19的流程圖描述服務器13的圖像獲取處理。在該圖像獲取處理中，服務器13從網絡服務器15-1、網絡服務器15-2、以及其他設備中之一來獲取圖像。
在步驟S61中，服務器13中的傳輸控制器138-2和接收控制器139-2使通信單元80通過網絡14從網絡服務器15-1獲取原圖像201。
例如，在步驟S61中，傳輸控制器138-2和接收控制器139-2使通信單元80通過網絡14連接至網絡服務器15-1。傳輸控制器138-2使通信單元80通過網絡14向網絡服務器15-1發(fā)送傳輸原圖像201的請求。網絡服務器15-1通過網絡14傳輸所請求的原圖像201。傳輸控制器138-2使通信單元80接收通過網絡服務器15-1傳輸的原圖像201。傳輸控制器138-2將所接收的原圖像201提供給圖像存儲器140。
在步驟S62中，縮小圖像生成器132根據所接收的原圖像201生成縮小圖像202。例如，縮小圖像生成器132通過對原圖像201的像素進行臭氧來根據原圖像201生成縮小圖像202?？蛇x地，縮小圖像生成器132可以通過平均多個原圖像201的連續(xù)像素并通過單個平均像素值代表多個連續(xù)像素來生成縮小圖像202。
縮小圖像生成器132將所生成的縮小圖像202提供給圖像存儲器140。
在步驟S63中，圖像存儲器140記錄接收到的原圖像201和通過縮小圖像生成器132生成的縮小圖像202。
縮小圖像生成器132可從圖像存儲器140讀取原圖像201，并根據所讀取的原圖像201生成縮小圖像202。
在步驟S64中，圖像分析器131分析記錄在圖像存儲器140中上的圖像。步驟S64中的圖像分析處理與參照圖10的流程圖所描述的處理一致，此處省略對其的討論。
在步驟S65中，元數據生成器133生成包括步驟S64中提取的圖像特征的圖像的元數據。在步驟S66中，條目生成器134生成原圖像201和縮小圖像202的條目。條目生成器134將生成的條目與在步驟S65中生成的元數據相關聯，隨后，將條目存儲在內容數據庫141(和相似特征數據庫142)中。
在步驟S67中，傳輸控制器138-1和接收控制器139-1使通信單元79連接至數碼照相機11。
在步驟S68中，檢索單元137基于從數碼照相機11傳輸的數據，從記錄在圖像存儲器140上的縮小圖像202中選擇將被傳送至數碼照相機11的縮小圖像202。檢索單元137從圖像存儲器140讀取所選擇的縮小圖像202，并將讀取的縮小圖像202提供給傳輸控制器138-1。
在步驟S69中，傳輸控制器138-1使通信單元79將選擇的縮小圖像202傳輸至數碼照相機11。
在步驟S70中，傳輸控制器138-1使通信單元79以與在步驟S37中相同的方式，將作為被傳輸的縮小圖像202的元數據的圖像特征記錄在數碼照相機11中的內容數據庫111和相似特征數據庫112中。
在步驟S72中，服務器13中的傳輸控制器138-1和接收控制器139-1使通信單元79斷開與數碼照相機11的連接。于是，處理結束。
如圖20所示，服務器13-1和服務器13-2中的一個通過網絡14從網絡服務器15-1、網絡服務器15-2、以及其他設備中的一個獲取原圖像201，并記錄所獲取的原圖像201。服務器13-1和服務器13-2中的一個根據原圖像201生成縮小圖像202，并分析原圖像201，以提取原圖像201的特征。服務器13-1和服務器13-2中的一個將縮小圖像202與包括所提取的原圖像201的特征的元數據261一起寫入數碼照相機11和手機12中的一個。
下面，參照圖21的流程圖描述數碼照相機11的檢索處理。在步驟S81中，檢索單元107從存儲在數碼照相機11和手機12其中之一上的元數據中選擇將被用于檢索的元數據。例如，檢索單元107在作為檢索中使用的元數據的相關度和特征之間進行選擇。相關度表示響應于基于當用戶操作輸入單元49時來自輸入單元49的信號的圖像拍攝時間、成像條件、面部圖像信息、以及預定顏色想起圖像的關聯程度。特征被用于計算顏色或圖像的頻率分量的相似程度。
在步驟S81中，響應于來自用戶所操作的輸入單元49的信號，檢索單元107選擇在檢索記錄在圖像存儲器110中的原圖像201和縮小圖像202中的一個時的檢索范圍。
在步驟S82中，檢索單元107獲取作為從用戶所操作的輸入單元49提供的信號的檢索開始命令。
在步驟S83中，檢索單元107在檢索范圍內，從內容數據庫111和相似特征數據庫112的一個中連續(xù)讀取原圖像201和縮小圖像202中的一個的元數據261。
在步驟S84中，檢索單元107確定元數據261是否存在，即，確定元數據261是否無效。如果在步驟S84中確定元數據261存在，則處理前進至步驟S85。檢索單元107根據元數據261生成檢索結果顯示控制數據。
在步驟S85中，使用作為表示用于計算顏色或圖像的頻率分量的相似程度的特征的矢量的元數據。具體而言，基于元數據，檢索單元107基于作為所選圖像(作為基準圖像)的矢量以及作為檢索范圍內的圖像矢量的元數據來計算矢量距離。這樣，檢索單元107生成作為檢索結果顯示控制數據的矢量距離。
矢量距離越小，圖像看起來越相似。使用檢索結果顯示控制數據作為矢量距離，讀取更加相似的圖像，隨后，按照相似度的順序顯示圖像。
在步驟S85中，檢索單元107基于作為表示響應于預定顏色想起圖像的關聯程度的相關度的元數據來比較相關度與輸入閾值，并生成具有高于所輸入閾值的相關度的檢索結果顯示控制數據。
使用具有高于所輸入閾值的相關度的檢索結果顯示控制數據，響應于顏色名讀取具有較高關聯度的圖像，即，具有該顏色更多分量的圖像。這樣，僅顯示具有該顏色名的顏色的圖像。
例如，檢索單元107基于作為表示響應于預定顏色名建立關聯的關聯程度的相關度的元數據，通過計算所輸入閾值與相關度之間的距離來計算檢索結果顯示控制數據。
使用檢索結果顯示控制數據，即，輸入閾值與相關度之間的距離，讀取并隨后顯示具有期望顏色名的顏色分量的期望量的圖像。
檢索結果顯示控制數據包括內容ID，內容ID用于識別對應于檢索結果顯示控制數據的原圖像201和縮小圖像202的其中之一。
在步驟S86中，檢索單元107在檢索結果存儲器115上存儲所生成的檢索結果顯示控制數據。
在步驟S87中，檢索單元107確定是否處理了檢索范圍內的所有原圖像201或所有縮小圖像202。如果在步驟S87中確定沒有處理檢索范圍內的所有原圖像201或所有縮小圖像202，則處理返回步驟S83。檢索單元107從內容數據庫111和相似特征數據庫112中的一個中讀取檢索范圍內的下一原圖像201和下一縮小圖像202中的一個的元數據261，以重復上述處理。
如果在步驟S84中確定元數據261不存在，即，元數據261為無效，則處理返回到步驟S83。檢索單元107從內容數據庫111和相似特征數據庫112其中之一中讀取檢索范圍內的下一原圖像201和下一縮小圖像202中的一個的元數據261，并重復上述處理。
如果在步驟S87中確定處理了檢索范圍內的所有原圖像201或所有縮小圖像202，則處理前進至步驟S88。顯示控制器106從檢索結果存儲器115讀取檢索結果顯示控制數據。在步驟S89中，顯示控制器106基于檢索結果顯示控制數據從圖像存儲器110讀取原圖像201和縮小圖像202中的一個，并顯示原圖像201和縮小圖像202的其中之一。于是結束處理。
如果在步驟S85中生成作為表示用于計算顏色或圖像的頻率分量相似度的特征的矢量的距離的檢索結果顯示控制數據，則在步驟S89中，顯示控制器106在監(jiān)視器40上以相對于基準圖像相似度的順序顯示原圖像201和縮小圖像202的其中之一。
如果在步驟S85中表示作為響應于預定顏色名而想起的關聯程度的相關度的檢索結果顯示控制數據大于所輸入閾值，則在步驟S89中，顯示控制器106在監(jiān)視器40上顯示包括更多那個顏色名的顏色的原圖像201和縮小圖像202中的一個。
如果在步驟S85中生成作為表示響應于預定顏色名而想起的關聯程度的相關度與所輸入閾值值之間的距離的檢索結果顯示控制數據，則在步驟S89中，顯示控制器106在監(jiān)視器40上顯示包含期望量的具有期望顏色名的顏色的原圖像201和縮小圖像202中的一個。
手機12執(zhí)行與參照圖21的流程圖所描述的處理相同的檢索處理。服務器13執(zhí)行與參照圖21的流程圖所描述的處理相同的檢索處理。
如圖22所示，基于存儲在數碼照相機11和手機12其中之一中的內容數據庫111和相似特征數據庫112中的元數據261檢索縮小圖像202，以相同的方式，基于存儲在服務器13-1和服務器13-2其中之一中的內容數據庫141和相似特征數據庫142上的元數據261來檢索原圖像201。
下面，描述數碼照相機11的具體檢索處理。
圖23是示出數碼照相機11另一檢索處理的流程圖。在步驟S101中，顯示控制器106使縮小圖像202以時間順序顯示在監(jiān)視器40上。具體而言，在步驟S101中，圖像存儲器110響應于來自用戶操作的輸入單元49的信號，從所記錄的縮小圖像202中將預定范圍內的縮小圖像202提供給顯示控制器106。內容數據庫111將由顯示控制器106提供的預定范圍內的縮小圖像202的元數據261中圖像拍攝時的元數據提供給顯示控制器106。顯示控制器106使監(jiān)視器40以圖像拍攝時序順序，按照圖像拍攝時間顯示縮小圖像202。
如圖24所示，顯示控制器106使監(jiān)視器40以組為單位，按照圖像拍攝的時序順序顯示縮小圖像202。每個組都通過組ID來識別。圖24右側的每一個方框表示一個縮小圖像202，每個方框中的數字表示圖像拍攝順序。顯示控制器106在監(jiān)視器40上以組為單位，按照光柵掃描序列的圖像拍攝順序顯示縮小圖像202。
在步驟S101中，圖像存儲器110可在監(jiān)視器40上對圖像進行分群。
現在，對分別在時間t1～t12拍攝的圖像p1～p12進行分群。例如，在分群處理中設置條件A和條件B。根據條件A，圖像p1～圖像p12構成一群。條件A定義低粒度(粗糙)群，條件B定義高粒度(精細)群。條件B在粒度上高于條件A。例如，將事件名“結婚典禮”設置在由條件A定義的群中。
在具有事件名“結婚典禮”的群中，圖像的圖像拍攝時間的間隔變化程度小于預定閾值。
從圖像p1～p12中，條件B定義圖像p1～p3的一個群、圖像p4～p7的另一個群、以及p8～p12的再一個群。
“教堂儀式”設置在由圖像p1～p3構成的群中，“婚宴”設置在由圖像p4～p7構成的群中，“二次聚會”設置在由圖像p8～p12構成的群中。
在具有事件名“教堂儀式”的群中的圖像p1～p3之間，圖像的圖像拍攝時間的時間間隔的變化程度較小。從圖像p3至圖像p4出現相對較長的時間間隔，圖像p4是由在圖像拍攝時間(在時間軸上)的時間間隔上具有較低變化程度的圖像p4～p7構成的下一群中的第一個圖像。在圖像p3和圖像p4之間的時間間隔期間內，確定出現頻率改變。
在設置有事件名“婚宴”的群中，在圖像p4～p7之間，圖像拍攝時間的時間間隔的變化程度較小。從圖像p7至圖像p8出現相對較長的時間間隔，圖像p8是由在圖像拍攝時間(在時間軸上)的時間間隔上具有較低變化程度的圖像p8～p12構成的下一群中的第一個圖像。在圖像p7和圖像p8之間的時間間隔期間內，確定出現頻率改變。
在設置有事件名“二次聚會”的群中，在圖像p8～p12之間，圖像拍攝時間的時間間隔的變化程度較小。從圖像p12至下一圖像出現相對較長的時間間隔，下一圖像為在圖像拍攝時間(在時間軸上)的時間間隔上具有較低變化程度的下一群的第一個圖像。在圖像p12和下一圖像之間的時間間隔期間內，確定出現頻率改變。
例如，用戶手動設置事件名“結婚典禮”、“教堂儀式”、“婚宴”、以及“二次聚會”。
為對圖像分群可設置多種條件，并基于條件定義不同粒度等級的群。
將包括在這樣定義的每個群中的圖像以分層結構的方式展示給用戶。
在步驟S101中，圖像存儲器110可以使監(jiān)視器40按照日期將顯示區(qū)分成多個部分，并在預定部分中顯示縮小圖像202，使得被分配給該部分的數據與圖像拍攝的日期匹配。具體而言，在步驟S101中，圖像存儲器110以日歷格式顯示縮小圖像202。
在步驟S102中，檢索單元107基于來自用戶操作的監(jiān)視器40的信號，從在監(jiān)視器40上顯示的縮小圖像202中選擇一個縮小圖像202。
當選擇了以時序格式顯示的任意一個縮小圖像202時，顯示控制器106加亮所選擇的縮小圖像202或如圖24所示地增強所選縮小圖像202的輪廓。
當選擇了以時序格式顯示的任意一個縮小圖像202時，如圖25所示，顯示控制器106在監(jiān)視器40上放大所選擇的縮小圖像202。
在步驟S103中，檢索單元107檢索相似圖像。
圖26是示出在步驟S103中執(zhí)行的相似圖像檢索處理的流程圖。在步驟S131中，檢索單元接收來自用戶操作的輸入單元49的信號，從而通過選擇顯示在監(jiān)視器上的菜單中的“相似性檢索”項獲取相似性檢索指令。
在步驟S132中，檢索單元107通過接收來自用戶操作的監(jiān)視器40的信號來接收檢索開始指令。
在步驟S133中，檢索單元107從相似特征數據庫112讀取相應于在步驟S102中選擇的縮小圖像202的內容ID的相似特征矢量。該相似特征矢量是顏色特征矢量Cv和頻率分量矢量Tv中的一個。
在步驟S134中，檢索單元107從相似特征數據庫112讀取相應于檢索范圍內的一個縮小圖像202的內容ID的相似特征矢量。
如果在步驟S133中讀取是顏色特征矢量Cv的相似特征矢量，則在步驟S134中讀出作為顏色特征矢量Cv的相似特征矢量。如果在步驟S133中讀取作為頻率分量矢量Tv的相似特征矢量，則在步驟S134中讀取作為頻率分量矢量Tv的相似特征矢量。
在步驟S135中，檢索單元107計算在檢索范圍內的縮小圖像202的相似特征矢量與所選縮小圖像202的相似特征矢量之間的距離。
下面，描述每個都具有32個元素的顏色特征矢量Cv1＝{(c1_1，r1_1)，...，(c32_1，r32_1)}和顏色特征矢量Cv2＝{(c1_2，r1_2)，...，(c32_2，r32_2)}之間的距離的計算。
這里引入地面距離(ground distance)dij＝d(c1i，c2j)的概念。地面距離dij定義了顏色特征矢量元素之間的距離，是兩個顏色之間的歐幾里德距離(在三軸L*a*b*空間中的距離)。因此，將地面距離dij描述為dij＝‖c1i-c2j‖。
顏色特征矢量Cv1與顏色特征矢量Cv2之間的堆土機距離(EMD)通過解決確定從顏色特征矢量Cv1至顏色特征矢量Cv2的流F＝{Fji}的運輸問題來計算。此處，顏色特征矢量Cv1為供方，顏色特征矢量Cv2為需求方，dij為單位運輸成本。
通過將運輸問題的最佳值(全部運輸成本的最小值)除以流數并將商歸一化，由方程式(1)計算EMD。
EMD=minΣi=132Σj=132dijFijΣi=132Σj=132Fij---(1)]]>此時
Σi=132Σj=132Fij=Σi=132r1_iΣi=132r2_i]]>通過方程式(1)計算的EMD為顏色特征矢量Cv1和顏色特征矢量Cv2之間的距離。
以與顏色特征矢量Cv的距離相同的方式來確定頻率分量矢量Tv的距離。
可以為顏色特征矢量Cv的距離確定權重Wc，以及可以為頻率分量矢量Tv的距離確定權重Wt，并且可以使用方程式(2)計算最終距離。
distance＝EMDcolor×Wc+EMDtexture×Wt(Wc+Wt＝1) (2)用戶可以確定權重Wc和Wt。權重Wc和Wt可以為固定值。具體而言，權重Wc和Wt的每一個均可以為0.5，并且可通過平均顏色特征矢量Cv的距離和頻率分量矢量Tv的距離確定最終距離。
在1998年1月印度孟買Proceedings of the 1998 IEEEInternational Conference on Computer Vision會議上由Y Rubner、C.Tomasi、以及L.J.Guibas發(fā)表的標題為“A Metric for Distributionswith Applications to Image Databases”的論文59～66中公開了矢量距離計算中使用的EMD(堆土機距離)。矢量距離計算不限于該方法。例如，可以使用歐幾里德距離或豪斯多夫距離。在1999年12月1日由Kyoritsu Shuppan出版的Computer Science Magazine bitDecember issue，作者為Michihiro KOBAYAKAWA和MamoruHOSHI的標題為“Interactive Image Retrieval based on WaveletTransform”論文30～41和2000年5月2日由IECE出版的Technical Report of the Insitute of Electronics、Information andCommunication Engineers(IECE)，作者為K.OH、K.KANEKO、A.MAKINOUCHI、和A.UENO的標題為“Design，Implementationand Performance Evaluation of Similar Image Retrieval System Basedon Self-Organizing Feature Map”卷10、第31號、數9～16的文章中也公開了一些技術。也可以使用這些技術。
在步驟S136中，檢索單元107將距離和在檢索范圍內與其相關的圖像一起存儲到相似結果數據庫113中。例如，在步驟S136中，檢索單元107將距離與在檢索范圍內與其相關的圖像的內容ID一起存儲在相似結果數據庫113上。
圖27示出了存儲在內容數據庫111和相似特征數據庫112中的元數據以及存儲在相似結果數據庫113中的距離的結構。
如圖27所示，數據庫記錄301-1對應于內容項281-1和內容項281-1的每一個，數據庫記錄301-2對應于內容項281-2和內容項281-2的每一個。
具體而言，數據庫記錄301-1和數據庫記錄301-2的每一個均包括內容ID、相似特征矢量、原圖像201的路徑名和文件名、組ID、圖像拍攝時間、以及其他屬性。
存儲在相似結果數據庫113上的距離記錄302包括來自所選圖像的內容ID和距離。使用內容ID將距離記錄302與數據庫記錄301-1和數據庫記錄301-2的每一個相關聯。
如果不需要區(qū)分數據庫記錄301-1和數據庫記錄301-2，則將數據庫記錄稱作數據庫記錄301。
距離記錄302中的距離為distance屬性。
存儲在時間組數據庫114上的時間組記錄303包括與組唯一對應的組ID(用于識別組)、以及識別屬于通過組ID識別的組的圖像的內容ID。在時間組記錄303中的內容ID的排列為PhotoIdArray屬性。
如圖28所示，內容數據庫111、相似結果數據庫113、以及時間組數據庫114都與其記錄相關聯。一個或多個數據庫記錄301存儲在內容數據庫111和相似特征數據庫112(未示出)的每一個上，并且一個或多個時間組記錄303存儲在時間組數據庫114上。
返回圖26，在步驟S137中，檢索單元107確定是否完成了檢索范圍內的所有圖像。如果在步驟S137中確定沒有完成所有圖像，則處理返回步驟S134。檢索單元107讀取相應于檢索范圍內下一個縮小圖像202的內容ID的相似特征矢量，并重復上述處理。
如果在步驟S137中確定已經完成了所有圖像，則處理前進至步驟S138。檢索單元107從相似特征數據庫112讀取與檢索范圍內的圖像相關的距離。例如，在步驟S138中，檢索單元107從相似特征數據庫112讀取距離和用于識別檢索范圍內的圖像的內容ID。
在步驟S139中，檢索單元107根據在步驟S138中讀取的距離來分類檢索范圍內的圖像，并結束處理。例如，在步驟S139中，檢索單元107通過根據距離順序分類用于識別檢索范圍內的圖像的內容ID，從而以相似度的順序分類檢索區(qū)域內的圖像。
返回圖23，在步驟S104中，顯示控制器106在監(jiān)視器40上以相似度順序顯示縮小圖像202。具體來說，在步驟S104中，顯示控制器106從圖像存儲器110讀取縮小圖像202，并在步驟S139中，在監(jiān)視器40上以在步驟S139中分類的相似度順序顯示縮小圖像202。
如圖29所示，顯示控制器106使監(jiān)視器40以相似度順序顯示與在步驟S102中選擇的縮小圖像202相似的縮小圖像202。例如，顯示控制器106在監(jiān)視器40的顯示區(qū)的左上部中顯示在步驟S102中選擇的縮小圖像202，隨后按照相似度順序以光柵掃描順序顯示與關鍵圖像相似的縮小圖像202。圖29右側的每個小方塊表示一個縮小圖像202，每個方塊中的字母示出縮小圖像202的相似度順序。
在步驟S105中，檢索單元107響應于來自用戶所操作的輸入單元49的信號，從顯示在監(jiān)視器40上的縮小圖像202中選擇一個縮小圖像202。
如圖29所示，如果從按照相似度順序以光柵掃描格式顯示在監(jiān)視器40上的縮小圖像202中選擇標簽為B的縮小圖像202，則加亮所選擇的縮小圖像202或增強所選擇縮小圖像202的輪廓。同時，顯示控制器106在監(jiān)視器40顯示區(qū)中的關鍵圖像的下面顯示所選縮小圖像202的放大視圖。
在步驟S106中，檢索單元107響應來自用戶操作的輸入單元49的信號來確定是否取消選擇。如果檢索單元107確定不取消，則處理前進至步驟S107。檢索單元107確定是否輸入所選擇的縮小圖像202。
如果在步驟S107中確定將輸入所選縮小圖像202，則檢索單元107獲取在步驟S105中選擇的縮小圖像202的組ID。具體而言，檢索單元107讀取通過在步驟S105中選擇的縮小圖像202的內容ID所識別的元數據261，從元數據261中提取用于識別所選縮小圖像202所屬組的組ID，并獲取所選縮小圖像202的組ID。
在步驟S109中，檢索單元107從圖像存儲器110中讀取屬于通過所獲取的組ID識別的組的縮小圖像202。具體而言，檢索單元107根據所獲取的組ID檢索時間組數據庫114中的時間組記錄303。檢索單元107根據與所獲取的組ID具有相同組ID的時間組記錄303，從時間組數據庫114中讀取識別屬于通過組ID識別的組的圖像的內容ID串。檢索單元107從圖像存儲器110讀取通過內容ID識別的縮小圖像202，內容ID為所讀取的內容ID串中的元素。檢索單元107將讀出的縮小圖像202提供給顯示控制器106。
在步驟S110中，顯示控制器106使監(jiān)視器40以時序格式顯示所讀取的縮小圖像202。處理由此結束。
在步驟S110中，顯示控制器106可以使控制器40以分群格式或日歷格式來顯示縮小圖像202。
如果在步驟S107中確定沒有輸入所選的縮小圖像202，則處理返回到步驟S104，以重復步驟S104和后續(xù)步驟。
如果在步驟S106中確定將取消選擇，則處理返回到步驟S101，重復步驟S101和后續(xù)步驟。
在步驟S102和S105中，在屏幕上維持圖像被選狀態(tài)，直至選擇下一個圖像為止。在步驟S101、S104、以及S110中，以用戶可以識別所選圖像的方式來顯示其輪廓被增強的所選圖像。
具體而言，在圖像顯示過程中，通過維持所選擇的圖像狀態(tài)在時序顯示格式和相似度順序顯示格式之間執(zhí)行切換操作。
以這種方式，可以立刻顯示在接近于與預定圖像相似的圖像的圖像拍攝時間的時間所拍攝的圖像?？梢粤⒖田@示相似于在接近于預定圖像的圖像拍攝時間的時間所拍攝圖像的圖像。因此，能夠以檢索順序來追溯圖像，并且通過圖像相似度標準或接近時間標準來進行檢索。通過有效地結合時間軸檢索和相似度檢索，即使具有小屏幕尺寸的數碼照相機11也允許用戶根據相似度和時間來觀看并檢索圖像，這兩種方式都是人類記憶中的支配因素。
代表相似度的距離表示統(tǒng)計相似度，會發(fā)生檢索失敗。出現與人類感觀相似的圖像可能逃過檢索。即使發(fā)生這樣的檢索失敗，也可以在一個視圖中顯示接近事件的圖像，并且用戶仍然可以識別與人類感觀相似的圖像。
可以每年拍攝諸如觀賞櫻花、焰火、野餐聚會的事件照片?？梢詫⑦@樣的事件照片聚集起來。在執(zhí)行相似度檢索后，立刻以時序順序將圖像重新排列。以時序順序顯示的相似時間的圖像可以作為相冊使用，以幫助用戶回想事件。
數碼照相機11可在圖23的流程圖的處理中檢索原圖像201。
在圖23的流程圖中示出的檢索處理中，如圖30的上部分所示，縮小圖像202以時序順序按照組在監(jiān)視器40上顯示。如果從以時序格式顯示的縮小圖像202中選擇標簽為字母A的縮小圖像202，則檢索與標簽為字母A的縮小圖像202相似的縮小圖像202，并在監(jiān)視器40上以相似度順序顯示。
監(jiān)視器40以放大視圖顯示關鍵圖像，即，標簽為字母A的縮小圖像202。
如果從以相似度順序顯示的縮小圖像202中選擇標簽為字母B的縮小圖像202，則監(jiān)視器40以放大視圖顯示標簽為字母B的縮小圖像202作為關鍵圖像。
在監(jiān)視器40上以相似度順序顯示與標簽為字母A的縮小圖像202相似的縮小圖像202。如果取消了標簽為字母A的縮小圖像202的選擇，則以時序格式重新顯示縮小圖像202。
如果當從以相似度順序顯示的縮小圖像202中選擇標簽為字母B的縮小圖像202時選擇了回車鍵，則以時序格式顯示屬于標簽為字母B的縮小圖像202的組的縮小圖像202。在這種情況下，標簽為字母B的縮小圖像202以其輪廓被增強的方式被顯示。
可通過圖像拍攝日期將縮小圖像202來分成組。以組為單位，監(jiān)視器40以時序格式顯示具有接近于標簽為字母B的縮小圖像202的圖像拍攝日期的縮小圖像202。
下面，描述服務器13的檢索處理。圖31是示出服務器13的檢索處理的流程圖。在步驟S161中，服務器13中的顯示控制器136使作為顯示單元的輸出單元77以時序格式顯示原圖像201。具體來說，在步驟S161中，圖像存儲器140響應于來自用戶操作的輸入單元76的信號，從記錄在其上的原圖像201中，將檢索范圍內的原圖像201提供給顯示控制器136。內容數據庫141將落入提供給顯示控制器136的預定范圍內的原圖像201的元數據261中圖像拍攝時處的元數據261提供給顯示控制器136。顯示控制器136根據圖像拍攝時間，使輸出單元77以圖像拍攝的時序順序顯示原圖像201。
例如，如圖32的右部所示，顯示控制器136使輸出單元77以圖像拍攝時間順序(即，沿時間軸)顯示縮小圖像202。顯示控制器136使輸出單元77以組為單位，按拍攝順序顯示原圖像201。
在步驟S162中，響應于來自通過用戶操作的輸入單元76的信號，檢索單元137選擇顯示輸出單元77上的原圖像201中的一個。
在步驟S163中，檢索單元137執(zhí)行相似圖像的檢索處理。步驟S163中的檢索處理通過檢索單元137執(zhí)行，而不是檢索單元107。步驟S163中的檢索處理的其余部分與參照圖26描述的相同，此處省略對其的討論。
在步驟S164中，顯示控制器136使輸出單元77以相似度順序顯示原圖像201。具體而言，在步驟S164中，顯示控制器136使輸出單元77以分類的相似度順序顯示原圖像201。
例如，如圖32的左部所示，顯示控制器136使輸出單元77以相似度順序來顯示與在步驟S162中選擇的原圖像201相似的原圖像201。
在步驟S165中，檢索單元137響應于來自通過用戶操作的輸入單元49的信號，從顯示在輸出單元77上的原圖像201中選擇一個原圖像201。
在步驟S166中，檢索單元137響應于來自通過用戶操作的通信單元47的信號，確定是否以時序格式顯示圖像。例如，響應于當用戶選擇顯示在輸出單元77上的切換按鈕351和切換按鈕352中的一個時從輸入單元76輸入的信號，檢索單元137確定是否以時序順序顯示圖像。
當在輸入單元77上選擇使圖像以時序格式顯示的切換按鈕351時，確定在步驟S166中執(zhí)行時序顯示。處理前進至步驟S167。
在步驟S167中，檢索單元137從內容數據庫141中獲取所選原圖像201的組ID。具體而言，檢索單元137從內容數據庫141中讀取通過所選原圖像201的內容ID所識別的元數據261，并從讀取的元數據261中提取識別所選原圖像201的組的組ID。這樣，檢索單元137獲得所選原圖像201的組ID。
在步驟S168中，檢索單元137從圖像存儲器140中讀取屬于通過所獲取的組ID識別的組的原圖像201。檢索單元137根據所獲取的組ID來檢索時間組數據庫144的時間組記錄303。檢索單元137根據包括與所獲取的組ID相同的組ID的時間組記錄303，從時間組數據庫144中讀取用于識別屬于通過組ID識別的組的圖像的內容ID串。檢索單元137從圖像存儲器140中讀取通過作為所讀取的組ID串的元素的內容ID識別的原圖像201。檢索單元137將讀出的原圖像201提供給顯示控制器136。
在步驟169中，顯示控制器136使輸出單元77顯示所讀取的原圖像201。具體而言，在步驟S169中，顯示控制器136使輸出單元77以時序格式顯示原圖像201。
在步驟S170中，檢索單元137響應于來自通過用戶操作的輸入單元76的信號，從顯示在輸出單元77上的原圖像201中選擇一個原圖像201。
在步驟S171中，檢索單元137響應于來自通過用戶操作的輸入單元49的信號，確定是否以時序格式顯示圖像。例如，檢索單元137響應于當通過用戶選擇顯示在輸出單元77上的切換按鈕351和切換按鈕352中的一個時從輸入單元76輸入的信號，確定是否以時序格式顯示圖像。
如果通過用戶選擇了輸出單元77上以相似度順序顯示圖像的切換按鈕352，則在步驟S171中，檢索單元137確定以相似度順序顯示圖像。如果在步驟S171中確定以時序格式顯示圖像，則處理返回到步驟S163。
如果通過用戶選擇了輸出單元77上以時序順序顯示圖像的切換按鈕351，則在步驟S171中，檢索單元137確定不以相似度順序顯示圖像。處理返回到步驟S167，以重復步驟S167和后續(xù)步驟。
如果在步驟S166中選擇切換按鈕352，則不以時序格式顯示圖像，處理返回到步驟S163，以重復步驟S163和后續(xù)步驟。
響應于顯示在輸出單元77上的切換按鈕351和切換按鈕352的選擇操作，可隨意執(zhí)行相似度順序顯示和時序順序顯示之間的切換操作。
下面，描述服務器13的相關度提取處理。
數碼照相機11、手機12、以及服務器13使用作為圖像特征的顏色名和顏色名的相關度來檢索圖像。服務器13從圖像中提取預定顏色名的相關度，作為圖像的一個特征。
顏色名的相關度指的是響應于特定顏色名想起圖像的關聯程度。換句話說，相關度指的是圖像被看作具有特定顏色名的顏色的顏色比。
顏色名為紅色、藍色、黃色、白色、黑色、綠色等。
圖33是示出用于提取顏色名的相關度的顏色特征提取器172的結構框圖。顏色特征提取器172包括圖像輸入單元401、紅色相關度提取器402、藍色相關度提取器403、黃色相關度提取器404、以及提取特征記錄器405。
為了舉例，僅描述了紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404，可以使用用于提取任意顏色相關度的任意數目的相關度提取器。具體而言，能以顏色名為單位預備相關度提取器。
在下面描述的實例中，結合了紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404。
圖像輸入單元401從圖像存儲器140獲取原圖像201，從原圖像201提取相關度。圖像輸入單元401從相關度提取器對應存儲器145中獲取顏色名和表示與紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404的每一個相對應的對應信息。
如圖34所示，在相關度提取器對應存儲器145上記錄的對應信息包括顏色名和用于識別紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404的信息，從中提取顏色名的相關度。例如，如圖34所示，顏色名“紅色”對應于紅色相關度提取器402，顏色名“藍色”對應于藍色相關度提取器403，以及顏色名“黃色”對應于黃色相關度提取器404。
基于對應信息，圖像輸入單元401將從圖像存儲器140獲取的原圖像201提供給紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404。
紅色相關度提取器402從圖像輸入單元401提供的原圖像201中提取表示響應于紅色顏色名想起原圖像201的關聯程度的相關度。隨后，紅色相關度提取器402將從原圖像201提取的、表示響應于紅色顏色名的關聯程度的相關度提供給提取特征記錄器405。
藍色相關度提取器403從圖像輸入單元401提供的原圖像201中提取表示響應于藍色顏色名想起原圖像201的關聯程度的相關度。隨后，藍色相關度提取器403將從原圖像201提取的、表示響應于藍色顏色名的關聯程度的相關度提供給提取特征記錄器405。
黃色相關度提取器404從圖像輸入單元401提供的原圖像201中提取表示響應于黃色顏色名想起原圖像201的關聯程度的相關度。隨后，黃色相關度提取器404將從原圖像201提取的、表示響應于黃色顏色名的關聯程度的相關度提供給提取特征記錄器405。
提取特征記錄器405將分別來自紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404的表示相應于紅色顏色名的關聯程度的相關度、表示相應于藍色顏色名的關聯程度的相關度、以及表示相應于黃色顏色名的關聯程度的相關度與原圖像201相關聯，隨后，在提取特征存儲器146中存儲得到的相關度。
如圖35所示，提取特征存儲器146將表示相應于紅色顏色名的關聯程度的相關度、表示相應于藍色顏色名的關聯程度的相關度、以及表示相應于黃色顏色名的關聯程度的相關度與用于識別原圖像201的內容ID一起存儲。
如上所述，圖像輸入單元401輸入記錄在圖像存儲器140上的原圖像201。不僅可以輸入并處理原圖像201，而且還可以輸入并處理縮小圖像202或減色圖像221。除圖像之外，可通過圖像輸入單元401輸入與用于提取各個相關度的圖像相關的顏色直方圖。隨后，紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404可以從輸入的直方圖中提取其相關度。
圖35示出了記錄在提取特征存儲器146上的相關度的邏輯結構。如圖所示，與內容ID 000相關，提取特征存儲器146存儲有表示相應于紅色顏色名的關聯程度的相關度0.80、表示相應于藍色顏色名的關聯程度的相關度0.00、以及表示相應于黃色顏色名的關聯程度的相關度0.10，它們都根據通過內容ID 000識別的原圖像201提取。與內容ID 001相關聯，提取特征存儲器146存儲有表示相應于紅色顏色名的關聯程度的相關度0.00、表示相應于藍色顏色名的關聯程度的相關度0.25、以及表示相應于黃色顏色名的關聯程度的相關度0.20，它們都由通過內容ID 001識別的原圖像201提取。此外，與內容ID 002相關，提取特征存儲器146存儲了表示相應于紅色顏色名的關聯程度的相關度0.15、表示相應于藍色顏色名的關聯程度的相關度0.05、以及表示相應于黃色顏色名的關聯程度的相關度0.00，它們都由通過內容ID 002識別的原圖像201提取。
提取特征記錄器405將分別由紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404提供的表示相應于紅色顏色名的關聯程度的相關度、表示相應于藍色顏色名的關聯程度的相關度、以及表示相應于黃色顏色名的關聯程度的相關度作為元數據261，在與原圖像201相關聯的情況下存儲到相似特征數據庫142上。
相關度可嵌入作為EXIF數據的原圖像201的預定區(qū)域中。
檢索單元137檢索作為圖像特征的顏色名和顏色名的相關度。在這種情況下，檢索單元137可以包括檢索條件輸入單元421和條件匹配單元422。
檢索條件輸入單元421響應于來自通過用戶操作的輸入單元76的信號來接收相關度的檢索條件。檢索條件輸入單元421將相關度的檢索條件提供給條件匹配單元422。
條件匹配單元422將由檢索條件輸入單元421提供的檢索條件與記錄在提取特征存儲器146上的相關度進行匹配。條件匹配單元422將匹配結果，即，相應于滿足檢索條件的相關度的內容ID存儲至檢索結果存儲器147。
圖36是詳細示出相應于步驟S43的顏色特征提取處理的流程圖。在步驟S201中，圖像輸入單元401從圖像存儲器140接收原圖像201，作為提取相關度的目標圖像。圖像輸入單元401還從相關度提取器對應存儲器145接收對應信息。
在步驟S202中，圖像輸入單元401接收顏色名。在步驟S203中，響應于對應信息，圖像輸入單元401識別紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404中的哪一個對應于所輸入的顏色名。
例如，如果在步驟S202中輸入紅色顏色名，則圖像輸入單元401響應于步驟S203中的對應信息識別紅色相關度提取器402。
圖像輸入單元401將輸入的原圖像201提供給紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404中識別出的任意一個。
在步驟S204中，在步驟S203中識別出的紅色相關度提取器402、藍色相關度提取器403、以及黃色相關度提取器404的其中一個執(zhí)行相關度提取處理。稍后將詳細描述相關度提取處理。
將所提取的相關度提供給提取特征記錄器405。
在步驟S205中，提取特征記錄器405在提取特征存儲器146上存儲提取出的相關度，作為與用于提取相關度的目標圖像的原圖像201相關的顏色特征矢量。
在步驟S206中，圖像輸入單元401確定是否已經從所有顏色名的原圖像201中提取了相關度。如果沒有完成所有顏色名，則處理返回到步驟S202，以輸入下一顏色名并重復后續(xù)步驟。
如果在步驟S206中確定當前顏色名為最后的顏色名，即，已經從所有顏色名中的原圖像201中提取了相關度，則處理結束。
圖37是詳細示出相應于當在步驟S203中識別紅色相關度提取器402時執(zhí)行的圖36中步驟S204的相關度提取處理的流程圖。
在步驟S221中，紅色相關度提取器402對其內部計數器清零。在將被首先執(zhí)行的步驟S222中，紅色相關度提取器402接收第一像素的顏色，即，原圖像201的第一像素的像素值。在步驟S223中，紅色相關度提取器402計算像素的顏色在色空間中的位置。
在步驟S224中，紅色相關度提取器402確定算出的在顏色空間中的位置是否在對應于紅色顏色名的子空間內。
下面，描述計算像素的顏色在顏色空間中的位置。
例如，通過RGB表示原圖像201中每個像素的像素值。像素值由R值、G值、以及B值構成。通過相互垂直的三個軸(即，R軸、G軸、以及B軸)來定義RGB空間。一個像素值確定一個在RGB顏色空間中的位置。
在RGB顏色空間中，很難通過單個區(qū)域描述被人類感知為某一顏色名的顏色的顏色位置。
現在，考慮通過在L*a*b*空間中的位置來描述像素的顏色。如圖39所示，將L*a*b*空間定義為互相垂直的三個軸，即，L*軸，a*軸、及b*軸。在L*a*b*空間中，L*軸中的值L*越大，亮度越高，L*軸中的值L*越小，亮度越低。給定恒定的L*值，隨著其越接近L*軸，顏色飽和度越低。
一個像素值確定L*a*b*空間中的一個位置。
在L*a*b*空間中，通過一個區(qū)域描述被人類感知為某一顏色名的顏色的顏色位置。包括由人類感知為預定顏色名的顏色的顏色位置的區(qū)域稱作子空間。子空間為在L*a*b*空間中具有寬度的區(qū)域。
下面，描述白色和黑色子空間的實例。
圖40示出了白色子空間441和黑色子空間442。白色子空間441為具有與L*軸共線的一個軸的橢圓體部分。橢圓體的形心(graphical center)位于L*a*b*空間的頂部位置(給出L*軸最大值的位置)。白色子空間441為橢圓體的內部空間部分，也為L*a*b*空間所共有。白色子空間441提供低色飽和度，同時提供高亮度。處于白色子空間441內的位置所表示的顏色被人類感知為白色。
黑色子空間442為具有與L*軸共線的一個軸的橢圓體部分。橢圓體的形心位于L*a*b*空間的底部位置(給出L*軸最小值的位置)。黑色子空間442為橢圓體的內部空間部分，也為L*a*b*空間所共有。黑色子空間442提供低色飽和度，同時提供低亮度。處于黑色子空間442內的位置所表示的顏色被人類感知為黑色。
下面，描述紅色、黃色、綠色、以及藍色的子空間。
由于紅色、黃色、綠色、以及藍色為彩色，所以從L*a*b*空間中排除色飽和度邊界461內的空間、亮度下限邊界462以下的空間、亮度上限邊界463以上的空間。色飽和度邊界461內的空間提供低色飽和度，由該空間內的位置所代表的任何顏色都無法被人類感知為紅色、黃色、綠色、或藍色。
亮度下限邊界462以下的空間提供低亮度，由處于該空間內的位置所代表的任何顏色都無法被人類感知為紅色、黃色、綠色、或藍色。
亮度上限邊界463以上的空間提供高亮度，處于該空間內的位置所代表的任何顏色都無法被人類感知為紅色、黃色、綠色、或藍色。
在除色飽和度邊界461內的空間、亮度下限邊界462以下的空間、亮度上限邊界463以上的空間之外的L*a*b*空間內的任何顏色可以被人類感知為紅色、黃色、綠色、或藍色。
如圖42所示，通過從垂直于由a*軸和b*軸構成的平面的L*軸放射性延伸的邊界來分割除色飽和度邊界461內的空間、亮度下限邊界462以下的空間、亮度上限邊界463以上的空間之外的L*a*b*空間的空間。例如，如果從L*軸正值部分以上的位置觀看L*a*b*空間，則綠色子空間481為沿著a*軸并被在a*軸負值部分以上從L*軸延伸的邊界和在a*軸負值部分以下從L*軸延伸的邊界所包圍的空間。
如果從L*軸正值部分以上觀看L*a*b*空間，則藍色子空間482為沿著b*軸并被向b*軸負值部分右側從L*軸延伸的邊界和向b*軸負值部分左側從L*軸延伸的邊界所包圍的空間。通過藍色子空間482內的位置代表的顏色被人類感知為藍色。
如果從L*軸正值部分以上觀看L*a*b*空間，則紅色子空間483為沿著a*軸并被向a*軸正值部分以上延伸的邊界和向a*軸負值部分以下延伸的邊界所包圍的空間。紅色子空間483內的位置所代表的顏色被人類感知為紅色。如果從L*軸正值部分之上觀看L*a*b*空間，則黃色子空間484為沿著b*軸并被向b*軸正值部分右側延伸的邊界和向b*軸正值部分左側延伸的邊界所包圍的空間。黃色子空間484內的位置所表示的顏色被人類感知為黃色。
在步驟S223中，紅色相關度提取器402計算對應于像素顏色的在L*a*b*空間內的位置。在步驟S224中，紅色相關度提取器402確定所計算的在L*a*b*空間內的位置是否落入對應于紅色顏色名的紅色子空間483中。具體而言，在步驟S224中，紅色相關度提取器402確定像素的顏色是否為能被人類感知為紅色的顏色。
如果在步驟S224中確定所計算的在L*a*b*空間內位置在對應于紅色顏色名的紅色子空間483內，則像素顏色為能被人類感知的顏色，處理前進至步驟S225。紅色相關度提取器402將計數器加1，隨后前進至步驟226。
如果在步驟S224中確定所計算的在L*a*b*空間中位置不在對應于紅色顏色名的紅色子空間483內，則像素的顏色不是被人類感知為紅色的顏色。處理跳過步驟S225前進至步驟S226，即，不增加計數器。
在步驟S226中，紅色相關度提取器402確定是否已經處理了原圖像201中的所有像素。如果在步驟S226中確定沒有處理完原圖像201中的所有像素，則處理返回到步驟S222。輸入顏色(即，原圖像201中下一像素的像素值)，隨后重復上述處理。
如果在步驟S226中確定已經處理了原圖像201中的所有像素，則處理前進至步驟S227。紅色相關度提取器402將計數器的計數值除以原圖像201的像素值。以這種方式，計算在原圖像201中被確定為紅色的顏色的比率。
在步驟S228中，紅色相關度提取器402將除法結果視為紅色相關度，并將紅色相關度提供給提取特征記錄器405，從而完成其處理。
已經討論了L*a*b*空間的子空間。本發(fā)明不限.于L*a*b*空間?？梢圆捎檬褂每臻g來描述顏色名的顏色的顏色空間。使用這樣的顏色空間，可基于顏色空間中的子空間來確定相關度。
在圖37的相關度提取處理中，執(zhí)行關于確定每個像素的顏色是否落入子空間內的二進制值確定處理。各個像素的顏色是否接近于子空間中心附近或是否接近于子空間的外圍可用于確定相關度。
下面，描述在該情況下的相關度提取處理。
圖43是詳細示出當在步驟S203中識別出紅色相關度提取器402時執(zhí)行的圖36的步驟S204中的另一相關度提取處理的流程圖。在步驟S241中，紅色相關度提取器402清除所存儲的相關度。在將被第一次執(zhí)行的步驟S242中，紅色相關度提取器402接收顏色(即，原圖像201的像素中的第一像素的像素值)。在步驟S243中，紅色相關度提取器402計算對應于像素顏色的在顏色空間中的位置。
在步驟S244中，紅色相關度提取器402計算所計算的在顏色空間中的位置落入對應于顏色名的子空間內的確信因子。具體來說，在步驟S244中，紅色相關度提取器402計算所計算的在顏色空間中的位置落入對應于紅色顏色名的子空間483內的確信因子。
確信因子為表示每個像素的顏色接近于子空間的中心附近或接近于子空間的外圍的確定性程度，并隨著所計算的位置向外遠離子空間的中心而從1～0持續(xù)減小。
例如，在步驟S244中，當所計算的位置接近于紅色子空間483的中心時，紅色相關度提取器402得出確信因子接近于1，當所計算的位置接近于紅色子空間483的外圍時，得到確信因子接近于0。
在步驟S245中，紅色相關度提取器402將確信因子與相關度相加。在步驟S246中，紅色相關度提取器402確定當前的像素是否為最后的像素，即，是否已經處理了原圖像201中的所有像素。如果在步驟S246中確定像素不是最后一個，則處理返回到步驟S242。輸入顏色(即，原圖像201中下一像素的像素值)，并重復上述處理。
如果在步驟S246中確定當前像素為最后的像素，即，已經處理了原圖像201中的所有像素，則紅色相關度提取器402將紅色相關度提供給提取特征記錄器405，并完成其處理。
如果基于確信因子計算相關度，則所得的相關度更接近于人類感觀。特別地，當圖像包括大量更接近于子空間邊界的顏色時，得出更可靠的相關度。
在參照圖37描述的相關度提取處理的步驟S224中的處理為二進制分類處理，用于確定像素顏色是否為特定顏色名的顏色，可以用各種模式識別技術來代替。
下面，描述使用這種技術的相關度提取處理圖44是詳細示出當在步驟S203中識別出紅色相關度提取器402時在圖36的步驟S204中執(zhí)行的另一相關度提取處理的流程圖。步驟S261和S262分別與圖37的步驟S221和S222相同，此處省略對其的討論。
在步驟S263中，紅色相關度提取器402識別像素顏色的模式。
例如，在步驟S263中，紅色相關度提取器402使用神經網絡識別像素的顏色。例如，在由CORONA PUBLISHING CO.LTD出版的作者為Junichiro TORIWAKI的“Recognition Engineering-Pattern Recognition and Applications thereof”中描述了使用神經網絡的模式識別技術。
在該模式識別中，預先人工收集表示具有特定顏色值(L*a*b*)的顏色是否為特定顏色名的顏色的多條確定數據，對所收集的確定數據執(zhí)行神經網絡學習處理，以生成識別所需的參數。
圖45示出了表示顏色值是否為藍色的確定數據的實例。在圖45的確定數據中，通過L*值0.02、a*值0.04、b*值0.10識別的顏色不是藍色，通過L*值0.72、a*值0.00、b*值0.12識別的顏色是藍色，而通過L*值0.28、a*值-0.02、b*值0.15識別的顏色不是藍色。
神經網絡的使用允許根據這樣生成的參數將像素的顏色確定為特定顏色名的顏色。
只要能夠確定像素的顏色是否為特定顏色名的顏色，就可以采用任意模式識別技術。例如，可使用支持向量機(SVM)技術。
在步驟S264中，紅色相關度提取器402確定關于像素的顏色是否屬于紅色的識別結果。如果在步驟S264中確定像素的顏色屬于紅色，則處理前進至步驟S265。紅色相關度提取器402將計數器加1，隨后前進至步驟S266。
如果在步驟S264中確定像素的顏色不屬于紅色，則處理跳過步驟S265前進至步驟S266，即，不增加計數器。
步驟S266～S268分別與步驟S226～S228相同，此處省略對其的討論。
此外，可以使用模式識別技術來計算確信因子。
圖46是詳細示出當在步驟S203中識別出紅色相關度提取器402時在圖36的步驟S204中執(zhí)行的相關度提取處理的流程圖。步驟S281與圖43的步驟S241相同，此處省略對其的討論。步驟S282和S283分別與圖44的步驟S262和S263相同，此處省略對其的討論。
在步驟S284中，紅色相關度提取器402計算像素的顏色屬于一定顏色名的顏色的確信因子，作為識別結果。具體而言，在步驟S284中，紅色相關度提取器402計算像素的顏色屬于紅色的確信因子作為識別結果。例如，可將輸入到神經網絡輸出層的值作為確信因子。
步驟S285和步驟S286分別與圖43的步驟S245和S246相同，此處省略對其的討論。
除藍色相關度提取器403和黃色相關度提取器404的操作和子空間不同之外，當在步驟S203中識別藍色相關度提取器403時在圖36的步驟S204中執(zhí)行的相關度提取處理和當在步驟S203中識別黃色相關度提取器404時在圖36的步驟S204中執(zhí)行的相關度提取處理分別與當在步驟S203中識別紅色相關度提取器402時在步驟S204中執(zhí)行的相關度處理相同。其余處理與參照圖37、43、44、以及46討論的處理保持不變，此處省略對其的討論。
圖47是示出檢索處理的流程圖。在步驟S311中，檢索條件輸入單元421響應于來自通過用戶操作的輸入單元76的信號，獲取與相關度相關的檢索條件。檢索條件輸入單元421將與相關度相關的檢索條件提供給條件匹配單元422。
如圖48所示，在作為顯示單元的輸出單元77上顯示圖形用戶界面(GUI)圖像。如圖48所示，由用戶操作的滑動條491指定每種顏色的粒度(閾值)作為檢索條件。當通過用戶選中復選框492時，在步驟S311中獲取對應于所選復選框492的由滑動條491指定的顏色名的粒度作為檢索條件。
當選中黑色復選框492、紅色復選框492、以及綠色復選框492時，在步驟S311中獲取通過黑色滑動條491指定的黑色粒度、通過紅色滑動條491指定的紅色粒度、以及通過綠色滑動條491指定的綠色粒度作為檢索條件。
當選擇AND查找單選按鈕493時，將通過滑動條491指定的顏色粒度的邏輯“與”設置為最終檢索條件。當選擇OR查找單選按鈕494時，將通過滑動條491指定的顏色粒度的邏輯“或”設置為最終檢索條件。
具體而言，在步驟S311中，檢索條件輸入單元421獲取以針對多個顏色名的邏輯式所表示的檢索條件，例如，(“紅色”＞0.5)AND(“藍色”≥0.5)AND(“綠色”＜0.1)。
用戶可能希望檢索藍色天空的照片。于是，用戶輸入檢索條件“藍色”≥0.3。在步驟S311中，檢索條件輸入單元421獲取檢索條件“藍色”≥0.3。
用戶可能希望檢索摘草莓的照片，并輸入檢索條件(“紅色”＞0.1)AND(“綠色”≥0.3)。在步驟S311中，檢索條件輸入單元421獲取檢索條件(“紅色”＞0.1)AND(“綠色”≥0.3)。
檢索條件中顏色的顏色名不一定是通過相關度提取器所定義(預備)的顏色名。具體而言，檢索條件中顏色的顏色名可以為所定義的顏色名的一部分或一個顏色名。
可以直接以數字輸入顏色名，隨后獲取。
在步驟S312中，條件匹配單元422從提取特征存儲器146獲取將被檢索的原圖像201的顏色特征矢量。
在步驟S313中，條件匹配單元422確定所獲取的顏色特征矢量是否滿足檢索條件。在步驟S313中，將獲取的顏色特征矢量的元素中相對于所選中的復選框492的顏色名的元素與通過滑動條491指定的顏色名的粒度進行比較。如果顏色特征矢量的顏色名的元素高于所指定的粒度，則條件匹配單元422確定顏色特征矢量滿足檢索條件。
例如，顏色粒度的邏輯“與”可以為最終檢索條件。如果顏色特征矢量的顏色名的元素高于在對應于所選中復選框492的顏色名的所有元素中的所指定的粒度，則條件匹配單元422在步驟S313中確定顏色特征矢量滿足檢索條件。例如，顏色粒度的邏輯“或”可以為最終檢索條件。如果顏色特征矢量的顏色名的元素高于在對應于所選中復選框492的顏色名的任意元素中的所指定的粒度，則條件匹配單元422在步驟S313中確定顏色特征矢量滿足檢索條件。
如果在步驟S313中確定所獲取的顏色特征矢量滿足檢索條件，則處理前進至步驟S314。條件匹配單元422額外將用于識別對應于在步驟S312中獲取的顏色特征矢量的原圖像201的內容ID存儲至檢索結果存儲器147，隨后，前進至步驟S315。
如果在步驟S313中確定所獲取的顏色特征矢量不滿足檢索條件，則處理跳過步驟S314前進至步驟S315，即，不另外將內容ID存儲在檢索結果存儲器147上。
在步驟S315中，檢索條件輸入單元421確定當前圖像是否為最后的圖像，即，是否已經完成了所有圖像。如果在步驟S315中確定沒有檢索所有的圖像，則處理返回到步驟S312。隨后獲取下一原圖像201的顏色特征矢量，以重復上述處理。
如果在步驟S315中確定當前圖像為最后的圖像，即，已經檢索了所有圖像，則處理結束。
在上面的處理之后，在檢索結果存儲器147中存儲識別滿足檢索條件的原圖像201的內容ID。
圖49A～圖49D示出了存儲在檢索結果存儲器147上并顯示在作為顯示單元的輸出單元77上的通過內容ID識別的原圖像201的實例。例如，綠色復選框492可能被選中，綠色滑動條491可以指定粒度。如圖49A所示，在輸出單元77上顯示包括大量綠色的原圖像201?？梢酝ㄟ^在綠色滑動條491上指定的粒度來選中綠色復選框492，可以通過在紅色滑動條491上指定的粒度來選中紅色復選框492，并且可以選擇AND查找單選按鈕493。如圖49B所示，在輸出單元77上顯示包括大量綠色和紅色的原圖像201。
可以通過在藍色滑動條491上指定的粒度來選中藍色復選框492。如圖49C所示，在輸出單元77上顯示包括大量藍色的原圖像201?？梢酝ㄟ^在藍色滑動條491上指定的粒度來選中藍色復選框492，可以通過在白色滑動條491上指定的粒度來選中白色復選框492，并且可以選擇AND查找單選按鈕493。在這種情況下，如圖49C所示，在輸出單元77上顯示包括大量藍色和白色的原圖像201。
用戶很容易估計在期望的圖像中包括什么顏色。因此，用戶能夠容易地查找并檢索期望的圖像根據檢索結果，用戶能夠通過縮小了的檢索條件(即，修改后的粒度)來檢索圖像。因此，用戶能夠更加容易地檢索期望的圖像。
因此，用戶能夠根據每個圖像的顏色印象和環(huán)境直觀地檢索圖像。
由于在圖像收集上設置了多種檢索條件，所以可以以任意粒度獲取圖像檢索結果。
可以從圖像中提取包括相關度的顏色特征矢量，使得可以根據與相關度大小比較的結果或邏輯計算來檢索圖像。因此，能夠快速檢索圖像。
由于以相對較小位數的數值來描述相關度，因而減小了顏色特征矢量的數據大小。實現了顏色特征矢量的較小記錄空間。
數碼照相機11和手機12作為設備進行描述。只要設備能夠處理圖像就可以采用任何設備。例如，可以采用移動播放器或移動取景器作為設備。
通過所記錄的圖像的元數據，設備能夠檢索圖像。設備拍攝圖像，將與圖像對應的信息和與該信息相關的圖像記錄為具有預定數據結構的數據，并控制圖像向圖像處理裝置的傳輸。圖像處理裝置控制從設備傳輸的圖像的接收，提取所接收圖像的特征，將從圖像中提取的特征和與特征相關的圖像存儲為與設備中的數據具有相同數據結構的數據，并控制圖像特征向設備的傳輸。在這種配置中，即使具有相對較小處理能力的設備也能檢索期望圖像。
通過所記錄的圖像的元數據，設備能夠檢索圖像。提取圖像的特征，并將從圖像提取的特征和與特征相關的圖像存儲為具有預定數據結構的數據。將與圖像相關的信息存儲為與設備中數據具有相同數據結構的數據?？刂茢祿蛟O備的傳輸。在這種配置中，即使具有相對較小處理能力的設備也能夠檢索期望圖像。
可以使用硬件或軟件執(zhí)行上面的系列處理步驟。如果使用軟件執(zhí)行上面的系列處理步驟，則可以在包含于硬件結構中的計算機中或執(zhí)行多種處理的通用個人計算機中安裝構成該軟件的計算機程序。
如圖2和圖3所示，記錄將被安裝在計算機中并將被計算機執(zhí)行的程序的記錄介質包括包括磁盤(包括軟盤)、光盤(包括壓縮光盤只讀存儲器(CD-ROM)、數字通用光盤(DVD)、及磁光盤)、或半導體存儲器的可移動介質82、以及諸如用于臨時或永久存儲程序的存儲單元78的ROM 72、EEPROM 46、或硬盤?？梢允褂冒ㄍㄐ艈卧?7、通信單元48、通信單元79、以及通信單元80(例如包括路由器和調制解調器的接口)的有線或無線通信介質、以及局域網、互聯網、和數字廣播衛(wèi)星來執(zhí)行在記錄介質上存儲程序。
可以以如上所述相同的時序順序來執(zhí)行描述將被存儲在記錄介質上的程序的處理步驟。也可以不以所述時序順序來執(zhí)行處理步驟?？蛇x地，可以并行或獨立地執(zhí)行處理步驟。
在本說明書的上下文中，系統(tǒng)指的是包括多個裝置的整個系統(tǒng)。
本領域的技術人員應該理解，根據設計要求和其他因素，可以有多種修改、組合、再組合和改進，均應包含在本發(fā)明的權利要求或等同物的范圍之內。
權利要求
1.一種包括用于拍攝圖像的成像設備和用于處理所述圖像的圖像處理裝置的圖像處理系統(tǒng)，所述成像設備包括成像裝置，用于拍攝所述圖像；第一記錄裝置，用于將與所述圖像相關的信息記錄為具有預定數據結構的數據，所述信息與所述圖像相關聯；以及第一傳輸控制裝置，用于控制所述圖像向所述圖像處理裝置的傳輸；以及所述圖像處理裝置包括接收控制裝置，用于控制從所述成像設備傳輸的所述圖像的接收；特征提取裝置，用于提取所接收圖像的特征；第二記錄裝置，用于將從所述圖像提取的所述特征記錄為具有與所述成像設備中的所述數據結構相同結構的數據，所述特征與所述圖像相關聯；以及第二傳輸控制裝置，用于控制所述特征向所述成像設備的傳輸。
2.一種圖像處理裝置，包括特征提取裝置，用于提取圖像的特征；第一記錄裝置，用于將從所述圖像提取的所述特征記錄為具有預定結構的數據，所述特征與所述圖像相關聯；以及傳輸控制裝置，用于控制所述特征向設備的傳輸，所述設備將與所述圖像相關的信息記錄為具有與所述預定結構相同結構的數據。
3.根據權利要求2所述的圖像處理裝置，還包括接收控制裝置，用于控制從所述設備傳輸的所述圖像的接收。
4.根據權利要求2所述的圖像處理裝置，還包括用于記錄所述圖像的第二記錄裝置。
5.根據權利要求4所述的圖像處理裝置，還包括檢索裝置，用于根據被記錄為具有所述結構的數據的所述特征來檢索所記錄的圖像。
6.根據權利要求5所述的圖像處理裝置，還包括用于顯示所檢索出的圖像的顯示裝置。
7.根據權利要求2所述的圖像處理裝置，其中，所述第一記錄裝置包括數據庫。
8.根據權利要求2所述的圖像處理裝置，其中，所述特征提取裝置提取所述特征作為與包含在所述圖像中的面部圖像相關的信息。
9.根據權利要求8所述的圖像處理裝置，其中，所述特征提取裝置提取包括所述圖像中包含的面部圖像的數目、所述面部圖像的位置、所述面部圖像的尺寸、以及所述面部圖像面向的方向的所述特征中的至少一個。
10.根據權利要求2所述的圖像處理裝置，其中，所述特征提取裝置提取表示按照表示所述圖像的顏色中的特定顏色而分類的像素的數目的特征。
11.根據權利要求2所述的圖像處理裝置，其中，所述特征提取裝置提取用于計算任意兩個圖像的特征之間的相似程度的特征。
12.一種圖像處理方法，包括以下步驟提取圖像的特征；將從所述圖像提取的所述特征記錄為具有預定結構的數據，所述特征與所述圖像相關聯；以及控制所述特征向設備的傳輸，所述設備將與所述圖像相關的信息記錄為具有與所述預定結構相同結構的數據。
13.一種用于使計算機執(zhí)行以下步驟的計算機程序提取圖像的特征；將從所述圖像提取的所述特征記錄為具有預定結構的數據，所述特征與所述圖像相關聯；以及控制所述特征向設備的傳輸，所述設備將與所述圖像相關的信息記錄為具有與所述預定結構相同結構的數據。
14.一種用于存儲根據權利要求13所述的計算機程序的記錄介質。
15.一種包括用于拍攝圖像的成像設備和用于處理所述圖像的圖像處理裝置的圖像處理系統(tǒng)，所述成像設備包括成像單元，用于拍攝所述圖像；第一記錄單元，用于將與所述圖像相關的信息記錄為具有預定數據結構的數據，所述信息與所述圖像相關聯；以及第一傳輸控制單元，用于控制所述圖像向所述圖像處理裝置的傳輸；以及所述圖像處理裝置包括接收控制單元，用于控制從所述成像設備傳輸的所述圖像的接收；特征提取單元，用于提取所接收圖像的特征；第二記錄單元，用于將從所述圖像提取的所述特征記錄為具有與所述成像設備中的所述數據結構相同結構的數據，所述特征與所述圖像相關聯；以及第二傳輸控制單元，用于控制所述特征向所述成像設備的傳輸。
16.一種圖像處理裝置，包括特征提取單元，用于提取圖像的特征；第一記錄單元，用于將從所述圖像提取的所述特征記錄為具有預定結構的數據，所述特征與所述圖像相關聯；以及傳輸控制單元，用于控制所述特征向設備的傳輸，所述設備將與所述圖像相關的信息記錄為具有與所述預定結構相同結構的數據。
全文摘要
一種圖像處理系統(tǒng)，包括用于拍攝圖像的成像設備和用于處理圖像的圖像處理裝置。成像設備包括成像單元，用于拍攝圖像；第一記錄單元，用于記錄與圖像相關的信息，該信息與圖像相關聯；以及第一傳輸控制單元，用于控制圖像向圖像處理裝置的傳輸。圖像處理裝置包括接收控制單元，用于控制從成像設備傳輸的圖像的接收；特征提取單元，用于提取所接收的圖像的特征；第二記錄單元，用于記錄從圖像提取的特征，該特征與圖像相關聯；以及第二輸出控制單元，用于控制特征向成像設備的傳輸。
文檔編號H04N5/225GK101013432SQ200710007538
公開日2007年8月8日 申請日期2007年2月1日 優(yōu)先權日2006年2月1日
發(fā)明者兒島環(huán), 山口祥弘, 酒本干夫, 竹松克浩 申請人:索尼株式會社