專利名稱：代表圖像顯示裝置及代表圖像選擇方法
技術領域：
本發(fā)明涉及將由數(shù)字靜止照相機或數(shù)字視頻攝像機等攝影的圖像分類顯示的技 術。
背景技術：
作為以往的將圖像分類顯示的顯示方法，有以下方法著眼于攝影到圖像中的人 物，使用面部圖像識別技術將類似的面部彼此以群集為單位分類，按照拍攝有相同的人物 的照片顯示。此外，以提高面部圖像的聚類的精度為目的，有對用戶提供修正聚類結(jié)果的操作 界面(以下稱作“操作IF”)、以輔助人物的分類為目的的方法(例如參照非專利文獻1)。 該方法通過用戶對面部圖像的聚類的結(jié)果以手動進行編輯(注釋)，能夠修正面部圖像的 聚類的結(jié)果。例如，在不同的多個人物的面部圖像集中到一個群集中的情況下，通過以用戶 的判斷將該群集分割為單獨的人物的群集，能夠消除不同的人物的面部圖像混雜在相同的 群集內(nèi)的狀況。另一方面，在同一個人物的面部圖像被劃分到多個群集中的情況下，通過將 該多個群集結(jié)合為一個群集，能夠消除同一個人物的面部圖像被劃分為多個群集的狀況。非專禾Ij文獻 1 ；Jingyu Cui，F(xiàn)ang Wen，Rong Xiao，Yuandong Tian，XiaoouTang， "Easyalbun :An Interactive Photo Annotation System Based on FaceClustering and Re-ranking(方便相冊一種基于面部聚類和重排序的交互照片注釋系統(tǒng))”，CHI 2007 Proceedings,p.367-376，2007但是，在進行注釋時通常將群集內(nèi)的面部圖像的一部分作為代表面部圖像顯示， 但在上述現(xiàn)有技術中并沒有考慮顯示的代表面部圖像的選擇方式。因此，對于用戶而言并 沒有顯示應該修正的面部圖像，具有對于面部圖像的聚類結(jié)果不能高效率地進行注釋的問 題。另外，這樣的問題在用戶對面部圖像以外的圖像的聚類結(jié)果進行注釋的情況下也發(fā)生。

發(fā)明內(nèi)容
所以，本發(fā)明的目的是提供一種用戶對于圖像的分類結(jié)果能夠有效地進行注釋的 代表圖像顯示裝置及代表圖像選擇方法。為了達到上述目的，本發(fā)明的代表圖像顯示裝置利用將多個圖像分類為集中了類 似的圖像的下位群集、并將多個下位群集分類為集中了類似的下位群集的上位群集的分類 結(jié)果，選擇顯示在顯示部上的代表圖像而顯示在顯示部上，具備上位群集選擇部，將1個 以上的上位群集選擇為代表上位群集；下位群集選擇部，在各代表上位群集中，基于表示下 位群集的分類結(jié)果的準確度的似然性，從代表上位群集內(nèi)的下位群集中選擇M(M是1以上 且代表上位群集內(nèi)的下位群集的數(shù)量以下的整數(shù))個下位群集作為代表下位群集；代表圖 像選擇部，在各代表下位群集中，基于表示圖像的分類結(jié)果的準確度的似然性，從代表下位 群集內(nèi)的圖像中選擇N(N是1以上且代表下位群集內(nèi)的圖像的數(shù)量以下的整數(shù))個圖像作 為代表圖像。
此外，本發(fā)明的代表圖像顯示方法利用將多個圖像分類為集中了類似的圖像的下 位群集、并將多個下位群集分類為集中了類似的下位群集的上位群集的分類結(jié)果，選擇顯 示的代表圖像而顯示，具有上位群集選擇步驟，將1個以上的上位群集選擇為代表上位群 集；下位群集選擇步驟，在各代表上位群集中，基于表示下位群集的分類結(jié)果的準確度的似 然性，從代表上位群集內(nèi)的下位群集中選擇M(M是1以上且代表上位群集內(nèi)的下位群集的 數(shù)量以下的整數(shù))個下位群集作為代表下位群集；代表圖像選擇步驟，在各代表下位群集 中，基于表示圖像的分類結(jié)果的準確度的似然性，從代表下位群集內(nèi)的圖像中選擇N(N是1 以上且代表下位群集內(nèi)的圖像的數(shù)量以下的整數(shù))個圖像作為代表圖像。根據(jù)上述代表圖像顯示裝置及代表圖像顯示方法，由于使用表示下位群集的分類 結(jié)果的準確度的似然性及表示圖像的分類結(jié)果的準確度的似然性來選擇代表圖像并顯示， 所以與隨機地選擇代表圖像并顯示的情況相比，用戶能夠?qū)Ψ诸惤Y(jié)果高效率地進行注釋。在上述代表圖像顯示裝置中，也可以是，上述下位群集選擇部選擇上述代表上位 群集內(nèi)的似然性最高的下位群集作為第1代表下位群集，在上述M是2以上的情況下，還從 上述代表上位群集內(nèi)的似然性較低者起選擇(M-I)個下位群集作為第2至第M代表下位群 集。由此，用戶能夠一邊觀看似然性高的下位群集內(nèi)的圖像、根據(jù)情況還一邊觀看似 然性低的下位群集內(nèi)的圖像，一邊對分類結(jié)果進行注釋，所以用戶能夠高效率地進行被誤 分類到上位群集中的下位群集的分離等注釋。在上述代表圖像顯示裝置中，也可以是，上述下位群集選擇部使用從代表上位群 集的特征量空間上的中心位置或重心位置到下位群集的特征量空間上的中心位置或重心 位置的距離作為上述似然性。在上述代表圖像顯示裝置中，也可以是，上述下位群集選擇部使用從代表上位群 集的特征量空間上的中心位置或重心位置到下位群集的特征量空間上的中心位置或重心 位置的距離，作為在上述第1代表下位群集的選擇中使用的上述似然性；使用表示是否是 用戶修正了分類的下位群集的信息，作為在上述第2至第M代表下位群集的選擇中使用的 上述似然性。在上述代表圖像顯示裝置中，也可以是，上述下位群集選擇部使用從代表上位群 集的特征量空間上的中心位置或重心位置到下位群集的特征量空間上的中心位置或重心 位置的距離，作為在上述第1代表下位群集的選擇中使用的上述似然性；使用下位群集內(nèi) 的圖像的數(shù)量，作為在上述第2至第M代表下位群集的選擇中使用的上述似然性。根據(jù)這些，能夠進行適當?shù)南挛蝗杭倪x擇。在上述代表圖像顯示裝置中，也可以是，上述代表圖像選擇部選擇上述代表下位 群集內(nèi)的似然性最高的圖像作為第1代表圖像，在上述N是2以上的情況下，還從上述代表 下位群集內(nèi)的似然性較低者起選擇(N-I)個圖像作為第2至第N代表圖像。由此，用戶能夠一邊觀看似然性高的圖像、根據(jù)場合還一邊觀看似然性低的圖像， 一邊對分類結(jié)果進行注釋，所以用戶能夠高效率地進行誤分類到下位群集中的圖像的分離 等注釋。在上述代表圖像顯示裝置中，也可以是，上述代表圖像選擇部使用從代表下位群 集的特征量空間上的中心位置或重心位置到圖像的特征量空間上的位置的距離作為上述似然性。在上述代表圖像顯示裝置中，也可以是，上述代表圖像選擇部使用從代表下位群 集的特征量空間上的中心位置或重心位置到圖像的特征量空間上的位置的距離，作為在上 述第1代表圖像的選擇中使用的上述似然性；使用表示是否是用戶修正了分類的圖像的信 息，作為在上述第2至第N代表圖像的選擇中使用的上述似然性。根據(jù)這些，能夠進行適當?shù)膱D像的選擇。在上述代表圖像顯示裝置中，也可以是，還具備進行將第1代表圖像和第2至第N 代表圖像通過不同的顯示方法顯示在上述顯示部上的處理的顯示布局控制部。由此，用戶能夠看一眼就區(qū)別出似然性高的圖像和似然性低的圖像。在上述代表圖像顯示裝置中，也可以是，還具備基于上述顯示部的顯示區(qū)域尺寸 和用戶能夠視覺識別的圖像尺寸決定顯示在上述顯示部上的代表圖像的數(shù)量的顯示圖像 數(shù)決定部。由此，用戶能夠一邊以可視覺識別的圖像尺寸觀看許多圖像一邊對分類結(jié)果進行 注釋，所以用戶能夠高效率地進行注釋。在上述代表圖像顯示裝置中，也可以是，上述圖像是人物的面部圖像。由此，用戶能夠?qū)π枨筝^高的人物的面部圖像的分類結(jié)果高效率地進行注釋。本發(fā)明的代表圖像顯示裝置利用將多個圖像分類為集中了類似的圖像的群集的 分類結(jié)果，選擇顯示在顯示部上的代表圖像而顯示在顯示部上，具備群集選擇部，將1個 以上的群集選擇為代表群集；代表圖像選擇部，在各代表群集中，基于表示圖像的分類結(jié)果 的準確度的似然性，從代表群集內(nèi)的圖像中選擇N(N是1以上且代表群集內(nèi)的圖像的數(shù)量 以下的整數(shù))個圖像作為代表圖像。此外，本發(fā)明的代表圖像顯示方法利用將多個圖像分類為集中了類似的圖像的群 集的分類結(jié)果，選擇顯示的代表圖像而顯示，具有群集選擇步驟，將1個以上的群集選擇 為代表群集；代表圖像選擇步驟，在各代表群集中，基于表示圖像的分類結(jié)果的準確度的似 然性，從代表群集內(nèi)的圖像中選擇N(N是1以上且代表群集內(nèi)的圖像的數(shù)量以下的整數(shù)) 個圖像作為代表圖像。根據(jù)上述代表圖像顯示裝置及代表圖像顯示方法，由于使用表示圖像的分類結(jié)果 的準確度的似然性來選擇并顯示代表圖像，所以與隨機地選擇并顯示代表圖像的情況相 比，用戶能夠?qū)Ψ诸惤Y(jié)果高效率地進行注釋。在上述代表圖像顯示裝置中，也可以是，上述代表圖像選擇部選擇上述代表群集 內(nèi)的似然性最高的圖像作為第1代表圖像，在上述N是2以上的情況下，還從上述代表群集 內(nèi)的似然性較低者起選擇(N-I)個圖像作為第2至第N代表圖像。由此，用戶能夠一邊觀看似然性高的圖像、根據(jù)情況還一邊觀看似然性低的圖像， 一邊對分類結(jié)果進行注釋，所以用戶能夠高效率地進行誤分類到群集中的圖像的分離等注 釋。


圖1是第1實施方式的代表圖像顯示裝置的整體結(jié)構(gòu)圖。圖2的表示圖1的圖像數(shù)據(jù)庫(圖像DB)的一例的圖。
圖3是表示圖1的面部圖像數(shù)據(jù)庫(面部圖像DB)的一例的圖。圖4是表示圖1的面部圖像群集數(shù)據(jù)庫(面部圖像群集DB)的一例的圖。圖5是表示圖1的代表圖像顯示裝置進行的面部圖像自動分類處理的流程的流程 圖。圖6是表示圖1的代表圖像顯示裝置進行的面部圖像分類修正處理的流程的流程 圖。圖7是表示圖1的代表圖像顯示裝置進行的面部圖像選擇顯示處理的流程的流程 圖。圖8是表示圖7的代表面部圖像選擇處理的流程的流程圖。圖9是用來說明圖1的代表圖像顯示裝置進行的處理的一例的在特征量空間上示 意地表示了面部圖像的分類結(jié)果的圖。圖10是用來說明圖1的代表圖像顯示裝置進行的處理的一例的表示基于面部圖 像選擇顯示處理結(jié)果的顯示部的顯示內(nèi)容的圖。圖11是用來說明圖1的代表圖像顯示裝置進行的處理的一例的在特征量空間上 示意地表示了面部圖像的分類結(jié)果的圖。圖12是用來說明圖1的代表圖像顯示裝置進行的處理的一例的表示基于面部圖 像選擇顯示處理結(jié)果的顯示部的顯示內(nèi)容的圖。圖13是用來說明圖1的代表圖像顯示裝置進行的處理的一例的在特征量空間上 示意地表示了面部圖像的分類結(jié)果的圖。圖14是用來說明圖1的代表圖像顯示裝置進行的處理的一例的表示基于面部圖 像選擇顯示處理結(jié)果的顯示部的顯示內(nèi)容的圖。圖15是第2實施方式的代表圖像顯示裝置的整體結(jié)構(gòu)圖。圖16是表示圖15的面部圖像群集數(shù)據(jù)庫(面部圖像群集DB)的一例的圖。圖17是表示圖15的代表圖像顯示裝置進行的面部圖像自動分類處理的流程的流 程圖。圖18是表示圖15的代表圖像顯示裝置進行的面部圖像分類修正處理的流程的流 程圖。圖19是表示圖15的代表圖像顯示裝置進行的面部圖像選擇顯示處理的流程的流 程圖。圖20是用來說明圖15的代表圖像顯示裝置進行的處理的一例的在特征量空間上 示意地表示了面部圖像的分類結(jié)果的圖。圖21是用來說明圖15的代表圖像顯示裝置進行的處理的一例的表示基于面部圖 像選擇顯示處理結(jié)果的顯示部的顯示內(nèi)容的圖。圖22是用來說明圖15的代表圖像顯示裝置進行的處理的一例的在特征量空間上 示意地表示了面部圖像的分類結(jié)果的圖。圖23是用來說明圖15的代表圖像顯示裝置進行的處理的一例的表示基于面部圖 像選擇顯示處理結(jié)果的顯示部的顯示內(nèi)容的圖。圖24是表示基于面部圖像選擇顯示處理結(jié)果的顯示部的顯示內(nèi)容的其他顯示方 法的圖。
具體實施例方式《第1實施方式》以下，參照附圖對本發(fā)明的第1實施方式進行說明。<裝置結(jié)構(gòu)>圖1是本實施方式的代表圖像顯示裝置1的整體結(jié)構(gòu)圖，代表圖像顯示裝置1具 備運算處理部10、存儲部20、顯示部30和操作接口部(以下稱作“操作IF部” 40。運算處理部10例如由CPU (中央處理單元Central Processing Unit)等構(gòu)建， 進行代表圖像顯示裝置1整體的各種控制及各種運算。 存儲部20例如由ROM(只讀存儲器Read Only Memory)、RAM(隨即訪問存儲器 Random Access Memory)、HDD(硬盤驅(qū)動器Hard DiskDrive)等構(gòu)建，存儲有用來控制代表 圖像顯示裝置1的各種控制程序及各種應用程序等。存儲部20存儲有記述了在圖5 圖8 中表示動作流程的步驟的程序。此外，存儲部20存儲圖像數(shù)據(jù)、面部圖像數(shù)據(jù)及面部特征 量數(shù)據(jù)，并且存儲圖像數(shù)據(jù)庫(以下稱作“圖像DB”)21、面部圖像數(shù)據(jù)庫(以下稱作“面部 圖像DB”)22、以及面部圖像群集數(shù)據(jù)庫(以下稱作“面部圖像群集DB”)23。顯示部30是具備液晶顯示器或等離子顯示器等顯示設備。操作IF部40通過鼠標或觸摸面板等受理用戶操作。(存儲部內(nèi)的各數(shù)據(jù)庫的結(jié)構(gòu))以下，對存儲在存儲部20中的圖像DB21、面部圖像DB22及面部圖像群集DB23依 次說明。“圖像DB的結(jié)構(gòu)”圖2是表示圖1的圖像DB21的一例的圖。圖像DB21是用來對于每個圖像，將圖 像被攝影的攝影時刻和圖像的圖像數(shù)據(jù)的圖像文件名與用來識別圖像的ID(以下稱作“圖 像ID”)建立對應并保存的數(shù)據(jù)庫。其中，圖像文件名是表示圖像數(shù)據(jù)的實體的文件名?！懊娌繄D像DB的結(jié)構(gòu)”圖3是表示圖1的面部圖像DB22的一例的圖。面部圖像DB22是用來對于每個面 部圖像，將包含面部圖像的圖像的圖像ID、面部圖像的面部圖像數(shù)據(jù)的面部圖像文件名和 根據(jù)面部圖像的面部圖像數(shù)據(jù)計算的面部特征量數(shù)據(jù)的面部特征量文件名與用來識別面 部圖像的ID (以下稱作“面部ID”)建立對應并保存的數(shù)據(jù)庫。其中，面部圖像文件名是表示面部圖像數(shù)據(jù)的實體的文件名，面部特征量文件名 是表示面部特征量數(shù)據(jù)的實體的文件名。其中，面部圖像數(shù)據(jù)以位圖形式保存，但并不限于 此，面部圖像數(shù)據(jù)也可以以其他數(shù)據(jù)形式保存。另外，對于面部圖像數(shù)據(jù)及面部特征量數(shù)據(jù) 在后面敘述?！懊娌繄D像群集DB的結(jié)構(gòu)”圖4是表示圖1的面部圖像群集DB23的一例的圖。面部圖像群集DB23是用來對 于每個面部圖像，將包含面部圖像的圖像的圖像ID、用來識別面部圖像所屬的人物群集的 ID(以下稱作“人物ID”)、用來識別面部圖像所屬的單元的ID(以下稱作“單元ID”)、面部 圖像的分類者信息和面部圖像的分類時刻信息與面部圖像的面部ID建立對應并保存的數(shù) 據(jù)庫。其中，人物群集是由同一個人物的面部圖像形成的群集，單元是在人物群集內(nèi)將特別類似的面部圖像集中的群集，對于人物群集的形成及單元的形成在后面敘述。另外，本實施 方式的“單元”相當于“下位群集”，“人物群集”相當于“上位群集”。其中，分類者信息是表示面部圖像是由后述的群集形成部130自動分類的面部圖 像、還是按照用戶的注釋由后述的群集修正部140進行了分類修正的面部圖像的信息，分 類者信息的內(nèi)容在前者的情況下為“系統(tǒng)”、在后者的情況下為“用戶”。分類時刻信息是表 示面部圖像被自動分類的時刻、在進行了分類的修正的情況下是表示進行了分類的修正的 時刻的信息。另外，以下將面部圖像群集DB23的1個記錄量的信息的集合適當?shù)胤Q作“面部圖
像群集信息”。(運算處理部的結(jié)構(gòu))運算處理部10從存儲部20中讀出記述有在圖5 圖8中表示動作流程的步驟的 程序，執(zhí)行所讀出的程序。由此，運算處理部10作為圖像解析部100和圖像顯示部200發(fā) 揮功能。(圖像解析部的功能結(jié)構(gòu))圖像解析部100如圖1所示，具備圖像輸入部110、面部識別處理部120、群集形成 部130和群集修正部140。圖像輸入部110將例如由數(shù)字靜止照相機或數(shù)字視頻攝像機等攝影設備攝影的 圖像的圖像數(shù)據(jù)讀入。并且，圖像輸入部110對圖像唯一地賦予圖像ID，將圖像被攝影的攝 影時刻和圖像的圖像數(shù)據(jù)的圖像文件名對應于圖像ID并保存在圖像DB21中，并且將所讀 入的圖像數(shù)據(jù)保存到存儲部20中。其中，攝影時刻是圖像數(shù)據(jù)被攝影的日期時間信息，日期時間信息由數(shù)字靜止照 相機或數(shù)字視頻攝像機等攝影設備在攝影時記錄，圖像輸入部110將作為EXIF(可交換圖 像文件格式Exchangeable Image File Format)信息存儲在圖像文件中的日期時間信息 作為攝影時刻讀出。另外，也可以將代表圖像顯示裝置1具備的例如USB(通用串行總線Universal Serial Bus)連接器與攝影設備等直接用電纜連接，圖像輸入部110從安裝在攝影設備中 的記錄媒體中讀入圖像數(shù)據(jù)。此外，圖像輸入部110也可以從安裝在代表圖像顯示裝置1 中的SD(安全數(shù)字Secure Digital)存儲卡等記錄媒體中讀入圖像數(shù)據(jù)。此外，圖像數(shù)據(jù)也可以是以一般的JPEG (聯(lián)合圖像專家組JointPhotographic Experts Group)形式壓縮編碼的圖像數(shù)據(jù)，也可以是以MPEG-4(運動圖像專家組-4 Moving Picture Experts Group phase 4)等活動圖像形式壓縮編碼的圖像數(shù)據(jù)。面部識別處理部120參照圖像DB21，按照圖像ID，從存儲部20中讀出對應于圖像 ID的圖像文件名的圖像數(shù)據(jù)，對所讀出的圖像數(shù)據(jù)執(zhí)行圖像識別處理而檢測拍攝到圖像中 的人的面部區(qū)域。面部識別處理部120在檢測到1個以上的面部區(qū)域的情況下，按照檢測到 的每個面部區(qū)域生成對應于面部區(qū)域的面部圖像的面部圖像數(shù)據(jù)。并且，面部識別處理部 120對于對應于面部區(qū)域的面部圖像唯一地賦予面部ID，將包含面部圖像的圖像的圖像ID 和面部圖像的面部圖像數(shù)據(jù)的面部圖像文件名對應于面部ID而保存到面部圖像DB22中， 并且將面部圖像數(shù)據(jù)保存到存儲部20中。接著，面部識別處理部120參照面部圖像DB22，按照面部ID，從存儲部20讀出對應于面部ID的面部圖像文件名的面部圖像數(shù)據(jù)，由所讀出的面部圖像數(shù)據(jù)生成用特征量 向量記述的面部圖像的面部特征量數(shù)據(jù)。并且，面部識別處理部120將面部圖像的面部特 征量數(shù)據(jù)的面部特征量文件名對應于面部圖像的面部ID而保存到面部圖像DB22中，并且 將面部特征量數(shù)據(jù)保存到存儲部20中。另外，有對應于1個圖像ID的面部ID存在多個的情況，但是沒有對應于1個面部 ID的圖像ID存在多個的情況。其中，面部識別處理部120通過對圖像數(shù)據(jù)進行例如輪廓提取處理或顏色分布分 析處理等公知的圖像處理而檢測面部區(qū)域，由圖像數(shù)據(jù)中的面部區(qū)域部分的數(shù)據(jù)生成對應 于該面部區(qū)域的面部圖像的面部圖像數(shù)據(jù)。此外，面部識別處理部120通過將面部圖像數(shù) 據(jù)使用伽柏濾波器等向特征量向量的數(shù)據(jù)變換，生成對應于面部圖像數(shù)據(jù)的面部圖像的面 部特征量數(shù)據(jù)。群集形成部130參照面部圖像DB22，從存儲部20中讀出對應于各面部ID的面部 特征量文件名的面部特征量數(shù)據(jù)。并且，群集形成部130使用所讀出的面部特征量數(shù)據(jù)，將 類似的面部圖像集中而形成單元，對所形成的各單元唯一地賦予單元ID。接著，群集形成部 130計算各單元的類似度，將類似的單元集中而形成人物群集，對所形成的人物群集唯一地 賦予人物ID。并且，群集形成部130對于每個面部圖像，將含有面部圖像的圖像的圖像ID、面部 圖像所屬的人物群集的人物ID、面部圖像所屬的單元的單元ID、面部圖像的分類者信息和 面部圖像的分類時刻信息與面部圖像的面部ID建立對應并保存在面部圖像群集DB23中。 其中，分類者信息的內(nèi)容為系統(tǒng)，分類時刻信息的內(nèi)容為被自動分類的時刻。其中，群集形成部130將從存儲部20讀出的多個面部特征量數(shù)據(jù)相互比較，面部 特征量數(shù)據(jù)間的差是第1閾值以下的特征量數(shù)據(jù)的面部圖像為相互類似的，通過將它們集 中為1個來形成單元。此外，群集形成部130對形成的多個單元分別選擇最接近于單元的特征量空間上 的中心位置或重心位置的位置的面部特征量數(shù)據(jù)的面部圖像。并且，群集形成部130將從 多個單元分別選擇的面部圖像的面部特征量數(shù)據(jù)相互比較，與面部特征量數(shù)據(jù)間的差是第 2閾值以下的面部特征量數(shù)據(jù)對應的單元為相互類似的，通過將它們集中為1個來形成人 物群集。另外，上述第1閾值及第2閾值例如預先設定為使第1閾值比第2閾值小。此外， 單元及人物群集的形成的方法并不限定于上述方法。群集修正部140經(jīng)由操作IF部40接受用戶操作，在面部圖像群集DB23中，按照 接受到的用戶操作，對用戶實施了分類結(jié)果的修正的面部圖像的面部圖像群集信息進行修 正。其中，包含在面部圖像群集信息中的分類者信息的內(nèi)容為用戶，分類時刻信息的內(nèi)容是 進行分類的修正的時刻。(圖像顯示部的功能)圖像顯示部200如圖1所示，具備顯示布局控制部210、顯示面部圖像數(shù)決定部 220、人物群集選擇部230、單元選擇部240和代表面部圖像選擇部250。顯示布局控制部210是參照圖像DB21、面部圖像DB22及面部圖像群集DB23的保 存內(nèi)容來控制顯示在顯示部30上的面部圖像的顯示布局的單元。其中，顯示布局控制部210在控制顯示布局時，也使用從單元選擇部240及代表面部圖像選擇部250輸入的信息、 從操作IF部40輸入的信息。顯示面部圖像數(shù)決定部220如果被顯示布局控制部210請求決定顯示在顯示部30 上的面部圖像(以下稱作“代表面部圖像”)的數(shù)量(以下稱作“顯示面部圖像數(shù)”)，則決 定顯示面部圖像數(shù)，將所決定的顯示面部圖像數(shù)向人物群集選擇部230輸出。在本實施方式中，顯示面部圖像數(shù)決定部220取得顯示部30的顯示區(qū)域尺寸。并 且，顯示面部圖像數(shù)決定部220將顯示在顯示部30上的面部圖像的顯示尺寸決定為能夠確 保面部圖像的視覺識別性的尺寸，基于顯示部30的顯示區(qū)域尺寸和面部圖像的顯示尺寸 決定顯示面部圖像數(shù)。另外，在顯示部30的顯示區(qū)域尺寸是一定的情況下，面部圖像的顯 示尺寸越大則顯示面部圖像數(shù)越少，面部圖像的顯示尺寸越小則顯示面部圖像數(shù)越多。人物群集選擇部230參照面部圖像群集DB23，取得人物的ID的數(shù)量、即人物群集 的數(shù)量。并且，人物群集選擇部230在顯示面部圖像數(shù)不到人物群集的數(shù)量的情況下，將顯 示代表面部圖像的人物群集(以下稱作“代表人物群集”)的數(shù)量(以下稱作“代表人物群 集數(shù)”)決定為與顯示面部圖像數(shù)相同的值，在顯示面部圖像數(shù)為所取得的人物群集的數(shù)量 以上的情況下，將代表人物群集數(shù)決定為與所取得的人物群集的數(shù)量相同的值。另外，在前 者中，人物群集的一部分為代表人物群集，在后者中，所有的人物群集為代表人物群集。接著，人物群集選擇部230參照面部圖像群集DB23，以人物群集內(nèi)的面部圖像的 數(shù)量由多到少的順序選擇代表人物群集數(shù)量的人物群集作為代表人物群集，并且決定在各 代表人物群集中顯示的代表面部圖像的數(shù)量(以下稱作“人物群集顯示面部圖像數(shù)”)，以 使其在代表人物群集間均等。并且，人物群集選擇部230將代表人物群集的人物ID和人物 群集顯示面部圖像數(shù)向單元選擇部240輸出。另外，人物群集選擇部230在選擇了等于將顯示面部圖像數(shù)用人物群集的數(shù)量除 的余數(shù)的值的數(shù)量的代表人物群集之前，將所選擇的代表人物群集的人物群集顯示面部圖 像數(shù)決定為對該除法的商的值加1后的值，將這以后選擇的代表人物群集的人物群集顯示 面部圖像數(shù)決定為該除法的商的值。可以想到，面部圖像的數(shù)量較多的人物群集與面部圖像的數(shù)量較少的人物群集相 比包含錯誤的面部圖像的可能性較高。因而，通過在代表人物群集的選擇中使用人物群集 內(nèi)的面部圖像的數(shù)量，人物群集選擇部230將包含有錯誤的面部圖像的可能性較高的人物 群集選擇為代表人物群集的可能性變高。單元選擇部240對于從人物群集選擇部230輸入的人物ID的人物群集(代表人物 群集)分別如下從代表人物群集內(nèi)的單元中選擇顯示代表面部圖像的單元(以下稱作“代 表單元”)，決定由所選擇的代表單元顯示的代表面部圖像的數(shù)量(以下稱作“單元顯示面 部圖像數(shù)”)。單元選擇部240參照面部圖像群集DB23，取得代表人物群集內(nèi)的單元ID的數(shù)量、 即單元的數(shù)量。并且，單元選擇部240在從人物群集選擇部230輸入的代表人物群集的人 物群集顯示面部圖像數(shù)不到單元數(shù)的情況下，將顯示代表面部圖像的單元(代表單元)的 數(shù)量(以下稱作“代表單元數(shù)”)決定為與人物群集顯示面部圖像數(shù)相同的值，在人物群 集顯示面部圖像數(shù)為單元的數(shù)量以上的情況下，將代表單元數(shù)決定為與單元的數(shù)量相同的 值。另外，在前者中，代表人物群集內(nèi)的單元的一部分為代表單元，在后者中，代表人物群集內(nèi)的所有的單元為代表單元。接著，單元選擇部240對于代表人物群集內(nèi)的各單元計算表示單元的分類結(jié)果的 準確度的似然性。并且，單元選擇部240在選擇第1個代表單元的情況下，將代表人物群集 內(nèi)的似然性最高的單元選擇為代表單元，在選擇第2個以后的代表單元的情況下，以代表 人物群集內(nèi)的似然性由低到高的順序?qū)⒈却韱卧獢?shù)小1的數(shù)量的單元選擇為代表單元。 與此同時，單元選擇部240決定在各代表單元中顯示的代表面部圖像的數(shù)量(單元顯示面 部圖像數(shù))，以使其在代表人物群集內(nèi)的代表單元間均等。并且，單元選擇部240將代表單 元的單元ID和單元顯示面部圖像數(shù)向代表面部圖像決定部250輸出。此外，單元選擇部 240將代表單元的單元ID和在代表人物群集內(nèi)選擇代表單元的順序向顯示布局控制部210 輸出。該信息在顯示布局控制部210用不同的顯示方法顯示代表人物群集內(nèi)的似然性最高 的代表單元和其以外的代表單元時使用。另外，在代表單元數(shù)是1的情況下，當然不進行第 2個以后的代表單元的選擇。另外，單元選擇部240在選擇了等于將人物群集顯示面部圖像數(shù)用所選擇的代表 人物群集內(nèi)的單元的數(shù)量除的余數(shù)的值的數(shù)量的代表單元之前，將所選擇的代表單元的單 元顯示面部圖像數(shù)決定為對該除法的商的值加上1之后的值，將這以后選擇的代表單元的 單元顯示面部圖像數(shù)決定為該除法的商的值。其中，單元選擇部240作為似然性而使用從代表人物群集的特征量空間上的中心 位置或重心位置到單元的特征量空間上的中心位置或重心位置的距離，使得距離越小則關 于單元的似然性越高、距離越大則關于單元的似然性越低。單元選擇部240參照面部圖像 群集DB23及面部圖像DB22，利用代表人物群集內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算代表 人物群集的中心位置或重心位置，利用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算代表人物 群集內(nèi)的各單元的中心位置或重心位置。并且，單元選擇部240在選擇第1個代表單元的 情況下，選擇中心位置或重心位置與代表人物群集的中心位置或重心位置最接近的單元作 為代表單元。單元選擇部240在選擇第2個以后的代表單元的情況下，以中心位置或重心 位置距離代表人物群集的中心位置或重心位置由遠到近的順序選擇比代表單元數(shù)小1的 數(shù)量的單元作為代表單元。在上述各情況下，中心位置或重心位置與代表人物群集的中心位置或重心位置最 接近的單元被正確地分類至代表人物群集的可能性最高。另一方面，中心位置或重心位置 越遠離代表人物群集的中心位置或重心位置的單元，被誤分類到代表人物群集中的可能性 越高。因而，用戶能夠一邊觀看被正確地分類的可能性較高的代表單元的面部圖像和被誤 分類的可能性較高的代表單元的面部圖像，一邊修正面部圖像的分類，所以能夠進行高效 率的注釋。代表面部圖像選擇部250對于從單元選擇部240輸入的單元ID的單元(代表單 元)，分別如下從代表單元內(nèi)的面部圖像中選擇代表面部圖像。代表面部圖像選擇部250參照面部圖像群集DB23，取得代表單元內(nèi)的面部ID的 數(shù)量、即面部圖像的數(shù)量。并且，代表面部圖像選擇部250在從單元選擇部240輸入的單元 顯示面部圖像不到面部圖像的數(shù)量的情況下，將代表單元中的代表面部圖像的數(shù)量(以下 稱作“代表面部圖像數(shù)”)決定為與單元顯示面部圖像數(shù)相同的值，在單元顯示面部圖像數(shù) 是面部圖像的數(shù)量以上的情況下，將代表面部圖像數(shù)決定為面部圖像的數(shù)量。另外，在前者中，代表單元內(nèi)的面部圖像的一部分為代表面部圖像，在后者中，代表單元內(nèi)的所有的面部 圖像為代表面部圖像。接著，代表面部圖像選擇部250對代表單元內(nèi)的各面部圖像計算表示面部圖像的 分類結(jié)果的準確度的似然性。并且，代表面部圖像選擇部250在選擇第1個代表面部圖像 的情況下，將代表單元內(nèi)的似然性最高的面部圖像選擇為代表面部圖像，在選擇第2個以 后的代表面部圖像的情況下，以代表單元內(nèi)的似然性由低到高的順序選擇比代表面部圖像 數(shù)小1的數(shù)量的面部圖像作為代表面部圖像。并且，代表面部圖像選擇部250將代表面部 圖像的面部ID和在代表單元內(nèi)選擇代表面部圖像的順序向顯示布局控制部210輸出。該 信息在顯示布局控制部210顯示代表面部圖像并用不同的方法顯示代表單元內(nèi)的似然性 最高的代表面部圖像和其以外的代表面部圖像時使用。另外，在代表面部圖像數(shù)是1的情 況下，當然不進行第2個以后的代表面部圖像的選擇。其中，代表面部圖像選擇部250作為似然性而使用從代表單元的特征量空間上的 中心位置或重心位置到面部圖像的特征量空間上的中心位置或重心位置的距離，使得距離 越小則關于面部圖像的似然性越高、距離越大則關于面部圖像的似然性越低。代表面部圖 像選擇部250參照面部圖像群集DB23及面部圖像DB22，利用代表單元內(nèi)的面部圖像的面部 特征量數(shù)據(jù)計算代表單元的特征量空間上的中心位置或重心位置，利用該面部圖像的面部 特征量數(shù)據(jù)計算代表單元內(nèi)的各面部圖像的特征量空間上的位置。并且，代表面部圖像選 擇部250在選擇第1個代表面部圖像的情況下，選擇位置與代表單元的中心位置或重心位 置最接近的面部圖像作為代表面部圖像。代表面部圖像選擇部250在選擇第2個以后的代 表面部圖像的情況下，以位置距離代表單元的中心位置或重心位置由遠到近的順序選擇比 代表面部圖像數(shù)小1的數(shù)量的面部圖像作為代表面部圖像。在上述各情況下，位置與代表單元的中心位置或重心位置最接近的面部圖像被正 確地分類到代表單元中的可能性最高。另一方面，位置越遠離代表單元的中心位置或重心 位置的面部圖像，被誤分類到代表單元中的可能性越高。因而，用戶能夠一邊觀看被正確地 分類的可能性較高的面部圖像和被誤分類的可能性較高的面部圖像，一邊修正面部圖像的 分類，所以能夠進行高效率的注釋?！囱b置動作〉將由圖1的代表圖像顯示裝置1進行的處理，分為將面部圖像自動分類的處理 (以下稱作“面部圖像自動分類處理”)、根據(jù)用戶的注釋修正面部圖像的分類的處理(以下 稱作“面部圖像分類修正處理”)、以及從面部圖像中選擇代表面部圖像而顯示的處理(以 下稱作“面部圖像選擇顯示處理”)這3個進行說明。(面部圖像自動分類處理的動作)圖5是表示圖1的代表圖像顯示裝置1進行的面部圖像自動分類處理的流程的流 程圖。圖像輸入部110例如從攝影設備中將由該攝影設備攝影的圖像的圖像數(shù)據(jù)依次 讀入。并且，圖像輸入部110對圖像唯一地賦予圖像ID，將圖像被攝影的攝影時刻和圖像的 圖像數(shù)據(jù)的圖像文件名對應于圖像ID保存到圖像DB21中，并且將圖像數(shù)據(jù)存儲到存儲部 20中(步驟S101)。面部識別處理部120判斷是否有還沒有成為圖像識別處理的對象的圖像ID、即是否有沒有被執(zhí)行圖像識別處理的圖像數(shù)據(jù)(以下稱作“未處理的圖像數(shù)據(jù)”)(步驟S102)。 面部識別處理部120在有未處理的圖像數(shù)據(jù)的情況下(S102 是)，將一個未處理的圖像數(shù) 據(jù)從存儲部20讀出(步驟S103)，對所讀出的圖像數(shù)據(jù)執(zhí)行圖像識別處理，檢測拍攝在圖像 中的人的面部區(qū)域(步驟S104)。面部識別處理部120判斷圖像識別處理的結(jié)果是否能夠檢測到面部區(qū)域(步驟 S105)。在不能檢測到面部區(qū)域的情況下(S105:否)，進行步驟S102的處理。另一方面，在 能夠檢測到面部區(qū)域的情況下(S105 是)，面部識別處理部120對于檢測到的每個面部區(qū) 域，生成對應于面部區(qū)域的面部圖像的面部圖像數(shù)據(jù)。并且，面部識別處理部120對對應于 各面部區(qū)域的面部圖像唯一地賦予面部ID，將包含面部圖像的圖像的圖像ID、面部圖像的 面部圖像數(shù)據(jù)的面部圖像文件名對應于面部ID保存到面部圖像DB22中，并且將面部圖像 數(shù)據(jù)保存到存儲部20中(步驟S106)。面部識別處理部120判斷是否有還沒有成為面部特征量數(shù)據(jù)的計算處理的對象 的面部ID、即是否有沒有被執(zhí)行面部特征量數(shù)據(jù)的計算處理的面部圖像數(shù)據(jù)(以下稱作 “未處理的面部圖像數(shù)據(jù)”)(步驟S107)。在有未處理的面部圖像數(shù)據(jù)的情況下(S107 是)， 面部識別處理部120將一個未處理的面部圖像數(shù)據(jù)從存儲部20讀出，由所讀出的面部圖像 數(shù)據(jù)生成面部圖像的面部特征量數(shù)據(jù)。并且，面部識別處理部120將面部圖像的面部特征 量數(shù)據(jù)的面部特征量文件名對應于面部圖像的面部ID保存到面部圖像DB22中，并且將面 部特征量數(shù)據(jù)保存到存儲部20中(步驟S108)。接著，進行步驟S107的處理。在沒有未處理的面部圖像數(shù)據(jù)的情況下(S107 否)，對在步驟S103中讀出的圖像 數(shù)據(jù)的圖像內(nèi)的所有的面部圖像進行了面部特征量數(shù)據(jù)的計算，所以為了處理其他未處理 的圖像數(shù)據(jù)而進行步驟S102的處理。在沒有未處理的圖像數(shù)據(jù)的情況下(S102 否)，群集形成部130參照面部圖像 DB22，將對應于各面部ID的面部特征量文件名的面部特征量數(shù)據(jù)從存儲部20讀出。接著， 群集形成部130使用所讀出的面部特征量數(shù)據(jù)，將類似的面部圖像集中而形成單元，對所 形成的各單元賦予單元ID (步驟S109)。接著，群集形成部130使用面部特征量數(shù)據(jù)，將類 似的單元集中而形成人物群集，對所形成的各人物群集賦予人物ID(步驟S110)。接著，群 集形成部130對于每個面部圖像，將面部圖像群集信息保存到面部圖像群集DB23中(步驟 Sill).另外，包含在面部圖像群集信息中的分類者信息的內(nèi)容是系統(tǒng)，分類時刻信息的內(nèi) 容是被自動分類的時刻。(面部圖像分類修正處理的動作)圖6是表示圖1的代表圖像顯示裝置1進行的面部圖像分類修正處理的流程的流 程圖。另外，群集修正部140利用從顯示布局控制部210輸入的有關顯示布局的信息和從 操作IF部40輸入的信號，判斷用戶的選擇對象(人物群集、單元、面部圖像)，判斷用戶將 選擇圖像拖放的目的地(選擇對象的移動目的地)。群集修正部140判斷是否從操作IF部40接受到了有關用戶的操作的信息(步驟 201)。在沒有從操作IF部40接受到操作信息的情況下(S201 否)，進行步驟S201的處理。在接受到了操作信息的情況下(S201 是)，群集修正部140判斷用戶的選擇對象 是否是人物群集(步驟S202)。在選擇對象是人物群集的情況下(S202 是)，群集修正部140在面部圖像群集DB23中修正所選擇的人物群集內(nèi)的各面部圖像的面部圖像群集信息 (步驟S203)。其中，群集修正部140將面部圖像群集信息的人物ID修正為移動目的地的 人物群集的人物ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時刻。在選擇對象不是人物群集的情況下(S202 否)，群集修正部140判斷選擇對象是 否是單元(步驟S204)。在選擇對象是單元的情況下(S204:是)，群集修正部140在面部圖 像群集DB23中修正所選擇的單元內(nèi)的各面部圖像的面部圖像群集信息(步驟S205)。其中， 在所選擇的單元的移動目的地是別的人物群集的情況下，群集修正部140將面部圖像群集 信息的人物ID修正為移動目的地的人物群集的人物ID，將分類者信息修正為用戶，將分類 時刻信息修正為分類被修正的時刻。此外，在所選擇的單元的移動目的地是不存在人物群 集的區(qū)域的情況下，群集修正部140將面部圖像群集信息的人物ID修正為目前為止沒有賦 予的人物ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時刻。進而， 在所選擇的單元的移動目的地是別的單元的情況下，群集修正部140將面部圖像群集信息 的人物ID修正為移動目的地的單元所屬的人物群集的人物ID，將單元ID修正為移動目的 地的單元的單元ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時刻。在選擇對象不是單元的情況下(S204 否)，群集修正部140判斷選擇對象是否是 面部圖像(步驟S206)。在選擇對象不是面部圖像的情況下(S206 否)，進行步驟S201的 處理。另一方面，在選擇對象是面部圖像的情況下(S206 是)，群集修正部140在面部圖像 群集DB23中，修正所選擇的面部圖像的面部圖像群集信息(步驟S207)。其中，在所選擇 的面部圖像的移動目的地是人物群集的情況下，群集修正部140將面部圖像群集信息的人 物ID修正為移動目的地的人物群集的人物ID，將單元ID修正為到目前為止沒有賦予的用 戶ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時刻。此外，在所選 擇的面部圖像的移動目的地是別的單元的情況下，群集修正部140將面部圖像群集信息的 人物ID修正為移動目的地的單位所屬的人物群集的人物ID，將單元ID修正為移動目的地 的單元的單元ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時刻。進 而，在所選擇的面部圖像的移動目的地是不存在人物群集的區(qū)域的情況下，群集修正部140 將面部圖像群集信息的人物ID修正為到目前為止沒有賦予的人物ID，將單元ID修正為到 目前為止沒有賦予的單元ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修 正的時刻。(面部圖像選擇顯示處理的動作)圖7是表示圖1的代表圖像顯示裝置1進行的面部圖像選擇顯示處理的流程的流 程圖。顯示面部圖像數(shù)決定部220取得顯示部30的顯示區(qū)域尺寸(步驟S301)，利用面 部圖像的顯示尺寸和顯示區(qū)域尺寸決定顯示面部圖像數(shù)(步驟S302)。人物群集選擇部230參照面部圖像群集DB23取得人物ID的數(shù)量、即人物群集的 數(shù)量(步驟S303)。接著，人物群集選擇部230利用在步驟S302中決定的顯示面部圖像數(shù)和 在步驟S303中取得的人物群集的數(shù)量，決定在顯示部30上顯示面部圖像的人物群集(代 表人物群集)的數(shù)量(代表人物群集數(shù))P，將變量P的值設為1 (步驟S304)。人物群集選擇部230選擇面部圖像的數(shù)量第ρ (變量ρ的值)多的人物群集作為 代表人物群集，并且利用在步驟S302中決定的顯示面部圖像數(shù)和在步驟S303中取得的人物群集的數(shù)量，決定在所選擇的代表人物群集中顯示的代表面部圖像的數(shù)量(人物群集顯 示面部圖像數(shù))(步驟S3O5)。單元選擇部240參照面部圖像群集DB23，取得在步驟S305中選擇的代表人物群 集內(nèi)的單元ID的數(shù)量、即單元數(shù)(步驟S306)。接著，單元選擇部240利用在步驟S305中 決定的人物群集顯示面部圖像數(shù)和在步驟S306中取得的單元的數(shù)量，決定在代表人物群 集中將面部圖像顯示在顯示部30上的單元(代表單元)的數(shù)量(代表單元數(shù))M，將變量m 的值設為1 (步驟S307)。單元選擇部240選擇代表人物群集內(nèi)的似然性最高的單元作為第1代表單元，并 且利用在步驟S305中決定的人物群集顯示面部圖像數(shù)和在步驟S306中取得的單元的數(shù) 量，決定由所選擇的第1代表單元顯示的代表面部圖像的數(shù)量(單元顯示面部圖像數(shù))(步 驟S308)。此時，單元選擇部240將第1代表單元的單元ID和第1代表單元在代表人物群 集內(nèi)選擇的順序向顯示布局控制部210輸出。代表面部圖像選擇部250進行圖8中表示動作流程的代表面部圖像選擇處理，從 第1代表單元內(nèi)的面部圖像中選擇代表面部圖像(步驟S309)。單元選擇部240將變量m的值增加1 (步驟S310)，判斷變量m的值是否是代表單 元數(shù)M以下(步驟S311)。在變量m的值是代表單元數(shù)M以下的情況下(S311 是)，單元選擇部240將代表 人物群集內(nèi)的似然性第(m-Ι)低的單元選擇為第m個代表單元，并且利用在步驟S305中決 定的人物群集顯示面部圖像數(shù)和在步驟S306中取得的單元的數(shù)量，決定在第m代表單元中 顯示的代表面部圖像的數(shù)量(單元顯示面部圖像數(shù))(步驟S312)。此時，單元選擇部240 將第m個代表單元的單元ID和第m個代表單元在代表人物群集內(nèi)被選擇的順序向顯示布 局控制部210輸出。代表面部圖像選擇部250進行圖8中表示動作流程的代表面部圖像選擇處理，從 第m個代表單元內(nèi)的面部圖像中選擇代表面部圖像(步驟S313)。接著，進行步驟S310的處理。在變量m的值不是代表單元數(shù)M以下的情況下(S311 否)，人物群集選擇部230 將變量P的值增加1 (步驟S314)，判斷變量P的值是否是代表人物群集數(shù)P以下(步驟 S315)。在變量ρ的值是代表人物群集數(shù)P以下的情況下(S315 是)，不進行代表人物群集 數(shù)P的代表人物群集的選擇，所以進行步驟S305的處理。在變量ρ的值不是代表人物群集數(shù)P以下的情況下(S315 否)，顯示布局控制部 210基于從步驟S301到步驟S315的處理的執(zhí)行結(jié)果，執(zhí)行將代表面部圖像顯示在顯示部 30上的顯示控制(步驟S316)。其中，顯示布局控制部210顯示表示各代表人物群集的區(qū) 域的框。顯示布局控制部210將該代表人物群集內(nèi)的第1至第M個代表單元配置到各代表 人物群集的框內(nèi)，將表示第1代表單元的區(qū)域的框用較粗的線寬顯示，將表示第2至第M個 代表單元的區(qū)域的框用較細的線寬顯示。顯示布局控制部210將該代表單元內(nèi)的第1至第 N個代表面部圖像配置在各代表單元的框內(nèi)，將第1代表面部圖像的框用較粗的線寬顯示， 將第2至第N個代表面部圖像的框用較細的線寬顯示。另外，第1至第N個代表面部圖像 通過圖8中表示動作流程的代表面部圖像選擇處理選擇。通過這樣顯示，用戶能夠簡單地 區(qū)別似然性高的代表單元和似然性低的代表單元，能夠簡單地區(qū)別似然性高的代表面部圖
16像和似然性低的代表面部圖像?！按砻娌繄D像選擇處理的動作”圖8是表示圖7的代表面部圖像選擇處理的流程的流程圖。代表面部圖像選擇部250參照面部圖像群集DB23，取得代表單元內(nèi)的面部圖像的 數(shù)量(步驟S331)。接著，代表面部圖像選擇部250利用在步驟S308或步驟S312中決定 的單元顯示面部圖像數(shù)和在步驟S331中取得的單元的數(shù)量，決定在所選擇的代表單元中 顯示在顯示部30上的面部圖像的數(shù)量(代表面部圖像數(shù))N，將變量η的值設為1(步驟 S332)。代表面部圖像選擇部250選擇代表單元內(nèi)的似然性最高的面部圖像作為第1代表 面部圖像(步驟S333)。此時，代表面部圖像選擇部250將第1代表面部圖像的面部ID和 第1代表面部圖像在代表單元內(nèi)被選擇的順序向顯示布局控制部210輸出。代表面部圖像選擇部250將變量η的值增加1 (步驟S334)，判斷變量η的值是否 是代表面部圖像數(shù)N以下(步驟S335)。在變量η的值是代表面部圖像數(shù)N以下的情況下 (S335:是)，代表面部圖像選擇部250選擇代表單元內(nèi)的似然性第(η-1)低的面部圖像作 為第η個代表面部圖像(步驟S336)。此時，代表面部圖像選擇部250將第η個代表面部圖 像的面部ID和第η個代表面部圖像在代表單元內(nèi)被選擇的順序向顯示布局控制部210輸 出。接著步驟S336的處理而進行步驟S334的處理。在變量η的值不是代表面部圖像數(shù)N以下的情況下(S335 否)，代表單元中的代 表面部圖像的選擇結(jié)束，所以進行圖7的步驟S310的處理。(代表圖像顯示裝置的處理的例子)以下，參照圖9至圖14說明圖1的代表圖像顯示裝置1進行的一系列處理的一例。圖9是在特征量空間上示意地表示將面部圖像自動分類的結(jié)果的圖。其中，在圖9中，“ID111” “ID114”的面部圖像被分類到“ID11”的單元中，“ID11” 的單元被分類到“ID1”的人物群集中。此外，“ID211”的面部圖像被分類到“ID21”的單元 中，“ID221”的面部圖像被分類到“ID22”的單元中，“ID231”的面部圖像被分類到“ID23” 的單元中，“ID241” “ID242”的面部圖像被分類到“ID24”的單元中?！癐D21” “ID24” 的單元被分類到“ID2”的人物群集中。假設“ID11”的單元內(nèi)的面部圖像以“ID111”、“ID112”、“ID113”、“ID114”的順序 似然性由高到低。此外，假設“102”的人物群集內(nèi)的單元以“1021”、“1022”、“1023”、“1024” 的順序似然性由高到低，“ID24”的單元內(nèi)的面部圖像以“ID241”、“ID242”的順序似然性由
高到低。將對于在圖9中示意地表示的分類結(jié)果的面部圖像選擇顯示處理的概況在以下 說明。另外，設顯示面部圖像數(shù)為“6”。人物群集選擇部230選擇面部圖像的數(shù)量最多的“ID2”的人物群集作為代表人 物群集。單元選擇部240選擇“ID2”的代表人物群集內(nèi)的似然性最高的“ID21”的單元作 為第1代表單元，代表面部圖像選擇部250選擇“ID21”的第1代表單元內(nèi)的似然性最高 的“ID211”的面部圖像作為第1代表面部圖像。接著，單元選擇部240選擇“ID2”的代表 人物群集內(nèi)的似然性最低的“ID24”的單元作為第2代表單元，代表面部圖像選擇部250選 擇“ID24”的第2代表單元內(nèi)的似然性最高的“ID241”的面部圖像作為第1代表面部圖像。
17進而，單元選擇部240選擇“ID2”的代表人物群集內(nèi)的似然性第2低的“ID23”的單元作 為第3代表單元，代表面部圖像選擇部250選擇“ID23”的第3代表單元內(nèi)的似然性最高的 “ID231”的面部圖像作為第1代表面部圖像。人物群集選擇部230選擇面部圖像的數(shù)量第2多的“ID1”的人物群集作為代表人 物群集。單元選擇部240選擇“ID1”的代表人物群集內(nèi)的似然性最高的“ID11”的單元作 為第1代表單元。并且，代表面部圖像選擇部250選擇“ID11”的第1代表單元內(nèi)的似然性 最高的“ID111”的面部圖像作為第1代表面部圖像，選擇似然性最低的“ID114”的面部圖 像作為第2代表面部圖像，選擇似然性第2低的“ID113”的面部圖像作為第3代表面部圖 像。顯示布局控制部210基于上述處理結(jié)果，將圖10所示的顯示內(nèi)容顯示在顯示部30 上。圖10是表示對于圖9的分類結(jié)果執(zhí)行了面部圖像選擇顯示處理時的顯示部30的顯示 內(nèi)容的圖。其中，顯示布局控制部210將“ID21”、“ID23”、“ID24”的單元配置在“ID2”的人 物群集的框內(nèi)，將對應于第1代表單元的“ID21”的單元的框用較粗的線寬顯示，將其以外 的單元的框用較細的線寬顯示。將“ ID211，，、“ ID231 ”、“ ID241 ”的面部圖像配置在“ ID21 ”、 “ID23”、“ID24”的單元的框內(nèi)，將對應于第1代表面部圖像的“ID211”、“ID231”、“ID241，，
的面部圖像的框用較粗的線寬顯示。此外，顯示布局控制部210將“IDll”的單元配置在“ID1”的人物群集的框內(nèi)，將對 應于第1代表單元的“ID11”的單元的框用較粗的線寬顯示。將“ID111”、“ID113”、“ID114” 的面部圖像配置在“ID11”的單元的框內(nèi)，將對應于第1代表面部圖像的“ID111”的面部圖 像的框用較粗的線寬顯示，將其以外的面部圖像的框用較細的線寬顯示。假設用戶對圖10的顯示選擇“ID24”的單元并進行了拖放到人物群集的框外的操 作。根據(jù)該操作，群集修正部140將“ID24”的單元內(nèi)的“ID241”、“ID242”的面部圖像的面 部圖像群集信息的人物ID修正為“ID3”，將分類者信息修正為“用戶”，將分類時刻信息修 正為修正了分類的時刻。修正了面部圖像的分類的結(jié)果成為圖11所示那樣。圖11是在特 征量空間上示意地表示將面部圖像的分類修正后的結(jié)果的圖。其中，在圖11中，“ID111” “ID114”的面部圖像被分類到“ID11”的單元中， “IDl 1”的單元被分類到“ID1”的人物群集中。此外，“ID211”的面部圖像被分類到“ID21” 的單元中，“ID221”的面部圖像被分類到“ID22”的單元中，“ID231”的面部圖像被分類到 “ID23”的單元中?！癐D21 ” “ID23”的單元被分類到“ID2”的人物群集中。進而，“ID241 ” “ID242”的面部圖像被分類到“ID24”的單元中，“ID24”的單元被分類到“ID3”的人物群集 中。假設“ID11”的單元內(nèi)的面部圖像以“ID111”、“ID112”、“ID113”、“ID114”的順序 似然性由高到低。此外，假設“ID2”的人物群集內(nèi)的單元以“ID21”、“ID22”、“ID23”的順序 似然性由高到低。假設“ID24”的單元內(nèi)的面部圖像以“ID241”、“ID242”的順序由高到低。將對在圖11中示意地表示的分類結(jié)果的面部圖像選擇顯示處理的概略在以下說 明。另外，假設顯示面部圖像數(shù)為“6”。人物群集選擇部230選擇面部圖像的數(shù)量最多的“ID1”的人物群集作為代表人物 群集。單元選擇部240選擇“ID1”的代表人物群集內(nèi)的似然性最高的“ IDl 1”的單元作為第1代表單元。并且，代表面部圖像選擇部250選擇“ID11”的第1代表單元內(nèi)的似然性最 高的“ID111”的面部圖像作為第1代表面部圖像，選擇似然性最低的“ID114”的面部圖像 作為第2代表面部圖像。人物群集選擇部230選擇面部圖像的數(shù)量第2多的“ID2”的人物群集作為代表人 物群集。單元選擇部240選擇“ID2”的代表人物群集內(nèi)的似然性最高的“ID21”的單元作 為第1代表單元，代表面部圖像選擇部250選擇“ID21”的第1代表單元內(nèi)的似然性最高的 “ID211”的面部圖像作為第1代表面部圖像。接著，單元選擇部240選擇“ID2”的代表人 物群集內(nèi)的似然性最低的“ID23”的單元作為第2代表單元，代表面部圖像選擇部250選擇 “ID23”的第2代表單元內(nèi)的似然性最高的“ID231”的面部圖像作為第1代表面部圖像。人物群集選擇部230選擇面部圖像的數(shù)量第3多的“ID3”的人物群集作為代表人 物群集。單元選擇部240選擇“ID3”的代表人物群集內(nèi)的似然性最高的“ID24”的單元作 為第1代表單元。并且，代表面部圖像選擇部250選擇“ID24”的第1代表單元內(nèi)的似然性 最高的“ID241”的面部圖像作為第1代表面部圖像，選擇似然性最低的“ID242”的面部圖 像作為第2代表面部圖像。顯示布局控制部210基于上述處理結(jié)果，將圖12所示的顯示內(nèi)容顯示在顯示部30 上。圖12是表示對于圖11的分類結(jié)果執(zhí)行了面部圖像選擇顯示處理時的顯示部30的顯 示內(nèi)容的圖。其中，顯示布局控制部210將“ID11”的單元配置在“ID1”的人物群集的框內(nèi)，將 對應于第1代表單元的“ID11”的單元的框用較粗的線寬顯示。將“ID111”、“ID114”的面 部圖像配置在“ID11”的單元的框內(nèi)，將對應于第1代表面部圖像的“ID111”的面部圖像的 框用較粗的線寬顯示，將其以外的面部圖像的框用較細的線寬顯示。此外，顯示布局控制部210將“ ID21”、“ ID23，，的單元配置在“ ID2，，的人物群集的 框內(nèi)，將對應于第1代表單元的“ID21”的單元的框用較粗的線寬顯示，將其以外的單元的 框用較細的線寬顯示。將“ID211”、“ID231”的面部圖像配置在“ID21”、“ID23”的單元的框 內(nèi)，將對應于第1代表面部圖像的“ID211”、“ID231”的面部圖像的框用較粗的線寬顯示。進而，顯示布局控制部210將“ID24”的單元配置在“ID3”的人物群集的框內(nèi)，將 對應于第1代表單元的“ID24”的單元的框用較粗的線寬顯示。將“ID241”、“ID242”的面 部圖像配置在“ID24”的單元的框內(nèi)，將對應于第1代表面部圖像的“ID241”的面部圖像的 框用較粗的線寬顯示，將其以外的面部圖像的框用較細的線寬顯示。假設用戶對圖12的顯示選擇“ID3”的人物群集并進行了拖放到“ID1”的人物群 集內(nèi)的操作。根據(jù)該操作，群集修正部140將“ID3”的人物群集內(nèi)的“ID241”、“ID242”的 面部圖像的面部圖像群集信息的人物ID修正為“ID1”，將分類者信息修正為“用戶”，將分 類時刻信息修正為修正了分類的時刻。修正了面部圖像的分類的結(jié)果成為圖13所示那樣。 圖13是在特征量空間上示意地表示將面部圖像的分類修正后的結(jié)果的圖。其中，在圖13中，“ID111” “ID114”的面部圖像被分類到“ID11”的單元中， “ID241 ” “ID242”的面部圖像被分類到“ID24”的單元中，“IDll”、“ID24”的單元被分類 到“ID1”的人物群集中。此外，“ID211”的面部圖像被分類到“ID21”的單元中，“ID221” 的面部圖像被分類到“ID22”的單元中，“ID231”的面部圖像被分類到“ID23”的單元中。 “ ID21” “ ID23”的單元被分類到“ ID2”的人物群集中。
假設“ID1”的人物群集內(nèi)的單元以“ID11”、“ID24”的順序似然性由高到低。假 設“ID11”的單元內(nèi)的面部圖像以“ID111”、“ID112”、“ID113”、“ID114”的順序似然性由高 到低。假設“ID24”的單元內(nèi)的面部圖像以“ID241”、“ID242”的順序由高到低。此外，假設 “ID2”的人物群集內(nèi)的單元以“ID21”、“ID22”、“ID23”的順序似然性由高到低。將對在圖13中示意地表示的分類結(jié)果的面部圖像選擇顯示處理的概略在以下說 明。另外，假設顯示面部圖像數(shù)為“6”。人物群集選擇部230選擇面部圖像的數(shù)量最多的“ID1”的人物群集作為代表人物 群集。單元選擇部240選擇“ID1”的代表人物群集內(nèi)的似然性最高的“ID11”的單元作為 第1代表單元。并且，代表面部圖像選擇部250選擇“ID11”的第1代表單元內(nèi)的似然性最 高的“ID111”的面部圖像作為第1代表面部圖像，選擇似然性最低的“ID114”的面部圖像 作為第2代表面部圖像。接著，單元選擇部240選擇“ID1”的代表人物群集內(nèi)的似然性最 低的“ID24”的單元作為第2代表單元。并且，代表面部圖像選擇部250選擇“ID24”的第 2代表單元內(nèi)的似然性最高的“ID241”的面部圖像作為第1代表面部圖像。人物群集選擇部230選擇面部圖像的數(shù)量第2多的“ID2”的人物群集作為代表 人物群集。單元選擇部240選擇“ID2”的代表人物群集內(nèi)的似然性最高的“ID21”的單元 作為第1代表單元，代表面部圖像選擇部250選擇“ID21”的第1代表單元內(nèi)的似然性最 高的“ID211”的面部圖像作為第1代表面部圖像。接著，單元選擇部240選擇“ID2”的代 表人物群集內(nèi)的似然性最低的“ID23”的單元作為第2代表單元，代表面部圖像選擇部250 選擇“ID23”的第2代表單元內(nèi)的似然性最高的“ID231”的面部圖像作為第1代表面部圖 像。進而，單元選擇部240選擇“ID2”的代表人物群集內(nèi)的似然性第2低的“ID22”的單元 作為第3代表單元，代表面部圖像選擇部250選擇“ID22”的第3代表單元內(nèi)的似然性最高 的“ID221”的面部圖像作為第1代表面部圖像。顯示布局控制部210基于上述處理結(jié)果，將圖14所示的顯示內(nèi)容顯示在顯示部30 上。圖14是表示對于圖13的分類結(jié)果執(zhí)行了面部圖像選擇顯示處理時的顯示部30的顯 示內(nèi)容的圖。其中，顯示布局控制部210將“ID11”、“ID24”的單元配置在“ID1”的人物群集的 框內(nèi)，將對應于第1代表單元的“ID11”的單元的框用較粗的線寬顯示，將其以外的單元的 框用較細的線寬顯示。將“ID111”、“ID114”的面部圖像配置在“ID11”的單元的框內(nèi)，將對 應于第1代表面部圖像的“ID111”的面部圖像的框用較粗的線寬顯示，將其以外的面部圖 像的框用較細的線寬顯示。將“ID241”的面部圖像配置在“ID24”的單元的框內(nèi)，將對應于 第1代表面部圖像的“ID241”的面部圖像的框用較粗的線寬顯示。此外，顯示布局控制部210將“ID21”、“ID22”、“ID23”的單元配置在“ID2”的人 物群集的框內(nèi)，將對應于第1代表單元的“ID21”的單元的框用較粗的線寬顯示，將其以外 的單元的框用較細的線寬顯示。將“ID211”、“ID221”、“ID231”的面部圖像配置在“ID21”、 “ID22”、“ID23”的單元的框內(nèi)，將對應于第1代表面部圖像的“ID2ir，、“ID221”、“ID231” 的面部圖像的框用較粗的線寬顯示?！兜?實施方式》以下，參照附圖對本發(fā)明的第2實施方式進行說明。在第1實施方式中，面部圖像被分類至集中了類似的面部圖像的單元，單元被分類至集中了類似的單元的人物群集，利用該分類結(jié)果選擇代表面部圖像并顯示。相對于此， 在本實施方式中，面部圖像被分類至集中了類似的面部圖像的人物群集，利用該分類結(jié)果 選擇并顯示代表面部圖像。另外，本實施方式的“人物群集”對應于“群集”。另外，在本實施方式中，對于與第1實施方式的結(jié)構(gòu)要素實質(zhì)上相同的結(jié)構(gòu)要素 賦予相同的標號，由于能夠采用第1實施方式的說明，所以在本實施方式中將其說明省略 或僅記載概況?！囱b置結(jié)構(gòu)〉圖15是本實施方式的代表圖像顯示裝置Ia的整體結(jié)構(gòu)圖，代表圖像顯示裝置Ia 具備運算處理部10a、存儲部20a、顯示部30和操作IF部40。運算處理部IOa例如由CPU等構(gòu)建，進行代表圖像顯示裝置Ia整體的各種控制及 各種運算。存儲部20a例如由R0M、RAM、HDD等構(gòu)建，存儲有用來控制代表圖像顯示裝置Ia的 各種控制程序及各種應用程序等。存儲部20a存儲有記述有在圖17 圖19中表示動作流 程的步驟的程序。此外，存儲部20a存儲圖像數(shù)據(jù)、面部圖像數(shù)據(jù)及面部特征量數(shù)據(jù)，并且 存儲圖像DB21、面部圖像DB22、以及面部圖像群集DB23a。(存儲部內(nèi)的各數(shù)據(jù)庫的結(jié)構(gòu))“面部圖像群集DB的結(jié)構(gòu)”圖16是表示圖15的面部圖像群集DB23a的一例的圖。面部圖像群集DB23a是用 來對于每個面部圖像，將包含面部圖像的圖像的圖像ID、用來識別面部圖像所屬的人物群 集的人物ID、面部圖像的分類者信息和面部圖像的分類時刻信息與面部圖像的面部ID建 立對應來保存的數(shù)據(jù)庫。另外，以下將面部圖像群集DB23a的1個記錄量的信息的集合適 當?shù)胤Q作“面部圖像群集信息”。(運算處理部的結(jié)構(gòu))運算處理部IOa從存儲部20a中讀出記述有在圖17 圖19中表示動作流程的步 驟的程序，執(zhí)行所讀出的程序。由此，運算處理部IOa作為圖像解析部IOOa和圖像顯示部 200a發(fā)揮功能。(圖像解析部的功能結(jié)構(gòu))圖像解析部IOOa如圖15所示，具備圖像輸入部110、面部識別處理部120、群集形 成部130a和群集修正部140a。群集形成部130a參照面部圖像DB22，從存儲部20中讀出對應于各面部ID的面部 特征量文件名的面部特征量數(shù)據(jù)。并且，群集形成部130a使用所讀出的面部特征量數(shù)據(jù)， 將類似的面部圖像集中而形成人物群集，對所形成的各人物群集唯一地賦予人物ID。并且，群集形成部130a對于面部圖像將含有面部圖像的圖像的圖像ID、面部圖像 所屬的人物群集的人物ID和面部圖像的分類時刻信息與面部圖像的面部ID建立對應并保 存在面部圖像群集DB23a中。其中，分類者信息的內(nèi)容為系統(tǒng)，分類時刻信息的內(nèi)容為被自 動分類的時刻。其中，群集形成部130a將從存儲部20a讀出的多個面部特征量數(shù)據(jù)相互比較，面 部特征量數(shù)據(jù)間的差例如是預定的閾值以下的面部特征量數(shù)據(jù)的面部圖像作為相互類似 的，通過將它們集中為1個來形成人物群集。另外，人物群集的形成的方法并不限定于上述方法。群集修正部140a經(jīng)由操作IF部40接受用戶操作，在面部圖像群集DB23a中，按 照接受到的用戶操作，用戶將實施了分類修正的面部圖像的面部圖像群集信息修正。其中， 包含在面部圖像群集信息中的分類者信息的內(nèi)容為用戶，分類時刻的信息的內(nèi)容是進行分 類的修正的時刻。(圖像顯示部的功能結(jié)構(gòu))圖像顯示部200a如圖14所示，具備顯示布局控制部210a、顯示面部圖像數(shù)決定部 220、人物群集選擇部230和代表面部圖像選擇部250a。顯示布局控制部210a是參照圖像DB21、面部圖像DB22及面部圖像群集DB23a的 保存內(nèi)容控制顯示在顯示部30上的面部圖像的顯示布局的單元。其中，顯示布局控制部 210a在控制顯示布局時，也使用從代表面部圖像選擇部250a輸入的信息、從操作IF部40 輸入的信息。代表面部圖像選擇部250a對于從人物群集選擇部230輸入的人物ID的人物群集 (代表人物群集)，分別如下從代表人物群集內(nèi)的面部圖像中選擇代表面部圖像。代表面部圖像選擇部250a參照面部圖像群集DB23a，取得代表人物群集內(nèi)的面部 ID的數(shù)量、即面部圖像的數(shù)量。并且，代表面部圖像選擇部250a在從人物群集選擇部230 輸入的人物群集顯示面部圖像數(shù)不到面部圖像的數(shù)量的情況下，將代表人物群集中的代表 面部圖像的數(shù)量(代表面部圖像數(shù))決定為與人物群集顯示面部圖像數(shù)相同的值，在人物 群集顯示面部圖像數(shù)不到面部圖像的數(shù)量的情況下，將代表面部圖像數(shù)決定為與所取得的 面部圖像的數(shù)量相同的值。另外，在前者中，代表人物群集內(nèi)的面部圖像的一部分為代表面 部圖像，在后者中，代表人物群集內(nèi)的所有的面部圖像為代表面部圖像。接著，代表面部圖像選擇部250a對代表人物群集內(nèi)的各面部圖像計算表示面部 圖像的分類結(jié)果的準確度的似然性。并且，代表面部圖像選擇部250a在選擇第1個代表面 部圖像的情況下，將代表人物群集內(nèi)的似然性最高的面部圖像選擇為代表面部圖像，在選 擇第2個以后的代表面部圖像的情況下，以代表人物群集內(nèi)的似然性由低到高的順序選擇 比代表面部圖像數(shù)小1的數(shù)量的面部圖像作為代表面部圖像。并且，代表面部圖像選擇部 250a將代表面部圖像的面部ID和在代表人物群集內(nèi)選擇代表面部圖像的順序向顯示布局 控制部210a輸出。該信息在顯示布局控制部210a顯示代表面部圖像并用不同的方法顯示 代表人物群集內(nèi)的似然性最高的代表面部圖像和其以外的代表面部圖像時使用。另外，在 代表面部圖像數(shù)是1的情況下，當然不進行第2個以后的代表面部圖像的選擇。其中，代表面部圖像選擇部250a作為似然性而使用從代表人物群集的特征量空 間上的中心位置或重心位置到面部圖像的特征量空間上的中心位置或重心位置的距離，使 得距離越小則關于面部圖像的似然性越高、距離越大則關于面部圖像的似然性越低。代表 面部圖像選擇部250a參照面部圖像群集DB23a及面部圖像DB22，利用代表人物群集內(nèi)的面 部圖像的面部特征量數(shù)據(jù)計算代表人物群集的特征量空間上的中心位置或重心位置，利用 該面部圖像的面部特征量數(shù)據(jù)計算代表人物群集內(nèi)的各個面部圖像的特征量空間上的位 置。并且，代表面部圖像選擇部250a在選擇第1個代表面部圖像的情況下，選擇位置與代 表人物群集的中心位置或重心位置最接近的面部圖像作為代表面部圖像。代表面部圖像選 擇部250a在選擇第2個以后的代表面部圖像的情況下，以位置距離代表人物群集的中心位置或重心位置由遠到近的順序選擇比代表面部圖像數(shù)小1的數(shù)量的面部圖像作為代表面 部圖像。在上述各情況下，位置與代表人物群集的中心位置或重心位置最接近的面部圖像 被正確地分類到代表人物群集中的可能性較高。另一方面，位置越遠離代表人物群集的中 心位置或重心位置的面部圖像，被誤分類到代表人物群集中的可能性越高。因而，用戶能夠 例如一邊觀看被正確地分類的可能性高的面部圖像和被誤分類的可能性高的面部圖像，一 邊修正面部圖像的分類，所以能夠進行高效率的注釋。<裝置動作>將由圖17的代表圖像顯示裝置Ia進行的處理，分為面部圖像自動分類處理、面部 圖像分類修正處理、以及面部圖像選擇顯示處理這3個進行說明。(面部圖像自動分類處理的動作)圖17是表示圖15的代表圖像顯示裝置Ia進行的面部圖像自動分類處理的流程 的流程圖。圖像輸入部110及面部識別處理部120進行參照圖5說明的步驟SlOl S108的處理。群集形成部130a參照面部圖像DB22，將對應于各面部ID的面部特征量文件名的 面部特征量數(shù)據(jù)從存儲部20讀出。接著，群集形成部130a使用所讀出的面部特征量數(shù)據(jù)， 將類似的面部圖像集中而形成人物群集，對所形成的各人物群集賦予人物ID(步驟S151)。 接著，群集形成部130a按照面部圖像將面部圖像群集信息保存到面部圖像群集DB23中 (步驟S152)。另外，包含在面部圖像群集信息中的分類者信息的內(nèi)容是系統(tǒng)，分類時刻信 息的內(nèi)容是被自動分類的時刻。(面部圖像分類修正處理的動作)圖18是表示圖15的代表圖像顯示裝置Ia進行的面部圖像分類修正處理的流程 的流程圖。另外，群集修正部140a利用從顯示布局控制部210a輸入的有關顯示布局的信 息，并且使用從操作IF部40輸入的信號，判斷用戶的選擇對象(人物群集、面部圖像)，判 斷用戶將選擇圖像拖放的目的地(選擇對象的移動目的地)。群集修正部140a進行參照圖6說明的步驟S201 S202的處理。群集修正部140a 在面部圖像群集DB23a中修正所選擇的人物群集內(nèi)的各面部圖像的面部圖像群集信息(步 驟S203a)。其中，群集修正部140a將面部圖像群集信息的人物ID修正為移動目的地的人 物群集的人物ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時刻。群集修正部140a進行參照圖6說明的步驟S206的處理。群集修正部140a在面 部圖像群集DB23中，修正所選擇的面部圖像的面部圖像群集信息(步驟S207a)。其中，在 所選擇的面部圖像的移動目的地是人物群集的情況下，群集修正部140a將面部圖像群集 信息的人物ID修正為移動目的地的人物群集的人物ID，將分類者信息修正為用戶，將分類 時刻信息修正為分類被修正的時刻。進而，在所選擇的面部圖像的移動目的地是不存在人 物群集的區(qū)域的情況下，群集修正部140a將面部圖像群集信息的人物ID修正為到目前為 止沒有賦予的人物ID，將分類者信息修正為用戶，將分類時刻信息修正為分類被修正的時 刻。(面部圖像選擇顯示處理的動作)
圖19是表示圖15的代表圖像顯示裝置Ia進行的面部圖像選擇顯示處理的流程 的流程圖。顯示面部圖像數(shù)決定部220及人物群集選擇部230進行參照圖7說明的步驟 S301 步驟S305的處理。代表面部圖像選擇部250a參照面部圖像群集DB23a，取得代表人物群集內(nèi)的面部 圖像的數(shù)量(步驟S351)。接著，代表面部圖像選擇部250a決定在代表人物群集中顯示在 顯示部30上的面部圖像的數(shù)量(代表面部圖像數(shù))N，將變量η的值設為1 (步驟S352)。代表面部圖像選擇部250a選擇代表人物群集內(nèi)的似然性最高的面部圖像作為第 1代表面部圖像(步驟S353)。此時，代表面部圖像選擇部250將第1代表面部圖像的面部 ID和第1代表面部圖像在代表人物群集內(nèi)被選擇的順序向顯示布局控制部210a輸出。代表面部圖像選擇部250a將變量η的值增加1 (步驟S354)，判斷變量η的值是否 是代表面部圖像數(shù)N以下(步驟S355)。在變量η的值是代表面部圖像數(shù)N以下的情況下 (S355 是)，代表面部圖像選擇部250a選擇代表人物群集內(nèi)的似然性第(n_l)低的面部圖 像作為第η個代表面部圖像(步驟S356)。此時，代表面部圖像選擇部250a將第η個代表 面部圖像的面部ID和第η個代表面部圖像在代表單元內(nèi)被選擇的順序向顯示布局控制部 210輸出。接著步驟S356的處理而進行步驟S354的處理。代表面部圖像選擇部250a進行參照圖7說明的步驟S314 步驟S315的處理。顯示布局控制部210a基于步驟S301至步驟S315的處理的執(zhí)行結(jié)果，執(zhí)行將代表 面部圖像顯示在顯示部30上的顯示控制(步驟S316a)。其中，顯示布局控制部210a顯示 表示各代表人物群集的區(qū)域的框。顯示布局控制部210a將該代表人物群集內(nèi)的第1至第N 個代表面部圖像配置在各代表人物群集的框內(nèi)，將第1代表面部圖像的框用較粗的線寬顯 示，將第2至第N個代表面部圖像的框用較細的線寬顯示。通過這樣顯示，用戶能夠簡單地 區(qū)別似然性高的代表面部圖像和似然性低的代表面部圖像。(代表圖像顯示裝置的處理的例子)以下，參照圖20至圖23說明圖15的代表圖像顯示裝置1進行的一系列處理的一例。圖20是在特征量空間上示意地表示將面部圖像自動分類的結(jié)果的圖。其中，在圖20中，“ID11” “ID12”的面部圖像被分類到“ID1”的人物群集中， “ ID21” “ ID25”的面部圖像被分類到“ ID2”的人物群集中。假設“ ID1”的人物群集內(nèi)的面部圖像以“ IDl 1 ”、“ ID12”的順序似然性由高到低， 假設“ ID2”的人物群集內(nèi)的面部圖像以“ ID21 ”、“ ID22”、“ ID23”、“ ID24”、“ ID25”的順序似
然性由高到低。將對于在圖20中示意地表示的分類結(jié)果的面部圖像選擇顯示處理的概況在以下 說明。另外，設顯示面部圖像數(shù)為“4”。人物群集選擇部230選擇面部圖像的數(shù)量最多的“ID2”的人物群集作為代表人物 群集。代表面部圖像選擇部250a選擇“ID2”的代表人物群集內(nèi)的似然性最高的“ID21”的 面部圖像作為第1代表面部圖像，選擇似然性最低的“ID25”的面部圖像作為第2代表面部圖像。人物群集選擇部230選擇面部圖像的數(shù)量第2多的“ID1”的人物群集作為代表人物群集。代表面部圖像選擇部250a選擇“ IDl"的代表人物群集內(nèi)的似然性最高的“ IDl 1，， 的面部圖像作為第1代表面部圖像，選擇似然性最低的“ID12”的面部圖像作為第2代表面 部圖像。顯示布局控制部210a基于上述處理結(jié)果，將圖21所示的顯示內(nèi)容顯示在顯示部 30上。圖21是表示對于圖20的分類結(jié)果執(zhí)行了面部圖像選擇顯示處理時的顯示部30的 顯示內(nèi)容的圖。其中，顯示布局控制部210a將“ ID21 ”、“ ID25，，的面部圖像配置在“ ID2，，的人物群 集的框內(nèi)，將對應于第1代表面部圖像的“ID21”的面部圖像的框用較粗的線寬顯示，將其 以外的面部圖像的框用較細的線寬顯示。此外，顯示布局控制部210a將“ID11”、“ID12”的 面部圖像配置在“ID1”的人物群集的框內(nèi)，將對應于第1代表面部圖像的“ID11”的面部圖 像的框用較粗的線寬顯示，將其以外的面部圖像的框用較細的線寬顯示。假設用戶對圖21的顯示選擇“ID25”的面部圖像并進行了拖放到人物群集的框外 的操作。根據(jù)該操作，群集修正部140a將“ID25”的面部圖像的面部圖像群集信息的人物 ID修正為“ID3”，將分類者信息修正為“用戶”，將分類時刻信息修正為修正了分類的時亥IJ。 修正了面部圖像的分類的結(jié)果成為圖22所示那樣。圖22是在特征量空間上示意地表示將 面部圖像的分類修正后的結(jié)果的圖。其中，在圖22中，“ID11” “ID12”的面部圖像被分類到“ID1”的人物群集中， “ID21” “ID24”的面部圖像被分類到“ID2”的人物群集中，“ID25”的面部圖像被分類到 “ID1”的人物群集中。假設“ ID1”的人物群集內(nèi)的面部圖像以“ IDl 1 ”、“ ID12”的順序似然性由高到低， “ ID2”的人物群集內(nèi)的面部圖像以“ ID21”、“ ID22”、“ ID23”、“ ID24”的順序似然性由高到低。將對在圖22中示意地表示的分類結(jié)果的面部圖像選擇顯示處理的概略在以下說 明。另外，假設顯示面部圖像數(shù)為“4”。人物群集選擇部230選擇面部圖像的數(shù)量最多的“ID2”的人物群集作為代表人物 群集。代表面部圖像選擇部250a選擇“ID2”的代表人物群集內(nèi)的似然性最高的“ID21”的 面部圖像作為第1代表面部圖像，選擇似然性最低的“ID24”的面部圖像作為第2代表面部 圖像。人物群集選擇部230選擇面部圖像的數(shù)量第2多的“ID1”的人物群集作為代表人 物群集。代表面部圖像選擇部250a選擇“ IDl"的代表人物群集內(nèi)的似然性最高的“ IDl 1，， 的面部圖像作為第1代表面部圖像。人物群集選擇部230選擇面部圖像的數(shù)量第3多的“ID3”的人物群集作為代表人 物群集。代表面部圖像選擇部250a選擇“ID3”的代表人物群集內(nèi)的似然性最高的“ID25” 的面部圖像作為第1代表面部圖像。顯示布局控制部210a基于上述處理結(jié)果，將圖23所示的顯示內(nèi)容顯示在顯示部 30上。圖23是表示對于圖22的分類結(jié)果執(zhí)行了面部圖像選擇顯示處理時的顯示部30的 顯示內(nèi)容的圖。其中，顯示布局控制部210a將“ ID21 ”、“ ID24”的面部圖像配置在“ ID2，，的人物群 集的框內(nèi)，將對應于第1代表面部圖像的“ID21”的面部圖像的框用較粗的線寬顯示，將其
25以外的面部圖像的框用較細的線寬顯示。此外，顯示布局控制部210a將“ID11”的面部圖 像配置在“ID1”的人物群集的框內(nèi)，將對應于第1代表面部圖像的“ID11”的面部圖像的框 用較粗的線寬顯示。進而，顯示布局控制部210a將“ID25”的面部圖像配置在“ID3”的人 物群集的框內(nèi)，將對應于第1代表面部圖像的“ID25”的面部圖像的框用較粗的線寬顯示?！堆a充》本發(fā)明并不限定于在上述實施方式中說明的內(nèi)容，在用來達到本發(fā)明的目的和與 其關聯(lián)或附帶的目的的任何形態(tài)中都能夠?qū)嵤?，例如也可以是以下的形態(tài)。(1)在上述第1及第2實施方式中，將人物的面部圖像作為群集的對象，但并不限 于此，對于人物的面部圖像以外的各種圖像都能夠采用在第1及第2實施方式中說明的方法。(2)在上述第1及第2實施方式中，人物群集選擇部230利用人物群集內(nèi)的面部圖 像的數(shù)量作為代表人物群集的選擇的指標，但并不限于此，例如也可以使用以下這樣的選 擇的指標選擇代表人物群集。人物群集選擇部230使用人物群集被形成或修正的時刻作為代表人物群集的選 擇的指標，以被形成或修正的時刻由新到舊的順序選擇代表人物群集數(shù)量的人物群集作為 代表人物群集。另外，這依據(jù)以下的考慮被形成或修正的時刻較舊的人物群集由用戶完 成了修正而已經(jīng)為正確的群集，被形成或修正的時刻較新的人物群集還沒有由用戶完成修 正。此外，人物群集選擇部230使用人物群集內(nèi)的面部圖像的面部特征量數(shù)據(jù)的離散 作為代表人物群集的選擇的指標。人物群集選擇部230對各人物群集使用人物群集內(nèi)的面 部圖像的面部特征量數(shù)據(jù)計算該人物群集內(nèi)的面部圖像的面部特征量數(shù)據(jù)的離散，以計算 出的離散由大到小的順序選擇代表人物群集數(shù)的人物群集作為代表人物群集。另外，這依 據(jù)以下的考慮因為越是離散較大的人物群集、在特征量空間上面部圖像的面部特征量數(shù) 據(jù)分布越廣，所以人物群集的內(nèi)容錯誤的可能性較高，越是離散較小的人物群集，在特征量 空間上面部圖像的面部特征量數(shù)據(jù)分布越不廣，所以人物群集的內(nèi)容錯誤的可能性較低。進而，人物群集選擇部230使用人物群集的特征量空間上的群集半徑作為代表人 物群集的選擇的指標。人物群集選擇部230對于各人物群集，使用人物群集內(nèi)的面部圖像 的面部特征量數(shù)據(jù)計算該人物群集的群集半徑，以計算出的群集半徑由大到小的順序選擇 代表人物群集數(shù)的人物群集作為代表人物群集。另外，這依據(jù)以下的考慮由于越是群集半 徑較大的人物群集，在特征量空間上面部圖像的面部特征量數(shù)據(jù)分布越廣，所以人物群集 的內(nèi)容錯誤的可能性較高，越是群集半徑較小的人物群集，在特征量空間上面部圖像的面 部特征量數(shù)據(jù)分布越不廣，所以內(nèi)容錯誤的可能性較低。進而，人物群集選擇部230使用人物群集的特征量空間上的中心位置或重心位置 等位置作為代表人物群集的選擇的指標。人物群集選擇部230對于各人物群集，使用人物 群集內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算該人物群集的位置(中心位置、重心位置等)，以 計算出的位置距離特征量空間上的指定的位置由近到遠的順序選擇代表人物群集數(shù)量的 人物群集作為代表人物群集。另外，作為指定的位置，例如可以利用從特征量空間的整體觀 察的中心位置、所有的人物群集的空間特征量上的重心位置、指定的人物群集的特征量空 間上的中心位置及重心位置等位置。
進而，人物群集選擇部230使用人物群集內(nèi)的面部圖像中的分類者信息是“系統(tǒng)” 的面部圖像的比率作為代表人物群集的選擇的指標。人物群集選擇部230對于各人物群 集，計算人物群集內(nèi)的面部圖像中的分類者信息是“系統(tǒng)”的面部圖像的比率，以計算出的 比率由大到小的順序選擇代表人物群集數(shù)的人物群集作為代表人物群集。另外，這依據(jù)以 下的考慮越是用戶沒有修正的面部圖像的比率高的人物群集，越是用戶還沒有完成修正， 越是比率低的人物群集，越是用戶完成修正而已經(jīng)為正確的群集。(3)在上述第1實施方式中，單元選擇部240作為選擇第1個代表單元時的似然 性，使用從代表人物群集的特征量空間上的中心位置或重心位置到單元的特征量空間上的 中心位置或重心位置的距離，但并不限于此，例如也可以使用以下這樣的似然性來選擇第1 個代表單元。單元選擇部240使用單元被形成或修正的時刻作為選擇第1個代表單元時的似然 性，形成或修正的時刻越舊則似然性越高。單元選擇部240選擇形成或修正的時刻最舊的 單元作為第1個代表單元。另外，這依據(jù)以下的考慮越是形成或修正的時刻由舊到新的單 元則分類結(jié)果越正確，用戶不需要進行修正。此外，單元選擇部240使用單元內(nèi)的面部圖像的數(shù)量作為選擇第1個代表單元時 的似然性，面部圖像的數(shù)量越少則似然性越高。單元選擇部240選擇面部圖像的數(shù)量最少 的單元作為第1個代表單元。另外，這依據(jù)以下的考慮越是面部圖像的數(shù)量較少的單元， 包含錯誤的面部圖像的可能性越低。進而，單元選擇部240使用單元的特征量空間上的群集半徑作為選擇第1個代表 單元時的似然性，群集半徑越小則似然性越高。單元選擇部240利用單元內(nèi)的面部圖像的 面部特征量數(shù)據(jù)計算代表人物群集內(nèi)的各單元的特征量空間上的群集半徑，選擇群集半徑 最小的單元作為第1個代表單元。另外，這依據(jù)以下的考慮越是群集半徑較小的單元，包 含錯誤的面部圖像的可能性越低。進而，單元選擇部240使用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)的特征量空間上 的密度作為選擇第1個代表單元時的似然性，密度越高則似然性越高。單元選擇部240利 用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算代表人物群集內(nèi)的各單元的特征量空間上的 密度，選擇密度最高的單元作為第1個代表單元。另外，這依據(jù)以下的考慮由于密度越小 則在特征量空間上面部圖像的面部特征量數(shù)據(jù)越集中，所以包含錯誤的面部圖像的可能性 越低。進而，單元選擇部240使用單元內(nèi)的面部圖像的特征量空間上的離散作為選擇第 1個代表單元時的似然性，離散越小則似然性越高。單元選擇部240對于代表人物群集內(nèi)的 各單元，利用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算單元內(nèi)的面部圖像的面部特征量數(shù) 據(jù)的離散，選擇離散最小的單元作為代表單元。另外，這依據(jù)以下的考慮由于越是離散較 小的單元則在特征量空間上面部圖像的面部特征量數(shù)據(jù)越集中，所以包含錯誤的面部圖像 的可能性越低。進而，單元選擇部240使用單元內(nèi)的面部圖像中的分類者信息是“用戶”的面部圖 像的比率作為選擇第1個代表單元時的似然性，比率越大則似然性越高。單元選擇部240 在代表人物群集內(nèi)的各單元中，計算單元內(nèi)的面部圖像中的分類者信息是“用戶”的面部圖 像的比率，選擇計算出的比率最大的單元作為第1個代表單元。另外，這依據(jù)以下的考慮越是用戶修正的面部圖像的比率較高的單元，越是用戶已完成了修正。(4)在上述第1實施方式中，單元選擇部240作為選擇第2個以后的代表單元時的 似然性，使用從代表人物群集的特征量空間上的中心位置或重心位置到單元的特征量空間 上的中心位置或重心位置的距離，但并不限于此，例如也可以使用以下這樣的似然性來選 擇第2個以后的代表單元。單元選擇部240使用單元被形成或修正的時刻作為選擇第2個以后的代表單元時 的似然性，形成或修正的時刻越新則似然性越低。單元選擇部240以形成或修正的時刻由 新到舊的順序選擇比代表單元數(shù)小1的數(shù)量的單元作為代表單元。另外，這依據(jù)以下的考 慮越是形成或修正的時刻較新的單元，越是用戶沒有完成修正。此外，單元選擇部240使用單元內(nèi)的面部圖像的數(shù)量作為選擇第2個以后的代表 單元時的似然性，面部圖像的數(shù)量越多則似然性越低。單元選擇部240以面部圖像的數(shù)量 由多到少的順序選擇比代表單元數(shù)小1的數(shù)量的單元作為代表單元。另外，這依據(jù)以下的 考慮越是面部圖像的數(shù)量較多的單元，包含錯誤的面部圖像的可能性越高。進而，單元選擇部240使用單元的特征量空間上的群集半徑作為選擇第2個以后 的代表單元時的似然性，群集半徑越大則似然性越低。單元選擇部240利用單元內(nèi)的面部 圖像的面部特征量數(shù)據(jù)計算代表人物群集內(nèi)的各單元的特征量空間上的群集半徑，以群集 半徑由大到小的順序選擇比代表單元數(shù)小1的數(shù)量的單元作為代表單元。另外，這依據(jù)以 下的考慮越是群集半徑較大的單元，在特征量空間上面部圖像的面部特征量數(shù)據(jù)分布越 廣，所以包含錯誤的面部圖像的可能性越高。進而，單元選擇部240使用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)的特征量空間上 的密度作為選擇第2個以后的代表單元時的似然性，密度越小則似然性越低。單元選擇部 240利用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算代表任務群集內(nèi)的各單元的特征量空間 上的密度，以密度由小到大的順序選擇比代表單元數(shù)小1的數(shù)量的單元作為代表單元。另 外，這依據(jù)以下的考慮由于越是密度較小的單元則在特征量空間上面部圖像的面部特征 量數(shù)據(jù)分布越廣，所以包含錯誤的面部圖像的可能性越高。進而，單元選擇部240使用單元內(nèi)的面部圖像的特征量空間上的離散作為選擇第 2個以后的代表單元時的似然性，離散越大則似然性越低。單元選擇部240對于代表人物群 集內(nèi)的各單元，利用單元內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算單元內(nèi)的面部圖像的面部特 征量數(shù)據(jù)的離散，以離散由大到小的順序選擇比代表單元數(shù)小1的數(shù)量的單元作為代表單 元。另外，這依據(jù)以下的考慮由于越是離散較大的單元則在特征量空間上面部圖像的面部 特征量數(shù)據(jù)分布越廣，所以包含錯誤的面部圖像的可能性越高。進而，單元選擇部240使用單元內(nèi)的面部圖像中的分類者信息是“系統(tǒng)”的面部圖 像的比率作為選擇第2個以后的代表單元時的似然性，比率越大則似然性越低。單元選擇 部240在代表人物群集內(nèi)的各單元中，計算單元內(nèi)的面部圖像中的分類者信息是“系統(tǒng)”的 面部圖像的比率，以計算出的比率由大到小的順序選擇比代表單元數(shù)小1的數(shù)量的單元作 為代表單元。另外，這依據(jù)以下的考慮越是用戶沒有修正的面部圖像的比率較高的單元， 越是用戶沒有完成修正。(5)在上述第1及第2實施方式中，代表面部圖像選擇部250或代表面部圖像選 擇部250a作為選擇第1個代表面部圖像時的似然性，使用從代表單元或代表人物群集的特征量空間上的中心位置或重心位置到面部圖像的特征量空間上的位置的距離，但并不限于 此，例如也可以使用以下這樣的似然性來選擇代表面部圖像。代表面部圖像選擇部250、250a使用面部圖像被分類的時刻(被自動分類的時刻、 被實施了分類的修正的時刻)作為選擇第1個代表面部圖像時的似然性，被分類的時刻越 舊則似然性越高。代表面部圖像選擇部250、250a選擇被分類的時刻最舊的面部圖像作為 第1個代表面部圖像。另外，這依據(jù)以下的考慮越是被分類的時刻較舊的面部圖像則分類 結(jié)果越正確，所以用戶不需要進行修正。代表面部圖像選擇部250、250a使用面部圖像的分類者信息作為選擇第1個代表 面部圖像時的似然性，越是分類者信息是“用戶”的面部圖像則似然性越高。代表面部圖像 選擇部250、250a優(yōu)先選擇分類者信息是“用戶”的面部圖像作為第1個代表面部圖像。代表面部圖像選擇部250使用從代表單元所屬的代表人物群集的特征量空間上 的中心位置或重心位置到面部圖像的特征量空間上的位置的距離作為選擇第1個代表單 元時的似然性，距離越小則似然性越高。代表面部圖像選擇部250利用代表單元所屬的代 表人物群集內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算代表人物群集的特征量空間上的中心位 置或重心位置，利用該面部特征量數(shù)據(jù)計算代表單元內(nèi)的各面部圖像的特征量空間上的位 置。代表面部圖像選擇部250選擇位置最接近于代表人物群集的中心位置或重心位置的面 部圖像作為第1個代表面部圖像。(6)在上述第1及第2實施方式中，代表面部圖像選擇部250或代表面部圖像選擇 部250a作為選擇第2個以后的代表面部圖像時的似然性，使用從代表單元或代表人物群集 的特征量空間上的中心位置或重心位置到面部圖像的特征量空間上的位置的距離，但并不 限于此，例如也可以使用以下這樣的似然性來選擇代表面部圖像。代表面部圖像選擇部250、250a使用面部圖像被分類的時刻(被自動分類的時刻、 被實施了分類的修正的時刻)作為選擇第2個以后的代表面部圖像時的似然性，被分類的 時刻越新則似然性越低。代表面部圖像選擇部250、250a以被分類的時刻由新到舊的順序 選擇比代表面部圖像數(shù)小1的數(shù)量的面部圖像作為代表面部圖像。另外，這依據(jù)以下的考 慮越是被分類的時刻較新的面部圖像，用戶越?jīng)]有完成正確的分類。代表面部圖像選擇部250、250a使用面部圖像的分類者信息作為選擇第2個以后 的代表面部圖像時的似然性，越是分類者信息是“系統(tǒng)”的面部圖像則似然性越低。代表面 部圖像選擇部250、250a以分類者信息是“系統(tǒng)”的面部圖像為優(yōu)先，選擇比代表面部圖像 數(shù)小1的數(shù)量的面部圖像作為代表面部圖像。代表面部圖像選擇部250使用從代表單元所屬的代表人物群集的特征量空間上 的中心位置或重心位置到面部圖像的特征量空間上的位置的距離作為選擇第2個以后的 代表面部圖像時的似然性，距離越大則似然性越低。代表面部圖像選擇部250利用代表單 元所屬的代表人物群集內(nèi)的面部圖像的面部特征量數(shù)據(jù)計算代表人物群集的特征量空間 上的中心位置或重心位置，利用該面部特征量數(shù)據(jù)計算代表單元內(nèi)的各面部圖像的特征量 空間上的位置。代表面部圖像選擇部250以位置距離代表人物群集的中心位置或重心位置 由遠到近的順序選擇比代表面部圖像數(shù)小1的數(shù)量的面部圖像作為代表面部圖像。(7)在上述第1及第2實施方式中，單元選擇部240也可以進行代表單元的選擇， 以使代表單元的分布在面部特征量空間上變得均勻。代表面部圖像選擇部250、250a也可
29以進行代表面部圖像的選擇，以使代表面部圖像的分布在面部特征量空間上變得均勻。(8)在上述第1實施方式中，顯示布局控制部250將第1代表單元和其以外的代表 單元，通過改變其框的線寬，以不同的顯示方法顯示第1代表單元和其以外的代表單元。但 是，并不限于此，顯示布局控制部250只要用不同的顯示方法顯示第1代表單元和其以外的 代表單元以便用戶能夠區(qū)別第1代表單元和其以外的代表單元就可以。例如，可以舉出改 變第1代表單元和其以外的代表單元的顯示顏色、改變第1代表單元內(nèi)的面部圖像和其以 外的代表單元內(nèi)的面部圖像的顯示尺寸、重疊顯示用來明示是第1代表單元的圖標。在上述第1及第2實施方式中，顯示布局控制部250、250a對于第1代表面部圖像 和其以外的代表面部圖像，通過改變其框的線寬，以不同的顯示方法顯示第1代表面部圖 像和其以外的代表面部圖像。但是，并不限于此，顯示布局控制部250、250a只要用不同的 顯示方法顯示第1代表面部圖像和其以外的代表面部圖像以便用戶能夠區(qū)別第1代表面部 圖像和其以外的代表面部圖像就可以。例如，可以舉出改變第1代表面部圖像和其以外的 代表面部圖像的顯示顏色、改變第1代表面部圖像和其以外的代表面部圖像的顯示尺寸、 重疊顯示用來明示是第1代表面部圖像的圖標。(9)在上述第1實施方式中，顯示布局控制部250例如作為面部圖像選擇顯示處理 的結(jié)果的顯示方法而使用在圖10中表示一例的顯示方法。但是，并不限于此，例如顯示布 局控制部250也可以使用圖24所示的顯示方法作為面部圖像選擇顯示處理的結(jié)果的顯示 方法。在此情況下，例如在代表人物群集中，以從第1代表單元到第M代表單元的順序從上 配置，在代表單元中以從第1代表面部圖像到第N代表面部圖像的順序從左配置。圖中的 空行為了形成新的人物的人物群集、或者為了形成新的單元而使用。其中，在修正分類結(jié)果的情況下，用戶只要選擇修正對象的人物群集、單元或面部 圖像，將其拖放到移動目的地的人物群集(包括空行)或單元(包括空行)中就可以。例 如在使“ID24”的單元內(nèi)的面部圖像為別的人物的面部圖像的情況下，用戶選擇“ID24”的 單元，將其拖放到人物群集的“空行”的欄中。另外，該顯示方法通過加以變形，也能夠用在第2實施方式中。(10)也可以將上述第1及第2實施方式的代表圖像顯示裝置l、la變形為，用戶在 進行注釋的情況下按照在第1及第2實施方式等中說明的方法選擇代表面部圖像并顯示， 用戶在僅進行圖像的閱覽的情況下按照不同的方法選擇代表面部圖像并顯示并能夠切換 這些顯示方法。另外，在僅進行閱覽的情況下，例如在選擇代表人物群集中的代表單元時， 從似然性高的單元起依次選擇為代表單元，在代表單元或代表人物群集中選擇代表面部圖 像時，從似然性高的面部圖像起依次選擇為代表面部圖像。通過這樣，用戶容易掌握代表人 物群集是哪個人物的、代表單元是哪個人物的。(11)在上述第1及第2實施方式中，人物群集選擇部230決定人物群集顯示面部 圖像數(shù)，以使在代表人物群集內(nèi)顯示的代表面部圖像的數(shù)量(人物群集顯示面部圖像數(shù)) 在代表人物群集間大致均等，但并不限于此，例如也可以是如下的形態(tài)。在第1實施方式中，人物群集選擇部230考慮代表人物群集內(nèi)的單元的數(shù)量，決定 人物群集顯示面部圖像數(shù)，以使得越是單元的數(shù)量較多的代表人物群集、在代表人物群集 內(nèi)顯示的代表面部圖像的數(shù)量(人物群集顯示面部圖像數(shù))越多。此外，在第1及第2實施方式中，人物群集選擇部230考慮代表人物群集內(nèi)的面部圖像的數(shù)量決定人物群集顯示面部圖像數(shù)，以使得越是面部圖像的數(shù)量較多的代表人物群 集、在代表人物群集內(nèi)顯示的代表面部圖像的數(shù)量(人物群集顯示面部圖像數(shù))越多。(12)在上述第1實施方式中，單元選擇部240決定單元顯示面部圖像數(shù)，以使得代 表單元內(nèi)顯示的代表面部圖像的數(shù)量(單元顯示面部圖像數(shù))在代表單元內(nèi)大致均等，但 不限于此，例如也可以如下。單元選擇部240考慮代表單元內(nèi)的面部圖像的數(shù)量來決定單 元顯示面部圖像數(shù)，以使得越是面部圖像的數(shù)量多的代表人物群集、在代表單元內(nèi)顯示的 代表面部圖像的數(shù)量(單元顯示面部圖像數(shù))越多。(13)上述各實施方式的各裝置并不限于通過CPU或MPU動作的軟件結(jié)構(gòu)，例如也 可以由硬件結(jié)構(gòu)實現(xiàn)。在此情況下，典型地作為集成電路的LSI (大規(guī)模集成電路Large Scale Integration)實現(xiàn)。它們既可以單獨地單芯片化，也可以包含全部或一部分而1芯 片化。這里，設為LSI，但根據(jù)集成度的差異，也有稱作IC、系統(tǒng)LSI、超級LSI、超大規(guī)模LSI 的情況。此外，集成電路化的方法并不限于LSI，也可以由專用電路或通用處理器實現(xiàn)。也 可以使用在LSI制造后能夠編程的FPGA(現(xiàn)場可編程門陣列=FieldProgrammable Gate Array)、或能夠再構(gòu)成LSI內(nèi)部的電路單元的連接及設定的可重構(gòu)處理器。進而，如果因半 導體技術的進步或派生的其他技術而出現(xiàn)替代LSI的集成電路化的技術，則當然也可以使 用該技術進行功能塊的集成化。有可能是生物技術的應用等。工業(yè)實用性本發(fā)明對于顯示圖像的聚類的結(jié)果的代表圖像顯示裝置具有實用性。符號說明1代表圖像顯示裝置IOUOa 運算處理部20、20a 存儲部21圖像數(shù)據(jù)庫(圖像DB)22面部圖像數(shù)據(jù)庫(面部圖像DB)23,23a面部圖像群集數(shù)據(jù)庫(面部圖像群集DB)30 顯示部40操作接口部(操作IF部)100 圖像解析部110 圖像輸入部120面部識別處理部130、130a群集形成部140、140a群集修正部200 圖像顯示部210 顯示布局控制部220顯示面部圖像數(shù)決定部230人物群集選擇部240單元選擇部250、250a代表面部圖像選擇部
3權(quán)利要求
一種代表圖像顯示裝置，利用將多個圖像分類至集中了類似的圖像的下位群集、并將多個下位群集分類至集中了類似的下位群集的上位群集的分類結(jié)果，選擇要顯示在顯示部上的代表圖像并顯示在顯示部上，該代表圖像顯示裝置具備上位群集選擇部，將1個以上的上位群集選擇為代表上位群集；下位群集選擇部，在各代表上位群集中，基于表示下位群集的分類結(jié)果的準確度的似然性，從代表上位群集內(nèi)的下位群集中，選擇M個下位群集作為代表下位群集，其中M是1以上且代表上位群集內(nèi)的下位群集的數(shù)量以下的整數(shù)；以及代表圖像選擇部，在各代表下位群集中，基于表示圖像的分類結(jié)果的準確度的似然性，從代表下位群集內(nèi)的圖像中，選擇N個圖像作為代表圖像，其中，N是1以上且代表下位群集內(nèi)的圖像的數(shù)量以下的整數(shù)。
2.如權(quán)利要求1所述的代表圖像顯示裝置，其中，上述下位群集選擇部選擇上述代表上位群集內(nèi)的似然性最高的下位群集作為第1代 表下位群集，在上述M是2以上的情況下，還從上述代表上位群集內(nèi)的似然性低的下位群集 開始，選擇M-I個下位群集作為第2至第M代表下位群集。
3.如權(quán)利要求2所述的代表圖像顯示裝置，其中，上述下位群集選擇部使用從代表上位群集的特征量空間上的中心位置或重心位置到 下位群集的特征量空間上的中心位置或重心位置的距離，作為上述似然性。
4.如權(quán)利要求2所述的代表圖像顯示裝置，其中，上述下位群集選擇部使用從代表上位群集的特征量空間上的中心位置或重心位置到 下位群集的特征量空間上的中心位置或重心位置的距離，作為在上述第1代表下位群集的 選擇中使用的上述似然性；上述下位群集選擇部使用表示是否為用戶修正了分類的下位群集的信息，作為在上述 第2至第M代表下位群集的選擇中使用的上述似然性。
5.如權(quán)利要求2所述的代表圖像顯示裝置，其中，上述下位群集選擇部使用從代表上位群集的特征量空間上的中心位置或重心位置到 下位群集的特征量空間上的中心位置或重心位置的距離，作為在上述第1代表下位群集的 選擇中使用的上述似然性；上述下位群集選擇部使用下位群集內(nèi)的圖像的數(shù)量，作為在上述第2至第M代表下位 群集的選擇中使用的上述似然性。
6.如權(quán)利要求1所述的代表圖像顯示裝置，其中，上述代表圖像選擇部選擇上述代表下位群集內(nèi)的似然性最高的圖像作為第1代表圖 像，在上述N是2以上的情況下，還從上述代表下位群集內(nèi)的似然性低的圖像開始，選擇N-I 個圖像作為第2至第N代表圖像。
7.如權(quán)利要求6所述的代表圖像顯示裝置，其中，上述代表圖像選擇部使用從代表下位群集的特征量空間上的中心位置或重心位置到 圖像的特征量空間上的位置的距離，作為上述似然性。
8.如權(quán)利要求6所述的代表圖像顯示裝置，其中，上述代表圖像選擇部使用從代表下位群集的特征量空間上的中心位置或重心位置到 圖像的特征量空間上的位置的距離，作為在上述第1代表圖像的選擇中使用的上述似然性；上述代表圖像選擇部使用表示是否為用戶修正了分類的圖像的信息，作為在上述第2 至第N代表圖像的選擇中使用的上述似然性。
9.如權(quán)利要求6所述的代表圖像顯示裝置，其中，還具備顯示布局控制部，該顯示布局控制部進行將第1代表圖像與第2至第N代表圖 像通過不同的顯示方法顯示在上述顯示部上的處理。
10.如權(quán)利要求1所述的代表圖像顯示裝置，其中，還具備顯示圖像數(shù)決定部，該顯示圖像數(shù)決定部基于上述顯示部的顯示區(qū)域尺寸和用 戶能夠視覺識別的圖像尺寸，決定顯示在上述顯示部上的代表圖像的數(shù)量。
11.如權(quán)利要求1所述的代表圖像顯示裝置，其中，上述圖像是人物的面部圖像。
12.一種代表圖像顯示裝置，利用將多個圖像分類至集中了類似的圖像的群集的分類 結(jié)果，選擇要顯示在顯示部上的代表圖像并顯示在顯示部上，該代表 圖像顯示裝置具備群集選擇部，將1個以上的群集選擇為代表群集；以及代表圖像選擇部，在各代表群集中，基于表示圖像的分類結(jié)果的準確度的似然性，從代 表群集內(nèi)的圖像中選擇N個圖像作為代表圖像，其中N是1以上且代表群集內(nèi)的圖像的數(shù) 量以下的整數(shù)。
13.如權(quán)利要求12所述的代表圖像顯示裝置，其中，上述代表圖像選擇部選擇上述代表群集內(nèi)的似然性最高的圖像作為第1代表圖像，在 上述N是2以上的情況下，還從上述代表群集內(nèi)的似然性低的圖像開始，選擇N-I個圖像作 為第2至第N代表圖像。
14.一種代表圖像顯示方法，利用將多個圖像分類至集中了類似的圖像的下位群集、并 將多個下位群集分類至集中了類似的下位群集的上位群集的分類結(jié)果，選擇要顯示的代表 圖像并顯示，該代表圖像顯示方法包括上位群集選擇步驟，將1個以上的上位群集選擇為代表上位群集；下位群集選擇步驟，在各代表上位群集中，基于表示下位群集的分類結(jié)果的準確度的 似然性，從代表上位群集內(nèi)的下位群集中選擇M個下位群集作為代表下位群集，其中M是1 以上且代表上位群集內(nèi)的下位群集的數(shù)量以下的整數(shù)；以及代表圖像選擇步驟，在各代表下位群集中，基于表示圖像的準確度的分類結(jié)果的似然 性，從代表下位群集內(nèi)的圖像中選擇N個圖像作為代表圖像，N是1以上且代表下位群集內(nèi) 的圖像的數(shù)量以下的整數(shù)。
15.一種代表圖像顯示方法，利用將多個圖像分類至集中了類似的圖像的群集的分類 結(jié)果，選擇要顯示的代表圖像并顯示，該代表圖像顯示方法包括群集選擇步驟，將1個以上的群集選擇為代表群集；以及代表圖像選擇步驟，在各代表群集中，基于表示圖像的分類結(jié)果的準確度的似然性，從 代表群集內(nèi)的圖像中選擇N個圖像作為代表圖像，N是1以上且代表群集內(nèi)的圖像的數(shù)量 以下的整數(shù)。
全文摘要
人物群集選擇部(230)以面部圖像數(shù)由多到少的順序選擇1個以上的人物群集作為代表人物群集。單元選擇部(240)在各代表人物群集中，在選擇第1個代表單元時，選擇似然性最高的單元作為代表單元，在選擇第2個以后的代表單元時，以似然性由低到高的順序選擇單元作為代表單元。代表面部圖像選擇部(250)在各代表單元中，在選擇第1個代表面部圖像時，選擇似然性最高的面部圖像作為代表面部圖像，在選擇第2個以后的代表面部圖像時，以似然性由低到高的順序選擇面部圖像作為代表面部圖像。
文檔編號G06T1/00GK101889282SQ20098010125
公開日2010年11月17日 申請日期2009年9月10日 優(yōu)先權(quán)日2008年10月6日
發(fā)明者河村岳, 磯貝邦昭 申請人:松下電器產(chǎn)業(yè)株式會社