專利名稱：信息處理設(shè)備、方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、方法和程序，更具體而言涉及適用于組織并搜索圖像 數(shù)據(jù)的信息處理設(shè)備、方法和程序。
背景技術(shù)：
隨著數(shù)字相機變得越來越普及并且用于數(shù)字相機的存儲介質(zhì)的容量增大且變得 更加緊湊，用戶利用數(shù)字相機攝取并保存的圖像的數(shù)目也日益增大。保存的圖像越多，用戶 管理圖像所費的工作就越多。例如，如果用戶想要搜索為預(yù)想的某個人攝取的圖像，用戶必 須搜遍大量的圖像。

因此，已經(jīng)提出了這樣一種方案，其中利用圖像分析技術(shù)(具體而言是用于從圖 像中檢測人類面部的技術(shù))方便了圖像的整理和搜索。例如，在已經(jīng)提出的方案中，根據(jù)圖 像中是否有人來對圖像分類，或者根據(jù)圖像中人物的數(shù)目來對圖像分類，或者進(jìn)一步根據(jù) 從圖像中鑒別的人物來對圖像分類(例如，參見日本未實審專利申請公布No. 2005-284487 和 No. 2005-157679)。另外，已經(jīng)提出了這樣一種方案，其中檢測出的面部的更詳細(xì)的屬性信息被測出， 例如面部的朝向、人物的性別和年齡和微笑程度，并且基于這種屬性信息對檢測出的面部 分類。然而，盡管簡單地檢測圖像中的人物并添加屬性信息能夠?qū)崿F(xiàn)通常的照片整理， 但是這不能以更人性化的方式提供根據(jù)用戶的環(huán)境或傾向的整理或搜索。因此，需要一種 能夠以更人性化的方式進(jìn)行根據(jù)用戶的環(huán)境或傾向的整理或搜索的技術(shù)。以與用戶的環(huán)境 或者用戶自身的狀況相匹配的方式提供信息向來是困難的。因此，希望能夠以更人性化的方式進(jìn)行根據(jù)用戶的環(huán)境或傾向的圖像整理或搜索。

發(fā)明內(nèi)容
根據(jù)本發(fā)明一個實施例的信息處理設(shè)備包括被配置為從圖像中提取面部的提取 單元；被配置為將由提取單元提取出的面部分類成群組的分組單元；被配置為向由分組單 元生成的群組添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽的添加單元；被配置為根據(jù)由 分組單元生成的群組之間的距離來計算面部的人物的緊密度的緊密度計算單元；以及被配 置為生成至少包括標(biāo)簽和緊密度的人物關(guān)聯(lián)數(shù)據(jù)的人物關(guān)聯(lián)數(shù)據(jù)生成單元。分組單元可包括被配置為按照要提取并處理的每個面部距所有面部的位置的重 心的位置來生成群組的第一生成單元；被配置為根據(jù)要處理的每個面部的位置生成近似 線，以按照距該近似線的距離生成群組的第二生成單元；被配置為向由第二生成單元生成 的群組添加不屬于該群組的面部的添加單元；被配置為將不包含在群組中的面部作為要處 理的面部，通過獲得距要處理的面部的坐標(biāo)平均值的距離來生成群組的第三生成單元；以 及被配置為將不包含在群組中的面部作為要處理的面部，將剩下的面部單獨取作群組的第四生成單元。分組單元還可包括被配置為執(zhí)行過濾以與所提取的面部的大小的平均值進(jìn)行比 較，并將大小等于或大于第一閾值的面部以及大小等于或小于第二閾值的面部都不設(shè)置為 要處理的面部的濾波單元。第二生成單元可以從要處理的面部中選擇第一面部用作基準(zhǔn)，以根據(jù)第一面部和 第二面部生成近似線，選擇距近似線的距離以及相對要處理的面部的大小的平均值之比是 特定值或更小的面部，從而生成群組。添加單元可以向群組添加一面部，該面部相對包含在由第二生成裝置生成的群組 中的面部的大小的平均值具有特定大小，且相對在第二生成裝置生成群組時使用的近似線 的距離在特定范圍內(nèi)。第三生成單元可以從不包含在群組中的面部中選擇第一面部，以提取距相對包括 第一面部的其他面部的坐標(biāo)平均值的距離等于或低于特定值的面部的組合，并且在所提取 出的組合中，生成所述群組內(nèi)的坐標(biāo)平均值和該群組的每個面部之間的距離最小的組合作 為群組。第四生成單元可以從未分組的面部中，取出大小相對于面部大小的平均值之比等 于或大于特定值的面部作為一個群組。信息處理設(shè)備還可包括被配置為提取當(dāng)圖像被成像時的日期和時間的日期和時 間提取單元；以及被配置為利用與日期和時間提取單元提取出的日期和時間有關(guān)的信息來 生成事件以針對每個事件將圖像分類的事件群集單元；其中包括與事件有關(guān)的信息的關(guān)聯(lián) 數(shù)據(jù)是針對每個事件至少管理標(biāo)簽和緊密度的數(shù)據(jù)?；谌宋镪P(guān)聯(lián)數(shù)據(jù)的圖像可以是至少包括標(biāo)簽的圖像，該標(biāo)簽指示人物的面部圖 像和面部圖像中的多個人物之間的關(guān)系。在標(biāo)簽被改變、刪除或添加的情況下，與該標(biāo)簽相對應(yīng)的關(guān)聯(lián)數(shù)據(jù)可以被更新?；谌宋镪P(guān)聯(lián)數(shù)據(jù)的圖像可以是針對每個事件生成的。根據(jù)本發(fā)明一個實施例的信息處理方法包括以下步驟從圖像中提取面部；將所 提取出的面部分類為群組；添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽；根據(jù)群組之間 的距離來計算面部的人物的緊密度；以及生成至少包括標(biāo)簽和緊密度的人物關(guān)聯(lián)數(shù)據(jù)。根據(jù)本發(fā)明一個實施例的程序使得計算機執(zhí)行包括以下步驟的處理從圖像中提 取面部；將所提取出的面部分類為群組；添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽； 根據(jù)群組之間的距離來計算面部的人物的緊密度；以及生成至少包括標(biāo)簽和緊密度的人物 關(guān)聯(lián)數(shù)據(jù)。利用根據(jù)本發(fā)明實施例的信息處理設(shè)備、方法和程序，從圖像中提取面部，將所提 取出的面部分類成群組，添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽，根據(jù)群組之間的 距離來計算面部的人物的緊密度，并且生成至少包括標(biāo)簽和緊密度的數(shù)據(jù)。根據(jù)上述配置，便利了根據(jù)用戶自身的環(huán)境和偏好進(jìn)行圖像搜索。


圖1是圖示應(yīng)用了本發(fā)明的一個實施例的信息處理設(shè)備的配置的示意圖；圖2是用于描述數(shù)據(jù)庫創(chuàng)建的流程圖3是用于描述分組處理的流程圖；圖4是用于描述過濾處理的流程圖；圖5A和5B是用于描述過濾處理的示意圖；圖6是用于描述群組創(chuàng)建處理的流程圖；圖7是用于描述群組創(chuàng)建預(yù)處理的流程圖；圖8是用于描述假設(shè)近似線(approximation line)的示意圖；圖9是用于描述根據(jù)距重心的距離的分組處理的流程圖；圖IOA和IOB是用于描述根據(jù)距重心的距離的分組的示意圖；圖11是用于描述使用近似線的分組處理的流程圖；圖12是用于描述包括第一面部的群組面部提取處理的流程圖；圖13是用于描述其他面部搜索處理的流程圖；圖14是用于描述與面部j和近似線有關(guān)的判斷處理的流程圖；圖15是用于描述群組內(nèi)的面部評價處理的流程圖；圖16是用于描述向近似線群組添加隔離面部的處理的流程圖；圖17是用于描述使用距坐標(biāo)平均值的距離的分組處理的流程圖；圖18是用于描述關(guān)于第一面部的群組候選確定處理的流程圖；圖19是用于描述關(guān)于剩下的面部的分組處理的流程圖；圖20是用于描述分組的示意圖；圖21A至21E是用于描述多分層的示意圖；圖22是用于描述關(guān)于添加構(gòu)成標(biāo)簽的處理的流程圖；圖23是在添加標(biāo)簽時參考的表格的例子；圖24是在添加標(biāo)簽時參考的表格的例子；圖25是用于描述計算人物之間的緊密度的處理的流程圖；圖26A至26C是用于描述距離得分的計算的示意圖；圖27A至27C是用于描述緊密度得分的計算的示意圖；圖28是圖示當(dāng)施加了多個標(biāo)簽時相乘的系數(shù)的表格示例的示意圖；圖29是圖示人物關(guān)聯(lián)數(shù)據(jù)的例子的示意圖；圖30是圖示人物關(guān)聯(lián)數(shù)據(jù)的畫面示例的示意圖；圖31A至31C是用于描述標(biāo)簽編輯的示意圖；圖32A至32C是用于描述標(biāo)簽編輯的示意圖；圖33A至33C是用于描述標(biāo)簽編輯的示意圖；圖34是用于描述標(biāo)簽編輯的流程圖；圖35是用于描述標(biāo)簽編輯的流程圖；圖36是用于描述標(biāo)簽編輯的流程圖；圖37是用于描述數(shù)據(jù)編輯的流程圖；圖38是用于描述數(shù)據(jù)編輯的流程圖；圖39是用于描述數(shù)據(jù)編輯的流程圖；圖40是圖示應(yīng)用了本發(fā)明的一個實施例的另一信息處理設(shè)備的配置的示意圖；圖41是用于描述數(shù)據(jù)庫創(chuàng)建的另一流程圖42是圖示人物關(guān)聯(lián)數(shù)據(jù)的例子的示意圖；圖43是圖示人物關(guān)聯(lián)數(shù)據(jù)的畫面示例的示意圖；以及圖44是用于描述記錄介質(zhì)的示意圖。
具體實施例方式下面將參考附圖描述本發(fā)明的實施例。關(guān)于信息處理設(shè)備的配置圖1是圖示已應(yīng)用了本發(fā)明一個實施例的信息處理設(shè)備的配置的示意圖。圖1中 所示的包括信息處理設(shè)備13的系統(tǒng)由顯示單元11、操作單元12、信息處理設(shè)備13和存儲 單元14構(gòu)成。信息處理設(shè)備13由以下單元構(gòu)成顯示控制單元21、操作判斷單元22、人物 關(guān)聯(lián)數(shù)據(jù)生成單元23、人物關(guān)聯(lián)數(shù)據(jù)更新單元24、分組單元25、面部群集單元26和圖像分 析單元27。圖像分析單元27包括面部識別單元31。存儲單元14包括兩個數(shù)據(jù)庫人物關(guān) 聯(lián)數(shù)據(jù)庫41和圖像數(shù)據(jù)庫42。顯示單元11顯示后面描述的畫面。該畫面是基于圖示存儲在存儲單元14的人物 關(guān)聯(lián)數(shù)據(jù)庫41中的人物之間的關(guān)聯(lián)的數(shù)據(jù)的畫面。操作單元12由用戶所操作的部件構(gòu)成。顯示控制單元21基于存儲在存儲單元14的人物關(guān)聯(lián)數(shù)據(jù)庫41中的數(shù)據(jù)來控制 顯示單元11的顯示。存儲在人物關(guān)聯(lián)數(shù)據(jù)庫41中的數(shù)據(jù)由人物關(guān)聯(lián)數(shù)據(jù)生成單元23生 成。人物關(guān)聯(lián)數(shù)據(jù)生成單元23基于分組單元25的分組結(jié)果和面部群集單元26的群集結(jié) 果來生成與人物的關(guān)聯(lián)有關(guān)的數(shù)據(jù)。分組單元25基于由圖像分析單元27的面部識別單元 31獲得的圖像中人物(面部)的識別結(jié)果來創(chuàng)建人物的群組。面部識別單元31具有基于存儲在存儲單元14的圖像數(shù)據(jù)庫42中的圖像數(shù)據(jù)從 圖像中提取(識別)人物(面部)的功能。面部群集單元26根據(jù)來自分組單元25的結(jié)果 執(zhí)行群集處理。在操作單元12被操作后，操作判斷單元22判斷該操作是哪一種類的操作?；?操作判斷單元22的判定結(jié)果，人物關(guān)聯(lián)數(shù)據(jù)更新單元24更新存儲在人物關(guān)聯(lián)數(shù)據(jù)庫41中 的數(shù)據(jù)。具有這種配置的信息處理設(shè)備13例如內(nèi)置在數(shù)字相機、攝像機、蜂窩電話、智能 電話、PDA (個人數(shù)字助理)、家用服務(wù)器、電視接收機等中。或者，信息處理設(shè)備13被提供 作為實現(xiàn)信息處理設(shè)備13的功能的個人計算機等的應(yīng)用。已應(yīng)用了本發(fā)明一個實施例的信息處理設(shè)備13可以基于圖像中人物之間的關(guān)聯(lián) 對多個圖像分類，這將在下面詳細(xì)描述。因此，信息處理設(shè)備13可被實現(xiàn)為具有記錄圖像 并處理圖像的功能的上述設(shè)備或應(yīng)用。關(guān)于分組接下來，將描述信息處理設(shè)備13執(zhí)行的處理。將參考圖2中所示的流程圖描述與 人物關(guān)聯(lián)數(shù)據(jù)庫41的創(chuàng)建有關(guān)的處理。注意，圖2中的流程圖是整體流程的簡化描述，后 面將會適當(dāng)?shù)亟o出詳細(xì)描述。在步驟Sll中，獲得要處理的圖像數(shù)據(jù)。步驟Sll中的處理由面部識別單元31執(zhí) 行，它從圖像數(shù)據(jù)庫42獲得圖像數(shù)據(jù)。因此，這種處理假定了與多個圖像有關(guān)的圖像數(shù)據(jù) 被存儲在圖像數(shù)據(jù)庫42中。
在步驟S12中，執(zhí)行面部識別處理。面部識別單元31基于所獲得的圖像數(shù)據(jù)從圖 像中提取與圖像中的人物有關(guān)的面部來執(zhí)行識別。當(dāng)從圖像數(shù)據(jù)庫42獲得了圖像數(shù)據(jù)時， 面部識別單元31還獲得能夠唯一地辨認(rèn)圖像數(shù)據(jù)的圖像ID。作為面部識別單元31執(zhí)行 面部識別處理的結(jié)果，提取出了圖像中面部的位置、面部的大小、面部的取向、面部的屬性 (例如，性別、年齡等)、面部的特征量，等等。另外，每個面部都被分配唯一的ID(下文中稱 為“面部ID”)以唯一地標(biāo)識該面部。注意，本受讓人早先已提出的面部識別技術(shù)可以應(yīng)用于與面部識別單元31所執(zhí) 行的面部識別有關(guān)的算法。該面部識別技術(shù)在日本未實審專利申請公布No. 2005-284487 和No. 2005-157679中有所描述，因此在這里將省略其描述。在步驟S13中，執(zhí)行分組處理。分組單元25利用來自面部識別單元31的識別結(jié) 果來執(zhí)行分組處理。群組是一個或多個識別出的面部的集合。該分組處理將在后面參考圖 3和后續(xù)圖進(jìn)行描述。在步驟S13中執(zhí)行了分組處理并且創(chuàng)建了群組后，在步驟S14中判斷是否要處理 的所有圖像數(shù)據(jù)都已被處理。在面部識別單元31判斷出在圖像數(shù)據(jù)庫42中仍然有未經(jīng)面 部識別的圖像數(shù)據(jù)的情況下，流程返回到步驟S11，并且獲得要新處理的圖像數(shù)據(jù)。隨后對 新的圖像數(shù)據(jù)重復(fù)步驟Sll之后的處理。另一方面，在步驟S14中判斷出要處理的所有圖像數(shù)據(jù)都已被處理的情況下，流 程前進(jìn)到步驟S15。每次對存儲在圖像數(shù)據(jù)庫42中的一組圖像數(shù)據(jù)(或者對一幅圖像)執(zhí) 行步驟Sll至S14的處理，并且對多組圖像數(shù)據(jù)(多幅圖像)執(zhí)行步驟S15和后續(xù)步驟的處理。執(zhí)行步驟Sll至S14的處理導(dǎo)致以下狀態(tài)其中從一幅圖像，存在多個檢測出了一 個或多個群組的圖像。沒有檢測出群組的圖像不經(jīng)歷步驟S15和后續(xù)步驟的處理。從多個 圖像中檢測出的多個群組經(jīng)歷步驟S15和后續(xù)步驟的處理。一個群組包括至少一個人(面 部)。換句話說，這里所用的“群組”包括一個或多個識別出的面部。在步驟S15中，執(zhí)行面部群集處理。面部群集單元26對多個群組執(zhí)行面部群集， 該處理是將相同面部當(dāng)作同一個人的處理。結(jié)果，檢測出一個或多個人(在大多數(shù)情況下 是多個人)。面部群集單元26使用從面部識別單元31提供來的面部識別特征量和面部ID 以及圖像ID來利用面部識別特征量中的相似度對被判斷為是同一個人的每個個體執(zhí)行分 組。在步驟S16中，被判斷為是同一個人的面部經(jīng)歷處理，其中面部ID被關(guān)聯(lián)起來，例 如以被當(dāng)作同一個人加以處理。因而，生成了多個人。在步驟S17中，計算已生成的多個人 的緊密度。緊密度的計算將在描述分組處理等之后描述。在步驟S17中計算了緊密度后，其結(jié)果被用于進(jìn)一步?jīng)Q定人物之間的標(biāo)簽。人物 之間的標(biāo)簽是指示人物之間的關(guān)系的標(biāo)簽，例如人物A和人物B是“夫妻”、“父子”、“朋友” 等等。與決定標(biāo)簽有關(guān)的詳細(xì)說明將在后面描述。在步驟S17中決定了標(biāo)簽后，根據(jù)其信息生成人物關(guān)聯(lián)數(shù)據(jù)，并將其存儲在人物 關(guān)聯(lián)數(shù)據(jù)庫41中(步驟S18)，它是在人物關(guān)聯(lián)數(shù)據(jù)庫41中如何生成數(shù)據(jù)記錄的數(shù)據(jù)。人 物關(guān)聯(lián)數(shù)據(jù)庫41保存與從圖像中提取出的人物處于哪一種類的關(guān)系有關(guān)的數(shù)據(jù)。關(guān)于分組處理
接下來，將參考圖3中所示的流程圖描述在步驟S13中執(zhí)行的分組處理。該分組 處理是在分組單元25處執(zhí)行的。在步驟S31中，獲得面部信息。如上所述，從面部識別單元31向分組單元25提供 圖像中面部的位置、面部的大小、面部的取向、面部的屬性(例如，性別、年齡等)、面部的特 征量等等作為圖像中的面部識別結(jié)果，并且步驟S31是用于獲得該信息的處理。在步驟S32中，執(zhí)行過濾處理。執(zhí)行過濾處理是為了減少要處理的面部的數(shù)目，因 為嘗試處理在面部識別處理中識別出的所有面部將會導(dǎo)致處理量增大和時間更長的問題。 不過，在執(zhí)行該處理時要保證應(yīng)處理的面部不被排除在外，并且基于圖4所示的流程圖中 的處理來執(zhí)行該處理。圖4是用于描述在步驟S32中執(zhí)行的過濾處理的流程圖。在步驟S51中，計算面 部大小的平均值。圖5A圖示了以下情況在圖像50中已檢測出面部51至面部55的五個 面部，這是作為例子描述的。在步驟S51中，計算面部51至55的五個面部的面部大小的平 均值。面部大小的平均值是基于下式⑴計算的faceSizeave=去 Σ ν max (widthi, heighti) · · ·⑴其中faceSize·表示平均面部大小(以像素為單位)，N表示加標(biāo)簽的面部的數(shù) 目，width_i表示面部i的寬度(以像素為單位)，height_i表示面部i的高度(以像素為 單位)。在步驟S52中，執(zhí)行計算出的面部大小平均值和各個面部的大小之間的比較。例 如，比較面部大小平均值和面部51的大小。該比較是針對每個面部執(zhí)行的。在步驟S53中，判斷是否有要排除的面部。該判斷使用來自步驟S52的比較結(jié)果， 其中大小大于或小于平均值的預(yù)定范圍的面部被排除。大于平均值的預(yù)定范圍的大小例如 是大于通過將平均值加上平均值的某一百分比而獲得的值的一個大小(例如，大于平均值 的1. 5倍)。同樣，小于平均值的預(yù)定范圍的大小例如是小于通過從平均值減去平均值的某 一百分比而獲得的值的一個大小(例如，小于平均值的0. 5倍)。將大小大于平均值的預(yù)定范圍的面部排除在外的原因如下所述。包括具有大于平 均值的預(yù)定范圍的大小的面部的圖像很可能是例如由于以下原因而獲得的圖像用戶嘗試 攝取人物A的圖片而用戶并不希望攝取在圖片中的人物B恰好插入在相機的前方，從而導(dǎo) 致人物B的大小在圖像中大得多。因此，用戶并不希望拍攝的人物B被從后續(xù)處理中排除。 例如，在圖5A中所示的圖像50被加以處理的情況下，面部51被判斷為是大于平均值的預(yù) 定范圍的面部，并且被排除在外。另外，將大小小于平均值的預(yù)定范圍的面部排除在外的原因如下所述。包括具有 小于平均值的預(yù)定范圍的大小的面部的圖像很可能是例如由于以下原因而獲得的圖像用 戶嘗試攝取人物A的圖片，但是用戶并不希望攝取在圖片中的人物B恰好處于背景中，從而 導(dǎo)致人物B的大小在圖像中小得多。因此，用戶并不希望拍攝的人物B被從后續(xù)處理中排 除。例如，在圖5A中所示的圖像50被加以處理的情況下，面部52被判斷是小于平均值的 預(yù)定范圍的面部，并且被排除在外。已被排除的面部被加上標(biāo)簽“不可接受的”。對面部加上標(biāo)簽“不可接受的”意味 著該面部將不被處理。其他標(biāo)簽是“0K”和“不確定的”。對面部加上標(biāo)簽“0K”意味著該面部要被處理。加上標(biāo)簽“不確定的”的面部在后面描述的某些處理中被處理，而在其他處理 中不被處理。返回圖4中流程圖的描述，在執(zhí)行了這里的過濾處理后，所有識別出的面部都設(shè) 有“0K”標(biāo)簽。如上所述執(zhí)行步驟S51和S52，并且在步驟S53中判斷出存在要排除的面部 的情況下，處理返回到步驟S51，并且重復(fù)后續(xù)處理。在流程從步驟S53返回到步驟S51的 情況下，要處理的圖像是已從中排除了要排除的面部的圖像。也就是說，如果假定圖5A中所示的圖像50要被處理，則面部51和52被排除，因 此例如圖5B中所示的圖像50，(其中存在面部53至55的三個面部)要被處理。換句話 說，面部51和52已被加上標(biāo)簽“不可接受的”，因此再次對面部53、54和55執(zhí)行處理步驟 S51，這三個面部被加上標(biāo)簽“0K”因此是要處理的面部。此時，在步驟S51中，圖5B中所示的圖像50’要被處理，因此新計算三個面部53至 55的面部大小的平均值。在步驟S52中，將新計算的平均值與各個面部53、54和55的面部 大小相比較。關(guān)于是否有要排除的面部的判斷在步驟S53中按與上述相同的方式執(zhí)行。通過重復(fù)這種處理，在預(yù)定圖像內(nèi)的面部中，大約相同大小的面部(或者換句話 說，拍攝者可能希望拍攝的面部)將保留下來等待處理。即，與其他面部相比過大或過小 的面部被從圖像中要處理的面部中檢測出來，并且被設(shè)置為在后續(xù)處理中不進(jìn)行處理的面 部。在步驟S53中判斷出沒有要排除的面部的情況下，流程前進(jìn)到步驟S54，其中判斷 是否有面部大小等于或低于閾值的面部。例如，在圖5B中所示的圖像50’要被處理的情況 下，判斷面部53、54和55的面部大小與面部大小的平均值之比是否等于或低于閾值。如果 假定閾值例如是0. 7，并且面部53的大小與平均值之比等于或低于0. 7，則在步驟S54中判 斷出面部的大小等于或低于閾值。在步驟S54中判斷是否有面部大小等于或低于閾值的面部的原因如下所述。艮口， 存在具有“0K”標(biāo)簽且小于其他面部的面部是拍攝者想要拍攝的面部、但是該面部小于其他 面部(父母的面部)的情況，例如由于該面部是孩子的面部，或者該面部位于其他面部后面 因此在圖像中小于其他面部，等等(下文中稱為“第一情況”)。還存在不希望這個人處于 圖片中因此面部的大小小于其他面部的情況(下文中稱為“第二情況”)。在步驟S54中判 斷面部的面部大小是否等于或低于閾值，以判斷第一情況還是第二情況為真。在步驟S54中判斷出存在面部大小等于或低于閾值的面部的情況下，流程前進(jìn)到 步驟S55。在步驟S55中，關(guān)于已判斷出面部大小等于或低于閾值的面部的標(biāo)簽被從“0K” 標(biāo)簽變?yōu)椤安淮_定的”標(biāo)簽。此時，已加上“不確定的”標(biāo)簽的面部是這樣一個面部關(guān)于該 面部，還不容易判斷拍攝者是否想要拍攝該面部。因此，在排除了一部分的后續(xù)處理中是否 應(yīng)當(dāng)處理該面部還是不確定的，因此加上了 “不確定的”標(biāo)簽。例如，圖5B所示的圖像50’中的面部54小于面部53和55，因此其大小與面部大 小平均值之比可能小于閾值。在這種情況下，面部54的標(biāo)簽變?yōu)椤安淮_定的”標(biāo)簽。這里 的描述假定面部54已被變?yōu)椤安淮_定的”標(biāo)簽。在步驟S56中，判斷具有“0K”標(biāo)簽的面部的數(shù)目(下文中簡稱“0K”面部)是否為 1。在諸如圖5B所示的圖像50’的情況下，面部53和55是“0K”面部，因此在步驟S56中 判斷結(jié)果是“否”，并且流程前進(jìn)到步驟S58。如果僅僅面部53是“0K”面部，則在步驟S56中將判斷“是”，并且處理將會進(jìn)行到步驟S57。在步驟S57或S58中，判斷是否將“不確定的”標(biāo)簽變回為“0K”標(biāo)簽。如上所述， 加上了“不確定的”標(biāo)簽的“不確定的”面部是不容易判斷拍攝者對其的意圖的面部，并且 步驟S57或步驟S58的處理是用于判斷拍攝者是否想要拍攝該面部的處理。在步驟S57中，在條件1下對圖像內(nèi)僅具有一個“0K”面部的圖像執(zhí)行判斷。對于 條件1，判斷是否滿足下式(2)的條件，并且基于表達(dá)式(3)計算出的值被用于執(zhí)行表達(dá)式 (2)中的判斷
權(quán)利要求
1.一種信息處理設(shè)備，包括提取裝置，被配置為從圖像中提取面部；分組裝置，被配置為將由所述提取裝置提取出的所述面部分類成群組； 添加裝置，被配置為向由所述分組裝置生成的群組添加指示該群組內(nèi)的多個人物之間 的關(guān)系的標(biāo)簽；緊密度計算裝置，被配置為根據(jù)由所述分組裝置生成的群組之間的距離來計算所述面 部的人物的緊密度；以及人物關(guān)聯(lián)數(shù)據(jù)生成裝置，被配置為生成至少包括所述標(biāo)簽和所述緊密度的人物關(guān)聯(lián)數(shù)據(jù)。
2.如權(quán)利要求1所述的信息處理設(shè)備，所述分組裝置包括第一生成裝置，被配置為按照要提取并處理的每個面部距所有面部的位置的重心的位 置來生成群組；第二生成裝置，被配置為根據(jù)要處理的每個面部的位置生成近似線，以按照距該近似 線的距離生成群組；添加裝置，被配置為向由所述第二生成裝置生成的群組添加不屬于該群組的面部； 第三生成裝置，被配置為將不包含在群組中的面部作為要處理的面部，通過獲得距要 處理的面部的坐標(biāo)平均值的距離來生成群組；以及第四生成裝置，被配置為將不包含在群組中的面部作為要處理的面部，將剩下的面部 單獨取作群組。
3.如權(quán)利要求2所述的信息處理設(shè)備，所述分組裝置還包括過濾裝置，被配置為執(zhí)行過濾以與所提取的面部的大小的平均值進(jìn)行比較，并將大小 等于或大于第一閾值的面部以及大小等于或小于第二閾值的面部都不設(shè)置為要處理的面 部。
4.如權(quán)利要求2所述的信息處理設(shè)備，其中所述第二生成裝置從要處理的所述面部 中選擇第一面部用作基準(zhǔn)，以根據(jù)所述第一面部和第二面部生成近似線，選擇距近似線的 距離以及相對要處理的所述面部的大小的平均值之比是特定值或更小的面部，從而生成群組。
5.如權(quán)利要求2所述的信息處理設(shè)備，其中所述添加裝置向所述群組添加以下面部， 該面部相對包含在由所述第二生成裝置生成的群組中的面部的大小的平均值具有特定大 小，且相對在所述第二生成裝置生成群組時使用的所述近似線的距離在特定范圍內(nèi)。
6.如權(quán)利要求2所述的信息處理設(shè)備，其中所述第三生成裝置從不包含在群組中的面 部中選擇第一面部，以提取距相對包括所述第一面部的其他面部的坐標(biāo)平均值的距離等于 或低于特定值的面部的組合，并且在所提取出的組合中，生成所述群組內(nèi)的坐標(biāo)平均值和 該群組的每個面部之間的距離最小的組合作為群組。
7.如權(quán)利要求2所述的信息處理設(shè)備，其中所述第四生成裝置從未分組的面部中，取 出大小等于或大于面部大小的平均值的面部作為一個群組。
8.如權(quán)利要求1所述的信息處理設(shè)備，還包括日期和時間提取裝置，被配置為提取當(dāng)所述圖像被成像時的日期和時間；以及 事件群集裝置，被配置為利用與所述日期和時間提取裝置提取出的日期和時間有關(guān)的信息來生成事件以針對每個事件將所述圖像分類；其中包括與所述事件有關(guān)的信息的所述關(guān)聯(lián)數(shù)據(jù)是針對每個事件管理至少所述標(biāo)簽 和所述緊密度的數(shù)據(jù)。
9.如權(quán)利要求1所述的信息處理設(shè)備，其中基于所述人物關(guān)聯(lián)數(shù)據(jù)的圖像是包括至 少所述標(biāo)簽的圖像，所述標(biāo)簽代表所述人物的面部圖像和面部圖像中的多個人物之間的關(guān) 系。
10.如權(quán)利要求9所述的信息處理設(shè)備，其中在所述標(biāo)簽被改變、刪除或添加的情況 下，與該標(biāo)簽相對應(yīng)的所述關(guān)聯(lián)數(shù)據(jù)被更新。
11.如權(quán)利要求8所述的信息處理設(shè)備，其中基于所述人物關(guān)聯(lián)數(shù)據(jù)的圖像是針對每 個事件生成的。
12.一種信息處理方法，包括以下步驟 從圖像中提取面部；將所提取出的面部分類成群組； 添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽； 根據(jù)群組間的距離來計算所述面部的人物的緊密度；以及 生成至少包括所述標(biāo)簽和所述緊密度的人物關(guān)聯(lián)數(shù)據(jù)。
13.一種使得計算機執(zhí)行包括以下步驟的處理的程序 從圖像中提取面部；將所提取出的面部分類成群組； 添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽； 根據(jù)群組間的距離來計算所述面部的人物的緊密度；以及 生成至少包括所述標(biāo)簽和所述緊密度的人物關(guān)聯(lián)數(shù)據(jù)。
14.一種信息處理設(shè)備，包括提取單元，被配置為從圖像中提取面部；分組單元，被配置為將由所述提取單元提取出的所述面部分類成群組； 添加單元，被配置為向由所述分組單元生成的群組添加指示所述群組內(nèi)的多個人物之 間的關(guān)系的標(biāo)簽；緊密度計算單元，被配置為根據(jù)由所述分組單元生成的群組之間的距離來計算所述面 部的人物的緊密度；以及人物關(guān)聯(lián)數(shù)據(jù)生成單元，被配置為生成至少包括所述標(biāo)簽和所述緊密度的人物關(guān)聯(lián)數(shù)據(jù)。
全文摘要
本發(fā)明公開了信息處理設(shè)備、方法和程序。該信息處理設(shè)備包括被配置為從圖像中提取面部的提取單元；被配置為將由提取單元提取出的面部分類成群組的分組單元；被配置為向由分組單元生成的群組添加指示群組內(nèi)的多個人物之間的關(guān)系的標(biāo)簽的添加單元；被配置為根據(jù)由分組單元生成的群組間的距離來計算面部的人物的緊密度的緊密度計算單元；以及被配置為生成至少包括標(biāo)簽和緊密度的人物關(guān)聯(lián)數(shù)據(jù)的人物關(guān)聯(lián)數(shù)據(jù)生成單元。
文檔編號G06K9/00GK102103697SQ20101058753
公開日2011年6月22日 申請日期2010年12月14日 優(yōu)先權(quán)日2009年12月22日
發(fā)明者佐藤達(dá)人, 后藤智彥, 孫赟, 望月俊助 申請人:索尼公司