專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備、圖像處理方法和程序，尤其涉及一種能夠根據(jù)使 用目的來處理圖像處理結(jié)果的圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
在相關(guān)技術(shù)中，在顯示器上顯示視頻廣告的數(shù)字標(biāo)識(shí)(signage)系統(tǒng)包括用于捕 獲正在觀看顯示器的人的面部的捕獲設(shè)備，并且數(shù)字標(biāo)識(shí)系統(tǒng)處理由捕獲設(shè)備捕獲的圖 像，在該圖像上呈現(xiàn)的人的面部正被跟蹤。此外，基于圖像處理結(jié)果，數(shù)字標(biāo)識(shí)系統(tǒng)可以計(jì) 算觀看者的分類(男性與女性的比例或按照年齡分組)，并且基于圖像處理的結(jié)果調(diào)整視 頻廣告的內(nèi)容，或通過對(duì)每天的觀看者的數(shù)量進(jìn)行計(jì)數(shù)來計(jì)算廣告的效果。然而，當(dāng)正在跟蹤的面部相對(duì)于顯示器面對(duì)側(cè)面時(shí)，在數(shù)字標(biāo)識(shí)系統(tǒng)中，難以識(shí)別 該面部，并且終止跟蹤(丟失面部)。然后，如果相同的人開始觀看顯示器，則將面部檢測為 新的面部并且跟蹤重新開始。因此，數(shù)字標(biāo)識(shí)系統(tǒng)對(duì)同一人進(jìn)行兩次計(jì)數(shù)，從而廣告效果的 計(jì)算結(jié)果的可靠性劣化。例如，在日本未審專利申請(qǐng)2006-254274號(hào)公報(bào)中，公開了一種分析設(shè)備，其能夠 通過比較面部信息并確定是否同一人的面部信息，來計(jì)算高度可靠的觀看者比率，使得能 夠確定視頻廣告的有效性。此外，在日本未審專利申請(qǐng)2009-48489號(hào)公報(bào)中，公開了能夠 以高速和恒定的準(zhǔn)確度確定面部是否同一人的面部的圖像處理設(shè)備。因此，數(shù)字標(biāo)識(shí)系統(tǒng)可以確定面部是否同一人的面部，由此可以避免對(duì)同一人進(jìn) 行多于一次計(jì)數(shù)。

發(fā)明內(nèi)容
然而，在數(shù)字標(biāo)識(shí)系統(tǒng)中，當(dāng)基于計(jì)算的觀看者的分類來調(diào)整視頻廣告的內(nèi)容時(shí)， 圖像處理需要快速確定面部是否同一人的面部，且當(dāng)計(jì)算廣告的效果時(shí)，期望以提高確定 可靠性的方式來處理圖像。相似地，在數(shù)字標(biāo)識(shí)系統(tǒng)中需要的圖像處理可以根據(jù)圖像處理 結(jié)果的使用目的而不同，并應(yīng)當(dāng)對(duì)于相應(yīng)的目的足夠靈活。本發(fā)明用于解決這種情況，其足夠適合根據(jù)使用的目的來處理圖像處理結(jié)果。本發(fā)明第一實(shí)施例的圖像處理設(shè)備包括面部區(qū)域提取單元，被配置為在檢測到 在圖像中呈現(xiàn)的面部之后提取包括面部的面部區(qū)域；識(shí)別信息獲取單元，被配置為獲取用 于識(shí)別由面部區(qū)域提取單元提取的面部區(qū)域中的面部的識(shí)別信息；第一整合處理單元，被 配置為通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖 像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；以及第二整 合處理單元，被配置為通過下述操作來進(jìn)行整合處理以與第一整合處理單元的方式不同 的方式，基于所述識(shí)別信息確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中 存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，第一整合處理單元基于預(yù)測在從圖像 中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部(下文中還僅稱為“存儲(chǔ)的面部圖像”)要出現(xiàn)的估計(jì)區(qū)域和正在跟蹤的面部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面 部和所存儲(chǔ)的面部圖像之間的相似度，并且基于所計(jì)算的相似度和與在計(jì)算相似度時(shí)使用 的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾值確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同 一人的面部，以及第二整合處理單元針對(duì)多個(gè)面部方向計(jì)算正在跟蹤的面部和所存儲(chǔ)的面 部圖像之間的相似度，并且基于針對(duì)多個(gè)面部方向的所計(jì)算的相似度，確定正在跟蹤的面 部和所存儲(chǔ)的面部圖像是否同一人的面部。本發(fā)明第一實(shí)施例的圖像處理方法或程序包括步驟在檢測到在圖像中呈現(xiàn)的面 部之后，提取包括面部的面部區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息； 通過下述操作來進(jìn)行第一整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消 失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；以及通過下述操作 來進(jìn)行第二整合處理以與第一整合處理裝置的方式不同的方式，基于識(shí)別信息，確定正在 跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一 人的面部，其中，第一整合處理基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和正在跟蹤的 面部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的相似度， 并且基于所計(jì)算的相似度和與在計(jì)算相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾值，確 定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部，以及第二整合處理針對(duì)多個(gè)面 部方向計(jì)算正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，并且基于針對(duì)多個(gè)面部方 向的所計(jì)算的相似度，確定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。在本發(fā)明第一實(shí)施例中，在檢測到在圖像中呈現(xiàn)的面部之后提取包括面部的面部 區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；通過下述操作來進(jìn)行第一整 合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存 儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；以及通過下述操作來進(jìn)行第二整合處理以與 第一整合處理的方式不同的方式，基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失 之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，第一整合處理 基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和正在跟蹤的面部的位置之間的關(guān)系確定閾 值，計(jì)算正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，并且基于所計(jì)算的相似度和 與在計(jì)算相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾值，確定正在跟蹤的面部和所存儲(chǔ) 的面部圖像是否同一人的面部，以及第二整合處理針對(duì)多個(gè)面部方向計(jì)算正在跟蹤的面部 和所存儲(chǔ)的面部圖像之間的相似度，并且基于針對(duì)多個(gè)面部方向所計(jì)算的相似度，確定正 在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。本發(fā)明第二實(shí)施例的圖像處理設(shè)備包括面部區(qū)域提取單元，被配置為在檢測到 在圖像中呈現(xiàn)的面部之后，提取包括面部的面部區(qū)域；識(shí)別信息獲取單元，被配置為獲取用 于識(shí)別由面部區(qū)域提取單元提取的面部區(qū)域中的面部的識(shí)別信息；以及整合處理單元，被 配置為通過下述操作來進(jìn)行整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中 消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；其中，整合處理 單元基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和正在跟蹤的面部的位置之間的關(guān)系確 定閾值，計(jì)算正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，并且基于所計(jì)算的相似 度和與在計(jì)算相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾值，確定正在跟蹤的面部和所 存儲(chǔ)的面部圖像是否同一人的面部。
本發(fā)明第二實(shí)施例的圖像處理方法或程序包括步驟在檢測到在圖像中呈現(xiàn)的面 部之后，提取包括面部的面部區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息； 以及通過下述操作來進(jìn)行整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消 失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；其中，整合處理基 于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和正在跟蹤的面部的位置之間的關(guān)系確定閾值， 計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的相似度，并且基于所計(jì)算的相似度和與在計(jì) 算相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾值，確定正在跟蹤的面部和所存儲(chǔ)的面部 圖像是否同一人的面部。在本發(fā)明第二實(shí)施例中，在檢測到在圖像中呈現(xiàn)的面部之后，提取包括面部的面 部區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；以及通過下述操作來進(jìn)行 整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中 存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；其中，整合處理基于預(yù)測出現(xiàn)所存儲(chǔ)的面部 圖像的估計(jì)區(qū)域和正在跟蹤的面部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面部和所 存儲(chǔ)的面部圖像之間的相似度，并且基于所計(jì)算的相似度和與在計(jì)算相似度時(shí)使用的所存 儲(chǔ)的面部圖像相對(duì)應(yīng)的閾值，確定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面 部。本發(fā)明第三實(shí)施例的圖像處理設(shè)備包括面部區(qū)域提取單元，被配置為在檢測到 在圖像中呈現(xiàn)的面部之后，提取包括面部的面部區(qū)域；識(shí)別信息獲取單元，被配置為獲取用 于識(shí)別由面部區(qū)域提取單元提取的面部區(qū)域中的面部的識(shí)別信息；以及整合處理單元，被 配置為通過下述操作來進(jìn)行整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中 消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，整合處理 單元針對(duì)多個(gè)面部方向計(jì)算正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，并且基于 針對(duì)多個(gè)面部方向所計(jì)算的相似度，確定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人 的面部。本發(fā)明第三實(shí)施例的圖像處理方法或程序包括步驟在檢測到在圖像中呈現(xiàn)的面 部之后，提取包括面部的面部區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息； 以及通過下述操作來進(jìn)行整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消 失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，整合處理針 對(duì)多個(gè)面部方向計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的相似度，并且基于針對(duì)多個(gè) 面部方向所計(jì)算的相似度，確定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。在本發(fā)明第三實(shí)施例中，在檢測到在圖像中呈現(xiàn)的面部之后，提取包括面部的面 部區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；以及通過下述操作來進(jìn)行 整合處理基于識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中 存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，整合處理針對(duì)多個(gè)面部方向計(jì)算正在 跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，并且基于針對(duì)多個(gè)面部方向所計(jì)算的相似 度，確定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。根據(jù)本發(fā)明的第一至第三實(shí)施例中的任意一個(gè)，能夠依據(jù)使用目的來處理圖像處
理結(jié)果。


圖1是示出根據(jù)本發(fā)明實(shí)施例的數(shù)字標(biāo)識(shí)系統(tǒng)的一個(gè)示例的結(jié)構(gòu)的框圖；圖2是示出整合處理結(jié)果的圖；圖3是示出針對(duì)每個(gè)面部角度的相似度計(jì)算處理的圖；圖4是示出圖像處理設(shè)備的結(jié)構(gòu)的框圖；圖5是示出提取的面部的特征的組織的圖；圖6是示出針對(duì)面部外圍區(qū)域中的多個(gè)區(qū)域計(jì)算多個(gè)直方圖的計(jì)算過程的圖；圖7是示出在圖像中呈現(xiàn)的面部的跟蹤處理的流程圖；圖8是示出面部識(shí)別過程的流程圖；圖9是示出第一整合處理的流程圖；圖10是示出第二整合處理的流程圖；以及圖11是示出第二整合處理的效果的圖。
具體實(shí)施例方式下文中，參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。圖1是示出根據(jù)本發(fā)明實(shí)施例的數(shù)字標(biāo)識(shí)系統(tǒng)的一個(gè)示例的結(jié)構(gòu)的框圖。此外， 在本說明書中，系統(tǒng)是指由多個(gè)裝置構(gòu)成的整個(gè)設(shè)備。在圖1中，數(shù)字標(biāo)識(shí)系統(tǒng)11包括顯示設(shè)備12、捕獲設(shè)備13、圖像處理設(shè)備14、存 儲(chǔ)設(shè)備15、通信設(shè)備16和控制設(shè)備17。顯示設(shè)備12可以是IXD (液晶顯示器)或有機(jī)EL (電致發(fā)光)，其根據(jù)控制設(shè)備 17的控制顯示可以是各種圖像或文本信息的視頻廣告。捕獲設(shè)備13包括可以是鏡頭和光圈的光學(xué)系統(tǒng)，以及可以是CCD(電荷耦合器 件)或CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)傳感器的捕獲單元。捕獲設(shè)備13捕獲由光學(xué)系統(tǒng) 以預(yù)定幀速率在捕獲單元的光感測部分上成像的光學(xué)被攝體的運(yùn)動(dòng)圖片，并且將可以從中 獲取結(jié)果的圖像數(shù)據(jù)提供到圖像處理設(shè)備14。圖像處理設(shè)備14包括具有多個(gè)電子部件或系統(tǒng)IC(集成電路)的電路板。圖像 處理設(shè)備14通過將在圖像中呈現(xiàn)的面部識(shí)別為處理對(duì)象，順序跟蹤由捕獲設(shè)備13捕獲的 運(yùn)動(dòng)圖片的各個(gè)幀的圖像(凍結(jié)幀)。例如，圖像處理設(shè)備14通過基于諸如眼睛、鼻子和嘴的面部特征識(shí)別在圖像中呈 現(xiàn)的面部，并且對(duì)同一人的面部分配相同的ID (標(biāo)識(shí)符)，來跟蹤面部。然而，在捕獲設(shè)備13 中捕獲的圖像中的面部的一部分被隱藏的情況下，難以識(shí)別該面部。例如，如圖1的下側(cè)所 示，如果正在跟蹤的面部(ID= 1)面朝側(cè)面，則面部被識(shí)別并且然后看不見(面部消失)。 然后，當(dāng)同一人的面部面朝前面時(shí)，圖像處理設(shè)備14分配作為新檢測到的面部的新ID(ID =2)。因此，為了避免在面部臨時(shí)消失時(shí)，作為新檢測到的面部來處理同一人的面部，圖 像處理設(shè)備14在消失時(shí)間期間執(zhí)行臨時(shí)消失的面部的整合處理，下面將進(jìn)行描述。另外， 除了面部朝向側(cè)面之外，面部在不被識(shí)別的情況下臨時(shí)消失的其它示例是物體橫在捕獲 設(shè)備13和面部之間、相對(duì)于捕獲設(shè)備13人移動(dòng)到障礙物(諸如樹)后面的位置或人移動(dòng) 出捕獲設(shè)備13的捕獲范圍。
存儲(chǔ)設(shè)備15被配置為具有硬盤或非易失性存儲(chǔ)器，且存儲(chǔ)設(shè)備15存儲(chǔ)登記了關(guān) 于由圖像處理設(shè)備14識(shí)別的面部的各種信息的數(shù)據(jù)庫。此外，存儲(chǔ)設(shè)備15存儲(chǔ)在顯示設(shè) 備12上顯示的圖像、文本信息等。通信設(shè)備16包括網(wǎng)絡(luò)接口，并提供經(jīng)由諸如因特網(wǎng)的任何網(wǎng)絡(luò)從用戶接收的指 令。此外，通信設(shè)備16根據(jù)控制設(shè)備17的控制將存儲(chǔ)在存儲(chǔ)設(shè)備15上的數(shù)據(jù)庫經(jīng)由網(wǎng)絡(luò) 發(fā)送到用戶設(shè)備?？刂圃O(shè)備17控制數(shù)字標(biāo)識(shí)系統(tǒng)11的各設(shè)備。例如，控制設(shè)備17根據(jù)經(jīng)由通信設(shè) 備16接收的來自用戶的指令，控制在圖像處理設(shè)備14中進(jìn)行的整合處理。另外，控制設(shè)備 17根據(jù)由在存儲(chǔ)設(shè)備15中積累的信息指定的觀看者的分類，修改在顯示設(shè)備12上顯示的 視頻廣告。接下來，參考圖2，描述在圖像處理設(shè)備14中進(jìn)行的整合處理的結(jié)果。在圖2的上部，示出了圖像處理設(shè)備14中分配的面部的8個(gè)ID (跟蹤ID = 01至 08)，作為來自由捕獲設(shè)備13捕獲的圖像的跟蹤結(jié)果。圖像處理設(shè)備14對(duì)這些面部進(jìn)行整 合處理，然后假設(shè)確定跟蹤ID = 02的面部與跟蹤ID = 05的面部是同一人的面部。與此 類似，確定跟蹤ID = 03的面部與跟蹤ID = 08的面部是同一人的面部，且跟蹤ID = 04的 面部與跟蹤ID = 06的面部是同一人的面部。在這種情況下，例如，可以獲得如圖2的下部所示的整合結(jié)果，圖像處理設(shè)備14對(duì) 跟蹤ID = 02的面部和跟蹤ID = 05的面部分配面部ID = 02，對(duì)跟蹤ID = 03的面部和跟 蹤ID = 08的面部分配面部ID = 03，并且對(duì)跟蹤ID = 04的面部和跟蹤ID = 06的面部分 配面部ID = 04。因此，整合具有相同面部ID的面部的信息作為同一人的面部。此外，對(duì)沒有被確 定為同一人的跟蹤ID = 01的面部和跟蹤ID = 07的面部分別分配跟蹤ID = 01和跟蹤ID =05。在圖像處理設(shè)備14中，識(shí)別作為在由捕獲設(shè)備13捕獲的圖像中呈現(xiàn)面部的區(qū)域 的面部區(qū)域(圖2的各個(gè)圖像中的矩形中的區(qū)域)，并且基于面部相似度判定面部是否同一 人的面部。另外，圖像處理設(shè)備14使用整個(gè)面部區(qū)域之外的特定區(qū)域被擴(kuò)展的擴(kuò)展面部區(qū) 域中的面部外圍區(qū)域(例如，在圖2的各個(gè)圖像中，包含圍繞面部的、包括頭、肩膀和胸部的 區(qū)域的區(qū)域)的特征，來確定面部是否同一人的面部。此外，即使面部是同一人的面部，特征依據(jù)面部方向也可能不同，因此圖像處理設(shè) 備14通過積累多個(gè)方向的正在跟蹤的面部的捕獲圖像，基于與面部角度相對(duì)應(yīng)的面部之 間的相似度，來確定面部是否同一人的面部。也就是說，如圖3所示，例如，圖像處理設(shè)備14在存儲(chǔ)設(shè)備15(參見圖1)中存儲(chǔ)包 括在面部消失之后的預(yù)定存儲(chǔ)時(shí)段中呈現(xiàn)的面部的登記圖像數(shù)據(jù)，當(dāng)檢測到新的面部時(shí)， 圖像處理設(shè)備14在預(yù)定時(shí)間通過將新檢測到的面部與在列表中登記的面部進(jìn)行匹配，來 確定在消失之后的預(yù)定存儲(chǔ)時(shí)段內(nèi)的面部中是否有與新面部相同的面部。在這種情況下，圖像處理設(shè)備14擁有針對(duì)五個(gè)面部角度(+/-26度、+/-15度、0 度)捕獲的面部圖像，將具有這些面部角度的面部圖像登記在存儲(chǔ)設(shè)備15的列表中。圖像 處理設(shè)備14還使用新檢測到的面部和在列表中登記的面部計(jì)算具有相同面部角度的面部 的相似度，例如，使用這些相似度的平均值來確定面部是否同一人的面部。
接下來，圖4是示出圖像處理設(shè)備14的結(jié)構(gòu)示例的框圖。在圖4中，圖像處理設(shè)備14被配置為具有圖像獲取單元21、面部區(qū)域提取單元 22、數(shù)據(jù)庫管理單元23、操作單元24、面部識(shí)別單元25和數(shù)據(jù)整合單元26。此外，存儲(chǔ)設(shè)備 15存儲(chǔ)兩個(gè)數(shù)據(jù)庫31和32。數(shù)據(jù)庫31存儲(chǔ)新面部列表33、穩(wěn)定面部列表34和臨時(shí)消失 列表35，數(shù)據(jù)庫32存儲(chǔ)跟蹤面部列表36、整合面部列表37和臨時(shí)消失列表38。圖像獲取單元21從由圖1的捕獲設(shè)備13捕獲的運(yùn)動(dòng)圖片中順序獲取各個(gè)幀的圖 像(凍結(jié)幀)，并且在對(duì)每個(gè)幀分配幀號(hào)(與時(shí)間相對(duì)應(yīng)的信息)之后，一次一幀地向面部 區(qū)域提取單元22提供圖像。面部區(qū)域提取單元22針對(duì)從圖像獲取單元21提供的圖像的整個(gè)屏幕對(duì)在圖像中 呈現(xiàn)的面部進(jìn)行搜索(整個(gè)屏幕搜索)。面部區(qū)域提取單元22生成表示通過整個(gè)屏幕搜索 而搜索到的面部的面部區(qū)域(參見圖2)的位置和大小的面部區(qū)域信息。此外，面部區(qū)域提取單元22通過從圖像中切割包括面部區(qū)域的擴(kuò)展面部區(qū)域(參 見圖2)，來獲取擴(kuò)展的面部區(qū)域圖像。例如，在當(dāng)前幀(正在處理的目標(biāo)幀)上的圖像中呈 現(xiàn)多個(gè)面部的情況下，面部區(qū)域提取單元22針對(duì)每個(gè)面部獲取面部區(qū)域信息和擴(kuò)展的面 部區(qū)域。此外，在對(duì)當(dāng)前幀分配幀號(hào)之后，面部區(qū)域提取單元22將從該幀的圖像獲取的面 部區(qū)域信息和擴(kuò)展面部區(qū)域圖像提供到數(shù)據(jù)庫管理單元23。數(shù)據(jù)庫管理單元23管理駐留在存儲(chǔ)于存儲(chǔ)設(shè)備15中的數(shù)據(jù)庫31和32上的每個(gè) 列表，包括新面部列表33、穩(wěn)定面部列表34以及臨時(shí)消失列表35，跟蹤面部列表36、整合面 部列表37以及臨時(shí)消失列表38。在新面部列表33中登記關(guān)于新檢測到的面部的信息，將關(guān)于登記到新面部列表 33之后超過預(yù)定幀數(shù)的面部的信息傳送到穩(wěn)定面部列表34并登記在穩(wěn)定面部列表34中。 當(dāng)關(guān)于登記在新面部列表33和穩(wěn)定面部列表34中的信息的面部消失時(shí)，將關(guān)于該面部的 信息從新面部列表33或穩(wěn)定面部列表34傳送到臨時(shí)消失列表35并登記在臨時(shí)消失列表 35中。此外，將登記在臨時(shí)消失列表35中之后超過預(yù)定存儲(chǔ)時(shí)段的信息從臨時(shí)消失列表 35中刪除。此外，將所有關(guān)于正在跟蹤的面部的信息登記到跟蹤面部列表36。當(dāng)與登記在跟 蹤面部列表36中的信息相關(guān)的面部消失時(shí)，將下述信息登記在整合面部列表37中該信息 是關(guān)于面部的信息，其中根據(jù)消失的面部和與登記在臨時(shí)消失列表38中的信息相關(guān)的面 部的比較結(jié)果上述信息所關(guān)于的面部進(jìn)行了整合處理。當(dāng)與登記在跟蹤面部列表36中的 信息相關(guān)的面部消失時(shí)，將關(guān)于該面部的信息從跟蹤面部列表36傳送到臨時(shí)消失列表38 并登記在臨時(shí)消失列表38中。此外，將登記在臨時(shí)消失列表38中之后超過預(yù)定存儲(chǔ)時(shí)段 的信息從臨時(shí)消失列表38中刪除。在存儲(chǔ)設(shè)備15的每個(gè)列表中，使用相同的跟蹤ID管理正在跟蹤的面部。數(shù)據(jù)庫 管理單元23將從當(dāng)前幀的圖像獲取的面部區(qū)域信息提供到操作單元24，并且通過基于由 操作單元24計(jì)算的冗余確定面部是否正在跟蹤的面部來分配跟蹤ID。操作單元24臨時(shí)積累關(guān)于在先前幀的圖像中呈現(xiàn)的面部的面部區(qū)域信息，并基 于當(dāng)前幀的圖像中的面部區(qū)域的位置和大小以及先前幀的圖像中的面部區(qū)域的位置和大 小，計(jì)算作為每個(gè)面部區(qū)域的交疊率的冗余。操作單元24將計(jì)算的冗余提供到數(shù)據(jù)庫管理單元23，數(shù)據(jù)庫管理單元23基于用于確定面部是否正在跟蹤的面部的閾值，當(dāng)冗余等于或大于閾值時(shí)，確定是正在跟蹤的面 部，然后，數(shù)據(jù)庫管理單元23分配相同的跟蹤ID，該跟蹤ID是與對(duì)先前幀的圖像的面部區(qū) 域分配的跟蹤ID相同的跟蹤ID，其中針對(duì)從當(dāng)前幀的圖像獲取的面部區(qū)域信息計(jì)算與該 先前幀的圖像的面部區(qū)域的冗余。另一方面，當(dāng)冗余在閾值之下時(shí)，數(shù)據(jù)庫管理單元23對(duì) 當(dāng)前幀的面部區(qū)域信息分配新跟蹤ID作為新檢測到的面部。另外，用于確定面部是否正在 跟蹤的面部的閾值是通過基于圖像中的人可以在由捕獲設(shè)備13捕獲的幀之間移動(dòng)多遠(yuǎn)而 進(jìn)行的計(jì)算或?qū)嶒?yàn)而確定的值。此外，針對(duì)數(shù)據(jù)庫管理單元23中被確定為正在跟蹤的面部的面部，操作單元24通 過基于當(dāng)前幀的圖像中的面部區(qū)域的位置和先前幀的圖像中的面部區(qū)域的位置以及幀速 率計(jì)算面部的移動(dòng)速度，將表示移動(dòng)速度的信息提供到數(shù)據(jù)庫管理單元23。此外，操作單 元24基于先前幀的圖像中的面部區(qū)域的位置和移動(dòng)速度估計(jì)當(dāng)前幀的圖像中的面部區(qū)域 的位置，并且使用估計(jì)的位置和當(dāng)前幀的圖像中的面部區(qū)域的位置計(jì)算冗余。另外，數(shù)據(jù)庫管理單元23將從當(dāng)前幀的圖像獲取的擴(kuò)展面部區(qū)域圖像提供到面 部識(shí)別單元25，以對(duì)面部識(shí)別進(jìn)行處理。面部識(shí)別單元25包括屬性估計(jì)單元41、特征提取單元42和直方圖計(jì)算單元43。屬性估計(jì)單元41通過基于來自數(shù)據(jù)庫管理單元23的擴(kuò)展面部區(qū)域圖像中包括的 面部區(qū)域中的面部特性估計(jì)關(guān)于面部的各種屬性，而將表示屬性的信息提供到數(shù)據(jù)庫管理 單元23。由屬性估計(jì)單元41估計(jì)的面部的屬性是性別(男性/女性)、年齡組(例如，10 歲范圍內(nèi)的年齡組或兒童/青年/成年人)、人種(白人/黑人/黃種人)等。特征提取單元42基于來自數(shù)據(jù)庫管理單元23的擴(kuò)展面部區(qū)域圖像中包括的面部 區(qū)域中的面部特性，指定面部的面部角度和面部表情(微笑面部/非微笑面部)。此外，在 滿足提取特征的預(yù)定條件的情況下，特征提取單元42提取擴(kuò)展面部區(qū)域圖像中包括的面 部區(qū)域中的表示面部特性的特征。例如，如圖5所示，特征提取單元42針對(duì)五個(gè)側(cè)面角度提取諸如每個(gè)面部角度 (偏轉(zhuǎn))的微笑/非微笑面部的特征。在圖5的示例中，假設(shè)前面部角度為0度，將面部角 度劃分為-22. 5度的左側(cè)面部角度、-22. 5到-7. 5度的面部角度、-7. 5到7. 5度的面部角 度、7. 5到22. 5度的面部角度和22. 5度的右側(cè)面部角度。這樣，特征提取單元42存儲(chǔ)五個(gè) 面部角度和2個(gè)面部表情的10個(gè)模式的面部特征。另外，特征提取單元42以不具有相同的模式的特征的方式提取特征。首先，當(dāng)沒 有提取與作為要處理的目標(biāo)的面部的面部表情和面部角度相對(duì)應(yīng)的特征時(shí)，特征提取單元 42提取面部的針對(duì)表情和面部角度的特征(在圖5中，相應(yīng)的框?yàn)榭瞻?。第二，即使提取了與要處理的目標(biāo)面部的表情和面部角度相對(duì)應(yīng)的特征，當(dāng)作為 處理目標(biāo)的面部的面部角度比提取特征的面部的面部角度更接近面部角度范圍的中心時(shí)， 特征提取單元42提取面部表情和面部角度的特征。例如，即使正在提取面部角度為-7. 5 到7. 5度的特征，如果除已經(jīng)提取的各特征的面部角度之外的當(dāng)前面部角度更接近0度，則 特征提取單元42也提取特征。第三，即使已經(jīng)提取了與處理目標(biāo)的面部表情和面部角度相對(duì)應(yīng)的特征，如果除 已經(jīng)提取特征的面部的圖像的模糊度之外的作為處理目標(biāo)的面部的圖像的模糊度更低，則 特征提取單元42也提取這些面部特征。此外，將已經(jīng)提取特征的面部的擴(kuò)展面部區(qū)域圖像與各特征一起存儲(chǔ)在存儲(chǔ)設(shè)備15中，且特征提取單元42參考擴(kuò)展面部區(qū)域圖像對(duì)模糊度 進(jìn)行比較。當(dāng)滿足上述三個(gè)條件中的一個(gè)條件時(shí)，特征提取單元42通過提取作為處理目標(biāo) 的面部的特征，向數(shù)據(jù)庫管理單元23提供表示面部特征的信息。此外，在從數(shù)據(jù)庫管理單 元23提供了擴(kuò)展面部區(qū)域圖像時(shí)，更具體地，在面部區(qū)域提取單元22進(jìn)行整個(gè)屏幕搜索 時(shí)，特征提取單元42進(jìn)行面部特征的提取。另外，通過利用上述條件提取特征，避免了相同 模式的特征的重復(fù)，可以從具有能夠提取更好的特征的面部角度和模糊度的圖像中提取特 征。另外，除了針對(duì)每個(gè)橫向面部角度(偏轉(zhuǎn))提取面部特征之外，特征提取單元42 還針對(duì)每個(gè)縱向面部角度(俯仰)提取面部特征。此外，當(dāng)提取面部特征時(shí)，可以進(jìn)一步劃 分為諸如生氣或難過表情的非微笑面部。因此，進(jìn)一步劃分提取的面部特征使得能夠提高 稍后描述的整合處理的準(zhǔn)確度。直方圖計(jì)算單元43通過計(jì)算擴(kuò)展面部區(qū)域圖像的面部區(qū)域的多個(gè)區(qū)域中的每個(gè) 區(qū)域的直方圖(色直方圖)，向數(shù)據(jù)庫管理單元23提供表示直方圖的信息。例如，如圖6所示，直方圖計(jì)算單元43通過計(jì)算與從數(shù)據(jù)庫管理單元23提供的擴(kuò) 展面部區(qū)域圖像的背景差異，并將背景從面部區(qū)域(存在背景之外的人的區(qū)域)分離，而刪 除擴(kuò)展面部區(qū)域圖像內(nèi)的背景(例如，將其全部涂為特定顏色)。接下來，直方圖計(jì)算單元 43在面部外圍區(qū)域中設(shè)置3個(gè)區(qū)域(上區(qū)域、左側(cè)區(qū)域和右側(cè)區(qū)域)，在面部區(qū)域下側(cè)設(shè)置 3個(gè)區(qū)域(右胸部區(qū)域、中間胸部區(qū)域和左胸部區(qū)域)，作為提取直方圖的區(qū)域。直方圖計(jì) 算單元43從每個(gè)區(qū)域中提取RGB三維直方圖。此外，直方圖計(jì)算單元43將在跟蹤面部期 間針對(duì)每一幀計(jì)算的直方圖提供到數(shù)據(jù)庫管理單元23。這樣，通過面部識(shí)別單元25進(jìn)行面部識(shí)別處理，對(duì)于面部區(qū)域內(nèi)的面部，從屬性 估計(jì)單元41輸出表示面部屬性的信息，從特征提取單元42輸出表示面部特征的信息，并且 從直方圖計(jì)算單元43輸出表示面部外圍區(qū)域和胸部區(qū)域中的直方圖的信息。數(shù)據(jù)庫管理 單元23將表示屬性的信息、表示特征的信息和表示直方圖的信息(下文中，將該信息稱為 識(shí)別信息)與擴(kuò)展面部區(qū)域圖像一起登記到存儲(chǔ)在存儲(chǔ)設(shè)備15中的數(shù)據(jù)庫31和32。例如，數(shù)據(jù)庫管理單元23通過生成新的項(xiàng)，將分配新的跟蹤ID的面部區(qū)域信息、 與該面部區(qū)域信息相對(duì)應(yīng)的擴(kuò)展面部區(qū)域圖像、表示屬性的信息、表示特征的信息和表示 直方圖的信息登記在新面部列表33和跟蹤面部列表36中。此外，數(shù)據(jù)庫管理單元23將分 配有與正在跟蹤的面部相同的跟蹤ID的面部區(qū)域信息登記(更新或計(jì)數(shù))到該跟蹤ID的 項(xiàng)。根據(jù)圖1的控制設(shè)備17的控制，數(shù)據(jù)整合單元26可以進(jìn)行多個(gè)不同處理內(nèi)容的 整合處理，例如，數(shù)據(jù)整合單元26可以根據(jù)圖像處理結(jié)果的使用目的選擇整合處理，或根 據(jù)并行的多個(gè)目的選擇整合處理。在本發(fā)明的實(shí)施例中，數(shù)據(jù)整合單元26包括第一整合處理單元51和第二整合處 理單元52。例如，第一整合處理單元51應(yīng)對(duì)需要具有高響應(yīng)的目的，并在檢測到新面部之 后經(jīng)過了一到幾幀時(shí)，對(duì)登記在數(shù)據(jù)庫31中的數(shù)據(jù)進(jìn)行整合處理。此外，第二整合處理單 元52應(yīng)對(duì)需要具有更準(zhǔn)確的結(jié)果的目的，并在正在跟蹤的面部消失時(shí)，對(duì)登記在數(shù)據(jù)庫32 中的數(shù)據(jù)進(jìn)行整合處理。
例如，在從新檢測到的面部的幀開始過去了預(yù)定數(shù)量的幀(預(yù)定時(shí)段)時(shí)，數(shù)據(jù)庫 管理單元23從新面部列表33中讀取關(guān)于面部的信息，并將其作為關(guān)于登記在新面部列表 33中的面部的信息提供到第一整合處理單元51。后面將參考圖9中的流程圖描述由第一 整合處理單元51進(jìn)行的整合處理。此外，在正在跟蹤的面部消失時(shí)，數(shù)據(jù)庫管理單元23通過從跟蹤面部列表36中讀 取關(guān)于面部的信息，將關(guān)于面部的信息提供到第二整合處理單元52。后面將參考圖10中的 流程圖描述由第二整合處理單元52進(jìn)行的整合處理。接下來，圖7是示出由圖4中的圖像處理設(shè)備14進(jìn)行的在圖像中呈現(xiàn)的面部的跟 蹤處理的流程圖。該處理以啟動(dòng)由圖1中的數(shù)字標(biāo)識(shí)系統(tǒng)11進(jìn)行的視頻廣告的顯示而開始，在步驟 S11，圖像獲取單元21獲取由捕獲設(shè)備13捕獲的運(yùn)動(dòng)圖片的一個(gè)幀的圖像(讀取凍結(jié)幀的 數(shù)據(jù))，并將圖像提供到面部區(qū)域提取單元22。在處理步驟Sll之后，該過程進(jìn)行到步驟S12，面部區(qū)域提取單元22對(duì)從圖像獲取 單元21提供的圖像進(jìn)行整個(gè)屏幕搜索。此外，面部區(qū)域提取單元22生成表示面部區(qū)域的 位置和大小的面部區(qū)域信息作為整個(gè)屏幕搜索的搜索結(jié)果，并且獲取包括面部區(qū)域的擴(kuò)展 面部區(qū)域圖像。面部區(qū)域提取單元22將面部區(qū)域信息和擴(kuò)展面部區(qū)域圖像提供到數(shù)據(jù)庫 管理單元23，并且該過程進(jìn)行到步驟S13。 在步驟S13，數(shù)據(jù)庫管理單元23使用來自面部區(qū)域提取單元22的面部區(qū)域信息和 擴(kuò)展面部區(qū)域圖像，與操作單元24和面部識(shí)別單元25 —起進(jìn)行面部識(shí)別處理(下面將描 述的圖8中的處理)，并且該過程進(jìn)行到步驟S14。在步驟S14，數(shù)據(jù)庫管理單元23參考駐留在存儲(chǔ)裝置15的數(shù)據(jù)庫31中的新面部 列表33，確定是否存在關(guān)于從檢測到面部的幀起超過預(yù)定幀數(shù)的面部的信息。在步驟S14，如果數(shù)據(jù)庫管理單元23確定存在關(guān)于從檢測到面部的幀起超過預(yù)定 幀數(shù)的面部的信息，則該過程進(jìn)行到步驟S15，進(jìn)行第一整合處理(后面將描述的圖9中的 處理)。在步驟S15的第一整合處理結(jié)束之后，該過程進(jìn)行到步驟S16。另一方面，在步驟S14，如果數(shù)據(jù)庫管理單元23確定不存在關(guān)于從檢測到面部的 幀起超過預(yù)定幀數(shù)的面部的信息，則該過程跳過步驟S15進(jìn)行到步驟S16。在步驟S16，數(shù)據(jù)庫管理單元23確定在當(dāng)前幀的圖像中是否存在從先前幀的圖像 中消失的面部。在步驟S16，如果數(shù)據(jù)庫管理單元23確定在當(dāng)前幀的圖像中存在從先前幀的圖像 中消失的面部，則該過程進(jìn)行到步驟S17，并進(jìn)行第二整合處理(下面描述的圖10中的處 理)。在步驟S17的第二整合處理結(jié)束之后，該過程進(jìn)行到步驟S18。在步驟S18，數(shù)據(jù)庫管理單元23對(duì)關(guān)于當(dāng)前幀的圖像中的從先前幀的圖像中消失 的面部的信息進(jìn)行處理。也就是說，數(shù)據(jù)庫管理單元23將登記在數(shù)據(jù)庫31的新面部列表 33或穩(wěn)定面部列表34中的關(guān)于消失的面部的信息傳送到臨時(shí)消失列表35。此外，數(shù)據(jù)庫 管理單元23將登記在數(shù)據(jù)庫32的跟蹤面部列表36中的關(guān)于消失的面部的信息傳送到臨 時(shí)消失列表38。此時(shí)，數(shù)據(jù)庫管理單元23將當(dāng)前幀的幀號(hào)，添加到當(dāng)傳送到臨時(shí)消失列表 35和臨時(shí)消失列表38時(shí)的信息中，到表示消失時(shí)間的關(guān)于面部信息的信息中。在步驟S18 的處理結(jié)束之后，該過程進(jìn)行到步驟S19。
另一方面，在步驟S16，如果數(shù)據(jù)庫管理單元23確定在當(dāng)前幀的圖像中不存在從 先前幀的圖像中消失的面部，則該過程跳過步驟S17和S18，進(jìn)行到步驟S19。在步驟S19，數(shù)據(jù)庫管理單元23通過參考添加到登記在臨時(shí)消失列表35和臨時(shí)消 失列表38中的關(guān)于面部的信息中的消失時(shí)間信息，刪除關(guān)于從圖像中消失之后超過預(yù)定 存儲(chǔ)時(shí)段的面部的信息，并且該過程進(jìn)行到步驟S20。在步驟S20，數(shù)據(jù)庫管理單元23判定是否存在要處理的另一幀，在確定存在要處 理的另一幀的情況下，該過程返回到步驟S11，并重復(fù)步驟Sll之后相同的處理。然而，如果 數(shù)據(jù)庫管理單元23判定不存在另一幀，則該過程結(jié)束。接下來，圖8是描述圖7的步驟S13中的面部識(shí)別處理的流程圖。在步驟S31，數(shù)據(jù)庫管理單元23從提取自當(dāng)前幀的圖像的面部區(qū)域信息中選擇例 如可以作為提取序列中的處理目標(biāo)的面部區(qū)域信息，并且將其提供到操作單元24。在處理步驟S31之后，該過程進(jìn)行到步驟S32，操作單元24計(jì)算與處理目標(biāo)的面部 區(qū)域信息相關(guān)的面部區(qū)域和與從先前幀的圖像中提取的所有面部區(qū)域信息相關(guān)的面部區(qū) 域之間的冗余，并且該過程進(jìn)行到步驟S33。在步驟S33，數(shù)據(jù)庫管理單元23確定在步驟S32由操作單元24計(jì)算的冗余是否等 于或大于用于確定面部是否正在跟蹤的面部的閾值。在步驟S33，如果數(shù)據(jù)庫管理單元23判定由操作單元24計(jì)算的冗余低于閾值，則 該過程進(jìn)行到步驟S34。在步驟S34，數(shù)據(jù)庫管理單元23對(duì)處理目標(biāo)的面部區(qū)域信息分配 新的跟蹤ID。也就是說，在這種情況下，由于與處理目標(biāo)的面部區(qū)域信息相關(guān)的面部區(qū)域遠(yuǎn) 離基于從先前幀的圖像中提取的面部區(qū)域信息的面部區(qū)域的任何部分，因此在當(dāng)前幀的圖 像中，將與處理目標(biāo)的面部區(qū)域信息相對(duì)應(yīng)的面部確定為新檢測到的面部。然而，在步驟S33，如果數(shù)據(jù)庫管理單元23確定由操作單元24計(jì)算的冗余等于或 大于閾值，則該過程進(jìn)行到步驟S35。在步驟S35，數(shù)據(jù)庫管理單元23對(duì)處理目標(biāo)的面部區(qū) 域信息分配與具有等于或大于閾值的值的面部區(qū)域信息的跟蹤ID相同的跟蹤ID。換句話 說，在這種情況下，將與處理目標(biāo)的面部區(qū)域信息相關(guān)的面部確定為正在跟蹤的面部。此 外，當(dāng)存在多個(gè)具有等于或大于閾值的值的面部區(qū)域信息記錄時(shí)，對(duì)處理目標(biāo)的面部區(qū)域 信息分配具有最高冗余的面部區(qū)域信息的跟蹤ID。在處理步驟S35之后，該過程進(jìn)行到步驟S36，數(shù)據(jù)庫管理單元23通知操作單元 24對(duì)處理目標(biāo)的面部區(qū)域信息分配的跟蹤ID，同時(shí)，通知操作單元24被確定為正在跟蹤的 面部的面部區(qū)域信息。操作單元24基于處理目標(biāo)的面部區(qū)域的位置和先前幀的圖像中的 面部區(qū)域的位置以及幀速率，計(jì)算被確定為正在跟蹤的面部的面部的移動(dòng)速度，并將表示 移動(dòng)速度的信息提供到數(shù)據(jù)庫管理單元23。在處理步驟S36之后，該過程進(jìn)行到步驟S37，數(shù)據(jù)庫管理單元23將擴(kuò)展面部區(qū)域 圖像提供到特征提取單元42。特征提取單元42指定包括在擴(kuò)展面部區(qū)域圖像中的面部區(qū) 域中的面部的角度和表情，并且通過參考數(shù)據(jù)庫31和32判定它們是否滿足特征提取條件， 更具體地，是否滿足上面所述三個(gè)條件中的任意一個(gè)。在步驟S37，如果特征提取單元42判定滿足特征提取條件，則該過程進(jìn)行到步驟 S38，且數(shù)據(jù)庫管理單元23將擴(kuò)展面部區(qū)域圖像提供到屬性估計(jì)單元41。屬性估計(jì)單元41 基于包含在擴(kuò)展面部區(qū)域圖像中的面部區(qū)域中的面部特性，估計(jì)關(guān)于面部的各種屬性，并將表示屬性的信息提供到數(shù)據(jù)庫管理單元23，并且該過程進(jìn)行到步驟S39。在步驟S39，特征提取單元42提取表示包含在擴(kuò)展面部區(qū)域圖像中的面部區(qū)域的 面部特性的特征，將表示該特征的信息提供到數(shù)據(jù)庫管理單元23，并且該過程進(jìn)行到步驟 S40。在步驟S40，數(shù)據(jù)庫管理單元23將擴(kuò)展面部區(qū)域圖像提供到直方圖計(jì)算單元43。 直方圖計(jì)算單元43通過從面部外圍區(qū)域中的3個(gè)區(qū)域(上區(qū)域、右側(cè)區(qū)域和左側(cè)區(qū)域)和 面部區(qū)域下側(cè)的3個(gè)區(qū)域(右胸部區(qū)域、中間胸部區(qū)域和左胸部區(qū)域)中提取直方圖，而將 表示直方圖的信息提供到數(shù)據(jù)庫管理單元23。在處理步驟S40之后，或當(dāng)在步驟S37特征提取單元42確定不滿足特征提取條件 時(shí)，該過程進(jìn)行到步驟S41。在步驟S41，數(shù)據(jù)庫管理單元23將處理目標(biāo)的面部區(qū)域信息、 擴(kuò)展面部區(qū)域圖像、示出移動(dòng)速度的信息、表示屬性的信息、表示特征的信息和表示直方圖 的信息登記到存儲(chǔ)在存儲(chǔ)設(shè)備15上的數(shù)據(jù)庫31和32中。這時(shí)，數(shù)據(jù)庫管理單元23當(dāng)在 步驟S34中分配新的跟蹤ID時(shí)生成并登記新的項(xiàng)，并且當(dāng)在步驟S35分配了與正在跟蹤的 面部相同的跟蹤ID時(shí)在已經(jīng)生成的相應(yīng)的項(xiàng)中進(jìn)行登記。在處理步驟S41之后，該過程進(jìn)行到步驟S42，數(shù)據(jù)庫管理單元23判定是否已經(jīng)處 理從當(dāng)前幀的圖像中提取的整個(gè)面部區(qū)域信息，如果確定還未處理整個(gè)面部區(qū)域，則該過 程返回到步驟S31，重復(fù)相同的處理。另一方面，如果數(shù)據(jù)庫管理單元23判定已經(jīng)處理了整 個(gè)面部區(qū)域，則該過程結(jié)束。接下來，圖9是描述圖7的步驟S15中的第一整合處理的流程圖。在步驟S51，從駐留在存儲(chǔ)設(shè)備15的數(shù)據(jù)庫31中的新面部列表31中，數(shù)據(jù)庫管理 單元23按照來自關(guān)于超過預(yù)定幀數(shù)的面部的信息的跟蹤ID序列選擇關(guān)于例如作為處理目 標(biāo)的面部的信息，并將其提供到第一整合處理單元51。在處理步驟S51之后，該過程進(jìn)行到步驟S52，第一整合處理單元51通過請(qǐng)求估計(jì) 范圍，其中在該估計(jì)范圍內(nèi)登記在臨時(shí)消失列表35中的面部的面部區(qū)域被預(yù)測為出現(xiàn)在 當(dāng)前幀的圖像中，來確定用于確定處理目標(biāo)的面部和同一人的面部是否登記在臨時(shí)消失列 表35中的閾值。關(guān)于登記在臨時(shí)消失列表35中的面部的信息包括消失的面部的幀的幀號(hào)、表示 何時(shí)面部消失的面部區(qū)域信息和表示移動(dòng)速度的信息。第一整合處理單元51計(jì)算從消失 的面部的幀到當(dāng)前幀的時(shí)間(幀號(hào)的差X幀速率)，根據(jù)時(shí)間和移動(dòng)速度估計(jì)移動(dòng)距離，并 且僅使用移動(dòng)距離估計(jì)消失的面部出現(xiàn)在估計(jì)范圍(例如，面部區(qū)域1.5倍的范圍)中，該 估計(jì)范圍是進(jìn)一步遠(yuǎn)離面部消失時(shí)的面部區(qū)域的位置。此外，第一整合處理單元51在正在處理的面部處于估計(jì)范圍之外時(shí)，將用于確定 哪些面部需要具有估計(jì)范圍的閾值設(shè)定為高的值，而在正在處理的面部在估計(jì)范圍之內(nèi) 時(shí)，將用于確定哪些面部需要具有估計(jì)范圍的閾值設(shè)定為低的值。另外，除了使用估計(jì)位置 改變閾值之外，第一整合處理單元51例如還估計(jì)面部區(qū)域的大小或面部方向，當(dāng)使用那些 估計(jì)值時(shí)，允許閾值為低。在處理步驟S52之后，該過程進(jìn)行到步驟S53，第一整合處理單元51基于正在處理 的面部的特征和登記在臨時(shí)消失列表35中的面部的特征，計(jì)算面部之間的相似度。在步驟S53的處理之后，該過程進(jìn)行到步驟S54，第一整合處理單元51判定與處理目標(biāo)的面部為同一人的面部是否登記在臨時(shí)消失列表35中。換句話說，第一整合處理單 元51確定在步驟S53中計(jì)算的相似度是否等于或大于在步驟S52確定的閾值，如果存在等 于或大于閾值的相似度，則確定與處理目標(biāo)的面部為同一人的面部登記在臨時(shí)消失列表35 中。然而，在不存在等于或大于閾值的相似度的情況下，判定與處理目標(biāo)的面部為同一人的 面部沒有登記在臨時(shí)消失列表35中。在步驟S54，如果第一整合處理單元51確定與處理目標(biāo)的面部為同一人的面部登 記在臨時(shí)消失列表35中，則該過程進(jìn)行到步驟S55。在步驟S55，第一整合處理單元51將 關(guān)于處理目標(biāo)的面部的信息的跟蹤ID與分配給登記在臨時(shí)消失列表35中的信息中關(guān)于具 有最高相似度的面部的信息的跟蹤ID相關(guān)聯(lián)，并且整合關(guān)于那些面部的信息。此外，數(shù)據(jù) 庫管理單元23將關(guān)聯(lián)了跟蹤ID的關(guān)于面部的信息登記到穩(wěn)定面部列表34中，同時(shí)，刪除 登記在新面部列表33和臨時(shí)消失列表35中的信息。然而，在步驟S54，如果第一整合處理單元51判定與處理目標(biāo)的面部為同一人的 面部沒有登記在臨時(shí)消失列表35中，則該過程進(jìn)行到步驟S56。在步驟S56，數(shù)據(jù)庫管理單 元23將關(guān)于處理目標(biāo)的面部的信息從新面部列表33傳送到臨時(shí)消失列表35。在處理步驟S55或S56之后，該過程進(jìn)行到步驟S57，數(shù)據(jù)庫管理單元23確定是否 處理了關(guān)于超過預(yù)定幀數(shù)的每個(gè)面部的信息，如果判定還未處理關(guān)于超過預(yù)定幀數(shù)的每個(gè) 面部的信息，則該過程返回到步驟S51，重復(fù)相同的處理。另一方面，如果數(shù)據(jù)庫管理單元 23判定處理了關(guān)于每個(gè)面部的信息，則該過程結(jié)束。這樣，由于第一整合處理單元51基于預(yù)測出現(xiàn)消失的面部的估計(jì)范圍，來確定用 于判定處理目標(biāo)的面部是否臨時(shí)消失面部的閾值，因此與確定固定閾值相比，檢測臨時(shí)消 失面部的準(zhǔn)確度提高。此外，例如，可以對(duì)新檢測到的面部的幀進(jìn)行第一整合處理，這時(shí)，當(dāng) 預(yù)定幀數(shù)為1時(shí)，可以快速獲得整合結(jié)果，由此可以改善實(shí)時(shí)性能。接下來，圖10是描述圖7的步驟S17中的第二整合處理的流程圖。在步驟S61，數(shù)據(jù)庫管理單元23從駐留在存儲(chǔ)設(shè)備15的數(shù)據(jù)庫32中的跟蹤面部 列表36中，例如按照當(dāng)前幀的圖像中的從關(guān)于自先前幀的圖像中消失的面部的信息中的 跟蹤ID序列選擇關(guān)于作為處理目標(biāo)的面部的信息，并將其提供到第二整合處理單元52。在處理步驟S61之后，該過程進(jìn)行到步驟S62，第二整合處理單元52確定是否可以 基于包括在關(guān)于面部所提供的信息中的擴(kuò)展面部區(qū)域圖像來計(jì)算有效面部相似度。例如，在包括在擴(kuò)展面部區(qū)域圖像中的面部區(qū)域的尺寸小，更具體地，該尺寸等于 或小于40個(gè)像素的情況下，可能不能計(jì)算有效面部相似度。另外，當(dāng)圖像具有模糊性時(shí)，可 能不能計(jì)算有效面部相似度。因此，當(dāng)包含在擴(kuò)展面部區(qū)域圖像中的面部區(qū)域的尺寸等于 或大于預(yù)定值，并且在圖像中沒有模糊時(shí)，第二整合處理單元52確定可以計(jì)算有效面部相 似度。另一方面，當(dāng)包括在擴(kuò)展面部區(qū)域圖像中的面部區(qū)域的尺寸低于預(yù)定值，并且在圖像 中存在模糊時(shí)，第二整合處理單元52確定可能不能計(jì)算有效面部相似度。在步驟S62，當(dāng)?shù)诙咸幚韱卧?2判定可以計(jì)算有效面部相似度時(shí)，該過程進(jìn) 行到步驟S63，且第二整合處理單元52基于處理目標(biāo)的面部的特征和登記在臨時(shí)消失列表 38中的面部的特征，計(jì)算各個(gè)面部之間的相似度。這時(shí)，如在圖3中所述，第二整合處理單 元52針對(duì)5個(gè)面部方向中的每一個(gè)，計(jì)算各個(gè)相應(yīng)的面部相似度。在處理步驟S63之后，該過程進(jìn)行到步驟S64，且第二整合處理單元52確定在步驟S63計(jì)算的面部相似度是否等于或大于閾值。在步驟S64，如果第二整合處理單元52確定在步驟S63計(jì)算的面部相似度等于或 大于閾值，則該過程進(jìn)行到步驟S65。也就是說，在這種情況下，將處理目標(biāo)的面部確定為臨 時(shí)消失的面部。在步驟S65，將登記在臨時(shí)消失列表35中的信息中的關(guān)于具有所計(jì)算的最高相似 度的面部的信息傳送到整合面部列表37，同時(shí)，將關(guān)于作為處理目標(biāo)的面部的信息從跟蹤 面部列表36傳送到并登記在信息的面部ID的項(xiàng)中。另一方面，在步驟S64，如果第二整合處理單元52確定在步驟S63計(jì)算的面部相似 度低于預(yù)定閾值，則該過程進(jìn)行到步驟S66。也就是說，在這種情況下，將處理目標(biāo)的面部確 定為新檢測到的面部，而不是臨時(shí)消失的面部。在步驟S66，第二整合處理單元52對(duì)處理目標(biāo)的面部分配新面部ID，在整合面部 列表37中生成新的項(xiàng)，并將關(guān)于處理目標(biāo)的面部的信息從跟蹤面部列表36傳送到該項(xiàng)。然而，在步驟S62，如果第二整合處理單元52判定可能不能計(jì)算有效面部相似度， 則該過程進(jìn)行到步驟S67。在步驟S67，第二整合處理單元52基于從面部區(qū)域下側(cè)的3個(gè) 區(qū)域(右胸部區(qū)域、中間胸部區(qū)域和左胸部區(qū)域)中提取的直方圖，以及包含在關(guān)于處理目 標(biāo)的面部的信息中的表示直方圖的信息中的、與登記在臨時(shí)消失列表38中的面部相對(duì)應(yīng) 的直方圖，來計(jì)算胸部區(qū)域之間的相似度。在處理步驟S67之后，該過程進(jìn)行到步驟S68，且第二整合處理單元52確定在步驟 S67計(jì)算的胸部區(qū)域相似度是否等于或大于閾值。在步驟S68，如果第二整合處理單元52判定在步驟S67計(jì)算的胸部區(qū)域相似度等 于或大于閾值，則該過程進(jìn)行到步驟S69。在步驟S69，第二整合處理單元52基于包括在關(guān) 于處理目標(biāo)的面部的信息中的表示直方圖的信息中的從面部外圍區(qū)域的3個(gè)區(qū)域(上側(cè)區(qū) 域、右側(cè)區(qū)域和左側(cè)區(qū)域)中提取的直方圖，以及與登記在臨時(shí)消失列表38中的各面部中 的具備具有等于或大于閾值的值的胸部相似度的面部相對(duì)應(yīng)的直方圖，計(jì)算胸部區(qū)域之間 的相似度。在處理步驟S69之后，該過程進(jìn)行到步驟S70，且第二整合處理單元52確定在步驟 S69中計(jì)算的面部外圍區(qū)域相似度是否等于或大于預(yù)定閾值。在步驟S70，如果第二整合處理單元52判定在步驟S69計(jì)算的面部外圍區(qū)域相似 度等于或大于預(yù)定閾值，則該過程進(jìn)行到步驟S71。在步驟S71，第二整合處理單元52判定 包括在關(guān)于處理目標(biāo)的面部的信息中的表示屬性的信息是否與登記在臨時(shí)消失列表38中 的各面部中的具備具有等于或大于閾值的值的面部外圍區(qū)域相似度的面部屬性一致。在步驟S71，如果第二整合處理單元52判定包括在關(guān)于處理目標(biāo)的面部的信息中 的表示屬性的信息與表示登記在臨時(shí)消失列表38中的面部的屬性的信息一致，則該過程 進(jìn)行到步驟S72。換句話說，當(dāng)確定胸部區(qū)域相似度等于或大于閾值，面部外圍區(qū)域相似度 等于或大于閾值并且屬性一致時(shí)，將處理目標(biāo)的面部確定為臨時(shí)消失的面部。在步驟S72，第二整合處理單元52將關(guān)于在步驟S71中確定為屬性一致的面部的 信息傳送到整合面部列表37，同時(shí)，將關(guān)于處理目標(biāo)的面部的信息從跟蹤面部列表36傳送 到信息的面部ID的項(xiàng)中，并將其登記在該項(xiàng)中。然而，如果在步驟S68在步驟S67計(jì)算的胸部區(qū)域相似度低于預(yù)定閾值，如果在步驟S70確定在步驟S69計(jì)算的面部外圍區(qū)域相似度低于預(yù)定閾值，或如果在步驟S71確定 為表示屬性的信息不一致，則該過程進(jìn)行到步驟S73。在步驟S73，第二整合處理單元52對(duì)關(guān)于處理目標(biāo)的面部的信息分配新的面部 ID,在整合面部列表37中生成新的項(xiàng)，并且從跟蹤面部列表36傳送關(guān)于處理目標(biāo)的面部的 fn息ο在處理步驟S65、S66、S72或S73之后，該過程進(jìn)行到步驟S74，數(shù)據(jù)庫管理單元23 確定是否已經(jīng)作為處理目標(biāo)處理了關(guān)于當(dāng)前幀的圖像中的從先前幀的圖像中消失的每個(gè) 面部的信息，如果判定還未作為處理目標(biāo)處理關(guān)于每個(gè)面部的信息，則該過程返回到步驟 S61，并重復(fù)相同的處理。另一方面，如果數(shù)據(jù)庫管理單元23判定已經(jīng)作為處理目標(biāo)處理了 關(guān)于每個(gè)面部的信息，則該過程結(jié)束。這樣，由于第二整合處理單元52除了面部相似度之外，還使用胸部區(qū)域的相似度 (例如衣物顏色)、面部外圍區(qū)域的相似度(例如頭發(fā)顏色或在適用的情況下帽子顏色)和 屬性來確定面部是否臨時(shí)消失面部，因此與僅使用面部相似度相比，檢測臨時(shí)消失面部的 準(zhǔn)確度提高。此外，在圖像中呈現(xiàn)的面部小或非常模糊的情況下，相似度判定的準(zhǔn)確度可能劣 化，且在這些情況下，期望以高準(zhǔn)確度確定是否同一人。例如，參考圖11，將不進(jìn)行第二整合處理單元52的整合處理時(shí)(處理之前)的識(shí) 別結(jié)果和進(jìn)行第二整合處理單元52的整合處理時(shí)(處理之后)的識(shí)別結(jié)果進(jìn)行比較。如 圖11所示，通過第二整合處理單元52的整合處理，抑制了再現(xiàn)性的劣化，并且顯著改善了 一致性(2倍)。這里，當(dāng)A是指標(biāo)記結(jié)果的集合，C是指識(shí)別結(jié)果的集合，且B是指A集合 和B集合的積集合時(shí)，再現(xiàn)性是B/(A+B)的函數(shù)。此外，一致性是B/(C+B)的函數(shù)。此外， F值是調(diào)和平均值，且調(diào)和平均值可以通過第二整合處理單元52的整合處理來提高。此外，當(dāng)確定面部是否臨時(shí)消失的面部時(shí)，除了上述方法之外，例如，還可以在總 相似度等于或大于閾值并且屬性一致時(shí)確定面部是臨時(shí)消失的面部，這里，總相似度可以 使用這樣的運(yùn)算來計(jì)算面部相似度X加權(quán)因子+胸部區(qū)域相似度X加權(quán)因子+面部外 圍區(qū)域相似度χ加權(quán)因子。另外，可以在面部相似度χ加權(quán)因子等于或大于閾值，面部外 圍區(qū)域相似度X加權(quán)因子等于或大于閾值且胸部區(qū)域相似度X加權(quán)因子等于或大于閾 值，并且屬性一致時(shí)，判定面部是臨時(shí)消失的面部。另外，除了使用具有固定值的閾值或加權(quán)因子之外，還可以采用作為從臨時(shí)消失 的面部消失到檢測到新面部的時(shí)間的函數(shù)的閾值或加權(quán)因子。也就是說，當(dāng)消失的時(shí)間短 時(shí)，可以使用低的閾值來確定相似度。此外，對(duì)于面部相似度，可以使用Gabor特征向量的歸一化相關(guān)。此外，對(duì)于胸部 區(qū)域相似度和面部外圍區(qū)域相似度，可以使用3維色直方圖之間的轉(zhuǎn)換。另外，當(dāng)整合關(guān)于面部的信息時(shí)，除了存儲(chǔ)所有信息之外，還可以僅存儲(chǔ)最新的 信息，僅存儲(chǔ)最舊的信息，或僅存儲(chǔ)最佳條件下的信息(具有最前視(the most forward looking)面部的信息或從具有最少模糊的圖像中獲取的信息)。此外，可以通過對(duì)信息的 新舊度和信息的條件進(jìn)行排序來存儲(chǔ)預(yù)定數(shù)量的信息記錄。另外，在本發(fā)明的實(shí)施例中，即使通過由直方圖計(jì)算單元43根據(jù)圖6所示的擴(kuò)展 面部區(qū)域中的各個(gè)區(qū)域計(jì)算直方圖，確定了相似度，除了直方圖之外，為了確定相似度，例如還可以通過獲取邊緣方向或紋理信息來使用邊緣方向或紋理信息。這樣，可以更準(zhǔn)確地 確定面部是否一致。此外，可以改變用于使用面部區(qū)域內(nèi)的面部方向(面部角度)來計(jì)算 直方圖的區(qū)域的位置或大小。例如，當(dāng)面部向左看時(shí)，通過擴(kuò)展左側(cè)區(qū)域和左胸部區(qū)域，可 以計(jì)算根據(jù)具有更好的圖像條件的區(qū)域的直方圖，由此可以改善判定準(zhǔn)確度。此外，面部區(qū)域提取單元22可以從提供自圖像獲取單元21的圖像中一次幾幀地 進(jìn)行面部區(qū)域的提取。這樣，可以減小處理負(fù)荷，即使圖像處理設(shè)備14的處理性能低，也可 以進(jìn)行面部識(shí)別處理或整合處理。此外，即使已經(jīng)使用面部區(qū)域冗余來確定面部是否正在 跟蹤的面部，也可以通過請(qǐng)求面部特征來計(jì)算相似度，并且通過確定相似度高還是低來判 定面部是否正在跟蹤的面部。此外，即使在圖4中的圖像處理設(shè)備14中，數(shù)據(jù)整合單元26具有第一整合處理單 元51和第二整合處理單元52，也可以將圖像處理設(shè)備14配置為具有這兩個(gè)整合處理單元 中的任意一個(gè)。在這種情況下，僅將兩個(gè)數(shù)據(jù)庫31和32中的一個(gè)相應(yīng)的數(shù)據(jù)庫存儲(chǔ)在存 儲(chǔ)設(shè)備15中。此外，除了第一整合處理單元51和第二整合處理單元52并行進(jìn)行整合處理 之外，例如，還可以依據(jù)圖像處理結(jié)果的使用目的，根據(jù)經(jīng)由圖1中的通信設(shè)備16來自用戶 的指令使用任意一個(gè)單元進(jìn)行整合處理。上述一系列處理可以通過硬件或軟件來執(zhí)行。在使用軟件來執(zhí)行一系列處理的情 況下，將駐留在軟件中的程序安裝在配備在專用硬件中的計(jì)算機(jī)或能夠通過從程序記錄介 質(zhì)安裝各種程序來執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)上。此外，計(jì)算機(jī)可執(zhí)行程序可以是按照在說明書中描述的時(shí)間序列執(zhí)行處理的程序 以及并行或在諸如出現(xiàn)調(diào)用的時(shí)間的需要時(shí)間執(zhí)行處理的程序。也就是說，不一定按照根 據(jù)流程圖中的順序的時(shí)間序列，處理在上述流程圖中描述的每個(gè)處理，而可以利用并行處 理或單獨(dú)處理(例如并行處理或按照對(duì)象進(jìn)行處理)。此外，可以使用單個(gè)CPU或使用用來 進(jìn)行分布式處理的多個(gè)CPU來執(zhí)行程序。本申請(qǐng)包含與2009年12月4日在日本專利局提交的日本在先專利申請(qǐng)JP 2009-277074中公開的主題有關(guān)的主題，其全部內(nèi)容通過引用包含于此。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以依據(jù)設(shè)計(jì)要求和其它因素進(jìn)行各種變形、組合、子 組合和改變，只要其在所附權(quán)利要求或其等同物的范圍內(nèi)。
權(quán)利要求
1.一種圖像處理設(shè)備，包括面部區(qū)域提取裝置，用于在檢測到圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部 區(qū)域；識(shí)別信息獲取裝置，用于獲取用于識(shí)別由所述面部區(qū)域提取裝置提取的面部區(qū)域中的 面部的識(shí)別信息；第一整合處理裝置，用于通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在 跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一 人的面部；以及第二整合處理裝置，用于通過下述操作來進(jìn)行整合處理以與所述第一整合處理裝置 不同的方式，基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ) 時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，所述第一整合處理裝置基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在 跟蹤的面部的位置之間的關(guān)系確定閾值，計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，以及 基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部，以及所述第二整合處理裝置針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部 圖像之間的相似度，以及基于針對(duì)所述多個(gè)面部方向所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的面 部圖像是否同一人的面部。
2.一種圖像處理方法，包括步驟在檢測到圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部區(qū)域； 獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；通過下述操作來進(jìn)行第一整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從 圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；以及通過下述操作來進(jìn)行第二整合處理以與所述第一整合處理的方式不同的方式，基于 所述識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像 中呈現(xiàn)的面部是否同一人的面部，其中，所述第一整合處理基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在跟蹤 的面部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的相似度，以及基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部，以及所述第二整合處理針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像 之間的相似度，以及基于針對(duì)所述多個(gè)面部方向所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的面 部圖像是否同一人的面部。
3.一種使得計(jì)算機(jī)執(zhí)行的程序，所述程序包括步驟在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部區(qū)域；獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；通過下述操作來進(jìn)行第一整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從 圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；以及通過下述操作來進(jìn)行第二整合處理以與所述第一整合處理的方式不同的方式，基于 所述識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像 中呈現(xiàn)的面部是否同一人的面部，其中，所述第一整合處理基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在跟蹤 的面部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的相似度，以及基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部，以及所述第二整合處理針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像 之間的相似度，以及基于針對(duì)所述多個(gè)面部方向所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的面 部圖像是否同一人的面部。
4.一種圖像處理設(shè)備，包括面部區(qū)域提取裝置，用于在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面 部區(qū)域；識(shí)別信息獲取裝置，用于獲取用于識(shí)別由所述面部區(qū)域提取裝置提取的面部區(qū)域中的 面部的識(shí)別信息；以及整合處理裝置，用于通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤 的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的 面部；其中，所述整合處理裝置基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在跟蹤 的面部的位置之間的關(guān)系確定閾值，計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，以及 基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。
5.根據(jù)權(quán)利要求4所述的圖像處理設(shè)備，其中，所述整合處理裝置估計(jì)由所述面部區(qū) 域提取裝置提取的所述面部區(qū)域中的面部表情，以及計(jì)算所述正在跟蹤的面部和所述在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像 中呈現(xiàn)的面部之間的相似度，所述兩個(gè)面部具有相似的面部表情。
6.一種圖像處理方法，包括步驟在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部區(qū)域； 獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；以及通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖像 中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；其中，所述整合處理基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在跟蹤的面 部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的相似度，以及基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。
7.一種使得計(jì)算機(jī)執(zhí)行的程序，所述程序包括步驟在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部區(qū)域； 獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；以及通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖像 中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部；其中，所述整合處理基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在跟蹤的面 部的位置之間的關(guān)系確定閾值，計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，以及 基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。
8.一種圖像處理設(shè)備，包括面部區(qū)域提取裝置，用于在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面 部區(qū)域；識(shí)別信息獲取裝置，用于獲取用于識(shí)別由所述面部區(qū)域提取裝置提取的所述面部區(qū)域 中的面部的識(shí)別信息；以及整合處理裝置，用于通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤 的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的 面部，其中，所述整合處理裝置針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部 圖像之間的相似度，以及基于針對(duì)所述多個(gè)面部方向的所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的 面部圖像是否同一人的面部。
9.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中，所述整合處理裝置還計(jì)算所述正在跟 蹤的面部下方的胸部區(qū)域和所存儲(chǔ)的面部圖像下方的胸部區(qū)域之間的相似度，以及基于所計(jì)算的胸部區(qū)域的相似度，確定所存儲(chǔ)的面部圖像是否同一人的面部。
10.根據(jù)權(quán)利要求8所述的圖像處理設(shè)備，其中，所述整合處理裝置還計(jì)算所述正在跟 蹤的面部的面部外圍和所存儲(chǔ)的面部圖像的面部外圍之間的相似度，并且基于所計(jì)算的面 部外圍區(qū)域的相似度，確定所存儲(chǔ)的面部圖像是否同一人的面部。
11.一種圖像處理方法，包括步驟在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部區(qū)域； 獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；以及通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖像 中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，所述整合處理針對(duì)多個(gè)面部方向計(jì)算正在跟蹤的面部和存儲(chǔ)的面部圖像之間的 相似度，以及基于針對(duì)所述多個(gè)面部方向得所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。
12.一種使得計(jì)算機(jī)執(zhí)行的程序，所述程序包括步驟在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部的面部區(qū)域； 獲取用于識(shí)別所提取的面部區(qū)域中的面部的識(shí)別信息；以及通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖像 中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，所述整合處理針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像 之間的相似度，并且基于針對(duì)所述多個(gè)面部方向的所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的 面部圖像是否同一人的面部。
13.一種圖像處理設(shè)備，包括面部區(qū)域提取單元，被配置為在檢測到在圖像中呈現(xiàn)的面部之后提取包括所述面部的 面部區(qū)域；識(shí)別信息獲取單元，被配置為獲取用于識(shí)別由所述面部區(qū)域提取單元提取的所述面部 區(qū)域中的面部的識(shí)別信息；第一整合處理單元，被配置為通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息確定 正在跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否 同一人的面部；以及第二整合處理單元，被配置為通過下述操作來進(jìn)行整合處理以與所述第一整合處理 單元的方式不同的方式，基于所述識(shí)別信息，確定正在跟蹤的面部和在從圖像中消失之后 的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一人的面部，其中，所述第一整合處理單元基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在 跟蹤的面部的位置之間的關(guān)系確定閾值，計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，以及 基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部，以及所述第二整合處理單元針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部 圖像之間的相似度，以及基于針對(duì)所述多個(gè)面部方向的所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的 面部圖像是否同一人的面部。
14.一種圖像處理設(shè)備，包括面部區(qū)域提取單元，被配置為在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部 的面部區(qū)域；識(shí)別信息獲取單元，被配置為獲取用于識(shí)別由所述面部區(qū)域提取單元提取的所述面部 區(qū)域中的面部的識(shí)別信息；以及整合處理單元，被配置為通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息確定正在 跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一 人的面部；其中，所述整合處理單元基于預(yù)測出現(xiàn)所存儲(chǔ)的面部圖像的估計(jì)區(qū)域和所述正在跟蹤的面部的位置之間的關(guān)系確定閾值，計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部圖像之間的相似度，以及 基于所計(jì)算的相似度和與在計(jì)算所述相似度時(shí)使用的所存儲(chǔ)的面部圖像相對(duì)應(yīng)的閾 值，確定所述正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。
15. 一種圖像處理設(shè)備，包括面部區(qū)域提取單元，被配置為在檢測到在圖像中呈現(xiàn)的面部之后，提取包括所述面部 的面部區(qū)域；識(shí)別信息獲取單元，被配置為獲取用于識(shí)別由所述面部區(qū)域提取單元提取的所述面部 區(qū)域中的面部的識(shí)別信息；以及整合處理單元，被配置為通過下述操作來進(jìn)行整合處理基于所述識(shí)別信息確定正在 跟蹤的面部和在從圖像中消失之后的預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部是否同一 人的面部，其中，所述整合處理單元針對(duì)多個(gè)面部方向計(jì)算所述正在跟蹤的面部和所存儲(chǔ)的面部 圖像之間的相似度，以及基于針對(duì)所述多個(gè)面部方向的所計(jì)算的相似度，確定所述正在跟蹤的面部和所存儲(chǔ)的 面部圖像是否同一人的面部。
全文摘要
公開一種圖像處理設(shè)備、圖像處理方法和程序。該圖像處理設(shè)備包括提取面部區(qū)域的面部區(qū)域提取單元、獲取用于識(shí)別面部區(qū)域中的面部的識(shí)別信息的識(shí)別信息獲取單元以及進(jìn)行整合處理的第一和第二整合處理單元。第一和第二整合處理單元基于估計(jì)的區(qū)域和正在跟蹤的面部的位置之間的關(guān)系確定閾值，計(jì)算正在跟蹤的面部和在要在預(yù)定存儲(chǔ)時(shí)段中存儲(chǔ)的圖像中呈現(xiàn)的面部之間的相似度，并且確定正在跟蹤的面部和所存儲(chǔ)的面部圖像是否同一人的面部。
文檔編號(hào)G06K9/00GK102087702SQ20101057371
公開日2011年6月8日 申請(qǐng)日期2010年11月26日 優(yōu)先權(quán)日2009年12月4日
發(fā)明者后藤智彥, 孫赟, 鶴見辰吾 申請(qǐng)人:索尼公司