專利名稱：用于處理信息的設(shè)備、方法和計(jì)算機(jī)程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、信息處理方法和計(jì)算機(jī)程序，特別地，本發(fā) 明涉及用于基于諸如電視節(jié)目之類的視頻內(nèi)容產(chǎn)生指示人物和相應(yīng)的面部圖 像之間的映射的數(shù)據(jù)庫的信息處理設(shè)備、信息處理方法和計(jì)算機(jī)程序。
背景技術(shù)：
例如，日本待審查專利申請(qǐng)公開No.2002 - 189724公開了在運(yùn)動(dòng)圖片或 靜態(tài)圖片中檢測(cè)人臉并識(shí)別這是誰的面部的技術(shù)。在現(xiàn)有技術(shù)中，參照記錄有人物(人)和指示映射到人物的人物特征的 特征量模型的數(shù)據(jù)庫(下面稱為DB),將所檢測(cè)到的面部圖像的特征量模型 與數(shù)據(jù)庫上的特征量模型進(jìn)行比較，并且具有最高相關(guān)性的人物被識(shí)別為具 有所檢測(cè)到的面部圖像的人物。發(fā)明內(nèi)容手動(dòng)構(gòu)造已經(jīng)記錄有人物和映射到人物的面部的特征量模型的現(xiàn)有技術(shù) 中的DB。如果例如使用計(jì)算機(jī)自動(dòng)構(gòu)造DB，則要存儲(chǔ)在DB上的數(shù)據(jù)量(人 物和人物的面部的特征量模型的數(shù)量)增加得比手動(dòng)輸入操作更迅速。因此， 期望識(shí)別更多的人物。于化妝或偽裝造成的面部特征的變化。在這種情況下，DB還需要手動(dòng)更新。 因此期望自動(dòng)構(gòu)造基于視頻內(nèi)容指示人物和面部的特征量模型之間的映 射的數(shù)據(jù)庫。在根據(jù)本發(fā)明的 一 個(gè)實(shí)施例中，用于產(chǎn)生指示人物和人物的面部圖像之間的映射的數(shù)據(jù)庫的信息處理設(shè)備包括列表產(chǎn)生單元，用于基于視頻內(nèi)容 的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表；檢測(cè)單元，用于從視頻內(nèi)容 中檢測(cè)人物的面部圖像；模型產(chǎn)生單元，用于產(chǎn)生指示所檢測(cè)到的人物的面 部圖像的特征的特征量模型；和映射單元，用于將基于視頻內(nèi)容產(chǎn)生的特征 量模型映射到在人物列表中包含的人物。信息處理設(shè)備還可以包括分類單元，用于根據(jù)相似性將多個(gè)特征量模型 分類成特征量模型組，并且產(chǎn)生代表在分類到每個(gè)特征量模型組中的多個(gè)特 征量模型的代表性模型。映射單元將代表性模型映射到在人物列表中包含的 人物。映射單元可以包括確定單元，用于確定目標(biāo)人物；獲取(retrieval)單 元，用于根據(jù)人物列表搜索目標(biāo)人物出現(xiàn)的視頻內(nèi)容，并且獲取從所搜索到 的視頻內(nèi)容產(chǎn)生的特征量模型；確定單元，用于從獲取的特征量模型中確定 相互具有高相關(guān)性的多個(gè)特征量模型；和映射產(chǎn)生單元，用于產(chǎn)生用作被確 定為相互具有高相關(guān)性的多個(gè)特征量模型的中心的中心模型，并且將該中心 模型映射到目標(biāo)人物。列表產(chǎn)生單元可以基于視頻內(nèi)容的元數(shù)據(jù)產(chǎn)生包括由多個(gè)人物組成的組 的人物列表。檢測(cè)單元可以從視頻內(nèi)容檢測(cè)人物的面部圖像，而不管其視面角如何， 并且映射單元可以將基于以不同視面角檢測(cè)到的面部圖像產(chǎn)生的多個(gè)特征量 模型映射到同一人物。在根據(jù)本發(fā)明的 一個(gè)實(shí)施例中，用于產(chǎn)生指示人物和人物的面部圖像之 間的映射的數(shù)據(jù)庫的信息處理設(shè)備的信息處理方法包括步驟基于視頻內(nèi)容 的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表；從視頻內(nèi)容中檢測(cè)人物的面 部圖像；產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型；和將基 于視頻內(nèi)容產(chǎn)生的特征量模型映射到在人物列表中包含的人物。在根據(jù)本發(fā)明的一個(gè)實(shí)施例中，用于使計(jì)算機(jī)產(chǎn)生指示人物和人物的面 部圖像之間的映射的數(shù)據(jù)庫的計(jì)算機(jī)程序包括步驟基于視頻內(nèi)容的元數(shù)據(jù) 產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表；從視頻內(nèi)容中檢測(cè)人物的面部圖像； 產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型；和將基于視頻內(nèi) 容產(chǎn)生的特征量模型映射到在人物列表中包含的人物。在根據(jù)本發(fā)明的一個(gè)實(shí)施例中，基于視頻內(nèi)容的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表；從視頻內(nèi)容中檢測(cè)人物的面部圖像；產(chǎn)生指示所檢測(cè) 到的人物的面部圖像的特征的特征量模型；和將從視頻內(nèi)容中產(chǎn)生的特征量 模型映射到在人物列表中包含的人物。在根據(jù)本發(fā)明的實(shí)施例中，基于視頻內(nèi)容，自動(dòng)構(gòu)造指示人物和人物的 面部圖像之間的映射的數(shù)據(jù)庫。


圖1是圖解根據(jù)本發(fā)明一個(gè)實(shí)施例的信息提供系統(tǒng)的方框圖； 圖2是圖解根據(jù)本發(fā)明一個(gè)實(shí)施例的人物和特征量模型數(shù)據(jù)庫(DB )產(chǎn) 生器的方框圖；圖3圖解圖2的內(nèi)容DB;圖4圖解圖2的人物相關(guān)信息型DB;圖5圖解圖2的人物列表；圖6圖解圖2的人物和特征量模型DB;圖7是圖解圖2的映射部件的方框圖；圖8是圖解準(zhǔn)備處理的流程圖；圖9是圖解人物和特征量模型DB產(chǎn)生處理的流程圖；和 圖IO是圖解計(jì)算機(jī)的方框圖。
具體實(shí)施方式
在描述本發(fā)明的實(shí)施例之前，在下面論述了本發(fā)明的特征與在本發(fā)明的 說明書或附圖中公開的實(shí)施例之間的對(duì)應(yīng)關(guān)系。該聲明意欲確保在該說明書 或附圖中描述了支持所要求保護(hù)的發(fā)明的實(shí)施例。因此，即使在說明書或附 圖中描述了實(shí)施例，但是在這里沒有描述為與本發(fā)明的特征有關(guān)，這也不必 然表示該實(shí)施例與本發(fā)明的特征無關(guān)。相反地，即使這里將實(shí)施例描述為與 本發(fā)明的特定特征有關(guān)，這也不必然表示該實(shí)施例與本發(fā)明的其它特征無關(guān)。在根據(jù)本發(fā)明的 一個(gè)實(shí)施例中，用于產(chǎn)生指示人物和人物的面部圖像之 間的映射的數(shù)據(jù)庫的信息處理設(shè)備(例如圖2的人物和特征內(nèi)容模型DB產(chǎn) 生器20)包括列表產(chǎn)生單元(例如，圖2的人物列表產(chǎn)生器28),用于基 于視頻內(nèi)容的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表；檢測(cè)單元(例如， 圖2的面部圖像檢測(cè)器24),用于從視頻內(nèi)容中檢測(cè)人物的面部圖像；模型產(chǎn)生單元(例如，圖2的特征量模型提取器25)，用于產(chǎn)生指示所檢測(cè)到的 人物的面部圖像的特征的特征量模型；和映射單元(例如，圖2的映射部件 29)，用于將基于視頻內(nèi)容產(chǎn)生的特征量模型映射到在人物列表中包含的人 物。信息處理設(shè)備還可以包括分類單元(例如圖2的特征量分類器26),用 于根據(jù)相似性將從視頻內(nèi)容中產(chǎn)生的多個(gè)特征量模型分類到特征量模型組， 并且產(chǎn)生代表分類到每個(gè)特征量模型組中的多個(gè)特征量模型的代表性模型。映射單元可以包括確定單元(例如，圖7的目標(biāo)人物確定器41),用于 確定目標(biāo)人物；獲取單元(例如，圖7的目標(biāo)人物搜索器42和代表性模型組 獲取器43),用于根據(jù)人物列表搜索目標(biāo)人物出現(xiàn)的視頻內(nèi)容，并且獲取基 于所搜索到的視頻內(nèi)容產(chǎn)生的特征量模型；確定單元(例如，圖7的相關(guān)性 確定器44)，用于從獲取的特征量模型中確定相互具有高相關(guān)性的多個(gè)特征 量模型；和映射產(chǎn)生單元(例如，圖7中的中心模型產(chǎn)生器45)，用于產(chǎn)生 用作被確定為相互具有高相關(guān)性的多個(gè)特征量模型的中心的中心模型，并且 將中心模型映射到目標(biāo)人物。在根據(jù)本發(fā)明的一個(gè)實(shí)施例中，用于產(chǎn)生指示人物和人物的面部圖像之 間的映射的數(shù)據(jù)庫的信息處理設(shè)備的信息處理方法和計(jì)算機(jī)程序之一，包括 步驟基于視頻內(nèi)容的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表(例如， 圖8的步驟S5);從視頻內(nèi)容中檢測(cè)人物的面部圖像(例如，圖8的步驟S2); 產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型(例如，圖8的步 驟S3);和將基于視頻內(nèi)容產(chǎn)生的特征量模型映射到在人物列表中包含的人 物(例如,圖8的步驟S16)。在下面將參照附圖描述本發(fā)明的實(shí)施例。在下面參照?qǐng)Dl描述本發(fā)明的一個(gè)實(shí)施例的信息提供系統(tǒng)10。該信息提 供系統(tǒng)10包括人物和特征量模型數(shù)據(jù)庫(DB)產(chǎn)生器。在信息提供系統(tǒng)10 中使用人物和特征內(nèi)容模型DB。信息提供系統(tǒng)10包括信息提供設(shè)備11、人物相關(guān)信息DB 23和人物和 特征量模型DB 30。信息提供設(shè)備11接收面部照片和面部合成圖畫(facial composite drawing ),并且向用戶提供關(guān)于與輸入的面部照片對(duì)應(yīng)的人物(人) 的信息。人物相關(guān)信息DB 23存儲(chǔ)在視頻內(nèi)容中出現(xiàn)的人物(諸如娛樂界人 士、知識(shí)分子、運(yùn)動(dòng)員、政客)的人物信息以及映射到人物的人物相關(guān)信息。人物和特征量模型DB 30存儲(chǔ)人物信息和指示映射到人物信息的每個(gè)人物的 特征的特征量模型。信息提供設(shè)備11產(chǎn)生指示從操作者輸入的面部照片和面部合成圖畫的 特征的特征量模型，通過參照人物和特征量模型DB 30來搜索具有與所產(chǎn)生 的特征量模型最高相關(guān)性的特征量模型，并且識(shí)別匹配該搜索結(jié)果的人物。 信息提供設(shè)備11從人物相關(guān)信息DB 23獲取所識(shí)別的人物的人物相關(guān)信息， 并且將所獲取的信息提供給操作者。事先準(zhǔn)備人物相關(guān)信息DB23 (在后面詳細(xì)描述)。由圖2的人物和特征 量模型DB產(chǎn)生器20構(gòu)造人物和特征量模型DB 30。將參照?qǐng)D2描述根據(jù)本發(fā)明的一個(gè)實(shí)施例的人物和特征量模型DB產(chǎn)生 器20。人物和特征量模型DB產(chǎn)生器20構(gòu)造人物和特征量模型DB 30。人物和特征量模型DB產(chǎn)生器20包括內(nèi)容DB21、元數(shù)據(jù)DB22、人物 相關(guān)信息DB23、面部圖像檢測(cè)器24、特征量模型提取器25、特征量模型分 類器26、特征量模型DB27、人物列表產(chǎn)生器28和映射部件29。內(nèi)容DB21 存儲(chǔ)視頻內(nèi)容。元數(shù)據(jù)DB22存儲(chǔ)與在內(nèi)容DB21上存儲(chǔ)的視頻內(nèi)容對(duì)應(yīng)的 元數(shù)據(jù)。人物相關(guān)信息DB23存儲(chǔ)人物相關(guān)信息。面部圖像檢測(cè)器24從視頻 內(nèi)容中檢測(cè)面部圖像。特征量模型提取器25產(chǎn)生指示所檢測(cè)到的面部圖像的 特征的特征量模型。特征量模型分類器26根據(jù)相似性將大量產(chǎn)生的特征量模 型分類。特征量模型DB27存儲(chǔ)特征量模型。人物列表產(chǎn)生器28基于視頻內(nèi) 容的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的人物列表31。映射部件29將特 征量模型映射到在人物列表31中包含的人物。視頻內(nèi)容包含諸如電視節(jié)目之類的運(yùn)動(dòng)圖像和諸如新聞?wù)掌蛴坝D片 之類的靜態(tài)圖像。如圖3所示，內(nèi)容DB21存儲(chǔ)內(nèi)容ID ((標(biāo)識(shí))，即，標(biāo)識(shí) 視頻內(nèi)容的唯一標(biāo)識(shí)信息)以及指示具有映射到位置信息的內(nèi)容ID的視頻內(nèi) 容(運(yùn)動(dòng)圖像數(shù)據(jù)、靜態(tài)圖像數(shù)據(jù)等)的實(shí)際數(shù)據(jù)的存儲(chǔ)位置的位置信息。 內(nèi)容DB21根據(jù)所存儲(chǔ)的位置信息獲取視頻內(nèi)容的實(shí)際數(shù)據(jù)，并且將實(shí)際數(shù) 據(jù)輸出到面部圖像檢測(cè)器24和映射部件29的每一個(gè)。內(nèi)容DB 21可以存儲(chǔ) 視頻內(nèi)容的實(shí)際數(shù)據(jù)。元數(shù)據(jù)的內(nèi)容ID。如果視頻內(nèi)容是電視節(jié)目，則元數(shù)據(jù)包括諸如節(jié)目名稱、 廣播日期和時(shí)間、頻道、報(bào)幕(casting)、節(jié)目?jī)?nèi)容之類的EPG (電子節(jié)目指南)。在不是電視節(jié)目的情況下，元數(shù)據(jù)是包括在視頻內(nèi)容中出現(xiàn)的人物的名稱的一般屬性信息。元數(shù)據(jù)DB 22存儲(chǔ)人物列表31和映射到人物列表31的 內(nèi)容ID。由人物列表產(chǎn)生器28產(chǎn)生人物列表31。人物相關(guān)信息DB 23存儲(chǔ)與在視頻內(nèi)容中出現(xiàn)的人物(諸如娛樂界人士、 知識(shí)分子、運(yùn)動(dòng)員、政客)有關(guān)的人物信息以及映射到人物的人物相關(guān)信息。圖4圖解存儲(chǔ)在人物相關(guān)信息DB 23上的人物相關(guān)信息中的條目。人物 相關(guān)信息包括人物名稱、名稱的發(fā)音指南、名稱的字母表示、家鄉(xiāng)、生曰、 登場(chǎng)時(shí)間、相關(guān)人物ID、人物的官方主頁的URL (統(tǒng)一資源定位符)以及其 它信息，每一條目映射到人物ID。可以將人物ID分配給由多個(gè)人物組成的組。如果組的每個(gè)成員在^f見頻內(nèi) 容中分別出現(xiàn)，則該成員分配有其自身的人物ID。映射到組的成員的人物相 關(guān)信息的相關(guān)人物ID包括組的人物ID和該組的另一成員的人物ID。每一組 記錄有相互映射到其的組成員。即使在人物列表中描述組名稱，也映射每一 獨(dú)立組成員的面部。人物相關(guān)信息DB 23還可以包含視頻內(nèi)容的內(nèi)容ID和人物在視頻內(nèi)容 中出現(xiàn)的時(shí)間的時(shí)間信息。參照?qǐng)D2，從內(nèi)容DB 21獲取視頻內(nèi)容，并且檢測(cè)在所獲取的視頻內(nèi)容 的視頻中的人物面部。面部圖像檢測(cè)器24不僅以正面(full face),而且以各 種不同角度觀看人物面部的時(shí)候(例如從前向向右轉(zhuǎn)10度，或從前向向左轉(zhuǎn) 45度)檢測(cè)人物圖像。還可以從各種方向拍攝作為主體的人物。面部圖像檢 測(cè)器24將檢測(cè)結(jié)果輸出到特征量模型提取器25。如果視頻內(nèi)容是運(yùn)動(dòng)圖像， 則即使單個(gè)人物在視頻內(nèi)容中表演，也能檢測(cè)多個(gè)面部圖像。如果在連續(xù)的 場(chǎng)景中以不同角度檢測(cè)面部圖像，則在許多情況下該面部圖像可能來自同一 人。然后作為后續(xù)元件的特征量模型分類器26存儲(chǔ)指示連續(xù)檢測(cè)的信息，使 得所檢測(cè)到的多個(gè)面部圖像被識(shí)別為來自同 一人。特征量模型提取器25產(chǎn)生指示所檢測(cè)到的人物面部圖像的特征的特征 量模型。該特征量模型提取器25還檢測(cè)所檢測(cè)到的面部的視面角，并且將特 征量模型和面部角度輸出到特征量模型分類器26和特征量模型DB 27中的每 一個(gè)。逐面部角度地產(chǎn)生特征量模型是完全可以接受的。替代地，可以針對(duì) 所檢測(cè)到的正面產(chǎn)生特征量模型，并且可以基于所產(chǎn)生的正面特征量模型產(chǎn) 生針對(duì)另 一面部角度的特征量模型。例如，在日本待審查專利申請(qǐng)公開No.2002-189724中公開的技術(shù)可以應(yīng) 用于面部圖像檢測(cè)器24和特征量模型提取器25。特征量模型分類器26計(jì)算具有從單個(gè)視頻內(nèi)容產(chǎn)生的同一面部角度的 多個(gè)特征量模型的相似性，并且將特征量模型分類成特征量模型組，使得每 個(gè)特征量模型組由類似的特征量模型組成。將分在同一特征量模型組中的多 個(gè)特征量模型認(rèn)為與同一人對(duì)應(yīng)。特征量模型分類器26產(chǎn)生每個(gè)特征量模型 組的平均模型(下面稱為代表性模型)，并且將代表性模型輸出到特征量模型 DB27。如果人物面部不像，則產(chǎn)生大于人物數(shù)的代表性模型數(shù)。如果產(chǎn)生不 同面部角度的特征量模型，則由此針對(duì)同 一人物產(chǎn)生不同角度的代表性模型。從單一視頻內(nèi)容產(chǎn)生的多個(gè)代表性模型稱為代表性模型組32。更具體 地，代表性模型組32包含在單個(gè)視頻內(nèi)容中表演的每個(gè)人物的代表性模型。 代替產(chǎn)生代表性模型，可以將作為特征模型的分類結(jié)果的特征量模型組輸出 到特征量模型DB27中。然而，代表性模型的產(chǎn)生允許在后面的元件中的計(jì) 算量減少。特征量模型DB 27存儲(chǔ)由特征量模型提取器25產(chǎn)生的特征量模型以及 由特征量模型分類器26產(chǎn)生的代表性模型。特征量模型DB 27還可以存儲(chǔ)由 特征量模型分類器26分類的特征量模型組?；谝曨l內(nèi)容的元數(shù)據(jù)，人物列表產(chǎn)生器28產(chǎn)生在視頻內(nèi)容中表演的人 物的人物列表31，并且將所產(chǎn)生的人物列表31輸出到元數(shù)據(jù)DB22。如圖5 所示，人物列表31包含在每一個(gè)均映射到內(nèi)容ID的元數(shù)據(jù)(從人物相關(guān)信 息DB23中獲取)、報(bào)幕(男演員、女演員、制片人、作者)和顯示順序(在 元數(shù)據(jù)中(特別在EPG中))中描述的人物的人物ID的列表。在后面組成部 分中的映射部件29使用元數(shù)據(jù)中的顯示順序作為與每個(gè)人物的表演的時(shí)間 長(zhǎng)度和人物重要程度有關(guān)的信息。映射部件29確定操作者希望映射特征量模型的人物(下面稱為目標(biāo)人 物)。映射部件29識(shí)別目標(biāo)人物表演的多個(gè)視頻內(nèi)容，將人物列表31與每一 個(gè)對(duì)應(yīng)于所識(shí)別的視頻內(nèi)容的代表性模型組32進(jìn)行比較以進(jìn)行映射，產(chǎn)生與 目標(biāo)人物對(duì)應(yīng)的特征量模型(中心模型)，并且將中心模型輸出到人物和特征 量模型DB 30以進(jìn)行存儲(chǔ)。當(dāng)識(shí)別多個(gè)視頻內(nèi)容時(shí)，可以將相同系列的視頻 內(nèi)容處理為單一的視頻內(nèi)容。可以基于僅與單一視頻內(nèi)容對(duì)應(yīng)的代表性模型 組32將人物和代表性模型組32相互映射。響應(yīng)于來自映射部件29的輸出，人物和特征量才莫型DB 30存儲(chǔ)人物ID 和映射到人物ID的特征量模型。圖6圖解人物和特征量模型DB 30的數(shù)據(jù) 結(jié)構(gòu)。每個(gè)人物ID包含在視頻內(nèi)容中觀看面部圖像的視面角(例如，正面或 向右轉(zhuǎn)45度)、拍攝日期(年和日期)、指示特殊化妝和偽裝(正常、化妝1 、 化妝2等)的類型、作為特征量模型的標(biāo)識(shí)信息的特征量模型ID、指示人物 和特征量模型之間的映射的精確度的概率和指示手動(dòng)校正的歷史和每一條目 的更新的手動(dòng)更新歷史，在它們之間相互映射。如果具有不同拍攝日期的特 征量模型中的變化小，則可以合并這些數(shù)據(jù)。以這種方式，控制人物和特征 量模型DB 30的數(shù)據(jù)尺寸的過度增加。人物和特征量模型DB 30存儲(chǔ)映射到單一人物的多個(gè)特征量模型。更具 體地，可以記錄具有同一人物ID但在其它條目具有不同值的人物。以這種方 式，如果視頻內(nèi)容中的人物因年齡、化妝或偽裝而面部發(fā)生變化，則將每個(gè) 狀態(tài)中的特征量模型映射到同一人物ID,并且識(shí)別為針對(duì)同一人物的特征量 模型。隨著人物在更多視頻內(nèi)容中出現(xiàn)，更頻繁地檢測(cè)面部圖像，并且概率變 得更高。例如，如果人物A和B二者在每個(gè)視頻內(nèi)容中總是一起表演，則特 征量模型a和b被分別映射到人物A和B。將人物A映射到特征量模型a、 將人物A映射到特征量模型b、將人物B映射到特征量模型a和將人物B映 射到特征量模型b的每一個(gè)映射概率是50 % 。圖7圖解映射部件29的結(jié)構(gòu)。映射部件29包括目標(biāo)人物確定器41、目標(biāo)人物搜索器42、代表性模型 組獲取器43、相關(guān)性確定器44、中心模型產(chǎn)生器45和記錄器46。目標(biāo)人物 確定器41確定目標(biāo)人物?；谠獢?shù)據(jù)DB 22上的人物列表31,目標(biāo)人物搜 索器42識(shí)別目標(biāo)人物表演的多個(gè)視頻內(nèi)容。代表性模型組獲取器43從特征 量模型DB27獲取與所識(shí)別的多個(gè)視頻內(nèi)容對(duì)應(yīng)的代表性模型組32。相關(guān)性 確定器44基于在多個(gè)代表性模型組32中包含的代表性模型的相關(guān)性來選擇 與目標(biāo)人物對(duì)應(yīng)的多個(gè)代表性模型。中心模型產(chǎn)生器45從所選擇的多個(gè)代表 性模型中產(chǎn)生中心模型。記錄器46使人物和特征量模型DB 30存儲(chǔ)所產(chǎn)生的、 目標(biāo)人物被映射到其的中心模型。當(dāng)準(zhǔn)備處理(在后面描述)結(jié)束，同時(shí)將新視頻內(nèi)容添加到內(nèi)容DB 21 時(shí)，目標(biāo)人物確定器41通過在視頻內(nèi)容中順序地選擇人物來確定目標(biāo)人物。除了其中不同于目標(biāo)人物的人物也始終一起表演的視頻內(nèi)容之外，目標(biāo)人物 搜索器42還識(shí)別顯示目標(biāo)人物的多個(gè)視頻。相關(guān)性確定器44計(jì)算多個(gè)所獲取的代表性模型組32中的代表性模型的 相關(guān)性，并且在代表性模型組中選擇具有最高相關(guān)性的代表性模型的組合。 替代選擇具有最高相關(guān)性的代表性模型組，也可以選擇具有高于閾值的相關(guān) 性的代表性模型。如果計(jì)算代表性模型組的所有代表性模型的相關(guān)性，則計(jì) 算量變得非常大。在這種情況下，可以計(jì)算在人物列表31中的高顯示順序范 圍內(nèi)的數(shù)個(gè)人物的相關(guān)性。利用這種安排迅速選擇要被選擇的代表性模型， 并且減少相關(guān)性的計(jì)算量。中心模型產(chǎn)生器45產(chǎn)生具有與多個(gè)所選擇的代表性模型的每一個(gè)大致 相等的相關(guān)性的特征量模型作為中心模型。下面參照?qǐng)D8的流程圖描述用于產(chǎn)生人物和特征量模型DB 30的準(zhǔn)備處理。在準(zhǔn)備處理中，針對(duì)每個(gè)視頻內(nèi)容產(chǎn)生人物列表31和代表性模型組32。 例如，當(dāng)將新視頻內(nèi)容添加到內(nèi)容DB 21日于，對(duì)所添加的視頻內(nèi)容執(zhí)行準(zhǔn)備 處理。在步驟S1中，面部圖像檢測(cè)器24從內(nèi)容DB21獲取要被處理的視頻內(nèi) 容，檢測(cè)在所獲取的視頻內(nèi)容的視頻中的人物面部，并且將人物面部輸出到 特征量模型提取器25。在步驟S2中，特征量模型提取器25產(chǎn)生指示所檢測(cè) 到的人物面部的特征的特征量模型。特征量模型提取器25檢測(cè)所檢測(cè)到的面 部的面部角度，并且將特征量模型以及面部角度輸出到特征量模型分類器26 和特征量模型DB 27中的每一個(gè)。從整個(gè)視頻內(nèi)容完成面部檢測(cè)，并且產(chǎn)生每個(gè)所檢測(cè)到的面部的特征量 模型，并將其存儲(chǔ)在特征量模型DB 27中。處理前進(jìn)到步驟S3。在步驟S3,特征量模型分類器26計(jì)算從要被處理的視頻內(nèi)容產(chǎn)生的在 同 一面部角度上的多個(gè)特征量的相似性。特征量模型分類器26將所產(chǎn)生的類 似的特征量模型分類到同一特征量模型組中。在步驟S4，特征量模型分類器 26產(chǎn)生標(biāo)識(shí)每個(gè)特征量模型組的代表性模型，并且將由所產(chǎn)生的多個(gè)代表性 模型組成的代表性模型組32輸出到特征量模型DB 27。特征量模型DB 27將 映射到其中的內(nèi)容ID與輸入的代表性模型組32存儲(chǔ)在一起。在步驟S5,人物列表產(chǎn)生器28從元數(shù)據(jù)DB 22獲取要被處理的視頻內(nèi)容的元數(shù)據(jù)?；谒@取的元數(shù)據(jù)，人物列表產(chǎn)生器28產(chǎn)生與要被處理的視 頻內(nèi)容相關(guān)的人物的人物列表31，并且將所產(chǎn)生的人物列表31輸出到元數(shù) 據(jù)DB 22。元數(shù)據(jù)DB 22將映射到其中的內(nèi)容ID與輸入的人物列表31存儲(chǔ) 在一起?？梢砸韵喾错樞蚧蛲瑫r(shí)執(zhí)行在產(chǎn)生代表性^f莫型組32的步驟Sl到S4中 的處理以及在產(chǎn)生人物列表31的步驟S5中的處理。 已經(jīng)描述了要被處理的視頻內(nèi)容的準(zhǔn)備處理。下面參照?qǐng)D9的流程圖描述產(chǎn)生人物和特征量模型DB 30的人物和特征 量模型產(chǎn)生處理。在已經(jīng)積累了每一個(gè)都具有人物列表31和代表性沖莫型組32的特定數(shù)量 的視頻內(nèi)容之后執(zhí)行人物和特征量模型產(chǎn)生處理。更具體地，積累至少兩個(gè) 視頻內(nèi)容，在整個(gè)視頻內(nèi)容中，期望被映射到特征量模型的人物(目標(biāo)人物) 不與連續(xù)地伴隨目標(biāo)人物的其它人物 一起表演。在步驟Sll中，目標(biāo)人物確定器41從元數(shù)據(jù)DB 22獲取包含添加到內(nèi) 容DB 21的新視頻內(nèi)容CA的人物列表31,并且順序地選擇在人物列表31中 列出的人物。由此，目標(biāo)人物確定器41確定目標(biāo)人物a。在步驟S12中，目標(biāo)人物搜索器42參照元數(shù)據(jù)DB 22上的人物列表31 來識(shí)別目標(biāo)人物a始終不與出現(xiàn)的其它人物一起表演的視頻內(nèi)容。從元數(shù)據(jù) DB 22中獲取與所識(shí)別的視頻內(nèi)容對(duì)應(yīng)的人物列表31 。除了視頻內(nèi)容CA,現(xiàn)在可以識(shí)別視頻內(nèi)容Cb和Cc。與視頻內(nèi)容ca、 CB和Cc中的每一個(gè)對(duì)應(yīng)的代表性模型組32包含指示目標(biāo)人物a的面部的特 征的代表性模型?；谶@些模型具有高相關(guān)性的假設(shè)執(zhí)行下面的處理。在步驟S13中，代表性模型組獲取器43從特征量模型DB 27獲取與視 頻內(nèi)容Ca、 CB和Cc中的每一個(gè)對(duì)應(yīng)的代表性模型組32,并且將代表性模型 組32輸出到相關(guān)性確定器44。在步驟S14,相關(guān)性確定器44計(jì)算在多個(gè)所獲取的代表性模型組32中 的代表性模型的相關(guān)性，在代表性模型中選擇具有最高相關(guān)性的代表性模型 的組合，并且將所選擇的代表性的組合輸出到中心模型產(chǎn)生器45。假設(shè)Aa 代表從視頻內(nèi)容CA中的代表性模型組中選擇的代表性模型，假設(shè)Ba代表從 視頻內(nèi)容CB中的代表性模型組中選擇的代表性模型，而假設(shè)Ca代表從視頻 內(nèi)容Cc中的代表性模型組中選擇的代表性模型。在步驟S15中，中心模型產(chǎn)生器45產(chǎn)生具有與所選擇的代表性模型Aa、 Ba和Ca中的每一個(gè)大致相等相關(guān)性的中心模型Ma,然后將該中心模型Ma 輸出到記錄器46。在步驟S16中，記錄器46將特征量模型ID附加到輸入的 中心模型Ma,然后將中心模型Ma記錄在人物和特征量模型DB 30上。記 錄器46使人物和特征量模型DB 30將目標(biāo)人物a的人物ID與映射到其中的 中心模型的特征量模型ID記錄在一起。除了中心模型Ma的特征量模型ID 之外，還記錄了包含面部角度、拍攝日期、類型和概率的信息。由此完成人物和特征量模型產(chǎn)生處理。通過重復(fù)該人物和特征量模型產(chǎn) 生處理，關(guān)于人物和特征量模型DB 30同一人物的特征量模型的精確度提高， 并且增加了特征量模型數(shù)?？梢孕Ｕ⒏潞托薷囊虼藰?gòu)造的人物和特征量模型DB 30。例如，可 以在因特網(wǎng)上公開人物和特征量模型DB 30以希望由觀看者指出錯(cuò)誤。如果 由數(shù)量高于預(yù)定閾值的觀看者指出相同的錯(cuò)誤，則可以校正特征量模型DB 30。圖1的包括所產(chǎn)生的人物和特征量模型DB 30的信息提供系統(tǒng)10從操 作者接收面部圖像和面部合成圖畫，并且輸出對(duì)應(yīng)人物的人物相關(guān)信息。信 息提供系統(tǒng)10還可以顯示這樣的網(wǎng)頁，用戶可以從該網(wǎng)頁購買與該人物有關(guān) 的產(chǎn)品(諸如緊湊盤(CD)、緊湊多功能盤(DVD)或書籍)或由人物出版 的產(chǎn)品。信息提供系統(tǒng)10可以找出其它應(yīng)用程序。例如，通過輸入任何人的 面部圖像，可以搜索具有相似面部的女演員，并且可以學(xué)習(xí)該女演員的化妝 技術(shù)。通過輸入視頻內(nèi)容和人物，可以輸出在視頻內(nèi)容中表演的場(chǎng)景。通過 輸入一個(gè)視頻場(chǎng)景，可以輸出該視頻場(chǎng)景的對(duì)應(yīng)視頻內(nèi)容的內(nèi)容ID和時(shí)間信 息(時(shí)間標(biāo)簽)。可以使用圖2的硬件和軟件之一執(zhí)行上述一系列處理步驟。如果使用軟 件執(zhí)行處理步驟，從程序記錄介質(zhì)將形成軟件的程序安裝到計(jì)算機(jī)內(nèi)置專用 硬件或通用目的計(jì)算機(jī)，其利用安裝在其上的各種程序執(zhí)行各種功能。圖10是圖解執(zhí)行上述處理步驟的計(jì)算機(jī)的硬件結(jié)構(gòu)的方框圖。在計(jì)算機(jī)中，中央處理單元(CPU) 101、只讀存儲(chǔ)器(ROM) 102和 隨機(jī)存取存儲(chǔ)器(RAM) 103經(jīng)由總線104互連?？偩€104還連接到輸入-輸出接口 105。輸入-輸出接口 105連接到包 括鍵盤、鼠標(biāo)和麥克風(fēng)的輸入單元106、包括顯示器和揚(yáng)聲器的輸出單元107、包括硬盤和非易失性存儲(chǔ)器的存儲(chǔ)器108、包括網(wǎng)絡(luò)接口的通信單元109和驅(qū)動(dòng)諸如磁盤、光盤、磁光盤和半導(dǎo)體存儲(chǔ)器之一的記錄介質(zhì)111的驅(qū)動(dòng)器110。當(dāng)CPU 101經(jīng)由輸入-輸出接口 105和總線104將存儲(chǔ)在存儲(chǔ)器108上的 程序加載到RAM 103并執(zhí)行所加載的程序時(shí)，由此構(gòu)造的計(jì)算機(jī)執(zhí)行上述處 理步驟?？梢砸陨鲜鎏幚聿襟E的順序執(zhí)^^程序。替代地，可以并行或在調(diào)用發(fā)生 的定時(shí)執(zhí)行程序的處理步驟?？梢杂蓡蝹€(gè)計(jì)算機(jī)或多個(gè)計(jì)算機(jī)執(zhí)行程序。可以將程序傳送到遠(yuǎn)程計(jì)算 機(jī)來執(zhí)行。在說明書中的術(shù)語"系統(tǒng)"可以指包括多個(gè)設(shè)備的系統(tǒng)。 本領(lǐng)域技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)需要和其它因素可以有各種修改、 組合、子組合和改變，其落入所附權(quán)利要求或其等效物的范圍內(nèi)。
權(quán)利要求
1. 一種用于產(chǎn)生指示人物和人物的面部圖像之間的映射的數(shù)據(jù)庫的信息處理設(shè)備，包括列表產(chǎn)生裝置，用于基于內(nèi)容數(shù)據(jù)的元數(shù)據(jù)產(chǎn)生在內(nèi)容數(shù)據(jù)中出現(xiàn)的人物的列表；檢測(cè)裝置，用于從內(nèi)容數(shù)據(jù)中檢測(cè)人物的面部圖像；模型產(chǎn)生裝置，用于產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型；和映射裝置，用于將基于內(nèi)容數(shù)據(jù)產(chǎn)生的特征量模型映射到在人物列表中包含的人物。
2. 如權(quán)利要求1所述的信息處理設(shè)備，還包括分類裝置，用于根據(jù)相似 性將從內(nèi)容數(shù)據(jù)產(chǎn)生的多個(gè)特征量模型分類成特征量模型組，并且產(chǎn)生代表 分類到在每個(gè)特征量模型組中的多個(gè)特征量模型的代表性模型，其中映射裝置將代表性模型映射到在人物列表中包含的人物。
3. 如權(quán)利要求1所述的信息處理設(shè)備，其中映射裝置包括 確定裝置，用于確定目標(biāo)人物；獲取裝置，用于根據(jù)人物列表搜索目標(biāo)人物出現(xiàn)的內(nèi)容數(shù)據(jù)，并且獲取 從所搜索到的內(nèi)容數(shù)據(jù)產(chǎn)生的特征量模型；判定裝置，用于從獲取的特征量模型中確定相互具有高相關(guān)性的多個(gè)特 征量模型；和映射產(chǎn)生裝置，用于產(chǎn)生用作被確定為相互具有高相關(guān)性的多個(gè)特征量 模型的中心的中心模型，并且將該中心模型映射到目標(biāo)人物。
4. 如權(quán)利要求1所述的信息處理設(shè)備，其中列表產(chǎn)生裝置基于內(nèi)容數(shù)據(jù) 的元數(shù)據(jù)產(chǎn)生包括由多個(gè)人物組成的組的人物列表。
5. 如權(quán)利要求1所述的信息處理設(shè)備，其中檢測(cè)裝置從內(nèi)容數(shù)據(jù)檢測(cè)人 物的面部圖像，而不管其視面角如何，以及其中映射裝置將從以不同視面角檢測(cè)的面部圖像產(chǎn)生的多個(gè)特征量模型 映射到同一個(gè)人物。
6. —種用于產(chǎn)生指示人物和人物的面部圖像之間的映射的數(shù)據(jù)庫的信息 處理設(shè)備的信息處理方法，包括步驟基于內(nèi)容數(shù)據(jù)的元數(shù)據(jù)產(chǎn)生在內(nèi)容數(shù)據(jù)中出現(xiàn)的人物的列表； 從內(nèi)容數(shù)據(jù)中檢測(cè)人物的面部圖像；產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型；和 將基于內(nèi)容數(shù)據(jù)產(chǎn)生的特征量模型映射到在人物列表中包含的人物。
7, —種用于使計(jì)算機(jī)產(chǎn)生指示人物和人物的面部圖像之間的映射的數(shù)據(jù) 庫的計(jì)算機(jī)程序，包括步驟基于內(nèi)容數(shù)據(jù)的元數(shù)據(jù)產(chǎn)生在內(nèi)容數(shù)據(jù)中出現(xiàn)的人物的列表； 從內(nèi)容數(shù)據(jù)中檢測(cè)人物的面部圖像；產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型；和 將基于內(nèi)容數(shù)據(jù)產(chǎn)生的特征量模型映射到在人物列表中包含的人物。
8. —種用于產(chǎn)生指示人物和人物的面部圖像之間的映射的數(shù)據(jù)庫的信息 處理設(shè)備，包括列表產(chǎn)生單元，用于基于內(nèi)容數(shù)據(jù)的元數(shù)據(jù)產(chǎn)生在內(nèi)容數(shù)據(jù)中出現(xiàn)的人 物的列表；檢測(cè)單元，用于從內(nèi)容數(shù)據(jù)中檢測(cè)人物的面部圖像； 模型產(chǎn)生單元，用于產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征 量模型；和映射單元，用于將基于內(nèi)容數(shù)據(jù)產(chǎn)生的特征量模型映射到在人物列表中 包含的人物。
全文摘要
用于產(chǎn)生指示人物和人物的面部圖像之間的映射的數(shù)據(jù)庫的信息處理設(shè)備，包括列表產(chǎn)生單元，用于基于視頻內(nèi)容的元數(shù)據(jù)產(chǎn)生在視頻內(nèi)容中出現(xiàn)的人物的列表；檢測(cè)單元，用于從視頻內(nèi)容中檢測(cè)人物的面部圖像；模型產(chǎn)生單元，用于產(chǎn)生指示所檢測(cè)到的人物的面部圖像的特征的特征量模型；和映射單元，用于將基于視頻內(nèi)容產(chǎn)生的特征量模型映射到在人物列表中包含的人物。
文檔編號(hào)G06F17/30GK101281540SQ20081009112
公開日2008年10月8日 申請(qǐng)日期2008年4月7日 優(yōu)先權(quán)日2007年4月4日
發(fā)明者角田智弘 申請(qǐng)人:索尼株式會(huì)社