用于圖像至文本以及文本至圖像的關聯(lián)的系統(tǒng)和方法
【專利摘要】一種用于對人的面部圖像進行分類的計算機化系統(tǒng)，所述計算機化系統(tǒng)包括將表示面部圖像的值分配給所述面部圖像的多個離散面部屬性的計算機化面部圖像屬性式評估器，所述值由形容詞表示；以及根據(jù)所述多個離散面部屬性對所述面部圖像進行分類的計算機化分類器。
【專利說明】用于圖像至文本以及文本至圖像的關聯(lián)的系統(tǒng)和方法
[0001]相關申請的交叉引用
[0002]參照于2011年2月3日提交序號為61/439，021并且名為“SYSTEMS AND METHODSFOR IMAGE-TO-TEXT AND TEXT-TO-1MAGE ASSOCIATION” 的美國臨時專利申請，其公開通過引用結合于此，并且根據(jù)37CFR1.78 (a) (4)與(5) (i)在此要求其優(yōu)先權。
[0003]還參照受讓人擁有的以下專利申請，其公開通過引用結合于此:
[0004]美國臨時專利申請序號:12/922, 984。
【技術領域】
[0005]本發(fā)明總體上涉及圖像至文本與文本至圖像的關聯(lián)。
【背景技術】
[0006]以下專利與專利公開被認為代表現(xiàn)有技術:
[0007]美國專利號:4，926，491;5，164，992 ;5，963，670 ;6，292，575 ;6，301，370 ;6，819，783 ;6，944，319 ;6，990，217 ;7，274，822 與 7，295，687 ；以及
[0008]美國公開專利申請序號:2006/0253491；2007/0237355 與 2009/0210491。

【發(fā)明內(nèi)容】

[0009]本發(fā)明試圖提供用于圖像至文本以及文本至圖像的關聯(lián)的改進系統(tǒng)和方法。因此，根據(jù)本發(fā)明的優(yōu)選實施方式提供一種用于對人的面部圖像進行分類的計算機化系統(tǒng)，其中包括計算機化面部圖像屬性式評估器與計算機化分類器，計算機化面部圖像屬性式評估器將表示面部圖像的值分配給面部圖像的多個離散面部屬性，所述值由形容詞表示；計算機化分類器根據(jù)多個離散面部屬性對面部圖像進行分類。
[0010]根據(jù)本發(fā)明的優(yōu)選實施方式，計算機化面部屬性式評估器包括包含對應于多個面部圖像的多種存儲值的數(shù)據(jù)庫，每個面部圖像均具有多個離散面部屬性中的至少一些，至少一些離散面部屬性具有由與其相關聯(lián)的形容詞表示的值。
[0011]優(yōu)選地，所述系統(tǒng)還包括提供源自于多種存儲值的統(tǒng)計信息的面部屬性統(tǒng)計報告功能(functionality,功能塊)。
[0012]優(yōu)選地，計算機化面部屬性式評估器包括數(shù)據(jù)庫、以及基于形容詞的比較器，數(shù)據(jù)庫包括多種存儲面部圖像與多種存儲值，每個存儲面部圖像具有多個離散面部屬性中的至少一些，至少一些離散面部屬性具有由與其相關聯(lián)的形容詞表示的值，基于形容詞的比較器通過將面部圖像的多個離散面部屬性屬性式和形容詞式地與多種存儲面部圖像進行比較，而將面部圖像與多種存儲面部圖像進行比較。優(yōu)選地，基于形容詞的比較器以形容詞式的方式查詢數(shù)據(jù)庫。
[0013]優(yōu)選地，所述系統(tǒng)還包括計算機化識別器，計算機化識別器操作為響應于來自計算機化分類器的輸出，以對對應于輸出的至少一個存儲面部圖像進行識別。優(yōu)選地，計算機化識別器操作為生成對應于所述輸出的存儲面部圖像的排序表。[0014]優(yōu)選地，所述系統(tǒng)還包括社交網(wǎng)絡接口，社交網(wǎng)絡接口將來自社交網(wǎng)絡的可用信息提供給計算機化面部圖像屬性式評估器。優(yōu)選地，所述系統(tǒng)還包括操作為生成對應于面部圖像的面部模型的面部模型生成功能。優(yōu)選地，計算機化識別器采用面部模型。
[0015]根據(jù)本發(fā)明的另一優(yōu)選實施方式，還提供有用于對人的面部圖像進行分類的計算機化方法，包括將表示面部圖像的值分配給面部圖像的多個離散面部屬性，所述值由形容詞表示；并且根據(jù)多個離散面部屬性對面部圖像進行分類。
[0016]根據(jù)本發(fā)明的優(yōu)選實施方式，每個面部圖像均具有多個離散面部屬性中的至少一些，并且至少一些離散面部屬性具有由與其相關聯(lián)的形容詞表示的值。優(yōu)選地，所述方法還包括提供源自于多種存儲值的統(tǒng)計信息。
[0017]優(yōu)選地，每個存儲面部圖像均具有多個離散面部屬性中的至少一些，并且至少一些離散面部屬性具有由與其相關聯(lián)的形容詞表示的值，并且所述方法優(yōu)選地還包括通過將面部圖像的多個離散面部屬性、屬性和形容詞與多種存儲面部圖像進行比較，而將面部圖像與多種存儲面部圖像進行比較。優(yōu)選地，所述比較以形容詞式的方式查詢數(shù)據(jù)庫。
[0018]優(yōu)選地，所述方法還包括對對應于所述分類的輸出的至少一個存儲面部圖像進行識別。優(yōu)選地，所述識別操作為生成對應于所述輸出的存儲面部圖像的排序表。優(yōu)選地，所述方法還包括將來自社交網(wǎng)絡的可用信息提供給計算機化面部圖像屬性式評估器。優(yōu)選地，所述方法還包括操作為生成對應于面部圖像的面部模型的面部模型生成。優(yōu)選地，所述識別采用面部模型。
[0019]根據(jù)本發(fā)明的再一個優(yōu)選實施方式，進一步提供用于在地點注冊人的系統(tǒng)，包括面部圖像/個人標識(personal identification)獲取子系統(tǒng)、計算機化子系統(tǒng)與數(shù)據(jù)庫，面部圖像/個人標識獲取子系統(tǒng)獲取人的至少一個面部圖像與至少一項個人標識；計算機化子系統(tǒng)接收人的至少一個面部圖像與至少一項個人標識，計算機化子系統(tǒng)包括操作為生成對應于至少一個面部圖像的面部模型的面部模型生成功能以及操作為將由形容詞表示的值分配給面部圖像的多個面部屬性的圖像至屬性映射功能；并且數(shù)據(jù)庫存儲多個人的信息和面部屬性的值。
[0020]優(yōu)選地，所述系統(tǒng)還包括操作為利用一批面部屬性的值對對應的存儲面部圖像進行識別，并且由此識別利用面部模型的特定個體的屬性至圖像映射功能。優(yōu)選地，計算機化子系統(tǒng)還包括操作為將面部模型與一批面部屬性的值組合為能夠與對應存儲的一批值匹配的組合的一批值的值組合器，并且由此識別特定個體。
[0021]優(yōu)選地，所述系統(tǒng)還包括獲取至少一個面部圖像并且將其提供給計算機化子系統(tǒng)的后續(xù)面部圖像獲取子系統(tǒng)，并且計算機化子系統(tǒng)優(yōu)選地操作為創(chuàng)建對應于后續(xù)面部圖像的面部模型、將由形容詞表示的值分配給后續(xù)面部圖像的多個面部屬性、并且識別對應的存儲面部圖像，并且由此將后續(xù)面部圖像識別為特定個體，與該特定個體有關的至少一項個人標識存儲在數(shù)據(jù)庫中。
[0022]優(yōu)選地，值組合器用于組合面部模型與對應于后續(xù)面部圖像的一批值，并且由此識別特定個體。優(yōu)選地，從預先注冊數(shù)據(jù)中獲得所述人的至少一項個人標識。
[0023]優(yōu)選地，所述系統(tǒng)還包括將來自社交網(wǎng)絡的可用信息提供給計算機化子系統(tǒng)的社交網(wǎng)絡接口。
[0024]優(yōu)選地，面部圖像/個人標識獲取子系統(tǒng)操作為獲取至少一個面部圖像以及除與子系統(tǒng)交互的人之外的人的至少一項個人標識。額外或備選地，面部圖像/個人標識獲取子系統(tǒng)操作為獲取除與子系統(tǒng)交互的人之外的其他未識別的人的至少一個面部圖像。
[0025]優(yōu)選地，所述系統(tǒng)包括計算機化面部圖像屬性式評估器和計算機化分類器，計算機化面部圖像屬性式評估器將表示面部圖像的值分配給面部圖像的多個離散面部屬性，所述值由形容詞表示；并且計算機化分類器根據(jù)多個離散面部屬性對面部圖像進行分類。
[0026]根據(jù)本發(fā)明的再一個優(yōu)選實施方式，進一步提供有用于辨別人在地點重復出現(xiàn)的系統(tǒng)，包括面部圖像/個人標識獲取子系統(tǒng)、計算機化子系統(tǒng)、以及數(shù)據(jù)庫，面部圖像/個人標識獲取子系統(tǒng)獲取人的至少一個面部圖像；計算機化子系統(tǒng)接收至少一個面部圖像，計算機化子系統(tǒng)包括操作為生成對應于至少一個面部圖像的面部模型的面部模型生成功能以及操作為將由形容詞表示的值分配給面部圖像的多個面部屬性的圖像至屬性映射功能；數(shù)據(jù)庫存儲用于多個人的信息與面部屬性的值。
[0027]優(yōu)選地，計算機化子系統(tǒng)還包括操作為利用一批面部屬性的值來識別與特定個體有關的對應存儲面部圖像的屬性至圖像映射功能，從而識別利用面部模型的特定個體。優(yōu)選地，計算機化子系統(tǒng)還包括操作為將面部模型與一批面部屬性的值組合為能夠與對應的存儲的一批值匹配的組合的一批值的值組合器。
[0028]優(yōu)選地，所述系統(tǒng)還包括獲取至少一個面部圖像并且將其提供給計算機化子系統(tǒng)的后續(xù)面部圖像獲取子系統(tǒng)，并且計算機化子系統(tǒng)優(yōu)選地操作為創(chuàng)建對應于后續(xù)面部他圖像的面部模型、將由形容詞表示的值分配給后續(xù)面部圖像的多個面部屬性、并且對對應的存儲面部圖像進行識別，并且由此作為特定個體的后續(xù)面部圖像，以識別該特定個人的重復出現(xiàn)。
[0029]優(yōu)選地，值組合器用于組合面部模型與對應于后續(xù)面部圖像的一批值，從而識別人的重復出現(xiàn)。優(yōu)選地，所述系統(tǒng)還包括采用面部模型與一批值的重復出現(xiàn)統(tǒng)計發(fā)生器，以就人在地點重復出現(xiàn)生成屬性統(tǒng)計表。優(yōu)選地，所述系統(tǒng)還包括將來自社交網(wǎng)絡的可用信息提供給計算機化子系統(tǒng)的社交網(wǎng)絡接口。
[0030]優(yōu)選地，面部圖像/個人標識獲取子系統(tǒng)操作為獲取至少一個面部圖像以及除與子系統(tǒng)交互的人之外的人的至少一項個人標識。額外或備選地，面部圖像/個人標識獲取子系統(tǒng)操作為獲取除與子系統(tǒng)交互的人之外的其他未識別的人的至少一個面部圖像。
[0031]優(yōu)選地，所述系統(tǒng)包括計算機化面部圖像屬性式評估器和計算機化分類器，計算機化面部圖像屬性式評估器將表示面部圖像的值分配給面部圖像的多個離散面部屬性，所述值由形容詞表示；并且計算機化分類器根據(jù)多個離散面部屬性對面部圖像進行分類。
[0032]根據(jù)本發(fā)明的再一個優(yōu)選實施方式，還進一步提供用于生成能夠將每個均由形容詞表示的值分配給面部圖像的多個離散面部屬性的計算機化面部圖像屬性式評估器的方法，該方法包括聚集多種面部圖像，每個面部圖像均具有由與其相關聯(lián)的形容詞特征化的至少一個面部圖像屬性；以及生成功能，該功能操作為接收待評估的面部圖像并且利用聚集的結果將值分配給待評估的面部圖像的多個離散面部屬性，所述值由形容詞表示。
[0033]優(yōu)選地，聚集包括收集多種面部圖像，每個面部圖像均具有由來自公共可用來源的與其相關聯(lián)的形容詞特征化的至少一個面部圖像屬性；并且采用眾包(crowdsourcing)來增強在形容詞與出現(xiàn)在多種面部圖像中的面部屬性之間的對應性。優(yōu)選地，眾包包括利用多個人，該多個人觀察多種面部圖像中的多個與形容詞，并且針對形容詞與多種圖像中的多個中的面部屬性之間的對應程度表示他們的觀點。優(yōu)選地，值是數(shù)字值。
[0034]根據(jù)本發(fā)明的另一優(yōu)選實施方式，提供用于辨別用戶對至少一種刺激的反應的系統(tǒng)，包括計算機化面部圖像屬性式評估器與計算機化分類器，計算機化面部圖像屬性式評估器將在對應于用戶對一種刺激的反應的時間獲得的表示面部圖像的值分配給面部圖像的多個離散面部屬性，所述值由形容詞表示；并且計算機化分類器根據(jù)多個離散面部屬性對面部圖像進行分類。
[0035]優(yōu)選地，所述系統(tǒng)還包括在應用至少一種刺激之前和之后對多個離散面部屬性進行比較的計算機化屬性比較器。
[0036]根據(jù)本發(fā)明的再一優(yōu)選實施方式，提供有用于辨別用戶對至少一種刺激的方法，包括將在對應于用戶對一種刺激的反應的時間獲得的表示面部圖像的值分配給面部圖像的多個離散面部屬性，所述值由形容詞表示；并且根據(jù)多個離散面部屬性對面部圖像進行分類。
[0037]優(yōu)選地，所述方法還包括在應用至少一種刺激之前和之后對多個離散面部屬性進行比較。
[0038]根據(jù)本發(fā)明的再一優(yōu)選實施方式，進一步提供有用于對人進行分類的計算機化系統(tǒng)，所述計算機化系統(tǒng)包括生成表示人處于特定環(huán)境特定時間下的概率的關系系數(shù)的關系系數(shù)生成器；以及根據(jù)多個關系系數(shù)對人進行分類的計算機化分類器。
[0039]優(yōu)選地，所述環(huán)境是地理位置與事件中的一個。優(yōu)選地，關系系數(shù)包括值與衰減函數(shù)。優(yōu)選地，衰減函數(shù)是線性函數(shù)。備選地，衰減函數(shù)是指數(shù)函數(shù)。
[0040]優(yōu)選地，所述環(huán)境是層級環(huán)境中的一個層級。優(yōu)選地，層級環(huán)境中的環(huán)境的關系系數(shù)相互依存。優(yōu)選地，關系系數(shù)生成器實施于多個人聚在至少第一環(huán)境中的情況，以在第二環(huán)境中的多個人之間生成相互依存的關系系數(shù)。
[0041]優(yōu)選地，所述系統(tǒng)還包括根據(jù)多個離散面部屬性對面部圖像進行分類的計算機化分類器。
【專利附圖】

【附圖說明】
[0042]從結合下列附圖的詳細描述中將能更為全面地理解和認識本發(fā)明，其中:
[0043]圖1A、圖1B和圖1C是根據(jù)本發(fā)明的優(yōu)選實施方式的采用圖像至文本與文本至圖像關聯(lián)的識別系統(tǒng)的簡化示圖；
[0044]圖2A和圖2B是根據(jù)本發(fā)明的另一優(yōu)選實施方式的采用圖像至文本與文本至圖像關聯(lián)的識別系統(tǒng)的簡化示圖；
[0045]圖3A和圖3B是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本與文本至圖像關聯(lián)的識別系統(tǒng)的簡化示圖；
[0046]圖4A、圖4B和圖4C是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本與文本至圖像關聯(lián)的識別系統(tǒng)的簡化示圖；
[0047]圖5A和圖5B是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本與文本至圖像關聯(lián)的識別系統(tǒng)的簡化示圖；
[0048]圖6是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本關聯(lián)的用戶滿意監(jiān)控系統(tǒng)的簡化示圖；[0049]圖7是有助于建立在圖1A至圖6的系統(tǒng)中采用的數(shù)據(jù)庫的圖像/文本/圖像數(shù)據(jù)庫生成方法的簡化示圖；
[0050]圖8是示出了用于將形容詞與圖像關聯(lián)的訓練處理的簡化流程圖；
[0051]圖9是示出了訓練視覺分類器的處理的簡化流程圖；
[0052]圖10是示出了用于檢索與圖像相關聯(lián)的形容詞的處理的簡化流程圖；
[0053]圖11是示出了用于檢索與一個或者多個形容詞相關聯(lián)的圖像的處理的簡化流程圖；以及
[0054]圖12是示出了用于檢索與第一圖像相似的面部圖像的處理的簡化流程圖?！揪唧w實施方式】
[0055]現(xiàn)將參照圖1A、圖1B和圖1C，圖1A、圖1B和圖1C是根據(jù)本發(fā)明的優(yōu)選實施方式的采用圖像至文本以及文本至圖像的關聯(lián)的識別系統(tǒng)的簡化示圖。圖1A至圖1C的系統(tǒng)優(yōu)選地包括計算機化面部圖像屬性式評估器與計算機化分類器，計算機化面部圖像屬性式評估器將表示面部圖像的值分配給面部圖像的多個離散面部屬性，該值由形容詞表示；計算機化分類器根據(jù)多個離散面部屬性對面部圖像進行分類。
[0056]從圖1A中可以看出，AAA百貨商店的客戶Mr.Jones于I月I日進入商店并且在注冊站100注冊為該商店的有價值客戶。該注冊站優(yōu)選地包括連接至商店計算機網(wǎng)絡的計算機102以及連接至計算機102的數(shù)字攝像機104。有價值客戶注冊處理包括輸入客戶的個人標識細節(jié)，例如他的全名，并且通過數(shù)字攝像機104拍攝客戶的面部圖像108。備選地，可以從例如客戶的之前存在的個人社交網(wǎng)絡賬戶檢索客戶的個人標識細節(jié)。備選地，客戶可以在遠程位置通過因特網(wǎng)注冊為有價值的位置。
[0057]個人標識細節(jié)與面部圖像108被傳輸給優(yōu)選包括面部模型生成功能112、圖像至屬性映射功能114、屬性至圖像映射功能116和值組合器117的計算機化個人標識系統(tǒng)110。計算機化個人標識系統(tǒng)110還優(yōu)選地包括存儲所有已注冊客戶的注冊細節(jié)與面部屬性的值的有價值客戶數(shù)據(jù)庫118。應當認識到的是，數(shù)據(jù)庫118可以是任何合適的計算機化
信息存儲。
[0058]面部模型生成功能112操作為生成對應于面部圖像108的面部模型120。應當認識到的是，面部模型生成功能112可以采用本領域中已知的任何合適的面部模型生成方法。從圖1A中可以看出，由面部模型生成功能112生成并且對應于面部圖像108的面部模型120作為Mr.Jones的一個屬性存儲在數(shù)據(jù)庫118中。
[0059]根據(jù)本發(fā)明的優(yōu)選實施方式，圖像至屬性映射功能114操作為將由形容詞122表示的值分配給面部圖像108的多個面部屬性。例如，表示面部屬性的形容詞122包括描述頭發(fā)顏色、鼻子形狀、皮膚顏色、面部形狀、類型以及有無面部毛發(fā)的形容詞。從圖1A中可以看出，由對應于面部圖像108的屬性映射功能114生成的形容詞作為Mr.Jones的屬性的值存儲在數(shù)據(jù)庫118中。
[0060]進一步根據(jù)本發(fā)明的優(yōu)選實施方式，屬性至圖像映射功能116操作為利用一批面部屬性的值對對應的存儲面部圖像進行識別，并且從而對特定個體進行識別。
[0061]再進一步根據(jù)本發(fā)明的優(yōu)選實施方式，值組合器117優(yōu)選操作為將面部模型與一批面部屬性的值組合為能夠與對應存儲的一批值匹配的組合的一批值，并且從而識別特定個體。
[0062]現(xiàn)在轉向圖1B，從隨后的日期例如I月17日可以看出，客戶進入AAA百貨商店并且安裝在商店入口處的數(shù)字攝像機150拍攝到客戶的面部圖像152。面部圖像152被傳輸給計算機化個人標識系統(tǒng)110，在計算機化個人標識系統(tǒng)110中優(yōu)選由面部模型生成功能112生成對應于面部圖像152的面部模型160。此外，由形容詞表示的值162優(yōu)選通過圖像至屬性映射功能114分配給面部圖像152的多個面部屬性。
[0063]如圖1B所示，面部模型160與形容詞162優(yōu)選由值組合器117組合為組合的一批值，該組合的一批值與存儲在數(shù)據(jù)庫118中的一批值相比較并且發(fā)現(xiàn)與分配給Mr.Jones的面部模型和形容詞相匹配，從而將由攝像機150拍攝的面部圖像152中描繪的人識別為Mr.Jones0應當認識到的是，由值組合器117組合并且與存儲在數(shù)據(jù)庫118中的一批值相比較的一批值可以是面部模型160與形容詞162的任何子集。
[0064]現(xiàn)在轉向圖1C，例如，示出了在將進入商店的客戶識別為Mr.Jones (他是注冊的有價值客戶)時，系統(tǒng)110通知經(jīng)理有價值客戶已經(jīng)進入商店，并且經(jīng)理因此走近Mr.Jones以一定折扣向他提供新產(chǎn)品。
[0065]現(xiàn)在參照圖2A和圖2B，圖2A和圖2B是根據(jù)本發(fā)明的另一優(yōu)選實施方式的采用圖像至文本以及文本至圖像的關聯(lián)的識別系統(tǒng)的簡化示圖。從圖2A中可以看出，在例如I月I日的特定日，AAA百貨商店的客戶進入商店并且安裝在商店入口處的數(shù)字攝像機200拍攝到客戶的面部圖像202。面部圖像202被傳輸給優(yōu)選包括面部模型生成功能212、圖像至屬性映射功能214、屬性至圖像映射功能216與值組合器217的計算機化個人標識系統(tǒng)210。計算機化個人標識系統(tǒng)210還優(yōu)選包括客戶數(shù)據(jù)庫218與訪問計數(shù)器219，客戶數(shù)據(jù)庫218優(yōu)選存儲已經(jīng)進入商店的所有客戶的面部屬性值；訪問計數(shù)器219優(yōu)選跟蹤每個特定客戶進入商店的累積訪問的數(shù)量。應當認識到的是，數(shù)據(jù)庫218可以是任何合適的計算機化信息存儲。
[0066]面部模型生成功能212操作為生成對應于面部圖像202的面部模型220。應當認識到的是，面部模型生成功能212可以采用本領域中已知的任何合適的面部模型生成方法。從圖2A中可以看出，由面部模型生成功能212生成并且對應于面部圖像202的面部模型220作為面部圖像202的客戶的一個屬性存儲在數(shù)據(jù)庫218中。
[0067]根據(jù)本發(fā)明的優(yōu)選實施方式，圖像至屬性映射功能214操作為將由形容詞222表示的值分配給面部圖像202的多個面部屬性。表示面部屬性的形容詞222可以包括描述年齡組、性別、種族、面部形狀、情緒與整體外表的形容詞。
[0068]進一步根據(jù)本發(fā)明的優(yōu)選實施方式，屬性至圖像映射功能216操作為利用一批面部屬性的值來識別對應的存儲面部圖像，從而識別特定個體。應當認識到的是，一批值還包括在面部屬性的當前值不可用的情況下可用于在短期內(nèi)識別個體的諸如著裝類型和顏色的客戶外表的非身體特征。
[0069]再進一步根據(jù)本發(fā)明的優(yōu)選實施方式，值組合器217優(yōu)選操作為將面部模型與一批面部屬性的值組合為能夠與對應存儲的一批值匹配的組合的一批值，并且由此識別特定個體。
[0070]從圖2A中可以看出，面部模型220與形容詞222優(yōu)選由值組合器217組合為與存儲在數(shù)據(jù)庫218中的一批值相比較并且發(fā)現(xiàn)與對應于返回的客戶的面部模型和形容詞匹配的組合的一批值。因此，客戶的訪問計數(shù)器219增加。應當認識到的是，由值組合器217組合且與存儲在數(shù)據(jù)庫218中的一批值相比較的一批值可以是面部模型220與形容詞222的任何子集。
[0071]備選地，如果發(fā)現(xiàn)由值組合器217生成的組合的一批值不與存儲在數(shù)據(jù)庫218中的任何一批值匹配，則由值組合器217生成的組合的一批值與面部圖像202優(yōu)選表示新客戶而存儲在數(shù)據(jù)庫218中，并且新客戶的計數(shù)器219初始化為I。
[0072]現(xiàn)在轉向圖2B，可以看出在關閉時間(例如，在I月I日下午5:00)商店的經(jīng)理優(yōu)選從包括在I月I日期間進入商店的客戶的細分的系統(tǒng)210接收第一報告230。該細分可以根據(jù)存儲在數(shù)據(jù)庫218中的任何形容詞，諸如，性別、年齡組、種族與情緒。報告230還優(yōu)選包括與I月I日進入該商店的客戶的之前訪問數(shù)量有關的信息。
[0073]此外，商店經(jīng)理還從包括在I月I日期間進入商店的返回的客戶的細分的系統(tǒng)210接收第二報告234。該細分可以根據(jù)存儲在數(shù)據(jù)庫218中的任何形容詞，諸如，性別、年齡組、種族與情緒。應當認識到的是，例如，報告230與報告234可用于策劃有目標的營銷活動或者用于評估之前進行的營銷活動的成就。
[0074]現(xiàn)在參照圖3A和圖3B，圖3A和圖3B是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本以及文本至圖像的關聯(lián)的識別系統(tǒng)的簡化示圖。從圖3A中可以看出，在諸如I月I日的特定日，AAA百貨商店的客戶進入商店并且在商店的玩具部門瀏覽商品。安裝在玩具部門的數(shù)字攝像機250拍攝客戶的面部圖像252。如圖3A所示，額外的數(shù)字攝像機優(yōu)選遍及商店的各個部門安裝。
[0075]面部圖像252傳輸給包括面部模型生成功能262、圖像至屬性映射功能264、屬性至圖像映射功能266和值組合器267的計算機化個人標識系統(tǒng)260。計算機化個人標識系統(tǒng)260還優(yōu)選包括優(yōu)選存儲該天中進入商店的所有客戶的面部屬性的值以及表示每個客戶訪問的商店部門的信息的客戶數(shù)據(jù)庫268。應當認識到的是，數(shù)據(jù)庫268可以是任何合適的計算機化信息存儲。
[0076]面部模型生成功能262操作為生成對應于面部圖像252的面部模型270。應當認識到的是，面部模型生成功能262可以采用本領域中已知的任何合適的面部模型生成方法。從圖3A中可以看出，由面部模型生成功能262生成并且對應于面部圖像252的面部模型270作為面部圖像252的客戶的一個屬性存儲在數(shù)據(jù)庫268中。
[0077]根據(jù)本發(fā)明的優(yōu)選實施方式，圖像至屬性映射功能264操作為將由形容詞272表示的值分配給面部圖像252的多個面部屬性。例如，表示面部屬性的形容詞272包括描述年齡組、性別、種族、面部形狀、情緒與整體外表的形容詞。從圖3A中可以看出，由屬性映射功能264生成的對應于面部圖像252的形容詞作為面部圖像252的客戶的屬性的值存儲在數(shù)據(jù)庫268中。
[0078]進一步根據(jù)本發(fā)明的優(yōu)選實施方式，屬性至圖像映射功能266操作為利用面部屬性的一批值對對應的存儲面部圖像進行識別，并且由此識別特定個體。應當認識到的是，一批值還包括在面部屬性的當前值不可用的情況下可用于在短期內(nèi)識別個體的諸如著裝類型和顏色的客戶外表的非身體特征。
[0079]再進一步根據(jù)本發(fā)明的優(yōu)選實施方式，值組合器267優(yōu)選操作為將面部模型與一批面部屬性的值組合為能夠與對應存儲的一批值匹配的組合的一批值，并且由此識別特定個體。
[0080]此外，系統(tǒng)260在數(shù)據(jù)庫268中記錄客戶已訪問的部門，如玩具部門。
[0081]現(xiàn)在轉向圖3B，可以看出在結束時間，諸如I月I日下午5:00，商店的經(jīng)理優(yōu)選從包括在I月I日期間進入商店的玩具部門的客戶的細分的系統(tǒng)260接收第一報告280。該細分可以根據(jù)存儲在數(shù)據(jù)庫268中的任何形容詞，諸如，性別、年齡組、種族與情緒。應當認識到的是，例如，報告280還可用于策劃有目標的營銷活動或者用于評估之前進行的營銷活動的成就。
[0082]現(xiàn)在參照圖4A、圖4B和圖4C，圖4A、圖4B和圖4C是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本以及文本至圖像的關聯(lián)的識別系統(tǒng)的簡化示圖。如圖4A所示，在I月I日，一位潛在的參加者優(yōu)選通過計算機300注冊參加花商的年度會議。作為注冊處理的一部分，優(yōu)選提示該潛在參加者輸入個人標識細節(jié)(諸如他的全名)并且上載他本人的至少一個面部圖像320。備選地，該潛在參加者可以選擇輸入個人標識細節(jié)以及例如來自之前存在的個人社交網(wǎng)絡賬戶的一個或者多個面部圖像。
[0083]個人標識細節(jié)與面部圖像302被傳輸給優(yōu)選包括面部模型生成功能312、圖像至屬性映射功能314、屬性至圖像映射功能316和值組合器317的計算機化會議注冊系統(tǒng)310。計算機化會議注冊系統(tǒng)310還優(yōu)選包括存儲所有已注冊參加者的注冊細節(jié)與面部屬性的值的數(shù)據(jù)庫318。應當認識到的是，數(shù)據(jù)庫318可以是任何合適的計算機化信息存儲。
[0084]面部模型生成功能312操作為生成對應于面部圖像302的面部模型320。應當認識到的是，面部模型生成功能312可以采用本領域中已知的任何合適的面部模型生成方法。從圖4A中可以看出，由面部模型生成功能312生成并且對應于面部圖像302的面部模型320作為潛在參加者Mr.Jones的一個屬性存儲在數(shù)據(jù)庫318中。
[0085]根據(jù)本發(fā)明的優(yōu)選實施方式，圖像至屬性映射功能314操作為將由形容詞322表示的值分配給面部圖像308的多個面部屬性。例如，表示面部屬性的形容詞包括描述頭發(fā)顏色、鼻子形狀、皮膚顏色、面部形狀、類型與有無毛發(fā)的形容詞。如圖4A所示，由屬性映射功能314生成的對應于面部圖像302的形容詞作為潛在參加者Mr.Jones的屬性的值存儲在數(shù)據(jù)庫318中。
[0086]進一步根據(jù)本發(fā)明的優(yōu)選實施方式，屬性至圖像映射功能316操作為利用一批面部屬性的值對對應的存儲面部圖像進行識別，并且由此識別特定個體。
[0087]再進一步根據(jù)本發(fā)明的優(yōu)選實施方式，值組合器317優(yōu)選操作為將面部模型與一批面部屬性的值組合為能夠與對應的存儲一批值匹配的組合的一批值，并且由此識別特定個體。
[0088]現(xiàn)在轉向圖4B，可以看出在后面的日期，諸如I月17日，參加者進入花商的年度會議并且走進會議場地的注冊展位330。注冊展位330包括拍攝該參加者的面部圖像334的數(shù)字攝像機332。面部圖像334被傳輸給計算機化會議注冊系統(tǒng)310，其中對應于面部圖像334的面部模型340優(yōu)選由面部模型生成功能312生成。此外，由形容詞表示的值342優(yōu)選通過圖像至屬性映射功能314分配給面部圖像334的多個面部屬性。
[0089]如圖4B所示，面部模型340與值342優(yōu)選由值組合器317組合為組合的一批值，該組合的一批值與存儲在數(shù)據(jù)庫318中的一批值相比較并且發(fā)現(xiàn)與分配給Mr.Jones的面部模型和值匹配，從而將在由攝像機332拍攝的面部圖像中描繪的人識別為Mr.Jones0應當認識到的是，由值組合器317組合并且與存儲在數(shù)據(jù)庫318中的一批值相比較的收集值可以是面部模型340與形容詞342的任何子集。一經(jīng)識別為Mr.Jones，則完成對該參加者的注冊并且會議人員歡迎該參加者加入。
[0090]現(xiàn)在轉向圖4C，可以看出在參加會議期間，希望被介紹給其他參加者的參加者允許其他參加者使用例如嵌入在移動通信設備352中的數(shù)字攝像機來拍攝他們的面部圖像350。會議參加者的移動通信設備352通過計算機網(wǎng)絡被授予對計算機化會議注冊系統(tǒng)310的訪問。應當認識到的是，計算機網(wǎng)絡可以是例如局部計算機網(wǎng)絡或者因特網(wǎng)。
[0091]額外或備選地，參加者可以訪問計算機化會議注冊系統(tǒng)310，從而通過拍攝新參加者的面部圖像并且優(yōu)選地將面部圖像與有關個人標識信息一起傳輸給注冊系統(tǒng)310，將新的、同時未注冊的參加者注冊到該會議中。
[0092]一經(jīng)拍攝會議參加者的圖像350，移動通信設備352就通過計算機網(wǎng)絡將圖像350傳輸給計算機化會議注冊系統(tǒng)310，其中對應于面部圖像350的面部模型360由面部模型生成功能312優(yōu)選生成。此外，由形容詞表示的值362優(yōu)選通過圖像至屬性映射功能314分配給面部圖像350的多個面部屬性。
[0093]如圖4C所示，面部模型360與值362由值組合器317組合為與存儲在數(shù)據(jù)庫318中的一批值相比較并且發(fā)現(xiàn)與分配給Mr.Jones的面部模型和值匹配的組合的一批值，從而對在由移動通信設備352拍攝的面部圖像350中描繪的人識別為Mr.Jones0應當認識到的是，由值組合器317組合且與存儲在數(shù)據(jù)庫318中的一批值相比較的收集值可以是面部模型360與形容詞362的任何子集。在圖像350中描繪的參加者被識別為Mr.Jones的通知通過計算機化會議注冊系統(tǒng)310傳輸回給移動通信設備352，該通知使得移動通信設備352的操作者知道他正在走進Mr.Jones。
[0094]現(xiàn)在參照圖5A和圖5B，圖5A和圖5B是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本以及文本至圖像的關聯(lián)的識別系統(tǒng)的簡化示圖。在圖5A和圖5B的實施方式中，采用測量人與環(huán)境之間的關系的關系系數(shù)。例如，該環(huán)境可以是地理位置或者事件，并且關系系數(shù)包括值與預定義的衰減函數(shù)。單人可以同時具有與多個環(huán)境的關系系數(shù)。例如，關系系數(shù)可以用來預測人在特定時間處于給定位置的概率。
[0095]衰減函數(shù)可以是任何數(shù)學函數(shù)。例如，針對地理位置的衰減函數(shù)可以是表示人本身隨著時間逐漸和線性地改變距該位置的距離的趨勢的線性函數(shù)。例如，針對一次事件的衰減函數(shù)可以是指數(shù)衰減函數(shù)。
[0096]當人處于特定環(huán)境中時，生成的人與環(huán)境之間的關系系數(shù)的當前值設置為高。每次這個人重復出現(xiàn)在這個環(huán)境中時，關系系數(shù)的值就會增加(可能以指數(shù)方式)。
[0097]應當認識到的是，環(huán)境可以是分層級的。例如，地理位置可以位于諸如城市或者鄉(xiāng)村的較大的地理區(qū)域內(nèi)。因此，與特定地理位置具有關系系數(shù)的人將還與其層級內(nèi)的所有其他地理位置具有較低的關系系數(shù)，其作為特定地理位置與相關層級的地理位置之間的距離的函數(shù)而降低。
[0098]還應當認識到的是，不同的人的關系系數(shù)可以至少部分相互依存。例如，被看見與第二人在多個時間在多個位置在一起的第一人對于出現(xiàn)第二個人的新位置被分配相對較聞的關系系數(shù)。
[0099]從圖5A中可以看出，在諸如2011年I月I日的特定日，用餐者在緊鄰法國巴黎埃菲爾鐵塔近的賈克斯小餐館(Cafe Jaques)進餐。這位用餐者的朋友使用作為手持移動設備402的一部分的數(shù)字攝像機拍攝該用餐者的面部圖像400并且通過經(jīng)由因特網(wǎng)將面部圖像400與關聯(lián)的時間和位置一起傳輸給計算機化個人標識系統(tǒng)410來注冊看見這位用餐者。例如，該位置可以由與設備402—起提供的GPS模塊提供。備選地，例如，可以從社交網(wǎng)絡檢索該位置。使用關聯(lián)的時間和位置如上所述地生成將用餐者關聯(lián)于位置的關系系數(shù)。
[0100]計算機化個人標識系統(tǒng)410包括面部模型生成功能412、圖像至屬性映射功能414、屬性至圖像映射功能416和值組合器417。計算機化個人標識系統(tǒng)410還優(yōu)選包括存儲已出現(xiàn)和已注冊的所有人的面部屬性的值以及相關時間和位置的視覺數(shù)據(jù)庫418。應當認識到的是，數(shù)據(jù)庫418可以是任何合適的計算機化信息存儲。
[0101]面部模型生成功能412操作為生成對應于面部圖像400的面部模型420。應當認識到的是，面部模型生成功能422可以采用本領域中已知的任何合適的面部模型生成方法。如圖5A所示，由面部模型生成功能412生成并且對應于面部圖像400的面部模型420作為面部圖像400的個體的一個屬性存儲在數(shù)據(jù)庫418中。
[0102]根據(jù)本發(fā)明的優(yōu)選實施方式，圖像至屬性映射功能414操作為將由形容詞422表示的值分配給面部圖像400的多個面部屬性。例如，表示面部屬性的形容詞422可以包括描述年齡組、性別、種族、面部形狀、情緒與整體外表的形容詞。如圖5A所示，由屬性映射功能414生成的對應于面部圖像400的形容詞作為面部圖像400的個體的屬性的值存儲在數(shù)據(jù)庫418中。此外，與面部圖像400相關聯(lián)的時間與位置也存儲在數(shù)據(jù)庫418中。
[0103]進一步根據(jù)本發(fā)明的優(yōu)選實施方式，屬性至圖像映射功能416操作為利用面部屬性的一批值對對應的存儲面部圖像進行識別，并且由此對特定個體進行識別。應當認識到的是，一批值還包括諸如在其中面部屬性的當前值不可用的情況下用于在短期內(nèi)對個體進行識別的諸如著裝類型與顏色的客戶外表的非身體特征。
[0104]再進一步根據(jù)本發(fā)明的優(yōu)選實施方式，值組合器417優(yōu)選操作為將面部模型與一批面部屬性的值組合為能夠與對應的存儲一批值匹配的組合的一批值，并且由此識別特定個體。
[0105]現(xiàn)在轉向圖5B，可以看出在隨后的日期，諸如2011年2月I日，用餐者在鄰近法國巴黎埃菲爾鐵塔近的賈克斯小餐館(Cafe Jaques)進餐。旁觀者使用作為手持移動設備452的一部分的數(shù)字攝像機拍攝用餐者的面部圖像450并且通過將面部圖像450與有關時間和位置一起經(jīng)由因特網(wǎng)傳輸給計算機化個人標識系統(tǒng)410而注冊看到該用餐者，其中對應于面部圖像450的面部模型460優(yōu)選由面部模型生成高能412生成。此外，由形容詞表示的值462優(yōu)選由圖像至屬性映射功能414分配給面部圖像450的多個面部屬性。
[0106]如圖5B所示，面部模型460、值462以及與面部圖像450相關聯(lián)的時間和位置優(yōu)選由值組合器417組合為與存儲在數(shù)據(jù)庫418中的一批值相比較并且發(fā)現(xiàn)與分配給上一次在2011年I月I日在埃菲爾鐵塔看到的用餐者的組合值匹配的組合的一批值。應當認識到的是，由值組合器417組組合且與存儲在數(shù)據(jù)庫418中的一批值相比較的一批值可以是面部模型460和形容詞462的任何子集。在圖像450中描繪的用餐者的識別的通知由計算機化個人標識系統(tǒng)410通過因特網(wǎng)傳輸回移動通信設備452。
[0107]本發(fā)明的這個優(yōu)選實施方式的具體特性在于使用餐者與位置有關的關系系數(shù)還可用作提高對用餐者的識別的可靠性的屬性值。[0108]本發(fā)明的優(yōu)選實施方式的具體特性在于與面部圖像以及額外信息(諸如個體頻繁出現(xiàn)的特定位置)相關聯(lián)的面部屬性的值的組合操作為更為有效地識別特定位置或者相關位置(諸如，在緊鄰特定位置的其他位置)處的個體。
[0109]本發(fā)明的實施方式的另一具體特性在于根據(jù)本發(fā)明的實施方式的對個體的識別不局限于基于諸如姓和名的個人標識信息來精確識別特定個體，而是還包括根據(jù)有關個體的面部屬性與累積行為信息來識別個體。
[0110]現(xiàn)在參照圖6，圖6是根據(jù)本發(fā)明的再一優(yōu)選實施方式的采用圖像至文本以及文本至圖像的關聯(lián)的用戶滿意監(jiān)控系統(tǒng)的簡化示圖。如圖6所示，觀察者使用多媒體觀察設備480來觀察計算機化內(nèi)容482。應當認識到的是，設備480可以是例如電視設備或者計算機。內(nèi)容482可以是例如錄像片段、電影或者廣告。
[0111]連接至多媒體觀察設備480的數(shù)字攝像機484優(yōu)選以例如每隔幾秒的預定間隔拍攝觀察者的面部圖像486并且優(yōu)選將圖像486經(jīng)由因特網(wǎng)傳輸給線上計算機化環(huán)境滿意監(jiān)控系統(tǒng)490。備選地，圖像486可由嵌入在設備480中的合適的功能進行監(jiān)控、存儲和分析。
[0112]優(yōu)選地，系統(tǒng)490包括圖像至屬性映射功能492與觀察者表情數(shù)據(jù)庫494。應當認識到的是，數(shù)據(jù)庫494可以是任何合適的計算機化信息存儲。
[0113]根據(jù)本發(fā)明的優(yōu)選實施方式，圖像至屬性映射功能492操作為將由形容詞496表示的值分配給在面部圖像486中拍攝的觀察者的表情并且將形容詞496存儲在數(shù)據(jù)庫494中。例如，形容詞496包括“高興”、“悲傷”、“生氣”、“滿足”與“冷漠”。應當認識到的是，例如，存儲在數(shù)據(jù)庫494中的形容詞496可以用于評估滿足482的效力。
[0114]現(xiàn)在參照圖7，圖7是用于建立應用于圖1A至圖6的系統(tǒng)中的數(shù)據(jù)庫的圖像/文本/圖像數(shù)據(jù)庫生成方法的簡化示圖。如圖7所示，通過計算機化個人標識訓練系統(tǒng)510從因特網(wǎng)上公共可用的圖像儲藏庫502收集多個圖像500。例如，圖像儲藏庫502可以是將文本與作為圖像出現(xiàn)在相同頁、或者一個或多個附近頁的圖像關聯(lián)起來的公共可用的社交網(wǎng)絡或者文本搜索引擎。優(yōu)選地，由具有各個O圖像500的圖像儲藏庫提供一個或者多個關聯(lián)的特征。例如，這些特征可以包括名稱、年齡或者年齡組、性別、整體外表和情緒，并且通常是主觀的并通過公開圖像的個體或者通過以評論(可以包括這些特征)標記公開的圖像的個體與該圖像相關聯(lián)。
[0115]計算機化個人標識訓練系統(tǒng)510首先對有關每個圖像500的每個特征進行分析并且將每個這種合適的特征翻譯成屬性值。對于每個這種值，系統(tǒng)510然后將每個圖像500及其有關屬性值發(fā)送給眾包提供者，諸如Amazon Mechanical Turk,其中多個個體就每個圖像與其相關屬性值的對應性程度表達他們的意見。一經(jīng)接收對每個圖像屬性值配對的眾包結果，系統(tǒng)510就將收到與它們的關聯(lián)圖像的整體較高的對應程度的那些屬性值存儲在數(shù)據(jù)庫520中。
[0116]現(xiàn)在參照圖8，圖8是示出了用于將形容詞與圖像關聯(lián)起來的訓練處理的簡化流程圖。如圖8所示，由系統(tǒng)從待訓練的形容詞列表中選擇的定義面部屬性的形容詞，并且優(yōu)選采用一個或者多個公共可用文本搜索引擎檢索與形容詞相關聯(lián)的圖像。此外，優(yōu)選采用一個或者多個公共可用文本搜索引擎以各種語言檢索與形容詞的一個或者多個翻譯關聯(lián)的圖像。例如，通過從詞典中收集形容詞可以編譯形容詞列表。
[0117]視覺面部檢測器用于對包括面部圖像的這些檢索圖像進行識別。然后優(yōu)選采用眾包基于多數(shù)投票來確定對應于形容詞的面部圖像。然后形容詞與對應的面部圖像用于訓練視覺分類器，如下面有關圖9的描述。然后視覺分類器用于將形容詞與面部圖像的其他子集關聯(lián)起來，并且眾包進一步用于確定每個面部圖像的其他子集與形容詞的對應性程度，其結果用于進一步訓練視覺分類器。應當認識到的是，眾包與視覺分類器的訓練的額外周期可用于進一步精煉視覺分類器的精確度，直至達到期望程度的精確度。在訓練視覺分類器之后，分類器被添加到屬性函數(shù)的儲藏庫，該儲藏庫隨后由系統(tǒng)使用從而通過定義面部屬性的形容詞來分類面部圖像。
[0118]現(xiàn)在參照圖9，圖9是示出了訓練視覺分類器的處理的簡化流程圖。如圖9所示，對于每個形容詞，上面關于圖8描述的眾包處理的結果用于生成兩批圖像。首先，“肯定的”一批包括已確定為對應于形容詞的圖像，其次，“否定的” 一批包括未被確定為對應于形容詞的圖像。
[0119]然后，肯定的一批與否定的一批圖像被標準化以針對變化的2維和3維對準和不同的采光來補償，從而將每個圖像變換為標準像。然后標準像轉化成標準的數(shù)字矢量，并且分類器使用諸如支持矢量機器(SVM)從包括肯定與否定的數(shù)字矢量對的訓練組中學習。
[0120]現(xiàn)在參照圖10，圖10是示出了用于檢索與圖像相關聯(lián)的形容詞的處理的簡化流程圖。如圖10所示，首先對圖像進行分析以檢測和獲得作為圖像的一部分的面部圖像。然后，通過對圖像進行標準化以針對變化的2維和3維后對準和不同的采光來補償，面部圖像轉化成標準的數(shù)字矢量。然后將上文中關于圖8描述的屬性函數(shù)的儲藏庫應用于數(shù)字矢量，并且從每個屬性函數(shù)返回的值記錄在表示與面部圖像相關聯(lián)的形容詞的數(shù)字矢量中。
[0121]現(xiàn)在參照圖11，圖11是示出了用于從與一個或者多個形容詞有關的圖像的預編入索引的數(shù)據(jù)庫檢索圖像的處理的簡化流程圖。如圖11所示，首先組成對具有與其相關聯(lián)的形容詞的圖像的文本查詢。使用自然語言處理(NLP)從文本查詢中提取形容詞。然后，該系統(tǒng)優(yōu)選通過使用隱含狄利克雷分配(Latent Dirichlet Allocation) (LDA)從與該查詢提取的形容詞最匹配的面部圖像的之前處理數(shù)據(jù)庫檢索圖像。已檢索面部圖像按照其關聯(lián)的數(shù)字矢量與從查詢中提取形容詞的相關程度來排序，并且由此產(chǎn)生的排序的面部圖像被提供為系統(tǒng)的輸出。
[0122]現(xiàn)在將參照圖12，圖12是示出了用于檢索類似于第一圖像的面部圖像的處理的簡化流程圖。如圖12所示，第一圖像首先被進行分析以檢測和獲取作為該圖像的一部分的面部圖像。然后，通過將面部圖像標準化以針對變化的2維和3維對準和不同的采光來補償，該圖像被轉化成標準數(shù)字矢量。然后，關于圖8在以上描述的屬性函數(shù)的儲存庫應用于數(shù)字矢量，并且從每個屬性函數(shù)返回的值記錄在表示與面部圖像相關聯(lián)的形容詞的數(shù)字矢量中。
[0123]使用諸如歐幾里得距離(Eulidian distance)的相似性函數(shù)來搜索包括圖像的數(shù)字矢量(諸如KD樹)的先前索引的數(shù)據(jù)庫，以找出表示與第一圖像的數(shù)字矢量密切匹配的圖
像的一批數(shù)字矢量。
[0124]本領域中的技術人員應當認識到，本發(fā)明并不局限于在上文中特別示出并描述的內(nèi)容。而是本發(fā)明的范圍包括在上文中描述的各種特性的組合與子組合及本領域的技術人員閱讀完之前的描述后將想到并且不在現(xiàn)有技術中的它們的變形。
【權利要求】
1.一種用于對人的面部圖像進行分類的計算機化系統(tǒng)，所述計算機化系統(tǒng)包括: 計算機化面部圖像屬性式評估器，將表示面部圖像的值分配給所述面部圖像的離散面部屬性中的多個離散面部屬性，所述值由形容詞表示；以及 計算機化分類器，根據(jù)所述離散面部屬性中的所述多個離散面部屬性來對所述面部圖像進行分類。
2.根據(jù)權利要求1所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，其中，所述計算機化的面部屬性式評估器包括: 數(shù)據(jù)庫，包括與多個面部圖像對應的多種存儲值，每個所述面部圖像均具有所述多個離散面部屬性中的至少一些，所述離散面部屬性中的至少一些具有由與其相關聯(lián)的形容詞表示的所述值。
3.根據(jù)權利要求2所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，還包括: 面部屬性統(tǒng)計報告功能，提供從所述多種存儲值得出的統(tǒng)計信息。
4.根據(jù)權利要求1所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，其中，所述計算機化面部屬性式評估器包括: 數(shù)據(jù)庫，包括多種存儲面部圖像和多種存儲值，每個所述存儲面部圖像均具有所述多個離散面部屬性中的至少一些，所述離散面部屬性中的至少一些具有由與其相關聯(lián)的形容詞表示的所述值；以及 基于形容詞的比較器，通過將所述面部圖像的所述多個離散面部屬性屬性式以及形容詞式地與所述多種存儲面部圖像`進行比較，來比較所述面部圖像與所述多種存儲面部圖像。
5.根據(jù)權利要求4所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，其中，所述基于形容詞的比較器以形容詞式的方式查詢所述數(shù)據(jù)庫。
6.根據(jù)權利要求1至5中的任一項所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，還包括計算機化識別器，所述計算機化識別器操作為響應于來自所述計算機化分類器的輸出來識別與所述輸出對應的至少一個存儲面部圖像。
7.根據(jù)權利要求6所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，其中，所述計算機化識別器操作為生成與所述輸出對應的存儲面部圖像的排序表。
8.根據(jù)權利要求1至7中的任一項所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，還包括社交網(wǎng)絡接口，所述社交網(wǎng)絡接口用于使可用的信息從社交網(wǎng)絡到所述計算機化面部圖像屬性式評估器。
9.根據(jù)權利要求1至8中的任一項所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，還包括面部模型生成功能，所述面部模型生成功能操作為生成與所述面部圖像對應的面部模型。
10.根據(jù)權利要求6和9所述的用于對人的面部圖像進行分類的計算機化系統(tǒng)，其中，所述計算機化識別器采用所述面部模型。
11.一種用于對人的面部圖像進行分類的計算機化方法，包括: 將表示面部圖像的值分配給所述面部圖像的離散面部屬性中的多個離散面部屬性，所述值由形容詞表示；并且 根據(jù)所述離散面部屬性中的所述多個離散面部屬性來對所述面部圖像進行分類。
12.根據(jù)權利要求11所述的用于對人的面部圖像進行分類的計算機化方法，其中，每個所述面部圖像均具有所述多個離散面部屬性中的至少一些，并且所述離散面部屬性中的至少一些具有由與其相關聯(lián)的形容詞表示的所述值。
13.根據(jù)權利要求12所述的用于對人的面部圖像進行分類的計算機化方法，還包括: 提供從所述多種存儲值得出的統(tǒng)計信息。
14.根據(jù)權利要求11所述的用于對人的面部圖像進行分類的計算機化方法，其中: 每個所述存儲面部圖像均具有所述多個離散面部屬性中的至少一些，并且所述離散面部屬性中的至少一些具有由與其相關聯(lián)的形容詞表示的所述值；并且所述計算機化方法還包括: 通過將面部圖像的所述多個離散面部屬性屬性式以及形容詞式地與多種存儲面部圖像進行比較，來比較所述面部圖像與所述多種存儲面部圖像。
15.根據(jù)權利要求14所述的用于對人的面部圖像進行分類的計算機化方法，其中，所述比較以形容詞式的方式查詢數(shù)據(jù)庫。
16.根據(jù)權利要求11至15中的任一項所述的用于對人的面部圖像進行分類的計算機化方法，還包括識別與所述分類的輸出對應的至少一個存儲面部圖像。
17.根據(jù)權利要求16所述的用于對人的面部圖像進行分類的計算機化方法，其中，所述識別操作為生成與所述輸出對應的存儲面部圖像的排序表。
18.根據(jù)權利要求11至17中的任一項所述的用于對人的面部圖像進行分類的計算機化方法，還包括使可用的信 息從社交網(wǎng)絡到所述計算機化面部圖像屬性式評估器。
19.根據(jù)權利要求11至18所述的用于對人的面部圖像進行分類的計算機化方法，還包括面部模型生成，所述面部模型生成操作為生成與所述面部圖像對應的面部模型。
20.根據(jù)權利要求16和19所述的用于對人的面部圖像進行分類的計算機化方法，其中，所述識別采用所述面部模型。
21.一種用于在地點注冊人的系統(tǒng)，包括: 面部圖像/個人標識獲取子系統(tǒng)，獲取人的至少一個面部圖像和至少一項個人標識；以及 計算機化子系統(tǒng)，接收所述人的所述至少一個面部圖像和所述至少一項個人標識，所述計算機化子系統(tǒng)包括: 面部模型生成功能，操作為生成與所述至少一個面部圖像對應的面部模型；以及圖像至屬性映射功能，操作為將由形容詞表示的值分配給所述面部圖像的多個面部屬性；以及數(shù)據(jù)庫，存儲多個所述人的信息和面部屬性的所述值。
22.根據(jù)權利要求21所述的用于在地點注冊人的系統(tǒng)，其中，所述計算機化子系統(tǒng)還包括: 屬性至圖像映射功能，操作為利用一批面部屬性的值來識別對應的存儲面部圖像，并且由此識別利用所述面部模型的特定個體。
23.根據(jù)權利要求21所述的用于在地點注冊人的系統(tǒng)，其中，所述計算機化子系統(tǒng)還包括: 值組合器，操作為將所述面部模型與所述一批面部屬性的值組合為能夠與對應的存儲的一批值匹配的組合的一批值，并且由此識別特定個體。
24.根據(jù)權利要求22和23中的任一項所述的用于在地點注冊人的系統(tǒng)，還包括: 后續(xù)面部圖像獲取子系統(tǒng)，獲取至少一個面部圖像并且將其提供給所述計算機化子系統(tǒng)；并且其中 所述計算機化子系統(tǒng)操作為: 創(chuàng)建與所述后續(xù)面部圖像對應的面部模型； 將由形容詞表示的值分配給所述后續(xù)面部圖像的多個面部屬性；并且識別對應的存儲面部圖像，并且由此將所述后續(xù)面部圖像識別為特定個體，與所述特定個體有關的至少一項個人標識存儲在所述數(shù)據(jù)庫中。
25.根據(jù)權利要求23和24所述的用于在地點注冊人的系統(tǒng)，其中，所述值組合器用于組合所述面部模型以及與所述后續(xù)面部圖像對應的所述一批值，并且由此識別所述特定個體。
26.根據(jù)權利要求21至25中的任一項所述的用于在地點注冊人的系統(tǒng)，其中，從預先注冊數(shù)據(jù)獲得所述人的至少一項個人標識。
27.根據(jù)權利要求21至26中的任一項所述的用于在地點注冊人的系統(tǒng)，所述系統(tǒng)還包括社交網(wǎng)絡接口，所述社交網(wǎng)絡接口使可用的信息從社交網(wǎng)絡到所述計算機化子系統(tǒng)。
28.根據(jù)權利要求24至27中的任一項所述的用于在地點注冊人的系統(tǒng)，其中，所述面部圖像/個人標識獲取子系統(tǒng)操作為獲取除與所述子系統(tǒng)交互的人之外的人的至少一個面部圖像以及至少一項個人標識。
29.根據(jù)權利要求21至27中的任一項所述的用于在地點注冊人的系統(tǒng)，其中，所述面部圖像/個人標識獲取子系統(tǒng)操作為獲取除與所述子系統(tǒng)交互的人之外的其他未識別的人的至少一項面部圖像。
30.根據(jù)權利要求21至29中的任一項所述的用于在地點注冊人的系統(tǒng)，包括: 計算機化面部圖像屬性式評估器，將表示面部圖像的值分配給所述面部圖像的離散面部屬性中的多個離散面部屬性，所述值由形容詞表示；以及 計算機化分類器，根據(jù)所述離散面部屬性中的所述多個離散面部屬性對所述面部圖像進行分類。
31.一種用于辨別人在地點重復出現(xiàn)的系統(tǒng)，包括: 面部圖像/個人標識獲取子系統(tǒng)，獲取人的至少一個面部圖像；以及 計算機化子系統(tǒng)，接收所述至少一個面部圖像，所述計算機化子系統(tǒng)包括: 面部模型生成功能，操作為生成與所述至少一個面部圖像對應的面部模型；以及圖像至屬性映射功能，操作為將由形容詞表示的值分配給所述面部圖像的多個面部屬性；以及數(shù)據(jù)庫，存儲多個所述人的信息和面部屬性的所述值。
32.根據(jù)權利要求31所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，其中，所述計算機化子系統(tǒng)還包括: 屬性至圖像映射功能，操作為利用一批面部屬性的值來識別與利用所述面部模型的特定個體相關聯(lián)的對應的存儲面部圖像。
33.根據(jù)權利要求31所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，其中，所述計算機化的子系統(tǒng)還包括: 值組合器，操作為將所述面部模型與所述一批面部屬性的值組合為能夠與對應的存儲的一批值匹配的組合的一批值，并且由此識別特定個體。
34.根據(jù)權利要求32和33中的任一項所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，還包括: 后續(xù)面部圖像獲取子系統(tǒng)，獲取至少一個面部圖像并且將其提供給所述計算機化子系統(tǒng)；并且其中 所述計算機化子系統(tǒng)操作為: 創(chuàng)建與所述后續(xù)面部圖像對應的面部模型； 將由形容詞表示的值分配給所述后續(xù)面部圖像的多個面部屬性；并且 識別對應的存儲面部圖像，并且由此將所述后續(xù)面部圖像識別為特定個體的面部圖像，以便辨別該特定人的重復出現(xiàn)。
35.根據(jù)權利要求33和34所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，其中，所述值組合器用于組合所述面部模型以及與所述后續(xù)面部圖像對應的所述一批值，從而辨別人的重復出現(xiàn)。
36.根據(jù)權利要求31至36中的任一項所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，所述系統(tǒng)還包括: 重復出現(xiàn)統(tǒng)計發(fā)生器，采用所述面部模型與所述一批值以生成與人在地點重復出現(xiàn)有關的屬性式統(tǒng)計。
37.根據(jù)權利要求31至36中的任一項所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，還包括社交網(wǎng)絡接口，所述社交網(wǎng)絡接口使可用的信息從社交網(wǎng)絡到所述計算機化子系統(tǒng)。
38.根據(jù)權利要求31至37中的任一項所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，其中，所述面部圖像/個人標識獲取子系統(tǒng)操作為獲取除與所述子系統(tǒng)交互的人之外的人的至少一個面部圖像以及至少一項個人標識。
39.根據(jù)權利要求31至37中的任一項所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，其中，所述面部圖像/個人標識獲取子系統(tǒng)操作為獲取除與所述子系統(tǒng)交互的人之外的其他未識別的人的至少一個面部圖像。
40.根據(jù)權利要求31至39中的任一項所述的用于辨別人在地點重復出現(xiàn)的系統(tǒng)，其中，所述系統(tǒng)包括: 計算機化面部圖像屬性式評估器，將表示面部圖像的值分配給所述面部圖像的離散面部屬性中的多個離散面部屬性，所述值由形容詞表示；以及 計算機化分類器，根據(jù)所述離散面部屬性中的所述多個離散面部屬性對所述面部圖像進行分類。
41.一種用于生成計算機化面部圖像屬性式評估器的方法，所述計算機化面部圖像屬性式評估器能夠將每個均由形容詞表示的值分配給面部圖像的離散面部屬性中的多個離散面部屬性，所述方法包括: 聚集多種面部圖像，每個所述面部圖像均具有由與其相關聯(lián)的形容詞特征化的至少一個面部圖像屬性；以及 生成操作為接收待評估的面部圖像并且利用所述聚集的結果來將值分配給待評估的所述面部圖像的離散面部屬性中的多個離散面部屬性的功能，所述值由形容詞表示。
42.根據(jù)權利要求41所述的用于生成計算機化面部圖像屬性式評估器的方法，其中，所述聚集包括: 收集多種面部圖像，每個面部圖像均具有由來自公共可用源頭的與其相關聯(lián)的形容詞來特征化的至少一個面部圖像屬性；以及 利用眾包來增強形容詞與出現(xiàn)在所述多種面部圖像中的面部屬性之間的對應性。
43.根據(jù)權利要求42所述的用于生成計算機化面部圖像屬性式評估器的方法，其中，所述眾包包括: 利用多個人，所述多個人觀察所述多種面部圖像中的多個與所述形容詞，并且針對所述形容詞與多種圖像中的所述多個中的所述面部屬性之間的對應程度表示他們的觀點。
44.根據(jù)權利要求41至43中的任一項所述的用于生成計算機化面部圖像屬性式評估器的方法，其中，所述值是數(shù)字值。
45.一種用于辨別用戶對至少一種刺激的反應的系統(tǒng)，包括: 計算機化面部圖像屬性式評估器，將在與用戶對刺激的反應對應的時間獲得的表示面部圖像的值分配給所述面部圖像的離散面部屬性中的多個離散面部屬性，所述值由形容詞表示；以及 計算機化分類器，根據(jù)所述離散面部屬性中的所述多個離散面部屬性對所述面部圖像進行分類。
46.根據(jù)權利要求45 所述的用于辨別用戶對至少一種刺激的反應的系統(tǒng)，還包括在應用所述至少一種刺激之前和之后對所述離散面部屬性中的所述多個離散面部屬性進行比較的計算機化屬性比較器。
47.一種用于辨別用戶對至少一種刺激的反應的方法，包括: 將在與用戶對刺激的反應對應的時間獲得的表示面部圖像的值分配給所述面部圖像的離散面部屬性中的多個離散面部屬性，所述值由形容詞表示；以及 根據(jù)所述離散面部屬性中的所述多個離散面部屬性對面部圖像進行分類。
48.根據(jù)權利要求45所述的用于辨別用戶對至少一種刺激的反應的方法，還包括在應用所述至少一種刺激之前和之后對所述離散面部屬性中的所述多個離散面部屬性進行比較。
49.一種用于對人進行分類的計算機化系統(tǒng)，包括: 關系系數(shù)生成器，生成表示人在特定時間處于特定環(huán)境中的概率的關系系數(shù)；以及 計算機化分類器，根據(jù)所述關系系數(shù)中的多個對所述人進行分類。
50.根據(jù)權利要求49所述的用于對人進行分類的計算機化系統(tǒng)，其中，所述環(huán)境是地理位置和事件中的一個。
51.根據(jù)權利要求49和50中的任一項所述的用于對人進行分類的計算機化系統(tǒng)，其中，所述關系系數(shù)包括值與衰減函數(shù)。
52.根據(jù)權利要求51所述的用于對人進行分類的計算機化系統(tǒng)，其中，所述衰減函數(shù)是線性函數(shù)。
53.根據(jù)權利要求51所述的用于對人進行分類的計算機化系統(tǒng)，其中，所述衰減函數(shù)是指數(shù)函數(shù)。
54.根據(jù)權利要求49至53中的任一項所述的用于對人進行分類的計算機化系統(tǒng)，其中，所述環(huán)境是層級環(huán)境中的一個層級。
55.根據(jù)權利要求51所述的用于對人進行分類的計算機化系統(tǒng)，其中，層級環(huán)境中的環(huán)境的關系系數(shù)相互依存。
56.根據(jù)權利要求49至55中的任一項所述的用于對人進行分類的計算機化系統(tǒng)，其中，所述關系系數(shù)生成器在至少第一環(huán)境中的多個人在一起的情況下操作，以生成在第二環(huán)境中的所述多個人之間的相互依存的關系系數(shù)。
57.根據(jù)權利要求49所述的用于對人進行分類的計算機化系統(tǒng)，還包括: 計算機化分類器，根據(jù)多個離`散面部屬性對面部圖像進行分類。
【文檔編號】G06F17/30GK103620590SQ201180069586
【公開日】2014年3月5日 申請日期:2011年3月31日 優(yōu)先權日:2011年2月3日
【發(fā)明者】亞尼瓦·泰曼, 吉爾·希爾施, 伊登·肖查特 申請人:臉譜公司