基于情感和外表的時空圖系統(tǒng)及方法
【專利摘要】一種用于繪圖的計算機實現(xiàn)的方法。該方法包括：分析多個圖片中的臉的圖像以生成內(nèi)容向量；獲得關(guān)于一個或更多個感興趣的向量維度的信息，一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)；以及生成場所的表示。圖中地區(qū)的外觀根據(jù)內(nèi)容向量的一個或更多個感興趣的向量維度的值而變化。該方法還包括使用所述表示，使用的步驟包括存儲、發(fā)送和顯示中的至少一個。
【專利說明】基于情感和外表的時空圖系統(tǒng)及方法
[0001]發(fā)明人:哈維爾莫圍欄和約書亞薩斯坎德
[0002]相關(guān)申請的交叉引用
[0003]本申請要求于2013年8月15日提交的序列號為61/866，344的代理人案號為MPT-1021-PV的題為“EMOT1N AND APPEARANCE BASED SPAT1TEMPORAL GRAPHICS SYSTEMSAND METHODS”的美國臨時專利申請的優(yōu)先權(quán)，在此通過引用以其全部內(nèi)容合并到本文中，如同在本文中被充分闡述一樣，包括文本、圖、權(quán)利要求、表格和計算機程序清單附件(如果存在)以及美國臨時專利申請中的所有其它材料。
技術(shù)領(lǐng)域
[0004]本文獻一般涉及基于區(qū)域中的人的外表和/或情感對場所進行繪制的設(shè)備、方法和廣品。
【背景技術(shù)】
[0005]期望使人們能夠容易地分享關(guān)于場所/場地的感受和情感。還期望以時空組織的方式顯示關(guān)于人們的情感和外表的信息。

【發(fā)明內(nèi)容】

[0006]本文獻中描述的實施例涉及可以滿足上述需求以及其他需求中的一個或更多個的方法、設(shè)備和產(chǎn)品。
[0007]在實施例中，提供了一種用于繪圖的計算機實現(xiàn)的方法。該方法包括:分析多個圖片中的臉的圖像，以生成內(nèi)容向量;獲得關(guān)于一個或更多個感興趣的向量維度的信息，所述一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)；以及生成場所的表示。圖中地區(qū)的外觀根據(jù)向量維度的所述一個或更多個感興趣的內(nèi)容向量的值而變化。所述方法還包括使用所述表示一一例如通過存儲、發(fā)送和顯示。
[0008]在實施例中，基于計算機的系統(tǒng)被配置成執(zhí)行繪圖。繪圖可以通過以下步驟來執(zhí)行，所述步驟包括:分析多個圖片中的臉的圖像，以生成內(nèi)容向量;獲得關(guān)于一個或更多個感興趣的向量維度的信息，所述一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)；以及生成場所的表示。圖中地區(qū)的外觀根據(jù)內(nèi)容向量的所述一個或更多個感興趣的向量維度的值而變化。所述方法還包括使用所述表示一一例如通過存儲、發(fā)送和顯示。
[0009]在實施例中，一種包括非瞬態(tài)機器可讀存儲器的產(chǎn)品嵌入有用于繪圖的計算機實現(xiàn)的方法的計算機代碼。所述方法包括:分析多個圖片中的臉的圖像，以生成內(nèi)容向量;獲得關(guān)于一個或更多個感興趣的向量維度的信息，所述一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)；以及生成場所的表示。圖中地區(qū)的外觀根據(jù)內(nèi)容向量的所述一個或更多個感興趣的向量維度的值而變化。所述方法還包括使用所述表示一一例如通過存儲、發(fā)送和顯示。
[0010]在實施例中，可以從多個聯(lián)網(wǎng)相機裝置接收多個圖像。場所的示例包括但不限于地理區(qū)域或建筑物內(nèi)部。
[0011]在實施例中，所述表示包括場所的圖和圖覆蓋物。該圖覆蓋物中的顏色可以表示由內(nèi)容向量的所述一個或更多個感興趣的向量維度的值表示的至少一種情感或人類特征。圖和圖覆蓋物可以是能夠縮放的?？梢皂憫?yīng)于放大或縮小來顯示覆蓋物中的更多或更少的細節(jié)。
[0012]參照下面的描述、附圖和所附權(quán)利要求將更好地理解本發(fā)明的這些特征和方面以及其他特征和方面。
【附圖說明】
[0013]圖1是示出了根據(jù)本說明書的所選擇的方面配置的基于計算機的系統(tǒng)的所選擇的塊的簡化框圖；以及
[0014]圖2示出了根據(jù)本說明書的所選擇的方面的處理的所選擇的步驟/塊。
[0015]圖3示出了根據(jù)本說明書的所選擇的方面的零售情境中的基于情感和外表的時空“熱”圖的示例。
[0016]圖4示出了根據(jù)本說明書的所選擇的方面的街道圖情境中的基于情感和外部的時空“熱”圖的示例。
[0017]圖5示出了根據(jù)本說明書的所選擇的方面的放大的街道圖情境中的基于情感和外表的時空“熱”圖的示例。
【具體實施方式】
[0018]在本文獻中，詞“實施例”、“變型”、“示例”和類似表達指代特定設(shè)備、處理或產(chǎn)品，并且不一定指代相同的設(shè)備、處理或產(chǎn)品。因此，一個地方或上下文中使用“一種實施例”(或者類似表達)可以指代特定設(shè)備、處理或產(chǎn)品，不同地方或上下文中相同或類似表達可以指代不同的設(shè)備、處理或產(chǎn)品。表達“替選實施例”以及類似表達和短語可以用于表示許多不同的可能的實施例之一。可能的實施例/變型/示例的數(shù)量不一定限于兩個或任意其他數(shù)量。作為“示例性”的項目的特性意味著該項目用作示例。實施例/變型/示例的這樣的特性不一定意味著實施例/變型/示例是優(yōu)選實施例/變型/示例，實施例/變型/示例可以是但無需是當(dāng)前優(yōu)選實施例/變型/示例。所有實施例/變型/示例都是出于說明目的描述，并且不一定嚴格地進行限制。
[0019]詞“親接”、“連接”以及具有它們的曲折語素(inflect1nalmorpheme)的類似表達不一定含直接(immediate)連接或直接(direct)連接的意思，而是在它們的含義內(nèi)包括通過中間元件連接。
[0020]在本文獻中所使用的“面部表情”表示情感(如生氣、蔑視、厭惡、恐懼、高興、悲傷、驚奇、中立)的主要面部表情;興趣的情感狀態(tài)(如厭煩、感興趣、參與、困惑、挫敗)的表情；所謂的“面部動作單元”(面部肌肉的子集的運動，包括各個肌肉的運動，如面部動作編碼系統(tǒng)或FACS中使用的動作單元)；以及手勢/姿勢(如擺頭、升降眉毛、眨眼、皺鼻子、用手托著下巴)。
[0021 ] “人類外表特征”包括面部表情和附加外表特征，如種族、性別、吸引力、表觀年齡以及風(fēng)格特征(包括衣服款式如牛仔、裙子、夾克、領(lǐng)帶;鞋子;以及發(fā)型)。
[0022]“低級特征”就下述意義而言是低級的:它們不是描述面部信息如眼睛、下巴、臉頰、眉毛、額頭、頭發(fā)、鼻子、耳朵、性別、年齡、種族等的日常生活用語中使用的屬性。低級特征的示例包括Gabor方向能量、Gabor尺度能量、Gabor相位以及Haar小波變換輸出。
[0023]在下述許多共有專利申請中描述了自動面部表情識別和相關(guān)的主題，所述專利申請包括:(I)由Javier R.Movellan等人于大約2013年2月8日提交的序列號為61/762，820的代理人檔案號引用為MPT-1010-PV的題為“SYSTEM FOR COLLECTING MACHINE LEARNINGTRAINING DATA FOR FACIAL EXPRESS1N RECOGNIT1N” 的申請；(2)由 Javier R.Movellan等人于大約2013年2月11日提交的序列號為61/763，431的代理人檔案號引用為MPT-1012-PV的題為“ACTIVE DATA ACQUISIT1N FOR DEVELOPMENT AND CONTINUOUS IMPROVEMENTOF MACHINE PERCEPT1N SYSTEMS” 的申請；(3)由 Javier R.Movellan等人于大約2013年2月12日提交的序列號為61/763，657的代理人檔案號引用為MPT-101 3-PV的題為“EVALUAT1N OF RESPONSES TO SENSORY STIMULI USING FACIAL EXPRESS1NRECOGNIT1N”的申請；(4)由Javier R.Movellan等人于大約2013年2月12日提交的序列號為61/763,694的代理人檔案號引用為MPT-1014-PV的題為 “AUTOMATIC FACIAL EXPRESS1NMEASUREMENT AND MACHINE LEARNING FOR ASSESSMENT OF MENTAL ILLNESS ANDEVALUAT1N OF TREATMENT” 的申請；(5)由 Javier R.Movellan等人于大約2013年2月13 日提交的序列號為61/764，442的代理人檔案號引用為MPT-1016-PV的題為“ESTIMAT1N OFAFFECTIVE VALENCE AND AROUSAL WITH AUTOMATIC FACIAL EXPRESS1N MEASUREMENT”的申請；(6)由Javier R.Movellan等人于大約2013年2月15日提交的序列號為61/765，570的代理人檔案號引用為MPT-1017-PV的題為 “FACIAL EXPRESS1N TRAINING USING FEEDBACKFROM AUTOMATIC FACIAL EXPRESS1N RECOGNIT1N” 的申請；(7)由 Javier R.Movellan等人于大約2013年2月15日提交的序列號為61/765，671的代理人檔案號引用為10^-1015-?￥的題為 “QUALITY CONTROL FOR LABELING MACHINE LEARNING TRAINING EXAMPLES” 的申請；(8)由Javier R.Movellan等人于大約2013年2月20日提交的序列號為61/766，866的代理人檔案號引用為MPT-1018-PV2的題為“AUTOMATIC ANALYSIS OF NON-VERBAL RAPPORT”的申請；以及(9)由Javier R.Movellan等人于大約2013年6月5日提交的序列號為61/831，610的代理人檔案號引用為MPT-1022的題為 “SPATIAL ORGANIZAT1N OF IMAGES BASED ONEMOT1N FACE CLOUDS”的申請。這些臨時申請中的每一個通過引用以其全部內(nèi)容包括在本文中，包括權(quán)利要求、表格、計算機代碼以及專利申請中的所有其他內(nèi)容。
[0024]貫穿本文獻可以發(fā)現(xiàn)其它和另外的明確限定和隱含限定以及對限定的說明。
[0025]將詳細參考附圖中所示的幾個實施例。在附圖和說明書中使用相同的附圖標(biāo)記來指代相同的設(shè)備元件和方法步驟。附圖以簡化的形式，并未按比例，并且省略了可以被添加至所描述的系統(tǒng)及方法的設(shè)備元件和方法步驟，同時可能包括某些可選元件和步驟。
[0026]圖1是根據(jù)本說明書的所選擇的方面配置的基于計算機的系統(tǒng)100的簡化框圖表示，所述基于計算機的系統(tǒng)100收集各種場所中關(guān)于人的時空信息并且使用該信息進行繪圖、搜索、和/或其它目的。系統(tǒng)100通過通信網(wǎng)絡(luò)190與各種聯(lián)網(wǎng)相機裝置180如網(wǎng)絡(luò)攝影機、裝備相機的桌上型個人計算機和膝上型個人計算機、裝備相機的移動裝置(例如，平板和智能電話)、以及可穿戴裝置(例如，谷歌眼鏡和類似產(chǎn)品，特別是用于車輛應(yīng)用的具有對準(zhǔn)駕駛員和/或乘客的相機的產(chǎn)品)進行交互。圖1并未示出系統(tǒng)100的許多硬件和軟件模塊以及相機裝置180的許多硬件和軟件模塊，并且省略了各種物理連接和邏輯連接。可以將系統(tǒng)100實現(xiàn)為專用數(shù)據(jù)處理器、通用計算機、計算機系統(tǒng)、或者被配置成執(zhí)行本文獻中描述的方法的步驟的一組聯(lián)網(wǎng)計算機或計算機系統(tǒng)。在一些實施例中，將系統(tǒng)100建立在個人計算機平臺如Wintel個人計算機、Linux計算機或Mac計算機上。個人計算機可以是桌上型計算機或筆記本計算機。系統(tǒng)100可以用作一個或更多個服務(wù)器計算機。在一些實施例中，將系統(tǒng)100實現(xiàn)為通過網(wǎng)絡(luò)如網(wǎng)絡(luò)190或其他網(wǎng)絡(luò)互連的多個計算機。
[0027]如圖1所示，系統(tǒng)100包括處理器110、只讀存儲器(ROM)模塊120、隨機存取存儲器(RAM)模塊130、網(wǎng)絡(luò)接口 140、大容量存儲裝置150和數(shù)據(jù)庫160。這些部件通過總線115耦接在一起。在所示實施例中，處理器110可以是微處理器，大容量存儲裝置150可以是磁盤驅(qū)動器。大容量存儲裝置150以及存儲器模塊120和130中的每一個被連接至處理器110，以使得處理器110能夠?qū)?shù)據(jù)寫到這些存儲器和存儲器裝置中并且從這些存儲器和存儲器裝置讀取數(shù)據(jù)。網(wǎng)絡(luò)接口 140將處理器110耦接至網(wǎng)絡(luò)190，例如因特網(wǎng)。網(wǎng)絡(luò)190的性質(zhì)和可以被插入系統(tǒng)100與網(wǎng)絡(luò)190之間的裝置的性質(zhì)確定系統(tǒng)100中使用的網(wǎng)絡(luò)接口 140的種類。在一些實施例中，例如，網(wǎng)絡(luò)接口 140是將系統(tǒng)100連接至局域網(wǎng)的以太網(wǎng)接口，該局域網(wǎng)又連接至因特網(wǎng)。因此，網(wǎng)絡(luò)190可以是若干網(wǎng)絡(luò)的組合。
[0028]數(shù)據(jù)庫160可以用于組織和存儲執(zhí)行本文獻中描述的方法步驟中可能需要或期望的數(shù)據(jù)。數(shù)據(jù)庫160可以是與處理器110耦接的物理上分開的系統(tǒng)。在替選實施例中，處理器110和大容量存儲裝置150可以被配置成執(zhí)行數(shù)據(jù)庫160的功能。
[0029]處理器110可以讀取并執(zhí)行存儲在ROM模塊120、RAM模塊130和/或存儲裝置150中的程序代碼指令。在程序代碼的控制下，處理器110可以將系統(tǒng)100配置成執(zhí)行本文獻中描述或提到的方法的步驟。除了 ROM模塊120/RAM模塊130和存儲裝置150以外，還可以將程序代碼指令存儲在其他機器可讀存儲介質(zhì)如另外的硬盤驅(qū)動器、軟盤、CD-R0M、DVD、閃速存儲器以及類似裝置中。還可以通過傳輸介質(zhì)一一例如，在電線或電纜上、通過光纖、無線地、或者通過物理傳輸?shù)娜魏纹渌问揭灰粋鬏敵绦虼a。傳輸可以在遠程通信裝置之間的專用鏈路上發(fā)生，或者通過廣域網(wǎng)或局域網(wǎng)如因特網(wǎng)、內(nèi)聯(lián)網(wǎng)、外聯(lián)網(wǎng)或者任何其他種類的公共網(wǎng)絡(luò)或私有網(wǎng)絡(luò)發(fā)生。此外，可以通過網(wǎng)絡(luò)接口 140或另外的網(wǎng)絡(luò)接口將程序代碼下載至系統(tǒng)100中。
[0030]相機裝置180可以由系統(tǒng)100及其操作員唯一地操作，或者可以與其他系統(tǒng)和操作員共享?？梢詫⑾鄼C裝置180分布在各種地理區(qū)域/場地中、分布在室外和/或室內(nèi)、分布在車輛中、和/或分布在其他結(jié)構(gòu)中，無論永久地被設(shè)置、半永久地被設(shè)置、和/或能夠容易地移動。相機裝置180可以被配置成:以預(yù)定時間和/或響應(yīng)于各種事件按要求和/或自動拍攝圖片。相機裝置180可以具有“標(biāo)記”下述圖片的能力:它們使用位置信息一一例如，全球定位系統(tǒng)(GPS)數(shù)據(jù)一一拍攝的圖片;使用時間信息(當(dāng)每個圖片被拍攝的時刻)拍攝的圖片；以及使用相機朝向信息(當(dāng)拍攝特定圖片時相機裝置180正面向的方向)拍攝的圖片。此外，系統(tǒng)100可以具有關(guān)于相機裝置180的位置和方向的信息，因此，固有地訪問從特定相機裝置180接收的圖片的方向和位置“標(biāo)記”。此外，如果系統(tǒng)100基本上實時地(S卩，10秒、分鐘、小時、或者甚至三小時時間段以內(nèi))從特定相機裝置180接收圖片，則系統(tǒng)100固有地還具有圖片的時間“標(biāo)記”。
[0031]系統(tǒng)100可以從相機裝置180接收(明顯地和/或固有地)標(biāo)記了的圖片，然后，對圖片進行處理以使用如上面被指出并且通過引用被合并在本文獻中的專利申請中所描述的多個分類器來識別面部表情和其他人類外表特征。由特定圖片的處理產(chǎn)生的分類器的輸出按照分類器的特定(預(yù)定)順序產(chǎn)生分類器輸出值的向量。因此，每個圖片與分類器值的有序向量關(guān)聯(lián)。分類器可以被配置并訓(xùn)練成:根據(jù)由圖片中的臉(或者數(shù)個臉，視情況而定)表現(xiàn)的特定表情的出現(xiàn)或不出現(xiàn)、動作單元、和/或低級特征來產(chǎn)生信號輸出。分類器中的每一個可以被配置并訓(xùn)練成用于不同的情感，包括例如七種主要情感(憤怒、輕蔑、厭惡、恐懼、高興、悲傷、驚奇)和中立表情以及興趣的情感狀態(tài)(如厭煩、感興趣、參與)的表情。另一種分類器可以被配置成基于特定圖片中臉的數(shù)量產(chǎn)生輸出。另外的分類器可以被配置并訓(xùn)練成產(chǎn)生與其他人類外表特征對應(yīng)的信號輸出。我們已經(jīng)描述了上面列出的并且通過引用被合并的專利申請中的這樣的分類器的某些方面。
[0032]因此，可以對圖片進行處理以找到人和臉。然后，可以對圖片進行處理以進行以下操作:估計圖片中的人的人口統(tǒng)計特征(例如，年齡、種族、性別)；估計人的面部表情(例如，主要情感、興趣、挫敗、困惑)。還可以使用被調(diào)到特定趨勢的檢測器/分類器對圖片進行進一步處理，以表征圖片中的人的發(fā)型(例如，長發(fā)、軍隊短發(fā)、有劉海)以及衣服款式(例如，牛仔、裙子、夾克)。
[0033]變化地，來自相機裝置180的圖片由相機裝置180自身進行處理，或者還可以由其他裝置/服務(wù)器進行處理，系統(tǒng)100接收與圖片關(guān)聯(lián)的向量。系統(tǒng)100可以接收無圖片的向量、向量和圖片、或者以上兩者的一些組合，即，具有它們關(guān)聯(lián)的圖片的一些向量、不具有它們關(guān)聯(lián)的圖片的一些向量。此外，可以在系統(tǒng)100、相機裝置180、和/或其他裝置之間或系統(tǒng)100、相機裝置180、和/或其他裝置中劃分處理，使得在兩個或更多個類型的這些裝置中處理圖片，以獲得向量。
[0034]在系統(tǒng)100中，可以將圖片的向量存儲在系統(tǒng)100的數(shù)據(jù)庫160、和/或其他存儲器/存儲裝置(例如，大容量存儲裝置150、存儲器模塊120/130)中。
[0035]有利地，系統(tǒng)100可以被配置(例如，由執(zhí)行合適代碼的處理器110)成:收集空間和時間信息；顯示以空間和時間組織的圖片向量的所選擇(目標(biāo))的維度的統(tǒng)計;使用向量使得人們能夠分享關(guān)于場所的感受和情感；以時空組織的方式顯示關(guān)于情感和其他人類外表特征的信息；以及使得用戶能夠以空間和時間進行導(dǎo)航并且顯示不同的向量維度。因此，系統(tǒng)100可以被配置成:生成圖片向量的不同維度的圖并且聚集變量(例如，具有特定發(fā)型的人的頻率、穿著時髦衣服或其他款式衣服的人的頻率)。圖可以是兩維或三維的，可以覆蓋室內(nèi)場所和/或室外場所，并且可以以可導(dǎo)航并且能夠縮放的方式一一例如，類似于谷歌地圖(Google Maps)或谷歌地球(Google Earth)——被顯示。系統(tǒng)100還可以被配置成:將時空組織的信息投影至由谷歌地圖、谷歌地球或類似服務(wù)生成的圖上。
[0036]在一些實施例中，圖可以顯示跨整個星球的情感分析。對圖的放大可以顯示對越來越小的區(qū)域的更詳細的情感分析。例如，放大可以允許用戶看見跨國家、該國家中的地區(qū)、該地區(qū)中的城市、該城市中的附近地區(qū)、該附近地區(qū)的一部分、該附近地區(qū)中的特定場所如商店、公園或娛樂設(shè)施、以及該場所的特定部分的情感分析。而縮小可以產(chǎn)生該過程的相反過程。本發(fā)明不限于該能力或這些示例。
[0037]可以將用戶界面實現(xiàn)成允許產(chǎn)生如下述查詢的時空查詢:顯示最快樂的地方；顯示圣地亞哥(San Diego)的觀察到時髦服裝的區(qū)域或另外的地理區(qū)域；顯示具有被觀察到特定情感(例如，高興、驚奇、快樂、有興趣)的人最多的購物中心或另外的預(yù)先指定類型的場所的次數(shù);顯示種族多樣性圖。界面還可以被配置成:允許用戶基于友誼和相似性關(guān)系過濾圖片向量數(shù)據(jù)。例如，可以使得用戶能夠(通過界面)請求顯示與用戶相似的人喜歡的場所或者這樣的人在那里最快樂的場所。
[0038]在此，相似性可以基于可以從圖片識別或估計的人口統(tǒng)計特征或其他人類外表特征。因此，二十多歲的用戶A可以使用界面來定位下述場地:與相同或不同類型的其他場地相比，與他或她年紀(jì)相仿的人在該場地中趨于更經(jīng)常微笑。用戶A可以不關(guān)心初學(xué)走路的孩子、幼兒園兒童、老年人微笑的場所，而是通過界面指定他或她的偏好。此外，系統(tǒng)100可以被配置成自動使它的顯示適合于特定用戶。因此，不管怎樣被獲得(例如，通過用戶登記處理或者基于用戶先前所表達的偏好)，基于用戶的人口統(tǒng)計特征和/或其他特征以及偏好的知識，系統(tǒng)都可以自動集中于具有相似的人口統(tǒng)計特征/特征/偏好的圖片的向量。并且省略沒有足夠相似的人的圖片的向量。
[0039]搜索和圖顯示可以以一天中的時間和/或特定日期為條件。因此，用戶可以在特定時間之間一一例如星期五晚上的快樂時光期間一一指定與用戶相似的具有快樂情感的人的圖的顯示。變化地，用戶可以請求具有表示搜索的向量維度的相對發(fā)生率的不同顏色/陰影的有色或陰影顯示。變化地，當(dāng)其隨著時間變化時，用戶可以請求系統(tǒng)播放圖；例如，用戶可以使用界面來指定特定酒吧中與用戶相似的人在晚上6點至9點之間心情如何變化的顯示。系統(tǒng)100可以以加快的速度“播放”圖，或者當(dāng)用戶期望時，使得用戶能夠例如通過在晚上6點至9點移動滑動控件來播放圖。
[0040]圖2示出了用于生成和顯示(或者以其他方式使用)時空圖的處理200的所選擇的步驟。
[0041]在流程點201處，系統(tǒng)100被加電并且被配置成執(zhí)行處理200的步驟。
[0042]在步驟205中，系統(tǒng)100通過網(wǎng)絡(luò)從裝置180接收圖片。
[0043]在步驟210中，系統(tǒng)100針對圖片中的每一個中的情感內(nèi)容和/或其他內(nèi)容——例如，人類外表特征、動作單元、和/或低級特征一一來分析所接收的圖片。例如，可以通過面部表情、動作單元、和/或低級特征的分類器的集合來分析圖片中的每一個。分類器中的每一個可以被配置并訓(xùn)練成:根據(jù)由圖片中的臉(或者數(shù)個臉，視情況而定)所表現(xiàn)的特定情感或其他人類外表特征的出現(xiàn)或不出現(xiàn)、動作單元、或者低級特征來產(chǎn)生信號輸出。分類器中的每一個可以被配置并訓(xùn)練成用于不同的情感/特征，例如，包括7種主要情感(憤怒、輕蔑、厭惡、恐懼、高興、悲傷、驚奇)和中立表情以及興趣(如厭煩、感興趣、參與)的情感狀態(tài)的表情。另外的分類器可以被配置并訓(xùn)練成產(chǎn)生與上面描述的其他人類外表特征對應(yīng)的信號輸出。因此，對于每個圖片，獲得分類器的有序值的向量。例如，將向量存儲在數(shù)據(jù)庫160中。
[0044]在步驟215中，系統(tǒng)獲得關(guān)于特定任務(wù)(在此，其包括特定搜索和/或基于一些外表相關(guān)的標(biāo)準(zhǔn)或圖片的標(biāo)準(zhǔn)來生成要被顯示的圖或圖覆蓋物)的感興趣的維度的信息。維度可以基于由用戶針對任務(wù)特別提供的一一例如，由用戶針對任務(wù)明確地提供的、和/或在先前時刻(例如，在登記期間，根據(jù)先前的任務(wù)，其他情況)提供的一一用戶參數(shù)。維度還可以基于一些預(yù)定默認參數(shù)。維度可以是關(guān)于一個或更多個情感和/或其他人類外表特征的分類器輸出。
[0045]在步驟220中，系統(tǒng)100生成下述圖或圖覆蓋物:不同地理位置和/或場地的外觀根據(jù)場所/場地中的向量的感興趣的維度而變化。例如，圖片中臉(或者針對被估計成屬于與用戶相似的人——如在與用戶相同的年齡群組內(nèi)，如在相同的十年內(nèi)——的圖片中的臉)的平均快樂維度越高，通過越強的顏色或陰影來表達，反之亦然。例如，針對不同的時間可以生成若干圖或圖覆蓋物。
[0046]在步驟225中，系統(tǒng)100存儲、發(fā)送、顯示、和/或以其他方式使用圖或數(shù)個圖。
[0047]處理200在流程點299處終止，以當(dāng)需要時被重復(fù)。
[0048]圖3示出了根據(jù)本說明書的所選擇的方面的零售情境中的基于情感和外表的時空圖的示例。該圖可以由系統(tǒng)如圖1中的系統(tǒng)100來顯示。圖3中的圖300示出了對以與熱圖類似的性質(zhì)所示的零售環(huán)境的情感分析?？梢詫D中的不同區(qū)域畫陰影或著色以表示由該零售環(huán)境中捕獲的圖像中的臉表現(xiàn)的一個或更多個特定情感或其他人類外表特征的各種等級。例如，區(qū)域310可以表示檢測到情感的最快樂的面部表情的區(qū)域，區(qū)域305圖表示檢測到情感的最不快樂的面部表情的區(qū)域，以及區(qū)域315和區(qū)域320可以表示檢測到快樂的中間面部表情的區(qū)域。
[0049]圖4示出了街道圖情境中的基于情感和外表的時空圖的示例。該圖是能夠縮放的。圖5示出了圖4中的圖的放大部分的示例。可以在放大圖中提供更詳細的情感分析。因此，圖5中的圖示出了圖4中未示出的另外的細節(jié)501和505。
[0050]在一些實施例中，可以使用各種顏色方案來表示情感或其他特征。例如，藍色可以表示快樂，紅色可以表示不快樂?？梢酝ㄟ^顏色的不同強度、通過使用中間顏色、或者以一些其他方式來表示快樂或不快樂的不同等級?？梢蕴峁┏叨纫员硎绢伾c情感或人類特征如何相互關(guān)聯(lián)。優(yōu)選地，對顏色方案進行選擇以提供對情感或人類特征的直觀顯示。
[0051]在一些實施例中，情感分析圖可以基于特定時間幀期間捕獲的圖像、隨著時間聚集的圖像、或者以一些其他方式所選擇的圖像。情感分析可以針對固定時間、可選擇的時間幀、或者可以實時被更新的運動時間幀。
[0052]在一些實施例中，情感分析圖可以表示所有人的特定情感或特征、人們的一些人口統(tǒng)計特征(例如，性別、種族、年齡等)、身著特定風(fēng)格服飾的人、或者人的一些其他群組?？梢詫D例或標(biāo)題與圖一起顯示以表示相關(guān)時間幀、人口統(tǒng)計特征信息、和/或其他相關(guān)信息。
[0053]在一些實施例中，情感分析圖還可以以與圖3、圖4和圖5中所示的方式不同的一些其他方式表示情感或人類特征。例如，可以對表示在空間中運動的人的線著色以表示一個或更多個情感或人類特征。對于另一個示例，可以對表示一些時間段內(nèi)處于某個地方的人的點著色以表示該人的臉?biāo)憩F(xiàn)的特定情感或人類特征。本發(fā)明不限于這些示例中的任一個。
[0054]除了圖3、圖4和圖5中所示的那些以外，本發(fā)明可以適用于許多不同情境。示例包括但不限于對博物館的情感分析、對學(xué)校中的不同教室的情感分析、對任何其他建筑物內(nèi)部的情感分析、對城市的不同部分的情感分析、對跨不同城市或不同城市中的情感分析、對道路的情感分析(例如，以檢測很可能發(fā)生路怒癥的區(qū)域)等。
[0055]除了內(nèi)在要求、明確指出或以其他方式根據(jù)上下文清楚得出的特定特征/要素/限制的出現(xiàn)或不出現(xiàn)以外，可以分別呈現(xiàn)或者以任意組合或排列呈現(xiàn)貫穿本文獻所描述的系統(tǒng)和處理特征。
[0056]盡管在本文獻中順序地描述了處理步驟和決定(如果存在決定塊)，但是也可以通過結(jié)合或并聯(lián)的分開的元件、異步地或同步地、以流水線的方式或者以其他方式來執(zhí)行某些步驟和/或決定。不存在下述特定要求:除了內(nèi)在要求、明顯指出或以其他方式根據(jù)上下文清楚得出的特定順序以外，以與該描述列出的步驟和決定或者附圖示出的步驟和決定相同的順序來執(zhí)行所述步驟和決定。此外，盡管根據(jù)概念尚未明確示出的一些步驟和決定塊在一些實施例中可能是期望的或必需的，但是根據(jù)本文獻中描述的概念可以不要求每個所示的步驟和決定塊出現(xiàn)在每個實施例中。然而，應(yīng)當(dāng)理解，特定實施例/變型/示例使用特定順序，以該特定順序來展示和/或描述步驟和決定(如果可適用)。
[0057]可以直接以硬件、軟件、固件或其組合來實現(xiàn)與本文獻中公開的實施例、變型和示例的方法步驟對應(yīng)的指令(機器可執(zhí)行代碼)?？梢詫④浖K存儲在易失性存儲器、閃速存儲器、只讀存儲器(R0M)、電可編程ROM(EPROM)、電可擦除可編程ROM(EEPROM)、硬盤、CD-R0M、DVD-R0M或者本領(lǐng)域已知的其他形式的非暫態(tài)存儲介質(zhì)(不論易失性還是非易失性)中。示例性存儲介質(zhì)或介質(zhì)可以被耦接至一個或更多個處理器，使得所述一個或更多個處理器可以從存儲介質(zhì)或介質(zhì)讀取信息并且將信息寫到存儲介質(zhì)或介質(zhì)?？商鎿Q地，存儲介質(zhì)或介質(zhì)可集成進一個或更多個處理器。
[0058]本文獻詳細描述了用于時空繪圖和搜索的本發(fā)明的設(shè)備、方法和產(chǎn)品。僅出于說明目的進行了這些描述。特定實施例或其特征不一定對本文獻的公開內(nèi)容的一般原理進行限制。在不偏離如本文中所闡述的本發(fā)明的精神和范圍的情況下，本文中描述的特定特征可以用在一些實施例中，但是不可以用在其他實施例中。部件的各種物理布置以及各種步驟順序也落在公開內(nèi)容的意在范圍內(nèi)。在上述公開內(nèi)容中許多附加修改是預(yù)期的，并且相關(guān)領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，在一些實例中，在缺乏其他特征的相應(yīng)用途的情況下，將采用一些特征。因此，示例性示例不一定限定本發(fā)明的邊界和范圍以及本發(fā)明所給予的法律保護。
【主權(quán)項】
1.一種用于繪圖的計算機實現(xiàn)的方法，所述方法包括以下步驟: 分析多個圖片中的臉的圖像，以生成內(nèi)容向量； 獲得關(guān)于一個或更多個感興趣的向量維度的信息，所述一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)； 生成場所的表示，其中，所述圖中地區(qū)的外觀根據(jù)內(nèi)容向量的所述一個或更多個感興趣的向量維度的值而變化;以及 使用所述表示，所述使用步驟包括存儲、發(fā)送和顯示中的至少一個。2.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，還包括從多個聯(lián)網(wǎng)相機裝置接收所述多個圖像。3.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，所述場所包括地理區(qū)域或建筑物內(nèi)部。4.根據(jù)權(quán)利要求1所述的計算機實現(xiàn)的方法，其中，所述表示包括所述場所的圖和圖覆蓋物。5.根據(jù)權(quán)利要求4所述的計算機實現(xiàn)的方法，其中，所述圖覆蓋物中的顏色表示由內(nèi)容向量的所述一個或更多個感興趣的向量維度的值表示的至少一種情感或人類特征。6.根據(jù)權(quán)利要求5所述的計算機實現(xiàn)的方法，其中，所述圖和所述圖覆蓋物是能夠縮放的，并且該方法還包括:響應(yīng)于放大或縮小顯示所述覆蓋物中的更多或更少的細節(jié)。7.一種基于計算機的系統(tǒng)，被配置成執(zhí)行以下步驟，所述步驟包括: 分析多個圖片中的臉的圖像，以生成內(nèi)容向量； 獲得關(guān)于一個或更多個感興趣的向量維度的信息，所述一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)； 生成場所的表示，其中，所述圖中地區(qū)的外觀根據(jù)內(nèi)容向量的所述一個或更多個感興趣的向量維度的值而變化;以及 使用所述表示，所述使用步驟包括存儲、發(fā)送和顯示中的至少一個。8.根據(jù)權(quán)利要求7所述的基于計算機的系統(tǒng)，其中，所述步驟還包括從多個聯(lián)網(wǎng)相機裝置接收所述多個圖像。9.根據(jù)權(quán)利要求7所述的基于計算機的系統(tǒng)，其中，所述場所包括地理區(qū)域或建筑物內(nèi)部。10.根據(jù)權(quán)利要求7所述的基于計算機的系統(tǒng)，其中，所述表示包括所述場所的圖和圖覆蓋物。11.根據(jù)權(quán)利要求10所述的基于計算機的系統(tǒng)，其中，所述圖覆蓋物中的顏色表示由內(nèi)容向量的所述一個或更多個感興趣的向量維度的值表示的至少一種情感或人類特征。12.根據(jù)權(quán)利要求11所述的基于計算機的系統(tǒng)，其中，所述圖和所述圖覆蓋物是能夠縮放的，并且其中，所述步驟還包括:響應(yīng)于放大或縮小顯示所述覆蓋物中的更多或更少的細-K-T O13.—種包括非瞬態(tài)機器可讀存儲器的產(chǎn)品，所述非瞬態(tài)機器可讀存儲器嵌入有用于繪圖的計算機實現(xiàn)的方法的計算機代碼，所述方法包括以下步驟: 分析多個圖片中的臉的圖像，以生成內(nèi)容向量； 獲得關(guān)于一個或更多個感興趣的向量維度的信息，所述一個或更多個感興趣的維度中的至少一些與情感的面部表情對應(yīng)； 生成所述場所的表示，其中，所述圖中地區(qū)的外觀根據(jù)內(nèi)容向量的所述一個或更多個感興趣的向量維度的值而變化;以及 使用所述表示，所述使用步驟包括存儲、發(fā)送和顯示中的至少一個。14.根據(jù)權(quán)利要求13所述的產(chǎn)品，其中，所述方法還包括從多個聯(lián)網(wǎng)相機裝置接收所述多個圖像。15.根據(jù)權(quán)利要求13所述的產(chǎn)品，其中，所述場所包括地理區(qū)域或建筑物內(nèi)部。16.根據(jù)權(quán)利要求13所述的產(chǎn)品，其中，所述表示包括所述場所的圖和圖覆蓋物。17.根據(jù)權(quán)利要求16所述的產(chǎn)品，其中，所述圖覆蓋物中的顏色表示由內(nèi)容向量的所述一個或更多個感興趣的向量維度的值表示的至少一種情感或人類特征。18.根據(jù)權(quán)利要求17所述的產(chǎn)品，其中，所述圖和所述圖覆蓋物是能夠縮放的，并且其中，所述方法還包括:響應(yīng)于放大或縮小顯示所述覆蓋物中的更多或更少的細節(jié)。
【文檔編號】G09B29/00GK105830096SQ201480055731
【公開日】2016年8月3日
【申請日】2014年8月15日
【發(fā)明人】雅維耶·莫韋利安, 約斯瓦·薩斯坎德
【申請人】埃莫蒂安特公司