下文一般地涉及情感檢測，并且更具體地，涉及用于檢測不可見人類情感的基于圖像捕獲的系統(tǒng)和方法。

背景技術(shù)：

人類具有豐富的情感生活。超過90％的時間，雖然我們內(nèi)心經(jīng)歷豐富的情感，但我們的面部表情卻不露聲色。這些不可見情感刺激我們大部分的行為決定。如何準(zhǔn)確地揭示不可見情感已成為一個多世紀(jì)以來大量科學(xué)研究的焦點?，F(xiàn)有方法仍高度技術(shù)化和/或昂貴，使得它們僅可用于獲大量資助的醫(yī)療和研究目的，但尚不可用于包括諸如產(chǎn)品測試或市場分析之類的實際應(yīng)用的廣泛的日常使用。

用于情感檢測的無創(chuàng)傷且便宜的技術(shù)(例如，計算機視覺)完全依賴于面部表情，因此對于盡管經(jīng)歷大量不可見內(nèi)在情感卻無表情的個體是無效的。存在大量證據(jù)表明諸如腦和表面血流之類的生理信號可以提供關(guān)于個體的內(nèi)在情感狀態(tài)的可靠信息，并且不同的情感以獨特的生理反應(yīng)模式為特征。不同于基于面部表情的方法，即使當(dāng)個體面無表情時，基于生理信息的方法也可以檢測個體的內(nèi)在情感狀態(tài)。通常，研究人員通過將傳感器附著于面部或身體來檢測這類生理信號。測謊儀、肌電圖(emg)以及腦電圖(eeg)是這類技術(shù)的示例，并且是高度技術(shù)化、無創(chuàng)傷、和/或昂貴的。它們還受制于主體的運動偽影和操縱。

存在基于各種成像技術(shù)來檢測不可見情感的若干方法。雖然功能磁共振成像(fmri)不要求將傳感器附著到身體，但它過于昂貴并且易受可能導(dǎo)致不可靠讀數(shù)的運動偽影的影響。替代地，可以采用高光譜成像來捕獲心輸出量或“血流”的增加或減少，這種增加或減少然后可能與情感狀態(tài)有關(guān)。使用高光譜圖像帶來的缺點包括存儲和處理方面的成本和復(fù)雜度。

技術(shù)實現(xiàn)要素：

一方面，提供了一種用于根據(jù)主體的捕獲圖像序列檢測該主體所表達的不可見人類情感的系統(tǒng)，該系統(tǒng)包括圖像處理單元，該圖像處理單元被訓(xùn)練以確定該捕獲圖像序列中表示主體的血紅蛋白濃度(hc)變化的多個圖像的位面集，并基于hc變化來檢測主體的不可見情感狀態(tài)，該圖像處理單元是使用包括情感狀態(tài)已知的一組主體的訓(xùn)練集來訓(xùn)練的。

另一方面，提供了一種用于檢測主體所表達的不可見人類情感的方法，該方法包括：捕獲主體的圖像序列，確定捕獲的圖像序列中表示主體的血紅蛋白濃度(hc)變化的多個圖像的位面集，以及使用如下模型來基于hc變化檢測主體的不可見情感狀態(tài)，該模型是使用包括情感狀態(tài)已知的一組主體的訓(xùn)練集來訓(xùn)練的。

還提供了一種用于不可見情感檢測的方法。

附圖說明

本發(fā)明的特征在參考附圖的下列詳細描述中將變得更加清楚，其中：

圖1是用于不可見情感檢測的透皮光學(xué)成像系統(tǒng)的框圖；

圖2示出了光從皮膚表皮和皮下層的再發(fā)射；

圖3是一組表面及相應(yīng)的透皮圖像，示出了與特定時間點的特定人類主體的不可見情感相關(guān)聯(lián)的血紅蛋白濃度的變化；

圖4是將經(jīng)歷積極、消極、以及中性情感狀態(tài)的主體的前額的血紅蛋白濃度變化示出為時間(秒)的函數(shù)的繪圖；

圖5是將經(jīng)歷積極、消極、以及中性情感狀態(tài)的主體的鼻子的血紅蛋白濃度變化示出為時間(秒)的函數(shù)的繪圖；

圖6是將經(jīng)歷積極、消極、以及中性情感狀態(tài)的主體的面頰的血紅蛋白濃度變化示出為時間(秒)的函數(shù)的繪圖；

圖7是示出全自動透皮光學(xué)成像和不可見情感檢測系統(tǒng)的流程圖；

圖8是系統(tǒng)產(chǎn)生的示例性報告；

圖9是用于優(yōu)化的血紅蛋白圖像組合的數(shù)據(jù)驅(qū)動機器學(xué)習(xí)系統(tǒng)的圖示；

圖10是用于多維不可見情感模型建立的數(shù)據(jù)驅(qū)動機器學(xué)習(xí)系統(tǒng)的圖示；

圖11是自動不可見情感檢測系統(tǒng)的圖示；以及

圖12是存儲細胞。

具體實施方式

現(xiàn)在將參考附圖描述實施例。為說明的簡單和清楚起見，在認為適當(dāng)?shù)那闆r下，可以在附圖之間重復(fù)參考標(biāo)號以指示對應(yīng)的或類似的元件。此外，闡述了許多具體細節(jié)以便提供本文描述的實施例的透徹的理解。然而，本領(lǐng)域普通技術(shù)人員將理解，可以在沒有這些具體細節(jié)的情況下實施本文描述的實施例。在其他實例中，未詳細描述公知的方法、過程以及組件以免模糊本文描述的實施例。此外，本說明不應(yīng)被認為限制本文描述的實施例的范圍。

除非上下文另有指示，否則可以如下解讀和理解本說明書通篇所使用的各個術(shù)語：如通篇使用的，“或”是包括性的，如同寫成“和/或”；如通篇使用的，單數(shù)冠詞和代詞包括它們的復(fù)數(shù)形式，反之亦然；類似地，性別代詞包括它們的對應(yīng)代詞，從而代詞不應(yīng)被理解為將本文描述的任何內(nèi)容限制為由單個性別使用、實現(xiàn)、執(zhí)行等；“示例性”應(yīng)被理解為“說明性”或“舉例”并且不一定相對于其他實施例是“優(yōu)選”的?？梢栽诒疚年愂鲂g(shù)語的其他定義；如通過閱讀本說明書將理解的，這些其他定義可應(yīng)用于那些術(shù)語的在先和后續(xù)的實例。

本文舉例的執(zhí)行指令的任意模塊、單元、組件、服務(wù)器、計算機、終端、引擎或設(shè)備可包括計算機可讀介質(zhì)或以其他方式訪問計算機可讀介質(zhì)，計算機可讀介質(zhì)例如是存儲介質(zhì)、計算機存儲介質(zhì)、或諸如磁盤、光盤、或磁帶之類的數(shù)據(jù)存儲設(shè)備(可移除的和/或不可移除的)。計算機存儲介質(zhì)可包括以用于存儲信息(例如，計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其他數(shù)據(jù))的任意方法或技術(shù)實現(xiàn)的易失性和非易失性、可移除和不可移除介質(zhì)。計算機存儲介質(zhì)的示例包括ram、rom、eeprom、閃速存儲器或其他存儲器技術(shù)、cd-rom、數(shù)字通用盤(dvd)或其他光存儲裝置、磁帶盒、磁帶、磁盤存儲裝置或其他磁存儲設(shè)備、或可用于存儲期望信息并可由應(yīng)用、模塊或二者訪問的任意其它介質(zhì)。任意這類計算機存儲介質(zhì)可以是設(shè)備的一部分或可供設(shè)備訪問或可以連接到設(shè)備。此外，除非上下文另有清楚指示，否則本文陳述的任意處理器或控制器可被實現(xiàn)為單個處理器或多個處理器。多個處理器可以是陣列式的或分布式的，并且可以通過一個或多個處理器來執(zhí)行本文提及的任意處理功能，即使可能以單個處理器為例。本文描述的任意方法、應(yīng)用或模塊可以使用可由這類計算機可讀介質(zhì)存儲或以其他方式保持并且由一個或多個處理器執(zhí)行的計算機可讀/可執(zhí)行指令來實現(xiàn)。

下文一般地涉及情感檢測，并且更具體地，涉及用于檢測不可見的人類情感(特別是在一系列圖像或視頻中捕獲的個體的不可見情感狀態(tài))的基于圖像捕獲的系統(tǒng)和方法。系統(tǒng)提供了用于以高置信度檢測不可見情感狀態(tài)的遠程且無創(chuàng)傷的方法。

交感神經(jīng)系統(tǒng)和副交感神經(jīng)系統(tǒng)對情感有反應(yīng)。已經(jīng)發(fā)現(xiàn)，個體的血流是由交感神經(jīng)系統(tǒng)和副交感神經(jīng)系統(tǒng)控制的，這超出絕大多數(shù)個體的意識控制。因此，可以通過監(jiān)測個體的血流來容易地檢測個體內(nèi)在經(jīng)歷的情感。內(nèi)在情感系統(tǒng)通過調(diào)整自主神經(jīng)系統(tǒng)(ans)的激活來使人類準(zhǔn)備好處理環(huán)境中的不同情況；交感神經(jīng)系統(tǒng)和副交感神經(jīng)系統(tǒng)在情感調(diào)節(jié)中起不同的作用，前者上調(diào)戰(zhàn)斗-逃跑反應(yīng)而后者用于下調(diào)應(yīng)激反應(yīng)?；厩楦芯哂胁煌腶ns特征。大部分面部(例如，眼瞼、面頰以及下巴)中的血流主要由交感神經(jīng)血管擴張神經(jīng)元控制，而鼻子和耳朵中的血流主要由交感神經(jīng)血管收縮神經(jīng)元控制；相反，前額區(qū)域中的血流由交感神經(jīng)血管擴張和副交感神經(jīng)血管擴張二者進行神經(jīng)支配。因此，不同的內(nèi)在情感狀態(tài)在面部的不同部分具有不同的空間和時間激活模式。通過從系統(tǒng)捕獲血紅蛋白數(shù)據(jù)，可以提取各個特定面部區(qū)域中的面部血紅蛋白濃度(hc)變化。然后將來自個體的這些多維和動態(tài)數(shù)據(jù)陣列與下面將更詳細討論的基于規(guī)范數(shù)據(jù)的計算模型進行比較。通過這種比較，可以做出關(guān)于個體的內(nèi)在情感狀態(tài)的基于可靠統(tǒng)計的推論。由于ans所控制的面部血紅蛋白活動不易服從意識控制，因此這類活動提供了進入個體的真正最深處情感的良好窗口。

已經(jīng)發(fā)現(xiàn)，可以從傳統(tǒng)數(shù)字相機拍攝的原始圖像分離出血紅蛋白濃度(hc)，并將hc的時空變化與人類情感相關(guān)聯(lián)?，F(xiàn)在參考圖2，顯示了示出光從皮膚的再發(fā)射的圖示。光(201)在皮膚(202)下面行進，并且在穿過不同的皮膚組織之后再發(fā)射(203)。然后可以通過光學(xué)相機捕獲再發(fā)射的光(203)。影響再發(fā)射的光的主要發(fā)色團是黑色素和血紅蛋白。由于黑色素和血紅蛋白具有不同的顏色特征，已經(jīng)發(fā)現(xiàn)，可以獲得如圖3所示的主要反映表皮下面的hc的圖像。

系統(tǒng)實現(xiàn)了兩步驟方法以生成適合于輸出人類主體的情感狀態(tài)屬于多個情感中的一個情感的估計統(tǒng)計概率以及給定任意主體的視頻序列時該情感狀態(tài)的歸一化強度量度的規(guī)則。系統(tǒng)可以檢測的情感對應(yīng)于系統(tǒng)被訓(xùn)練的那些情感。

現(xiàn)在參考圖1，示出了用于不可見情感檢測的系統(tǒng)。該系統(tǒng)包括互連的元件，包括圖像處理單元(104)、圖像濾波器(106)、以及圖像分類機(105)。該系統(tǒng)還可包括相機(100)和存儲設(shè)備(101)，或可以通信地鏈接到存儲設(shè)備(101)，該存儲設(shè)備(101)被預(yù)加載和/或定期性地加載有從一個或多個相機(100)捕獲的視頻成像數(shù)據(jù)。圖像分類機(105)被使用圖像的訓(xùn)練集(102)進行訓(xùn)練，并且可操作來針對從相機(100)所捕獲的圖像生成、由圖像濾波器(106)處理、并存儲在存儲設(shè)備(102)上的圖像的查詢集執(zhí)行分類。

現(xiàn)在參考圖7，顯示了示出全自動透皮光學(xué)成像和不可見情感檢測系統(tǒng)的流程圖。系統(tǒng)執(zhí)行圖像登記(registration)701以記錄關(guān)于具有未知情感狀態(tài)的主體所捕獲的視頻序列的輸入、血紅蛋白圖像提取702、roi選擇703、多roi時空血紅蛋白數(shù)據(jù)提取704、不可見情感模型705應(yīng)用、數(shù)據(jù)映射706(用于映射變化的血紅蛋白模式)、情感檢測707、以及報告生成708。圖11描繪了自動不可見情感檢測系統(tǒng)的另一此類圖示。

圖像處理單元獲取每個所捕獲的圖像或視頻流，并對圖像執(zhí)行操作以生成主體的相應(yīng)的經(jīng)優(yōu)化的hc圖像。圖像處理單元分離出所獲取的視頻序列中的hc。在示例性實施例中，使用數(shù)字相機以每秒30幀的速度拍攝主體的面部的圖像。將理解的是，可以利用替代的數(shù)字相機和照明條件來執(zhí)行該處理。

通過以下處理來實現(xiàn)對hc的分離：分析視頻序列中的位面以確定并分離出提供高信噪比(snr)的位面集并因此優(yōu)化面部表皮(或任意部分的人類表皮)上的不同情感狀態(tài)之間的信號區(qū)分。參考構(gòu)成所捕獲的視頻序列的圖像的第一訓(xùn)練集來確定高snr位面，該圖像的第一訓(xùn)練集與來自從其獲得訓(xùn)練集的人類主體的ekg、氣動呼吸、血壓、激光多普勒數(shù)據(jù)相耦合。ekg和氣動呼吸數(shù)據(jù)被用來移除hc數(shù)據(jù)中的心臟、呼吸、以及血壓數(shù)據(jù)以防止這類活動掩蓋hc數(shù)據(jù)中的更微秒的情感相關(guān)的信號。第二步驟包括訓(xùn)練機器以使用從大量人類主體的樣本的經(jīng)優(yōu)化的“位面”圖像提取的感興趣區(qū)域(“roi”)中的表皮hc變化的時空信號模式來建立針對特定情感的計算模型。

為進行訓(xùn)練，捕獲暴露于已知引起特定情感反應(yīng)的刺激的測試主體的視頻圖像?？梢詫挿旱貙Ψ磻?yīng)進行分組(中性、積極、消極)，或更詳細地對反應(yīng)進行分組(痛苦、高興、焦慮、悲傷、沮喪、好奇、喜悅、厭惡、憤怒、驚訝、蔑視等)。在另外的實施例中，可以捕獲每個情感狀態(tài)中的等級。優(yōu)選地，主體受指示以不在面部表達任何情感，從而所測量的情感反應(yīng)是不可見情感并且與hc中的變化相分離。為確保主體不在面部表情中“泄漏”情感，可以利用面部情感表情檢測程序來分析表面圖像序列。如下所述，還可以使用ekg機、氣動呼吸機、連續(xù)血壓機、以及激光多普勒機來采集ekg、氣動呼吸、血壓、以及激光多普勒數(shù)據(jù)，并且這些數(shù)據(jù)提供了額外的信息以降低來自位面分析的噪聲。

手動或自動地為視頻圖像定義情感檢測的roi(例如，前額、鼻子、以及臉頰)?；诒绢I(lǐng)域關(guān)于hc具體表明其情感狀態(tài)的roi的知識來優(yōu)選地選擇這些roi。使用包括所有三個r、g、b信道的所有位面的本地圖像來提取在特定情感狀態(tài)(例如，積極)下每個roi上在特定時間段(例如，10秒)內(nèi)改變的信號。可以針對其他情感狀態(tài)(例如，消極或中性)重復(fù)該處理。ekg和氣動呼吸數(shù)據(jù)可被用來濾除圖像序列上的心臟、呼吸器、以及血壓信號以防止非情感系統(tǒng)hc信號掩蓋真實的情感相關(guān)的hc信號?？梢詫kg、呼吸、以及血壓數(shù)據(jù)使用快速傅里葉變換(fft)以獲取ekg、呼吸、以及血壓的峰值頻率，然后可以使用陷波濾波器來移除具有以這些頻率為中心的時間頻率的roi上的hc活動。可以使用獨立分量分析(ica)來實現(xiàn)相同的目標(biāo)。

現(xiàn)在參考圖9，示出了用于優(yōu)化的血紅蛋白圖像組合的數(shù)據(jù)驅(qū)動機器學(xué)習(xí)的圖示。使用來自兩個或更多個情感狀態(tài)901和902的roi的經(jīng)過濾的信號，采用機器學(xué)習(xí)903來系統(tǒng)地標(biāo)識將顯著增加不同情感狀態(tài)之間的信號區(qū)分的位面904以及不影響或降低不同情感狀態(tài)之間的信號區(qū)分的位面。在丟棄后者之后，獲得最優(yōu)地區(qū)分感興趣的情感狀態(tài)的剩余位面圖像905。為進一步改善snr，可以將結(jié)果重復(fù)地反饋到機器學(xué)習(xí)903處理直到snr達到最優(yōu)漸近值。

機器學(xué)習(xí)處理涉及使用圖像減法和加法來操縱位面向量(例如，8×8×8、16×16×16)以針對一部分(例如，70％、80％、90％)主體數(shù)據(jù)來最大化一段時間內(nèi)不同情感狀態(tài)之間的所有roi中的信號差異，并驗證剩余主體數(shù)據(jù)。以像素方式執(zhí)行加法或減法。使用現(xiàn)有機器學(xué)習(xí)算法(長短期存儲(lstm)神經(jīng)網(wǎng)絡(luò)、gpnet、或適當(dāng)?shù)奶娲惴?來高效地獲取關(guān)于不同情感狀態(tài)之間的區(qū)分在精度方面的提升、貢獻最佳信息的(一個或多個)位面、以及在特征選擇方面沒有影響的位面的信息。長短期存儲(lstm)神經(jīng)網(wǎng)絡(luò)和gpnet允許我們執(zhí)行組特征選擇和分類。下面更詳細地討論lstm和gpnet機器學(xué)習(xí)算法。通過該處理，獲取將被從圖像序列分離出以反映hc中的時間變化的位面集。圖像濾波器被配置為在下述后續(xù)步驟中分離出所標(biāo)識的位面。

圖像分類機105(先前已經(jīng)利用使用上面的方法捕獲的圖像的訓(xùn)練集來訓(xùn)練)將所捕獲的圖像分類為與情感狀態(tài)相對應(yīng)。在第二步驟中，使用從上面提供的經(jīng)優(yōu)化位面圖像導(dǎo)出的主體情感數(shù)據(jù)的新訓(xùn)練集，再次采用機器學(xué)習(xí)來建立感興趣的情感狀態(tài)(例如，積極、消極以及中性)的計算模型?，F(xiàn)在參考圖10，示出了用于多維不可見情感模型建立的數(shù)據(jù)驅(qū)動的機器學(xué)習(xí)的圖示。為創(chuàng)建這樣的模型，征募第二組訓(xùn)練主體(優(yōu)選地，具有不同皮膚類型的新的多種族訓(xùn)練主體組)，并在他們暴露于引起已知情感反應(yīng)(例如，積極、消極、中性)的刺激時獲取圖像序列1001。示例性刺激集是已常用于誘發(fā)情感的國際情緒圖片系統(tǒng)(internationalaffectivepicturesystem)以及其他良好建立的情感誘發(fā)范例。對圖像序列1001應(yīng)用圖像濾波器以生成高hcsnr圖像序列。刺激還可包括非視覺方面，例如，聽覺、味覺、嗅覺、觸覺、或其他感覺刺激、或其組合。

使用從位面濾波圖像1002導(dǎo)出的主體情感數(shù)據(jù)1003的該新訓(xùn)練集，再次使用機器學(xué)習(xí)來建立感興趣的情感狀態(tài)(例如，積極、消極以及中性)的計算模型1003。注意，用于標(biāo)識最優(yōu)地區(qū)分感興趣的情感狀態(tài)的剩余位面濾波圖像的感興趣的情感狀態(tài)與用于建立感興趣的情感狀態(tài)的計算模型的狀態(tài)必須是相同的。對于不同的感興趣的情感狀態(tài)，必須在后者開始之前重復(fù)前者。

機器學(xué)習(xí)處理同樣涉及一部分主體數(shù)據(jù)(例如，70％、80％、90％的主體數(shù)據(jù))并使用剩余的主體數(shù)據(jù)來驗證模型。該第二機器學(xué)習(xí)處理因此產(chǎn)生所訓(xùn)練的情感的單獨的多維(空間和時間)計算模型1004。

為建立不同的情感模型，當(dāng)主體正在觀察特定情感誘發(fā)刺激時，每個主體的面部圖像的每個像素上的面部hc變化數(shù)據(jù)被(從步驟1)作為時間的函數(shù)提取。為提高snr，根據(jù)前面提到的多個roi的不同底層ans調(diào)節(jié)機制來將主體的面部劃分為多個roi，并且平均每個roi中的數(shù)據(jù)。

現(xiàn)在參考圖4，顯示了示出主體前額的血紅蛋白分布差異的繪圖。雖然人類和基于計算機的面部表情檢測系統(tǒng)均不可檢測任何面部表情差異，但透皮圖像示出了積極401、消極402以及中性403條件之間的血紅蛋白分布的顯著差異。在圖5和圖6中分別可以看出主體的鼻子和面頰的血紅蛋白分布的差異。

同樣可以使用長短期存儲(lstm)神經(jīng)網(wǎng)絡(luò)、gpnet、或諸如非線性支持向量機之類的適當(dāng)?shù)奶娲?、以及深度學(xué)習(xí)來評估跨主體的血紅蛋白變化的通用時空模式的存在。在來自主體的一部分(例如，70％、80％、90％)的透皮數(shù)據(jù)上訓(xùn)練長短期存儲(lstm)神經(jīng)網(wǎng)絡(luò)或gpnet機或替代物以獲取針對三個不可見情感分類中的每個不可見情感分類的多維計算模型。然后在來自剩余訓(xùn)練主體的數(shù)據(jù)上測試這些模型。

遵循這些步驟，現(xiàn)在可能獲取任意主體的視頻序列并將從所選位面提取的hc應(yīng)用于感興趣的情感狀態(tài)的計算模型。輸出將是：(1)主體的情感狀態(tài)屬于所訓(xùn)練的情感中的一個情感的估計統(tǒng)計概率，以及(2)這樣的情感狀態(tài)的歸一化強度量度。對于長的運行視頻流，當(dāng)情感狀態(tài)變化并且強度波動時，可以報告依賴于基于移動時間窗口(例如，10秒)的hc數(shù)據(jù)的概率估計和強度得分隨時間的變化。將理解的是，分類的置信水平可以小于100％。

在另外的實施例中，可以使用以腕表、腕帶、手帶、衣服、鞋類、眼鏡或方向盤的形式指向或直接附著于任意身體部分(例如，腕或前額)的皮膚的光學(xué)傳感器。系統(tǒng)還可以從這些身體區(qū)域提取與情感相關(guān)聯(lián)的動態(tài)血紅蛋白變化，同時移除心跳偽影以及諸如運動和熱干擾之類的其他偽影。

在另外的實施例中，系統(tǒng)可被安裝在與人類進行交互的機器人及其變體(例如，人形機器人、類人機器人)中，以使得機器人能夠檢測正在與機器人進行交互的人類的面部或其他身體部分的血紅蛋白變化。因此，配備有透皮光學(xué)成像能力的機器人讀取人類的不可見情感和其他血紅蛋白變化相關(guān)活動以增強人機交互。

現(xiàn)在將更詳細地描述針對以下操作的兩個示例實現(xiàn)方式：(1)獲取關(guān)于情感狀態(tài)之間的區(qū)分在精度方面的改進的信息，(2)標(biāo)識貢獻最佳信息的位面以及在特征選擇方面沒有影響的位面，以及(3)評估跨主體的血紅蛋白變化的通用時空模式的存在。第一個這樣的實現(xiàn)方式是遞歸神經(jīng)網(wǎng)絡(luò)并且第二個這樣的實現(xiàn)方式是gpnet機。

一個遞歸神經(jīng)網(wǎng)絡(luò)被稱為長短期存儲(lstm)神經(jīng)網(wǎng)絡(luò)，該lstm神經(jīng)網(wǎng)絡(luò)是指定用于序列數(shù)據(jù)分析和預(yù)測的一類神經(jīng)網(wǎng)絡(luò)模型。lstm神經(jīng)網(wǎng)絡(luò)包括至少三層單元。第一層為輸入層，接受輸入數(shù)據(jù)。第二層(以及可能的額外層)為隱藏層，包括存儲單元(見圖12)。最后一層為輸出層，該輸出層使用邏輯回歸來基于隱藏層生成輸出值。

如所示出的，每個存儲單元包括四個主要元素：輸入門、具有自遞歸連接(到它自身的連接)的神經(jīng)元、遺忘門以及輸出門。自遞歸連接具有1.0的權(quán)重并確保(除任何外部干擾以外)存儲單元的狀態(tài)從一個時間步驟到另一時間步驟可以保持不變。這些門用于調(diào)制存儲單元自身與其環(huán)境之間的交互。輸入門準(zhǔn)許或防止傳入信號更改存儲單元的狀態(tài)。另一方面，輸出門可以準(zhǔn)許或防止存儲單元的狀態(tài)影響其他神經(jīng)元。最后，遺忘門可以調(diào)制存儲單元的自遞歸連接，準(zhǔn)許該單元按需記住或遺忘其之前的狀態(tài)。

下面的等式描述了如何在每個時間步驟t對存儲單元層進行更新。在這些等式中：xt為時刻t時到存儲單元層的輸入陣列。在本申請中，這是所有roi處的血流信號：

wi、wf、wc、wo、ui、uf、uc、uo以及vo為權(quán)重矩陣；并且bi、bf、bc以及bo為偏差向量。

首先，我們計算在時刻t時輸入門it和存儲單元的狀態(tài)的候選值的值：

it＝σ(wixt+uiht-1+bi)

然后，我們計算在時刻t時存儲單元的遺忘門的激活ft的值：

ft＝σ(wfxt+ufht-1+bf)

給定輸入門激活it、遺忘門激活ft以及候選狀態(tài)值的值，我們可以計算在時刻t時存儲單元的新狀態(tài)ct：

利用存儲單元的新狀態(tài)，我們可以計算它們的輸出門的值并隨后計算它們的輸出：

ot＝σ(woxt+uoht-1+voct+bo)

ht＝ot*tanh(ct)

基于存儲單元的模型，對于在每個時間步驟的血流分布，我們可以計算來自存儲單元的輸出。因此，根據(jù)輸入序列x0、x1、x2、……、xn，lstm層中的存儲單元將產(chǎn)生表征序列h0、h1、h2、……、hn。

目標(biāo)是將序列分類到不同的條件。邏輯回歸輸出層基于來自lstm隱藏層的表征序列生成每個條件的概率?？梢匀缦掠嬎阍跁r間步驟t的概率向量：

pt＝softmax(woutputht+boutput)

其中，woutput為從隱藏層到輸出層的權(quán)重矩陣，并且boutput為輸出層的偏差向量。具有最大累計概率的條件將是該序列的預(yù)測條件。

gpnet計算分析包括下列三個步驟：(1)特征提取、(2)貝葉斯(bayesian)稀疏組特征選擇、以及(3)貝葉斯稀疏組特征分類。

對于每個主體，使用表面圖像、透皮圖像或二者，可以針對條件t1、t2、t3、以及t4等(例如，基線、積極、消極、以及中性)來提取級聯(lián)特征向量vt1、vt2、vt3、vt4。來自t1的圖像被視為將要從t2、t3、以及t4的圖像減去的背景信息。作為示例，當(dāng)對t2和t3進行分類時，計算差值向量vt2\1＝vt2-vt1和vt3\1＝vt3-vt1。集合來自所有主體的差值向量，形成兩個差異矩陣vt2\1和vt3\1，其中，vt2\1或vt3\1的每行是來自一個主體的差值向量。矩陣被歸一化以使得它的每列具有標(biāo)準(zhǔn)差1。然后，經(jīng)歸一化的vt2，3\1被視為用于以下貝葉斯分析的設(shè)計矩陣。當(dāng)對t4和t3進行分類時，采用相同的形成差值向量和矩陣并聯(lián)合歸一化vt4\1和vt3\1的列的過程。

已經(jīng)開發(fā)了在各個時間點對經(jīng)歸一化的視頻進行分類并聯(lián)合標(biāo)識與分類任務(wù)有關(guān)的區(qū)域的經(jīng)驗貝葉斯途徑。提供了使得對相關(guān)區(qū)域的選擇以及到等同高斯處理模型的轉(zhuǎn)換能夠大大減少計算成本的稀疏貝葉斯模型?？梢允褂孟袼迫缓瘮?shù)那樣表示二進制狀態(tài)(例如，正對負)的概率的概率單位模型：y＝[y1，…，yn]。給定有噪聲特征向量：x＝[x1，…，xn]以及分類器w：其中，函數(shù)φ(·)為高斯累積密度函數(shù)。為對分類器w中的不確定度進行建模，對其分配高斯先驗：

其中，wj為與在以j為索引的特定時刻的roi相對應(yīng)的分類器權(quán)重，αj控制第j個區(qū)域的相關(guān)性，以及j為在所有時間點的aoi的總數(shù)。由于先驗具有零均值，因此若方差αj非常小，則第j個區(qū)域的權(quán)重將以0為中心，指示第j個區(qū)域?qū)τ诜诸惾蝿?wù)具有較小的相關(guān)性。相反，若αj較大，則第j個區(qū)域?qū)τ诜诸惾蝿?wù)是重要的。為從另一角度查看該關(guān)系，可以經(jīng)由簡單的線性變換來對似然函數(shù)和先驗進行再參數(shù)化：

p(w)＝n(w|0，i)

其中，xij為從第i個主體的第j個區(qū)域提取的特征向量。該模型在以下意義上等價于前一模型：它們在經(jīng)分類器w積分之后給出相同的模型邊際似然性：p(y|x，α)＝∫p(y|x，w)p(w|α)dα。

在該新的等價模型中，αj依比例決定(scale)分類器權(quán)重wj。明顯地，αj越大，則第j個區(qū)域?qū)τ诜诸愒较嚓P(guān)。

為發(fā)現(xiàn)每個區(qū)域的相關(guān)性，采用經(jīng)驗貝葉斯策略。模型邊際似然性p(y|x，α)相對于方差參數(shù)α＝[α1，…，αj]上被最大化。由于該邊際似然性為概率分布(即，它總是被歸一化為一)，因此將其最大化將自然地推動后驗分布集中于α的子空間；換句話說，αj的許多元素將具有較小的值或甚至變?yōu)榱?，因此，相?yīng)區(qū)域變得不相關(guān)并且僅若干重要區(qū)域?qū)⒈贿x擇。

然而，邊際似然性的直接優(yōu)化將要求計算分類器w的后驗分布。由于數(shù)據(jù)的高維數(shù)，諸如馬爾科夫鏈蒙特卡洛(markovchainmontecarlo)之類的經(jīng)典蒙特卡洛方法將在它們的收斂之前招致過高的計算成本。若使用經(jīng)典拉普拉斯(laplace)方法來通過高斯函數(shù)近似后驗分布(這將需要在一些優(yōu)化迭代內(nèi)部對w的極大協(xié)方差矩陣求逆)，則總計算成本將為o(kd³)，其中，d為x的維數(shù)并且k為優(yōu)化迭代次數(shù)。同樣，計算成本過高。

為解決該計算挑戰(zhàn)，開發(fā)了新的高效稀疏貝葉斯學(xué)習(xí)算法。核心思想是根據(jù)數(shù)據(jù)構(gòu)建等價高斯處理模型并高效地訓(xùn)練gp模型而非原始模型。然后應(yīng)用期望傳播來訓(xùn)練gp模型。它的計算成本為o(n³)階，其中，n為主體的數(shù)目。因此，顯著降低了計算成本。在獲得gp模型的后驗處理之后，然后使用期望最大化算法來迭代地優(yōu)化方差參數(shù)α。

現(xiàn)在參考圖8，顯示了示出用于檢測人類情感的系統(tǒng)的輸出的示例性報告。該系統(tǒng)可以將唯一客戶編號801歸屬于給定主體的名字802和性別803。利用給定概率805來標(biāo)識情感狀態(tài)804。標(biāo)識情感強度等級806，以及情感強度指數(shù)得分807。在實施例中，報告可以包括隨時間811將被示作主體808基于給定roi809所感受的情感與模型數(shù)據(jù)810進行比較的曲線圖。

上述系統(tǒng)和方法可被應(yīng)用于多個領(lǐng)域，特別地包括營銷、廣告以及銷售，這是由于積極情感通常與購買行為和品牌忠誠度相關(guān)聯(lián)，而消極情感則相反。在實施例中，系統(tǒng)可以在個體暴露于商業(yè)廣告、使用給定產(chǎn)品或在零售環(huán)境中瀏覽時采集個體的視頻。然后可以實時分析視頻以提供關(guān)于產(chǎn)品或廣告的多個方面的實時用戶反饋。所述技術(shù)可以輔助標(biāo)識誘發(fā)購買決定所需的情感以及產(chǎn)品被積極還是消極地接收。

在實施例中，該系統(tǒng)可被用在醫(yī)療行業(yè)。醫(yī)生、牙醫(yī)、心理學(xué)家、精神病學(xué)家等可以使用該系統(tǒng)來了解病人所感受的真實情感以支持更好的治療、處方等。

國土安全以及地方警察當(dāng)前使用相機作為海關(guān)檢查或訊問過程的一部分?？梢允褂迷撓到y(tǒng)來標(biāo)識對安全形成威脅或正在說謊的個體。在另外的實施例中，可以使用該系統(tǒng)來輔助嫌疑人的訊問或關(guān)于目擊者的信息收集。

教育工作者還可以使用該系統(tǒng)來標(biāo)識學(xué)生關(guān)于主題、想法、教學(xué)方法等所感受的真實情感。

公司和人力資源部門也可以應(yīng)用該系統(tǒng)。公司可以使用該系統(tǒng)來監(jiān)測員工的壓力和情緒。此外，該系統(tǒng)還可用于標(biāo)識個體在面試環(huán)境或其他人力資源過程中所感受的情感。

該系統(tǒng)可用于標(biāo)識員工在運輸或軍事環(huán)境中所感受的情緒、壓力以及疲勞程度。例如，疲勞的駕駛員、飛行員、隊長、士兵等可被標(biāo)識為過于疲勞而不能有效地繼續(xù)輪班工作。除了可能由運輸行業(yè)制定的安全改進之外，還可以導(dǎo)出通知調(diào)度的分析。

在另一方面，該系統(tǒng)可用于約會申請人。通過了解響應(yīng)于潛在合作伙伴所感受的情感，可以使得用于向給定用戶呈現(xiàn)潛在合作伙伴的篩選過程更有效。

在又一方面，該系統(tǒng)可以由尋求降低與貿(mào)易實務(wù)或貸款有關(guān)的風(fēng)險的金融機構(gòu)來使用。該系統(tǒng)可以提供對交易者所感受的情感或壓力水平的洞察，為風(fēng)險交易提供制衡。

該系統(tǒng)可以由試圖評估用戶對于特定詞匯、短語、銷售策略等的反應(yīng)電話銷售員使用，這些反應(yīng)可能告知最佳銷售方法以激發(fā)品牌忠誠度或完成銷售。

在另外的實施例中，該系統(tǒng)可被用作情感神經(jīng)科學(xué)中的工具。例如，該系統(tǒng)可以與mri或nirs或eeg系統(tǒng)相耦合以不僅測量與主體的情感相關(guān)聯(lián)的神經(jīng)活動，還測量透皮血流變化。所采集的血流數(shù)據(jù)可用于提供關(guān)于主體的情感狀態(tài)的額外的和驗證信息，或用于分離皮質(zhì)中樞神經(jīng)系統(tǒng)所生成的生理信號以及自主神經(jīng)系統(tǒng)所生成的那些生理信號。例如，可以解決皮膚血紅蛋白變化經(jīng)常與頭皮血紅蛋白變化混合的功能近紅外光譜學(xué)(fnirs)研究中的臉紅和腦部問題。

在另外的實施例中，該系統(tǒng)可以檢測除了視覺之外的聲音(例如，音樂、哭泣等)所引起的不可見情感。還可以檢測由包括嗅覺、氣味、味覺以及前庭感覺的其他感覺所引起的不可見情感。

將理解的是，盡管本申請描述了用于不可見情感檢測的系統(tǒng)和方法，但該系統(tǒng)和方法可以替代地應(yīng)用于以血液濃度流為指標(biāo)的任意其他狀況的檢測。

其他應(yīng)用可以變得明顯。

雖然已經(jīng)參考某些具體的實施例描述了本發(fā)明，但在不脫離如所附權(quán)利要求所概述的本發(fā)明的精神和范圍的情況下，其中的各種修改對于本領(lǐng)域技術(shù)人員將是明顯的。上述所有參考文獻的全部公開內(nèi)容通過引用結(jié)合于此。