本發(fā)明屬于情緒識別，具體涉及一種基于多模態(tài)生理與社會信息的情緒識別系統(tǒng)。

背景技術(shù)：

1、情緒是人類日常生活的一部分，它影響著人類的認(rèn)知、行為和決策，在社會交往中不可或缺。情緒幾乎影響著人類交流的方方面面，包括語調(diào)、面部表情、用詞、呼吸、肌肉緊張等等。它有可能從本質(zhì)上改變信息，因?yàn)檎f話的方式比說的內(nèi)容更重要。來自不同領(lǐng)域的研究人員，包括心理學(xué)、生物學(xué)、社會學(xué)和神經(jīng)科學(xué)，已經(jīng)定義、解釋、分析和分類了人類的情感。近年來，各種電子產(chǎn)品在我們生活中的可用性使人們花越來越多的時(shí)間在社交媒體，網(wǎng)上購物，在線視頻游戲等。然而，當(dāng)前大多數(shù)人機(jī)交互(human-computer?interaction，hci)系統(tǒng)在解釋和理解情感信息方面存在缺陷，缺乏情商。它們無法識別人類的情緒狀態(tài)，也無法將這些信息用于決策和行動(dòng)。解決人與機(jī)器之間缺乏融洽關(guān)系的問題對于先進(jìn)的智能hci至關(guān)重要。隨著hci領(lǐng)域的不斷發(fā)展，賦予機(jī)器理解人類情感的能力迫在眉睫。為此，情緒識別技術(shù)為獲取人類情緒狀態(tài)提供了一種可行的途徑。

2、情緒識別研究主要包括情感分析和情感識別兩個(gè)方面。前者執(zhí)行粗粒度的情感識別(通常是二元積極與消極或3類積極、消極和中性情緒分類的任務(wù))，而后者涉及細(xì)粒度分析(通常是將大數(shù)據(jù)多類分類為更大的情感標(biāo)簽集，例如超過4類)。情緒類別的數(shù)量在心理學(xué)上一直存在爭議。從歷史上看，心理學(xué)家有兩種不同的方法來模擬情緒:一種是基本情緒理論，將情緒標(biāo)記為離散的類別；另一種是多維理論，將情緒分類為多個(gè)維度或尺度?；厩榫w理論認(rèn)為，人類有幾種基本情緒，如快樂、悲傷、恐懼、憤怒、厭惡和驚訝。其他非基本情緒狀態(tài)(如疲勞、焦慮、滿足、困惑和沮喪)都是由它們組成的。每一類情緒都有獨(dú)特的內(nèi)在體驗(yàn)、外在表現(xiàn)和生理模式。

3、現(xiàn)有的情緒識別方法可以分為兩類:主觀方法(如基于身體動(dòng)作、面部表情或語音的情緒識別)和客觀方法(如基于不同類型的生理信號的情緒識別)。與主觀方法相比，基于生理信號的客觀方法，例如(electroencephalogram，eeg)、心電圖(electrocardiogram，ecg)、肌電圖(electromyogram，emg)等，可以消除不同受試者之間的差異，排除主試者主觀意識影響。因此，近年來在處理情緒識別方面得到了廣泛的應(yīng)用。

4、在過去的幾年里，深度學(xué)習(xí)依靠最現(xiàn)代化的系統(tǒng)，在許多領(lǐng)域取得了巨大的成功，如信號處理、人工智能和情感檢測。卷積神經(jīng)網(wǎng)絡(luò)(convolutional?neural?network，cnn)、遞歸神經(jīng)網(wǎng)絡(luò)(recurrent?neural?networks，rnn)、圖神經(jīng)網(wǎng)絡(luò)(graph?neural?network，gnn)，這些是深度學(xué)習(xí)中常用的方法。將深度學(xué)習(xí)運(yùn)用到情緒識別中是目前情緒識別的主要研究方向之一。

5、li等人提出了一種新的eeg情緒識別方法，該方法受到神經(jīng)科學(xué)的啟發(fā)，涉及大腦對不同情緒的反應(yīng)。該方法采用r2g-stnn方法，由具有區(qū)域到全局分層特征學(xué)習(xí)過程的時(shí)空神經(jīng)網(wǎng)絡(luò)模型組成，學(xué)習(xí)判別性的時(shí)空腦電特征。

6、雖然近年來已經(jīng)提出了多種腦電情緒識別方法，但為了進(jìn)一步提高情緒識別的性能，仍有一些主要問題需要深入研究。第一個(gè)問題是如何利用不同腦區(qū)腦電信號的信息來提高情緒識別。近年來的神經(jīng)科學(xué)研究表明，人類的情緒與多種大腦皮層區(qū)域密切相關(guān)，如眶額葉皮層、腹側(cè)內(nèi)側(cè)前額葉皮層、杏仁核。因此，不同腦區(qū)的腦電信號對情緒識別的貢獻(xiàn)不同。第二個(gè)問題是如何利用外周神經(jīng)網(wǎng)絡(luò)對腦神經(jīng)網(wǎng)絡(luò)進(jìn)行信息補(bǔ)充，外周神經(jīng)網(wǎng)絡(luò)，包括ecg、emg等，同樣蘊(yùn)含著豐富的情緒信息，將這些信息挖掘并利用以得到更高維的神經(jīng)網(wǎng)絡(luò)對情緒識別的提高有所幫助。第三個(gè)問題是如何利用人所處的社會環(huán)境信息以提高情緒識別的能力。眾所周知，人生活所處的社會環(huán)境同樣會對人的情緒產(chǎn)生影響，身處同一環(huán)境下人們的情緒往往也是一致的。如何將這些社會信息與情緒聯(lián)系起來同樣是本發(fā)明希望解決的問題之一。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明的目的是提供一種基于多模態(tài)生理以及社會信息的情緒識別系統(tǒng)，該系統(tǒng)可以利用多模態(tài)生理信號對腦神經(jīng)網(wǎng)絡(luò)以及周邊神經(jīng)網(wǎng)路進(jìn)行建模，探索腦神經(jīng)網(wǎng)絡(luò)以及周邊神經(jīng)網(wǎng)絡(luò)對于情緒的表征作用，同時(shí)可以利用社會信息進(jìn)行社會網(wǎng)絡(luò)模型的建模，探索情緒與社會環(huán)境之間的作用。

2、一種基于多模態(tài)生理與社會信息的情緒識別系統(tǒng)，包括腦網(wǎng)絡(luò)構(gòu)建模塊、神經(jīng)系統(tǒng)網(wǎng)絡(luò)構(gòu)建模塊、社會網(wǎng)絡(luò)構(gòu)建模塊以及情緒識別模塊：

3、所述腦網(wǎng)絡(luò)構(gòu)建模塊用于：

4、將eeg按照采集的位置進(jìn)行劃分，將不同腦區(qū)的eeg信號分別輸入到不同規(guī)模的雙向長短期記憶網(wǎng)絡(luò)bilstm以學(xué)習(xí)不同腦區(qū)內(nèi)部的時(shí)空特征并構(gòu)建局部的腦網(wǎng)絡(luò)模型，將從不同腦區(qū)學(xué)習(xí)到的空間特征輸入到gnn網(wǎng)絡(luò)模型中，以學(xué)習(xí)腦區(qū)之間的空間特征，得到每個(gè)腦區(qū)對應(yīng)的特征張量xfs；所述腦網(wǎng)絡(luò)構(gòu)建模塊基于不同的腦區(qū)在腦電情感識別中所起的作用不同，引入?yún)^(qū)域注意層來學(xué)習(xí)一組關(guān)于xfs的權(quán)重矩陣wfs，用來表示不同腦區(qū)的貢獻(xiàn)；再將已經(jīng)提取過空間特征和時(shí)間特征的各腦區(qū)的特征張量xfs拼接成特征張量xr，并將xr與wfs相乘得到引入權(quán)重后的xr＇輸入到全局的gnn_global中，得到特征張量xgcns，用以表征不同腦區(qū)內(nèi)部以及之間的時(shí)間與空間特征，反應(yīng)中樞神經(jīng)系統(tǒng)包含的信息，實(shí)現(xiàn)腦網(wǎng)絡(luò)模型從局部到全局的構(gòu)建；

5、所述神經(jīng)系統(tǒng)網(wǎng)絡(luò)構(gòu)建模塊用于：對預(yù)處理之后的外周神經(jīng)網(wǎng)絡(luò)的生理信號，分別輸入到不同的bilstm中提取時(shí)間特征，之后輸入到不同的gnn中提取空間特征，再將得到的時(shí)空特征與腦網(wǎng)絡(luò)構(gòu)建模塊得到的特征張量xgcns進(jìn)行拼接，得到包含中樞神經(jīng)系統(tǒng)與外周神經(jīng)系統(tǒng)的時(shí)間與空間信息的特征xp；

6、所述社會網(wǎng)絡(luò)構(gòu)建模塊用于：將特征xp作為節(jié)點(diǎn)特征，利用不同人的社會信息作為節(jié)點(diǎn)相連邊的依據(jù)，輸入到超圖神經(jīng)網(wǎng)絡(luò)，由此得到hgnn的關(guān)聯(lián)矩陣h，對xp進(jìn)行超圖卷積操作得到特征向量xe；

7、所述情緒識別模塊用于：將最終的特征張量xe輸入到情緒識別模塊中，情緒識別模塊采用全連接層以及激活函數(shù)softmax得到最后的情緒識別結(jié)果。

8、較佳的，所述腦網(wǎng)絡(luò)構(gòu)建模塊將eeg信號劃分為9個(gè)腦區(qū)。

9、較佳的，所述社會信息包括性別、年齡、體重信息。

10、較佳的，得到特征向量xe的方法包括：

11、將社會信息以一維向量xsd表示；將一維向量xsd作為hgnn中點(diǎn)的屬性，所述特征張量xp作為hgnn中點(diǎn)的特征，利用屬性生成超邊，參與者中xsd對應(yīng)位值相同的點(diǎn)以超邊相連，由此得到hgnn的關(guān)聯(lián)矩陣h，并對特征張量xp進(jìn)行超圖卷積操作，最終得到的特征張量xe。

12、較佳的，對特征張量xp連續(xù)進(jìn)行多次超圖卷積操作，最終得到的特征張量xe。

13、較佳的，得到的特征張量還可以重復(fù)上述操作，本實(shí)施例經(jīng)過三次超圖卷積操作，所述超圖卷積操作的具體公式為：

14、其中，dv和de分別表示頂點(diǎn)度和邊度的對角矩陣、w為權(quán)重矩陣，θp為可學(xué)習(xí)的參數(shù)、σ為非線性激活函數(shù)。

15、較佳的，所述情緒識別模塊還用于對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，在訓(xùn)練過程中采用交叉熵計(jì)算損失函數(shù)，并采用adam優(yōu)化作為優(yōu)化算法。

16、本發(fā)明具有如下有益效果：

17、1、本發(fā)明利用eeg實(shí)現(xiàn)從局部到全局中樞神經(jīng)系統(tǒng)網(wǎng)絡(luò)的建模，利用不同腦區(qū)內(nèi)部的eeg得到局部的腦神經(jīng)網(wǎng)絡(luò)，并利用不同腦區(qū)之間的空間信息得到全局的腦神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)從局部中樞神經(jīng)系統(tǒng)到全局神經(jīng)系統(tǒng)網(wǎng)絡(luò)的建模。

18、2、本發(fā)明在構(gòu)建中樞神經(jīng)系統(tǒng)網(wǎng)絡(luò)的基礎(chǔ)上利用其他模態(tài)的生理信號對中樞神經(jīng)系統(tǒng)網(wǎng)絡(luò)進(jìn)行信息補(bǔ)充，利用ecg、emg等信號進(jìn)行外周神經(jīng)系統(tǒng)網(wǎng)絡(luò)的建模，實(shí)現(xiàn)了從中樞神經(jīng)網(wǎng)絡(luò)到人體全局神經(jīng)系統(tǒng)網(wǎng)絡(luò)的建模。

19、3、本發(fā)明還在得到人體神經(jīng)系統(tǒng)網(wǎng)絡(luò)之后利用個(gè)人的社會信息實(shí)現(xiàn)社會網(wǎng)絡(luò)的構(gòu)建，實(shí)現(xiàn)了從局部神經(jīng)系統(tǒng)網(wǎng)絡(luò)到全局神經(jīng)系統(tǒng)網(wǎng)絡(luò)，從個(gè)人到社會的網(wǎng)絡(luò)模型構(gòu)建。