本發(fā)明提出了一種ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，涉及計算機視覺技術(shù)與人工智能。

背景技術(shù)：

1、當(dāng)前社會環(huán)境下，人們的生活和工作節(jié)奏快，壓力大。受到工作環(huán)境、生活壓力、社會關(guān)系等方面因素的影響，容易讓人產(chǎn)生不良的情緒，如暴躁、煩躁、抑郁、消極等。不良的情緒會對人的身體健康和精神狀態(tài)產(chǎn)生影響，甚至?xí)l(fā)暴力沖突、自殺等嚴(yán)重危害的事件。如果能夠快速識別人的不良情緒狀態(tài)并進(jìn)行及時的干預(yù)和疏導(dǎo)，就能夠有針對性地改善人們的不良心理狀態(tài)和突發(fā)情緒問題，提前預(yù)判甚至避免突發(fā)性事件的產(chǎn)生，降低引發(fā)嚴(yán)重后果的可能性。

2、傳統(tǒng)的情緒測評方法往往需要心理醫(yī)生進(jìn)行面對面的診斷，或填寫特定量表進(jìn)行評估，都需要投入較長的時間，不適用于需要大規(guī)?？焖俸Y查的場景。而情緒干預(yù)手段多需要場地、道具或心理醫(yī)生的現(xiàn)場疏導(dǎo)，需要人員主動配合進(jìn)行，且不具有及時性。現(xiàn)有的新技術(shù)中，有通過視頻分析微表情微動作等信息或利用聲音特征來進(jìn)行心理測評的相關(guān)技術(shù)手段。能夠做到非接觸的檢測，但現(xiàn)有技術(shù)一般需要被測人員在攝像頭前靜止1-3分鐘左右時間，或回答某些特定問題來進(jìn)行聲紋采集。仍需要被測人員的配合。需要一定的采集時間，不能做到實時監(jiān)測，對于突發(fā)性的情緒問題難以及時發(fā)現(xiàn)。并且現(xiàn)有技術(shù)對于檢測后的干預(yù)和治療缺少配套手段，難以從根本上調(diào)節(jié)被測人員的情緒和心理狀態(tài)。

技術(shù)實現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本申請?zhí)峁┮环Nai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，能夠快速、非接觸式地從多個維度檢測人員的動態(tài)情緒和心理狀態(tài)，針對被測人員的不同狀態(tài)提出相關(guān)定向訓(xùn)練和引導(dǎo)內(nèi)容，進(jìn)而改善不良情緒狀態(tài)，提高心理健康水平。實現(xiàn)大規(guī)模場景下的情緒快速篩查、動態(tài)情緒和心理健康調(diào)節(jié)，并對數(shù)據(jù)進(jìn)行分析展示和信息預(yù)警。

2、一種ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，包括：前端的多臺情緒采集和訓(xùn)練終端和后臺服務(wù)器；

3、所述情緒采集和訓(xùn)練終端用于對被測人員進(jìn)行情緒檢測，終端分析人臉圖像，獲取被測人員的多維度情緒數(shù)據(jù)；

4、所述多維度情緒數(shù)據(jù)上傳到后臺服務(wù)器，后臺服務(wù)器根據(jù)接收的所述多維度情緒數(shù)據(jù)，分析被測人員當(dāng)前的情緒狀態(tài)，針對不同狀態(tài)的被測人員，向?qū)?yīng)的情緒采集和訓(xùn)練終端推送不同的定向訓(xùn)練任務(wù)；

5、所述情緒采集和訓(xùn)練終端接收到定向訓(xùn)練任務(wù)后，被測人員根據(jù)指導(dǎo)完成相應(yīng)的訓(xùn)練內(nèi)容。

6、進(jìn)一步地，所述情緒采集和訓(xùn)練終端包括攝像頭、顯示器、情緒數(shù)據(jù)計算模塊、控制和數(shù)據(jù)傳輸模塊；

7、所述攝像頭用于采集被測人員的人臉圖像；

8、所述顯示器用于顯示攝像頭采集的畫面和定向訓(xùn)練內(nèi)容；

9、所述情緒數(shù)據(jù)計算模塊對用于人臉的特征點進(jìn)行識別，得到固定時間內(nèi)被測人員的動態(tài)情緒特征數(shù)據(jù)；

10、所述控制和數(shù)據(jù)傳輸模塊將所述動態(tài)情緒特征數(shù)據(jù)上傳至后臺服務(wù)器，并接收后臺服務(wù)器返回的定向訓(xùn)練內(nèi)容和控制指令。

11、進(jìn)一步地，所述情緒數(shù)據(jù)計算模塊對人臉的特征點進(jìn)行識別，獲取各幀圖像中人臉特征點位置和幀間的相對變化，將人臉特征點的變化規(guī)律以空間向量形式進(jìn)行表示，形成人臉特征變化矩陣；將所述人臉特征變化矩陣輸入情緒識別特征模型進(jìn)行計算，得到待測人員的情緒特征數(shù)據(jù)。

12、進(jìn)一步地，以人臉圖像左下角像素點為原點建立坐標(biāo)系，第n個特征點在人臉圖像中坐標(biāo)值為：(xn,yn)；

13、對特征點坐標(biāo)值進(jìn)行標(biāo)準(zhǔn)化處理，得到第n個特征點的相對位置坐標(biāo)(xzn、yzn)：

14、

15、

16、其中，xzn、yzn為歸一化后的橫縱坐標(biāo)值；mean(x)、mean(y)為所有特征點橫縱坐標(biāo)的平均值；std(x)、std(y)為所有特征點橫縱坐標(biāo)的標(biāo)準(zhǔn)差。

17、進(jìn)一步地，將選取當(dāng)前幀圖像的78個特征點的相對位置坐標(biāo)組成156維的特征點空間向量ve：

18、ve＝{(xz1,yz1),(xz2,yz2),…,(xz78,yz78)}

19、對于前一幀圖像，同樣處理得特征點空間向量ve'；

20、將前后幀的特征點空間向量相減，得到人臉特征變化矩陣vc：

21、vc＝ve'-ve＝{(xz1'-xz1,yz1'-yz1),…,(xz78'-xz78,yz78'-yz78)}；

22、將所述人臉特征變化矩陣vc輸入情緒識別特征模型進(jìn)行計算，獲取被測人員的情緒特征數(shù)據(jù)。

23、進(jìn)一步地，所述情緒特征識別模型包括空間特征模型、變化特征模型、區(qū)域特征模型：

24、所述空間特征模型的輸入為：各幀圖像中提取的面部特征點相對位置坐標(biāo)矩陣ve；輸出為：空間特征情緒標(biāo)簽

25、所述變化特征模型的輸入為：各幀圖像與其前一幀圖像間人臉特征的變化矩陣vc；輸出為：變化特征情緒標(biāo)簽

26、在所述區(qū)域特征模型的輸入為：各幀圖像按照五官分布分割后的區(qū)域圖像，包括左眼圖像ieyel、右眼圖像ieyer、鼻子圖像inos、左臉頰圖像ifacl、右臉頰圖像ifacr、嘴圖像imou；

27、在區(qū)域特征模型的特征層，對各分割圖像模型網(wǎng)絡(luò)輸出特征進(jìn)行拼接，得到拼接結(jié)果confea：

28、confea＝[f(ieyel),f(ieyer),f(inos),f(ifacl),f(ifacr),f(imou)]

29、其中，f(·)為各區(qū)域圖像的淺層卷積神經(jīng)網(wǎng)絡(luò)；

30、輸出區(qū)域特征情緒標(biāo)簽

31、

32、其中，fc(·)為全連接層網(wǎng)絡(luò)，softmax(·)為歸一化指數(shù)函數(shù)。

33、進(jìn)一步地，通過加權(quán)累積計算，得到當(dāng)前畫面幀的情緒標(biāo)簽

34、

35、其中，ws、wc、wa分別為空間特征權(quán)重值、變化特征權(quán)重值及區(qū)域特征權(quán)重值。

36、進(jìn)一步地，所述情緒數(shù)據(jù)計算模塊采集一段時間內(nèi)的人臉圖像的多個畫面幀，通過情緒識別特征模型獲取多個畫面幀對應(yīng)的多個情緒標(biāo)簽，將多個情緒標(biāo)簽累積后取平均值，得到該段時間內(nèi)被測人員的動態(tài)情緒特征數(shù)據(jù)。

37、進(jìn)一步地，所述情緒標(biāo)簽為12維度的情緒特征參數(shù)合集，以12維向量形式表示，分別代表：攻擊性、壓力、緊張、可疑、平衡、自信、能量、自我調(diào)節(jié)、郁悶、神經(jīng)質(zhì)、抑制、幸福感。

38、本申請?zhí)峁┑募夹g(shù)方案可以包括以下有益效果：本申請可以通過非接觸的形式對人員動態(tài)心理情緒狀態(tài)進(jìn)行快速篩查，針對不良情緒和心理問題進(jìn)行迅速干預(yù)和定向訓(xùn)練并且及時對異常情緒預(yù)警。能夠在大范圍內(nèi)迅速調(diào)節(jié)人員的心理水平和情緒狀態(tài)，一定程度上避免由不良情緒引起的突發(fā)惡性事件。

技術(shù)特征：

1.一種ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，包括：前端的多臺情緒采集和訓(xùn)練終端和后臺服務(wù)器；

2.根據(jù)權(quán)利要求1中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，所述情緒采集和訓(xùn)練終端包括攝像頭、顯示器、情緒數(shù)據(jù)計算模塊、控制和數(shù)據(jù)傳輸模塊；

3.根據(jù)權(quán)利要求2中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，所述情緒數(shù)據(jù)計算模塊對人臉的特征點進(jìn)行識別，獲取各幀圖像中人臉特征點位置和幀間的相對變化，將人臉特征點的變化規(guī)律以空間向量形式進(jìn)行表示，形成人臉特征變化矩陣；將所述人臉特征變化矩陣輸入情緒識別特征模型進(jìn)行計算，得到待測人員的情緒特征數(shù)據(jù)。

4.根據(jù)權(quán)利要求3中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，以人臉圖像左下角像素點為原點建立坐標(biāo)系，第n個特征點在人臉圖像中坐標(biāo)值為：(xn,yn)；

5.根據(jù)權(quán)利要求4中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，將選取當(dāng)前幀圖像的78個特征點的相對位置坐標(biāo)組成156維的特征點空間向量ve：

6.根據(jù)權(quán)利要求5中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，所述情緒特征識別模型包括空間特征模型、變化特征模型、區(qū)域特征模型：

7.根據(jù)權(quán)利要求6中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，通過加權(quán)累積計算，得到當(dāng)前畫面幀的情緒標(biāo)簽

8.根據(jù)權(quán)利要求7中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，所述情緒數(shù)據(jù)計算模塊采集一段時間內(nèi)的人臉圖像的多個畫面幀，通過情緒識別特征模型獲取多個畫面幀對應(yīng)的多個情緒標(biāo)簽，將多個情緒標(biāo)簽累積后取平均值，得到該段時間內(nèi)被測人員的動態(tài)情緒特征數(shù)據(jù)。

9.根據(jù)權(quán)利要求7中所述的ai動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，其特征在于，所述情緒標(biāo)簽為12維度的情緒特征參數(shù)合集，以12維向量形式表示，分別代表：攻擊性、壓力、緊張、可疑、平衡、自信、能量、自我調(diào)節(jié)、郁悶、神經(jīng)質(zhì)、抑制、幸福感。

技術(shù)總結(jié)
本發(fā)明提出了一種AI動態(tài)情緒識別多維度定向訓(xùn)練系統(tǒng)，涉及計算機視覺技術(shù)與人工智能技術(shù)領(lǐng)域，包括前端的多臺情緒采集和訓(xùn)練終端和后臺服務(wù)器，情緒采集和訓(xùn)練終端用于對被測人員進(jìn)行情緒檢測，終端分析人臉圖像，獲取被測人員的多維度情緒數(shù)據(jù)；多維度情緒數(shù)據(jù)上傳到后臺服務(wù)器，后臺服務(wù)器根據(jù)接收的所述多維度情緒數(shù)據(jù)，分析被測人員當(dāng)前的情緒狀態(tài)，針對不同狀態(tài)的被測人員，向?qū)?yīng)的情緒采集和訓(xùn)練終端推送不同的定向訓(xùn)練任務(wù)；情緒采集和訓(xùn)練終端接收到定向訓(xùn)練任務(wù)后，被測人員根據(jù)指導(dǎo)完成相應(yīng)的訓(xùn)練內(nèi)容；本發(fā)明有針對性的提升被測人員的心理素質(zhì)或改善不良情緒狀態(tài)。

技術(shù)研發(fā)人員：張葉,常旭嶺,許佳佳
受保護(hù)的技術(shù)使用者：寧波書寫芯憶科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26