本發(fā)明涉及電力行業(yè)員工情感分析，具體涉及到了一種基于面部表情的情感分析方法。

背景技術(shù)：

1、電力行業(yè)作為國家經(jīng)濟(jì)的重要支柱，對安全管理有著極高的要求。隨著電網(wǎng)行業(yè)的不斷發(fā)展和人工智能技術(shù)的應(yīng)用，面部表情識(shí)別技術(shù)作為一種新型安防手段逐漸引起了人們的關(guān)注。該技術(shù)通過分析員工的面部表情，實(shí)時(shí)監(jiān)測員工的情緒狀態(tài)，從而及時(shí)發(fā)現(xiàn)異常情況并采取相應(yīng)措施，提高了電網(wǎng)工作人員安全管理的效率和準(zhǔn)確性。為了進(jìn)一步提升電網(wǎng)安全管理水平，我們決定引入面部表情識(shí)別技術(shù)，以滿足對人員安全管理的需求。

2、現(xiàn)有技術(shù)cn110751015a提供一種面部紅外熱圖的灌注優(yōu)化及人工智能情緒監(jiān)測方法，其中，基于監(jiān)測目標(biāo)個(gè)體面部紅外視頻，利用cnn-bigru_attention網(wǎng)絡(luò)模型對每幀面部紅外圖像對應(yīng)的血液灌注偽彩色圖進(jìn)行處理，進(jìn)而挖掘蘊(yùn)含在幀內(nèi)空間特征向量矩陣；此外，利用bigru層確定面部紅外視頻幀間時(shí)間特征向量矩陣；最后基于每幀面部紅外圖像對應(yīng)的空間特征向量矩陣和相鄰幀間時(shí)間特征向量矩陣，確定監(jiān)測目標(biāo)個(gè)體針對每種預(yù)設(shè)情緒狀態(tài)的概率特征信息。上述技術(shù)方案將cnn與bigru結(jié)合，bigru模塊引入attention機(jī)制，充分提取圖像的空間特征和幀間時(shí)間特征，進(jìn)而聯(lián)合識(shí)別監(jiān)測目標(biāo)個(gè)體對于每種預(yù)設(shè)情緒狀態(tài)的概率特征信息，可以在非干擾的測試環(huán)境中獲取更加真實(shí)的情緒分布，有效提高了情緒識(shí)別的效率及準(zhǔn)確度。

3、諸如上述現(xiàn)有技術(shù)雖然在面部表情識(shí)別和情感分析方面取得了一定的進(jìn)展，但在具體應(yīng)用于電網(wǎng)工作人員的情感監(jiān)測與安全管理時(shí)，仍存在一些不足和缺陷：

4、1、檢測環(huán)境局限性：現(xiàn)有技術(shù)（如cn110751015a）主要依賴于面部紅外熱圖和復(fù)雜的深度學(xué)習(xí)模型（如cnn-bigru_attention）進(jìn)行情感識(shí)別，這在某些特定場景下可能有效，但在實(shí)際應(yīng)用中，網(wǎng)絡(luò)結(jié)構(gòu)相對復(fù)雜，計(jì)算成本較高，可能需要高性能的硬件支持，同時(shí)紅外熱圖的獲取和處理設(shè)備成本較高，并且對環(huán)境的要求較高，紅外圖像在不同光照條件下的表現(xiàn)可能不一致，影響情感分析的準(zhǔn)確性，不適合在電網(wǎng)工作人員日常工作的復(fù)雜環(huán)境中普及使用。

5、2.實(shí)時(shí)性和效率問題：現(xiàn)有技術(shù)在情感識(shí)別過程中，通常涉及大量的計(jì)算和數(shù)據(jù)處理，特別是多幀圖像的時(shí)間特征提取和分析，這會(huì)影響系統(tǒng)的實(shí)時(shí)性和效率。在實(shí)際的電網(wǎng)工作人員管理過程中，電網(wǎng)工作人員的情感監(jiān)測需要高效、快速的實(shí)時(shí)處理能力，需要實(shí)時(shí)監(jiān)控和分析員工的情緒狀態(tài)，以便及時(shí)采取必要的管理措施，復(fù)雜的模型可能無法滿足實(shí)時(shí)性的要求。

6、3.模型復(fù)雜度和部署難度：現(xiàn)有的深度學(xué)習(xí)模型如bigru_attention網(wǎng)絡(luò)模型結(jié)構(gòu)復(fù)雜，訓(xùn)練和部署成本高，需要大量的計(jì)算資源和專業(yè)技術(shù)人員進(jìn)行維護(hù)和優(yōu)化。這在電網(wǎng)行業(yè)的實(shí)際應(yīng)用中，尤其是在一些較為偏遠(yuǎn)的工作環(huán)境中，難以廣泛實(shí)施和推廣。

7、4.?情感分類的細(xì)粒度不足：現(xiàn)有技術(shù)中情感分類的類別較為簡單，不能充分反映員工的具體情感狀態(tài)和情感變化趨勢。在電網(wǎng)行業(yè)中，更細(xì)粒度的情感分類和分析可以幫助管理人員更準(zhǔn)確地理解員工的情緒狀態(tài)，及時(shí)采取有效的管理措施。

8、5.泛化能力和魯棒性不足：現(xiàn)有技術(shù)在情感識(shí)別的泛化能力和魯棒性方面存在不足，其主要在實(shí)驗(yàn)室或受控環(huán)境下測試，其在實(shí)際應(yīng)用中的表現(xiàn)可能會(huì)受到各種因素的影響，如光照變化、攝像頭角度、員工面部遮擋等。在電網(wǎng)現(xiàn)場環(huán)境中，這些因素更加復(fù)雜和多變，對情感分析系統(tǒng)的魯棒性提出了更高的要求。情感識(shí)別模型需要處理各種復(fù)雜的環(huán)境變化和員工個(gè)體差異，包括光照變化、角度變化以及個(gè)體表情差異等。在這些方面，現(xiàn)有技術(shù)的魯棒性和泛化能力還有待提高，以確保在不同環(huán)境和條件下的穩(wěn)定性和準(zhǔn)確性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在解決現(xiàn)有技術(shù)在電網(wǎng)工作人員管理過程中檢測環(huán)境局限性、實(shí)時(shí)性和效率問題、模型復(fù)雜度和部署難度、情感分類的泛化能力和魯棒性不足的問題。通過對員工面部表情進(jìn)行實(shí)時(shí)分析和識(shí)別，準(zhǔn)確判斷員工的情緒狀態(tài)，并及時(shí)采取相應(yīng)的管理措施，提高電網(wǎng)人員管理的效率和安全性，提供一種更為高效、適應(yīng)性強(qiáng)且易于部署的基于面部表情的情感分析方法，以提高電網(wǎng)人員管理的效率和安全性。

2、為了解決上述問題，本發(fā)明提供了一種基于面部表情的情感分析方法，包括以下步驟：

3、s1、面部表情采集：使用攝像頭或其他圖像采集設(shè)備對電網(wǎng)工作人員的面部表情進(jìn)行實(shí)時(shí)采集，采用rfb-320模型對輸入幀進(jìn)行人臉檢測；

4、s2、表情識(shí)別與分析：利用計(jì)算機(jī)視覺和深度學(xué)習(xí)算法，對采集到的面部圖像進(jìn)行表情識(shí)別和分析，識(shí)別出員工的高興或悲傷或憤怒情緒狀態(tài)；

5、s3、情感分析與評(píng)估：基于識(shí)別出的面部表情，對員工的情感進(jìn)行分析和評(píng)估，確定員工當(dāng)前的情緒狀態(tài)和情感傾向；

6、s4、情緒監(jiān)測與反饋：將情感分析的結(jié)果與員工管理系統(tǒng)進(jìn)行集成，實(shí)現(xiàn)對員工情緒狀態(tài)的實(shí)時(shí)監(jiān)測和反饋，及時(shí)通知相關(guān)管理人員，并提供相應(yīng)的管理建議和措施。

7、作為優(yōu)選地，所述面部表情采集步驟中，人臉檢測具體包括以下步驟：

8、a.初始化重要參數(shù)：

9、image_mean：在rgb通道上進(jìn)行圖像歸一化的均值；

10、image_std：圖像歸一化的標(biāo)準(zhǔn)差；

11、iou_threshold：確定邊界框匹配的交并比（iou）度量的閾值；

12、center_variance：預(yù)測的邊界框中心坐標(biāo)的縮放因子；

13、size_variance：預(yù)測的邊界框尺寸的縮放因子；

14、min_boxes：不同尺寸對象的最小邊界框尺寸；

15、strides：根據(jù)圖像大小控制特征圖的尺度；

16、threshold：目標(biāo)檢測的置信度閾值；

17、b.調(diào)用define_img_size函數(shù)生成先驗(yàn)邊界框，根據(jù)提供的圖像尺寸和預(yù)定義的步長值計(jì)算特征圖的尺寸；

18、c.使用rfb-320模型對輸入幀進(jìn)行處理，獲取人臉檢測的邊界框。

19、作為優(yōu)選地，所述表情識(shí)別與分析步驟中，采用卷積神經(jīng)網(wǎng)絡(luò)提取面部圖像的特征，并進(jìn)行情感分類，利用自定義的vgg13模型架構(gòu)對檢測到的人臉進(jìn)行表情識(shí)別和分析，包括以下步驟：

20、a.將檢測到的面部圖像調(diào)整為64×64灰度圖像；

21、b.使用具有最大池化和dropout的卷積層將圖像分類為七個(gè)情緒類別；

22、c.通過兩個(gè)具有1024個(gè)節(jié)點(diǎn)的密集層聚合信息，最終通過softmax輸出層預(yù)測情緒類別。

23、作為優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)提取面部圖像的特征，并進(jìn)行情感分類，具體包括以下步驟：

24、a.?第一卷積層：采用64個(gè)大小為5×5的卷積核，步長為1，使用relu作為激活函數(shù)，卷積模式為“same”，輸入張量的大小為48×48×3；

25、b.?第一池化層：池化核大小為2×2，步長為2；

26、c.?批標(biāo)準(zhǔn)化層和隨機(jī)丟棄40%網(wǎng)絡(luò)連接的dropout層，用于防止過擬合；

27、d.?第二卷積層：采用128個(gè)大小為5×5的卷積核，步長為1，使用relu作為激活函數(shù)，卷積模式為“same”；

28、e.?第二池化層：池化核大小為2×2，步長為2，隨后進(jìn)行批標(biāo)準(zhǔn)化和dropout操作；

29、f.?第三卷積層：采用256個(gè)大小為5×5的卷積核，步長為1，使用relu作為激活函數(shù)，卷積模式為“same”；

30、g.?第三池化層：池化核大小為2×2，步長為2；

31、h.?全連接層：包含2048個(gè)神經(jīng)元，激活函數(shù)為relu，并隨機(jī)丟棄40%的網(wǎng)絡(luò)連接；

32、i.?第二全連接層：包含1024個(gè)神經(jīng)元，激活函數(shù)為relu，并隨機(jī)丟棄40%的網(wǎng)絡(luò)連接；

33、j.?第三全連接層：包含512個(gè)神經(jīng)元，激活函數(shù)為relu；

34、k.?分類輸出層：包含7個(gè)輸出神經(jīng)元，使用softmax作為激活函數(shù)進(jìn)行情感分類。

35、作為優(yōu)選地，所述情感分析與評(píng)估步驟中，采用yolov5模型進(jìn)行目標(biāo)檢測，模型包括以下模塊：

36、a.?簡化的卷積層：包含卷積操作、批標(biāo)準(zhǔn)化和relu激活函數(shù)，卷積核大小為3，步長為1，自動(dòng)填充使輸入和輸出大小相同；

37、b.?cspnet模塊：包含分割通道數(shù)的1×1卷積、多層3×3卷積以及最終的1×1卷積，通過拼接多個(gè)中間結(jié)果，增強(qiáng)特征表示能力；

38、c.?yolov5?backbone：包含多個(gè)卷積層和csp模塊，逐層提取特征，網(wǎng)絡(luò)開始部分包含3×3的卷積層，隨后是多個(gè)csp模塊，逐層增加通道數(shù)和特征圖大??；

39、d.?yolov5?head：包含1×1卷積層和最終的檢測層，預(yù)測每個(gè)像素的類別和邊界框。

40、作為優(yōu)選地，所述情感分析與評(píng)估步驟中，采用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)方法，訓(xùn)練情感分類模型，用于將識(shí)別到的面部表情與情感類別進(jìn)行匹配和分類，所述情感分類模型包括支持向量機(jī)（svm）或決策樹或神經(jīng)網(wǎng)絡(luò)。

41、作為優(yōu)選地，所述情感分析與評(píng)估步驟中，還包括對特征提取與表示，特征提取和表示的方法，包括將面部圖像轉(zhuǎn)化為可供分類算法處理的特征向量，所述特征包括局部二值模式（lbp）、主成分分析（pca）、人臉嵌入（face?embedding）。

42、作為優(yōu)選地，所述情感分類模型的訓(xùn)練的優(yōu)化包括采集大量標(biāo)注好的面部表情數(shù)據(jù)集，利用這些數(shù)據(jù)對情感分類模型進(jìn)行訓(xùn)練，并通過交叉驗(yàn)證等方法對模型進(jìn)行優(yōu)化，以提高模型的泛化能力和準(zhǔn)確率。

43、作為優(yōu)選地，所述情感分類模型的訓(xùn)練過程具體包括：

44、s1.?數(shù)據(jù)增強(qiáng)：對訓(xùn)練數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、裁剪、鏡像、亮度調(diào)整等數(shù)據(jù)增強(qiáng)操作，以提高模型的魯棒性；

45、s2.?損失函數(shù)：使用交叉熵?fù)p失函數(shù)來衡量模型預(yù)測結(jié)果與實(shí)際標(biāo)簽之間的差距；

46、s3.?優(yōu)化算法：采用自適應(yīng)學(xué)習(xí)率優(yōu)化算法進(jìn)行模型參數(shù)更新；

47、s4.?學(xué)習(xí)率調(diào)整：根據(jù)訓(xùn)練過程中的損失變化動(dòng)態(tài)調(diào)整學(xué)習(xí)率，使用學(xué)習(xí)率衰減策略；

48、s5.?模型評(píng)估：通過驗(yàn)證集進(jìn)行模型評(píng)估，監(jiān)測模型在訓(xùn)練過程中的性能變化，防止過擬合。

49、所述感分類模型的訓(xùn)練還可通過集成多個(gè)子模型進(jìn)行情感分析，提高分類準(zhǔn)確率和魯棒性，具體步驟包括：

50、a.子模型集成：訓(xùn)練多個(gè)不同結(jié)構(gòu)或參數(shù)的模型，通過集成學(xué)習(xí)的方法（bagging或boosting）提升整體性能；

51、b.模型融合：采用加權(quán)平均、投票的方法對多個(gè)模型的預(yù)測結(jié)果進(jìn)行融合，得到最終的情感分類結(jié)果。

52、作為優(yōu)選地，基于面部表情的情感分析的系統(tǒng)的硬件架構(gòu)包括：

53、高性能圖像采集設(shè)備：用于采集員工面部圖像；

54、計(jì)算資源：高性能服務(wù)器或云計(jì)算資源，用于運(yùn)行面部表情識(shí)別和情感分析算法；

55、存儲(chǔ)設(shè)備：用于存儲(chǔ)采集到的圖像數(shù)據(jù)和分析結(jié)果；

56、網(wǎng)絡(luò)通信設(shè)備：用于實(shí)現(xiàn)數(shù)據(jù)的采集、傳輸和處理之間的高效通信；

57、所述系統(tǒng)的軟件架構(gòu)包括：

58、數(shù)據(jù)采集模塊：負(fù)責(zé)采集和預(yù)處理員工的面部圖像；

59、表情識(shí)別模塊：使用預(yù)訓(xùn)練的深度學(xué)習(xí)模型對面部圖像進(jìn)行表情識(shí)別；

60、情感分析模塊：基于表情識(shí)別結(jié)果進(jìn)行情感分類和分析；

61、結(jié)果反饋模塊：將情感分析結(jié)果反饋給管理系統(tǒng)，并生成相應(yīng)的報(bào)告和建議；

62、系統(tǒng)管理模塊：用于系統(tǒng)的配置、監(jiān)控和維護(hù)。

63、本發(fā)明與現(xiàn)有技術(shù)相比，取得的有益的技術(shù)效果：

64、檢測環(huán)境適應(yīng)性增強(qiáng)：

65、本發(fā)明采用rgb攝像頭和rfb-320?(ssd)模型進(jìn)行面部表情采集，避免了對紅外熱圖的依賴，減少了對環(huán)境光照條件的敏感性，通過采用卷積神經(jīng)網(wǎng)絡(luò)提取面部圖像的特征高效目標(biāo)檢測能力，可以在多種光照條件下穩(wěn)定工作，顯著提升了情感分析在不同工作環(huán)境下的適用性。這種方法降低了硬件成本和環(huán)境要求，使得面部表情采集設(shè)備更加普及，適合電網(wǎng)工作人員日常工作的復(fù)雜環(huán)境。

66、實(shí)時(shí)性和效率提升：

67、本發(fā)明采用優(yōu)化的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行目標(biāo)檢測，卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)能夠在確保準(zhǔn)確性的同時(shí)，實(shí)現(xiàn)快速的人臉檢測和表情識(shí)別。，進(jìn)一步提高了情感分類的速度和效率，滿足了電網(wǎng)工作人員情感監(jiān)測的實(shí)時(shí)性需求，同時(shí)結(jié)合yolov5對面部表情進(jìn)行分析和分類，大大簡化了計(jì)算過程。本發(fā)明采用yolov5和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式，相比于bigru_attention等復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，本發(fā)明的模型結(jié)構(gòu)更加簡潔，計(jì)算速度更快，計(jì)算資源需求較低，便于在現(xiàn)場環(huán)境中部署和維護(hù)，能夠滿足電網(wǎng)工作人員情感監(jiān)測的實(shí)時(shí)性需求，確保在第一時(shí)間對異常情緒做出反應(yīng)。

68、3、模型復(fù)雜度和部署簡化：?本發(fā)明采用yolov5和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式，相比于bigru_attention等復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)，模型設(shè)計(jì)更為簡潔，計(jì)算資源需求較低，便于在現(xiàn)場環(huán)境中部署和維護(hù)。

69、4、情感分類和分析細(xì)粒度增強(qiáng)：

70、本發(fā)明通過精細(xì)的表情特征提取和分析，能夠識(shí)別更加細(xì)膩的情感狀態(tài)。相比于現(xiàn)有技術(shù)中簡單的情感分類，本發(fā)明的情感分類更加豐富和準(zhǔn)確，可以幫助管理人員更全面地了解員工的情緒狀態(tài)。通過結(jié)合yolov5的精確定位能力和卷積神經(jīng)網(wǎng)絡(luò)的強(qiáng)大特征提取能力，能夠?qū)γ娌勘砬檫M(jìn)行細(xì)粒度分析，提供更詳細(xì)的情感信息。

71、本發(fā)明采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行情感分類，能夠細(xì)化分類員工的具體情感狀態(tài)，包括高興、悲傷、憤怒等七個(gè)情緒類別，提供更為詳細(xì)和準(zhǔn)確的情感分析。通過情感分析與評(píng)估步驟，采用yolov5模型對員工的情感進(jìn)行深度評(píng)估，幫助管理人員更準(zhǔn)確地理解員工的情緒狀態(tài)，及時(shí)采取有效的管理措施。

72、5、泛化能力和魯棒性提升：

73、本發(fā)明在充分考慮了電網(wǎng)現(xiàn)場環(huán)境的多變性和復(fù)雜性，卷積神經(jīng)網(wǎng)絡(luò)通過高效的特征提取和區(qū)域檢測機(jī)制，結(jié)合yolov5模型的強(qiáng)大學(xué)習(xí)能力，能夠在不同光照條件、攝像頭角度和面部遮擋情況下，保持較高的情感識(shí)別準(zhǔn)確率。尤其是通過數(shù)據(jù)增強(qiáng)和模型優(yōu)化策略，使得情感分析系統(tǒng)在各種復(fù)雜環(huán)境下具有較強(qiáng)的魯棒性和泛化能力，確保其在實(shí)際應(yīng)用中的穩(wěn)定性和可靠性。

74、本發(fā)明采用多種數(shù)據(jù)增強(qiáng)技術(shù)和優(yōu)化策略，如旋轉(zhuǎn)、裁剪、鏡像等，對模型進(jìn)行訓(xùn)練和優(yōu)化，顯著提升了情感識(shí)別模型的泛化能力和魯棒性。

75、集成多模型的訓(xùn)練方法進(jìn)一步提高了分類準(zhǔn)確率和魯棒性，使得情感識(shí)別在不同環(huán)境和條件下表現(xiàn)穩(wěn)定。

76、綜上所述，本發(fā)明通過采用yolov5和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的方式，顯著提升了面部表情情感分析的環(huán)境適應(yīng)性、實(shí)時(shí)性、準(zhǔn)確性和魯棒性，同時(shí)簡化了模型復(fù)雜度和部署難度。