本發(fā)明涉及變電所，特別涉及一種人員行為檢測方法、控制器、人員行為檢測系統(tǒng)和變電所。

背景技術(shù)：

1、目前，變電所的人員安全監(jiān)測主要依賴于攝像頭和人工監(jiān)控結(jié)合的方式。這種系統(tǒng)通過攝像頭采集現(xiàn)場視頻數(shù)據(jù)，并由操作人員實時監(jiān)控畫面。然而，針對突發(fā)性的人員異常行為，如觸電或倒地，現(xiàn)有系統(tǒng)通常需要結(jié)合多種邏輯判斷來識別異常，穩(wěn)定性及通用性相對較差且容易產(chǎn)生誤判或漏判，而且無法準(zhǔn)確地對場景進(jìn)行描述及記錄。

技術(shù)實現(xiàn)思路

1、本發(fā)明的主要目的是提出一種人員行為檢測方法、控制器、人員行為檢測系統(tǒng)和變電所，旨在提升人員行為檢測方法的魯棒性，進(jìn)而提升檢測的準(zhǔn)確性和可靠性。

2、為實現(xiàn)上述目的，本發(fā)明提出的人員行為檢測方法，用于變電所，所述變電所內(nèi)設(shè)置有至少一個攝影組件，所述人員行為檢測方法包括：

3、獲取所述攝影組件捕獲到的視頻數(shù)據(jù)；

4、將所述視頻數(shù)據(jù)輸入至預(yù)先訓(xùn)練的多模態(tài)特征生成模型，所述多模態(tài)特征生成模型包括視覺編碼模塊、語義編碼模塊和譯碼模塊；

5、通過所述視覺編碼模塊對所述視頻數(shù)據(jù)進(jìn)行編碼，得到與所述視頻數(shù)據(jù)對應(yīng)的圖像特征；

6、通過所述語義編碼模塊對所述視頻數(shù)據(jù)進(jìn)行編碼，得到與所述視頻數(shù)據(jù)對應(yīng)的語義特征，和/或，通過所述語義編碼模塊對所述圖像特征進(jìn)行編碼，得到與所述視頻數(shù)據(jù)對應(yīng)的語義特征；

7、通過所述譯碼模塊，對所述圖像特征和語義特征進(jìn)行譯碼，得到與所述圖像特征和語義特征對應(yīng)的多模態(tài)特征信號，所述多模態(tài)特征信號用于表征變電所內(nèi)的人員行為處于異常狀態(tài)或者正常狀態(tài)；

8、根據(jù)所述多模態(tài)特征信號，確定變電所內(nèi)的人員行為的狀態(tài)。

9、在一實施方式中，所述多模態(tài)特征生成模型的訓(xùn)練步驟包括：

10、從預(yù)設(shè)人員行為大數(shù)據(jù)中獲取至少一個訓(xùn)練樣本，所述訓(xùn)練樣本包括至少一個視覺圖像和與所述視覺圖像相對應(yīng)的語言標(biāo)簽；

11、將所述訓(xùn)練樣本輸入至所述多模態(tài)特征生成模型，對所述多模態(tài)特征生成模塊的參數(shù)進(jìn)行更新。

12、在一實施方式中，所述訓(xùn)練樣本的數(shù)量為多個，所述多個訓(xùn)練樣本用于表征所述變電所內(nèi)的人員行為處于第一異常狀態(tài)，且每一所述訓(xùn)練樣本的語言標(biāo)簽還用于表征所述變電所內(nèi)的人員行為處于第一異常狀態(tài)的異常等級；

13、所述根據(jù)所述多模態(tài)特征信號，確定變電所內(nèi)的人員行為包括：

14、在所述視頻數(shù)據(jù)輸入所述多模態(tài)特征生成模型，且所述多模態(tài)特征生成模型確定所述視頻數(shù)據(jù)對應(yīng)的場景包括第一異常狀態(tài)時，輸出用于表征所述變電所內(nèi)的人員行為處于異常狀態(tài)的報警信號，以及輸出用于表征第一異常狀態(tài)的異常等級的等級信號。

15、在一實施方式中，所述訓(xùn)練樣本包括至少一個用于表征所述變電所內(nèi)的人員處于異常狀態(tài)的訓(xùn)練樣本以及至少一個用于表征所述變電所內(nèi)的人員處于正常狀態(tài)的訓(xùn)練樣本；

16、所述根據(jù)所述多模態(tài)特征信號，確定變電所內(nèi)的人員行為包括：

17、在所述多模態(tài)特征信號不表征所述異常狀態(tài)和正常狀態(tài)的情況下，確定所述變電所內(nèi)的人員行為存在潛在異常狀態(tài)，并通過場景分析以確定具體的人員狀態(tài)。

18、在一實施方式中，在所述將所述訓(xùn)練樣本輸入至所述多模態(tài)特征生成模型之前還包括：

19、對所述訓(xùn)練樣本中的視覺圖像進(jìn)行變換處理，以得到至少一個處理后視覺圖像，所述變換處理包括圖像縮放和/或色彩調(diào)整和/或噪聲處理和/或清晰度處理和/或混合圖像；

20、根據(jù)所述視覺圖像對應(yīng)的語言標(biāo)簽，確定所述處理后視覺圖像的語言標(biāo)簽。

21、在一實施方式中，所述變電所內(nèi)設(shè)置有多個攝影組件，所述獲取所述攝影組件捕獲到的視頻數(shù)據(jù)具體包括：

22、獲取所述多個攝影組件捕獲到的多個視頻數(shù)據(jù)；

23、對所述多個視頻數(shù)據(jù)進(jìn)行圖像處理工作，所述圖像處理工作包括噪聲濾除處理和/或直方圖均衡化處理和/或?qū)Ρ榷仍鰪?qiáng)處理和/或幀率調(diào)節(jié)處理。

24、在一實施方式中，所述人員行為檢測方法還包括：

25、在所述多模態(tài)特征信號表征所述變電所內(nèi)的人員行為處于異常狀態(tài)的情況下，觸發(fā)報警機(jī)制，并將所述視頻數(shù)據(jù)發(fā)送至云端；和/或，

26、根據(jù)所述視頻數(shù)據(jù)，生成事件報告，所述事件報告至少包括圖像分析結(jié)果、語義分析結(jié)果和場景預(yù)測結(jié)果中的一者；

27、在報警信息發(fā)出后，繼續(xù)對變電所內(nèi)的人員行為進(jìn)行檢測，直至確認(rèn)異常狀態(tài)已消除；

28、在所述多模態(tài)特征信號表征所述變電所內(nèi)的人員行為處于正常狀態(tài)的情況下，繼續(xù)對變電所內(nèi)的人員行為進(jìn)行檢測。

29、本發(fā)明還提供一種主控制器，所述主控制器用于實現(xiàn)如上文任一項所述的人員行為檢測方法。

30、本發(fā)明還提供一種人員行為檢測系統(tǒng)，所述行為檢測系統(tǒng)包括：

31、數(shù)據(jù)采集模塊，具有多個高分辨率攝影組件，用于捕獲視頻數(shù)據(jù)；

32、多模態(tài)特征生成模塊，與所述數(shù)據(jù)采集模塊連接，所述多模態(tài)特征生成模塊具有視覺編碼模塊、語義編碼模塊和譯碼模塊，所述視覺編碼模塊用于對所述視頻數(shù)據(jù)進(jìn)行視覺編碼，得到圖像特征，所述語義編碼模塊用于對所述視頻數(shù)據(jù)進(jìn)行語義編碼，得到語義特征，所述譯碼模塊用于對所述圖像特征和所述語義特征進(jìn)行譯碼處理，并輸出多模態(tài)特征信號；

33、檢測模塊，與所述多模態(tài)特征生成模塊連接，所述檢測模塊用于根據(jù)所述多模態(tài)特征信號，并輸出表征人員行為的檢測信號；

34、報警模塊，與所述檢測模塊連接；在所述檢測信號表征所述人員行為處于異常狀態(tài)時，輸出報警信號；

35、如上文所述的主控制器，與所述多模態(tài)特征生成模塊和所述檢測模塊連接，所述主控制器用于通過所述數(shù)據(jù)采集模塊、多模態(tài)特征生成模塊、檢測模塊和報警模塊實現(xiàn)人員行為檢測。

36、本發(fā)明還提供一種變電所，所述變電所包括：

37、如上文所述的主控制器；或者，

38、如上文所述的人員行為檢測系統(tǒng)。

39、本發(fā)明提供了一個人員行為檢測系統(tǒng)，提升了人員行為檢測方法的魯棒性，進(jìn)而提升檢測的準(zhǔn)確性和可靠性。多攝影組件確保了全方位、無死角的實時監(jiān)控。多模態(tài)特征生成模型結(jié)合了視覺和語義編碼技術(shù)，通過特征融合和異常檢測算法，提升了行為識別的準(zhǔn)確性和可靠性。具體地，通過攝影組件捕獲視頻數(shù)據(jù)，隨后通過本預(yù)先訓(xùn)練好的多模態(tài)特征生成模型對視頻數(shù)據(jù)進(jìn)行編碼和譯碼，首先通過視覺編碼模塊提取視頻數(shù)據(jù)中的圖像特征，然后再通過語義編碼模塊提取圖像特征或者視頻數(shù)據(jù)的語義特征，隨后將圖像特征和語義特征進(jìn)行譯碼，以得到多模態(tài)特征信號，該多模態(tài)特征信號結(jié)合了原始視頻數(shù)據(jù)的圖像特征和語義特征，如此，系統(tǒng)能夠更全面、更精確地識別和判斷變電所內(nèi)的人員行為，無論是正常行為還是異常行為，都能被及時、準(zhǔn)確地檢測出來，從而顯著提高了系統(tǒng)的檢測的準(zhǔn)確性和可靠性。

技術(shù)特征：

1.一種人員行為檢測方法，其特征在于，用于變電所，所述變電所內(nèi)設(shè)置有至少一個攝影組件，所述人員行為檢測方法包括：

2.如權(quán)利要求1所述的人員行為檢測方法，其特征在于，所述多模態(tài)特征生成模型的訓(xùn)練步驟包括：

3.如權(quán)利要求2所述的人員行為檢測方法，其特征在于，所述訓(xùn)練樣本的數(shù)量為多個，所述多個訓(xùn)練樣本用于表征所述變電所內(nèi)的人員行為處于第一異常狀態(tài)，且每一所述訓(xùn)練樣本的語言標(biāo)簽還用于表征所述變電所內(nèi)的人員行為處于第一異常狀態(tài)的異常等級；

4.如權(quán)利要求2所述的人員行為檢測方法，其特征在于，所述訓(xùn)練樣本包括至少一個用于表征所述變電所內(nèi)的人員處于異常狀態(tài)的訓(xùn)練樣本以及至少一個用于表征所述變電所內(nèi)的人員處于正常狀態(tài)的訓(xùn)練樣本；

5.如權(quán)利要求2至4任一項所述的人員行為檢測方法，其特征在于，在所述將所述訓(xùn)練樣本輸入至所述多模態(tài)特征生成模型之前還包括：

6.如權(quán)利要求1至4任一項所述的人員行為檢測方法，其特征在于，所述變電所內(nèi)設(shè)置有多個攝影組件，所述獲取所述攝影組件捕獲到的視頻數(shù)據(jù)具體包括：

7.如權(quán)利要求1至4任一項所述的人員行為檢測方法，其特征在于，所述人員行為檢測方法還包括：

8.一種主控制器，其特征在于，所述主控制器用于實現(xiàn)如權(quán)利要求1至7任一項所述的人員行為檢測方法。

9.一種人員行為檢測系統(tǒng)，其特征在于，所述行為檢測系統(tǒng)包括：

10.一種變電所，其特征在于，所述變電所包括：

技術(shù)總結(jié)
本發(fā)明公開了一種人員行為檢測方法、控制器、人員行為檢測系統(tǒng)和變電所，涉及人員行為檢測技術(shù)領(lǐng)域，其中，人員行為檢測方法用于變電所，包括獲取所述攝影組件捕獲到的視頻數(shù)據(jù)；將所述視頻數(shù)據(jù)輸入至預(yù)先訓(xùn)練的多模態(tài)特征生成模型，所述多模態(tài)特征生成模型包括視覺編碼模塊、語義編碼模塊和譯碼模塊。通過視覺編碼模塊、語義編碼模塊提取視頻數(shù)據(jù)中的圖像特征和語義特征，并通過譯碼模塊組合所述圖像特征和語義特征，以用作多模態(tài)特征信號的輸出，該多模態(tài)特征信號用于表征變電所內(nèi)的人員行為處于異常狀態(tài)或者正常狀態(tài)。如此，通過組合圖像特征和與之對應(yīng)的語義特征，可以提升人員行為檢測方法的魯棒性，進(jìn)而提升檢測的準(zhǔn)確性和可靠性。

技術(shù)研發(fā)人員：陳永彬,黃嘉思,黃國健,陳紅燁,彭梓豪,湯嘉豪,龍鵬云,吳奕鋒,梁澤民,梁少杰,單子荏,宋瀟哲
受保護(hù)的技術(shù)使用者：廣東機(jī)電職業(yè)技術(shù)學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19