本發(fā)明涉及智能安全監(jiān)控，特別是一種基于機器視覺的井下人員不安全行為快速分析與識別方法。

背景技術(shù)：

1、在礦井作業(yè)環(huán)境中，保障人員安全始終是首要任務(wù)，近年來，隨著物聯(lián)網(wǎng)、大數(shù)據(jù)與人工智能技術(shù)的迅猛發(fā)展，智能安全監(jiān)控系統(tǒng)逐漸成為提升井下作業(yè)安全的關(guān)鍵手段，其中，機器視覺技術(shù)因其非接觸、高精度、實時性的優(yōu)點，在井下人員行為監(jiān)測中展現(xiàn)出巨大潛力，早期，機器視覺主要應(yīng)用于工業(yè)自動化中的產(chǎn)品檢測和質(zhì)量控制，近年來，其應(yīng)用范圍已擴展至公共安全、醫(yī)療健康多個領(lǐng)域，特別是在復(fù)雜環(huán)境下的目標(biāo)檢測與行為識別方面取得了顯著進展，然而，將機器視覺應(yīng)用于井下人員的安全行為分析仍面臨諸多挑戰(zhàn)。

技術(shù)實現(xiàn)思路

1、鑒于上述現(xiàn)有存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明提供了一種基于機器視覺的井下人員不安全行為快速分析與識別方法解決井下環(huán)境復(fù)雜多變，光線條件差，粉塵濃度高，這些因素嚴(yán)重影響了圖像的質(zhì)量和識別的準(zhǔn)確性，其次，傳統(tǒng)的單一視覺識別方法難以有效應(yīng)對多變的行為模式和突發(fā)狀況，尤其是在預(yù)測潛在的不安全行為方面表現(xiàn)不佳，現(xiàn)有系統(tǒng)忽視了環(huán)境因素對行為的影響，缺乏動態(tài)調(diào)整識別策略的能力，導(dǎo)致在特定環(huán)境下識別率下降，此外，大多數(shù)現(xiàn)有技術(shù)側(cè)重于單一模態(tài)信息，而未能充分利用多模態(tài)數(shù)據(jù)的優(yōu)勢，這限制了系統(tǒng)的魯棒性和適應(yīng)性，最后，即時預(yù)警機制的缺失和不完善，使得即使識別到了不安全行為，也無法及時采取有效措施，降低了系統(tǒng)的實用性的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

4、第一方面，本發(fā)明實施例提供了一種基于機器視覺的井下人員不安全行為快速分析與識別方法，其包括，

5、配置環(huán)境感知單元實時監(jiān)測井下環(huán)境參數(shù)，根據(jù)監(jiān)測數(shù)據(jù)動態(tài)調(diào)整圖像識別與姿態(tài)估計模型的閾值參數(shù)；

6、構(gòu)建行為預(yù)測模型，基于時間序列數(shù)據(jù)輸入行為預(yù)測模型預(yù)測井下人員未來的不安全行為趨勢，實現(xiàn)預(yù)警；

7、集成視覺、聲音和其他非視覺傳感器數(shù)據(jù)，構(gòu)建多模態(tài)融合識別系統(tǒng)，通過同步處理和融合各模態(tài)數(shù)據(jù)，提高在復(fù)雜環(huán)境下的識別能力；

8、對井下人員的實時行為進行綜合分析，一旦識別到不安全行為，立即啟動預(yù)警機制。

9、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述配置環(huán)境感知單元實時監(jiān)測井下環(huán)境參數(shù)，具體步驟為：

10、在井下關(guān)鍵位置部署環(huán)境感知單元，實時采集光照強度和塵埃濃度數(shù)據(jù)，形成原始環(huán)境參數(shù)數(shù)據(jù)；

11、將原始環(huán)境參數(shù)數(shù)據(jù)轉(zhuǎn)化為適合行為預(yù)測模型可以處理的格式；

12、對原始環(huán)境參數(shù)數(shù)據(jù)進行探索性數(shù)據(jù)分析eda，檢查光照強度l和塵埃濃度d的最小值、最大值、平均值和中位數(shù)的統(tǒng)計指標(biāo)；

13、基于最小-最大歸一化方法構(gòu)建量化函數(shù)q，將原始環(huán)境參數(shù)數(shù)據(jù)映射到[0,1]區(qū)間；

14、針對光照強度，量化函數(shù)表達式為：

15、

16、其中，q(l)表示經(jīng)過量化處理后的光照強度，l表示原始光照強度值，1000表示原始光照強度數(shù)據(jù)范圍的最大值；

17、針對塵埃濃度，量化函數(shù)表達式為：

18、

19、其中，q(d)表示經(jīng)過量化處理后的塵埃濃度值，d表示原始塵埃濃度值，dmax和dmin分別表示塵埃濃度的最大和最小測量值。

20、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述環(huán)境感知單元除了實時監(jiān)測光照強度和塵埃濃度外，還集成溫濕度傳感器，監(jiān)測井下環(huán)境的溫濕度，并將溫濕度數(shù)據(jù)納入環(huán)境參數(shù)et中，具體步驟為：

21、在環(huán)境感知單元中新增溫濕度傳感器，實時采集井下環(huán)境的溫度和濕度數(shù)據(jù)；

22、將原始溫濕度數(shù)據(jù)轉(zhuǎn)化為歸一化值，量化函數(shù)表達式為：

23、q(t)＝(t-tmin)/(tmax-tmin)；

24、q(h)＝(h-hmin)/(hmax-hmin)；

25、其中，q(t)和q(h)分別表示歸一化后的溫度和濕度值，tmin、tmax、hmin、hmax分別為溫度和濕度的最小值和最大測量值；

26、將歸一化后的溫濕度數(shù)據(jù)q(t)和q(h)加入到環(huán)境參數(shù)向量et中，擴展后的環(huán)境參數(shù)向量變?yōu)閑t＝[q(l)，q(d)，q(t)，q(h)]。

27、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述根據(jù)監(jiān)測數(shù)據(jù)動態(tài)調(diào)整圖像識別與姿態(tài)估計模型的閾值參數(shù)，具體步驟為：

28、基于量化后的環(huán)境參數(shù)數(shù)據(jù)構(gòu)建閾值函數(shù)，計算得到當(dāng)前環(huán)境下的調(diào)整后閾值，表達式為：

29、a＝θ0+f1(q(l))+f2(q(d))+fi(q(l)，q(d))+ft(q(t))+fh(q(h))；

30、其中，a表示調(diào)整后的閾值函數(shù)，θ0表示基礎(chǔ)閾值的具體數(shù)值，f1和f2分別表示光照影響函數(shù)和塵埃影響函數(shù)，fi表示光照與塵埃的交互作用調(diào)整項，ft表示溫度影響函數(shù)，fh表示濕度影響函數(shù)。

31、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述構(gòu)建行為預(yù)測模型，具體步驟為：

32、定義狀態(tài)空間，包含井下人員的所有行為狀態(tài)，狀態(tài)空間中的每一個狀態(tài)由人員的位置、姿態(tài)角度、動作時間、動作軌跡、當(dāng)前的光照強度和塵埃濃度共同組成；

33、定義動作空間，動作空間包含所有不安全行為以及安全行為，動作空間中的每個元素對應(yīng)著一個具體的動作；

34、設(shè)定獎勵函數(shù)，獎勵函數(shù)根據(jù)預(yù)測行為的正確與否給予正負獎勵，獎勵函數(shù)鼓勵模型學(xué)習(xí)到正確的不安全行為預(yù)測模式，并避免錯誤識別和遺漏；

35、當(dāng)模型成功預(yù)測到即將發(fā)生的不安全行為時，給予正向獎勵；

36、當(dāng)預(yù)測錯誤和未能及時預(yù)警時，則給予負向懲罰；

37、利用深度強化學(xué)習(xí)算法構(gòu)建行為預(yù)測模型，模型通過與環(huán)境交互學(xué)習(xí)最優(yōu)策略，最優(yōu)策略包含在給定狀態(tài)下采取具體的動作來達到最大化未來獎勵的期望值。

38、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述基于時間序列數(shù)據(jù)輸入行為預(yù)測模型預(yù)測井下人員未來的不安全行為趨勢，實現(xiàn)預(yù)警，具體步驟為：

39、從歷史監(jiān)控視頻、事故報告和實地觀察中收集不安全行為樣本；

40、將歷史數(shù)據(jù)按時間序列排序，每個時間點記錄特定井下人員的行為狀態(tài)，包括但不限于位置、動作特征和環(huán)境參數(shù)數(shù)據(jù)；

41、從時間序列數(shù)據(jù)中提取出行為特征ft；

42、將行為特征轉(zhuǎn)化為數(shù)值形式；

43、將量化后的特征按時間序列排列，每一行為一個時間點的行為特征向量，構(gòu)成原始特征矩陣x，其中行數(shù)為時間點數(shù)量，列數(shù)為特征數(shù)量；

44、計算行為特征矩陣x的協(xié)方差矩陣c；

45、對協(xié)方差矩陣c進行特征分解，得到特征值λ1，λ2,...，λd和對應(yīng)的特征向量v1，v2，...，vd；

46、將特征值，從大到小排列；

47、選擇前k個最大的特征值對應(yīng)的特征向量，其中k需要根據(jù)累積貢獻率來確定，表達式為：

48、

49、其中，d表示特征值的總數(shù)量，k是我們想要選擇的主成分?jǐn)?shù)目，λi表示第j個特征值，表示所有特征值之和；

50、使用選定的k個特征向量構(gòu)造轉(zhuǎn)換矩陣v＝[v1，v2,...，vk]，然后對原始特征矩陣x進行轉(zhuǎn)換，得到降維后的矩陣xpca＝xv；

51、將實時數(shù)據(jù)經(jīng)過處理輸入行為預(yù)測模型，預(yù)測井下人員的未來行為趨勢，并根據(jù)預(yù)測結(jié)果觸發(fā)預(yù)警機制。

52、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述集成視覺、聲音和其他非視覺傳感器數(shù)據(jù)，構(gòu)建多模態(tài)融合識別系統(tǒng)，通過同步處理和融合各模態(tài)數(shù)據(jù)，提高在復(fù)雜環(huán)境下的識別能力，具體步驟為：

53、針對不同模態(tài)數(shù)據(jù)，進行獨立預(yù)處理；

54、對于視覺數(shù)據(jù)，使用卷積神經(jīng)網(wǎng)絡(luò)cnn提取圖像中的時空特征；

55、對于聲音數(shù)據(jù)通過短時傅里葉變換stft轉(zhuǎn)換為頻譜圖，再用深度學(xué)習(xí)模型crnn提取聲音特征；

56、對于非視覺傳感器數(shù)據(jù)，直接量化處理為數(shù)值特征；

57、基于不同模態(tài)數(shù)據(jù)結(jié)合加權(quán)求和的方式構(gòu)建多模態(tài)融合函數(shù)，表達式為：

58、

59、其中，fi表示第i個模態(tài)的特征向量，wi表示第i個模態(tài)的權(quán)重值。

60、作為本發(fā)明所述基于機器視覺的井下人員不安全行為快速分析與識別方法的一種優(yōu)選方案，其中：所述具體步驟為：所述對井下人員的實時行為進行綜合分析，一旦識別到不安全行為，立即啟動預(yù)警機制，具體步驟為：

61、基于實時數(shù)據(jù)輸入動態(tài)調(diào)整公式計算得出適應(yīng)當(dāng)前環(huán)境的圖像識別與姿態(tài)估計模型閾值函數(shù)a；

62、根據(jù)時間序列數(shù)據(jù)ft與環(huán)境參數(shù)et輸入行為預(yù)測模型，預(yù)測井下人員的不安全行為趨勢，并通過獎勵函數(shù)調(diào)整策略；

63、將視覺、聲音及其他非視覺傳感器數(shù)據(jù)輸入到多模態(tài)融合函數(shù)中，得到融合后的特征向量ff；

64、將融合后的特征向量ff，輸入到遞歸神經(jīng)網(wǎng)絡(luò)rnn中進行行為識別和分類，得到預(yù)測的行為類別概率分布yθ；

65、結(jié)合當(dāng)前的環(huán)境參數(shù)數(shù)據(jù)，構(gòu)建動態(tài)閾值函數(shù)，表達式為：

66、v(kl，kd，γ)＝θ0+kl·(1-q(l))γ+kd·q(d)γ；

67、其中，v表示動態(tài)調(diào)整后的閾值函數(shù)，kl表示與光照強度相關(guān)的調(diào)整系數(shù)，kd表示與塵埃濃度相關(guān)的調(diào)整系數(shù)，γ表示影響函數(shù)曲線陡峭程度的參數(shù)，θ0

68、表示基礎(chǔ)閾值；

69、將多模態(tài)融合后的分類結(jié)果yθ，與動態(tài)閾值v進行比較；

70、當(dāng)最高的分類概率值大于等于當(dāng)前環(huán)境條件下的閾值v，則判定為存在不安全行為，并立即啟動預(yù)警機制；

71、反之，當(dāng)最高的分類概率值小于當(dāng)前環(huán)境條件下的閾值v，則判定當(dāng)前行為在安全范圍內(nèi)，無需警報，保持監(jiān)控。

72、第二方面，本發(fā)明實施例提供了一種計算機設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其中：所述計算機程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明第一方面所述的基于機器視覺的井下人員不安全行為快速分析與識別方法的任一步驟。

73、第三方面，本發(fā)明實施例提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其中：所述計算機程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明第一方面所述的基于機器視覺的井下人員不安全行為快速分析與識別方法的任一步驟。

74、本發(fā)明有益效果為：通過環(huán)境感知單元動態(tài)調(diào)整模型參數(shù)，增強了系統(tǒng)對環(huán)境變化的適應(yīng)性；通過構(gòu)建行為預(yù)測模型，實現(xiàn)了對不安全行為趨勢的預(yù)測，提升了預(yù)警的時效性；通過多模態(tài)數(shù)據(jù)融合，提高了識別的準(zhǔn)確性和魯棒性，本發(fā)明屬于智能安全監(jiān)控技術(shù)領(lǐng)域，尤其適用于煤礦、金屬礦的地下作業(yè)環(huán)境，對于提升井下作業(yè)安全性具有重要意義。