本發(fā)明屬于煤礦安全工程技術(shù)及人工智能，具體涉及一種基于改進(jìn)的yolov5的井下環(huán)境的人員攀爬礦車檢測方法。

背景技術(shù)：

1、中國作為礦產(chǎn)資源大國，有著數(shù)量龐大的礦物產(chǎn)區(qū)，在所有的礦區(qū)，運輸都是一個極其核心的問題，而在井下礦區(qū)的運輸方面，安全又是重中之重。井下作業(yè)環(huán)境極其復(fù)雜，存在諸多潛在危險，如揚(yáng)塵嚴(yán)重、視線遮擋、地形多變等。礦車作為礦山軌道運輸煤炭、矸石、器材、設(shè)備和人員的車輛的專用車輛，主要用于礦井井下道、井筒以及地面的軌道運輸，按作業(yè)功能常分為貨車、人車、料車。為適應(yīng)井下巷道狹小的條件，礦車一般使用機(jī)車或絞車牽引，是煤礦中用量最大、應(yīng)用最廣的一種運輸設(shè)備。

2、針對于運輸工人的井下礦車，若在礦車的運輸過程中，若作業(yè)工人違反安全規(guī)定攀爬礦車，可能存在以下風(fēng)險：1、礦車失衡墜落風(fēng)險：工作人員隨意攀爬礦車可能導(dǎo)致人員摔倒或失去平衡，從礦車墜落造成傷害；2、電氣觸電風(fēng)險：井下礦車由電器驅(qū)動，攀爬時工作人員可能會接觸到帶電部件造成觸電事故；3、機(jī)械傷害風(fēng)險：攀爬礦車時，由于礦車不會減速，同時井下燈光昏暗，工作人員可能會被車輪、傳動裝置等機(jī)械部件夾傷或碰撞造成傷害；4、坍塌風(fēng)險：攀爬的礦車若存在負(fù)重限制或未經(jīng)過檢查維護(hù)，可能會發(fā)生礦車坍塌或傾倒從而對工作人員造成傷害；5、意外啟動風(fēng)險：在攀爬礦車時，如果誤觸啟動按鈕或控制桿，可能會導(dǎo)致車輛意外啟動，造成傷害。

3、因此，為避免這些風(fēng)險，應(yīng)該加強(qiáng)井下礦車作業(yè)監(jiān)督，確保井下礦車的安全運行和井下工作人員的安全操作。使用智能ai監(jiān)測工作人員攀爬礦車可以及時發(fā)現(xiàn)違規(guī)行為，警示工作人員并提醒管理人員立即采取行動，阻止違規(guī)行為，減少事故的發(fā)生，有效保障工作人員的生命安全。同時ai監(jiān)測和報警，可以全天候提醒并記錄工作人員遵守操作規(guī)程和安全標(biāo)準(zhǔn)，形成良好的工作習(xí)慣，規(guī)范工作行為，從而降低人員傷亡和設(shè)備損壞等事故成本。但是目前的礦車監(jiān)控不能夠及時且準(zhǔn)確的反饋報警信息，不能夠為礦車安全運行和井下工作人員的安全操作提供有效的數(shù)據(jù)支持。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明基于yolov5檢測模型，采集并制作井下工作人員攀爬礦車姿態(tài)數(shù)據(jù)集，之后在模型訓(xùn)練階段結(jié)合圖像預(yù)處理算法，增加捕獲不同局部信息的能力；經(jīng)訓(xùn)練后，模型在檢測時輸出工作人員姿態(tài)，并使用后處理判斷工作人員是否存在攀爬礦車行為，若存在，則發(fā)送報警信息以提示，為井下礦車安全運行和井下工作人員規(guī)范安全操作提供監(jiān)測方案。

2、為實現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：一種基于井下環(huán)境的人員攀爬礦車檢測方法，具體步驟為：

3、步驟一、數(shù)據(jù)集采集：采集井下礦車及礦車工作人員攀爬動作，采集場景包含不同工作時間段、不同礦車工作場景、不同礦車及工作人員攀爬礦車多角度的監(jiān)控圖像。采集數(shù)據(jù)應(yīng)覆蓋可能多的異常情況，包括但不限監(jiān)控畫面工作區(qū)域內(nèi)的異常情況、突發(fā)事件和可能存在的畫面遮擋情況，以增強(qiáng)模型的魯棒性。確保采集的圖像能夠覆蓋不同種類礦車以及不同光照、不同工作場景、不同角度下工作人員攀爬礦車的動作，保證素材多樣性和代表性，以便后續(xù)模型訓(xùn)練能夠習(xí)得更多的特征。使用可靠的存儲介質(zhì)和數(shù)據(jù)管理系統(tǒng)，確保圖像數(shù)據(jù)和標(biāo)注數(shù)據(jù)能夠長期保存和易于訪問，同時注意對采集到的工作人員敏感信息進(jìn)行適當(dāng)?shù)奶幚砗捅Ｗo(hù)，防止隱私數(shù)據(jù)泄露。

4、步驟二、數(shù)據(jù)集標(biāo)注：數(shù)據(jù)集標(biāo)注應(yīng)保證標(biāo)注一致性、準(zhǔn)確性、完整性，避免標(biāo)注歧義，人物姿態(tài)數(shù)據(jù)集標(biāo)注應(yīng)遵循coco關(guān)鍵點檢測數(shù)據(jù)集(coco?keypoint?detection)中對人體目標(biāo)標(biāo)注格式，即按照coco數(shù)據(jù)集的順序，對17個點按順序進(jìn)行標(biāo)注。對于肉眼可判斷的攀爬動作全部標(biāo)注，對于肉眼難以分辨的情況舍棄適當(dāng)目標(biāo)，確保所有需要標(biāo)注的特征或事件都被正確標(biāo)注。根據(jù)檢測需求，進(jìn)行適當(dāng)?shù)募?xì)粒度標(biāo)注，并對復(fù)雜場景中的多個對象進(jìn)行精細(xì)標(biāo)注，確保標(biāo)注的數(shù)據(jù)涵蓋各種不同的場景和可能的工作情況，以增強(qiáng)數(shù)據(jù)的代表性。

5、步驟三、數(shù)據(jù)集拆分及訓(xùn)練圖像預(yù)處理：將數(shù)據(jù)集打亂順序，然后按照7：1：2的比例將其分為訓(xùn)練集、驗證集和測試集，充分利用所有數(shù)據(jù)，減少過擬合的風(fēng)險可以更準(zhǔn)確地估計模型的性能。

6、使用縮放、圖像顏色空間調(diào)整和mosaic圖像數(shù)據(jù)增強(qiáng)來增加數(shù)據(jù)多樣性，增強(qiáng)模型魯棒性，消除隨機(jī)性影響，使得選擇結(jié)果更具普遍性，在實際應(yīng)用中更加魯棒。

7、步驟四、人物姿態(tài)檢測模型yolo-pose：yolo-pose是基于yolov5目標(biāo)檢測框架的姿態(tài)估計，使用端到端的無中間檢測熱力圖(heatmap)輸出結(jié)果的聯(lián)合檢測訓(xùn)練，并優(yōu)化目標(biāo)關(guān)鍵點相似度(oks)度量本身，在一次前向傳遞計算中聯(lián)合檢測邊界框(框內(nèi)有人出現(xiàn))及其相應(yīng)的二維姿態(tài)。同時，yolo-pose不需要對自底向上的方法進(jìn)行后處理以將檢測到的關(guān)鍵點分組到一個骨架中，因為每個邊界框都有一個相關(guān)的姿態(tài)，所以關(guān)鍵點本身存在固有分組。且yolo-pose不同于自上而下的方法，因為所有人的姿勢都是局部化的，所以可以取消多個前向傳播的計算。

8、步驟五、改進(jìn)的yolov5模型及后處理：在原yolov5框架中引入transformer編碼塊替換yolov5中的部分卷積塊，每個transformer編碼塊包含兩個子層，每個子層之間使用殘差連接，以增加捕獲不同局部信息的能力。最后，在檢測階段，根據(jù)改進(jìn)的基于yolov5的yolo-pose模型的推理結(jié)果，判斷視頻檢測范圍內(nèi)檢測到的工作人員是否存在攀爬礦車的動作行為，若存在則輸出報警信號。

9、本發(fā)明與現(xiàn)有技術(shù)先比，具體有益效果體現(xiàn)在：

10、一、本發(fā)明提出的基于井下環(huán)境的人員攀爬礦車檢測方法是一種高效的目標(biāo)檢測算法，能夠準(zhǔn)確并實時地檢測出人員的位置和動作，有效并及時地識別出在井下環(huán)境中攀爬礦車的人員，從而有效地降低事故的發(fā)生率，保障井下工作人員的安全。綜上所述，本發(fā)明可以實現(xiàn)對井下環(huán)境中人員攀爬礦車的自動化檢測，減少人工干預(yù)，提高工作效率和工作環(huán)境安全性，具有安全、穩(wěn)定性強(qiáng)、效率高等優(yōu)勢。

11、二、本發(fā)明針對井下工作人員工作狀態(tài)制作高質(zhì)量的人體姿勢檢測數(shù)據(jù)集，并使用基于主流yolov5檢測模型的yolo-pose人體姿態(tài)檢測框架,在其基礎(chǔ)上引入tph注意力優(yōu)化模塊，替換了yolov5中的部分卷積塊和csp?bottleneck?blocks，增加模型捕獲不同局部信息和挖掘特征表征的能力。最后引入多級判斷對推理后得到的結(jié)果進(jìn)行處理判斷，實現(xiàn)對于井下多種場景下人員攀爬礦車檢測行為的檢測，并將判斷出的報警信號作為算法的輸出，為井下工作環(huán)境安全生產(chǎn)監(jiān)督提供精確有效的監(jiān)測方案。

12、三、本發(fā)明通過使用ai技術(shù)監(jiān)測井下人員攀爬礦車，可以全天候?qū)嵤┍O(jiān)測工人在井下環(huán)境作業(yè)中攀爬礦車的行為，及時發(fā)現(xiàn)并避免不當(dāng)操作或意外發(fā)生，降低井下安全生產(chǎn)事故發(fā)生的幾率，從而保障工人的安全。同時，該監(jiān)測方法也可以及時發(fā)現(xiàn)潛在的安全隱患，保障生產(chǎn)線的持續(xù)運轉(zhuǎn)和效率，降低事故發(fā)生的幾率，減少事故帶來的人身傷害和財產(chǎn)損失，提高井下作業(yè)的效率和井下作業(yè)安全性。因此，基于井下環(huán)境的人員攀爬礦車檢測方法所獲得的社會效益突出，值得推廣。