本發(fā)明屬于計(jì)算機(jī)視覺，具體涉及一種基于計(jì)算機(jī)視覺的煤礦人員追趕架空乘裝置的識(shí)別方法。

背景技術(shù)：

1、傳統(tǒng)的煤礦生產(chǎn)過程往往依賴于人工的巡檢和監(jiān)控，存在人力資源浪費(fèi)和盲區(qū)監(jiān)控的問題，而且煤礦工人在生產(chǎn)過程中的違規(guī)操作以及安全隱患無法及時(shí)排查，會(huì)降低煤礦工作效率，安全風(fēng)險(xiǎn)系數(shù)升高。隨著人工智能技術(shù)的落地應(yīng)用，煤礦行業(yè)的智能化管理也成為趨勢(shì)?；谝曨l圖像，通過部署ai算法模型可以實(shí)現(xiàn)對(duì)煤礦井下監(jiān)控場(chǎng)景的智能識(shí)別分析，實(shí)時(shí)監(jiān)測(cè)和預(yù)警煤礦安全生產(chǎn)過程中的異常事件、違規(guī)操作、安全隱患等。

2、架空乘人裝置是一種用于礦山井下運(yùn)輸?shù)脑O(shè)備，由鋼絲繩、滑輪、電機(jī)等組成，可以在斜井或豎井中上下運(yùn)行。通過對(duì)礦井企業(yè)架空乘人裝置的現(xiàn)場(chǎng)實(shí)際應(yīng)用，不僅能有效地改善和提高我國(guó)礦井生產(chǎn)的效率，而且還能夠有效地降低礦井工人的工作強(qiáng)度。但在架空乘人裝置實(shí)際應(yīng)用場(chǎng)景中，往往存在不規(guī)范使用此裝置導(dǎo)致的一系列事故。其中煤礦人員追趕架空乘裝置會(huì)導(dǎo)致人員摔倒、上車時(shí)裝置產(chǎn)生較大偏擺，造成鋼絲繩掉下托繩輪或抱索器卡住托繩輪而發(fā)生安全事故。因此，對(duì)這種不規(guī)范的行為進(jìn)行檢測(cè)，并及時(shí)推送告警結(jié)果，可以有效減少此類安全問題。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)存在的技術(shù)問題，本發(fā)明提供了基于計(jì)算機(jī)視覺的煤礦人員追趕架空乘裝置的識(shí)別方法，主要是通過獲取乘坐架空乘裝置場(chǎng)景的監(jiān)控點(diǎn)實(shí)時(shí)視頻流，對(duì)視頻進(jìn)行抽幀處理，并對(duì)截取出的數(shù)據(jù)集進(jìn)行預(yù)處理和標(biāo)注，然后采用yolov8-mcw改進(jìn)算法檢測(cè)視頻中的礦工及單獨(dú)架空乘裝置目標(biāo)，并采用目標(biāo)追蹤技術(shù)對(duì)檢測(cè)到的目標(biāo)進(jìn)行追蹤，考慮到追蹤過程中由于目標(biāo)間相互遮擋遮擋易發(fā)生目標(biāo)身份丟失及切換的問題，利用兩個(gè)視角的單應(yīng)性矩陣，實(shí)現(xiàn)了不同視角圖像的拼接，基于追蹤結(jié)果判斷目標(biāo)的運(yùn)動(dòng)速度和方向，結(jié)合計(jì)算出的兩目標(biāo)的距離，最終判斷人是否存在追趕架空乘裝置的行為。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：基于計(jì)算機(jī)視覺的煤礦人員追趕架空乘裝置的識(shí)別方法，具體步驟如下：

3、s1、圖像數(shù)據(jù)獲取：采用實(shí)際煤礦應(yīng)用場(chǎng)景下已有攝像頭，獲取乘坐架空乘裝置場(chǎng)景的監(jiān)控點(diǎn)實(shí)時(shí)視頻流，截取多段行人追趕架空乘裝置的視頻，然后對(duì)截取到的視頻進(jìn)行篩選，并對(duì)視頻進(jìn)行逐幀截取，得到數(shù)據(jù)集用于后續(xù)處理。

4、s2、數(shù)據(jù)集制作：對(duì)獲取到的數(shù)據(jù)分別進(jìn)行數(shù)據(jù)增強(qiáng)預(yù)處理及數(shù)據(jù)標(biāo)注工作。

5、進(jìn)一步是，步驟s2包括以下步驟：

6、s21、數(shù)據(jù)增強(qiáng)：對(duì)上述步驟s1中搜集到的數(shù)據(jù)進(jìn)行變換和擴(kuò)充，從而生成更多、更豐富樣本的方法，可以提升訓(xùn)練樣本多樣性、減少模型對(duì)具體數(shù)據(jù)分布的依賴、增強(qiáng)模型的泛化能力和魯棒性。

7、s22、數(shù)據(jù)標(biāo)注：對(duì)進(jìn)行數(shù)據(jù)增強(qiáng)預(yù)處理后的圖片使用labelimg軟件在圖像上對(duì)行人及架空乘裝置進(jìn)行標(biāo)注,行人類別命名為“person”，架空乘裝置類別命名為“man_riding_device”，標(biāo)注后會(huì)生成帶有位置坐標(biāo)和類別名稱的txt文件；對(duì)標(biāo)注后的數(shù)據(jù)集按7:2:1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。

8、s3、模型訓(xùn)練：本方法采用yolov8-mcw改進(jìn)算法實(shí)現(xiàn)人員以及架空乘裝置的識(shí)別，yolov8改進(jìn)算法盡管在檢測(cè)精度和速度方面已經(jīng)取得顯著進(jìn)展，但在特定應(yīng)用場(chǎng)景下仍有改進(jìn)的空間。考慮到本發(fā)明是在井口和巷道中乘坐架空乘裝置的地方進(jìn)行目標(biāo)檢測(cè)，因此需要針對(duì)yolov8算法做進(jìn)一步的優(yōu)化，提升對(duì)目標(biāo)檢測(cè)的整體性能。

9、yolov8算法的改進(jìn)包括以下三個(gè)核心點(diǎn)：首先，使用mobilenetv3-large替代了傳統(tǒng)的yolov8網(wǎng)絡(luò)的主干結(jié)構(gòu)，保證模型輕量且易部署；其次引入了通道注意力模塊，由于攝像頭安裝位置距離檢測(cè)目標(biāo)處較遠(yuǎn)，從而導(dǎo)致檢測(cè)目標(biāo)在整個(gè)畫面中較小且井下目標(biāo)模糊，而這些小目標(biāo)往往容易被檢測(cè)網(wǎng)絡(luò)漏檢，因此加入注意力機(jī)制以提升模型對(duì)距離較遠(yuǎn)的架空乘裝置以及人員目標(biāo)的檢測(cè)效果；為了進(jìn)一步優(yōu)化算法模型，提升目標(biāo)檢測(cè)定位的精確度，選取了wiou?v3作為邊框回歸損失函數(shù)。通過以上優(yōu)化策略，最終實(shí)現(xiàn)在井口和井下高效、準(zhǔn)確地檢測(cè)人員以及架空乘裝置目標(biāo)，將該改進(jìn)算法命名為yolov8-mcw。

10、進(jìn)一步是，步驟s3包括以下步驟：

11、s31、使用mobilenetv3-large替代了傳統(tǒng)的yolov8網(wǎng)絡(luò)的主干結(jié)構(gòu)，在保證模型輕量級(jí)的同時(shí)，幾乎損失模型的準(zhǔn)確性。mobilenetv3中引入了5×5大小的深度卷積代替部分3×3的深度卷積，引入squeeze-and-excitation(se)模塊和h-swish(hs)激活函數(shù)以提高模型精度，yolov8-m模型簡(jiǎn)潔，性能和速度都表現(xiàn)優(yōu)異。

12、s32、添加注意力機(jī)制模塊：本發(fā)明在頸部網(wǎng)絡(luò)中引入坐標(biāo)注意力機(jī)制(ca)，把精確的定位信號(hào)嵌入在通道注意力中，并將它劃分成二個(gè)不同方向的特征編碼，其中一個(gè)方向用來保留短位置信號(hào)，而另一種方向則用來捕獲長(zhǎng)程依賴，分別對(duì)兩個(gè)方向的特征編碼形成包含一對(duì)目標(biāo)感知和定位信號(hào)的特征圖像，可以增強(qiáng)特征圖的準(zhǔn)確定位和目標(biāo)識(shí)別能力。

13、s33、優(yōu)化損失函數(shù)：傳統(tǒng)的intersection?over?union(iou)只考慮了預(yù)測(cè)框和真實(shí)框的重疊部分，沒有考慮兩者之間的區(qū)域，導(dǎo)致在評(píng)估結(jié)果時(shí)可能存在偏差?？紤]到縱橫比、質(zhì)心距離和重疊區(qū)域等方面的因素，以及減少逆三角函數(shù)帶來的算術(shù)計(jì)算功耗。wiouv3具有的優(yōu)秀的動(dòng)態(tài)非單調(diào)聚焦機(jī)制更加適合于模糊的小目標(biāo)檢測(cè)任務(wù)，本發(fā)明選擇wiouv3作為yolov8-cw的損失函數(shù)，wiou?v3損失函數(shù)的具體計(jì)算過程如下。

14、lwiouv1邊界框損失函數(shù)定義如下所示：

15、liou＝1-iou

16、

17、lwiouv1＝rwiouliou

18、式中，iou用于衡量預(yù)測(cè)邊界框(bounding?box)與真實(shí)邊界框之間的重疊程度，liou為邊界框損失函數(shù)，ch和cw分別表示預(yù)測(cè)框和真實(shí)框形成的最小封閉框的高度和寬度，和表示真實(shí)框的質(zhì)心坐標(biāo)，和表示預(yù)測(cè)框的質(zhì)心坐標(biāo)。

19、在lwiouv1的基礎(chǔ)上乘以梯度增益r定義lwiouv3邊界框損失函數(shù)，如下式所示：

20、

21、式中，r為非單調(diào)焦點(diǎn)因子，lwiouv1為邊界框損失函數(shù)，為單調(diào)焦點(diǎn)系數(shù)，為設(shè)置的平均邊界框損失值，兩者的比值為β，通過β即可評(píng)定樣本質(zhì)量，δ和α均為適應(yīng)不同模型手動(dòng)設(shè)置的超參數(shù)。

22、wiou?v3使用動(dòng)態(tài)非單調(diào)機(jī)制來評(píng)估錨框的質(zhì)量，使模型更加關(guān)注普通質(zhì)量的錨框，提高了模型對(duì)對(duì)象定位的能力。對(duì)于井下復(fù)雜場(chǎng)景中的目標(biāo)檢測(cè)任務(wù)，由于目標(biāo)模糊及目標(biāo)尺寸較小，檢測(cè)難度較大，wiou?v3損失函數(shù)可以動(dòng)態(tài)優(yōu)化小目標(biāo)的損失權(quán)重，以提高yolov8-mcw的檢測(cè)性能。

23、s34、模型檢測(cè)效果和性能評(píng)估：為了測(cè)試本發(fā)明的改進(jìn)模型檢測(cè)性能，本發(fā)明使用精度、召回率、map@0.5、模型參數(shù)規(guī)模、模型計(jì)算量(floating?point?operations,flops)、模型訓(xùn)練時(shí)間和檢測(cè)速度(單位：frame/s)作為評(píng)估指標(biāo)。上述評(píng)估指標(biāo)的公式中使用了以下參數(shù)：tp(預(yù)測(cè)為正樣本，實(shí)際上也是正樣本)、fp(預(yù)測(cè)為正樣本，實(shí)際上為負(fù)樣本)和fn(預(yù)測(cè)為負(fù)樣本，實(shí)際上是正樣本)。

24、s4、基于deepsort追蹤算法實(shí)現(xiàn)多攝像頭追蹤，在對(duì)目標(biāo)進(jìn)行追蹤時(shí)，由于目標(biāo)間的相互遮擋和環(huán)境中的光線變化，會(huì)導(dǎo)致跟蹤失敗，進(jìn)而影響后續(xù)的目標(biāo)間追趕關(guān)系的判定。因此有效地利用多視角信息，提高目標(biāo)追蹤的準(zhǔn)確性和穩(wěn)定性顯得尤為必要。

25、s41、計(jì)算不同視角攝像頭對(duì)應(yīng)的單應(yīng)性矩陣，利用單應(yīng)性矩陣對(duì)具有重疊區(qū)域的的圖像空間中進(jìn)行映射，進(jìn)而對(duì)遮擋進(jìn)行處理，完成目標(biāo)匹配。單應(yīng)性矩陣可以建立起不同圖像之間的對(duì)應(yīng)關(guān)系，使得該模型能夠在一張圖像中推斷出另一張圖像中的信息。

26、具體來說，利用兩個(gè)或者多個(gè)不同視角之間的重疊區(qū)域，使用shift算法提取出關(guān)鍵點(diǎn)，利用圖像空間與世界坐標(biāo)系之間的關(guān)系，推導(dǎo)出不同視角之間的空間聯(lián)系，繼而得到不同視角之間的單應(yīng)性矩陣。

27、s42、deepsort追蹤算法是一種多目標(biāo)追蹤算法，使用卡爾曼濾波算法根據(jù)當(dāng)前時(shí)刻的運(yùn)動(dòng)量推測(cè)下一時(shí)刻的運(yùn)動(dòng)量，結(jié)合運(yùn)動(dòng)量信息以及外觀信息，使用匈牙利算法對(duì)檢測(cè)框以及預(yù)測(cè)框進(jìn)行匹配。在每個(gè)幀中，算法首先使用深度學(xué)習(xí)模型對(duì)所有可能的目標(biāo)進(jìn)行預(yù)測(cè)，然后根據(jù)外觀信息進(jìn)行數(shù)據(jù)關(guān)聯(lián)，最后使用卡爾曼濾波器來更新軌跡信息。

28、卡爾曼濾波算法是一種遞歸濾波算法，它通過對(duì)觀測(cè)值進(jìn)行更新，不斷地改進(jìn)對(duì)狀態(tài)的估計(jì)。

29、匈牙利算法(hungarian?algorithm)是一種解決分配問題(assignment?problem)的優(yōu)化算法，原理是基于圖論中的最大匹配和線性規(guī)劃的方法，用于找到給定成本矩陣中的最佳任務(wù)分配方式，目的是為了在多目標(biāo)跟蹤中進(jìn)行幀與幀之間的多個(gè)目標(biāo)的匹配，其中包括新目標(biāo)的出現(xiàn)、舊目標(biāo)的消失以及前一幀與當(dāng)前幀的目標(biāo)id匹配。

30、該算法在行人密集、遮擋等復(fù)雜場(chǎng)景下表現(xiàn)出優(yōu)秀的性能，能夠準(zhǔn)確地追蹤行人的運(yùn)動(dòng)軌跡，為實(shí)時(shí)獲取運(yùn)動(dòng)行人的信息提供了強(qiáng)有力的支持。同時(shí)，基于deepsort追蹤算法實(shí)現(xiàn)多攝像頭追蹤的優(yōu)異表現(xiàn)也證明了二者相結(jié)合能夠?qū)崿F(xiàn)更高效、更準(zhǔn)確的目標(biāo)追蹤。

31、s43、計(jì)算視頻間的單應(yīng)性矩陣，將多視角視頻進(jìn)行拼接，并將其作為輸入，利用卡爾曼濾波進(jìn)行預(yù)測(cè)數(shù)據(jù)。

32、再結(jié)合單應(yīng)矩陣和匈牙利算法，對(duì)目標(biāo)進(jìn)行判定，從而實(shí)現(xiàn)了多攝像頭之間的目標(biāo)追蹤。

33、s5、計(jì)算追蹤目標(biāo)間的運(yùn)動(dòng)矢量和距離：基于追蹤結(jié)果獲取每一幀中物體的中心點(diǎn)位置，在每一對(duì)相鄰幀中，根據(jù)中心點(diǎn)位置的變化計(jì)算物體的運(yùn)動(dòng)方向和速度與兩點(diǎn)之間的歐氏距離，得到物體的運(yùn)動(dòng)信息。

34、s6、追趕判定的具體步驟如下：1)、如果物體a的速度大于物體b，并且這種情況是持續(xù)的，認(rèn)為有可能發(fā)生追趕；2)、計(jì)算兩個(gè)物體的運(yùn)動(dòng)方向矢量，如果兩個(gè)矢量角度很小(即兩個(gè)方向矢量接近平行，可以設(shè)置一個(gè)角度閾值例如30度)，則說明物體a在朝向物體b運(yùn)動(dòng)。3)、如果物體a和物體b之間的距離隨時(shí)間減小，這進(jìn)一步確認(rèn)了存在追趕行為。

35、與現(xiàn)有技術(shù)相比，本發(fā)明具有的有益效果是：

36、一、針對(duì)煤礦井下特殊場(chǎng)景搜集到素材存在的數(shù)據(jù)模糊及目標(biāo)較小的問題，本發(fā)明添加ca注意力機(jī)制更好地完成了特征提取，環(huán)境光線干擾及目標(biāo)多樣復(fù)雜的問題進(jìn)行了很好的解決，取得了檢測(cè)精度的上升。

37、二、本發(fā)明提升了目標(biāo)追蹤的準(zhǔn)確性和穩(wěn)定性，通過多攝像頭追蹤，能夠克服多攝像頭環(huán)境下的視角變化和遮擋等問題，提高目標(biāo)跟蹤的準(zhǔn)確性和魯棒性，能夠有效地利用多視角信息，提高目標(biāo)追蹤的準(zhǔn)確性和穩(wěn)定性，更好地應(yīng)對(duì)遮擋、光線變化等挑戰(zhàn)，為實(shí)時(shí)礦工和架空乘裝置的追蹤提供了強(qiáng)有力的支持。

38、三、本發(fā)明中對(duì)煤礦人員追趕架空乘裝置的識(shí)別方法，解決了以往依賴人工巡檢、監(jiān)控導(dǎo)致的人力資源浪費(fèi)和盲區(qū)監(jiān)控的問題，煤礦工人在生產(chǎn)過程中的違規(guī)操作以及安全隱患及時(shí)得到排查，提高了煤礦工作效率，降低了煤礦人員不規(guī)范乘坐架空乘裝置而導(dǎo)致的事故風(fēng)險(xiǎn)。