本發(fā)明涉及一種基于紅外圖像的掘進機異常工作及災(zāi)害報警系統(tǒng)，該系統(tǒng)涉及圖像跟蹤和通信等領(lǐng)域。

背景技術(shù)：

煤炭是我國重要的基礎(chǔ)能源和原料，以煤為主的能源結(jié)構(gòu)在相當(dāng)長時間內(nèi)不會改變，隨著國民經(jīng)濟的發(fā)展，煤炭的需求量越來越大，伴隨的煤礦安全事故也在不斷增多。煤炭資源安全高效開發(fā)利用技術(shù)成為了國內(nèi)外學(xué)者研究的熱點領(lǐng)域。最有效的解決方案之一是實現(xiàn)煤礦生產(chǎn)裝備機械化及自動化，從而實現(xiàn)井下無人或少人開采。

隨著煤礦安全重要性的提高和煤炭開采技術(shù)的發(fā)展，井下采煤工作面實現(xiàn)少人或者無人開采是必然趨勢，實現(xiàn)井下少人或者無人開采的必要條件是井下采煤裝備機械化、自動化和對其的實時監(jiān)控。掘進機是綜采工作面最重要的設(shè)備之一，其正常運行是整個綜采工作面完成采掘作業(yè)的基礎(chǔ)，故對掘進機工作狀態(tài)的監(jiān)測是煤礦井下綜采工作面的一項重要任務(wù)。

目前掘進機監(jiān)控功能多由傳感器實現(xiàn)完成?，F(xiàn)有傳感器模式絕大部分采用有線連接，在實際應(yīng)用中由于空間有限、工況惡劣，在工程布置及維護中會投入較多精力，且往往會因為機械運動產(chǎn)生連接線路的損壞，影響傳感器的精度。在機器開始工作中，會產(chǎn)生大量的電磁干擾，影響通信信號的傳播。同時，在實際掘進情況下，伴隨著大量的煤塊墜落，安裝在掘進機上的傳感器不可避免的會受到碰撞，雖然有相應(yīng)的防護措施，但長時間的碰撞仍然會影響傳感器的精度。為避免碰撞、機械振動帶來的影響，需要新的煤礦井下掘進機異常工作監(jiān)測報警系統(tǒng)，可第一時間準(zhǔn)確地對掘進機異常工作進行報警，為井下掘進機安全作業(yè)提供一份保障。因此本發(fā)明提出一種基于紅外圖像跟蹤監(jiān)測設(shè)備的掘進機異常工作及災(zāi)害報警系統(tǒng)，根據(jù)掘進機的不同異常工作狀態(tài)，該系統(tǒng)可發(fā)出不同報警信號，包括：偏離工作軌道報警信號；切割受阻報警信號。通過監(jiān)測掘進機各部分的溫度，判斷掘進機發(fā)熱情況，根據(jù)判斷結(jié)果，該系統(tǒng)可發(fā)出不同報警信號，包括：本體部溫度過高報警信號；切割頭溫度過高報警信號。根據(jù)掘進機跟蹤丟失后監(jiān)測畫面灰度值處理結(jié)果，該系統(tǒng)可發(fā)出不同報警信號，包括：突發(fā)水災(zāi)報警信號；瓦斯泄露報警信號。

技術(shù)實現(xiàn)要素：

本發(fā)明提出一種基于紅外圖像的掘進機異常工作及災(zāi)害報警系統(tǒng)，所述系統(tǒng)主要包括：紅外攝像機、視頻服務(wù)器、掘進機控制器、分站、礦用以太網(wǎng)、存儲服務(wù)器、掘進機監(jiān)測服務(wù)器、監(jiān)控終端；其中紅外攝像機、視頻服務(wù)器、分站和掘進機控制器在井下安裝，存儲服務(wù)器、掘進機監(jiān)測服務(wù)器和監(jiān)控終端安裝于井上；紅外攝像機分別安裝于煤礦井下掘進巷道頂部中間和掘進機上，紅外攝像機采集掘進工作面現(xiàn)場視頻模擬圖像；掘進機監(jiān)測服務(wù)器將接收到的安裝于巷道頂部中間的多部攝像機采集的紅外圖像拼接為一幅紅外圖像，跟蹤監(jiān)測掘進機工作狀態(tài)；掘進機監(jiān)測服務(wù)器接收安裝于掘進機上的紅外攝像機采集的視頻，跟蹤監(jiān)測切割頭的工作狀態(tài)；該系統(tǒng)根據(jù)掘進機跟蹤監(jiān)測結(jié)果進行判斷，若判斷掘進機異常工作或有突發(fā)災(zāi)害，則發(fā)出報警信號；該系統(tǒng)監(jiān)測掘進機各部分溫度，根據(jù)監(jiān)測結(jié)果進行掘進機故障判斷，若判斷掘進機故障，則發(fā)出報警信號；該系統(tǒng)根據(jù)掘進機跟蹤丟失后監(jiān)測畫面灰度值處理結(jié)果進行突發(fā)災(zāi)害判斷，若判斷有突發(fā)災(zāi)害，則發(fā)出報警信號；報警信號通過礦用以太網(wǎng)傳輸至井上監(jiān)控終端；監(jiān)控終端負(fù)責(zé)顯示報警信息，通過訪問視頻服務(wù)器獲得現(xiàn)場視頻，通過訪問存儲服務(wù)器獲得歷史現(xiàn)場視頻。具體方法包括：

1.在煤礦井下掘進巷道頂部中間均勻安裝多部攝像機，在掘進機上安裝攝像機；攝像機的攝像頭安裝有紅外濾片，用于采集所述掘進機工作的紅外畫面；在攝像機旁安裝紅外補光燈，光投射方向與攝像機視頻采集方向一致。

2.掘進機控制器采集掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)，分站接收掘進機控制器上傳的數(shù)據(jù)，通過礦用以太網(wǎng)上傳至掘進機服務(wù)器、存儲服務(wù)器和監(jiān)控終端。

3.掘進機監(jiān)測服務(wù)器位于井上，將接收到的數(shù)字視頻數(shù)據(jù)和掘進機設(shè)置數(shù)據(jù)輸出到核心處理器，處理器將采集的紅外圖像拼接為一幅紅外圖像，并存儲在存儲模塊中。

4.分別對攝像機監(jiān)控范圍內(nèi)的掘進機一運部位置A進行設(shè)定，設(shè)為I_A；對攝像機監(jiān)控范圍內(nèi)的掘進機本體部B進行設(shè)定，設(shè)為I_B；對攝像機監(jiān)控范圍內(nèi)的掘進機切割頭O進行設(shè)定，設(shè)為I_O；k幀時，分別在I_A、I_B、I_O周圍采集兩個樣本集D^α＝{z|||I_N-I_z||<α}和D^δ,β＝{z|δ<||I_N-I_z||<β}，其中，α<δ<β，I_z表示樣本位置，I_N表示在I_A、I_B、I_O周圍采集的樣本位置；令D^α為正樣本(滾筒圖像)，D^δ，β為負(fù)樣本(背景圖像)，根據(jù)下列公式計算隨機測量矩陣：r_ij表示隨機測量矩陣的元素、s取2或者3，均表示概率；然后對樣本圖像進行多尺度變換，計算類Harr特征，通過上述測量矩陣對多尺度圖像特征進行降維，計算降維后的正負(fù)樣本特征的期望和標(biāo)準(zhǔn)差，并用其來訓(xùn)練樸素貝葉斯分類器；k+1幀的時候，分別對圖像設(shè)定區(qū)域A、B、O內(nèi)上一幀跟蹤到的目標(biāo)位置的周圍采樣n個掃描窗口，通過同樣的稀疏測量矩陣對采樣的窗口降維，提取特征，然后用k幀訓(xùn)練好的樸素貝葉斯分類器進行分類，令分類分?jǐn)?shù)最大的窗口記作目標(biāo)窗口，并分別更新I_A、I_B、I_O。

5.掘進機監(jiān)測服務(wù)器跟蹤監(jiān)測掘進機一運部位置I_A，跟蹤監(jiān)測掘進機本體部位置I_B，建立數(shù)學(xué)模型，每間隔時間T₀，計算掘進機偏離工作軌道距離d，該系統(tǒng)根據(jù)掘進機偏離工作軌道距離d監(jiān)測結(jié)果進行判斷，若判斷掘進機工作軌道偏離，則發(fā)出偏離工作軌道報警信號；掘進機監(jiān)測服務(wù)器監(jiān)測掘進機本體部溫度，若判斷本體部溫度過高，則發(fā)出本體部溫度過高報警信號；T₀通過測量設(shè)定或人為設(shè)定。

6.掘進機監(jiān)測服務(wù)器接收安裝于掘進機上的攝像機采集的視頻，跟蹤監(jiān)測切割頭的位置I_O，該系統(tǒng)根據(jù)監(jiān)測切割頭位置進行切割受阻判讀，若判斷切割受阻，則發(fā)出切割受阻報警信號；掘進機監(jiān)測服務(wù)器監(jiān)測切割頭溫度，若判斷切割頭溫度過高，則發(fā)出切割頭溫度過高報警信號。

7.掘進機跟蹤丟失后，對隨后的圖像進行灰度值提取與計算，根據(jù)計算結(jié)果，判斷是否發(fā)生水災(zāi)、瓦斯泄露，根據(jù)判斷結(jié)果，該系統(tǒng)可發(fā)出不同類型的報警信號。

8.報警信號包括：可發(fā)出不同報警信號，包括：偏離工作軌道報警信號；切割受阻報警信號；本體部溫度過高報警信號；切割頭溫度過高報警信號；突發(fā)水災(zāi)報警信號；瓦斯泄露報警信。

附圖說明

圖1基于紅外圖像的掘進機異常工作及災(zāi)害報警系統(tǒng)示意圖。

圖2掘進機異常工作及災(zāi)害報警系統(tǒng)的工作流程示意圖。

圖3掘進機監(jiān)測服務(wù)器監(jiān)測流程示意圖。

具體實施方式

基于紅外圖像的掘進機異常工作及災(zāi)害報警系統(tǒng)組成如圖1所示：

1.紅外攝像機(101)，采用符合煤礦隔爆要求的礦用攝像機，帶有紅外補光燈，攝像機的攝像頭安裝有紅外濾片，攝像機安裝在煤礦井下掘進巷道頂部中間和掘進機上，通過同軸電纜與視頻服務(wù)器(104)連接。

2.掘進機控制器(102)，負(fù)責(zé)采集掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)，數(shù)據(jù)通過工業(yè)以太網(wǎng)傳輸至存儲服務(wù)器，采用可編程控制器(PLC)，可編程控制器具有通信接口或通信模塊。在本實施方案中使用西門子SIMATIC S7-300。

3.分站(103)，也稱數(shù)據(jù)采集站，負(fù)責(zé)接收掘進機控制器(102)上傳的掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)，并將數(shù)據(jù)上傳至存儲服務(wù)器、掘進機監(jiān)測服務(wù)器和監(jiān)控終端。分站與掘進機控制器(102)采用RS-485標(biāo)準(zhǔn)通過雙絞線通信；分站通過雙絞線或光纜與最近的井下交換機連接，采用TCP方式與井上的存儲服務(wù)器通信，具有隔爆外殼，符合煤礦井下隔爆要求。

4.視頻服務(wù)器(104)，也稱視頻編碼器，接收由紅外攝像機(101)輸出的模擬視頻信號，將其數(shù)字化并壓縮編碼，通過礦用以太網(wǎng)向井上存儲服務(wù)器、掘進機監(jiān)測服務(wù)器和監(jiān)控終端傳輸視頻數(shù)據(jù)。在本實施方案中選用?？礑S-6701HW單路網(wǎng)絡(luò)視頻服務(wù)器，設(shè)置為組播方式。

5.井下交換機(105)，是礦用以太網(wǎng)的井下接入設(shè)備，串接形成環(huán)網(wǎng)，負(fù)責(zé)視頻服務(wù)器和其它通過網(wǎng)絡(luò)通信設(shè)備的接入和數(shù)據(jù)交換，設(shè)備接入端一般為RJ45接口，環(huán)網(wǎng)接續(xù)端為光接口，具有隔爆外殼，符合煤礦井下隔爆要求。

6.網(wǎng)絡(luò)交換機(106)，是礦用以太網(wǎng)的核心管理設(shè)備，負(fù)責(zé)所有接入網(wǎng)絡(luò)的設(shè)備的管理和數(shù)據(jù)交換。

7.存儲服務(wù)器(107)，負(fù)責(zé)接收由視頻服務(wù)器上傳的視頻數(shù)據(jù)并存儲，為監(jiān)控終端提供現(xiàn)場歷史查詢調(diào)取服務(wù)。

8.掘進機監(jiān)測服務(wù)器(108)，接收視頻服務(wù)器(104)上傳的數(shù)字視頻流和掘進機控制器(102)上傳的掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)，對視頻圖像進行處理，監(jiān)測紅外攝像機視頻圖像中設(shè)定區(qū)域，并參考存儲服務(wù)器存儲的相應(yīng)掘進機設(shè)置數(shù)據(jù)，如滿足報警條件則向監(jiān)控終端(109)輸出掘進機異常狀態(tài)報警信號。

9.監(jiān)控終端(109)，具有聲光報警功能，接收到掘進機監(jiān)測服務(wù)器(108)的報警數(shù)據(jù)則聲光報警；監(jiān)控終端具有實時視頻監(jiān)控和歷史視頻調(diào)取功能，生產(chǎn)管理人員通過監(jiān)控終端查看由視頻服務(wù)器(104)上傳的現(xiàn)場視頻圖像，也可從存儲服務(wù)器(107)調(diào)取歷史視頻數(shù)據(jù)。生產(chǎn)管理人員可通過煤礦通信系統(tǒng)發(fā)出報警信號，對相關(guān)人員下發(fā)應(yīng)急調(diào)度指令。監(jiān)控終端內(nèi)置井下地理信息，并具有地圖顯示引擎，本實施方案使用Map Info公司的可視化地圖組件Map X，當(dāng)掘進機工作異常報警時可自動顯示監(jiān)測到報警的紅外攝像機位置。

掘進機異常工作及災(zāi)害報警系統(tǒng)的工作過程如圖2所示：

1.(201)紅外攝像機采集視頻圖像，將采集到的現(xiàn)場模擬視頻信號通過同軸電纜傳輸給視頻服務(wù)器(104)。

2.(202)視頻服務(wù)器(104)數(shù)字化模擬視頻信號并進行壓縮編碼。

3.(203)分站(103)，接收掘進機控制器(102)上傳的掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)。

4.(204)將視頻信號、掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)通過網(wǎng)線將數(shù)據(jù)上傳至存儲服務(wù)器(107)、掘進機監(jiān)測服務(wù)器(108)和監(jiān)控終端(109)。

5.(205)存儲服務(wù)器(107)接收視頻信號、掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)，并進行存儲。

6.(206)掘進機監(jiān)測服務(wù)器(108)接受視頻信號、掘進機設(shè)置數(shù)據(jù)和水系統(tǒng)噴霧數(shù)據(jù)，并通過核心處理器(201)的內(nèi)置庫處理分析視頻數(shù)據(jù)，監(jiān)測掘進工作面視頻中掘進機工作狀態(tài)，對分析結(jié)果進行判斷。

7.(207)當(dāng)監(jiān)測結(jié)果滿足報警條件時，則將報警數(shù)據(jù)使用TCP通信方式通過網(wǎng)絡(luò)通信模塊(204)傳送給監(jiān)控終端(109)。

8.(208)監(jiān)控終端(108)接收到報警數(shù)據(jù)后，自動根據(jù)紅外攝像機編號通過地圖顯示引擎在顯示器上顯示掘進機位置，并聲光報警提示生產(chǎn)管理人員進行處理。

9.(209)生產(chǎn)管理人員通過監(jiān)控終端(109)訪問存儲服務(wù)器(107)調(diào)取現(xiàn)場歷史視頻。

10.(210)生產(chǎn)管理人員同時觀看由視頻服務(wù)器(104)上傳的現(xiàn)場視頻，確認(rèn)報警發(fā)生過程和現(xiàn)場狀態(tài)情況。

11.(211)生產(chǎn)管理人員確認(rèn)報警后，可通過煤礦通信系統(tǒng)發(fā)出報警信號，對相關(guān)人員下發(fā)應(yīng)急調(diào)度指令。

掘進機監(jiān)測服務(wù)器監(jiān)測流程如圖3所示：

1.(301)圖像跟蹤監(jiān)測設(shè)備啟動時調(diào)取監(jiān)控區(qū)域R和所有監(jiān)測運算相關(guān)的參數(shù)。

2.(302)分別對攝像機監(jiān)控范圍內(nèi)的掘進機一運部位置A進行設(shè)定，設(shè)為I_A；對攝像機監(jiān)控范圍內(nèi)的掘進機本體部B進行設(shè)定，設(shè)為I_B；對攝像機監(jiān)控范圍內(nèi)的掘進機切割頭O進行設(shè)定，設(shè)為I_O；k幀時，分別在I_A、I_B、I_O周圍采集兩個樣本集D^α＝{z|||I_N-I_z||<α}和D^δ,β＝{z|δ<||I_N-I_z||<β}，其中，α<δ<β，I_z表示樣本位置，I_N表示在I_A、I_B、I_O周圍采集的樣本位置；令D^α為正樣本(滾筒圖像)，D^δ，β為負(fù)樣本(背景圖像)，根據(jù)下列公式計算隨機測量矩陣：r_ij表示隨機測量矩陣的元素、s取2或者3，均表示概率；然后對樣本圖像進行多尺度變換，計算類Harr特征，通過上述測量矩陣對多尺度圖像特征進行降維，計算降維后的正負(fù)樣本特征的期望和標(biāo)準(zhǔn)差，并用其來訓(xùn)練樸素貝葉斯分類器；k+1幀的時候，分別對圖像設(shè)定區(qū)域A、B、O內(nèi)上一幀跟蹤到的目標(biāo)位置的周圍采樣n個掃描窗口，通過同樣的稀疏測量矩陣對采樣的窗口降維，提取特征，然后用k幀訓(xùn)練好的樸素貝葉斯分類器進行分類，令分類分?jǐn)?shù)最大的窗口記作目標(biāo)窗口，并分別更新I_A、I_B、I_O。

3.(303)判斷圖像是否跟蹤丟失，如果丟失，則執(zhí)行(324)，否則執(zhí)行(304)。

4.(304)將數(shù)據(jù)存儲在存儲模塊。

5.(305)圖像跟蹤監(jiān)測設(shè)備建立數(shù)學(xué)模型，水平方向左負(fù)右正，垂直方向下負(fù)上正，將I_A轉(zhuǎn)換為(x_A,y_A)，I_B轉(zhuǎn)換為(x_B,y_B)，I_O轉(zhuǎn)換為(x_O,y_O)。

6.(306)每間隔時間T₀，計算掘進機偏離工作軌道距離d，每間隔時間T₁，計算切割頭位置和切割頭移動距離L；T₀、T₁通過測量設(shè)定或人為設(shè)定。

7.(307)判斷偏離距離d是否大于閾值l₁，如果大于l₁，則執(zhí)行(309)，否則執(zhí)行(308)。l₁通過測量設(shè)定或人為設(shè)定。

8.(308)參數(shù)m置0。

9.(309)參數(shù)m加1，其初始值為0。

10.(310)判斷參數(shù)m是否大于閾值Q₁，如果大于Q₁，則執(zhí)行(311)，否則執(zhí)行(302)。Q₁通過測量設(shè)定或人為設(shè)定。

11.(311)參數(shù)m置0，執(zhí)行(332)發(fā)出偏離工作軌道報警信號。

12.(312)判斷切割頭移動距離是否大于閾值l₂，如果大于l₂，則執(zhí)行(314)，否則執(zhí)行(313)。l₂通過測量設(shè)定或人為設(shè)定。

13.(313)次數(shù)n置0。

14.(314)次數(shù)n加1，其初始值為0。

15.(315)判斷參數(shù)n是否大于閾值Q₂，如果大于Q₂，則執(zhí)行(316)，否則執(zhí)行(302)。Q₂通過測量設(shè)定或人為設(shè)定。

16.(316)參數(shù)n置0，執(zhí)行(332)發(fā)出切割受阻報警信號。

17.(317)每間隔時間T₂，監(jiān)測掘進機本體部溫度D_B和切割頭溫度D_O；T₂通過測量設(shè)定或人為設(shè)定。

18.(318)判斷D_B是否大于等于設(shè)定閾值M₁，如果大于M₁，則執(zhí)行(319)，否則執(zhí)行(302)。M₁通過測量設(shè)定或人為設(shè)定。

19.(319)次數(shù)q加1，其初始值為0。

20.(320)判斷q是否大于等于設(shè)定閾值M₃，如果大于M₃，則執(zhí)行(332)，發(fā)出本體部過熱報警信號，否則執(zhí)行(302)。M₃通過測量設(shè)定或人為設(shè)定。

21.(321)判斷D_O是否大于等于設(shè)定閾值M₂，如果大于M₂，則執(zhí)行(322)，否則執(zhí)行(302)。M₂通過測量設(shè)定或人為設(shè)定。

22.(322)次數(shù)p加1,其初始值為0。

23.(331)判斷p是否大于等于設(shè)定閾值M₄，如果大于M₄，則執(zhí)行(332)，發(fā)出切割頭過熱報警信號，否則執(zhí)行(302)。M₄通過測量設(shè)定或人為設(shè)定。

24.(324)對掘進機跟蹤丟失前最后一幀圖像I_A、I_B、I_O處標(biāo)記，提取隨后K幀圖像內(nèi)這四處位置的灰度值，并分別進行運算。求取K幀圖像內(nèi)大于等于設(shè)定閾值N₁的像素算術(shù)平均值，得到像素值D_H；求取K幀內(nèi)小于等于設(shè)定閾值N₂的像素算術(shù)平均值，得到像素值D_L。

25.(325)判斷D_H是否大于等于設(shè)定閾值N₃，如果大于N₃，則執(zhí)行(326)，否則執(zhí)行(329)。

26.(326)判斷噴霧是否開啟，如果開啟，則執(zhí)行(327)，否則執(zhí)行(301)

27.(327)每間隔X幀對攝像機采集的視頻圖像f(x,y)與所存掘進機背景圖像g(x,y)進行累積差值處理，通過累積差值運算處理Y幀后，求大于等于設(shè)定灰度值T₁的像素總和D_W。

28.(328)判斷D_W是否大于等于設(shè)定閾值N₄，如果大于等于N₄，則執(zhí)行(332)發(fā)出水災(zāi)報警信號，否則執(zhí)行(301)。

29.(329)判斷D_L是否大于等于設(shè)定閾值N₅，如果大于N₅，則執(zhí)行(330)，否則執(zhí)行(301)。

30.(330)通過累積差值運算處理Y幀后，求大于等于設(shè)定灰度值T₂的像素總和D_F。

31.(331)判斷D_F是否大于等于設(shè)定閾值N₆，如果大于等于N₆，則執(zhí)行(332)發(fā)出瓦斯泄露報警信號，否則執(zhí)行(301)。

32.(332)發(fā)出報警信號。包括：偏離工作軌道報警信號；切割受阻報警信號；本體部溫度過高報警信號；切割頭溫度過高報警信號；突發(fā)水災(zāi)報警信號；瓦斯泄露報警信號。