本發(fā)明屬于煤礦安全工程技術(shù)及人工智能，具體涉及一種人工智能視頻識(shí)別皮帶負(fù)載煤量監(jiān)測(cè)方法。

背景技術(shù)：

1、煤炭在井下開(kāi)采后，須通過(guò)大量的皮帶式輸送機(jī)運(yùn)送至地面，因此皮帶式輸送機(jī)的運(yùn)行狀況直接影響著煤礦的產(chǎn)能和效率。但在目前的運(yùn)輸過(guò)程中，存在著空載、輕載造成電能浪費(fèi)、人工監(jiān)控工作量大、準(zhǔn)確率低、成本高等問(wèn)題。一般情況下，煤炭的開(kāi)采過(guò)程中會(huì)存在一些不連續(xù)的情況，即開(kāi)采出來(lái)的煤炭量有多有少，甚至有些時(shí)間段沒(méi)有煤炭開(kāi)采出來(lái)。因此在運(yùn)輸過(guò)程中，皮帶機(jī)的運(yùn)煤量并不均勻，若皮帶機(jī)一直保持高速運(yùn)行，將會(huì)消耗大量的電力能源。因此，對(duì)于皮帶機(jī)上負(fù)載煤量的檢測(cè)十分重要。

2、目前，皮帶式輸送機(jī)輸送煤料量的計(jì)量方法包括兩種：一種是接觸式，即測(cè)量傳感器與煤料直接接觸；另一種是非接觸式，即利用其他測(cè)量器對(duì)煤料進(jìn)行測(cè)量。接觸式測(cè)量方法中，測(cè)量傳感器容易被煤料沖撞、刮蹭，測(cè)量傳感器容易損壞導(dǎo)致檢測(cè)結(jié)果不準(zhǔn)確。因此，非接觸式測(cè)量的方式被更加廣泛地應(yīng)用。

3、現(xiàn)階段，在煤礦礦井下，管理人員通過(guò)監(jiān)控視頻來(lái)監(jiān)控運(yùn)煤傳送帶，在運(yùn)煤傳送帶的日常管理時(shí)，往往需要用到運(yùn)煤傳送帶上煤流量的數(shù)據(jù)。傳統(tǒng)視頻監(jiān)控需要員工時(shí)刻守在屏幕前，隨著監(jiān)控視頻時(shí)間的不斷增長(zhǎng)、監(jiān)控范圍的不斷擴(kuò)大，再加上煤礦井下環(huán)境復(fù)雜，如粉塵較大、礦燈全天候照明、頭燈等因素，員工的工作量必然加大，極易產(chǎn)生視覺(jué)疲勞，大大降低人工分辨精度。

技術(shù)實(shí)現(xiàn)思路

1、為解決現(xiàn)有技術(shù)存在的技術(shù)問(wèn)題，本發(fā)明提供了一種基于改進(jìn)yolov5的皮帶煤量輕載、中載、重載監(jiān)測(cè)方法，實(shí)現(xiàn)數(shù)據(jù)集采集、數(shù)據(jù)集標(biāo)注、數(shù)據(jù)集拆分、圖像預(yù)處理、模型訓(xùn)練調(diào)優(yōu)及后處理，最終獲取煤量監(jiān)測(cè)結(jié)果。

2、為實(shí)現(xiàn)上述目的，本發(fā)明所采用的技術(shù)方案為：一種人工智能視頻識(shí)別皮帶負(fù)載煤量監(jiān)測(cè)方法，具體步驟如下：

3、步驟一、數(shù)據(jù)集采集：采集井下煤矸石和煤流皮帶式運(yùn)輸機(jī)不同工作時(shí)間段、不同光照條件、皮帶機(jī)上不同負(fù)載煤量的監(jiān)控圖像；

4、步驟二、數(shù)據(jù)集標(biāo)注：對(duì)于肉眼可見(jiàn)的特征全部標(biāo)注，對(duì)于肉眼難以分辨的煤矸石和煤流則舍棄目標(biāo)，根據(jù)檢測(cè)需求進(jìn)行細(xì)粒度標(biāo)注；

5、步驟三、數(shù)據(jù)集拆分：使用k折交叉劃分?jǐn)?shù)據(jù)集，在k折交叉驗(yàn)證的基礎(chǔ)上，對(duì)不同的模型和參數(shù)進(jìn)行評(píng)估和比較，選擇出最佳的模型和參數(shù)組合；

6、步驟四、圖像預(yù)處理：采用限制對(duì)比度的自適應(yīng)直方圖均衡算法將圖像分解為不同子圖，增強(qiáng)子圖對(duì)比度的同時(shí)抑制圖像噪聲；

7、步驟五、模型訓(xùn)練調(diào)優(yōu)及后處理：選定yolov5模型作為煤流目標(biāo)檢測(cè)模型，設(shè)置學(xué)習(xí)率、批量處理大小、迭代次數(shù)、激活函數(shù)，引入對(duì)比學(xué)習(xí)損失聯(lián)合訓(xùn)練，改進(jìn)yolov5網(wǎng)絡(luò)后處理結(jié)構(gòu)，引入基于像素面積的占比率算法計(jì)算煤流和煤矸石覆蓋皮帶面積，并且結(jié)合實(shí)際皮帶煤量輕載、中載、重載情況，引入煤流閾值判斷算法對(duì)監(jiān)控視頻中存在皮帶煤量負(fù)載進(jìn)行無(wú)接觸檢測(cè)，最終輸出煤量判斷結(jié)果。

8、在步驟二中，具體的標(biāo)注標(biāo)注步驟為：

9、步驟s21、標(biāo)注因外部工作環(huán)境干擾而遮擋的煤流目標(biāo)，被遮擋部分邊緣根據(jù)未遮擋場(chǎng)景下邊緣形狀繪制；

10、步驟s22、標(biāo)注人眼可見(jiàn)的目標(biāo)，目標(biāo)像素范圍大于20*20；

11、步驟s23、僅標(biāo)注人眼可分辨的目標(biāo)，舍棄人眼難以分辨的目標(biāo)；

12、步驟s24、確?？蜃鴺?biāo)不在圖像邊界上，舍棄寬高比過(guò)于極端的目標(biāo)框。

13、在步驟四中，自適應(yīng)直方圖均衡算法包含對(duì)比度拉伸、直方圖均衡、對(duì)比度限制和自適應(yīng)直方圖均衡化四個(gè)部分，其中：

14、對(duì)比度拉伸：圖片對(duì)比度定義為圖片中最亮像素與最暗像素的反差大小，michelson定量度量公式如下：

15、

16、其中，imax表示最亮像素，imin表示最暗像素，當(dāng)一幅圖像最白像素和最黑像素的灰度均為128時(shí)，圖像對(duì)比度最低，c＝0；當(dāng)一幅圖像最白像素灰度均為255，最黑像素灰度＝0時(shí)，圖像對(duì)比度最高，c＝1.0；當(dāng)圖像灰度值集中在(120，180)區(qū)間，使用分段線性函數(shù)，將灰度值由(120，180)映射為(0，255)實(shí)現(xiàn)對(duì)比度拉伸；

17、直方圖均衡：使用直方圖累積分布函數(shù)拉伸原圖得到矩形直方圖；

18、對(duì)比度限制：設(shè)置直方圖分布閾值，將超過(guò)設(shè)定閾值的分布均勻分散至概率密度分布上來(lái)限制累計(jì)直方圖的增幅；

19、自適應(yīng)直方圖均衡化：計(jì)算圖像的每個(gè)子區(qū)域的灰度直方圖和對(duì)應(yīng)的累積直方圖；若子圖位于圖片頂角，僅存在兩個(gè)相鄰子圖，則按照所在的子圖的變換函數(shù)進(jìn)行灰度映射；若子圖位于圖片四邊，即存在三個(gè)相鄰子圖，則按照所在的兩個(gè)相鄰子圖變換函數(shù)變換后進(jìn)行線性插值得到；若子圖存在四個(gè)相鄰子圖，則按照其所在的四個(gè)相鄰子圖變換函數(shù)變換后雙線性插值得到。

20、在步驟五中，具體處理步驟為：

21、步驟s51、infonce損失函數(shù)調(diào)優(yōu)：引入對(duì)比學(xué)習(xí)損失監(jiān)督網(wǎng)絡(luò)訓(xùn)練，通過(guò)對(duì)比正樣本和負(fù)樣本的相似性來(lái)學(xué)習(xí)模型參數(shù)用于學(xué)習(xí)特征表示，對(duì)比學(xué)習(xí)損失基于噪聲對(duì)比估計(jì)進(jìn)行改進(jìn)，噪聲對(duì)比估計(jì)將概率估計(jì)問(wèn)題看作基本二分類，即分類對(duì)象僅包含物體和噪聲，并利用噪聲對(duì)比來(lái)改進(jìn)模型的估計(jì)，其具體公式表達(dá)如下：

22、

23、其中，x為數(shù)據(jù)樣本，為噪聲樣本，pdata(x)表示來(lái)自于真實(shí)數(shù)據(jù)分布，pmodel(x)表示為模型預(yù)測(cè)，pnoise(x)表示為噪聲分布；提出對(duì)比學(xué)習(xí)損失，假設(shè)特征選擇基準(zhǔn)向量q為與任務(wù)相關(guān)的表示向量，鍵向量{k0,k1...kk}代表輸入序列中每個(gè)位置的信息索引，infonce損失的具體公式如下：

24、

25、其中，k0為與查詢向量q相關(guān)聯(lián)的樣本，k1...kk為與查詢向量無(wú)關(guān)的樣本，τ為溫度參數(shù)，用于調(diào)整相似度分?jǐn)?shù)的平滑程度，控制模型對(duì)于負(fù)樣本的區(qū)分度，infonce損失通過(guò)最大化正樣本與查詢向量之間的相似性和最小化負(fù)樣本與查詢向量之間的相似性；

26、步驟s52、煤量監(jiān)測(cè)后處理：在檢測(cè)階段，模型推理并獲得推理目標(biāo)后，首先篩選置信度大于0.75的目標(biāo)作為煤矸石和煤流負(fù)載判斷依據(jù)，按照類別分別提取目標(biāo)坐標(biāo)，并將檢測(cè)坐標(biāo)依照原圖像素比例進(jìn)行映射變換；

27、若提取到的目標(biāo)間不存在重疊覆蓋關(guān)系，則依據(jù)檢測(cè)目標(biāo)轉(zhuǎn)換坐標(biāo)像素值直接計(jì)算檢測(cè)目標(biāo)像素面積，并將目標(biāo)像素面積計(jì)入總目標(biāo)面積；若目標(biāo)間存在重疊覆蓋關(guān)系，則計(jì)算面積并集，并將并集像素面積計(jì)入總目標(biāo)像素面積；最后依據(jù)總目標(biāo)像素面積占圖像中皮帶像素面積的比率，劃定煤量輕載、中載、重載閾值并判斷，將結(jié)果輸出打印至原圖。

28、本發(fā)明與現(xiàn)有技術(shù)相比，具體有益效果體現(xiàn)在：

29、一、本發(fā)明利用人工智能視頻識(shí)別技術(shù)監(jiān)測(cè)，具有安全、穩(wěn)定性強(qiáng)、效率高等優(yōu)勢(shì)。

30、二、本發(fā)明基于主流yolov5檢測(cè)模型，并在其基礎(chǔ)上結(jié)合圖像預(yù)處理算法，使用限制對(duì)比度自適應(yīng)直方圖均衡化算法對(duì)圖像進(jìn)行處理并對(duì)煤流的邊緣輪廓、rgba灰度值等顯著特征進(jìn)行特征提取，然后通過(guò)聯(lián)合infonce損失函數(shù)訓(xùn)練yolov5深度神經(jīng)網(wǎng)絡(luò)檢測(cè)煤流目標(biāo)，最后引入基于像素級(jí)占比計(jì)算的推理后處理判斷，實(shí)現(xiàn)對(duì)于皮帶式傳輸機(jī)煤量負(fù)載檢測(cè)，并將判斷出的負(fù)載狀態(tài)作為算法的輸出，為帶式輸送機(jī)的智能控制系統(tǒng)提供決策依據(jù)。

31、三、本發(fā)明通過(guò)人工智能視頻識(shí)別皮帶煤量輕載、中載、重載監(jiān)測(cè)，可以避免接觸式傳感器因碰撞、老化等原因?qū)е卤O(jiān)測(cè)不準(zhǔn)帶來(lái)的控制系統(tǒng)決策損失，同時(shí)能夠減少接觸式傳感器日常人力維護(hù)成本，提高生產(chǎn)效率。同時(shí)人工智能視頻識(shí)別可以避免監(jiān)控視頻時(shí)間增長(zhǎng)、監(jiān)控范圍擴(kuò)大和井下復(fù)雜環(huán)境帶來(lái)的人工監(jiān)測(cè)分辨精度下降的風(fēng)險(xiǎn)，提高井下作業(yè)的效率，大大降低人力財(cái)力成本，提升井下作業(yè)安全性。因此，人工智能視頻識(shí)別皮帶煤量輕載、中載、重載監(jiān)測(cè)方法所獲得的社會(huì)效益突出，值得推廣。