本發(fā)明涉及工業(yè)安全監(jiān)控，特別是一種煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法。

背景技術(shù)：

1、近年來，隨著物聯(lián)網(wǎng)(iot)技術(shù)、人工智能(ai)和邊緣計(jì)算的迅猛發(fā)展，煤炭行業(yè)的智能化轉(zhuǎn)型已成為行業(yè)共識(shí)，傳感器技術(shù)的進(jìn)步使得環(huán)境參數(shù)的實(shí)時(shí)監(jiān)測成為可能，高清視頻攝像頭的廣泛應(yīng)用為現(xiàn)場作業(yè)提供了直觀的視頻監(jiān)控，然而，單純依賴人工監(jiān)控和傳統(tǒng)統(tǒng)計(jì)方法已無法滿足日益增長的安全監(jiān)管和生產(chǎn)優(yōu)化需求，ai算法，尤其是深度學(xué)習(xí)技術(shù)，因其強(qiáng)大的模式識(shí)別和決策支持能力，在煤炭生產(chǎn)場景的應(yīng)用中展現(xiàn)出巨大潛力。

2、盡管ai和邊緣計(jì)算技術(shù)在煤炭生產(chǎn)作業(yè)場景中的應(yīng)用取得了一定進(jìn)展，但仍存在一些關(guān)鍵挑戰(zhàn)限制了其全面推廣和深度應(yīng)用，首先，傳統(tǒng)的ai模型訓(xùn)練往往依賴于固定環(huán)境下的數(shù)據(jù)，缺乏對動(dòng)態(tài)環(huán)境變化的適應(yīng)性，導(dǎo)致模型在實(shí)際應(yīng)用中泛化能力受限，特別是在煤炭生產(chǎn)這樣復(fù)雜多變的環(huán)境中，模型的魯棒性顯得尤為重要，其次，現(xiàn)有技術(shù)在處理視頻流數(shù)據(jù)時(shí)，通常忽視了環(huán)境參數(shù)的實(shí)時(shí)影響，這導(dǎo)致模型無法充分利用環(huán)境信息進(jìn)行更精準(zhǔn)的安全隱患識(shí)別和生產(chǎn)優(yōu)化。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有存在的問題，提出了本發(fā)明。

2、因此，本發(fā)明提供了一種煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法解決動(dòng)態(tài)環(huán)境下模型泛化能力受限及視頻流與環(huán)境參數(shù)融合不足的問題。

3、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：

4、第一方面，本發(fā)明實(shí)施例提供了一種煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法，其包括，部署多類傳感器，實(shí)時(shí)收集環(huán)境數(shù)據(jù)和視頻流，對數(shù)據(jù)進(jìn)行去噪和校準(zhǔn)時(shí)間戳處理，將處理后的數(shù)據(jù)傳送到數(shù)據(jù)處理中心，輸出環(huán)境參數(shù)數(shù)據(jù)集，利用環(huán)境參數(shù)數(shù)據(jù)集創(chuàng)建虛擬環(huán)境，通過增強(qiáng)處理對原始數(shù)據(jù)進(jìn)行增強(qiáng)，使用增強(qiáng)后的原始數(shù)據(jù)訓(xùn)練ai模型，采用自適應(yīng)學(xué)習(xí)率讓模型學(xué)習(xí)不同環(huán)境下的特征表示，基于煤炭生產(chǎn)作業(yè)流程和目標(biāo)優(yōu)化，構(gòu)建深度強(qiáng)化學(xué)習(xí)決策模型，將環(huán)境自適應(yīng)ai模型和深度強(qiáng)化學(xué)習(xí)決策模型融合成綜合模型，將綜合模型部署到邊緣計(jì)算設(shè)備上，對煤炭生產(chǎn)作業(yè)現(xiàn)場進(jìn)行實(shí)時(shí)監(jiān)控，視頻流經(jīng)過模型推理并結(jié)合環(huán)境數(shù)據(jù)識(shí)別安全隱患，再通過深度強(qiáng)化學(xué)習(xí)策略，及時(shí)做出響應(yīng)。

5、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述部署多類傳感器，實(shí)時(shí)收集環(huán)境數(shù)據(jù)和視頻流，對數(shù)據(jù)進(jìn)行去噪和校準(zhǔn)時(shí)間戳處理，將處理后的數(shù)據(jù)傳送到數(shù)據(jù)處理中心，輸出環(huán)境參數(shù)數(shù)據(jù)集，具體步驟如下：

6、根據(jù)煤炭生產(chǎn)作業(yè)環(huán)境的特性，在作業(yè)面的關(guān)鍵位置安裝多類傳感器，部署傳感器后，實(shí)時(shí)收集環(huán)境參數(shù)和視頻流數(shù)據(jù)；

7、對收集到的原始視頻數(shù)據(jù)，采用中值濾波和雙邊濾波相結(jié)合的方法除隨機(jī)噪聲和保留邊緣信息，采用卡爾曼濾波算法消除數(shù)據(jù)中的隨機(jī)波動(dòng)和異常值；

8、對采集到的每一幀視頻和每一條環(huán)境數(shù)據(jù)打上時(shí)間戳，并與同步的時(shí)鐘保持一致，若檢測到時(shí)鐘偏差，使用線性插值法對時(shí)間戳進(jìn)行修正，表達(dá)式為：

9、t′＝t+δt；

10、其中，δt是本地時(shí)鐘與標(biāo)準(zhǔn)時(shí)鐘的偏差，t'是修正后的時(shí)間戳，t表示原始時(shí)間戳；

11、將去噪和時(shí)間戳校準(zhǔn)后的數(shù)據(jù)，使用aes對數(shù)據(jù)進(jìn)行加密傳輸至數(shù)據(jù)中心，并按時(shí)間序列存儲(chǔ)形成環(huán)境參數(shù)數(shù)據(jù)集和視頻數(shù)據(jù)集，表達(dá)式為：

12、d＝{d1,d2,…,dn}；

13、其中，dn表示第n個(gè)數(shù)據(jù)點(diǎn)，d表示按時(shí)間序列組織的數(shù)據(jù)點(diǎn)的集合。

14、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述利用環(huán)境參數(shù)數(shù)據(jù)集創(chuàng)建虛擬環(huán)境，通過增強(qiáng)處理對環(huán)境數(shù)據(jù)進(jìn)行增強(qiáng)，具體步驟如下：

15、從環(huán)境參數(shù)數(shù)據(jù)集d中提取關(guān)鍵特征，溫度t、濕度h、光線強(qiáng)度l和粉塵濃度u，構(gòu)建特征向量f＝(t，h，l，u)，利用非線性映射函數(shù)將特征向量f映射到高維特征空間，對特征向量進(jìn)行增強(qiáng)，表達(dá)式為：

16、

17、其中，α為控制光線強(qiáng)度衰減的系數(shù)，ε為防止對數(shù)運(yùn)算異常的小常數(shù)，(f)是高維特征空間；

18、設(shè)計(jì)一組環(huán)境因素模擬函數(shù)，調(diào)整原始視頻幀，通過模擬復(fù)雜的作業(yè)環(huán)境條件，增強(qiáng)模型的魯棒性和泛化能力；

19、通過調(diào)節(jié)圖像的亮度，模擬不同光照條件下拍攝的圖像，讓模型能夠?qū)W習(xí)到在不同光線環(huán)境下物體的特征，表達(dá)式為：

20、b(l′)＝l′*(1+β*sin(γ*l′))；

21、其中，β用于控制亮度變化幅度，γ為周期性調(diào)整因子，l′表示經(jīng)過初步處理后的視頻幀的亮度值，b(l′)是調(diào)整后的亮度值；

22、調(diào)整圖像的對比度，突出圖像中的關(guān)鍵特征，使模型更容易捕捉到這些重要的區(qū)別特征，表達(dá)式為：

23、c(h′)＝h′/(1+δ*h′2)；

24、其中，6對比度控制參數(shù)，h′代表調(diào)整前的對比度值或與對比度相關(guān)的環(huán)境參數(shù)，c(h′)是調(diào)整后的對比度；

25、通過向圖像中添加隨機(jī)噪聲，提升模型對干擾圖像的識(shí)別性能，表達(dá)式為：

26、n(d′)＝d+η*sqrt(d′)*∈；

27、其中，d為原始像素值，η為噪聲強(qiáng)度，∈為服從標(biāo)準(zhǔn)正態(tài)分布的隨機(jī)變量，d′表示環(huán)境中的粉塵濃度，n(d′)表示在原始像素值的基礎(chǔ)上加入噪聲之后的新像素值；

28、對于每個(gè)原始視頻幀vi根據(jù)其對應(yīng)時(shí)間戳查找環(huán)境參基于特征空間映射后的數(shù)據(jù)，采用kriging插值法，生成連續(xù)的環(huán)境參數(shù)場，模擬作業(yè)環(huán)境的動(dòng)態(tài)變化；

29、環(huán)境參數(shù)數(shù)據(jù)集d中的環(huán)境參數(shù)值，通過視頻幀時(shí)間戳匹配環(huán)境參數(shù)向量fi，將fi映射至高維空間(fi)，將經(jīng)過亮度調(diào)整函數(shù)b、對比度調(diào)整函數(shù)c和噪聲添加函數(shù)n處理后的視頻幀與映射到高維空間的環(huán)境參數(shù)向量結(jié)合，合成增強(qiáng)視頻幀v′i；

30、將v′i與原始環(huán)境參數(shù)數(shù)據(jù)結(jié)合，形成增強(qiáng)數(shù)據(jù)集e＝{v′1，v′2...，v′i}。

31、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述使用增強(qiáng)后的原始數(shù)據(jù)訓(xùn)練ai模型，具體步驟如下：

32、將增強(qiáng)后的視頻幀vi′輸入到模型中，模型輸出預(yù)測的概率分布ypr，表達(dá)式為：

33、ypr＝fθ(v′i)；

34、其中，fθ代表模型，θ表示模型參數(shù)；

35、定義一個(gè)復(fù)合損失函數(shù)，將它與預(yù)測誤差和環(huán)境適應(yīng)項(xiàng)相融合，將增強(qiáng)后的數(shù)據(jù)作為模型的輸入，引入權(quán)重因子ω來平衡不同損失部分的重要性，表達(dá)式為：

36、l＝ω1·lpr(ytr，ypr)+ω2·len(φ(f))；

37、其中，lpr為常見的預(yù)測損失函數(shù)，len環(huán)境適應(yīng)性損失，ypr，為模型預(yù)測輸出的概率分布，ytr真實(shí)標(biāo)簽，為環(huán)境因素的高位表示，ω1用于調(diào)整預(yù)測損失lpr的相對重要性，ω2用于控制環(huán)境適應(yīng)性損失len的比重。

38、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述采用自適應(yīng)學(xué)習(xí)率讓模型學(xué)習(xí)不同環(huán)境下的特征表示，具體步驟如下：

39、采用基于梯度累計(jì)的自適應(yīng)學(xué)習(xí)率方法，動(dòng)態(tài)調(diào)整每次迭代的學(xué)習(xí)率η，應(yīng)對不同環(huán)境條件的訓(xùn)練需求，使用ema來跟蹤梯度的歷史信息，表達(dá)式為：

40、

41、其中，γ是衰減因子，表示當(dāng)前損失函數(shù)關(guān)于模型參數(shù)的梯度的模，emagr是指數(shù)移動(dòng)平均的當(dāng)前值；

42、通過監(jiān)測歷史梯度變化的平滑指標(biāo)，動(dòng)態(tài)地對基礎(chǔ)學(xué)習(xí)率進(jìn)行自適應(yīng)修改，表達(dá)式為：

43、

44、其中，ηb是基礎(chǔ)學(xué)習(xí)率，td是一個(gè)閾值，ηt是當(dāng)前時(shí)刻的學(xué)習(xí)率；

45、根據(jù)設(shè)定的參數(shù)動(dòng)態(tài)調(diào)整學(xué)習(xí)率，利用復(fù)合損失函數(shù)指導(dǎo)優(yōu)化，并通過ema更新梯度信息，逐步迭代更新模型參數(shù)直至達(dá)到訓(xùn)練目標(biāo)。

46、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述基于映射后的高維特征和視頻特征，構(gòu)建深度強(qiáng)化學(xué)習(xí)決策模型，具體步驟如下：

47、明確深度強(qiáng)化學(xué)習(xí)決策模型的核心要素，定義狀態(tài)空間s包括由(f)映射后的高維特征和視頻特征，表達(dá)式為：

48、s＝{si|si＝[φ(fi)，vi]，i＝1，...，n}；

49、其中，si代表狀態(tài)空間中的第i個(gè)狀態(tài)，φ(fi)表示環(huán)境參數(shù)向量通過非線性映射函數(shù)φ轉(zhuǎn)換后的高維表示，i＝1，...，n表示狀態(tài)空間中有n個(gè)不同的狀態(tài)，vi表示視頻幀i的特征向量；

50、基于狀態(tài)空間s，構(gòu)建一個(gè)深度神經(jīng)網(wǎng)絡(luò)作為策略網(wǎng)絡(luò)π(s；θ)和價(jià)值網(wǎng)絡(luò)v(s；θv)，策略網(wǎng)絡(luò)π(s；θ)輸出給定狀態(tài)下采取每個(gè)動(dòng)作的概率分布，價(jià)值網(wǎng)絡(luò)v(s；θv)評估給定狀態(tài)的價(jià)值，策略網(wǎng)絡(luò)π(s；θ)和價(jià)值網(wǎng)絡(luò)v(s；θv)共同構(gòu)成深度強(qiáng)化學(xué)習(xí)決策模型，表達(dá)式為：

51、π(a|s；θ)＝p(a|s)；

52、其中，π(a|s；θ)表示在給定狀態(tài)s下采取動(dòng)作a的策略概率分布，p(a|s)表示在狀態(tài)s下采取動(dòng)作a的概率，θ是策略網(wǎng)絡(luò)的參數(shù)集合；

53、v(s；θv)＝ea～π[rt|st＝s]；

54、其中，v(s；θv)表示在狀態(tài)s下，遵循當(dāng)前策略π所獲得的未來累積獎(jiǎng)勵(lì)的期望值，ea～π表示在動(dòng)作a遵循策略π分布的情況下，[rt|st＝s]，表示在狀態(tài)s時(shí)開始，未來獲得的總獎(jiǎng)勵(lì)rt的條件期望，θv是價(jià)值網(wǎng)絡(luò)的參數(shù)。

55、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述將環(huán)境自適應(yīng)ai模型和深度強(qiáng)化學(xué)習(xí)決策模型融合成綜合模型，具體步驟如下：

56、將環(huán)境自適應(yīng)ai模型預(yù)測的環(huán)境參數(shù)直接融入深度強(qiáng)化學(xué)習(xí)決策模型的狀態(tài)空間s中，使決策模型能基于當(dāng)前和預(yù)測的環(huán)境狀態(tài)作出更前瞻性的決策，表達(dá)式為：

57、s′＝[φ(fc)，φ(fp)，vn]；

58、其中，φ(fp)，是環(huán)境自適應(yīng)ai模型對未來時(shí)刻環(huán)境參數(shù)的預(yù)測，s′表示一個(gè)增強(qiáng)狀態(tài)，φ(fc)表示當(dāng)前環(huán)境參數(shù)的高維特征表示，vn指的是當(dāng)前視頻幀的特征向量。

59、作為本發(fā)明所述煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的一種優(yōu)選方案，其中：所述將綜合模型部署到邊緣計(jì)算設(shè)備上，對煤炭生產(chǎn)作業(yè)現(xiàn)場進(jìn)行實(shí)時(shí)監(jiān)控，視頻流經(jīng)過模型推理，結(jié)合環(huán)境數(shù)據(jù)識(shí)別安全隱患并通過深度強(qiáng)化學(xué)習(xí)策略，及時(shí)做出響應(yīng)，具體步驟如下：

60、使用量化處理減少模型大小，降低計(jì)算難度，使用docker容器化部署方式，將優(yōu)化后的模型部署到邊緣計(jì)算設(shè)備；

61、建立從視頻流和環(huán)境數(shù)據(jù)采集到模型推理的完整流程，視頻流經(jīng)過裁剪處理后，送入模型進(jìn)行安全隱患識(shí)別，同時(shí)，環(huán)境數(shù)據(jù)與視頻幀時(shí)間戳匹配，作為模型輸入的一部分；

62、根據(jù)模型推理結(jié)果，設(shè)計(jì)響應(yīng)邏輯，如發(fā)現(xiàn)安全隱患通過drl策略自動(dòng)調(diào)整生產(chǎn)線參數(shù)以預(yù)防潛在事故。

63、第二方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其中：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的任一步驟。

64、第三方面，本發(fā)明實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如本發(fā)明第一方面所述的煤炭生產(chǎn)作業(yè)場景視訊ai算法訓(xùn)練推理平臺(tái)及方法的任一步驟。

65、本發(fā)明有益效果為：本發(fā)明通過部署多類傳感器并實(shí)施精密的數(shù)據(jù)預(yù)處理，顯著增強(qiáng)了數(shù)據(jù)的準(zhǔn)確性和安全性，為復(fù)雜環(huán)境下的高效監(jiān)控打下基礎(chǔ)，環(huán)境參數(shù)數(shù)據(jù)集的創(chuàng)新性增強(qiáng)處理，包括高維映射與環(huán)境模擬，極大提升了ai模型在多變作業(yè)條件下的魯棒性和識(shí)別精度，結(jié)合自適應(yīng)學(xué)習(xí)率的ai模型訓(xùn)練策略，不僅加速了模型對環(huán)境特征的學(xué)習(xí)過程，也確保了模型預(yù)測的精確度與環(huán)境適應(yīng)力，通過將環(huán)境自適應(yīng)模型與深度強(qiáng)化學(xué)習(xí)策略的智慧融合，系統(tǒng)能夠前瞻性地做出決策，有效預(yù)防安全隱患，最終，模型的邊緣計(jì)算部署實(shí)現(xiàn)了現(xiàn)場視頻流和環(huán)境數(shù)據(jù)的實(shí)時(shí)監(jiān)控與快速響應(yīng)，大幅提高了煤炭生產(chǎn)的安全性和作業(yè)效率，標(biāo)志著向智能化安全生產(chǎn)邁出的重要一步。