本發(fā)明涉及輸電線路巡檢，尤其涉及一種基于云端大模型的輸電線路風險識別系統(tǒng)及方法。

背景技術(shù)：

1、目前輸電線路巡檢主要依賴監(jiān)拍設(shè)備代替人員定期巡檢，在監(jiān)控室內(nèi)需要有專人值守監(jiān)看監(jiān)拍設(shè)備回傳的圖片和視頻，處理監(jiān)拍設(shè)備通過自身ai識別到特種車輛等情況產(chǎn)生的告警信息。為了保障輸電線路安全，有必要實時獲取輸電線路現(xiàn)場情況，然而輸電線路距離長、分布廣的特點，無法像監(jiān)控系統(tǒng)一樣7*24h錄像，這會造成大量的硬盤、流量、電力消耗。為了解決這一問題，常規(guī)的解決辦法是使監(jiān)拍設(shè)備運行在低功耗模式，定時抓拍圖片回傳至電力平臺，定時通常設(shè)定在10分鐘至60分鐘不等，通過這樣抓拍方式的可以有效保證對輸電線路現(xiàn)場情況的掌握，但這會存在真空期，同時大量的抓拍圖片仍然需要人力篩查，難以及時發(fā)現(xiàn)風險隱患。

2、由于監(jiān)拍設(shè)備的算力十分有限，現(xiàn)有技術(shù)僅能通過其內(nèi)置的ai芯片進行簡單的風險識別，受限于芯片算力，為了滿足實時性，只能采用較小的模型網(wǎng)絡(luò)，小模型檢測效果較差，存在不少誤報、漏報，且檢測到潛在風險目標后監(jiān)拍設(shè)備無法自行確定是否構(gòu)成風險，仍需觸發(fā)告警上傳至平臺由人工二次處理。同時由于輸電線路巡檢“寧誤報、不漏報”的原則，現(xiàn)有方案中通常將風險識別閾值設(shè)定較低，導致監(jiān)拍設(shè)備存在大量誤報和無效告警，且有些目標因為從開始進入畫面到離開畫面，會持續(xù)一段時間，而在這段時間內(nèi)，目標會被持續(xù)檢測到，并產(chǎn)生多條告警，造成流量和硬盤空間的浪費，而且還需要人工二次處理，浪費人力資源二次檢查。而實際存在的風險往往隱藏于大量數(shù)據(jù)中，人工檢查容易缺漏，容易造成重大損失。

3、因此為了處理監(jiān)拍設(shè)備回傳的數(shù)據(jù)，排除干擾找出潛在風險，需要設(shè)計一種輸電線路風險識別系統(tǒng)及方法，代替人工進行二次分析，進一步減少人力工作。

技術(shù)實現(xiàn)思路

1、發(fā)明目的：針對上述不足，本發(fā)明提出一種基于云端大模型的輸電線路風險識別系統(tǒng)及方法，不僅可以提高設(shè)備端初檢的檢出率、準確率，提高輸電線路風險識別能力，還可以減少因人員疏忽造成的遺漏，提高輸電線路風險監(jiān)測的整體效率的同時，不增加用戶額外的成本。

2、技術(shù)方案：

3、本發(fā)明提供基于云端大模型的輸電線路風險識別系統(tǒng)，包括：

4、云平臺，用于根據(jù)圖像識別模塊的識別結(jié)果向?qū)?yīng)的監(jiān)拍設(shè)備拉取視頻流，并轉(zhuǎn)發(fā)至視頻識別模塊，同時將視頻識別模塊的識別結(jié)果轉(zhuǎn)發(fā)至大模型識別模塊；

5、圖像識別模塊，用于接收監(jiān)拍設(shè)備回傳的告警圖像，通過其內(nèi)預先訓練好的風險目標檢測模型進行風險識別，得到其中存在風險的圖像；

6、視頻識別模塊，用于通過其內(nèi)預先訓練好的目標軌跡跟蹤模型對云平臺轉(zhuǎn)發(fā)的視頻流進行風險行為識別，得到識別結(jié)果；

7、云端識別模塊，用于通過其內(nèi)預先訓練好的風險識別大模型將云平臺轉(zhuǎn)發(fā)的視頻識別模塊的識別結(jié)果中存在的風險行為總結(jié)成自然語言，以得到具體的風險行為。

8、具體地，所述圖像識別模塊內(nèi)預先訓練好的風險目標檢測模型采用yolo目標檢測模型。

9、更具體地，所述yolo目標檢測模型在訓練過程中，引入自適應(yīng)的方向性池化層算子進行優(yōu)化，具體如下：

10、在所述yolo目標檢測模型的訓練過程中，基于目標的寬和高，計算其寬高比，將其寬高比與設(shè)定閾值進行比較；

11、若寬高比超過設(shè)定閾值，則該目標為一個細長型的目標，若目標方向為橫向，則采用的池化算子為4*2的矩陣，對卷積計算結(jié)果進行池化計算；反之，目標方向為縱向，則采用的池化算子為2*4的矩陣，對卷積計算結(jié)果進行池化計算；

12、所述yolo目標檢測模型的損失函數(shù)采用

13、具體地，所述目標軌跡跟蹤模型以獲取的常見風險行為的視頻流進行訓練，輸入為視頻流，輸出為各風險物體的運動軌跡與風險行為的匹配度，并設(shè)定閾值，若匹配度超過設(shè)定閾值，則認為該風險物體的運動軌跡為風險行為。

14、更具體地，所述目標軌跡跟蹤模型內(nèi)設(shè)置bot-sort軌跡跟蹤算法，以判斷和預測目標運動的方向和速度，據(jù)此判斷目標的運動軌跡是否為風險運動軌跡。

15、更具體地，所述視頻識別模塊內(nèi)還設(shè)有匯總處理模塊，所述匯總處理模塊根據(jù)所述目標軌跡跟蹤模型得到的風險運動軌跡和對應(yīng)的速度，預測未來設(shè)定時間內(nèi)可能存在的重復告警，對其進行抑制。

16、具體地，所述云端識別模塊中的風險識別大模型采用通過qlora技術(shù)進行微調(diào)訓練的llava多模態(tài)大模型。

17、具體地，所述云平臺在經(jīng)過所述圖像識別模塊識別以排除誤報的告警圖像之后，根據(jù)剩余圖像向?qū)?yīng)的監(jiān)拍設(shè)備拉取視頻流，并將其轉(zhuǎn)發(fā)至視頻識別模塊。

18、具體地，所述云平臺采用支持電力i1協(xié)議進行搭建，接收所述監(jiān)拍設(shè)備發(fā)送的符合i1協(xié)議的告警圖像。

19、本發(fā)明還提供一種應(yīng)用前述的輸電線路風險識別系統(tǒng)的輸電線路風險識別方法，包括步驟：

20、s1、監(jiān)拍設(shè)備監(jiān)拍輸電線路的圖像，識別得到其中告警圖像，并將告警圖像回傳至圖像識別模塊。

21、s2、圖像識別模塊通過其內(nèi)的風險目標檢測模型對監(jiān)拍設(shè)備回傳的告警圖像進行風險識別，從而篩選得到其中存在風險的圖像；

22、s3、云平臺獲取s2得到的存在風險的圖像，據(jù)此向?qū)?yīng)的監(jiān)拍設(shè)備拉取視頻流，并轉(zhuǎn)發(fā)至視頻識別模塊；

23、s4、視頻識別模塊通過其內(nèi)的目標軌跡跟蹤模型對云平臺轉(zhuǎn)發(fā)的視頻流進行風險行為識別，并以其中存在風險行為的視頻作為其識別結(jié)果；

24、s5、云平臺將s4中視頻識別模塊的識別結(jié)果轉(zhuǎn)發(fā)至云端識別模塊，通過其內(nèi)的風險識別大模型對云平臺轉(zhuǎn)發(fā)的視頻識別模塊的識別結(jié)果中存在的風險行為總結(jié)成自然語言，以得到具體的風險行為。

25、有益效果：本發(fā)明部署方便，使用方便，可自動化執(zhí)行，從而可以有效減少人力負擔，減少因人員疏忽造成的損失，降低人力成本，風險識別率高，且本發(fā)明可以提高端側(cè)目標檢測準確性，還能有效減少漏報誤報，篩選有效告警，提高輸電線路風險監(jiān)測效率。

技術(shù)特征：

1.基于云端大模型的輸電線路風險識別系統(tǒng)，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的輸電線路風險識別系統(tǒng)，其特征在于，所述圖像識別模塊內(nèi)預先訓練好的風險目標檢測模型采用yolo目標檢測模型。

3.根據(jù)權(quán)利要求2所述的輸電線路風險識別系統(tǒng)，其特征在于，所述yolo目標檢測模型在訓練過程中，引入自適應(yīng)的方向性池化層算子進行優(yōu)化，具體如下：

4.根據(jù)權(quán)利要求1所述的輸電線路風險識別系統(tǒng)，其特征在于，所述目標軌跡跟蹤模型以獲取的常見風險行為的視頻流進行訓練，輸入為視頻流，輸出為各風險物體的運動軌跡與風險行為的匹配度，并設(shè)定閾值，若匹配度超過設(shè)定閾值，則認為該風險物體的運動軌跡為風險行為。

5.根據(jù)權(quán)利要求4所述的輸電線路風險識別系統(tǒng)，其特征在于，所述目標軌跡跟蹤模型內(nèi)設(shè)置bot-sort軌跡跟蹤算法，以判斷和預測目標運動的方向和速度，據(jù)此判斷目標的運動軌跡是否為風險運動軌跡。

6.根據(jù)權(quán)利要求5所述的輸電線路風險識別系統(tǒng)，其特征在于，所述視頻識別模塊內(nèi)還設(shè)有匯總處理模塊，所述匯總處理模塊根據(jù)所述目標軌跡跟蹤模型得到的風險運動軌跡和對應(yīng)的速度，預測未來設(shè)定時間內(nèi)可能存在的重復告警，對其進行抑制。

7.根據(jù)權(quán)利要求1所述的輸電線路風險識別系統(tǒng)，其特征在于，所述云端識別模塊中的風險識別大模型采用通過qlora技術(shù)進行微調(diào)訓練的llava多模態(tài)大模型。

8.根據(jù)權(quán)利要求1所述的輸電線路風險識別系統(tǒng)，其特征在于，所述云平臺在經(jīng)過所述圖像識別模塊識別以排除誤報的告警圖像之后，根據(jù)剩余圖像向?qū)?yīng)的監(jiān)拍設(shè)備拉取視頻流，并將其轉(zhuǎn)發(fā)至視頻識別模塊。

9.根據(jù)權(quán)利要求1所述的輸電線路風險識別系統(tǒng)，其特征在于，所述云平臺采用支持電力i1協(xié)議進行搭建，接收所述監(jiān)拍設(shè)備發(fā)送的符合i1協(xié)議的告警圖像。

10.一種應(yīng)用權(quán)利要求1-9任一所述的輸電線路風險識別系統(tǒng)的輸電線路風險識別方法，其特征在于，包括步驟：

技術(shù)總結(jié)
本發(fā)明公開了一種基于云端大模型的輸電線路風險識別系統(tǒng)及方法，其中系統(tǒng)包括：云平臺，用于根據(jù)圖像識別模塊的識別結(jié)果向?qū)?yīng)的監(jiān)拍設(shè)備拉取視頻流，同時將視頻識別模塊的識別結(jié)果轉(zhuǎn)發(fā)至大模型識別模塊；圖像識別模塊，用于對監(jiān)拍設(shè)備回傳的告警圖像進行風險識別；視頻識別模塊，用于通過其內(nèi)預先訓練好的目標軌跡跟蹤模型對云平臺轉(zhuǎn)發(fā)的視頻流進行風險行為識別，得到識別結(jié)果；云端識別模塊，用于通過其內(nèi)預先訓練好的風險識別大模型將云平臺轉(zhuǎn)發(fā)的視頻識別模塊的識別結(jié)果中存在的風險行為總結(jié)成自然語言，以得到具體的風險行為。本發(fā)明不僅可以提高輸電線路風險識別能力，還可以減少因人員疏忽造成的遺漏。

技術(shù)研發(fā)人員：姚沈宇,趙文杰,趙峰
受保護的技術(shù)使用者：江蘇訊匯科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19