本發(fā)明涉及電力視覺(jué)，尤其涉及一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、在電力場(chǎng)景中，通常采用無(wú)人機(jī)采集的電力場(chǎng)景高分辨率圖像進(jìn)行缺陷小目標(biāo)檢測(cè)，如塔頂損壞、銷(xiāo)釘缺失等，電力場(chǎng)景高分辨率圖像的分辨率一般為8000x6000像素，其中小目標(biāo)一般為50x50像素，小目標(biāo)相對(duì)于整個(gè)圖片的占比極小。

2、目標(biāo)檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心問(wèn)題之一，其任務(wù)是找出圖像中所有目標(biāo)（物體），確定它們的類(lèi)別和位置。近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)、人工智能技術(shù)的發(fā)展，硬件設(shè)備的升級(jí)更新，以及自動(dòng)駕駛、人臉檢測(cè)、視頻監(jiān)控等需求不斷多樣化和豐富化，目標(biāo)檢測(cè)算法已經(jīng)十分成熟，目前主流的目標(biāo)檢測(cè)算法可分為以yolo系列為代表的單階段算法、以faster?rcnn為代表的二階段算法和以detr為代表的端到端檢測(cè)算法。不同目標(biāo)檢測(cè)算法在應(yīng)對(duì)不用的場(chǎng)景時(shí)表現(xiàn)不同，因此在應(yīng)用時(shí)往往會(huì)根據(jù)實(shí)際需求選擇不同的算法。對(duì)于實(shí)時(shí)性要求高的應(yīng)用場(chǎng)景，輕量化的單階段算法能更好勝任，此類(lèi)算法模型參數(shù)量少，結(jié)構(gòu)簡(jiǎn)單，在單張圖片上的推理時(shí)間較短。而對(duì)于準(zhǔn)確率要求高的場(chǎng)景，則二階段算法或端到端算法更合適，此類(lèi)算法參數(shù)量多，模型結(jié)構(gòu)復(fù)雜，雖然推理時(shí)間更長(zhǎng)但通常具有較高的檢測(cè)精度。

3、目前的檢測(cè)算法在生活場(chǎng)景圖像數(shù)據(jù)集，如coco、voc上的表現(xiàn)均很好，但由無(wú)人機(jī)采集的電力場(chǎng)景圖像具有分辨率高、待識(shí)別目標(biāo)尺寸極小、背景復(fù)雜等特點(diǎn)，經(jīng)實(shí)驗(yàn)驗(yàn)證得，若使用電力場(chǎng)景缺陷數(shù)據(jù)集直接訓(xùn)練已有的目標(biāo)檢測(cè)算法，其檢測(cè)精度很低。

4、小目標(biāo)檢測(cè)是經(jīng)典目標(biāo)檢測(cè)任務(wù)中的一個(gè)難題，通常將像素占比小于3%的目標(biāo)定義小目標(biāo)，而ms?coco數(shù)據(jù)集將分辨率小于32像素×32像素的目標(biāo)定義為小目標(biāo)，小目標(biāo)相比于大/中目標(biāo)分辨率低，信息量少，難以提取到具有鑒別力的特征，因此識(shí)別難度很大?，F(xiàn)有技術(shù)中，針對(duì)于電力場(chǎng)景下小目標(biāo)檢測(cè)中存在小目標(biāo)檢測(cè)識(shí)別效率低的技術(shù)問(wèn)題。

5、鑒于此，有必要提出一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法及系統(tǒng)，以對(duì)無(wú)人機(jī)采集的電力場(chǎng)景高分辨率圖像進(jìn)行小目標(biāo)識(shí)別，以解決或至少部分解決上述技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的主要目的在于提供一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法及系統(tǒng)，旨在解決現(xiàn)有目標(biāo)檢測(cè)算法對(duì)電力圖像中小目標(biāo)的檢測(cè)精度低的技術(shù)問(wèn)題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法，包括步驟：s100，建立目標(biāo)分辨率下的小缺陷檢測(cè)模型；

3、s200，采用目標(biāo)分辨率對(duì)當(dāng)前電力設(shè)備圖像進(jìn)行裁剪獲取目標(biāo)分辨率下的多幀當(dāng)前電力圖像切片；

4、s300，基于小缺陷檢測(cè)模型對(duì)當(dāng)前電力圖像切片進(jìn)行檢測(cè)，獲取缺陷檢測(cè)結(jié)果；

5、s400，對(duì)缺陷檢測(cè)結(jié)果的框坐標(biāo)進(jìn)行坐標(biāo)映射處理，將缺陷檢測(cè)結(jié)果的框坐標(biāo)映射至當(dāng)前電力設(shè)備圖像；

6、其中，步驟s100具體包括：

7、s101，以不同的分辨率裁剪高分辨率缺陷訓(xùn)練圖像，獲取多種分辨率下的訓(xùn)練圖像數(shù)據(jù)集；

8、s102，將最小分辨率下的訓(xùn)練圖像數(shù)據(jù)集確定為當(dāng)前模型訓(xùn)練數(shù)據(jù)集；

9、s103，將當(dāng)前模型訓(xùn)練數(shù)據(jù)集加載到電網(wǎng)缺陷檢測(cè)預(yù)訓(xùn)練模型中，由骨干網(wǎng)絡(luò)輸出多層原始特征圖；

10、s104，基于空洞卷積的特征上下文增強(qiáng)模塊獲取局部上下文特征對(duì)骨干網(wǎng)絡(luò)輸出的原始特征圖做增強(qiáng)處理得到增強(qiáng)后的特征圖（多層級(jí)特征圖）；

11、s105，將多層增強(qiáng)后的特征（多層級(jí)特征圖）融合至分辨率較高的低層特征圖，形成融合后的特征圖；

12、s106，根據(jù)當(dāng)前模型訓(xùn)練數(shù)據(jù)集生成真值監(jiān)督掩碼，基于真值監(jiān)督掩碼對(duì)融合后的特征圖進(jìn)行監(jiān)督得到特征加強(qiáng)圖，并基于真值監(jiān)督掩碼和預(yù)測(cè)掩碼獲取掩碼監(jiān)督損失；

13、s107，將特征加強(qiáng)圖輸入特征篩選模塊，采用評(píng)分網(wǎng)絡(luò)對(duì)各個(gè)空間位置的特征信息進(jìn)行評(píng)價(jià)，獲取得分較高的前m%以及無(wú)關(guān)向量中的n%作為篩選出的關(guān)鍵特征向量，其中，，其中；

14、s108，將關(guān)鍵特征向量輸入transformer模型的多層編碼器結(jié)構(gòu)進(jìn)行特征整合，基于編碼器的輸出和交叉注意力技術(shù)利用多層解碼器輸出預(yù)測(cè)結(jié)果；

15、s109，將預(yù)測(cè)結(jié)果與標(biāo)簽真值比較計(jì)算分類(lèi)損失和框回歸損失，將分類(lèi)損失、框回歸損失以及掩碼監(jiān)督損失一同構(gòu)成總損失，反向傳播后更新電網(wǎng)缺陷檢測(cè)預(yù)訓(xùn)練模型的模型參數(shù)；

16、s110，重復(fù)步驟s103至s109進(jìn)行多輪次訓(xùn)練，直至滿足預(yù)設(shè)中止條件；

17、s111，判斷是否完成所有的訓(xùn)練圖像數(shù)據(jù)集的訓(xùn)練，若沒(méi)有完成所有的訓(xùn)練圖像數(shù)據(jù)集的訓(xùn)練，則獲取分辨率更好的訓(xùn)練圖像數(shù)據(jù)集，并進(jìn)入步驟s103，直至完成目標(biāo)分辨率對(duì)應(yīng)的訓(xùn)練圖像數(shù)據(jù)集的訓(xùn)練；若完成所有的訓(xùn)練圖像數(shù)據(jù)集的訓(xùn)練則確定更新模型參數(shù)的預(yù)訓(xùn)練模型為小缺陷檢測(cè)模型。

18、進(jìn)一步地，步驟s100中，

19、采用600×600的像素窗口在訓(xùn)練用的高分辨率缺陷訓(xùn)練圖像滑動(dòng)切片進(jìn)行裁剪，獲取600×600的訓(xùn)練圖像數(shù)據(jù)集，使用600×600的訓(xùn)練圖像數(shù)據(jù)集以及第一預(yù)設(shè)負(fù)樣本數(shù)據(jù)集進(jìn)行訓(xùn)練并更新模型參數(shù)后得到的訓(xùn)練模型一；

20、采用1000×1000的像素窗口在訓(xùn)練用的高分辨率缺陷訓(xùn)練圖像滑動(dòng)切片進(jìn)行裁剪，獲取1000×1000的訓(xùn)練圖像數(shù)據(jù)集，使用1000×1000的像素?cái)?shù)據(jù)集以及第二預(yù)設(shè)負(fù)樣本數(shù)據(jù)集以訓(xùn)練模型一為預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練并更新模型參數(shù)后得到訓(xùn)練模型二；

21、采用1500×1500的像素窗口在訓(xùn)練用的高分辨率缺陷訓(xùn)練圖像滑動(dòng)切片進(jìn)行裁剪，獲取1500×1500的訓(xùn)練圖像數(shù)據(jù)集，使用1500×1500的像素?cái)?shù)據(jù)集以及第三預(yù)設(shè)負(fù)樣本數(shù)據(jù)集以訓(xùn)練模型二為預(yù)訓(xùn)練模型進(jìn)行訓(xùn)練并更新模型參數(shù)后得到小缺陷檢測(cè)模型；

22、其中，目標(biāo)分辨率為1500×1500的像素分辨率；若訓(xùn)練圖像數(shù)據(jù)集中當(dāng)前位置存在缺陷目標(biāo)則以當(dāng)前圖像的當(dāng)前圖像坐標(biāo)系進(jìn)行位置標(biāo)注。

23、進(jìn)一步地，步驟s104中，基于空洞卷積的特征上下文增強(qiáng)模塊對(duì)骨干網(wǎng)絡(luò)輸出的特征圖的前三層的淺層特征進(jìn)行上下文增強(qiáng)處理。

24、進(jìn)一步地，步驟s105中，特征融合的過(guò)程表示為，

25、其中，表示輸出的融合后的特征圖，為上下文增強(qiáng)后的特征圖，表示標(biāo)準(zhǔn)3×3卷積，為批次歸一化操作，表示relu激活函數(shù)，為可學(xué)習(xí)的權(quán)重參數(shù)。

26、進(jìn)一步地，步驟s106中，根據(jù)當(dāng)前模型訓(xùn)練數(shù)據(jù)集生成真值監(jiān)督掩碼，作為融合后的特征圖的監(jiān)督；

27、將融合后的特征圖經(jīng)過(guò)一個(gè)卷積和激活函數(shù)組成的模塊，輸出預(yù)測(cè)掩碼；

28、將多層級(jí)特征圖中的原特征圖與預(yù)測(cè)掩碼相乘得到輸出特征圖；

29、其中，采用真值監(jiān)督掩碼對(duì)預(yù)測(cè)掩碼進(jìn)行監(jiān)督，計(jì)算二者的mse損失。

30、進(jìn)一步地，將多層級(jí)特征圖中的原特征圖與預(yù)測(cè)掩碼相乘得到輸出特征圖的過(guò)程表示為，

31、其中，表示融合后的特征圖，f為輸出特征圖，表示3×3卷積與relu模塊，表示sigmoid函數(shù)，表示hadamard積。

32、進(jìn)一步地，采用公式計(jì)算總損失，其中，分別為分類(lèi)損失、框回歸損失和掩碼監(jiān)督損失，分別為分類(lèi)損失、框回歸損失和掩碼監(jiān)督損失的權(quán)重。

33、進(jìn)一步地，若輪次訓(xùn)練的次數(shù)達(dá)到預(yù)設(shè)次數(shù)則確定滿足預(yù)設(shè)中止條件。

34、本發(fā)明還提供一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢系統(tǒng)，包括相互連接的微處理器和存儲(chǔ)器，微處理器被編程或配置以執(zhí)行上述的面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法的步驟。

35、與現(xiàn)有技術(shù)相比，本發(fā)明所提供的一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法具有如下的有益效果：

36、本發(fā)明所提供的一種面向電力場(chǎng)景高分辨率圖像的缺陷小目標(biāo)檢測(cè)方法，在訓(xùn)練小缺陷檢測(cè)模型時(shí)，采用遞進(jìn)式訓(xùn)練方式，首先采用較低像素的訓(xùn)練圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，然后依次采用較高像素的訓(xùn)練圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，直至通過(guò)目標(biāo)分辨率對(duì)應(yīng)的訓(xùn)練圖像數(shù)據(jù)集進(jìn)行訓(xùn)練得到小缺陷檢測(cè)模型，多尺度的訓(xùn)練圖像數(shù)據(jù)集的遞進(jìn)式訓(xùn)練保證了模型訓(xùn)練的連續(xù)性，特征融合的設(shè)計(jì)充分保留了信息傳遞過(guò)程中小目標(biāo)的特征信息，因此對(duì)于常見(jiàn)電力場(chǎng)景下小目標(biāo)的檢測(cè)效果更好，通過(guò)評(píng)分網(wǎng)絡(luò)進(jìn)行抽樣，保證模型精度的同時(shí)避免了繁雜冗余的計(jì)算，從而保證了整個(gè)模型的時(shí)效性和準(zhǔn)確率，可實(shí)現(xiàn)電力場(chǎng)景目標(biāo)的端到端檢測(cè)；本發(fā)明的方案中，采用目標(biāo)分辨率對(duì)當(dāng)前電力設(shè)備圖像進(jìn)行裁剪獲取目標(biāo)分辨率下的多幀當(dāng)前電力圖像切片，基于訓(xùn)練后形成的小缺陷檢測(cè)模型對(duì)當(dāng)前電力圖像切片進(jìn)行檢測(cè)，并在獲取缺陷檢查結(jié)果后將缺陷檢測(cè)結(jié)果的框坐標(biāo)映射至當(dāng)前電力設(shè)備圖像，對(duì)電力圖像中小目標(biāo)的檢測(cè)精度高，能滿足電網(wǎng)智能化巡檢任務(wù)需求。