本發(fā)明涉及計算機視覺，尤其涉及一種基于多分支特征交互的光伏面板故障檢測方法、裝置、設備和介質。

背景技術：

1、隨著全球對清潔能源需求的不斷增加，光伏發(fā)電技術得到了迅速發(fā)展。光伏面板作為光伏發(fā)電系統(tǒng)的核心部件，其性能直接影響整個系統(tǒng)的發(fā)電效率和經濟效益。然而，由于光伏面板長時間暴露在戶外環(huán)境中，其性能可能會受到溫度、雨水，風等天氣影響，人類工作活動或者生物破壞，以及在運輸和安裝過程中受到的機械損壞。這些因素可能導致光伏面板出現(xiàn)各種故障，從而降低其發(fā)電效率，甚至可能導致安全隱患。

2、傳統(tǒng)方法依靠人工巡檢，不但費時費力，而且存在錯檢漏檢的情況。而隨著近年來計算機視覺技術的不斷發(fā)展，在許多領域都取得了不錯的應用效果，同樣存在通過計算機視覺對光伏面板進行故障檢測的方案，例如通過可見光圖像進行光伏面板的故障檢測。

3、現(xiàn)有技術在進行故障檢測時，通常僅是單圖像單分支檢測，無法適配光伏面板布置場景多樣化的情況，導致檢測精度降低。

技術實現(xiàn)思路

1、本發(fā)明提供了一種基于多分支特征交互的光伏面板故障檢測方法、裝置、設備和介質，解決了現(xiàn)有技術在進行故障檢測時，通常僅是單圖像單分支檢測，無法適配光伏面板布置場景多樣化的情況，導致檢測精度降低的技術問題。

2、本發(fā)明第一方面提供了一種基于多分支特征交互的光伏面板故障檢測方法，包括：

3、獲取待檢測光伏面板的可見光-紅外圖像對；

4、通過預設的目標多分支故障檢測模型從所述可見光-紅外圖像對提取圖像特征并進行迭代特征交互，生成多個輸入特征圖；

5、通過所述目標多分支故障檢測模型采用全部所述輸入特征圖進行故障檢測，判斷所述待檢測光伏面板是否存在故障；

6、若是，則通過所述目標多分支故障檢測模型標注故障位置并輸出故障類別；

7、若否，則持續(xù)監(jiān)聽是否接收到新的可見光-紅外圖像對。

8、可選地，所述方法還包括：

9、獲取光伏面板的多個可見光-紅外訓練圖像對，創(chuàng)建檢測數(shù)據集；

10、以多個特征交互模塊嵌入第一可見光分支、第二可見光分支和紅外分支的多個階段輸出位置；

11、在生成所述輸入特征圖的階段輸出位置依次連接頸部網絡和檢測頭網絡，創(chuàng)建初始多分支故障檢測模型；

12、采用所述檢測數(shù)據集訓練所述初始多分支故障檢測模型，得到目標多分支故障檢測模型。

13、可選地，所述采用所述檢測數(shù)據集訓練所述初始多分支故障檢測模型，得到目標多分支故障檢測模型，包括：

14、按照預設比例將所述檢測數(shù)據集劃分為訓練集、驗證集和測試集；

15、將所述訓練集輸入至所述初始多分支故障檢測模型，生成故障預測結果；

16、根據所述故障預測結果和所述訓練集對應的真實故障結果，分別計算矩形框損失、置信度損失和分類損失并加權疊加，得到目標損失值；

17、按照所述目標損失值對所述初始多分支故障檢測模型進行參數(shù)調整，直至所述目標損失值收斂，得到第一多分支故障檢測模型；

18、采用所述驗證集調整所述第一多分支故障檢測模型的超參數(shù)，得到設置不同超參數(shù)的多個第二多分支故障檢測模型；

19、采用所述測試集分別輸入各所述第二多分支故障檢測模型，選取平均精度最高的第二多分支故障檢測模型作為目標多分支故障檢測模型。

20、可選地，所述可見光-紅外圖像對包括可見光圖像和紅外圖像，所述目標多分支故障檢測模型包括分別連接特征交互模塊的第一階段模塊和多個第二階段模塊；所述通過預設的目標多分支故障檢測模型從所述可見光-紅外圖像對提取圖像特征并進行迭代特征交互，生成多個輸入特征圖，包括：

21、通過所述第一階段模塊從所述可見光圖像和所述紅外圖像中分別提取圖像特征并在所述特征交互模塊進行特征交互，生成多個交互特征并輸入第二階段模塊；

22、通過多個所述第二階段模塊對多個所述交互特征進行迭代特征交互，分別生成輸入特征圖。

23、可選地，所述第一階段模塊包括并行連接至第一特征交互模塊的第一cnn分支、第一swin?transformer分支和第一紅外分支；所述通過所述第一階段模塊從所述可見光圖像和所述紅外圖像中分別提取圖像特征并在所述特征交互模塊進行特征交互，生成多個交互特征并輸入第二階段模塊，包括：

24、通過所述第一cnn分支從所述可見光圖像中提取第一可見光特征并輸入至所述第一特征交互模塊；

25、通過所述第一swin?transformer分支從所述可見光圖像中提取第二可見光特征并輸入至所述第一特征交互模塊；

26、通過所述第一紅外分支從所述紅外圖像中提取第一紅外特征并輸入至所述第一特征交互模塊；

27、通過所述第一特征交互模塊采用所述第一可見光特征、所述第二可見光特征和所述第一紅外特征進行特征交互，生成單個融合特征；

28、通過所述第一特征交互模塊對所述融合特征執(zhí)行通道分離操作，得到第一共享特征、第二共享特征和第三共享特征；

29、通過所述第一特征交互模塊分別疊加所述第一可見光特征和所述第一共享特征，所述第二可見光特征和所述第二共享特征，所述第一紅外特征和所述第三共享特征，得到多個交互特征并輸入第二階段模塊。

30、可選地，所述第一特征交互模塊包括依次連接的融合部分和密集拼接部分；所述通過所述第一特征交互模塊采用所述第一可見光特征、所述第二可見光特征和所述第一紅外特征進行特征交互，生成單個融合特征，包括：

31、通過所述融合部分分別對所述第一可見光特征、所述第二可見光特征和所述第一紅外特征依次執(zhí)行卷積、批次歸一化和函數(shù)激活后，拼接得到單個第一中間特征；

32、通過所述密集拼接部分對所述第一中間特征執(zhí)行批次歸一化、函數(shù)激活和卷積，得到第二中間特征；

33、通過所述密集拼接部分拼接所述第二中間特征與已有的全部第一中間特征，得到第三中間特征并作為新的第一中間特征；

34、跳轉執(zhí)行所述通過所述密集拼接部分對所述第一中間特征執(zhí)行批次歸一化、函數(shù)激活和卷積，得到第二中間特征的步驟，直至達到預設迭代次數(shù)，將當前時刻的第三中間特征確定為融合特征。

35、可選地，所述第二階段模塊包括多組并行連接至第二特征交互模塊的第二cnn分支、第二swin?transformer分支和第二紅外分支，各組所述第二swin?transformer分支的分支架構不同；所述通過多個所述第二階段模塊對多個所述交互特征進行迭代特征交互，分別生成輸入特征圖，包括：

36、通過所述第二cnn分支、所述第二swin?transformer分支和所述第二紅外分支分別從各所述交互特征中提取第三可見光特征、第四可見光特征和第二紅外特征，并輸入至所述第二特征交互模塊；

37、通過所述第二特征交互模塊采用所述第三可見光特征、所述第四可見光特征和所述第二紅外特征進行特征交互，生成輸入特征圖；

38、通過所述第二特征交互模塊對所述輸入特征圖執(zhí)行通道分離操作，得到第四共享特征、第五共享特征和第六共享特征；

39、通過所述第二特征交互模塊分別疊加所述第三可見光特征和所述第四共享特征，所述第四可見光特征和所述第五共享特征，所述第二紅外特征和所述第六共享特征，得到多個新的交互特征；

40、跳轉執(zhí)行通過所述第二cnn分支、所述第二swin?transformer分支和所述第二紅外分支分別各從所述交互特征中提取第三可見光特征、第四可見光特征和第二紅外特征，并輸入至所述第二特征交互模塊，直至生成預設數(shù)量的輸入特征圖。

41、可選地，所述目標多分支故障檢測模型還包括依次連接的頸部網絡和檢測頭網絡；所述通過所述目標多分支故障檢測模型采用全部所述輸入特征圖進行故障檢測，判斷所述待檢測光伏面板是否存在故障，包括：

42、通過所述頸部網絡接收多個所述輸入特征圖并依次進行上采樣特征融合和下采樣特征融合，得到多個增強特征圖；

43、通過所述頸部網絡對各所述增強特征圖分別進行重參數(shù)化后輸入至所述檢測頭網絡；

44、通過所述檢測頭網絡分別從各所述增強特征圖中判斷是否存在符合預設故障類別的目標；

45、若存在，則判定所述待檢測光伏面板存在故障；

46、若不存在，則判定所述待檢測光伏面板未存在故障。

47、本發(fā)明第二方面提供了一種基于多分支特征交互的光伏面板故障檢測裝置，包括：

48、圖像對獲取模塊，用于獲取待檢測光伏面板的可見光-紅外圖像對；

49、特征圖生成模塊，用于調用預設的目標多分支故障檢測模型從所述可見光-紅外圖像對提取圖像特征并進行迭代特征交互，生成多個輸入特征圖；

50、故障判斷模塊，用于調用所述目標多分支故障檢測模型采用全部所述輸入特征圖進行故障檢測，判斷所述待檢測光伏面板是否存在故障；

51、第一判定模塊，用于若是，則通過所述目標多分支故障檢測模型標注故障位置并輸出故障類別；

52、第二判定模塊，用于若否，則持續(xù)監(jiān)聽是否接收到新的可見光-紅外圖像對。

53、本發(fā)明第三方面提供了一種計算機設備，包括存儲器及處理器，所述存儲器中儲存有計算機程序，所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行如本發(fā)明第一方面任一項所述的基于多分支特征交互的光伏面板故障檢測方法的步驟。

54、本發(fā)明第四方面提供了一種計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被執(zhí)行時實現(xiàn)如本發(fā)明第一方面任一項所述的基于多分支特征交互的光伏面板故障檢測方法。

55、從以上技術方案可以看出，本發(fā)明具有以下優(yōu)點：

56、本發(fā)明通過獲取待檢測光伏面板的可見光-紅外圖像對；通過預設的目標多分支故障檢測模型從可見光-紅外圖像對提取圖像特征并進行迭代特征交互，生成多個輸入特征圖；通過目標多分支故障檢測模型采用全部輸入特征圖進行故障檢測，判斷待檢測光伏面板是否存在故障；若是，則通過目標多分支故障檢測模型標注故障位置并輸出故障類別；若否，則持續(xù)監(jiān)聽是否接收到新的可見光-紅外圖像對。從而通過故障檢測模型的多分支結構，從不同的圖像維度進行特征交互，以適配光伏面板布置場景多樣化的情況，有效提高光伏面板故障檢測精度。