本技術(shù)涉及計(jì)算機(jī)領(lǐng)域，具體而言，涉及一種困難樣本集合的生成方法及裝置、存儲(chǔ)介質(zhì)及電子裝置。

背景技術(shù)：

1、隨著全球?qū)夂蜃兓湍茉葱枨蟮某掷m(xù)增長(zhǎng)，可再生能源的開(kāi)發(fā)和利用變得至關(guān)重要。風(fēng)力發(fā)電和光伏發(fā)電作為可再生能源的重要組成部分，其裝機(jī)容量和發(fā)電量均呈現(xiàn)快速增長(zhǎng)態(tài)勢(shì)。然而，在實(shí)際運(yùn)行中，風(fēng)機(jī)和光伏系統(tǒng)不可避免地會(huì)遇到各種故障，如風(fēng)機(jī)葉片損傷、光伏組件灰塵遮擋等，這些故障不僅影響發(fā)電效率，還可能對(duì)設(shè)備造成永久性損害，增加運(yùn)維成本。因此，如何高效、準(zhǔn)確地診斷并解決這些故障，成為當(dāng)前新能源領(lǐng)域亟需解決的重要問(wèn)題。

2、傳統(tǒng)的故障診斷方法多依賴(lài)于人工巡檢和定期維護(hù)，這種方法不僅效率低下，而且難以覆蓋所有潛在故障點(diǎn)。隨著大數(shù)據(jù)、人工智能等技術(shù)的快速發(fā)展，基于計(jì)算機(jī)視覺(jué)的方法在故障診斷領(lǐng)域展現(xiàn)出巨大潛力。計(jì)算機(jī)視覺(jué)技術(shù)主要通過(guò)采集風(fēng)機(jī)或光伏組件的圖像數(shù)據(jù)，利用圖像處理技術(shù)提取關(guān)鍵特征，并結(jié)合機(jī)器學(xué)習(xí)模型進(jìn)行故障的自動(dòng)識(shí)別與預(yù)警。然而，在基于計(jì)算機(jī)視覺(jué)的故障診斷方法中，面對(duì)復(fù)雜多變的故障場(chǎng)景時(shí)，“困難樣本”問(wèn)題是一個(gè)重要的挑戰(zhàn)。困難樣本是指在模型訓(xùn)練過(guò)程中難以被正確分類(lèi)或預(yù)測(cè)的樣本，它們往往包含豐富的故障信息。為了解決這個(gè)問(wèn)題，提出了困難樣本挖掘(hard?sammplemining)等方法。通過(guò)困難樣本挖掘方法，可以有效地降低簡(jiǎn)單例對(duì)模型訓(xùn)練的影響，使模型更加關(guān)注那些真正具有挑戰(zhàn)性的難例(即困難樣本)。

3、傳統(tǒng)的困難樣本挖掘通常依賴(lài)于單一分類(lèi)器的預(yù)測(cè)結(jié)果或人為設(shè)定的規(guī)則來(lái)識(shí)別困難樣本。這種方法可能受限于分類(lèi)器的性能或規(guī)則的主觀性，導(dǎo)致識(shí)別的困難樣本不夠準(zhǔn)確或全面。傳統(tǒng)的困難樣本增強(qiáng)技術(shù)通常通過(guò)簡(jiǎn)單地變換(如旋轉(zhuǎn)、縮放、裁剪等)來(lái)生成新的樣本，這些方法雖然能夠增加樣本的數(shù)量，但生成的樣本往往與原始樣本非常相似，缺乏多樣性，難以提升模型的分類(lèi)效果。

4、針對(duì)相關(guān)技術(shù)中，基于傳統(tǒng)的困難樣本挖掘與生成方法得到的困難樣本集合缺乏多樣性的問(wèn)題，目前尚未提出有效的解決方案。

5、因此，有必要對(duì)相關(guān)技術(shù)予以改良以克服相關(guān)技術(shù)中的所述缺陷。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種困難樣本集合的生成方法及裝置、存儲(chǔ)介質(zhì)及電子裝置，以至少解決相關(guān)技術(shù)中，基于傳統(tǒng)的困難樣本挖掘與生成方法得到的困難樣本集合缺乏多樣性的問(wèn)題。

2、根據(jù)本技術(shù)實(shí)施例的一方面，提供一種困難樣本集合的生成方法，包括：將多個(gè)第一圖像樣本通過(guò)分類(lèi)器集合進(jìn)行分類(lèi)處理，確定出所述多個(gè)第一圖像樣本中的第一困難樣本，其中，所述分類(lèi)器集合包括不同類(lèi)型的多個(gè)分類(lèi)器，所述多個(gè)分類(lèi)器均用于對(duì)所述多個(gè)第一圖像樣本進(jìn)行故障分類(lèi)，所述第一困難樣本用于指示分類(lèi)失敗的圖像樣本；將所述第一困難樣本輸入到樣本增強(qiáng)模型中進(jìn)行處理，生成多個(gè)第二困難樣本，其中，所述多個(gè)第二困難樣本包括所述第一困難樣本；根據(jù)所述多個(gè)第二困難樣本生成困難樣本集合。

3、在一個(gè)示例性的實(shí)施例中，將多個(gè)第一圖像樣本通過(guò)分類(lèi)器集合進(jìn)行分類(lèi)處理，確定出所述多個(gè)第一圖像樣本中的第一困難樣本，包括：對(duì)所述多個(gè)第一圖像樣本進(jìn)行預(yù)處理，得到多個(gè)第二圖像樣本；將每一個(gè)第二圖像樣本依次通過(guò)所述多個(gè)分類(lèi)器進(jìn)行故障分類(lèi)，得到多組故障分類(lèi)結(jié)果，其中，所述多個(gè)第二圖像樣本與所述多組故障分類(lèi)結(jié)果一一對(duì)應(yīng)，每一組故障分類(lèi)結(jié)果包括多個(gè)故障分類(lèi)結(jié)果，所述多個(gè)故障分類(lèi)結(jié)果與所述多個(gè)分類(lèi)器一一對(duì)應(yīng)，所述故障分類(lèi)結(jié)果用于指示第二圖像樣本的故障類(lèi)別；根據(jù)所述多組故障分類(lèi)結(jié)果從所述多個(gè)第二圖像樣本中確定出所述第一困難樣本。

4、在一個(gè)示例性的實(shí)施例中，根據(jù)所述多組故障分類(lèi)結(jié)果從所述多個(gè)第二圖像樣本中確定出所述第一困難樣本，包括：根據(jù)多個(gè)第一故障分類(lèi)結(jié)果確定第三圖像樣本的最終分類(lèi)結(jié)果，其中，所述多個(gè)第二圖像樣本包括所述第三圖像樣本，所述第三圖像樣本對(duì)應(yīng)的一組故障分類(lèi)結(jié)果包括所述多個(gè)第一故障分類(lèi)結(jié)果，所述多個(gè)第一故障分類(lèi)結(jié)果包括所述最終分類(lèi)結(jié)果；統(tǒng)計(jì)所述多個(gè)第一故障分類(lèi)結(jié)果中第二故障分類(lèi)結(jié)果的占比，其中，所述第二故障分類(lèi)結(jié)果與所述最終分類(lèi)結(jié)果不同；在確定所述第二故障分類(lèi)結(jié)果的占比大于預(yù)設(shè)閾值的情況下，將所述第三圖像樣本確定為所述第一困難樣本。

5、在一個(gè)示例性的實(shí)施例中，將所述第一困難樣本輸入到樣本增強(qiáng)模型中進(jìn)行處理，生成多個(gè)第二困難樣本之前，所述方法還包括：訓(xùn)練步驟：根據(jù)第一生成器對(duì)第一判別器進(jìn)行訓(xùn)練，得到第二判別器，以及，根據(jù)所述第二判別器和分類(lèi)判別器對(duì)所述第一生成器進(jìn)行訓(xùn)練，得到第二生成器，其中，所述第一生成器和所述第二生成器用于生成所述第二困難樣本，所述第一判別器和所述第二判別器用于評(píng)估所述第二困難樣本是否可用，所述分類(lèi)判別器基于所述分類(lèi)器集合得到，所述分類(lèi)判別器用于確定樣本的分類(lèi)概率分布，所述分類(lèi)概率分布用于指示樣本屬于不同故障類(lèi)別的概率；循環(huán)執(zhí)行預(yù)設(shè)次數(shù)所述訓(xùn)練步驟，根據(jù)最終得到的第二判別器和第二生成器生成所述樣本增強(qiáng)模型。

6、在一個(gè)示例性的實(shí)施例中，根據(jù)第一生成器對(duì)第一判別器進(jìn)行訓(xùn)練，得到第二判別器，包括：將多個(gè)真實(shí)樣本輸入到所述第一生成器中，生成多個(gè)生成樣本，其中，所述多個(gè)真實(shí)樣本為困難樣本；通過(guò)公式計(jì)算所述第一判別器的第一損失，其中，ld為所述第一損失，d(x)為所述第一判別器對(duì)所述多個(gè)真實(shí)樣本的第一判別結(jié)果，g(z)為所述多個(gè)生成樣本，d(g(z))為所述第一判別器對(duì)所述多個(gè)生成樣本的第二判別結(jié)果，ex～pdata(x)為每一個(gè)真實(shí)樣本的分布概率，為每一個(gè)生成樣本的分布概率；根據(jù)所述第一損失對(duì)所述第一判別器的參數(shù)進(jìn)行調(diào)整，得到所述第二判別器。

7、在一個(gè)示例性的實(shí)施例中，根據(jù)所述第二判別器和分類(lèi)判別器對(duì)所述第一生成器進(jìn)行訓(xùn)練，得到第二生成器，包括：通過(guò)所述第二判別器計(jì)算多個(gè)真實(shí)樣本的第三判別結(jié)果，以及通過(guò)所述第二判別器計(jì)算多個(gè)生成樣本的第四判別結(jié)果，其中，所述多個(gè)生成樣本為所述多個(gè)真實(shí)樣本通過(guò)所述第一生成器生成；通過(guò)所述分類(lèi)判別器計(jì)算所述多個(gè)真實(shí)樣本的第一分類(lèi)概率分布，以及通過(guò)所述分類(lèi)判別器計(jì)算所述多個(gè)生成樣本的第二分類(lèi)概率分布；通過(guò)公式計(jì)算所述第一生成器的第二損失，其中，lg為所述第二損失，為每一個(gè)生成樣本的分布概率，g(z)為所述多個(gè)生成樣本，d(g(z))為所述第四判別結(jié)果，ldist(c(g(z))，c(xref)分布差異損失、用于指示所述第二分類(lèi)概率分布與目標(biāo)真實(shí)樣本的第一分類(lèi)概率分布之間的差異，所述多個(gè)真實(shí)樣本包括所述目標(biāo)真實(shí)樣本，xref為所述目標(biāo)真實(shí)樣本，α為所述分布差異損失的權(quán)重；根據(jù)所述第二損失對(duì)所述第一生成器進(jìn)行參數(shù)調(diào)整，得到所述第二生成器。

8、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種困難樣本集合的生成裝置，包括：處理模塊，用于將多個(gè)第一圖像樣本通過(guò)分類(lèi)器集合進(jìn)行分類(lèi)處理，確定出所述多個(gè)第一圖像樣本中的第一困難樣本，其中，所述分類(lèi)器集合包括不同類(lèi)型的多個(gè)分類(lèi)器，所述多個(gè)分類(lèi)器均用于對(duì)所述多個(gè)第一圖像樣本進(jìn)行故障分類(lèi)，所述第一困難樣本用于指示分類(lèi)失敗的圖像樣本；第一生成模塊，用于將所述第一困難樣本輸入到樣本增強(qiáng)模型中進(jìn)行處理，生成多個(gè)第二困難樣本，其中，所述多個(gè)第二困難樣本包括所述第一困難樣本；第二生成模塊，用于根據(jù)所述多個(gè)第二困難樣本生成困難樣本集合。

9、根據(jù)本技術(shù)實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，其中，該計(jì)算機(jī)程序被設(shè)置為運(yùn)行時(shí)執(zhí)行上述困難樣本集合的生成方法。

10、根據(jù)本技術(shù)實(shí)施例的又一方面，還提供了一種電子裝置，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，上述處理器通過(guò)計(jì)算機(jī)程序執(zhí)行上述困難樣本集合的生成方法。

11、根據(jù)本技術(shù)實(shí)施例的又一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)各個(gè)實(shí)施例中所述方法的步驟。

12、通過(guò)本技術(shù)，先通過(guò)多個(gè)分類(lèi)器對(duì)多個(gè)第一圖像樣本進(jìn)行分類(lèi)，確定出多個(gè)第一圖像樣本中的第一困難樣本，其中，這多個(gè)分類(lèi)器的類(lèi)型不同，均用于對(duì)這多個(gè)第一圖像樣本進(jìn)行故障分類(lèi)，第一困難樣本用于指示分類(lèi)失敗的圖像樣本；將第一困難樣本輸入到樣本增強(qiáng)模型中進(jìn)行處理，生成多個(gè)第二困難樣本；最后根據(jù)這多個(gè)第二困難樣本生成困難樣本集合；采用上述方案，在困難樣本挖掘時(shí)采用多個(gè)分類(lèi)器來(lái)綜合評(píng)估，得到準(zhǔn)確地困難樣本，再通過(guò)改進(jìn)的gan模型(即樣本增強(qiáng)模型)生成更逼真的困難樣本，擴(kuò)充困難樣本集合；從而解決了相關(guān)技術(shù)中，基于傳統(tǒng)的困難樣本挖掘與生成方法得到的困難樣本集合缺乏多樣性的問(wèn)題。