本發(fā)明涉及一種防震錘缺陷檢測的視覺檢測方法，屬于輸電線路無人機圖像的防震錘缺陷檢測技術領域。

背景技術：

由于輸電線要長期暴露在戶外，經(jīng)受風吹雨打，受自然環(huán)境影響大，故障發(fā)生的頻率較高，為了維護電網(wǎng)的正常運行，杜絕各部件故障引發(fā)的電網(wǎng)運行隱患，定期而有效的輸電線路巡檢方式被積極采用，針對各部件的各種缺陷的事先檢修成為研究的重點。當導線受到風力作用時，會發(fā)生振動。導線振動時，導線懸掛處的工作條件最為不利。由于多次振動，導線因周期性的彎折會發(fā)生疲勞破壞。因此防震錘可以減少導線因風力扯起振動。一旦防震錘發(fā)生損壞，會對輸電線路的安全帶來安全隱患。正確識別定位防震錘并且發(fā)現(xiàn)防震錘的各種缺陷并及時采取補救措施，從而利于輸電線路的有效利用及其壽命的延長。依賴傳統(tǒng)的人工進行檢測，耗時，耗人力和財力。隨著自動化、智能化、計算機技術的發(fā)展，如何自動化、快速地、精確地檢測出輸電線路圖像中的缺陷防震錘已成為數(shù)字圖像處理領域中的一個熱門問題。

目前國內(nèi)對防震錘缺陷檢測的研究還很少，主要集中在防震錘的檢測定位環(huán)節(jié)，缺陷檢測方面還存在著很大的研究空間。防震錘的識別檢測方法目前主要以模板匹配為主，也有學者通過adaboost等機器學習的方法提高檢測的精度。文獻“圖像識別技術在電力設備監(jiān)測中的應用”(張浩，王瑋，徐麗杰，等.電力系統(tǒng)保護與控制，2010，38(6):88-91.)中提出的基于模板匹配的電力設備的識別檢測技術，是針對電力設備的遠程數(shù)字監(jiān)控及圖像識別技術的研究，主要應用于變電站電力設備的診斷監(jiān)測。文獻“基于結(jié)構(gòu)約束的架空輸電線路巡線機器人障礙識別”(張運楚，梁自澤，傅思遙，等.機器人，2007，29(1):1-6.)中利用圖像的邊緣信息，采用改進的基于概率圖的橢圓檢測方法結(jié)合分層決策機制，有效的提取輸電線路圖像中的防震錘。文獻“高壓輸電線路巡線機器人障礙物視覺檢測識別研究”(胡彩石，吳功平，曹珩等.傳感技術學報，2008，21(12):2092-2096.)中提取邊緣圖像中一些圖像基元并施加結(jié)構(gòu)約束，實現(xiàn)障礙物(防震錘)識別。在機器學習方面，文獻“基于類haar特征與級聯(lián)adaboost算法的防震錘識別”(金立軍，閆書佳，劉源.系統(tǒng)仿真學報，2012，24(9):60-63.)中提出將類haar特征與級聯(lián)adaboost算法相結(jié)合，檢測識別圖像中的防震錘。

然而，上述各方法應用于圖像的防震錘檢測識別中均存在一定缺陷，傳統(tǒng)的模板匹配、邊緣檢測等算法魯棒性較差，識別精度低，adaboost等傳統(tǒng)機器學習算法對采集的樣本要求較高，特征提取單一，不能學習防震錘多方面的特征，以至于不能有效提取復雜背景下的防震錘。電力系統(tǒng)中防震錘圖像采集多由人工或航拍來完成，以需求的特定角度及焦距在特定的光照環(huán)境下進行拍攝，圖像背景變化大，防震錘在圖像中大小各異、形狀各異。以上方法不具有普遍性和精確性，不能很好運用到實際系統(tǒng)中。同時，這些方法未能對防震錘的缺陷檢測作出研究。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題是：提供一種防震錘缺陷檢測的視覺檢測方法，能夠識別在不同拍攝角度、復雜背景下，精確的識別出防震錘并且提取出有缺陷的防震錘，以解決現(xiàn)有技術中存在的問題。

本發(fā)明采取的技術方案為：一種防震錘缺陷檢測的視覺檢測方法，該方法包括以下步驟：

步驟1，對無人機采集的輸電線路圖像進行預處理，檢測拍攝圖像是否存在質(zhì)量問題，并且對數(shù)據(jù)進行去噪防抖操作；

步驟2，數(shù)據(jù)擴充，在樣本采集之前，首先對步驟1中預處理的數(shù)據(jù)進行數(shù)據(jù)擴充生成相似的圖像；

步驟3，采集樣本：采用采集防震錘單邊的方法對步驟2中擴充的圖像樣本進行樣本采集，在樣本采集的過程中，保證不同的防震錘類型以及防震錘錘體各500個以上，樣本總數(shù)量不低于4000個；

步驟4，確定待訓練的區(qū)域選擇，采用引入圖像分割的信息，預測檢索的位置，通過對潛在的目標區(qū)域進行提取，實現(xiàn)多層次、多尺度的分割，最終得到目標物的候選框；

步驟5，區(qū)域特征學習，并且確定模型參數(shù)，根據(jù)步驟4所得到的物體預測的位置，將這些預測的區(qū)域進行特征學習，得到相應的特征圖，所采用的特征學習方法為卷積神經(jīng)網(wǎng)絡；

步驟6，防震錘的錘子檢測識別，通過步驟5的樣本區(qū)域?qū)W習，得到訓練后的神經(jīng)網(wǎng)絡的模型參數(shù)，根據(jù)訓練出來的模型對待檢測圖像的防震錘進行識別定位；

步驟7，缺陷判別，提取出的防震錘錘子識別結(jié)果利用線特征提取算法和形態(tài)學處理方法，在幾何位置約束下判斷防震錘是否存在缺陷。

優(yōu)選的，上述步驟2中預處理的數(shù)據(jù)的擴充方法包括對圖像進行旋轉(zhuǎn)、反射變換、翻轉(zhuǎn)變換、平移變換、改變圖像的對比度以及噪聲擾動。

優(yōu)選的，上述步驟4中假設檢測目標一定存在于某一個分割區(qū)域中，基于這種假設，首先使用基于圖論分割的方法對原始圖像進行分割，得到很多小的分割區(qū)域，作為初始的底層候選區(qū)域r＝{r1,r2,…rn}，并且初始化相似度集合s為空。在這個基礎上，按照區(qū)域合并算法以及多樣化方法對區(qū)域進行合并，區(qū)域合并算法中計算相鄰區(qū)域之間的相似度，并且將其添加到相似集合s中；然后，在相似集合中找到相似度最大的兩個部分區(qū)域ri,rj，對其進行合并得到新的區(qū)域rk并且將其加入到集合r中；重新計算新的合并區(qū)域與其他區(qū)域相似度，并獲取了每個候選區(qū)域的位置。

優(yōu)選的，上述多樣化方法采用顏色空間多樣化以及相似多樣化兩種方法，首先，顏色空間多樣化采用8種不同的顏色空間分別為：(1)rgb空間；(2)歸一化rgb空間；(3)灰度空間l；(4)歸一化的rg通道和灰度通道l；(5)lab空間；(6)hsv空間；(7)，hsv空間中的h通道；(8)his顏色空間，在計算兩個區(qū)域相似度時，采用多種相似度計算方法，相似度計算方法包括顏色相似度、紋理相似度、大小相似度、吻合相似度。

a.顏色相似度

對圖像進行歸一化得到圖像每個顏色通道的25組的直方圖，因此圖像三個通道一共得到一個75維的向量ci＝{ci¹,ci²,….ciⁿ}，區(qū)域之間的顏色相似度通過公式(1)計算：

b.紋理相似度

對每個顏色通道的8個不同方向計算高斯微分，每個方向每個通道獲取10個組的直方圖，因此一共可以得到一個240維的向量bi＝{bi¹,bi²,….bⁿ}，區(qū)域之間的相似度計算方法如公式(2)所示：

c.大小相似度

該相似度方法主要計算區(qū)域中包含的像素點的數(shù)量，達到小區(qū)域先完成合并的目的：

d.吻合相似度

衡量兩個目標區(qū)域是否吻合，其判斷方法是合并后的區(qū)域的外包絡矩形boundingbox大小，如公式(4)所示：

以上公式(1)～(4)中ri，rj代表兩個候選區(qū)域，s(ri，rj)表示這兩個區(qū)域之間的相似度，size(im)表示整個圖像的大小。一旦完成了區(qū)域合并，就可以得到了一系列相關物體的預測位置，將這些預測位置進行下一步的卷積神經(jīng)網(wǎng)絡特征學習。

優(yōu)選的，上述步驟5中通過根據(jù)區(qū)域合并的結(jié)果，確定2000～3000個待訓練的區(qū)域，并且對這些區(qū)域圖像進行圖像歸一化，統(tǒng)一圖像大小，作為模型訓練的輸入。

優(yōu)選的，上述步驟5中卷積網(wǎng)絡模型的訓練方法：輸入層接收原始圖像，通過卷積核映射到隱層，隱層包括卷積層和降采樣層，卷積層和降采樣層交替重復進行，使網(wǎng)絡結(jié)構(gòu)對輸入樣本具有畸變?nèi)萑棠芰?，其中，卷積層由多個特征矩陣組成，每個特征矩陣都為一個二維平面，同一個平面對應同一個卷積核，隱層中的下采樣層是對上一層的特征矩陣進行縮放映射以達到減少數(shù)據(jù)維度的效果，通過隱層的卷積和降采樣層的下采樣特征的不斷學習，調(diào)整與確定輸入與輸出之間的映射關系，用已知的模式對卷積網(wǎng)絡加以訓練學習，調(diào)整網(wǎng)絡的參數(shù)，網(wǎng)絡就能得到輸入輸出對之間的映射能力；卷積網(wǎng)絡的樣本集是輸入向量，理想輸出向量的向量對構(gòu)成的，通過對采集到的防震錘樣本的學習，不斷的調(diào)整卷積神經(jīng)網(wǎng)絡中權(quán)重參數(shù)，得到防震錘檢測模型。

優(yōu)選的，上述卷積網(wǎng)絡模型的訓練包括前向傳播計算和反向調(diào)整參數(shù)兩個階段，前向傳播：樣本集中取一個樣本(xi，yi)，其中xi圖像矩陣，yi為該樣本標記好的屬于哪一個類別的多維向量。用m表示卷積神經(jīng)網(wǎng)絡的當前層，則m層輸入特征為x^m-1，輸出特征為x^m，該層濾波器的權(quán)重和偏置分別為w^m、b^m。因此前向傳播中，輸入樣本在卷積神經(jīng)網(wǎng)絡的每一層的輸入特征如公式(5)～(8)所示：

x^m＝f(u^m)(5)

u^m＝x^m-1w^m+b^m(全連接層)(6)

公式(5)中的f函數(shù)代表sigmoid函數(shù)，公式(7)中的i表示可供第m層選擇的前一層(m-1層)的特征圖，公式(8)中down()表示下采樣函數(shù)。

將xi輸入網(wǎng)絡，信息通過以上幾個公式逐級的變換，傳送到輸出層，計算出相應實際輸出oi；反向傳播參數(shù)調(diào)整采用批量梯度下降，計算單一樣本的代價誤差：

n個樣本的訓練樣本集，卷積神經(jīng)網(wǎng)絡模型的整體代價函數(shù)如公式(10)所示：

公式(10)中λ為權(quán)重衰減參數(shù)，nm為網(wǎng)絡層數(shù)，sm為網(wǎng)絡模型第m層的節(jié)點數(shù)。在反向傳播的過程中，通過更新每一層的權(quán)重和偏置參數(shù)來獲得更優(yōu)的模型參數(shù)。具體方法如公式(11)～(12)所示：

其中α為學習速率，因此就需要求出每個樣本對于權(quán)重參數(shù)以及偏置參數(shù)的偏導數(shù)帶入到公式中。使用上述訓練過程調(diào)整參數(shù)，逐步使得整體代價函數(shù)j(x,y)減小。在反向傳播的過程中，為了減小整體代價函數(shù)，得到最優(yōu)的權(quán)重和偏置參數(shù)，采用多次迭代更新。每一次迭代的過程中，首先根據(jù)公式(5)～(8)計算樣本經(jīng)過卷積神經(jīng)網(wǎng)絡后的輸出結(jié)果，接著通過公式(9)～(10)計算誤差代價函數(shù)，最后通過公式(11)～(12)分別更新每一層神經(jīng)網(wǎng)絡的權(quán)重和偏置參數(shù)。本專利中，學習率設置為0.1，迭代次數(shù)為20000次。

優(yōu)選的，上述步驟7中根據(jù)之前檢測出的防震錘單邊錘子的所在位置，首先，通過gabor算子提取出防震錘所在導線位置并且記錄導線的方向值θ，其次，沿著提取出導線方向θ，尋找是否存在相鄰的檢測出的防震錘錘子，若沒有找到，則判定防震錘損壞，其中一個錘子丟失，若相鄰的防震錘存在，則判斷防震錘是否存在變形情況。

優(yōu)選的，上述判斷防震錘是否存在變形的方法：采用gabor算子分別提取兩邊的錘子，并且計算兩個錘子各自的角度β、γ，根據(jù)已經(jīng)提取出防震錘依附的導線，分別計算兩個錘子與導線之間的角度差，公式如下：

δa＝|α-β|(13)

δb＝|α-γ|(14)

若δa、δb都小于閾值t，則判定防震錘無變形存在，反之，防震錘存在變形缺陷，參數(shù)t在本專利中設置為15°。

優(yōu)選的，上述步驟1中預處理包括圖像復原、光學校正、幾何校正。

本發(fā)明的有益效果：與現(xiàn)有技術相比，本發(fā)明的效果如下：

(1)通過本發(fā)明的視覺檢測方法能夠?qū)崿F(xiàn)能夠識別在不同拍攝角度，復雜背景下，精確的識別出防震錘并且提取出有缺陷的防震錘；

(2)本發(fā)明采用圖像復原、光學校正、幾何校正的方法對圖像進行去噪防抖的預處理，改善圖像的質(zhì)量，抑制使圖像退化的各種干擾信號，增強圖像中有用信號；

(3)本發(fā)明在樣本采集的過程中，保證不同的防震錘類型以及防震錘錘體各500個以上，樣本總數(shù)量不低于4000個，規(guī)避過擬合情況的發(fā)生，從而保證訓練的模型在新的數(shù)據(jù)上檢測效果更好；

(4)本發(fā)明采用圖像進行旋轉(zhuǎn)、反射變換、翻轉(zhuǎn)變換、平移變換、改變圖像的對比度以及噪聲擾動的方法對預處理過的無人機圖像進行擴充處理，產(chǎn)生一系列相似的圖像，提高識別的正確率，減少過擬合情況的發(fā)生；

(5)本發(fā)明的目標檢測通過對原始圖像進行分割，得到很多小的區(qū)域，作為初始的底層候選區(qū)域，在這個基礎上，按照區(qū)域合并算法以及多樣化策略對區(qū)域進行合并，區(qū)域合并算法中計算相鄰區(qū)域之間的相似度，并且將其添加到相似集合中，然后，在相似集合中找到相似度最大的兩個部分區(qū)域，對其進行合并。重新計算新的合并區(qū)域與其他區(qū)域相似度，并獲取了每個候選區(qū)域的位置，該目標檢測方法像素遍歷減少，重復程度少，無需遍歷圖像中的每個像素以及以該像素為起始點的不同大小的矩形窗口，遍歷空間小，實際中耗費的時間大大縮短，計算效率大大提高；

(6)本發(fā)明采用采用顏色空間多樣化以及相似多樣化兩種得到了更好的區(qū)域合并結(jié)果；

(7)本發(fā)明采用交替重復進行卷積層和降采樣層構(gòu)成的卷積網(wǎng)絡具有旋轉(zhuǎn)、位移不變、權(quán)值共享三大特點，很大程度的減少了參數(shù)的數(shù)目，不同特征平面對應不同的卷積核，多卷積核保證了特征的多樣性，特征提取更加完整；

(8)本發(fā)明gabor算子判別防震錘缺陷，判別精確，參數(shù)可靠。

附圖說明

圖1是本發(fā)明的流程示意圖；

圖2是本發(fā)明的樣本采集示意圖；

圖3是本發(fā)明的訓練候選區(qū)域；

圖4是本發(fā)明的識別效缺檢測效果圖。

圖中，1-輸電線，2-防震錘，3-候選框，fz-相似度大小。

具體實施方式

下面結(jié)合附圖及具體的實施例對本發(fā)明進行進一步介紹。

實施例：如圖1-4所示，一種防震錘缺陷檢測的視覺檢測方法，該方法包括以下步驟：

步驟1，對無人機采集的輸電線路圖像進行預處理，檢測拍攝圖像是否存在質(zhì)量問題，并且對數(shù)據(jù)進行去噪防抖操作；

步驟2，數(shù)據(jù)擴充，在樣本采集之前，首先對步驟1中預處理的數(shù)據(jù)進行數(shù)據(jù)擴充生成相似的圖像；

步驟3，采集樣本：采用采集防震錘單邊的方法對步驟2中擴充的圖像樣本進行樣本采集，在樣本采集的過程中，保證不同的防震錘類型以及防震錘錘體各500個以上，樣本總數(shù)量不低于4000個；

步驟4，確定待訓練的區(qū)域選擇，采用引入圖像分割的信息，預測檢索的位置，通過對潛在的目標區(qū)域進行提取，實現(xiàn)多層次、多尺度的分割，最終得到目標物的候選框；

步驟5，區(qū)域特征學習，并且確定模型參數(shù)，根據(jù)步驟4所得到的物體預測的位置，將這些預測的區(qū)域進行特征學習，得到相應的特征圖，所采用的特征學習方法為卷積神經(jīng)網(wǎng)絡；

步驟6，防震錘的錘子檢測識別，通過步驟5的樣本區(qū)域?qū)W習，得到訓練后的神經(jīng)網(wǎng)絡的模型參數(shù)，根據(jù)訓練出來的模型對待檢測圖像的防震錘進行識別定位；

步驟7，缺陷判別，提取出的防震錘錘子識別結(jié)果利用線特征提取算法和形態(tài)學處理方法，在幾何位置約束下判斷防震錘是否存在缺陷。

優(yōu)選的，上述步驟2中預處理的數(shù)據(jù)的擴充方法包括對圖像進行旋轉(zhuǎn)、反射變換、翻轉(zhuǎn)變換、平移變換、改變圖像的對比度以及噪聲擾動。

優(yōu)選的，上述步驟4中假設檢測目標一定存在于某一個分割區(qū)域中，基于這種假設，首先使用基于圖論分割的方法對原始圖像進行分割，得到很多小的分割區(qū)域，作為初始的底層候選區(qū)域r＝{r1,r2,…rn}，并且初始化相似度集合s為空。在這個基礎上，按照區(qū)域合并算法以及多樣化方法對區(qū)域進行合并，區(qū)域合并算法中計算相鄰區(qū)域之間的相似度，并且將其添加到相似集合s中；然后，在相似集合中找到相似度最大的兩個部分區(qū)域ri,rj，對其進行合并得到新的區(qū)域rk并且將其加入到集合r中；重新計算新的合并區(qū)域與其他區(qū)域相似度，并獲取了每個候選區(qū)域的位置。

優(yōu)選的，上述多樣化方法采用顏色空間多樣化以及相似多樣化兩種方法，首先，顏色空間多樣化采用8種不同的顏色空間分別為：(1)rgb空間；(2)歸一化rgb空間；(3)灰度空間l；(4)歸一化的rg通道和灰度通道l；(5)lab空間；(6)hsv空間；(7)hsv空間中的h通道；(8)his顏色空間，在計算兩個區(qū)域相似度時，采用多種相似度計算方法，相似度計算方法包括顏色相似度、紋理相似度、大小相似度、吻合相似度。

a.顏色相似度

對圖像進行歸一化得到圖像每個顏色通道的25組的直方圖，因此圖像三個通道一共得到一個75維的向量ci＝{ci¹,ci²,….ciⁿ}，區(qū)域之間的顏色相似度通過公式(1)計算：

b.紋理相似度

對每個顏色通道的8個不同方向計算高斯微分，每個方向每個通道獲取10個組的直方圖，因此一共可以得到一個240維的向量bi＝{bi¹,bi²,….bⁿ}，區(qū)域之間的相似度計算方法如公式(2)所示：

c.大小相似度

該相似度方法主要計算區(qū)域中包含的像素點的數(shù)量，達到小區(qū)域先完成合并的目的：

d.吻合相似度

衡量兩個目標區(qū)域是否吻合，其判斷方法是合并后的區(qū)域的外包絡矩形boundingbox大小，如公式(4)所示：

公式(1)～(4)中ri，rj代表兩個候選區(qū)域，s(ri，rj)表示這兩個區(qū)域之間的相似度，size(im)表示整個圖像的大小。一旦完成了區(qū)域合并，就可以得到了一系列相關物體的預測位置，將這些預測位置進行下一步的卷積神經(jīng)網(wǎng)絡特征學習。

優(yōu)選的，上述步驟5中通過根據(jù)區(qū)域合并的結(jié)果，確定2000～3000個待訓練的區(qū)域，并且對這些區(qū)域圖像進行圖像歸一化，統(tǒng)一圖像大小為227*227，作為模型訓練的輸入。

優(yōu)選的，上述步驟5中卷積網(wǎng)絡模型的訓練方法：輸入層接收原始圖像，通過卷積核映射到隱層，隱層包括卷積層和降采樣層，卷積層和降采樣層交替重復進行，使網(wǎng)絡結(jié)構(gòu)對輸入樣本具有畸變?nèi)萑棠芰?，其中，卷積層由多個特征矩陣組成，每個特征矩陣都為一個二維平面，同一個平面對應同一個卷積核，隱層中的下采樣層是對上一層的特征矩陣進行縮放映射以達到減少數(shù)據(jù)維度的效果，通過隱層的卷積和降采樣層的下采樣特征的不斷學習，調(diào)整與確定輸入與輸出之間的映射關系，用已知的模式對卷積網(wǎng)絡加以訓練學習，調(diào)整網(wǎng)絡的參數(shù)，網(wǎng)絡就能得到輸入輸出對之間的映射能力；卷積網(wǎng)絡的樣本集是輸入向量，理想輸出向量的向量對構(gòu)成的，通過對采集到的防震錘樣本的學習，不斷的調(diào)整卷積神經(jīng)網(wǎng)絡中權(quán)重參數(shù)，得到防震錘檢測模型。

優(yōu)選的，上述卷積網(wǎng)絡模型的訓練包括前向傳播計算和反向調(diào)整參數(shù)兩個階段，前向傳播：樣本集中取一個樣本(xi，yi)，其中xi圖像矩陣，yi為該樣本標記好的屬于哪一個類別的多維向量。用m表示卷積神經(jīng)網(wǎng)絡的當前層，則m層輸入特征為x^m-1，輸出特征為x^m，該層濾波器的權(quán)重和偏置分別為w^m、b^m。因此前向傳播中，輸入樣本在卷積神經(jīng)網(wǎng)絡的每一層的輸入特征如公式(5)～(8)所示：

x^m＝f(u^m)(5)

u^m＝x^m-1w^m+b^m(全連接層)(6)

公式(5)中的f函數(shù)代表sigmoid函數(shù)，公式(7)中的i表示可供第m層選擇的前一層(m-1層)的特征圖，公式(8)中down()表示下采樣函數(shù)。

將xi輸入網(wǎng)絡，信息通過以上幾個公式逐級的變換，傳送到輸出層，計算出相應實際輸出oi；反向傳播參數(shù)調(diào)整采用批量梯度下降，計算單一樣本的代價誤差：

n個樣本的訓練樣本集，卷積神經(jīng)網(wǎng)絡模型的整體代價函數(shù)如公式(10)所示：

公式(10)中λ為權(quán)重衰減參數(shù)，nm為網(wǎng)絡層數(shù)，sm為網(wǎng)絡模型第m層的節(jié)點數(shù)。在反向傳播的過程中，通過更新每一層的權(quán)重和偏置參數(shù)來獲得更優(yōu)的模型參數(shù)。具體方法如公式(11)～(12)所示：

其中α為學習速率，因此就需要求出每個樣本對于權(quán)重參數(shù)以及偏置參數(shù)的偏導數(shù)帶入到公式中。使用上述訓練過程調(diào)整參數(shù)，逐步使得整體代價函數(shù)j(x,y)減小。在反向傳播的過程中，為了減小整體代價函數(shù)，得到最優(yōu)的權(quán)重和偏置參數(shù)，采用多次迭代更新。每一次迭代的過程中，首先根據(jù)公式(5)～(8)計算樣本經(jīng)過卷積神經(jīng)網(wǎng)絡后的輸出結(jié)果，接著通過公式(9)～(10)計算誤差代價函數(shù)，最后通過公式(11)～(12)分別更新每一層神經(jīng)網(wǎng)絡的權(quán)重和偏置參數(shù)。本專利中，學習率設置為0.1，迭代次數(shù)為20000次。

優(yōu)選的，上述步驟7中根據(jù)之前檢測出的防震錘單邊錘子的所在位置，首先，通過gabor算子提取出防震錘所在導線位置并且記錄導線的方向值θ，其次，沿著提取出導線方向θ，尋找是否存在相鄰的檢測出的防震錘錘子，若沒有找到，則判定防震錘損壞，其中一個錘子丟失，若相鄰的防震錘存在，則判斷防震錘是否存在變形情況。

優(yōu)選的，上述判斷防震錘是否存在變形的方法：采用gabor算子分別提取兩邊的錘子，并且計算兩個錘子各自的角度β、γ，根據(jù)已經(jīng)提取出防震錘依附的導線，分別計算兩個錘子與導線之間的角度差，公式如下：

δa＝|α-β|(13)

δb＝|α-γ|(14)

若δa、δb都小于閾值t，則判定防震錘無變形存在，反之，防震錘存在變形缺陷，參數(shù)t在本專利中設置為15°。

實施例2：一種防震錘缺陷檢測的視覺檢測方法，該方法包括以下步驟：

步驟一：首先對無人機航拍圖像進行預處理。由于飛機巡檢采集航拍圖像是在野外自然環(huán)境下進行，圖像在采集過程受到的噪聲和運動模糊的影響非常嚴重，從而造成圖像的嚴重退化，即在成像過程中出現(xiàn)的畸變、模糊、失真或混入噪聲，造成的圖像質(zhì)量下降，同時，由于光照條件的限制，造成攝影時曝光不良(不足或過度)以及圖像畫面明暗不均，所以，在對采集到的航拍圖像進行分析和檢測之前一個重要的環(huán)節(jié)，就是航拍圖像的預處理。航拍圖像預處理的目的是采用一系列的技術手段以改善圖像的質(zhì)量，抑制使圖像退化的各種干擾信號，增強圖像中有用信號等。只有經(jīng)過預處理后的圖像才能進入下一步的分析處理。本申請中采用的圖像預處理方法包括圖像復原、光學校正、幾何校正等，圖像復原的目的是去除圖像中的噪聲和運動模糊，突出圖像中的有用信息；光學校正的目的是解決圖像采集時的曝光、聚焦問題，改善圖像對比度；幾何校正(扭曲復原)是校正圖像的幾何變形，對圖像進行幾何變換的過程；

步驟二：數(shù)據(jù)擴充

在深度學習中，卷積神經(jīng)網(wǎng)絡模型越復雜，越具有強表達能力，這會導致訓練數(shù)據(jù)效果很好，而不能很好的應用于測試數(shù)據(jù)。因此，需要更多、更豐富的數(shù)據(jù)來規(guī)避過擬合情況的發(fā)生，從而保證訓練的模型在新的數(shù)據(jù)上也有不錯的檢測效果。為了避免出現(xiàn)過擬合(overfitting)，需要輸入充足的樣本數(shù)據(jù)量。擴充數(shù)據(jù)的方法有：旋轉(zhuǎn)、反射變換:隨機旋轉(zhuǎn)圖像一定角度，改變圖像內(nèi)容的朝向；翻轉(zhuǎn)變換：沿著水平或者垂直方向翻轉(zhuǎn)圖像；平移變換：在圖像平面上對圖像以一定方式進行平移；縮放變換：按照一定的比例放大或者縮小圖像；尺度變換：對圖像按照指定的尺度因子，進行放大或縮小，利用指定的尺度因子對圖像濾波構(gòu)造尺度空間；對比度變換：在圖像的hsv顏色空間，改變飽和度s和v亮度分量，保持色調(diào)h不變.對每個像素的s和v分量進行指數(shù)運算(指數(shù)因子在0.25～4之間)，增加光照變化；噪聲擾動：對圖像的每個像素rgb進行隨機擾動，常用的噪聲模式是椒鹽噪聲和高斯噪聲，利用如上這些方法對預處理過的無人機圖像進行擴充處理，產(chǎn)生一系列相似的圖像，提高識別的正確率，減少過擬合情況的發(fā)生；

步驟三：采集樣本

通過分別檢測防震錘的左右兩個錘子實現(xiàn)防震錘的識別定位，以及缺陷判別，因此，在樣本采集的過程中，盡量保證采集的樣本包含了防震錘錘子的完整性，考慮到防震錘種類的多樣性，針對每一種類別，盡可能保證樣本數(shù)量足夠多，場景足夠豐富，樣本越豐富，絕緣子檢測識別的效果越好。采集結(jié)果如圖2。

步驟四：確定待訓練的區(qū)域選擇。常見的目標檢測方法都是通過滑動窗口進行實現(xiàn)的，像素遍歷多，重復程度高，需要遍歷圖像中的每個像素以及以該像素為起始點的不同大小的矩形窗口，接著依靠評分的機制對檢索窗口進行初步猜測，從而判斷當前檢測位置是否是目標。因此，在這樣的一個滑動窗口的過程中，遍歷空間是巨大的，實際中耗費的時間特別長，計算效率低。因而需要采用一定的簡化策略。通常假設檢測目標一定存在于某一個分割區(qū)域中，基于這種假設，首先使用基于圖論分割的方法對原始圖像進行分割，得到很多小的分割區(qū)域，作為初始的底層候選區(qū)域r＝{r1,r2,…rn}，并且初始化相似度集合s為空。在這個基礎上，按照區(qū)域合并算法以及多樣化方法對區(qū)域進行合并，區(qū)域合并算法中計算相鄰區(qū)域之間的相似度，并且將其添加到相似集合s中；然后，在相似集合中找到相似度最大的兩個部分區(qū)域ri,rj，對其進行合并得到新的區(qū)域rk并且將其加入到集合r中；重新計算新的合并區(qū)域與其他區(qū)域相似度，并獲取了每個候選區(qū)域的位置。為了得到好的區(qū)域合并結(jié)果，采用顏色空間多樣化以及相似多樣化兩種策略。顏色空間多樣化采用8種不同的顏色空間分別為：(1)rgb空間；(2)歸一化rgb空間；(3)灰度空間l；(4)歸一化的rg通道和灰度通道l；(5)lab空間；(6)hsv空間；(7)，hsv空間中的h通道；(8)his顏色空間，在計算兩個區(qū)域相似度時，采用多種相似度計算方法，相似度計算方法包括顏色相似度、紋理相似度、大小相似度、吻合相似度：

a.顏色相似度

對圖像進行歸一化得到圖像每個顏色通道的25組的直方圖，因此圖像三個通道一共得到一個75維的向量ci＝{ci¹,ci²,….ciⁿ}，區(qū)域之間的顏色相似度通過公式(1)計算：

b.紋理相似度

對每個顏色通道的8個不同方向計算高斯微分，每個方向每個通道獲取10個組的直方圖，因此一共可以得到一個240維的向量bi＝{bi¹,bi²,….bⁿ}，區(qū)域之間的相似度計算方法如公式(2)所示：

c.大小相似度

該相似度方法主要計算區(qū)域中包含的像素點的數(shù)量，達到小區(qū)域先完成合并的目的：

d.吻合相似度

衡量兩個目標區(qū)域是否吻合，其判斷方法是合并后的區(qū)域的外包絡矩形boundingbox大小，如公式(4)所示：

公式(1)～(4)中ri，rj代表兩個候選區(qū)域，s(ri，rj)表示這兩個區(qū)域之間的相似度，size(im)表示整個圖像的大小。一旦完成了區(qū)域合并，就可以得到了一系列相關物體的預測位置，將這些預測位置進行下一步的卷積神經(jīng)網(wǎng)絡特征學習。

整個過程如圖3，首先選擇候選區(qū)域，然后將所有候選區(qū)域進行卷積神經(jīng)網(wǎng)絡模型訓練；

步驟五：區(qū)域特征學習，并且確定模型參數(shù)

通過根據(jù)區(qū)域合并的結(jié)果，確定2000～3000個待訓練的區(qū)域，并且對這些區(qū)域圖像進行圖像歸一化，統(tǒng)一圖像大小，作為模型訓練的輸入。卷積神經(jīng)網(wǎng)絡卷積網(wǎng)絡是為識別二維形狀而特殊設計的一個多層感知器，卷積神經(jīng)網(wǎng)絡是一個多層的神經(jīng)網(wǎng)絡，每層由多個二維平面組成(featuremap)，每個featuremap是由多個獨立神經(jīng)元組成。卷積網(wǎng)絡工作流程如下，輸入層接收原始圖像。通過卷積核(神經(jīng)元的權(quán)值矩陣)，映射到隱層，隱層主要由卷積層和降采樣層組成。卷積層和降采樣層交替重復進行，使網(wǎng)絡結(jié)構(gòu)對輸入樣本具有較高的畸變?nèi)萑棠芰ΑＦ渲?，卷積層由多個特征矩陣組成，每個特征矩陣都為一個二維平面。同一個平面對應同一個卷積核，因此，網(wǎng)絡具有旋轉(zhuǎn)、位移不變、權(quán)值共享三大特點，很大程度的減少了參數(shù)的數(shù)目。不同特征平面對應不同的卷積核，多卷積核保證了特征的多樣性，特征提取更加完整。隱層中的下采樣層是對上一層的特征矩陣進行縮放映射以達到減少數(shù)據(jù)維度的效果。卷積神經(jīng)網(wǎng)絡在本質(zhì)上是一種輸入到輸出的映射，通過隱層的卷積和下采樣特征的不斷學習，調(diào)整與確定輸入與輸出之間的映射關系，不需要精確的數(shù)學表達方式。它只要用已知的模式對卷積網(wǎng)絡加以訓練學習，調(diào)整網(wǎng)絡的參數(shù)，網(wǎng)絡就能得到輸入輸出對之間的映射能力。卷積網(wǎng)絡的樣本集是輸入向量，理想輸出向量的向量對構(gòu)成的。卷積網(wǎng)絡模型的訓練包括前向傳播計算和反向調(diào)整參數(shù)兩個階段，前向傳播：樣本集中取一個樣本(xi，yi)，其中xi圖像矩陣，yi為該樣本標記好的屬于哪一個類別的多維向量。用m表示卷積神經(jīng)網(wǎng)絡的當前層，則m層輸入特征為x^m-1，輸出特征為x^m，該層濾波器的權(quán)重和偏置分別為w^m、b^m。因此前向傳播中，輸入樣本在卷積神經(jīng)網(wǎng)絡的每一層的輸入特征如公式(5)～(8)所示：

x^m＝f(u^m)(5)

u^m＝x^m-1w^m+b^m(全連接層)(6)

公式(5)中的f函數(shù)代表sigmoid函數(shù)，公式(7)中的i表示可供第m層選擇的前一層(m-1層)的特征圖，公式(8)中down表示下采樣函數(shù)。

將xi輸入網(wǎng)絡，信息通過以上幾個公式逐級的變換，傳送到輸出層，計算出相應實際輸出oi；反向傳播參數(shù)調(diào)整采用批量梯度下降，計算單一樣本的代價誤差：

n個樣本的訓練樣本集，卷積神經(jīng)網(wǎng)絡模型的整體代價函數(shù)如公式(10)所示：

公式(10)中λ為權(quán)重衰減參數(shù)，nm為網(wǎng)絡層數(shù)，sm為網(wǎng)絡模型第m層的節(jié)點數(shù)。在反向傳播的過程中，通過更新每一層的權(quán)重和偏置參數(shù)來獲得更優(yōu)的模型參數(shù)。具體方法如公式(11)～(12)所示：

其中α為學習速率，因此就需要求出每個樣本對于權(quán)重參數(shù)以及偏置參數(shù)的偏導數(shù)帶入到公式中。使用上述訓練過程調(diào)整參數(shù)，逐步使得整體代價函數(shù)j(x,y)減小。在反向傳播的過程中，為了減小整體代價函數(shù)，得到最優(yōu)的權(quán)重和偏置參數(shù)，采用多次迭代更新。每一次迭代的過程中，首先根據(jù)公式(5)～(8)計算樣本經(jīng)過卷積神經(jīng)網(wǎng)絡后的輸出結(jié)果，接著通過公式(9)～(10)計算誤差代價函數(shù)，最后通過公式(11)～(12)分別更新每一層神經(jīng)網(wǎng)絡的權(quán)重和偏置參數(shù)。本專利中，學習率設置為0.1，迭代次數(shù)為20000次。通過對采集到的防震錘樣本的學習，不斷的調(diào)整卷積神經(jīng)網(wǎng)絡中權(quán)重參數(shù)，得到防震錘檢測模型；

步驟六：防震錘的錘子識別檢測，通過已經(jīng)確定好了的神經(jīng)網(wǎng)絡模型，將輸電線的航拍圖像作為輸入，經(jīng)過神經(jīng)網(wǎng)絡模型的不斷映射，最后確定出防震錘的錘子所在圖像中的位置；

步驟七，缺陷判別，防震錘的缺陷檢測主要集中在防震錘變形以及防震錘損壞的缺陷的識別。判別方法主要是幾何位置約束下、基于規(guī)則的識別檢測。根據(jù)之前檢測出的防震錘一邊錘子的所在位置，通過gabor算子提取出防震錘所在導線位置并且記錄導線的方向值θ，gabor算子是一種能夠檢測多尺度、多方向的線提取方法，具有很好的魯棒性。接著，沿著提取出導線方向θ，尋找是否存在相鄰的檢測出的防震錘錘子，如果沒有找到，就可以判定防震錘損壞，其中一個錘子丟失。如果相鄰的防震錘存在，在這種情況下，需要判斷防震錘是否存在變形情況。因為防震錘的兩個錘子也是線性的特征，所以繼續(xù)采用gabor算子分別提取兩邊的錘子，并且計算兩個錘子各自的角度β、γ，根據(jù)已經(jīng)提取出防震錘依附的導線，分別計算兩個錘子與導線之間的角度差，公式如下：

δa＝|α-β|(13)

δb＝|α-γ|(14)

若δa、δb都小于閾值t，則判定防震錘無變形存在，反之，防震錘存在變形缺陷，參數(shù)t在本專利中設置為15°，結(jié)果如圖4。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內(nèi)，可輕易想到變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)，因此，本發(fā)明的保護范圍應以所述權(quán)利要求的保護范圍為準。