本發(fā)明涉及深度學(xué)習(xí)及電氣化鐵路自動(dòng)檢測(cè)技術(shù)領(lǐng)域，具體為一種高鐵接觸網(wǎng)支撐裝置零部件識(shí)別檢測(cè)方法。

背景技術(shù)：

弓網(wǎng)系統(tǒng)是電氣化鐵路系統(tǒng)中關(guān)鍵的組成部分，承擔(dān)將牽引網(wǎng)中的電能輸送給電力機(jī)車的重要工作。由于受電弓與接觸網(wǎng)裝置之間存在復(fù)雜的力學(xué)、電氣交互影響，在電氣化鐵道的各種設(shè)備故障中，接觸網(wǎng)故障所占比例大，嚴(yán)重影響電氣化鐵路的安全工作。同時(shí)接觸網(wǎng)故障分布范圍廣，檢測(cè)難度大。傳統(tǒng)的接觸網(wǎng)支撐懸掛裝置檢測(cè)依靠人工檢測(cè)，這些方式雖然能保證一定準(zhǔn)確性，但效率低、工作量大且易受檢修人員的主觀影響。隨著高速鐵路的快速發(fā)展和運(yùn)營(yíng)質(zhì)量的逐漸提升，接觸網(wǎng)系統(tǒng)必須滿足動(dòng)車組“高速度、高密度、高可靠性”的運(yùn)行要求。先進(jìn)的檢測(cè)技術(shù)能提高牽引供電系統(tǒng)維修質(zhì)量和效率，是實(shí)現(xiàn)電氣化鐵路狀態(tài)檢測(cè)和狀態(tài)維修的重要手段，因此有必要研究自動(dòng)檢測(cè)方法。為確保高速鐵路動(dòng)車組運(yùn)營(yíng)秩序，提高其供電安全性、可靠性，滿足高速鐵路快速發(fā)展和運(yùn)營(yíng)品質(zhì)的需求，原鐵道部發(fā)布了自2012年實(shí)施《高速鐵路供電安全檢測(cè)監(jiān)測(cè)系統(tǒng)(6c系統(tǒng))總體技術(shù)規(guī)范》的通知。根據(jù)該規(guī)范對(duì)接觸網(wǎng)懸掛狀態(tài)檢測(cè)(4c部分)的要求，接觸網(wǎng)檢測(cè)系統(tǒng)應(yīng)當(dāng)具有利用高速相機(jī)實(shí)現(xiàn)高速接觸網(wǎng)的腕臂結(jié)構(gòu)與零部件的定位檢測(cè)和接觸網(wǎng)的靜態(tài)幾何參數(shù)測(cè)量的等基本功能。

今年我國(guó)有19臺(tái)高鐵接觸網(wǎng)4c檢測(cè)車投入測(cè)試，這標(biāo)志著我國(guó)的4c成像技術(shù)已經(jīng)進(jìn)入了批量化生產(chǎn)。目前，4c裝置現(xiàn)狀是，對(duì)于4c裝置獲取的海量圖像，依賴人工判圖識(shí)別故障、缺陷與隱患。這種人工海量判圖識(shí)別的方式，不可避免會(huì)產(chǎn)生視覺疲勞，容易造成漏判。而且從采集獲得圖像到給出判圖識(shí)別結(jié)果的判識(shí)周期長(zhǎng)，影響故障的及時(shí)維修處理，在此過程中故障可能進(jìn)一步發(fā)展成事故，甚至帶來重大損失與不利影響。

高鐵接觸網(wǎng)支撐及懸掛結(jié)構(gòu)中涉及46種零部件的檢測(cè)，分為abc三類，其中a類故障最為嚴(yán)重。零部件在支撐與懸掛結(jié)構(gòu)中分布較為分散，零部件的大小和結(jié)構(gòu)多不相同。攝像機(jī)拍攝時(shí)，會(huì)有一定的光照和角度的影響。目前某些單一零部件的檢測(cè)已經(jīng)能夠?qū)崿F(xiàn)，但定位與檢測(cè)的效率與正確率仍有較大提升空間。針對(duì)多個(gè)零部件的同時(shí)定位與檢測(cè)則存在著一定的難度，尤其是對(duì)于緊固件連接件等小尺度零部件。深度學(xué)習(xí)方法應(yīng)用遍及人工智能各個(gè)領(lǐng)域，若能將深度神經(jīng)網(wǎng)絡(luò)的一些方法引入，應(yīng)用到接觸網(wǎng)零部件定位中，實(shí)現(xiàn)絕緣子、旋轉(zhuǎn)雙耳、定位器和斜撐套筒等關(guān)鍵零部件狀態(tài)的多目標(biāo)分類，這將接觸網(wǎng)支撐及懸掛結(jié)構(gòu)零部件檢測(cè)帶入到更前沿的領(lǐng)域，實(shí)現(xiàn)更有效和多樣化的檢測(cè)。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)上述問題，本發(fā)明的目的在于提供一種基于候選區(qū)域的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)待檢測(cè)目標(biāo)進(jìn)行特征學(xué)習(xí)和目標(biāo)分類的高鐵接觸網(wǎng)支撐裝置零部件識(shí)別檢測(cè)方法，可減少人工識(shí)別的巨大工作量，實(shí)現(xiàn)現(xiàn)場(chǎng)圖像的自動(dòng)分析。技術(shù)方案如下：

一種高鐵接觸網(wǎng)支撐裝置零部件識(shí)別檢測(cè)方法，包括以下步驟：

步驟a：建立高鐵接觸網(wǎng)支撐裝置圖像的訓(xùn)練樣本庫，所述訓(xùn)練樣本庫包括在圖像中標(biāo)記出的目標(biāo)原始包圍框中各零部件所在的坐標(biāo)信息，及其所屬類別；

步驟b：搭建基于faster-rcnn算法的深度卷積神經(jīng)網(wǎng)絡(luò)；

步驟c：將上述訓(xùn)練樣本庫中的訓(xùn)練樣本輸入搭建好的faster-rcnn網(wǎng)絡(luò)，采用多任務(wù)損失函數(shù)，通過計(jì)算目標(biāo)分類和目標(biāo)框的損失，完成模型的訓(xùn)練；

步驟d：將待檢測(cè)圖像輸入訓(xùn)練好的模型中，得到高鐵接觸網(wǎng)支撐裝置零部件的識(shí)別檢測(cè)結(jié)果。

進(jìn)一步的，所述步驟b中深度卷積神經(jīng)網(wǎng)絡(luò)采用zf模型，有m個(gè)可共享的卷積層，搭建的具體步驟包括：

b1：搭建候選區(qū)域網(wǎng)絡(luò)：在第m個(gè)卷積層進(jìn)行候選區(qū)域的提取，將第m個(gè)卷積層的特征圖作為候選區(qū)域網(wǎng)絡(luò)的輸入，在該卷積層的特征圖映射上滑動(dòng)小網(wǎng)絡(luò)，映射到低維向量上，每個(gè)滑動(dòng)窗口產(chǎn)生m個(gè)anchor，在卷積層特征圖中找到對(duì)應(yīng)的位置，作為候選區(qū)域網(wǎng)絡(luò)；

b2：提取roi區(qū)域：采用候選區(qū)域網(wǎng)絡(luò)的輸出層作為roi生成網(wǎng)絡(luò)的輸入，縮放輸入候選區(qū)域的尺度得到金字塔，對(duì)于每個(gè)尺度的每個(gè)roi求取映射關(guān)系，在第m個(gè)卷積層的特征圖中裁剪出對(duì)應(yīng)塊，再用單層的roi下采樣層，歸一化候選區(qū)域的大小并輸出；

b3：cnn分類識(shí)別：將得到的roi輸入cnn分類網(wǎng)絡(luò)，經(jīng)過兩個(gè)全連接層和矯正激活層，并通過丟棄部分網(wǎng)絡(luò)參數(shù)的方法消除過擬合，得到最終的候選區(qū)域的目標(biāo)分類結(jié)果。

更進(jìn)一步的，所述步驟c中的訓(xùn)練過程如下：

c1：根據(jù)訓(xùn)練樣本庫中的樣本信息給每一個(gè)anchor分配一個(gè)通過正負(fù)表示其與樣本庫中

所標(biāo)記的目標(biāo)原始包圍框重疊度的標(biāo)簽；

c2：根據(jù)下式計(jì)算多任務(wù)損失值：

其中，pi是第i個(gè)anchor為檢測(cè)目標(biāo)的預(yù)測(cè)概率，如果anchor為正，標(biāo)簽為1，反之，為0；ti是預(yù)測(cè)目標(biāo)所在位置的一個(gè)向量，該向量由四個(gè)參數(shù)坐標(biāo)(x,y,w,h)組成，表示預(yù)測(cè)目標(biāo)所在的包圍框，為正anchor對(duì)應(yīng)的訓(xùn)練樣本原始包圍框的坐標(biāo)向量；ncls表示一次訓(xùn)練中樣本的數(shù)量，nreg表示訓(xùn)練過程中產(chǎn)生的anchor位置的數(shù)量；lcls為分類損失，lreg為回歸損失，λ表示兩個(gè)損失函數(shù)之間的權(quán)值；

分類損失lcls是兩個(gè)類別：“目標(biāo)”或“非目標(biāo)”的對(duì)數(shù)損失，即：

回歸損失lreg為：

r為損失函數(shù)

c3：根據(jù)上述多任務(wù)損失值，采用反向傳播和隨機(jī)梯度下降的方法實(shí)現(xiàn)端對(duì)端輪流訓(xùn)練。

更進(jìn)一步的，所述端對(duì)端輪流訓(xùn)練的具體步驟如下：

c31：給每一個(gè)使用在imagenet上預(yù)訓(xùn)練的模型初始化候選區(qū)域網(wǎng)絡(luò)參數(shù)，微調(diào)候選區(qū)域網(wǎng)絡(luò)；

c32：通過候選區(qū)域網(wǎng)絡(luò)提取候選區(qū)域，訓(xùn)練roi生成和roi分類網(wǎng)絡(luò)，并用imagenet上預(yù)訓(xùn)練的模型初始化該網(wǎng)絡(luò)參數(shù)；

c33：使用c32得到的roi生成和roi分類網(wǎng)絡(luò)，重新初始化候選區(qū)域，固定卷積層進(jìn)行微調(diào)，微調(diào)候選區(qū)域網(wǎng)絡(luò)；

c34：固定c32中roi生成和roi分類網(wǎng)絡(luò)的卷積層，通過c33中產(chǎn)生的候選區(qū)域網(wǎng)絡(luò)提取的候選區(qū)域?qū)φ麄€(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。

本發(fā)明的效果是：本發(fā)明通過候選區(qū)域的深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)待檢測(cè)目標(biāo)進(jìn)行特征學(xué)習(xí)和目標(biāo)分類，大大減少人工識(shí)別高鐵接觸網(wǎng)支持裝置零部件故障的巨大工作量，實(shí)現(xiàn)現(xiàn)場(chǎng)圖像的自動(dòng)分析，可對(duì)多種接觸網(wǎng)懸掛裝置零部件進(jìn)行識(shí)別分類，具有較高的識(shí)別準(zhǔn)確性。

附圖說明

圖1為待分類檢測(cè)的接觸網(wǎng)支撐裝置全局圖像。

圖2為高鐵接觸網(wǎng)支撐裝置零部件樣本庫建立示意圖。

圖3為基于faster-rcnn算法的深度卷積神經(jīng)網(wǎng)絡(luò)流程圖。

圖4為zf網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖5為faster-rcnn算法中候選區(qū)域網(wǎng)絡(luò)。

圖6為faster-rcnn算法中roi生成和分類網(wǎng)絡(luò)。

圖7為高鐵接觸網(wǎng)支撐裝置圖像零部件識(shí)別檢測(cè)結(jié)果圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說明。

圖1為4c檢測(cè)車拍攝到的高鐵接觸網(wǎng)支撐裝置圖像。包含了絕緣子，斜撐套筒，旋轉(zhuǎn)雙耳等7類零部件。零部件數(shù)量種類眾多，且接觸網(wǎng)圖像在夜間拍攝時(shí)，容易受到光斑，拍攝角度等的干擾。因此需要訓(xùn)練一個(gè)基于深度卷積神經(jīng)網(wǎng)絡(luò)的模型，完成零部件的識(shí)別工作。本實(shí)施例的具體步驟如下：

步驟a：建立關(guān)于高鐵接觸網(wǎng)支撐裝置零部件，如絕緣子，上下斜撐套筒，旋轉(zhuǎn)雙耳，雙套管連接件，斜拉線固定鉤等八類重要零部件的樣本庫，共計(jì)2000張。樣本庫里需要包括對(duì)檢測(cè)目標(biāo)所在位置的坐標(biāo)記錄，及標(biāo)記目標(biāo)所屬的類別。圖2為訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)的樣本庫。樣本庫的建立是手工框出接觸網(wǎng)支撐裝置圖像中各類檢測(cè)目標(biāo)零部件的原始包圍框，保留各類零部件的坐標(biāo)信息，并人工標(biāo)記該框的類別。

步驟b：搭建基于faster-rcnn算法的深度卷積神經(jīng)網(wǎng)絡(luò)。網(wǎng)絡(luò)采用zf的模型，共有5個(gè)可共享的卷積層，算法的基本流程如圖3所示，分為3個(gè)階段，候選區(qū)域網(wǎng)絡(luò)，roi(regionofinterest感興趣區(qū)域)生成，cnn(convolutionalneuralnetworks卷積神經(jīng)網(wǎng)絡(luò))分類。該算法以zf網(wǎng)絡(luò)為基礎(chǔ)，如圖4所示。具體過程如下：

b1：搭建候選區(qū)域網(wǎng)絡(luò)。將一個(gè)圖像作為輸入，輸出矩形目標(biāo)建議框的集合，每個(gè)框有一個(gè)目標(biāo)得分。zf網(wǎng)絡(luò)采用全卷積層，如圖5所示，在zf網(wǎng)絡(luò)的第五個(gè)卷積層進(jìn)行候選區(qū)域的提取，將第五個(gè)卷積層的特征圖作為候選區(qū)域網(wǎng)絡(luò)的輸入，在該卷積層特征圖映射上滑動(dòng)小網(wǎng)絡(luò)，映射到低維向量上，每個(gè)滑動(dòng)窗口有三種尺度和長(zhǎng)寬比，每個(gè)滑動(dòng)窗口產(chǎn)生9個(gè)anchor，對(duì)應(yīng)在卷積層特征圖中找到對(duì)應(yīng)的位置，作為候選網(wǎng)絡(luò)。每張圖候選區(qū)域網(wǎng)絡(luò)后最終產(chǎn)生約2000個(gè)候選區(qū)域。

b2：提取roi區(qū)域，如圖6所示，將候選網(wǎng)絡(luò)輸入roi生成網(wǎng)絡(luò)，經(jīng)過roi下采樣，歸一化候選區(qū)域的大小并輸出。具體為采用候選區(qū)域網(wǎng)絡(luò)的輸出層作為roi生成網(wǎng)絡(luò)的輸入?？s放輸入候選區(qū)域的尺度得到圖像金字塔，對(duì)于每個(gè)尺度的每個(gè)roi，求取映射關(guān)系，對(duì)應(yīng)在網(wǎng)絡(luò)第五個(gè)卷積層的特征圖中裁剪出對(duì)應(yīng)塊。隨后用一個(gè)單層的roi下采樣層，將輸入的候選區(qū)域特征圖統(tǒng)一下采樣為6×6的特征圖再傳入全連接層。

b3：cnn分類識(shí)別。如圖6所示，將roi輸入cnn網(wǎng)絡(luò)，經(jīng)過兩個(gè)卷積層和激活函數(shù)，得到最終的候選區(qū)域的目標(biāo)分類結(jié)果。具體為將得到的roi輸入cnn分類網(wǎng)絡(luò)，經(jīng)過兩個(gè)全連接層和矯正激活層，并通過丟棄部分網(wǎng)絡(luò)參數(shù)的方法消除過擬合，輸出目標(biāo)包圍框的坐標(biāo)和大小和目標(biāo)類別。

步驟c：將訓(xùn)練樣本輸入搭建好的faster-rcnn網(wǎng)絡(luò)，采用多任務(wù)損失函數(shù)，通過計(jì)算目標(biāo)分類和目標(biāo)框的損失，練完成模型的訓(xùn)練。

訓(xùn)練過程如下：

訓(xùn)練過程中，根據(jù)訓(xùn)練樣本庫中的樣本信息給每一個(gè)anchor分配一個(gè)通過正負(fù)表示其與樣本庫中所標(biāo)記的原始包圍框重疊度的標(biāo)簽。本是實(shí)施例中正標(biāo)簽給予與樣本庫的原始框有最高和大于70％的重疊的anchor。訓(xùn)練過程根據(jù)公式(1)計(jì)算多任務(wù)損失值。多任務(wù)損失值分為兩個(gè)部分，分類損失和位置損失。

pi是第i個(gè)anchor是檢測(cè)目標(biāo)的預(yù)測(cè)概率。如果anchor為正，標(biāo)簽設(shè)為1，反之，等于0。ti是一個(gè)向量，表示預(yù)測(cè)的包圍盒的4個(gè)參數(shù)化坐標(biāo)(x,y,w,h)，是正anchor對(duì)應(yīng)的訓(xùn)練樣本原始包圍框的坐標(biāo)向量。ncls表示一次訓(xùn)練中樣本的數(shù)量，nreg表示訓(xùn)練過程中產(chǎn)生的anchor位置的數(shù)量，約2000個(gè)。分類損失lcls是兩個(gè)類別：“目標(biāo)”或“非目標(biāo)”的對(duì)數(shù)損失

對(duì)于回歸損失lreg，計(jì)算方法如公式(2)：

其中r損失函數(shù)如公式(3)所示：

采用參數(shù)λ表示兩個(gè)損失函數(shù)之間的權(quán)值，根據(jù)上述多任務(wù)損失值，采用反向傳播和隨機(jī)梯度下降的方法實(shí)現(xiàn)端對(duì)端輪流訓(xùn)練，具體步驟如下：

c1：給每一個(gè)使用在imagenet上預(yù)訓(xùn)練的模型初始化候選區(qū)域網(wǎng)絡(luò)參數(shù)，微調(diào)候選區(qū)域網(wǎng)絡(luò)；

c2:使用候選區(qū)域網(wǎng)絡(luò)，提取候選區(qū)域，訓(xùn)練roi生成和roi分類網(wǎng)絡(luò)，也用imagenet上預(yù)訓(xùn)練的模型初始化該網(wǎng)絡(luò)參數(shù)；

c3:使用c2得到的roi生成和roi分類網(wǎng)絡(luò)，重新初始化候選區(qū)域,固定卷積層進(jìn)行微調(diào)，微調(diào)候選區(qū)域網(wǎng)絡(luò)；

c4:固定c2中roi生成和roi分類網(wǎng)絡(luò)的卷積層，使用c3中候選區(qū)域網(wǎng)絡(luò)提取的候選區(qū)域?qū)φ麄€(gè)網(wǎng)絡(luò)進(jìn)行微調(diào)。

步驟d：將待檢測(cè)圖像輸入訓(xùn)練好的模型中，得到高鐵接觸網(wǎng)支撐裝置零部件的識(shí)別檢測(cè)結(jié)果，如圖7所示。采用高鐵接觸網(wǎng)支撐裝置零部件樣本庫中的測(cè)試樣本驗(yàn)證dcnn分類器的準(zhǔn)確性。測(cè)試樣本共計(jì)300張，包含了圖像中接觸網(wǎng)零部件的位置和類別信息。