本發(fā)明涉及無人機(jī)技術(shù)領(lǐng)域，尤其是一種基于計(jì)算機(jī)視覺的無人機(jī)定位方法。

背景技術(shù)：

隨著新技術(shù)、新方法以及新的管理理念的引入，無人機(jī)已逐步得到重視并開始應(yīng)用于輸電線路巡視作業(yè)，在一定程度上彌補(bǔ)了傳統(tǒng)人工巡視的不足，特別是在高山等人工不易達(dá)區(qū)域優(yōu)勢更為明顯。其中，無人機(jī)飛行速度慢，具有定點(diǎn)懸停功能，可對特定巡視目標(biāo)進(jìn)行細(xì)節(jié)觀察，有利于缺陷發(fā)現(xiàn)。

高海拔、低溫、無人區(qū)等惡劣環(huán)境下，輸電線路更需要無人機(jī)這類空中機(jī)器人參與作業(yè)，必須自主研發(fā)和裝備續(xù)航能力強(qiáng)、具有自主導(dǎo)航和定位功能、實(shí)時(shí)視頻傳輸?shù)母叨藷o人機(jī)，以更好的解決人員不易達(dá)區(qū)域的輸電線路缺陷發(fā)現(xiàn)問題，最大限度的保障輸電走廊的穩(wěn)定和安全。目前，輸電線路所在的區(qū)域很多都屬于信號阻隔區(qū)，當(dāng)無人機(jī)飛入這些信號阻隔區(qū)后，現(xiàn)有的定位技術(shù)不具備非通視條件下巡檢作業(yè)的能力，并且無法實(shí)現(xiàn)精確定位，而且現(xiàn)有的無人機(jī)定位技術(shù)對于操控手的依賴程度較高，操控手誤操作很容易導(dǎo)致嚴(yán)重后果，無人機(jī)巡線的安全性較低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種能夠在信號阻隔區(qū)實(shí)現(xiàn)局部精確定位的基于計(jì)算機(jī)視覺的無人機(jī)定位方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案為：該基于計(jì)算機(jī)視覺的無人機(jī)定位方法，包括以下步驟：

S1、利用無人機(jī)采集航拍的絕緣子樣本圖像，分為含絕緣子串的正樣本圖像和不含絕緣子串的負(fù)樣本圖像，然后對正樣本圖像進(jìn)行標(biāo)注，標(biāo)注的信息為絕緣子串在圖像中的位置信息；

S2、搭建卷積神經(jīng)網(wǎng)絡(luò)，并對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，并用得到的網(wǎng)絡(luò)參數(shù)對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)定；

S3、將待檢測的視頻圖像輸入步驟S2得到的卷積神經(jīng)網(wǎng)絡(luò)檢測出待檢測視頻圖像中的絕緣子；

S4、利用偽相距的測距公式確定無人機(jī)與待測視頻圖像中絕緣子之間的距離，實(shí)現(xiàn)無人機(jī)的定位。

進(jìn)一步的是，在步驟S1中，所述正樣本的數(shù)量為2000張，所述負(fù)樣本的數(shù)量為2000張。

進(jìn)一步的是，在步驟S1中，所述絕緣子串在圖像中的位置信息是指在框出圖像中的絕緣子串后所得的矩形坐標(biāo)，即矩形左上角的頂點(diǎn)坐標(biāo)和右下角的頂點(diǎn)坐標(biāo)。

進(jìn)一步的是，在步驟S2中，搭建的卷積神經(jīng)網(wǎng)絡(luò)包括依次設(shè)置的第一級卷積層、第一級池化層、第二級卷積層、第二級池化層、第三級卷積層、第三級池化層、第四級卷積層、第四層池化層、第五級卷積層、第五級池化層、第一級全連層、第二級全連接層、分類器。

進(jìn)一步的是，所述第一級卷積采用7*7的卷積核，第二級卷積采用5*5的卷積核，第三級卷積采用3*3的卷積核，第四級卷積采用3*3的卷積核，第五級卷積采用3*3的卷積核，所述第一級池化層、第二級池化層、第三級池化層、第四層池化層、第五級池化層均采用最大池化方式。

進(jìn)一步的是，所述第一級卷積層的激活函數(shù)、第二級卷積層的激活函數(shù)、第三級卷積層的激活函數(shù)、第四級卷積層的激活函數(shù)、第五級卷積層的激活函數(shù)均采用ReLU激活函數(shù)。

進(jìn)一步的是，在第一級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第二級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第三級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第四級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第五級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理。

進(jìn)一步的是，所述分類器采用二分類的SVM。

進(jìn)一步的是，在步驟S2中，采用BP算法對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述BP算法分為鏈?zhǔn)角髮?dǎo)和梯度反向傳播兩個(gè)部分，所述梯度反向傳播采用Mini-BatchSGD的訓(xùn)練策略，所述Mini-BatchSGD的訓(xùn)練策略如下公式所示：

其中w代表第i層的權(quán)重，η為學(xué)習(xí)率，N是批量的大小，L為損失函數(shù)，所述損失函數(shù)采用softmax函數(shù)，所述softmax函數(shù)的公式如下所示：其中z為K維的向量，δ(z)為一個(gè)K維的向量，其每一個(gè)分量的實(shí)值在(0,1)之間，并且和為1。

進(jìn)一步的是，在步驟S4中，所述偽相距測距公式如下所述：所述m表示無人機(jī)的相機(jī)像距的常量,所述S表示無線傳輸后的接收顯示器上顯示的待檢測視頻圖像影像大小S，所述L表示待檢測的視頻圖像中絕緣子串的尺寸。

本發(fā)明的有益效果：該基于計(jì)算機(jī)視覺的無人機(jī)定位方法將計(jì)算機(jī)視覺技術(shù)和偽相距的測距技術(shù)相結(jié)合，實(shí)現(xiàn)無人機(jī)局部精確定位，賦予無人機(jī)非通視環(huán)境下的作業(yè)能力，改變現(xiàn)有無人機(jī)只能在通視環(huán)境下操控和傳輸視頻的能力，進(jìn)一步延伸無人機(jī)的作業(yè)距離和擴(kuò)展作業(yè)條件適應(yīng)能力，同時(shí)，還能夠減少無人機(jī)對于操控手的依賴，減少人工操控復(fù)雜度，讓更多的作業(yè)任務(wù)實(shí)現(xiàn)去人化,大大降低由于操控手誤操作導(dǎo)致嚴(yán)重后果的風(fēng)險(xiǎn)，增加無人機(jī)巡線的安全性，能夠大大提升無人機(jī)作業(yè)智能化水平，這對巡檢作業(yè)整體水平的提升具有重大現(xiàn)實(shí)意義。

附圖說明

圖1為本發(fā)明所述卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖；

圖2、圖3、圖4分別為三組在不同拍攝角度和尺度下，對同一絕緣子串的檢測效果圖；

圖5為同時(shí)檢測多個(gè)玻璃絕緣子串的多目標(biāo)檢測效果圖；

圖6為同時(shí)檢測多個(gè)陶瓷絕緣子串的多目標(biāo)檢測效果圖；

圖7同時(shí)檢測多個(gè)玻璃絕緣子串和多個(gè)陶瓷絕緣子串混合情況下的多目標(biāo)檢測效果圖。

圖8為利用卷積神經(jīng)網(wǎng)絡(luò)的檢測效果圖；

圖9為利用DMP的檢測效果圖；

圖10為利用HoG特征和SVM方式的檢測效果圖；

圖11為相距的室內(nèi)測試效果圖；

圖12為相距的室外測試效果。

具體實(shí)施方式

本發(fā)明所述的基于計(jì)算機(jī)視覺的無人機(jī)定位方法，包括以下步驟：

S1、利用無人機(jī)采集航拍的絕緣子樣本圖像，分為含絕緣子串的正樣本圖像和不含絕緣子串的負(fù)樣本圖像，然后對正樣本圖像進(jìn)行標(biāo)注，標(biāo)注的信息為絕緣子串在圖像中的位置信息；

S2、搭建卷積神經(jīng)網(wǎng)絡(luò)，并對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)，并用得到的網(wǎng)絡(luò)參數(shù)對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行設(shè)定；

S3、將待檢測的視頻圖像輸入步驟S2得到的卷積神經(jīng)網(wǎng)絡(luò)檢測出待檢測視頻圖像中的絕緣子；

S4、利用偽相距的測距公式確定無人機(jī)與待測視頻圖像中絕緣子之間的距離，實(shí)現(xiàn)無人機(jī)的定位。

該基于計(jì)算機(jī)視覺的無人機(jī)定位方法將計(jì)算機(jī)視覺技術(shù)和偽相距的測距技術(shù)相結(jié)合，實(shí)現(xiàn)無人機(jī)局部精確定位，賦予無人機(jī)非通視環(huán)境下的作業(yè)能力，改變現(xiàn)有無人機(jī)只能在通視環(huán)境下操控和傳輸視頻的能力，進(jìn)一步延伸無人機(jī)的作業(yè)距離和擴(kuò)展作業(yè)條件適應(yīng)能力，同時(shí)，還能夠減少無人機(jī)對于操控手的依賴，減少人工操控復(fù)雜度，讓更多的作業(yè)任務(wù)實(shí)現(xiàn)去人化,大大降低由于操控手誤操作導(dǎo)致嚴(yán)重后果的風(fēng)險(xiǎn)，增加無人機(jī)巡線的安全性，能夠大大提升無人機(jī)作業(yè)智能化水平，這對巡檢作業(yè)整體水平的提升具有重大現(xiàn)實(shí)意義。

為了保證卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果，在步驟S1中，所述正樣本的數(shù)量為2000張，所述負(fù)樣本的數(shù)量為2000張。

為了便于識別，在步驟S1中，所述絕緣子串在圖像中的位置信息是指在框出圖像中的絕緣子串后所得的矩形坐標(biāo)，即矩形左上角的頂點(diǎn)坐標(biāo)和右下角的頂點(diǎn)坐標(biāo)。

圖像是5維信息，單純的神經(jīng)網(wǎng)絡(luò)把圖像拉伸為向量反而丟棄了空間信息，而卷積神經(jīng)網(wǎng)絡(luò)通過卷積核以興趣點(diǎn)為中心的一小塊區(qū)域，探測上一層特征的局部連接，對其進(jìn)行過濾和特征強(qiáng)化，更符合圖像的二維空間的本質(zhì)，因而可以學(xué)習(xí)更有效的特征。離散的卷積可以用如下公式來描述，H(x,y)＝I*K(x,y)＝∑_m∑_nI(m,n)K(x-m,y-n)，I代表輸入圖像，m和n為輸入圖像的尺寸大小，K代表卷積核，x和y為目前卷積操作的像素的坐標(biāo)。考慮到特定的識別對象為輸電線路中具有明顯特征的絕緣子及訓(xùn)練數(shù)據(jù)的復(fù)雜度和工程實(shí)時(shí)性和硬件的需求，在步驟S2中，如圖1所示，搭建的卷積神經(jīng)網(wǎng)絡(luò)包括依次設(shè)置的第一級卷積層、第一級池化層、第二級卷積層、第二級池化層、第三級卷積層、第三級池化層、第四級卷積層、第四層池化層、第五級卷積層、第五級池化層、第一級全連層、第二級全連接層、分類器。

為了更容易探索中心點(diǎn)周圍的局部信息，更有利于局部特征的提取，所述第一級卷積采用7*7的卷積核，第二級卷積采用5*5的卷積核，第三級卷積采用3*3的卷積核，第四級卷積采用3*3的卷積核，第五級卷積采用3*3的卷積核。池化可以簡單理解為降采樣操作，它是一個(gè)非參數(shù)層。它將一定領(lǐng)域內(nèi)的像素壓縮成一個(gè)像素點(diǎn)，學(xué)習(xí)圖像的空域特征把相似的特征合并起來，使得圖像逐層縮放，降低卷積層的復(fù)雜度，抑制過擬合現(xiàn)象。池化一般配合卷積層使用，可以獲得特征的不變性，提升對微小畸變和旋轉(zhuǎn)的容忍能力，增強(qiáng)模型泛化能力。常見的操作有銳化(max pooling)、平滑(mean pooling)和隨機(jī)池化(stochasticpooling)。在隨機(jī)池化中，傳統(tǒng)的確定性池化操作被替換為一個(gè)隨機(jī)過程，其中根據(jù)多項(xiàng)式分布，每個(gè)池化區(qū)域內(nèi)的激活隨機(jī)地被選擇。該方法是超參數(shù)的，可以與其他正規(guī)化方法相結(jié)合，如Dropout和數(shù)據(jù)增強(qiáng)。本發(fā)明所述第一級池化層、第二級池化層、第三級池化層、第四層池化層、第五級池化層均采用最大池化方式。

激活函數(shù)一般用于卷積層之后，激活函數(shù)是深度網(wǎng)絡(luò)非線性的主要來源。常見的激活函數(shù)Sigmoid,tanh，ReLU,PReLU,ELU和maxout。其中PReLU和ELU都是ReLU的改進(jìn)。它們的對比下公式所示：

Sigmoid:S(x)＝1/(1+e^-x)

tahn:tahn(x)

ReLU:g(x)＝max(0,x)

PReLU:max(ax,x)

Maxout:max(w₁x₁+b₁,w₂x₂+b₂)

早期的Sigmoid函數(shù)容易飽和，造成梯度終止傳遞，沒有0中心化。同時(shí)標(biāo)準(zhǔn)的sigmoid輸出不具備稀疏性，需要用一些懲罰因子來訓(xùn)練出一大堆接近0的冗余數(shù)據(jù)來，從而產(chǎn)生稀疏數(shù)據(jù)，因此需要進(jìn)行無監(jiān)督的預(yù)訓(xùn)練，否則將導(dǎo)致網(wǎng)絡(luò)無法收斂。ReLU是修正線性函數(shù)，來源于生物神經(jīng)元，同時(shí)具備相對對稱性與不對稱性，不會出現(xiàn)梯度消失的問題。而且求梯度簡單，收斂快，精確度高，具備引導(dǎo)適度稀疏的能力。由于ReLU簡單方便，本發(fā)明所述第一級卷積層的激活函數(shù)、第二級卷積層的激活函數(shù)、第三級卷積層的激活函數(shù)、第四級卷積層的激活函數(shù)、第五級卷積層的激活函數(shù)均采用ReLU激活函數(shù)。

進(jìn)一步的是，在第一級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第二級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第三級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第四級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理，在第五級卷積層的激活函數(shù)的ReLU前進(jìn)行Batch Normalization處理。

進(jìn)一步的是，對比Boosted Trees,Random Forest,Decision Tree,Logistic Regression和Softmax Regression,SVM效果最好，因此本發(fā)明所述分類器采用二分類的SVM。

為了保證訓(xùn)練效果，在步驟S2中，采用BP算法對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，所述BP算法分為鏈?zhǔn)角髮?dǎo)和梯度反向傳播兩個(gè)部分，所述梯度反向傳播采用Mini-BatchSGD的訓(xùn)練策略，所述Mini-BatchSGD的訓(xùn)練策略如下公式所示：

其中w代表第i層的權(quán)重，η為學(xué)習(xí)率，N是批量的大小，L為損失函數(shù)。

早期的損失函數(shù)一般選擇最小化平方誤差(MSE)或者最小化相對熵(Relative Entropy)，隨著不斷的發(fā)展，出現(xiàn)了用于單標(biāo)簽分類的softmax損失函數(shù)，用于實(shí)值回歸問題的Euclidean損失函數(shù)，用于多標(biāo)簽分類的Sigmoid交叉熵?fù)p失函數(shù)和用于深度測度學(xué)習(xí)的Contrastive損失函數(shù)等等。

根據(jù)實(shí)際工程需求，只需檢測出電力系統(tǒng)中常見的絕緣子，本發(fā)明所述損失函數(shù)采用softmax函數(shù)，所述softmax函數(shù)的公式如下所示：其中z為K維的向量，δ(z)為一個(gè)K維的向量，其每一個(gè)分量的實(shí)值在(0,1)之間，并且和為1。

進(jìn)一步的是，在步驟S4中，所述偽相距測距公式如下所述：所述m表示無人機(jī)的相機(jī)像距的常量,所述S表示無線傳輸后的接收顯示器上顯示的待檢測視頻圖像影像大小S，所述L表示待檢測的視頻圖像中絕緣子串的尺寸。

實(shí)施例

利用無人機(jī)，在不同的季節(jié)，對不同的輸電線路上的絕緣子采集樣本。訓(xùn)練樣本為4000張絕緣子航拍圖像，其中玻璃絕緣子圖像2000張，瓷質(zhì)絕緣子圖像2000張。針對待檢測的盤形懸式瓷質(zhì)和盤形懸式玻璃絕緣子，利用卷積神經(jīng)網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練。為減輕標(biāo)注的工作量，選取的每一張訓(xùn)練樣本僅包含一對絕緣子串，分別呈現(xiàn)水平，豎直分別和角度分布。

測試樣本為600張航拍絕緣子圖像。其中200張玻璃絕緣子圖像，200張瓷質(zhì)絕緣子圖像，200張玻璃絕緣子和瓷質(zhì)絕緣子混合的圖像。測試效果如圖2-4所示,圖2、圖3、圖4分別為三組在不同拍攝角度和尺度下，對同一絕緣子串的檢測效果。圖5-7展示了同時(shí)檢測多個(gè)玻璃絕緣子串，多個(gè)陶瓷絕緣子串和兩者混合情況下的多目標(biāo)檢測效果。測試結(jié)果表明，針對單一的玻璃絕緣子或者瓷質(zhì)絕緣子，亦或是二者混合的情況，都表現(xiàn)出對多角度絕緣子的良好檢測效果。目前識別和檢測任務(wù)大量依賴人工設(shè)計(jì)特征，也出現(xiàn)了一些良好的特征如Haar，SIFT，HoG，LBP等。傳統(tǒng)的識別檢測方式針對不同的識別對象，需設(shè)計(jì)不同的特征和分類算法，比如針對人臉檢測的經(jīng)典算法采用Haar特征和Adaboosting分類器；針對行人檢測的經(jīng)典算法采用HoG特征和SVM分類器；針對一般的物體檢測采用HoG特征和DP算法。本文將卷積神經(jīng)網(wǎng)絡(luò)檢測方式與采用傳統(tǒng)的HoG特征和SVM方式及DMP方式做對比。針對同一訓(xùn)練集合，利用深度卷積神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方式的檢測效果對比如圖8-10所示。

通過對比試驗(yàn)，發(fā)現(xiàn)DPM和HOG存在誤檢，同時(shí)定位精度上不如卷積神經(jīng)網(wǎng)絡(luò)。

測試500張背景包含雪地，丘陵，草地，鐵塔和房屋等復(fù)雜背景的航拍圖像，采用NavneetDalal的HOG特征加SVM的方式，DMP方式和卷積神經(jīng)網(wǎng)絡(luò)的方式的對比結(jié)果如表1所示：

表一絕緣子檢測測試對比結(jié)果

絕緣子的成功檢測可作為無人機(jī)進(jìn)行細(xì)節(jié)巡視時(shí)的標(biāo)志，利用相機(jī)成像的原理，實(shí)時(shí)測出無人機(jī)相對于鐵塔的相距，避免無人機(jī)誤撞的危險(xiǎn)，為無人機(jī)的避障飛行提供可靠的依據(jù)，靈活完成巡檢任務(wù)。

針對提出的測距方法，通過使用無人機(jī)搭載攝像機(jī)，分別在實(shí)驗(yàn)室場景下和野外環(huán)境場景下，模擬無人機(jī)巡檢輸電線路的過程，對鋼化玻璃絕緣子進(jìn)行測距實(shí)驗(yàn)。無人機(jī)搭載相機(jī)逐漸靠近絕緣子進(jìn)行細(xì)節(jié)拍攝。從實(shí)驗(yàn)結(jié)果圖中可以看出，實(shí)現(xiàn)了對絕緣子的實(shí)時(shí)跟蹤，并能夠?qū)崟r(shí)反應(yīng)出絕緣子與相機(jī)之間的距離。相距的室內(nèi)和室外測試效果分別如圖11-12所示，左上角顯示當(dāng)前無人機(jī)與絕緣子串的距離。測試誤差如表2所示。

表二測距誤差 單位：厘米

測試表明利用偽相距測距能夠?qū)崟r(shí)準(zhǔn)確測量出無人機(jī)相對于絕緣子的距離，反應(yīng)出它的位置信息。算法簡單快速，硬件實(shí)現(xiàn)方便。在測量1米到5米之間的距離，測距結(jié)果相對準(zhǔn)確，能夠滿足實(shí)際無人機(jī)巡檢的需求。