本發(fā)明屬于圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域,具體涉及一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法。

背景技術(shù)：

橋梁作為道路、公路、鐵路等交通系統(tǒng)的樞紐,需要定期的對(duì)其健康狀況做出評(píng)估,而橋梁裂縫作為最主要的橋梁病害之一,嚴(yán)重影響著橋梁的安全運(yùn)營(yíng),更為嚴(yán)重的會(huì)發(fā)生橋毀人亡的事故。因此,對(duì)橋梁裂縫進(jìn)行有效的檢測(cè)定位至關(guān)重要。

近年來(lái),有許多學(xué)者開(kāi)展了關(guān)于裂縫檢測(cè)方法的研究,但目前主要的研究都是基于傳統(tǒng)的圖像處理算法進(jìn)行的裂縫檢測(cè)。例如,公開(kāi)號(hào)為CN103528527A的專利文獻(xiàn),公開(kāi)了基于區(qū)域選定的裂縫尺寸自動(dòng)測(cè)量方法,該方法是基于傳統(tǒng)的圖像處理算法進(jìn)行的；例如,中國(guó)期刊《鐵道學(xué)報(bào)》2015,Vol37,No5,pp64-70刊登了一篇題為“基于特征分析的地鐵隧道裂縫識(shí)別算法”的論文,作者朱力強(qiáng)等人在該論文中,公開(kāi)了其基于特征分析的地鐵隧道裂縫識(shí)別算法；再例如,期刊《計(jì)算機(jī)工程與應(yīng)用》2015,Vol51,No14,pp136-140刊登了一篇題為“一種橋梁路面裂縫的檢測(cè)方法”的論文,作者孫乾程等人在該論文中,公開(kāi)了一種新的基于橋梁路面裂縫的分布式裂縫檢測(cè)模型。

以上文獻(xiàn)公開(kāi)的裂縫檢測(cè)方法,都是基于傳統(tǒng)的圖像處理算法,針對(duì)同一種背景紋理和同一種材質(zhì)進(jìn)行的裂縫檢測(cè),換言之,傳統(tǒng)的圖像處理算法是先把彩色圖像轉(zhuǎn)化為灰度圖像,然后基于灰度圖像的裂縫檢測(cè)定位,由此可知,傳統(tǒng)的圖像處理算法都不能直接針對(duì)彩色圖像進(jìn)行裂縫檢測(cè)定位。

技術(shù)實(shí)現(xiàn)要素：

為了解決傳統(tǒng)的圖像處理算法不能直接對(duì)彩色圖像進(jìn)行裂縫檢測(cè)定位,本發(fā)明提供了一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法。本發(fā)明要解決的技術(shù)問(wèn)題通過(guò)以下技術(shù)方案實(shí)現(xiàn):

一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,包括以下步驟:

步驟一、建立并訓(xùn)練深度學(xué)習(xí)模型；

步驟二、采集一張橋梁裂縫的圖片作為待檢測(cè)圖像；

步驟三、使用步驟一得到的訓(xùn)練好的模型對(duì)待檢測(cè)圖像進(jìn)行檢測(cè),并記錄由所述訓(xùn)練好的模型識(shí)別出所有橋梁裂縫面元的橫縱坐標(biāo),然后統(tǒng)計(jì)橋梁裂縫面元的個(gè)數(shù)，記為N；

所述訓(xùn)練好的模型在識(shí)別橋梁裂縫面元時(shí)采用窗口滑動(dòng)算法，所述窗口滑動(dòng)算法的計(jì)算過(guò)程如式(1)所示:

其中,P_b(x)和P_c(x)為在本次識(shí)別過(guò)程中,橋梁背景面元和橋梁裂縫面元所識(shí)別的概率；f(x)為0,表示當(dāng)前的橋梁面元圖像為橋梁背景面元,f(x)為1,表示當(dāng)前的橋梁面元圖像為橋梁裂縫面元,t為一個(gè)概率區(qū)分閾值；

步驟四、使用簡(jiǎn)單選擇排序算法對(duì)步驟三記錄的所有橋梁裂縫面元的橫縱坐標(biāo)分別進(jìn)行排序,挑選出最小的橫縱坐標(biāo)和最大的橫縱坐標(biāo)組成兩個(gè)新的坐標(biāo)點(diǎn),根據(jù)兩個(gè)新的坐標(biāo)點(diǎn)在待檢測(cè)圖像上畫出矩形區(qū)域,該矩形區(qū)域?yàn)闃蛄毫芽p在待檢測(cè)圖片中的位置；

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述步驟二和步驟三之間還具有算法的加速步驟,所述加速步驟采用高斯金字塔和ROI區(qū)域相結(jié)合的加速策略,所述加速步驟具體為:

J01.利用高斯金字塔對(duì)待檢測(cè)圖像進(jìn)行降采樣,得到低分辨率圖像；

J02.利用步驟一中訓(xùn)練好的模型對(duì)J01中的低分辨率圖像進(jìn)行檢測(cè),并記錄由所述訓(xùn)練好的模型識(shí)別出所有橋梁裂縫面元的橫縱坐標(biāo)；

J03.使用簡(jiǎn)單選擇排序算法對(duì)J02中記錄的所有橋梁裂縫面元的橫縱坐標(biāo)分別進(jìn)行排序,將最小的橫縱坐標(biāo)組成一個(gè)最小坐標(biāo)點(diǎn),將最大的橫縱坐標(biāo)也組成一個(gè)最大坐標(biāo)點(diǎn),并將最小坐標(biāo)點(diǎn)和最大坐標(biāo)點(diǎn)代入式(3)中,求解出兩個(gè)新的坐標(biāo)點(diǎn),式(3)如下所示:

其中,x_l,y_l為低分辨率圖像上確定位置的橫縱坐標(biāo),x_h,y_h為待檢測(cè)圖像上確定位置的橫縱坐標(biāo),n為高斯金字塔向下采樣的次數(shù)；

J04.根據(jù)J03中的兩個(gè)新的坐標(biāo)點(diǎn)在待檢測(cè)圖像上確定矩形區(qū)域,并將該矩形區(qū)域設(shè)為ROI感興趣區(qū)域。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述步驟一具體為:

第一步,建立深度學(xué)習(xí)模型；

第二步,采集大量的橋梁裂縫圖片,對(duì)采集的圖片進(jìn)行數(shù)據(jù)集擴(kuò)增；

第三步,利用擴(kuò)增后的數(shù)據(jù)集訓(xùn)練深度學(xué)習(xí)模型,得到訓(xùn)練好的模型。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述第二步數(shù)據(jù)集擴(kuò)增的方法包括以下步驟:

K01.將采集的大量橋梁裂縫圖像的分辨率歸一化為1024*1024；

K02.使用W*H固定大小的窗口在橋梁裂縫圖片不重疊的進(jìn)行滑動(dòng),同時(shí),將窗口覆蓋下的橋梁裂縫圖片切分成小切片,其中,包含橋梁背景的小切片稱為橋梁背景面元,包含橋梁裂縫的小切片稱為橋梁裂縫面元,不重疊滑動(dòng)的計(jì)算公式方法為:

公式(4)中,W和H為滑動(dòng)窗口的寬和高,坐標(biāo)(imgRoiL_x,imgRoiLy)為ROI區(qū)域的左上角點(diǎn)坐標(biāo),坐標(biāo)(imgRoiR_x,imgRoiRy)為ROI區(qū)域的右下角點(diǎn)坐標(biāo),其中i和j的計(jì)算如下面的公式所示:

公式(5)中,srcImg_w，srcImg_h,分別為被窗口滑動(dòng)的橋梁裂縫圖片的寬和高,令srcImg_w＝srcImg_h＝1024pixel；

K03.將每個(gè)小切片作為一個(gè)ROI圖片,構(gòu)建成一個(gè)RGB數(shù)據(jù)集；

K04.對(duì)K03中的RGB數(shù)據(jù)集進(jìn)行挑選標(biāo)記,挑選標(biāo)記采用的方式是:將ROI圖片分成橋梁裂縫面元和橋梁背景面元；

K05.對(duì)挑選標(biāo)記后的RGB數(shù)據(jù)集進(jìn)行分類,構(gòu)成一個(gè)用于訓(xùn)練深度學(xué)習(xí)模型的訓(xùn)練集和驗(yàn)證集。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述第一步的深度學(xué)習(xí)模型為DBCC分類模型,所述的DBCC分類模型包括：

卷積單元，采用卷積核將輸入的特征映射圖進(jìn)行卷積求和，該卷積單元由4個(gè)卷積層構(gòu)成；

池化單元，用于對(duì)卷積后的特征映射圖進(jìn)行下采樣,降低特征映射圖的分辨率并且選取優(yōu)秀的特征，該池化單元由3個(gè)池化層構(gòu)成，并且，3個(gè)池化層分別交叉設(shè)置在4個(gè)卷積層之間；

分類單元，通過(guò)全連接層將卷積單元輸出的特征映射圖輸入至softmax loss函數(shù)進(jìn)行分類，并給出分類結(jié)果，該分類單元由2個(gè)全連接層構(gòu)成。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述DBCC分類模型的四層卷積層每一層所采用的卷積核的數(shù)量分別為:32、64、128、256。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述DBCC分類模型分別在第一卷積層、第四卷積層、第二池化層、第三池化層、第一全連接層后面各添加一激活函數(shù),并且,在第一卷積層后面添加LRN層,在第一全連接層后面添加dropout層。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述步驟三中的概率區(qū)分閾值t的取值范圍為0.90～0.99。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述J02中高斯金字塔向下采樣的次數(shù)n為2。

上述的一種基于CNN深度學(xué)習(xí)的橋梁裂縫檢測(cè)定位方法,所述K02中W和H的取值分別為16pixel。

本發(fā)明的有益效果:

1.本發(fā)明在進(jìn)行橋梁裂縫檢測(cè)定位時(shí),是直接基于彩色的橋梁裂縫圖像進(jìn)行的,而傳統(tǒng)的橋梁裂縫檢測(cè)定位方法都是先把彩色的橋梁裂縫圖像轉(zhuǎn)化為灰度圖,然后再利用裂縫灰度信息和背景灰度信息不同的特點(diǎn)進(jìn)行裂縫的檢測(cè)和定位,因此傳統(tǒng)的方法無(wú)法直接基于彩色的圖像進(jìn)行橋梁裂縫的檢測(cè)和定位；

2.在本發(fā)明中,橋梁裂縫的檢測(cè)和定位都是基于DBCC這一深度學(xué)習(xí)模型而展開(kāi)的,而在訓(xùn)練DBCC模型的時(shí)候,本發(fā)明采用了大量的不同背景紋理、不同材質(zhì)的橋梁裂縫圖像作為訓(xùn)練集,因此,訓(xùn)練好的DBCC分類模型結(jié)合改進(jìn)的窗口滑動(dòng)可以對(duì)多種不同背景紋理、不同材質(zhì)的橋梁裂縫圖像進(jìn)行檢測(cè)和定位,而傳統(tǒng)的裂縫檢測(cè)方法往往針對(duì)的是同一種材質(zhì)或者類似背景紋理的圖像進(jìn)行的檢測(cè)定位,因此,本發(fā)明和傳統(tǒng)的裂縫檢測(cè)定位方法相比具有更好的泛化能力和更強(qiáng)的適應(yīng)性；

3.本發(fā)明在橋梁裂縫檢測(cè)定位的過(guò)程中,使用了圖像高斯金字塔和ROI感興趣區(qū)域相結(jié)合的搜索策略對(duì)橋梁裂縫檢測(cè)定位的過(guò)程進(jìn)行了優(yōu)化,因此,本發(fā)明在進(jìn)行橋梁裂縫檢測(cè)和定位的時(shí)候,其處理速度更加的快速；

4.本發(fā)明使用了一種基于窗口滑動(dòng)算法的橋梁裂縫和橋梁背景面元圖像的人工擴(kuò)增方式,并且DBCC分類模型針對(duì)的是更小的橋梁裂縫面元圖像,因此,本發(fā)明與直接使用經(jīng)典的深度學(xué)習(xí)模型進(jìn)行的橋梁裂縫檢測(cè)定位相比,本發(fā)明對(duì)于橋梁裂縫檢測(cè)和定位的結(jié)果更加的準(zhǔn)確。

以下將結(jié)合附圖及實(shí)施例對(duì)本發(fā)明做進(jìn)一步詳細(xì)說(shuō)明。

附圖說(shuō)明

圖1是本發(fā)明橋梁裂縫檢測(cè)定位方法的流程圖。

圖2是本發(fā)明數(shù)據(jù)集人工擴(kuò)增的流程圖。

圖3是本發(fā)明橋梁裂縫檢測(cè)結(jié)果圖。

圖4是本發(fā)明橋梁裂縫定位結(jié)果圖。

圖5是本發(fā)明DBCC模型的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為進(jìn)一步闡述本發(fā)明達(dá)成預(yù)定目的所采取的技術(shù)手段及功效,以下結(jié)合附圖及實(shí)施例對(duì)本發(fā)明的具體實(shí)施方式、結(jié)構(gòu)特征及其功效,詳細(xì)說(shuō)明如下。

實(shí)施例1:

本發(fā)明的主要任務(wù)是針對(duì)彩色的、不同背景紋理的、不同材質(zhì)的橋梁裂縫圖片進(jìn)行橋梁裂縫的檢測(cè)和定位。結(jié)合圖1-圖2,一種基于CNN深度學(xué)習(xí)方法的橋梁裂縫檢測(cè)定位方法,包括以下步驟:

第一步,使用相機(jī)傳感器采集一定數(shù)量的橋梁裂縫圖片,并將所有的圖片歸一化為1024*1024分辨率的圖片；

第二步,使用W*H固定大小的窗口在橋梁裂縫圖片上不重疊的進(jìn)行滑動(dòng),同時(shí),將滑動(dòng)窗口覆蓋下的橋梁裂縫圖片的小切片作為一個(gè)ROI感興趣區(qū)域。其中,包含橋梁背景的小切片圖像稱為橋梁背景面元,包含橋梁裂縫的小切片稱為橋梁裂縫面元,具體過(guò)程如下面的公式所示:

imgRoiL_x＝i*W

imgRoiL_y＝j(luò)*H

imgRoiR_x＝i*W+W

imgRoiR_y＝j(luò)*H+H

其中,W和H為滑動(dòng)窗口的寬和高,坐標(biāo)(imgRoiL_x,imgRoiL_y)為ROI區(qū)域的左上角點(diǎn)坐標(biāo),坐標(biāo)(imgRoiR_x,imgRoiR_y)為ROI區(qū)域的右下角點(diǎn)坐標(biāo),其中i和j的計(jì)算如下面的公式所示:

i＝srcImg_w/W

j＝srcImg_h/H

其中,srcImg_w，srcImg_h,分別為被窗口滑動(dòng)的橋梁裂縫圖片的寬和高,令srcImg_w＝srcImg_h＝1024pixel；

第三步,對(duì)基于窗口滑動(dòng)算法擴(kuò)增而來(lái)的數(shù)據(jù)集進(jìn)行挑選,標(biāo)記,分類構(gòu)成一個(gè)有一定規(guī)模的用于訓(xùn)練深度學(xué)習(xí)模型的訓(xùn)練集和驗(yàn)證集；

第四步,利用第三步預(yù)處理好的數(shù)據(jù)集對(duì)DBCC分類模型進(jìn)行訓(xùn)練；

第五步,采集一張橋梁裂縫圖片,將圖片歸一化為1024*1024分辨率的圖片,然后使用圖像高斯金字塔對(duì)橋梁裂縫圖像進(jìn)行采樣,得到一幅低分辨率的橋梁裂縫圖片；

第六步,利用訓(xùn)練好的DBCC分類模型和窗口滑動(dòng)算法在上一步求得的低分辨率的橋梁裂縫圖片上進(jìn)行檢測(cè),并將由DBCC分類模型識(shí)別出來(lái)的所有的橋梁裂縫面元的橫縱坐標(biāo)記錄下來(lái),其中窗口滑動(dòng)算法如下面的公式所示:

其中,P_b(x)和P_c(x)為在本次識(shí)別過(guò)程中,所識(shí)別的小切片分別為橋梁背景面元和橋梁裂縫面元的概率；f(x)為0,表示當(dāng)前的橋梁面元圖像為橋梁背景面元,f(x)為1,表示當(dāng)前的橋梁面元圖像為橋梁裂縫面元,t為一個(gè)概率區(qū)分閾值,一般取值為0.90～0.99；

第七步,使用簡(jiǎn)單選擇排序算法對(duì)第六步記錄的所有橋梁裂縫面元的橫縱坐標(biāo)分別進(jìn)行排序,將最小的橫縱坐標(biāo)組成一個(gè)坐標(biāo)點(diǎn),將最大的橫縱坐標(biāo)也組成一個(gè)坐標(biāo)點(diǎn),并將這兩個(gè)坐標(biāo)點(diǎn)代入下面的公式,求解出兩個(gè)新的坐標(biāo)點(diǎn),具體的公式如下所示:

x_h＝(x_l)*2ⁿ

y_h＝(y_l)*2ⁿ

其中坐標(biāo)(x_l,y_l)為低分辨率圖片上確定的位置坐標(biāo),坐標(biāo)(x_h,y_h)為高分辨率圖片確定的位置坐標(biāo),n代表圖像高斯金字塔向下采樣的次數(shù),通常n的值為2；

第八步,根據(jù)第七步求解出來(lái)的兩個(gè)新的坐標(biāo)點(diǎn)在高分辨率圖片上確定一個(gè)矩形區(qū)域,并且將這個(gè)矩形區(qū)域設(shè)置為ROI感興趣區(qū)域；確定矩形區(qū)域的方法是:調(diào)用開(kāi)源計(jì)算機(jī)視覺(jué)庫(kù)OpenCv中的rectangle()這個(gè)函數(shù),傳入步驟七的兩個(gè)新的坐標(biāo)點(diǎn)(即矩形區(qū)域左上角和右下角的坐標(biāo)),便可得到矩形區(qū)域；

第九步,利用訓(xùn)練好的DBCC分類模型和窗口滑動(dòng)算法在1024*1024分辨率的圖片上進(jìn)行橋梁裂縫的檢測(cè),在橋梁裂縫檢測(cè)的過(guò)程中,記錄所有的橋梁裂縫面元的橫縱坐標(biāo),并且,在這一過(guò)程中,統(tǒng)計(jì)橋梁裂縫面元圖像的個(gè)數(shù),并且將這一統(tǒng)計(jì)數(shù)記為N；

第十步,使用簡(jiǎn)單選擇排序算法對(duì)第九步記錄的所有的橋梁裂縫面元的橫縱坐標(biāo)進(jìn)行排序,并且挑選出最小的橫縱坐標(biāo)和最大的橫縱坐標(biāo)組成兩個(gè)新的位置坐標(biāo)點(diǎn),然后根據(jù)這兩個(gè)新的位置坐標(biāo)點(diǎn)在高分辨率圖片上畫一個(gè)矩形區(qū)域,該矩形區(qū)域和這兩個(gè)新的坐標(biāo)點(diǎn)就標(biāo)識(shí)出了橋梁裂縫在橋梁裂縫圖片中的位置；

第十一步,將橋梁裂縫檢測(cè)過(guò)程中統(tǒng)計(jì)出來(lái)的橋梁裂縫面元的數(shù)據(jù)N帶入下面的公式就可以求解出橋梁裂縫的面積,具體的公式如下所示:

area_crack＝N*W*H

其中area_crack為最終求解出來(lái)的橋梁裂縫的面積,N代表橋梁裂縫面元的個(gè)數(shù),W為橋梁裂縫面元的寬度,H為橋梁裂縫面元的高度。

本發(fā)明首先利用窗口滑動(dòng)算法將橋梁圖像切分為較小的橋梁裂縫面元圖像和橋梁背景面元圖像；同時(shí),根據(jù)基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的DBCC分類模型,對(duì)橋梁背景面元圖像和橋梁裂縫面元圖像進(jìn)行識(shí)別；然后,DBCC模型結(jié)合窗口滑動(dòng)算法在整幅橋梁裂縫圖像上進(jìn)行橋梁裂縫的檢測(cè)定位；最后,采用圖像金字塔和ROI區(qū)域相結(jié)合的搜索策略對(duì)算法進(jìn)行加速。與傳統(tǒng)的裂縫檢測(cè)定位方法相比,本發(fā)明提出的橋梁裂縫檢測(cè)定位方法不僅具有更好的檢測(cè)效果和更強(qiáng)的泛化能力,而且本發(fā)明的檢測(cè)定位方法是直接基于彩色圖像進(jìn)行的,這也是傳統(tǒng)的裂縫檢測(cè)定位方法所不具備的特點(diǎn)。

實(shí)施例2:

下面參照?qǐng)D1-圖4,使用具體的數(shù)據(jù)詳細(xì)敘述本發(fā)明:

第一步,利用圖像采集設(shè)備采集五種不同背景紋理、不同材質(zhì)的橋梁裂縫圖片,采集的圖片總數(shù)為2000張,并且將所有的圖片歸一化為1024*1024分辨率的圖片；

第二步,將這2000張圖片分為2個(gè)數(shù)據(jù)集,人工擴(kuò)增數(shù)據(jù)集和測(cè)試數(shù)據(jù)集,每個(gè)數(shù)據(jù)集1000張；

第三步,使用W*H固定大小的窗口在人工擴(kuò)增數(shù)據(jù)集中的1000張圖片上不重疊的進(jìn)行滑動(dòng),同時(shí),將滑動(dòng)窗口覆蓋下的橋梁裂縫圖片的小切片作為一個(gè)ROI感興趣區(qū)域。其中,包含橋梁背景的小切片圖像稱為橋梁背景面元,包含橋梁裂縫的小切片稱為橋梁裂縫面元,具體過(guò)程如公式(11)所示:

其中,W和H為滑動(dòng)窗口的寬和高,坐標(biāo)(imgRoiL_x,imgRoiL_y)為ROI區(qū)域的左上角點(diǎn)坐標(biāo),坐標(biāo)(imgRoiR_x,imgRoiR_y)為ROI區(qū)域的右下角點(diǎn)坐標(biāo),其中i和j的計(jì)算如公式(12)所示:

其中,src Im g_w，src Im g_h,分別為被窗口滑動(dòng)的橋梁裂縫圖片的寬和高,令srcImg_w＝srcImg_h＝1024pixel；

第四步,通過(guò)挑選,標(biāo)記,構(gòu)成一個(gè)擁有55000張圖片,16*16像素大小的RGB數(shù)據(jù)集,并將這55000張小圖片分為兩類,橋梁裂縫面元和橋梁背景面元。并且分為訓(xùn)練集(裂縫面元10000張,橋梁背景面元40000張)和驗(yàn)證集(裂縫面元1000張,橋梁背景面元4000張)；

第五步,利用上一步求得的訓(xùn)練集,驗(yàn)證集在caffe這一深度學(xué)習(xí)框架下對(duì)DBCC分類模型進(jìn)行訓(xùn)練,從而使得DBCC分類模型可以正確的識(shí)別橋梁裂縫面元和橋梁背景面元；

第六步,隨機(jī)的從測(cè)試數(shù)據(jù)集中讀取一張橋梁裂縫圖片,首先使用高斯圖像金字塔對(duì)讀進(jìn)來(lái)的1024*1024分辨率的圖片進(jìn)行兩次下采樣,得到一幅256*256分辨率的橋梁裂縫圖片；

第七步,利用訓(xùn)練好的DBCC分類模型結(jié)合本發(fā)明中提出的改進(jìn)的窗口滑動(dòng)算法在上一步求得的256*256的橋梁裂縫圖片上進(jìn)行橋梁裂縫的檢測(cè)；在這個(gè)檢測(cè)的過(guò)程中,將DBCC分類模型識(shí)別出來(lái)的所有的橋梁裂縫面元圖片的左上角坐標(biāo)和右下角坐標(biāo)記錄下來(lái)；等待檢測(cè)過(guò)程完成之后,利用排序算法分別對(duì)記錄的所有坐標(biāo)的橫縱坐標(biāo)進(jìn)行排序,并將最小的橫縱坐標(biāo)和最大的橫縱坐標(biāo)組合成兩個(gè)坐標(biāo)點(diǎn)；

第八步,將上述求得的兩個(gè)坐標(biāo)點(diǎn)帶入下面的公式(13)求得兩個(gè)新的坐標(biāo)點(diǎn),通過(guò)這兩個(gè)新的坐標(biāo)點(diǎn)就可以確定一個(gè)完全包含橋梁裂縫的矩形區(qū)域,將這個(gè)矩形區(qū)域設(shè)置為ROI區(qū)域。具體的公式(13)如下所示:

其中坐標(biāo)(xl,yl)為低分辨率圖片上確定的位置坐標(biāo),(xh,yh)為高分辨率圖片確定的位置坐標(biāo),n代表圖像高斯金字塔向下采樣的次數(shù)；

第九步,利用訓(xùn)練好的DBCC分類模型結(jié)合窗口滑動(dòng)算法在上述求得的ROI區(qū)域進(jìn)行橋梁裂縫的檢測(cè),將DBCC分類模型識(shí)別出來(lái)的橋梁裂縫面元用小標(biāo)識(shí)框標(biāo)識(shí)出來(lái),最終所有小標(biāo)示框標(biāo)識(shí)出來(lái)的圖形即為所要檢測(cè)的橋梁裂縫,檢測(cè)結(jié)果可以參考圖3；

第十步,在上一步進(jìn)行橋梁裂縫檢測(cè)的時(shí)候,在檢測(cè)的過(guò)程中,將由DBCC分類模型識(shí)別出來(lái)的所有的橋梁裂縫面元的橫縱坐標(biāo)記錄下來(lái),等待橋梁裂縫檢測(cè)完畢之后,使用簡(jiǎn)單選擇排序算法分別對(duì)所有的橫縱坐標(biāo)進(jìn)行排序,然后選取最小的橫縱坐標(biāo)組成一個(gè)坐標(biāo)點(diǎn),選取最大的橫縱坐標(biāo)組成一個(gè)坐標(biāo)點(diǎn),并且基于這兩個(gè)坐標(biāo)點(diǎn),在被檢測(cè)橋梁裂縫圖片上確定一個(gè)矩形區(qū)域,并使用矩形標(biāo)識(shí)框?qū)⑦@一矩形區(qū)域標(biāo)識(shí)出來(lái)并且將這兩個(gè)點(diǎn)的坐標(biāo)作為結(jié)果返回,最終,這個(gè)矩形區(qū)域所在的位置就是橋梁裂縫的位置,通過(guò)這樣的方法,也就確定了橋梁裂縫在圖片中的位置,即實(shí)現(xiàn)了橋梁裂縫的定位,具體定位效果可以參考圖4；

第十一步,在第十步進(jìn)行橋梁裂縫檢測(cè)的過(guò)程中,統(tǒng)計(jì)DBCC模型在橋梁裂縫圖片中識(shí)別出來(lái)的橋梁裂縫面元個(gè)數(shù),并將橋梁裂縫面元的個(gè)數(shù)記為N,由于本創(chuàng)新中的橋梁裂縫面元的尺寸為16*16像素大小的小圖片,所以公式(14)中的W和H均為16pixel,最終,根據(jù)公式(14)求解出橋梁裂縫的裂縫面積area_crack,面積的最終單位為像素(pixel)，具體的計(jì)算如公式(14)所示:

area_crack＝N*W*H (14)

其中area_crack為最終求解出來(lái)的橋梁裂縫的面積,N代表橋梁裂縫面元的個(gè)數(shù),W為橋梁裂縫面元的寬度,H為橋梁裂縫面元的高度。

實(shí)施例3：

本實(shí)施例公開(kāi)了一種基于CNN深度學(xué)習(xí)的DBCC分類模型構(gòu)建方法,包括以下步驟:

(1)以卷積方式將輸入的原始圖片與第一卷積層中的所有卷積核進(jìn)行卷積求和,得到第一卷積層的特征映射圖；

(2)在第一卷積層后添加一Relu激活函數(shù)；

(3)在第一卷積層后添加一用于圖片明亮度矯正的局部響應(yīng)值歸一化層,所述局部響應(yīng)值歸一化層提升了網(wǎng)絡(luò)的識(shí)別效果；

(4)將第一卷積層的特征映射圖在第一池化層中進(jìn)行下采樣,降低分辨率并選取優(yōu)秀的特征,作為第一池化層的特征映射圖；

(5)在第二卷積層上以卷積方式將第一池化層的特征映射圖與第二卷積層中的所有卷積核進(jìn)行卷積求和,得到第二卷積層的特征映射圖,將第二卷積層的特征映射圖在第二池化層中進(jìn)行下采樣,降低分辨率并選取優(yōu)秀的特征,作為第二池化層的特征映射圖；

(6)在第二池化層后添加一Relu激活函數(shù)后在第三卷積層上以卷積方式將第二池化層的特征映射圖與第三卷積層中的所有卷積核進(jìn)行卷積求和,得到第三卷積層的特征映射圖,將第三卷積層的特征映射圖在第三池化層中進(jìn)行下采樣,降低分辨率并選取優(yōu)秀的特征,作為第三池化層的特征映射圖；

(7)在第三池化層后添加一Relu激活函數(shù)后在第四卷積層上以卷積方式將第三池化層的特征映射圖與第四卷積層中的所有卷積核進(jìn)行卷積求和,得到第四卷積層的特征映射圖；

(8)在第四卷積層后添加一Relu激活函數(shù)后將第四卷積層的特征映射圖輸出至第一全連接層,并且,在第一全連接層后添加用于防止過(guò)擬合的Dropout層；

(9)將步驟八中Dropout層得到的特征映射圖輸出至第二全連接層,在所述第二全連接層后采用一softmax loss函數(shù)作為損失函數(shù),最后一層即輸出橋梁背景面元和橋梁裂縫面元在本次識(shí)別過(guò)程中所屬類別的概率；

上述(1)至(9)中,卷積層具體的計(jì)算過(guò)程如公式(31)所示:

其中,X^(l-1)為第層的特征映射,W^(l)為當(dāng)前卷積層的卷積核,b^(l)為偏置項(xiàng),f為激活函數(shù),X^(l)為第卷積層最終得到的特征映射；

設(shè)當(dāng)前層包含N個(gè)大小為的特征映射圖,卷積核大小為(Kx,Ky),卷積核在x和y方向上的滑動(dòng)步長(zhǎng)為Sx和Sy,為了最終結(jié)果除為整數(shù),可以對(duì)當(dāng)前層的特征映射圖添加大小為pad的邊界,使得特征映射圖經(jīng)過(guò)卷積之后,卷積的結(jié)果可以完全落在圖片內(nèi)部,則卷積后特征映射圖的大小為具體計(jì)算過(guò)程如公式(32)所示:

其中,l表示當(dāng)前層數(shù),l-1表示前一層。

上述(1)至(9)中,池化層的主要作用是對(duì)特征映射圖進(jìn)行下采樣,降低特征映射圖的分辨率并且選取優(yōu)秀的特征。池化層不僅可以顯著減少神經(jīng)元的個(gè)數(shù),而且還使得模型具有更好的抗噪能力。

設(shè)子采樣函數(shù)為down(X^l),子采樣函數(shù)通常有兩種:最大池化(Maximum Pooling)和平均池化(Average Pooling),具體計(jì)算如公式(33)所示:

其中,a_i為池化區(qū)域的神經(jīng)元,R_k為池化區(qū)域神經(jīng)元的集合,|R_k|為池化區(qū)域神經(jīng)元的總個(gè)數(shù),poolmax(R_k)為池化區(qū)域所有神經(jīng)元的最大值,pool avg(R_k)為池化區(qū)域所有神經(jīng)元的值的平均值。輸出特征映射圖大小的計(jì)算和卷積層的類似,具體計(jì)算公式可參考公式(32)。

為了增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力,本實(shí)施例引入了連續(xù)的非線性激活函數(shù)(Activation Function)。網(wǎng)絡(luò)中一般采用的激活函數(shù)有sigmod函數(shù)和rectifier(Relu)函數(shù)。具體計(jì)算如公式(34)所示:

由于激活函數(shù)Relu一般被認(rèn)為有生物上的解釋,并且Relu已經(jīng)被證明比sigmod函數(shù)的擬合效果更好。因此,DBCC模型中的激活函數(shù)選擇使用Relu激活函數(shù)。

將第一卷積層的特征映射圖作為輸入，經(jīng)過(guò)Relu激活函數(shù)的計(jì)算，得到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的第一卷積層特征映射圖，將增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的第一卷積層特征映射圖作為輸入，經(jīng)過(guò)局部響應(yīng)值歸一化層，得到提升網(wǎng)絡(luò)識(shí)別效果的第一卷積層特征映射圖。

將第二池化層的特征映射圖作為輸入，經(jīng)過(guò)Relu激活函數(shù)的計(jì)算，得到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的第二池化層特征映射圖；將第三池化層的特征映射圖作為輸入，經(jīng)過(guò)Relu激活函數(shù)的計(jì)算，得到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的第三池化層特征映射圖；將第四卷積層的特征映射圖作為輸入，經(jīng)過(guò)Relu激活函數(shù)的計(jì)算，得到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的第四卷積層特征映射圖；將第一全連接層的特征映射圖作為輸入，經(jīng)過(guò)Relu激活函數(shù)的計(jì)算，得到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力的第一全連接層特征映射圖。

將第二全連接層的特征映射圖作為輸入，經(jīng)過(guò)softmax loss函數(shù)的計(jì)算，得到橋梁背景面元和橋梁裂縫面元在本次識(shí)別過(guò)程中所屬類別的概率。

圖5中,In表示輸入的圖片數(shù)據(jù),C表示卷積層,P表示池化層,FC表示全連接層,S表示softmax函數(shù),Out表示輸出,Relu表示激活函數(shù)Relu,LRN表示局部響應(yīng)值歸一化,D表示Dropout層。

本實(shí)施例還公開(kāi)了一種基于CNN深度學(xué)習(xí)的DBCC分類模型,包括4層卷積層、3層池化層和2層全連接層,該DBCC分類模型采用softmax loss函數(shù)作為損失函數(shù),第一卷積層、第四卷積層、第二池化層、第三池化層、第一全連接層后面各添加了一個(gè)激活函數(shù)(RELU),并且,在第一卷積層后面添加局部響應(yīng)值歸一化層LRN,在第一全連接層后面添加dropout層。

具體地,DBCC首先使用了4層卷積層(C1～C4),3層池化層(P1～P3),2層全連接層(FC1～FC2),最后采用softmax loss函數(shù)(S)作為損失函數(shù)。在C1,C4,P2,P3,FC1后面各加一個(gè)激活函數(shù)(RELU),同時(shí),在第一卷積層后面添加LRN層,FC1后面添加dropout層。最后一層輸出橋梁背景面元和裂縫面元這兩類面元,每一類所對(duì)應(yīng)的概率值。卷積核數(shù)目從32開(kāi)始,每經(jīng)過(guò)一次卷積層,卷積核的數(shù)目翻倍。直到256為止。偏置項(xiàng)值初始化為0.1。

在卷積層,每一個(gè)卷積核都可以被看成一個(gè)特征提取器,卷積層中每一幅輸出的特征映射圖(Feature Map)都可以被看成輸入圖像經(jīng)過(guò)一個(gè)卷積核進(jìn)行特征提取之后的結(jié)果,但是通過(guò)對(duì)各卷積層的輸出結(jié)果進(jìn)行可視化對(duì)比可知,并不是每一個(gè)卷積核都可以成功提取輸入圖像的特征,從而得到有效的特征表達(dá)(特征映射圖)。因此,為了增強(qiáng)卷積層的表示能力,對(duì)輸入圖像的特征進(jìn)行充分的提取,和CIFAR10模型相比,DBCC模型在各卷積層都使用了更多的卷積核。

LRN完成了一種“鄰近抑制”操作,對(duì)局部輸入?yún)^(qū)域進(jìn)行了歸一化操作.可以用于圖片明亮度的矯正,而橋梁裂縫圖片由于光照,陰影等因素,會(huì)出現(xiàn)圖片亮度不均的問(wèn)題,因此,和CIFAR10模型相比,BDCC模型添加了局部響應(yīng)值歸一化層LRN,添加LRN層會(huì)提升網(wǎng)絡(luò)的識(shí)別效果。

Dropout是指在訓(xùn)練模型時(shí),隨機(jī)的讓網(wǎng)絡(luò)中某些隱含層的節(jié)點(diǎn)暫時(shí)不工作,不工作的那些節(jié)點(diǎn)可以暫時(shí)的認(rèn)為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分,但是它們的權(quán)重保留下來(lái)(暫時(shí)不更新),而下次樣本輸入的時(shí)候,隨機(jī)的選擇,它們可能又可以工作。所以,每一次的樣本輸入,都相當(dāng)于隨機(jī)選取了一個(gè)不同的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練,但是這些不同的網(wǎng)絡(luò)卻共同訓(xùn)練出了共享的權(quán)值。因此,Dropout可以看做是不同學(xué)習(xí)模型之間組合的一種替代方法,而使用不同的模型訓(xùn)練同一樣本又是防止過(guò)擬合的一種方法,因此,Dropout可以有效的防止過(guò)擬合。由于訓(xùn)練DBCC模型的數(shù)據(jù)集較小,因此,采用更大概率的Dropout進(jìn)行補(bǔ)償,Dropout取值0.55。

實(shí)驗(yàn)結(jié)果表明,網(wǎng)絡(luò)的深度在一定條件下,越深結(jié)果越好,因此,針對(duì)16*16pixel大小的橋梁裂縫面元和橋梁背景面元圖片,為了盡可能的加深網(wǎng)絡(luò)結(jié)構(gòu)的深度,DBCC模型對(duì)特征映射圖添加了大小為2pixel的邊距,以避免原本尺寸就小的橋梁裂縫面元和橋梁背景面元圖片的尺寸減小過(guò)快。

本實(shí)施例中,優(yōu)選DBCC分類模型的四層卷積層每一層所采用的卷積核的數(shù)量分別為:32、64、128、256。

本實(shí)施例的DBCC分類模型采用全模型網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)在每個(gè)卷積層中使用更多的卷積核以及添加LRN,使用dropout加深網(wǎng)絡(luò)深度,使得該DBCC分類模型在識(shí)別16*16pixel分辨率的小圖片時(shí),識(shí)別精度高。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明,不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō),在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干簡(jiǎn)單推演或替換,都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。