本發(fā)明屬于計(jì)算機(jī)視覺(jué)的圖像分割領(lǐng)域，涉及超像素聚類(lèi)及多種神經(jīng)網(wǎng)絡(luò)的特征提取，具體涉及毫米波雷達(dá)云圖的超像素預(yù)處理并通過(guò)全卷積神經(jīng)網(wǎng)絡(luò)fcn和卷積神經(jīng)網(wǎng)絡(luò)cnn的特征提取，提出了一種基于fcn_cnn的毫米波雷達(dá)云圖分割方法。

背景技術(shù)：

圖像分割是圖像處理中的關(guān)鍵技術(shù)之一。圖像分割從20世紀(jì)70年代開(kāi)始就很受人們的重視，發(fā)展至今其應(yīng)用領(lǐng)域已經(jīng)非常廣泛了。主要表現(xiàn)在：軍事研究領(lǐng)域，比如通過(guò)圖像分割實(shí)現(xiàn)軍事目標(biāo)定位和戰(zhàn)場(chǎng)分析等；醫(yī)學(xué)影像領(lǐng)域，比如通過(guò)圖象分割來(lái)輔助分析器官和病情等；交通監(jiān)控領(lǐng)域，比如通過(guò)監(jiān)控圖像的分割輔助車(chē)輛目標(biāo)檢測(cè)和車(chē)牌識(shí)別等；氣象分析領(lǐng)域，通過(guò)對(duì)遙感或雷達(dá)等獲取的有關(guān)天氣圖像的分割，實(shí)現(xiàn)作物生長(zhǎng)情況分析以及天氣預(yù)測(cè)等。

本發(fā)明的圖像分割算法主要是針對(duì)氣象領(lǐng)域的毫米波雷達(dá)云圖。該毫米波雷達(dá)是中國(guó)氣象探測(cè)中心，西安華騰微波有限責(zé)任公司以及成都信息工程大學(xué)聯(lián)合研制的ka波段全固態(tài)多普勒雷達(dá)。其發(fā)射的毫米波采用垂直頂空瞄準(zhǔn)式的工作方式，利用云粒子對(duì)電磁波的散射特性，即可獲得雷達(dá)的回波強(qiáng)度。接著通過(guò)偽彩色映射的原理，根據(jù)特定的顏色查找表，將不同的回波強(qiáng)度轉(zhuǎn)換為彩色圖像，即為圖1所示的毫米波雷達(dá)云圖。本發(fā)明分割的云圖是連續(xù)12小時(shí)的云演變圖，橫向表示時(shí)間，縱向表示高度。但是由于低空噪音或者是空氣中的氣溶膠粒子的影響會(huì)使雷達(dá)回波強(qiáng)度變?nèi)?，在云圖中表現(xiàn)為雜波成分如圖1中的方框部分所示，這里我們稱(chēng)雜波成分與白色背景區(qū)域?yàn)椤胺窃啤辈糠?。為了?zhǔn)確的天氣預(yù)測(cè)，本發(fā)明的主要目的是實(shí)現(xiàn)云圖的分割，即“非云”和“云”區(qū)域的分割。

迄今為止，圖像分割算法被提出了上千種，主要包括傳統(tǒng)分割算法和基于深度學(xué)習(xí)的分割方法。傳統(tǒng)的分割算法包括閾值分割法、邊緣分割法、區(qū)域分割法等。閾值分割法一般是根據(jù)一個(gè)或多個(gè)合適的閾值來(lái)確定每個(gè)像素的特征，例如：2009年楊俊等人在文章“基于自適應(yīng)閾值的地基云自動(dòng)檢測(cè)算法”中基于不同波段的比值、差值和歸一化等處理，實(shí)現(xiàn)了固定閾值和自適應(yīng)閾值的對(duì)比實(shí)驗(yàn)，但是地基觀測(cè)的云圖一般只有藍(lán)色的天空和白色的云兩類(lèi)，沒(méi)有雜質(zhì)擾動(dòng)，這一點(diǎn)不同于本發(fā)明中所研究的毫米波雷達(dá)云圖。邊緣分割法是利用圖像灰度級(jí)的不連續(xù)性，檢測(cè)不均勻區(qū)域間的邊界實(shí)現(xiàn)圖像分割。2008年zhang等人在文章“bubbleimagesegmentationofgas/liquidtwo-phaseflowbasedonimprovedcannyoperator”通過(guò)引入改進(jìn)的canny算子使氣泡圖像的邊緣光滑、無(wú)噪，從而實(shí)現(xiàn)分割。但是氣泡之類(lèi)的圖像是規(guī)則的，而本專(zhuān)利毫米波雷達(dá)云圖的“云”或“非云”區(qū)域是不規(guī)則的，不利于實(shí)現(xiàn)邊緣檢測(cè)。區(qū)域分割方法有區(qū)域生長(zhǎng)和分裂合并，根據(jù)像素之間的特征相似性實(shí)現(xiàn)像素的合并，例如corincomaniciu等人在2002年文章“meanshift:arobustapproachtowardfeaturespaceanalysis”中將特征空間比較相近的像素算成一個(gè)區(qū)域，這樣不斷的聚類(lèi)實(shí)現(xiàn)圖像的分割。但是本發(fā)明中所用的毫米波云圖中“云”或“非云”分布不一定是連續(xù)的，鄰域內(nèi)的像素聚類(lèi)之后仍無(wú)法判斷是云還是非云。近年來(lái)，隨著大數(shù)據(jù)和gpu的飛快發(fā)展，基于深度學(xué)習(xí)的圖像分割方法也在不斷涌現(xiàn)。2014年wu等人在文章“earlyhierarchicalcontextslearnedbyconvolutionalnetworksforimagesegmentation”提出了基于多分辨率的cnn網(wǎng)絡(luò)，通過(guò)充分結(jié)合圖像上下文的信息來(lái)實(shí)現(xiàn)圖像的精確分割。2015年long等人在文章“fullyconvolutionalnetworksforsemanticsegmentation”中實(shí)現(xiàn)全卷積網(wǎng)絡(luò)的圖像分割算法，將cnn網(wǎng)絡(luò)中全連接層替換為卷積層大大降低了運(yùn)算時(shí)間。

本發(fā)明巧妙地用傳統(tǒng)的超像素方法對(duì)毫米波雷達(dá)云圖做了聚類(lèi)預(yù)處理，接著結(jié)合基于深度學(xué)習(xí)的圖像分割算法提出了fcn_cnn分割方法，fcn_cnn方法實(shí)現(xiàn)了毫米波雷達(dá)云圖的快速、精確分割。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種基于深度學(xué)習(xí)的快速、精確的毫米波雷達(dá)云圖分割方法。

本發(fā)明的分割系統(tǒng)框架如圖2所示。首先通過(guò)超像素對(duì)云圖如圖2(a)中每個(gè)像素點(diǎn)的近鄰域?qū)崿F(xiàn)相應(yīng)的聚類(lèi)，聚類(lèi)結(jié)果如圖2(c)所示；同時(shí)將云圖輸入到不同步長(zhǎng)的全卷積神經(jīng)網(wǎng)絡(luò)fcn32s和fcn8s中，具體fcn網(wǎng)絡(luò)框架如圖3所示，實(shí)現(xiàn)云圖的預(yù)分割結(jié)果分別如圖2(b)、2(d)所示；統(tǒng)計(jì)分析發(fā)現(xiàn)fcn32s結(jié)果圖2(b)中的黑色區(qū)域一定是云圖中的一部分“非云”區(qū)域，fcn8s結(jié)果圖2(d)中的白色區(qū)域一定是云圖中的一部分“云”區(qū)域。剩下不確定的區(qū)域(灰色區(qū)域)需要通過(guò)深度卷積神經(jīng)網(wǎng)絡(luò)cnn來(lái)確定，需要選取超像素區(qū)域中的關(guān)鍵像素來(lái)代表超像素區(qū)域的特征，像素的特征通過(guò)cnn網(wǎng)絡(luò)圖4所示來(lái)判斷是“云”或者是“非云”，即可知道不確定部分的超像素區(qū)域是“云”還是“非云”。

本發(fā)明的具體技術(shù)方案和步驟介紹如下：

1、超像素聚類(lèi)

在本發(fā)明中，為了提高云圖特征的學(xué)習(xí)效率以及保持像素特征的一致性，預(yù)先用均值偏移(mean-shift)方法對(duì)云圖中像素進(jìn)行聚類(lèi)操作，也就是說(shuō)在后續(xù)的云圖分割過(guò)程中是以超像素為基本單位而不是像素。

均值偏移的超像素分割是一種特征空間的聚類(lèi)。輸入是一個(gè)5維空間，包括2維的(x,y)物理坐標(biāo)和3維的(l,u,v)顏色坐標(biāo)，基于高斯核函數(shù)核密度估計(jì)的無(wú)參數(shù)統(tǒng)計(jì)迭代方法。具體算法是先算出當(dāng)前像素點(diǎn)的偏移均值，將該點(diǎn)移動(dòng)到此偏移均值，然后以此為新的起始點(diǎn)，繼續(xù)移動(dòng)直至收斂。偏移均值之后分配標(biāo)簽到每一個(gè)像素，具有相同標(biāo)簽的像素具有相同的視覺(jué)特征，所以在一個(gè)超級(jí)像素中的每一個(gè)像素都是相似的，如紋理性、顏色強(qiáng)度等。如圖2(c)所示，這樣的超像素處理之后能夠很好的保持云圖局部一致性，可以避免云圖像邊界一些有歧義的像素點(diǎn)。

2、全卷積神經(jīng)網(wǎng)絡(luò)(fullyconvolutionalnetworks，fcn)介紹及模型訓(xùn)練

本發(fā)明用全卷積神經(jīng)網(wǎng)絡(luò)fcn來(lái)實(shí)現(xiàn)云圖的預(yù)分割，采用的fcn結(jié)構(gòu)框架如圖3所示，fcn網(wǎng)絡(luò)是對(duì)卷積神經(jīng)網(wǎng)絡(luò)cnn(圖4)在分割領(lǐng)域的一個(gè)延伸，是一種圖像語(yǔ)義分割，對(duì)一張圖片上的所有像素點(diǎn)進(jìn)行分類(lèi)。cnn都是對(duì)整張圖片進(jìn)行分類(lèi),而全卷積網(wǎng)絡(luò)是對(duì)一張圖片中的每個(gè)像素進(jìn)行分類(lèi)，可以達(dá)到對(duì)圖片特定部分的分類(lèi)，比較適合分割?；赾nn的分割方法的做法通常是：為了對(duì)一個(gè)像素分類(lèi)，使用該像素周?chē)囊粋€(gè)圖像塊作為cnn的輸入用于訓(xùn)練和預(yù)測(cè)。這種方法存儲(chǔ)開(kāi)銷(xiāo)很大。例如對(duì)每個(gè)像素使用的圖像塊的大小為a*a，則所需的存儲(chǔ)空間為原來(lái)圖像的a²倍。還有計(jì)算效率低下，相鄰的像素塊基本上是重復(fù)的，針對(duì)每個(gè)像素塊逐個(gè)計(jì)算卷積，這種計(jì)算也有很大程度上的重復(fù)。cnn的分類(lèi)網(wǎng)絡(luò)最后會(huì)使用全連接層，將原來(lái)二維的特征圖轉(zhuǎn)換成一維的固定長(zhǎng)度的特征向量，這就丟失了空間信息，最后輸出一個(gè)特定長(zhǎng)度的向量，表示輸入圖像屬于每一類(lèi)的概率，以此作為分類(lèi)的標(biāo)簽。

與cnn在卷積層之后使用全連接層得到固定長(zhǎng)度的特征向量進(jìn)行分類(lèi)不同，fcn可以接受任意尺寸的輸入圖像，然后通過(guò)反卷積層對(duì)最后一個(gè)卷積層的特征圖進(jìn)行上采樣,使它恢復(fù)到輸入圖像相同的尺寸，從而可以對(duì)每個(gè)像素都產(chǎn)生了一個(gè)預(yù)測(cè),同時(shí)保留了原始輸入圖像中的空間信息,最后在與輸入圖等大小的特征圖上對(duì)每個(gè)像素進(jìn)行分類(lèi)，逐像素地分類(lèi)計(jì)算損失,相當(dāng)于每個(gè)像素對(duì)應(yīng)一個(gè)訓(xùn)練樣本。

因?yàn)檎Z(yǔ)義分割需要輸出整張圖片的分割圖，所以要求網(wǎng)絡(luò)中的特征圖至少是二維的，這樣才能通過(guò)上采樣還原到輸入圖片的同等大小。這就需要替換掉全連接層，改換為卷積層，而這就是卷積化。fcn將cnn中的全連接層轉(zhuǎn)化成卷積層，對(duì)應(yīng)cnn網(wǎng)絡(luò)fcn把最后三層全連接層轉(zhuǎn)換成為三層卷積層。在圖4的cnn結(jié)構(gòu)中，有5個(gè)卷積層，兩個(gè)全連接f1、f2層分別是一個(gè)長(zhǎng)度為4096的一維向量，f3是長(zhǎng)度為2的一維向量，分別對(duì)應(yīng)2個(gè)不同類(lèi)別(云或者是非云)的概率。圖3中的fcn將這3個(gè)全連接層轉(zhuǎn)換為卷積層，卷積核的大小(通道數(shù)，寬，高)分別為(4096,1,1)、(4096,1,1)、(2,1,1)。

cnn中輸入的圖像大小是統(tǒng)一固定調(diào)整成227*227大小的圖像，其中pooling層是池化層，池化層縮小了特征圖的尺寸。第一層pooling后為55*55，第二層pooling后圖像大小為27*27，第五層pooling后的圖像大小為13*13。而fcn輸入的圖像是h*w大小，第二層pooling后變?yōu)樵瓐D大小的1/4，第三層變?yōu)樵瓐D大小的1/8，第四層變?yōu)樵瓐D大小的1/16，第五層變?yōu)樵瓐D大小的1/32。fcn32s網(wǎng)絡(luò)是直接對(duì)1/32尺寸的特征圖進(jìn)行上采樣操作，但是這樣的操作還原的圖片僅僅是conv5中的卷積核中的特征。直接上采樣32步長(zhǎng)的精度問(wèn)題不能夠很好地還原圖像當(dāng)中的特征，所以把conv4中的卷積核對(duì)上一次上采樣之后的圖進(jìn)行反卷積補(bǔ)充細(xì)節(jié)，最后把conv3中的卷積核對(duì)剛才上采樣之后的圖像進(jìn)行再次反卷積補(bǔ)充細(xì)節(jié)，最后就完成了整個(gè)圖像的還原，這就是上采樣8步長(zhǎng)，也就是fcn8s網(wǎng)絡(luò)。

在訓(xùn)練fcn模型階段，輸入fcn網(wǎng)絡(luò)的圖像是原圖像h*w不需要任何裁剪等處理的。從云圖數(shù)據(jù)庫(kù)中隨機(jī)選取e(800<e<1200)張圖像做訓(xùn)練集，隨機(jī)選取f(300<f<400)張圖片做測(cè)試集。在fcn模型的訓(xùn)練過(guò)程中需要引入監(jiān)督信號(hào)，也就是標(biāo)簽，標(biāo)簽的制作本專(zhuān)利是基于photoshop等畫(huà)圖軟件手工將云圖像中“云”和“非云”區(qū)域用黑白顏色區(qū)分，然后將其轉(zhuǎn)化成h*w的二值矩陣(“云”部分用1表示，“非云”部分用0表示)。訓(xùn)練過(guò)程中批大小設(shè)為e(e可以是1、2、4或者是更大，根據(jù)服務(wù)器內(nèi)存的情況而定)，即每迭代一次處理e張?jiān)茍D，fcn32s的初始學(xué)習(xí)率為0.001，fcn8s的初始學(xué)習(xí)率為10^-13，而且是每迭代f(f是幾百或者幾千，根據(jù)網(wǎng)絡(luò)的訓(xùn)練情況而定)次，學(xué)習(xí)率下降10倍。隨著迭代次數(shù)的增加，當(dāng)網(wǎng)絡(luò)的損失率趨于穩(wěn)定的時(shí)候可以停止訓(xùn)練。

3、fcn模型實(shí)現(xiàn)云圖的預(yù)分割

在語(yǔ)義分割中，我們需要輸出和輸入圖像尺寸相同的分割圖片,因此需要對(duì)特征圖進(jìn)行上采樣。為了得到和輸入圖像尺寸完全相同的特征圖,fcn中還使用了裁剪操作來(lái)輔助反卷積操作，因?yàn)榉淳矸e操作并不是將特征圖恰好放大整數(shù)倍。但是直接將全卷積后的結(jié)果進(jìn)行反卷積，得到的結(jié)果往往比較粗糙。如圖3所示，1/32尺寸的特征圖進(jìn)行上采樣操作之后，因?yàn)檫@樣的操作還原的圖片僅僅是conv5中的卷積核中的特征。所以的得到的分割結(jié)果是如圖2(b)所示的fcn32s粗分割結(jié)果，可以看出此結(jié)果的云圖沒(méi)有輪廓信息，丟失了很多的細(xì)節(jié)信息。

限于直接上采樣32步長(zhǎng)的精度問(wèn)題不能夠很好地還原圖像當(dāng)中的特征，因此想到向前迭代。把conv4中的卷積核對(duì)上一次上采樣之后的圖進(jìn)行反卷積補(bǔ)充細(xì)節(jié)(相當(dāng)于一個(gè)插值過(guò)程)，最后把conv3中的卷積核對(duì)剛才上采樣之后的圖像進(jìn)行再次反卷積補(bǔ)充細(xì)節(jié)，最后就完成了整個(gè)圖像的還原。最后得到上采樣8步長(zhǎng)的云圖分割結(jié)果如圖2(d)所示，通過(guò)比較fcn32s以及fcn8s的結(jié)果可以看出，fcn8s相比較于fcn32s而言更能學(xué)到細(xì)節(jié)信息，fcn8s粗分割結(jié)果的輪廓比f(wàn)cn32s的更清晰，但是同時(shí)也可以看出fcn8s的結(jié)果也處于“欠學(xué)習(xí)”狀態(tài)，精度還遠(yuǎn)遠(yuǎn)不夠。

分析原因，首先是fcn直接上采樣本來(lái)就是一個(gè)比較粗糙的分割方法，再加上本專(zhuān)利研究的毫米波雷達(dá)云圖中雜波等因素的影響，使得即使是結(jié)合了上下文語(yǔ)義的fcn云圖分割效果還是不理想。但是結(jié)合fcn32s和fcn8s的結(jié)果可以得到的結(jié)論是：fcn32s在預(yù)測(cè)非云區(qū)域(黑色)比較準(zhǔn)確，fcn8s在預(yù)測(cè)云區(qū)域(白色)比較準(zhǔn)確?？梢越y(tǒng)計(jì)第i()個(gè)超像素區(qū)域的像素總數(shù)ni，記超像素i在fcn8s中的白色像素總數(shù)yi，在fcn32s中的黑色像素總數(shù)xi，既不屬于fcn8s中的白色像素也不屬于fcn32s黑色像素(即像素在fcn8s中是黑色的，在fcn32s中是白色的)總數(shù)記為ui。比較xi、yi、ui，若xi＝max{xi,yi,ui}，則該超像素區(qū)域的屬性就確定為“非云”；若yi＝max{xi,yi,ui}，則該超像素區(qū)域的屬性就確定為“云”；否則，其他的情況(比如ui＝max{xi,yi,ui}、或xi＝y(tǒng)i等情況)下的超像素區(qū)域(圖3的灰色區(qū)域)都通過(guò)cnn判斷。

所以接下來(lái)考慮將cnn與fcn結(jié)合，對(duì)于fcn無(wú)法預(yù)測(cè)的少數(shù)超像素區(qū)域通過(guò)cnn預(yù)測(cè)分類(lèi)(云或者是非云)。下邊將詳細(xì)介紹cnn部分。

4、卷積神經(jīng)網(wǎng)絡(luò)(cnn)的介紹及模型訓(xùn)練

cnn網(wǎng)絡(luò)對(duì)本分割方法的貢獻(xiàn)是補(bǔ)充預(yù)測(cè)fcn網(wǎng)絡(luò)無(wú)法判斷(或者是判斷不準(zhǔn)確)的少數(shù)超像素區(qū)域的云分類(lèi)。本發(fā)明采用的cnn結(jié)構(gòu)如圖4所示，該網(wǎng)絡(luò)是通過(guò)對(duì)alexnet網(wǎng)絡(luò)(alex等人在imagenet數(shù)據(jù)庫(kù)分類(lèi)上提出的)微調(diào)得到的。網(wǎng)絡(luò)的訓(xùn)練和測(cè)試等具體情況將在第4部分介紹。該網(wǎng)絡(luò)由5個(gè)卷積層、3個(gè)全連接層組成，并且只給卷積層c1、卷積層c2和卷積層c5加入了pooling層。f1到f3是全連接層，相當(dāng)于在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)分類(lèi)器。需要注意的一點(diǎn)是，我們將alexnet中f3的神經(jīng)元個(gè)數(shù)由1000調(diào)為2，原因是為了實(shí)現(xiàn)“云”和“非云”的2分類(lèi)。

在訓(xùn)練和測(cè)試cnn網(wǎng)絡(luò)階段，為了保證在采集訓(xùn)練集圖像時(shí)，能夠采集到整張?jiān)茍D的每一個(gè)像素點(diǎn)，我們對(duì)云圖a*b的四個(gè)邊界分別延伸c個(gè)像素，使圖像變?yōu)?a+2c)*(b+2c)。在圖像(a+2c)*(b+2c)中，以像素點(diǎn)a為中心，以2c為邊長(zhǎng)裁剪出2c*2c的圖像子塊。cnn網(wǎng)絡(luò)從d(5<d<15)張?jiān)茍D中隨機(jī)選取了g(800<g<1000)個(gè)2c*2c的圖像子塊來(lái)訓(xùn)練，隨機(jī)選取h(200<h<300)個(gè)2c*2c的圖像子塊來(lái)測(cè)試。同fcn，在訓(xùn)練cnn網(wǎng)絡(luò)的時(shí)候需要監(jiān)督信號(hào)的輸入，也就是所謂的標(biāo)簽。標(biāo)簽的制作過(guò)程本專(zhuān)利是利用photoshop等畫(huà)圖軟件手工將云圖像中“云”和“非云”區(qū)域用黑白顏色區(qū)分，并轉(zhuǎn)化為txt文件，放成列表的形式(每個(gè)像素點(diǎn)是“云”還是“非云”用0或1表示)，用于監(jiān)督cnn網(wǎng)絡(luò)的訓(xùn)練。在訓(xùn)練過(guò)程中，批大小設(shè)為g(同fcn的訓(xùn)練，根據(jù)輸入圖片的大小以及內(nèi)存情況而定)，即每迭代一次處理g條數(shù)據(jù)，學(xué)習(xí)率初始值為0.01，且每迭代h(同fcn一般是幾百或者幾千)次學(xué)習(xí)率下降10倍。最后訓(xùn)練模型的準(zhǔn)確度如圖5所示，當(dāng)訓(xùn)練集數(shù)據(jù)庫(kù)為900左右的時(shí)候，模型的準(zhǔn)確率達(dá)到最高，即97.26％。

5、cnn網(wǎng)絡(luò)云圖分割

cnn網(wǎng)絡(luò)來(lái)輔助fcn網(wǎng)絡(luò)實(shí)現(xiàn)分割的具體做法是：首先將每一個(gè)待cnn處理的超像素轉(zhuǎn)化為一個(gè)1維的向量，由于超像素具有良好的特征保持特性，在一個(gè)超像素中的像素有相似的視覺(jué)特征、顏色、紋理和強(qiáng)度等，所以可以在一個(gè)超像素中選取n(n為奇數(shù))個(gè)關(guān)鍵的像素點(diǎn)來(lái)代替表示該超像素的特性。關(guān)鍵像素點(diǎn)的選取可以采用等間隔或者是隨機(jī)取點(diǎn)(圖8是實(shí)驗(yàn)的對(duì)比結(jié)果)。在此過(guò)程中為了避免選取的關(guān)鍵像素點(diǎn)落到超像素的邊界，因?yàn)楫?dāng)關(guān)鍵像素點(diǎn)落到“云”和“非云”超像素的邊界的時(shí)候既可以表達(dá)“云”也可以表達(dá)“非云”屬性，所以本發(fā)明指出需要對(duì)每一個(gè)超像素進(jìn)行腐蝕處理之后再選取關(guān)鍵像素點(diǎn)。具體的腐蝕處理如下：

其中i表示待腐蝕的超像素，l表示的是結(jié)構(gòu)元素如公式(2)所示，把結(jié)構(gòu)元素l平移b后得到lb，若lb包含于i，我們記下這個(gè)b點(diǎn)，所有滿足上述條件的b點(diǎn)組成的集合稱(chēng)做i被l腐蝕的結(jié)果。也就是說(shuō)用結(jié)構(gòu)元素l掃描超像素i中的每一個(gè)像素，用結(jié)構(gòu)元素與其覆蓋的二值圖像做“與”操作，如果都為1，結(jié)果圖像中的該像素為1，否則為0，也就是會(huì)使原來(lái)的圖像縮小一圈。

接下來(lái)，以上述選取的n個(gè)關(guān)鍵像素點(diǎn)為中心，裁剪出2c*2c的正方形子塊，輸入到第4部分訓(xùn)練好的cnn網(wǎng)絡(luò)中來(lái)學(xué)習(xí)該關(guān)鍵像素點(diǎn)的屬性(云或者是非云)。最后對(duì)n個(gè)關(guān)鍵像素點(diǎn)的特征屬性進(jìn)行投票處理，如果大于或等于(n+1)/2個(gè)關(guān)鍵像素點(diǎn)被cnn判斷為“云”，則該超像素所在的區(qū)域是“云”區(qū)域，如果大于或者等于(n+1)/2個(gè)關(guān)鍵像素點(diǎn)被cnn判斷為“非云”，則該超像素所在的區(qū)域是“非云”區(qū)域。

6、分割評(píng)價(jià)

本發(fā)明采用像素誤差、交并比(intersection-over-union，iou)以及分割所需時(shí)間的評(píng)價(jià)方法來(lái)衡量分割結(jié)果。

像素誤差是給定待測(cè)的分割標(biāo)簽l以及其真實(shí)的數(shù)據(jù)標(biāo)簽l’，則：

ppixcel＝||l-l'||²(3)

其中||*||代表漢明距，它反映了分割圖片與原始標(biāo)簽的像素相似度。按照這種方法，本發(fā)明最后將云圖的分割準(zhǔn)確度達(dá)到了99.564％。

iou是系統(tǒng)分割結(jié)果與分割標(biāo)簽圖的重合程度。即分割結(jié)果與分割標(biāo)簽圖的交集比上它們的并集，公式表示為：

本發(fā)明實(shí)現(xiàn)云圖分割的交并比達(dá)到81.235％。

在處理速度上，fcn-cnn平均分割一張圖像只需要19.984秒，

圖5是實(shí)驗(yàn)結(jié)果的對(duì)比，可以發(fā)現(xiàn)而精度與mr-cnn、sp-cnn相當(dāng)，但是速度相比于mr-cnn提高了880倍，相比于sp-cnn提高了1.657倍，足以證明本方法是一種高效的毫米波雷達(dá)云圖分割方法。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)勢(shì)：

1.保持局部一致性

fcn-cnn中超像素的預(yù)處理既保持了云圖像中的局部一致性，又避免了云區(qū)域邊界像素的歧義。

2.云圖分割準(zhǔn)確度高

與其他分割相比較，本發(fā)明通過(guò)深度學(xué)習(xí)中的多種網(wǎng)絡(luò)：fcn和cnn來(lái)自動(dòng)學(xué)習(xí)云圖的深層特征，不局限于云圖的表層特征。最后云圖的分割準(zhǔn)確率達(dá)到99.564％。

3.云圖分割速度快

在超像素預(yù)處理的同時(shí)，結(jié)合全卷積網(wǎng)絡(luò)的實(shí)現(xiàn)快速預(yù)分割，不確定的部分通過(guò)cnn補(bǔ)充，這不僅提高了分割精度，還大大提高了云圖的分割效率，平均每張?jiān)茍D需要19.98秒。

附圖說(shuō)明

圖1為本發(fā)明中的原始毫米波雷達(dá)云圖像示例；

圖2為本發(fā)明所設(shè)計(jì)的整體分割框架；

圖3為fcn網(wǎng)絡(luò)框架；

圖4為cnn網(wǎng)絡(luò)框架；

圖5為cnn模型的訓(xùn)練準(zhǔn)確率曲線圖；

圖6為本發(fā)明與其他分割方法的結(jié)果對(duì)比圖：

(a)原始圖像，(b)超像素聚類(lèi)結(jié)果，

(c)標(biāo)簽參考圖，(d)閾值法分割結(jié)果，

(e)mr-cnn分割結(jié)果，(f)fcn32s分割結(jié)果，

(g)fcn8s分割結(jié)果，(h)sp-cnn分割結(jié)果，

(i)fcn-cnn分割結(jié)果

圖7為不同分割方法在像素誤差和處理時(shí)間上的結(jié)果統(tǒng)計(jì)圖；

圖8不同關(guān)鍵點(diǎn)選取方法在在像素誤差和處理時(shí)間上的對(duì)比圖；

具體實(shí)施方式

本發(fā)明基于超像素預(yù)處理并結(jié)合深度學(xué)習(xí)的多種網(wǎng)絡(luò)結(jié)構(gòu)fcn、cnn，實(shí)現(xiàn)了快速、精確的毫米波雷達(dá)云圖分割方法。

本發(fā)明的具體技術(shù)方案和步驟介紹如下：

1、超像素聚類(lèi)

在本發(fā)明中，為了提高云圖特征的學(xué)習(xí)效率以及保持像素特征的一致性，預(yù)先用均值偏移(mean-shift)方法對(duì)云圖中像素進(jìn)行聚類(lèi)操作，也就是說(shuō)在后續(xù)的云圖分割過(guò)程中是以超像素為基本單位而不是像素。

均值偏移的超像素分割是一種特征空間的聚類(lèi)。輸入是一個(gè)5維空間，包括2維的(x,y)物理坐標(biāo)和3維的(l,u,v)顏色坐標(biāo)，基于高斯核函數(shù)核密度估計(jì)的無(wú)參數(shù)統(tǒng)計(jì)迭代方法。具體算法是先算出當(dāng)前像素點(diǎn)的偏移均值，將該點(diǎn)移動(dòng)到此偏移均值，然后以此為新的起始點(diǎn)，繼續(xù)移動(dòng)直至收斂。偏移均值之后分配標(biāo)簽到每一個(gè)像素，具有相同標(biāo)簽的像素具有相同的視覺(jué)特征，所以在一個(gè)超級(jí)像素中的每一個(gè)像素都是相似的，如紋理性、顏色強(qiáng)度等。如圖2(c)所示，這樣的超像素處理之后能夠很好的保持云圖局部一致性，可以避免云圖像邊界一些有歧義的像素點(diǎn)。

2、全卷積神經(jīng)網(wǎng)絡(luò)(fullyconvolutionalnetworks，fcn)介紹及模型訓(xùn)練

本發(fā)明用全卷積神經(jīng)網(wǎng)絡(luò)fcn來(lái)實(shí)現(xiàn)云圖的預(yù)分割，采用的fcn結(jié)構(gòu)框架如圖3所示，fcn網(wǎng)絡(luò)是對(duì)卷積神經(jīng)網(wǎng)絡(luò)cnn(圖4)在分割領(lǐng)域的一個(gè)延伸，是一種圖像語(yǔ)義分割，對(duì)一張圖片上的所有像素點(diǎn)進(jìn)行分類(lèi)。cnn都是對(duì)整張圖片進(jìn)行分類(lèi),而全卷積網(wǎng)絡(luò)是對(duì)一張圖片中的每個(gè)像素進(jìn)行分類(lèi)，可以達(dá)到對(duì)圖片特定部分的分類(lèi)，比較適合分割?；赾nn的分割方法的做法通常是：為了對(duì)一個(gè)像素分類(lèi)，使用該像素周?chē)囊粋€(gè)圖像塊作為cnn的輸入用于訓(xùn)練和預(yù)測(cè)。這種方法存儲(chǔ)開(kāi)銷(xiāo)很大。例如本專(zhuān)利中對(duì)每個(gè)像素使用的圖像塊的大小為57*57，則所需的存儲(chǔ)空間為原來(lái)圖像的3249倍。還有計(jì)算效率低下，相鄰的像素塊基本上是重復(fù)的，針對(duì)每個(gè)像素塊逐個(gè)計(jì)算卷積，這種計(jì)算也有很大程度上的重復(fù)。cnn的分類(lèi)網(wǎng)絡(luò)最后會(huì)使用全連接層，將原來(lái)二維的特征圖轉(zhuǎn)換成一維的固定長(zhǎng)度的特征向量，這就丟失了空間信息，最后輸出一個(gè)特定長(zhǎng)度的向量，表示輸入圖像屬于每一類(lèi)的概率，以此作為分類(lèi)的標(biāo)簽。

與cnn在卷積層之后使用全連接層得到固定長(zhǎng)度的特征向量進(jìn)行分類(lèi)不同，fcn可以接受任意尺寸的輸入圖像，然后通過(guò)反卷積層對(duì)最后一個(gè)卷積層的特征圖進(jìn)行上采樣,使它恢復(fù)到輸入圖像相同的尺寸，從而可以對(duì)每個(gè)像素都產(chǎn)生了一個(gè)預(yù)測(cè),同時(shí)保留了原始輸入圖像中的空間信息,最后在與輸入圖等大小的特征圖上對(duì)每個(gè)像素進(jìn)行分類(lèi)，逐像素地分類(lèi)計(jì)算損失,相當(dāng)于每個(gè)像素對(duì)應(yīng)一個(gè)訓(xùn)練樣本。

因?yàn)檎Z(yǔ)義分割需要輸出整張圖片的分割圖，所以要求網(wǎng)絡(luò)中的特征圖至少是二維的，這樣才能通過(guò)上采樣還原到輸入圖片的同等大小。這就需要替換掉全連接層，改換為卷積層，而這就是卷積化。fcn將cnn中的全連接層轉(zhuǎn)化成卷積層，對(duì)應(yīng)cnn網(wǎng)絡(luò)fcn把最后三層全連接層轉(zhuǎn)換成為三層卷積層。在圖4的cnn結(jié)構(gòu)中，有5個(gè)卷積層，兩個(gè)全連接f1、f2層分別是一個(gè)長(zhǎng)度為4096的一維向量，f3是長(zhǎng)度為2的一維向量，分別對(duì)應(yīng)2個(gè)不同類(lèi)別(云或者是非云)的概率。圖3中的fcn將這3個(gè)全連接層轉(zhuǎn)換為卷積層，卷積核的大小(通道數(shù)，寬，高)分別為(4096,1,1)、(4096,1,1)、(2,1,1)。

cnn中輸入的圖像大小是統(tǒng)一固定調(diào)整成227*227大小的圖像，其中pooling層是池化層，池化層縮小了特征圖的尺寸。第一層pooling后為55*55，第二層pooling后圖像大小為27*27，第五層pooling后的圖像大小為13*13。而fcn輸入的圖像是719*490大小，第二層pooling后變?yōu)樵瓐D大小的1/4，第三層變?yōu)樵瓐D大小的1/8，第四層變?yōu)樵瓐D大小的1/16，第五層變?yōu)樵瓐D大小的1/32。fcn32s網(wǎng)絡(luò)是直接對(duì)1/32尺寸的特征圖進(jìn)行上采樣操作，但是這樣的操作還原的圖片僅僅是conv5中的卷積核中的特征。直接上采樣32步長(zhǎng)的精度問(wèn)題不能夠很好地還原圖像當(dāng)中的特征，所以把conv4中的卷積核對(duì)上一次上采樣之后的圖進(jìn)行反卷積補(bǔ)充細(xì)節(jié)，最后把conv3中的卷積核對(duì)剛才上采樣之后的圖像進(jìn)行再次反卷積補(bǔ)充細(xì)節(jié)，最后就完成了整個(gè)圖像的還原，這就是上采樣8步長(zhǎng)，也就是fcn8s網(wǎng)絡(luò)。

在訓(xùn)練fcn網(wǎng)路階段，輸入fcn網(wǎng)絡(luò)的圖像是原圖像719*490不需要任何裁剪等處理的。從云圖數(shù)據(jù)庫(kù)中隨機(jī)選取1000張圖像做訓(xùn)練集，隨機(jī)選取395張圖片做測(cè)試集。在fcn模型的訓(xùn)練過(guò)程中需要引入監(jiān)督信號(hào)，也就是標(biāo)簽，標(biāo)簽的制作本專(zhuān)利是基于photoshop等畫(huà)圖軟件手工將云圖像中“云”和“非云”區(qū)域用黑白顏色區(qū)分，然后將其轉(zhuǎn)化成719*490的二值矩陣(“云”部分用1表示，“非云”部分用0表示)。在本專(zhuān)利的實(shí)驗(yàn)過(guò)程中，訓(xùn)練過(guò)程中批大小設(shè)為1(由于輸入的是整張?jiān)茍D原圖，數(shù)據(jù)比較大)，即每迭代一次處理1張?jiān)茍D，fcn32s的初始學(xué)習(xí)率為0.001，fcn8s的初始學(xué)習(xí)率為10^-13，而且是每迭代2000次，學(xué)習(xí)率下降10倍。隨著迭代次數(shù)的增加，當(dāng)網(wǎng)絡(luò)的損失率趨于穩(wěn)定的時(shí)候可以停止訓(xùn)練。

3、fcn模型實(shí)現(xiàn)云圖的預(yù)分割

在語(yǔ)義分割中，我們需要輸出和輸入圖像尺寸相同的分割圖片,因此需要對(duì)特征圖進(jìn)行上采樣。為了得到和輸入圖像尺寸完全相同的特征圖,fcn中還使用了裁剪操作來(lái)輔助反卷積操作，因?yàn)榉淳矸e操作并不是將特征圖恰好放大整數(shù)倍。但是直接將全卷積后的結(jié)果進(jìn)行反卷積，得到的結(jié)果往往比較粗糙。如圖3所示，1/32尺寸的特征圖進(jìn)行上采樣操作之后，因?yàn)檫@樣的操作還原的圖片僅僅是conv5中的卷積核中的特征。所以的得到的分割結(jié)果是如圖2(b)所示的fcn32s粗分割結(jié)果，可以看出此結(jié)果的云圖沒(méi)有輪廓信息，丟失了很多的細(xì)節(jié)信息。

限于直接上采樣32步長(zhǎng)的精度問(wèn)題不能夠很好地還原圖像當(dāng)中的特征，因此想到向前迭代。把conv4中的卷積核對(duì)上一次上采樣之后的圖進(jìn)行反卷積補(bǔ)充細(xì)節(jié)(相當(dāng)于一個(gè)插值過(guò)程)，最后把conv3中的卷積核對(duì)剛才上采樣之后的圖像進(jìn)行再次反卷積補(bǔ)充細(xì)節(jié)，最后就完成了整個(gè)圖像的還原。最后得到上采樣8步長(zhǎng)的云圖分割結(jié)果如圖2(d)所示，通過(guò)比較fcn32s以及fcn8s的結(jié)果可以看出，fcn8s相比較于fcn32s而言更能學(xué)到細(xì)節(jié)信息，fcn8s粗分割結(jié)果的輪廓比f(wàn)cn32s的更清晰，但是同時(shí)也可以看出fcn8s的結(jié)果也處于“欠學(xué)習(xí)”狀態(tài)，精度還遠(yuǎn)遠(yuǎn)不夠。

分析原因，首先是fcn直接上采樣本來(lái)就是一個(gè)比較粗糙的分割方法，再加上本專(zhuān)利研究的毫米波雷達(dá)云圖中雜波等因素的影響，使得即使是結(jié)合了上下文語(yǔ)義的fcn云圖分割效果還是不理想。但是結(jié)合fcn32s和fcn8s的結(jié)果可以得到的結(jié)論是：fcn32s在預(yù)測(cè)非云區(qū)域(黑色)比較準(zhǔn)確，fcn8s在預(yù)測(cè)云區(qū)域(白色)比較準(zhǔn)確?？梢越y(tǒng)計(jì)第i()個(gè)超像素區(qū)域的像素總數(shù)ni，記超像素i在fcn8s中的白色像素總數(shù)yi，在fcn32s中的黑色像素總數(shù)xi，既不屬于fcn8s中的白色像素也不屬于fcn32s黑色像素(即像素在fcn8s中是黑色的，在fcn32s中是白色的)總數(shù)記為ui。比較xi、yi、ui，若xi＝max{xi,yi,ui}，則該超像素區(qū)域的屬性就確定為“非云”；若yi＝max{xi,yi,ui}，則該超像素區(qū)域的屬性就確定為“云”；否則，其他的情況(比如ui＝max{xi,yi,ui}、或xi＝y(tǒng)i等情況)下的超像素區(qū)域(圖3的灰色區(qū)域)都通過(guò)cnn判斷。

所以接下來(lái)考慮將cnn與fcn結(jié)合，對(duì)于fcn無(wú)法預(yù)測(cè)的少數(shù)超像素區(qū)域通過(guò)cnn預(yù)測(cè)分類(lèi)(云或者是非云)。下邊將詳細(xì)介紹cnn部分。

4、卷積神經(jīng)網(wǎng)絡(luò)(cnn)的介紹及模型訓(xùn)練

cnn網(wǎng)絡(luò)對(duì)本分割方法的貢獻(xiàn)是補(bǔ)充預(yù)測(cè)fcn網(wǎng)絡(luò)無(wú)法判斷(或者是判斷不準(zhǔn)確)的少數(shù)超像素區(qū)域的云分類(lèi)。本發(fā)明采用的cnn結(jié)構(gòu)如圖4所示，該網(wǎng)絡(luò)是通過(guò)對(duì)alexnet網(wǎng)絡(luò)(alex等人在imagenet數(shù)據(jù)庫(kù)分類(lèi)上提出的)微調(diào)得到的。網(wǎng)絡(luò)的訓(xùn)練和測(cè)試等具體情況將在第4部分介紹。該網(wǎng)絡(luò)由5個(gè)卷積層、3個(gè)全連接層組成，并且只給卷積層c1、卷積層c2和卷積層c5加入了pooling層。f1到f3是全連接層，相當(dāng)于在五層卷積層的基礎(chǔ)上再加上一個(gè)三層的全連接神經(jīng)網(wǎng)絡(luò)分類(lèi)器。需要注意的一點(diǎn)是，我們將alexnet中f3的神經(jīng)元個(gè)數(shù)由1000調(diào)為2，原因是為了實(shí)現(xiàn)“云”和“非云”的2分類(lèi)。

在訓(xùn)練和測(cè)試cnn網(wǎng)絡(luò)階段，為了保證在采集訓(xùn)練集圖像時(shí)，能夠采集到整張?jiān)茍D的每一個(gè)像素點(diǎn)，我們對(duì)云圖719*490的四個(gè)邊界分別延伸28個(gè)像素，使圖像變?yōu)?75*546。在圖像775*546中，以任意像素點(diǎn)為中心，以56為邊長(zhǎng)裁剪出56*56的圖像子塊。cnn網(wǎng)絡(luò)從10張?jiān)茍D中隨機(jī)選取了900個(gè)2c*2c的圖像子塊來(lái)訓(xùn)練，隨機(jī)選取250個(gè)56*56的圖像子塊來(lái)測(cè)試。同fcn，在訓(xùn)練cnn網(wǎng)絡(luò)的時(shí)候需要監(jiān)督信號(hào)的輸入，也就是所謂的標(biāo)簽。標(biāo)簽的制作過(guò)程本專(zhuān)利是利用photoshop等畫(huà)圖軟件手工將云圖像中“云”和“非云”區(qū)域用黑白顏色區(qū)分，并轉(zhuǎn)化為txt文件，放成列表的形式(每個(gè)像素點(diǎn)是“云”還是“非云”用0或1表示)，用于監(jiān)督cnn網(wǎng)絡(luò)的訓(xùn)練。在訓(xùn)練過(guò)程中，批大小設(shè)為64，即每迭代一次處理64條數(shù)據(jù)，學(xué)習(xí)率初始值為0.01，且每迭代100次學(xué)習(xí)率下降10倍。最后訓(xùn)練模型的準(zhǔn)確度如圖5所示，當(dāng)訓(xùn)練集數(shù)據(jù)庫(kù)為900左右的時(shí)候，模型的準(zhǔn)確率達(dá)到最高，即97.26％。

5、cnn網(wǎng)絡(luò)云圖分割

cnn網(wǎng)絡(luò)來(lái)輔助fcn網(wǎng)絡(luò)實(shí)現(xiàn)分割的具體做法是：首先將每一個(gè)待cnn處理的超像素轉(zhuǎn)化為一個(gè)1維的向量，由于超像素具有良好的特征保持特性，在一個(gè)超像素中的像素有相似的視覺(jué)特征、顏色、紋理和強(qiáng)度等，本專(zhuān)利在一個(gè)超像素中等間隔選取5個(gè)關(guān)鍵(由于部分超像素內(nèi)像素個(gè)數(shù)不足7個(gè)，所以只做了1,3,5個(gè)關(guān)鍵點(diǎn)的對(duì)比實(shí)驗(yàn)，如圖8所示,等間隔選取5個(gè)關(guān)鍵點(diǎn)效果最好)的像素點(diǎn)來(lái)代替表示該超像素的特性。在此過(guò)程中為了避免選取的關(guān)鍵像素點(diǎn)落到超像素的邊界，因?yàn)楫?dāng)關(guān)鍵像素點(diǎn)落到“云”和“非云”超像素的邊界的時(shí)候既可以表達(dá)“云”也可以表達(dá)“非云”屬性，所以本發(fā)明指出需要對(duì)每一個(gè)超像素進(jìn)行腐蝕處理之后再選取關(guān)鍵像素點(diǎn)。具體的腐蝕處理如下：

其中i表示待腐蝕的超像素，l表示的是結(jié)構(gòu)元素如公式(2)所示，把結(jié)構(gòu)元素l平移b后得到lb，若lb包含于i，我們記下這個(gè)b點(diǎn)，所有滿足上述條件的b點(diǎn)組成的集合稱(chēng)做i被l腐蝕的結(jié)果。也就是說(shuō)用結(jié)構(gòu)元素l掃描超像素i中的每一個(gè)像素，用結(jié)構(gòu)元素與其覆蓋的二值圖像做“與”操作，如果都為1，結(jié)果圖像中的該像素為1，否則為0，也就是會(huì)使原來(lái)的圖像縮小一圈。

接下來(lái)，以上述選取的5個(gè)關(guān)鍵像素點(diǎn)為中心，裁剪出56*56的正方形子塊，輸入到第4部分訓(xùn)練好的cnn網(wǎng)絡(luò)中來(lái)學(xué)習(xí)該關(guān)鍵像素點(diǎn)的屬性(云或者是非云)。最后對(duì)5個(gè)關(guān)鍵像素點(diǎn)的特征屬性進(jìn)行投票處理，如果大于或等于3個(gè)關(guān)鍵像素點(diǎn)被cnn判斷為“云”，則該超像素所在的區(qū)域是“云”區(qū)域，如果大于或者等于3個(gè)關(guān)鍵像素點(diǎn)被cnn判斷為“非云”，則該超像素所在的區(qū)域是“非云”區(qū)域。

6、分割評(píng)價(jià)

本發(fā)明采用像素誤差、交并比(intersection-over-union，iou)以及分割所需時(shí)間的評(píng)價(jià)方法來(lái)衡量分割結(jié)果。

像素誤差是給定待測(cè)的分割標(biāo)簽l以及其真實(shí)的數(shù)據(jù)標(biāo)簽l’，則：

ppixcel＝||l-l'||²(3)

其中||*||代表漢明距，它反映了分割圖片與原始標(biāo)簽的像素相似度。按照這種方法，本發(fā)明最后將云圖的分割準(zhǔn)確度達(dá)到了99.564％。

iou是系統(tǒng)分割結(jié)果與分割標(biāo)簽圖的重合程度。即分割結(jié)果與分割標(biāo)簽圖的交集比上它們的并集，公式表示為：

本發(fā)明實(shí)現(xiàn)云圖分割的交并比達(dá)到81.235％。

在處理速度上，fcn-cnn平均分割一張圖像只需要19.984秒，

圖5是實(shí)驗(yàn)結(jié)果的對(duì)比，可以發(fā)現(xiàn)而精度與mr-cnn、sp-cnn相當(dāng)，但是速度相比于mr-cnn提高了880倍，相比于sp-cnn提高了1.657倍，足以證明本方法是一種高效的毫米波雷達(dá)云圖分割方法。