本發(fā)明屬于遙感圖像處理的目標(biāo)提取技術(shù)領(lǐng)域，特別涉及一種基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法。

背景技術(shù)：

在遙感圖像的判讀和解譯中，快速準(zhǔn)確地進(jìn)行目標(biāo)分割提取具有非常重要的作用，它可以為自動解譯提供重要的基礎(chǔ)信息，如可以通過目標(biāo)提取獲得目標(biāo)形狀等先驗信息，提高目標(biāo)識別的精度。另外，目標(biāo)粗提取的結(jié)果作為目標(biāo)檢測的候選內(nèi)容，可以很大地提高目標(biāo)檢測的效率。在低分辨率遙感圖像中的一些典型地物目標(biāo)、如農(nóng)田、湖泊、城鎮(zhèn)等，由于目標(biāo)的細(xì)節(jié)信息較少，且目標(biāo)間的紋理、顏色等特征區(qū)別較為明顯，我們利用這些特征通過簡單的圖像分割算法就可以獲得較好的目標(biāo)提取結(jié)果。在高分辨率遙感影像中，由于細(xì)節(jié)信息更加豐富，一些尺寸更小的目標(biāo)，如飛機(jī)、車輛、房屋等，逐步成為研究人員關(guān)注的重點。這些目標(biāo)本身的顏色和紋理變化較為多樣，且背景地物有時會呈現(xiàn)出與目標(biāo)相似的顏色紋理特征，另外由于圖像經(jīng)常受到成像噪聲、光照變化、天氣氣候等的影響，使得目標(biāo)邊界有時會與背景融合在一起、目標(biāo)與背景的對比度容易發(fā)生變化，因此單純利用圖像中的顏色、紋理、局部邊緣等低層特征無法有效地提取到目標(biāo)。

目標(biāo)的形狀先驗知識是一種典型的高層語義特征，與圖像低層特征相比，利用形狀先驗知識能夠顯著提高目標(biāo)分割提取的準(zhǔn)確性和穩(wěn)定性。利用局部的形狀先驗約束能夠更好地處理目標(biāo)局部缺失、模糊和陰影等問題，而全局形狀先驗?zāi)軌虮ＷC目標(biāo)提取結(jié)果的完整性，在目標(biāo)與背景的顏色、紋理等特征較為相近時準(zhǔn)確地提取目標(biāo)的整體輪廓。利用形狀先驗知識的關(guān)鍵是如何在目標(biāo)提取方法中融入形狀表示模型。在目標(biāo)形狀形變較小或較為固定的情況下，利用目標(biāo)局部或整體輪廓或二值形狀模板圖像等較為簡單的方法能夠取得較好的提取結(jié)果，如遙感圖像中的車輛目標(biāo)，其形狀多為矩形且變化較小，可利用矩形邊緣擬合的方法進(jìn)行提取。而當(dāng)目標(biāo)的形狀較為多樣且形變較大的情況下，這些簡單的方法無法取得較好的提取結(jié)果。利用基于主動形狀模型或水平集的方法雖然能在一定程度上解決這個問題，但基于主動形狀模型的方法需要人工設(shè)計的參數(shù)化形狀先驗表示模型，而基于水平集方法在形狀變化較大時建模結(jié)果不夠理想。利用馬爾科夫隨機(jī)場或條件隨機(jī)場等概率模型表示方法能較好的對圖像中相鄰像素的關(guān)系進(jìn)行建模，從而表達(dá)局部形狀約束，然而這種網(wǎng)絡(luò)無法直接構(gòu)建非臨近像素間的相互關(guān)系，因此難以對全局形狀進(jìn)行建模。近幾年，隨著深度學(xué)習(xí)方法的發(fā)展，研究人員開始利用多層神經(jīng)網(wǎng)絡(luò)進(jìn)行基于目標(biāo)形狀先驗的目標(biāo)提取，深度學(xué)習(xí)方法以多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)，深度神經(jīng)網(wǎng)絡(luò)模型中通常包含多個隱藏層，這些不同層的隱藏變量能夠更好地表達(dá)目標(biāo)形狀中從全局到局部的特征。這些方法的特點都是利用多層網(wǎng)絡(luò)模型來構(gòu)建圖像中的全局形狀特征，以克服局部形狀約束的不穩(wěn)定性，然而這些方法仍然需要結(jié)合人工設(shè)計的特征達(dá)到圖像分割、目標(biāo)提取的目的，因此如何利用基于深度學(xué)習(xí)中的非監(jiān)督特征學(xué)習(xí)方法進(jìn)行目標(biāo)形狀先驗的建模，以及利用形狀先驗?zāi)Ｐ偷哪繕?biāo)提取仍是一個需要研究的重點。

技術(shù)實現(xiàn)要素：

(一)要解決的技術(shù)問題

鑒于上述技術(shù)問題，本發(fā)明提供了一種基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法。

(二)技術(shù)方案

根據(jù)本發(fā)明的一個方面，提供了一種基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法，其特征在于，包括以下步驟：

s1：利用深度玻爾茲曼機(jī)進(jìn)行形狀先驗?zāi)Ｐ偷慕＃?/p>

s2：利用形狀先驗?zāi)Ｐ蛯Υ郎y圖像進(jìn)行目標(biāo)提取。

(三)有益效果

從上述技術(shù)方案可以看出，本發(fā)明基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法至少具有以下有益效果其中之一：

(1)本發(fā)明提出了一種融合深度玻爾茲曼機(jī)形狀先驗?zāi)Ｐ偷倪b感圖像目標(biāo)提取方法，降低了陰影、邊緣缺失等干擾因素對目標(biāo)形狀輪廓提取的影響；

(2)本發(fā)明采用一種基于深度玻爾茲曼機(jī)模型非監(jiān)督學(xué)習(xí)的方法進(jìn)行目標(biāo)形狀先驗特征的建模，使得這種特征能夠通過深度玻爾茲曼機(jī)參數(shù)迭代更新的方法自動優(yōu)化，避免了人工特征設(shè)計中參數(shù)選擇等問題帶來的不確定性；

(3)本發(fā)明采用了一種融合邊緣檢測子和區(qū)域像素均值差的函數(shù)作為圖像信息能量項，該能量項能在函數(shù)優(yōu)化的過程中自動消除圖像中陰影的影響。

附圖說明

圖1為本發(fā)明實施例遙感圖像目標(biāo)精細(xì)化提取方法的框架示意圖。

圖2為本發(fā)明實施例中飛機(jī)的目標(biāo)形狀樣本示例圖。

圖3為本發(fā)明實施例中形狀模板圖像對齊示例圖。

圖4為本發(fā)明實施例中利用深度玻爾茲曼機(jī)進(jìn)行形狀建模的示例圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚明白，以下結(jié)合具體實施例，并參照附圖，對本發(fā)明進(jìn)一步詳細(xì)說明。

在本發(fā)明的示例性實施例中，提供了一種基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法。圖1為本發(fā)明實施例遙感圖像目標(biāo)精細(xì)化提取方法的框架示意圖。如圖1所示，一種基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法，包括以下步驟：s1：利用深度玻爾茲曼機(jī)進(jìn)行形狀先驗?zāi)Ｐ偷慕?，其中，形狀先驗?zāi)Ｐ屯ㄟ^深度玻爾茲曼機(jī)參數(shù)迭代更新的方法進(jìn)行自動優(yōu)化；s2：利用形狀先驗?zāi)Ｐ蛯Υ郎y圖像進(jìn)行目標(biāo)提取。

在本實施例中，利用一個三層的神經(jīng)網(wǎng)絡(luò)作為形狀先驗?zāi)Ｐ?，并利用深度玻爾茲曼機(jī)的訓(xùn)練算法分別對一組給定的飛機(jī)目標(biāo)樣本形狀進(jìn)行建模。圖2為本發(fā)明實施例中飛機(jī)的目標(biāo)形狀樣本示例圖，如圖2所示，這些樣本為黑白二值圖像，可以看出飛機(jī)目標(biāo)具有類似的十字形結(jié)構(gòu)，但是不同類型目標(biāo)的形狀差別仍舊較大。在不考慮尺度因素下，飛機(jī)形狀之間最大的區(qū)別在于機(jī)翼和機(jī)身粗細(xì)，以及尾翼和發(fā)動機(jī)的形狀和布局。飛機(jī)目標(biāo)之間這種具有明顯的共同點以及區(qū)別特征的形狀結(jié)構(gòu)使得可以有效地利用多層神經(jīng)網(wǎng)絡(luò)模型進(jìn)行建模。

通常來說，形狀先驗?zāi)Ｐ湍軌蛴脙蓪犹卣鬟M(jìn)行表示：即低層局部特征(如邊緣、角點)和高層全局特征(如目標(biāo)部件或目標(biāo)本身)。具有不變性的低層局部特征能夠用在不同的目標(biāo)樣本上，而高層全局特征能夠?qū)D像內(nèi)容進(jìn)行描述，這種特征更適合處理有遮擋、噪聲的目標(biāo)或形狀。為了得到一個能夠?qū)Χ祱D像中的形狀進(jìn)行精確的全局和局部特征表示的模型，本實施例利用三層深度玻爾茲曼機(jī)對形狀先驗?zāi)Ｐ瓦M(jìn)行建模。

給定一組目標(biāo)形狀模板數(shù)據(jù)，在進(jìn)行形狀先驗?zāi)Ｐ徒Ｖ?，我們首先要對這些形狀模板做對齊處理，即保證形狀模板數(shù)據(jù)在尺度和位置上相近。具體來說，位置對齊是將形狀模板圖像的重心統(tǒng)一移動到形狀模板圖像的中心，重心的計算方式表示為：

其中x、y表示形狀模板圖像中的坐標(biāo)，s(x)、s(y)表示對應(yīng)坐標(biāo)處的像素值，u＝(xc,yc)表示形狀重心坐標(biāo)。

尺度對齊通過尺度歸一化完成，其計算過程如下：

其中sx和sy為圖像二維方向的尺度歸一化系數(shù)。在進(jìn)行對齊操作時，首先將重心移動到圖像中央，隨后對各個圖像按照尺度歸一化系數(shù)進(jìn)行縮放，達(dá)到尺度對齊的目的。圖3展示了形狀模板圖像對齊示例，其中圖3中的(a)行為對齊前圖像，(b)行為對齊后圖像。

在形狀模板圖像進(jìn)行對齊操作后，本實施例利用這些對齊的形狀模板圖像訓(xùn)練一個三層的深度玻爾茲曼機(jī)，具體訓(xùn)練算法如下：深度玻爾茲曼機(jī)的能量模型定義為：

其中，其中和v＝(v1,v2,…,vnv)^t表示第一隱藏層、第二隱藏層與可視層的狀態(tài)向量，θ＝{w¹,w²,a¹,a²,b}是模型參數(shù)，w¹和w²分別表示從可視層到第一個隱藏層、第一個隱藏層到第二個隱藏層的對稱連接權(quán)值矩陣，a¹、a²和b分別表示第一個隱藏層、第二個隱藏層和可視層的偏置項。該能量模型對可視層的邊緣概率為：

其中歸一化因子z又被稱為配分函數(shù)。該能量模型中各隱藏層節(jié)點的激活概率為：

σ(x)稱為激活函數(shù)，其形式為sigmoid函數(shù)。其中vi和hj¹分別表示第i個可視層節(jié)點與第j個第一隱藏層節(jié)點的狀態(tài)，wij¹表示權(quán)值矩陣w¹中連接第i個可視層節(jié)點與第j個第一隱藏層節(jié)點的權(quán)值，表示第m個第二隱藏層節(jié)點的狀態(tài)，表示權(quán)值矩陣w²中連接第j個第一隱藏層節(jié)點與第m個第二隱藏層節(jié)點的權(quán)值，和分別表示第一隱藏層偏置項a¹中的第j個元素和第二隱藏層偏置項a²中的第m個元素。

當(dāng)隱藏層節(jié)點的激活值確定后，利用產(chǎn)生式的采樣過程從可視層節(jié)點中生成一幅形狀模板的形狀圖像，該形狀圖像中某個點的像素為1的概率值通過如下激活函數(shù)計算：

其中，bi表示可視層偏置項b中的第i個元素。

對模型p(v；θ)進(jìn)行準(zhǔn)確的參數(shù)推導(dǎo)非常困難，hinton等利用與玻爾茲曼機(jī)參數(shù)推導(dǎo)類似的方法來訓(xùn)練深度玻爾茲曼機(jī)，其中參數(shù)梯度計算方法為：

其中h表示隱藏層的狀態(tài)向量，和分別表示模型關(guān)于數(shù)據(jù)經(jīng)驗分布和模型真實分布的期望。在限制玻爾茲曼機(jī)中，利用對比散度算法進(jìn)行這兩個分布的近似估計。

對每個訓(xùn)練數(shù)據(jù)v，隱藏層節(jié)點的后驗概率分布p(h|v；θ)將用一個近似后驗概率q(h|v；μ)代替，參數(shù)利用模型梯度的下界進(jìn)行迭代更新，其計算方法如下：

其中h(q)表示熵泛函。變分學(xué)習(xí)的特點是在最大化訓(xùn)練數(shù)據(jù)似然函數(shù)的同時，使近似函數(shù)和真實分布函數(shù)的kl散度盡可能小。雖然可以用近似方法進(jìn)行參數(shù)估計，但是對于深度玻爾茲曼機(jī)的訓(xùn)練來說，參數(shù)收斂仍比較緩慢，因此常利用逐層預(yù)訓(xùn)練的限制玻爾茲曼機(jī)參數(shù)來初始化深度玻爾茲曼機(jī)的參數(shù)，這種初始化能將參數(shù)控制在一個較為合理的范圍內(nèi)，保證較快的收斂速度。

在深度玻爾茲曼機(jī)中，學(xué)習(xí)得到的權(quán)值和偏置項利用能量公式p(v^,h¹,h²；θ)定義了可能目標(biāo)形狀的概率分布。另外，這種三層網(wǎng)絡(luò)的學(xué)習(xí)能高效的對形狀先驗的多層結(jié)構(gòu)特征進(jìn)行表達(dá)。網(wǎng)絡(luò)的低層能對形狀的局部特征進(jìn)行編碼，并將這些特征輸入到更高層網(wǎng)絡(luò)，以便提取更為復(fù)雜的形狀特征。

下面具體介紹利用形狀先驗?zāi)Ｐ瓦M(jìn)行目標(biāo)提取。

當(dāng)給定一幅圖像時，網(wǎng)絡(luò)通過自下而上和自上而下的產(chǎn)生式采樣過程獲得一幅形狀圖像，如圖4所示，這幅形狀圖像的每個像素點是一個介于0到1的值，表示該像素位于目標(biāo)形狀內(nèi)的概率，圖4中通過不同的灰度值來顯示。從圖4中可以看出，三個測試圖像中，第一個為正常的飛機(jī)形狀模板，第二個表示為某一樣本形狀部分丟失的示例，第三個可以表示任意選取的形狀。從計算的結(jié)果可以看出，基于深度學(xué)習(xí)建模方法得到的形狀先驗十分接近于樣本形狀，且在圖像目標(biāo)部分缺失或畸變較大時仍能得到較為穩(wěn)定的形狀先驗約束。這種特點可以很好地用來引導(dǎo)目標(biāo)提取過程取得與樣本形狀接近的結(jié)果。利用形狀先驗?zāi)Ｐ瓦M(jìn)行目標(biāo)提取就是如何將式(5)這一形狀先驗融入到目標(biāo)的分割提取中去。這里的圖像能量模型定義為：

e(α)＝ei(q)+γes(α)(12)

其中q表示形狀圖像，ei(q)和es(α)代表圖像能量項和形狀能量項，γ表示形狀約束的權(quán)重系數(shù)。

圖像能量項ei(q)定義為：

f(x)和g(x)可以是任意形式的函數(shù)，從這個能量定義可以發(fā)現(xiàn)，f(x)和g(x)分別表示目標(biāo)形狀內(nèi)部和外部背景的響應(yīng)函數(shù)。另外h(x)的定義為：

它是一個目標(biāo)邊緣指示項，其中i表示輸入的圖像。

對于公式(12)中的形狀能量項，利用基于深度玻爾茲曼機(jī)的能量模型進(jìn)行表示，即令es(α)＝edbm(q,h¹,h²)。這種形狀約束項有許多優(yōu)點，首先，這種模型能夠用于具有任意形狀先驗的數(shù)據(jù)集建模，這種三層網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)能夠?qū)δ繕?biāo)形狀建立高質(zhì)量的概率分布模型，其次，這種形狀先驗項利用兩層的特征表示模型，這能夠靈活地建模全局和局部結(jié)構(gòu)特征組合約束，隱藏層的數(shù)量是一個可調(diào)的參數(shù)，它的大小可以根據(jù)不同的任務(wù)需求進(jìn)行設(shè)置，最后，這個形狀約束項的形式與形狀概率表示方法類似，因此容易利用相關(guān)優(yōu)化方法進(jìn)行求解。

當(dāng)深度玻爾茲曼機(jī)訓(xùn)練完成后，得到了形狀先驗?zāi)Ｐ蛥?shù)θ＝{w¹,w²,a¹,a²,b}。利用splitbregman優(yōu)化算法來進(jìn)行形狀q的優(yōu)化和估計，仿照規(guī)則化函數(shù)和公式(12)，我們定義如下能量函數(shù)：

公式(15)右邊第一項為邊緣指示項，仿照公式(14)，將其定義為：

公式(15)右邊第二項中的u表示陰影約束，μ表示陰影約束項的權(quán)重系數(shù)。與自然場景圖像類似，目標(biāo)陰影在遙感圖像中也較為常見，不同的是由于垂直成像的特點，遙感圖像中的目標(biāo)陰影與成像時間和角度的關(guān)系較為規(guī)律，在某些應(yīng)用中，如建筑物高度提取和重建等，這種陰影信息提供了一種較好的輔助解譯手段，然而對于目標(biāo)檢測識別等應(yīng)用來說，這些陰影信息會給目標(biāo)解譯帶來干擾，尤其是對基于目標(biāo)輪廓形狀信息的目標(biāo)提取來說，陰影會帶來更多的邊緣，降低目標(biāo)提取的準(zhǔn)確度，因此在這類應(yīng)用中，需要考慮消除目標(biāo)陰影帶來的影響。目前遙感圖像陰影區(qū)域提取的研究較多，但由于這些方法多為基于光譜特征選擇的方法，因此對于復(fù)雜背景的魯棒性較差，難以在實際應(yīng)用中完整地提取目標(biāo)的陰影區(qū)域，另外，遙感圖像中目標(biāo)的陰影區(qū)域形狀變化一般較大，這使得利用陰影信息進(jìn)行自動目標(biāo)提取的算法設(shè)計較為困難。針對以上問題，為了減少和去除圖像中陰影信息的影響，上述陰影約束定義為：

其中ε>0，mo和mb分別表示圖像中目標(biāo)形狀區(qū)域和形狀外背景區(qū)域的像素值均值，基于概率形式的定義，通過選擇一個τ∈[0,1]，利用ωτ＝{x：q(x)≥τ}來決定目標(biāo)和背景區(qū)域的劃分。這一項利用了遙感圖像中的目標(biāo)與背景之間的對比度差異，由于遙感圖像中的陰影與目標(biāo)相比通常較暗，因此在能量函數(shù)優(yōu)化過程中，公式(17)中的分母項會逐漸增大，即形狀外背景區(qū)域與形狀內(nèi)目標(biāo)區(qū)域的像素值差異增大，可以將陰影區(qū)域排除在形狀區(qū)域外。

基于公式(15)中的能量函數(shù)，在splitbregman優(yōu)化算法引入輔助變量令則得到優(yōu)化問題表示如下：

其中：

本發(fā)明基于深度玻爾茲曼機(jī)的目標(biāo)提取的過程是，當(dāng)給定一幅待測圖像時，首先利用產(chǎn)生式過程在可視層節(jié)點產(chǎn)生一幅形狀圖像，將這幅形狀圖像作為優(yōu)化方法中形狀先驗?zāi)Ｐ偷某跏贾担ㄟ^優(yōu)化公式(15)中的能量函數(shù)達(dá)到目標(biāo)提取的目的。方法的詳細(xì)過程總結(jié)如下：

輸入已訓(xùn)練完成的深度玻爾茲曼機(jī)參數(shù)θ＝{w¹,w²,a¹,a²,b}，新圖像i及其采樣得到的形狀圖像

初始化：令

1)計算第一個隱藏層激活概率h¹←σ(q^tw¹+w²h²+a¹)；

2)計算第二個隱藏層激活概率

3)固定隱藏層激活概率，優(yōu)化更新目標(biāo)形狀

3.1

3.2計算

3.3計算

3.4確定目標(biāo)范圍ωτ^k＝{x：q(x)≥τ}

3.5計算mo和mb；

3.6重復(fù)3.1～3.5步直至||q^k+1-q^k||<ε'；

4)重復(fù)1)～3)步直至收斂。

本發(fā)明提出一種融合深度玻爾茲曼機(jī)形狀先驗?zāi)Ｐ偷倪b感圖像目標(biāo)提取方法，降低了陰影、邊緣缺失等干擾因素對目標(biāo)形狀輪廓提取的影響。采用一種基于深度玻爾茲曼機(jī)模型非監(jiān)督學(xué)習(xí)的方法進(jìn)行目標(biāo)形狀先驗特征的建模，使得這種特征能夠通過深度玻爾茲曼機(jī)參數(shù)迭代更新的方法自動優(yōu)化，避免了人工特征設(shè)計中參數(shù)選擇等問題帶來的不確定性。采用了一種融合邊緣檢測子和區(qū)域像素均值差的函數(shù)作為圖像信息能量項，該能量項能在函數(shù)優(yōu)化的過程中自動消除圖像中陰影的影響。

至此，已經(jīng)結(jié)合附圖對本實施例進(jìn)行了詳細(xì)描述。依據(jù)以上描述，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)對本發(fā)明一種基于深度形狀先驗的遙感圖像目標(biāo)精細(xì)化提取方法有了清楚的認(rèn)識。

需要說明的是，在附圖或說明書正文中，未繪示或描述的實現(xiàn)方式，均為所屬技術(shù)領(lǐng)域中普通技術(shù)人員所知的形式，并未進(jìn)行詳細(xì)說明。此外，上述對各元件和方法的定義并不僅限于實施例中提到的各種具體結(jié)構(gòu)、形狀或方式，本領(lǐng)域普通技術(shù)人員可對其進(jìn)行簡單地更改或替換。

在此處所提供的說明書中，說明了大量具體細(xì)節(jié)。然而，能夠理解，本發(fā)明的實施例可以在沒有這些具體細(xì)節(jié)的情況下實踐。在一些實例中，并未詳細(xì)示出公知的方法、結(jié)構(gòu)和技術(shù)，以便不模糊對本說明書的理解。

此外，本領(lǐng)域的技術(shù)人員能夠理解，盡管在此所述的一些實施例包括其它實施例中所包括的某些特征而不是其它特征，但是不同實施例的特征的組合意味著處于本發(fā)明的范圍之內(nèi)并且形成不同的實施例。例如，在下面的權(quán)利要求書中，所要求保護(hù)的實施例的任意之一都可以以任意的組合方式來使用。

以上所述的具體實施例，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。