本發(fā)明屬于圖像處理與目標識別技術領域，特別是涉及一種新的基于超像素分割與規(guī)則化的交互式半自動高分辨率遙感影像建筑物提取的方法。

背景技術：

建筑物作為地理空間主要要素之一，在城市規(guī)劃與建設、變化檢測及人口密度估計等領域占據(jù)著重要的地位，是遙感影像解譯中非常重要的一類目標。隨著高空間分辨率遙感(簡稱高分遙感)衛(wèi)星與航空影像獲取技術的迅速發(fā)展，高分辨率遙感影像信息量巨大，包含地物細節(jié)特征，幾何結構，空間特征，形狀以及紋理特征等信息，可以相對精確地描述典型地物，使得利用高分辨率遙感影像對建筑物進行精確識別成為可能。目前，從高分辨遙感影像中自動提取建筑物的方法有：基于分割技術([文獻1-2])和基于角點、直線與陰影特征的方法([文獻3-5])。其中基于分割技術的提取方法充分利用對象的光譜、紋理、形狀等特征，采用面向對象分割技術提取建筑物，但由于噪聲、光照及反射率等因素的影響，導致獲取的建筑物邊緣與轉角不準確?；诮屈c特征的方法結合角點檢測和圖像分割提取建筑物；基于直線特征的方法通過利用直線檢測算法提取影像上的線段，然后判斷直線關系自動提取建筑物([文獻6-9])；基于陰影特征的方法首先將圖像分解為均勻的小區(qū)域，然后根據(jù)陰影的位置，融合有相似光譜特征的小區(qū)域使得其形狀近似為矩形，從而提取建筑物([文獻10,11])。然而，這種基于低層特征的方法僅適用于房屋獨立，形體簡單及地物之間遮蔽少的情況。由于遙感影像的復雜性，建筑物受噪聲、遮擋、陰影、低對比度的影響，全自動提取建筑物提取的方法并不總能取得可靠的結果，尤其是在一些對邊界精度有較高要求的應用領域。

針對此問題，目前可行的一種方式是將計算機自動提取和人工交互相結合，即實現(xiàn)交互式地物提取。在遙感影像建筑物提取過程中，一方面充分利用作業(yè)員提供的初始信息，同時發(fā)揮計算機處理圖像的優(yōu)勢，兩者結合提高建筑物提取的效率。一些學者對交互式提取建筑物進行了研究，如：將幾何約束和影像分割相結合的直角平頂房屋半自動提取方法([文獻12])；基于物方空間幾何約束最小二乘匹配的建筑物半自動提取方法([文獻13])，該方法通過用戶指定房屋初始位置，經(jīng)算法處理得到建筑物邊緣和物方幾何模型的最優(yōu)匹配；利用人工指定的兩個初始點，通過最小二乘模板匹配來提取兩點間的線狀地物([文獻14])；聯(lián)合snake和動態(tài)規(guī)劃提取建筑物，用戶只需要在房角處指定數(shù)個種子點將建筑物大概位置指示出來，即可提取出建筑物精確輪廓([文獻15])。以上方法均是通過人工給定房屋的初始位置，主要依賴邊緣信息提取建筑物，但交互復雜，需用戶給定建筑物的準確位置，因此應用受限。

基于上述分析，同時考慮高分辨率遙感影像上建筑物大多為矩形這一特點，本發(fā)明提出將計算機自動提取和人工交互相結合，通過用戶在建筑物上簡單畫一條線提取出建筑物，相比已有交互式半自動提取方法，本方法交互簡單無需指定建筑物的精確位置，即可快速準確的提取建筑物輪廓，從而提高交互式半自動提取建筑物的效率。

參考文獻：

[1]blaschke,t.andj.strobl,what'swrongwithpixels？somerecentdevelopmentsinterfacingremotesensingandgis.gis-zeitschriftfürgeoinformationssysteme,2001.14(6):p.12-17.

[2]kropatsch,w.g.ands.benyacoub.arevisionofpyramidsegmentation.inpatternrecognition,1996.,proceedingsofthe13thinternationalconferenceon.1996.

[3]huertasa,nevatiar.detectingbuildingsinaerialimages☆[j].computervisiongraphics&imageprocessing,1988,41(2):131-152.

[4]song,y.,&shan,j.(2010).buildingextractionfromhighresolutioncolorimagerybasedonedgeflowdrivenactivecontourandjseg.1.blaschke,t.andj.strobl,what'swrongwithpixels？somerecentdevelopmentsinterfacingremotesensingandgis.gis-zeitschriftfürgeoinformationssysteme,2001.14(6):p.12-17.

[5]lij,wangk,zhangz,etal.amethodofbuildinginformationextractionbasedonmathematicalmorphologyandmultiscale[c]//internationalconferenceonintelligentearthobservingandapplications.2015:98082s.

[6]wangj,yangx,qinx,etal.anefficientapproachforautomaticrectangularbuildingextractionfromveryhighresolutionopticalsatelliteimagery[j].ieeegeoscience&remotesensingletters,2015,12(3):487-491.

[7]a.croitorudoytshery.right-anglerooftoppolygonextractioninregularisedurbanareas:cuttingthecorners[j].photogrammetricrecord,2004,19(108):311–341.

[8]ngott,colletc,mazetv.automaticrectangularbuildingdetectionfromvhraerialimageryusingshadowandimagesegmentation[c]//ieeeinternationalconferenceonimageprocessing.ieee,2015:1483-1487.

[9]龐池海,李光耀,趙潔,等.基于直線檢測算法的衛(wèi)星圖片中建筑物輪廓提取[j].計算機應用,2008,28(b06):190-192.

[10]周紹光,孫金彥,凡莉,等.高分辨率遙感影像的建筑物輪廓信息提取方法[j].國土資源遙感,2015,27(3):52-58.

[11]singhg,jouppim,zhangz,etal.shadowbasedbuildingextractionfromsinglesatelliteimage[j].proceedingsofspie-theinternationalsocietyforopticalengineering,2015,9401:94010f-94010f-15.

[12]張煜,張祖勛.幾何約束與影像分割相結合的快速半自動房屋提取[j].武漢大學學報信息科學版,2000,25(3):238-242.

[13]張祖勛,張劍清,胡翔云.基于物方空間幾何約束最小二乘匹配的建筑物半自動提取方法[j].武漢大學學報(信息科學版),2001,26(4):290-295.

[14]胡翔云,張祖勛.航空影像上線狀地物的半自動提取[j].中國圖象圖形學報:,2002,7(2):137-140.

[15]fazanaj,pozapd.rectilinearbuildingroofcontourextractionbasedonsnakesanddynamicprogramming[j].internationaljournalofappliedearthobservation&geoinformation,2013,25(3):1–10.

技術實現(xiàn)要素：

針對目前從高分辨率遙感影像自動提取建筑物無法滿足要求以及已有半自動交互式提取方法的問題，本發(fā)明提出了一種交互式半自動提取高分辨率遙感影像上矩形建筑物的方法，實現(xiàn)通過用戶在單獨建筑物上畫線以快速準確地提取建筑物輪廓。

本發(fā)明所采用的技術方案是：一種交互式半自動高分辨率遙感影像建筑物提取的方法，其特征在于，包括以下步驟：

步驟1：確定建筑物的大致范圍；

步驟2：檢測建筑物范圍內(nèi)的直線，獲取建筑物主方向并將建筑物旋轉至水平方向；

步驟3：獲取建筑物圖斑；

步驟4：根據(jù)建筑物的顏色特征對建筑物規(guī)則化，以得到準確的建筑物輪廓。

相對于現(xiàn)有技術，本發(fā)明的有益效果是：

本發(fā)明交互簡單，只需要在建筑物上簡單畫一條線，即可快速準確的提取建筑物輪廓，從而提高交互式半自動提取建筑物的效率。

附圖說明

圖1為本發(fā)明實施例的建筑物的大致位置示意圖；

圖2為本發(fā)明實施例的主方向探測與影像旋轉示意圖，其中(a)用戶交互，(b)edlines算法提取的線段，(c)種子線距離圖，(d)建筑物主方向，(e)建筑物旋轉至水平方向；

圖3為本發(fā)明實施例的slic聚類搜索原理圖，其中(a)搜索整幅影像，(b)搜索2sⅹ2s范圍；

圖4為本發(fā)明實施例的slic過分割影像圖；

圖5為本發(fā)明實施例的建筑物提取流程圖；

圖6為本發(fā)明實施例的獲取待分割影像圖；

圖7為本發(fā)明實施例的主方向探測與建筑物旋轉示意圖，其中(a)edlines算法提取的線段，(b)種子線距離圖與建筑物主方向，(c)建筑物旋轉至水平方向；

圖8為本發(fā)明實施例的超像素預分割結果示意圖；

圖9為本發(fā)明實施例的grabcut分割過程示意圖，其中(a)為待分割影像，(b)為grabcut分割結果；

圖10為本發(fā)明實施例的建筑物規(guī)則化過程示意圖，其中(a)建筑物圖斑，(b)圖斑規(guī)則化，(c)規(guī)則化結果；

圖11為本發(fā)明實施例的航空影像建筑物提取結果示例圖，其中(a)種子線，(b)提取結果，(c)種子線，(d)提取結果；

圖12為本發(fā)明實施例的衛(wèi)星影像建筑物提取結果示例圖，其中(a)種子線，(b)提取結果，(c)種子線，(d)提取結果。

具體實施方式

為了便于本領域普通技術人員理解和實施本發(fā)明，下面結合附圖及實施例對本發(fā)明作進一步的詳細描述，應當理解，此處所描述的實施示例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明提供的一種交互式半自動高分辨率遙感影像建筑物提取的方法，通過用戶交互、主方向探測、超像素分割、建筑物斑塊獲取與規(guī)則化幾個步驟來完成高分辨率遙感影像建筑物提取。

步驟1：通過用戶交互確定建筑物的大致范圍。

本發(fā)明要求用戶指定種子線，對種子線有幾點要求：1)種子線的走向為建筑物對角線；2)種子線長度為建筑物對角線的三分之二左右，3)種子線兩端點關于建筑物中心對稱。基于上述三點可確定目標建筑物的大概位置，并將該區(qū)域的影像作為待分割影像，如圖1所示。

其中建筑物上曲線為用戶交互的種子線，wseed和hseed分別為種子線外包矩形s1的寬和高，建筑物的大致位置s2是一個以s1為中心的正方形，wbuilding為建筑物的邊長，計算方式如下：

wbuilding＝2*max(wseed,wseed)(1)

步驟2：利用直線檢測算法檢測建筑物范圍內(nèi)的直線，通過統(tǒng)計線段方向直方圖獲得建筑物主方向并將建筑物旋轉至水平方向；

矩形建筑物的相鄰邊相互垂直，故建筑物有兩個互相垂直的主方向，因此可用線段方向直方圖來確定建筑物的主方向，然后將建筑物旋轉到水平方向，使得建筑物處于橫平豎直的狀態(tài)，便于分割。edlines是一種自動、快速且無需任何參數(shù)調(diào)整的直線檢測算法，相對于houghtransform和lsd提取直線算法，能夠更精確地提取影像上的直線。因此，本發(fā)明采用edlines提取整幅影像上的線段l＝(l1,l2,……,ln)，一般情況下種子線處于建筑物的中心位置，提取的線段離距離建筑物中心越近位于建筑物上的概率越大，因此在進行方向投票時對距離種子線越近的線段賦更大的權值。計算建筑物范圍內(nèi)所有線段中點到建筑物中心的距離，利用距離圖來給線段賦權值，線段方向直方圖取值方式如下：

其中θ∈[0,180)表示線段的方向，同時也代表直方圖橫軸，nθ是直方圖方向值為θ處的強度，li表示一條線段，len(li)表示線段li的長度，d代表種子線歸一化距離圖，d(x,y)則表示點(x,y)處的距離值。(xli,yli)表示線段li的中點坐標。利用(3)式計算建筑物的主方向，然后利用雙線性插值法將原始影像旋轉至水平方向，使得建筑物呈橫平豎直的狀態(tài)，如圖2所示：

θm＝argmax(nθ+nθ+90)θ∈[0,90](3)

為提高高分辨率遙感影像的效果和性能，過分割常常被用來作為一個預處理的步驟，本發(fā)明利用簡單線性迭代聚類算法(slic)對原始影像預分割。slic算法是一種實現(xiàn)方便的超像素算法，耗時少、需用戶調(diào)節(jié)參數(shù)少，預分割能夠得到一系列具有相似特征且不破壞影像邊界信息的均勻超像素。其通過考慮像素點在色彩上的相似度和空間位置的臨近程度來進行聚類獲取超像素。在一個五維空間中完成超像素的局部聚類，這個五維空間是由cielab顏色空間的[l，a，b]值和像素坐標值[x，y]組成。在五維空間中，采用融合顏色相似度和像素位置信息的歸一化距離度量來進行對像素的聚類。算法流程如下：

1)給定初始聚類中心。在一幅有n個像素點的圖像中，假設預分割的超像素個數(shù)為k，每個超像素的大小就是n/k個像素，每個超像素中心之間的距離為選擇像素中心為：ck＝[lk,ak,bk,xk,yk]k∈[1,k]

2)將聚類中心移動到鄰域的梯度最小處。為了避免聚類中心剛好處于圖像的邊緣位置，并同時減少選中噪聲點的可能性，算法將聚類中心移動至3ⅹ3鄰域的梯度最小處。

3)對于每個聚類中心，在2sⅹ2s鄰域內(nèi)計算每個像素點與最近的聚類中心像素點之間的相似度。其像素間的相似度按照歐式距離計算如下：

slic算法聚類搜索見圖3；

4)計算新的聚類中心，并重新進行搜索標記；

5)直到新的聚類中心和原始聚類中心的差值小于閾值；

請見圖4，為本發(fā)明實施例的slic過分割影像。

步驟3：利用基于超像素的grabcut分割方法獲得建筑物圖斑；

本發(fā)明采用grabcut分割算法獲取建筑物圖斑。grabcut算法將圖像分割問題轉化為能量函數(shù)最小化問題，再將能量最小化問題轉化為最小割問題，最小割問題可以用最大流理論來解決。其采用彩色高斯混合模型(gmm)統(tǒng)計取代直方圖對圖像特征進行描述，考慮了采樣點之間的特征協(xié)變關系使得分割結果更加準確。由于其交互簡單，分割精度高，能夠滿足用戶在圖像上通過相對較少的交互工作得到滿意的分割結果。因此，本發(fā)明以超像素初始分割結果進行交互式選擇目標前景像素點與背景像素點，采用最大流最小割算法實現(xiàn)目標與背景的分割，即目標提取。能量函數(shù)表示為：

e(α,k,θ,z)＝u(α,k,θ,z)+v(α,z)(4)

k＝(k1,k1,...,kn)，ki∈{1,2,...,k}(i∈[1,n])表示第i個像素屬于gmm的第ki個高斯模型，k表示gmm中高斯函數(shù)的個數(shù)。α表示前景背景標記，z是影像數(shù)據(jù)，θ代表gmm的參數(shù)，有：θ＝{π(α,k)，μ(α,k),σ(α,k)}

其中π代表gmm中各高斯函數(shù)的權重，μ,σ分別代表高斯函數(shù)的均值和協(xié)方差陣。

數(shù)據(jù)項定義為：一個像素被歸類為背景或目標的懲罰，計算形式如下：

邊界項定義為：邊界項體現(xiàn)鄰域像素m與n之間不連續(xù)的懲罰，如果兩鄰域像素差別很小，那么它們屬于同一個目標或者同一背景的可能性就很大，如果差別很大，則說明這兩個像素很有可能處于目標和背景的邊緣部分，因此被分割開的可能性比較大，故當兩鄰域像素差別越大，能量越小。rgb空間中，衡量兩像素的相似性，采用歐式距離(二范數(shù))，定義如下：

v(α,z)＝γ∑[αn≠αm]exp-β||zm≠zn||²(7)

grabcut算法能量是通過迭代達到最小的，每次迭代的過程都使得前景和背景建模的gmm參數(shù)更優(yōu)，圖像分割結果更優(yōu)，算法分三步完成圖像分割：初始化、迭代最小化和用戶交互。

1)初始化，用戶在圖像上指定一個包含目標的矩形框，框外的像素全部作為背景像素，框內(nèi)的像素全部作為“可能的目標”的像素，利用這些像素分別估計前景背景的gmm。

2)迭代最小化,對每個像素分配gmm中的高斯分量，重新計算前景背景gmm參數(shù)，通過(1)式的gibbs能量項構建圖，利用min-cut/max-flow方法最小化能量函數(shù)，執(zhí)行至收斂為止，得到初始分割估計。

3)用戶編輯,若用戶對分割結果不滿意，可在分割結果上重新指定前景背景執(zhí)行步驟2)，重復整個迭代過程，直到用戶滿意為止。

本發(fā)明將種子線外包矩形擴大作為算法初始化中用戶提供的矩形，該矩形將建筑物包含在內(nèi)，前景像素為種子線對應的超像素，背景像素為矩形外的超像素，利用前背景像素構建gmm模型，通過min-cut/max-flow方法實現(xiàn)建筑物分割。

步驟4：根據(jù)建筑物的顏色特征對建筑物規(guī)則化，以得到準確的建筑物輪廓。

接下來通過具體實施例對本發(fā)明做進一步的闡述；

1、建筑物提取流程描述；

基于超像素分割的人工交互式建筑物提取由用戶交互、主方向探測與影像旋轉、基于超像素影像分割、圖斑規(guī)則化四個步驟完成，具體流程圖如圖5所示；

2、實現(xiàn)過程；

(1)用戶交互；

因原始影像較大，本發(fā)明提取單個建筑物，故在小范圍影像上分割提取單獨建筑物，通過用戶畫線確定建筑物的大概范圍，以及待分割影像的大小。如圖6所示，其中建筑物上曲線表示種子線，建筑物外圍正方形為建筑物大概范圍，本發(fā)明采用將建筑物大概范圍擴大一倍的影像作為待分割影像。

(2)主方向探測與影像旋轉；

利用edlines直線檢測算法對待分割影像進行直線檢測，計算建筑物范圍內(nèi)所有線段中點到建筑物中心的距離，利用距離圖來給線段賦權值，統(tǒng)計線段方向直方圖，從而確定建筑物主方向，結果請見圖7；

(3)超像素分割

利用slic超像素分割算法對待分割影像過分割得到超像素對象，結果請見圖8；

(4)基于超像素的grabcut圖像分割

本發(fā)明以超像素初始分割結果進行交互式選擇建筑物目標前景像素點，將種子線的外接矩形擴大作為分割算法初始化過程需用戶提供的矩形，前景像素點為與種子線像素點相同標號的超像素，背景像素點為矩形外的超像素，采用grabcut分割算法實現(xiàn)目標與背景的分割，即建筑物提取。圖9(a)中s1為種子線的外接矩形，s2為包含建筑物的矩形，圖(b)是分割得到的建筑物圖斑。

(5)圖斑規(guī)則化；

由于遙感影像的復雜性，建筑物周邊地物與建筑物相似，因此僅利用圖像分割算法得到的建筑物圖斑，并不是影像上完整的建筑物，因此需要進行規(guī)則化。考慮到建筑物本身的顏色與周邊地物顏色的差異，本發(fā)明分別計算圖斑的外包矩形每條邊上像素l、a、b的平均值與建筑物包含的所有像素的l、a、b平均值之間的相似度(利用歐式距離計算)，設定一定的相似度閾值(經(jīng)驗值為0.75)，對外包矩形的四條邊進行平移直到達到閾值，從而得到完整的建筑物，規(guī)則化過程如圖10所示，其中(a)中的綠色矩形為建筑物圖斑外接矩形，(b)中紅色線為綠色線平移后的線段，(c)為規(guī)則化后的建筑物。

分別以高分辨率航空影像與衛(wèi)星影像為數(shù)據(jù)源進行不同建筑物提取實驗，原始影像和提取結果如圖11和圖12所示，實驗結果表明本發(fā)明提出交互式半自動提取建筑物的方法能夠快速準確地提取高分辨率遙感影像建筑物輪廓。

應當理解的是，本說明書未詳細闡述的部分均屬于現(xiàn)有技術。

應當理解的是，上述針對較佳實施例的描述較為詳細，并不能因此而認為是對本發(fā)明專利保護范圍的限制，本領域的普通技術人員在本發(fā)明的啟示下，在不脫離本發(fā)明權利要求所保護的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護范圍之內(nèi)，本發(fā)明的請求保護范圍應以所附權利要求為準。