本發(fā)明涉及遙感圖像處理技術(shù)領(lǐng)域，尤其涉及一種遙感圖像地物的圖像拼接方法及系統(tǒng)。

背景技術(shù)：

在遙感技術(shù)領(lǐng)域，利用圖像拼接技術(shù)可以將拍攝的地面圖像拼接成比較準(zhǔn)確的完整圖像，作為進(jìn)一步處理的依據(jù)，在土地規(guī)劃、災(zāi)害防治、無人機(jī)、衛(wèi)星、無人船與資源監(jiān)控領(lǐng)域具有十分重要的作用。遙感圖像的拍攝在高空，圖像上有很多高樓房，拍攝角度不同，拍出來的高層建筑物形態(tài)不同，在拼接時很可能會一棟樓房變成倒向不同方向的多棟樓房，顯然，這樣的結(jié)果并不能滿足用戶的需求。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是：遙感圖像因拍攝角度不同，拍出來的高層建筑物形態(tài)不同，在拼接時很可能會一棟樓房變成倒向不同方向的多棟樓房。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：

一種遙感圖像地物的圖像拼接方法，包括：

S1：通過全卷積網(wǎng)絡(luò)對遙感圖像中所有地物進(jìn)行識別和分割，得到所述遙感圖像中所有地物的分割圖像；

S2：判斷所述分割圖像的拼接區(qū)域是否存在高層建筑物的圖像；

S3：當(dāng)確定存在所述高層建筑物時，移動所述拼接區(qū)域內(nèi)的拼接線不與所述高層建筑物的圖像重合，或選用識別的除建筑物之外的圖像區(qū)域替換所述高層建筑物的圖像。

本發(fā)明的有益效果是：對遙感圖像中地物進(jìn)行識別和分割后，在拼接過程中躲開高樓房，就可以避免出現(xiàn)一棟樓房變成倒向不同方向的多棟樓房。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)。

優(yōu)選地，所述步驟S1包括：

S11：將遙感圖像放入全卷積網(wǎng)絡(luò)，所述全卷積網(wǎng)絡(luò)包括依次排列的多個卷積層組、多個反卷積層和CRF模型層，其中，所述卷積層組包括交替排列的卷積層和稀松卷積層；

S12：通過多個所述卷積層組和多個所述反卷積層對所述遙感圖像進(jìn)行坐標(biāo)點標(biāo)記，得到地物分類概率圖，其中，所述地物分類概率圖中不同地物具有不同的坐標(biāo)點顏色和坐標(biāo)點深度；

S13：將所述坐標(biāo)點顏色和所述坐標(biāo)點深度輸入所述CRF模型層對所述地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

采用上述進(jìn)一步方案的有益效果是：將遙感圖像的顏色和深度加入圖像識別和分割中，綜合分析顏色信息和深度信息，將CRF模型層作為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的上采樣層，在網(wǎng)絡(luò)輸出的粗分割基礎(chǔ)上，實現(xiàn)圖像的精細(xì)切割。

優(yōu)選地，所述步驟S12包括：

S121：將所述遙感圖像經(jīng)過至少一個所述卷積層組坐標(biāo)點標(biāo)記后的圖像與經(jīng)過所有所述卷積層組和至少一個所述反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到融合圖像；

S122：將所述遙感圖像與所述融合圖像經(jīng)過至少一個所述反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到地物分類概率圖。

采用上述進(jìn)一步方案的有益效果是：該全卷積網(wǎng)絡(luò)把傳統(tǒng)網(wǎng)絡(luò)的全連接替換成了卷積，添加反卷積層，并將網(wǎng)絡(luò)前幾層的結(jié)果與網(wǎng)絡(luò)最終的結(jié)果進(jìn)行融和，可以得到更多的圖像信息。

優(yōu)選地，所述步驟S13包括：

S131：將所述坐標(biāo)點顏色輸入所述CRF模型層的能量函數(shù)計算得到所述地物分類概率圖中的所有坐標(biāo)點的第一能量值；

S132：將所述坐標(biāo)點深度輸入所述CRF模型層的能量函數(shù)計算得到所述地物分類概率圖中的所有坐標(biāo)點的第二能量值；

S133：根據(jù)所述第一能量值和所述第二能量值計算得到所有坐標(biāo)點的最終能量值；

S134：根據(jù)所述最終能量值對所述地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

采用上述進(jìn)一步方案的有益效果是：改進(jìn)了CRF算法和吉布斯能量函數(shù)，以坐標(biāo)點顏色和深度作為判斷依據(jù)，放入能量函數(shù)中，通過迭代對坐標(biāo)點進(jìn)行正確分類，降低能量函數(shù)的值，實現(xiàn)圖像切割。

優(yōu)選地，所述識別的除建筑物之外的圖像區(qū)域包括：平地、道路或河流區(qū)域。

一種遙感圖像地物的圖像拼接系統(tǒng)，包括：

分割模塊，用于通過全卷積網(wǎng)絡(luò)對遙感圖像中所有地物進(jìn)行識別和分割，得到所述遙感圖像中所有地物的分割圖像；

判斷模塊，用于判斷所述分割圖像的拼接區(qū)域是否存在高層建筑物的圖像；

拼接模塊，用于當(dāng)確定存在所述高層建筑物時，移動所述拼接區(qū)域內(nèi)的拼接線不與所述高層建筑物的圖像重合，或選用識別的除建筑物之外的圖像區(qū)域替換所述高層建筑物的圖像。

優(yōu)選地，所述分割模塊包括：

放入單元，用于將遙感圖像放入全卷積網(wǎng)絡(luò)，所述全卷積網(wǎng)絡(luò)包括依次排列的多個卷積層組、多個反卷積層和CRF模型層，其中，所述卷積層組包括交替排列的卷積層和稀松卷積層；

標(biāo)記單元，用于通過多個所述卷積層組和多個所述反卷積層對所述遙感圖像進(jìn)行坐標(biāo)點標(biāo)記，得到地物分類概率圖，其中，所述地物分類概率圖中不同地物具有不同的坐標(biāo)點顏色和坐標(biāo)點深度；

分類單元，用于將所述坐標(biāo)點顏色和所述坐標(biāo)點深度輸入所述CRF模型層對所述地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

優(yōu)選地，所述標(biāo)記單元包括：

第一融合組件，用于將所述遙感圖像經(jīng)過至少一個所述卷積層組坐標(biāo)點標(biāo)記后的圖像與經(jīng)過所有所述卷積層組和至少一個所述反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到融合圖像；

第二融合組件，用于將所述遙感圖像與所述融合圖像經(jīng)過至少一個所述反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到地物分類概率圖。

優(yōu)選地，所述分類單元包括：

第一計算組件，用于將所述坐標(biāo)點顏色輸入所述CRF模型層的能量函數(shù)計算得到所述地物分類概率圖中的所有坐標(biāo)點的第一能量值；

第二計算組件，用于將所述坐標(biāo)點深度輸入所述CRF模型層的能量函數(shù)計算得到所述地物分類概率圖中的所有坐標(biāo)點的第二能量值；

第三計算組件，用于根據(jù)所述第一能量值和所述第二能量值計算得到所有坐標(biāo)點的最終能量值；

分類組件，用于根據(jù)所述最終能量值對所述地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

優(yōu)選地，所述識別的除建筑物之外的圖像區(qū)域包括：平地、道路或河流區(qū)域。

附圖說明

圖1為本發(fā)明實施例提供的一種遙感圖像地物的圖像拼接方法的流程示意圖；

圖2為本發(fā)明另一實施例提供的一種遙感圖像地物的圖像拼接方法的流程示意圖；

圖3為本發(fā)明另一實施例提供的一種遙感圖像地物的圖像拼接方法的流程示意圖；

圖4為本發(fā)明另一實施例提供的一種遙感圖像地物的圖像拼接方法的流程示意圖；

圖5為本發(fā)明實施例提供的一種遙感圖像地物的圖像拼接系統(tǒng)的結(jié)構(gòu)示意圖；

圖6為本發(fā)明另一實施例提供的一種遙感圖像地物的圖像拼接系統(tǒng)的結(jié)構(gòu)示意圖；

圖7為本發(fā)明另一實施例提供的一種遙感圖像地物的圖像拼接系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明的原理和特征進(jìn)行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

如圖1所示，，在實施例中，提供一種遙感圖像地物的圖像拼接方法，包括：

S1：通過全卷積網(wǎng)絡(luò)對遙感圖像中所有地物進(jìn)行識別和分割，得到遙感圖像中所有地物的分割圖像；

S2：判斷分割圖像的拼接區(qū)域是否存在高層建筑物的圖像；

S3：當(dāng)確定存在高層建筑物時，移動拼接區(qū)域內(nèi)的拼接線不與高層建筑物的圖像重合，或選用識別的除建筑物之外的圖像區(qū)域替換高層建筑物的圖像。

應(yīng)理解，該實施例中，對遙感圖像中地物進(jìn)行識別和分割后，在拼接過程中躲開高樓房，就可以避免出現(xiàn)一棟樓房變成倒向不同方向的多棟樓房。

具體地，該實施例中，通過全卷積網(wǎng)絡(luò)這種深度學(xué)習(xí)網(wǎng)絡(luò)對遙感圖像中所有地物進(jìn)行識別并分割，得到所有地物的分割圖像，隨后對這些地物進(jìn)行拼接，在拼接過程中，首先判斷拼接區(qū)域是否存在高層建筑物，如果存在，則移動拼接線躲開高層建筑物或者選用除建筑物之外的識別的區(qū)域，比如平地、道路或河流區(qū)域替換該高層建筑物。

如圖2所示，在另一實施例中，圖1中的步驟S1包括：

S11：將遙感圖像放入全卷積網(wǎng)絡(luò)，全卷積網(wǎng)絡(luò)包括依次排列的多個卷積層組、多個反卷積層和CRF模型層，其中，卷積層組包括交替排列的卷積層和稀松卷積層；

S12：通過多個卷積層組和多個反卷積層對遙感圖像進(jìn)行坐標(biāo)點標(biāo)記，得到地物分類概率圖，其中，地物分類概率圖中不同地物具有不同的坐標(biāo)點顏色和坐標(biāo)點深度；

S13：將坐標(biāo)點顏色和坐標(biāo)點深度輸入CRF模型層對地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

應(yīng)理解，該實施例中，將遙感圖像的顏色和深度加入圖像識別和分割中，綜合分析顏色信息和深度信息，將CRF模型層作為深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的上采樣層，在網(wǎng)絡(luò)輸出的粗分割基礎(chǔ)上，實現(xiàn)圖像的精細(xì)切割。

具體地，該實施例中，首先，對傳統(tǒng)全卷積網(wǎng)絡(luò)進(jìn)行改進(jìn)，使用卷積層代替全連接層，在卷積層后利用反卷積層和CRF模型層對圖像進(jìn)行上采樣；然后，將待分割圖像放入該改進(jìn)后的全卷積網(wǎng)絡(luò)中，通過七層卷積層和三層反卷積層對遙感圖像進(jìn)行坐標(biāo)點標(biāo)記，給坐標(biāo)點標(biāo)上不同顏色和深度，最后，根據(jù)坐標(biāo)點顏色和深度通過CRF模型層對坐標(biāo)點標(biāo)記后的圖像中的所有坐標(biāo)點進(jìn)行迭代分類，進(jìn)行精細(xì)分割，得到不同地物的分割圖像。CRF(conditional random field algorithm，條件隨機(jī)場)結(jié)合了最大熵模型和隱馬爾可夫模型的特點，是一種無向圖模型，近年來在分詞、詞性標(biāo)注和命名實體識別等序列標(biāo)注任務(wù)中取得了很好的效果。CRF是一個典型的判別式模型。

如圖3所示，在另一實施例中，圖2中的步驟S12包括：

S121：將遙感圖像經(jīng)過至少一個卷積層組坐標(biāo)點標(biāo)記后的圖像與經(jīng)過所有卷積層組和至少一個反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到融合圖像；

S122：將遙感圖像與融合圖像經(jīng)過至少一個反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到地物分類概率圖。

應(yīng)理解，該實施例中，該全卷積網(wǎng)絡(luò)把傳統(tǒng)網(wǎng)絡(luò)的全連接層替換成了卷積層，添加反卷積層，并將網(wǎng)絡(luò)前幾層的結(jié)果與網(wǎng)絡(luò)最終的結(jié)果進(jìn)行融和，可以得到更多的圖像信息。

如圖4所示，在另一實施例中，圖2中的步驟S13包括：

S131：將坐標(biāo)點顏色輸入CRF模型層的能量函數(shù)計算得到地物分類概率圖中的所有坐標(biāo)點的第一能量值；

S132：將坐標(biāo)點深度輸入CRF模型層的能量函數(shù)計算得到地物分類概率圖中的所有坐標(biāo)點的第二能量值；

S133：根據(jù)第一能量值和第二能量值計算得到所有坐標(biāo)點的最終能量值；

S134：根據(jù)最終能量值對地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

應(yīng)理解，該實施例中，以坐標(biāo)點顏色和深度作為判斷依據(jù)，放入能量函數(shù)中，通過迭代對坐標(biāo)點進(jìn)行正確分類，降低能量函數(shù)的值，實現(xiàn)圖像切割。

具體地，該實施例中，分別將坐標(biāo)點顏色和深度輸入CRF模型層的能量函數(shù)分別計算得到地物分類概率圖中的所有坐標(biāo)點的對應(yīng)于坐標(biāo)點顏色的第一能量值和對應(yīng)于坐標(biāo)點深度的第二能量值，將第一能量值與第二能量值相加得到每個坐標(biāo)點的總能量，根據(jù)每個坐標(biāo)點的總能量對地物分類概率圖進(jìn)行精確分割，得到地物分割圖像。

應(yīng)理解，該實施例中，識別的除建筑物之外的圖像區(qū)域包括：平地、道路或河流區(qū)域。

如圖5所示，在實施例中，提供一種遙感圖像地物的圖像拼接系統(tǒng)，包括：

分割模塊1，用于通過全卷積網(wǎng)絡(luò)對遙感圖像中所有地物進(jìn)行識別和分割，得到遙感圖像中所有地物的分割圖像；

判斷模塊2，用于判斷分割圖像的拼接區(qū)域是否存在高層建筑物的圖像；

拼接模塊3，用于當(dāng)確定存在高層建筑物時，移動拼接區(qū)域內(nèi)的拼接線不與高層建筑物的圖像重合，或選用識別的除建筑物之外的圖像區(qū)域替換高層建筑物的圖像。

如圖6所示，在另一實施例中，圖5中的分割模塊1包括：

放入單元11，用于將遙感圖像放入全卷積網(wǎng)絡(luò)，全卷積網(wǎng)絡(luò)包括依次排列的多個卷積層組、多個反卷積層和CRF模型層，其中，卷積層組包括交替排列的卷積層和稀松卷積層；

標(biāo)記單元12，用于通過多個卷積層組和多個反卷積層對遙感圖像進(jìn)行坐標(biāo)點標(biāo)記，得到地物分類概率圖，其中，地物分類概率圖中不同地物具有不同的坐標(biāo)點顏色和坐標(biāo)點深度；

分類單元13，用于將坐標(biāo)點顏色和坐標(biāo)點深度輸入CRF模型層對地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

如圖7所示，在另一實施例中，圖6中的標(biāo)記單元12包括：

第一融合組件121，用于將遙感圖像經(jīng)過至少一個卷積層組坐標(biāo)點標(biāo)記后的圖像與經(jīng)過所有卷積層組和至少一個反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到融合圖像；

第二融合組件122，用于將遙感圖像與融合圖像經(jīng)過至少一個反卷積層坐標(biāo)點標(biāo)記后的圖像進(jìn)行多次融合，得到地物分類概率圖。

如圖7所示，在另一實施例中，圖6中的分類單元13包括：

第一計算組件131，用于將坐標(biāo)點顏色輸入CRF模型層的能量函數(shù)計算得到地物分類概率圖中的所有坐標(biāo)點的第一能量值；

第二計算組件132，用于將坐標(biāo)點深度輸入CRF模型層的能量函數(shù)計算得到地物分類概率圖中的所有坐標(biāo)點的第二能量值；

第三計算組件133，用于根據(jù)第一能量值和第二能量值計算得到所有坐標(biāo)點的最終能量值；

分類組件134，用于根據(jù)最終能量值對地物分類概率圖中的所有坐標(biāo)點進(jìn)行分類，得到不同地物的分割圖像。

應(yīng)理解，該實施例中，識別的除建筑物之外的圖像區(qū)域包括：平地、道路或河流區(qū)域。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。