一種圖像底層視覺特征的提取方法
【專利摘要】本發(fā)明公開了一種圖像底層視覺特征的提取方法，基于MapReduce框架，其包括以下步驟：1）分別通過MSER檢測器和Harris-Affine檢測器對海量高分辨率遙感影像進行MSER特征區(qū)域和Harris-Affine特征區(qū)域的檢測；2）通過SIFT128維特征描述器在檢測出的MSER特征區(qū)域和Harris-Affine特征區(qū)域中選取興趣點并進行向量描述。本圖像底層視覺特征的提取方法可以有效地處理海量遙感影像、實現(xiàn)海量高分辨率遙感影像的底層視覺特征的提取，從而可以提高海量遙感影像的利用率。
【專利說明】一種圖像底層視覺特征的提取方法

【技術領域】
[0001] 本發(fā)明涉及遙感【技術領域】，特別涉及一種圖像底層視覺特征的提取方法。

【背景技術】
[0002] 隨著技術的發(fā)展，各種時間、空間和光譜分辨率的遙感影像正在呈幾何級數的增 長，但傳統(tǒng)遙感影像處理方法一般是采用串行或循環(huán)的方式對單張遙感影像或單個遙感影 像集進行處理，無法有效應對日產量海量或單幅像素海量的遙感影像。因而，目前的處理技 術對遙感影像的利用效率很低。另外，受限于目前的計算機單機硬件，海量遙感影像的處理 無法直接進行，這其中也出現(xiàn)了某些勉強成功的處理，但是其是需要長時間的等待的，這對 于數據處理者和使用者來說都是無法接受的。
[0003] 近十年來，新興的高性能計算技術，如云計算等技術，在海量數據處理方面已經得 到了廣泛的推廣。因此，利用新興的高性能計算集群的超強計算、存儲及吞吐能力處理海量 高分辨率遙感影像成為一種新的思路。而遙感影像視覺特征的提取又是進行遙感影像進一 步信息檢索、圖像理解的重要基礎。因此，研發(fā)高擴展的底層視覺特征提取方法，能有效地 推進海量遙感數據的及時高效的處理和分析，提高數據的使用效率和利用率。
[0004] 但是，這其中，影響高分辨率遙感影像獲取的條件十分復雜，如天氣變化、拍攝位 置和角度變化、設備自身的不穩(wěn)定等，這些都使采集的高分辨率遙感影像的質量和內容存 在較大差異。為了更好的對高分辨率遙感影像和人工地物進行描述，使同類型的人工地物 能被更好的歸類，而不同類型的人工地物能被更好的區(qū)分，選擇的高分辨率遙感影像底層 視覺特征要能有效應對三個方面的差異性問題：1)不同人工地物類型間的差異；2)視點變 化所帶來的差異；3)不同條件下獲取的差異。
[0005] 因此，我們需要一種可以有效地處理海量遙感影像的技術，實現(xiàn)海量高分辨率遙 感影像的底層視覺特征的提取，來提高海量遙感影像的利用率。


【發(fā)明內容】

[0006] 本發(fā)明的目的就是針對上述問題，提供一種可以有效地處理海量遙感影像、實現(xiàn) 海量高分辨率遙感影像的底層視覺特征的提取，從而可以提高海量遙感影像的利用率的圖 像底層視覺特征的提取方法。
[0007] 為了實現(xiàn)上述目的，本發(fā)明提供了以下技術方案：一種圖像底層視覺特征的提取 方法，基于MapReduce框架，其包括以下步驟： 1) 分別通過MSER檢測器和Harris-Affine檢測器對海量高分 辨率遙感影像進行MSER特征區(qū)域和Harris-Affine特征區(qū)域的檢測； 2) 通過SIFT128維特征描述器在檢測出的MSER特征區(qū)域和Harris-Affine特征區(qū)域 中選取興趣點并進行向量描述。
[0008] 進一步地，上述的步驟1)中： 通過MSER檢測器對海量高分辨率遙感影像進行MSER特征區(qū)域的檢測：通過該MSER檢 測器遍歷每個像素的灰度值，獲得圖中所有的二值化閾值，在該MSER檢測器中設定所述二 值化閾值的一個為界限值，然后指定大于或者小于該界限值的像素為黑色，對應地指定小 于或者大于該界限值的像素為白色，然后生成一個以幀對應數值為閾值的二值化處理圖像 的連續(xù)圖像集； 通過Harris-Affine檢測器對海量高分辨率遙感影像進行Harris-Affine特征區(qū)域的 檢測：通過該Harris-Affine檢測器對海量高分辨率遙感影像的特征尺度和空間位置進行 自動選取。
[0009] 進一步地，上述的Harris-Affine檢測器還根據自適應迭代方法調整檢測出的 Harris-Affine特征區(qū)域的形狀，克服Harris-Affine特征區(qū)域因仿射變化所產生的形變。
[0010] 進一步地，上述的步驟2)中，通過上述SIFT128維特征描述器在上述興趣點的領 域范圍內選取至少16X16像素的窗口，然后將其劃分為至少4X4像素的子窗口共16個， 通過所述SIFT128維特征描述器計算該子窗口中每個像素的梯度大小和梯度方向，然后根 據8梯度方向的直方圖來統(tǒng)計子窗口的平均方向，為每個該子窗口都創(chuàng)建一個8方向且通 過高斯核函數加權的梯度直方統(tǒng)計圖，得到128維特征向量，對該128維特征向量進行單位 化，得到所述興趣點中的128維SIFT描述子。
[0011] 進一步地，上述的圖像底層視覺特征的提取方法的描述過程還包括以下基于 MapReduce框架的檢測和描述方法，其包括以下步驟： 21) 劃分：計算機對輸入文件或文件集切分成InputSplit (邏輯小塊）并傳輸給每個 Map (映射)，Split函數通過完全讀取大文件-索引來分析大文件-數據中遙感影像數據 的元數據，進而以預定規(guī)則對所述大文件-數據進行邏輯上的劃分并分配給Map操作，然后 RecordReader函數將劃分inputSplit讀取成一條條key-value的記錄，隨后按次序傳遞給 map函數完成數據輸入工作； 22) 映射：在一個Map操作內部，計算機根據串行的順序進行底層視覺特征的檢測和 描述，在一個Map操作內部，將按照串行的順序來進行底層視覺特征檢測和描述處理，Map 操作輸入的記錄key-value格式為〈Metadata, Remote image〉，其中Metadata為當前影 像遙感的元數據，Remote image為當前遙感影像的二進制數據流；Map操作輸出的記錄 key-value 格式為〈Feature type，F(xiàn)eature〉，F(xiàn)eature type 為特征區(qū)域的類型，F(xiàn)eature 為字符型特征描述； 23) 歸約（Reduce):計算機按類型排序重組的上述〈Feature type, Feature〉被分配到 不同的Reduce操作，每個Reduce操作實例對應一種類型的底層視覺特征，將接收的多個同 類型的底層視覺特征集合合并成一個完整的文件。
[0012] 進一步地，上述的步驟22)中，還包括分區(qū)（Partition)步驟：計算機根據上述 Feature type對上述Map輸出的上述〈Feature type, Feature〉進行分類，為后續(xù)Reduce 提供數據準備，在每個Map操作的后面都插入一個上述Partition的操作，讓它對上述Map 操作生成的所有上述〈Feature type,Feature〉進行分區(qū)處理，獲得與底層視覺特征檢測器 數目相等的上述〈Feature type, Feature〉的分區(qū)，然后各個上述Map操作輸出結果經上述 Partition操作處理后會在系統(tǒng)后臺進行排序重組,再傳遞給上述的后續(xù)Reduce操作。
[0013] 進一步地，上述的步驟21)中，計算機根據規(guī)則格網劃分方法對輸入文件或文件集 切分成 InputSplit。
[0014] 采用以上技術方案的有益效果在于： 本發(fā)明的方法主要包括了 MSER特征區(qū)域和Harris-Affine特征區(qū)域的檢測和對該 特征區(qū)域的描述兩大步驟，其結合了兩種底層視覺特征提取方法進行遙感影像視覺特征提 取，具備以下優(yōu)點：1)通過像素梯度計算而來，具有多尺度視點不變描述性；2)從像素層次 對強度信息有較好的表達，對指定區(qū)域有較好的描述穩(wěn)定性；3)使用像素間差異對區(qū)域進 行描述，對輻射變化具有較好的容錯性。因此，本發(fā)明的方法與現(xiàn)有技術相比，其可以有效 地處理海量遙感影像、實現(xiàn)海量高分辨率遙感影像的底層視覺特征的提取，從而可以提高 海量遙感影像的利用率。

【專利附圖】

【附圖說明】
[0015] 圖1是本發(fā)明的圖像底層視覺特征的提取方法在實施例中的流程示意圖。
[0016] 圖2a和2b是本發(fā)明的圖像底層視覺特征的提取方法的MSER特征區(qū)域在實施例 中的檢測結果圖。
[0017] 圖3a和3b是本發(fā)明的圖像底層視覺特征的提取方法的Harris-Affine特征區(qū)域 在實施例中的檢測結果圖。
[0018] 圖4是本發(fā)明的圖像底層視覺特征的提取方法在實施例中六組小影像集大文件 運行時間與輸出數據量的示意圖。

【具體實施方式】
[0019] 下面結合附圖詳細說明本發(fā)明的優(yōu)選實施方式。
[0020] 本實施例為實施本發(fā)明最優(yōu)選的。本實施例中的圖像底層視覺特征的提取方法是 基于MapReduce框架的，該方法包括以下步驟： 1) 分別通過MSER檢測器和Harris-Affine檢測器對海量高分辨 率遙感影像進行MSER特征區(qū)域和Harris-Affine特征區(qū)域的檢測； 2) 通過SIFT128維特征描述器在檢測出的MSER特征區(qū)域和Harris-Affine特征區(qū)域 中選取興趣點并進行向量描述。
[0021] 上述的步驟都基于MapReduce框架，可以使用Visual Geometry Group (VGG) 所提供的LINUX環(huán)境下的LN應用程序實現(xiàn)。圖2a、2b和3a、3b分別描述了 MSER和 Harris-Affine檢測器的特征提取效果，圖2 a和3a分別表示MSER和Harris-Affine檢測 器的自然地物特征檢測效果、圖2b和3b分別表示MSER和Harris-Affine檢測器的人工地 物特征檢測結果。這其中，自然地物分布面積廣，邊緣不明顯，紋理單一，特征數量少，而人 工地物面積小、類型多、邊緣明顯、結構復雜，可檢測出的MSER特征多，而Harris-Aff ine特 征實現(xiàn)了特征尺度和空間位置的自動選取，克服了 Harris特征點的弱尺度特性。同時，還 引入自適應的迭代方法調整特征區(qū)域形狀，使Harris-Affine特征能夠克服仿射變換所產 生的形變，自然地物特征尺度小，重疊部分少，邊緣不明顯，特征數量少，而人工地物邊緣明 顯、結構復雜、遮擋陰影多，可檢測出Harris-Affine特征多，而且其具在尺度和仿射不變 性。說明這兩個檢測器適用于高分辨率遙感影像特征描述，特別是人工地物。
[0022] 上述的步驟1)中可以通過以下方法實現(xiàn)：通過MSER檢測器遍歷每個像素的灰 度值，獲得圖中所有的二值化閾值，在MSER檢測器中設定所述二值化閾值的一個為界限 值，然后指定大于或者小于該界限值的像素為黑色，對應地指定小于或者大于該界限值的 像素為白色，然后生成一個以幀對應數值為閾值的二值化處理圖像的連續(xù)圖像集；通過 Harris-Affine檢測器對海量高分辨率遙感影像進行Harris-Affine特征區(qū)域的檢測：通 過該Harris-Affine檢測器對海量高分辨率遙感影像的特征尺度和空間位置進行自動選 取。
[0023] 上述的連續(xù)圖像集中，隨著閾值的增力口，兩個局部最小區(qū)域將在某 點出現(xiàn)合并。最終，整張圖像將變?yōu)槿?。此連續(xù)圖像集中所有幀全部連接 部分的集合，就是最大區(qū)域的集合；而最小區(qū)域的集合則可以通過倒轉圖像 ?的強度并執(zhí)行同樣的處理而獲得。本MSER檢測器特別適于檢測高分辨率遙感影像中人工 地物的底層視覺特征。上述的MSER特征區(qū)域，即最大穩(wěn)定極值區(qū)域，是通過一個區(qū)域和其 外邊界強度函數的極值屬性來獨立定義的區(qū)域。
[0024] 上述的Harris-Affine檢測器還可以根據自適應迭代方法調整檢測出的 Harris-Affine特征區(qū)域的形狀，克服Harris-Affine特征區(qū)域因仿射變化所產生的形變。
[0025] 上述的Harris-Affine檢測器監(jiān)測人工地物區(qū)域時，檢測結果邊緣明顯、結構復 雜、遮擋陰影多，可檢測出Harris-Affine特征多，而且其具在尺度和仿射不變性，是高分 辨率遙感影像描述的較好選擇。
[0026] 上述的步驟2)中，可以通過上述SIFT128維特征描述器在上述興趣點的領域范圍 內選取16 X 16像素的窗口，也可以是大于此像素的其他值，然后將其劃分為4X 4像素的子 窗口共16個，通過所述SIFT128維特征描述器計算該子窗口中每個像素的梯度大小和梯度 方向，然后根據8梯度方向的直方圖來統(tǒng)計子窗口的平均方向，為每個該子窗口都創(chuàng)建一 個8方向且通過高斯核函數加權的梯度直方統(tǒng)計圖，得到128維特征向量，對該128維特征 向量進行單位化，得到所述興趣點中的128維SIFT描述子。
[0027] 如圖1所示，上述的圖像底層視覺特征的提取方法的描述過程還包括以下基于 MapReduce框架的檢測和描述方法，其包括以下步驟： 21) 劃分：計算機對輸入文件或文件集切分成InputSplit (邏輯小塊）并傳輸給每個 Map (映射)，Split函數通過完全讀取大文件-索引來分析大文件-數據中遙感影像數據 的元數據，進而以預定規(guī)則對所述大文件-數據進行邏輯上的劃分并分配給Map操作，然后 RecordReader函數將劃分inputSplit讀取成一條條key-value的記錄，隨后按次序傳遞給 map函數完成數據輸入工作； 22) 映射：在一個Map操作內部，計算機根據串行的順序進行底層視覺特征的檢測和 描述，在一個Map操作內部，將按照串行的順序來進行底層視覺特征檢測和描述處理，Map 操作輸入的記錄key-value格式為〈Metadata, Remote image〉，其中Metadata為當前影 像遙感的元數據，Remote image為當前遙感影像的二進制數據流；Map操作輸出的記錄 key-value 格式為〈Feature type，F(xiàn)eature〉，F(xiàn)eature type 為特征區(qū)域的類型，如"MSER，' 和"Harris-Affine"等，F(xiàn)eature為字符型特征描述； 23) 歸約（Reduce):計算機按類型排序重組的上述〈Feature type, Feature〉被分配到 不同的Reduce操作，每個Reduce操作實例對應一種類型的底層視覺特征，將接收的多個同 類型的底層視覺特征集合合并成一個完整的文件。
[0028] 繼續(xù)如圖1所示，上述的步驟22)中，還可以包括分區(qū)（Partition)步驟：計算機根 據上述Feature type對上述Map輸出的上述〈Feature type, Feature〉進行分類，為后續(xù) Reduce提供數據準備，在每個Map操作的后面都插入一個上述Partition的操作，讓它對上 述Map操作生成的所有上述〈Feature type, Feature〉進行分區(qū)處理，獲得與底層視覺特征 檢測器數目相等的上述〈Feature type, Feature〉的分區(qū)，然后各個上述Map操作輸出結果 經上述Partition操作處理后會在系統(tǒng)后臺進行排序重組,再傳遞給上述的后續(xù)Reduce操 作。
[0029] 上述的步驟21)中，計算機可以根據規(guī)則格網劃分方法對輸入文件或文件集切分 成 InputSplit。
[0030] 上述的基于MapReduce框架的檢測和描述方法具體實施中可以在計算機中的 Visual Geometry Group (VGG)所提供的LINUX環(huán)境下的LN應用程序的軟件環(huán)境下實現(xiàn)。
[0031] 為驗證本發(fā)明在不同數量視覺特征下的提取效率，進行了如下實驗： 準備如下硬件：四臺浪潮英信NF5220服務器，每臺8個Intel Xeon E5504 2. 0G的 CPU、64GB RAM內存和IT硬盤、網絡連接用TP-Link千兆交換機。
[0032] 準備如下軟件：虛擬系統(tǒng)為 CentOS 6. 5，安裝 jdk-6u27-linux-x64_rpm、 Hadoop-〇· 20. 2、HBase-0· 90. 3、Zookeeper-3. 3. 1、GDAL1. 6,編程平臺為 Eclipse3. 7 (INDIGO)。其中，Java 在 Linux 下調用的 GDAL 包是在 SWIG (Simplified Wrapper and Interface Generator)的基礎上使用G++4. 4和ANT編譯而成。
[0033] 虛擬集群：在四臺物理機器中的每臺上再虛擬出四臺機器，組成共16個節(jié)點的 他(1〇0口集群。其中包括1臺]\^8七61'(1381^1'四〇1^1'、似11161^0(16)和15臺313￥6(]〇131'四〇1^1'、 DataNode)，HDFS系統(tǒng)數據備份設置為3，MapReduce內存設置為2046MB，每臺虛擬機可支持 兩個Map操作。
[0034] 本實驗數據為小影像集大文件，以256為影像規(guī)則網格劃分像素處理生成的六組 小影像集大文件，詳細內容如表1所示。
[0035] 表1 本實驗處理的小影像集大文件詳細信息_ι

【權利要求】
1. 一種圖像底層視覺特征的提取方法，基于MapReduce框架，其特征在于：包括以下步 驟： 1) 分別通過MSER檢測器和Harris-Affine檢測器對海量高分辨率遙感影像進行MSER 特征區(qū)域和Harris-Affine特征區(qū)域的檢測； 2) 通過SIFT128維特征描述器在檢測出的MSER特征區(qū)域和Harris-Affine特征區(qū)域 中選取興趣點并進行向量描述。
2. 根據權利要求1所述的圖像底層視覺特征的提取方法，其特征在于：所述步驟1) 中： 通過MSER檢測器對海量高分辨率遙感影像進行MSER特征區(qū)域的檢測：通過所述MSER 檢測器遍歷每個像素的灰度值，獲得圖中所有的二值化閾值，在所述MSER檢測器中設定所 述二值化閾值的一個為界限值，然后指定大于或者小于所述界限值的像素為黑色，對應地 指定小于或者大于所述界限值的像素為白色，然后生成一個以幀對應數值為閾值的二值化 處理圖像的連續(xù)圖像集； 通過Harris-Affine檢測器對海量高分辨率遙感影像進行Harris-Affine特征區(qū)域的 檢測：通過所述Harris-Affine檢測器對海量高分辨率遙感影像的特征尺度和空間位置進 行自動選取。
3. 根據權利要求2所述的圖像底層視覺特征的提取方法，其特征在于：所述 Harris-Affine檢測器還根據自適應迭代方法調整檢測出的Harris-Affine特征區(qū)域的形 狀，克服Harris-Affine特征區(qū)域因仿射變化所產生的形變。
4. 根據權利要求1所述的圖像底層視覺特征的提取方法，其特征在于：所述步驟2)中， 通過所述SIFT128維特征描述器在所述興趣點的領域范圍內選取至少16 X 16像素的窗口， 然后將其劃分為至少4X4像素的子窗口共16個，通過所述SIFT128維特征描述器計算所 述子窗口中每個像素的梯度大小和梯度方向，然后根據8梯度方向的直方圖來統(tǒng)計子窗口 的平均方向，為每個所述子窗口都創(chuàng)建一個8方向且通過高斯核函數加權的梯度直方統(tǒng)計 圖，得到128維特征向量，對所述128維特征向量進行單位化，得到所述興趣點中的128維 SIFT描述子。
5. 根據權利要求1所述的圖像底層視覺特征的提取方法，其特征在于：描述過程還包 括以下基于MapReduce框架的檢測和描述方法，其包括以下步驟： 21) 劃分：計算機對輸入文件或文件集切分成InputSplit (邏輯小塊）并傳輸給每個 Map (映射)，Split函數通過完全讀取大文件-索引來分析大文件-數據中遙感影像數據 的元數據，進而以預定規(guī)則對所述大文件-數據進行邏輯上的劃分并分配給Map操作，然后 RecordReader函數將劃分inputSplit讀取成一條條key-value的記錄，隨后按次序傳遞給 map函數完成數據輸入工作； 22) 映射：在一個Map操作內部，計算機根據串行的順序進行底層視覺特征的檢測和 描述，在一個Map操作內部，將按照串行的順序來進行底層視覺特征檢測和描述處理，Map 操作輸入的記錄key-value格式為〈Metadata, Remote image〉，其中Metadata為當前影 像遙感的元數據，Remote image為當前遙感影像的二進制數據流；Map操作輸出的記錄 key-value 格式為〈Feature type，F(xiàn)eature〉，F(xiàn)eature type 為特征區(qū)域的類型，F(xiàn)eature 為字符型特征描述； 23)歸約（Reduce):計算機按類型排序重組的所述〈Feature type, Feature〉被分配到 不同的Reduce操作，每個Reduce操作實例對應一種類型的底層視覺特征，將接收的多個同 類型的底層視覺特征集合合并成一個完整的文件。
6. 根據權利要求5所述的圖像底層視覺特征的提取方法，其特征在于：所述步驟22) 中，還包括分區(qū)（Partition)步驟：計算機根據所述Feature type對所述Map輸出的所述 〈Feature type, Feature〉進行分類，為后續(xù)Reduce提供數據準備，在每個Map操作的后面 都插入一個所述Partition的操作，讓它對所述Map操作生成的所有所述〈Feature type, Feature〉進行分區(qū)處理，獲得與底層視覺特征檢測器數目相等的所述〈Feature type, Feature〉的分區(qū)，然后各個所述Map操作輸出結果經所述Partition操作處理后會在系統(tǒng) 后臺進行排序重組，再傳遞給所述的后續(xù)Reduce操作。
7. 根據權利要求5所述的圖像底層視覺特征的提取方法，其特征在于：所述步驟21) 中，計算機根據規(guī)則格網劃分方法對輸入文件或文件集切分成InputSplit。
【文檔編號】G06K9/46GK104112136SQ201310137436
【公開日】2014年10月22日 申請日期:2013年4月19日 優(yōu)先權日:2013年4月19日
【發(fā)明者】張彤, 沈盛彧 申請人:昆山鴻鵠信息技術服務有限公司