專利名稱：融合空間方位關(guān)系語義的遙感圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明涉及 一種遙感圖像檢索方法，具體說是一種融合空間方位關(guān)系語義和圖像 視覺特征的遙感圖像檢索方法，屬于遙感圖像處理與信息提取領(lǐng)域。
背景技術(shù)：
遙感圖像檢索(或者稱為遙感圖像查詢)是從遙感圖像數(shù)據(jù)庫中查詢返回用戶感 興趣的圖像或圖像序列的過程。隨著遙感圖像數(shù)據(jù)量的急劇增加，如何對龐大的圖像庫進(jìn) 行有效管理，對圖像信息進(jìn)行快速準(zhǔn)確地查詢檢索便成為急待解決的問題。總結(jié)目前研究 進(jìn)展，遙感圖像檢索主要有以下三種方法(1)基于文本的圖像檢索(Text-Based Image Retrieval,TBIR)該檢索方式根據(jù) 人對圖像的理解添加一定的標(biāo)注或描述性文本等，檢索的時候以這些人工注釋的文本信息 為索引對圖像進(jìn)行查詢檢索。此類方法主要存在如下幾個方面的問題1)人工注釋工作量 太大；2)人工注釋具有主觀性和不確定性。不同的觀察者或者同一觀察者在不同條件下對 同一幅圖像的描述可能會有不同，因而不夠客觀和準(zhǔn)確；3)文本無法完全概括圖像內(nèi)容。(2)基于內(nèi)容的圖像檢索(Content-Based Image Retrieval, CBIR)該檢索方式 首先提取圖像的視覺特征(主要包括顏色、紋理、形狀等)，然后根據(jù)這些視覺特征進(jìn)行圖 像間相似性判斷，從而實(shí)現(xiàn)檢索過程。然而，目前CBIR主要利用了圖像的低層視覺特征進(jìn) 行檢索，而人對圖像內(nèi)容的描述以及圖像之間的相似性的判斷則往往依據(jù)圖像所蘊(yùn)含的高 層語義，如對象、場景以及對象行為特征等等，這種圖像低層視覺特征與人們對圖像的理解 之間的差異(有人稱其為“語義鴻溝”問題)使得CBIR的檢索結(jié)果有時不那么盡如人意。(3)基于語義的圖像檢索(Semantic-Based Image Retrieval, SBIR)所謂圖像語 義，是指圖像內(nèi)容的本質(zhì)，是對圖像表達(dá)內(nèi)容的高度抽象?？梢哉J(rèn)為圖像語義是屬于概念范 疇，并可借用認(rèn)知科學(xué)研究概念結(jié)構(gòu)以及概念形成的研究成果。該檢索方法的思路就是提 取圖像中所包含的高層語義信息，然后以這些語義信息為索引進(jìn)行圖像檢索。根據(jù)圖像中 各語義要素的抽象程度，可將圖像的語義信息分成6個層次(分別是特征語義、對象語義、 空間關(guān)系語義、場景語義、行為語義、情感語義)，稱為圖像層次化語義模型(圖1)。基于高層語義信息的圖像檢索被認(rèn)為是最具發(fā)展前景的圖像檢索方式，但是，無 論從生物視覺還是計算機(jī)視覺來說，人們對視覺理解的認(rèn)識還遠(yuǎn)非深刻，計算機(jī)自動從圖 像中準(zhǔn)確抽取語義描述就目前的技術(shù)手段來說還是一個非常困難的課題。因而，此方法目 前是相關(guān)研究領(lǐng)域的熱點(diǎn)和難點(diǎn)，有待進(jìn)一步的研究和發(fā)展。Jiang Li 等人在《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING))2004 年4月第42卷第4期"Integrated Spectral and Spatial InformationMining in Remote Sensing Imagery”一文中提出了一種基于Gabor紋理特征和圖像對象語義的遙感圖像檢索 方法。其思路是用支持向量機(jī)(Support VectorMachine, SVM)方法對遙感圖像進(jìn)行分類， 將圖像分成水、綠草地、林地等8個類別。用戶檢索的時候，可以從圖像庫中選擇一幅圖像 作為模板也可以直輸入一幅圖像作為模板。如果是用戶從數(shù)據(jù)庫中選擇的圖像，系統(tǒng)會根據(jù)該圖像中地物的類型以及占的面積比和每種地物的Gabor紋理特征，從數(shù)據(jù)庫中查找與 其最接近的圖像集合。如果是用戶導(dǎo)入的圖像，系統(tǒng)會在線提取該圖像所包含的地物類型 以及所占的面積比例，以及地物的Gabor紋理特征，然后和圖像庫中的圖像進(jìn)行相似性計 算，尋找與其最接近的圖像序列。該方法利用了圖像視覺特征和對象語義信息，但是沒有考 慮對象的 空間關(guān)系語義信息，為此，檢索精度有待提高。汪彥龍等人在《計算機(jī)工程技術(shù)與發(fā)展》2006年1月第16卷第1期“基于對象空 間關(guān)系的圖像檢索方法研究” 一文中提出了一種基于對象空間關(guān)系的圖像檢索方法。他們 提出了用一個(S，χ,^, Θ)四元組表示圖像中地物之間空間關(guān)系的方法，其中δ表示對 象之間的拓?fù)潢P(guān)系。X和識分別表示兩對象在X軸和Y軸投影的間隔關(guān)系，θ表示兩對象 的角度關(guān)系。該方法首先得到圖像的空間關(guān)系特征，用四元組去表達(dá)并且存儲，然后圖像的 相似性問題就轉(zhuǎn)化為表示圖像的空間關(guān)系的相似性程度問題。這種對象空間關(guān)系的表達(dá)方 法對于背景單一，對象目標(biāo)數(shù)目較少的常規(guī)圖像(普通多媒體、醫(yī)學(xué)圖像等)來說能取得不 錯的檢索效果，但是不太適用于遙感圖像。因?yàn)檫b感圖像和普通多媒體以及醫(yī)學(xué)圖像相比， 地物類型多樣，分布非常復(fù)雜，相互之間的空間關(guān)系組合復(fù)雜多樣，很難用以上的四元組方 法進(jìn)行描述。為此，需要尋找更適合遙感圖像的空間關(guān)系表達(dá)、度量和檢索的方法。中國發(fā)明專利申請“融合空間關(guān)系語義的高分辨率遙感圖像檢索方法”(申請?zhí)?200910032456. 5)，公開了一種遙感圖像檢索方法，主要步驟如下(1)離線數(shù)據(jù)準(zhǔn)備步驟。它又包括<1>基于五叉樹的圖像分解與視覺特征提?。?<2>基于四叉樹的圖像分解及SVM分類獲取空間對象語義、空間關(guān)系語義；<3>特征入庫3 個步驟；(2)在線圖像檢索步驟。它又包括<1>語義粗檢索；<2>結(jié)合空間關(guān)系語義和視覺 特征的精檢索兩個步驟。具體說它是一種融合空間關(guān)系語義和圖像視覺特征的高分辨率遙感圖像檢索方 法。該方法使用了圖像的拓?fù)潢P(guān)系語義輔助圖像檢索，具有較高檢索精度，但其沒有考慮圖 像的空間方位語義。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)存在的缺陷，提出一種融合圖像視覺特征和空間 方位關(guān)系語義的遙感圖像檢索方法。該方法首先提取遙感圖像的視覺特征和對象語義、空 間方位關(guān)系語義特征并存儲于關(guān)系數(shù)據(jù)庫中。而后根據(jù)圖像的對象語義特征進(jìn)行檢索，得 到粗檢索結(jié)果。然后從粗檢索結(jié)果中選擇模板圖像，根據(jù)模板圖像的視覺特征以及對象語 義、空間方位關(guān)系語義特征，對粗檢索結(jié)果進(jìn)行進(jìn)一步的精檢索，返回在視覺特征以及對象 語義、空間方位語義上相似的圖像集合，完成檢索過程。該方法綜合利用了圖像的視覺特征 以及對象語義、空間方位語義特征，為此能夠獲得較高的檢索精度。本發(fā)明融合空間方位關(guān)系語義的遙感圖像檢索方法，其主要步驟如下(1)離線數(shù)據(jù)準(zhǔn)備步驟，它包括下列3個步驟<1>基于五叉樹的圖像分解與視覺特征提??；<2>基于光譜、形狀特征的圖像分割獲取分割圖斑及基于圖斑的SVM分類獲取 圖像的對象語義，并在此基礎(chǔ)上，利用我們提出的新的方位描述方法獲取空間方位關(guān)系語義；<3>特征入庫。(2)在線圖像檢索步驟，它包括下列步驟<1>語義粗檢索；<2>結(jié)合對象語義、空間方位關(guān)系語義和視覺特征的精檢索。其中，離線數(shù)據(jù)準(zhǔn)備步驟中的步驟1 “基于五叉樹的圖像分解與視覺特征提取”和中國發(fā)明專利申請“融合空間關(guān)系語義的高分辨率遙感圖像檢索方法”(申請?zhí)?200910032456. 5)中的對應(yīng)部分原理過程相同。步驟2與步驟3，即“基于光譜、形狀特征的 圖像分割及基于圖斑的SVM分類獲取對象語義、空間方位關(guān)系語義”;“特征入庫”和后者的 對應(yīng)部分過程不同。在線圖像檢索步驟中，步驟1 “語義粗檢索”和中國發(fā)明專利申請“融 合空間關(guān)系語義的高分辨率遙感圖像檢索方法”(申請?zhí)?200910032456. 5)的對應(yīng)步驟過 程相同，在步驟2 “結(jié)合對象語義、空間方位關(guān)系語義和視覺特征的精檢索”上和后者過程 不同。下面分別對發(fā)明中所使用的現(xiàn)有技術(shù)，包括結(jié)合光譜、形狀特征的圖像分割，圖像 五叉樹分解，圖像主成分變換(又稱為圖像PCA變換)，Gabor紋理特征提取，SVM非線性圖 像分類，直方圖相似性計算的基本原理進(jìn)行介紹，并據(jù)此給出本發(fā)明方法的詳細(xì)步驟。(1)圖像PCA變換遙感圖像與普通多媒體圖像一個重要區(qū)別就是遙感圖像一般具有多個波段。針對 該特點(diǎn)，采用PCA變換對遙感圖像進(jìn)行預(yù)處理，然后對第一主成分圖像進(jìn)行特征提取。這樣 就可以實(shí)現(xiàn)對任意波段數(shù)的圖像進(jìn)行處理。圖像經(jīng)過PCA變換之后第一主成分集中了圖像 90%以上的信息，使得提取的圖像特征更加穩(wěn)定，從而提高了檢索的精度。以下稱第一主成 分圖像為PCA圖像。PCA變換的主要原理如下對某一 η個波段的多光譜圖像實(shí)行一個線性變換，即對 該多光譜圖像組成的光譜空間X乘以一個線性變換矩陣Α，產(chǎn)生一個新的光譜空間Y，即產(chǎn) 生一幅新的η個波段的多光譜圖像。其表達(dá)式為Y = AX (1)公式1中X為變換前多光譜空間的像元矢量；Y為變換后多光譜空間的像元矢量； A為X的特征向量矩陣的轉(zhuǎn)置矩陣。(2)光譜、形狀特征結(jié)合的圖像分割如圖2，采用降水分水嶺變換對遙感圖像進(jìn)行初步分割獲取圖像次一級斑塊，即分 割亞基元；同時設(shè)計一種可重復(fù)合并的快速圖斑合并方法進(jìn)行亞基元的層次歸并獲得最后 分割斑塊，完成圖像分割。在合并過程中斑塊之間的差異指標(biāo)是它們的光譜合并代價與形 狀合并代價的加權(quán)和，合并結(jié)束的標(biāo)志是斑塊間兩兩合并代價超過某用戶指定的尺度參數(shù) 的平方。具體步驟包括 第一步PCA主成分變換利用主成分變換(PCA)消除圖像波段冗余，提取第一主成分分量進(jìn)行分割。這樣 處理的優(yōu)點(diǎn)是突出了待分割圖像的主要信息并在一定程度上壓制了噪聲。第二步基于分水嶺分割的亞基元獲取在圖像處理中引入分水嶺概念時，常將灰度圖像看成是假想的地形表面，每一個像素的灰度值表示該點(diǎn)的海拔高度。在實(shí)際應(yīng)用中，分水嶺變換所處理的一般不是原始圖 像而是其梯度圖。以梯度為高程，梯度圖像即為地形表面，高梯度的區(qū)域邊緣對應(yīng)于分水嶺 (線)，而低梯度的區(qū)域內(nèi)部對應(yīng)于集水盆地。采用分水嶺分割進(jìn)行影像分割，得到初始分 割斑塊，即亞基元。除此之外，登記其光譜、形狀(面積，周長等)以及鄰接拓?fù)潢P(guān)系服務(wù)后 續(xù)合并過程。第三步圖斑合并 在亞基元的基礎(chǔ)上，集成斑塊間光譜特征差異、形狀特征差異進(jìn)行斑塊歸并，實(shí)現(xiàn) 圖像分割。(3)五叉樹分解(也稱為五叉樹分塊)五叉樹分解法(圖3)分解過程為首先需將原圖像(NXN像元，其中N是2的整 數(shù)次冪，不足的添0補(bǔ)足)分解成5個子圖像；然后在進(jìn)行下一層次的分解時，由于中央子 圖像4的4個次一層次的子圖像分別與其余4個子圖像中的一個次一層次的子圖像重合， 因此，只需將除子圖像4 (中央子塊)以外的4個子圖像各分解為5個次一層次的子圖像即 可。以此類推，層層分解圖像，直至某一子圖像尺寸小于等于mXm為止(m可以由用戶自己 設(shè)定，默認(rèn)值是16，對于高分辨率遙感圖像而言，反復(fù)試驗(yàn)結(jié)果表明，m取16為好)。(4)圖像Gabor紋理特征提取本發(fā)明利用GABOR濾波方法提取圖像的紋理特征。所采用的GABOR濾波器如下所 示 其中U代表了濾波器的尺度，ν代表方向。如取
0，1，2，3，則共有12個濾波模板。多通道Gabor紋理特征提取步驟如下1)利用以上12個濾波器模板和PCA圖像進(jìn)行卷積操作，得到該圖像的每個像素的 12個濾波輸出特征；2)計算經(jīng)五叉樹分解后各子圖像的12個濾波輸出特征值的均值和方差，作為該 子圖像的紋理特征，為此共計24維紋理特征向量。(5) SVM圖像分類支持向量機(jī)(Support Vector Machine, SVM)是一種處理非線性分類問題的有效 工具。其基本思想可以概括為通過某種事先選擇的非線性映射將輸入空間向量χ映射到 高維特征空間Z，然后在這個新空間中求取最優(yōu)線性分類面實(shí)現(xiàn)分類的過程，而這種非線性 映射是通過定義適當(dāng)?shù)暮撕瘮?shù)實(shí)現(xiàn)的。目前，所使用的核函數(shù)有主要如下幾種1.多項(xiàng)式形式核函數(shù)K(x,y) = [(χ · y)+l]d (3)2.高斯徑向基函數(shù)
高斯徑向基函數(shù)與傳統(tǒng)徑向基函數(shù)(RBF)方法的基本區(qū)別是，這里每一個基函數(shù) 的中心對應(yīng)于一個支持向量，它們及輸出權(quán)值都是由算法自動確定的。3.指數(shù)徑向基函數(shù) 4. Sigmoid 核函數(shù)K (χ, y) = tanh[scale(x · y) -offset] (6)本方法采用的內(nèi)核函數(shù)是高斯徑向基函數(shù)。(5)直方圖相似性計算本方法中，計算兩直方圖之間的相似度主要采用直方圖相交法，其基本原理如 下令比和氏分別為圖像Q和圖像I的某一特征向量的頻數(shù)直方圖，則兩直方圖之間 的相似性P (Q，I)可記為
(7)其中L為直方圖的分級數(shù)。min[Hq(i^Hji)]為兩直方圖對應(yīng)的區(qū)間頻數(shù)的較小 值。方法詳細(xì)步驟如圖4，該方法包括了兩個主要部分，分別稱之為離線處理部分和在線處理部分。 離線處理部分首先對一幅遙感圖像進(jìn)行PCA變換，獲得PCA圖像，然后利用五叉樹分解法對 PCA圖像進(jìn)行分解并提取圖像的視覺特征。接著對PCA圖像進(jìn)行圖像分割以及SVM分類， 然后對分類結(jié)果進(jìn)行分類后處理(去除細(xì)小圖斑、創(chuàng)建圖斑間拓?fù)潢P(guān)系、方位計算)，獲取 圖像的對象語義以及對象之間的空間關(guān)系語義特征并將所有特征存入數(shù)據(jù)庫中。在線處理 部分主要包含兩個步驟。第一步是語義粗檢索，即通過用戶指定的語義信息遍歷圖像數(shù)據(jù) 庫，將所有包含用戶指定判別的遙感圖像返回；第二步對粗檢索結(jié)果進(jìn)行進(jìn)一步檢索，從粗 檢索步驟返回的圖像中選擇模板圖像，然后根據(jù)模板圖像的視覺特征以及其包含對象以及 對象之間的空間方位關(guān)系特征為檢索依據(jù)，對粗檢索結(jié)果進(jìn)行進(jìn)一步的匹配篩選，得到最 終檢索結(jié)果。本發(fā)明融合空間方位關(guān)系語義的遙感圖像檢索方法，其步驟如下一、離線數(shù)據(jù)準(zhǔn)備(1)主成分變換此步驟和“融合空間關(guān)系語義的高分辨率遙感圖像檢索方法”(專利申請?zhí)?200910032456. 5)相同，請參見該申請。(2)基于五叉樹的圖像分解與視覺特征提取此步驟和“融合空間關(guān)系語義的高分辨率遙感圖像檢索方法”(專利申請?zhí)?200910032456. 5)相同，請參見該申請。(3)圖像分割以及SVM分類
在本方法中，圖像空間語義特征是在圖像分割以及支撐向量機(jī)分類的基礎(chǔ)上獲取 的。具體過程如下第一步圖像分割。利用光譜、形狀特征結(jié)合的圖像分割方法，依照圖2所示流程 對PCA圖像進(jìn)行分割。第二步SVM圖像分類。利用SVM對分割后的圖像進(jìn)行分類。為SVM選擇高斯徑 向基函數(shù)并進(jìn)行樣本采集和SVM分類器訓(xùn)練(所用特征為樣本的各個波段的灰度均值)，而 后遍歷所有圖斑，得到圖斑對應(yīng)的原始圖像的各波段灰度均值，根據(jù)SVM訓(xùn)練得到的分類 模型，判斷該子塊所屬類別，完成分類過程。我們首先將地物分成6個類別，分別是水體、一 般植被、山地植被、人工地物、裸地、云霧。第三步分類后處理。對分類圖進(jìn)行一定的后處理以去除微小圖斑，并對地物進(jìn)行 進(jìn)一步的細(xì)分。將水體進(jìn)一步分成面狀水體和線狀水體，將人工地物細(xì)分成居民地和道路。 其過程如下根據(jù)某個面積閾值尋找所有的細(xì)小圖斑，遍歷所有相鄰的圖斑，如果與其相鄰 的所有圖斑地物類型一致，則將該小圖斑的地物類型修改成其周圍圖斑類型。而后，對人工 地物圖斑進(jìn)行形態(tài)學(xué)開、閉運(yùn)算，將細(xì)長形狀的線狀人工地物分離出來，作為道路。利用長 寬比和矩形度區(qū)分面狀水體和線狀水體，即將大于某個長寬比閾值且小于某個矩形度閾值 的水體圖斑作為線狀水體，剩余的作為面狀水體。為此，最終將地物分成面狀水體、線狀水 體、一般植被、山地植被、居民地、道路、裸地、云霧8個類別。(4)特征入庫分別將提取的24維圖像的紋理特征和2維的圖像顏色特征經(jīng)過歸一化處理之后 入庫。本方法采用的是極值歸一化(見公式8)。將各特征向量的值都映射到W，l]區(qū)間。 公式8中，VMW表示歸一化后的向量值，V。ld表示歸一化前的向量值，min(V。ld)、 max(Vold)分別表示某一特征向量在數(shù)據(jù)庫中的最小值，最大值。圖像對象語義的入庫存儲方式如下對PCA圖像利用圖像分割、SVM分類以及分類處理之后，得到一張分類結(jié)果圖。將 PCA圖像經(jīng)五叉樹分解之后尺寸大于512X512的子圖像與該分類結(jié)果圖進(jìn)行空間疊置，即 可以得到每個子圖像所包含的分類圖斑信息。根據(jù)這個即可獲得該子圖像的空間對象語 義。用一個二進(jìn)制串來存儲該對象語義信息。例如“01001000”代表該子圖像中包含了第 2種和第5種地物類別。圖像方位關(guān)系語義的提取與入庫存儲方法如下1)如圖5所示，按照一定的邏輯順序?qū)D像平均分成3X3共計9幅大小相同的 子圖像(子塊0 8)，同時以子塊邊界交點(diǎn)為中心，再劃分和0 8塊等大的9 12子圖 像，共計13個子圖像。2)統(tǒng)計從0、1…..11、12共計13幅子圖像中每幅圖像中8種地物的面積分布情 況。例如子圖像1，分別統(tǒng)計面狀水體、居民地8種地物在圖像中所占的面積比例。3)在完成所有子圖像地物分布情況統(tǒng)計之后，按照如圖5所示從0到12的順序， 構(gòu)建地物面積統(tǒng)計字符串。例如，假設(shè)子圖像0的地物面積統(tǒng)計字符串為“0. 007731*0. 01 1584*0. 138819*0. 08027*0. 759393*0. 002202*0. 000000*0. 000000”，表明第一種地物占該子圖像的面積比例為0. 007731，第二種為0. 011584。以此類推，統(tǒng)計其他所有子圖像的地 物分布情況，將所有字符串連接后存儲下來。此外，還存儲分類圖中每個圖斑占該子圖像的面積比(相對面積)以及每個對象 中心的坐標(biāo)的X，Y分別與子圖像的寬和長的比值，供后續(xù)語義分析使用。除了存儲以上信 息之外，還必須存儲一些其他信息輔助檢索。比如，對于某一子圖像，還要存儲它的左上角 的坐標(biāo)值以及該子圖像的尺寸，還有該子圖像經(jīng)過五叉樹分解之后的層數(shù)以及具體的圖塊序號。在特征入庫階段，采用如下(表1、表2、表3)的庫、表結(jié)構(gòu)對視覺特征、語義特征 進(jìn)行存儲。二、在線圖像檢索(1)基于對象語義的語義粗檢索此步驟和“融合空間關(guān)系語義的高分辨率遙感圖像檢索方法”(中國發(fā)明專利申請 號200910032456. 5)相同，請參見該申請。(2)基于空間關(guān)系語義和視覺特征的精檢索主要步驟第一步選擇模板圖像。根據(jù)第一步檢索返回的語義粗檢索結(jié)果，用戶從其中選擇 一幅圖像作為模板圖像。第二步視覺特征匹配。此步驟和“融合空間關(guān)系語義的高分辨率遙感圖像檢索 方法”(中國發(fā)明專利申請?zhí)?200910032456. 5)相同，請參見該申請。第三步對象語義特征匹配。定義一個如圖6所示的直方圖來表示圖像的對象語 義信息。橫坐標(biāo)是表示地物類型，縱坐標(biāo)表示對應(yīng)的地物占圖像的面積比例。最后依據(jù)直方 圖相似性計算的原理，采用直方圖相交方法，求得兩幅圖像的對象語義信息之間的相似性。第四步計算視覺特征與語義特征的綜合相似性。利用公式9計算模板圖像與粗 檢索結(jié)果集合中的圖像的視覺特征和對象語義特征的相似度S(Q，I)。S(Q，I) = WvisionSvision+ffobJectSobJect (9)其中Wvisi。n、ffobJect為圖像的視覺相似性和對象語義特征相似性，Wvision和W。bje。t分 別兩者的權(quán)重，用戶可以設(shè)定其大小，默認(rèn)值分別為0.5、0. 5。如果S(Q，I)大于一定的閾 值(系統(tǒng)默認(rèn)為0. 65，用戶可以根據(jù)不同的應(yīng)用設(shè)定更合適的值)，則對該圖像納入返回的 最后結(jié)果集，否則，處理下一幅。第五步方位關(guān)系語義相似性匹配。如圖7，在提取圖像方位關(guān)系時，事先將圖像 分成了 13個子圖像，然后提取其中每幅子圖像的地物分布情況，構(gòu)建方位關(guān)系直方圖，縱 坐標(biāo)為對應(yīng)地物的相對面積。橫坐標(biāo)代表13個子圖像的8種地物類型。對兩幅影像求算 其方位關(guān)系相似性時候，利用公式7，即直方圖相交方法計算兩者的空間關(guān)系相似性。最后 按該相似性將在線處理的第四步所返回的圖像根據(jù)該相似性大小進(jìn)行降序排序最后返回 給用戶，完成整個檢索過程。本發(fā)明方法具有以下優(yōu)點(diǎn)(1)本方法通過面向?qū)ο骃VM分類構(gòu)建低層視覺特征和高層語義信息之間的聯(lián) 系，獲取了圖像的語義信息。檢索中融合了遙感圖像的視覺特征和對象語義、空間關(guān)系語義 特征，從而提高了檢索的準(zhǔn)確度。
(2)檢索效率高。本方法的檢索有兩步，第一步進(jìn)行語義粗檢索，然后再對粗檢索 的結(jié)果進(jìn)行進(jìn)一步的精檢索。這種方式縮小檢索的范圍，提高了檢索的效率。


圖1:圖像語義層次模型； 圖2多精度分割方法流程圖；圖3 圖像五叉樹分解示意圖；圖4:系統(tǒng)框架圖；圖5 圖像空間語義關(guān)系提取示意圖；圖6 圖像對象語義特征直方圖示意圖；圖7 圖像方位關(guān)系特征直方圖示意圖；圖8 :SVM圖像分類(a)原始圖像；(b)圖像分割(c)樣本采集；(d)分類結(jié)果；圖9 分類結(jié)果后處理示意圖(a)處理前(b)處理后；圖10:檢索結(jié)果示意圖。
具體實(shí)施例方式下面結(jié)合實(shí)施例，對本發(fā)明方法做進(jìn)一步詳細(xì)說明。 實(shí)施例數(shù)據(jù)準(zhǔn)備實(shí)驗(yàn)數(shù)據(jù)為300幅大小為1024 X 1024的10米分辨率的SP0T-5和AL0S 圖像。它們均為多光譜圖像，具有4個波段。離線處理部分(1)主成分變換對所有圖像進(jìn)行PCA變換，獲取對應(yīng)的PCA圖像。(2)基于五叉樹的圖像分解與視覺特征提取對PCA圖像進(jìn)行五叉樹分解，將圖像分成一系列的子圖像。圖像分塊主要是有兩 個目的，一是為了得到不同尺寸的遙感圖像和一定程度的影像重疊率。這些都是組成檢索 的圖像數(shù)據(jù)庫的基礎(chǔ)。二是為了能夠?qū)D像分成一系列的最小尺度的子圖像進(jìn)行特征提 取，各個大尺度的圖像特征都是由這些小尺度的子圖像來描述。而進(jìn)行特征提取的子圖像 都是基于分塊后最小尺寸的子圖像，默認(rèn)值為16X16，該尺度用戶可以自行設(shè)置。但經(jīng)過實(shí) 驗(yàn)論證，采用16X16是對于檢索來說是最佳的。此外，由于分解后的子圖像如果太小，檢索價值不大，我們將所有尺寸大于等于 512X512的子圖像作為檢索過程可返回的結(jié)果圖像。因此，實(shí)驗(yàn)數(shù)據(jù)中每幅圖像可被分成 5幅512X512的子圖像，因此，最后整個數(shù)據(jù)庫中包含300幅1024X 1024子圖像、1500幅 512X512子圖像。顏色特征提取分別計算分塊后生成的所有葉子節(jié)點(diǎn)的子圖像像元值的二階、三 階顏色矩作為表征子圖像的顏色特征。紋理特征提取利用二維Gabor濾波和PCA圖像進(jìn)行卷積得到該圖像的12維紋理 特征。計算分塊后生成的所有葉子節(jié)點(diǎn)對應(yīng)的子圖像的12維紋理特征的平均值、方差作為該子圖像的24維紋理特征。(3)圖像分割以及SVM分類用SVM對分割后的圖斑進(jìn)行分類，詳細(xì)步驟如下第一步圖像分割。如圖8(b)，應(yīng)用光譜形狀結(jié)合的圖像分割技術(shù)對圖像進(jìn)行多精度分割。尺度參數(shù)設(shè)置值為30，顏色權(quán)值設(shè)為0.9。形狀權(quán)值設(shè)為0.1.光滑度和緊湊度 各為0.5。第二步訓(xùn)練樣本采集。在分割圖上，分別采集“水體”、“人工地物”、“一般植被”、 “山地植被”、“裸地”、“云霧”地物的樣本斑塊，得到如圖8(c)的采集結(jié)果。第三步SVM分類。根據(jù)訓(xùn)練樣本，利用SVM支持向量機(jī)對分割后的圖斑進(jìn)行分類， 得到該圖像所包含的語義信息。實(shí)驗(yàn)采用高斯核函數(shù)，其主要參數(shù)寬度參數(shù)ο默認(rèn)值40， 誤差懲罰因子C默認(rèn)值設(shè)為25。第四步分類后處理。分類后會存在一些細(xì)小圖斑，如圖9(a)中用圈圈標(biāo)識出來 的部分，它們會對后續(xù)分析帶來干擾，為此需要去除。通過設(shè)定面積閾值0. 0005，將相對面 積小于該閾值的細(xì)小圖斑挑選出來。然后對于這些細(xì)小圖斑遍歷其相鄰的所有圖斑，如果 與這些小圖斑相鄰的圖斑的地物類型是一致的，則將該小圖斑的類型修改成與其相鄰圖斑 一樣的地物類型，得到圖9(b)的結(jié)果。細(xì)分類時根據(jù)粗分類結(jié)果合并同類相鄰圖斑。此外， 對人工地物圖斑進(jìn)行形態(tài)學(xué)先開后閉運(yùn)算，將整塊人工地物延伸出來的細(xì)長線狀人工地物 提取出來作為道路。剩余部分作為居民地。開閉運(yùn)算的模板尺寸為15X15。而后利用長寬 比和矩形度指標(biāo)區(qū)分面狀水體和線狀水體。長寬比閾值設(shè)為3. 0，矩形度閾值設(shè)為0. 3。(4)特征入庫對于圖像的視覺特征，利用公式8將這些特征進(jìn)行歸一化處理，將各特征向量的 值都映射到W，l]區(qū)間。對于對象語義特征，分別將五叉樹分解之后尺寸大于512X512 的子圖像與分類結(jié)果圖進(jìn)行疊置，得到這些子圖像所包含的對象語義信息，并用數(shù)據(jù)庫中 ImageInfo表中的Semantic字段存儲。假設(shè)某張子圖像該字段為“01001000”，即代表該圖 像中包含了第2種和第5種地物(該字符串從左至右分別代表面狀水體、河流、山地植被、 一般植被、居民地、道路、裸地、云霧，1表示圖像包含該地物類型，0表示不包含)。在對象語義的基礎(chǔ)上，計算得到空間方位關(guān)系語義特征。步驟如下如圖5所示， (1)按照一定的邏輯順序?qū)D像平均分成3X3共計9幅大小相同的子圖像，同時取中間4 塊子圖像如圖7所示的9、10、11、12共計13個子圖像；(2)統(tǒng)計從0、1···. . 11、12共計13 幅子圖像中每幅圖像中8種地物的分布情況。例如子圖像1，分別統(tǒng)計面狀水體、居民地等 共計8種地物在圖像中所占的面積比例；(3)在完成所有子圖像地物分布情況統(tǒng)計之后，按 照如圖5所示從0到12的順序，構(gòu)建地物面積統(tǒng)計字符串。例如，假設(shè)子圖像0的地物面 積統(tǒng)計字符串為“0. 007731*0. 011584*0. 138819*0. 08027*0. 759393*0. 002202*0. 000000*0.0000 00”，表明第一種地物占該子圖像的面積比例為0. 007731，以此類推，統(tǒng)計其他所有子圖像 的地物分布情況，將所有字符串連接后存儲下來。除了存儲以上信息之外，我們還存儲了 一些其他信息輔助檢索。比如，對于某一子 圖像，我們還要存儲它的左上角的坐標(biāo)值以及該子圖像的尺寸，還有該子圖像經(jīng)過五叉樹 分解之后的層數(shù)以及具體的圖塊序號。具體數(shù)據(jù)庫結(jié)構(gòu)以及所有需要存儲的信息可以參見表1，表2，表3ο表1圖像庫結(jié)構(gòu)及其說明 表2視覺特征表結(jié)構(gòu)(表ImageInfo) 表3語義特征表結(jié)構(gòu)(表Semantic Info) 在線處理部分(1)基于對象語義的粗檢索第一步語義查詢。用戶從“面狀水體”、“居民地”、“一般植被”、“山地植被”、“河 流”、“道路”、“裸地”、“云霧”8種地物中選擇要檢索的圖像中包含的地物信息。本案例中我 們選擇“面狀水體”、“居民地”、“山地植被”、“一般植被”四種地物。本發(fā)明中用一個字符串 來表示圖像包含的對象語義信息。對應(yīng)著數(shù)據(jù)庫中Imagelnfo表中的semantic字段，該字 段為一個長度為8的字符串，從左至右，分別代表“面狀水體”、“河流”、“山地植被”、“一般植 被”、“居民地”、“道路及提壩”、“裸地”、“云霧”。用1來表示包含，0表示不包含。例如假設(shè) 表示某幅遙感圖像包含對象語義信息的字符串為“10101100”，其物理含義就表示該圖像包 含了 “面狀水體”、“山地植被”、“一般植被”、“居民地”。第二步語義解析。根據(jù)用戶選擇的地物信息，我們可以得知，用戶感興趣的圖像 的語義信息映射到Imagelnfo表中semantic字段為“ 1*1*11**”，其中，*表示可為1或 0(即包含不包含該地物均可)。在本方法中還需要設(shè)定一個面積閾值參數(shù)和圖像尺寸閾值 參數(shù)，即要求檢索的地物占圖像面積比的最小值，默認(rèn)值0.001。也就是說，在本例中，要求 檢索的“水體”、“人工地物”、“裸地”三種地物任何一種地物占圖像總面積的比例不能小于 0.01。圖像尺寸閾值就是要求被檢索的圖像最小尺寸值，默認(rèn)為512X512。即要求所有返 回的圖像的長和寬都必須大于512X512。根據(jù)以上要求遍歷圖像數(shù)據(jù)庫，將所有符合要求 的圖像返回。這個結(jié)果稱為語義粗檢索結(jié)果。第三步結(jié)果顯示。將返回的結(jié)果顯示在界面上，供用戶進(jìn)行下一步檢索。(2)基于空間關(guān)系語義和視覺特征的精檢索主要步驟第一步選擇模板圖像。通過瀏覽語義粗檢索結(jié)果，用戶從中選擇一幅圖像作為模 板圖像進(jìn)行進(jìn)一步的精檢索。第二步視覺特征匹配。分別從數(shù)據(jù)庫中讀取模板圖像和待匹配圖像(即語義粗 檢索結(jié)果)的顏色和紋理視覺特征，計算兩幅圖像之間的視覺特征相似度。第三步對象語義特征匹配。分別從數(shù)據(jù)庫中讀取模板圖像和待匹配圖像(即語 義粗檢索結(jié)果)的顏色和對象語義特征，定義一個如圖6所示的直方圖來表示圖像的對象 語義信息。橫坐標(biāo)表示地物類型，縱坐標(biāo)表示對應(yīng)的地物占圖像的面積比例。最后依據(jù)直 方圖相似性計算的原理(公式7)，即可求得兩幅圖像的對象語義信息之間的相似性。第四步綜合視覺特征和對象語義特征匹配。利用公式9計算兩幅圖像之間的綜 合視覺特征和對象特征的相似度，與設(shè)定的閾值進(jìn)行比較，本發(fā)明中取0. 65。如果相似性大 于該值，則將其納入返回結(jié)果集。否則拋棄它，并處理下一副圖像。第五步空間關(guān)系語義匹配。如圖7建立模板圖像與粗檢索集中圖像的空間關(guān)系 直方圖，然后利用公式7計算二兩者的空間關(guān)系相似性，以該結(jié)果作為兩幅圖像空間關(guān)系相似度的表征。最后按該相似性將在線處理的第四步所返回的圖像根據(jù)該相似性大小進(jìn)行 降序排序最后返回給用戶，完成整個檢索過程。圖10是部分返回結(jié)果示意(只顯示了前9 幅，其中第一幅是用戶選擇的查詢模板，同時也是相似度最高，排第一位返回的圖像)。
權(quán)利要求
一種融合空間方位關(guān)系語義的遙感圖像檢索方法，其步驟如下一、離線數(shù)據(jù)準(zhǔn)備(1)主成分變換；(2)基于五叉樹的圖像分解與視覺特征提?。?3)圖像分割以及SVM分類；(4)特征入庫，分別將提取的24維圖像的紋理特征和2維的圖像顏色特征經(jīng)過歸一化處理之后入庫；二、在線圖像檢索(1)基于對象語義的語義粗檢索；(2)按照下列步驟進(jìn)行基于空間關(guān)系語義和視覺特征的精檢索第一步選擇模板圖像；根據(jù)第一步檢索返回的語義粗檢索結(jié)果，用戶從其中選擇一幅圖像作為模板圖像；第二步視覺特征匹配；第三步對象語義特征匹配。定義一個直方圖來表示圖像的對象語義信息，橫坐標(biāo)表示地物類型，縱坐標(biāo)表示對應(yīng)的地物占圖像的面積比例，最后依據(jù)直方圖相似性計算的原理，采用直方圖相交方法，求得兩幅圖像的對象語義信息之間的相似性；第四步計算視覺特征與語義特征的綜合相似性，利用下列公式計算模板圖像與粗檢索結(jié)果集合中的圖像的視覺特征和對象語義特征的相似度S(Q，I)，S(Q，I)＝WvisionSvision+WobjectSobject其中Wvision、Wobject為圖像的視覺相似性和對象語義特征相似性，Wvision和Wobjct分別兩者的權(quán)重，用戶可以設(shè)定其大小，默認(rèn)值分別為0.5、0.5；如果S(Q，I)大于設(shè)定的閾值，則對該圖像納入返回的最后結(jié)果集，否則，處理下一幅；第五步方位關(guān)系語義相似性匹配；在提取圖像方位關(guān)系時，事先將圖像分成了13個子圖像，然后提取其中每幅子圖像的地物分布情況，構(gòu)建方位關(guān)系直方圖，縱坐標(biāo)為對應(yīng)地物的相對面積，橫坐標(biāo)代表13個子圖像的8種地物類型；采用直方圖相交方法計算兩幅影像的空間關(guān)系相似性；最后按空間關(guān)系相似性將第四步所返回的圖像根據(jù)空間關(guān)系相似性大小進(jìn)行降序排序，最后返回給用戶，完成整個檢索過程。
2.根據(jù)權(quán)利要求1所述的融合空間方位關(guān)系語義的遙感圖像檢索方法，其特征是所述圖像分割以及SVM分類，具體過程如下第一步圖像分割采用光譜、形狀特征結(jié)合的圖像分割方法對PCA圖像進(jìn)行分割；第二步SVM圖像分類采用SVM對分割后的圖像進(jìn)行分類；為SVM選擇高斯徑向基函數(shù) 并進(jìn)行樣本采集和SVM分類器訓(xùn)練，而后遍歷所有圖斑，得到圖斑對應(yīng)的原始圖像的各波 段灰度均值，根據(jù)SVM訓(xùn)練得到的分類模型，判斷該子塊所屬類別，完成分類過程；第三步分類后處理根據(jù)某個面積閾值尋找所有的細(xì)小圖斑，遍歷所有相鄰的圖斑，如 果與其相鄰的所有圖斑地物類型一致，則將該小圖斑的地物類型修改成其周圍圖斑類型； 而后，對人工地物圖斑進(jìn)行形態(tài)學(xué)開、閉運(yùn)算，將細(xì)長形狀的線狀人工地物分離出來，作為 道路；利用長寬比和矩形度區(qū)分面狀水體和線狀水體，即將大于某個長寬比閾值且小于某 個矩形度閾值的水體圖斑作為線狀水體，剩余的作為面狀水體；最終將地物分成面狀水體、 線狀水體、一般植被、山地植被、居民地、道路、裸地、云霧8個類別。
3.根據(jù)權(quán)利要求1所述的融合空間方位關(guān)系語義的遙感圖像檢索方法，其特征是 所述特征入庫，分別將提取的24維圖像的紋理特征和2維的圖像顏色特征經(jīng)過歸一化 處理之后入庫，具體是`24維圖像的紋理特征和2維的圖像顏色特征的歸一化處理采用的是極值歸一化，將各 特征向量的值都映射到W，l]區(qū)間， 其中乂^表示歸一化后的向量值^則表示歸一化前的向量值，！^??！作-)、!^^-)分 別表示某一特征向量在數(shù)據(jù)庫中的最小值，最大值； 圖像對象語義的入庫存儲方式如下對PCA圖像利用圖像分割、SVM分類以及分類處理之后，得到一張分類結(jié)果圖，將PCA圖 像經(jīng)五叉樹分解之后尺寸大于512X512的子圖像與該分類結(jié)果圖進(jìn)行空間疊置，即可以 得到每個子圖像所包含的分類圖斑信息，從而獲得子圖像的空間對象語義，用一個二進(jìn)制 串來存儲對象語義信息；圖像方位關(guān)系語義的提取與入庫存儲方法如下1)將圖像平均分成3X3共計9幅大小相同的子圖像，同時以子塊邊界交點(diǎn)為中心，再 劃分四幅子圖像，共計13幅子圖像；2)統(tǒng)計13幅子圖像中每幅圖像中各種地物在圖像中所占的面積比例；3)按照從O到12的順序，構(gòu)建各種地物在圖像中所占的面積比例字符串并存儲。
全文摘要
本發(fā)明公開了一種融合空間方位關(guān)系語義的遙感圖像檢索方法，其主要步驟為1、離線數(shù)據(jù)準(zhǔn)備步驟，它包括圖像分解與視覺特征提??；圖像分割獲取分割圖斑及基于圖斑的SVM分類獲取圖像的對象語義，并在此基礎(chǔ)上，利用本發(fā)明提出的新的方位描述方法獲取空間方位關(guān)系語義；特征入庫。2、在線圖像檢索步驟，它包括語義粗檢索和結(jié)合對象語義、空間方位關(guān)系語義和視覺特征的精檢索。本方法通過面向?qū)ο骃VM分類構(gòu)建低層視覺特征和高層語義信息之間的聯(lián)系，獲取了圖像的語義信息。檢索中融合了遙感圖像的視覺特征和對象語義、空間關(guān)系語義特征，從而提高了檢索的準(zhǔn)確度。本方法通過語義粗檢索和進(jìn)一步的精檢索，縮小了檢索的范圍，提高了檢索的效率。
文檔編號G06F17/30GK101877007SQ20101017644
公開日2010年11月3日 申請日期2010年5月18日 優(yōu)先權(quán)日2010年5月18日
發(fā)明者萬其明, 宋騰義, 張大騫, 張青峰, 汪閩, 顧禮斌 申請人:南京師范大學(xué)