而且,檢索模塊中,預(yù)設(shè)的相似性度量準(zhǔn)則采用城區(qū)距離。
[0056] 與現(xiàn)有技術(shù)相比,本發(fā)明具有如下特點和有益效果,
[0057] 1、采用視覺注意模型計算圖像的顯著圖,并將顯著圖二值化對SIFT提取的特征 點進行過濾得到圖像的顯著特征點,不僅符合人眼的視覺注意特點而且能更好地反映出人 們的檢索需求。
[0058] 2、選取圖像的顯著特征點構(gòu)造訓(xùn)練樣本,彌補了傳統(tǒng)的在訓(xùn)練圖像上隨機取樣構(gòu) 造訓(xùn)練樣本的缺陷。
[0059] 3、利用稀疏自編碼網(wǎng)絡(luò)訓(xùn)練得到的特征提取器實現(xiàn)了圖像特征的自動提取,免除 了針對復(fù)雜遙感圖像的特征設(shè)計過程。
[0060] 4、擴展性好,訓(xùn)練樣本包括但不僅限于顯著特征點。
【附圖說明】
[0061 ] 圖1為本發(fā)明實施例的流程圖。
【具體實施方式】
[0062] 本發(fā)明提出的基于顯著點特征和稀疏自編碼的遙感圖像檢索方法首先提取圖像 的特征點得到特征點矩陣,并計算圖像的顯著圖,然后采用自適應(yīng)閾值將顯著圖二值化與 特征點矩陣進行"掩膜"運算得到顯著特征點,接著選取一定數(shù)目的顯著特征點構(gòu)造訓(xùn)練樣 本訓(xùn)練稀疏自編碼網(wǎng)絡(luò),并利用訓(xùn)練的特征提取器自動提取圖像特征得到用于檢索的特征 向量,最后根據(jù)預(yù)設(shè)的相似性度量方法進行圖像檢索并返回相似圖像。
[0063] 為詳細(xì)說明本發(fā)明技術(shù)方案,參見圖1,提供實施例流程具體說明如下:
[0064] 步驟1,提取圖像庫中各圖像的特征點得到特征點矩陣,并利用視覺注意模型計算 各圖像的顯著圖。
[0065] 具體實施時,可以采用現(xiàn)有的圖像庫或由本領(lǐng)域技術(shù)人員自行構(gòu)建的圖像庫。例 如選取一幅包含多個地物類別的高分辨率遙感圖像,采用Tiles分塊方式進行切分構(gòu)建 包含多個類別的檢索圖像庫。對于圖像庫中的每一幅圖像,實施例首先采用SIFT(Scale InvariantFeatureTransform)算子提取圖像的特征點(關(guān)鍵點)得到特征點矩陣,然后 采用GBVS(Graph_BasedVisualSaliency)模型計算圖像的顯著圖,Tile分塊方法,SIFT 算子以及GBVS模型是現(xiàn)有技術(shù),本發(fā)明不予贅述。
[0066] 步驟2,對于圖像庫中各圖像的顯著圖,分別采用自適應(yīng)閾值法將顯著圖二值化, 并與圖像相應(yīng)的特征點矩陣進行"掩膜"運算得到過濾后的顯著特征點。
[0067] 實施例中根據(jù)像素的顯著性大小確定顯著圖的二值化閾值,二值化顯著圖與特征 點矩陣進行"掩膜"運算后得到顯著特征點,實現(xiàn)如下:
[0068] 根據(jù)顯著圖像素的顯著性大小,由式(1)確定顯著圖的二值化閾值T。
[0070] 其中,w和h分別表示顯著圖的寬和高,I(x,y)表示顯著圖(x,y)處像素的顯著 值。
[0071] 根據(jù)二值化閾值T對顯著圖二值化,得到二值化顯著圖,相應(yīng)有矩陣Ib_y。利用二 值化顯著圖對圖像的特征點矩陣進行過濾得到顯著特征點。設(shè)P表示圖像的特征點矩陣, 卩:表示過濾后的顯著特征點矩陣,則顯著特征點矩陣可通過式(2)計算。
[0072] (2)
[0073]其中,
[0075]矩陣P的每一個元素表示一個SIFT關(guān)鍵點對應(yīng)的特征向量,而SIFT關(guān)鍵點對應(yīng) 的特征向量一般是128維的,本發(fā)明實施例相應(yīng)使用128維;
[0077] 其中,P12S(x,y)表示特征點對應(yīng)的特征向量,若(x,y)處像素沒有特征點則 Ρ?28(χ,y) = 〇。1他町中各元素為〇或1,Ibinary(x,y)表示二值化顯著圖在(X,y)處的取值。 符號" 為數(shù)乘運算符號。
[0078] 步驟3,從圖像庫中選取若干圖像作為訓(xùn)練圖像,從各訓(xùn)練圖像分別選取若干顯著 特征點構(gòu)造訓(xùn)練樣本,訓(xùn)練稀疏自編碼網(wǎng)絡(luò),得到特征提取器。
[0079] 實施例中,步驟3中選取一定數(shù)目的訓(xùn)練圖像的顯著特征點而非傳統(tǒng)的圖像塊 構(gòu)造訓(xùn)練樣本,訓(xùn)練時選用ReLU(Rectified Linear Units)函數(shù)而非傳統(tǒng)的sigmoid函 數(shù)作為稀疏自編碼網(wǎng)絡(luò)隱含層神經(jīng)元的激活函數(shù)。例如,步驟3中每個顯著特征點是一個 4X4X8=128維的特征向量,一個特征點構(gòu)成一個訓(xùn)練樣本。具體實施時,訓(xùn)練圖像的數(shù) 目、一幅訓(xùn)練圖像中顯著特征點的數(shù)目可由本領(lǐng)域技術(shù)人員自行指定。
[0080] 具體實現(xiàn)如下:
[0081] 首先,選取圖像的顯著特征點,構(gòu)造訓(xùn)練樣本集。
[0082] 實施例首先從圖像庫中隨機選取一定數(shù)目的圖像作為訓(xùn)練圖像,然后隨機選取一 定數(shù)目的訓(xùn)練圖像的顯著特征點構(gòu)造訓(xùn)練樣本集。訓(xùn)練樣本集可用式(3)表示:
[0083]
[0084] 其中,m表示訓(xùn)練樣本的個數(shù),X的每一列表示一個顯著特征點,即一個訓(xùn)練樣本。 例如,[Xu,X;U,…,X128,1]是第1個訓(xùn)練樣本,[Χι,2,x2,2,…,Xiai,2]是第2個訓(xùn)練樣本。
[0085] 然后,訓(xùn)練稀疏自編碼網(wǎng)絡(luò)得到特征提取器。
[0086] 由于同一幅訓(xùn)練圖像提取的顯著特征點存在一定的相關(guān)性,因此不能直接把訓(xùn)練 樣本集X輸入稀疏自編碼網(wǎng)絡(luò)進行訓(xùn)練。訓(xùn)練前采用ZCA(ZeroComponentAnalysis)白 化對訓(xùn)練樣本進行處理得到白化后的訓(xùn)練樣本集t,并保存ZCA白化時的相關(guān)參數(shù),ZCA 白化實現(xiàn)為現(xiàn)有技術(shù),本發(fā)明不予贅述。
[0087] 實施例定義了一個包含輸入層、隱含層以及輸出層3層的稀疏自編碼網(wǎng)絡(luò),其中 隱含層神經(jīng)元采用ReLU函數(shù)f\=max(0,X)作為激活函數(shù),輸出層神經(jīng)元采用softplus函 數(shù)f2=ln(l+ex)作為激活函數(shù)。相比傳統(tǒng)的sigmoid函數(shù),ReLU函數(shù)能一定程度上緩解 梯度消失問題更利于網(wǎng)絡(luò)訓(xùn)練。給定訓(xùn)練樣本集t,則稀疏自編碼網(wǎng)絡(luò)的代價函數(shù)可定義 為式(4)。
[0089] 式中第一項為均方誤差項,第二項為正則項,士,表示訓(xùn)練樣本集X'的網(wǎng)絡(luò)輸出 值,W= %,W2]和b=[byb2]分別表示網(wǎng)絡(luò)輸入層和隱含層間的權(quán)重%和偏置bi以及隱 含層和輸出層間的權(quán)重胃2和偏置b2構(gòu)成的權(quán)重矩陣,λ表不正則項系數(shù)。具體實施時,訓(xùn) 練時可采用梯度下降等方法優(yōu)化式(4)中的代價函數(shù)得到權(quán)重和偏置矩陣參數(shù)W和b。
[0090] 步驟4,對圖像庫中的所有圖像,利用步驟3訓(xùn)練所得的特征提取器進行特征提 取,并用閾值函數(shù)對提取的特征進行稀疏化處理,得到最終的用于檢索的特征向量。
[0091] 實施例的步驟4中將圖像的顯著特征點輸入特征提取器進行映射得到相應(yīng)的圖 像特征,再利用閾值函數(shù)對提取的特征進行稀疏化處理即可得到最終的用于檢索的特征向 量。
[0092] 提取的圖像特征Y可用式(5)表示如下,
[0093] Y=f! r +bi) (5)
[0094] 其中,將WA+bJt為變量x代入ReLU函數(shù)fmax(0,x),此處所用的顯著特征 點矩陣P/是根據(jù)步驟2所得過濾后的顯著特征點矩陣,使用與對訓(xùn)練樣本集X進行白化 時相同的ZCA白化參數(shù)進行預(yù)處理的結(jié)果。對于提取的圖像特征Y,用式(6)進行稀疏化處 理得到稀疏特征矩陣Z。
[0095] Z= [Z+,Z] =[max(0,Υ-a),max(0,α-Y) ] (6)
[0096] 其中,α表示閾值函數(shù)f=max(0,χ-α)和f=max(0,α-Y)的閾值,矩陣Z+ = max(0,Υ-α),Z=max(0,α-Υ)〇
[0097] 為了得到最終的用于檢索的特征向量F,設(shè)從一幅圖像檢測到的SIFT點個數(shù)是η 個,用式(7)對稀疏特征矩陣Ζ進一步處理。
[0099] 其中,Z丨和Z丨分別表示矩陣ZjPZ的第i個列向量。
[0100] 步驟5,基于步驟4提取的特征向量,根據(jù)預(yù)設(shè)的相似性度量準(zhǔn)則進行圖像檢索: 具體實施時,本領(lǐng)域技術(shù)人員可自行預(yù)設(shè)相似性度量準(zhǔn)則。實施例采用城區(qū)距離(L1范數(shù)) 計算查詢圖像和其他圖像的相似性,并按相似性大小返回相關(guān)圖像。具體實施時,可以圖像 庫中任一圖像為查詢圖像,得到按相似性大小返回的相關(guān)圖像,對圖像庫以外的其他圖像, 也可以采用同樣的方式提取特征向量,并從圖像庫中檢索。
[0101] 具體實施時,以上流程可采用計算機軟件方式實現(xiàn)自動運行流程,也可以采用模 塊化方式提供相應(yīng)系統(tǒng)。本發(fā)明還相應(yīng)提供一種基于顯著點特征和稀疏自編碼的遙感圖像 檢索系統(tǒng),包括以下模塊,
[0102] 特征點提取模塊,用于提取圖像庫中各圖像的特征點得到特征點矩陣,并利用視 覺注意模型計算各圖像的顯著圖;
[0103] 顯著特征點提取模塊,用于對于圖像庫中各圖像的顯著圖,分別采用自適應(yīng)閾值 法將顯著圖二值化,并與圖像相應(yīng)的特征點矩陣進行掩膜運算得到過濾后的顯著特征點; 實現(xiàn)方式如下,
[0104] 采用自適應(yīng)閾值法將顯著圖二值化時,根據(jù)顯著圖像素的顯著性大小,確定顯著 圖的二值化閾值T如下,
[0106] 其中,w和h分別表示顯著圖的寬和高,I(x,y)表示顯著圖像素(x,y)的顯著值;
[0107] 設(shè)根據(jù)二值化閾值T對