專利名稱：一種基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理和人工智能技術(shù)領(lǐng)域，尤其是基于對象積累視覺注意機(jī)制在 遙感圖像中對目標(biāo)進(jìn)行搜索和識別的方法。
背景技術(shù)：
遙感圖像數(shù)據(jù)信息豐富，如何從海量數(shù)據(jù)中挖掘出用戶感興趣的信息，其研究具 有重要價值。提高遙感圖像處理系統(tǒng)的自動化程度，準(zhǔn)確發(fā)現(xiàn)并識別各類重要目標(biāo)，實(shí)現(xiàn)遙 感圖像向情報信息的快速轉(zhuǎn)化，可以將人從枯燥煩雜的圖像判讀活動中解放出來，更重要 的是可以提高遙感圖像情報信息的時效性和精確制導(dǎo)武器的打擊效果，充分發(fā)揮偵察衛(wèi)星 的軍事效益。人類視覺注意系統(tǒng)使用選擇性注意力，使人關(guān)注與任務(wù)相關(guān)的重要信息，從而 提高處理效率。在遙感圖像自動解譯的過程中，使用選擇性視覺注意力能夠根據(jù)當(dāng)前的相 關(guān)行為和視覺任務(wù)處理重要信息。初級視覺系統(tǒng)的主要目標(biāo)就是將視覺注意機(jī)制有效地運(yùn)用在和當(dāng)前可視任務(wù)相 關(guān)聯(lián)的信息處理中。信息存在兩種方式指導(dǎo)注意力轉(zhuǎn)移，自底向上基于圖像顯著性的引導(dǎo) 和自頂向下基于任務(wù)的引導(dǎo)。僅僅通過自底向上的信息處理方式并不能使注意力有效轉(zhuǎn)移 到目標(biāo)區(qū)域。第二種控制注意力的方式更加有效，根據(jù)當(dāng)前任務(wù)獲得先驗(yàn)信息，進(jìn)而設(shè)置多 種特征參數(shù)影響注意力轉(zhuǎn)移。這種自頂向下注意力主要由高級皮層區(qū)域控制，能夠和初級 視皮層以及初級視覺區(qū)域相連通。國內(nèi)外研究人員模擬人類的視覺注意機(jī)制提出了很多的模型，其中大部分都是基 于Treisman的特征整合理論，從輸入圖像提取多方面的特征，如顏色、方向、亮度、運(yùn)動等， 形成各個特征維上的特征圖FM(featUre maps)。然后對這些特征圖進(jìn)行分析、融合得到 顯著圖SMkaliency maps)。顯著圖中可能含有多個待注意的候選目標(biāo)，通過競爭機(jī)制選 出唯一的注意目標(biāo)。這些模型主要的區(qū)別在于使用不同的方法來提取和整合初級視覺特 征，從而進(jìn)一步控制注意力運(yùn)動。美國專利公開文獻(xiàn)US2002154833公開了一個視覺注意模 型(Itti L, Koch C, Niebur E. (1998). A model of saliency-based visual attention for rapid scene analysis. IEEE Trans-actions on pattern analysis and machine intelligence, 20 (11) : 1254-1259.)，利用圖像中自底向上的信息，計(jì)算得到反映場景中 突出特征的顯著圖，自動選擇和提取可能包含目標(biāo)對象的顯著區(qū)域，然后使用顯著圖指導(dǎo) 視覺注意力在場景或圖像的顯著點(diǎn)之間進(jìn)行轉(zhuǎn)移。確定顯著點(diǎn)后，以固定半徑畫一個圓， 提交此區(qū)域?yàn)殛P(guān)注區(qū)域至識別模塊，不考慮此圓盤是否完整覆蓋目標(biāo)。美國專利公開文獻(xiàn) US2005047647的作者Walther等人，在美國專利公開文獻(xiàn)US2002154833的工作基礎(chǔ)上，改 進(jìn)了過去只能關(guān)注顯著點(diǎn)坐標(biāo)處固定半徑圓盤區(qū)域的方法(Walther D, Koch C. (2006). Modeling attention to salient proto-objects. Neural Networks,19(9) :1395_1407.), 使注意區(qū)域?yàn)閷?yīng)于顯著點(diǎn)坐標(biāo)處近似目標(biāo)大小范圍的一片連續(xù)的區(qū)域。Walther的方法 得到的區(qū)域分割結(jié)果在很大程度上減少了數(shù)據(jù)冗余量，但是由于沒有引入目標(biāo)相關(guān)的先驗(yàn) 知識，提取到的關(guān)注區(qū)域并不能夠完整覆蓋目標(biāo)。另一方面，和基于空間的視覺注意模型不同，通過分析輸入圖像的Log頻譜，Hou等人計(jì)算出圖像在頻域的波譜殘留，提出了一種 構(gòu)建空間域圖像顯著圖的快速算法(Hou, X and Zhang, L. (2005). Saliencydetection :A spectral residual approach. CVPR，1_8)。波譜殘留模型能夠迅速有效提取場景中較小的 顯著目標(biāo)。但是對于較大顯著目標(biāo)，算法往往將其劃歸為場景要素信息，從而不能獲得良好 的提取效果。同時，研究人員對如何在合適的時刻使用自頂向下信息(先驗(yàn)知識)做了有益的 嘗試。例如，在視覺預(yù)注意階段引入了與搜索目標(biāo)相關(guān)的先驗(yàn)知識，通過對于與目標(biāo)相關(guān) 的初級視覺特征的加重，得到最后的顯著圖(Navalpakkam，2006)；提出在對象層次的基于 規(guī)則的視覺注意區(qū)域檢測算法，試圖在傳統(tǒng)視覺注意區(qū)域和高層語義之間搭建橋梁(Yu， 2007)；在預(yù)注意階段通過自底向上顯著性，場景上下文和自頂向下機(jī)制綜合作用引導(dǎo)注意 力轉(zhuǎn)移(Torralba，2006)，預(yù)測人類觀察者傾向于關(guān)注的區(qū)域。目前視覺注意模型存在以下問題1.缺乏知識引導(dǎo)情況下的自底向上的信息處 理方式并不能夠使注意力有效轉(zhuǎn)移到興趣目標(biāo)區(qū)域；2.在顯著圖的生成過程中加重目標(biāo) 相關(guān)特征的權(quán)值是一種簡單的目標(biāo)知識引入方式，但是依據(jù)該顯著圖的注意力轉(zhuǎn)移路徑是 固定的，不能很好地體現(xiàn)知識在整個注意過程中的動態(tài)引導(dǎo)過程。在當(dāng)前圖像處理和人工 智能領(lǐng)域中，如何利用先驗(yàn)知識和底層信息更好地模仿視覺注意的生物機(jī)制進(jìn)行目標(biāo)搜索 和識別工作，有待于進(jìn)一步的研究。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于對象積累視覺注意機(jī)制的 目標(biāo)搜索和識別方法，根據(jù)視覺注意模型預(yù)注意階段計(jì)算中的中間數(shù)據(jù)，首先基于對象積 累機(jī)制對目標(biāo)進(jìn)行學(xué)習(xí)，然后利用學(xué)習(xí)獲得的目標(biāo)先驗(yàn)知識作為自頂向下的信息，結(jié)合自 底向上的信息，基于對象積累機(jī)制搜索和識別目標(biāo)。本發(fā)明進(jìn)一步提供的方法，根據(jù)視覺注意模型預(yù)注意階段計(jì)算中的中間數(shù)據(jù)，首 先基于對象積累機(jī)制對目標(biāo)進(jìn)行學(xué)習(xí)，然后利用學(xué)習(xí)獲得的目標(biāo)先驗(yàn)知識作為自頂向下的 信息，結(jié)合自底向上的信息，基于對象積累機(jī)制搜索和識別目標(biāo)。所述的對目標(biāo)進(jìn)行學(xué)習(xí)包括以下步驟S101.輸入遙感圖像和明確包含目標(biāo)區(qū)域的二值化模板；S102.視覺注意模型對輸入圖像進(jìn)行數(shù)據(jù)預(yù)處理，計(jì)算得到42張?zhí)卣鲌D，7張?jiān)?突出圖和1張顯著圖，確定42張?zhí)卣鲌D上對應(yīng)目標(biāo)區(qū)域內(nèi)的能量，形成42維特征能量向量 描述目標(biāo)，所述42張?zhí)卣鲌D具有7維特征，每維特征6個尺度，所述的7維特征分別是1維 亮度特征，2維顏色特征和4維方向特征，尋找7張?jiān)纪怀鰣D上對應(yīng)目標(biāo)區(qū)域內(nèi)能量的最 大值，從而確定其原始突出圖對應(yīng)特征維為工作特征，進(jìn)而確定主特征；S103.確定工作特征后，尋找工作特征對應(yīng)多個不同尺度的特征圖上目標(biāo)區(qū)域內(nèi) 能量最大的尺度，確定其尺度對應(yīng)特征圖為當(dāng)前學(xué)習(xí)工作圖；S104.使用otsu算法對學(xué)習(xí)工作圖進(jìn)行自適應(yīng)二值分割，所得到二值圖內(nèi)包含一 系列與背景形成一定程度對比的光滑連續(xù)的圖斑區(qū)域；S105.在學(xué)習(xí)工作圖的目標(biāo)區(qū)域內(nèi)找到一個能量最大的圖斑作為主圖斑，將主圖 斑作為目標(biāo)顯著部件的表征，計(jì)算主圖斑的特征能量向量；
5
S106.以主圖斑為中心，逐漸積累合并周圍臨近的圖斑，隨圖斑區(qū)域不斷積累合并 至完整覆蓋目標(biāo)區(qū)域的過程中，確定多維特征原始金字塔圖上對應(yīng)區(qū)域內(nèi)原始能量的變化 趨勢，確定能量穩(wěn)定的特征；S107.當(dāng)積累合并目標(biāo)區(qū)域外的圖斑時，確定能量的相對變化量，將所述的能量的 相對變化量設(shè)定為閾值；S108.結(jié)合工作特征和輔特征的能量變化情況，確定圖斑引導(dǎo)的基于對象積累視 覺注意模型中的積累策略；S109.確定目標(biāo)42維特征向量向量、目標(biāo)主圖斑特征能量向量、主特征、輔特征和 能量相對變化量以及空間約束關(guān)系為對應(yīng)當(dāng)前目標(biāo)所學(xué)習(xí)到的目標(biāo)表達(dá)向量。所述的目標(biāo)的搜索和識別包括以下步驟S201.輸入圖像，視覺注意模型對其進(jìn)行數(shù)據(jù)預(yù)處理，對應(yīng)主特征的每個尺度的特 征圖，利用Otsu算法進(jìn)行自適應(yīng)二值分割，提取出一系列圖斑區(qū)域；S202.根據(jù)學(xué)習(xí)獲得的目標(biāo)知識，對主特征每張?zhí)卣鲌D上的每個圖斑，計(jì)算在42 張?zhí)卣鲌D上對應(yīng)圖斑區(qū)域內(nèi)的能量，形成42維特征能量向量描述圖斑，然后計(jì)算每個圖斑 42維特征能量向量和目標(biāo)主圖斑42維特征能量向量之間的歐式距離，根據(jù)歐式距離尋找 觸發(fā)圖斑，所述歐式距離由小到大結(jié)果對圖斑排序，將排序好的結(jié)果放在隊(duì)列中，從隊(duì)列中 取第一個距離最小的圖斑作為觸發(fā)圖斑；S203.選擇觸發(fā)圖斑后，激活積累過程，確定觸發(fā)圖斑所在特征圖為當(dāng)前工作圖， 計(jì)算當(dāng)前工作圖上觸發(fā)圖斑內(nèi)能量并將其設(shè)置為初始能量標(biāo)準(zhǔn)，計(jì)算當(dāng)前工作圖上所有圖 斑和觸發(fā)圖斑的空間距離，并按由小到大排序，然后連續(xù)取當(dāng)前工作圖上臨近圖斑和觸發(fā) 圖斑合并，在這個過程中，判斷合并區(qū)域的能量變化，若超出學(xué)習(xí)過程得到的所述閾值，則 中止積累過程；S204.提交當(dāng)前積累區(qū)域作為有效關(guān)注區(qū)域并作為初步識別結(jié)果；S205.對當(dāng)前有效關(guān)注區(qū)域使用禁止返回策略，提取隊(duì)列中下一個次近圖斑作為 觸發(fā)圖斑進(jìn)行積累過程。所述尋找7張?jiān)纪怀鰣D上對應(yīng)目標(biāo)區(qū)域內(nèi)能量的最大值，從而確定其 原始突出圖對應(yīng)特征維為工作特征是采用如下公式進(jìn)行計(jì)算·^=31^=^0"/)’
^k e {/,RG,BY,0°,45°,90°, 135°} φ, I表示亮度特征通道；RG表示紅綠顏色對比通道，
BY表示藍(lán)黃顏色對比通道；0°，45°，90°，135°表示使用Gabor濾波器進(jìn)行四個方向?yàn)V 波后產(chǎn)生的對應(yīng)四個特征通道。所述的確定主特征采用如下公式進(jìn)行 L1, fw € {/}
fP=\Lcfwe{RG,BY},其中，L1表示亮度特征通道；L。表示顏色特
Lo,/we{0。,45。,90。,135。}
征通道；Ltj表示方向特征通道。所述S102中的計(jì)算主圖斑的特征能量向量包括計(jì)算42張?zhí)卣鲌D上主圖斑對應(yīng) 目標(biāo)區(qū)域內(nèi)的能量，形成42維特征能量向量描述目標(biāo)主要部件。所述S106中確定能量穩(wěn)定的特征采用對象積累方式進(jìn)行。
6
所述S108中的輔特征包括迭代過程中的特征能量向量數(shù)據(jù)中任意一維與工作特 征具有相同的能量變化趨勢的特征。所述S203、S204以及S205還能夠?yàn)榇_定觸發(fā)圖斑所在特征圖為當(dāng)前工作圖，計(jì) 算當(dāng)前工作圖上觸發(fā)圖斑內(nèi)能量并將其設(shè)置為初始能量標(biāo)準(zhǔn)；計(jì)算當(dāng)前工作圖上所有圖斑 和觸發(fā)圖斑的空間距離，由小到大排序，不斷取當(dāng)前工作圖上臨近圖斑和觸發(fā)圖斑合并，積 累得到完整的目標(biāo)區(qū)域；并將目標(biāo)區(qū)域作為初步識別結(jié)果輸出。所述S205中的對當(dāng)前有效關(guān)注區(qū)域使用禁止返回策略的實(shí)現(xiàn)方式為將排序隊(duì) 列中處于當(dāng)前有效關(guān)注區(qū)域內(nèi)的圖斑刪除。本發(fā)明充分利用視覺注意模型預(yù)注意階段的中間數(shù)據(jù)，計(jì)算不同目標(biāo)的統(tǒng)計(jì)屬 性，在圖斑引導(dǎo)下使用對象積累機(jī)制獲得目標(biāo)積累過程中的能量變化趨勢，學(xué)習(xí)獲得目標(biāo) 表達(dá)(Object R印resentation)，形成先驗(yàn)知識，作為自頂向下的信息參與遙感圖像中給定 目標(biāo)的搜索工作。進(jìn)而結(jié)合自頂向下信息和自底向上信息，利用學(xué)習(xí)獲得的目標(biāo)表達(dá)，迅速 引導(dǎo)注意力關(guān)注任務(wù)區(qū)域，通過對象積累機(jī)制獲得關(guān)注區(qū)域并作為初步識別結(jié)果輸出，具 有極大的靈活性和自適應(yīng)性。并且在知識引導(dǎo)情況下的自底向上的信息處理方式能夠使注 意力有效轉(zhuǎn)移到興趣目標(biāo)區(qū)域。在顯著圖的生成過程中加重目標(biāo)相關(guān)特征的權(quán)值是一種簡 單的目標(biāo)知識引入方式，但是依據(jù)該顯著圖的注意力轉(zhuǎn)移路徑是固定的，能很好地體現(xiàn)知 識在整個注意過程中的動態(tài)引導(dǎo)過程。


圖1表示顯著性視覺注意模型框架；圖2表示基于對象積累視覺注意機(jī)制的目標(biāo)自動學(xué)習(xí)模型；圖3表示基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別模型；圖4示出本發(fā)明實(shí)施例和Walther的模型以及Hou的模型的性能比較結(jié)果；圖5示出本發(fā)明實(shí)施例和Walther的模型以及Hou的模型的搜索性能比較結(jié)果；圖6表示本發(fā)明實(shí)施例和SIFT識別算法的性能比較結(jié)果。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖和實(shí)施例，對 本發(fā)明的一種基于對象積累視覺注意機(jī)制的目標(biāo)搜索與識別方法進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng) 當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明基于Koch等人的工作成果(美國專利公開文獻(xiàn)US2002154833)。他們的模 型利用自底向上來源于圖像中的信息，計(jì)算出反映圖像顯著位置的顯著圖，最后輸出顯著 點(diǎn)坐標(biāo)。而本發(fā)明提供了基于對象積累機(jī)制的視覺注意模型，通過結(jié)合自頂向下知識和自 底向上知識，能夠在遙感圖像中快速定位目標(biāo)、提取出包含目標(biāo)的區(qū)域并提供初步識別結(jié) 果。在深入介紹本模型的實(shí)施細(xì)節(jié)之前，首先簡要介紹Koch等人的工作內(nèi)容，了解自底向 上基于顯著性的模型的工作機(jī)制。如圖1所示，顯示了顯著性視覺注意模型的框架。輸入彩色圖像，將圖像和高斯濾 波器進(jìn)行卷積，獲得濾波結(jié)果并以2為步長進(jìn)行減抽樣，尺度級別為σ =1，2，..，9。模型 可設(shè)定任意數(shù)量的尺度級別，當(dāng)前實(shí)施例中，使用九個尺度級別(尺度級別1，代表當(dāng)前圖像和原始圖像的比例為1 1 ；尺度級別9，代表經(jīng)過8次高斯平滑和8次減抽樣操作，代表 當(dāng)前圖像和原始圖像的比例為1 256)。用r，g，和b表示紅、綠、藍(lán)通道的數(shù)值，則亮度圖為Mj = r + g^ + b ,(1)使用M1構(gòu)建亮度高斯金字塔圖M1 ( ο )。為了突出不同顏色通道產(chǎn)生的反差效果，在圖像金字塔的每一層上，模型計(jì)算對 應(yīng)紅綠對比通道以及藍(lán)黃對比通道的顏色圖
M = r~g“ max(r,g,b)(2)
., b-mm(r,g)by = ； ΓΓ
LWtf ‘」max(r,g，6)⑶使用MKe，Mby構(gòu)建顏色高斯金字塔圖MKe ( ο )，Mby ( ο )。然后，使用Gabor濾波器對亮度金字塔M1 ( ο )進(jìn)行濾波，得到局部方向高斯金字 塔圖M0 (ο)，濾波器設(shè)定四個主要方向，θ e {0°，45°，90°，135° }。對顏色、亮度和方向多維特征，在其圖像金字塔上，應(yīng)用中央周邊差操作。中央周 邊差操作根據(jù)人眼的生理結(jié)構(gòu)設(shè)計(jì)。人眼感受野對于反差大的視覺信息輸入反應(yīng)強(qiáng)烈，例 如中央暗周邊亮的情況，中央是紅色周邊是綠色的情況，這都屬于反差較大的視覺信息。對 每維特征進(jìn)行中央周邊差操作，以探測場景或圖像中的空間不連續(xù)性，很好地模仿了視網(wǎng) 膜上探測突出目標(biāo)的機(jī)制。對于每維特征，中央尺度c為金字塔的3，4，5尺度級別，周邊尺 度s = C+δ，其中δ e {3，4}，從而產(chǎn)生六對尺度，(3-6，3-7，4-7，4-8，5-8，5-9)。通過將 周邊尺度s的圖像進(jìn)行線性插值，使之和中央尺度c的圖像具有相同大小，然后進(jìn)行點(diǎn)對點(diǎn) 的減操作，獲得中央周邊差圖。對每維特征的每層中央周邊差圖進(jìn)行歸一化操作，獲得特征 圖 Fl c s = AA(IM7(C)QMi(S)I) ,VZeZ = Z7 UZc Ul0,(4)這里，c = 3，4，5，表示中央尺度；s = c+δ，s表示周邊尺度，δ e {3,4} ;LX = {1}，I表示亮度特征通道；Lc = {RG，BY}，RG表示紅綠顏色對比通道，BY表示藍(lán)黃顏色對比 通道;L0= {0°，45°，90°，135° }，0°，45°，90°，135° 表示使用 Gabor 濾波器對亮度 金字塔進(jìn)行四個方向?yàn)V波后產(chǎn)生的對應(yīng)四個特征通道；N( ·)是一個迭代的、非線性的歸一 化算子，抑制噪聲，突出顯著目標(biāo)。模型中包含亮度特征圖6張，顏色特征圖2X6張，局部 方向圖4X6張，總共42張?zhí)卣鲌D。對所得亮度特征圖F1^、顏色特征圖FKe,。,s，F(xiàn)by,。,s和局部方向特征圖Fcr ,。,s，F(xiàn)45。, c’s，F(xiàn)9cr ’ c’s，F(xiàn)135。，。,s，進(jìn)行跨尺度加 操作，然后再次進(jìn)行歸一化操作
一5 c+4F(=N(Flc s), Vle L(5)
c=3s=c+3 ， 5這里，跨尺度加 操作首先將每張?zhí)卣鲌D縮放到相同尺度級別(本實(shí)施例中 選定第4級)，然后進(jìn)行點(diǎn)對點(diǎn)加操作。為了后繼步計(jì)算便利，將此步驟中計(jì)算所得的
定義為原始突出圖 RCM(raw conspicuity maps)。然后，對顏色和方向特征，將原始突出圖進(jìn)行線性疊加和歸一化操作得到其各自對應(yīng)的突出圖CM(conspicuity maps)，而亮度突出圖則等同于巧C! =^nCc=NiJj F1), C0=N(YjFI)(6)
IsLcI 它Lq對所得亮度突出圖C1，顏色突出圖C。和方向突出圖Ctj，進(jìn)行線性疊加獲得顯著圖S = ^ χ C,(7)模型使用顯著圖指導(dǎo)視覺注意力在場景或圖像的顯著點(diǎn)之間按照顯著性降序進(jìn) 行轉(zhuǎn)移。注意力的轉(zhuǎn)移過程中，使用勝者為王機(jī)制WTA(Winner Take All)和禁止返回機(jī)制 IORdnhibition OfReturn)。注意力應(yīng)當(dāng)首先關(guān)注場景中最顯著的刺激，對應(yīng)顯著圖最大 響應(yīng)值位置。通過構(gòu)建勝者為王WTA神經(jīng)競爭網(wǎng)絡(luò)，能夠使注意力自動選擇關(guān)注最顯著刺 激所在的位置。但是，如果不設(shè)置特定的控制機(jī)制，顯著刺激永遠(yuǎn)保持相應(yīng)顯著度，僅僅使 用勝者為王機(jī)制的注意力將無法轉(zhuǎn)移，注意焦點(diǎn)將恒定地指向最顯著的目標(biāo)。因此，基于顯 著度的視覺注意模型引入了禁止返回IOR的神經(jīng)機(jī)制。當(dāng)注意力關(guān)注過某顯著點(diǎn)后，競爭 網(wǎng)絡(luò)產(chǎn)生一個脈沖，顯著圖接受到這個脈沖信號，屏蔽以顯著點(diǎn)為中心的領(lǐng)域空間范圍，注 意力得以順利的轉(zhuǎn)移想其它顯著的目標(biāo)。當(dāng)出現(xiàn)若干顯著度相同的顯著點(diǎn)時，注意力將依 照格式塔原則中的“臨近原則”轉(zhuǎn)向距離上一次關(guān)注目標(biāo)最近的顯著位置。為了有效地使用自頂向下知識，本發(fā)明提供了一種基于對象積累機(jī)制的目標(biāo)自動 學(xué)習(xí)方法，使用當(dāng)前視覺注意模型中的數(shù)據(jù)表征目標(biāo)對象。如圖2所示，顯示了基于對象積累視覺注意機(jī)制的目標(biāo)自動學(xué)習(xí)方法的模型框 架。輸入一幅圖像和明確包含目標(biāo)區(qū)域的二值化模板。視覺注意模型開始工作，計(jì)算各個 特征維度上的特征圖FM和原始突出圖RCM，亮度(1個通道6個尺度)、顏色(2個子通道6 個尺度)和方向(4個子通道6個尺度)，總共42幅特征圖，7幅原始突出圖。模型計(jì)算42 幅特征圖上目標(biāo)區(qū)域內(nèi)的能量(均值)，將學(xué)習(xí)到的42個能量值組成一個42維向量，形成 目標(biāo)對象的特征能量向量
/θ =CwI,/^,..., "42)(8)計(jì)算7幅原始突出圖上目標(biāo)區(qū)域內(nèi)的能量，比較能量大小，確定能量最大的特征 為工作特征(Working Feature)
fw =argmax(///),VA:e{/,i G,57,0o545o,90o,135o}，(9)
f吐式中，I表示亮度特征通道；RG表示紅綠顏色對比通道，BY表示藍(lán)黃顏色對比通 道；0°，45°，90°，135°表示使用Gabor濾波器進(jìn)行四個方向?yàn)V波后產(chǎn)生的對應(yīng)四個特 征通道。同時，確定目標(biāo)主特征(Primary Feature)
L1,
fp=· LC,
.Lo,
9
Λ 6 W
fws{RG,BY}(10)
/we{0。,45°,90°,135。}
這里，L1表示亮度特征通道；Lc表示顏色特征通道；Ltj表示方向特征通道。已知工作特征，接下來遍歷工作特征fw對應(yīng)6個尺度的特征圖，比較相應(yīng)目標(biāo)區(qū) 域內(nèi)能量大小，確定能量最大的工作圖層(。,、)= argmax (…，C，J,(11)
cs{3,4,5},i=c+<5,is{3,4} w確定相應(yīng)特征圖為學(xué)習(xí)工作圖^"‘ ，使用Otsu算法對學(xué)習(xí)工作圖進(jìn)行自適應(yīng) 二值分割得到二值圖A，包含一系列圖斑(blob)區(qū)域。接下來，利用目標(biāo)區(qū)域內(nèi)和目標(biāo)區(qū)域 外的圖斑來建立積累策略。模型分別判斷積累目標(biāo)區(qū)域內(nèi)圖斑所得結(jié)果的能量變化情況和 積累目標(biāo)區(qū)域外圖斑所得結(jié)果的能量變化情況，從而確定積累屬于目標(biāo)區(qū)域的圖斑的能量 變化規(guī)律，設(shè)置閾值，進(jìn)而為目標(biāo)搜索和識別服務(wù)。利用圖斑引導(dǎo)注意力關(guān)注目標(biāo)時，首先引起視覺注意的圖斑通常不會完整的覆蓋 目標(biāo)區(qū)域。但是，這樣的區(qū)域往往會涵蓋目標(biāo)的主要部件，是目標(biāo)主要能量的集中體現(xiàn)。例 如，人類在遙感圖像中搜索機(jī)場目標(biāo)時，機(jī)場的紋理特征和亮度特征都能引起人的注意，但 是目標(biāo)場景中顯著的航站樓(亮度值高)往往會首先吸引人的注意力。在模型設(shè)計(jì)的過程 中，引導(dǎo)注意力首先關(guān)注亮度高的區(qū)域，會增大命中機(jī)場目標(biāo)的幾率。也就是，確定給定目 標(biāo)的顯著部件的能量表征，在搜索過程中匹配圖斑和顯著部件的相關(guān)性，對于提高目標(biāo)的 搜索效率，具有非常重要的作用。在確定目標(biāo)顯著部件的基礎(chǔ)上，使用對象積累機(jī)制完整提 取目標(biāo)區(qū)域，能夠獲得較好的識別結(jié)果。模型確定在學(xué)習(xí)工作圖的目標(biāo)區(qū)域內(nèi)能量最大的圖斑，也就是最突出的圖斑，作 為主圖斑，將主圖斑作為目標(biāo)顯著部件的表征。提取主圖斑輪廓區(qū)域做為當(dāng)前學(xué)習(xí)區(qū)域r， 計(jì)算42幅特征圖上主圖斑輪廓區(qū)域內(nèi)的能量，將所得42個能量值組成一個42維向量，形 成目標(biāo)對象的主圖斑特征能量向量
兄=(Α,"2,·.·,/"42)(12)計(jì)算亮度高斯金字塔圖MJ ο )、顏色高斯金字塔圖MKC( ο )，ΜΒΥ( ο )和局部方向高 斯金字塔圖M0(O)，θ e {0°，45°，90°，135° }在0 = 0尺度級別上，對應(yīng)當(dāng)前學(xué)習(xí)
區(qū)域內(nèi)的能量來確定原始能量向量U.
五=O/, ^RG, eBY, %o 'VV'ei35o)(13)如果目標(biāo)區(qū)域內(nèi)仍然包含其它圖斑，找到距離當(dāng)前學(xué)習(xí)區(qū)域最近的圖斑，將圖斑 區(qū)域和當(dāng)前學(xué)習(xí)區(qū)域合并(積累)，更新當(dāng)前學(xué)習(xí)區(qū)域，計(jì)算區(qū)域的原始能量向量，i = 0，...，N表示目標(biāo)區(qū)域內(nèi)積累圖斑次數(shù)。重復(fù)迭代，積累目標(biāo)區(qū)域內(nèi)的圖斑，并將迭代過程 中計(jì)算所得的原始能量向量結(jié)果存入臨時存儲器。當(dāng)目標(biāo)區(qū)域內(nèi)的圖斑積累完畢，如果目標(biāo)區(qū)域外存在有其它的圖斑，找到距離當(dāng) 前學(xué)習(xí)區(qū)域最近的圖斑，然后將圖斑區(qū)域和當(dāng)前學(xué)習(xí)區(qū)域合并(積累)，更新當(dāng)前學(xué)習(xí)區(qū) 域，計(jì)算區(qū)域的原始能量向量E(i+j)，j = 1，...，N表示目標(biāo)區(qū)域外積累圖斑次數(shù)。不斷 迭代，積累目標(biāo)區(qū)域外的圖斑，將原始能量向量結(jié)果存入臨時存儲器。當(dāng)學(xué)習(xí)工作圖上的圖斑遍歷完畢后，分析迭代過程中的原始能量向量數(shù)據(jù)，判斷
10積累過程中各維特征上學(xué)習(xí)區(qū)域的能量變化情況。針對遙感圖像的特點(diǎn)，同一目標(biāo)包含的 不同部件一般為同質(zhì)對象，也就是圖斑區(qū)域的能量非常接近。所以，在目標(biāo)區(qū)域內(nèi)，圖斑合 并過程中，其區(qū)域能量是比較穩(wěn)定的。當(dāng)合并區(qū)域外圖斑時候，區(qū)域能量開始遞增或者遞 減，此時能量的相對變化量可以作為閾值在目標(biāo)搜索時使用。模型計(jì)算工作特征維fw對應(yīng) 的學(xué)習(xí)區(qū)域能量的相對變化量來設(shè)置閾值
(14)式中，表示工作特征維fw對應(yīng)主圖斑區(qū)域內(nèi)能量；G +D表示模型合并不 屬于目標(biāo)區(qū)域的圖斑后，所形成當(dāng)前學(xué)習(xí)區(qū)域內(nèi)的能量。為了提高積累策略的有效性，模型建立多特征的能量變化聯(lián)系，起到輔助判別的 效果，增加魯棒性。在迭代過程中的特征能量向量數(shù)據(jù)中，如果存在有任一維特征與工作特 征具有相同的能量變化趨勢，將其確定為輔特征fs (Secondary Feature)，計(jì)算迭代過程中 輔特征能量的相對變化量
(15)式中，表示輔特征對應(yīng)主圖斑區(qū)域內(nèi)能量；eTi0’ + 1)表示模型合并不屬于目 標(biāo)區(qū)域的圖斑后，所形成當(dāng)前學(xué)習(xí)區(qū)域內(nèi)的能量。結(jié)合工作特征和輔特征的能量變化情況，確定圖斑引導(dǎo)的基于對象積累視覺注意 模型中的積累策略
(16)同時，隨著遙感技術(shù)進(jìn)步，衛(wèi)星拍照時使用的傳感器，傳感器的瞬時視場角，成像 時的側(cè)視角和數(shù)據(jù)的編碼能夠隨圖像數(shù)據(jù)同時獲知。進(jìn)而可以得到遙感圖像的地面分辨 率，也就是每個像元所代表的實(shí)際地面大小。例如，美國的陸地衛(wèi)星(Landsat)的TM遙感 數(shù)據(jù)，一個像元代表地面28. 5米Χ28. 5米的面積，一般籠統(tǒng)的稱為此遙感圖像的地面分辨 率為30米。不同的遙感圖像具有不同的地面分辨率，通過遙感圖像的地面分辨率，模型能 夠估計(jì)目標(biāo)的實(shí)際空間大小，形成空間約束關(guān)系。當(dāng)輸入新的遙感圖像數(shù)據(jù)，利用給定目標(biāo) 的實(shí)際空間大小約束關(guān)系，可推出目標(biāo)在當(dāng)前圖像中空間大小，進(jìn)而提高目標(biāo)的命中率和 準(zhǔn)確覆蓋程度。利用已知的包含目標(biāo)的二值化模板，計(jì)算目標(biāo)圖斑屬性，獲得與目標(biāo)區(qū)域具 有相同標(biāo)準(zhǔn)二階中心矩的橢圓的長軸長度和短軸長度，這里的長軸和短軸長度都是以象素 來度量的。將長軸長度和短軸長度乘以地面分辨率，可得知實(shí)際的以米為單位度量的地面 長軸長度1一 和地面短軸長度lmin ，模型將其定義為空間約束關(guān)系
(17)若遙感圖像數(shù)據(jù)中無法獲知地面分辨率，空間約束關(guān)系可置空值。通過以上步驟，模型完成對目標(biāo)的學(xué)習(xí)，形成基于對象積累視覺注意機(jī)制模型的 目標(biāo)表達(dá)向量O = Cf0JmJp,π,η)(18)目標(biāo)表達(dá)向量δ使用視覺注意模型中的中央周邊差圖統(tǒng)計(jì)目標(biāo)特征屬性，中央周 邊差圖反映了場景中信息的反差，是場景或圖像中的空間不連續(xù)性的反映。圖中越明亮的 區(qū)域表示該區(qū)域和周邊環(huán)境的對比強(qiáng)烈，昏暗的區(qū)域表示該區(qū)域和周邊環(huán)境差異不明顯。 因此將目標(biāo)表達(dá)向量δ應(yīng)用于場景中的目標(biāo)搜索和識別，具有旋轉(zhuǎn)、平移、尺度縮放和光照 不變性。本發(fā)明相應(yīng)提出一種基于對象積累機(jī)制的目標(biāo)搜索和識別方法，將目標(biāo)表達(dá)向量 δ作為自頂向下的先驗(yàn)知識和自底向上來源于圖像的底層信息結(jié)合起來，利用圖斑特征作 為引導(dǎo)，不斷迭代積累對象，合并區(qū)域表征對象，由表征簡單對象開始，進(jìn)而表征復(fù)雜對象， 迅速有效地引導(dǎo)視覺注意力搜索相關(guān)目標(biāo)，完整提取目標(biāo)區(qū)域，并提供初步識別結(jié)果。模型 輸出一系列排序后的目標(biāo)相關(guān)區(qū)域，排序越靠前的區(qū)域包含目標(biāo)的可能性越大。針對這些 區(qū)域，使用更為復(fù)雜、嚴(yán)格并且更耗時的的識別算法，能夠獲得高魯棒性的識別結(jié)果。但是， 針對目前的應(yīng)用范圍，本模型的主要目的是在遙感圖像中迅速有效的查找給定目標(biāo)，利用 學(xué)習(xí)獲得的知識，將積累模型首次輸出的目標(biāo)區(qū)域作為初步識別結(jié)果，能夠很好地滿足應(yīng) 用要求。如圖3所示，顯示了基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法的模型框 架。輸入一幅遙感圖像和給定待搜索的目標(biāo)，視覺注意模型開始工作，計(jì)算各個特征維度上
的特征圖FM和顯著圖SM。已知目標(biāo)表達(dá)向量δ =,將搜索范圍縮小至對應(yīng)
目標(biāo)主特征的各層特征圖7^^ ’c e {3,4,5}, s = c+δ , δ e {3,4}, fp e (L1, Lc, L。}， L1 = {1}，Lc = {RG，BY}, L0 = {0°，45°，90°，135° }。若 fp = L1，則 〃對應(yīng)亮度通 道的6個不同尺度共6張?zhí)卣鲌D；若fp = Lc,則F/p，C，^f應(yīng)顏色通道的RG，BY兩個特征子 通道的6個不同尺度共12張?zhí)卣鲌D；若fp = Ltj，則 對應(yīng)方向通道的0°，45°，90°， 135°四個特征子通道的6個不同尺度共24張?zhí)卣鲌D。使用otsu算法對特征圖^^以進(jìn)行 自適應(yīng)二值分割得到二值圖Λρ#，圖中包含一系列圖斑(blob)區(qū)域。用idx表示圖斑區(qū)
域序號，用^/,，々&^叔={1，...，N}表示對應(yīng)特征圖上的圖斑，N表示特征圖上的圖斑
個數(shù)。對應(yīng)主特征各層特征圖上所有候選圖斑，計(jì)算其圖斑區(qū)域?qū)?yīng)在42幅特征圖上的能 量，形成42維特征能量向量UU.
fB == Afp,cAidx^idx =(19)已知目標(biāo)對象的主圖斑特征能量向量% ,計(jì)算主圖斑特征能量向量和候選圖斑特
征能量向量之間的歐式距離進(jìn)行相似性度量
M UU UU
DB=\\fm-fB\\,(20)
12
式中，I I · I I表示求向量和
的模。這里，模型比較目標(biāo)主圖斑和候選圖斑之 間的相似性，目的是確定特征圖上最可能包含目標(biāo)的區(qū)域位置。由于目標(biāo)完整區(qū)域一般是 多個圖斑的合并結(jié)果，將候選圖斑特征能量向量和目標(biāo)特征能量向量比較屬于局部部件比 較整體部件的情況，這樣的對比并不合理。主圖斑特征能量向量是目標(biāo)的能量的集中體現(xiàn)， 屬于目標(biāo)的主要部件，比較主圖斑特征能量向量和候選圖斑特征能量向量的相似性來獲得 局部部件比較局部部件的結(jié)果，更具有說服力。在確定和目標(biāo)主圖斑最相似的候選圖斑后， 利用對象積累機(jī)制提取目標(biāo)完整區(qū)域，再將目標(biāo)特征能量向量和積累后完整目標(biāo)區(qū)域的特 征能量向量進(jìn)行距離度量，判別整體和整體之間的相似性，更能夠增添結(jié)果的魯棒性。將所有圖斑按照歐式距離由小到大排序，將排好序的結(jié)果放在隊(duì)列中。確定距離 最小圖斑所在的主特征對應(yīng)具體子通道、特征圖層以及圖層上的圖斑區(qū)域序號 確定相應(yīng)的圖斑為觸發(fā)圖斑
(22)確定觸發(fā)圖斑所在的特征圖^r々々為當(dāng)前工作特征圖，確定圖斑bT所處區(qū)域?yàn)?有效關(guān)注區(qū)域V。計(jì)算當(dāng)前工作特征圖γγ上圖斑bT區(qū)域內(nèi)的能量δ作為初始能量標(biāo)準(zhǔn)，進(jìn)行 下一步相關(guān)性判斷δ = μ (r),(22)式中，μ (·)是給定區(qū)域r內(nèi)的均值，r為圖斑區(qū)域。計(jì)算當(dāng)前工作圖上所有圖斑和觸發(fā)圖斑的空間距離，已知目標(biāo)的空間約束關(guān)系η =(Ifflajor, IminJ，若空間距離超過1一 ，則放棄該圖斑，將剩余圖斑由小到大排序，排序結(jié)果 放在集合S中。接下來，不斷取當(dāng)前工作圖上臨近圖斑和觸發(fā)圖斑合并。在S中，尋找一個最近的 圖斑b，判斷其對象相關(guān)性 C(b，V)表示將圖斑b和當(dāng)前有效區(qū)域V合并的操作，通過包含兩個區(qū)域輪廓的凸 多邊形來實(shí)現(xiàn)；Dif(·)描述區(qū)域之間的能量差異。ε通過目標(biāo)學(xué)習(xí)得到。如結(jié)果為真，將 合并后的區(qū)域作為新的有效關(guān)注區(qū)域。如結(jié)果為假，放棄區(qū)域合并操作，模型在集合S中尋 找下一個次近圖斑繼續(xù)積累過程。當(dāng)集合S中的圖斑搜索完畢后，積累過程中止，提交當(dāng)前 有效關(guān)注區(qū)域作為初步識別結(jié)果進(jìn)行下一步處理。
最后，模型對當(dāng)前有效關(guān)注區(qū)域應(yīng)用禁止返回策略，同步刷新排序隊(duì)列。在本發(fā)明 中，禁止返回策略的實(shí)現(xiàn)方式為將排序隊(duì)列中處于當(dāng)前有效關(guān)注區(qū)域內(nèi)的圖斑刪除。接下 來，模型從排序隊(duì)列中提取下一個觸發(fā)圖斑進(jìn)行新一輪積累過程。當(dāng)隊(duì)列中的圖斑遍歷完 畢后，搜索和識別任務(wù)結(jié)束。以下進(jìn)一步說明本實(shí)施例的應(yīng)用情況根據(jù)本發(fā)明的應(yīng)用范圍，設(shè)計(jì)兩類可以反映模型運(yùn)行表現(xiàn)的實(shí)驗(yàn)?zāi)繕?biāo)搜索和目 標(biāo)識別。在目標(biāo)搜索任務(wù)中，我們將本發(fā)明的模型和Walther的顯著區(qū)域檢測模型、Hou 的波譜殘留模型以及專家手動獲得目標(biāo)輪廓的真實(shí)結(jié)果(GroimdTruth)進(jìn)行比較。在目 標(biāo)識別任務(wù)中，我們將本發(fā)明和當(dāng)前領(lǐng)域內(nèi)應(yīng)用效果最優(yōu)秀的基于SIFT特征的識別算法 (David G.Lowe· (2004). Distinctive imagefeatures from scale-invariant keypoints. International Journal of Computer Vision，60 (2)，91—110)進(jìn) 亍比較。以上方法均通 過VC++2005的程序?qū)崿F(xiàn)，運(yùn)行環(huán)境為Pentium(R)D CPU 2. 80GHz處理器，0. 99GB內(nèi)存， Windows XP操作系統(tǒng)。測試圖像集合包含200幅遙感圖像(例如，可摘錄自earth google衛(wèi)星照片的局 部影像)，分辨率為756X667像素。在200幅測試圖像中，包含40個不同的目標(biāo)(例如，可 包含機(jī)場、橋梁和湖泊等目標(biāo))，對應(yīng)每個目標(biāo)包含4幅幾何、光學(xué)變換圖像，分別為平移+ 旋轉(zhuǎn)變化；尺度縮放+視角變化；光照變化；高斯模糊。在目標(biāo)識別任務(wù)中，將包含40個不 同目標(biāo)的圖像作為學(xué)習(xí)訓(xùn)練圖像，將包含40個不同目標(biāo)的圖像以及對應(yīng)的160幅幾何、光 學(xué)變化圖像混和起來作為待識別圖像。在目標(biāo)搜索任務(wù)中，使用完整的200幅圖像進(jìn)行搜 索比較工作。在目標(biāo)搜索任務(wù)中，定義如下的評價標(biāo)準(zhǔn)查全率(recall)、準(zhǔn)確率 (precision)、隨注意力轉(zhuǎn)移目標(biāo)命中率 HRWAS (The Hit Rate Within AttentionShifts)。評價標(biāo)準(zhǔn)查全率(recall)和準(zhǔn)確率(precision)定義如下recall ^ ^^(24)
rG
..Rn ^Rq/"IC\precision = —-—(ZDJ
roRd為使用不同模型檢測到的關(guān)注區(qū)域，Re為專家手動獲得目標(biāo)輪廓的真實(shí)結(jié)果區(qū) 域。如本實(shí)施例檢測到的關(guān)注區(qū)域和真實(shí)結(jié)果區(qū)域產(chǎn)生交集，則認(rèn)為命中目標(biāo)。HRffAS 定義如下HRWAS = ^,s = (0,1,2,-,^)(26)
Ν Ns為在注意力轉(zhuǎn)移s次后目標(biāo)命中數(shù)量，Nt為200幅圖像中總目標(biāo)數(shù)量。完美的 HRffAS曲線在任何轉(zhuǎn)移次數(shù)和時間內(nèi)都應(yīng)該接近1。實(shí)際上，擊中率曲線隨著轉(zhuǎn)移次數(shù)或者 時間增加而逐步上升。在目標(biāo)識別任務(wù)中，將本實(shí)施例第一次輸出的關(guān)注區(qū)域作為識別結(jié)果輸出，若關(guān) 注區(qū)域和真實(shí)結(jié)果區(qū)域產(chǎn)生交集，則認(rèn)為正確識別出目標(biāo)；將SIFT算法計(jì)算得到的匹配點(diǎn) 作為識別結(jié)果輸出。由于SIFT識別算法得到的是一系列可靠的匹配點(diǎn)，每個匹配點(diǎn)具有坐標(biāo)、尺度和方向參數(shù)，計(jì)算包含所有匹配點(diǎn)的區(qū)域凸集，若匹配點(diǎn)區(qū)域和真實(shí)結(jié)果區(qū)域產(chǎn)生 交集，則認(rèn)為正確識別出目標(biāo)。定義識別率(Recognitor!Rate)如下R = ^T ‘(27)
1\ fT式中，Nk為識別出的目標(biāo)數(shù)量，Nt為200幅圖像中總目標(biāo)數(shù)量。定義平均運(yùn)行時間 APT (Average Processing Time Per Image)如下
ηΑΡΤ = ^-,η = 200,(28)
η式中，η表示識別圖像數(shù)量；ti; i = 1，... η表示每幅圖的算法處理時間。本實(shí)施例進(jìn)行目標(biāo)搜索和識別的一個示例，包含搜索識別中的完整積累過程。目 的是在遙感圖像中尋找某一特定目標(biāo)(如機(jī)場)，實(shí)施例首先使用原圖及其目標(biāo)二值化模 板進(jìn)行學(xué)習(xí)，然后在經(jīng)過平移旋轉(zhuǎn)和尺度縮放變化后的圖像中搜索機(jī)場區(qū)域。通過學(xué)習(xí)， 獲得當(dāng)前目標(biāo)的目標(biāo)表達(dá)向量，其主特征為亮度特征。針對某一特定目標(biāo)，模型在搜索過 程中，第一次就命中了該目標(biāo)的顯著性(亮度)最高的特征區(qū)域(如機(jī)場的航站樓和停機(jī) 坪)，然后將此特征區(qū)域作為觸發(fā)圖斑，積累相關(guān)區(qū)域，最后將所確定的區(qū)域作為初步識別 結(jié)果輸出。此時，recall = 0.96177，precision = 0.56018。本模型第一次輸出的關(guān)注區(qū) 域和真實(shí)結(jié)果區(qū)域產(chǎn)生交集，則認(rèn)為正確識別出目標(biāo)。對所有圖片進(jìn)行測試后，本實(shí)施例中所使用的本發(fā)明基于對象視覺積累的模型， Walther模型和Hou的波譜殘留模型各自的平均準(zhǔn)確率、平均查全率展示在圖4中。由圖4 可見，三個模型所獲得的準(zhǔn)確率接近的情況下，本實(shí)施例的查全率最高，能夠獲得完整覆蓋 目標(biāo)的關(guān)注區(qū)域。三個模型的HRWAS和HRWT結(jié)果展示在圖5中。注意力轉(zhuǎn)移次數(shù)依賴于圖像分辨 率和圖像中目標(biāo)大小。實(shí)驗(yàn)中，我們統(tǒng)計(jì)注意力轉(zhuǎn)移10次命中目標(biāo)的數(shù)量。本實(shí)施例學(xué)習(xí) 獲得目標(biāo)的先驗(yàn)知識，并將其和底層特征相關(guān)聯(lián)。通過使用主特征對應(yīng)圖斑的特征能量向 量和目標(biāo)主圖斑特征能量向量之間歐式距離的度量方式，能夠在三個模型中獲得最高的首 次命中率，同時能夠以較少注意力轉(zhuǎn)移次數(shù)命中目標(biāo)。圖6顯示了使用本實(shí)施例所使用的本發(fā)明基于對象視覺積累機(jī)制的模型和SIFT 識別算法對測試集進(jìn)行目標(biāo)識別的結(jié)果。本發(fā)明模型獲得了 88. 5%的識別率，SIFT識別算 法獲得了 92. 5%的識別率，這表示兩種方法都能夠有效學(xué)習(xí)目標(biāo)，對目標(biāo)進(jìn)行分類和識別。 同時，本實(shí)施例模型處理每張圖像所使用的平均運(yùn)行時間APT為6. 781秒，而SIFT識別算 法處理每張圖像所使用的平均運(yùn)行時間APT為15. 437秒。本實(shí)施例模型使用42維特征能 量向量來表征目標(biāo)，而SIFT算法使用的若干個128維關(guān)鍵點(diǎn)向量來描述目標(biāo)。本實(shí)施例實(shí) 驗(yàn)使用的分辨率為756X667像素的圖片，使用SIFT算法能夠提取出2500 5500個關(guān)鍵 點(diǎn)，并且在多尺度處理、卷積操作以及關(guān)鍵點(diǎn)匹配的時候需要耗費(fèi)相當(dāng)長的計(jì)算時間。本實(shí)施例在高分辨率遙感圖像搜索感興趣目標(biāo)方面能夠取得比傳統(tǒng)方法更好的 搜索結(jié)果，基于對象積累視覺注意機(jī)制迅速關(guān)注目標(biāo)區(qū)域，并提取出完整目標(biāo)區(qū)域以進(jìn)行 下一步處理。同時本實(shí)施例合理引入了目標(biāo)先驗(yàn)知識，相比傳統(tǒng)識別方法，能夠快速識別目
15標(biāo)，并獲得可靠的識別結(jié)果。
權(quán)利要求
一種基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征在于根據(jù)視覺注意模型預(yù)注意階段計(jì)算中的中間數(shù)據(jù)，首先基于對象積累機(jī)制對目標(biāo)進(jìn)行學(xué)習(xí)，然后利用學(xué)習(xí)獲得的目標(biāo)先驗(yàn)知識作為自頂向下的信息，結(jié)合自底向上的信息，基于對象積累機(jī)制搜索和識別目標(biāo)。
2.根據(jù)權(quán)利要求1所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征 在于所述的對目標(biāo)進(jìn)行學(xué)習(xí)包括以下步驟S101.輸入遙感圖像和明確包含目標(biāo)區(qū)域的二值化模板；S102.視覺注意模型對輸入圖像進(jìn)行數(shù)據(jù)預(yù)處理，計(jì)算得到42張?zhí)卣鲌D，7張?jiān)纪怀?圖和1張顯著圖，確定42張?zhí)卣鲌D上對應(yīng)目標(biāo)區(qū)域內(nèi)的能量，形成42維特征能量向量描述 目標(biāo)，所述42張?zhí)卣鲌D具有7維特征，每維特征6個尺度，所述的7維特征分別是1維亮度 特征，2維顏色特征和4維方向特征，尋找7張?jiān)纪怀鰣D上對應(yīng)目標(biāo)區(qū)域內(nèi)能量的最大值， 從而確定其原始突出圖對應(yīng)特征維為工作特征，進(jìn)而確定主特征；S103.確定工作特征后，尋找工作特征對應(yīng)多個不同尺度的特征圖上目標(biāo)區(qū)域內(nèi)能量 最大的尺度，確定其尺度對應(yīng)特征圖為當(dāng)前學(xué)習(xí)工作圖；S104.使用otsu算法對學(xué)習(xí)工作圖進(jìn)行自適應(yīng)二值分割，所得到二值圖內(nèi)包含一系列 與背景形成一定程度對比的光滑連續(xù)的圖斑區(qū)域；S105.在學(xué)習(xí)工作圖的目標(biāo)區(qū)域內(nèi)找到一個能量最大的圖斑作為主圖斑，將主圖斑作 為目標(biāo)顯著部件的表征，計(jì)算主圖斑的特征能量向量；S106.以主圖斑為中心，逐漸積累合并周圍臨近的圖斑，隨圖斑區(qū)域不斷積累合并至 完整覆蓋目標(biāo)區(qū)域的過程中，確定多維特征原始金字塔圖上對應(yīng)區(qū)域內(nèi)原始能量的變化趨 勢，確定能量穩(wěn)定的特征；S107.當(dāng)積累合并目標(biāo)區(qū)域外的圖斑時，確定能量的相對變化量，將所述的能量的相對 變化量設(shè)定為閾值；S108.結(jié)合工作特征和輔特征的能量變化情況，確定圖斑引導(dǎo)的基于對象積累視覺注 意模型中的積累策略；S109.確定目標(biāo)42維特征向量向量、目標(biāo)主圖斑特征能量向量、主特征、輔特征和能量 相對變化量以及空間約束關(guān)系為對應(yīng)當(dāng)前目標(biāo)所學(xué)習(xí)到的目標(biāo)表達(dá)向量。
3.根據(jù)權(quán)利要求1或2所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其 特征在于，所述的目標(biāo)的搜索和識別包括以下步驟S201.輸入圖像，視覺注意模型對其進(jìn)行數(shù)據(jù)預(yù)處理，對應(yīng)主特征的每個尺度的特征 圖，利用otsu算法進(jìn)行自適應(yīng)二值分割，提取出一系列圖斑區(qū)域；S202.根據(jù)學(xué)習(xí)獲得的目標(biāo)知識，對主特征每張?zhí)卣鲌D上的每個圖斑，計(jì)算在42張?zhí)?征圖上對應(yīng)圖斑區(qū)域內(nèi)的能量，形成42維特征能量向量描述圖斑，然后計(jì)算每個圖斑42維 特征能量向量和目標(biāo)主圖斑42維特征能量向量之間的歐式距離，根據(jù)歐式距離尋找觸發(fā) 圖斑，所述歐式距離由小到大結(jié)果對圖斑排序，將排序好的結(jié)果放在隊(duì)列中，從隊(duì)列中取第 一個距離最小的圖斑作為觸發(fā)圖斑；S203.選擇觸發(fā)圖斑后，激活積累過程，確定觸發(fā)圖斑所在特征圖為當(dāng)前工作圖，計(jì)算 當(dāng)前工作圖上觸發(fā)圖斑內(nèi)能量并將其設(shè)置為初始能量標(biāo)準(zhǔn)，計(jì)算當(dāng)前工作圖上所有圖斑和 觸發(fā)圖斑的空間距離，并按由小到大排序，然后連續(xù)取當(dāng)前工作圖上臨近圖斑和觸發(fā)圖斑合并，在這個過程中，判斷合并區(qū)域的能量變化，若超出學(xué)習(xí)過程得到的所述閾值，則中止 積累過程；S204.提交當(dāng)前積累區(qū)域作為有效關(guān)注區(qū)域并作為初步識別結(jié)果；S205.對當(dāng)前有效關(guān)注區(qū)域使用禁止返回策略，提取隊(duì)列中下一個次近圖斑作為觸發(fā) 圖斑進(jìn)行積累過程。
4.根據(jù)權(quán)利要求2所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法， 其特征在于，所述尋找7張?jiān)纪怀鰣D上對應(yīng)目標(biāo)區(qū)域內(nèi)能量的最大值，從而確定其原始突出圖對應(yīng)特征維為工作特征是采用如下公式進(jìn)行計(jì)算-lZM^^aMA/)'▽^^{/,及6，57,0°,45°,90°,135°},其中，I表示亮度特征通道；RG表示紅綠顏色對比通道，BY表示藍(lán)黃顏色對比通道；0°，45°，90°，135°表示使用Gabor濾波器進(jìn)行四個方向?yàn)V 波后產(chǎn)生的對應(yīng)四個特征通道。
5.根據(jù)權(quán)利要求2所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜 索和識別方法，其特征在于，所述的確定主特征采用如下公式進(jìn)行L1,fw E {/}Zp=Uc,fwe{RG,BY},其中山表示亮度特征通道；L。表示顏色特征Lo,{O。,45。,90。,135。}通道；L0表示方向特征通道。
6.根據(jù)權(quán)利要求2所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征 在于，所述S 102中的計(jì)算主圖斑的特征能量向量包括計(jì)算42張?zhí)卣鲌D上主圖斑對應(yīng)目 標(biāo)區(qū)域內(nèi)的能量，形成42維特征能量向量描述目標(biāo)主要部件。
7.根據(jù)權(quán)利要求2所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征 在于，所述S106中確定能量穩(wěn)定的特征采用對象積累方式進(jìn)行。
8.根據(jù)權(quán)利要求2所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征 在于，所述S108中的輔特征包括迭代過程中的特征能量向量數(shù)據(jù)中任意一維與工作特征 具有相同的能量變化趨勢的特征。
9.根據(jù)權(quán)利要求3所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征 在于，所述S203、S204以及S205還能夠?yàn)榇_定觸發(fā)圖斑所在特征圖為當(dāng)前工作圖，計(jì)算當(dāng) 前工作圖上觸發(fā)圖斑內(nèi)能量并將其設(shè)置為初始能量標(biāo)準(zhǔn)；計(jì)算當(dāng)前工作圖上所有圖斑和觸 發(fā)圖斑的空間距離，由小到大排序，不斷取當(dāng)前工作圖上臨近圖斑和觸發(fā)圖斑合并，積累得 到完整的目標(biāo)區(qū)域；并將目標(biāo)區(qū)域作為初步識別結(jié)果輸出。
10.根據(jù)權(quán)利要求3所述的基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特 征在于，所述S205中的對當(dāng)前有效關(guān)注區(qū)域使用禁止返回策略的實(shí)現(xiàn)方式為將排序隊(duì)列 中處于當(dāng)前有效關(guān)注區(qū)域內(nèi)的圖斑刪除。
全文摘要
本發(fā)明公開了一種基于對象積累視覺注意機(jī)制的目標(biāo)搜索和識別方法，其特征在于根據(jù)視覺注意模型預(yù)注意階段計(jì)算中的中間數(shù)據(jù)，首先基于對象積累機(jī)制對目標(biāo)進(jìn)行學(xué)習(xí)，然后利用學(xué)習(xí)獲得的目標(biāo)先驗(yàn)知識作為自頂向下的信息，結(jié)合自底向上的信息，基于對象積累機(jī)制搜索和識別目標(biāo)。該方法充分利用視覺注意模型預(yù)注意階段的中間數(shù)據(jù)，結(jié)合自頂向下信息和自底向上信息，具有極大的靈活性和自適應(yīng)性，能夠快速識別目標(biāo)并獲得可靠的識別結(jié)果。
文檔編號G06K9/32GK101916379SQ20101027176
公開日2010年12月15日 申請日期2010年9月3日 優(yōu)先權(quán)日2010年9月3日
發(fā)明者周成平, 肖潔, 蔡超 申請人:華中科技大學(xué)