一種基于關鍵詞的影像語義信息檢索方法
【專利摘要】本發(fā)明涉及一種基于關鍵詞的影像語義信息檢索方法，主要包括以下步驟：設定描述影像庫中影像內容的視覺關鍵詞；從影像庫中選取訓練影像，通過聚類算法的聚類中心得到關鍵模式；采用高斯混合模型建立視覺關鍵詞層次模型，提取影像庫中所有影像的顯著視覺特征；構建描述該影像語義的視覺關鍵詞特征向量；接收待檢索影像并計算上述接收的影像的語義信息與影像庫中影像的語義距離；依據(jù)語義距離以及影像相似度，由近及遠排序，并輸出檢索結果。本發(fā)明有效提高影像檢索的查全率和查準率，具有良好的擴展性。
【專利說明】
一種基于關鍵詞的影像語義信息檢索方法
技術領域
[0001]本發(fā)明涉及影像處理與影像識別領域，更具體地說，涉及一種基于關鍵詞的影像語義信息檢索方法。
【背景技術】
[0002]影像數(shù)據(jù)應用正面臨著“數(shù)據(jù)又多又少”的矛盾。一方面，隨著航空航天及各類傳感器技術、計算機網(wǎng)絡技術、數(shù)據(jù)庫技術等的飛速發(fā)展，可獲取的各種遙感影像數(shù)據(jù)產(chǎn)品；另一方面，在如此浩瀚的遙感影像數(shù)據(jù)倉庫中，人們卻普遍感覺到要想快速查找到感興趣的目標并非易事。這是由于遙感影像數(shù)據(jù)本身具有空間性、多樣性、復雜性和海量性等特點，使得目前缺乏對海量遙感影像數(shù)據(jù)的有效檢索方法，已經(jīng)阻礙到遙感影像數(shù)據(jù)的應用。
[0003]在影像檢索研究所涉及的各項關鍵技術中，目前的研究重點主要集中在影像的可視化特征提取及其相似性匹配算法上，其中對紋理特征的研究和應用最為廣泛和深入，目標形狀特征的描述和提取相對光譜特征、紋理特征而言是一個非常復雜的問題，至今還沒有“形狀”的確切數(shù)學定義。在基于組合特征的影像檢索方面，主要有基于色調和紋理組合特征的檢索。數(shù)據(jù)預處理(自動分塊組織或預處理)和可視化特征相結合的算法也是以紋理特征為主。
[0004]由于低層可視化特征不能直觀地反映影像的語義信息，在沒有專家?guī)旎蛘哳I域知識庫的輔助下，通常都會產(chǎn)生“所求非所得”的檢索結果。要解決這一問題，提高檢索效率和檢索準確率，在檢索方法上必須突破對可視化特征的依賴。影像高層語義特征包含了人們對影像內容的理解，基于語義的檢索方法不僅顧及顏色、紋理、形狀等視覺特征，而且注重對影像內容的語義描述，因此語義檢索比基于視覺特征的內容檢索更加充分、準確，智能性更高。然而，目前基于語義的遙感影像檢索仍停留在探索階段。

【發(fā)明內容】

[0005]本發(fā)明的目的在于，提供一種基于關鍵詞的影像語義信息檢索方法，通過符合人類視覺感知特性的影像分析方法，將復雜的影像特征抽象為具有語義信息的視覺關鍵詞，通過視覺關鍵詞建立底層特征、中層對象及高層語義信息之間的關聯(lián)，提供的方法能適用于各種不同類型影像檢索領域。
[0006]本發(fā)明所采用的技術方案是一種基于關鍵詞的影像語義信息檢索方法，包括以下步驟:
[0007]設置能夠描述影像庫中影像類型的視覺關鍵詞，并從影像庫中分別選出能反映各視覺關鍵詞的若干幅影像，作為訓練影像；
[0008]提取所有訓練影像的各類顯著視覺特征；
[0009]對所有訓練影像，將得到的顯著視覺特征分別采用聚類算法進行聚類，得到與視覺關鍵詞個數(shù)相等的聚類中心，將每個聚類中心映射為一個關鍵模式；
[0010]采用高斯混合模型建立視覺關鍵詞層次模型，構建影像的高斯尺度空間；然后分別建立包括同一尺度下的影像不同空間區(qū)域和同一影像空間區(qū)域下的不同尺度的二維高斯尺度樹形層次結構；基于兩個不同類型的高斯尺度樹形層次結構分別構建非結構性語義和結構性語義，完成基于高斯尺度空間構建影像語義；
[0011]針對影像庫中的每一幅影像，若屬于某類視覺關鍵詞的概率最大，則認為顯著視覺特征屬于該類視覺關鍵詞，從而實現(xiàn)顯著視覺特征到視覺關鍵詞的映射；
[0012]針對影像庫中的每一幅影像，根據(jù)預設的設定權重參數(shù)，統(tǒng)計每類視覺關鍵詞在該影像中出現(xiàn)的頻率，進而構建描述該影像語義的視覺關鍵詞特征向量；
[0013]接收待檢索影像；
[0014]采用預設的相似性度量準則，計算上述接收的影像的語義信息與影像庫中影像的語義距離；
[0015]依據(jù)語義距離以及影像相似度，由近及遠排序，并輸出檢索結果。
[0016]進一步地，其提取的顯著視覺特征包括顯著點、對象驅動的主色調和紋理。
[0017]進一步地，對所有訓練影像進行基于Quick Shift算法的過分割，對過分割結果進行區(qū)域合并，然后對一致性對象區(qū)域采用HSV模型，根據(jù)其色調通道的量化結果提取出各區(qū)域的主色調，從而獲取影像的主色調特征，每一個對象區(qū)域的主色調特征用一個特征向量來表示。
[0018]進一步地，在設置權重參數(shù)時，顯著點特征賦以均值權重，主色調特征和紋理特征以自身對象區(qū)域的面積為權重。
[0019]進一步地，構建影像的高斯尺度空間的步驟如下，
[0020]分別建立包括同一尺度下的影像不同空間區(qū)域和同一影像空間區(qū)域下的不同尺度的二維高斯尺度樹形層次結構；
[0021]基于兩個不同類型的高斯尺度樹形層次結構分別構建非結構性語義和結構性語義，完成基于高斯尺度空間構建影像語義，從而建立起視覺關鍵詞層次模型。
[0022]進一步地，劃分同一高斯尺度下影像的影像空間區(qū)域，提取該高斯尺度下影像的穩(wěn)定特征點，包括提取該高斯尺度下影像的全局最大值像素坐標點、全局最小值像素坐標點、局部最大值像素坐標點、局部最大值像素坐標點、全局鞍值像素坐標點和局部鞍值像素坐標點，所述全局是指該高斯尺度下影像，所述局部是指按照上述步驟劃分得到的任一影像空間區(qū)域。
[0023]進一步地，所采用的聚類算法為K均值或ISODATA算法。
[0024]本發(fā)明提供的技術方案的有益效果為，通過視覺關鍵詞的層次模型建立低層顯著視覺特征與高層語義信息之間的關聯(lián)，縮小了低層顯著視覺特征與高層語義之間的“語義鴻溝”，為從海量影像庫中快速定位和查找感興趣目標提供一個新的解決途徑，能有效提高影像檢索的查全率和查準率。
【主權項】
1.一種基于關鍵詞的影像語義信息檢索方法，其特征在于，包括以下步驟: 設置能夠描述影像庫中影像類型的視覺關鍵詞，并從影像庫中分別選出能反映各視覺關鍵詞的若干幅影像，作為訓練影像； 提取所有訓練影像的各類顯著視覺特征: 對所有訓練影像，將得到的顯著視覺特征分別采用聚類算法進行聚類，得到與視覺關鍵詞個數(shù)相等的聚類中心，將每個聚類中心映射為一個關鍵模式； 采用高斯混合模型建立視覺關鍵詞層次模型，構建影像的高斯尺度空間；然后分別建立包括同一尺度下的影像不同空間區(qū)域和同一影像空間區(qū)域下的不同尺度的二維高斯尺度樹形層次結構；基于兩個不同類型的高斯尺度樹形層次結構分別構建非結構性語義和結構性語義，完成基于高斯尺度空間構建影像語義，從而建立起視覺關鍵詞層次模型； 針對影像庫中的每一幅影像，若屬于某類視覺關鍵詞的概率最大，則認為顯著視覺特征屬于該類視覺關鍵詞，從而實現(xiàn)顯著視覺特征到視覺關鍵詞的映射； 針對影像庫中的每一幅影像，根據(jù)預設的設定權重參數(shù)，統(tǒng)計每類視覺關鍵詞在該影像中出現(xiàn)的頻率，進而構建描述該影像語義的視覺關鍵詞特征向量； 接收待檢索影像； 采用預設的相似性度量準則，計算上述接收的影像的語義信息與影像庫中影像的語義距離； 依據(jù)語義距離以及影像相似度，由近及遠排序，并輸出檢索結果。2.根據(jù)權利要求1所述的一種基于關鍵詞的影像語義信息檢索方法，其特征在于:提取的顯著視覺特征包括顯著點、對象驅動的主色調和紋理。3.根據(jù)權利要求2所述的一種基于關鍵詞的影像語義信息檢索方法，其特征在于:對所有訓練影像進行基于Quick Shift算法的過分割，對過分割結果進行區(qū)域合并，然后對一致性對象區(qū)域采用HSV模型，根據(jù)其色調通道的量化結果提取出各區(qū)域的主色調，從而獲取影像的主色調特征，每一個對象區(qū)域的主色調特征用一個特征向量來表示。4.根據(jù)權利要求2所述的一種基于關鍵詞的影像語義信息檢索方法，其特征在于:在設置權重參數(shù)時，顯著點特征賦以均值權重，主色調特征和紋理特征以自身對象區(qū)域的面積為權重。5.根據(jù)權利要求1所述的一種基于關鍵詞的影像語義信息檢索方法，其特征在于:構建影像的高斯尺度空間的步驟如下， 分別建立包括同一尺度下的影像不同空間區(qū)域和同一影像空間區(qū)域下的不同尺度的二維高斯尺度樹形層次結構； 基于兩個不同類型的高斯尺度樹形層次結構分別構建非結構性語義和結構性語義，完成基于高斯尺度空間構建影像語義，從而建立起視覺關鍵詞層次模型。6.根據(jù)權利要求5所述的一種基于關鍵詞的影像語義信息檢索方法，其特征在于:劃分同一高斯尺度下影像的影像空間區(qū)域，提取該高斯尺度下影像的穩(wěn)定特征點，包括提取該高斯尺度下影像的全局最大值像素坐標點、全局最小值像素坐標點、局部最大值像素坐標點、局部最大值像素坐標點、全局鞍值像素坐標點和局部鞍值像素坐標點，所述全局是指該高斯尺度下影像，所述局部是指按照上述步驟劃分得到的任一影像空間區(qū)域。7.根據(jù)權利要求所述的一種基于關鍵詞的影像語義信息檢索方法，其特征在于:所采 用的聚類算法為K均值或ISODATA算法。
【文檔編號】G06F17/30GK106021250SQ201510588931
【公開日】2016年10月12日
【申請日】2015年9月16日
【發(fā)明人】張樹坤
【申請人】展視網(wǎng)（北京）科技有限公司