專利名稱：一種圖像檢索方法
技術領域：
本發(fā)明涉及信息檢索領域，特別涉及一種圖像檢索方法。
背景技術：
隨著互聯(lián)網(wǎng)的普及以及計算機軟硬件的飛速發(fā)展，越來越多的多媒體信息展現(xiàn)在 人們面前。面對紛繁復雜的各種視覺信息的沖擊，如何有效的提取出用戶自己需要的信息， 如何有效的進行多媒體信息的檢索，成為人們迫切需要解決的問題。為此，現(xiàn)有技術中提出了圖像檢索技術，圖像檢索技術是一項實用性很強的技術， 可以應用到社會生活各個方面，有著廣闊的應用前景，通過該圖像檢索技術可以滿足日常 應用中的需求。發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)上述現(xiàn)有技術至少存在以下缺點和不足在實際應用中圖像檢索技術的效率不高，搜索的結果存在局限性。

發(fā)明內(nèi)容
為了提高圖像檢索效率，擴大搜索結果的范圍，本發(fā)明提供了一種圖像檢索方法， 所述方法包括以下步驟(1)獲取待查詢對象的語義描述；(2)根據(jù)圖像庫中圖像的類別構建圖像本體庫；(3)根據(jù)所述待查詢對象的語義描述在所述圖像本體庫中進行語義查詢，獲取和 所述待查詢對象相似的圖像實例以及和所述圖像實例相關的語義描述；(4)對所述圖像實例的相似度進行排序，獲取并輸出相似度最高的圖像實例及相 應的語義描述。步驟(3)中的所述語義查詢具體為通過所述待查詢對象，對所述圖像本體庫中的圖像實例進行相似度計算。當所述待查詢對象為待查詢圖像時，步驟(1)中所述獲取待查詢對象的語義描 述，具體包括對所述待查詢圖像和圖像庫中圖像進行底層特征提取，提取待查詢圖像的高維特 征向量和圖像庫中圖像的高維特征向量；根據(jù)獲取到的所述圖像庫中圖像的高維特征向量、圖像庫中圖像的原有語義描 述，構建圖像庫中圖像的特征庫；根據(jù)所述待查詢圖像的高維特征向量、所述圖像庫中圖像的高維特征向量和所述 圖像庫中圖像的原有語義描述，通過分類器獲取待查詢圖像的語義描述。所述根據(jù)所述待查詢圖像的高維特征向量、所述圖像庫中圖像的高維特征向量和 所述圖像庫中圖像的原有語義描述，通過分類器獲取待查詢圖像的語義描述，具體包括將所述圖像庫中圖像的高維特征向量和所述圖像庫中圖像的原有語義描述組合 成圖像庫中圖像的新的特征向量；
通過所述分類器對獲取到的所述新的特征向量進行訓練，獲取表述所述圖像庫中 圖像的高維特征向量和所述圖像庫中圖像的原有語義描述之間關系的模型；通過獲取到的所述模型和所述待查詢圖像的高維特征向量，獲取待查詢圖像的語 義描述。當用戶獲取到和待查詢圖像相似度最高的圖像實例以及和圖像實例相關的語義 描述后，若選擇了用戶反饋，所述方法還包括通過用戶的反饋信息對所述圖像本體庫和所述特征庫進行更新。當所述待查詢對象為待查詢文本時，步驟(1)中所述獲取待查詢對象的語義描 述，具體包括通過自然語言處理對所述待查詢文本進行關鍵詞提取，獲取所述待查詢文本的語 義描述。當用戶獲取到和待查詢文本相似度最高的圖像實例以及和圖像實例相關的語義 描述后，若選擇了用戶反饋，所述方法還包括通過用戶的反饋信息對所述圖像本體庫進行更新。本發(fā)明提供的技術方案的有益效果是獲取待查詢對象的語義描述，根據(jù)得到的語義描述到圖像本體庫中去檢索，獲取 并輸出相似度最高的圖像實例及相應的語義描述，輸出相似度排序靠前的圖像作為檢索結 果。通過上述方法可以有效的根據(jù)待查詢對象檢索出與之相似的圖像和對應的語義描述， 提高檢索的查全率和查準率，提高了圖像檢索效率，擴大了搜索結果的范圍。


圖1是本發(fā)明提供的用戶查詢需求示意圖；圖2是本發(fā)明提供的待查詢圖像的方法流程圖；圖3是本發(fā)明提供的待查詢圖像進行特征提取的示意圖；圖4是本發(fā)明提供的用戶根據(jù)檢索結果反饋的信息示意圖；圖5是本發(fā)明通供的待查詢文本的方法流程圖；圖6是本發(fā)明提供的用戶根據(jù)檢索結果反饋的信息示意圖；圖7是本發(fā)明提供的一幅示例圖像；圖8是本發(fā)明提供的待查詢圖像的檢索結果示意圖；圖9是本發(fā)明提供的待查詢文本的檢索結果示意圖。
具體實施例方式為使本發(fā)明的目的、技術方案和優(yōu)點更加清楚，下面將結合附圖對本發(fā)明實施方 式作進一步地詳細描述。為了提高圖像檢索效率，擴大搜索的范圍，本發(fā)明實施例提供了一種圖像檢索方 法，該方法內(nèi)容如下隨著21世紀初語義網(wǎng)概念的提出，圖像檢索技術已經(jīng)不再局限于特定領域的基 于內(nèi)容的圖像檢索，而是開始研究更普適的基于語義的圖像檢索?；谡Z義的圖像檢索充 分利用外部知識，逐步挖掘圖像所包含的語義信息，能夠更加智能的檢索出用戶需要的信
4息。圖像語義信息主要表達為人們對圖像信息的直觀理解，包括圖像所包含的對象、圖像描 述的場景、對象與對象的空間關系以及對象的行為和情感等等。這些語義特征作為高層的 圖像特征需要與可以自動提取的底層物理特征及圖像統(tǒng)計特征相對應，從而建立起語義特 征和底層視覺特征的聯(lián)系，利用底層視覺特征來映射到語義特征，從而實現(xiàn)基于語義特征 的圖像檢索。為了實現(xiàn)語義特征與底層特征的關聯(lián)，本發(fā)明實施例引入了本體技術。本體 是共享概念模型的明確的形式化規(guī)范說明。本體作為共享的概念模型是通過現(xiàn)象的相關概 念以及現(xiàn)實世界的對象進行抽象建模，它所表達的知識使共同的概念表達具有普適性，同 時概念之間的關系被明確定義，而且形式化的要求使得本體是機器可讀的。本體一般由概 念、描述概念的屬性、概念之間的關系以及概念和屬性之間的約束組成。參見圖1，實際應用中用戶的待查詢對象主要包括待查詢圖像和待查詢文本，用 戶可以輸入圖像進行檢索，也可以輸入文本進行檢索。實施例1參見圖2，以待查詢對象為圖像為例對該方法進行詳細說明，參見下文描述101 對用戶輸入的待查詢圖像和圖像庫中圖像進行底層特征提取，提取待查詢圖 像的高維特征向量和圖像庫中圖像的高維特征向量；上述步驟具體為通過對用戶輸入的待查詢圖像和圖像庫中的圖像分別進行底層 特征提取計算，分別提取圖像的各個不同特征，對提取到的各個不同特征進行歸一化處理 和組合處理，提取高維特征向量，該提取到的高維特征向量供整個查詢過程使用。其中，圖像底層特征提取作為圖像檢索的前提，需要利用各種標準和概念完成圖 像底層的特征提取，主要包括MPEG-7 (Moving Pictures ExpertsGroup，動態(tài)圖像專家組) 標準所定義的圖像特征以及其他可用的紋理、顏色及形狀特征。具體實現(xiàn)時，根據(jù)圖像的不 同還可以提取到其他的特征，具體實現(xiàn)時，本發(fā)明實施例對此不做限制。參見圖3，對于圖像庫中的每一個待查詢圖像進行特征提取計算，分別提取到待查 詢圖像的顏色特征、紋理特征、形狀特征，再進行歸一化處理和組合處理獲取待查詢圖像的 高維特征向量。其中，具體的提取計算、歸一化處理和組合處理所采取的方法可以采用現(xiàn)有技術 中普通的方法，具體實現(xiàn)時，本發(fā)明實施例對此不做限制。102 根據(jù)步驟101中獲取到的圖像庫中圖像的高維特征向量和圖像庫中圖像的 原有語義描述，構建圖像庫中圖像的特征庫；具體地，特征庫是由圖像庫中圖像的高維特征向量、圖像庫中圖像的原有的語義 描述構成的序列。具體實現(xiàn)方法，為現(xiàn)有技術中的常規(guī)方法，本發(fā)明實施例對此不做限制。103 根據(jù)步驟101中待查詢圖像的高維特征向量、圖像庫中圖像的高維特征向量 和圖像庫中圖像的原有語義描述，通過分類器獲取待查詢圖像的語義描述；具體為接受待查詢圖像作為查詢輸入，根據(jù)待查詢圖像的高維特征向量和圖像 庫中圖像的高維特征向量，通過SVM(Support Vector Machines，支持向量機)分類器，對待 查詢圖像進行分類，得到查詢圖像的語義描述。該步驟103具體為將圖像庫中圖像的高維特征向量和圖像庫中圖像的語義描 述，組合成圖像庫中圖像的新的特征向量；通過分類器對獲取到的新的特征向量進行訓練， 獲取表述圖像庫中圖像的高維特征向量和圖像庫中圖像的原有語義描述之間關系的模型；根據(jù)獲取到的模型和待查詢圖像的高維特征向量，獲取待查詢圖像的語義描述。具體地，分類技術可以采用SVM分類器，也可以采用其他基于機器學習類型的分 類器，具體實現(xiàn)時，本發(fā)明實施例對此不做限制。104 根據(jù)圖像庫中圖像的類別構建圖像本體庫；具體地，該圖像本體庫是一個包含對象和關系的語義網(wǎng)絡，其中，語義網(wǎng)絡的節(jié)點 表示圖像中不同的對象，邊表示對象之間的關系，這為后續(xù)檢索過程中的語義查詢提供基 石出。105 根據(jù)步驟103中獲取到的待查詢圖像的語義描述在步驟104中的圖像本體庫 中進行語義查詢，獲取和待查詢圖像相似的圖像實例以及和圖像實例相關的語義描述；其中，語義查詢具體為通過待查詢圖像，對圖像本體庫中的圖像實例進行相似度計算。106 對步驟105中的圖像實例的相似度進行排序，獲取并輸出相似度最高的圖像 實例及相應的語義描述；其中，對圖像實例的相似度排序可以采用任意一種排序方法，例如由大到小、由 小到大等排序方法，具體實現(xiàn)時，本發(fā)明實施例對此不做限制。本發(fā)明實施例對相似度最高 的圖像實例的數(shù)量不做限制。當用戶獲取到和待查詢圖像相似度最高的圖像實例和圖像實例相關的語義描述 后，若選擇了用戶反饋，即用戶提交了對結果的滿意度或者更改了結果的語義描述，該方法 還包括用戶反饋，具體為107 根據(jù)用戶的反饋信息對步驟104中的圖像本體庫和步驟102中的特征庫進行更新。參見圖4，為用戶反饋示例，用戶根據(jù)檢索結果(花的圖像和原語義描述)進行反 饋，flower green pink為用戶的反饋信息，是對圖像新的語義描述，并且對步驟104中的 圖像本體庫進行更新。綜上所述，本發(fā)明實施例提供了一種圖像檢索方法，獲取待查詢圖像的語義描述， 根據(jù)得到的語義描述到圖像本體庫中去檢索，獲取并輸出相似度最高的圖像實例及相應的 語義描述，輸出相似度排序靠前的圖像作為檢索結果。通過上述方法可以有效的根據(jù)待查 詢圖像檢索出與之相似的圖像和對應的語義描述，提高檢索的查全率和查準率，提高了圖 像檢索效率，擴大了搜索結果的范圍。實施例2參見圖5，以待查詢對象為文本為例對該方法進行詳細說明，參見下文描述201 通過自然語言處理對待查詢文本進行關鍵詞提取，獲取待查詢文本的語義描 述；具體地，自然語言處理采用現(xiàn)有技術中的方法，本發(fā)明實施例對此不做限制。202 根據(jù)圖像庫中圖像的類別構建圖像本體庫；203 根據(jù)步驟201中獲取到的待查詢文本的語義描述在步驟202的圖像本體庫中 進行語義查詢，獲取和待查詢文本相似的圖像實例以及和圖像實例相關的語義描述；其中，語義查詢具體為通過待查詢文本，對圖像本體庫中的圖像實例進行相似度計算。
204 對步驟203中的圖像實例的相似度進行排序，獲取并輸出相似度最高的圖像 實例及相應的語義描述；當用戶獲取到和待查詢文本相似度最高的圖像實例和圖像實例相關的語義描述 后，若選擇了用戶反饋，即用戶提交了對結果的滿意度或者更改了結果的語義描述，該方法 還包括用戶反饋，具體為205 根據(jù)用戶的反饋信息對步驟202中的圖像本體庫進行更新。參見圖6，為用戶反饋示例，用戶根據(jù)檢索結果(花的圖像和原語義描述)進行反 饋，lower green pink為用戶的反饋信息，對圖像新的語義描述，并且對步驟202中的圖像 本體庫進行更新。其中，步驟202-205中的詳細描述參見實施例1，在此不再贅述。綜上所述，本發(fā)明實施例提供了一種圖像檢索方法，獲取待查詢文本的語義描述， 根據(jù)得到的語義描述到圖像本體庫中去檢索，獲取并輸出相似度最高的圖像實例及相應的 語義描述，輸出相似度排序靠前的圖像作為檢索結果。通過上述方法可以有效的根據(jù)待查 詢文本檢索出與之相似的圖像和對應的語義描述，提高檢索的查全率和查準率，提高了圖 像檢索效率，擴大了搜索結果的范圍。本發(fā)明實施例以2個簡單的試驗來驗證本發(fā)明實施例提供的方法的有效性，詳見 下文描述如果待查詢對象為圖像查詢，給出一幅示例圖像，如圖7所示，對待查詢圖像進行 特征提取，對顏色(color)、紋理(texture)和形狀(shape)特征依次計算，將結果組成特征 向量(示例圖像的提取結果按主顏色特征分為36維向量)，結果如下1 0. 066636,2 0. 085202,3 0. 107628,4 0. 166268,5 0. 468474,6 0. 619393、 7 0.626102,8 0.627113,9 0.629227,10 0.639062,11 0.645404,12 1.0,13 0.012867,14 0.046415,15 0.117738,16 0.258180,17 0.434834,18 0.619944, 19 0.812408,20 0.903768,21 0.930698,22 0.942738,23 0.950919,24 1.0,25 0. 069485,26 0. 198069,27 0.423805,28 0.602389,29 0.643290,30 0.672702,31 0.712683,32 0.767738,33 0.839154,34 0.919577,35 0.977849,36 1.0。調(diào)用SVM分類器對特征向量進行分類，獲取待查詢圖像的語義描述，結果如下第一層0utd00r(表示戶外圖像)第二層mature (表示自然圖像)第三層plant (表示植物圖像)第四層floWer (表示花圖像)通過上述過程得到待查詢圖像的語義描述，再根據(jù)得到的語義描述到圖像本體庫 中去檢索，獲取并輸出相似度最高的圖像實例及相應的語義描述，輸出相似度排序靠前的 圖像作為檢索結果。參見圖8，為相似度排序靠前的圖像和該圖像相應的語義描述，通過和 圖7之間的對比，可以驗證通過該方法獲得了較高的準確率。用戶可以選擇是否進行反饋， 如果用戶選擇反饋，則可以對檢索結果中的任意圖片進行滿意度評價，即提交一份滿意度 調(diào)查表單，同時可以選擇更改對應圖像的語義描述。如果待查詢對象為文本查詢，用戶需要輸入一段文本描述，如“綠葉的背景中有一 束粉紅色的鮮花”。
7
對于文本輸入，對其關鍵詞進行提取結果如下[葉]，[綠色]；[花]，[粉紅色]。再根據(jù)得到的語義描述到圖像本體庫中去檢索，獲取并輸出相似度最高的圖像實 例及相應的語義描述，輸出相似度排序靠前的圖像作為檢索結果。參見圖9，為相似度排序 靠前的圖像和該圖像相應的語義描述，通過和圖7之間的對比，可以驗證通過該方法獲得 了較高的準確率。用戶可以選擇是否進行反饋，如果用戶選擇反饋，則可以對檢索結果中的 任意圖片進行滿意度評價，即提交一份滿意度調(diào)查表單。同時可以選擇更改對應圖像的語 義描述。通過上述實驗驗證，可以看出本發(fā)明實施例提供的方法的可行性，通過圖像查詢 或文本查詢方式，可以在圖像本體庫中進行語義檢索，分別得到相似度最高的圖像實例和 相應的語義描述，提高了圖像檢索效率，擴大了搜索結果的范圍。本領域技術人員可以理解附圖只是一個優(yōu)選實施例的示意圖，上述本發(fā)明實施例 序號僅僅為了描述，不代表實施例的優(yōu)劣。以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和 原則之內(nèi)，所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
權利要求
一種圖像檢索方法，其特征在于，所述方法包括以下步驟(1)獲取待查詢對象的語義描述；(2)根據(jù)圖像庫中圖像的類別構建圖像本體庫；(3)根據(jù)所述待查詢對象的語義描述在所述圖像本體庫中進行語義查詢，獲取和所述待查詢對象相似的圖像實例以及和所述圖像實例相關的語義描述；(4)對所述圖像實例的相似度進行排序，獲取并輸出相似度最高的圖像實例及相應的語義描述。
2.根據(jù)權利要求1所述的方法，其特征在于，步驟(3)中的所述語義查詢具體為 通過所述待查詢對象，對所述圖像本體庫中的圖像實例進行相似度計算。
3.根據(jù)權利要求1所述的方法，其特征在于，當所述待查詢對象為待查詢圖像時，步驟 (1)中所述獲取待查詢對象的語義描述，具體包括對所述待查詢圖像和圖像庫中圖像進行底層特征提取，提取待查詢圖像的高維特征向 量和圖像庫中圖像的高維特征向量；根據(jù)獲取到的所述圖像庫中圖像的高維特征向量、圖像庫中圖像的原有語義描述，構 建圖像庫中圖像的特征庫；根據(jù)所述待查詢圖像的高維特征向量、所述圖像庫中圖像的高維特征向量和所述圖像 庫中圖像的原有語義描述，通過分類器獲取待查詢圖像的語義描述。
4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述待查詢圖像的高維特征向 量、所述圖像庫中圖像的高維特征向量和所述圖像庫中圖像的原有語義描述，通過分類器 獲取待查詢圖像的語義描述，具體包括將所述圖像庫中圖像的高維特征向量和所述圖像庫中圖像的原有語義描述組合成圖 像庫中圖像的新的特征向量；通過所述分類器對獲取到的所述新的特征向量進行訓練，獲取表述所述圖像庫中圖像 的高維特征向量和所述圖像庫中圖像的原有語義描述之間關系的模型；通過獲取到的所述模型和所述待查詢圖像的高維特征向量，獲取待查詢圖像的語義描述。
5.根據(jù)權利要求3所述的方法，其特征在于，當用戶獲取到和待查詢圖像相似度最高 的圖像實例以及和圖像實例相關的語義描述后，若選擇了用戶反饋，所述方法還包括通過用戶的反饋信息對所述圖像本體庫和所述特征庫進行更新。
6.根據(jù)權利要求1所述的方法，其特征在于，當所述待查詢對象為待查詢文本時，步驟 (1)中所述獲取待查詢對象的語義描述，具體包括通過自然語言處理對所述待查詢文本進行關鍵詞提取，獲取所述待查詢文本的語義描述。
7.根據(jù)權利要求6所述的方法，其特征在于，當用戶獲取到和待查詢文本相似度最高 的圖像實例以及和圖像實例相關的語義描述后，若選擇了用戶反饋，所述方法還包括通過用戶的反饋信息對所述圖像本體庫進行更新。
全文摘要
本發(fā)明公開了一種圖像檢索方法，涉及信息檢索領域，所述方法包括以下步驟獲取待查詢對象的語義描述；根據(jù)圖像庫中圖像的類別構建圖像本體庫；根據(jù)所述待查詢對象的語義描述在所述圖像本體庫中進行語義查詢，獲取和所述待查詢對象相似的圖像實例以及和所述圖像實例相關的語義描述；對所述圖像實例的相似度進行排序，獲取并輸出相似度最高的圖像實例及相應的語義描述。通過上述方法可以得到和待查詢對象相似度最高的圖像實例和相應的語義描述，提高檢索的查全率和查準率，提高了圖像檢索效率，擴大了搜索的范圍。
文檔編號G06F17/30GK101853295SQ20101018583
公開日2010年10月6日 申請日期2010年5月28日 優(yōu)先權日2010年5月28日
發(fā)明者馮志勇, 賈宇, 陳祉宏 申請人:天津大學