一種融合空間約束信息的圖像檢索方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于模式識別與信息處理技術(shù)領(lǐng)域，涉及計算機(jī)視覺方面的圖片處理方 法。
【背景技術(shù)】
[0002] 隨著數(shù)字?jǐn)z影設(shè)備的普及和發(fā)展，互聯(lián)網(wǎng)上的圖像數(shù)量迅速膨脹。如何從海量圖 像數(shù)據(jù)中，高效快速地檢索出用戶感興趣的圖片變得尤為重要，這一課題吸引著越來越多 學(xué)者的注意。同時，隨著圖像規(guī)模的增加，圖像檢索的難度也相應(yīng)增大，在要求較快檢索效 率的同時，也要求較高的檢索準(zhǔn)確率和盡可能低的存儲開銷。目前，多數(shù)前沿的圖像檢索系 統(tǒng)依賴于圖像的詞袋模型來實現(xiàn)系統(tǒng)的可擴(kuò)展性，最初的詞袋模型源于文本分類技術(shù)。在 信息檢索中，它假定對于一個文本，忽略其詞序和語法，將其僅僅看做是一個詞的集合，或 者說是詞的組合，文本中每個詞的出現(xiàn)都是獨立的，不依賴于其他詞是否出現(xiàn)，或者說這篇 文章的作者在任意一個位置選擇詞匯都是不受前面句子的影響而獨立選擇的。圖像可以視 為一種文檔對象，圖像中不同的局部區(qū)域或其特征可看做構(gòu)成圖像的詞匯，其中相近的區(qū) 域或其特征可以視為一個詞，如此就能夠把文本檢索的方法用到圖像檢索中。
[0003] 圖像檢索模型仿照文本檢索領(lǐng)域的詞袋模型方法，把每幅圖像描述為一個局部區(qū) 域關(guān)鍵點特征的無序集合，使用某種聚類算法將局部特征進(jìn)行聚類，每個聚類中心被看做 是字典中的一個視覺詞匯，相當(dāng)于文本檢索中的詞，視覺詞匯由聚類中心對應(yīng)特征形成的 碼字來表示。所有視覺詞匯形成一個視覺字典，對應(yīng)一個碼書，即碼字的集合，字典中所含 的個數(shù)反映了字典的大小。圖像中的每個特征都將被映射到視覺字典的某個詞上，這種映 射通過計算特征間的距離去實現(xiàn)，通過建立倒排索引表實現(xiàn)圖像檢索。
[0004] 同時，由上述可以發(fā)現(xiàn)，用于圖像檢索的詞袋模型也面臨兩個重要的局限性：第 一，字典大小的選擇，字典太大，單詞缺乏一般性，對噪聲敏感，計算量大，倒排索引表過大； 字典太小，單詞區(qū)分性能差，對相似的目標(biāo)特征無法表示。第二，將圖像表示成一個無序的 局部特征集，這種表示方法丟掉了所有的關(guān)于空間特征布局的信息，在描述性上具有一個 的有限性。本發(fā)明提出了基于超像素的圖像檢索方案，在傳統(tǒng)詞袋模型的基礎(chǔ)上，補(bǔ)充圖像 的空間信息，提高檢索的精確度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明旨在保證檢索效率和不增加存儲開銷的如提下，提尚圖像檢索的精確度， 為此提出一種結(jié)合傳統(tǒng)詞袋模型和基于內(nèi)容的圖像分割方案，通過圖像分割技術(shù)對傳統(tǒng)的 詞袋模型補(bǔ)充空間約束信息，提高檢索準(zhǔn)確率。
[0006] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是一種融合空間約束信息的圖像檢索 方法，該方法包括：
[0007] 步驟1:應(yīng)用一個獨立圖片數(shù)據(jù)集(如:Flickr60kdataset)，提取獨立數(shù)據(jù)集中每 張圖片的SIFT特征，得到一個特征集合，隨機(jī)選取部分SIFT特征點，對特征集合進(jìn)行K- means聚類，得到Μ個聚類中心，即得到一個包括Μ個視覺單詞的視覺字典；
[0008] 步驟2:對測試數(shù)據(jù)圖片集(如:Holidays)中每一張圖片，對每一張圖片進(jìn)行區(qū)域 劃分并編號；
[0009] 步驟3:對經(jīng)步驟2處理的每張圖片，提取SIFT特征，同時存儲每一個SIFT特征所在 局部區(qū)域編號，作為圖像空間的約束信息；
[0010]步驟4:將步驟3獲得SIFT特征及各特征的局部區(qū)域編號，根據(jù)步驟1得到視覺字典 建立倒排索引表；
[0011] 步驟5:對圖片進(jìn)行匹配時，首先按照步驟2相同的方法對獲得圖片進(jìn)行區(qū)域劃分， 然后提取圖片的SIFT特征，并記錄各SIFT特征的局部區(qū)域編號，然后根據(jù)該信息在步驟4獲 得的倒排索引表中進(jìn)行匹配查找，獲得相似圖像。
[0012] 進(jìn)一步的，所述步驟2中采用均等分割方法或基于內(nèi)容的圖像分割方法將每一張 圖片進(jìn)行分割，并對各區(qū)域編號。
[0013] 進(jìn)一步的，步驟4的具體方法為將步驟2中所述的測試圖像集中每張圖片的每個 SFIT特征量化到步驟1中得到的視覺字典的一個單詞，通過倒排表將測試圖像集中所有圖 片的信息存儲到起來以方便查詢；其中倒排表中每個節(jié)點存儲的信息包括圖片的編號，該 SFIT特征的頻率，該SIFT特征所屬的區(qū)域號。
[0014] 進(jìn)一步的，所述步驟5的具體方法為提取查詢圖片的SIFT特征，將查詢圖片的SIFT 特征量化到步驟1中得到的視覺字典，通過查找倒排表計算查詢圖片和測試數(shù)據(jù)集中每張 圖片的相似度，其中，設(shè)定圖片中某個SIFT特征和測試圖像集中圖片SIFT特征匹配的條件 是:量化到同一個視覺單詞且具有相同的區(qū)域編號。
[0015] 本發(fā)明的有益效果是：
[0016] 本發(fā)明結(jié)合了傳統(tǒng)的用于圖像檢索的詞袋模型和基于內(nèi)容的圖像分割技術(shù)的優(yōu) 勢，提出了一種增加空間約束信息來提高圖像檢索模型準(zhǔn)確率的處理方案。本發(fā)明具有以 下優(yōu)點：
[0017] 1、本發(fā)明提出的用于圖像檢索的模型總體上是基于特征空間的，同時融入基于圖 像空間的圖像分割技術(shù)，通過補(bǔ)充空間約束信息，進(jìn)一步提高圖像檢索的準(zhǔn)確率。
[0018] 2、本發(fā)明提出的檢索方案在提高檢索精確度的同時，保證了檢索效率和存儲開 銷。在計算相似性的時候，只需要在詞袋模型的基礎(chǔ)上增加簡單的與或操作，同樣，存儲的 時候，只需幾個bit的開銷。
【附圖說明】
[0019] 圖1為采用均等劃分方案對圖像處理示意圖，這里取劃分尺度1 = 3;
[0020] 圖2為采用局域內(nèi)容的圖像分割技術(shù)對圖像處理示意圖；
[0021] 圖3為本檢索方案所構(gòu)建的倒排索引表；
[0022]圖4為本檢索方案的整理框架圖。 具體實施方案
[0023] 步驟一:在獨立數(shù)據(jù)集上訓(xùn)練，得到視覺字典：
[0024] 從Flickr(-個用來共享圖片的網(wǎng)站)上隨機(jī)的下載一萬張圖片，組成訓(xùn)練數(shù)據(jù)集 Image-T，提取Image-T中每一張圖片的SIFT特征，得到特征集合
[0025] S=[si,s2, . . .,SN],SeRDXN
[0026] 其中N為特征集合S中SIFT特征個數(shù)，D為每個SIFT的維數(shù)。對SIFT特征集合S進(jìn)行 K-means聚類，得到一個大小為K的視覺字典V=[vi，v2,. . .，vk]，V￡Rdxk，
[0027] 其中K是字典V中聚類中心的數(shù)目，D所述聚類中心的維數(shù)。
[0028] 步驟二:對測試數(shù)據(jù)集中每一張圖片進(jìn)行預(yù)處理，采取兩種方案：
[0029]假設(shè)數(shù)據(jù)集中含有N張圖片，以其中一張圖片i為例，采取下面其中一種方案進(jìn)行 預(yù)處理：
[0030] 方案一：以尺度1對圖片i進(jìn)行均等劃分得到Six〗1個塊，根據(jù)需要可對1取不同的 值，依次編號為1，2, ...，21X21，提取每一個塊的SIFT特征，同時記錄每一個SIFT特征所在 塊的編號作為描述符的補(bǔ)充信息，將所有塊的SIFT特征整合到一起得到圖片i的描述信息。
[0031] 方案二:采用基于內(nèi)容的分割方案將圖片i分成Μ個區(qū)域，依次編號為1，2，···，M，提 取每一個域的SIFT特征，同時記錄每一個SIFT特征所在域的編號作為描述符的補(bǔ)充信息， 將所有塊的SIFT特征整合到一起得到圖片i的描述信息。
[0032]對N張圖片采取和圖片i相同的預(yù)處理方案，得到每一張圖片的SIFT特征表示。 [0033]步驟三:建立倒排索引表
[0034]根據(jù)步驟一得到的視覺字典V，對步驟二中N張圖片的SIFT特征建立倒排索引表， 傳統(tǒng)的倒排索引表存儲的圖像標(biāo)號和特征頻率等信息，我們的方法在此基礎(chǔ)上增加了特征 所屬區(qū)域編號，補(bǔ)充的圖像空間的約束信息。
[0035] 步驟四：特征匹配
[0036] 根據(jù)步驟三中得到的倒排索引表進(jìn)行圖像查詢，根據(jù)特征匹配數(shù)目得到兩張圖片 的相似值。兩個局部SIFT特征x，y匹配成功的條件是:特征X和特征y量化到同一個視覺單詞 V，且特征X和特征y所屬的區(qū)域編號相同。具體匹配函數(shù)為：
[0037]
[0038]步驟五：圖像檢索
[0039] 根據(jù)步驟四中特征匹配方案，將查詢圖像中每一個SIFT特征和倒排索引表中所有 特征匹配，如果匹配成功，則更新該查詢圖片q與數(shù)據(jù)集中相應(yīng)圖片d的相似值，相似值函數(shù) 為：
[0040]
[0041] 對查詢圖像與數(shù)據(jù)集中每張圖片的相似值進(jìn)行排序，根據(jù)需要返回前K張與查詢 相似的圖片。
【主權(quán)項】
1. 一種融合空間約束信息的圖像檢索方法，該方法包括： 步驟1:應(yīng)用一個獨立圖片數(shù)據(jù)集，提取獨立數(shù)據(jù)集中每張圖片的SIFT特征，得到一個 特征集合，隨機(jī)選取部分SIFT特征點，對特征集合進(jìn)行K-means聚類，得到Μ個聚類中心，BP 得到一個包括Μ個視覺單詞的視覺字典； 步驟2:對測試數(shù)據(jù)圖片集中每一張圖片，對每一張圖片進(jìn)行區(qū)域劃分并編號； 步驟3:對經(jīng)步驟2處理的每張圖片，提取SIFT特征，同時存儲每一個SIFT特征所在局部 區(qū)域編號； 步驟4:將步驟3獲得SIFT特征及各特征的局部區(qū)域編號，根據(jù)步驟1得到視覺字典建立 倒排索引表； 步驟5:對圖片進(jìn)行匹配時，首先按照步驟2相同的方法對獲得圖片進(jìn)行區(qū)域劃分，然后 提取圖片的SIFT特征，并記錄各SIFT特征的局部區(qū)域編號，然后根據(jù)該信息在步驟4獲得的 倒排索引表中進(jìn)行匹配查找，獲得相似圖像。2. 如權(quán)利要求1所述的一種融合空間約束信息的圖像檢索方法，其特征在于所述步驟2 中采用均等分割方法或基于內(nèi)容的圖像分割方法將每一張圖片進(jìn)行分割，并對各區(qū)域編 號。3. 如權(quán)利要求1所述的一種融合空間約束信息的圖像檢索方法，其特征在于步驟4的具 體方法為將步驟2中所述的測試圖像集中每張圖片的每個SFIT特征量化到步驟1中得到的 視覺字典的一個單詞，通過倒排表將測試圖像集中所有圖片的信息存儲到起來以方便查 詢;其中倒排表中每個節(jié)點存儲的信息包括圖片的編號，該SFIT特征的頻率，該SIFT特征所 屬的區(qū)域號。4. 如權(quán)利要求1所述的一種融合空間約束信息的圖像檢索方法，其特征在于所述步驟5 的具體方法為提取查詢圖片的SIFT特征，將查詢圖片的SIFT特征量化到步驟1中得到的視 覺字典，通過查找倒排表計算查詢圖片和測試數(shù)據(jù)集中每張圖片的相似度，其中，設(shè)定圖片 中某個SIFT特征和測試圖像集中圖片SIFT特征匹配的條件是:量化到同一個視覺單詞且具 有相同的區(qū)域編號。
【專利摘要】該發(fā)明公開了一種融合空間約束信息的圖像檢索方法，屬于模式識別與信息處理技術(shù)領(lǐng)域，涉及計算機(jī)視覺方面的圖片處理方法。本發(fā)明提出了基于超像素的圖像檢索方案，在傳統(tǒng)詞袋模型的基礎(chǔ)上，補(bǔ)充圖像的空間信息，用基于特征空間的圖像檢索模型，同時融入基于圖像空間的圖像分割技術(shù)，通過補(bǔ)充空間約束信息，提高圖像檢索的準(zhǔn)確率；提出的檢索方案在提高檢索精確度的同時，保證了檢索效率和存儲開銷。
【IPC分類】G06F17/30
【公開號】CN105426533
【申請?zhí)枴緾N201510955359
【發(fā)明人】董樂, 張寧
【申請人】電子科技大學(xué)
【公開日】2016年3月23日
【申請日】2015年12月17日