一種融合空間信息的圖像特征聚合表示方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種融合空間信息的圖像特征聚合表示方法及系統(tǒng)，該方法包括：對每幅圖像提取局部特征，并對所述局部特征的集合進(jìn)行聚類得到視覺單詞；將每幅圖像在空間上劃分為多層，使每一層被劃分為若干個子區(qū)域，聚合每一層屬于同一子區(qū)域的所述局部特征與對應(yīng)的所述視覺單詞的殘差信息從而生成局部聚合描述子特征向量，然后對該特征向量做歸一化處理；計算兩幅圖像的每一層的所述局部聚合描述子特征向量集的內(nèi)積乘以對應(yīng)的所述權(quán)重后進(jìn)行累加來計算兩幅圖像的相似度。由此，降低誤匹配，進(jìn)一步提高圖像檢索精度。
【專利說明】一種融合空間信息的圖像特征聚合表示方法及系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于多媒體檢索領(lǐng)域，特別涉及一種融合空間信息的圖像特征聚合表示方 法及系統(tǒng)。

【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的飛速發(fā)展，人們面臨的問題不再是缺乏多媒體信息， 而是如何找到自己真正所需要的信息。傳統(tǒng)的圖像檢索是基于文本的圖像檢索，其典型框 架是首先對圖像用文本進(jìn)行注解，然后用基于文本的數(shù)據(jù)庫管理系統(tǒng)進(jìn)行圖像的檢索，檢 索操作是基于該圖像的文本描述進(jìn)行精確匹配或概率匹配。然而，文本注解工作基本上都 是人工進(jìn)行的，而人工標(biāo)注往往具有主觀性、不完整性和不準(zhǔn)確性，于是基于內(nèi)容的圖像檢 索技術(shù)應(yīng)運(yùn)而生，其主要思路是：從圖像中分析提取底層視覺特征，利用這些特征來描述每 一幅圖像，并以此衡量圖像之間的相似程度以實現(xiàn)基于內(nèi)容的檢索。
[0003] 現(xiàn)有的圖像特征主要分為局部特征和全局特征兩大類。局部特征因其局部性而 對遮擋、重疊等情況具備良好的魯棒性，但計算復(fù)雜度和空間復(fù)雜度都較高；全局特征提 取速度快，存儲占用少，但對插入logo,內(nèi)容裁剪等變換魯棒性不足。所以局部特征和全 局特征都有各自的優(yōu)點，從而近些年，結(jié)合全局特征和局部特征的方法引起了廣泛研究， 如：BoW(Bag-of-Words), VLAD (Vector of Locally Aggregated Descriptors)和 Fisher Vector,這類方法都是通過聚合一部分局部特征的統(tǒng)計信息來生成最終的全局特征。針對 每幅圖片，BoW首先提取局部特征（如SIFT)，然后把這些局部特征聚類到視覺單詞，并統(tǒng) 計屬于每個視覺單詞的特征個數(shù)，從而形成全局的特征向量。但BoW只統(tǒng)計了每個視覺單 詞的出現(xiàn)次數(shù)，所以在區(qū)分性上存在局限性。為了進(jìn)一步提高檢索精度，Jegou等人提出了 VLAD (局部聚合描述子），也是一種圖像特征聚合表示方法。與BoW不同的是，該算法并不 統(tǒng)計視覺單詞的詞頻信息，而是通過聚合局部特征與局部特征對應(yīng)的視覺單詞的殘差信息 來形成最終的全局特征，所以VLAD更具區(qū)分性，對裁剪、插入logo有更強(qiáng)的魯棒性。
[0004] 但是VLAD沒有考慮局部特征的其他信息，如：主方向，空間信息等。由于VLAD是 全局特征，而空間信息是具體到某個局部特征的，所以將局部特征的空間信息融入到最終 生成的全局特征中是比較困難的。


【發(fā)明內(nèi)容】

[0005] 為了解決上述問題，本發(fā)明的目的在于，提供一種融合空間信息的圖像特征聚合 表示方法及系統(tǒng)，其能夠克服上述現(xiàn)有技術(shù)沒有融入局部特征空間信息的問題，降低誤匹 配，進(jìn)一步提1?圖像檢索精度。
[0006] 本發(fā)明提出一種融合空間信息的圖像特征聚合表示方法，該方法包括：
[0007] 局部特征提取步驟，對于圖像庫中的每幅圖像分別提取其局部特征，并對所述局 部特征的集合進(jìn)行聚類，將聚類中心作為視覺單詞；
[0008] 特征表示步驟，將每幅圖像在空間上劃分為多層，使每一層被劃分為若干個子區(qū) 域，并通過將每一層屬于同一個子區(qū)域的所述局部特征量化為對應(yīng)的所述視覺單詞并聚合 所述局部特征與對應(yīng)的所述視覺單詞的殘差信息的方式生成局部聚合描述子特征向量；然 后對該局部聚合描述子特征向量進(jìn)行歸一化處理；
[0009] 圖像匹配步驟，為所述圖像的每一層賦予權(quán)重，通過將兩幅圖像的每一層的所述 局部聚合描述子特征向量集的內(nèi)積乘以對應(yīng)的所述權(quán)重后進(jìn)行累加來計算兩幅圖像的相 似度。
[0010] 本發(fā)明所提出的融合空間信息的圖像特征聚合表示方法，其中，在所述特征表示 步驟中，對所述圖像進(jìn)行區(qū)域劃分的方法為：
[0011] 使第1層沿圖像的縱向和橫向等間隔劃分為zixz1個子區(qū)域。
[0012] 本發(fā)明所提出的融合空間信息的圖像特征聚合表示方法，其中，在所述特征表示 步驟中，所述生成局部聚合描述子特征向量的步驟具體為：
[0013] 局部特征量化步驟，將子區(qū)域內(nèi)的每個局部特征量化到對應(yīng)的視覺單詞μ i，
[0014]
[0015]

【權(quán)利要求】
1. 一種融合空間信息的圖像特征聚合表示方法，其特征在于，該方法包括： 局部特征提取步驟，對于圖像庫中的每幅圖像分別提取其局部特征，并對所述局部特 征的集合進(jìn)行聚類，將聚類中心作為視覺單詞； 特征表示步驟，將每幅圖像在空間上劃分為多層，使每一層被劃分為若干個子區(qū)域，并 通過將每一層屬于同一個子區(qū)域的所述局部特征量化為對應(yīng)的所述視覺單詞并聚合所述 局部特征與對應(yīng)的所述視覺單詞的殘差信息的方式生成局部聚合描述子特征向量；然后對 該局部聚合描述子特征向量進(jìn)行歸一化處理； 圖像匹配步驟，為所述圖像的每一層賦予權(quán)重，通過將兩幅圖像的每一層的所述局部 聚合描述子特征向量的內(nèi)積乘以對應(yīng)的所述權(quán)重后進(jìn)行累加來計算兩幅圖像的相似度。
2. 根據(jù)權(quán)利要求1所述的融合空間信息的圖像特征聚合表示方法，其特征在于，在所 述特征表示步驟中，對所述圖像進(jìn)行區(qū)域劃分的方法為： 使第1層沿圖像的縱向和橫向等間隔劃分為2X21個子區(qū)域。
3. 根據(jù)權(quán)利要求1所述的融合空間信息的圖像特征聚合表示方法，其特征在于，在所 述特征表示步驟中，所述生成局部聚合描述子特征向量的步驟具體為： 局部特征量化步驟，將子區(qū)域內(nèi)的每個局部特征量化到對應(yīng)的視覺單詞μ i，
其中I I. I 12表示L2范數(shù)，q(x)為量化函數(shù)，x表示局部特征，C代表所述視覺單詞的集 合，Rf/表示d維的實空間； 殘差信息統(tǒng)計步驟，統(tǒng)計局部特征與其對應(yīng)視覺單詞的殘差信息，
其中xinc表示局部特征X的位置在子區(qū)域c中，X :q(x) = μ i表示局部特征X被量 化到第i個視覺單詞μ i，i表示視覺單詞的序號。
4. 根據(jù)權(quán)利要求1所述的融合空間信息的圖像特征聚合表示方法，其特征在于，在所 述特征表示步驟中，對該局部聚合描述子特征向量進(jìn)行歸一化處理的具體過程包括： L2范數(shù)計算步驟，計算第0層特征向量，的!^范數(shù)| |V°| |2， 特征向量歸一化步驟，對每個子區(qū)域的特征向量進(jìn)行歸一化，
5. 根據(jù)權(quán)利要求1所述的融合空間信息的圖像特征聚合表示方法，其特征在于，在所 述圖像匹配步驟中，計算兩幅圖像的相似度的方法具體可形式化為：
其中，X和Y代表兩幅不同的圖像，L表示空間金字塔的總層數(shù)，V1 (X)和V1 (Y)是由第 1層的每個子區(qū)域的特征向量組合而構(gòu)成，表示第1層的權(quán)重，〈.，.> 表示計算內(nèi)積； 該相似度S的計算方法進(jìn)一步為：
其中，I*表示
6. -種融合空間信息的圖像特征聚合表示系統(tǒng)，其特征在于，該系統(tǒng)包括： 局部特征提取模塊，用于對于圖像庫中的每幅圖像分別提取其局部特征，并對所述局 部特征的集合進(jìn)行聚類，將聚類中心作為視覺單詞； 特征表示模塊，用于將每幅圖像在空間上劃分為多層，使每一層被劃分為若干個子區(qū) 域，并通過將每一層屬于同一個子區(qū)域的所述局部特征量化為對應(yīng)的所述視覺單詞并聚合 所述局部特征與對應(yīng)的所述視覺單詞的殘差信息的方式生成局部聚合描述子特征向量；然 后對該局部聚合描述子特征向量進(jìn)行歸一化處理； 圖像匹配模塊，用于為所述圖像的每一層賦予權(quán)重，通過將兩幅圖像的每一層的所述 局部聚合描述子特征向量集的內(nèi)積乘以對應(yīng)的所述權(quán)重后進(jìn)行累加來計算兩幅圖像的相 似度。
7. 根據(jù)權(quán)利要求6所述的融合空間信息的圖像特征聚合表示系統(tǒng)，其特征在于，在所 述特征表示模塊中，對所述圖像進(jìn)行區(qū)域劃分的方法為： 使第1層沿圖像的縱向和橫向等間隔劃分為ZiXZ1個子區(qū)域。
8. 根據(jù)權(quán)利要求6所述的融合空間信息的圖像特征聚合表示系統(tǒng)，其特征在于，在所 述特征表示模塊中，通過以下模塊生成所述局部聚合描述子特征向量： 局部特征量化模塊，用于將子區(qū)域內(nèi)的每個局部特征量化到對應(yīng)的視覺單詞μ i，
其中I I. I 12表示L2范數(shù)，q(x)為量化函數(shù)，x表示局部特征，C代表所述視覺單詞的集 合，表示d維的實空間； 殘差信息統(tǒng)計模塊，用于統(tǒng)計局部特征與其對應(yīng)視覺單詞的殘差信息，
其中xinc表示局部特征X的位置在子區(qū)域c中，X :q(x) = μ i表示局部特征X被量 化到第i個視覺單詞μ i，i表示視覺單詞的序號。
9. 根據(jù)權(quán)利要求6所述的融合空間信息的圖像特征聚合表示系統(tǒng)，其特征在于，在所 述特征表示模塊中，通過以下模塊對該局部聚合描述子特征向量進(jìn)行歸一化處理： L2范數(shù)計算模塊，用于計算第0層特征向量，的!^范數(shù)| |V°| |2， 特征向量歸一化模塊，用于對每個子區(qū)域的特征向量":進(jìn)行歸一化，
10. 根據(jù)權(quán)利要求6所述的融合空間信息的圖像特征聚合表示系統(tǒng)，其特征在于，在所 述圖像匹配模塊中，計算兩幅圖像的相似度的方法具體可形式化為：
其中，X和Y代表兩幅不同的圖像，νΗχ)和vYy)是由第1層的每個子區(qū)域的特征向 量組合而構(gòu)成，表示第1層的權(quán)重，〈.，.> 表示計算內(nèi)積； 1該相似度S的計算方法進(jìn)一步為：
【文檔編號】G06F17/30GK104216949SQ201410397368
【公開日】2014年12月17日 申請日期:2014年8月13日 優(yōu)先權(quán)日:2014年8月13日
【發(fā)明者】顧曉光, 周仁浩, 張勇東 申請人:中國科學(xué)院計算技術(shù)研究所