一種基于內(nèi)容檢索相同或相似圖像的方法與系統(tǒng)的制作方法
【技術領域】
[0001]本發(fā)明涉及計算機技術領域，特別地涉及一種基于內(nèi)容檢索相同或相似圖像的方法與系統(tǒng)。
【背景技術】
[0002]常規(guī)的圖像檢索，是通過輸入關鍵詞的形式搜索到互聯(lián)網(wǎng)上相關的圖片資源，查找出自己所需要的特定圖片。但是對于某個特定的圖像特征，通常又有多種不同的表達方法。由于人們主觀認識上的千差萬別，對于某個特征并不存在一個所謂的最佳的表達方式，這樣在進行圖像檢索時就會出現(xiàn)檢索精度低，甚至檢索不到需要的圖片的情況。因此，基于內(nèi)容的圖像檢索使用越來越多。
[0003]基于內(nèi)容的圖像檢索為從大量圖像中檢索出特定內(nèi)容的圖像提供了有效的方法，一般使用一些特征提取的方法提取出圖像的特征，然后再檢索比較?，F(xiàn)有的圖片搜索引擎在進行相似圖片搜索時，主要有如下兩種方式:
[0004]1、根據(jù)輸入的關鍵字，在搜索結果中挑選一張圖片，再根據(jù)這張圖片的特點來進行搜索，例如:Xcavator、Live, com、Picitup等，其中，圖片的特點主要指色彩、形狀等方面的特征；
[0005]2、通過上傳本地圖片或輸入網(wǎng)絡圖片的URL地址，自動分析圖像中的元數(shù)據(jù)，作為搜索的關鍵數(shù)據(jù)，例如，顏色、形狀、主題風格等，取出多個像素點，提取特征值，尋找相似的圖片，例如:百度識圖、Gazopa、Byo image search等。
[0006]由上述可知，現(xiàn)有的基于內(nèi)容的圖像檢索主要是根據(jù)圖像的顏色、形狀、主題風格等特征，取多個像素點提取特征值以尋找相似的圖片。然而，通常情況下，不同的特征提取方法對提取出來的結果影響甚大；對于檢索響應時間，會隨著圖像數(shù)量的增多而逐漸拉長。且現(xiàn)有的大部分圖像識別產(chǎn)品，針對性是全網(wǎng)搜索的圖片，對特定領域的相同或相似圖像檢索精度并沒有那么高。
[0007]因此，需要一種針對特定領域的相同或相似圖像類實時檢索的方法和系統(tǒng)。由于從海量的高維數(shù)據(jù)集合中找到相似數(shù)據(jù)計算復雜度非常高，因此對需要實時查詢的系統(tǒng)而言，方案幾乎不可取。但是，如果能把特征維度降低一個量級，然后對特征建立索引，那么通過查詢請求即可做到類實時查詢。

【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明提供一種基于內(nèi)容檢索相同或相似圖像的方法與系統(tǒng)，通過對圖像進行特征向量提取，并對提取的圖像特征向量降維及建立索引，以搭建小規(guī)模的數(shù)據(jù)集群即能滿足類實時搜索相同或相似圖像，檢索精度高、時間短。
[0009]為實現(xiàn)上述目的，本發(fā)明提供以下技術方案:利用卷積神經(jīng)網(wǎng)絡模型提取圖像的高層特征向量，根據(jù)特征向量維度大小利用降維方法選擇最優(yōu)參數(shù)進行特征向量降維，降維后的特征向量插入實時檢索集群，對于要查詢的圖像，用上述步驟提取降維后的特征向量，在實時檢索集群中采用漢明距離進行相似度量，根據(jù)計算出來的分數(shù)得到相同或相似圖像。
[0010]根據(jù)本發(fā)明的一個方面，提供了一種基于內(nèi)容檢索相同或相似圖像的方法。
[0011]本發(fā)明的一種基于內(nèi)容檢索相同或相似圖像的方法，包括:對圖像進行去重處理后，利用卷積神經(jīng)網(wǎng)絡模型提取所述圖像的特定層的全連接特征向量；對提取的所述特定層的全連接特征向量進行降維，并將降維后的特征向量與所述圖像的標識符及屬性信息相關聯(lián)；將降維后的特征向量及圖像的標識符在分布式的檢索集群中建立索引，并批量插入所述圖像的數(shù)據(jù)信息，其中所述數(shù)據(jù)信息包括所述降維后的特征向量、所述圖像的標識符及屬性信息；通過對所述降維后的特征向量在所述分布式的檢索集群中進行相似度量，將滿足預定閾值的圖像確定為相同或相似圖像。
[0012]可選地，將降維后的特征向量及圖像的標識符在分布式的檢索集群中建立索引的步驟包括:對降維后的特征向量的每一項都采用整數(shù)建立索引；對圖像的標識符采用不分詞的方式直接建立索引。
[0013]可選地，將降維后的特征向量及圖像的標識符在分布式的檢索集群中建立索引的步驟之后，還包括:將圖像的屬性信息只進行存儲而不建立索引。
[0014]可選地，批量插入所述圖像的數(shù)據(jù)信息包括:按照圖像類型批量插入所述圖像的數(shù)據(jù)信息。
[0015]可選地，所述索引為倒排索引。
[0016]可選地，對所述降維后的特征向量在所述分布式的檢索集群中進行相似度量包括:計算所述降維后的特征向量與所述分布式的檢索集群中的特征向量之間的漢明距離。
[0017]可選地，對所述降維后的特征向量在所述分布式的檢索集群進行相似度量的步驟包括:將降維后的特征向量的每一個維度的權重設為同一整數(shù)，并與所述分布式的檢索集群中的特征向量進行比較，以計算漢明距離得分；所述得分在所述預定閾值之上的圖像認為是所要查詢圖像的相同圖像，否則為所要查詢圖像的相似圖像。
[0018]可選地，所述權重是1，并且所述預定閾值為降維后特征向量維度的95%。
[0019]根據(jù)本發(fā)明的另一方面，提供了一種基于內(nèi)容檢索相同或相似圖像的系統(tǒng)。
[0020]本發(fā)明的一種基于內(nèi)容檢索相同或相似圖像的系統(tǒng)，包括:特征提取模塊，用于對圖像進行去重處理后，利用卷積神經(jīng)網(wǎng)絡模型提取圖像的特定層的全連接特征向量；特征降維模塊，用于對提取的所述特定層的全連接特征向量進行降維，并將降維后的特征向量與所述圖像的標識符及屬性信息相關聯(lián)；特征入庫模塊，用于將降維后的特征向量及圖像的標識符在分布式的檢索集群中建立索引，并批量插入所述圖像的數(shù)據(jù)信息，其中所述數(shù)據(jù)信息包括所述降維后的特征向量、所述圖像的標識符及屬性信息；特征查詢模塊，用于通過對所述降維后的特征向量在所述分布式的檢索集群中進行相似度量，將滿足預定閾值的圖像確定為相同或相似圖像。
[0021]可選地，所述特征入庫模塊還用于:對降維后的特征向量的每一項都采用整數(shù)建立索引；對圖像的標識符采用不分詞的方式直接建立索引。
[0022]可選地，所述特征入庫模塊在將降維后的特征向量及圖像的標識符在分布式的檢索集群中建立索引之后，還用于:將圖像的屬性信息只進行存儲而不建立索引。
[0023]可選地，所述特征入庫模塊還用于:按照圖像類型批量插入所述圖像的數(shù)據(jù)信息。
[0024]可選地，所述索引為倒排索引。
[0025]可選地，所述特征查詢模塊還用于:計算所述降維后的特征向量與所述分布式的檢索集群中的特征向量之間的漢明距離。
[0026]可選地，所述特征查詢模塊還用于:將降維后的特征向量的每一個維度權重設為同一整數(shù)，并與所述分布式的檢索集群中的數(shù)據(jù)進行比較，以計算漢明距離得分；所述得分在預定閾值之上的圖像認為是所要查詢圖像的相同圖像，否則為所要查詢圖像的相似圖像。
[0027]可選地，所述權重是1，并且所述預定閾值為降維后特征向量維度的95%。
[0028]根據(jù)本發(fā)明的技術方案，通過對圖像進行全連接特征向量提取，并對提取的圖像特征向量降維及建立索引，以搭建小規(guī)模的數(shù)據(jù)集群即能滿足類實時搜索相同或相似圖像，檢索精度尚、時間短，從而提尚了檢索效率，提尚了用戶體驗度。
【附圖說明】
[0029]附圖用于更好地理解本發(fā)明，不構成對本發(fā)明的不當限定。其中:
[0030]圖1是根據(jù)本發(fā)明實施例的一種基于內(nèi)容檢索相同或相似圖像的方法的主要步驟示意圖；
[0031]圖2是根據(jù)本發(fā)明實施例的一種基于內(nèi)容檢索相同或相似圖像的系統(tǒng)的主要模塊不意圖。
【具體實施方式】
[0032]以下結合附圖對本發(fā)明的示范性實施例做出說明，其中包括本發(fā)明實施例的各種細節(jié)以助于理解，應當將它們認為僅僅是示范性的。因此，本領域普通技術人員應當認識到，可以對這里描述的實施例做出各種改變和修改，而不會背離本發(fā)明的范圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對公知功能和結構的描述。
[0033]圖1是根據(jù)本發(fā)明實施例的一種基于內(nèi)容檢索相同或相似圖像的方法的主要步驟示意圖。如圖1所示，本發(fā)明的一種基于內(nèi)容檢索相同或相似圖像的方法包括步驟Sll至步驟S14。
[0034]步驟Sll:對圖像進行去重處理后，利用卷積神經(jīng)網(wǎng)絡模型提取所述圖像的特定層的全連接特征向量。對圖像進行去重的方法可根據(jù)需要進行選擇，例如可選擇常見的用于處理高維向量的索引辦法局部敏感哈希LSH，或者其相應的各種衍生算法等。對圖像進行去重處理，可以避免增加不必要的工作量，從而提高檢索效率。
[0035]之后，對去重處理后的圖像利用卷積神經(jīng)網(wǎng)絡模型，通過圖形處理器GPU進行特征流式提取，得到圖像的特定層的全連接特征向量。此處，根據(jù)所選取的卷積神經(jīng)網(wǎng)絡模型的參數(shù)及去重方法，提取相應層的全連接特征向量。得到的圖像高層特征向量將被推送至特征降維模塊進行處理。
[0036]步驟S12:對提取的所述特定層的全連接特征向量進行降維，并將降維后的特征向量與所述圖像的標識符及屬性信息相關聯(lián)。在對步驟Sll中提取的高層全連接特征向量進行降維時，可根據(jù)需要選擇合適的降維方法或者多種降維方法融合。例如，可以選擇PCA、SPCA、GHA等降維方法，也可選擇它們的融合等，并通過交叉驗證等手段調(diào)節(jié)降維方法的參數(shù)以得到良好的效果，使得滿足要求的同時還可以保持良好的度量距離。例如，提取到的高層特征向量為5000維，為了提高檢索效率，現(xiàn)將該特征向量降維處理到500維，為了使信息損失量盡量減小，需要對降維方法的參數(shù)進行交叉驗證并調(diào)整。降維后的特征向量每一維度設為整數(shù)，計算度量距離時可以命中個數(shù)進行度量，以與搜索引擎的原理布爾查詢結果分數(shù)一致，有利于建立實時索引。
[0037]將特征向量進行降維處理后，把圖像的標識符和屬性信息與降維后的圖像特征進行關聯(lián)，得到圖像降維后的特征向量與標識符和屬性信息相對應的關系數(shù)據(jù)，以便于進行查詢及結果顯示。
[0038]步驟S13:將降維后的特征向量及圖像的標識符在分布式的檢索集群中建立索弓丨，并批量插入所述圖像的數(shù)據(jù)信息，其中所述數(shù)據(jù)信息包括所述降維后的特征向量、所述圖像的標識符及屬性信息。在分布式的檢索集群中建立索引字段信息時