專利名稱：圖像檢索系統(tǒng)中的加速方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種計(jì)算機(jī)信息處理技術(shù)領(lǐng)域的方法，具體是一種圖像檢索系統(tǒng) 中的加速方法。
背景技術(shù)：
隨著Internet網(wǎng)絡(luò)和數(shù)碼采集設(shè)備的大規(guī)模普及，圖像數(shù)據(jù)在人們的生活中得 到了廣泛的應(yīng)用。越來(lái)越多的商業(yè)活動(dòng)、事務(wù)交易和信息表現(xiàn)中包含著大量的圖像數(shù)據(jù)。在 大規(guī)模圖像數(shù)據(jù)庫(kù)中，如何按照需求有效地去組織和查找這些圖像數(shù)據(jù)成為人們關(guān)注的熱 點(diǎn)問(wèn)題。圖像檢索技術(shù)是指根據(jù)查詢圖像內(nèi)容信息或指定查詢標(biāo)準(zhǔn)，在標(biāo)準(zhǔn)圖像庫(kù)中進(jìn)行 搜索并查找出符合查詢條件的相應(yīng)圖像。圖像檢索技術(shù)一般分為基于文本的圖像檢索技術(shù) 和基于內(nèi)容的圖像檢索技術(shù)?；谖谋镜膱D像檢索技術(shù)，目前應(yīng)用比較普及，它沿用了傳 統(tǒng)文本檢索技術(shù)，回避了對(duì)圖像低層特征元素的分析，從圖像名稱、圖像尺寸、壓縮類型、作 者、年代等方面描述圖像，通過(guò)關(guān)鍵詞的形式查詢圖像，或者根據(jù)等級(jí)目錄的形式瀏覽查找 特定目錄下的圖像?；趦?nèi)容的圖像檢索技術(shù)，在給定查詢圖像的前提下，從圖像的顏色、 形狀、紋理等全局特征以及局部不變特征等方面來(lái)描述圖像，并通過(guò)對(duì)圖像特征進(jìn)行矢量 化處理，在標(biāo)準(zhǔn)圖像庫(kù)中進(jìn)行相似性搜索進(jìn)而查找出內(nèi)容相似的圖像?；趦?nèi)容的圖像檢索技術(shù)，早期大多采用顏色、紋理、形狀等全局特征進(jìn)行相似性 搜索，但是由于這些特征對(duì)于光照、遮擋以及幾何形變等不具有穩(wěn)健性，因此逐漸被DOG、 MSER、Harris等局部不變特征檢測(cè)方法所取代。目前基于內(nèi)容的圖像檢索技術(shù)，一般通過(guò) 特征檢測(cè)提取圖像特征，創(chuàng)建特征描述子，然后對(duì)特征描述子聚類創(chuàng)建視覺(jué)碼書(shū)，將圖像矢 量化，最后將圖像矢量在高維索引結(jié)構(gòu)中進(jìn)行相似性搜索，給出相關(guān)搜索結(jié)果。經(jīng)對(duì)現(xiàn)有技術(shù)的文獻(xiàn)檢索發(fā)現(xiàn)，已有以下與“圖像檢索系統(tǒng)中的加速方法” 相關(guān)的技術(shù)。Andrew Zisserman等在專利"Object Retrieval” (美國(guó)專利號(hào)為US 2005/0225678A1，
公開(kāi)日期為2005年12月13日)中提供了用戶在圖像中自定義目標(biāo)進(jìn)行 檢索的方法。其中在對(duì)特征描述子分類時(shí)使用了 K-Means聚類方法，在待檢索圖像矢量和 標(biāo)準(zhǔn)圖像矢量之間相似性查詢時(shí)使用了傳統(tǒng)的倒排索引方法。在大規(guī)模圖像庫(kù)中對(duì)所有特 征描述子使用K-Means聚類方法分類時(shí)，由于標(biāo)準(zhǔn)圖像庫(kù)中存在海量特征描述子，聚類中 心數(shù)目多，且聚類需要經(jīng)過(guò)多次迭代才能完成，從而造成了聚類過(guò)程計(jì)算時(shí)間長(zhǎng)，計(jì)算量大 的問(wèn)題。在標(biāo)準(zhǔn)圖像矢量中使用傳統(tǒng)倒排索引方法進(jìn)行相似性查詢時(shí)，由于標(biāo)準(zhǔn)圖像矢量 維數(shù)高，達(dá)到十萬(wàn)維以上，同樣造成了查詢實(shí)時(shí)性差的問(wèn)題。進(jìn)一步檢索發(fā)現(xiàn)，DavidNister等在專利“Scalable Object Recognition Using HierarchicalQuantization with a Vocabulary Tree”(美國(guó)專利號(hào)為:US7725484B2，公 開(kāi)日期為2010年5月25日)中提供了一種碼書(shū)樹(shù)，在K-Means聚類方法的基礎(chǔ)上引入了 分層的概念，與傳統(tǒng)K-Means聚類方法相比，聚類過(guò)程計(jì)算時(shí)間有所縮短，但是由于標(biāo)準(zhǔn)圖 像庫(kù)中存在海量描述子，聚類過(guò)程的計(jì)算量同樣很大，聚類時(shí)間過(guò)長(zhǎng)，同時(shí)由于采用了分層的方法，屬于同一類別的不同描述子往往會(huì)被劃分到不同的類別當(dāng)中，進(jìn)而造成了量化性 能較差。在待檢索圖像矢量和標(biāo)準(zhǔn)圖像矢量之間進(jìn)行相似性查詢同樣使用了傳統(tǒng)的倒排索 引方法，由于圖像矢量的維數(shù)沒(méi)有降低，且量化性能較差，從而造成了檢索準(zhǔn)確率較低，實(shí) 時(shí)性較差。

發(fā)明內(nèi)容
本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的上述不足，提供一種圖像檢索系統(tǒng)中的加速方法，通 過(guò)隨機(jī)采樣創(chuàng)建視覺(jué)碼書(shū)以及根據(jù)標(biāo)準(zhǔn)圖像矢量創(chuàng)建優(yōu)化倒排索引得以實(shí)現(xiàn)，能夠彌補(bǔ)現(xiàn) 有技術(shù)中聚類過(guò)程計(jì)算量大和計(jì)算時(shí)間長(zhǎng)的問(wèn)題，優(yōu)化倒排索引在保證檢索準(zhǔn)確率的情況 下，提高了相似性搜索的實(shí)時(shí)性。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明通過(guò)對(duì)標(biāo)準(zhǔn)圖像和待檢索圖像分別提 取特征描述子并生成視覺(jué)碼書(shū)，然后根據(jù)種子點(diǎn)集合創(chuàng)建隨機(jī)kd樹(shù)并對(duì)特征描述子進(jìn)行 分類，然后通過(guò)矢量化處理對(duì)倒排索引進(jìn)行優(yōu)化，最后將待檢索圖像矢量在優(yōu)化倒排索引 中進(jìn)行相似性搜索，實(shí)現(xiàn)圖像檢索系統(tǒng)的加速。所述的對(duì)標(biāo)準(zhǔn)圖像和待檢索圖像分別提取特征描述子是指對(duì)標(biāo)準(zhǔn)圖像和待檢索 圖像先采用高斯差分算子(Different of Gaussian, DOG)進(jìn)行特征點(diǎn)檢測(cè)，然后將每個(gè)高 其J 差分算子通過(guò)尺度不變描述子(Scale Invariant Feature Transformation, SIFT)進(jìn)行 描述。所述的通過(guò)尺度不變描述子進(jìn)行描述包括離線處理和實(shí)時(shí)處理兩個(gè)步驟，其中在離線處理中，對(duì)于標(biāo)準(zhǔn)圖像庫(kù)C = (I1, I2,…，In)中的圖像Ii(i = 1,2,…， 吣，通過(guò)5頂1~描述子表示為式.=化1乂,_-0，其中x丨(/ = 1,2,···,巧)是圖像Ii中的單個(gè)描 述子，維數(shù)為128維，η,是圖像Ii中SIFT描述子的個(gè)數(shù)。標(biāo)準(zhǔn)圖像庫(kù)中全部SIFT描述子
N
集合表示為S= (X1, X2,…，XN)，集合S中SIFT描述子的總數(shù)為
權(quán)利要求
1.一種圖像檢索系統(tǒng)中的加速方法，其特征在于，通過(guò)對(duì)標(biāo)準(zhǔn)圖像和待檢索圖像分別 采用高斯差分算子進(jìn)行特征點(diǎn)檢測(cè)，然后將每個(gè)高斯差分算子通過(guò)尺度不變描述子進(jìn)行描 述并創(chuàng)建視覺(jué)碼書(shū)，然后根據(jù)種子點(diǎn)集合創(chuàng)建隨機(jī)kd樹(shù)并對(duì)特征描述子進(jìn)行分類，接著進(jìn) 行矢量化處理并對(duì)倒排索引進(jìn)行優(yōu)化，最后將待檢索圖像矢量在優(yōu)化倒排索引中進(jìn)行相似 性搜索，實(shí)現(xiàn)圖像檢索系統(tǒng)的加速。
2.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的通過(guò)尺度不 變描述子進(jìn)行描述包括離線處理和實(shí)時(shí)處理兩個(gè)步驟，其中在離線處理中，對(duì)于標(biāo)準(zhǔn)圖像庫(kù)C= (I1, I2,…，In)中的圖像Ii,通過(guò)SIFT描述子表 示為式=(x丨乂，…乂‘)，其中x丨(/ = 1,2,…,乂/ = !,2,···,%)是圖像Ii中的單個(gè)描述子，維數(shù) 為128維，η,是圖像Ii中SIFT描述子的個(gè)數(shù)，標(biāo)準(zhǔn)圖像庫(kù)中全部SIFT描述子集合表示為S= (X1, X2,…，XN)，集合S中SIFT描述子的總數(shù)為在實(shí)時(shí)處理中，對(duì)于待檢索圖像Q，通過(guò)SIFT描述子T表示為T= (q1, q2,…，qm)，其 中qk(k = 1，2，…，m)是圖像Q中單個(gè)描述子，維數(shù)為128維，m是圖像Q中SIFT描述子 的個(gè)數(shù)。
3.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的創(chuàng)建視覺(jué) 碼書(shū)是指對(duì)標(biāo)準(zhǔn)圖像庫(kù)中的特征描述子進(jìn)行隨機(jī)采樣并創(chuàng)建視覺(jué)碼書(shū)，具體步驟為對(duì) SIFT描述子集合S隨機(jī)采樣，提取部分SIFT描述子作為種子點(diǎn)集合D，D = (Yl,y2,…，yz)， 其中集合D中種子點(diǎn)的數(shù)量為z，每個(gè)種子點(diǎn)為= 1,2,…，ζ)；然后對(duì)SIFT描述子 集合S進(jìn)行分類，種子點(diǎn)決定了將與其相似的SIFT描述子劃分到種子點(diǎn)對(duì)應(yīng)的類別 中，種子點(diǎn)的數(shù)量ζ即為類別的數(shù)量，種子點(diǎn)集合D為標(biāo)準(zhǔn)圖像Ii量化需要的視覺(jué)碼書(shū)。
4.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的創(chuàng)建隨機(jī)kd 樹(shù)是指通過(guò)自上而下的迭代過(guò)程，每次迭代都以每個(gè)節(jié)點(diǎn)在多個(gè)較大方差值對(duì)應(yīng)的維數(shù) 中隨機(jī)選擇且節(jié)點(diǎn)的分割閾值在對(duì)應(yīng)維數(shù)靠近中值的元素中隨機(jī)選擇為原則進(jìn)行節(jié)點(diǎn)的 創(chuàng)建。
5.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的對(duì)特征描述 子進(jìn)行分類是指根據(jù)節(jié)點(diǎn)閾值將種子點(diǎn)集合D中的每個(gè)種子點(diǎn)~劃分到不同的空間，具 體步驟為使用單一最優(yōu)查詢方法對(duì)SIFT描述子在多棵隨機(jī)kd樹(shù)中進(jìn)行搜索以找到對(duì)應(yīng) 種子點(diǎn)&，將最相似的種子點(diǎn)查找并存放在單一最優(yōu)序列當(dāng)中，當(dāng)查詢路徑達(dá)到一定數(shù)目 時(shí)停止搜索，則查詢到種子點(diǎn)對(duì)應(yīng)的類別即為SIFT描述子應(yīng)該劃分的類別。
6.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的矢量化處理 是指采用種子頻率-倒圖像頻率方法分別對(duì)標(biāo)準(zhǔn)圖像和待檢索圖像矢量化，然后對(duì)標(biāo)準(zhǔn) 圖像矢量和待檢索圖像矢量非零元素的位置指數(shù)和進(jìn)行計(jì)算。
7.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的圖像矢量化 包括離線處理和實(shí)時(shí)處理，其中圖像矢量化的離線處理步驟包括1)對(duì)標(biāo)準(zhǔn)圖像Ii中種子點(diǎn)y」出現(xiàn)的次數(shù)Iiij及SIFT描述子總數(shù)Iii進(jìn)行統(tǒng)計(jì)作為種子 頻率，則標(biāo)準(zhǔn)圖像Ii中種子頻率Λ 對(duì)標(biāo)準(zhǔn)圖像庫(kù)C中包含有種子點(diǎn)y」的標(biāo)準(zhǔn)圖像數(shù)量％進(jìn)行統(tǒng)計(jì)；2)采用文本檢索中常用的停用詞方法，對(duì)％的大小進(jìn)行判定，判定閾值為1\當(dāng)％>T時(shí)，刪除對(duì)應(yīng)種子點(diǎn)& ；當(dāng)化(T時(shí)，保留Mj且令
8.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的對(duì)標(biāo)準(zhǔn)圖像 矢量和待檢索圖像矢量非零元素的位置指數(shù)和進(jìn)行計(jì)算是指在離線處理中，對(duì)矢量Vi 二 值化，設(shè)二值化后圖像矢量為V' 1=( 1，？2，"*，？")，其中
9.根據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的創(chuàng)建優(yōu)化倒 排索引是指在離線處理中，采用種子點(diǎn)It作為索引，標(biāo)準(zhǔn)圖像矢量Vi作為索引目標(biāo)，對(duì)于 種子點(diǎn)yr，存在對(duì)應(yīng)的倒排索引列表Lr，對(duì)于標(biāo)準(zhǔn)圖像矢量Vi中的元素U，當(dāng)Cu > 0，則該 圖像矢量Vi的名稱Ii及非零元素的位置指數(shù)和Si被記錄在列表Lu中，記為L(zhǎng)u = {yj (Ii, SiM ；然后依次對(duì)標(biāo)準(zhǔn)圖像矢量Vi進(jìn)行處理并根據(jù)非零元素的位置將其記錄到對(duì)應(yīng)的索引 列表Lr中，創(chuàng)建倒排索引L = IL1, L2,…，Lz, }；再將倒排索引列表k以及列表k中對(duì)應(yīng) 的標(biāo)準(zhǔn)圖像Ii進(jìn)行排序，對(duì)于索引列表Lp記錄標(biāo)準(zhǔn)圖像的數(shù)量并不相同，標(biāo)準(zhǔn)圖像矢量 非零元素的位置指數(shù)和也不相同，首先將索引列表k按照記錄標(biāo)準(zhǔn)圖像的數(shù)量從大到小排 序，然后在索引列表k中將標(biāo)準(zhǔn)圖像Ii根據(jù)非零元素的位置指數(shù)和Si從大到小排序，在對(duì) 倒排索引列表k及其列表中對(duì)應(yīng)的標(biāo)準(zhǔn)圖像Ii排序后，創(chuàng)建優(yōu)化倒排索引L'，從而用于 實(shí)時(shí)處理進(jìn)行相似性搜索。
10.相據(jù)權(quán)利要求1所述的圖像檢索系統(tǒng)中的加速方法，其特征是，所述的相似性搜索 是指i)查詢包含標(biāo)準(zhǔn)圖像數(shù)量較多的索引列表，然后在該索引列表中將待檢索圖像非零元 素的位置指數(shù)和Sq作為閾值，將Sq與列表中標(biāo)準(zhǔn)圖像非零元素的位置指數(shù)和Si進(jìn)行比較， 對(duì)于小于該閾值Sq的標(biāo)準(zhǔn)圖像及其后續(xù)位置指數(shù)和更小的標(biāo)準(zhǔn)圖像將被排除； )在優(yōu)化倒排索引L'中進(jìn)行相似性搜索時(shí)，存在累加器A，用于記錄標(biāo)準(zhǔn)圖像Ii出 現(xiàn)的次數(shù)每個(gè)標(biāo)準(zhǔn)圖像都對(duì)應(yīng)著一個(gè)累加器 ，則A= (B1, a2,…，aN)，當(dāng)在倒排索引 列表中標(biāo)準(zhǔn)圖像Ii被查詢一次，則標(biāo)準(zhǔn)圖像Ii對(duì)應(yīng)的累加器 加1，即 =%+1，最后對(duì) 標(biāo)準(zhǔn)圖像對(duì)應(yīng)的累加器A進(jìn)行排序，數(shù)值較大的累加器對(duì)應(yīng)的標(biāo)準(zhǔn)圖像，即是待檢索圖像 矢量Vq的候選查詢結(jié)果，從而完成優(yōu)化倒排索引搜索；iii)將待檢索圖像矢量\和候選標(biāo)準(zhǔn)圖像矢量\進(jìn)行相似性度量，采用兩個(gè)矢量間的余弦值刪目似性計(jì)算，
全文摘要
一種計(jì)算機(jī)信息處理技術(shù)領(lǐng)域的圖像檢索系統(tǒng)中的加速方法，通過(guò)對(duì)標(biāo)準(zhǔn)圖像和待檢索圖像分別提取特征描述子并創(chuàng)建視覺(jué)碼書(shū)，然后根據(jù)種子點(diǎn)集合創(chuàng)建隨機(jī)kd樹(shù)并對(duì)特征描述子進(jìn)行分類，接著進(jìn)行矢量化處理并對(duì)倒排索引進(jìn)行優(yōu)化，最后將待檢索圖像矢量在優(yōu)化倒排索引中進(jìn)行相似性搜索，實(shí)現(xiàn)圖像檢索系統(tǒng)的加速。本發(fā)明能夠彌補(bǔ)現(xiàn)有技術(shù)中聚類過(guò)程計(jì)算量大和計(jì)算時(shí)間長(zhǎng)的問(wèn)題，優(yōu)化倒排索引在保證檢索準(zhǔn)確率的情況下，提高了相似性搜索的實(shí)時(shí)性。
文檔編號(hào)G06F17/30GK102004786SQ20101057323
公開(kāi)日2011年4月6日 申請(qǐng)日期2010年12月2日 優(yōu)先權(quán)日2010年12月2日
發(fā)明者馮德瀛, 劉從新, 楊杰, 楊程 申請(qǐng)人:上海交通大學(xué)