本發(fā)明涉及一種基于位置信息加權(quán)詞匯樹的車輛圖像檢索方法,屬于圖像處理與分析在智能交通系統(tǒng)上的應(yīng)用。
背景技術(shù):
車輛圖像檢索是智能交通系統(tǒng)的重要組成部分,是公安系統(tǒng)破獲車輛被盜等相關(guān)案件的重要手段。所以面對城市交通中的海量卡口高清圖像,車輛圖像檢索的準(zhǔn)確性和高效性對及時(shí)破案極為關(guān)鍵。基于詞袋模型的圖像檢索機(jī)制是近幾年來圖像檢索領(lǐng)域的主流方法,該方法將大量訓(xùn)練圖像特征(通常是sift特征)通過k-means聚類映射為視覺單詞的集合,構(gòu)成視覺單詞詞典。然后將測試圖像的特征逐個(gè)匹配量化到視覺單詞詞典中,得到了圖像的視覺單詞直方圖。由于將大量特征量化到視覺單詞這個(gè)過程時(shí)間耗損過大,為此,nistér等人提出了利用分層k-means聚類的方法生成視覺單詞詞匯樹,有效解決了搜索非層次化單詞帶來的量化過程太慢的問題,生成的視覺單詞由tf-idf模型(詞頻-逆文檔頻率)加權(quán)。由于視覺單詞詞匯樹的方法忽略了視覺單詞的空間位置信息,因此,本發(fā)明將視覺單詞的位置信息作為權(quán)值引入到視覺單詞的匹配中,細(xì)化了特征之間的匹配得分,從而提高車輛圖像的檢索精度。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明所要解決的技術(shù)問題是提供一種基于位置信息加權(quán)詞匯樹的車輛圖像檢索方法,本發(fā)明檢索精度較高,且耗時(shí)較少,能夠滿足現(xiàn)實(shí)使用中對準(zhǔn)確性和實(shí)時(shí)性的要求。
為解決上述技術(shù)問題,本發(fā)明所采用的技術(shù)方案是:一種基于位置信息加權(quán)詞匯樹的車輛圖像檢索方法,其特征在于,包括以下部分:
s01、詞匯樹的創(chuàng)建:對訓(xùn)練圖像庫中的每幅圖像先提取車身部分,對于剔除掉背景部分的車輛圖像提取sift特征,這樣就得到了一個(gè)特征集合f={f(i)}。然后對特征集合f進(jìn)行分層k-means聚類。初始時(shí),在詞匯樹的第一層上對特征集合f進(jìn)行第一次k-means聚類,計(jì)算出每個(gè)聚類的中心向量ci。類似的,對新產(chǎn)生的每個(gè)聚類再用k-means聚類聚成k個(gè)簇集,不斷地重復(fù)上述操作直到樹的深度達(dá)到預(yù)先設(shè)定的l值,每個(gè)簇集定義為一個(gè)視覺單詞,得到視覺單詞詞匯樹;
s02、用權(quán)值向量來表示圖像:提取測試圖像庫中圖像的車身部分,對于剔除掉背景部分的車輛圖像提取sift特征,分別將每個(gè)sift特征分配給詞匯樹中最為接近的視覺單詞,然后依據(jù)每幅圖像中視覺單詞出現(xiàn)的次數(shù)以及視覺單詞與圖像的相關(guān)程度來計(jì)算圖像的視覺單詞權(quán)值;
s03、視覺單詞空間位置權(quán)值的計(jì)算:根據(jù)每幅圖像sift特征之間的距離遠(yuǎn)近計(jì)算sift特征點(diǎn)之間的相互影響,再將sift點(diǎn)之間的影響轉(zhuǎn)化為視覺單詞之間的空間位置信息,計(jì)算位置相似度作為權(quán)值;
s04、圖像相似度計(jì)算:將視覺單詞的空間位置權(quán)值作為加權(quán)系數(shù),計(jì)算圖像權(quán)值向量的歐式距離來判斷圖像之間的相似程度,并將最為相近的圖像作為結(jié)果輸出。
作為本發(fā)明的進(jìn)一步說明,所述步驟s02具體為:
(1)對測試庫中每一幅圖像首先提取車身部分,對車身部分提取sift特征,這樣就得到了一個(gè)特征集合f={f(i)}以及相應(yīng)的圖像id集合imgid={id(i)};
(2)根據(jù)距離最近原則將sift特征分配給詞匯樹中最鄰近的視覺單詞,這樣每幅圖像的sift特征就轉(zhuǎn)化成了視覺單詞;
(3)wi,j則表示圖像dj中視覺單詞fi的權(quán)值,即視覺單詞fi與圖像dj的相關(guān)程度。權(quán)值是按照tf-idf的原理定義的,mi,j表示視覺單詞fi在圖像dj中出現(xiàn)的次數(shù),它可以用來衡量視覺單詞用來描述圖像的好壞程度。n表示圖像庫中圖像的總數(shù),ni表示包含視覺單詞fi的圖像數(shù)目。逆文獻(xiàn)頻率定義為idfi=lg(n/ni),它表示的含義是視覺單詞對于區(qū)分相似圖像和不相似圖像的作用大小。所以,wi,j可以表示為
(4)圖像dj可以用視覺單詞的權(quán)值向量來表示為dj=[w1,j,w2,j,l,wt,j],測試圖像庫中的所有圖像可以用矩陣表示為
作為本發(fā)明的進(jìn)一步改進(jìn),所述步驟s03具體為:
(1)定義圖像上一個(gè)sift特征點(diǎn)的空間邊界是以u(i)為中心的半徑大小為rc×s(i)的一個(gè)圓形區(qū)域,記為scrf(i),其中rc為位置空間的尺度系數(shù),用于控制空間上下文區(qū)域的大小,本發(fā)明設(shè)置尺度系數(shù)為1.5,u(i)表示特征點(diǎn)所在圖像空間的坐標(biāo),s(i)是指該特征的尺度;
(2)當(dāng)sift特征點(diǎn)f(i)對應(yīng)的視覺單詞是fm,表示為fm(i),sift特征點(diǎn)f(j)對應(yīng)的視覺單詞是fk,表示為fk(j)時(shí),對于sift特征點(diǎn)
(3)根據(jù)與fm(i)距離較近的sift點(diǎn)對fm(i)的影響程度較大,反之則影響程度較小的原則,定義fk(j)在fm(i)中的空間上下文特性中的權(quán)重為
(4)由于不同的sift點(diǎn)分屬于不同的視覺單詞,定義,視覺單詞fk在視覺單詞fm中的上下文特性中的權(quán)重為
(5)對于視覺單詞fm,其余視覺單詞對它的空間位置影響為sc(fm)=[c1(fm),c2(fm),l,ct(fm)],對于查詢圖像q和圖像庫中的圖像d的同一個(gè)視覺單詞fm,它的空間位置信息相似度表示為
本發(fā)明的有益效果是,將視覺單詞的位置特征作為加權(quán)系數(shù),加入到視覺單詞的權(quán)值匹配中去,細(xì)化了特征之間的匹配得分,在沒有影響檢索時(shí)間的基礎(chǔ)上,提高了車輛圖像檢索的準(zhǔn)確率。
附圖說明
圖1為本發(fā)明所提供的一種基于位置信息加權(quán)詞匯樹的車輛圖像檢索方法流程圖。
具體實(shí)施方式
下面結(jié)合附圖所示的各實(shí)施方式對本發(fā)明進(jìn)行詳細(xì)說明,但應(yīng)當(dāng)說明的是,這些實(shí)施方式并非對本發(fā)明的限制,本領(lǐng)域普通技術(shù)人員根據(jù)這些實(shí)施方式所作的功能、方法、或者結(jié)構(gòu)上的等效變換或替代,均屬于本發(fā)明的保護(hù)范圍之內(nèi)。
針對當(dāng)前基于詞袋模型以及詞匯樹的車輛圖像檢索方法忽略了其特征之間的空間位置信息影響,本發(fā)明提出了一種基于位置信息加權(quán)詞匯樹的車輛圖像檢索方法,下面進(jìn)行詳細(xì)說明:
在本實(shí)施方式中,一種基于位置信息加權(quán)詞匯樹的車輛檢索方法,其包括以下部分:
s01、詞匯樹的創(chuàng)建:對訓(xùn)練圖像庫中的每幅圖像先提取車身部分,對于剔除掉背景部分的車輛圖像提取sift特征,這樣就得到了一個(gè)特征集合f={f(i)}。然后對特征集合f進(jìn)行分層k-means聚類。初始時(shí),在詞匯樹的第一層上對特征集合f進(jìn)行第一次k-means聚類,計(jì)算出每個(gè)聚類的中心向量ci。類似的,對新產(chǎn)生的每個(gè)聚類再用k-means聚類聚成k個(gè)簇集,不斷地重復(fù)上述操作直到樹的深度達(dá)到預(yù)先設(shè)定的l值,每個(gè)簇集定義為一個(gè)視覺單詞,得到視覺單詞詞匯樹;
s02、用權(quán)值向量來表示圖像:提取測試圖像庫中圖像的車身部分,對于剔除掉背景部分的車輛圖像提取sift特征,分別將每個(gè)sift特征分配給詞匯樹中最為接近的視覺單詞,然后依據(jù)每幅圖像中視覺單詞出現(xiàn)的次數(shù)以及視覺單詞與圖像的相關(guān)程度來計(jì)算圖像的視覺單詞權(quán)值;
所述步驟s02具體為:
(1)對測試庫中每一幅圖像首先提取車身部分,對車身部分提取sift特征,這樣就得到了一個(gè)特征集合f={f(i)}以及相應(yīng)的圖像id集合imgid={id(i)};
(2)根據(jù)距離最近原則將sift特征分配給詞匯樹中最鄰近的視覺單詞,這樣每幅圖像的sift特征就轉(zhuǎn)化成了視覺單詞;
(3)wi,j則表示圖像dj中視覺單詞fi的權(quán)值,即視覺單詞fi與圖像dj的相關(guān)程度。權(quán)值是按照tf-idf的原理定義的,mi,j表示視覺單詞fi在圖像dj中出現(xiàn)的次數(shù),它可以用來衡量視覺單詞用來描述圖像的好壞程度。n表示圖像庫中圖像的總數(shù),ni表示包含視覺單詞fi的圖像數(shù)目。逆文獻(xiàn)頻率定義為idfi=lg(n/ni),它表示的含義是視覺單詞對于區(qū)分相似圖像和不相似圖像的作用大小。所以,wi,j可以表示為
(4)圖像dj可以用視覺單詞的權(quán)值向量來表示為dj=[w1,j,w2,j,l,wt,j],測試圖像庫中的所有圖像可以用矩陣表示為
s03、視覺單詞空間位置權(quán)值的計(jì)算:根據(jù)每幅圖像sift特征之間的距離遠(yuǎn)近計(jì)算sift特征點(diǎn)之間的相互影響,再將sift點(diǎn)之間的影響轉(zhuǎn)化為視覺單詞之間的空間位置信息,計(jì)算位置相似度作為權(quán)值;
所述步驟s03具體為:
(1)定義圖像上一個(gè)sift特征點(diǎn)的空間邊界是以u(i)為中心的半徑大小為rc×s(i)的一個(gè)圓形區(qū)域,記為scrf(i),其中rc為位置空間的尺度系數(shù),用于控制空間上下文區(qū)域的大小,本發(fā)明設(shè)置尺度系數(shù)為1.5,u(i)表示特征點(diǎn)所在圖像空間的坐標(biāo),s(i)是指該特征的尺度;
(2)當(dāng)sift特征點(diǎn)f(i)對應(yīng)的視覺單詞是fm,表示為fm(i),sift特征點(diǎn)f(j)對應(yīng)的視覺單詞是fk,表示為fk(j)時(shí),對于sift特征點(diǎn)
(3)根據(jù)與fm(i)距離較近的sift點(diǎn)對fm(i)的影響程度較大,反之則影響程度較小的原則,定義fk(j)在fm(i)中的空間上下文特性中的權(quán)重為
(4)由于不同的sift點(diǎn)分屬于不同的視覺單詞,定義,視覺單詞fk在視覺單詞fm中的上下文特性中的權(quán)重為
(5)對于視覺單詞fm,一幅圖像中其余視覺單詞對它的空間位置影響為sc(fm)=[c1(fm),c2(fm),l,ct(fm)],對于查詢圖像q和圖像庫中的圖像d的同一個(gè)視覺單詞fm,它的空間位置信息相似度表示為
s04、圖像相似度計(jì)算:將視覺單詞的空間位置權(quán)值作為加權(quán)系數(shù),計(jì)算圖像權(quán)值向量的歐式距離來判斷圖像之間的相似程度,并將最為相近的圖像作為結(jié)果輸出。
以上已以較佳實(shí)施例公開了本發(fā)明,然其并非用以限制本發(fā)明,凡采用等同替換或者等效變換方式所獲得的技術(shù)方案,均落在本發(fā)明的保護(hù)范圍之內(nèi)。
對于本領(lǐng)域技術(shù)人員而言,顯然本發(fā)明不限于上述示范性實(shí)施例的細(xì)節(jié),而且在不背離本發(fā)明的精神或基本特征的情況下,能夠以其他的具體形式實(shí)現(xiàn)本發(fā)明。因此,無論從哪一點(diǎn)來看,均應(yīng)將實(shí)施例看作是示范性的,而且是非限制性的,本發(fā)明的范圍由所附權(quán)利要求而不是上述說明限定,因此旨在將落在權(quán)利要求的等同要件的含義和范圍內(nèi)的所有變化囊括在本發(fā)明內(nèi)。不應(yīng)將權(quán)利要求中的任何附圖標(biāo)記視為限制所涉及的權(quán)利要求。
此外,雖然本說明書按照實(shí)施方式加以描述,但并非每個(gè)實(shí)施方式僅包含一個(gè)獨(dú)立的技術(shù)方案,說明書的這種敘述方式僅僅是為清楚起見,本領(lǐng)域技術(shù)人員應(yīng)當(dāng)將說明書作為一個(gè)整體,各實(shí)施例中的技術(shù)方案也可以經(jīng)適當(dāng)組合,形成本領(lǐng)域技術(shù)人員可以理解的其他實(shí)施方式。