本發(fā)明涉及圖像檢索領(lǐng)域，具體涉及一種基于結(jié)構(gòu)語義直方圖的圖像檢索方法。

背景技術(shù)：
圖形圖像是人類交流的媒介并能夠提供豐富信息來讓人們認(rèn)識和理解世界。隨著數(shù)字圖像技術(shù)和互聯(lián)網(wǎng)的發(fā)展，越來越多的圖像涌現(xiàn)。如何高效而快速地進(jìn)行圖像索引和檢索成為日益迫切的需求，因此，圖像檢索成為模式識別和人工智能領(lǐng)域的研究熱點(diǎn)之一。一般而言，圖像檢索主要包括：基于文本的圖像檢索、基于內(nèi)容的圖像檢索和基于語義的圖像檢索,基于文本的圖像檢索已經(jīng)不適合時(shí)代要求。鑒于目前人工智能和相關(guān)技術(shù)的局限性，基于語義的圖像檢索仍然是一個(gè)公開的難題。因此，基于內(nèi)容的圖像檢索(CBIR)仍然是非常重要而高效的圖像檢索方法，并且CBIR系統(tǒng)仍然被廣泛應(yīng)用于學(xué)術(shù)和工業(yè)領(lǐng)域。眾所周知，人類視覺系統(tǒng)通過感受野周邊的神經(jīng)元競爭機(jī)制而產(chǎn)生少量引起視覺注意的關(guān)注點(diǎn)并且抑制不相關(guān)對象。視覺注意機(jī)制和低層次視覺特征之間存在密切的關(guān)系，與此同時(shí)，人類更加趨向于用類似文字信息來描述物體屬性，主流的Bag-of-visualword模型借鑒了文本信息處理模式，在一定程度上具備類似文字信息的功能，所以如何應(yīng)用視覺感知機(jī)制和視覺詞匯模型來進(jìn)行圖像檢索是一個(gè)非常重要并且具有挑戰(zhàn)性的問題。為了充分利用視覺感知機(jī)制和視覺詞匯模型的優(yōu)勢來進(jìn)行圖像檢索，本發(fā)明提出了一種新穎的方法來描述圖像特征，它被稱之為結(jié)構(gòu)語義直方圖(structuresemantichistogram)。結(jié)構(gòu)語義根據(jù)視覺顯著性詞匯和感知顏色詞匯的結(jié)構(gòu)信息來定義，它在一定程度上模擬了人類視覺感知機(jī)制，能夠表達(dá)語義信息和視覺詞匯的結(jié)構(gòu)空間信息，視覺顯著性信息和均勻顏色信息。結(jié)構(gòu)語義直方圖所包含的信息量明顯地高于主流的Bag-of-visualword模型，可以視為是Bag-of-visualword模型的升華。

技術(shù)實(shí)現(xiàn)要素：
本發(fā)明所要解決的技術(shù)問題是：提供一種基于結(jié)構(gòu)語義的圖像檢索方法，其能夠利用直方圖來表達(dá)語義信息，視覺顯著性信息和均勻顏色信息，并且還能夠表達(dá)視覺詞匯所包含的空間結(jié)構(gòu)屬性。為解決上述問題，本發(fā)明是通過以下方案實(shí)現(xiàn)的：一種基于結(jié)構(gòu)語義直方圖的圖像檢索方法，包括如下步驟：(1)將彩色圖像從RGB顏色空間轉(zhuǎn)換到HSV顏色空間；在HSV顏色空間中，H分量表示色彩信息，可用于表示不同顏色。在本發(fā)明中被稱之為顏色分量。(2)在HSV彩色空間中，將H,S和V三個(gè)分量用于構(gòu)建高斯金字塔H(σ)，S(σ)和V(σ)，其中σ∈[0...5]表示尺度，然后通過跨尺度抽樣并產(chǎn)生所謂的特征映射：F(c，s，H)＝|H(c)θH(s)|(1)F(c，s，S)＝|S(c)θS(s)|(2)F(c，s，V)＝|V(c)θV(s)|(3)式中，F(xiàn)(c,s,H)表示H分量的特征映射，F(xiàn)(c,s,S)表示S分量的特征映射，F(xiàn)(c,s,V)表示V分量的特征映射，H(c)表示H分量細(xì)尺度c的高斯金字塔，H(s)表示H分量粗尺度s的高斯金字塔，S(c)表示S分量細(xì)尺度c的高斯金字塔，S(s)表示S分量粗尺度s的高斯金字塔，V(c)表示V分量細(xì)尺度c的高斯金字塔，V(s)表示V分量粗尺度s的高斯金字塔，θ表示中心-周邊差操作，它是在“中心”細(xì)尺度c和“周邊”粗尺度之間進(jìn)行，并產(chǎn)生特征映射圖；將每個(gè)特征映射圖縮小到尺度5，然后進(jìn)行逐點(diǎn)相加，最后得到3個(gè)獨(dú)立顯著性圖像映射和式中，表示H分量的顯著性圖像映射，表示S分量的顯著性圖像映射，表示V分量的顯著性圖像映射，c表示細(xì)尺度，s表示粗尺度，表示映射圖的跨尺度相加,N(.)表示標(biāo)準(zhǔn)化；三個(gè)3個(gè)獨(dú)立顯著性圖像映射和整合為一個(gè)顯著圖Shsv。式中，Shsv表示顯著圖，N(.)表示標(biāo)準(zhǔn)化；(3)在顯著圖Shsv以及顏色分量H中，采用SIFT(尺度不變特征轉(zhuǎn)換)算法來抽取和描述局部特征，得到顯著圖Shsv的特征向量和顏色分量H的特征向量首先對顯著圖Shsv采用標(biāo)準(zhǔn)的K均值聚類來構(gòu)建詞典，詞典大小設(shè)定為n’，則詞典里面有n’個(gè)視覺詞匯。詞典構(gòu)建就是將顯著圖Shsv中所有的局部特征聚成n’個(gè)聚類中心，然后將每一個(gè)聚類中心當(dāng)作是一個(gè)視覺詞匯，則詞典里的n’個(gè)視覺詞匯可以表示為詞典里面的n’個(gè)視覺詞匯分別對應(yīng)一個(gè)索引值IS＝[0,1,2,...,n'-2,n'-1]；詞典構(gòu)建完畢后，需要進(jìn)行詞典量化并且進(jìn)行索引值分配。詞典量化就是把從顯著圖Shsv中提取的每一個(gè)局部特征映射到它最接近的視覺詞匯上去，索引值分配就是給每一個(gè)局部特征所在的坐標(biāo)點(diǎn)賦予一個(gè)對應(yīng)的視覺詞匯索引值v，最后經(jīng)過詞典量化的顯著圖Shsv表示為MS(x,y)＝v,采用相同辦法對顏色分量H進(jìn)行處理，則經(jīng)過詞典量化后的顏色分量H表示為MC(x,y)＝w,(4)將HSV顏色空間圖像從柱狀坐標(biāo)系變換為笛卡爾坐標(biāo)系，假設(shè)(H,S,V)為柱狀坐標(biāo)系上的一個(gè)點(diǎn)，(H',S',V')為(H,S,V)在笛卡爾坐標(biāo)系上的轉(zhuǎn)換，其中H'＝S·cos(H),S'＝S·sin(H)和V'＝V；假設(shè)在HSV顏色空間圖像中有一個(gè)像素點(diǎn)(x,y)，該像素點(diǎn)周邊有8個(gè)點(diǎn)，分別表示為(xi,yi),i＝1,2,..,8,則標(biāo)準(zhǔn)刺激的強(qiáng)度I可以定義為：在上述公式(8)中，周邊每個(gè)點(diǎn)和中心點(diǎn)都可以計(jì)出一個(gè)均勻顏色差別值Ii,i＝1,2,...,8：此時(shí)，代表刺激的最小可覺差ΔI＝min(I1,I2,...,I8)，即ΔI取I1～I(xiàn)8中的最小值；判斷HSV顏色空間圖像中的各像素點(diǎn)是否滿足Weber原理，即ΔI/I＝K，其中ΔI代表刺激的最小可覺差，I代表標(biāo)準(zhǔn)刺激的強(qiáng)度，K是設(shè)定的特定感覺道的定值，則保留該像素點(diǎn)(x,y)處的視覺詞匯，否則將像素點(diǎn)(x,y)處的視覺詞匯刪除；由此形成顯著圖Shsv的視覺詞匯圖像Ws(x,y)和顏色分量H的視覺詞匯圖像Wc(x,y)；(5)以視覺詞匯圖像Ws(x,y)和Wc(x,y)為基準(zhǔn)，分別對它們進(jìn)行視覺詞匯的局部結(jié)構(gòu)檢測，可以得到基于顯著圖的局部結(jié)構(gòu)模式和基于顏色的局部結(jié)構(gòu)模式；視覺詞匯的局部結(jié)構(gòu)檢測方法如下：在Ws(x,y)中，將它劃分為一系列2×2的，相互不重疊方格；然后判斷2×2方格中是否為設(shè)定的局部結(jié)構(gòu)模式中的一種，如果出現(xiàn)了其中一種局部結(jié)構(gòu)模式，則該2×2方格中的視覺詞匯保持不變，否則將2×2方格內(nèi)的視覺詞匯全部刪除，最終可得到一個(gè)結(jié)構(gòu)圖像TS(x,y)；采用相同辦法，由Wc(x,y)可以得到Wc(x,y)的結(jié)構(gòu)圖像TC(x,y)；以某個(gè)結(jié)構(gòu)詞匯為中心，在設(shè)定距離d范圍內(nèi)，如果它的周邊存在若干個(gè)具有相同局部結(jié)構(gòu)模式的結(jié)構(gòu)詞匯，則這些結(jié)構(gòu)詞匯的組合稱之為結(jié)構(gòu)語義；(6)分別統(tǒng)計(jì)結(jié)構(gòu)圖像TS(x,y)和TC(x,y)中視覺詞匯出現(xiàn)的頻率，并將若干個(gè)結(jié)構(gòu)詞匯之間的均勻顏色差別作為權(quán)重，最后綜合頻率和均勻顏色差別來描述圖像內(nèi)容，其中在結(jié)構(gòu)圖像TS(x,y)和TC(x,y)中，視覺詞匯出現(xiàn)的頻率計(jì)算方法如下：Hs(i)＝card{(x,y)|Ts(x,y)＝i}/(wid×hei)(10)HC(j)＝card{(x,y)|TC(x,y)＝j(luò)}/(wid×hei)(11)式中，Hs(i)表示TS(x,y)中視覺詞匯出現(xiàn)的頻率，其中HC(j)表示TC(x,y)中視覺詞匯出現(xiàn)的頻率，其中card{.}表示統(tǒng)計(jì)詞匯個(gè)數(shù)，分別是統(tǒng)計(jì)TS(x,y)中的顯著圖詞匯和TC(x,y)中的顏色詞匯，wid和hei分別表示圖像寬和圖像高；計(jì)算均勻顏色差別的方法如下：假設(shè)在結(jié)構(gòu)圖像TS(x,y)和TC(x,y)中有兩個(gè)結(jié)構(gòu)詞匯，它們所在位置分別對應(yīng)兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')，在笛卡爾坐標(biāo)系中，這兩個(gè)坐標(biāo)點(diǎn)分別對應(yīng)的HSV顏色值為(H'(x,y),S'(x,y),V'(x,y))和(H'(x',y'),S'(x',y'),V'(x',y')),則它們之間顏色差別Δcd計(jì)算方法如下：CDS(i)表示顯著圖詞匯的顏色差別直方圖，CDC(j)表示顏色詞匯的顏色差別直方圖，它們分別定義如下:式中，Δcds表示結(jié)構(gòu)圖像TS(x,y)中，兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')之間的顏色差別；Δcdc表示結(jié)構(gòu)圖像TC(x,y)中，兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')之間的顏色差別；Ts(x,y)＝Ts(x',y')表示在結(jié)構(gòu)圖像TS(x,y)中兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')所對應(yīng)的視覺詞匯具有相同索引值i，Tc(x,y)＝Tc(x',y')表示在結(jié)構(gòu)圖像TC(x,y)中兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')所對應(yīng)的視覺詞匯具有相同索引值j，顯著圖詞匯的結(jié)構(gòu)語義直方圖SH(i)和顏色詞匯的結(jié)構(gòu)語義直方圖CH(j)，它們分別定義如下：SH(i)＝CDS(i)×Hs(i),i＝0,1,...,n-1(15)CH(j)＝CDC(j)×Hc(j),j＝0,1,2,..,n-1(16)SSH＝concac{SH(i),CH(j)}(17)式中，concac{.}表示將上述兩個(gè)直方圖串聯(lián)起來形成一個(gè)最終的直方圖，即是結(jié)構(gòu)語義直方圖(SSH)；i和j用做直方圖的下標(biāo)；在CDS(i)和HS(i)中，i＝0,1,2,...,n-1表示顯著圖詞匯的索引值；在CDC(j)和CH(j)中，j＝0,1,2,...,n-1表示顏色詞匯索引值；(7)將結(jié)構(gòu)語義直方圖中的特征向量作為最終特征應(yīng)用于圖像檢索，并且采用L1距離來進(jìn)行圖像匹配。上述步驟(3)中，標(biāo)準(zhǔn)化N(.)由如下步驟組成：(1)歸一化映射圖中像素值，將其固定到[0,1]之間的范圍，以消除依賴于模態(tài)的幅值差異；(2)計(jì)算出映射圖中最大值M的位置和其它所有局部極大值的平均值(3)整幅映射圖乘以上述步驟(2)中，所述詞典大小n’的取值范圍為n’＝[500,...,100000]。上述步驟(3)中，所述詞典大小n’的取值為5000。上述步驟(4)中，設(shè)定的特定感覺道的定值K＝0.2。上述步驟(5)中，設(shè)定的局部結(jié)構(gòu)模式為11種。上述步驟(5)中，設(shè)定距離d的取值范圍介于2-5之間。與現(xiàn)有技術(shù)相比，本發(fā)明關(guān)注基于視覺感知機(jī)制和視覺詞匯模型兩者的優(yōu)勢來進(jìn)行圖像檢索，提出結(jié)構(gòu)語義直方圖的新型圖像特征表達(dá)方法。結(jié)構(gòu)語義直方圖可看作為主流的視覺詞匯(Bag-of-visualwords)模型的升華，專門用于自然圖像分析，并且比主流的視覺詞匯方法具有更豐富信息。它整合了視覺詞匯，語義特征和直方圖的優(yōu)點(diǎn)，它在一定程度上模擬了人類視覺感知機(jī)制，能夠表達(dá)語義信息和視覺詞匯的結(jié)構(gòu)空間信息，視覺顯著性信息和均勻顏色信息。附圖說明圖1為用于進(jìn)行結(jié)構(gòu)詞匯檢測的11種局部結(jié)構(gòu)模式；圖2為結(jié)構(gòu)語義檢測示例。具體實(shí)施方式一種基于共生稀疏直方圖的圖像檢索方法，包括如下步驟：(1)將彩色圖像從RGB顏色空間轉(zhuǎn)換到HSV彩色空間。(2)人類視覺系統(tǒng)具有非常突出的信息篩選能力，能夠迅速找到相關(guān)的重要信息，忽略掉不相關(guān)信息，這就是視覺注意機(jī)制，因此研究視覺注意機(jī)制的計(jì)算模型，可以降低圖像處理的復(fù)雜性，減少計(jì)算資源耗費(fèi)，極大提高信息處理的效率。鑒于HSV顏色空間和人類顏色感知具有一定的相似性，因此本發(fā)明依據(jù)HSV顏色空間定義若干初級視覺特征來進(jìn)行顯著性檢測。它由H,S和V分量圖像構(gòu)成。將H,S和V用于構(gòu)建高斯金字塔H(σ)，S(σ)和V(σ)，其中σ∈[0...5]表示尺度，然后通過跨尺度抽樣并產(chǎn)生所謂的特征映射：F(c，s，H)＝|H(c)θH(s)|(1)F(c，s，S)＝|S(c)θS(s)|(2)F(c，s，V)＝|V(c)θV(s)|(3)上述三式中，θ表示中心-周邊差操作，它是在“中心”細(xì)尺度c和“周邊”粗尺度s之間進(jìn)行，并產(chǎn)生特征映射圖。將每個(gè)特征映射圖縮小到尺度5，然后進(jìn)行逐點(diǎn)相加，最后得到3個(gè)獨(dú)立顯著性圖像映射和上述三式中，表示映射圖的跨尺度相加，將三個(gè)3個(gè)獨(dú)立顯著性圖像映射和整合為一個(gè)顯著圖Shsv。上述式中，N(.)表示標(biāo)準(zhǔn)化，N(.)由如下步驟組成：(1)歸一化映射圖中像素值，將其固定到[0,1]之間的范圍，以消除依賴于模態(tài)的幅值差異；(2)計(jì)算出映射圖中最大值M的位置和其它所有局部極大值的平均值(3)整幅映射圖乘以(3)對于彩色圖像而言，在HSV顏色空間中，H分量可以用于描述不同顏色。在顯著圖S以及H分量中，采用SIFT算法來抽取和描述局部特征，得到的特征向量分別表示為和鑒于SIFT算法是一種非常著名并且廣泛應(yīng)用的算法，本發(fā)明將不再贅述。首先對顯著圖Shsv采用標(biāo)準(zhǔn)的K均值聚類來構(gòu)建詞典，詞典大小設(shè)定為n’，詞典構(gòu)建就是將顯著圖Shsv中所有的局部特征聚成n’個(gè)聚類中心，然后將一個(gè)聚類中心當(dāng)作是一個(gè)視覺詞匯，則詞典里的n’個(gè)視覺詞匯可以表示為詞典里面的n’個(gè)視覺詞匯分別對應(yīng)一個(gè)索引值IS＝[0,1,2,...,n'-2,n'-1]；詞典構(gòu)建完畢后，需要進(jìn)行詞典量化并且進(jìn)行索引值分配。詞典量化就是把從顯著圖Shsv中提取的每一個(gè)局部特征映射到它最接近的視覺詞匯上去，并且給每一個(gè)局部特征所在的坐標(biāo)點(diǎn)賦予一個(gè)對應(yīng)的索引值v，最后經(jīng)過詞典量化的顯著圖Shsv表示為MS(x,y)＝v,采用相同辦法對顏色分量H進(jìn)行處理，則經(jīng)過詞典量化后的顏色分量H表示為MC(x,y)＝w,鑒于K均值聚類算法是一種非常著名并且廣泛應(yīng)用的聚類算法，本發(fā)明也將不再贅述。(4)在經(jīng)典的文本檢索技術(shù)中，需要?jiǎng)h除停用詞以提高索引效率。鑒于視覺詞匯和文本詞匯是有區(qū)別的，在本發(fā)明中，擬刪除10％的頻率太高和太低的視覺詞匯。在顏色詞匯以及顯著圖詞匯中，如果某些詞匯出現(xiàn)頻率太高或者太低，很可能代表的是圖像背景或者噪聲，需要?jiǎng)h除這些噪聲詞匯。為了盡量減少誤刪視覺詞匯的現(xiàn)象，需要綜合考慮視覺詞匯之間的均勻顏色差別的對比度來考慮。如果某圖像存在頻率太高或者太低的視覺詞匯，則將這些視覺詞匯稱為擬刪除視覺詞匯。在圖像中，以擬刪除的視覺詞匯為中心，考慮它與周邊視覺詞匯之間的均勻顏色差別的對比度。如果滿足Weber原理，則保留該詞匯，否則就真正刪除該詞匯。本發(fā)明將最佳的噪聲詞匯刪除比例確定為20％。將HSV顏色空間圖像從柱狀坐標(biāo)系變換為笛卡爾坐標(biāo)系，假設(shè)(H,S,V)為柱狀坐標(biāo)系上的一個(gè)點(diǎn)，(H',S',V')為(H,S,V)在笛卡爾坐標(biāo)系上的轉(zhuǎn)換，其中H'＝S·cos(H),S'＝S·sin(H)和V'＝V；假設(shè)在HSV顏色空間圖像中有一個(gè)像素點(diǎn)(x,y)，該像素點(diǎn)周邊有8個(gè)點(diǎn)，分別表示為(xi,yi),i＝1,2,..,8,則標(biāo)準(zhǔn)刺激的強(qiáng)度I可以定義為：在上述公式(8)中，周邊每個(gè)點(diǎn)和中心點(diǎn)都可以計(jì)出一個(gè)均勻顏色差別值Ii,i＝1,2,...,8：此時(shí)，代表刺激的最小可覺差ΔI＝min(I1,I2,...,I8)，即ΔI取I1～I(xiàn)8中的最小值；判斷HSV顏色空間圖像中的各像素點(diǎn)是否滿足Weber原理，即ΔI/I＝K，其中ΔI代表刺激的最小可覺差，I代表標(biāo)準(zhǔn)刺激的強(qiáng)度，K是設(shè)定的特定感覺道的定值，則保留該像素點(diǎn)(x,y)處的視覺詞匯，否則將像素點(diǎn)(x,y)處的視覺詞匯刪除；由此形成顯著圖Shsv的視覺詞匯圖像Ws(x,y)和顏色分量H的視覺詞匯圖像Wc(x,y)；(5)以視覺詞匯圖像Ws(x,y)和Wc(x,y)為基準(zhǔn)，分別對它們進(jìn)行視覺詞匯的局部結(jié)構(gòu)檢測，可以得到基于顯著圖的局部結(jié)構(gòu)模式和基于顏色的局部結(jié)構(gòu)模式；視覺詞匯的局部結(jié)構(gòu)檢測原理如下：在Ws(x,y)中，將它劃分為一系列2×2的，相互不重疊方格。然后判斷2×2方格中是否出現(xiàn)圖1所示的11種局部結(jié)構(gòu)模式，如果出現(xiàn)了其中一種局部結(jié)構(gòu)模式，則該2×2方格中的視覺詞匯保持不變，否則將2×2方格內(nèi)的視覺詞匯刪除，最終可得到一個(gè)結(jié)構(gòu)圖像TS(x,y),其中2×2方格中的詞匯集合稱之為結(jié)構(gòu)詞匯。采用相同辦法，可以得到Wc(x,y)的結(jié)構(gòu)圖像TC(x,y)。以某個(gè)結(jié)構(gòu)詞匯為中心，在設(shè)定距離d范圍內(nèi)，如果它的周邊存在若干個(gè)具有相同模式的結(jié)構(gòu)詞匯，則這些結(jié)構(gòu)詞匯的組合稱之為結(jié)構(gòu)語義，例如圖2所示。在本發(fā)明中，設(shè)定距離d的取值范圍介于2-5之間。(6)在設(shè)定的距離d范圍內(nèi)，分別統(tǒng)計(jì)TS(x,y)和TC(x,y)中詞匯出現(xiàn)的頻率，并將若干個(gè)局部結(jié)構(gòu)模式之間的均勻顏色差別作為權(quán)重，最后綜合頻率和均勻顏色差別來描述圖像內(nèi)容，其中在TS(x,y)和TC(x,y)中，視覺詞匯出現(xiàn)的頻率計(jì)算方法如下：Hs(i)＝card{(x,y)|Ts(x,y)＝i}/(wid×hei)(10)HC(j)＝card{(x,y)|TC(x,y)＝j(luò)}/(wid×hei)(11)上述兩式中，Hs(i)表示TS(x,y)中視覺詞匯出現(xiàn)的頻率，其中HC(j)表示TC(x,y)中視覺詞匯出現(xiàn)的頻率，其中card{.}表示統(tǒng)計(jì)詞匯個(gè)數(shù)，分別是統(tǒng)計(jì)TS(x,y)中的顯著圖詞匯和TC(x,y)中的顏色詞匯，wid和hei分別表示圖像寬和圖像高；計(jì)算均勻顏色差別的方法如下：假設(shè)在結(jié)構(gòu)圖像TS(x,y)和TC(x,y)中有兩個(gè)結(jié)構(gòu)詞匯，它們所在位置分別對應(yīng)兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')，在笛卡爾坐標(biāo)系中，這兩個(gè)坐標(biāo)點(diǎn)分別對應(yīng)的HSV顏色值為(H'(x,y),S'(x,y),V'(x,y))和(H'(x',y'),S'(x',y'),V'(x',y')),則它們之間顏色差別Δcd計(jì)算方法如下：CDS(i)表示顯著圖詞匯的顏色差別直方圖，CDC(j)表示顏色詞匯的顏色差別直方圖，它們分別定義如下:上述兩個(gè)公式中，Δcds表示結(jié)構(gòu)圖像TS(x,y)中，兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')之間的顏色差別；Δcdc表示結(jié)構(gòu)圖像TC(x,y)中，兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')之間的顏色差別；Ts(x,y)＝Ts(x',y')表示在結(jié)構(gòu)圖像TS(x,y)中兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')所對應(yīng)的視覺詞匯具有相同索引值i，Tc(x,y)＝Tc(x',y')表示在結(jié)構(gòu)圖像TC(x,y)中兩個(gè)坐標(biāo)點(diǎn)(x,y)和(x',y')所對應(yīng)的視覺詞匯具有相同索引值j，顯著圖詞匯的結(jié)構(gòu)語義直方圖SH(i)和顏色詞匯的結(jié)構(gòu)語義直方圖CH(j)，它們分別定義如下：SH(i)＝CDS(i)×Hs(i),i＝0,1,...,n-1(15)CH(j)＝CDC(j)×Hc(j),j＝0,1,2,..,n-1(16)SSH＝concac{SH(i),CH(i)}(17)上述三式中，concac{.}表示將上述兩個(gè)直方圖串聯(lián)起來形成一個(gè)最終的直方圖，即是結(jié)構(gòu)語義直方圖(SSH)；i和j用做直方圖的下標(biāo)；在CDS(i)和HS(i)中，i＝0,1,2,...,n-1表示顯著圖詞匯的索引值；在CDC(j)和CH(j)中，j＝0,1,2,...,n-1表示顏色詞匯索引值；結(jié)構(gòu)語義直方圖在詞匯局部結(jié)構(gòu)的基礎(chǔ)上能夠同時(shí)表達(dá)顯著詞匯和顏色詞匯的空間關(guān)系，它將均勻顏色差別信息和直方圖整合為一個(gè)描述子，并且采用直方圖來描述兩者屬性。結(jié)構(gòu)語義直方圖借鑒了視覺注意機(jī)制和自然語言處理技術(shù)，非常容易實(shí)現(xiàn)，很適合于大規(guī)模的圖像檢索。視覺詞匯的局部結(jié)構(gòu)能夠保留一定的幾何信息，同時(shí)也包含了一種局部結(jié)構(gòu)和局部結(jié)構(gòu)之間的關(guān)系(空間關(guān)系以及幾何關(guān)系)，在一定程度上，它體現(xiàn)了視覺詞匯的幾何上下文信息。結(jié)構(gòu)語義直方圖可看作是一種廣義的視覺屬性描述子，它在一定程度上模擬了人類視覺感知機(jī)制，能夠表達(dá)語義信息和視覺詞匯的結(jié)構(gòu)空間信息，視覺顯著性信息和均勻顏色信息，所以，結(jié)構(gòu)語義直方圖所包含的信息量明顯地高于主流的Bag-of-visualword模型，可以視為是Bag-of-visualword模型的升華。本發(fā)明還具有非常強(qiáng)的擴(kuò)展性，完全可以采用相同方式融合更多視覺信息。例如紋理特征，邊緣特征等等。(5)將結(jié)構(gòu)語義直方圖中的5000維特征向量作為最終特征應(yīng)用于圖像檢索。傳統(tǒng)的bag-of-visualwords模型在圖像匹配過程中一般采用Cos距離，本發(fā)明在檢索過程中采用L1距離進(jìn)行圖像匹配。采用L1距離的主要原因是L1距離計(jì)算簡單，計(jì)算量小，不要開方和開根號計(jì)算。