專(zhuān)利名稱(chēng)：：一種綜合多特征圖像檢索方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及一種綜合多特征圖像檢索方法，具體涉及一種綜合圖像的顏色特征、紋理特征和形狀特征的多特征圖像檢索方法。(二)
背景技術(shù)：
：隨著信息技術(shù)的發(fā)展，人類(lèi)累積了大量各種形式的信息，既有形式較簡(jiǎn)單的文字信息，又有圖形圖像、聲音、視頻等多媒體信息。在這種情況下，用戶(hù)需要一個(gè)好的査找工具迅速找到他所需要的信息。當(dāng)前文本信息的査詢(xún)技術(shù)已相當(dāng)成熟，各種實(shí)用的互聯(lián)網(wǎng)搜索引擎如GOOGLE、BAIDU等都是基于文本查詢(xún)技術(shù)。然而用戶(hù)希望能進(jìn)一歩簡(jiǎn)單而全面的搜索和利用各樣多媒體信息。圖形圖像信息作為多媒休信息中應(yīng)用最廣泛的一種類(lèi)型，怎樣對(duì)它進(jìn)行有效迅速的檢索是人們一直思考的問(wèn)題。圖像不同于簡(jiǎn)單的文本，它在二維平面里展現(xiàn)內(nèi)容，其包含的信息量遠(yuǎn)大于文本。特別是文本自身就擁有語(yǔ)義上的定義，而圖像信息的表達(dá)必須通過(guò)圖像本身來(lái)進(jìn)行。由于基于文本的圖像檢索的固有缺陷，隨著計(jì)算機(jī)技術(shù)的發(fā)展，人們繼而把注意力轉(zhuǎn)向基于圖像本身對(duì)圖像進(jìn)行檢索，也即基于內(nèi)容的圖像檢索(content-basedimageretrieval,CBIR)。CBIR主要是指通過(guò)提取圖像的內(nèi)在特征進(jìn)行匹配、査找。利用某些算法，進(jìn)行特征提取和匹配。而這些步驟完全由機(jī)器自動(dòng)完成，克服了手工注釋的低效和二義性。按照提取的圖像特征，CBIR可分為基于低層視覺(jué)特征(如顏色、紋理、形狀、輪廓、圖像內(nèi)容的空間、時(shí)間關(guān)系等)的圖像檢索，和基于高層語(yǔ)義特征(人們對(duì)圖像內(nèi)容的概念級(jí)反映，一般是對(duì)圖像內(nèi)容的文字性描述)的圖像檢索?？傊?，基于內(nèi)容的圖像檢索技術(shù)融合了低級(jí)的圖像理解技術(shù)，從而可以提供更加有效的檢索途徑，而且還可以增加反饋環(huán)節(jié)，進(jìn)一步修正和優(yōu)化檢索結(jié)果，具有很好的用戶(hù)體驗(yàn)。如果基于內(nèi)容的圖像檢索系統(tǒng)能實(shí)現(xiàn)，那么它無(wú)疑會(huì)大幅度節(jié)省用戶(hù)檢索時(shí)間，大大提高用戶(hù)的圖像檢索效率。基于內(nèi)容的圖像檢索技術(shù)其實(shí)是多媒體數(shù)據(jù)挖掘領(lǐng)域的一部分，它融合了數(shù)據(jù)庫(kù)、人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域的理論和技術(shù)。基于內(nèi)容的圖像檢索是一種綜合集成技術(shù)，包括圖像特征提取、圖像特征匹配、數(shù)據(jù)模型、高維索引、相關(guān)反饋、人機(jī)接口、檢索性能評(píng)價(jià)等多項(xiàng)技術(shù)環(huán)節(jié)。每個(gè)方面都己進(jìn)行了不同程度的研究，且都處在尚未成熟階段。這兒主要介紹一下特征提取、特征匹配、圖像索引的研究現(xiàn)狀。在特征提取方面，圖像的內(nèi)容特征可以分為兩類(lèi):低層視覺(jué)內(nèi)容和高層語(yǔ)義內(nèi)容。低層視覺(jué)內(nèi)容主要包括顏色、形狀、紋理等特征;而高層語(yǔ)義內(nèi)容則包含高層的概念級(jí)反映，需要對(duì)物體進(jìn)行識(shí)別和解釋?zhuān)柚祟?lèi)的知識(shí)推理。由于目前計(jì)算機(jī)視覺(jué)和圖像理解的發(fā)展水平所限，使得CBIR還無(wú)法真止支持基T語(yǔ)義的圖像檢索。所以，目前對(duì)圖像特征提取算法的研究絕大部分是基于圖像的低層特征的，即利用圖像的顏色、紋理、形狀等特征來(lái)檢索圖像。己經(jīng)被實(shí)踐證明對(duì)圖像檢索比較有效的顏色特征的表達(dá)方法有:顏色直方圖，顏色相關(guān)圖，顏色矩，顏色一致性矢暈等方法；圖像顏色直方圖可以分為全局顏色直方圖和分塊顏色直方圖。全局顏色直方圖對(duì)整幅圖像的宏觀顏色統(tǒng)計(jì)信息能很好的刻畫(huà)，從而對(duì)圖像的旋轉(zhuǎn)、平移、縮放等有很好的魯棒性，但對(duì)顏色的空間位置分布沒(méi)有描述，會(huì)檢索出許多不相關(guān)的圖像；分塊顏色直方圖由于引入了位置信息，對(duì)圖像的描述更加精細(xì)，但其只能對(duì)對(duì)應(yīng)位置的顏色信息進(jìn)行比較，對(duì)圖像的旋轉(zhuǎn)、平移、縮放等比較敏感，魯棒性不好。如以圖l為例，如用全局顏色直方圖，則得出的結(jié)論是完全相似，但如用局部顏色直方圖，則剛好得出相反的結(jié)論，即一點(diǎn)也不相似。而如果用人眼去判斷，則得出一個(gè)部分相似的比較模糊的結(jié)論。由此可見(jiàn)，全局和局部顏色直方圖都不能很好的刻畫(huà)圖像中顏色的分布情況。怎樣既引入顏色的空間分布又不至于顯著降低魯棒性是本發(fā)明主要解決的技術(shù)問(wèn)題。紋理特征的表達(dá)方法包括Tamura紋理表示，Gabor濾波器，多尺度子回歸等方法，基于游程的紋理特征提取方法；形狀特征的表達(dá)方法包括:邊緣方向直方圖，興趣點(diǎn)，不變矩，傅立葉描述子，圖像鏈碼表示法等方法。在特征匹配方面，一般來(lái)說(shuō)，圖像的內(nèi)容含有語(yǔ)義信息(主觀的)和視覺(jué)特征(客觀的)。在語(yǔ)義信息上的相似性度量需要專(zhuān)家系統(tǒng)的幫助，這不屬于CBIR系統(tǒng)的范圍，因此，CBIR系統(tǒng)對(duì)相似性的度量應(yīng)建立在圖像視覺(jué)特征的基礎(chǔ)上。通常將距離度量和角度度量作為圖像的相似性度量。距離相似性度量是以查詢(xún)目標(biāo)與庫(kù)中圖像兩個(gè)對(duì)象的特征值距離的大小為依據(jù)，距離度量函數(shù)一般有絕對(duì)值距離(也叫城市街區(qū)距離)、相交距離、歐幾里德距離(歐氏距離)、二次距離度量方法等。在特征索引方面，一般情況下，描述圖像內(nèi)容的特征集合可看作是高維空間中的一個(gè)向量，這樣，基于內(nèi)容檢索(尋找與指定特征最相近的一組對(duì)象)就轉(zhuǎn)化為高維空間點(diǎn)集的最近鄰搜索問(wèn)題。由于CBIR系統(tǒng)中往往含有海量圖像，有必要在特征庫(kù)中使用相似索引技術(shù)來(lái)建立特征索引結(jié)構(gòu)，以支持對(duì)中、高維特征向量的基于相似性的査詢(xún)。在特征匹配時(shí)，CBIR系統(tǒng)將計(jì)算出來(lái)的向量距離按由小到大的排序方法來(lái)決定返回的結(jié)果。結(jié)果的返回方式大致分成兩類(lèi)i個(gè)最近鄰居?xùn)嗽?xún)和球形范圍査詢(xún)，前者返回與査詢(xún)向量的距離最小的A個(gè)特征向量所對(duì)應(yīng)的圖像:后者則返回與査詢(xún)向量的距離小于一個(gè)閾值的所有圖像。常見(jiàn)的索引結(jié)構(gòu)是四叉樹(shù)表示，此外，還有yt^/樹(shù)和/樹(shù)等。由于基于內(nèi)容的圖像檢索較之以往的圖像檢索方法有效性、準(zhǔn)確性、友好性都有較大的提高，所以國(guó)內(nèi)外許多公司和學(xué)校、科研機(jī)構(gòu)都紛紛投入人力物力進(jìn)行研究。目前已有一些系統(tǒng)已進(jìn)入了實(shí)際應(yīng)用巾，還有很多演示軟件。比較有影響和有代表性的主要有以下幾種IBM開(kāi)發(fā)的QBIC,Virage公司開(kāi)發(fā)的一種基于內(nèi)容的圖像搜索引擎Virage，MIT多媒體實(shí)驗(yàn)室開(kāi)發(fā)的一套用于瀏覽和搜索圖像的交互式工具Photobook，哥倫比亞大學(xué)開(kāi)發(fā)的VisualSEEK和WebSEEK，Excalibur公司開(kāi)發(fā)的RetrievalWare圖像搜索引擎，美國(guó)伊利諾斯大學(xué)Urbana-Champain分校開(kāi)發(fā)白勺MARS(multimediaanalysisandretrievalsystem等。國(guó)內(nèi)享有一定知名度的CBIR系統(tǒng)主要有中國(guó)科學(xué)院計(jì)算技術(shù)研究所研制的MIRES以及清華大學(xué)訃算機(jī)系研制的ImgRetr。
發(fā)明內(nèi)容本發(fā)明所耍解決的技術(shù)問(wèn)題在于提供一種能夠有效地提高系統(tǒng)的査準(zhǔn)率的圖像檢索方法。一種綜合多特征圖像檢索方法，包括進(jìn)行圖像特征的提取、索引和特征匹配，所述圖像特征包括顏色特征、紋理特征和形狀特征，所述圖像的顏色特征提取包括(1)將圖像規(guī)格化為128X128像素；(2)將一幅圖像分成mXn個(gè)小塊，每一小塊的大小為sXt個(gè)像素;HFi^16，(3)對(duì)于每一小塊圖像的每個(gè)像素計(jì)算得出C'值，選定主C'值，由各主C'值形成一個(gè)對(duì)應(yīng)的二維矩陣A，大小為mXn，表示為A={&7}i=l,2,…/t;力1，2，…化主C'值的選定原則是將像素個(gè)數(shù)最多的C'值作為該小塊圖像的主C'值，如果多個(gè)C'值的像素個(gè)數(shù)相同且都最大時(shí)則取平均值后取整做為主C'值；圖像C'值的計(jì)算方法如下對(duì)圖像選用HSV顏色空間，HSV各分量的范圍為/^,w,ve紅色H=1he[20,50)橙色2hGL50,75)黃色3he[75,155)綠色4he[155,195)青色5he[195，275)藍(lán)色—6hG[275，315)紫色<formula>formulaseeoriginaldocumentpage11</formula>量化后合成一維的顏色矢量C，合成方法如下:①對(duì)于W0.2的顏色認(rèn)為是黑色，6M);②對(duì)于W0.1，且vX),2的顏色按亮度V劃分為三種灰度，分別為ve(0.2,0.5]^罙灰，ve(0.5,0.8]淺灰禾口ve(0.8,1]白色，C的相應(yīng)〈直6、另U為C=l，2，3③其它情況下由式(3)算出C:進(jìn)而，C'取值如下式(3)<formula>formulaseeoriginaldocumentpage12</formula>(4)(4)建立一個(gè)々X么k二10的矩陣P，各元素初始值為0;將上步得到的矩陣A按Z字掃描順序進(jìn)行掃描得到掃描序列E，設(shè)￡,與￡,+|是掃描序列中的一對(duì)相繼出現(xiàn)的顏色，《在U勺前面，則P中相應(yīng)元素/V^,《+J自增1，反復(fù)直到掃描完成；(5)建立AXA的矩陣D，D中元素的計(jì)算公式如下式則矩陣D就是該圖像的顏色相鄰矩陣；所述圖像的顏色特征匹配中，采用下述方法進(jìn)行相似度表征沒(méi)Da，DB分別表不兩幅圖像A，B的顏色相鄰矩陣，大小皆為kXk，k=10，則兩幅圖像間相似度定義如下式<formula>formulaseeoriginaldocumentpage12</formula><formula>formulaseeoriginaldocumentpage13</formula>進(jìn)一步，所述圖像檢索方法包括下述步驟(1)將例圖和當(dāng)前檢索圖像大小規(guī)格化為128X128像素；(2)將規(guī)格化后的圖像顏色空間轉(zhuǎn)換到HSV空間，同時(shí)進(jìn)行量化，量化后共67級(jí)；(3)將圖像分成32X32大小的塊共16塊，得出每塊的顏色直方圖，同時(shí)將這些塊繼續(xù)分成8X8大小的小塊，提取各小塊的主C'值，得到整幅圖形的二維矩陣；(4)按分塊顏色直方圖相交法算出兩幅圖像的相似度Similarityn，公式如下<formula>formulaseeoriginaldocumentpage13</formula>其中",,，、分別表示兩幅圖像的第《"^16)塊的C值為7、66)的像素個(gè)數(shù)；(5)按順序掃描步驟(3)得到的二維矩陣，得出圖像的顏色相鄰矩陣，并算出兩幅圖像的相似度&>//^"2;(6)按下式(10)對(duì)^加7,i0^和^啦7srWj^進(jìn)行合成得到圖像顏色特征相似度Similarity。57mZ/fln7)^=S/wZ/ar//)^,x0.6+57m!'/an'/>>12x0.4(10)(7)首先將圖像轉(zhuǎn)換成灰度圖，冉由CANNY算子得出圖像的邊界曲線，然后得到圖像鏈碼直方圖表示的形狀特征，最后再按直方圖相交法計(jì)算形狀特征相似度Similarity"(8)將步驟(7)中得到的圖像邊界曲線，提取出基于游程長(zhǎng)度統(tǒng)計(jì)的圖像紋理特征參數(shù)L，T2，T3，T4，按下式(11)計(jì)算出兩幅圖像的紋理特征相似度Similarity3:similarity=i-I,,—r6,i/腿(7;,;,7;,,)](11)其中t;,，；,分別表示兩幅圖像的Ti值；(9)將上面得到的圖像顏色特征相似度Similarity,、形狀特征相似度Similarity2、紋理特征相似度Similarity3按下式(12)加權(quán)相加合成為兩幅圖像總的相似度57>m7"/"/(y=Z*A'fTO7"r/(y,(12)(10)對(duì)圖像庫(kù)中的每幅圖像重復(fù)以上歩驟，計(jì)算出每幅圖像與例圖的相似度；(11)將圖像按相似度的逆序排列，返回給用戶(hù)。進(jìn)一歩，所述圖像檢索方法步驟(9)中》^0.6,^0.2,k4).2。步驟(7)可參考本領(lǐng)域技術(shù)人員公知的方法，如"IivarinenJaperM，SrelJandVisaA.1997.Comparisonofcombinedshapedescriptorsforirregularobjects.InAFClark(ed)，Proceedingsofthe8thBritishMachineVisionConference,BMVCVol2,Essex,GreatBritain,430-439"中描述的方法。步驟(8)可參考本領(lǐng)域技術(shù)人員公知的方法，如"阮秋琦.2007.數(shù)字圖像處理學(xué)(第二版)417。北京電子工業(yè)出版社"中描述的方法。本發(fā)明的有效效果在于1、通過(guò)對(duì)傳統(tǒng)圖像顏色特征的提取方法做出了改進(jìn)，改進(jìn)了傳統(tǒng)局部顏色直方圖法，提出了顏色相鄰矩陣來(lái)描繪圖像像素顏色的相對(duì)分布情況，對(duì)該矩陣的相似性計(jì)算上采取了計(jì)算矩陣的相關(guān)系數(shù)的方法，實(shí)驗(yàn)證明綜合顏色直方圖法和顏色相鄰矩陣法兩種顏色子特征的基于顏色的圖像檢索方法比一般的基于顏色的圖像檢索方法的査準(zhǔn)率有了較大的提高；2、采用了融合顏色、紋理、形狀多種圖像特征的圖像檢索方法，能夠有效地提高方法的查準(zhǔn)率。(四)圖1是圖像顏色特征提取的示例圖。圖2是Z字掃描順序圖。圖3是三種檢索方法的形式化統(tǒng)計(jì)表。圖4是三種檢索方法的準(zhǔn)確率統(tǒng)計(jì)表。圖5檢索例圖為紅色公汽時(shí)各種方法的檢索結(jié)果圖。圖6是檢索例圖為花時(shí)各種方法的檢索結(jié)果圖。(五)具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步描述，但本發(fā)明的保護(hù)范圍并不限于此。一種綜合多特征圖像檢索方法，包括進(jìn)行圖像特征的提取、索引和特征匹配，所述圖像特征包括顏色特征、紋理特征和形狀特征，所述圖像的顏色特征提取包括(1)將圖像規(guī)格化為128X128像素；(2)將一幅圖像分成mXn個(gè)小塊，每一小塊的大小為sXt個(gè)像素；iiFr^16，(3)對(duì)于每一小塊圖像的每個(gè)像素計(jì)算得出C'值，選定主C'值，由各主C'值形成一個(gè)對(duì)應(yīng)的二維矩陣A，大小為mXn,表示為A二(aJi二l,2，…^力1,2,…化主C'值的選定原則是將像素個(gè)數(shù)最多的C'值作為該小塊圖像的主C'值，如果多個(gè)C'值的像素個(gè)數(shù)相同且都最大時(shí)則取平均值后取整做為主C'值；圖像C'值的計(jì)算方法如下對(duì)圖像選用HSV顏色空間，HSV各分量的范圍為"，w[(U]，ve，規(guī)定h、s、v為RGB空間顏色轉(zhuǎn)換到HSV空間的連續(xù)值，H、S、V為h、s、v三個(gè)量量化后的離散值，量化方法如下式<formula>formulaseeoriginaldocumentpage16</formula>量化后合成一維的顏色矢量C，合成方法如下:①對(duì)于W0.2的顏色認(rèn)為是黑色，CO;②對(duì)于W0.1，且vX),2的顏色按亮度V劃分為三種灰度，分別為ve(0.2,0.5]深灰，vs(0.5，0.8]淺灰禾卩ve(0.8,1]白色，C的相應(yīng)值分別為C=l,2，3③其它情況下由式(3)算出C:進(jìn)而，C'取值如下式:「H<formula>formulaseeoriginaldocumentpage17</formula>(4)建立一個(gè)AX么k二10的矩陣P，各元素初始值為0;將上步得到的矩陣A按Z字掃描順序進(jìn)行掃描得到掃描序列E，設(shè)￡,與《+|是掃描序列中的一對(duì)相繼出現(xiàn)的顏色，"在&,的前面，則P中相應(yīng)元素/Y"dJ自增l，反復(fù)直到掃描完成；(5)建立AXA的矩陣D，D中元素的計(jì)算公式如下式(5)則矩陣D就是該圖像的顏色相鄰矩陣；如以下式表示的二維矩陣A為例，按圖2所示進(jìn)行Z型掃描，00000000000000011111111111111112222222222222222333333333333333344444444444444445555555555555555666666666666666677777777777777778888888888888888999999999999999900000000000000001111111111111111222222222222222233333333333333334444444444444444、5555555555555555人Z型掃描序列為E二00121001234321001234565432100123456787654321001234567890956789012345543210987654321234567890123455432109876543456789012345543210987656789012345543210987890123455432109012345543212345543455，相應(yīng)的P矩陣為816000000081401800000000160160000000014018000000001601600000000148900000000808000000007090000000080890000000"70從而得到的顏色相鄰矩陣為:<formula>formulaseeoriginaldocumentpage19</formula>當(dāng)然，如果覺(jué)得Z型掃描沒(méi)能很好的刻畫(huà)相鄰像素的顏色關(guān)系，可以按水平、垂直、z型、逆z型四個(gè)方向掃描，得到四個(gè)顏色相鄰矩陣然后加權(quán)求平均這樣效果會(huì)更好。所述圖像的顏色特征匹配中，采用下述方法進(jìn)行相似度表征投Da，DB分別表示兩幅圖像A，B的顏色相鄰矩陣，大小皆為kXk，k=10，則兩幅圖像間相似度定義如下式<formula>formulaseeoriginaldocumentpage19</formula>其中，<formula>formulaseeoriginaldocumentpage19</formula>/v=+iix(8)。ft(=i戶(hù)i所述圖像檢索方法包括下述步驟(1)將例圖和當(dāng)前檢索圖像大小規(guī)格化為128X128像素；(2)將規(guī)格化后的圖像顏色空間轉(zhuǎn)換到HSV空間，同時(shí)進(jìn)行量化，量化后共67級(jí)；(3)將圖像分成32X32大小的塊共16塊，得出每塊的顏色直方圖，同時(shí)將這些塊繼續(xù)分成8X8大小的小塊，提取各小塊的主C'值，得到整幅圖形的二維矩陣；(4)按分塊顏色肓方圖相交法算出兩幅圖像的相似度Similarity，公式如下其中％，、分別表示兩幅圖像的第/(1《16)塊的C值為y(o<SyS66)的像素個(gè)數(shù)；(5)按順序掃描歩驟(3)得到的二維矩陣，得出圖像的顏色相鄰矩陣，并算出兩幅圖像的相似度&>//"柳12;(6)按下式(10)對(duì)si/w'isWO^和幻'加7shtj^進(jìn)行合成得到圖像顏色特征相似度Similarity,:(7)首先將圖像轉(zhuǎn)換成灰度圖，再由CANNY算子得出圖像的邊界曲線，然后得到圖像鏈碼直方圖表示的形狀特征，最后再按直方圖相交法計(jì)算形狀特征相似度Similarity"S7附z7a〃'/)^=S/附；/on'/)^x0.6+Si7<2n'/)<>12x0.4(8)將步驟(7)中得到的圖像邊界曲線，提取出基于游程長(zhǎng)度統(tǒng)計(jì)的圖像紋理特征參數(shù)T,，T2，T3，T4，按下式(11)計(jì)算出兩幅圖像的紋理特征相似度Similarity3rSimilarity=1—邊|7;,—7;;|/顧(；,;,,)](11)4卜l其中;,，；分別表示兩幅圖像的Ti值；(9)將上面得到的圖像顏色特征相似度Similarity。形狀特征相似度Similarity2、紋理特征相似度Similarity;按下式(12)加權(quán)相加合成為兩幅圖像總的相似度x/附z7"n./^=S*s,附/Z"r/(v,(12)(10)對(duì)圖像庫(kù)中的每幅圖像重復(fù)以上歩驟，計(jì)算出每幅圖像與例圖的相似度；(11)將圖像按相似度的逆序排列，返回給用戶(hù)。所述圖像檢索方法步驟(9)中^=0.6,,^0.2,的4).2。本實(shí)施例采用檢索準(zhǔn)確率和自定義的一個(gè)參數(shù)對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)。檢索準(zhǔn)確率P定義為某次檢索中檢索出的相關(guān)圖像數(shù)與檢索出的總圖像數(shù)的比率。自定義參數(shù)描述如下設(shè)在某次査詢(xún)Q中，檢索到的前w幅圖像中有A幅是相關(guān)圖像，分別為/^，尸及2，..H，在檢索結(jié)果中相應(yīng)的順序號(hào)分別為^^、^^…^^。另前w幅圖像中有^幅是不相關(guān)的，分別為/^，戶(hù)^2，...尸仏2，相應(yīng)的序號(hào)分別為^，.、M、、A^A;2，+112^定義<formula>formulaseeoriginaldocumentpage22</formula>當(dāng)前n幅圖像全部相關(guān)時(shí)AvgP取得最大值1,當(dāng)前n幅圖像都不相關(guān)時(shí)AvgP取得最小值O，其它情況介于0與1之間，越接近l說(shuō)明效果越好，這樣AvgP就能很好的刻畫(huà)檢索效果。本測(cè)試中n取30，即只顯示前30幅圖像，且以下各種參數(shù)計(jì)算也都只針對(duì)前30幅來(lái)進(jìn)行。用MATLAB實(shí)現(xiàn)本文提出的算法并在SIMPLIcity集的一個(gè)子集上進(jìn)行了實(shí)驗(yàn)。SIMPLIcity測(cè)試集是從Cord圖像庫(kù)中選取的，共包含有10個(gè)語(yǔ)義類(lèi)。IO個(gè)語(yǔ)義類(lèi)分別為非洲人、海灘、建筑物、公共汽車(chē)、恐龍、大象、花、馬、高山和食物。本文實(shí)驗(yàn)中在每個(gè)語(yǔ)義類(lèi)中取前30幅圖片，這樣測(cè)試庫(kù)由300幅圖像組成。下面比較了仝局顏色直方圖、分塊顏色直方圖和本發(fā)明的檢索方法共3種方法的試驗(yàn)結(jié)果。具體測(cè)試時(shí)每種方法每個(gè)類(lèi)別中取6幅圖像作為例圖檢索，這樣每種方法共進(jìn)行60次檢索，待比較的3種方法共進(jìn)行180次檢索。對(duì)于每類(lèi)圖像而言，計(jì)算其6次查詢(xún)結(jié)果的檢索準(zhǔn)確率平均值和AvgP平均值，并將其作為該類(lèi)圖像的平均準(zhǔn)確率和平均AvgP值。表1用三種方法對(duì)所有類(lèi)別圖像進(jìn)行檢索時(shí)的評(píng)測(cè)值<table>tableseeoriginaldocumentpage22</column></row><table>由于AvgP既考慮到相關(guān)圖像在結(jié)果序列中的序號(hào)，又考慮到不相關(guān)圖像的序號(hào)，所以它對(duì)檢索結(jié)果的刻畫(huà)相比于精度而言更全面，比一般的相關(guān)圖像平均排序指標(biāo)也更全面。相應(yīng)的形式化統(tǒng)計(jì)表如圖3所示，各種方法的準(zhǔn)確率如圖4所示。應(yīng)該要注意到，檢索準(zhǔn)確率只注意檢出的相關(guān)圖像與全部檢出圖像的比率，與圖像排序位置無(wú)關(guān)。所以，準(zhǔn)確率與參數(shù)AvgP存在不一致性，即有時(shí)某種方法準(zhǔn)確率比其它方法高但AvgP反而低，反之亦然。總體來(lái)說(shuō)，恐龍圖像比較簡(jiǎn)單，整幅圖像可以很清楚的分為前景和背景兩部分，從而各種方法都有較高的檢索準(zhǔn)確率；而建筑、高山、食物等主題的圖像構(gòu)成較復(fù)雜，所含對(duì)象也較多，提取的特征并不能很好的表征圖像，所以各方法準(zhǔn)確率也較低；而其它語(yǔ)義類(lèi)的圖像復(fù)雜度介于二者之間，準(zhǔn)確率也介于它們之間。按方法來(lái)說(shuō)，由于并沒(méi)有對(duì)這些圖像進(jìn)行旋轉(zhuǎn)、平移等變形，全局直方圖相對(duì)于分塊直方圖魯棒性好的優(yōu)點(diǎn)沒(méi)表現(xiàn)出來(lái)，故分塊直方圖法的效果要好于全局直方圖法，而本文方法的檢索效果乂普遍好于以上兩種方法。在檢索恐龍時(shí)本文方法的準(zhǔn)確率甚至達(dá)到了100%，比其它方法精度提高差不多20%。圖5是檢索例圖為紅色公汽時(shí)各種方法的檢索結(jié)果。在圖4的檢索結(jié)果中，全局直方圖法由于對(duì)圖像刻畫(huà)得不夠細(xì)致，導(dǎo)致誤檢率較高，前18幅圖像中有4幅不相關(guān)；局部直方圖由于結(jié)合了位置元素，對(duì)圖像描述更加充分，從而效果有一定的提高，前18幅只有2幅不相關(guān)；而在本文方法中，既引入/絕對(duì)位置，又引入了相對(duì)位置，顏色量化也更科學(xué)，同時(shí)還結(jié)合了圖像的粗略形狀和紋理特征，對(duì)圖像的刻畫(huà)也更精細(xì)和全面，從而效果也進(jìn)一步提高，前18幅圖像只有1幅不相關(guān)，位置也很靠后，結(jié)果較令人滿(mǎn)意。圖6是檢索例圖為花的檢索結(jié)果。上面三行是全局直方圖結(jié)果圖像，中間三行是局部直方圖結(jié)果圖像，下面三行是本文中的綜合方法圖。由于花的形狀較復(fù)雜，顏色分量在占有較大的分量則區(qū)分效果較好，形狀分量和紋理分量作為適當(dāng)?shù)难a(bǔ)充。很顯然，最后一種方法取得較好的效果。權(quán)利要求1、一種綜合多特征圖像檢索方法，包括進(jìn)行圖像特征的提取、索引和特征匹配，所述圖像特征包括顏色特征、紋理特征和形狀特征，其特征在于所述圖像的顏色特征提取包括(1)將圖像規(guī)格化為128×128像素；(2)將一幅圖像分成m×n個(gè)小塊，每一小塊的大小為s×t個(gè)像素；m＝n＝16，s＝t＝8；(3)對(duì)于每一小塊圖像的每個(gè)像素計(jì)算得出C’值，選定主C’值，由各主C’值形成一個(gè)對(duì)應(yīng)的二維矩陣A，大小為m×n，表示為A＝{aij}i＝1，2，…m；j＝1，2，…n；主C’值的選定原則是將像素個(gè)數(shù)最多的C’值作為該小塊圖像的主C’值，如果多個(gè)C’值的像素個(gè)數(shù)相同且都最大時(shí)則取平均值后取整做為主C’值；圖像C’值的計(jì)算方法如下對(duì)圖像選用HSV顏色空間，HSV各分量的范圍為h∈，s∈，v∈，規(guī)定h、s、v為RGB空間顏色轉(zhuǎn)換到HSV空間的連續(xù)值，H、S、V為h、s、v三個(gè)量量化后的離散值，量化方法如下式<mathsid="math0001"num="0001"><math><![CDATA[<mrow><mi>S</mi><mo>,</mo><mi>V</mi><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mi>s</mi><mo>,</mo><mi>v</mi><mo><</mo><mn>0.2</mn></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>0.2</mn><mo>≤</mo><mi>s</mi><mo>,</mo><mi>v</mi><mo><</mo><mn>0.7</mn></mtd></mtr><mtr><mtd><mn>2</mn></mtd><mtd><mi>s</mi><mo>,</mo><mi>v</mi><mo>≥</mo><mn>0.7</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math></maths>量化后合成一維的顏色矢量C，合成方法如下①對(duì)于v≤0.2的顏色認(rèn)為是黑色，C＝O；②對(duì)于s≤0.1，且v＞0.2的顏色按亮度v劃分為三種灰度，分別為v∈(0.2，0.5]深灰，v∈(0.5，0.8]淺灰和v∈(0.8，1]白色，C的相應(yīng)值分別為C＝1，2，3；③其它情況下由式(3)算出CC＝4+9H+3S+V(3)進(jìn)而，C’取值如下式<mathsid="math0002"num="0002"><math><![CDATA[<mrow><msup><mi>C</mi><mo>,</mo></msup><mo>=</mo><mfencedopen='{'close=''><mtable><mtr><mtd><mi>H</mi></mtd><mtd><mi>C</mi><mo>≠</mo><mn>0,1,2,3</mn></mtd></mtr><mtr><mtd><mn>7</mn></mtd><mtd><mi>C</mi><mo>=</mo><mn>0</mn></mtd></mtr><mtr><mtd><mn>8</mn></mtd><mtd><mi>C</mi><mo>=</mo><mn>1,2</mn></mtd></mtr><mtr><mtd><mn>9</mn></mtd><mtd><mi>C</mi><mo>=</mo><mn>3</mn></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math></maths>(4)建立一個(gè)k×k，k＝10的矩陣P，各元素初始值為0；將上步得到的矩陣A按Z字掃描順序進(jìn)行掃描得到掃描序列E，設(shè)Ei與Ei+1是掃描序列中的一對(duì)相繼出現(xiàn)的顏色，Ei在Ei+1的前面，則P中相應(yīng)元素P[Ei，Ei+1]自增1，反復(fù)直到掃描完成；(5)建立k×k的矩陣D，D中元素的計(jì)算公式如下式<mathsid="math0003"num="0003"><math><![CDATA[<mrow><msub><mi>D</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>=</mo><msub><mi>P</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>/</mo><munderover><mi>Σ</mi><mrow><mi>n</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><msub><mi>P</mi><mrow><mi>i</mi><mo>,</mo><mi>n</mi></mrow></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow>]]></math></maths>則矩陣D就是該圖像的顏色相鄰矩陣；所述圖像的顏色特征匹配中，采用下述方法進(jìn)行相似度表征設(shè)DA，DB分別表示兩幅圖像A，B的顏色相鄰矩陣，大小皆為k×k，k＝10，則兩幅圖像間相似度定義如下式<mathsid="math0004"num="0004"><math><![CDATA[<mrow><msub><mi>Similarity</mi><mn>12</mn></msub><mrow><mo>(</mo><mi>A</mi><mo>,</mo><mi>B</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><mrow><mo>(</mo><msub><mi>D</mi><msub><mi>A</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></msub><mo>-</mo><msub><mi>μ</mi><mi>A</mi></msub><mo>)</mo></mrow><mrow><mo>(</mo><msub><mi>D</mi><msub><mi>B</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></msub><mo>-</mo><msub><mi>μ</mi><mi>B</mi></msub><mo>)</mo></mrow></mrow><msqrt><mrow><mo>(</mo><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><msup><mrow><mo>(</mo><msub><mi>D</mi><msub><mi>A</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></msub><mo>-</mo><msub><mi>μ</mi><mi>A</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>)</mo></mrow><mrow><mo>(</mo><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><msup><mrow><mo>(</mo><msub><mi>D</mi><msub><mi>B</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></msub><mo>-</mo><msub><mi>μ</mi><mi>B</mi></msub><mo>)</mo></mrow><mn>2</mn></msup><mo>)</mo></mrow></msqrt></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math></maths>其中，<mathsid="math0005"num="0005"><math><![CDATA[<mrow><msub><mi>μ</mi><mi>A</mi></msub><mo>=</mo><mfrac><mn>1</mn><msup><mi>k</mi><mn>2</mn></msup></mfrac><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><msub><mi>D</mi><msub><mi>A</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>7</mn><mo>)</mo></mrow></mrow>]]></math></maths><mathsid="math0006"num="0006"><math><![CDATA[<mrow><msub><mi>μ</mi><mi>B</mi></msub><mo>=</mo><mfrac><mn>1</mn><msup><mi>k</mi><mn>2</mn></msup></mfrac><munderover><mi>Σ</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><munderover><mi>Σ</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>k</mi></munderover><msub><mi>D</mi><msub><mi>B</mi><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>8</mn><mo>)</mo></mrow><mo>.</mo></mrow>]]></math></maths>2、如權(quán)利要求1所述的綜合多特征圖像檢索方法，其特征在于所述圖像檢索方法包括下述步驟(1)將例圖和當(dāng)前檢索圖像大小規(guī)格化為128X128像素；(2)將規(guī)格化后的圖像顏色空間轉(zhuǎn)換到HSV空間，同時(shí)進(jìn)行量化，量化后共67級(jí)；(3)將圖像分成32X32大小的塊共16塊，得出每塊的顏色直方圖，同時(shí)將這些塊繼續(xù)分成8X8大小的小塊，提取各小塊的主C'值，得到整幅圖形的二維矩陣；(4)按分塊顏色直方圖相交法算出兩幅圖像的相似度Similarityu,公式如下<formula>formulaseeoriginaldocumentpage5</formula>其中。,？、分別表示兩幅圖像的第《1&、16)塊的C值為y(0^"6)的像素個(gè)數(shù)；(5)按順序掃描步驟(3)得到的二維矩陣，得出圖像的顏色相鄰矩陣，并算出兩幅圖像的相似度Sm//^/^;(6)按下式(10)對(duì)w'啦7arit^和幻'肌7an'0^進(jìn)行合成得到圖像顏色特征相似度Similarity,:5Vto7鎖'/)^:SiTO7"r/(yux0,6+57mi/""(y12x0.4(10)(7)首先將圖像轉(zhuǎn)換成灰度圖，再由CANNY算子得出圖像的邊界曲線，然后得到圖像鏈碼直方圖表示的形狀特征，最后再按直方圖相交法計(jì)算形狀特征相4以度Similarity2;(8)將步驟(7)中得到的圖像邊界曲線，提取出基于游程長(zhǎng)度統(tǒng)計(jì)的圖像紋理特征參數(shù)T"T2，T3，T,，按卜式(11)計(jì)算出兩幅圖像的紋理特征相似度Similarity3:<formula>formulaseeoriginaldocumentpage5</formula>其中t;,，；,分別表示兩幅圖像的L值；(9)將上面得到的圖像顏色特征相似度Similarity,、形狀特征相似度Similarity^紋理特征相似度Similarity;按下式(12)加權(quán)相加合成為兩幅圖像總的相似度<formula>formulaseeoriginaldocumentpage6</formula>(10)對(duì)圖像庫(kù)中的每幅圖像重復(fù)以上步驟，計(jì)算出每幅圖像與例圖的相似度；(11)將圖像按相似度的逆序排列，返回給用戶(hù)。3、如權(quán)利要求2所述的綜合多特征圖像檢索方法，其特征在于所述圖像檢索方法步驟(9)中『^0.6,pt^0.2,r^0.2。全文摘要本發(fā)明涉及一種綜合多特征圖像檢索方法，包括進(jìn)行圖像特征的提取、索引和特征匹配，所述圖像特征包括顏色特征、紋理特征和形狀特征，所述圖像的顏色特征提取包括(1)將圖像規(guī)格化為128×128像素；(2)將一幅圖像分成m×n個(gè)小塊；(3)對(duì)于每一小塊圖像的每個(gè)像素計(jì)算得出C’值，選定主C’值，由各主C’值形成一個(gè)對(duì)應(yīng)的二維矩陣A。本發(fā)明通過(guò)對(duì)傳統(tǒng)圖像顏色特征的提取方法做出了改進(jìn)，改進(jìn)了傳統(tǒng)局部顏色直方圖法，比一般的基于顏色的圖像檢索方法的查準(zhǔn)率有了較大的提高；采用了融合顏色、紋理、形狀多種圖像特征的圖像檢索方法，能夠有效地提高方法的查準(zhǔn)率。文檔編號(hào)G06F17/30GK101551823SQ20091009774公開(kāi)日2009年10月7日申請(qǐng)日期2009年4月20日優(yōu)先權(quán)日2009年4月20日發(fā)明者徐慧英,朱信忠,杰袁,趙建民申請(qǐng)人:浙江師范大學(xué)