專利名稱：基于信息突變的圖像檢索算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像檢索領(lǐng)域，設(shè)計和實現(xiàn)了一種基于信息突變的圖像檢索算法。
背景技術(shù)：
隨著互聯(lián)網(wǎng)上大規(guī)模圖像數(shù)據(jù)的激增，傳統(tǒng)的文本搜索引擎已遠(yuǎn)不能滿足人們信息檢索的需求，基于內(nèi)容的檢索技術(shù)逐漸成為目前多媒體信息檢索、人工智能、數(shù)據(jù)庫等領(lǐng)域中一個新的研究熱點。
基于內(nèi)容的圖像檢索方法涉及到兩個關(guān)鍵技術(shù)圖像特征的提取、表示方式以及檢索算法中相似性度量準(zhǔn)則的設(shè)定。目前，基于內(nèi)容的圖像特征提取、表示多是從圖像的顏色、形狀、紋理等底層特征入手，利用顏色直方圖、共生矩陣、形狀不變矩等對圖像進(jìn)行描述與存儲，但這些方法都有其固有的缺陷。顏色直方圖計算簡單，但喪失了圖像的空間信息；共生矩陣雖然兼顧了顏色和空間兩方面的信息，卻帶來了算法復(fù)雜度的增加。為解決以上問題，一些檢索系統(tǒng)，如BlobWorld系統(tǒng)和Netra系統(tǒng)等，在特征提取前對圖像進(jìn)行預(yù)分割，獲得圖像不同的目標(biāo)區(qū)域，然后再基于圖像區(qū)域抽取特征，由此獲得了比基于全局圖像特征更好的檢索結(jié)果。
目前，復(fù)雜背景下圖像的自動分割還是一個難點問題，而且即使得到這樣的區(qū)域，要想對其正確表征需要抽取多維特征。對于大型圖像數(shù)據(jù)庫而言，高維向量的存儲，以及高維空間中距離的計算，將導(dǎo)致算法復(fù)雜度成數(shù)量級增加。基于此，許多學(xué)者提出了一種提取圖像的粗略區(qū)域的方法。其傳統(tǒng)做法為對圖像進(jìn)行固定子塊的劃分，提取各個子塊的特征并進(jìn)行檢索。這種做法雖然考慮了圖像的空間位置信息，但其分割方法過于簡單，且容易破壞圖像內(nèi)部語義的相關(guān)性。因此，研究如何兼顧特征抽取、存儲，檢索算法的低復(fù)雜度與圖像語義貼合性兩方面的因素，將是一個有意義的嘗試。

發(fā)明內(nèi)容
本發(fā)明的目的是充分利用圖像中所蘊含的豐富的顏色和空間信息，提出一種基于信息突變的圖像檢索方法。它根據(jù)圖像特征制定相應(yīng)的策略，通過粗略區(qū)域劃分獲得有意義的分割結(jié)果，并在此基礎(chǔ)上抽取區(qū)域特征和設(shè)計相應(yīng)的相似性度量算法，從而實現(xiàn)基于內(nèi)容的圖像檢索。人類觀察一幅圖像時，總是依其顏色分布和目標(biāo)物體形狀進(jìn)行識別。而目標(biāo)物體邊緣的局部小區(qū)域內(nèi)往往對應(yīng)著顏色信息的突變，因此，本發(fā)明把圖像劃分的關(guān)注點聚焦到顏色信息的突變上，并在此基礎(chǔ)上制定相應(yīng)的判別準(zhǔn)則實現(xiàn)彩色圖像自適應(yīng)分割的目的。然后，分別抽取圖像各個區(qū)域的HSV顏色直方圖、分塊主色以及中心矩，對圖像區(qū)域特征進(jìn)行刻畫；在此基礎(chǔ)上，本發(fā)明以直方圖交叉距離為依據(jù)，利用分塊主色對其進(jìn)行加權(quán)后作為分子，用中心矩的差的平方作為分母，制定了圖像的加權(quán)直方圖距離實現(xiàn)對兩幅圖像進(jìn)行相似性度量的目的。
本發(fā)明的技術(shù)思路特征為1.在圖像分割過程中，利用圖像的目標(biāo)物體邊緣的局部小區(qū)域內(nèi)對應(yīng)顏色信息突變的特點，對圖像進(jìn)行初始分割。
2.在每一次塊搜索的過程中，利用當(dāng)前像素塊與相鄰行、列像素之間有相關(guān)性的特點，通過垂直、水平拓展(見圖1)，得到一個衡量顏色信息突變程度的拓展像素塊，分別計算兩者的顏色均值，相減后得到信息殘差。
3.根據(jù)以上得到的信息殘差，與一經(jīng)驗閾值相比較(該閾值取值為8，是由大量實驗獲得的)，若大于閾值則表示拓展像素塊中存在顏色信息突變，本次塊搜索結(jié)束，返回下一次塊搜索的初始像素，重新開始塊搜索；否則將繼續(xù)進(jìn)行本次塊搜索，即繼續(xù)向外拓展。
4.在一個方向(圖像的橫向或豎向)上利用塊搜索規(guī)則反復(fù)進(jìn)行塊搜索，直到到達(dá)圖像邊界(圖像的寬或高)，這樣，將得到若干尺寸不等的像素塊，將這樣一次搜索定義為一次方向搜索(根據(jù)搜索方向不同分為橫向搜索或豎向搜索)。根據(jù)這些得到的像素塊，分別取其中具有最大或最小尺寸的像素塊，將其對應(yīng)尺寸作為本次方向搜索的最終分割的尺寸(見圖2)。
5.在橫、豎兩個方向上分別反復(fù)進(jìn)行方向搜索，直到到達(dá)圖像邊界，最終得到圖像的初始分割方案(見圖3(a))。
6.在垂直、水平兩個方向分別對圖像的初始分割區(qū)域進(jìn)行合并，不斷合并區(qū)域距離最小的兩個區(qū)域，直到圖像被劃分為3×3子塊，即9個區(qū)域(見圖3(b))。
7.根據(jù)圖像分割結(jié)果，分別抽取圖像各個區(qū)域的HSV顏色直方圖、分塊主色以及中心矩，對區(qū)域特征進(jìn)行刻畫。
8.在檢索過程中，本發(fā)明以利用主色進(jìn)行加權(quán)后的直方圖交叉距離為分子，用中心矩的差的平方作為分母，制定了圖像的加權(quán)直方圖距離，實現(xiàn)對兩幅圖像進(jìn)行相似性度量的目的。
9.綜合考慮，本發(fā)明在圖像分割、區(qū)域特征提取以及圖像檢索的各個環(huán)節(jié)都充分考慮到圖像顏色和空間信息的綜合利用。通過檢測顏色信息突變的方法對圖像進(jìn)行分割處理，區(qū)分出圖像的目標(biāo)區(qū)域和背景，得到符合人類視覺感知的圖像區(qū)域；加權(quán)顏色直方圖距離的制定充分利用圖像分割和區(qū)域特征提取所獲得的信息，大幅提高了圖像的查準(zhǔn)率，具有很好的檢索效果。
本發(fā)明的技術(shù)方案流程圖參見圖4、圖5。圖4是本發(fā)明圖像最大行距橫向搜索方法的流程圖，圖5是本發(fā)明的整個檢索方法的流程圖。
一種基于信息突變的圖像檢索算法，其特征在于，包括下述步驟1)讀入用戶從外接數(shù)碼相機(jī)中上傳的或者讀入計算機(jī)里儲存的樣例圖像Sample，將其從RBG轉(zhuǎn)換到HSV顏色空間，并將其中的色調(diào)H、飽和度S、亮度V三個分量按照公式(1)計算得到歸一化分量L后，將L作為像素的顏色值；L＝16H+4S+V (1)2)將圖像左上角的像素P0(0，0)作為初始種子點，分別向下、向右擴(kuò)展一行、一列像素，得到一正方形區(qū)域，計算該正方形區(qū)域內(nèi)所有像素的顏色值的平均值，然后計算其與初始種子點顏色值的差值Dif，將Dif與閾值Thred＝8相比較，若Dif＞Thred則表示該區(qū)域中存在顏色信息突變；否則，仍以圖像左上角的像素P0(0，0)為初始種子點，以剛搜索完的區(qū)域為基礎(chǔ)，再分別向下、向右擴(kuò)展一行、一列像素，得到一新的正方形區(qū)域，計算該區(qū)域的顏色均值arg(new)，然后計算其與擴(kuò)展前正方形區(qū)域的顏色均值arg(origin)的差值Dif，如(2)式所示Dif＝arg(origin)-arg(new) (2)式中arg(origin)=1(k-1-br)(s-1-bc)Σi=bri=k-1Σj=bcj=s-1Pij---(3)]]>arg(new)=1(k-br)(s-bc)Σi=bri=kΣj=bcj=sPij---(4)]]>其中，br是初始種子的行號、bc是其列號，它們的初始值都為0；k和s分別代表新得到的正方形區(qū)域的右下角像素的行號、列號；Pij表示第i行、第j列像素的顏色特征向量L的值；再將Dif與閾值Thred相比較，直至Dif＞Thred即該區(qū)域中存在顏色信息突變時，本次搜索結(jié)束，將剛搜索過的區(qū)域定義為一個塊，將對該塊的搜索定義為一個塊搜索；3)以2)為基礎(chǔ)對圖像進(jìn)行多方位、多尺寸的方向搜索，搜索分4次進(jìn)行，分別為最大行距橫向搜索、最小行距橫向搜索、最大列距豎向搜索及最小列距豎向搜索；橫向搜索a1、重新定義2)中得到的塊的右上角點的像素Pl(i，j)為新的初始種子點；b1、以新定義的初始種子點為起點，分別向下、向右擴(kuò)展一行、一列像素，得到一正方形區(qū)域，計算該正方形區(qū)域的顏色均值，然后計算其與新的初始種子點顏色值的差值Dif，將Dif與閾值Thred相比較，若Dif＞Thred則表示該區(qū)域中存在顏色信息突變；否則，仍以新定義的初始種子點為初始種子點，以剛搜索完的區(qū)域為基礎(chǔ)，再向外擴(kuò)展一行、一列像素，得到一新的正方形區(qū)域，計算該區(qū)域的顏色均值，然后計算其與未擴(kuò)展前正方形區(qū)域的顏色均值的差值Dif，直至Dif＞Thred即該區(qū)域中存在顏色信息突變時，本次搜索結(jié)束；c1、重新定義b1中得到的塊的右上角點的像素Pl(i，j)為新的初始種子點；d1、重復(fù)過程b1、c1，直至新定義的初始種子點超越圖像的右邊界，本次橫向搜索結(jié)束，找出本次橫向搜索過程中尺寸最大的像素塊和尺寸最小的像素塊，分別以它們的尺寸作為本次橫向搜索的行間距，得到最大行距搜索區(qū)域和最小行距搜索區(qū)域；e1、將得到的最大行距搜索區(qū)域和最小行距搜索區(qū)域的左下角分別作為下次橫向搜索的初始種子點，按照b1至d1的步驟分別開始下次的橫向搜索，得到新的最大行距搜索區(qū)域和最小行距搜索區(qū)域，如此往復(fù)，直至新定義的初始種子點超越圖像的下邊界，橫向搜索結(jié)束；在搜索的過程中，最大行距搜索和最小行距搜索是分別獨立進(jìn)行的，以M表示經(jīng)過最大行距搜索和最小行距搜索后得到的總的行搜索區(qū)域的數(shù)目；在搜索的過程中，每次新搜索的開始都是以剛得到的分割后區(qū)域的左下角像素作為初始種子點；縱向搜索a2、重新定義2)中得到的塊的左下角點的像素Pll(i，j)為新的初始種子點；b2、以新定義的初始種子點為起點，分別向下、向右擴(kuò)展一行、一列像素，得到一正方形區(qū)域，計算該正方形區(qū)域的顏色均值，然后計算其與新的初始種子點顏色值的差值Dif，將Dif與閾值Thred相比較，若Dif＞Thred則表示該區(qū)域中存在顏色信息突變；否則，仍以新定義的初始種子點為初始種子點，以剛搜索完的區(qū)域為基礎(chǔ)，再分別向下、向右擴(kuò)展一行、一列像素，得到一新的正方形區(qū)域，計算該區(qū)域的顏色均值，然后計算其與擴(kuò)展前正方形區(qū)域的顏色均值的差值Dif，直至Dif＞Thred即該區(qū)域中存在顏色信息突變時，本次搜索結(jié)束；c2、重新定義b2中得到的塊的左下角點的像素Pl(i，j)為新的初始種子點；d2、重復(fù)b2、c2的過程，直至新定義的初始種子點超越圖像的下邊界，本次縱向搜索結(jié)束，找出本次縱向搜索過程中尺寸最大的像素塊和尺寸最小的像素塊，分別以它們的尺寸作為本次縱向搜索的列間距，得到最大列距搜索區(qū)域和最小列距搜索區(qū)域；e2、將得到的最大列距搜索區(qū)域和最小列距搜索區(qū)域的右上角的像素分別作為下次搜索的初始種子點，按照b2至d2的步驟，分別開始下次的縱向搜索，如此往復(fù)，直至新定義的初始種子點超越圖像的右邊界，列搜索結(jié)束；在搜索的過程中，最大列距搜索和最小列距搜索是分別獨立進(jìn)行的，以N表示經(jīng)過最大列距搜索和最小列距搜索后得到的總的列搜索區(qū)域的數(shù)目；在搜索的過程中，每次新搜索的開始都是以剛得到的分割后區(qū)域的右上角像素作為初始種子點；4)經(jīng)過2)和3)，任意一幅圖像Sample在空間上被分割成M×N個子塊，對分割結(jié)果進(jìn)行區(qū)域合并，合并分別在垂直和水平方向上進(jìn)行垂直方向的合并根據(jù)公式(5)循環(huán)計算相鄰的兩個行搜索區(qū)域的區(qū)域距離，得到M-1個區(qū)域距離Dis，即從第一個區(qū)域開始，計算第一個區(qū)域與第二個區(qū)域的區(qū)域距離、第二個區(qū)域與第三個區(qū)域的區(qū)域距離、第三個區(qū)域與第四個區(qū)域的區(qū)域距離，如此往復(fù)，直至計算出第M-1個區(qū)域與第M個區(qū)域的區(qū)域距離；Dis=ni×njni+nj×|argi-argj|---(5)]]>式中，argi，argj分別表示兩個區(qū)域的顏色均值，ni，nj分別表示兩個區(qū)域的總像素數(shù)；
從M-1個計算結(jié)果中選取最小值，并將該最小值對應(yīng)的兩個行區(qū)域合并，從而得到M-1個合并后的區(qū)域；對新得到的所有行區(qū)域再次循環(huán)計算新合并后的相鄰行區(qū)域的區(qū)域距離Dis，從計算結(jié)果中選取新的最小值，并將該新的最小值對應(yīng)的兩個行區(qū)域合并，從而進(jìn)一步得到M-2個行區(qū)域；如此往復(fù)，直到圖像在垂直方向上被劃分為3個區(qū)域；水平列方向的合并根據(jù)公式(5)循環(huán)計算相鄰的兩個列搜索區(qū)域的區(qū)域距離，得到N-1個區(qū)域距離Dis，即從第一個區(qū)域開始，計算第一個區(qū)域與第二個區(qū)域的區(qū)域距離、第二個區(qū)域與第三個區(qū)域的區(qū)域距離、第三個區(qū)域與第四個區(qū)域的區(qū)域距離，如此往復(fù)，直至計算出第N-1個區(qū)域與第N個區(qū)域的區(qū)域距離；從N-1個計算結(jié)果中選取最小值，并將該最小值對應(yīng)的兩個列區(qū)域合并，從而得到N-1個合并后的區(qū)域；對新得到的所有列區(qū)域再次循環(huán)計算新合并后的相鄰列區(qū)域的區(qū)域距離Dis，從計算結(jié)果中選取新的最小值，并將該新的最小值對應(yīng)的兩個列區(qū)域合并，從而進(jìn)一步得到N-2個列區(qū)域；如此往復(fù)，直到圖像在水平方向上被劃分為3個區(qū)域；經(jīng)過垂直方向的合并與水平方向的合并后，整個圖像被劃分為3×3子塊；5)分別抽取圖像各個子塊的HSV顏色直方圖His＝{pt|0≤t＜72}、分塊主色Mc(c＝1，2，3)以及中心矩σ，其中，分塊主色Mc表示區(qū)域顏色概率值位于前三位最大值的三種顏色；區(qū)域的中心矩σ定義如下σ=1nΣq=0n-1(Pq-arv)2---(6)]]>式中，Pq表示該區(qū)域內(nèi)某一點像素的顏色值，n表示該區(qū)域內(nèi)的像素的總數(shù)，arv表示該區(qū)域內(nèi)所有像素的顏色的平均值；6)由用戶從9個子塊中任意選取一塊感興趣區(qū)域A，設(shè)其顏色直方圖為HisA＝{pt|0≤t＜72}，分塊主色為MAc(c＝1，2，3)，中心矩為σA；7)從待檢索的圖像數(shù)據(jù)庫中任取某一幅圖像S，設(shè)其9個分割區(qū)域中的任意一個為B，其顏色直方圖為HisB＝{pt|0≤t＜72}，分塊主色為MBc(c＝1，2，3)，中心矩為σB，根據(jù)下式計算A與B的相似距離D(A，B)，D(A,B)=1(σA-σB)2×WHis---(7)]]>其中，WHis=Σc=1c=3Wc×min(At=MAc,Bt=MAc)+Σt=0,t≠MA1,MA2,MA3t=71min(At,Bt)W1+W2+W3---(8)]]>公式(8)表示以直方圖交叉距離為依據(jù)，對感興趣區(qū)的分塊主色進(jìn)行加權(quán)；在分子中，At，Bt分別表示A與B的72維顏色直方圖中某一種顏色t的顏色分布概率值，min(At，Bt)表示將A與B的72個顏色概率值全部進(jìn)行對應(yīng)求最小值處理，min(At=MAc,Bt=MAc)]]>表示與A的三個分塊主色值相等的3個顏色值所求得的最小值，在此基礎(chǔ)上，用Wc進(jìn)行加權(quán)，權(quán)值分別為W1＝2.5，W2＝2，W3＝1.5，即如公式(8)中分子的前半部分所示；而對于A與B的72維顏色直方圖中與A的三個分塊主色值不相等的69個顏色值在進(jìn)行對應(yīng)求最小值處理后，對所得的最小值進(jìn)行累加求和，而不進(jìn)行加權(quán)，即如公式(8)中分子的后半部分所示；8)循環(huán)計算圖象S的9個區(qū)域與樣例圖像Sample的感興趣區(qū)A的相似距離，取相似距離最大區(qū)域的相似距離作為S與Sample的距離；9)按照7)至8)計算數(shù)據(jù)庫中所有圖像與Sample的相似距離；10)將所有相似距離按從大到小排序，返回檢索結(jié)果。
本發(fā)明的原理為通過對實際情況的考察，發(fā)現(xiàn)用戶對一幅圖像的關(guān)注點一般集中在圖像的目標(biāo)物體上，因此對檢索效果的評價也以其是否更好地體現(xiàn)出目標(biāo)物體為準(zhǔn)?；谶@個原因，可以考慮首先對圖像進(jìn)行處理，將目標(biāo)物體從背景中劃分出來，然后在此基礎(chǔ)上基于用戶的感興趣區(qū)進(jìn)行圖像檢索。
在進(jìn)行圖像處理的過程中，通過觀察發(fā)現(xiàn)，對于一般的圖像，其目標(biāo)物體邊緣的局部小區(qū)域內(nèi)往往對應(yīng)著顏色信息的突變，通過探測這些信息的突變可以將圖像的目標(biāo)物體與背景分割開。本發(fā)明中，基于這一原理對圖像進(jìn)行圖像分割，然后基于區(qū)域?qū)D像進(jìn)行特征的提取。不僅如此，本發(fā)明在特征提取和相似性度量因子的制定上都充分考慮了圖像的顏色和空間信息，把圖像的綜合特征運用于圖像的檢索過程中。實驗結(jié)果表明，該方法能有效的利用圖像的顏色和空間特征，檢索結(jié)果與人類認(rèn)知具有良好的一致性。


圖1是圖像塊搜索示意圖；圖中1原像素塊；2拓展像素塊；圖2是圖像最大行距橫向搜索示意圖(其它三種搜索方式同理)；圖中3經(jīng)過一次最大行距橫向搜索后得到的分割區(qū)域；4經(jīng)過第二次最大行距橫向搜索后得到的分割區(qū)域；5經(jīng)過第三次最大行距橫向搜索后得到的分割區(qū)域；圖3(a)是圖像經(jīng)過初始分割后的分割結(jié)果示意圖；(b)是區(qū)域合并后的分割結(jié)果示意圖；圖4是本發(fā)明采用的最大行距橫向搜索的分割方法的流程圖(其它三種方式同理)；圖5是本發(fā)明采用的整個圖像檢索方法的流程圖；圖6是用戶上傳的樣例圖像sample；圖7(a)(b)(c)(d)分別是sample經(jīng)過最大行距橫向分割、最小行距橫向分割、最大列距豎向分割以及最小列距豎向分割后得到的分割結(jié)果；圖8(a)是sample經(jīng)過圖像的初始分割后得到的分割結(jié)果；(b)是初始分割結(jié)果再經(jīng)過區(qū)域合并后得到的最終的圖像分割結(jié)果；圖9是用戶從sample的9個分割區(qū)域中選取的感興趣區(qū)域；圖10是圖像的檢索結(jié)果；(a)為利用本發(fā)明提出的方法得到的檢索結(jié)果；(b)為利用傳統(tǒng)的基于全局顏色直方圖的方法得到的檢索結(jié)果。
具體實施例方式
在實際的使用當(dāng)中，首先是由用戶上傳一幅樣例圖像sample(見圖6)。
具體實施中，在計算機(jī)中完成以下程序第一步讀入用戶上傳的樣例圖像。
第二步將原始圖像的顏色數(shù)據(jù)從RBG空間轉(zhuǎn)換到HSV空間，并從其中提取L分量作為像素顏色值。
第三步對圖像分別進(jìn)行最大行距橫向分割(見圖7(a))、最小行距橫向分割(見圖7(b))、最大列距豎向分割(見圖7(c))以及最小列距豎向分割(見圖7(d))。
第四步根據(jù)初始分割結(jié)果(見圖8(a))在垂直與水平方向分別進(jìn)行圖像合并，直到圖像被劃分成3×3區(qū)域(見圖8(b))。
第五步由用戶從這9個區(qū)域中選取某一感興趣區(qū)域A(見圖9)。
第六步讀入用戶選取的感興趣區(qū)A，提取其HSV顏色直方圖、分塊主色以及中心矩。
第七步按順序取出圖像數(shù)據(jù)庫中的圖像。
第八步將庫中圖像的9個區(qū)域分別與感興趣區(qū)域A進(jìn)行相似性的度量，并將其中的最大值作為該圖像與樣例圖像的相似距離。
第九步依次計算圖像數(shù)據(jù)庫中所有圖像與樣例圖像的相似距離，并按相似距離從大到小將數(shù)據(jù)庫中圖像排序，作為最終的檢索結(jié)果返回給用戶。
為了驗證本發(fā)明所提出的方法的性能，在一個由1000余幅各類古建筑風(fēng)景圖像組成的圖像數(shù)據(jù)庫上進(jìn)行了大量試驗，并將檢索效果與一些經(jīng)典算法進(jìn)行了比較。這些圖像的背景細(xì)節(jié)均較豐富，并且多存在目標(biāo)物體與背景物體相互遮擋的情況。同時，為了增加實驗的客觀性，首先將這1000余幅圖像根據(jù)其表現(xiàn)內(nèi)容不同手工劃分為不同的類別，包含碑、塔、殿等。在比較中，主要從實際檢索結(jié)果、檢索準(zhǔn)確度兩個方面比較。實驗條件如下主機(jī)為P42.4CPU，512M內(nèi)存，編碼采用JAVA語言，JDK1.4。檢索結(jié)果如圖10所示((a)為利用本發(fā)明提出的方法得到的檢索結(jié)果；(b)為利用傳統(tǒng)的基于全局顏色直方圖的方法得到的檢索結(jié)果)，檢索準(zhǔn)確度如表1。
從圖10中可看出，對于感興趣區(qū)域面積較小的圖像，本發(fā)明的方法的檢索效果要明顯優(yōu)于傳統(tǒng)的基于全局顏色直方圖的方法的檢索效果。本發(fā)明中提出的圖像自動分割算法通過對圖像預(yù)處理，可以較精確的將圖像中的目標(biāo)物體與背景分割開，并通過提取相應(yīng)的直方圖、主色等特征對其進(jìn)行標(biāo)記。又由于在檢索中對分塊主色進(jìn)行了加權(quán)，且通過遍歷性匹配方式增加了方法的魯棒性，因此，檢索結(jié)果與樣例圖像的語義相關(guān)性很好。從表1可看出，本發(fā)明所提出的方法在檢索的準(zhǔn)確度上明顯優(yōu)于傳統(tǒng)方法。
從實驗結(jié)果中可以看出，本發(fā)明的方法與傳統(tǒng)經(jīng)典方法比較，整體檢索效果最優(yōu)，證明了本發(fā)明的有效性。
表1、檢索準(zhǔn)確度比較

權(quán)利要求
1.一種基于信息突變的圖像檢索算法，其特征在于，包括下述步驟1)讀入用戶從外接數(shù)碼相機(jī)中上傳的或者讀入計算機(jī)里儲存的樣例圖像Sample，將其從RBG轉(zhuǎn)換到HSV顏色空間，并將其中的色調(diào)H、飽和度S、亮度V三個分量按照公式(1)計算得到歸一化分量L后，將L作為像素的顏色值；L＝16H+4S+V(1)2)將圖像左上角的像素P0(0，0)作為初始種子點，分別向下、向右擴(kuò)展一行、一列像素，得到一正方形區(qū)域，計算該正方形區(qū)域內(nèi)所有像素的顏色值的平均值，然后計算其與初始種子點顏色值的差值Dif，將Dif與閾值Thred＝8相比較，若Dif＞Thred則表示該區(qū)域中存在顏色信息突變；否則，仍以圖像左上角的像素P0(0，0)為初始種子點，以剛搜索完的區(qū)域為基礎(chǔ)，再分別向下、向右擴(kuò)展一行、一列像素，得到一新的正方形區(qū)域，計算該區(qū)域的顏色均值arg(new)，然后計算其與擴(kuò)展前正方形區(qū)域的顏色均值arg(origin)的差值Dif，如(2)式所示Dif＝arg(origin)-arg(new)(2)式中arg(origin)=1(k-1-br)(s-1-bc)Σi=bri=k-1Σj=bcj=s-1Pij---(3)]]>arg(new)=1(k-br)(s-bc)Σi=bri=kΣj=bcj=sPij---(4)]]>其中，br是初始種子的行號、bc是其列號，它們的初始值都為0；k和s分別代表新得到的正方形區(qū)域的右下角像素的行號、列號；Pij表示第i行、第j列像素的顏色特征向量L的值；再將Dif與閾值Thred相比較，直至Dif＞Thred即該區(qū)域中存在顏色信息突變時，本次搜索結(jié)束，將剛搜索過的區(qū)域定義為一個塊，將對該塊的搜索定義為一個塊搜索；3)以2)為基礎(chǔ)對圖像進(jìn)行多方位、多尺寸的方向搜索，搜索分4次進(jìn)行，分別為最大行距橫向搜索、最小行距橫向搜索、最大列距豎向搜索及最小列距豎向搜索；橫向搜索a1、重新定義2)中得到的塊的右上角點的像素P1(i，j)為新的初始種子點；b1、以新定義的初始種子點為起點，分別向下、向右擴(kuò)展一行、一列像素，得到一正方形區(qū)域，計算該正方形區(qū)域的顏色均值，然后計算其與新的初始種子點顏色值的差值Dif，將Dif與閾值Thred相比較，若Dif＞Thred則表示該區(qū)域中存在顏色信息突變；否則，仍以新定義的初始種子點為初始種子點，以剛搜索完的區(qū)域為基礎(chǔ)，再向外擴(kuò)展一行、一列像素，得到一新的正方形區(qū)域，計算該區(qū)域的顏色均值，然后計算其與未擴(kuò)展前正方形區(qū)域的顏色均值的差值Dif，直至Dif＞Thred即該區(qū)域中存在顏色信息突變時，本次搜索結(jié)束；c1、重新定義b1中得到的塊的右上角點的像素P1(i，j)為新的初始種子點；d1、重復(fù)過程b1、c1，直至新定義的初始種子點超越圖像的右邊界，本次橫向搜索結(jié)束，找出本次橫向搜索過程中尺寸最大的像素塊和尺寸最小的像素塊，分別以它們的尺寸作為本次橫向搜索的行間距，得到最大行距搜索區(qū)域和最小行距搜索區(qū)域；e1、將得到的最大行距搜索區(qū)域和最小行距搜索區(qū)域的左下角分別作為下次橫向搜索的初始種子點，按照b1至d1的步驟分別開始下次的橫向搜索，得到新的最大行距搜索區(qū)域和最小行距搜索區(qū)域，如此往復(fù)，直至新定義的初始種子點超越圖像的下邊界，橫向搜索結(jié)束；在搜索的過程中，最大行距搜索和最小行距搜索是分別獨立進(jìn)行的，以M表示經(jīng)過最大行距搜索和最小行距搜索后得到的總的行搜索區(qū)域的數(shù)目；在搜索的過程中，每次新搜索的開始都是以剛得到的分割后區(qū)域的左下角像素作為初始種子點；縱向搜索a2、重新定義2)中得到的塊的左下角點的像素P.11(i，j)為新的初始種子點；b2、以新定義的初始種子點為起點，分別向下、向右擴(kuò)展一行、一列像素，得到一正方形區(qū)域，計算該正方形區(qū)域的顏色均值，然后計算其與新的初始種子點顏色值的差值Dif，將Dif與閾值Thred相比較，若Dif＞Thred則表示該區(qū)域中存在顏色信息突變；否則，仍以新定義的初始種子點為初始種子點，以剛搜索完的區(qū)域為基礎(chǔ)，再分別向下、向右擴(kuò)展一行、一列像素，得到一新的正方形區(qū)域，計算該區(qū)域的顏色均值，然后計算其與擴(kuò)展前正方形區(qū)域的顏色均值的差值Dif，直至Dif＞Thred即該區(qū)域中存在顏色信息突變時，本次搜索結(jié)束；c2、重新定義b2中得到的塊的左下角點的像素P1(i，j)為新的初始種子點；d2、重復(fù)b2、c2的過程，直至新定義的初始種子點超越圖像的下邊界，本次縱向搜索結(jié)束，找出本次縱向搜索過程中尺寸最大的像素塊和尺寸最小的像素塊，分別以它們的尺寸作為本次縱向搜索的列間距，得到最大列距搜索區(qū)域和最小列距搜索區(qū)域；e2、將得到的最大列距搜索區(qū)域和最小列距搜索區(qū)域的右上角的像素分別作為下次搜索的初始種子點，按照b2至d2的步驟，分別開始下次的縱向搜索，如此往復(fù)，直至新定義的初始種子點超越圖像的右邊界，列搜索結(jié)束；在搜索的過程中，最大列距搜索和最小列距搜索是分別獨立進(jìn)行的，以N表示經(jīng)過最大列距搜索和最小列距搜索后得到的總的列搜索區(qū)域的數(shù)目；在搜索的過程中，每次新搜索的開始都是以剛得到的分割后區(qū)域的右上角像素作為初始種子點；4)經(jīng)過2)和3)，任意一幅圖像Sample在空間上被分割成M×N個子塊，對分割結(jié)果進(jìn)行區(qū)域合并，合并分別在垂直和水平方向上進(jìn)行垂直方向的合并根據(jù)公式(5)循環(huán)計算相鄰的兩個行搜索區(qū)域的區(qū)域距離，得到M-1個區(qū)域距離Dis，即從第一個區(qū)域開始，計算第一個區(qū)域與第二個區(qū)域的區(qū)域距離、第二個區(qū)域與第三個區(qū)域的區(qū)域距離、第三個區(qū)域與第四個區(qū)域的區(qū)域距離，如此往復(fù)，直至計算出第M-1個區(qū)域與第M個區(qū)域的區(qū)域距離；Dis=ni×njni+nj×|argi-argj|---(5)]]>式中，argi，argj分別表示兩個區(qū)域的顏色均值，ni，nj分別表示兩個區(qū)域的總像素數(shù)；從M-1個計算結(jié)果中選取最小值，并將該最小值對應(yīng)的兩個行區(qū)域合并，從而得到M-1個合并后的區(qū)域；對新得到的所有行區(qū)域再次循環(huán)計算新合并后的相鄰行區(qū)域的區(qū)域距離Dis，從計算結(jié)果中選取新的最小值，并將該新的最小值對應(yīng)的兩個行區(qū)域合并，從而進(jìn)一步得到M-2個行區(qū)域；如此往復(fù)，直到圖像在垂直方向上被劃分為3個區(qū)域；水平列方向的合并根據(jù)公式(5)循環(huán)計算相鄰的兩個列搜索區(qū)域的區(qū)域距離，得到N-1個區(qū)域距離Dis，即從第一個區(qū)域開始，計算第一個區(qū)域與第二個區(qū)域的區(qū)域距離、第二個區(qū)域與第三個區(qū)域的區(qū)域距離、第三個區(qū)域與第四個區(qū)域的區(qū)域距離，如此往復(fù)，直至計算出第N-1個區(qū)域與第N個區(qū)域的區(qū)域距離；從N-1個計算結(jié)果中選取最小值，并將該最小值對應(yīng)的兩個列區(qū)域合并，從而得到N-1個合并后的區(qū)域；對新得到的所有列區(qū)域再次循環(huán)計算新合并后的相鄰列區(qū)域的區(qū)域距離Dis，從計算結(jié)果中選取新的最小值，并將該新的最小值對應(yīng)的兩個列區(qū)域合并，從而進(jìn)一步得到N-2個列區(qū)域；如此往復(fù)，直到圖像在水平方向上被劃分為3個區(qū)域；經(jīng)過垂直方向的合并與水平方向的合并后，整個圖像被劃分為3×3子塊；5)分別抽取圖像各個子塊的HSV顏色直方圖His＝{pt|0≤t＜72}、分塊主色Mc(c＝1，2，3)以及中心矩σ，其中，分塊主色Mc表示區(qū)域顏色概率值位于前三位最大值的三種顏色；區(qū)域的中心矩σ定義如下σ=1nΣq=0n-1(Pq-arv)2---(6)]]>式中，Pq表示該區(qū)域內(nèi)某一點像素的顏色值，n表示該區(qū)域內(nèi)的像素的總數(shù)，arv表示該區(qū)域內(nèi)所有像素的顏色的平均值；6)由用戶從9個子塊中任意選取一塊感興趣區(qū)域A，設(shè)其顏色直方圖為HisA＝{pt|0≤t＜72}，分塊主色為MAc(c＝1，2，3)，中心矩為σA；7)從待檢索的圖像數(shù)據(jù)庫中任取某一幅圖像S，設(shè)其9個分割區(qū)域中的任意一個為B，其顏色直方圖為HisB＝{pt|0≤t＜72}，分塊主色為MBc(c＝1，2，3)，中心矩為σB，根據(jù)下式計算A與B的相似距離D(A，B)，D(A,B)=1(σA-σB)2×WHis---(7)]]>其中，WHis=Σc=1c=3Wc×min(At=MAc,Bt=MAc)+Σt=0,t≠MA1,MA2,MA3t=71min(At,Bt)W1+W2+W3---(8)]]>公式(8)表示以直方圖交叉距離為依據(jù)，對感興趣區(qū)的分塊主色進(jìn)行加權(quán)；在分子中，At，Bt分別表示A與B的72維顏色直方圖中某一種顏色t的顏色分布概率值，min(At，Bt)表示將A與B的72個顏色概率值全部進(jìn)行對應(yīng)求最小值處理，min(At＝MAc，Bt＝MAc)表示與A的三個分塊主色值相等的3個顏色值所求得的最小值，在此基礎(chǔ)上，用Wc進(jìn)行加權(quán)，權(quán)值分別為W1＝2.5，W2＝2，W3＝1.5，即如公式(8)中分子的前半部分所示；而對于A與B的72維顏色直方圖中與A的三個分塊主色值不相等的69個顏色值在進(jìn)行對應(yīng)求最小值處理后，對所得的最小值進(jìn)行累加求和，而不進(jìn)行加權(quán)，即如公式(8)中分子的后半部分所示；8)循環(huán)計算圖象S的9個區(qū)域與樣例圖像Sample的感興趣區(qū)A的相似距離，取相似距離最大區(qū)域的相似距離作為S與Sample的距離；9)按照7)至8)計算數(shù)據(jù)庫中所有圖像與Sample的相似距離；10)將所有相似距離按從大到小排序，返回檢索結(jié)果。
全文摘要
一種基于圖像突變的圖像檢索方法，涉及圖像檢索領(lǐng)域。目前，復(fù)雜背景下圖像的自動分割方法過于簡單，且容易破壞圖像內(nèi)部語義的相關(guān)性。本發(fā)明的首先將用戶上傳的樣例圖像的顏色數(shù)據(jù)從GRB空間轉(zhuǎn)換到HSV空間，并歸一化處理；然后根據(jù)像素間的相關(guān)性和信息突變特性，對圖像進(jìn)行初始分割，并根據(jù)分割后的像素塊間的相似性，進(jìn)行循環(huán)合并，將圖像分割為3×3子塊；分別抽取9個區(qū)域的特征向量，即HSV顏色直方圖、分塊主色以及中心矩；由用戶從9個區(qū)域中選取感興趣區(qū)域，與待檢索圖像進(jìn)行的進(jìn)行相似性比較，得到進(jìn)行圖像檢索結(jié)果。本發(fā)明在圖像的檢索過程中兼顧檢索算法的低復(fù)雜度與圖像語義貼合性，檢索結(jié)果與人類認(rèn)知具有良好的一致性。
文檔編號G06T7/00GK1916906SQ20061011304
公開日2007年2月21日 申請日期2006年9月8日 優(yōu)先權(quán)日2006年9月8日
發(fā)明者賈克斌, 王妍, 劉鵬宇 申請人:北京工業(yè)大學(xué)