亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

基于多特征融合的圖像場景分類方法與流程

文檔序號(hào):12468651閱讀:372來源:國知局

本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域,具體涉及一種基于多特征融合的圖像場景分類方法。



背景技術(shù):

圖像理解(image understanding,IU)就是對(duì)圖像的語義理解。它是以圖像為對(duì)象,知識(shí)為核心,研究圖像中有什么目標(biāo)、目標(biāo)之間的相互關(guān)系、圖像是什么場景以及如何應(yīng)用場景的一門學(xué)科。其中,圖像場景分類是圖像理解的一個(gè)分支。所謂圖像場景分類,就是自動(dòng)判別一個(gè)語義類別集中的一幅圖像屬于哪個(gè)場景類(如海灘、森林和街道)。圖像場景分類技術(shù)一直以來備受人們的研究關(guān)注。已經(jīng)在很多方面得到應(yīng)用。雖然人們?cè)谔崛√卣鞣矫嫒〉煤艽蟮倪M(jìn)步,但是由于光照、角度、尺度以及空間位置的影響,圖像場景分類仍然是一項(xiàng)具有挑戰(zhàn)的任務(wù)。

根據(jù)圖像描述方式的不同,當(dāng)前圖像場景分類大體可分為基于全局特征和基于局部特征的分類。然而,由于圖像中包含的各種物體信息非常豐富,但彼此之間的空間分布錯(cuò)綜復(fù)雜,基于全局特征或者基于局部特征的描述方法都會(huì)造成不可避免的錯(cuò)分、誤分等現(xiàn)象。



技術(shù)實(shí)現(xiàn)要素:

本發(fā)明所要解決的技術(shù)問題是現(xiàn)有圖像場景分類方法存在錯(cuò)分、誤分的問題,提供一種基于多特征融合的圖像場景分類方法,其能夠在提升分類精度的同時(shí),保證分類效率。

為解決上述問題,本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的:

基于多特征融合的圖像場景分類方法,包括如下步驟:

步驟1)樣本圖像的訓(xùn)練階段;

1.1)同時(shí)提取樣本圖像的GIST特征、SIFT特征和PHOG特征;

1.2)對(duì)樣本圖像的SIFT特征進(jìn)行局部約束線性編碼,得到樣本圖像的SIFT特征稀疏編碼;

1.3)樣本圖像的SIFT特征稀疏編碼經(jīng)池化處理后得到樣本圖像的SIFT特征稀疏向量;

1.4)將樣本圖像的GIST特征、SIFT特征稀疏向量和PHOG特征進(jìn)行級(jí)聯(lián)后形成樣本圖像的最終特征表示,并將樣本圖像的最終特征表示輸入線性分類器訓(xùn)練;

步驟2)待分類圖像的分類階段;

2.1)同時(shí)提取待分類圖像的GIST特征、SIFT特征和PHOG特征;

2.2)對(duì)待分類圖像的SIFT特征進(jìn)行局部約束線性編碼,得到待分類圖像的SIFT特征稀疏編碼;

2.3)待分類圖像的SIFT特征稀疏編碼經(jīng)池化處理后得到待分類圖像的SIFT特征稀疏向量;

2.4)將待分類圖像的GIST特征、SIFT特征稀疏向量和PHOG特征進(jìn)行級(jí)聯(lián)后形成待分類圖像的最終特征表示,將待分類圖像的最終特征表示輸入步驟1.4)訓(xùn)練好的線性分類器進(jìn)行判別,確定該幅待分類圖像屬于哪一類。

上述步驟1.3)和步驟2.3)中,所述池化處理是基于基于空間金字塔匹配框架的池化處理。

上述步驟1.1)和步驟2.1)中,GIST特征提取的過程為:首先將圖像和不同方向與不同尺度的Gabor濾波器組進(jìn)行濾波,然后把濾波后的圖像劃分成網(wǎng)格,在每一個(gè)網(wǎng)格內(nèi)部取平均值,最后按行組合把所有的網(wǎng)格均值級(jí)聯(lián)起來。

上述步驟1.1)和步驟2.1)中,SIFT特征提取的過程包括:構(gòu)建尺度空間,極值點(diǎn)檢測,特征點(diǎn)定位,計(jì)算特征點(diǎn)方向,以及生成SIFT特征描述符這5個(gè)步驟。

上述步驟1.1)和步驟2.1)中,PHOG特征提取的過程為:首先得到圖像的部分或全部輪廓;然后計(jì)算輪廓點(diǎn)處的梯度模和梯度方向,并再將梯度方向轉(zhuǎn)換成以度為單位后分成K個(gè)區(qū)間,在各區(qū)間上累加梯度模的值作為該區(qū)間的權(quán)值,得到梯度方向直方圖;接著將一幅圖像逐級(jí)分割細(xì)化;最后計(jì)算每一級(jí)各塊所含邊緣點(diǎn)對(duì)應(yīng)的梯度方向直方圖,將所有這些梯度方向直方圖連接起來;上述K為正整數(shù)。

與現(xiàn)有技術(shù)相比,本發(fā)明具有如下特點(diǎn):

(1)利用GIST特征對(duì)圖像產(chǎn)生一個(gè)綜合的認(rèn)知,綜合描述了自然度、開放度、粗略度、展開度和崎嶇度五種自然屬性,相比較傳統(tǒng)的場景分類方法可以避免了根據(jù)各種實(shí)際情況設(shè)置各種參數(shù)和門限。

(2)在特征學(xué)習(xí)過程中融合了GIST、SIFT跟PHOG特征的各自的優(yōu)點(diǎn),能夠起到特征之間的優(yōu)勢互補(bǔ),因而能夠在一種特征不能詳細(xì)描述圖像的情況下,取得更好的分類精度。

(3)對(duì)于輸入圖像視覺特征的學(xué)習(xí)采用稀疏編碼,對(duì)于圖像的特征之間空間關(guān)系采用SPM框架進(jìn)行池化,能夠?qū)Ω呔S向量起到有效的降維作用。

(4)LLC的編碼速度快,效率高,為線性分類提供了基礎(chǔ)。分類時(shí)使用線性分類器能大大縮短訓(xùn)練時(shí)間。在提高分類精度的同時(shí),又增強(qiáng)了系統(tǒng)的魯棒性。

附圖說明

圖1為基于多特征融合的圖像場景分類方法的原理框圖。

具體實(shí)施方式

針對(duì)圖像當(dāng)中的不同對(duì)象,各種特征的優(yōu)勢各不相同,彼此之間存在互補(bǔ)現(xiàn)象,多特征融合能夠解決單特征描述的不足。本發(fā)明提出一種基于多特征融合的圖像場景分類方法,首先,提取出圖像的GIST特征、SIFT特征和PHOG特征。由于GIST特征屬于稀疏網(wǎng)格劃分,所以一個(gè)網(wǎng)格中可能包含不同的場景特征,里面的具體細(xì)節(jié)目標(biāo)可能會(huì)被忽略。SIFT特征是圖像場景分類中被廣泛使用的一種局部特征,實(shí)現(xiàn)對(duì)特征點(diǎn)的精確定位。PHOG特征是一種空間形狀描述,它表征一副圖像的局部形狀以及其形狀的空間關(guān)系。三者組合起來描述圖像場景能夠提供更豐富的信息,特征之間能夠達(dá)到優(yōu)勢互補(bǔ)。然后,對(duì)SIFT特征進(jìn)行局部約束線性編碼(Locality-constrained linear coding,LLC),LLC在基于稀疏編碼的空間金字塔匹配(spatial pyramid matching using sparse coding,ScSPM)的基礎(chǔ)上引入了局部約束的概念,認(rèn)為圖像特征不僅要滿足稀疏性,同時(shí)還要兼顧局部性,進(jìn)一步提高了計(jì)算效率和準(zhǔn)確性;緊接著,進(jìn)行向量的最大池化。最后,采用線性SVM分類器對(duì)空間金字塔特征集進(jìn)行分類。

具體來說,基于多特征融合的圖像場景分類方法,如圖1所示,包括以下步驟:

步驟1)樣本圖像的訓(xùn)練階段。

1.1)同時(shí)提取樣本圖像的GIST特征、SIFT特征和PHOG特征。

1.2)對(duì)樣本圖像的SIFT特征進(jìn)行局部約束線性編碼,得到樣本圖像的SIFT特征稀疏編碼。

1.3)樣本圖像的SIFT特征稀疏編碼經(jīng)池化處理后得到樣本圖像的SIFT特征稀疏向量。所述池化處理是基于空間金字塔匹配框架的池化處理。

1.4)將樣本圖像的GIST特征、SIFT特征稀疏向量和PHOG特征進(jìn)行級(jí)聯(lián)后形成樣本圖像的最終特征表示,并將樣本圖像的最終特征表示輸入線性分類器訓(xùn)練。

步驟2)待分類圖像的分類階段。

2.1)同時(shí)提取待分類圖像的GIST特征、SIFT特征和PHOG特征待。

2.2)對(duì)待分類圖像的SIFT特征進(jìn)行局部約束線性編碼,得到待分類圖像的SIFT特征稀疏編碼待。

2.3)待分類圖像的SIFT特征稀疏編碼經(jīng)池化處理后得到待分類圖像的SIFT特征稀疏向量待。所述池化處理是基于基于空間金字塔匹配框架的池化處理。

2.4)將待分類圖像的GIST特征、SIFT特征稀疏向量和PHOG特征進(jìn)行級(jí)聯(lián)后形成待分類圖像的最終特征表示,將待分類圖像的最終特征表示輸入步驟1.4)訓(xùn)練好的線性分類器進(jìn)行判別,確定該幅待分類圖像屬于哪一類。

稀疏表示是近幾年來圖像處理和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn)之一,它是一種無監(jiān)督學(xué)習(xí)方法,用來尋找一組“超完備”基向量來更高效地表示樣本數(shù)據(jù)。在圖像處理領(lǐng)域中,圖像的稀疏表示是在SPM框架內(nèi),將圖像各個(gè)區(qū)域內(nèi)池化后的向量A級(jí)聯(lián)起來,從而表示一幅圖像的過程。

本發(fā)明中采用LLC對(duì)底層特征進(jìn)行編碼,LLC編碼側(cè)重于局部約束,而不是稀疏性,局部性可以帶來稀疏性,但稀疏性未必滿足局部性。從這方面而言,局部性約束比稀疏性約束更為重要。LLC的編碼滿足下式的約束:

式(1)可以按照加號(hào)的前后分成兩部分:加號(hào)前的項(xiàng)最小化是為了減少量化誤差,學(xué)習(xí)字典B并確認(rèn)投影系數(shù);加號(hào)后的項(xiàng)則是做出假設(shè)約束。其中,X=[x1,x2,…,xN]∈RD×N,是一個(gè)包含N個(gè)D維局部特征的矩陣,xi為待編碼的向量。B=[b1,b2,...,bM]∈RD×M,是一個(gè)包含M個(gè)視覺詞匯的詞典。LLC編碼把所有X映射到B定義的編碼空間,ui為經(jīng)過LLC得到的編碼。λ為正則項(xiàng)平衡加號(hào)前后兩項(xiàng),并確保ui的稀疏性。||di·ui||是向量元素di和ui維度的相乘,體現(xiàn)了編碼的局部性。di為不同編碼的權(quán)重,用于權(quán)衡編碼中每個(gè)元素ui和詞典B中相應(yīng)列的關(guān)系。di可用下式計(jì)算:

其中,dist(xi,B)=[dist(ai,b1),…,dist(ai,bM)]T,dist(ai,bj)是局部特征ai到視覺詞匯bj的歐氏距離。每個(gè)元素代表向量xi與詞典B中每列向量的歐氏距離。σ為可調(diào)整的參數(shù),用于控制di的大小,即控制局部衰減性速度。

由于加入局部性的約束,LLC編碼相對(duì)于稀疏編碼而言更為平滑。ScSPM稀疏編碼時(shí),為滿足編碼的稀疏性,相似的像素塊經(jīng)過編碼后得到的結(jié)果有可能差異較大,因此導(dǎo)致丟失其大部分相似性信息。LLC編碼能保證相似的像素塊得到相近的編碼,從而保證重建出的像素塊的相似性,保證局部平滑。

ScSPM稀疏編碼時(shí)需要采取優(yōu)化算法進(jìn)行迭代,帶來較高的計(jì)算量,而LLC算法有解析解,能夠降低運(yùn)算消耗,加快運(yùn)算速度。在實(shí)驗(yàn)部分,則采用最大池化跟L2正則化。

max-pooling:max-pooling為池化方式的一種。在本發(fā)明中,我們利用基于LLC編碼的SIFT得到圖像稀疏向量表示,并結(jié)合線性SVM分類器進(jìn)行分類。U是描述符集X利用公式(1)稀疏編碼之后的結(jié)果。假設(shè)碼本B是提前訓(xùn)練好的。我們定義池化函數(shù):

Z=F(U) (3)

其中,U=[u1,u2,…,uM]T,z=[z1,z2,…,zM],zj=max{|u1j|,|u2j|,…,|uMj|},M為圖像特征描述子的個(gè)數(shù),zj是z的第j個(gè)元素,uij是矩陣U的第i行第j列的元素。每個(gè)ui就是一個(gè)特征描述子的稀疏編碼。最大池化技術(shù)是根據(jù)人腦視覺皮層V1區(qū)中生物學(xué)方面來建立的,自然圖像經(jīng)過稀疏編碼后得到的基函數(shù)類似V1區(qū)簡單細(xì)胞感受野的反應(yīng)特性,綜合了圖像空間局部性、空間方向性、信息選擇性的特點(diǎn),因此比直方圖統(tǒng)計(jì)的平均池化具有更好的魯棒性。

如圖1所示,圖像場景分類方法的算法,包含以下步驟:

步驟1:在D類圖像中,每類隨機(jī)選取C幅圖像作為訓(xùn)練圖像。

步驟2:生成GIST特征

將一幅大小為r×c的灰度圖像f(x,y)劃分為np×np的規(guī)則網(wǎng)格,則網(wǎng)格塊數(shù)為ng=np×np。各網(wǎng)格塊按行依次記作pi,其中i=1,…,ng;每個(gè)網(wǎng)格塊大小為r’×c’,r’,=r/np,c’=c/np。分別用nc個(gè)通道的濾波器對(duì)圖像進(jìn)行卷積濾波,其中nc=m×n,m為濾波器尺度數(shù),n濾波器方向數(shù),則每個(gè)網(wǎng)格塊各通道濾波后,級(jí)聯(lián)結(jié)果稱為塊GIST(PG)特征,對(duì)Gp(Gp表示每個(gè)網(wǎng)格塊的GIST(PG)特征)各通道濾波結(jié)果取均值后按行組合的結(jié)果稱為全局GIST(GG)特征,即(GG是全局GIST(GG)特征)

其中,GG的維數(shù)是nc×ng。

本發(fā)明將圖像劃分為4×4的規(guī)則網(wǎng)格,用4個(gè)尺度8個(gè)方向共32個(gè)Gabor濾波器處理每一小塊圖像,再將經(jīng)過處理過后的每一小塊圖像所得到的塊圖像GIST(PG)特征進(jìn)行級(jí)聯(lián)就可以得到全局GIST(GG)特征,這樣就可以得到一個(gè)32×16大小的特征向量組,此一維特征向量組即為所需要求取的全局GIST(GG)特征向量。將整個(gè)圖像的所有圖像塊的GIST向量級(jí)聯(lián)得到整幅場景圖像的GIST特征共計(jì)512維的特征向量組,用A1表示。

步驟3:生成SIFT特征

傳統(tǒng)的SIFT特征提取主要包括五個(gè)步驟:構(gòu)建尺度空間,極值點(diǎn)檢測,特征點(diǎn)定位,計(jì)算特征點(diǎn)方向,生成SIFT特征描述符。

(1)構(gòu)建尺度空間。圖像尺度空間是由一個(gè)變尺度的高斯卷積核G(x,y,σ)和圖像I(x,y)卷積生成,定義為:

L(x,y,σ)=G(x,y,σ)*I(x,y) (5)

其中,G(x,y,σ)是尺度可變高斯函數(shù):

其中,(x,y)是空間坐標(biāo),是尺度坐標(biāo)。σ表示尺度因子,大尺度對(duì)應(yīng)圖像的概貌特征,小尺度對(duì)應(yīng)圖像的細(xì)節(jié)特征。大的σ值對(duì)應(yīng)粗糙尺度(低分辨率),反之,對(duì)應(yīng)精細(xì)尺度(高分辨率)。為了有效的在尺度空間檢測到穩(wěn)定的關(guān)鍵點(diǎn),提出了高斯差分(DOG)尺度空間。利用不同尺度的高斯差分核與圖像卷積生成。

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y) (7)

(2)極值點(diǎn)檢測。建立尺度空間后,為了尋找尺度空間的極值點(diǎn),每一個(gè)采樣點(diǎn)要和它所有的相鄰點(diǎn)比較,看其是否比它的圖像域和尺度域的相鄰點(diǎn)大或者小。DOG圖像中的像素點(diǎn)需要與同一尺度的8個(gè)相鄰點(diǎn)和上下相鄰尺度對(duì)應(yīng)的9×2個(gè)點(diǎn)共26個(gè)點(diǎn)比較,以確保在尺度空間和二維圖像空間都檢測到極值點(diǎn)。

(3)精確定位極值點(diǎn)。利用泰勒展開式對(duì)尺度空間函數(shù)D(x,y,σ)展開,實(shí)現(xiàn)對(duì)特征點(diǎn)的精確定位:計(jì)算D(x)的導(dǎo)數(shù)并令其為零,得到特征點(diǎn)的偏移量其與原圖像中的x相加即為特征點(diǎn)的位置。

(4)計(jì)算特征點(diǎn)方向。上一步中確定了每幅圖中的特征點(diǎn),為每個(gè)特征點(diǎn)計(jì)算一個(gè)方向,依照這個(gè)方向做進(jìn)一步的計(jì)算,利用關(guān)鍵點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù),使算子具備旋轉(zhuǎn)不變性。

(5)生成SIFT特征描述符。以特征點(diǎn)為中心計(jì)算4×4小塊上8個(gè)方向的梯度方向直方圖,將采樣點(diǎn)與特征點(diǎn)的相對(duì)方向通過高斯濾波后歸入8個(gè)方向的直方圖,計(jì)算每個(gè)梯度方向的累加值,形成一個(gè)種子點(diǎn)。一個(gè)特征點(diǎn)由4×4共16個(gè)種子點(diǎn)組成,使得每個(gè)特征點(diǎn)都能成生4×4×8=128個(gè)數(shù)據(jù),進(jìn)而形成128維的SIFT特征描述符。

步驟4:生成PHOG特征

PHOG是一種空間形狀描述,它表征一副圖像的局部形狀以及其形狀的空間關(guān)系。PHOG的形狀描述是用直方圖來表示的。得到圖像的部分或全部輪廓后,計(jì)算輪廓點(diǎn)處的梯度模和梯度方向,再將梯度方向轉(zhuǎn)換成以度為單位,范圍為[0,180°]或[0,360°]。并分成K個(gè)區(qū)間,在各區(qū)間上累加梯度模的值作為該區(qū)間的權(quán)值,得到梯度方向直方圖。本文梯度方向范圍取為[0,360°],取K=40,即1個(gè)區(qū)間9度。為了表示圖像的形狀布局,將一幅圖像逐級(jí)分割細(xì)化。分割一般是按橫縱坐標(biāo)均分兩段,前一級(jí)分割的每塊在下一級(jí)中就被分成4塊。計(jì)算每一級(jí)各塊所含邊緣點(diǎn)對(duì)應(yīng)的梯度方向直方圖,將所有這些梯度方向直方圖連接起來就得到最終的PHOG形狀描述特征,用A3表示。

步驟5:采用LLC技術(shù)對(duì)SIFT特征進(jìn)行稀疏表示。

對(duì)SIFT特征進(jìn)行稀疏編碼生成SIFT稀疏表示需要以下操作:

1)構(gòu)建視覺詞匯庫

從所有圖像集中隨機(jī)選取若干圖像,并提取SIFT特征,形成SIFT特征向量集L=[l1,l2,…li,…,lN]。其中l(wèi)i∈R128,N為SIFT特征向量的個(gè)數(shù)。L=[l1,l2,…li,…,lN]即對(duì)應(yīng)式(1)中的訓(xùn)練向量集X=[x1,x2,…,xN]。利用迭代算法求解SIFT特征向量集L=[l1,l2,…li,…,lN]的視覺詞匯庫Q∈R128×K,K表示視覺詞匯庫的大小,Q對(duì)應(yīng)(1)中的過完備字典B。

2)LLC稀疏編碼

本發(fā)明采用目前使用最有效的圖像特征,圖像塊特征采用密集的SIFT描述子,提取的規(guī)則網(wǎng)格大小為16×16,間隔為8。對(duì)每幅圖像的SIFT特征描述子L=[l1,l2,…li,…,lN]利用字典B進(jìn)行LLC編碼,這樣就得到每幅圖像的編碼矩陣H=[h1,h2,…,hs]T。其中hi是每個(gè)特征描述子的編碼,s是描述子的個(gè)數(shù)。

3)采用SPM框架進(jìn)行池化

采用SPM框架進(jìn)行池化。將圖像分成3層,第0層將整幅圖像作為一個(gè)區(qū)域,對(duì)應(yīng)編碼矩陣H,對(duì)H的每一列應(yīng)用最大池化技術(shù),得到向量y0。然后,第1層將整幅圖像均勻劃分為4個(gè)區(qū)域。按從左往右、從上到下對(duì)應(yīng)的編碼矩陣分別為H00、H01、H10、H11,同樣對(duì)每個(gè)編碼矩陣按列運(yùn)用最大池化技術(shù),得到向量y1,y2,y3,y4。同樣地,第2層將整幅圖像均勻劃分為16個(gè)區(qū)域,池化后得到y(tǒng)5,y6,…,y20。

4)級(jí)聯(lián)

將y0,y1,…,y20加權(quán)后級(jí)聯(lián)起來,得到圖像SIFT特征表示向量A2。按第0層權(quán)值為1/4,第1層權(quán)值為1/4,第2層權(quán)值為1/2。

步驟6:將A1,A2、A3級(jí)聯(lián)起來得到最終訓(xùn)練圖像表示A。

步驟7:將所有的訓(xùn)練圖像輸入線性SVM分類器進(jìn)行訓(xùn)練。

之后,對(duì)于待分類的圖像也使用上述方法提取圖像表示后輸入已經(jīng)訓(xùn)練好的線性SVM分類器完成分類。

基于采用單一特征對(duì)所有類別進(jìn)行分類時(shí),容易出現(xiàn)某一類場景圖像顯著特征丟失的情況,本發(fā)明將GIST特征、SIFT特征稀疏向量和PHOG特征三者組合起來共同描述圖像場景,融合的特征能夠提供更豐富的信息,特征之間能達(dá)到優(yōu)勢互補(bǔ)。分類時(shí)使用線性分類器能大大縮短訓(xùn)練時(shí)間。在提高分類精度的同時(shí),又增強(qiáng)了系統(tǒng)的魯棒性。

當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1