本發(fā)明涉及一種行人再辨識(shí)中結(jié)構(gòu)特征提取和度量學(xué)習(xí)技術(shù)，尤其是涉及一種最大粒度結(jié)構(gòu)描述符的行人再辨識(shí)方法。

背景技術(shù)：

行人再辨識(shí)是指在一個(gè)多攝像機(jī)組成的監(jiān)控網(wǎng)絡(luò)中，針對(duì)不同攝像機(jī)下的行人進(jìn)行識(shí)別并匹配的問題。它對(duì)鑒別行人身份、分析行人行為等方面的研究提供了關(guān)鍵性的幫助，并且發(fā)展成為了智能監(jiān)控領(lǐng)域中的重要組成部分。

行人再辨識(shí)的方法主要分為兩類：1)基于特征表示的行人再辨識(shí)方法；2)基于度量學(xué)習(xí)的方法。其中多數(shù)方法主要集中于尋找一種魯棒性強(qiáng)的特征來描述行人，例如：顏色直方圖，共生矩陣，特征主軸，最大穩(wěn)定極值區(qū)域，概率直方圖，協(xié)方差描述符，圖形匹配，顯著性匹配，深度學(xué)習(xí)模型等等。這些特征的優(yōu)點(diǎn)在于計(jì)算時(shí)簡單，時(shí)間開銷低，然而卻沒有明顯區(qū)分不同類的行人圖片，使得行人再辨識(shí)仍存在識(shí)別率低、穩(wěn)定性差等問題。

在選取特征表示之后，如何度量不同行人圖片的距離也是行人再辨識(shí)領(lǐng)域的關(guān)鍵問題?，F(xiàn)有的距離度量主要分為非學(xué)習(xí)方法和學(xué)習(xí)方法兩類。對(duì)于簡單的非學(xué)習(xí)方法，由于提取出來的特征信息具有冗余性，使得最后的識(shí)別效果并不理想，然而基于學(xué)習(xí)的距離度量方法通常學(xué)習(xí)不同攝像機(jī)下相同行人與不同行人鑒別信息，最大化不同行人圖片的距離同時(shí)最小化相同行人圖片的距離，因此往往可以有著較為理想的辨識(shí)結(jié)果。這種方法主要包括：RankSVM，相對(duì)距離比較(RDC)，基于核方法的度量學(xué)習(xí)，馬氏距離學(xué)習(xí)，深度度量學(xué)習(xí)、度量集成、交叉二次判別分析、非線性局部度量學(xué)習(xí)、自適應(yīng)度量學(xué)習(xí)方法等等。這些基于學(xué)習(xí)的距離度量往往將行人再辨識(shí)分為了兩步：特征表示和距離度量。

專利CN104992142A提出了一種基于深度學(xué)習(xí)和屬性學(xué)習(xí)相結(jié)合的行人識(shí)別方法，能夠從更高語義層描述行人特征，然而，訓(xùn)練模型過于復(fù)雜，并且受限于行人屬性的選擇。進(jìn)一步，由于光照變化、姿態(tài)、視角、遮擋、圖像分辨率等各方面因素的影響，這使得在監(jiān)控視頻智能分析中行人再辨識(shí)性能依然不佳。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種特征維數(shù)低、度量效果魯棒性好的最大粒度結(jié)構(gòu)描述符的行人再辨識(shí)方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種最大粒度結(jié)構(gòu)描述符的行人再辨識(shí)方法，包括以下步驟：

S1，獲取圖像集中彩色的行人圖像，使用Gabor濾波器處理行人圖像，獲得多個(gè)尺度圖像；

S2，獲取各尺度圖像的顏色差分直方圖CDH，利用交疊的滑動(dòng)子窗口提取CDH的局部最大交叉編碼描述符，即LMCC描述符；

S3，針對(duì)步驟S1獲得的不同尺度下行人圖像，使用滑動(dòng)窗口提取局部塊(即滑動(dòng)窗口范圍內(nèi)圖像)中的2個(gè)SILTP(Scale Invariant Local Ternary Pattern)直方圖，以顏色直方圖作為滑動(dòng)窗口對(duì)應(yīng)塊下的局部特征，針對(duì)同一水平方向的各個(gè)局部塊特征，同一維度上，提取最大值作為局部最大出現(xiàn)描述符，即LOMO描述符；優(yōu)選的，使用大小為10×10的滑動(dòng)窗口、步長為5的交疊策略提取局部塊中的2個(gè)SILTP直方圖，以8×8×8標(biāo)準(zhǔn)量化的顏色直方圖作為滑動(dòng)窗口對(duì)應(yīng)塊下的局部特征；

S4，使用LDA算法進(jìn)行度量學(xué)習(xí)，獲得特征空間的最優(yōu)子空間，用于計(jì)算圖像之間的相似性；

S5，輸入待辨識(shí)的行人圖像，計(jì)算待辨識(shí)的行人圖像與圖像集中行人圖像的相似性，得到辨識(shí)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種最大粒度結(jié)構(gòu)描述符的行人再辨識(shí)方法，其特征在于，所述的步驟S1包括以下步驟：

S11，將行人圖像的RGB顏色空間變換成HSV顏色空間；

S12，分別在三個(gè)通道上，使用Gabor濾波器對(duì)HSV顏色空間進(jìn)行μ種尺度的變換，每個(gè)通道得到μ個(gè)尺度圖像；

S13，分別在三個(gè)通道上，對(duì)μ個(gè)尺度圖像兩兩分組，每組包括2個(gè)鄰域尺度圖像，利用max-pooling算法，獲得每組圖像中的最大算子的尺度圖像，每個(gè)通道得到μ/2個(gè)尺度圖像。

所述的步驟S12中，同一尺度上的變換具有多個(gè)核函數(shù)方向，該尺度變換的結(jié)果取各核函數(shù)方向上的平均值。

所述的步驟S2包括以下步驟：

S21，獲取尺度圖像的CDH；

S22，提取CDH的描述符并將其視為在子窗口下發(fā)生的概率，然后選擇在同一水平位置上的所有子窗口的顏色差分直方圖的最大值作為提取出來的特征描述符，從而獲取行人圖像的局部特征。

所述的步驟S4包括以下步驟：

S41，利用主成分分析法分別對(duì)LMCC描述符和LOMO描述符降維；

S42，將LMCC描述符與LOMO描述符進(jìn)行多尺度融合；

S43，利用線性判別分析LDA計(jì)算投影方向，得到緊湊的特征子空間，即特征空間的最優(yōu)子空間，從而最大化類間差異性和最小化類內(nèi)相似性。

與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn)：

(1)受人類顯著視覺注意啟發(fā)，利用局部顏色差分直方圖(關(guān)注局部塊內(nèi)量化顏色相同或者紋理方向相同)和Max Pooling算子(關(guān)注局部塊內(nèi)最大出現(xiàn)直方圖特征點(diǎn))，提出了一種最大粒度結(jié)構(gòu)的特征描述符(MGSD)，此特征對(duì)于光照、旋轉(zhuǎn)、平動(dòng)等因素變化有著較好的魯棒性，能夠提取圖像的本質(zhì)特征，具有良好的行人辨識(shí)性能，并且對(duì)光照、視角、遮擋等變化具有不敏感性。

(2)采用交疊的滑動(dòng)窗口分析水平位置上的局部特征并利用最大化算子的優(yōu)點(diǎn)來提取突出特征，這種方法對(duì)視角變化有較好的穩(wěn)定性和魯棒性。

(3)MGSD描述符結(jié)合了LMCC描述符與LOMO描述符的優(yōu)點(diǎn)，彌補(bǔ)了信息的缺失，同時(shí)利用主成分分析算法降低了信息的冗余度。

(4)利用LDA算法計(jì)算投影方向，最優(yōu)化類內(nèi)相似性和類間差異性，進(jìn)而取得了更加優(yōu)越的辨識(shí)效果。

附圖說明

圖1為本實(shí)施例方法的流程圖；

圖2為本實(shí)施例中利用Gabor濾波器對(duì)圖片3個(gè)通道上16個(gè)尺度與8個(gè)方向進(jìn)行預(yù)處理的過程；

圖3為本實(shí)施例中利用均值處理Gabor濾波后的圖像；

圖4為本實(shí)施例中利用最大算子對(duì)多尺度圖片預(yù)處理的過程；

圖5為本實(shí)施例中LMCC描述符尋找顯著特征像素的過程；

圖6(a)、6(b)分別為本實(shí)施例算法和其他算法在VIPeR行人再辨識(shí)公開數(shù)據(jù)集上的CMC、SD/R曲線性能比較，p＝316；

圖7(a)、7(b)分別為本實(shí)施例算法和其他算法在CHUK-01行人再辨識(shí)公開數(shù)據(jù)集上的CMC、SD/R曲線性能比較，p＝485；

圖8(a1)、8(a2)、8(a3)、8(b1)、8(b2)、8(b3)分別為本實(shí)施例算法和其他算法在WARD行人再辨識(shí)公開數(shù)據(jù)集不同視角組合(1-2，1-3，2-3)上的CMC、SD/R曲線性能比較，p＝50；

圖9為本發(fā)明方法的流程圖。

具體實(shí)施方式

下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。本實(shí)施例以本發(fā)明技術(shù)方案為前提進(jìn)行實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施例。

實(shí)施例

步驟一：利用Gabor濾波器和最大算子預(yù)處理圖片，具體描述如下：Gabor濾波器可以反映局部地區(qū)的特征并且考慮到了圖像不同粒度的多尺度與多方向。使用Gabor濾波器可以從多粒度上獲取更多的邊緣信息融合到的特征表示中，進(jìn)一步說，圖片預(yù)處理過程從行人圖片的三個(gè)通道(HSV)來獲取更多的顏色信息。因此通過以下來定義Gabor濾波器：

其中x和y是位置坐標(biāo)，σ是對(duì)指定為2π的高斯函數(shù)的標(biāo)準(zhǔn)偏差，μ表示16個(gè)不同尺度，θ則表示8個(gè)不同方向。

然后利用Gabor濾波器計(jì)算圖像的I(x,y)并獲取G_μ,θ(x,y)(如圖2)，具體如下：

G_μ,θ(x,y)＝I(x,y)*ψ_μ,θ(x,y) (2)

在本發(fā)明中，提取特征G_μ(x,y)來代替G_μ,θ(x,y)，方法如下：

其中G_μ(x,y)是G_μ,θ(x,y)在所有方向上的平均值，并且由16個(gè)不同的尺度得到了3*16張圖片(如圖3)。然后將16張圖片分為8組，每組包括2個(gè)鄰域尺度圖像，并且利用MAX pooling的優(yōu)點(diǎn)來獲取每一組中受到生物學(xué)啟發(fā)的特征，定義如下：

B_i＝max(G(2i-1),G(2i)),i∈[1,...,8] (4)

B_i,i∈[1,...,8]是通過MAX pooling得到的BIF((Biologically Inspired Features，受生物學(xué)啟發(fā)的特征)圖，其提升了對(duì)小尺度變化的適應(yīng)性。圖4展示了對(duì)于一個(gè)行人的三個(gè)通道提取的一對(duì)生物學(xué)啟發(fā)的圖像特征。

步驟二：局部最大交叉編碼，具體描述如下：對(duì)于顏色差分直方圖(CDH)，將其粒度化并將HSV顏色空間統(tǒng)一編碼成4×4×4＝64-bins，然后獲取彩色圖像C_i(x,y)，其表示為w∈0,1...,W-1，其中W被定義為64。在紋理方向空間上，將其統(tǒng)一粒度化為36-bin，并獲取紋理方向圖像θ_i(x,y)，其表示為v∈0,1...,V-1，其中V被定義為36。如圖5所示，這個(gè)CDH描述符考慮了中心像素點(diǎn)和它的d＝n×n-1個(gè)鄰近鄰居，然后提取與中心像素點(diǎn)相同顏色值的邊界像素點(diǎn)的顏色差分直方圖，或者是與中心像素點(diǎn)方向相同的邊界點(diǎn)的顏色差分直方圖。其具體定義如下：

然后利用滑動(dòng)的子窗口來提取行人圖片的局部特征。對(duì)于圖片的每個(gè)子窗口，提取CDH描述符并將其視為在子窗口下發(fā)生的概率，然后選擇在同一水平位置上的所有子窗口的CDH直方圖的最大值作為提取出來的特征，將這個(gè)方法定義為局部最大交叉編碼(LMCC)直方圖。

因此，對(duì)于利用Gabor濾波器和最大算子預(yù)處理的多粒度行人圖片，可以提取得到特征向量LMCC_h：

其中m是行數(shù)，是從顏色圖像C_i(x,y)和紋理方向圖像θ_i(x,y)提取得到的特征向量。

步驟三：度量學(xué)習(xí)，具體描述如下：在本發(fā)明中，提出了一個(gè)低緯度的判別子空間W＝(w₁,w₂,...,w_r)∈R^d×r，其可以使不同類圖片的距離最大化并使同類圖片的距離最小化?？紤]到訓(xùn)練集X＝(x₁,x₂,...,x_n)∈R^d×n在d維空間上包含了n個(gè)樣本，在r維子空間上的距離函數(shù)可以被定義為：

其中x_i,x_j∈X，Σ'_I＝W^TΣ_IW，Σ'_E＝W^TΣ_EW。

為了提升識(shí)別率，在本發(fā)明中將LMCC描述符與LOMO描述符融合成了多尺度信息，同時(shí)考慮到LMCC描述符與LOMO描述符的維數(shù)十分大，利用主成分分析(PCA)算法來降低這2個(gè)描述符的維數(shù)。為了計(jì)算投影方向w，在本發(fā)明中利用廣義特征值分解來解決這個(gè)問題，由經(jīng)典LDA(線性判別分析)算法的啟發(fā)，可以定義目標(biāo)優(yōu)化函數(shù)：

因?yàn)棣?sub>I是對(duì)稱且正定的，則存在一個(gè)如下的分解：

Σ_I＝UU^T (11)

其可以由特征分解來得到。更進(jìn)一步說，U是正交的但不是標(biāo)準(zhǔn)正交。通過定義一個(gè)新的變量W＝U^TV，同時(shí)將(U-¹)^T簡單表示為U-^T，式(10)等價(jià)于：

可以通過來計(jì)算事實(shí)上，式(12)等價(jià)于U-¹AU-^T的特征值問題，并且由于U-¹AU-^T是一個(gè)實(shí)對(duì)稱矩陣，則有以下分解：

其中D＝diag(d₁,d₂,...,d_k)的對(duì)角線是特征值，則由特征向量組成，最后將XQDA度量算法同上述度量算法進(jìn)行線性組合，計(jì)算最后的相似度量距離，用于對(duì)相似結(jié)果進(jìn)行排序，得到對(duì)待識(shí)別行人圖像的判定結(jié)果。