本發(fā)明屬于模式識別技術(shù)領(lǐng)域，更具體地，涉及一種基于時(shí)間對齊的行人重識別方法及系統(tǒng)。

背景技術(shù)：

行人重識別是指判斷不同監(jiān)控?cái)z像頭下出現(xiàn)的行人是否屬于同一行人的技術(shù)，其已經(jīng)被廣泛運(yùn)用在監(jiān)控、法庭調(diào)查、多媒體分析等領(lǐng)域。隨著人們對社會公共安全的關(guān)注和視頻采集技術(shù)的發(fā)展，視頻監(jiān)控系統(tǒng)大量普及，人工已難以應(yīng)付海量增長的監(jiān)控視頻，因此利用計(jì)算機(jī)對監(jiān)控視頻中的行人進(jìn)行再識別的需求應(yīng)運(yùn)而生。

基于此，許多面向行人重識別的方法被提出，其主要是基于特征表達(dá)和距離度量學(xué)習(xí)這兩種基本算法。在這些方法中，絕大部分是從一幅或多幅靜態(tài)圖像中提取行人的外貌信息，而在實(shí)際的應(yīng)用場景中，我們得到的通常是由監(jiān)控?cái)z像頭中所得到的視頻序列，所以研究一種基于視頻的行人重識別方法是很有必要的。

在基于靜態(tài)圖像的行人重識別技術(shù)中，所選取的特征表達(dá)方法必須要有足夠的魯棒性來應(yīng)對光照以及視角的變化；而在基于視頻的行人重識別技術(shù)中，如何進(jìn)行時(shí)間上的對齊也是需要考慮的問題，但由于視頻序列中一般存在大量的噪聲，進(jìn)行時(shí)間對齊非常困難，同時(shí)也存在著很大的改進(jìn)空間。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于時(shí)間對齊的視頻行人重識別方法及系統(tǒng)，通過追蹤行人靠下部位的超像素，而非單一像素的軌跡，從而得到更為精確的運(yùn)動信息；通過與標(biāo)準(zhǔn)正弦曲線的擬合程度進(jìn)行比較選取一個(gè)最優(yōu)周期，減少了視頻中噪聲以及遮擋物對運(yùn)動軌跡的影響；通過對所選取的周期進(jìn)行時(shí)間對齊的池化操作，消除了一個(gè)行走周期可能對應(yīng)多個(gè)不同幀數(shù)的視頻序列對距離度量學(xué)習(xí)造成的不便，增強(qiáng)了算法的魯棒性，提高了行人重識別算法的性能。

為實(shí)現(xiàn)上述目的，本發(fā)明提出了一種視頻行人重識別方法，所述方法包括以下步驟：

(1)對給定的視頻序列進(jìn)行處理，獲取行人身體的超像素運(yùn)動軌跡；

(2)在所獲得的運(yùn)動軌跡上，基于極值點(diǎn)的位置確定候選的行走周期，通過其與正弦曲線的擬合程度進(jìn)行比較，選取一個(gè)最優(yōu)周期；

(3)采用時(shí)間對齊的池化方法對最優(yōu)周期內(nèi)的幀序列進(jìn)行歸一化表達(dá)，得到表征視頻數(shù)據(jù)的特征表達(dá)；

(4)依據(jù)所獲取的特征表達(dá)采用度量學(xué)習(xí)的方法進(jìn)行行人重識別。

進(jìn)一步地，所述步驟(1)的具體實(shí)現(xiàn)過程為：

11)獲取待處理的共有T幀的視頻序列V＝{I_t}_t＝1,...,T；

12)對視頻第一幀中行人身體靠下部位進(jìn)行超像素分割；

13)在視頻序列中跟蹤超像素，從而得到一系列；超像素軌跡{S_t}_t＝1,...,T；

14)用超像素{S_t}中心的水平位置{L_t}_t＝1,...,T來描述最終的運(yùn)動軌跡。

進(jìn)一步地，所述步驟(2)的具體實(shí)現(xiàn)過程為：

21)對運(yùn)動軌跡曲線進(jìn)行平滑，從而得到更為精準(zhǔn)的極值點(diǎn)位置；

22)用(P₁,P₂,...,P_K)來表示曲線中的K個(gè)極值點(diǎn)，t_k表示第k個(gè)極值點(diǎn)P_k所對應(yīng)的幀數(shù)；依據(jù)連續(xù)的三個(gè)極值點(diǎn)(P_k,P_k+1,P_k+2)義一系列候選行走周期(t_start＝t_k,t_end＝t_k+2)；

23)在水平中心線左右兩邊的距離，設(shè)置一個(gè)上限y_up和下限y_low，其定義為：

其中，λ是距離水平中心線的閾值距離，c是水平中心線的位置，且c＝W/2，W是整幅圖像的寬度；

在一系列周期(t_start,t_end)中，如果某周期對應(yīng)的三個(gè)極值點(diǎn)均分別大于y_up或者小于y_low，則其被判定為是一個(gè)候選周期，否則將其直接淘汰；

24)計(jì)算候選周期的得分R，選取得分最高的一個(gè)作為最優(yōu)周期所述得分R用于判斷超像素的位置曲線和標(biāo)準(zhǔn)正弦周期的擬合程度，從而衡量一個(gè)候選周期(t_start,t_end)的優(yōu)劣，R的具體表達(dá)式為：

其中，W是圖像的寬度。

進(jìn)一步地，所述步驟(3)的具體實(shí)現(xiàn)過程為：

31)將正弦曲線平均分成如{Φ_m}_m＝1,...,M所示M個(gè)片段；

32)將所獲取的最優(yōu)行走周期與正弦曲線進(jìn)行時(shí)間對齊，與正弦曲線的相位相對應(yīng)，所獲取的行走周期也被劃分為{Ψ_m}_m＝1,...,M M個(gè)片段；

33)對每個(gè)片段中的每一幀圖像提取特征；

34)對每個(gè)片段內(nèi)提取的特征進(jìn)行池化操作，得到Ψ_m這一片段的特征表達(dá){F_m}_m＝1,...,M；

35)將池化操作后所獲得的特征序列{F_m}_m＝1,...,M整合起來作為最終的表達(dá)，從而表征相應(yīng)的視頻數(shù)據(jù)。

一種基于時(shí)間對齊的視頻行人重識別系統(tǒng)，所述系統(tǒng)包括以下模塊：

軌跡提取模塊，用于對給定的視頻序列進(jìn)行處理，獲取行人身體的超像素運(yùn)動軌跡；

周期確定模塊，用于在所獲得的運(yùn)動軌跡上，基于極值點(diǎn)的位置確定候選的行走周期，通過其與正弦曲線的擬合程度進(jìn)行比較，選取一個(gè)最優(yōu)周期；

特征表達(dá)模塊，用于采用時(shí)間對齊的池化方法對最優(yōu)周期內(nèi)的幀序列進(jìn)行歸一化表達(dá)，得到表征視頻數(shù)據(jù)的特征表達(dá)；

重識別模塊，用于依據(jù)所獲取的特征表達(dá)采用度量學(xué)習(xí)的方法進(jìn)行行人重識別。

進(jìn)一步地，所述軌跡提取模塊包括：

視頻序列提取子模塊，用于獲取待處理的共有T幀的視頻序列V＝{I_t}_t＝1,...,T；

分割子模塊，用于對視頻第一幀中行人身體靠下部位進(jìn)行超像素分割；

跟蹤子模塊，用于在視頻序列中跟蹤超像素，從而得到一系列超像素軌跡{S_t}_t＝1,...,T；

軌跡描述子模塊，用于用超像素{S_t}中心的水平位置{L_t}_t＝1,...,T來描述最終的運(yùn)動軌跡。

進(jìn)一步地，所述周期確定模塊包括：

平滑子模塊，用于對運(yùn)動軌跡曲線進(jìn)行平滑，從而得到更為精準(zhǔn)的極值點(diǎn)位置；

候選行走周期確定子模塊，用于用(P₁,P₂,...,P_K)來表示曲線中的K個(gè)極值點(diǎn)，t_k表示第k個(gè)極值點(diǎn)P_k所對應(yīng)的幀數(shù)；依據(jù)連續(xù)的三個(gè)極值點(diǎn)(P_k,P_k+1,P_k+2)義一系列候選行走周期(t_start＝t_k,t_end＝t_k+2)；

有效候選周期確定子模塊，用于在水平中心線左右兩邊的距離，設(shè)置一個(gè)上限y_up和下限y_low，其定義為：

其中，λ是距離水平中心線的閾值距離，c是水平中心線的位置，且c＝W/2，W是整幅圖像的寬度；

在一系列周期(t_start,t_end)中，如果某周期對應(yīng)的三個(gè)極值點(diǎn)均分別大于y_up或者小于y_low，則其被判定為是一個(gè)有效候選周期，否則將其直接淘汰；

最優(yōu)周期確定子模塊，用于計(jì)算候選周期的得分R，選取得分最高的一個(gè)作為最優(yōu)周期所述得分R用于判斷超像素的位置曲線和標(biāo)準(zhǔn)正弦周期的擬合程度，從而衡量一個(gè)候選周期(t_start,t_end)的優(yōu)劣，R的具體表達(dá)式為：

其中，W是圖像的寬度。

進(jìn)一步地，所述特征表達(dá)模塊包括：

分段子模塊，用于將正弦曲線平均分成如{Φ_m}_m＝1,...,M所示M個(gè)片段；

行走周期分段子模塊，用于將所獲取的最優(yōu)行走周期與正弦曲線進(jìn)行時(shí)間對齊，與正弦曲線的相位相對應(yīng)，所獲取的行走周期也被劃分為{Ψ_m}_m＝1,...,M M個(gè)片段；

特診提取子模塊，用于對每個(gè)片段中的每一幀圖像提取特征；

池化操作子模塊，用于對每個(gè)片段內(nèi)提取的特征進(jìn)行池化操作，得到Ψ_m這一片段的特征表達(dá){F_m}_m＝1,...,M；

特征表達(dá)子模塊，用于將池化操作后所獲得的特征序列{F_m}_m＝1,...,M整合起來作為最終的表達(dá)，從而表征相應(yīng)的視頻數(shù)據(jù)。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，主要具備以下的技術(shù)優(yōu)點(diǎn)：

1.本發(fā)明通過追蹤行人身體靠下部位的超像素，而非單一像素的軌跡，從而得到更為精確的運(yùn)動信息；

2.本發(fā)明通過與標(biāo)準(zhǔn)正弦曲線的擬合程度進(jìn)行比較，從而選取一個(gè)最優(yōu)周期，減少了視頻中噪聲以及遮擋物對運(yùn)動軌跡的影響；

3.本發(fā)明通過對所選取的周期進(jìn)行時(shí)間對齊的池化操作，消除了一個(gè)行走周期可能對應(yīng)多個(gè)不同幀數(shù)的視頻序列對距離度量學(xué)習(xí)造成的不便，增強(qiáng)了算法的魯棒性，提高了行人重識別算法的性能。

附圖說明

圖1為本發(fā)明所提出的基于時(shí)間對齊池化的行人重識別方法流程圖。

圖2為基于超像素跟蹤的運(yùn)動信息提取過程示意圖，其中，圖2(a)為第一幀，圖2(b)標(biāo)識了第一幀中的其中一個(gè)超像素，圖2(c)為超像素跟蹤結(jié)果，圖2(d)為所有幀中超像素的水平位置軌跡；

圖3為最優(yōu)行走周期的提取過程示意圖，其中，圖3(a)為所有幀中超像素的原始位置軌跡，圖3(b)為候選周期示意圖，圖3(c)為候選周期的得分示意圖，圖3(d)為選取的周期示意圖；

圖4為時(shí)間對齊池化表示方法的說明圖，其中M＝4，圖4(a)為使用均值池化的TAPR表達(dá)示意圖，圖4(b)為使用最大值池化的TAPR表達(dá)示意圖，圖4(c)為使用關(guān)鍵幀池化的TAPR表達(dá)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個(gè)實(shí)施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

以下首先對本發(fā)明用到的術(shù)語進(jìn)行解釋和說明。

超像素分割：圖像分割是按照一定的相似性準(zhǔn)則將圖像劃分成具有特殊語義的不同區(qū)域，從而在復(fù)雜的背景環(huán)境中將感興趣的目標(biāo)分離出來，是圖像分析、模式識別和計(jì)算機(jī)視覺中的基本問題。而超像素分割主要應(yīng)用于圖像分割中的預(yù)分割，超像素，是指具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的圖像塊，他利用像素之間特征的相似程度將像素分組，可以獲取圖像的冗余信息，并且經(jīng)過超像素分割的圖像冗余信息少，以超像素作為單位進(jìn)行后續(xù)處理，在很大程度上降低了后續(xù)圖像處理任務(wù)的復(fù)雜度，可以簡化計(jì)算，降低算法的復(fù)雜性，有效地提高了分割算法的效率。

SLIC(simplelineariterativeclustering，簡單的線性迭代聚類)：是基于聚類算法的超像素分割算法，是目前效果比較好的超像素分割算法。SLIC算法基于顏色的相似性和距離鄰近性作為度量銀子，在五維空間上計(jì)算像素之間的距離，然后根據(jù)像素間的距離進(jìn)行超像素分割。五維空間向量表示為dist＝[l,a,b,x,y]，[l,a,b]是CIELAB顏色空間。SLIC算法基于K-means算法原理，首先對圖像按照上述距離因子進(jìn)行劃分，然后對劃分結(jié)果求均值，再進(jìn)行下一次劃分。通過不斷地迭代獲取最終穩(wěn)定的種子結(jié)果，通過簡單的線性迭代即可獲得比較好的種子結(jié)果。對于一般的應(yīng)用場合，上述算法能夠?qū)崿F(xiàn)實(shí)時(shí)處理。

池化(pooling)：在圖像處理中，經(jīng)常會碰到池化操作，池化往往用來降低特征數(shù)量、減小數(shù)據(jù)維度以減少數(shù)據(jù)的運(yùn)算量。時(shí)間對齊池化表示分別對M個(gè)視頻片段進(jìn)行處理，從而得到待檢測視頻的M幀的池化特征。可采取的池化方式包括最大值池化、均值池化和關(guān)鍵幀池化。具體的，均值池化處理表示對視頻系列每一幀取LOMO特征后，對于每一片段，計(jì)算該片段內(nèi)LOMO特征的平均值，作為該片段的均值池化特征。相應(yīng)的，一個(gè)周期有M個(gè)片段就總共需要M次均值池化處理。

如圖1所示，本發(fā)明所提出的基于時(shí)間對齊池化的視頻行人重識別方法，包括如下步驟：

步驟(1)獲取運(yùn)動軌跡：對給定的視頻序列進(jìn)行處理，獲取行人身體最低部位超像素的運(yùn)動軌跡。

步驟(2)提取最優(yōu)行走周期：基于步驟(1)所獲得的運(yùn)動軌跡，基于極值點(diǎn)的位置確定候選的行走周期，并利用其與正弦曲線擬合來選取一個(gè)最優(yōu)周期。

步驟(3)獲取時(shí)間對齊的池化表達(dá)：依據(jù)人行走的固有周期，采用時(shí)間對齊的池化方法對選取的幀序列進(jìn)行歸一化表達(dá)，從而表征相應(yīng)的3D視頻數(shù)據(jù)。

步驟(4)行人重識別：基于所獲取的特征表達(dá)和度量學(xué)習(xí)的方法進(jìn)行行人重識別。

進(jìn)一步的，所述步驟(1)中，獲取待處理的視頻序列后，由于行人身體靠下的部位(例如腳、腳踝、腿的下部)的超像素具有更顯著和穩(wěn)定的運(yùn)動特征，所以對其進(jìn)行超像素分割，并追蹤其運(yùn)動軌跡。由于超像素是具有相似紋理、顏色、亮度等特征的相鄰像素構(gòu)成的圖像塊，故選取其水平的中心位置作為該超像素的位置信息，從而得到最終的運(yùn)動曲線。更具體地講，所述步驟(1)中超像素運(yùn)動軌跡的實(shí)現(xiàn)獲取過程為：

11)獲取待處理的共有T幀的視頻序列V＝{I_t}_t＝1,...,T。

12)利用SLIC方法對視頻第一幀中行人身體靠下部位進(jìn)行超像素分割。結(jié)果如圖2(b)所示。

13)在視頻序列中跟蹤超像素，從而得到一系列如圖2(c)所示的超像素軌跡{S_t}_t＝1,...,T。

14)用超像素{S_t}中心的水平位置{L_t}_t＝1,...,T來描述最終的運(yùn)動軌跡。

該步驟中，除了使用SLIC方法分割外，還可采用基于熵率分割方法(Entropy Rate)、歸一化分割(Ncut-based)、分水嶺算法(watersheds) 等等。

進(jìn)一步的，所述步驟(2)中，首先對超像素的運(yùn)動軌跡曲線進(jìn)行平滑處理，從而獲取到更為準(zhǔn)確的極值點(diǎn)位置，然后通過相鄰的三個(gè)極值點(diǎn)來定義一系列候選行走周期：在普遍使用的行人重識別數(shù)據(jù)集中，行人位置被大致裁剪出來，其每一幀的水平中心線大概是兩腿之間的對稱軸，故依據(jù)距離水平中心線的距離設(shè)置上限和下限，依據(jù)這個(gè)閾值從系列候選行走周期篩選出合格的候選周期。針對每一個(gè)合格的候選周期，計(jì)算其與正弦曲線的擬合程度，定義為得分R。選取得分最高的周期作為最優(yōu)行走周期。更具體地講，所述步驟(2)最優(yōu)行走周期提取的實(shí)現(xiàn)過程為:

21)對上一步所獲取的運(yùn)動軌跡曲線進(jìn)行平滑，從而得到更為精準(zhǔn)的極值點(diǎn)位置。平滑前后的曲線分別為圖3(a)、圖3(b)所示。

22)用(P₁,P₂,...,P_K)來表示曲線中的K個(gè)極值點(diǎn)，t_k表示第k個(gè)極值點(diǎn)P_k所對應(yīng)的幀數(shù)。依據(jù)連續(xù)的三個(gè)極值點(diǎn)(P_k,P_k+1,P_k+2)來定義一系列候選行走周期(t_start＝t_k,t_end＝t_k+2)。

23)在水平中心線左右兩邊的距離，設(shè)置一個(gè)上限y_up和下限y_low消除不合格的周期。其定義為：

其中，λ是距離水平中心線的閾值距離，c是水平中心線的位置，且c＝W/2；W表示整幅圖像的寬度。

如圖3(b)所示，在上一步中定義的一系列周期(t_start,t_end)中，如果某周期對應(yīng)的三個(gè)極值點(diǎn)都分別大于y_up或者小于y_low，則其可以被認(rèn)為是一個(gè)候選周期，否則將其直接淘汰。

24)定義一個(gè)得分R，來判斷超像素的位置曲線和標(biāo)準(zhǔn)正弦周期的擬合程度，從而衡量一個(gè)候選周期(t_start,t_end)的優(yōu)劣。R的具體表達(dá)式為：

25)計(jì)算上一步經(jīng)過淘汰后所剩下的所有行走周期的得分R，選取得分最高的一個(gè)作為最優(yōu)周期圖3(d)顯示了若干個(gè)周期以及得分，可以看出(5，27)周期得分最高，故選取其為最優(yōu)周期。

進(jìn)一步的，所述步驟(3)中，池化方法包括最大值池化、均值池化和關(guān)鍵幀池化三種。以均值池化為例，針對任一片段，計(jì)算該片段內(nèi)LOMO特征的平均值，作為該片段的均值池化特征。更具體地講，所述步驟(3)獲取時(shí)間對齊的池化表達(dá)的具體實(shí)現(xiàn)過程為：

31)將正弦曲線平均分成如{Φ_m}_m＝1,...,M所示M個(gè)片段。

32)將所獲取的最優(yōu)行走周期與正弦曲線進(jìn)行時(shí)間對齊，與正弦曲線的相位相對應(yīng)，所獲取的行走周期也被劃分為{Ψ_m}_m＝1,...,M M個(gè)片段。

33)對每個(gè)片段中的每一幀圖像提取特征，每一幀上可提取的特征有很多種類，例如HSV顏色特征、HOG特征、Haar特征、SIFT特征等，由于局部最大模式(LOMO)對光照以及視角變化的魯棒性，此處提取圖像的LOMO特征。

34)對劃分后的片段進(jìn)行池化操作，如圖4所示，可選取的池化方法有：均值池化、最大值池化、關(guān)鍵幀池化這三種池化方式。以均值池化為例，對于第m個(gè)片段Ψ_m，在其包含的幀序列中，計(jì)算其LOMO特征的平均值，作為Ψ_m這一片段的特征表達(dá)F_m。

35)將進(jìn)行時(shí)間對齊以及池化操作后所獲得的序列{F_m}_m＝1,...,M整合起來作為最終的表達(dá)，從而表征相應(yīng)的視頻數(shù)據(jù)，即為時(shí)間對齊的池化表達(dá)(TAPR)。

進(jìn)一步的，所述步驟(4)中，基于所獲得特征序列{F_m}_m＝1,...,M，采用度量學(xué)習(xí)的方法進(jìn)行行人重識別。

度量學(xué)習(xí)是指通過有標(biāo)記樣本或者結(jié)合未標(biāo)記樣本，尋找一個(gè)能夠在給定指標(biāo)下最恰當(dāng)刻畫樣本相似度的距離矩陣或距離函數(shù)。本發(fā)明推薦使用XQDA度量學(xué)習(xí)方法，具體可參見“Shengcai Liao,Yang Hu,Xiangyu Zhu,and Stan Z Li,“Person re-identification by local maximal occurrence representation and metric learning,”in CVPR,2015,pp.2197–2206”。

行人重識別評價(jià)指標(biāo)可使用MAP值、CMC值等等，優(yōu)選使用CMC值，CMC值是指針對所有查詢樣本，返回前R個(gè)結(jié)果中有正確行人對象的概率。當(dāng)返回前R個(gè)結(jié)果時(shí)，CMC值越高，表示行人重識別性能越好。本實(shí)例的測試過程基于iLIDS-VID數(shù)據(jù)集(Taiqing Wang,Shaogang Gong,Xiatian Zhu,and Shengjin Wang,“Person re-identification by video ranking,”in ECCV,2014,pp.688–703)，為了減小隨機(jī)誤差，重復(fù)十次，計(jì)算其平均CMC值。并與現(xiàn)有的其他幾種算法進(jìn)行了比較，所對比的算法包括結(jié)合步態(tài)特征和排序支撐向量機(jī)的方法(GEI+RSVM)、結(jié)合HOG3D特征和判別視頻選擇與排序的方法(HOG3D+DVR)、結(jié)合顏色直方圖特征和局部Fisher判別分析的方法(Color+LFDA)、結(jié)合3D時(shí)空Fisher編碼特征和KISSME度量學(xué)習(xí)的方法(STFV3D+KISSME)，另外，MvsM算法也是采用了LOMO特征作為靜止圖像的特征表達(dá)，并采用XQDA的度量學(xué)習(xí)方法進(jìn)行識別，但其并沒有進(jìn)行時(shí)間對齊的池化操作。上述算法的具體識別結(jié)果如表1所示。

表1基于iLIDS-VID數(shù)據(jù)集上返回前1、5、10、20個(gè)結(jié)果時(shí)的CMC值。

從表1可以看出，基于TAPR的三種池化方法中，均值池化性能最優(yōu)而關(guān)鍵幀池化性能最差，但其均優(yōu)于其他現(xiàn)有方法?？梢钥闯霰景l(fā)明所提出的基于時(shí)間對齊池化的視頻行人重識別方法對于現(xiàn)有算法性能有明顯提高。