本發(fā)明涉及視頻監(jiān)控技術(shù)領(lǐng)域,具體涉及一種基于大間隔相對距離度量學(xué)習(xí)的行人重識別方法。
背景技術(shù):
近年來,隨著網(wǎng)絡(luò)技術(shù)的發(fā)展以及社會安防需求的增長,智能視頻監(jiān)控的應(yīng)用得到了大量的普及。由于視頻監(jiān)控能夠以直觀、準(zhǔn)確、及時與豐富的圖像展示當(dāng)前狀態(tài)或還原事發(fā)現(xiàn)場,成為了打擊犯罪、公安刑偵、司法取證等工作的有效手段,也因此被廣泛應(yīng)用于各種場所。當(dāng)前,在機(jī)關(guān)單位、小區(qū)、街道路口、車站、地鐵等公共場合基本上建立起了比較完備的視頻監(jiān)控網(wǎng)絡(luò),它們所存儲的視頻為安全防范,實時監(jiān)控跟蹤以及事件分析提供了有效的數(shù)據(jù)保障。為了對比較大的范圍進(jìn)行有效的監(jiān)控,當(dāng)前的視頻監(jiān)控系統(tǒng)一般采用具有不重疊視域的攝像機(jī)對需要重點(diǎn)覆蓋的區(qū)域進(jìn)行監(jiān)控。在一些基于視頻監(jiān)控系統(tǒng)的應(yīng)用中,比如跨攝像機(jī)的行人跟蹤與基于視頻的行人檢索中,常常需要根據(jù)特定的外觀信息,對不同攝像機(jī)下的行人進(jìn)行身份關(guān)聯(lián),即通過行人外觀信息對不同攝像機(jī)捕獲的行人畫面進(jìn)行匹配。這種對具有不重疊視域攝像機(jī)捕捉到的行人畫面根據(jù)外觀進(jìn)行身份匹配的工作即為行人重識別。
但是由于不同攝像機(jī)的內(nèi)部參數(shù)存在差異,行人在不同攝像機(jī)畫面中受光照、攝像機(jī)視角與行人姿態(tài)等因素的影響,即使是同一行人在不同攝像機(jī)畫面中的外觀會存在巨大的差異,導(dǎo)致不同攝像機(jī)下根據(jù)行人外觀進(jìn)行身份匹配的重識別工作相當(dāng)困難。
盡管行人重識別的方法各有不同,但總體上大致都可以分為兩個階段。第一階段是特征表達(dá)的提取,即從行人畫面(已從攝像機(jī)監(jiān)控視頻中裁切出)中計算一些具有判別性的特征表達(dá),獲得關(guān)于行人外觀的數(shù)字化表達(dá)。第二階段是采用一些距離/相似度計算方法計算不同攝像機(jī)下的兩張行人畫面間的距離/相似度,并確定兩張圖像中的行人是否為同一人;針對第二階段的距離度量研究中,傳統(tǒng)方法一般采用標(biāo)準(zhǔn)的距離函數(shù)度量行人間的相似性,如歐式距離、巴氏距離等,但是,其存在距離度量的魯棒性差的問題,導(dǎo)致行人重識別的準(zhǔn)確率低。
技術(shù)實現(xiàn)要素:
本申請?zhí)峁┮环N基于大間隔相對距離度量學(xué)習(xí)的行人重識別方法,包括步驟:
在訓(xùn)練數(shù)據(jù)集中,對不同攝像機(jī)下的行人圖像的特征表達(dá)向量進(jìn)行降維處理,并將降維處理后的特征表達(dá)向量投影到類內(nèi)子空間;
根據(jù)投影后的各特征表達(dá)向量及其對應(yīng)的標(biāo)簽信息通過優(yōu)化損失函數(shù)學(xué)習(xí)馬氏距離度量矩陣;
在測試數(shù)據(jù)集中,利用從訓(xùn)練集中學(xué)習(xí)獲得的馬氏距離度量矩陣對不同攝像機(jī)下的行人圖像進(jìn)行行人重識別。
一種實施例中,對不同攝像機(jī)下的訓(xùn)練數(shù)據(jù)集的行人圖像的特征表達(dá)向量進(jìn)行降維處理,具體為:
將訓(xùn)練數(shù)據(jù)集中攝像機(jī)a下行人圖像的特征表達(dá)向量拼成矩陣
首先將x與z拼接為矩陣
對攝像機(jī)a和攝像機(jī)b下的行人圖像的特征表達(dá)向量分別作去均值處理,即對矩陣y執(zhí)行運(yùn)算
計算
對所述協(xié)方差矩陣進(jìn)行特征值分解運(yùn)算,并獲取前d′個最大特征值所對應(yīng)的特征向量;
將所述前d′個最大特征值所對應(yīng)的特征向量拼成pca投影矩陣:
分別將攝像機(jī)a和攝像機(jī)b下的特征表達(dá)矩陣x與z使用所述pca投影矩陣wpca向低維空間作投影運(yùn)算,獲得降維后的矩陣:
一種實施例中,將降維處理后的行人圖像的特征表達(dá)向量投影到類內(nèi)子空間,具體為:
計算降維后的所有特征表達(dá)向量的類內(nèi)協(xié)方差矩陣:
對所述類內(nèi)協(xié)方差矩陣
分別將降維處理后的行人圖像的特征表達(dá)向量使用所述類內(nèi)子空間投影矩陣wintra投影到類內(nèi)子空間,采用矩陣運(yùn)算為:
一種實施例中,根據(jù)向類內(nèi)子空間投影后的特征表達(dá)向量及其對應(yīng)的標(biāo)簽信息通過優(yōu)化損失函數(shù)學(xué)習(xí)馬氏距離度量矩陣,具體為:
目標(biāo)函數(shù)為:
采用加速鄰近端梯度優(yōu)化方法對所述目標(biāo)函數(shù)求解,獲取最優(yōu)馬氏距離度量矩陣。
一種實施例中,利用所述在訓(xùn)練集上學(xué)習(xí)獲得的馬氏距離度量矩陣對測試數(shù)據(jù)集中不同攝像機(jī)下的行人圖像進(jìn)行行人重識別,具體為:將測試數(shù)據(jù)集中攝像機(jī)a下每一張圖片的特征表達(dá)向量與攝像機(jī)b下所有圖像提取的特征表達(dá)向量兩兩計算馬氏距離,并按馬氏距離由小到大排序,將馬氏距離最小的圖像作為正確匹配的圖片對。
一種實施例中,還包括獲取數(shù)據(jù)集中所有圖像的特征表達(dá)向量的步驟:
對行人圖像大小進(jìn)行歸一化處理;
對歸一化處理后的行人圖像進(jìn)行特征表達(dá)向量提??;
將所有行人圖像的特征表達(dá)向量與其所對應(yīng)的標(biāo)簽劃分為訓(xùn)練數(shù)據(jù)集和測
試數(shù)據(jù)集。
依據(jù)上述實施例的行人重識別方法,由于先對訓(xùn)練數(shù)據(jù)集中的特征表達(dá)向量進(jìn)行降維,再將降維后的特征表達(dá)向量投影到類內(nèi)子空間,進(jìn)而在類內(nèi)子空間通過相對距離比較學(xué)習(xí)馬氏距離度量矩陣,最后,在測試集上使用學(xué)習(xí)到的馬氏距離度量矩陣進(jìn)行行人重識別,該方法能夠有效避免訓(xùn)練數(shù)據(jù)集中正、負(fù)樣本不平衡所帶來的影響,能夠?qū)W習(xí)到魯棒性強(qiáng)的馬氏距離度量矩陣,提升行人重識別的準(zhǔn)確率。
附圖說明
圖1為行人重識別方法流程圖;
圖2為特征表達(dá)向量提取過程示意圖;
圖3為一公開數(shù)據(jù)集中的不同攝像機(jī)下部分行人圖片示意圖;
圖4為行人重識別方法仿真結(jié)果比較圖。
具體實施方式
下面通過具體實施方式結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)說明。
為了避免在度量學(xué)習(xí)中正確匹配行人圖片對的數(shù)量遠(yuǎn)低于不同行人圖片對所帶來的樣本不平衡問題,本例提供一種基于大間隔相對距離度量學(xué)習(xí)的行人重識別方法,通過將樣本投影到類內(nèi)子空間,采用新設(shè)計的具有更強(qiáng)約束的損失函數(shù),使本例提出的行人重識別方法能夠獲得更優(yōu)的距離度量矩陣,從而大大提高行人重識別的準(zhǔn)確率。
本例以從監(jiān)控視頻畫面中裁剪出的僅包含行人的矩形畫面作為行人圖像,提取這些行人圖像的特征表達(dá)向量,并將這些特征表達(dá)向量及對應(yīng)的身份標(biāo)簽所組成的數(shù)據(jù)劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集,在訓(xùn)練數(shù)據(jù)集上,按大間隔相對距離度量學(xué)習(xí)算法學(xué)習(xí)得到馬氏距離度量矩陣,在測試數(shù)據(jù)集上利用學(xué)習(xí)到的距離度量矩陣計算不同攝像機(jī)下行人畫面的距離,實現(xiàn)行人身份驗證(即完成行人重識別工作),具體包括如下步驟,其流程圖如圖1所示。
s1:獲取行人圖像的特征表達(dá)向量,并劃分為訓(xùn)練數(shù)據(jù)集與測試數(shù)據(jù)集。
具體的,對行人圖像大小作歸一化處理,即將所有行人圖像統(tǒng)一到相同的大??;利用現(xiàn)有的特征表達(dá)向量提取算法計算歸一化處理后的行人圖像的特征表達(dá)向量,將所有行人圖像的特征表達(dá)向量與其所對應(yīng)的標(biāo)簽(如,行人身份驗證標(biāo)簽)組成數(shù)據(jù)集,再將數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集。
其中,對行人圖像大小歸一化處理的具體過程是:如圖2所示,給定一張行人圖像,首先將該行人圖像調(diào)整為128像素×64像素,然后采用前景分割算法獲得圖像中的行人。再對前景行人圖像劃分為8個等高度的水平條,對于最頂端與最底端分別去除1/2水平條高度后,將獲得的裁剪后的圖像再劃分為7個等高水平條,這樣的劃分可以獲得具有覆蓋的15個水平條;從每個水平條中分別提取hsv聯(lián)合直方圖、rgb聯(lián)合直方圖、尺度不變局部三元模式(localternarypattern,ltp)紋理特征與顯著顏色名稱(salientcolornames,scn)直方圖。其中,hsv與rgb聯(lián)合直方圖每個顏色通道作8位量化,因此,獲得的hsv/rgb聯(lián)合直方圖均為512維,ltp直方圖為182維,scn直方圖為16維;將各個水平條上提取的特征向量按順序逐一拼接起來,得到整幅圖像完整的特征表達(dá)向量,最終的維度為18030。
s2:在訓(xùn)練數(shù)據(jù)集中,對不同攝像機(jī)下行人圖像的特征表達(dá)向量進(jìn)行降維處理并將降維處理后的特征表達(dá)向量投影到類內(nèi)子空間。
為了提高運(yùn)算速度,對不同攝像機(jī)下的行人圖像的特征向量首先進(jìn)行無監(jiān)督的pca降維處理,且,降維時采用保留所有能量的方案,降維處理的具體過程如下。
將訓(xùn)練數(shù)據(jù)集中攝像機(jī)a下行人圖像的特征表達(dá)向量拼成矩陣
首先將x與z拼接為矩陣
對攝像機(jī)a和攝像機(jī)b下的行人圖像的特征表達(dá)向量分別作去均值處理,即對矩陣y執(zhí)行運(yùn)算
計算
對所述協(xié)方差矩陣進(jìn)行特征值分解運(yùn)算,并獲取前d′個最大特征值所對應(yīng)的特征向量;
將所述前d′個最大特征值所對應(yīng)的特征向量拼成pca投影矩陣:
分別將攝像機(jī)a和攝像機(jī)b下的特征表達(dá)矩陣x與z使用所述pca投影矩陣wpca向低維空間作投影運(yùn)算,獲得降維后的矩陣:
另外,將降維處理后的行人圖像的特征表達(dá)向量投影到類內(nèi)子空間的過程如下。
計算降維后的特征矩陣的類內(nèi)協(xié)方差,獲取類內(nèi)協(xié)方差矩陣:
其中,
對類內(nèi)協(xié)方差矩陣
分別將降維處理后的行人圖像的特征表達(dá)向量使用所述類內(nèi)子空間投影矩陣wintra投影到類內(nèi)子空間:
其中,中
通過公式(2)向類內(nèi)子空間投影操作能夠有效地抑制具有較大方差的特征向量的維度,從而使得具有相同標(biāo)簽的跨攝像機(jī)特征向量間的距離得到降低。
s3:根據(jù)投影后的特征表達(dá)向量及其對應(yīng)的標(biāo)簽信息通過優(yōu)化損失函數(shù)學(xué)習(xí)馬氏距離度量矩陣。
本例中,從跨攝像機(jī)的行人圖像特征表達(dá)向量及對應(yīng)的標(biāo)簽中學(xué)習(xí)馬氏距離度量矩陣的目標(biāo)函數(shù)的表達(dá)式如下:
其中,
公式(3)中采用了log-logistic損失函數(shù),能夠為正確匹配樣本對與錯誤匹配樣本對提供一個柔性區(qū)分間隔,此外該函數(shù)為一凸函數(shù),保證了公式(3)為凸優(yōu)化問題其最優(yōu)解唯一,該函數(shù)的光滑可微性也為公式(3)的優(yōu)化求解帶來了方便。此外,
另外,本例采用了高效的加速鄰近端梯度(acceleratedproximalgradient,apg)優(yōu)化方法對公式(3)進(jìn)行求解,獲取最優(yōu)馬氏距離度量矩陣。具體的,為了更高效方便地求解公式(3),首先對公式(3)進(jìn)行恒等變換,將約束條件
式中
進(jìn)一步,將公式(4)拆分為如下兩部分:
采用apg的迭代優(yōu)化策略,首先對f(m)執(zhí)行梯度下降,再優(yōu)化h(m),如此迭代直到達(dá)到收斂條件閾值。令vt(t≥1)為已搜索到的最優(yōu)點(diǎn),在此點(diǎn)處對f(m)線性化,創(chuàng)建鄰近點(diǎn)算子(proximaloperator)如下:
其中,||·||f為frobenius范數(shù),<·>為矩陣內(nèi)積運(yùn)算,ηt為步長值。式中
進(jìn)一步,
其中,
為了加快對(9)的運(yùn)算速度,避免公式(12)中的外積運(yùn)算所帶來的巨大運(yùn)算量,實際數(shù)值運(yùn)算采用了矩陣化運(yùn)算,
式中n+為對每個a攝像機(jī)下每個
對式(8)丟棄與m無關(guān)項f(vt),并添加
從而獲得解
接下來根據(jù)apg優(yōu)化h(m),即將
接下來,根據(jù)獲得的mt與前一步獲得的mt-1作外插值獲得vt+1,即
重復(fù)上述步驟直到
以viper數(shù)據(jù)集為例,如圖3所示展示了從該數(shù)據(jù)集中隨機(jī)選取的部分行人圖像示例。將數(shù)據(jù)集隨機(jī)劃分為不相交的兩部分,其中一部分作為訓(xùn)練數(shù)據(jù)集,另一部分作為測試數(shù)據(jù)集,如在viper上,將其中包含的632個行人(每個行人在兩個攝像機(jī)下各一張圖片)隨機(jī)劃分為2個各含316個行人子集,前316人圖片的向類內(nèi)子空間投影后的特征表達(dá)向量用于訓(xùn)練,后316人投影后的特征表達(dá)向量用作為測試集。
以舉例說明學(xué)習(xí)獲得馬氏距離度量矩陣的具體過程如下:
步驟1:初始化m0與v1均為d′×d′大小的單位陣,θ0=1,收斂閾值∈=10-5;
步驟2:更新θt+1:
步驟3:對每個攝像機(jī)a下的行人圖片,使用當(dāng)前迭代中獲得的mt按
步驟4:按公式(10)與(13)計算梯度
步驟5:采用線搜索方法估計式(8)中的步長ηt;
步驟6:按式(14)計算f(m)在vt點(diǎn)處的最優(yōu)解在
步驟7:將
步驟8:更新vt+1:
步驟9:根據(jù)式(4)計算損失函數(shù),如果當(dāng)前損失函數(shù)與上次損失函數(shù)差值大于收斂閾值∈,則轉(zhuǎn)到步驟2,否則認(rèn)為算法收斂,輸出最優(yōu)解mt。
s4:在測試數(shù)據(jù)集中,利用馬氏距離度量矩陣對攝像機(jī)a和攝像機(jī)b下的行人圖像進(jìn)行行人重識別。
具體為:將測試數(shù)據(jù)集中攝像機(jī)a下每一張圖片的特征表達(dá)向量與攝像機(jī)b下所有圖像提取的特征表達(dá)向量兩兩計算馬氏距離,并按馬氏距離由小到大排序,將馬氏距離最小的圖像作為正確匹配的圖片對;即,對所有測試數(shù)據(jù)集中的特征表達(dá)向量使用wpca與均值特征向量作pca投影到d′維度,再使用wintra向類內(nèi)子空間投影,對測試數(shù)據(jù)集中攝像機(jī)a下一個行人圖像的向類內(nèi)子空間投影后的特征表達(dá)向量,與攝像機(jī)b下的所有行人圖像的類內(nèi)子空間投影后特征表達(dá)向量根據(jù)
如圖4所示,為本例與其它公開方法在viper數(shù)據(jù)集上的重識別累積匹配準(zhǔn)確率(cumulativematchingcharacteristic,cmc)曲線,其中sssvm為每個行人訓(xùn)練一個svm分類器,并采用最小二乘半耦合詞典創(chuàng)建特征空間與分類器空間之間的對應(yīng)關(guān)系;nfst將行人圖片的特征表達(dá)向量投影到類內(nèi)散布矩陣的零空間再進(jìn)行匹配,該方法能夠有效地解決小樣本問題且具有閉合形式的解;mlapg方法在求解度量矩陣時對正、負(fù)樣本對采用了不對稱加權(quán)的策略來解決樣本不平衡導(dǎo)致的度量矩陣不夠魯棒的缺點(diǎn);xqda方法在求解距離度量矩陣的同時還求解一個低維投影矩陣,從而無需先對特征向量降維再學(xué)習(xí)度量矩陣;polymap方法對跨攝像機(jī)的行人圖片特征向量首先采用二次多項式核函數(shù)進(jìn)行映射,再學(xué)習(xí)相似度函數(shù)計算不同攝像機(jī)下圖片之間的相似度;mlf方法通過學(xué)習(xí)中層濾波器特征,利用ranksvm算法來計算行人圖片間的相似度,但運(yùn)算耗時較長;salmatch方法采用了對行人圖片首先計算其顯著性圖,再使用該顯著性圖對ranksvm計算的相似度進(jìn)行加權(quán);kissme為從統(tǒng)計推理角度出發(fā)提出的一種快速度量學(xué)習(xí)方法,該算法簡單高效,具有閉合形式的解,但是對pca維度相當(dāng)敏感;pcca方法從訓(xùn)練樣本中學(xué)習(xí)到一個低維投影矩陣,因此可以直接處理高維樣本,并在降維后的子空間中實現(xiàn)行人圖片的匹配;prdc方法從概率角度出發(fā),旨在學(xué)習(xí)一個投影子空間使得錯誤匹配圖像間距離高于正確匹配圖像間距離的概率最大化。lmrdl為本發(fā)明實施例的準(zhǔn)確率結(jié)果。可以看出本實施例在識別準(zhǔn)確率明顯優(yōu)于其他方法。此外,由于采用了高效的apg優(yōu)化方法,本發(fā)明方法求解速度也很快。
與現(xiàn)有技術(shù)相比,本發(fā)明具有以下的有益效果:
傳統(tǒng)的度量學(xué)習(xí)往往直接不同攝像機(jī)下的行人圖像對施加硬約束,即匹配圖像對的距離應(yīng)小于某一閾值,而不匹配圖像應(yīng)大于此閾值。但這種約束過于僵硬,因為無法保證不同行人的兩張圖像均滿足固定的閾值條件,另外受到不平衡數(shù)據(jù)的影響較重。以往的基于三元組的度量學(xué)習(xí)方法或者不處理類內(nèi)圖像對,或者在目標(biāo)函數(shù)中同時約束類內(nèi)距離與類間距離,但需要對兩者進(jìn)行平衡。而本發(fā)明所提出的度量學(xué)習(xí)方法是在將樣本投影到內(nèi)類子空間后再學(xué)習(xí)相對距離度量,該方法不僅能夠有效地避免不平衡樣本所帶來的度量矩陣不夠魯棒的缺點(diǎn),還能夠降低不同攝像機(jī)下類內(nèi)行人圖像的距離,不必對類內(nèi)距離與類間距離進(jìn)行平衡。在行人重識別任務(wù)上的實驗結(jié)果證實了本發(fā)明提出的方法的有效性。
以上應(yīng)用了具體個例對本發(fā)明進(jìn)行闡述,只是用于幫助理解本發(fā)明,并不用以限制本發(fā)明。對于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員,依據(jù)本發(fā)明的思想,還可以做出若干簡單推演、變形或替換。