本發(fā)明涉及一種基于多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的行人識(shí)別與跟蹤方法，屬于視頻監(jiān)控網(wǎng)絡(luò)的
技術(shù)領(lǐng)域：
。
背景技術(shù)：
：隨著智慧城市建設(shè)的推進(jìn)和智能安防技術(shù)的革新，在視頻監(jiān)控系統(tǒng)中引入智能視頻分析技術(shù)，成為節(jié)省人力物力、提高監(jiān)控安全等級(jí)的有效手段。其中，行人目標(biāo)是監(jiān)控系統(tǒng)的重點(diǎn)關(guān)注目標(biāo)，對(duì)其進(jìn)行檢測(cè)、識(shí)別、跟蹤是智能視頻分析技術(shù)的重要任務(wù)。監(jiān)控系統(tǒng)中的攝像機(jī)視頻質(zhì)量參差不齊，拍攝角度和光照條件各異，出現(xiàn)在其中的行人有姿態(tài)、遮擋程度多變等特點(diǎn)。因此，對(duì)行人目標(biāo)的跨攝像機(jī)連續(xù)、長(zhǎng)期的識(shí)別和跟蹤是智能視頻監(jiān)控領(lǐng)域的一大難題。目前的多攝像機(jī)聯(lián)合監(jiān)控技術(shù)中，主要有兩大著眼點(diǎn)。一是行人再識(shí)別技術(shù)，致力于解決攝像機(jī)非重疊場(chǎng)景下目標(biāo)的識(shí)別問(wèn)題，致力于使用魯棒性特征、距離度量學(xué)習(xí)等手段提高在數(shù)據(jù)集上的識(shí)別率。一方面，目前流行的深度學(xué)習(xí)技術(shù)在這方面的成功應(yīng)用甚少；另一方面，實(shí)際場(chǎng)景中常常能獲取到可疑行人目標(biāo)的圖像、視頻、外觀特征的描述等多種線索，而現(xiàn)有方法大多難以同時(shí)有效利用這些信息。二是多攝像機(jī)網(wǎng)絡(luò)的時(shí)空信息運(yùn)用，致力于從多攝像機(jī)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)、場(chǎng)景關(guān)聯(lián)中提取出時(shí)空信息，提高目標(biāo)跨攝像機(jī)識(shí)別與跟蹤的準(zhǔn)確率。目前這一研究集中在時(shí)空信息的自動(dòng)學(xué)習(xí)、跨攝像機(jī)的數(shù)據(jù)關(guān)聯(lián)算法等方面，然而對(duì)計(jì)算資源有限的情況下，如何將不同攝像機(jī)組織起來(lái)，利用時(shí)空信息對(duì)視頻分析任務(wù)進(jìn)行連續(xù)而有效切換的研究甚少。因此，現(xiàn)有的多攝像機(jī)監(jiān)控網(wǎng)絡(luò)下，無(wú)法智能化地對(duì)目標(biāo)進(jìn)行識(shí)別和持續(xù)跟蹤，及在跟蹤過(guò)程中實(shí)現(xiàn)高效的監(jiān)控切換，降低監(jiān)控效率。技術(shù)實(shí)現(xiàn)要素：本發(fā)明所要解決的技術(shù)問(wèn)題在于克服現(xiàn)有技術(shù)的不足，提供一種基于多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的行人識(shí)別與跟蹤方法，解決現(xiàn)有的多攝像機(jī)監(jiān)控網(wǎng)絡(luò)下無(wú)法智能化地對(duì)目標(biāo)進(jìn)行識(shí)別和持續(xù)跟蹤，及在跟蹤過(guò)程中實(shí)現(xiàn)高效的監(jiān)控切換的問(wèn)題。本發(fā)明具體采用以下技術(shù)方案解決上述技術(shù)問(wèn)題：基于多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的行人識(shí)別與跟蹤方法，包括以下步驟：步驟1、根據(jù)設(shè)置的視頻包圍圈標(biāo)定準(zhǔn)則將多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中攝像機(jī)劃分至若干個(gè)視頻包圍圈中；步驟2、對(duì)目標(biāo)行人的特征進(jìn)行特征提取并存儲(chǔ)至目標(biāo)行人特征庫(kù)；步驟3設(shè)置其中一個(gè)視頻包圍圈為初始視頻包圍圈，及對(duì)該視頻包圍圈下啟動(dòng)行人跟蹤與識(shí)別任務(wù)；步驟4、調(diào)取步驟3的視頻包圍圈中各攝像機(jī)的監(jiān)控畫面，利用多目標(biāo)跟蹤算法對(duì)所有監(jiān)控畫面中每幀的行人進(jìn)行跟蹤獲得多張待識(shí)別行人圖像，對(duì)每張待識(shí)別行人圖像進(jìn)行特征提取；步驟5、利用光照監(jiān)控算法檢測(cè)步驟4所調(diào)取視頻包圍圈中各個(gè)攝像機(jī)在每幀的監(jiān)控畫面亮度，計(jì)算獲得各攝像機(jī)在每幀所對(duì)應(yīng)的監(jiān)控畫面亮度指數(shù)；步驟6、根據(jù)所提取每張待識(shí)別行人圖像中特征與所得目標(biāo)行人特征、及所得各攝像機(jī)在每幀的監(jiān)控畫面亮度指數(shù)計(jì)算得到待識(shí)別行人與目標(biāo)行人的相似度；根據(jù)所得相似度判斷待識(shí)別行人是否為目標(biāo)行人，當(dāng)判斷待識(shí)別行人為目標(biāo)行人時(shí)，生成用于目標(biāo)行人識(shí)別成功的報(bào)警信號(hào)，且根據(jù)設(shè)置的視頻包圍圈切換準(zhǔn)則進(jìn)行視頻包圍圈切換，以實(shí)現(xiàn)在視頻包圍圈中對(duì)該目標(biāo)行人進(jìn)行鎖定和跟蹤；步驟7、重復(fù)執(zhí)行所述步驟4至6，以實(shí)現(xiàn)對(duì)目標(biāo)行人進(jìn)行連續(xù)識(shí)別與跟蹤。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟1中每個(gè)視頻包圍圈由一個(gè)中心攝像機(jī)和若干個(gè)邊緣攝像機(jī)組成。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟2采用基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取算法提取獲得目標(biāo)行人特征。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟2中目標(biāo)行人特征包括目標(biāo)行人臉部特征或上下半身顏色特征或上下半身紋理特征。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟2中目標(biāo)行人特征由輸入的視頻或圖像提取，或根據(jù)直接輸入的特征得到。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟4中所利用的多目標(biāo)跟蹤算法，包括：步驟41、針對(duì)視頻包圍圈中各攝像機(jī)在每幀的監(jiān)控畫面采用基于積分通道特征的行人檢測(cè)器對(duì)行人進(jìn)行實(shí)時(shí)檢測(cè)；步驟42、利用卡爾曼濾波器對(duì)所檢測(cè)到的每個(gè)行人進(jìn)行實(shí)時(shí)跟蹤；步驟43、利用JPDA聯(lián)合概率數(shù)據(jù)互聯(lián)算法對(duì)每個(gè)行人進(jìn)行前后時(shí)刻的數(shù)據(jù)關(guān)聯(lián)；步驟44、返回執(zhí)行步驟41至步驟43，以達(dá)成對(duì)視頻包圍圈中各攝像機(jī)在每幀的監(jiān)控畫面中行人連續(xù)跟蹤。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟5中所利用的光照監(jiān)控算法，包括：步驟51、將視頻包圍圈中各個(gè)攝像機(jī)在每幀的監(jiān)控畫面轉(zhuǎn)換至HSV顏色空間圖像；步驟52、計(jì)算所轉(zhuǎn)換HSV顏色空間圖像的V通道歸一化平均亮度值；步驟53、將步驟52所得平均亮度值作為該攝像機(jī)在每幀所對(duì)應(yīng)的監(jiān)控畫面亮度指數(shù)。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所以步驟6還包括設(shè)置權(quán)重以計(jì)算獲得待識(shí)別行人與目標(biāo)行人的相似度。進(jìn)一步地，作為本發(fā)明的一種優(yōu)選技術(shù)方案：所述步驟6還包括設(shè)置用于控制生成報(bào)警信號(hào)和用于控制視頻包圍圈切換的閾值。本發(fā)明采用上述技術(shù)方案，能產(chǎn)生如下技術(shù)效果：本發(fā)明所提供的一種基于多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的行人識(shí)別與跟蹤方法，該方法在多攝像機(jī)監(jiān)控網(wǎng)絡(luò)基礎(chǔ)上設(shè)置多個(gè)視頻包圍圈，用以組織多攝像機(jī)網(wǎng)絡(luò)中的攝像機(jī)，完成算法分析任務(wù)的聯(lián)動(dòng)切換，實(shí)現(xiàn)了在計(jì)算資源有限的情況下，有效利用時(shí)空信息輔助跟蹤和識(shí)別任務(wù)，具有良好的實(shí)際應(yīng)用價(jià)值。采用所述方法能夠有效利用可疑行人的圖片、視頻、外觀特征描述等多種輸入線索，進(jìn)行實(shí)時(shí)、魯棒的目標(biāo)識(shí)別與跟蹤，符合實(shí)際應(yīng)用中處理多種輸入信息的需求。所述的方法中融合了基于深度學(xué)習(xí)的圖像識(shí)別技術(shù)，避免了手動(dòng)設(shè)計(jì)特征的盲目性和復(fù)雜性。附圖說(shuō)明圖1為本發(fā)明基于多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的行人識(shí)別與跟蹤方法的流程圖。圖2為本發(fā)明中卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的示意圖。圖3為本發(fā)明中視頻包圍圈的結(jié)構(gòu)示意圖。具體實(shí)施方式下面結(jié)合說(shuō)明書附圖對(duì)本發(fā)明的實(shí)施方式進(jìn)行描述。如圖1所示，本發(fā)明設(shè)計(jì)了基于多攝像機(jī)監(jiān)控網(wǎng)絡(luò)的行人識(shí)別與跟蹤方法，該方法結(jié)合多攝像機(jī)監(jiān)控網(wǎng)絡(luò)，以組織多攝像機(jī)網(wǎng)絡(luò)中的攝像機(jī)完成算法分析任務(wù)的聯(lián)動(dòng)切換，具體包括以下步驟：步驟1、根據(jù)設(shè)置的視頻包圍圈標(biāo)定準(zhǔn)則將多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中攝像機(jī)劃分至若干個(gè)視頻包圍圈中；其中，用戶根據(jù)需要設(shè)置多攝像機(jī)監(jiān)控網(wǎng)絡(luò)下監(jiān)控現(xiàn)場(chǎng)的攝像機(jī)位置和角度，及根據(jù)設(shè)置視頻包圍圈的標(biāo)定準(zhǔn)則，將多攝像機(jī)網(wǎng)絡(luò)中的攝像機(jī)劃分到多個(gè)視頻包圍圈中，各視頻包圍圈之間的攝像機(jī)可以重疊，且標(biāo)定每個(gè)攝像機(jī)存在對(duì)應(yīng)的監(jiān)控分析區(qū)域。步驟2、對(duì)目標(biāo)行人的特征進(jìn)行特征提取并存儲(chǔ)至目標(biāo)行人特征庫(kù)。步驟3、設(shè)置其中一個(gè)視頻包圍圈為初始視頻包圍圈，及對(duì)該視頻包圍圈下啟動(dòng)行人跟蹤與識(shí)別任務(wù)；通?？梢詫⒁曨l包圍圈所在場(chǎng)景的初始位置設(shè)置攝像機(jī)，以該攝像機(jī)設(shè)置為所在視頻包圍圈的初始位置。步驟4、調(diào)取步驟3的視頻包圍圈中各攝像機(jī)的監(jiān)控畫面，利用多目標(biāo)跟蹤算法對(duì)所有監(jiān)控畫面中每幀的行人進(jìn)行跟蹤獲得多張待識(shí)別行人圖像，對(duì)每張待識(shí)別行人圖像進(jìn)行特征提取。步驟5、利用光照監(jiān)控算法檢測(cè)步驟4所調(diào)取視頻包圍圈中各個(gè)攝像機(jī)在每幀的監(jiān)控畫面亮度，計(jì)算獲得各攝像機(jī)在每幀所對(duì)應(yīng)的監(jiān)控畫面亮度指數(shù)。步驟6、根據(jù)所提取每張待識(shí)別行人圖像中特征與所得目標(biāo)行人特征、及所得各攝像機(jī)在每幀的監(jiān)控畫面亮度指數(shù)計(jì)算得到待識(shí)別行人與目標(biāo)行人的相似度；根據(jù)所得相似度判斷待識(shí)別行人是否為目標(biāo)行人，當(dāng)判斷待識(shí)別行人為目標(biāo)行人時(shí)，生成用于目標(biāo)行人識(shí)別成功的報(bào)警信號(hào)，且根據(jù)設(shè)置的視頻包圍圈切換準(zhǔn)則進(jìn)行視頻包圍圈切換，以實(shí)現(xiàn)在視頻包圍圈中對(duì)該目標(biāo)行人進(jìn)行鎖定和跟蹤。步驟7、重復(fù)執(zhí)行所述步驟4至6，以實(shí)現(xiàn)對(duì)目標(biāo)行人進(jìn)行連續(xù)識(shí)別與跟蹤，直至用戶操作至結(jié)束。對(duì)于上述步驟1中所述的視頻包圍圈標(biāo)定準(zhǔn)則，具體如下：a)，如圖3所示，本發(fā)明的一個(gè)視頻包圍圈由一個(gè)中心攝像機(jī)和周圍的2-4個(gè)邊緣攝像機(jī)組成的攝像機(jī)組，其監(jiān)控畫面可以在多屏監(jiān)控軟件中同時(shí)展示；b)，一個(gè)視頻包圍圈中的多臺(tái)攝像機(jī)需按照實(shí)際布放情況位置和角度，參照視頻包圍圈的標(biāo)定準(zhǔn)則，盡數(shù)劃分到不同視頻包圍圈中；其中，視頻包圍圈的標(biāo)定準(zhǔn)則具體還包括：b1)，同一攝像機(jī)只能充當(dāng)一個(gè)視頻包圍圈的中心攝像機(jī)，但可以充當(dāng)不同視頻包圍圈的邊緣攝像機(jī)；b2)，標(biāo)定出的視頻包圍圈需覆蓋整個(gè)監(jiān)控場(chǎng)景，即每一個(gè)攝像機(jī)都要有從屬的視頻包圍圈，無(wú)論是充當(dāng)中心攝像機(jī)還是邊緣攝像機(jī)；b3)，每一個(gè)視頻包圍圈中的攝像機(jī)需要滿足物理位置相鄰、監(jiān)控場(chǎng)景相鄰的條件；b4)，每一個(gè)視頻包圍圈中，應(yīng)盡可能多的使邊緣攝像頭作為其它視頻包圍圈的中心攝像機(jī)，以保證切換能夠連續(xù)；c)，每一個(gè)攝像機(jī)都對(duì)應(yīng)各自的跟蹤識(shí)別算法，在攝像機(jī)所對(duì)應(yīng)的監(jiān)控分析區(qū)域中執(zhí)行行人多目標(biāo)跟蹤和識(shí)別的分析任務(wù)。算法運(yùn)行過(guò)程中，只執(zhí)行滿足條件的在線攝像機(jī)所對(duì)應(yīng)的分析任務(wù)；視頻包圍圈切換時(shí)，開啟、關(guān)閉對(duì)應(yīng)攝像機(jī)的算法任務(wù)。由該標(biāo)定準(zhǔn)則，形成如圖3所示的多攝像機(jī)監(jiān)控網(wǎng)絡(luò)，但本發(fā)明不限于該種結(jié)構(gòu)，其他架構(gòu)下形成的多攝像機(jī)監(jiān)控網(wǎng)絡(luò)同樣適用于本發(fā)明中。本發(fā)明中，優(yōu)選地，所述步驟2中目標(biāo)行人特征可以采用由輸入的視頻或圖像提取，或直接輸入特征得到，進(jìn)一步地，其目標(biāo)行人特征可以包括目標(biāo)行人臉部特征或上下半身顏色特征或上下半身紋理特征，用戶可以根據(jù)需要選取任一種或多種特征作為線索進(jìn)行行人識(shí)別和跟蹤過(guò)程，其過(guò)程如下：2.1)，若選擇目標(biāo)行人特征由輸入一張或多張目標(biāo)行人的圖片方式獲得，則采用基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取算法，提取每張圖片的卷積特征描述子，存入目標(biāo)行人的卷積特征庫(kù)中。在所述步驟2.1中采用基于卷積神經(jīng)網(wǎng)絡(luò)的行人卷積特征提取算法，具體過(guò)程如下：2.1a)，該算法使用8層卷積神經(jīng)網(wǎng)絡(luò)，如圖2所示，包括1個(gè)輸入層，6個(gè)隱藏層和1個(gè)分類層。其中，第2、4、6層為卷積層，第3、5層為采樣層；第7層為生成卷積特征描述子的隱藏層，第8層為分類層。若輸入層為47×95×3的RGB三通道彩色圖像，則卷積過(guò)程如下：第1個(gè)隱藏層為卷積層C1，卷積核的大小為4×4，卷積核的數(shù)目為20個(gè)。經(jīng)過(guò)第一個(gè)隱藏層，圖像被卷積成20個(gè)92×44的特征圖。第2個(gè)隱藏層為采樣層S1，采用max-pooling下采樣，每層輸入的每個(gè)2×2的特征塊被下采樣為1×1的輸出。經(jīng)過(guò)第2個(gè)隱藏層，圖像被采樣成20個(gè)46×22的特征圖。第3個(gè)隱藏層為卷積層C2，卷積核的大小為3×3，卷積核的數(shù)目為40個(gè)。經(jīng)過(guò)第3個(gè)隱藏層，圖像被卷積成40個(gè)20×44的特征圖。第4個(gè)隱藏層為采樣層S2，采用max-pooling下采樣，每層輸入的每個(gè)2×2的特征塊被下采樣為1×1的輸出。經(jīng)過(guò)第4個(gè)隱藏層，圖像被采樣成40個(gè)10×22的特征圖。第5個(gè)隱藏層為卷積層C3，卷積核的大小為3×3，卷積核的數(shù)目為60個(gè)。經(jīng)過(guò)第5個(gè)隱藏層，圖像被卷積成60個(gè)8×20的特征圖。第6個(gè)隱藏層為生成卷積特征描述子的隱含層，輸入為第5層的60個(gè)8×20的特征圖拉直后串聯(lián)而成的9600維的特征向量，輸出為一個(gè)500維的特征向量，層內(nèi)采用全連接的方式。最后一層為分類層，該層采用softmax分類器進(jìn)行分類輸出，分類層的節(jié)點(diǎn)數(shù)與訓(xùn)練集的類別數(shù)相等。2.1b)，使用自建行人圖像樣本庫(kù)NUPTPR作為訓(xùn)練樣本，建立行人圖像樣本庫(kù)主要用于訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，以及用于顏色和紋理特征提取時(shí)，從中挑選能夠代表可疑目標(biāo)特征的上下半身圖像。自建行人圖像樣本庫(kù)NUPTBR共包含1000個(gè)不同行人的圖像，每個(gè)行人包含8張圖像，共8000張樣本圖像；NUPTPR樣本庫(kù)有兩個(gè)來(lái)源：其一，是利用寬帶無(wú)線通信技術(shù)下公安智能圖像云平臺(tái)采集得到的路面上的行人圖像；其二，是互聯(lián)網(wǎng)上搜集得到的行人的圖像；訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)時(shí)，在每個(gè)行人的8張樣本圖像中隨機(jī)選取6張做訓(xùn)練，2張做測(cè)試。2.1c)，使用較小的隨機(jī)值初始化各層參數(shù)，使用softmax分類模型訓(xùn)練生成卷積特征描述子的隱含層，使用適用于卷積神經(jīng)網(wǎng)絡(luò)的BP算法訓(xùn)練該卷積神經(jīng)網(wǎng)絡(luò)的各層參數(shù)。2.1d)，使用該卷積神經(jīng)網(wǎng)絡(luò)的前7層進(jìn)行行人圖像的特征提取，將第7層輸出的500維特征向量作為該行人圖像的卷積特征描述子。2.1e)，定義兩張行人圖片所對(duì)應(yīng)卷積特征描述子fi、fj的相似度為：S(fi,fj)＝0.5(cos(fi,fj)+1)(1-1)其中cos(fi,fj)為描述子fi、fj之間的余弦相似度。定義建立的卷積特征集為C＝{f1,f2,...,fn}；定義某行人樣本圖片與卷積特征庫(kù)的相似度為：SI(f,C)=maxfi∈CS(f,fi)---(1-2)]]>2.2)，若選擇目標(biāo)行人特征由輸入一段或多段含有目標(biāo)行人的視頻方式獲得，則對(duì)視頻逐一采用目標(biāo)跟蹤算法對(duì)該行人進(jìn)行跟蹤。跟蹤過(guò)程中，采用基于卷積神經(jīng)網(wǎng)絡(luò)的行人特征提取算法，提取被跟蹤行人的卷積特征描述子，對(duì)描述子采用特征篩選算法，用特征篩選算法的目的是為了處理視頻輸入，從中篩選出有效的特征，經(jīng)篩選出有效的描述子，擴(kuò)充目標(biāo)行人的卷積特征庫(kù)。其中，所述步驟中采用的多目標(biāo)跟蹤算法，其具體步驟如下：2.2a)，針對(duì)視頻包圍圈中各攝像機(jī)在每幀的監(jiān)控畫面采用基于積分通道特征的行人檢測(cè)器對(duì)行人進(jìn)行實(shí)時(shí)檢測(cè)；2.2b)，對(duì)于每個(gè)檢測(cè)到的行人，使用卡爾曼濾波器進(jìn)行實(shí)時(shí)跟蹤；具體步驟為：b1)，使用卡爾曼濾波器對(duì)行人矩形包圍框的中心點(diǎn)坐標(biāo)進(jìn)行位置預(yù)測(cè)；b2)，取檢測(cè)到的矩形包圍框的中心點(diǎn)坐標(biāo)作為行人位置的量測(cè)值，輸入卡爾曼濾波器進(jìn)行濾波器更新。2.2c)，在多目標(biāo)行人跟蹤環(huán)境中，多個(gè)目標(biāo)之間的距離可能較小，而每個(gè)跟蹤門相對(duì)較大，會(huì)發(fā)生一個(gè)目標(biāo)落入多個(gè)跟蹤門中和多個(gè)目標(biāo)軌跡交叉的情況。在這樣的復(fù)雜場(chǎng)景下，采用JPDA聯(lián)合概率數(shù)據(jù)互聯(lián)算法對(duì)每個(gè)行人進(jìn)行前后時(shí)刻的數(shù)據(jù)關(guān)聯(lián)，將前一時(shí)刻的目標(biāo)運(yùn)動(dòng)軌跡與當(dāng)前時(shí)刻的量測(cè)一一匹配。2.2d)，返回執(zhí)行步驟2.2a)至2.2c)，以達(dá)成對(duì)視頻包圍圈中攝像機(jī)在每幀的監(jiān)控畫面中行人連續(xù)跟蹤。該目標(biāo)跟蹤算法可以有效對(duì)目標(biāo)行人進(jìn)行連續(xù)跟蹤，并且該方法同樣適用于步驟4中多目標(biāo)的跟蹤。進(jìn)一步地，本發(fā)明利用基于卷積神經(jīng)網(wǎng)絡(luò)的行人特征提取算法，提取被跟蹤行人的卷積特征描述子時(shí)，采用的特征篩選算法，具體步驟為：采用目標(biāo)跟蹤算法對(duì)行人進(jìn)行跟蹤。跟蹤過(guò)程中，將行人的第一張圖像所對(duì)應(yīng)的卷積特征描述子直接加入目標(biāo)行人的卷積特征庫(kù)中，此處是將目標(biāo)行人的第一張圖像設(shè)定為有效，直接提取特征加入卷積特征庫(kù)，后續(xù)圖像則用該方法判斷是否有效；對(duì)跟蹤過(guò)程中的后續(xù)行人樣本圖像，計(jì)算圖像對(duì)應(yīng)的卷積特征描述子與目標(biāo)行人的卷積特征庫(kù)的相似度SI，若SI小于閾值θ，則說(shuō)明該描述子相對(duì)于卷積特征庫(kù)是有效特征，將其加入卷積特征庫(kù)中；其中θ取值根據(jù)實(shí)際需要而定，取值范圍為0-1之間。θ越大，卷積特征庫(kù)擴(kuò)充的速度越快。2.3)，若選擇目標(biāo)行人特征由直接提供的目標(biāo)行人上、下半身的顏色信息方式獲得，則需要在自建行人圖像樣本庫(kù)中選取相應(yīng)的顏色圖案，存儲(chǔ)對(duì)應(yīng)的顏色特征描述子。其中，所述步驟2.3)中所采用的顏色特征提取算法，具體步驟如下：2.3a)，使用自建行人圖像樣本庫(kù)NUPTPR作為操作人員選取行人顏色圖案的參考。對(duì)于每幅行人圖像，以(xu1,yu1)為矩形左上角坐標(biāo)、(xu2,yu2)為矩形右下角坐標(biāo)，取出行人上半身圖像；以(xd1,yd1)為矩形左上角坐標(biāo)、(xd2,yd2)為矩形右下角坐標(biāo)，取出行人下半身圖像。根據(jù)經(jīng)驗(yàn)可取xu1＝0.15w，xu2＝0.85w，yu1＝0.15h，yu2＝0.5h；xd1＝0.15w，xd2＝0.85w，yd1＝0.5h，yd2＝0.85h。操作人員需從中選取與待識(shí)別行人顏色特征最相似的上下半身圖案作為顏色特征提取的圖像。2.3b)，對(duì)操作人員挑選的行人上下半身圖像，分別使用24-bins模糊過(guò)濾器提取出24維顏色直方圖。具體步驟為：b1)，將上下半身圖像分別轉(zhuǎn)換到HSV顏色空間。b2)，將各通道圖像輸入10-bins模糊過(guò)濾器，輸出一個(gè)10維的特征向量。b3)，將所得10維特征向量和S、V通道輸入24bin模糊過(guò)濾器，得到24維顏色直方圖。2.3c)，將上下半身圖像對(duì)應(yīng)的直方圖串聯(lián)，再進(jìn)行歸一化操作，得到48維顏色特征描述子，存入目標(biāo)行人的顏色特征庫(kù)中。2.3d)，對(duì)于當(dāng)前行人樣本圖像采用相同的方法計(jì)算顏色特征描述子，將其與目標(biāo)行人顏色特征庫(kù)中的顏色特征描述子之間的Bhattacharyya距離作為目標(biāo)顏色特征之間的相似度，取其中的最大相似度作為行人樣本圖像與目標(biāo)行人的顏色特征庫(kù)之間的相似度Sc。2.4)，若選擇目標(biāo)行人特征由直接提供的目標(biāo)上、下半身的紋理信息方式獲得，則需要在自建行人圖像樣本庫(kù)中選取對(duì)應(yīng)的紋理圖案，存儲(chǔ)對(duì)應(yīng)的紋理特征描述子到目標(biāo)行人的紋理特征庫(kù)中。其中，所述步驟2.4)中采用的紋理特征提取算法，具體步驟如下：2.4a)，使用自建行人圖像樣本庫(kù)NUPTPR作為操作人員選取行人顏色圖案的參考。對(duì)于每幅行人圖像，使用與步驟2.3.1)相同的方法，按一定比例分割出行人的上下半身圖案。操作人員從中選取與待識(shí)別行人紋理特征最相似的上下半身圖案作為紋理特征提取的圖像；2.4b)，對(duì)操作人員挑選的行人上下半身圖像，分別計(jì)算LBP旋轉(zhuǎn)不變紋理特征直方圖。具體步驟為：b1)，將行人上下半身圖像分別轉(zhuǎn)換到灰度空間；b2)，分別計(jì)算旋轉(zhuǎn)不變LBP特征。求旋轉(zhuǎn)不變LBP特征的公式如下：s(x)=1,x≥00,x<0---(2-1)]]>U(LBPP,R)=|s(gp-1-gc)-s(g0-gc)|+Σp=1P-1|s(gp-gc)-s(gp-1-gc)|---(2-2)]]>LBPP,Rriu2=Σp=0P-1s(gp-gc),U(LBPP,R)≤2P+1,U(LBPP,R)>2---(2-3)]]>其中，P為L(zhǎng)BP特征采樣點(diǎn)個(gè)數(shù)；R為圓形鄰域的采樣半徑，這里可以取1；gc為L(zhǎng)BP采樣鄰域中心像素的灰度值；gp(p＝1,2,…,P-1)為半徑為R的鄰域內(nèi)采樣點(diǎn)的像素灰度值；U(LBPP,R)為L(zhǎng)BP圓形鄰域采樣點(diǎn)間0-1變化的次數(shù)；s(x)為一個(gè)函數(shù)。b3)，對(duì)上下半身的旋轉(zhuǎn)不變LBP進(jìn)行直方圖統(tǒng)計(jì)，得出9維紋理直方圖。2.4c)，將上下半身圖像對(duì)應(yīng)的紋理直方圖串聯(lián)，再進(jìn)行歸一化操作，得到18維紋理特征描述子，存入目標(biāo)行人的紋理特征庫(kù)中。2.4d)，取行人樣本圖像的紋理特征述子與目標(biāo)行人紋理特征庫(kù)中的紋理特征描述子之間的Bhattacharyya距離作為目標(biāo)紋理特征之間的相似度；取其中的最大相似度作為行人樣本圖像與目標(biāo)行人紋理特征庫(kù)之間的相似度St。本發(fā)明在結(jié)合監(jiān)控中的光照情況時(shí)，所述步驟5中采用的光照監(jiān)控算法具體可以包括：步驟51、將視頻包圍圈中各個(gè)攝像機(jī)在每幀的監(jiān)控畫面轉(zhuǎn)換至HSV顏色空間圖像。步驟52、計(jì)算所轉(zhuǎn)換HSV顏色空間圖像的V通道歸一化平均亮度值。步驟53、將步驟52所得平均亮度值作為該攝像機(jī)在每幀所對(duì)應(yīng)的監(jiān)控畫面亮度指數(shù)。在上述步驟6中，結(jié)合步驟2所提取的目標(biāo)行人特征和步驟4所提取的任一張待識(shí)別行人圖像中待識(shí)別行人特征計(jì)算特征之間相似度，及由特征之間相似度結(jié)合步驟5所得各待識(shí)別行人圖像的亮度指數(shù)計(jì)算得到待識(shí)別行人與目標(biāo)行人的相似度，其中優(yōu)選對(duì)所輸入的參數(shù)分別設(shè)置權(quán)重，具體步驟如下：6.1)，計(jì)算出所述步驟2的3種目標(biāo)行人特征包括卷積特征、顏色特征、紋理特征，與各自的特征庫(kù)之間的相似度；6.2)，使用步驟5中的光照監(jiān)控算法計(jì)算出各攝像機(jī)在每幀所對(duì)應(yīng)的監(jiān)控畫面亮度指數(shù)L；6.3)，使用綜合評(píng)估公式計(jì)算出某一攝像機(jī)下行人樣本圖像與待識(shí)別行人特征庫(kù)的相似度Ss，即：Ss＝aI(L)×SI+ac(L)×Sc+at(L)×St(3)其中aI(L)、ac(L)、at(L)分別為3種特征對(duì)應(yīng)的權(quán)重函數(shù)，函數(shù)取值與亮度指數(shù)L有關(guān)；SI、Sc、St分別為3種特征對(duì)應(yīng)的相似度。本步驟中，還根據(jù)計(jì)算所得相似度判斷待識(shí)別行人是否為目標(biāo)行人，當(dāng)判斷待識(shí)別行人為目標(biāo)行人時(shí)，生成用于目標(biāo)行人識(shí)別成功的報(bào)警信號(hào)，且在視頻包圍圈中對(duì)該目標(biāo)行人進(jìn)行鎖定和跟蹤。在此過(guò)程中，還可以包括設(shè)置用于控制生成報(bào)警信號(hào)和用于控制視頻包圍圈切換的閾值T，當(dāng)Ss>T時(shí)算法識(shí)別出行人目標(biāo)，觸發(fā)行人目標(biāo)識(shí)別報(bào)警，且控制視頻包圍圈切換。在執(zhí)行切換過(guò)程中，視頻包圍圈的切換方法為：對(duì)于觸發(fā)包圍圈切換的攝像機(jī)，若其為當(dāng)前處理的視頻包圍圈的中心攝像機(jī)，則放棄切換；若其為當(dāng)前處理的視頻包圍圈的邊緣攝像機(jī)，且為另一新的視頻包圍圈的中心攝像機(jī)，則關(guān)閉當(dāng)前視頻包圍圈中的其它攝像機(jī)的算法任務(wù)，開啟新的視頻包圍圈中的其它攝像機(jī)的算法任務(wù)，由此切換到新的視頻包圍圈。最后，如步驟7所述，重復(fù)執(zhí)行所述步驟4至6，以實(shí)現(xiàn)對(duì)目標(biāo)行人進(jìn)行連續(xù)識(shí)別與跟蹤，直至用戶操作至結(jié)束。在多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中的其他視頻包圍圈，同樣地按照上述步驟進(jìn)行目標(biāo)行人的識(shí)別和連續(xù)跟蹤。由此，本發(fā)明可以組織多攝像機(jī)監(jiān)控網(wǎng)絡(luò)中的攝像機(jī)，完成監(jiān)控分析任務(wù)的聯(lián)動(dòng)切換，實(shí)現(xiàn)了在計(jì)算資源有限的情況下，有效利用時(shí)空信息輔助跟蹤和識(shí)別任務(wù)，提高識(shí)別效率。采用所述方法能夠有效利用可疑行人的圖片、視頻、外觀特征描述等多種輸入線索，進(jìn)行實(shí)時(shí)、魯棒的目標(biāo)識(shí)別與跟蹤，符合實(shí)際應(yīng)用中處理多種輸入信息的需求。上面結(jié)合附圖對(duì)本發(fā)明的實(shí)施方式作了詳細(xì)說(shuō)明，但是本發(fā)明并不限于上述實(shí)施方式，在本領(lǐng)域普通技術(shù)人員所具備的知識(shí)范圍內(nèi)，還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。當(dāng)前第1頁(yè)1 2 3