一種基于區(qū)域相關(guān)反饋的行人重識別方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種基于區(qū)域相關(guān)反饋的行人重識別方法及系統(tǒng)，進行初次查詢匹配和反饋樣本收集，選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型；確定近鄰集合、區(qū)域權(quán)重調(diào)整和特征權(quán)重調(diào)整；進行特征表達和距離度量，得到查詢匹配結(jié)果；查詢匹配結(jié)果，如果符合要求則輸出結(jié)果，如果不符合要求，則返回進行迭代更新反饋樣本，直到符合要求。本發(fā)明提出的基于區(qū)域相關(guān)反饋的技術(shù)，是充分了利用行人圖像的局部特征信息，從局部特征出發(fā)，結(jié)合其他信息實時動態(tài)地調(diào)整局部特征權(quán)重，并結(jié)合傳統(tǒng)行人重識別方法最終實現(xiàn)準(zhǔn)確快速地找出并成功匹配目標(biāo)嫌疑人。
【專利說明】一種基于區(qū)域相關(guān)反饋的行人重識別方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻偵查領(lǐng)域中的監(jiān)控視頻中對目標(biāo)嫌疑人進行重識別的過程，屬于一種基于區(qū)域相關(guān)反饋的行人重識別的方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著平安城市的廣泛建設(shè)和各種場所面臨監(jiān)控的普及，視頻監(jiān)控數(shù)據(jù)量變得越來越大，這給刑偵破案帶來了巨大的挑戰(zhàn)，如何快速準(zhǔn)確地從這些海量數(shù)據(jù)庫提取出目標(biāo)嫌疑人成為破案的關(guān)鍵。
[0003]傳統(tǒng)的行人重識別方法能有效解決長時間人工手動檢索可能帶來的漏檢和誤檢的問題，但是匹配效率相對較低，其主要是通過特征表達和距離度量的方法來對改善原始檢索排序的，是一種非交互的查詢方法。近年來有一些交互式的相關(guān)反饋方法應(yīng)用于行人重識別系統(tǒng)，但大都是基于正樣本圖像的一個整體關(guān)聯(lián)匹配，沒有考慮行人樣本庫中的不相關(guān)樣本以及其局部特征對改善查詢排序結(jié)果的影響。
[0004]在現(xiàn)有的行人重識別方法中，基于特征表達的方法在實際中應(yīng)用比較廣泛。在進行行人重識別過程中，通過對目標(biāo)的各個不同外觀特征以及運動信息特征進行提取，找出一個合適的表達方式，然后在行人樣本庫中直接對有相似或相同的特征表達的樣本進行匹配，直到找出嫌疑目標(biāo)。
[0005]專利號“CN102663366A”，名稱為“行人目標(biāo)識別方法及系統(tǒng)”的專利，提出了一種基于特征表達的行人目標(biāo)識別方法，該方法包括采集視頻幀、提取視頻幀的HOG特征等步驟，提取出的視頻幀包含了行人方向和強度信息的LBP特征，然后根據(jù)所述HOG特征和所述LBP特征來識別監(jiān)控視頻場景中的特定的行人目標(biāo)，這種方法算法比較簡單、效率也很高，但是魯棒性不是很好，對攝像頭的拍攝方位角度和不同的光照條件變化比較敏感，很容易導(dǎo)致錯誤匹配，不適于在復(fù)雜環(huán)境下用于進行行人重識別；
[0006]相關(guān)反饋的方法在基于內(nèi)容的圖像檢索中使用也很廣泛。不同于在行人重識別特定的應(yīng)用范圍，在基于內(nèi)容的圖像檢索中，存在著數(shù)量較多的用于匹配的正樣本圖像，這樣就比較容易對大量的不相關(guān)的樣本圖像進行學(xué)習(xí)，在人機交互過程中，根據(jù)相關(guān)特征包含的信息量和圖像場景，選取相對應(yīng)的特征表達，通過比較、匹配、排序后反饋給識別子系統(tǒng)，從而實現(xiàn)優(yōu)化初始檢索結(jié)果的目的。這種方法實現(xiàn)效果很好，魯棒性好，但是需要對大量樣本的所有特征進行訓(xùn)練學(xué)習(xí)，系統(tǒng)開銷較大，算法相對復(fù)雜，實時性方面難以達到要求，不適于在行人重識別系統(tǒng)中應(yīng)用。
[0007]專利號“CN101539930A”，名稱為“一種相關(guān)反饋圖像檢索方法”的專利，通過基于分段相似性度量和多倫次聯(lián)合反饋的圖像檢索方法來實現(xiàn)對目標(biāo)圖像進行檢索的，這種方法檢索出的匹配效果比較好，但是運算過程相對復(fù)雜，需要反復(fù)對圖像中多個特征進行訓(xùn)練學(xué)習(xí)，不適于在行人重識別系統(tǒng)中進行實戰(zhàn)部署。

【發(fā)明內(nèi)容】
[0008]本發(fā)明的目的在于克服現(xiàn)有技術(shù)缺陷，提出一種基于區(qū)域相關(guān)反饋的行人重識別方法和系統(tǒng)。
[0009]本發(fā)明的技術(shù)方案提供一種基于區(qū)域相關(guān)反饋的行人重識別方法，包括以下步驟，
[0010]步驟SI，進行初次查詢匹配和反饋樣本收集，包括以下子步驟，
[0011]步驟SI. 1，進行初次查詢匹配，包括將輸入目標(biāo)人物圖像作為查詢圖像，進行初始查詢并輸出初始查詢排序結(jié)果；
[0012]步驟SI. 2，進行反饋樣本收集，在第一次執(zhí)行步驟SI. 2時，從初次排序結(jié)果在排名最靠前的一定預(yù)設(shè)數(shù)目的圖像中選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型，構(gòu)成反饋樣本集；后續(xù)執(zhí)行步驟SI. 2時，從上一輪迭代執(zhí)行步驟S4的所得查詢排序結(jié)果中選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型，加入反饋樣本集；
[0013]標(biāo)記類型方式為，設(shè)劃分U個區(qū)域1、2…U，每個反饋樣本分別標(biāo)記為2U個類型之一，即與查詢圖像基于區(qū)域I相似、基于區(qū)域I不相似、基于區(qū)域2相似、基于區(qū)域2不相似…基于區(qū)域U相似、基于區(qū)域U不相似；對反饋樣本進行標(biāo)記時，按照區(qū)域的劃分，在每個區(qū)域提取視覺特征，設(shè)得到M維特征向量，其中任一維記為第m維，根據(jù)特征向量與查詢圖像中對應(yīng)區(qū)域分別進行相似性比較；
[0014]步驟S2，進行確定近鄰集合、區(qū)域權(quán)重調(diào)整和特征權(quán)重調(diào)整，包括以下子步驟，
[0015]步驟S2. 1，對查詢圖像，首先通過區(qū)域K近鄰集合的方法尋找出基于區(qū)域相似的區(qū)域相似和區(qū)域不相似的樣本集合；然后運用動態(tài)k近鄰規(guī)則，對每一個標(biāo)記為某區(qū)域相似的樣本，更新調(diào)整并得到新的包含k個近鄰的區(qū)域相似的集合，對每一個標(biāo)記為某區(qū)域不相似的樣本，更新調(diào)整并得到新的包含k個近鄰的該區(qū)域不相似的集合；
[0016]步驟S2. 2，更新區(qū)域權(quán)重和特征權(quán)重，
[0017]設(shè)查詢圖像P與反饋樣本集中第i個反饋樣本的圖像之間相似性Sa(p，gi)采用如下計算公式，
[0018]
【權(quán)利要求】
1.一種基于區(qū)域相關(guān)反饋的行人重識別方法，其特征在于：包括以下步驟， 步驟S1，進行初次查詢匹配和反饋樣本收集，包括以下子步驟， 步驟S1. 1，進行初次查詢匹配，包括將輸入目標(biāo)人物圖像作為查詢圖像，進行初始查詢并輸出初始查詢排序結(jié)果； 步驟S1. 2，進行反饋樣本收集，在第一次執(zhí)行步驟SI. 2時，從初次排序結(jié)果在排名最靠前的一定預(yù)設(shè)數(shù)目的圖像中選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型，構(gòu)成反饋樣本集；后續(xù)執(zhí)行步驟SI. 2時，從上一輪迭代執(zhí)行步驟S4的所得查詢排序結(jié)果中選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型，加入反饋樣本集； 標(biāo)記類型方式為，設(shè)劃分U個區(qū)域1、2…U，每個反饋樣本分別標(biāo)記為2U個類型之一，即與查詢圖像基于區(qū)域I相似、基于區(qū)域I不相似、基于區(qū)域2相似、基于區(qū)域2不相似…基于區(qū)域U相似、基于區(qū)域U不相似；對反饋樣本進行標(biāo)記時，按照區(qū)域的劃分，在每個區(qū)域提取視覺特征，設(shè)得到M維特征向量，其中任一維記為第m維，根據(jù)特征向量與查詢圖像中對應(yīng)區(qū)域分別進行相似性比較； 步驟S2，進行確定近鄰集合、區(qū)域權(quán)重調(diào)整和特征權(quán)重調(diào)整，包括以下子步驟， 步驟S2. 1，對查詢圖像，首先通過區(qū)域K近鄰集合的方法尋找出基于區(qū)域相似的區(qū)域相似和區(qū)域不相似的樣本集合；然后運用動態(tài)k近鄰規(guī)則，對每一個標(biāo)記為某區(qū)域相似的樣本，更新調(diào)整并得到新的包含k個近鄰的區(qū)域相似的集合，對每一個標(biāo)記為某區(qū)域不相似的樣本，更新調(diào)整并得到新的包含k個近鄰的該區(qū)域不相似的集合； 步驟S2. 2，更新區(qū)域權(quán)重和特征權(quán)重， 設(shè)查詢圖像P與反饋樣本集中第i個反饋樣本的圖像之間相似性Sa(p，gi)采用如下計算公式，
2.根據(jù)權(quán)利要求1所述基于區(qū)域相關(guān)反饋的行人重識別方法，其特征在于：對反饋樣本按照區(qū)域的劃分，與查詢圖像中對應(yīng)區(qū)域分別進行相似性比較時，各區(qū)域分別所采用的相似性度量計算如下式，

3.根據(jù)權(quán)利要求2所述基于區(qū)域相關(guān)反饋的行人重識別方法，其特征在于：設(shè)劃分2個區(qū)域，包括軀干和腿部，與查詢圖像中對應(yīng)區(qū)域分別進行相似性比較時，軀干和腿部分別所采用的相似性度量計算如下式，

4.根據(jù)權(quán)利要求3所述基于區(qū)域相關(guān)反饋的行人重識別方法，其特征在于：查詢圖像P與反饋樣本集中第i個樣本的圖像之間相似性采用如下計算公式，
5.根據(jù)權(quán)利要求4所述基于區(qū)域相關(guān)反饋的行人重識別方法，其特征在于：步驟S2. 2. 1，利用機器學(xué)習(xí)中距離度量的方法，更新區(qū)域權(quán)重采用如下計算公式，
wt,1(p. gi) X β ιβ 1>1 式九
wt；1 (P, gi) =Wt, 1(p, gi) X β20<β2<1 式十
其中，Wtil (P, gi)表示 Wt (p, gi)或 W“p, gi), β 1> β 2 為預(yù)設(shè)系數(shù)。
6.根據(jù)權(quán)利要求4所述基于區(qū)域相關(guān)反饋的行人重識別方法，其特征在于：步驟S2. 2. 2，利用機器學(xué)習(xí)中距離度量的方法，更新特征權(quán)重采用如下計算公式，
7.一種基于區(qū)域相關(guān)反饋的行人重識別系統(tǒng)，其特征在于：包括以下模塊， 反饋模塊，用于進行初次查詢匹配和反饋樣本收集，包括以下子模塊， 初次查詢匹配子模塊，用于將輸入目標(biāo)人物圖像作為查詢圖像，進行初始查詢并輸出初始查詢排序結(jié)果； 反饋樣本收集子模塊，用于在第一次執(zhí)行反饋樣本收集時，從初次排序結(jié)果在排名最靠前的一定預(yù)設(shè)數(shù)目的圖像中選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型，構(gòu)成反饋樣本集；后續(xù)執(zhí)行反饋樣本收集時，從上一輪迭代時結(jié)果顯示模塊所得查詢排序結(jié)果中選取不相關(guān)圖像作為反饋樣本并標(biāo)記類型，加入反饋樣本集； 標(biāo)記類型方式為，設(shè)劃分U個區(qū)域1、2…U，每個反饋樣本分別標(biāo)記為2U個類型之一，即與查詢圖像基于區(qū)域I相似、基于區(qū)域I不相似、基于區(qū)域2相似、基于區(qū)域2不相似…基于區(qū)域U相似、基于區(qū)域U不相似；對反饋樣本進行標(biāo)記時，按照區(qū)域的劃分，在每個區(qū)域提取視覺特征，設(shè)得到M維特征向量，其中任一維記為第m維，根據(jù)特征向量與查詢圖像中對應(yīng)區(qū)域分別進行相似性比較； 權(quán)值模塊，用于進行確定近鄰集合、區(qū)域權(quán)重調(diào)整和特征權(quán)重調(diào)整，包括以下子模塊，確定近鄰集合子模塊，用于對查詢圖像，首先通過區(qū)域K近鄰集合的方法尋找出基于區(qū)域相似的區(qū)域相似和區(qū)域不相似的樣本集合；然后運用動態(tài)k近鄰規(guī)則，對每一個標(biāo)記為某區(qū)域相似的樣本，更新調(diào)整并得到新的包含k個近鄰的區(qū)域相似的集合，對每一個標(biāo)記為某區(qū)域不相似的樣本，更新調(diào)整并得到新的包含k個近鄰的該區(qū)域不相似的集合； 更新區(qū)域權(quán)重和特征權(quán)重子模塊，用于執(zhí)行以下操作， 設(shè)查詢圖像P與反饋樣本集中第i個反饋樣本的圖像之間相似性Sa(p，gi)采用如下計算公式，
【文檔編號】G06K9/66GK103793721SQ201410076028
【公開日】2014年5月14日 申請日期:2014年3月4日 優(yōu)先權(quán)日:2014年3月4日
【發(fā)明者】胡瑞敏, 王正, 梁超, 冷清明, 李文剛, 陳軍, 嚴(yán)巖 申請人:武漢大學(xué)