一種基于時(shí)空約束的目標(biāo)重識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于時(shí)空約束的目標(biāo)重識(shí)別方法，首先，基于目標(biāo)的視覺(jué)信息得到基于視覺(jué)信息概率的初步排序結(jié)果，然后基于一個(gè)在某個(gè)攝像頭下出現(xiàn)的目標(biāo)不可能同時(shí)在另外一個(gè)攝像頭下出現(xiàn)，Hinge損失函數(shù)被用于構(gòu)造濾波模型以縮小待查詢(xún)范圍，而跨攝像頭時(shí)間概率模型則通過(guò)韋伯分布實(shí)現(xiàn)，跨攝像頭時(shí)間初步概率由目標(biāo)與查詢(xún)目標(biāo)集的時(shí)間間隔概率得以表示，于是，借由跨攝像頭時(shí)間信息概率與視覺(jué)信息概率融合得到基于跨攝像頭時(shí)間信息與視覺(jué)特征的中間排序結(jié)果。最后，基于同一目標(biāo)在空間上相近的兩個(gè)攝像頭中出現(xiàn)的概率大于空間上離得遠(yuǎn)的攝像頭對(duì)，目標(biāo)重識(shí)別排序結(jié)果可以得到進(jìn)一步優(yōu)化。本發(fā)明大大提升目標(biāo)重識(shí)別效果。
【專(zhuān)利說(shuō)明】
一種基于時(shí)空約束的目標(biāo)重識(shí)別方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于監(jiān)控視頻檢索技術(shù)領(lǐng)域，涉及一種目標(biāo)重識(shí)別方法，尤其涉及一種基 于時(shí)空約束的目標(biāo)重識(shí)別方法。
【背景技術(shù)】
[0002] 在實(shí)際視頻偵查中，偵查員需要根據(jù)指定對(duì)象在多攝像頭下的活動(dòng)畫(huà)面和軌跡來(lái) 快速排查、追蹤和鎖定嫌疑目標(biāo)。傳統(tǒng)基于人工瀏覽的視頻偵查模式需要耗費(fèi)大量的人力 和時(shí)間、效率低下，極易貽誤破案時(shí)機(jī)。目標(biāo)重識(shí)別是一種針對(duì)特定對(duì)象的監(jiān)控視頻自動(dòng)檢 索技術(shù)，即在攝像頭下匹配不同時(shí)間出現(xiàn)的同一目標(biāo)對(duì)象。便于視頻偵查員快速、準(zhǔn)確地發(fā) 現(xiàn)嫌疑目標(biāo)活動(dòng)畫(huà)面和軌跡，對(duì)公安部門(mén)提高破案率、維護(hù)人民群眾生命財(cái)產(chǎn)安全具有重 要意義。
[0003] 現(xiàn)有的目標(biāo)重識(shí)別方法，就典型的的行人重識(shí)別方法而言（文獻(xiàn)1、文獻(xiàn)2、文獻(xiàn)3)， 是在攝像頭對(duì)上進(jìn)行檢索，關(guān)注的是找到魯棒和穩(wěn)定的視覺(jué)特征或者為這些特征找到合適 的度量方法，然而來(lái)源于環(huán)境等因素的影響的，使得目標(biāo)重識(shí)別問(wèn)題受到一定的瓶頸，尤其 是對(duì)特征高度相似的目標(biāo)對(duì)，單單靠視覺(jué)信息根本無(wú)法解決目標(biāo)的重識(shí)別問(wèn)題，此外，對(duì)目 標(biāo)的長(zhǎng)期追蹤的需求使得攝像頭越來(lái)越多的在公共區(qū)域所使用，傳統(tǒng)方法并不能很好地解 決攝像頭下的目標(biāo)重識(shí)別問(wèn)題。
[0004] 下面就目標(biāo)重識(shí)別，從三方面來(lái)對(duì)已有相關(guān)專(zhuān)利展開(kāi)分析。
[0005] 行人重識(shí)別方面:迄今為止，在所有行人重識(shí)別方向共計(jì)專(zhuān)利17項(xiàng):武漢大學(xué)共計(jì) 公開(kāi)專(zhuān)利10項(xiàng)，中國(guó)計(jì)量學(xué)院公開(kāi)專(zhuān)利3項(xiàng)，上海交通大學(xué)2項(xiàng)，北京瑞奧風(fēng)網(wǎng)絡(luò)技術(shù)中心1 項(xiàng)，徐曉暉個(gè)人1項(xiàng)。在17項(xiàng)已有關(guān)于行人重識(shí)別專(zhuān)利中還沒(méi)有用到時(shí)空約束概念及概率模 型的。
[0006] 車(chē)輛識(shí)別方面:迄今，在車(chē)輛識(shí)別方向有多家單位參與研究，專(zhuān)利多項(xiàng)。大部分車(chē) 輛識(shí)別類(lèi)專(zhuān)利完全沒(méi)有涉及到時(shí)空概念或概率模型，而浪潮電子信息產(chǎn)業(yè)有限公司的兩篇 專(zhuān)利"一種基于大數(shù)據(jù)的伴隨車(chē)輛識(shí)別方法和裝置"和"一種基于大數(shù)據(jù)的套牌車(chē)牌識(shí)別方 法"涉及到是時(shí)空約束來(lái)完成檢索問(wèn)題，但是其中的應(yīng)用卻與本申請(qǐng)專(zhuān)利不同。"一種基于 大數(shù)據(jù)的伴隨車(chē)輛識(shí)別方法和裝置"僅僅通過(guò)時(shí)空約束特征找到車(chē)輛的伴隨車(chē)輛。"一種基 于大數(shù)據(jù)的套牌識(shí)別方法"中，通過(guò)時(shí)空約束找到范圍內(nèi)車(chē)輛，并將范圍內(nèi)車(chē)輛信息與車(chē)牌 登記信息進(jìn)行比較，從而實(shí)現(xiàn)套牌識(shí)別。兩篇專(zhuān)利雖然用到時(shí)空信息，但是在應(yīng)用上不是車(chē) 輛重識(shí)別，此外該已有專(zhuān)利沒(méi)用概率模型。
[0007] 時(shí)空約束方面:迄今為止，涉及時(shí)空約束概念的專(zhuān)利共計(jì)4項(xiàng)，每項(xiàng)都來(lái)自不同單 位。4項(xiàng)涉及時(shí)空約束概念專(zhuān)利中3項(xiàng)都沒(méi)有涉及到將時(shí)空概念應(yīng)用于目標(biāo)重識(shí)別的，另外 一項(xiàng)，8卩"基于地理時(shí)空約束的警務(wù)云圖像識(shí)別車(chē)輛管控系統(tǒng)"有涉及到用時(shí)空概念進(jìn)行目 標(biāo)識(shí)別，但是該專(zhuān)利中空間約束和車(chē)輛特征是通過(guò)彼此進(jìn)行更新，最后完成識(shí)別，此外該專(zhuān) 利沒(méi)用概率模型。
[0008] 對(duì)所有相關(guān)專(zhuān)利進(jìn)行分析可以得出以下結(jié)論：目前沒(méi)有將時(shí)空約束用于目標(biāo)重識(shí) 別方法上的應(yīng)用；目前沒(méi)有用概率模型來(lái)進(jìn)行目標(biāo)重識(shí)別的工作。
[0009] [文獻(xiàn) 1] .L.Ma，X.Yang，D.Tao:Person re-identification over camera networks usingmulti-task distance metric learning[J].In:Image Processing,IEEE Transactions on(TIP).(2014)
[0010] [文獻(xiàn)2] .A.Das，A.Chakraborty，A.K.Roy-Chowdhury:Consistent re-identification in acamera network.In:European Conference on Computer Vision (ECCV).(2014)
[0011] [文獻(xiàn)3 ]? Y ? Hu，S ? Liao，D ? Yi，et al ?: Mul ti-camera Trajectory Mining : Database and Evaluation.In:International Conference on Pattern Recognition (ICPR).(2014)

【發(fā)明內(nèi)容】

[0012] 針對(duì)現(xiàn)有技術(shù)存在的不足，本發(fā)明提供了一種基于時(shí)空約束的目標(biāo)重識(shí)別方法， 提出并創(chuàng)新地解決監(jiān)控下目標(biāo)重識(shí)別的兩類(lèi)問(wèn)題:單攝像頭下同一目標(biāo)重識(shí)別和多攝像頭 下同一目標(biāo)的重識(shí)別。
[0013] 本發(fā)明所采用的技術(shù)方案是：1. 一種基于時(shí)空約束的目標(biāo)重識(shí)別方法，用于識(shí)別 出監(jiān)控網(wǎng)絡(luò)C= {CW^Cm}中某個(gè)攝像頭下的某個(gè)特定目標(biāo)，包括單攝像頭下的目標(biāo)重 識(shí)別和多攝像頭下的目標(biāo)重識(shí)別；目標(biāo)描述信息包括視覺(jué)特征信息、跨攝像頭時(shí)間特征信 息和攝像頭間空間特征信息；其中跨攝像頭時(shí)間特征信息亦即跨攝像頭時(shí)間約束，攝像頭 間空間特征信息亦即攝像頭間的位置關(guān)系，監(jiān)控網(wǎng)絡(luò)共含M+1個(gè)攝像頭，Co是目標(biāo)攝像頭，M 是查詢(xún)集攝像頭總數(shù)，攝像頭匕下目標(biāo)j的視覺(jué)特征信息用<表示，7T，n是視覺(jué)特征的 維度，目標(biāo)j進(jìn)入攝像頭Cm的時(shí)間信息用G表示，〇〖=('匕)表示視覺(jué)特征信息與跨攝像頭 時(shí)間特征信息的組合；
[0014] 其特征在于:跨攝像頭時(shí)間約束和多攝像頭位置相關(guān);跨攝像頭時(shí)間約束指同一 目標(biāo)不可能在兩個(gè)攝像頭下同時(shí)出現(xiàn)，且兩個(gè)攝像頭間的時(shí)間概率服從韋伯分布；多攝像 頭位置相關(guān)指的是同一目標(biāo)在空間上相近的兩個(gè)攝像頭中出現(xiàn)的概率大于空間上離得遠(yuǎn) 的攝像頭對(duì)；
[0015] 所述多攝像頭下的目標(biāo)重識(shí)別過(guò)程包括以下步驟：
[0016] 步驟A1:基于目標(biāo)視覺(jué)特征信息得到視覺(jué)特征信息概率模型；
[0017] 步驟A2:已知跨攝像頭最小時(shí)間信息和查-待查目標(biāo)實(shí)際跨攝像頭對(duì)時(shí)間信息，利 用濾波模型以縮小待查詢(xún)范圍；
[0018] 步驟A3:通過(guò)跨攝像頭最小時(shí)間信息和查-待查目標(biāo)實(shí)際跨攝像頭對(duì)時(shí)間信息得 到基于時(shí)間特征信息的概率模型；
[0019] 步驟A4:由跨攝像頭時(shí)間特征信息概率與視覺(jué)特征信息概率得到基于跨攝像頭時(shí) 間特征信息與視覺(jué)特征信息的聯(lián)合概率；
[0020] 步驟A5:由攝像頭間位置關(guān)系優(yōu)化聯(lián)合概率，并基于此給出排序結(jié)果；
[0021] 所述單攝像頭下的目標(biāo)重識(shí)別是看作多攝像頭下目標(biāo)重識(shí)別的極限情況，時(shí)空約 束無(wú)法利用，僅僅利用視覺(jué)特征信息來(lái)進(jìn)行排序;其目標(biāo)重識(shí)別包括以下步驟：
[0022] 步驟B1:基于目標(biāo)視覺(jué)特征信息得到視覺(jué)特征信息概率模型，其具體實(shí)現(xiàn)過(guò)程與 步驟A1相同；
[0023]步驟B2:根據(jù)視覺(jué)特征信息概率大小給出排序結(jié)果。
[0024] 作為優(yōu)選，步驟A1及B1中所述基于視覺(jué)特征信息概率模型為|x;) =， 其中，a是影響因子，可調(diào)，值由實(shí)際實(shí)驗(yàn)確定;d是目標(biāo)間視覺(jué)特征信息的距離；片.<,|〇將 視覺(jué)特征下的距離函數(shù)轉(zhuǎn)化為概率模型。
[0025] 作為優(yōu)選，步驟A 2中所述濾波模型為A(4，O = max(0, 卜)，其中， ^?^"表示給定攝像頭對(duì)下目標(biāo)的最小跨越時(shí)間；當(dāng)-#|-胃^_>)0時(shí)匹配概率為0,也就 是如果某個(gè)目標(biāo)在一個(gè)攝像頭下出現(xiàn)，在最小跨攝像頭時(shí)間之內(nèi)不可能在另一個(gè)攝像頭下 出現(xiàn)，否則匹配概率隨時(shí)間差先增后減。
[0026] 作為優(yōu)選，步驟A3中所述時(shí)空特征信息概率模型為
， 其中A、k分別是韋伯分布的尺度參數(shù)和形狀參數(shù)；表示從Co到U的時(shí)間信息條件概 率，服從關(guān)于濾波函數(shù)叫《,)的韋伯分布函數(shù)，并隨時(shí)間差先增后減。
[0027] 作為優(yōu)選，步驟A4中所述聯(lián)合概率為|〇纟）=|/:)。
[0028] 作為優(yōu)選，步驟A5的具體實(shí)現(xiàn)，包括以下子步驟：
[0029] 步驟5.1:對(duì)目標(biāo)重識(shí)別結(jié)果基于跨攝像時(shí)間特征信息和視覺(jué)特征信息進(jìn)行top-k 排序；
[0030] 步驟5.2:對(duì)top-K效果中的圖片進(jìn)行反向查詢(xún)，基于攝像頭間距離給出r(m，m'）；r (m，m'）表示兩個(gè)攝像頭的空間間隔的函數(shù)，m和m'分別表示攝像頭的ID號(hào)，攝像頭間離得越 近，r(m，m'）值越大；
[0031] 步驟5.3:在前面排序結(jié)果的基礎(chǔ)上，調(diào)整聯(lián)合概率模型為(,"'以|〇:卜(叫《)， 其中K_(m)表不攝像頭Cm的空間K近鄰；
[0032] 步驟5.4:基于調(diào)整后的聯(lián)合概率，得到目標(biāo)重識(shí)別的優(yōu)化排序結(jié)果。
[0033] 本發(fā)明還提供了一種評(píng)價(jià)基于時(shí)空約束的目標(biāo)重識(shí)別方法效果的方法，其特征在 于:在進(jìn)行目標(biāo)重識(shí)別效果評(píng)估時(shí)采用信息檢索中mAP值作為效果評(píng)價(jià)指標(biāo)，同時(shí)考慮識(shí)別 精度和召回率;其中平均準(zhǔn)確率計(jì)算公式為：
s |1，排在第f位的是正確目標(biāo) 排在第涖的是錯(cuò)誤目標(biāo)
[0035] N表示排序列表中總個(gè)數(shù)，11￡{1，'"，1^4￡{1，'"，11}且均為整數(shù)。
[0036] 與現(xiàn)有目標(biāo)重識(shí)別技術(shù)與系統(tǒng)相比，本發(fā)明具有以下優(yōu)點(diǎn)和有益效果：
[0037] 1)與現(xiàn)有技術(shù)相比，本發(fā)明總結(jié)了一個(gè)新問(wèn)題，單攝像頭下同一目標(biāo)重識(shí)別和多 攝像頭下同一目標(biāo)的重識(shí)別可統(tǒng)一為監(jiān)控下的目標(biāo)重識(shí)別問(wèn)題；
[0038] 2)與現(xiàn)有技術(shù)相比，本發(fā)明提出了一個(gè)全新的基于概率論的目標(biāo)重識(shí)別框架；
[0039] 3)與現(xiàn)有技術(shù)相比，本發(fā)明利用特定攝像頭下特定目標(biāo)的視覺(jué)特征信息、跨攝像 頭時(shí)間信息以及多攝像頭位置相關(guān)性來(lái)展開(kāi)監(jiān)控下的目標(biāo)重識(shí)別工作。
【附圖說(shuō)明】
[0040] 圖1:為本發(fā)明實(shí)施例的框架圖；
[0041] 圖2:為本發(fā)明實(shí)施例的流程圖；
[0042] 圖3:為本發(fā)明實(shí)施例的mAP計(jì)算過(guò)程示意圖。
【具體實(shí)施方式】
[0043]為了便于本領(lǐng)域普通技術(shù)人員理解和實(shí)施本發(fā)明，下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一 步的詳細(xì)描述，應(yīng)當(dāng)理解，此處所描述的實(shí)施示例僅用于說(shuō)明和解釋本發(fā)明，并不用于限定 本發(fā)明。
[0044]本發(fā)明基于監(jiān)控網(wǎng)絡(luò)下的兩個(gè)現(xiàn)象："跨攝像頭時(shí)間約束"和"多攝像頭位置相 關(guān)"，提出將跨攝像頭時(shí)間信息與視覺(jué)信息融合，并以聯(lián)合概率的形式來(lái)輔助視覺(jué)特征以確 定是同一目標(biāo)的概率。首先，基于目標(biāo)視覺(jué)信息得到基于視覺(jué)信息概率的初步排序結(jié)果，然 后基于一個(gè)在某個(gè)攝像頭下出現(xiàn)的目標(biāo)不可能同時(shí)在另外一個(gè)攝像頭下出現(xiàn)，Hinge損失 函數(shù)被用于構(gòu)造濾波模型以縮小待查詢(xún)范圍，而跨攝像頭時(shí)間概率模型則通過(guò)韋伯分布實(shí) 現(xiàn)，跨攝像頭時(shí)間信息初步概率由目標(biāo)與查詢(xún)目標(biāo)集的時(shí)間間隔概率得以表示，于是，借由 跨攝像頭時(shí)間信息概率與視覺(jué)信息概率得到基于跨攝像頭時(shí)間信息與視覺(jué)特征的中間排 序結(jié)果。最后，基于同一目標(biāo)在空間上相近的兩個(gè)攝像頭中出現(xiàn)的概率大于空間上離得遠(yuǎn) 的攝像頭對(duì)，目標(biāo)重識(shí)別排序結(jié)果可以得到進(jìn)一步優(yōu)化。需要說(shuō)明的是，多攝像頭下目標(biāo)重 識(shí)別需要全部?jī)?yōu)化過(guò)程，對(duì)于單攝像頭下的目標(biāo)重識(shí)別無(wú)法利用時(shí)空約束，僅采用視覺(jué)信 息。
[0045]本實(shí)施例采用MATLAB7作為仿真實(shí)驗(yàn)平臺(tái)，框架圖請(qǐng)見(jiàn)圖1、以目標(biāo)重識(shí)別中典型 的行人重識(shí)別來(lái)說(shuō)明該發(fā)明并進(jìn)行實(shí)驗(yàn)驗(yàn)證。在公共的數(shù)據(jù)集TMin上進(jìn)行測(cè)試。TMin數(shù)據(jù) 集包含6個(gè)攝像頭下30個(gè)人的1680張行人圖片，此外，含有攝像頭對(duì)間的步行時(shí)間和監(jiān)控網(wǎng) 絡(luò)的拓?fù)浣Y(jié)構(gòu)，每個(gè)行人在不同攝像頭下至少出現(xiàn)2次，因此可進(jìn)行單攝像頭下行人重識(shí)別 和多攝像頭下的目標(biāo)重識(shí)別，以下針對(duì)上述多攝像頭下目標(biāo)重識(shí)別實(shí)例對(duì)本發(fā)明做進(jìn)一步 的闡述。
[0046]請(qǐng)見(jiàn)圖2,本發(fā)明提供的一種基于時(shí)空約束的目標(biāo)重識(shí)別方法，用于識(shí)別出監(jiān)控網(wǎng) 絡(luò)0={〇)，&，(：2 - 0?}中某個(gè)攝像頭下的某個(gè)特定目標(biāo)，包括單攝像頭下的目標(biāo)重識(shí)別和多 攝像頭下的目標(biāo)重識(shí)別；目標(biāo)描述信息包括視覺(jué)特征信息、時(shí)間特征信息和空間特征信息； 其中監(jiān)控網(wǎng)絡(luò)共含M+1個(gè)攝像頭，Co是目標(biāo)攝像頭，M是查詢(xún)集攝像頭總數(shù)，攝像頭匕下目標(biāo)j 的視覺(jué)特征信息用之表示，是視覺(jué)特征的維度，目標(biāo)j進(jìn)入攝像頭Cm的時(shí)間信息用 C表示，表示視覺(jué)特征信息與跨攝像頭時(shí)間特征信息的組合;視覺(jué)特征信息的 獲取方式與傳統(tǒng)目標(biāo)重識(shí)別方法一致。時(shí)間特征信息指的是目標(biāo)進(jìn)入攝像頭覆蓋范圍的時(shí) 亥IJ，時(shí)間特征信息和空間特征信息可由攝像頭信息直接獲取。而同一目標(biāo)的確定不同于傳 統(tǒng)基于特征間的距離來(lái)對(duì)識(shí)別出的可能的正確目標(biāo)進(jìn)行排序，本發(fā)明使用概率理論來(lái)表示 目標(biāo)間的視覺(jué)特征相似性。單攝像頭下目標(biāo)重識(shí)別用視覺(jué)信息概率得到排序結(jié)果；多攝像 下目標(biāo)重識(shí)別，利用視覺(jué)特征相似概率和跨攝像頭時(shí)間分布概率得到排序結(jié)果，多攝像頭 的距離關(guān)系被用來(lái)優(yōu)化監(jiān)控網(wǎng)絡(luò)下的目標(biāo)重識(shí)別效果。
[0047] 本實(shí)施例的多攝像頭下的目標(biāo)重識(shí)別過(guò)程包括以下步驟：
[0048] 步驟A1:基于目標(biāo)視覺(jué)特征信息得到視覺(jué)特征信息概率模型扒之， 其中；a是影響因子，可調(diào)，值由實(shí)際實(shí)驗(yàn)確定;d是目標(biāo)間視覺(jué)特征信息的距離；將 視覺(jué)特征下的距離函數(shù)轉(zhuǎn)化為概率模型。
[0049] 步驟A2:已知跨攝像頭最小時(shí)間信息和查-待查目標(biāo)實(shí)際跨攝像頭對(duì)時(shí)間信息，利 用濾波模型以縮小待查詢(xún)范圍；
[0050] 如果攝像頭對(duì)下行人步行時(shí)間小于最小步行時(shí)間，該行人在該攝像頭下出現(xiàn)的概 率為0,也就是如果某個(gè)人在一個(gè)攝像頭下出現(xiàn)，在最小步行時(shí)間之內(nèi)不可能在另 一個(gè)攝像頭下出現(xiàn)。此處引入Hinge損失函數(shù)作為濾波模型，濾波模型為 其中表示給定攝像頭對(duì)下目標(biāo)的最小跨越時(shí) 間；當(dāng)^ 41 時(shí)匹配概率為〇，也就是如果某個(gè)目標(biāo)在一個(gè)攝像頭下出現(xiàn)，在最小跨 攝像頭時(shí)間之內(nèi)不可能在另一個(gè)攝像頭下出現(xiàn)，否則匹配概率隨時(shí)間差先增后減。
[0051] 步驟A3:通過(guò)跨攝像頭最小時(shí)間信息和查-待查目標(biāo)實(shí)際跨攝像頭對(duì)時(shí)間信息得 到基于時(shí)間特征信息的概率模型；
[0052] 假設(shè)攝像頭間時(shí)間服從關(guān)于濾波函數(shù)&(4,〇的函數(shù)。從攝像頭Co到攝像頭匕的時(shí) 間條件概率可描述為
，服從關(guān)于濾波函數(shù)咐，〇的韋伯分 布函數(shù)，并隨時(shí)間差先增后減;其中X、k分別是韋伯分布的尺度參數(shù)和形狀參數(shù)。
[0053]步驟A4:由跨攝像頭時(shí)間特征信息概率與視覺(jué)特征信息概率得到基于跨攝像頭時(shí) 間特征信息與視覺(jué)特征信息的聯(lián)合概率|化）=|〇。
[0054] 步驟5.1:對(duì)目標(biāo)重識(shí)別結(jié)果基于跨攝像時(shí)間特征信息和視覺(jué)特征信息進(jìn)行top-k 排序；
[0055] 步驟5.2:對(duì)top-K效果中的圖片進(jìn)行反向查詢(xún)，基于攝像頭間距離給出r(m，m'）；r (m，m'）表示兩個(gè)攝像頭的空間間隔的函數(shù)，m和m'分別表示攝像頭的ID號(hào)，攝像頭間離得越 近，r(m，m'）值越大；
[0056] 步驟5 ? 3:在前面排序結(jié)果的基礎(chǔ)上，調(diào)整聯(lián)合概率模型為￡ '(執(zhí):，辨.)51 其中K_(m)表示攝像頭Cm的空間K近鄰；
[0057] 步驟5.4:基于調(diào)整后的聯(lián)合概率，得到目標(biāo)重識(shí)別的優(yōu)化排序結(jié)果。
[0058] 本實(shí)施例的單攝像頭下的目標(biāo)重識(shí)別是看作多攝像頭下目標(biāo)重識(shí)別的極限情況， 時(shí)空約束無(wú)法利用，僅僅利用視覺(jué)特征信息來(lái)進(jìn)行排序;其目標(biāo)重識(shí)別包括以下步驟：
[0059] 步驟B1:基于目標(biāo)視覺(jué)特征信息得到視覺(jué)特征信息概率模型，其具體實(shí)現(xiàn)過(guò)程與 步驟A1相同；
[0060] 步驟B2:根據(jù)視覺(jué)特征信息概率大小給出排序結(jié)果。
[0061] 本發(fā)明在方法評(píng)價(jià)上不同于以往的CMC評(píng)價(jià)標(biāo)準(zhǔn)，而是采用mAP作為效果評(píng)價(jià)指 標(biāo)，同時(shí)考慮識(shí)別精度和召回率，是對(duì)多攝像頭下的一種更全面的評(píng)價(jià)方法;其中平均準(zhǔn)確 率計(jì)算公式為： I P，排在第/位的是正確目標(biāo) (Zhi〇,排在第/位的是錯(cuò)誤目標(biāo)
[0063] N表示排序列表中總個(gè)數(shù)，nG{l,…，N}，iG{l,…，n}且均為整數(shù)。
[0064] mAP評(píng)價(jià)指標(biāo):不同于以往攝像頭對(duì)下的識(shí)別效果準(zhǔn)確率，監(jiān)控網(wǎng)絡(luò)下一個(gè)目標(biāo)行 人可能對(duì)應(yīng)不同攝像頭下的多個(gè)真實(shí)行人，整個(gè)監(jiān)控網(wǎng)絡(luò)下的準(zhǔn)確度和召回率應(yīng)該同時(shí)作 為衡量監(jiān)控網(wǎng)絡(luò)下的行人重識(shí)別效果的標(biāo)尺。
[0065] 具體實(shí)施過(guò)程見(jiàn)附圖3;假設(shè)有一個(gè)待查行人，該行人有2個(gè)正確行人。某系統(tǒng)對(duì)于 該行人檢索出5個(gè)相關(guān)行人，其rank分別為1，2，3，4，5，前面兩個(gè)行人為正確行人，后面兩個(gè) 為錯(cuò)誤行人，那么其平均準(zhǔn)確率為(1/1+2/2)/2 = 1;其它情況進(jìn)行類(lèi)似計(jì)算。
[0066]把攝像頭1#作為目標(biāo)集，〇 = 〇.5八=75，0 = 2.5，1( = 5。首先基于前面的濾波模型 去除干擾行人圖片，抽取攝像頭下行人的L0M0特征(文獻(xiàn)4)，根據(jù)視覺(jué)特征概率模型，求得 初始排序結(jié)果，本方法稱(chēng)之mAP_f eature，計(jì)算其mAP值，然后在整個(gè)監(jiān)控網(wǎng)絡(luò)下引入跨攝像 頭時(shí)間概率模型，求得第二種排序結(jié)果，本方法稱(chēng)之mAP_ joint，計(jì)算其mAP值，最后引入多 攝像頭的位置關(guān)系來(lái)優(yōu)化排序結(jié)果，本方法稱(chēng)之mAP_global，計(jì)算其mAP值。三種方法在 TMin上的排序top-K排序結(jié)果如表1示?？梢园l(fā)現(xiàn)，本發(fā)明的排序優(yōu)化目標(biāo)重識(shí)別方法的檢 索性能在各步都有提尚，也證明引入跨攝像頭時(shí)間概率申旲型和多攝像頭位置相關(guān)關(guān)系對(duì)目 標(biāo)重識(shí)別效果有很大提升。
[0067] 上述實(shí)例僅僅針對(duì)多攝像頭下目標(biāo)重識(shí)別技術(shù)進(jìn)行了具體描述，可以發(fā)現(xiàn)實(shí)驗(yàn)時(shí) 用到了視覺(jué)特征、跨攝像頭時(shí)間以及攝像頭間的位置關(guān)系，本發(fā)明還可針對(duì)單攝像下的目 標(biāo)進(jìn)行重識(shí)別，這時(shí)沒(méi)有跨攝像頭的時(shí)間約束和多攝像頭的位置關(guān)系約束，僅通過(guò)步驟一， 也即用視覺(jué)特征相似概率進(jìn)行排序。
[0068] 表1在TMin三種方法的top K mAP值（％)
[0070] [文南犬4]S ? Liao，Y? Hu，X? Zhu，et al. : Person Re-identif ication by Local Maximal Occurrence Representation and Metric Learning.In:Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR).(2015)
[0071] 應(yīng)當(dāng)理解的是，本說(shuō)明書(shū)未詳細(xì)闡述的部分均屬于現(xiàn)有技術(shù)。
[0072] 應(yīng)當(dāng)理解的是，上述針對(duì)較佳實(shí)施例的描述較為詳細(xì)，并不能因此而認(rèn)為是對(duì)本 發(fā)明專(zhuān)利保護(hù)范圍的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的啟示下，在不脫離本發(fā)明權(quán) 利要求所保護(hù)的范圍情況下，還可以做出替換或變形，均落入本發(fā)明的保護(hù)范圍之內(nèi)，本發(fā) 明的請(qǐng)求保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【主權(quán)項(xiàng)】
1. 一種基于時(shí)空約束的目標(biāo)重識(shí)別方法，用于識(shí)別出監(jiān)控網(wǎng)絡(luò)〇={0)，(：1，(： 2-〇1}中某 個(gè)攝像頭下的某個(gè)特定目標(biāo)，包括單攝像頭下的目標(biāo)重識(shí)別和多攝像頭下的目標(biāo)重識(shí)別； 目標(biāo)描述信息包括視覺(jué)特征信息、跨攝像頭時(shí)間特征信息和攝像頭間空間特征信息；其中 跨攝像頭時(shí)間特征信息亦即跨攝像頭時(shí)間約束，攝像頭間空間特征信息亦即攝像頭間的位 置關(guān)系，監(jiān)控網(wǎng)絡(luò)共含M+1個(gè)攝像頭，Co是目標(biāo)攝像頭，Μ是查詢(xún)集攝像頭總數(shù)，攝像頭匕下目 標(biāo)j的視覺(jué)特征信息用4表示，< e iT，η是視覺(jué)特征的維度，目標(biāo)j進(jìn)入攝像頭(^的時(shí)間信 息用g表示，表示視覺(jué)特征信息與跨攝像頭時(shí)間特征信息的組合； 其特征在于:跨攝像頭時(shí)間約束和多攝像頭位置相關(guān);跨攝像頭時(shí)間約束指同一目標(biāo) 不可能在兩個(gè)攝像頭下同時(shí)出現(xiàn)，且兩個(gè)攝像頭間的時(shí)間概率服從韋伯分布；多攝像頭位 置相關(guān)指的是同一目標(biāo)在空間上相近的兩個(gè)攝像頭中出現(xiàn)的概率大于空間上離得遠(yuǎn)的攝 像頭對(duì)； 所述多攝像頭下的目標(biāo)重識(shí)別過(guò)程包括以下步驟： 步驟A1:基于目標(biāo)視覺(jué)特征信息得到視覺(jué)特征信息概率模型； 步驟A2:已知跨攝像頭最小時(shí)間信息和查-待查目標(biāo)實(shí)際跨攝像頭對(duì)時(shí)間信息，利用濾 波模型以縮小待查詢(xún)范圍； 步驟A3:通過(guò)跨攝像頭最小時(shí)間信息和查-待查目標(biāo)實(shí)際跨攝像頭對(duì)時(shí)間信息得到基 于時(shí)間特征信息的概率模型； 步驟A4:由跨攝像頭時(shí)間特征信息概率與視覺(jué)特征信息概率得到基于跨攝像頭時(shí)間特 征信息與視覺(jué)特征信息的聯(lián)合概率； 步驟A5:由攝像頭間位置關(guān)系優(yōu)化聯(lián)合概率，并基于此給出排序結(jié)果； 所述單攝像頭下的目標(biāo)重識(shí)別是看作多攝像頭下目標(biāo)重識(shí)別的極限情況，時(shí)空約束無(wú) 法利用，僅僅利用視覺(jué)特征信息來(lái)進(jìn)行排序;其目標(biāo)重識(shí)別包括以下步驟： 步驟B1:基于目標(biāo)視覺(jué)特征信息得到視覺(jué)特征信息概率模型，其具體實(shí)現(xiàn)過(guò)程與步驟 A1相同； 步驟B2:根據(jù)視覺(jué)特征信息概率大小給出排序結(jié)果。2. 根據(jù)權(quán)利要求1所述的基于時(shí)空約束的目標(biāo)重識(shí)別方法，其特征在于，步驟A1及B1中 所述基于視覺(jué)特征信息概率模型為，其中，α是影響因子，可調(diào)，值由實(shí)際 實(shí)驗(yàn)確定;d是目標(biāo)間視覺(jué)特征信息的距離；|<)將視覺(jué)特征下的距離函數(shù)轉(zhuǎn)化為概率 模型。3. 根據(jù)權(quán)利要求1所述的基于時(shí)空約束的目標(biāo)重識(shí)別方法，其特征在于，步驟Α2中所述 濾波模型為=咖X(0，|d|-7M, W>，其中，7：￥,"_表示給定攝像頭對(duì)下目標(biāo)的最 小跨越時(shí)間；當(dāng)4 寸匹配概率為0，也就是如果某個(gè)目標(biāo)在一個(gè)攝像頭下出現(xiàn)， 在最小跨攝像頭時(shí)間之內(nèi)不可能在另一個(gè)攝像頭下出現(xiàn)，否則匹配概率隨時(shí)間差先增后 減。4. 根據(jù)權(quán)利要求1所述的基于時(shí)空約束的目標(biāo)重識(shí)別方法，其特征在于，步驟A3中所述 時(shí)空特征信息概率模型為，其中，A、k分別是韋伯分布的尺 度參數(shù)和形狀參數(shù);表示從C(JljCm的時(shí)間信息條件概率，服從關(guān)于濾波函數(shù)Λ(?) 的韋伯分布函數(shù)，并隨時(shí)間差先增后減。5. 根據(jù)權(quán)利要求1所述的基于時(shí)空約束的目標(biāo)重識(shí)別方法，其特征在于，步驟Α4中所述 聯(lián)合概率為|體)=。6. 根據(jù)權(quán)利要求1所述的基于時(shí)空約束的目標(biāo)重識(shí)別方法，其特征在于，步驟Α5的具體 實(shí)現(xiàn)，包括以下子步驟： 步驟5.1:對(duì)目標(biāo)重識(shí)別結(jié)果基于跨攝像時(shí)間特征信息和視覺(jué)特征信息進(jìn)行top-k排 序； 步驟5.2:對(duì)top-K效果中的圖片進(jìn)行反向查詢(xún)，基于攝像頭間距離給出r(m，m'）；r(m, m'）表示兩個(gè)攝像頭的空間間隔的函數(shù)，m和m'分別表示攝像頭的ID號(hào)，攝像頭間離得越近， r(m，m'）值越大； 步驟5·3:在前面排序結(jié)果的基礎(chǔ)上，調(diào)整聯(lián)合概率模型為Σ卟廠(川，,'《 )， 其中K_W表示攝像頭Cm的空間K近鄰； 步驟5.4:基于調(diào)整后的聯(lián)合概率，得到目標(biāo)重識(shí)別的優(yōu)化排序結(jié)果。7. -種評(píng)價(jià)基于時(shí)空約束的目標(biāo)重識(shí)別方法效果的方法，其特征在于:在進(jìn)行目標(biāo)重 識(shí)別效果評(píng)估時(shí)采用信息檢索中mAP值作為效果評(píng)價(jià)指標(biāo)，同時(shí)考慮識(shí)別精度和召回率;其 中平均準(zhǔn)確率計(jì)算公式為：N表示排序列表中總個(gè)數(shù)，11￡{1，~，1^}4￡{1，~，11}且均為整數(shù)。
【文檔編號(hào)】G06K9/00GK105930768SQ201610221993
【公開(kāi)日】2016年9月7日
【申請(qǐng)日】2016年4月11日
【發(fā)明人】胡瑞敏, 黃文心, 梁超, 王正, 楊洋, 陳軍, 廖家鴻
【申請(qǐng)人】武漢大學(xué)