一種基于部件關聯(lián)的行人檢索方法
【專利摘要】一種基于部件關聯(lián)的行人檢索方法是通過提取行人圖像中關聯(lián)的部件并結合部件之間的關系進行分析，然后對比輸入檢索圖特征點與提取分析的關聯(lián)部件特征點的相似性形成相似性序列表達到檢索行人的目的。本發(fā)明的優(yōu)點在于：通過對行人提取用頭部、軀干、左臂、右臂、左腿和右腿六個部件，并對所述六個部件進行特征分析，通過提取行人圖像中關聯(lián)的部件，結合部件之間的關系進行行人的檢索，以解決現(xiàn)有技術中無法通過行人的部件屬性在海量視頻中進行檢索的問題，達到快速定位的目的，有效的在海量視頻中檢索到相似的行人，適用于刑偵、智能監(jiān)控等領域。
【專利說明】一種基于部件關聯(lián)的行人檢索方法
【技術領域】
[0001]本發(fā)明涉及智能監(jiān)控領域，尤其涉及一種基于部件關聯(lián)的行人檢索方法。
【背景技術】
[0002]隨著監(jiān)控攝像頭的廣泛安裝，每天產生數(shù)以萬計的監(jiān)控視頻數(shù)據(jù)，如何在海量的數(shù)據(jù)中找到需要的內容和目標是一項具有挑戰(zhàn)性的任務。傳統(tǒng)的基于內容的視頻檢索的一個前提就是:建立以視頻幀中視覺內容為單位的索引，以便于在海量視頻中快速查找與定位。這就要求將視頻幀中待檢索內容在視頻背景中完美的分割出來并提取其特征，而分割效果的好壞將直接影響檢索的精度，因此，得到一個好的目標前景與背景的分割非常重要。
[0003]對于監(jiān)控視頻來說，由于其具有低分辨率、高噪聲、光照變化大等特點，對于視頻庫中在不同時間、不同場景下出現(xiàn)的同一物體來說，它的尺度、方向、光照甚至分辨率都會發(fā)生變化，在這種情況下，如何選取合適的視覺特征描述子來對視頻內容進行描述，就顯得尤為重要。目前常用的基于視覺描述的特征主要包括顏色、形狀和紋理，這些特征在圖片檢索領域得到了廣泛的應用，取得了良好的效果。然而，由于監(jiān)控視頻具有上述特點，必須找到一種能夠對尺度、方向、光照變化等具有較好魯棒性的視覺特征描述子。
[0004]現(xiàn)有的特征描述方法主要是針對局部特征來描述的，忽略了視覺內容上下文之間的關系。比如，視頻監(jiān)控中的行人由頭部、軀干和下肢三部分組成，局部描述只能局部的描述各個部分自身的特征，然后將這些特征拼接用于檢索。這種方法對于具有復雜形狀的視覺內容，不能得到令人滿意的效果。
[0005]由于監(jiān)控視頻通常是海量的，一般都以TB為單位來度量，而其中所包含的待檢索內容也是海量的。當對監(jiān)控視頻中的視覺內容提取特征之后，如何存儲這些特征使得基于內容的檢索能夠快速、高效的進行，依然是一個值得探索的問題。目前常用的索引方法是建立倒排表。把包含同一特征的視覺內容列成一個表，表的開頭是某個視覺特征向量，表的后面依次連接著包含該特征向量的視覺內容的位置。當我們得到一個待檢索視覺內容時，可以先提取其特征向量，然后利用這些特征向量在倒排表中快速定位視覺內容的位置。該方法在視頻規(guī)模較小的時候計算效率很高，但是當視頻規(guī)模擴大時，特征向量的個數(shù)就會快速增長。在海量的特征向量中尋找匹配項，將會耗費大量時間。因此，亟需一種快速、高效的索引定位方法。

【發(fā)明內容】

[0006]本發(fā)明是針對現(xiàn)有技術的不足，提出的一種基于部件關聯(lián)的行人檢索方法，用以解決現(xiàn)有技術中無法通過行人的部件屬性在海量視頻中進行檢索的問題，達到快速定位的目的。
[0007]—種基于部件關聯(lián)的行人檢索方法是通過提取行人圖像中關聯(lián)的部件并結合部件之間的關系進行分析，然后對比輸入檢索圖特征點與提取分析的關聯(lián)部件特征點的相似性形成相似性序列表達到檢索行人的目的。[0008]進一步的，一種基于部件關聯(lián)的行人檢索方法提取分析關聯(lián)部件特征點的步驟包括前景和軌跡提取、行人部件關系描述、基于部件索引和存儲和基于部件的行人檢索四個部分。
[0009]對視頻中的行人前景和軌跡提取方式為:
第一步:采用幀間差分法得到監(jiān)控視頻的前景圖像；對前景目標采用最近鄰方法進行跟蹤，從而得到目標的軌跡；運用高斯濾波的方法去除噪聲點，使區(qū)域邊緣平滑；
第二步:通過給檢測區(qū)域面積設置一個最大和最小閾值的方法，排除不符合條件的區(qū)域，得到合理的幀間差圖像；
第三步:把幀間差的二值圖像看作原圖像對于前景的掩碼，并在原圖像中提取出前景圖像。
[0010]對行人部件關系描述的方法為:將圖像的前景和背景分離，然后對行人進行部件劃分，將行人分成頭部、軀干、左臂、右臂、左腿和右腿六個部件，對于每個部件提取局部特征點，用不同的部件之間的特征點的共生關系來對部件進行建模。
[0011]進一步的，所述的建模方式為:從任意兩個部件中分別選擇M個局部特征點，利用MX 2個特征點的組合作為所述兩個部件的視覺描述，記做A同時采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)進行相似性度量。
[0012]對于基于部件的索引和存儲方法為:
首先采用基于部件的索引結構，建立特征點樹，所述的特征點樹的第一層為行人整體，特征點樹的第二層為頭部、軀干、左臂、右臂、左腿和右腿六個基本部件，同時將屬于每個部件的特征點都量化到每個部件下屬的子節(jié)點中； 然后對提取的特征點采用分層次的均值聚類(hierarchical K-means)方法分別聚類得到視覺碼本；將屬于每個部件的視覺碼本按照層次關系映射到特征點樹結構中，同時剔除不屬于部件的特征點；
其次對視覺碼本采用倒排索引的存儲結構進行存儲，將屬于頭部、軀干、左臂、右臂、左腿和右腿六個部件的特征點的詞頻用7個比特進行存儲。
[0013]對于基于部件關聯(lián)的檢索方法為:
首先，輸入的行人圖片同時通過前景和軌跡提取進行目標提取和跟蹤，同時采用了高斯平滑的方法對幀間差圖像進行濾波，即便在分辨率較低的監(jiān)控視頻中也能得到較好的目標分割和跟蹤結果；
其次，對于分割得到的行人，采用的是基于潛在變量的支持向量機的方法對部件進行檢測，然后對每個部件提取局部特征點，并對特征點按照特征點樹存儲結構進行量化，對每個特征點到數(shù)據(jù)庫中檢索具有相同特征點的部件，將能夠找到匹配的部件數(shù)記做P(O ^ P ^ 7)；
對于P個部件，在其中任意選擇兩個部件的組合數(shù)為G = P X(P-1)/2 ,依次遍歷
兩個部件的所有特征點的任意組合并統(tǒng)計它們出現(xiàn)的次數(shù)作為關系描述，然后將基于部件的關系描述進行二次檢索，采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)計算它的相似性，并將所有組合的檢索的相似性相加，得到最終的檢索結果。
[0014]進一步的，計算相似性列表的公式為:
【權利要求】
1.一種基于部件關聯(lián)的行人檢索方法是通過提取行人圖像中關聯(lián)的部件并結合部件之間的關系進行分析，然后對比輸入檢索圖特征點與提取分析的關聯(lián)部件特征點的相似性形成相似性序列表達到檢索行人的目的。
2.根據(jù)權利要求1所述的一種基于部件關聯(lián)的行人檢索方法，其特征在于，提取分析關聯(lián)部件特征點的步驟包括前景和軌跡提取、行人部件關系描述、基于部件索引和存儲和基于部件的行人檢索四個部分。
3.根據(jù)權利要求2所述的一種基于部件關聯(lián)的行人檢索方法，其特征在于，對視頻中的行人前景和軌跡提取方式為: 第一步:采用幀間差分法得到監(jiān)控視頻的前景圖像；對前景目標采用最近鄰方法進行跟蹤，從而得到目標的軌跡；運用高斯濾波的方法去除噪聲點，使區(qū)域邊緣平滑； 第二步:通過給檢測區(qū)域面積設置一個最大和最小閾值的方法，排除不符合條件的區(qū)域，得到合理的幀間差圖像； 第三步:把幀間差的二值圖像看作原圖像對于前景的掩碼，并在原圖像中提取出前景圖像； 對行人部件關系描述的方法為:將圖像的前景和背景分離，然后對行人進行部件劃分，將行人分成頭部、軀干、左臂、右臂、左腿和右腿六個部件，對于每個部件提取局部特征點，用不同的部件之間的特征點的共生關系來對部件進行建模。
4.根據(jù)權利要求3所述的一種基于部件關聯(lián)的行人檢索方法，其特征在于，所述的建模方式為:從任意兩個部件中分別選擇M個局部特征點，利用JT X 2個特征點的組合作為所述兩個部件的視覺描述，記做4同時采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)進行相似性度量。
5.根據(jù)權利要求2所述的一 種基于部件關聯(lián)的行人檢索方法，其特征在于，首先采用基于部件的索引結構，建立特征點樹，所述的特征點樹的第一層為行人整體，特征點樹的第二層為頭部、軀干、左臂、右臂、左腿和右腿六個基本部件，同時將屬于每個部件的特征點都量化到每個部件下屬的子節(jié)點中； 然后對提取的特征點采用分層次的均值聚類(hierarchical K-means)方法分別聚類得到視覺碼本；將屬于每個部件的視覺碼本按照層次關系映射到特征點樹結構中，同時剔除不屬于部件的特征點； 其次對視覺碼本采用倒排索引的存儲結構進行存儲，將屬于頭部、軀干、左臂、右臂、左腿和右腿六個部件的特征點的詞頻用7個比特進行存儲。
6.根據(jù)權利要求2所述的一種基于部件關聯(lián)的行人檢索方法，其特征在于，首先，輸入的行人圖片同時通過前景和軌跡提取進行目標提取和跟蹤，同時采用了高斯平滑的方法對幀間差圖像進行濾波，即便在分辨率較低的監(jiān)控視頻中也能得到較好的目標分割和跟蹤結果; 其次，對于分割得到的行人，采用的是基于潛在變量的支持向量機的方法對部件進行檢測，然后對每個部件提取局部特征點，并對特征點按照特征點樹存儲結構進行量化，對每個特征點到數(shù)據(jù)庫中檢索具有相同特征點的部件，將能夠找到匹配的部件數(shù)記做P(O ^ P ^ 7)；對于P個部件，在其中任意選擇兩個部件的組合數(shù)為g =X Gp -1) / 2 ,依次遍歷兩個部件的所有特征點的任意組合并統(tǒng)計它們出現(xiàn)的次數(shù)作為關系描述，然后將基于部件的關系描述進行二次檢索，采用傳統(tǒng)的詞頻和詞頻倒數(shù)(TF-1DF)計算它的相似性，并將所有組合的檢索的相似性相加，得到最終的檢索結果。
7.根據(jù)權利要求2所述的一種基于部件關聯(lián)的行人檢索方法，其特征在于，計算相似性列表的公式為:
【文檔編號】G06F17/30GK103853794SQ201210522145
【公開日】2014年6月11日 申請日期:2012年12月7日 優(yōu)先權日:2012年12月7日
【發(fā)明者】魏捷, 楊凡, 張立 申請人:北京瑞奧風網絡技術中心