一種基于拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種基于拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法，該方法包括以下步驟：根據(jù)某個(gè)人某個(gè)視角的人體空間輪廓圖片，建立人體空時(shí)輪廓；以數(shù)據(jù)點(diǎn)為頂點(diǎn)構(gòu)建立方體，得到包述人體空時(shí)輪廓外表面的三角形集合；對(duì)所有邊和頂點(diǎn)排序，構(gòu)建新空間，計(jì)算其拓?fù)浔磉_(dá)，形成每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖；在類(lèi)柱狀圖上提取特征，得到這個(gè)人這個(gè)視角下的特征表達(dá)；得到每個(gè)人在各個(gè)視角下的特征表達(dá)，作為匹配模板；計(jì)算測(cè)試樣本的特征表達(dá)，將其與匹配模板進(jìn)行匹配，得到步態(tài)識(shí)別結(jié)果。本發(fā)明從步態(tài)的全局信息出發(fā)，融合部分有區(qū)分力的局部信息，解決了人體步態(tài)在跨視角下利用局部信息難以區(qū)分的問(wèn)題，從而提高了步態(tài)識(shí)別，尤其是跨視角下的精度。
【專(zhuān)利說(shuō)明】一種基于拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及模式識(shí)別和代數(shù)拓?fù)洌貏e涉及一種基于silhouette模型拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法。
【背景技術(shù)】
[0002]目前，傳統(tǒng)步態(tài)識(shí)別算法，尤其是基于silhouette模型的步態(tài)識(shí)別算法，缺乏有效地表達(dá)時(shí)序和三維空間的全局信息的能力，尤其是在視角劇烈變化和有遮擋的情況下，這些傳統(tǒng)算法往往表現(xiàn)的不盡如人意。這也是計(jì)算機(jī)視覺(jué)系統(tǒng)與人眼視覺(jué)系統(tǒng)相比在識(shí)別精度上仍存在著巨大差距的重要原因之一。因此，鑒于以往的方法很難滿(mǎn)足人們對(duì)全局信息的需要，本發(fā)明提出了一種基于拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法來(lái)描述步態(tài)的整體時(shí)空結(jié)構(gòu)，本發(fā)明方法在跨視角和遮擋的條件下，比傳統(tǒng)方法表現(xiàn)出了更強(qiáng)的魯棒性和更高的識(shí)別精度。

【發(fā)明內(nèi)容】

[0003]為了解決現(xiàn)有技術(shù)存在的問(wèn)題，本發(fā)明提供一種基于拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法，該方法包括以下步驟:
[0004]步驟1，根據(jù)數(shù)據(jù)庫(kù)中某個(gè)人在某個(gè)視角下的人體空間輪廓圖片，建立對(duì)應(yīng)的人體空時(shí)輪廓；
[0005]步驟2，對(duì)所述人體空時(shí)輪廓中的每個(gè)數(shù)據(jù)點(diǎn)，若滿(mǎn)足立方體構(gòu)建條件，則以其為一個(gè)頂點(diǎn)構(gòu)建一個(gè)立方體；
[0006]步驟3，根據(jù)構(gòu)建得到的立方體，得到包圍所述人體空時(shí)輪廓外表面的三角形集合；
[0007]步驟4，基于對(duì)所述三角形集合中的三角形按多個(gè)方向進(jìn)行排序，并根據(jù)三角形的排列順序?qū)?gòu)成三角形的所有邊和頂點(diǎn)進(jìn)行排序；
[0008]步驟5，將排好序的頂點(diǎn)、邊和三角形作為要素，構(gòu)建新空間，并計(jì)算所述新空間的拓?fù)浔磉_(dá)，形成每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖barcode ；
[0009]步驟6，在所述步驟5得到的每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖上提取特征，得到這個(gè)人在這個(gè)視角下的最終特征表達(dá)；
[0010]步驟7，對(duì)所有人在每個(gè)視角下都進(jìn)行所述步驟1-6的過(guò)程，得到每個(gè)人在各個(gè)視角下的特征表達(dá)，作為用于匹配的模板；
[0011]步驟8，對(duì)于測(cè)試樣本按照所述步驟1-6得到其對(duì)應(yīng)的特征表達(dá)，將測(cè)試序列的特征表達(dá)與所述步驟7得到的數(shù)據(jù)庫(kù)中的特征表達(dá)模板進(jìn)行匹配，得到步態(tài)識(shí)別結(jié)果。
[0012]根據(jù)本發(fā)明方法，可以區(qū)分局部相似而全局不同的特征。通過(guò)以拓?fù)浣Y(jié)構(gòu)為媒介使得特征對(duì)視角變化和遮擋更加魯棒，提供更高的識(shí)別精度。
【專(zhuān)利附圖】

【附圖說(shuō)明】[0013]圖1是本發(fā)明方法的流程圖。
[0014]圖2是根據(jù)本發(fā)明一實(shí)施例的人體空間輪廓圖(silhouette)。
[0015]圖3(a)是將人體空間輪廓疊加在一起形成的空時(shí)輪廓示意圖。
[0016]圖3(b)是立方體三角化的示意圖。
[0017]圖3(c)是三角形排序的示意圖。
[0018]圖4是類(lèi)柱狀圖的示意圖。
[0019]圖5是在三種條件下利用本發(fā)明方法和傳統(tǒng)步態(tài)能量圖方法進(jìn)行步態(tài)識(shí)別的精度比較圖。
【具體實(shí)施方式】
[0020]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說(shuō)明。
[0021]本發(fā)明利用基于拓?fù)涞哪繕?biāo)表達(dá)，來(lái)實(shí)現(xiàn)一個(gè)步態(tài)識(shí)別方法。該方法包括構(gòu)建新空間、對(duì)新空間進(jìn)行描述、計(jì)算新空間的拓?fù)浔磉_(dá)、利用拓?fù)浔磉_(dá)進(jìn)行步態(tài)識(shí)別等4部分內(nèi)容。本發(fā)明利用空間的全局信息，增強(qiáng)了圖像的信息表達(dá)能力。
[0022]圖1是本發(fā)明方法的流程圖，如圖1所示，所述方法包括以下步驟:
[0023]步驟1，根據(jù)數(shù)據(jù)庫(kù)中某個(gè)人在某個(gè)視角下的人體空間輪廓圖片，建立對(duì)應(yīng)的人體空時(shí)輪廓；
[0024]所述步驟I進(jìn)一步包括以下步驟:
[0025]步驟11，收集一系列某個(gè)人在某個(gè)視角下的人體空間輪廓圖片，如圖2所示；
[0026]步驟12，將圖片中的人體空間輪廓按比例縮放到同一尺寸大小并對(duì)齊，比如對(duì)齊到圖片中心；
[0027]步驟13，將所有圖片以相鄰間隔m個(gè)(比如I個(gè))像素單位地疊在一起，得到一個(gè)人體空時(shí)輪廓(space-time shape),如圖3(a)所示。
[0028]步驟2，對(duì)所述人體空時(shí)輪廓中的每個(gè)數(shù)據(jù)點(diǎn)，判斷能否以其為一個(gè)頂點(diǎn)構(gòu)建一個(gè)立方體，判斷規(guī)則如圖3 (b)所示，當(dāng)前數(shù)據(jù)點(diǎn)為點(diǎn)1，如果對(duì)應(yīng)的數(shù)據(jù)點(diǎn)2?8存在，則滿(mǎn)足立方體構(gòu)建條件，否則由該數(shù)據(jù)點(diǎn)出發(fā)無(wú)法構(gòu)建一個(gè)立方體。
[0029]步驟3，根據(jù)構(gòu)建得到的立方體，得到包圍所述人體空時(shí)輪廓外表面的三角形集合；
[0030]所述步驟3進(jìn)一步包括以下步驟:
[0031]步驟31，對(duì)組成立方體的每個(gè)正方形進(jìn)行判斷:如果這個(gè)正方形同時(shí)為兩個(gè)立方體所共有，則刪除這個(gè)正方形，對(duì)于所有的正方形進(jìn)行上述判斷，得到一個(gè)包圍人體空時(shí)輪廓外表面的正方形集合；
[0032]步驟32，對(duì)所述正方形集合中的每個(gè)正方形進(jìn)行三角化，即將所述正方形集合中的每個(gè)正方形劃分成兩個(gè)三角形，如圖3(b)所示，最終得到一個(gè)包圍人體空時(shí)輪廓外表面的三角形集合。
[0033]步驟4，基于對(duì)所述三角形集合中的三角形按多個(gè)方向進(jìn)行排序，并根據(jù)三角形的排列順序?qū)?gòu)成三角形的所有邊和頂點(diǎn)進(jìn)行排序；
[0034]在本發(fā)明一實(shí)施例中，在對(duì)三角形按多個(gè)方向進(jìn)行排序時(shí)，可以先以三角形的某個(gè)頂點(diǎn)來(lái)表示此三角形，然后按照三角形的第一個(gè)坐標(biāo)進(jìn)行由小到大的排列，如圖3(c)中X軸所示的方向，形成集合S1 ;然后取其逆序，得到集合S2 ;按照第二坐標(biāo)和兩個(gè)對(duì)角線方向分別對(duì)三角形進(jìn)行正向和反向排序，又可以得到集合S3，S4,…，S7, S8。
[0035]在本發(fā)明一實(shí)施例中，在對(duì)構(gòu)成三角形的所有邊和頂點(diǎn)進(jìn)行排序時(shí)，按照以下規(guī)則進(jìn)行排序:如果某個(gè)三角形在三角形集合中處于第i個(gè)的位置，那么其三條邊在三角形邊集合中應(yīng)位于3i，3i+l，3i+2的位置，其三個(gè)頂點(diǎn)在三角形頂點(diǎn)集合中應(yīng)位于3i，3i+l，3?+2的位置。
[0036]步驟5，將排好序的頂點(diǎn)、邊和三角形作為要素，構(gòu)建新空間，并計(jì)算所述新空間的拓?fù)浔磉_(dá)，形成每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖(barcode)，如圖4所示。
[0037]在本發(fā)明一實(shí)施例中，利用現(xiàn)有技術(shù)中常用的persistent homology方法計(jì)算空間的拓?fù)浔磉_(dá)。
[0038]步驟6，在所述步驟5得到的每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖上提取特征，得到這個(gè)人在這個(gè)視角下的最終特征表達(dá)；
[0039]所述步驟6進(jìn)一步包括以下步驟:
[0040]步驟61，將某個(gè)維度的類(lèi)柱狀圖沿著橫軸劃分成多個(gè)比如ncut個(gè)區(qū)域；
[0041]步驟62，在每個(gè)區(qū)域內(nèi)統(tǒng)計(jì)新產(chǎn)生的特征數(shù)目和從上一區(qū)域一直持續(xù)到本區(qū)域結(jié)束的特征數(shù)目，其中，一條線就是對(duì)應(yīng)的一個(gè)特征；
[0042]步驟63，將這些數(shù)字串起來(lái)形成一個(gè)向量，即為在該維度下的類(lèi)柱狀圖提取得到的特征；
[0043]步驟64，在每個(gè)方向每個(gè)維度下進(jìn)行相同的操作，將得到的所有向量合并起來(lái)得到一個(gè)矩陣，即為這個(gè)人在這個(gè)視角下的最終特征表達(dá)。
[0044]步驟7，對(duì)所有人在每個(gè)視角下都進(jìn)行所述步驟1-6的過(guò)程，得到每個(gè)人在各個(gè)視角下的特征表達(dá)，作為用于匹配的模板；
[0045]步驟8，對(duì)于 測(cè)試樣本按照所述步驟1-6得到其對(duì)應(yīng)的特征表達(dá)，將測(cè)試序列的特征表達(dá)與所述步驟7得到的數(shù)據(jù)庫(kù)中的特征表達(dá)模板進(jìn)行匹配，得到步態(tài)識(shí)別結(jié)果。
[0046]在本發(fā)明一實(shí)施例中，采用最近鄰匹配的方式:采用cosine距離計(jì)算兩個(gè)特征表達(dá)的相似度。
[0047]為了詳細(xì)說(shuō)明本發(fā)明方法，接下來(lái)以某步態(tài)識(shí)別數(shù)據(jù)集為例進(jìn)行說(shuō)明。該數(shù)據(jù)集包含124個(gè)人在3種條件下(正常、背包、穿大衣)11個(gè)視角(從0°到180°，相鄰角度間隔18° )的圖像，圖片總計(jì)數(shù)量在一百萬(wàn)以上。本發(fā)明能夠根據(jù)人的步態(tài)圖像，給出圖像所代表的人的標(biāo)簽。具體步驟如下:
[0048]步驟SO，將所有人體輪廓圖按比例縮放、對(duì)齊到100X 100大小。
[0049]步驟SI，將步驟SO得到的某人某視角下的圖片以相鄰間隔I個(gè)像素單位按序疊在一起，形成一個(gè)人體空時(shí)輪廓space-time shape。
[0050]步驟S2，對(duì)space-time shape中每個(gè)數(shù)據(jù)點(diǎn)構(gòu)建立方體；對(duì)立方體的每個(gè)面，如果它也是其它立方體的一個(gè)面，那么就舍棄這個(gè)面；然后對(duì)剩余的立方體的面進(jìn)行三角化。
[0051]步驟S3，對(duì)步驟S2產(chǎn)生的三角形按照其第一頂點(diǎn)的第一個(gè)坐標(biāo)進(jìn)行排序，形成集合31 ;取其逆序，得到集合S2 ;按照第二坐標(biāo)和兩個(gè)對(duì)角線方向分別對(duì)三角形進(jìn)行正向和反向排序，又得到集合S3，S4,..., S7, Sgo[0052]步驟S4，將步驟S3中每組排序好的集合Si, i = 1,2,…，8，連帶著其邊和節(jié)點(diǎn)，利用persistent homology計(jì)算其拓?fù)浔磉_(dá),形成每個(gè)方向每個(gè)維度下的barcode By,其中，j代表維度。
[0053]步驟S5，將步驟S4中產(chǎn)生barcode Bi,」，劃分成24區(qū)域，在每個(gè)區(qū)域內(nèi)統(tǒng)計(jì)新產(chǎn)生的特征數(shù)目(一條線就是對(duì)應(yīng)一個(gè)特征)和從上一區(qū)域一直持續(xù)到本區(qū)域結(jié)束的特征數(shù)目，將這些數(shù)字串起來(lái)形成一個(gè)48維的向量VM，然后將所有8個(gè)方向下第O個(gè)維度和第I個(gè)維度(j = 0，1)下的向量合并起來(lái)形成一個(gè)48X 16大小的矩陣M= [Vlj0 Via V2j0 V2jl-V8,0 V8, J，這就是這個(gè)人在這個(gè)視角下的最終特征表達(dá)。
[0054]步驟S6，對(duì)于數(shù)據(jù)庫(kù)中的每個(gè)人、每個(gè)視角，重復(fù)步驟SI~步驟S5，建立其對(duì)應(yīng)的特征表達(dá)。
[0055]步驟S7，對(duì)于新來(lái)的測(cè)試樣本，重復(fù)步驟SI~步驟S5，建立其特征表達(dá)，并和數(shù)據(jù)庫(kù)中已存在的特征表達(dá)進(jìn)行最近鄰匹配；采用cosine距離計(jì)算兩個(gè)
特征表達(dá)的相似度，也即對(duì)于特征表達(dá)
【權(quán)利要求】
1.一種基于拓?fù)浔磉_(dá)的跨視角步態(tài)識(shí)別方法，其特征在于，該方法包括以下步驟: 步驟1，根據(jù)數(shù)據(jù)庫(kù)中某個(gè)人在某個(gè)視角下的人體空間輪廓圖片，建立對(duì)應(yīng)的人體空時(shí)輪廓； 步驟2，對(duì)所述人體空時(shí)輪廓中的每個(gè)數(shù)據(jù)點(diǎn)，若滿(mǎn)足立方體構(gòu)建條件，則以其為一個(gè)頂點(diǎn)構(gòu)建一個(gè)立方體； 步驟3，根據(jù)構(gòu)建得到的立方體，得到包圍所述人體空時(shí)輪廓外表面的三角形集合；步驟4，基于對(duì)所述三角形集合中的三角形按多個(gè)方向進(jìn)行排序，并根據(jù)三角形的排列順序?qū)?gòu)成三角形的所有邊和頂點(diǎn)進(jìn)行排序； 步驟5，將排好序的頂點(diǎn)、邊和三角形作為要素，構(gòu)建新空間，并計(jì)算所述新空間的拓?fù)浔磉_(dá)，形成每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖barcode ； 步驟6，在所述步驟5得到的每個(gè)方向每個(gè)維度下的類(lèi)柱狀圖上提取特征，得到這個(gè)人在這個(gè)視角下的最終特征表達(dá)； 步驟7，對(duì)所有人在每個(gè)視角下都進(jìn)行所述步驟1-6的過(guò)程，得到每個(gè)人在各個(gè)視角下的特征表達(dá)，作為用于匹配的模板； 步驟8，對(duì)于測(cè)試樣本按照所述步驟1-6得到其對(duì)應(yīng)的特征表達(dá)，將測(cè)試序列的特征表達(dá)與所述步驟7得到的數(shù)據(jù)庫(kù)中的特征表達(dá)模板進(jìn)行匹配，得到步態(tài)識(shí)別結(jié)果。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟I進(jìn)一步包括以下步驟: 步驟11，收集一系列某個(gè)人在某個(gè)視角下的人體空間輪廓圖片； 步驟12，將圖片中的人體空間輪廓按比例縮放到同一尺寸大小并對(duì)齊； 步驟13，將所有圖片以相鄰間隔m個(gè)像素單位地疊在一起，得到一個(gè)人體空時(shí)輪廓。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3進(jìn)一步包括以下步驟: 步驟31，對(duì)組成立方體的每個(gè)正方形進(jìn)行判斷:如果這個(gè)正方形同時(shí)為兩個(gè)立方體所共有，則刪除這個(gè)正方形，對(duì)于所有的正方形進(jìn)行判斷，得到一個(gè)包圍人體空時(shí)輪廓外表面的正方形集合； 步驟32，對(duì)所述正方形集合中的每個(gè)正方形進(jìn)行三角化，最終得到一個(gè)包圍人體空時(shí)輪廓外表面的三角形集合。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟4中對(duì)三角形按多個(gè)方向進(jìn)行排序時(shí)，先以三角形的某個(gè)頂點(diǎn)來(lái)表示此三角形，然后按照三角形的第一個(gè)坐標(biāo)進(jìn)行由小到大的排列，形成集合S1 ;然后取其逆序，得到集合S2 ;按照第二坐標(biāo)和兩個(gè)對(duì)角線方向分別對(duì)三角形進(jìn)行正向和反向排序，得到集合S3，S4,…，S7, S8。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟4中對(duì)構(gòu)成三角形的所有邊和頂點(diǎn)進(jìn)行排序時(shí)，按照以下規(guī)則進(jìn)行排序:如果某個(gè)三角形在三角形集合中處于第i個(gè)的位置，那么其三條邊在三角形邊集合中應(yīng)位于3i，3i+l，3i+2的位置，其三個(gè)頂點(diǎn)在三角形頂點(diǎn)集合中應(yīng)位于3i，3i+l，3i+2的位置。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟6進(jìn)一步包括以下步驟: 步驟61，將某個(gè)維度的類(lèi)柱狀圖沿著橫軸劃分成多個(gè)區(qū)域； 步驟62，在每個(gè)區(qū)域內(nèi)統(tǒng)計(jì)新產(chǎn)生的特征數(shù)目和從上一區(qū)域一直持續(xù)到本區(qū)域結(jié)束的特征數(shù)目，其中，一條線就是對(duì)應(yīng)的一個(gè)特征； 步驟63，將這些數(shù)字串起來(lái)形成一個(gè)向量，即為在該維度下的類(lèi)柱狀圖提取得到的特征； 步驟64，在每個(gè)方向每個(gè)維度下進(jìn)行相同的操作，將得到的所有向量合并起來(lái)得到一個(gè)矩陣，即為這個(gè)人在這個(gè)視角下的最終特征表達(dá)。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟5中，采用persistenthomology方法來(lái)計(jì)算空間的拓?fù)浔磉_(dá)。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟8中，采用最近鄰匹配的方式計(jì)算兩個(gè)特征表達(dá)的相似度。
【文檔編號(hào)】G06K9/64GK103839081SQ201410064937
【公開(kāi)日】2014年6月4日 申請(qǐng)日期:2014年2月25日 優(yōu)先權(quán)日:2014年2月25日
【發(fā)明者】譚鐵牛, 王亮, 黃永禎, 周振 申請(qǐng)人:中國(guó)科學(xué)院自動(dòng)化研究所