專利名稱：自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法及其系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計(jì)算機(jī)視覺和模式識(shí)別領(lǐng)域，尤其涉及自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法及其系統(tǒng)。
背景技術(shù)：
人體鏈狀結(jié)構(gòu)模型體現(xiàn)了人體各個(gè)部分的形狀，大小以及連接關(guān)系，它蘊(yùn)含了人 體生理結(jié)構(gòu)的先驗(yàn)知識(shí)。在有特征點(diǎn)的人體運(yùn)動(dòng)分析中，要描繪對(duì)象的運(yùn)動(dòng)，需要跟蹤運(yùn)動(dòng) 對(duì)象的特征點(diǎn)，計(jì)算關(guān)節(jié)中心的位置，驅(qū)動(dòng)骨骼模型。對(duì)于不同的運(yùn)動(dòng)個(gè)體，需要按照人體 模型的拓?fù)浣Y(jié)構(gòu)，指定重構(gòu)出的特征點(diǎn)的名稱及位置，建立符合要求的人體鏈狀模型，才能 繼續(xù)完成跟蹤任務(wù)，進(jìn)而驅(qū)動(dòng)骨骼模型。人體鏈狀結(jié)構(gòu)模型建立完成之后，進(jìn)行跟蹤前，只需要標(biāo)注出運(yùn)動(dòng)圖像的首幀中 重構(gòu)的特征點(diǎn)的名稱，就可以進(jìn)行人體運(yùn)動(dòng)的跟蹤。但是，由于人體運(yùn)動(dòng)比較復(fù)雜，在運(yùn)動(dòng) 重構(gòu)過程中，不可避免的會(huì)出現(xiàn)重構(gòu)錯(cuò)誤的點(diǎn)，稱之為雜點(diǎn)；另外，由于遮擋以及自遮擋等 情況的影響，會(huì)出現(xiàn)標(biāo)記點(diǎn)丟失的情況，稱之為丟點(diǎn)。如果用手工去選擇合適的首幀，并逐 個(gè)標(biāo)注出特征點(diǎn)的名稱，無疑是件非常繁瑣的事情，而且如果出現(xiàn)錯(cuò)誤的標(biāo)注會(huì)顯著降低 跟蹤的準(zhǔn)確性和可靠性。二十世紀(jì)九十年代以來，隨著光學(xué)運(yùn)動(dòng)捕獲技術(shù)的興起，大量的三維人體運(yùn)動(dòng)捕 獲數(shù)據(jù)生成，并被廣泛應(yīng)用在計(jì)算機(jī)動(dòng)畫，醫(yī)學(xué)仿真以及運(yùn)動(dòng)分析等領(lǐng)域。在獲取運(yùn)動(dòng)捕獲 數(shù)據(jù)之后，如何從不準(zhǔn)確和不完整的特征點(diǎn)數(shù)據(jù)中，根據(jù)人體鏈狀結(jié)構(gòu)模型，快速準(zhǔn)確地挑 選跟蹤的首幀并對(duì)首幀的特征點(diǎn)進(jìn)行正確識(shí)別和標(biāo)注，以便后續(xù)根據(jù)這些信息進(jìn)行運(yùn)動(dòng)跟 蹤，進(jìn)而驅(qū)動(dòng)骨骼模型是現(xiàn)有技術(shù)中需要解決的問題。

發(fā)明內(nèi)容
為了解決上述問題，本發(fā)明提供了自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法及其系 統(tǒng)，能夠利用給定的人體鏈狀結(jié)構(gòu)模型，從具有丟失的或錯(cuò)誤的特征點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)序列中， 確定首幀并對(duì)首幀中特征點(diǎn)進(jìn)行標(biāo)注。本發(fā)明公開了一種自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法，包括步驟1，讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型中的剛體 以及每個(gè)剛體上的特征點(diǎn)；步驟2，通過運(yùn)動(dòng)捕捉獲得所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及各個(gè)幀的特征點(diǎn) 集；步驟3，從所述運(yùn)動(dòng)圖像的幀中選擇特征點(diǎn)集中特征點(diǎn)數(shù)量大于等于所述人體鏈 狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀；步驟4，對(duì)于每個(gè)剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn)組合，所述特征點(diǎn)組 合中特征點(diǎn)數(shù)量同所述剛體上特征點(diǎn)數(shù)量相同，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的 特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)；
所述距離約束條件為所述特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)間距離同所述剛體中對(duì) 應(yīng)的兩個(gè)特征點(diǎn)間距離的差值小于預(yù)設(shè)的距離變化閥值。所述步驟4中從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)進(jìn) 一步為，步驟21，應(yīng)用絕對(duì)朝向算法從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體 的匹配對(duì)。所述步驟4中從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)進(jìn) 一步為，步驟31，對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，計(jì)算所述特征點(diǎn)組合中所有的兩個(gè)特 征點(diǎn)間距離同所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值，確定所述特征點(diǎn)組合對(duì)應(yīng)的差 值的最大值；步驟32，選擇所述最大值最小的特征點(diǎn)組合作為所述剛體的匹配對(duì)。所述人體鏈狀結(jié)構(gòu)模型中的剛體上特征點(diǎn)數(shù)量的最大值為K，并且剛體包含的特 征點(diǎn)的集合同其他剛體包含的特征點(diǎn)的集合具有重疊部分；所述步驟4進(jìn)一步為，步驟41，對(duì)于每個(gè)特征點(diǎn)數(shù)量為K的剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn) 組合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量為K，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的特征點(diǎn) 組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)，對(duì)應(yīng) 于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述首幀的特征點(diǎn) 集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；步驟42，對(duì)于每個(gè)特征點(diǎn)數(shù)量為K，并且有L個(gè)特征點(diǎn)被匹配的剛體，其中1 ( L < K，從所述首幀的特征點(diǎn)集的剩余特征點(diǎn)中枚舉出K-L個(gè)特征點(diǎn)，所述枚舉的特征點(diǎn)和已 同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合，選擇對(duì)應(yīng)于所述剛體符合距離約束條 件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹 配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述特 征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；步驟43，重復(fù)所述步驟42，直到所述首幀所有特征點(diǎn)均被識(shí)別或者所有剛體上的 特征點(diǎn)都已被匹配。所述步驟42中所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合為特 征點(diǎn)組合進(jìn)一步為，步驟51，將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)進(jìn)行排序，已同所述剛體匹配的首幀的特征點(diǎn)在排序中的位置同所述特征點(diǎn)在剛體中對(duì)應(yīng) 的特征點(diǎn)在剛體的排序中的位置相同；步驟52，所述排序?yàn)槊杜e的一個(gè)特征點(diǎn)組合。本發(fā)明還公開了一種自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)，包括模型讀取模塊，用于讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu) 模型中的剛體以及每個(gè)剛體上的特征點(diǎn)；運(yùn)動(dòng)幀獲得模塊，用于通過運(yùn)動(dòng)捕捉獲得所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及各個(gè)幀的特征點(diǎn)集；首幀確定模塊，用于從所述運(yùn)動(dòng)圖像的幀中選擇特征點(diǎn)集中特征點(diǎn)數(shù)量大于等于所述人體鏈狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀；特征點(diǎn)標(biāo)識(shí)模塊，用于對(duì)于每個(gè)剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn)組合， 所述特征點(diǎn)組合中特征點(diǎn)數(shù)量同所述剛體上特征點(diǎn)數(shù)量相同，選擇對(duì)應(yīng)于所述剛體符合距 離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述 剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)；所述距離約束條件為所述特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)間距離同所述剛體中對(duì) 應(yīng)的兩個(gè)特征點(diǎn)間距離的差值小于預(yù)設(shè)的距離變化閥值。所述特征點(diǎn)標(biāo)識(shí)模塊在從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的 匹配對(duì)時(shí)進(jìn)一步用于應(yīng)用絕對(duì)朝向算法從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述 剛體的匹配對(duì)。所述特征點(diǎn)標(biāo)識(shí)模塊在從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的 匹配對(duì)時(shí)進(jìn)一步用于對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，計(jì)算所述特征點(diǎn)組合中所有的兩個(gè) 特征點(diǎn)間距離同所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值，確定所述特征點(diǎn)組合對(duì)應(yīng)的 差值的最大值；選擇所述最大值最小的特征點(diǎn)組合作為所述剛體的匹配對(duì)。所述人體鏈狀結(jié)構(gòu)模型中的剛體上特征點(diǎn)數(shù)量的最大值為K，并且剛體包含的特 征點(diǎn)的集合同其他剛體包含的特征點(diǎn)的集合具有重疊部分；所述特征點(diǎn)標(biāo)識(shí)模塊進(jìn)一步包括初次標(biāo)識(shí)模塊，用于對(duì)于每個(gè)特征點(diǎn)數(shù)量為K的剛體，從所述首幀的特征點(diǎn)中枚 舉出特征點(diǎn)組合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量為K，選擇對(duì)應(yīng)于所述剛體符合距離約束條 件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹 配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述首 幀的特征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；再次標(biāo)識(shí)模塊，用于對(duì)于每個(gè)特征點(diǎn)數(shù)量為K，并且有L個(gè)特征點(diǎn)被匹配的剛體， 其中1 < L < K，從所述首幀的特征點(diǎn)集的剩余特征點(diǎn)中枚舉出K-L個(gè)特征點(diǎn)，所述枚舉 的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合，選擇對(duì)應(yīng)于所述剛體符 合距離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為 所述剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特 征點(diǎn)從所述特征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為 K-I ；判斷模塊，用于判斷是否所述首幀所有特征點(diǎn)均被識(shí)別或者所有剛體上的特征點(diǎn) 都已被匹配，如果否，則啟動(dòng)所述再次標(biāo)識(shí)模塊，如果是，則結(jié)束操作。所述再次標(biāo)識(shí)模塊在將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn) 組合為特征點(diǎn)組合時(shí)進(jìn)一步用于將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征 點(diǎn)進(jìn)行排序，已同所述剛體匹配的首幀的特征點(diǎn)在排序中的位置同所述特征點(diǎn)在剛體中對(duì) 應(yīng)的特征點(diǎn)在剛體的排序中的位置相同；所述排序?yàn)槊杜e的一個(gè)特征點(diǎn)組合。本發(fā)明的有益效果在于，本發(fā)明能夠從具有丟失的或錯(cuò)誤的特征點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)序 列中，確定首幀并對(duì)首幀中特征點(diǎn)進(jìn)行標(biāo)注；給定人體鏈狀結(jié)構(gòu)模型以及特征點(diǎn)運(yùn)動(dòng)數(shù)據(jù)序列，不需要經(jīng)過復(fù)雜的人工操作，就能夠直接識(shí)別出人體鏈狀結(jié)構(gòu)及各個(gè)特征點(diǎn)的名稱， 簡化了運(yùn)動(dòng)跟蹤時(shí)，運(yùn)動(dòng)跟蹤中首幀的初始化工作；識(shí)別出的人體鏈狀結(jié)構(gòu)及各個(gè)特征點(diǎn) 的名稱可以直接應(yīng)用到運(yùn)動(dòng)跟蹤中，方便快捷；本發(fā)明適用于各種觀測對(duì)象。


圖1是本發(fā)明的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法的流程圖；圖2是一實(shí)施例中觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型的下肢結(jié)構(gòu)的示例圖；圖3是實(shí)施例中特征點(diǎn)在下肢結(jié)構(gòu)中的示例圖；圖4(a)是三特征點(diǎn)剛體識(shí)別時(shí)識(shí)別兩個(gè)點(diǎn)的枚舉排列示意圖；圖4(b)是三特征點(diǎn)剛體識(shí)別時(shí)識(shí)別一個(gè)點(diǎn)的枚舉排列示意圖；圖5是本發(fā)明的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)的結(jié)構(gòu)圖。
具體實(shí)施例方式下面結(jié)合附圖，對(duì)本發(fā)明做進(jìn)一步的詳細(xì)描述。本發(fā)明的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法的流程如圖1所示。步驟S100，讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型中的 剛體以及每個(gè)剛體上的特征點(diǎn)。人體鏈狀結(jié)構(gòu)模型中包括剛體，每個(gè)剛體上具有特征點(diǎn)；通過讀取觀測對(duì)象的人 體鏈狀結(jié)構(gòu)模型，確定觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型中剛體的數(shù)量和名稱，各個(gè)剛體上特 征點(diǎn)的數(shù)目和名稱，以及剛體上各個(gè)特征點(diǎn)間的距離。在一實(shí)施例中的觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型的下肢結(jié)構(gòu)如圖2所示。其中，下 肢結(jié)構(gòu)的剛體包括腰部，左大腿，右大腿，左小腿，右小腿，左足，右足，共7個(gè)剛體；每個(gè)剛 體中包括的特征點(diǎn)如表1所述。 表 1表1中的LFWT表示左腰前，RFffT表示右腰前，LBffT表示左腰后，RBffT表示右腰后，LTHI表示左大腿，LKNE表示左膝蓋，RTHI表示右大腿，RKNE表示右膝蓋，LANK表示左 腳踝LSHN表示左小腿，RANK表示右腳踝，RSHN表示右小腿，LTOE表示左拇指，LMT5表示左 小指，LHEE表示左腳跟，RTOE表示右拇指，RMT5表示右小指，RHEE表示右腳跟。表1中特征點(diǎn)在下肢結(jié)構(gòu)中的位置如圖3所示。步驟S200，通過運(yùn)動(dòng)捕捉獲得所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及各個(gè)幀的特征
點(diǎn)^^ ο特征點(diǎn)集為幀中特征點(diǎn)的集合。本步驟所涉及的運(yùn)動(dòng)捕獲技術(shù)是基于計(jì)算機(jī)視覺的特征點(diǎn)匹配和重構(gòu)技術(shù)，在 “計(jì)算機(jī)視覺中的數(shù)學(xué)方法”，吳福朝，科學(xué)出版社，2008，一書中具有詳細(xì)說明。運(yùn)動(dòng)捕獲中，人體穿上具有反光點(diǎn)的采集衣，利用多個(gè)攝像機(jī)對(duì)運(yùn)動(dòng)的人體進(jìn)行 捕捉，并以視頻的形式進(jìn)行記錄，在視頻圖像中只有反光點(diǎn)區(qū)域具有很大的亮度，可以進(jìn)行 特征點(diǎn)提取。提取到的特征點(diǎn)進(jìn)行極幾何匹配和三維重構(gòu)，得到特征點(diǎn)的空間位置。通過運(yùn)動(dòng)捕捉技術(shù)獲得的特征點(diǎn)集中會(huì)包括錯(cuò)誤的特征點(diǎn)，或者出現(xiàn)缺失特征點(diǎn) 的現(xiàn)象。步驟S300，從所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀中選擇特征點(diǎn)集中特征點(diǎn)數(shù)量大于等 于所述人體鏈狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀。由于需要在運(yùn)動(dòng)圖像的幀中將對(duì)應(yīng)于人體鏈狀結(jié)構(gòu)模型的剛體上的所有特征點(diǎn) 標(biāo)注出來，要求保證這一幀中所重構(gòu)出的特征點(diǎn)的數(shù)目應(yīng)該不小于特征點(diǎn)的總數(shù)目，也就 是沒有丟點(diǎn)情況出現(xiàn)。在實(shí)施例中，下肢結(jié)構(gòu)中特征點(diǎn)的總數(shù)為18，因而從觀測對(duì)象的運(yùn)動(dòng)圖像的幀中 選擇特征點(diǎn)數(shù)量大于等于18的第一個(gè)幀為首幀。步驟S400，對(duì)于每個(gè)剛體，從首幀的特征點(diǎn)中枚舉特征點(diǎn)組合，所述特征點(diǎn)組合中 特征點(diǎn)數(shù)量同所述剛體上特征點(diǎn)數(shù)量相同，選擇出對(duì)應(yīng)于該剛體符合距離約束條件的特征 點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)，對(duì) 應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)。距離約束條件為該特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)間距離同該剛體中對(duì)應(yīng)的兩個(gè) 特征點(diǎn)間距離的差值小于預(yù)設(shè)的距離變化閥值。枚舉的特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)，特征點(diǎn)Xi和特征點(diǎn)\，該兩個(gè)特征點(diǎn)間距 離為disti/2)，剛體中特征點(diǎn)Ji對(duì)應(yīng)于特征點(diǎn)Xi,剛體中特征點(diǎn)Yj對(duì)應(yīng)于特征點(diǎn)Xj，特征點(diǎn)
Yi和特征點(diǎn)y」間距離為肚叫廣，距離約束條件為—^-血^^挪；其中，i，j = 1，. . .，η，η為該剛體中特征點(diǎn)的數(shù)量，枚舉的特征點(diǎn)組合中的特征 點(diǎn)的數(shù)量也為η，τ Hgid為預(yù)設(shè)的距離變化閥值。特征點(diǎn)組合中特征點(diǎn)和剛體上特征點(diǎn)間的對(duì)應(yīng)關(guān)系，由特征點(diǎn)在特征點(diǎn)組合中的 順序位置和特征點(diǎn)在剛體上的順序位置確定。在步驟S400中從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)的 一具體實(shí)施方式
如下所述。應(yīng)用絕對(duì)朝向算法從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)。在步態(tài)運(yùn)動(dòng)過程中，同一剛體的特征點(diǎn)之間滿足剛體變換，通過絕對(duì)朝向算法計(jì) 算的誤差函數(shù)會(huì)比較小。從兩個(gè)對(duì)應(yīng)點(diǎn)集中去估計(jì)兩個(gè)點(diǎn)集之間的旋轉(zhuǎn)、縮放和平移參數(shù) W^i^M^ (n| fnJIS ^ilK Least-squares fitting oftwo 3-D point sets. K. S. Arun, T. S. Huang and S. D. Blostein. PAMI-8, No. 1，Jan. 1986 中具有詳細(xì)記述。具體而言，絕對(duì)朝向問題就是對(duì)于給定η維空間中的兩個(gè)點(diǎn)集χ = Ix1, ...，χη} 和y = {Yl, ...，yn}，找到一組相似變換參數(shù)，參數(shù)包括R，表示旋轉(zhuǎn)；c，表示縮放；t，表示 平移。使得下面這個(gè)最小二乘誤差函數(shù)F(R，t，c)達(dá)到極小值。F(R，t，c)的值越小，兩個(gè) 對(duì)應(yīng)點(diǎn)集匹配的程度越高。 在該實(shí)施例中，剛體的特征點(diǎn)集為χ = Ix1, . . .，xn}，枚舉結(jié)果中的一個(gè)特征點(diǎn)組 合y= Iy1,..., yn }，計(jì)算每個(gè)特征點(diǎn)組合對(duì)應(yīng)的誤差值F (R，t，c)，選擇誤差值最小的特 征點(diǎn)組合為該剛體的匹配對(duì)。在步驟S400中從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)的 另一具體實(shí)施方式
如下所述。對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，計(jì)算所述特征點(diǎn)組合中所有的兩個(gè)特征點(diǎn)間距 離同所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值中的最大值；選擇所述最大值最小的特征 點(diǎn)組合作為所述剛體的匹配對(duì)。在步態(tài)運(yùn)動(dòng)過程中，同一剛體上任意兩個(gè)特征點(diǎn)間距離近似不變，而屬于不同剛 體的兩個(gè)特征點(diǎn)之間距離會(huì)有明顯變化的特點(diǎn)。記D為兩個(gè)對(duì)應(yīng)特征點(diǎn)組合χ = Ix1, . . .，xj與y = {y1; . . .，yn}線段變形的最 大誤差，按如下公式計(jì)算D。其中，Xi和yi是兩個(gè)特征點(diǎn)組合中的對(duì)應(yīng)點(diǎn)，d(Xi，Xj)和d(yi，Yj)分別為特征點(diǎn) 組合χ和y中兩個(gè)特征點(diǎn)之間的距離。D值越小，兩個(gè)特征點(diǎn)組合匹配的可靠性越高。在該實(shí)施例中，對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，按如上公式計(jì)算該特征點(diǎn)組合 同剛體上特征點(diǎn)集的最大誤差D，選擇最大誤差D最小的特征點(diǎn)組合為該剛體的匹配對(duì)。所述步驟S400的一具體實(shí)施方式
如下所述。步驟S410，對(duì)于每個(gè)特征點(diǎn)數(shù)量為K的剛體，從所述首幀的特征點(diǎn)中枚舉出特征 點(diǎn)組合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量為K，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的特征 點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)，對(duì) 應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述首幀的特征 點(diǎn)集中除去，在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-1。步驟S420，對(duì)于每個(gè)特征點(diǎn)數(shù)量為K，并且有L個(gè)特征點(diǎn)被匹配的剛體，L的值大 于等于1，從所述首幀的特征點(diǎn)集的剩余特征點(diǎn)中枚舉出K-L個(gè)特征點(diǎn)，所述枚舉的特征點(diǎn) 和已同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合，選擇對(duì)應(yīng)于所述剛體符合距離約 束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體 的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述特征點(diǎn)集中除去，在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-1。步驟S430，重復(fù)所述步驟S420，直到首幀所有特征點(diǎn)均被識(shí)別或者所有剛體上的 特征點(diǎn)都已匹配成功。所述步驟S400對(duì)應(yīng)于如表1所述的人體鏈狀結(jié)構(gòu)模型的實(shí)施例如下所述。步驟S401，在首幀中，采用絕對(duì)朝向算法和距離約束條件從該首幀的特征點(diǎn)組合 中識(shí)別出對(duì)應(yīng)于四特征點(diǎn)剛體的特征點(diǎn)。從表1和圖3中可以確定在人體的下肢結(jié)構(gòu)的各個(gè)剛體中，腰上和腳上的剛體上 有四個(gè)特征點(diǎn)點(diǎn)。識(shí)別的順序需要按照拓?fù)潢P(guān)系，從上而下進(jìn)行，先進(jìn)行腰上四特征點(diǎn)的識(shí) 別，然后進(jìn)行腳上 四特征點(diǎn)的識(shí)別。EP1, P2，P3，P4為人體鏈狀結(jié)構(gòu)模型中某個(gè)剛體上的四個(gè)特征點(diǎn)，并且兩個(gè)特征點(diǎn) 之間的距離為dish/1)。記Q1,Q2,Q3,Q4為從首幀的特征點(diǎn)集中枚舉出的具有四個(gè)特征點(diǎn)的 特征點(diǎn)組合，特征點(diǎn)不同的排序?qū)?yīng)為不同的特征點(diǎn)組合，并且該特征點(diǎn)組合中兩個(gè)特征 點(diǎn)之間的距離為乜叫/2)。對(duì)于枚舉出的特征點(diǎn)組合，對(duì)于任意的i，j = 1，...，4滿足|論<)-涖<2>|<7^
的特征點(diǎn)組合作為枚舉結(jié)果。遍歷所有枚舉結(jié)果，利用絕對(duì)朝向算法從枚舉結(jié)果中選擇一個(gè)該剛體的匹配對(duì)， 對(duì)應(yīng)剛體的四個(gè)特征點(diǎn)標(biāo)識(shí)特征點(diǎn)組合中的特征點(diǎn)。更新特征點(diǎn)集合，去除已識(shí)別的點(diǎn)，繼續(xù)進(jìn)行下一個(gè)四特征點(diǎn)剛體的識(shí)別直到所 有四特征點(diǎn)剛體識(shí)別完畢。步驟S402，在首幀中，采用絕對(duì)朝向算法和距離約束條件從該首幀的特征點(diǎn)組合 中識(shí)別出對(duì)應(yīng)于三特征點(diǎn)剛體的特征點(diǎn)。在首幀中的特征點(diǎn)中已經(jīng)識(shí)別出對(duì)應(yīng)于四特征點(diǎn)剛體上的特征點(diǎn)及其名稱，對(duì)于 首幀中剩余的特征點(diǎn)，利用人體鏈狀結(jié)構(gòu)模型、距離約束條件和絕對(duì)朝向算法識(shí)別出對(duì)應(yīng) 于三特征點(diǎn)剛體的特征點(diǎn)。首先，從人體鏈狀結(jié)構(gòu)模型的剛體中選擇出具有資格的三特征點(diǎn)剛體，剛體的資 格條件為，剛體中已經(jīng)被識(shí)別出的特征點(diǎn)的數(shù)量為L，1 < L < 3，表示沒有從首幀的特征點(diǎn) 中識(shí)別出對(duì)應(yīng)于該剛體的所有特征點(diǎn)，且剛體上至少有一個(gè)特征點(diǎn)已經(jīng)被識(shí)別出。在枚舉出特征點(diǎn)集合時(shí)，從特征點(diǎn)集中剩余特征點(diǎn)中枚舉該剛體上尚未識(shí)別特征 點(diǎn)對(duì)應(yīng)個(gè)數(shù)的特征點(diǎn)，例如該剛體中有兩個(gè)點(diǎn)未被識(shí)別，則枚舉出兩個(gè)特征點(diǎn)；如果該剛體 中有一個(gè)點(diǎn)未被識(shí)別，則枚舉出一個(gè)特征點(diǎn)。然后將枚舉出的特征點(diǎn)與已同該剛體匹配的 首幀的特征點(diǎn)組合為特征點(diǎn)組合；同樣是不同排序?qū)?yīng)不同的特征點(diǎn)組合。已經(jīng)匹配的特 征點(diǎn)在特征點(diǎn)組合中的位置應(yīng)該與它在人體鏈狀構(gòu)造模型中所屬剛體上的位置相同。如圖 4(a)和圖4(b)所示，空心點(diǎn)表示已經(jīng)識(shí)別出的特征點(diǎn)，實(shí)心點(diǎn)表示尚未識(shí)別的點(diǎn)。4(a)圖 中，需要枚舉兩個(gè)點(diǎn)，已識(shí)別的點(diǎn)P1和兩個(gè)枚舉得到的點(diǎn)的排列關(guān)系應(yīng)該為P1，枚舉得到的 點(diǎn)P2,枚舉得到的點(diǎn)P3。同樣的在圖4(b)中，只需要枚舉一個(gè)點(diǎn)，這時(shí)的排列關(guān)系應(yīng)該為已 識(shí)別的點(diǎn)P1,枚舉得到的點(diǎn)P2,已識(shí)別的點(diǎn)P3。得到枚舉出的特征點(diǎn)組合之后，采用絕對(duì)朝向算法和距離約束條件得到三點(diǎn)剛體 的識(shí)別結(jié)果。本發(fā)明一種自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)的結(jié)構(gòu)如圖5所示。
模型讀取模塊100，用于讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié) 構(gòu)模型中的剛體以及每個(gè)剛體上的特征點(diǎn)。運(yùn)動(dòng)幀獲得模塊200，用于通過運(yùn)動(dòng)捕捉獲得所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及 各個(gè)幀的特征點(diǎn)集。 首幀確定模塊300，用于從所述運(yùn)動(dòng)圖像的幀中選擇特征點(diǎn)集中特征點(diǎn)數(shù)量大于 等于所述人體鏈狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀。特征點(diǎn)標(biāo)識(shí)模塊400，用于對(duì)于每個(gè)剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn)組 合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量同所述剛體上特征點(diǎn)數(shù)量相同，選擇對(duì)應(yīng)于所述剛體符 合距離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為 所述剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)；所述距離約束條件為所述特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)間距離同所述剛體中對(duì) 應(yīng)的兩個(gè)特征點(diǎn)間距離的差值小于預(yù)設(shè)的距離變化閥值。在一實(shí)施方式中，特征點(diǎn)標(biāo)識(shí)模塊在從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為 所述剛體的匹配對(duì)時(shí)進(jìn)一步用于應(yīng)用絕對(duì)朝向算法從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組 合作為所述剛體的匹配對(duì)。在另一實(shí)施方式中，特征點(diǎn)標(biāo)識(shí)模塊在從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作 為所述剛體的匹配對(duì)時(shí)進(jìn)一步用于對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，計(jì)算所述特征點(diǎn)組合 中所有的兩個(gè)特征點(diǎn)間距離同所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值，確定所述特征 點(diǎn)組合對(duì)應(yīng)的差值的最大值；選擇所述最大值最小的特征點(diǎn)組合作為所述剛體的匹配對(duì)。
具體實(shí)施例人體鏈狀結(jié)構(gòu)模型中的剛體上特征點(diǎn)數(shù)量的最大值為K，并且剛體包含的特征點(diǎn) 的集合同其他剛體包含的特征點(diǎn)的集合具有重疊部分。所述特征點(diǎn)標(biāo)識(shí)模塊進(jìn)一步包括如下模塊。初次標(biāo)識(shí)模塊，用于對(duì)于每個(gè)特征點(diǎn)數(shù)量為K的剛體，從所述首幀的特征點(diǎn)中枚 舉出特征點(diǎn)組合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量為K，選擇對(duì)應(yīng)于所述剛體符合距離約束條 件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹 配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述首 幀的特征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-1。再次標(biāo)識(shí)模塊，用于對(duì)于每個(gè)特征點(diǎn)數(shù)量為K，并且有L個(gè)特征點(diǎn)被匹配的剛體， 其中1 < L < K，從所述首幀的特征點(diǎn)集的剩余特征點(diǎn)中枚舉出K-L個(gè)特征點(diǎn)，所述枚舉 的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合，選擇對(duì)應(yīng)于所述剛體符 合距離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為 所述剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特 征點(diǎn)從所述特征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為 K-I。判斷模塊，用于判斷是否所述首幀所有特征點(diǎn)均被識(shí)別或者所有剛體上的特征點(diǎn) 都已被匹配，如果否，則啟動(dòng)所述再次標(biāo)識(shí)模塊，如果是，則結(jié)束操作。進(jìn)一步的，再次標(biāo)識(shí)模塊在將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合時(shí)進(jìn)一步用于將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)進(jìn)行排序，已同所述剛體匹配的首幀的特征點(diǎn)在排序中的位置同所述特征點(diǎn)在剛體 中對(duì)應(yīng)的特征點(diǎn)在剛體的排序中的位置相同；所述排序?yàn)槊杜e的一個(gè)特征點(diǎn)組合。
本領(lǐng)域的技術(shù)人員在不脫離權(quán)利要求書確定的本發(fā)明的精神和范圍的條件下，還 可以對(duì)以上內(nèi)容進(jìn)行各種各樣的修改。因此本發(fā)明的范圍并不僅限于以上的說明，而是由 權(quán)利要求書的范圍來確定的。
權(quán)利要求
一種自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法，其特征在于，包括步驟1，讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型中的剛體以及每個(gè)剛體上的特征點(diǎn)；步驟2，通過運(yùn)動(dòng)捕捉獲得所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及各個(gè)幀的特征點(diǎn)集；步驟3，從所述運(yùn)動(dòng)圖像的幀中選擇特征點(diǎn)集中特征點(diǎn)數(shù)量大于等于所述人體鏈狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀；步驟4，對(duì)于每個(gè)剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn)組合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量同所述剛體上特征點(diǎn)數(shù)量相同，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)；所述距離約束條件為所述特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)間距離同所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值小于預(yù)設(shè)的距離變化閥值。
2.如權(quán)利要求1所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法，其特征在于，所述步 驟4中從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)進(jìn)一步為，步驟21，應(yīng)用絕對(duì)朝向算法從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹 配對(duì)。
3.如權(quán)利要求1所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法，其特征在于，所述步 驟4中從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)進(jìn)一步為，步驟31，對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，計(jì)算所述特征點(diǎn)組合中所有的兩個(gè)特征點(diǎn) 間距離同所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值，確定所述特征點(diǎn)組合對(duì)應(yīng)的差值的 最大值；步驟32，選擇所述最大值最小的特征點(diǎn)組合作為所述剛體的匹配對(duì)。
4.如權(quán)利要求1所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法，其特征在于，所述人體鏈狀結(jié)構(gòu)模型中的剛體上特征點(diǎn)數(shù)量的最大值為K，并且剛體包含的特征點(diǎn) 的集合同其他剛體包含的特征點(diǎn)的集合具有重疊部分； 所述步驟4進(jìn)一步為，步驟41，對(duì)于每個(gè)特征點(diǎn)數(shù)量為K的剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn)組合， 所述特征點(diǎn)組合中特征點(diǎn)數(shù)量為K，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的特征點(diǎn)組合 作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)，對(duì)應(yīng)于剛 體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述首幀的特征點(diǎn)集中 除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；步驟42，對(duì)于每個(gè)特征點(diǎn)數(shù)量為K，并且有L個(gè)特征點(diǎn)被匹配的剛體，其中1 < L < K，從 所述首幀的特征點(diǎn)集的剩余特征點(diǎn)中枚舉出K-L個(gè)特征點(diǎn)，所述枚舉的特征點(diǎn)和已同所述 剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的特 征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)， 對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述特征點(diǎn)集 中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；步驟43，重復(fù)所述步驟42，直到所述首幀所有特征點(diǎn)均被識(shí)別或者所有剛體上的特征 點(diǎn)都已被匹配。
5.如權(quán)利要求4所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法，其特征在于，所述步驟42中所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合進(jìn)一步為， 步驟51，將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)進(jìn)行排序，已同所 述剛體匹配的首幀的特征點(diǎn)在排序中的位置同所述特征點(diǎn)在剛體中對(duì)應(yīng)的特征點(diǎn)在剛體 的排序中的位置相同；步驟52，所述排序?yàn)槊杜e的一個(gè)特征點(diǎn)組合。
6.一種自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)，其特征在于，包括模型讀取模塊，用于讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定所述人體鏈狀結(jié)構(gòu)模型 中的剛體以及每個(gè)剛體上的特征點(diǎn)；運(yùn)動(dòng)幀獲得模塊，用于通過運(yùn)動(dòng)捕捉獲得所述觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及各個(gè)幀 的特征點(diǎn)集；首幀確定模塊，用于從所述運(yùn)動(dòng)圖像的幀中選擇特征點(diǎn)集中特征點(diǎn)數(shù)量大于等于所述 人體鏈狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀；特征點(diǎn)標(biāo)識(shí)模塊，用于對(duì)于每個(gè)剛體，從所述首幀的特征點(diǎn)中枚舉出特征點(diǎn)組合，所述 特征點(diǎn)組合中特征點(diǎn)數(shù)量同所述剛體上特征點(diǎn)數(shù)量相同，選擇對(duì)應(yīng)于所述剛體符合距離約 束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體 的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)；所述距離約束條件為所述特征點(diǎn)組合中任意兩個(gè)特征點(diǎn)間距離同所述剛體中對(duì)應(yīng)的 兩個(gè)特征點(diǎn)間距離的差值小于預(yù)設(shè)的距離變化閥值。
7.如權(quán)利要求6所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)，其特征在于，所述特 征點(diǎn)標(biāo)識(shí)模塊在從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)時(shí)進(jìn)一步 用于應(yīng)用絕對(duì)朝向算法從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)。
8.如權(quán)利要求6所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)，其特征在于，所述特 征點(diǎn)標(biāo)識(shí)模塊在從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配對(duì)時(shí)進(jìn)一步 用于對(duì)于枚舉結(jié)果中每個(gè)特征點(diǎn)組合，計(jì)算所述特征點(diǎn)組合中所有的兩個(gè)特征點(diǎn)間距離同 所述剛體中對(duì)應(yīng)的兩個(gè)特征點(diǎn)間距離的差值，確定所述特征點(diǎn)組合對(duì)應(yīng)的差值的最大值； 選擇所述最大值最小的特征點(diǎn)組合作為所述剛體的匹配對(duì)。
9.如權(quán)利要求6所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)，其特征在于，所述人體鏈狀結(jié)構(gòu)模型中的剛體上特征點(diǎn)數(shù)量的最大值為K，并且剛體包含的特征點(diǎn) 的集合同其他剛體包含的特征點(diǎn)的集合具有重疊部分；所述特征點(diǎn)標(biāo)識(shí)模塊進(jìn)一步包括初次標(biāo)識(shí)模塊，用于對(duì)于每個(gè)特征點(diǎn)數(shù)量為K的剛體，從所述首幀的特征點(diǎn)中枚舉出 特征點(diǎn)組合，所述特征點(diǎn)組合中特征點(diǎn)數(shù)量為K，選擇對(duì)應(yīng)于所述剛體符合距離約束條件 的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛體的匹配 對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從所述首幀 的特征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；再次標(biāo)識(shí)模塊，用于對(duì)于每個(gè)特征點(diǎn)數(shù)量為K，并且有L個(gè)特征點(diǎn)被匹配的剛體，其中 1^L< K，從所述首幀的特征點(diǎn)集的剩余特征點(diǎn)中枚舉出K-L個(gè)特征點(diǎn)，所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合為特征點(diǎn)組合，選擇對(duì)應(yīng)于所述剛體符合距離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從所述枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為所述剛 體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)，將匹配對(duì)中包含的特征點(diǎn)從 所述特征點(diǎn)集中除去；在所有特征點(diǎn)數(shù)量為K的剛體都被匹配完成后，將K更新為K-I ；判斷模塊，用于判斷是否所述首幀所有特征點(diǎn)均被識(shí)別或者所有剛體上的特征點(diǎn)都已 被匹配，如果否，則啟動(dòng)所述再次標(biāo)識(shí)模塊，如果是，則結(jié)束操作。
10.如權(quán)利要求9所述的自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的系統(tǒng)，其特征在于， 所述再次標(biāo)識(shí)模塊在將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)組合 為特征點(diǎn)組合時(shí)進(jìn)一步用于將所述枚舉的特征點(diǎn)和已同所述剛體匹配的首幀的特征點(diǎn)進(jìn) 行排序，已同所述剛體匹配的首幀的特征點(diǎn)在排序中的位置同所述特征點(diǎn)在剛體中對(duì)應(yīng)的 特征點(diǎn)在剛體的排序中的位置相同；所述排序?yàn)槊杜e的一個(gè)特征點(diǎn)組合。
全文摘要
本發(fā)明涉及自動(dòng)識(shí)別人體鏈狀結(jié)構(gòu)中特征點(diǎn)的方法及其系統(tǒng)，包括步驟1，讀取觀測對(duì)象的人體鏈狀結(jié)構(gòu)模型，確定其中的剛體以及每個(gè)剛體上的特征點(diǎn)；步驟2，通過運(yùn)動(dòng)捕捉獲得觀測對(duì)象的運(yùn)動(dòng)圖像的幀，以及各個(gè)幀的特征點(diǎn)集；步驟3，從幀中選擇特征點(diǎn)數(shù)量大于等于人體鏈狀結(jié)構(gòu)模型中特征點(diǎn)數(shù)量的第一個(gè)幀為首幀；步驟4，對(duì)于每個(gè)剛體，從首幀的特征點(diǎn)中枚舉出特征點(diǎn)組合，選擇對(duì)應(yīng)于剛體符合距離約束條件的特征點(diǎn)組合作為枚舉結(jié)果；從枚舉結(jié)果中選擇一個(gè)特征點(diǎn)組合作為剛體的匹配對(duì)，對(duì)應(yīng)于剛體中的特征點(diǎn)標(biāo)識(shí)匹配對(duì)中的特征點(diǎn)。本發(fā)明能夠從具有丟失的或錯(cuò)誤的特征點(diǎn)的運(yùn)動(dòng)數(shù)據(jù)序列中，確定首幀并對(duì)首幀中特征點(diǎn)進(jìn)行標(biāo)注。
文檔編號(hào)G06T7/20GK101840508SQ201010159000
公開日2010年9月22日 申請(qǐng)日期2010年4月26日 優(yōu)先權(quán)日2010年4月26日
發(fā)明者夏時(shí)洪, 王兆其, 鄧小明, 黃武 申請(qǐng)人:中國科學(xué)院計(jì)算技術(shù)研究所