本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域,尤其涉及一種基于完全矯正boosting和子空間學(xué)習(xí)算法的步態(tài)識(shí)別方法。
背景技術(shù):
步態(tài)識(shí)別技術(shù)在遠(yuǎn)距離身份識(shí)別方面具有巨大的應(yīng)用的前景,步態(tài)識(shí)別的目的就是通過(guò)對(duì)人體運(yùn)動(dòng)的圖像序列進(jìn)行分析處理,從而實(shí)現(xiàn)對(duì)個(gè)體的身份識(shí)別。一個(gè)完整的步態(tài)識(shí)別技術(shù)包括運(yùn)動(dòng)檢測(cè)、周期檢測(cè)、特征提取、算法識(shí)別這四個(gè)過(guò)程。
特征提取與分類(lèi)是步態(tài)識(shí)別技術(shù)中的關(guān)鍵步驟,直接影響到步態(tài)識(shí)別的最終識(shí)別性能。實(shí)際中獲得的原始數(shù)據(jù)分布在高維空間中,難以進(jìn)行相關(guān)的計(jì)算與分析,因此需要進(jìn)行數(shù)據(jù)降維。
在常用降維算法中,主成分分析方法及線性判別分析易受到視野遮擋,角度,服飾,路面情況等因素的限制和影響。例如在測(cè)試對(duì)象服飾情況變動(dòng)較大的情況下,這類(lèi)算法就無(wú)法有效地進(jìn)行特征提取以供進(jìn)行步態(tài)識(shí)別。局部線性嵌入方法和局部保持投影方法可以較好地處理訓(xùn)練樣本,但這兩種算法容易導(dǎo)致過(guò)擬合,以致識(shí)別率急劇下降。為了解決這一問(wèn)題,研究學(xué)者提出了利用boosting算法,隨機(jī)抽取多個(gè)局部線性子空間的子空間集成學(xué)習(xí)方法,這種方法的原理是訓(xùn)練多個(gè)弱分類(lèi)器,同時(shí)通過(guò)隨機(jī)抽取增強(qiáng)分類(lèi)器間的獨(dú)立性來(lái)提高分類(lèi)器的分類(lèi)準(zhǔn)確率,再采用boosting算法來(lái)提高分類(lèi)算法的準(zhǔn)確度。但是,采用該種方法需要生成大量的局部線性子空間,因此效率較低。同時(shí)boosting算法要求事先必須知道弱分類(lèi)算法的正確率下限,因此難以應(yīng)用于實(shí)際問(wèn)題中。
此外,現(xiàn)行的多數(shù)子空間學(xué)習(xí)方法的識(shí)別性能對(duì)所選訓(xùn)練樣本集依賴(lài)性強(qiáng),在針對(duì)高維圖像空間有限訓(xùn)練樣本集的情況下難以獲得最優(yōu)子空間,影響了特征提取的準(zhǔn)確率以及步態(tài)識(shí)別的識(shí)別性能。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)現(xiàn)有主流子空間學(xué)習(xí)方法在進(jìn)行特征提取過(guò)程中存在的不足,本發(fā)明結(jié)合圖嵌入框架,提出了一種基于完全矯正boosting和子空間學(xué)習(xí)算法的步態(tài)識(shí)別方法,其包括以下步驟:
步驟1:將二維圖像數(shù)據(jù)轉(zhuǎn)換為一維向量數(shù)據(jù);
步驟2:利用獲得的一維向量建立包含n個(gè)樣本的d維訓(xùn)練樣本集x;
步驟3:根據(jù)邊際fisher分析的原理構(gòu)造特征索引集t,令m=|t|表示集合t的基數(shù),初始權(quán)重值um=1/m;
步驟4:引入軟間隔線性規(guī)劃表達(dá)式將求解目的權(quán)重向量a的問(wèn)題轉(zhuǎn)換為形如lpboost算法的線性規(guī)劃表達(dá)式及其拉格朗日對(duì)偶的求解問(wèn)題;
步驟5:利用列生成算法的方式生成一個(gè)d維矩陣φt,將求解目的d×qt大小的投影矩陣vt的問(wèn)題轉(zhuǎn)換為求解該d維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量的問(wèn)題;
步驟6:基于集合t以及對(duì)應(yīng)的權(quán)重值[um]構(gòu)造固有圖g={x,s}及懲罰圖gp={x,sp},其中x是頂點(diǎn)集,s及sp是對(duì)應(yīng)圖的相似矩陣;構(gòu)造對(duì)應(yīng)圖的相似矩陣s及sp;構(gòu)造對(duì)應(yīng)圖的對(duì)角矩陣d,dp,及拉普拉斯矩陣l,lp;
步驟7:利用步驟6獲得的矩陣化簡(jiǎn)矩陣φt的表達(dá)式,通過(guò)矩陣的左乘右乘運(yùn)算,將φt表示為一個(gè)n維矩陣ψt的運(yùn)算表達(dá)式,矩陣ψt的維度遠(yuǎn)小于矩陣φt的維度;
步驟8:通過(guò)求解n維矩陣ψt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量得到d維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量,即可求解ψl條件下對(duì)應(yīng)的最佳投影矩陣vl;
步驟9:根據(jù)拉格朗日對(duì)偶問(wèn)題的求解更新權(quán)重值um的值;
步驟10:重復(fù)執(zhí)行步驟6、7、8、9進(jìn)行l(wèi)輪訓(xùn)練;
步驟11:根據(jù)步驟4中的線性規(guī)劃表達(dá)式,利用l輪訓(xùn)練后的結(jié)果計(jì)算得到目的權(quán)重向量a=[a1,...,al]t;利用步驟8中得到的最佳投影矩陣經(jīng)過(guò)l輪訓(xùn)練獲得投影矩陣集
前述方案針對(duì)的是原始數(shù)據(jù)可分的情況,針對(duì)原始數(shù)據(jù)非線性可分的情況,本發(fā)明進(jìn)一步提出了利用核方法的子空間集成學(xué)習(xí)算法,其原理是將原始空間中的數(shù)據(jù)變換到高維甚至是無(wú)窮維hilbert空間以使數(shù)據(jù)線性可分。該方法包括以下步驟:
步驟1:將二維圖像數(shù)據(jù)轉(zhuǎn)換為一維向量數(shù)據(jù);
步驟2:利用獲得的一維向量建立包含n個(gè)樣本的d維訓(xùn)練樣本集x;
步驟3:根據(jù)邊際fisher分析的原理構(gòu)造特征索引集t,令m=|t|表示集合t的基數(shù),初始權(quán)重值um=1/m;
步驟4:引入軟間隔線性規(guī)劃表達(dá)式將求解目的權(quán)重向量a的問(wèn)題轉(zhuǎn)換為形如lpboost算法的線性規(guī)劃表達(dá)式及其拉格朗日對(duì)偶的求解問(wèn)題;
步驟5:根據(jù)核方法的原理得到核gram矩陣k的表達(dá)式:kij=k(xi,xj)=φ(xi)·φ(xj),計(jì)算矩陣k的具體值;
步驟6:根據(jù)核方法的原理令投影矩陣vt=φat,其中φ=[φ(x1),φ(x2),...,φ(xn)],at是系數(shù)矩陣,從而將求解投影矩陣的問(wèn)題轉(zhuǎn)換為求解最優(yōu)系數(shù)矩陣的問(wèn)題;
步驟7:基于集合t以及對(duì)應(yīng)的權(quán)重值[um]構(gòu)造固有圖g={x,s}及懲罰圖gp={x,sp},其中x是頂點(diǎn)集,s及sp是對(duì)應(yīng)圖的相似矩陣;構(gòu)造對(duì)應(yīng)圖的相似矩陣s及sp;構(gòu)造對(duì)應(yīng)圖的對(duì)角矩陣d,dp,及拉普拉斯矩陣l,lp;
步驟8:利用步驟5中的表達(dá)式重寫(xiě)矩陣φt的表達(dá)式,將求解最優(yōu)系數(shù)矩陣at列向量的問(wèn)題轉(zhuǎn)換為求解n維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量的問(wèn)題;
步驟9:利用新的表達(dá)式通過(guò)拉格朗日對(duì)偶問(wèn)題更新權(quán)重值um的值;
步驟10:重復(fù)執(zhí)行步驟7,8,9進(jìn)行l(wèi)輪訓(xùn)練;
步驟11:利用l輪訓(xùn)練根據(jù)步驟4中的線性規(guī)劃表達(dá)式計(jì)算得到目的權(quán)重向量a=[a1,...,al]t;利用步驟7得到系數(shù)矩陣集
本發(fā)明具有以下有益效果:
本發(fā)明利用完全矯正boosting算法與集成學(xué)習(xí)的原理通過(guò)多次迭代得到多個(gè)不同權(quán)重分布的子空間,解決了現(xiàn)有技術(shù)在進(jìn)行數(shù)據(jù)降維與分類(lèi)時(shí)在有限訓(xùn)練集情況下難以得到最優(yōu)子空間的問(wèn)題,提升了特征提取的準(zhǔn)確率,從而提高了步態(tài)識(shí)別的識(shí)別性能。用usfhumanid數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行實(shí)驗(yàn),利用完全矯正boosting算法的子空間集成學(xué)習(xí)比單一的子空間學(xué)習(xí)算法識(shí)別率更高。
附圖說(shuō)明
圖1是本發(fā)明的基本算法流程圖;
圖2是對(duì)本發(fā)明基本算法進(jìn)行核方法拓展的算法流程圖。
具體實(shí)施方式
下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
如圖1所示為本發(fā)明的基本算法流程圖。本發(fā)明的完全矯正boosting和子空間集成學(xué)習(xí)算法的步態(tài)識(shí)別方法包括以下步驟:
步驟1:將二維圖像數(shù)據(jù)轉(zhuǎn)換為一維向量數(shù)據(jù)。
步驟2:利用獲得的一維向量建立包含n個(gè)樣本的d維訓(xùn)練樣本集x。
步驟3:根據(jù)marginfisheranalysis的原理構(gòu)造特征索引集t,令m=|t|表示集合t的基數(shù),初始權(quán)重值um=1/m。
步驟4:引入軟間隔線性規(guī)劃表達(dá)式將求解目的權(quán)重向量a的問(wèn)題轉(zhuǎn)換為形如lpboost算法的線性規(guī)劃表達(dá)式及其拉格朗日對(duì)偶的求解問(wèn)題。
步驟5:利用列生成算法的方式生成一個(gè)d維矩陣φt,將求解目的d×qt大小的投影矩陣vt的問(wèn)題轉(zhuǎn)換為求解該d維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量的問(wèn)題。
步驟6:基于集合t以及對(duì)應(yīng)的權(quán)重值[um]構(gòu)造固有圖g={x,s}及懲罰圖gp={x,sp},其中x是頂點(diǎn)集,s及sp是對(duì)應(yīng)圖的相似矩陣,其包括:
(1):構(gòu)造對(duì)應(yīng)圖的相似矩陣s及sp
(2):構(gòu)造對(duì)應(yīng)圖的對(duì)角矩陣d,dp,及拉普拉斯矩陣l,lp。
步驟7:利用上步獲得的矩陣化簡(jiǎn)矩陣φt的表達(dá)式,通過(guò)矩陣的左乘右乘運(yùn)算,將φt表示為一個(gè)n維矩陣ψt的運(yùn)算表達(dá)式,矩陣ψt的維度遠(yuǎn)小于矩陣φt的維度。
步驟8:通過(guò)求解n維矩陣ψt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量得到d維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量,即可求解ψl條件下對(duì)應(yīng)的最佳投影矩陣vl。
步驟9:根據(jù)拉格朗日對(duì)偶問(wèn)題的求解更新權(quán)重值um的值。
步驟10:重復(fù)執(zhí)行步驟6,7,8,9進(jìn)行l(wèi)輪訓(xùn)練。
步驟11:根據(jù)步驟4中的線性規(guī)劃表達(dá)式,利用l輪訓(xùn)練后的結(jié)果計(jì)算得到目的權(quán)重向量a=[a1,...,al]t;利用步驟8中得到的最佳投影矩陣經(jīng)過(guò)l輪訓(xùn)練獲得投影矩陣集
本發(fā)明結(jié)合圖嵌入框架,提出的用于步態(tài)識(shí)別當(dāng)中的全新的利用完全矯正boosting算法技術(shù)的子空間集成學(xué)習(xí)方法,實(shí)現(xiàn)了高分類(lèi)識(shí)別率的子空間集成學(xué)習(xí),以提高特征提取的準(zhǔn)確率,從而提高步態(tài)識(shí)別系統(tǒng)的整體性能。
上述方案針對(duì)的是原始數(shù)據(jù)可分的情況。對(duì)于原始數(shù)據(jù)非線性可分的情況,本發(fā)明進(jìn)一步提出了利用核方法的子空間集成學(xué)習(xí)算法,其流程圖如圖2所示,其原理是將原始空間中的數(shù)據(jù)變換到高維甚至是無(wú)窮維hilbert空間以使數(shù)據(jù)線性可分。以下詳細(xì)介紹該方法的具體實(shí)現(xiàn)步驟:
步驟1:將二維圖像數(shù)據(jù)轉(zhuǎn)換為一維向量數(shù)據(jù)。
步驟2:利用獲得的一維向量建立包含n個(gè)樣本的d維訓(xùn)練樣本集x。
步驟3:根據(jù)marginfisheranalysis的原理構(gòu)造特征索引集t,令m=|t|表示集合t的基數(shù),初始權(quán)重值um=1/m。
步驟4:引入軟間隔線性規(guī)劃表達(dá)式將求解目的權(quán)重向量a的問(wèn)題轉(zhuǎn)換為形如lpboost算法的線性規(guī)劃表達(dá)式及其拉格朗日對(duì)偶的求解問(wèn)題。
步驟5:根據(jù)核方法的原理得到核gram矩陣k的表達(dá)式:kij=k(xi,xj)=φ(xi)·φ(xj),計(jì)算矩陣k的具體值。
步驟6:根據(jù)核方法的原理令投影矩陣vt=φat,其中φ=[φ(x1),φ(x2),...,φ(xn)],at是系數(shù)矩陣,從而將求解投影矩陣的問(wèn)題轉(zhuǎn)換為求解最優(yōu)系數(shù)矩陣的問(wèn)題。
步驟7:基于集合t以及對(duì)應(yīng)的權(quán)重值[um]構(gòu)造固有圖g={x,s}及懲罰圖gp={x,sp},其中x是頂點(diǎn)集,s及sp是對(duì)應(yīng)圖的相似矩陣,其中包括:
(1):構(gòu)造對(duì)應(yīng)圖的相似矩陣s及sp。
(2):構(gòu)造對(duì)應(yīng)圖的對(duì)角矩陣d,dp,及拉普拉斯矩陣l,lp。
步驟8:利用步驟5中的表達(dá)式重寫(xiě)矩陣φt的表達(dá)式,將求解最優(yōu)系數(shù)矩陣at列向量的問(wèn)題轉(zhuǎn)換為求解n維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量的問(wèn)題。
步驟9:利用新的表達(dá)式通過(guò)拉格朗日對(duì)偶問(wèn)題更新權(quán)重值um的值。
步驟10:重復(fù)執(zhí)行步驟7,8,9進(jìn)行l(wèi)輪訓(xùn)練。
步驟11:利用l輪訓(xùn)練根據(jù)步驟4中的線性規(guī)劃表達(dá)式計(jì)算得到目的權(quán)重向量a=[a1,...,al]t;利用步驟7得到系數(shù)矩陣集
本發(fā)明的算法框架旨在求解權(quán)重向量a=[a1,...,al]t,及投影矩陣集
下面對(duì)本發(fā)明的具體實(shí)施進(jìn)行詳細(xì)說(shuō)明。
(一)將二維的圖像數(shù)據(jù)i進(jìn)行轉(zhuǎn)換,將其轉(zhuǎn)換為一維向量數(shù)據(jù)。利用這些數(shù)據(jù)構(gòu)造一個(gè)包含n個(gè)樣本的d維訓(xùn)練樣本集
(二)利用marginfisheranalysis篩選特征索引集t的元素,構(gòu)造特征索引集
基數(shù),定義權(quán)重值um=1/m。根據(jù)特征索引集t,權(quán)重向量及投影矩陣必須對(duì)t中任
意數(shù)據(jù)集滿(mǎn)足如下公式(1):
其中
(三)定義一個(gè)向量hm=[hmt],hmt對(duì)應(yīng)投影矩陣vt以及集合t中的第m個(gè)集(im,jm,km),表達(dá)式見(jiàn)公式(2):
(四)為了最終得到權(quán)重向量,采用如下的軟間隔線性規(guī)劃表達(dá)式:
其中ζm為引入的松弛變量,d為懲罰因子且
利用kkt條件進(jìn)行簡(jiǎn)化得到如下表達(dá)式:
(五)利用列生成算法將投影矩陣vt的計(jì)算問(wèn)題轉(zhuǎn)化為如下形式的子問(wèn)題求解:
通過(guò)簡(jiǎn)單的矩陣運(yùn)算,得到表達(dá)式(6)的目標(biāo)函數(shù):
tr()表示矩陣的求跡運(yùn)算。定義一個(gè)d×d大小的矩陣φt:
根據(jù)表達(dá)式(8),求解最優(yōu)投影矩陣vt的問(wèn)題轉(zhuǎn)化為求解矩陣d維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量的問(wèn)題,矩陣vt的列向量即為矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量。
(六)基于集合t和對(duì)應(yīng)的權(quán)重值u構(gòu)造兩個(gè)有向加權(quán)圖:固有圖g={x,s},懲罰圖g={x,sp},其中x是頂點(diǎn)集,s是固有圖的d×d維的相似矩陣,sp是懲罰圖的n×n維的相似矩陣,分別定義兩個(gè)相似矩陣中的元素如下:
分別定義固有圖及懲罰圖的對(duì)角矩陣和拉普拉斯矩陣d,dp,l,lp如下:
其中
(七)根據(jù)(六)中的表達(dá)式,可將矩陣φt重新寫(xiě)為如下表達(dá)式:
當(dāng)矩陣φt的維度d較大時(shí),無(wú)法直接求解其特征值,因此定義一個(gè)n維的矩陣ψt,n遠(yuǎn)小于d,ψt=(lp-fl)xtx,同時(shí)令矩陣ψt滿(mǎn)足如下表達(dá)式:
ψtv=(lp-fl)xtxv=λv(13)
在該表達(dá)式的兩端同時(shí)左乘矩陣x,得到如下表達(dá)式:
因此通過(guò)求解n維矩陣ψt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量即可得到d維矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量,從而計(jì)算出投影矩陣。
(八)利用計(jì)算出的投影矩陣通過(guò)表達(dá)式(2)計(jì)算對(duì)應(yīng)的hmt,將hmt代入表達(dá)式(5)的對(duì)偶問(wèn)題中,利用原對(duì)偶內(nèi)點(diǎn)算法更新權(quán)重值um。
(九)重復(fù)執(zhí)行步驟(六)(七)(八)進(jìn)行l(wèi)輪訓(xùn)練。
(十)經(jīng)l輪訓(xùn)練后利用表達(dá)式(3)計(jì)算目的權(quán)重向量a=[a1,...,al]t,利用表達(dá)式(14)得到投影矩陣
對(duì)于原始數(shù)據(jù)線性可分的情況利用上述步驟即可實(shí)現(xiàn)對(duì)權(quán)重向量a及投影矩陣vt的求解,對(duì)于原始數(shù)據(jù)非線性可分的情況本發(fā)明引入核方法拓展的算法,核方法的具體執(zhí)行步驟如下:
(十一)對(duì)于利用核方法的子空間集成學(xué)習(xí)框架,引入n維核gram矩陣k,kij=k(xi,xj)=φ(xi)·φ(xj)。引入d×n矩陣φ,φ=[φ(x1),φ(x2),...,φ(xn)]。則投影矩陣vt可表示為φ中元素的線性組合:vt=φat(15)。
(十二)執(zhí)行上述步驟(一)(二),同時(shí)計(jì)算核gram矩陣k。
(十三)執(zhí)行上述步驟(六),生成固有圖和懲罰圖及相關(guān)矩陣。
(十四)將表達(dá)式(15)代入表達(dá)式(2)中,可得到新的hmt的表達(dá)式:
其中k.i表示矩陣k的第i列列向量。根據(jù)表達(dá)式(15)目標(biāo)函數(shù)表達(dá)式(7)可以重新寫(xiě)成包含矩陣at與矩陣k的形式:
因此表達(dá)式(12)中的矩陣φt可以重新寫(xiě)為如下形式:
φt=(lp-fl)k(18)
則可通過(guò)求解n維矩陣φt的特征向量來(lái)求解系數(shù)矩陣at,矩陣φt的前qt個(gè)最大特征值對(duì)應(yīng)的特征向量即為最優(yōu)系數(shù)矩陣at的列向量。
(十五)根據(jù)表達(dá)式(16)計(jì)算hmt的值,然后將其代入表達(dá)式(5)的對(duì)偶問(wèn)題中,利用原對(duì)偶內(nèi)點(diǎn)算法更新權(quán)重值um。
(十六)重復(fù)執(zhí)行步驟(十三)(十四)(十五)進(jìn)行l(wèi)輪訓(xùn)練。
(十七)經(jīng)l輪訓(xùn)練后利用表達(dá)式(3)計(jì)算目的權(quán)重向量a=[a1,...,al]t,利用表達(dá)式(18)得到系數(shù)矩陣集
本發(fā)明利用完全矯正boosting算法與集成學(xué)習(xí)的原理通過(guò)多次迭代得到多個(gè)不同權(quán)重分布的子空間,解決了現(xiàn)有技術(shù)在進(jìn)行數(shù)據(jù)降維與分類(lèi)時(shí)在有限訓(xùn)練集情況下難以得到最優(yōu)子空間的問(wèn)題,提升了特征提取的準(zhǔn)確率,從而提高了步態(tài)識(shí)別的識(shí)別性能。用usfhumanid數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行實(shí)驗(yàn),利用完全矯正boosting算法的子空間集成學(xué)習(xí)比單一的子空間學(xué)習(xí)算法識(shí)別率更高,同時(shí)該子空間集成學(xué)習(xí)的核化版本比原始版本的識(shí)別率更高。
需要注意的是,上述具體實(shí)施例是示例性的,本領(lǐng)域技術(shù)人員可以在本發(fā)明公開(kāi)內(nèi)容的啟發(fā)下想出各種解決方案,而這些解決方案也都屬于本發(fā)明的公開(kāi)范圍并落入本發(fā)明的保護(hù)范圍之內(nèi)。本領(lǐng)域技術(shù)人員應(yīng)該明白,本發(fā)明說(shuō)明書(shū)及其附圖均為說(shuō)明性而并非構(gòu)成對(duì)權(quán)利要求的限制。本發(fā)明的保護(hù)范圍由權(quán)利要求及其等同物限定。