一種結(jié)合旋轉(zhuǎn)不變性特征的單張圖片人體姿態(tài)估計(jì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計(jì)算機(jī)物體識(shí)別領(lǐng)域。
【背景技術(shù)】
[0002] 從圖像或視頻中對(duì)人體姿態(tài)進(jìn)行估計(jì)為機(jī)器理解人類非語(yǔ)言活動(dòng)提供了一種有 效的途徑，其不僅對(duì)學(xué)習(xí)人類如何感知、學(xué)習(xí)、行為具有較高的科學(xué)價(jià)值，且對(duì)人類的社會(huì) 活動(dòng)及關(guān)系分析具有深遠(yuǎn)的意義?；趫D像及視頻進(jìn)行人體姿態(tài)估計(jì)，進(jìn)而對(duì)人體運(yùn)動(dòng)、行 為進(jìn)行分析已被廣泛應(yīng)用于人機(jī)交互、智能監(jiān)控、影視制作、醫(yī)學(xué)療理等領(lǐng)域。
[0003] 然而，由于人體結(jié)構(gòu)和運(yùn)動(dòng)本身的復(fù)雜性，同時(shí)，基于單目圖像中的三維信息丟 失、人體外觀服飾不一、自遮擋、人體胖瘦等原因，尚存在識(shí)別準(zhǔn)確度低、姿態(tài)估計(jì)不準(zhǔn)確等 很多問(wèn)題。當(dāng)前基于普通單目圖像進(jìn)行人體姿態(tài)估計(jì)方法主要分為兩大類：基于模型的方 法和基于非模型的方法。
[0004] 其中基于模型的方法使用先知的人體知識(shí)對(duì)人體姿態(tài)進(jìn)行估計(jì)，其過(guò)程包括建模 和估值兩個(gè)步驟，建模過(guò)程需要依據(jù)相機(jī)視點(diǎn)模型、圖像描述符、人體結(jié)構(gòu)模型、匹配函數(shù) 和人體約束等信息構(gòu)造似然函數(shù)，估值過(guò)程則根據(jù)似然函數(shù)找到最大可能性的人體姿態(tài)。
[0005] 相比基于模型的方法，非模型的方法沒(méi)有使用已知的人體模型，而是直接建立圖 像信息和人體姿態(tài)間的關(guān)系。主要包括基于學(xué)習(xí)的方法和基于樣例的方法?；趯W(xué)習(xí)的方 法通常從訓(xùn)練數(shù)據(jù)中直接構(gòu)建從圖像空間到姿態(tài)空間的映射函數(shù)。而基于樣例的方法在避 免此類映射的同時(shí)通過(guò)收集樣本以及相應(yīng)的姿態(tài)描述符建立數(shù)據(jù)庫(kù)，在給定輸入圖像的情 況下在數(shù)據(jù)庫(kù)中進(jìn)行相似性搜索并通過(guò)對(duì)候選姿態(tài)插值獲取姿態(tài)估計(jì)結(jié)果。非模型方法在 處理某類特定運(yùn)動(dòng)（如行走，跑步等）時(shí)具有較高的效率和準(zhǔn)確性，并且由于該模型不需要 進(jìn)行初始化，從而無(wú)需處理初始化問(wèn)題，因而其結(jié)果可以被用在基于模型的方法的初始化 步驟中。然而，非模型的方法過(guò)于依賴背景提取等預(yù)處理過(guò)程的效果，且對(duì)于運(yùn)動(dòng)姿態(tài)的泛 化能力弱，在存在多樣化運(yùn)動(dòng)的復(fù)雜場(chǎng)景中存在局限和不足。
[0006] 作為目前主要的研究方法，基于模型的方法因?yàn)槠鋸娜藗兊南闰?yàn)知識(shí)中學(xué)習(xí)從而 對(duì)人體姿態(tài)進(jìn)行估計(jì)，通過(guò)考慮人體表象信息及結(jié)構(gòu)、視點(diǎn)信息和人體運(yùn)動(dòng)相關(guān)性來(lái)降低 搜索空間，得到廣泛應(yīng)用。其大多數(shù)基于HOG特征進(jìn)行人體部件特征描述，使用圖案結(jié)構(gòu)模 型（Pictorial Structure Model，PSM)對(duì)部件間關(guān)系進(jìn)行構(gòu)建，然而由于人體姿態(tài)復(fù)雜多 樣，部件可能以任意角度出現(xiàn)，傳統(tǒng)的使用非旋轉(zhuǎn)不變特征一一HOG特征對(duì)人體部件進(jìn)行描 述不能有效地編碼部件在不同角度下的相似性，因此，本發(fā)明目的是引入旋轉(zhuǎn)不變性特征 對(duì)人體部件進(jìn)行描述，同時(shí)結(jié)合傳統(tǒng)的柔性混合模型進(jìn)行人體姿態(tài)估計(jì)。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的：引入旋轉(zhuǎn)不變性特征對(duì)人體部件進(jìn)行描述，增加其對(duì)人體部件物 體的描述能力，從而應(yīng)用到人體姿態(tài)估計(jì)當(dāng)中。
[0008] 為了達(dá)到上述目的，本發(fā)明提出了 一種結(jié)合旋轉(zhuǎn)不變性特征的單張圖片人體 姿態(tài)估計(jì)方法，該方法能同時(shí)結(jié)合HOG特征對(duì)局部非旋轉(zhuǎn)屬性的描述能力，同時(shí)結(jié)合 FourierHOG對(duì)相同部件旋轉(zhuǎn)不變屬性進(jìn)行描述，從而構(gòu)建出一個(gè)人體姿態(tài)估計(jì)模型，完成 單張圖像的人體姿態(tài)估計(jì)任務(wù)。
[0009] -種結(jié)合旋轉(zhuǎn)不變性特征的單張圖片人體姿態(tài)估計(jì)方法，其特征在于包括以下步 驟：
[0010] 步驟（1)、對(duì)旋轉(zhuǎn)圖像進(jìn)行分析，構(gòu)建基于傅里葉分析的旋轉(zhuǎn)不變性特征，并結(jié)合 HOG特征構(gòu)建人體部件表象模型；
[0011] 步驟（2)、結(jié)合人體部件的混合類型及位置標(biāo)注，構(gòu)建基于姿態(tài)先驗(yàn)的人體形變模 型一一柔性混合模型，對(duì)人體部件間約束進(jìn)行描述；
[0012] 步驟（3)、在單張圖像的人體姿態(tài)估計(jì)應(yīng)用中，根據(jù)步驟（1)中圖像特征的表象模 型和步驟（2)中的姿態(tài)先驗(yàn)形變模型估計(jì)當(dāng)前輸入圖像的表象評(píng)分，并以該評(píng)分結(jié)果為指 導(dǎo)進(jìn)行人體二維姿態(tài)估計(jì)。
【附圖說(shuō)明】
[0013] 圖1為本發(fā)明的結(jié)合旋轉(zhuǎn)不變性特征的單張圖片人體姿態(tài)估計(jì)方法的整體過(guò)程 示意圖。
【具體實(shí)施方式】
[0014] 下面結(jié)合附圖與表對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述：
[0015] 本發(fā)明實(shí)施過(guò)程包括三個(gè)步驟：人體部件表象模型的構(gòu)建，人體形變模型的構(gòu)建 與訓(xùn)練，人體姿態(tài)估計(jì)過(guò)程中基于表象模型及人體形變模型的姿態(tài)估計(jì)。圖1展示了本發(fā) 明的整體過(guò)程示意圖。
[0016] 步驟一：建立人體部件表象模型：
[0017] 第一階段：計(jì)算圖像梯度并進(jìn)行局部歸一化處理，然后將其映射到傅里葉空間，公 式如下：
[0019] 其中D(X)為圖像I的梯度，SP D(X) =▽ I，I |D(X) I I為圖像梯度幅值，K為一個(gè) 平滑卷積核；
[0020] Fni(X) = IlD(X)IIe1m0aiw)
[0021] 將前面得到的歸一化梯度映射到傅里葉空間，其中Φ (D(x))為圖像梯度方向，m 我們選擇傅里葉空間前7個(gè)域m e {〇, 1，2, 3, 4, 5, 6}，其中Fni(X)維度為IslzexX Islzey*7, Islzex及iSiZf3y為圖像I在X和y方向的大小。
[0022] 第二階段：分別針對(duì)每個(gè)傅里葉空間計(jì)算區(qū)域旋轉(zhuǎn)不變性特征，對(duì)每個(gè)（Al)中得 至_傅里葉空間域內(nèi)的梯度信息計(jì)算圖像的區(qū)域特征：
[0023] B1=Ujik^Fn
[0024] 其中Uj, k為傅里葉基底函數(shù)，其中0%妁=外~，r為構(gòu)建傅里葉基函 數(shù)的徑向距離，供為相對(duì)于中心的角度，j表示傅里葉基底函數(shù)的第j個(gè)半徑，而k表示 基底函數(shù)的第k個(gè)角度，其中j對(duì)應(yīng)三個(gè)不同尺度下的傅里葉基底函數(shù)，各尺度間的相隔 半徑為9個(gè)像素。在卷積過(guò)程中，取-6彡k-m彡6,其組合數(shù)為64種，從而得到B大小為 ISizeJix ISizey*64*3。
[0025] 第三階段：根據(jù)圖像梯度在不同傅里葉基函數(shù)下的卷積結(jié)果，可將圖像中每點(diǎn)的 區(qū)域特征分為實(shí)數(shù)部分及虛數(shù)部分，對(duì)區(qū)域特征實(shí)數(shù)部分和虛數(shù)部分分別取實(shí)數(shù)值，從而 構(gòu)建出對(duì)于圖像I中每個(gè)像素點(diǎn)區(qū)域的旋轉(zhuǎn)不變性特征，大小為IslzexXIslzey*384,名為 FourierHOG 特征；
[0026] 第四階段：對(duì)圖像同時(shí)計(jì)算HOG特征，將前面的FourierHOG與HOG特征連接成一 個(gè)特征向量，使整個(gè)特征向量既包含對(duì)圖像非旋轉(zhuǎn)屬性的描述，又包括旋轉(zhuǎn)不變性屬性的 描述，使圖像特征對(duì)人體部件具有較好的表征能力，從而構(gòu)建出人體部件表象模型。
[0027] 步驟二：定義人體姿態(tài)能量函數(shù)，構(gòu)造出人體形變模型：
[0028] 第一階段：針對(duì)部件共現(xiàn)模型構(gòu)建部件布局能量函數(shù)：
[0030] 其中摩為部件i對(duì)應(yīng)的類型t下的能量值，而部件間的能量值表示為兩個(gè)部件i 和j共現(xiàn)情況下的能量值' V及E代表人體部件間的關(guān)系，即G= (V，E)，代表人體是 ij^E 由多個(gè)關(guān)節(jié)點(diǎn)組成的樹(shù)狀圖，也用其來(lái)表示部件之間的約束關(guān)系。
[0031] 第二階段：建立完部件間