技術(shù)特征：

1.一種復(fù)合時(shí)空特征的雙模態(tài)視頻情感識別方法，其特征是按如下步驟進(jìn)行：

步驟1、對人臉表情與上身姿態(tài)數(shù)據(jù)庫中已知情感類別的Q個(gè)情感視頻進(jìn)行預(yù)處理

步驟1.1、獲得任意第q個(gè)情感視頻的每一幀圖像，并進(jìn)行歸一化處理和直方圖均衡化處理，從而得到像素為L₁×W₁的第i個(gè)上身姿態(tài)圖像集，從而獲得包含Q個(gè)上身姿態(tài)圖像集的集合；1≤q≤Q；

步驟1.2、利用Haar-like小波特征和積分圖方法對所述第q個(gè)上身姿態(tài)圖像集中的每一幅圖像進(jìn)行人臉區(qū)域檢測，并對檢測到的人臉區(qū)域采用雙向灰度積分投影法進(jìn)行眼睛定位，再對定位后的人臉區(qū)域進(jìn)行歸一化處理和直方圖均衡化處理，從而獲得像素為L₂×W₂的第q個(gè)人臉表情圖像集；從而獲得包含Q個(gè)人臉表情圖像集的集合；

步驟1.3、利用k-means聚類算法將所述第q個(gè)上身姿態(tài)圖像集中的所有圖像聚為k類，分別選取k類的k幅中心圖像組成第q個(gè)上身姿態(tài)圖像序列，從而獲得包含Q個(gè)上身姿態(tài)圖像序列的集合；k≥3；

利用k-means聚類算法將所述第q個(gè)人臉表情圖像集中的所有圖像聚為k類，分別選取k類的k幅中心圖像組成第q個(gè)人臉表情圖像序列，從而獲得包含Q個(gè)人臉表情圖像序列的集合；

步驟1.4、以所述第q個(gè)上身姿態(tài)圖像序列作為第q個(gè)上身姿態(tài)樣本，以包含Q個(gè)上身姿態(tài)圖像序列的集合作為上身姿態(tài)樣本集；

以所述第q個(gè)人臉表情圖像序列作為第q個(gè)人臉表情樣本，以包含Q個(gè)人臉表情圖像序列的集合作為人臉表情樣本集；

從所述上身姿態(tài)樣本集中選取N個(gè)上身姿態(tài)樣本作為上身姿態(tài)訓(xùn)練集；剩余Q-N作為上身姿態(tài)測試集；1＜N＜Q；

從所述人臉表情樣本集中選取N個(gè)上身姿態(tài)樣本作為人臉表情訓(xùn)練集；剩余Q-N作為人臉表情測試集；

步驟2、時(shí)空局部三值模式矩的特征提取

步驟2.1、以所述上身姿態(tài)測試集和所述人臉表情測試集中的任意一個(gè)包含k幅中心圖像的樣本作為一個(gè)時(shí)空體；

將所述時(shí)空體中的每一幅中心圖像進(jìn)行相同大小的均勻分塊，得到W個(gè)分塊；并將每一幅中心圖像的相同位置上的分塊組成包含k個(gè)分塊的子時(shí)空體，從而W個(gè)子時(shí)空體；

步驟2.2、計(jì)算任意一個(gè)子時(shí)空體中第t個(gè)分塊的中心像素值g_t(i,j)的能量值E_ASM，從而獲得任意一個(gè)子時(shí)空體的第t個(gè)分塊的所有中心像素值的能量值；進(jìn)而獲得所有子時(shí)空體的所有分塊的所有中心像素值的能量值，i＝1,2,…,L₁或i＝1,2,…,L₂；j＝1,2,…,W₁或j＝1,2,…,W₂；t＝2,3,…,k-1；

步驟2.2.1、以中心像素值g_t(i,j)為中心的p鄰域窗口及第t-1個(gè)和第t+1個(gè)分塊的像素窗口構(gòu)成p鄰域像素值向量0≤p≤7；

步驟2.2.2、利用式(1)計(jì)算第m個(gè)分塊上的p鄰域窗口中第n個(gè)鄰域的像素值與中心像素值g_t(i,j)之間的對比度值

${\mathrm{\Δg}}_m^n=g_m^n-g_t(i,j)---\left(1\right)$

式(1)中，表示第m個(gè)分塊上的p鄰域窗口的第n個(gè)鄰域的像素值；n＝0,1,…,p-1；m＝t-1,t,t+1；

步驟2.2.3、統(tǒng)計(jì)中心像素值g_t(i,j)的對比度值，并利用式(2)求取均值

$\stackrel{\‾}{\mathrm{\Δ}g}=\left({\mathrm{\Σ}}_{n=0}^{p-1}{\mathrm{\Σ}}_{m=t-1}^{t+1}{\mathrm{\Δg}}_m^n\right)/3p---\left(2\right)$

步驟2.2.4、利用式(3)計(jì)算方差S：

$S=\left({\mathrm{\Σ}}_{n=0}^{p-1}{\mathrm{\Σ}}_{m=t-1}^{t+1}{\left({\mathrm{\Δg}}_m^n-\stackrel{\‾}{\mathrm{\Δ}g})\right)}^2\right)/3p---\left(3\right)$

步驟2.2.5、利用式(4)近似估計(jì)閾值ε：

$\mathrm{\ϵ}=\sqrt{S}---\left(4\right)$

步驟2.2.6、利用式(5)將所述p鄰域像素值向量T進(jìn)行二值化處理，獲得像素二值向量：

$V=\left(\begin{array}{c}s\left(g_{t-1}^0-g_t\left(i,j\right)\right),s\left(g_{t-1}^1-g_t\left(i,j\right)\right),\mathrm{...}s\left(g_{t-1}^{p-1}-g_t\left(i,j\right)\right),s\left(g_t^0-g_t\left(i,j\right)\right),\\ \mathrm{...},s(g_t^{p-1}-g_t(i,j),s\left(g_{t+1}^0-g_t\left(i,j\right)\right),s\left(g_{t+1}^1-g_t\left(i,j\right)\right),\mathrm{...}s\left(g_{t+1}^{p-1}-g_t\left(i,j\right)\right)\end{array}\right)---\left(5\right)$

式(5)中，s(x)表示自變量為x的三值化函數(shù)，并有：

$s\left(x\right)=\left\{\begin{array}{cc}1& x\≥\mathrm{\ϵ}\\ 0& \left|x\right|\<\mathrm{\ϵ}\\ -1& x\≤-\mathrm{\ϵ}\end{array}\right.---\left(6\right)$

步驟2.2.7、利用式(7)將所述像素二值向量V表示成一個(gè)3×p矩陣M：

$M=\left[\begin{array}{cccc}s\left(g_{t-1}^0-g_t\left(i,j\right)\right)& s\left(g_{t-1}^1-g_t\left(i,j\right)\right)& ...& s\left(g_{t-1}^{p-1}-g_t\left(i,j\right)\right)\\ s\left(g_t^0-g_t\left(i,j\right)\right)& s\left(g_t^1-g_t\left(i,j\right)\right)& ...& s\left(g_t^{p-1}-g_t\left(i,j\right)\right)\\ s\left(g_{t+1}^0-g_t\left(i,j\right)\right)& s\left(g_{t+1}^1-g_t\left(i,j\right)\right)& ...& s\left(g_{t+1}^{p-1}-g_t\left(i,j\right)\right)\end{array}\right]---\left(7\right)$

步驟2.2.8、對所述矩陣M縱向統(tǒng)計(jì)字符的跳變次數(shù)，得到矩陣M的灰度共生矩陣其中，a_u,v表示從u跳變到v的次數(shù)；u,v＝{-1,0,1}；

步驟2.2.9、利用式(8)計(jì)算能量表達(dá)式E_ASM：

$E_{ASM}={\mathrm{\Σ}}_{u=-1}^1{\mathrm{\Σ}}_{v=-1}^1{\left(a_{u,v}\right)}^2---\left(8\right)$

步驟2.3、獲得所述時(shí)空體的TSLTPM直方圖特征；

步驟2.3.1、定義內(nèi)循環(huán)變量w，初始化t＝2；

步驟2.3.2、初始化w＝1；

步驟2.3.3、對第w個(gè)子時(shí)空體的第t分塊的中心像素值的能量值按升序進(jìn)行排序，并對排序后的每一種能量值的個(gè)數(shù)進(jìn)行統(tǒng)計(jì)，從而獲得第w個(gè)子時(shí)空體中第t個(gè)分塊的TSLTPM直方圖特征；

步驟2.3.4、判斷w＝1是否成立，若成立，則將w+1賦值給w后，返回步驟2.3.3執(zhí)行，否則，將第w個(gè)子時(shí)空體的第t個(gè)分塊的TSLTPM直方圖特征與第w-1個(gè)子時(shí)空體的第t個(gè)分塊的TSLTPM直方圖特征進(jìn)行級聯(lián)后，再執(zhí)行步驟2.3.5；

步驟2.3.5、將w+1賦值給w后，判斷w＞W(wǎng)是否成立，若成立，執(zhí)行步驟2.3.6；否則，返回步驟2.3.3；

步驟2.3.6、將t+1賦值給t后，判斷t＞k-1是否成立，若成立，則執(zhí)行步驟2.3.7；否則，返回步驟2.3.2；

步驟2.3.7、判斷t＝2是否成立，若成立，則將t+1賦值給t后，返回步驟2.3.2執(zhí)行，否則，將W個(gè)子時(shí)空體的第t個(gè)分塊的TSLTPM直方圖特征與W個(gè)子時(shí)空體的第t-1個(gè)分塊的TSLTPM直方圖特征進(jìn)行級聯(lián)后，再執(zhí)行步驟2.3.8；

步驟2.3.8、將t+1賦值給t后，判斷t＞k-1是否成立，若成立，執(zhí)行步驟2.4；否則，返回步驟2.3.2；

步驟2.4、重復(fù)步驟2.1～步驟2.3，從而獲得所述上身姿態(tài)樣本集和所述人臉表情樣本集中所有樣本的TSLTPM直方圖特征；

步驟3、三維梯度方向直方圖的特征提??；

步驟3.1、計(jì)算任意一個(gè)子時(shí)空體中第t個(gè)分塊的中心像素點(diǎn)的灰度值g(i,j,t)的HOG特征值，從而獲得任意一個(gè)子時(shí)空體的第t個(gè)分塊的所有中心像素點(diǎn)的灰度值的HOG特征值；進(jìn)而獲得所有子時(shí)空體的所有分塊的所有中心像素點(diǎn)的灰度值的HOG特征值；

步驟3.1.1、計(jì)算任意一個(gè)子時(shí)空體中第t個(gè)分塊的中心像素點(diǎn)的灰度值g(i,j,t)g(i,j,t)的梯度值；

步驟3.1.2、計(jì)算中心像素點(diǎn)的灰度值g(i,j,t)的梯度幅值；

步驟3.1.3、計(jì)算中心像素點(diǎn)的灰度值g(i,j,t)的梯度方向；

步驟3.2、獲得所述時(shí)空體的3DHOG直方圖特征；

步驟3.2.1、將[0,360°]平均劃分為N個(gè)方向，并初始化t＝2；

步驟3.2.2、初始化w＝1；

步驟3.2.3、按照N×3個(gè)方向量化區(qū)間對第w個(gè)子時(shí)空體的第t分塊的中心像素點(diǎn)的灰度值g(i,j,t)的梯度幅值進(jìn)行投票統(tǒng)計(jì)，從而得到第w個(gè)子時(shí)空體中第t個(gè)分塊的3DHOG直方圖特征；

步驟3.2.4、判斷w＝1是否成立，若成立，則將w+1賦值給w后，返回步驟3.2.3執(zhí)行，否則，將第w個(gè)子時(shí)空體的第t個(gè)分塊的3DHOG直方圖特征與第w-1個(gè)子時(shí)空體的第t個(gè)分塊的3DHOG直方圖特征進(jìn)行級聯(lián)后，再執(zhí)行步驟3.2.5；

步驟3.2.5；將w+1賦值給w后，判斷w＞W(wǎng)是否成立，若成立，執(zhí)行步驟3.2.6；否則，返回步驟3.2.3；

步驟3.2.6、將t+1賦值給t后，判斷t＞k-1是否成立，若成立，則執(zhí)行步驟3.2.7；否則，返回步驟3.2.2；

步驟3.2.7、判斷t＝2是否成立，若成立，則將t+1賦值給t后，返回步驟3.2.2執(zhí)行，否則，將W個(gè)子時(shí)空體的第t個(gè)分塊的3DHOG直方圖特征與W個(gè)子時(shí)空體的第t-1個(gè)分塊的3DHOG直方圖特征進(jìn)行級聯(lián)后，再執(zhí)行步驟3.2.8；

步驟3.2.8、將t+1賦值給t后，判斷t＞k-1是否成立，若成立，執(zhí)行步驟3.3；否則，返回步驟3.2.2；

步驟3.3、重復(fù)步驟3.1和步驟3.2，從而獲得所述上身姿態(tài)樣本集和所述人臉表情樣本集中所有樣本的3DHOG直方圖特征；

步驟4、上身姿態(tài)復(fù)合時(shí)空特征集和人臉表情復(fù)合時(shí)空特征集的構(gòu)造；

步驟4.1、將所述上身姿態(tài)樣本集中的任一樣本的TSLTPM直方圖特征和3DHOG直方圖特征進(jìn)行級聯(lián)，從而構(gòu)成相應(yīng)樣本的上身姿態(tài)復(fù)合時(shí)空特征；進(jìn)而獲得上身姿態(tài)復(fù)合時(shí)空特征集；

步驟4.2、將所述人臉表情樣本集中的任一樣本的TSLTPM直方圖特征和3DHOG直方圖特征進(jìn)行級聯(lián)，從而構(gòu)成相應(yīng)樣本的人臉表情復(fù)合時(shí)空特征；進(jìn)而獲得人臉表情復(fù)合時(shí)空特征集；

步驟5、使用D-S證據(jù)理論判決規(guī)則對復(fù)合時(shí)空特征測試集進(jìn)行分類；

步驟5.1、計(jì)算所述上身姿態(tài)復(fù)合時(shí)空特征測試集中任意一個(gè)測試樣本的上身姿態(tài)復(fù)合時(shí)空特征與所述上身姿態(tài)復(fù)合時(shí)空特征訓(xùn)練集中每一個(gè)訓(xùn)練樣本的上身姿態(tài)復(fù)合時(shí)空特征的歐式距離；從而獲得每一類情感類別的上身姿態(tài)最小歐式距離；

步驟5.2、對每一類情感類別的上身姿態(tài)最小歐式距離進(jìn)行歸一化處理，得到歸一化后的上身姿態(tài)最小歐式距離；

步驟5.3、將每一類情感類別的歸一化后的上身姿態(tài)最小歐式距離作為每一類情感類別的上身姿態(tài)基本概率分配值；

步驟5.4、重復(fù)步驟5.1～步驟5.3，同樣獲得每一類情感類別的人臉表情基本概率分配值；

步驟5.5、將所有情感類別的上身姿態(tài)基本概率分配值和人臉表情基本概率分配值用D-S證據(jù)理論進(jìn)行融合，得到融合后的每一類情感類別的基本概率分配函數(shù)值；

步驟5.6、選取最大基本概率分配函數(shù)值所對應(yīng)的情感類別作為測試樣本的情感類別。