1.一種基于雙特征融合的微表情識(shí)別方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,所述微表情數(shù)據(jù)包括表情發(fā)生幀和峰值幀。
3.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s1中,用于訓(xùn)練的微表情數(shù)據(jù)包括一段完整的包含n-1幀的微表情視頻,定義為,有效的微表情數(shù)據(jù)為:,其中為視頻的第一幀,為表情的發(fā)生幀,為表情峰值幀,為視頻的最后一幀。
4.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s2中,所述微表情圖像特征提取器包含多個(gè)單層殘差卷積操作,將有效的微表情數(shù)據(jù)作為特征提取器的輸入獲取單幀特征用于后續(xù)的特征學(xué)習(xí);其中為表情的發(fā)生幀、為表情峰值幀;
5.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s3中,獲取表情發(fā)生幀特征與峰值幀特征之間的梯度特征,具體為:
6.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s4中,獲取表情發(fā)生幀與峰值幀之間的運(yùn)動(dòng)特征,具體為:
7.根據(jù)權(quán)利要求6所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s41中,利用特征提取器獲得的圖像原始特征從不同的角度補(bǔ)充整體特征。
8.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s5中,獲取以可學(xué)習(xí)參數(shù)加權(quán)融合后的梯度特征和運(yùn)動(dòng)特征,作為完整的微表情特征,計(jì)算公式為:
9.根據(jù)權(quán)利要求1所述的一種基于雙特征融合的微表情識(shí)別方法,其特征在于,步驟s5中,聯(lián)合目標(biāo)損失函數(shù)包括梯度特征的標(biāo)準(zhǔn)交叉熵?fù)p失、運(yùn)動(dòng)特征的標(biāo)準(zhǔn)交叉熵?fù)p失和正交性約束損失,其中梯度特征的標(biāo)準(zhǔn)交叉熵?fù)p失、運(yùn)動(dòng)特征的標(biāo)準(zhǔn)交叉熵?fù)p失分別對(duì)應(yīng)兩個(gè)結(jié)構(gòu)相同但不共享權(quán)重的分類器的分類;
10.實(shí)現(xiàn)權(quán)利要求1~9任一項(xiàng)所述的一種基于雙特征融合的微表情識(shí)別方法的系統(tǒng),其特征在于,包括: