技術(shù)特征：

1.一種基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，包括以下步驟：

S1：建立兩級(jí)分類(lèi)模式的情感認(rèn)知架構(gòu)，其中第一級(jí)分類(lèi)模式為情感認(rèn)知粗分類(lèi)，第二級(jí)分類(lèi)模式為情感認(rèn)知細(xì)分類(lèi)，同時(shí)通過(guò)大量圖像的脫機(jī)訓(xùn)練建立對(duì)應(yīng)情感認(rèn)知粗分類(lèi)的人體軀干運(yùn)動(dòng)特征庫(kù)以及對(duì)應(yīng)情感認(rèn)知細(xì)分類(lèi)的人臉表情特征庫(kù)；

S2：對(duì)視頻輸入的自然姿態(tài)人體圖像進(jìn)行人體區(qū)域檢測(cè)，并將檢測(cè)到的人體區(qū)域分為人臉子區(qū)域和人體軀干子區(qū)域；

S3：對(duì)步驟S2獲取的人體軀干子區(qū)域的圖像進(jìn)行特征點(diǎn)提取，并根據(jù)不同時(shí)刻各幀圖像內(nèi)的特征點(diǎn)獲取特征點(diǎn)運(yùn)動(dòng)軌跡，采用聚類(lèi)方法由特征點(diǎn)運(yùn)動(dòng)軌跡獲取反映人體行為的主運(yùn)動(dòng)軌跡，從主運(yùn)動(dòng)軌跡中提取出人體軀干運(yùn)動(dòng)特征；

S4：將步驟S3獲取的人體軀干運(yùn)動(dòng)特征與步驟S1獲取的人體軀干運(yùn)動(dòng)特征庫(kù)相匹配，獲得情感認(rèn)知粗分類(lèi)結(jié)果；

S5：對(duì)步驟S2獲取的人臉子區(qū)域的圖像進(jìn)行人臉表情特征提??；

S6：以步驟S4獲取的情感認(rèn)知粗分類(lèi)結(jié)果為基礎(chǔ)，從步驟S1獲取的人臉表情特征庫(kù)查找與步驟S5獲取的人臉表情特征相匹配的人臉表情特征，輸出對(duì)應(yīng)查找出的人臉表情特征的情感認(rèn)知細(xì)分類(lèi)結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，所述情感認(rèn)知粗分類(lèi)分為：興奮情緒、低落情緒、不確定情緒；

所述情感認(rèn)知細(xì)分類(lèi)分為高興、驚訝、傷心、恐懼、生氣、厭惡；

在情感認(rèn)知粗分類(lèi)中，將高興和驚訝劃分為興奮情緒，將傷心、恐懼、生氣和厭惡劃分為低落情緒，當(dāng)情感認(rèn)知粗分類(lèi)結(jié)果為興奮情緒的概率和情感認(rèn)知粗分類(lèi)結(jié)果為低落情緒的概率的差值低于設(shè)定的概率閾值時(shí)，則該情感認(rèn)知粗分類(lèi)結(jié)果判斷為不確定情緒。

3.根據(jù)權(quán)利要求2所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，所述設(shè)定的概率閾值取值為18％～22％。

4.根據(jù)權(quán)利要求2所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，以各幀圖像間的特征點(diǎn)運(yùn)動(dòng)向量為隱狀態(tài)，所述人體軀干運(yùn)動(dòng)特征庫(kù)中包括與興奮情緒和低落情緒對(duì)應(yīng)的隱狀態(tài)時(shí)間變化模型。

5.根據(jù)權(quán)利要求1所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，所述步驟S3具體為：

301：對(duì)步驟S2獲取的人體軀干子區(qū)域的圖像進(jìn)行特征點(diǎn)提??；

302：將各幀圖像內(nèi)的相匹配的特征點(diǎn)逐幀連接后形成特征點(diǎn)軌跡；

303：根據(jù)任意兩個(gè)特征點(diǎn)軌跡在各幀圖像所屬特征點(diǎn)相對(duì)距離平均值進(jìn)行聚類(lèi)，得到聚類(lèi)后特征點(diǎn)軌跡的軌跡分類(lèi)；

304：取各軌跡分類(lèi)中所有特征點(diǎn)軌跡的各幀圖像所屬特征點(diǎn)平均坐標(biāo)位置為主軌跡特征點(diǎn)，各主軌跡特征點(diǎn)逐幀連接后形成各軌跡分類(lèi)的主運(yùn)動(dòng)軌跡；

305：從各軌跡分類(lèi)的主運(yùn)動(dòng)軌跡中提取出人體軀干運(yùn)動(dòng)特征。

6.根據(jù)權(quán)利要求5所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，所述步驟302中根據(jù)設(shè)定的軌跡長(zhǎng)度閾值，刪除長(zhǎng)度小于軌跡長(zhǎng)度閾值的特征點(diǎn)軌跡。

7.根據(jù)權(quán)利要求5所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，所述步驟303中刪除各幀圖像中無(wú)法連續(xù)匹配的孤立聚類(lèi)。

8.根據(jù)權(quán)利要求1所述的基于表情和行為雙模態(tài)結(jié)合的人類(lèi)自然狀態(tài)情感識(shí)別方法，其特征在于，所述特征點(diǎn)表示為其中，s_i表示第i個(gè)特征點(diǎn)的坐標(biāo)，表示第i個(gè)特征點(diǎn)在t時(shí)刻的運(yùn)動(dòng)速度向量。