1.一種基于多模態(tài)情緒識別的心理干預方法,其特征在于,包括:
2.根據(jù)權利要求1所述的基于多模態(tài)情緒識別的心理干預方法,其特征在于,所述語音轉錄情感識別一體化模型包括編碼器、文本嵌入器和增強語言模型的解碼器,所述將預處理后的音頻數(shù)據(jù)的每一時間戳對應的音頻、第一任務提示詞和第二任務提示詞,輸入到語音轉錄情感識別一體化模型中,得到每一時間戳對應的語音情緒識別結果,步驟包括:
3.根據(jù)權利要求1所述的基于多模態(tài)情緒識別的心理干預方法,其特征在于,所述根據(jù)每一時間戳對應的圖像情緒識別結果和每一時間戳對應的語音情緒識別結果,得到每一時間戳對應的最終情緒識別結果,步驟包括:
4.根據(jù)權利要求3所述的基于多模態(tài)情緒識別的心理干預方法,其特征在于,所述根據(jù)每一時間戳對應的最終情緒識別結果,生成情感狀態(tài)識別報告,步驟包括:
5.根據(jù)權利要求4所述的基于多模態(tài)情緒識別的心理干預方法,其特征在于,所述圖像情緒識別結果和所述語音情緒識別結果包括恐懼、沮喪、焦慮、憤怒、快樂、驚訝、興奮、厭惡、壓力大;
6.根據(jù)權利要求1所述的基于多模態(tài)情緒識別的心理干預方法,其特征在于,所述對預處理后的視頻數(shù)據(jù)的每一時間戳對應的幀圖像進行情緒識別,得到每一時間戳對應的圖像情緒識別結果,步驟包括:
7.根據(jù)權利要求1至6任一所述的基于多模態(tài)情緒識別的心理干預方法,其特征在于,所述分別對所述視頻數(shù)據(jù)和所述語音數(shù)據(jù)進行預處理,步驟包括:
8.一種基于多模態(tài)情緒識別的心理干預系統(tǒng),其特征在于,包括:
9.一種計算機設備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權利要求1至7中任一項所述基于多模態(tài)情緒識別的心理干預方法的步驟。
10.一種計算機存儲介質(zhì),所述計算機存儲介質(zhì)存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7中任一項所述基于多模態(tài)情緒識別的心理干預方法的步驟。