一種多模態(tài)的非接觸情感分析記錄系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是組成包括：用于完成從外界環(huán)境接收聲音的聲音接收模塊、用于獲取語音的音頻情感標(biāo)注信息的聲音特征提取與處理模塊、用于完成語音內(nèi)容到文本內(nèi)容的轉(zhuǎn)換的語音識別模塊、用于獲取語音的文本情感標(biāo)注信息的文本特征提取與處理模塊、用于完成所有數(shù)據(jù)處理，存儲，調(diào)度任務(wù)的綜合調(diào)度模塊、用于完成檢測到的語音情感狀態(tài)的顯示的顯示模塊和用于完成時間記錄和提供時間標(biāo)簽的功能的時鐘模塊。本發(fā)明能綜合文本和音頻兩個模態(tài)對語音情感進(jìn)行識別，從而提高識別的準(zhǔn)確性。
【專利說明】一種多模態(tài)的非接觸情感分析記錄系統(tǒng)

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及人機(jī)情感交互領(lǐng)域，具體地說是一種多模態(tài)的非接觸情感分析記錄系 統(tǒng)。

【背景技術(shù)】
[0002] 語言是人與人之間交流最重要的工具，人類的話語中包括了文本符號信息，還飽 含了人們的情感，從語音中進(jìn)行情感信息特征的人工處理，在人工智能領(lǐng)域具有重要意義。 人類通過語言來交流，人類的情感是通過多通道多模態(tài)表達(dá)的，例如通過語言內(nèi)容、音頻、 表情和肢體動作等表達(dá)情感，語音情感識別就是從語音信號中識別出說話人的情感信息。
[0003] 目前的研究主要從語音韻律中提取情感特征信息，語音情感識別系統(tǒng)主要依靠語 音的低層次聲學(xué)特征來進(jìn)行識別，具有代表性的特征是基音頻率、共振峰、短時平均過零率 和發(fā)音持續(xù)時間等，這種方法用往往容易導(dǎo)致特征維數(shù)較高，模式識別研究表明，準(zhǔn)確率不 與特征空間的維數(shù)成正比，且在高維情況下泛化能力反而會減弱，甚至導(dǎo)致維數(shù)災(zāi)難。
[0004] 也有從語言學(xué)的角度考慮語音信號中的情感分析，考慮語音文本的語義成分，利 用語句的語義和語法提供說話人的情感線索，其中基于的參數(shù)主要是情感用語、冗長程度、 目的頻率、對話歷史、詞的頻率等內(nèi)容；此方法的不足之處為需要大量的知識，這首先給語 音識別就帶來了難度，進(jìn)行語義分析，又需要相關(guān)語言知識，這又給情感分析增加了難度， 方法復(fù)雜，在現(xiàn)階段難以實(shí)現(xiàn)。
[0005] 在語音情感信息處理領(lǐng)域幾乎利用了所有的模式識別手段，例如人工神經(jīng)網(wǎng)絡(luò) (ANN)，隱馬爾可夫模型（HMM)，混合高斯模型（GMM)，支持向量機(jī)（SVM)等，但是如果將所有 的這些成果放在一起比較，可以發(fā)現(xiàn)特征提取的手段極其局限，幾乎所有研究都是采用韻 律特征或者這些韻律特征的線性組合和變換作為研究對象，大多只是在音頻這個模態(tài)進(jìn)行 特征提取與分析，使語音情感特征總是局限在一個較小的范疇，不夠全面。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明克服了現(xiàn)有技術(shù)的不足之處，提供一種基多模態(tài)的非接觸情感分析記錄系 統(tǒng)，能綜合文本和音頻兩個模態(tài)對語音情感進(jìn)行識別，從而提高識別的準(zhǔn)確性。
[0007] 本發(fā)明為解決技術(shù)問題采用如下技術(shù)方案：
[0008] 本發(fā)明一種基于多模態(tài)的非接觸情感分析記錄系統(tǒng)的特點(diǎn)是組成包括：聲音接收 模塊、聲音特征提取與處理模塊、語音識別模塊、文本特征提取與處理模塊、綜合調(diào)度模塊、 顯示模塊和時鐘模塊；
[0009] 所述聲音接收模塊獲取外界環(huán)境聲音并傳遞給所述語音識別模塊以及聲音特征 提取與處理模塊；所述語音識別模塊對所接收的外界環(huán)境聲音利用ASR方法進(jìn)行候選詞識 另IJ，獲得外界環(huán)境聲音中的情感關(guān)鍵詞和程度副詞，根據(jù)所述時鐘模塊對所述外界環(huán)境聲 首中的情感關(guān)鍵詞和程度副詞給予相應(yīng)的時間標(biāo)簽，獲得包含有關(guān)鍵詞時間標(biāo)簽的情感關(guān) 鍵詞和包含有副詞時間標(biāo)簽的程度副詞一并傳遞給所述文本特征提取與處理模塊；
[0010] 所述文本特征提取與處理模塊在所設(shè)定的周期T內(nèi)根據(jù)所接收的包含有關(guān)鍵詞 時間標(biāo)簽的情感關(guān)鍵詞和包含有副詞時間標(biāo)簽的程度副詞分別獲得動態(tài)情感向量Ε'和動 態(tài)程度副詞向量Q' ；并在所設(shè)定的周期Τ內(nèi)統(tǒng)計單位時間內(nèi)識別到的情感關(guān)鍵詞的數(shù)量， 從而獲得文本情感關(guān)鍵詞語速；所述文本特征提取與處理模塊根據(jù)所設(shè)定的文本情感關(guān)鍵 詞語速閾值S對所述文本情感關(guān)鍵詞語速進(jìn)行比較，并利用特征參數(shù)表獲得文本情感關(guān)鍵 詞語速特征修正系數(shù)L ;由所述動態(tài)情感向量Ε'、動態(tài)程度副詞向量Q'和文本情感關(guān)鍵詞 語速特征修正系數(shù)L構(gòu)成文本情感標(biāo)注信息并傳遞給所述綜合調(diào)度模塊；
[0011] 所述聲音特征提取與處理模塊根據(jù)所述外界環(huán)境聲音進(jìn)行音量信息統(tǒng)計，獲得音 量序列，對所述音量序列中音量高于所設(shè)定音量閾值V的聲音判定為音頻，并根據(jù)時鐘模 塊給予所述音頻相應(yīng)的音頻時間標(biāo)簽，根據(jù)所述音頻時間標(biāo)簽對在所設(shè)定的周期Τ內(nèi)的音 頻進(jìn)行FFT變換，從而提取幅值信息；所述聲音特征提取與處理模塊根據(jù)所設(shè)定情感音量 閾值Η和情感幅值閾值β分別對在所設(shè)定的周期內(nèi)音頻的音量序列和幅值信息進(jìn)行判定， 對超出所述情感音量閾值Η和/或情感幅值閾值β的音頻進(jìn)行標(biāo)注獲得音頻情感標(biāo)注信 息并傳遞給綜合調(diào)度模塊；
[0012] 所述綜合調(diào)度模塊對所接收的文本情感標(biāo)注信息和音頻情感標(biāo)注信息進(jìn)行智能 決策獲得語音情感權(quán)值W并傳遞給顯示模塊進(jìn)行顯示。
[0013] 本發(fā)明多模態(tài)的非接觸情感分析記錄系統(tǒng)的特點(diǎn)也在于：
[0014] 所述語音識別模塊中利用ASR方法進(jìn)行候選詞識別是按如下步驟進(jìn)行：
[0015] 步驟1、在所述語音識別模塊中設(shè)置由Ν個待識別的候選詞構(gòu)成的候選詞列表，所 述候選詞列表包括程度副詞和X種情感關(guān)鍵詞；設(shè)定每一種情感關(guān)鍵詞的個數(shù)都為Μ個，則 有（Ν-ΧΧΜ)個程度副詞；設(shè)定所述情感關(guān)鍵詞分為正向情感關(guān)鍵詞與負(fù)向情感關(guān)鍵詞，所 述正向情感關(guān)鍵詞個數(shù)與負(fù)向情感關(guān)鍵詞的個數(shù)相同；
[0016] 步驟2、所述語音識別模塊對所述外界環(huán)境聲音通過頻譜轉(zhuǎn)換為文本特征，對所述 文本特征匹配所述候選詞列表，從而獲得外界環(huán)境聲音中匹配成功的情感關(guān)鍵詞和程度副 。
[0017] 在所述綜合調(diào)度模塊中設(shè)置情感關(guān)鍵詞權(quán)值表、程度副詞表和特征參數(shù)表；
[0018] 所述情感關(guān)鍵詞權(quán)值表的表項(xiàng)為（A，a)，Α為情感關(guān)鍵詞，a為情感關(guān)鍵詞權(quán)值；所 述表項(xiàng)的總個數(shù)為XXM ;所述情感關(guān)鍵詞權(quán)值分為正向情感關(guān)鍵詞權(quán)值和負(fù)向情感關(guān)鍵 詞權(quán)值；所述情感關(guān)鍵詞權(quán)值之和為零；定義所述正向情感關(guān)鍵詞用正向情感關(guān)鍵詞權(quán)值 來表征；所述負(fù)向情感關(guān)鍵詞用負(fù)向情感關(guān)鍵詞權(quán)值來表征；
[0019] 所述程度副詞表的表項(xiàng)為（B，b)，B為程度副詞，b為程度副詞的修正系數(shù)；所述表 項(xiàng)的總個數(shù)為（N-XXM);
[0020] 所述特征參數(shù)表的表項(xiàng)為（G，X，y)，G為所述情感音量閾值Η和情感幅值閾值β 和文本情感關(guān)鍵詞語速閾值S的集合，X為特征修正系數(shù)集合，y為特征影響權(quán)值集合。 [0021 ] 所述文本情感標(biāo)注信息按如下步驟獲得：
[0022] 步驟1、初始化一個XXM維的情感向量E(E1，E2，E3，…，E XXM)和一個N-XXM維的 程度副詞向量WQuQdQm···， Qn-xxm) ?
[0023] 步驟2、根據(jù)所述情感關(guān)鍵詞權(quán)值表對包含有關(guān)鍵詞時間標(biāo)簽的情感關(guān)鍵詞進(jìn)行 匹配；對匹配成功的情感關(guān)鍵詞獲取相應(yīng)的情感關(guān)鍵詞權(quán)值并存入所述情感向量E中，從 而獲得動態(tài)情感向量E'（E/，E2'，E3'，…，EXXM'）；
[0024] 步驟3、根據(jù)所述程度副詞表對包含有副詞時間標(biāo)簽的程度副詞進(jìn)行匹配，對匹配 成功的程度副詞獲取相應(yīng)的程度副詞的修正系數(shù)并存入所述程度副詞向量Q中，從而獲得 動態(tài)程度副詞向量Q'（Q/，Q 2'，Q3'，…，Qjhxm'）；
[0025] 步驟4、若所述文本情感關(guān)鍵詞語速超出所述文本情感關(guān)鍵詞語速閾值S，則取出 所述特征參數(shù)表中文本情感關(guān)鍵詞語速閾值S所對應(yīng)的特征修正系數(shù)并賦值給文本情感 關(guān)鍵詞語速特征修正系數(shù)L，否則文本情感關(guān)鍵詞語速特征修正系數(shù)L為初始值。
[0026] 所述音頻情感標(biāo)注信息按如下步驟獲得：
[0027] 步驟1、定義音頻情感標(biāo)注信息為數(shù)據(jù)對F(a，δ)并進(jìn)行初始化；定義情感音量 數(shù)據(jù)對Q (Xp 和情感幅值數(shù)據(jù)對C2 (x2, y2);
[0028] 步驟2、根據(jù)所設(shè)定情感音量閾值Η、情感幅值閾值β分別對所述音頻的音量序列 和幅值信息進(jìn)行判定，若所述音量序列中的任意一個音量值與音量序列的平均值之差大于 等于所設(shè)定情感音量閾值Η，則取出所述特征參數(shù)表中情感音量閾值Η所對應(yīng)的特征修正 系數(shù)和特征影響權(quán)值并存入所述情感音量數(shù)據(jù)對q (Xl，yi)中，否則Q為初始值；
[0029] 步驟3、若所提取幅值信息中的任意一個采樣點(diǎn)幅值絕對值減去所述幅值信息絕 對值的平均值之差大于所述情感幅值閾值β乘以所述幅值信息絕對值的平均值，則取出 所述特征參數(shù)表中情感幅值閾值β所對應(yīng)的特征系數(shù)和特征影響權(quán)值并存入所述情感幅 值數(shù)據(jù)對C 2 (x2, y2)中，否則C2為初始值；
[0030] 步驟4、利用式⑴獲得數(shù)據(jù)對F( α，δ ):
[0031] F(a，δ ) = (ΧιΧχ2, yi+y2) ⑴。
[0032] 所述智能決策按如下步驟進(jìn)行：
[0033] 步驟1、利用式⑵獲得文本情感量P :
[0034]

【權(quán)利要求】
1. 一種基于多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是組成包括：聲音接收模塊、 聲音特征提取與處理模塊、語音識別模塊、文本特征提取與處理模塊、綜合調(diào)度模塊、顯示 模塊和時鐘模塊； 所述聲音接收模塊獲取外界環(huán)境聲音并傳遞給所述語音識別模塊以及聲音特征提取 與處理模塊；所述語音識別模塊對所接收的外界環(huán)境聲音利用ASR方法進(jìn)行候選詞識別， 獲得外界環(huán)境聲音中的情感關(guān)鍵詞和程度副詞，根據(jù)所述時鐘模塊對所述外界環(huán)境聲音中 的情感關(guān)鍵詞和程度副詞給予相應(yīng)的時間標(biāo)簽，獲得包含有關(guān)鍵詞時間標(biāo)簽的情感關(guān)鍵詞 和包含有副詞時間標(biāo)簽的程度副詞一并傳遞給所述文本特征提取與處理模塊； 所述文本特征提取與處理模塊在所設(shè)定的周期T內(nèi)根據(jù)所接收的包含有關(guān)鍵詞時間 標(biāo)簽的情感關(guān)鍵詞和包含有副詞時間標(biāo)簽的程度副詞分別獲得動態(tài)情感向量E'和動態(tài)程 度副詞向量Q' ；并在所設(shè)定的周期T內(nèi)統(tǒng)計單位時間內(nèi)識別到的情感關(guān)鍵詞的數(shù)量，從而 獲得文本情感關(guān)鍵詞語速；所述文本特征提取與處理模塊根據(jù)所設(shè)定的文本情感關(guān)鍵詞語 速閾值S對所述文本情感關(guān)鍵詞語速進(jìn)行比較，并利用特征參數(shù)表獲得文本情感關(guān)鍵詞語 速特征修正系數(shù)L ;由所述動態(tài)情感向量E'、動態(tài)程度副詞向量Q'和文本情感關(guān)鍵詞語速 特征修正系數(shù)L構(gòu)成文本情感標(biāo)注信息并傳遞給所述綜合調(diào)度模塊； 所述聲音特征提取與處理模塊根據(jù)所述外界環(huán)境聲音進(jìn)行音量信息統(tǒng)計，獲得音量序 列，對所述音量序列中音量高于所設(shè)定音量閾值V的聲音判定為音頻，并根據(jù)時鐘模塊給 予所述音頻相應(yīng)的音頻時間標(biāo)簽，根據(jù)所述音頻時間標(biāo)簽對在所設(shè)定的周期T內(nèi)的音頻進(jìn) 行FFT變換，從而提取幅值信息；所述聲音特征提取與處理模塊根據(jù)所設(shè)定情感音量閾值 Η和情感幅值閾值β分別對在所設(shè)定的周期內(nèi)音頻的音量序列和幅值信息進(jìn)行判定，對超 出所述情感音量閾值Η和/或情感幅值閾值β的音頻進(jìn)行標(biāo)注獲得音頻情感標(biāo)注信息并 傳遞給綜合調(diào)度模塊； 所述綜合調(diào)度模塊對所接收的文本情感標(biāo)注信息和音頻情感標(biāo)注信息進(jìn)行智能決策 獲得語音情感權(quán)值W并傳遞給顯示模塊進(jìn)行顯示。
2. 根據(jù)權(quán)利要求1所述的多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是： 所述語音識別模塊中利用ASR方法進(jìn)行候選詞識別是按如下步驟進(jìn)行： 步驟1、在所述語音識別模塊中設(shè)置由Ν個待識別的候選詞構(gòu)成的候選詞列表，所述候 選詞列表包括程度副詞和X種情感關(guān)鍵詞；設(shè)定每一種情感關(guān)鍵詞的個數(shù)都為Μ個，則有 (Ν-ΧΧΜ)個程度副詞；設(shè)定所述情感關(guān)鍵詞分為正向情感關(guān)鍵詞與負(fù)向情感關(guān)鍵詞，所述 正向情感關(guān)鍵詞個數(shù)與負(fù)向情感關(guān)鍵詞的個數(shù)相同； 步驟2、所述語音識別模塊對所述外界環(huán)境聲音通過頻譜轉(zhuǎn)換為文本特征，對所述文本 特征匹配所述候選詞列表，從而獲得外界環(huán)境聲音中匹配成功的情感關(guān)鍵詞和程度副詞。
3. 根據(jù)權(quán)利要求2所述的多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是：在所述綜合 調(diào)度模塊中設(shè)置情感關(guān)鍵詞權(quán)值表、程度副詞表和特征參數(shù)表； 所述情感關(guān)鍵詞權(quán)值表的表項(xiàng)為（A，a)，Α為情感關(guān)鍵詞，a為情感關(guān)鍵詞權(quán)值；所述表 項(xiàng)的總個數(shù)為XXM ;所述情感關(guān)鍵詞權(quán)值分為正向情感關(guān)鍵詞權(quán)值和負(fù)向情感關(guān)鍵詞權(quán) 值；所述情感關(guān)鍵詞權(quán)值之和為零；定義所述正向情感關(guān)鍵詞用正向情感關(guān)鍵詞權(quán)值來表 征；所述負(fù)向情感關(guān)鍵詞用負(fù)向情感關(guān)鍵詞權(quán)值來表征； 所述程度副詞表的表項(xiàng)為（B，b)，B為程度副詞，b為程度副詞的修正系數(shù)；所述表項(xiàng)的 總個數(shù)為（N-XXM); 所述特征參數(shù)表的表項(xiàng)為（G，x，y)，G為所述情感音量閾值Η和情感幅值閾值β和文 本情感關(guān)鍵詞語速閾值S的集合，X為特征修正系數(shù)集合，y為特征影響權(quán)值集合。
4. 根據(jù)權(quán)利要求3所述的多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是，所述文本情 感標(biāo)注信息按如下步驟獲得： 步驟1、初始化一個XXM維的情感向量，…，EXXM)和一個N-XXM維的程度 副詞向量卩他義，％，…，％-^!!); 步驟2、根據(jù)所述情感關(guān)鍵詞權(quán)值表對包含有關(guān)鍵詞時間標(biāo)簽的情感關(guān)鍵詞進(jìn)行匹配； 對匹配成功的情感關(guān)鍵詞獲取相應(yīng)的情感關(guān)鍵詞權(quán)值并存入所述情感向量E中，從而獲得 動態(tài)情感向量 E'（E/，E2'，E3'，…，EXXM'）； 步驟3、根據(jù)所述程度副詞表對包含有副詞時間標(biāo)簽的程度副詞進(jìn)行匹配，對匹配成功 的程度副詞獲取相應(yīng)的程度副詞的修正系數(shù)并存入所述程度副詞向量Q中，從而獲得動態(tài) 程度副詞向量Q'（Q/，Q/，Q/，…，Qmxm'）； 步驟4、若所述文本情感關(guān)鍵詞語速超出所述文本情感關(guān)鍵詞語速閾值S，則取出所述 特征參數(shù)表中文本情感關(guān)鍵詞語速閾值S所對應(yīng)的特征修正系數(shù)并賦值給文本情感關(guān)鍵 詞語速特征修正系數(shù)L，否則文本情感關(guān)鍵詞語速特征修正系數(shù)L為初始值。
5. 根據(jù)權(quán)利要求4所述的多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是，所述音頻情 感標(biāo)注信息按如下步驟獲得： 步驟1、定義音頻情感標(biāo)注信息為數(shù)據(jù)對F(a，δ)并進(jìn)行初始化；定義情感音量數(shù)據(jù) 對Q (Xp yj和情感幅值數(shù)據(jù)對C2 (x2, y2); 步驟2、根據(jù)所設(shè)定情感音量閾值Η、情感幅值閾值β分別對所述音頻的音量序列和幅 值信息進(jìn)行判定，若所述音量序列中的任意一個音量值與音量序列的平均值之差大于等于 所設(shè)定情感音量閾值Η，則取出所述特征參數(shù)表中情感音量閾值Η所對應(yīng)的特征修正系數(shù) 和特征影響權(quán)值并存入所述情感音量數(shù)據(jù)對Q (Xl，yi)中，否則Q為初始值； 步驟3、若所提取幅值信息中的任意一個采樣點(diǎn)幅值絕對值減去所述幅值信息絕對值 的平均值之差大于所述情感幅值閾值β乘以所述幅值信息絕對值的平均值，則取出所述 特征參數(shù)表中情感幅值閾值β所對應(yīng)的特征系數(shù)和特征影響權(quán)值并存入所述情感幅值數(shù) 據(jù)對C 2 (x2, y2)中，否則C2為初始值； 步驟4、利用式（1)獲得數(shù)據(jù)對F(a，δ): F(a，δ ) = (ΧιΧχ2, yi+y2) ⑴。
6. 根據(jù)權(quán)利要求5所述的多模態(tài)的非接觸情感分析記錄系統(tǒng)，其特征是：所述智能決 策按如下步驟進(jìn)行： 步驟1、利用式（2)獲得文本情感量P :
(2) 步驟2、利用式（3)獲得文本程度副詞修正系數(shù)K:
(3) 式（3)中，&表示文本程度副詞修正系數(shù)K的初始值； 步驟3、利用式（4)獲得文本情感權(quán)值Z : Z = PXKXL (4) 步驟4、利用式（5)對所述文本情感權(quán)值Z和所述音頻情感標(biāo)注信息F( α，δ )進(jìn)行特 征融合，從而獲得所設(shè)定的周期Τ內(nèi)語音情感權(quán)值W : w - ? (ζ^°) " I*? (z=〇) (5)。
【文檔編號】G06F17/27GK104102627SQ201410334275
【公開日】2014年10月15日 申請日期:2014年7月11日 優(yōu)先權(quán)日:2014年7月11日
【發(fā)明者】孫曉, 孫重遠(yuǎn), 高飛, 葉嘉麒, 任福繼 申請人:合肥工業(yè)大學(xué)