本發(fā)明涉及信號(hào)處理技術(shù)領(lǐng)域，尤其涉及一種老年人的情緒識(shí)別方法和系統(tǒng)。

背景技術(shù)：

情緒是一種綜合了人的感覺(jué)、思想和行為的狀態(tài)，它包括人對(duì)外界或自身刺激的心理反應(yīng)，也包括伴隨這種心理反應(yīng)的生理反應(yīng)。人類(lèi)的情緒與身心健康密切關(guān)系，如果人類(lèi)長(zhǎng)期處于焦慮、憂(yōu)愁、悲傷、惱怒、壓抑等狀態(tài)下，可能導(dǎo)致神經(jīng)分裂、高血壓、心臟病、潰瘍、胃病和癌癥等多種疾病，一般稱(chēng)為心因性疾病，因此掌握一個(gè)人，特別是老人的情緒情況，對(duì)于掌握身心狀況非常有利。

情緒識(shí)別分析，對(duì)于老人，特別是失能和空巢老人，具有很大的價(jià)值。隨著中國(guó)社會(huì)老齡化的加劇，以及大城市對(duì)年輕人就業(yè)、教育等方面的吸引力，空巢老人這一特殊群體勢(shì)必會(huì)成為社會(huì)的普遍現(xiàn)象。但這一群體雖然正逐漸受到社會(huì)的關(guān)注，卻依然缺乏有效的方式來(lái)為空巢老人提供及時(shí)的健康監(jiān)管以及心理慰藉。通過(guò)情緒分析，能夠?qū)崟r(shí)反映出老人的情緒狀況，并及時(shí)反饋給相關(guān)醫(yī)務(wù)人員和子女，讓他們更能了解父母的情緒，從而增加對(duì)老人的關(guān)心和及時(shí)的治療。而在這一領(lǐng)域，我國(guó)市場(chǎng)上還沒(méi)有相應(yīng)成熟完善的產(chǎn)品和服務(wù)。

因此，如何提供一種更加客觀、準(zhǔn)確的老年人的情緒識(shí)別方法和系統(tǒng)，成為本領(lǐng)域亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種更加客觀、準(zhǔn)確的老年人的情緒識(shí)別方法和系統(tǒng)。

本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的：

一種老年人的情緒識(shí)別方法，包括：

獲取語(yǔ)音信息和圖像信息；

處理該語(yǔ)音信息，獲取梅爾頻率倒譜系數(shù)；處理該圖像信息，獲取表情圖像；

根據(jù)所述梅爾頻率倒譜系數(shù)，按照預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將獲取的語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；以及根據(jù)預(yù)設(shè)的表情分類(lèi)網(wǎng)絡(luò)模型，提取所述表情圖像的分類(lèi)特征，根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別。

優(yōu)選的，所述方法進(jìn)一步包括語(yǔ)音分類(lèi)規(guī)則的建立步驟，具體包括：

根據(jù)語(yǔ)音數(shù)據(jù)庫(kù)獲取不同語(yǔ)音情緒類(lèi)別所對(duì)應(yīng)的梅爾頻率倒譜系數(shù)的參數(shù)值。

優(yōu)選的，所述方法進(jìn)一步包括：對(duì)獲取的不同語(yǔ)音情緒類(lèi)別所對(duì)應(yīng)的梅爾頻率倒譜系數(shù)的參數(shù)值進(jìn)行校正處理。

優(yōu)選的，所述方法進(jìn)一步包括表情分類(lèi)網(wǎng)絡(luò)模型的建立步驟，具體包括：根據(jù)人臉表情數(shù)據(jù)，使用人臉識(shí)別深度學(xué)習(xí)網(wǎng)絡(luò)，獲取不同圖片情緒類(lèi)別所對(duì)應(yīng)的分類(lèi)特征。

優(yōu)選的，所述方法進(jìn)一步包括：對(duì)獲取的不同圖片情緒類(lèi)別所對(duì)應(yīng)的分類(lèi)特征進(jìn)行校正處理。

優(yōu)選的，所述處理該語(yǔ)音信息的步驟至少包括：對(duì)該語(yǔ)音信息進(jìn)行去噪處理、語(yǔ)音增強(qiáng)處理和端點(diǎn)檢測(cè)處理。

優(yōu)選的，所述處理該圖像信息的步驟至少包括：對(duì)該圖像信息進(jìn)行人臉檢測(cè)識(shí)別，獲取人臉圖像，根據(jù)該人臉圖像獲取表情圖像。

優(yōu)選的，所述語(yǔ)音情緒類(lèi)別至少包括正常、無(wú)力、哀愁和憤怒。

優(yōu)選的，所述圖片情緒類(lèi)別至少包括正常、焦慮、憂(yōu)傷、懷疑、憤怒和恐懼。

本發(fā)明公開(kāi)一種老年人的情緒識(shí)別系統(tǒng)，包括：

獲取模塊，用于獲取語(yǔ)音信息和表情圖像；

處理模塊，用于處理該語(yǔ)音信息，獲取梅爾頻率倒譜系數(shù)；處理該圖像信息，獲取表情圖像；

分類(lèi)模塊，用于根據(jù)所述梅爾頻率倒譜系數(shù)，按照預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將獲取的語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；以及根據(jù)預(yù)設(shè)的表情分類(lèi)網(wǎng)絡(luò)模型，提取所述表情圖像的分類(lèi)特征，根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別。

本發(fā)明的老年人的情緒識(shí)別方法包括，獲取語(yǔ)音信息和圖像信息；處理該語(yǔ)音信息，獲取梅爾頻率倒譜系數(shù)；處理該圖像信息，獲取表情圖像；根據(jù)所述梅爾頻率倒譜系數(shù)，按照預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將獲取的語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；以及根據(jù)預(yù)設(shè)的表情分類(lèi)網(wǎng)絡(luò)模型，提取所述表情圖像的分類(lèi)特征，根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別。采用這種方式，就可以通過(guò)分析計(jì)算獲取語(yǔ)音信息的梅爾頻率倒譜系數(shù)，再根據(jù)梅爾頻率倒譜系數(shù)和預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將該語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；通過(guò)分析圖像信息獲取表情圖像，再根據(jù)表情分類(lèi)網(wǎng)絡(luò)模型提取表情圖像的分類(lèi)特征，然后根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別；這樣就可以根據(jù)獲取的語(yǔ)音信息和圖像信息識(shí)別用戶(hù)的語(yǔ)音情緒和圖片情緒，從而從語(yǔ)音和表情兩個(gè)方面了解到用戶(hù)的當(dāng)前的情緒，更加客觀、準(zhǔn)確的識(shí)別用戶(hù)的情緒，從而可以及時(shí)了解到用戶(hù)的情緒狀況，及時(shí)發(fā)現(xiàn)用戶(hù)的情緒問(wèn)題，早發(fā)現(xiàn)早治療，及時(shí)預(yù)防，在用戶(hù)出現(xiàn)情緒崩潰等惡劣狀況之前及時(shí)采取措施防止情況的惡化，及時(shí)治療。對(duì)用戶(hù)，特別是老年用戶(hù)來(lái)說(shuō)具有重要意義，采用這種方式可以更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒，可以更加及時(shí)的了解、關(guān)心老年人的身心狀況，及時(shí)準(zhǔn)確的關(guān)懷老年人。

附圖說(shuō)明

圖1是本發(fā)明實(shí)施例的老年人的情緒識(shí)別方法的流程圖；

圖2是本發(fā)明實(shí)施例的老年人的情緒識(shí)別方法另一實(shí)施方式的流程圖；

圖3是本發(fā)明實(shí)施例的老年人的情緒識(shí)別系統(tǒng)的示意圖；

圖4是本發(fā)明實(shí)施例的老年人的情緒識(shí)別系統(tǒng)另一實(shí)施方式的示意圖。

具體實(shí)施方式

雖然流程圖將各項(xiàng)操作描述成順序的處理，但是其中的許多操作可以被并行地、并發(fā)地或者同時(shí)實(shí)施。各項(xiàng)操作的順序可以被重新安排。當(dāng)其操作完成時(shí)處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。處理可以對(duì)應(yīng)于方法、函數(shù)、規(guī)程、子例程、子程序等等。

計(jì)算機(jī)設(shè)備包括用戶(hù)設(shè)備與網(wǎng)絡(luò)設(shè)備。其中，用戶(hù)設(shè)備或客戶(hù)端包括但不限于電腦、智能手機(jī)、pda等；網(wǎng)絡(luò)設(shè)備包括但不限于單個(gè)網(wǎng)絡(luò)服務(wù)器、多個(gè)網(wǎng)絡(luò)服務(wù)器組成的服務(wù)器組或基于云計(jì)算的由大量計(jì)算機(jī)或網(wǎng)絡(luò)服務(wù)器構(gòu)成的云。計(jì)算機(jī)設(shè)備可單獨(dú)運(yùn)行來(lái)實(shí)現(xiàn)本發(fā)明，也可接入網(wǎng)絡(luò)并通過(guò)與網(wǎng)絡(luò)中的其他計(jì)算機(jī)設(shè)備的交互操作來(lái)實(shí)現(xiàn)本發(fā)明。計(jì)算機(jī)設(shè)備所處的網(wǎng)絡(luò)包括但不限于互聯(lián)網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、vpn網(wǎng)絡(luò)等。

在這里可能使用了術(shù)語(yǔ)“第一”、“第二”等等來(lái)描述各個(gè)單元，但是這些單元不應(yīng)當(dāng)受這些術(shù)語(yǔ)限制，使用這些術(shù)語(yǔ)僅僅是為了將一個(gè)單元與另一個(gè)單元進(jìn)行區(qū)分。這里所使用的術(shù)語(yǔ)“和/或”包括其中一個(gè)或更多所列出的相關(guān)聯(lián)項(xiàng)目的任意和所有組合。當(dāng)一個(gè)單元被稱(chēng)為“連接”或“耦合”到另一單元時(shí)，其可以直接連接或耦合到所述另一單元，或者可以存在中間單元。

這里所使用的術(shù)語(yǔ)僅僅是為了描述具體實(shí)施例而不意圖限制示例性實(shí)施例。除非上下文明確地另有所指，否則這里所使用的單數(shù)形式“一個(gè)”、“一項(xiàng)”還意圖包括復(fù)數(shù)。還應(yīng)當(dāng)理解的是，這里所使用的術(shù)語(yǔ)“包括”和/或“包含”規(guī)定所陳述的特征、整數(shù)、步驟、操作、單元和/或組件的存在，而不排除存在或添加一個(gè)或更多其他特征、整數(shù)、步驟、操作、單元、組件和/或其組合。

下面結(jié)合附圖和較佳的實(shí)施例對(duì)本發(fā)明作進(jìn)一步說(shuō)明。

如圖1所示，本實(shí)施例中公開(kāi)一種老年人的情緒識(shí)別方法，包括：

s110、獲取語(yǔ)音信息和圖像信息；

s120、處理該語(yǔ)音信息，獲取梅爾頻率倒譜系數(shù)；處理該圖像信息，獲取表情圖像；

s130、根據(jù)所述梅爾頻率倒譜系數(shù)，按照預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將獲取的語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；以及根據(jù)預(yù)設(shè)的表情分類(lèi)網(wǎng)絡(luò)模型，提取所述表情圖像的分類(lèi)特征，根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別。

采用這種方式，就可以通過(guò)分析計(jì)算獲取語(yǔ)音信息的梅爾頻率倒譜系數(shù)，再根據(jù)梅爾頻率倒譜系數(shù)和預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將該語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；通過(guò)分析圖像信息獲取表情圖像，再根據(jù)表情分類(lèi)網(wǎng)絡(luò)模型提取表情圖像的分類(lèi)特征，然后根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別。這樣就可以根據(jù)獲取的語(yǔ)音信息和圖像信息識(shí)別用戶(hù)的語(yǔ)音情緒和圖片情緒，從而從語(yǔ)音和表情兩個(gè)方面了解到用戶(hù)的當(dāng)前的情緒，更加客觀、準(zhǔn)確的識(shí)別用戶(hù)的情緒，從而可以及時(shí)了解到用戶(hù)的情緒狀況，及時(shí)發(fā)現(xiàn)用戶(hù)的情緒問(wèn)題，早發(fā)現(xiàn)早治療，及時(shí)預(yù)防，在用戶(hù)出現(xiàn)情緒崩潰等惡劣狀況之前及時(shí)采取措施防止情況的惡化，及時(shí)治療。對(duì)用戶(hù)，特別是老年用戶(hù)來(lái)說(shuō)具有重要意義，采用這種方式可以更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒，可以更加及時(shí)的了解、關(guān)心老年人的身心狀況，及時(shí)準(zhǔn)確的關(guān)懷老年人。

本實(shí)施例中的老年人，按照國(guó)際規(guī)定，65周歲以上的人確定為老年；在中國(guó)，60周歲以上的公民為老年人。不同的文化圈對(duì)于老年人有著不同的定義，由于生命的周期是一個(gè)漸變的過(guò)程，壯年到老年的分界線(xiàn)往往是很模糊的。本實(shí)施例中為清楚說(shuō)明，并且結(jié)合中國(guó)實(shí)際情況，按照中國(guó)普遍定義，設(shè)60周歲以上的公民為老年人。

本實(shí)施例中，語(yǔ)音信息和圖像信息的獲取可以通過(guò)手機(jī)、平板等電子設(shè)備，或單獨(dú)設(shè)置的錄音筆、攝像頭等。當(dāng)然，獲取這些信息的設(shè)備具有接入互聯(lián)網(wǎng)的功能為優(yōu)，這樣可以在識(shí)別情緒后及時(shí)傳輸，便于及時(shí)了解到用戶(hù)的情緒狀況。這些設(shè)備可設(shè)置在老年人的身邊，如設(shè)置在房間的內(nèi)，或?yàn)槔夏耆穗S身攜帶的手機(jī)、呼叫機(jī)等等設(shè)備。

具體的，梅爾頻率倒譜系數(shù)，又稱(chēng)為mfcc(melfrequencycepstralcoefficents)、mel頻率倒譜系數(shù)(mel-frequencycepstralcoefficients)，是一種在自動(dòng)語(yǔ)音和說(shuō)話(huà)人識(shí)別中廣泛使用的特征。語(yǔ)音被分為很多幀，每幀語(yǔ)音都對(duì)應(yīng)于一個(gè)頻譜(通過(guò)短時(shí)fft計(jì)算)，頻譜表示頻率與能量的關(guān)系。本實(shí)施例中，提取mfcc特征的過(guò)程：

1)先對(duì)語(yǔ)音進(jìn)行預(yù)加重、分幀和加窗；

2)對(duì)每一個(gè)短時(shí)分析窗，通過(guò)fft(fastfouriertransformation，離散傅氏變換的快速算法)得到對(duì)應(yīng)的頻譜；

3)將上面的頻譜通過(guò)mel濾波器組得到mel頻譜；

4)在mel頻譜上面進(jìn)行倒譜分析，獲得mel頻率倒譜系數(shù)mfcc，這個(gè)mfcc就是這幀語(yǔ)音的特征；

其中倒譜分析包括：取對(duì)數(shù)，做逆變換，實(shí)際逆變換一般是通過(guò)dct離散余弦變換來(lái)實(shí)現(xiàn)，取dct后的第2個(gè)到第13個(gè)系數(shù)作為mfcc系數(shù)。

具體的，倒譜分析的過(guò)程包括：

1)將原語(yǔ)音信號(hào)經(jīng)過(guò)傅里葉變換得到頻譜：x[k]＝h[k]e[k]；

只考慮幅度就是：|x[k]|＝|h[k]||e[k]|；

2)在兩邊取對(duì)數(shù)：log||x[k]||＝log||h[k]||+log||e[k]||；

3)再在兩邊取逆傅里葉變換得到：x[k]＝h[k]+e[k]。

x[k]實(shí)際上就是倒譜，而h[k]就是倒譜的低頻部分。h[k]描述了頻譜的包絡(luò)，它在語(yǔ)音識(shí)別中被廣泛用于描述特征。

本實(shí)施例中，示例的，如圖2所示，本方法進(jìn)一步包括語(yǔ)音分類(lèi)規(guī)則的建立步驟，具體包括：

s101、根據(jù)語(yǔ)音數(shù)據(jù)庫(kù)獲取不同語(yǔ)音情緒類(lèi)別所對(duì)應(yīng)的梅爾頻率倒譜系數(shù)的參數(shù)值。

其中，語(yǔ)音數(shù)據(jù)庫(kù)中包括大量語(yǔ)音數(shù)據(jù)，可以對(duì)這些語(yǔ)音數(shù)據(jù)提取mfcc系數(shù)，并根據(jù)人工或機(jī)器的篩選出該語(yǔ)音數(shù)據(jù)所對(duì)應(yīng)的語(yǔ)音情緒類(lèi)別，從而將mfcc系數(shù)與語(yǔ)音情緒類(lèi)別進(jìn)行對(duì)應(yīng)，在匹配了大量的mfcc系數(shù)與語(yǔ)音情緒類(lèi)別之后，就可以得到不同的情緒類(lèi)別對(duì)應(yīng)的mfcc系數(shù)的參數(shù)值，該參數(shù)值可以是一個(gè)數(shù)值范圍，或零散的數(shù)值，當(dāng)然為更好的識(shí)別語(yǔ)音情緒，優(yōu)選為數(shù)值范圍。這樣得到了mfcc系數(shù)與語(yǔ)音情緒類(lèi)別的對(duì)應(yīng)關(guān)系后，就可以根據(jù)獲取的語(yǔ)音信息的mfcc系數(shù)識(shí)別該用戶(hù)的語(yǔ)音情緒類(lèi)別。

具體的，s101中進(jìn)一步包括：s102、對(duì)獲取的不同語(yǔ)音情緒類(lèi)別所對(duì)應(yīng)的梅爾頻率倒譜系數(shù)的參數(shù)值進(jìn)行校正處理。這樣在將mfcc系數(shù)與語(yǔ)音情緒類(lèi)別進(jìn)行對(duì)應(yīng)后，如果人工核對(duì)后認(rèn)為有誤，可以對(duì)mfcc系數(shù)的參數(shù)值進(jìn)行調(diào)整，例如調(diào)整數(shù)值范圍中的上限或下限，也可以追加特殊的數(shù)值等等。

本實(shí)施例中，語(yǔ)音情緒類(lèi)別至少包括正常、無(wú)力、哀愁和憤怒。這種方式下，可以為，“正?！钡那榫w類(lèi)別對(duì)應(yīng)的為第一個(gè)mfcc系數(shù)的區(qū)間，“無(wú)力”的情緒類(lèi)別對(duì)應(yīng)的為第二個(gè)mfcc系數(shù)的區(qū)間，“哀愁”的情緒類(lèi)別對(duì)應(yīng)的為第三個(gè)mfcc系數(shù)的區(qū)間，“憤怒”的情緒類(lèi)別對(duì)應(yīng)的為第四個(gè)mfcc系數(shù)的區(qū)間。當(dāng)然，語(yǔ)音情緒類(lèi)別還可以包括其他情緒，例如歡樂(lè)、大笑等等，本實(shí)施例中特別針對(duì)老年人的情緒識(shí)別，因此更加注重可能引起老年人抑郁等情況的情緒，以便更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒。

根據(jù)其中一個(gè)示例，處理該語(yǔ)音信息的步驟至少包括：對(duì)該語(yǔ)音信息進(jìn)行去噪處理、語(yǔ)音增強(qiáng)處理和端點(diǎn)檢測(cè)處理。這樣就可以讓語(yǔ)音信息更加清晰，提取特征、獲取mfcc系數(shù)更加準(zhǔn)確。本實(shí)施例中可采用自適應(yīng)平滑濾波器來(lái)對(duì)數(shù)據(jù)進(jìn)行去噪處理，還可以對(duì)數(shù)據(jù)進(jìn)行了歸一化的操作。語(yǔ)音增強(qiáng)處理可以讓語(yǔ)音的特征值更加明顯，易于提取。端點(diǎn)檢測(cè)是語(yǔ)音識(shí)別和語(yǔ)音處理的一個(gè)基本環(huán)節(jié)，也是語(yǔ)音識(shí)別研究的一個(gè)熱點(diǎn)領(lǐng)域。技術(shù)的主要目的是從輸入的語(yǔ)音中對(duì)語(yǔ)音和非語(yǔ)音進(jìn)行區(qū)分，主要功能可以有：自動(dòng)打斷；去掉語(yǔ)音中的靜音成分；獲取輸入語(yǔ)音中有效語(yǔ)音；去除噪聲，對(duì)語(yǔ)音進(jìn)行增強(qiáng)。

本實(shí)施例中，示例的，如圖2所示，本方法進(jìn)一步包括表情分類(lèi)網(wǎng)絡(luò)模型的建立步驟，具體包括：s103、根據(jù)人臉表情數(shù)據(jù)，使用人臉識(shí)別深度學(xué)習(xí)網(wǎng)絡(luò)，獲取不同圖片情緒類(lèi)別所對(duì)應(yīng)的分類(lèi)特征。

示例的，深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)可采用caffe框架，調(diào)用matlab或python的caffe接口進(jìn)行模型的訓(xùn)練和測(cè)試，系統(tǒng)環(huán)境可設(shè)為ubuntu14.04。人臉識(shí)別，是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部的一系列相關(guān)技術(shù)，通常也叫做人像識(shí)別、面部識(shí)別。本實(shí)施例中使用的人臉表情數(shù)據(jù)可以是從人臉表情數(shù)據(jù)庫(kù)中采集的，從而建立模型。人臉表情數(shù)據(jù)庫(kù)可以是affectiva-mitfacialexpressiondataset(am-fed)、bp4d(binghamton-pittsburgh3ddynamicspontaneousfacialexpressiondatabase)、disfa(denverintensityofspontaneousfacialactiondatabase)等數(shù)據(jù)庫(kù)。然后再利用現(xiàn)有的人臉識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)，例如vgg-facecnn模型來(lái)試驗(yàn)，在此基礎(chǔ)上加以改進(jìn)，設(shè)計(jì)相應(yīng)的表情分類(lèi)網(wǎng)絡(luò)模型。本實(shí)施中圖片情緒類(lèi)別至少包括正常、焦慮、憂(yōu)傷、懷疑、憤怒和恐懼，因此可以根據(jù)上述圖片情緒類(lèi)別對(duì)人臉表情數(shù)據(jù)庫(kù)中的人臉表情數(shù)據(jù)進(jìn)行對(duì)應(yīng)的分類(lèi)，從而得到相應(yīng)上述圖片情緒類(lèi)別的分類(lèi)模型。當(dāng)然，圖片情緒類(lèi)別還可以包括其他情緒，例如笑容等，本實(shí)施例中特別針對(duì)老年人的情緒識(shí)別，因此更加注重可能引起老年人抑郁等情況的情緒，以便更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒。

具體的，s103中進(jìn)一步包括：s104、對(duì)獲取的不同圖片情緒類(lèi)別所對(duì)應(yīng)的分類(lèi)特征進(jìn)行校正處理。

這樣就可以對(duì)建立的圖片情緒類(lèi)別的分類(lèi)模型進(jìn)行校正，可以是人工或機(jī)器校正，對(duì)其中的一些失誤進(jìn)行糾正處理，或者補(bǔ)充一些無(wú)法分類(lèi)的表情等等。

根據(jù)其中另一個(gè)示例，處理該圖像信息的步驟至少包括：對(duì)該圖像信息進(jìn)行人臉檢測(cè)識(shí)別，獲取人臉圖像，根據(jù)該人臉圖像獲取表情圖像。

具體的，圖像的預(yù)處理可以包括：圖像的大小和灰度的歸一化，頭部姿態(tài)的矯正，圖像分割等。這樣可以改善圖像質(zhì)量，消除噪聲，統(tǒng)一圖像灰度值及尺寸，為后序特征提取和分類(lèi)識(shí)別打好基礎(chǔ)。

然后進(jìn)行特征提取：將點(diǎn)陣轉(zhuǎn)化成更高級(jí)別圖像表述，如形狀、運(yùn)動(dòng)、顏色、紋理、空間結(jié)構(gòu)等,在盡可能保證穩(wěn)定性和識(shí)別率的前提下，對(duì)龐大的圖像數(shù)據(jù)進(jìn)行降維處理。

特征提取的主要方法有：提取幾何特征、統(tǒng)計(jì)特征、頻率域特征和運(yùn)動(dòng)特征等。

根據(jù)本實(shí)施例其中一個(gè)示例，如圖3所示，本實(shí)施例公開(kāi)一種老年人的情緒識(shí)別系統(tǒng)，包括：

獲取模塊210，用于獲取語(yǔ)音信息和表情圖像；

處理模塊220，用于處理該語(yǔ)音信息，獲取梅爾頻率倒譜系數(shù)；處理該圖像信息，獲取表情圖像；

分類(lèi)模塊230，用于根據(jù)所述梅爾頻率倒譜系數(shù)，按照預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將獲取的語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；以及根據(jù)預(yù)設(shè)的表情分類(lèi)網(wǎng)絡(luò)模型，提取所述表情圖像的分類(lèi)特征，根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別。

采用這種方式，就可以通過(guò)分析計(jì)算獲取語(yǔ)音信息的梅爾頻率倒譜系數(shù)，再根據(jù)梅爾頻率倒譜系數(shù)和預(yù)設(shè)的語(yǔ)音分類(lèi)規(guī)則將該語(yǔ)音信息進(jìn)行分類(lèi)，獲取語(yǔ)音情緒類(lèi)別；通過(guò)分析圖像信息獲取表情圖像，再根據(jù)表情分類(lèi)網(wǎng)絡(luò)模型提取表情圖像的分類(lèi)特征，然后根據(jù)該分類(lèi)特征獲取圖片情緒類(lèi)別；這樣就可以根據(jù)獲取的語(yǔ)音信息和圖像信息識(shí)別用戶(hù)的語(yǔ)音情緒和圖片情緒，從而從語(yǔ)音和表情兩個(gè)方面了解到用戶(hù)的當(dāng)前的情緒，更加客觀、準(zhǔn)確的識(shí)別用戶(hù)的情緒，從而可以及時(shí)了解到用戶(hù)的情緒狀況，及時(shí)發(fā)現(xiàn)用戶(hù)的情緒問(wèn)題，早發(fā)現(xiàn)早治療，及時(shí)預(yù)防，在用戶(hù)出現(xiàn)情緒崩潰等惡劣狀況之前及時(shí)采取措施防止情況的惡化。對(duì)用戶(hù)，特別是老年用戶(hù)來(lái)說(shuō)具有重要意義，采用這種方式可以更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒，可以更加及時(shí)的了解、關(guān)心老年人的身心狀況，及時(shí)準(zhǔn)確的關(guān)懷老年人。

本實(shí)施例中，語(yǔ)音信息和圖像信息的獲取可以通過(guò)手機(jī)、平板等電子設(shè)備，或單獨(dú)設(shè)置的錄音筆、攝像頭等。當(dāng)然，獲取這些信息的設(shè)備具有接入互聯(lián)網(wǎng)的功能為優(yōu)，這樣可以在識(shí)別情緒后及時(shí)傳輸，便于及時(shí)了解到用戶(hù)的情緒狀況。

關(guān)于梅爾頻率倒譜系數(shù)的闡述如上述，不再贅述。

本實(shí)施例中，示例的，如圖4所示，系統(tǒng)還包括語(yǔ)音分類(lèi)規(guī)則建立模塊201，具體用于：根據(jù)語(yǔ)音數(shù)據(jù)庫(kù)獲取不同語(yǔ)音情緒類(lèi)別所對(duì)應(yīng)的梅爾頻率倒譜系數(shù)的參數(shù)值。

其中，語(yǔ)音數(shù)據(jù)庫(kù)中包括大量語(yǔ)音數(shù)據(jù)，可以對(duì)這些語(yǔ)音數(shù)據(jù)提取mfcc系數(shù)，并根據(jù)人工或機(jī)器的篩選出該語(yǔ)音數(shù)據(jù)所對(duì)應(yīng)的語(yǔ)音情緒類(lèi)別，從而將mfcc系數(shù)與語(yǔ)音情緒類(lèi)別進(jìn)行對(duì)應(yīng)，在匹配了大量的mfcc系數(shù)與語(yǔ)音情緒類(lèi)別之后，就可以得到不同的情緒類(lèi)別對(duì)應(yīng)的mfcc系數(shù)的參數(shù)值，該參數(shù)值可以是一個(gè)數(shù)值范圍，或零散的數(shù)值，當(dāng)然為更好的識(shí)別語(yǔ)音情緒，優(yōu)選為數(shù)值范圍。這樣得到了mfcc系數(shù)與語(yǔ)音情緒類(lèi)別的對(duì)應(yīng)關(guān)系后，就可以根據(jù)獲取的語(yǔ)音信息的mfcc系數(shù)識(shí)別該用戶(hù)的語(yǔ)音情緒類(lèi)別。

語(yǔ)音分類(lèi)規(guī)則建立模塊201進(jìn)一步用于：對(duì)獲取的不同語(yǔ)音情緒類(lèi)別所對(duì)應(yīng)的梅爾頻率倒譜系數(shù)的參數(shù)值進(jìn)行校正處理。

這樣在將mfcc系數(shù)與語(yǔ)音情緒類(lèi)別進(jìn)行對(duì)應(yīng)后，如果人工核對(duì)后認(rèn)為有誤，可以對(duì)mfcc系數(shù)的參數(shù)值進(jìn)行調(diào)整，例如調(diào)整數(shù)值范圍中的上限或下限，也可以追加特殊的數(shù)值等等。

本實(shí)施例中，語(yǔ)音情緒類(lèi)別至少包括正常、無(wú)力、哀愁和憤怒。這種方式下，可以為，“正?！钡那榫w類(lèi)別對(duì)應(yīng)的為第一個(gè)mfcc系數(shù)的區(qū)間，“無(wú)力”的情緒類(lèi)別對(duì)應(yīng)的為第二個(gè)mfcc系數(shù)的區(qū)間，“哀愁”的情緒類(lèi)別對(duì)應(yīng)的為第三個(gè)mfcc系數(shù)的區(qū)間，“憤怒”的情緒類(lèi)別對(duì)應(yīng)的為第四個(gè)mfcc系數(shù)的區(qū)間。當(dāng)然，語(yǔ)音情緒類(lèi)別還可以包括其他情緒，例如歡樂(lè)、大笑等等，本實(shí)施例中特別針對(duì)老年人的情緒識(shí)別，因此更加注重可能引起老年人抑郁等情況的情緒，以便更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒。

本實(shí)施例中，示例的，如圖4所示，系統(tǒng)還包括表情分類(lèi)網(wǎng)絡(luò)模型建立模塊202，具體用于：根據(jù)人臉表情數(shù)據(jù)，使用人臉識(shí)別深度學(xué)習(xí)網(wǎng)絡(luò)，獲取不同圖片情緒類(lèi)別所對(duì)應(yīng)的分類(lèi)特征。

示例的，深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)可采用caffe框架，調(diào)用matlab或python的caffe接口進(jìn)行模型的訓(xùn)練和測(cè)試，系統(tǒng)環(huán)境可設(shè)為ubuntu14.04。人臉識(shí)別，是基于人的臉部特征信息進(jìn)行身份識(shí)別的一種生物識(shí)別技術(shù)。用攝像機(jī)或攝像頭采集含有人臉的圖像或視頻流，并自動(dòng)在圖像中檢測(cè)和跟蹤人臉，進(jìn)而對(duì)檢測(cè)到的人臉進(jìn)行臉部的一系列相關(guān)技術(shù)，通常也叫做人像識(shí)別、面部識(shí)別。本實(shí)施例中使用的人臉表情數(shù)據(jù)可以是從人臉表情數(shù)據(jù)庫(kù)中采集的，從而建立模型。人臉表情數(shù)據(jù)庫(kù)可以是affectiva-mitfacialexpressiondataset(am-fed)、bp4d(binghamton-pittsburgh3ddynamicspontaneousfacialexpressiondatabase)、disfa(denverintensityofspontaneousfacialactiondatabase)等數(shù)據(jù)庫(kù)。然后再利用現(xiàn)有的人臉識(shí)別的深度學(xué)習(xí)網(wǎng)絡(luò)，例如vgg-facecnn模型來(lái)試驗(yàn)，在此基礎(chǔ)上加以改進(jìn)，設(shè)計(jì)相應(yīng)的表情分類(lèi)網(wǎng)絡(luò)模型。本實(shí)施中圖片情緒類(lèi)別至少包括正常、焦慮、憂(yōu)傷、懷疑、憤怒和恐懼，因此可以根據(jù)上述圖片情緒類(lèi)別對(duì)人臉表情數(shù)據(jù)庫(kù)中的人臉表情數(shù)據(jù)進(jìn)行對(duì)應(yīng)的分類(lèi)，從而得到相應(yīng)上述圖片情緒類(lèi)別的分類(lèi)模型。當(dāng)然，圖片情緒類(lèi)別還可以包括其他情緒，例如笑容等，本實(shí)施例中特別針對(duì)老年人的情緒識(shí)別，因此更加注重可能引起老年人抑郁等情況的情緒，以便更加及時(shí)的發(fā)現(xiàn)老年人的情緒，特別是負(fù)面情緒。

具體的，表情分類(lèi)網(wǎng)絡(luò)模型建立模塊202進(jìn)一步用于：對(duì)獲取的不同圖片情緒類(lèi)別所對(duì)應(yīng)的分類(lèi)特征進(jìn)行校正處理。

這樣就可以對(duì)建立的圖片情緒類(lèi)別的分類(lèi)模型進(jìn)行校正，可以是人工或機(jī)器校正，對(duì)其中的一些失誤進(jìn)行糾正處理，或者補(bǔ)充一些無(wú)法分類(lèi)的表情等等。

根據(jù)其中一個(gè)示例，處理模塊220至少用于：對(duì)該語(yǔ)音信息進(jìn)行去噪處理、語(yǔ)音增強(qiáng)處理和端點(diǎn)檢測(cè)處理。這樣就可以讓語(yǔ)音信息更加清晰，提取特征、獲取mfcc系數(shù)更加準(zhǔn)確。本實(shí)施例中可采用自適應(yīng)平滑濾波器來(lái)對(duì)數(shù)據(jù)進(jìn)行去噪處理，還可以對(duì)數(shù)據(jù)進(jìn)行了歸一化的操作。語(yǔ)音增強(qiáng)處理可以讓語(yǔ)音的特征值更加明顯，易于提取。端點(diǎn)檢測(cè)是語(yǔ)音識(shí)別和語(yǔ)音處理的一個(gè)基本環(huán)節(jié)，也是語(yǔ)音識(shí)別研究的一個(gè)熱點(diǎn)領(lǐng)域。技術(shù)的主要目的是從輸入的語(yǔ)音中對(duì)語(yǔ)音和非語(yǔ)音進(jìn)行區(qū)分，主要功能可以有：自動(dòng)打斷；去掉語(yǔ)音中的靜音成分；獲取輸入語(yǔ)音中有效語(yǔ)音；去除噪聲，對(duì)語(yǔ)音進(jìn)行增強(qiáng)。

根據(jù)其中另一個(gè)示例，處理模塊220至少用于：對(duì)該圖像信息進(jìn)行人臉檢測(cè)識(shí)別，獲取人臉圖像，根據(jù)該人臉圖像獲取表情圖像。

具體的，圖像的預(yù)處理可以包括：圖像的大小和灰度的歸一化，頭部姿態(tài)的矯正，圖像分割等。這樣可以改善圖像質(zhì)量，消除噪聲，統(tǒng)一圖像灰度值及尺寸，為后序特征提取和分類(lèi)識(shí)別打好基礎(chǔ)。

然后進(jìn)行特征提?。簩Ⅻc(diǎn)陣轉(zhuǎn)化成更高級(jí)別圖像表述，如形狀、運(yùn)動(dòng)、顏色、紋理、空間結(jié)構(gòu)等,在盡可能保證穩(wěn)定性和識(shí)別率的前提下，對(duì)龐大的圖像數(shù)據(jù)進(jìn)行降維處理。

特征提取的主要方法有：提取幾何特征、統(tǒng)計(jì)特征、頻率域特征和運(yùn)動(dòng)特征等。

以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說(shuō)明，不能認(rèn)定本發(fā)明的具體實(shí)施只局限于這些說(shuō)明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的保護(hù)范圍。