本發(fā)明涉及一種圖像識(shí)別技術(shù)領(lǐng)域，尤其涉及一種情緒滿意度的評(píng)價(jià)方法、裝置及系統(tǒng)。

背景技術(shù)：

目前，為了了解各辦事窗口辦事人員的工作服務(wù)狀態(tài)、為提高服務(wù)質(zhì)量提供依據(jù)，目前普遍采用通過在服務(wù)窗口設(shè)置滿意度評(píng)價(jià)器的方式，對(duì)用戶進(jìn)行服務(wù)滿意度調(diào)查數(shù)據(jù)的采集。滿意度評(píng)價(jià)器上設(shè)置有滿意、不滿意按鈕，用戶完成業(yè)務(wù)辦理后，通過操作按鈕提交對(duì)服務(wù)是否滿意的反饋信息。

但是，現(xiàn)有的滿意度評(píng)價(jià)方式存在以下缺陷：

(1)由于服務(wù)評(píng)價(jià)需要在窗口前進(jìn)行手動(dòng)操作，用戶的評(píng)價(jià)意愿不一定能真實(shí)的表達(dá)或者需要辦理業(yè)務(wù)的人員提醒用戶進(jìn)行評(píng)價(jià)操作

(2)可能因?yàn)橛脩襞侣闊┶s時(shí)間離開而不愿意進(jìn)行評(píng)價(jià)操作。使得反饋的滿意度調(diào)查數(shù)據(jù)不真實(shí)、或不完整，使得相關(guān)的參考信息不能夠準(zhǔn)確反映出

技術(shù)實(shí)現(xiàn)要素：

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的之一在于提供一種情緒滿意度的評(píng)價(jià)方法，其能解決用戶情緒監(jiān)測(cè)的技術(shù)問題。

本發(fā)明的目的之二在于提供一種情緒滿意度的評(píng)價(jià)裝置，其能解決用戶情緒監(jiān)測(cè)的技術(shù)問題。

本發(fā)明的目的之三在于提供一種情緒滿意度的評(píng)價(jià)系統(tǒng)，其能解決用戶情緒監(jiān)測(cè)的技術(shù)問題。

本發(fā)明的目的之一采用如下技術(shù)方案實(shí)現(xiàn)：

一種情緒滿意度的評(píng)價(jià)方法，包括以下步驟：

s1：建立人的面部識(shí)別模型庫；

s2：獲取人的面部識(shí)別信息，所述面部識(shí)別信息包括人面部的當(dāng)前特征向量；

s3：根據(jù)面部識(shí)別信息得到用戶的滿意度數(shù)據(jù)。

進(jìn)一步地，所述步驟s1具體包括以下子步驟：

s11：獲取用戶情緒變化時(shí)的模型識(shí)別信息，所述模型識(shí)別信息包括模型特征向量，所述模型特征向量為模型特征點(diǎn)的位移變化；

s12：將滿意度區(qū)間定義為滿意、平靜和不滿意三個(gè)區(qū)間，并在不同滿意度區(qū)間存儲(chǔ)相對(duì)應(yīng)的模型特征向量集以形成人的面部識(shí)別模型庫。

進(jìn)一步地，所述模型特征點(diǎn)的數(shù)量為70至75之間的任意一數(shù)值。

進(jìn)一步地，所述步驟s3具體包括以下子步驟：

s301：將獲取到的當(dāng)前特征向量與面部識(shí)別模型庫中的模型特征向量進(jìn)行比對(duì)以得比對(duì)結(jié)果；

s302：根據(jù)比對(duì)結(jié)果判斷所屬滿意度區(qū)間以得到用戶的滿意度數(shù)據(jù)。

進(jìn)一步地，所述面部識(shí)別信息包括識(shí)別過程中的開始特征向量和結(jié)束特征向量，所述步驟s3具體包括以下子步驟：

s31：根據(jù)獲取到的開始特征向量得到用戶的開始滿意度；

s32：根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束滿意度；

s33：根據(jù)結(jié)束滿意度與開始滿意度的變化得到用戶在識(shí)別過程中的滿意度數(shù)據(jù)。

本發(fā)明的目的之二采用如下技術(shù)方案實(shí)現(xiàn)：

一種情緒滿意度的評(píng)價(jià)裝置，包括以下模塊：

模型建立模塊：用于建立人的面部識(shí)別模型庫；

信息獲取模塊：用于獲取人的面部識(shí)別信息，所述面部識(shí)別信息包括人面部的當(dāng)前特征向量；

滿意度獲取模塊：用于根據(jù)面部識(shí)別信息得到用戶的滿意度數(shù)據(jù)。

進(jìn)一步地，所述模型建立模塊具體包括以下子模塊：

模型特征獲取模塊：用于獲取用戶情緒變化時(shí)的模型識(shí)別信息，所述模型識(shí)別信息包括模型特征向量，所述模型特征向量為模型特征點(diǎn)的位移變化；

區(qū)間劃分模塊：用于將滿意度區(qū)間定義為滿意、平靜和不滿意三個(gè)區(qū)間，并在不同滿意度區(qū)間存儲(chǔ)相對(duì)應(yīng)的模型特征向量以形成人的面部識(shí)別模型庫。

進(jìn)一步地，所述模型特征點(diǎn)的數(shù)量為70至75之間的任意一數(shù)值。

進(jìn)一步地，所述滿意度獲取模塊具體包括以下子模塊：

相似度獲取模塊：用于將獲取到的當(dāng)前特征向量與面部識(shí)別模型庫中的模型特征向量進(jìn)行比對(duì)以得比對(duì)結(jié)果；

相似度判斷模塊：用于根據(jù)比對(duì)結(jié)果判斷所屬滿意度區(qū)間以得到用戶的滿意度數(shù)據(jù)。

進(jìn)一步地，所述面部識(shí)別信息包括識(shí)別過程中的開始特征向量和結(jié)束特征向量，所述滿意度獲取模塊具體包括以下子模塊：

開始滿意度獲取模塊：用于根據(jù)獲取到的開始特征向量得到用戶的開始滿意度；

結(jié)束滿意度獲取模塊：用于根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束滿意度；

滿意度計(jì)算模塊：用于根據(jù)結(jié)束滿意度與開始滿意度的變化得到用戶在識(shí)別過程中的滿意度數(shù)據(jù)。

本發(fā)明的目的之三采用如下技術(shù)方案實(shí)現(xiàn)：

一種情緒滿意度的評(píng)價(jià)系統(tǒng)，包括執(zhí)行器，所述執(zhí)行器用于執(zhí)行上述所描述的情緒滿意度的評(píng)價(jià)方法。

相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

本發(fā)明的情緒滿意度的評(píng)價(jià)方法省去了現(xiàn)有滿意度評(píng)價(jià)器需要手動(dòng)操作才能提交信息的復(fù)雜操作流程，避免用戶不愿操作的不足，并且能夠真實(shí)判斷出用戶的滿意度，提高了滿意度調(diào)查數(shù)據(jù)的完整性和準(zhǔn)確性。

附圖說明

圖1為本發(fā)明的情緒滿意度的評(píng)價(jià)方法的流程圖；

圖2為本發(fā)明的情緒滿意度的評(píng)價(jià)裝置的結(jié)構(gòu)圖。

具體實(shí)施方式

下面，結(jié)合附圖以及具體實(shí)施方式，對(duì)本發(fā)明做進(jìn)一步描述，需要說明的是，在不相沖突的前提下，以下描述的各實(shí)施例之間或各技術(shù)特征之間可以任意組合形成新的實(shí)施例。

本發(fā)明提供一種基于視頻圖像識(shí)別的滿意度自動(dòng)分析系統(tǒng)，通過機(jī)器學(xué)習(xí)建立滿意度識(shí)別模型，在進(jìn)行實(shí)施的時(shí)候，是通過在各辦事服務(wù)窗口設(shè)置攝像頭來捕捉前來辦事的用戶視頻圖像，將用戶的面部表情變化與識(shí)別模型比對(duì)做持續(xù)分析，從而得出用戶對(duì)服務(wù)的滿意度結(jié)果數(shù)據(jù)，不需要用戶手動(dòng)提交滿意度的信息。

本發(fā)明主要包括攝像頭和信息處理服務(wù)器，該攝像頭設(shè)置分別設(shè)置在服務(wù)窗口處，其能獲取到前來辦事的用戶面部視頻圖像信息，并且將持續(xù)捕捉到的面部視頻圖像通過網(wǎng)絡(luò)或數(shù)據(jù)線傳輸?shù)叫畔⑻幚矸?wù)器處，信息處理服務(wù)器集成有用戶管理模塊、識(shí)別模塊和數(shù)據(jù)管理模塊；用戶管理模塊：用于用戶數(shù)據(jù)管理。該模塊建立了管理員賬號(hào)和需要統(tǒng)計(jì)服務(wù)滿意度的工作人員的個(gè)人賬號(hào)。工作人員開始工作時(shí)，通過賬號(hào)登錄或登出來啟動(dòng)或停止對(duì)應(yīng)自己的滿意度識(shí)別進(jìn)程；管理員使用賬號(hào)登錄后可以進(jìn)行各個(gè)工作人員賬號(hào)的設(shè)置和數(shù)據(jù)查看。

識(shí)別模塊：包括識(shí)別模型和情緒識(shí)別。利用建立好的識(shí)別模型對(duì)攝像頭獲取到的面部視頻圖像進(jìn)行數(shù)據(jù)處理分析，根據(jù)辦事過程中用戶的面部持續(xù)情緒變化，對(duì)比識(shí)別模型得到用戶對(duì)服務(wù)的滿意度結(jié)果數(shù)據(jù)。并通將上述結(jié)果數(shù)據(jù)傳輸?shù)綌?shù)據(jù)管理模塊。

識(shí)別模型：通過對(duì)面部視頻圖像抽取關(guān)鍵幀、構(gòu)建面部關(guān)鍵點(diǎn)，對(duì)關(guān)鍵點(diǎn)進(jìn)行特征提取，對(duì)大量人臉面部表情視頻進(jìn)行學(xué)習(xí)從而建立對(duì)應(yīng)滿意度各區(qū)間的訓(xùn)練集模版庫，作為滿意度識(shí)別模型。

如圖1所示，本發(fā)明提供了一種情緒滿意度的評(píng)價(jià)方法，包括以下步驟：

s1：建立人的面部識(shí)別模型庫；所述步驟s1具體包括以下子步驟：

s11：獲取用戶情緒變化時(shí)的模型識(shí)別信息，所述模型識(shí)別信息包括模型特征向量集，所述模型特征向量為模型特征點(diǎn)的位移變化；所述模型特征點(diǎn)的數(shù)量為70至75之間的任意一數(shù)值；在本實(shí)施例中，采用72個(gè)模型特征點(diǎn)來對(duì)其進(jìn)行面部特征描述，人的面部結(jié)構(gòu)及五官形態(tài)組合在情緒變化時(shí)具有顯著特征。通過學(xué)習(xí)和不斷校正，根據(jù)面部的眉毛、眼睛、眼角、鼻子、鼻孔、嘴唇、顴骨等面部五官及各個(gè)組成部分的結(jié)構(gòu)、輪廓組合特點(diǎn)，查找出能夠體現(xiàn)人的臉部表情變化、且在各種光線投射外部環(huán)境影響下、人臉各角度偏移時(shí)、穩(wěn)定的72個(gè)關(guān)鍵點(diǎn)，基于72個(gè)關(guān)鍵點(diǎn)建立識(shí)別模型；72個(gè)點(diǎn)是建立模型時(shí)，通過不斷比對(duì)識(shí)別結(jié)果挑選出來的穩(wěn)定的點(diǎn)。通過實(shí)際測(cè)試，對(duì)比不同數(shù)量的穩(wěn)定性與準(zhǔn)確度后定下來的規(guī)則。

s12：將滿意度區(qū)間定義為滿意、平靜和不滿意三個(gè)區(qū)間，并在不同滿意度區(qū)間存儲(chǔ)相對(duì)應(yīng)的模型特征向量集以形成人的面部識(shí)別模型庫。用總體滿意度百分比來對(duì)應(yīng)個(gè)滿意度區(qū)間建立識(shí)別模型，數(shù)值越低表示滿意度越低，數(shù)值越大表示滿意度越高，即0-35為不滿意，35-65為平靜，65-100為滿意，非常不滿意趨近于0，非常滿意趨近于100；通過機(jī)器學(xué)習(xí)訓(xùn)練、分析大量服務(wù)對(duì)象的面部視頻，統(tǒng)計(jì)72個(gè)特征點(diǎn)在不同情緒變化時(shí)的點(diǎn)的坐標(biāo)數(shù)據(jù)，計(jì)算出他們?cè)诓煌榫w下的坐標(biāo)偏移量，形成描述面部情緒變化的特征向量，將上述特征向量對(duì)應(yīng)滿意、平靜、不滿意區(qū)間的模板庫存儲(chǔ)，從而建立滿意度識(shí)別模型，訓(xùn)練過程需要指定特征向量集所對(duì)應(yīng)的滿意度區(qū)間，通過不斷比對(duì)模型的識(shí)別結(jié)果修整各區(qū)間的特征向量集；

s2：獲取人的面部識(shí)別信息，所述面部識(shí)別信息包括人面部的當(dāng)前特征向量；s3：根據(jù)面部識(shí)別信息得到用戶的滿意度數(shù)據(jù)。在具體的實(shí)施過程中可以有兩種方式來判斷用戶情緒狀態(tài)；第一種是采用直接判斷用戶的情緒狀態(tài)的方式，在該方式中，所述步驟s3具體包括以下子步驟：

s301：將獲取到的當(dāng)前特征向量與面部識(shí)別模型庫中的模型特征向量集進(jìn)行比對(duì)以得比對(duì)結(jié)果；根據(jù)相似度判斷出與當(dāng)前特征向量最接近的模型特征向量將得到的模型特征向量對(duì)應(yīng)到各滿意度區(qū)間，然后得到一個(gè)滿意度百分比以進(jìn)行滿意度的判斷；

s302：根據(jù)比對(duì)結(jié)果判斷所屬滿意度區(qū)間以得到用戶的滿意度數(shù)據(jù)。該滿意度數(shù)據(jù)即為用戶當(dāng)前的表情是滿意的、是平靜的還是不滿意的；這種方式可以實(shí)時(shí)的顯示處用戶的當(dāng)前的情緒狀態(tài)。

但是由于人的情緒是會(huì)隨著時(shí)間不斷變化的，并且在整個(gè)服務(wù)的過程中，人的情緒也會(huì)因?yàn)橄嚓P(guān)人員的態(tài)度而改變，不能單一考慮用戶的當(dāng)前的情緒就做出相應(yīng)的判斷，而是需要結(jié)合整個(gè)服務(wù)過程中用戶的情緒來做出相應(yīng)的判斷的；在該方式中，所述面部識(shí)別信息包括識(shí)別過程中的開始特征向量和結(jié)束特征向量，所述步驟s3具體包括以下子步驟：

s31：根據(jù)獲取到的開始特征向量得到用戶的開始滿意度；

s32：根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束滿意度；具體計(jì)算開始滿意度和結(jié)束滿意度的方式也是采用相似度來進(jìn)行判斷的。

s33：根據(jù)結(jié)束滿意度與開始滿意度的變化得到用戶在識(shí)別過程中的滿意度變化以得到相應(yīng)的滿意度數(shù)據(jù)。以開始服務(wù)初期的滿意度識(shí)別結(jié)果作為識(shí)別初始數(shù)據(jù)依據(jù)，基于初始數(shù)據(jù)和用戶在服務(wù)過程中的滿意度變化數(shù)據(jù)，判斷整個(gè)服務(wù)過程中用戶的滿意度數(shù)據(jù)。

在進(jìn)行識(shí)別之后，還可以統(tǒng)計(jì)分析識(shí)別到的滿意度結(jié)果數(shù)據(jù)，并將數(shù)據(jù)形成可視化分析報(bào)告。每個(gè)工作人員的賬號(hào)都對(duì)應(yīng)有各自的滿意度統(tǒng)計(jì)結(jié)果數(shù)據(jù)，對(duì)應(yīng)用戶賬號(hào)保存；同時(shí)也會(huì)統(tǒng)計(jì)分析各個(gè)時(shí)間周期的總體服務(wù)滿意度。管理員登錄后通過數(shù)據(jù)管理后臺(tái)查看各工作人員的滿意度統(tǒng)計(jì)結(jié)果數(shù)據(jù)，和總體滿意度分析報(bào)告；給后期的管理帶來了更大的方便。

本發(fā)明的工作原理：

工作人員開始對(duì)外辦公時(shí)，使用賬號(hào)登錄情緒識(shí)別滿意度評(píng)價(jià)系統(tǒng)，信息處理服務(wù)器開始啟動(dòng)識(shí)別流程，通過服務(wù)辦事大廳辦事窗口對(duì)應(yīng)設(shè)置的攝像頭實(shí)時(shí)獲取前來辦事用戶的臉部視頻圖像信息。

信息處理服務(wù)器的識(shí)別模塊獲取到辦事用戶的面部視頻圖像后，根據(jù)面部特征建立該用戶的面部72個(gè)關(guān)鍵點(diǎn)。

持續(xù)計(jì)算辦事過程中用戶面部72個(gè)關(guān)鍵點(diǎn)的坐標(biāo)偏移向量數(shù)據(jù)，比對(duì)識(shí)別模型，得到用戶的服務(wù)過程滿意度變化數(shù)據(jù)。

設(shè)定整個(gè)辦事過程為10分鐘，將用戶最初到達(dá)辦事窗口時(shí)的前1分鐘視頻中的識(shí)別結(jié)果數(shù)據(jù)作為判斷滿意度的基礎(chǔ)初始數(shù)據(jù)，判斷后面9分鐘的識(shí)別結(jié)果數(shù)據(jù)變化情況，得到最終的滿意度結(jié)果數(shù)據(jù)。即當(dāng)用戶到達(dá)時(shí)的前1分鐘，情緒本身為較高興的滿意狀態(tài)，在之后服務(wù)過程情緒狀態(tài)變化轉(zhuǎn)為沒有相對(duì)之前高興，甚至趨向平靜或不太滿意，則最終的識(shí)別結(jié)果則趨向于不滿意或平靜。如用戶到達(dá)時(shí)的前1分鐘，情緒本身為較憤怒的不滿意狀態(tài)，在之后服務(wù)過程情緒變化轉(zhuǎn)為相對(duì)平靜或開心的滿意狀態(tài)，則最終的識(shí)別結(jié)果則趨向于平靜或滿意。

完成服務(wù)用戶離開窗口，識(shí)別結(jié)束。識(shí)別模塊將滿意度結(jié)果數(shù)據(jù)發(fā)送到數(shù)據(jù)管理模塊對(duì)應(yīng)該工作人員的賬號(hào)存儲(chǔ)。

數(shù)據(jù)管理模塊定期每日、每周、每月、每季度、半年、每年、對(duì)每個(gè)工作人員賬號(hào)對(duì)應(yīng)的滿意度結(jié)果進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，并形成可視化分析報(bào)告；同時(shí)統(tǒng)計(jì)分析各個(gè)時(shí)間周期的總體服務(wù)滿意度。

管理人員登錄后通過數(shù)據(jù)管理后臺(tái)查看各工作人員的滿意度統(tǒng)計(jì)結(jié)果數(shù)據(jù)，和總體滿意度分析報(bào)告。

如圖2所示，本發(fā)明提供了一種情緒滿意度的評(píng)價(jià)裝置，包括以下模塊：

模型建立模塊：用于建立人的面部識(shí)別模型庫；所述模型建立模塊具體包括以下子模塊：

模型特征獲取模塊：用于獲取用戶情緒變化時(shí)的模型識(shí)別信息，所述模型識(shí)別信息包括模型特征向量；

區(qū)間劃分模塊：用于將滿意度區(qū)間定義為滿意、平靜和不滿意三個(gè)區(qū)間，并在不同滿意度區(qū)間存儲(chǔ)相對(duì)應(yīng)的模型特征向量集以形成人的面部識(shí)別模型庫。

信息獲取模塊：用于獲取人的面部識(shí)別信息，所述面部識(shí)別信息包括人面部的當(dāng)前特征向量；

滿意度獲取模塊：用于根據(jù)面部識(shí)別信息得到用戶的滿意度數(shù)據(jù)。在滿意度獲取的過程中有兩種不同的實(shí)現(xiàn)方式，第一種所述滿意度獲取模塊具體包括以下子模塊：

相似度獲取模塊：用于將獲取到的當(dāng)前特征向量與面部識(shí)別模型庫中的模型特征向量集進(jìn)行比對(duì)以得比對(duì)結(jié)果；

相似度判斷模塊：用于根據(jù)比對(duì)結(jié)果判斷所屬滿意度區(qū)間以得到用戶的滿意度數(shù)據(jù)。

第二種是：所述面部識(shí)別信息包括識(shí)別過程中的開始特征向量和結(jié)束特征向量，所述滿意度獲取模塊具體包括以下子模塊：

開始滿意度獲取模塊：用于根據(jù)獲取到的開始特征向量得到用戶的開始滿意度；

結(jié)束滿意度獲取模塊：用于根據(jù)獲取到的結(jié)束特征向量得到用戶的結(jié)束滿意度；

滿意度計(jì)算模塊：用于根據(jù)結(jié)束滿意度與開始滿意度的變化得到用戶在識(shí)別過程中的滿意度變化以得到相應(yīng)的滿意度數(shù)據(jù)。

上述實(shí)施方式僅為本發(fā)明的優(yōu)選實(shí)施方式，不能以此來限定本發(fā)明保護(hù)的范圍，本領(lǐng)域的技術(shù)人員在本發(fā)明的基礎(chǔ)上所做的任何非實(shí)質(zhì)性的變化及替換均屬于本發(fā)明所要求保護(hù)的范圍。