本發(fā)明涉及視頻面部表情分析領(lǐng)域，尤其是涉及了一種基于視頻面部表情的客戶滿意度分析方法。

背景技術(shù)：

傳統(tǒng)的客戶滿意度調(diào)查，都是通過客戶口頭反饋和問卷調(diào)查的形式來實(shí)現(xiàn)的。這樣的調(diào)查所耗費(fèi)的人力物力財(cái)力都很大，效率和準(zhǔn)確度都不高，數(shù)據(jù)也帶有人為主觀因素。

本發(fā)明提出了一種基于視頻面部表情的客戶滿意度分析方法，先通過調(diào)取服務(wù)場(chǎng)地如銀行、收費(fèi)站等地方的攝像頭中的視頻信息，獲取客戶面部表情的視頻資料，利用人臉表情圖像數(shù)據(jù)集進(jìn)行訓(xùn)練；根據(jù)視頻中人臉的表情變化，采用部分為基礎(chǔ)的表示方法為面部形狀和外觀進(jìn)行建模，判別擬合，更新增量表示，并行擬合，接著進(jìn)行擬合評(píng)價(jià)，最后根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度。本發(fā)明的樣本范圍廣，不需要客戶主觀的進(jìn)行評(píng)價(jià)評(píng)分，排除了人為主觀因素，使得數(shù)據(jù)更加客觀；同時(shí)，避免了大量問卷數(shù)據(jù)，減少人工勞力，提高了效率，增加了準(zhǔn)確率。

技術(shù)實(shí)現(xiàn)要素：

針對(duì)數(shù)據(jù)多，效率和準(zhǔn)確度不高等問題，本發(fā)明的目的在于提供一種基于視頻面部表情的客戶滿意度分析方法，先獲取客戶視頻資料，再根據(jù)視頻中人臉的表情變化，采用部分為基礎(chǔ)的表示方法為面部形狀和外觀進(jìn)行建模，判別擬合，更新增量表示，并行擬合，接著進(jìn)行擬合評(píng)價(jià)，最后根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度。

為解決上述問題，本發(fā)明提供一種利用圖片檢索定位導(dǎo)航的方法，其主要內(nèi)容包括：

(一)獲取客戶視頻資料；

(二)采用部分為基礎(chǔ)的表示方法為面部形狀和外觀進(jìn)行建模；

(三)判別擬合；

(四)更新增量表示；

(五)并行擬合；

(六)擬合評(píng)價(jià)；

(七)根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度。

其中，所述的獲取客戶視頻資料，是通過調(diào)取服務(wù)場(chǎng)地如銀行、收費(fèi)站等地方攝像頭中的視頻信息，獲取客戶面部表情的視頻資料，利用人臉表情圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，根據(jù)視頻信息分析客戶滿意度。

其中，所述的采用部分為基礎(chǔ)的表示方法為面部形狀和外觀進(jìn)行建模，形狀表示首先通過分析培訓(xùn)獲取圖像的歸一化的面部形態(tài)學(xué)；然后采用主成分分析(PCA)以獲得的平均形狀和特征向量{M^S,V^S}，其中S代表形狀；面部形狀可以被建模為s(p)＝M^S+V^Sp，其中p代表形狀表示；使用本地響應(yīng)圖像學(xué)習(xí)外觀表示，給定一個(gè)圖像I和形狀表示p，第l個(gè)特征點(diǎn)的本地響應(yīng)圖為

其中是通過交叉驗(yàn)證的補(bǔ)丁，是特征向量；

變化響應(yīng)圖布置為一個(gè)張量其中，i和j分別對(duì)圖像和變化計(jì)數(shù)；類似形狀表示的方法，對(duì)運(yùn)用主成分分析獲得平均值和特征向量其中a是指外觀；第l特征點(diǎn)可以通過快速投影計(jì)算；可以用一個(gè)面部p和 來模擬一個(gè)實(shí)例的形狀和外觀。

進(jìn)一步地，所述的形狀表示，構(gòu)建了一個(gè)訓(xùn)練集u＝{(I,S)；y}，其中y∈{1,-1}；I是標(biāo)注的訓(xùn)練圖像；當(dāng)y＝1時(shí)，標(biāo)志圖S是使用對(duì)比形狀時(shí)產(chǎn)生的；當(dāng)y＝-1時(shí)，形狀產(chǎn)生變化；計(jì)算交叉熵?fù)p失的反向傳播。

其中，所述的判別擬合，學(xué)習(xí)一個(gè)級(jí)聯(lián)的非線性映射的外觀表示x(p,I)和形狀更新△p；細(xì)化的形狀表示為p，從最初的預(yù)測(cè)p⁰到對(duì)比組，一步一步進(jìn)行計(jì)算

p^k+1＝p^k+x(p^k,I)R^k+b^k (2)

{R^k,b^k}是在第k步的回歸，p^*是對(duì)比組，使回歸系數(shù)可通過求解最小二乘問題進(jìn)行計(jì)算：

使和回歸可以用閉合解計(jì)算，即：

其中，所述的更新增量表示，為了實(shí)現(xiàn)形狀和外觀的個(gè)性化表示，目標(biāo)是在一個(gè)統(tǒng)一的框架中更新增量離線訓(xùn)練的子空間{M^S,V^S}和假設(shè)離線模型利用平均M_A和特征向量V_A訓(xùn)練m離線數(shù)據(jù)T_A，其中T_A的SVD為T_A＝U∑V^T，采用n個(gè)新的在線數(shù)據(jù)T_B平均M_B來有效地計(jì)算串聯(lián)的[T_AT_B]＝U′∑’V′^T的SVD；

遵循Sequential Karhunen-Loeve(SKL)算法來計(jì)算級(jí)聯(lián)：

其中，

只需要在中期代替整個(gè)級(jí)聯(lián)進(jìn)行奇異值分解

通過插入T_C到公式(4)，有

立即更新的平均值和特征向量：

與初級(jí)方法相比，增量子空間學(xué)習(xí)從O(d(m+n))到O(dn)，顯著降低空間復(fù)雜度，從O(d(m+n)²)到O(dn²)降低計(jì)算復(fù)雜度，m＞＞n，d代表一次觀測(cè)的長(zhǎng)度；它保證了個(gè)性化表示的有效建模。

其中，所述的并行擬合，一旦形狀和外觀表象進(jìn)行更新，就需要更新回歸級(jí)聯(lián)追蹤網(wǎng)絡(luò)的變化；然而，在一個(gè)順序適應(yīng)回歸的級(jí)聯(lián)比較復(fù)雜，需要在基礎(chǔ)上進(jìn)行計(jì)算；為了解決這個(gè)問題，通過常態(tài)分布直接采樣p^k減弱級(jí)聯(lián)的依賴，其中∧^k是離線學(xué)習(xí)的形狀變化；一旦級(jí)聯(lián)被扁平化為獨(dú)立的映射，所有的解釋變量可以同時(shí)并行更新；

在離線訓(xùn)練過程中，按照給定的定義計(jì)算和在線測(cè)試期間，基于規(guī)范分布取樣△p_B，重新計(jì)算新的外觀表示可以適應(yīng)通過

其中考慮到d＞＞n，方程(9)中級(jí)聯(lián)退耦模型矩陣求逆的計(jì)算成本顯著降低O(d³)到O(n³)。

其中，所述的擬合評(píng)價(jià)，利用深層神經(jīng)網(wǎng)絡(luò)的魯棒擬合評(píng)價(jià)；只有適應(yīng)度很好的面部能用于更新增量表示和適應(yīng)回歸梯級(jí)具體人臉的建模；

相反，在網(wǎng)絡(luò)開始將人臉圖像聚集，在特征顯示中的每一個(gè)像素是一個(gè)二進(jìn)制值，標(biāo)志 著相應(yīng)的標(biāo)志性的存在；初始化訓(xùn)練過程中的權(quán)重訓(xùn)練的大型數(shù)據(jù)集的對(duì)象分類。

其中，所述的根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度，是根據(jù)視頻表情和對(duì)比組的擬合評(píng)價(jià)結(jié)果分析不同擬合度，利用訓(xùn)練數(shù)據(jù)集中的對(duì)象表情的客戶的不同反饋結(jié)果分類，根據(jù)不同的擬合度和客戶滿意度形成映射，從而自動(dòng)獲得客戶滿意度結(jié)果。

進(jìn)一步地，所述的根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度，是根據(jù)擬合評(píng)價(jià)結(jié)果來確定客戶的滿意程度，不需要客戶主觀的進(jìn)行評(píng)價(jià)評(píng)分，從而排除人為主觀因素，使數(shù)據(jù)更加客觀，避免大量問卷數(shù)據(jù)，減少人工勞力，提高效率，增加準(zhǔn)確率。

附圖說明

圖1是本發(fā)明一種基于視頻面部表情的客戶滿意度分析方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于視頻面部表情的客戶滿意度分析方法的人臉表情圖像數(shù)據(jù)集。

圖3是本發(fā)明一種基于視頻面部表情的客戶滿意度分析方法的采用部分為基礎(chǔ)的表示方法。

具體實(shí)施方式

需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。

圖1是本發(fā)明一種基于視頻面部表情的客戶滿意度分析方法的系統(tǒng)流程圖。主要包括獲取客戶視頻資料，采用部分為基礎(chǔ)的表示方法為面部形狀和外觀進(jìn)行建模，判別擬合，更新增量表示，并行擬合，擬合評(píng)價(jià)，根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度。

其中，獲取客戶視頻資料，是通過調(diào)取服務(wù)場(chǎng)地如銀行、收費(fèi)站等地方攝像頭中的視頻信息，獲取客戶面部表情的視頻資料，利用人臉表情圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，根據(jù)視頻信息分析客戶滿意度。

其中，采用部分為基礎(chǔ)的表示方法為面部形狀和外觀進(jìn)行建模，形狀表示首先通過分析培訓(xùn)獲取圖像的歸一化的面部形態(tài)學(xué)；然后采用主成分分析(PCA)以獲得的平均形狀和特征向量{M^S,V^S}，其中S代表形狀；面部形狀可以被建模為s(p)＝M^S+V^Sp，其中p代表形狀表示；使用本地響應(yīng)圖像學(xué)習(xí)外觀表示，給定一個(gè)圖像I和形狀表示p，第l個(gè)特征點(diǎn)的本地響應(yīng)圖為

其中是通過交叉驗(yàn)證的補(bǔ)丁，是特征向量；

變化響應(yīng)圖布置為一個(gè)張量其中，i和j分別對(duì)圖像和變化計(jì)數(shù)；類似形狀表示的方法，對(duì)運(yùn)用主成分分析獲得平均值和特征向量其中a是指外觀；第l特征點(diǎn)可以通過快速投影計(jì)算；可以用一個(gè)面部p和 來模擬一個(gè)實(shí)例的形狀和外觀。

進(jìn)一步地，所述的形狀表示，構(gòu)建了一個(gè)訓(xùn)練集u＝{(I,S)；y}，其中y∈{1,-1}；I是標(biāo)注的訓(xùn)練圖像；當(dāng)y＝1時(shí)，標(biāo)志圖S是使用對(duì)比形狀時(shí)產(chǎn)生的；當(dāng)y＝-1時(shí)，形狀產(chǎn)生變化；計(jì)算交叉熵?fù)p失的反向傳播。

其中，判別擬合，學(xué)習(xí)一個(gè)級(jí)聯(lián)的非線性映射的外觀表示x(p,I)和形狀更新△p；細(xì)化的形狀表示為p，從最初的預(yù)測(cè)p⁰到對(duì)比組，一步一步進(jìn)行計(jì)算

p^k+1＝p^k+x(p^k,I)R^k+b^k (2)

{R^k,b^k}是在第k步的回歸，p^*是對(duì)比組，使回歸系數(shù)可通過求解最小二乘問題進(jìn)行計(jì)算：

使和回歸可以用閉合解計(jì)算，即：

其中，更新增量表示，為了實(shí)現(xiàn)形狀和外觀的個(gè)性化表示，目標(biāo)是在一個(gè)統(tǒng)一的框架中更新增量離線訓(xùn)練的子空間和假設(shè)離線模型利用平均M_A和特征向量V_A訓(xùn)練m離線數(shù)據(jù)T_A，其中T_A的SVD為T_A＝U∑V^T，采用n個(gè)新的在線數(shù)據(jù)T_B平均M_B來有效地計(jì)算串聯(lián)的[T_AT_B]＝U′∑’V′^T的SVD；

遵循Sequential Karhunen-Loeve(SKL)算法來計(jì)算級(jí)聯(lián)：

其中，

只需要在中期代替整個(gè)級(jí)聯(lián)進(jìn)行奇異值分解

通過插入T_C到公式(4)，有

立即更新的平均值和特征向量：

與初級(jí)方法相比，增量子空間學(xué)習(xí)從O(d(m+n))到O(dn)，顯著降低空間復(fù)雜度，從O(d(m+n)²)到O(dn²)降低計(jì)算復(fù)雜度，m＞＞n，d代表一次觀測(cè)的長(zhǎng)度；它保證了個(gè)性化表示的有效建模。

其中，并行擬合，一旦形狀和外觀表象進(jìn)行更新，就需要更新回歸級(jí)聯(lián)追蹤網(wǎng)絡(luò)的變化；然而，在一個(gè)順序適應(yīng)回歸的級(jí)聯(lián)比較復(fù)雜，需要在基礎(chǔ)上進(jìn)行計(jì)算；為了解決這個(gè)問題，通過常態(tài)分布直接采樣p^k減弱級(jí)聯(lián)的依賴，其中∧^k是離線學(xué)習(xí)的形狀變化；一旦級(jí)聯(lián)被扁平化為獨(dú)立的映射，所有的解釋變量可以同時(shí)并行更新；

在離線訓(xùn)練過程中，按照給定的定義計(jì)算和在線測(cè)試期間，基于規(guī)范分布取樣△p_B，重新計(jì)算新的外觀表示可以適應(yīng)通過

其中考慮到d＞＞n，方程(9)中級(jí)聯(lián)退耦模型矩陣求逆的計(jì)算成本顯著降低O(d³)到O(n³)。

其中，擬合評(píng)價(jià)，利用深層神經(jīng)網(wǎng)絡(luò)的魯棒擬合評(píng)價(jià)；只有適應(yīng)度很好的面部能用于更新增量表示和適應(yīng)回歸梯級(jí)具體人臉的建模；

相反，在網(wǎng)絡(luò)開始將人臉圖像聚集，在特征顯示中的每一個(gè)像素是一個(gè)二進(jìn)制值，標(biāo)志著相應(yīng)的標(biāo)志性的存在；初始化訓(xùn)練過程中的權(quán)重訓(xùn)練的大型數(shù)據(jù)集的對(duì)象分類。

其中，根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度，是根據(jù)視頻表情和對(duì)比組的擬合評(píng)價(jià)結(jié)果分析不同擬合度，利用訓(xùn)練數(shù)據(jù)集中的對(duì)象表情的客戶的不同反饋結(jié)果分類，根據(jù)不同的擬合度和客戶滿意度形成映射，從而自動(dòng)獲得客戶滿意度結(jié)果。

進(jìn)一步地，所述的根據(jù)擬合評(píng)價(jià)結(jié)果分析客戶滿意度，是根據(jù)擬合評(píng)價(jià)結(jié)果來確定客戶的滿意程度，不需要客戶主觀的進(jìn)行評(píng)價(jià)評(píng)分，從而排除人為主觀因素，使數(shù)據(jù)更加客觀，避免大量問卷數(shù)據(jù)，減少人工勞力，提高效率，增加準(zhǔn)確率。

圖2是本發(fā)明一種基于視頻面部表情的客戶滿意度分析方法的人臉表情圖像數(shù)據(jù)集。獲取客戶視頻資料，是通過調(diào)取服務(wù)場(chǎng)地如銀行、收費(fèi)站等地方攝像頭中的視頻信息，獲取客戶 面部表情的視頻資料，形成表情圖集。利用人臉表情圖像數(shù)據(jù)集進(jìn)行訓(xùn)練，根據(jù)視頻信息分析客戶滿意度。

圖3是本發(fā)明一種基于視頻面部表情的客戶滿意度分析方法的采用部分為基礎(chǔ)的表示方法。形狀表示首先通過分析培訓(xùn)獲取圖像的歸一化的面部形態(tài)學(xué)；然后采用主成分分析(PCA)以獲得的平均形狀和特征向量{M^S,V^S}，其中S代表形狀；面部形狀可以被建模為s(p)＝M^S+V^Sp，其中p代表形狀表示；使用本地響應(yīng)圖像學(xué)習(xí)外觀表示，給定一個(gè)圖像I和形狀表示p，第l個(gè)特征點(diǎn)的本地響應(yīng)圖為其中是通過交叉驗(yàn)證的補(bǔ)丁，是特征向量；

變化響應(yīng)圖布置為一個(gè)張量其中，i和j分別對(duì)圖像和變化計(jì)數(shù)；類似形狀表示的方法，對(duì)運(yùn)用主成分分析獲得平均值和特征向量其中a是指外觀；第l特征點(diǎn)可以通過快速投影計(jì)算；可以用一個(gè)面部p和 來模擬一個(gè)實(shí)例的形狀和外觀。

形狀表示構(gòu)建了一個(gè)訓(xùn)練集u＝{(I,S)；y}，其中y∈{1,-1}；I是標(biāo)注的訓(xùn)練圖像；當(dāng)y＝1時(shí)，標(biāo)志圖S是使用對(duì)比形狀時(shí)產(chǎn)生的；當(dāng)y＝-1時(shí)，形狀產(chǎn)生變化；計(jì)算交叉熵?fù)p失的反向傳播。

對(duì)于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實(shí)施例的細(xì)節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實(shí)現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對(duì)本發(fā)明進(jìn)行各種改動(dòng)和變型而不脫離本發(fā)明的精神和范圍，這些改進(jìn)和變型也應(yīng)視為本發(fā)明的保護(hù)范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本發(fā)明范圍的所有變更和修改。