本發(fā)明涉及語言處理，具體而言，是融合多模態(tài)信息的智能客服推薦方法及其應(yīng)用設(shè)備。

背景技術(shù)：

1、在當(dāng)今數(shù)字化時代，客戶服務(wù)面臨著越來越高的要求和挑戰(zhàn)，隨著人工智能技術(shù)的不斷進(jìn)步，智能客服應(yīng)運而生并逐漸成為客戶服務(wù)的重要組成部分，然而，僅依靠單一模態(tài)的信息，如文本，往往難以滿足復(fù)雜多樣的用戶需求。

2、在許多情況下，用戶可能更傾向于通過語音來表達(dá)問題或需求，語音信息能夠更直接、快速地傳達(dá)意思，特別是對于一些不擅長文字輸入或處于特定場景的用戶，同時，圖像信息也具有獨特的價值，比如用戶可以通過發(fā)送產(chǎn)品圖片來更準(zhǔn)確地描述問題或故障情況，另一方面，不同模態(tài)的信息具有各自的特點和優(yōu)勢，文本信息具有較高的準(zhǔn)確性和規(guī)范性，但可能存在表達(dá)不完整的情況，語音信息則更具情感色彩和實時性，圖像信息可以提供直觀的視覺線索，將這些多模態(tài)信息融合起來，能夠互相補充、相得益彰，更全面、深入地理解用戶的意圖和需求。

3、專利名稱為一種分布式智能客服信息推薦系統(tǒng)(專利號為202210805914.x)的中國專利公布的技術(shù)方案，該方案通過客服利用短信信息分布式發(fā)送給所挑選的客戶端，挑選出有意向的客戶反饋給客服進(jìn)行進(jìn)一步溝通，并利用情感檢測單元客服可以及時觀測到客戶接收到消息后的心情提示，通過人工智能推薦后，客戶接收可以自由選擇語音包和“套餐”推薦模塊，在客戶選擇時利用大數(shù)據(jù)即時推薦客戶所需內(nèi)容，投其所好，使客戶選擇更加具有人性化，但仍存在一些不足之處，具體表現(xiàn)在以下方面：一、該方案可能存在信息豐富度不足的問題，沒有充分利用諸如圖像、音頻等多模態(tài)信息來實現(xiàn)更全面的客戶理解，在某些情況下可能會造成用戶的誤解，使得整體的服務(wù)質(zhì)量和效率受到一定程度的限制。

4、二、該方案雖然能夠即時推薦客戶所需內(nèi)容，但未能充分考量到客戶對于所推薦內(nèi)容在理解層面上的難易程度，這可能會導(dǎo)致客戶在接收和理解這些推薦內(nèi)容時遇到阻礙，影響客戶的體驗。

技術(shù)實現(xiàn)思路

1、為了克服背景技術(shù)中的缺點，本發(fā)明實施例提供了融合多模態(tài)信息的智能客服推薦方法及其應(yīng)用設(shè)備,能夠有效解決上述背景技術(shù)中涉及的問題。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：融合多模態(tài)信息的智能客服推薦方法，該方法包括以下步驟：s1.用戶提問識別：讀取用戶的輸入內(nèi)容并識別用戶的提問方式，分別對不同提問方式進(jìn)行識別處理，提問方式包括文字、圖像、語音。

3、s2.文字識別處理：對用戶輸入的文本進(jìn)行文字處理得到用戶文本各關(guān)鍵詞語，進(jìn)而將其同存儲的各已有問題進(jìn)行逐一匹配得到用戶文字提問關(guān)聯(lián)問題。

4、s3.圖像識別處理：讀取用戶輸入的圖像，若用戶圖像中存在文字信息，則通過對用戶圖像進(jìn)行文字識別處理得到用戶圖像提問關(guān)聯(lián)問題，若用戶圖像中不存在文字信息，則對用戶圖像進(jìn)行圖像識別處理，通過提取特征數(shù)據(jù)匹配得到用戶圖像提問關(guān)聯(lián)問題。

5、s4.語音識別處理：對用戶發(fā)送的語音進(jìn)行文字識別，得到用戶語音矯正文本進(jìn)行，進(jìn)而分析得到用戶語音提問關(guān)聯(lián)問題。

6、s5.用戶提問整合：獲取用戶文字提問關(guān)聯(lián)問題、用戶圖像提問關(guān)聯(lián)問題、用戶語音提問關(guān)聯(lián)問題，對其進(jìn)行整合得到用戶提問的對應(yīng)關(guān)聯(lián)問題。

7、s6.用戶偏好分析：根據(jù)用戶的歷史行為記錄到智能客服的語音答復(fù)次數(shù)、文字答復(fù)次數(shù)、語音答復(fù)次數(shù)及各次文字答復(fù)、圖像答復(fù)、語音答復(fù)的評分得到用戶對文字答復(fù)、圖像答復(fù)、語音答復(fù)的偏好程度。

8、s7.用戶交互記錄分析：獲取用戶的交互記錄數(shù)據(jù)，分析得到文字答復(fù)、圖像答復(fù)、語音答復(fù)的交互理解困難程度，交互記錄數(shù)據(jù)包括用戶各次文字答復(fù)、圖像答復(fù)、語音答復(fù)重復(fù)詢問次數(shù)以及各次文字答復(fù)、圖像答復(fù)、語音答復(fù)的平均回復(fù)時長。

9、s8.推薦答復(fù)分析：根據(jù)用戶對文字答復(fù)、圖像答復(fù)、語音答復(fù)的偏好程度和交互理解困難程度分析得到推薦答復(fù)方式，并以此對用戶提問的對應(yīng)關(guān)聯(lián)問題進(jìn)行答復(fù)。

10、優(yōu)選的，所述文字識別處理的具體分析方法為：第一步，讀取用戶輸入的文本，通過文本預(yù)處理技術(shù)去除文本中標(biāo)點符號和非字母數(shù)字字符，將剩余的文本內(nèi)容記為用戶文本，通過自然語言處理算法將用戶文本分割成各詞語，記為用戶文本各詞語，從管理數(shù)據(jù)庫中讀取停用詞詞庫、相近詞詞庫，對用戶文本進(jìn)行停用詞過濾，并通過將用戶文本各詞語同相近詞詞庫進(jìn)行比對篩選得到用戶文本各詞語各相近詞語，將其從用戶文本中篩掉，將用戶文本經(jīng)過篩選后剩余的詞語記為用戶文本各關(guān)鍵詞語，并統(tǒng)計用戶文本各關(guān)鍵詞語對應(yīng)被篩選的相近詞語數(shù)量，記為γm，m表示第m個關(guān)鍵詞語的編號，m＝1,2,...,q，通過公式得到用戶文本各關(guān)鍵詞的比重δm，q表示關(guān)鍵詞語的數(shù)量。

11、第二步，從管理數(shù)據(jù)庫中提取存儲的已有問題，將用戶文本各關(guān)鍵詞語同各已有問題進(jìn)行逐一匹配，篩選得到各已有問題同用戶文本的關(guān)鍵詞語重合數(shù)量，記為nf，f表示第f個已有問題的編號，f＝1,2,...,k，從用戶文本各關(guān)鍵詞的比重中提取各已有問題重合的各用戶文本的關(guān)鍵詞語的比重，記為ζfa，a表示重合的第a個用戶文本的關(guān)鍵詞語的編號，a＝1,2,...,b，且b≤q，將其代入到公式得到各已有問題同用戶文本的相似度ξf，φ1、φ2分別表示設(shè)定的關(guān)鍵詞語重合數(shù)量、關(guān)鍵詞語比重的權(quán)值因子，k表示已有問題的數(shù)量，將各已有問題同用戶文本的相似度按照從大到小的順序進(jìn)行排序，將第一個已有問題記為用戶文字提問關(guān)聯(lián)問題。

12、優(yōu)選的，所述對用戶圖像進(jìn)行文字識別處理的具體分析方法為：讀取用戶輸入的圖像，記為用戶圖像，通過光學(xué)字符識別技術(shù)對用戶圖像中的文字進(jìn)行識別和提取，記為用戶圖像提取文本，按照分析用戶文字提問關(guān)聯(lián)問題的方法分析得到用戶圖像提問關(guān)聯(lián)問題。

13、優(yōu)選的，所述對用戶圖像進(jìn)行圖像識別處理的具體分析方法為：從用戶圖像中提取電網(wǎng)的特征數(shù)據(jù)，記為用戶提問特征數(shù)據(jù)，并從管理數(shù)據(jù)庫提取各特征數(shù)據(jù)對應(yīng)的各關(guān)聯(lián)問題，將用戶提問特征數(shù)據(jù)同各特征數(shù)據(jù)對應(yīng)的各關(guān)聯(lián)問題進(jìn)行比對，得到用戶提問特征數(shù)據(jù)對應(yīng)的各關(guān)聯(lián)問題，記為用戶提問各關(guān)聯(lián)問題，從管理數(shù)據(jù)庫中讀取電網(wǎng)用戶各次針對各提問特征數(shù)據(jù)的各歷史關(guān)聯(lián)問題，并從中提取電網(wǎng)用戶各次針對用戶提問特征數(shù)據(jù)的各歷史關(guān)聯(lián)問題，將用戶提問各關(guān)聯(lián)問題同電網(wǎng)用戶各次針對用戶提問特征數(shù)據(jù)的各歷史關(guān)聯(lián)問題進(jìn)行比對，統(tǒng)計得到電網(wǎng)用戶提問各關(guān)聯(lián)問題的出現(xiàn)次數(shù)，記為i表示第i個關(guān)聯(lián)問題的編號，i＝1,2,...,n，同時從管理數(shù)據(jù)庫中讀取用戶針對各提問特征數(shù)據(jù)的各次歷史提問，將其對應(yīng)的關(guān)聯(lián)問題同用戶提問各關(guān)聯(lián)問題進(jìn)行比對，統(tǒng)計得到用戶提問各關(guān)聯(lián)問題的出現(xiàn)次數(shù)，記為將其代入到公式得到用戶針對提問特征數(shù)據(jù)的各關(guān)聯(lián)問題占比δi，分別表示設(shè)定的電網(wǎng)用戶的總提問次數(shù)、用戶的總提問次數(shù)，μ1、μ2表示設(shè)定的電網(wǎng)用戶提問、用戶提問的權(quán)值因子，將針對提問特征數(shù)據(jù)的各關(guān)聯(lián)問題占比按照從大到小的順序進(jìn)行排列，將第一個針對提問特征數(shù)據(jù)的關(guān)聯(lián)問題占比對應(yīng)的關(guān)聯(lián)問題記為用戶圖像提問關(guān)聯(lián)問題。

14、優(yōu)選的，所述語音識別處理的具體分析方法為：讀取用戶發(fā)送的語音，對其進(jìn)行降噪處理后記為用戶語音，利用語音識別技術(shù)將用戶語音轉(zhuǎn)換為文字，記為用戶語音識別文本，并從網(wǎng)絡(luò)后臺讀取用戶的所屬地,根據(jù)用戶的所屬地對應(yīng)的口音地區(qū)的常見詞語對用戶語音識別文本進(jìn)行矯正得到用戶語音矯正文本，按照分析各已有問題同用戶文本的相似度的方法對用戶語音矯正文本進(jìn)行分析，得到各已有問題同用戶語音矯正文本的相似度，從各已有問題同用戶語音矯正文本的相似度中篩選出最大值，將其對應(yīng)的已有問題記為用戶語音提問關(guān)聯(lián)問題。

15、優(yōu)選的，所述用戶偏好分析的具體分析方法為：從管理數(shù)據(jù)庫中讀取用戶的歷史行為記錄，分別篩選統(tǒng)計得到用戶得到智能客服的文字答復(fù)次數(shù)、圖像答復(fù)次數(shù)、語音答復(fù)次數(shù)，將記為g、l、b，以及各次文字答復(fù)、圖像答復(fù)、語音答復(fù)的評分，分別記為j表示第j次文字答復(fù)的編號，j＝1,2,...,g，p表示第p次圖像答復(fù)的編號，p＝1,2,...,l，a表示第a次語音答復(fù)的編號，a＝1,2,...,b，將其代入到公式

16、得到用戶對文字答復(fù)的偏好程度χ文字，η1、η2分別表示設(shè)定的答復(fù)次數(shù)、答復(fù)評分的權(quán)值因子，按照分析用戶對文字答復(fù)的偏好程度的方法依次分析得到用戶對圖像答復(fù)的偏好程度、用戶對語音答復(fù)的偏好程度，分別記為χ圖像、χ語音。

17、優(yōu)選的，所述用戶交互記錄的具體分析方法為：從用戶的歷史行為記錄中提取用戶在得到智能客服的各次文字答復(fù)、圖像答復(fù)、語音答復(fù)時的重復(fù)詢問次數(shù)，記為用戶各次文字答復(fù)重復(fù)詢問次數(shù)用戶各次圖像答復(fù)重復(fù)詢問次數(shù)用戶各次語音答復(fù)重復(fù)詢問次數(shù)同時記錄各次文字答復(fù)、圖像答復(fù)、語音答復(fù)時各次重復(fù)詢問的回復(fù)時長，通過對其求取平均值得到各次文字答復(fù)、圖像答復(fù)、語音答復(fù)的平均回復(fù)時長，記為

18、優(yōu)選的，所述用戶交互記錄分析的具體分析方法為：通過公式

19、

20、得到文字答復(fù)的交互理解困難程度ρ文字，κ1、κ2分別表示設(shè)定的重復(fù)詢問次數(shù)、回復(fù)時長的權(quán)值因子，并按照分析文字答復(fù)的交互理解困難程度的方法分析得到圖像答復(fù)的交互理解困難程度、語音答復(fù)的交互理解困難程度，分別記為ρ圖像、ρ語音。

21、優(yōu)選的，所述推薦答復(fù)分析的具體分析方法為：讀取用戶對文字答復(fù)的偏好程度χ文字、文字答復(fù)的交互理解困難程度ρ文字，將其代入到公式得到文字答復(fù)的推薦程度w1、w2分別表示設(shè)定的答復(fù)方式偏好程度、答復(fù)方式的交互理解困難程度的權(quán)值因子，e為自然常數(shù)，按照分析文字答復(fù)的推薦程度的方法分析得到圖像答復(fù)的推薦程度、語音答復(fù)的推薦程度，從文字答復(fù)的推薦程度、圖像答復(fù)的推薦程度、語音答復(fù)的推薦程度中篩選出最大值，將其對應(yīng)的答復(fù)方式記為推薦答復(fù)方式。

22、本發(fā)明的第二方面提出一種應(yīng)用設(shè)備，所述應(yīng)用設(shè)備包括處理器、存儲器及通信總線，所述存儲器上存儲有可被所述處理器執(zhí)行的計算機(jī)可讀程序。

23、所述通信總線實現(xiàn)處理器與存儲器之間的連接通信。

24、所述處理器執(zhí)行所述計算機(jī)可讀程序時實現(xiàn)如本發(fā)明所述的色譜和質(zhì)譜聯(lián)用的分析方法中的步驟。

25、相對于現(xiàn)有技術(shù)，本發(fā)明的實施例至少具有如下優(yōu)點或有益效果：一、本發(fā)明根據(jù)用戶提問方式分別進(jìn)行文字識別處理、圖像識別處理、語音識別處理，進(jìn)而分析得到用戶文字提問關(guān)聯(lián)問題、用戶圖像提問關(guān)聯(lián)問題、用戶語音提問關(guān)聯(lián)問題，提高對用戶多種輸入方式的適應(yīng)性，滿足不同用戶的習(xí)慣和需求，避免單一識別方式可能導(dǎo)致的遺漏或誤解。

26、二、本發(fā)明根據(jù)用戶對文字答復(fù)、圖像答復(fù)、語音答復(fù)的偏好程度和文字答復(fù)、圖像答復(fù)、語音答復(fù)的交互理解困難程度分析得到推薦答復(fù)方式，并以此對用戶提問進(jìn)行答復(fù)，提高了交互效率，避免使用不適合用戶的答復(fù)方式導(dǎo)致的溝通障礙和時間浪費，同時更好地匹配用戶的理解能力和偏好，提高信息傳達(dá)的效果。