本發(fā)明涉及人工智能領(lǐng)域，尤其涉及智能人機對話領(lǐng)域。

背景技術(shù)：

隨著人類社會信息化的不斷演進(jìn)以及人工服務(wù)成本的不斷上升，人們越來越希望通過自然語言與計算機進(jìn)行交流，智能對話機器人系統(tǒng)成為這樣的歷史背景下誕生的產(chǎn)物，尤其是能夠理解用戶，能夠記憶用戶的歷史對話，能夠照顧用戶的情緒，能夠給用戶提供個性化的服務(wù)的對話機器人系統(tǒng)，正成為各大公司及學(xué)術(shù)研究機構(gòu)研發(fā)的方向和重點。

現(xiàn)有技術(shù)中實現(xiàn)方式一需要針對各種問題構(gòu)建各種回答并精確設(shè)計選擇邏輯，需要投入巨大的人力。如果考慮上下文之間的依賴關(guān)系，那么規(guī)則的設(shè)計會非常復(fù)雜，并且規(guī)則之間也會存在沖突。實現(xiàn)方式二需要基于統(tǒng)計系統(tǒng)翻譯，但是在對話的場景下，因為回復(fù)和輸入之間并沒有語義層面的同義關(guān)系，使得輸出并不能很好的輸入相匹配。尤其對于多輪對話的場景，和系統(tǒng)翻譯更是存在根本的不同，因為還需要更多的考慮上下文的信息，如用戶的意圖、興趣愛好及用戶所處時空，前面對話的內(nèi)容，對話主題的切換等。

因此現(xiàn)有技術(shù)中的缺陷是：現(xiàn)有的人機對話系統(tǒng)實現(xiàn)方式不能根據(jù)用戶的意圖或是上下文的不同給出準(zhǔn)確并符合用戶個性的回答，無法實現(xiàn)智能聊天。

技術(shù)實現(xiàn)要素：

本發(fā)明要解決的技術(shù)問題是提供一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)，可根據(jù)用戶輸入的對話文本，聯(lián)系上下文信息、用戶的個性特征及對話中的意圖給出符合用戶個性的對話回答。

為解決上述技術(shù)問題，本發(fā)明提供的技術(shù)方案是：

本發(fā)明提供一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)，包括：

用戶交互模塊，用于接收用戶在對話系統(tǒng)界面中輸入的問題信息；

會話管理模塊，用于記錄所述用戶的活動狀態(tài)，所述活動狀態(tài)包括歷史對話信息，用戶位置變換信息和用戶情緒變化信息；

用戶分析模塊，用于分析所述用戶的注冊信息和活動狀態(tài)，為所述用戶進(jìn)行畫像，得到所述用戶畫像信息，所述用戶畫像信息用來描述所述用戶的個性特征，所述用戶的注冊信息包括用戶個人信息；

對話模塊，用于根據(jù)所述用戶在所述問題信息，結(jié)合所述用戶的畫像，通過語言模型生成的回答信息；

模型學(xué)習(xí)模塊，用于根據(jù)所述語言模型生成的回答信息，通過強化學(xué)習(xí)技術(shù)更新所述語言模型。

本發(fā)明的技術(shù)方案為：用戶交互模塊，用于接收用戶在對話系統(tǒng)界面中輸入的問題信息；會話管理模塊，用于記錄所述用戶的活動狀態(tài)，所述活動狀態(tài)包括歷史對話信息，用戶位置變換信息和用戶情緒變化信息；用戶分析模塊，用于分析所述用戶的注冊信息和活動狀態(tài)，為所述用戶進(jìn)行畫像，得到所述用戶畫像信息，所述用戶畫像信息用來描述所述用戶的個性特征，所述用戶的注冊信息包括用戶個人信息；

對話模塊，用于根據(jù)所述用戶在所述問題信息，結(jié)合所述用戶的畫像，通過語言模型生成的回答信息；模型學(xué)習(xí)模塊，用于根據(jù)所述語言模型生成的回答信息，通過強化學(xué)習(xí)技術(shù)更新所述語言模型。

通過上述基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)進(jìn)行人機對話，可根據(jù)用戶輸入的對話文本，聯(lián)系上下文信息、用戶的個性特征及對話中的意圖給出符合用戶個性的對話回答，提高用戶體驗。

進(jìn)一步地，所述對話模塊中，通過所述語言模型生成回復(fù)，具體為：

獲得用戶的問題信息和用戶的歷史對話信息；

對所述用戶的問題信息和所述用戶的歷史對話信息通過編碼器進(jìn)行信息提取，得到提取信息，所述提取信息包括所述問題信息中包含的主題信息、言語行為信息和情緒信息；

通過所述編碼器對所述問題信息進(jìn)行編碼，輸出一個固定長度的向量，所述向量表示根據(jù)所述用戶的畫像得到的用戶類別信息；

根據(jù)所述固定長度的向量，結(jié)合所述提取信息，通過解碼器進(jìn)行解碼，生成回答信息。

進(jìn)一步地，所述語言模型的訓(xùn)練過程分為離線有監(jiān)督學(xué)習(xí)階段和在線無監(jiān)督強化學(xué)習(xí)階段。

進(jìn)一步地，所述模型學(xué)習(xí)模塊中，在所述離線有監(jiān)督學(xué)習(xí)階段，通過循環(huán)神經(jīng)網(wǎng)絡(luò)建立所述語言模型，具體為：

所述循環(huán)神經(jīng)網(wǎng)路的第一層輸入當(dāng)前用戶輸入的問題信息和所述歷史對話信息；

所述循環(huán)神經(jīng)網(wǎng)路的第二層為通過編碼器提取的所述當(dāng)前用戶輸入的問題信息的主題信息、言語行為信息、情緒信息和輸出一個固定長度的向量；

所述循環(huán)神經(jīng)網(wǎng)路的第三層輸出通過解碼器解碼所述第二層的信息得到的回答信息。

進(jìn)一步地，所述模型學(xué)習(xí)模塊中，在所述在線無監(jiān)督強化學(xué)習(xí)階段，通過強化學(xué)習(xí)技術(shù)更新語言模型：

根據(jù)所述語言模型生成的回答信息，計算出獎勵系數(shù)；

在通過反向傳播算法進(jìn)行計算過程中，將所述獎勵系數(shù)與所述反向傳播算法中的導(dǎo)數(shù)相乘，生成新的導(dǎo)數(shù)，實現(xiàn)所述語言模型的更新。

進(jìn)一步地，所述用戶在對話系統(tǒng)界面中輸入的問題信息包括語音信息、圖形信息和文字信息。

進(jìn)一步地，所述用戶畫像信息通過用戶在搜索引擎中使用關(guān)鍵字信息、用戶使用手機應(yīng)用程序信息和用戶在對話系統(tǒng)界面中的對話文本信息獲得；

所述用戶在搜索引擎中使用關(guān)鍵字信息的獲得方式包括通過所述用戶在搜索引擎中使用關(guān)鍵字的次數(shù)、使用頻率和使用時間；

所述用戶使用手機應(yīng)用程序信息的獲得方式包括通過所述用戶使用手機應(yīng)用程序的次數(shù)、使用頻率和使用時間。

進(jìn)一步地，所述用戶畫像信息包括標(biāo)簽信息和圖譜信息。

進(jìn)一步地，所述用戶個人信息包括用戶的性別，年齡，住址、講話風(fēng)格、社會關(guān)系、情緒變化模式和個人喜好。

進(jìn)一步地，所述解碼器是通過GRU算法實現(xiàn)的。

附圖說明

為了更清楚地說明本發(fā)明具體實施方式或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對具體實施方式或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹。

圖1示出了本發(fā)明第一實施例所提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)的示意圖；

圖2示出了本發(fā)明第一實施例所提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)的語言模型訓(xùn)練系統(tǒng)框圖；

圖3示出了本發(fā)明第一實施例所提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)的語言模型訓(xùn)練建立示意圖；

圖4示出了本發(fā)明第一實施例所提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)的GRU算法示意圖；

圖5示出了本發(fā)明第一實施例所提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)的強化學(xué)習(xí)示意圖。

具體實施方式

下面將結(jié)合附圖對本發(fā)明技術(shù)方案的實施例進(jìn)行詳細(xì)的描述。以下實施例僅用于更加清楚地說明本發(fā)明的技術(shù)方案，因此只是作為示例，而不能以此來限制本發(fā)明的保護范圍。

實施例一

圖1示出了本發(fā)明第一實施例所提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)10的示意圖，如圖1所示，實施例一提供的一種基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)10，包括：

用戶交互模塊101，用于接收用戶在對話系統(tǒng)界面中輸入的問題信息；

會話管理模塊102，用于記錄用戶的活動狀態(tài)，活動狀態(tài)包括歷史對話信息，用戶位置變換信息和用戶情緒變化信息；

用戶分析模塊103，用于分析用戶的注冊信息和活動狀態(tài)，為用戶進(jìn)行畫像，得到用戶畫像信息，用戶畫像信息用來描述用戶的個性特征，用戶的注冊信息包括用戶個人信息；

對話模塊104，用于根據(jù)用戶在問題信息，結(jié)合用戶的畫像，通過語言模型生成的回答信息；

模型學(xué)習(xí)模塊105，用于根據(jù)語言模型生成的回答信息，通過強化學(xué)習(xí)技術(shù)更新語言模型。

本發(fā)明的技術(shù)方案為：用戶交互模塊101，用于接收用戶在對話系統(tǒng)界面中輸入的問題信息；會話管理模塊102，用于記錄用戶的活動狀態(tài)，活動狀態(tài)包括歷史對話信息，用戶位置變換信息和用戶情緒變化信息；用戶分析模塊103，用于分析用戶的注冊信息和活動狀態(tài)，為用戶進(jìn)行畫像，得到用戶畫像信息，用戶畫像信息用來描述用戶的個性特征，用戶的注冊信息包括用戶個人信息；

對話模塊104，用于根據(jù)用戶在問題信息，結(jié)合用戶的畫像，通過語言模型生成的回答信息；模型學(xué)習(xí)模塊105，用于根據(jù)語言模型生成的回答信息，通過強化學(xué)習(xí)技術(shù)更新語言模型。

用戶交互模塊101接收用戶輸入的問題；會話管理模塊102獲取該用戶的ID，用戶當(dāng)前位置，提問時間及最近5輪的歷史對話等信息；會話管理模塊102向用戶分析模塊103請求用戶的類別信息，會話管理模塊102將前面獲取的信息發(fā)送到對話模塊104，對話模塊使用訓(xùn)練好的語言模型生成一個回答；對話模塊104可以請求模型學(xué)習(xí)模塊105使用強化學(xué)習(xí)技術(shù)來更新語言模型。

通過上述基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)10進(jìn)行人機對話，可根據(jù)用戶輸入的對話文本，聯(lián)系上下文信息、用戶的個性特征及對話中的意圖給出符合用戶個性的對話回答，提高用戶體驗。

其中，用戶的類別信息由用戶分析模塊103生成，用戶分析模塊103用于離線分析用戶，根據(jù)用戶的注冊信息、對話歷史記錄以及從外部系統(tǒng)如微博等獲取的社交關(guān)系等；給用戶進(jìn)行分類以及打上標(biāo)簽，這樣在生成對話的時就可以將用戶的類別作為輸入信息之一，從而實現(xiàn)根據(jù)不同類別的用戶生成個性化的回復(fù)。

具體地，用戶分析模塊103從用戶的注冊信息，歷史聊天記錄，歷史活動信息，歷史對話信息等發(fā)掘出用戶的年齡，性別，住址，活動范圍，愛好，興趣，講話的風(fēng)格，情緒變化模式，社會關(guān)系等，給用戶進(jìn)行畫像。

具體地，對話模塊中，通過語言模型生成回復(fù)，具體為：

獲得用戶的問題信息和用戶的歷史對話信息；

對用戶的問題信息和用戶的歷史對話信息通過編碼器進(jìn)行信息提取，得到提取信息，提取信息包括問題信息中包含的主題信息、言語行為信息和情緒信息；

通過編碼器對問題信息進(jìn)行編碼，輸出一個固定長度的向量，向量表示根據(jù)用戶的畫像得到的用戶類別信息；

根據(jù)固定長度的向量，結(jié)合提取信息，通過解碼器進(jìn)行解碼，生成回答信息。

通過編碼器分析用戶對話內(nèi)容信息中的語義，情緒等信息，然后通過解碼器解碼，生成符合用戶個性的對話回答，通過預(yù)先訓(xùn)練好的語言模型分析用戶對話內(nèi)容的意圖，聯(lián)系上下文信息和用戶的個性，這樣可以給出符合用戶個性的對話回答。

具體地，語言模型的訓(xùn)練過程分為離線有監(jiān)督學(xué)習(xí)階段和在線無監(jiān)督強化學(xué)習(xí)階段。

具體地，模型學(xué)習(xí)模塊中，在離線有監(jiān)督學(xué)習(xí)階段，通過循環(huán)神經(jīng)網(wǎng)絡(luò)建立語言模型，具體為：

循環(huán)神經(jīng)網(wǎng)路的第一層輸入當(dāng)前用戶輸入的問題信息和歷史對話信息；

循環(huán)神經(jīng)網(wǎng)路的第二層為通過編碼器提取的當(dāng)前用戶輸入的問題信息的主題信息、言語行為信息、情緒信息和輸出一個固定長度的向量；

循環(huán)神經(jīng)網(wǎng)路的第三層輸出通過解碼器解碼第二層的信息得到的回答信息。

語言模型一般通過神經(jīng)網(wǎng)絡(luò)建立，本發(fā)明基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)采用循環(huán)神經(jīng)網(wǎng)絡(luò)建立語言模型，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)可以真正充分地利用所有上下文信息來預(yù)測下一個詞，即運用循環(huán)神經(jīng)網(wǎng)絡(luò)建立語言模型可以根據(jù)上下文信息推測出對話的回答信息，使人機對話更自然更準(zhǔn)確。

如圖2所示，語言模型由編碼器和解碼器兩個部分組成，用戶提出的問題首先使用編碼器進(jìn)行編碼，輸出一個固定長度的n維向量，再使用解碼器進(jìn)行解碼，生成一句回答。

具體地，如圖3所示，本發(fā)明的語言模型中使用了4個編碼器來對用戶的問題和歷史對話進(jìn)行信息提取，并和一個表示用戶信息的向量一起輸入到解碼器中進(jìn)行解碼，來生成回答。

具體地，四個編碼器分別是問題編碼器、主題編碼器、言語行為編碼器和情緒編碼器；其中：

問題編碼器(Question Encoder)：用于對用戶的問題進(jìn)行編碼；問題編碼器使用了多層GRU或LSTM實現(xiàn)；

主題編碼器(Topic Encoder)：用于對歷史對話和當(dāng)前問題進(jìn)行編碼，編碼結(jié)果側(cè)重于抽取主題信息；主題編碼器使用CNN+RNN方式實現(xiàn)；

言語行為編碼器(Speech Act Encoder)：用于對歷史對話和當(dāng)前問題進(jìn)行編碼，編碼結(jié)果側(cè)重于抽取言語行為信息，言語行為編碼器的實現(xiàn)方式和問題編碼器的實現(xiàn)方式類似，不同的地方只是在訓(xùn)練模型時需要使用標(biāo)注了言語行為的語料；

情緒編輯器(Emotion Encoder)，用于對歷史對話和當(dāng)前問題進(jìn)行編碼，編碼結(jié)果側(cè)重于抽取情緒信息；情緒編輯器的實現(xiàn)方式和問題編碼器的實現(xiàn)方式類似，不同的地方只是在訓(xùn)練模型時需要使用標(biāo)注了情緒的語料。

具體地，用戶信息使用一個n維向量表示，每一位取值維0或1，可以把用戶類別，用戶的性別，年齡段，愛好，當(dāng)前時間，地點等信息編碼到這個向量中，例如，如果用戶分為3類，那么久可以用3位來表示，如100，010，001，分別表示了3個用戶類別。

具體地，以上4個編碼器的輸出和用戶信息向量為輸入，進(jìn)行解碼，生成回答，解碼器的實現(xiàn)方式是使用GRU實現(xiàn)的，但不同于傳統(tǒng)的GRU，這里增加了上下文輸入，因此成為C—GRU，具體計算過程如圖4所示。

其中，輸出的計算公式如下：

y_t＝S_oftmax(W_hyh_t)

h_t＝z_tοh_t-1+(1-z_t)οg_t

g_t＝tanh(W_xgx_t+W_hg(r_tοh_t-1)+W_cg(u_tοc)+b_g)

z_t＝σ(W_xzx_t+W_hzh_t-1+W_cz(u_tοc)+b_z)

r_t＝σ(W_xrx_t+W_hrh_t-1+W_cr(u_tοc)+b_r)

u_t＝σ(αW_huh_t-1+W_cuc+b_u)

具體地，模型學(xué)習(xí)模塊中，在在線無監(jiān)督強化學(xué)習(xí)階段，通過強化學(xué)習(xí)技術(shù)更新語言模型：

根據(jù)語言模型生成的回答信息，計算出獎勵系數(shù)；

在通過反向傳播算法進(jìn)行計算過程中，將獎勵系數(shù)與反向傳播算法中的導(dǎo)數(shù)相乘，生成新的導(dǎo)數(shù)，實現(xiàn)語言模型的更新。

BP(Back Propagation，反向傳播算法)網(wǎng)絡(luò)是1986年由Rumelhart和McCelland為首的科學(xué)家小組提出，是一種按誤差逆?zhèn)鞑ニ惴ㄓ?xùn)練的多層前饋網(wǎng)絡(luò)，是目前應(yīng)用最廣泛的神經(jīng)網(wǎng)絡(luò)模型之一。BP網(wǎng)絡(luò)能學(xué)習(xí)和存貯大量的輸入-輸出模式映射關(guān)系，而無需事前揭示描述這種映。

在線無監(jiān)督強化學(xué)習(xí)階段，訓(xùn)練出的語言模型已經(jīng)可以產(chǎn)生比較好的，基本沒有語法錯誤的回答，但是由于采用了MLE(maximum likelihood eapection)目標(biāo)，因此比較容易生成一些無意義的回答，所以在這一階段使用強化學(xué)習(xí)修正語言模型的參數(shù)，如圖5所示，當(dāng)對話系統(tǒng)接收到用戶的問題，并生成一個回答，然后運用一個獎勵策略(Reward Policy)計算出獎勵系數(shù)r，在進(jìn)行BP(Back Propagation)時和導(dǎo)數(shù)相乘作為新的導(dǎo)數(shù)，然后繼續(xù)完成BP過程。

具體地，用戶在對話系統(tǒng)界面中輸入的問題信息包括語音信息、圖形信息和文字信息。在對話系統(tǒng)界面中輸入用戶的對話文本信息，文本信息可以是一段語音，可以是一個截圖信息，也可以是文字信息，系統(tǒng)都會根據(jù)這些信息給出相應(yīng)的回答，多種輸入方式可以滿足用戶的不同需求，提高了用戶體驗。

具體地，用戶畫像信息通過用戶在搜索引擎中使用關(guān)鍵字信息、用戶使用手機應(yīng)用程序信息和用戶在對話系統(tǒng)界面中的對話文本信息獲得；

用戶在搜索引擎中使用關(guān)鍵字信息的獲得方式包括通過用戶在搜索引擎中使用關(guān)鍵字的次數(shù)、使用頻率和使用時間；

用戶使用手機應(yīng)用程序信息的獲得方式包括通過用戶使用手機應(yīng)用程序的次數(shù)、使用頻率和使用時間。

用戶的畫像信息為描述包括用戶個性、特點和行為特征的畫像信息，可以通過用戶在搜索引擎中使用關(guān)鍵字信息、用戶使用手機應(yīng)用程序信息和搜集到的用戶對話內(nèi)容樣本信息獲得，比如，用戶經(jīng)常在搜索引擎中搜索關(guān)于美食的關(guān)鍵詞，那么該用戶可能是個美食達(dá)人，比如，用戶經(jīng)常使用購物類的應(yīng)用程序，那么該用戶可能是個網(wǎng)購愛好者，也可以通過搜集到的用戶對話內(nèi)容樣本信息，這些信息可以使以往每次該用戶對話的文本信息，也可以是我們收集到的一些樣本信息。通過這些信息，得到用戶的畫像信息，可以根據(jù)不同用戶的不同特點給出更準(zhǔn)確的回答。

具體地，用戶在搜索引擎中使用關(guān)鍵字信息的獲得方式包括通過用戶在搜索引擎中使用關(guān)鍵字的次數(shù)、使用頻率和使用時間；用戶使用手機應(yīng)用程序信息的獲得方式包括通過所述用戶使用手機應(yīng)用程序的次數(shù)、使用頻率和使用時間。

本發(fā)明基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)可以通過多種方式獲得具有用戶個性特征的信息，本發(fā)明中提到了三種獲取方式，其中所述用戶在搜索引擎中使用關(guān)鍵字信息是根據(jù)所述用戶在搜索引擎中使用關(guān)鍵字的次數(shù)獲得，可以統(tǒng)計所述用戶在搜索引擎中使用關(guān)鍵字的次數(shù)，當(dāng)大于某一閾值時，即判定此關(guān)鍵詞是用戶在搜索引擎中經(jīng)常使用的，同樣，也可以統(tǒng)計用戶使用手機應(yīng)用程序的次數(shù)，當(dāng)大于某一閾值時，即判定此應(yīng)用程序是該用戶經(jīng)常使用的，根據(jù)這些信息可以判斷出該用戶的個性特征，就可以根據(jù)不同的用戶給出不同的回答。

具體地，用戶畫像信息包括標(biāo)簽信息和圖譜信息。用戶畫像信息是用來描述用戶的個人特點的，因此可以通過標(biāo)簽或者圖像的形式表現(xiàn)，直觀方便。具體地，用戶個人信息包括用戶的性別，年齡，住址、講話風(fēng)格、社會關(guān)系、情緒變化模式和個人喜好。

結(jié)合用戶的個人信息，可以給出更準(zhǔn)確的回答，比如知道用戶的性別，在對話過程中就會根據(jù)不同的性別給出不同的回答，比如用戶想知道附近比較好玩的地方，那么系統(tǒng)就會根據(jù)用戶為女性，推薦一些適合女性玩的地方，如KTV，商場等，如果是男性，就會推薦比如健身房，電玩城等地方，因此得到用戶的個人信息，可以得到更精準(zhǔn)的回答。

實施例二

本發(fā)明基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)10，結(jié)合用戶在系統(tǒng)界面的對話內(nèi)容，具體介紹一下本發(fā)明的系統(tǒng)流程；

用戶：你好！

系統(tǒng)：下午好，有什么可以幫助您？

用戶：我的電腦開機不顯示了。

系統(tǒng)：替你難過。你是用Windows操作系統(tǒng)嗎？

用戶：不是，Linux系統(tǒng)。

系統(tǒng)：有什么錯誤提示嗎？

用戶在系統(tǒng)界面中進(jìn)行人機對話，輸入用戶對話的文本信息，如“你好”，系統(tǒng)先將“你好”編碼轉(zhuǎn)換成詞向量，方便計算機進(jìn)行計算，然后對于簡單的問好類信息，系統(tǒng)會根據(jù)預(yù)先設(shè)定的模式，給出相應(yīng)的回答，如“下午好，有什么可以幫助您？”或是“下午好，請問什么事？”，然后用戶接著進(jìn)行對話，“我的電腦開機不顯示了”，同樣，系統(tǒng)先將這句話轉(zhuǎn)換成詞向量信息，然后系統(tǒng)根據(jù)轉(zhuǎn)換成的詞向量信息，通過感知器計算出用戶的意圖信息，意圖信息就是系統(tǒng)會分析出用戶這句話的意圖是什么，這句話的意圖是“用戶電腦的顯示器不好使了，尋求幫助”，然后系統(tǒng)根據(jù)用戶的意圖，結(jié)合用戶的畫像信息，通過語言模型推測出給用戶的回答信息，其中，用戶的畫像信息描述用戶的個人特點等信息，這樣充分利用每個用戶不相同的特點，給用戶提供差別個性化的回答，如“替你難過。你是用Windows操作系統(tǒng)嗎？”，在語言模型中，存儲著很多數(shù)據(jù)，根據(jù)用戶的意圖信息和畫像信息，可以快速在語言模型中找到相應(yīng)有關(guān)于電腦的一些信息，然后給出相應(yīng)的回答。以同樣的方式用戶和系統(tǒng)進(jìn)行對話，就會得到上述對話內(nèi)容。

因此，通過本發(fā)明基于深度學(xué)習(xí)和強化學(xué)習(xí)的自動回復(fù)對話系統(tǒng)，可以根據(jù)用戶對話內(nèi)容表達(dá)的意圖，給出個性化的回答。

最后應(yīng)說明的是：以上各實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述各實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求和說明書的范圍當(dāng)中。