本發(fā)明屬于智能機(jī)器人領(lǐng)域，尤其涉及智能機(jī)器人及其情緒交互方法、系統(tǒng)。

背景技術(shù)：

包括工業(yè)機(jī)器人、服務(wù)機(jī)器人、陪聊機(jī)器人和情感陪護(hù)機(jī)器人等在內(nèi)的機(jī)器人目前已經(jīng)逐步進(jìn)入人們的視野，就全球范圍而言，這些機(jī)器人現(xiàn)在以兩位數(shù)的發(fā)展持續(xù)了數(shù)年。隨著智能機(jī)器人技術(shù)的發(fā)展與進(jìn)步，機(jī)器人更大范圍地進(jìn)入人們的商業(yè)與生活。在長期與人交互過程中，機(jī)器人不斷地學(xué)習(xí)與耳濡目染，慢慢變得聰明與善解人意，一定程度上也懂得了人的情感(例如，喜怒哀樂)，可以讀懂人的表情與肢體動(dòng)作。

現(xiàn)在隨著社會(huì)老齡化程度的加深，空巢老人越來越多，對定位于情感交互的機(jī)器人的需求也逐步上升。這些情感交互包括與主人對話、讀懂主人的喜怒哀樂、提醒主人按時(shí)服藥以及察覺老人身體發(fā)生的異常情況等。目前的智能機(jī)器人具有非常高的智商，能夠完成人所賦予的許多工作，但其情商還比較低，從而極大地限制了其使用功能和應(yīng)用范圍。有些機(jī)器人雖然也被賦予了若干形式的“情感”，但這些情感都是非常低級的、零碎的、斷續(xù)的或機(jī)械的，各種情感之間的互動(dòng)不具有連續(xù)性、內(nèi)在邏輯性和辯證統(tǒng)一性，實(shí)際上只是模仿了人類的某種情感表達(dá)，而不是真正意義上的情感。

綜上，目前的智能機(jī)器人主要的缺陷在于只能按照人預(yù)先編制的程序和情感數(shù)據(jù)進(jìn)行動(dòng)作，不能自主地與人進(jìn)行真正意義上的情感交互。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種智能機(jī)器人及其情緒交互方法、系統(tǒng)，以提高智能機(jī)器人與人進(jìn)行情緒交互的智能化水平。

本發(fā)明第一方面提供一種智能機(jī)器人情緒交互方法，所述方法包括：

采集用戶與智能機(jī)器人交互時(shí)所述用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；

將所述語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；

采用情緒引擎處理所述文字信息或句子語義表示，確定與所述文字信息或句子語義表示匹配的答案；

輸出所述與所述文字信息或句子語義表示匹配的答案作為所述智能機(jī)器人對所述用戶的回應(yīng)。

本發(fā)明第二方面提供一種智能機(jī)器人情緒交互系統(tǒng)，所述系統(tǒng)包括：

采集模塊，用于采集用戶與智能機(jī)器人交互時(shí)所述用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；

轉(zhuǎn)換模塊，用于將所述語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；

情緒引擎模塊，用于采用情緒引擎處理所述文字信息或句子語義表示，確定與所述文字信息或句子語義表示匹配的答案；

輸出模塊，用于輸出所述與所述文字信息或句子語義匹配的答案作為所述智能機(jī)器人對所述用戶的回應(yīng)。

本發(fā)明第三方面提供一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如下步驟：

采集用戶與智能機(jī)器人交互時(shí)所述用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；

將所述語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；

采用情緒引擎處理所述文字信息或句子語義表示，確定與所述文字信息或句子語義表示匹配的答案；

輸出所述與所述文字信息或句子語義表示匹配的答案作為所述智能機(jī)器人對所述用戶的回應(yīng)。

本發(fā)明第四方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如下步驟：

采集用戶與智能機(jī)器人交互時(shí)所述用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；

將所述語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；

采用情緒引擎處理所述文字信息或句子語義表示，確定與所述文字信息或句子語義表示匹配的答案；

輸出所述與所述文字信息或句子語義表示匹配的答案作為所述智能機(jī)器人對所述用戶的回應(yīng)。

從上述本發(fā)明技術(shù)方案可知，由于用戶與智能機(jī)器人交互時(shí)產(chǎn)生的語音、面部表情和/或肢體動(dòng)作被轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示，而采用情緒引擎處理文字信息或句子語義表示，是深度學(xué)習(xí)的過程，所確定的與文字信息或句子語義表示匹配的答案具有高度的自適應(yīng)性，因此，與現(xiàn)有技術(shù)智能機(jī)器人與用戶交互時(shí)缺乏感情相比，本發(fā)明技術(shù)方案的智能機(jī)器人將這些與文字信息或句子語義表示匹配的答案作為對用戶的回應(yīng)，其中帶有豐富的感情色彩，體現(xiàn)了智能機(jī)器人較高的智能化水平。

附圖說明

圖1是本發(fā)明實(shí)施例提供的智能機(jī)器人情緒交互方法的實(shí)現(xiàn)流程示意圖；

圖2是本發(fā)明實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖3是本發(fā)明另一實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖4是本發(fā)明另一實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖5本發(fā)明另一實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)的結(jié)構(gòu)示意圖；

圖6是本發(fā)明實(shí)施例提供的智能機(jī)器人的結(jié)構(gòu)示意圖。

具體實(shí)施方式

為了使本發(fā)明的目的、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

本發(fā)明實(shí)施例提供一種智能機(jī)器人及其情緒交互方法，所述方法包括：采集用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；將語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；采用情緒引擎處理所述文字信息或句子語義表示，確定與文字信息或句子語義表示匹配的答案；輸出與文字信息或句子語義表示匹配的答案作為智能機(jī)器人對用戶的回應(yīng)。本發(fā)明實(shí)施例還提供相應(yīng)的智能機(jī)器人情緒交互系統(tǒng)和一種智能機(jī)器人。以下分別進(jìn)行詳細(xì)說明。

請參閱附圖1，是本發(fā)明實(shí)施例一提供的智能機(jī)器人情緒交互方法的實(shí)現(xiàn)流程示意圖，主要包括以下步驟s101至步驟s104，詳細(xì)說明如下：

s101，采集用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種。

在本發(fā)明實(shí)施例中，采集用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音可以通過聲音攝錄設(shè)備實(shí)現(xiàn)，例如，可通過麥克(microphone)采集用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音，而用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的面部表情或肢體動(dòng)作可以通過圖像拍攝設(shè)備實(shí)現(xiàn)，例如，通過攝像頭采集用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的面部表情或肢體動(dòng)作等。用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的面部表情可以是微笑、發(fā)怒、流淚、皺眉、雙眉上揚(yáng)、嘴唇閉攏或嘴角向上，等等，用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的肢體動(dòng)作可以是站姿、坐姿、頭部、手和腿的姿態(tài)或運(yùn)動(dòng)等，包括搖頭、點(diǎn)頭、昂首挺胸、晃動(dòng)拳頭、鼓掌、打呵欠、輕拍肩背、抓耳饒腮等等。這些用戶發(fā)出的面部表情或肢體動(dòng)作蘊(yùn)含用戶豐富的情緒，例如，面部表情方面，“皺眉”通常表示憤怒或?yàn)殡y的情緒，包括憂郁、疑惑、懷疑等，“雙眉上揚(yáng)”通常表示一種非常欣賞或極度驚訝的神情，“嘴唇閉攏”通常表示的是和諧寧靜、端莊自然，“嘴角向上”通常表示善意、喜悅之意，讓對方感到真誠、善解人意，“微笑”一般采取親密注視的方式，等等，可以將這些面部表情及其對應(yīng)的含義做成智能機(jī)器人的面部表情庫；至于動(dòng)作方面，“搖頭”在大多數(shù)的文化里表示不同意或者觀點(diǎn)相左，“點(diǎn)頭”在大多數(shù)的文化里表示同意或認(rèn)可，“昂首挺胸”通常表示自信、果斷，“晃動(dòng)拳頭”通常表示憤怒或富攻擊性；“鼓掌”通常表示贊成或高興，“打呵欠”通常表示厭煩，“輕拍肩背”通常表示鼓勵(lì)、恭喜或安慰，“抓耳饒腮”通常表示迷惑或不相信，等等，可以將這些肢體動(dòng)作及其對應(yīng)的含義做成智能機(jī)器人的肢體動(dòng)作庫。

s102，將語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示。

如前所述，用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的面部表情或肢體動(dòng)作具有豐富的感情含義，而這些面部表情或肢體動(dòng)作能夠被智能機(jī)器人理解，需要將其進(jìn)行轉(zhuǎn)換。在本發(fā)明實(shí)施例中，可以將用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作轉(zhuǎn)化為文字信息。具體實(shí)現(xiàn)時(shí)，可以采用語音處理軟件或硬件，將語音生成對應(yīng)的文字信息；可以通過查詢智能機(jī)器人的面部表情庫，獲知這些面部表情對應(yīng)的含義，從而轉(zhuǎn)化為相應(yīng)的文字信息；可以通過查詢智能機(jī)器人的肢體動(dòng)作庫，獲知這些肢體動(dòng)作對應(yīng)的含義，從而轉(zhuǎn)化為相應(yīng)的文字信息。

需要說明的是，單純的文字信息可能還不足以讓智能機(jī)器人理解。在本發(fā)明實(shí)施例中，還可以進(jìn)一步將文字信息轉(zhuǎn)化為相應(yīng)的句子語義表示，例如，實(shí)數(shù)值向量。具體實(shí)現(xiàn)時(shí)，可以將文字信息輸入到卷積神經(jīng)網(wǎng)絡(luò)(cnn)句子模型，得到這些文字信息的句子語義表示即實(shí)數(shù)值向量。

s103，采用情緒引擎處理句子語義表示，確定與文字信息或句子語義表示匹配的答案。

作為本發(fā)明一個(gè)實(shí)施例，采用情緒引擎處理語音、面部表情和肢體動(dòng)作中的任意一種或多種所轉(zhuǎn)化的文字信息或句子語義表示，確定與這些文字信息或句子語義表示匹配的答案可通過如下步驟sa1031和sa1032實(shí)現(xiàn)：

sa1031，提取上述文字信息中的關(guān)鍵詞。

例如，假設(shè)用戶的某句語音信息所轉(zhuǎn)化成的一句文字信息是“放學(xué)了，今天我很開心呀”，可以從中提取的關(guān)鍵詞包括“放學(xué)”和“開心”；再如，假設(shè)用戶的某個(gè)面部表情所轉(zhuǎn)化成的文字信息為“我現(xiàn)在好難受，想哭”，可以從中提取的關(guān)鍵詞包括“難受”和“想哭”；等等。

sa1032，檢索構(gòu)建的問答知識庫，從問答知識庫搜索與關(guān)鍵詞匹配的答案。

在本發(fā)明實(shí)施中，問答知識庫可以是采用人工模板技術(shù)構(gòu)建，也可以是通過自擴(kuò)展技術(shù)構(gòu)建情感詞典的方法構(gòu)建。人工模板技術(shù)構(gòu)建問答知識庫，是指在特定領(lǐng)域，針對每個(gè)應(yīng)用場景，預(yù)先設(shè)計(jì)各種答案和關(guān)鍵詞，關(guān)鍵詞和答案的對應(yīng)關(guān)系的集合構(gòu)成了問答知識庫，這種人工模板技術(shù)構(gòu)建的問答知識庫，由于是采用各種應(yīng)用場景、配之以大量的數(shù)據(jù)去構(gòu)建，因此具有關(guān)鍵詞和答案的對應(yīng)關(guān)系通常匹配得比較精準(zhǔn)的特點(diǎn)。通過自擴(kuò)展技術(shù)構(gòu)建情感詞典的方法構(gòu)建問答知識庫，實(shí)質(zhì)是一種知識獲取和循序漸進(jìn)學(xué)習(xí)技術(shù)，其特點(diǎn)是只需要少量的數(shù)據(jù)樣本，以此為基礎(chǔ)，通過一次次地訓(xùn)練，將數(shù)據(jù)進(jìn)行有效擴(kuò)充，使得問答知識庫最終達(dá)到需要的數(shù)據(jù)信息規(guī)模。具體地，通過自擴(kuò)展技術(shù)構(gòu)建情感詞典的方法構(gòu)建問答知識庫包括如下主要步驟i)至iv)：i)重復(fù)地從一個(gè)情緒樣本集合d中采樣n個(gè)樣本；ii)針對每次采樣的子樣本集，進(jìn)行統(tǒng)計(jì)學(xué)習(xí)，獲得假設(shè)hi；iii)將若干個(gè)假設(shè)進(jìn)行組合，形成最終樣本集合；iv)這些用于具體的分類任務(wù)的最終樣本集合構(gòu)成問答知識庫。

對于步驟sa1032，在檢索時(shí)，可以采用lucene全文檢索框架，結(jié)合布爾操作、通配符搜索、域搜索、模糊查詢和范圍搜索等算法，將問答知識庫的數(shù)據(jù)建立索引和搜索功能，根據(jù)用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作所轉(zhuǎn)換成的文字信息，在問答知識庫中進(jìn)行模糊匹配，找到最合適的答案。以用戶的某句語音信息所轉(zhuǎn)化成的一句文字信息是“放學(xué)了，今天我很開心呀”為例，通過提取“放學(xué)”和“開心”這兩個(gè)關(guān)鍵詞，從問答知識庫搜索到的與關(guān)鍵詞匹配的答案可以是“我也很開心。是不是今天受到老師的表揚(yáng)了”；以用戶面部表情所轉(zhuǎn)化成的文字信息是“我現(xiàn)在好難受，想哭”為例，通過提取“難受”和“想哭”這兩個(gè)關(guān)鍵詞，從問答知識庫搜索到的與關(guān)鍵詞匹配的答案可以是“你有什么不開心的事，可以說給我聽，或許我能幫助你呀”，等等。

作為本發(fā)明另一實(shí)施例，采用情緒引擎處理語音、面部表情和肢體動(dòng)作中的任意一種或多種所轉(zhuǎn)化的文字信息或句子語義表示，確定與這些文字信息或句子語義表示匹配的答案可通過如下步驟sb1031和sb1032實(shí)現(xiàn)：

sb1031，檢索情緒知識庫，從情緒知識庫中搜索與上述文字信息相似度最高的索引信息。

在本發(fā)明實(shí)施例中，情緒知識庫作為知識庫的一個(gè)分支，其中包含喜、怒、哀、樂等各種表達(dá)情緒的詞組，包括“開心”、“憤怒”、“難過”、“悲傷”、“高興”、“愉快”等，這些詞組包含在與情緒相關(guān)的各種中應(yīng)用場景中，這些應(yīng)用場景匹配有與這些詞組對應(yīng)的各種應(yīng)答內(nèi)容。作為本發(fā)明的一個(gè)實(shí)施例，檢索情緒知識庫，從中搜索與上述文字信息相似度最高的索引信息可以采用貝葉斯方法即編輯距離算法來實(shí)現(xiàn)。具體地，為了提高檢索的準(zhǔn)確度，采用編輯距離(editdistance)算法，該算法中，將從字符串a(chǎn)變成字符串b所需的最少編輯(包括增加、刪除和插入等)次數(shù)稱為從字符串a(chǎn)變成字符串b的編輯距離；一般而言，這個(gè)編輯距離越小，字符串a(chǎn)與字符串b的相似度越高。

以用戶的某句語音信息所轉(zhuǎn)化成的一句文字信息是“放學(xué)了，今天我很開心呀”為例，若采用lucene全文檢索框架，結(jié)合布爾操作、通配符搜索、域搜索、模糊查詢和范圍搜索等算法，檢索到情緒庫中有三個(gè)索引信息分別是“今天放學(xué)很開心”、“今天過節(jié)，很開心哦”和“放學(xué)時(shí)間到了，好高興哦”，顯然，按照上述編輯距離算法的原理，“今天放學(xué)很開心”這一索引信息與“放學(xué)了，今天我很開心呀”的相似度最高。

sb1032，將與文字信息相似度最高的索引信息對應(yīng)的應(yīng)答內(nèi)容確定為與文字信息匹配的答案。

如前所述，情緒知識庫中的應(yīng)用場景匹配有與這些詞組對應(yīng)的各種應(yīng)答內(nèi)容。以上述用戶的某句語音信息所轉(zhuǎn)化成的一句文字信息是“放學(xué)了，今天我很開心呀”為例，由于“今天放學(xué)很開心”這一索引信息與“放學(xué)了，今天我很開心呀”的相似度最高，那么，可以將情緒知識庫中“今天放學(xué)很開心”這一索引信息對應(yīng)的應(yīng)答內(nèi)容，例如，“我也很開心。老師今天表揚(yáng)了你吧？”確定為與“放學(xué)了，今天我很開心呀”匹配的答案。

作為本發(fā)明另一實(shí)施例，采用情緒引擎處理語音、面部表情和肢體動(dòng)作中的任意一種或多種所轉(zhuǎn)化的文字信息或句子語義表示，確定與這些文字信息或句子語義表示匹配的答案可通過如下步驟sc1031和sc1032實(shí)現(xiàn)：

sc1031，將應(yīng)答內(nèi)容和這些句子語義表示分別輸入神經(jīng)網(wǎng)絡(luò)，由神經(jīng)網(wǎng)絡(luò)判斷句子語義表示和應(yīng)答內(nèi)容的匹配程度。

具體實(shí)現(xiàn)時(shí)，可以將文字信息和從知識庫(包括情緒知識庫和問答知識庫等)中檢索到一個(gè)應(yīng)答內(nèi)容分別數(shù)收入到兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)(cnn)句子模型，得到它們的句子語義表示，例如，實(shí)數(shù)值向量，然后，再將這兩個(gè)句子語義表示輸入到一個(gè)多層神經(jīng)網(wǎng)絡(luò)，由神經(jīng)網(wǎng)絡(luò)判斷這兩個(gè)句子語義表示的匹配程度，從而判斷該應(yīng)答內(nèi)容與文字信息是否可以成為一個(gè)匹配的問答。

sc1032，若句子語義表示和應(yīng)答內(nèi)容的匹配程度達(dá)到預(yù)設(shè)閾值，則將應(yīng)答內(nèi)容確定為與句子語義表示匹配的答案。

若經(jīng)過步驟sc1031中神經(jīng)網(wǎng)絡(luò)的判斷，文字信息和應(yīng)答內(nèi)容兩者的句子語義表示的匹配程度達(dá)到預(yù)設(shè)閾值，則將應(yīng)答內(nèi)容確定為與文字信息對應(yīng)的句子語義表示匹配的答案。

仍然以用戶的某句語音信息所轉(zhuǎn)化成的一句文字信息是“放學(xué)了，今天我很開心呀”為例，若“放學(xué)了，今天我很開心呀”與應(yīng)答內(nèi)容“我也很開心。是不是今天受到老師表揚(yáng)了？”兩者的句子語義表示的匹配程度達(dá)到預(yù)設(shè)閾值，則將應(yīng)答內(nèi)容“我也很開心。是不是今天受到老師表揚(yáng)了？”確定為與文字信息“放學(xué)了，今天我很開心呀”匹配的答案。

在本發(fā)明實(shí)施例中，步驟sc1031和sc1032這種并列匹配算法的特點(diǎn)是文字信息和應(yīng)答內(nèi)容的句子語義表示分別通過兩個(gè)獨(dú)立的卷積神經(jīng)網(wǎng)絡(luò)(cnn)得到，在得到它們各自的表示之前，兩個(gè)句子間的信息互不影響。這種模型是對兩個(gè)需要匹配的句子從全局語義上進(jìn)行匹配，在語句匹配的相關(guān)問題中，兩個(gè)待匹配的句子中往往存在相互間的局部匹配。

需要說明的是，上述實(shí)施例提及的問答知識庫或情緒知識庫等知識庫，可以是智能機(jī)器人的本地知識庫，也可以是與智能機(jī)器人可交互的云端的知識庫，這些可以通過對智能機(jī)器人的訓(xùn)練得到或擴(kuò)充，而這些訓(xùn)練分為初級階段的訓(xùn)練和高級階段的訓(xùn)練。初級階段的訓(xùn)練即智能機(jī)器人被動(dòng)接受新知識，不斷地訓(xùn)練智能機(jī)器人，給智能機(jī)器人輸入更多的數(shù)據(jù)，使其能掌握較多的知識；智能機(jī)器人后臺(tái)提供一個(gè)對智能機(jī)器人進(jìn)行訓(xùn)練的功能，采用的方法是模擬現(xiàn)實(shí)的問答錄入大量的模板問答數(shù)據(jù)；數(shù)據(jù)分為兩類：一類是智能機(jī)器人專業(yè)領(lǐng)域內(nèi)的數(shù)據(jù)，如果有現(xiàn)成的文字?jǐn)?shù)據(jù)則直接導(dǎo)入到后臺(tái)語料數(shù)據(jù)庫中，如果沒有則要錄入專業(yè)的問答數(shù)據(jù)；另一類帶有情感的數(shù)據(jù)，這類數(shù)據(jù)就像人們?nèi)粘υ捯粯?例如，今天心情很不錯(cuò)？今天和同事吵架了，不開心、微笑、發(fā)怒等)。高級階段的訓(xùn)練屬于智能機(jī)器人智能自動(dòng)學(xué)習(xí)階段，即：智能機(jī)器人在日常與用戶的交互中，通過聲紋技術(shù)，慢慢熟悉不同的用戶的言行舉止以及性格；智能機(jī)器人學(xué)習(xí)的常用領(lǐng)域包括數(shù)據(jù)挖掘、視覺理解、語音識別和自然語言處理等方面，智能機(jī)器人可以自動(dòng)根據(jù)自己的個(gè)性、興趣、自動(dòng)搜索相關(guān)知識，智能機(jī)器人從資料中根據(jù)文本特征的提取和附加權(quán)重，建立最優(yōu)分類器和倒排索引分類問題，并存儲(chǔ)在自己的知識庫中；因?yàn)樽匀徽Z言的復(fù)雜性和不確定性，使語言結(jié)構(gòu)的類型劃分不唯一，遇到具有二義性的詞或結(jié)構(gòu)復(fù)雜的句子時(shí)，可能不能準(zhǔn)確識別和分析用戶“意圖”；因此在對智能機(jī)器人進(jìn)行日常訓(xùn)練的過程中，不斷地強(qiáng)化智能機(jī)器人的認(rèn)知和對問題的附加權(quán)重，從而使智能機(jī)器人可以正確理解用戶的真實(shí)意圖。

s104，輸出與文字信息或句子語義表示匹配的答案作為智能機(jī)器人對用戶的回應(yīng)。

在輸出與文字信息或句子語義表示匹配的答案時(shí)，一個(gè)比較重要的環(huán)節(jié)是如何自動(dòng)生成自然語言表示的回應(yīng)或回復(fù)。在本發(fā)明實(shí)施例中，基于檢索式的回復(fù)或回應(yīng)機(jī)制是根據(jù)當(dāng)前用戶輸入信息自動(dòng)生成由詞語序列組成的答案，這種機(jī)制主要是利用大量交互數(shù)據(jù)對構(gòu)建自然語言生成模型，給定一個(gè)信息，能夠自動(dòng)生成一個(gè)自然語言表示的回應(yīng)，其中的關(guān)鍵問題是如何實(shí)現(xiàn)這個(gè)自然語言生成模型。回應(yīng)的自動(dòng)生成需要解決兩個(gè)重要問題，其一是句子語義表示，其二是自然語言生成。由于循環(huán)神經(jīng)網(wǎng)絡(luò)在語言的表示以及生成方面都表現(xiàn)出了優(yōu)異的性能，因此，本發(fā)明采用基于神經(jīng)網(wǎng)絡(luò)的對話模型“神經(jīng)響應(yīng)機(jī)”(neuralrespondingmachine，nrm)來構(gòu)建自然語言生成模型，該模型用于實(shí)現(xiàn)人機(jī)之間的單輪對話(single-turndialog)。nrm是從大規(guī)模的信息對，例如問題-答案對中檢索最佳的回應(yīng)，并將學(xué)到的模式存于系統(tǒng)的模型參數(shù)中，即得到一個(gè)自然語言生成模型；由自然語言生成模型可以輸出與文字信息或句子語義表示匹配的答案作為智能機(jī)器人對用戶的回應(yīng)。

從上述附圖1示例的智能機(jī)器人情緒交互方法可知，由于用戶與智能機(jī)器人交互時(shí)產(chǎn)生的語音、面部表情和/或肢體動(dòng)作被轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示，而采用情緒引擎處理文字信息或句子語義表示，是深度學(xué)習(xí)的過程，所確定的與文字信息或句子語義表示匹配的答案具有高度的自適應(yīng)性，因此，與現(xiàn)有技術(shù)智能機(jī)器人與用戶交互時(shí)缺乏感情相比，本發(fā)明技術(shù)方案的智能機(jī)器人將這些與文字信息或句子語義表示匹配的答案作為對用戶的回應(yīng)，其中帶有豐富的感情色彩，體現(xiàn)了智能機(jī)器人較高的智能化水平。

請參閱附圖2，是本發(fā)明實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)的結(jié)構(gòu)示意圖。為了便于說明，附圖2僅示出了與本發(fā)明實(shí)施例相關(guān)的部分。附圖2示例的智能機(jī)器人情緒交互系統(tǒng)主要包括采集模塊201、轉(zhuǎn)換模塊202、情緒引擎模塊203和輸出模塊204，詳細(xì)說明如下：

采集模塊201，用于采集用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；

轉(zhuǎn)換模塊202，用于將用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；

情緒引擎模塊203，用于采用情緒引擎處理文字信息或句子語義表示，確定與文字信息或句子語義表示匹配的答案；

輸出模塊204，用于輸出與文字信息或句子語義表示匹配的答案作為智能機(jī)器人對用戶的回應(yīng)。

附圖2示例的情緒引擎模塊203可以包括提取單元301和第一檢索單元302，如附圖3所示本發(fā)明另一實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)，其中：

提取單元301，用于提取用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種所轉(zhuǎn)化的文字信息中的關(guān)鍵詞；

第一檢索單元302，用于檢索構(gòu)建的問答知識庫，從問答知識庫搜索與關(guān)鍵詞匹配的答案。

附圖2示例的情緒引擎模塊203可以包括第二檢索單元401和第一確定單元402，如附圖4所示本發(fā)明另一實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)，其中：

第二檢索單元401，用于檢索情緒知識庫，從中搜索與用戶與智能機(jī)器人交互時(shí)用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種所轉(zhuǎn)化的文字信息相似度最高的索引信息；

第一確定單元402，用于將與索引信息對應(yīng)的應(yīng)答內(nèi)容確定為與文字信息匹配的答案。

附圖2示例的情緒引擎模塊203可以包括判斷單元501和第二確定單元502，如附圖5所示本發(fā)明另一實(shí)施例提供的智能機(jī)器人情緒交互系統(tǒng)，其中：

判斷單元501，用于將應(yīng)答內(nèi)容和句子語義表示分別輸入神經(jīng)網(wǎng)絡(luò)，由神經(jīng)網(wǎng)絡(luò)判斷句子語義表示和應(yīng)答內(nèi)容的匹配程度；

第二確定單元502，用于若判斷單元501的判斷結(jié)果為句子語義表示和應(yīng)答內(nèi)容的匹配程度達(dá)到預(yù)設(shè)閾值，則將應(yīng)答內(nèi)容確定為與句子語義表示匹配的答案。

圖6是本發(fā)明實(shí)施例提供的智能機(jī)器人的示意圖。如圖6所示，該實(shí)施例的智能機(jī)器人6包括：處理器60、存儲(chǔ)器61以及存儲(chǔ)在所述存儲(chǔ)器61中并可在所述處理器60上運(yùn)行的計(jì)算機(jī)程序62。所述處理器60執(zhí)行計(jì)算機(jī)程序62時(shí)實(shí)現(xiàn)上述附圖1方法實(shí)施例中的步驟，例如圖1所示的步驟s101至s104。或者，所述處理器60執(zhí)行計(jì)算機(jī)程序62時(shí)實(shí)現(xiàn)上述各裝置實(shí)施例中各模塊/單元的功能，例如圖2所示模塊的功能。

示例性的，計(jì)算機(jī)程序62可以被分割成一個(gè)或多個(gè)模塊/單元，一個(gè)或者多個(gè)模塊/單元被存儲(chǔ)在存儲(chǔ)器61中，并由所述處理器60執(zhí)行，以完成本發(fā)明。所述一個(gè)或多個(gè)模塊/單元可以是能夠完成特定功能的一系列計(jì)算機(jī)程序指令段，該指令段用于描述所述計(jì)算機(jī)程序62在所述智能機(jī)器人6中的執(zhí)行過程。例如，所述計(jì)算機(jī)程序62可以被分割成采集模塊、轉(zhuǎn)換模塊、情緒引擎模塊和輸出模塊(虛擬裝置中的模塊)，各模塊具體功能如下：采集模塊，用于采集用戶與智能機(jī)器人交互時(shí)所述用戶產(chǎn)生的語音、面部表情和肢體動(dòng)作中的任意一種或多種；轉(zhuǎn)換模塊，用于將所述語音、面部表情和肢體動(dòng)作中的任意一種或多種轉(zhuǎn)化為相應(yīng)的文字信息或句子語義表示；情緒引擎模塊，用于采用情緒引擎處理所述文字信息或句子語義表示，確定與所述文字信息或句子語義表示匹配的答案；輸出模塊，用于輸出所述與所述文字信息或句子語義匹配的答案作為所述智能機(jī)器人對所述用戶的回應(yīng)。

所述智能機(jī)器人6可以是桌上型計(jì)算機(jī)、筆記本、掌上電腦及云端服務(wù)器等計(jì)算設(shè)備。所述智能機(jī)器人可包括但不僅限于處理器60、存儲(chǔ)器61。本領(lǐng)域技術(shù)人員可以理解，圖6僅僅是智能機(jī)器人6的示例，并不構(gòu)成對智能機(jī)器人6的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件，例如所述智能機(jī)器人還可以包括輸入輸出設(shè)備、網(wǎng)絡(luò)接入設(shè)備、總線等。

所述處理器60可以是中央處理單元(centralprocessingunit，cpu)，還可以是其他通用處理器、數(shù)字信號處理器(digitalsignalprocessor，dsp)、專用集成電路(applicationspecificintegratedcircuit，asic)、現(xiàn)成可編程門陣列(field-programmablegatearray，fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。

所述存儲(chǔ)器61可以是所述智能機(jī)器人6的內(nèi)部存儲(chǔ)單元，例如智能機(jī)器人6的硬盤或內(nèi)存。所述存儲(chǔ)器61也可以是所述智能機(jī)器人6的外部存儲(chǔ)設(shè)備，例如所述智能機(jī)器人6上配備的插接式硬盤，智能存儲(chǔ)卡(smartmediacard,smc)、安全數(shù)字(securedigital，sd)卡、閃存卡(flashcard)等。進(jìn)一步地，所述存儲(chǔ)器61還可以既包括所述智能機(jī)器人6的內(nèi)部存儲(chǔ)單元也包括外部存儲(chǔ)設(shè)備。所述存儲(chǔ)器61用于存儲(chǔ)所述計(jì)算機(jī)程序以及所述智能機(jī)器人所需的其他程序和數(shù)據(jù)。所述存儲(chǔ)器61還可以用于暫時(shí)地存儲(chǔ)已經(jīng)輸出或者將要輸出的數(shù)據(jù)。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為了描述的方便和簡潔，僅以上述各功能單元、模塊的劃分進(jìn)行舉例說明，實(shí)際應(yīng)用中，可以根據(jù)需要而將上述功能分配由不同的功能單元、模塊完成，即將所述智能機(jī)器人的內(nèi)部結(jié)構(gòu)劃分成不同的功能單元或模塊，以完成以上描述的全部或者部分功能。實(shí)施例中的各功能單元、模塊可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中，上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。另外，各功能單元、模塊的具體名稱也只是為了便于相互區(qū)分，并不用于限制本申請的保護(hù)范圍。上述系統(tǒng)中單元、模塊的具體工作過程，可以參考前述方法實(shí)施例中的對應(yīng)過程，在此不再贅述。

在上述實(shí)施例中，對各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒有詳述或記載的部分，可以參見其它實(shí)施例的相關(guān)描述。

本領(lǐng)域普通技術(shù)人員可以意識到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。

在本發(fā)明所提供的實(shí)施例中，應(yīng)該理解到，所揭露的裝置/智能機(jī)器人和方法，可以通過其它的方式實(shí)現(xiàn)。例如，以上所描述的裝置/智能機(jī)器人實(shí)施例僅僅是示意性的，例如，所述模塊或單元的劃分，僅僅為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時(shí)可以有另外的劃分方式，例如多個(gè)單元或組件可以結(jié)合或者可以集成到另一個(gè)系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通訊連接可以是通過一些接口，裝置或單元的間接耦合或通訊連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。

另外，在本發(fā)明各個(gè)實(shí)施例中的各功能單元可以集成在一個(gè)處理單元中，也可以是各個(gè)單元單獨(dú)物理存在，也可以兩個(gè)或兩個(gè)以上單元集成在一個(gè)單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。

所述集成的模塊/單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時(shí)，可以存儲(chǔ)在一個(gè)計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中?；谶@樣的理解，本發(fā)明實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，也可以通過計(jì)算機(jī)程序來指令相關(guān)的硬件來完成，所述的計(jì)算機(jī)程序可存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，該計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)，可實(shí)現(xiàn)上述各個(gè)方法實(shí)施例的步驟，例如，附圖1的步驟s101至s104。其中，所述計(jì)算機(jī)程序包括計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼可以為源代碼形式、對象代碼形式、可執(zhí)行文件或某些中間形式等。所述計(jì)算機(jī)可讀介質(zhì)可以包括：能夠攜帶所述計(jì)算機(jī)程序代碼的任何實(shí)體或裝置、記錄介質(zhì)、u盤、移動(dòng)硬盤、磁碟、光盤、計(jì)算機(jī)存儲(chǔ)器、只讀存儲(chǔ)器(rom，read-onlymemory)、隨機(jī)存取存儲(chǔ)器(ram，randomaccessmemory)、電載波信號、電信信號以及軟件分發(fā)介質(zhì)等。需要說明的是，所述計(jì)算機(jī)可讀介質(zhì)包含的內(nèi)容可以根據(jù)司法管轄區(qū)內(nèi)立法和專利實(shí)踐的要求進(jìn)行適當(dāng)?shù)脑鰷p，例如在某些司法管轄區(qū)，根據(jù)立法和專利實(shí)踐，計(jì)算機(jī)可讀介質(zhì)不包括電載波信號和電信信號。

以上所述實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實(shí)施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。