本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體說涉及一種用于機(jī)器人的多模態(tài)輸出方法。

背景技術(shù)：

隨著機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人的應(yīng)用范圍被不斷拓展，尤其的，越來越多的機(jī)器人被應(yīng)用到日常的生產(chǎn)生活中。在日常的生產(chǎn)生活中，機(jī)器人的主要應(yīng)用場景通常集中在與人的交互上。

在當(dāng)前技術(shù)環(huán)境中，人機(jī)交互具有很多不同的方式，其中較為常見的一種模式是用戶依照固定的流程進(jìn)行人機(jī)交互。例如，用戶使用機(jī)器人進(jìn)行游戲，而大部分的游戲流程都是預(yù)先設(shè)置好的。。

在這種情況下，機(jī)器人持續(xù)通過固定的流程進(jìn)行輸出，容易使用戶對交互產(chǎn)生厭倦情緒，降低了機(jī)器人的用戶體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提出了一種用于機(jī)器人的多模態(tài)輸出方法，所述方法包括：

在根據(jù)當(dāng)前運(yùn)行的應(yīng)用進(jìn)行的人機(jī)交互過程中基于用戶交互輸入和/或用戶狀態(tài)數(shù)據(jù)生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

當(dāng)所述用戶興趣參量低于設(shè)定閾值時(shí)，輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出。

在一實(shí)施例中，所述方法還包括：

當(dāng)所述用戶興趣參量高于所述設(shè)定閾值時(shí)，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

在一實(shí)施例中，當(dāng)所述用戶興趣參量低于設(shè)定閾值時(shí)，輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出，其中，在輸出所述預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出之后，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

在一實(shí)施例中，基于用戶交互輸入和/或用戶狀態(tài)數(shù)據(jù)生成針對當(dāng)前交互內(nèi)容的用戶興趣參量，其中，通過如下之一或組合來生成所述用戶興趣參量：

采集用戶語音，通過語音語義理解生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶語音，通過語音情感識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過用戶位置變化和/或視線變化生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過人臉情緒識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過手勢識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。

在一實(shí)施例中，所述當(dāng)前運(yùn)行的應(yīng)用包括：

游戲類交互應(yīng)用、學(xué)習(xí)類交互應(yīng)用。

本發(fā)明還提出了一種智能機(jī)器人，所述機(jī)器人包括：

用戶興趣解析模塊，其配置為在根據(jù)當(dāng)前運(yùn)行的應(yīng)用進(jìn)行的人機(jī)交互過程中基于用戶交互輸入和/或用戶狀態(tài)數(shù)據(jù)生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

輸出模塊，其配置為當(dāng)所述用戶興趣參量低于設(shè)定閾值時(shí)，輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出。

在一實(shí)施例中，所述輸出模塊還配置為：

當(dāng)所述用戶興趣參量高于所述設(shè)定閾值時(shí)，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

在一實(shí)施例中，所述輸出模塊還配置為：在輸出所述預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出之后，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

在一實(shí)施例中，所述用戶興趣解析模塊配置為通過如下之一或組合來生成所述用戶興趣參量：

采集用戶語音，通過語音語義理解生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶語音，通過語音情感識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過用戶位置變化和/或視線變化生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過人臉情緒識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過手勢識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。

在一實(shí)施例中，所述用戶興趣解析模塊配置為在機(jī)器人根據(jù)游戲類交互應(yīng)用和/或?qū)W習(xí)類交互應(yīng)用進(jìn)行的人機(jī)交互過程中生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。

根據(jù)本發(fā)明的方法及機(jī)器人，可以在不影響應(yīng)用功能的實(shí)現(xiàn)的基礎(chǔ)上維持用戶的感興趣程度，從而大大提高用戶體驗(yàn)。

本發(fā)明的其它特征或優(yōu)點(diǎn)將在隨后的說明書中闡述。并且，本發(fā)明的部分特征或優(yōu)點(diǎn)將通過說明書而變得顯而易見，或者通過實(shí)施本發(fā)明而被了解。本發(fā)明的目的和部分優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的步驟來實(shí)現(xiàn)或獲得。

附圖說明

附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例共同用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1和圖2是根據(jù)本發(fā)明實(shí)施例的方法流程圖；

圖3是根據(jù)本發(fā)明一實(shí)施例的機(jī)器人系統(tǒng)結(jié)構(gòu)簡圖。

具體實(shí)施方式

以下將結(jié)合附圖及實(shí)施例來詳細(xì)說明本發(fā)明的實(shí)施方式，借此本發(fā)明的實(shí)施人員可以充分理解本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達(dá)成技術(shù)效果的實(shí)現(xiàn)過程并依據(jù)上述實(shí)現(xiàn)過程具體實(shí)施本發(fā)明。需要說明的是，只要不構(gòu)成沖突，本發(fā)明中的各個(gè)實(shí)施例以及各實(shí)施例中的各個(gè)特征可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。

隨著機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人的應(yīng)用范圍被不斷拓展，尤其的，越來越多的機(jī)器人被應(yīng)用到日常的生產(chǎn)生活中。在日常的生產(chǎn)生活中，機(jī)器人的主要應(yīng)用場景通常集中在與人的交互上。

在當(dāng)前技術(shù)環(huán)境中，人機(jī)交互具有很多不同的方式，其中較為常見的一種模式是用戶依照固定的流程進(jìn)行人機(jī)交互。例如，用戶使用機(jī)器人進(jìn)行游戲，而大部分的游戲流程都是預(yù)先設(shè)置好的。

在這種情況下，機(jī)器人只能通過用戶的輸入來判斷下一步的流程，持續(xù)通過固定的流程進(jìn)行輸出，不容易發(fā)現(xiàn)用戶對交互是否產(chǎn)生厭倦情緒，降低了機(jī)器人的用戶體驗(yàn)。針對這一問題，本發(fā)明提出了一種在人機(jī)交互游戲中，通過判斷用戶當(dāng)前的興趣度，從而使機(jī)器人能更好控制游戲過程的方法。

在用戶依照固定的流程進(jìn)行人機(jī)交互過程中，用戶對交互產(chǎn)生厭倦情緒的主要原因之一是機(jī)器人的交互應(yīng)對是完全依照當(dāng)前運(yùn)行的應(yīng)用中預(yù)設(shè)的交互流程設(shè)置進(jìn)行的，機(jī)器人的交互應(yīng)對無法反應(yīng)用戶自身狀態(tài)的變化，使得交互應(yīng)對生硬、缺乏靈活性。解決這一問題的方法之一就是機(jī)器人根據(jù)用戶自身的狀態(tài)變化及時(shí)調(diào)整交互回應(yīng)，使得交互回應(yīng)靈活多變，從而不斷激發(fā)用戶的交互興趣。

但是，根據(jù)用戶自身的狀態(tài)變化及時(shí)調(diào)整交互回應(yīng)勢必占用大量的處理資源并且需要大量完整精確的數(shù)據(jù)支持，并且靈活多變的交互回應(yīng)也會破壞應(yīng)用中預(yù)設(shè)的交互流程，使得應(yīng)用的功能無法得到有效實(shí)現(xiàn)，從而使得人機(jī)交互失去了原本的目的和意義。

針對上述問題，在本發(fā)明一實(shí)施例中，機(jī)器人根據(jù)用戶自身的狀態(tài)變化調(diào)整交互回應(yīng)以激發(fā)用戶的交互興趣。但是，交互回應(yīng)的調(diào)整并不是隨時(shí)進(jìn)行的，而僅僅是在用戶交互興趣下降(產(chǎn)生厭倦感)的關(guān)鍵節(jié)點(diǎn)進(jìn)行的。這樣，就在最大限度維持應(yīng)用的原有交互流程的基礎(chǔ)上，以盡可能少的交互回應(yīng)調(diào)節(jié)來避免用戶厭倦感的產(chǎn)生，不僅提高了用戶體驗(yàn)，而且保證了處理資源消耗的精簡以及應(yīng)用功能的正常實(shí)現(xiàn)。

接下來基于附圖詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的方法執(zhí)行流程。附圖的流程圖中示出的步驟可以在包含諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。雖然在流程圖中示出了各步驟的邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

在一實(shí)施例中，如圖1所示，機(jī)器人根據(jù)當(dāng)前運(yùn)行的應(yīng)用和用戶進(jìn)行人機(jī)交互(步驟S110)；在人際交互過程中基于用戶交互輸入和/或用戶狀態(tài)數(shù)據(jù)生成針對當(dāng)前交互內(nèi)容的用戶興趣參量(步驟S120)，該用戶興趣參量用于量化描述用戶對于當(dāng)前交互內(nèi)容的感興趣程度。

接下來判斷當(dāng)前用戶的用戶興趣參量是否低于設(shè)定閾值(步驟S130)。在本實(shí)施例中，用戶興趣參量的設(shè)定閾值是當(dāng)用戶對當(dāng)前交互內(nèi)容沒有產(chǎn)生厭倦感時(shí)對于當(dāng)前交互內(nèi)容的感興趣程度的量化描述。當(dāng)用戶的當(dāng)前用戶興趣參量低于設(shè)定閾值時(shí)，則說明用戶對當(dāng)前交互內(nèi)容的感興趣程度開始降低，用戶開始產(chǎn)生厭倦感。

因此在步驟S130之后，如果用戶興趣參量大于等于設(shè)定閾值，則繼續(xù)進(jìn)行原有的人機(jī)交互進(jìn)程(返回步驟S110)。如果用戶興趣參量小于設(shè)定閾值，則輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出(步驟S140)(例如夸張的動作、表情，以及吸引用戶集中注意力的語言)，從而維持或提高用戶對當(dāng)前交互內(nèi)容的興趣，避免用戶產(chǎn)生厭倦感。

在本發(fā)明一實(shí)施例中，根據(jù)用戶對同一應(yīng)用的歷史使用過程中的用戶興趣參量數(shù)據(jù)確定用戶興趣參量的設(shè)定閾值。具體的，以用戶對同一應(yīng)用的歷史使用過程中對交互內(nèi)容沒有產(chǎn)生厭倦感時(shí)對應(yīng)的用戶興趣參量值作為設(shè)定閾值。當(dāng)當(dāng)前的用戶興趣參量值小于該設(shè)定閾值，則說明用戶開始產(chǎn)生厭倦感。

在本發(fā)明另一實(shí)施例中，以當(dāng)前用戶在上一用戶興趣參量檢測時(shí)刻的用戶興趣參量值作為設(shè)定閾值。當(dāng)當(dāng)前的用戶興趣參量值小于該設(shè)定閾值(上一用戶興趣參量檢測時(shí)刻的用戶興趣參量值)，則說明用戶對當(dāng)前交互內(nèi)容的感興趣程度開始降低，用戶開始產(chǎn)生厭倦感。

進(jìn)一步的，考慮到用戶興趣參量值的測量波動以及用戶本身的興趣波動，基于歷史數(shù)據(jù)對用戶興趣參量的設(shè)定波動范圍。具體的，在一實(shí)施例中，以當(dāng)前用戶在上一用戶興趣參量檢測時(shí)刻的用戶興趣參量值作為基準(zhǔn)量，結(jié)合波動范圍設(shè)定用戶興趣參量的設(shè)定閾值。即相較于上一用戶興趣參量檢測時(shí)刻的用戶興趣參量值，如果當(dāng)前的用戶興趣參量值的減小值超出波動范圍，則說明用戶對當(dāng)前交互內(nèi)容的感興趣程度開始降低，用戶開始產(chǎn)生厭倦感。

進(jìn)一步的，在本發(fā)明一實(shí)施例中，在步驟S110中，機(jī)器人根據(jù)當(dāng)前運(yùn)行的應(yīng)用和用戶進(jìn)行人機(jī)交互，即輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。當(dāng)在步驟S130中判斷用戶興趣參量不低于設(shè)定閾值時(shí)，機(jī)器人不輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出，而是依照當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成多模態(tài)輸出并輸出給用戶。

進(jìn)一步的，在本發(fā)明一實(shí)施例中，當(dāng)用戶興趣參量低于設(shè)定閾值時(shí)，輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出。并且，在輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出之后，機(jī)器人返回到通常的輸出模式，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

如圖2所示，機(jī)器人根據(jù)當(dāng)前運(yùn)行的應(yīng)用和用戶進(jìn)行人機(jī)交互(步驟S210)；在人際交互過程中基于用戶交互輸入和/或用戶狀態(tài)數(shù)據(jù)生成針對當(dāng)前交互內(nèi)容的用戶興趣參量(步驟S220)；判斷當(dāng)前用戶的用戶興趣參量是否低于設(shè)定閾值(步驟S230)。

如果用戶興趣參量不低于設(shè)定閾值，則輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出(步驟S250)，繼續(xù)進(jìn)行原有的人機(jī)交互進(jìn)程(返回步驟S210)。

如果用戶興趣參量小于設(shè)定閾值，則輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出(步驟S240)，從而維持或提高用戶對當(dāng)前交互內(nèi)容的興趣，避免用戶產(chǎn)生厭倦感。并且進(jìn)一步的，在步驟S240之后，機(jī)器人返回到通常的輸出模式，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出(步驟S250)，繼續(xù)進(jìn)行原有的人機(jī)交互進(jìn)程(返回步驟S210)。

進(jìn)一步的，在本發(fā)明一實(shí)施例中，在步驟S240中監(jiān)控用戶興趣參量，當(dāng)用戶興趣參量回到預(yù)設(shè)的設(shè)定閾值(用戶回復(fù)對當(dāng)前交互內(nèi)容的興趣)時(shí)才停止輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出。

進(jìn)一步的，在本發(fā)明一實(shí)施例中，為了保證應(yīng)用功能的正常實(shí)現(xiàn)，步驟S240以及步驟S250并行執(zhí)行。即，在整個(gè)人機(jī)交互過程中，根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出不被打斷，始終按照當(dāng)前運(yùn)行的應(yīng)用的固定交互流程進(jìn)行交互。在該交互流程過程中，當(dāng)用戶興趣降低時(shí)，在固定的多模態(tài)交互輸出基礎(chǔ)上增加吸引用戶注意力的多模態(tài)輸出。

進(jìn)一步的，在本發(fā)明一實(shí)施例中，機(jī)器人通過解析與用戶相關(guān)的語音和/或圖像數(shù)據(jù)來獲取用戶興趣參量。具體的，通過如下之一或組合來生成用戶興趣參量：

(1)采集用戶語音，通過語音語義理解生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。例如，在利用應(yīng)用進(jìn)行游戲或?qū)W習(xí)的過程中，當(dāng)如用戶說“太難了”，就表示用戶有無法維持交互狀態(tài)的趨勢，其感興趣程度下降。

(2)采集用戶語音，通過語音情感識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量.例如用戶語調(diào)放緩、處于消極水平，表示對當(dāng)前交互內(nèi)容沒有興趣。

(3)采集用戶圖像，通過用戶位置變化和/或視線變化生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。例如用戶跑開、大幅度晃動、人臉視線不專注，表示沒有繼續(xù)進(jìn)行交互的意愿。

(4)采集用戶圖像，通過人臉情緒識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。例如用戶笑了，處于開心或是興奮狀態(tài)，則表明交互意愿強(qiáng)。

(5)采集用戶圖像，通過手勢識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。例如用戶的手去做別的事情(抓取與當(dāng)前交互內(nèi)容無關(guān)的物品)，則說明用戶不再專注于當(dāng)前的交互內(nèi)容，交互意愿降低。

進(jìn)一步的，在本發(fā)明一實(shí)施例中，機(jī)器人進(jìn)行用戶興趣參量監(jiān)控的應(yīng)用包括游戲類交互應(yīng)用以及學(xué)習(xí)類交互應(yīng)用。上述類型的應(yīng)用具有相對固定的交互模式，并且其應(yīng)用功能的實(shí)現(xiàn)和其交互模式的關(guān)聯(lián)度相對較高。因此，在上述類型的應(yīng)用的執(zhí)行過程中，機(jī)器人根據(jù)本發(fā)明的方法監(jiān)控用戶興趣參量，在盡量不影響應(yīng)用的固有交互流程(應(yīng)用功能的實(shí)現(xiàn))的基礎(chǔ)上維持用戶的感興趣程度。而在其他不具備相對固定的交互模式或應(yīng)用功能的實(shí)現(xiàn)與應(yīng)用固有交互流程關(guān)聯(lián)度不高的應(yīng)用執(zhí)行時(shí)，則采用其他方式維持用戶的感興趣程度(例如構(gòu)造不同于應(yīng)用的固有交互模式的全新的交互模式)。

綜上，根據(jù)本發(fā)明的方法，可以在不影響應(yīng)用功能的實(shí)現(xiàn)的基礎(chǔ)上維持用戶的感興趣程度，從而大大提高用戶體驗(yàn)。

基于本發(fā)明的方法，本發(fā)明還提出了一種智能機(jī)器人。在一實(shí)施例中，如圖3所示，所述機(jī)器人包括：

用戶興趣解析模塊310，其配置為在根據(jù)當(dāng)前運(yùn)行的應(yīng)用進(jìn)行的人機(jī)交互過程中基于用戶交互輸入和/或用戶狀態(tài)數(shù)據(jù)生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

輸出模塊320，其配置為當(dāng)用戶興趣參量低于設(shè)定閾值時(shí)，輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出。

進(jìn)一步的，在一實(shí)施例中，輸出模塊320還配置為：

當(dāng)用戶興趣參量不低于設(shè)定閾值時(shí)，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

進(jìn)一步的，在一實(shí)施例中，輸出模塊320還配置為：在輸出預(yù)設(shè)的吸引用戶注意力的多模態(tài)輸出之后，輸出根據(jù)當(dāng)前運(yùn)行的應(yīng)用的固定交互模式生成的多模態(tài)輸出。

進(jìn)一步的，在一實(shí)施例中，用戶興趣解析模塊310配置為通過如下之一或組合來生成用戶興趣參量：

采集用戶語音，通過語音語義理解生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶語音，通過語音情感識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過用戶位置變化和/或視線變化生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過人臉情緒識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量；

采集用戶圖像，通過手勢識別生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。

進(jìn)一步的，在一實(shí)施例中，用戶興趣解析模塊310配置為在機(jī)器人根據(jù)游戲類交互應(yīng)用和/或?qū)W習(xí)類交互應(yīng)用進(jìn)行的人機(jī)交互過程中生成針對當(dāng)前交互內(nèi)容的用戶興趣參量。

綜上，本發(fā)明的機(jī)器人可以在不影響應(yīng)用功能的實(shí)現(xiàn)的基礎(chǔ)上維持用戶的感興趣程度，相較于現(xiàn)有技術(shù)的機(jī)器人，其用戶體驗(yàn)被大大提高。

雖然本發(fā)明所公開的實(shí)施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。本發(fā)明所述的方法還可有其他多種實(shí)施例。在不背離本發(fā)明實(shí)質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變或變形，但這些相應(yīng)的改變或變形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護(hù)范圍。