本發(fā)明涉及計算機(jī)領(lǐng)域，具體說涉及一種針對具有視覺能力的機(jī)器人的多模態(tài)輸出方法。

背景技術(shù)：

隨著機(jī)器人技術(shù)的不斷發(fā)展，機(jī)器人的應(yīng)用范圍被不斷拓展，尤其的，越來越多的機(jī)器人被應(yīng)用到日常的生產(chǎn)生活中。如何提高機(jī)器人的擬人化水平，提高機(jī)器人的用戶體驗就成了當(dāng)前機(jī)器人技術(shù)的主要研發(fā)方向。

在日常的生產(chǎn)生活中，機(jī)器人的主要應(yīng)用場景通常集中在與人的交互上。因此，提高機(jī)器人的擬人化水平，提高機(jī)器人的用戶體驗的主要針對方向也就集中在如何使得機(jī)器人的人機(jī)交互行為更為擬人化。

隨著機(jī)器人硬件技術(shù)的不斷發(fā)展，機(jī)器人在硬件基礎(chǔ)上的功能不斷提高。但是，伴隨著機(jī)器人硬件的不斷升級，其人機(jī)交互模式并沒有進(jìn)行相應(yīng)的升級調(diào)整。尤其的，當(dāng)前大多機(jī)器人具備了圖像采集功能，但是機(jī)器人的人機(jī)交互模式還停留在最初的文字語音交互方式上。這就造成了機(jī)器人硬件資源的極大浪費(fèi)。

技術(shù)實現(xiàn)要素：

本發(fā)明提出了一種針對具有視覺能力的機(jī)器人的多模態(tài)輸出方法，所述方法包括：

調(diào)用機(jī)器人視覺處理模塊檢測并在出現(xiàn)用戶時主動獲取該用戶圖像數(shù)據(jù)；

根據(jù)所述當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份；

生成并輸出與所述用戶身份匹配的主動交互輸出。

在一實施例中，根據(jù)所述當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份，其中：

分析所述當(dāng)前用戶圖像數(shù)據(jù)獲取當(dāng)前用戶特征信息；

查找與所述當(dāng)前用戶特征信息匹配的已保存用戶特征信息；

獲取所述已保存用戶特征信息對應(yīng)的用戶身份。

在一實施例中，根據(jù)所述當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份，其中，當(dāng)無法確定用戶身份時，調(diào)用獲取身份機(jī)制獲取當(dāng)前用戶身份信息并保存。

在一實施例中，根據(jù)所述當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份由服務(wù)器或本地處理器執(zhí)行。

在一實施例中，生成并輸出與所述用戶身份匹配的主動交互輸出，其中：

基于當(dāng)前的對話內(nèi)容生成第一多模態(tài)輸出內(nèi)容；

在所述第一多模態(tài)輸出內(nèi)容的基礎(chǔ)上基于用戶身份生成第二多模態(tài)輸出內(nèi)容，所述第二多模態(tài)輸出內(nèi)容與所述用戶身份匹配；

結(jié)合所述第一多模態(tài)輸出內(nèi)容以及所述第二多模態(tài)輸出內(nèi)容生成并輸出所述多模態(tài)輸出。

本發(fā)明還提出了一種具有視覺能力的機(jī)器人，所述機(jī)器人包括：

用戶圖像數(shù)據(jù)獲取模塊，其配置為調(diào)用機(jī)器人視覺處理模塊檢測并在出現(xiàn)用戶時主動獲取該用戶圖像數(shù)據(jù)；

用戶身份確定模塊，其配置為根據(jù)所述當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份；

交互輸出生成模塊，其配置為生成并輸出與所述用戶身份匹配的主動交互輸出。

在一實施例中，所述用戶身份確定模塊配置為：

分析所述當(dāng)前用戶圖像數(shù)據(jù)獲取當(dāng)前用戶特征信息；

查找與所述當(dāng)前用戶特征信息匹配的已保存用戶特征信息；

獲取所述已保存用戶特征信息對應(yīng)的用戶身份。

在一實施例中，所述機(jī)器人還包含用戶身份獲取模塊，所述用戶身份獲取模塊配置為當(dāng)無法確定用戶身份時，調(diào)用獲取身份機(jī)制獲取當(dāng)前用戶身份信息并保存。

在一實施例中，所述用戶身份確定模塊配置為基于服務(wù)器或本地處理器執(zhí)行身份確定操作。

在一實施例中，所述交互輸出生成模塊配置為：

基于當(dāng)前的對話內(nèi)容生成第一多模態(tài)輸出內(nèi)容；

在所述第一多模態(tài)輸出內(nèi)容的基礎(chǔ)上基于用戶身份生成第二多模態(tài)輸出內(nèi)容，所述第二多模態(tài)輸出內(nèi)容與所述用戶身份匹配；

結(jié)合所述第一多模態(tài)輸出內(nèi)容以及所述第二多模態(tài)輸出內(nèi)容生成并輸出所述多模態(tài)輸出。

根據(jù)本發(fā)明的方法，機(jī)器人基于其圖像采集裝置識別當(dāng)前用戶的身份，然后針對用戶的不同身份有針對性的做出不同的交互應(yīng)答，尤其的，在用戶尚未進(jìn)行交互時主動向用戶輸出匹配用戶身份的交互輸出。機(jī)器人的圖像采集能力被輔助應(yīng)用到機(jī)器人的人機(jī)交互過程中，相較于現(xiàn)有技術(shù)，機(jī)器人的應(yīng)用功能被大大拓展，機(jī)器人的用戶體驗得到顯著提高。

本發(fā)明的其它特征或優(yōu)點將在隨后的說明書中闡述。并且，本發(fā)明的部分特征或優(yōu)點將通過說明書而變得顯而易見，或者通過實施本發(fā)明而被了解。本發(fā)明的目的和部分優(yōu)點可通過在說明書、權(quán)利要求書以及附圖中所特別指出的步驟來實現(xiàn)或獲得。

附圖說明

附圖用來提供對本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實施例共同用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中：

圖1是根據(jù)本發(fā)明一實施例的方法流程圖；

圖2～4是根據(jù)本發(fā)明不同實施例的部分方法流程圖；

圖5是根據(jù)本發(fā)明一實施例的機(jī)器人結(jié)構(gòu)簡圖。

具體實施方式

以下將結(jié)合附圖及實施例來詳細(xì)說明本發(fā)明的實施方式，借此本發(fā)明的實施人員可以充分理解本發(fā)明如何應(yīng)用技術(shù)手段來解決技術(shù)問題，并達(dá)成技術(shù)效果的實現(xiàn)過程并依據(jù)上述實現(xiàn)過程具體實施本發(fā)明。需要說明的是，只要不構(gòu)成沖突，本發(fā)明中的各個實施例以及各實施例中的各個特征可以相互結(jié)合，所形成的技術(shù)方案均在本發(fā)明的保護(hù)范圍之內(nèi)。

在日常的生產(chǎn)生活中，機(jī)器人的主要應(yīng)用場景通常集中在與人的交互上。因此，提高機(jī)器人的擬人化水平，提高機(jī)器人的用戶體驗的主要針對方向也就集中在如何使得機(jī)器人的人機(jī)交互行為更為擬人化。

隨著機(jī)器人硬件技術(shù)的不斷發(fā)展，機(jī)器人在硬件基礎(chǔ)上的功能不斷提高。但是，伴隨著機(jī)器人硬件的不斷升級，其人機(jī)交互模式并沒有進(jìn)行相應(yīng)的升級調(diào)整。尤其的，當(dāng)前大多機(jī)器人具備了圖像采集功能，但是機(jī)器人的人機(jī)交互模式還停留在最初的文字語音交互方式上。這就造成了機(jī)器人硬件資源的極大浪費(fèi)。

為了擴(kuò)展機(jī)器人的應(yīng)用范圍，提升機(jī)器人的用戶體驗本發(fā)明的發(fā)明人提出了一種針對具有視覺能力的機(jī)器人的多模態(tài)輸出方法。具體的，機(jī)器人基于其圖像采集裝置識別當(dāng)前用戶的身份，然后針對用戶的不同身份有針對性的做出不同的交互應(yīng)答。這樣，將機(jī)器人的圖像采集能力輔助應(yīng)用到機(jī)器人的人機(jī)交互過程中，不但拓展了機(jī)器人的應(yīng)用功能，而且大大提高了機(jī)器人的用戶體驗。

接下來基于附圖詳細(xì)描述本發(fā)明具體實施例的詳細(xì)執(zhí)行過程。附圖的流程圖中示出的步驟可以在包含諸如一組計算機(jī)可執(zhí)行指令的計算機(jī)系統(tǒng)中執(zhí)行。雖然在流程圖中示出了各步驟的邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。

如圖1所示，在本發(fā)明一實施例中，機(jī)器人調(diào)用機(jī)器人視覺處理模塊獲取當(dāng)前圖像(步驟S100)；檢測當(dāng)前圖像從而判斷當(dāng)前是否存在用戶(步驟S110)；如果不存在用戶，則返回步驟S100，再次獲取當(dāng)前圖像并重復(fù)檢測步驟。

如果當(dāng)前存在用戶，則機(jī)器人主動獲取該用戶圖像數(shù)據(jù)(步驟S120)；并進(jìn)一步的根據(jù)當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份(步驟S130)；最后，機(jī)器人生成并輸出與所述用戶身份匹配的主動交互輸出(步驟S140)。

在圖1所示的步驟中，關(guān)鍵步驟之一是步驟S130，確定用戶身份。具體的，在一實施例中，如圖2所示，機(jī)器人首先分析當(dāng)前用戶圖像數(shù)據(jù)獲取當(dāng)前用戶特征信息(步驟S200)；然后查找與當(dāng)前用戶特征信息匹配的已保存用戶特征信息(步驟S210)；最后獲取已保存用戶特征信息對應(yīng)的用戶身份(步驟S220)。

進(jìn)一步的，在圖1所示的步驟S130中，會出現(xiàn)機(jī)器人無法識別當(dāng)前用戶身份的情況。例如，當(dāng)前的用戶為新用戶，機(jī)器人之前并未儲存其對應(yīng)的用戶特征信息。那么在圖2所示的步驟S210中，機(jī)器人也就無法查找到與當(dāng)前用戶特征信息匹配的已保存用戶特征信息。在這種情況下，在本發(fā)明一實施例中，當(dāng)無法確定用戶身份時，調(diào)用獲取身份機(jī)制獲取當(dāng)前用戶身份信息并保存。

如圖3所示，機(jī)器人首先分析當(dāng)前用戶圖像數(shù)據(jù)獲取當(dāng)前用戶特征信息(步驟S300)；然后查找與當(dāng)前用戶特征信息匹配的已保存用戶特征信息(步驟S310)；接著確定步驟S310中是否可以查找到與當(dāng)前用戶特征信息匹配的已保存用戶特征信息(步驟S320)；在步驟S320中，如果確定存在與當(dāng)前用戶特征信息匹配的已保存用戶特征信息則獲取已保存用戶特征信息對應(yīng)的用戶身份(步驟S330)。

在步驟S320中，如果確定不存在與當(dāng)前用戶特征信息匹配的已保存用戶特征信息則獲取新用戶身份信息并保存(步驟S340)。

具體的，在本發(fā)明一實施例中，步驟S340的具體執(zhí)行方式是機(jī)器人主動向用戶詢問以獲取新用戶的身份信息。

進(jìn)一步的，在圖1所示的步驟S130中，無法確定用戶身份的另一個原因可能是步驟S100和/或步驟S120出現(xiàn)錯誤，即機(jī)器人并沒有獲取到足以識別用戶身份的正確的用戶圖像數(shù)據(jù)。在這種情況下，在本發(fā)明一實施例中，在圖3所示的步驟S340執(zhí)行過程中，機(jī)器人將獲取到的新用戶身份信息與當(dāng)前已保存的用戶特征信息做比對，如果發(fā)現(xiàn)新用戶身份信息是已經(jīng)保存了的，那么說明機(jī)器人的用戶圖像數(shù)據(jù)獲取環(huán)節(jié)出了問題，機(jī)器人進(jìn)行相應(yīng)的自檢或發(fā)出警報。

進(jìn)一步的，在本發(fā)明一實施例中，用戶身份的確認(rèn)是在機(jī)器人本地進(jìn)行的，也就是說，用戶特征信息是保存在機(jī)器人本地存儲器上的，由機(jī)器人本地處理器進(jìn)行用戶身份的識別。為了減小機(jī)器人的數(shù)據(jù)存儲壓力以及數(shù)據(jù)處理壓力，在本發(fā)明一實施例中，機(jī)器人基于網(wǎng)絡(luò)云端服務(wù)器進(jìn)行用戶身份的識別。

具體的，在本發(fā)明一實施例中，已保存的用戶特征信息保存在云端服務(wù)器。當(dāng)機(jī)器人需要進(jìn)行用戶身份識別時，從云端服務(wù)器的數(shù)據(jù)庫中查找與當(dāng)前用戶特征信息匹配的已保存用戶特征信息。這樣，機(jī)器人就不需要將已保存用戶特征信息保存在自身的存儲器中，機(jī)器人的存儲壓力大大降低。并且，進(jìn)一步的，當(dāng)已保存用戶特征信息需要更新時(例如機(jī)器人獲取到新用戶身份信息時)，只需要更新云端服務(wù)器存儲的數(shù)據(jù)(機(jī)器人通過網(wǎng)絡(luò)將獲取到的新用戶身份信息寫入云端服務(wù)器的數(shù)據(jù)庫)，這樣同一服務(wù)網(wǎng)絡(luò)下的所有機(jī)器人都可以調(diào)用到新的用戶身份信息，而不需要逐一對機(jī)器人進(jìn)行新用戶身份信息的更新。

進(jìn)一步的，在本發(fā)明一實施例中，為了進(jìn)一步降低機(jī)器人的數(shù)據(jù)處理壓力，用戶身份的確認(rèn)(查找與當(dāng)前用戶特征信息匹配的已保存用戶特征信息)過程也在云端服務(wù)器完成。機(jī)器人只需將獲取到的用戶特征信息發(fā)送到云端服務(wù)器，然后接受來自云端服務(wù)器的用戶身份確認(rèn)結(jié)果。

在圖1所示的步驟中，關(guān)鍵步驟還包括步驟S140，生成并輸出與用戶身份匹配的主動交互輸出。具體的，在本發(fā)明一實施例中，如圖4所示，機(jī)器人首先基于當(dāng)前的對話內(nèi)容生成第一多模態(tài)輸出內(nèi)容(步驟S400)；然后在第一多模態(tài)輸出內(nèi)容的基礎(chǔ)上基于用戶身份生成第二多模態(tài)輸出內(nèi)容(步驟S410)，其中，第二多模態(tài)輸出內(nèi)容與用戶身份匹配；最后，結(jié)合第一多模態(tài)輸出內(nèi)容以及第二多模態(tài)輸出內(nèi)容生成并輸出多模態(tài)輸出。

例如，在一應(yīng)用環(huán)境中，用戶向機(jī)器人詢問天氣狀況，機(jī)器人識別出用戶身份為A。此時，機(jī)器人生成第一多模態(tài)輸出內(nèi)容“今天會下雨”(回答用戶提問)；然后在第一多模態(tài)輸出內(nèi)容“今天會下雨”機(jī)器人結(jié)合用戶身份生成第二多模態(tài)輸出內(nèi)容“A，上班時要帶傘”(A每天這個時候出去上班)；最后，機(jī)器人生成并輸出多模態(tài)輸出“今天會下雨，A，上班時要帶傘”。相較于現(xiàn)有技術(shù)中機(jī)器人僅僅有針對性的回答“今天會下雨”，根據(jù)本發(fā)明方法的機(jī)器人擬人化程度大大增強(qiáng)，用戶體驗得到提高。

進(jìn)一步的，當(dāng)機(jī)器人和用戶的交互并未開始時(當(dāng)前的對話內(nèi)容為空)，那么第一多模態(tài)輸出內(nèi)容也就為空。此時，在本發(fā)明一實施例中，機(jī)器人直接生成與用戶身份匹配的第二多模態(tài)輸出內(nèi)容。具體的，在一實施例中，在一具體的應(yīng)用環(huán)境中，當(dāng)機(jī)器人識別出用戶身份時，主動向用戶打招呼。例如，說出用戶名字，然后問候(早上好、你好、或是天氣不錯等)。

綜上，根據(jù)本發(fā)明的方法，機(jī)器人基于其圖像采集裝置識別當(dāng)前用戶的身份，然后針對用戶的不同身份有針對性的做出不同的交互應(yīng)答，尤其的，在用戶尚未進(jìn)行交互時主動向用戶輸出匹配用戶身份的交互輸出。這樣，將機(jī)器人的圖像采集能力輔助應(yīng)用到機(jī)器人的人機(jī)交互過程中，不但拓展了機(jī)器人的應(yīng)用功能，而且大大提高了機(jī)器人的用戶體驗。

基于本發(fā)明的方法，本發(fā)明還提出了一種具有視覺能力的機(jī)器人。在一實施例中，如圖5所示，機(jī)器人包括：

用戶圖像數(shù)據(jù)獲取模塊510，其配置為調(diào)用機(jī)器人視覺處理模塊檢測并在出現(xiàn)用戶時主動獲取該用戶圖像數(shù)據(jù)；

用戶身份確定模塊520，其配置為根據(jù)當(dāng)前用戶圖像數(shù)據(jù)確定用戶身份；

交互輸出生成模塊530，其配置為生成并輸出與用戶身份匹配的主動交互輸出。

進(jìn)一步的，在一實施例中，用戶身份確定模塊520配置為：分析當(dāng)前用戶圖像數(shù)據(jù)獲取當(dāng)前用戶特征信息；查找與當(dāng)前用戶特征信息匹配的已保存用戶特征信息；獲取已保存用戶特征信息對應(yīng)的用戶身份。

進(jìn)一步的，在一實施例中，機(jī)器人還包含用戶身份獲取模塊540，用戶身份獲取模塊配置為當(dāng)無法確定用戶身份時，調(diào)用獲取身份機(jī)制獲取當(dāng)前用戶身份信息并保存。

進(jìn)一步的，在一實施例中，用戶身份確定模塊520配置為基于服務(wù)器或本地處理器執(zhí)行身份確定操作。

進(jìn)一步的，在一實施例中，交互輸出生成模塊530配置為：基于當(dāng)前的對話內(nèi)容生成第一多模態(tài)輸出內(nèi)容；在第一多模態(tài)輸出內(nèi)容的基礎(chǔ)上基于用戶身份生成第二多模態(tài)輸出內(nèi)容，第二多模態(tài)輸出內(nèi)容與所述用戶身份匹配；結(jié)合第一多模態(tài)輸出內(nèi)容以及第二多模態(tài)輸出內(nèi)容生成并輸出多模態(tài)輸出。

本發(fā)明的機(jī)器人基于其圖像采集裝置識別當(dāng)前用戶的身份，然后針對用戶的不同身份有針對性的做出不同的交互應(yīng)答，尤其的，在用戶尚未進(jìn)行交互時主動向用戶輸出匹配用戶身份的交互輸出。這樣，將機(jī)器人的圖像采集能力輔助應(yīng)用到機(jī)器人的人機(jī)交互過程中，不但拓展了機(jī)器人的應(yīng)用功能，而且大大提高了機(jī)器人的用戶體驗。

雖然本發(fā)明所公開的實施方式如上，但所述的內(nèi)容只是為了便于理解本發(fā)明而采用的實施方式，并非用以限定本發(fā)明。本發(fā)明所述的方法還可有其他多種實施例。在不背離本發(fā)明實質(zhì)的情況下，熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變或變形，但這些相應(yīng)的改變或變形都應(yīng)屬于本發(fā)明的權(quán)利要求的保護(hù)范圍。