基于人工智能的人機(jī)交互方法、裝置和終端設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及智能終端技術(shù)領(lǐng)域，尤其涉及一種基于人工智能的人機(jī)交互方法、裝置和終端設(shè)備。
【背景技術(shù)】
[0002]隨著中國社會(huì)呈現(xiàn)日趨老齡化、少子化和城市化的趨勢(shì)，催生出以下問題:
[0003]1、年輕人工作壓力日益增大，分身乏術(shù)，無法有充足的時(shí)間陪伴家里的老人和孩子;
[0004]2、父母與子女異地的情況日益普遍，家庭成員、親人分居于不同的地點(diǎn)，家庭內(nèi)的溝通成本大大增加，缺少親密、有效和便捷的溝通方式；
[0005]3、年老的老人和年幼的孩子需要更多的情感關(guān)愛、溝通交流、教育、信息獲取協(xié)助，而這些在孩子或父母不在家的情況下都很難獲得；
[0006]4、年輕一代在外工作的時(shí)候，需要能夠隨時(shí)隨地與自己的“家”(包括各種家電控制)、“家人”(包括上一輩的父母，下一代的孩子)進(jìn)行聯(lián)絡(luò)，這種聯(lián)絡(luò)方式由于服務(wù)于家人之間，需要更低的使用門檻和更高的親密度；
[0007]5、分居異地的家庭之間，需要一種更加緊密、便捷的聯(lián)系手段，中國傳統(tǒng)的家庭觀念，讓所有人都渴望能夠在身不由己與家人分隔各地的同時(shí)，可以通過某種方式隨時(shí)“團(tuán)聚一堂，，；
[0008]6、年老的老人和年幼的孩子都是重點(diǎn)需要日?？醋o(hù)、情感陪伴以及各種幫助的人群，而對(duì)于擔(dān)負(fù)著“看護(hù)、陪伴、幫助、教育”職責(zé)的年輕一代卻有著繁重的工作任務(wù)，無法陪伴在老人和孩子的身旁。
[0009]但是，現(xiàn)有技術(shù)中卻沒有提供針對(duì)上述問題的解決方案，無法進(jìn)行高功能高陪伴型的智能人機(jī)交互，用戶的需求無法得到滿足，用戶體驗(yàn)較差。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。
[0011]為此，本發(fā)明的第一個(gè)目的在于提出一種基于人工智能的人機(jī)交互方法。該方法可以實(shí)現(xiàn)良好的人機(jī)交互功能，可以實(shí)現(xiàn)高功能高陪伴型的智能人機(jī)交互。
[0012]本發(fā)明的第二個(gè)目的在于提出一種基于人工智能的人機(jī)交互裝置。
[0013]本發(fā)明的第三個(gè)目的在于提出一種終端設(shè)備。
[0014]為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例的基于人工智能的人機(jī)交互方法，包括:接收多模態(tài)的輸入信號(hào)，所述多模態(tài)的輸入信號(hào)包括用戶輸入的語音信號(hào)、圖像信號(hào)和/或環(huán)境傳感器信號(hào)；根據(jù)所述多模態(tài)的輸入信號(hào)，確定所述用戶的意圖；對(duì)所述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給所述用戶。
[0015]本發(fā)明實(shí)施例的基于人工智能的人機(jī)交互方法，接收多模態(tài)的輸入信號(hào)之后，根據(jù)上述多模態(tài)的輸入信號(hào)，確定上述用戶的意圖，然后對(duì)上述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給上述用戶，從而可以實(shí)現(xiàn)良好的人機(jī)交互功能，可以實(shí)現(xiàn)高功能高陪伴型的智能人機(jī)交互，進(jìn)而可以提高用戶體驗(yàn)。
[0016]為了實(shí)現(xiàn)上述目的，本發(fā)明第二方面實(shí)施例的基于人工智能的人機(jī)交互裝置，包括:接收模塊，用于接收多模態(tài)的輸入信號(hào)，所述多模態(tài)的輸入信號(hào)包括用戶輸入的語音信號(hào)、圖像信號(hào)和/或環(huán)境傳感器信號(hào)；意圖判定模塊，用于根據(jù)所述接收模塊接收的多模態(tài)的輸入信號(hào)，確定所述用戶的意圖；處理模塊，用于對(duì)所述意圖判定模塊確定的所述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給所述用戶。
[0017]本發(fā)明實(shí)施例的基于人工智能的人機(jī)交互裝置，接收模塊接收多模態(tài)的輸入信號(hào)之后，意圖判定模塊根據(jù)上述多模態(tài)的輸入信號(hào)，確定上述用戶的意圖，然后處理模塊對(duì)上述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給上述用戶，從而可以實(shí)現(xiàn)良好的人機(jī)交互功能，可以實(shí)現(xiàn)高功能高陪伴型的智能人機(jī)交互，進(jìn)而可以提高用戶體驗(yàn)。
[0018]為了實(shí)現(xiàn)上述目的，本發(fā)明第三方面實(shí)施例的終端設(shè)備，包括:接收器、處理器、存儲(chǔ)器、電路板和電源電路，其中，所述電路板安置在殼體圍成的空間內(nèi)部，所述處理器和所述存儲(chǔ)器設(shè)置在電路板上；所述電源電路，用于為所述終端設(shè)備的各個(gè)電路或器件供電；所述存儲(chǔ)器用于存儲(chǔ)可執(zhí)行程序代碼；所述接收器，用于接收多模態(tài)的輸入信號(hào)，所述多模態(tài)的輸入信號(hào)包括用戶輸入的語音信號(hào)、圖像信號(hào)和/或環(huán)境傳感器信號(hào)；所述處理器通過讀取所述存儲(chǔ)器中存儲(chǔ)的可執(zhí)行程序代碼來運(yùn)行與可執(zhí)行程序代碼對(duì)應(yīng)的程序，以用于執(zhí)行以下步驟:根據(jù)所述多模態(tài)的輸入信號(hào)，確定所述用戶的意圖；對(duì)所述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給所述用戶。
[0019]本發(fā)明實(shí)施例的終端設(shè)備，接收器接收多模態(tài)的輸入信號(hào)之后，處理器根據(jù)上述多模態(tài)的輸入信號(hào)，確定上述用戶的意圖，然后對(duì)上述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給上述用戶，從而可以實(shí)現(xiàn)良好的人機(jī)交互功能，可以實(shí)現(xiàn)高功能高陪伴型的智能人機(jī)交互，進(jìn)而可以提高用戶體驗(yàn)。
[0020]本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。
【附圖說明】
[0021]本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中:
[0022]圖1為本發(fā)明基于人工智能的人機(jī)交互方法一個(gè)實(shí)施例的流程圖；
[0023]圖2為本發(fā)明基于人工智能的人機(jī)交互裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
[0024]圖3為本發(fā)明基于人工智能的人機(jī)交互裝置另一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
[0025]圖4為本發(fā)明終端設(shè)備一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；
[0026]圖5為本發(fā)明智能機(jī)器人一個(gè)實(shí)施例的示意圖；
[0027]圖6為本發(fā)明智能機(jī)器人屏幕交互一個(gè)實(shí)施例的示意圖。
【具體實(shí)施方式】
[0028]下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。相反，本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同物。
[0029]為了解決現(xiàn)有技術(shù)中存在的無法進(jìn)行高功能高陪伴型的智能人機(jī)交互的問題，本發(fā)明基于人工智能實(shí)現(xiàn)了高功能高陪伴型的智能人機(jī)交互，人工智能(ArtificialIntelligence，簡稱:AI)，是研宄、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式做出反應(yīng)的智能機(jī)器，該領(lǐng)域的研宄包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理和專家系統(tǒng)等。
[0030]人工智能是對(duì)人的意識(shí)、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考，也可能超過人的智能。人工智能是包括十分廣泛的科學(xué)，由不同的領(lǐng)域組成，如機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺等等，總的說來，人工智能研宄的一個(gè)主要目標(biāo)是使機(jī)器能夠勝任一些通常需要人類智能才能完成的復(fù)雜工作。
[0031]圖1為本發(fā)明基于人工智能的人機(jī)交互方法一個(gè)實(shí)施例的流程圖，如圖1所示，該基于人工智能的人機(jī)交互方法可以包括:
[0032]步驟101，接收多模態(tài)的輸入信號(hào)，上述多模態(tài)的輸入信號(hào)包括用戶輸入的語音信號(hào)、圖像信號(hào)和/或環(huán)境傳感器信號(hào)。
[0033]具體地，用戶輸入的語音信號(hào)可以是用戶通過麥克風(fēng)輸入的；上述圖像信號(hào)可以是通過攝像頭輸入的；上述環(huán)境傳感器信號(hào)包括通過光傳感器、溫濕度傳感器、有毒氣體傳感器、污染顆粒物傳感器、觸摸模塊、地理位置定位模塊和重力傳感器中的一個(gè)或多個(gè)傳感器輸入的信號(hào)。
[0034]步驟102，根據(jù)上述多模態(tài)的輸入信號(hào)，確定上述用戶的意圖。
[0035]步驟103，對(duì)上述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給上述用戶。
[0036]具體地，將處理結(jié)果反饋給上述用戶可以包括:將處理結(jié)果以圖像、文本到聲音、機(jī)器人肢體動(dòng)作和/或機(jī)器人燈光反饋等方式反饋給用戶，本實(shí)施例對(duì)處理結(jié)果的反饋方式不作限定。
[0037]本實(shí)施例的一種實(shí)現(xiàn)方式中，根據(jù)上述多模態(tài)的輸入信號(hào)，確定上述用戶的意圖可以為:對(duì)上述用戶輸入的語音信號(hào)進(jìn)行語音識(shí)別，根據(jù)語音識(shí)別的結(jié)果，結(jié)合圖像信號(hào)和/或傳感器信號(hào)確定上述用戶的意圖。
[0038]或者，根據(jù)上述多模態(tài)的輸入信號(hào)，確定上述用戶的意圖可以為:對(duì)上述用戶輸入的語音信號(hào)進(jìn)行語音識(shí)別，以及通過聲源定位將顯示屏轉(zhuǎn)向上述用戶所在的方向，通過攝像頭輔助人臉識(shí)別功能識(shí)別上述用戶的個(gè)人信息；根據(jù)語音識(shí)別的結(jié)果、上述用戶的個(gè)人信息和保存的上述用戶的偏好信息確定上述用戶的意圖。其中，上述用戶的個(gè)人信息包括用戶的姓名、年齡和性別等信息；上述用戶的偏好信息包括用戶日常的行為喜好等信息。
[0039]本實(shí)現(xiàn)方式中，對(duì)用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給用戶可以為:根據(jù)上述用戶的意圖在云端數(shù)據(jù)庫中進(jìn)行個(gè)性化數(shù)據(jù)匹配，獲得適合上述用戶的推薦信息，并將適合上述用戶的推薦信息輸出給上述用戶。其中，將適合上述用戶的推薦信息輸出給上述用戶可以為將適合上述用戶的推薦信息語音播報(bào)給上述用戶，或者，將適合上述用戶的推薦信息以文本的形式顯示在顯示屏上，本實(shí)施例對(duì)將適合上述用戶的推薦信息輸出給上述用戶的方式不作限定。
[0040]進(jìn)一步地，上述推薦信息可以包括地址信息，則對(duì)上述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給用戶可以為:獲得從上述用戶所在地至所述地址信息所指示的地點(diǎn)的交通路徑，并根據(jù)上述用戶的出行習(xí)慣，獲得適合上述用戶的出行方式，將上述出行方式推薦給上述用戶。其中，將上述出行方式推薦給上述用戶可以為將上述出行方式語音播報(bào)給上述用戶，或者，將上述出行方式以文本的形式顯示在顯示屏上，本實(shí)施例對(duì)將上述出行方式推薦給上述用戶的方式不作限定。
[0041]也就是說，本實(shí)施例可以實(shí)現(xiàn)與人進(jìn)行多輪對(duì)話交流的功能，能夠以自然語言、表情與人進(jìn)行交流。具備有個(gè)性化學(xué)習(xí)的能力，能夠通過連接智能云端服務(wù)器獲得相關(guān)知識(shí)并有針對(duì)性地向用戶提供。
[0042]場景舉例:當(dāng)家里的老人想要出去參加活動(dòng)，而又不知道附近有什么好玩的活動(dòng)的時(shí)候，如果沒有本實(shí)施例提供的方法，按照尋常的解決方案，老人只能給孩子打電話咨詢，或者出門去向鄰居或居委會(huì)咨詢。
[0043]但如果有了本實(shí)施例提供的方法，老人可以對(duì)能夠?qū)崿F(xiàn)本實(shí)施例提供的方法的終端設(shè)備，例如智能機(jī)器人說:“小度機(jī)器人，你知道附近有什么適合我的活動(dòng)嗎？ ”
[0044]智能機(jī)器人會(huì)通過聲源定位將智能機(jī)器人的顯示屏(例如:智能機(jī)器人的面部)轉(zhuǎn)向老人所在的方向，通過高清攝像頭輔助人臉識(shí)別功能準(zhǔn)確識(shí)別說話者的個(gè)人信息，例如說話者的姓名、年齡和性別等，并根據(jù)說話者日常的行為喜好、年齡和性別等信息，確定說話者輸入的語音的意圖，然后根據(jù)輸入的語音的意圖在云端數(shù)據(jù)庫中進(jìn)行個(gè)性化數(shù)據(jù)匹配，篩選出最適合說話者的推薦信息，并將該推薦信息語音播報(bào)給上述說話者小度為您找到了一項(xiàng)您可能喜歡的活動(dòng):在距您800米的南湖公園今天下午2點(diǎn)將舉辦一場老年交誼舞會(huì)，您覺得怎么樣？”，其中，該推薦信息中包括地址信息“南湖公園”。
[0045]如果用戶回復(fù):“太好了，我喜歡這個(gè)活動(dòng)，我該怎么過去呢？ ”，接收到用戶輸入的語音之后，智能機(jī)器人可以對(duì)上述用戶輸入的語音進(jìn)行語音識(shí)別，根據(jù)語音識(shí)別的結(jié)果確定用戶的意圖是想去“南湖公園”;則智能機(jī)器人會(huì)根據(jù)地理位置定位模塊輸入的信號(hào)確定用戶所在的位置，并自動(dòng)檢索從用戶所在的位置到南湖公園的交通路徑，并根據(jù)上述用戶日常的出行習(xí)慣，智能獲得適合上述用戶的出行方式，并將出行方式推薦給用戶從這里到南湖公園，距離800米，預(yù)計(jì)步行時(shí)間15分鐘，已經(jīng)為您規(guī)劃好步行地圖路徑?！?br>[0046]本實(shí)施例的另一種實(shí)現(xiàn)方式中，上述用戶的意圖包括時(shí)間信息，對(duì)上述用戶的意圖進(jìn)行處理，并將處理結(jié)果反饋給上述用戶可以為:根據(jù)用戶的意圖中的時(shí)間信息設(shè)置鬧鐘提醒信息，并將設(shè)置結(jié)果反饋給上述用戶。其中，將設(shè)置結(jié)果反饋給用戶可以為將設(shè)置結(jié)果語音播報(bào)給用戶，或者將設(shè)置結(jié)果以文字的形式顯示給用戶，當(dāng)然也可以采用其他反饋方式，本發(fā)明對(duì)此不作限定。
[0047]進(jìn)一步地，將設(shè)置結(jié)果反饋給用戶之后，還可以對(duì)用戶進(jìn)行提示，記錄上述用戶的留言信息，并在到達(dá)上述鬧鐘提醒信息的時(shí)刻時(shí)，進(jìn)行鬧鐘提醒，播放上述用戶的留言信息。
[0048]場景舉例:早上7點(diǎn)，媽媽需要早起出差，家里的小朋友豆豆還在熟睡。在離開家的時(shí)候，媽媽對(duì)智能機(jī)器人說:“小度機(jī)器人，8點(diǎn)請(qǐng)幫我叫醒豆豆好嗎