本發(fā)明涉及計算機技術領域,尤其涉及一種與用戶情緒匹配的內容輸出方法、電子設備及服務器。
背景技術:
電子玩具是一種運用電子技術、采用電子元器件來控制動作或產生各種聲光效果的機動玩具,按產品的工藝技術及功能結構可分為聲控玩具、光控玩具、遙控玩具、機械玩具、氣動玩具、電動玩具等。目前,大部分電子玩具都是通過接收用戶的操作,然后對該操作做出回應,如電子玩具接收用戶按壓控制按鈕后,向用戶輸出一首兒歌;再如電子玩具接收到用戶通過遙控器發(fā)射的紅外信號時,往預設方向移動,等等。這些電子玩具能夠給孩子們帶來極大的樂趣。
上述電子玩具的內容輸出方式存在的問題是,無法根據孩子的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,不能達到真實的人在孩子身邊的陪伴效果。
技術實現(xiàn)要素:
本發(fā)明實施例公開了一種與用戶情緒匹配的內容輸出方法、電子設備及服務器,能夠推送與用戶情緒同步的內容。
本發(fā)明實施例技術方案如下:
(1)一種與用戶情緒匹配的內容輸出方法,包括:
獲取用戶的行為信息;
根據所述行為信息分析用戶的情緒狀態(tài);
調取與所述情緒狀態(tài)相匹配的內容;
輸出與所述情緒狀態(tài)相匹配的內容。
進一步地,所述用戶的行為信息包括語音和/或面部表情和/或語句和/或詞語。
進一步地,所述語音包括語速和/或音調和/或音量信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述根據所述行為信息分析用戶的情緒狀態(tài)具體為:
分析語音的語速和/或音調和/或音量;
將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
進一步地,所述面部表情包括面部特征信息,所述獲取用戶的行為信息具體為通過拍攝用戶的面部圖像獲取用戶的行為信息。
進一步地,所述根據所述行為信息分析用戶的情緒狀態(tài)具體為:
分析所述面部圖像中的面部特征信息;
將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
進一步地,所述語句包括語意信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述根據所述行為信息分析用戶的情緒狀態(tài)具體為:
分析語句的關鍵詞匯;
將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
進一步地,所述情緒狀態(tài)包括多個級別;
所述方法還包括:
判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
若是,則調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容;
輸出與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
(2)一種與用戶情緒匹配的內容輸出的電子設備,包括:
行為信息獲取模塊,用于獲取用戶的行為信息;
情緒狀態(tài)分析模塊,用于根據所述行為信息分析用戶的情緒狀態(tài);
內容調取模塊,用于調取與所述情緒狀態(tài)相匹配的內容;
內容輸出模塊,用于輸出與所述情緒狀態(tài)相匹配的內容。
進一步地,所述用戶的行為信息包括語音和/或面部表情和/或語句和/或詞語。
進一步地,所述語音包括語速和/或音調和/或音量信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述情緒狀態(tài)分析模塊包括:
語音分析模塊,用于分析語音的語速和/或音調和/或音量;
情緒狀態(tài)匹配模塊,用于將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
進一步地,所述面部表情包括面部特征信息,所述獲取用戶的行為信息具體為通過拍攝用戶的面部圖像獲取用戶的行為信息。
進一步地,所述情緒狀態(tài)分析模塊包括:
面部特征信息分析模塊,用于分析所述面部圖像中的面部特征信息;
情緒狀態(tài)匹配模塊,用于將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
進一步地,所述語句包括語意信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述情緒狀態(tài)分析模塊包括:
關鍵詞匯分析模塊,用于分析語句的關鍵詞匯;
情緒狀態(tài)匹配模塊,用于將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
進一步地,所述情緒狀態(tài)包括多個級別;
所述電子設備還包括:
情緒狀態(tài)判斷模塊,用于判斷用戶是否在超過持續(xù)預定時間處于同一情緒 狀態(tài)和/或上一級情緒狀態(tài);
積極的內容調取模塊,用于當用戶在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài)時,調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容;
積極的內容輸出模塊,用于輸出與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
(3)一種與用戶情緒匹配的內容輸出方法,包括:
獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息分析用戶的情緒狀態(tài),并調取與所述情緒狀態(tài)相匹配的內容以推送給電子設備;
輸出服務器推送的與所述情緒狀態(tài)相匹配的內容。
進一步地,所述用戶的行為信息包括語音和/或面部表情和/或語句和/或詞語。
進一步地,所述語音包括語速和/或音調和/或音量信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述面部表情包括面部特征信息,所述獲取用戶的行為信息具體為通過拍攝用戶的面部圖像獲取用戶的行為信息。
進一步地,所述語句包括語意信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述情緒狀態(tài)包括多個級別;
所述方法還包括:
獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài),若是,則調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容以推送給電子設備;
輸出服務器推送的與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
(4)一種與用戶情緒匹配的內容輸出的電子設備,包括:
行為信息獲取模塊,用于獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息分析用戶的情緒狀態(tài),并調取與所述情緒狀態(tài)相匹配的內容以推送給電子設備;
內容輸出模塊,用于輸出與所述情緒狀態(tài)相匹配的內容。
進一步地,所述用戶的行為信息包括語音和/或面部表情和/或語句和/或詞語。
進一步地,所述語音包括語速和/或音調和/或音量信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述面部表情包括面部特征信息,所述獲取用戶的行為信息具體為通過拍攝用戶的面部圖像獲取用戶的行為信息。
進一步地,所述語句包括語意信息,所述獲取用戶的行為信息具體為通過錄制用戶的語音輸入獲取用戶的行為信息。
進一步地,所述情緒狀態(tài)包括多個級別;
所述電子設備還包括:
行為信息再次獲取模塊,用于獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài),若是,則調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容以推送給電子設備;
積極的內容輸出模塊,用于輸出服務器推送的與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
(5)一種與用戶情緒匹配的內容輸出方法,包括:
接收電子設備推送的用戶行為信息,根據所述行為信息分析用戶的情緒狀態(tài);
調取與所述情緒狀態(tài)相匹配的內容并推送給電子設備。
進一步地,所述用戶的行為信息包括語音和/或面部表情和/或語句和/或詞語。
進一步地,所述語音包括語速和/或音調和/或音量信息。
進一步地,所述根據所述行為信息分析用戶的情緒狀態(tài)具體為:
分析語音的語速和/或音調和/或音量;
將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
進一步地,所述面部表情包括面部特征信息。
進一步地,所述根據所述行為信息分析用戶的情緒狀態(tài)具體為:
分析所述面部圖像中的面部特征信息;
將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
進一步地,所述語句包括語意信息。
進一步地,所述根據所述行為信息分析用戶的情緒狀態(tài)具體為:
分析語句的關鍵詞匯;
將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
進一步地,所述情緒狀態(tài)包括多個級別;
所述方法還包括:
接收電子設備推送的用戶行為信息,根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
當用戶在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài)時,調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容并推送給電子設備。
(6)一種與用戶情緒匹配的內容輸出的服務器,包括:
行為信息接收和情緒狀態(tài)分析模塊,用于接收電子設備推送的用戶行為信息,根據所述行為信息分析用戶的情緒狀態(tài);
內容調取和推送模塊,用于調取與所述情緒狀態(tài)相匹配的內容并推送給電子設備。
進一步地,所述用戶的行為信息包括語音和/或面部表情和/或語句和/或詞語。
進一步地,所述語音包括語速和/或音調和/或音量信息。
進一步地,所述行為信息接收和情緒狀態(tài)分析模塊包括:
語音分析模塊,用于分析語音的語速和/或音調和/或音量;
情緒狀態(tài)匹配模塊,用于將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
進一步地,所述面部表情包括面部特征信息。
進一步地,所述行為信息接收和情緒狀態(tài)分析模塊包括:
面部特征信息分析模塊,用于分析所述面部圖像中的面部特征信息;
情緒狀態(tài)匹配模塊,用于將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
進一步地,所述語句包括語意信息。
進一步地,所述行為信息接收和情緒狀態(tài)分析模塊包括:
關鍵詞匯分析模塊,用于分析語句的關鍵詞匯;
情緒狀態(tài)匹配模塊,用于將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
進一步地,所述情緒狀態(tài)包括多個級別;
所述服務器還包括:
行為信息接收和情緒狀態(tài)判斷模塊,用于接收電子設備推送的用戶行為信息,根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
積極的內容調取和推送模塊,用于當用戶在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài)時,調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容并推送給電子設備。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案,下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據這些附圖獲得其他的附圖。
圖1是本發(fā)明實施例所涉及的終端的結構示意圖;
圖2是本發(fā)明實施例1的與用戶情緒匹配的內容輸出方法的流程圖;
圖3是本發(fā)明實施例2的與用戶情緒匹配的內容輸出的電子設備的結構框圖;
圖4是本發(fā)明實施例3的與用戶情緒匹配的內容輸出方法的流程圖;
圖5是本發(fā)明實施例4的與用戶情緒匹配的內容輸出的電子設備的結構框圖;
圖6是本發(fā)明實施例5的與用戶情緒匹配的內容輸出方法的流程圖。
具體實施方式
下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明的一部分實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
需要說明的是,在本發(fā)明實施例中使用的術語是僅僅出于描述特定實施例的目的,而非旨在限制本發(fā)明。在本發(fā)明實施例和所附權利要求書中所使用的單數形式的“一種”、“所述”和“該”也旨在包括多數形式,除非上下文清楚地表示其他含義。還應當理解,術語“包括”和“具有”以及它們任何變形,意圖在于覆蓋不排他的包含。例如包含了一系列步驟或單元的過程、方法、系統(tǒng)、產品或設備沒有限定于已列出的步驟或單元,而是可選地還包括沒有列出的步驟或單元,或可選地還包括對于這些過程、方法、產品或設備固有的其它步驟或單元。
附圖中如無特殊說明,虛線部分代表優(yōu)選實施方式的內容。
本發(fā)明實施例方法涉及的硬件運行環(huán)境可以為服務器、電子設備等終端,所述電子設備包括但不限于智能玩具(智能娃娃、智能公仔等)、可穿戴設備(智能手表、智能手環(huán)、計步器等)、教育電子產品(故事機、點讀機)、陪伴機器人等。如圖1所示,其示出了本發(fā)明實施例所涉及的終端的結構示意圖,該終端可以用于實施以下實施例中提供的與用戶情緒匹配的內容輸出方法。
具體來講:
終端100可以包括:包括有一個或一個以上計算機可讀存儲介質的存儲器110、輸入單元120、顯示單元130、音頻電路140、包括有一個或者一個以上處理核心的處理器150、以及電源160等部件。本領域技術人員可以理解,圖1中示出的終端結構并不構成對終端的限定,可以包括比圖示更多或更少的部件,或者組合某些部件,或者不同的部件布置。其中:
存儲器110可用于存儲軟件程序以及模塊,處理器150通過運行存儲在存儲器110的軟件程序以及模塊,從而執(zhí)行各種功能應用以及數據處理。存儲器110可主要包括存儲程序區(qū)和存儲數據區(qū),其中,存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應用程序(比如聲音播放功能、圖像播放功能等)等;存儲數據區(qū)可存儲根據終端100的使用所創(chuàng)建的數據(比如音頻數據等)等。此外,存儲器110可以包括高速隨機存取存儲器,還可以包括非易失性存儲器,例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。相應地,存儲器110還可以包括存儲器控制器,以提供處理器150和輸入單元120對存儲器120的訪問。
輸入單元120可用于接收輸入的數字或字符信息,以及產生與用戶設置以及功能控制有關的鍵盤、鼠標、操作桿、光學或者軌跡球信號輸入。具體地,輸入單元120包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關按鍵等)、軌跡球、鼠標、操作桿等中的一種或多種。
顯示單元130可用于顯示由用戶輸入的信息或提供給用戶的信息以及終端 100的各種圖形用戶接口,這些圖形用戶接口可以由圖形、文本、圖標、視頻和其任意組合來構成。顯示單元130可包括顯示面板131,可選的,可以采用LCD(Liquid Crystal Display,液晶顯示器)、OLED(Organic Light-Emitting Diode,有機發(fā)光二極管)等形式來配置顯示面板131。
音頻電路140、揚聲器141,傳聲器142可提供用戶與終端100之間的音頻接口。音頻電路140可將接收到的音頻數據轉換后的電信號,傳輸到揚聲器141,由揚聲器141轉換為聲音信號輸出;另一方面,傳聲器142將收集的聲音信號轉換為電信號,由音頻電路140接收后轉換為音頻數據,再將音頻數據輸出處理器150處理后,發(fā)送給比如另一終端,或者將音頻數據輸出至存儲器110以便進一步處理。音頻電路140還可能包括耳塞插孔,以提供外設耳機與終端100的通信。
處理器150是終端100的控制中心,利用各種接口和線路連接整個終端的各個部分,通過運行或執(zhí)行存儲在存儲器110內的軟件程序和/或模塊,以及調用存儲在存儲器110內的數據,執(zhí)行終端100的各種功能和處理數據,從而對終端100進行整體監(jiān)控。可選的,處理器150可包括一個或多個處理核心;優(yōu)選的,處理器150可集成應用處理器和調制解調處理器,其中,應用處理器主要處理操作系統(tǒng)、用戶界面和應用程序等,調制解調處理器主要處理無線通信??梢岳斫獾氖?,上述調制解調處理器也可以不集成到處理器150中。
終端100還包括給各個部件供電的電源160(比如電池),優(yōu)選的,電源160可以通過電源管理系統(tǒng)與處理器150邏輯相連,從而通過電源管理系統(tǒng)實現(xiàn)管理充電、放電、以及功耗管理等功能。電源160還可以包括一個或一個以上的直流或交流電源、再充電系統(tǒng)、電源故障檢測電路、電源轉換器或者逆變器、電源狀態(tài)指示器等任意組件。
盡管未示出,終端100還可以包括攝像頭、藍牙模塊等,在此不再贅述。具體在本實施例中,終端100的顯示單元是觸摸屏顯示器,終端100還包括有一個或者一個以上的程序,其中一個或者一個以上程序存儲于存儲器110中,且經配置以由一個或者一個以上處理器150執(zhí)行。
實施例1:
請參見圖2,圖2是本發(fā)明實施例1提供的一種與用戶情緒匹配的內容輸出方法的流程圖,本實施例從電子設備側進行說明,該方法包括:
S101,獲取用戶的行為信息。
其中,用戶的行為信息包括多種,例如語音(主要包括語速和/或音調和/或音量信息)、面部表情(主要包括面部特征信息)、語句(主要包括語意信息)等。當行為信息為語音(主要包括語速和/或音調和/或音量信息)時,通過錄制用戶的語音輸入獲取用戶的行為信息;當行為信息為面部表情(主要包括面部特征信息)時,通過拍攝用戶的面部圖像獲取用戶的行為信息;當行為信息為語句(主要包括語意信息)時,也是通過錄制用戶的語音輸入獲取用戶的行為信息。
S102,根據所述行為信息分析用戶的情緒狀態(tài)。
其中,用戶的情緒狀態(tài)包括高興、害怕、生氣、悲傷、緊張等。分析用戶的情緒狀態(tài)可通過多種方式,例如通過分析用戶的語音或語句獲取用戶的情緒狀態(tài),或者通過調用攝像頭獲取用戶的面部表情后分析用戶的情緒狀態(tài),具體為:
(1)通過分析用戶的語音獲取用戶的情緒狀態(tài):
對所述語音進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語速和/或音調和/或音量信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟A1,分析語音的語速和/或音調和/或音量。
步驟A2,將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的語速和/或音調和/或音量表中包含有不同情緒所對應的語速和/或音調和/或音量區(qū)間。當音調較低、語速較慢、音量較小時,孩子可能處于悲傷的狀態(tài),當音調較高、語速較快、音量較高時,孩子可能處于高興的狀態(tài),等等。
語速主要與用戶說話的字節(jié)頻率相關,可以預先將不同的用戶說話字節(jié)頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語速表;語調主要與用戶說話的聲波振動頻率相關,可以預先將不同的用戶說話聲波振動頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語調表;音量無需其他參數體現(xiàn),直接表現(xiàn)為用戶說話的音量,可以預先將不同的用戶說話音量區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的音量表。
(2)通過分析用戶的面部表情獲取用戶的情緒狀態(tài):
對所述面部圖像進行面部表情分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內時,玩具可以拍下孩子的面部,通過分析面部特征信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟B1,分析所述面部圖像中的面部特征信息。
步驟B2,將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的面部特征信息表中包含有不同情緒所對應的面部特征信息。面部特征信息包括眉毛方向、兩個眉毛之間的距離、眼睛大小、眼角朝向、瞳孔大小、嘴角朝向、嘴巴大小、等。不同的面部特征信息對應不同的情緒狀態(tài),均預存儲在不同情緒的面部特征信息表中。
(3)通過分析用戶的語句獲取用戶的情緒狀態(tài):
對所述語句的語意信息進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語句的語意信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟C1,分析語句的關鍵詞匯。
步驟C2,將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的關鍵詞匯表中包含有不同情緒所對應的關鍵詞匯的對應關系,關鍵詞匯包括代表不同情緒狀態(tài)的詞匯,例如開心、害怕、傷心、不舒服等等,通過將關鍵詞匯與不同情緒狀態(tài)相對應,預存儲到不同情緒的關鍵詞匯表中,當分析出用戶的語句中包括某個關鍵詞匯時,識別出用戶此時的情緒狀態(tài)。S103,調取與所述情緒狀態(tài)相匹配的內容。
其中,本實施例需要預先存儲情緒狀態(tài)與內容的匹配關系,內容包括語音(例如預先錄制好的“小明,我知道你生氣了,我們不唱歌了,咱們說說話”、“小明,你高興的話,咱們唱唱歌吧”、“小明,不要害怕,媽媽一會就回來了”等可以與用戶之間互動的語音)、歌曲、視頻、圖片等。本步驟中,可直接根據情緒狀態(tài)與內容的匹配關系調取與該情緒狀態(tài)相匹配的內容。
在實際操作中,在用戶的情緒狀態(tài)為高興時,調取歌曲、卡通動畫視頻等內容;在用戶的情緒狀態(tài)為害怕時,調取撫慰的語音、舒緩的歌曲、包括父母畫面的視頻、照片等;在用戶的情緒狀態(tài)為生氣時,調取勸導的語音、讓用戶開心的視頻等;在用戶的情緒狀態(tài)為悲傷時,調取安慰的語音;等等。以上匹配關系可以是自定義的,也可以是系統(tǒng)預定義好的。
進一步地,還可以對上述情緒狀態(tài)進行分級,對不同級別的不同情緒狀態(tài)匹配不同的內容。
需要說明的是,本步驟中根據所述行為信息分析用戶的情緒狀態(tài)可依照特定的標準進行,也即預存儲的不同情緒的語速和/或音調和/或音量表、預存儲的不同情緒的面部特征信息表、預存儲的不同情緒的關鍵詞匯表可以根據特定的標準建立,例如喜、怒、憂、思、悲、恐、驚七情說,或者悲痛、恐懼、驚奇、接受、狂喜、狂怒、警惕、憎恨,或者按照專家?guī)?、大數據分析、心理學分類來建立,當然,還可以通過用戶自定義的方式建立上述表格,以實現(xiàn)情緒狀態(tài)的分析,以下實施例含義與本實施例相同。
S104,輸出與所述情緒狀態(tài)相匹配的內容。
其中,調取到與該情緒狀態(tài)相匹配的內容后,可直接輸出該內容。
請參見圖2,在一優(yōu)選實施方式中,在步驟S104之后,還包括:返回執(zhí)行步驟S101,并循環(huán)執(zhí)行上述步驟。
在一優(yōu)選實施例中,所述情緒狀態(tài)包括多個級別;所述方法還包括:
判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
若是,則調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容;
輸出與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
也即在用戶情緒處于低落、激動等不穩(wěn)定狀態(tài)時,給用戶輸出與其當時的情緒狀態(tài)相匹配的內容,在這之后,等用戶的情緒狀態(tài)回復到穩(wěn)定狀態(tài)或者更佳狀態(tài)時,調取上一級別的情緒狀態(tài)的內容(也即更積極的內容)并輸出給用戶,以引導用戶逐步調整情緒狀態(tài)到最開心(快樂)的狀態(tài)。
本發(fā)明實施例可根據用戶的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,并 可與用戶進行互動,引導用戶往開心、快樂的狀態(tài)轉變,而不只是根據用戶的操作輸出對應的內容,能實現(xiàn)人工智能的陪伴效果。
實施例2
請參見圖3,圖3是本發(fā)明實施例2提供的一種與用戶情緒匹配的內容輸出的電子設備200的結構框圖,該電子設備200包括:行為信息獲取模塊210、情緒狀態(tài)分析模塊220、內容調取模塊230和內容輸出模塊240。
行為信息獲取模塊210用于獲取用戶的行為信息。
其中,用戶的行為信息包括多種,例如語音(主要包括語速和/或音調和/或音量信息)、面部表情(主要包括面部特征信息)、語句(主要包括語意信息)等。當行為信息為語音(主要包括語速和/或音調和/或音量信息)時,通過錄制用戶的語音輸入獲取用戶的行為信息;當行為信息為面部表情(主要包括面部特征信息)時,通過拍攝用戶的面部圖像獲取用戶的行為信息;當行為信息為語句(主要包括語意信息)時,也是通過錄制用戶的語音輸入獲取用戶的行為信息。
情緒狀態(tài)分析模塊220用于根據所述行為信息分析用戶的情緒狀態(tài)。
其中,用戶的情緒狀態(tài)包括高興、害怕、生氣、悲傷、緊張等。分析用戶的情緒狀態(tài)可通過多種方式,例如通過分析用戶的語音或語句獲取用戶的情緒狀態(tài),或者通過調用攝像頭獲取用戶的面部表情后分析用戶的情緒狀態(tài),具體為:
(1)通過分析用戶的語音獲取用戶的情緒狀態(tài):
對所述語音進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語速和/或音調和/或音量信息,從而判斷孩子可能的情緒狀態(tài)。此時情緒狀態(tài)分析模塊220包括語音分析模塊和情緒狀態(tài)匹配模塊,其中:
語音分析模塊用于分析語音的語速和/或音調和/或音量。
情緒狀態(tài)匹配模塊用于將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的語速和/或音調和/或音量表中包含有不同情緒所對應的語速和/或音調和/或音量區(qū)間。當音調較低、語速較慢、音量較小時,孩子可能處于悲傷的狀態(tài),當音調較高、語速較快、音量較高時,孩子可能處于高興的狀態(tài),等等。
語速主要與用戶說話的字節(jié)頻率相關,可以預先將不同的用戶說話字節(jié)頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語速表;語調主要與用戶說話的聲波振動頻率相關,可以預先將不同的用戶說話聲波振動頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語調表;音量無需其他參數體現(xiàn),直接表現(xiàn)為用戶說話的音量,可以預先將不同的用戶說話音量區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的音量表。
(2)通過分析用戶的面部表情獲取用戶的情緒狀態(tài):
對所述面部圖像進行面部表情分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內時,玩具可以拍下孩子的面部,通過分析面部特征信息,從而判斷孩子可能的情緒狀態(tài)。此時情緒狀態(tài)分析模塊220包括面部特征信息分析模塊和情緒狀態(tài)匹配模塊,其中:
面部特征信息分析模塊用于分析所述面部圖像中的面部特征信息。
情緒狀態(tài)匹配模塊用于將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的面部特征信息表中包含有不同情緒所對應的面部特征信息。面部特征信息包括眉毛方向、兩個眉毛之間的距離、眼睛大小、眼角朝向、瞳孔大小、嘴角朝向、嘴巴大小、等。不同的面部特征信息對應不同的情緒狀態(tài),均預存儲在不同情緒的面部特征信息表中。
(3)通過分析用戶的語句獲取用戶的情緒狀態(tài):
對所述語句的語意信息進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語句的語意信息,從而判斷孩子可能的情緒狀態(tài)。此時情緒狀態(tài)分析模塊220包括關鍵詞匯分析模塊和情緒狀態(tài)匹配模塊,其中:
關鍵詞匯分析模塊用于分析語句的關鍵詞匯。
情緒狀態(tài)匹配模塊用于將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的關鍵詞匯表中包含有不同情緒所對應的關鍵詞匯的對應關系,關鍵詞匯包括代表不同情緒狀態(tài)的詞匯,例如開心、害怕、傷心、不舒服等等,通過將關鍵詞匯與不同情緒狀態(tài)相對應,預存儲到不同情緒的關鍵詞匯表中,當分析出用戶的語句中包括某個關鍵詞匯時,識別出用戶此時的情緒狀態(tài)。
內容調取模塊230用于調取與所述情緒狀態(tài)相匹配的內容。
其中,本實施例需要預先存儲情緒狀態(tài)與內容的匹配關系,內容包括語音(例如預先錄制好的“小明,我知道你生氣了,我們不唱歌了,咱們說說話”、“小明,你高興的話,咱們唱唱歌吧”、“小明,不要害怕,媽媽一會就回來了”等可以與用戶之間互動的語音)、歌曲、視頻、圖片等??芍苯痈鶕榫w狀態(tài)與內容的匹配關系調取與該情緒狀態(tài)相匹配的內容。
在實際操作中,在用戶的情緒狀態(tài)為高興時,調取歌曲、卡通動畫視頻等內容;在用戶的情緒狀態(tài)為害怕時,調取撫慰的語音、舒緩的歌曲、包括父母畫面的視頻、照片等;在用戶的情緒狀態(tài)為生氣時,調取勸導的語音、讓用戶開心的視頻等;在用戶的情緒狀態(tài)為悲傷時,調取安慰的語音;等等。以上匹配關系可以是自定義的,也可以是系統(tǒng)預定義好的。
進一步地,還可以對上述情緒狀態(tài)進行分級,對不同級別的不同情緒狀態(tài)匹配不同的內容。
內容輸出模塊240用于輸出與所述情緒狀態(tài)相匹配的內容。
其中,調取到與該情緒狀態(tài)相匹配的內容后,可直接輸出該內容。
進一步地,所述情緒狀態(tài)包括多個級別;
所述電子設備200還包括:
情緒狀態(tài)判斷模塊,用于判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
積極的內容調取模塊,用于當用戶在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài)時,調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容;
積極的內容輸出模塊,用于輸出與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
也即在用戶情緒處于低落、激動等不穩(wěn)定狀態(tài)時,給用戶輸出與其當時的情緒狀態(tài)相匹配的內容,在這之后,等用戶的情緒狀態(tài)回復到穩(wěn)定狀態(tài)或者更佳狀態(tài)時,調取上一級別的情緒狀態(tài)的內容(也即更積極的內容)并輸出給用戶,以引導用戶逐步調整情緒狀態(tài)到最開心(快樂)的狀態(tài)。
本發(fā)明實施例可根據用戶的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,并可與用戶進行互動,引導用戶往開心、快樂的狀態(tài)轉變,而不只是根據用戶的操作輸出對應的內容,能實現(xiàn)人工智能的陪伴效果。
實施例3
請參見圖4,圖4是本發(fā)明實施例3提供的一種與用戶情緒匹配的內容輸出方法的流程圖,與實施例1的區(qū)別是,本實施例中用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備和服務器之間通過網絡通信進行信息傳輸。本實施例從電子設備側進行說明,該方法包括:
S301,獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息分析用戶的情緒狀態(tài),并調取與所述情緒狀態(tài)相匹配的內容以推送給電子設備。
其中,用戶的行為信息包括多種,例如語音(主要包括語速和/或音調和/或音量信息)、面部表情(主要包括面部特征信息)、語句(主要包括語意信息)等。當行為信息為語音(主要包括語速和/或音調和/或音量信息)時,通過錄制用戶的語音輸入獲取用戶的行為信息;當行為信息為面部表情(主要包括面部特征信息)時,通過拍攝用戶的面部圖像獲取用戶的行為信息;當行為信息為語句(主要包括語意信息)時,也是通過錄制用戶的語音輸入獲取用戶的行為信息。
用戶的情緒狀態(tài)包括高興、害怕、生氣、悲傷、緊張等。服務器分析用戶的情緒狀態(tài)可通過多種方式,例如通過分析用戶的語音或語句獲取用戶的情緒狀態(tài),或者通過調用攝像頭獲取用戶的面部表情后分析用戶的情緒狀態(tài),具體為:
(1)通過分析用戶的語音獲取用戶的情緒狀態(tài):
對所述語音進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語速和/或音調和/或音量信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟A1,分析語音的語速和/或音調和/或音量。
步驟A2,將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的語速和/或音調和/或音量表中包含有不同情緒所對應的語速和/或音調和/或音量區(qū)間。當音調較低、語速較慢、音量較小時,孩子可能處于悲傷的狀態(tài),當音調較高、語速較快、音量較高時,孩子可能處于高興的狀態(tài),等等。
語速主要與用戶說話的字節(jié)頻率相關,可以預先將不同的用戶說話字節(jié)頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語速表;語調主要與用戶說話的聲波振動頻率相關,可以預先將不同的用戶說話聲波振動頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語調表;音量無需其他參數體現(xiàn),直接表現(xiàn)為用戶說話的音量,可以預先將不同的用戶說話音量區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的音量表。
(2)通過分析用戶的面部表情獲取用戶的情緒狀態(tài):
對所述面部圖像進行面部表情分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內時,玩具可以拍下孩子的面部,通過分析面部特征信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟B1,分析所述面部圖像中的面部特征信息。
步驟B2,將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的面部特征信息表中包含有不同情緒所對應的面部特征信息。面部特征信息包括眉毛方向、兩個眉毛之間的距離、眼睛大小、眼角朝向、瞳孔大小、嘴角朝向、嘴巴大小、等。不同的面部特征信息對應不同的情緒狀態(tài),均預存儲在不同情緒的面部特征信息表中。
(3)通過分析用戶的語句獲取用戶的情緒狀態(tài):
對所述語句的語意信息進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語句的語意信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟C1,分析語句的關鍵詞匯。
步驟C2,將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的關鍵詞匯表中包含有不同情緒所對應的關鍵詞匯的對應關系,關鍵詞匯包括代表不同情緒狀態(tài)的詞匯,例如開心、害怕、傷心、不舒服等等,通過將關鍵詞匯與不同情緒狀態(tài)相對應,預存儲到不同情緒的關鍵詞匯表中,當分析出用戶的語句中包括某個關鍵詞匯時,識別出用戶此時的情緒狀態(tài)。
本實施例需要預先存儲情緒狀態(tài)與內容的匹配關系,內容包括語音(例如預先錄制好的“小明,我知道你生氣了,我們不唱歌了,咱們說說話”、“小明,你高興的話,咱們唱唱歌吧”、“小明,不要害怕,媽媽一會就回來了”等可以 與用戶之間互動的語音)、歌曲、視頻、圖片等。本步驟中,可直接根據情緒狀態(tài)與內容的匹配關系調取與該情緒狀態(tài)相匹配的內容。
在實際操作中,在用戶的情緒狀態(tài)為高興時,調取歌曲、卡通動畫視頻等內容;在用戶的情緒狀態(tài)為害怕時,調取撫慰的語音、舒緩的歌曲、包括父母畫面的視頻、照片等;在用戶的情緒狀態(tài)為生氣時,調取勸導的語音、讓用戶開心的視頻等;在用戶的情緒狀態(tài)為悲傷時,調取安慰的語音;等等。以上匹配關系可以是自定義的,也可以是系統(tǒng)預定義好的。
進一步地,還可以對上述情緒狀態(tài)進行分級,對不同級別的不同情緒狀態(tài)匹配不同的內容。
S302,輸出服務器推送的與所述情緒狀態(tài)相匹配的內容。
其中,電子設備接收到服務器推送的與該情緒狀態(tài)相匹配的內容后,直接輸出該內容。
請參見圖4,在一優(yōu)選實施方式中,在步驟S302之后,還包括:返回執(zhí)行步驟S301,并循環(huán)執(zhí)行上述步驟。
進一步地,所述情緒狀態(tài)包括多個級別;
所述方法還包括:
獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài),若是,則調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容以推送給電子設備;
輸出服務器推送的與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
也即在用戶情緒處于低落、激動等不穩(wěn)定狀態(tài)時,給用戶輸出與其當時的情緒狀態(tài)相匹配的內容,在這之后,等用戶的情緒狀態(tài)回復到穩(wěn)定狀態(tài)或者更佳狀態(tài)時,調取上一級別的情緒狀態(tài)的內容(也即更積極的內容)并輸出給用戶,以引導用戶逐步調整情緒狀態(tài)到最開心(快樂)的狀態(tài)。
本發(fā)明實施例可根據用戶的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,并可與用戶進行互動,引導用戶往開心、快樂的狀態(tài)轉變,而不只是根據用戶的操作輸出對應的內容,能實現(xiàn)人工智能的陪伴效果。本實施例的用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備和服務器之間通過網絡通信進行信息傳輸,該方式通過調用服務器強大的處理能力和豐富的存儲資源,處理速度更快,內容推送效果更好。
實施例4
請參見圖5,圖5是本發(fā)明實施例4提供的一種與用戶情緒匹配的內容輸出的電子設備300的結構框圖,與實施例2的區(qū)別是,本實施例中用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備300和服務器之間通過網絡通信進行信息傳輸。該電子設備300包括:行為信息獲取模塊310和內容輸出模塊320。
行為信息獲取模塊310用于獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息分析用戶的情緒狀態(tài),并調取與所述情緒狀態(tài)相匹配的 內容以推送給電子設備300。
其中,用戶的行為信息包括多種,例如語音(主要包括語速和/或音調和/或音量信息)、面部表情(主要包括面部特征信息)、語句(主要包括語意信息)等。當行為信息為語音(主要包括語速和/或音調和/或音量信息)時,通過錄制用戶的語音輸入獲取用戶的行為信息;當行為信息為面部表情(主要包括面部特征信息)時,通過拍攝用戶的面部圖像獲取用戶的行為信息;當行為信息為語句(主要包括語意信息)時,也是通過錄制用戶的語音輸入獲取用戶的行為信息。
其中,用戶的情緒狀態(tài)包括高興、害怕、生氣、悲傷、緊張等。服務器分析用戶的情緒狀態(tài)可通過多種方式,例如通過分析用戶的語音或語句獲取用戶的情緒狀態(tài),或者通過調用攝像頭獲取用戶的面部表情后分析用戶的情緒狀態(tài),具體為:
(1)通過分析用戶的語音獲取用戶的情緒狀態(tài):
對所述語音進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語速和/或音調和/或音量信息,從而判斷孩子可能的情緒狀態(tài)。包括:
分析語音的語速和/或音調和/或音量;
將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的語速和/或音調和/或音量表中包含有不同情緒所對應的語速和/或音調和/或音量區(qū)間。當音調較低、語速較慢、音量較小時,孩子可能處于悲傷的狀態(tài),當音調較高、語速較快、音量較高時,孩子可能處于高興的狀態(tài),等等。
語速主要與用戶說話的字節(jié)頻率相關,可以預先將不同的用戶說話字節(jié)頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語速表;語調主要與用戶說話的聲波振動頻率相關,可以預先將不同的用戶說話聲波振動頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語調表;音量無需其他參數體現(xiàn),直接表現(xiàn)為用戶說話的音量,可以預先將不同的用戶說話音量區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的音量表。
(2)通過分析用戶的面部表情獲取用戶的情緒狀態(tài):
對所述面部圖像進行面部表情分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內時,玩具可以拍下孩子的面部,通過分析面部特征信息,從而判斷孩子可能的情緒狀態(tài)。包括:
分析所述面部圖像中的面部特征信息;
將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的面部特征信息表中包含有不同情緒所對應的面部特征信息。面部特征信息包括眉毛方向、兩個眉毛之間的距離、眼睛大小、眼角朝向、瞳孔大小、嘴角朝向、嘴巴大小、等。不同的面部特征信息對應不同的情緒狀態(tài),均預存儲在不同情緒的面部特征信息表中。
(3)通過分析用戶的語句獲取用戶的情緒狀態(tài):
對所述語句的語意信息進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語句的語意信息,從而判斷孩子可能的情緒狀態(tài)。包括:
分析語句的關鍵詞匯;
將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的關鍵詞匯表中包含有不同情緒所對應的關鍵詞匯的對應關系,關鍵詞匯包括代表不同情緒狀態(tài)的詞匯,例如開心、害怕、傷心、不舒服等等,通過將關鍵詞匯與不同情緒狀態(tài)相對應,預存儲到不同情緒的關鍵詞匯表中,當分析出用戶的語句中包括某個關鍵詞匯時,識別出用戶此時的情緒狀態(tài)。
本實施例需要預先存儲情緒狀態(tài)與內容的匹配關系,內容包括語音(例如預先錄制好的“小明,我知道你生氣了,我們不唱歌了,咱們說說話”、“小明,你高興的話,咱們唱唱歌吧”、“小明,不要害怕,媽媽一會就回來了”等可以與用戶之間互動的語音)、歌曲、視頻、圖片等。本步驟中,可直接根據情緒狀態(tài)與內容的匹配關系調取與該情緒狀態(tài)相匹配的內容。
在實際操作中,在用戶的情緒狀態(tài)為高興時,調取歌曲、卡通動畫視頻等內容;在用戶的情緒狀態(tài)為害怕時,調取撫慰的語音、舒緩的歌曲、包括父母畫面的視頻、照片等;在用戶的情緒狀態(tài)為生氣時,調取勸導的語音、讓用戶開心的視頻等;在用戶的情緒狀態(tài)為悲傷時,調取安慰的語音;等等。以上匹配關系可以是自定義的,也可以是系統(tǒng)預定義好的。
進一步地,還可以對上述情緒狀態(tài)進行分級,對不同級別的不同情緒狀態(tài)匹配不同的內容。
內容輸出模塊320用于輸出與所述情緒狀態(tài)相匹配的內容。
其中,電子設備300接收到服務器推送的與該情緒狀態(tài)相匹配的內容后,直接輸出該內容。
進一步地,所述情緒狀態(tài)包括多個級別;
所述電子設備300還包括:
行為信息再次獲取模塊,用于獲取用戶的行為信息并發(fā)送給服務器,以使服務器根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài),若是,則調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容以推送給電子設備;
積極的內容輸出模塊,用于輸出服務器推送的與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容。
也即在用戶情緒處于低落、激動等不穩(wěn)定狀態(tài)時,給用戶輸出與其當時的情緒狀態(tài)相匹配的內容,在這之后,等用戶的情緒狀態(tài)回復到穩(wěn)定狀態(tài)或者更佳狀態(tài)時,調取上一級別的情緒狀態(tài)的內容(也即更積極的內容)并輸出給用戶,以引導用戶逐步調整情緒狀態(tài)到最開心(快樂)的狀態(tài)。
本發(fā)明實施例可根據用戶的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,并可與用戶進行互動,引導用戶往開心、快樂的狀態(tài)轉變,而不只是根據用戶的操作輸出對應的內容,能實現(xiàn)人工智能的陪伴效果。本實施例的用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備300和服務器之間通過網絡通信進行信息傳輸,該方式通過調用服務器強大的處理能力和豐富的存儲資源,處理速度更快,內容推送效果更好。
實施例5
請參見圖6,圖6是本發(fā)明實施例5提供的一種與用戶情緒匹配的內容輸出方法的流程圖,與實施例1的區(qū)別是,本實施例中用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備和服務器之間通過網絡通信進行信息傳輸。本實施例從服務器側進行說明,該方法包括:
S501,接收電子設備推送的用戶行為信息,根據所述行為信息分析用戶的情緒狀態(tài);
其中,用戶的行為信息包括多種,例如語音(主要包括語速和/或音調和/或音量信息)、面部表情(主要包括面部特征信息)、語句(主要包括語意信息)等。當行為信息為語音(主要包括語速和/或音調和/或音量信息)時,電子設備通過錄制用戶的語音輸入獲取用戶的行為信息;當行為信息為面部表情(主要包括面部特征信息)時,電子設備通過拍攝用戶的面部圖像獲取用戶的行為信息;當行為信息為語句(主要包括語意信息)時,電子設備也是通過錄制用戶的語音輸入獲取用戶的行為信息。
用戶的情緒狀態(tài)包括高興、害怕、生氣、悲傷、緊張等。分析用戶的情緒狀態(tài)可通過多種方式,例如通過分析用戶的語音或語句獲取用戶的情緒狀態(tài),或者通過調用攝像頭獲取用戶的面部表情后分析用戶的情緒狀態(tài),具體為:
(1)通過分析用戶的語音獲取用戶的情緒狀態(tài):
對所述語音進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語速和/或音調和/或音量信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟A1,分析語音的語速和/或音調和/或音量。
步驟A2,將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的語速和/或音調和/或音量表中包含有不同情緒所對應的語速和/或音調和/或音量區(qū)間。當音調較低、語速較慢、音量較小時,孩子可能處于悲傷的狀態(tài),當音調較高、語速較快、音量較高時,孩子可能處于高興的狀態(tài),等等。
語速主要與用戶說話的字節(jié)頻率相關,可以預先將不同的用戶說話字節(jié)頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語速表;語調主要與用戶說話的聲波振動頻率相關,可以預先將不同的用戶說話聲波振動頻率區(qū)間 與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語調表;音量無需其他參數體現(xiàn),直接表現(xiàn)為用戶說話的音量,可以預先將不同的用戶說話音量區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的音量表。
(2)通過分析用戶的面部表情獲取用戶的情緒狀態(tài):
對所述面部圖像進行面部表情分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內時,玩具可以拍下孩子的面部,通過分析面部特征信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟B1,分析所述面部圖像中的面部特征信息。
步驟B2,將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的面部特征信息表中包含有不同情緒所對應的面部特征信息。面部特征信息包括眉毛方向、兩個眉毛之間的距離、眼睛大小、眼角朝向、瞳孔大小、嘴角朝向、嘴巴大小、等。不同的面部特征信息對應不同的情緒狀態(tài),均預存儲在不同情緒的面部特征信息表中。
(3)通過分析用戶的語句獲取用戶的情緒狀態(tài):
對所述語句的語意信息進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語句的語意信息,從而判斷孩子可能的情緒狀態(tài)。包括:
步驟C1,分析語句的關鍵詞匯。
步驟C2,將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的關鍵詞匯表中包含有不同情緒所對應的關鍵詞匯的對應關系,關鍵詞匯包括代表不同情緒狀態(tài)的詞匯,例如開心、害怕、傷心、不舒服等等,通過將關鍵詞匯與不同情緒狀態(tài)相對應,預存儲到不同情緒的關鍵詞匯表中,當分析出用戶的語句中包括某個關鍵詞匯時,識別出用戶此時的情緒狀態(tài)。
S502,調取與所述情緒狀態(tài)相匹配的內容并推送給電子設備。
本實施例需要預先存儲情緒狀態(tài)與內容的匹配關系,內容包括語音(例如預先錄制好的“小明,我知道你生氣了,我們不唱歌了,咱們說說話”、“小明,你高興的話,咱們唱唱歌吧”、“小明,不要害怕,媽媽一會就回來了”等可以與用戶之間互動的語音)、歌曲、視頻、圖片等。本步驟中,可直接根據情緒狀態(tài)與內容的匹配關系調取與該情緒狀態(tài)相匹配的內容。
在實際操作中,在用戶的情緒狀態(tài)為高興時,調取歌曲、卡通動畫視頻等內容;在用戶的情緒狀態(tài)為害怕時,調取撫慰的語音、舒緩的歌曲、包括父母畫面的視頻、照片等;在用戶的情緒狀態(tài)為生氣時,調取勸導的語音、讓用戶開心的視頻等;在用戶的情緒狀態(tài)為悲傷時,調取安慰的語音;等等。以上匹配關系可以是自定義的,也可以是系統(tǒng)預定義好的。
進一步地,還可以對上述情緒狀態(tài)進行分級,對不同級別的不同情緒狀態(tài)匹配不同的內容。
電子設備接收到服務器推送的與該情緒狀態(tài)相匹配的內容后,直接輸出該 內容。
請參見圖6,在一優(yōu)選實施方式中,在步驟S502之后,還包括:返回執(zhí)行步驟S501,并循環(huán)執(zhí)行上述步驟。
進一步地,所述情緒狀態(tài)包括多個級別;
所述方法還包括:
接收電子設備推送的用戶行為信息,根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
當用戶在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài)時,調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容并推送給電子設備。
也即在用戶情緒處于低落、激動等不穩(wěn)定狀態(tài)時,給用戶輸出與其當時的情緒狀態(tài)相匹配的內容,在這之后,等用戶的情緒狀態(tài)回復到穩(wěn)定狀態(tài)或者更佳狀態(tài)時,調取上一級別的情緒狀態(tài)的內容(也即更積極的內容)并輸出給用戶,以引導用戶逐步調整情緒狀態(tài)到最開心(快樂)的狀態(tài)。
本發(fā)明實施例可根據用戶的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,并可與用戶進行互動,引導用戶往開心、快樂的狀態(tài)轉變,而不只是根據用戶的操作輸出對應的內容,能實現(xiàn)人工智能的陪伴效果。本實施例的用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備和服務器之間通過網絡通信進行信息傳輸,該方式通過調用服務器強大的處理能力和豐富的存儲資源,處理速度更快,內容推送效果更好。
實施例6
與實施例2的區(qū)別是,本實施例中用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器端完成的,電子設備和服務器之間通過網絡通信進行信息傳輸。本實施例從服務器側進行說明,該服務器包括:行為信息接收和情緒狀態(tài)分析模塊、內容調取和推送模塊。
行為信息接收和情緒狀態(tài)分析模塊410用于接收電子設備推送的用戶行為信息,根據所述行為信息分析用戶的情緒狀態(tài)。
其中,用戶的行為信息包括多種,例如語音(主要包括語速和/或音調和/或音量信息)、面部表情(主要包括面部特征信息)、語句(主要包括語意信息)等。當行為信息為語音(主要包括語速和/或音調和/或音量信息)時,通過錄制用戶的語音輸入獲取用戶的行為信息;當行為信息為面部表情(主要包括面部特征信息)時,通過拍攝用戶的面部圖像獲取用戶的行為信息;當行為信息為語句(主要包括語意信息)時,電子設備也是通過錄制用戶的語音輸入獲取用戶的行為信息。
用戶的情緒狀態(tài)包括高興、害怕、生氣、悲傷、緊張等。分析用戶的情緒狀態(tài)可通過多種方式,例如通過分析用戶的語音或語句獲取用戶的情緒狀態(tài),或者通過調用攝像頭獲取用戶的面部表情后分析用戶的情緒狀態(tài),具體為:
(1)通過分析用戶的語音獲取用戶的情緒狀態(tài):
對所述語音進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語速和/或音調和/或音量信息,從而判斷孩子可能的情緒狀態(tài)。此時行為信息接收和情緒狀態(tài)分析模塊410包括語音分析模塊和情緒狀態(tài)匹配模塊,其中:
語音分析模塊用于分析語音的語速和/或音調和/或音量。
情緒狀態(tài)匹配模塊用于將所述分析出的語速和/或音調和/或音量與預存儲的不同情緒的語速和/或音調和/或音量表匹配,獲取分析出的語速和/或音調和/或音量所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的語速和/或音調和/或音量表中包含有不同情緒所對應的語速和/或音調和/或音量區(qū)間。當音調較低、語速較慢、音量較小時,孩子可能處于悲傷的狀態(tài),當音調較高、語速較快、音量較高時,孩子可能處于高興的狀態(tài),等等。
語速主要與用戶說話的字節(jié)頻率相關,可以預先將不同的用戶說話字節(jié)頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語速表;語調主要與用戶說話的聲波振動頻率相關,可以預先將不同的用戶說話聲波振動頻率區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的語調表;音量無需其他參數體現(xiàn),直接表現(xiàn)為用戶說話的音量,可以預先將不同的用戶說話音量區(qū)間與不同情緒狀態(tài)相對應設置好,存儲為不同情緒的音量表。
(2)通過分析用戶的面部表情獲取用戶的情緒狀態(tài):
對所述面部圖像進行面部表情分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內時,玩具可以拍下孩子的面部,通過分析面部特征信息,從而判斷孩子可能的情緒狀態(tài)。此時行為信息接收和情緒狀態(tài)分析模塊410包括面部特征信息分析模塊和情緒狀態(tài)匹配模塊,其中:
面部特征信息分析模塊用于分析所述面部圖像中的面部特征信息。
情緒狀態(tài)匹配模塊用于將所述分析出的面部特征信息與預存儲的不同情緒的面部特征信息表匹配,獲取分析出的面部特征信息所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的面部特征信息表中包含有不同情緒所對應的面部特征信息。面部特征信息包括眉毛方向、兩個眉毛之間的距離、眼睛大小、眼角朝向、瞳孔大小、嘴角朝向、嘴巴大小、等。不同的面部特征信息對應不同的情緒狀態(tài),均預存儲在不同情緒的面部特征信息表中。
(3)通過分析用戶的語句獲取用戶的情緒狀態(tài):
對所述語句的語意信息進行分析,根據分析結果判斷用戶的情緒狀態(tài)。例如,當孩子在玩具的有效范圍內開始說話時,玩具可以錄制孩子的語音,通過分析語句的語意信息,從而判斷孩子可能的情緒狀態(tài)。此時行為信息接收和情緒狀態(tài)分析模塊410包括關鍵詞匯分析模塊和情緒狀態(tài)匹配模塊,其中:
關鍵詞匯分析模塊用于分析語句的關鍵詞匯。
情緒狀態(tài)匹配模塊用于將所述分析出的關鍵詞匯與預存儲的不同情緒的關鍵詞匯表匹配,獲取分析出的關鍵詞匯所屬的情緒狀態(tài)。
其中,預存儲的不同情緒的關鍵詞匯表中包含有不同情緒所對應的關鍵詞匯的對應關系,關鍵詞匯包括代表不同情緒狀態(tài)的詞匯,例如開心、害怕、傷 心、不舒服等等,通過將關鍵詞匯與不同情緒狀態(tài)相對應,預存儲到不同情緒的關鍵詞匯表中,當分析出用戶的語句中包括某個關鍵詞匯時,識別出用戶此時的情緒狀態(tài)。
內容調取和推送模塊420用于調取與所述情緒狀態(tài)相匹配的內容并推送給電子設備。
本實施例需要預先存儲情緒狀態(tài)與內容的匹配關系,內容包括語音(例如預先錄制好的“小明,我知道你生氣了,我們不唱歌了,咱們說說話”、“小明,你高興的話,咱們唱唱歌吧”、“小明,不要害怕,媽媽一會就回來了”等可以與用戶之間互動的語音)、歌曲、視頻、圖片等。本步驟中,可直接根據情緒狀態(tài)與內容的匹配關系調取與該情緒狀態(tài)相匹配的內容。
在實際操作中,在用戶的情緒狀態(tài)為高興時,調取歌曲、卡通動畫視頻等內容;在用戶的情緒狀態(tài)為害怕時,調取撫慰的語音、舒緩的歌曲、包括父母畫面的視頻、照片等;在用戶的情緒狀態(tài)為生氣時,調取勸導的語音、讓用戶開心的視頻等;在用戶的情緒狀態(tài)為悲傷時,調取安慰的語音;等等。以上匹配關系可以是自定義的,也可以是系統(tǒng)預定義好的。
進一步地,還可以對上述情緒狀態(tài)進行分級,對不同級別的不同情緒狀態(tài)匹配不同的內容。
電子設備接收到服務器400推送的與該情緒狀態(tài)相匹配的內容后,直接輸出該內容。
進一步地,所述情緒狀態(tài)包括多個級別;
所述服務器400還包括:
行為信息接收和情緒狀態(tài)判斷模塊,用于接收電子設備推送的用戶行為信息,根據所述行為信息判斷用戶是否在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài);
積極的內容調取和推送模塊,用于當用戶在超過持續(xù)預定時間處于同一情緒狀態(tài)和/或上一級情緒狀態(tài)時,調取與用戶當前情緒狀態(tài)的上一級情緒狀態(tài)相匹配的內容并推送給電子設備。
也即在用戶情緒處于低落、激動等不穩(wěn)定狀態(tài)時,給用戶輸出與其當時的情緒狀態(tài)相匹配的內容,在這之后,等用戶的情緒狀態(tài)回復到穩(wěn)定狀態(tài)或者更佳狀態(tài)時,調取上一級別的情緒狀態(tài)的內容(也即更積極的內容)并輸出給用戶,以引導用戶逐步調整情緒狀態(tài)到最開心(快樂)的狀態(tài)。
本發(fā)明實施例可根據用戶的情緒狀態(tài)推送與孩子情緒狀態(tài)相應的內容,并可與用戶進行互動,引導用戶往開心、快樂的狀態(tài)轉變,而不只是根據用戶的操作輸出對應的內容,能實現(xiàn)人工智能的陪伴效果。本實施例的用戶情緒狀態(tài)的分析,以及內容的匹配和推送是在服務器400端完成的,電子設備和服務器400之間通過網絡通信進行信息傳輸,該方式通過調用服務器400強大的處理能力和豐富的存儲資源,處理速度更快,內容推送效果更好。
本領域普通技術人員可以理解實現(xiàn)上述實施例方法中的全部或部分流程,是可以通過計算機程序來指令相關的硬件來完成,所述的程序可存儲于計算機 可讀取存儲介質中,該程序在執(zhí)行時,可包括如上述各方法的實施例的流程。
以上所揭露的僅為本發(fā)明一種較佳實施例而已,當然不能以此來限定本發(fā)明之權利范圍,本領域普通技術人員可以理解實現(xiàn)上述實施例的全部或部分流程,并依本發(fā)明權利要求所作的等同變化,仍屬于發(fā)明所涵蓋的范圍。