本發(fā)明涉及一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)及其實現(xiàn)方法。屬于教學領域。

背景技術：

在線學習現(xiàn)在雖然越來越普及，可是對于學習狀態(tài)和效果的監(jiān)控，是提高教學質量的重要環(huán)節(jié)，充分了解學生學習時的反應，才能保證高質量的教學水平?，F(xiàn)有教學軟件對用戶的行為分析還很原始，都是基于對界面的操作來進行，此種方式不能夠準確把握學習者的狀態(tài)，也無法做到有效及時的調整。因此，如何利用基于表情識別技術和語音識別技術來對用戶的學習過程進行精確采樣和智能分析與評價，是值得研究和開發(fā)的課題。

技術實現(xiàn)要素：

本發(fā)明的目的在于克服上述缺陷，提供一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)。

為了實現(xiàn)上述目的，本發(fā)明采用的技術方案如下：

一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)，包括云平臺、第一終端、第二終端、分析處理器、主控處理器；

云平臺，用于從該云平臺下載與用戶身份對應的教學課程至內容呈現(xiàn)模塊，并保存用戶信息至數(shù)據庫；

第一終端包括以下模塊；

內容呈現(xiàn)模塊，將下載的教學課程的內容和用戶的三維頭像呈現(xiàn)給用戶；

音頻播放模塊，將教學課程的錄音和用戶的語音播放出來；

視頻信息采集模塊，在教學課程播放時采集用戶的視頻數(shù)據信息；

語音信息采集模塊，在教學課程播放時采集用戶的語音數(shù)據信息；

用戶輸入模塊，收集用戶的操作信息；

分析處理器，獲取用戶的視頻數(shù)據信息中的面部特征和語音數(shù)據信息中的發(fā)音特征并與數(shù)據庫中的標準模板進行比較，并將比較結果發(fā)送至主控處理器；

主控處理器，對用戶視頻數(shù)據信息和語音數(shù)據信息進行預處理，提取用戶面部特征和發(fā)音特征發(fā)送至分析處理器，并根據當前用戶操作和分析處理器返回的比較結果動態(tài)調整顯示的教學課程的內容或/和教學流程，或實時發(fā)送比較結果至云平臺；

第二終端，與云平臺通信，實時獲取比較結果信息。

具體地，所述內容呈現(xiàn)模塊為第一終端的屏幕；音頻播放模塊為第一終端的揚聲器；視頻信息采集模塊為第一終端的攝像頭；語音信息采集模塊為第一終端的語音采集器；用戶輸入模塊為第一終端的鍵盤或觸摸屏。

進一步地，所述第一終端和第二終端均為電腦、手機或平板電腦。

一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)，還包括統(tǒng)計模塊，用于統(tǒng)計用戶的歷史學習信息，并存儲在數(shù)據庫中。

一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)的實現(xiàn)方法，包括如下步驟：

s1、第一終端進行教學課程內容播放；

s2、播放中，視頻信息采集模塊采集用戶的視頻數(shù)據信息，語音信息采集模塊采集用戶的語音數(shù)據信息，用戶輸入模塊采集用戶操作；

s3、將采集的視頻數(shù)據信息和語音數(shù)據信息解碼后發(fā)送至主控處理器；

s4、主控處理器進行預處理，提取用戶面部特征和發(fā)音特征送入分析處理器；

s5、分析處理器將面部特征和發(fā)音特征分別與數(shù)據庫中的標準模板進行比較，并將比較結果反饋至主控處理器；

s6、主控處理器根據用戶當前操作和分析處理器的反饋，動態(tài)調整播放的教學課程的內容或/和教學流程，或通過云平臺實時發(fā)送比較結果至第二終端。

一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)的實現(xiàn)方法，還包括如下步驟：

s7、將用戶的視頻數(shù)據信息、語音數(shù)據信息、操作信息、發(fā)生的時間及主控處理器相應的處理結果通過網絡傳輸存儲至云平臺；

s8、統(tǒng)計用戶的歷史學習信息并存儲在數(shù)據庫中。

具體地，所述步驟s5中，面部特征與數(shù)據庫中標準模板進行比較，得出愉快、不耐煩、疑惑、失望、疲勞、興奮、期待、生氣或反感的表情；

發(fā)音特征與數(shù)據庫中標準模板進行比較，判斷是否進行發(fā)音評測或/和語音識別，若是，則進行相應操作，并得出語音評測的分值或/和語音識別的結果、可信度，可信度具體是指機器對自己識別出來的結果的準確性判斷。

進一步地，所述采集的視頻數(shù)據信息包括用戶的性別、年齡、人種和面部表情信息；所述采集的音頻數(shù)據信息包括聲波、聲紋。

再進一步地，所述步驟s6中，主控處理器執(zhí)行以下處理方式：

a、當檢測到用戶一直表現(xiàn)出愉快、興奮或期待的表情時，主控處理器加快播放的進度；

b、當檢測到用戶表現(xiàn)出疑惑的表情時，主控處理器減低播放的進度，并且重復播放已播放的內容；

c、若檢測到用戶進一步表現(xiàn)出失望、不耐煩或疲勞的表情時，主控處理器更換播放內容，或播放音樂，或進入游戲界面，或進入聊天界面，或播放結束；

d、若檢測到用戶表現(xiàn)出生氣、反感的表情時，主控處理器停止播放當前內容，并在主控處理器處于在線教學模式下，自動匹配其他教學課程。

再進一步地，用戶可將學習狀態(tài)分享給其他用戶，或者發(fā)布至其他社交系統(tǒng)。

再進一步地，當主控處理器處于在線教學模式下，將采集的多個用戶視頻數(shù)據信息中的面部三維模型和語音數(shù)據信息壓縮后通過網絡傳送給對方，并且解壓收到的數(shù)據后還原同步顯示播放。

再進一步地，所述用戶可根據年齡、性別、所在位置、語言能力、興趣、教學水平、課程定價、課程內容、授課時間搜索在線教學課程，系統(tǒng)自動匹配教學課程進行播放。

另外，在教學課程內容播放以前，用戶在云平臺上進行注冊并登錄，主控處理器根據面部特征實時檢測用戶身份，當檢測到當前用戶與登錄用戶不匹配時，主控處理器暫停播放。

與現(xiàn)有技術相比，本發(fā)明具有以下有益效果：

(1)本發(fā)明利用云平臺，結合終端設備，是一款具有移動性、娛樂性和社交性等特點的教學軟件，可以提供給學生課外隨時隨地自學的機會，輔助真人在線教學模式，從而改進傳統(tǒng)的對外漢語教學模式。

(2)本發(fā)明通過面部特征識別功能實時檢測當前用戶是否為登錄用戶，若不是，則暫停教學，保證學習者的真實性和學習的一慣性。

(3)本發(fā)明通過語音識別功能實時驗證學習者的發(fā)音是否達到一定的標準，能否準確回答系統(tǒng)預設的一些問題，有效驗證學習的效果。

(4)本發(fā)明通過面部特征識別功能進行微表情分析，實時把握學習者情緒的變化，并且及時調整學習內容和教學流程。

(5)本發(fā)明通過面部三維建模，可以將用戶的虛擬形象展示給網上的朋友，進行在線授課的時候，也可以大幅度降低網絡的流量。

附圖說明

圖1為本發(fā)明的系統(tǒng)框圖。

圖2為本發(fā)明的邏輯流程圖。

具體實施方式

下面結合附圖和實施例對本發(fā)明作進一步說明，本發(fā)明的實施方式包括但不限于下列實施例。

實施例1

如圖1所示，一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)，包括云平臺、第一終端、第二終端、分析處理器、主控處理器；

云平臺，用于從該云平臺下載與用戶身份對應的教學課程至內容呈現(xiàn)模塊，并保存用戶信息至數(shù)據庫；

第一終端包括以下模塊；

內容呈現(xiàn)模塊，將下載的教學課程的內容和用戶的三維頭像呈現(xiàn)給用戶；

音頻播放模塊，將教學課程的錄音和用戶的語音播放出來；

視頻信息采集模塊，在教學課程播放時采集用戶的視頻數(shù)據信息；

語音信息采集模塊，在教學課程播放時采集用戶的語音數(shù)據信息；

用戶輸入模塊，收集用戶的操作信息；

分析處理器，獲取用戶的視頻數(shù)據信息中的面部特征和語音數(shù)據信息中的發(fā)音特征并與數(shù)據庫中的標準模板進行比較，并將比較結果發(fā)送至主控處理器；

主控處理器，對用戶視頻數(shù)據信息和語音數(shù)據信息進行預處理，提取用戶面部特征和發(fā)音特征發(fā)送至分析處理器，并根據當前用戶操作和分析處理器返回的比較結果動態(tài)調整顯示的教學課程的內容或/和教學流程，或實時發(fā)送比較結果至云平臺；

第二終端，與云平臺通信，實時獲取比較結果信息；

統(tǒng)計模塊，用于統(tǒng)計用戶的歷史學習信息，并存儲在數(shù)據庫中。歷史學習信息包括用戶已學習的時間、學習效率、參加各種測評的最好成績、排行榜。

本實施例中，內容呈現(xiàn)模塊為第一終端的屏幕；音頻播放模塊為第一終端的揚聲器；視頻信息采集模塊為第一終端的攝像頭；語音信息采集模塊為第一終端的語音采集器；用戶輸入模塊為第一終端的鍵盤或觸摸屏。第一終端和第二終端均為智能終端設備，可為電腦、手機或平板電腦。

實施例2

如圖2所示，一種基于互聯(lián)網、表情識別和語音識別的教學系統(tǒng)的實現(xiàn)方法，包括如下步驟：

第一步、第一終端進行教學課程內容播放。

用戶可根據年齡、性別、所在位置、語言能力、興趣、教學水平、課程定價、課程內容、授課時間搜索在線教學課程，系統(tǒng)自動匹配教學課程進行播放。

第二步、播放中，視頻信息采集模塊采集用戶的視頻數(shù)據信息，語音信息采集模塊采集用戶的語音數(shù)據信息，用戶輸入模塊采集用戶操作。

其中，采集的視頻數(shù)據信息包括用戶的性別、年齡、人種和面部表情信息；所述采集的音頻數(shù)據信息包括聲波、聲紋。

第三步、將采集的視頻數(shù)據信息和語音數(shù)據信息解碼后發(fā)送至主控處理器。

第四步、主控處理器進行預處理，提取用戶面部特征和發(fā)音特征送入分析處理器。

第五步、分析處理器將面部特征和發(fā)音特征分別與數(shù)據庫中的標準模板進行比較，并將比較結果反饋至主控處理器。

其中，面部特征與數(shù)據庫中標準模板進行比較，得出愉快、不耐煩、疑惑、失望、疲勞、興奮、期待、生氣或反感的表情，完成微表情分析。面部特征識別功能進行微表情分析，實時把握學習者情緒的變化，并且及時調整學習內容和教學流程。

發(fā)音特征與數(shù)據庫中標準模板進行比較，判斷是否進行發(fā)音評測或/和語音識別，若是，則進行相應操作，并得出語音評測的分值或/和語音識別的結果、可信度，完成學習效果分析，可信度具體是指機器對自己識別出來的結果的準確性判斷。語音識別功能實時驗證學習者的發(fā)音是否達到一定的標準，能否準確回答系統(tǒng)預設的一些問題，有效驗證學習的效果。

第六步、主控處理器根據用戶當前操作和分析處理器的反饋，動態(tài)調整播放的教學課程的內容或/和教學流程，或通過云平臺實時發(fā)送比較結果至第二終端。

具體的處理過程為：

a、當檢測到用戶一直表現(xiàn)出愉快、興奮或期待的表情時，主控處理器加快播放的進度；

b、當檢測到用戶表現(xiàn)出疑惑的表情時，主控處理器減低播放的進度，并且重復播放已播放的內容；

c、若檢測到用戶進一步表現(xiàn)出失望、不耐煩或疲勞的表情時，主控處理器更換播放內容，或播放音樂，或進入游戲界面，或進入聊天界面，或播放結束；

d、若檢測到用戶表現(xiàn)出生氣、反感的表情時，主控處理器停止播放當前內容，并在主控處理器處于在線教學模式下，自動匹配其他教學課程。

具體地，系統(tǒng)根據用戶年齡、性別、所在位置、語言能力、興趣、教學水平、課程定價、課程內容、授課時間自動匹配教學課程進行播放。

通過云平臺實時發(fā)送比較結果至第二終端。一般第二終端為老師使用，實時讓老師掌握學習者的學習狀態(tài)，進行人為干預或引導。實際運用時，系統(tǒng)會判斷是否有在線老師，如果有，則優(yōu)先選擇老師進行人為干預或引導，通過云平臺將信息建議推送至學習者所持的第一終端。

第七步、將用戶的視頻數(shù)據信息、語音數(shù)據信息、操作信息、發(fā)生的時間及主控處理器相應的處理結果通過網絡傳輸存儲至云平臺。

第八步、統(tǒng)計用戶的歷史學習信息并存儲在數(shù)據庫中。

當主控處理器處于在線教學模式下，將采集的多個用戶視頻數(shù)據信息中的面部模型和語音數(shù)據信息壓縮后通過網絡傳送給對方，并且解壓收到的數(shù)據后還原同步顯示播放。通過面部三維建模，可以將用戶的虛擬形象展示給網上的朋友，進行在線授課的時候，也可以大幅度降低網絡的流量。

在教學課程內容播放以前，用戶在云平臺上進行注冊并登錄，主控處理器根據面部特征實時檢測用戶身份，當檢測到當前用戶與登錄用戶不匹配時，主控處理器暫停播放。通過面部特征識別功能實時檢測當前用戶是否為登錄用戶，若不是，則暫停教學，保證學習者的真實性和學習的一慣性。

用戶可以介紹自己的朋友進入該系統(tǒng)，用戶可將學習狀態(tài)分享給其他用戶，或者發(fā)布至其他社交系統(tǒng)。

按照上述實施例，便可很好地實現(xiàn)本發(fā)明。值得說明的是，基于上述設計原理的前提下，為解決同樣的技術問題，即使在本發(fā)明所公開的結構基礎上做出的一些無實質性的改動或潤色，所采用的技術方案的實質仍然與本發(fā)明一樣，故其也應當在本發(fā)明的保護范圍內。