1.一種交互式教學方法,其特征在于,學生在智能終端輸入手勢,建立手勢模板庫,通過輸入手勢與教師機進行互動,所述手勢包括“上傳”、“截取”、“下載”、“清除”、“提問”;
所述建立手勢模板庫的方法包括如下步驟:
S1,利用手勢采集模塊對學生在智能終端輸入的手勢數(shù)據(jù)進行加速度采集;
S2,利用手勢采集模塊對所述手勢數(shù)據(jù)進行預處理,得到去噪后的手勢樣本數(shù)據(jù)以及手勢的起點和終點;
S3,利用手勢采集模塊對所述手勢數(shù)據(jù)進行特征值提取,得到手勢樣本模板;
S4,利用手勢采集模塊建立手勢樣本模板庫,即通過設定手勢功能統(tǒng)一存儲手勢樣本模板,利用手勢采集模塊存儲手勢樣本模板,并存入手勢庫中,用于匹配相應手勢功能;
S5,利用手勢采集模塊對手勢模板進行自適應處理,即通過手勢采集模塊計算出手勢樣本模板并同手勢庫中所有手勢樣本模板進行計算,匹配最相近的手勢樣本;
S6,學生對所述錄入手勢模板中的各手勢進行自定義命名,并有模板中預置的手勢功能一一對應,所述預置的手勢功能包括“上傳”、“截取”、“下載”、“清除”、“提問”;
所述互助式教學方法包括如下步驟:
S7,教師機播放教學內(nèi)容并將播放內(nèi)容傳輸至服務器,所述服務器將播放內(nèi)容傳輸至學生的智能終端;
S8,學生通過投影屏幕得到老師播放的實時的教學信息;
S9,學生通過所述智能終端與老師機進行交流時,進行手勢操作,智能終端手勢采集模塊對錄入手勢的加速度數(shù)據(jù)進行采集;
S10,手勢識別解析模塊將學生輸入的手勢與樣本手勢進行匹配,當匹配成功時,將手勢解析成指令并發(fā)送至服務器,服務器發(fā)送給教師機,教師機根據(jù)指令做出響應和學生互動;
所述互動包括如下步驟之一或者組合:
“上傳”:學生在所述智能終端上輸入“上傳”手勢,由手勢采集模塊采集,并傳遞給手勢識別解析模塊,手勢識別解析模塊將采集的手勢與預定義的手勢進行匹配,匹配成功后,將儲存在智能終端中的作業(yè)傳輸至教師機,顯示在教師為其分配的顯示區(qū)域,并通過投影儀投射到屏幕上;
“截取”:學生在所述智能終端上輸入“截取”手勢,由手勢采集模塊采集,并傳遞給手勢識別解析模塊,手勢識別解析模塊將采集的手勢與預定義的手勢進行匹配,匹配成功后,截取教師機或屏幕當前顯示內(nèi)容并以圖片方式保存在智能終端中;
“下載”:學生在所述智能終端上輸入“下載”手勢,由手勢采集模塊采集,并傳遞給手勢識別解析模塊,手勢識別解析模塊將采集的手勢與預定義的手勢進行匹配,匹配成功后,截取教師機當前播放的教案下載并保存到智能終端中;
“搶答”:采用如下兩種方法之一:
(一)、學生用紙質(zhì)工具完成練習后,學生在所述智能終端上輸入“截取”手勢,由手勢采集模塊采集,并傳遞給手勢識別解析模塊,手勢識別解析模塊將采集的手勢與預定義的手勢進行匹配,匹配成功后傳輸給教師機,通過“搶答”手勢在教師機獲取分享空間;
(二)、學生使用智能終端對解題過程進行拍照,然后選定要上傳的相應的圖片進行上傳,利用預定義的“上傳”手勢進行上傳操作,使用“清除”手勢進行清除操作并重新上傳;
“清除”:學生在所述智能終端輸入“清除”手勢,由手勢采集模塊采集,并傳遞給手勢識別解析模塊,手勢識別解析模塊將采集的手勢與預定義的手勢進行匹配,匹配成功后,手勢識別解析模塊將手勢解析為指令并傳輸至教師機,將教師機為其分配顯示空間內(nèi)的圖片刪除;
“提問”:學生在智能終端輸入“提問”手勢,由手勢采集模塊采集,并傳遞給手勢識別解析模塊,手勢識別解析模塊將采集的手勢與預定義的手勢進行匹配,匹配成功后,所述手勢識別和解析模塊將手勢解析為指令并傳輸至教師機,老師確認后,學生的問題將顯示在教師為其分配的顯示區(qū)域,并通過投影儀投射到屏幕上。
2.根據(jù)權利要求1所述的交互式教學方法,其特征在于,所述步驟S2,用戶對所采集的手勢進行預處理的具體步驟為:
S21,將智能終端的加速度傳感器采集到的數(shù)據(jù)流進行數(shù)據(jù)轉換,轉換成為標準的樣本手勢數(shù)據(jù),通過智能終端的加速度傳感器采集到樣本手勢從開始到結束過程中每個時刻在三維空間中3個方向的加速度,將這些數(shù)據(jù)保存為一個nx3矩陣A,3列分別表示X軸、Y軸、Z軸的加速度采樣數(shù)據(jù),其中{axi,ayi,azi}值對應第i個采樣的時間點的三軸加速度的值;該加速度數(shù)據(jù)的矩陣形式A為
用A[a~b]表示從第a個采樣點到第b個采樣點的所有序列值,共b-a+1個矩陣;
S22,進一步處理標準的樣本手勢數(shù)據(jù),通過均值濾波的方法對加速度數(shù)據(jù)進行平穩(wěn)降噪處理,其表達式為
a[i]′代表當前i時刻的加速度通過均值濾波得到的加速度,即通過把連續(xù)的n個加速度,包括當前i時刻及它之前n-1時刻的加速度之和的平均值來代替表示當前加速度,數(shù)據(jù)包括X軸、Y軸、Z軸的加速度值,計算得到A′,A′由不同時刻i的a[i]′組成,使用獲取手勢位移的起點istart和終點iend,生成一個完整的加速度序列數(shù)據(jù),加速度序列為A′[istart,iend]。
3.根據(jù)權利要求1所述的交互式教學方法,其特征在于,所述步驟S3,手勢采集模塊進行特征值提取,所述特征值包括手勢的位移量和旋轉角度,所述提取步驟包括:
通過計算手勢加速度的位移量,從加速度序列數(shù)據(jù)得到加速度時間序列,即手勢樣本模板,其表達式為
首先f(ai)代表將矩陣A三軸加速度數(shù)據(jù),aix代表對應第i個采樣的時間點的x軸加速度的值,aiy代表對應第i個采樣的時間點的y軸加速度的值,aiz代表對應第i個采樣的時間點的z軸加速度的值,通過f(ai)將矩陣A合成到一個序列中,其中min{f(ai)}和max{f(ai)}分別代表f(ai)計算序列中的最小值和最大值,g(A)為對序列進行分割得到有效手勢動作對應的時間序列,g(ai)為所述序列中的第i個元素。
4.根據(jù)權利要求1所述的交互式教學方法,其特征在于,所述命名新定義的手勢進行儲存時,用戶需要定義兩次以確定第一次定義是否正確,確認后完成儲存。
5.根據(jù)權利要求1所述的交互式教學方法,其特征在于,所述步驟S10中所述學生智能終端的手勢識別解析模塊將各種手勢動態(tài)地規(guī)整到一個固定的時間長度,算法中計算手勢之間的距離公式:
D(i,j)=distance(i,j)+min{D(i-1,j-1),D(i-1,j),D(i,j-1)}
其中D為代價矩陣,D(i,j)表示長度分別為i的模板時間序列和j的輸入模板時間序列之間的歸整路徑距離,distance(i,j)為i與j時間序列之間的距離,或誤差距離,當誤差距離小于閾值時輸入手勢被識別;
從所述智能終端加速度傳感器的數(shù)據(jù)流中找出樣本手勢,之后計算采集的手勢與手勢庫的所有手勢之間的距離,然后找一個距離最近的手勢庫中的手勢來進行確認,當采集的手勢小于手勢庫中的手勢界限時,采集的手勢被識別,并根據(jù)所識別手勢代表的功能解析發(fā)送指令到服務器的通訊模塊。
6.根據(jù)權利要求1所述的交互式教學方法,其特征在于,服務器在顯示新內(nèi)容時向?qū)W生客戶端發(fā)送更新訊號。
7.根據(jù)權利要求1所述的交互式教學方法,其特征在于,允許同時讓一個以上學生以手勢上傳文件,教師機有多個分享空間,教師機在接收多名學生的上傳請求后將分派空間的指令發(fā)送給教師機的顯示模組,分派分享空間并對已分派的空間進行控制,教師機可以對學生當前的分配空間進行清除操作和禁用操作。
8.一種交互式教學系統(tǒng),包括學生智能終端、服務器、教師機、投影儀和屏幕,所述教師機和/或服務器與投影儀相連接,教師機、學生智能終端均與服務器連接實現(xiàn)通信;其特征在于:
所述交互式教學系統(tǒng)利用權利要求1-7之一所述的方法運行;
所述學生智能終端包括:手勢采集模塊、手勢識別解析模塊所述手勢采集模塊包括加速度感應器,所述手勢采集模塊采集手勢信息并傳輸至手勢識別解析模塊,所述手勢識別解析模塊進行識別解析將結果傳輸至服務器通訊模塊;
所述服務器包括通訊模塊,所述通訊模塊用于服務器與學生智能終端和教師機之間的通訊數(shù)據(jù)和操作指令的傳輸;
所述教師機包括教學互動模塊和顯示模組,所述教學互動模塊通過服務器通訊模塊與學生智能終端進行雙向交互,即經(jīng)服務器通訊模塊向指定數(shù)量學生智能終端同時發(fā)送和接收指令或信息,或根據(jù)服務器傳遞的指令或信息作出響應;所述顯示模組為可分為一個以上顯示區(qū)域的顯示屏幕,當所述請求包括“上傳”、“搶答”、“提問”時,教學過程互動模塊接收到服務器端的操作指令后,為所述請求分配相應的顯示區(qū)域;
當手勢進行預定義時,所述手勢識別模塊在手勢第一次錄入時候通過終端加速感測器將所述手勢作為手勢模板儲存;當學生在客戶端通過手勢與教師機進行交互時,手勢采集模塊采集手勢并傳輸至手勢識別解析模塊,所述手勢識別解析模塊將采集到的手勢與手勢模板進行匹配,通過后發(fā)出操作指令,傳輸至服務器端通訊模塊;服務器端的通訊模塊將所述操作指令轉發(fā)至教師機的教學過程互動模塊,所述教師機進行相應的操作后,由教學過程互動模塊發(fā)出指令或者信息經(jīng)服務器通訊模塊發(fā)送至學生智能終端完成指令或信息交互。