本發(fā)明涉及一種智能教學(xué)技術(shù)領(lǐng)域,特別涉及一種基于手勢(shì)的交互式教學(xué)方法及交互系統(tǒng)。
背景技術(shù):
目前,在很多教學(xué)系統(tǒng)中,雖然多媒體已得到廣泛應(yīng)用,但多數(shù)教室仍然是教師在講臺(tái)通過音視頻等方式授課,學(xué)生在座位上聽的灌輸學(xué)習(xí)模式,其技術(shù)手段和教學(xué)系統(tǒng)仍然缺乏老師與學(xué)生的教學(xué)互動(dòng)有效途徑,即課堂上缺乏師生信息的實(shí)時(shí)互動(dòng)交流。隨著WiFi技術(shù)的發(fā)展和普及,在同一WiFi網(wǎng)絡(luò)中的傳輸速度和響應(yīng)速度可以滿足互動(dòng)的實(shí)時(shí)性要求,為增強(qiáng)課堂上的實(shí)時(shí)互動(dòng)效果,出現(xiàn)了基于WiFi的教學(xué)系統(tǒng),如CN 104933916 A公布了一種互動(dòng)教學(xué)系統(tǒng),包括通過教師移動(dòng)終端、學(xué)生終端、計(jì)算機(jī)、投影儀,學(xué)生終端可通過紅外信號(hào)與教師移動(dòng)終端連接,教師移動(dòng)終端通過WiFi與計(jì)算機(jī)連接,計(jì)算機(jī)再與投影儀連接。該技術(shù)方案能夠?qū)崿F(xiàn)教師與學(xué)生之間的多媒體互動(dòng),同時(shí)還能實(shí)時(shí)的在投影儀上顯示出來,實(shí)現(xiàn)了高效率教學(xué)。但該技術(shù)方案需要學(xué)生購買和攜帶采用光學(xué)識(shí)別技術(shù)的點(diǎn)讀筆、點(diǎn)讀板套件的學(xué)生終端,增加學(xué)生開支,此外該系統(tǒng)學(xué)生端需要在特定區(qū)域進(jìn)行點(diǎn)按按鈕來執(zhí)行相應(yīng)指令,若特定區(qū)域的觸摸感應(yīng)器出現(xiàn)問題則無法執(zhí)行該指令,因此使用不方便。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題,特別創(chuàng)新地提出了一種基于手勢(shì)的交互式教學(xué)系統(tǒng)及交互方法。
為了實(shí)現(xiàn)本發(fā)明的上述目的,根據(jù)本發(fā)明的第一個(gè)方面,本發(fā)明提供了一種交互式教學(xué)系統(tǒng)方法,學(xué)生在智能終端客戶端輸入手勢(shì),建立手勢(shì)模板庫;通過輸入手勢(shì)與教師機(jī)進(jìn)行互動(dòng),所述手勢(shì)包括“上傳”、“截取”、“下載”、“清除”、“提問”;所述建立手勢(shì)模板庫包括如下步驟:
S1,手勢(shì)采集模塊對(duì)學(xué)生在智能終端輸入的手勢(shì)數(shù)據(jù)進(jìn)行加速度采集,即利用智能終端設(shè)備自身的加速度傳感器,通過自然方式握持智能終端來采集手勢(shì)的整體運(yùn)動(dòng)數(shù)據(jù);
S2,利用手勢(shì)采集模塊對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行預(yù)處理,得到去噪后的手勢(shì)樣本數(shù)據(jù)以及手勢(shì)的起點(diǎn)和終點(diǎn);
S3,利用手勢(shì)采集模塊對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行特征值提取,得到手勢(shì)樣本模板;
S4,手勢(shì)采集模塊建立手勢(shì)樣本模板,即通過設(shè)定手勢(shì)功能統(tǒng)一存儲(chǔ)手勢(shì)樣本模板,利用手勢(shì)采集模塊存儲(chǔ)手勢(shì)樣本模板,并存入手勢(shì)庫中,用于匹配相應(yīng)手勢(shì)功能;
S5,手勢(shì)采集模塊對(duì)手勢(shì)模板進(jìn)行自適應(yīng)處理;所屬自適應(yīng)處理步驟包括:首先通過手勢(shì)采集模塊計(jì)算出手勢(shì)樣本模板并同手勢(shì)庫中所有手勢(shì)樣本模板進(jìn)行計(jì)算,然后匹配最相近的手勢(shì)樣本;
S6,學(xué)生對(duì)所述錄入手勢(shì)模板中各手勢(shì)進(jìn)行自定義命名,對(duì)應(yīng)模板中預(yù)置的手勢(shì)功能,所述預(yù)置的手勢(shì)功能包括“上傳”、“截取”、“下載”、“清除”、“提問”;所述互助式教學(xué)方法包括如下步驟:
S7,教師機(jī)播放教學(xué)內(nèi)容并將播放內(nèi)容傳輸至服務(wù)器,所述服務(wù)器將播放內(nèi)容傳輸至學(xué)生的智能終端;
S8,學(xué)生通過投影屏幕得到老師播放的實(shí)時(shí)的教學(xué)信息;
S9,學(xué)生通過所述智能終端與老師機(jī)進(jìn)行交流時(shí),進(jìn)行手勢(shì)操作,智能終端手勢(shì)采集模塊對(duì)錄入手勢(shì)的加速度數(shù)據(jù)進(jìn)行采集;
S10,手勢(shì)識(shí)別解析模塊將學(xué)生輸入的手勢(shì)與樣本手勢(shì)進(jìn)行匹配,當(dāng)匹配成功時(shí),將手勢(shì)解析成指令并發(fā)送至服務(wù)器,服務(wù)器發(fā)送給教師機(jī),教師機(jī)根據(jù)指令做出響應(yīng)和學(xué)生互動(dòng);所述互動(dòng)包括如下步驟之一或者組合:
“上傳”:學(xué)生在所述智能終端上輸入“上傳”手勢(shì),由手勢(shì)采集模塊采集,并傳遞給手勢(shì)識(shí)別和解析模塊,將所述手勢(shì)與預(yù)定義的手勢(shì)進(jìn)行匹配,匹配成功后,將儲(chǔ)存在智能終端中的作業(yè)傳輸至教師機(jī)的教師客戶端,顯示在教師為其分配的顯示區(qū)域,并通過投影儀投射到屏幕上;
“截取”:學(xué)生在所述智能終端上輸入“截取”手勢(shì),由手勢(shì)采集模塊采集,并傳遞給手勢(shì)識(shí)別解析模塊,將所述手勢(shì)與預(yù)定義的手勢(shì)進(jìn)行匹配,匹配成功后,截取智能終端當(dāng)前顯示內(nèi)容并以圖片方式保存在智能終端中;
“下載”:學(xué)生在所述智能終端上輸入“下載”手勢(shì),由手勢(shì)采集模塊采集,并傳遞給手勢(shì)識(shí)別解析模塊,手勢(shì)識(shí)別解析模塊將采集的手勢(shì)與預(yù)定義的手勢(shì)進(jìn)行匹配,匹配成功后,截取教師機(jī)當(dāng)前播放的教案下載并保存到智能終端中;
“搶答”:采用如下兩種方法之一:
(一)、學(xué)生用紙質(zhì)工具完成練習(xí)后,學(xué)生在所述智能終端上輸入“截取”手勢(shì),由手勢(shì)采集模塊采集,并傳遞給手勢(shì)識(shí)別解析模塊,手勢(shì)識(shí)別解析模塊將采集的手勢(shì)與預(yù)定義的手勢(shì)進(jìn)行匹配,匹配成功后傳輸給教師機(jī),通過“搶答”手勢(shì)在教師機(jī)獲取分享空間;
(二)、學(xué)生使用智能終端對(duì)解題過程進(jìn)行拍照,然后選定要上傳的相應(yīng)的圖片進(jìn)行上傳,利用預(yù)定義的“上傳”手勢(shì)進(jìn)行上傳操作,使用“清除”手勢(shì)進(jìn)行清除操作并重新上傳;
“清除”:學(xué)生在所述智能終端客戶端輸入“清除”手勢(shì),由手勢(shì)采集模塊采集,并傳遞給手勢(shì)識(shí)別解析模塊,將所述手勢(shì)與預(yù)定義的手勢(shì)進(jìn)行匹配,匹配成功后,解析模塊將手勢(shì)解析為指令并傳輸至教師機(jī),將教師機(jī)為其分配顯示空間內(nèi)的文件刪除。
“提問”:學(xué)生在所述智能終端客戶端輸入“提問”手勢(shì),由手勢(shì)采集模塊采集,并傳遞給手勢(shì)識(shí)別和解析模塊,將所述手勢(shì)與預(yù)定義的手勢(shì)進(jìn)行匹配,匹配成功后,所述手勢(shì)識(shí)別和解析模塊將手勢(shì)解析為指令并傳輸至教師機(jī),老師同意后,學(xué)生的問題將顯示在教師為其分配的顯示區(qū)域,并通過投影儀投射到屏幕上。
學(xué)生通過自定義手勢(shì)建立模板并通過手勢(shì)與教師之間進(jìn)行互動(dòng),增加了課堂的活躍度和教學(xué)環(huán)節(jié)的參與度,同時(shí)手勢(shì)操作簡(jiǎn)單方便,智能終端易于攜帶。
所述步驟S2,用戶對(duì)所采集的手勢(shì)進(jìn)行預(yù)處理的具體步驟為:
S21,將智能終端的加速度傳感器采集到的數(shù)據(jù)流進(jìn)行數(shù)據(jù)轉(zhuǎn)換,轉(zhuǎn)換成為標(biāo)準(zhǔn)的樣本手勢(shì)數(shù)據(jù),通過智能終端的加速度傳感器采集到樣本手勢(shì)從開始到結(jié)束過程中每個(gè)時(shí)刻在三維空間中3個(gè)方向的加速度,將這些數(shù)據(jù)保存為一個(gè)nx3矩陣A,3列分別表示X軸、Y軸、Z軸的加速度采樣數(shù)據(jù),其中{axi,ayi,azi}值對(duì)應(yīng)第i個(gè)采樣的時(shí)間點(diǎn)的三軸加速度的值;該加速度數(shù)據(jù)的矩陣形式A為
用A[a~b]表示從第a個(gè)采樣點(diǎn)到第b個(gè)采樣點(diǎn)的所有序列值,共b-a+1個(gè)矩陣;
S22,進(jìn)一步處理標(biāo)準(zhǔn)的樣本手勢(shì)數(shù)據(jù),通過均值濾波的方法對(duì)加速度數(shù)據(jù)進(jìn)行平穩(wěn)降噪處理,其表達(dá)式為
a[i]′代表當(dāng)前i時(shí)刻的加速度通過均值濾波得到的加速度,即通過把連續(xù)的n個(gè)加速度,包括當(dāng)前i時(shí)刻及它之前n-1時(shí)刻的加速度之和的平均值來代替表示當(dāng)前加速度,數(shù)據(jù)包括X軸、Y軸、Z軸的加速度值。由表達(dá)式計(jì)算得到a[i]′,由a[i]′組成新的加速度序列數(shù)據(jù)A′,同時(shí)獲取手勢(shì)位移的起點(diǎn)istart和終點(diǎn)iend,生成一個(gè)完整的加速度序列數(shù)據(jù),,加速度序列為A′[istart,iend]。
采用均值濾波方法對(duì)采集的手勢(shì)數(shù)據(jù)進(jìn)行預(yù)處理,減少了噪聲數(shù)據(jù),平滑圖像,增加圖像的連續(xù)性,且算法快速簡(jiǎn)單。
手勢(shì)采集模塊進(jìn)行特征值提取,所述特征值包括手勢(shì)的位移量和旋轉(zhuǎn)角度,所述提取步驟包括:
通過計(jì)算手勢(shì)加速度的位移量,從加速度序列數(shù)據(jù)得到加速度時(shí)間序列,即手勢(shì)樣本模板,其表達(dá)式為
首先f(ai)代表將矩陣A三軸加速度數(shù)據(jù),aix代表對(duì)應(yīng)第i個(gè)采樣的時(shí)間點(diǎn)的x軸加速度的值,aiy代表對(duì)應(yīng)第i個(gè)采樣的時(shí)間點(diǎn)的y軸加速度的值,aiz代表對(duì)應(yīng)第i個(gè)采樣的時(shí)間點(diǎn)的z軸加速度的值,通過f(ai)將矩陣A合成到一個(gè)序列中,其中min{f(ai)}和max{f(ai)}分別代表f(ai)計(jì)算序列中的最小值和最大值,g(A)對(duì)序列進(jìn)行分割得到有效手勢(shì)動(dòng)作對(duì)應(yīng)的時(shí)間序列,g(ai)為所述序列中的第i個(gè)元素。
該方法結(jié)合提取手勢(shì)的位移量和旋轉(zhuǎn)角度作為特征值,有利于提高提取動(dòng)態(tài)手勢(shì)的準(zhǔn)確性。
在本發(fā)明的一種優(yōu)選實(shí)施方式中,所述步驟S10中所述學(xué)生智能終端的手勢(shì)識(shí)別解析模塊將各種手勢(shì)動(dòng)態(tài)地規(guī)整到一個(gè)固定的時(shí)間長(zhǎng)度,算法中計(jì)算手勢(shì)之間的距離公式:
D(i,j)=distance(i,j)+min{D(i-1,j-1),D(i-1,j),D(i,j-1)}
其中D為代價(jià)矩陣,D(i,j)表示長(zhǎng)度分別為i和j的兩個(gè)時(shí)間序列之間的歸整路徑距離,distance(i,j)為i與j時(shí)間序列之間的距離(或誤差距離);
從所述智能終端加速度傳感器的數(shù)據(jù)流中找出樣本手勢(shì),之后計(jì)算采集的手勢(shì)與手勢(shì)庫的所有手勢(shì)之間的距離,然后找一個(gè)距離最近的手勢(shì)庫中的手勢(shì)來進(jìn)行確認(rèn),當(dāng)采集的手勢(shì)小于手勢(shì)庫中的手勢(shì)界限時(shí),采集的手勢(shì)會(huì)被識(shí)別,并根據(jù)所識(shí)別手勢(shì)代表的功能解析發(fā)送指令到服務(wù)器的通訊模塊。
該方法消除了采集手勢(shì)時(shí)時(shí)間長(zhǎng)度的不一致性,通過DTW方法原理有效的計(jì)算兩個(gè)時(shí)間序列之間的距離,準(zhǔn)確的識(shí)別出與錄入手勢(shì)相匹配的模板。
在本發(fā)明的另一種優(yōu)選實(shí)施方式中,服務(wù)器在顯示新內(nèi)容時(shí)向?qū)W生客戶端發(fā)送更新訊號(hào)。使學(xué)生得到最新的教學(xué)更新內(nèi)容提醒,進(jìn)行及時(shí)更新。
在本發(fā)明的另一種優(yōu)選實(shí)施方式中,允許同時(shí)讓一個(gè)以上學(xué)生以手勢(shì)上傳文件,教師機(jī)有多個(gè)分享空間,教師機(jī)在接收多名學(xué)生的上傳請(qǐng)求后將分派空間的指令發(fā)送給教師機(jī)的顯示模組,分派分享空間并對(duì)已分派的空間進(jìn)行控制,教師機(jī)可以對(duì)學(xué)生當(dāng)前的分配空間進(jìn)行清除操作和禁用操作。
讓一個(gè)以上學(xué)生共同上傳文件,教師機(jī)對(duì)所述文件同時(shí)進(jìn)行管理,讓更多的學(xué)生同時(shí)參與到教學(xué)互助活動(dòng)中,提高了教學(xué)效率。
為了實(shí)現(xiàn)本發(fā)明的上述目的,根據(jù)本發(fā)明的第二個(gè)方面,一種交互式教學(xué)系統(tǒng),包括學(xué)生智能終端、服務(wù)器、教師機(jī)、投影儀和屏幕,所述教師機(jī)和/或服務(wù)器與投影儀相連接,教師機(jī)、學(xué)生智能終端均與服務(wù)器連接實(shí)現(xiàn)通信;其特征在于:
所述交互式教學(xué)系統(tǒng)利用權(quán)利要求1-7之一所述的方法運(yùn)行;
所述學(xué)生智能終端包括:手勢(shì)采集模塊、手勢(shì)識(shí)別解析模塊所述手勢(shì)采集模塊包括加速度感應(yīng)器,所述手勢(shì)采集模塊采集手勢(shì)信息并傳輸至手勢(shì)識(shí)別解析模塊,所述手勢(shì)識(shí)別解析模塊進(jìn)行識(shí)別解析將結(jié)果傳輸至服務(wù)器通訊模塊;
所述服務(wù)器包括通訊模塊,所述通訊模塊用于服務(wù)器與學(xué)生智能終端和教師機(jī)之間的通訊數(shù)據(jù)和操作指令的傳輸;所述教師機(jī)包括教學(xué)互動(dòng)模塊和顯示模組,所述教學(xué)互動(dòng)模塊通過服務(wù)器通訊模塊與學(xué)生智能終端進(jìn)行雙向交互,即經(jīng)服務(wù)器通訊模塊向指定數(shù)量學(xué)生智能終端同時(shí)發(fā)送和接收指令或信息,或根據(jù)服務(wù)器傳遞的指令或信息作出響應(yīng);所述顯示模組為可分為一個(gè)以上顯示區(qū)域的顯示屏幕,當(dāng)所述請(qǐng)求包括“上傳”、“搶答”、“提問”時(shí),教學(xué)過程互動(dòng)模塊接收到服務(wù)器端的操作指令后,為所述請(qǐng)求分配相應(yīng)的顯示區(qū)域;
當(dāng)手勢(shì)進(jìn)行預(yù)定義時(shí),所述手勢(shì)識(shí)別模塊在手勢(shì)第一次錄入時(shí)候通過終端加速感測(cè)器將所述手勢(shì)作為手勢(shì)模板儲(chǔ)存;當(dāng)學(xué)生在客戶端通過手勢(shì)與教師機(jī)進(jìn)行交互時(shí),手勢(shì)采集模塊采集手勢(shì)并傳輸至手勢(shì)識(shí)別解析模塊,所述手勢(shì)識(shí)別解析模塊將采集到的手勢(shì)與手勢(shì)模板進(jìn)行匹配,通過后發(fā)出操作指令,經(jīng)WiFi網(wǎng)絡(luò)傳輸至服務(wù)器端通訊模塊;服務(wù)器端的通訊模塊將所述操作指令轉(zhuǎn)發(fā)至教師機(jī)的教學(xué)過程互動(dòng)模塊,所述教師機(jī)進(jìn)行相應(yīng)的操作后,由教學(xué)過程互動(dòng)模塊發(fā)出指令或者信息經(jīng)服務(wù)器通訊模塊和WiFi網(wǎng)絡(luò)發(fā)送至學(xué)生智能終端完成指令或信息交互。
所述教師機(jī)客戶端包括一個(gè)搶答界面,所述搶答界面包括一個(gè)“開始搶答”按鈕,點(diǎn)擊進(jìn)入搶答界面后,老師未點(diǎn)擊“開始搶答”按鈕,學(xué)生在智能終端客戶端做“搶答”手勢(shì)將解答內(nèi)容傳輸至教師機(jī)客戶端將被客戶端教學(xué)互動(dòng)模塊直接拒絕;老師點(diǎn)擊“開始搶答”按鈕后,學(xué)生學(xué)生在智能終端客戶端做“搶答”手勢(shì),經(jīng)手勢(shì)識(shí)別和解析模塊匹配成功后將解答文件傳輸至教師機(jī)客戶端,教師機(jī)客戶端接收到文件后,顯示模組為學(xué)生分配分享空間,將其提交的作業(yè)顯示在分享空間中,并通過與教師機(jī)相連的投影儀投射到屏幕上。在搶答過程中,學(xué)生重新提交作業(yè)時(shí),先在智能終端用“清除”手勢(shì)刪除該終端上一次上傳的文件再使用“上傳”手勢(shì)重新上傳。
所述“上傳”和“搶答”手勢(shì)所提交的文件包括在紙質(zhì)材料上寫好,經(jīng)拍照后以圖片格式保存在智能終端的文件和通過“截屏”手勢(shì)獲取的圖片。所述手勢(shì)采集模塊為智能終端上的按鈕觸發(fā)。教師通過教師機(jī)選擇播放的內(nèi)容,包括PPT格式。所述教師機(jī)終端允許同時(shí)讓一個(gè)以上學(xué)生以手勢(shì)上傳圖片,教師機(jī)屏幕有大于一個(gè)分享空間,教師機(jī)客戶端在接受多名學(xué)生的上傳請(qǐng)求后將分派空間的指令發(fā)送給教師機(jī)的顯示模組,分派分享空間并對(duì)已分派的空間進(jìn)行控制,教師機(jī)可以對(duì)學(xué)生當(dāng)前分配的顯示空間進(jìn)行清除操作和禁用操作。
本發(fā)明效果:該系統(tǒng)利用了學(xué)生日常生活中常用的智能終端,包括智能手機(jī)、平板電腦,安裝客戶端即可使用,省去了額外購買專屬終端設(shè)備的開銷,節(jié)約了成本,方便攜帶;利用手勢(shì)識(shí)別技術(shù)通過WiFi路由器傳輸,和服務(wù)器以及教師機(jī)進(jìn)行實(shí)時(shí)互動(dòng),操作簡(jiǎn)單方便且個(gè)性化,提高了教學(xué)效率。
附圖說明
圖1為本發(fā)明提供的基于WiFi的手勢(shì)交互式教學(xué)系統(tǒng)示意圖;
圖2是根據(jù)本發(fā)明的手勢(shì)控制系統(tǒng)處理流程圖;
圖3為本發(fā)明提供的基于WiFi的手勢(shì)交互式教學(xué)系統(tǒng)模塊示意圖;
圖4為本發(fā)明提供的搶答環(huán)節(jié)流程圖。
具體實(shí)施方式
下面結(jié)合具體的實(shí)施例對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說明,所述是對(duì)本發(fā)明的解釋而不是限定。
實(shí)施例一參見圖1、圖2,包括WiFi路由器、學(xué)生智能終端、路由器、服務(wù)器、教師機(jī)、投影儀、屏幕、Internet網(wǎng)絡(luò);所述教師機(jī)中安裝有教師客戶端,所述學(xué)生智能終端上安裝有學(xué)生客戶端,教師機(jī)和學(xué)生智能終端采用Wifi路由器相互通信連接,教師機(jī)和投影儀相連接,教師機(jī)和學(xué)生智能終端通過WiFi路由器連接Internet網(wǎng)絡(luò),與數(shù)據(jù)庫和服務(wù)器進(jìn)行連接通信;教師上課階段使用教師客戶端,學(xué)生的上課使用學(xué)生客戶端。
參見圖1、圖2結(jié)合圖3,學(xué)生登錄學(xué)生客戶端后,第一次使用時(shí),首先需要錄入手勢(shì)模板,由智能終端上的按鈕觸發(fā)智能終端自身的加速度傳感器的開始和結(jié)束,按下按鈕表示執(zhí)行一個(gè)手勢(shì)動(dòng)作,釋放按鈕表示一個(gè)動(dòng)作結(jié)束,手勢(shì)數(shù)據(jù)由手勢(shì)采集模塊對(duì)學(xué)生在智能終端輸入的手勢(shì)數(shù)據(jù)進(jìn)行加速度采集,即利用智能終端設(shè)備自身的加速傳感器,通過自然方式握持智能終端來采集手勢(shì)的整體運(yùn)動(dòng)數(shù)據(jù)。
然后利用手勢(shì)采集模塊對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行預(yù)處理,具體步驟為:將智能終端的加速度傳感器采集到的數(shù)據(jù)流進(jìn)行數(shù)據(jù)轉(zhuǎn)換,轉(zhuǎn)換成為標(biāo)準(zhǔn)的樣本手勢(shì)數(shù)據(jù),并進(jìn)一步處理標(biāo)準(zhǔn)的樣本手勢(shì)數(shù)據(jù),通過均值濾波的方法對(duì)加速度數(shù)據(jù)流進(jìn)行平穩(wěn)降噪處理,數(shù)據(jù)包括X軸、Y軸、Z軸的加速度值,并進(jìn)一步壓縮原加速度序列數(shù)據(jù),獲取手勢(shì)位移的起點(diǎn)和終點(diǎn),重新生成一個(gè)新的加速度序列數(shù)據(jù);得到去噪后的手勢(shì)樣本數(shù)據(jù)以及手勢(shì)的起點(diǎn)和終點(diǎn)。
接下來利用手勢(shì)采集模塊對(duì)所述手勢(shì)數(shù)據(jù)進(jìn)行特征值提取,特征值包括手勢(shì)的位移量和旋轉(zhuǎn)角度,首先計(jì)算手勢(shì)的位移量,然后根據(jù)從加速度序列數(shù)據(jù)得到手勢(shì)位置偏移值序列,得到最終的手勢(shì)樣本模板。
以此方式利用手勢(shì)采集模塊建立多個(gè)手勢(shì)樣本模板,從而建立手勢(shì)樣本模板庫,即通過設(shè)定手勢(shì)功能統(tǒng)一存儲(chǔ)手勢(shì)樣本模板,利用手勢(shì)采集模塊存儲(chǔ)手勢(shì)樣本模板,并存入手勢(shì)庫中,用于匹配相應(yīng)手勢(shì)功能。
然后利用手勢(shì)采集模塊對(duì)手勢(shì)模板進(jìn)行自適應(yīng)處理,即通過手勢(shì)采集模塊計(jì)算出手勢(shì)樣本模板并同手勢(shì)庫中所有手勢(shì)樣本模板進(jìn)行計(jì)算,匹配最相近的手勢(shì)樣本。
用戶需要定義兩次以確定第一次定義是否正確,確認(rèn)后,學(xué)生對(duì)所述錄入手勢(shì)模板中的各手勢(shì)進(jìn)行自定義命名,并有模板中預(yù)置的手勢(shì)功能一一對(duì)應(yīng),所述預(yù)置的手勢(shì)功能包括“上傳”、“截取”、“下載”、“清除”、“提問”、“搶答”。
所述的教師機(jī)上播放老師事先準(zhǔn)備的PPT格式的教案,通過與教師機(jī)相連的投影儀投放到大屏幕,教師機(jī)和學(xué)生智能終端通過WiFi網(wǎng)絡(luò)及服務(wù)器相連,服務(wù)器通過無線多播技術(shù)發(fā)送教師機(jī)播放的內(nèi)容實(shí)現(xiàn)實(shí)時(shí)傳輸,并且在更新發(fā)送教師機(jī)播放的內(nèi)容時(shí)使用了兩種方式,即通過多播數(shù)據(jù)的特性獲取更新內(nèi)容和通過服務(wù)器在顯示新內(nèi)容時(shí)發(fā)送更新訊號(hào),提供了雙重保障,學(xué)生在學(xué)生客戶端采用“下載”手勢(shì),由手勢(shì)采集模塊采集,手勢(shì)識(shí)別解析模塊從感測(cè)器的數(shù)據(jù)流中找出樣本手勢(shì)之后用動(dòng)態(tài)規(guī)則算法計(jì)算手勢(shì)之間的距離,即將各種手勢(shì)動(dòng)態(tài)地規(guī)整到一個(gè)固定的時(shí)間長(zhǎng)度,算法中計(jì)算手勢(shì)之間的距離公式:
D(i,j)=distance(i,j)+min{D(i-1,j-1),D(i-1,j),D(i,j-1)}
其中D為代價(jià)矩陣,D(i,j)表示長(zhǎng)度分別為i和j的兩個(gè)時(shí)間序列之間的歸整路徑距離,distance(i,j)為i與j時(shí)間序列之間的距離(或誤差距離);
從所述智能終端加速度傳感器的數(shù)據(jù)流中找出樣本手勢(shì),之后計(jì)算采集的手勢(shì)與手勢(shì)庫的所有手勢(shì)之間的距離,然后找一個(gè)距離最近的手勢(shì)庫中的手勢(shì)來進(jìn)行確認(rèn),當(dāng)采集的“下載”手勢(shì)小于手勢(shì)庫中的手勢(shì)界限時(shí),該手勢(shì)會(huì)被識(shí)別為“下載”,并根據(jù)所識(shí)別手勢(shì)代表的功能解析發(fā)送指令到服務(wù)器的通訊模塊。手勢(shì)識(shí)別和解析系統(tǒng)識(shí)別手勢(shì)后根據(jù)相應(yīng)的操作功能解析發(fā)送指令到服務(wù)器端通訊模塊,通訊模塊進(jìn)行傳輸學(xué)生智能終端、服務(wù)器和教師機(jī)之間的通訊數(shù)據(jù),所述傳輸方式為雙向傳輸,即學(xué)生智能終端中包括手勢(shì)定義、識(shí)別和管理,教學(xué)過程互動(dòng)功能的應(yīng)用軟件通過與服務(wù)器的消息接收和發(fā)送同教師機(jī)進(jìn)行操作指令的傳輸,服務(wù)器對(duì)教師機(jī)控制播放的內(nèi)容進(jìn)行無線多播,學(xué)生通過智能終端中的手勢(shì)傳遞操作向服務(wù)器發(fā)送指令對(duì)教師機(jī)內(nèi)容進(jìn)行實(shí)時(shí)獲?。煌ㄓ嵞K將“下載”指令發(fā)送至教師機(jī)教學(xué)互動(dòng)模塊,教師機(jī)的教學(xué)互動(dòng)模塊接收后轉(zhuǎn)化為相應(yīng)的“下載”操作,實(shí)時(shí)將教師機(jī)上的教案通過服務(wù)器通訊模塊傳輸至學(xué)生智能終端,完成下載操作。
學(xué)生要提問時(shí),在終端的學(xué)生客戶端做“截取”的手勢(shì),由手勢(shì)采集模塊采集,手勢(shì)識(shí)別解析模塊從感測(cè)器的數(shù)據(jù)流中找出樣本手勢(shì)之后用動(dòng)態(tài)規(guī)則算法計(jì)算手勢(shì)之間的距離,然后找一個(gè)距離最近的手勢(shì)庫中的手勢(shì)來進(jìn)行確認(rèn),當(dāng)采集的“截取”手勢(shì)小于手勢(shì)庫中的手勢(shì)界限時(shí),該手勢(shì)會(huì)被識(shí)別為“截取”,并根據(jù)所識(shí)別手勢(shì)代表的功能解析發(fā)送指令到服務(wù)器的通訊模塊,通訊模塊傳輸指令并與教師機(jī)教學(xué)過程互動(dòng)模塊雙向信息交互,即學(xué)生通過智能終端手勢(shì)識(shí)別解析模塊發(fā)送手勢(shì)傳遞“截取”指令,服務(wù)器通訊模塊傳輸該“截取”指令至教師機(jī),教師機(jī)接收到信息后,有教學(xué)過程互動(dòng)模塊將當(dāng)前教師機(jī)或屏幕上的數(shù)據(jù)經(jīng)過服務(wù)器傳輸至學(xué)生智能終端,并以圖片方式保存到智能終端中。然后學(xué)生使用“提問”手勢(shì),請(qǐng)求老師解答。手勢(shì)識(shí)別解析模塊確認(rèn)后發(fā)送“提問”指令到服務(wù)器端通訊模塊,服務(wù)器通知老師機(jī)客戶端,老師機(jī)客戶端接收到“提問”請(qǐng)求并發(fā)送同意消息接受“提問”請(qǐng)求,通過WiFi和服務(wù)器通訊模塊傳遞至學(xué)生智能終端手勢(shì)識(shí)別解析模塊,同時(shí)教學(xué)過程互動(dòng)模塊為提問的學(xué)生在教師機(jī)屏幕上分配顯示空間,將學(xué)生智能終端當(dāng)前顯示的問題同步到教師機(jī)屏幕上,進(jìn)行現(xiàn)場(chǎng)解答。
實(shí)施例二為基于實(shí)施例一實(shí)現(xiàn)的基礎(chǔ)上的一優(yōu)選方案。參見圖4,所述學(xué)生客戶端的手勢(shì)庫里還有“搶答”手勢(shì),所述老師機(jī)客戶端教學(xué)互動(dòng)模塊中有相應(yīng)的“搶答”模塊,教師客戶端包含搶答界面,所述搶答界面包含一個(gè)“開始搶答”選項(xiàng),老師在課堂上布置隨堂練習(xí),進(jìn)入搶答界面,在點(diǎn)擊“開始搶答”選項(xiàng)前,學(xué)生在客戶端用“搶答”手勢(shì)將會(huì)被教師客戶端教學(xué)互動(dòng)模塊拒絕;當(dāng)老師點(diǎn)擊“開始搶答”后,學(xué)生在智能終端或者紙質(zhì)材料上完成作業(yè),通過學(xué)生客戶端做出“搶答”手勢(shì),被手勢(shì)識(shí)別解析模塊與手勢(shì)模板里的“搶答”模板匹配成功后,學(xué)生客戶端的手勢(shì)識(shí)別解析模塊發(fā)送指令到服務(wù)器通訊模塊,服務(wù)器通訊模塊傳輸“搶答”指令至老師機(jī)的老師客戶端,然后老師機(jī)客戶端教學(xué)互動(dòng)模塊為搶答學(xué)生分配顯示分享空間,學(xué)生將在終端完成的作業(yè)或者通過拍照將解答過程以圖片格式儲(chǔ)存在智能終端中的作業(yè),通過“上傳”手勢(shì)將所述作業(yè)上傳至教師客戶端,顯示在所分配的分享空間中,通過投影儀在屏幕上展現(xiàn),,當(dāng)學(xué)生要重新上傳作業(yè)時(shí),通過“清除”手勢(shì)刪除為其分配的顯示空間中已上傳的作業(yè)并重新上傳。
教師客戶端有分配指定數(shù)量(即指定搶答數(shù)量)分享空間并允許搶答的選項(xiàng),老師機(jī)允許多個(gè)學(xué)生服務(wù)端終端通過WiFi路由器進(jìn)行同時(shí)訪問。
最后說明的是,以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制,盡管參照較佳實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或/和等同替換,而不脫離本發(fā)明技術(shù)方案的宗旨和范圍,其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。