專利名稱：一種基于智能手機的遠程答疑輔導系統(tǒng)的制作方法
技術領域：
本實用新型涉及智能手機的技術領域，具體地說是ー種基于智能手機的遠程答疑輔導系統(tǒng)，可實現(xiàn)習題掃描成像，同步傳輸和同步白板教學的功能。
背景技術：
中小學生課外輔導是提高學生能力的其中ー個重要手段，具體有1、參加輔導小班課程，聽老師講解例題，其往往是單向輔導溝通；2、一対一家教，固定時間內老師和學生進行面對面講解輔導，而學生在實際做習題和作業(yè)的時候，經(jīng)常會遇到難題而無從下手，此時是最需要老師進行針對性的講解，而且此時的輔導效果往往最佳的，印象最為深刻，但往往此時學生是無人可問的，現(xiàn)今網(wǎng)絡通訊方式已經(jīng)十分發(fā)達，通過有些網(wǎng)站進行在線輔導，可通過網(wǎng)絡視頻電話進行輔導，但是遠程視頻時，老師無法清楚的看清需要解答的習題，故效果不佳。另外系統(tǒng)不能隨身攜帯，也不方便。 Sift算法是David Lowe于1999年提出的局部特征描述子，并于2004年進行了更深入的發(fā)展和完善。Sift特征匹配算法可以處理兩幅圖像之間發(fā)生平移、旋轉、仿射變換情況下的匹配問題，具有很強的匹配能力?？傮w來說，Sift算子具有以下特性(I)、Sift特征是圖像的局部特征，對平移、旋轉、尺度縮放、亮度變化、遮擋和噪聲等具有良好的不變性，對視覺變化、仿射變換也保持一定程度的穩(wěn)定性。(2)、獨特性好，信息量豐富，適用于在海量特征數(shù)據(jù)庫中進行快速、準確的匹配。(3)、多量性，即使少數(shù)的幾個物體也可以產生大量Sift特征向量。(4)、速度相對較快，經(jīng)優(yōu)化的Sift匹配算法甚至可以達到實時的要求。
(5)、可擴展性強，可以很方便的與其他形式的特征向量進行聯(lián)合。其Sift算法的三大工序為，(I)提取關鍵點；⑵對關鍵點附加詳細的信息(局部特征)也就是所謂的描述器；(3)通過兩方特征點(附帯上特征向量的關鍵點)的兩兩比較找出相互匹配的若干對特征點，也就建立了景物間的對應關系。提取關鍵點和對關鍵點附加詳細的信息(局部特征)也就是所謂的描述器可以稱做是Sift特征的生成，即從多幅圖像中提取對尺度縮放、旋轉、亮度變化無關的特征向量，VoIP (Voice over Internet Protocol)簡而言之就是將模擬聲音信號(Voice)數(shù)字化，經(jīng)過數(shù)字壓縮后，以數(shù)據(jù)封包(Data Packet)的形式在IP數(shù)據(jù)網(wǎng)絡(IP Network)上做實時傳遞。從而實現(xiàn)語音雙向通信。VoIP最大的優(yōu)勢是能廣泛地采用Internet和全球IP互連的環(huán)境，提供比傳統(tǒng)業(yè)務更便宜的服務。VoIP可以在IP網(wǎng)絡上便宜的傳送語音、傳真、視頻、和數(shù)據(jù)等業(yè)務，如統(tǒng)ー消息、虛擬電話、虛擬語音/傳真郵箱、查號業(yè)務、Internet呼叫中心、Internet呼叫管理、電視會議、電子商務、傳真存儲轉發(fā)和各種信息的存儲轉發(fā)
坐寸o目前常用的協(xié)議如H. 323,SIP,MEGACO和MGCP。H. 323是ー種ITU-T標準，最初用于局域網(wǎng)(LAN)上的多媒體會議，后來擴展至覆蓋VoIP。該標準既包括了點對點通信也包括了多點會議。札323定義了四種邏輯組成部分終端、網(wǎng)關、關守及多點控制單元(MCU)。終端、網(wǎng)關和MCU均被視為終端點。會話發(fā)起協(xié)議(SIP)是建立VOIP連接的IETF標準。SIP是ー種應用層控制協(xié)議，用于和ー個或多個參與者創(chuàng)建、修改和終止會話。SIP的結構與HTTP (客戶一服務器協(xié)議)相似?？蛻魴C發(fā)出請求，并發(fā)送給服務器，服務器處理這些請求后給客戶機發(fā)送ー個響應。該請求與響應形成一次事務。媒體網(wǎng)關控制協(xié)議(MGCP)是由思科和Telcordia提議的VoIP協(xié)議，它定義了呼叫控制單元(呼叫代理或媒體網(wǎng)關)與電話網(wǎng)關之間的通信服務。MGCP屬于控制協(xié)議，允許中心控制臺監(jiān)測IP電話和網(wǎng)關事件，并通知它們發(fā)送內容至指定地址。在MGCP結構中，智能呼叫控制置于網(wǎng)關外部并由呼叫控制單元(呼叫代理)來處理。同時呼叫控制單元互相保持同步，發(fā)送一致的命令給網(wǎng)關。媒體網(wǎng)關控制協(xié)議(Megaco)是IETF和ITU-T (ITU-TH. 248建議)共同努力的結果。Megaco/H. 248是ー種用于控制物理上分開的多媒體網(wǎng)關的協(xié)議單元的協(xié)議，從而可以從媒體轉化中分離呼叫控制。Megaco/H. 248說明了用于轉換電路交換語音到基于包的通信流量的媒體網(wǎng)關(MG)和用于規(guī)定這種流量的服務邏輯的媒介網(wǎng)關控制器之間的聯(lián)系。Megaco/H. 248通知媒體網(wǎng)關將來自于數(shù)據(jù)包或単元數(shù)據(jù)網(wǎng)絡之外的數(shù)據(jù)流連接到數(shù)據(jù)包或単元數(shù)據(jù)流上，如 實時傳輸協(xié)議(RTP)。從VoIP結構和網(wǎng)關控制的關系來看，Megaco/H. 248與MGCP在本質上相當相似，但是Megaco/H. 248支持更廣泛的網(wǎng)絡，如ATM。

實用新型內容本實用新型的目的在于提供一種基于智能手機的遠程答疑輔導系統(tǒng)，其可實現(xiàn)習題掃描成像、圖像傳輸、白板同步教學附語音通信的功能，可實現(xiàn)兩地實時互動，克服了現(xiàn)有技術中存在的缺點和不足。為了實現(xiàn)上述目的，本實用新型的技術方案是一種基于智能手機的遠程答疑輔導系統(tǒng)，其特征在于學生客戶端設備和教師客戶端設備，其特征在于所述學生客戶端設備內設有攝像頭，學生客戶端設備的側部或下部或上部設有掃描窗ロ，上述攝像頭正對掃描窗ロ設置，攝像頭可通過掃描窗ロ進行圖形掃描，學生客戶端設備和教師客戶端設備通過無線網(wǎng)絡實現(xiàn)數(shù)據(jù)交換。一種基于智能手機的遠程答疑輔導系統(tǒng)的使用方法，其特征在干所述使用方法如下I、使用學生客戶端設備I的攝像頭3透過掃描窗ロ 4以10幀/秒-60幀/秒的速度對習題進行從左到右攝像掃描；II、圖形處理模塊使用SIFT圖像拼接算法對相鄰圖像進行拼接，先找到兩張圖中內容一致的部分的像素點坐標，再把兩張圖像中重疊部分去除掉重復部分，最后將剰余部分拼接在一起，如此按攝像時間先后，將所有圖片依次拼接，從而得到一次從左到右掃描出來的作業(yè)內容，如果所需掃描的習題的高度超過了掃描窗ロ的寬度，可以進行多次次上下掃描，具體第一次從題目開始的左沿，從左向右掃描完成題目上面部分整個內容寬度，接著，掃描窗ロ移動回到題目開始的左沿，從題目剛才被掃描的高度的三分之一高度位置開始從左向右掃描。這樣這次掃描的上部區(qū)域三分之一高度的內容是前面被掃描過的內容。這兩次掃描的圖像有三分之一是ー樣的。這樣就可以同樣采用SIFT算法做第二次的垂直方向的圖像拼接。如果兩次掃描還是不能涵蓋整個題目，則同樣方法繼續(xù)掃描拼接，直到掃描完題目；III、學生客戶端設備通過無線網(wǎng)絡將習題內容以JPG圖像壓縮格式，先向后臺服務器詢問當值的教師用的設備在后臺服務器上的注冊ID，具體在WIFI的公共網(wǎng)絡上是IP地址，如果是在運營商的網(wǎng)絡上就是ー個局域網(wǎng)的地址。發(fā)送到教師客戶端設備，教師客戶端可以普通的智能機，安裝了本專利實現(xiàn)的軟件，該軟件接收到題目圖像后，解壓縮后，顯示在機器的顯示屏上教師和學生可以在各自的顯示屏幕上手寫輸入解題思路，或問題等，手寫輸入的內容通過已經(jīng)建立起來的網(wǎng)絡傳送到對端，顯示在雙方的屏幕上。用不同的顔色區(qū)分。實現(xiàn)白板的功能。另外對方白板上面更新顯示的接收到的內容和經(jīng)過VOIP的收聽到的語音是同歩。具體采用傳輸?shù)臅r候白板信息和語音信息上面都加上時間戳。接收方回放根據(jù)時間戳同時放送和顯示；IV、系統(tǒng)使學生客戶端設備和教師客戶端設備建立VOIP (Voice over Internet Protocol)，進行語言的溝通，并且雙方的手機的手寫觸摸屏同時顯示本掃描的習題內容，雙方可以通過手機的手寫觸摸屏進行白板同步教學。進行有聲的白板雙向輔導教學。本實用新型公開了ー種基于智能手機的遠程答疑輔導系統(tǒng)，其學生客戶端設備設有一攝像頭，可實現(xiàn)圖像掃描功能，學生客戶端設備系統(tǒng)中自帶圖像處理軟件，能對掃描后的圖像進行自動識別拼接，最終將需掃描的習題準確無誤的生成一張完整的圖片，并利用無線網(wǎng)絡將圖片傳送到教師客戶端設備，雙方的客戶端設備同時顯示本掃描的習題，雙方可通過手寫觸摸屏進行白板同步溝通，真正實現(xiàn)實時互動的輔導效果，第一時間解答學生的難題，且整個答疑過程可進行實時記錄，方便學生進行復習，針對性強，印象深刻，相比傳統(tǒng)的補習方式效果更加，而且時間和空間上更加靈活。

圖I為本實用新型系統(tǒng)連接示意圖。圖2為本實用新型學生客戶端設備ー實施例結構示意圖。圖3為本實用新型學生客戶端設備ニ實施例結構示意圖。圖4為本實用新型白板同步流程圖。圖5為左右相鄰圖形拼接示意圖。圖6為上下兩次掃描圖像拼接示意圖。
具體實施方式
以下結合附圖和實施例對本實用新型作進ー步的描述。本實用新型公開了ー種基于智能手機的遠程答疑輔導系統(tǒng)，它包括學生客戶端設備I和教師客戶端設備2，其區(qū)別于現(xiàn)有技術在于所述學生客戶端設備I內設有攝像頭3，學生客戶端設備I的側部或下部或上部設有掃描窗ロ 4，上述攝像頭3正對掃描窗ロ 4設置，攝像頭3可通過掃描窗ロ 4進行圖形掃描，學生客戶端設備I和教師客戶端設備2通過無線網(wǎng)絡實現(xiàn)數(shù)據(jù)交換。在具體實施時，為了增加手機內部電路結構和電池的空間，必須降低攝像頭的設置位置，在手機內設置反射鏡5，利用折射成像原理，降低攝像頭的設置位置，攝像頭設置于反射鏡ー側，該反射鏡可為平面反射鏡或弧面反射鏡，弧面能有效增加反射面積，可以使得攝像頭和反射鏡頭更低。一種基于智能手機的遠程答疑輔導系統(tǒng)的使用方法，其區(qū)別于現(xiàn)有技術在于所述使用方法如下I、使用學生客戶端設備I的攝像頭3透過掃描窗ロ 4以10幀/秒-60幀/秒的速度對習題進行從左到右攝像掃描；II、學生客戶端設備I的圖形處理模塊使用SIFT圖像拼接算法對相鄰圖像進行拼接，先找到兩張圖中內容一致的部分的像素點坐標，再把兩張圖像中重疊部分去除掉，最后將剩余部分拼接在一起，如此按攝像時間先后，將所有圖片依次拼接，從而得到一次從左到右掃描出來的作業(yè)內容，如果所需掃描的習題的高度超過了掃描窗ロ的寬度，可以進行多次上下掃描，具體第一次從題目開始的左沿，從左向右掃描完成題目上面部分整個內容寬度，接著，掃描窗ロ移動回到題目開始的左邊，從題目剛才被掃描的高度的三分之一高度位置開始從左向右掃描。這樣掃描的區(qū)域三分之一高度的內容是前面被掃描過的內容。這兩次掃描的圖像有三分之一是ー樣的。這樣就可以同樣采用SIFT算法做第二次的垂直方向的圖像拼接。如果兩次掃描還是不能涵蓋整個題目，則同樣方法繼續(xù)掃描拼接，直到掃描完題目； III、學生客戶端設備通過無線網(wǎng)絡將習題內容以JPG圖像壓縮格式，先向后臺服務器詢問當值的教師用的設備在后臺服務器上的注冊ID，具體在WIFI的公共網(wǎng)絡上是IP地址，如果是在運營商的網(wǎng)絡上就是ー個局域網(wǎng)的地址。發(fā)送到教師客戶端設備，教師客戶端可以普通的智能機，安裝了本專利實現(xiàn)的軟件，該軟件接收到題目圖像后，解壓縮后，顯示在機器的顯示屏上。教師和學生可以在各自的顯示屏幕上手寫輸入解題思路，或問題等，手寫輸入的內容通過已經(jīng)建立起來的網(wǎng)絡傳送到對端，顯示在屏幕上。實現(xiàn)白板的功能。另外對方白板上面更新顯示的接收到的內容和經(jīng)過VOIP的收聽到的語音是同歩。具體采用傳輸?shù)臅r候白板信息和語音信息上面都加上時間戳。接收方回放根據(jù)時間戳同時放送和顯示；IV、系統(tǒng)使學生客戶端設備I和教師客戶端設備2建立VOIP (Voice overInternet Protocol)，并且雙方的手機的手寫觸摸屏同時顯示本掃描的習題內容，雙方可以通過手機的手寫觸摸屏進行白板同步教學。在具體實施時，所述學生客戶端設備I和教師客戶端設備2的手寫觸摸屏的白板同步教學界面設有如下功能i繪制一條線條、 撤銷一條已畫線條、iii重置畫板、iv發(fā)送文字消息、V翻頁消息，單項操作在手寫觸摸屏幕完成后，在客戶端后臺進行數(shù)據(jù)封裝，形成自定義數(shù)據(jù)包，這些數(shù)據(jù)包通過TCP/IP或UDP或RTP運輸?shù)竭_到對方客戶端，對方客戶端后臺再進行解析封裝的數(shù)據(jù)包內容，并在對方客戶端的手寫觸摸屏逐項顯示相應的線條繪制。在具體實施吋，繪制一條線條進行同步操作為將當前線條設置為insert類型，并賦予當前線條編號，記錄當前畫筆顏色，并封裝該信息發(fā)送線條信息到另ー客戶端，線條封裝信息包含有起始點、移動點、結束點，D起始點獲得該點的坐標軸和所屬的線條編號，設置該點為start類型(表示起始點)，并封裝發(fā)送該點信息到另ー客戶端，2)移動點獲得該點的坐標軸和所屬的線條編號，設置該點為move類型(表示移動點)，并封裝發(fā)送該點信息到另ー客戶端，3)結束點獲得該點的坐標軸和所屬的線條編號，設置該點位stop類型(表示結束點)，并封裝該信息發(fā)送到另ー個客戶端，另ー客戶端接收該線條信息并保存到HashMap將編號設置為ReceiveId (表示是接收過來的線條類型)，設置同步過來的畫筆顏色，當接收到起始點時，開始繪制線條，當接收到結束點的則結束該線條的繪制，接受到移動點時，繪畫該線條所進過的坐標軸。在具體實施時，撤銷一條線條同步操作為將當前保存在HashMap的最后一條線條撤銷，并將改線條信息的編號讀取，設置該消息為delete類型，并發(fā)送到另一端客戶端，如果同步一端接收到的編號類型為ReceiveId則在同步的一端撤銷本地繪制的編號，如果同步一端接收到的編號類型為Id則在同步一端撤銷接收到線條編號。在具體實施時，重畫畫板操作為將當前本頁畫板清空，并發(fā)送為redraw類型的消息和本頁編號的信息到同步端，進行畫板重置。在具體實施時，發(fā)送文字消息操作為將當前消息體設置為txt類型，并封裝要發(fā)送的文字到同步客戶端。在具體實施時，翻頁同步操作為將當前消息體設置為feed，并封裝要同步的頁數(shù)。在具體實施時，所述學生客戶端設備I和教師客戶端設備2為帶有手寫觸摸屏的智能手機，其下部設有掃描窗ロ 4，智能手機內的攝像頭正對掃描窗ロ設置。在具體實施時，智能手機內設有攝像頭，該攝像頭ー側的手機內設有反射透鏡，實現(xiàn)圖像投影。在具體實施時，掃描窗ロ的寬度在25mm左右，窗ロ的縱向寬度在8mm左右，(現(xiàn)在手機的厚度一般小于18mm),如果攝像頭以姆秒30巾貞攝像,而且學生掃描的速度為100MM/秒(一般人的掃描速度在50mm/秒以內)。每2幀拍攝到的圖象之間的位移有3. 3_，那也就是說相鄰前后的兩張圖像中有(8-3. 3) /8*%=59%的內容是ー樣的，對于相鄰兩張圖像作SIFT圖像拼接相關算法，找到兩張圖中內容一致的部分的像素點坐標，再把兩張圖像中重疊部分去除掉重復多余部分，把不同的部分拼接在一起，這樣按攝像時間先后的圖片依次拼接，從而得到一次從左到右掃描出來的作業(yè)內容，如果題目的高度超過了掃描窗ロ的寬度，可以進行多次上下掃描，每次掃描圖像拼接出來的長條內容再進行二次圖像拼接，從而得到整個較多行文字或比較大的圖示的題目，手機再把這個題目圖像通過手機的無線網(wǎng)絡傳送到輔導老師處，系統(tǒng)使雙方建立VOIP語音通話，雙方的手機同時顯示本掃描的習題內容，雙方可以通過手機的手寫觸摸屏進行白板溝通。對方白板上面更新顯示的接收到的內容和經(jīng)過VOIP的收聽到的語音是同歩。具體采用傳輸?shù)臅r候白板信息和語音信息上面都加上時間戳。接收方回放根據(jù)時間戳同時放送和顯示。在圖像拼接中，可能中途作業(yè)內容是留白的，前后兩張圖像重疊部分是空白內容或同一個顏色的內容，則采用速度計算圖像進度預估的方法，具體算法是先找到最后兩張有重疊部分的圖像，通過sift算法計算拼接位置的位移差AL1，再計算掃描經(jīng)過空白區(qū)后第一次兩張有重疊部分的圖像，通過sift算法計算這兩張圖像拼接位置的位移差AL2，(A LI+ A L2) + 2Xn=應該在拼接圖中加入的空白區(qū)間的長度，n為從最后能計算出A L的圖到最開始恢復能計算出AL的圖中間掃描通過了多少張圖。本專利技術不僅限于教學領域，還可擴展應用到其它技術領域，例如貨品的條碼掃描，英語翻譯，教學筆記圖形抓取等。以上內容是結合具體的優(yōu)選實施方式對本實用新型所作的進ー步詳細說明，不能認定本實用新型具體實施只局限于上述這些說明。對于本實用新型所屬技術領域的普通技術人員來說，在不脫離本實用新型構思的前提下，還可以做出若干簡單推演或替換，都應當視為屬于本實用新型的保護范圍 。
權利要求1.一種基于智能手機的遠程答疑輔導系統(tǒng)，它包括學生客戶端設備(I)和教師客戶端設備(2)，其特征在干所述學生客戶端設備(I)內設有攝像頭(3)，學生客戶端設備(I)的側部或下部或上部設有掃描窗ロ(4)，上述攝像頭(3)正對掃描窗ロ(4)設直，攝像頭(3)可通過掃描窗ロ(4)進行圖形掃描，學生客戶端設備(I)和教師客戶端設備(2)通過無線網(wǎng)絡實現(xiàn)數(shù)據(jù)交換。
2.根據(jù)權利要求I所述的ー種基于智能手機的遠程答疑輔導系統(tǒng)，其特征在于所述學生客戶端設備(I)和教師客戶端設備(2)為帶有手寫觸摸屏的智能手機。
專利摘要本實用新型公開了一種基于智能手機的遠程答疑輔導系統(tǒng)，學生客戶端設備和教師客戶端設備，其特征在于所述學生客戶端設備內設有攝像頭，學生客戶端設備的側部或下部或上部設有掃描窗口，上述攝像頭正對掃描窗口設置，攝像頭可通過掃描窗口進行圖形掃描，學生客戶端設備和教師客戶端設備通過無線網(wǎng)絡實現(xiàn)數(shù)據(jù)交換。其學生客戶端設備設有一攝像頭，可實現(xiàn)圖像掃描功能，學生客戶端設備系統(tǒng)中自帶圖像處理軟件，能對掃描后的圖像進行自動識別拼接，最終將需掃描的習題準確無誤的生成一張完整的圖片，并利用無線網(wǎng)絡將圖片傳送到教師客戶端設備，雙方的客戶端設備同時顯示本掃描的習題，雙方可通過手寫觸摸屏進行白板同步溝通，真正實現(xiàn)實時互動的輔導效果，第一時間解答學生的難題，且整個答疑過程可進行實時記錄，方便學生進行復習，針對性強，印象深刻，相比傳統(tǒng)的補習方式效果更加，而且時間和空間上更加靈活。
文檔編號H04N1/00GK202650290SQ20122024196
公開日2013年1月2日 申請日期2012年5月28日 優(yōu)先權日2012年5月28日
發(fā)明者盧斌 申請人:上海易酷信息技術服務有限公司, 盧斌