本發(fā)明涉及人機交互技術領域，尤其涉及一種對手寫過程數(shù)字化記錄和電子化重建的系統(tǒng)及方法。

背景技術：

當前，用于將手寫內容輸入到電子設備并再現(xiàn)的處理方法已經(jīng)被提出。

一類典型的解決方法是：由用于進行手寫輸入的工具部分(電子觸控筆或手指觸摸、電容屏和電阻屏等電子屏)、用于識別手寫內容的模式識別部分、用于確定手寫內容與用戶目標是否一致的判斷部分、用于確定手寫操作是否保留的軟件控制設置、用于將手寫內容在電子設備中重建的模型進行存儲的物理存儲裝置等組成。上述這類設備只能在屏幕上進行書寫，所保留的內容也僅有電子文件，且需要邊寫邊比對屏幕、確認和選擇屏幕反饋的內容，降低了使用者的書寫效率，且使用者必須不斷地看屏幕，降低了使用者的使用體驗，尤其對于尚處于身體發(fā)育期的中小學生視力傷害更大。

另一類典型的解決方法是：現(xiàn)有超聲波輸入方法,通常為移動軌跡的圖形化,對其移動軌跡進一步處理時,由于手寫軌跡的彎曲,這種輸入技術對于通常的字母或漢字還需要進一步復雜的識別技術,才能將手寫軌跡電子化,且不是完全真實的還原，同時對于一些非文字的圖形,電子化則比較困難。在這類輸入方法上增加紅外發(fā)生單元，構建的一種虛擬輸入系統(tǒng),包括獲取輸入信息的信息接收端、操作輸入的操作端、進行輸入的操作平面,所述操作端包括產生超聲波的超聲波發(fā)生單元以及產生紅外信號的紅外發(fā)生單元,所述信息接收端包括接收所述超聲波發(fā)生單元產生的超聲波的超聲波接收單元、接收所述紅外發(fā)生單元產生的紅外信號的紅外接收單元以及進行輸入控制的控制單元,所述操作平面通過所述控制單元定義輸入?yún)^(qū)域,所述操作端在所述輸入?yún)^(qū)域進行輸入操作時,所述超聲波發(fā)生單元發(fā)出超聲波,所述超聲波接收單元接收所述超聲波,所述紅外發(fā)生單元發(fā)出紅外信號,所述紅外接收單元接收所述紅外信號后確定所述操作端的起始位置,所述控制單元根據(jù)接收的超聲波獲取所述操作端的所在輸入?yún)^(qū)域的位置完成輸入。這類輸入方法需要將進行輸入的操作平面、產生超聲波的超聲波發(fā)生單元和產生紅外信號的紅外發(fā)生單元的裝置位置固定，而用戶又容易移動操作平面，特別是當操作平面是多頁紙(例如練習冊、作業(yè)本)時，每翻一頁均要重新固定，使用不方便且影響了用戶體驗。而且還有另一個弊端，這種集成了超聲波單元、紅外單元的裝置或設備可用于手寫輸入的區(qū)域面積比較小，影響了用戶的多場景使用，故難以普及。而且，上述多種方式都需要使用者經(jīng)常觀看屏幕進行比對或檢查，影響了用戶使用體驗。

辦公、會議、交流中的書寫記錄要求快速準確的被記錄到物理存儲介質中并且電子化、學?；蛘咂渌膛鄼C構的老師教學活動中的板書行為要求將過程數(shù)字化和結果電子化從而比傳統(tǒng)的板書更具交互性和便捷性、學生的作業(yè)需要記錄過程和電子化、某些需要言行進行交流的場合同時需要手寫錄入且在無需紙張等情況下進行，等等，綜合和提煉這些需求，說明人們需要在不同的應用場景下手寫(例如用筆在不限制尺幅的紙上書寫和畫圖、用粉筆在傳統(tǒng)黑板上書寫和畫圖、甚至用一根桿狀物在任意平面或空間上手寫)，對于有墨水、粉筆等材料的情況下，需要保存墨跡等傳統(tǒng)痕跡以利于視覺感知，且能迅速電子化展現(xiàn)和將過程數(shù)字化演示；對于無墨水、粉筆等材料的情況下，可以在任意介質上(含無介質載體依托)、任意尺幅范圍內書寫(繪制)且迅速電子化展現(xiàn)和將過程數(shù)字化演示。而且，使用者需要盡量減少看屏幕的時間和次數(shù)，并不須在具有顯示視效的電子設備端對書寫(繪制)的內容進行確認。同時，還可以將實體介質上手寫的軌跡數(shù)字化過程和電子化內容迅速推送到各種帶屏或顯示的設備上實現(xiàn)互動。

技術實現(xiàn)要素：

本發(fā)明要解決的技術問題在于針對現(xiàn)有技術中使用者需要看屏幕進行比對操作，操作平面容易發(fā)生移動，人機交互體驗較差的缺陷，提供一種對手寫過程數(shù)字化記錄和電子化重建的系統(tǒng)及方法。

本發(fā)明解決其技術問題所采用的技術方案是：

本發(fā)明提供一種對手寫過程數(shù)字化記錄和電子化重建的系統(tǒng)，包括用于在手寫介質上進行書寫的手寫輸入部件，該系統(tǒng)還包括：

手寫工具配套裝置，設置在手寫輸入部件上，包括感知模塊、輔助模塊和第一通信模塊；感知模塊用于探測手寫輸入部件與手寫介質之間是否接觸；輔助模塊用于安裝和固定手寫工具配套裝置，并矯正書寫姿勢；第一通信模塊用于發(fā)送開始書寫的狀態(tài)信息；

定位與軌跡跟蹤裝置，設置在手寫介質的附近，包括圖像采集模塊、第二通信模塊、電源模塊和支持模塊；圖像采集模塊為雙攝像頭，用于在接收到開始書寫的狀態(tài)信息后，對手寫輸入部件的筆尖的運動軌跡圖像進行捕捉；第二通信模塊用于將捕捉到的運動軌跡圖像發(fā)送出去；電源模塊用于為定位與軌跡跟蹤裝置供電；支持模塊用于安裝和固定定位與軌跡跟蹤裝置；

終端設備，用于接收定位與軌跡跟蹤裝置捕捉到的運動軌跡圖像，并對其進行識別和處理，通過電子化的方式重建手寫輸入的軌跡。

進一步地，本發(fā)明的感知模塊包括1個或多個傳感器；若為多個傳感器，多個傳感器之間組成蜂窩陣列，通過該蜂窩陣列探測手寫輸入部件與手寫介質之間產生的聲波，進而判斷是否接觸。

進一步地，本發(fā)明的感知模塊包括聲波模型建立單元，用于對采集到的手寫輸入部件與手寫介質之間產生的聲波進行處理，過濾掉非手寫行為的聲波波形，對手寫行為的聲波波形進行特征提取，建立手寫輸入部件與書寫介質接觸時的聲波模型。

進一步地，本發(fā)明的輔助模塊包括空氣流通模塊、書寫工具固定模塊、書寫姿勢矯正模塊和電源模塊；書寫工具固定模塊包括標識單元，用于在進行軌跡識別時標識相對位置，作為建立書寫軌跡的坐標系的參考坐標點。

進一步地，本發(fā)明的終端設備為帶有電子屏幕和運算能力的電子設備，包括個人電腦、筆記本電腦、平板電腦、智能電視和手機。

本發(fā)明提供一種對手寫過程數(shù)字化記錄和電子化重建的方法，包括以下步驟：

S1、通過蜂窩式陣列傳感器獲取手寫輸入部件和書寫介質之間產生的聲波，并對聲波數(shù)據(jù)進行處理，并發(fā)送給定位與軌跡跟蹤裝置，將雙攝像頭由休眠狀態(tài)變換為工作狀態(tài)；

S2、獲取手寫輸入部件在書寫介質上的書寫軌跡圖像，將其通過無線通信的方式發(fā)送給終端設備；

S3、終端設備上的軟件對書寫軌跡圖像進行第一次處理，根據(jù)圖像中的標識對象的位置，預設的標識對象的尺寸以及標識對象與書寫介質之間的距離，對手寫輸入部件的筆尖位置進行定位；

S4、過濾掉非手寫行為的聲波波形，對手寫行為的聲波波形進行特征提取，建立手寫輸入部件與書寫介質接觸時的聲波模型，通過聲波模型判斷當前是否為手寫行為；

S5、若為非手寫行為，終端設備上的軟件處于待機狀態(tài)，不對采集到的圖像進行軌跡識別；若為手寫行為，終端設備上的軟件對書寫軌跡圖像進行實時處理，以手寫輸入端為原點構建三維空間坐標系，構建完坐標系后即開始追蹤書寫軌跡；

S6、根據(jù)書寫軌跡，在終端設備上重建并顯示用戶的手寫輸入內容，并生成筆記電子文件。

S7、用戶選擇是否對筆記電子文件進行保存。

進一步地，本發(fā)明的步驟S3中對手寫輸入部件的筆尖位置進行定位的方法具體為：

設置標識對象的邊緣外沿直徑和下邊緣外沿直徑，先由圖像中標識對象上下邊緣的比例來確定手寫工具配套裝置和攝像頭的角度；同時由標識對象上下邊緣分別到手寫輸入端的正常距離和采集到的標識對象邊緣的相對長度確定筆尖位置；

進一步地，本發(fā)明的步驟S5中構建三維空間坐標系的方法具體為：

獲取雙攝像頭采集到的圖像深度信息，根據(jù)圖像深度信息確定書寫介質、手寫工具配套裝置、手寫錄入軌跡相對于雙攝像頭的距離，然后根據(jù)筆尖到攝像頭的距離來計算書寫介質、手寫工具配套裝置、手寫錄入軌跡相對于手寫輸入端的距離，從而構建出以手寫輸入端為原點的三維空間坐標系。

進一步地，本發(fā)明的步驟S5中還包括進行翻頁操作的方法，具體為：

通過翻頁手勢可以實現(xiàn)新增空白頁，當用戶想查看之前保存的手寫內容時，通過翻頁手勢可以返回到前文內容；

對向后翻頁和向前翻頁建立兩個二維模型，存儲在終端設備中；

對定位與軌跡跟蹤裝置傳到終端上的圖片進行檢測，當后一張圖片與前一張圖片相似度低于70％時即開始檢測，并提取后一張圖片的不同區(qū)域；

檢測完成后開使對不用區(qū)域進行識別，首先識別該不同點是否為手勢，確定為手勢之后開始對該手勢進行匹配以確定翻頁的順序。

進一步地，本發(fā)明的步驟S5中追蹤書寫軌跡的方法具體為：

根據(jù)構建的以手寫輸入端為原點的三維空間坐標系，對收到的每一幀的圖片進行處理，確定每一幀圖片中手寫輸入端的坐標；將前一張圖片中的手寫輸入端的坐標記錄在后一張圖片中，并不斷記錄，通過坐標點的變化過程實時的追蹤書寫軌跡。

本發(fā)明產生的有益效果是：本發(fā)明的對手寫過程數(shù)字化記錄和電子化重建的系統(tǒng)及方法，輸入工具不需要采用完全定制的設備，而是在現(xiàn)有傳統(tǒng)的鋼筆、鉛筆、粉筆甚至任意的桿狀物加上一個識別標識類裝置；對承載和記錄實際書寫痕跡的介質材料無要求；且使用者不需要邊書寫邊觀看電子屏幕，大大提高了書寫軌跡識別的通用性和用戶體驗。

附圖說明

下面將結合附圖及實施例對本發(fā)明作進一步說明，附圖中：

圖1是本發(fā)明實施例的手寫系統(tǒng)信息處理流程示意圖；

圖2是本發(fā)明實施例的手寫工具配套裝置組成結構；

圖3是本發(fā)明實施例的定位與軌跡跟蹤裝置組成結構；

圖4是本發(fā)明實施例的手寫內容轉化系統(tǒng)軟件處理部分組成結構；

圖5是本發(fā)明實施例的帶數(shù)據(jù)線的系統(tǒng)通信流程圖；

圖6是本發(fā)明實施例的完全無線的系統(tǒng)通信流程圖。

具體實施方式

為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

如圖1所示，本發(fā)明實施例的對手寫過程數(shù)字化記錄和電子化重建的系統(tǒng)，包括用于在手寫介質上進行書寫的手寫輸入部件，該系統(tǒng)還包括：

手寫工具配套裝置，設置在手寫輸入部件上，包括感知模塊、輔助模塊和第一通信模塊；感知模塊用于探測手寫輸入部件與手寫介質之間是否接觸；輔助模塊用于安裝和固定手寫工具配套裝置，并矯正書寫姿勢；第一通信模塊用于發(fā)送開始書寫的狀態(tài)信息；

定位與軌跡跟蹤裝置，設置在手寫介質的附近，包括圖像采集模塊、第二通信模塊、電源模塊和支持模塊；圖像采集模塊為雙攝像頭，用于在接收到開始書寫的狀態(tài)信息后，對手寫輸入部件的筆尖的運動軌跡圖像進行捕捉；第二通信模塊用于將捕捉到的運動軌跡圖像發(fā)送出去；電源模塊用于為定位與軌跡跟蹤裝置供電；支持模塊用于安裝和固定定位與軌跡跟蹤裝置；

終端設備，用于接收定位與軌跡跟蹤裝置捕捉到的運動軌跡圖像，并對其進行識別和處理，通過電子化的方式重建手寫輸入的軌跡。

感知模塊包括1個或多個傳感器；若為多個傳感器，多個傳感器之間組成蜂窩陣列，通過該蜂窩陣列探測手寫輸入部件與手寫介質之間產生的聲波，進而判斷是否接觸。

感知模塊包括聲波模型建立單元，用于對采集到的手寫輸入部件與手寫介質之間產生的聲波進行處理，過濾掉非手寫行為的聲波波形，對手寫行為的聲波波形進行特征提取，建立手寫輸入部件與書寫介質接觸時的聲波模型。

輔助模塊包括空氣流通模塊、書寫工具固定模塊、書寫姿勢矯正模塊和電源模塊；書寫工具固定模塊包括標識單元，用于在進行軌跡識別時標識相對位置，作為建立書寫軌跡的坐標系的參考坐標點。

終端設備為帶有電子屏幕和運算能力的電子設備，包括個人電腦、筆記本電腦、平板電腦、智能電視和手機。

本發(fā)明實施例的對手寫過程數(shù)字化記錄和電子化重建的方法，包括以下步驟：

S1、通過蜂窩式陣列傳感器獲取手寫輸入部件和書寫介質之間產生的聲波，并對聲波數(shù)據(jù)進行處理，并發(fā)送給定位與軌跡跟蹤裝置，將雙攝像頭由休眠狀態(tài)變換為工作狀態(tài)；

S2、獲取手寫輸入部件在書寫介質上的書寫軌跡圖像，將其通過無線通信的方式發(fā)送給終端設備；

S3、終端設備上的軟件對書寫軌跡圖像進行第一次處理，根據(jù)圖像中的標識對象的位置，預設的標識對象的尺寸以及標識對象與書寫介質之間的距離，對手寫輸入部件的筆尖位置進行定位；

S4、過濾掉非手寫行為的聲波波形，對手寫行為的聲波波形進行特征提取，建立手寫輸入部件與書寫介質接觸時的聲波模型，通過聲波模型判斷當前是否為手寫行為；

S5、若為非手寫行為，終端設備上的軟件處于待機狀態(tài)，不對采集到的圖像進行軌跡識別；若為手寫行為，終端設備上的軟件對書寫軌跡圖像進行實時處理，以手寫輸入端為原點構建三維空間坐標系，構建完坐標系后即開始追蹤書寫軌跡；

S6、根據(jù)書寫軌跡，在終端設備上重建并顯示用戶的手寫輸入內容，并生成筆記電子文件。

S7、用戶選擇是否對筆記電子文件進行保存。

步驟S3中對手寫輸入部件的筆尖位置進行定位的方法具體為：

設置標識對象的邊緣外沿直徑和下邊緣外沿直徑，先由圖像中標識對象上下邊緣的比例來確定手寫工具配套裝置和攝像頭的角度；同時由標識對象上下邊緣分別到手寫輸入端的正常距離和采集到的標識對象邊緣的相對長度確定筆尖位置；

步驟S5中構建三維空間坐標系的方法具體為：

獲取雙攝像頭采集到的圖像深度信息，根據(jù)圖像深度信息確定書寫介質、手寫工具配套裝置、手寫錄入軌跡相對于雙攝像頭的距離，然后根據(jù)筆尖到攝像頭的距離來計算書寫介質、手寫工具配套裝置、手寫錄入軌跡相對于手寫輸入端的距離，從而構建出以手寫輸入端為原點的三維空間坐標系。

步驟S5中還包括進行翻頁操作的方法，具體為：

通過翻頁手勢可以實現(xiàn)新增空白頁，當用戶想查看之前保存的手寫內容時，通過翻頁手勢可以返回到前文內容；

對向后翻頁和向前翻頁建立兩個二維模型，存儲在終端設備中；

對定位與軌跡跟蹤裝置傳到終端上的圖片進行檢測，當后一張圖片與前一張圖片相似度低于70％時即開始檢測，并提取后一張圖片的不同區(qū)域；

檢測完成后開使對不用區(qū)域進行識別，首先識別該不同點是否為手勢，確定為手勢之后開始對該手勢進行匹配以確定翻頁的順序。

步驟S5中追蹤書寫軌跡的方法具體為：

根據(jù)構建的以手寫輸入端為原點的三維空間坐標系，對收到的每一幀的圖片進行處理，確定每一幀圖片中手寫輸入端的坐標；將前一張圖片中的手寫輸入端的坐標記錄在后一張圖片中，并不斷記錄，通過坐標點的變化過程實時的追蹤書寫軌跡。

在本發(fā)明的另一個具體實施例中，包括硬件裝置和軟件系統(tǒng)兩個部分。

硬件裝置：

用于采集用戶手寫內容的智能硬件組，包括手寫工具配套裝置、定位與軌跡跟蹤裝置，完成手寫輸入標識、圖像采集識別。

其中，手寫工具配套裝置與傳統(tǒng)手寫輸入部件(或模塊)可靈活組裝固定。

傳統(tǒng)手寫輸入部件(或模塊)部分包含一個痕跡產生類手寫工具(或者非痕跡產生類手寫工具)，該工具指目前市場上銷售和用戶常用的傳統(tǒng)手寫工具，例如鋼筆、鉛筆、圓珠筆、粉筆等(這類手寫工具規(guī)格與當前市場上出售的書寫工具規(guī)格一樣)，具備常見傳統(tǒng)手寫工具的傳統(tǒng)功能。

手寫工具配套裝置由感知模塊、通信模塊和輔助模塊組成。

感知模塊是一個傳感器組件，由1-N個傳感器組成，當使用多個時為蜂窩狀陣列組成，該蜂窩狀傳感器陣列用于探測手寫輸入端與承載手寫的介質(如紙張、類紙介質等)是否接觸。

輔助模塊由空氣流通模塊、標識與固定模塊、書寫姿勢矯正模塊、電源模塊組成。

在此，先選一個彩色的中空圓臺狀部件作為標識與固定模塊的一個示例，作為標識與固定模塊的一個應用(本專利包括但不限于這一種形狀的識別物)，此部件可安裝在傳統(tǒng)手寫工具上(例如通過套接等方式固定)，用于圖像采集裝置捕捉筆尖的運動軌跡，用戶可以根據(jù)自己的喜好選擇識別物的顏色和形狀、尺寸(包括紅、橙、黃、綠、藍等七色)，彩色的標識物外圈統(tǒng)一尺寸(見后文計算說明)，內部尺寸大小可選，以利于內部與各種不同尺寸的手寫工具套接固定?；蛘咧苯右詡鹘y(tǒng)手寫輸入工具作為識別對象，通過機器學習完成捕捉和識別，而不必選擇一個特定標識物作為標識。

當手寫輸入端接觸到承載手寫的介質后產生聲波由傳感器陣列接收，未經(jīng)手寫工具配套裝置處理的聲波信息會傳送給終端，經(jīng)手寫工具配套裝置處理后的聲波信息轉換為一個控制信息由手寫工具配套裝置發(fā)送給定位與軌跡跟蹤裝置以啟動圖像采集部分的攝像頭并選定該裝置的圖像傳輸方向。

經(jīng)過實驗和程序校驗之后，確定了手寫端與承載手寫的介質接觸時的聲波模型區(qū)間，從而提高對于書寫動作識別的精度。

定位與軌跡跟蹤裝置由圖像采集模塊、通信模塊、電源模塊和支持模塊組成，其主要功能部件由兩個攝像頭和配套裝置組成，可以放在承載手寫的介質附近(例如課桌上或課桌附近、黑板上或黑板附近)，也可夾在用戶衣領、口袋、衣襟等處。使用兩個攝像頭對筆尖軌跡進行跟蹤，并將筆尖運動軌跡信息通過無線傳輸方式傳送到手寫筆或者直接傳送給終端。

對手寫端行為和軌跡的追蹤由蜂窩狀傳感器陣列和攝像頭對手寫端上安裝的標識物(或傳統(tǒng)手寫工具)的人工智能機器識別技術實現(xiàn)。

當手寫端觸碰承載手寫的介質時，蜂窩狀傳感器陣列接收到聲波，經(jīng)過處理后向雙攝像頭發(fā)射脈沖通知其開始工作，攝像頭啟動識別標識物后，根據(jù)標識物外圈最大直徑和最大直徑所在圓任意點到手寫端最近距離的比例確定手寫端與承載手寫的介質接觸的點。

攝像頭所采集到的圖像信息通過定位與軌跡跟蹤裝置的圖像傳輸天線，以無線通信的方式傳輸給手寫工具配套裝置(傳輸?shù)酱搜b置后，此裝置不具備處理能力，所以不需要傳輸?shù)酱搜b置)，或直接以無線通信的方式傳輸?shù)浇K端，終端上配套的軟件對信息進行處理(此處所述的終端包含個人電腦、筆記本電腦、平板電腦、智能電視、手機等帶有電子屏幕和運算能力的電子設備)。

軟件系統(tǒng)：

用于處理采集到的用戶手寫信息的軟件系統(tǒng)及應用系統(tǒng)，包括智能硬件的燒錄程序和終端設備的軟件。

智能硬件的燒錄程序包含：

1、手寫工具配套裝置上的聲波信息處理程序和1號通信程序；

2、定位與軌跡跟蹤裝置上的圖像采集與處理程序和2號通信程序。

終端軟件包含書寫工具定位模塊、運動軌跡跟蹤模塊、軌跡記錄與處理模塊、書寫內容重建模塊、翻頁功能模塊和配套功能模塊。

書寫工具定位模塊通過建立虛擬坐標系并確定手寫起始點虛擬坐標，包含以下步驟：

1、通過處理完整的聲波信息和雙攝像頭采集的圖像確定和建立手寫輸入端位置信息；

2、將步驟1中確定的起始點確定為坐標原點，由雙目識別技術建立手寫輸入介質與輸入承載介質端的三維空間坐標系；

3、根據(jù)步驟2確定的空間坐標系，通過雙攝像頭采集到的圖像確定出書寫介質的規(guī)格。

4、由步驟3中確定的書寫介質的規(guī)格和步驟2中確定的手寫輸入端的起始點，選擇合適的虛擬紙張大小(比如word中選擇的A4紙大小)，并根據(jù)手寫輸入端的移動軌跡，在虛擬紙張上重建該運動軌跡。

同時本軟件部分還可以選擇手寫內容的多種保存格式，如txt、word等。

手寫輸入內容轉化系統(tǒng)運行的整個流程為：

步驟一，當手寫輸入端觸碰到輸入承載介質時會產生聲波，蜂窩狀傳感器陣列接收到聲波之后，經(jīng)過處理，通過蜂窩雷達向定位與軌跡跟蹤裝置發(fā)出脈沖，雙攝像頭的信號接收天線接收到手寫工具配套裝置發(fā)送的脈沖，將雙攝像頭由休眠狀態(tài)變換為工作狀態(tài)。

步驟二，攝像頭開始工作，連續(xù)采集圖片，并將采集到的圖片經(jīng)過內置天線傳送到手寫輸入工具配套裝置，手寫輸入工具配套裝置將接收的圖片通過數(shù)據(jù)線或無線通信傳送到終端。

步驟三，終端上的軟件部分將對圖像作第一次處理，根據(jù)圖像尋找到標識對象(前文所述圓臺位置，然后根據(jù)軟件中預設的中空圓臺規(guī)格和中空圓臺與書寫端之間的距離尋找到筆尖位置(前文所述可取傳統(tǒng)手寫工具為標識對象，則根據(jù)攝像頭學習的傳統(tǒng)手寫工具規(guī)格和手寫工具)

具體方法為：設置彩色中空圓臺上邊緣外沿直徑和下邊緣外沿直徑，先由圖像中彩色中空圓臺上下邊緣的比例來確定手寫工具配套裝置和攝像頭的角度；同時由彩色中空圓臺上下邊緣分別到手寫輸入端的正常距離和采集到的彩環(huán)中空圓臺邊緣的相對長度確定筆尖位置。

判斷蜂窩傳感器陣列所接收的聲波是否是筆尖與書寫介質接觸所發(fā)生的，根據(jù)手寫端位置尋找圖像中手寫承載介質的位置和大小。

具體方法為：蜂窩傳感器陣列接收到聲波之后，對聲波進行處理，過濾掉非手寫行為的波形，然后對波源進行定位(在之前對手寫端書寫時的聲波進行了特征提取，明確采用不同手寫介質進行手寫行為時的聲波特征)，對書寫行為開始的1s內的圖片進行圖像處理，以圖片中筆尖所在位置為起點，向四周擴展，提取手寫承載介質的邊緣輪廓，對提取的輪廓進行判別，從而確定手寫承載介質的形狀與尺寸規(guī)格。

步驟四，由于非手寫行為也能夠產生某些特征聲波并且被蜂窩傳感器陣列探測到，因此必須判定產生該聲波的行為是否為手寫行為。即如果由步驟三圖像處理之后得出接收聲波時書寫端與書寫介質沒有發(fā)生接觸，則終端上的軟件部分不對之后采集的圖像進行運動軌跡的跟蹤，繼續(xù)步驟三中對圖像進行的處理，仍然將后續(xù)接收到的圖像的處理順序置為1。

步驟五，如果步驟三中圖像處理之后得出接收聲波時手寫錄入端與手寫錄入承載介質發(fā)生接觸，則終端上的軟件部分開始以手寫輸入端為原點構建三維空間坐標系，構建完坐標系后即開始追蹤書寫端軌跡。

具體方法為，由于雙目攝像頭采集到的圖像相對單攝像頭采集的圖像多出了圖像的深度信息，根據(jù)這些信息可以確定出手寫錄入介質、手寫錄入工具配套裝置、手寫錄入軌跡等相對于雙目攝像頭的距離，然后可以根據(jù)筆尖到攝像頭的距離來計算手寫承載介質、手寫錄入工具配套裝置、手寫錄入軌跡相對于手寫錄入端的距離，從而構建出以手寫錄入端為原點的三維空間坐標系。

進而可以從該三維空間坐標系中分割出手寫錄入承載介質的二維模型，并且可以根據(jù)該二維模型建立以該二維模型為平面的二維坐標系。

步驟六，由步驟五的操作記錄手寫錄入端的運動軌跡，經(jīng)終端上的軟件部分處理之后，在終端上重建并顯示用戶的手寫錄入內容原筆跡電子文件。

步驟七，用戶選擇是否需要將手寫內容進行保存，并且終端上的軟件部分可提供多種格式用于保存。

圖2給出了手寫錄入工具配套裝置圖，包含手寫錄入模塊、通信模塊、感知模塊、輔助模塊四個模塊。

手寫錄入模塊由傳統(tǒng)的手寫工具或人體易使用的手錄工具提供，包括痕跡產生類手寫工具和非痕跡產生類手寫工具，將手寫工具與手寫工具配套裝置進行組合，就可以在保持傳統(tǒng)手寫錄入方式和人體自然錄入習慣的前提下，進行用戶所需的手寫錄入和電子化。

通信模塊由蜂窩雷達和USB Type-C接口及數(shù)據(jù)傳輸線組成。

蜂窩雷達用于實現(xiàn)定位與軌跡跟蹤裝置間的信息交換，主要為：

1、向雙目攝像頭發(fā)送控制脈沖，控制其工作；

2、接收雙目攝像頭發(fā)送的圖像信息。

USB Type-C接口，該接口具有傳輸速度快、充電迅速等特點，其良好的特性是保證用戶手寫內容能夠實時的傳輸?shù)浇K端中進行在線的基礎。

USB Type-C接口用于通過數(shù)據(jù)線將手寫錄入工具配套裝置與終端連接，手寫開始時，先將感知模塊收到的聲波信息傳輸?shù)浇K端對手寫工具的手寫錄入端進行定位。手寫工具的手寫錄入端定位完成后，采用串行的方式將雙目攝像頭采集的圖像信息傳輸?shù)浇K端，供終端上的處理軟件進行處理。

感知模塊由1-N個傳感器(傳感器的工作電壓為1-3V)構成的蜂窩狀陣列和對聲波進行處理并發(fā)送控制信號的控制電路組成，傳感器陣列接收到外界聲波，經(jīng)過處理之后由控制電路驅動通信模塊采取相應的操作，相應操作為：

1、通過數(shù)據(jù)線向終端傳送接收到的完整的聲波信息；

2、通過蜂窩雷達向定位與軌跡跟蹤裝置發(fā)射開始工作的脈沖。

輔助模塊，由空氣流通模塊、書寫工具固定模塊、書寫姿勢矯正模塊、電源模塊四個模塊組成，該模塊主要用于保證手寫工具配套裝置的正常運行和用戶正常的書寫行為得到實現(xiàn)。

空氣流通模塊用于平衡手寫工具配套裝置內部與外部環(huán)境之間的氣壓，防止某些痕跡產生類書寫工具出現(xiàn)書寫問題(如圓珠筆在書寫過程中墨水會減少從而導致筆芯內壓強減小，在外部高壓強的情況下會出現(xiàn)墨水倒流的現(xiàn)象，情節(jié)嚴重的時候有可能損壞設備，空氣流通模塊的主要作用就是平衡大氣壓)。

書寫工具固定模塊用于將書寫工具配套裝置與書寫工具組合成一個外形相對不變的剛體，保證用戶使用該裝置配套書寫工具書寫時和不使用該裝置正常進行書寫時效果相同。

書寫姿勢矯正模塊，某些用戶可能會采取錯誤的手寫方式，但是該錯誤的手寫方式被系統(tǒng)識別為正確的手寫方式，這種手寫方式不是手寫工具配套裝置所支持的，因為有可能損壞設備。該模塊用于保證使用該裝置進行書寫時裝置的所有功能在系統(tǒng)的正常使用期限內都能正常運行，防止用戶采用不正確的使用方式進行書寫，或者損壞設備。

電源模塊用于提供支持設備正常工作所需的電力，采用鋰電池作為充放電容器，通過USB Type-C接口和數(shù)據(jù)線進行充電。

圖3給出了定位與軌跡跟蹤裝置模塊構成圖，該部分由圖像采集模塊、通信模塊、電源模塊、支持模塊四個模塊構成。

圖像采集模塊由雙目攝像頭組成，開始工作后即以每秒120幀的速率采集照片，當收到終端關于書寫工具書寫端的定位信息之后，雙目攝像頭自主進行調焦以追蹤手寫端與手寫承載介質的接觸點。

通信模塊用于與手寫工具配套裝置之間進行通信，為了保證圖像傳輸?shù)膶崟r性，通信模塊專門配備了圖像傳輸天線用于傳輸圖像采集模塊采集到的圖像，又采用信號接收天線來單獨接收來自手寫工具配套裝置的控制信號。

圖4給出了手寫內容轉化為數(shù)字化內容的系統(tǒng)軟件部分，該部分由燒錄入手寫工具配套裝置和定位與軌跡追蹤裝置內的硬件程序和安裝于終端進行書寫內容處理的用戶軟件兩部分構成。

硬件燒錄程序包括聲波信息處理程序、圖像采集與處理程序、通信程序。

聲波信息處理程序燒錄于手寫工具配套裝置，用于對采集的聲波進行處理并分別將不同的信號發(fā)送給終端和定位與軌跡跟蹤裝置，從而滿足兩者不同的工作需求。

圖像采集與處理程序燒錄于定位與軌跡跟蹤裝置，用于對雙目攝像頭的采集活動進行控制。

通信程序燒錄于手寫工具配套裝置和定位與軌跡跟蹤裝置，包括手寫工具配套裝置與終端之間的通信控制、手寫工具配套裝置和定位與軌跡跟蹤裝置之間的通信控制。

終端軟件包括書寫工具定位模塊、運動軌跡跟蹤模塊、軌跡記錄與處理模塊、書寫內容重建模塊、翻頁功能模塊、配套功能模塊。

書寫工具定位模塊包含對蜂窩傳感器陣列和書寫工具圖像的雙重處理。

首先對蜂窩傳感器陣列采集到的聲波完整信息進行處理，得出書寫端與書寫介質接觸的位置和所探測到的環(huán)境的輪廓。然后對接收到的圖像進行處理，判斷出書寫端的位置。最后與對蜂窩傳感器聲波信息的處理結果進行綜合處理，確定書寫端的坐標。

當確定了手寫端的坐標之后，運動軌跡跟蹤模塊開始對收到的每一幀的圖片進行處理，確定每一幀圖片中手寫端的坐標。然后將每一個坐標信息都由軌跡記錄與處理模塊記錄在一張圖片中，具體記錄為將前一張圖片中的手寫端所有坐標記錄在后一張圖片中，每一張圖片就能反應出當時的手寫進展情況，這樣手寫內容重建模塊就可以實時(實時即用戶書寫的內容在人類無法區(qū)分的極小時間間隔內重現(xiàn)在終端屏幕上)的確定書寫痕跡。

翻頁功能模塊用于實現(xiàn)終端中文檔的換頁功能，當一頁電子文檔被使用完畢之后，通過翻頁手勢可以實現(xiàn)新增空白頁，當用戶想查看之前保存的手寫內容時，通過翻頁手勢可以返回到前文內容。

具體實現(xiàn)為：

對向后翻頁和向前翻頁建立兩個二維模型，存儲在終端程序中；

對定位和軌跡跟蹤裝置傳到終端上的圖片進行檢測，當后一張圖片與前一張圖片相似度低于70％時即開始檢測，并提前后一張圖片的不同區(qū)域；

檢測完成后開使對不用區(qū)域進行識別，首先識別該不同點是否為手勢，確定為手勢之后開始對該手勢進行匹配以確定翻頁的順序。

配套裝置模塊包含一些其他的支持軟件正常運行的插件、庫函數(shù)等。

圖5給出了本系統(tǒng)的終端、手寫工具配套裝置和定位與軌跡跟蹤裝置之間帶數(shù)據(jù)線的通信方式。其過程為：手寫工具配套裝置對手寫行為產生的聲波進行處理并判斷是否有USB裝置連通，在有USB外設連通的情況下，1號通信程序向定位與軌跡跟蹤裝置發(fā)送控制信號使其完成兩個任務：1、啟動雙目攝像頭；2、將采集到的圖像傳輸?shù)绞謱懝ぞ吲涮籽b置。由數(shù)據(jù)線將完整聲波信息和圖像傳輸?shù)浇K端。

圖6給出了本系統(tǒng)的終端、手寫工具配套裝置和定位與軌跡跟蹤裝置之間不帶數(shù)據(jù)線的完全無線通信方式。其過程為：手寫工具配套裝置對手寫行為產生的聲波進行處理并判斷是否有USB裝置連通，在無USB外設連通的情況下，1號通信程序向定位與軌跡跟蹤裝置發(fā)送控制信號使其完成兩個任務：1、啟動雙目攝像頭；2、將采集到的圖像直接無線傳輸?shù)浇K端。手寫工具配套裝置將完整聲波無線傳輸?shù)浇K端。

本發(fā)明與現(xiàn)有技術相比存在的有益效果是：

一是輸入工具不需要采用完全定制的設備，而是在現(xiàn)有傳統(tǒng)的鋼筆、鉛筆、粉筆甚至任意的桿狀物(如筷子等)加上一個識別標識類裝置；

二是對承載和記錄實際書寫(繪制)痕跡的介質材料無要求，包括尺寸大小和材質；

三是使用者不需要邊書寫(繪制)邊觀看電子屏幕。

應當理解的是，對本領域普通技術人員來說，可以根據(jù)上述說明加以改進或變換，而所有這些改進和變換都應屬于本發(fā)明所附權利要求的保護范圍。