本發(fā)明涉及智能硬件，具體的是一種基于多傳感器融合的無碼化智能筆控制系統(tǒng)。

背景技術(shù)：

1、無屏幕數(shù)字化在教育數(shù)字化的今天有很多應(yīng)用場景，一款外觀上和傳統(tǒng)筆差不多的智慧筆，卻能將學(xué)生或教師書寫內(nèi)容數(shù)字化的智能筆有很大的市場空間。目前市面上主要使用點陣碼技術(shù)來解決智慧筆的定位、識別問題。還有一部分采用電磁感應(yīng)來進行定位，但使用范圍較小。

2、基于點陣碼技術(shù)的智慧筆解決方案能在使用過程中精準(zhǔn)定位到書寫的頁碼和位置，但是前期需要投入很多工作在紙張印刷前進行鋪碼化處理，這大大增加基于此技術(shù)的智慧筆的使用成本，也設(shè)置了更多應(yīng)用限制。很大程度上減緩了智慧筆的大規(guī)模推廣和普及。

技術(shù)實現(xiàn)思路

1、為解決上述背景技術(shù)中提到的不足，本發(fā)明的目的在于提供一種基于多傳感器融合的無碼化智能筆控制系統(tǒng)，實現(xiàn)了在普通紙張上對手寫內(nèi)容的數(shù)字化采集和精確定位。

2、第一方面，本發(fā)明的目的可以通過以下技術(shù)方案實現(xiàn)：一種基于多傳感器融合的無碼化智能筆控制系統(tǒng)，包括：

3、壓力傳感器模塊、加速度傳感器模塊、攝像頭模塊、微控制器單元、無線通信模塊和電源管理模塊；

4、所述壓力傳感器模塊用于檢測筆尖與紙面的接觸壓力數(shù)據(jù)，并將筆尖與紙面的接觸壓力數(shù)據(jù)發(fā)送至微控制器單元；

5、所述加速度傳感器模塊用于采集筆的三軸加速度數(shù)據(jù)，并將筆的三軸加速度數(shù)據(jù)發(fā)送至微控制器單元；

6、所述攝像頭模塊用于采集書寫區(qū)域的圖像，將采集書寫區(qū)域的圖像發(fā)送至微控制器單元；

7、所述微控制器單元根據(jù)筆尖與紙面的接觸壓力數(shù)據(jù)對筆的書寫狀態(tài)進行判斷，當(dāng)筆進入書寫狀態(tài)時，發(fā)送加速度采集信號至加速度傳感器模塊；并在接收到筆的三軸加速度數(shù)據(jù)后計算得出書寫軌跡，并發(fā)送圖像采集信號至攝像頭模塊；根據(jù)書寫區(qū)域的圖像對書寫內(nèi)容進行識別定位，并結(jié)合書寫軌跡對筆的操作進行控制得出控制數(shù)據(jù)，將控制數(shù)據(jù)發(fā)送至無線通信模塊；

8、所述無線通信模塊用于將控制數(shù)據(jù)傳輸至移動設(shè)備內(nèi)，從而對筆進行操作控制；

9、所述電源管理模塊用于對整個系統(tǒng)進行供電。

10、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述壓力傳感器模塊設(shè)定對筆尖與紙面的接觸壓力數(shù)據(jù)的預(yù)處理過程：

11、采用一階iir濾波器，濾除高頻噪聲，濾波器的遞推公式為：

12、pfiltered(n)＝αpraw(n)+(1-α)pfiltered(n-1)

13、其中，α為預(yù)設(shè)系數(shù)，praw(n)為第n次采樣的原始壓力值。

14、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述加速度傳感器模塊設(shè)定獲取三軸加速度數(shù)據(jù)(ax(n),ay(n),az(n))；

15、預(yù)處理步驟：

16、零偏校準(zhǔn)：在設(shè)備靜止時，采集多組數(shù)據(jù)，計算各軸的零偏值(ax0,ay0,az0)；

17、扣除零偏：

18、

19、重力補償：由于加速度計同時感受到重力加速度，需要根據(jù)筆的姿態(tài)對重力分量進行補償，設(shè)筆主要在平面內(nèi)運動，對重力補償處理；

20、濾波處理：采用卡爾曼濾波器對加速度數(shù)據(jù)進行濾波；

21、卡爾曼濾波算法：

22、狀態(tài)定義：

23、定義狀態(tài)向量為

24、狀態(tài)轉(zhuǎn)移方程：

25、xk＝xk-1+wk

26、其中，wk為過程噪聲，假設(shè)為零均值高斯白噪聲

27、觀測方程：

28、zk＝xk+vk

29、其中，zk為測量值，vk為測量噪聲；

30、濾波過程：

31、預(yù)測步驟：

32、

33、其中，為預(yù)測協(xié)方差，q為過程噪聲協(xié)方差矩陣；

34、更新步驟：

35、

36、其中，r為測量噪聲協(xié)方差矩陣。

37、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述攝像頭模塊在書寫過程中，每隔固定時間或檢測到特殊事件時，采集一幀圖像；

38、預(yù)處理步驟：

39、圖像縮放：將原始高分辨率圖像縮放至640x480；

40、灰度化：將彩色圖像轉(zhuǎn)換為灰度圖像；

41、圖像增強：采用自適應(yīng)直方圖均衡化clahe提高圖像對比度；

42、去噪處理：使用高斯濾波器平滑圖像，濾除高頻噪聲。

43、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述微控制器單元對筆的書寫狀態(tài)進行判斷的過程：

44、設(shè)定壓力閾值pthreshold，當(dāng)pfiltered(n)>pthreshold時，判定進入書寫狀態(tài)，啟動數(shù)據(jù)采集流程。

45、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述微控制器單元書寫軌跡的計算過程如下：

46、基于預(yù)處理后的加速度數(shù)據(jù)，采用數(shù)值積分的方法計算速度和位移；

47、速度計算：

48、

49、其中，vx(n)、vy(n)代表第n個采樣點在x軸和y軸方向的速度，vx(n-1)、vy(n-1)代表第n-1個采樣點在x軸和y軸方向的速度，是第n個采樣點經(jīng)過校準(zhǔn)后的x軸和y軸加速度，和是經(jīng)過零偏校準(zhǔn)和濾波處理后的加速度數(shù)據(jù)，δt為相鄰兩個采樣點之間的時間間隔(采樣周期)。

50、位移計算：

51、

52、其中，sx(n)、sy(n)代表第n個采樣點在x軸和y軸方向的速位移，sx(n-1)、sy(n-1)代表第n-1個采樣點在x軸和y軸方向的位移，vx(n)、vy(n)是第n個采樣點在x軸和y軸方向的速度，δt為相鄰兩個采樣點之間的時間間隔(采樣周期)。

53、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述微控制器單元根據(jù)書寫區(qū)域的圖像對書寫內(nèi)容進行識別定位的過程包括：特征點提取、特征點匹配、誤匹配特征點剔除以及書寫位置定位。

54、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述特征點提取的過程：

55、采用sift算法進行特征點提取，步驟如下：

56、尺度空間構(gòu)建：

57、對圖像i(x,y)進行高斯模糊，生成不同尺度的圖像l(x,y,σ)：

58、l(x,y,σ)＝g(x,y,σ)*i(x,y)

59、其中，g(x,y,σ)為高斯核函數(shù)，*表示卷積操作；

60、差分尺度空間：

61、計算相鄰尺度圖像的差值，得到差分圖像d(x,y,σ)：

62、d(x,y,σ)＝l(x,y,kσ)-l(x,y,σ)

63、關(guān)鍵點檢測：

64、在差分尺度空間中，尋找極值點；

65、關(guān)鍵點精確定位：

66、對初始關(guān)鍵點進行精確化處理，剔除低對比度和邊緣響應(yīng)點；

67、方向分配：

68、計算關(guān)鍵點鄰域內(nèi)的梯度幅值和方向：

69、

70、根據(jù)梯度方向直方圖，確定關(guān)鍵點的主方向；

71、特征描述子生成：

72、以關(guān)鍵點為中心，建立鄰域窗口，將領(lǐng)域窗口分為多個子區(qū)域；

73、在每個子區(qū)域內(nèi)，計算各個方向的梯度直方圖，生成特征向量；

74、特征點匹配采用knn算法，步驟如下：

75、計算特征向量之間的距離：

76、采用歐氏距離衡量兩個特征向量之間的相似度；

77、最近鄰搜索：

78、對于每個待匹配的特征點，在模板特征集中找到距離最近的兩個特征點；

79、比值測試：

80、計算最近鄰距離d1和次近鄰距離d2，如果則認(rèn)為匹配有效；

81、誤匹配特征點剔除采用ransac算法；

82、書寫位置定位計算方法：

83、利用得到的仿射變換矩陣a，將攝像頭坐標(biāo)系下的點轉(zhuǎn)換到紙張坐標(biāo)系；

84、對于攝像頭捕捉的圖像點(x',y')，其對應(yīng)的紙面坐標(biāo)(x,y)為：

85、

86、結(jié)合第一方面，在第一方面的某些實現(xiàn)方式中，該系統(tǒng)還包括：所述微控制器單元采用擴展卡爾曼濾波器ekf將加速度傳感器的位移估計與攝像頭的定位結(jié)果進行融合，過程如下：

87、狀態(tài)向量定義：

88、

89、狀態(tài)轉(zhuǎn)移模型：

90、xk＝fxk-1+buk-1+wk-1

91、其中，

92、f為狀態(tài)轉(zhuǎn)移矩陣：

93、

94、b為控制輸入矩陣：

95、

96、uk-1為加速度輸入：

97、

98、wk-1為過程噪聲；

99、觀測模型：

100、zk＝hxk+vk

101、其中，

102、h為觀測矩陣：

103、

104、vk為觀測噪聲；

105、濾波的預(yù)測步驟：

106、狀態(tài)預(yù)測：

107、

108、協(xié)方差預(yù)測：

109、

110、其中，q為過程噪聲協(xié)方差矩陣；

111、更新步驟：

112、計算卡爾曼增益：

113、

114、其中，r為觀測噪聲協(xié)方差矩陣；

115、狀態(tài)更新：

116、

117、協(xié)方差更新：

118、

119、在本發(fā)明的另一方面，為了達到上述目的，公開了一種終端設(shè)備，包括存儲器、處理器及存儲在存儲器中并能夠在處理器上運行的計算機程序，所述存儲器中存儲有能夠在處理器上運行的計算機程序，所述處理器加載并執(zhí)行計算機程序時，采用了如上所述的一種基于多傳感器融合的無碼化智能筆控制系統(tǒng)。

120、本發(fā)明的有益效果：

121、本發(fā)明：無需特殊紙張或預(yù)印制的點陣碼，實現(xiàn)了在普通紙張上的手寫內(nèi)容數(shù)字化，融合壓力傳感器、加速度傳感器和攝像頭的數(shù)據(jù)，提高了書寫軌跡和定位的準(zhǔn)確性，采用sift特征提取、ransac模型估計、卡爾曼濾波、深度學(xué)習(xí)等算法，實現(xiàn)了高精度的內(nèi)容識別與定位，優(yōu)化硬件和軟件設(shè)計，降低了系統(tǒng)功耗，延長了設(shè)備的續(xù)航時間，系統(tǒng)架構(gòu)支持模塊化設(shè)計，可根據(jù)需要添加其他功能模塊，無需特殊紙張即可實現(xiàn)書寫內(nèi)容的數(shù)字化，降低了成本并提升了應(yīng)用范圍。