本發(fā)明涉及的是一種手寫識別領(lǐng)域的技術(shù)，具體是一種筆記本手寫識別方法及其手寫輸入系統(tǒng)。

背景技術(shù)：

基于觸摸屏的人機交互應用在日常生活中扮演著日益重要的角色。然而，人們在工作和生活中應用最為廣泛的移動設(shè)備之一，筆記本電腦，卻因為硬件的限制無法使用該類型的應用，但是另一方面，基于筆記本電腦的無線控制與軌跡追蹤技術(shù)則能夠提高在筆記本上部署該類應用的可能性，從而優(yōu)化用戶的使用體驗。

關(guān)于商用筆記本電腦的無線控制與軌跡追蹤技術(shù)，大致可以分為聲波控制型、圖像控制型、網(wǎng)絡(luò)信號控制型和運動傳感器控制型。上述四種技術(shù)存在兩個主要問題，其一是要求特定的使用環(huán)境，其二是對硬件設(shè)備有一定要求，其中：聲波控制型軌跡追蹤技術(shù)需要特定位置的音頻設(shè)備，以提供足夠的聲波信號；圖像控制型軌跡追蹤技術(shù)需要合適的光照環(huán)境，對設(shè)備要求苛刻；網(wǎng)絡(luò)信號控制型軌跡追蹤技術(shù)需要用戶的使用環(huán)境中有大量的無線信號存在，或者需要自行攜帶特制的無線信號發(fā)生器；運動傳感器控制型軌跡跟蹤技術(shù)需要用戶另外購買并佩戴特制的運動傳感器。

技術(shù)實現(xiàn)要素：

本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出了一種筆記本手寫識別方法及其手寫輸入系統(tǒng)，由現(xiàn)有筆記本中兩個揚聲器和一個麥克風的內(nèi)置音頻設(shè)備提供聲波信號，捕捉聲波信號，獲得用戶手部在虛擬寫字板上移動的軌跡，最終實現(xiàn)字符識別輸入。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的，

本發(fā)明涉及一種筆記本手寫識別方法，包括以下步驟：

S₁，在手部運動過程中，對筆記本內(nèi)揚聲器和麥克風的聲波信號擾動進行信號采集，接著通過偽峰篩除算法剔除環(huán)境噪音和設(shè)備噪音引起的信號擾動，然后通過頻率峰加權(quán)算法計算頻率偏移量Δf；

S₂，對基于經(jīng)偽峰篩除算法修正的聲波信號進行手部運動水平方向軌跡追蹤，在反射聲波能量增強時，確定手部運動在虛擬寫字板平面內(nèi)的水平區(qū)域位置，并根據(jù)手部水平區(qū)域位置的前后變化確定手部水平位移在此基礎(chǔ)上，進行手部運動垂直方向軌跡追蹤，獲得手部垂直運動位移最后將手部水平運動位移與垂直運動位移結(jié)合在一起，得到手部在虛擬寫字板平面內(nèi)的運動位移將單位時間內(nèi)的運動位移進行累加獲得手部運動軌跡，然后通過向量機算法獲得手部運動優(yōu)化軌跡；

S₃，設(shè)定初始字符庫，根據(jù)筆畫方向定義筆畫類別并確定初始字符庫中各字符的標準筆畫序列，將基于手部運動優(yōu)化軌跡的筆畫序列與任一字符標準筆畫序列通過加權(quán)最小編輯距離算法進行比較，計算出當前手部運動可能對應的數(shù)個標準字符供選擇。

所述的虛擬寫字板平面為筆記本麥克風與兩個揚聲器之間，垂直于鍵盤且平行于筆記本顯示器的一個二維平面；

所述的虛擬寫字板平面的選取與手部運動的位置接近，對于運動軌跡、聲波能量信息與頻率特性的影響可忽略不計。

所述的聲波信號通過大窗口、小步長的滑動窗口覆蓋傅里葉變換方法進行采集，以保證精度和實時性。

所述的偽峰篩除算法是指，基于多普勒原理檢測手部不同反射面反射的、在多個頻率位置上出現(xiàn)的聲波信號，根據(jù)聲波信號能量強度變化設(shè)定能量強度閾值，過濾由環(huán)境噪音和設(shè)備噪音產(chǎn)生的特定頻率聲波，從而篩除偽峰保留體現(xiàn)手部運動能量信息和頻率特征的聲波信號。

所述的頻率偏移量Δf＝f-f₀，其中：f₀為揚聲器發(fā)出的聲波頻率，f為麥克風接收的聲波頻率，f_i為各頻率峰對應的反射聲波頻率，E_i為與f_i對應的反射聲波能量。

所述的確定手部運動在虛擬寫字板平面內(nèi)的水平區(qū)域位置是指根據(jù)聲波波動特性，將筆記本中兩個揚聲器發(fā)出的聲波分別定義為頻率1信道和頻率2信道，各信道在虛擬寫字板平面某一區(qū)域的反射聲波能量與該區(qū)域無手部運動時參考聲波能量的差距作為置信系數(shù)的閾值區(qū)間，根據(jù)手部運動過程中反射聲波能量與參考聲波能量差距與置信系數(shù)的閾值區(qū)間進行比較，確定手部運動的水平區(qū)域位置。

所述的頻率1信道對應的置信系數(shù)為c₁，頻率2信道對應的置信系數(shù)為c₂，c₁、c₂越接近1說明該信道反射聲波能量越弱，c₁、c₂越接近0說明該信道反射聲波能量越強；通過訓練確定不同使用環(huán)境下虛擬寫字板平面內(nèi)不同水平區(qū)域位置的c₁、c₂閾值區(qū)間。

所述的手部運動過程中：

其中：v_h表示手部運動速度在水平方向上的分量，v_v表示手部運動速度在垂直方向上的分量，v_ph表示單位時間內(nèi)v_h導致的聲波傳播路徑長度的改變量，v_pv表示單位時間內(nèi)v_v導致的聲波傳播路徑長度的改變量，(x，h)為手部在虛擬寫字板平面上的坐標，L表示某個揚聲器與麥克風之間的間距，α為該揚聲器與麥克風相連形成的直線與虛擬寫字板平面的夾角；

進一步計算得到手部運動在虛擬寫字板平面上位置變化的二維速度向量其中：為虛擬寫字板平面水平方向上的單位向量，為虛擬寫字板平面垂直方向上的單位向量，對二維速度向量進行積分，即可獲得手部運動軌跡。

所述的向量機算法為：

1)設(shè)置狀態(tài)機，所述的狀態(tài)機中包括一個計數(shù)器和一個狀態(tài)器，初始值均設(shè)為0，狀態(tài)機用于記錄手部運動方向；

2)狀態(tài)器記錄t時刻的手部運動方向，并與檢測到的t+1時刻的手部運動方向進行比較，若前后運動方向相同，則觸發(fā)行為1：將計數(shù)器的值歸零，狀態(tài)器記錄的手部運動方向不變；若前后運動方向相反，且計數(shù)器的值小于閾值N，則觸發(fā)行為2：將計數(shù)器的值加一，狀態(tài)器保持t時刻狀態(tài)不變；否則觸發(fā)行為3：將計數(shù)器的值歸零，狀態(tài)器記錄t+1時刻的手部運動方向。

所述的狀態(tài)機分為水平方向狀態(tài)機和垂直方向狀態(tài)機。

所述的筆畫以該筆畫的起點作為圓心畫圓，將圓等分為八份并進行逆時針編號，依次定義八個區(qū)域為類別1至類別8，其中：類別1向右、類別5向左且均被經(jīng)過圓心的水平直線平分，類別3向上、類別7向下且均被經(jīng)過圓心的豎直直線平分。

所述的加權(quán)最小編輯距離算法是指對基于手部運動優(yōu)化軌跡的筆畫序列進行增加、刪除或加權(quán)替換類別的操作，使兩個序列完全一致所需的操作次數(shù)。

所述增加、刪除的操作權(quán)重均為1；

所述加權(quán)替換的操作權(quán)重n₀表示被替換筆畫的類別，n₁表示用于替換的筆畫的類別。

本發(fā)明涉及一種基于上述方法的手寫輸入系統(tǒng)，包括：聲波信號處理模塊、軌跡追蹤優(yōu)化模塊和字符識別模塊，其中：聲波信號處理模塊采集內(nèi)置音頻設(shè)備發(fā)出的聲波信號，聲波信號處理模塊與軌跡追蹤優(yōu)化模塊相連并輸出修正后的聲波信號，軌跡追蹤優(yōu)化模塊與字符識別模塊相連并輸出虛擬寫字板平面內(nèi)手部運動優(yōu)化軌跡，字符識別模塊對手部運動優(yōu)化軌跡進行字符識別。

所述的字符識別模塊與筆記本顯示器相連并輸出字符識別結(jié)果。

技術(shù)效果

與現(xiàn)有技術(shù)相比，本發(fā)明利用現(xiàn)有筆記本中兩個揚聲器和一個麥克風的內(nèi)置音頻設(shè)備提供聲波信號，對使用環(huán)境的要求簡單且無需增加高精度運動傳感器、便攜式紅外線攝像頭等額外的硬件設(shè)備，能夠充分利用聲波信號的能量特征和頻率特性，對手部運動的二維軌跡進行摹刻和識別，用途廣泛，使用便捷，易于部署；本發(fā)明易于復制和重現(xiàn)，適用于多種主流筆記本信號，受環(huán)境干擾和影響較小。

附圖說明

圖1為本發(fā)明示意圖；

圖2為本發(fā)明中手部水平運動示意圖；

圖3為本發(fā)明中手部垂直運動示意圖；

圖4為本發(fā)明中滑動窗口覆蓋傅里葉變換的示意圖；

圖5為本發(fā)明中偽頻率峰篩選示意圖；

圖6為本發(fā)明中置信系數(shù)與水平區(qū)域位置關(guān)系示意圖；

圖7為本發(fā)明中筆畫類別示意圖；

圖8為本發(fā)明中部分典型字符手部運動優(yōu)化軌跡和標準軌跡比較圖；

圖中：(a)為大寫字母L，(b)為小寫字母a，(c)為特殊字符Δ，(d)為數(shù)字2；

圖9為本發(fā)明的識別準確率統(tǒng)計圖；

圖10為本發(fā)明的軌跡誤差統(tǒng)計圖；

圖11為本發(fā)明系統(tǒng)示意圖。

具體實施方式

下面對本發(fā)明的實施例作詳細說明，本實施例在以本發(fā)明技術(shù)方案為前提下進行實施，給出了詳細的實施方式和具體的操作過程，但本發(fā)明的保護范圍不限于下述的實施例。

實施例1

本實施例的應用場景：選取屏幕大小為14英寸的LenovoV470以及屏幕大小為15.6英寸的LenovoY550作為手寫輸入系統(tǒng)的原型機，采集的數(shù)據(jù)量為10位用戶，每位用戶在每臺原型機上針對70個常用字符，分別書寫2次，共計書寫140次。

如圖1所示，一臺筆記本中：左側(cè)揚聲器發(fā)射16KHz頻率的聲波為頻率1信道，右側(cè)揚聲器發(fā)射17KHz頻率的聲波為頻率2信道。

本發(fā)明涉及一種筆記本手寫識別方法，包括以下步驟：

S₁，在手部運動過程中，對筆記本內(nèi)揚聲器和麥克風的聲波信號擾動進行信號采集，接著通過偽峰篩除算法剔除環(huán)境噪音和設(shè)備噪音引起的信號擾動，然后通過頻率峰加權(quán)算法計算頻率偏移量Δf；

S₂，對基于經(jīng)偽峰篩除算法修正的聲波信號進行手部運動水平方向軌跡追蹤，在反射聲波能量增強時，確定手部運動在虛擬寫字板平面內(nèi)的水平區(qū)域位置，并根據(jù)手部水平區(qū)域位置的前后變化確定手部水平位移在此基礎(chǔ)上，進行手部運動垂直方向軌跡追蹤，獲得手部垂直運動位移最后將手部水平運動位移與垂直運動位移結(jié)合在一起，得到手部在虛擬寫字板平面內(nèi)的運動位移將單位時間內(nèi)的運動位移進行累加獲得手部運動軌跡，然后通過向量機算法獲得手部運動優(yōu)化軌跡；

S₃，設(shè)定初始字符庫，根據(jù)筆畫方向定義筆畫類別并確定初始字符庫中各字符的標準筆畫序列，將基于手部運動優(yōu)化軌跡的筆畫序列與任一字符標準筆畫序列通過加權(quán)最小編輯距離算法進行比較，計算出當前手部運動可能對應的數(shù)個標準字符，并顯示在筆記本顯示屏上供選擇。

所述的聲波信號通過大窗口、小步長的滑動窗口覆蓋傅里葉變換方法進行采集，以保證精度和實時性；避免傳統(tǒng)分析中，單次采集樣本越多，則信息的精度越強、實時性越低，反之則信息的實時性越高、精度越低的問題；如圖4所示，本實施例中一次高精度的離散傅里葉變換需要65536個采樣點，采樣窗口為0.9s，步長為0.1s，每次采樣用0補全25536個采樣點。

如圖5所示，在手部運動過程中，手部不同的反射面對聲波進行反射會產(chǎn)生特定頻率的反射聲波：主反射面面積最大、反射的聲波能量最強，稱為主頻率峰；其他反射面面積較小、反射的聲波能量次之，稱為輔助頻率峰；環(huán)境噪音和設(shè)備噪音在各反射面所反射的聲波能量較弱，稱為偽峰；通過訓練可以確定不同使用環(huán)境中反射聲波的閾值，從而排除偽峰干擾。

所述的頻率偏移量Δf＝f-f₀，其中：f₀為揚聲器發(fā)出的聲波頻率，f為麥克風接收的聲波頻率，f_i為各頻率峰對應的反射聲波頻率，E_i為與f_i對應的反射聲波能量；

如圖6所示，將虛擬寫字板平面沿水平方向均勻劃分成n＝8個區(qū)域，每個區(qū)域?qū)闹眯畔禂?shù)c₁和c₂處于一定的閾值區(qū)間中；在手部運動過程中確定某一時刻反射聲波能量與各區(qū)域參考聲波能量的差距是否處于置信系數(shù)c₁和c₂的閾值區(qū)間內(nèi)，從而確定該時刻手部位于虛擬寫字板平面內(nèi)的水平區(qū)域位置。

由于普通商業(yè)筆記本的硬件限制，當手部在左半側(cè)或者右半側(cè)移動時僅有一組聲波信號能夠提供有效信息；如圖2和圖3所示，本實施例以左半側(cè)的一組聲波信號為例進行字符識別，所述的手部運動過程中：

其中：v_h表示手部運動速度在水平方向上的分量，v_v表示手部運動速度在垂直方向上的分量，v_ph表示單位時間內(nèi)v_h導致的聲波傳播路徑長度的改變量，v_pv表示單位時間內(nèi)v_v導致的聲波傳播路徑長度的改變量，(x，h)為手部在虛擬寫字板平面上的坐標，L表示揚聲器與麥克風之間的間距，α為揚聲器與麥克風相連形成的直線與虛擬寫字板平面的夾角；

進一步計算得到手部運動在虛擬寫字板平面上位置變化的二維速度向量其中：為虛擬寫字板平面水平方向上的單位向量，為虛擬寫字板平面垂直方向上的單位向量，對二維速度向量進行積分，即可獲得手部運動軌跡。

所述的向量機算法為：

1)設(shè)置狀態(tài)機，所述的狀態(tài)機中包括一個計數(shù)器和一個狀態(tài)器，初始值均設(shè)為0，狀態(tài)機用于記錄手部運動方向；

2)狀態(tài)器記錄t時刻的手部運動方向，并與檢測到的t+1時刻的手部運動方向進行比較，若前后運動方向相同，則觸發(fā)行為1：將計數(shù)器的值歸零，狀態(tài)器記錄的手部運動方向不變；若前后運動方向相反，且計數(shù)器的值小于閾值N，則觸發(fā)行為2：將計數(shù)器的值加一，狀態(tài)器保持t時刻狀態(tài)不變；否則觸發(fā)行為3：將計數(shù)器的值歸零，狀態(tài)器記錄t+1時刻的手部運動方向；閾值N為通過訓練得到的經(jīng)驗值，與用戶的操作習慣、筆記本尺寸等有關(guān)。

所述的狀態(tài)機分為水平方向狀態(tài)機和垂直方向狀態(tài)機；所述的狀態(tài)機只記錄長時間穩(wěn)定的手部運動，拋棄短時間內(nèi)紊亂的手部運動，以防止用戶手部抖動導致的誤差；一般用戶手部抖動會導致短時間內(nèi)若干次改變手部運動方向，故用戶手部抖動導致的手部運動方向改變將不會被記錄下來。

如圖7所示，所述的筆畫以該筆畫的起點作為圓心畫圓，將圓等分為八份并進行逆時針編號，依次定義八個區(qū)域為類別1至類別8，其中：類別1向右、類別5向左且均被經(jīng)過圓心的水平直線平分，類別3向上、類別7向下且均被經(jīng)過圓心的豎直直線平分。

所述的加權(quán)最小編輯距離算法是指對基于手部運動優(yōu)化軌跡的筆畫序列進行增加、刪除或加權(quán)替換類別的操作，使兩個序列完全一致所需的操作次數(shù)。

所述增加、刪除的操作權(quán)重均為1；

所述加權(quán)替換的操作權(quán)重n₀表示被替換筆畫的類別，n₁表示用于替換的筆畫的類別。

如圖11所示，本發(fā)明涉及一種基于上述方法的手寫輸入系統(tǒng)，包括：聲波信號處理模塊、軌跡追蹤優(yōu)化模塊和字符識別模塊，其中：聲波信號處理模塊采集聲波信號，聲波信號處理模塊與軌跡追蹤優(yōu)化模塊相連并輸出修正后的聲波信號，軌跡追蹤優(yōu)化模塊與字符識別模塊相連并輸出虛擬寫字板平面內(nèi)手部運動優(yōu)化軌跡，字符識別模塊對手部運動優(yōu)化軌跡進行字符識別。

所述的字符識別模塊與筆記本顯示器相連并輸出字符識別結(jié)果。

如圖8所示為選取的類型不同的四個字符的識別，包括：大寫字母L、小寫字母a、特殊字符Δ和數(shù)字2，其中：黑色線框部分為字符標準軌跡，黑色直線部分為經(jīng)優(yōu)化的軌跡，黑色虛線部分為未經(jīng)優(yōu)化的原始軌跡；因此可以定性地判斷，本發(fā)明實施例可以真實摹刻用戶手部運動軌跡，從而實現(xiàn)字符的準確識別。

如圖9所示，本實施例在進行大寫字母、小寫字母、特殊字符和數(shù)字的手寫識別時，經(jīng)筆畫序列比較后推薦的字符數(shù)量分別為1個、2個和3個時，本發(fā)明實施例的識別準確率、精度、召回率與F1-統(tǒng)計值，因此可以定量地判斷，本發(fā)明實施例具有較高的識別準確率，符合通用手寫輸入法的要求。

如圖10所示的本發(fā)明實施例字符輸入誤差統(tǒng)計，在14英寸屏幕下80％的軌跡誤差小于2.1厘米，在15.6英寸屏幕下80％的軌跡誤差小于2.5厘米，平均誤差小于1.80厘米，達到了較小的軌跡誤差，精確性較高。