服務(wù)于盲人的交互式手勢識別系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明是一種移動設(shè)備上的交互式手勢識別系統(tǒng)?；谝苿釉O(shè)備內(nèi)部的加速度傳 感器，為用戶提供一個最原始最直接的人機交互方式。GRIB手勢識別系統(tǒng)能夠識別出用戶 自定義的手勢，可以動態(tài)的添加用戶自定義的手勢，使得系統(tǒng)自適應(yīng)性更強。GRIB手勢識別 利用一種快速高效的算法實現(xiàn)手勢匹配。GRIB手勢識別系統(tǒng)能夠廣泛的部署到已有的智能 手機中，不需要額外的硬件，能為使用者尤其是為殘疾人帶來諸多的便利。
【背景技術(shù)】
[0002] 隨著電子產(chǎn)業(yè)的飛速發(fā)展，類似于智能手機這樣的移動設(shè)備在常規(guī)計算中扮演 著越來越重要的角色?，F(xiàn)今的智能手機具備許多傳感器和強大的處理器，可以利用其實 現(xiàn)一些更為自然舒適的人機交互形式。根據(jù)世界衛(wèi)生組織的調(diào)查，全球范圍內(nèi)有兩億 八千五百萬人有視力障礙，其中三千九百萬是盲人，兩億四千六百萬是視力損傷?，F(xiàn)在，越 來越多的移動設(shè)備步入了我們的日常生活。盲人也有使用那些設(shè)備的愿望，但是他們現(xiàn)在 更多的使用來控制設(shè)備。其中的代表是蘋果的Siri和Google Now。但基于聲音的控制系 統(tǒng)很容易受到環(huán)境的影響，特別是在嘈雜的公共場合。并且對盲人來說在公共場合通過聲 音進行控制安全性不能保證。而GRIB手勢識別系統(tǒng)為盲人提供了一種用戶友好的、安全的 方式去控制他們的設(shè)備。
[0003] GRIB手勢識別系統(tǒng)只利用移動設(shè)備內(nèi)部的加速度傳感器信息，從而可以廣泛部署 在當(dāng)前的智能手機上。與傳統(tǒng)的人機交互形式相比，GRIB使盲人更自然更方便的來控制他 們的移動設(shè)備。除此之外，該系統(tǒng)可以作為一個身份安全的驗證機制，在一定程度上保護 用戶的隱私。GRIB可以實現(xiàn)準(zhǔn)確識別而又不需要大規(guī)模訓(xùn)練樣本，避免費力和耗時訓(xùn)練集 的收集過程，也能降低部署成本。更重要的是，系統(tǒng)可以構(gòu)建基于用戶的個性化手勢識別 庫。
[0004] GRIB的核心是實現(xiàn)樣本和和預(yù)先定義的手勢之間的匹配算法。這個算法既簡單 又高效，它利用手機上的加速度數(shù)據(jù)形成手勢，規(guī)范化加速度數(shù)據(jù)獲得有價值的移動，用統(tǒng) 計方法與之前的手勢庫進行匹配。GRIB的算法的復(fù)雜度是0 (η)，可以在移動設(shè)備上快速運 行，給需要這個應(yīng)用的人群提供更好的交互式體驗。
[0005] 在先前使用加速度計的手勢識別的研究中，隱馬爾科夫模型（HMM)是最主要的方 法。但是方法經(jīng)常遭受費力和耗時的訓(xùn)練集收集過程并且HMM方法的性能緊密依賴訓(xùn)練集 的大小。在不同的場景中，用戶有必要創(chuàng)建個性化的手勢。在那些應(yīng)用中由于缺乏足夠的 訓(xùn)練樣本去建立一個庫用作以后的匹配HMM模型是不能進行高精度的識別的。因此，HMM的 這個缺點限制了執(zhí)行手勢識別的瞬時性。
[0006] 動態(tài)時間規(guī)整（DTW)方法是另一種利用加速計進行有效識別手勢的技術(shù)。與HMM 不同他不需要太高的調(diào)度負(fù)擔(dān)且只需要一些訓(xùn)練數(shù)據(jù)。為了提高傳統(tǒng)基于模板的方法通 常不能彌補手勢細(xì)微變化執(zhí)行時間，DTW彌補時間序列的差異。DTW能夠非常有效的處理有 限的訓(xùn)練數(shù)據(jù)。不過，計算DTW需要0(η 2)。對有限計算能力的設(shè)備來說進行實時過程的處 理是有點困難的。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明提出了一種服務(wù)于盲人的手勢識別系統(tǒng)，試驗測試表明該系統(tǒng)具有高達 96%的識別率。GRIB手勢識別系統(tǒng)能夠廣泛的部署到已有的智能手機中，并且不需要額外 的硬件。能為使用者尤其是為殘疾人帶來諸多的便利。
[0008] A、數(shù)據(jù)收集
[0009] 我們從智能手機上的加速器收集數(shù)據(jù)，由于帶有不同傳感器的智能手機越來越受 歡迎，用戶不用接受訓(xùn)練就可以很容易收集大量的傳感器數(shù)據(jù)。點擊觸摸屏，用戶可以在空 中畫出一個字符或一個詞，甚至一個簡單的圖形，并且可以自行設(shè)計。與此同時，手機上的 應(yīng)用程序?qū)⒆詣訌募铀倨魇占瘮?shù)據(jù)。完成畫圖時，用戶應(yīng)該再次敲屏幕，數(shù)據(jù)收集過程就會 停止，數(shù)據(jù)將以一個特定的方式存儲起來。圖1顯示了三軸加速器。
[0010] B.手勢匹配
[0011] 手機用戶完成收集數(shù)據(jù)后進行數(shù)據(jù)匹配。從傳感器上新收集的數(shù)據(jù)將匹配之前存 儲在手機上的數(shù)據(jù)。前面是一個手勢數(shù)據(jù)是用戶自己設(shè)計的特定的操作。如果從傳感器收 集的數(shù)據(jù)匹配我們之前提出的方法定義的手勢，用戶做出同樣的手勢，手機將執(zhí)行相應(yīng)的 行為。
[0012] C.手勢的設(shè)定和在線處理
[0013] 為了在手機上實現(xiàn)手勢識別系統(tǒng)，用戶必須首先設(shè)置相應(yīng)的手勢操作。設(shè)置過程 和匹配過程一樣，收集相同的數(shù)據(jù)，以相同的方式存儲以匹配相同的手勢。
[0014] 系統(tǒng)亦可以在線匹配。當(dāng)用戶完成手勢時，將傳感器數(shù)據(jù)上載計算分析是否匹配 先前的手勢。然后將計算結(jié)果發(fā)送給用戶，用戶將收到一個聲音通知匹配結(jié)果。
【附圖說明】
[0015] 圖1手機上的三軸加速器
[0016] 圖2手機的加速度和位移時間圖；
[0017] 圖3相同手勢的兩種情況；
【具體實施方式】
[0018] 下面結(jié)合附圖對本發(fā)明的技術(shù)方案作詳細(xì)說明。
[0019] A、手勢的形成
[0020] 從手機收集到的原始數(shù)據(jù)直接反映運動的瞬時加速度。手勢是一個用戶的手機移 動路徑?；谑謩莸亩x，我們利用加速度數(shù)據(jù)計算手機運動的位移。
[0021] 位移可以用一個非常簡單的方式計算出來
【主權(quán)項】
1. 服務(wù)于盲人的GRIB手勢識別系統(tǒng)架構(gòu)與方法，其特征在于： 我們通過手勢識別為手機用戶特別是盲人提供更自然的人機交互形勢。他們可W向系 統(tǒng)添加自定義的手勢庫，而不需要大規(guī)模的提前培訓(xùn)，提高了系統(tǒng)的可擴展性； 該手勢識別系統(tǒng)只需要獲得移動設(shè)備上加速傳感器的信息，對主流手機來說是可W獲 得的，既實現(xiàn)了手勢匹配又不需要添加額外的硬件設(shè)備，使用者特別是為殘疾人帶來諸多 的便利； 我們提出了一種快速高效的算法來處理用戶形成的每一個手勢接著將它們與手勢庫 進行實時的匹配。
2. 如權(quán)利要求1所述，在該GRIB手勢識別系統(tǒng)中，用戶不用進行訓(xùn)練就可W很容易收 集大量的傳感器數(shù)據(jù)。點擊觸摸屏，用戶可W編寫一個字符或一個詞，甚至在空中畫一個簡 單的圖畫?？蒞自行設(shè)計手機移動路徑而形成一個手勢。與此同時，手機上的應(yīng)用程序?qū)?自動從加速器收集數(shù)據(jù)。完成畫圖時，用戶應(yīng)該再次敲屏幕，數(shù)據(jù)收集過程就會停止，數(shù) 據(jù)將W-個特定的方式存儲起來。
3. 如權(quán)利要求1所述，利用加速傳感器就可W收集到手機的瞬時加速度，手勢是用戶 手機的一個移動路徑，基于手勢的定義我們利用加速度數(shù)據(jù)計算手機運動的位移，位移數(shù) 據(jù)可W很清晰的反映出手機所做的運動。
4. 如權(quán)利要求1所述，GRIB的核也是實現(xiàn)樣本姿態(tài)和標(biāo)準(zhǔn)之間的匹配算法。該個算法 既簡單又高效，我們首先使用位移模型篩選原始傳感器樣本獲得細(xì)粒度的數(shù)據(jù)再利用該些 數(shù)據(jù)形成手勢，規(guī)范化獲得有價值的移動，用統(tǒng)計方法與之前的手勢庫進行匹配。算法的復(fù) 雜度是0 (n)，可W在移動設(shè)備上快速運行，給需要該個應(yīng)用的人更好的交互式體驗。
【專利摘要】服務(wù)于盲人的交互式手勢識別系統(tǒng)，本發(fā)明提出了一種移動設(shè)備上的交互式手勢識別系統(tǒng)，其特征在于，只需獲得手機上的加速傳感器信息，使用位移模型篩選原始傳感器樣本，獲得細(xì)粒度的數(shù)據(jù)，然后利用一種快速高效的算法去實現(xiàn)匹配過程，手勢識別率較高。GRIB手勢識別系統(tǒng)可以構(gòu)建用戶個性化手勢識別庫，能夠識別用戶自定義的手勢，并且不需要大規(guī)模的訓(xùn)練樣本,避免費力又耗時的訓(xùn)練集的收集過程，降低系統(tǒng)部署成本。GRIB手勢識別算法的時間復(fù)雜度是O(n)，可以在移動設(shè)備上快速運行，給使用者帶來更好的交互式體驗。GRIB手勢識別系統(tǒng)為用戶高效、用戶友好、安全的交互方式，為殘疾使用者，特別是盲人，帶來諸多的便利。
【IPC分類】G06F17-30, G06F3-01
【公開號】CN104598017
【申請?zhí)枴緾N201410205901
【發(fā)明人】王瑞錦, 秦志光, 趙洋, 黃耀東, 徐志遠(yuǎn), 陳大江, 劉瑤, 胡龍
【申請人】電子科技大學(xué)
【公開日】2015年5月6日
【申請日】2014年5月15日