基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法及系統(tǒng)的制作方法
【專利摘要】基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法及系統(tǒng)，針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明設(shè)計(jì)了一個(gè)外觀小巧的硬件平臺(tái)，用加速度計(jì)來采集用戶手勢(shì)的3軸加速度，陀螺儀來采集用戶手勢(shì)的3軸角速度，磁力計(jì)來采集用戶手勢(shì)的3軸磁感應(yīng)強(qiáng)度，使用濾波算法來消除數(shù)據(jù)誤差之后再進(jìn)行姿態(tài)解算，求出實(shí)時(shí)的三個(gè)姿態(tài)角（航向角、橫滾角、俯仰角），然后將這些信息數(shù)據(jù)通過本發(fā)明所提出的特征分析算法，在確保一定的精確度和實(shí)時(shí)性的基礎(chǔ)上，分別對(duì)移動(dòng)、旋轉(zhuǎn)、打鉤、畫叉、晃動(dòng)、敲擊等自身具有一定區(qū)分度的三維動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別，從而實(shí)現(xiàn)相應(yīng)的應(yīng)用。
【專利說明】
基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于人機(jī)交互技術(shù)領(lǐng)域，尤其涉及一種動(dòng)態(tài)手勢(shì)識(shí)別方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人工智能的發(fā)展促使著與其相關(guān)的應(yīng)用層出不窮，其中作為人工智能的重要內(nèi) 容一一人機(jī)交互技術(shù)，也受到越來越多的關(guān)注。人機(jī)交互研究的是人類如何與機(jī)器進(jìn)行溝 通，從而控制機(jī)器，自如地實(shí)現(xiàn)人們所希望的功能。過去傳統(tǒng)的人機(jī)交互方式有按鍵、鍵盤、 觸摸屏和語音技術(shù)等。但上述方式都在效率、準(zhǔn)確性、自然性上存在諸多局限，這也使得人 們開始尋找效率更高、交互更加自然的方式。
[0003] 現(xiàn)有的人機(jī)交互技術(shù)存在以下缺點(diǎn)：
[0004] (1)機(jī)械鍵盤交互是最成熟，但同時(shí)也是最低效的交互方式，因其成本、損耗、低效 等各種原因，正在被移動(dòng)設(shè)備慢慢淘汰；
[0005] (2)觸摸屏操作作為近幾年新興的人機(jī)交互方式，以其操作簡(jiǎn)潔、符合用戶習(xí)慣、 學(xué)習(xí)成本低、可多點(diǎn)觸控等優(yōu)點(diǎn)，成為新一代移動(dòng)設(shè)備有效的交互方式。但是，觸控技術(shù)不 可避免的需要用戶在觸模板上進(jìn)行操作，限制了觸控技術(shù)的應(yīng)用場(chǎng)景和范圍。
[0006] (3)語音識(shí)別目前也是一種非常成熟的交互方式，識(shí)別率較高，尤其是隨著iPhone 中Siri的出現(xiàn)，基于自然語音的識(shí)別技術(shù)使得語音交互方式邁上了一個(gè)新的臺(tái)階。然而，語 音交互方式會(huì)受到地區(qū)語言差異以及個(gè)人語音差異的影響，同時(shí)，自然語音識(shí)別需要時(shí)刻 聯(lián)網(wǎng)、能耗高的缺點(diǎn)，大大限制了語音技術(shù)在可穿戴設(shè)備中的應(yīng)用。
[0007] 隨著各方面技術(shù)的進(jìn)步，人們希望得到更好的人機(jī)交互體驗(yàn)，對(duì)交互的實(shí)時(shí)性、識(shí) 別率等硬性指標(biāo)的要求也越來越苛刻，甚至開始希望通過一些自身的微小信息，例如手指 信息、聲波信息、眼珠信息、腦電波信息、肌肉信息等來實(shí)現(xiàn)與機(jī)器的溝通。這促使許多專家 學(xué)者不斷地尋找挖掘更便捷、更快速、更準(zhǔn)確、更自然的人機(jī)交互方式，并開始關(guān)注利用人 類自身的身體語言來實(shí)現(xiàn)機(jī)器控制，而其中手勢(shì)作為變化方式最多、最能夠表達(dá)人們意愿 的方式之一，成為了關(guān)注的重點(diǎn)。在腦電波控制世界的時(shí)代來臨之前，手勢(shì)是最有可能改變 傳統(tǒng)人機(jī)交互方式的研究切入點(diǎn)。因?yàn)槭謩?shì)是身體姿態(tài)最多變、最具有表達(dá)性的一項(xiàng)，它可 以最大可能地表達(dá)人們的想法和意愿。不通過任何媒介，直接利用一個(gè)簡(jiǎn)單的手勢(shì)動(dòng)作就 可以操控生活，是目前人們所追求的理想人機(jī)交互方式。這種全新的操作方式，使得人類在 這個(gè)物物相連的互聯(lián)智能時(shí)代，真正實(shí)現(xiàn)用自己的手來掌控自己的生活。手勢(shì)也會(huì)將人機(jī) 交互方式從傳統(tǒng)的平面二維識(shí)別技術(shù)擴(kuò)展到了空間三維識(shí)別技術(shù)，實(shí)現(xiàn)更多技術(shù)發(fā)展的可 能性。本發(fā)明所要做的三維動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)，搭配一個(gè)集成了三軸加速度計(jì)、三軸陀螺 儀、磁力計(jì)、處理芯片和低功耗藍(lán)牙的微型硬件平臺(tái)，來與PC端或其他終端實(shí)現(xiàn)友好的人機(jī) 交互方式。
[0008] 手勢(shì)識(shí)別技術(shù)的發(fā)展過程中產(chǎn)生過幾種主流的解決方案，例如:基于數(shù)據(jù)手套的 方案:起步最早，也是最直接處理問題的一種方案。該方案具有數(shù)據(jù)量小、速度高、受環(huán)境影 響較小和能夠直接獲取手勢(shì)數(shù)據(jù)等諸多優(yōu)點(diǎn)。但是要求用戶穿戴復(fù)雜的手套，大大降低了 用戶體驗(yàn)，并且對(duì)附著其上的傳感器披覆較高硬度的保護(hù)層在技術(shù)上有一定難度，而相對(duì) 脆弱的設(shè)備在攜帶上也存在不方便?；跈C(jī)器視覺的處理方案：當(dāng)前最熱門的手勢(shì)識(shí)別技 術(shù)解決方案，也就是攝像頭圖像處理，比如說微軟的Kinect。最大的優(yōu)點(diǎn)是用戶無需佩戴任 何設(shè)備，人機(jī)交互性好。但是這種技術(shù)對(duì)于空間、環(huán)境有比較大的限制性，因此除了一些大 型的體感游戲使用，在生活中的推廣度并不高?；赟EMG的方案:處在多學(xué)科交叉的領(lǐng)域， 除了和數(shù)據(jù)手套方案一樣需要用戶佩戴電極外，和機(jī)器視覺的方案類似，該方案也容易受 外部環(huán)境和用戶等因素的干擾。外部環(huán)境的干擾包括電磁環(huán)境的干擾和環(huán)境濕度變化造成 的測(cè)量電極接觸電阻的變化。同時(shí)，用戶的身體和精神狀態(tài)在不同的情況下具有不同的基 準(zhǔn)值，導(dǎo)致系統(tǒng)難以標(biāo)定。

【發(fā)明內(nèi)容】

[0009] 為了解決現(xiàn)有技術(shù)中問題，本發(fā)明設(shè)計(jì)了一個(gè)外觀小巧的硬件平臺(tái)，用加速度計(jì) 采集用戶手勢(shì)的3軸加速度，陀螺儀來采集用戶手勢(shì)的3軸角速度，磁力計(jì)來采集用戶手勢(shì) 的3軸磁感應(yīng)強(qiáng)度，使用濾波算法來消除數(shù)據(jù)誤差之后再進(jìn)行姿態(tài)解算，求出實(shí)時(shí)的三個(gè)姿 態(tài)角(航向角、橫滾角、俯仰角），然后將這些信息數(shù)據(jù)通過本發(fā)明所提出的特征分析算法， 在確保一定的精確度和實(shí)時(shí)性的基礎(chǔ)上，分別對(duì)移動(dòng)、旋轉(zhuǎn)、打鉤、畫叉、晃動(dòng)、敲擊等自身 具有一定區(qū)分度的三維動(dòng)態(tài)手勢(shì)進(jìn)行識(shí)別，從而實(shí)現(xiàn)相應(yīng)的應(yīng)用。
[0010] 本發(fā)明通過如下技術(shù)方案實(shí)現(xiàn)：
[0011] -種基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法，其特征在于，所述方法將 手勢(shì)定義為敲擊類、旋轉(zhuǎn)類、晃動(dòng)類、移動(dòng)類、打鉤類、畫叉類等六大類型，所述方法包括：
[0012] S1:采用差分法從所有讀取到的原始數(shù)據(jù)中截取從手勢(shì)的起點(diǎn)到終點(diǎn)的段落；
[0013] S2:對(duì)切割下來的數(shù)據(jù)段進(jìn)行坐標(biāo)系的轉(zhuǎn)換，從機(jī)體坐標(biāo)系轉(zhuǎn)換到用戶坐標(biāo)系；
[0014] S3:計(jì)算變換后數(shù)據(jù)的手勢(shì)長(zhǎng)度、手勢(shì)能量、波峰數(shù)、角速度能量最大軸、角速度單 邊性，并利用這五個(gè)特征量來構(gòu)造一個(gè)手勢(shì)大類的預(yù)分類器，所述預(yù)分類器利用手勢(shì)能量 來進(jìn)行粗分類，利用波峰數(shù)來區(qū)分敲擊類和移動(dòng)類，利用角速度能量最大軸來識(shí)別旋轉(zhuǎn)類， 利用線性判別函數(shù)計(jì)算細(xì)分值f來區(qū)分晃動(dòng)類、打鉤類、畫叉類;線性判別函數(shù)為；
[0015] f = a*LEN+b*E+c*P+d，
[0016] 其中，LEN為手勢(shì)長(zhǎng)度，E為手勢(shì)能量，P為加速度波峰數(shù)，a，b，c，d為常系數(shù)；
[0017] S4:進(jìn)一步地進(jìn)行手勢(shì)細(xì)化分，識(shí)別出移動(dòng)類和旋轉(zhuǎn)類手勢(shì)的運(yùn)動(dòng)方向。
[0018] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述差分法進(jìn)行手勢(shì)切割具體為，在一個(gè)長(zhǎng)度為N的窗 口內(nèi)對(duì)加速度和角速度的兩兩時(shí)刻前后數(shù)值變化量求和得到經(jīng)過平滑窗口處理后的加速 度和角速度差分值：
其中zr表時(shí)刻下的三軸加速度值，v、c表 示k時(shí)刻下的三軸角速度值;設(shè)定一個(gè)閾值，所述差分值超過了所述閾值的時(shí)間點(diǎn)是手勢(shì)的 起點(diǎn)，在識(shí)別出起點(diǎn)后，若所述差分值出現(xiàn)了小于所述閾值了的時(shí)刻點(diǎn)是手勢(shì)的終點(diǎn);若加 速度和角速度分別檢測(cè)出來的起點(diǎn)或終點(diǎn)時(shí)刻差值如果超過m個(gè)采樣時(shí)間點(diǎn)，則認(rèn)為該起 點(diǎn)或終點(diǎn)無效，反之則有效，其中，m為預(yù)設(shè)值。
[0021] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述波峰數(shù)包括加速度波峰數(shù)、角速度波峰數(shù)和姿態(tài) 角波峰數(shù)。
[0022] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述手勢(shì)長(zhǎng)度LEN為手勢(shì)起點(diǎn)到終點(diǎn)的采樣數(shù);手勢(shì)能 量E為起點(diǎn)到終點(diǎn)之間加速度和角速度絕對(duì)值之和;波峰數(shù)為每個(gè)手勢(shì)動(dòng)作的加速度或角 速度或者姿態(tài)角的波峰數(shù);角速度單邊性反映在某軸上的角速度呈現(xiàn)出單符號(hào)性，3個(gè)角速 度中只要其中一個(gè)滿足單邊性，就認(rèn)為其整體角速度滿足了單邊性；角速度能量最大軸為 max(Ewx、Ewy、Ewz)所在的坐標(biāo)軸，判斷軸即為判斷旋轉(zhuǎn)軸，其中，角速度能量最大值E wx、Ewy、 Ewz 為：
[0024]其中，gxi，gyi，gzi為手勢(shì)數(shù)據(jù)在x、y、z軸上的角速度。
[0025]作為本發(fā)明的進(jìn)一步改進(jìn)，所述預(yù)分類器具體為：當(dāng)手勢(shì)能量E小于預(yù)設(shè)的第一閾 值，則進(jìn)行加速度波峰數(shù)判斷，當(dāng)加速度波峰數(shù)小于預(yù)設(shè)的第二閾值時(shí)，則將手勢(shì)判斷為敲 擊類，否則，判斷為移動(dòng)類;當(dāng)手勢(shì)能量E大于或等于預(yù)設(shè)的第一閾值，則進(jìn)行角速度能量最 大軸判斷，若為Y軸，則將手勢(shì)判斷為旋轉(zhuǎn)類，若不為Y軸，則進(jìn)行細(xì)分特征值f的計(jì)算，若f大 于〇則進(jìn)一步根據(jù)姿態(tài)波峰數(shù)和手勢(shì)能量將手勢(shì)識(shí)別為晃動(dòng)類或畫叉類，若f?小于或等于〇 則進(jìn)一步判斷角速度單邊性，若角速度單邊性為否，則將手勢(shì)判斷為打鉤類。
[0026]作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S4包括:對(duì)于移動(dòng)類手勢(shì)，首先通過判斷x軸 和z軸加速度平均幅值誰更大來判斷出上下還是左右移動(dòng)，再根據(jù)具體的波峰波谷出現(xiàn)的 順序來識(shí)別是具體的上、下、左、右。
[0027] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S4包括:對(duì)于旋轉(zhuǎn)類手勢(shì)，觀察y軸角速度波 峰波谷出現(xiàn)的先后順序就能識(shí)別出用戶當(dāng)前是在順時(shí)針旋轉(zhuǎn)還是逆時(shí)針旋轉(zhuǎn)，如果y軸角 速度先波谷后波峰，則是逆時(shí)針旋轉(zhuǎn)，反過來先波峰后波谷則是順時(shí)針旋轉(zhuǎn)。
[0028] 作為本發(fā)明的進(jìn)一步改進(jìn)，所述步驟S4之前還包括對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)融合，再 進(jìn)行姿態(tài)解算，求出實(shí)時(shí)的姿態(tài)角，所述數(shù)據(jù)融合算法為互補(bǔ)濾波或梯度下降法。
[0029]本發(fā)明還提供了一種基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法，所述手勢(shì) 為用戶根據(jù)自己的喜好定義的一系列的較復(fù)雜的手勢(shì)序列，所述方法首先利用本發(fā)明的手 勢(shì)識(shí)別方法識(shí)別出所述手勢(shì)序列中的每一個(gè)手勢(shì)，然后利用隱性馬爾科夫模型HMM識(shí)別出 用戶定義的手勢(shì)序列。
[0030]本發(fā)明還提供了一種基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)，所述系統(tǒng) 包括手勢(shì)識(shí)別的硬件平臺(tái)和接收端;其中，所述手勢(shì)識(shí)別的硬件平臺(tái)作為手勢(shì)數(shù)據(jù)的采集 設(shè)備，其包括3軸加速度計(jì)、3軸陀螺儀和3軸磁力計(jì)、MCU微處理器、藍(lán)牙模塊、鋰電池充電電 路、鋰電池以及電源開關(guān);所述3軸加速度計(jì)測(cè)量加速度、3軸陀螺儀測(cè)量角速度和3軸磁力 計(jì)測(cè)量磁場(chǎng)，獲得手勢(shì)的原始數(shù)據(jù);所述硬件平臺(tái)通過無線通信的方式將采集到的原始數(shù) 據(jù)傳送給所述接收端;所述接收端根據(jù)本發(fā)明的基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí) 別方法進(jìn)行數(shù)據(jù)處理及手勢(shì)識(shí)別。
【附圖說明】
[0031] 圖1是本發(fā)明的手勢(shì)識(shí)別系統(tǒng)的硬件平臺(tái)及PC接收端硬件框圖；
[0032] 圖2是本發(fā)明的手勢(shì)識(shí)別方法的具體實(shí)現(xiàn)方案流程圖；
[0033] 圖3是機(jī)體坐標(biāo)系b系和用戶坐標(biāo)系n系示意圖；
[0034] 圖4是手勢(shì)長(zhǎng)度計(jì)算流程圖；
[0035]圖5是手勢(shì)預(yù)分類結(jié)構(gòu)圖；
[0036]圖6是移動(dòng)類手勢(shì)細(xì)劃分流程圖；
[0037]圖7是旋轉(zhuǎn)類手勢(shì)細(xì)劃分流程圖。
【具體實(shí)施方式】
[0038]下面結(jié)合【附圖說明】及【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)一步說明。
[0039] 本發(fā)明的手勢(shì)識(shí)別硬件平臺(tái)及PC接收端硬件框圖如附圖1所示。手勢(shì)識(shí)別硬件平 臺(tái)外觀精致小巧，不附加任何按鍵，可以手拿，也可以作為手環(huán)或者指環(huán)穿戴在手上，作為 智能可穿戴式設(shè)備來進(jìn)行手勢(shì)控制。其上集成了 9軸傳感器模塊(3軸加速度計(jì)測(cè)量加速度、 3軸陀螺儀測(cè)量角速度和3軸磁力計(jì)測(cè)量磁場(chǎng)）、MCU微處理器、藍(lán)牙模塊、鋰電池充電電路、 鋰電池以及電源開關(guān)等。通過鋰電池給平臺(tái)進(jìn)行供電，當(dāng)電量過低時(shí)使用MiniUsb接口給電 池進(jìn)行充電。
[0040] 手勢(shì)識(shí)別的硬件平臺(tái)作為手勢(shì)數(shù)據(jù)的采集設(shè)備，通過藍(lán)牙通信的方式將采集到的 9軸傳感器數(shù)據(jù)以及解算后的3軸姿態(tài)數(shù)據(jù)傳送給接收端進(jìn)行數(shù)據(jù)處理及手勢(shì)識(shí)別。藍(lán)牙通 信技術(shù)可以用別的無線通信技術(shù)來代替，例如RF，wifi等。接收端可以是PC機(jī)，也可以是智 能終端，接收端包括了無線通信模塊。
[0041] 因?yàn)閷?duì)實(shí)時(shí)性需求較高，本發(fā)明采用的細(xì)分特征值法，其要求每個(gè)動(dòng)作之間的特 征量或特征量集合相互獨(dú)立，因此在選擇手勢(shì)動(dòng)作時(shí)，需要對(duì)手勢(shì)進(jìn)行大量的樣本觀察和 分析，通過樣本采集和波形觀察，最終確定了可以采用特征識(shí)別法的以下的6大類動(dòng)作，共 10個(gè)動(dòng)作，如表1所示：
[0042]表1手勢(shì)集定義
[0044] 上述的手勢(shì)動(dòng)作之間具有一定的區(qū)分度，它們各自的傳感器信息所構(gòu)成的特征量 之間具有比較高的可識(shí)別性，因此可以根據(jù)不同手勢(shì)的特征值建立不同的分類器。首先根 據(jù)計(jì)算出來的特征值對(duì)六大類手勢(shì)進(jìn)行預(yù)分類，識(shí)別出其所在的類別，再設(shè)計(jì)算法針對(duì)旋 轉(zhuǎn)類和移動(dòng)類動(dòng)作進(jìn)行細(xì)劃分，識(shí)別出運(yùn)動(dòng)的方向，從而是想利用細(xì)分特征值分析法快速 高效地實(shí)現(xiàn)手勢(shì)的分類和識(shí)別。
[0045] 基于運(yùn)動(dòng)傳感器的手勢(shì)識(shí)別方法的具體實(shí)現(xiàn)方案如附圖2所示，采用細(xì)分特征值 法，首先需要切割出手勢(shì)的有效時(shí)間段，即從所有讀取到的原始數(shù)據(jù)中截取從手勢(shì)的起點(diǎn) 到終點(diǎn)的段落，然后再對(duì)切割下來的數(shù)據(jù)段進(jìn)行坐標(biāo)系的轉(zhuǎn)換，從機(jī)體坐標(biāo)系轉(zhuǎn)換到用戶 坐標(biāo)系。進(jìn)行了切割和坐標(biāo)系轉(zhuǎn)換之后的手勢(shì)數(shù)據(jù)段才能用來提取特征進(jìn)行手勢(shì)識(shí)別。 [0046][差分法進(jìn)行手勢(shì)切割]
[0047] 在某一個(gè)時(shí)刻k下，當(dāng)前加速度和角速度相對(duì)于上一時(shí)刻k_l下的差值的絕對(duì)值之 和即為當(dāng)前的加速度和角速度的差分值： _ _ A \r^C- \rocc I . \racc /acc . ryacc r^accj
[0048] Xk -Xk-\\+Yk ~Zk-l\ ⑴
[0049] = |ZT - XZ\^\Y：sr-Y^|z- ~Z-1 ⑵ _〇]其中，^r'、zr表示k時(shí)刻下的三軸加速度值，v、c、z嚴(yán)表示讓時(shí) 刻下的三軸角速度值。
[0051 ] k時(shí)刻與k_l時(shí)刻的加速度變化值A(chǔ) a。。和角速度變化量A agr就是當(dāng)前時(shí)刻下的加 速度和角速度差分值，這個(gè)差分值可以看出手勢(shì)前后的波動(dòng)情況，只要設(shè)定一個(gè)閾值，那么 就可以認(rèn)為超過了這個(gè)閾值的時(shí)間點(diǎn)是手勢(shì)的起點(diǎn)，在識(shí)別出起點(diǎn)后，若差分值出現(xiàn)了小 于閾值了的時(shí)刻點(diǎn)，就是手勢(shì)的終點(diǎn)。
[0052]但是這種計(jì)算方法下用戶無意識(shí)下手勢(shì)瞬間的抖動(dòng)會(huì)造成判斷結(jié)果出現(xiàn)偏差，因 此我們將單點(diǎn)的差分法進(jìn)行算法優(yōu)化，變成滑動(dòng)窗口的差分法。我們?cè)谝粋€(gè)窗口（長(zhǎng)度為N) 內(nèi)對(duì)加速度和角速度的兩兩時(shí)刻前后數(shù)值變化量求和，并適當(dāng)提高閾值，提高對(duì)手勢(shì)起點(diǎn) 和終點(diǎn)的判別精確度，隔離抖動(dòng)誤差的效果更好。在這種情況下再去進(jìn)行判斷，可以有效地 提高準(zhǔn)確性，減少判斷失誤。由于本發(fā)明中采用的運(yùn)動(dòng)傳感器采樣率為f = 50Hz，而據(jù)大量 樣本統(tǒng)計(jì)可知一個(gè)手勢(shì)大概是Is左右，也就是50個(gè)采樣點(diǎn)左右，因此根據(jù)經(jīng)驗(yàn)設(shè)窗口長(zhǎng)度 為N=7-10均可。經(jīng)過平滑窗口處理后的加速度和角速度差分值分別為：
[0053] a_v = x(\xr -x-1+\rr -rr|+|zr -zn|) ⑶ k=i t+N
[0054] - S (|zr - XZ | + |f- - YkZ | + |z-' - z-1) (4) k=i
[0055] 因?yàn)橥瑫r(shí)采用的加速度和角速度一個(gè)窗口長(zhǎng)度內(nèi)的差分值來作為判斷依據(jù)，而加 速度和角速度不一定能夠同時(shí)在一個(gè)時(shí)刻上到達(dá)閾值，因此還需要再增加一個(gè)判斷條件， 即加速度和角速度分別檢測(cè)出來的起點(diǎn)或終點(diǎn)時(shí)刻差值如果超過5個(gè)采樣時(shí)間點(diǎn)，則認(rèn)為 該起點(diǎn)或終點(diǎn)無效。綜上所述，當(dāng)且僅當(dāng)同時(shí)滿足下面的判斷條件：
[0056] AaccN(M)>8thi,M=Ai,Ai+l, . . . ,Ai+N (5)
[0057] A agrN(M) >8th2,M=A2,A2+l,. . . ,A2+N (6)并且 IA1-A21〈5,貝丨jA=min(Ai，A2)為 手勢(shì)起點(diǎn)。
[0058]若滿足下面判斷條件：
[0059] AaccN(M)<8thi,M=Bi,Bi+l, . . . ,Bi+N (7)
[0060] AagrN(M)<Sth2，M = B2，B2+l，? ? ?，B2+N (8)并且 | BrB21〈5，貝丨，B2)為 手勢(shì)終點(diǎn)。
[0061][手勢(shì)數(shù)據(jù)坐標(biāo)系轉(zhuǎn)換]
[0062] 由上文可以得知，傳感器坐標(biāo)系是機(jī)體坐標(biāo)系b系，它隨著傳感器運(yùn)動(dòng)而改變，"東 北天"：用戶坐標(biāo)系（即地理坐標(biāo)系)n系則固定保持不變。機(jī)體坐標(biāo)系b系和用戶坐標(biāo)系n系 分別如附圖3所示。
[0063] 用戶在做手勢(shì)動(dòng)作的途中會(huì)隨時(shí)改變傳感器機(jī)體坐標(biāo)系，而后續(xù)利用特征分析法 制定的一套判斷標(biāo)準(zhǔn)是不變的，此時(shí)如果仍使用機(jī)體坐標(biāo)系下測(cè)量出的原始數(shù)據(jù)來進(jìn)行判 斷顯然是錯(cuò)誤的。因此首先應(yīng)該把手勢(shì)切割后的所有有效測(cè)量數(shù)據(jù)通過旋轉(zhuǎn)矩陣轉(zhuǎn)換到用 戶坐標(biāo)系下，才能對(duì)這些數(shù)據(jù)使用同一套判斷標(biāo)準(zhǔn)。如上文介紹，歸一化后的四元數(shù)可以描 述剛體的定點(diǎn)運(yùn)動(dòng)，因此借助四元數(shù)即可輕松實(shí)現(xiàn)向量的坐標(biāo)系轉(zhuǎn)換，b坐標(biāo)系到n坐標(biāo)系 的轉(zhuǎn)換矩陣如下： \-2{q]+q：) 2(抓 n) 2(級(jí)' + 制2)
[0064] ^ = 2{q[q1+qnq?) 1 -- 2(q{ + q：) 2(q2q:, - q.^qx) - , + Cj{)CjA) +心） （9)
[0065]已知上式，就可以將數(shù)據(jù)進(jìn)行坐標(biāo)系轉(zhuǎn)換，公式如下：
[0066] ' （|〇)
[0067]由轉(zhuǎn)換矩陣的可逆性，可求出機(jī)體坐標(biāo)系到用戶坐標(biāo)系的轉(zhuǎn)換矩陣，從而將運(yùn)動(dòng) 傳感器采集到的手勢(shì)數(shù)據(jù)進(jìn)行機(jī)體到用戶坐標(biāo)系的轉(zhuǎn)換。
[0068][細(xì)分特征值法實(shí)現(xiàn)手勢(shì)識(shí)別]
[0069]本發(fā)明定義的手勢(shì)集中各個(gè)手勢(shì)都有其自己相較于其它手勢(shì)而言的比較明顯的 特征，因此采用特征分析法能夠快速、準(zhǔn)確地對(duì)其進(jìn)行識(shí)別。而特征分析法的關(guān)鍵在于選取 具有代表意義的特征量來設(shè)計(jì)預(yù)分類器，先識(shí)別手勢(shì)所屬的大類，再具體細(xì)劃分手勢(shì)具體 的動(dòng)作。不同的數(shù)據(jù)采集方式所構(gòu)成的特征量是不同的，因?yàn)槭褂玫氖沁\(yùn)動(dòng)傳感器，采集到 的數(shù)據(jù)是加速度、角速度和磁感應(yīng)強(qiáng)度，以及由姿態(tài)解算求出的姿態(tài)角，因此構(gòu)成特征量的 數(shù)據(jù)即為上述這些運(yùn)動(dòng)數(shù)據(jù)。
[0070] 手勢(shì)動(dòng)作之間具有一定的區(qū)分度，它們各自的傳感器數(shù)據(jù)信息所構(gòu)成的特征量之 間具有比較高的可辨識(shí)性，因此可以根據(jù)不同手勢(shì)的特征值建立不同的分類器，利用特征 分析法即可快速實(shí)現(xiàn)手勢(shì)的分類和識(shí)別。
[0071] 選取合適有效的特征量是特征分析法區(qū)分手勢(shì)的關(guān)鍵，好的特征量能直接降低手 勢(shì)識(shí)別算法的復(fù)雜度，并能提高識(shí)別準(zhǔn)確率，由此為基礎(chǔ)來設(shè)計(jì)一個(gè)合理有效的分類器。經(jīng) 過大量樣本采集和觀測(cè)，本研究定義了五個(gè)特征量，分別是手勢(shì)長(zhǎng)度、手勢(shì)能量、波峰數(shù)(包 括加速度波峰數(shù)、角速度波峰數(shù)和姿態(tài)角波峰數(shù)）、角速度能量最大軸、角速度單邊性，并利 用這五個(gè)特征量來構(gòu)造一個(gè)手勢(shì)大類的預(yù)分類器，以此來首先識(shí)別當(dāng)前的用戶手勢(shì)屬于哪 一大類：
[0072 ] (1)手勢(shì)長(zhǎng)度:手勢(shì)起點(diǎn)到終點(diǎn)的采樣數(shù)；
[0073] LEN = B-A (11)其中，A、B為數(shù)據(jù)段的起點(diǎn)和終點(diǎn)。本發(fā)明采樣頻率是f = 50Hz，大量試驗(yàn)證明，手勢(shì)長(zhǎng)度必須大于20個(gè)采樣點(diǎn)才有效，若小于20個(gè)采樣點(diǎn)則不認(rèn)為是 一個(gè)手勢(shì)，手勢(shì)長(zhǎng)度計(jì)算流程如附圖4所示。
[0074] (2)手勢(shì)能量:起點(diǎn)到終點(diǎn)之間加速度和角速度絕對(duì)值之和； B.
[0075] E = ^([gY/1 + |g"- + [ + |aY/1 + |<3VI- + \azi -g|) ( 12).
[0076] 其中，A、B為數(shù)據(jù)段的起點(diǎn)和終點(diǎn)；gxi，gyi,gzi為手勢(shì)數(shù)據(jù)在x、y、z軸上的角速度； axi,ayi,azi為手勢(shì)數(shù)據(jù)在x、y、z軸上的加速度。
[0077] (3)波峰數(shù):每個(gè)手勢(shì)動(dòng)作的加速度或角速度或者姿態(tài)角的波峰數(shù)以及波峰波谷 的先后出現(xiàn)次序都會(huì)有所差異，波峰數(shù)可以反映出手勢(shì)的來回運(yùn)動(dòng)次數(shù)。
[0078] 計(jì)算時(shí)易將輕微抖動(dòng)也算進(jìn)去，因此本發(fā)明給變化量設(shè)定了一個(gè)閾值，加速度閾 值設(shè)為±〇. 7gm/s2，角速度閾值設(shè)為± 12dps，姿態(tài)角閾值設(shè)為± 30°，并且規(guī)定超過閾值的 采樣點(diǎn)數(shù)大于5才有效。先分別計(jì)算單軸上的波峰數(shù)(單軸上波峰數(shù)與波谷數(shù)的較大值），總 的波峰數(shù)等于三軸波峰數(shù)之和。
[0079] (4)角速度能量最大值:每個(gè)軸上的角速度能量計(jì)算分別公式為： E'rx= y~! |gn_ 1 i^--A
[0080] \Ky=t,\Sr,\ (13) i~A E^=Y\s：i\
[0081 ]因此角速度能量最大軸即max(Ewx、Ewy、Ewz)所在的坐標(biāo)軸，判斷軸即為判斷旋轉(zhuǎn) 軸，旋轉(zhuǎn)軸的準(zhǔn)確判斷對(duì)于識(shí)別旋轉(zhuǎn)類手勢(shì)十分關(guān)鍵；
[0082] (5)角速度單邊性:反映在某軸上的角速度呈現(xiàn)出單符號(hào)性，3個(gè)角速度中只要其 中一個(gè)滿足單邊性，就認(rèn)為其整體角速度滿足了單邊性。
[0083] 確定了以上這5個(gè)特征值之后，就可以根據(jù)各類手勢(shì)的特征值規(guī)律，來設(shè)計(jì)手勢(shì)動(dòng) 作的預(yù)分類器，結(jié)構(gòu)圖如附圖5所示。手勢(shì)預(yù)分類結(jié)構(gòu)圖用于識(shí)別當(dāng)前用戶的手勢(shì)屬于哪一 大類，而對(duì)于其中的移動(dòng)類和旋轉(zhuǎn)類，還需要再進(jìn)一步結(jié)合具體的特征量來進(jìn)行細(xì)劃分。從 附圖5可以看出，敲擊類和移動(dòng)類通常速度都比較慢，動(dòng)作維持時(shí)間短，因此手勢(shì)能量小。而 對(duì)于能量較大的剩余手勢(shì)中，若角速度能量最大軸出現(xiàn)在y軸，則明顯是旋轉(zhuǎn)類。但對(duì)于晃 動(dòng)、畫叉和打鉤的分類，總體而言，前兩類的長(zhǎng)度、能量和加速度波峰數(shù)大于打鉤，但由于手 勢(shì)存在隨意性，人們?cè)谧鲞@些手勢(shì)時(shí)容易產(chǎn)生類似的單個(gè)特征量，因此不能只用某個(gè)特征 量來進(jìn)行區(qū)分。本發(fā)明設(shè)計(jì)了一個(gè)線性判別函數(shù)，將三個(gè)特征量換算為一種細(xì)分特征值f， 在單個(gè)特征量區(qū)分的基礎(chǔ)上再用判別函數(shù)來進(jìn)行區(qū)分，從而使分類準(zhǔn)確度達(dá)到最高。根據(jù) 特征量樣本得到的線性判別分類函數(shù)為：
[0084] f = a*LEN+b*E+c*P+d (14)
[0085] 式中LEN為手勢(shì)長(zhǎng)度，E為手勢(shì)能量，P為加速度波峰數(shù)，a，b，c，d為常系數(shù)。
[0086]通過上文所述的預(yù)分類器，已經(jīng)可以較精確地識(shí)別出當(dāng)前用戶手勢(shì)屬于哪一大 類，但是對(duì)于旋轉(zhuǎn)類和移動(dòng)類，還需要進(jìn)一步地進(jìn)行手勢(shì)細(xì)化分，識(shí)別出其機(jī)體的運(yùn)動(dòng)方 向。
[0087] 1.移動(dòng)類細(xì)劃分出上、下、左、右：
[0088] 在觀察移動(dòng)類手勢(shì)的特征量時(shí)發(fā)現(xiàn)，如果手勢(shì)是向左右兩個(gè)方向移動(dòng)的，那么水 平面上的加速度發(fā)生的變化比較大，而其中對(duì)于向左的手勢(shì)動(dòng)作，x軸加速度先出現(xiàn)波谷再 出現(xiàn)波峰，向右移動(dòng)的x軸加速度則剛好相反，先出現(xiàn)波峰再出現(xiàn)波谷；如果手勢(shì)是上下移 動(dòng)的，則垂直方向上的加速度發(fā)生的變化比較大，其中向上運(yùn)動(dòng)時(shí)z軸加速度先出現(xiàn)波峰再 出現(xiàn)波谷，向下運(yùn)動(dòng)時(shí)z軸加速度先出現(xiàn)波谷再出現(xiàn)波峰。
[0089] 因此可以首先通過判斷x軸和z軸加速度平均幅值誰更大來判斷出上下還是左右 移動(dòng)，再根據(jù)具體的波峰波谷出現(xiàn)的順序來識(shí)別是具體的上、下、左、右。加速度在一個(gè)手勢(shì) 有效長(zhǎng)度A-B時(shí)間段內(nèi)的平均幅值計(jì)算公式如下：
(15) (16)
[0092] 其中，A、B分別是手勢(shì)動(dòng)作數(shù)據(jù)段的起點(diǎn)和終點(diǎn)；axl、azl分別是手勢(shì)在x軸、z軸下 的加速度;AM X、AMZ分別是手勢(shì)在x軸、z軸中的加速度平均幅值。
[0093] 通過判斷手勢(shì)在x軸、z軸中的加速度平均幅值A(chǔ)MX、AMZ哪個(gè)更大，可以得到手勢(shì)當(dāng) 前是集中在水平面運(yùn)動(dòng)還是垂直面運(yùn)動(dòng)，然后再根據(jù)x軸和z軸上各自加速度的波峰波谷出 現(xiàn)的順序來判斷具體的運(yùn)動(dòng)方向，流程圖如附圖6所示。
[0094] 2.旋轉(zhuǎn)類手勢(shì)細(xì)劃分為順時(shí)針和逆時(shí)針兩個(gè)方向：
[0095] 因?yàn)樾D(zhuǎn)類手勢(shì)是發(fā)生在水平面上的，因此只要觀察y軸角速度波峰波谷出現(xiàn)的 先后順序就能識(shí)別出用戶當(dāng)前是在順時(shí)針旋轉(zhuǎn)還是逆時(shí)針旋轉(zhuǎn)，如果y軸角速度先波谷后 波峰，則是逆時(shí)針旋轉(zhuǎn)，反過來先波峰后波谷則是順時(shí)針旋轉(zhuǎn)，流程圖如附圖7所示。
[0096]通過在以上理論分析，我們可以更進(jìn)一步地實(shí)現(xiàn)內(nèi)容豐富、形式多樣化的功能應(yīng) 用。
[0097] 一、可自定義的復(fù)雜手勢(shì)識(shí)別
[0098]類似于編碼原理，用戶可以根據(jù)自己的喜好把一系列的較復(fù)雜的手勢(shì)設(shè)定為快捷 鍵快速打開某些應(yīng)用。由于復(fù)雜手勢(shì)識(shí)別需要大量復(fù)雜的實(shí)時(shí)計(jì)算和儲(chǔ)存，單純?cè)谑謩?shì)識(shí) 別硬件平臺(tái)上無法完成，因此需要將消除誤差后的傳感器數(shù)據(jù)以及姿態(tài)解算后的數(shù)據(jù)通過 藍(lán)牙傳輸?shù)街悄芙K端，在智能終端中進(jìn)行復(fù)雜手勢(shì)的識(shí)別。復(fù)雜手勢(shì)識(shí)別技術(shù)可以由以下 幾種方式之一來實(shí)現(xiàn)。
[0099] 1.基于隱性馬爾科夫模型(HMM)的手勢(shì)識(shí)別
[0100] 隱性馬爾科夫模型(Hidden Markov Model-HMM)是一個(gè)由馬爾科夫過程和一個(gè)一 般隨機(jī)過程組成的雙重隨機(jī)過程，HMM在語音識(shí)別中的應(yīng)用已相當(dāng)成熟，由于手勢(shì)序列和語 音序列很相似，因此HMM也逐漸被用于手勢(shì)識(shí)別中，并且獲得了比較高的識(shí)別精度。HMM分別 用三種算法解決三個(gè)問題：
[0101 ]評(píng)估問題一一前后向算法:求給定模型下觀測(cè)序列的概率；
[0102] 解碼問題一一Viterbi算法:求給定模型下對(duì)應(yīng)于觀測(cè)序列的狀態(tài)序列；
[0103] 訓(xùn)練問題一一Baum-Welch算法:產(chǎn)生該狀態(tài)序列的最優(yōu)模型；
[0104] 首先訓(xùn)練好一個(gè)手勢(shì)庫(kù)儲(chǔ)存在智能終端，包含了數(shù)字012 - 9和英文小寫字母 abc…，以及一些特殊的圖形（畫叉，打鉤，問號(hào)…），每一種手勢(shì)對(duì)應(yīng)一種HMM模型A。用戶可 以為每一種手勢(shì)自定義一個(gè)快捷功能(例如打鉤表示立刻播放最喜愛的歌曲）。在開啟快捷 鍵模式下，用戶輸入相應(yīng)手勢(shì)后，硬件平臺(tái)便利用藍(lán)牙傳輸模塊將傳感器數(shù)據(jù)傳輸?shù)街悄?終端，智能終端對(duì)數(shù)據(jù)進(jìn)行評(píng)估和解碼，識(shí)別出用戶的手勢(shì)，從而進(jìn)行相應(yīng)的操作。
[0105] 復(fù)雜手勢(shì)識(shí)別中的HMM算法可以用別的手勢(shì)識(shí)別算法來取代，例如模板匹配法、神 經(jīng)網(wǎng)絡(luò)、支持向量機(jī)(SVM)等。
[0106] 2.結(jié)合語音的手勢(shì)識(shí)別
[0107]先用手勢(shì)畫出筆畫，然后通過語音確定要寫的字或句段。智能終端中可保存用戶 的自造詞包，以后對(duì)應(yīng)用戶的口音可直接打出確定的字、句或?qū)崿F(xiàn)相應(yīng)的功能。
[0108] 二、體感游戲
[0109] 目前大部分的智能終端都包含有體感游戲，因此可以結(jié)合硬件平臺(tái)上的傳感器， 把9軸模塊濾波處理后的數(shù)據(jù)通過藍(lán)牙發(fā)送給智能終端，即可把手勢(shì)識(shí)別硬件平臺(tái)當(dāng)做迷 你游戲手柄來使用。此外，目前市面上流行的基于機(jī)器視覺的體感游戲(如kinect)靈敏度 仍不夠，體驗(yàn)效果不佳，但是通過在智能終端上集成攝像頭，再結(jié)合硬件平臺(tái)，大體定位出 硬件平臺(tái)的位置，再進(jìn)一步通過硬件平臺(tái)上的陀螺儀等數(shù)據(jù)進(jìn)行精細(xì)定位，在很大程度上 提高了識(shí)別精度和靈敏度。
[0110] 三、AR現(xiàn)實(shí)增強(qiáng)
[0111] 結(jié)合智能終端上的攝像頭以及手勢(shì)識(shí)別硬件平臺(tái)，在智能終端上實(shí)現(xiàn)AR現(xiàn)實(shí)增強(qiáng) 的效果。實(shí)現(xiàn)過程：
[0112] 首先硬件平臺(tái)的形狀和顏色都是為了攝像頭更好定位而設(shè)計(jì)。圓形的色圈，簡(jiǎn)單 的輪廓外形，都有利于攝像頭對(duì)硬件平臺(tái)更快，更準(zhǔn)確的定位，為AR技術(shù)的實(shí)現(xiàn)做好虛擬物 品定位準(zhǔn)備，其次就是只能終端預(yù)先存好虛擬物品素材，最后就在攝像畫面顯不的同時(shí)，在 標(biāo)定位置顯示出相應(yīng)的文字或者虛擬物品。
[0113] 現(xiàn)實(shí)效果包括：
[0114] 1.攝像對(duì)硬件平臺(tái)的定位跟蹤，終端上的攝像畫面隨著硬件平臺(tái)的移動(dòng)而改變。
[0115] 2.攝像頭可以對(duì)持有硬件平臺(tái)的人定位，并通過衣服圖庫(kù)的選取實(shí)現(xiàn)用戶換衣試 衣體驗(yàn)，讓終端變成試衣鏡。
[0116] 3.通過對(duì)硬件平臺(tái)的定位，還可以實(shí)現(xiàn)硬件平臺(tái)的變身，例如變成一捧花，一個(gè)茶 壺，一把劍等等，達(dá)到神奇的AR效果。
[0117] 四、控制PPT等應(yīng)用的播放
[0118] PC端廣泛存在需要方向性控制的操作，如PPT的播放、圖片的切換、網(wǎng)頁(yè)的上下滑 動(dòng)等，傳統(tǒng)的鼠標(biāo)控制在距離上限制較大，操控性低，影響人與PC端的友好交互。
[0119]目前流行的控制PPT的播放方式（其他應(yīng)用類似)有兩種：通過鍵盤或者PPT翻頁(yè) 筆。當(dāng)通過鍵盤控制PPT播放時(shí)，操縱者必須站在電腦旁邊，這樣就不利于與講臺(tái)下的觀眾 進(jìn)行交流與互動(dòng)，用戶體驗(yàn)性差;雖然使用PPT翻頁(yè)筆可以實(shí)現(xiàn)遠(yuǎn)程操控PPT，但是其同樣是 以按鍵的形式，必須隨時(shí)拿在手上，用戶體驗(yàn)同樣不是太好。
[0120] 通過分析，我們發(fā)現(xiàn)PPT的操控命令大致存在四種:開始播放，上翻頁(yè)，下翻頁(yè)以及 結(jié)束播放。于是我們定義了四種手勢(shì)，分別與這四種命令相對(duì)應(yīng)，
[0121] 最終通過手勢(shì)就達(dá)到了控制PPT播放的目的，且由于手勢(shì)識(shí)別硬件平臺(tái)精致小巧， 可直接穿戴在手上，不影響正常的手勢(shì)交流，進(jìn)一步提高了用戶體驗(yàn)。
[0122] 五、手語識(shí)別系統(tǒng)
[0123] 由于先天或者后天的不幸導(dǎo)致我們身邊可能有殘疾的朋友，往往需要學(xué)習(xí)手語才 能和他們進(jìn)行交流。手語的研究有助于改善和提高聾啞人的生活學(xué)習(xí)和工作條件，為他們 提供更好的服務(wù)。
[0124] 通過穿戴手勢(shì)識(shí)別硬件平臺(tái)，采集手語樣本，然后通過自定義復(fù)雜手勢(shì)識(shí)別對(duì)每 種手語進(jìn)行建模，最后進(jìn)行手語識(shí)別。通過借助于智能終端強(qiáng)大的計(jì)算能力以及對(duì)識(shí)別算 法的改進(jìn)，可以達(dá)到很高的識(shí)別精度，極大的改善聾啞人的生活質(zhì)量，使得其可以用手語和 正常人進(jìn)行交流。
[0125] 以上內(nèi)容是結(jié)合具體的優(yōu)選實(shí)施方式對(duì)本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定 本發(fā)明的具體實(shí)施只局限于這些說明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員來說，在 不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡(jiǎn)單推演或替換，都應(yīng)當(dāng)視為屬于本發(fā)明的 保護(hù)范圍。
【主權(quán)項(xiàng)】
1. 一種基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法，其特征在于:所述方法將手 勢(shì)定義為敲擊類、旋轉(zhuǎn)類、晃動(dòng)類、移動(dòng)類、打鉤類、畫叉類等六大類型，所述方法包括： S1:采用差分法從所有讀取到的原始數(shù)據(jù)中截取從手勢(shì)的起點(diǎn)到終點(diǎn)的段落； S2:對(duì)切割下來的數(shù)據(jù)段進(jìn)行坐標(biāo)系的轉(zhuǎn)換，從機(jī)體坐標(biāo)系轉(zhuǎn)換到用戶坐標(biāo)系； S3:計(jì)算變換后數(shù)據(jù)的手勢(shì)長(zhǎng)度、手勢(shì)能量、波峰數(shù)、角速度能量最大軸、角速度單邊 性，并利用這五個(gè)特征量來構(gòu)造一個(gè)手勢(shì)大類的預(yù)分類器，所述預(yù)分類器利用手勢(shì)能量來 進(jìn)行粗分類，利用波峰數(shù)來區(qū)分敲擊類和移動(dòng)類，利用角速度能量最大軸來識(shí)別旋轉(zhuǎn)類，利 用線性判別函數(shù)計(jì)算細(xì)分值f來區(qū)分晃動(dòng)類、打鉤類、畫叉類;線性判別函數(shù)為； f = a*LEN+b*E+c*P+d， 其中，LEN為手勢(shì)長(zhǎng)度，E為手勢(shì)能量，P為加速度波峰數(shù)，a，b，c，d為常系數(shù)； S4:進(jìn)一步地進(jìn)行手勢(shì)細(xì)化分，識(shí)別出移動(dòng)類和旋轉(zhuǎn)類手勢(shì)的運(yùn)動(dòng)方向。2. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于：所述差分法進(jìn)行手勢(shì)切割具體 為，在一個(gè)長(zhǎng)度為N的窗口內(nèi)對(duì)加速度和角速度的兩兩時(shí)刻前后數(shù)值變化量求和得到經(jīng)過 平滑窗口處理后的加速度和角速度差分值：示k時(shí)刻下的三軸角速度值;設(shè)定一個(gè)閾值，所述差分值超過了所述閾值的時(shí)間點(diǎn)是手勢(shì)的 起點(diǎn)，在識(shí)別出起點(diǎn)后，若所述差分值出現(xiàn)了小于所述閾值了的時(shí)刻點(diǎn)是手勢(shì)的終點(diǎn);若加 速度和角速度分別檢測(cè)出來的起點(diǎn)或終點(diǎn)時(shí)刻差值如果超過m個(gè)采樣時(shí)間點(diǎn)，則認(rèn)為該起 點(diǎn)或終點(diǎn)無效，反之則有效，其中，m為預(yù)設(shè)值。3. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于:所述波峰數(shù)包括加速度波峰數(shù)、 角速度波峰數(shù)和姿態(tài)角波峰數(shù)。4. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于:所述手勢(shì)長(zhǎng)度LEN為手勢(shì)起點(diǎn)到 終點(diǎn)的采樣數(shù);手勢(shì)能量E為起點(diǎn)到終點(diǎn)之間加速度和角速度絕對(duì)值之和;波峰數(shù)為每個(gè)手 勢(shì)動(dòng)作的加速度或角速度或者姿態(tài)角的波峰數(shù);角速度單邊性反映在某軸上的角速度呈現(xiàn) 出單符號(hào)性，3個(gè)角速度中只要其中一個(gè)滿足單邊性，就認(rèn)為其整體角速度滿足了單邊性； 角速度能量最大軸為ma X(Ewx、Ewy、Ewz)所在的坐標(biāo)軸，判斷軸即為判斷旋轉(zhuǎn)軸，其中，角速度 能量最大值Ewx、E Wy、EWZ為：其中，gxi，gyi，gzi為手勢(shì)數(shù)據(jù)在x、y、z軸上的角速度。5. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于:所述預(yù)分類器具體為：當(dāng)手勢(shì)能 量E小于預(yù)設(shè)的第一閾值，則進(jìn)行加速度波峰數(shù)判斷，當(dāng)加速度波峰數(shù)小于預(yù)設(shè)的第二閾值 時(shí)，則將手勢(shì)判斷為敲擊類，否則，判斷為移動(dòng)類；當(dāng)手勢(shì)能量E大于或等于預(yù)設(shè)的第一閾 值，則進(jìn)行角速度能量最大軸判斷，若為Y軸，則將手勢(shì)判斷為旋轉(zhuǎn)類，若不為Y軸，則進(jìn)行細(xì) 分特征值f的計(jì)算，若f大于〇則進(jìn)一步根據(jù)姿態(tài)波峰數(shù)和手勢(shì)能量將手勢(shì)識(shí)別為晃動(dòng)類或 畫叉類，若f小于或等于〇則進(jìn)一步判斷角速度單邊性，若角速度單邊性為否，則將手勢(shì)判斷 為打鉤類。6. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于:所述步驟S4包括:對(duì)于移動(dòng)類手 勢(shì)，首先通過判斷X軸和z軸加速度平均幅值誰更大來判斷出上下還是左右移動(dòng)，再根據(jù)具 體的波峰波谷出現(xiàn)的順序來識(shí)別是具體的上、下、左、右。7. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于:所述步驟S4包括:對(duì)于旋轉(zhuǎn)類手 勢(shì)，觀察y軸角速度波峰波谷出現(xiàn)的先后順序就能識(shí)別出用戶當(dāng)前是在順時(shí)針旋轉(zhuǎn)還是逆 時(shí)針旋轉(zhuǎn)，如果y軸角速度先波谷后波峰，則是逆時(shí)針旋轉(zhuǎn)，反過來先波峰后波谷則是順時(shí) 針旋轉(zhuǎn)。8. 根據(jù)權(quán)利要求1所述的手勢(shì)識(shí)別方法，其特征在于:所述步驟S4之前還包括對(duì)原始數(shù) 據(jù)進(jìn)行數(shù)據(jù)融合，再進(jìn)行姿態(tài)解算，求出實(shí)時(shí)的姿態(tài)角，所述數(shù)據(jù)融合算法為互補(bǔ)濾波或梯 度下降法。9. 一種基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別方法，所述手勢(shì)為用戶根據(jù)自己的 喜好定義的一系列的較復(fù)雜的手勢(shì)序列，其特征在于:所述方法首先利用如權(quán)利要求1-9任 一項(xiàng)所述的識(shí)別方法識(shí)別出所述手勢(shì)序列中的每一個(gè)手勢(shì)，然后利用隱性馬爾科夫模型 HMM識(shí)別出用戶定義的手勢(shì)序列。10. -種基于細(xì)分特征值法的快速三維動(dòng)態(tài)手勢(shì)識(shí)別系統(tǒng)，所述系統(tǒng)包括手勢(shì)識(shí)別的 硬件平臺(tái)和接收端;其中，所述手勢(shì)識(shí)別的硬件平臺(tái)作為手勢(shì)數(shù)據(jù)的采集設(shè)備，其包括3軸 加速度計(jì)、3軸陀螺儀和3軸磁力計(jì)、MCU微處理器、藍(lán)牙模塊、鋰電池充電電路、鋰電池以及 電源開關(guān);所述3軸加速度計(jì)測(cè)量加速度、3軸陀螺儀測(cè)量角速度和3軸磁力計(jì)測(cè)量磁場(chǎng)，獲 得手勢(shì)的原始數(shù)據(jù);所述硬件平臺(tái)通過無線通信的方式將采集到的原始數(shù)據(jù)傳送給所述接 收端;所述接收端采用如權(quán)利要求1-9任一項(xiàng)所述的基于細(xì)分特征值法的快速三維動(dòng)態(tài)手 勢(shì)識(shí)別方法進(jìn)行數(shù)據(jù)處理及手勢(shì)識(shí)別。
【文檔編號(hào)】G06K9/00GK105929940SQ201610227105
【公開日】2016年9月7日
【申請(qǐng)日】2016年4月13日
【發(fā)明人】韓嘯, 張欽宇, 劉易, 謝國(guó)超, 趙國(guó)欽, 劉元震
【申請(qǐng)人】哈爾濱工業(yè)大學(xué)深圳研究生院