本發(fā)明虛擬現(xiàn)實(shí)領(lǐng)域，具體涉及一種基于emg的交互方法。

背景技術(shù)：

虛擬現(xiàn)實(shí)(簡稱vr)，又稱靈境技術(shù)，是以沉浸性、交互性和構(gòu)想性為基本特征的計(jì)算機(jī)高級(jí)人機(jī)界面。他綜合利用了計(jì)算機(jī)圖形學(xué)、仿真技術(shù)、多媒體技術(shù)、人工智能技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)、并行處理技術(shù)和多傳感器技術(shù)，模擬人的視覺、聽覺、觸覺等感覺器官功能，使人能夠沉浸在計(jì)算機(jī)生成的虛擬境界中，并能夠通過語言、手勢(shì)等自然的方式與之進(jìn)行實(shí)時(shí)交互，創(chuàng)建了一種適人化的多維信息空間。使用者不僅能夠通過虛擬現(xiàn)實(shí)系統(tǒng)感受到在客觀物理世界中所經(jīng)歷的“身臨其境”的逼真性，而且能夠突破空間、時(shí)間以及其他客觀限制，感受到真實(shí)世界中無法親身經(jīng)歷的體驗(yàn)。

ar又叫增強(qiáng)現(xiàn)實(shí)(augmentedreality，簡稱ar)。它是一種將真實(shí)世界信息和虛擬世界信息“無縫”集成的新技術(shù)，是把原本在現(xiàn)實(shí)世界的一定時(shí)間空間范圍內(nèi)很難體驗(yàn)到的實(shí)體信息(視覺信息,聲音,味道,觸覺等),通過電腦等科學(xué)技術(shù)，模擬仿真后再疊加，將虛擬的信息應(yīng)用到真實(shí)世界，被人類感官所感知，從而達(dá)到超越現(xiàn)實(shí)的感官體驗(yàn)。簡單的來說vr是全虛擬世界，ar是半真實(shí)半虛擬的世界。

mr又叫混合現(xiàn)實(shí)(mixreality，簡稱mr)，既包括增強(qiáng)現(xiàn)實(shí)和增強(qiáng)虛擬，指的是合并現(xiàn)實(shí)和虛擬世界而產(chǎn)生的新的可視化環(huán)境。在新的可視化環(huán)境里物理和數(shù)字對(duì)象共存，并實(shí)時(shí)互動(dòng)。

全息投影技術(shù)也稱虛擬成像技術(shù)，是利用干涉和衍射原理記錄并再現(xiàn)物體真實(shí)的三維圖像的技術(shù)。全息投影技術(shù)不僅可以產(chǎn)生立體的空中幻像，還可以使幻像與表演者產(chǎn)生互動(dòng)，一起完成表演，產(chǎn)生令人震撼的演出效果。關(guān)于全息投影最形象的理解就是《鋼鐵俠》中的“賈維斯”。

裸眼3d最簡單的理解就是裸眼看3d電影達(dá)到的效果就如同我們現(xiàn)在使用3d眼鏡看3d電影產(chǎn)生的效果。

沉浸式的體驗(yàn)使得現(xiàn)有的計(jì)算機(jī)交互工具如鍵盤、鼠標(biāo)、觸控板等很難使用在其中，如何開發(fā)更適合vr的交互方式成為行業(yè)熱點(diǎn)，仍處于探索和研究階段。目前主流的交互方式主要有以下幾種：

感覺式沉浸

感覺式沉浸，主要靠采集肢體動(dòng)作來進(jìn)行交互。其缺點(diǎn)是設(shè)備笨重(通常使用多攝像頭技術(shù)完成肢體動(dòng)作采集)，結(jié)構(gòu)復(fù)雜，且需要記憶較多的手勢(shì)命令，使用場景極其受限。

交互式沉浸

主要靠動(dòng)作跟蹤和按鍵控制完成交互。一般性產(chǎn)品有手柄、搖桿、體感槍、方向盤等。手柄等設(shè)施雖然可實(shí)現(xiàn)高效的控制，但其存在按鍵較少，功能單一等問題，尤其要手持，影響沉浸感，需要選擇更合適的解決方案。

肌電(electromyogram，emg)，是由肌肉在靜止、收縮、興奮等動(dòng)作產(chǎn)生的生物電信號(hào)。

申請(qǐng)?zhí)枮?01610973410.3的中國發(fā)明專利申請(qǐng)，于2016年11月7日申請(qǐng)了一種“虛擬現(xiàn)實(shí)交互方法及裝置”，該方案通過眼睛、眼球、視線狀態(tài)等追蹤技術(shù)，獲取vr用戶的主動(dòng)眼睛動(dòng)作，執(zhí)行相應(yīng)的功能。該專利對(duì)主動(dòng)眨眼的操作要求比較復(fù)雜，并且全程眨眼操作，并不能完成復(fù)雜的輸入(如50按鍵的字符輸入等)，有一定的局限性。

因此，提供一種根據(jù)emg信號(hào)準(zhǔn)確輸入字符的方法及裝置具有重要的意義。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提出一種基于emg的交互方法，具體技術(shù)方案如下：

一種基于emg的交互方法，其特征在于：

采用以下步驟，

步驟1：使用者將n個(gè)手指分別與emg采集裝置的n個(gè)信號(hào)采集端相連，打開虛擬系統(tǒng)，進(jìn)入腦機(jī)交互界面；

步驟2：在腦機(jī)交互界面生成有m行n列選擇鍵，每個(gè)選擇鍵分別設(shè)置有唯一的數(shù)字標(biāo)記，所述n列選擇鍵分別與n個(gè)信號(hào)采集端一一對(duì)應(yīng)；

步驟3：m行選擇鍵，行與行之間輪流閃爍，每次閃爍為整行選擇鍵同時(shí)閃爍；

步驟4：判斷在該整行選擇鍵閃爍時(shí)，是否有emg信號(hào)產(chǎn)生，若否，則回到步驟3進(jìn)行下一行的整行選擇鍵閃爍；若是，則設(shè)該行為工作行，進(jìn)入步驟5；

步驟5：在工作行中的n列選擇鍵按照順序進(jìn)行閃爍，每個(gè)選擇鍵閃爍時(shí)，打標(biāo)系統(tǒng)發(fā)送對(duì)應(yīng)與該選擇鍵對(duì)應(yīng)的數(shù)字標(biāo)記插入到emg采集裝置的采樣時(shí)間軸上；

步驟6：使用者在需要選擇的選擇鍵閃爍時(shí)，與該選擇鍵對(duì)應(yīng)的手指做出相應(yīng)的動(dòng)作；

步驟7：emg采集裝置從與所述數(shù)字標(biāo)記對(duì)應(yīng)的信號(hào)采集端采取一段信號(hào)作為特征向量，n個(gè)按鍵均閃爍完成后，生成有n個(gè)特征向量，該n個(gè)特征向量形成一組特征向量集di；

步驟8：將特征向量集di中的特征向量通過預(yù)處理后，將特征向量通過分類器進(jìn)行判斷；

步驟9：判斷特征向量集di中是否存在目標(biāo)特征向量，如果存在目標(biāo)特征向量，則進(jìn)入下一步驟，否則進(jìn)入步驟12；

步驟10：按照步驟5和步驟9循環(huán)至少一輪，得到特征向量集di+1，判斷特征向量集di和特征向量集di+1中的特征向量是否相同，如果均相同，按照特征向量集di和特征向量集di+1的所述目標(biāo)特征向量確定選擇鍵，進(jìn)入下一步驟，否則，回到步驟5；

步驟11：判斷該選擇鍵是否為結(jié)束輸出，如果是，則進(jìn)入步驟15，否則，進(jìn)入下一步驟；

步驟12：判斷輸入是否完成，如果輸入完成，進(jìn)入步驟14，否則，進(jìn)入到下一步驟；

步驟13：進(jìn)入到下一個(gè)工作行，按照步驟4至步驟12處理；

步驟14：則按照輸入的選擇項(xiàng)執(zhí)行；

步驟15：結(jié)束選擇。

進(jìn)一步地：所述步驟8包括以下步驟：

步驟81：對(duì)該組特征向量集di內(nèi)的特征向量數(shù)據(jù)依次進(jìn)行包括去除基線漂移、去除50hz工頻干擾以及帶通濾波在內(nèi)的預(yù)處理；

步驟82：對(duì)預(yù)處理后特征向量集di內(nèi)的每個(gè)特征向量數(shù)據(jù)求一階差分，具體方法為：

di＝xi+1-xi其中，i表示第i個(gè)采樣點(diǎn)，d表示差分后的信號(hào)，x表示采樣值；

步驟83：特征向量集di＝[d1,d2,...,dn]，該特征向量集di內(nèi)的特征向量分別對(duì)應(yīng)工作行中的n個(gè)選擇鍵的閃爍，將特征向量集di進(jìn)行分類得到n個(gè)分類結(jié)果s＝[s1,s2,...，si,...,sn]，其中對(duì)分類結(jié)果s只保留其最大的前q個(gè)分值并將其余置零；

步驟84：將特征向量集di內(nèi)的特征向量進(jìn)行波形檢測(cè)，得到n個(gè)波形檢測(cè)結(jié)果wi＝[w1,w2,...,wi,...,wn]；

步驟85：將分類結(jié)果s和波形檢測(cè)結(jié)果w相乘，得到ri＝[r1,r2,...，ri,...,rn]；

步驟9具體為：遍歷ri，若不存在ri>0，則判斷特征向量集di中不存在目標(biāo)特征向量，進(jìn)入步驟12，若存在ri>0，則判斷特征向量集di中存在目標(biāo)特征向量，進(jìn)入下一步驟。

進(jìn)一步地：所述步驟9包括以下步驟：

步驟101：按照步驟5至步驟9循環(huán)至少一輪，得到特征向量集di+1和對(duì)應(yīng)的ri+1；

步驟102：比較ri和ri+1中對(duì)應(yīng)位置的元素是否相同，如果相同，則判斷特征向量集di和特征向量集di+1具有相同特征向量，按照特征向量集di和特征向量集di+1的所述目標(biāo)特征向量確定選擇鍵，進(jìn)入下一步驟，否則，回到步驟5。

進(jìn)一步地：所述步驟84，包括以下步驟：

步驟841：將特征向量集di內(nèi)的特征向量依次進(jìn)行波形檢測(cè)；

步驟842：判斷波谷在波峰出現(xiàn)以后30-140毫秒的位置出現(xiàn)，如果是，則進(jìn)入下一步驟，否則，進(jìn)入步驟846；

步驟843：判斷波峰/波谷是否對(duì)應(yīng)整段信號(hào)的最大/最小值點(diǎn)，如果是，則進(jìn)入下一步驟，否則，進(jìn)入步驟846；

步驟844：判斷波峰到波谷這段信號(hào)的能量總和是否大于預(yù)先設(shè)定的閾值p，如果是，則進(jìn)入下一步驟，否則，進(jìn)入步驟846；

步驟845：特征向量的波形檢查通過，對(duì)應(yīng)的wi＝1；

步驟846：特征向量的波形檢查沒通過，對(duì)應(yīng)的wi＝0；

步驟847：得到wi＝[w1,w2,...,wi,...,wn]。

發(fā)明的有益效果為：第一，本發(fā)明識(shí)別方法這一塊采用波形匹配和分類器兩種方法結(jié)合使用，在保證emg信號(hào)被正常檢測(cè)的同時(shí)，排除了系統(tǒng)對(duì)輸入信號(hào)的誤判，提高了檢測(cè)率，識(shí)別度。第二，本發(fā)明將選擇鍵分為多行選閃爍，通過操作行內(nèi)虛擬鍵判斷手指egm信號(hào)，來確定目標(biāo)選擇鍵，與現(xiàn)行pc機(jī)的鍵盤輸入方式吻合，可大大提高功能鍵的選擇效率。

附圖說明

圖1為本發(fā)明的流程圖；

圖2為虛擬鍵盤的結(jié)構(gòu)圖；

圖3為其中一個(gè)標(biāo)記數(shù)字后的檢測(cè)波形圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的較佳實(shí)施例進(jìn)行詳細(xì)闡述，以使本發(fā)明的優(yōu)點(diǎn)和特征能更易于被本領(lǐng)域技術(shù)人員理解，從而對(duì)本發(fā)明的保護(hù)范圍做出更為清楚明確的界定。

本發(fā)明具體實(shí)施例如圖1至圖3所示，以一種虛擬鍵盤操作為例，

一種基于emg的交互方法，其特征在于：

采用以下步驟，

步驟1：使用者將10個(gè)手指分別與emg采集裝置的10個(gè)信號(hào)采集端相連，打開虛擬系統(tǒng)，進(jìn)入腦機(jī)交互界面；

步驟2：在腦機(jī)交互界面生成有4行選擇鍵和2行按鈕，其中2行按鈕分別為退出行按鈕和確定行按鈕，其它4行選擇鍵中的每行分別設(shè)置有10個(gè)選擇鍵，每個(gè)選擇鍵分別設(shè)置有唯一的數(shù)字標(biāo)記，4行選擇鍵中的10列選擇鍵分別與10個(gè)信號(hào)采集端一一對(duì)應(yīng)；

自左至右的十列按鍵分別由左手尾指emg、左手無名指emg、左手中指emg、左手食指emg、左手拇指emg、右手拇指emg、右手食指emg、右手中指emg、右手無名指emg、右手尾指emg進(jìn)行操控；

當(dāng)選擇4行選擇鍵中的其中一行，然后從中選擇其中一列選擇鍵，可以確定唯一的數(shù)字標(biāo)記。退出行按鈕和確定行按鈕也設(shè)置有唯一標(biāo)記，該退出按鈕,可由10個(gè)信號(hào)采集端任何一個(gè)進(jìn)行emg信號(hào)輸入，這里采用左手食指emg進(jìn)行信號(hào)輸入，該確定行按鈕也可由10個(gè)信號(hào)采集端的任何一個(gè)進(jìn)行emg信號(hào)輸入，這里采用右手食指emg進(jìn)行信號(hào)輸入；

步驟3：4行選擇鍵和2行按鈕，行與行之間輪流閃爍，4行選擇鍵閃爍時(shí)，每次閃爍為整行選擇鍵同時(shí)閃爍；

步驟4：判斷在該整行閃爍時(shí)，是否有emg信號(hào)產(chǎn)生，若否，則回到步驟3進(jìn)行下一行的整行閃爍；若是，則設(shè)該行為工作行，進(jìn)入步驟5；

步驟5：若該工作行為4行選擇鍵之一，則在工作行中的10列選擇鍵按照順序進(jìn)行閃爍，每個(gè)選擇鍵閃爍時(shí)，打標(biāo)系統(tǒng)發(fā)送對(duì)應(yīng)與該選擇鍵對(duì)應(yīng)的數(shù)字標(biāo)記插入到emg采集裝置的采樣時(shí)間軸上；

步驟6：使用者在需要選擇的選擇鍵閃爍時(shí)，與該選擇鍵對(duì)應(yīng)的手指做出相應(yīng)的動(dòng)作；

步驟7：emg采集裝置從與所述數(shù)字標(biāo)記對(duì)應(yīng)的信號(hào)采集端采取一段信號(hào)作為特征向量，10個(gè)按鍵均閃爍完成后，生成有10個(gè)特征向量，該10個(gè)特征向量形成一組特征向量集di；

步驟8：對(duì)該組特征向量集di內(nèi)的特征向量數(shù)據(jù)依次進(jìn)行包括去除基線漂移、去除50hz工頻干擾以及帶通濾波在內(nèi)的預(yù)處理；

步驟9：對(duì)預(yù)處理后特征向量集di內(nèi)的每個(gè)特征向量數(shù)據(jù)求一階差分，具體方法為：

di＝xi+1-xi其中，i表示第i個(gè)采樣點(diǎn)，d表示差分后的信號(hào)，x表示采樣值；

步驟10：差分之后的特征向量集為di＝[d1,d2,...,d10]，該特征向量集di內(nèi)的特征向量分別對(duì)應(yīng)工作行中的n個(gè)選擇鍵的閃爍，將特征向量集di進(jìn)行分類得到n個(gè)分類結(jié)果s＝[s1,s2,...，si,...,s10]，其中對(duì)分類結(jié)果s只保留其最大的前3個(gè)分值并將其余置零；

步驟11：將特征向量集di內(nèi)的特征向量依次進(jìn)行波形檢測(cè)；

步驟12：判斷波谷在波峰出現(xiàn)以后30-140毫秒的位置出現(xiàn)，如果是，則進(jìn)入下一步驟，否則，進(jìn)入步驟16；

步驟13：判斷波峰/波谷是否對(duì)應(yīng)整段信號(hào)的最大/最小值點(diǎn)，如果是，則進(jìn)入下一步驟，否則，進(jìn)入步驟16；

步驟14：判斷波峰到波谷這段信號(hào)的能量總和是否大于預(yù)先設(shè)定的閾值p，如果是，則進(jìn)入下一步驟，否則，進(jìn)入步驟16；

步驟15：特征向量的波形檢查通過，對(duì)應(yīng)的wi＝1；

步驟16：特征向量的波形檢查沒通過，對(duì)應(yīng)的wi＝0。

步驟17：通過步驟15和步驟16得到波形檢測(cè)結(jié)果w＝[w1+w2+wi……+w10]，將分類結(jié)果s和波形檢測(cè)結(jié)果w相乘，得到ri＝[r1,r2,...，ri,...,r10]；

步驟18：遍歷ri，若不存在ri＞0，則判斷特征向量集di中不存在目標(biāo)特征向量，進(jìn)入步驟22，若存在ri＞0，則判斷特征向量集di中存在目標(biāo)特征向量，進(jìn)入下一步驟；

步驟19：按照步驟5和步驟17循環(huán)至少一輪，得到特征向量集di+1和對(duì)應(yīng)的ri+1；

步驟20：比較ri和ri+1中對(duì)應(yīng)位置的元素是否相同，如果相同，則判斷特征向量集di和特征向量集di+1具有相同特征向量，按照特征向量集di和特征向量集di+1的所述目標(biāo)特征向量確定選擇鍵后，退出到整行選擇中，進(jìn)入下一步驟，否則，回到步驟5。

步驟21：在退出行按鈕處于閃爍狀態(tài)時(shí)，判斷退出行按鈕是否被按下，如果是，則進(jìn)入步驟25，否則，進(jìn)入下一步驟；

步驟22：在確定行按鈕處于閃爍狀態(tài)時(shí)，判斷確定行按鈕是否被按下，若有，

則進(jìn)入步驟24，否則，進(jìn)入到下一步驟；

步驟23：進(jìn)入到下一個(gè)工作行，按照步驟4至步驟22重復(fù)；

步驟24：則按照輸入的選擇項(xiàng)執(zhí)行；

步驟25：結(jié)束選擇。