本申請涉及電子設(shè)備領(lǐng)域,尤其涉及一種控制方法和設(shè)備。
背景技術(shù):
當前,可穿戴計算、移動計算、普適計算等新技術(shù)發(fā)展迅速,對人機交互技術(shù)提出了新的挑戰(zhàn)和更高的要求,同時也提供了許多新的機遇。在這一階段,自然和諧的人機交互方式得到了一定的發(fā)展,其主要特點是基于姿勢、語音、手寫體、或者跟蹤、表情等輸入手段進行多通道交互,其目的是使人能以動作、聲音、表情等自然方式進行交互操作,這正是理想的人機交互所強調(diào)的“用戶自由”之所在。
傳統(tǒng)的基于頭部動作的控制方法,有的在用戶的頸部設(shè)置肌電傳感器,當用戶想要轉(zhuǎn)頭時,其頸部肌肉驅(qū)動用戶的頭部執(zhí)行該轉(zhuǎn)頭動作,此時可以檢測到相應(yīng)的肌電信號,基于該肌電信號可以實現(xiàn)對電子設(shè)備的控制。
上述控制方法中得到的肌電信號的最大幅度值在0.5mV左右,因此導致檢測誤差大,控制精度差。
技術(shù)實現(xiàn)要素:
本申請的目的是:提供一種控制方法和設(shè)備,以提高控制精度。
根據(jù)本申請至少一個實施例的第一方面,提供了一種控制方法,所述方法包括:
響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息;
根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方式中,所述根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對 應(yīng)的操作包括:
根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的相關(guān)信息;
根據(jù)所述相關(guān)信息執(zhí)行所述操作。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的相關(guān)信息包括:
根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的類型。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述頭部動作的類型包括:點頭、搖頭中至少一項。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的類型包括:
確定所述肌電信息中的目標波形;
根據(jù)所述目標波形和至少一參考波形確定所述頭部動作的類型。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述根據(jù)所述目標波形和至少一參考波形確定所述頭部動作的類型包括:
將所述目標波形分別與所述至少一參考波形做互相關(guān)計算,根據(jù)計算結(jié)果確定所述頭部動作的類型。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的類型包括:
確定所述肌電信息中的目標信號特征;
根據(jù)所述目標信號特征和至少一參考信號特征確定所述頭部動作的類型。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,所述頭部動作包括第一類型頭部動作;
所述至少一參考信息包括對應(yīng)所述第一類型頭部動作的第一參考信息;
所述根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的相關(guān)信息還包括:
根據(jù)所述肌電信息和所述第一參考信息確定所述第一類型頭部動作的次數(shù)。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第九種可能的實現(xiàn)方式中,所述根據(jù)所述肌電信息和所述第一參考信息確定所述第一類型頭部動作的次數(shù)包括:
確定所述肌電信息中的目標波形;
根據(jù)所述目標波形中包含一第一參考波形的數(shù)量確定所述第一類型頭部動作的次數(shù)。
結(jié)合第一方面的任一種可能的實現(xiàn)方式,在第十種可能的實現(xiàn)方式中,所述根據(jù)所述肌電信息和所述第一參考信息確定所述第一類型頭部動作的次數(shù)包括:
確定所述肌電信息中的目標信號特征;
根據(jù)所述目標信號特征中包含一第一參考信號特征的數(shù)量確定所述第一類型頭部動作的次數(shù)。
根據(jù)本申請至少一個實施例的第二方面,提供了一種控制設(shè)備,所述設(shè)備包括:
一獲取模塊,用于響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息;
一執(zhí)行模塊,用于根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第二種可能的實現(xiàn)方 式中,所述執(zhí)行模塊包括:
一確定子模塊,用于根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的相關(guān)信息;
一執(zhí)行子模塊,用于根據(jù)所述相關(guān)信息執(zhí)行所述操作。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第三種可能的實現(xiàn)方式中,所述確定子模塊包括:
一類型確定單元,用于根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的類型。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第四種可能的實現(xiàn)方式中,所述類型確定單元包括:
一目標波形確定子單元,用于確定所述肌電信息中的目標波形;
一類型確定子單元,用于根據(jù)所述目標波形和至少一參考波形確定所述頭部動作的類型。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第五種可能的實現(xiàn)方式中,所述類型確定子單元,用于將所述目標波形分別與所述至少一參考波形做互相關(guān)計算,根據(jù)計算結(jié)果確定所述頭部動作的類型。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第六種可能的實現(xiàn)方式中,所述類型確定單元包括:
一目標信號特征確定子單元,用于確定所述肌電信息中的目標信號特征;
一類型確定子單元,用于根據(jù)所述目標信號特征和至少一參考信號特征確定所述頭部動作的類型。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第七種可能的實現(xiàn)方式中,所述頭部動作包括第一類型頭部動作;
所述至少一參考信息包括對應(yīng)所述第一類型頭部動作的第一參考信息;
所述確定子模塊還包括:
一次數(shù)確定單元,用于根據(jù)所述肌電信息和所述第一參考信息確定所述第一類型頭部動作的次數(shù)。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第八種可能的實現(xiàn)方式中,所述次數(shù)確定單元包括:
一目標波形確定子單元,用于確定所述肌電信息中的目標波形;
一次數(shù)確定子單元,用于根據(jù)所述目標波形中包含一第一參考波形的數(shù)量確定所述第一類型頭部動作的次數(shù)。
結(jié)合第二方面的任一種可能的實現(xiàn)方式,在第九種可能的實現(xiàn)方式中,所述次數(shù)確定單元包括:
一目標信號特征確定子單元,用于確定所述肌電信息中的目標信號特征;
一次數(shù)確定子單元,用于根據(jù)所述目標信號特征中包含一第一參考信號特征的數(shù)量確定所述第一類型頭部動作的次數(shù)。
本申請實施例所述方法和設(shè)備,響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息,根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。從而,提供了一種根據(jù)眼部的肌電信息執(zhí)行相應(yīng)操作的控制方法,其肌電信息的最高幅度值高于2mV,易于檢測,可以提高控制精度;對于一些集成有肌電傳感器的設(shè)備,比如智能眼鏡等,采用所述方法可以復用該肌電傳感器采集的所述肌電信息,減少了實現(xiàn)成本。
附圖說明
圖1是本申請一個實施例中一種控制方法的流程圖;
圖2是本申請一個實施方式中對應(yīng)搖頭動作的肌電信息的波形示意圖;
圖3是本申請一個實施方式中對應(yīng)點頭動作的肌電信息的波形示意圖;
圖4是本申請另一個實施例中所述控制設(shè)備的模塊圖;
圖5是本申請一個實施方式中所述執(zhí)行模塊的模塊圖;
圖6是本申請一個實施方式中所述確定子模塊的模塊圖;
圖7是本申請一個實施方式中所述類型確定單元的模塊圖;
圖8是本申請另一個實施方式中所述類型確定單元的模塊圖;
圖9是本申請另一個實施方式中所述確定子模塊的模塊圖;
圖10是本申請一個實施方式中所述次數(shù)確定單元的模塊圖;
圖11是本申請另一個實施方式中所述次數(shù)確定單元的模塊圖;
圖12是本申請一個實施方式中所述控制設(shè)備的硬件結(jié)構(gòu)示意圖。
具體實施方式
下面結(jié)合附圖和實施例,對本申請的具體實施方式作進一步詳細說明。以下實施例用于說明本申請,但不用來限制本申請的范圍。
本領(lǐng)域技術(shù)人員理解,在本申請的實施例中,下述各步驟的序號的大小并不意味著執(zhí)行順序的先后,各步驟的執(zhí)行順序應(yīng)以其功能和內(nèi)在邏輯確定,而不應(yīng)對本申請實施例的實施過程構(gòu)成任何限定。
圖1是本申請一個實施例所述控制方法的流程圖,所述方法可以在例如一控制設(shè)備上實現(xiàn)。如圖1所示,所述方法包括:
S120:響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息;
S140:根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
本申請實施例所述方法,響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息,根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。從而,提供了一種根據(jù)眼部肌電信息執(zhí)行相應(yīng)操作的控制方法,采用該方法采集到的肌電信息的幅度值的最大值可以達到2mV,有利于提高控制精度。
以下將結(jié)合具體實施方式,詳細說明所述步驟S120和S140的功能。
S120:響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息。
所述頭部動作即所述用戶的頭部所做的動作,比如點頭、搖頭等。所述肌電信息可以是所述用戶的左眼的肌電信息或右眼的肌電信息。以左眼的肌電信息為例,其可以在左眼的眼輪匝肌(orbicularis oculi muscle)上采集獲得。眼輪匝肌是位于眼瞼的組織中的圍繞眼球的環(huán)狀肌肉,它的自主和非自主(involuntarily)的強力的收縮使得人可不自主和自主的眨眼。具體的,比如可以通過智能眼鏡上的肌電傳感器采集獲取所述肌電信息。
圖2是響應(yīng)于用戶執(zhí)行搖頭動作采集到的眼部肌電信息的波形圖,橢圓內(nèi)的波形是對應(yīng)用戶搖頭動作的肌電波形,橢圓外的波形是用戶未執(zhí)行任何頭部動作時的肌電波形??梢钥吹?,當用戶執(zhí)行搖頭動作時,會導致眼部肌電的幅值明顯增大,其最大幅值可以超過2mV。
發(fā)明人在研究過程中發(fā)現(xiàn),眼部肌電信號,比如眼輪匝肌的肌電信號的主要能量集中在50~150Hz范圍內(nèi),平均幅值約0.5mV,當用戶做頭部動作如點頭時,肌電采集電極和皮膚之間的相對運動以及面部和眼部其它肌肉運動的影響,使得眼輪匝肌的肌電信號引入了0~5Hz,平均幅值約1.5mV,最大幅值超過2mV的波形明顯的眼肌電信號。也就是說,頭部動作引起的眼部肌電的幅度值明顯大于頸部肌電的幅度值,因此本申請利用此眼肌電信號來控制執(zhí)行相應(yīng)操作。
另外,發(fā)明人還發(fā)現(xiàn),當用戶執(zhí)行不同的頭部動作時,得到的眼部肌電信息的波形具有明顯區(qū)別。圖3是響應(yīng)于用戶執(zhí)行點頭動作采集到的眼部肌電信息的波形圖,橢圓內(nèi)的波形是對應(yīng)用戶點頭動作的肌電波形,橢圓外的波形是用戶未執(zhí)行任何頭部動作時的肌電波形??梢钥吹?,當用戶執(zhí)行點頭動作時,會導致眼部肌電的最大幅值可以超過2mV。同時,可以發(fā)現(xiàn),圖3中橢圓內(nèi)的波形與圖2中橢圓內(nèi)的波形具有明顯的區(qū)別,比如圖2的橢圓內(nèi)的波形變化趨勢是先上升 后下降,圖3的橢圓內(nèi)的波形的變化趨勢是先下降后上升。
類似的,當用戶執(zhí)行其他的頭部動作,也會得到對應(yīng)的其他的眼部肌電的波形。因此,如果定義不同的頭部動作對應(yīng)不同的操作,則基于采集到的眼部肌電信息可以實現(xiàn)對電子設(shè)備不同操作,并且,頭部動作觸發(fā)的眼部肌電信息的幅度值明顯高于其他部位的肌電信息的幅度值,根據(jù)眼部肌電信息進行相應(yīng)控制操作,可以提高控制精度。
S140:根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
在一種實施方式中,所述步驟S140可以包括:
S141:根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的相關(guān)信息。
S142:根據(jù)所述相關(guān)信息執(zhí)行所述操作。
一種實施方式中,所述頭部動作的相關(guān)信息可以包括所述頭部動作的類型,比如點頭、搖頭。相應(yīng)的,所述步驟S141可以包括:
S1411:根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的類型。
在一種實施方式中,所述步驟S1411可以包括:
S14111a:確定所述肌電信息中的目標波形;
S14112a:根據(jù)所述目標波形和至少一參考波形確定所述頭部動作的類型。
所述步驟S14111a中,所述目標波形是所述肌電信息的波形中對應(yīng)所述頭部動作的波形,其明顯區(qū)別于所述頭部未執(zhí)行任何動作情況下采集的肌電信息的波形。
以所述頭部動作的類型是搖頭動作為例,得到的所述肌電信息的波形如圖2所示。其中,橢圓內(nèi)的波形是所述用戶的頭部執(zhí)行搖頭動作時的波形,橢圓外的波形是所述用戶的頭部未執(zhí)行任何動作時的波形。可以看到,圖2中橢圓內(nèi)的波形明顯區(qū)別于橢圓外的波形,具體 的,是橢圓內(nèi)的波形的振幅明顯大于橢圓外的波形的振幅,基于此,可以從所述肌電信息中提取出所述目標波形,即確定所述橢圓內(nèi)的波形為所述目標波形。
類似的,圖3是所述頭部動作的類型為點頭時得到的所述肌電信息的波形。其中,橢圓內(nèi)的波形是所述用戶的頭部執(zhí)行點頭動作時的波形,橢圓外的波形是所述用戶的頭部未執(zhí)行任何動作時的波形??梢钥吹?,該圖3中橢圓內(nèi)的波形的振幅也明顯大于橢圓外的波形的振幅,基于此,可以確定所述橢圓內(nèi)的波形為所述目標波形。
所述步驟S14112a中,所述參考波形可以是預先訓練得到的對應(yīng)相應(yīng)頭部動作的波形,比如在訓練階段,可以讓用戶分別執(zhí)行不同類型的頭部動作,并對應(yīng)獲取相應(yīng)的波形作為所述參考波形。比如,在訓練階段,讓用戶執(zhí)行搖頭動作,并對應(yīng)獲取圖2中橢圓內(nèi)的波形作為對應(yīng)搖頭動作的參考波形。
在所述至少一參考波形的數(shù)量較少,即所述頭部動作的類型較少的情況下,可以通過比如圖像識別的方式,判斷所述目標波形中是否包含所述至少一參考波形,如果存在,則判斷所述頭部動作的類型為與被包含的參考波形相對應(yīng)的類型。以圖2和圖3為例,可以看到,圖2中目標波形和圖3中的目標波形具有明顯的區(qū)別,比如,圖2中的目標波形的走勢是先上升后下降,圖3中的目標波形的走勢是先下降后上升,基于上述區(qū)別,可以確定所述目標波形對應(yīng)的不同的參考波形,也即識別所述目標波形。
在所述至少一參考波形的數(shù)量較多的情況下,不同參考波形的之間混淆的可能性增大,為了避免識別錯誤,在一種實施方式中,所述步驟S14112a可以包括:
S14112a’:將所述目標波形分別與所述至少一參考波形做互相關(guān)計算,根據(jù)計算結(jié)果確定所述頭部動作的類型。
具體的,可以將所述目標波形分別與所述至少一參考波形做互相 關(guān)計算,得到每一個參考波形對應(yīng)的計算結(jié)果,然后可以選擇計算結(jié)果的值最高的參考波形(即與所述目標波形相關(guān)度最高的參考波形)對應(yīng)的類型作為所述頭部動作的類型。比如,假設(shè)所述至少一參考波形包括對應(yīng)點頭的第一參考波形和對應(yīng)搖頭的第二參考波形,令所述第一參考波形與所述目標波形做互相關(guān)計算得到第一結(jié)果,令所述第二參考波形與所述目標波形做互相關(guān)計算得到第二結(jié)果,如果第一結(jié)果的值高于第二結(jié)果的值,則可以確定所述頭部動作的類型為點頭。
在另一種實施方式中,所述步驟S1411可以包括:
S14111b:確定所述肌電信息中的目標信號特征;
S14112b:根據(jù)所述目標信號特征和至少一參考信號特征確定所述頭部動作的類型。
所述步驟S14111b中,所述目標信號特征可以理解為是上一實施方式中所述目標波形的信號特征,其可以與所述目標波形的幅度、相位、頻譜中至少一項相關(guān)。具體的,所述目標信號特征可以包括:指紋、平均值、差分中至少一項;所述指紋可以由所述目標波形的幅度、相位、頻譜中至少一項組成;所述平均值可以是所述目標波形的幅度、相位、頻譜中至少一項的平均值;所述差分可以是所述目標波形的幅度、相位、頻譜中至少一項的差分。當然,本領(lǐng)域技術(shù)人員理解,所述目標信號特征可以直接根據(jù)所述肌電信息的數(shù)據(jù)確定,并不必須需要根據(jù)所述目標波形確定。
所述步驟S14112b中,所述參考信號特征可以是預先訓練得到的對應(yīng)相應(yīng)頭部動作的信號特征,比如在訓練階段,可以讓用戶分別執(zhí)行不同類型的頭部動作,并對應(yīng)獲取眼部的相應(yīng)肌電信息的信號特征作為所述參考信號特征。比如,在訓練階段,讓用戶執(zhí)行搖頭動作,并對應(yīng)獲取圖2中橢圓內(nèi)的波形的信號特征作為對應(yīng)搖頭動作的參考信號特征。
該步驟S14112b中,可以通過比如信號特征比對的方式,判斷所 述目標信號特征中是否包含所述至少一參考信號特征,如果存在,則判斷所述頭部動作的類型為與被包含的參考信號特征相對應(yīng)的類型。
所述頭部動作的類型可以表示不同的操作命令,比如點頭表示確認,搖頭表示取消。同時,對于不同類型的頭部動作,執(zhí)行不同的次數(shù)也可以表示不同的操作命令,比如單次點頭表示選中,連續(xù)兩次點頭表示打開。因此,在一種實施方式中,所述頭部動作包括第一類型頭部動作;所述至少一參考信息包括對應(yīng)所述第一類型頭部動作的第一參考信息。
相應(yīng)的,所述步驟S141還可以包括:
S1412:根據(jù)所述肌電信息和所述第一參考信息確定所述第一類型頭部動作的次數(shù)。
在一種實施方式中,所述步驟S1412可以包括:
S14121a:確定所述肌電信息中的目標波形;
S14122a:根據(jù)所述目標波形中包含一第一參考波形的數(shù)量確定所述第一類型頭部動作的次數(shù)。
其中,所述步驟S14121a的實現(xiàn)原理與所述步驟S14111a的實現(xiàn)原理相同,不再贅述。
所述步驟S14122a中,所述目標波形中所包含的所述第一參考波形的數(shù)量與所述第一類型的頭部動作的次數(shù)是相對應(yīng)的。假設(shè)所述第一類型的頭部動作是搖頭,所述第一參考波形是對應(yīng)搖頭的參考波形,以圖2為例,可以看到所述目標波形中包含兩個所述第一參考波形,進而可以確定用戶做了兩次搖頭動作。類似的,圖3所示的肌電信息表明用戶做了兩次點頭動作。
在另一種實施方式中,所述步驟S1412可以包括:
S14121b:確定所述肌電信息中的目標信號特征;
S14122b:根據(jù)所述目標信號特征中包含一第一參考信號特征的數(shù)量確定所述第一類型頭部動作的次數(shù)。
所述步驟S14121b的實現(xiàn)原理與所述步驟S14111b的實現(xiàn)原理相同,此處不再贅述。
所述步驟S14122b中,所述目標信號特征中包含所述第一參考信號特征的數(shù)量,與所述第一類型頭部動作的次數(shù)相對應(yīng)。仍舊假設(shè)所述第一類型的頭部動作是搖頭,假設(shè)所述第一參考信號特征是對應(yīng)搖頭的幅度值變化數(shù)據(jù)(比如幅度值先上升至大于2mV,再下降至小于-2mV),以圖2為例,可以看到該肌電信息中的目標信號特征中包含兩個所述第一參考信號特征,進而可以確定用戶做了兩次搖頭動作。當然了,本領(lǐng)域技術(shù)人員理解,該步驟中并不必須得到圖2所示的波形曲線。類似的,圖3所示的肌電信息表明用戶做了兩次點頭動作。
另外,所述頭部動作還可能包括其他類型的頭部動作,比如第二類型的頭部動作,或者,所述頭部動作可能同時包括多種類型的頭部動作,比如同時包括第一類型的頭部動作和第二類型的頭部動作,均可按照上述實現(xiàn)原理分別實現(xiàn)對各種類型的頭部動作的次數(shù)的識別。
所述步驟S142中,根據(jù)所述相關(guān)信息執(zhí)行所述操作。
所述執(zhí)行操作,可以包括切換模式、輸入內(nèi)容、提醒用戶、匹配設(shè)備等操作。
比如用戶在佩戴智能眼鏡過程中,可以監(jiān)測用戶的頭部動作,如果用戶單次點頭,則選中當前對象,比如選中當前顯示的應(yīng)用圖標;如果用戶連續(xù)點頭兩次,則直接打開當前對象;如果用戶搖頭,則切換至下一對象。
另外,需要說明的是,為了方便說明所述方法的原理,上述實施方式中所述步驟S140,實質(zhì)上是根據(jù)所述至少一參考信息與所述頭部動作的相關(guān)信息之間的第一對應(yīng)關(guān)系,以及所述相關(guān)信息和所述操作之間的第二對應(yīng)關(guān)系,實現(xiàn)了上述控制方法。
本領(lǐng)域技術(shù)人員理解,所述步驟S140中并不必須需要確定所述 第一對應(yīng)關(guān)系,因為只要根據(jù)所述至少一參考信息與所述操作之間的第三對應(yīng)關(guān)系,即可實現(xiàn)所述控制方法。也就是說,在另一種實施方式中,所述至少一參考信息與所述操作之間直接具有一對應(yīng)關(guān)系,從而根據(jù)所述肌電信息和所述至少一參考信息可以直接確定所述操作并執(zhí)行所述操作。比如,假設(shè)所述至少一參考信息中包括一對應(yīng)關(guān)機命令的目標參考信息,當用戶執(zhí)行一頭部動作觸發(fā)一肌電信息,并且所述肌電信息與所述目標參考信息相匹配的情況下,可以直接控制相應(yīng)電子設(shè)備關(guān)機。
此外,本申請實施例還提供一種計算機可讀介質(zhì),包括在被執(zhí)行時進行以下操作的計算機可讀指令:執(zhí)行上述圖1所示實施方式中的方法的步驟S120和S140的操作。
綜上,本申請實施例所述方法,可以由用戶的頭部動作觸發(fā)一眼部的肌電信息,進行控制執(zhí)行相應(yīng)的操作,由于該肌電信息的幅度值較高,從而有利于提高控制精度,并且在一些穿戴式設(shè)備具有該肌電傳感器的情況下,可以在不增加實現(xiàn)成本的情況下,方便了用戶通過頭部動作控制相應(yīng)的電子設(shè)備。
圖4是本申請一個實施例所述控制設(shè)備的模塊結(jié)構(gòu)示意圖,所述設(shè)備可以是一個獨立的控制設(shè)備,當然,也可以作為一個功能模塊集成設(shè)置于比如智能眼鏡等可穿戴式設(shè)備中。參見圖4,所述設(shè)備400可以包括:
一獲取模塊410,用于響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息;
一執(zhí)行模塊420,用于根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
本申請實施例所述設(shè)備,響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息,根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。從而,提供了一種根據(jù)眼部肌電信息執(zhí)行 相應(yīng)操作的控制設(shè)備,有利于提高控制精度;對于一些集成有肌電傳感器的設(shè)備,比如智能眼鏡等,其可以復用該肌電傳感器采集的所述肌電信息實現(xiàn)對該設(shè)備或其他設(shè)備的控制,減少了實現(xiàn)成本。
以下將結(jié)合具體實施方式,詳細說明所述獲取模塊410和所述執(zhí)行模塊420的功能。
所述獲取模塊410,用于響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息。
所述頭部動作即所述用戶的頭部所做的動作,比如點頭、搖頭等。所述肌電信息可以是所述用戶的左眼肌電信息或右眼肌電信息,所述獲取模塊410比如可以通過智能眼鏡上的肌電傳感器獲取。
所述執(zhí)行模塊420,用于根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
參見圖5,在一種實施方式中,所述執(zhí)行模塊420可以包括:
一確定子模塊421,用于根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的相關(guān)信息。
一執(zhí)行子模塊422,用于根據(jù)所述相關(guān)信息執(zhí)行所述操作。
在一種實施方式中,所述頭部動作的相關(guān)信息可以包括所述頭部動作的類型,比如點頭、搖頭。相應(yīng)的,參見圖6,所述確定子模塊421可以包括:
一類型確定單元4211,用于根據(jù)所述肌電信息和所述至少一參考信息確定所述頭部動作的類型。
在一種實施方式中,參見圖7,所述類型確定單元4211可以包括:
一目標波形確定子單元42111a,用于確定所述肌電信息中的目標波形;
一類型確定子單元42112a,用于根據(jù)所述目標波形和至少一參考波形確定所述頭部動作的類型。
所述目標波形確定子單元42111a中,所述目標波形是所述肌電信 息的波形中對應(yīng)所述頭部動作的波形,其明顯區(qū)別于所述頭部未執(zhí)行任何動作情況下采集的肌電信息的波形。
以所述頭部動作的類型是搖頭動作為例,得到的所述肌電信息的波形如圖2所示。其中,橢圓內(nèi)的波形是所述用戶的頭部執(zhí)行搖頭動作時的波形,橢圓外的波形是所述用戶的頭部未執(zhí)行任何動作時的波形??梢钥吹?,圖2中橢圓內(nèi)的波形明顯區(qū)別于橢圓外的波形,具體的,是橢圓內(nèi)的波形的振幅明顯大于橢圓外的波形的振幅,基于此,可以從所述肌電信息中提取出所述目標波形,即確定所述橢圓內(nèi)的波形為所述目標波形。
類似的,圖3是所述頭部動作的類型為點頭時得到的所述肌電信息的波形。其中,橢圓內(nèi)的波形是所述用戶的頭部執(zhí)行點頭動作時的波形,橢圓外的波形是所述用戶的頭部未執(zhí)行任何動作時的波形??梢钥吹?,該圖3中橢圓內(nèi)的波形的振幅也明顯大于橢圓外的波形的振幅,基于此,可以確定所述橢圓內(nèi)的波形為所述目標波形。
所述類型確定子單元42112a中,所述參考波形可以是預先訓練得到的對應(yīng)相應(yīng)頭部動作的波形,比如在訓練階段,可以讓用戶分別執(zhí)行不同類型的頭部動作,并對應(yīng)獲取相應(yīng)的波形作為所述參考波形。比如,在訓練階段,讓用戶執(zhí)行搖頭動作,并對應(yīng)獲取圖2中橢圓內(nèi)的波形作為對應(yīng)搖頭動作的參考波形。
在所述至少一參考波形的數(shù)量較少,即所述頭部動作的類型較少的情況下,可以通過比如圖像識別的方式,判斷所述目標波形中是否包含所述至少一參考波形,如果存在,則判斷所述頭部動作的類型為與被包含的參考波形相對應(yīng)的類型。以圖2和圖3為例,可以看到,圖2中目標波形和圖3中的目標波形具有明顯的區(qū)別,比如,圖2中的目標波形的走勢是先上升后下降,圖3中的目標波形的走勢是先下降后上升,基于上述區(qū)別,可以確定所述目標波形對應(yīng)的不同的參考波形,也即識別所述目標波形。
在所述至少一參考波形的數(shù)量較多的情況下,不同參考波形的之間混淆的可能性增大,為了避免識別錯誤,在一種實施方式中,所述類型確定子單元42112a,用于將所述目標波形分別與所述至少一參考波形做互相關(guān)計算,根據(jù)計算結(jié)果確定所述頭部動作的類型。
具體的,所述類型確定子單元42112a可以將所述目標波形分別與所述至少一參考波形做互相關(guān)計算,得到每一個參考波形對應(yīng)的計算結(jié)果,然后可以選擇計算結(jié)果的值最高的參考波形(即與所述目標波形相關(guān)度最高的參考波形)對應(yīng)的類型作為所述頭部動作的類型。比如,假設(shè)所述至少一參考波形包括對應(yīng)點頭的第一參考波形和對應(yīng)搖頭的第二參考波形,令所述第一參考波形與所述目標波形做互相關(guān)計算得到第一結(jié)果,令所述第二參考波形與所述目標波形做互相關(guān)計算得到第二結(jié)果,如果第一結(jié)果的值高于第二結(jié)果的值,則可以確定所述頭部動作的類型為點頭。
在另一種實施方式中,參見圖8,所述類型確定單元4211可以包括:
一目標信號特征確定子單元42111b,用于確定所述肌電信息中的目標信號特征;
一類型確定子單元42112b,用于根據(jù)所述目標信號特征和至少一參考信號特征確定所述頭部動作的類型。
所述目標信號特征確定子單元42111b中,所述目標信號特征可以理解為是上一實施方式中所述目標波形的信號特征,其可以與所述目標波形的幅度、相位、頻譜中至少一項相關(guān)。具體的,所述目標信號特征可以包括:指紋、平均值、差分中至少一項;所述指紋可以由所述目標波形的幅度、相位、頻譜中至少一項組成;所述平均值可以是所述目標波形的幅度、相位、頻譜中至少一項的平均值;所述差分可以是所述目標波形的幅度、相位、頻譜中至少一項的差分。當然,本領(lǐng)域技術(shù)人員理解,所述目標信號特征可以直接根據(jù)所述肌電信息 的數(shù)據(jù)確定,并不必須需要根據(jù)所述目標波形確定。
所述類型確定子單元42112b中,所述參考信號特征可以是預先訓練得到的對應(yīng)相應(yīng)頭部動作的信號特征,比如在訓練階段,可以讓用戶分別執(zhí)行不同類型的頭部動作,并對應(yīng)獲取相應(yīng)肌電信息的信號特征作為所述參考信號特征。比如,在訓練階段,讓用戶執(zhí)行搖頭動作,并對應(yīng)獲取圖2中橢圓內(nèi)的波形的信號特征作為對應(yīng)搖頭動作的參考信號特征。
該類型確定子單元42112b中,可以通過比如信號特征比對的方式,判斷所述目標信號特征中是否包含所述至少一參考信號特征,如果存在,則判斷所述頭部動作的類型為與被包含的參考信號特征相對應(yīng)的類型。
所述頭部動作的類型可以表示不同的操作命令,比如點頭表示確認,搖頭表示取消。同時,對于不同類型的頭部動作,執(zhí)行不同的次數(shù)也可以表示不同的操作命令,比如單次點頭表示選中,連續(xù)兩次點頭表示打開。因此,在一種實施方式中,所述頭部動作包括第一類型頭部動作;所述至少一參考信息包括對應(yīng)所述第一類型頭部動作的第一參考信息。相應(yīng)的,參見圖9,所述確定子模塊421還包括:
一次數(shù)確定單元4212,用于根據(jù)所述肌電信息和所述第一參考信息確定所述第一類型頭部動作的次數(shù)。
在一種實施方式中,參見圖10,所述次數(shù)確定單元4212可以包括:
一目標波形確定子單元42121a,用于確定所述肌電信息中的目標波形;
一次數(shù)確定子單元42122a,用于根據(jù)所述目標波形中包含一第一參考波形的數(shù)量確定所述第一類型頭部動作的次數(shù)。
其中,所述目標波形確定子單元42121a的實現(xiàn)原理與所述目標波形確定子單元42111a的實現(xiàn)原理相同,不再贅述。
所述次數(shù)確定子單元42122a中,所述目標波形中所包含的所述第一參考波形的數(shù)量與所述第一類型的頭部動作的次數(shù)是相對應(yīng)的。假設(shè)所述第一類型的頭部動作是搖頭,所述第一參考波形是對應(yīng)搖頭的參考波形,以圖2為例,可以看到所述目標波形中包含兩個所述第一參考波形,進而可以確定用戶做了兩次搖頭動作。類似的,圖3所示的肌電信息表明用戶做了兩次點頭動作。
在另一種實施方式中,參見圖11,所述次數(shù)確定單元4212可以包括:
一目標信號特征確定子單元42121b,用于確定所述肌電信息中的目標信號特征;
一次數(shù)確定子單元42122b,用于根據(jù)所述目標信號特征中包含一第一參考信號特征的數(shù)量確定所述第一類型頭部動作的次數(shù)。
所述目標信號特征確定子單元42121b的實現(xiàn)原理與所述目標信號特征確定子單元42111b的實現(xiàn)原理相同,此處不再贅述。
所述次數(shù)確定子單元42122b中,所述目標信號特征中包含所述第一參考信號特征的數(shù)量,與所述第一類型頭部動作的次數(shù)相對應(yīng)。仍舊假設(shè)所述第一類型的頭部動作是搖頭,假設(shè)所述第一參考信號特征是對應(yīng)搖頭的幅度值變化數(shù)據(jù)(比如幅度值先上升至大于2mV,再下降至小于-2mV),以圖2為例,可以看到該肌電信息中的目標信號特征中包含兩個所述第一參考信號特征,進而可以確定用戶做了兩次搖頭動作。當然了,本領(lǐng)域技術(shù)人員理解,該步驟中并不必須得到圖2所示的波形曲線。類似的,圖3所示的肌電信息表明用戶做了兩次點頭動作。
另外,所述頭部動作還可能包括其他類型的頭部動作,比如第二類型的頭部動作,或者,所述頭部動作可能同時包括多種類型的頭部動作,比如同時包括第一類型的頭部動作和第二類型的頭部動作,均可按照上述實現(xiàn)原理分別實現(xiàn)對各種類型的頭部動作的次數(shù)的識別。
所述執(zhí)行子模塊422,用于根據(jù)所述相關(guān)信息執(zhí)行所述操作。
所述執(zhí)行操作,可以包括切換模式、輸入內(nèi)容、提醒用戶、匹配設(shè)備等操作。
比如用戶在佩戴智能眼鏡過程中,可以監(jiān)測用戶的頭部動作,如果用戶單次點頭,則選中當前對象,比如選中當前顯示的應(yīng)用圖標;如果用戶連續(xù)點頭兩次,則直接打開當前對象;如果用戶搖頭,則切換至下一對象。
綜上,本申請實施例所述設(shè)備,可以根據(jù)頭部動作觸發(fā)的肌電信息執(zhí)行相應(yīng)的操作,從而不增加實現(xiàn)成本的情況下,方便了用戶通過頭部動作控制相應(yīng)的電子設(shè)備。
本申請實施例所述信息處理方法和設(shè)備的一個應(yīng)用場景可以如下:用戶佩戴一智能眼鏡,智能眼鏡初始進入一級菜單,其上的肌電傳感器獲取用戶的眼部的肌電信息;用戶執(zhí)行搖頭動作觸發(fā)一第一肌電信息,智能眼鏡根據(jù)該第一肌電信息控制一級菜單選項按照預定順序在眼鏡顯示窗口中切換;當切換至用戶想要打開的應(yīng)用時,用戶執(zhí)行點頭動作觸發(fā)一第二肌電信息,該應(yīng)用被選中,然后用戶連續(xù)兩次執(zhí)行點頭動作觸發(fā)一第三肌電信息,該應(yīng)用被打開。
本申請另一個實施例所述控制設(shè)備的硬件結(jié)構(gòu)如圖12所示。本申請具體實施例并不對所述控制設(shè)備的具體實現(xiàn)做限定,參見圖12,所述設(shè)備1200可以包括:
處理器(processor)1210、通信接口(Communications Interface)1220、存儲器(memory)1230,以及通信總線1240。其中:
處理器1210、通信接口1220,以及存儲器1230通過通信總線1240完成相互間的通信。
通信接口1220,用于與其他網(wǎng)元通信。
處理器1210,用于執(zhí)行程序1232,具體可以執(zhí)行上述圖1所示的方法實施例中的相關(guān)步驟。
具體地,程序1232可以包括程序代碼,所述程序代碼包括計算機操作指令。
處理器1210可能是一個中央處理器CPU,或者是特定集成電路ASIC(Application Specific Integrated Circuit),或者是被配置成實施本申請實施例的一個或多個集成電路。
存儲器1230,用于存放程序1232。存儲器1230可能包含高速RAM存儲器,也可能還包括非易失性存儲器(non-volatile memory),例如至少一個磁盤存儲器。程序1232具體可以執(zhí)行以下步驟:
響應(yīng)于用戶執(zhí)行一頭部動作,獲取所述用戶的一眼部的肌電信息;
根據(jù)所述肌電信息和至少一參考信息執(zhí)行所述頭部動作對應(yīng)的操作。
程序1232中各步驟的具體實現(xiàn)可以參見上述實施例中的相應(yīng)步驟或模塊,在此不贅述。所屬領(lǐng)域的技術(shù)人員可以清楚地了解到,為描述的方便和簡潔,上述描述的設(shè)備和模塊的具體工作過程,可以參考前述方法實施例中的對應(yīng)過程描述,在此不再贅述。
本領(lǐng)域普通技術(shù)人員可以意識到,結(jié)合本文中所公開的實施例描述的各示例的單元及方法步驟,能夠以電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員可以對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能,但是這種實現(xiàn)不應(yīng)認為超出本申請的范圍。
所述功能如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質(zhì)中?;谶@樣的理解,本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分或者該技術(shù)方案的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機,控制器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本申請各個實 施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(ROM,Read-Only Memory)、隨機存取存儲器(RAM,Random Access Memory)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
以上實施方式僅用于說明本申請,而并非對本申請的限制,有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員,在不脫離本申請的精神和范圍的情況下,還可以做出各種變化和變型,因此所有等同的技術(shù)方案也屬于本申請的范疇,本申請的專利保護范圍應(yīng)由權(quán)利要求限定。