本申請涉及計算機技術領域,具體涉及設備控制技術領域,尤其涉及用于控制終端設備的智能可穿戴設備、系統(tǒng)、方法和裝置。
背景技術:
眼電偽跡(Ocular Artifacts)作為一種類腦電波信號,已被廣泛研究。人類的眼球上電荷不均勻分布,角膜正電荷略多,視網(wǎng)膜負電荷略多,可被抽象為一個雙極子系統(tǒng)。眼動時,等效于雙極子發(fā)生旋轉;眨眼時,眼皮與角膜接觸,改變電荷分布,這都將造成眼球電場變化,形成輕微的電磁波發(fā)射。記錄腦電波時,眼電偽跡作為一種最常見的干擾噪聲,必須被去除;然而,若我們能用類似記錄腦電波的裝置專門記錄眼電,則也可達到監(jiān)測眼動的效果。
目前,通常采用眼動儀來實現(xiàn)人機交互,眼動儀的工作原理為:將一個或多個攝像頭保持與被測者的頭部相對固定,然后使用攝像頭識別人的瞳孔或眼球位置,追蹤其變化,從而記錄視線位置的改變。然而,眼動儀的體積過于巨大、形狀過于怪異,不適合用戶日常使用。
技術實現(xiàn)要素:
本申請的目的在于提出一種改進的用于控制終端設備的智能可穿戴設備、系統(tǒng)、方法和裝置,來解決以上背景技術部分提到的技術問題。
第一方面,本申請?zhí)峁┝艘环N用于控制終端設備的智能可穿戴設備,所述智能可穿戴設備包括:眼睛運動采集天線,用于采集眼睛運動時產(chǎn)生的多路電磁波信號;特征信息提取電路,用于提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;眼睛運動識別電路,用于將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;識別結果發(fā)送天線,用于向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作。
在一些實施例中,所述眼睛運動采集天線包括:主采集天線和輔助采集天線。
在一些實施例中,所述智能可穿戴設備還包括:電池管理器件,用于對所述智能可穿戴設備進行充電;所述電池管理器件包括以下至少一項:以無線充電技術對所述智能可穿戴設備進行充電的無線充電裝置,設置于所述智能可穿戴設備上的太陽能電池板。
在一些實施例中,所述智能可穿戴設備包括框架眼鏡;所述主采集天線設置于所述框架眼鏡的眼鏡框上,所述輔助采集天線設置于所述框架眼鏡的與用戶的皮膚接觸的鏡腿和/或鼻托上。
第二方面,本申請?zhí)峁┝艘环N用于控制終端設備的系統(tǒng),所述系統(tǒng)包括智能可穿戴設備和處理裝置,其中:所述智能可穿戴設備包括:眼睛運動采集天線,用于采集眼睛運動時產(chǎn)生的多路電磁波信號;特征信息提取電路,用于提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;眼睛運動識別電路,用于將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;識別結果發(fā)送天線,用于向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作;所述處理裝置用于獲取眼睛運動模式集合和與所述眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合,提取所述電磁波信號集合中的電磁波信號的特征信息,利用機器學習方法,基于所述眼睛運動模式和與所述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到所述運動識別模型。
在一些實施例中,所述處理裝置還用于獲取干擾電磁波的頻段,并去除所述電磁波信號中干擾電磁波的頻段,其中,所述干擾電磁波是除所述眼睛運動產(chǎn)生的電磁波之外的其它電磁波。
第三方面,本申請?zhí)峁┝艘环N用于控制終端設備的方法,所述方法包括:接收眼睛運動時產(chǎn)生的多路電磁波信號;提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作。
在一些實施例中,所述多路電磁波信號包括:主電磁波信號和輔助電磁波信號;以及所述特征信息包括:主電磁波信號與輔助電磁波信號之間的關系,其中,所述關系包括以下至少一項:主電磁波信號與輔助電磁波信號之間的信號強度比值,主電磁波信號與輔助電磁波信號之間的持續(xù)時間比值。
在一些實施例中,所述方法包括:建立運動識別模型的步驟,包括:獲取眼睛運動模式集合和與所述眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合;提取所述電磁波信號集合中的電磁波信號的特征信息;利用機器學習方法,基于所述眼睛運動模式和與所述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到運動識別模型。
在一些實施例中,在所述提取所述多路電磁波信號的特征信息之前,所述方法還包括:獲取干擾電磁波的頻段,其中,所述干擾電磁波是除所述眼睛運動產(chǎn)生的電磁波之外的其它電磁波;去除所述多路電磁波信號中干擾電磁波的頻段。
第四方面,本申請?zhí)峁┝艘环N用于控制終端設備的裝置,所述裝置包括:接收單元,配置用于接收眼睛運動時產(chǎn)生的多路電磁波信號;提取單元,配置用于提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;導入單元,配置用于將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;發(fā)送單元,配置用于向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作。
在一些實施例中,所述多路電磁波信號包括:主電磁波信號和輔助電磁波信號;以及所述特征信息包括:主電磁波信號與輔助電磁波信號之間的關系,其中,所述關系包括以下至少一項:主電磁波信號與輔助電磁波信號之間的信號強度比值,主電磁波信號與輔助電磁波信號之間的持續(xù)時間比值。
在一些實施例中,所述裝置包括:運動識別模型建立單元,用于建立運動識別模型,包括:獲取子單元,配置用于獲取眼睛運動模式集合和與所述眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合;提取子單元,配置用于提取所述電磁波信號集合中的電磁波信號的特征信息;運動識別模型建立子單元,配置用于利用機器學習方法,基于所述眼睛運動模式和與所述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到運動識別模型。
在一些實施例中,所述裝置還包括:獲取單元,配置用于獲取干擾電磁波的頻段,其中,所述干擾電磁波是除所述眼睛運動產(chǎn)生的電磁波之外的其它電磁波;去除單元,配置用于去除所述多路電磁波信號中干擾電磁波的頻段。
本申請?zhí)峁┑挠糜诳刂平K端設備的智能可穿戴設備、系統(tǒng)、方法和裝置,通過對接收到的多路電磁波信號進行特征信息提取,并將提取到的特征信息導入預先訓練的運動識別模型中進行匹配得到眼睛運動模式,之后,將該眼睛運動模式發(fā)送給終端設備使得終端設備執(zhí)行與上述眼睛運動模式相關的操作,從而有效利用了更輕便、日??纱┐鞯闹悄芸纱┐髟O備采集眼睛運動產(chǎn)生的電磁波信號,實現(xiàn)了更便捷的終端設備的控制。
附圖說明
通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述,本申請的其它特征、目的和優(yōu)點將會變得更明顯:
圖1是本申請可以應用于其中的示例性系統(tǒng)架構圖;
圖2是根據(jù)本申請的用于控制終端設備的智能可穿戴設備的結構示意圖;
圖3是根據(jù)本申請的用于控制終端設備的系統(tǒng)的一實施例的數(shù)據(jù)交互示意圖;
圖4是根據(jù)本申請的用于控制終端設備的方法的一個實施例的流程;
圖5是根據(jù)本申請的用于控制終端設備的方法的又一個實施例的流;
圖6是根據(jù)本申請的用于控制終端設備的裝置的一個實施例的結構示意圖;
圖7是根據(jù)本申請的用于控制終端設備的裝置的又一個實施例的結構示意圖;
圖8是適于用來實現(xiàn)本申請實施例的處理裝置的計算機系統(tǒng)的結構示意圖。
具體實施方式
下面結合附圖和實施例對本申請作進一步的詳細說明??梢岳斫獾氖?,此處所描述的具體實施例僅僅用于解釋相關發(fā)明,而非對該發(fā)明的限定。另外還需要說明的是,為了便于描述,附圖中僅示出了與有關發(fā)明相關的部分。
需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結合實施例來詳細說明本申請。
圖1示出了可以應用本申請的用于控制終端設備的系統(tǒng)、用于控制終端設備的方法或用于控制終端設備的裝置的實施例的示例性系統(tǒng)架構100。
如圖1所示,系統(tǒng)架構100可以包括終端1011、1012、1013,網(wǎng)絡1021、1022、1023,智能可穿戴設備1031、1032、1033和服務器104。其中,網(wǎng)絡1021用以在終端1011、1012、1013和服務器104之間提供通信鏈路的介質;網(wǎng)絡1022用以在終端1011、1012、1013和智能可穿戴設備1031、1032、1033之間提供通信鏈路的介質;網(wǎng)絡1023用以在智能可穿戴設備1031、1032、1033和服務器104之間提供通信鏈路的介質。網(wǎng)絡1021、1022、1023可以包括各種連接類型,例如有線、無線通信鏈路或者光纖電纜等等。
用戶可以使用智能可穿戴設備1031、1032、1033通過網(wǎng)絡1023與服務器104交互,以發(fā)送或接收消息等,并使服務器104通過網(wǎng)絡1021與終端1011、1012、1013交互,以控制終端設備;用戶還可以使用智能可穿戴設備1031、1032、1033通過網(wǎng)絡1022與終端1011、1012、1013交互,以發(fā)送或接收消息,也可以控制終端設備等。終端設備1011、1012、1013上可以安裝有各種通訊客戶端應用,例如與智能可穿戴設備進行交互的應用等。
終端1011、1012、1013可以是具有顯示屏并且支持數(shù)據(jù)處理和電器控制的各種電子設備,包括但不限于智能手機、平板電腦、膝上型便攜計算機和臺式計算機等等。
智能可穿戴設備1031、1032、1033可以是能夠接入網(wǎng)絡且可以采集眼睛運動時產(chǎn)生的電磁波,并且能夠通過電磁波控制終端設備的各種電子設備,包括但不限于框架眼鏡、護目鏡、滑雪鏡、頭盔、帽子等等。
服務器104可以是提供各種服務的服務器,例如向智能可穿戴設備1031、1032、1033提供運動識別模型的后臺服務器,或者接收智能可穿戴設備1031、1032、1033的眼睛運動采集天線采集的電磁波信號,并對該電磁波信號進行分析,并利用分析結果對終端1011、1012、1013進行控制的后臺服務器。
需要說明的是,本申請實施例所提供的用于控制終端設備的方法可以由智能可穿戴設備1031、1032、1033執(zhí)行,也可以由服務器104執(zhí)行,還可以由終端1011、1012、1013執(zhí)行,或者,用于控制終端設備的方法的一部分步驟可以由智能可穿戴設備1031、1032、1033執(zhí)行,一部分步驟由服務器104執(zhí)行,而另一部分由終端1011、1012、1013執(zhí)行。相應地,用于控制終端設備的裝置一般設置于智能可穿戴設備1031、1032、1033中,或者設置于服務器104中,或者設置于終端1011、1012、1013中,或者一部分模塊設置于智能可穿戴設備1031、1032、1033,一部分模塊設置于服務器104中而另一部分設置于終端1011、1012、1013中。
應該理解,圖1中的終端、網(wǎng)絡、服務器和智能可穿戴設備的數(shù)目僅僅是示意性的。根據(jù)實現(xiàn)需要,可以具有任意數(shù)目的終端、網(wǎng)絡、服務器和智能可穿戴設備。
繼續(xù)參考圖2,示出了根據(jù)本申請的用于控制終端設備的智能可穿戴設備的結構示意圖200。
如圖2所示,用于控制終端設備的智能可穿戴設備200包括眼睛運動采集天線201、特征信息提取電路202、眼睛運動識別電路203和識別結果發(fā)送天線204。
眼睛運動采集天線201可以采集眼睛運動時產(chǎn)生的多路電磁波,每個眼睛運動采集天線采集一路獨立的電磁波信號,并將其發(fā)送給特征信息提取電路202。眼睛運動例如可以是眼皮運動也可以是眼球運動,眼皮運動可以是眨眼,例如,由眼睛睜開狀態(tài)到眼睛閉合狀態(tài)、由眼睛閉合狀態(tài)到眼睛睜開狀態(tài)等;眼球運動可以是眼球按預設的方向和預設的角度進行的轉動,例如,由右向左轉動、由左向右轉動、由上向下轉動、由下向上轉動等。
在本實施例的一些可選實現(xiàn)方式中,眼睛運動采集天線201可以包括主采集天線2011和輔助采集天線2012。其中,主采集天線2011主要可以采集主電磁波信號,主電磁波信號主要是眼睛運動產(chǎn)生的電磁波信號;輔助采集天線2012可以采集輔助電磁波信號,輔助電磁波信號可以是在與用戶皮膚的接觸點上采集到的電磁波信號。
在本實施例的一些可選的實現(xiàn)方式中,上述智能可穿戴設備200可以包括框架眼鏡,此時,主采集天線2011可以是設置于上述框架眼鏡的眼鏡框上的環(huán)形金屬絲,而輔助采集天線2012可以是設置于上述框架眼鏡上的、并且與用戶的皮膚相接觸的鏡腿和/或鼻托上的導體片;上述智能可穿戴設備200也可以包括頭盔,此時,主采集天線2011可以是設置于上述頭盔上的、且與眼睛距離最相近的部位上的環(huán)形金屬絲,而輔助采集天線2012可以是設置于上述頭盔上的、并且與用戶的皮膚相接觸的任意部位的導體片;上述智能可穿戴設備200還可以包括帽子,此時,主采集天線2011可以是設置于上述帽子上的、且與眼睛距離最相近的帽檐上的環(huán)形金屬絲,而輔助采集天線2012可以是設置于上述帽子上的、并且與用戶的皮膚相接觸的任意部位的導體片。
特征信息提取電路202可以接收眼睛運動采集天線201采集到的多路電磁波信號,并提取上述多路電磁波信號的特征信息。其中,上述特征信息可以是多路電磁波信號中各個電磁波信號的信號強度,例如電磁波信號的振幅;上述特征信息也可以是多路電磁波信號中各個電磁波信號的持續(xù)時間;上述特征信息還可以是多路電磁波信號中各個電磁波信號之間的相互關系,例如,各個電磁波信號的信號強度比值(例如振幅比值)、各個電磁波信號的持續(xù)時間比值等。
眼睛運動識別電路203可以將特征信息提取電路202提取到的特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,上述運動識別模型可以用于表征特征信息與眼睛運動模式的對應關系,上述運動識別模型可以是由具有數(shù)據(jù)處理能力的裝置(如服務器或其它終端設備)預先訓練的,上述電子設備可以預先將上述運動識別模型從具有數(shù)據(jù)處理能力的裝置中導入上述電子設備中,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等。
識別結果發(fā)送天線204可以將眼睛運動識別電路203識別出的眼睛運動模式發(fā)送給預先建立連接的終端設備,使得上述終端設備可以執(zhí)行與上述眼睛運動模式相關的操作,其中,上述連接可以是通過低功耗的藍牙傳輸協(xié)議進行的連接。
在本實施例的一些可選的實現(xiàn)方式中,上述智能可穿戴設備200還可以包括電池管理器件205,可以用于對上述智能可穿戴設備200進行充電。上述電池管理器件205可以包括以無線充電技術(Wireless Charging Technology)對上述智能可穿戴設備200進行充電的無線充電裝置,也可以包括設置于上述智能可穿戴設備200上的太陽能電池板。
繼續(xù)參考圖3,示出了根據(jù)本申請的用于控制終端設備的系統(tǒng)的一實施例的數(shù)據(jù)交互示意圖。
本實施例的用于控制終端設備的系統(tǒng)包括:智能可穿戴設備(例如圖2所示的智能可穿戴設備)和處理裝置(例如圖1所示的服務器或者圖1所示的終端設備);其中,所述智能可穿戴設備包括:眼睛運動采集天線,用于采集眼睛運動時產(chǎn)生的多路電磁波信號;特征信息提取電路,用于提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;眼睛運動識別電路,用于將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;識別結果發(fā)送天線,用于向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作;所述處理裝置用于獲取眼睛運動模式集合和與所述眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合,提取所述電磁波信號集合中的電磁波信號的特征信息,利用機器學習方法,基于所述眼睛運動模式和與所述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到所述運動識別模型。
在本實施例的一些可選的實現(xiàn)方式中,用于控制終端設備的系統(tǒng)還可以包括終端設備,其中,上述終端設備用于根據(jù)接收到的上述智能可穿戴設備發(fā)送的眼睛運動模式,來執(zhí)行與上述眼睛運動模式相關的操作。
如圖3所示,在步驟301中,眼睛運動采集天線采集眼睛運動時產(chǎn)生的多路電磁波信號。
在這里,眼睛運動采集天線可以采集眼睛運動時產(chǎn)生的多路電磁波,每個眼睛運動采集天線采集一路獨立的電磁波信號。眼睛運動例如可以是眼皮運動也可以是眼球運動,眼皮運動可以是眨眼,例如,由眼睛睜開狀態(tài)到眼睛閉合狀態(tài)、由眼睛閉合狀態(tài)到眼睛睜開狀態(tài)等;眼球運動可以是眼球按預設的方向和預設的角度進行的轉動,例如,由右向左轉動、由左向右轉動、由上向下轉動、由下向上轉動等。
在步驟302中,特征信息提取電路提取多路電磁波信號的特征信息。
在這里,特征信息提取電路可以接收眼睛運動采集天線采集到的多路電磁波信號,并提取上述多路電磁波信號的特征信息。其中,上述特征信息可以是多路電磁波信號中各個電磁波信號的信號強度,例如電磁波信號的振幅;上述特征信息也可以是多路電磁波信號中各個電磁波信號的持續(xù)時間;上述特征信息還可以是多路電磁波信號中各個電磁波信號之間的相互關系,例如,各個電磁波信號的信號強度比值、各個電磁波信號的持續(xù)時間比值等。
在本實施例的一些可選的實現(xiàn)方式中,處理裝置可以首先獲取干擾電磁波的頻段,其中,上述干擾電磁波是除眼睛運動產(chǎn)生的電磁波之外的其它電磁波,例如,電子設備(如電腦、手機、電子手表等)產(chǎn)生的電磁波、身體的其它部位運動產(chǎn)生的電磁波(如腦電波、肌肉運動產(chǎn)生的電磁波等)。頻段指的是電磁波的頻率范圍。
在步驟303中,處理裝置獲取眼睛運動模式集合和與眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合。
在這里,處理裝置可以獲取眼睛運動模式集合和與眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合,其中,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等;上述眼睛運動模式相對應的電磁波信號可以是在無干擾電磁波的情況下的電磁波信號和在有干擾電磁波的情況下的電磁波信號,其中,上述干擾電磁波可以是除眼睛運動產(chǎn)生的電磁波之外的其它電磁波,例如,舌頭運動產(chǎn)生的電磁波、腦電波、電子設備產(chǎn)生的電磁波等。
在步驟304中,處理裝置提取電磁波信號集合中的電磁波信號的特征信息。
在這里,處理裝置可以提取電磁波信號集合中的電磁波信號的特征信息,例如,將電磁波信號進行傅立葉變換、小波變換,并在頻域等變換域中進行特征檢測和分析。處理裝置可以提取在無干擾電磁波的情況下,眼睛運動模式為眨眼時,各路電磁波信號的信號強度、持續(xù)時間和各路電磁波信號之間的信號強度比值和持續(xù)時間比值;也可以提取在有干擾電磁波(例如,舌頭運動產(chǎn)生的電磁波)的情況下,眼睛運動模式為由上到下轉動眼球時,各路電磁波信號的信號強度、持續(xù)時間和各路電磁波信號之間的信號強度比值和持續(xù)時間比值。
在步驟305中,處理裝置利用機器學習方法,基于眼睛運動模式和與眼睛運動模式相對應的電磁波信號的特征信息,訓練得到運動識別模型。
在這里,處理裝置可以利用機器學習方法,基于上述眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到運動識別模型。如,通過某機器學習方法構建運動識別模型,通過眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息對運動識別模型進行訓練,得到能夠建立眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息之間準確對應關系的運動識別模型。
在步驟306中,處理裝置向智能可穿戴設備發(fā)送運動識別模型。
在這里,處理裝置可以將在步驟305中訓練得到的運動識別模型發(fā)送給智能可穿戴設備,以供智能可穿戴設備的眼睛運動識別電路可以將步驟302中提取的特征信息導入上述運動識別模型,得到眼睛運動模式。
在步驟307中,眼睛運動識別電路將特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式。
在這里,眼睛運動識別電路可以將提取的特征信息導入從處理裝置接收到的運動識別模型進行匹配得到眼睛運動模式,其中,上述運動識別模型可以用于表征特征信息與眼睛運動模式的對應關系,上述運動識別模型可以是由處理裝置預先訓練的,上述電子設備可以預先將上述運動識別模型從處理裝置中導入上述電子設備中,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等。
在步驟308中,識別結果發(fā)送天線向預先連接的終端設備發(fā)送眼睛運動模式,以供終端設備執(zhí)行與眼睛運動模式相關的操作。
在這里,識別結果發(fā)送天線可以預先與待控制的終端設備建立連接,之后,向上述終端設備發(fā)送眼睛運動模式,使得上述終端設備可以執(zhí)行與上述眼睛運動模式相關的操作,其中,上述連接可以是通過藍牙傳輸協(xié)議進行的連接。上述終端設備可以利用預設的應用預先確立眼睛運動模式與待執(zhí)行的操作之間的關系,例如,將眨眼與發(fā)出電話鈴聲之間建立關系,將眼球由右向左轉動與撥打報警電話建立關系,將眼球由上向下轉動與拍照建立關系,當終端設備中的預定的應用接收到眼球由右向左轉動這一眼睛運動模式之后,終端設備可以撥打報警電話。
繼續(xù)參考圖4,示出了根據(jù)本申請的用于控制終端設備的方法的一個實施例的流程400。所述的用于控制終端設備的方法,包括以下步驟:
步驟401,接收眼睛運動時產(chǎn)生的多路電磁波信號。
在本實施例中,用于控制終端設備的方法運行于其上的電子設備(例如圖1所示的智能可穿戴設備)可以接收眼睛運動時產(chǎn)生的多路電磁波信號,其中,上述多路電磁波信號可以是一個或多個眼睛運動采集天線采集到的,每個眼睛運動采集天線采集一路獨立的電磁波信號,并將其發(fā)送給上述電子設備。眼睛運動例如可以是眼皮運動也可以是眼球運動,眼皮運動可以是眨眼,例如,由眼睛睜開狀態(tài)到眼睛閉合狀態(tài)、由眼睛閉合狀態(tài)到眼睛睜開狀態(tài)等;眼球運動可以是眼球按預設的方向和預設的角度進行的轉動,例如,由右向左轉動、由左向右轉動、由上向下轉動、由下向上轉動等。
在本實施例的一些可選的實現(xiàn)方式中,上述多路電磁波信號可以包括主電磁波信號和輔助電磁波信號,其中,主電磁波信號可以是主采集天線進行采集的,主電磁波信號主要是眼睛運動產(chǎn)生的電磁波;輔助電磁波信號可以是輔助采集天線進行采集的,輔助電磁波信號可以是在與用戶皮膚的接觸點上采集到的電磁波信號。
步驟402,提取多路電磁波信號的特征信息。
在本實施例中,上述電子設備(例如圖1所示的智能可穿戴設備)可以提取步驟401中接收的多路電磁波信號的特征信息,其中,上述特征信息可以是多路電磁波信號中各個電磁波信號的信號強度,例如電磁波信號的振幅;上述特征信息也可以是多路電磁波信號中各個電磁波信號的持續(xù)時間;上述特征信息還可以是多路電磁波信號中各個電磁波信號之間的相互關系,例如,各個電磁波信號的信號強度比值、各個電磁波信號的持續(xù)時間比值等。
在本實施例的一些可選的實現(xiàn)方式中,上述特征信息也可以是主電磁波信號與輔助電磁波信號之間的關系,例如,主電磁波信號與輔助電磁波信號之間信號強度比值,主電磁波信號與輔助電磁波信號之間的持續(xù)時間比值等。
步驟403,將特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式。
在本實施例中,上述電子設備(例如圖1所示的智能可穿戴設備)可以將步驟402中提取的特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,上述運動識別模型可以用于表征特征信息與眼睛運動模式的對應關系,上述運動識別模型可以是由處理裝置預先訓練的,上述電子設備可以預先將上述運動識別模型從處理裝置中導入上述電子設備中,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等。
步驟404,向預先連接的終端設備發(fā)送眼睛運動模式,以供終端設備執(zhí)行與眼睛運動模式相關的操作。
在本實施例中,上述電子設備(例如圖1所示的智能可穿戴設備)可以預先與待控制的終端設備建立連接,之后,向上述終端設備發(fā)送眼睛運動模式,使得上述終端設備可以執(zhí)行與上述眼睛運動模式相關的操作,其中,上述連接可以是通過藍牙傳輸協(xié)議進行的連接。上述終端設備可以利用預設的應用預先確立眼睛運動模式與待執(zhí)行的操作之間的關系,例如,將眨眼與發(fā)出電話鈴聲之間建立關系,將眼球由右向左轉動與撥打報警電話建立關系,將眼球由上向下轉動與拍照建立關系,當終端設備中的預定的應用接收到眼球由右向左轉動這一眼睛運動模式之后,終端設備可以撥打報警電話。
繼續(xù)參考圖5,示出了根據(jù)本申請的用于控制終端設備的方法的又一個實施例的流程500。所述的用于控制終端設備的方法,包括以下步驟:
步驟501,接收眼睛運動時產(chǎn)生的多路電磁波信號。
在本實施例中,用于控制終端設備的方法運行于其上的電子設備(除智能可穿戴設備之外的其它具有數(shù)據(jù)處理能力的裝置,例如圖1所示的服務器或者圖1所示的終端設備)可以通過有線連接方式或者無線連接方式從包含眼睛運動采集天線的終端設備(例如圖1所示的智能可穿戴設備)接收眼睛運動時產(chǎn)生的多路電磁波信號,其中,上述多路電磁波信號可以是一個或多個眼睛運動采集天線采集到的,每個眼睛運動采集天線采集一路獨立的電磁波信號,并將其發(fā)送給上述電子設備。眼睛運動例如可以是眼皮運動也可以是眼球運動,眼皮運動可以是眨眼,例如,由眼睛睜開狀態(tài)到眼睛閉合狀態(tài)、由眼睛閉合狀態(tài)到眼睛睜開狀態(tài)等;眼球運動可以是眼球按預設的方向和預設的角度進行的轉動,例如,由右向左轉動、由左向右轉動、由上向下轉動、由下向上轉動等。
在本實施例的一些可選的實現(xiàn)方式中,上述多路電磁波信號可以包括主電磁波信號和輔助電磁波信號,其中,主電磁波信號可以是智能可穿戴設備的主采集天線進行采集的,主電磁波信號主要采集眼睛運動產(chǎn)生的電磁波;輔助電磁波信號可以是智能可穿戴設備的輔助采集天線進行采集的,輔助電磁波信號可以是在與用戶皮膚的接觸點上采集到的電磁波信號。
在本實施例的一些可選的實現(xiàn)方式中,上述電子設備可以獲取干擾電磁波的頻段,其中,上述干擾電磁波是除眼睛運動產(chǎn)生的電磁波之外的其它電磁波,例如,電子設備產(chǎn)生的電磁波、身體的其它部位運動產(chǎn)生的電磁波等。頻段指的是電磁波的頻率范圍。
步驟502,提取多路電磁波信號的特征信息。
在本實施例中,上述電子設備(例如圖1所示的服務器或者圖1所示的終端設備)可以提取步驟501中多路電磁波信號的特征信息,其中,上述特征信息可以是多路電磁波信號中各個電磁波信號的信號強度,例如電磁波信號的振幅;上述特征信息也可以是多路電磁波信號中各個電磁波信號的持續(xù)時間;上述特征信息還可以是多路電磁波信號中各個電磁波信號之間的相互關系,例如,各個電磁波信號的信號強度比值、各個電磁波信號的持續(xù)時間比值等。
在本實施例的一些可選的實現(xiàn)方式中,上述特征信息也可以是主電磁波信號與輔助電磁波信號之間的關系,例如,主電磁波信號與輔助電磁波信號之間信號強度比值,主電磁波信號與輔助電磁波信號之間的持續(xù)時間比值等。
步驟503,將特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式。
在本實施例中,上述電子設備(例如圖1所示的服務器或者圖1所示的終端設備)可以將步驟502中提取的特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,上述運動識別模型可以用于表征特征信息與眼睛運動模式的對應關系,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等。
在本實施例的一些可選的實現(xiàn)方式中,上述方法還可以包括建立運動識別模型的步驟,可以包括:首先,可以獲取眼睛運動模式集合和與眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合,其中,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等;上述眼睛運動模式相對應的電磁波信號可以是在無干擾電磁波的情況下的電磁波信號和在有干擾電磁波的情況下的電磁波信號,其中,上述干擾電磁波可以是除眼睛運動產(chǎn)生的電磁波之外的其它電磁波,例如,舌頭運動產(chǎn)生的電磁波、腦電波、電子設備產(chǎn)生的電磁波等;之后,可以提取電磁波信號集合中的電磁波信號的特征信息,例如,將電磁波信號進行傅立葉變換、小波變換,并在頻域等變換域中進行特征檢測和分析。上述電子設備可以提取在無干擾電磁波的情況下,眼睛運動模式為眨眼時,各路電磁波信號的信號強度、持續(xù)時間和各路電磁波信號之間的信號強度比值和持續(xù)時間比值;也可以提取在有干擾電磁波的情況下,眼睛運動模式為由上到下轉動眼球時,各路電磁波信號的信號強度、持續(xù)時間和各路電磁波信號之間的信號強度比值和持續(xù)時間比值;最后,利用機器學習方法,基于上述眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到運動識別模型。如,通過某機器學習方法構建運動識別模型,通過眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息對運動識別模型進行訓練,得到能夠建立眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息之間準確對應關系的運動識別模型。
步驟504,向預先連接的終端設備發(fā)送眼睛運動模式,以供終端設備執(zhí)行與眼睛運動模式相關的操作。
在本實施例中,上述電子設備(例如圖1所示的服務器或者圖1所示的終端設備)可以預先與待控制的終端設備建立連接,之后,向上述終端設備發(fā)送眼睛運動模式,使得上述終端設備可以執(zhí)行與上述眼睛運動模式相關的操作,其中,上述連接可以是通過藍牙傳輸協(xié)議進行的連接。當上述電子設備為待控制的終端設備時,上述電子設備可以直接執(zhí)行與上述眼睛運動模式相關的操作。上述終端設備可以利用預設的應用預先確立眼睛運動模式與待執(zhí)行的操作之間的關系,例如,將眨眼與發(fā)出電話鈴聲之間建立關系,將眼球由右向左轉動與撥打報警電話建立關系,將眼球由上向下轉動與拍照建立關系,當終端設備中的預定的應用接收到眼球由上向下轉動這一眼睛運動模式之后,終端設備可以進行拍照操作。
進一步參考圖6,作為對上述各圖所示方法的實現(xiàn),本申請?zhí)峁┝艘环N用于控制終端設備的裝置的一個實施例,該裝置實施例與圖4所示的方法實施例相對應,該裝置具體可以應用于各種電子設備中。
如圖6所示,本實施例所述的用于控制終端設備的裝置600包括:接收單元601、提取單元602、導入單元603和發(fā)送單元604。其中,接收單元601配置用于接收眼睛運動時產(chǎn)生的多路電磁波信號;提取單元602配置用于提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;導入單元603配置用于將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;發(fā)送單元604配置用于向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作。
在本實施例中,用于控制終端設備的裝置600的接收單元601可以接收眼睛運動時產(chǎn)生的多路電磁波信號,其中,上述多路電磁波信號可以是一個或多個眼睛運動采集天線采集到的,每個眼睛運動采集天線采集一路獨立的電磁波信號,并將其發(fā)送給上述接收單元601。
在本實施例中,上述提取單元602可以提取上述接收單元601中接收的多路電磁波信號的特征信息,其中,上述特征信息可以是多路電磁波信號中各個電磁波信號的信號強度,例如電磁波信號的振幅;上述特征信息也可以是多路電磁波信號中各個電磁波信號的持續(xù)時間;上述特征信息還可以是多路電磁波信號中各個電磁波信號之間的相互關系,例如,各個電磁波信號的信號強度比值、各個電磁波信號的持續(xù)時間比值等。
在本實施例中,上述導入單元603可以將上述提取單元602中提取的特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,上述運動識別模型可以用于表征特征信息與眼睛運動模式的對應關系,上述運動識別模型可以是由處理裝置預先訓練的,上述導入單元603可以預先將上述運動識別模型從處理裝置中導入上述導入單元603中,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等。
在本實施例中,上述發(fā)送單元604可以預先與待控制的終端設備建立連接,之后,向上述終端設備發(fā)送眼睛運動模式,使得上述終端設備可以執(zhí)行與上述眼睛運動模式相關的操作,其中,上述連接可以是通過藍牙傳輸協(xié)議進行的連接。上述終端設備可以利用預設的應用預先確立眼睛運動模式與待執(zhí)行的操作之間的關系。
在本實施例的一些可選的實現(xiàn)方式中,上述多路電磁波信號可以包括主電磁波信號和輔助電磁波信號,其中,主電磁波信號可以是主采集天線進行采集的,主電磁波信號主要是眼睛運動產(chǎn)生的電磁波;輔助電磁波信號可以是輔助采集天線進行采集的,輔助電磁波信號可以是在與用戶皮膚的接觸點上采集到的電磁波信號。
進一步參考圖7,作為對上述各圖所示方法的實現(xiàn),本申請?zhí)峁┝艘环N用于控制終端設備的裝置的又一個實施例,該裝置實施例與圖5所示的方法實施例相對應,該裝置具體可以應用于各種電子設備中。
如圖7所示,本實施例所述的用于控制終端設備的裝置700包括:接收單元701、提取單元702、導入單元703和發(fā)送單元704。其中,接收單元701配置用于接收眼睛運動時產(chǎn)生的多路電磁波信號;提取單元702配置用于提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;導入單元703配置用于將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;發(fā)送單元704配置用于向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作。
在本實施例中,用于控制終端設備的裝置700的接收單元701可以通過有線連接方式或者無線連接方式從包含眼睛運動采集天線的終端設備接收眼睛運動時產(chǎn)生的多路電磁波信號,其中,上述多路電磁波信號可以是一個或多個眼睛運動采集天線采集到的,每個眼睛運動采集天線采集一路獨立的電磁波信號,并將其發(fā)送給上述接收單元701。
在本實施例中,上述提取單元702可以提取上述接收單元701接收到的多路電磁波信號的特征信息,其中,上述特征信息可以是多路電磁波信號中各個電磁波信號的信號強度;上述特征信息也可以是多路電磁波信號中各個電磁波信號的持續(xù)時間;上述特征信息還可以是多路電磁波信號中各個電磁波信號之間的相互關系,例如,各個電磁波信號的信號強度比值、各個電磁波信號的持續(xù)時間比值等。
在本實施例中,上述導入單元703可以將上述提取單元702提取的特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,上述運動識別模型可以用于表征特征信息與眼睛運動模式的對應關系,上述眼睛運動模式可以是眨眼、眼睛以預設的角度和預設的方向運動等。
在本實施例中,上述發(fā)送單元704可以預先與待控制的終端設備建立連接,之后,向上述終端設備發(fā)送眼睛運動模式,使得上述終端設備可以執(zhí)行與上述眼睛運動模式相關的操作,其中,上述連接可以是通過藍牙傳輸協(xié)議進行的連接。上述終端設備可以利用預設的應用預先確立眼睛運動模式與待執(zhí)行的操作之間的關系。
在本實施例的一些可選的實現(xiàn)方式中,上述多路電磁波信號可以包括主電磁波信號和輔助電磁波信號,其中,主電磁波信號可以是智能可穿戴設備的主采集天線進行采集的,主電磁波信號主要采集眼睛運動產(chǎn)生的電磁波;輔助電磁波信號可以是智能可穿戴設備的輔助采集天線進行采集的,輔助電磁波信號可以是在與用戶皮膚的接觸點上采集到的電磁波信號。
在本實施例的一些可選的實現(xiàn)方式中,用于控制終端設備的裝置700還可以包括運動識別模型建立單元705,其中,上述運動識別模型建立單元705可以包括獲取子單元7051、提取子單元7052和運動識別模型建立子單元7053。其中,上述獲取子單元7051可以獲取眼睛運動模式集合和與眼睛運動模式集合中的眼睛運動模式相對應的電磁波信號集合;上述提取子單元7052可以提取電磁波信號集合中的電磁波信號的特征信息,例如,將電磁波信號進行傅立葉變換、小波變換,并在頻域等變換域中進行特征檢測和分析。處理裝置可以提取在無干擾電磁波的情況下,眼睛運動模式為眨眼時,各路電磁波信號的信號強度、持續(xù)時間和各路電磁波信號之間的信號強度比值和持續(xù)時間比值;也可以提取在有干擾電磁波的情況下,眼睛運動模式為由上到下轉動眼球時,各路電磁波信號的信號強度、持續(xù)時間和各路電磁波信號之間的信號強度比值和持續(xù)時間比值;上述運動識別模型建立子單元7053可以利用機器學習方法,基于上述眼睛運動模式和與上述眼睛運動模式相對應的電磁波信號的特征信息,訓練得到運動識別模型。
在本實施例的一些可選的實現(xiàn)方式中,用于控制終端設備的裝置700還可以包括獲取單元706和去除單元707。其中,上述獲取單元706可以獲取干擾電磁波的頻段,其中,上述干擾電磁波是除眼睛運動產(chǎn)生的電磁波之外的其它電磁波,例如,電子設備產(chǎn)生的電磁波、身體的其它部位運動產(chǎn)生的電磁波等。頻段指的是電磁波的頻率范圍;之后,上述去除單元707可以去除上述多路電磁波中干擾電磁波的頻段。
下面參考圖8,其示出了適于用來實現(xiàn)本申請實施例的處理裝置的計算機系統(tǒng)800的結構示意圖。
如圖8所示,計算機系統(tǒng)800包括中央處理單元(CPU)801,其可以根據(jù)存儲在只讀存儲器(ROM)802中的程序或者從存儲部分808加載到隨機訪問存儲器(RAM)803中的程序而執(zhí)行各種適當?shù)膭幼骱吞幚?。在RAM 803中,還存儲有系統(tǒng)800操作所需的各種程序和數(shù)據(jù)。CPU801、ROM 802以及RAM 803通過總線804彼此相連。輸入/輸出(I/O)接口805也連接至總線804。
以下部件連接至I/O接口805:包括鍵盤、鼠標等的輸入部分806;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分807;包括硬盤等的存儲部分808;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡接口卡的通信部分809。通信部分809經(jīng)由諸如因特網(wǎng)的網(wǎng)絡執(zhí)行通信處理。驅動器810也根據(jù)需要連接至I/O接口805。可拆卸介質811,諸如磁盤、光盤、磁光盤、半導體存儲器等等,根據(jù)需要安裝在驅動器810上,以便于從其上讀出的計算機程序根據(jù)需要被安裝入存儲部分808。
特別地,根據(jù)本公開的實施例,上文參考流程圖描述的過程可以被實現(xiàn)為計算機軟件程序。例如,本公開的實施例包括一種計算機程序產(chǎn)品,其包括有形地包含在機器可讀介質上的計算機程序,上述計算機程序包含用于執(zhí)行流程圖所示的方法的程序代碼。在這樣的實施例中,該計算機程序可以通過通信部分809從網(wǎng)絡上被下載和安裝,和/或從可拆卸介質811被安裝。
附圖中的流程圖和框圖,圖示了按照本申請各種實施例的系統(tǒng)、方法和計算機程序產(chǎn)品的可能實現(xiàn)的體系架構、功能和操作。在這點上,流程圖或框圖中的每個方框可以代表一個模塊、單元、程序段、或代碼的一部分,上述模塊、單元、程序段、或代碼的一部分包含一個或多個用于實現(xiàn)規(guī)定的邏輯功能的可執(zhí)行指令。也應當注意,在有些作為替換的實現(xiàn)中,方框中所標注的功能也可以以不同于附圖中所標注的順序發(fā)生。例如,兩個接連地表示的方框實際上可以基本并行地執(zhí)行,它們有時也可以按相反的順序執(zhí)行,這依所涉及的功能而定。也要注意的是,框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合,可以用執(zhí)行規(guī)定的功能或操作的專用的基于硬件的系統(tǒng)來實現(xiàn),或者可以用專用硬件與計算機指令的組合來實現(xiàn)。
描述于本申請實施例中所涉及到的模塊可以通過軟件的方式實現(xiàn),也可以通過硬件的方式來實現(xiàn)。所描述的模塊也可以設置在處理器中,例如,可以描述為:一種處理器包括接收單元、提取單元、導入單元和發(fā)送單元。其中,這些模塊的名稱在某種情況下并不構成對該模塊本身的限定,例如,接收單元還可以被描述為“接收眼睛運動時產(chǎn)生的多路電磁波信號的單元”。
作為另一方面,本申請還提供了一種非易失性計算機存儲介質,該非易失性計算機存儲介質可以是上述實施例中上述裝置中所包含的非易失性計算機存儲介質;也可以是單獨存在,未裝配入終端中的非易失性計算機存儲介質。上述非易失性計算機存儲介質存儲有一個或者多個程序,當上述一個或者多個程序被一個設備執(zhí)行時,使得上述設備:接收眼睛運動時產(chǎn)生的多路電磁波信號;提取所述多路電磁波信號的特征信息,其中,所述特征信息包括以下至少一項:信號強度,持續(xù)時間和多路電磁波信號之間的關系,所述關系包括以下至少一項:信號強度比值,持續(xù)時間比值;將所述特征信息導入預先訓練的運動識別模型進行匹配得到眼睛運動模式,其中,所述運動識別模型用于表征所述特征信息與所述眼睛運動模式的對應關系;向預先連接的終端設備發(fā)送所述眼睛運動模式,以供所述終端設備執(zhí)行與所述眼睛運動模式相關的操作。
以上描述僅為本申請的較佳實施例以及對所運用技術原理的說明。本領域技術人員應當理解,本申請中所涉及的發(fā)明范圍,并不限于上述技術特征的特定組合而成的技術方案,同時也應涵蓋在不脫離上述發(fā)明構思的情況下,由上述技術特征或其等同特征進行任意組合而形成的其它技術方案。例如上述特征與本申請中公開的(但不限于)具有類似功能的技術特征進行互相替換而形成的技術方案。