本發(fā)明涉及電子技術(shù)的領(lǐng)域,更具體地說,涉及用于人機(jī)交互的電子設(shè)備和信息處理方法。
背景技術(shù):
隨著信息時代的到來,智能設(shè)備的種類已經(jīng)從最初的計(jì)算機(jī)逐步擴(kuò)展到現(xiàn)在的手機(jī)、平板電腦,電視、汽車等。在智能設(shè)備中,如何更好地實(shí)現(xiàn)人機(jī)交互是實(shí)現(xiàn)智能所需要解決的關(guān)鍵問題。對于現(xiàn)有的常規(guī)設(shè)備來說,例如鼠標(biāo)鍵盤之于電腦、遙控器之于家電設(shè)備,都依附于特定的輸入附件來實(shí)現(xiàn)人機(jī)交互。
然而,新涌現(xiàn)的一些交互場景,除了對于電腦、手機(jī)、平板以外,還包括智能家居、智能汽車等新興場景。在這些場景下,期望能夠在不受距離、環(huán)境等客觀條件限制的同時提供交互體驗(yàn)。因此,如何進(jìn)行隨時隨地的交互是人機(jī)交互領(lǐng)域研究的熱點(diǎn)方向。
技術(shù)實(shí)現(xiàn)要素:
鑒于以上情形,期望提供能夠隨時隨地交互的電子設(shè)備和信息處理方法。
根據(jù)本發(fā)明的一個方面,提供了一種電子設(shè)備,包括:本體裝置;固定裝置,其與所述本體裝置連接,所述固定裝置用于固定與所述電子設(shè)備的使用者的相對位置關(guān)系;以及感測裝置,設(shè)置在所述本體裝置和/或所述固定裝置中,其中所述感測裝置包括:第一感測單元,用于感測使用者的關(guān)于手勢輸入的第一輸入數(shù)據(jù);第二感測單元,用于感測使用者的第二輸入數(shù)據(jù);處理單元,用于通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令;以及通信單元,用于將所述指令發(fā)送到外部設(shè)備。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述第一輸入數(shù)據(jù)包括加速度信息,所述加速度信息包括以所述第一感測單元自身為坐標(biāo)系的三軸加 速度分量,并且所述第二輸入數(shù)據(jù)包括振動信息,所述振動信息包括振動幅度和/或振動頻率,所述處理單元被配置為基于所述加速度信息和所述振動信息,確定所述手勢輸入的類型。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述處理單元被配置為包括:第一判斷部件,用于在所述三軸加速度分量之中,判斷是否存在大于第一閾值的加速度分量;合并部件,用于如果所述第一判斷部件的判斷結(jié)果為是,則將其合并為第一方向上的加速度;第二判斷部件,用于判斷所述振動信息是否滿足第一預(yù)定條件;以及確定部件,用于當(dāng)所述合并部件合并出所述第一方向上的加速度且所述第二判斷部件判斷出所述振動信息滿足第一預(yù)定條件時,確定所述手勢輸入的類型為點(diǎn)擊操作。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述處理單元被配置為包括:第一判斷部件,用于在所述三軸加速度分量之中,判斷是否存在大于第一閾值的加速度分量;合并部件,用于如果所述判斷部件的判斷結(jié)果為是,則將其合并為第一方向上的加速度;第二判斷部件,用于判斷所述振動信息是否滿足第三預(yù)定條件;以及確定部件,用于當(dāng)所述合并部件合并出所述第一方向上的加速度且所述第二判斷部件判斷出所述振動信息滿足第三預(yù)定條件時,確定所述手勢輸入的類型為滑動操作。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述第一判斷部件進(jìn)一步被配置為判斷所述第一感測單元是否感測到大于第一閾值的第二方向上的加速度,其中所述第二方向與所述第一方向相反,并且所述第二判斷部件被配置為判斷所述振動信息是否滿足第二預(yù)定條件,當(dāng)所述第一判斷部件判斷出感測到第二方向上的加速度且所述第二判斷部件判斷出振動信息滿足第二預(yù)定條件時,所述確定部件確定所述手勢輸入已經(jīng)結(jié)束。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述第一輸入數(shù)據(jù)進(jìn)一步包括角速度信息,第一感測單元被配置為基于所述加速度信息和所述角速度信息,計(jì)算所述手勢輸入的運(yùn)動軌跡,并且所述通信單元進(jìn)一步配置為將所述運(yùn)動軌跡發(fā)送到外部設(shè)備。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述處理單元進(jìn)一步被配置為包括:軌跡識別部件,用于將所述第一感測單元計(jì)算出的運(yùn)動軌跡與多個預(yù)定軌跡進(jìn)行比對,并識別出所述運(yùn)動軌跡對應(yīng)于哪一預(yù)定軌跡;第二判斷部件,用于判斷所述振動信息是否滿足第一預(yù)定條件或第三預(yù)定條件;確 定部件,用于當(dāng)所述軌跡識別部件識別出所述運(yùn)動軌跡所對應(yīng)的預(yù)定軌跡且第二判斷部件判斷出所述振動信息滿足第三預(yù)定條件時,產(chǎn)生與所述預(yù)定軌跡對應(yīng)的指令。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備中,所述第一輸入數(shù)據(jù)包括加速度信息,所述加速度信息包括以所述第一感測單元自身為坐標(biāo)系的三軸加速度分量,并且所述第二輸入數(shù)據(jù)包括語音信息,所述處理單元被配置為基于所述加速度信息和所述語音信息,確定所述手勢輸入的類型。
根據(jù)本發(fā)明的另一方面,提供了一種信息處理方法,應(yīng)用于一電子設(shè)備,包括:感測使用者的關(guān)于手勢輸入的第一輸入數(shù)據(jù);感測使用者的第二輸入數(shù)據(jù);通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令;以及將所述指令發(fā)送到外部設(shè)備。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的方法中,所述第一輸入數(shù)據(jù)包括加速度信息,所述加速度信息包括以所述第一感測單元自身為坐標(biāo)系的三軸加速度分量,并且所述第二輸入數(shù)據(jù)包括振動信息,所述振動信息包括振動幅度和/或振動頻率,其中基于所述加速度信息和所述振動信息,確定所述手勢輸入的類型。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的方法中,通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令的步驟包括:在所述三軸加速度分量之中,判斷是否存在大于第一閾值的加速度分量;如果判斷結(jié)果為是,則將其合并為第一方向上的加速度;判斷所述振動信息是否滿足第一預(yù)定條件;以及當(dāng)合并出所述第一方向上的加速度且判斷出所述振動信息滿足第一預(yù)定條件時,確定所述手勢輸入的類型為點(diǎn)擊操作。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的方法中,通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令的步驟包括:在所述三軸加速度分量之中,判斷是否存在大于第一閾值的加速度分量;如果判斷結(jié)果為是,則將其合并為第一方向上的加速度;判斷所述振動信息是否滿足第三預(yù)定條件;以及當(dāng)合并出所述第一方向上的加速度且判斷出所述振動信息滿足第三預(yù)定條件時,確定所述手勢輸入的類型為滑動操作。
優(yōu)選地,根據(jù)本發(fā)明實(shí)施例的方法可以進(jìn)一步包括:判斷所述第一感測 單元是否感測到大于第一閾值的第二方向上的加速度,其中所述第二方向與所述第一方向相反;判斷所述振動信息是否滿足第二預(yù)定條件,當(dāng)判斷出感測到第二方向上的加速度且判斷出振動信息滿足第二預(yù)定條件時,確定所述手勢輸入已經(jīng)結(jié)束。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的方法中,所述第一輸入數(shù)據(jù)進(jìn)一步包括角速度信息,其中所述方法進(jìn)一步包括:基于所述加速度信息和所述角速度信息,計(jì)算所述手勢輸入的運(yùn)動軌跡;以及將所述運(yùn)動軌跡發(fā)送到外部設(shè)備。
優(yōu)選地,根據(jù)本發(fā)明實(shí)施例的方法可以進(jìn)一步包括:
將計(jì)算出的運(yùn)動軌跡與多個預(yù)定軌跡進(jìn)行比對,并識別出所述運(yùn)動軌跡對應(yīng)于哪一預(yù)定軌跡;判斷所述振動信息是否滿足第一預(yù)定條件或第三預(yù)定條件;當(dāng)識別出所述運(yùn)動軌跡所對應(yīng)的預(yù)定軌跡且判斷出所述振動信息滿足第三預(yù)定條件時,產(chǎn)生與所述預(yù)定軌跡對應(yīng)的指令。
優(yōu)選地,在根據(jù)本發(fā)明實(shí)施例的方法中,所述第一輸入數(shù)據(jù)包括加速度信息,所述加速度信息包括以所述第一感測單元自身為坐標(biāo)系的三軸加速度分量,并且所述第二輸入數(shù)據(jù)包括語音信息,其中基于所述加速度信息和所述語音信息,確定所述手勢輸入的類型。
在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備和信息處理方法中,通過利用兩個感測單元分別獲取不同的輸入數(shù)據(jù),并結(jié)合不同的輸入數(shù)據(jù)進(jìn)行分析,進(jìn)而得到手勢輸入的類型,可以在確保隨時隨地交互的同時有效地避免將用戶無意的手勢動作作為交互輸入處理的情況。并且,通過對手部運(yùn)動和指令的判斷,可形成強(qiáng)大的手勢指令庫,可預(yù)設(shè)指令,也可用戶自動指令,從而完成多種多樣的操作。
附圖說明
圖1A到1E圖示根據(jù)本發(fā)明實(shí)施例的電子設(shè)備的結(jié)構(gòu)框圖;
圖2是示出了根據(jù)本發(fā)明實(shí)施例的感測裝置的配置的功能性框圖;
圖3是示出了根據(jù)本發(fā)明第一實(shí)施例的處理單元的配置的功能性框圖;
圖4是示出了根據(jù)本發(fā)明第二實(shí)施例的處理單元的配置的功能性框圖;
圖5是示出了根據(jù)本發(fā)明實(shí)施例的信息處理方法的過程的流程圖;
圖6是示出了根據(jù)本發(fā)明第一實(shí)施例的基于手勢輸入產(chǎn)生指令的處理的流程圖;以及
圖7是示出了根據(jù)本發(fā)明第二實(shí)施例的基于手勢輸入產(chǎn)生指令的處理的流程圖。
具體實(shí)施方式
下面將參照附圖對本發(fā)明的各個優(yōu)選的實(shí)施方式進(jìn)行描述。提供以下參照附圖的描述,以幫助對由權(quán)利要求及其等價物所限定的本發(fā)明的示例實(shí)施方式的理解。其包括幫助理解的各種具體細(xì)節(jié),但它們只能被看作是示例性的。因此,本領(lǐng)域技術(shù)人員將認(rèn)識到,可對這里描述的實(shí)施方式進(jìn)行各種改變和修改,而不脫離本發(fā)明的范圍和精神。而且,為了使說明書更加清楚簡潔,將省略對本領(lǐng)域熟知功能和構(gòu)造的詳細(xì)描述。
首先,將參照圖1描述根據(jù)本發(fā)明實(shí)施例的電子設(shè)備。根據(jù)本發(fā)明實(shí)施例的電子設(shè)備為穿戴式設(shè)備。如圖1A所示,一種電子設(shè)備100包括:本體裝置200和固定裝置300。固定裝置300與所述本體裝置200連接,所述固定裝置300用于固定與所述電子設(shè)備的使用者的相對位置關(guān)系。
所述固定裝置300至少包括一固定狀態(tài),在所述固定狀態(tài)下,所述固定裝置300能作為一環(huán)狀空間或滿足第一預(yù)定條件的近似環(huán)狀空間的至少一部分,所述環(huán)狀空間或所述近似環(huán)狀空間能圍繞在滿足第二預(yù)定條件的柱狀體外圍。
具體地,圖1B和1C分別圖示所述固定裝置300與所述本體裝置200連接的兩種固定狀態(tài)。在如圖1B所示的第一固定狀態(tài)下,所述固定裝置300與所述本體裝置200形成閉環(huán)的環(huán)狀空間,其中所述固定裝置300與所述本體裝置200分別構(gòu)成環(huán)狀空間的一部分。在如圖1C所示的第二固定狀態(tài)下,所述固定裝置300與所述本體裝置200形成具有小開口的近似環(huán)狀空間,其中所述固定裝置300與所述本體裝置200分別構(gòu)成環(huán)狀空間的一部分。在本發(fā)明的一個優(yōu)選實(shí)施例中,所述本體裝置200為智能手表的表盤部分,而所述固定裝置300為智能手表的表帶部分。由所述本體裝置200和所述固定裝置300形成的所述環(huán)狀空間或所述近似環(huán)狀空間能圍繞在作為所述柱狀體的智能手表的用戶的手腕周圍,并且所述環(huán)狀空間或所述近似環(huán)狀空間的直徑大于用戶手腕的直徑而小于用戶拳頭的直徑。
此外,所述環(huán)狀空間或所述近似環(huán)狀空間當(dāng)然也可以由所述固定裝置300單獨(dú)形成。如圖1D和1E所示,所述本體裝置200可以布置在所述固定 裝置300上(即,所述本體裝置200以面接觸的方式附接到所述固定裝置300),以便僅有所述固定裝置300自身形成用于外繞所述柱狀體的所述環(huán)狀空間(圖1D)或所述近似環(huán)狀空間(圖1E)。所述固定裝置300布置有諸如搭扣、摁扣、拉鏈等的固定機(jī)構(gòu)(未示出)。
圖1B-1E示出了所述電子設(shè)備100為腕帶式設(shè)備的情況。然而,本發(fā)明并不僅限于此。例如,在很多情況下,所述電子設(shè)備100的具體形態(tài)還可以是指環(huán)等。
通過這樣的穿戴式形態(tài),可以使得電子設(shè)備100更便于提供隨時隨地的交互體驗(yàn)。
此外,電子設(shè)備100還包括感測裝置400。圖2示出了感測裝置的具體配置。如圖2所示,所述感測裝置400包括:第一感測單元401、第二感測單元402、處理單元403和通信單元404。
第一感測單元401用于感測使用者的關(guān)于手勢輸入的第一輸入數(shù)據(jù)。
第二感測單元402用于感測使用者的第二輸入數(shù)據(jù)。
處理單元403用于通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令。
通信單元404用于將所述指令發(fā)送到外部設(shè)備。這里的外部設(shè)備是與所述電子設(shè)備進(jìn)行交互的設(shè)備,如電視、臺式計(jì)算機(jī)等。外部設(shè)備與電子設(shè)備可以通過無線的方式(例如,Wifi、藍(lán)牙等)連接和通信。并且,電子設(shè)備可以與一臺外部設(shè)備連接,或者也可以與多臺不同的外部設(shè)備連接。
在圖1A-1E中,均只示出了感測裝置400設(shè)置在本體裝置上的情況。但是,本發(fā)明并不僅限于此。替代地,感測裝置400也可以設(shè)置所述固定裝置中?;蛘撸袦y裝置400中的部分組件可以位于本體裝置上,而其他部分組件可以位于固定裝置上。也就是說,第一感測單元401、第二感測單元402、處理單元403和通信單元404中的每一個均既可以位于本體裝置上,也可以位于固定裝置上。
如上文中所述,具有穿戴式形態(tài)的電子設(shè)備更便于提供隨時隨地的交互體驗(yàn)。然而,這在帶來便利的同時增加了手勢輸入誤判的可能性。舉例來講,當(dāng)佩戴所述電子設(shè)備的用戶與朋友聊天時,可能出現(xiàn)很多手勢動作。然而,很顯然,這并非用戶期望以該手勢動作進(jìn)行人機(jī)交互。如果如現(xiàn)有技術(shù)中那樣,僅通過針對手勢動作的單一感測單元獲得的數(shù)據(jù),則很有可能進(jìn)行錯誤 的觸發(fā)。
一般而言,用戶的手指在懸空狀態(tài)下進(jìn)行的手勢輸入是不確定的,也就是說,用戶的手指在懸空狀態(tài)下進(jìn)行的手勢輸入很可能是無意的操作。相反,如果用戶的手指是在某一表面上進(jìn)行的手勢輸入,則這種操作通常是確定的,也就是說,用戶的手指在某一表面上進(jìn)行的手勢輸入很可能是有意的操作。
在本發(fā)明中,通過利用兩個感測單元分別獲取不同的輸入數(shù)據(jù),并結(jié)合不同的輸入數(shù)據(jù)進(jìn)行分析,進(jìn)而得到手勢輸入的類型,可以有效地避免將用戶無意的手勢動作作為交互輸入處理的情況。
接下來,將描述處理單元403通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令的具體細(xì)節(jié)。
作為一種可能的實(shí)施方式,所述第一輸入數(shù)據(jù)包括加速度信息,所述加速度信息包括以所述第一感測單元自身為坐標(biāo)系的三軸加速度分量,并且所述第二輸入數(shù)據(jù)包括振動信息,所述振動信息包括振動幅度和/或振動頻率。
例如,所述第一感測單元401可以是加速度計(jì),且所述第二感測單元402可以是壓電薄膜傳感器。另外,考慮到使用者進(jìn)行手勢輸入的空間是三維的,且不確定使用者將在何種平面上進(jìn)行輸入,即:預(yù)先不知道操作體的運(yùn)動方向,因此將采用三軸加速度計(jì)。它是基于加速度的基本原理去實(shí)現(xiàn)工作的,可以測量空間加速度,能夠全面準(zhǔn)確反映物體的運(yùn)動性質(zhì)。壓電薄膜傳感器是利用某些電介質(zhì)受力后產(chǎn)生的壓電效應(yīng)制成的傳感器。所謂壓電效應(yīng)是指某些電介質(zhì)在受到某一方向的外力作用而發(fā)生形變(包括彎曲和伸縮形變)時,由于內(nèi)部電荷的極化現(xiàn)象,會在其表面產(chǎn)生電荷的現(xiàn)象。壓電薄膜通常很薄,不但柔軟、密度低、靈敏度極好,而且還具有很強(qiáng)的機(jī)械韌性,可以說是一種柔性、質(zhì)輕、韌度高的塑料膜,可制成較大面積和多種厚度。它可以直接貼附在裝置表面,而不影響其運(yùn)動,非常適用于需要大帶寬和高靈敏度的應(yīng)變傳遞。當(dāng)手指敲擊桌面或者手指在桌面上滑動時,壓電薄膜傳感器能夠檢測到關(guān)于由于手指的敲擊或滑動而引起的振動的信息。
這里,需要注意的是,三軸加速度計(jì)所測量到的數(shù)據(jù)是以其自身為坐標(biāo)系的三軸數(shù)據(jù),而不是相對于操作體的操作平面的數(shù)據(jù)。例如,假定操作體為使用者的手指,且在該手指上佩戴所述電子設(shè)備。當(dāng)用戶的手指以與水平桌面呈45°夾角的姿態(tài)進(jìn)行點(diǎn)擊操作時,三軸加速度計(jì)獲得的是與桌面所在 的坐標(biāo)系呈45°夾角的坐標(biāo)系下的三軸數(shù)據(jù)。
在這種情況下,所述處理單元403被配置為基于所述加速度信息和所述振動信息,確定所述手勢輸入的類型。
具體來講,圖3示出了根據(jù)本發(fā)明的第一實(shí)施例的處理單元的配置。如圖3所示,處理單元403被配置為包括:第一判斷部件4031、合并部件4032、第二判斷部件4033以及確定部件4034。
第一判斷部件4031用于在所述三軸加速度分量之中,判斷是否存在大于第一閾值的加速度分量。當(dāng)用戶的手指逐漸靠近某一表面以進(jìn)行交互操作時,必然存在垂直于或接近垂直于該表面的加速度。通過第一判斷部件的判斷來確定用戶是否啟始了交互操作。這里的第一閾值用以濾除不應(yīng)被認(rèn)為是用戶的手指運(yùn)動的情況以及可能存在的噪聲干擾。一般而言,當(dāng)用戶的手指在某一表面上進(jìn)行操作時,在第一感測單元獲得的三軸數(shù)據(jù)之中,存在兩個軸上的較大的加速度數(shù)值。當(dāng)然,也可能存在僅有一個軸上的較大的加速度數(shù)值的情況。這將取決于用戶手指的操作方式、操作平面以及運(yùn)動方向。
如果所述第一判斷部件4031的判斷結(jié)果為是,也就是說,確定存在用戶手指的運(yùn)動,則合并部件4032將其合并為第一方向上的加速度。
第二判斷部件4033用于判斷所述振動信息是否滿足第一預(yù)定條件。這里,所述第一預(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行點(diǎn)擊操作,而非懸空點(diǎn)擊操作。如上文中所述,第二感測單元402可以是壓電薄膜傳感器。所述振動信息可以是壓電薄膜傳感器得到的振動波形。
作為一種簡單的實(shí)施方式,第二判斷單元可以根據(jù)壓電薄膜傳感器檢測到的波形中的振動幅度和/或振動頻率來判斷。
例如,如果在較短的時間段中檢測到振動幅度較大(例如,大于第三閾值)和/或振動頻率較大(例如,大于第四閾值)的振動,則傾向于認(rèn)為所述振動信息所代表的手指操作為點(diǎn)擊操作。
確定部件4034用于當(dāng)所述合并部件合并出所述第一方向上的加速度且所述第二判斷部件判斷出所述振動信息滿足第一預(yù)定條件時,確定所述手勢輸入的類型為點(diǎn)擊操作。也就是說,只有當(dāng)?shù)谝桓袦y單元檢測到符合條件的加速度值且第二感測單元檢測到表征手指在某一表面上的點(diǎn)擊操作的振動信息時,確定部件4034才確定所述手勢輸入的類型為點(diǎn)擊操作。點(diǎn)擊操作通??梢钥醋魇沁M(jìn)行后續(xù)操作的觸發(fā)操作。例如,如下文中將描述的那樣,第一 感測單元還可以計(jì)算得到用戶手指的運(yùn)動軌跡。用戶可以首先用手指敲擊任意平面,確定部件4034判斷出進(jìn)行了點(diǎn)擊操作,表明手指開始與該平面進(jìn)行交互。此時啟動后續(xù)處理,即:將第一感測單元得到的手指運(yùn)動軌跡,映射為鼠標(biāo)操作,并在外部設(shè)備的顯示屏上進(jìn)行顯示。
如果在一個較短的時間段中檢測到一次振動幅度大于第三閾值和/或振動頻率大于第四閾值的振動,則認(rèn)為所述點(diǎn)擊操作為單擊操作。如果在相鄰的兩個較短的時間段中檢測到兩次振動幅度大于第三閾值和/或振動頻率大于第四閾值的振動,則認(rèn)為所述點(diǎn)擊操作為雙擊操作。
或者,第二判斷部件4033用于判斷所述振動信息是否滿足第三預(yù)定條件。這里,所述第三預(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行滑動操作,而非懸空滑動操作。如上文中所述,第二感測單元402可以是壓電薄膜傳感器。所述振動信息可以是壓電薄膜傳感器得到的振動波形。
作為一種簡單的實(shí)施方式,第二判斷單元可以根據(jù)壓電薄膜傳感器檢測到的波形中的振動幅度和/或振動頻率來判斷。
例如,如果在(與點(diǎn)擊操作所對應(yīng)的時間段相比)較長的時間段中檢測到振動幅度中等(例如,大于第五閾值且小于第六閾值)和/或振動頻率中等(例如,大于第七閾值且小于第八閾值)的連續(xù)振動,則傾向于認(rèn)為所述振動信息所代表的手指操作為滑動操作。然而,滑動操作所引起的振動還在很大程度上取決于與手指接觸的表面的摩擦系數(shù)。因此,在實(shí)踐中,具體閾值的選擇還需要結(jié)合多種因素來考慮。
確定部件4034用于當(dāng)所述合并部件合并出所述第一方向上的加速度且所述第二判斷部件判斷出所述振動信息滿足第三預(yù)定條件時,確定所述手勢輸入的類型為滑動操作。也就是說,只有當(dāng)?shù)谝桓袦y單元檢測到符合條件的加速度值且第二感測單元檢測到表征手指在某一表面上的滑動操作的振動信息時,確定部件4034才確定所述手勢輸入的類型為滑動操作。
以上描述了當(dāng)用戶的手指進(jìn)行按下操作時的處理過程。另一方面,與此相對地,必然存在用戶的手指抬起的情況。通常認(rèn)為,如果用戶的手指抬起,則說明用戶操作結(jié)束。接下來,將描述判斷用戶手指抬起的過程。
所述第一判斷部件4031進(jìn)一步被配置為判斷所述第一感測單元是否感測到第二方向上的加速度,所述第二方向與所述第一方向相反。如上文中所述,當(dāng)用戶的手指進(jìn)行按下操作時,將會產(chǎn)生第一方向上的加速度。作為與 手指按下相反的過程,當(dāng)用戶的手指進(jìn)行抬起操作時,應(yīng)該將會產(chǎn)生與第一方向相反的第二方向上的加速度。也就是說,如果檢測到第二方向上的加速度,則認(rèn)為用戶的手指進(jìn)行抬起操作。
并且,所述第二判斷部件4033被配置為判斷所述振動信息是否滿足第二預(yù)定條件。這里,第二預(yù)定條件用來確定用戶的手指是否未在表面上進(jìn)行操作,即是否不存在振動幅度較大和/或振動頻率較大的振動。
當(dāng)所述第一判斷部件判斷出感測到第二方向上的加速度且所述第二判斷部件判斷出振動信息滿足第二預(yù)定條件時,所述確定部件4034確定所述手勢輸入已經(jīng)結(jié)束??梢詫⑻鹗謩菡J(rèn)為是指示交互結(jié)束的手勢。例如,當(dāng)所述確定部件4034確定所述手勢輸入已經(jīng)結(jié)束時,在上文中所述的之前的處理為將第一感測單元得到的手指運(yùn)動軌跡映射為鼠標(biāo)操作的情況下,結(jié)束這樣的映射,且不在外部設(shè)備的顯示屏上繼續(xù)顯示鼠標(biāo)圖標(biāo)。
這里,需要指出的是,在上文中,僅通過單一條件的分類器,即簡單地判斷一次操作的幅度和/或頻率是否滿足預(yù)定條件來區(qū)分不同類型的操作(點(diǎn)擊、滑動、抬起等)。然而,本發(fā)明并不僅限于此。作為更準(zhǔn)確但更復(fù)雜的實(shí)施方式,還可以通過學(xué)習(xí)分類的方式來完成不同類型手勢輸入的確定。也就是說,事先采集大量樣本,對樣本的特征量進(jìn)行統(tǒng)計(jì)分析,從而確定出某指定動作具有什么樣的共同特征。比如區(qū)分按下和抬起,在統(tǒng)計(jì)特征值上肯定是有差異的,因此經(jīng)過學(xué)習(xí)所獲得的閾值條件的組合也必然是不一樣的。例如,可以將壓電薄膜傳感器獲得的波形的波峰或波谷位置分割成2部分,分別計(jì)算前后兩個窗口的信號最大值、均值和標(biāo)準(zhǔn)差、統(tǒng)計(jì)過零點(diǎn)個數(shù)等,并將其作為所述統(tǒng)計(jì)特征值。當(dāng)然,加速度值也可以通過類似的方式進(jìn)行分類。例如,將加速度波形的局部信號的最大值\均值\標(biāo)準(zhǔn)差等作為所述統(tǒng)計(jì)特征值。這個分類器的確立過程是通過學(xué)習(xí)的方法獲得的。
接下來,將描述第一感測單元獲得手勢輸入的運(yùn)動軌跡的情況。在這種情況下,第一感測單元除了加速度計(jì)之外,還進(jìn)一步包括陀螺儀。并且,所述第一輸入數(shù)據(jù)進(jìn)一步包括角速度信息。第一感測單元被配置為基于所述加速度信息和所述角速度信息,計(jì)算所述手勢輸入的運(yùn)動軌跡,并且所述通信單元進(jìn)一步配置為將所述運(yùn)動軌跡發(fā)送到外部設(shè)備。由于基于加速度計(jì)和陀螺儀獲得的加速度信息和角速度信息,計(jì)算得到物體的運(yùn)動軌跡是本領(lǐng)域已知的技術(shù)手段,因此為了避免冗余起見,這里不再對其細(xì)節(jié)進(jìn)行贅述。
如上文中所述,在第一感測單元獲得了用戶手指的運(yùn)動軌跡之后,可以將其映射為外部設(shè)備的顯示屏上顯示的鼠標(biāo)操作,從而進(jìn)行交互。但是,第一感測單元所獲得的用戶手指的運(yùn)動軌跡不限于映射為鼠標(biāo)操作。替代地,所述運(yùn)動軌跡還可以表征預(yù)定指令。
具體來講,圖4示出了根據(jù)本發(fā)明的第二實(shí)施例的處理單元的配置。如圖4所示,所述處理單元403進(jìn)一步被配置為包括:軌跡識別部件4035。
軌跡識別部件4035用于將所述第一感測單元計(jì)算出的運(yùn)動軌跡與多個預(yù)定軌跡進(jìn)行比對,并識別出所述運(yùn)動軌跡對應(yīng)于哪一預(yù)定軌跡。例如,所述預(yù)定軌跡可以是特定字符串。例如,如果用戶可以用手指寫下TV,則表示和TV所代表的智能電視連接。如果用戶用手指寫下AIR,則表示和AIR所代表的空調(diào)連接。
當(dāng)所述軌跡識別部件4035識別出所述運(yùn)動軌跡所對應(yīng)的預(yù)定軌跡且第二判斷部件判斷出所述振動信息滿足第一預(yù)定條件或第三預(yù)定條件時,確定部件4034產(chǎn)生與所述預(yù)定軌跡對應(yīng)的指令。如上文中所述,所述第一預(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行點(diǎn)擊操作,而非懸空點(diǎn)擊操作。例如,這樣的點(diǎn)擊操作可以看作是接受后續(xù)的軌跡輸入的觸發(fā)操作?;蛘?,所述第三預(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行滑動操作,而非懸空滑動操作。例如,如果軌跡識別部件4035識別出所述預(yù)定軌跡為TV,則確定部件4034產(chǎn)生連接TV的指令。如果軌跡識別部件4035識別出所述預(yù)定軌跡為AIR,則確定部件4034產(chǎn)生連接AIR的指令。
在上文中,描述了第二感測單元為壓電薄膜傳感器的情況。然而,本發(fā)明并不僅限于此。例如,第二感測單元還可以是聲音采集和識別單元。在這種情況下,所述第二輸入數(shù)據(jù)包括語音信息。代替基于壓電薄膜傳感器檢測到的振動信息來確定用戶是否在某一表面上操作,所述處理單元被配置為基于語音信息來確定用戶是否準(zhǔn)備開始交互,同時結(jié)合所述加速度信息,確定所述手勢輸入的類型。
在上文中,參照圖1到圖4描述了根據(jù)本發(fā)明實(shí)施例的電子設(shè)備的具體配置。接下來,將參照圖5描述根據(jù)本發(fā)明實(shí)施例的信息處理方法。所述信息處理方法應(yīng)用于上文中所述的電子設(shè)備。如圖5所示,所述信息處理方法包括如下步驟:
首先,在步驟S501,感測使用者的關(guān)于手勢輸入的第一輸入數(shù)據(jù)。
然后,在步驟S502,感測使用者的第二輸入數(shù)據(jù)。
接下來,在步驟S503,通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令。
最后,在步驟S504,將所述指令發(fā)送到外部設(shè)備。
如上文中所述,一般而言,用戶的手指在懸空狀態(tài)下進(jìn)行的手勢輸入是不確定的,也就是說,用戶的手指在懸空狀態(tài)下進(jìn)行的手勢輸入很可能是無意的操作。相反,如果用戶的手指是在某一表面上進(jìn)行的手勢輸入,則這種操作通常是確定的,也就是說,用戶的手指在某一表面上進(jìn)行的手勢輸入很可能是有意的操作。
在本發(fā)明中,通過利用兩個感測步驟分別獲取不同的輸入數(shù)據(jù),并結(jié)合不同的輸入數(shù)據(jù)進(jìn)行分析,進(jìn)而得到手勢輸入的類型,可以有效地避免將用戶無意的手勢動作作為交互輸入處理的情況。
接下來,將描述處理單元403通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令的具體細(xì)節(jié)。
作為一種可能的實(shí)施方式,所述第一輸入數(shù)據(jù)包括加速度信息,所述加速度信息包括以所述第一感測單元自身為坐標(biāo)系的三軸加速度分量,并且所述第二輸入數(shù)據(jù)包括振動信息,所述振動信息包括振動幅度和/或振動頻率,
其中基于所述加速度信息和所述振動信息,確定所述手勢輸入的類型。
圖6示出了根據(jù)本發(fā)明第一實(shí)施例的基于手勢輸入產(chǎn)生指令的處理。如圖6所示,通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令的步驟包括:
首先,在步驟S601,在所述三軸加速度分量之中,判斷是否存在大于第一閾值的加速度分量。當(dāng)用戶的手指逐漸靠近某一表面以進(jìn)行交互操作時,必然存在垂直于或接近垂直于該表面的加速度。通過第一判斷部件的判斷來確定用戶是否啟始了交互操作。這里的第一閾值用以濾除不應(yīng)被認(rèn)為是用戶的手指運(yùn)動的情況以及可能存在的噪聲干擾。一般而言,當(dāng)用戶的手指在某一表面上進(jìn)行操作時,在第一感測單元獲得的三軸數(shù)據(jù)之中,存在兩個軸上的較大的加速度數(shù)值。當(dāng)然,也可能存在僅有一個軸上的較大的加速度數(shù)值的情況。這將取決于用戶手指的操作方式、操作平面以及運(yùn)動方向。
如果在步驟S601的判斷結(jié)果為是,也就是說,確定存在用戶手指的運(yùn)動, 則處理進(jìn)行到步驟S602。否則處理結(jié)束。在步驟S602,將其合并為第一方向上的加速度。
然后,在步驟S603,判斷所述振動信息是否滿足第一預(yù)定條件。通過第一預(yù)定條件的判斷來確定用戶的手指是否針對在某一表面上進(jìn)行點(diǎn)擊操作,而非懸空點(diǎn)擊操作。例如,如果在較短的時間段中檢測到振動幅度較大(例如,大于第三閾值)和/或振動頻率較大(例如,大于第四閾值)的振動,則傾向于認(rèn)為所述振動信息所代表的手指操作為點(diǎn)擊操作。
當(dāng)在步驟S602合并出所述第一方向上的加速度且在步驟S603判斷出所述振動信息滿足第一預(yù)定條件時,處理進(jìn)行到步驟S604。在步驟S604,確定所述手勢輸入的類型為點(diǎn)擊操作。接下來,處理進(jìn)行到步驟S606。在步驟S606,進(jìn)行與所述點(diǎn)擊操作對應(yīng)的交互操作。點(diǎn)擊操作通常可以看作是進(jìn)行后續(xù)操作的觸發(fā)操作。例如,如下文中將描述的那樣,還可以計(jì)算得到用戶手指的運(yùn)動軌跡。用戶可以首先用手指敲擊任意平面,然后判斷出進(jìn)行了點(diǎn)擊操作,表明手指開始與該平面進(jìn)行交互。此時啟動后續(xù)處理,即:將得到的手指運(yùn)動軌跡,映射為鼠標(biāo)操作,并在外部設(shè)備的顯示屏上進(jìn)行顯示。
需要指出的是,在圖6中以先后順序示出了步驟S601~S603的處理,但是步驟S601~S602的處理與步驟S603的處理可以并行進(jìn)行,也可以以與圖6中相反的先后順序進(jìn)行。
如果在步驟S603判斷所述振動信息是否滿足第三預(yù)定條件,這里,第三預(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行滑動操作,而非懸空滑動操作則當(dāng)在步驟S602合并出所述第一方向上的加速度且在步驟S603判斷出所述振動信息滿足第三預(yù)定條件時,則處理進(jìn)行到步驟S605。在步驟S605,確定所述手勢輸入的類型為滑動操作。接下來,處理進(jìn)行到步驟S606。在步驟S606,進(jìn)行與所述滑動操作對應(yīng)的交互操作。
以上描述了當(dāng)用戶的手指進(jìn)行按下操作時的處理過程。另一方面,與此相對地,必然存在用戶的手指抬起的情況。通常認(rèn)為,如果用戶的手指抬起,則說明用戶操作結(jié)束。接下來,將描述判斷用戶手指抬起的過程。
具體來說,所述方法進(jìn)一步包括:
在步驟S607,判斷所述第一感測單元是否感測到第二方向上的加速度,所述第二方向與所述第一方向相反。如上文中所述,當(dāng)用戶的手指進(jìn)行按下操作時,將會產(chǎn)生第一方向上的加速度。作為與手指按下相反的過程,當(dāng)用 戶的手指進(jìn)行抬起操作時,應(yīng)該將會產(chǎn)生與第一方向相反的第二方向上的加速度。也就是說,如果檢測到第二方向上的加速度,則認(rèn)為用戶的手指進(jìn)行抬起操作。
并且,在步驟S608,判斷所述振動信息是否滿足第二預(yù)定條件。所述第二預(yù)定條件用以確定用戶的手指是否未在表面上進(jìn)行操作,即是否不存在振動幅度較大和/或振動頻率較大的振動。
當(dāng)判斷出感測到第二方向上的加速度且判斷出振動信息滿足第二預(yù)定條件時,處理進(jìn)行到步驟S609。在步驟S609,確定所述手勢輸入已經(jīng)結(jié)束,結(jié)束操作。例如,當(dāng)確定所述手勢輸入已經(jīng)結(jié)束時,在上文中所述的之前的處理為將得到的手指運(yùn)動軌跡映射為鼠標(biāo)操作的情況下,結(jié)束這樣的映射,且不在外部設(shè)備的顯示屏上繼續(xù)顯示鼠標(biāo)圖標(biāo)。
類似地,在圖6中以先后順序示出了步驟S608~S609的處理,但是步驟S608的處理與步驟S609的處理可以并行進(jìn)行,也可以以與圖6中相反的先后順序進(jìn)行。
另外,如上文中所述,所述第一輸入數(shù)據(jù)還可以進(jìn)一步包括角速度信息。
圖7示出了根據(jù)本發(fā)明第二實(shí)施例的基于手勢輸入產(chǎn)生指令的處理。如圖7所示,通過結(jié)合所述第一輸入數(shù)據(jù)和所述第二輸入數(shù)據(jù)進(jìn)行分析,以判斷所述手勢輸入的類型并產(chǎn)生所對應(yīng)的指令的步驟包括:
在步驟S701,基于所述加速度信息和所述角速度信息,計(jì)算所述手勢輸入的運(yùn)動軌跡。然后,可以將所述運(yùn)動軌跡發(fā)送到外部設(shè)備。如上文中所述,在獲得了用戶手指的運(yùn)動軌跡之后,可以將其映射為外部設(shè)備的顯示屏上顯示的鼠標(biāo)操作,從而進(jìn)行交互。但是,所獲得的用戶手指的運(yùn)動軌跡不限于映射為鼠標(biāo)操作。替代地,所述運(yùn)動軌跡還可以表征預(yù)定指令。
在這種情況下,在步驟S702,將計(jì)算出的運(yùn)動軌跡與多個預(yù)定軌跡進(jìn)行比對,并識別出所述運(yùn)動軌跡對應(yīng)于哪一預(yù)定軌跡。
在步驟S703,判斷所述振動信息是否滿足第一預(yù)定條件或第三預(yù)定條件。如上文中所述,所述第一預(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行點(diǎn)擊操作,而非懸空點(diǎn)擊操作。例如,這樣的點(diǎn)擊操作可以看作是接受后續(xù)的軌跡輸入的觸發(fā)操作?;蛘撸龅谌A(yù)定條件用以確定用戶的手指是否針對在某一表面上進(jìn)行滑動操作,而非懸空滑動操作。
當(dāng)所述軌跡識別部件識別出所述運(yùn)動軌跡所對應(yīng)的預(yù)定軌跡且判斷出所 述振動信息滿足第一預(yù)定條件或第三預(yù)定條件時,處理進(jìn)行到步驟S704。在步驟S704,產(chǎn)生與所述預(yù)定軌跡對應(yīng)的指令。例如,如果識別出所述預(yù)定軌跡為TV,則產(chǎn)生連接TV的指令。如果識別出所述預(yù)定軌跡為AIR,則產(chǎn)生連接AIR的指令。
然后,在步驟705,執(zhí)行所產(chǎn)生的指令。
在上文中,描述了第二輸入數(shù)據(jù)為振動信息的情況。然而,本領(lǐng)域的技術(shù)人員可以理解,本發(fā)明并不僅限于此。例如,第二輸入數(shù)據(jù)還可以是語音信息。代替基于檢測到的振動信息來確定用戶是否在某一表面上操作,還可以基于所述加速度信息和所述語音信息,確定所述手勢輸入的類型。也就是說,可以基于語音信息來確定用戶是否準(zhǔn)備開始交互,同時結(jié)合所述加速度信息,確定手勢輸入的類型并產(chǎn)生對應(yīng)的指令。
迄今為止,已經(jīng)參照附圖詳細(xì)描述了根據(jù)本發(fā)明實(shí)施例的電子設(shè)備和信息處理方法。在根據(jù)本發(fā)明實(shí)施例的電子設(shè)備和信息處理方法中,通過利用兩個感測單元分別獲取不同的輸入數(shù)據(jù),并結(jié)合不同的輸入數(shù)據(jù)進(jìn)行分析,進(jìn)而得到手勢輸入的類型,可以在確保隨時隨地交互的同時有效地避免將用戶無意的手勢動作作為交互輸入處理的情況。并且,通過對手部運(yùn)動和指令的判斷,可形成強(qiáng)大的手勢指令庫,可預(yù)設(shè)指令,也可用戶自動指令,從而完成多種多樣的操作。
需要說明的是,在本說明書中,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
最后,還需要說明的是,上述一系列處理不僅包括以這里所述的順序按時間序列執(zhí)行的處理,而且包括并行或分別地、而不是按時間順序執(zhí)行的處理。
通過以上的實(shí)施方式的描述,本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的硬件平臺的方式來實(shí)現(xiàn),當(dāng)然也可以全部通過軟件來實(shí)施?;谶@樣的理解,本發(fā)明的技術(shù)方案對背景技術(shù)做出貢獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計(jì)算機(jī)軟件產(chǎn)品可以存儲在存儲介 質(zhì)中,如ROM/RAM、磁碟、光盤等,包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可以是個人計(jì)算機(jī),服務(wù)器,或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例或者實(shí)施例的某些部分所述的方法。
以上對本發(fā)明進(jìn)行了詳細(xì)介紹,本文中應(yīng)用了具體個例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述,以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想;同時,對于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方式及應(yīng)用范圍上均會有改變之處,綜上所述,本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。