本發(fā)明涉及信息處理方法和設(shè)備,具體地,涉及能夠使用深度數(shù)據(jù)進行姿勢控制的方法和設(shè)備。
背景技術(shù):
信息處理設(shè)備(“設(shè)備”),例如蜂窩電話、智能電話、平板設(shè)備、膝上型計算機、個人計算機等,允許用戶通過多種源來提供輸入。例如,用戶可以通過標準鍵盤、觸摸輸入、音頻輸入、姿勢輸入等向設(shè)備提供輸入。這些設(shè)備中的一些設(shè)備另外地與可穿戴設(shè)備耦接。用戶可以向可穿戴設(shè)備提供輸入,該可穿戴設(shè)備然后基于該輸入來向所耦接的設(shè)備發(fā)送指令。然而,可穿戴設(shè)備通常較小并且提供有限的用戶輸入選項,例如,大多數(shù)可穿戴設(shè)備被限制于小的輸入屏幕或音頻輸入設(shè)備。
技術(shù)實現(xiàn)要素:
總之,一個方面提供了一種信息處理方法,所述信息處理方法包括:從帶狀可穿戴設(shè)備的至少一個傳感器接收深度數(shù)據(jù),其中,所述深度數(shù)據(jù)基于用戶做出的姿勢,并且其中,所述深度數(shù)據(jù)包括與姿勢和帶狀可穿戴設(shè)備之間的距離相關(guān)聯(lián)的數(shù)據(jù);通過使用處理器來利用深度數(shù)據(jù)識別用戶做出的姿勢;以及基于所識別的姿勢來執(zhí)行動作。
另一方面提供了一種可穿戴設(shè)備,所述可穿戴設(shè)備包括:帶狀可穿戴殼體;至少一個傳感器,所述至少一個傳感器設(shè)置在帶狀可穿戴殼體上;以及處理器,所述處理器在操作上耦接至至少一個傳感器,并且所述處理器被帶狀可穿戴殼體容置,所述處理器被配置為:從至少一個傳感器接收深度數(shù)據(jù),其中,所述深度數(shù)據(jù)基于用戶做出的姿勢,并且其中,所述深度數(shù)據(jù)包括與姿勢和帶狀可穿戴設(shè)備之間的距離相關(guān)聯(lián)的數(shù)據(jù);使用深度數(shù)據(jù)來識別用戶做出的姿勢;以及基于所識別的姿勢來執(zhí)行動作。
再一方面提供了一種產(chǎn)品,該產(chǎn)品包括:存儲設(shè)備,該存儲設(shè)備存儲能夠被處理器執(zhí)行的代碼,所述代碼包括:從帶狀可穿戴設(shè)備的至少一個傳感器接收深度數(shù)據(jù)的代碼,其中,所述深度數(shù)據(jù)基于用戶做出的姿勢,并且其中,所述深度數(shù)據(jù)包括與姿勢和帶狀可穿戴設(shè)備之間的距離相關(guān)聯(lián)的數(shù)據(jù);使用深度數(shù)據(jù)來識別用戶做出的姿勢的代碼;以及基于所識別的姿勢來執(zhí)行動作的代碼。
前述是概要,因此可以包含對細節(jié)的簡化、概括和省略;因此,本領(lǐng)域的技術(shù)人員將理解的是,該概要僅僅是說明性的且不意圖以任何方式進行限制。
為了更好地理解實施方式以及實施方式的其他和另外的特征以及優(yōu)點,結(jié)合附圖來參考以下描述。本發(fā)明的范圍將在所附權(quán)利要求中指出。
附圖說明
圖1示出了信息處理設(shè)備電路系統(tǒng)的示例。
圖2示出了信息處理設(shè)備電路系統(tǒng)的另一示例。
圖3示出了使用深度數(shù)據(jù)的姿勢控制的示例方法。
圖4示出了根據(jù)兩個傳感器位置的示例圖像創(chuàng)建。
具體實施方式
容易地理解的是,除了所描述的示例實施方式以外,還可以以多種不同的配置來布置和設(shè)計本文的附圖中一般地描述并且示出的實施方式的部件。因此,附圖中表示的示例實施方式的以下更詳細描述不意圖限制所要求保護的實施方式的范圍,而僅代表示例實施方式。
貫穿本說明書對“一個實施方式”或“實施方式”(等)的引用意味著結(jié)合該實施方式所描述的特定特征、結(jié)構(gòu)或特性被包含在至少一個實施方式中。因此,在本說明書的多個地方出現(xiàn)的短語“在一個實施方式中”或“在實施方式中”等未必都指代相同的實施方式。
此外,可以在一個或多個實施方式中以任何適當?shù)姆绞浇M合所描述的特征、結(jié)構(gòu)或特性。在下面的描述中,提供了許多具體細節(jié)以給出對實施方式的透徹理解。然而,相關(guān)領(lǐng)域的技術(shù)人員將認識到,可以在沒有一個或多個具體細節(jié)的情況下,或者利用其它方法、部件、材料等來實踐各種實施方式。在其它實例中,沒有詳細地示出或描述公知的結(jié)構(gòu)、材料或操作以避免混淆。
可穿戴設(shè)備(例如智能手表)已經(jīng)作為用于向設(shè)備(例如,膝上型計算機、平板設(shè)備、智能電話、蜂窩電話、個人計算機、智能tv等)提供用戶輸入的方法而被引入。用戶可以向可穿戴設(shè)備提供輸入??纱┐髟O(shè)備然后可以處理該輸入并且基于該輸入來執(zhí)行動作,或者可以向用戶正試圖控制的設(shè)備提供指令。然而,由于受限的輸入選項,可穿戴設(shè)備通常受制于有限的用戶輸入。輸入選項通常受限于小的設(shè)備屏幕以及音頻輸入設(shè)備。因此,除了受限的觸摸輸入以外,自然語言處理(nlp)是用于可穿戴設(shè)備交互的唯一真正選項。姿勢輸入被作為輸入方法而引入,但是姿勢輸入具有其自身的限制。
一種類型的姿勢檢測使用連接至設(shè)備的攝像機。攝像機可以檢測姿勢,并且然后設(shè)備可以處理該姿勢以執(zhí)行動作。這種類型的姿勢檢測的問題在于:由于需要處理能力,所以將攝像機附接至靜止設(shè)備平臺,例如個人計算機、游戲系統(tǒng)等。另外,這些類型的姿勢檢測模塊通常檢測遠離設(shè)備一定距離處的與整個身體相關(guān)聯(lián)的姿勢,并且因此需要較高的發(fā)射功率以及處理能力。
另一種類型的姿勢檢測依賴于無線電波來準確地檢測手指位置。該姿勢檢測給出了用戶指尖的高分辨率映射,以檢測運動并且跟蹤由用戶執(zhí)行的動作。該方法的一個問題在于:用戶必須在針對無線電波的特定位置處提供姿勢,以準確地檢測用戶可能正在執(zhí)行什么姿勢。另外,用于檢測無線電波的芯片必須安裝在用戶正試圖控制的設(shè)備上。換言之,利用兩種方法(即,使用攝像機和無線電波進行姿勢檢測),正被控制的設(shè)備必須安裝有姿勢檢測部件。
一種用于在便攜式設(shè)備上檢測姿勢或者使用便攜式設(shè)備來檢測姿勢的方法是依賴于運動單元(例如,加速計、陀螺儀、慣性運動單元等),以識別用戶是否正在運動以及用戶正沿什么方向運動。使用這些類型的傳感器進行姿勢檢測僅使得能夠識別姿勢中的非常小的子集,例如,用戶必須正在運動。即使那樣,對姿勢的檢測也是非常初級的。另外,如果與不同姿勢相關(guān)聯(lián)的運動對于每個姿勢都是相同的,則不能區(qū)分不同姿勢。
使得能夠使用便攜式設(shè)備來檢測姿勢的另一種類型的姿勢檢測是使用肌電圖描記法(emg)和電勢來檢測姿勢以及手和/或手指姿態(tài)。在這種方法中,emg傳感器通過檢測由用戶肌肉的運動所引起的電勢的差來檢測運動。該方法的問題在于:emg信號是噪聲非常多的,并且難以辨別姿勢信號與噪聲信號。換言之,如果用戶執(zhí)行小的姿勢,則由于信號中的噪聲,設(shè)備可能不能識別出該用戶已經(jīng)執(zhí)行了動作。另外,因為該信號是多噪聲的,所以可能難以區(qū)分用戶所執(zhí)行的兩個有點相似的姿勢。通常,由于emg信號的噪聲特性,多種類型的傳感器或輔助數(shù)據(jù)的使用對于準確的姿勢識別是必要的。
這些技術(shù)問題提出了針對使用便攜式設(shè)備進行姿勢檢測的問題。至少對于小的設(shè)備而言,大多數(shù)姿勢檢測設(shè)備被安裝在正在處理姿勢并且正在被控制的設(shè)備上,并且該大多數(shù)姿勢檢測設(shè)備通常不是便攜的。另外,通過姿勢識別與設(shè)備進行交互是困難的,在于:通常的姿勢識別技術(shù)不是自然的,意味著用戶必須執(zhí)行特定姿勢,所述特定姿勢可能不是執(zhí)行特定功能的最自然的動作。另外,姿勢識別可能取決于設(shè)備內(nèi)的傳感器,所述傳感器要求用戶做出可能不是交互的自然方式的大的姿勢動作。
因此,實施方式提供了便攜式設(shè)備上的單手(one-handed)姿勢檢測的方法。實施方式可以基于用戶做出的姿勢,從耦接至可穿戴設(shè)備的至少一個傳感器接收深度數(shù)據(jù)。例如,在一個實施方式中,可以從紅外傳感器接收深度數(shù)據(jù)。一個實施方式可以包括多于一個傳感器。例如,實施方式可以包括下述帶:所述帶具有位于用戶腕部的頂部位置處的一個傳感器,以及位于用戶腕部的底部位置處的第二傳感器。
實施方式然后可以使用深度數(shù)據(jù)來形成識別用戶的手和手指的位置的圖像。利用多于一個傳感器,實施方式可以具有兩個圖像,所述兩個圖像然后可以被組合在一起,以創(chuàng)建要發(fā)送至用于處理的設(shè)備的單個圖像。使用該圖像信息,實施方式可以識別姿勢,并且基于識別到的姿勢來執(zhí)行動作。動作可以包括在具有傳感器的可穿戴設(shè)備(例如智能手表)上執(zhí)行動作。在一個實施方式中,動作可以包括使用檢測到的姿勢以向副設(shè)備提供指令。例如,可以使用臂帶來檢測姿勢,并且將指令發(fā)送至用戶正在控制的副設(shè)備。
實施方式還可以接收非光學數(shù)據(jù),例如音頻數(shù)據(jù)、運動數(shù)據(jù)、壓力數(shù)據(jù)等。使用這些另外的數(shù)據(jù),實施方式能夠更準確地識別由用戶做出的姿勢。例如,使用運動數(shù)據(jù),實施方式能夠確定姿勢是靜態(tài)姿勢還是動態(tài)姿勢。作為另外的示例,使用音頻數(shù)據(jù),實施方式可以接收用于確認動作正被正確地執(zhí)行還是被不正確地執(zhí)行的用戶輸入。
通過參照附圖將最佳地理解所示出的示例實施方式。下面的描述僅意圖作為示例,并且僅示出了某些示例實施方式。
盡管各種其他電路、電路系統(tǒng)或部件可以應(yīng)用在信息處理設(shè)備中,但是對于智能電話和/或平板設(shè)備電路系統(tǒng)100,圖1中所示的示例包括例如在平板設(shè)備或其他移動計算平臺中具有的片上系統(tǒng)設(shè)計。軟件和處理器被組合在單個芯片110中。如現(xiàn)有技術(shù)中公知的,處理器包括內(nèi)部算術(shù)單元、寄存器、高速緩存存儲器、總線、i/o端口等。內(nèi)部總線等取決于不同的供應(yīng)商,但是基本上所有的外圍設(shè)備(120)可以附接至單個芯片110。電路系統(tǒng)100將處理器、存儲器控制器和i/o控制器集線器都組合到單個芯片110中。并且,該類型的系統(tǒng)100通常不使用sata或pci或lpc。公用接口例如包括sdio和i2c。
存在電力管理芯片130,例如,電池管理單元,bmu,其管理例如經(jīng)由可再充電電池140供應(yīng)的電力,可再充電電池140可以通過連接至電源(未示出)而被再充電。在至少一個設(shè)計中,如110單個芯片被用來提供bios類似功能和dram存儲器。
系統(tǒng)100通常包括用于連接至各種網(wǎng)絡(luò)(如電信網(wǎng)絡(luò))和連接至無線因特網(wǎng)設(shè)備(例如接入點)的wwan收發(fā)器150和wlan收發(fā)器160中的一個或多個。另外,通常包括有設(shè)備120,例如姿勢傳感器如紅外傳感器。系統(tǒng)100經(jīng)常包括用于數(shù)據(jù)輸入和顯示/呈現(xiàn)的觸摸屏170。系統(tǒng)100通常還包括各種存儲器設(shè)備,例如閃存180和sdram190。
圖2描繪了信息處理設(shè)備電路、電路系統(tǒng)或部件的另一示例的框圖。圖2中所描繪的示例可以與北卡羅來納州莫里斯維爾的聯(lián)想(美國)公司銷售的thinkpad系列的個人計算機的計算系統(tǒng)或其它設(shè)備相對應(yīng)。根據(jù)本文的描述明顯的是,實施方式可以包括其他特征或僅包括圖2中示出的示例的特征中的一些特征。
圖2中的示例包括所謂的芯片組210(一起工作的一組集成電路或芯片、芯片組),芯片組210具有可以根據(jù)制造商(例如intel、amd、arm等)而不同的架構(gòu)。intel在美國和其他國家中是英特爾公司的注冊商標。amd在美國和其他國家中是超威半導體有限公司的注冊商標。arm在美國和其他國家中是安謀股份有限公司的未注冊商標。芯片組210的架構(gòu)包括核與存儲器控制器組220以及i/o控制器集線器250,其經(jīng)由直接管理接口(dmi)242或鏈路控制器244交換信息(例如,數(shù)據(jù)、信號、命令等)。在圖2中,dmi242是芯片對芯片接口(有時被稱為“北橋”與“南橋”之間的鏈路)。核與存儲器控制器組220包括經(jīng)由前端總線(fsb)224交換信息的一個或多個處理器222(例如,單核或多核)和存儲器控制器集線器226;注意,組220的部件可以被集成在代替了常規(guī)的“北橋”型架構(gòu)的芯片中。如現(xiàn)有技術(shù)中公知的,一個或多個處理器222包括內(nèi)部算術(shù)單元、寄存器、高速緩存存儲器、總線、i/o端口等。
在圖2中,存儲器控制器集線器226與存儲器240對接(例如,為可以被稱為“系統(tǒng)存儲器”或“存儲器”的一種ram提供支持)。存儲器控制器集線器226還包括用于顯示設(shè)備292(例如,crt、平板顯示器、觸摸屏等)的低壓差分信號(lvds)接口232。塊238包括可以經(jīng)由lvds接口232(例如,串行數(shù)字視頻、hdmi/dvi、顯示端口)支持的一些技術(shù)。存儲器控制器集線器226還包括可以支持獨立顯卡236的pci-express接口(pci-e)234。
在圖2中,i/o控制器集線器250包括sata接口251(例如,用于hdd、sdd等280)、pci-e接口252(例如,用于無線連接282)、usb接口253(例如,用于諸如數(shù)字轉(zhuǎn)換器、鍵盤、鼠標、攝像機、姿勢傳感器、麥克風、存儲器、其他連接設(shè)備等的設(shè)備284)、網(wǎng)絡(luò)接口254(例如,lan)、gpio接口255、lpc接口270(用于asic271、tpm272、超級i/o273、固件集線器274、bios支持275、以及諸如rom277、閃存278和nvram279的各種類型的存儲器276)、電力管理接口261、時鐘發(fā)生器接口262、音頻接口263(例如,用于揚聲器294)、tco接口264、系統(tǒng)管理總線接口265、以及可以包括bios268和啟動代碼290的spi閃存266。i/o控制器集線器250可以包括千兆比特以太網(wǎng)支持。
系統(tǒng)在上電時可以被配置成對bios268執(zhí)行存儲在spi閃存266內(nèi)的啟動代碼290,之后,在一個或多個操作系統(tǒng)和應(yīng)用軟件(例如,存儲在系統(tǒng)存儲器240中)的控制下對數(shù)據(jù)進行處理。操作系統(tǒng)可以被存儲在多個位置中的任何位置處,并且例如根據(jù)bios268的指令來訪問該操作系統(tǒng)。如本文所述,設(shè)備可以包括比圖2的系統(tǒng)中示出的特征更少或更多的特征。
通??梢詫⒗鐖D1或圖2中所概述的信息處理設(shè)備電路系統(tǒng)用在通常例如平板設(shè)備、智能電話、個人計算機設(shè)備的設(shè)備中,和/或用戶可以使用姿勢來控制的電子設(shè)備中。例如,在圖1中概述的電路系統(tǒng)可以實現(xiàn)在用戶可以使用其以通過姿勢控制來控制其他設(shè)備的平板設(shè)備或智能電話實施方式中。在圖2中概述的電路系統(tǒng)可以實現(xiàn)在用戶可以試圖通過使用姿勢來控制其的個人計算機實施方式中。
為了易于理解,本文使用以下示例:使用臂帶或腕部安裝的可穿戴設(shè)備來捕獲與用戶的手和/手指相關(guān)的數(shù)據(jù)。然而,可以理解的是,本文所描述的方法和系統(tǒng)可以用在其他系統(tǒng)中。例如,本文所描述的方法和系統(tǒng)可以用于可檢測全身姿勢的平行實境游戲(alternativerealitygame)或程序中的姿勢感測。
現(xiàn)在參照圖3,在301處,實施方式可以基于由用戶做出的姿勢從帶狀可穿戴設(shè)備的至少一個傳感器接收深度數(shù)據(jù)。例如智能手表或臂帶可以包含可以檢測深度數(shù)據(jù)的紅外傳感器??商孢x地,傳感器可以在操作上耦接至帶狀可穿戴設(shè)備。深度數(shù)據(jù)可以給出所檢測的姿勢與帶狀可穿戴設(shè)備之間的距離的指示。例如,深度數(shù)據(jù)可以基于無線電波、多普勒效應(yīng)、紅外線等。
傳感器可以是低功率光學深度傳感器,例如,紅外發(fā)光二極管(led)。傳感器可以被定位在可穿戴設(shè)備上,以確??梢允褂镁哂卸痰纳疃雀袦y區(qū)域的傳感器,這使得能夠使用具有低傳輸和/或低功率的傳感器。傳感器還可以具有寬的視場(fov),以便捕獲與用戶的整個手和/或手指相關(guān)的深度數(shù)據(jù)。另外,為了捕獲最準確的深度數(shù)據(jù),傳感器可以被定位成使得能夠捕獲與用戶的整個手相關(guān)的深度數(shù)據(jù),例如,傳感器可以被調(diào)整角度以朝向用戶的手。
一個實施方式可以包括多于一個傳感器。例如,一個傳感器可以位于用戶腕部的頂部的位置處,而另一個傳感器可以位于用戶腕部的底部。使用多于一個傳感器可以用于提供與用戶的手的頂部和底部二者相關(guān)的更準確的深度數(shù)據(jù)。例如,與可能不能區(qū)分手指折疊和手指從腕部筆直地指出去的單個傳感器不同地,使用兩個傳感器可以檢測用戶何時將其手指折疊在其手之下。
在302處,實施方式可以形成與用戶做出的姿勢相關(guān)聯(lián)的至少一個圖像。例如,實施方式可以使用傳感器數(shù)據(jù)以形成與用戶的手和/或手指的位置或姿態(tài)相對應(yīng)的圖像。圖像可以不是圖片或其他典型圖像。相反,圖像可以是用戶的手和/或手指放置的可視化(visualization)。例如,使用紅外技術(shù),可以創(chuàng)建熱圖像、高光譜圖像或其他類型的圖像??商孢x地,圖像可以包括圓點(dots)或點(points),所述圓點或點包括對點(point)距傳感器的距離的某個度量,這可以使得處理器能夠確定手和手指放置。
在創(chuàng)建圖像時,實施方式可以使用飛行時間計算。例如,已知傳感器的位置的實施方式可以計算信號反彈回該信號所需的時間的長度。根據(jù)該信息,實施方式可以提取與手相關(guān)聯(lián)的特征的位置。用于創(chuàng)建圖像的另一方法可以包括使用結(jié)構(gòu)光(structuredlight)。在這種處理中,將已知圖案投射在場景上。圖案的變形使得能夠?qū)鼍爸械奈矬w的深度和表面信息進行計算。創(chuàng)建圖像的其他方法是可能的并且是預期的,例如,紅綠藍(rgb)立體視法、反立體效應(yīng)(pseudostereoscopy)等。
在多于一個傳感器的情況下,可以根據(jù)從每個傳感器接收的傳感器數(shù)據(jù)來創(chuàng)建圖像。例如,參照圖4,位于用戶的腕部的底部或腹側(cè)的傳感器401可以捕獲產(chǎn)生用戶的手的底部的圖像402的光學數(shù)據(jù)。位于用戶的腕部的頂部或背側(cè)的傳感器403可以捕獲產(chǎn)生用戶的手的頂部的圖像404的光學數(shù)據(jù)。傳感器401和403相對于用戶的手的位置可以提供產(chǎn)生交疊的圖像402和404的視場,從而確保整個手被捕獲。在具有兩個圖像的情況下,圖像可以被對準,這可以包括像素與像素對準以確保圖像彼此對準。然后可以使圖像或者信號流融合,以創(chuàng)建單個信號流或圖像,例如,三維圖像、輪廓二維圖像、二維圖像等。例如,實施方式可以從兩個傳感器接收深度數(shù)據(jù)并且創(chuàng)建兩個圖像,針對每個傳感器創(chuàng)建一個圖像。然后可以使兩個圖像融合在一起以形成手型的整體視圖。然后可以將該信號流或圖像傳遞給設(shè)備。
使用在302處形成的圖像,實施方式可以在303處確定是否可以從圖像中識別出姿勢。在識別姿勢時,實施方式可以將該圖像與先前存儲的數(shù)據(jù)(例如姿勢庫)進行比較。例如,可以對手型進行建模,以從姿勢庫中選擇手的形狀。姿勢庫可以是包括不同的預加載姿勢的默認庫??商孢x地,該庫可以由用戶例如通過訓練課來創(chuàng)建,或者該庫可以在使用期間來創(chuàng)建,例如當用戶使用設(shè)備時,姿勢可以被登記并且被存儲以供將來使用。姿勢庫可以本地地位于設(shè)備上或者可以遠程地存儲。姿勢庫還可以被第三方更新。例如,當其他用戶做出姿勢時,姿勢庫可以被調(diào)整以更接近地代表不同的姿勢。作為另外的示例,如果應(yīng)用開發(fā)者具有需要特定姿勢的應(yīng)用,則姿勢庫可以被應(yīng)用開發(fā)者更新,以包括所需的姿勢。
識別姿勢的另一方式是通過將圖像傳遞至手姿態(tài)的決策樹(decisiontree)。決策樹可以例如是基于尺度不變的hough特征(scale-invarianthoughfeatures)。決策樹還可以包括可以識別手指的位置的分類器。在識別姿勢時,實施方式可以包括置信度分數(shù)。置信度分數(shù)可以與設(shè)備多么確信姿勢分類是準確的有關(guān)。根據(jù)置信度分數(shù),實施方式可以采取不同的動作。例如,如果置信度分數(shù)高于特定閾值,則實施方式可以繼續(xù)處理。然而,如果置信度分數(shù)低于特定閾值,則實施方式可以請求另外的輸入。例如,實施方式可以請求用戶確認識別到的姿勢是正確的姿勢。置信度分數(shù)不一定必須與閾值進行比較,而是可以僅要求特定的值或范圍。
如果不能識別姿勢,則實施方式在305處可以不采取動作。實施方式還可以等待接收另外的深度數(shù)據(jù),以用于識別新的姿勢或者輔助識別當前的姿勢。例如,實施方式可以向用戶指示姿勢未被識別,并且請求用戶再次執(zhí)行該姿勢??梢允褂迷撔伦藙輸?shù)據(jù)來增強舊姿勢數(shù)據(jù),以得到更準確的姿勢表示??商孢x地,實施方式可以在303處確定是姿勢不是先前存儲的姿勢或者姿勢不與動作相關(guān)聯(lián)。換言之,實施方式可以在303處能夠識別姿勢,但是可以在305處不采取動作,因為該姿勢不能被映射至動作。
然而,如果實施方式在303處能夠識別姿勢,則實施方式在304處可以基于識別的姿勢來執(zhí)行動作。該動作可以包括與識別的姿勢相關(guān)聯(lián)的動作。例如,姿勢可以被映射至特定動作或者與特定動作相關(guān)聯(lián)。作為示例,如果用戶用其手指形成豎起拇指標志,則該姿勢可以與接受屏幕上的提示相關(guān)聯(lián)。與姿勢相關(guān)聯(lián)的動作可以被預定義為例如默認姿勢/動作關(guān)聯(lián),或者可以由用戶定義。另外,例如基于運行的應(yīng)用、用戶配置文件(例如,用戶可以定義與設(shè)備的另一用戶不同的姿勢/動作關(guān)聯(lián))等,相同的姿勢可以執(zhí)行不同的動作。
在一個實施方式中,執(zhí)行的動作可以包括將姿勢數(shù)據(jù)傳遞至副設(shè)備以控制副設(shè)備。姿勢數(shù)據(jù)可以包括姿勢信息。例如,用戶可以使用智能手表來控制膝上型計算機。智能手表可以捕獲并且處理深度數(shù)據(jù),以識別姿勢,并且然后將該姿勢傳遞至膝上型計算機??商孢x地,姿勢數(shù)據(jù)可以包括用于與姿勢相關(guān)聯(lián)的動作的指令。例如,設(shè)備可以將與姿勢相關(guān)的指令傳遞至副設(shè)備。例如,臂帶可以使一姿勢與“關(guān)閉”動作相關(guān)聯(lián)。臂帶可以將“關(guān)閉”命令發(fā)送至智能電視(tv),而不是將姿勢發(fā)送至智能tv來處理。
一個實施方式可以除深度數(shù)據(jù)之外還接收數(shù)據(jù)。非光學數(shù)據(jù)可以包括與用戶做出的姿勢相關(guān)聯(lián)的運動數(shù)據(jù)。例如,設(shè)備可以包括慣性運動單元、加速計、陀螺儀、壓力傳感器等,其可以指示用戶正在如何運動。可以使用該數(shù)據(jù),以通過識別姿勢是否包括運動來更準確地識別姿勢。例如,使用另外的數(shù)據(jù),實施方式可以區(qū)別靜止的展平的手和從左向右移動的展平的手。然后可以例如使用上述的識別方法對移動的姿勢進行識別,并且可以基于所識別的移動的姿勢來執(zhí)行動作。例如,移動的姿勢可以被映射至與靜止姿勢不同的動作。該另外的數(shù)據(jù)可以包括音頻數(shù)據(jù)。例如,用戶可以提供用于確認姿勢是否被正確地識別或者正在執(zhí)行的動作是否是正確的動作的音頻數(shù)據(jù)。
使用深度數(shù)據(jù),實施方式可以以精細的粒度來識別大范圍的姿勢。例如,實施方式可以識別手指運動與手運動之間的差異、搖動、旋轉(zhuǎn)、手指位置等。然后可以將對姿勢的識別轉(zhuǎn)換成動作,諸如對所耦接的設(shè)備的控制,對可穿戴設(shè)備的單手控制,對醫(yī)療設(shè)備的控制、鼠標控制器的精細運動、或者對支持條件觸發(fā)的設(shè)備(if-this-then-thatenableddevice)的控制等。另外,實施方式能夠識別用戶是否正持有物體,這可以使得不同的動作被執(zhí)行。
因此本文所描述的各種實施方式描述了對當前的姿勢控制技術(shù)的技術(shù)改進。使用本文所描述的技術(shù),實施方式可以以更精細的粒度來檢測用戶正在做出的姿勢。從而,用戶可以使用單個手與可穿戴設(shè)備交互,并且提供比利用通常的姿勢控制設(shè)備更多的姿勢控制。另外,用戶可以使用可穿戴設(shè)備與其他非可穿戴設(shè)備交互,以控制該非可穿戴設(shè)備,從而給用戶更多的自由以及以更自然的方式對更多設(shè)備進行控制。
本領(lǐng)域技術(shù)人員將理解的是,可以將各個方面實施為系統(tǒng)、方法或設(shè)備程序產(chǎn)品。因此,各個方面可以采用完全硬件實施方式的形式或采用包括軟件的實施方式的形式,它們在本文中都可以一般地稱為“電路”、“模塊”或“系統(tǒng)”。此外,各個方面可以采用在一個或多個設(shè)備可讀介質(zhì)中實現(xiàn)的設(shè)備程序產(chǎn)品的形式,所述一個或多個設(shè)備可讀介質(zhì)包含有設(shè)備可讀程序代碼。
應(yīng)當注意的是,本文所描述的各種功能可以使用存儲在設(shè)備可讀存儲介質(zhì)(如非信號存儲設(shè)備)上的由處理器執(zhí)行的指令來實現(xiàn)。存儲設(shè)備可以例如是電子的、磁的、光學的、電磁的、紅外的或半導體系統(tǒng)、裝置或設(shè)備,或前述的任何適當組合。存儲介質(zhì)的更具體的示例將包括以下內(nèi)容:便攜式計算機磁盤、硬盤、隨機存取存儲器(ram)、只讀存儲器(rom)、可擦除可編程只讀存儲器(eprom或閃存)、光纖、便攜式光盤只讀存儲器(cd-rom)、光學存儲設(shè)備、磁存儲設(shè)備、或前述的任何適當組合。在本文檔的上下文中,存儲設(shè)備不是信號,并且“非暫態(tài)”包括除信號介質(zhì)之外的所有介質(zhì)。
可以使用任何適當?shù)慕橘|(zhì)來傳輸在存儲介質(zhì)上所包含的程序代碼,所述任何適當?shù)慕橘|(zhì)包括但不限于無線的、有線的、光纜、rf等、或前述的任何適當組合。
可以以一種或多種編程語言的任何組合來編寫用于執(zhí)行操作的程序代碼。程序代碼可以以下述方式執(zhí)行:完全在單個設(shè)備上執(zhí)行、部分地在單個設(shè)備上執(zhí)行、作為獨立軟件包執(zhí)行、部分地在單個設(shè)備上且部分地在另外的設(shè)備上執(zhí)行、或完全在另外的設(shè)備上執(zhí)行。在一些情況下,可以通過包括局域網(wǎng)(lan)或廣域網(wǎng)(wan)的任何類型的連接或網(wǎng)絡(luò)來連接設(shè)備,或者可以通過其他設(shè)備(例如,通過使用因特網(wǎng)服務(wù)提供商的因特網(wǎng))、通過無線連接(例如近場通信)、或者通過硬線連接(例如通過usb連接)來進行連接。
本文參照附圖描述了示例實施方式,其示出了根據(jù)各種示例實施方式的示例方法、設(shè)備和程序產(chǎn)品。要理解的是,可以至少部分地通過程序指令來實現(xiàn)動作和功能??梢詫⑦@些程序指令提供給設(shè)備的處理器、專用信息處理設(shè)備或其他可編程數(shù)據(jù)處理設(shè)備,以產(chǎn)生機器,使得經(jīng)由設(shè)備的處理器執(zhí)行的指令實現(xiàn)指定的功能/動作。
值得注意的是,盡管在附圖中使用了特定的塊,并且已經(jīng)示出了塊的特定排序,但是這些是非限制性的示例。由于明確說明的示例僅用于描述性目的,且不被解釋為限制,所以在某些情況下,可以根據(jù)需要來組合兩個或更多個塊,可以將一個塊分成兩個或更多個塊,或者將某些塊重新排序或重新組織。
如本文所用的,除非另外明確指示,否則單數(shù)“一個(a)”和“一(an)”可以被解釋為包括復數(shù)“一個或多個”。
本公開內(nèi)容是出于說明和描述的目的而提出的,而并非意圖是窮舉的或限制性的。對本領(lǐng)域普通技術(shù)人員來說,許多修改和變型將是明顯的。選擇并描述示例實施方式以說明原理和實際應(yīng)用,并且使本領(lǐng)域其他普通技術(shù)人員能夠理解具有各種修改的各種實施方式的公開內(nèi)容適合于所設(shè)想的特定用途。
因此,盡管本文已經(jīng)參照附圖描述了說明性的示例實施方式,但要理解的是,該描述并非是限制性的,并且在不偏離本公開內(nèi)容的范圍或精神的情況下,本領(lǐng)域技術(shù)人員可以做出各種其它改變和修改。