相關(guān)申請的交叉引用

本申請要求享受2014年10月29日向美國專利商標(biāo)局提交的、標(biāo)題為“gesturerecognitionusinggestureelements”的臨時專利申請第62/069,923號和2014年11月20日向美國專利商標(biāo)局提交的、標(biāo)題為“gesturerecognitionusinggestureelements”的非臨時專利申請第14/548,775號的優(yōu)先權(quán)和利益，故以引用方式將這兩份申請的全部內(nèi)容并入本文。

概括地說，下文討論的技術(shù)涉及向電子設(shè)備輸入信息，具體地說，下文討論的技術(shù)涉及使用手勢識別來輸入信息。

背景技術(shù)：

運動捕捉可穿戴設(shè)備以增長的數(shù)量出現(xiàn)。一些示例是智能手表、活動追蹤器、智能眼鏡等等。用戶可以通過包括物理按鍵、觸摸(虛擬)按鍵、軟鍵、觸摸屏、觸摸板、圖像傳感器或運動捕獲傳感器的各種方法，與這樣的設(shè)備進行交互。此外，一些設(shè)備可以被配備為執(zhí)行手勢識別，作為與這些設(shè)備進行交互的方式。如本公開內(nèi)容中所使用的手勢，通常指代可以由設(shè)備使用各種傳感器來捕捉的在時間上的一系列動作。例如，可以使用諸如手寫筆、手指、手、識別棒之類的物體或者任何合適的物體，來執(zhí)行手勢。識別的手勢可以使得設(shè)備執(zhí)行某些動作或者不執(zhí)行動作，或者表示到設(shè)備的輸入信息。通常，手勢識別系統(tǒng)基于從設(shè)備的傳感器(例如，運動傳感器)獲得的原始數(shù)據(jù)，來執(zhí)行手勢識別。原始數(shù)據(jù)指代從設(shè)備的任何傳感器獲得的、沒有經(jīng)過實質(zhì)性處理或者與手勢識別有關(guān)的其它操作的數(shù)據(jù)，以及其還可以稱為主數(shù)據(jù)或者傳感器數(shù)據(jù)?；谠紨?shù)據(jù)的手勢識別算法，通常需要高度準(zhǔn)確地識別手勢，以便從用戶的角度來看實現(xiàn)更自然的輸入?，F(xiàn)有的手勢識別技術(shù)通過對手勢的整個輸入序列(原始數(shù)據(jù))使用公知的技術(shù)(比如，隱馬爾科夫模型(hmm))，來對原始數(shù)據(jù)使用簡單的機器學(xué)習(xí)。

技術(shù)實現(xiàn)要素：

下文給出了對本公開內(nèi)容的一個或多個方面的簡單概括，以便提供對這樣的方面的基本的理解。該概括部分不是對本公開內(nèi)容的所有預(yù)期特征的詳盡概述，也不是旨在標(biāo)識本公開內(nèi)容的所有方面的關(guān)鍵或重要元素，或者描述本公開內(nèi)容的任意或全部方面的范圍。其唯一目的是用簡單的形式呈現(xiàn)本公開內(nèi)容的一個或多個方面的一些概念，以此作為后文給出的更詳細(xì)說明的序言。

本公開內(nèi)容的方面提供了一種用于捕捉手勢的手勢識別方法和裝置。將手勢的原始數(shù)據(jù)分類成手勢元素，通過一個或多個手勢元素的序列，來形成手勢。使用這些手勢元素之間的前后關(guān)系依賴性，以高準(zhǔn)確度來執(zhí)行手勢識別。

在一個方面，本公開內(nèi)容提供了一種能在裝置處操作的識別手勢的方法。該裝置從一個或多個手勢捕捉傳感器生成手勢的原始數(shù)據(jù)，將原始數(shù)據(jù)分類成一個或多個手勢元素，確定所述一個或多個手勢元素之間的前后關(guān)系依賴性，并基于所確定的手勢元素，識別該手勢。

本公開內(nèi)容的另一個方面提供了一種用于識別手勢的裝置。該裝置包括：一個或多個手勢捕捉傳感器；原始數(shù)據(jù)捕捉塊，其被配置為從所述手勢捕捉傳感器中，生成手勢的原始數(shù)據(jù)；手勢元素分類塊，其被配置為將該原始數(shù)據(jù)分類成一個或多個手勢元素；前后關(guān)系依賴性確定塊，其被配置為確定所述一個或多個手勢元素之間的前后關(guān)系依賴性；手勢識別塊，其被配置為基于所確定的手勢元素，識別該手勢。

本公開內(nèi)容的另一個方面提供了一種用于識別手勢的裝置。該裝置包括：用于從一個或多個手勢捕捉傳感器生成手勢的原始數(shù)據(jù)的單元；用于將該原始數(shù)據(jù)分類成一個或多個手勢元素的單元；用于確定所述一個或多個手勢元素之間的前后關(guān)系依賴性的單元；以及用于基于所確定的手勢元素，識別該手勢的單元。

本公開內(nèi)容的另一個方面提供了一種包括有用于使裝置識別手勢的代碼的計算機可讀介質(zhì)。當(dāng)所述代碼被執(zhí)行時，使得所述裝置執(zhí)行以下操作：從一個或多個手勢捕捉傳感器生成手勢的原始數(shù)據(jù)；將該原始數(shù)據(jù)分類成一個或多個手勢元素；確定所述一個或多個手勢元素之間的前后關(guān)系依賴性；以及基于所確定的手勢元素，識別該手勢。

在閱讀了下文的具體實施方式之后，將變得更加全面理解本發(fā)明的這些和其它方面。在結(jié)合附圖閱讀了下文的本發(fā)明的特定、示例性實施例的描述之后，本發(fā)明的其它方面、特征和實施例對于本領(lǐng)域技術(shù)人員來說將變得顯而易見。雖然相對于下文的某些實施例和附圖討論了本發(fā)明的特征，但本發(fā)明的所有實施例可以包括本文所討論的優(yōu)勢特征中的一個或多個優(yōu)勢特征。換言之，雖然將一個或多個實施例討論成具有某些優(yōu)勢特征，但根據(jù)本文所討論的本發(fā)明的各個實施例，也可以使用這樣的特征中的一個或多個特征。用類似的方式，雖然下文將示例性實施例討論成設(shè)備、系統(tǒng)或者方法實施例，但應(yīng)當(dāng)理解的是，這樣的示例性實施例可以用各種各樣的設(shè)備、系統(tǒng)和方法來實現(xiàn)。

附圖說明

圖1是根據(jù)本公開內(nèi)容的方面，示出用于使用處理系統(tǒng)的裝置的硬件實現(xiàn)方式的例子的框圖。

圖2是根據(jù)本公開內(nèi)容的方面，示出使用手勢元素的手勢捕捉方法的流程圖。

圖3是根據(jù)本公開內(nèi)容的方面，示出用于使用手勢元素之間的前后關(guān)系依賴性，來識別手勢的手勢識別方法的流程圖。

圖4是根據(jù)本公開內(nèi)容的方面，示出手勢和相應(yīng)的手勢元素的例子的繪圖。

圖5是根據(jù)本公開內(nèi)容的方面，示出控制手勢捕捉的方法的流程圖。

圖6是根據(jù)本公開內(nèi)容的方面，示出手勢元素分類方法600的流程圖。

圖7是根據(jù)本公開內(nèi)容的方面，示出基于手勢元素之間的前后關(guān)系依賴性的手勢元素確定過程的例子的繪圖。

圖8是根據(jù)本公開內(nèi)容的方面，示出基于手勢元素之間的前后關(guān)系依賴性的手勢元素確定過程的另一個例子的繪圖。

圖9是根據(jù)本公開內(nèi)容的方面，示出手勢元素重新分類方法的流程圖。

具體實施方式

下文結(jié)合附圖陳述的具體實施方式旨在作為對各種配置的描述，而不旨在表示僅在這些配置中才可以實現(xiàn)本文所描述的概念。為了對各種概念有透徹理解，具體實施方式包括特定的細(xì)節(jié)。但是，對于本領(lǐng)域技術(shù)人員來說顯而易見的是，在沒有這些特定細(xì)節(jié)的情況下也可以實現(xiàn)這些概念。在一些實例中，為了避免對這些概念造成模糊，公知的結(jié)構(gòu)和組件以框圖形式示出。

本公開內(nèi)容的方面提供了用于將手勢的原始數(shù)據(jù)分類成手勢元素來執(zhí)行手勢識別的手勢識別方法和裝置。該方法使用手勢元素之間的前后關(guān)系依賴性，以高準(zhǔn)確度和高效率來執(zhí)行手勢識別。手勢可以包括一個或多個手勢元素的序列。每個手勢元素可以是能根據(jù)原始數(shù)據(jù)進行識別的預(yù)定的運動或可區(qū)分的運動。在本公開內(nèi)容的各個方面，可以通過利用手勢的手勢元素的前后關(guān)系依賴性來識別手勢。對手勢元素的使用可以促進增加數(shù)量的可識別手勢，其中這些可識別手勢被規(guī)定成手勢元素的各種組合。

圖1是示出用于使用處理系統(tǒng)114的裝置100的硬件實現(xiàn)方式的例子的圖。裝置100可以是移動電話、計算設(shè)備、游戲設(shè)備、手持型計算機、智能電話、可穿戴計算設(shè)備、平板計算機、便攜式媒體播放器、媒體錄制設(shè)備、物聯(lián)網(wǎng)(iot)設(shè)備等等。裝置100的各種組件、框和/或電路，可以利用軟件、硬件、固件和/或其組合來實現(xiàn)。根據(jù)本公開內(nèi)容的各個方面，元素或者元素的任何部分或者元素的任意組合，可以利用包括一個或多個處理器104的處理電路114來實現(xiàn)。處理器104的例子包括微處理器、微控制器、數(shù)字信號處理器(dsp)、現(xiàn)場可編程門陣列(fpga)、可編程邏輯器件(pld)、狀態(tài)機、門控邏輯、分立硬件電路和被配置為執(zhí)行貫穿本公開內(nèi)容描述的各種功能的其它適當(dāng)硬件。也就是說，如裝置100中所利用的處理器104，可以用于實現(xiàn)下文所描述的和圖2-9中所示出的過程或者功能中的任何一者或多者。

在該例子中，處理系統(tǒng)114可以利用總線架構(gòu)來實現(xiàn)，其中該總線架構(gòu)通常用總線102來表示。根據(jù)處理系統(tǒng)114的具體應(yīng)用和整體設(shè)計約束，總線102可以包括任意數(shù)量的相互連接總線和橋接?？偩€102將包括一個或多個運動傳感器103、一個或多個處理器(其通常用處理器104來表示)、存儲器105、以及計算機可讀介質(zhì)(其通常用計算機可讀介質(zhì)106來表示)的各種電路鏈接在一起。運動傳感器103被配置為檢測或者感測裝置100的運動或者位置。在本公開內(nèi)容的各個方面，運動傳感器103的非限制性示例可以包括陀螺儀、加速度計、照相機、衛(wèi)星跟蹤器、或者能夠感測或檢測運動和/或位置的任何設(shè)備。

總線102還可以鏈接諸如定時源、外圍設(shè)備、電壓調(diào)節(jié)器和功率管理電路之類的各種其它電路，其中這些電路是本領(lǐng)域所公知的，因此沒有做任何進一步的描述?？偩€接口108提供在總線102和可選的收發(fā)機110之間的接口。收發(fā)機110提供通信接口，或者用于通過傳輸介質(zhì)與各種其它裝置進行通信的單元。根據(jù)該裝置的本質(zhì)，還可以提供用戶接口112(例如，小鍵盤、顯示器、揚聲器、麥克風(fēng)、操縱桿、鼠標(biāo)、手寫筆、觸摸板、觸摸屏)。

處理器104包括手勢捕捉塊140，所述手勢捕捉塊140可以配置為使用手勢元素來捕捉和識別手勢。手勢捕捉塊140包括原始數(shù)據(jù)捕捉塊142、手勢元素分類塊144、前后關(guān)系依賴性確定塊146和手勢識別塊148。原始數(shù)據(jù)捕捉塊142可以接收由運動傳感器103、照相機130和/或用于捕捉手勢的任何適當(dāng)傳感器捕捉的手勢的原始數(shù)據(jù)。手勢元素分類塊144可以將原始數(shù)據(jù)分類成一個或多個手勢元素，下文將詳細(xì)地描述這些手勢元素。前后關(guān)系依賴性確定塊146可以確定手勢元素之間的前后關(guān)系依賴性。手勢元素的前后關(guān)系依賴性提供在用于特定的手勢的手勢元素之間的時序或順序信息或者關(guān)系。手勢識別塊148可以基于手勢的手勢元素和它們的前后關(guān)系依賴性，來識別該手勢。

處理器104還負(fù)責(zé)管理總線102和通用處理，其包括執(zhí)行計算機可讀介質(zhì)106上存儲的軟件。當(dāng)該軟件由處理器104執(zhí)行時，使得處理系統(tǒng)114執(zhí)行下文在圖2-9中針對任何特定裝置所描述的各種功能。在本公開內(nèi)容的一個方面，軟件可以包括手勢識別代碼或指令120，當(dāng)其被處理器104執(zhí)行時，使得處理系統(tǒng)114執(zhí)行在圖2-9中所描述的各種手勢捕捉和識別功能。舉一個例子，當(dāng)手勢識別代碼120被執(zhí)行時，其可以配置裝置100(例如，手勢捕捉塊140)執(zhí)行圖2-9中所描述的各種手勢捕捉功能。裝置100可以通過利用用戶接口112、運動傳感器103中的一個或多個運動傳感器、一個或多個照相機130和任何適當(dāng)?shù)膫鞲衅骰蛘咻斎朐O(shè)備的任意組合，來捕捉手勢。

計算機可讀介質(zhì)106還可以用于存儲當(dāng)處理器104執(zhí)行軟件時所使用或者操作的數(shù)據(jù)。在本公開內(nèi)容的一個方面，可以在計算機可讀介質(zhì)106中存儲手勢詞匯122(或者手勢庫)。手勢詞匯122包含該裝置100可以識別的多種手勢(或者手勢數(shù)據(jù))。舉一個例子，詞匯122可以包含字母表、字母、符號、數(shù)字、標(biāo)志或者任何適當(dāng)?shù)氖謩?。在本公開內(nèi)容的一些方面，用戶可以通過適當(dāng)?shù)挠?xùn)練過程，對詞匯122進行修改、減少或者擴展。

處理系統(tǒng)中的一個或多個處理器104可以執(zhí)行軟件。軟件應(yīng)當(dāng)被廣泛地解釋為意味著指令、指令集、代碼、代碼段、程序代碼、程序、子程序、軟件模塊、應(yīng)用、軟件應(yīng)用、軟件包、例程、子例程、對象、可執(zhí)行文件、執(zhí)行的線程、過程、函數(shù)等等，無論其被稱為軟件、固件、中間件、微代碼、硬件描述語言還是其它術(shù)語。軟件可以位于計算機可讀介質(zhì)106中。計算機可讀介質(zhì)106可以是非暫時性計算機可讀介質(zhì)。舉例而言，非暫時性計算機可讀介質(zhì)包括磁存儲器件(例如，硬盤、軟盤、磁帶)、光盤(例如，壓縮光盤(cd)或者數(shù)字通用光盤(dvd))、智能卡、閃存器件(例如，卡、棒或鑰匙驅(qū)動器)、隨機存取存儲器(ram)、只讀存儲器(rom)、可編程rom(prom)、可擦除prom(eprom)、電可擦除prom(eeprom)、寄存器、可移動盤以及用于存儲能夠由計算機進行存取和讀取的軟件和/或指令的任何其它適當(dāng)介質(zhì)。計算機可讀介質(zhì)106可以位于處理系統(tǒng)114中、位于處理系統(tǒng)114之外、或者跨越包括處理電路114的多個實體來分布。計算機可讀介質(zhì)106可以體現(xiàn)在計算機程序產(chǎn)品中。舉例而言，計算機程序產(chǎn)品可以包括在包裝材料中的計算機可讀介質(zhì)。本領(lǐng)域技術(shù)人員將認(rèn)識到，如何最佳地實現(xiàn)貫穿本公開內(nèi)容所給出的描述的功能，取決于特定的應(yīng)用和對整個系統(tǒng)所施加的設(shè)計約束。

圖2是根據(jù)本公開內(nèi)容的方面，示出使用手勢元素的手勢捕捉方法200的流程圖。舉一個例子，方法200可以由裝置100或者任何適當(dāng)?shù)脑O(shè)備來執(zhí)行。在方框202處，裝置100使用其用戶接口112(例如，觸摸屏、鼠標(biāo)、觸摸板)、運動傳感器103、照相機130或者任何適當(dāng)?shù)妮斎朐O(shè)備，來捕捉手勢。如本公開內(nèi)容中所使用的手勢可以指代裝置100接收或者檢測到的任何非語言輸入或者運動。舉一個例子，可以通過將該裝置從第一位置移動到第二位置來輸入手勢。例如，該裝置可以使用運動傳感器103(其可以是加速度計、慣性傳感器或者陀螺儀)來檢測這樣的運動。在另一個例子中，可以利用指向設(shè)備(例如，鼠標(biāo)或者跟蹤球)或者通過在觸摸屏或觸摸板上進行繪畫來輸入手勢。在另一個例子中，可以通過在該裝置的照相機130前方做手勢來輸入手勢。捕捉通過任何適當(dāng)?shù)姆椒▉韴?zhí)行的手勢，使其相應(yīng)的原始數(shù)據(jù)可用于進一步的處理。

在方框204處，一旦捕捉到一個或多個手勢的數(shù)據(jù)，裝置100通過處理與所捕捉的手勢相關(guān)聯(lián)的數(shù)據(jù)，來執(zhí)行用于識別所捕捉的手勢的操作。例如，該數(shù)據(jù)可以包括從該裝置的輸入或者傳感器(其包括用戶接口112、運動傳感器103和/或照相機103)中的一者或多者接收的原始數(shù)據(jù)。在圖3-9中所示出的例子中，將更詳細(xì)地描述模塊204的手勢識別的操作。在判斷框206處，如果識別出所捕捉的手勢(即，所捕捉的手勢與詞匯中包含的手勢相匹配)，則方法200繼續(xù)進行到方框208；否則，其可以結(jié)束或者返回到方框202，在所述方框202處可以捕捉另一個手勢。裝置100可以執(zhí)行手勢識別代碼120，以執(zhí)行手勢捕捉方法200和各種手勢識別功能或過程，這將下文將進一步詳細(xì)地描述。

在手勢識別期間，裝置100判斷所捕捉的手勢是否是詞匯122中的手勢中的一個手勢，其中詞匯122包括關(guān)于裝置100可以識別或者認(rèn)為有效的手勢的信息。在本公開內(nèi)容的一個方面，方法200可以使用詞匯210，其中詞匯210包括用于針對每個可識別的手勢來描述一組手勢元素和它們的前后關(guān)系依賴性的手勢定義。下文將詳細(xì)地描述手勢元素和它們的前后關(guān)系依賴性。在一些例子中，詞匯210可以與圖1的詞匯122相同。在方框208處，裝置100可以響應(yīng)于所識別的手勢，執(zhí)行一個或多個任務(wù)或者操作。例如，當(dāng)識別出該手勢時，該裝置可以激活特定的功能或者操作，或者停用特定的功能或者操作。在另一個例子中，所識別的手勢可以是對某種用戶操作或者程序的輸入數(shù)據(jù)或者控制。

圖3是根據(jù)本公開內(nèi)容的方面，示出用于使用手勢元素之間的前后關(guān)系依賴性來識別手勢的手勢識別方法300的流程圖。方法300可以由裝置100或者用于識別手勢的任何適當(dāng)?shù)脑O(shè)備來執(zhí)行。舉一個例子，可以在圖2的方框204處執(zhí)行方法300，以識別手勢。手勢識別方法300使用手勢元素之間的前后關(guān)系依賴性來執(zhí)行手勢識別?？梢詫σ幌盗惺謩菰貋韴?zhí)行手勢識別，而不是一次對手勢的所有原始數(shù)據(jù)進行處理。因此，可以減少數(shù)據(jù)大小，以及可以提高整體識別準(zhǔn)確性。手勢元素的一些非限制示例是向上、向下、向左、向右、左上、右上、左下、右下、畫圓或者任何其它的運動?；谑褂玫膫鞲衅鞯念愋?，手勢元素可以包括任何其它適當(dāng)?shù)目蓞^(qū)分的運動。

參見圖4，當(dāng)用戶通過操作裝置來繪制字符“a”時，相應(yīng)的手勢元素可以包括“畫圓”元素402，接著是“向下”元素404。類似地，當(dāng)繪制字符“b”時，手勢元素可以包括“向下”元素406，接著是“畫圓”元素408。雖然兩個例子(“a”和“b”手勢)均產(chǎn)生“畫圓”和“向下”手勢元素，但對于“a”和“b”而言，手勢元素具有不同的前后關(guān)系依賴性。對于“a”手勢而言，“畫圓”手勢元素402之后是“向下”手勢元素404。但是，對于“b”手勢而言，“畫圓”手勢元素408在“向下”手勢元素406之后。也就是說，手勢元素的前后關(guān)系依賴性可以提供關(guān)于針對特定手勢的手勢元素的時序(時間)或者順序信息。

返回參見圖3，在方框302處，裝置從一個或多個手勢捕捉傳感器生成與捕捉的手勢相對應(yīng)的原始數(shù)據(jù)。舉一個例子，裝置使用原始數(shù)據(jù)捕捉塊142來接收一個或多個手勢捕捉傳感器生成的原始數(shù)據(jù)。傳感器的非限制性示例可以包括圖1的用戶接口112、運動傳感器103和/或照相機130中的一者或多者。在一個特定的示例中，當(dāng)用戶沿著與所期望的手勢(例如，字母“a”)相對應(yīng)的某種圖案來移動裝置時，運動傳感器103可以捕捉該手勢。

圖5是根據(jù)本公開內(nèi)容的方面，示出控制手勢捕捉的方法500的流程圖。舉一個例子，方法500可以由裝置100來執(zhí)行。該裝置可以在圖3的方框302處，執(zhí)行方法500來控制該裝置何時啟動和/或停止手勢捕捉功能。在判斷框502處，如果確定該裝置開始手勢捕捉，則方法繼續(xù)進行到方框504處；否則，其可以保持在方框502處。在本公開內(nèi)容的一些方面，用戶可以操作用戶接口112來以信號形式發(fā)送何時開始和/或停止手勢捕捉。在本公開內(nèi)容的一些方面，該裝置可以基于任何適當(dāng)?shù)目刂茩C制或者預(yù)定的條件，來開始和/或停止手勢捕捉。

在方框504處，裝置激活一個或多個手勢捕捉傳感器來生成與所捕捉的手勢相對應(yīng)的原始數(shù)據(jù)510。在一些例子中，該裝置可以使用用戶接口112、運動傳感器103和/或照相機130來捕捉手勢和生成相應(yīng)的原始數(shù)據(jù)。原始數(shù)據(jù)510可以以任何適當(dāng)?shù)母袷剑鎯υ谥T如計算機可讀介質(zhì)106、存儲器105和/或任何非暫時性存儲介質(zhì)之類的適當(dāng)?shù)拇鎯υO(shè)備中。在一些例子中，可以將原始數(shù)據(jù)存儲在一個或多個遠程數(shù)據(jù)存儲處(例如，云存儲)。在判斷框506處，如果確定該裝置停止捕捉，則該方法繼續(xù)進行到方框508處；否則，其繼續(xù)進行到方框504處。在方框508處，該裝置停用手勢捕捉傳感器，或者停止從傳感器接收原始數(shù)據(jù)。可以使用方法300、600和/或900，對方法500所捕捉的原始數(shù)據(jù)510進行處理和/或操作，以基于手勢的手勢元素之間的前后關(guān)系依賴性來識別該手勢。

返回到圖3，在方框304處，裝置可以利用手勢元素分類塊144，對所捕捉的手勢的原始數(shù)據(jù)進行處理以及分類成一個或多個手勢元素。舉一個例子，該裝置可以具有手勢詞匯122，所述手勢詞匯122可以包括標(biāo)準(zhǔn)字符集(例如，拉丁字符)或者任何預(yù)先規(guī)定的手勢模式或者符號。手勢詞匯還存儲針對每個可識別的手勢的預(yù)定的手勢元素。在本公開內(nèi)容的一個方面，該裝置可以使用基于hmm的方法來對原始數(shù)據(jù)進行處理，以確定針對某種手勢的手勢元素。例如，可以將手勢“a”的原始數(shù)據(jù)分類成“畫圓”手勢元素之后接著“向下”手勢元素。在另一個例子中，可以將手勢“b”的原始數(shù)據(jù)分類成“向下”手勢元素之后接著“畫圓”手勢元素。在另一個例子中，可以將手勢“w”的原始數(shù)據(jù)分類成依次的“右下”手勢元素、“右上”手勢元素、另一個“右下”手勢元素和另一個“右上”手勢元素。

在方框306處，裝置可以使用前后關(guān)系依賴性確定塊146，來確定和分析方框304的手勢元素之間的前后關(guān)系依賴性。前后關(guān)系依賴性指代這些手勢元素以特定的時間順序或次序彼此相鄰出現(xiàn)的概率。在本公開內(nèi)容的一個方面，可以使用高斯混合模型(gmm)或者任何適當(dāng)?shù)母怕誓Ｐ?，來?xùn)練這些概率。在本公開內(nèi)容的另一個方面，可以使用深度神經(jīng)網(wǎng)絡(luò)(dnn)來訓(xùn)練這些概率。舉一個例子，如果該裝置被配置為識別出拉丁字符，則其根據(jù)上下文更可能(即，更高概率)是“畫圓”手勢元素之后接著“向下”手勢元素，而不是針對某種手勢的“左下”手勢元素。這是由于其可以被假定：與“畫圓”之后接著“左下”依賴性(例如，針對另一個手勢或未識別出的手勢)的概率相比，“畫圓”之后接著“向下”依賴性(例如，針對字母“a”)的概率更高。在本公開內(nèi)容的一些方面，該裝置可以基于所確定的前后關(guān)系依賴性，對手勢元素進行重新分類。

在方框308處，裝置可以使用手勢識別塊148，以基于方框306的手勢元素來識別所捕捉的手勢。在本公開內(nèi)容的一個方面，前后關(guān)系依賴性確定在本質(zhì)上可以是連續(xù)的。在一些例子中，手勢元素可以是預(yù)定的?？梢酝ㄟ^使用諸如dnn之類的機器學(xué)習(xí)方法的適當(dāng)訓(xùn)練過程，來增加和/或刪除手勢元素。在一些例子中，可以向詞匯中增加新的可識別手勢，以及更新用于對新手勢進行分類的相應(yīng)的上下文概率。

圖6是根據(jù)本公開內(nèi)容的方面，示出手勢元素分類方法600的流程圖。方法600可以由裝置100或者任何適當(dāng)?shù)脑O(shè)備來執(zhí)行，以將手勢的原始數(shù)據(jù)分類成一個或多個手勢元素。舉一個例子，裝置可以使用手勢元素分類塊144(參見圖1)，將原始數(shù)據(jù)分類成手勢元素。在手勢元素分類方法600的以下描述中，可以假定該裝置正在使用某些傳感器，捕捉針對一個或多個手勢的原始數(shù)據(jù)。在方框602處，在第一時間間隔(t1)中，該裝置使用適當(dāng)?shù)纳舷挛哪Ｐ?例如，基于gmm的模型)，將手勢的第一部分的原始數(shù)據(jù)分類成第一手勢元素。在方框604處，在第二時間間隔(t2)中，該裝置將手勢的第二部分的原始數(shù)據(jù)分類成第二手勢元素。在方框606處，在第三時間間隔(t3)中，該裝置可以基于手勢元素的前后關(guān)系依賴性，對手勢的第一部分和/或第二部分的原始數(shù)據(jù)進行重新分類。當(dāng)后來分類的手勢元素的前后關(guān)系依賴性指示針對重新分類的手勢元素的更高概率時，該裝置可以將先前分類的原始數(shù)據(jù)重新分類成不同的手勢元素。將利用參照圖7所描述的例子，來描繪方法600。

圖7是根據(jù)本公開內(nèi)容的方面，示出基于手勢元素之間的前后關(guān)系依賴性的手勢元素確定過程700的例子的繪圖。舉一個例子，過程700可以由裝置100或者使用手勢元素分類方法600的任何適當(dāng)設(shè)備來執(zhí)行，以使用適當(dāng)?shù)纳舷挛哪Ｐ?例如，基于gmm的模型)，將手勢的原始數(shù)據(jù)分類或者重新分類成一個或多個手勢元素。在該特定的例子中，假定用戶正在操作裝置100來用動作示意字母“w”。在第一時間間隔(t1)中，可以將“w”手勢的第一部分702的原始數(shù)據(jù)分類成“向下”手勢元素。在第二時間間隔(t2)中，可以將“w”手勢的第二部分704的原始數(shù)據(jù)分類成“向右”手勢元素，即使實際的輸入數(shù)據(jù)還可以被確定成“右上”手勢元素。在該例子中，該裝置可以考慮：根據(jù)上下文模型，與“向下”手勢元素之后接著“右上”手勢元素的概率相比，“向下”手勢元素之后接著“向右”手勢元素的概率更高。到這一點，如果沒有更多的原始數(shù)據(jù)需要進行處理，則可以將從第一和第二時間間隔所確定的手勢元素識別成字母“l(fā)”手勢，其是詞匯中的有效手勢。在該例子中，將要處理更多的原始數(shù)據(jù)。

在第三時間間隔(t3)中，可以將“w”手勢的第三部分706的原始數(shù)據(jù)分類成“右下”手勢元素。在該情況下，對“右下”手勢元素的確定可能使得該裝置對在第一和第二時間間隔中確定的手勢元素進行重新分類?；诘侥壳盀橹顾_定的手勢元素(例如，對于第一、第二和第三部分而言)之間的前后關(guān)系依賴性，該裝置可以確定：與先前的分類相比，時間間隔t1、t2的手勢元素是“右下”和“右上”的概率更高。因此，該裝置可以將在第一至第三時間間隔內(nèi)的手勢元素重新分類成“右下”、“右上”和“右下”。隨后，在第四時間間隔(t4)中，可以將“w”手勢的第四部分708的原始數(shù)據(jù)分類成“右上”手勢元素。在該時間點，如果手勢捕捉停止，則可以使用時間間隔t1-t4的這些手勢元素來識別“w”手勢(例如，在圖3的方框308中)。這種基于前后關(guān)系依賴性的手勢元素分類在本質(zhì)上可以是連續(xù)的(時間連續(xù)的)。也就是說，可以基于未來數(shù)據(jù)的分類，對先前分類的原始數(shù)據(jù)進行重新分類，直到識別出有效手勢或者停止手勢識別為止。

圖8是根據(jù)本公開內(nèi)容的方面，示出基于手勢元素之間的前后關(guān)系依賴性的手勢元素確定處理800的另一個例子的繪圖。舉一個例子，過程800可以由裝置100或者任何適當(dāng)?shù)脑O(shè)備來執(zhí)行，以使用適當(dāng)?shù)纳舷挛哪Ｐ?例如，基于gmm的模型)，將手勢的原始數(shù)據(jù)分類或者重新分類成一個或多個手勢元素。在該特定的例子中，假定用戶正在操作裝置100來用動作示意字母“h”。在第一時間間隔(t1)中，可以將“h”手勢的第一部分802的原始數(shù)據(jù)分類成“左下”手勢元素。在第二時間間隔(t2)中，可以將“h”手勢的第二部分804的原始數(shù)據(jù)分類成“右上”手勢元素。在該例子中，該裝置可以考慮：根據(jù)某種上下文模型，與其它可能組合的概率相比，“左下”手勢元素之后接著“右上”手勢元素的概率更高。

在第三時間間隔(t3)中，可以將“h”手勢的第三部分806的原始數(shù)據(jù)分類成“右下”手勢元素。隨后，在第四時間間隔(t4)中，將“h”手勢的第四部分808的原始數(shù)據(jù)和第三部分806的原始數(shù)據(jù)進行組合，并一起重新分類成單一的“右下”手勢元素。在該時間點，如果手勢捕捉停止，則可以使用時間間隔t1-t4的這些手勢元素來識別“h”手勢(例如，在圖3的方框308中)。這種基于前后關(guān)系依賴性的手勢元素分類/重新分類在本質(zhì)上可以是連續(xù)的(時間連續(xù)的)，直到識別出有效手勢或者停止手勢識別為止。

圖9是根據(jù)本公開內(nèi)容的方面，示出手勢元素重新分類方法900的流程圖。方法900可以由裝置100或者任何適當(dāng)?shù)脑O(shè)備來執(zhí)行，以對手勢的原始數(shù)據(jù)進行重新分類。舉一個例子，裝置可以使用手勢元素分類塊144(參見圖1)，對手勢元素進行重新分類。在方框902處，裝置將手勢的第一部分和第二部分分類成第一手勢元素和第二手勢元素。例如，該手勢可以是圖7的“w”字母。第一部分可以是部分702，第二部分可以是圖7的部分704。在方框904處，該裝置確定第一手勢元素和第二手勢元素以時間順序彼此相鄰出現(xiàn)的第一概率(p1)。在方框906處，該裝置還將該手勢的第三部分分類成第三手勢元素，第一、第二和第三手勢元素形成時間序列。在方框908處，該裝置將第一概率(p1)與當(dāng)將第一、第二和/或第三部分被分類成其它可能的手勢元素時的其它概率(p2、p3、p4、…、pn)進行比較。如果第一概率比其它概率要高(即，p1>p2、p3、p4、…或pn)，則在方框912處，該裝置保持當(dāng)前分類；否則，在方框914處，該裝置可以對第一、第二和/或第三部分進行重新分類。在其它例子中，可以將手勢元素重新分類方法900擴展到涉及三個以上的手勢元素的例子。

在本公開內(nèi)容之中，“示例性的”一詞被用于意指著“用作例子、例證或說明”。本文中描述為“示例性”的任何實現(xiàn)方式或者方面不應(yīng)被解釋為比本公開內(nèi)容的其它方面更優(yōu)選或更具優(yōu)勢。同樣，術(shù)語“方面”并不需要本公開內(nèi)容的所有方面都包括所討論的特征、優(yōu)點或者操作模式。本文使用“耦合”一詞來指代兩個對象之間的直接耦合或者間接耦合。例如，如果對象a物理地接觸對象b，并且對象b接觸對象c，則對象a和c可以仍然被認(rèn)為是彼此之間耦合的，即使它們彼此之間并沒有直接地物理接觸。例如，第一管芯可以耦合到包裝中的第二管芯，即使第一管芯從未直接地與第二管芯物理地接觸。廣義地使用術(shù)語“電路”和“電子電路”，它們旨在包括電子設(shè)備和半導(dǎo)體的硬件實現(xiàn)方式(其中當(dāng)連接和配置這些電子設(shè)備和半導(dǎo)體時，實現(xiàn)對本公開內(nèi)容中所描述的功能的執(zhí)行，而不作為對電子電路的類型的限制)以及信息和指令的軟件實現(xiàn)方式(其中當(dāng)這些信息和指令由處理器執(zhí)行時，實現(xiàn)對本公開內(nèi)容中所描述的功能的執(zhí)行)。

可以對圖1-9中所示出的組件、步驟、特征和/或功能中的一者或多者進行重新排列和/或組合成單一組件、步驟、特征或者功能，或者體現(xiàn)在幾個組件、步驟或者功能中。還可以增加另外的元素、組件、步驟和/或功能，而不偏離本文所公開的新穎特征。圖1中所示出的裝置、設(shè)備和/或組件可以被配置為執(zhí)行本文所描述的方法、特征或步驟中的一者或多者。本文所描述的新穎算法也可以利用軟件來高效地實現(xiàn)，和/或嵌入在硬件之中。

應(yīng)當(dāng)理解的是，所公開方法中的特定順序或步驟層次是對示例性過程的說明。應(yīng)當(dāng)理解的是，根據(jù)設(shè)計偏好，可以重新排列方法中的特定順序或步驟層次。所附的方法權(quán)利要求以示例順序給出了各種步驟的元素，但并不意味著其受到給出的特定順序或?qū)哟蔚南拗?，除非本文明確地進行了記載。

為使本領(lǐng)域任何技術(shù)人員能夠?qū)崿F(xiàn)本文描述的各個方面，提供了前述描述。對于本領(lǐng)域技術(shù)人員來說，對這些方面的各種修改都是顯而易見的，并且本文所定義的總體原理也可以適用于其它方面。因此，本發(fā)明并不旨在限于本文示出的方面，而是符合與權(quán)利要求的語言表達相一致的全部范圍，其中除非特別說明，否則用單數(shù)形式對元素的引用并不旨在意味著“一個和僅僅一個”，而可以是“一個或多個”。除非另外特別說明，否則術(shù)語“一些”指代一個或多個。指代一個列表項“中的至少一個”的短語是指這些項的任意組合，其包括單一成員。舉例而言，“a、b或c中的至少一個”旨在覆蓋：a；b；c；a和b；a和c；b和c；a、b和c。貫穿本公開內(nèi)容描述的各個方面的部件的所有結(jié)構(gòu)和功能等價物以引用方式明確地并入本文中，并且旨在由權(quán)利要求所涵蓋，這些結(jié)構(gòu)和功能等價物對于本領(lǐng)域普通技術(shù)人員來說是公知的或?qū)⒁枪摹４送?，本文中沒有任何公開內(nèi)容是想要奉獻給公眾的，不管這樣的公開內(nèi)容是否明確記載在權(quán)利要求書中。此外，不應(yīng)依據(jù)35u.s.c.§112第六段來解釋任何權(quán)利要求要素，除非該要素是明確使用“用于……的單元”的短語進行記載，或者在方法權(quán)利要求的情況下，該構(gòu)成要素是使用“用于……的步驟”的短語來記載的。