專利名稱：用于響應(yīng)于麥克風輸出的觸摸手勢檢測的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的實施例為用于響應(yīng)于一個或更多麥克風的輸出檢測觸摸手勢的系統(tǒng)和方法。在一類實施例中，本發(fā)明為觸摸手勢檢測系統(tǒng)，包括包括至少一個麥克風的設(shè)備；以及處理器，其耦接且配置為處理每個麥克風的輸出以識別至少一種觸摸手勢(手勢，由設(shè)備用戶做出，其是或者包括用戶對設(shè)備的觸摸)。
背景技術(shù)：
貫穿本公開，包括在權(quán)利要求書中，“對”信號或數(shù)據(jù)執(zhí)行操作(例如，對信號進行濾波、縮放或轉(zhuǎn)換)的表述被廣義地用于表示直接對信號或數(shù)據(jù)或者對信號或數(shù)據(jù)的處理過的變體(例如對在執(zhí)行對其的操作之前已經(jīng)經(jīng)歷了初步濾波的信號變體)執(zhí)行操作。貫穿本公開，包括在權(quán)利要求書中，表述“系統(tǒng)”被廣義地用于表示設(shè)備、系統(tǒng)或子系統(tǒng)。例如，實現(xiàn)解碼器的子系統(tǒng)可以稱為解碼器系統(tǒng)，包括該子系統(tǒng)的系統(tǒng)(例如，響應(yīng)于多個輸入產(chǎn)生X輸出信號的系統(tǒng)，在其中該子系統(tǒng)產(chǎn)生輸入M，其它的X-M輸入接收自外部源)也可以稱為解碼器系統(tǒng)。貫穿本公開，“揚聲器”和“擴音器”同義地用于表示任何聲音發(fā)射換能器。貫穿本公開，包括在權(quán)利要求書中，“麥克風”表不響應(yīng)于聲音輸入產(chǎn)生電信號的任何換能器。聲音輸入可以為入射在麥克風處的包括縱向壓力波能量和/或剪切波能量(例如，表面聲波)的聲音信號，和/或麥克風或麥克風所安裝到的物體的機械振動。例如，麥克風(安裝到框架)可能響應(yīng)于施加到麥克風或框架的導致麥克風振動的力(例如，觸摸)，或響應(yīng)于通過空氣傳播到麥克風且入射在麥克風處的壓力波，或響應(yīng)于經(jīng)框架傳播到麥克風并入射在麥克風處的表面聲波，產(chǎn)生輸出信號(電信號)。貫穿本公開，包括在權(quán)利要求書中，表述“觸摸手勢”表示設(shè)備用戶做出的手勢，其是或者包括用戶對設(shè)備的觸摸(例如敲擊、滑動或者其它觸摸)。貫穿本公開，包括在權(quán)利要求書中，表述“敲擊手勢”(或“敲擊”)表示具有空間中的固定位置以及持續(xù)時間的觸摸手勢。用戶執(zhí)行敲擊的位置以及可選地敲擊的持續(xù)時間同樣在本發(fā)明的一些實施例中可以被識別。貫穿本公開，包括在權(quán)利要求書中，表述“動態(tài)手勢”(或“非敲擊”手勢)表示不是敲擊手勢的觸摸手勢，其具有軌跡(作為時間函數(shù)的空間路徑)以及持續(xù)時間。動態(tài)手勢的軌跡(或在表面上的軌跡投影)以及可選地持續(xù)時間同樣在本發(fā)明的一些實施例中可以被識別。貫穿本公開，包括在權(quán)利要求書中，術(shù)語“處理器”廣義地用于表示可編程或能以其它方式配置(例如，用軟件或固件)以對數(shù)據(jù)(例如，視頻或其它圖像數(shù)據(jù))執(zhí)行操作的系統(tǒng)或設(shè)備。處理器的例子包括現(xiàn)場可編程門陣列(或其它可配置的集成電路或芯片組)、編程和/或以其它方式配置來對音頻或其它聲音數(shù)據(jù)執(zhí)行流水線處理的數(shù)字信號處理器、可編程通用處理器或計算機以及可編程微處理器芯片或芯片組。許多常規(guī)設(shè)備包括允許用戶觸摸輸入的換能器(例如，由用戶的手和/或手指的位置和接觸確定的輸入)。這種設(shè)備的例子包括那些具有薄膜電導換能器、電容觸摸屏、電容觸摸換能器、跟蹤設(shè)備(例如，計算機鼠標)、接觸陣列、以及光(或可見光)換能器。觸摸已經(jīng)成為期望的設(shè)備操作模式。對于許多簡單設(shè)備(例如，藍牙耳機(headset))，所需的用戶控制接口非常簡單，因為它只需要執(zhí)行少量命令(例如，功率和音量控制)。盡管很多設(shè)備的控制可以使用接近或機械觸摸接口(比如電容接近傳感器)優(yōu)雅地實現(xiàn)，但是額外的觸摸傳感器成本是不受歡迎的。在本發(fā)明的典型實施例中，已經(jīng)存在于耳機(或其它設(shè)備)中的用于檢測環(huán)境聲音(例如，由用戶和/或音樂發(fā)出的聲音)的麥克風也用于檢測設(shè)備上的觸摸手勢。

發(fā)明內(nèi)容
在一類實施例中，本發(fā)明為用于檢測環(huán)境聲音(例如，由用戶和音樂發(fā)出的聲音)以及觸摸手勢的系統(tǒng)。該系統(tǒng)包括設(shè)備，包括配置為檢測環(huán)境聲音的至少一個麥克風；以及處理器，耦接和配置(或編程)為處理每個所述麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢(包括通過將該觸摸手勢與除了用戶故意的觸摸手勢之外的對該至少一個麥克風的輸入?yún)^(qū)分開)以及區(qū)分用戶對設(shè)備施加的敲擊和用戶對設(shè)備施加的至少一種動態(tài)手勢(敲擊之外的觸摸手勢)。在典型的實施例中，該設(shè)備為耳機，包括安裝至框架并配置為檢測由用戶(也包括至少一個揚聲器)發(fā)出的聲音的麥克風，每種可識別的觸摸手勢為在框架上(或在一個或多個麥克風上)的敲擊或滑動、或與在框架或一個或多個麥克風上的敲擊和滑動相關(guān)的動作。典型地，使用例如從麥克風信號集得到的統(tǒng)計信號屬性、關(guān)系和軌跡，從每個所述麥克風的輸出推斷的信息(例如，位置信息)用于(在一些情況下，與關(guān)于設(shè)備幾何構(gòu)型和/或表面屬性的信息一起)將每種觸摸手勢分類為相對于設(shè)備的移動(手指或其它物體的)的一組預定類別之一。典型地，該處理器配置成識別(從每個所述麥克風的輸出)施加在設(shè)備上的至少兩種動態(tài)手勢(例如，沿第一方向的滑動以及沿與第一方向相反的第二方向的滑動)中的每個的發(fā)生和類別以及在設(shè)備上的敲擊的發(fā)生。在一類實施例中，本發(fā)明為一種方法，用于處理設(shè)備的至少一個麥克風的輸出(例如耳機中的麥克風的輸出)以識別用戶對設(shè)備施加的至少一種觸摸手勢，包括通過將該觸摸手勢與除了用戶故意的觸摸手勢之外的對該至少一個麥克風的輸入?yún)^(qū)分開、以及通過區(qū)分用戶對設(shè)備施加的敲擊和用戶對設(shè)備施加的至少一種動態(tài)手勢，其中該至少一個麥克風的輸出也指示環(huán)境聲音(例如，用戶發(fā)出的聲音)。在此，短語“環(huán)境聲音”用于指與感興趣的觸摸手勢不相關(guān)的所有音頻?？蛇x地，該方法還包括響應(yīng)于每種所識別的觸摸手勢控制該設(shè)備(或包括該設(shè)備的系統(tǒng))的步驟。在一些這種實施例中，該方法包括處理該至少一個麥克風的輸出以區(qū)分施加在該設(shè)備上的敲擊和施加在設(shè)備上的動態(tài)手勢的預定組(典型地為小的組)中的每個的步驟。典型地，該設(shè)備包括每個麥克風安裝至的結(jié)構(gòu)(為了方便，稱為“框架”)，由在框架上(或直接在至少一個麥克風上)的觸摸(例如，敲擊或滑動)導致的麥克風輸出信號被分析以確定其是否顯示了指示預定手勢組的手勢之一的特性。該麥克風輸出處理可采用該設(shè)備的特定表面紋理以識別施加在該設(shè)備的表面上的觸摸手勢的發(fā)生和特性。優(yōu)選地，候選觸摸手勢的特性與預定組(例如小組)的可能手勢相匹配以提供可靠的手勢接口。當該設(shè)備包括至少兩個安裝至框架的麥克風時，該處理典型地采用該設(shè)備的空間特征(例如，安裝至框架的麥克風的相對位置)和/或該設(shè)備的特定表面紋理，以識別施加在設(shè)備表面上的觸摸手勢的發(fā)生并識別其特性。根據(jù)典型的實施例，觸摸手勢可以根據(jù)麥克風輸出信號以合理的靈敏度和特定性被識別和信號化。手勢處理(以根據(jù)本發(fā)明識別手勢)可典型地與已有的對每個麥克風的輸出的音頻預處理(例如噪聲、空間和回聲處理)組合而不顯著增加處理費用。在第二類實施例中，本發(fā)明為一種方法，用于處理設(shè)備的至少一個麥克風的輸出(例如耳機中的麥克風的輸出)以識別用戶對設(shè)備施加的至少一種觸摸手勢，包括通過確定以下中的至少一個 該至少一個麥克風的輸出(例如在適當頻帶中)的絕對功率(或電平)和/或該至少一個麥克風的所述輸出的功率譜的特性(例如，譜傾斜(spectral tilt))；該設(shè)備的兩個麥克風的輸出的功率比(例如在頻帶中)，其中該設(shè)備包括至少兩個麥克風；從該設(shè)備的兩個麥克風的輸出確定的相對功率譜的特性，其中該設(shè)備包括至少兩個麥克風；該至少一個麥克風的所述輸出的峰值對平均功率的比(例如，使用滑動時間窗口，窗口中的峰值功率(例如，在適當?shù)念l帶中)與窗口上的平均功率相比較的比率)；以及從設(shè)備的兩個麥克風隨時間的輸出確定的相互關(guān)聯(lián)峰值(cross correlationpeak)(例如，使用短時間的相互關(guān)聯(lián)來確定在移動時間窗口中麥克風輸出信號之間的相似度，作為應(yīng)用到輸出信號之一的時間滯后的函數(shù)，并找出每個窗口的峰值(即，產(chǎn)生最大相互關(guān)聯(lián)值的時間滯后))，其中該設(shè)備包括兩個麥克風。在一些第二類實施例中，該方法處理至少一個麥克風的輸出以識別至少一種觸摸手勢，包括通過確定所述絕對功率(或電平)、功率比、相對功率譜特性、峰值對平均功率的t匕、以及相互關(guān)聯(lián)峰值中的至少兩個的組合(例如,乘積或縮放和(scaled sum))。在一些第二類實施例中，該方法還包括一步驟，該步驟包括通過將所述觸摸手勢與除了用戶故意的觸摸手勢之外的對該至少一個麥克風的輸入?yún)^(qū)分開。在一些第二類實施例中，該方法還包括響應(yīng)于每種所識別的觸摸手勢控制該設(shè)備(或包括該設(shè)備的系統(tǒng))的步驟。在一些實施例中，本發(fā)明的方法包括麥克風輸出信號分析和分類步驟(例如，風檢測器)，其在某些情況下改變或禁止觸摸手勢的檢測，以避免錯誤的觸摸手勢檢測。在一些實施例中，本發(fā)明的方法包括將用戶手指的指甲執(zhí)行的觸摸手勢與用戶手指的指肚(pad)執(zhí)行的手勢區(qū)分開的步驟。在一些實施例中，本發(fā)明的方法包括基于狀態(tài)的濾波步驟(例如，使用隱馬爾科夫模型)，以改善觸摸手勢檢測性能(例如，可靠性)。在一些實施例中，本發(fā)明的方法處理該至少一個麥克風的輸出以識別該至少一種觸摸手勢，包括通過使用根據(jù)設(shè)備確定的與觸摸手勢檢測不直接相關(guān)的背景或狀態(tài)信息(例如，當前音量設(shè)定或其它當前設(shè)備用戶設(shè)定，當前信號水平或用戶活動，和/或其它麥克風輸入諸如環(huán)境、非聲音噪音水平)。
在本發(fā)明的系統(tǒng)的一些實施例中，該設(shè)備包括單個麥克風。在另一些實施例中，該設(shè)備包括兩個或更多麥克風，并且該處理識別一維和/或二維手勢。該設(shè)備的麥克風的首要目的可以是或可以不是手勢識別。因此，用戶的觸摸手勢(例如，在至少一個麥克風安裝至的框架上的敲擊或滑動)在某些情況下可以產(chǎn)生音頻噪聲，該噪聲可泄露到由麥克風捕獲的主音頻信號中。對于許多應(yīng)用來說，這不是所擔憂的。在一些噪聲情況下，該觸摸手勢可被噪聲模糊，并且因此手勢識別在過度喧鬧的環(huán)境中可能不起作用。再一次地，對于許多應(yīng)用來說，這不是所擔憂的。一些聲音條件或與該設(shè)備的無意的物理接觸可導致觸摸手勢的錯誤識別。在一類實施例中，錯誤的手勢識別被最小化。在許多應(yīng)用中，錯誤的手勢識別將不會導致?lián)鷳n。本發(fā)明的一些方面包括配置來執(zhí)行本發(fā)明方法的任何實施例的系統(tǒng)或設(shè)備，通過本發(fā)明的系統(tǒng)的任何實施例執(zhí)行的觸摸手勢檢測或識別方法，以及存儲用于實施本發(fā)明的方法或其步驟的任何實施例的代碼的計算機可讀介質(zhì)(例如，盤)。例如，本發(fā)明的系統(tǒng)可包括可編程通用處理器，其用軟件或固件編程和/或以其它方式配置成對數(shù)據(jù)執(zhí)行多種操作 中的任何操作，包括本發(fā)明的方法或其步驟的實施例。這種通用處理器可以為或包括具有輸入設(shè)備、存儲器和圖形卡的計算機系統(tǒng)，該計算機系統(tǒng)被編程(和/或以其它方式配置)以響應(yīng)于斷言到其的數(shù)據(jù)執(zhí)行本發(fā)明的方法(或其步驟)的實施例。


圖I為本發(fā)明的觸摸手勢檢測系統(tǒng)的一個實施例的正視圖和側(cè)視圖，該系統(tǒng)的耳機被用戶佩戴。圖2A為用戶對圖I的系統(tǒng)的耳機執(zhí)行敲擊手勢的圖。圖2B為用戶對圖I的系統(tǒng)的耳機執(zhí)行向上滑動手勢的圖。圖2C為用戶對圖I的系統(tǒng)的耳機執(zhí)行向下滑動手勢的圖。圖3為兩個曲線圖的組。上面的曲線圖表示本發(fā)明的系統(tǒng)的一個實施例的麥克風的輸出信號，下面的曲線圖表示本發(fā)明的系統(tǒng)的所述實施例的另一個麥克風的輸出信號。圖4為兩個曲線圖的組。上面的曲線圖表示本發(fā)明的系統(tǒng)的一個實施例的麥克風的輸出信號，下面的曲線圖表示本發(fā)明的系統(tǒng)的該實施例的另一個麥克風的輸出信號。圖5是一組曲線圖。上面的曲線圖是本發(fā)明的系統(tǒng)的一個實施例的麥克風的第一輸出信號的波形，其與同一系統(tǒng)的另一麥克風的第二輸出信號(其波形示于圖5的從頂部起第二個曲線圖中)同時產(chǎn)生。其它曲線圖表示通過處理該第一輸出信號和該第二輸出信號所產(chǎn)生的信號。
具體實施例方式本發(fā)明的許多實施例是技術(shù)上可行的。本領(lǐng)域普通技術(shù)人員根據(jù)本公開將容易知曉如何實施它們。本發(fā)明的系統(tǒng)和方法的實施例將參照圖1-5進行描述。參照圖1，我們描述本發(fā)明的系統(tǒng)的一個實施例，其包括耳機2和處理器6。圖I示出了佩戴耳機2的用戶的正視圖和側(cè)視圖。耳機2包括安裝到耳機的細長框架(3)的兩個麥克風(4和5)以及同樣安裝到框架3的在用戶耳朵附近的揚聲器(未示出)?？蚣?的一端支承在用戶的中耳(central ear)位置附近的麥克風5。麥克風4沿框架3的縱軸與麥克風5間隔開。處理器6通過無線鏈接(例如，藍牙鏈接)耦接至耳機2，麥克風4和5的輸出在鏈路上斷言到處理器6。圖I僅示出一個示例性實施例。許多備選的麥克風布置是可行的且實施在耳機設(shè)備以及體現(xiàn)本發(fā)明的其它系統(tǒng)中。通常，耳機的麥克風取向在大約指向用戶的嘴的線上，但是離用戶的嘴更遠的麥克風不一定位于耳道的有效中心外側(cè)，如圖I所示?？尚械脑O(shè)計包括超過兩個麥克風，以及圍繞耳朵并朝向用戶的嘴各種各樣地定位的多個麥克風或陣列。在圖I所示的系統(tǒng)的變型中，執(zhí)行本發(fā)明的方法的處理器與包括其輸出根據(jù)本發(fā)明被處理的至少一個麥克風的設(shè)備(例如，耳機)集成，或通過無線鏈路之外的鏈路與這樣的設(shè)備耦接。耳機2可以以常規(guī)方式實施，或其可以實施為具有設(shè)計成改善可靠性的表面(例如，以下所描述的類型)，處理器6能利用該表面根據(jù)麥克風4和5的輸出識別觸摸手勢。處理器6可以實施為可編程數(shù)字信號處理器(DSP)，其被編程和以其它方式配置 成對麥克風4和5的輸出執(zhí)行所需處理,包括對麥克風4和5的輸出信號的米樣執(zhí)行本發(fā)明的方法的實施例。備選地，處理器6可為可編程通用處理器(例如，PC或其它計算機系統(tǒng)或微處理器，其可以包括輸入設(shè)備和存儲器)，該處理器被用軟件或固件編程和/或以其它方式配置成執(zhí)行包括本發(fā)明方法的實施例的多個操作中的任何操作。在圖I系統(tǒng)的操作中，麥克風4和5以常規(guī)方式用于檢測環(huán)境聲音(例如，由用戶和音樂發(fā)出的聲音)。例如，麥克風4和5的輸出可以被放大、米樣、編碼、并傳輸給接收器(以常規(guī)方式)，然后接收器可以解碼所傳輸?shù)臄?shù)據(jù)并從解碼數(shù)據(jù)生成信號，其驅(qū)動揚聲器以使得收聽者可以從揚聲器的聲學輸出檢測由麥克風4和5原始檢測到的環(huán)境聲音(例如由耳機2的用戶發(fā)出的聲音)。在很多情況下，麥克風4和5的輸出被處理以實現(xiàn)對于期望信號的一些信號提取，典型地包括用戶的聲音。這種處理是通常的，技術(shù)對于本領(lǐng)域技術(shù)人員來說是公知的，且與本發(fā)明不太相關(guān)。本發(fā)明可以實施在這樣的系統(tǒng)中其中有對麥克風信號的額外實質(zhì)處理以將聲音(或其它想要的)信號與用戶周圍的不期望的背景噪音分離開。本發(fā)明的一些實施例的特征是觸摸手勢檢測使用各方面的該其它處理，比如頻域轉(zhuǎn)換或濾波器組，以實現(xiàn)手勢檢測的低附加復雜性。在圖I系統(tǒng)的操作中，麥克風4和5的輸出也根據(jù)本發(fā)明用于識別用戶已對耳機2執(zhí)行觸摸手勢的指示，并用于區(qū)分這些手勢。 在圖I系統(tǒng)的典型實施中，處理器6被編程和以其它方式配置為處理麥克風4和5的輸出以識別用戶已經(jīng)做出三種簡單觸摸手勢(在耳機2上敲擊，或?qū)蚣?施加的兩種不同動態(tài)手勢之一)之一的指示，并區(qū)分這些手勢。處理器6配置成識別框架3上的敲擊(例如如圖2A所示用戶手指的敲擊)或者直接對麥克風4或5執(zhí)行的敲擊。處理器6也配置成識別(并區(qū)分)如下動態(tài)手勢如圖2B所示，從相對更靠近麥克風4 (與到麥克風5相比)的點朝向麥克風5往上的手指滑動(在框架3上)；以及如圖2C所示，從相對更靠近麥克風5 (與到麥克風4相比)的點朝麥克風4往下的手指滑動(在框架3上)。處理器6被編程以分析從麥克風4和5接收的輸出信號從而識別該三種手勢(敲擊，往上滑動，往下滑動)中的每種的發(fā)生，并且從而將它們中的每種與其它普通信號狀況(其可包括由于用戶聲音、或音樂或風造成的對麥克風4和5的聲音輸入)區(qū)分開。圖3表不響應(yīng)于這六種信號情形中的每種的麥克風4和5的不例輸出。圖3的下曲線圖表示響應(yīng)于敲擊手勢(“敲擊”)、接著是往上滑動手勢(“上”)、接著是往下滑動手勢(“下”)、接著是用戶發(fā)出的聲音、接著是環(huán)境音樂、以及最后的由于風吹在耳機上而產(chǎn)生的輸入，由圖I的上麥克風5產(chǎn)生的輸出信號。圖3的上曲線圖表示響應(yīng)于相同順序的六種輸入敲擊手勢(“敲擊”)、接著是相同的往上滑動手勢(“上”)、然后是相同的往下滑動手勢(“下”)、相同的由用戶發(fā)出的聲音、相同的音樂、以及最后由于風產(chǎn)生的相同的聲學輸入，由圖I的下麥克風4產(chǎn)生的輸出信號。從圖3顯見的是，響應(yīng)于該六種輸入產(chǎn)生的麥克風信號的統(tǒng)計屬性是截然不同的。因此，即使存在一個或多個其它三種類型的輸入，處理器6也可以根據(jù)本發(fā)明的實施例被編程從而以可靠并高效的方式檢測和歸類三種用戶觸摸手勢中的任何一種的發(fā)生。更具體地，處理器6根據(jù)本發(fā)明的實施例被編程以執(zhí)行對圖3所示的類型的信號的概略分析，從而將與另一個麥克風輸出(例如麥克風5的輸出)中的離散孤立脈沖一致(例如，在預定短時間窗口內(nèi))的一個麥克風輸出(例如麥克風4的輸出)中的離散孤立脈沖識別為“敲擊”手勢，其中每個脈沖具有比預定閾值(例如，表示普通信號水平或功率的閾值，例如，響應(yīng)于“非敲擊”輸入的信號的平均幅值或功率)更大的幅值。響應(yīng)于敲擊的麥克風輸出很大程度上可由機械振動引起，因而響應(yīng)于框架3上的敲擊的來自于麥克風4和5的信號的相位對準(phase alignment)可與機械稱合(通過框架3)以及聲學稱合相關(guān)。在一些實施例中，處·理器6將用戶對設(shè)備2的敲擊識別為來自麥克風4的信號中的孤立脈沖或尖峰(超過閾值)的發(fā)生，其與來自麥克風5的信號中的孤立脈沖或尖峰(超過閾值)對準(例如，發(fā)生在短的預定時間窗口內(nèi))。在一些實施例中，處理器6被編程以將上(或下)滑動手勢識別為麥克風4和5的輸出的功率比的顯著改變(例如，在預定短時間上或在預定持續(xù)時間的時間窗口期間)。參考圖3，麥克風4的輸出的功率的運行平均(在具有非常短的持續(xù)時間的窗口上，例如具有
O.02秒持續(xù)時間的窗口)在從大約時間=1. 3秒到大約時間=1. 7秒的間隔期間隨時間下降，麥克風5的輸出功率的運行平均(在相同窗口上)在稍大間隔上(從大約時間=1. 2秒到大約時間=1. 7秒)隨時間增大。因此,在從大約時間=1. 3秒到大約時間=1. 7秒的時間間隔上，麥克風4的輸出的平均功率對麥克風5的輸出的平均功率的比率降低，這可以被處理器6識別為“向上滑動”手勢(用戶手指從框架3上的靠近麥克風4的點朝向麥克風5的滑動)的發(fā)生。類似地，麥克風4的輸出的平均功率對麥克風5的輸出的平均功率的比率在從大約時間=2. 3秒到大約時間=2. 7秒的時間間隔上增大，這可以被處理器6識別為“向下滑動”手勢(用戶手指從框架3上的靠近麥克風5的點向麥克風4的滑動)的發(fā)生。兩個麥克風的輸出(在預定短時間上或在預定持續(xù)時間的時間窗口期間)的功率比的變化不是經(jīng)常的，因為它很少響應(yīng)于除了滑動手勢之外對麥克風的預期(或普通的)聲學輸入(例如，聲音、音樂、風或用戶敲擊)而發(fā)生(以在圖3的從時間=1. 3秒到時間=1. 7秒以及時間=2. 3秒到時間=2. 7秒的時間間隔中那樣的結(jié)構(gòu)方式)。因此，處理器6可根據(jù)本發(fā)明的一些實施例被編程為將這樣的功率比偏移識別為滑動手勢(沿連接兩個麥克風的線段)的結(jié)果，該滑動手勢從一個麥克風朝向另一個麥克風移開。滑動手勢(例如，用戶手指在麥克風4和5之間沿著框架3滑動)典型地也導致相對于響應(yīng)正常聲音和/或環(huán)境音樂(或外部噪音)產(chǎn)生的信號要大些的麥克風信號。因此，在一些實施例中，處理器6被編程為僅在每個麥克風的輸出信號的平均功率在相關(guān)時間間隔期間超過預定閾值時將麥克風4的輸出的平均功率對麥克風5的輸出的平均功率的比的增大(或減小)(在預定短持續(xù)時間的時間間隔上或在預定持續(xù)時間的時間窗口期間)識別為滑動事件。麥克風4和5響應(yīng)于聲音(在圖3中標記為“聲音”的時間間隔中的信號)、環(huán)境音樂(在圖3中標記為“音樂”的時間間隔中的信號)、以及風(在圖3中標記為“風”的時間間隔中的信號)的輸出不展現(xiàn)出與由敲擊和滑動手勢導致的麥克風輸出(圖3的)同樣強的趨勢和孤立性。麥克風4和5響應(yīng)于風的輸出(在圖3中標記為“風”的時間間隔中的信號)可顯示出在一些方面與敲擊或滑動手勢導致的相關(guān)性類似的隨機相關(guān)性。為了避免將這種隨機相關(guān)性識別為觸摸手勢，在一些實施例中處理器6被編程為實現(xiàn)風檢測器(例如，將在比假定的手勢持續(xù)時間更長的時間間隔上超出預定閾值的麥克風輸出信號平均功率識別為風的結(jié)果，或者實現(xiàn)更精巧的檢測機制)和/或試探器，其防止事件(由一個或多個麥克風的輸出表示)被識別為觸摸手勢，除非該事件至少被該事件之前和之后的預定短時間間隔所隔離(從相關(guān)麥克風輸出信號(例如，響應(yīng)于風)超過預定閾值的每個時間間隔)。采用以此方
式編程的處理器6，可能不能識別在風失真期間發(fā)生的觸摸手勢。然而，在許多應(yīng)用中這不是問題。圖4的下曲線圖表示圖I的上麥克風5響應(yīng)于在設(shè)備2和用戶手指之間的一系列非手勢(隨機或偶然的)物理接觸(無意作為手勢)的輸出信號。圖4的上曲線圖表示圖I的下麥克風4響應(yīng)于相同系列的非手勢物理接觸的輸出信號。從圖4中繪出的信號的包絡(luò)線與由用戶的敲擊和滑動手勢所導致的那些(在圖3中繪出)相比顯見的是，處理器6 (或另一處理器)可根據(jù)本發(fā)明編程來將由故意的敲擊和滑動手勢導致的信號的結(jié)構(gòu)和特性與由非手勢接觸導致的那些區(qū)分開。可能需要處理器6的一定程度的調(diào)諧(或機器學習能力)來配置該處理器以具有對用戶對設(shè)備2有意執(zhí)行的特定觸摸手勢具有高靈敏度，并對設(shè)備2上的非手勢物理接觸具有免疫性。更一般地，實現(xiàn)本發(fā)明的實施例的用戶接口可以在普通應(yīng)用中有效地且方便地運行，盡管它們不實現(xiàn)機器學習技術(shù)。對于本領(lǐng)域普通技術(shù)人員顯而易見的是，這些實施例可以通過實施標準統(tǒng)計信號處理和機器學習技術(shù)而進一步精煉和改善。參考圖5,我們下面描述本發(fā)明的方法和系統(tǒng)的一些實施例中可由麥克風輸出指示的并用于隔離和識別觸摸手勢(例如，區(qū)分敲擊手勢和動態(tài)手勢，以及區(qū)分不同類型的動態(tài)手勢)的一些特征和提示。在與相關(guān)觸摸手勢的預期持續(xù)時間相關(guān)的時間長度上這些特征和提示的趨勢和測量是所關(guān)心的。圖5的上曲線圖示出三種手勢和一些典型的普通信號狀況的簡單測試序列。更具體地，圖5的上曲線圖表示圖I的上麥克風5響應(yīng)于敲擊手勢(“敲擊”)產(chǎn)生的輸出信號，接著是往上滑動手勢(“上”)，接著是往下滑動手勢(“下”)，接著是用戶發(fā)出的聲音，接著是環(huán)境音樂，最后是由于風吹在耳機上而導致的聲學輸入。圖5的第二個(從上起)曲線圖表示由圖I的下麥克風4響應(yīng)于相同輸入序列而產(chǎn)生的第二輸出信號。圖5中的其它曲線圖表示通過處理麥克風輸出信號(由圖I的麥克風4和5響應(yīng)于所標注的輸入序列產(chǎn)生)而產(chǎn)生的信號?？梢钥闯觯@些曲線圖的特征對敲擊、上和下手勢具有靈敏性和特異性)。處理器6 (或另一處理器)可編程為識別和使用這些特征的組合以實現(xiàn)觸摸手勢的全面的檢測器和分類器。圖5的第三個曲線圖(標為比率)是對于從200至1400Hz頻帶范圍內(nèi)的能量，遠麥克風對近麥克風的輸出的功率比。該比率繪制成dB對照時間。所述頻率范圍不是對本發(fā)明的限制，僅作為有用范圍的示例給出。大體上，已發(fā)現(xiàn)主要位于100Hz-3kHz范圍內(nèi)的譜權(quán)重是有用的。在該示例中，比率總為正，表明在本特定示例中，較遠的麥克風比較近的麥克風具有更大的增益。需要注意的是，麥克風的個體增益和取向在各種實施例中將變化，因此該比率的值的范圍和軌跡取決于設(shè)備的屬性。為了制作圖5中的第三曲線圖，在比率中使用了歸一化，使得對于由麥克風產(chǎn)生的顯著功率信號它僅從一致(unity) (Odb)偏離，從
而曲線圖示出的比率為功—率比=pow^ + powJIm。該映射降低了僅對于大聲信號由該
曲線圖指示的特征的活躍度，對于小功率，功率比漸進地接近一致。與分析頻帶中的最大可能輸入功率相反，Powermn值的建議范圍為-50db到_20db。這種簡單的方法產(chǎn)生功率比對由用戶在設(shè)備2上的故意或顯著觸摸導致的輸入的特異性。功率比特征作為手勢活動的指示符均是有用的，該比率隨時間的軌跡是動態(tài)手勢 的方向的指示符(例如，往上或往下的滑動手勢)。如果跨越一個或更多頻帶考慮本發(fā)明的系統(tǒng)的一對麥克風的輸出信號的功率(或電平)比率，那么處理器6 (或另一處理器)可根據(jù)本發(fā)明的一些實施例編程為將該比率的強趨勢(在與手勢方向相關(guān)的特定方向上)識別為動態(tài)手勢。由于在這種手勢的觸摸點的摩擦移動中通常存在固有隨機活動，因此一般不可能僅從功率(或電平)的大小比率(作為時間的函數(shù))及時推斷出任何情形下的觸摸點位置。然而，在一類實施例中，適當加權(quán)的比率估計和噪聲免疫(對低功率信號)表明一趨勢，該趨勢又指示滑動手勢的方向。更一般地，與總體譜形狀諸如譜傾斜相關(guān)的特征在檢測觸摸手勢的存在時可以是有利的。圖5中的第四個曲線圖(標有“功率”)為在合適的頻帶(該例子中為200-1400HZ)中從麥克風5輸出的信號的絕對功率電平。從該曲線圖顯見的是，絕對功率電平是顯著信號且因此是設(shè)備2的麥克風附近的觸摸手勢活動的良好指示符(例如，處理器6可以將絕對功率電平超過預定閾值的每次發(fā)生識別為觸摸手勢)。由于觸摸手勢一般靠近麥克風應(yīng)用，所以響應(yīng)于這種手勢產(chǎn)生的麥克風輸出信號的絕對功率(或電平)是手勢發(fā)生的指示符，特別是在被觸摸的設(shè)備表面具有足夠產(chǎn)生可檢測聲音以及機械振動的紋理時，該機械振動的幅度以可預知、可檢測的方式取決于施加于其上的力。特定手勢，尤其是包括在設(shè)備(包括至少一個麥克風)上的敲擊(例如，打擊觸摸)的那些，產(chǎn)生非常大的脈沖，該脈沖具有特征性的大的峰值對平均功率比。顯然其它特征對于進一步的辨別而言可以是有用的，然而本發(fā)明中列出的特征表現(xiàn)出具有有用且足夠的辨別能力且在分類目的的功用方面高于其它的特征。更一般地，由動態(tài)手勢造成的麥克風輸出信號中出現(xiàn)峰值的時間(或相位)可以趨向于伴隨著由聲學或機械輸入到達(麥克風處)的時間變化造成的觸摸的位置變化。在一些實施例中(例如，設(shè)備僅包括單個麥克風的一些實施例)，響應(yīng)于滑動手勢生成的麥克風輸出信號的絕對功率(或電平)隨時間的趨勢用于指示滑動手勢的發(fā)生，并指示手勢是朝向還是遠離麥克風地施加在設(shè)備上。圖5中的第五個曲線圖(標記為“PAPR”)為來自麥克風5的信號輸出的峰值對平均功率的比率。使用持續(xù)時間等于大約112ms的滑動時間窗口(7個16ms塊率的采樣塊)，該特征為任何一個窗口中的峰值功率(在200-1400HZ的頻帶中)對該窗口上的平均功率的線性刻度上的比率。觸摸手勢的摩擦和沖擊本質(zhì)可以產(chǎn)生這種特征中的顯著信號。從曲線圖顯見的是，PAPR是顯著信號且因此是設(shè)備2的麥克風附近的觸摸手勢活動的良好指示符(例如，處理器6可將PAPR超過預定閾值的每一次發(fā)生識別為觸摸手勢)。圖5中的第六個曲線圖(標記為“XCorr峰值”)是隨時間從兩個麥克風的輸出確定的相互相關(guān)峰值的圖。該特征涉及兩個麥克風之間到達的相位或相對時間。在這個示例中，使用短時間的相互關(guān)聯(lián)(以確定在短的移動時間窗口中兩個麥克風輸出信號之間的相似性，作為應(yīng)用到輸出信號之一的時滯的函數(shù))以及找出每個窗口的峰值(即，生成最大相互關(guān)聯(lián)值的時滯)來計算它。生成最大相互關(guān)聯(lián)值(對于每一個時間窗口)的時滯在圖5中相對于時間繪出。該特征的方向是動態(tài)手勢的方向(相對于麥克風之一)的指示符。延遲(圖5中繪出的時滯)的強趨勢指示滑動手勢，趨勢的傾斜指示滑動的方向(例如，在圖5的第五個曲線圖中具有負斜度的足夠持續(xù)時間的趨勢指示往上滑動手勢，圖5的第五個曲線圖中具有正斜度的足夠持續(xù)時間的趨勢指示往下滑動手勢)。
在本發(fā)明的一些實施例中，對響應(yīng)于滑動手勢產(chǎn)生的一對麥克風輸出信號實施全窗口相互關(guān)聯(lián)因子(correlator)延遲評估，并且結(jié)果被分析以指示滑動手勢的發(fā)生及方向。頻帶相互關(guān)聯(lián)因子可以用不同方式實現(xiàn)，包括跨越多個頻率子帶分析相位軌跡或組延遲。處理器6可編程為確定組合手勢指示符，例如，三個比率、功率以及PAPR特征的乘積(作為時間的函數(shù))。圖5中的第七個曲線圖(繪制在從最小值“空閑”到最大值“手勢”的刻度上)是這種組合手勢指示符的圖(比率、功率和PAPR特征的乘積)。組合手勢指示符被縮放和門限(thresholded)(指示符的縮放變體的合適閾值被識別，縮放的指示符超過該閾值的發(fā)生被識別為觸摸手勢)以移除一些噪聲并實現(xiàn)對于手勢的合適的選擇性和靈敏性。圖5的第八個曲線圖(繪制在從最小值“下”到最大值“上”的刻度上)是另一組合手勢指示符的圖比率和XCorr峰值特征的濾波變體導數(shù)的縮放和。這種組合手勢指示符指示每種動態(tài)手勢的發(fā)生和方向(即，往上手勢的方向和往下手勢的方向)。初始特征使用具有16ms塊率的變換(transform)來計算。因此,對于每個16ms可以獲得XCorr和比率的值。在10ms-80ms范圍內(nèi)的任何塊率(block rate)也適于本應(yīng)用。為了生成圖5中的第八個曲線圖，每個特征信號的濾波導數(shù)(filtered derivative)使用IOOms的時間常數(shù)計算，但是可以替代地使用從50ms-200ms濾波或平滑時間常數(shù)范圍的其它時間常數(shù)計算。從圖5的例子可以看出，與普通聲音、環(huán)境音樂(噪音)或風的活動分開，觸摸手勢可以容易地被識別。然而可以預見，設(shè)備周圍的顯著物理活動，諸如在置于頭或耳朵上、調(diào)整等期間，將觸發(fā)一定水平的初步手勢檢測錯誤警報。因此，本發(fā)明的方法的一些實施例包括至少一個附加的步驟以減少這種錯誤檢測的發(fā)生和影響。例如，該方法可以實施一種技術(shù)(諸如基于狀態(tài)的模型，例如隱馬爾科夫模型)以創(chuàng)建關(guān)于初步檢測的觸摸手勢的頻率和活躍度的可感測濾波器?？刂扑俾什荒苋我饪?典型地，從現(xiàn)實輸入通常預期每秒僅一或兩個手勢)。此外，設(shè)備背景諸如所檢測的先前的手勢、當前操作模式、當前音量、輸出信號水平、諸如取向和噪音的環(huán)境條件、以及諸如風或物理移動的正在進行的干擾的檢測等可全部用于推斷初步檢測的手勢是用戶故意的觸摸手勢的可能性(并且可選地，也用于推斷此時用戶最可能打算的手勢類型)。
使用基于狀態(tài)的濾波方法可以改善總體的觸摸手勢檢測可靠性。這種濾波可以利用觸摸手勢活動的成分和預期速率來濾除不想要的錯誤檢測。例如，隱馬爾科夫模型可用于模擬不同的音頻手勢。特別地，往上或往下滑動手勢的動態(tài)本質(zhì)可通過隱馬爾科夫模型很好地捕獲。為了改善滑動手勢可被分類的可靠性，一些實施例在手勢分類期間向模型增加更多的狀態(tài)信息和限制或者假定。例如，如果觀察到可能的滑動手勢(像滑動的手勢)，在確定其是往上滑動還是往下滑動時，處理器6可以利用額外的狀態(tài)信息，諸如當前預設(shè)音量、接收到的講話水平、當前輸出到揚聲器的信號水平、以及環(huán)境噪音水平。這種信息可對于分類不明確的情形可以是有用的。作為例子，如果環(huán)境噪音水平高或者最近增大，則處理器6可編程為增大不確定手勢(例如，滑動手勢)實際上是意圖增加設(shè)備音量的手勢的可能性(例如，將觸發(fā)設(shè)備音量增大的方向上的滑動手勢)。在很多應(yīng)用中，偶爾的錯誤手勢檢測不是很成問題。例如，在響應(yīng)于所檢測的觸摸手勢的耳機音量控制的情況中，由于單次錯誤手勢檢測而引起的小的音量調(diào)整可能不被用戶注意到。盡管如此，通常期望將錯誤檢測保持為最少。 通常，觸摸手勢的錯誤檢測或丟失手勢檢測極可能發(fā)生在非常大聲的環(huán)境下、在劇烈的風活動期間、或在不期望作為在設(shè)備上施加觸摸手勢的設(shè)備操縱期間。如上所述，可以采用合適的濾波以從初步手勢評估顯著減少噪聲。給定該應(yīng)用，錯誤觸摸手勢檢測的危險或影響是非常低的，并且因此，任憑明顯困難和噪音形式的輸入，實踐中觸摸手勢可以提供控制點和可用性而不需要任何附加硬件，這種實施方式的好處遠勝于極端情況中任何錯誤控制的影響。典型地，本發(fā)明的方法還包括響應(yīng)于每個所識別的觸摸手勢控制設(shè)備或系統(tǒng)的步驟(例如，包括一個或多個麥克風的設(shè)備，該麥克風的輸出被處理以識別觸摸手勢，或包括這種設(shè)備的系統(tǒng))。例如，圖I的系統(tǒng)的處理器6可配置成通過產(chǎn)生(響應(yīng)于所檢測的觸摸手勢)用于控制耳機2的揚聲器的輸出音量的控制信號來執(zhí)行這種實施例。更一般地，在設(shè)備(例如耳機或其它小的音頻設(shè)備)包括其輸出被處理以識別觸摸手勢的至少一個麥克風的實施例中，所檢測的觸摸手勢可用于低速控制功能(例如，音量控制)。在本發(fā)明的系統(tǒng)包括具有多個麥克風的設(shè)備的情形下，設(shè)備可具有紋理表面，該表面的紋理在觸摸手勢期間產(chǎn)生增大的聲學或機械振動。這改善了手勢檢測的可靠性。實現(xiàn)該作用的演示性紋理表面的一個例子是砂紙。對于觸摸手勢限定而言粗糙表面通常是優(yōu)選的。在本發(fā)明的包括具有單個麥克風的設(shè)備的系統(tǒng)的一些實施例中，由設(shè)備的紋理表面提供的空間限定可能有限。麥克風輸出信號功率隨時間的趨勢將給出關(guān)于動態(tài)手勢是朝向還是遠離該單個麥克風的指示。然而，這種動態(tài)手勢的錯誤識別可通過功率隨時間自然降低或增加的其它信號容易地觸發(fā)。設(shè)備(其包括至少一個輸出被處理以識別觸摸手勢的麥克風)的表面可具有可被有利地使用的特征圖案或紋理。這對于單個麥克風的情形是特別有用的。例如，設(shè)備的表面可具有重復的小尺寸表面特征(例如，維可牢(velcro)狀或拉鏈狀特征)的圖案，表面圖案的周期橫越該設(shè)備表面發(fā)生變化。這種情況中的觸摸手勢(由麥克風輸出指示)將具有指示性節(jié)距范圍以及跨越設(shè)備的節(jié)距趨勢，其可用于指示動態(tài)手勢的方向。
在一些實施例中，由本發(fā)明的系統(tǒng)檢測的觸摸手勢包括至少一個由用戶的指甲觸摸設(shè)備的觸摸手勢，其中該設(shè)備包括至少一個其輸出被處理以檢測手勢的麥克風。在一些這種實施例中，通過使用所檢測的手勢期間產(chǎn)生的麥克風輸出信號的適當特征，將用戶手指的指甲執(zhí)行的手勢和用戶手指的指肚執(zhí)行的手勢區(qū)分開(例如，區(qū)分可通過分析所檢測的手勢期間麥克風輸出信號的譜包絡(luò)線來進行)。特別地，需要注意的是指甲制造的手勢在更高的頻率具有更多的內(nèi)容。在一些實施中，二維動態(tài)手勢(具有跨越設(shè)備表面的二維軌跡)被檢測和分類。盡管解決方案可能有限，但是可以檢測和區(qū)分此類獨特的動態(tài)手勢的有用集合。將從本公開顯見的是，二維動態(tài)手勢檢測可以使用紋理和麥克風的適當組合以識別可能已產(chǎn)生了檢測信號的可能的摩擦手勢軌跡。在一些實施例中，利用麥克風信號活躍度檢測(諸如檢測當前風的存在)和圍繞觸摸接口的試探或語法規(guī)則的組合來獲得與由于故意觸摸手勢之外的麥克風輸入(例如風)引起的錯誤觸摸手勢識別相對照的魯棒性。如對于任何傳感接口那樣，錯誤容忍度應(yīng)當設(shè)計到該接口和用戶接口聚合體中。在很多應(yīng)用中，簡單手勢識別提供控制功能諸如功率和·音量控制的健壯且方便的方式。因為觸摸手勢一般生成顯著的麥克風輸出信號，所以它們可能難以在信號用于其常規(guī)目的之前從麥克風輸出信號去除(在根據(jù)本發(fā)明的觸摸手勢識別之后)。雖然一旦觸摸手勢被識別，就可以應(yīng)用對麥克風信號(由觸摸手勢產(chǎn)生)的衰減，但是一般沒有足夠的時間可用于這樣做(而沒有不期望地引入等待時間到麥克風輸出信號處理中)。實際上，對于多個麥克風的情形，通常存在某些形式的常規(guī)噪音或適當?shù)目臻g聲束形成或抑制。觸摸手勢的接近度和特性響應(yīng)可通過該處理被基本抑制。即使情況不是這樣，許多應(yīng)用中的觸摸手勢在設(shè)備使用期間(例如在使用藍牙耳機的通話期間)是不頻繁的。觸摸手勢噪音被限制發(fā)生，并且不會比用戶在使用期間觸摸設(shè)備更糟，該用戶觸摸是系統(tǒng)的其余部分必須容忍的普通且可接受的事件。此外，隨后的信號處理可能增加壓縮或限制度，從而盡管觸摸手勢可能顯著大于由麥克風信號指示的正常聲音信號，但是在隨后的處理后，觸摸手勢的剩余聲音會被減弱。以此方式，在普通場合，與設(shè)備上的偶爾觸摸手勢相關(guān)的音頻的存在不妨礙用于處理和隨后的通信的音頻使用或其它音頻應(yīng)用。本發(fā)明的普通實施例包括如下各方面一種用于包括一個或多個麥克風的設(shè)備(例如，緊湊設(shè)備)上的觸摸手勢的識別和分類的系統(tǒng)和方法，其利用至少一個所述麥克風的輸出信號的信號特征；這樣的系統(tǒng)和方法，其中該設(shè)備包括至少兩個麥克風，并且所使用的特征之一為跨越一個或多個頻帶麥克風信號功率或幅值的比率的趨勢(在與手勢的預期持續(xù)時間相關(guān)的時間窗口上)，或者其中該設(shè)備包括至少一個麥克風，并且所使用的特征之一為在與手勢的預期持續(xù)時間相關(guān)的時間窗口上跨越一個或多個頻帶的麥克風信號的絕對功率，或者所使用的特征之一是在與手勢的預期持續(xù)時間相關(guān)的時間窗口上對于全部麥克風信號或者跨越一個或更多頻帶的峰值麥克風信號對平均功率的比率，或者(其中該設(shè)備包括麥克風的陣列)特征之一為在與手勢的預期持續(xù)時間相關(guān)的時間窗口上跨越一個或多個頻帶跨越麥克風陣列的信號的相對相位的趨勢，或(其中該設(shè)備包括兩個麥克風)特征之一為在與手勢的預期持續(xù)時間相關(guān)的時間窗口上對全部信號或者部分濾波的信號帶計算的兩個麥克風輸出信號之間的瞬時時間索引的相互關(guān)聯(lián)的趨勢，或特征之一為與設(shè)備上所設(shè)計的表面紋理相關(guān)的節(jié)距評估量的趨勢，該節(jié)距軌跡在與手勢的預期持續(xù)時間相關(guān)的時間窗口上考慮;這樣的系統(tǒng)和方法，其中該設(shè)備包括兩個麥克風，相對功率譜(從麥克風的輸出確定)的特性用于檢測和區(qū)分手勢。為了確定該相對功率譜,確定指示麥克風輸出的相對功率(作為時間的函數(shù))的數(shù)據(jù)，并且對數(shù)據(jù)執(zhí)行時域到頻域的變換(例如余弦變換或傅立葉變換)；這樣的系統(tǒng)和方法，其中該設(shè)備的表面具有紋理或表面處理，其增強了從該設(shè)備的至少一個麥克風的輸出檢測觸摸手勢的能力；上述中的任何一種，附加有一組規(guī)則，其管理觸摸手勢的可感測率以及序列以避免錯誤檢測或丟失手勢；
上述中的任何一種，附加有信號分析和分類(例如風檢測器)，其可在某些情況下改變或禁用手勢檢測以避免錯誤的觸摸手勢檢測；上述中的任何一種，其中通過使用適當?shù)目臻g特征將由用戶手指的指甲執(zhí)行的手勢與由用戶手指的指肚執(zhí)行的手勢區(qū)分開(例如，其中該區(qū)分與在所檢測的手勢期間麥克風輸出信號的譜包絡(luò)線相關(guān));上述中的任何一種，使用基于狀態(tài)的濾波(例如隱馬爾科夫模型)以改善觸摸手勢檢測性能(例如，可靠性)；以及上述中的任何一種，額外使用從設(shè)備確定的背景或狀態(tài)信息，其與觸摸手勢方向不直接相關(guān)(例如，當前設(shè)備用戶設(shè)置、當前信號水平或用戶活動、和/或諸如環(huán)境噪音水平的其它麥克風輸入)。在一些實施例中，本發(fā)明的系統(tǒng)的處理器為可編程數(shù)字信號處理器(DSP)，其被編程和/或以其它方式配置為對指示至少一個麥克風的輸出信號的數(shù)據(jù)執(zhí)行處理，包括本發(fā)明的方法的實施例的步驟。例如，圖I的處理器6可實施為這種適當配置的DSP。備選地，本發(fā)明的系統(tǒng)的處理器為可編程通用處理器(例如，PC或其它計算機系統(tǒng)或微處理器，其可包括輸入設(shè)備和存儲器)，該處理器用軟件或固件編程和/或以其它方式配置(例如，響應(yīng)于控制數(shù)據(jù))為執(zhí)行包括本發(fā)明的方法的實施例的多種操作中的任何一種。例如，圖I的處理器6可實施為適當編程的微處理器或其它編程了的通用處理器。配置為執(zhí)行本發(fā)明的方法的實施例的通用處理器典型地耦接至輸入設(shè)備(例如，鼠標和/或鍵盤)、存儲器和顯示設(shè)備。本發(fā)明的其它方面為計算機可讀介質(zhì)(例如盤)，其存儲用于實施本發(fā)明的方法的任何實施例或其步驟的代碼。雖然本發(fā)明的具體實施例和本發(fā)明的應(yīng)用已經(jīng)描述于此，但是對本領(lǐng)域普通技術(shù)人員而言顯然的是，在不脫離這里描述和要求保護的本發(fā)明的范圍的情況下，對于在此描述的實施例和應(yīng)用的多種變型是可行的。例如，在此提及的信號(例如麥克風輸出信號)的時域和/或頻域處理(和/或時域到頻域的轉(zhuǎn)換)的示例旨在作為例子，無意將權(quán)利要求限制為需要任何權(quán)利要求中未明確的具體類型的處理和/或轉(zhuǎn)換。應(yīng)理解的是，雖然已經(jīng)顯示和描述了本發(fā)明的特定形式，但是本發(fā)明不限于所描述和顯示的特定實施例或所描述的特定方法。
權(quán)利要求
1.一種用于識別由用戶對設(shè)備施加的至少一種觸摸手勢的方法，包括如下步驟 (a)處理該設(shè)備的至少一個麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，其中該至少一個麥克風的輸出也指示環(huán)境聲音，包括通過將觸摸手勢與除了用戶故意的觸摸手勢之外對該至少一個麥克風的輸入?yún)^(qū)分開，以及通過區(qū)分由用戶對該設(shè)備施加的敲擊和用戶對該設(shè)備施加的至少一個動態(tài)手勢。
2.根據(jù)權(quán)利要求I所述的方法，還包括如下步驟 響應(yīng)于至少一個所述觸摸手勢的識別，控制該設(shè)備。
3.根據(jù)權(quán)利要求I所述的方法，還包括如下步驟 響應(yīng)于至少一個所述觸摸手勢的識別，控制包括該設(shè)備的系統(tǒng)。
4.根據(jù)權(quán)利要求I所述的方法，其中該設(shè)備是包括至少兩個麥克風的耳機，該麥克風的輸出被處理以識別和區(qū)分用戶對該耳機施加的敲擊和用戶對該耳機施加的至少一個動態(tài)手勢。
5.根據(jù)權(quán)利要求I所述的方法，其中該設(shè)備包括至少兩個麥克風，該麥克風的輸出被處理以識別和區(qū)分用戶對該設(shè)備施加的敲擊和用戶對該設(shè)備施加的至少一種動態(tài)手勢。
6.根據(jù)權(quán)利要求I所述的方法，其中步驟(a)包括處理該至少一個麥克風的輸出以區(qū)分對該設(shè)備施加的敲擊和對該設(shè)備施加的動態(tài)手勢的預定集合中的每種的步驟。
7.根據(jù)權(quán)利要求I所述的方法，其中步驟(a)包括麥克風輸出信號分析和分類步驟，該步驟響應(yīng)于至少一個確定的信號條件改變或禁用觸摸手勢的檢測以避免錯誤的觸摸手勢檢測。
8.根據(jù)權(quán)利要求I所述的方法，其中步驟(a)包括區(qū)分由用戶手指的指甲施加的觸摸手勢與由用戶手指的指肚施加的手勢的步驟。
9.根據(jù)權(quán)利要求I所述的方法，其中步驟(a)包括執(zhí)行基于狀態(tài)的濾波以改善觸摸手勢檢測性能的步驟。
10.根據(jù)權(quán)利要求I所述的方法，其中步驟(a)包括使用從該設(shè)備確定的與觸摸手勢檢測不直接相關(guān)的背景和狀態(tài)信息中的至少一個。
11.根據(jù)權(quán)利要求I所述的方法，其中步驟(a)包括確定每個所述麥克風的輸出的峰值對平均功率的比率。
12.根據(jù)權(quán)利要求I所述的方法，其中該設(shè)備包括至少兩個麥克風，步驟(a)包括確定作為時間的函數(shù)的麥克風輸出的功率比。
13.根據(jù)權(quán)利要求I所述的方法，其中該設(shè)備包括至少兩個麥克風，步驟(a)包括確定從麥克風的輸出確定的相對功率譜的特性。
14.根據(jù)權(quán)利要求I所述的方法，其中該設(shè)備包括至少兩個麥克風，步驟(a)包括從麥克風的輸出確定作為時間的函數(shù)的相互關(guān)聯(lián)峰值。
15.根據(jù)權(quán)利要求I所述的方法，其中該設(shè)備具有表面紋理，步驟(a)包括從該輸出確定與該表面紋理相關(guān)的節(jié)距評估量的趨勢。
16.一種用于識別用戶對設(shè)備施加的至少一種觸摸手勢的方法，包括如下步驟 (a)處理該設(shè)備的至少一個麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過確定每個所述麥克風的輸出的峰值對平均功率的比率。
17.根據(jù)權(quán)利要求16所述的方法,其中該至少一個麥克風的輸出也指不環(huán)境聲音,步驟(a)包括將該觸摸手勢與用戶故意的觸摸手勢之外對該至少一個麥克風的輸入?yún)^(qū)分開的步驟。
18.根據(jù)權(quán)利要求16所述的方法，其中步驟(a)包括區(qū)分由用戶對該設(shè)備施加的敲擊和由用戶對該設(shè)備施加的至少一種動態(tài)手勢的步驟。
19.根據(jù)權(quán)利要求16所述的方法，還包括如下步驟 響應(yīng)于至少一種所述觸摸手勢的識別，控制該設(shè)備或包括該設(shè)備的系統(tǒng)。
20.一種用于識別由用戶對設(shè)備施加的至少一種觸摸手勢的方法，其中該設(shè)備包括至少兩個麥克風，所述方法包括如下步驟 (a)處理所述麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過確定作為時間的函數(shù)的所述麥克風的輸出的功率比。
21.根據(jù)權(quán)利要求20所述的方法，其中所述麥克風的輸出也指示環(huán)境聲音，步驟(a)包括將該觸摸手勢與除了用戶故意的觸摸手勢之外對所述麥克風的輸入?yún)^(qū)分開的步驟。
22.根據(jù)權(quán)利要求20所述的方法，其中步驟(a)包括區(qū)分用戶對該設(shè)備施加的敲擊和用戶對該設(shè)備施加的至少一種動態(tài)手勢的步驟。
23.根據(jù)權(quán)利要求20所述的方法，還包括如下步驟 響應(yīng)于至少一種所述觸摸手勢的識別，控制該設(shè)備或包括該設(shè)備的系統(tǒng)。
24.一種用于識別由用戶對設(shè)備施加的至少一種觸摸手勢的方法，其中該設(shè)備包括至少兩個麥克風，所述方法包括如下步驟 (a)處理所述麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過確定從所述麥克風的輸出確定的相對功率譜的特性。
25.根據(jù)權(quán)利要求24所述的方法，其中所述麥克風的輸出也指示環(huán)境聲音，步驟(a)包括將該觸摸手勢與除了用戶故意的觸摸手勢之外對所述麥克風的輸入?yún)^(qū)分開的步驟。
26.根據(jù)權(quán)利要求24所述的方法，其中步驟(a)包括區(qū)分由用戶對該設(shè)備施加的敲擊和由用戶對該設(shè)備施加的至少一種動態(tài)手勢的步驟。
27.根據(jù)權(quán)利要求24所述的方法，還包括如下步驟 響應(yīng)于至少一種所述觸摸手勢的識別，控制該設(shè)備或包括該設(shè)備的系統(tǒng)。
28.一種用于識別由用戶對設(shè)備施加的至少一種觸摸手勢的方法，其中該設(shè)備包括至少兩個麥克風，所述方法包括如下步驟 (a)處理所述麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過從所述麥克風的輸出確定作為時間的函數(shù)的相互關(guān)聯(lián)峰值。
29.根據(jù)權(quán)利要求28所述的方法，其中所述麥克風的輸出也指示環(huán)境聲音，步驟(a)包括將該觸摸手勢與除了用戶故意的觸摸手勢之外對所述麥克風的輸入?yún)^(qū)分開的步驟。
30.根據(jù)權(quán)利要求28所述的方法，其中步驟(a)包括區(qū)分由用戶對該設(shè)備施加的敲擊和由用戶對該設(shè)備施加的至少一種動態(tài)手勢的步驟。
31.根據(jù)權(quán)利要求28所述的方法，還包括如下步驟 響應(yīng)于至少一種所述觸摸手勢的識別，控制該設(shè)備或包括該設(shè)備的系統(tǒng)。
32.一種用于識別用戶對具有表面紋理的設(shè)備施加的至少一種觸摸手勢的方法，所述方法包括如下步驟 (a)處理該設(shè)備的至少一個麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過從所述輸出確定與該表面紋理相關(guān)的節(jié)距評估量的趨勢。
33.根據(jù)權(quán)利要求32所述的方法，其中該至少一個麥克風的輸出也指示環(huán)境聲音，步驟(a)包括將該觸摸手勢與除了用戶故意的觸摸手勢之外對該至少一個麥克風的輸入?yún)^(qū)分開的步驟。
34.根據(jù)權(quán)利要求32所述的方法，其中步驟(a)包括區(qū)分由用戶對該設(shè)備施加的敲擊和由用戶對該設(shè)備施加的至少一種動態(tài)手勢的步驟。
35.根據(jù)權(quán)利要求32所述的方法，還包括如下步驟 響應(yīng)于至少一種所述觸摸手勢的識別，控制該設(shè)備或包括該設(shè)備的系統(tǒng)。
36.一種用于識別用戶對設(shè)備施加的至少一種觸摸手勢的方法，包括如下步驟 (a)處理該設(shè)備的至少一個麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過確定所述輸出的絕對功率、所述輸出的絕對電平、所述輸出的峰值對平均功率比、所述設(shè)備的兩個麥克風的輸出的功率比、從所述設(shè)備的兩個麥克風的輸出確定的相對功率譜特性、以及從所述設(shè)備的兩個麥克風的輸出確定的作為時間的函數(shù)的相互關(guān)聯(lián)峰值中的至少兩個的組合。
37.根據(jù)權(quán)利要求36所述的方法，其中該至少一個麥克風的輸出也指示環(huán)境聲音，步驟(a)包括將該觸摸手勢與除了用戶故意的觸摸手勢之外對該至少一個麥克風的輸入?yún)^(qū)分開的步驟。
38.根據(jù)權(quán)利要求36所述的方法，其中步驟(a)包括區(qū)分由用戶對該設(shè)備施加的敲擊和由用戶對該設(shè)備施加的至少一種動態(tài)手勢的步驟。
39.根據(jù)權(quán)利要求36所述的方法，還包括如下步驟 響應(yīng)于至少一種所述觸摸手勢的識別，控制該設(shè)備或包括該設(shè)備的系統(tǒng)。
40.一種用于檢測環(huán)境聲音和觸摸手勢的系統(tǒng),所述系統(tǒng)包括 設(shè)備，包括至少一個麥克風，該至少一個麥克風配置為檢測環(huán)境聲音；以及 處理器，耦接且配置為處理每個所述麥克風的輸出從而識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過將該觸摸手勢與除了用戶故意的觸摸手勢之外對該至少一個麥克風的輸入?yún)^(qū)分開，以及從而區(qū)分用戶對該設(shè)備施加的敲擊和用戶對該設(shè)備施加的至少一種動態(tài)手勢。
41.一種用于識別至少一種觸摸手勢的系統(tǒng)，包括 設(shè)備，包括至少一個麥克風，該至少一個麥克風配置為檢測環(huán)境聲音；以及 處理器，耦接且配置為處理該至少一個麥克風的輸出以識別由用戶對該設(shè)備施加的至少一種觸摸手勢，包括通過確定所述輸出的絕對功率、所述輸出的絕對電平、所述輸出的峰值對平均功率比、所述設(shè)備的兩個麥克風的輸出的功率比、從所述設(shè)備的兩個麥克風的輸出確定的相對功率譜特性、以及從所述設(shè)備的兩個麥克風的輸出確定的作為時間的函數(shù)的相互關(guān)聯(lián)峰值中的至少兩個的組合。
42.根據(jù)權(quán)利要求41所述的系統(tǒng)，其中該處理器配置為識別該觸摸手勢，包括通過將所述觸摸手勢與除了用戶故意的觸摸手勢之外對所述麥克風的輸入?yún)^(qū)分開。
全文摘要
本發(fā)明涉及用于響應(yīng)于麥克風輸出的觸摸手勢檢測的方法和系統(tǒng)。在一些實施例中，提供一種方法，用于處理設(shè)備(例如耳機)的至少一個麥克風的輸出以識別用戶對設(shè)備施加的至少一種觸摸手勢，包括通過將手勢與用戶故意的觸摸手勢之外對麥克風的輸入?yún)^(qū)分開，以及通過區(qū)分用戶對設(shè)備施加的敲擊和用戶對設(shè)備施加的至少一種動態(tài)手勢，其中至少一個麥克風的輸出也指示環(huán)境聲音(例如人聲)。其它實施例為檢測環(huán)境聲音(例如人聲)和觸摸手勢的系統(tǒng)，每個系統(tǒng)包括具有至少一個麥克風的設(shè)備和處理器，該處理器耦接并配置為處理每個麥克風的輸出以識別用戶對設(shè)備施加的至少一種觸摸手勢。
文檔編號G06F3/01GK102890557SQ201210250319
公開日2013年1月23日 申請日期2012年7月19日 優(yōu)先權(quán)日2011年7月19日
發(fā)明者G·N·迪金斯, D·P·多內(nèi), 孫學京, A·艾瑞 申請人:杜比實驗室特許公司, 杜比國際公司