處，移動設(shè)備存儲具有Δ i (框740-1)到Δ N (框740-N)的延遲的過去的值。S卩，在Ai (框740-1)到ΔΝ (框740-N)的各種延遲處存儲觸摸屬性721。應(yīng)當(dāng)指出，觸摸屬性721可以隨時間改變。例如，在延遲Ai處存儲的觸摸屬性可以與在延遲△,處存儲的觸摸屬性不同。與基于時間窗口進(jìn)行分析的音頻類似，時間窗口也可以用于確定觸摸屬性721，從而使得觸摸屬性721按每個時間窗口被確定，并且每個時間窗口對應(yīng)于一個延遲。即，對觸摸的一個或多個屬性進(jìn)行確定是這樣發(fā)生的:使用在觸摸檢測時間處來自觸摸傳感器的信息，并且針對的是在從觸摸檢測時間到該觸摸檢測時間加上所述時間差的多個延遲處的來自觸摸傳感器的信息。所存儲的值將用公式表示如下Ατ+Δρ?τ+Δ”...，tT+ANO如果Ai# 0，則還可以存儲在、處的值。對于用來確定觸摸屬性的窗口，可以使用或者可以不使用窗口的重疊。
[0059]框735和框760向框765分別輸出音頻和觸摸屬性以及時間706、716。框765包括對事件進(jìn)行合并。如果所檢測到的事件是音頻事件，則事件屬性770和時間771被輸出。事件時間771是tA-A 1<3如果事件是觸摸事件，則事件時間是tT。應(yīng)當(dāng)指出，可以僅檢測觸摸或音頻事件之一，或者這兩者都可以被檢測到。
[0060]對于圖7中的實施例的一種簡單解釋如下:如果音頻水平變得在門限之上，則音頻事件被檢測到。如果觸摸屏被觸摸，則觸摸事件被檢測到。如果音頻事件被檢測到，則將來自事件時刻(tA)的音頻屬性與基于、-\的從音頻事件發(fā)生之前開始的觸摸屬性進(jìn)行比較。對于A工可以嘗試不同的值，因為并不知道觸摸的位置，并且因此不知道音頻從觸摸位置行進(jìn)到擴(kuò)音器導(dǎo)致的延遲。
[0061]如果觸摸事件被檢測到，則將來自觸摸事件時刻(tT)的觸摸屬性與從觸摸事件發(fā)生之后(tA-A)開始的音頻屬性進(jìn)行比較。
[0062]不同屬性可以取決于觸摸位置而被存儲在數(shù)據(jù)庫755中，因為音頻在該音頻行進(jìn)久遠(yuǎn)時發(fā)生改變，即，音頻信號水平在音頻走遠(yuǎn)時減弱。這很可能僅在顯示器尺寸為32英寸左右時是重要的，但對于桌面型顯示器來說，這種示例性實施例將意義重大。
[0063]另外，有時檢測觸摸或音頻事件并不奏效，因為檢測通常具有為檢測到事件而必須超過的門限，并且有時事件并未超過該門限。在這樣的情況下，移動設(shè)備可以僅檢測事件的音頻部分或觸摸部分。然而，例如，如果音頻部分未超過門限，當(dāng)移動設(shè)備檢測到觸摸事件時，則移動設(shè)備確定必定已存在音頻事件，并且移動設(shè)備可以降低針對音頻事件的門限并再次檢查音頻。
[0064]此外，可能存在音頻和觸摸這兩者都超過了門限的事件，以及僅音頻或觸摸超過了門限的事件。在框765中對事件進(jìn)行合并是指全部三種類型的事件都被類似地輸出，因為對于系統(tǒng)的其余部分來說，事件如何被檢測到并不重要。相反，在不論參數(shù)如何被積累的情況下，事件參數(shù)都被輸出。如果音頻和觸摸這兩者都被檢測到，那么通常，音頻事件時間被使用并且觸摸事件時間被丟棄。甚至在音頻事件還未超過門限的情況下，也可以根據(jù)觸摸事件時間來計算音頻事件本該大概何時發(fā)生(例如使用聲音從觸摸事件位置行進(jìn)到擴(kuò)音器所花費的時間)，并且然后在搜索窗口(例如通常是所估計時間之前和之后200ms)內(nèi)搜索音頻信號中的最大值。然后，可以取搜索窗口內(nèi)的最大值的時間作為音頻事件時間。于是可以取代觸摸事件時間而使用所得到的音頻事件時間，因為該音頻事件時間更準(zhǔn)確。
[0065]輸出的事件屬性770可以用于例如基于事件屬性770和基于時間771來選擇操作
129。參見框785。例如，如果視頻正在被播放，以及操作129是暫停視頻，則視頻可以被“倒回”并暫停在時間771處。在框790中，移動設(shè)備促使該操作例如被應(yīng)用、操作系統(tǒng)等來實施。
[0066]如果假設(shè)顯示器相比于在顯示器上檢測到懸停的距離是非常長和/或?qū)挼?，則圖7中的示例性實施例可以適于懸停。
[0067]轉(zhuǎn)向圖8，該圖示出了僅具有針對觸摸的位置屬性和針對音頻的峰值能量的示例性數(shù)據(jù)庫755。在本示例中，條目756-1到756-4包括事件名稱810-1到810-4、觸摸位置坐標(biāo)集合721-1到721-4，以及峰值能量146-1到146-4。觸摸屬性721是觸摸位置坐標(biāo)的集合。音頻屬性146是以分貝(dB)計的峰值能量。觸摸事件721的特征由事件名稱來描繪，例如“在擴(kuò)音器附近敲擊”810-1、“遠(yuǎn)離擴(kuò)音器敲擊”810-2、“在擴(kuò)音器附近敲打”810-3和“遠(yuǎn)離擴(kuò)音器敲打”810-4?？?60和框735將基于峰值能量146和觸摸位置坐標(biāo)集合721選擇這些條目756中的一個，并且所選擇的條目756 (例如至少721和146)將作為事件屬性770與時間771 —起被輸出。
[0068]條目756-1到756-4中的示例是簡單的，并且不顯示任何時間依賴性。然而，如由對應(yīng)于條目756-2的條目756-21、756-22、756-26和756-27所示，可以增加時間依賴性。時間依賴性被示為延遲820:0ms (毫秒)的820-1 ；20ms的820-2 ； 100ms的820-6 ；以及120ms的820-7。在本示例中，基于20ms的時間窗口來對觸摸屬性721和音頻屬性146進(jìn)行采樣。作為音頻屬性146的峰值能量開始于41dB(146-21)，在20ms處增大到43dB (146-22)，在100ms處達(dá)到最高水平的60dB (146-26)，以及然后開始減小，在120ms處變?yōu)?7dB(146-27)。在本示例中，觸摸屬性721不改變，但這是僅示例性的。例如，觸摸的形狀可以隨時間改變。對于所述表格，也可能存在另外的或更少的條目756。
[0069]在不以任何方式限制出現(xiàn)在下面的權(quán)利要求的范圍、解釋或應(yīng)用的情況下，本文中公開的示例性實施例中的一個或多個的技術(shù)效果是允許用戶使用聲音或振動來命令移動設(shè)備或其上的應(yīng)用。另一技術(shù)效果是允許用戶能夠使用聲音來與移動設(shè)備交互。優(yōu)勢和其它技術(shù)效果包括以下中的一個或多個:示例性實施例在出現(xiàn)噪聲加速度時提供更穩(wěn)健的檢測；示例性實施例在出現(xiàn)噪聲背景聲音時提供更穩(wěn)健的檢測；以及，示例性實施例為用戶交互提供更多靈活性。
[0070]另外的示例性實施例如下。示例1.一種裝置，其包括:用于感知位置和用于輸出對應(yīng)的一個或多個信號的構(gòu)件，以及用于感知音頻并被配置為形成對應(yīng)的音頻信號的構(gòu)件。所述裝置還包括以下:用于使用來自用于感知位置的構(gòu)件的所述一個或多個信號來確定至少一個對象相對于所述裝置的方向的構(gòu)件；用于由所述裝置使用來自該裝置中用于感知音頻的構(gòu)件的信號來識別由所述至少一個對象發(fā)出的聲學(xué)信號的一個或多個屬性的構(gòu)件；以及用于促使由所述裝置實施操作來響應(yīng)于確定所述方向和所識別的一個或多個屬性對應(yīng)于所述操作的構(gòu)件。
[0071]示例2.根據(jù)示例1所述的裝置，其中，所述聲學(xué)信號包括聲音，并且，用于識別所述聲學(xué)信號的所述一個或多個屬性的構(gòu)件進(jìn)一步包括用于識別所述聲音的一個或多個屬性的構(gòu)件。
[0072]示例3.根據(jù)示例1所述的裝置，其中，所述聲學(xué)信號包括振動，并且用于識別所述聲學(xué)信號的所述一個或多個屬性的構(gòu)件包括用于識別所述振動的一個或多個屬性的構(gòu)件。
[0073]示例4.根據(jù)示例1所述的裝置，其中，所述至少一個對象包括用戶的手指或手。示例5.根據(jù)示例1所述的裝置，其中，所述至少一個對象包括鉛筆、擦除器、手套、記錄筆或鋼筆中的至少一個。
[0074]示例6.根據(jù)示例1所述的裝置，其中，用于感知位置的構(gòu)件包括一個或多個位置傳感器。
[0075]示例7.根據(jù)示例1所述的裝置，其中，用于感知位置的構(gòu)件包括一個或多個觸摸傳感器。
[0076]示例8.根據(jù)示例1所述的裝置，其中，所述聲學(xué)信號包括由所述至少一個對象在移動設(shè)備上的接觸所生成的聲音和振動中的至少一個。
[0077]示例9.根據(jù)示例1所述的裝置，其中，所述聲學(xué)信號包括由所述至少一個對象發(fā)出的聲音，其中所述至少一個對象當(dāng)發(fā)出所述聲音時不接觸移動設(shè)備。
[0078]示例10.根據(jù)示例1所述的裝置，其中，所述裝置進(jìn)一步包括:用于將所述一個或多個屬性和所確定的方向與數(shù)據(jù)庫中的條目配對進(jìn)行比較的構(gòu)件，其中每個配對包括一個或多個屬性以及方向；用于將所述一個或多個屬性和所確定的方向與所述條目中的配對相匹配的構(gòu)件；以及用于確定對應(yīng)于所述配對的操作的構(gòu)件。
[0079]示例11.根據(jù)示例1所述的裝置，其進(jìn)一步包括:用于確定來自擴(kuò)音器的信號超過門限的時刻的構(gòu)件；用于響應(yīng)于確定來自擴(kuò)音器的信號超過門限的時刻，促使實施對所述方向的確定，以及實施對由所述至少一個對象發(fā)出的聲學(xué)信號的所述一個或多個屬性進(jìn)行識別的構(gòu)件。
[0080]示例12.根據(jù)示例11所述的裝置，其中，用于感知位置的構(gòu)件包括至少一個懸停傳感器，并且用于確定方向的構(gòu)件使用來自所述至少一個懸停傳感器的信息。
[0081]示例13.根據(jù)示例11所述的裝置，其進(jìn)一步包括:用于通過在所述時刻之前第一數(shù)量的毫秒處開始以及在所述時刻之后第二數(shù)量的毫秒處結(jié)束，實施對所述方向的確定以及對由所述至少一個對象發(fā)出的聲學(xué)信號的所述一個或多個屬性的識別的構(gòu)件。
[0082]示例14.根據(jù)示例13所述的裝置，其中，用于感知位置的構(gòu)件包括至少一個懸停傳感器，并且用于確定所述方向的構(gòu)件使用來自所述至少一個懸停傳感器的信息。
[0083]示例15.根據(jù)示例1所述的裝置，其中:
[0084]用于確定所述至少一個對象相對于所述裝置的方向的構(gòu)件進(jìn)一步包括用于使用來自觸摸傳感器的信息來確定由所述至少一個對象在所述裝置上進(jìn)行的觸摸的一個或多個屬性的構(gòu)件；
[0085]所述裝置進(jìn)一步包括:用于將所述觸摸的所述一個或多個屬性以及所述聲學(xué)信號的所述一個或多個屬性與數(shù)據(jù)庫中的觸摸屬性和聲學(xué)信號屬性進(jìn)行比較，以便確定匹配的構(gòu)件；
[0086]用于促使操作被實施的構(gòu)件進(jìn)一步包括用于基于所確定的匹配而促使所述操作被實施的構(gòu)件。
[0087]示例16.根據(jù)示例15所述的裝置，其中:
[0088]用于使用來自觸摸傳感器的信息確定由所述至少一個對象在所述裝置上進(jìn)行的觸摸的一個或多個屬性的構(gòu)件是響應(yīng)于確定觸摸事件已被檢測到而被實施的，并且用于為觸摸確定所述一個或多個屬性的構(gòu)件是使用在觸摸檢測時間處來自所述觸摸傳感器的信息而被實施的；以及
[0089]用于對所述觸摸的所述一個或多個屬性以及所述聲學(xué)信號的所述一個或多個屬性進(jìn)行比較的構(gòu)件進(jìn)一步包括:用于將所述觸摸檢測時間處的觸摸的所述一個或多個屬性以及通過處理