使用位置傳感器和擴(kuò)音器信號(hào)與裝置的用戶交互的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明一般涉及諸如電子或移動(dòng)設(shè)備這樣的裝置，并且特別涉及與所述裝置的用戶交互。
【背景技術(shù)】
[0002]此部分旨在為在權(quán)利要求中詳述的本發(fā)明提供背景或上下文。本文中的說明書可以包括可被訴求的概念，但所述概念不必是那些之前已經(jīng)設(shè)想、實(shí)現(xiàn)或描述過的。因此，除非在本文中另外指出，否則在此部分中描述的不是本申請中的說明書和權(quán)利要求的現(xiàn)有技術(shù)，并且不通過包括在此部分中而承認(rèn)其為現(xiàn)有技術(shù)。
[0003]移動(dòng)設(shè)備正變得更流行、更小和多變。例如，智能電話和平板計(jì)算機(jī)正變得普及。最近，智能眼鏡、智能手表等已變得流行，并且正在變得甚至更流行。這些多變的移動(dòng)設(shè)備中的每個(gè)不得不具有某種接口，用戶可以與所述接口進(jìn)行通信。即，用戶需要移動(dòng)設(shè)備(或該設(shè)備上的應(yīng)用)來實(shí)施某種功能，并且用于該設(shè)備的接口是用戶命令設(shè)備實(shí)施所述功能的方式。
[0004]許多用戶接口由觸摸支配，例如通過在觸摸屏幕上的手勢或者經(jīng)由與物理按鈕或其它元件的用戶交互。然而，這些基于觸摸的接口元件并不總是易于訪問。作為示例，如果用戶正在步行或慢跑并使用智能手表或智能電話，則該用戶不得不訪問該手表或電話，找到基于觸摸的接口元件，并且通過特定方式與該元件進(jìn)行交互。這一系列事件可能打斷步行或慢跑，或者就該用戶而言可能至少導(dǎo)致某種程度的惱火。
[0005]改進(jìn)與諸如智能電話、平板計(jì)算機(jī)、智能眼鏡或智能手表這樣的移動(dòng)設(shè)備的用戶交互將是有益的。

【發(fā)明內(nèi)容】

[0006]在示例性實(shí)施例中，一種裝置包括:一個(gè)或多個(gè)位置傳感器，其被配置為輸出一個(gè)或多個(gè)信號(hào)；以及一個(gè)或多個(gè)擴(kuò)音器，其被配置為形成對(duì)應(yīng)的擴(kuò)音器信號(hào)。所述裝置還包括一個(gè)或多個(gè)處理器，所述一個(gè)或多個(gè)處理器被配置為促使所述裝置至少實(shí)施以下內(nèi)容:使用來自所述一個(gè)或多個(gè)位置傳感器的所述一個(gè)或多個(gè)信號(hào)來確定至少一個(gè)對(duì)象相對(duì)于所述裝置的方向；由所述裝置使用來自該裝置中的擴(kuò)音器的信號(hào)來識(shí)別由所述至少一個(gè)對(duì)象發(fā)出的聲學(xué)信號(hào)的一個(gè)或多個(gè)屬性；以及促使所述裝置實(shí)施操作以響應(yīng)于確定所述方向和所識(shí)別的一個(gè)或多個(gè)屬性對(duì)應(yīng)于所述操作。
[0007]在另一示例性實(shí)施例中，一種裝置包括:用于感知位置和用于輸出對(duì)應(yīng)的一個(gè)或多個(gè)信號(hào)的構(gòu)件；以及用于感知音頻的構(gòu)件，其被配置為形成對(duì)應(yīng)的音頻信號(hào)。所述裝置還包括以下構(gòu)件:用于使用來自用于感知位置的構(gòu)件的所述一個(gè)或多個(gè)信號(hào)來確定至少一個(gè)對(duì)象相對(duì)于所述裝置的方向的構(gòu)件；用于由所述裝置使用來自該裝置中用于感知音頻的構(gòu)件的信號(hào)來識(shí)別由所述至少一個(gè)對(duì)象發(fā)出的聲學(xué)信號(hào)的一個(gè)或多個(gè)屬性的構(gòu)件；以及用于促使所述裝置實(shí)施操作以響應(yīng)于確定所述方向和所識(shí)別的一個(gè)或多個(gè)屬性對(duì)應(yīng)于所述操作的構(gòu)件。
[0008]—種示例性計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)承載了體現(xiàn)在其中的用于與計(jì)算機(jī)一起使用的計(jì)算機(jī)程序代碼。所述計(jì)算機(jī)程序代碼包括:用于使用來自裝置的一個(gè)或多個(gè)位置傳感器的一個(gè)或多個(gè)信號(hào)來確定至少一個(gè)對(duì)象相對(duì)于所述裝置的方向的代碼；用于由所述裝置使用來自該裝置中的擴(kuò)音器的信號(hào)來識(shí)別由所述至少一個(gè)對(duì)象發(fā)出的聲學(xué)信號(hào)的一個(gè)或多個(gè)屬性的代碼；以及用于促使所述裝置實(shí)施操作以響應(yīng)于確定所述方向和所識(shí)別的一個(gè)或多個(gè)屬性對(duì)應(yīng)于所述操作的代碼。
[0009]在進(jìn)一步的示例性實(shí)施例中，一種方法包括以下步驟:使用來自裝置的一個(gè)或多個(gè)位置傳感器的一個(gè)或多個(gè)信號(hào)來確定至少一個(gè)對(duì)象相對(duì)于所述裝置的方向；由所述裝置使用來自該裝置中的擴(kuò)音器的信號(hào)來識(shí)別由所述至少一個(gè)對(duì)象發(fā)出的聲學(xué)信號(hào)的一個(gè)或多個(gè)屬性；以及促使所述裝置實(shí)施操作以響應(yīng)于確定所述方向和所識(shí)別的一個(gè)或多個(gè)屬性對(duì)應(yīng)于所述操作。
【附圖說明】
[0010]當(dāng)結(jié)合附圖閱讀時(shí)，本發(fā)明的實(shí)施例的前述和其它方面在下面對(duì)示例性實(shí)施例的詳細(xì)描述中變得更顯而易見，其中:
[0011]圖1示出了適于實(shí)現(xiàn)本發(fā)明的示例性實(shí)施例的例如移動(dòng)設(shè)備(智能電話)這樣的裝置的框圖；
[0012]圖2不出了移動(dòng)設(shè)備正被用戶的手指敲擊；
[0013]圖3不出了移動(dòng)設(shè)備正被用戶的手指觸換;
[0014]圖4示出了用戶在附近發(fā)出聲音但不觸摸移動(dòng)設(shè)備；
[0015]圖5被諸如移動(dòng)設(shè)備的裝置實(shí)施為使用位置傳感器和擴(kuò)音器信號(hào)提供與該移動(dòng)設(shè)備的用戶交互，并且是示例性邏輯流程圖的框圖，該示例性邏輯流程圖示出了根據(jù)本文中的示例性實(shí)施例的一種示例性方法的操作、體現(xiàn)在計(jì)算機(jī)可讀存儲(chǔ)器中的計(jì)算機(jī)程序指令的執(zhí)行結(jié)果和/或由用硬件實(shí)現(xiàn)的邏輯實(shí)施的功能；
[0016]圖6示出了用戶在附近發(fā)出聲音但不觸摸移動(dòng)設(shè)備；
[0017]圖7是使用觸摸和聲音的組合的示例的框圖，并且是示例性邏輯流程圖，該示例性邏輯流程圖示出了根據(jù)本文中的示例性實(shí)施例的一種示例性方法的操作、體現(xiàn)在計(jì)算機(jī)可讀存儲(chǔ)器中的計(jì)算機(jī)程序指令的執(zhí)行結(jié)果和/或由用硬件實(shí)現(xiàn)的邏輯實(shí)施的功能；
[0018]圖8是具有針對(duì)觸摸的位置屬性和針對(duì)音頻的峰值能量的示例性數(shù)據(jù)庫。
【具體實(shí)施方式】
[0019]如上面所述，改進(jìn)與諸如智能電話、平板計(jì)算機(jī)、智能眼鏡或智能手表這樣的移動(dòng)設(shè)備的用戶交互將是有益的。人們與其設(shè)備進(jìn)行交互的不同方式的數(shù)量逐日增長。其中一些原因例如為以下:設(shè)備的增長的尺寸使得正常的單手操作有困難；針對(duì)增長數(shù)量的像慢跑或滑板滑雪這樣的活動(dòng)隨身攜帶設(shè)備；以及穿戴型而非攜帶型的諸如智能眼鏡和智能手表這樣的可穿戴計(jì)算設(shè)備的涌現(xiàn)要求移動(dòng)設(shè)備制造商發(fā)明新的用于與移動(dòng)設(shè)備進(jìn)行交互的方式。
[0020]這樣的設(shè)備包括不同的傳感器，從而使得用戶可以與該移動(dòng)設(shè)備進(jìn)行交互。例如，觸摸傳感器在多數(shù)移動(dòng)設(shè)備(其中，“移動(dòng)”指示用戶可以攜帶并輕松地移動(dòng)該設(shè)備)中易于可用。觸摸傳感器依賴于用戶指尖的觸摸來確定指尖的位置。懸停傳感器(hoversensor)是相對(duì)新的傳感器，其允許在用戶不觸摸懸停傳感器或設(shè)備的情況下確定用戶手指(或其它對(duì)象)的位置。觸摸和懸停傳感器這兩者都可以與諸如觸摸屏這樣的顯示器集成到一起或放置到其附近。觸摸和懸停傳感器可以被看作是位置傳感器，因?yàn)樗鼈兛梢源_定例如用戶的手或手指以及其它對(duì)象的位置。
[0021]懸停傳感器擅長檢測用戶手所位于的方向。然而，懸停傳感器不擅長檢測用戶發(fā)出聲音事件所在的準(zhǔn)確時(shí)刻。來自由擴(kuò)音器所檢測到的聲音事件的聲音信號(hào)可以輕松地用于檢測用戶交互的準(zhǔn)確時(shí)刻。
[0022]當(dāng)前存在幾種用于利用定向聲音命令與設(shè)備進(jìn)行交互的方式。然而通常，為了檢測具有方向的音頻交互，需要額外的設(shè)備或附件。很少使用內(nèi)置到移動(dòng)設(shè)備中的擴(kuò)音器。
[0023]常規(guī)方法使用加速計(jì)來確定敲擊是否已發(fā)生，然后使用擴(kuò)音器來確定該敲擊的方向。缺點(diǎn)是這些方法使用加速計(jì)。加速計(jì)可能對(duì)例如跑步時(shí)常見的噪聲信號(hào)感到混淆。
[0024]發(fā)明人已認(rèn)識(shí)到，懸停傳感器擅長檢測用戶手所位于的方向。然而，懸停傳感器不擅長檢測用戶發(fā)出聲音事件所在的準(zhǔn)確時(shí)刻。擴(kuò)音器可輕松用于檢測用戶交互的準(zhǔn)確時(shí)亥IJ，這在特定情況下有幫助。特別地，如果意圖在于控制游戲，則能夠精確地對(duì)控制進(jìn)行計(jì)時(shí)是有益的(例如不把游戲汽車駕駛離開道路)。另一示例可以是，如果用戶正在快進(jìn)歌曲或視頻，則要停止快進(jìn)并返回到正常速度的時(shí)刻對(duì)于好的用戶體驗(yàn)來說是關(guān)鍵的時(shí)間。在其中設(shè)備不被觸摸的用戶交互的情況下，懸停傳感器可以是有益的。
[0025]因此，本文中的第一種示例性解決方案(其使用單個(gè)擴(kuò)音器并且響應(yīng)于通過由用戶觸摸設(shè)備所產(chǎn)生的聲學(xué)信號(hào))通過使用懸停傳感器來檢測聲音的方向而避免了以上問題，其中，所述懸停傳感器例如檢測用戶手處在該設(shè)備的哪一側(cè)。此外，在示例性實(shí)施例中，對(duì)聲音事件進(jìn)行分類和識(shí)別，這為用戶交互提供了額外的靈活性和對(duì)抗環(huán)境聲音的穩(wěn)健性。使用懸停傳感器的可替換或另外的解決方案是以下這樣的解決方案，即該解決方案取代懸停傳感器而使用一個(gè)或幾個(gè)觸摸傳感器。觸摸傳感器一像懸停傳感器一樣一在例如跑步的情況下比加速計(jì)運(yùn)行地更好。
[0026]常規(guī)系統(tǒng)中的另一潛在缺陷在于:特定系統(tǒng)需要對(duì)設(shè)備進(jìn)行觸摸(例如為了影響加速計(jì))，以及另外，加速計(jì)可能對(duì)例如在跑步時(shí)常見的噪聲信號(hào)感到混淆。本文中的第二種示例性解決方案(其使用單個(gè)擴(kuò)音器并且響應(yīng)于在用戶不觸摸設(shè)備的情況下所產(chǎn)生的聲學(xué)信號(hào))通過檢測來自擴(kuò)音器的聲音的時(shí)刻以及使用懸停觸摸傳感器檢測該聲音的方向而避免了這兩個(gè)問題，其中，所述懸停觸摸傳感器例如檢測用戶手處在該設(shè)備的哪一側(cè)。
[0027]在給出了對(duì)適于實(shí)施示例性實(shí)施例的裝置的描述之后，給出示例性解決方案的另外細(xì)節(jié)。轉(zhuǎn)向圖1，該圖示出了在本示例中是移動(dòng)設(shè)備100的適于實(shí)現(xiàn)本發(fā)明的示例性實(shí)施例的裝置的框圖。盡管在本文中主要描述移動(dòng)設(shè)備100，但示例性實(shí)施例也適用于其它設(shè)備。移動(dòng)設(shè)備100可以是移動(dòng)電話、平板計(jì)算機(jī)、腕表、吊墜珠寶、戒指等。移動(dòng)設(shè)備100包括一個(gè)或多個(gè)處理器105、一個(gè)或多個(gè)存儲(chǔ)器110、擴(kuò)音器145、視頻處理器150、顯示器160、一個(gè)或多個(gè)網(wǎng)絡(luò)接口 165、諸如一個(gè)或多個(gè)觸摸傳感器170和一個(gè)或多個(gè)懸停傳感器175的位置傳感器171。一個(gè)或多個(gè)總線190將移動(dòng)設(shè)備100的各個(gè)元件互連，并且所述一個(gè)或多個(gè)總線可以是能夠?qū)⒃O(shè)備互連的任何元件，例如主板上的跡線、集成電路中的傳導(dǎo)流動(dòng)等。一個(gè)或多個(gè)存儲(chǔ)器110包括用戶交互控制單元135 (其包括方向分析單元115和聲學(xué)信號(hào)識(shí)別單元120)、聲音和方向數(shù)據(jù)庫125、一個(gè)或多個(gè)應(yīng)用185以及來自擴(kuò)音器145的聲學(xué)信號(hào)140。用戶交互控制單元135可以是操作系統(tǒng)(OS) 130的一部分，或者可以與其分離。在示例性實(shí)施例中，用戶交互控制單元135是一個(gè)或多個(gè)處理器105可以執(zhí)行的計(jì)算機(jī)程序代碼。在示例性實(shí)施例中，用戶交互控制單元135(至少部分地或全部地)將移動(dòng)設(shè)備控制為實(shí)施在本文中描述的操作。例如，一個(gè)或多個(gè)存儲(chǔ)器110和所述計(jì)算機(jī)程序代碼被配置為與一個(gè)或多個(gè)處理器105 —起促使移動(dòng)設(shè)備100實(shí)施在本文中描述的操作。在另一示例中，可以用諸如集成電路這樣的硬件來(至少部分地或全部地)實(shí)現(xiàn)用戶交互控制單元135。
[0028]簡而言之，將單個(gè)擴(kuò)音器145和諸如懸停傳感器175和/或觸摸傳感器170這樣的位置傳感器171以及聲學(xué)信號(hào)分類系統(tǒng)(例如經(jīng)由聲學(xué)信號(hào)識(shí)別單元120)的組合用于按照以下方式來檢測定向聲音/觸摸命令:使得所述命令不應(yīng)當(dāng)與環(huán)境聲音或設(shè)備的隨機(jī)加速度相混淆。更具體地，用戶交互控制單元135可以訪問來自諸如觸摸傳感器170和/或懸停傳感器175這樣的位置傳感器171的數(shù)據(jù)。方