用于生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法
【專利摘要】本發(fā)明涉及用于生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法。用于輸出觸覺效果的一種公開的系統(tǒng)包括處理器，其被配置成：接收音頻信號；確定與該音頻信號有關(guān)的包絡(luò)；至少部分基于該包絡(luò)，確定觸覺效果；以及輸出與觸覺效果相關(guān)聯(lián)的觸覺信號。
【專利說明】用于生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法
[0001]相關(guān)申請的交叉引用
[0002]本申請要求于2013年9月6日提交的并且標(biāo)題為“Aud1 to Haptics”的美國臨時申請N0.61/874,933的優(yōu)先權(quán)，其全部內(nèi)容通過引用被包含在此。
[0003]本申請涉及與本申請同一天提交的并且標(biāo)題為“Systems and Methods forGenerating Haptic Effects Associated with Transit1ns in Aud1 Signals，，(代理人案號:N0.1MM477 (51851-879623))的美國專利申請N0.14/078，438，其全部內(nèi)容通過引用被包含在此。
[0004]本專利申請涉及與本申請同一天提交的并且標(biāo)題為“Systems and Methodsfor Generating Haptic Effects Associated with Aud1 Signals，，(代理人案號:N0.1MM479 (51851-879622))的美國專利申請N0.14/078，445，其全部內(nèi)容通過引用被包含在此。

【技術(shù)領(lǐng)域】
[0005]本發(fā)明一般涉及觸覺反饋，更具體地，涉及生成音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法。

【背景技術(shù)】
[0006]觸摸使能設(shè)備已經(jīng)日益變得普遍。例如，移動和其它設(shè)備可以配置有觸敏顯示器，使得用戶能通過觸摸顯示器的部分提供輸入。作為另一例子，與顯示器分離的觸覺使能表面可以用于輸入，諸如觸控板、鼠標(biāo)或其它設(shè)備。此外，一些觸摸使能設(shè)備利用觸覺效果，例如，配置成模擬觸摸表面上的紋理或摩擦的觸覺效果。在一些設(shè)備中，這些觸覺效果可以與由設(shè)備輸出的音頻或其它效果相關(guān)。然而，由于處理和輸出音頻和觸覺效果的延遲，所以這些效果可能不太引人注目。由此，需要與音頻效果相關(guān)聯(lián)的改進(jìn)的觸覺效果。


【發(fā)明內(nèi)容】

[0007]本公開內(nèi)容的實(shí)施例包括以在觸摸區(qū)上感受并且與音頻信號相關(guān)聯(lián)的觸覺效果為特征的設(shè)備。這些觸覺效果可以包括但不限于紋理的變化、摩擦系數(shù)的變化和/或通過使用與表面接觸的物體可以感知的觸摸表面中的邊界、障礙或其它不連續(xù)的模擬。
[0008]在一個實(shí)施例中，本公開內(nèi)容的系統(tǒng)可以包括處理器，其被配置成:接收音頻信號；確定與音頻信號相關(guān)聯(lián)的包絡(luò)；至少部分基于該包絡(luò)，確定觸覺效果，以及輸出與觸覺效果相關(guān)聯(lián)的觸覺信號。
[0009]所述的該示例性實(shí)施例不限制或限定本主題的范圍，而是提供幫助其理解的例子。在詳細(xì)描述中論述了示例性實(shí)施例，并提供了進(jìn)一步描述。通過檢驗(yàn)本說明書和/或通過實(shí)施所要求的主題的一個或多個實(shí)施例，可以進(jìn)一步理解由各個實(shí)施例提供的優(yōu)點(diǎn)。

【專利附圖】

【附圖說明】
[0010]在說明書的剩余部分中，更具體地闡述全面和詳盡的公開內(nèi)容。本說明書參考下述附圖。
[0011]圖1A示出生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性系統(tǒng)；
[0012]圖1B示出圖1A中所示的系統(tǒng)的一個實(shí)施例的外部視圖；
[0013]圖1C示例圖1A中所示的系統(tǒng)的另一實(shí)施例的外部視圖；
[0014]圖2A示例生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性實(shí)施例；
[0015]圖2B示例生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性實(shí)施例；
[0016]圖3示例根據(jù)一個實(shí)施例的生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性實(shí)施例；
[0017]圖4示例根據(jù)一個實(shí)施例的生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的方法的流程圖；
[0018]圖5示例根據(jù)一個實(shí)施例的確定音頻信號的包絡(luò)的方法的流程圖；
[0019]圖6示例音頻信號和時域中的相同音頻信號的頻譜的圖；
[0020]圖7示例根據(jù)一個實(shí)施例的確定音頻信號的包絡(luò)的方法的流程圖；
[0021]圖8示例根據(jù)圖7所述的方法700確定的包絡(luò)的圖；
[0022]圖9示例根據(jù)一個實(shí)施例的清除所確定的包絡(luò)信號的方法的流程圖；以及
[0023]圖10示例被清除的包絡(luò)信號的圖。

【具體實(shí)施方式】
[0024]現(xiàn)在，將詳細(xì)地參考各個和替代示例性實(shí)施例和附圖。通過說明，提供每一例子，而不是限制。對本領(lǐng)域的技術(shù)人員來說，能做出改進(jìn)和變化是顯而易見的。例如，示例或描述為一個實(shí)施例的部分的特征可以用在另一實(shí)施例上來產(chǎn)生又一實(shí)施例。因此，期望該公開內(nèi)容包括落在所附權(quán)利要求及其等同物的范圍內(nèi)的改進(jìn)和變化。
[0025]生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的設(shè)備的示例性例子
[0026]本公開內(nèi)容的一個示例性實(shí)施例包括計(jì)算系統(tǒng)，諸如智能電話、平板電腦或便攜式音樂設(shè)備。在一些實(shí)施例中，計(jì)算系統(tǒng)可以包括可穿戴設(shè)備，或嵌入家具或衣服中，或具有嵌入式致動器的任何其它設(shè)備。計(jì)算系統(tǒng)能包括一個或多個傳感器和/或可以與一個或多個傳感器，諸如加速度計(jì)，以及用于確定相對于該例子中對應(yīng)于設(shè)備的屏幕的顯示區(qū)的觸摸位置的傳感器(例如光學(xué)、電阻或電容式)通信。
[0027]當(dāng)用戶與設(shè)備交互時，一個或多個觸覺輸出設(shè)備，例如致動器被用來提供觸覺效果。例如，可以輸出觸覺效果來模擬設(shè)備的表面上的紋理的存在。在一個這種實(shí)施例中，當(dāng)用戶的手指跨表面移動時，可以輸出振動、電場或其它效果來模擬設(shè)備的表面上的紋理感。類似地，在另一實(shí)施例中，當(dāng)用戶移動手指跨過設(shè)備時，基于手指的位置、速度和/或加速度或手指已經(jīng)與設(shè)備接觸的時間長度，能改變(例如，增加或減小)所感知的屏幕的摩擦系數(shù)。在其它實(shí)施例中，移動設(shè)備可以輸出諸如振動、上托、點(diǎn)擊或表面變形的觸覺效果。在一些實(shí)施例中，當(dāng)某一事件發(fā)生時，可以在一定時間段(例如50ms)內(nèi)輸出觸覺效果。在其它實(shí)施例中，觸覺效果可以隨固定周期改變，例如，在實(shí)施例中，可以輸出以10Hz速率，例如10Hz正弦曲線改變的紋理。
[0028]在示例性實(shí)施例中，觸覺效果包括與音頻信號相關(guān)聯(lián)的效果。例如，在一些實(shí)施例中，觸覺效果可以包括與音頻軌相關(guān)聯(lián)的觸覺效果。在一些實(shí)施例中，在確定觸覺效果時，用戶可能正收聽音頻軌(例如使用耳機(jī)、揚(yáng)聲器或一些其它類型的音頻輸出設(shè)備)。在其它實(shí)施例中，可以預(yù)先確定觸覺效果，作為“觸覺軌(haptic track)”的一部分?？梢耘c音頻文件一起，分發(fā)該觸覺軌，以便其隨音頻軌播放。在一些實(shí)施例中，可以使觸覺軌與音頻軌同步，使得觸覺效果對應(yīng)于音頻軌中的事件。在其它實(shí)施例中，觸覺效果可以與音頻-視覺(“AV”)軌，例如視頻文件的音頻部分相關(guān)聯(lián)。
[0029]本公開內(nèi)容的一個示例性實(shí)施例包括用于確定用于觸覺效果生成的音頻信號的包絡(luò)的系統(tǒng)和方法。在這種實(shí)施例中，包絡(luò)可以包括緊密地跟隨音頻信號的時間和頻率內(nèi)容的曲線。然后，這種系統(tǒng)可以將該包絡(luò)乘以另一信號。確定音頻信號的包絡(luò)可以使音頻至觸覺系統(tǒng)定位其中音頻信號接近噪聲或幅度非常低的區(qū)域。這種示例性系統(tǒng)可以基于觸覺信號自動地生成觸覺效果，但可以使用包絡(luò)確定來定位接近噪聲的信號的區(qū)域，然后避免在那些區(qū)域中或附近生成觸覺效果。
[0030]此外，在一些實(shí)施例中，只要系統(tǒng)確定與音頻信號相關(guān)聯(lián)的包絡(luò)，然后，該系統(tǒng)結(jié)合其它觸覺效果確定算法(例如頻移)使用該信號以便確定觸覺效果。在一些實(shí)施例中，可以以協(xié)同或同步的方式，與音頻文件一起輸出觸覺效果。在其它實(shí)施例中，這些觸覺效果可以存儲在可以與音頻文件分開存儲的觸覺軌中。然后，觸覺軌可以與音頻文件分開播放。在一些實(shí)施例中，可以與音頻文件一起，將觸覺軌分發(fā)為用于內(nèi)容作者的紅利，或額外的收來源。
[0031]如在下文進(jìn)一步詳細(xì)所述，可以在音頻信號中找到任何數(shù)量的特征。本公開內(nèi)容的實(shí)施例提供用于識別這些特征，然后確定和輸出與這些特征相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法。此外，在一些實(shí)施例中，在此所述的系統(tǒng)和方法可以用來確定與其它類型的信號，例如壓力、加速度、速度或溫度信號相關(guān)聯(lián)的觸覺效果。
[0032]生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性系統(tǒng)
[0033]圖1A示出用于生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性系統(tǒng)100。具體地，在該例子中，系統(tǒng)100包括具有經(jīng)由總線106與其它硬件對接的處理器102的計(jì)算設(shè)備101。能包括諸如RAM、ROM、EEPROM等等的任何適當(dāng)?shù)挠行?且非瞬時)計(jì)算機(jī)可讀介質(zhì)的存儲器104實(shí)施構(gòu)成計(jì)算設(shè)備的操作的程序部件。在該例子中，計(jì)算設(shè)備101進(jìn)一步包括一個或多個網(wǎng)絡(luò)接口設(shè)備110、輸入/輸出(I/O)接口部件112和附加存儲114。
[0034]網(wǎng)絡(luò)接口 110能表示便于網(wǎng)絡(luò)連接的任何部件的一個或多個。例子包括但不限于諸如以太網(wǎng)、USB、IEEE1394的有線接口，和/或諸如IEEE802.11、藍(lán)牙、或用于接入蜂窩電話網(wǎng)絡(luò)的無線電接口(例如用于接入CDMA、GSM、UMTS或其它移動通信網(wǎng)絡(luò)的收發(fā)器/天線)的無線接口。
[0035]I/O部件112可以用來便于與諸如一個或多個顯示器、鍵盤、鼠標(biāo)、揚(yáng)聲器、麥克風(fēng)、照相機(jī)和/或用來輸入數(shù)據(jù)或輸出數(shù)據(jù)的其它硬件的設(shè)備連接。例如，在一些實(shí)施例中，I/O部件112可以包括配置成播放由處理器102提供的音頻信號的揚(yáng)聲器。存儲114表示非易失存儲器，諸如磁、光或包括在設(shè)備101中的其它存儲介質(zhì)。在一些實(shí)施例中，存儲114可以被配置成存儲音頻文件，其被配置成經(jīng)由I/O部件112向用戶播放。
[0036]系統(tǒng)100進(jìn)一步包括觸摸表面116，在該例子中，被集成到設(shè)備101中。觸摸表面116表示被配置成感測用戶的觸摸輸入的任何表示。一個或多個傳感器108被配置成當(dāng)物體接觸觸摸表面時檢測觸摸區(qū)中的觸摸，并且提供適當(dāng)?shù)臄?shù)據(jù)，用于由處理器102使用。能使用任何適當(dāng)數(shù)量、類型、或排列的傳感器。例如，可以將電阻和/或電容傳感器嵌入觸摸表面116中，并且用來確定觸摸的位置和其它信息，諸如壓力。作為另一例子，可以使用以觸摸表面為目的的光傳感器來確定觸摸位置。在一些實(shí)施例中，傳感器108和觸摸表面116可以包括觸摸屏或觸摸板。例如，在一些實(shí)施例中，觸摸表面116和傳感器108可以包括安裝在被配置成接收顯示信號和向用戶輸出圖像的顯示器的上面的觸摸屏。在其它實(shí)施例中，傳感器108可以包括LED檢測器。例如，在一個實(shí)施例中，觸摸表面116可以包括安裝在顯示器的側(cè)面上的LED手指檢測器。在一些實(shí)施例中，處理器與單個傳感器108通信，在其它實(shí)施例中，處理器與多個傳感器108，例如第一觸摸屏和第二觸摸屏通信。傳感器108被配置成檢測用戶交互，并且基于該用戶交互，將信號傳送到處理器102。在一些實(shí)施例中，傳感器108可以被配置成檢測用戶交互的多個方面。例如，傳感器108可以檢測用戶交互的速度和壓力，以及將該信息包含到接口信號中。
[0037]設(shè)備101進(jìn)一步包括觸覺輸出設(shè)備118。在圖1A所不的例子中，觸覺輸出設(shè)備118與處理器102通信并且耦接到觸摸表面116。在一些實(shí)施例中，觸覺輸出設(shè)備118被配置成響應(yīng)于觸覺信號，輸出模擬觸摸表面上的紋理的觸覺效果。另外或者替代地，觸覺輸出設(shè)備118可以提供以受控方式，移動觸摸表面的振動觸覺效果。一些觸覺效果可以利用耦接到設(shè)備的外殼的致動器，以及一些觸覺效果可以依次和/或共同地使用多個致動器。例如，在一些實(shí)施例中，可以通過以不同頻率振動表面，模擬表面紋理。在這種實(shí)施例中，觸覺輸出設(shè)備118可以包括例如壓電致動器、電動機(jī)、電磁致動器、音圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉(zhuǎn)質(zhì)量電動機(jī)(ERM)，或線性諧振致動器(LRA)中的一個或多個。在一些實(shí)施例中，觸覺輸出設(shè)備118可以包括多個致動器，例如ERM和LRA。在一些實(shí)施例中，觸覺設(shè)備118可以包括或嵌入在可穿戴設(shè)備、家具或衣服中。
[0038]盡管在此示出了單個觸覺輸出設(shè)備118，但實(shí)施例可以使用相同或不同類型的多個觸覺輸出設(shè)備來輸出觸覺效果，例如模擬表面紋理或改變所感知的觸摸表面的摩擦系數(shù)。例如，在一個實(shí)施例中，壓電致動器可以用來以超聲頻率垂直和/或水平地位移一些或全部觸摸表面116，諸如在一些實(shí)施例中，通過使用以大于20-25kHz的頻率移動的致動器。在一些實(shí)施例中，多個致動器，諸如偏心旋轉(zhuǎn)質(zhì)量電動機(jī)和線性諧振致動器能單獨(dú)或共同使用來提供不同的紋理、摩擦系數(shù)的變化或其它觸覺效果。
[0039]還在其它的實(shí)施例中，觸覺輸出設(shè)備118可以例如，通過使用靜電表面致動器，應(yīng)用靜電摩擦或吸引，來模擬觸摸表面116的表面上的紋理。類似地，在一些實(shí)施例中，觸覺輸出設(shè)備118可以使用靜電吸引來改變用戶在觸摸表面116的表面上感受到的摩擦。例如，在一個實(shí)施例中，觸覺輸出設(shè)備118可以包括靜電顯示器或應(yīng)用電壓和電流，而不是機(jī)械運(yùn)動來生成觸覺效果的任何其它設(shè)備。在這種實(shí)施例中，靜電致動器可以包括導(dǎo)電層和絕緣層。在這種實(shí)施例中，導(dǎo)電層可以是任何半導(dǎo)體或其它導(dǎo)電材料，諸如銅、鋁、金或銀。并且絕緣層可以是玻璃、塑料、聚合物或任何其它絕緣材料。此外，處理器102可以通過將電信號施加到導(dǎo)電層來操作靜電致動器。電信號可以是AC信號，其在一些實(shí)施例中，通過在觸摸表面116附近或接觸觸摸表面116的物體，與導(dǎo)電層電容耦合。在一些實(shí)施例中，由高壓放大器生成AC信號。在其它實(shí)施例中，電容稱合可以模擬觸摸表面116的表面上的摩擦系數(shù)或紋理。例如，在一個實(shí)施例中，觸摸表面116的表面可以是平滑的，但電容耦合可以在觸摸表面116的表面附近的物體之間產(chǎn)生吸引力。在一些實(shí)施例中，改變物體和導(dǎo)電層之間的吸引水平會改變跨觸摸表面116的表面移動的物體上的模擬紋理或改變當(dāng)物體跨觸摸表面116的表面移動時感受到的摩擦系數(shù)。此外，在一些實(shí)施例中，靜電致動器可以結(jié)合傳統(tǒng)的致動器一起使用來改變觸摸表面116的表面上的模擬紋理。例如，致動器可以振動來模擬觸摸表面116的表面的紋理的變化，同時，靜電致動器可以模擬觸摸表面116的表面上的不同紋理或其它效果。
[0040]本領(lǐng)域的普通技術(shù)人員將意識到除改變摩擦系數(shù)外，能使用其它技術(shù)或方法來例如模擬表面上的紋理。在一些實(shí)施例中，可以使用被配置成基于與表面可重構(gòu)觸覺基板(包括但不限于例如光纖、納米管、電活化聚合物、壓電元件或形狀記憶合金)或磁流變液的接觸，改變其紋理的柔性表面層，模擬或輸出紋理。在另一實(shí)施例中，可以通過提高或降低一個或多個表面特征，例如，通過變形機(jī)構(gòu)、空氣或液體袋、材料的局部變形、諧振機(jī)械元件、壓電材料、微機(jī)電系統(tǒng)(“MEMS”)元件、熱流體袋、MEMS泵、可變多孔性膜或?qū)恿髡{(diào)制，改變表面紋理。
[0041]在一些實(shí)施例中，可以使用靜電致動器來通過刺激觸摸面116附近或與其接觸的本體的部分，生成觸覺效果。例如，在一些實(shí)施例中，靜電致動器可以刺激能響應(yīng)于靜電致動器的用戶的手指的皮膚的神經(jīng)末梢或尖筆中的部件。例如，皮膚中的神經(jīng)末梢可以被刺激并且感測靜電致動器(例如電容耦合)，作為振動或一些更具體的感覺。例如，在一個實(shí)施例中，靜電致動器的導(dǎo)電層可以接收與用戶的手指的導(dǎo)電部分耦合的AC電壓信號。當(dāng)用戶觸摸該觸摸表面116并且在觸摸表面上移動他或她的手指時，用戶可以感測多刺、粒狀、凸凹、粗糙、粘性的紋理或一些其它紋理。
[0042]此外，在一些實(shí)施例中，可以使用多個致動器來輸出觸覺效果。這可以用來增加觸覺輸出設(shè)備118能輸出的效果的范圍。例如，在一些實(shí)施例中，可以協(xié)同靜電致動器一起，使用振動致動器來生成寬范圍的效果。在另外的實(shí)施例中，另外類型的觸覺輸出設(shè)備，諸如配置成使觸摸表面變形的設(shè)備可以協(xié)同其它觸覺輸出設(shè)備，諸如振動致動器一起使用。
[0043]轉(zhuǎn)到存儲器104，描繪了示例性程序部件124、126和128來示例如何將設(shè)備配置成生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果。在該例子中，檢測模塊124配置處理器102來經(jīng)由傳感器108監(jiān)視觸摸表面116來確定觸摸的位置。例如，模塊124可以采樣傳感器108以便跟蹤存在或不存在觸摸，如果觸摸存在，則跟蹤位置、路徑、速度、加速度、壓力和/或隨時間的觸摸的其它特性的一個或多個。
[0044]觸覺效果確定模塊126表示分析音頻數(shù)據(jù)，諸如來自音頻效果的數(shù)據(jù)來選擇要生成的觸覺效果的程序部件。具體地，模塊126包括基于音頻數(shù)據(jù)，確定要輸出的觸覺效果的類型的代碼。
[0045]觸覺效果生成模塊128表示使處理器102生成觸覺信號并且將其傳送到觸覺輸出設(shè)備118，使得觸覺輸出設(shè)備118生成所選擇的觸覺效果的編程。例如，生成模塊128可以訪問所存儲的波形或命令來發(fā)送到觸覺輸出設(shè)備118。作為另一例子，觸覺效果生成模塊128可以接收所期望效果類型并且利用信號處理算法來生成發(fā)送到觸覺輸出設(shè)備118的適當(dāng)信號。一些實(shí)施例可以共同利用多個觸覺輸出設(shè)備來輸出觸覺效果。在一些實(shí)施例中，處理器102可以流傳輸觸覺信號或?qū)⑵鋫魉偷接|覺輸出設(shè)備118。
[0046]取決于計(jì)算系統(tǒng)的具體結(jié)構(gòu)，觸摸表面可以或可以不覆蓋(或者另外對應(yīng)于)顯示器。在圖1B中，示出了計(jì)算系統(tǒng)100B的外部視圖。計(jì)算設(shè)備101包括結(jié)合觸摸表面和設(shè)備的顯示器的觸摸使能顯示器116。觸摸表面可以對應(yīng)于顯示器外部或?qū)嶋H顯示部件上的一個或多個材料層。
[0047]圖1C示例其中觸摸表面不覆蓋顯示器的觸摸使能計(jì)算系統(tǒng)100C的另一例子。在該例子中，計(jì)算設(shè)備101包括觸摸表面116，該觸摸表面116被映射到在與設(shè)備101對接的計(jì)算系統(tǒng)120中包括的顯示器122中提供的圖形用戶界面。例如，計(jì)算設(shè)備101可以包括鼠標(biāo)、觸控板或其它設(shè)備，而計(jì)算系統(tǒng)120可以包括臺式或膝上型計(jì)算機(jī)、機(jī)頂盒(例如，DVD播放器、DVR、閉路電視盒)，或其它計(jì)算系統(tǒng)。作為另一例子，觸摸表面116和顯示器122可以位于同一設(shè)備中，諸如包括顯示器122的膝上型計(jì)算機(jī)中的觸摸使能的觸控板。不管是否與顯示器一體化，在此的例子中的平面觸摸表面的描述不意味著限制。其它實(shí)施例包括進(jìn)一步被配置成提供基于表面的觸覺效果的彎曲或不規(guī)則觸摸使能表面。
[0048]圖2A-2B示例可以生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的設(shè)備的例子。圖2A是示例由包括觸摸使能顯示器202的計(jì)算設(shè)備201組成的系統(tǒng)200的外部視圖的圖。圖2B示出設(shè)備201的截面圖。設(shè)備201可以被配置成與圖1A的設(shè)備101類似，盡管為了清楚起見，在該視圖中，未示出諸如處理器、存儲器、傳感器等等的部件。
[0049]如在圖2B看到的，設(shè)備201的特征在于多個觸覺輸出設(shè)備218和附加觸覺輸出設(shè)備222。觸覺輸出設(shè)備218-1可以包括被配置成將垂直力施加到顯示器202的致動器，而218-2可以橫向移動顯示器202。在該例子中，觸覺輸出設(shè)備218和222被直接耦接到顯示器，但應(yīng)當(dāng)理解到觸覺輸出設(shè)備218和222能耦接到另一觸摸表面，諸如顯示器202的頂部上的材料層。此外，應(yīng)當(dāng)理解到，如上所述，一個或多個觸覺輸出設(shè)備218或222可以包括靜電致動器。此外，觸覺輸出設(shè)備222可以耦接到包含設(shè)備201的部件的外殼。在圖2A-2B的例子中，顯示器202的區(qū)域?qū)?yīng)于觸摸區(qū)域，盡管該原理能應(yīng)用于與顯示器完全分離的觸摸表面。
[0050]在一個實(shí)施例中，觸覺輸出設(shè)備218每個包括壓電致動器，而附加觸覺輸出設(shè)備222包括偏心旋轉(zhuǎn)質(zhì)量電動機(jī)、線性諧振致動器，或另一壓電致動器。觸覺輸出設(shè)備222能被配置成響應(yīng)于來自處理器的觸覺信號，提供振動觸覺效果。振動觸覺效果能與基于表面的觸覺效果結(jié)合，和/或用于其它目的。例如，可以協(xié)同輸出振動、模擬紋理或改變顯示器202的表面的摩擦系數(shù)，使用每一致動器。
[0051]在一些實(shí)施例中，觸覺輸出設(shè)備218-1和218-2的每一個或兩者能包括除壓電致動器外的致動器。致動器的任何一個可以包括例如壓電致動器、電磁致動器、電活化聚合物、形狀記憶合金、柔性復(fù)合壓電致動器(例如，由柔性材料組成的致動器)、靜電和/或磁致伸縮致動器。另外，示出了觸覺輸出設(shè)備222，盡管多個其它觸覺輸出設(shè)備能耦接到設(shè)備201的外殼和/或在另外的地方耦接觸覺輸出設(shè)備222。設(shè)備201還可以包括在不同位置處耦接到觸摸表面的多個觸覺輸出設(shè)備218-1/218-2。
[0052]現(xiàn)在轉(zhuǎn)到圖3，圖3示出用于根據(jù)本公開內(nèi)容，生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)的一個實(shí)施例。圖3中所示的系統(tǒng)300包括計(jì)算設(shè)備301，其具有示出包括火車304的視頻的顯示器302。在一些實(shí)施例中，計(jì)算設(shè)備301可以包括手持計(jì)算設(shè)備，例如移動電話、平板電腦、音樂播放器或膝上型計(jì)算機(jī)。在另一實(shí)施例中，計(jì)算設(shè)備301可以包括多功能控制器。例如，在公用電話亭、ATM或其它計(jì)算設(shè)備中使用的控制器。此外，在一個實(shí)施例中，計(jì)算設(shè)備301可以包括在車輛中使用的控制器。
[0053]視頻304可以進(jìn)一步包括由耦接到計(jì)算設(shè)備301的音頻輸出設(shè)備(例如揚(yáng)聲器或耳機(jī))(圖3中未示出)播放的可聽效果。本公開內(nèi)容的實(shí)施例包括用于基于音頻信號，確定觸覺效果的方法。例如，一些實(shí)施例可以將音頻信號與視頻信號分離，然后執(zhí)行如在下文進(jìn)一步詳細(xì)所述的各種操作，確定隨音頻軌輸出的觸覺效果。
[0054]在一些實(shí)施例中，顯示器302可以包括觸摸使能顯示器。此外，除了顯示視頻之夕卜，顯示器302可以為用戶提供圖形用戶界面，例如，用于公用電話亭、ATM、立體聲系統(tǒng)、汽車儀表盤、電話、計(jì)算機(jī)、音樂播放器的圖形用戶界面或本領(lǐng)域已知的一些其它圖形用戶界面。在這種實(shí)施例中，計(jì)算設(shè)備301可以基于與圖形用戶界面相關(guān)聯(lián)的音頻信號，確定觸覺效果。例如，在一些實(shí)施例中，圖形用戶界面可以包括當(dāng)用戶與圖標(biāo)、按鈕或其它界面元件交互時輸出的音頻效果。在一些實(shí)施例中，計(jì)算設(shè)備301可以進(jìn)一步確定與這些音頻效果的一個或多個相關(guān)聯(lián)的觸覺效果。在一些實(shí)施例中，計(jì)算設(shè)備301可以從音頻信號中的包絡(luò)或任何其它傳感器導(dǎo)出信號，例如，來自諸如用戶接口、加速度計(jì)、陀螺儀、慣性測量單元等等的傳感器的信號，導(dǎo)出觸覺效果。
[0055]在一些實(shí)施例中，可以不包括視頻信號。例如，在一些實(shí)施例中，可以隨不與視頻關(guān)聯(lián)的音頻軌，播放觸覺效果。在這種實(shí)施例中，當(dāng)正播放信號或在正播放的信號前的時間，在此公開的系統(tǒng)和方法可以實(shí)時地操作音頻信號。例如，在一些實(shí)施例中，可以處理音頻信號來確定存儲在數(shù)據(jù)存儲中，用于未來播放的觸覺軌。在這種實(shí)施例中，可以由播放觸覺軌的計(jì)算設(shè)備，確定觸覺軌。在其它實(shí)施例中，可以由音頻軌的作者或發(fā)布者創(chuàng)建觸覺軌。在這種實(shí)施例中，作者或發(fā)布者可以與音頻軌一起發(fā)布觸覺軌。
[0056]用于生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性方法
[0057]圖4是示出用于生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的示例性方法400的流程圖。在一些實(shí)施例中，流程圖400中的步驟可以用由處理器，例如通用計(jì)算機(jī)、移動設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼來實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器來實(shí)現(xiàn)。在一些實(shí)施例中，圖4中所示的步驟可以以不同的順序來執(zhí)行?？商娲兀谝恍?shí)施例中，可以跳過圖4中所示的一個或多個步驟，或可以執(zhí)行圖4中未示出的另外的步驟。就音頻信號而言，描述圖4中的步驟。然而，在一些實(shí)施例中，可以使用上述方法來確定與其它類型的信號，例如壓力、加速度、速度或溫度信號相關(guān)聯(lián)的觸覺效果。參考就關(guān)于圖1A中所示的系統(tǒng)100所述的部件，描述下述步驟。
[0058]當(dāng)處理器102接收音頻信號402時，方法400開始。在一些實(shí)施例中，音頻信號可以包括與正在計(jì)算設(shè)備101上播放的視頻相關(guān)聯(lián)的信號。在其它實(shí)施例中，音頻信號可以包括與目前正在計(jì)算設(shè)備101上播放的音頻文件相關(guān)聯(lián)的信號。在其它實(shí)施例中，音頻信號可以與在計(jì)算設(shè)備101上本地存儲或在遠(yuǎn)程服務(wù)器上存儲的音頻文件相關(guān)聯(lián)。例如，在一些實(shí)施例中，音頻信號可以包括存儲在服務(wù)器上并且按需下載到用戶的音頻文件。
[0059]當(dāng)處理器102確定與音頻信號404相關(guān)聯(lián)的包絡(luò)時，方法400繼續(xù)。在這種實(shí)施例中，包絡(luò)可以包括緊密地跟隨音頻信號的時間和頻率內(nèi)容的曲線。然后，這種系統(tǒng)可以使該包絡(luò)與另一信號相乘。確定音頻信號的包絡(luò)可以使音頻至觸覺系統(tǒng)定位其中音頻信號接近噪聲或幅度非常低的區(qū)域。在下文中，將進(jìn)一步詳細(xì)地描述用于確定音頻信號的包絡(luò)的實(shí)施例。
[0060]當(dāng)處理器102基于包絡(luò)406確定觸覺效果時，方法400繼續(xù)。在一些實(shí)施例中，觸覺效果可以包括由一個或多個觸覺輸出設(shè)備118輸出的振動。在一些實(shí)施例中，該振動可以用來增強(qiáng)在計(jì)算設(shè)備101上播放的音頻軌的用戶感知。類似地，在一些實(shí)施例中，第一觸覺效果可以包括觸摸表面116上摩擦系數(shù)的變化。在其它實(shí)施例中，觸覺效果可以包括觸摸表面116的表面上的模擬紋理(例如，水、草、冰、金屬、沙灘、碎石、磚塊、毛皮、皮革、皮膚、織物、橡膠、樹葉或任何其它可用紋理中的一個或多個紋理)。
[0061]在一些實(shí)施例中，處理器102可以依賴于包含在觸覺效果確定模塊126中的編程來確定該觸覺效果。例如，處理器102可以訪問在存儲器104中存儲的并且與特定觸覺效果相關(guān)聯(lián)的驅(qū)動信號。作為另一例子，可以通過訪問所存儲的算法和輸入與效果相關(guān)聯(lián)的參數(shù)，生成信號。例如，算法可以輸出用在基于振幅和頻率參數(shù)生成驅(qū)動信號中的數(shù)據(jù)。作為另一例子，觸覺信號可以包括發(fā)送到致動器以便由致動器解碼的數(shù)據(jù)。例如，致動器本身可以響應(yīng)于指定諸如振幅和頻率的參數(shù)的命令。
[0062]此外，在一些實(shí)施例中，用戶能選擇與音頻文件相關(guān)聯(lián)的振動、紋理、摩擦系數(shù)的變化或其它觸覺效果以便定制計(jì)算設(shè)備101。例如，在一些實(shí)施例中，用戶可以選擇諸如允許觸摸界面的感覺的個性化的表面紋理的觸覺效果。在一些實(shí)施例中，該觸覺效果可以與例如，用于來電呼叫、電子郵件、文本消息、警報或其它事件的鈴聲相關(guān)聯(lián)。在一些實(shí)施例中，用戶可以通過修改設(shè)定或下載與特定效果相關(guān)聯(lián)的軟件，選擇這些個性化的觸覺效果或表面紋理。在其它實(shí)施例中，用戶可以通過所檢測的與設(shè)備的交互指定效果。在一些實(shí)施例中，該個性化的觸覺效果會增加用戶的擁有感以及用戶和他或她的設(shè)備之間的連接。
[0063]還在其它實(shí)施例中，設(shè)備制造商、藝術(shù)家、電視錄像制作人或軟件開發(fā)商可以選擇諸如表面紋理的不同觸覺效果來在他們的設(shè)備、用戶界面或藝術(shù)作品(例如歌曲、視頻或音頻軌)上加品牌。在一些實(shí)施例中，這些觸覺效果對品牌設(shè)備是唯一的并且與可以增加品牌意識的其它不同要素類似。例如，許多移動設(shè)備和平板電腦包括定制或品牌主屏環(huán)境。例如，在一些實(shí)施例中，由不同制造商生產(chǎn)的設(shè)備可以包括相同操作系統(tǒng)，然而，制造商可以通過修改該主屏環(huán)境區(qū)分他們的設(shè)備。類似地，由某一公司生產(chǎn)的視頻或音頻軌可以包括特定類型的觸覺效果。由此，在一些實(shí)施例中，一些設(shè)備制造商、生產(chǎn)公司或軟件開發(fā)人員可以使用觸覺效果，諸如基于紋理或摩擦的效果來創(chuàng)建唯一和可區(qū)分的用戶體驗(yàn)。
[0064]在一些實(shí)施例中，可以使用包絡(luò)來確定是否輸出觸覺效果。例如，在一些實(shí)施例中，可以從音頻軌自動地生成觸覺效果。然而，可期望將觸覺效果僅與某些可聽效果關(guān)聯(lián)。例如，在一些實(shí)施例中，對話框、背景噪聲、主題音樂或一些其它類型的可聽效果可以不與觸覺效果關(guān)聯(lián)。包絡(luò)確定可以被用來確定這些類型的可聽效果，然后確保無觸覺效果與它們關(guān)聯(lián)。例如，背景噪聲可能低于包絡(luò)中的閾值水平。由此，自動觸覺變換單元可以確定不輸出與該背景噪聲相關(guān)聯(lián)的觸覺效果。類似地，自動觸覺變換單元可以確定不輸出與由某一源(例如，樂器、說話者、效果單元等等)生成的語音、特效或可聽效果相關(guān)聯(lián)的觸覺效果O
[0065]在一些實(shí)施例中，處理器102可以通過將包絡(luò)乘以已知頻率，確定觸覺效果。在一些實(shí)施例中，這取決于致動器的類型。例如，在LRA的情況下，包絡(luò)能乘以例如125、150、175或200Hz的頻率來確定觸覺信號。此外，在一些實(shí)施例中，包絡(luò)本身可以輸出為觸覺信號。例如，在ERM的情況下，包絡(luò)能被原樣地發(fā)送到觸覺效果。此外，如上所述，包絡(luò)信號能用于其它類型的觸覺效果，例如，能基于用戶的手指的速度或加速度，修改包絡(luò)信號，以便輸出觸摸表面上的紋理。類似地，包絡(luò)能由被配置成改變觸摸表面上的感知的摩擦系數(shù)的致動器使用。
[0066]當(dāng)處理器102輸出與觸覺效果408相關(guān)聯(lián)的觸覺信號時，方法400繼續(xù)。處理器102將觸覺信號輸出到被配置成輸出觸覺效果的觸覺輸出設(shè)備118。在一些實(shí)施例中，觸覺輸出設(shè)備118可以將觸覺效果輸出到觸摸表面116上。在一些實(shí)施例中，觸覺輸出設(shè)備118可以包括耦接到觸摸表面116的傳統(tǒng)的致動器，諸如壓電致動器或電動機(jī)，或計(jì)算設(shè)備101內(nèi)的其它部件。在其它實(shí)施例中，觸覺輸出設(shè)備118可以包括被配置成模擬紋理或使用電場改變摩擦系數(shù)的靜電致動器。在一些實(shí)施例中，處理器102可以控制多個觸覺輸出設(shè)備來模擬多個觸覺效果。例如，在一個實(shí)施例中，處理器102可以控制靜電致動器來模擬觸摸表面116的表面上的紋理以及處理器102可以進(jìn)一步控制其它觸覺輸出設(shè)備118來模擬其它特征。例如，觸覺輸出設(shè)備118可以包括被配置成輸出諸如被配置成模擬障礙物、止動器、運(yùn)動的其它效果或?qū)τ|摸表面116的影響的致動器。在一些實(shí)施例中，處理器102可以協(xié)調(diào)效果，使得用戶當(dāng)與觸摸表面116交互時能一起感到多種效果。
[0067]然后，處理器102輸出音頻信號410。在一些實(shí)施例中，處理器102可以將音頻信號輸出到音頻輸出設(shè)備，諸如揚(yáng)聲器、耳機(jī)或耳塞。在一些實(shí)施例中，音頻輸出設(shè)備可以集成在計(jì)算設(shè)備101中。在其它實(shí)施例中，音頻輸出設(shè)備可以耦接到計(jì)算設(shè)備101。此外，在一些實(shí)施例中，音頻信號可以與觸覺效果同步，例如，在一些實(shí)施例中，觸覺效果可以被基本上同時輸出為相應(yīng)的音頻效果。
[0068]用于識別音頻信號中的包絡(luò)的示例性方法
[0069]圖5是示出用于識別可以用于確定與音頻信號相關(guān)聯(lián)的觸覺效果的音頻信號中的包絡(luò)的示例性方法500的流程圖。在一些實(shí)施例中，圖5中所示的步驟可以用由處理器，例如通用計(jì)算機(jī)、移動設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器實(shí)現(xiàn)。在一些實(shí)施例中，圖5中所示的步驟可以以不同的順序執(zhí)行。可替代地，在一些實(shí)施例中，圖5中的一個或多個步驟可以被跳過或，可以執(zhí)行圖5中未示出的附加的步驟。就音頻信號而言，描述圖5中的步驟。然而，在一些實(shí)施例中，該方法可以用來確定與其它類型的信號，例如壓力、加速度、速度或溫度信號相關(guān)聯(lián)的觸覺效果。
[0070]如圖5所示，在步驟502處，當(dāng)處理器102確定音頻信號內(nèi)的一個或多個段或時間窗的快速傅立葉變換(FFT)時，方法500開始。在一些實(shí)施例中，段可以對應(yīng)于特定時間窗中的音頻信號的采樣。此外，在一些實(shí)施例中，段可以不同或者可替代地可以重疊。在小的時間窗中提取的音頻信號的快速傅立葉變換(FFT)是音頻信號的頻譜的基礎(chǔ)。在一些實(shí)施例中，頻譜可以用具有一軸為時間、另一軸為頻率以及另一軸為特定頻率的振幅的3D制圖表示。用于音頻信號的頻譜示為圖6中的制圖600，在下文中進(jìn)一步詳細(xì)地描述。
[0071]接著，在步驟504處，處理器從每一段或每一時間窗的FFT，確定幅度。在一些實(shí)施例中，處理器102可以確定對數(shù)標(biāo)度的幅度。此外，在一些實(shí)施例中，這可以是所有FFT頻率幅度的和或所有這些值的平均值。
[0072]然后，在步驟506處，處理器102對幅度歸一化。在一些實(shí)施例中，處理器102可以對負(fù)I和I之間的值歸一化。歸一化的信號在圖6中示為制圖650中的信號654。
[0073]接著，在步驟508處，處理器102確定正值。例如，處理器可以將低于O的所有值設(shè)置成0，然后，僅分析非零值。得到的正值對應(yīng)于信號的包絡(luò)。
[0074]圖6示例音頻信號的頻譜和同一音頻信號的時域的圖。如圖6所示，音頻信號的頻譜示為圖600。頻譜包括小時間窗中的音頻信號的段的短時傅立葉變換(STFT)的繪圖。在一些實(shí)施例中，用一軸為時間、另一軸為頻率，以及第三軸為特定頻率的振幅的三維繪圖表示頻譜。繪圖600包括音頻信號的二維頻譜的例子。在繪圖600中，由繪圖的暗度表示第三維，較暗的顏色表示較高的幅度。如該繪圖中所示，在較低頻率處存在較高強(qiáng)度，由低幅度處的暗圖表示(由箭頭602高亮)。當(dāng)頻率增加時，強(qiáng)度降低，由此，顏色變得越亮(由箭頭604高亮)
[0075]此外，如圖6所不,繪圖650包括由暗線652表不的音頻信號的時域。由灰線654表不歸一化的音頻信號。由亮灰線656表不包絡(luò)信號。在一些實(shí)施例中，該包絡(luò)將對應(yīng)于音頻信號中的事件。在一些實(shí)施例中，處理器102可以使用這些事件來確定與音頻信號相關(guān)聯(lián)的觸覺效果的位置。
[0076]現(xiàn)在轉(zhuǎn)到圖7，圖7示例根據(jù)一個實(shí)施例，確定音頻信號的包絡(luò)的方法700的流程圖。圖7是示出用于識別可以用來確定與音頻信號相關(guān)聯(lián)的觸覺效果的音頻信號中的包絡(luò)的示例性方法700的流程圖。在一些實(shí)施例中，圖7中所示的步驟可以用由處理器，例如，通用計(jì)算機(jī)、移動設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器實(shí)現(xiàn)。在一些實(shí)施例中，圖7中所示的步驟可以以不同順序執(zhí)行。可替代地，在一些實(shí)施例中，可以跳過圖7中的一個或多個步驟，或可以執(zhí)行圖7中未示出的另外步驟。關(guān)于音頻信號，描述圖7中的步驟。然而，在一些實(shí)施例中，該方法可以用來確定與其它類型的信號，諸如壓力、加速度、速度或溫度信號相關(guān)聯(lián)的觸覺效果。
[0077]如圖7所示，在702處，當(dāng)處理器102確定音頻信號的一個或多個段的功率譜密度時，方法700開始。在一些實(shí)施例中，處理器102可以確定用于音頻信號的連續(xù)時間窗的每一個、用于覆蓋音頻信號中的大多數(shù)頻率的頻率范圍的功率譜密度。在其它實(shí)施例中，處理器102可以對音頻信號中的更窄范圍的頻率確定功率譜密度。
[0078]在步驟704處，處理器102通過對每一時段的功率譜密度值求和，確定和信號。在一些實(shí)施例中，時間窗可以包括可變時間長度。在一些實(shí)施例中，該時間長度可以包括小于10ms0在一些實(shí)施例中，處理器102可以對每一時間窗，將頻率范圍中的所有頻率的功率譜密度值求和。在一些實(shí)施例中，對每一時間窗的功率譜密度值求和使每一時間窗表示為單個值。例如，在一些實(shí)施例中，每一窗可以表不為單個數(shù)值。此外，在一些實(shí)施例中，處理器102可以確定表示這些值的信號S，例如，表示功率譜密度值的和的信號。
[0079]然后，在步驟706處，處理器102重新采樣和信號。在一些實(shí)施例中，處理器102可以對指定長度的時間窗米樣信號S。在一些實(shí)施例中，米樣頻率可以至少部分基于每一時間窗的長度。例如，在一個實(shí)施例中，如果時間窗為Xms以及采樣頻率為Fs，則由(X*Fs/1000)值代替/采樣每個值。
[0080]接著，在步驟708處，處理器102對采樣信號插值和歸一化。處理器102可以使用許多已知的用于插值的傳統(tǒng)技術(shù)中的一個，例如，線性、多項(xiàng)式、樣條、最近。在一些實(shí)施例中，使用不同插值方法將導(dǎo)致不同值，并且由此導(dǎo)致不同觸覺軌。在一些實(shí)施例中，處理器102可以插值以便匹配音頻信號的采樣頻率。此外，在一些實(shí)施例中，然后處理器102可以確定插值信號的平方根。在一些實(shí)施例中，得到的信號表示原始音頻信號的包絡(luò)。
[0081]圖8示例根據(jù)關(guān)于圖7所示的步驟702至708所述的方法700確定的包絡(luò)800的繪圖。如圖8所示，繪圖800將音頻信號示為灰線802，以及將所確定的該音頻信號的包絡(luò)示為暗線804。
[0082]用于清除所識別的包絡(luò)信號的示例性方法
[0083]圖9是示出用于清除可以用來確定與音頻信號相關(guān)聯(lián)的觸覺效果的包絡(luò)信號的示例性方法900的流程圖。在一些實(shí)施例中，圖9中所示的步驟可以用由處理器，例如通用計(jì)算機(jī)、移動設(shè)備或服務(wù)器中的處理器執(zhí)行的程序代碼實(shí)現(xiàn)。在一些實(shí)施例中，這些步驟可以由一組處理器實(shí)現(xiàn)。在一些實(shí)施例中，圖9中所示的步驟可以以不同順序執(zhí)行?？商娲兀谝恍?shí)施例中，可以跳過圖9中的一個或多個步驟，或可以執(zhí)行圖9中未示出的另外的步驟。就音頻信號而言，描述圖9中的步驟。然而，在一些實(shí)施例中，可以使用該方法來確定與其它類型的信號，諸如壓力、加速度、速度或溫度信號相關(guān)聯(lián)的觸覺效果。
[0084]如圖9所示，在步驟902處，當(dāng)處理器102使用閾值對包絡(luò)信號濾波時，方法900開始。該閾值可以包括包絡(luò)的下限，低于該下限，信號被忽略或設(shè)置成O。在一些實(shí)施例中，閾值可以包括在O和I之間的值。例如，在一些實(shí)施例中，閾值可以包括0.1或0.2的值。在一些實(shí)施例中，閾值可以包括預(yù)定閾值。在一些實(shí)施例中，在濾波期間，處理器102廢棄低于該閾值的所有或基本上所有值。例如，在一個實(shí)施例中，音頻文件中的背景噪聲可能低于包絡(luò)中的閾值水平。由此，自動觸覺變換單元可以確定不輸出與該背景噪聲相關(guān)聯(lián)的觸覺效果。類似地，自動觸覺變換單元可以確定不輸出與某一源(例如樂器、說話者、效果單元)生成的語音、特效或可聽效果相關(guān)聯(lián)的觸覺效果。
[0085]接著，在步驟904處，處理器102使用靜音水平，濾波包絡(luò)信號。在一些實(shí)施例中，靜音水平可以包括由用戶或設(shè)計(jì)者設(shè)定為音頻至觸覺變換的參數(shù)的百分比值。例如，在一些實(shí)施例中，靜音水平可以包括例如30 %、40 %或50 %的百分比。在一些實(shí)施例中，該百分比對應(yīng)于在觸覺軌中要被過濾出(廢棄)的觸覺信號采樣的百分比。在這種實(shí)施例中，可以移除低于對應(yīng)于該百分比的閾值的采樣值。例如，在一個實(shí)施例中，可以按升序排序包絡(luò)信號采樣的采樣值。能將對應(yīng)于靜音水平(例如X%)的閾值估算為包絡(luò)信號中以(X/100)*樣本總數(shù)分級的值。然后，過濾(廢棄)低于該值的樣本。例如，對于60%的觸覺靜音值，處理器102可以廢棄具有小于對應(yīng)于60%觸覺靜音水平的閾值的值的所有采樣。
[0086]圖10示例被清除的包絡(luò)信號的繪圖1000。如圖10所示，繪圖1000包括示為灰線1002的音頻信號。被清除的包絡(luò)信號示為暗線1004。如圖10所示，被清除的包絡(luò)信號包括60%觸覺靜音閾值，由此，處理器102可以廢棄小于60%閾值的所有值。
[0087]生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法的優(yōu)點(diǎn)
[0088]生成與音頻信號中的包絡(luò)相關(guān)聯(lián)的觸覺效果的系統(tǒng)和方法具有許多優(yōu)點(diǎn)。過去，通過取特定持續(xù)時間上的音頻信號的絕對值，然后低通濾波該信號或取最大值，計(jì)算包絡(luò)。然而，該方法在音頻信號非常小或嘈雜的地方產(chǎn)生觸覺效果。由此，觸覺效果是不期望的，例如，因?yàn)樗鼈冑|(zhì)量低或不與音頻文件中的適當(dāng)事件相關(guān)聯(lián)。
[0089]在一些實(shí)施例中，包絡(luò)包含與音頻事件、時序和噪聲層的幅度相關(guān)聯(lián)的重要信息。這可以用于信號的自動觸覺變換，因?yàn)闇?zhǔn)確地確定包絡(luò)允許自動變換來具有更干凈的信號。此外，適當(dāng)確定的包絡(luò)可以包括更大對比，使得觸覺效果與音頻信號中的重要事件一起輸出，而不與不太重要的事件，例如背景噪聲一起輸出。在此所述的系統(tǒng)和方法能確定能用來確定引人注目的觸覺效果的對比的適當(dāng)水平。此外，上述的系統(tǒng)和方法允許設(shè)計(jì)者/用戶選擇觸覺靜音閾值，這使得設(shè)計(jì)者/用戶控制如何將生成觸覺效果。這會再次導(dǎo)致更引人注目的觸覺效果。
[0090]一般考慮
[0091]上述方法、系統(tǒng)和設(shè)備是示例性的。適當(dāng)時，各種配置可以省略、替代或添加不同的過程或部件。例如，在替代配置中，可以以不同于上述的順序，執(zhí)行方法，和/或可以添力口、省略和/或組合不同的步驟。同時，參考某些配置所述的特征可以結(jié)合在不同的其它配置中?？梢砸灶愃频姆绞浇M合配置的不同方面和要素。同時，技術(shù)在發(fā)展，由此，許多的要素是示例性的，不限制本公開內(nèi)容或權(quán)利要求的范圍。
[0092]在說明書中給出具體的細(xì)節(jié)以便提供示例性結(jié)構(gòu)(包括實(shí)現(xiàn))的全面理解。然而，在沒有這些具體細(xì)節(jié)的情況下，也可以實(shí)施配置。例如，在沒有非必要細(xì)節(jié)的情況下，已經(jīng)示出了非常公知的電路、過程、算法、結(jié)構(gòu)和技術(shù)，以避免混淆配置。本說明書僅提供示例性配置，以及不限制權(quán)利要求的范圍、可用性或配置。相反，配置的前述描述將為本領(lǐng)域的技術(shù)人員提供用于實(shí)現(xiàn)所述技術(shù)的開放描述。在不背離本公開內(nèi)容的精神或范圍的情況下，可以在要素的功能或排列方面做出各種改變。
[0093]同時，配置可以描述為圖示為流程圖或框圖的過程。盡管每一配置可以將操作描述為順序過程，但可以并行或同時地執(zhí)行許多操作。此外，可以重新排列操作的次序。過程可以具有未包括在圖中的另外的步驟。此外，可以由硬件、軟件、固件、中間件、微代碼、硬件描述語言或其任意組合來實(shí)現(xiàn)方法的例子。當(dāng)用軟件、固件、中間件或微代碼實(shí)現(xiàn)時，可以將執(zhí)行必要任務(wù)的程序代碼或代碼段存儲在非瞬時計(jì)算機(jī)可讀介質(zhì)，諸如存儲介質(zhì)中。處理器可以執(zhí)行所述任務(wù)。
[0094]已經(jīng)描述了若干示例結(jié)構(gòu)，在不背離本公開內(nèi)容的精神的情況下，可以使用各種改進(jìn)、替代結(jié)構(gòu)和等同物。例如，上述要素可以是較大系統(tǒng)的部件，其中，其它規(guī)則可以優(yōu)先于或者另外修改本發(fā)明的應(yīng)用。同時，在考慮上述要素前、期間或之后，可以進(jìn)行許多步驟。因此，上述描述不限定權(quán)利要求書的范圍。
[0095]在此使用“用來”或“被配置成”意為不排除用來或被配置成執(zhí)行另外的任務(wù)或步驟的設(shè)備的開放和包含性語言。此外，使用“基于”是指開放和包含性的，即，“基于”一個或多個所述條件或值的過程、步驟、計(jì)算或其它動作實(shí)際上可以基于除那些所述的外的另外的條件或值。其中所包括的標(biāo)題、列表和編號僅為了易于說明而不打算限制。
[0096]能在數(shù)字電子電路中、計(jì)算機(jī)硬件、固件、軟件中或前述的組合中實(shí)現(xiàn)根據(jù)本主題的方面的實(shí)施例。在一個實(shí)施例中，計(jì)算機(jī)可以包括一個處理器或多個處理器。處理器包括或能夠存取計(jì)算機(jī)可讀介質(zhì)，諸如耦接到處理器的隨機(jī)存取存儲器(RAM)。處理器執(zhí)行在存儲器中存儲的計(jì)算機(jī)可執(zhí)行程序指令，諸如執(zhí)行包括傳感器采樣例程、選擇例程和執(zhí)行上述方法的其它例程的一個或多個計(jì)算機(jī)程序。
[0097]這些處理器可以包括微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)和狀態(tài)機(jī)。這些處理器可以進(jìn)一步包括可編程電子設(shè)備，諸如PLC、可編程中斷控制器(PIC)、可編程邏輯器件(PLD)、可編程只讀存儲器(PROM)、電可編程只讀存儲器(EPR0M或EEPR0M)或其它類似的設(shè)備。
[0098]這些處理器可以包括可以存儲當(dāng)由處理器執(zhí)行時，能使處理器執(zhí)行如由處理器執(zhí)行或輔助的在此所述的步驟的介質(zhì)，例如有形計(jì)算機(jī)可讀介質(zhì)或可以與其通信。計(jì)算機(jī)可讀介質(zhì)的實(shí)施例可以包括但不限于能為諸如網(wǎng)絡(luò)服務(wù)器中的處理器的處理器提供計(jì)算機(jī)可讀指令的所有電子、光學(xué)、磁性或其它存儲設(shè)備。介質(zhì)的其它例子包括但不限于軟盤、CD-ROM、磁盤、存儲器芯片、ROM、RAM、ASIC、結(jié)構(gòu)處理器、所有光學(xué)介質(zhì)、所有磁帶或其它磁性介質(zhì)、或計(jì)算機(jī)處理器能讀取的任何其它介質(zhì)。同時，各種其它設(shè)備可以包括計(jì)算機(jī)可讀介質(zhì)，諸如路由器、專用或公用網(wǎng)絡(luò)，或其它傳輸設(shè)備。所述的處理器或處理可以在一個或多個結(jié)構(gòu)中，以及可以分散在一個或多個結(jié)構(gòu)中。處理器可以包括用于執(zhí)行在此所述的一個或多個方法(或部分方法)的代碼。
[0099]盡管已經(jīng)參考具體實(shí)施例詳細(xì)地描述了本主題，但將意識到本領(lǐng)域的技術(shù)人員在完成上文的理解后，可以易于產(chǎn)生對這些實(shí)施例的變更、變形和等同物。因此，應(yīng)理解到為了示例性而不是限制目的給出了本公開內(nèi)容，以及對本領(lǐng)域的普通技術(shù)人員來說，不排除包括對本領(lǐng)域的技術(shù)人員顯而易見的本主題的這些改進(jìn)、變形和/或增加。
【權(quán)利要求】
1.一種用于輸出觸覺效果的系統(tǒng)，包括: 處理器，所述處理器被配置成: 接收音頻信號； 確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號； 至少部分基于所述包絡(luò)信號，來確定觸覺效果；以及 輸出與所述觸覺效果相關(guān)聯(lián)的觸覺信號。
2.如權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括: 音頻輸出設(shè)備，所述音頻輸出設(shè)備被配置成接收所述音頻信號和輸出可聽效果；以及與所述處理器通信的觸覺輸出設(shè)備，所述觸覺輸出設(shè)備被配置成接收所述觸覺信號和輸出所述觸覺效果。
3.如權(quán)利要求1所述的系統(tǒng)，進(jìn)一步包括數(shù)據(jù)存儲，所述數(shù)據(jù)存儲被配置成接收所述觸覺信號并且將所述觸覺效果存儲在觸覺軌中。
4.如權(quán)利要求1所述的系統(tǒng)，其中，所述觸覺效果包括下述中的一個或多個:摩擦系數(shù)的變化、模擬紋理或振動。
5.如權(quán)利要求1所述的系統(tǒng)，其中，確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號包括: 確定在兩個或更多個時間窗內(nèi)的所述音頻信號的快速傅立葉變換； 確定每一時間窗的快速傅立葉變換的幅度； 通過對所述幅度歸一化，來確定歸一化的信號；以及 從所述歸一化的信號確定正值。
6.如權(quán)利要求6所述的系統(tǒng)，其中，所述時間窗是重疊的。
7.如權(quán)利要求6所述的系統(tǒng)，其中，所述包絡(luò)信號是所述歸一化的信號的正值。
8.如權(quán)利要求1所述的系統(tǒng)，其中，確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號包括: 確定在兩個或更多個時間窗內(nèi)的所述音頻信號的功率譜密度； 通過對每一時間窗的功率譜密度值求和，來確定和信號； 對所述和信號采樣以確定采樣信號；以及 對所述采樣信號插值和歸一化。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述包絡(luò)信號是所插值和歸一化的采樣信號。
10.如權(quán)利要求1所述的系統(tǒng)，其中，所述處理器被進(jìn)一步配置成對所述包絡(luò)信號濾波。
11.如權(quán)利要求10所述的系統(tǒng)，其中，對所述包絡(luò)信號濾波包括下述中的一個或多個:使用閾值對所述包絡(luò)信號濾波和使用觸覺靜音水平對所述包絡(luò)信號濾波。
12.一種用于輸出觸覺效果的方法，包括: 接收音頻信號； 確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號； 至少部分基于所述包絡(luò)信號，來確定觸覺效果；以及 輸出與所述觸覺效果相關(guān)聯(lián)的觸覺信號。
13.如權(quán)利要求12所述的方法，進(jìn)一步包括: 輸出可聽效果；以及 輸出所述觸覺效果。
14.如權(quán)利要求12所述的方法，進(jìn)一步包括將所述觸覺信號存儲在觸覺軌中。
15.如權(quán)利要求12所述的方法，其中，所述觸覺效果包括下述中的一個或多個:摩擦系數(shù)的變化、模擬紋理或振動。
16.如權(quán)利要求12所述的方法，其中，確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號包括: 確定在兩個或更多個時間窗內(nèi)的所述音頻信號的快速傅立葉變換； 確定每一時間窗的快速傅立葉變換的幅度； 通過對所述幅度歸一化，來確定歸一化的信號；以及 從所述歸一化的信號確定正值。
17.如權(quán)利要求16所述的方法，其中，所述時間窗是重疊的。
18.如權(quán)利要求16所述的方法，其中，所述包絡(luò)信號是所述歸一化的信號的正值。
19.如權(quán)利要求12所述的方法，其中，確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號包括: 確定在兩個或更多個時間窗內(nèi)的所述音頻信號的功率譜密度； 通過對每一時間窗的功率譜密度值求和，來確定和信號； 對所述和信號采樣以確定采樣信號；以及 對所述采樣信號插值和歸一化。
20.如權(quán)利要求19所述的方法，其中，所述包絡(luò)信號是所插值和歸一化的采樣信號。
21.如權(quán)利要求12所述的方法，其中，所述處理器被進(jìn)一步配置成對所述包絡(luò)信號濾波。
22.如權(quán)利要求21所述的方法，其中，對所述包絡(luò)信號濾波包括下述中的一個或多個:使用閾值對所述包絡(luò)信號濾波和使用觸覺靜音水平對所述包絡(luò)信號濾波。
23.一種非瞬時計(jì)算機(jī)可讀介質(zhì)，包括程序代碼，所述程序代碼在被處理器執(zhí)行時被配置成使所述處理器: 接收音頻信號； 確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號； 至少部分基于所述包絡(luò)信號，來確定觸覺效果；以及 輸出與所述觸覺效果相關(guān)聯(lián)的觸覺信號。
24.如權(quán)利要求23所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，進(jìn)一步包括程序代碼，所述程序代碼在被處理器執(zhí)行時被配置成使所述處理器: 輸出可聽效果；以及 輸出所述觸覺效果。
25.如權(quán)利要求23所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，進(jìn)一步包括程序代碼，所述程序代碼在被處理器執(zhí)行時被配置成使所述處理器將所述觸覺信號存儲在觸覺軌中。
26.如權(quán)利要求23所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，所述觸覺效果包括下述中的一個或多個:摩擦系數(shù)的變化、模擬紋理或振動。
27.如權(quán)利要求23所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號包括: 確定在兩個或更多個時間窗內(nèi)的所述音頻信號的快速傅立葉變換； 確定每一時間窗的快速傅立葉變換的幅度； 通過對所述幅度歸一化，來確定歸一化的信號；以及 從所述歸一化的信號確定正值。
28.如權(quán)利要求27所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，所述時間窗是重疊的。
29.如權(quán)利要求27所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，所述包絡(luò)信號是所述歸一化的信號的正值。
30.如權(quán)利要求23所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，確定與所述音頻信號相關(guān)聯(lián)的包絡(luò)信號包括: 確定在兩個或更多個時間窗內(nèi)的所述音頻信號的功率譜密度； 通過對每一時間窗的功率譜密度值求和，來確定和信號； 對所述和信號采樣以確定采樣信號；以及 對所述采樣信號插值和歸一化。
31.如權(quán)利要求30所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，所述包絡(luò)信號是所插值和歸一化的包絡(luò)信號。
32.如權(quán)利要求23所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，所述處理器被進(jìn)一步配置成對所述包絡(luò)信號濾波。
33.如權(quán)利要求32所述的非瞬時計(jì)算機(jī)可讀介質(zhì)，其中，對所述包絡(luò)信號濾波包括下述中的一個或多個:使用閾值對所述包絡(luò)信號濾波和使用觸覺靜音水平對所述包絡(luò)信號濾波。
【文檔編號】G06F3/01GK104423592SQ201410452984
【公開日】2015年3月18日 申請日期:2014年9月5日 優(yōu)先權(quán)日:2013年9月6日
【發(fā)明者】君·曼扭爾·克魯斯-赫南德斯, 賈邁勒·沙博恩 申請人:意美森公司