觸覺效果的自動適配的制作方法
【專利摘要】本公開涉及觸覺效果的自動適配。提供一種由諸如音頻源數(shù)據(jù)的源數(shù)據(jù)自動產(chǎn)生一個或多個觸覺效果的系統(tǒng)。通過分析源數(shù)據(jù)并且識別最類似于源數(shù)據(jù)的一個或多個觸覺效果，該系統(tǒng)將一個或多個觸覺效果與源數(shù)據(jù)相適配。該系統(tǒng)將識別出的一個或多個觸覺效果與源數(shù)據(jù)相匹配。該系統(tǒng)隨后輸出識別出的一個或多個觸覺效果。
【專利說明】觸覺效果的自動適配
【技術(shù)領(lǐng)域】
[0001]一個實(shí)施例一般涉及觸覺效果，并且尤其涉及一種設(shè)備，其產(chǎn)生與其它相關(guān)輸出相關(guān)聯(lián)的觸覺效果。
【背景技術(shù)】
[0002]觸覺論是一種通過將諸如力、振動和運(yùn)動的觸覺反饋效果(S卩“觸覺效果”)施加給用戶而對用戶的接觸感知加以利用的觸知和力反饋技術(shù)。諸如移動設(shè)備、觸摸屏設(shè)備和個人計算機(jī)的設(shè)備能夠被配置成產(chǎn)生觸覺效果。一般地，能夠在設(shè)備的操作系統(tǒng)(“OS”)內(nèi)對調(diào)用能夠產(chǎn)生觸覺效果的嵌入式硬件(諸如致動器)進(jìn)行編程。這些調(diào)用規(guī)定哪個觸覺效果要播放。例如，當(dāng)用戶與使用例如按鈕、觸摸屏、控制桿、游戲棒、滾輪或一些其它控制的設(shè)備交互時，設(shè)備的OS能夠通過控制電路將播放命令發(fā)送至嵌入式硬件。然后嵌入式硬件產(chǎn)生適當(dāng)?shù)挠|覺效果。
[0003]設(shè)備能夠被配置成協(xié)調(diào)觸覺效果輸出和諸如游戲或其它媒介的其它內(nèi)容輸出，使得觸覺效果并入其它內(nèi)容內(nèi)。例如，在游戲背景中，當(dāng)游戲被開發(fā)時，音頻效果開發(fā)者能夠開發(fā)音頻效果，其與游戲相關(guān)聯(lián)并且表示發(fā)生在游戲內(nèi)的動作，諸如機(jī)關(guān)槍射擊、爆炸、或汽車碰撞。通常，觸覺效果在游戲開發(fā)過程后期被增加至游戲，諸如當(dāng)游戲開發(fā)者完成游戲應(yīng)用的開發(fā)時，或當(dāng)游戲開發(fā)者將完成的游戲應(yīng)用移植至新平臺時。這一般導(dǎo)致觸覺效果在所有音頻效果已經(jīng)被開發(fā)后才被增加的現(xiàn)象。因?yàn)橛|覺效果通常在過程中被非常晚地增力口，所以它一般由觸覺效果開發(fā)者、或一些其他開發(fā)者承擔(dān)，來做關(guān)于將觸覺效果與音頻效果相關(guān)聯(lián)的決定。此外，音頻效果開發(fā)者通常不具有關(guān)于選擇用于音頻效果的適當(dāng)觸覺效果的輸入。這樣能夠促使最終并入內(nèi)容中的觸覺效果質(zhì)量的下降。這種質(zhì)量下降會是將高質(zhì)量觸覺效果并入這種內(nèi)容內(nèi)的一個障礙。

【發(fā)明內(nèi)容】

[0004]一個實(shí)施例是一種自動適配觸覺效果的系統(tǒng)。該系統(tǒng)接收源數(shù)據(jù)，其中源數(shù)據(jù)包括一個或多個特性。該系統(tǒng)進(jìn)一步將源數(shù)據(jù)與一個或多個原觸覺進(jìn)行比較，其中一個或多個原觸覺的每個原觸覺都包括一個或多個觸覺參數(shù)。該系統(tǒng)基于比較進(jìn)一步從一個或多個原觸覺中選擇一個或多個原觸覺。該系統(tǒng)基于選定的一個或多個原觸覺進(jìn)一步輸出一個或多個觸覺效果。
[0005]另一個實(shí)施例是一種自動適配觸覺效果的系統(tǒng)。該系統(tǒng)接收源數(shù)據(jù)，其中源數(shù)據(jù)包括一個或多個特征。該系統(tǒng)進(jìn)一步從源數(shù)據(jù)中提取一個或多個特征。該系統(tǒng)進(jìn)一步將一個或多個提取特征與一個或多個樣板進(jìn)行比較，其中每個樣板都包括一個或多個樣板特征和一個或多個觸覺效果。該系統(tǒng)基于比較進(jìn)一步從一個或多個樣板中選擇一個或多個樣板。該系統(tǒng)進(jìn)一步從一個或多個選定樣板中選擇一個或多個觸覺效果。該系統(tǒng)進(jìn)一步輸出一個或多個選定觸覺效果。【專利附圖】

【附圖說明】
[0006]結(jié)合附圖，從優(yōu)選實(shí)施例的以下詳細(xì)說明，進(jìn)一步的實(shí)施例、細(xì)節(jié)、優(yōu)點(diǎn)及更改將
變得清楚。
[0007]圖1示出根據(jù)本發(fā)明一個實(shí)施例的系統(tǒng)的框圖。
[0008]圖2示出用于產(chǎn)生并且播放觸覺效果的框架的流程圖。
[0009]圖3示出根據(jù)本發(fā)明一個實(shí)施例的對最類似于音頻源數(shù)據(jù)的原觸覺的選擇的流程圖。
[0010]圖4示出根據(jù)本發(fā)明一個實(shí)施例的用于音頻特征提取和基于提取音頻特征選擇觸覺效果的流程圖。
[0011]圖5示出根據(jù)本發(fā)明一個實(shí)施例的自動觸覺效果適配模塊的功能的流程圖。
[0012]圖6示出根據(jù)本發(fā)明另一個實(shí)施例的自動觸覺效果適配模塊的功能的流程圖。
【具體實(shí)施方式】
[0013]一個實(shí)施例是一種系統(tǒng)，其能夠鑒于諸如音頻源數(shù)據(jù)的源數(shù)據(jù)來自動產(chǎn)生一個或多個觸覺效果。換言之，該系統(tǒng)能夠?qū)⒔邮盏降脑磾?shù)據(jù)自動轉(zhuǎn)換成觸覺信息，其中接收到的源數(shù)據(jù)能夠包括諸如音頻數(shù)據(jù)、視頻數(shù)據(jù)、加速度數(shù)據(jù)、或能夠利用傳感器捕獲的另一種類型數(shù)據(jù)的數(shù)據(jù)。更具體地，該系統(tǒng)能夠分析源數(shù)據(jù)并且識別最類似于源數(shù)據(jù)的一個或多個觸覺效果。該系統(tǒng)隨后能夠?qū)⒆R別出的一個或多個觸覺效果與源數(shù)據(jù)進(jìn)行匹配。該系統(tǒng)隨后能夠輸出識別出的一個或多個觸覺效果。源數(shù)據(jù)能夠被儲存在儲存器(storage)內(nèi)，其中在源數(shù)據(jù)被自動轉(zhuǎn)換成觸覺信息之前源數(shù)據(jù)被檢索(retrieve)。可選地，在源數(shù)據(jù)被自動轉(zhuǎn)換成觸覺信息前源數(shù)據(jù)能夠被流式傳輸。
[0014]在一個實(shí)施例中，該系統(tǒng)能夠識別最類似于源數(shù)據(jù)的一個或多個原觸覺(在下文詳細(xì)描述)。該系統(tǒng)隨后能夠選擇一個或多個原觸覺并且基于一個或多個原觸覺來輸出一個或多個觸覺效果。該系統(tǒng)能夠可選地將一個或多個原觸覺優(yōu)化成更類似于源數(shù)據(jù)。在另一個實(shí)施例中，該系統(tǒng)能夠識別最類似于源數(shù)據(jù)的一個或多個樣板。該系統(tǒng)隨后能夠選擇與一個或多個樣板相關(guān)聯(lián)的一個或多個觸覺效果，并且輸出一個或多個選定觸覺效果。該系統(tǒng)能夠可選地將一個或多個選定觸覺效果優(yōu)化成更類似于源數(shù)據(jù)。源數(shù)據(jù)能夠被儲存在儲存器內(nèi)，其中在源數(shù)據(jù)被自動轉(zhuǎn)換成觸覺信息之前源數(shù)據(jù)被檢索?？蛇x地，在源數(shù)據(jù)被自動轉(zhuǎn)換成觸覺信息前源數(shù)據(jù)能夠被流式傳輸。
[0015]因此，根據(jù)一個實(shí)施例，其中諸如視頻游戲或其它類型媒介的內(nèi)容被輸出，并且其中內(nèi)容包括諸如音頻數(shù)據(jù)、視頻數(shù)據(jù)或加速度數(shù)據(jù)的數(shù)據(jù)，系統(tǒng)能夠自動將一個或多個觸覺效果增加至內(nèi)容，其中每個觸覺效果都“適配”內(nèi)容的對應(yīng)數(shù)據(jù)。因此，當(dāng)現(xiàn)有內(nèi)容被輸出時，觸覺內(nèi)容能夠自動被增加至現(xiàn)有內(nèi)容，其中觸覺內(nèi)容與現(xiàn)有內(nèi)容相匹配。
[0016]圖1示出根據(jù)本發(fā)明一個實(shí)施例的系統(tǒng)10的框圖。在一個實(shí)施例中，系統(tǒng)10是設(shè)備的一部分，并且系統(tǒng)10為設(shè)備提供自動觸覺效果適配功能。在另一個實(shí)施例中，系統(tǒng)10與設(shè)備分開，并且為設(shè)備遠(yuǎn)程提供自動觸覺效果適配功能。雖然被示出為單個系統(tǒng)，但是系統(tǒng)10的功能能夠被實(shí)施為分布式系統(tǒng)。系統(tǒng)10包括總線12或用于交流信息的其它通信機(jī)構(gòu)，和被耦接至總線12以便處理信息的處理器22。處理器22可以是任何類型的通用或?qū)Ｓ锰幚砥?。系統(tǒng)10進(jìn)一步包括用于儲存信息和被處理器22執(zhí)行的指令的存儲器(memory)14。存儲器14能夠由隨機(jī)存取存儲器(“RAM”)、只讀存儲器(“ROM”)、諸如磁盤或光盤的靜態(tài)儲存器、或任何其它類型的計算機(jī)可讀介質(zhì)的任何組合組成。
[0017]計算機(jī)可讀介質(zhì)可以是能夠通過處理器22存取的任何可用介質(zhì)，并且可以包括易失性和非易失性介質(zhì)、可拆卸和不可拆卸介質(zhì)、通信介質(zhì)和儲存介質(zhì)。通信介質(zhì)可以包括計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或在諸如載波或其它傳送機(jī)制的被調(diào)制數(shù)據(jù)信號中的其它數(shù)據(jù)，并且可以包括本領(lǐng)域已知的任何其它形式的信息傳遞介質(zhì)。儲存介質(zhì)可以包括RAM、閃速存儲器、ROM、可擦除可編程只讀存儲器(“EPR0M”)、電可擦除可編程只讀存儲器(“EEPR0M”)、寄存器、硬盤、可拆卸磁盤、光盤只讀存儲器(“⑶-ROM”)、或本領(lǐng)域已知的任何其它形式的儲存介質(zhì)。
[0018]在一個實(shí)施例中，存儲器14儲存在處理器22執(zhí)行時提供功能的軟件模塊。該模塊既包括為系統(tǒng)10提供操作系統(tǒng)功能的操作系統(tǒng)15，也包括在一個實(shí)施例中設(shè)備的其余部分。該模塊進(jìn)一步包括自動觸覺效果適配模塊16，其自動適配觸覺效果，如下文更詳細(xì)公開的。在某些實(shí)施例中，自動觸覺效果適配模塊16能夠包含多個模塊，其中每個單獨(dú)的模塊都為自動適配觸覺效果提供具體的單獨(dú)的功能。系統(tǒng)10通常將包括一個或多個附加的應(yīng)用模塊18以便包括附加的功能，諸如Immers1n公司的Integrator?應(yīng)用。
[0019]在發(fā)射和/或從遠(yuǎn)程源接收數(shù)據(jù)的實(shí)施例中，系統(tǒng)10進(jìn)一步包括諸如網(wǎng)絡(luò)接口卡的通信設(shè)備20，以提供諸如紅外、無線電、無線保真(W1-Fi)、或蜂窩網(wǎng)絡(luò)通信的移動無線網(wǎng)絡(luò)通信。在其它實(shí)施例中，通信設(shè)備20提供諸如以太網(wǎng)連接或調(diào)制解調(diào)器的有線網(wǎng)絡(luò)連接。
[0020]處理器22經(jīng)由總線12被進(jìn)一步耦接至諸如液晶顯示器(“IXD”)的顯示器24，以便將圖形表達(dá)或用戶界面顯示給用戶。顯示器24可以是被配置成發(fā)送和從處理器22接收信號的、諸如觸摸屏的觸摸感應(yīng)輸入設(shè)備，并且可以是多點(diǎn)觸摸觸摸屏。處理器22可以被進(jìn)一步耦接至鍵盤或光標(biāo)控制28，其允許用戶與諸如鼠標(biāo)或觸控筆的系統(tǒng)10交互。
[0021]在一個實(shí)施例中，系統(tǒng)10進(jìn)一步包括致動器26。處理器22可以將與產(chǎn)生的觸覺效果相關(guān)聯(lián)的觸覺信號發(fā)射至致動器26，其繼而輸出諸如振動觸知觸覺效果、靜電摩擦觸覺效果、或變形觸覺效果的觸覺效果。致動器26包括致動器驅(qū)動電路。致動器26可以是，例如，電動機(jī)、電磁致動器、聲圈、形狀記憶合金、電活性聚合物、螺線管、偏心旋轉(zhuǎn)質(zhì)量電機(jī)(“ERM”)、線性諧振致動器(“LRA”)、壓電致動器、高帶寬致動器、電活性聚合物(“ΕΑΡ”)致動器、靜電摩擦顯示器、或超聲波振動發(fā)生器。在可選實(shí)施例中，除致動器26外，系統(tǒng)10還能夠包括一個或多個附加的致動器(圖1中未示出)。致動器26是觸覺輸出設(shè)備的一個實(shí)例，其中觸覺輸出設(shè)備是一種設(shè)備，其被配置成響應(yīng)于驅(qū)動信號，輸出諸如振動觸知觸覺效果、靜電摩擦觸覺效果、或變形觸覺效果的觸覺效果。在可選實(shí)施例中，致動器26能夠被一些其它類型的觸覺輸出設(shè)備取代。此外，在其它可選實(shí)施例中，系統(tǒng)10可以不包括致動器26，而來自系統(tǒng)10的單獨(dú)設(shè)備包括致動器或產(chǎn)生觸覺效果的其它觸覺輸出設(shè)備，并且系統(tǒng)10通過通信設(shè)備20將產(chǎn)生的觸覺效果信號發(fā)送至此設(shè)備。
[0022]系統(tǒng)10能夠被進(jìn)一步有效耦接至數(shù)據(jù)庫30，其中數(shù)據(jù)庫30能夠被配置成儲存被模塊16和18使用的數(shù)據(jù)。數(shù)據(jù)庫30能夠是操作型數(shù)據(jù)庫、分析型數(shù)據(jù)庫、數(shù)據(jù)倉庫、分布式數(shù)據(jù)庫、終端用戶數(shù)據(jù)庫、外部數(shù)據(jù)庫、導(dǎo)航數(shù)據(jù)庫、內(nèi)存數(shù)據(jù)庫、面向文檔的數(shù)據(jù)庫、實(shí)時數(shù)據(jù)庫、關(guān)系數(shù)據(jù)庫、面向?qū)ο蟮臄?shù)據(jù)庫、或本【技術(shù)領(lǐng)域】已知的任何其它數(shù)據(jù)庫。[0023]在一個實(shí)施例中，系統(tǒng)10進(jìn)一步包括一個或多個揚(yáng)聲器32。處理器22可以將音頻信號發(fā)射至揚(yáng)聲器32,其繼而輸出音頻效果。揚(yáng)聲器32可以是,例如,動態(tài)擴(kuò)音器、電動式擴(kuò)音器、壓電擴(kuò)音器、磁致伸縮擴(kuò)音器、靜電擴(kuò)音器、帶狀和平面的磁性擴(kuò)音器、彎曲波擴(kuò)音器、平板擴(kuò)音器、海爾氣動式傳感器、等離子弧揚(yáng)聲器和數(shù)字式擴(kuò)音器。
[0024]在一個實(shí)施例中，系統(tǒng)10進(jìn)一步包括傳感器34。傳感器34能夠被配置成探測能量的形式，或其它物理屬性的形式，諸如，但不限于，加速度、生物信號、距離、流動、力/壓力/張力/彎曲、濕度、線性位置、方向/傾斜度、射頻、旋轉(zhuǎn)位置、旋轉(zhuǎn)速度、開關(guān)的操縱、溫度、振動、或可見光強(qiáng)度。傳感器34能夠被進(jìn)一步配置成將探測到的能量或其它物理屬性轉(zhuǎn)換成電信號、或表示虛擬傳感器信息的任何信號。傳感器34能夠是任何設(shè)備，諸如，但不限于，加速度計、心電圖、腦電圖、肌電圖機(jī)、眼電圖、電子腭位圖、皮膚電反應(yīng)傳感器、電容傳感器、霍爾效應(yīng)傳感器、紅外傳感器、超聲波傳感器、壓力傳感器、光纖傳感器、屈曲傳感器(或彎曲傳感器)、力敏電阻器、負(fù)荷傳感器、LuSense CPS2155、微型壓力傳感器、壓電傳感器、應(yīng)變計、濕度計、線性位置觸摸傳感器、線性電位計(或滑塊)、線性差動變壓器、羅盤、傾角計、磁性標(biāo)記(或射頻識別標(biāo)記)、旋轉(zhuǎn)編碼器、旋轉(zhuǎn)電位計、陀螺儀、打開-閉合開關(guān)、溫度傳感器(諸如溫度計、熱電偶、電阻式溫度檢測器、熱敏電阻器、或溫度傳感集成電路)、麥克風(fēng)、光度計、高度計、生物監(jiān)視器、或光敏電阻器。
[0025]圖2示出根據(jù)本發(fā)明一個實(shí)施例的用于產(chǎn)生和輸出觸覺效果的框架的流程圖，其中觸覺效果基于音頻輸入而被產(chǎn)生。在一個實(shí)施例中，圖2中的功能以及圖3、4、5及6中的功能每一個都通過儲存在存儲器或另一種計算機(jī)可讀介質(zhì)或有形介質(zhì)內(nèi)、并且被處理器執(zhí)行的軟件來實(shí)施。在其它實(shí)施例中，每個功能都可以通過硬件(例如，通過使用專用集成電路(“ASIC”)、可編程序門陣列(“PGA”)、現(xiàn)場可編程序門陣列(“FPGA”)等)、或硬件和軟件的任何組合而被執(zhí)行。此外，在可選實(shí)施例中，每個功能都可以通過使用模擬組件的硬件而被執(zhí)行。
[0026]圖2示出音頻源數(shù)據(jù)210。根據(jù)本實(shí)施例，音頻源數(shù)據(jù)210包括音頻數(shù)據(jù)。在某些實(shí)施例中，包括在音頻源數(shù)據(jù)210內(nèi)的音頻數(shù)據(jù)能夠是儲存在音頻文件或音頻信號內(nèi)的音頻數(shù)據(jù)。在一個可選實(shí)施例中，音頻源數(shù)據(jù)210能夠被音頻文件或音頻信號取代。在其它實(shí)施例中，包括在音頻源數(shù)據(jù)210內(nèi)的音頻數(shù)據(jù)能夠是被流式傳輸?shù)囊纛l數(shù)據(jù)。此外，在示出的實(shí)施例中，音頻源數(shù)據(jù)210以脈沖編碼調(diào)制(“PCM”)格式被編碼。在某些實(shí)施例中，音頻源數(shù)據(jù)210還能夠以諸如樂器數(shù)字接口(“MIDI”)格式、MPEG-2音頻層III (“MP3”)格式的另一種類型格式被編碼。另外，在音頻源數(shù)據(jù)210以另一種類型格式被編碼的實(shí)施例中，音頻源數(shù)據(jù)210能夠包括能夠被解碼成PCM格式的音頻數(shù)據(jù)。此外，在這些實(shí)施例中，音頻源數(shù)據(jù)210還能夠包括未解碼數(shù)據(jù)，其能夠用于基于音頻源數(shù)據(jù)210來產(chǎn)生觸覺效果，如下文所詳細(xì)描述的。例如，其中音頻源數(shù)據(jù)210以MP3格式被編碼，音頻源數(shù)據(jù)210能夠包括用于音頻數(shù)據(jù)的一個或多個傅里葉系數(shù)，其中一個或多個傅里葉系數(shù)能夠直接用于基于音頻源數(shù)據(jù)210來產(chǎn)生觸覺效果。作為另一個實(shí)例，其中音頻源數(shù)據(jù)210以MIDI格式被編碼，音頻源數(shù)據(jù)210能夠包括預(yù)先存在的關(guān)于音頻數(shù)據(jù)的元數(shù)據(jù)集，音頻數(shù)據(jù)能夠直接用于基于音頻源數(shù)據(jù)210來產(chǎn)生觸覺效果。這種元數(shù)據(jù)能夠包括涉及諸如捕獲音頻數(shù)據(jù)的傳感器的位置或方向的音頻數(shù)據(jù)源的元數(shù)據(jù)。這種元數(shù)據(jù)能夠被匹配算法用于基于音頻源數(shù)據(jù)210來產(chǎn)生觸覺效果，如下文所詳細(xì)討論的。[0027]此外，在可選實(shí)施例中，音頻源數(shù)據(jù)210能夠被另一種類型源數(shù)據(jù)取代，另一種類型源數(shù)據(jù)包括另一種類型數(shù)據(jù)，諸如包括視頻數(shù)據(jù)的視頻源數(shù)據(jù)、包括加速度數(shù)據(jù)的加速度源數(shù)據(jù)、包括方向數(shù)據(jù)的方向源數(shù)據(jù)、包括環(huán)境光數(shù)據(jù)的環(huán)境光源數(shù)據(jù)、或另一種類型源數(shù)據(jù)。另一種類型源數(shù)據(jù)的一個實(shí)例是包括能夠利用傳感器捕獲的數(shù)據(jù)的源數(shù)據(jù)。此外，在一些實(shí)施例中，音頻源數(shù)據(jù)210能夠被包括多模態(tài)數(shù)據(jù)(即，諸如音頻數(shù)據(jù)和視頻數(shù)據(jù)的兩種或多種模式、或類型的數(shù)據(jù))的源數(shù)據(jù)取代。
[0028]在220處，源數(shù)據(jù)210被自動轉(zhuǎn)換成諸如觸覺數(shù)據(jù)或觸覺流的觸覺信息。根據(jù)本實(shí)施例，觸覺信息能夠包括能夠被設(shè)備輸出的單個觸覺效果或多個觸覺效果。在某些實(shí)施例中，通過將音頻源數(shù)據(jù)210與原觸覺集進(jìn)行比較并且選擇正是或最類似于音頻源數(shù)據(jù)210的至少一個原觸覺，音頻源數(shù)據(jù)210能夠被自動轉(zhuǎn)換成觸覺信息，如下文關(guān)于圖3所進(jìn)一步描述的。在其它實(shí)施例中，通過將音頻源數(shù)據(jù)210與樣板集進(jìn)行比較、選擇最類似于音頻源數(shù)據(jù)210的至少一個樣板、并且選擇與至少一個選定樣板相關(guān)聯(lián)的至少一個觸覺效果，音頻源數(shù)據(jù)210能夠被自動轉(zhuǎn)換成觸覺信息，如下文關(guān)于圖4所進(jìn)一步描述的。
[0029]在230處，在220處產(chǎn)生的觸覺信息能夠被編碼。觸覺信息能夠根據(jù)本領(lǐng)域普通技術(shù)人員已知的 任何觸覺編碼技術(shù)而被編碼。例如，觸覺信息能夠通過使用觸覺效果信號而被編碼。觸覺效果信號隨后能夠被存留在磁盤、存儲器、或其它計算機(jī)可讀儲存介質(zhì)上。作為另一個實(shí)例，觸覺信息能夠通過使用觸覺效果文件而被編碼。觸覺效果文件能夠具有許多不同格式中的一種格式。在某些實(shí)施例中，觸覺效果文件能夠具有諸如浸沒式振動源(“1￥3”)觸覺效果文件的可擴(kuò)展標(biāo)識語言^10/’)格式。在某些其它實(shí)施例中，觸覺效果文件能夠具有諸如浸沒式振動目標(biāo)(“IVT”)觸覺效果文件的二進(jìn)制格式。在230處被編碼的觸覺信息能夠被進(jìn)一步壓縮和/或包括在用于計算機(jī)應(yīng)用的一個或多個資產(chǎn)檔案中。
[0030]在240處，在230處被編碼的觸覺信息能夠被解碼。觸覺信息能夠根據(jù)本領(lǐng)域一名普通技術(shù)人員已知的任何觸覺解碼技術(shù)而被解碼。通過解碼觸覺信息，觸覺信息能夠從諸如觸覺效果信號或觸覺效果文件的編碼格式被轉(zhuǎn)換成觸覺信息能夠被解釋的格式，而單個觸覺效果、或多個觸覺效果能夠基于觸覺信息而被輸出。
[0031]在250處，在240處被解碼的觸覺信息能夠被輸出。觸覺信息能夠根據(jù)本領(lǐng)域一名普通技術(shù)人員已知的任何觸覺輸出技術(shù)而被輸出。例如，觸覺信息能夠以通過移動設(shè)備、游戲手柄、或可穿戴觸覺設(shè)備能夠被輸出的單個觸覺效果、或多個觸覺效果的形式被輸出。此外,觸覺效果能夠產(chǎn)生諸如振動、變形、靜電感覺、或運(yùn)動感覺的任何類型觸覺反饋。諸如致動器的單個觸覺效果產(chǎn)生器、或多個觸覺效果產(chǎn)生器能夠用于輸出觸覺效果。因此，在這個實(shí)施例中，從音頻源數(shù)據(jù)210中產(chǎn)生的任何觸覺效果都能夠被編碼并且存留以便后期使用。然而，在可選實(shí)施例中，單個觸覺效果或多個觸覺效果能夠由音頻源數(shù)據(jù)210產(chǎn)生并且實(shí)時輸出。
[0032]圖3示出根據(jù)本發(fā)明一個實(shí)施例的對最類似于音頻源數(shù)據(jù)的原觸覺的選擇的流程圖。圖3示出音頻源數(shù)據(jù)310。根據(jù)本實(shí)施例，音頻源數(shù)據(jù)310包括音頻數(shù)據(jù)。在某些實(shí)施例中，包括在音頻源數(shù)據(jù)310內(nèi)的音頻數(shù)據(jù)能夠是儲存在音頻文件或音頻信號內(nèi)的音頻數(shù)據(jù)。在其它實(shí)施例中，包括在音頻源數(shù)據(jù)310內(nèi)的音頻數(shù)據(jù)能夠是被流式傳輸?shù)囊纛l數(shù)據(jù)。此外，在示出的實(shí)施例中，音頻源數(shù)據(jù)310以PCM格式被編碼。在某些實(shí)施例中，音頻源數(shù)據(jù)310還能夠以諸如MIDI格式、或MP3格式的另一種類型格式被編碼。此外，在可選實(shí)施例中，音頻源數(shù)據(jù)310能夠被另一種類型源數(shù)據(jù)取代，另一種類型源數(shù)據(jù)包括另一種類型數(shù)據(jù)，諸如包括視頻數(shù)據(jù)的視頻源數(shù)據(jù)、包括加速度數(shù)據(jù)的加速度源數(shù)據(jù)、包括方向數(shù)據(jù)的方向源數(shù)據(jù)、包括環(huán)境光數(shù)據(jù)的環(huán)境光源數(shù)據(jù)、或包括另一種類型數(shù)據(jù)的另一種類型源數(shù)據(jù)。另一種類型源數(shù)據(jù)的一個實(shí)例是包括能夠被傳感器捕獲的數(shù)據(jù)的源數(shù)據(jù)。此外，在一些實(shí)施例中，音頻源數(shù)據(jù)310能夠被包括多模態(tài)數(shù)據(jù)的源數(shù)據(jù)取代。
[0033]此外，音頻源數(shù)據(jù)310能夠包括特性。音頻源數(shù)據(jù)310的特性是音頻源數(shù)據(jù)310的物理特性，諸如儲存在音頻信號內(nèi)的音頻數(shù)據(jù)的物理特性，其中音頻源數(shù)據(jù)310包括儲存在音頻信號內(nèi)的數(shù)據(jù)，或儲存在音頻文件內(nèi)的音頻數(shù)據(jù)的物理特性，其中音頻源數(shù)據(jù)310包括儲存在音頻文件內(nèi)的數(shù)據(jù)。音頻源數(shù)據(jù)310的特性的指定子集能夠被分類為重要特性。音頻源數(shù)據(jù)310的重要特性的實(shí)例能夠包括:振幅、頻率、持續(xù)時間、包絡(luò)、密度、量級、及強(qiáng)度。特性能夠包括數(shù)值，其中數(shù)值能夠定義音頻源數(shù)據(jù)310的特性。
[0034]圖3進(jìn)一步示出原觸覺集(haptic primitive set) 320,其中原觸覺集320包括原觸覺。原觸覺是對能夠被產(chǎn)生的觸覺效果的定義。例如，原觸覺能夠包括對用于持續(xù)時間為50毫秒(“ms”)的周期性觸覺效果的定義,持續(xù)時間具有1ms發(fā)起(attack)部分、具有5ms維持部分、并且具有8ms衰變部分。在某些實(shí)施例中，原觸覺集320能夠包括單個原觸覺。作為觸覺效果定義的一部分，原觸覺能夠進(jìn)一步可選地包括觸覺參數(shù)，其中觸覺參數(shù)是能夠定義用于產(chǎn)生觸覺效果的觸覺信號的參數(shù)，并因此，還能夠定義要產(chǎn)生的觸覺效果。在某些實(shí)施例中，原觸覺能夠包括單個觸覺參數(shù)。更具體地，觸覺參數(shù)是諸如量級、頻率、持續(xù)時間、振幅、強(qiáng)度、包絡(luò)、密度、或任何其它種類可以量化的觸覺參數(shù)的觸覺效果質(zhì)量的量。根據(jù)本實(shí)施例，觸覺效果能夠通過一個或多個觸覺參數(shù)至少部分被定義，其中一個或多個觸覺參數(shù)能夠定義觸覺效果的特性。觸覺參數(shù)能夠包括數(shù)值，其中數(shù)值能夠定義觸覺信號的特性，并因此，還能夠定義通過觸覺信號產(chǎn)生的觸覺效果的特性。因此，原觸覺集320的每個原觸覺都能夠包括一個或多個數(shù)值，其中一個或多個數(shù)值能夠參數(shù)化觸覺效果。觸覺參數(shù)的實(shí)例能夠包括:振幅觸覺參數(shù)、頻率觸覺參數(shù)、持續(xù)時間觸覺參數(shù)、包絡(luò)觸覺參數(shù)、密度觸覺參數(shù)、量級觸覺參數(shù)、及強(qiáng)度觸覺參數(shù)。
[0035]根據(jù)本實(shí)施例，振幅觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的振幅，并因此，能夠定義觸覺效果的振幅。頻率觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的頻率，并因此，能夠定義觸覺效果的頻率。持續(xù)時間觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的持續(xù)時間，并因此，能夠定義觸覺效果的持續(xù)時間。包絡(luò)觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的包絡(luò)，并因此，能夠定義觸覺效果的包絡(luò)。密度觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的密度，并因此，能夠定義觸覺效果的密度。量級觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的量級，并因此，能夠定義觸覺效果的量級。強(qiáng)度觸覺參數(shù)能夠定義用于產(chǎn)生觸覺效果的觸覺信號的強(qiáng)度，并因此，能夠定義觸覺效果的強(qiáng)度。
[0036]圖3示出匹配算法330，其接收音頻源數(shù)據(jù)310和原觸覺集320作為輸入。根據(jù)本實(shí)施例，匹配算法330是一種算法，其能夠?qū)⒁纛l源數(shù)據(jù)310與包括在原觸覺集320內(nèi)的每個原觸覺進(jìn)行比較，并且能夠選擇最類似于音頻源數(shù)據(jù)310的原觸覺集320的一個或多個原觸覺。在某些實(shí)施例中，匹配算法330還能夠可選地優(yōu)化原觸覺集320的選定的一個或多個原觸覺，使得它們更類似于音頻源數(shù)據(jù)310，如下文所進(jìn)一步詳細(xì)描述的。
[0037]根據(jù)一個實(shí)施例，匹配算法330能夠首先識別音頻源數(shù)據(jù)310的重要(significant，顯著)特性(或單個重要特性)。此外，對于原觸覺集320的每個原觸覺而言，匹配算法330能夠識別觸覺參數(shù)(或單個觸覺參數(shù))。匹配算法330能夠進(jìn)一步將每個原觸覺的觸覺參數(shù)與音頻源數(shù)據(jù)310的重要特性進(jìn)行比較。通過將觸覺參數(shù)與重要特性進(jìn)行比較，匹配算法330能夠確定觸覺參數(shù)與重要特性有多類似。在將每個原觸覺的觸覺參數(shù)與音頻源數(shù)據(jù)310的重要特性進(jìn)行比較中，匹配算法330能夠識別用于對應(yīng)于音頻源數(shù)據(jù)310重要特性的每個原觸覺的觸覺參數(shù)，并且能夠進(jìn)一步將識別出的重要特性與對應(yīng)的識別出的觸覺參數(shù)進(jìn)行比較。例如，匹配算法330能夠識別音頻源數(shù)據(jù)310的振幅特性，并且能夠進(jìn)一步識別原觸覺集320的原觸覺的振幅觸覺參數(shù)。匹配算法330隨后能夠進(jìn)一步將識別出的振幅特性與對應(yīng)的識別出的振幅觸覺參數(shù)進(jìn)行比較。
[0038]在將重要特性與對應(yīng)觸覺參數(shù)進(jìn)行比較中，匹配算法330能夠?qū)⒅匾匦缘闹蹬c對應(yīng)觸覺對數(shù)的值進(jìn)行比較。通過將觸覺參數(shù)的值與對應(yīng)重要特性的值進(jìn)行比較，匹配算法330能夠確定觸覺參數(shù)的值與重要特性的值有多類似。匹配算法330隨后能夠從原觸覺集320中選擇原觸覺(或單個原觸覺)，在原觸覺集320中觸覺參數(shù)的值最類似于音頻源數(shù)據(jù)310的重要特性的值。
[0039]匹配算法330能夠使用任何比較度量以便確定哪個原觸覺(或哪些原觸覺)最類似于音頻源數(shù)據(jù)310。更具體地，匹配算法330能夠使用任何比較度量來確定對于具體原觸覺而言哪個觸覺參數(shù)最類似于音頻源數(shù)據(jù)310的重要特性。作為一個實(shí)例，對于原觸覺集320的每個原觸覺而言，匹配算法330能夠確定若干個觸覺參數(shù)，它們的值和音頻源數(shù)據(jù)310中它們對應(yīng)的重要特性的值相同。作為另一個實(shí)例，對于原觸覺集320的每個原觸覺而言，匹配算法330能夠計算每個觸覺參數(shù)的值和音頻源數(shù)據(jù)310中它的對應(yīng)特性的值之間的偏差，計算用于原觸覺的平均偏差或總偏差，并且能夠進(jìn)一步利用最低平均偏差或總偏差來選擇原觸覺。這些只是實(shí)例比較度量，而在可選實(shí)施例中，匹配算法330能夠使用可選比較度量來確定哪個原觸覺(或哪些原觸覺)最類似于音頻源數(shù)據(jù)310。此外，匹配算法330能夠使用優(yōu)化算法來最大化或最小化跨越原觸覺集320的所有原觸覺(包括每個原觸覺的每個觸覺參數(shù))的比較度量。這種優(yōu)化算法的實(shí)例易于被相關(guān)領(lǐng)域普通技術(shù)人員理解。
[0040]在一個實(shí)施例中，如上所述，匹配算法330能夠可選地使從原觸覺集320中選定原觸覺(或選定單個原觸覺)優(yōu)化。根據(jù)本實(shí)施例，通過優(yōu)化每個選定原觸覺，匹配算法330能夠?qū)⒚總€選定原觸覺的單個觸覺參數(shù)(或多個觸覺參數(shù))的值調(diào)整到更類似于音頻源數(shù)據(jù)310的對應(yīng)特性的值。值的調(diào)整能夠是向上調(diào)整或向下調(diào)整。這樣能夠產(chǎn)生對原觸覺集320的每個選定原觸覺的觸覺參數(shù)的精細(xì)化(refinement)。因此，觸覺參數(shù)的精細(xì)化能夠精細(xì)化原觸覺集320的每個選定原觸覺，使得每個選定原觸覺都更類似于音頻源數(shù)據(jù)310。
[0041]圖3示出有序原觸覺集340，其中有序原觸覺集340是由匹配算法330產(chǎn)生的輸出。根據(jù)本實(shí)施例，有序原觸覺集340包括原觸覺集(即，原觸覺1、原觸覺2、…原觸覺M)，其中基于原觸覺與音頻源數(shù)據(jù)310如何類似的程度，原觸覺被排序。在某些實(shí)施例中，有序原觸覺集340包括原觸覺集320內(nèi)包括的所有原觸覺。在其它可選實(shí)施例中，有序原觸覺集340只包括原觸覺集320包括的原觸覺，所述原觸覺被匹配算法330識別為最類似于音頻源數(shù)據(jù)310 (即，原觸覺的觸覺參數(shù)的值最類似于音頻源數(shù)據(jù)310的特性的值的原觸覺)。在某些實(shí)施例中，匹配算法330能夠?yàn)橛行蛟|覺集340的每個原觸覺都指定一個分?jǐn)?shù)，其中該分?jǐn)?shù)識別每個原觸覺和音頻源數(shù)據(jù)310有多類似。因此，有序原觸覺集340的每個原觸覺都能夠基于它的指定分?jǐn)?shù)從原觸覺集320中被選定并且被排序。一個或多個觸覺效果隨后能夠由有序原觸覺集340的每個原觸覺產(chǎn)生。一個或多個觸覺效果隨后能夠被發(fā)射、儲存或廣播。隨后，一個或多個觸覺效果能夠被輸出。在可選實(shí)施例中，一個或多個觸覺效果能夠在它們產(chǎn)生后被輸出。
[0042]現(xiàn)在描述選擇最類似于音頻源數(shù)據(jù)的原觸覺的一個實(shí)例。在本實(shí)例中，音頻源數(shù)據(jù)310能夠包括儲存在與視頻游戲中霰彈槍射擊相關(guān)聯(lián)的音頻文件內(nèi)的數(shù)據(jù)，其中包括在音頻源數(shù)據(jù)310內(nèi)的數(shù)據(jù)以波形音頻文件格式(“WAV”)被儲存。匹配算法330能夠處理音頻源數(shù)據(jù)310并且確定諸如持續(xù)時間、頻率、內(nèi)容、和/或包絡(luò)的音頻源數(shù)據(jù)310特性。鑒于這些參數(shù)，匹配算法330能夠?qū)Υ嬖谠|覺集320內(nèi)的原觸覺集進(jìn)行評估以便確定與音頻源數(shù)據(jù)310的最佳匹配。在這個實(shí)例中，其中音頻源數(shù)據(jù)310包括與射擊音頻效果相關(guān)聯(lián)的音頻數(shù)據(jù)，持續(xù)時間能夠是短的，并且量級包絡(luò)能以兩個截然不同的部分(例如，類似脈沖的大聲噪音，后隨用于射擊回音的較長包絡(luò))為特征，其中兩個截然不同的部分能包括區(qū)別性頻率內(nèi)容。在音頻與按順序播放的兩個或多個原觸覺、或與一些重疊被最佳匹配的實(shí)施例中，匹配算法330能夠?qū)⒁纛l源數(shù)據(jù)310分段并且在音頻源數(shù)據(jù)310的分段上重復(fù)以便識別良好匹配。
[0043]根據(jù)本實(shí)例，原觸覺集320的可用原觸覺的第一段能夠基于音頻源數(shù)據(jù)310的持續(xù)時間。原觸覺(并因此，觸覺效果)能夠被選定。一旦原觸覺被選定，原觸覺(并因此，觸覺效果)就能夠通過使原觸覺的觸覺參數(shù)被自動調(diào)整的而得到進(jìn)一步優(yōu)化。例如，如果音頻源數(shù)據(jù)310的持續(xù)時間為345ms，則最類似于音頻源數(shù)據(jù)310的原觸覺集320的原觸覺具有值為300ms的持續(xù)時間觸覺參數(shù)，持續(xù)時間觸覺參數(shù)能夠被調(diào)整成值為345ms，使得基于原觸覺產(chǎn)生的觸覺效果更類似于音頻源數(shù)據(jù)310。
[0044]此外，根據(jù)本實(shí)例，匹配算法330能夠使用音頻源數(shù)據(jù)310的包絡(luò)形狀和頻率內(nèi)容來從與音頻源數(shù)據(jù)310更緊密匹配的原觸覺集320中選擇原觸覺。更具體地，匹配算法330能夠利用包絡(luò)觸覺參數(shù)和頻率觸覺參數(shù)來選擇原觸覺，使得由原觸覺產(chǎn)生的觸覺效果具有類似于音頻源數(shù)據(jù)310的包絡(luò)和頻率(即，類似脈沖的大聲噪音，后隨用于射擊回音的較長包絡(luò)，具有相關(guān)聯(lián)的頻率內(nèi)容)。在可選實(shí)施例中，匹配算法330能夠?qū)蓚€原觸覺混合或組合(并因此，兩個觸覺效果)以便與音頻源數(shù)據(jù)310更緊密匹配。因此，在可選實(shí)例中，匹配算法330能夠選擇第一原觸覺(并因此，第一觸覺效果)以便與類似脈沖的大聲噪音相匹配，并且能夠進(jìn)一步選擇第二原觸覺(并因此，第二觸覺效果)以便與后續(xù)回音相匹配。匹配算法330能夠產(chǎn)生第三原觸覺，其組合第一原觸覺和第二原觸覺(并因此，能夠產(chǎn)生組合第一觸覺效果和第二觸覺效果的第三觸覺效果)。在組合第一原觸覺和第二原觸覺作為第三原觸覺的一部分中，匹配算法330能夠進(jìn)一步將第一原觸覺和第二原觸覺放置在適當(dāng)?shù)呐R時序列中，其在兩個原觸覺之間具有正確間隔。
[0045]現(xiàn)在描述選擇最類似于音頻源數(shù)據(jù)的原觸覺的另一個實(shí)例。在本實(shí)例中，音頻源數(shù)據(jù)310能夠包括與爆炸音頻相關(guān)聯(lián)的音頻數(shù)據(jù)。此外，原觸覺集320能夠包括十個原觸覺，其中每個原觸覺都能夠用于產(chǎn)生爆炸觸覺效果。匹配算法330能夠?qū)⒁纛l源數(shù)據(jù)310和原觸覺集320的每個原觸覺都進(jìn)行比較，并且選擇具有最類似于音頻源數(shù)據(jù)310持續(xù)時間的持續(xù)時間觸覺參數(shù)的原觸覺?？蛇x地，匹配算法330能夠選擇具有最類似于音頻源數(shù)據(jù)310振幅的振幅觸覺參數(shù)的原觸覺。匹配算法330隨后能夠通過將選定原觸覺的觸覺參數(shù)調(diào)整成更類似于音頻源數(shù)據(jù)310的特性而可選地優(yōu)化選定原觸覺。因此，匹配算法330能夠選擇最緊密適配音頻源數(shù)據(jù)310的爆炸觸覺效果。此外，優(yōu)化原觸覺(即，一個或多個觸覺參數(shù)被調(diào)整的原觸覺)能夠被包括在原觸覺集320內(nèi)以便進(jìn)一步改進(jìn)用于后續(xù)匹配的匹配算法330的性能。
[0046]圖4示出根據(jù)本發(fā)明一個實(shí)施例，用于音頻特征提取和基于提取音頻特征選擇觸覺效果的流程圖。根據(jù)本實(shí)施例，匹配算法能夠從音頻源數(shù)據(jù)(或其它類型流)中提取單個特征(或多個特征)，并且將提取特征與被視為相關(guān)的預(yù)計算樣板進(jìn)行比較，并且其中觸覺效果與每個樣板都相關(guān)聯(lián)。
[0047]圖4示出接收到的音頻源數(shù)據(jù)410。根據(jù)本實(shí)施例，音頻源數(shù)據(jù)410包括音頻數(shù)據(jù)。在某些實(shí)施例中，包括在音頻源數(shù)據(jù)410內(nèi)的音頻數(shù)據(jù)能夠是儲存在音頻文件或音頻信號內(nèi)的音頻數(shù)據(jù)。在其它實(shí)施例中，包括在音頻源數(shù)據(jù)410內(nèi)的音頻數(shù)據(jù)能夠是被流式傳輸?shù)囊纛l數(shù)據(jù)。此外，在示出的實(shí)施例中，音頻源數(shù)據(jù)410以PCM格式被編碼。在某些實(shí)施例中，音頻源數(shù)據(jù)410還能夠以諸如MIDI格式、或MP3格式的另一種類型格式被編碼。此夕卜，在可選實(shí)施例中，音頻源數(shù)據(jù)410能夠被包括另一種類型數(shù)據(jù)的另一種類型源數(shù)據(jù)取代，另一種類型數(shù)據(jù)諸如包括視頻數(shù)據(jù)的視頻源數(shù)據(jù)、包括加速度數(shù)據(jù)的加速度源數(shù)據(jù)、包括方向數(shù)據(jù)的方向源數(shù)據(jù)、包括環(huán)境光數(shù)據(jù)的環(huán)境光源數(shù)據(jù)、或包括另一種類型數(shù)據(jù)的另一種類型源數(shù)據(jù)。作為加速度數(shù)據(jù)的一個實(shí)例，設(shè)備的控制器能夠?yàn)橹T如來回?fù)u動設(shè)備的屏幕上或自由空間手勢自動指定觸覺效果。當(dāng)用戶執(zhí)行動作時，與動作相關(guān)聯(lián)的加速度數(shù)據(jù)能夠被發(fā)送至控制器?？刂破髂軌蛱幚砑铀俣葦?shù)據(jù)并且確定用戶作出數(shù)個突然運(yùn)動。控制隨后能夠選擇最類似于突然運(yùn)動的觸覺效果，諸如高頻觸覺效果。另一種類型源數(shù)據(jù)的一個實(shí)例是包括能夠被傳感器捕獲的數(shù)據(jù)的源數(shù)據(jù)。此外，在一些實(shí)施例中，音頻源數(shù)據(jù)能夠被包括多模態(tài)數(shù)據(jù)的源數(shù)據(jù)取代。
[0048]此外，音頻源數(shù)據(jù)410能夠包括特征。特征的一個實(shí)例是特性，其之前上文所描述的。特征的另一個實(shí)例是從第一特性轉(zhuǎn)變成第二特性，諸如從高頻處理成低頻。特征能夠包括數(shù)值，其中數(shù)值能夠定義音頻源數(shù)據(jù)410的特征。
[0049]圖4進(jìn)一步不出聲音樣板集420。根據(jù)本實(shí)施例,聲音樣板集420包括聲音樣板。在某些實(shí)施例中，聲音樣板集420能夠包括單個聲音樣板。聲音樣板能夠包括樣板特征。類似于特征，聲音特征能夠是特性，或可選地，能夠從第一特性轉(zhuǎn)變成第二特性。如下文所詳細(xì)描述的，聲音樣板還能夠與對應(yīng)觸覺效果相關(guān)聯(lián)。另外，在某些實(shí)施例中，聲音樣板能夠是音頻源數(shù)據(jù)的一部分，并且能夠包括音頻數(shù)據(jù)。音頻源數(shù)據(jù)的一部分能夠是在音頻源數(shù)據(jù)內(nèi)一致產(chǎn)生的圖案。聲音樣板的實(shí)例包括射擊聲音、汽車碰撞聲音、爆炸聲音、相撞聲音、猛擊聲音、箭的聲音、或另一種類型撞擊聲音。根據(jù)一個實(shí)施例，聲音樣板能夠被選擇為用于轉(zhuǎn)換成觸覺效果的候選。在一個實(shí)施例中，聲音樣板集420的聲音樣板能夠被儲存在樣板的數(shù)據(jù)庫、或庫內(nèi)以便在諸如音頻源數(shù)據(jù)410的音頻源數(shù)據(jù)被處理時使用。在某些實(shí)施例中，為了產(chǎn)生數(shù)據(jù)庫或庫，其中聲音樣板集420的聲音樣板被儲存，能夠使用一項(xiàng)下列技術(shù)對聲音樣板進(jìn)行處理以便提取樣板特征，其后期能夠與從音頻源數(shù)據(jù)410中提取的特征進(jìn)行比較:(I)光譜圖(即，時域信號的時間對頻率曲線圖)；(2)倒頻譜(B卩，信號頻譜的對數(shù)的快速傅里葉變換(“FFT”));(3)隨機(jī)模型和概率模型(例如，隱馬爾可夫模型(“HMM”))；或(4)基于音頻源數(shù)據(jù)(諸如音頻源數(shù)據(jù)410)來創(chuàng)造觸覺參數(shù)。從合成引擎、傳感器、或綜合工具(例如，協(xié)議)中獲得的音頻文件還能夠具有可用為元數(shù)據(jù)的特征信息。當(dāng)技術(shù)用于語音識別時能夠同樣使用它們。然而，根據(jù)本實(shí)施例，技術(shù)能夠用于識別觸覺相關(guān)事件而非語音。具體地，HMM能夠用于識別音頻源數(shù)據(jù)410內(nèi)聲音樣板集420的聲音樣板。能夠使用的另一種算法是神經(jīng)網(wǎng)絡(luò)算法。
[0050]此外,在可選實(shí)施例中，聲音樣板集420能夠被包括另一種類型樣板的另一種類型樣板集取代。另一種類型樣板集的一個實(shí)例是包括視頻樣板的視頻樣板集，其中視頻樣板能夠是視頻源數(shù)據(jù)的一部分，并且能夠包括視頻數(shù)據(jù)。另一個實(shí)例是包括加速度樣板的加速度樣板集，其中加速度樣板能夠是加速度源數(shù)據(jù)的一部分，并且能夠包括加速度數(shù)據(jù)。另一個實(shí)例是包括方向樣板的方向樣板集，其中方向樣板能夠是方向源數(shù)據(jù)的一部分，并且能夠包括方向數(shù)據(jù)。另一個實(shí)例是包括環(huán)境光樣板的環(huán)境光樣板集，其中環(huán)境光樣板能夠是環(huán)境光源數(shù)據(jù)的一部分，并且能夠包括環(huán)境光數(shù)據(jù)。另一個實(shí)例是包括傳感器樣板的樣板集，其中傳感器樣板能夠包括能夠被傳感器捕獲的數(shù)據(jù)。此外，在一些實(shí)施例中，樣板集能夠包括多種類型的樣板。
[0051]圖4進(jìn)一步示出觸覺效果集430。根據(jù)本實(shí)施例，觸覺效果集430包括觸覺效果。在某些實(shí)施例中，觸覺效果集430能夠包括單個觸覺效果。聲音樣板集420的每個聲音樣板都能夠具有與聲音樣板相關(guān)聯(lián)的觸覺效果集430的觸覺效果。在某些實(shí)施例中，觸覺效果集430的每個觸覺效果都能夠被指定給在儲存聲音樣板集420的數(shù)據(jù)庫內(nèi)的觸覺效果集430的聲音樣板。因此，聲音樣板集420的每個聲音樣板都具有從觸覺效果集430被指定給它的觸覺效果。觸覺效果集430的觸覺效果能夠通過使用諸如之前關(guān)于圖3描述的自動音頻-觸覺轉(zhuǎn)換的自動音頻-觸覺轉(zhuǎn)換而被產(chǎn)生。在其它實(shí)施例中，觸覺效果集430的觸覺效果能夠被觸覺效果設(shè)計者單獨(dú)設(shè)計。在某些實(shí)施例中，觸覺效果集430的觸覺效果能夠是含有聲音樣板集420的聲音樣板的數(shù)據(jù)庫的一部分。在其它實(shí)施例中，觸覺效果集430的觸覺效果能夠連同對應(yīng)于聲音樣板集420的對應(yīng)聲音樣板的索引一起被儲存在單獨(dú)數(shù)據(jù)庫中。
[0052]在440處，音頻源數(shù)據(jù)410被接收，其中音頻源數(shù)據(jù)410被選定以便轉(zhuǎn)換成單個觸覺效果或多個觸覺效果。音頻源數(shù)據(jù)410被處理，而一種或多種算法被應(yīng)用以便從音頻源數(shù)據(jù)410中提取特征。從音頻源數(shù)據(jù)410中提取的特征與聲音樣板集420的聲音樣板進(jìn)行比較。更具體地，對于聲音樣板集420的每個聲音樣板而言，從音頻源數(shù)據(jù)410中提取的特征與此聲音樣板的樣板特征進(jìn)行比較。通過將從音頻源數(shù)據(jù)410中提取的特征與聲音樣板集420的聲音樣板的樣板特征進(jìn)行比較，聲音樣板(或單個聲音樣板)能夠被識別為具有最類似于從音頻源數(shù)據(jù)410中提取的特征的樣板特征。換言之，聲音樣板(或單個聲音樣板)能夠被識別為最類似于音頻源數(shù)據(jù)410。這些識別出的聲音樣板隨后能夠從聲音樣板集420中被選定。一旦識別出的聲音樣板已經(jīng)被選定，與每個選定樣板相關(guān)聯(lián)的觸覺效果也就能夠從觸覺效果集430中被選定。在一個實(shí)施例中，選定的觸覺效果能夠被可選地優(yōu)化。根據(jù)本實(shí)施例，通過優(yōu)化每個選定觸覺效果，每個選定觸覺效果的單個觸覺參數(shù)(或多個觸覺參數(shù))的值能夠被調(diào)整成更類似于音頻源數(shù)據(jù)410的對應(yīng)特征的值。值的調(diào)整能夠是向上調(diào)整或向下調(diào)整。這樣能夠產(chǎn)生觸覺效果集430的每個選定觸覺效果的觸覺參數(shù)的精細(xì)化。觸覺參數(shù)的精細(xì)化因此能夠精細(xì)化觸覺效果集430的每個選定觸覺效果，使得每個選定觸覺效果都更類似于音頻源數(shù)據(jù)430。一旦觸覺效果已經(jīng)被選定，觸覺效果就能夠用于產(chǎn)生觸覺信息450。觸覺信息450是隨后能夠被輸出的選定觸覺效果的集合。在一個實(shí)施例中，觸覺信息450能夠采用觸覺數(shù)據(jù)、觸覺軌道、或觸覺流的形式。在某些實(shí)施例中，觸覺信息450能夠根據(jù)本領(lǐng)域一名普通技術(shù)人員已知的任何觸覺編碼技術(shù)而被編碼。觸覺信息隨后能夠被發(fā)射、儲存、或廣播。隨后，觸覺信息450能夠被輸出。在可選實(shí)施例中，觸覺信息450能夠在它產(chǎn)生后被輸出。
[0053]因此，通過儲存觸覺效果，將觸覺效果與聲音樣板相關(guān)聯(lián)，并且將音頻源數(shù)據(jù)與聲音樣板進(jìn)行比較，觸覺效果和聲音樣板之間的關(guān)聯(lián)能夠被再用于進(jìn)一步增強(qiáng)或優(yōu)化音頻數(shù)據(jù)至觸覺效果的自動轉(zhuǎn)換。
[0054]圖5示出根據(jù)本發(fā)明一個實(shí)施例的自動觸覺效果適配模塊(諸如圖1中的自動觸覺效果適配模塊16)的功能的流程圖。流程開始并且進(jìn)行到510。在510處，源數(shù)據(jù)被接收，其中源數(shù)據(jù)包括一個或多個特性。在某些實(shí)施例中，源數(shù)據(jù)包括音頻源數(shù)據(jù)。在這些實(shí)施例的一些實(shí)施例中，音頻源數(shù)據(jù)以PCM格式被編碼。在源數(shù)據(jù)包括音頻源數(shù)據(jù)的實(shí)施例中，音頻源數(shù)據(jù)包括音頻數(shù)據(jù)，其中音頻數(shù)據(jù)能夠被儲存在音頻文件或音頻信號中。在其它實(shí)施例中，源數(shù)據(jù)包括視頻源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括加速度源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括方向源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括環(huán)境光源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括多模態(tài)源數(shù)據(jù)。此外，在某些實(shí)施例中，源數(shù)據(jù)的一個或多個特性包括下列的至少其中之一:振幅、頻率、持續(xù)時間、包絡(luò)、密度、量級、或強(qiáng)度。流程進(jìn)行到520。
[0055]在520處，源數(shù)據(jù)與一個或多個原觸覺進(jìn)行比較，其中每個原觸覺都包括一個或多個觸覺參數(shù)。在某些實(shí)施例中，比較進(jìn)一步包括將源數(shù)據(jù)的一個或多個特性與每個原觸覺的一個或多個觸覺參數(shù)進(jìn)行比較。在某些實(shí)施例中，一個或多個觸覺參數(shù)包括下列的至少其中之一:振幅觸覺參數(shù)、頻率觸覺參數(shù)、持續(xù)時間觸覺參數(shù)、包絡(luò)觸覺參數(shù)、密度觸覺參數(shù)、量級觸覺參數(shù)、或強(qiáng)度觸覺參數(shù)。流程進(jìn)行到530。
[0056]在530處，一個或多個原觸覺基于在520處執(zhí)行的比較而被選定。在某些實(shí)施例中，選擇包括選擇一個或多個原觸覺，其中一個或多個觸覺參數(shù)的值最類似于源數(shù)據(jù)的一個或多個特性的值。流程進(jìn)行到540。
[0057]在540處，選定的一個或多個原觸覺被優(yōu)化。在某些實(shí)施例中，選定的一個或多個原觸覺被優(yōu)化以便更類似于源數(shù)據(jù)。在這些實(shí)施例的一些實(shí)施例中，優(yōu)化包括將每個選定原觸覺的至少一個觸覺參數(shù)的值調(diào)整成更類似于源數(shù)據(jù)的對應(yīng)特性的值。在某些實(shí)施例中，540被省略。流程進(jìn)行到550。
[0058]在550處,一個或多個觸覺效果基于選定的一個或多個原觸覺而被輸出。在某些實(shí)施例中，在一個或多個觸覺效果被輸出前，一個或多個觸覺效果能夠被編碼和/或儲存在諸如文件的儲存器內(nèi)。隨后，在這些實(shí)施例中，一個或多個觸覺效果能夠在它們被輸出前被檢索和/或解碼。流程隨后結(jié)束。
[0059]圖6示出根據(jù)本發(fā)明另一個實(shí)施例的自動觸覺效果適配模塊(諸如圖1中自動觸覺效果適配模塊16)的功能的流程圖。流程開始并且進(jìn)行到610。在610處，源數(shù)據(jù)被接收，其中源數(shù)據(jù)包括一個或多個特征。在某些實(shí)施例中，源數(shù)據(jù)包括音頻源數(shù)據(jù)。在這些實(shí)施例的一些實(shí)施例中，音頻源數(shù)據(jù)被編碼成PCM格式。在源數(shù)據(jù)包括音頻源數(shù)據(jù)的實(shí)施例中，音頻源數(shù)據(jù)包括音頻數(shù)據(jù)，其中音頻數(shù)據(jù)能夠被儲存在音頻文件或音頻信號內(nèi)。在其它實(shí)施例中，源數(shù)據(jù)包括視頻源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括加速度源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括方向源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括環(huán)境光源數(shù)據(jù)。在又一些實(shí)施例中，源數(shù)據(jù)包括多模態(tài)源數(shù)據(jù)。流程進(jìn)行到620。
[0060]在620處，一個或多個特征從源數(shù)據(jù)中被提取。流程進(jìn)行到630。
[0061]在630處，將一個或多個提取特征與一個或多個樣板進(jìn)行比較，其中每個樣板都包括一個或多個樣板特征和一個或多個觸覺效果。在某些實(shí)施例中，一個或多個樣板包括一個或多個聲音樣板。在可選實(shí)施例中，一個或多個樣板包括一個或多個視頻樣板。在其它可選實(shí)施例中，一個或多個樣板包括一個或多個加速度樣板。在某些實(shí)施例中，比較包括將每個提取的源數(shù)據(jù)特征與一個或多個樣板的每個樣板特征進(jìn)行比較。流程進(jìn)行到640。
[0062]在640處，一個或多個樣板基于在630處執(zhí)行的比較而從一個或多個樣板中被選定。在某些實(shí)施例中，選擇包括選擇一個或多個樣板，其中一個或多個樣板特征最類似于一個或多個提取的源數(shù)據(jù)特征。流程進(jìn)行到650。
[0063]在650處，一個或多個觸覺效果從一個或多個選定樣板中被選定。流程進(jìn)行到660。
[0064]在660處，一個或多個選定觸覺效果被輸出。在某些實(shí)施例中，在一個或多個選定觸覺效果被輸出前，一個或多個選定觸覺效果能夠被編碼和/或儲存在諸如文件的儲存器內(nèi)。隨后，在這些實(shí)施例中，一個或多個選定觸覺效果能夠在它們被輸出前被檢索和/或解碼。流程隨后結(jié)束。
[0065]因此，根據(jù)一個實(shí)施例，提供一種系統(tǒng)，其能夠分析諸如音頻源數(shù)據(jù)的源數(shù)據(jù)，并且能夠識別最類似于源數(shù)據(jù)的一個或多個觸覺效果。該系統(tǒng)隨后能夠?qū)⒆R別出的一個或多個觸覺效果與源數(shù)據(jù)相匹配。該系統(tǒng)隨后能夠輸出識別出的一個或多個觸覺效果。通過這個技術(shù)，在源數(shù)據(jù)已經(jīng)被混合前，該系統(tǒng)能夠利用諸如音頻源數(shù)據(jù)的源數(shù)據(jù)。通過在過程早期利用源數(shù)據(jù)，在源數(shù)據(jù)已經(jīng)被混合前，該系統(tǒng)能夠增強(qiáng)能夠被增加至整個內(nèi)容的觸覺效果的適當(dāng)性和質(zhì)量。此外，該系統(tǒng)能夠?qū)哂兄T如音頻效果和同時播放的觸覺效果的效果的游戲和其它內(nèi)容中的觸覺效果設(shè)計非常有價值。該系統(tǒng)能夠?yàn)閮?nèi)容制造者提供一種簡單方法，用于識別適當(dāng)?shù)挠|覺內(nèi)容并且為他們的游戲或體驗(yàn)定制觸覺內(nèi)容。
[0066]貫穿本說明書描述的本發(fā)明的特征、結(jié)構(gòu)或特性可以在一個或多個實(shí)施例中按照任何適當(dāng)?shù)姆绞竭M(jìn)行組合。例如，“一個實(shí)施例”、“一些實(shí)施例”、“某個實(shí)施例”、“某些實(shí)施例”或其它類似的語言的使用，貫穿本說明書指的是與實(shí)施例相結(jié)合描述的特殊的特征、結(jié)構(gòu)或特性可以被包括在本發(fā)明的至少一個實(shí)施例中的事實(shí)。因此，短語“一個實(shí)施例”、“一些實(shí)施例”、“某個實(shí)施例”、“某些實(shí)施例”或其它類似語言的出現(xiàn)，貫穿本說明書都不必指的是相同組的實(shí)施例，并且所描述的特征、結(jié)構(gòu)或特性可以按照任何適當(dāng)?shù)姆绞浇Y(jié)合在一個或多個實(shí)施例中。
[0067]本領(lǐng)域普通技術(shù)人員將易于理解，如上所述的本發(fā)明可以按照不同順序的步驟、和/或利用不同于所公開的那些構(gòu)造中的元素來實(shí)踐。因此，雖然已經(jīng)基于這些優(yōu)選實(shí)施例描述了本發(fā)明，但是對于本領(lǐng)域技術(shù)人員而言，某些更改、變化及可選構(gòu)造將是顯而易見的，并且仍在本發(fā)明的精神和范圍內(nèi)。因此，為了確定本發(fā)明的界限和范圍，應(yīng)該參考所附的權(quán)利要求。
【權(quán)利要求】
1.一種用于自動適配觸覺效果的計算機(jī)實(shí)施方法，所述計算機(jī)實(shí)施方法包含: 接收源數(shù)據(jù)，其中所述源數(shù)據(jù)包含一個或多個特性； 將所述源數(shù)據(jù)與一個或多個原觸覺進(jìn)行比較，其中所述一個或多個原觸覺的每個原觸覺都包含一個或多個觸覺參數(shù)； 基于所述比較從所述一個或多個原觸覺中選擇一個或多個原觸覺；以及 基于選定的一個或多個原觸覺輸出一個或多個觸覺效果。
2.根據(jù)權(quán)利要求1所述的計算機(jī)實(shí)施方法，所述比較進(jìn)一步包含將所述源數(shù)據(jù)的所述一個或多個特性與所述一個或多個原觸覺的每個原觸覺的所述一個或多個觸覺參數(shù)進(jìn)行比較。
3.根據(jù)權(quán)利要求1所述的計算機(jī)實(shí)施方法，所述選擇進(jìn)一步包含選擇所述一個或多個原觸覺，其中所述一個或多個觸覺參數(shù)的值最類似于所述源數(shù)據(jù)的所述一個或多個特性的值。
4.根據(jù)權(quán)利要求1所述的計算機(jī)實(shí)施方法，進(jìn)一步包含: 將所述選定的一 個或多個原觸覺優(yōu)化成更類似于所述源數(shù)據(jù)。
5.根據(jù)權(quán)利要求4所述的計算機(jī)實(shí)施方法，其中所述優(yōu)化所述選定的一個或多個原觸覺進(jìn)一步包含: 將每個選定的原觸覺的所述一個或多個觸覺參數(shù)中的至少一個觸覺參數(shù)的值調(diào)整成更類似于所述源數(shù)據(jù)的所述一個或多個特性的對應(yīng)特性的值。
6.根據(jù)權(quán)利要求1所述的計算機(jī)實(shí)施方法， 其中所述源數(shù)據(jù)的所述一個或多個特性包含下列的至少其中之一:振幅、頻率、持續(xù)時間、包絡(luò)、密度、量級、或強(qiáng)度； 其中所述一個或多個原觸覺的每個原觸覺的所述一個或多個觸覺參數(shù)包含下列的至少其中之一:振幅觸覺參數(shù)、頻率觸覺參數(shù)、持續(xù)時間觸覺參數(shù)、包絡(luò)觸覺參數(shù)、密度觸覺參數(shù)、量級觸覺參數(shù)、或強(qiáng)度觸覺參數(shù)；以及 其中所述源數(shù)據(jù)包含下列的至少其中之一:音頻源數(shù)據(jù)、視頻源數(shù)據(jù)、加速度源數(shù)據(jù)、方向源數(shù)據(jù)、或環(huán)境光源數(shù)據(jù)。
7.一種用于自動適配觸覺效果的系統(tǒng)，所述系統(tǒng)包含: 存儲器，被配置成儲存自動觸覺效果適配模塊；和 處理器，被配置成執(zhí)行儲存在所述存儲器上的自動觸覺效果適配模塊； 其中所述自動觸覺效果適配模塊被配置成接收源數(shù)據(jù)，其中所述源數(shù)據(jù)包含一個或多個特性； 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成將所述源數(shù)據(jù)與一個或多個原觸覺進(jìn)行比較，其中所述一個或多個原觸覺的每個原觸覺都包含一個或多個觸覺參數(shù)； 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成基于所述比較而從所述一個或多個原觸覺中選擇一個或多個原觸覺；以及 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成基于選定的一個或多個原觸覺來輸出一個或多個觸覺效果。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述自動觸覺效果適配模塊被進(jìn)一步配置成將所述源數(shù)據(jù)的所述一個或多個特性與所述一個或多個原觸覺的每個原觸覺的所述一個或多個觸覺參數(shù)進(jìn)行比較。
9.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中所述自動觸覺效果適配模塊被進(jìn)一步配置成選擇所述一個或多個原觸覺，其中所述一個或多個觸覺參數(shù)的值最類似于所述源數(shù)據(jù)的所述一個或多個特性的值。
10.一種用于自動適配觸覺效果的計算機(jī)實(shí)施方法，所述計算機(jī)實(shí)施方法包含: 接收源數(shù)據(jù)，其中所述源數(shù)據(jù)包含一個或多個特征； 從所述源數(shù)據(jù)中提取一個或多個特征； 將一個或多個提取特征與一個或多個樣板進(jìn)行比較，其中每個樣板都包含一個或多個樣板特征和一個或多個觸覺效果； 基于所述比較從所述一個或多個樣板中選擇一個或多個樣板； 從一個或多個選定樣板中選擇所述一個或多個觸覺效果；以及 輸出一個或多個選定觸覺效果。
11.根據(jù)權(quán)利要求10所述的計算機(jī)實(shí)施方法，其中所述比較進(jìn)一步包含將所述源數(shù)據(jù)的每個提取特征與所述一個或多個樣板的每個樣板特征進(jìn)行比較。
12.根據(jù)權(quán)利要求10所述的計算機(jī)實(shí)施方法，所述選擇所述一個或多個樣板進(jìn)一步包含選擇所述一個或多個樣板，其中所述一個或多個樣板特征最類似于所述源數(shù)據(jù)的所述一個或多個提取特征。
13.根據(jù)權(quán)利要求10所述的計算機(jī)實(shí)施方法， 其中所述源數(shù)據(jù)包含音頻源數(shù)據(jù)；以及 其中所述一個或多個樣板包含一個或多個聲音樣板。
14.一種用于自動適配觸覺效果的系統(tǒng)，所述系統(tǒng)包含: 存儲器，被配置成儲存自動觸覺效果適配模塊；和 處理器，被配置成執(zhí)行儲存在所述存儲器上的所述自動觸覺效果適配模塊； 其中所述自動觸覺效果適配模塊被配置成接收源數(shù)據(jù)，其中所述源數(shù)據(jù)包含一個或多個特征； 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成從所述源數(shù)據(jù)中提取一個或多個特征； 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成將一個或多個提取特征與一個或多個樣板進(jìn)行比較，其中每個樣板都包含一個或多個樣板特征和一個或多個觸覺效果； 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成基于所述比較而從所述一個或多個樣板中選擇一個或多個樣板； 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成從一個或多個選定樣板中選擇所述一個或多個觸覺效果；以及 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成輸出一個或多個選定觸覺效果。
15.根據(jù)權(quán)利要求14所述的系統(tǒng)， 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成將所述源數(shù)據(jù)的每個提取特征與所述一個或多個樣板的每個樣板特征進(jìn)行比較，以及 其中所述自動觸覺效果適配模塊被進(jìn)一步配置成選擇所述一個或多個樣板，其中所述一個或多個樣板特征最類似于所述源數(shù)據(jù)的所述一個或多個提取特征。
【文檔編號】G06F3/01GK104035556SQ201410076907
【公開日】2014年9月10日 申請日期:2014年3月5日 優(yōu)先權(quán)日:2013年3月5日
【發(fā)明者】C·J·尤爾里奇, D·格蘭特, V·A·維也加斯, J·M·克魯茲-埃爾南德斯 申請人:英默森公司