專利名稱：從數(shù)字音頻信號(hào)自動(dòng)產(chǎn)生觸覺(jué)事件的系統(tǒng)和方法
技術(shù)領(lǐng)域：
這里描述的主題總體涉及觸覺(jué)領(lǐng)域，更具體地說(shuō)，涉及產(chǎn)生對(duì)應(yīng)于數(shù)字音頻或音頻/視頻文件的觸覺(jué)效果(haptic effect)控制信號(hào)或觸覺(jué)音軌。
背景技術(shù)：
在用戶接口裝置中能觸知的振動(dòng)通常是所希望的。觸摸使空間感覺(jué)在整個(gè)世界上你用于引導(dǎo)你的途徑的那些感覺(jué)——視覺(jué)、聲音、和觸摸成為一體。觸摸產(chǎn)生幾毫秒的反射速率響應(yīng)，并且提供視覺(jué)和聲音加在一起也不能替代的完整性。在用戶接口裝置中，具有匹配聲音的能觸知的振動(dòng)是很有用的，例如當(dāng)在蜂窩電話上播放音樂(lè)文件時(shí)。末端用戶裝置的音頻可以用兩種方式編碼結(jié)構(gòu)化的表象格式，例如將被播放的聲音符號(hào)化地編碼成已知的符號(hào)串(例如，樂(lè)器數(shù)字接口或“MIDI”)的協(xié)議；和數(shù)字采樣的音頻，其是一組的音頻波形的周期性采樣。近來(lái)，采樣的音頻文件能夠通過(guò)手工轉(zhuǎn)換來(lái)轉(zhuǎn)換。設(shè)計(jì)人收聽(tīng)、分析并判斷采樣的音頻文件，并且選擇采樣的音頻特征，從所選擇的特征中產(chǎn)生觸覺(jué)效果。但是，人類設(shè)計(jì)介入是有限的資源。所需要的是將音樂(lè)文件轉(zhuǎn)換成觸覺(jué)效果的自動(dòng)或半自動(dòng)的方法。

發(fā)明內(nèi)容
在一實(shí)施例中，用于處理數(shù)字音頻信號(hào)的方法包括將音頻信號(hào)分離成多個(gè)子頻段信號(hào)，將至少一個(gè)子頻段信號(hào)分段成多個(gè)事件；將觸覺(jué)效果分配給至少一個(gè)事件，以產(chǎn)生由致動(dòng)器輸出的觸覺(jué)事件。在一實(shí)施例中，用于處理數(shù)字音頻信號(hào)的設(shè)備包括用于將音頻信號(hào)分離成多個(gè)子頻段信號(hào)的電路；用于將至少一個(gè)子頻段信號(hào)分段成多個(gè)事件的電路；用于將觸覺(jué)效果分配給至少一個(gè)事件以產(chǎn)生觸覺(jué)事件的電路；以及被構(gòu)造成輸出觸覺(jué)事件的致動(dòng)器。在一實(shí)施例中，用于處理數(shù)字音頻信號(hào)的設(shè)備包括用于將音頻信號(hào)分離成多個(gè)子頻段信號(hào)的裝置；用于將至少一個(gè)子頻段信號(hào)分段成多個(gè)事件的裝置；和用于將觸覺(jué)效果分配給至少一個(gè)事件以產(chǎn)生由致動(dòng)器輸出的觸覺(jué)事件的裝置。在一實(shí)施例中，該系統(tǒng)和方法計(jì)算音頻信號(hào)的頻譜分解(spectraldecomposition)。在一實(shí)施例中，該系統(tǒng)和方法指定事件之間的最小的分隔時(shí)間。在一實(shí)施例中，該系統(tǒng)和方法在第一觸覺(jué)事件之前指定最小的致動(dòng)器啟動(dòng)時(shí)間。在一實(shí)施例中，該系統(tǒng)和方法指定多個(gè)觸覺(jué)事件中的每個(gè)觸覺(jué)事件的最小的持續(xù)時(shí)間。在一實(shí)施例中，該系統(tǒng)和方法指定事件之間的最小的分隔時(shí)間。在一實(shí)施例中，該系統(tǒng)和方法在第一觸覺(jué)事件之前指定最小的致動(dòng)器啟動(dòng)時(shí)間。在一實(shí)施例中，在子頻段內(nèi)信號(hào)的事件對(duì)應(yīng)于用戶規(guī)定的每秒鐘的觸覺(jué)效果的平均數(shù)。在一實(shí)施例中，在子頻段信號(hào)內(nèi)的事件具有小于最大混疊目標(biāo)值的混疊值。在一實(shí)施例中，該系統(tǒng)和方法在指定的時(shí)間段上計(jì)算平均值，用于一個(gè)或多個(gè)子頻段信號(hào)的參數(shù)。在一實(shí)施例中，如果子頻段信號(hào)的參數(shù)的短期值超過(guò)用于該參數(shù)的平均值的多倍(multiple)，則該系統(tǒng)和方法指定事件。在一實(shí)施例中，該系統(tǒng)和方法計(jì)算音頻信號(hào)的頻譜分解的功率譜；至少部分地根據(jù)該功率譜選擇頻率；并且至少部分地根據(jù)所選擇的頻率識(shí)別事件。在一實(shí)施例中，該系統(tǒng)和方法將觸覺(jué)事件存儲(chǔ)在能夠與網(wǎng)絡(luò)上的客戶機(jī)通信的服務(wù)器中，其中服務(wù)器為客戶機(jī)提供觸覺(jué)事件。


包含在本說(shuō)明書中并構(gòu)成本說(shuō)明書的一部分的附圖示出了本發(fā)明的一個(gè)或多個(gè)實(shí)施例，并且與詳細(xì)描述一道用于說(shuō)明本發(fā)明的原理和裝置。在附圖中圖I是用包含一系列音符、和弦和休止符的傳統(tǒng)的紙頁(yè)音樂(lè)形式以視覺(jué)可見(jiàn)的方式表不的音樂(lè)作品的一部分。圖2是采樣的音頻信號(hào)的一部分的時(shí)間-幅度圖。圖3是示出根據(jù)實(shí)施例的用于觸覺(jué)效果映射的方法的處理流程圖。圖4是根據(jù)實(shí)施例的系統(tǒng)部件(piece)的整體結(jié)構(gòu)圖。圖5是示出根據(jù)實(shí)施例的用于圖4的音樂(lè)作品的高頻和中頻子頻段信號(hào)的濾波的時(shí)間-幅度曲線圖。圖6是示出根據(jù)實(shí)施例的用于分段中頻子頻段信號(hào)的平均功率和瞬時(shí)功率的表示(representation)的標(biāo)準(zhǔn)化的時(shí)間-幅度曲線圖。圖7是根據(jù)實(shí)施例的用于分段低頻子頻段信號(hào)的頻率-功率曲線圖。圖8是根據(jù)實(shí)施例的用于圖4的音樂(lè)作品例子的一系列觸覺(jué)效果的時(shí)間-符號(hào)表
/Jn ο圖9是根據(jù)實(shí)施例的構(gòu)成音樂(lè)作品的一系列MIDI事件的時(shí)間-音符表示。圖10是根據(jù)實(shí)施例的構(gòu)成音樂(lè)作品的一系列MIDI事件的替換的時(shí)間-樂(lè)器-音符表示。圖11A、11B、和IIC 一起構(gòu)成處理流程圖，示出用于MIDI序列處理以產(chǎn)生對(duì)應(yīng)于根據(jù)實(shí)施例的一系列觸覺(jué)效果的方法。
具體實(shí)施例方式在用于自動(dòng)音頻到觸覺(jué)轉(zhuǎn)換的系統(tǒng)的范圍內(nèi)，描述該主題的實(shí)施例。本領(lǐng)域的技術(shù)人員將會(huì)認(rèn)識(shí)到，本發(fā)明的下面的詳細(xì)描述僅僅是說(shuō)明性的，并且不意圖以任何方式限制。這種技術(shù)人員受到這里公開(kāi)的內(nèi)容的啟發(fā)，自己也能夠容易地提出本發(fā)明的其它實(shí)施例。下面詳細(xì)參考附圖中所示的本發(fā)明的設(shè)備。相同的附圖標(biāo)記將用于所有的附圖，并且下面的詳細(xì)描述將參考相同或類似的零部件。為了清楚起見(jiàn)，這里沒(méi)有示出和描述設(shè)備的所有的常規(guī)特征。當(dāng)然，應(yīng)當(dāng)理解，在任何實(shí)際設(shè)備的研制中，必需做出特定實(shí)現(xiàn)方式的決定以便實(shí)現(xiàn)研制者的特定目標(biāo)，例如符合與應(yīng)用及業(yè)務(wù)相關(guān)的約束，這些特定的目標(biāo)隨著不同的實(shí)現(xiàn)方式而變化，并且隨著不同的研制者而變化。而且，應(yīng)當(dāng)理解，這種研制工作是復(fù)雜和耗時(shí)的，但是盡管如此，對(duì)于受到本發(fā)明公開(kāi)內(nèi)容啟發(fā)的普通技術(shù)人員而言所進(jìn)行的技術(shù)工作是常規(guī)的。根據(jù)這里描述的主題，能夠利用各種類型的操作系統(tǒng)、計(jì)算平臺(tái)、計(jì)算機(jī)程序、和/或通用機(jī)器來(lái)制造、操作和/或執(zhí)行各種部件、系統(tǒng)、裝置、處理步驟和/或數(shù)據(jù)結(jié)構(gòu)。此夕卜，本領(lǐng)域的普通技術(shù)人員將會(huì)明白，也可以利用不太通用的裝置，例如，硬件裝置、現(xiàn)場(chǎng)可編程門陣列(FPGA)、專用集成電路(ASIC)等，而不脫離這里公開(kāi)的發(fā)明構(gòu)思的范圍和精神實(shí)質(zhì)。其中，所包含的方法由計(jì)算機(jī)、裝置或機(jī)器執(zhí)行，并且該方法可以被存儲(chǔ)為由機(jī)器可讀的指令，它們可以存儲(chǔ)在確定的介質(zhì)上，例如計(jì)算機(jī)存儲(chǔ)裝置，包括但不限于ROM(只 讀存貯器)、PROM (可編程只讀存儲(chǔ)器)、EEPROM (電可擦的可編程只讀存儲(chǔ)器、FLASH存儲(chǔ)器、轉(zhuǎn)移裝置等)、磁存儲(chǔ)介質(zhì)(例如，磁帶、磁盤驅(qū)動(dòng)器等)、光學(xué)存儲(chǔ)介質(zhì)(例如，CD-ROM、DVD-ROM、紙卡、紙帶等)以及其他熟知類型的程序存儲(chǔ)器。此外，應(yīng)當(dāng)認(rèn)識(shí)到，該方法可以利用軟件工具的選擇由人類操作者執(zhí)行，而不需要人或創(chuàng)造性的判斷。這里所描述的系統(tǒng)和方法涉及接收數(shù)字文件并自動(dòng)地將該文件轉(zhuǎn)換成觸覺(jué)事件。在一實(shí)施例中，所接收的文件是采樣的數(shù)字音頻文件或數(shù)字化的模擬音頻文件。在另一個(gè)實(shí)施例中，所接收的文件是結(jié)構(gòu)化的表示(representation)文件(例如，MIDI文件)。應(yīng)當(dāng)指出，雖然在這里MIDI文件用結(jié)構(gòu)化的表示文件來(lái)描述，但是也可以用由系統(tǒng)使用的任何其他協(xié)議，從而，協(xié)議利用可以輸出音頻、視頻或其它信號(hào)的結(jié)構(gòu)化的表示文件。轉(zhuǎn)換的觸覺(jué)事件由末端設(shè)備處理并輸出，其中用戶感受令人愉快的觸覺(jué)感受，這種觸覺(jué)感受與該末端設(shè)備和/或其他設(shè)備輸出的音頻相對(duì)應(yīng)。該末端設(shè)備包括但不限于音頻播放器、移動(dòng)電話、視頻播放器、PDA、計(jì)算機(jī)、電視機(jī)、視頻游戲控制板、計(jì)算機(jī)外圍設(shè)備(例如，鼠標(biāo)、操縱桿、滾球、鍵盤)、轉(zhuǎn)向輪、設(shè)備、滑動(dòng)器、按鈕、頭戴受話器、觸摸屏、便攜式或非便攜式收音機(jī)、單向或雙向傳呼機(jī)、以及其他合適的用戶可操作的裝置。還應(yīng)當(dāng)注意，雖然在這里該系統(tǒng)和方法被描述成由末端裝置輸出，但是根據(jù)實(shí)施例，多個(gè)末端裝置可以同時(shí)或在不同的時(shí)間輸出相同的觸覺(jué)事件和/或相同觸覺(jué)事件的不同部分。應(yīng)當(dāng)注意，末端裝置在這里可以包括一個(gè)或多個(gè)致動(dòng)器。在末端裝置中的多個(gè)致動(dòng)器的實(shí)施例中，對(duì)于每個(gè)觸覺(jué)事件，由多個(gè)致動(dòng)器輸出的觸覺(jué)事件可以同時(shí)進(jìn)行、選擇地進(jìn)行、交替地進(jìn)行、和/或單個(gè)地進(jìn)行。圖4示出實(shí)施根據(jù)實(shí)施例的系統(tǒng)的整體結(jié)構(gòu)。如圖4所示，各種源可以為系統(tǒng)300提供輸入信號(hào)99。例如，可以從服務(wù)器402、音頻信號(hào)源(⑶、DVD、DAT等)404、主計(jì)算機(jī)406、移動(dòng)裝置408和/或商業(yè)信息站410接收數(shù)字采樣的音頻信號(hào)或結(jié)構(gòu)化的表示信號(hào)。該輸入信號(hào)在有線或無(wú)線私人或公共網(wǎng)絡(luò)98上發(fā)送到系統(tǒng)300的接收模塊412。如在下面更詳細(xì)地討論的，該信號(hào)然后由處理器414處理。一旦處理之后，系統(tǒng)300通過(guò)有線或無(wú)線接口(through port)416將觸覺(jué)事件序列輸出到一個(gè)或多個(gè)末端裝置420。當(dāng)接收具有觸覺(jué)事件序列(具有或不具有伴隨的音頻)的輸出文件時(shí)，末端裝置420然后能夠利用一個(gè)或多個(gè)致動(dòng)器422以及可選的音頻揚(yáng)聲器424 —道輸出該觸覺(jué)事件。應(yīng)當(dāng)指出，在圖4中描述的結(jié)構(gòu)是一個(gè)實(shí)施例，因而可以利用附加的和/或可選的部件而不脫離這里所描述的主題的范圍?，F(xiàn)在回到附圖，圖I示出利用包括一系列音符、和弦和休止符的傳統(tǒng)的紙張樂(lè)譜形式以視覺(jué)可見(jiàn)方式表示的音樂(lè)作品的一部分100。該音樂(lè)作品可以，例如，以數(shù)字采樣的形式或結(jié)構(gòu)化的表示形式演奏并記錄。每個(gè)音樂(lè)音符表示機(jī)械振動(dòng)的頻率。音符的類型(gp，A、A#、B、C、C#、D、D#、E、F、G、G#)在音調(diào)上是彼此不同的。全音符，二分音符、四分音符、八分音符、十六分音符等等表示每個(gè)音符演奏的持續(xù)時(shí)間或頻率。同樣，全休止符，二分休止符、四分休止符、八分休止符、十六分休止符等等表示沒(méi)有音符被演奏的持續(xù)時(shí)間。音符序列及其持續(xù)時(shí)間確定了在何時(shí)演奏何種頻率的表示法(representation)。本發(fā)明的實(shí)施例涉及將觸覺(jué)事件自動(dòng)地映射到數(shù)字采樣的音頻文件。采樣的音頻源(和多個(gè)文件)具有但不限于WAV、MP3、MP4、ACC、ASX、WMA格式，所有的都提供基本相同類型的信息，例如采樣率和一組(通常左和右聲道)時(shí)間順序的采樣。但是，與結(jié)構(gòu)化的 表示文件不同，從采樣的源部能夠獲得關(guān)于樂(lè)器的、音調(diào)、拍子或其他音樂(lè)內(nèi)容的清楚的信息——只能夠獲得完全呈現(xiàn)的聲音。采樣的音頻信號(hào)的例子的時(shí)間-幅度曲線圖示于圖2中。附加地，或替換地，系統(tǒng)能夠從結(jié)構(gòu)化表象信號(hào)中自動(dòng)地映射觸覺(jué)事件。具體說(shuō)，給出一音頻文件的特定的結(jié)構(gòu)化表示，系統(tǒng)通過(guò)分析由該結(jié)構(gòu)化表象信號(hào)固有地提供的數(shù)據(jù)，能夠自動(dòng)地映射觸覺(jué)事件。但是，自動(dòng)地映射任何一種類型的文件，輸入信號(hào)被仔細(xì)地處理，并且由于末端裝置中的致動(dòng)器的性能限制，分析被簡(jiǎn)化，以從該文件的音頻信號(hào)中提供令人愉快的特殊的觸覺(jué)序列。當(dāng)前的觸覺(jué)技術(shù)能夠演奏多至四個(gè)同時(shí)的觸覺(jué)事件，并且用大約I毫秒的控制回路來(lái)操作。這是由于現(xiàn)有致動(dòng)器的限制。給定現(xiàn)有偏心旋轉(zhuǎn)質(zhì)量(ERM)電機(jī)的技術(shù)的限制，演奏同時(shí)的觸覺(jué)效果能夠?qū)е乱庀氩坏降闹聞?dòng)器行為。而且ERM電機(jī)具有比較低的機(jī)械帶寬，這種比較低的機(jī)械帶寬限制了觸覺(jué)事件的頻率最大到每秒鐘大約4個(gè)觸覺(jué)事件。ERM電機(jī)在到達(dá)峰值加速度之前還具有大約50至80毫秒的啟動(dòng)延遲，并且在形成觸覺(jué)控制信號(hào)中必需考慮到這種啟動(dòng)延遲，以驅(qū)動(dòng)這種ERM電機(jī)。盡管在這里描述的主題的上下文中描述了 ERM電機(jī)，但是，考慮到根據(jù)末端裝置的類型、觸覺(jué)效果分辨率、將被轉(zhuǎn)換的音頻的數(shù)字的質(zhì)量、以及使用的用途，可以使用其他類型的電機(jī)或致動(dòng)器。僅僅作為一個(gè)例子，致動(dòng)器可以是線性共振致動(dòng)器(LRA)，其具有優(yōu)于ERM電機(jī)的分辨能力?？紤]到其他類型的致動(dòng)器，包括但不限于線性電流控制電機(jī)、步進(jìn)電機(jī)、磁致動(dòng)器、氣動(dòng)/液壓作用致動(dòng)器、力矩器(具有有限角度范圍的電機(jī))，以及聲音線圈制動(dòng)器。為了向與能夠觸覺(jué)的末端裝置相接觸的用戶提供令人愉快的觸覺(jué)體驗(yàn)，系統(tǒng)在一個(gè)時(shí)間周期內(nèi)不應(yīng)當(dāng)產(chǎn)生太多的觸覺(jué)事件。此外，觸覺(jué)事件應(yīng)當(dāng)足夠遠(yuǎn)地間隔開(kāi)，使得不產(chǎn)生一個(gè)恒定的振動(dòng)或“模糊”，但是盡管如此，應(yīng)與聲音效果、音樂(lè)拍子和/或曲調(diào)相一致。例外的事件，例如鍵的改變、旋律的轉(zhuǎn)變等，應(yīng)當(dāng)經(jīng)常被觸覺(jué)事件所強(qiáng)調(diào)。音樂(lè)韻律通常應(yīng)當(dāng)通過(guò)識(shí)別音頻程序信號(hào)的拍子和與音頻程序信號(hào)的開(kāi)始相關(guān)的拍子的相位偏移而被加重。事先具有基本靜音的量的音頻事件由于它們?cè)谝魳?lè)上的重音(例如，作為聲音效果的鈸、汽車碰撞)也同樣可以是觸覺(jué)事件。圖3是示出根據(jù)實(shí)施例的用于所接收的數(shù)字化采樣音頻信號(hào)的觸覺(jué)事件映射的系統(tǒng)和方法的處理方塊圖。一般而言，根據(jù)實(shí)施例，所接收的采樣音頻輸入被該系統(tǒng)接收并且被自動(dòng)地“轉(zhuǎn)換”或“映射”，以與該信號(hào)中的所識(shí)別的音頻事件的重放同步的方式，形成在末端裝置中控制觸覺(jué)效果的重放的觸覺(jué)控制信號(hào)或觸覺(jué)事件。圖3中的方塊被指定為原生的(generic)部件，其可以是模擬的或數(shù)字的硬件，包括但不限于硬連線的電路、集成電路以及ASIC。附加地或可替換地，圖3中的方塊是軟件編碼部件，例如由處理器和存儲(chǔ)器實(shí)施或利用的程序、子程序、編碼、線程等。根據(jù)圖3中的實(shí)施例，所接收的采樣音頻信號(hào)在方塊310中被裝入計(jì)算裝置的存儲(chǔ)器中。該計(jì)算裝置可以是常規(guī)的個(gè)人計(jì)算機(jī)、處理模塊、服務(wù)器、客戶機(jī)、上面定義的末端 裝置本身，或具有足夠處理能力的任何其他的電子器件。采樣的音頻信號(hào)可以取自壓縮盤(CD)小磁盤、DVD、DAT、硬盤驅(qū)動(dòng)器或其它介質(zhì)。在一實(shí)施例中，音頻信號(hào)可以直接地(有線或無(wú)線地)從商業(yè)或非商業(yè)網(wǎng)站下載，其然后由末端裝置轉(zhuǎn)換或播放。在另一個(gè)實(shí)施例中，音頻音軌被遠(yuǎn)程轉(zhuǎn)換并且然后存儲(chǔ)在服務(wù)器上，從而該轉(zhuǎn)換的觸覺(jué)音軌能夠直接從服務(wù)器下載到一個(gè)或多個(gè)被播放的末端裝置。在一實(shí)施例中，所接收的文件被系統(tǒng)離線處理，從而在文件被接受之后，系統(tǒng)處理一部分或整個(gè)文件。在一實(shí)施例中，所接收的文件以實(shí)時(shí)方式被系統(tǒng)處理，從而當(dāng)文件被接收時(shí)，系統(tǒng)處理并輸出數(shù)據(jù)。所接收的文件可以被輸入到文件閱讀器/播放器，其包括在商業(yè)計(jì)算機(jī)軟件程序中，例如，Microsoft Windows Media Player 、RealPlayer 、iTunes 、
MusicMatch Jukebox ，或者服務(wù)器和/或末端裝置上的其他所有者的程序?？商鎿Q地，能夠與系統(tǒng)一起使用產(chǎn)生PCM類型輸出的任何編解碼器(codec)(編碼器-解碼器)。在一實(shí)施例中，系統(tǒng)接收采樣的音頻作為單一的(非立體聲的)輸入信號(hào)。在一實(shí)施例中，系統(tǒng)接收采樣的音頻作為立體的或多聲道輸入，例如，其可以通過(guò)預(yù)先混合或子選擇而被轉(zhuǎn)換或映射。附加地，如果希望的話，多個(gè)觸覺(jué)音軌可以被同時(shí)處理或者在不同的時(shí)間處理。在一實(shí)施例中，在輸入信號(hào)被加載到系統(tǒng)的可選存儲(chǔ)器中之后，系統(tǒng)從該存儲(chǔ)器檢索該信號(hào)并且在方塊312中依據(jù)其每個(gè)時(shí)間的能量大小和頻率分析該輸入信號(hào)。在一實(shí)施例中，系統(tǒng)利用開(kāi)窗口的(windowed)快速傅氏變換(FFT)算法，以在方塊312中產(chǎn)生音頻信號(hào)的能量分布數(shù)據(jù)。在一實(shí)施例中，可以用任何其他合適的程序或算法，包括但不限于小波變換，以產(chǎn)生信號(hào)的能量分布信息。頻譜分解分析還產(chǎn)生相位信息，其被編碼作為在處理信號(hào)的過(guò)程中能夠被系統(tǒng)利用的復(fù)系數(shù)。在一實(shí)施例中，在頻率子頻段的分段之前，系統(tǒng)對(duì)于頻譜分析計(jì)算利用補(bǔ)償因子，以說(shuō)明人耳傳輸功能和感性的因素。例如，與60Hz的聲音相比，人耳對(duì)于3-4kHz的聲音更加敏感。在一個(gè)例子中，系統(tǒng)將使60Hz左右的頻率含量衰減大約40dB，而在3kHz和4kHz之間的頻率含量不被衰減。因此，即便在60Hz的拍子(beat)中可能存在相當(dāng)多的能量，由于衰減的緣故，用戶可能更明顯地感覺(jué)出在更高頻段中的拍子。同樣，可以考慮用于目標(biāo)觸覺(jué)裝置的揚(yáng)聲器的音頻傳輸功能并且在分段之前將其應(yīng)用于頻譜分解。例如，大多數(shù)耳機(jī)揚(yáng)聲器的頻率響應(yīng)是這樣的，低于200Hz的頻率不被傳輸。因此，當(dāng)伴隨著由這種揚(yáng)聲器提供的音頻信號(hào)時(shí)，強(qiáng)調(diào)在200Hz之下的拍子將產(chǎn)生意想不到的觸覺(jué)效果。在處理中忽略頻譜分解中的這些頻段將產(chǎn)生更加一致的效果。在一實(shí)施例中，系統(tǒng)利用來(lái)自頻譜分解分析的復(fù)系數(shù)的絕對(duì)值，以依據(jù)頻率來(lái)映射音頻信號(hào)的能量分布，用以允許子頻段信號(hào)的指定和音頻信號(hào)的交叉頻率。這是圖3中的方塊314所指出的。如圖3所75,該系統(tǒng)和方法在方塊314從輸入音頻信號(hào)的能量分布中來(lái)確定許多子頻段頻率。如上所述，系統(tǒng)能夠利用軟件、模擬或數(shù)字硬件和/或固件進(jìn)行這種分析。在一實(shí)施例中，系統(tǒng)分析信號(hào)的能量分布并且根據(jù)頻率將能量指定為三個(gè)子頻段類別。在一實(shí)施例中，子頻段類別是高頻子頻段、中頻子頻段和低頻子頻段。圖5示出濾波的時(shí)間-頻率曲線圖的例子，其示出了輸入音頻信號(hào)的高頻子頻段信號(hào)50 0和中頻子頻段信號(hào)502。在一實(shí)施例中，系統(tǒng)和方法將輸入音頻信號(hào)的能量分布指定為比三個(gè)子頻段類別更多或更少。在一實(shí)施例中，低頻子頻段被系統(tǒng)指定為在低頻值的范圍內(nèi)，而高頻子頻段被指定為高頻值的范圍內(nèi)。系統(tǒng)指定中頻子頻段為在低子頻段的最高頻和高子頻段的最低頻之間。應(yīng)當(dāng)指出，每個(gè)頻率子頻段范圍不限于已討論的這種，并且根據(jù)設(shè)計(jì)者的愿望，每個(gè)子頻段能夠被指定為具有任何上限頻率和下限頻率。在一實(shí)施例中，低頻、中頻和高頻范圍由系統(tǒng)根據(jù)整個(gè)信號(hào)的總的平均功率譜或整個(gè)信號(hào)的分段部分來(lái)確定?？梢灶A(yù)期利用任何其他合適的方法由系統(tǒng)來(lái)確定低頻、中頻和高頻范圍。具體說(shuō)，系統(tǒng)和方法依據(jù)子頻段交叉頻率來(lái)分析輸入音頻信號(hào)。在一實(shí)施例中，系統(tǒng)計(jì)算在低頻子頻段和中頻子頻段之間的一個(gè)或多個(gè)子頻段交叉頻率fm。附加地，系統(tǒng)和方法計(jì)算中頻子頻段和高頻子頻段之間的一個(gè)或多個(gè)交叉頻率fh。在例子中，匕被指定為在大約300Hz到大約1000Hz之間。在例子中，fh被指定為在大約3500Hz到大約5000Hz之間。應(yīng)當(dāng)指出，這些范圍僅僅是例子，并且在該系統(tǒng)和方法的范圍內(nèi)，其他頻率范圍也是被考慮的。在一實(shí)施例中，匕和4頻率被計(jì)算為第15和第85百分位頻譜下降(衰減)的平均值，其中頻譜下降(spectral rolloff)是低于其能夠發(fā)現(xiàn)音頻輸入信號(hào)的總能量的規(guī)定的百分比的頻率。該規(guī)定的百分比可以從在方塊312中計(jì)算的信號(hào)的能量分布來(lái)計(jì)算。應(yīng)當(dāng)指出，其他頻譜下降百分位也是被考慮的，并且不必限制在第15和第85百分位。在一實(shí)施例中，該系統(tǒng)和方法使與在每個(gè)時(shí)間窗中的指定的頻率的能量標(biāo)準(zhǔn)化，并且計(jì)算對(duì)應(yīng)于規(guī)定的百分位的積累值。應(yīng)當(dāng)指出，這是計(jì)算交叉頻率的一種方法，并且計(jì)算交叉頻率的其他方法也是被考慮的。例如，在一實(shí)施例中，可以通過(guò)計(jì)算整個(gè)信號(hào)的FFT并且計(jì)算下降值來(lái)計(jì)算子頻段信號(hào)交叉頻率。于是，三個(gè)子頻段信號(hào)可以通過(guò)將每個(gè)子頻段的能量值求和，從輸入音頻信號(hào)的能量分布(頻譜)來(lái)構(gòu)造。由于在頻譜分解計(jì)算中，44KHz時(shí)間信息(原始音頻采樣率)可以被轉(zhuǎn)換成128Hz時(shí)間數(shù)據(jù),這個(gè)過(guò)程也可以用于向下采樣(down-sample)輸入信號(hào)。在一實(shí)施例中，高頻-中頻-和低頻子頻段信號(hào)每個(gè)都被系統(tǒng)分段并且被處理。如圖3所示，中頻子頻段信號(hào)被發(fā)送到由方塊316指定的中頻段優(yōu)化器。該中頻段優(yōu)化器316產(chǎn)生對(duì)應(yīng)于所希望的每秒鐘效果(EPS)的數(shù)目的不連續(xù)事件的音軌。在一實(shí)施例中，目標(biāo)EPS由用戶定義，盡管EPS也可以根據(jù)特定因素來(lái)定義，包括但不限于致動(dòng)器的分辨率、音樂(lè)的類型、末端裝置的類型以及該系統(tǒng)的處理能力或用戶的希望。
系統(tǒng)執(zhí)行觸覺(jué)事件之間的最小分隔，以允許末端裝置中的致動(dòng)器一個(gè)合適的時(shí)間來(lái)啟動(dòng)，并逐步結(jié)束其輸出的每個(gè)觸覺(jué)事件。該最小的分隔允許末端裝置中的致動(dòng)器產(chǎn)生不連續(xù)的多個(gè)觸覺(jué)事件，并且防止兩個(gè)或更多個(gè)觸覺(jué)事件彼此重疊或者產(chǎn)生彼此重疊的多個(gè)觸覺(jué)事件的一部分的“混淆”感。在一實(shí)施例中，根據(jù)子頻段，限制在觸覺(jué)事件之間的時(shí)間量為50毫秒，并且規(guī)定的持續(xù)時(shí)間為120至250毫秒。應(yīng)當(dāng)指出，該系統(tǒng)不限于這些值，并且其他值也在預(yù)料中。中頻段優(yōu)選器316試圖通過(guò)產(chǎn)生不連續(xù)的觸覺(jué)事件的音軌來(lái)捕獲有聲事件的旋律，以對(duì)應(yīng)于音頻輸入信號(hào)的有聲的旋律。系統(tǒng)這樣利用限幅參數(shù)(clipping parameter),以在希望的EPS的目標(biāo)范圍內(nèi)識(shí)別具有最大能量值的事件。當(dāng)限幅的輸入信號(hào)被從中頻段優(yōu)選器316輸出時(shí)，該信號(hào)被輸入到本地分段器318，如圖3所示。一般而言，本地分段器318利用將限幅輸入信號(hào)的長(zhǎng)時(shí)間平均值與限幅輸入信號(hào)的短時(shí)間平均值進(jìn)行比較的算法，來(lái)將中頻子頻段分段成用于每個(gè)事件的一系列的開(kāi)始和結(jié)束時(shí)間。如圖3中的箭頭所示，本地分段器318然后將這種信息向回提供給優(yōu)選器316，從而優(yōu)選器316施加一維線搜尋，以單調(diào)地調(diào)整一個(gè)或多個(gè)限幅參數(shù)，直到不連 續(xù)事件的分段在所希望的EPS目標(biāo)范圍內(nèi)。在一實(shí)施例中，重復(fù)這種處理直到達(dá)到用于該信號(hào)的所希望的EPS數(shù)。在一實(shí)施例中，該分段處理被重復(fù)預(yù)先設(shè)定的迭代數(shù)目。下面將討論分段處理的具體情況。圖6示出根據(jù)實(shí)施例，用于將中頻子頻段信號(hào)分段成不連續(xù)的觸覺(jué)事件的平均功率和短時(shí)間功率的表象的時(shí)間-信號(hào)曲線圖。圖6的曲線圖示出在20秒窗口內(nèi)的中頻子頻段信號(hào)的時(shí)間平均值600以及短時(shí)間信號(hào)值602。應(yīng)當(dāng)指出，其他時(shí)間段窗口也可以被系統(tǒng)所利用。在一實(shí)施例中，短時(shí)間信號(hào)值可以通過(guò)用5Hz的Butterworth濾波器低通濾波輸入音頻信號(hào)而得到。應(yīng)當(dāng)指出，可以利用任何裝置，或者模擬或數(shù)字領(lǐng)域的方法對(duì)輸入信號(hào)進(jìn)行濾波。在一實(shí)施例中，系統(tǒng)在特定時(shí)間產(chǎn)生新的事件，在這個(gè)特定時(shí)間點(diǎn)，短時(shí)間平均值信號(hào)超過(guò)用于這個(gè)時(shí)間點(diǎn)的規(guī)定的門限值。依據(jù)圖6的曲線圖，事件在短時(shí)間平均值沿著所希望的方向(例如，向上或向下)與長(zhǎng)時(shí)間平均值交叉的時(shí)間點(diǎn)開(kāi)始和結(jié)束。例如，在圖6中，本地分段器318通過(guò)識(shí)別短時(shí)間平均值602沿著向上的方向與長(zhǎng)期限平均值600交叉的地方來(lái)確定事件在何處開(kāi)始(點(diǎn)604)。本地分段器318還通過(guò)識(shí)別短時(shí)間平均值602沿著向下的方向(點(diǎn)606)與長(zhǎng)期限平均值600交叉的地方確定事件在何處結(jié)束。應(yīng)當(dāng)指出，上面所述僅僅是分段處理的一個(gè)例子，很顯然系統(tǒng)也可以利用其他分段處理和算法。對(duì)于低頻和高頻，每秒鐘能夠有效地產(chǎn)生比末端裝置的致動(dòng)器更多的被看作觸覺(jué)事件的事件是很平常的。由于在高頻和低頻子頻段中通常固有的密集的頻率峰值的數(shù)目很大(圖5)，上面討論的關(guān)于中頻子頻段的優(yōu)化處理對(duì)于更高或更低頻率的子頻段不是優(yōu)選的。這些很大數(shù)目的密集的頻率峰值能夠使致動(dòng)器產(chǎn)生與輸入音頻信號(hào)的拍子不一致的混疊的結(jié)果。為了解決這個(gè)問(wèn)題，對(duì)于高頻和低頻子頻段的信號(hào)，系統(tǒng)利用與中頻子頻段不同的優(yōu)化和分段方法。圖3示出系統(tǒng)不同地處理高頻和低頻子頻段。關(guān)于高頻子頻段，當(dāng)處理信號(hào)時(shí)，混疊是系統(tǒng)所考慮的事情。因此，沒(méi)有考慮到這種混疊所產(chǎn)生的觸覺(jué)事件可能發(fā)生與音樂(lè)不一致的節(jié)拍或韻律。
一般而言，如圖3所示，系統(tǒng)包括高頻優(yōu)化器320方塊，其進(jìn)行一維(I-D)線搜尋，以調(diào)整高頻信號(hào)的一個(gè)或多個(gè)限幅參數(shù)。優(yōu)化器方塊320利用輸出信號(hào)中的混疊量的測(cè)量，并且調(diào)整被提供給分段方塊322的限幅的值。高頻子頻段分段器322確定每個(gè)觸覺(jué)事件的開(kāi)始和/或結(jié)束時(shí)間，并且如箭頭所示，將結(jié)果向回提供給優(yōu)化器方塊320。然后，優(yōu)化器320相應(yīng)地調(diào)整限幅的值，直到達(dá)到目標(biāo)混疊水平或特定數(shù)目的預(yù)先定義的步驟已經(jīng)發(fā)生。通過(guò)檢查所產(chǎn)生的觸覺(jué)事件的開(kāi)始時(shí)間之間的不同分布，來(lái)測(cè)量混疊。如果作為由致動(dòng)器規(guī)定的最小效果(effect)分隔，這種分布在同一個(gè)delta具有很大的峰值，則分段的結(jié)果被認(rèn)為具有高混疊。合理的目標(biāo)混疊值應(yīng)當(dāng)是30%，這意味著30%的效果具有差別恰好最小間隔值的開(kāi)始時(shí)間。在分段方塊322中所用的算法可以與在一實(shí)施例中的中頻子頻段320所用的相同。在一實(shí)施例中，用于由方塊322處理高頻子頻段信號(hào)的算法類似于方塊318用于中頻子頻段信號(hào)所執(zhí)行的算法，但是具有若干不同。在一實(shí)施例中，對(duì)于高頻信號(hào)，長(zhǎng)時(shí)間平均 值為50毫秒。在一實(shí)施例中，輸入信號(hào)被預(yù)處理，以增加信噪比(S/N)。S/N可以被計(jì)算為限幅信號(hào)的平均值對(duì)信號(hào)的最大值之比，從而，被處理的信號(hào)通過(guò)從輸入信號(hào)中減去成比例的(scaled) I. 5秒移動(dòng)平均值來(lái)計(jì)算，并且將負(fù)值設(shè)置為零。應(yīng)當(dāng)指出，這僅僅是一個(gè)例子，系統(tǒng)也能夠利用其它方法以提高信號(hào)的信噪比。在一實(shí)施例中，對(duì)于高頻信號(hào)，被測(cè)量為長(zhǎng)于250毫秒的觸覺(jué)事件被限幅為250毫秒的最大值。在一實(shí)施例中，在最近的50毫秒窗口中，只有當(dāng)被限幅的信號(hào)大于最高峰值時(shí)才產(chǎn)生新的分段。應(yīng)當(dāng)指出，上面所說(shuō)的僅僅是例子，而不限于上面所述的這些因素。還應(yīng)當(dāng)指出，上述一個(gè)或多個(gè)因數(shù)可以在執(zhí)行該算法中被應(yīng)用。高頻子頻段分段的結(jié)果通常是大致對(duì)應(yīng)于輸入音頻信號(hào)的拍子的一組短觸覺(jué)事件。返回來(lái)參考圖3，在一實(shí)施例中，低頻子頻段信號(hào)的處理不同于中頻子頻段信號(hào)。輸入音頻信號(hào)的低頻部分通常對(duì)應(yīng)于音樂(lè)的韻律，并且通常也是由各種類型的打擊樂(lè)器和/或非常低頻的聲音(例如，貝斯聲音)占優(yōu)勢(shì)。正如高頻的情況一樣，系統(tǒng)和方法處理低頻子頻段信號(hào)以產(chǎn)生與韻律一致的觸覺(jué)事件，并且產(chǎn)生過(guò)多的混疊產(chǎn)物。在音樂(lè)中鼓的拍子(beat)在低頻子頻段頻譜中的特定頻率范圍內(nèi)是很通常的。因此，在一實(shí)施例中，系統(tǒng)考慮低頻子頻段中的很窄的頻率范圍，以識(shí)別該拍子。在一實(shí)施例中，首先通過(guò)利用比方塊312長(zhǎng)得多的時(shí)間框架窗口來(lái)對(duì)原始輸入信號(hào)的低頻子頻段信號(hào)進(jìn)行頻譜分解分析(方塊324)，系統(tǒng)識(shí)別這種特定的頻率范圍。在一實(shí)施例中，時(shí)間框架窗口是1/32秒或31毫秒，盡管其他的持續(xù)時(shí)間也在考慮之中并且不限于31毫秒。時(shí)間框架窗口在低頻范圍內(nèi)比在方塊312中計(jì)算的頻譜分解提供非常高的分辨率，以評(píng)估信號(hào)的頻譜下降。一旦系統(tǒng)和方法計(jì)算較高分辨率能量分布(方塊324)，系統(tǒng)計(jì)算該信號(hào)的功率譜。這由方塊326進(jìn)行，其中該系統(tǒng)對(duì)來(lái)自整個(gè)指定的時(shí)間窗口上的頻譜分解的能量分布求和。應(yīng)當(dāng)指出，雖然輸入信號(hào)被示為進(jìn)行兩種不同的頻譜分解分析(圖3中的方塊312和324)，但是低頻子頻段信號(hào)的頻譜分解可替換地由方塊312進(jìn)行，從而該結(jié)果在計(jì)算低頻子頻段信號(hào)的功率譜中被方塊326所利用。系統(tǒng)和方法對(duì)低頻子頻段信號(hào)利用功率譜計(jì)算(方塊326)，以根據(jù)功率水平對(duì)頻率進(jìn)行分類(方塊328)。在功率譜中若干個(gè)頻率可以對(duì)應(yīng)于相同的峰值是很常見(jiàn)的，從而冗余頻率將被消除，以便能夠更有效地對(duì)頻率峰值進(jìn)行分類。圖7示出根據(jù)實(shí)施例，用于對(duì)低頻子頻段信號(hào)進(jìn)行分段的頻率-功率曲線圖。該功率譜表示在設(shè)定數(shù)目的頻率儲(chǔ)存器(frequency bin)中存在于輸入信號(hào)中的能量值。由系統(tǒng)利用該信息，以將頻率分類為總功率的儲(chǔ)存器(bin)。例如，2. I和2. 8 (X104)之間的總功率的儲(chǔ)存器具有以下降的總功率的方式排列的640Hz、672Hz、416Hz、320Hz以及608Hz的頻率峰值。為了消除這些冗余頻率以及消除可能具有完全相同的能量或功率的瞬時(shí)分布的其他峰值，例如同樣的拍子，系統(tǒng)計(jì)算與每個(gè)頻率儲(chǔ)存器相關(guān)的瞬時(shí)信號(hào)之間的互相關(guān)矩陣，這在下面更詳細(xì)地討論。在一實(shí)施例中，如果在頻率儲(chǔ)存器fi和f j處的時(shí)間信號(hào)是正相關(guān)，則相關(guān)矩陣將在位置(I，j)具有近似高值。根據(jù)實(shí)施例，所有的頻率儲(chǔ)存器被限幅，這些頻率儲(chǔ)存器與具有較高的相關(guān)功率的儲(chǔ)存器具有高于O. 5的相關(guān)系數(shù)。換句話說(shuō)，系 統(tǒng)將保持最高能量信號(hào)，并且不使用高于限幅的互相關(guān)系數(shù)的較低的能量信號(hào)。應(yīng)當(dāng)指出， 相關(guān)系數(shù)不限于O. 5，并且O. 5之外的其他值也是被考慮的。對(duì)于這些剩余的頻率，在方塊 324中所用的算法利用具有15%的最大目標(biāo)混疊的優(yōu)化器和分段器(方塊330、332)，盡管其他目標(biāo)百分比也是被考慮的。在一實(shí)施例中，系統(tǒng)計(jì)算低頻段中的所有連續(xù)頻率儲(chǔ)存器之間的互相關(guān)系數(shù)。對(duì)應(yīng)于周期性的小鼓拍音、拍手等的音頻分段通常是高帶寬事件，并且最容易通過(guò)搜尋最大互相關(guān)系數(shù)而識(shí)別。對(duì)于下一頻率具有最高互相關(guān)系數(shù)的頻段被系統(tǒng)選擇，用于在低通檢測(cè)算法中進(jìn)一步處理。兩個(gè)隨機(jī)變量X和y的互相關(guān)系數(shù)由下式給出
權(quán)利要求
1.ー種用于處理數(shù)字音頻信號(hào)的方法，包括 將音頻信號(hào)分離成多個(gè)子頻段信號(hào)，其中該子頻段信號(hào)包括高頻子頻段信號(hào)、中頻子頻段信號(hào)和低頻子頻段信號(hào)； 將至少一個(gè)所述子頻段信號(hào)分段成多個(gè)事件； 將觸覺(jué)效果分配給至少一個(gè)所述事件，以產(chǎn)生由致動(dòng)器輸出的觸覺(jué)事件； 通過(guò)基于混疊量調(diào)整ー個(gè)或多個(gè)限幅參數(shù)，優(yōu)化所述高頻子頻段信號(hào)； 執(zhí)行所述低頻子頻段信號(hào)的頻譜分解分析和功率譜計(jì)算； 對(duì)于所述子頻段信號(hào)的每ー個(gè)生成ー個(gè)或多個(gè)備選觸覺(jué)事件；以及當(dāng)檢測(cè)到來(lái)自不同的子頻段信號(hào)的兩個(gè)或多個(gè)備選觸覺(jué)事件彼此重疊時(shí)，根據(jù)頻率的子頻段，對(duì)備選觸覺(jué)事件設(shè)定優(yōu)先級(jí)，其中由致動(dòng)器輸出設(shè)定了優(yōu)先級(jí)的備選觸覺(jué)事件。
2.根據(jù)權(quán)利要求I的方法，其中所述音頻信號(hào)的分離還包括計(jì)算所述音頻信號(hào)的頻譜分解。
3.根據(jù)權(quán)利要求I的方法，其中所述分離還包括指定事件之間的最小分隔時(shí)間。
4.根據(jù)權(quán)利要求I的方法，其中所述分離還包括在所述觸覺(jué)事件之前指定最小的致動(dòng)器啟動(dòng)時(shí)間。
5.根據(jù)權(quán)利要求I的方法,其中所述分段還包括指定多個(gè)觸覺(jué)事件中的每個(gè)觸覺(jué)事件的最小持續(xù)時(shí)間。
6.根據(jù)權(quán)利要求I的方法，其中所述分配還包括指定事件之間的最小分隔時(shí)間。
7.根據(jù)權(quán)利要求I的方法，其中所述分配還包括在第一觸覺(jué)事件之前指定最小的致動(dòng)器啟動(dòng)時(shí)間。
8.根據(jù)權(quán)利要求I的方法，其中從所述子頻段信號(hào)中分段的事件對(duì)應(yīng)于用戶規(guī)定的每秒鐘的觸覺(jué)效果的平均數(shù)。
9.根據(jù)權(quán)利要求I的方法，其中從所述子頻段信號(hào)中分段的事件具有小于的最大混疊目標(biāo)值的混疊值。
10.根據(jù)權(quán)利要求I的方法，還包括對(duì)指定的時(shí)間段計(jì)算平均值，用于ー個(gè)或多個(gè)子頻段信號(hào)的參數(shù)。
11.根據(jù)權(quán)利要求10的方法，其中至少ー個(gè)子頻段信號(hào)的所述分段還包括 如果所述子頻段信號(hào)的所述參數(shù)的短期值超過(guò)該參數(shù)的平均值的多倍，則指定一事件。
12.根據(jù)權(quán)利要求2的方法，還包括 計(jì)算所述音頻信號(hào)的頻譜分解的功率譜； 至少部分地根據(jù)所述功率譜而選擇頻率；以及 至少部分地根據(jù)所述選擇的頻率而識(shí)別事件。
13.根據(jù)權(quán)利要求I的方法，還包括 將所述觸覺(jué)事件存儲(chǔ)在能夠與網(wǎng)絡(luò)上的客戶機(jī)通信的服務(wù)器上，其中所述服務(wù)器為所述客戶機(jī)提供所述觸覺(jué)事件。
14.ー種用于處理數(shù)字音頻信號(hào)的設(shè)備，包括 用于將所述音頻信號(hào)分成離多個(gè)子頻段信號(hào)的電路，其中所述子頻段信號(hào)包括高頻子頻段信號(hào)、中頻子頻段信號(hào)和低頻子頻段信號(hào)；用于將至少ー個(gè)所述子頻段信號(hào)分段成多個(gè)事件的電路；和 用于將觸覺(jué)效果分配給至少一個(gè)所述事件以產(chǎn)生觸覺(jué)事件的電路；以及 被構(gòu)造成輸出所述觸覺(jué)事件的致動(dòng)器； 通過(guò)基于混疊量調(diào)整ー個(gè)或多個(gè)限幅參數(shù)，優(yōu)化所述高頻子頻段信號(hào)的優(yōu)化器； 用于執(zhí)行所述低頻子頻段信號(hào)的頻譜分解分析和功率譜計(jì)算的電路； 用于對(duì)所述子頻段信號(hào)的每ー個(gè)生成ー個(gè)或多個(gè)備選觸覺(jué)事件的電路；以及用于當(dāng)檢測(cè)到來(lái)自不同的子頻段信號(hào)的兩個(gè)或多個(gè)備選觸覺(jué)事件彼此重疊時(shí)，根據(jù)頻率的子頻段，對(duì)備選觸覺(jué)事件設(shè)定優(yōu)先級(jí)的電路，其中由致動(dòng)器輸出設(shè)定了優(yōu)先級(jí)的備選觸覺(jué)事件。
15.根據(jù)權(quán)利要求14的設(shè)備，其中用于分離的所述電路還包括用于計(jì)算所述音頻信號(hào)的頻譜分解的裝置。
16.根據(jù)權(quán)利要求14的設(shè)備，其中用于分段的所述電路還包括 用于指定事件之間的最小分隔時(shí)間的裝置。
17.根據(jù)權(quán)利要求14的設(shè)備，其中用于分段的所述電路還包括 用于在第一觸覺(jué)事件之前指定最小的致動(dòng)器啟動(dòng)時(shí)間的裝置。
18.根據(jù)權(quán)利要求14的設(shè)備，其中用于分段的所述電路還包括 用于指定多個(gè)觸覺(jué)事件中的每個(gè)觸覺(jué)事件的最小持續(xù)時(shí)間的裝置。
19.根據(jù)權(quán)利要求14的設(shè)備，其中用于分配的所述電路還包括 指定事件之間的最小分隔時(shí)間的裝置。
20.根據(jù)權(quán)利要求14的設(shè)備，其中在所述子頻段信號(hào)內(nèi)的事件對(duì)應(yīng)于由用戶規(guī)定的每秒鐘的觸覺(jué)效果的平均數(shù)。
21.根據(jù)權(quán)利要求14的設(shè)備，其中在所述子頻段信號(hào)內(nèi)的事件具有小于最大混疊目標(biāo)值的混疊值。
22.根據(jù)權(quán)利要求14的設(shè)備，還包括 在指定的時(shí)間段上計(jì)算用于ー個(gè)或多個(gè)子頻段信號(hào)的參數(shù)的平均值的裝置。
23.根據(jù)權(quán)利要求22的設(shè)備，其中至少ー個(gè)子頻段信號(hào)的所述分段還包括 如果所述子頻段信號(hào)的參數(shù)的短期值超過(guò)用于該參數(shù)的平均值的多倍，則指定事件的裝置。
24.根據(jù)權(quán)利要求14的設(shè)備，還包括 用于計(jì)算所述音頻信號(hào)的頻譜分解的功率譜的電路； 用于至少部分地根據(jù)所述功率譜選擇頻率的電路；以及 用于至少部分地根據(jù)所述選擇的頻率識(shí)別事件的電路。
25.ー種用于處理數(shù)字音頻信號(hào)的設(shè)備，包括 用于將所述音頻信號(hào)分成離多個(gè)子頻段信號(hào)的裝置，其中該子頻段信號(hào)包括高頻子頻段信號(hào)、中頻子頻段信號(hào)和低頻子頻段信號(hào)； 用于將至少ー個(gè)所述子頻段信號(hào)分段成多個(gè)事件的裝置； 用于將觸覺(jué)效果分配給至少一個(gè)所述事件以產(chǎn)生由致動(dòng)器輸出的觸覺(jué)事件的裝置； 用于通過(guò)基于混疊量調(diào)整ー個(gè)或多個(gè)限幅參數(shù)，優(yōu)化所述高頻子頻段信號(hào)的裝置； 用于執(zhí)行所述低頻子頻段信號(hào)的頻譜分解分析和功率譜計(jì)算的裝置；用于對(duì)所述子頻段信號(hào)的每ー個(gè)生成ー個(gè)或多個(gè)備選觸覺(jué)事件的裝置；以及用于當(dāng)檢測(cè)到來(lái)自不同的子頻段信號(hào)的兩個(gè)或多個(gè)備選觸覺(jué)事件彼此重疊時(shí)，根據(jù)頻率的子頻段，對(duì)備選觸覺(jué)事件設(shè)定優(yōu)先級(jí)的裝置，其中由致動(dòng)器輸出設(shè)定了優(yōu)先級(jí)的備選觸覺(jué)事件。全文摘要
所描述的系統(tǒng)和方法涉及接收數(shù)字音頻文件并自動(dòng)地將該文件轉(zhuǎn)換成觸覺(jué)事件。在一實(shí)施例中，所接收的文件是采樣的數(shù)字音頻文件或數(shù)字化的模擬音頻文件。該系統(tǒng)和方法將音頻信號(hào)分離成多個(gè)子頻段信號(hào)，并且將該子頻段信號(hào)分段成多個(gè)事件。然后，該系統(tǒng)和方法將觸覺(jué)效果分配給所述事件，以產(chǎn)生由致動(dòng)器輸出的觸覺(jué)事件信號(hào)。與致動(dòng)器的物理參數(shù)和音頻信號(hào)中的頻率特性一起，該系統(tǒng)和方法利用限幅和最小時(shí)間分隔參數(shù)，以分析并提供與該音頻相對(duì)應(yīng)的不連續(xù)的觸覺(jué)事件。
文檔編號(hào)G10L21/06GK102736732SQ20121008239
公開(kāi)日2012年10月17日 申請(qǐng)日期2007年4月12日 優(yōu)先權(quán)日2006年4月13日
發(fā)明者丹尼·A·格蘭特, 克里斯托弗·J·烏爾里希, 斯蒂芬·D·蘭克, 穆尼卜·M·貝吉爾卡爾哲奧盧 申請(qǐng)人:伊默生公司