專利名稱：媒體傳輸流中的觸覺效應數(shù)據(jù)的同步的制作方法
技術領域：
在此描述的主題涉及使觸覺效應與媒體文件中的音頻和/或視頻內(nèi)容數(shù)據(jù)同步。
背景技術：
為改進用戶和機器間的接口，近年來，將觸覺效應并入接口連同音頻和/或視頻 媒體內(nèi)已經(jīng)變得越來越普遍。諸如振動的觸覺效應能由用戶感受到，以及通?？赡芘c事件 觸發(fā)有關，諸如按壓設備上的按鍵或播放通知來電的振鈴音或在手機上接收到文本消息等 等。通常，媒體重放能與振動互補。然而，當播放觸覺信號和媒體信號超過一段時間時，實 現(xiàn)觸覺效應的常規(guī)方法具有一些問題。一個這樣的問題是需要使觸覺信號和諸如視頻和/或音頻信號的其他媒體信號 之間的同步重放。通常，音頻引擎、視頻引擎和觸覺引擎在不同時鐘上操作。在觸覺、視頻 和/或音頻信號的重放期間，通常沒有內(nèi)置同步機制。盡管例如在重放開始時，觸覺信號和 媒體信號可以在彼此的幾毫秒內(nèi)開始，并且同樣充分地同步，但在相當短的時間段中，這些 信號通常會偏離同步。另一個這樣的問題是可能難以隨機地接入具有媒體和觸覺信號兩者的媒體傳輸 流中的點。換句話說，當用戶在任意點開始媒體傳輸流的一部分的重放，而不接入在媒體傳 輸流中的該點前可能出現(xiàn)的任何數(shù)據(jù)時，難以使觸覺信號與媒體信號同步。同樣地，所需要的是一種使觸覺效應與其他媒體(例如，音頻和/或視頻)同步的 解決方案，該方案能在或從包含觸覺和媒體信息兩者的媒體傳輸流中的任何點操作。

發(fā)明內(nèi)容
識別在媒體文件的一系列幀中的觸覺信息，以及根據(jù)嵌入媒體文件前、媒體文件 內(nèi)或附接媒體文件上的標簽中的信息來確定與其相對應的時間戳?；谠跇撕灥囊粠蚨?幀中的信息，使觸覺效應信息與媒體文件同步，由此，致動器以與媒體文件的相應的音頻和 /或視頻內(nèi)容同步的方式來輸出在標簽中定義的觸覺效應。從下面闡述的詳細描述、附圖和權利要求，附加特征和益處將變得顯而易見。


并入該說明書中并構成該說明書的一部分的附示了一個或多個實施例，并且 與詳細的描述一起用來解釋實施例的原理和實現(xiàn)。在圖中圖1是圖示根據(jù)實施例的用于編碼、傳送和解碼包括觸覺信息的媒體傳輸流的系統(tǒng)的框圖2是圖示根據(jù)實施例的用于從媒體傳輸流識別媒體和觸覺組件的系統(tǒng)的框圖；圖3是圖示根據(jù)實施例的用于使觸覺組件與其他媒體組件同步的設備的框圖；圖4是圖示根據(jù)實施例的使視頻、音頻和觸覺信號的重放同步的方法的時序圖5是圖示根據(jù)實施例的解析成連續(xù)幀的觸覺信號的圖；圖6是圖示根據(jù)實施例的包含觸覺信息的觸覺幀的框圖；圖7是圖示根據(jù)實施例的引起觸覺效應的波形的圖；圖8是圖示根據(jù)實施例的用于使觸覺效應與媒體組件同步的過程的流程圖；圖9是圖示根據(jù)實施例的用于與該系統(tǒng)一起使用的文件的標記方案的圖；以及圖10是圖示根據(jù)實施例的系統(tǒng)的框圖的圖。
具體實施例方式在用于傳送包括觸覺信息的媒體傳輸流的方法、系統(tǒng)和裝置的背景下，在此描述 了各實施例。本領域的普通技術人員將意識到下面的描述僅是說明性的，并不意在以任何 方式限制。受益于本公開的這樣的技術人員將容易想到其他實施例。現(xiàn)在，將詳細地參考 如在附圖中圖示的示例實施例的實現(xiàn)。在整個附圖和下面的描述中，將使用相同的參考指 示符來表示相同或類似的項目。為了清楚，沒有示出和描述在此所述的實現(xiàn)的所有例行特征。當然，將理解到，在 任何這樣的實際實現(xiàn)的開發(fā)中，必須做出許多實現(xiàn)特定的決定，以便實現(xiàn)開發(fā)者的特定目 標，諸如遵守應用和商業(yè)相關約束，并且這些特定目標將因?qū)崿F(xiàn)方法不同和開發(fā)者不同而 改變。此外，將理解到，這樣的開發(fā)努力可能復雜且耗時，但對受益于本公開的本領域的普 通技術人員來說，不過是例行工程任務。根據(jù)該公開，可以使用各種類型的操作系統(tǒng)、計算平臺、計算機程序和/或通用機 來實現(xiàn)在此描述的組件、過程步驟和/或數(shù)據(jù)結(jié)構。另外，本領域的普通技術人員將意識 至IJ，在不背離在此公開的本發(fā)明概念的范圍和精神的情況下，也可以使用不太通用性質(zhì)的 設備，諸如硬布線設備、現(xiàn)場可編程門陣列(FPGAs)、專用集成電路(ASICs)等等。應當理 解，短語“實施例”包含不止一個實施例，并且因此不僅限于一個實施例。在由計算機或機器 實現(xiàn)包括一系列過程步驟的方法并且那些過程步驟能存儲為可由機器讀取的一系列指令 的情況下，可以將它們存儲在有形介質(zhì)上，諸如計算機存儲設備(例如，ROM(只讀存儲器)、 PROM(可編程只讀存儲器)、EEPR0M(電可擦可編程只讀存儲器)、閃存、跳線驅(qū)動等等)、磁 存儲介質(zhì)(例如，磁帶、磁盤驅(qū)動等等)、光存儲介質(zhì)(例如，⑶-R0M、DVD-R0M、紙卡、紙帶等 等)和其他類型的程序存儲器。在實施例中，該系統(tǒng)針對使觸覺效應軌與包含在多軌媒體傳輸流中的其他媒體軌同步，以生成同步的多媒體效應。在實施例中，該系統(tǒng)利用在媒體文件的頭部中的同步數(shù)據(jù) 來確保使觸覺效應與文件中的媒體內(nèi)容同步。將單獨地描述這些實施例以確保清楚，但應 當注意到，該系統(tǒng)及其組件對所有實施例是公用的，并且所描述的說明書的細節(jié)適用于所 有實施例。通常，實施例針對在終端單元或設備處接收具有觸覺數(shù)據(jù)的媒體數(shù)據(jù)的多軌數(shù)據(jù) 流，由此識別流中的一系列幀中的觸覺信息的系統(tǒng)。另外，根據(jù)嵌入媒體傳輸流中的主時間 碼信號，確定與其相對應的時間戳。向包含觸覺信息的每個媒體傳輸流分配時間戳，使得它 將用于響應于該時間戳而在適當時間激活致動器，以根據(jù)該觸覺信息生成觸覺效應。時間 戳允許使觸覺幀與媒體流中的音頻和/或視頻數(shù)據(jù)同步，使得相對于媒體數(shù)據(jù)在適當?shù)臅r 間感到觸覺效應。
圖1是圖示根據(jù)實施例的用于編碼、傳送和解碼流線化媒體傳輸文件的系統(tǒng)100 的框圖。系統(tǒng)100包括發(fā)射機102、接收機104和通信介質(zhì)106。在示例中，發(fā)射機102是移 動電話、個人數(shù)字助理(“PDA”)、個人計算機(“PC”)、服務器、家庭娛樂中心、數(shù)碼相機或 能夠在有線或無線陸地或蜂窩網(wǎng)絡上傳送媒體文件的任何其他數(shù)字處理設備。應當注意， 在實施例中，媒體流存儲在有形媒介上，諸如DVD、CD、CDR0M、硬驅(qū)動、閃速驅(qū)動、RAM或其他 存儲設備，由此，通過接收機104從所存儲的信息中檢索數(shù)據(jù)。媒體幀包括但不限于視頻、音頻和/或觸覺幀。還應當注意，視頻和/或音頻幀可 以包括在媒體流中，并不一定限于嵌入媒體流中的兩種類型的內(nèi)容。如下所述，在實施例 中，系統(tǒng)能夠利用寫在音頻文件(例如MP3)的標簽中的觸覺事件數(shù)據(jù)，由此終端單元能夠 在讀取所接收到的音頻文件的標簽后輸出觸覺反饋。在另一實施例中，系統(tǒng)能夠利用寫在 音頻和視頻文件(例如MP4)的標簽中的觸覺事件數(shù)據(jù)，由此終端單元能夠在讀取所接收到 的文件的標簽后輸出觸覺反饋。在實施例中，如圖1中所示，將音頻、視頻和觸覺數(shù)據(jù)單獨地從發(fā)射機102流送到 接收機104。如圖1所示，在實施例中，發(fā)射機102包括編碼器116、視頻塊110、音頻塊112 和觸覺塊114。在一實施例中，發(fā)射機102不包括視頻塊110，而是只有音頻塊112和觸覺塊 114。視頻塊110源自一系列視頻幀，并且音頻塊112源自一系列音頻幀。觸覺塊114源自 一系列觸覺幀。在一實施例中，視頻和/或音頻塊源自一個位置，而觸覺幀源自另一位置。 在另一實施例中，所有音頻/視頻和觸覺幀源自一個位置。
在實施例中，編碼器116例如能夠從視頻塊110生成視頻幀，從音頻塊112生成 音頻幀，以及從觸覺塊114生成觸覺幀，并且根據(jù)例如諸如運動圖像專家組壓縮標準版本 4( “MPEG-4”)、MP3(僅音頻)等等的市售媒體傳輸協(xié)議將它們集成到媒體傳輸流中。換句 話說，視頻幀和/或音頻幀以及觸覺幀被編碼或封裝到媒體傳輸流中，并且隨后在通信介 質(zhì)106上將媒體傳輸流傳送到用戶指定的目的地或終端單元。盡管對所有塊示出了一個編 碼器，但是預期將每個塊或者一個或多個塊耦合到各自的編碼器。應當注意，將定時的觸覺 信息集成到各個幀中可以適用于任何媒體傳輸流格式，并且不限于特定文件類型、協(xié)議、軟 件環(huán)境或媒體層硬件環(huán)境。媒體傳輸流是從發(fā)射機102傳送的并且由接收機104連續(xù)接收的一系列數(shù)據(jù)分 組，由此數(shù)據(jù)分組不一定存儲在接收端中。該示例是來自遠程服務器的視頻和/或音頻的 典型互聯(lián)網(wǎng)流送。在另一實施例中，壓縮或加密由媒體傳輸流傳輸?shù)挠|覺信號以增強數(shù)據(jù) 安全。通信介質(zhì)106可以是線路(有線)通信介質(zhì)、無線通信介質(zhì)或混合有線和無線通 信介質(zhì)。來自視頻塊110的視頻幀和來自音頻塊112的音頻幀分別形成視頻組件和音頻組 件，或共同形成媒體傳輸流的媒體組件。觸覺幀形成媒體傳輸流的觸覺組件。接收機104能夠在通信介質(zhì)106上接收媒體傳輸流。在示例中，接收機104或終 端單元是移動電話、個人數(shù)字助理(“PDA”)、個人計算機(“PC”)、服務器、麥克風、家庭娛 樂中心，或能夠在有線或無線網(wǎng)絡上接收媒體文件和輸出觸覺反饋的任何其他數(shù)字處理設 備。在實施例中，接收機104包括一個或多個解碼器126、視頻塊120、音頻塊122和觸覺塊 124。在一實施例中，視頻塊120、音頻塊122和觸覺塊124用于分別存儲視頻幀、音頻幀和 觸覺幀。再次地，在一實施例中，接收機104不包括視頻塊120，而僅包括音頻塊122和觸覺塊 124。在接收到媒體傳輸流后，接收機104解析來自媒體傳輸流的視頻幀、音頻幀和觸 覺幀，并將視頻幀發(fā)送到視頻塊120，將音頻幀發(fā)送到音頻塊122，以及將觸覺幀發(fā)送到觸 覺塊124。應當注意，視頻塊110中的視頻幀、音頻塊112中的音頻幀、以及觸覺塊114中的 觸覺幀基本上包含分別與視頻塊120中的視頻幀、音頻塊122中的音頻幀、以及觸覺塊124 中的觸覺幀類似的信息。應當進一步注意，視頻塊110中的視頻幀、音頻塊112中的音頻幀、 以及觸覺塊114中的觸覺幀在適當?shù)那闆r下可以具有與相應的視頻塊120中的視頻幀、音 頻塊122中的音頻幀，以及觸覺塊124中的觸覺幀不同的數(shù)據(jù)格式，盡管它們可以包含類似 的信息。應當注意，盡管在圖1中示出了一個解碼器，但預期每個塊可以耦合到它自己的各 個解碼器或與另一塊共享解碼器。應當注意，將定時的觸覺信息與各種幀集成可以適用于 任何媒體傳輸流格式并且不限于特定文件類型、協(xié)議、軟件環(huán) 境或媒體播放硬件環(huán)境。還應 當注意，發(fā)射機102和接收機104可以是都包含用于發(fā)射和接收的類似能力的類似設備。圖2是圖示根據(jù)實施例的用于識別媒體傳輸流的媒體組件和觸覺組件的接收系 統(tǒng)200的一部分的框圖。系統(tǒng)200包括媒體播放器202、媒體同步(sync)層204和數(shù)據(jù)庫 或存儲貯存器220?？偩€230用于在媒體播放器202和數(shù)據(jù)庫220之間傳輸數(shù)據(jù)，并且總線 232用于在媒體播放器202和媒體同步層204之間傳遞信息。媒體同步層204經(jīng)由各個總 線234-238進一步耦合到視頻編解碼器206和/或音頻編解碼器208以及觸覺單元210。 視頻編解碼器206和音頻編解碼器208可以是用于壓縮和解壓縮數(shù)字信息的軟件組件、硬 件設備或硬件和軟件組件的組合。在一個實施例中，設備200是終端單元本身(例如移動 電話)。在另一實施例中，設備200存儲在遠程服務器或其他組件上，由此設備200充當提 供媒體流的源和終端單元之間的中間節(jié)點。在實施例中，包括視頻和/或音頻以及觸覺信息以及用于整個時間線的主時間碼 的幀集合被傳送到系統(tǒng)200，由此數(shù)據(jù)流至少臨時存儲或緩存在存儲器220中。媒體播放 器202從存儲器220接收所存儲的數(shù)據(jù)，并提取在媒體傳輸流中傳送的音頻和/或視頻數(shù) 據(jù)和觸覺數(shù)據(jù)或幀。媒體播放器202可以被編程以處理特定媒體傳輸流格式或多種預定義 的流和擴展，諸如MP3、MP4、AAC、Ogg Vorbis、asx等等。在由媒體播放器202提取了媒體數(shù)據(jù)和觸覺數(shù)據(jù)后，媒體同步層204接收內(nèi)容，并 通過在由主時間碼或在傳輸媒體流中接收到的定時表指定的時間將每個媒體類型的幀遞 送到適當?shù)木幗獯a器，使所提取的媒體內(nèi)容同步。媒體同步層204讀取每個觸覺幀的時間 戳或初始時間。這些時間戳與主時間碼進行比較，并用于將觸覺效應定時和定義發(fā)送到觸 覺單元210，以在適當?shù)臅r間激活致動器(或多個致動器)。每個觸覺幀被分配有應當由媒 體播放器根據(jù)主時間碼510在適當時間播放相關聯(lián)觸覺效應(多個)的初始時間或時間戳 520。在一實施例中，時間戳520沒有被分配給不包含觸覺信息的幀。例如，數(shù)據(jù)(基)省 略不包含觸覺信息的幀。在一實施例中，基于其他媒體組件，根據(jù)預定義的算法來生成與觸 覺信息相關聯(lián)的時間戳。在另一實施例中，鑒于其他媒體組件，根據(jù)來自用戶的組合輸入和 預定義算法可以生成與觸覺信息相關聯(lián)的時間戳。圖3是圖示根據(jù)實施例的系統(tǒng)200的另一部分的框圖。圖3中所示的設備300優(yōu) 選是終端單元104中的媒體同步層202的一部分，并且確保與時間戳觸覺組件相關聯(lián)的物 理觸覺效應對應于媒體組件。在一實施例中，設備300與圖2中的部分200分開。在一實施例中，設備300是基于硬件和基于軟件的。在一實施例中，設備300包括應用編程接口(“API”)306、內(nèi)核308和觸覺電路314。內(nèi)核308示為進一步包括振動發(fā)生器(“VG”)312、 觸覺重放引擎(“HPE”)310。盡管振動發(fā)生器312和觸覺重放引擎310示為內(nèi)核308的一 部分，但是預期振動發(fā)生器312和觸覺重放引擎310是與內(nèi)核308分開的模塊。另外，部分 300包括耦合到觸覺電路314的一個或多個致動器。預期任何類型的致動器346可以用于 該系統(tǒng)中。應當注意，盡管設備300示為包括以上組件，但是附加和/或替代組件是可預期 的。API 306向內(nèi)核30825傳送最終用來以與在幀中定義的觸覺信息一致的方式來操 作致動器346的低級別命令。在實施例中，HPE 310經(jīng)由總線358、經(jīng)由API 306，根據(jù)從觸 覺單元210接收到的數(shù)據(jù)，在觸覺事件中調(diào)度。VG 312根據(jù)從API 306接收到的觸覺信息 使觸覺效應同步，并且將用來操作致動器346的控制信號提供給觸覺電路314。內(nèi)核308經(jīng) 由連接360進一步耦合到觸覺電路314。在示例中，觸覺電路314是配置成經(jīng)由連接362來 驅(qū)動致動器346的放大器。觸覺電路314可以是模擬或數(shù)字電子電路和/或可以是基于軟 件的。API 306的功能是相對于相應的音頻和/或視頻數(shù)據(jù)在正確的時間啟動觸覺效 應。這是由于每個觸覺幀是不依賴于其前或其后的其他觸覺幀的自包含觸覺效應。具有自 包含觸覺幀的優(yōu)點是當使用設備300時允許用戶隨機地接入觸覺幀或媒體幀，并確保系統(tǒng) 將仍然能夠生成包括圖像、聲音和觸覺效應的同步的多媒體輸出。這在下文更詳細地進行 討論。圖4是圖示根據(jù)實施例的使視頻、音頻和觸覺信號的重放同步的方法的時序圖 400。時序圖400圖示了嵌入媒體傳輸流中的主時間碼402、媒體傳輸流的視頻組件404、媒 體傳輸流的音頻組件406和媒體傳輸流的觸覺組件408。主時間碼402嵌入媒體傳輸流中 并可以由媒體播放器從媒體傳輸流中提取。在實施例中，主時間碼402是具有一系列時間 戳的時間線，諸如、，ti; t2等等，該時間線與音頻和/或視頻數(shù)據(jù)無關。然而，預期媒體文 件中的音頻和/或視頻組件包括可以用作主時間碼402的時間戳。圖4中的視頻組件404包括多個順序視頻幀，諸如幀40V. . . nV。音頻組件406包 括多個順序音頻幀，諸如幀40A、42A. . . nA。觸覺組件408也包括多個順序觸覺幀，諸如幀 40H、42H、44H、46H. . . nH。應當注意，“η”是整數(shù)值。如圖4中所示，使視頻組件404、音頻組 件406和觸覺組件408均與主時間碼402同步。特別地，40V的視頻幀從時間、持續(xù)到t4。 比較起來，音頻幀40A和42A出現(xiàn)在從時間戳tQ到t4的流中。另外，觸覺幀40H、42H、44H 和46H出現(xiàn)在從時間戳tQ到t4的流中。盡管在視頻、音頻和觸覺幀之間幀格式可能不同，但是將根據(jù)公用協(xié)議來配置組 件內(nèi)的幀。在一個實施例中，觸覺幀40H基本上與觸覺幀42H有相同的數(shù)據(jù)大小。在另一 實施例中，由40H和42H覆蓋的時間間隔分別是例如200ms，但它們的物理存儲范圍可能不 同。預期除200ms外的其他時間間隔也是預期的。應當注意，在實施例中，與物理數(shù)據(jù)容量 相比，觸覺幀大小由時間長度來確定。應當注意，盡管音頻幀406示為具有相等長度，但音 頻幀可以具有不同長度。同樣也適用于視頻和觸覺幀。返回參考圖4，在時間戳tQ處，觸覺幀40H、音頻幀40A和視頻幀40V基本上同時開 始重放。盡管觸覺幀40H在時間戳、完成播放，但在觸覺幀40H中定義的觸覺效應可以被配置成在時間ti后繼續(xù)播放。例如，幀40H中的觸覺效應可以是時間長于時間、和、間 的時間的振動。如果這種情況發(fā)生，則一個或多個致動器繼續(xù)輸出先前的觸覺效應，同時以 重疊方式輸出后面的觸覺效應。在時間戳、處，觸覺幀42H開始輸出。應當注意，播放觸覺幀42H的初始時間或 時間戳對應于從主時間碼確定的時間。將時間戳分配給觸覺幀允許觸覺幀(例如幀42H) 開始重放，而與諸如幀40H的在前觸覺幀完成播放的時間無關。因此，如果在時間戳、之 前觸覺幀40H已經(jīng)完成播放，則將不播放觸覺效應，直到在時間戳、播放觸覺幀42H為止。 在時間戳t2，將播放觸覺幀44H和音頻幀42A。在時間戳t3處，將輸出觸覺幀46H，盡管已 經(jīng)播放視頻幀40V和音頻幀42A。將時間戳編碼到內(nèi)容數(shù)據(jù)404-408使得用戶能夠在時間線中的任何點接入特定 一條內(nèi)容，并且仍然經(jīng)歷與所選擇的內(nèi)容相關聯(lián)的同步觸覺效應。因此，在用戶選擇音頻幀 nA后，系統(tǒng)將自動地播放與該音頻幀nA相對應的關聯(lián)觸覺效應nH。在用戶轉(zhuǎn)發(fā)文件以收 聽特定音頻曲調(diào)(例如大鼓)或查看特定視頻圖像(例如爆炸)的情形下，這將是有利的， 由此系統(tǒng)播放分配給該特定一條內(nèi)容幀的觸覺效應(例如搖動)。在實施例中，如果用戶要快進到圖4中的時間&，則系統(tǒng)將等待直到播放下一觸覺 幀ηΗ之前的時間tH為止。在那之前，在那一實施例中將不播放觸覺效應。類似地，播放器 將等待直到在播放下一音頻幀nA之前的、為止，在這一實例中，tA等同于tH。類似地，播 放器將等待直到tv為止，以播放下一視頻幀nV。
在實施例中，設備允許媒體同步層204指定在確切的時間tn開始重放，在這種情 況下，媒體同步層204向觸覺單元210傳送觸覺幀(n-l)H并指定tn-(t_l)H的時間偏移。 然后，當嘗試重放幀(n-l)H時，觸覺單元210將該時間偏移傳送給API 306。預期該系統(tǒng)可 以被配置成通過將設置的幀數(shù)存儲在緩沖器中來播放所選擇的幀的一個或多個正好在前 觸覺幀(或其一部分)，由此用戶能夠在確切的重放點體驗觸覺效應或觸覺效應的一部分。在實施例中，觸覺幀被配置成包含在此定義的一個或多個觸覺效應。在觸覺幀中 提供定義和調(diào)度這些觸覺效應的參數(shù)，由此系統(tǒng)解譯觸覺參數(shù)并指示致動器從所定義的參 數(shù)來播放觸覺效應。例如，所定義的參數(shù)能夠使播放器偏移幀內(nèi)待重放的至少一個觸覺效 應。換句話說，觸覺效應之間的時間偏移相對于定義它們的參數(shù)的特定幀的開頭，而不是文 件或媒體傳輸流的開頭。調(diào)度幀內(nèi)的各個效應是播放聲音、圖像和觸覺效應的設備的責任。 例如，媒體播放器的類型、網(wǎng)絡連接、致動器的類型和/或設備的大小可以基于終端設備的 細節(jié)來規(guī)定應當如何調(diào)度觸覺效應。由于設備的同步層調(diào)度視頻、音頻和觸覺幀的重放，所 以可以在每個幀的開始而不是整個文件或流的開始來校正不同媒體之間的任何偏差。圖5是圖示根據(jù)實施例的在一系列連續(xù)幀上解析的觸覺效應的圖500。圖500包 括主時間碼510和與主時間碼510同步的觸覺組件512。觸覺組件512進一步包括多個觸 覺幀502，504，506等等。每個觸覺幀表示和占用固定長度的時間，并且封裝與該固定長度 的時間相關聯(lián)的多個觸覺效應。由主時間碼510來確定諸如、和、的時間線和時間戳。在實施例中，由設備使用主時間碼510來協(xié)調(diào)對文件所接收到的所有幀或數(shù)據(jù)分 組的接收和重放。在實施例中，在用戶的正常操作期間，可以選擇和固定幀的時間長度。在 實施例中，根據(jù)數(shù)據(jù)的性質(zhì)和用戶的偏好來使用100至300ms(毫秒)的幀長度的范圍。在 一些具體操作中，可以使用Ims幀長度來滿足一些極其嚴格的同步要求。應當注意，與Ims幀長度相關聯(lián)的成本可能很高，因為它要求明顯增加的帶寬使用。在實施例中，在文件中設 置和嵌入主時間碼的幀長度，并且因此用戶或設備300不能改變該幀長度。應當注意，幀長 度可以預期并且不限于上述的那些值。通常，更長的幀長度意味著更少的幀需要與媒體效應同步，這暗示更大可能使觸覺效應不與音頻和/或視頻同步。另一方面，盡管更短的幀長度提供與音頻和/或視頻更 好和更嚴格同步，但要求更多的處理能力和更高的網(wǎng)絡帶寬來處理觸覺和媒體效應之間的 增加的同步過程。在實施例中，觸覺幀大小可以是8，16，25，32，64，128或256字節(jié)，取決于觸覺效應 的復雜性。例如，一些觸覺幀分別包括振動聲和/或與特定聲音有關的振動-視頻數(shù)據(jù)和/ 或視頻幀。在一實施例中，觸覺幀包含再現(xiàn)至少一個觸覺效應所需要的信息和指示觸覺效 應的起始時間的時間戳。應當注意，如果觸覺信息未出現(xiàn)在幀中，則可以省略觸覺幀。圖6是圖示根據(jù)實施例的包含觸覺信息的觸覺幀600的框圖。在實施例中，使用 觸覺信息來定義將在幀內(nèi)播放的每個觸覺效應。觸覺信息包括在幀長度的持續(xù)時間期間實 現(xiàn)觸覺效應或一系列觸覺效應所需要的各種參數(shù)，諸如強度/幅度、持續(xù)時間、周期性、開 始-延遲、攻擊強度、攻擊定時、衰減強度、衰減定時等等。持續(xù)時間參數(shù)用于指定致動器將 播放觸覺效應多長時間。觸覺效應的開始_延遲參數(shù)指示從幀或時間戳開始觸覺效應將等 待多久才能播放。在示例中，觸覺效應可以是周期性的，并且周期性參數(shù)定義了這樣的周期 性。在實施例中，觸覺效應信息使用非參數(shù)編碼。在實施例中，這樣的編碼可以包括一系列 8位致動器控制值，以應用于在每8位值5ms的持續(xù)時間中控制施加在致動器引線兩端的瞬 時電壓的脈寬調(diào)制器。如果每個觸覺幀表示200ms的觸覺重放時間，那么每個觸覺幀將包 含正好40個字節(jié)的數(shù)據(jù)。觸覺信息也可以包括包絡信息，它用于通過設置用于一些觸覺效 應的邊界來控制觸覺效應。圖6中所示的觸覺幀600是觸覺幀的示例性布局，它包含觸覺效應定義部610和 一系列調(diào)用觸覺效應指令612-616。在實施例中，觸覺效應定義部610包括控制信息，諸如 持續(xù)時間參數(shù)、停止時間、起始時間和起始-延遲參數(shù)。每個調(diào)用觸覺效應612-616可以包 含有關幅度、攻擊強度、衰減強度和將播放的特定類型的觸覺效應的信息。因此，每個觸覺 幀600提供與分配的時間戳相對應的起始和停止時間，并且還保持有關將由致動器輸出什 么類型的觸覺效應(多個)的信息。應當注意，觸覺幀能夠同時啟動一個或多個觸覺效應。 應當進一步注意，在觸覺幀的幀長度或時間間隔外，觸覺效應還可以繼續(xù)播放。在實施例 中，觸覺效應定義部610可以通過指示控制觸覺效應開始進入幀中多遠的偏移參數(shù)來指定 將播放觸覺效應的時間偏移(例如，時間戳后，開始振動5ms)。圖7是圖示根據(jù)實施例的與觸覺效應相關聯(lián)的波形701的圖700。特別地，χ軸 表示時間，而y軸表示致動器輸出的力的幅度或強度。波形701使用幾種不同的頻率來使 用戶感覺到觸覺感覺。波形701的觸覺效應持續(xù)如702所示的持續(xù)時間，在此期間，存在攻 擊時間704、正常時間708和衰減時間706。在一個實施例中，持續(xù)時間702等于或小于觸 覺幀的時間間隔。在另一實施例中，持續(xù)時間702長于觸覺幀的時間間隔。開始時的觸覺 效應的強度由“攻擊級”709指定。從正常時間708開始，觸覺效應的強度改變成“幅度”級 710，并且在衰減時間706結(jié)束時，它變成衰減級712。替代地，還可以從0幅度觸覺效應測 量衰減級712。應當注意，圖中所示的波形是示例，并且可以預期幾種不同類型的已知波形。
頻率周期或周期類型可以是恒力、方波、三角波、正弦波、鋸齒波、倒鋸齒波或上述 波形的任何組合。應當注意，不同頻率周期提供不同的觸覺反饋。例如，波形701可以在 0. IHertz至IOOOHertz的范圍內(nèi)，其中不同頻率提供不同的觸覺感覺。操作中，根據(jù)它的攻擊級709、攻擊時間704、衰減級712和衰減時間706來定義由 波形701引起的觸覺效應。當?shù)搅藞?zhí)行波形701的時間時，執(zhí)行過程指定基本強度或觸覺 效應的“幅度”、它的持續(xù)時間，是否周期性地播放，并且如果是，則多久將重新開始。定義觸 覺效應的信息出現(xiàn)在每個觸覺幀中，并且如在實施例1-3中，當觸覺和內(nèi)容數(shù)據(jù)被單獨流 送時，被順序地下載到播放設備。在下述另一實施例中，將觸覺效應存儲在內(nèi)容文件的文件 頭部的幀中。應當注意，波形701僅是示例，并且本領域的普通技術人員將易于理解到可以 以多種方式來定義這樣的觸覺效應。
對圖1-3中所述的實施例，該系統(tǒng)利用各種處理步驟來使觸覺幀的輸入流與內(nèi)容 幀同步。在此描述的步驟可以嵌入機器或計算機可執(zhí)行指令中。這些指令進而可以用于使 通過這些指令編程的通用或?qū)Ｓ孟到y(tǒng)執(zhí)行在此描述的各步驟。替代地，可以由包含用于執(zhí) 行步驟的硬布線邏輯的特定硬件組件，或由編程的計算機組件和定制的硬件組件的任何組 合來執(zhí)行在此描述的各步驟。盡管參考無線通信網(wǎng)絡描述了實施例，但是在此描述的方法 和裝置同樣適用于包括有線的其他網(wǎng)絡基礎設施或其他數(shù)據(jù)通信環(huán)境。圖8是圖示根據(jù)一實施例的用于使觸覺效應與其他媒體組件同步的過程的流程 圖。在框802，該過程識別在媒體傳輸流中的至少一個觸覺幀中的觸覺信息。在一實施例 中，該系統(tǒng)識別接收時的一系列視頻、音頻和觸覺幀。在一實施例中，這由媒體播放器來執(zhí) 行。在框804，該系統(tǒng)根據(jù)主時間碼來確定時間戳以分配給幀。如上所述，在一實施例 中，主時間碼可以嵌入媒體傳輸流中。在一實施例中，與視頻和/或音頻流相關聯(lián)的時間碼 可以用作主時間碼。如上所述，時間戳是系統(tǒng)用來觸發(fā)執(zhí)行在觸覺幀中定義的觸覺效應的 時間點。在框806，系統(tǒng)將時間戳分配給觸覺幀，其中，時間戳指示何時激活一個或多個致 動器以根據(jù)存儲在觸覺幀中的觸覺信息來生成觸覺效應。優(yōu)選的是，使分配給觸覺幀的時 間戳與相應的音頻和/或視頻幀同步和對齊。而且，如上所述，系統(tǒng)能夠分配子時間戳，它 們是單一觸覺幀內(nèi)的時間戳的偏移。在一實施例中，在將觸覺效應設計成媒體文件時，執(zhí)行 框 804-806。在框808，該過程解譯在每個觸覺幀中存儲的觸覺效應信息，以確定對特定幀要輸 出的觸覺效應的類型。在一個實施例中，系統(tǒng)響應于視頻和/或音頻信息來編碼觸覺效應 信息。在另一實施例中，該過程響應于幾個預定義算法中的一個來編碼觸覺效應信息。應 當注意，每個觸覺幀可以包含在特定觸覺幀內(nèi)的不同時間開始的多個觸覺效應。應當進一 步注意，系統(tǒng)能夠根據(jù)觸覺效應信息來激活一個或多個致動器，并且還根據(jù)它的關聯(lián)的時 間戳來保持觸覺效應。如上所述，系統(tǒng)被配置成接收媒體數(shù)據(jù)和觸覺數(shù)據(jù)的多個流，由此系統(tǒng)將時間戳 分配給觸覺幀并且使觸覺幀與即時數(shù)據(jù)流同步以產(chǎn)生連帶性(cohesive)觸覺體驗。在另 一實施例中，系統(tǒng)能夠從嵌入媒體傳輸流的頭部標簽中的觸覺信息來輸出觸覺效應，由此 使觸覺效應與文件中的音頻和/或視頻同步。特別地，系統(tǒng)可以被配置成利用嵌入媒體傳輸流中的現(xiàn)有的標記方案，一個示例是ID3V2標記方案。系統(tǒng)能夠解譯存儲的觸覺信息，以 及從讀取優(yōu)選地在文件中的數(shù)據(jù)前面的頭部標簽來使觸覺信息與文件中的其他媒體信息 同步。本說明書使用ID3V2標記方案來描述發(fā)明實施例，但是應當注意，可以預期其他標記 方案和解決方案(例如ID3V1，Lyrics3)。通常，標記方案使用作為前置于媒體文件的數(shù)據(jù)塊的標簽，由此標簽保持一個或 多個更小的幀塊。如圖9所示，標簽可以包括任何類型的信息，諸如標題、相冊、表演者、網(wǎng) 站、lyric、均衡器預置、圖片等等。在實施例中，每個幀可以是16MB，并且整個標簽可以是 256MB，盡管幀大小不限于這些值。在實施例中，標簽的格式是允許添加新的幀的容器格式 (例如IFF、PNG擴展)。另外，當文件流送到終端單元時，將標簽放在內(nèi)容數(shù)據(jù)前面或之前 允許系統(tǒng)利用該標簽及其嵌入信息。在實施例中，標簽位于數(shù)據(jù)內(nèi)容之后，由此，系統(tǒng)能夠 從標簽數(shù)據(jù)有效地再現(xiàn)同步的觸覺效應。在實施例中，使用軟件程序，通過編程員或管理員將具有觸覺信息的標簽直接嵌 入其中。將所嵌入的標簽連同相應的媒體文件902發(fā)送到接收終端單元(圖1)或服務器 或其他存儲裝置，用于以后下載到接收終端單元104。在實施例中，包括觸覺信息和同步信 息的標簽的相關部分或標簽本身存儲在與Gracenote的Compact Disc DataBase CDDB類 似的遠程數(shù)據(jù)庫上，然后在從終端設備104請求之后遞送到接收終端單元104。在實施例 中，終端設備104可以將來自所接收到的頭部幀的信息與存儲在終端設備104上的內(nèi)容數(shù) 據(jù)組合，由此由終端設備處理和輸出該組合，以產(chǎn)生與媒體數(shù)據(jù)同步的觸覺效應。圖9圖示了根據(jù)實施例的媒體文件的標簽的示意圖。圖9中的媒體文件900包括 媒體內(nèi)容數(shù)據(jù)902，媒體內(nèi)容數(shù)據(jù)902包括音頻和/或視頻數(shù)據(jù)。在實施例中，所示的附接 到媒體數(shù)據(jù)文件902的前面的是頭部標簽904，由此頭部標簽904可以包括專用幀906、信 息幀908、lyrics幀910、圖片幀912、注釋幀914和編程人員希望插入的任何其他附加幀 916。應當注意，標簽不限于所示的幀，預期附加和/或替代幀與媒體文件900—起使用。另 夕卜，預期不止一個特定幀可以出現(xiàn)在頭部標簽904中(例如，兩個lyrics幀910，兩個圖片 幀912等等)。盡管在此主要將標簽描述為在音頻/視頻數(shù)據(jù)前，但預期可以將標簽放在音 頻/視頻數(shù)據(jù)后或在音頻和視頻數(shù)據(jù)的分組之內(nèi)或之間。以二進制格式存儲專用幀906，由此可以編程專用幀以通知終端單元中的媒體播 放器將輸出用于相應附加媒體文件902的觸覺效應。在實施例中，可以編程專用幀以在其 中直接包括同步信息和用于每個觸覺幀的觸覺信息。同步信息可以包括時間戳信息，由此， 媒體播放器讀取專用幀中的數(shù)據(jù)，并且輸出與音頻和/或視頻數(shù)據(jù)同步的相應觸覺效應。 在實施例中，用于每個幀的同步信息被存儲在元數(shù)據(jù)中，由此，每個幀包含用于在幀中存儲 的每個參數(shù)化振動定義的時間偏移。例如，特定幀(例如幀A)可以具有在600ms設置的 時間戳。同步信息可以指示相對于用于幀A的時間戳的開始，觸覺效應的偏移將在50ms和 185ms開始。因此，當播放幀A時，將指示致動器分別在650ms和785ms輸出觸覺效應(或 觸覺效應的預定義特性)。另外，專用幀將包括識別其中的信息來提醒終端設備該專用幀其中包括觸覺信息。因此，終端單元被配置成在所有專用幀中搜索識別幀的所有者的數(shù)據(jù)。在實施例中，專 用幀包括所有者標識符字段，諸如具有URL的空終止串，該URL包含負責該幀的組織的電子 郵件地址。另外和/或替代地，所有者標識符字段包括表示負責組織的身份的鏈接。在終端單元肯定地識別出屬于其所有者(例如ImmersionCorporation)的專用幀后，系統(tǒng)將進 一步處理該幀，并使用它來進行同步幀的觸覺處理。應當注意，專用幀可以包括用于提供允 許系統(tǒng)識別標簽的信息的其他手段，并且因此并不限于上述配置。頭部標簽還包括攜帶上述觸覺信息和時間戳信息的同步幀。該同步幀包括用于編 程該幀的幾個字段。在實施例中，在該同步幀中使用的字段是編碼字符集是包括Unicode， IS0-8859-1或是其他編碼字符。同步幀可以是圖9中所示幀中的任何一個，諸如Lyrics幀 910。進一步地，同步幀包括時間格式字段，該時間格式字段允許時間戳單位是毫秒、MPEG幀寸寸。在示例中，同步幀可以被設置成Unicode格式，將觸覺事件數(shù)據(jù)放在“事件”幀中， 并且將時間戳格式設置成毫秒。在示例中，數(shù)據(jù)字段中的第一項是作為在新行字符之前的 串給出的項計數(shù)。由于空字符用作同步標識符，因此項計數(shù)和數(shù)據(jù)大小表示為串。如在圖6 中所述，對每個樣本，幀包括觸覺定義幀和調(diào)用觸覺效應幀。另外，幀包括同步標識符信息 以及時間戳信息(如果需要的話)。圖10圖示了根據(jù)使用頭部標簽來提供觸覺信息的實施例的系統(tǒng)的框圖。圖 10中示出了系統(tǒng)1000，系統(tǒng)1000包括媒體播放器1002、同步層1004、應用可編程接口 (API) 1006、內(nèi)核1008、觸覺重放引擎1010、振動發(fā)生器1012、致動器驅(qū)動電路1014和一個 或多個致動器1016。應當注意，系統(tǒng)1000不限于該配置，并且可以使用替代和/或附加組 件。 如圖10所示，將媒體文件1018加載到軟件程序接口 1020，其中，如上所述，媒體文 件1018嵌入有觸覺信息以及頭部標簽中內(nèi)的標識符和同步信息?？梢栽贗mmersion的專 有VibeTonz Studio軟件上或由其他適當?shù)能浖绦騺硗瓿稍撔畔⒌那度?。在媒體文件嵌 入有同步和觸覺信息數(shù)據(jù)后，修改的媒體文件1022可以直接發(fā)送到設備1000或可以存儲 在存儲器或服務器中，用于以后檢索。在實施例中，修改的媒體文件可以存儲在流送服務器 上，用于流送到終端設備1000。在下載到終端設備1000后，由媒體播放器1002接收修改的媒體文件1022，由此， 媒體播放器1002識別文件1022是否包括觸覺標識符數(shù)據(jù)。在另一實施例中，媒體文件1022 被流送到終端設備1000，由此，在流的開始檢索頭部信息并存儲頭部信息。然后，處理所存 儲的頭部信息以及以后接收到的流送媒體文件，以確保觸覺效應與流送的媒體同步。如果 文件1022不包括觸覺標識符數(shù)據(jù)，則不將觸覺效應信息中繼到API 1006。然而，如果文件 1022在專用幀中不包括觸覺標識符數(shù)據(jù)，則同步層1004讀取同步幀，并將必需的提取的信 息提供給API 1006。API 1006在正確的時間啟動觸覺效應，因為每個觸覺幀是不依賴于同 步幀中的其他幀的自包含觸覺效應。API 1006指示內(nèi)核1008向觸覺重放引擎1010提供低 級別命令，由此觸覺重放引擎指示振動發(fā)生器1012激活驅(qū)動電路1014以控制和/或放大 輸出到致動器1016的控制信號。然后，致動器1016通過在同步層中定義的特定觸覺效應， 在所指示的時間戳，自動地輸出所指示的觸覺效應。應當注意，可以按任何適當?shù)捻樞騺硗?成以上步驟，并且以上步驟不限于所提出的順序。還應當注意，在不背離在此的發(fā)明概念的 情況下，可以使用附加/替代步驟。盡管已經(jīng)示出和描述了各實施例和應用，但是對受益于該公開的本領域的技術人 員將顯而易見的是，在不背離在此的發(fā)明概念的情況下，很多比上述更多的修改是可能的。
權利要求
一種方法，包括接收媒體文件，所述媒體文件具有在該媒體文件中的內(nèi)容數(shù)據(jù)前面的標簽中的嵌入的觸覺事件數(shù)據(jù)，所述觸覺事件數(shù)據(jù)具有嵌入幀中的時間戳信息；利用所述觸覺事件數(shù)據(jù)和所述內(nèi)容數(shù)據(jù)之間的共用時間戳，使所述媒體文件中的所述嵌入的觸覺事件數(shù)據(jù)與所述內(nèi)容數(shù)據(jù)同步；以及經(jīng)由重放設備中的致動器來輸出觸覺效應，其中，所輸出的觸覺效應與所述內(nèi)容數(shù)據(jù)的相應媒體事件同步，所述媒體事件與所述觸覺事件在基本上相同的時間戳出現(xiàn)。
2.如權利要求1所述的方法，其中，所述嵌入的觸覺幀在所述標簽的專用幀中。
3.如權利要求1所述的方法，其中，所述嵌入的觸覺幀在所述標簽的lyrics幀中。
4.如權利要求1所述的方法，其中，所述內(nèi)容數(shù)據(jù)包括音頻數(shù)據(jù)。
5.如權利要求1所述的方法，其中，所述內(nèi)容數(shù)據(jù)包括視頻數(shù)據(jù)。
6.如權利要求1所述的方法，其中，在所述幀中的所述嵌入的觸覺事件數(shù)據(jù)進一步包 括起始時間、幅度、頻率和持續(xù)時間。
7.如權利要求1所述的方法，其中，所述媒體文件在所述重放設備處被接收之前先被 存儲。
8.如權利要求1所述的方法，其中，所述媒體文件從源流出并由所述重放設備接收。
9.如權利要求1所述的方法，進一步包括根據(jù)與所述媒體文件相關聯(lián)的主時間碼來從 所述媒體文件提取所述嵌入的觸覺事件數(shù)據(jù)。
10.一種設備，包括接收裝置，所述接收裝置用于接收媒體文件，所述媒體文件具有在該媒體文件中的內(nèi) 容數(shù)據(jù)前面的幀中嵌入的觸覺事件數(shù)據(jù)，所述觸覺事件數(shù)據(jù)具有嵌入所述幀中的時間戳信 息；同步裝置，所述同步裝置用于利用主時間碼來使所述媒體文件中的所述嵌入的觸覺事 件數(shù)據(jù)與所述內(nèi)容數(shù)據(jù)同步；以及輸出裝置，所述輸出裝置用于經(jīng)由致動器來輸出觸覺效應，其中，所述觸覺效應與所述 觸覺事件數(shù)據(jù)的時間戳相關聯(lián)。
11.如權利要求10所述的設備，其中，所述嵌入的觸覺幀在所述標簽的專用幀中。
12.如權利要求10所述的設備，其中，所述嵌入的觸覺幀在所述標簽的lyrics幀中。
13.如權利要求10所述的設備，其中，所述內(nèi)容數(shù)據(jù)包括音頻數(shù)據(jù)。
14.如權利要求10所述的設備，其中，所述內(nèi)容數(shù)據(jù)包括視頻數(shù)據(jù)。
15.如權利要求10所述的設備，其中，所述媒體文件的格式是MP3。
16.如權利要求10所述的設備，其中，在所述幀中的所述嵌入的觸覺事件數(shù)據(jù)進一步 包括起始時間、幅度、頻率和持續(xù)時間。
17.如權利要求10所述的設備，其中，所述媒體文件在所述重放設備處接收被之前先 被存儲。
18.如權利要求10所述的設備，其中，所述媒體文件從源流出并由所述重放設備接收。
19.如權利要求10所述的設備，進一步包括用于根據(jù)與所述媒體文件相關聯(lián)的主時間 碼來從所述媒體文件提取所述嵌入的觸覺事件數(shù)據(jù)的裝置。
20.用于由機器執(zhí)行的在一個或多個有形介質(zhì)中編碼的邏輯，并且當該邏輯被執(zhí)行時，可操作地執(zhí)行一種方法，所述方法包括接收媒體文件，所述媒體文件具有在該媒體文件中的內(nèi)容數(shù)據(jù)前面的標簽中的嵌入的 觸覺事件數(shù)據(jù)，所述觸覺事件數(shù)據(jù)具有嵌入幀中的時間戳信息；利用所述觸覺事件數(shù)據(jù)和所述內(nèi)容數(shù)據(jù)之間的共用時間戳，使 所述媒體文件中的所述 嵌入的觸覺事件數(shù)據(jù)與所述內(nèi)容數(shù)據(jù)同步；以及經(jīng)由重放設備中的致動器來輸出觸覺效應，其中，所輸出的觸覺效應與所述內(nèi)容數(shù)據(jù) 的相應媒體事件同步，所述媒體事件與所述觸覺事件在基本上相同的時間戳出現(xiàn)。
全文摘要
識別媒體文件的一系列幀中的觸覺信息，并根據(jù)嵌入在媒體文件前面或后面的標簽中的信息來確定與其相對應的時間戳。基于在標簽的一個或多個幀中的信息來使觸覺效應信息自動地與媒體文件同步，由此，致動器以與媒體文件的相應音頻和/或視頻內(nèi)容同步的方式來輸出標簽中所定義的觸覺效應。
文檔編號H04M1/725GK101828382SQ200880111982
公開日2010年9月8日 申請日期2008年10月16日 優(yōu)先權日2007年10月16日
發(fā)明者克里斯托弗·J·烏爾里希, 史蒂芬·D·蘭克, 穆尼波·M·巴克爾哲奧盧 申請人:伊梅森公司