用于編碼和解碼多媒體文件中的觸覺信息的方法和設(shè)備的制作方法
【專利摘要】本公開涉及用于編碼和解碼多媒體文件中的觸覺信息的方法和設(shè)備。一種用于編碼具有內(nèi)容的多媒體文件內(nèi)的觸覺信息的方法，包括：改變多媒體文件中的內(nèi)容的一部分，以及將觸覺信息加入內(nèi)容的改變部分，觸覺信息對應(yīng)于用于在重放多媒體文件時生成觸覺效果的觸覺信號。一種用于從具有內(nèi)容的多媒體文件內(nèi)解碼觸覺信息的方法，該方法包括：定位多媒體文件內(nèi)的觸覺信息，和在重放多媒體文件的內(nèi)容期間基于定位的觸覺信息生成觸覺信號。一種方法，包括：利用觸覺裝置的接收器接收包括音頻信號和觸覺信號的多媒體信號，以及利用觸覺裝置的觸覺輸出裝置基于多媒體信號中的觸覺信號輸出觸覺效果。
【專利說明】用于編碼和解碼多媒體文件中的觸覺信息的方法和設(shè)備

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于編碼在諸如音頻和/或視頻文件的多媒體文件中的觸覺信息的方法和設(shè)備，以及用于解碼多媒體文件中的觸覺信息的方法和設(shè)備。

【背景技術(shù)】
[0002]普遍認(rèn)為將觸覺反饋增加到媒體對象(例如圖像、視頻或音頻剪輯)可以在某些情況下，增強(qiáng)媒體對象的用戶體驗。例如，一只貓的照片可以具有與它相關(guān)聯(lián)的咕嚕觸感知覺。在與媒體對象關(guān)聯(lián)觸感反饋方面的關(guān)鍵挑戰(zhàn)是，大多數(shù)呈現(xiàn)(rendering)引擎沒有提供明確的觸覺效果信息?？梢跃哂信c這個信息分離的文件或與流，但是這第二內(nèi)容源復(fù)雜化現(xiàn)有內(nèi)容遞送機(jī)制，例如超文本傳輸協(xié)議(“HTTP”)。
[0003]一種針對這個挑戰(zhàn)的潛在解決方案是在呈現(xiàn)端點從媒體對象自動生成觸覺內(nèi)容?，F(xiàn)有的算法和方法可以通過使用音頻和視頻媒體對象作為輸入來完成這種類型的內(nèi)容創(chuàng)建。其它的算法和方法可以從圖像提取空間紋理信息和對此局部呈現(xiàn)。這些方法中兩者僅適合于機(jī)械性明顯的觸覺顯示器。不能利用這種方法生成內(nèi)容產(chǎn)生器期待的新穎內(nèi)容。


【發(fā)明內(nèi)容】

[0004]期望將更多的真實性和生活增加到多媒體對象。根據(jù)本發(fā)明的方面，水印或隱寫算法或方法可被用于將數(shù)字信息直接編碼到媒體內(nèi)容本身中。
[0005]根據(jù)本發(fā)明的一個方面，提供了一種用于編碼具有內(nèi)容的多媒體文件內(nèi)的觸覺信息的方法。該方法包括改變多媒體文件中的內(nèi)容的一部分，和將觸覺信息加入內(nèi)容的改變部分，觸覺信息對應(yīng)于用于在重放多媒體文件時生成觸覺效果的觸覺信號。
[0006]根據(jù)本發(fā)明的一個方面，提供了一種用于從具有內(nèi)容的多媒體文件內(nèi)解碼觸覺信息的方法。該方法包括:定位多媒體文件內(nèi)的觸覺信息；以及在重放多媒體文件的內(nèi)容期間基于定位的觸覺信息生成觸覺信號。
[0007]根據(jù)本發(fā)明的一個方面，提供了一種觸覺裝置，包括被配置成輸出媒體文件中媒體內(nèi)容的媒體輸出裝置，處理器，被配置成打開該媒體文件，解碼在媒體文件中編碼的觸覺信息，和基于從媒體文件解碼的觸覺信息輸出觸覺信號，以及觸覺輸出裝置，被配置成基于從處理器接收到的觸覺信號輸出觸覺效果。
[0008]根據(jù)本發(fā)明的一個方面，提供了一種方法，包括:利用觸覺裝置的接收器接收包括音頻信號和觸覺信號的多媒體信號，以及利用觸覺裝置的觸覺輸出裝置基于多媒體信號中的觸覺信號輸出觸覺效果。
[0009]根據(jù)本發(fā)明的一個方面，提供了一種觸覺裝置，包括接收器，被配置成接收多媒體信號；處理器，被配置成處理多媒體信號和識別多媒體信號中的觸覺信號；以及觸覺輸出裝置，被配置成基于觸覺信號輸出觸覺效果。

【專利附圖】

【附圖說明】
[0010]以下圖的組件被示出是為了強(qiáng)調(diào)本公開的總原理，而不一定是按比例繪制的。為了一致和清晰，必要時在所有圖中重復(fù)指定相應(yīng)組件的參考字符。
[0011]圖1是根據(jù)本發(fā)明實施例的電子裝置的示意圖；
[0012]圖2是圖1的電子裝置的處理器的示意圖；
[0013]圖3是示出方法的一個實施例的流程圖，該方法用于生成觸覺內(nèi)容和在媒體文件中包括觸覺內(nèi)容以及利用媒體文件的內(nèi)容重放觸覺內(nèi)容；
[0014]圖4示出多媒體文件的音頻流的一個實施例，其包括射擊和要在射擊音頻文件中編碼的觸覺觸發(fā)標(biāo)記的六個可能位置；
[0015]圖5示出觸覺效果觸發(fā)標(biāo)記將被增加到其中的單音音頻信號的一個實施例；
[0016]圖6示出在圖5的單音音頻信號中的編碼的觸覺效果觸發(fā)標(biāo)記；
[0017]圖7A示出圖6的單音音頻信號的20毫秒幀的一個實施例，其不包含編碼的觸覺信息；
[0018]圖7B示出圖6的單音音頻信號的20毫秒幀的另一個實施例，其包含被編碼的觸覺信息；
[0019]圖8示出圖7A和圖7B的過濾后的信號的功率譜的一個實施例；
[0020]圖9示出用于在重放期間編碼觸覺觸發(fā)和解碼觸覺觸發(fā)的方法的一個實施例，以及
[0021]圖10示出用于基于多媒體信號中接收的觸覺信息生成觸覺效果的方法的一個實施例，。

【具體實施方式】
[0022]圖1是根據(jù)本發(fā)明的一個實施例的電子裝置10的示意圖。如所示，電子裝置100包括處理器110、存儲器裝置120、和輸入/輸出裝置130，這些裝置經(jīng)由總線140互連。在一個實施例中，輸入/輸出裝置130可以包括觸摸屏裝置150或其它人機(jī)界面裝置。
[0023]觸摸屏裝置150可以被配置成任何合適的人機(jī)界面或觸摸/接觸表面組件。觸摸屏裝置150可以是任何觸摸屏、觸控板、觸摸敏感結(jié)構(gòu)、計算機(jī)監(jiān)視器、膝上型電腦顯示裝置、工作簿顯示裝置、電腦亭屏幕、便攜式電子裝置屏幕、或其它合適的觸摸敏感裝置。觸摸屏裝置150可以被配置為與用戶控制的裝置(諸如觸筆、手指等)進(jìn)行物理交互。在一些實施例中，觸摸屏裝置150可以包括至少一個輸出裝置和至少一個輸入裝置。例如，觸摸屏裝置150可以包括視覺顯示器和疊加在視覺顯示器上以從用戶的手指接收輸入的觸摸敏感屏。視覺顯示器可以包括高清晰顯示屏幕。
[0024]在各種實施例中，觸摸輸出裝置160被配置成向電子裝置100的至少一部分提供觸覺反饋，該觸覺反饋可以被傳達(dá)給與電子裝置100接觸的用戶。具體地，觸摸輸出裝置160可以向觸摸屏本身提供觸覺反饋，以當(dāng)用戶與該屏幕接觸時施加觸覺效果。如以下更詳細(xì)討論的，觸覺效果可以用于當(dāng)觀看媒體文件中的內(nèi)容時增強(qiáng)用戶體驗。
[0025]觸覺效果可以按創(chuàng)建觸覺的任何方法創(chuàng)建，例如振動、變形、運動知覺、靜電型或超聲波摩擦等。在一個實施例中，觸覺輸出裝置160可以包括致動器,例如偏心旋轉(zhuǎn)質(zhì)量(“ERM”)的電磁致動器，其中偏心質(zhì)量塊被電機(jī)驅(qū)動，線性諧振執(zhí)行器(“LRA”)，其中附連到彈簧的質(zhì)量塊被來回驅(qū)動，或“智能材料“，例如壓電材料、電活性聚合物或形狀記憶合金、宏復(fù)合纖維致動器、靜電致動器、電觸感致動器和/或另一種類型致動器，其提供諸如觸覺(諸如振動觸覺)反饋的物理反饋。觸覺輸出裝置160可以包括非機(jī)械或非振動裝置，例如使用靜電摩擦(ESF)、超聲表面摩擦(USF)的那些、或者利用超聲波觸覺傳感器誘發(fā)聲輻射壓力的那些，或使用觸覺基板和柔性或可變形表面的那些，或者提供投射觸覺輸出(例如空氣噴射的一股空氣)的那些等等。在一個實施例中，多個觸覺輸出裝置可以被用于產(chǎn)生不同的觸覺效果。
[0026]電子裝置100可以是任何裝置，諸如臺式電腦、膝上型電腦、電子工作簿、電子手持裝置(諸如移動電話、智能手機(jī)、游戲裝置、個人數(shù)字助理(“PDA”)、便攜式電子郵件裝置、便攜式互聯(lián)網(wǎng)接入裝置、計算器等)、電腦亭(諸如自動柜員機(jī)、定時購買機(jī)等)、打印機(jī)、銷售點裝置、游戲控制器、可佩戴裝置或其它電子裝置。
[0027]處理器110可以是用于管理或控制電子裝置100的操作和功能的通用或?qū)Ｓ锰幚砥骰蛭⒖刂破?。例如，處理?10可以被專門設(shè)計為專用集成電路(“ASIC”)，其控制到輸入/輸出裝置130的驅(qū)動器的輸出信號以提供觸覺效果。處理器110可以被配置成基于預(yù)定義因素來決定基于處理器110接收到或確定的觸覺信號要產(chǎn)生什么觸覺效果、產(chǎn)生觸覺效果的次序、以及觸覺效果的幅度、頻率、持續(xù)時間和/或其它參數(shù)。處理器110還可以被配置成提供可以用于驅(qū)動用于提供特定觸覺效果的觸覺輸出裝置160的流傳輸命令。在一些實施例中，處理器裝置110實際上可以包括多個處理器，每個處理器被配置成執(zhí)行電子裝置100內(nèi)的某些功能。下面更詳細(xì)描述處理器110。
[0028]存儲器裝置120可以包括一個或多個內(nèi)部固定存儲單元、可移除存儲單元、和/或可遠(yuǎn)程訪問存儲單元。各種存儲單元可以包括易失性存儲器和非易失性存儲的任何組合。存儲單元可以被配置成存儲信息、數(shù)據(jù)、指令、軟件代碼等的任何組合。更具體地，存儲裝置可以包括觸覺效果配置文件、關(guān)于要如何驅(qū)動輸入/輸出裝置130的觸覺輸出裝置160的指令、和/或用于產(chǎn)生觸覺效果的其它信息。
[0029]除了觸摸屏裝置150之外，輸入/輸出裝置130還可以包括特定的輸入機(jī)構(gòu)和輸出機(jī)構(gòu)。例如，輸入機(jī)構(gòu)可以包括諸如鍵盤、鍵區(qū)、光標(biāo)控制裝置(例如，計算機(jī)鼠標(biāo))、其它數(shù)據(jù)輸入裝置或諸如麥克風(fēng)的音頻接收器180的裝置。輸出機(jī)構(gòu)可以包括計算機(jī)監(jiān)視器、虛擬現(xiàn)實顯示裝置、諸如揚聲器190的音頻輸出裝置、打印機(jī)或其它外設(shè)裝置。輸入/輸出裝置130可以包括被設(shè)計為不僅從用戶接收輸入、而且還向用戶提供反饋的機(jī)構(gòu)，諸如觸摸屏裝置的許多例子。輸入/輸出裝置130可以包括按鈕、鍵區(qū)、光標(biāo)控制裝置、觸摸屏組件、觸筆相應(yīng)組件或其它數(shù)據(jù)輸入組件的任何合適的組合和構(gòu)造。
[0030]在實施例中，觸摸屏裝置150包括顯示表面170 (可以是剛性的)，顯示表面170被配置成通過(包括，但不限于)由觸覺輸出裝置160生成的靜電摩擦或超聲表面振動對其摩擦性質(zhì)進(jìn)行調(diào)制，以當(dāng)用戶在整個顯示器上運行手指或觸筆時給予用戶與顯示圖像相應(yīng)的表面浮凸(例如，山丘和谷地)的感覺。
[0031]圖2更詳細(xì)地示出處理器110的實施例。處理器110可以被配置成執(zhí)行一個或多個計算機(jī)程序模塊。所述一個或多個計算機(jī)程序模塊可以包括一個或多個內(nèi)容提供模塊112、編碼模塊114、解碼模塊116、觸覺輸出裝置控制模塊118、和/或其它模塊。該處理器110可以被配置成由軟件，硬件，固件，軟件、硬件、和/或固件的某種組合，和/或用于在處理器110上配置處理能力的其它機(jī)構(gòu)執(zhí)行模塊112、114、116、和/或118。
[0032]應(yīng)當(dāng)理解，雖然圖2中示出的組件112、114、116和118為被共同位于單個處理單元內(nèi)，但是在實施例中，處理器Iio包括多個處理單元，模塊112、114、116、和/或118中的一個或多個可以位于遠(yuǎn)離其它模塊。由下面描述的不同模塊112114、116、和/或118提供的功能性的描述是為了例示的目的，而不旨在限制，因為112、114、116和/或118中的任何模塊可以提供比描述的更多或更少的功能。例如，模塊112、114、116和/或118中的一個或多個可以被消除，而功能的某些或全部可以由其它模塊112、114、116、和/或118提供。作為另一個示例，處理器110可以被配置成執(zhí)行一個或多個附加的模塊，其可以執(zhí)行下面歸于模塊112、114、116、和/或118中的一個的功能一些或全部。
[0033]內(nèi)容提供模塊112被配置成控制經(jīng)由觸摸屏裝置150向電子裝置100的用戶提供內(nèi)容。如果內(nèi)容包括含有計算機(jī)生成的圖像(例如，在視頻游戲中、虛擬世界、加強(qiáng)現(xiàn)實的虛擬世界、模擬等)的媒體文件，則內(nèi)容提供模塊112被配置成生成圖像和/或視圖以通過觸摸屏裝置150向用戶顯示。如果內(nèi)容包括含有視頻和/或靜止圖像或圖片的媒體文件，則內(nèi)容提供模塊112被配置成訪問(access)該視頻和/或靜止圖像或圖片以及生成視頻和/或靜止圖像或照片的視圖以顯示在觸摸屏裝置150上。如果內(nèi)容包括含有音頻內(nèi)容的媒體文件，則內(nèi)容提供模塊112被配置成生成電子信號,該電子信號將驅(qū)動揚聲器190以輸出對應(yīng)的聲音。內(nèi)容或從中導(dǎo)出內(nèi)容的媒體文件，可以由內(nèi)容提供模塊112從電子存儲器119獲得，該電子存儲器119可以是處理器110的一部分，如圖2中所示，或者可以是存儲器裝置120的一部分。
[0034]編碼模塊114被配置成編碼媒體文件中的觸覺信號，其可被存儲在電子存儲器119中并且隨后由內(nèi)容提供模塊112訪問。例如，水印或隱寫算法或方法可以被用于將數(shù)字信息直接編碼到媒體內(nèi)容本身中。通過將版權(quán)或其它不可移除的和不可感知的數(shù)字簽名信息直接編碼到媒體內(nèi)容中，隱寫通常用于提供數(shù)字版權(quán)管理(DRM)。用于數(shù)字隱寫的算法對于圖像、音頻和視頻內(nèi)容格式是已知的。
[0035]編程到編碼模塊114中的算法也可以由內(nèi)容產(chǎn)生器使用以將創(chuàng)作的、明確的觸覺信息編碼到內(nèi)容本身中。這種觸覺信息的實例包括一個或多個觸覺效果、觸覺效果和呈現(xiàn)提示的組合，例如，第一觸覺效果可以與圖像中的暗像素相關(guān)聯(lián)，和與第一觸覺效果不同的第二觸覺效果可以與圖像中更亮的像素相關(guān)聯(lián)，以及將觸覺與內(nèi)容和/或與和內(nèi)容交互的用戶相關(guān)聯(lián)的算法。下面將進(jìn)一步詳細(xì)描述用于編碼媒體文件中的觸覺信息。
[0036]解碼模塊116被配置成識別內(nèi)容中何時有觸覺信息以及對媒體文件解碼，使得媒體文件中已被編碼的觸覺信息可利用觸覺輸出裝置160重放。下面將進(jìn)一步詳細(xì)描述用于解碼媒體文件內(nèi)的觸覺信息的方法。
[0037]基于由解碼器模塊116從媒體文件內(nèi)解碼觸覺信息，觸覺輸出裝置控制模塊118被配置成確定要由觸覺輸出裝置160生成的觸覺效果，以及控制觸覺輸出裝置160生成所確定的觸覺效果。確定觸覺效果可包括確定觸覺效果的一個或多個參數(shù)，包括幅度、頻率、持續(xù)時間等，其會增強(qiáng)由內(nèi)容向用戶提供的體驗的一個或多個方面。
[0038]觸覺效果可以被確定以增強(qiáng)以下中的一個或多個:內(nèi)容真實性、內(nèi)容娛樂性、用戶對內(nèi)容的感知，和/或經(jīng)由觸摸屏150和/或揚聲器190傳達(dá)給用戶的內(nèi)容提供的體驗的其他方面。例如，當(dāng)圖像被首次呈現(xiàn)時，顯示在觸摸屏150上的貓圖像可以播放呼嚕知覺，當(dāng)用戶選擇該圖像時，貓圖像可以播放呼嚕知覺，和/或貓圖像可以具有其中編碼的皮毛紋理，以及電子裝置100的用戶可以體驗通過在觸摸屏150上顯示的圖像上拖動手指或手寫筆毛皮的紋理。
[0039]圖3示出方法的一個實施例，該方法用于生成觸覺內(nèi)容和在媒體文件包括觸覺內(nèi)容以及利用媒體文件的內(nèi)容重放觸覺內(nèi)容。更具體地，圖3例示方法300的實施例，用于編碼具有文件內(nèi)容的多媒體文件內(nèi)的觸覺信息和用于從具有內(nèi)容的多媒體文件內(nèi)解碼觸覺信息。在310，作為編碼觸覺信息的一部分，該多媒體文件的內(nèi)容的至少一部分被改變。多媒體文件的內(nèi)容可以包括圖像、視頻和/或音頻內(nèi)容。在一個實施例中，多媒體文件的內(nèi)容的一部分被去除。在一個實施例中，多媒體文件的內(nèi)容的一部分被重排。在320，觸覺信息被增加到該內(nèi)容的改變部分中的多媒體文件。觸覺信息對應(yīng)于用于在重放多媒體文件時生成觸覺效果的觸覺信號。在一個實施例中，多媒體文件的內(nèi)容的一部分被去除，觸覺信息被增加代替內(nèi)容的去除部分。在一個實施例中，該多媒體文件的內(nèi)容的一部分被重排，觸覺信息被增加到重排的部分。在330，作為解碼觸覺信息的部分，觸覺信息在多媒體文件內(nèi)被定位，并且在340，在重放多媒體文件內(nèi)容期間生成基于定位的觸覺信息的觸覺信號。
[0040]在一個實施例中，用于在重放期間要生成的觸覺效果的觸發(fā)被編碼在多媒體文件中，諸如音頻文件。通過編碼對應(yīng)于音頻文件中的預(yù)定的觸覺效果的重放的觸發(fā)標(biāo)記(mark)，當(dāng)觸發(fā)標(biāo)記在重放音頻文件期間被播放時，觸覺信號可以被發(fā)送到觸覺輸出裝置，使得觸覺效果將在期望的時間生成。在一個實施例中，觸發(fā)標(biāo)記可以是相對高頻信號的形式，例如奈奎斯特(Nyquist)頻率，具有數(shù)個振蕩小于一毫秒。在復(fù)雜音頻流中的這種觸發(fā)標(biāo)記不應(yīng)該被注意到，并因此是編碼觸發(fā)標(biāo)記的好位置，以指示在重放多媒體文件期間應(yīng)該播放觸覺效果的位置。圖4示出多媒體文件中音頻流的一個實施例，包括射擊和要在射擊音頻文件中編碼的觸覺觸發(fā)標(biāo)記的六個可能位置。
[0041]圖5示出由500表示的單音音頻信號(在100赫茲)，將在第四周期期間向其增加觸覺效果觸發(fā)標(biāo)記。圖6示出圖5的單音音頻流500中的編碼的觸覺效果觸發(fā)標(biāo)記600，其位于0.03秒時間處。假定音頻數(shù)據(jù)流500由s (t)表示，并且觸發(fā)標(biāo)記或信號600由Tr (t)表示，則
[0042]Tr(t)=sin(2 fenct),其中 t e [0，n/fenJ (I)
[0043]在等式(1)，fenc是高頻信號，用于音頻流的采樣頻率fs，fmc=fs/2，或者可替代地，fmc=fs/4。在等式(I)中的η值是一個整數(shù)，其確定編碼的信號具有的振蕩的數(shù)量。所產(chǎn)生的編碼信號通過期望觸發(fā)的特定位置將Tr(t)增加到s(t)而獲得。
[0044]senc(t)=s(t)+Tr(t),其中 t e [tinit, tinit+n/fenc] (2)
[0045]在等式(2)，tinit是期望觸發(fā)的起始位置。在第四振蕩(在0.03秒)使用fenc=fs/4的觸發(fā)的編碼產(chǎn)生在圖7A-8所示的圖表。
[0046]圖7A示出單音音頻信號500的初始20毫秒幀，其不包含編碼的觸覺信息，以及圖7B示出第二 20毫秒幀，其包含被編碼的觸覺信息600。原始音頻信號由500表示，并且在fenc使用帶通過濾器時的過濾后的信號由700表示。圖8示出圖7A和7B的過濾后信號的功率譜。表800對應(yīng)于圖7A第一幀中過濾后的音頻信號700，以及表810對應(yīng)于圖7B第二幀中具有編碼的信號的過濾后的音頻信號。
[0047]圖9示出用于在重放期間編碼觸覺觸發(fā)和解碼觸覺觸發(fā)的方法900的一個實施例。在910，來自原始音頻信號的內(nèi)容被在fm。去除。從原始音頻信號去除f.內(nèi)容可以確保觸覺信息被正確編碼，而頻率沒有遮蔽原音頻流?？梢允褂镁哂兄行念l率f.的阻帶過濾器去除該內(nèi)容。在920，觸覺觸發(fā)標(biāo)記可使用f?。被增加到內(nèi)容位置。為了解碼觸覺信息，可以使用逆方法。例如，在930，每個幀可使用帶通過濾器在fen。過濾，并且在940，如果fen。頻率被發(fā)現(xiàn)，觸覺效果將被創(chuàng)建、播放、輸出等。
[0048]當(dāng)效果被存儲在諸如上述電子存儲器119的庫中時，可被編碼的其它信息包括效果的幅度和頻率、效果持續(xù)時間、效果類型和效果的數(shù)量。本文討論的方法可使用一個以上的頻率以編碼信息來完成，和一組以上的過濾器來編碼/解碼數(shù)據(jù)。使用一個以上的振蕩將使信號在編碼時更強(qiáng)，但可能會導(dǎo)致聽覺失真。如果音頻能被實時處理，則在音頻流被發(fā)送到揚聲器190之前，編碼后的觸覺信息被從音頻數(shù)據(jù)流去除，使得收聽者檢測到?jīng)]有聽覺失真。
[0049]根據(jù)本發(fā)明的實施例，與電子裝置100分離的揚聲器可將疊加在音頻信號上的觸覺信息發(fā)送到配備有音頻接收器的觸覺裝置，諸如麥克風(fēng)、在揚聲器附近，并生成觸覺效果。通過使用音頻信號來承載觸覺輸出信號和揚聲器以經(jīng)由接收器將觸覺信息傳送到觸覺裝置，可以消除對用于傳送承載觸覺信息的信號到便攜式裝置的數(shù)據(jù)網(wǎng)絡(luò)連接性(例如，WiF1、藍(lán)牙、蜂窩網(wǎng)絡(luò)等)的需要。
[0050]在一個實施例中，使用在例如圖10所示的方法1000，觸覺信號形式的觸覺信息可以通過使用揚聲器和接收器(例如麥克風(fēng))之間的高頻聽不見范圍而被傳送到觸覺裝置。在1010，利用觸覺裝置的接收器接收包括音頻信號和觸覺信號的多媒體信號。接收器可以是位于觸覺裝置上的麥克風(fēng)。觸覺信號可以具有比音頻信號高的頻率。在1020，基于多媒體信號中的觸覺信號的觸覺效果由觸覺裝置的觸覺輸出裝置輸出。
[0051]觸覺裝置可以是收聽者在收聽音頻信號時與之接觸的任何電子裝置，諸如智能電話、或可佩戴在手腕、 手、頭上、脖子周圍、腰部周圍的可佩戴裝置等。例如，觸覺裝置可以是上述的電子裝置100，其包括觸覺輸出裝置160和音頻接收器180。在一個實施例中，觸覺裝置可以是收聽者在收聽音頻信號時與之接觸的一件家具的一部分，如椅子、沙發(fā)等。
[0052]在一個實施例中，當(dāng)例如打進(jìn)一球、運動員跑的步速等某些事件發(fā)生時，體育場中的揚聲器可廣播相關(guān)的觸覺信號。對應(yīng)于事件的觸覺效果可在觀看者的智能手機(jī)、可佩戴裝置、座位等上生成，由此使觀看比賽的體驗更加沉浸。在一個實施例中，觀看者可以選擇接收針對與以下相關(guān)的事件專用/設(shè)計的觸覺提示，如隊中的一個、某運動員、或場地中的對象/設(shè)備，諸如球網(wǎng)、足球中門柱或橫木等。在一個實施例中，專為電影院中播放的電影的某些場景設(shè)計的觸覺提示可以包含在聲軌上并觸發(fā)觀眾的聽筒或座位上的觸覺效果。在一個實施例中，安靜的觸覺效果，對應(yīng)于整個管弦樂隊播放的音樂或單個音樂家，在音樂會期間可以被傳達(dá)到觀眾成員的聽筒、可佩戴裝置或座位以增強(qiáng)/加強(qiáng)體驗。在一個實施例中，在演示期間，當(dāng)討論演示的一個重要部分時，演示者的膝上型電腦可以發(fā)送觸覺警示以捕捉觀眾的注意力。在一個實施例中，各種類型的觸覺效果可傳送到在商場中某店鋪附近的人們。在一個實施例中，看電視或收聽收音機(jī)的人可以通過諸如智能電話、可佩戴裝置的手持電子裝置或人接觸的家具接收觸覺效果。
[0053]本文中所描述的實施例表示多個可能的實現(xiàn)和例子，而非意圖一定使本公開限于任何特定實施例。相反，如本領(lǐng)域的普通技術(shù)人員將理解的，可以對這些實施例進(jìn)行各種修改。任何這種修改意在于包括在本公開的精神和范圍內(nèi)并且受到下面權(quán)利要求書的保護(hù)。
【權(quán)利要求】
1.一種用于編碼具有內(nèi)容的多媒體文件內(nèi)的觸覺信息的方法，該方法包括: 改變多媒體文件中的內(nèi)容的一部分；以及 將觸覺信息加入內(nèi)容的改變部分，觸覺信息對應(yīng)于用于在重放多媒體文件時生成觸覺效果的觸覺信號。
2.根據(jù)權(quán)利要求1所述的方法，其中多媒體文件的內(nèi)容包括圖像。
3.根據(jù)權(quán)利要求1所述的方法，其中多媒體文件的內(nèi)容包括視頻。
4.根據(jù)權(quán)利要求1所述的方法，其中多媒體文件的內(nèi)容包括音頻內(nèi)容。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述改變包括從多媒體文件去除內(nèi)容的所述部分，并且其中所述觸覺信息被增加代替內(nèi)容的去除部分。
6.根據(jù)權(quán)利要求5所述的方法，其中，從多媒體文件去除內(nèi)容的所述部分包括利用過濾器過濾多媒體文件內(nèi)的內(nèi)容。
7.根據(jù)權(quán)利要求6所述的方法，其中，所述過濾器是阻帶過濾器，具有對應(yīng)于被增加代替內(nèi)容的去除部分的觸覺信息的頻率的中心頻率。
8.根據(jù)權(quán)利要求1所述的方法，其中，所述改變包括重排多媒體文件中內(nèi)容的所述部分。
9.一種用于從具有內(nèi)容的多媒體文件內(nèi)解碼觸覺信息的方法，該方法包括: 定位多媒體文件內(nèi)的觸覺信息；以及 在重放多媒體文件的內(nèi)容期間基于定位的觸覺信息生成觸覺信號。
10.根據(jù)權(quán)利要求9所述的方法，其中，所述定位觸覺信息包括利用過濾器以觸覺信息的頻率過濾內(nèi)容。
11.根據(jù)權(quán)利要求9所述的方法，其中，所述過濾器是帶通過濾器。
12.一種觸覺裝置，包括: 被配置成輸出媒體文件中的媒體內(nèi)容的媒體輸出裝置； 處理器，被配置成打開該媒體文件，解碼在媒體文件中編碼的觸覺信息，和基于從媒體文件解碼的觸覺信息輸出觸覺信號；以及 觸覺輸出裝置，被配置成基于從處理器接收到的觸覺信號輸出觸覺效果。
13.根據(jù)權(quán)利要求12所述的觸覺裝置，其中，所述媒體文件包括圖像并且媒體輸出裝置被配置成顯示圖像。
14.根據(jù)權(quán)利要求12所述的觸覺裝置，其中，所述媒體文件包括視頻并且媒體輸出裝置被配置成顯示視頻。
15.根據(jù)權(quán)利要求12所述的觸覺裝置，其中，所述媒體文件包括音頻內(nèi)容并且媒體輸出裝置被配置成重放音頻內(nèi)容。
16.根據(jù)權(quán)利要求12所述的觸覺裝置，其中所述處理器包括過濾器，被配置成過濾媒體內(nèi)容以確定媒體內(nèi)容內(nèi)的觸覺信息的位置，并且其中所述處理器被配置成使觸覺信號與媒體內(nèi)容同步，使得由觸覺輸出裝置輸出的觸覺效果和由媒體輸出裝置輸出的媒體內(nèi)容同止/J/ O
17.根據(jù)權(quán)利要求16所述的觸覺裝置，其中，所述過濾器是帶通過濾器。
18.根據(jù)權(quán)利要求12所述的觸覺裝置，其中，所述處理器還被配置成編碼媒體文件中的觸覺信息。
19.根據(jù)權(quán)利要求18所述的觸覺裝置，其中，所述處理器包括被配置成從媒體文件中去除內(nèi)容的一部分的過濾器。
20.根據(jù)權(quán)利要求19所述的觸覺裝置，其中過濾器是具有對應(yīng)于觸覺信息的頻率的中心頻率的阻帶過濾器。
21.—種方法,包括: 利用觸覺裝置的接收器接收包括音頻信號和觸覺信號的多媒體信號；以及 利用觸覺裝置的觸覺輸出裝置基于多媒體信號中的觸覺信號輸出觸覺效果。
22.根據(jù)權(quán)利要求21所述的方法，其中，所述觸覺信號被疊加在音頻信號上。
23.根據(jù)權(quán)利要求21所述的方法，其中，所述觸覺信號是相對于音頻信號的高頻信號。
24.根據(jù)權(quán)利要求21所述的方法，其中，由觸覺裝置的麥克風(fēng)接收多媒體信號。
25.根據(jù)權(quán)利要求21所述的方法，其中，所述觸覺裝置是可佩戴裝置。
26.一種觸覺裝置，包括: 接收器，被配置成接收多媒體信號； 處理器，被配置成處理多媒體信號和識別多媒體信號中的觸覺信號；以及 觸覺輸出裝置，被 配置成基于觸覺信號輸出觸覺效果。
27.根據(jù)權(quán)利要求26所述的觸覺裝置，其中，所述接收器是麥克風(fēng)。
28.根據(jù)權(quán)利要求26所述的觸覺裝置，其中，所述觸覺裝置是可佩戴裝置的一部分。
29.根據(jù)權(quán)利要求26所述的觸覺裝置，其中所述觸覺信號是相對于剩余多媒體信號的高頻信號。
30.根據(jù)權(quán)利要求26所述的觸覺裝置，其中所述多媒體信號包括疊加在音頻信號上的觸覺信號。
【文檔編號】G06F3/0488GK104049889SQ201410096022
【公開日】2014年9月17日 申請日期:2014年3月14日 優(yōu)先權(quán)日:2013年3月15日
【發(fā)明者】A·瑟恩, C·J·烏爾里奇, J·M·克魯茲-埃爾南德斯, A·莫達(dá)里斯 申請人:英默森公司