用于觸覺數(shù)據(jù)編碼和流傳輸?shù)姆椒ê拖到y(tǒng)的制作方法
【專利摘要】本發(fā)明涉及用于觸覺數(shù)據(jù)編碼和流傳輸?shù)姆椒ê拖到y(tǒng)。一種方法包括接收包括音頻數(shù)據(jù)和/或視頻數(shù)據(jù)的數(shù)字內(nèi)容數(shù)據(jù)，利用接收到的數(shù)字內(nèi)容數(shù)據(jù)中的至少一些來生成觸覺數(shù)據(jù)，對觸覺數(shù)據(jù)編碼以便通過通信網(wǎng)絡(luò)來高效傳送，將經(jīng)編碼的觸覺數(shù)據(jù)與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用，把用于對經(jīng)編碼的觸覺數(shù)據(jù)解碼的信息嵌入在復(fù)用的數(shù)據(jù)流的元數(shù)據(jù)中，以及通過通信網(wǎng)絡(luò)發(fā)送復(fù)用的數(shù)據(jù)流。該方法可包括分析觸覺數(shù)據(jù)以確定觸覺數(shù)據(jù)的至少一個特性，并且對觸覺數(shù)據(jù)編碼可包括基于所確定的特性來對觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
【專利說明】用于觸覺數(shù)據(jù)編碼和流傳輸?shù)姆椒ê拖到y(tǒng)
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2013年5月24日遞交的標(biāo)題為“System and Method of HapticMedia Encoding”的美國臨時專利申請61/827，341號、2013年9月6日遞交的標(biāo)題為“Haptic Content Creat1n, Distribut1n and Playback Solut1n” 的美國臨時專利申請 61/874，920 號以及 2013 年 11 月 21 日遞交的標(biāo)題為 “Method and System for HapticData Encoding and Streaming”的美國臨時專利申請61/907，318號的優(yōu)先權(quán)權(quán)益,所有這些申請的內(nèi)容都通過引用被全部并入在此。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及用于將觸覺流(haptic stream)作為數(shù)字內(nèi)容的一部分進(jìn)行編碼以便存儲和/或通過網(wǎng)絡(luò)傳送的系統(tǒng)和方法。

【背景技術(shù)】
[0004]隨著越來越多地使用觸覺效果來增強(qiáng)用戶在眾多的數(shù)字內(nèi)容應(yīng)用中的體驗，希望高效地存儲觸覺數(shù)據(jù)和/或?qū)⒂|覺數(shù)據(jù)與其他數(shù)字內(nèi)容(例如多媒體數(shù)據(jù))一起通過網(wǎng)絡(luò)傳送。觸覺數(shù)據(jù)流通常是以原始脈沖碼調(diào)制(pulse code modulat1n, “PCM”)數(shù)據(jù)格式來表示的。為了通過網(wǎng)絡(luò)(有線或無線)以8000樣本每秒對以8比特采樣的觸覺數(shù)據(jù)進(jìn)行流傳輸，在帶寬上應(yīng)當(dāng)傳送64千比特(8KB)每秒或者說額外的SKBps。然而，在流中會存在靜默時段，即沒有流傳輸觸覺數(shù)據(jù)的時段，這會因為通過網(wǎng)絡(luò)流傳輸零或不必要數(shù)據(jù)而浪費時間和帶寬，并且對于內(nèi)容分發(fā)者和終端用戶都不是理想的。觸覺數(shù)據(jù)流的存儲面臨著相同的挑戰(zhàn)。
[0005]對于數(shù)字內(nèi)容流傳輸，自適應(yīng)比特率流傳輸是在通過數(shù)字網(wǎng)絡(luò)流傳輸或傳送大量數(shù)據(jù)時改變音頻/視頻信號的質(zhì)量的常見做法。這樣做是為了使得通過適應(yīng)于變化的網(wǎng)絡(luò)速度和/或擁塞，音頻和視頻信號的平滑流傳輸或重放仍然可行。例如，如果視頻在以非常高的質(zhì)量流傳輸，然后通過其來流傳輸?shù)木W(wǎng)絡(luò)經(jīng)歷了嚴(yán)重的網(wǎng)絡(luò)擁塞，或者下載速度突然變得更慢，則流傳輸服務(wù)器仍可發(fā)送數(shù)據(jù)，但將發(fā)送更低質(zhì)量數(shù)據(jù)以節(jié)約網(wǎng)絡(luò)帶寬。一旦擁塞已得到緩和并且網(wǎng)絡(luò)速度已增大，發(fā)送的數(shù)據(jù)就將具有更高質(zhì)量，因為網(wǎng)絡(luò)帶寬更自由可用了。這可通過以多個比特率對數(shù)據(jù)編碼以使得要傳送的數(shù)據(jù)的量少得多來完成。
[0006]觸覺信號如果只單純是波形則可被解讀為音頻信號。然而，簡單地像對待音頻信號那樣對待觸覺信號并且以多個比特率對觸覺信號轉(zhuǎn)碼可能不會提供太多空間來使質(zhì)量適應(yīng)于各種網(wǎng)絡(luò)速度。高質(zhì)量觸覺信號可被認(rèn)為具有8kHz的采樣率，對于音頻信號這被認(rèn)為是非常低的采樣率并且將是低質(zhì)量信號。通過簡單地降低觸覺信號的質(zhì)量，可引出完全不同的用戶體驗，并且通過就任意去除同一流的比特來降低質(zhì)量可導(dǎo)致意外的紋理和信號的清晰性的消失。


【發(fā)明內(nèi)容】

[0007]希望提供允許更高效地存儲和/或通過網(wǎng)絡(luò)傳送觸覺數(shù)據(jù)的觸覺數(shù)據(jù)編碼方案。
[0008]根據(jù)本發(fā)明的一個方面，提供了一種方法，包括:接收包括音頻數(shù)據(jù)和/或視頻數(shù)據(jù)的數(shù)字內(nèi)容數(shù)據(jù)；利用接收到的數(shù)字內(nèi)容數(shù)據(jù)中的至少一些來生成觸覺數(shù)據(jù)；對觸覺數(shù)據(jù)編碼以便通過通信網(wǎng)絡(luò)來高效傳送；將經(jīng)編碼的觸覺數(shù)據(jù)與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用；把用于對經(jīng)編碼的觸覺數(shù)據(jù)解碼的信息嵌入在復(fù)用的數(shù)據(jù)流的元數(shù)據(jù)中；以及通過通信網(wǎng)絡(luò)發(fā)送復(fù)用的數(shù)據(jù)流。
[0009]在一實施例中，該方法可以是一種由計算機(jī)實現(xiàn)的方法，用于豐富關(guān)于觸覺數(shù)據(jù)的用戶數(shù)字內(nèi)容體驗，并且可實現(xiàn)在具有處理器的計算設(shè)備上，其中該處理器被編碼有計算機(jī)程序模塊。該由計算機(jī)實現(xiàn)的方法可將觸覺數(shù)據(jù)與其他數(shù)字內(nèi)容數(shù)據(jù)一起通過通信網(wǎng)絡(luò)傳送以便終端用戶體驗在耦合到網(wǎng)絡(luò)的終端用戶設(shè)備上生成的觸覺效果。
[0010]在一實施例中，該方法包括分析觸覺數(shù)據(jù)以確定觸覺數(shù)據(jù)的至少一個特性，并且對觸覺數(shù)據(jù)編碼包括基于所確定的特性來對觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
[0011]在一實施例中，預(yù)定義的標(biāo)準(zhǔn)包括具有最少數(shù)目的比特的輸出經(jīng)編碼觸覺比特流。
[0012]在一實施例中，該方法包括從終端用戶設(shè)備接收該終端用戶設(shè)備的端點配置，并且預(yù)定義的標(biāo)準(zhǔn)包括保留觸覺數(shù)據(jù)的與接收到的終端用戶設(shè)備的端點配置相對應(yīng)的頻率范圍。
[0013]在一實施例中，對觸覺數(shù)據(jù)編碼包括基于所確定的特性從預(yù)定編碼器的列表中選擇編碼器并應(yīng)用所選擇的編碼器來變換觸覺數(shù)據(jù)。
[0014]在一實施例中，預(yù)定編碼器的列表包括高級音頻編碼編碼器和/或自由無損音頻編碼器。
[0015]在一實施例中，觸覺數(shù)據(jù)的特性包括用于基于觸覺數(shù)據(jù)生成觸覺效果的觸覺輸出設(shè)備的一種或多種類型、觸覺數(shù)據(jù)的打算用例、觸覺數(shù)據(jù)的量值、觸覺數(shù)據(jù)的頻率、以及觸覺數(shù)據(jù)中的靜默的長度。
[0016]在一實施例中，觸覺輸出設(shè)備的類型包括由以下各項構(gòu)成的組中的一個或多個:偏心旋轉(zhuǎn)質(zhì)量致動器、線性諧振致動器、壓電致動器。
[0017]在一實施例中，觸覺數(shù)據(jù)的打算用例是從由音樂、電影和游戲構(gòu)成的組中選擇的。
[0018]在一實施例中，對觸覺數(shù)據(jù)編碼包括向觸覺數(shù)據(jù)應(yīng)用預(yù)定編碼器的列表中的每一個以生成經(jīng)編碼觸覺數(shù)據(jù)流的相應(yīng)列表，以及利用預(yù)定義的標(biāo)準(zhǔn)來從經(jīng)編碼觸覺數(shù)據(jù)流的列表中選擇一經(jīng)編碼觸覺數(shù)據(jù)流。
[0019]在一實施例中，對觸覺數(shù)據(jù)編碼包括對于密度因子的預(yù)定列表對觸覺數(shù)據(jù)編碼以生成多個經(jīng)編碼觸覺數(shù)據(jù)流，每個經(jīng)編碼觸覺數(shù)據(jù)流對應(yīng)于密度因子的預(yù)定列表的一密度因子，并且該方法包括通過通信網(wǎng)絡(luò)從終端用戶設(shè)備接收網(wǎng)絡(luò)帶寬信息，并且基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子選擇經(jīng)編碼觸覺數(shù)據(jù)流之一來與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用。
[0020]在一實施例中，多個經(jīng)編碼數(shù)據(jù)流中的第一經(jīng)編碼數(shù)據(jù)流對應(yīng)于密度因子的預(yù)定列表的第一密度因子，并且多個經(jīng)編碼數(shù)據(jù)流中的第二經(jīng)編碼數(shù)據(jù)流對應(yīng)于密度因子的預(yù)定列表的第二密度因子，并且其中第二經(jīng)編碼數(shù)據(jù)流包括比第一數(shù)據(jù)流更多的觸覺數(shù)據(jù)并且第二密度因子大于第一密度因子。
[0021]在一實施例中，該方法包括檢測網(wǎng)絡(luò)帶寬信息的變化，基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子來選擇經(jīng)編碼觸覺數(shù)據(jù)流中的不同一個，以及將所選擇的經(jīng)編碼數(shù)據(jù)流中的不同一個發(fā)送到終端用戶設(shè)備。
[0022]根據(jù)本發(fā)明的一個方面，提供了一種系統(tǒng)，其包括處理器，該處理器被配置為:接收包括音頻數(shù)據(jù)和/或視頻數(shù)據(jù)的數(shù)字內(nèi)容數(shù)據(jù)，利用接收到的數(shù)字內(nèi)容數(shù)據(jù)中的至少一些來生成觸覺數(shù)據(jù)，對觸覺數(shù)據(jù)編碼以便通過通信網(wǎng)絡(luò)來高效傳送，將經(jīng)編碼的觸覺數(shù)據(jù)與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用，把用于對經(jīng)編碼的觸覺數(shù)據(jù)解碼的信息嵌入在復(fù)用的數(shù)據(jù)流的元數(shù)據(jù)中，以及通過通信網(wǎng)絡(luò)發(fā)送復(fù)用的數(shù)據(jù)流。該系統(tǒng)包括用戶設(shè)備，該用戶設(shè)備被配置為通過通信網(wǎng)絡(luò)接收復(fù)用的經(jīng)編碼觸覺數(shù)據(jù)和數(shù)字內(nèi)容數(shù)據(jù)。該用戶設(shè)備包括被配置為基于觸覺數(shù)據(jù)輸出觸覺效果的觸覺輸出設(shè)備。
[0023]在一實施例中，處理器還被配置為分析觸覺數(shù)據(jù)以確定觸覺數(shù)據(jù)的至少一個特性，并且基于所確定的特性來對觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
[0024]在一實施例中，處理器被配置為從用戶設(shè)備接收用戶設(shè)備的端點配置，并且預(yù)定義的標(biāo)準(zhǔn)包括保留觸覺數(shù)據(jù)的與接收到的終端用戶設(shè)備的端點配置相對應(yīng)的頻率范圍。
[0025]在一實施例中，處理器被配置為基于所確定的特性從預(yù)定編碼器的列表中選擇編碼器并應(yīng)用所選擇的編碼器來變換觸覺數(shù)據(jù)。
[0026]在一實施例中，處理器被配置為向觸覺數(shù)據(jù)應(yīng)用預(yù)定編碼器的列表中的每一個以生成經(jīng)編碼觸覺數(shù)據(jù)流的相應(yīng)列表，并且利用預(yù)定義的標(biāo)準(zhǔn)來從經(jīng)編碼觸覺數(shù)據(jù)流的列表中選擇一經(jīng)編碼觸覺數(shù)據(jù)流。
[0027]在一實施例中，處理器被配置為對于密度因子的預(yù)定列表對觸覺數(shù)據(jù)編碼以生成多個經(jīng)編碼觸覺數(shù)據(jù)流，每個經(jīng)編碼觸覺數(shù)據(jù)流對應(yīng)于密度因子的預(yù)定列表的一密度因子，通過通信網(wǎng)絡(luò)從終端用戶設(shè)備接收網(wǎng)絡(luò)帶寬信息，并且基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子選擇經(jīng)編碼觸覺數(shù)據(jù)流之一來與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用。
[0028]在一實施例中，處理器被配置為檢測網(wǎng)絡(luò)帶寬信息的變化，基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子來選擇經(jīng)編碼觸覺數(shù)據(jù)流中的不同一個，并且將所選擇的經(jīng)編碼數(shù)據(jù)流中的不同一個發(fā)送到終端用戶設(shè)備。
[0029]在參考附圖考慮接下來的描述和所附權(quán)利要求后，本技術(shù)的這些和其他特征和特性以及操作的方法和結(jié)構(gòu)的相關(guān)元素的功能以及部件的組合和制造的組織將變得更加清楚，其中所有附圖都形成本說明書的一部分，其中相似的標(biāo)號在各幅圖中指示相應(yīng)的部件。然而，要明確理解，附圖只是用于圖示和描述的，而并不打算作為對本發(fā)明的范圍的限定。按照說明書中和權(quán)利要求中使用的，“一”和“該”的單數(shù)形式包括多數(shù)指稱，除非上下文另有明確規(guī)定。

【專利附圖】

【附圖說明】
[0030]圖1圖示了用于在本地或遠(yuǎn)程創(chuàng)建并編碼要與其他多媒體數(shù)據(jù)一起播放的觸覺數(shù)據(jù)的方法的示例；
[0031]圖2圖示了用于與其他經(jīng)編碼的多媒體數(shù)據(jù)同步地解碼并顯示觸覺數(shù)據(jù)的方法的實施例；
[0032]圖3圖示了用于通過通信網(wǎng)絡(luò)將經(jīng)編碼的觸覺數(shù)據(jù)與多媒體數(shù)據(jù)一起傳送的系統(tǒng)的實施例；
[0033]圖4圖示了存儲用于觸覺數(shù)據(jù)的創(chuàng)建的不同簡檔(profile)的數(shù)據(jù)結(jié)構(gòu)的實施例；
[0034]圖5圖示了一種用戶可選擇方法的實施例，其中基于端點和用例來生成觸覺數(shù)據(jù)；
[0035]圖6圖示了一種自動檢測方法的實施例，其中基于端點和用例來生成觸覺數(shù)據(jù)；
[0036]圖7圖示了用于對觸覺數(shù)據(jù)流編碼以便通過網(wǎng)絡(luò)傳送的方法的實施例；
[0037]圖8A-8C圖示了具有不同密度因子的觸覺信號的實施例；
[0038]圖9圖示了用于自適應(yīng)觸覺密度轉(zhuǎn)碼的方法的實施例；
[0039]圖10圖示了隨著時間的流逝與可用網(wǎng)絡(luò)帶寬相關(guān)操作的自適應(yīng)密度轉(zhuǎn)碼的實施例；
[0040]圖11圖示了用于MP4文件內(nèi)的音頻數(shù)據(jù)的句柄結(jié)構(gòu)的實施例；
[0041]圖12圖示了用于MP4文件內(nèi)的視頻數(shù)據(jù)的句柄結(jié)構(gòu)的實施例；
[0042]圖13圖示了用于MP4文件內(nèi)的觸覺數(shù)據(jù)的句柄結(jié)構(gòu)的實施例；
[0043]圖14圖示了 MP4文件中的音頻、視頻和觸覺數(shù)據(jù)頭部的實施例；
[0044]圖15圖示了對于MP4文件中的觸覺數(shù)據(jù)的有效設(shè)定的實施例；并且
[0045]圖16圖示了對于MP4文件中的觸覺數(shù)據(jù)的無效設(shè)定的實施例。

【具體實施方式】
[0046]本發(fā)明的實施例涉及用于將觸覺數(shù)據(jù)作為數(shù)字內(nèi)容的一部分來生成、傳送和/或存儲以豐富消費數(shù)字內(nèi)容時的用戶體驗的系統(tǒng)和方法。按照本文使用的，“數(shù)字內(nèi)容”指的是能夠傳送和在非暫態(tài)存儲介質(zhì)上存儲的信息，并且可包括例如音頻和/或視頻數(shù)據(jù)。這樣，數(shù)字內(nèi)容包括利用各種文件格式編碼的信息和/或能夠傳送和在非暫態(tài)存儲介質(zhì)上存儲的其他未編碼的內(nèi)容。
[0047]在一實施例中，可能希望向多媒體數(shù)據(jù)的重放添加觸覺效果。圖1根據(jù)本發(fā)明一實施例圖示了用于在本地或遠(yuǎn)程創(chuàng)建并編碼最終要與其他數(shù)字內(nèi)容一起播放的觸覺數(shù)據(jù)的方法100。如圖所示，方法100包括源多媒體處理階段110、音頻到觸覺轉(zhuǎn)換階段120、觸覺編碼階段130、復(fù)用階段140和多媒體交織階段150。
[0048]在一實施例中，可從多媒體數(shù)據(jù)流的音頻數(shù)據(jù)創(chuàng)建觸覺數(shù)據(jù)?？稍谠炊嗝襟w處理階段110期間提取音頻數(shù)據(jù)，并且如下文更詳細(xì)說明的，可在音頻到觸覺轉(zhuǎn)換階段120期間將音頻數(shù)據(jù)轉(zhuǎn)換成原始觸覺數(shù)據(jù)流。在觸覺編碼階段130期間可對原始觸覺數(shù)據(jù)進(jìn)一步編碼，以使得觸覺數(shù)據(jù)的傳送或存儲將需要更少的網(wǎng)絡(luò)帶寬或更少的存儲空間。在復(fù)用階段140期間，經(jīng)編碼的觸覺數(shù)據(jù)加入源多媒體數(shù)據(jù)流，使得經(jīng)編碼的觸覺數(shù)據(jù)和源多媒體數(shù)據(jù)可在多媒體交織階段150被交織。
[0049]在一實施例中，在階段110期間從多媒體數(shù)據(jù)中提取的音頻數(shù)據(jù)可以就是原始數(shù)據(jù)，例如在PCM格式的比特流中。在一實施例中，音頻數(shù)據(jù)可能已經(jīng)被編碼，例如利用高級音頻編碼(Advanced Aud1 Coding, AAC)編碼器來編碼。在后一種情況中，經(jīng)編碼的音頻數(shù)據(jù)可首先被解碼，這或者作為階段110的最后一步，或者作為階段120期間的第一步。在一實施例中，在階段130期間使用的觸覺數(shù)據(jù)可不從多媒體數(shù)據(jù)110中包含的音頻數(shù)據(jù)生成,而可改為來自不同的來源,例如來自原始觸覺數(shù)據(jù)存儲125，如圖1中所示。在一實施例中，取代音頻數(shù)據(jù)或者除了音頻數(shù)據(jù)以外，視頻數(shù)據(jù)可用于在上述方法100中生成觸覺數(shù)據(jù)。例如，某些視頻數(shù)據(jù)轉(zhuǎn)變，例如閃電場景，可用作對要提供給用戶的觸覺效果的觸發(fā)，使得用戶可體驗到與閃電場景相關(guān)聯(lián)的隆隆雷聲的感覺。
[0050]圖2根據(jù)本發(fā)明一實施例圖示了用于與其他經(jīng)編碼的多媒體數(shù)據(jù)同步地解碼并顯示觸覺數(shù)據(jù)的方法200。在一實施例中，解復(fù)用器204可首先在將要播放交織的多媒體數(shù)據(jù)202的終端設(shè)備處將交織的多媒體數(shù)據(jù)流202分離成不同的數(shù)據(jù)流，其中包括音頻數(shù)據(jù)流206、視頻數(shù)據(jù)流208和觸覺數(shù)據(jù)流210。在一實施例中，解碼器/同步器212可包含一個或多個音頻解碼器、一個或多個視頻解碼器和一個或多個觸覺解碼器(未圖示)。經(jīng)解碼的音頻數(shù)據(jù)和視頻數(shù)據(jù)可被發(fā)送到音頻/視頻渲染器214 (例如揚(yáng)聲器和顯示屏幕)以便重放。經(jīng)解碼的觸覺數(shù)據(jù)流216可被發(fā)送到一個或多個觸覺輸出設(shè)備，例如設(shè)備H1、H2、H3、H4和/或H5，以便與音頻和視頻數(shù)據(jù)同步地顯示。
[0051]在一實施例中，觸覺輸出設(shè)備ΗΡ..Η5可由至少一個端點處理器218、振動幅度調(diào)制器220、振動渲染器224和至少一個致動器226構(gòu)成。也可使用其他信號處理設(shè)備222來更改由(一個或多個)端點處理器輸出的(一個或多個)信號。圖示的實施例不打算以任何方式進(jìn)行限定。
[0052]按照本文提到的，“觸覺輸出設(shè)備”可包括致動器，例如電磁致動器、宏觀復(fù)合纖維致動器、靜電致動器、電觸感致動器和/或另外類型的提供諸如觸覺(例如振動觸感)反饋之類的物理反饋的致動器，其中電磁致動器例如是其中由電機(jī)來移動偏心質(zhì)量的偏心旋轉(zhuǎn)質(zhì)量(Eccentric Rotating Mass, “ERM”)，其中來回驅(qū)動附著于彈簧的質(zhì)量的線性諧振致動器(Linear Resonant Actuator, “LRA”)，或者諸如壓電材料、電活性聚合物或形狀記憶合金之類的“智能材料”。觸覺輸出設(shè)備可包括非機(jī)械或非振動設(shè)備，例如使用靜電摩擦(electrostatic frict1n, “ESF，，)、超聲表面摩擦(ultrasonic surface frict1n,“USF”)的那些，或者以超聲觸覺換能器誘發(fā)聲輻射壓力的那些，或者使用觸覺基底和柔性或可變形表面的那些，或者提供投射的觸覺輸出——例如利用空氣噴嘴提供一陣空氣——的那些，等等。觸覺輸出設(shè)備的這種實現(xiàn)方式是本領(lǐng)域普通技術(shù)人員已知的，因此在本文中不作更詳細(xì)論述。
[0053]圖3圖示了用于通過通信網(wǎng)絡(luò)將經(jīng)編碼的觸覺數(shù)據(jù)與多媒體數(shù)據(jù)一起傳送的系統(tǒng)300的實施例。如圖所示，系統(tǒng)300包括處理器310、遠(yuǎn)程存儲裝置330、終端用戶設(shè)備334,336和338以及連接處理器310、遠(yuǎn)程存儲裝置330和終端用戶設(shè)備334、336、338的一個或多個通信網(wǎng)絡(luò)332。在一實施例中，除了遠(yuǎn)程存儲裝置330以外或者取代遠(yuǎn)程存儲裝置330，處理器310可包括其自己的電子存儲裝置328。在一實施例中，遠(yuǎn)程存儲裝置330也可包括處理器329和非暫態(tài)存儲介質(zhì)331。處理器329可維護(hù)數(shù)字內(nèi)容數(shù)據(jù)庫和終端用戶設(shè)備334、336、338的簡檔信息，如下文聯(lián)系圖4更詳細(xì)描述。
[0054]處理器310可以是通用或?qū)Ｓ锰幚砥骰蛭⒖刂破?，用于管理或控制系統(tǒng)300的操作和功能。在一實施例中，處理器310可被具體設(shè)計為專用集成電路(“ASIC”)，其被嵌入在例如終端用戶設(shè)備334中并且被配置為通過終端用戶設(shè)備334中的觸覺輸出設(shè)備提供觸覺效果以增強(qiáng)用戶對在終端用戶設(shè)備334上播放的電影的享受。在一實施例中，處理器310還可被配置為基于預(yù)定的因素來確定基于通過(一個或多個)通信網(wǎng)絡(luò)332從另一遠(yuǎn)程終端用戶設(shè)備336接收的反饋要生成什么觸覺效果，然后例如提供可用于驅(qū)動終端用戶設(shè)備336上的觸覺輸出設(shè)備的流傳輸命令。網(wǎng)絡(luò)332可包括有線或無線連接。在本發(fā)明的一些方面中，網(wǎng)絡(luò)可包括例如因特網(wǎng)、內(nèi)聯(lián)網(wǎng)、PAN(個人區(qū)域網(wǎng))、LAN(局域網(wǎng))、WAN(廣域網(wǎng))、SAN(存儲區(qū)域網(wǎng))、MAN(城域網(wǎng))、無線網(wǎng)絡(luò)、蜂窩通信網(wǎng)絡(luò)、公共交換電話網(wǎng)和/或其他網(wǎng)絡(luò)中的任何一個或多個。
[0055]例如，通信網(wǎng)絡(luò)332可以是⑶N(內(nèi)容分發(fā)網(wǎng)絡(luò))，其通常用于分發(fā)內(nèi)容(例如網(wǎng)站、視頻、音樂等等)以使得能夠從全球?qū)@種資源或內(nèi)容進(jìn)行快得多的訪問。⑶N利用世界各地的邊緣(Edge)服務(wù)器來實質(zhì)上鏡像被頻繁訪問的內(nèi)容，并且還自動管理邊緣服務(wù)器上的內(nèi)容的生命周期。實際資源(或稱為資產(chǎn)(asset))或內(nèi)容通常是在更永久的起源服務(wù)器上存儲和更新的，并且⑶N根據(jù)需要自動訪問這些資源和內(nèi)容，并且將它們鏡像到適當(dāng)?shù)倪吘壏?wù)器。
[0056]在一實施例中，處理器310可包括多個處理器,其中每個被配置為在系統(tǒng)300內(nèi)執(zhí)行某些功能。在一實施例中，處理器310可被配置為執(zhí)行一個或多個計算機(jī)程序模塊。這一個或多個計算機(jī)程序模塊可包括至少一個多媒體模塊312、一個或多個觸覺編碼模塊314、用戶界面模塊324和通信模塊326。在一實施例中，觸覺編碼模塊314可包括音頻到觸覺轉(zhuǎn)換模塊316、觸覺壓縮模塊318、觸覺密度轉(zhuǎn)碼模塊320和多媒體組裝模塊322。例如，多媒體組裝模塊322可被配置為根據(jù)MP4容器格式來組裝包括音頻、視頻和觸覺數(shù)據(jù)的多媒體數(shù)據(jù)流，如圖3中所示。在一實施例中，本地存儲裝置328和遠(yuǎn)程存儲裝置330可用于存儲觸覺的不同用例的各種簡檔并且在壓縮前和壓縮后存儲所生成的觸覺數(shù)據(jù)流，如下文更詳細(xì)論述。
[0057]雖然模塊312-326在圖3中被示為共同位于單個處理單元310內(nèi)，但在處理器310包括多個處理單元的實施例中，模塊312-326中的一個或多個可位于其他模塊的遠(yuǎn)程。下文更詳細(xì)描述的不同模塊312-326提供的功能的描述是用于說明的，而并不打算進(jìn)行限定，因為模塊312-326中的任何一個可提供與所描述的相比更多或更少的功能。例如，模塊312-326中的一個或多個可被消除，并且其功能中的一些或全部可由模塊312-326中的其他一些來提供。又例如，處理器310可被配置為執(zhí)行一個或多個額外的模塊，這些模塊可執(zhí)行下文歸屬于模塊312-326之一的功能中的一些或全部。模塊312-326的功能和操作在下文更詳細(xì)描述。
[0058]自適應(yīng)音頻到觸覺轉(zhuǎn)換
[0059]如上所述，存在各種類型的觸覺輸出設(shè)備可用于顯示或重放觸覺數(shù)據(jù)。為每種類型的觸覺輸出設(shè)備具體定制的音頻到觸覺算法，以及不同類型的觸覺輸出設(shè)備和不同的音頻到觸覺算法可產(chǎn)生具有不同特性的觸覺數(shù)據(jù)流。維護(hù)用于觸覺數(shù)據(jù)生成的音頻到觸覺轉(zhuǎn)換算法的包括為每種類型的觸覺輸出設(shè)備并針對特定的終端用戶設(shè)備具體定制的特定音頻到觸覺轉(zhuǎn)換算法的列表可隨著音頻到觸覺轉(zhuǎn)換算法和觸覺輸出設(shè)備的數(shù)目增加而變得難以維護(hù)。
[0060]在一實施例中，一般包括音頻到觸覺轉(zhuǎn)換算法的終端用戶設(shè)備中包括的每種類型的觸覺輸出設(shè)備可被視為一端點，并且用于該觸覺輸出設(shè)備的每個算法可被視為目標(biāo)在于給出特定體驗的簡檔。本發(fā)明的實施例允許了系統(tǒng)自動檢測觸覺輸出設(shè)備的類型，以及可用于改變音頻到觸覺轉(zhuǎn)換簡檔的任何額外因素。在系統(tǒng)的一實施例中，用戶還可選擇在給定用例期間其希望哪些簡檔是活化的。
[0061]本發(fā)明的實施例可通過僅讓一開發(fā)者為每個端點(即觸覺輸出設(shè)備)編譯所有可用算法最多一次來節(jié)省編譯時間。存在不同的情形，其中用戶可能想要不同的體驗，使得設(shè)備上一次一個算法可能不夠。音頻到觸覺自動轉(zhuǎn)換算法對于音樂與對于電影可能是不同的，并且與對于游戲等等也可能是不同的。終端用戶設(shè)備中的(一個或多個)端點(即(一個或多個)觸覺輸出設(shè)備)通常是固定的，但本文描述的實施例允許終端用戶設(shè)備基于應(yīng)用焦點、基于傳感器的數(shù)據(jù)和環(huán)境因素來適應(yīng)性地改變其行為。
[0062]圖4圖示了用于生成觸覺數(shù)據(jù)的不同簡檔的數(shù)據(jù)庫400的實施例。在一實施例中，簡檔可被存儲在電子存儲裝置328中。在一實施例中，可根據(jù)其用例來組織簡檔，例如電影用例410、音樂用例420和游戲用例430。在電影用例410中，觸覺效果打算供終端用戶在觀看電影或諸如電視節(jié)目或廣告之類的任何其他視頻的同時體驗。在音樂用例420中，觸覺效果打算供終端用戶在聆聽音樂的同時體驗。類似地，在游戲用例430中，觸覺效果打算供終端用戶在玩游戲的同時體驗。
[0063]基于用例來組織簡檔可能是有利的，因為在每個不同的用例中，用戶可能想要不同的觸覺體驗。理想情況下，觸覺效果對于音樂與對于電影可能是不同的，并且與對于游戲等等也可能是不同的。在每個用例內(nèi)，可為每個端點(即，一般具有音頻到觸覺轉(zhuǎn)換算法的終端用戶設(shè)備上的觸覺輸出設(shè)備)存儲簡檔。例如，對于電影用例410，對于具有具體用于壓電致動器的音頻到觸覺轉(zhuǎn)換算法的終端用戶設(shè)備334存儲簡檔412，對于具有ERM致動器和相應(yīng)的音頻到觸覺轉(zhuǎn)換算法的終端用戶設(shè)備336存儲簡檔414，并且對于具有LRA和相應(yīng)的音頻到觸覺轉(zhuǎn)換算法的終端用戶設(shè)備338存儲簡檔416。對于音樂用例420，對于具有壓電致動器的終端用戶設(shè)備334存儲簡檔422，對于包括ERM致動器的終端用戶設(shè)備336存儲簡檔424，并且對于包括LRA的終端用戶設(shè)備338存儲簡檔426。類似地，對于其中觸覺輸出設(shè)備是壓電致動器的游戲用例430存儲簡檔432，對于游戲用例和ERM致動器存儲簡檔434，并且對于游戲用例和LRA存儲簡檔436。在一實施例中，單個終端用戶設(shè)備可包含多于一個端點。
[0064]本發(fā)明的實施例可通過讓所有可用簡檔算法對于每個端點被離線或?qū)崟r地編譯最多一次來節(jié)省編譯時間。此外，本發(fā)明的實施例允許了端點基于應(yīng)用焦點、基于傳感器的數(shù)據(jù)和環(huán)境因素來適應(yīng)性地改變其行為，雖然單個設(shè)備中的端點(觸覺輸出設(shè)備)可不被改變。
[0065]在一實施例中，系統(tǒng)300可自動檢測觸覺輸出設(shè)備的類型和額外的因素。例如，音頻到觸覺模塊316可經(jīng)由通信網(wǎng)絡(luò)332通過通信模塊326與終端用戶設(shè)備334通信以確定終端用戶設(shè)備334具有的(一個或多個)觸覺輸出設(shè)備的類型，這些類型可用于改變音頻到觸覺轉(zhuǎn)換簡檔。在一實施例中，終端用戶設(shè)備336的用戶可通過用戶界面模塊324經(jīng)由通信網(wǎng)絡(luò)332與觸覺編碼模塊314通信以選擇在給定用例期間其希望哪些簡檔是活化的。
[0066]圖5圖示了音頻到觸覺模塊316的一種用戶可選擇實施例，其中觸覺數(shù)據(jù)是基于端點和用例來生成的。在此實施例中，在502，音頻到觸覺模塊316把所有可用的音頻到觸覺算法預(yù)存儲在圖4所示的數(shù)據(jù)庫400中?？梢园从脩艨衫斫獾姆绞絹順?biāo)識每個音頻到觸覺算法。這可經(jīng)由音頻到觸覺設(shè)定應(yīng)用/活動或者單獨的應(yīng)用/活動來完成。
[0067]當(dāng)想要向在終端用戶設(shè)備處要播放的數(shù)字內(nèi)容添加觸覺效果時，在504，音頻到觸覺模塊316基于請求的信息或者用戶輸入來確定用例。在一實施例中，音頻到觸覺模塊316還可在用例確定步驟504期間檢查哪個應(yīng)用在前臺或后臺運(yùn)行，以使得設(shè)備可重配置音頻到觸覺模塊316以執(zhí)行用戶選擇的音頻到觸覺算法。
[0068]在506，音頻到觸覺模塊316確定作出請求的終端用戶設(shè)備的端點配置。在一實施例中，音頻到觸覺模塊316可以簡單地通過經(jīng)由用戶界面模塊324獲得用戶輸入來作出該確定。在一實施例中，音頻到觸覺模塊316可以在電子存儲裝置328中存儲的注冊終端用戶設(shè)備數(shù)據(jù)庫中查找來獲得端點配置。在一實施例中，音頻到觸覺模塊316可經(jīng)由通信模塊326與作出請求的終端用戶設(shè)備通信來獲得端點配置。在一實施例中，終端用戶設(shè)備可具有多個端點以便顯示不同類型的觸覺效果。例如，終端用戶設(shè)備338可具有LRA、壓電致動器和ERM致動器。
[0069]在獲得了關(guān)于用例和端點配置兩者的信息之后，在508，音頻到觸覺模塊316可識別(一個或多個)用戶選擇的簡檔。在一實施例中，這可通過使用數(shù)據(jù)庫400中的查找表來實現(xiàn)，如圖4中所示。
[0070]基于端點的配置和(一個或多個)用戶選擇簡檔，在512，音頻到觸覺模塊316可配置自身來向音頻數(shù)據(jù)510應(yīng)用(一個或多個)適當(dāng)?shù)乃惴ú⑸稍加|覺數(shù)據(jù)514。例如，如果用戶擁有具有LRA的設(shè)備并且對于音樂重放選擇了“低音加重”簡檔，則當(dāng)音樂在播放時，音頻到觸覺模塊316理解到這是音樂用例，并且選擇為LRA具體創(chuàng)建的簡檔416之中的“低音加重”處理算法(例如，僅低頻)。如果設(shè)備具有壓電致動器或ERM致動器而不是LRA，則將從用于這些端點中的任一個的簡檔410、414中選擇相應(yīng)的算法。
[0071]在一實施例中，處理器310可包括觸覺到觸覺模塊(未示出)，該模塊被配置為應(yīng)用適當(dāng)?shù)乃惴▉韺⒋蛩阌糜谝粋€端點的原始觸覺數(shù)據(jù)514轉(zhuǎn)換成用于另一端點的原始觸覺數(shù)據(jù)。例如，觸覺到觸覺模塊可將為LRA生成的原始觸覺數(shù)據(jù)514轉(zhuǎn)換成用于壓電致動器的觸覺數(shù)據(jù)，或者反之。這種觸覺到觸覺信號轉(zhuǎn)換可在觸覺數(shù)據(jù)被編碼時或者在觸覺數(shù)據(jù)在終端用戶設(shè)備處被解碼時完成。
[0072]圖6圖示了音頻到觸覺模塊316的一種自動檢測實施例600，其中在沒有用戶指定音頻到觸覺算法的情況下基于端點和用例生成觸覺數(shù)據(jù)。在610，音頻到觸覺模塊316可在數(shù)字內(nèi)容播放應(yīng)用被安裝在終端用戶設(shè)備(或系統(tǒng)300)上時注冊該應(yīng)用的信息。這種應(yīng)用的示例包括音頻播放器、視頻播放器或游戲機(jī)。在612，音頻到觸覺模塊316可注冊環(huán)境因素，例如可由終端用戶設(shè)備或系統(tǒng)上的(一個或多個)傳感器測量的因素。例如，終端用戶設(shè)備周圍的照明(例如亮或暗)、設(shè)備外部的溫度等等可被感測并用作輸入來確定在給定時間使用哪個簡檔。例如，如果判定是在低照明環(huán)境中使用設(shè)備，則用戶可能想要更明顯或更不明顯的觸覺效果。
[0073]當(dāng)想要向在終端用戶設(shè)備處要播放的數(shù)字內(nèi)容添加觸覺效果時，在614，音頻到觸覺模塊316可基于請求信息或用戶輸入來確定用例。在616，音頻到觸覺模塊316確定在其上要與多媒體數(shù)據(jù)一起顯示觸覺效果的終端用戶設(shè)備的端點配置。
[0074]在一實施例中，音頻到觸覺模塊316可通過經(jīng)由用戶界面模塊324獲得用戶輸入來作出該確定。在一實施例中，音頻到觸覺模塊316可經(jīng)由通信模塊326與作出請求的終端用戶設(shè)備(例如終端用戶設(shè)備338)通信來獲得端點配置。在一實施例中，終端用戶設(shè)備可具有多個端點以便顯示不同的觸覺效果。例如，終端用戶設(shè)備338可具有LRA、壓電致動器和/或ERM致動器。
[0075]在獲得了關(guān)于用例和端點配置兩者的信息之后，在618，音頻到觸覺模塊316可在沒有用戶選擇情況下識別要使用的適當(dāng)簡檔或轉(zhuǎn)換算法，其中考慮到了在步驟610-616期間收集和確定的所有信息。在一實施例中，這可通過使用圖4中所示的數(shù)據(jù)庫400中的查找表來實現(xiàn)。在620，音頻到觸覺模塊316隨后可配置自身來向音頻數(shù)據(jù)622應(yīng)用所確定的轉(zhuǎn)換算法并生成原始觸覺數(shù)據(jù)624。
[0076]圖6中所示的自動檢測實施例600與圖5中所示的用戶可選擇實施例500的不同之處在于用戶不必直接與系統(tǒng)300或終端用戶設(shè)備334、336、338交互來配置音頻到觸覺模塊316。在自動檢測實施例600中，音頻到觸覺模塊316可使用包括傳感器信息、用例以及終端用戶設(shè)備中的端點(觸覺輸出設(shè)備)配置在內(nèi)的外部因素來為要播放的數(shù)字內(nèi)容自適應(yīng)地選擇對于給定的特定應(yīng)用最適合的音頻到觸覺轉(zhuǎn)換算法。
[0077]在一實施例中，編碼器可為每個端點對觸覺數(shù)據(jù)編碼并復(fù)用觸覺流，并且所有觸覺流可被傳輸?shù)浇K端用戶設(shè)備。終端用戶設(shè)備可識別并提取匹配該特定終端用戶設(shè)備中的端點(觸覺輸出設(shè)備)的適當(dāng)觸覺信號。
[0078]觸覺流的可變編碼
[0079]如上所述生成的觸覺數(shù)據(jù)可被稱為原始觸覺數(shù)據(jù)流。如上所述，出于各種原因，原始觸覺數(shù)據(jù)流的存儲和/或傳送可能不是傳輸觸覺數(shù)據(jù)的最高效方式。例如，在流中可能有靜默(沒有觸覺數(shù)據(jù))的時段。
[0080]圖7圖示了用于對原始觸覺數(shù)據(jù)流編碼以便通過網(wǎng)絡(luò)傳送的方法700的實施例。在一實施例中，在702，觸覺編碼模塊314接收可由音頻到觸覺模塊316(例如，圖5的步驟514和圖6中的步驟624)和/或觸覺到觸覺模塊生成的原始觸覺數(shù)據(jù)。在704，分析觸覺數(shù)據(jù)的內(nèi)容以確定原始觸覺數(shù)據(jù)流的特性,這些特性可包括觸覺數(shù)據(jù)打算由其來播放的觸覺輸出設(shè)備的類型、原始觸覺數(shù)據(jù)的打算用例、原始觸覺數(shù)據(jù)的頻率、原始觸覺數(shù)據(jù)流中的靜默的長度、原始觸覺數(shù)據(jù)的幅度，等等。在706，觸覺編碼模塊314隨后可基于所確定的原始觸覺數(shù)據(jù)的特性來對原始觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
[0081]在一實施例中，在708，觸覺編碼模塊314可首先從編碼器的列表中為該特定流選擇編碼器，然后在710將所選擇的編碼器應(yīng)用到原始觸覺數(shù)據(jù)流。例如，存在許多音頻編碼器可用于出于壓縮目的對觸覺流編碼。然而，各音頻編碼器具有其優(yōu)點和缺點。例如，以上提到的AAC對于一般編碼就空間和質(zhì)量而言可能更好，而自由無損音頻編解碼器(FreeLossless Aud1 Codec, FLAC)在流具有大量靜默時可能更好?？梢允褂萌魏纹渌线m的編碼器，即除了 AAC或FLAC以外的數(shù)字信號編碼器/壓縮器。應(yīng)當(dāng)選擇適當(dāng)?shù)木幋a器來匹配所確定的原始觸覺數(shù)據(jù)流的特性以確保經(jīng)編碼的數(shù)據(jù)流的效力和效率。
[0082]在一實施例中，可以使用預(yù)定的標(biāo)準(zhǔn)來保留原始觸覺數(shù)據(jù)的與在終端用戶設(shè)備處要用于重放的觸覺輸出設(shè)備相匹配的頻率范圍，這可要求觸覺編碼模塊314訪問上文聯(lián)系圖4論述的包括預(yù)存儲的用例和端點簡檔的數(shù)據(jù)庫400。
[0083]在一實施例中，在712，觸覺編碼模塊314可利用預(yù)定編碼器的列表中的每個編碼器對原始觸覺數(shù)據(jù)流編碼，然后在714選擇具有最少數(shù)目的比特的經(jīng)編碼觸覺數(shù)據(jù)流作為編碼輸出。在一實施例中，在716，觸覺編碼模塊314隨后可存儲關(guān)于所使用的編碼器的信息和對經(jīng)編碼的觸覺數(shù)據(jù)流解碼所需要的任何其他信息。在一實施例中，經(jīng)編碼的觸覺數(shù)據(jù)流的編碼器信息可被嵌入在容器格式的元數(shù)據(jù)中。在終端用戶設(shè)備側(cè)，可將此信息解析出來，并且可使用正確的解碼器來對流解碼。例如，編碼器信息可被嵌入在MPEG4格式中的用戶私有或定制的原子中。
[0084]在一實施例中，當(dāng)原始觸覺數(shù)據(jù)要被通過通信網(wǎng)絡(luò)來流傳輸時，觸覺編碼模塊314在對原始觸覺數(shù)據(jù)編碼時還可考慮到帶寬可用性，如下文更詳細(xì)論述。
[0085]自適應(yīng)密度轉(zhuǎn)碼
[0086]在一實施例中，通過在也發(fā)送更少比特的同時利用觸覺數(shù)據(jù)流中的觸覺波形的特性，提供了一種保持觸覺信號質(zhì)量的方法。因為使用多編碼方案的目標(biāo)是對于擁塞的網(wǎng)絡(luò)傳送更少量的數(shù)據(jù)，所以本發(fā)明的實施例提供了對于觸覺數(shù)據(jù)流的自適應(yīng)密度流傳輸。密度因子可通過基于閾值向一定量的數(shù)據(jù)應(yīng)用觸覺來確定一個信號有多密集或稀疏。如果這在轉(zhuǎn)碼階段完成以利用不同密度因子對觸覺數(shù)據(jù)流編碼，則當(dāng)網(wǎng)絡(luò)帶寬不自由可用時可以用更少數(shù)據(jù)來發(fā)送觸覺，而當(dāng)有充裕的可用網(wǎng)絡(luò)帶寬時可以用更多的數(shù)據(jù)來發(fā)送觸覺。
[0087]在一實施例中，保持觸覺數(shù)據(jù)的相關(guān)且高質(zhì)量的部分，同時削減不必要的數(shù)據(jù)，以使得在給定的時刻占用更少的可用網(wǎng)絡(luò)帶寬。當(dāng)傳送數(shù)字內(nèi)容時，添加一種單獨類型的媒體來與音頻/視頻/多媒體一起流傳輸自然可影響音頻/視頻/多媒體質(zhì)量。本發(fā)明的實施例可幫助使音頻/視頻信號的質(zhì)量受影響的程度達(dá)到最低，同時以更少的開銷提供宜人的觸覺體驗。
[0088]圖8A-8C圖示了可用于對原始觸覺信號(數(shù)據(jù)流)編碼以通過網(wǎng)絡(luò)流傳輸?shù)牟煌芏纫蜃拥膶嵤├?。圖8A圖示了中等密度因子，圖8B圖示了高密度因子，并且圖8C圖示了低密度因子。圖8A-8C中的更淺陰影區(qū)域(“使用的數(shù)據(jù)”區(qū)域)指示出信號的什么部分被使用和編碼，并且圖8A和SC中的更深陰影區(qū)域(“忽略的數(shù)據(jù)”區(qū)域)指示出信號的什么部分被忽略。
[0089]例如，圖8A圖示了要利用中等密度因子編碼的原始觸覺數(shù)據(jù)信號。如果該信號表示被輸入到轉(zhuǎn)碼器中的原始觸覺數(shù)據(jù)，則轉(zhuǎn)碼器可輸出與僅“使用的數(shù)據(jù)”區(qū)域內(nèi)的信號相對應(yīng)的觸覺數(shù)據(jù)，這將是比具有高密度因子的信號中存在的數(shù)據(jù)更少的數(shù)據(jù)。圖SB圖示了要利用高密度因子來編碼的原始觸覺數(shù)據(jù)。對于網(wǎng)絡(luò)帶寬可用時的流，在轉(zhuǎn)碼中使用這種高密度因子可能是有用的，因為更多數(shù)據(jù)可在網(wǎng)絡(luò)上流傳輸。圖8C圖示了要利用低密度因子來編碼的原始觸覺數(shù)據(jù)。對于有大量網(wǎng)絡(luò)擁塞時的流，這類轉(zhuǎn)碼可能是合適的，因為輸出流將遞送更少數(shù)據(jù)比特，并且僅為相對高量值的事件發(fā)送數(shù)據(jù)。
[0090]如圖8A-8C中所示，可通過改變密度因子來調(diào)整輸出信號中出現(xiàn)的數(shù)據(jù)的量，這允許了觸覺編碼模塊314在需要時放棄信號中的某些信息，這些信息可能是不那么重要的(例如，量值低到該信號不值得播放的信號，或者觸覺信號中的可被忽略以保留帶寬的極小細(xì)節(jié))，并且在網(wǎng)絡(luò)上的更多帶寬變得可用時包括更多數(shù)據(jù)。在一實施例中，假定信號中的具有零值的數(shù)據(jù)(即，圖8A-8C中的中心線處)指示出觸覺信號中沒有什么需要被傳送。
[0091]圖9圖示了自適應(yīng)觸覺密度轉(zhuǎn)碼方法900的實施例。按照本文使用的，轉(zhuǎn)碼與原始觸覺數(shù)據(jù)的編碼是可互換的，但強(qiáng)調(diào)了編碼是用于從源(例如，流傳輸服務(wù)器)到一不同的目的地(例如，遠(yuǎn)程終端用戶設(shè)備)的轉(zhuǎn)換的。如圖所示，輸入是原始觸覺數(shù)據(jù)902，例如由音頻到觸覺模塊316生成的數(shù)據(jù)，如上所述。觸覺轉(zhuǎn)碼器904以多個比特率對原始觸覺數(shù)據(jù)902編碼，每個比特率對應(yīng)于如上文聯(lián)系圖8A-8C所述的特定密度因子。觸覺web服務(wù)器906存儲以不同密度因子編碼的觸覺比特流，并且為經(jīng)編碼的觸覺數(shù)據(jù)流維護(hù)一清單文件908。終端用戶設(shè)備912(例如圖3中的終端用戶設(shè)備334、336、338)通過網(wǎng)絡(luò)910 (或者如圖3中的332)與觸覺web服務(wù)器906通信以對于給定的原始觸覺數(shù)據(jù)902接收經(jīng)編碼的觸覺數(shù)據(jù)流之一。
[0092]在一實施例中，可通過在I與15之間修改密度因子來調(diào)整觸覺數(shù)據(jù)流的密度(15是最高密度，I是最低密度)。此值充當(dāng)關(guān)于多少數(shù)據(jù)將被包括在經(jīng)編碼的觸覺數(shù)據(jù)流中的閾值(如上所述)。結(jié)果，密度值越低，就有越少的低量值(低重要度)原始觸覺數(shù)據(jù)將被包括在經(jīng)編碼的觸覺數(shù)據(jù)流中。隨著轉(zhuǎn)碼器904增大密度閾值，更多的低量值和詳細(xì)數(shù)據(jù)被遞增地添加到經(jīng)編碼的觸覺數(shù)據(jù)流。因此，更高的密度映射到更好的網(wǎng)絡(luò)連通性，并且更低的密度映射到更少的網(wǎng)絡(luò)連通性。
[0093]如圖9中所示，觸覺web服務(wù)器906存儲以五個不同密度因子編碼的觸覺比特流1-5，并且為與特定的原始觸覺數(shù)據(jù)輸入相對應(yīng)的經(jīng)編碼的觸覺數(shù)據(jù)流維護(hù)清單文件908。例如，web服務(wù)器906中的流I是以密度因子I編碼的，流2是以密度因子2編碼的，等等依此類推。使終端用戶設(shè)備912知曉不同比特率下的可用觸覺數(shù)據(jù)流和經(jīng)編碼的觸覺數(shù)據(jù)流的片段。當(dāng)開始時，終端用戶設(shè)備912可請求來自最低比特率觸覺數(shù)據(jù)流I的片段。如果終端用戶設(shè)備912發(fā)現(xiàn)網(wǎng)絡(luò)的下載速度大于下載的片段的比特率，則終端用戶設(shè)備912可請求接下來較高的比特率片段，例如流2或者被認(rèn)為是中等密度流的片段，如圖10中所示。然后，如果終端用戶設(shè)備912確定片段的下載速度低于該片段的比特率，則終端用戶設(shè)備912確定網(wǎng)絡(luò)吞吐量已惡化，并且可請求更低比特率片段，如圖10中所示。如果可用帶寬大幅增加，則終端用戶設(shè)備912可請求更高比特率片段或者被認(rèn)為是高密度流的片段，如圖10中所示，等等依此類推。片段大小可取決于實現(xiàn)方式而有所不同。在一實施例中，片段大小可低至2秒。在一實施例中，片段大小可高至10秒。
[0094]在一實施例中，觸覺密度轉(zhuǎn)碼模塊320可與為了網(wǎng)絡(luò)傳送而對音頻/視頻轉(zhuǎn)碼的那些算法(例如圖3中的多媒體模塊312)相集成。所創(chuàng)建的觸覺流的數(shù)目將等于所創(chuàng)建的音頻/視頻流的數(shù)目，并且每個觸覺流的密度因子不一定要對于每個轉(zhuǎn)碼都是不同的。例如，在一實施例中，如果創(chuàng)建了 10個不同的音頻/視頻流，則原始觸覺數(shù)據(jù)可被轉(zhuǎn)碼5次，具有5個不同的密度因子。
[0095]應(yīng)當(dāng)注意，以上論述的觸覺數(shù)據(jù)的自適應(yīng)比特率轉(zhuǎn)碼可能不與在流傳輸媒體數(shù)據(jù)時用于以不同質(zhì)量預(yù)渲染音頻/視頻以支持變化的網(wǎng)絡(luò)連通性的自適應(yīng)比特率流傳輸相同。后者通常專注于通過向所有輸入的音頻數(shù)據(jù)或視頻數(shù)據(jù)應(yīng)用(一個或多個)壓縮算法來發(fā)送更少的比特。對于觸覺數(shù)據(jù)流，根據(jù)本發(fā)明的實施例的自適應(yīng)比特率轉(zhuǎn)碼發(fā)送更少的信號，但仍通過放棄觸覺信號的不重要(即，低量值)的特定部分并專注于觸覺信號的更高優(yōu)先級部分來提供相關(guān)觸覺效果。這可通過利用觸覺波形的特性來保持實際觸覺質(zhì)量，同時也發(fā)送更少的比特，從而減少了需要的帶寬。本發(fā)明的實施例的另一個潛在益處是對于具有不同密度的經(jīng)編碼觸覺數(shù)據(jù)可保持原始觸覺信號的同一格式。在傳統(tǒng)的轉(zhuǎn)碼中，源的格式可不被保持，因為其可被重編碼成不同的格式以壓縮數(shù)據(jù)來進(jìn)行網(wǎng)絡(luò)傳送。
[0096]帶嵌入觸覺的MP4
[0097]本發(fā)明的實施例還提供了一種方法，用于將觸覺比特流嵌入在MP4兼容文件容器中以使得觸覺數(shù)據(jù)可與其他數(shù)字內(nèi)容一起被流傳輸，而對于其他數(shù)字內(nèi)容的遞送沒有影響。同樣的方法也可應(yīng)用到其他類似的文件容器。
[0098]雖然以下描述了 MP4作為用于通過網(wǎng)絡(luò)流傳輸數(shù)字內(nèi)容的容器格式，因為當(dāng)前認(rèn)為MP4在支持的格式方面提供了最大的靈活性，并提供了對其進(jìn)行修改以嵌入與標(biāo)準(zhǔn)的音頻和視頻流交織的不同類型的數(shù)據(jù)以創(chuàng)建新的體驗的能力，但應(yīng)當(dāng)理解，本發(fā)明的實施例也可應(yīng)用到其他容器格式。雖然不同類型的數(shù)據(jù)包括額外的音頻流、隱藏字幕流等等，但是將聯(lián)系將觸覺流與可存在于MP4容器內(nèi)的音頻和/或視頻流相交織來描述本發(fā)明的實施例。在終端用戶設(shè)備側(cè)，與標(biāo)準(zhǔn)音頻和視頻重放同時地，可在觸覺輸出設(shè)備上提取并重放嵌入的觸覺信號。應(yīng)當(dāng)明白，所提出的方案適用于除了音頻和視頻以外的其他數(shù)字內(nèi)容。
[0099]在音頻信號與觸覺信號之間存在許多相似之處。當(dāng)使用上文聯(lián)系圖7的論述中的可變觸覺編碼器時，觸覺信號的編碼與音頻信號的類似。在其當(dāng)前形式中，這允許了觸覺信號被MP4所支持，但也要求在觸覺和音頻盒結(jié)構(gòu)之間存在足夠的區(qū)分以確保觸覺信號不被標(biāo)準(zhǔn)MP4播放器解讀為音頻信號。相反，現(xiàn)有的音頻信號不應(yīng)當(dāng)被誤解為觸覺信號。
[0100]為了方便，觸覺信號可被編碼為AAC。由于如上所述的提供經(jīng)編碼的觸覺信號(數(shù)據(jù)流)的各種方法，允許這個編碼變化，但盒結(jié)構(gòu)將能夠保持相似。觸覺信號在標(biāo)準(zhǔn)的“moov”盒內(nèi)需要單獨的“trak”盒，與為音頻和視頻存在的其他“trak”盒并存。以下表I列出了觸覺盒結(jié)構(gòu)。MPEG4Part-12標(biāo)準(zhǔn)(IS0/IEC14496-12媒體文件格式)(以下稱為“格式標(biāo)準(zhǔn)”)提供了關(guān)于表I中的MP4盒層次體系的一般信息。
[0101]表1:用于觸覺的盒層次體系
[0102]盒層次體系
moovI I I 用.于肩瓦面.的.弱
I I I^

用于軌道中的媒體信息的容
mdia器

媒體頭部，關(guān)于媒體的總體

mdhd
III#*
hdlrI I I 聲明媒體(句柄)類型..............................................................................................................................................................................................................................rainf I I I
nmhd I I空媒體頭部
StW樣本表袼盒
I I ? 樣本描迷(編解碼器類型、
|stsd I I等等)

觸覺盒，指示此軌道為觸覺

I Ihapt I 贏

Esds基本浪描迷
[0103]觸覺數(shù)據(jù)不應(yīng)當(dāng)被渲染為音頻或視頻。因為大多數(shù)播放器將嘗試渲染由其各自的“trak”盒指定的任何組合或數(shù)目的視頻流或者任何組合的音頻流，所以觸覺數(shù)據(jù)應(yīng)當(dāng)被標(biāo)示為定時元數(shù)據(jù)(timed metadata)軌道(“meta”)。這可通過在“hdlr”盒中將handler_type字段設(shè)定為“meta”來完成。
[0104]格式標(biāo)準(zhǔn)中的第8.4.3節(jié)中指定的定時元數(shù)據(jù)軌道是用于存儲基于時間的媒體內(nèi)容的。在此類軌道中存儲觸覺信號允許了該流被認(rèn)為是媒體，但不是音頻或視頻格式的。在此情況下，需要對于觸覺數(shù)據(jù)指定定時元數(shù)據(jù)流以確保在重放期間，觸覺數(shù)據(jù)不會被渲染為音頻，盡管其原始編碼是音頻格式的。
[0105]圖11-13圖示了用于聲音1100、視頻1200和觸覺1300的句柄引用盒，并且示出了聲音、視頻和觸覺句柄類型在一起被嵌入在MP4文件內(nèi)時如何不同。每個“ trak”1102、1202、1302 的 handler_type 在 “hdlr” 盒 1104、1204、1304 中指定，如圖 11-13 中所示。用于聲音、視頻和定時元數(shù)據(jù)軌道的句柄類型分別是“soun” (圖11中的1106)、“vide” (圖12中的1206)和“meta”(圖13中的1306)，如格式標(biāo)準(zhǔn)的第8.4.3中所指定的。
[0106]此外，由于觸覺流被標(biāo)記為定時元數(shù)據(jù)軌道，所以空媒體頭部盒(參見“nmhd”)(圖14中的1408)在“minf ”容器盒(圖14中的1406)下面，如格式標(biāo)準(zhǔn)中的第8.4.5.5節(jié)下指定的。這指示出該流不是音頻(“smhd” 一聲音媒體頭部)(圖14中的1402)或視頻(“vmhd” 一視頻媒體頭部)(圖14中的1404)，但仍可被解讀為媒體流。圖14通過分別示出聲音、視頻和觸覺的完整盒結(jié)構(gòu)對此進(jìn)行了更詳細(xì)圖示。
[0107]在盒結(jié)構(gòu)內(nèi)進(jìn)一步地，在“stbl”(樣本表格盒)下面是“stsd”盒，其是樣本描述盒,如以上表I中可見。在此盒中，指定“trak”的格式。例如，“stsd”中的第一子盒對于AAC音頻軌道通常是“mp4a”。對于觸覺，創(chuàng)建具有四字符代碼(“F0URCC”)值“hapt”的新通用盒。這指示出這個定時元數(shù)據(jù)軌道包含描述觸覺信號的信息。根據(jù)格式標(biāo)準(zhǔn)中的第
8.5.2.2節(jié),“meta”句柄類型要求實現(xiàn)元數(shù)據(jù)樣本條目(“MetaDataSampleEntry”)類,但其被定義為可由新的子類來擴(kuò)展的空類。在一實施例中，不用任何額外信息來擴(kuò)展這個空類。任何觸覺專用信息被存儲在“esds”盒中，如表I中可見以及下文所述。
[0108]諸如軌道持續(xù)時間和時間尺度之類的所有定時信息應(yīng)當(dāng)存在于“mdhd”盒中以描述觸覺軌道的整體持續(xù)時間和時間尺度。根據(jù)MPEG4Part-l標(biāo)準(zhǔn)(IS0/IEC14496-1系統(tǒng))(以下稱為“系統(tǒng)標(biāo)準(zhǔn)”)，時間尺度是包含一秒中經(jīng)過的時間單位的數(shù)目的32位無符號整數(shù)。例如，如果觸覺軌道具有50樣本每秒的更新率，則這個時間尺度被設(shè)定為50。持續(xù)時間字段是64位無符號整數(shù)，其聲明按時間尺度的尺度此觸覺軌道的長度。例如，如果時間尺度被設(shè)定為50，則每個樣本具有20ms的長度。如果觸覺軌道為5秒長，則持續(xù)時間字段應(yīng)當(dāng)具有250 (5*1000/20)的值。
[0109]如以上表I中列出的，“hapt”容器盒下面的唯一子盒是“esds”盒(基本流描述)，也稱為ES_Descriptor。當(dāng)應(yīng)用到音頻時,此盒包含用于對與其所在的“trak”相關(guān)聯(lián)的流解碼的信息。其可類似地用于觸覺。關(guān)于“esds”盒的語法細(xì)節(jié)在系統(tǒng)標(biāo)準(zhǔn)的第8.3.3.1節(jié)中提供。
[0110]圖15圖示了對于MP4文件中的觸覺數(shù)據(jù)的對象簡檔指示(“objectProfilelndicat1n”)值的有效設(shè)定的實施例。根據(jù)系統(tǒng)標(biāo)準(zhǔn)的第8.3.3節(jié)，ES_Descriptor盒包含解碼器配置描述符(“DecoderConfigDescriptor”)結(jié)構(gòu)，該結(jié)構(gòu)包含用于解析和讀取基本流的參數(shù)和要求。在DecoderConfigDescriptor內(nèi)，有用于objectProfilelndicat1n 值的字段和解碼器特定信息(“DecoderSpecificInfo”)結(jié)構(gòu)。
[0111]objectProfilelndicat1n值提供了流的對象簡檔類型。這個字段被設(shè)定為OxCO與OxFE之間的值，這是用戶私有對象簡檔類型的范圍，這些類型當(dāng)用在“hapt”盒結(jié)構(gòu)內(nèi)時將被稱為觸覺類型(參見系統(tǒng)標(biāo)準(zhǔn)的表8-5)。
[0112]DecoderSpecificInfo 結(jié)構(gòu)是基于 objectProfilelndicat1n 值由其他類擴(kuò)展的抽象類(參見系統(tǒng)標(biāo)準(zhǔn)的表8-5)。對于一種觸覺實現(xiàn)，此結(jié)構(gòu)可由觸覺特定配置(“HapticSpecificConfig”)類擴(kuò)展，該類包含觸覺特定信息，例如信號類型和為其創(chuàng)建經(jīng)編碼信號的致動器。
[0113]說明一下，只有包含利用OxCO與OxFE之間的值作為對象簡檔類型的“hapt”盒的“trak”盒結(jié)構(gòu)會被認(rèn)為是有效觸覺流，如圖15中可見。如果對象簡檔類型是任何其他的值，則其將被認(rèn)為是無效的，如圖16中可見,其中objectProfilelndicat1n值被設(shè)定到AAC
主簡檔。
[0114]MPEG-4流一般預(yù)期對于解碼過程所需的基本描述符中的配置信息。DecoderConfigDescriptor 必須包含 DecoderSpecificInfo 抽象類的子類，如系統(tǒng)標(biāo)準(zhǔn)的第8.3.3節(jié)中所述。對于音頻流，DecoderSpecificInfo由音頻特定配置(“Aud1SpecificConfig”)類所擴(kuò)展，如 MPEG4Part_3 標(biāo)準(zhǔn)(IS0/IEC14496-3 音頻)(以下稱為“音頻標(biāo)準(zhǔn)”)的第1.6.2.1節(jié)中所述。對于觸覺流,DecoderSpecificInfo如本文所述由 HapticSpecificConfig 類來擴(kuò)展。
[0115]當(dāng)objectTypelndicat1n的值和streamType值為指示出此流包含觸覺信息的OxCO和0x20時，HapticSpecificConfig擴(kuò)展如系統(tǒng)標(biāo)準(zhǔn)中定義的抽象類DecoderSpecificInfo ο 以下的表 I1-VIII 提供了可用于 HapticSpecificConfig 的語法、觸覺流類型、釆樣頻率、致動器配置、通道配置、端點配置和觸覺解碼器類型的額外信息。
[0116]表II !HapticSpecificConfig 的語法
[0117]
語法...........................................................................................................................................................................................................................................................................................................|tt#數(shù)目助記符
UapticStreiim Vypv:2bsibi
if ( hapticSlreamType == 0x3 ) {
aiKii?Objct:tT> pe;5bsibf
channelConfijiurat1ii;4bsibf

else -J
haptic DecotierTvpfcj;4bsjbi'
(一_,-
sainplingfrequencylndcv;4bslbl
if ( samp]ingFrcqucncyIndcx = OxF ) {
samplinwFretjuent\:24uinisbf
} ‘
lndpointConfig?ratlon;8bslbl
'''''1................................................................................................................................................................................................................................................................................................................................1..............................................................................................................................
[0118]表II1:觸覺流類型
[0119]

觸覺流類型I描述
--?WM
011WM
012觸覺編碼流
0^3音頻編碼流
[0120]表IV:采樣頻率索引
[0121]
采樣頻率索引I值
OxO8000
Oxl - OxE
OxF轉(zhuǎn)義值
[0122]表V:致動器配置
[0123]

致動器配置I描述
--?WM

oil單個致動器
0x2 - OxF
[0124]表V1:通道配置
[0125]
II通道數(shù)目
?-1Ml~
[0126]表VI1:端點配置
[0127]

端點配置I描述
(M)幅度調(diào)制~


Oxl - OxFF預(yù)留
[0128]表VII1:觸覺解碼器類型
[0129]
觸覺解碼器類型I描述
OxO原始流

Oxl - OxF預(yù)留
[0130]以上描述指定了經(jīng)編碼的觸覺流而不是實際流本身。通常，具有聲音、視頻或定時元數(shù)據(jù)類型的每個“trak”對象有一個流與之相關(guān)聯(lián)。這些流被交織在“mdat”盒中，該盒在MP4盒結(jié)構(gòu)中與“moov”盒存在于同一級別。“mdat”盒包含播放器在終端平臺上解析、解碼和渲染的實際數(shù)據(jù)。確定每個流的片段大小并交織視頻、音頻和元數(shù)據(jù)(觸覺)樣本的所有經(jīng)編碼片段是格式化軟件的職責(zé)。在此情況下，可通過參考樣本表格中的到片段的偏移量來從交織數(shù)據(jù)盒中提取出觸覺信號，這與為音頻和視頻信號進(jìn)行提取的方式是類似的。
[0131]本文描述為被存儲或可存儲的各種輸入、輸出、配置和/或其他信息可被存儲在一個或多個數(shù)據(jù)庫中。這種數(shù)據(jù)庫可包括或接口到由甲骨文公司商業(yè)銷售的ORACLE?關(guān)系數(shù)據(jù)庫。也可使用、包含或訪問其他數(shù)據(jù)庫，例如INF0RMIX?、DB2(數(shù)據(jù)庫2)或其他數(shù)據(jù)存儲，包括基于文件的，或者查詢格式、平臺或資源，例如0LAP(0n Line AnalyticalProcessing,在線分析處理)、SQL (Standard Query Language,標(biāo)準(zhǔn)查詢語言)、SAN(storage area network,存儲區(qū)域網(wǎng)絡(luò))、MICROSOFT ACCESS?或其他的。數(shù)據(jù)庫可包括存在于一個或多個物理設(shè)備中和一個或多個物理位置中的一個或多個這種數(shù)據(jù)庫。數(shù)據(jù)庫可存儲多種類型的數(shù)據(jù)和/或文件和關(guān)聯(lián)的數(shù)據(jù)或文件描述、管理信息或任何其他數(shù)據(jù)。
[0132]根據(jù)本發(fā)明的一個方面，提供了一種由計算機(jī)實現(xiàn)的方法，用于豐富關(guān)于觸覺數(shù)據(jù)的用戶數(shù)字內(nèi)容體驗。該方法是在具有處理器的計算設(shè)備上實現(xiàn)的，其中該處理器被計算機(jī)程序模塊編程。該方法包括:接收包括音頻數(shù)據(jù)和/或視頻數(shù)據(jù)的數(shù)字內(nèi)容數(shù)據(jù)；利用接收到的數(shù)字內(nèi)容數(shù)據(jù)中的至少一些來生成觸覺數(shù)據(jù)；對所生成的觸覺數(shù)據(jù)編碼以便通過通信網(wǎng)絡(luò)來高效傳送；將經(jīng)編碼的觸覺數(shù)據(jù)與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用；把用于對經(jīng)編碼的觸覺數(shù)據(jù)解碼的信息嵌入在復(fù)用的數(shù)據(jù)流的元數(shù)據(jù)中；以及通過通信網(wǎng)絡(luò)發(fā)送復(fù)用的數(shù)據(jù)流。
[0133]根據(jù)本發(fā)明的一個方面，提供了一種由計算機(jī)實現(xiàn)的方法，用于將觸覺數(shù)據(jù)與其他數(shù)字內(nèi)容數(shù)據(jù)一起通過網(wǎng)絡(luò)傳送以便終端用戶體驗在終端用戶設(shè)備上生成的觸覺效果。終端用戶設(shè)備耦合到網(wǎng)絡(luò)。該方法是在具有處理器的計算設(shè)備上實現(xiàn)的，其中該處理器被計算機(jī)程序模塊編程。該方法包括分析觸覺數(shù)據(jù)以確定觸覺數(shù)據(jù)的至少一個特性，以及基于所確定的特性來對觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
[0134]根據(jù)本發(fā)明的一個方面，提供了一種由計算機(jī)實現(xiàn)的方法，用于豐富關(guān)于觸覺數(shù)據(jù)的用戶數(shù)字內(nèi)容體驗。該方法是在具有處理器的計算設(shè)備上實現(xiàn)的，其中該處理器被計算機(jī)程序模塊編程。該方法包括接收原始觸覺數(shù)據(jù)，對于預(yù)定密度因子列表對接收到的原始觸覺數(shù)據(jù)編碼以生成經(jīng)編碼的觸覺數(shù)據(jù)流的列表，每個經(jīng)編碼的觸覺數(shù)據(jù)流對應(yīng)于預(yù)定密度因子列表的一密度因子，通過通信網(wǎng)絡(luò)從終端用戶設(shè)備接收網(wǎng)絡(luò)帶寬信息，基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子選擇經(jīng)編碼的觸覺數(shù)據(jù)流之一，并且將所選的經(jīng)編碼的觸覺數(shù)據(jù)流發(fā)送到終端用戶設(shè)備。
[0135]本領(lǐng)域技術(shù)人員通過考慮說明書并實踐本文公開的發(fā)明，將清楚本發(fā)明的其他方面、用途和優(yōu)點。說明書應(yīng)當(dāng)被認(rèn)為只是示范性的，并且本發(fā)明的范圍因此打算僅由所附權(quán)利要求來限定。
【權(quán)利要求】
1.一種方法，包括: 接收包括音頻數(shù)據(jù)和/或視頻數(shù)據(jù)的數(shù)字內(nèi)容數(shù)據(jù)； 利用接收到的數(shù)字內(nèi)容數(shù)據(jù)中的至少一些來生成觸覺數(shù)據(jù)； 對所述觸覺數(shù)據(jù)編碼以便通過通信網(wǎng)絡(luò)來高效傳送； 將經(jīng)編碼的觸覺數(shù)據(jù)與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用； 把用于對經(jīng)編碼的觸覺數(shù)據(jù)解碼的信息嵌入在復(fù)用的數(shù)據(jù)流的元數(shù)據(jù)中；以及 通過所述通信網(wǎng)絡(luò)發(fā)送所述復(fù)用的數(shù)據(jù)流。
2.如權(quán)利要求1所述的方法，還包括: 分析所述觸覺數(shù)據(jù)以確定所述觸覺數(shù)據(jù)的至少一個特性， 其中，所述對觸覺數(shù)據(jù)編碼包括基于所確定的特性來對所述觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
3.如權(quán)利要求2所述的方法，其中，所述預(yù)定義的標(biāo)準(zhǔn)包括具有最少數(shù)目的比特的輸出經(jīng)編碼觸覺比特流。
4.如權(quán)利要求2所述的方法，還包括: 從終端用戶設(shè)備接收所述終端用戶設(shè)備的端點配置， 其中，所述預(yù)定義的標(biāo)準(zhǔn)包括保留所述觸覺數(shù)據(jù)的與接收到的所述終端用戶設(shè)備的端點配置相對應(yīng)的頻率范圍。
5.如權(quán)利要求2所述的方法，其中，所述對觸覺數(shù)據(jù)編碼包括基于所確定的特性從預(yù)定編碼器的列表中選擇編碼器并應(yīng)用所選擇的編碼器來變換所述觸覺數(shù)據(jù)。
6.如權(quán)利要求5所述的方法，其中，所述預(yù)定編碼器的列表包括高級音頻編碼編碼器和/或自由無損音頻編碼器。
7.如權(quán)利要求2所述的方法，其中，所述觸覺數(shù)據(jù)的特性包括用于基于所述觸覺數(shù)據(jù)生成觸覺效果的觸覺輸出設(shè)備的一種或多種類型、所述觸覺數(shù)據(jù)的打算用例、所述觸覺數(shù)據(jù)的量值、所述觸覺數(shù)據(jù)的頻率、以及所述觸覺數(shù)據(jù)中的靜默的長度。
8.如權(quán)利要求7所述的方法，其中，觸覺輸出設(shè)備的類型包括以下各項的組中的一個或多個:偏心旋轉(zhuǎn)質(zhì)量致動器、線性諧振致動器、以及壓電致動器。
9.如權(quán)利要求7所述的方法，其中，所述觸覺數(shù)據(jù)的打算用例是從包括音樂、電影和游戲的組中選擇的。
10.如權(quán)利要求2所述的方法，其中，對觸覺數(shù)據(jù)編碼包括: 向所述觸覺數(shù)據(jù)應(yīng)用預(yù)定編碼器的列表中的每一個以生成經(jīng)編碼觸覺數(shù)據(jù)流的相應(yīng)列表；以及 利用所述預(yù)定義的標(biāo)準(zhǔn)來從所述經(jīng)編碼觸覺數(shù)據(jù)流的列表中選擇一經(jīng)編碼觸覺數(shù)據(jù)流。
11.如權(quán)利要求1所述的方法，其中，所述對觸覺數(shù)據(jù)編碼包括對于密度因子的預(yù)定列表對所述觸覺數(shù)據(jù)編碼以生成多個經(jīng)編碼觸覺數(shù)據(jù)流，每個經(jīng)編碼觸覺數(shù)據(jù)流對應(yīng)于所述密度因子的預(yù)定列表中的一密度因子，并且其中所述方法還包括: 通過通信網(wǎng)絡(luò)從終端用戶設(shè)備接收網(wǎng)絡(luò)帶寬信息；以及 基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子選擇經(jīng)編碼觸覺數(shù)據(jù)流之一來與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用。
12.如權(quán)利要求11所述的方法，其中，所述多個經(jīng)編碼數(shù)據(jù)流中的第一經(jīng)編碼數(shù)據(jù)流對應(yīng)于所述密度因子的預(yù)定列表的第一密度因子，并且所述多個經(jīng)編碼數(shù)據(jù)流中的第二經(jīng)編碼數(shù)據(jù)流對應(yīng)于所述密度因子的預(yù)定列表的第二密度因子，并且其中所述第二經(jīng)編碼數(shù)據(jù)流包括比所述第一數(shù)據(jù)流更多的觸覺數(shù)據(jù)并且所述第二密度因子大于所述第一密度因子。
13.如權(quán)利要求11所述的方法，還包括: 檢測所述網(wǎng)絡(luò)帶寬信息的變化； 基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子來選擇所述經(jīng)編碼觸覺數(shù)據(jù)流中的不同一個；以及 將所選擇的經(jīng)編碼數(shù)據(jù)流中的不同一個發(fā)送到所述終端用戶設(shè)備。
14.一種系統(tǒng),包括: 處理器，被配置為: 接收包括音頻數(shù)據(jù)和/或視頻數(shù)據(jù)的數(shù)字內(nèi)容數(shù)據(jù)； 利用接收到的數(shù)字內(nèi)容數(shù)據(jù)中的至少一些來生成觸覺數(shù)據(jù)； 對所述觸覺數(shù)據(jù)編碼以便通過通信網(wǎng)絡(luò)來高效傳送； 將經(jīng)編碼的觸覺數(shù)據(jù)與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用； 把用于對經(jīng)編碼的觸覺數(shù)據(jù)解碼的信息嵌入在復(fù)用的數(shù)據(jù)流的元數(shù)據(jù)中；以及 通過所述通信網(wǎng)絡(luò)發(fā)送所述復(fù)用的數(shù)據(jù)流；以及 用戶設(shè)備，被配置為通過所述通信網(wǎng)絡(luò)接收復(fù)用的經(jīng)編碼觸覺數(shù)據(jù)和數(shù)字內(nèi)容數(shù)據(jù)，所述用戶設(shè)備包括被配置為基于觸覺數(shù)據(jù)輸出觸覺效果的觸覺輸出設(shè)備。
15.如權(quán)利要求14所述的系統(tǒng)，其中，所述處理器還被配置為分析所述觸覺數(shù)據(jù)以確定所述觸覺數(shù)據(jù)的至少一個特性，并且基于所確定的特性來對所述觸覺數(shù)據(jù)編碼以符合預(yù)定義的標(biāo)準(zhǔn)。
16.如權(quán)利要求15所述的系統(tǒng)，其中，所述預(yù)定義的標(biāo)準(zhǔn)包括具有最少數(shù)目的比特的輸出經(jīng)編碼觸覺比特流。
17.如權(quán)利要求15所述的系統(tǒng)，其中，所述處理器還被配置為從所述用戶設(shè)備接收所述用戶設(shè)備的端點配置，其中所述預(yù)定義的標(biāo)準(zhǔn)包括保留所述觸覺數(shù)據(jù)的與接收到的終端用戶設(shè)備的端點配置相對應(yīng)的頻率范圍。
18.如權(quán)利要求15所述的系統(tǒng)，其中，所述處理器還被配置為基于所確定的特性從預(yù)定編碼器的列表中選擇編碼器并應(yīng)用所選擇的編碼器來變換所述觸覺數(shù)據(jù)。
19.如權(quán)利要求18所述的系統(tǒng)，其中，所述預(yù)定編碼器的列表包括高級音頻編碼編碼器和/或自由無損音頻編碼器。
20.如權(quán)利要求15所述的系統(tǒng)，其中，所述觸覺數(shù)據(jù)的特性包括用于基于所述觸覺數(shù)據(jù)生成觸覺效果的觸覺輸出設(shè)備的一種或多種類型、所述觸覺數(shù)據(jù)的打算用例、所述觸覺數(shù)據(jù)的量值、所述觸覺數(shù)據(jù)的頻率、以及所述觸覺數(shù)據(jù)中的靜默的長度。
21.如權(quán)利要求20所述的系統(tǒng)，其中，觸覺輸出設(shè)備的類型包括以下各項的組中的一個或多個:偏心旋轉(zhuǎn)質(zhì)量致動器、線性諧振致動器、以及壓電致動器。
22.如權(quán)利要求20所述的系統(tǒng)，其中，所述觸覺數(shù)據(jù)的打算用例是從包括音樂、電影和游戲的組中選擇的。
23.如權(quán)利要求15所述的系統(tǒng)，其中，所述處理器還被配置為: 向所述觸覺數(shù)據(jù)應(yīng)用預(yù)定編碼器的列表中的每一個以生成經(jīng)編碼觸覺數(shù)據(jù)流的相應(yīng)列表；以及 利用所述預(yù)定義的標(biāo)準(zhǔn)來從所述經(jīng)編碼觸覺數(shù)據(jù)流的列表中選擇一經(jīng)編碼觸覺數(shù)據(jù)流。
24.如權(quán)利要求14所述的系統(tǒng)，其中，所述處理器還被配置為: 對于密度因子的預(yù)定列表對所述觸覺數(shù)據(jù)編碼以生成多個經(jīng)編碼觸覺數(shù)據(jù)流，每個經(jīng)編碼觸覺數(shù)據(jù)流對應(yīng)于所述密度因子的預(yù)定列表中的一密度因子； 通過通信網(wǎng)絡(luò)從終端用戶設(shè)備接收網(wǎng)絡(luò)帶寬信息；以及 基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子選擇經(jīng)編碼觸覺數(shù)據(jù)流之一來與接收到的數(shù)字內(nèi)容數(shù)據(jù)復(fù)用。
25.如權(quán)利要求24所述的系統(tǒng)，其中，所述多個經(jīng)編碼數(shù)據(jù)流中的第一經(jīng)編碼數(shù)據(jù)流對應(yīng)于所述密度因子的預(yù)定列表的第一密度因子，并且所述多個經(jīng)編碼數(shù)據(jù)流中的第二經(jīng)編碼數(shù)據(jù)流對應(yīng)于所述密度因子的預(yù)定列表的第二密度因子，并且其中所述第二經(jīng)編碼數(shù)據(jù)流包括比所述第一數(shù)據(jù)流更多的觸覺數(shù)據(jù)并且所述第二密度因子大于所述第一密度因子。
26.如權(quán)利要求24所述的系統(tǒng)，其中，所述處理器還被配置為: 檢測所述網(wǎng)絡(luò)帶寬信息的變化； 基于與通信網(wǎng)絡(luò)帶寬的條件匹配的相應(yīng)密度因子來選擇所述經(jīng)編碼觸覺數(shù)據(jù)流中的不同一個；以及 將所選擇的經(jīng)編碼數(shù)據(jù)流中的不同一個發(fā)送到所述終端用戶設(shè)備。
【文檔編號】H04L29/06GK104184721SQ201410224872
【公開日】2014年12月3日 申請日期:2014年5月26日 優(yōu)先權(quán)日:2013年5月24日
【發(fā)明者】L·凡, S·S·巴哈迪亞, S·D·蘭克, C·J·尤爾里奇, J·F·迪奧內(nèi), H-A·奧利弗 申請人:意美森公司