本公開涉及觸覺的領(lǐng)域。還在與沉浸式視聽內(nèi)容相關(guān)聯(lián)的、使用一個(gè)或多個(gè)傳動(dòng)器呈現(xiàn)的、任何類型的觸覺效果(例如運(yùn)動(dòng)、振動(dòng))的背景下理解本公開。

背景技術(shù)：

根據(jù)背景技術(shù)，已知組合觸覺和視聽內(nèi)容以在觀看視聽內(nèi)容的同時(shí)增加沉浸的感覺。觸覺和視聽內(nèi)容的這樣的組合被已知為代表觸視聽(haptics-audio-visual)的首字母縮寫HAV。

MPEG-V架構(gòu)是用于產(chǎn)生、發(fā)布和呈現(xiàn)HAV內(nèi)容的工作流的一種形式化。MPEG-V標(biāo)準(zhǔn)描述包括觸覺效果以及味覺和嗅覺效果的“感覺效果”。MPEG-V標(biāo)準(zhǔn)提出觸覺效果的高級(jí)描述，其不允許考慮每個(gè)人類感知特性或者視聽內(nèi)容的特性。而且，MPEG-V標(biāo)準(zhǔn)可能封裝冗余或無用的數(shù)據(jù)，從而消耗過多帶寬。

技術(shù)實(shí)現(xiàn)要素：

本公開的目的是克服這些不足中的至少一個(gè)。

本公開涉及一種對(duì)包含表示觸覺效果的數(shù)據(jù)的包進(jìn)行編碼的方法，所述觸覺效果與沉浸式內(nèi)容相關(guān)聯(lián)，所述方法包含：

在包中添加第一信息，所述第一信息表示觸覺效果的描述關(guān)于身體模型相對(duì)于沉浸式內(nèi)容的位置的依賴性；

在包中添加第二信息，所述第二信息表示所述觸覺效果所標(biāo)定的(targeted)所述身體模型的至少第一部分。

本發(fā)明還涉及一種對(duì)包含表示觸覺效果的數(shù)據(jù)的包進(jìn)行編碼的設(shè)備，所述觸覺效果與沉浸式內(nèi)容相關(guān)聯(lián)，所述設(shè)備包含處理器，所述處理器被配置為：

在所述包中添加第一信息，所述第一信息表示所述觸覺效果的描述關(guān)于身體模型相對(duì)于所述沉浸式內(nèi)容的位置的依賴性；

在所述包中添加第二信息，所述第二信息表示所述觸覺效果所標(biāo)定的所述身體模型的至少第一部分。

根據(jù)具體特征，所述方法還包含：在所述包中添加第三信息，所述第三信息表示所述身體模型相對(duì)于所述沉浸式內(nèi)容的基準(zhǔn)位置，所述第三信息在所述第一信息指示觸覺效果的描述依賴于身體模型的位置時(shí)添加。

有利地，表示觸覺效果的數(shù)據(jù)至少包含觸覺效果的強(qiáng)度的值。

本公開還涉及一種對(duì)包含表示觸覺效果的數(shù)據(jù)的包進(jìn)行解碼的方法，所述觸覺效果與沉浸式內(nèi)容相關(guān)聯(lián)，所述方法包含：

從所述包獲得第一信息，所述第一信息表示觸覺效果的描述關(guān)于身體模型相對(duì)于沉浸式內(nèi)容的位置的依賴性；

從所述包獲得第二信息，所述第二信息表示所述觸覺效果所標(biāo)定的所述身體模型的至少第一部分。

本發(fā)明還涉及一種對(duì)包含表示觸覺效果的數(shù)據(jù)的包進(jìn)行解碼的設(shè)備，所述觸覺效果與沉浸式內(nèi)容相關(guān)聯(lián)，所述設(shè)備包含處理器，所述處理器被配置為：

從所述包獲得第一信息，所述第一信息表示觸覺效果的描述關(guān)于身體模型相對(duì)于沉浸式內(nèi)容的位置的依賴性；

從所述包獲得第二信息，所述第二信息表示所述觸覺效果所標(biāo)定的所述身體模型的至少第一部分。

根據(jù)具體特征，所述方法還包含：從所述包獲得第三信息，所述第三信息表示所述身體模型相對(duì)于所述沉浸式內(nèi)容的基準(zhǔn)位置，所述第三信息在所述第一信息指示觸覺效果的描述依賴于身體模型的位置時(shí)獲得。

有利地，所述方法還包含：當(dāng)身體模型的位置與基準(zhǔn)位置不同時(shí)，根據(jù)所述第二信息和所述第三信息確定接收觸覺效果的身體模型的至少第二部分。

根據(jù)具體特征，所述確定包含：根據(jù)所述身體模型的當(dāng)前位置和第三信息使所述身體模型變形，所述至少第二部分基于變形的身體模型來確定。

根據(jù)具體特征，表示觸覺效果的數(shù)據(jù)至少包含觸覺效果的強(qiáng)度的值。

本公開還涉及一種至少攜帶包含表示觸覺效果的數(shù)據(jù)的包的信號(hào)，所述觸覺效果與沉浸式內(nèi)容相關(guān)聯(lián)，所述信號(hào)進(jìn)一步攜帶表示觸覺效果的描述關(guān)于身體模型相對(duì)于沉浸式內(nèi)容的位置的依賴性的第一信息以及表示所述觸覺效果所標(biāo)定的身體模型的至少第一部分的第二信息。

本公開還涉及一種計(jì)算機(jī)程序產(chǎn)品，其包含程序代碼指令，用于當(dāng)在計(jì)算機(jī)上執(zhí)行該程序時(shí)執(zhí)行所述編碼方法的步驟。

本公開還涉及一種計(jì)算機(jī)程序產(chǎn)品，其包含程序代碼指令，用于當(dāng)在計(jì)算機(jī)上執(zhí)行該程序時(shí)執(zhí)行所述解碼方法的步驟。

本公開還涉及一種(非臨時(shí)性)處理器可讀介質(zhì)，在其中存儲(chǔ)有使處理器至少執(zhí)行上述的對(duì)包進(jìn)行編碼和/或解碼的方法。

附圖說明

通過閱讀以下描述，將更好地理解本原理，并且將呈現(xiàn)其他具體特征和優(yōu)點(diǎn)，該描述參照附圖，附圖中：

圖1A和圖1B示出根據(jù)本原理的具體實(shí)施例的沉浸式視聽內(nèi)容和相關(guān)聯(lián)的觸覺效果；

圖2示出根據(jù)本原理的具體實(shí)施例的與圖1A、圖1B的沉浸式視聽內(nèi)容相關(guān)聯(lián)的觸覺數(shù)據(jù)流；

圖3示出根據(jù)本原理的具體實(shí)施例的與圖1A、圖1B的沉浸式視聽內(nèi)容相關(guān)聯(lián)的觸覺效果所影響的身體模型的部分；

圖4A和圖4B均示出根據(jù)本原理的具體實(shí)施例的用于確定與圖1A、圖1B的沉浸式視聽內(nèi)容相關(guān)聯(lián)的觸覺效果所影響的部分的身體模型的示例；

圖5圖示性示出根據(jù)本原理的具體實(shí)施例的用于確定與圖1A、圖1B的沉浸式視聽內(nèi)容相關(guān)聯(lián)的觸覺效果影響圖4的身體模型的哪個(gè)(哪些)部分的處理；

圖6示出根據(jù)本原理示例的被配置用于對(duì)包含表示與圖1A、圖1B的視聽內(nèi)容相關(guān)聯(lián)的觸覺效果的數(shù)據(jù)的包進(jìn)行編碼和/或解碼的設(shè)備的架構(gòu)的示例；

圖7示出根據(jù)本原理示例的在通信網(wǎng)絡(luò)上通信的圖6的兩個(gè)遠(yuǎn)程設(shè)備；

圖8示出根據(jù)本原理示例的攜帶圖1A的觸覺效果的描述的信號(hào)的語法；

圖9示出根據(jù)具體實(shí)施例的對(duì)包含表示與圖1A、圖1B的視聽內(nèi)容相關(guān)聯(lián)的觸覺效果的數(shù)據(jù)的包進(jìn)行編碼的方法；

圖10示出根據(jù)具體實(shí)施例的對(duì)包含表示與圖1A、圖1B的視聽內(nèi)容相關(guān)聯(lián)的觸覺效果的數(shù)據(jù)的包進(jìn)行解碼的方法。

具體實(shí)施方式

現(xiàn)在參照附圖描述主題，其中，相同的標(biāo)號(hào)通篇用于指代相同的元件。在以下描述中，為了解釋，闡述大量特定細(xì)節(jié)，以提供對(duì)主題的徹底理解。然而，顯然的是，可以在不使用這些具體細(xì)節(jié)的情況下實(shí)現(xiàn)主題實(shí)施例。

將參照對(duì)包含表示觸覺效果的數(shù)據(jù)的包進(jìn)行編碼或解碼的方法的具體實(shí)施例來描述本原理。觸覺效果被理解為對(duì)用戶的身體的部分的機(jī)械刺激(通過在用戶的身體的部分上施加力和振動(dòng)，由此施加例如觸覺或運(yùn)動(dòng)效果)。有利地，觸覺效果與沉浸式視聽內(nèi)容相關(guān)聯(lián)，并且使用戶能夠在觀看視聽內(nèi)容的同時(shí)感覺沉浸到其中。

圖1A和圖1B示出根據(jù)本原理的具體且非限制性的實(shí)施例的沉浸在也稱為沉浸式內(nèi)容10的4π立體弧度視頻內(nèi)容10(或球形視頻內(nèi)容)中的用戶11。圖1A對(duì)應(yīng)于沉浸式內(nèi)容的3D表示。圖1B對(duì)應(yīng)于沉浸式內(nèi)容10的平面表示。沉浸式內(nèi)容10例如對(duì)應(yīng)于通過一個(gè)或多個(gè)相機(jī)所獲取的真實(shí)場景或者通過使用3D引擎所合成的虛擬場景。根據(jù)變型，沉浸式內(nèi)容10對(duì)應(yīng)于包括虛擬對(duì)象的真實(shí)場景(即真實(shí)場景和虛擬場景的混合)的表示。如圖1所示，用戶11正在根據(jù)觀看方向13觀看沉浸式內(nèi)容的一部分，觀看方向13對(duì)應(yīng)于用戶11的注視的主方向。有利地，身體模型與用戶相關(guān)聯(lián)。視場14與觀看方向13相關(guān)聯(lián)，視場14僅對(duì)應(yīng)于沉浸式內(nèi)容10的一部分。當(dāng)用戶11的注視方向改變時(shí)，用戶所看見的沉浸式內(nèi)容的(并且對(duì)應(yīng)于視場的)部分因此改變。用戶11可以通過例如將他/她的頭部(或他/她的身體或其部分)從左到右(或相反地)和/或從上到下(或相反地)地移動(dòng)，在沉浸式內(nèi)容內(nèi)游移(wander)其注視。有利地，一個(gè)或多個(gè)觸覺效果12與沉浸式內(nèi)容關(guān)聯(lián)。在圖1A的示例中，觸覺效果的來源12位于用戶的后面。觸覺效果可以是任何種類的，例如熱源、振動(dòng)源。

當(dāng)然，觸覺效果源的位置不限于圖1A的示例。觸覺效果的來源可以位于沉浸式內(nèi)容10的任何點(diǎn)處，也可以位于用戶11自身上(例如在用戶的手臂上移動(dòng)的蜘蛛)。

通過與用戶關(guān)聯(lián)的一個(gè)或多個(gè)傳動(dòng)器的方式，例如通過用戶所佩戴的(諸如振動(dòng)傳動(dòng)器，例如手表)或者與用戶的身體的部分接觸的(例如移動(dòng)它們接觸的身體的部分的傳動(dòng)器)或者遠(yuǎn)離用戶的(例如熱源)，在用戶上呈現(xiàn)觸覺效果。

用于對(duì)沉浸式內(nèi)容進(jìn)行可視化的沉浸式系統(tǒng)例如是佩戴在用戶的頭部上或者作為頭盔的一部分的HMD(頭戴式顯示器)。有利地，HMD包含一個(gè)或多個(gè)顯示屏幕(例如LCD(液晶顯示器)、OLED(有機(jī)發(fā)光二極管)或LCOS(硅基液晶))以及被配置用于根據(jù)真實(shí)世界的一個(gè)、兩個(gè)或三個(gè)軸(俯仰軸、偏航軸和/或翻滾軸)測量HMD的位置的改變的傳感器(例如陀螺儀或IMU(慣性測量單元))。有利地，通過建立與真實(shí)世界中的HMD相關(guān)聯(lián)的視點(diǎn)和與沉浸式內(nèi)容10相關(guān)聯(lián)的虛擬相機(jī)的視點(diǎn)之間的關(guān)系的特定函數(shù)，來確定對(duì)應(yīng)于HMD的所測量的位置的沉浸式內(nèi)容10的部分。根據(jù)HMD的所測量的位置來控制要在HMD的顯示屏幕上顯示的視頻內(nèi)容的部分，使佩戴HMD的用戶能夠?yàn)g覽大于與HMD的顯示屏幕相關(guān)聯(lián)的視場的沉浸式內(nèi)容。例如，如果HMD所提供的視場等于110°(例如相對(duì)于偏航軸)，并且如果沉浸式內(nèi)容提供180°的內(nèi)容，則佩戴HMD的用戶可以將他/她的頭部向右或向左旋轉(zhuǎn)，以看見HMD所提供的視場外部的視頻內(nèi)容的部分。根據(jù)另一示例，沉浸式系統(tǒng)是CAVE(洞穴狀自動(dòng)化虛擬環(huán)境)系統(tǒng)，其中沉浸式內(nèi)容投影在房間的墻壁上。CAVE的墻壁例如由背投屏幕或平坦面板顯示器組成。因此，用戶可以在房間的不同墻壁上瀏覽他/她的注視。有利地，CAVE系統(tǒng)配備獲取用戶的圖像的相機(jī)，以通過這些圖像的視頻處理來確定用戶的注視方向。根據(jù)變型，通過跟蹤系統(tǒng)(例如，紅外跟蹤系統(tǒng)，用戶佩戴紅外傳感器)確定用戶的注視或姿勢。

當(dāng)然，沉浸式內(nèi)容10不限于4π立體弧度視頻內(nèi)容，而是擴(kuò)展到大小比視場14更大的任何視頻內(nèi)容(或視聽內(nèi)容)。沉浸式內(nèi)容可以是例如2π、2.5π、3π立體弧度內(nèi)容等。

圖2示出根據(jù)本原理的具體且非限制性的實(shí)施例的HAV比特流20。HAV比特流20包含例如視頻流201、音頻流202和觸覺流203。視頻流201的格式可以是例如MPEG-2、H.264或MPEG-4，音頻流的格式可以是例如MP3或AAC(高級(jí)音頻編碼)。流201至203例如包裝在容器20中，例如Matroska容器(MKV)、3GP容器、ASF(高級(jí)系統(tǒng)格式)容器。本領(lǐng)域技術(shù)人員可以意識(shí)到，本原理與其他類型的格式和容器兼容，包括當(dāng)前已知的格式和容器以及未來開發(fā)的那些格式和容器。

觸覺流包含一個(gè)或多個(gè)觸覺包211至21n，觸覺包是包含表示觸覺效果的數(shù)據(jù)的包，n是大于或等于1的整數(shù)。在圖2的部分23中詳述觸覺包214。有利地，觸覺包214包含屬性集合231和有效載荷數(shù)據(jù)232。有利地，屬性集合包含表示觸覺效果的描述關(guān)于身體模型相對(duì)于沉浸式內(nèi)容的位置的依賴性的第一信息，在身體模型的位置與由用戶11所關(guān)聯(lián)的身體模型所表示的用戶的位置之間存在緊密關(guān)系。第一信息對(duì)應(yīng)于例如指定觸覺效果的描述是否依賴于身體模型的位置的布爾值。值“0”可以用于例如指示在觸覺效果的描述與身體模型相對(duì)于沉浸式內(nèi)容的位置之間不存在依賴性。值“1”可以用于例如指示在在觸覺效果的描述與身體模型相對(duì)于沉浸式內(nèi)容的位置之間存在依賴性。為了示出觸覺效果的描述可能依賴于身體模型的位置的情況，考慮觸覺效果的兩個(gè)不同的示例：i)溫度效果，其表示朝向在沉浸式內(nèi)容中產(chǎn)生的爆炸的身體模型的部分上的熱量增加；以及ii)振動(dòng)效果，其應(yīng)當(dāng)被施加在身體模型的一部分(例如前臂)上，以刺激在其前臂上爬行的蜘蛛。顯然，第一效果(即溫度效果)高度依賴于身體模型相對(duì)于沉浸式內(nèi)容的位置：如果身體模型正在爆炸的方向上觀看，則應(yīng)當(dāng)在其前面感覺到溫度增加，而如果身體模型正在相反方向上觀看，則應(yīng)當(dāng)在其后面感覺到溫度增加。此外，如果身體模型的手臂移動(dòng)以保護(hù)其頭部不受熱量增加影響，則第一效果所影響的部分將改變。相反，第二效果(即振動(dòng)效果)不依賴于位置，因?yàn)椤案杏X”或接收觸覺效果的效果的身體模型的部分將總是相同的(在示例中為前臂)，而無論身體模型相對(duì)于沉浸式內(nèi)容的位置如何。實(shí)際上，在第二效果的情況下，基準(zhǔn)的框架是身體模型自身，而在第一效果的情況下，基準(zhǔn)的框架在身體模型外部，這解釋了第一效果的描述取決于身體模型的位置，而第二效果的描述卻不是。身體模型的位置被理解為身體模型的姿勢(或等同地，其所關(guān)聯(lián)的用戶的姿勢)。位置的改變對(duì)應(yīng)于身體模型的至少一部分的空間中的位置的改變(例如可以通過空間中的該移動(dòng)部分的坐標(biāo)的改變表示的手的移動(dòng)、手的旋轉(zhuǎn))。

有利地，屬性集合還包含與要在用戶上呈現(xiàn)的觸覺效果的類型相關(guān)聯(lián)的觸覺身體模型的標(biāo)識(shí)(被稱為HID)。實(shí)際上，對(duì)于要呈現(xiàn)的每種類型的觸覺效果可以有利地定義不同的(觸覺)身體模型，例如，用于溫度效果的(觸覺)身體模型具有例如HID#0，用于振動(dòng)效果的(觸覺)身體模型具有例如HID#1，用于壓力效果的(觸覺)身體模型具有例如HID#2，用于移動(dòng)效果的(觸覺)身體模型具有例如HID#3，等等。有利地，被用于定義身體模型集合22的數(shù)據(jù)存儲(chǔ)在可以由用于創(chuàng)建觸覺效果的設(shè)備而且還由用于在終端用戶側(cè)上呈現(xiàn)觸覺效果的設(shè)備訪問的服務(wù)器上。根據(jù)變型，被用于確定身體模型集合的數(shù)據(jù)在本地存儲(chǔ)在被用于創(chuàng)建和呈現(xiàn)觸覺效果的每個(gè)設(shè)備上。被用于定義觸覺身體模型22的數(shù)據(jù)的部分可以取決于被用于觸覺身體模型22的身體模型的類型(參照?qǐng)D4A和圖4B描述兩種這樣類型的身體模型)。例如，可以通過包括諸如關(guān)節(jié)和體節(jié)這樣的元件的骨架和/或通過用于皮膚的網(wǎng)格元件來定義身體模型。有利地，可以通過每個(gè)觸覺身體模型的元件ID描述和標(biāo)識(shí)每個(gè)元件。被用于定義皮膚的網(wǎng)格也可以隨著觸覺身體模型的不同、根據(jù)與之相關(guān)聯(lián)的觸覺效果而不同。例如，觸覺身體模型#0的手部的網(wǎng)格分辨率可以高于觸覺身體模型#1的手部的網(wǎng)格分辨率。被用于定義每個(gè)觸覺身體模型的其他數(shù)據(jù)也可以與每個(gè)觸覺身體模型相關(guān)聯(lián)，諸如列出與其相關(guān)聯(lián)的觸覺效果的類型的許可值的范圍(例如最小/最大值，例如對(duì)于溫度效果，-20°/100℃)。使用觸覺包中的HID使得能夠減少要發(fā)送的數(shù)據(jù)的量，因?yàn)槠浔苊獍l(fā)送被用于定義觸覺包所涉及的觸覺身體模型的數(shù)據(jù)，從而減少帶寬的負(fù)擔(dān)。

根據(jù)變型，屬性集合還包含表示身體模型相對(duì)于沉浸式內(nèi)容的基準(zhǔn)位置的第三信息。有利地，當(dāng)接收觸覺來源的效果的身體模型的部分對(duì)應(yīng)于觸覺效果所標(biāo)定的第一部分時(shí)，基準(zhǔn)位置對(duì)應(yīng)于身體模型的位置。僅當(dāng)?shù)谝恍畔⒅甘驹谟|覺效果的描述與身體模型的位置之間存在依賴性時(shí)，將該第三信息作為屬性添加到觸覺包。第三信息使得能夠獲得身體模型的位置，針對(duì)該位置，所標(biāo)定的第一部分在呈現(xiàn)時(shí)將有效地被觸覺效果影響。第三信息還可用于，當(dāng)身體模型處于與基準(zhǔn)位置不同的當(dāng)前位置并且知道當(dāng)前位置時(shí)，確定身體模型的哪個(gè)(哪些)部分(被稱為第二部分)將有效地被觸覺效果影響。

根據(jù)變型，總是將第三信息添加到觸覺包，而無論第一信息的值是“0”還是“1”。

第三信息可以采取定義在觸覺包的有效載荷數(shù)據(jù)232中設(shè)計(jì)有觸覺效果的位置的位置屬性的形式。位置屬性可以是例如標(biāo)識(shí)給定姿勢(例如坐、站、躺)的標(biāo)識(shí)符。根據(jù)變型，第三信息對(duì)應(yīng)于基準(zhǔn)位置中的觸覺身體模型的網(wǎng)格和/或骨架。

有利地，觸覺包的有效載荷數(shù)據(jù)232包含可以是例如固定值的大小S的數(shù)據(jù)陣列(也被稱為“幀”)。數(shù)據(jù)陣列包含要傳送的有效觸覺值。每個(gè)幀包含一陣完整的觸覺樣本(一個(gè)觸覺包可以包含例如除了第一信息和第三信息之外還在屬性中設(shè)置的或者可以在與觸覺身體模型關(guān)聯(lián)的數(shù)據(jù)中設(shè)置的頻率處采樣的若干相繼的完全的觸覺樣本)。

每個(gè)觸覺樣本包含表示觸覺效果所標(biāo)定的身體模型的部分(被稱為第一部分)的第二信息。第二信息對(duì)應(yīng)于例如應(yīng)當(dāng)受該觸覺效果影響的與觸覺包相關(guān)聯(lián)的身體模型的第一部分的編號(hào)“N”。第二信息還可以包含標(biāo)識(shí)觸覺效果所標(biāo)定的身體模型的每個(gè)第一部分(即受影響的或感覺觸覺效果的效果的身體模型的每個(gè)元件)的標(biāo)識(shí)符(F)，標(biāo)識(shí)符“F”引用被用于定義每個(gè)觸覺身體模型22的數(shù)據(jù)中所描述的元件。每個(gè)觸覺樣本還包含與N個(gè)第一部分相關(guān)聯(lián)的觸覺效果值“V”(強(qiáng)度)的列表，每個(gè)值可以是標(biāo)量或矢量的(對(duì)于振動(dòng)，可以使用一對(duì)頻率/強(qiáng)度)，每個(gè)值例如根據(jù)在所關(guān)聯(lián)的觸覺身體模型22中所指定的范圍在0至1之間被歸一化。根據(jù)可選的變型，如果不使用完全數(shù)據(jù)陣列，則有效載荷數(shù)據(jù)可以包含可以添加到有用的數(shù)據(jù)的末尾的包結(jié)束(EOP)標(biāo)識(shí)符(例如無符號(hào)整數(shù)0xFFFF)。

圖4A和圖4B均示出根據(jù)本原理的兩個(gè)具體且非限制性的實(shí)施例的被用于定義觸覺身體模型22并且表示觀看沉浸式內(nèi)容10的用戶11的身體模型。

圖4A示出包含網(wǎng)格元件(例如多邊形401、402，被稱為表面)的網(wǎng)格的第一示例性身體模型40。有利地，每個(gè)表面具有可以用于標(biāo)識(shí)觸覺效果所影響的網(wǎng)格元件的標(biāo)識(shí)符。如圖4A所示，網(wǎng)格元件的密度可以根據(jù)身體模型的部分而變化。表面例如在手上比在前臂上更密集，在頭部上比在軀干上更密集。根據(jù)變型，網(wǎng)格元件的密度還可以根據(jù)觸覺效果的類型(例如觸覺、溫度、振動(dòng))而變化，這意味著不同的身體模型可以被用于不同的觸覺效果。

圖4B示出對(duì)應(yīng)于通過關(guān)節(jié)401和體節(jié)402所表示的簡化的用戶的身體模型的第二示例性身體模型41。例如，手臂被視為兩個(gè)體節(jié)(臂和前臂)和兩個(gè)關(guān)節(jié)(肘和肩)。頸部包含一個(gè)體節(jié)和一個(gè)關(guān)節(jié)。體節(jié)的大小和關(guān)節(jié)的角度限制有利地由解剖數(shù)據(jù)定義，例如在M.Schuenke、E.Schulte、U.Schumacher、L.M.Ross、E.D.Lamperti和M.Voll的“General Anatomy and Musculoskeletal System”(Thieme Medical Publishers Inc.，2010年)中所描述的那樣。

當(dāng)然，身體模型不限于示例性身體模型40和41，而是擴(kuò)展到任何身體模型。身體模型例如可以包含人類骨架的更精確的表示(骨頭的大小和重量、關(guān)節(jié)上的約束)和/或包含肌肉的表示。更詳細(xì)的身體模型將使得能夠計(jì)算更真實(shí)的觸覺反饋。例如，人類身體中的振動(dòng)的傳播可以考慮骨密度以及肌肉的阻尼性質(zhì)。

圖3示出根據(jù)本原理的具體且非限制性的實(shí)施例的、根據(jù)身體模型3的兩個(gè)不同朝向的觸覺效果12所影響的身體模型的部分。圖3的左手部分示出根據(jù)基準(zhǔn)位置(即根據(jù)已經(jīng)具體地描述了觸覺效果12的觀看方向D0)觀看沉浸式內(nèi)容的身體模型3。觸覺效果的描述包含觸覺效果所影響的身體模型的元件的列表(稱為第一部分)以及觸覺效果所影響的每個(gè)元件的觸覺效果值的強(qiáng)度。圖3所示的身體模型的元件或部分被標(biāo)記為30、31、32、33、34和35。觸覺效果所影響的身體模型的第一部分對(duì)應(yīng)于元件30并且以虛線示出。當(dāng)然，第一部分的數(shù)量不限于1，而是擴(kuò)展到大于或等于1的任何數(shù)。

圖3的右手部分示出根據(jù)與基準(zhǔn)位置不同的位置(稱為當(dāng)前位置)(即根據(jù)觀看方向D1)觀看沉浸式內(nèi)容的身體模型。當(dāng)然，觸覺效果的來源12仍處于沉浸式內(nèi)容10中的同一位置處。由于身體模型3的當(dāng)前位置與描述了觸覺效果的基準(zhǔn)位置不同，因此觸覺效果12所影響的身體模型的部分(稱為第二部分)與第一部分30不同。在該示例中，第二部分包含對(duì)應(yīng)于被標(biāo)記為31、32的元件(即至少部分地面對(duì)觸覺效果的來源12的元件)的多于一個(gè)的第二部分。第二部分與第一部分不同，因?yàn)樵谠撌纠?，觸覺效果的基準(zhǔn)框架在身體模型(用戶)之外。

有利地，根據(jù)所關(guān)聯(lián)的用戶11的位置確定身體模型3的位置。當(dāng)用戶佩戴HMD時(shí)，可以根據(jù)HMD的傳感器所測量的數(shù)據(jù)確定用戶11的位置(或姿勢)。如果使用CAVE系統(tǒng)，則可以通過CAVE系統(tǒng)中的用戶的面部的圖像的圖像處理，或者根據(jù)跟蹤C(jī)AVE系統(tǒng)內(nèi)的用戶的姿勢和/或運(yùn)動(dòng)的跟蹤系統(tǒng)所生成的數(shù)據(jù)，來確定位置。

為了避免根據(jù)身體模型的每個(gè)可能位置添加關(guān)于觸覺效果所影響的身體模型的部分的信息，將參照?qǐng)D5來描述確定第二部分的處理。通過避免根據(jù)身體模型的每個(gè)可能位置發(fā)送關(guān)于觸覺效果所影響的身體模型的部分的信息，可以減少帶寬。

當(dāng)然，身體模型(或用戶)的位置的改變不限于用戶的沉浸式內(nèi)容的觀看方向的改變，而是擴(kuò)展到身體模型的任何部分的姿勢的改變，例如身體模型的部分的移動(dòng)、身體模型的部分的旋轉(zhuǎn)等。

圖5示出根據(jù)本原理的具體且非限制性的實(shí)施例的、用于確定觸覺效果12所影響的身體模型3的第二部分的處理。

在第一步驟中，將與要呈現(xiàn)的觸覺效果的類型相關(guān)聯(lián)的類型的觸覺身體模型(例如，對(duì)于振動(dòng)效果，觸覺身體模型#1)初始化(即變形)為處于對(duì)應(yīng)于基準(zhǔn)位置D0的位置處并且處于與要呈現(xiàn)的觸覺效果相關(guān)聯(lián)的條件下。執(zhí)行第一步驟的3D+物理引擎50的輸入是通過HID所表示的觸覺身體模型以及與D0位置相關(guān)聯(lián)的條件，即基準(zhǔn)位置和要呈現(xiàn)的觸覺效果(例如觸覺效果的來源的位置)。第一步驟的輸出是位置D0處的變形的觸覺身體模型以及所標(biāo)識(shí)的觸覺身體模型的第一部分。

在第二步驟中，位置D0處的觸覺身體模型被變形到位置D1處。根據(jù)與身體模型相關(guān)聯(lián)的用戶的位置的所測量的改變得出位置D1。這樣的步驟也由3D+物理引擎50執(zhí)行，以位置D0處的觸覺身體模型和當(dāng)前位置D1作為輸入。在3D+物理引擎50的輸出處獲得位置D1處的變形的觸覺身體模型。根據(jù)第一示例，變形可以對(duì)應(yīng)于當(dāng)前位置D1處的身體模型的簡單旋轉(zhuǎn)，即形成身體模型的一個(gè)或多個(gè)元件的旋轉(zhuǎn)。在用戶僅改變他/她的注視方向而沒有身體的其他移動(dòng)的情況下，該第一示例是特別適合的。根據(jù)第二示例，機(jī)械/物理模型被用于根據(jù)位置D1與位置D0之間的差異來推斷觸覺身體模型的變形。第二示例在用戶的部分的移動(dòng)比第一示例中更復(fù)雜的情況下是有利的，或者給出比在用戶僅改變他/她的注視的情況下的第一示例更真實(shí)的結(jié)果。

在第三步驟中，根據(jù)位置D1處的變形的觸覺身體模型并且根據(jù)第一部分，確定觸覺效果所真正影響的觸覺身體模型的第二部分。為此，第一部分例如被投影到位置D1處的變形的觸覺身體模型上。然后，第二部分對(duì)應(yīng)于第一部分在位置D1處的變形的觸覺身體模型上的投影。效果強(qiáng)度從第一部分傳遞(并且如果需要，則可能被內(nèi)插)到第二部分。

根據(jù)變型，組合第一步驟和第二步驟?？紤]D1位置與D0位置之間的差異，在第一步驟的輸入處使觸覺身體模型變形，由此獲得位置D1處的觸覺身體模型。

圖6示出可以被配置為實(shí)現(xiàn)參照?qǐng)D9和/或圖10描述的方法的設(shè)備6的示例性架構(gòu)。

設(shè)備6包含通過數(shù)據(jù)和地址總線61鏈接在一起的以下元件：

-微處理器62(或CPU)，其例如DSP(或數(shù)字信號(hào)處理器)；

-ROM(或只讀存儲(chǔ)器)63；

-RAM(或隨機(jī)存取存儲(chǔ)器)64；

-存儲(chǔ)接口65；

-I/O接口66，從應(yīng)用接收要發(fā)送的數(shù)據(jù)；以及

-電源67(例如電池)。

根據(jù)示例，電源67在設(shè)備的外部。在每個(gè)所提及的存儲(chǔ)器中，在說明書中所使用的措詞“存儲(chǔ)器”可以對(duì)應(yīng)于小容量(一些比特)的區(qū)域或者非常大的區(qū)域(例如整個(gè)程序或者大量所接收到的或所解碼的數(shù)據(jù))。ROM 63至少包含程序和參數(shù)。ROM 63可以存儲(chǔ)用以執(zhí)行根據(jù)本原理的技術(shù)的算法和指令。在接通時(shí)，CPU 62更新RAM中的程序并且執(zhí)行對(duì)應(yīng)的指令。

RAM 64在寄存器中包含CPU 62執(zhí)行并且在接通設(shè)備6之后更新的程序、寄存器中的輸入數(shù)據(jù)、寄存器中的方法的不同狀態(tài)下的中間數(shù)據(jù)以及被用于執(zhí)行寄存器中的方法的其他變量。

可以例如以方法或處理、裝置、計(jì)算機(jī)程序產(chǎn)品、數(shù)據(jù)流或信號(hào)來實(shí)現(xiàn)在此所描述的實(shí)現(xiàn)方式。盡管僅以單一形式的實(shí)現(xiàn)方式的情況下進(jìn)行了討論(例如僅被討論為方法或設(shè)備)，但是所討論的特征的實(shí)現(xiàn)方式也可以以其他形式(例如程序)來實(shí)現(xiàn)。例如，裝置可以實(shí)現(xiàn)為適當(dāng)?shù)挠布?、軟件和固件。方法例如可以?shí)現(xiàn)在裝置中，諸如例如通常被稱為處理設(shè)備的處理器，例如包含計(jì)算機(jī)、微處理器、集成電路或可編程邏輯設(shè)備。處理器還包含通信設(shè)備，諸如例如計(jì)算機(jī)、蜂窩電話、便攜/個(gè)人數(shù)字助理(“PDA”)以及便于終端用戶之間的信息的通信的其他設(shè)備。

根據(jù)編碼或編碼器的示例，從來源獲得第一信息、第二信息和/或第三信息。例如，來源屬于包含以下的集合：

-本地存儲(chǔ)器(63或64)，例如視頻存儲(chǔ)器或RAM(或隨機(jī)存取存儲(chǔ)器)、閃速存儲(chǔ)器、ROM(或只讀存儲(chǔ)器)、硬盤；

-存儲(chǔ)接口(65)，例如與大規(guī)模存儲(chǔ)、RAM、閃速存儲(chǔ)器、ROM、光盤或磁載體的接口；

-通信接口(66)，例如有線接口(例如總線接口、廣域網(wǎng)接口、局域網(wǎng)接口)或無線接口(諸如IEEE 802.11接口或接口)以及

-用戶接口，諸如使用戶能夠輸入數(shù)據(jù)的圖形用戶接口。

根據(jù)解碼或解碼器的示例，第一信息、第二信息和/或第三信息發(fā)送到目的地；具體地說，目的地屬于包含以下的集合：

-本地存儲(chǔ)器(63或64)，例如視頻存儲(chǔ)器或RAM、閃速存儲(chǔ)器、硬盤；

-存儲(chǔ)接口(65)，例如與大規(guī)模存儲(chǔ)、RAM、閃速存儲(chǔ)器、ROM、光盤或磁載體的接口；以及

-通信接口(66)，例如有線接口(例如總線接口(例如USB(或通用串行總線))、廣域網(wǎng)接口、局域網(wǎng)接口、HDMI(高清多媒體接口)接口)或無線接口(例如IEEE 802.11接口、或接口)。

根據(jù)編碼或編碼器的示例，比特流20發(fā)送到目的地。作為示例，比特流20存儲(chǔ)在本地或遠(yuǎn)程存儲(chǔ)器中，例如視頻存儲(chǔ)器(64)或RAM(64)、硬盤(63)中。在變型中，比特流發(fā)送到存儲(chǔ)接口(65)(例如與大規(guī)模存儲(chǔ)、閃速存儲(chǔ)器、ROM、光盤或磁載體之間的接口)和/或在通信接口(66)(例如對(duì)點(diǎn)對(duì)點(diǎn)鏈路、通信總線、點(diǎn)對(duì)多點(diǎn)鏈路或廣播網(wǎng)絡(luò)的接口)上發(fā)送。

根據(jù)解碼或解碼器的示例，從來源獲得比特流20。示例性地，從本地存儲(chǔ)器(例如視頻存儲(chǔ)器(64)、RAM(64)、ROM(63)、閃速存儲(chǔ)器(63)或硬盤(63))讀取比特流。在變型中，比特流接收自存儲(chǔ)接口(65)(例如與大規(guī)模存儲(chǔ)、RAM、ROM、閃速存儲(chǔ)器、光盤或磁載體之間的接口)和/或接收自通信接口(65)(例如對(duì)點(diǎn)對(duì)點(diǎn)鏈路、總線、點(diǎn)對(duì)多點(diǎn)鏈路或廣播網(wǎng)絡(luò)的接口)。

根據(jù)示例，設(shè)備6被配置為實(shí)現(xiàn)參照?qǐng)D9描述的編碼方法，并且屬于包含以下的集合：

-移動(dòng)設(shè)備；

-通信設(shè)備；

-游戲設(shè)備；

-平板(或平板計(jì)算機(jī))；

-膝上型設(shè)備；

-靜止圖片相機(jī)；

-攝像機(jī)；

-編碼芯片；

-服務(wù)器(例如廣播服務(wù)器、視頻點(diǎn)播服務(wù)器或網(wǎng)絡(luò)服務(wù)器)。

根據(jù)示例，設(shè)備6被配置為實(shí)現(xiàn)參照?qǐng)D10描述的解碼方法，并且屬于包含以下的集合：

-移動(dòng)設(shè)備；

-通信設(shè)備；

-游戲設(shè)備；

-機(jī)頂盒；

-電視機(jī)；

-平板(或平板計(jì)算機(jī))；

-膝上型設(shè)備；

-顯示器(例如，諸如HMD)；以及

-解碼芯片。

根據(jù)圖7所示的示例，在通過通信網(wǎng)絡(luò)NET 70、在(設(shè)備60的類型的)兩個(gè)遠(yuǎn)程設(shè)備71與72之間的傳輸背景下，設(shè)備71包含被配置為實(shí)現(xiàn)參照?qǐng)D9描述的用于對(duì)圖片進(jìn)行編碼的方法的裝置，設(shè)備72包含被配置為實(shí)現(xiàn)參照?qǐng)D10描述的用于解碼的方法的裝置。

根據(jù)示例，網(wǎng)絡(luò)70是LAN或WLAN網(wǎng)絡(luò)，適合于將具有相關(guān)聯(lián)的音頻信息和觸覺信息的靜止圖片或視頻圖片從設(shè)備71廣播給包括設(shè)備72的解碼設(shè)備。

意圖由設(shè)備71發(fā)送的信號(hào)攜帶比特流20。比特流20包含如上所述的經(jīng)編碼的觸覺包。該信號(hào)還包含參照?qǐng)D2描述的第一信息、第二信息和/或第三信息。

圖8示出當(dāng)通過基于包的傳輸協(xié)議發(fā)送數(shù)據(jù)時(shí)的這樣的信號(hào)的語法的實(shí)施例的示例。每個(gè)所發(fā)送的包P包含頭部H 80和有效載荷PAYLOAD 81。頭部H的比特例如專用于表示指示觸覺效果的描述關(guān)于身體模型(或者等效地，身體模型所表示的用戶)相對(duì)于沉浸式內(nèi)容的朝向的依賴性。例如，在有效載荷81中發(fā)送第二信息和第三信息。根據(jù)變型，在有效載荷81中包含第一信息、第二信息和第三信息。

圖9示出根據(jù)本原理的非限制性實(shí)施例的、被配置用于編碼的設(shè)備6中所實(shí)現(xiàn)的、用于對(duì)包含表示要呈現(xiàn)的觸覺效果的數(shù)據(jù)的包進(jìn)行編碼的方法。

在初始化步驟90期間，更新設(shè)備6的不同參數(shù)。具體地，以任何方式對(duì)表示要呈現(xiàn)的觸覺效果的數(shù)據(jù)進(jìn)行初始化。

然后，在步驟91期間，將第一信息添加到包。第一信息表示觸覺效果的描述關(guān)于被用于對(duì)用戶進(jìn)行建模/表示的身體模型相對(duì)于被添加到包的沉浸式內(nèi)容的位置的依賴性。特別地，觸覺效果的描述包含觸覺效果的類型，并且根據(jù)觸覺值的類型，包含要施加到身體模型/用戶的效果(力、溫度、壓力、移動(dòng))的強(qiáng)度的值的陣列。如果觸覺效果的基準(zhǔn)的框架是身體模型/用戶，則在觸覺效果的描述與身體模型的位置之間不存在依賴性。如果觸覺效果的基準(zhǔn)的框架在身體模型/用戶之外，則在觸覺效果的描述與身體模型的位置之間存在依賴性。

然后，在步驟92期間，將第二信息添加到包。第二信息表示觸覺效果所標(biāo)定的身體模型的第一部分。身體模型的一部分對(duì)應(yīng)于形成身體模型的元件之一，例如，當(dāng)身體模型包含骨架時(shí)的關(guān)節(jié)或體節(jié)，例如當(dāng)身體模型包含網(wǎng)格(例如皮膚網(wǎng)格)時(shí)的網(wǎng)格元件(例如多邊形)。第一信息對(duì)應(yīng)于例如標(biāo)識(shí)符，標(biāo)識(shí)符與身體模型的每個(gè)元件(或部分)相關(guān)聯(lián)。當(dāng)?shù)谝恍畔⒅甘驹谟|覺效果的描述與身體模型的位置之間存在依賴性時(shí)，“觸覺效果所標(biāo)定的第一部分”被理解為，當(dāng)身體模型處于所確定的位置(被稱為基準(zhǔn)位置)處時(shí)將被施加效果的強(qiáng)度的身體模型的部分。如果不存在依賴性，則第一部分對(duì)應(yīng)于將被施加觸覺效果的身體模型的元件，無論身體模型的位置如何。

在第三可選步驟中，將第三信息添加到包。第三信息表示身體模型相對(duì)于沉浸式內(nèi)容的基準(zhǔn)位置?；鶞?zhǔn)位置對(duì)應(yīng)于所確定的位置，即觸覺效果將被有效地施加在第一部分上的位置。例如，僅當(dāng)?shù)谝恍畔⒅甘驹谟|覺效果的描述與身體模型的朝向之間存在依賴性時(shí)添加第三信息。根據(jù)變型，總是將第三信息添加到包，而無論第一信息的意義如何。

至少在第一信息指示不存在依賴性時(shí)，添加第一信息使得能夠減少要添加到包的數(shù)據(jù)的量。在呈現(xiàn)側(cè)，至少在第一信息指示不存在依賴性時(shí)，第一信息也減少要解碼的數(shù)據(jù)的量。實(shí)際上，在這樣的情況下，無需解碼/發(fā)送第三信息，也無需關(guān)于身體模型的位置的任何信息。

在另一可選步驟中，發(fā)送包。

在另一可選步驟中，將在包中所包含的數(shù)據(jù)根據(jù)第一信息、第二信息和/或第三信息變換為被施加到用戶的至少一個(gè)身體部分的觸覺效果。

圖10示出根據(jù)本原理非限制性實(shí)施例的在被配置用于解碼的設(shè)備6中所實(shí)現(xiàn)的用于對(duì)包含表示要呈現(xiàn)的觸覺效果的數(shù)據(jù)的包進(jìn)行解碼的方法。

在初始化步驟90期間，更新設(shè)備6的不同參數(shù)。具體地，以任何方式初始化表示要呈現(xiàn)且先前接收到的觸覺效果的數(shù)據(jù)。

然后，在步驟91期間，從接收的包獲得(即提取和/或解碼)第一信息，包例如經(jīng)由無線連接或經(jīng)由有線連接接收。例如從編碼設(shè)備6或從遠(yuǎn)程存儲(chǔ)設(shè)備或從解碼設(shè)備6中所包含的本地存儲(chǔ)設(shè)備接收包。

然后，在步驟92期間，從接收的包獲得(即提取和/或解碼)第二信息。

在第三可選步驟中，從接收的包獲得(即提取和/或解碼)第三信息。有利地，僅當(dāng)?shù)谝恍畔⒅甘驹谟|覺效果的描述與身體模型的朝向之間存在依賴性時(shí)獲得第三信息，這使得能夠當(dāng)?shù)谝恍畔⒅甘静淮嬖谝蕾囆詴r(shí)減少要獲得的數(shù)據(jù)的量。

在另一可選步驟中，至少當(dāng)?shù)谝恍畔⒅甘敬嬖谝蕾囆詴r(shí)，確定觸覺效果所影響的身體模型的第二部分?；谝呀?jīng)使用第三信息以及表示與基準(zhǔn)位置不同的身體模型的當(dāng)前位置的信息進(jìn)行變形的身體模型來確定第二部分。

在另一可選步驟中，根據(jù)所解碼的包中所包含的數(shù)據(jù)，由控制傳動(dòng)器在用戶上呈現(xiàn)觸覺效果。

當(dāng)然，本公開不限于先前所描述的實(shí)施例。

具體地，本公開不限于用于對(duì)包含觸覺數(shù)據(jù)的包進(jìn)行編碼/解碼的方法，而是還擴(kuò)展到實(shí)現(xiàn)該方法的任何設(shè)備，特別地，包含至少一個(gè)CPU和/或至少一個(gè)GPU的任何設(shè)備。

本公開還涉及用于生成觸覺效果的方法(和所配置的設(shè)備)以及用于呈現(xiàn)觸覺效果的方法(和所配置的設(shè)備)。

本公開還涉及用于發(fā)送和/或接收包含觸覺數(shù)據(jù)的包的方法(和所配置的設(shè)備)。

例如，在此所描述的實(shí)現(xiàn)方式可以實(shí)現(xiàn)為方法或處理、裝置、計(jì)算機(jī)程序產(chǎn)品、數(shù)據(jù)流或信號(hào)。盡管僅以單一形式的實(shí)現(xiàn)方式的情況下進(jìn)行了討論(例如僅被討論為方法或設(shè)備)，但是所討論的特征的實(shí)現(xiàn)方式也可以以其他形式(例如程序)來實(shí)現(xiàn)。例如，裝置可以實(shí)現(xiàn)為適當(dāng)?shù)挠布?、軟件和固件。方法例如可以?shí)現(xiàn)在裝置中，諸如例如通常被稱為處理設(shè)備的處理器，例如包含計(jì)算機(jī)、微處理器、集成電路或可編程邏輯設(shè)備。處理器還包含通信設(shè)備，諸如例如計(jì)算機(jī)、蜂窩電話、便攜/個(gè)人數(shù)字助理(“PDA”)以及便于終端用戶之間的信息的通信的其他設(shè)備。

在此所描述的各種處理和特征的實(shí)現(xiàn)方式可以實(shí)施在各種不同的裝備或應(yīng)用中，具體地，例如與數(shù)據(jù)編碼、數(shù)據(jù)解碼、視圖生成、紋理處理以及圖像和相關(guān)的紋理信息和/或深度信息的其他處理關(guān)聯(lián)的裝備或應(yīng)用。這些裝備的示例包含編碼器、解碼器、處理來自解碼器的輸出的后處理器、將輸入提供給編碼器的預(yù)處理器、視頻編碼器、視頻解碼器、視頻編解碼器、網(wǎng)絡(luò)服務(wù)器、機(jī)頂盒、膝上型設(shè)備、個(gè)人計(jì)算機(jī)、蜂窩電話、PDA和其他通信設(shè)備。應(yīng)當(dāng)理解，裝備可以是移動(dòng)的，甚至可以安裝在移動(dòng)車輛中。

此外，可以通過處理器所執(zhí)行的指令來實(shí)現(xiàn)方法，并且這些指令(和/或?qū)崿F(xiàn)方式所產(chǎn)生的數(shù)據(jù)值)可以存儲(chǔ)在處理器可讀介質(zhì)上，諸如例如集成電路、軟件載體或者諸如例如硬盤、壓縮盤(“CD”)、光盤(諸如例如DVD，一般被稱為數(shù)字多功能盤或數(shù)字視頻盤)、隨機(jī)存取存儲(chǔ)器(“RAM”)或只讀存儲(chǔ)器(“ROM”)這樣的其他存儲(chǔ)設(shè)備。指令可以形成有形地實(shí)施在處理器可讀介質(zhì)上的應(yīng)用程序。指令可以在例如硬件、固件、軟件或組合中。指令可以存在于例如操作系統(tǒng)、單獨(dú)的應(yīng)用或二者的組合中。因此，處理器可以被表征為例如被配置為執(zhí)行處理的設(shè)備和包含具有用于執(zhí)行處理的指令的處理器可讀介質(zhì)的設(shè)備(例如存儲(chǔ)設(shè)備)二者。此外，除了指令，或者代替指令，處理器可讀介質(zhì)可以存儲(chǔ)實(shí)現(xiàn)方式所產(chǎn)生的數(shù)據(jù)值。

對(duì)于本領(lǐng)域技術(shù)人員顯而易見的是，實(shí)現(xiàn)方式可以產(chǎn)生被格式化為攜帶例如可以存儲(chǔ)或發(fā)送的信息的各種信號(hào)。信息包含例如用于執(zhí)行方法的指令或所描述的實(shí)現(xiàn)方式之一所產(chǎn)生的數(shù)據(jù)。例如，信號(hào)可以被格式化為攜帶用于寫入或讀取所描述的實(shí)施例的語法的規(guī)則作為數(shù)據(jù)，或攜帶所描述的實(shí)施例所寫入的實(shí)際語法值作為數(shù)據(jù)。所述信號(hào)可以例如被格式化為電磁波(例如使用譜的射頻部分)或者被格式化為基帶信號(hào)。格式化可以包含例如對(duì)數(shù)據(jù)流進(jìn)行編碼以及用經(jīng)編碼的數(shù)據(jù)流來調(diào)制載波。信號(hào)攜帶的信息可以是例如模擬或數(shù)字信息。如所知的那樣，可以通過各種不同的有線或無線鏈路來發(fā)送信號(hào)。信號(hào)可以存儲(chǔ)在處理器可讀介質(zhì)上。

已經(jīng)描述了很多實(shí)現(xiàn)方式。然而，應(yīng)當(dāng)理解，可以進(jìn)行各種修改。例如，不同實(shí)現(xiàn)方式的元件可以組合、補(bǔ)充、修改或移除，以產(chǎn)生其他實(shí)現(xiàn)方式。此外，本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，其他結(jié)構(gòu)和處理可以代替所公開的這些結(jié)構(gòu)和處理，所得的實(shí)現(xiàn)方式將以至少基本上相同的方式來執(zhí)行至少基本上相同功能，以實(shí)現(xiàn)與所公開的實(shí)現(xiàn)方式至少基本上相同的結(jié)果。相應(yīng)地，本申請(qǐng)想到這些以及其他實(shí)現(xiàn)方式。