本實(shí)施例中的至少一個(gè)總體涉及信號(hào)編碼，并且更具體地涉及一種用于在頻帶中精確編碼觸覺(jué)信號(hào)的方法和設(shè)備。

背景技術(shù)：

1、通過(guò)基于反饋和交互的沉浸式系統(tǒng)向用戶(hù)提議完全沉浸式的用戶(hù)體驗(yàn)。交互可以使用滿(mǎn)足用戶(hù)需求的常規(guī)控制方式。當(dāng)前的視覺(jué)和聽(tīng)覺(jué)反饋提供了令人滿(mǎn)意的逼真沉浸水平。觸覺(jué)效果可以提供額外的反饋，這允許人類(lèi)用戶(hù)能夠用感官感知虛擬環(huán)境，從而獲得更好的完全沉浸體驗(yàn)和增強(qiáng)的真實(shí)感。然而，觸覺(jué)仍然是改善沉浸式系統(tǒng)中的整體用戶(hù)體驗(yàn)的一個(gè)潛在進(jìn)步領(lǐng)域。

2、常規(guī)上，沉浸式系統(tǒng)可以包括表示虛擬環(huán)境的3d場(chǎng)景，其中虛擬對(duì)象位于3d場(chǎng)景內(nèi)。為了改善用戶(hù)與虛擬環(huán)境元素的交互，可以通過(guò)觸覺(jué)致動(dòng)器的刺激來(lái)使用觸覺(jué)反饋。這種交互是基于與要發(fā)送給用戶(hù)的物理現(xiàn)象相對(duì)應(yīng)的“觸覺(jué)對(duì)象”的概念。在沉浸式場(chǎng)景的背景下，觸覺(jué)對(duì)象允許通過(guò)限定適當(dāng)?shù)挠|覺(jué)致動(dòng)器的刺激以模擬觸覺(jué)渲染設(shè)備上的物理現(xiàn)象來(lái)提供觸覺(jué)效果。不同類(lèi)型的觸覺(jué)致動(dòng)器允許復(fù)原不同類(lèi)型的觸覺(jué)反饋。

3、觸覺(jué)對(duì)象的示例是爆炸。爆炸可以通過(guò)振動(dòng)和熱量來(lái)渲染，從而將不同的觸覺(jué)效果結(jié)合到用戶(hù)身上以提高真實(shí)感。沉浸式場(chǎng)景通常包括多個(gè)觸覺(jué)對(duì)象，例如使用與全局效果相關(guān)的第一觸覺(jué)對(duì)象和與局部效果相關(guān)的第二觸覺(jué)對(duì)象。

4、本文描述的原理適用于使用觸覺(jué)的任何沉浸式環(huán)境，例如增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)或觸覺(jué)增強(qiáng)視頻(或全向/360°視頻)渲染，并且更通常適用于任何基于觸覺(jué)的用戶(hù)體驗(yàn)。因此，此類(lèi)沉浸式環(huán)境示例的場(chǎng)景被視為沉浸式場(chǎng)景。

5、觸覺(jué)是指觸摸感覺(jué)，并且包括兩個(gè)維度，即觸覺(jué)和動(dòng)覺(jué)。第一個(gè)維度與觸覺(jué)感受有關(guān)，諸如摩擦、粗糙度、硬度、溫度，并且通過(guò)皮膚的機(jī)械感受器(默克爾細(xì)胞、魯菲尼末梢、麥斯納氏小體、帕西尼氏小體)感受到。第二個(gè)維度與由肌肉、肌腱和關(guān)節(jié)中的機(jī)械感受器提供的力/扭矩、位置、運(yùn)動(dòng)/速度的感受有關(guān)。觸覺(jué)還涉及自我運(yùn)動(dòng)的感知，因?yàn)樗兄诒倔w感受系統(tǒng)(即對(duì)自己身體的感知)。因此，加速度、速度或任何身體模型的感知都可以被吸收為觸覺(jué)效果。頻率范圍為約0至1khz，取決于模態(tài)的類(lèi)型。大多數(shù)現(xiàn)有的能夠渲染觸覺(jué)信號(hào)的設(shè)備都會(huì)產(chǎn)生振動(dòng)。此類(lèi)觸覺(jué)致動(dòng)器的示例為線(xiàn)性諧振致動(dòng)器(lra)、偏心旋轉(zhuǎn)質(zhì)量(erm)和音圈線(xiàn)性馬達(dá)。這些致動(dòng)器可以集成到觸覺(jué)渲染設(shè)備中，諸如觸覺(jué)套裝，也可以集成到智能手機(jī)或游戲控制器中。

6、為了對(duì)觸覺(jué)信號(hào)進(jìn)行編碼，已經(jīng)定義了幾種格式，這些格式要么與使用類(lèi)似xml格式(例如mpeg-v)的高級(jí)描述有關(guān)，要么與使用類(lèi)似json格式(諸如蘋(píng)果觸覺(jué)音頻模式(ahap)或浸沒(méi)式公司(immersion?corporation)的hapt格式)的參數(shù)表示有關(guān)，要么與波形編碼(ieee?1918.1.1正在進(jìn)行的觸覺(jué)和動(dòng)覺(jué)信號(hào)的標(biāo)準(zhǔn)化)有關(guān)。hapt格式最近已包含在mpeg?isobmff文件格式規(guī)范(iso/iec?14496第12部分)中。此外，gl傳輸格式(gltftm)是免版稅規(guī)范，其用于通過(guò)應(yīng)用程序高效傳輸和加載3d場(chǎng)景和模型。此格式為3d內(nèi)容工具和服務(wù)定義了可擴(kuò)展的通用發(fā)布格式，其簡(jiǎn)化了創(chuàng)作工作流程并且實(shí)現(xiàn)了跨行業(yè)的內(nèi)容的互操作使用。

7、此外，mpeg標(biāo)準(zhǔn)化小組內(nèi)正在定義新的觸覺(jué)文件格式，并且新的觸覺(jué)文件格式與觸覺(jué)的編碼表示有關(guān)。這種格式的參考模型尚未發(fā)布，但在本文稱(chēng)為rm0。利用這種參考模型，經(jīng)編碼的觸覺(jué)描述文件可以被導(dǎo)出為人類(lèi)可讀的json交換格式(例如.gmpg文件)，或者可以導(dǎo)出為特別適用于向觸覺(jué)渲染設(shè)備傳輸?shù)膲嚎s二進(jìn)制分發(fā)格式(例如.mpg)。

技術(shù)實(shí)現(xiàn)思路

1、實(shí)施例涉及基于多個(gè)頻帶對(duì)輸入信號(hào)(例如觸覺(jué)信號(hào))進(jìn)行編碼。輸入信號(hào)被分解為多個(gè)頻帶?；诎瑫r(shí)間參考的經(jīng)提取的關(guān)鍵幀來(lái)對(duì)低頻帶信號(hào)進(jìn)行編碼。通過(guò)從原始低頻帶信號(hào)減去低頻帶信號(hào)的經(jīng)重構(gòu)的版本來(lái)生成殘差信號(hào)。在一個(gè)實(shí)施例中，然后將該殘差信號(hào)添加到所述頻帶中的一個(gè)頻帶并與該頻帶一起進(jìn)行編碼。在另一個(gè)實(shí)施例中，將所述殘差信號(hào)單獨(dú)編碼為附加頻帶或者編碼在現(xiàn)有頻率中但單獨(dú)編碼。

2、至少一個(gè)實(shí)施例的第一方面針對(duì)一種方法，該方法包括：將輸入信號(hào)分解為包括低頻帶信號(hào)和高頻帶信號(hào)的頻帶；對(duì)從低頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；使用與編碼相反的解碼方法、根據(jù)經(jīng)編碼的數(shù)據(jù)來(lái)重構(gòu)信號(hào)；通過(guò)從低頻帶信號(hào)中減去重構(gòu)的信號(hào)來(lái)確定殘留信號(hào)；將殘留信號(hào)添加到高頻帶信號(hào)；對(duì)從高頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；并且針對(duì)低頻帶和高頻帶提供經(jīng)編碼的數(shù)據(jù)。

3、至少一個(gè)實(shí)施例的第二方面針對(duì)一種方法，該方法包括：將輸入信號(hào)分解為包括低頻帶信號(hào)和高頻帶信號(hào)的頻帶；對(duì)從低頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；使用與編碼相反的解碼方法、根據(jù)經(jīng)編碼的數(shù)據(jù)來(lái)重構(gòu)信號(hào)；通過(guò)從低頻帶信號(hào)中減去重構(gòu)的信號(hào)來(lái)確定殘留信號(hào)；對(duì)從殘留頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；對(duì)從高頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；并且針對(duì)低頻帶信號(hào)、殘留頻帶信號(hào)和高頻帶信號(hào)提供經(jīng)編碼的數(shù)據(jù)。

4、至少一個(gè)實(shí)施例的第三方面涉及一種方法，該方法包括將輸入信號(hào)分解為包括低頻帶信號(hào)的頻帶；對(duì)從低頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；使用與編碼相反的解碼方法、根據(jù)經(jīng)編碼的數(shù)據(jù)來(lái)重構(gòu)信號(hào)；通過(guò)從低頻帶信號(hào)中減去重構(gòu)的信號(hào)來(lái)確定殘留信號(hào)；對(duì)從殘留頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；并且針對(duì)低頻帶信號(hào)和殘留頻帶信號(hào)提供經(jīng)編碼的數(shù)據(jù)。

5、至少一個(gè)實(shí)施例的第四方面針對(duì)一種設(shè)備，該設(shè)備包括處理器，該處理器被配置為：將輸入信號(hào)分解為包括低頻帶信號(hào)和高頻帶信號(hào)的頻帶；對(duì)從低頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；使用與編碼相反的解碼方法、根據(jù)經(jīng)編碼的數(shù)據(jù)來(lái)重構(gòu)信號(hào)；通過(guò)從低頻帶信號(hào)中減去重構(gòu)的信號(hào)來(lái)確定殘留信號(hào)；將殘留信號(hào)添加到高頻帶信號(hào)；對(duì)從高頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；并且針對(duì)低頻帶和高頻帶提供經(jīng)編碼的數(shù)據(jù)。

6、至少一個(gè)實(shí)施例的第五方面針對(duì)一種設(shè)備，該設(shè)備包括處理器，該處理器配置為：將輸入信號(hào)分解為包括低頻帶信號(hào)的頻帶；對(duì)從低頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；使用與編碼相反的解碼方法、根據(jù)經(jīng)編碼的數(shù)據(jù)來(lái)重構(gòu)信號(hào)；通過(guò)從低頻帶信號(hào)中減去重構(gòu)的信號(hào)來(lái)確定殘留信號(hào)；對(duì)從殘留頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；并且針對(duì)低頻帶信號(hào)和殘留頻帶信號(hào)提供經(jīng)編碼的數(shù)據(jù)。

7、至少一個(gè)實(shí)施例的第六方面針對(duì)一種設(shè)備，該設(shè)備包括處理器，該處理器配置為：將輸入信號(hào)分解為包括低頻帶信號(hào)的頻帶；對(duì)從低頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；使用與編碼相反的解碼方法、根據(jù)經(jīng)編碼的數(shù)據(jù)來(lái)重構(gòu)信號(hào)；通過(guò)從低頻帶信號(hào)中減去重構(gòu)的信號(hào)來(lái)確定殘留信號(hào)；對(duì)從殘留頻帶信號(hào)提取的數(shù)據(jù)進(jìn)行編碼；并且針對(duì)低頻帶信號(hào)和殘留頻帶信號(hào)提供經(jīng)編碼的數(shù)據(jù)。

8、至少一個(gè)實(shí)施例的第七方面針對(duì)一種計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括可由處理器執(zhí)行的程序代碼指令，該計(jì)算機(jī)程序至少實(shí)施根據(jù)第一方面、第二方面或第三方面的方法的步驟。

9、至少一個(gè)實(shí)施例的第八方面針對(duì)一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品被存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上，并且包括可由處理器執(zhí)行的程序代碼指令，該計(jì)算機(jī)程序產(chǎn)品至少實(shí)施根據(jù)第一方面、第二方面或第三方面的方法的步驟。