相對于球面諧波系數(shù)執(zhí)行空間掩蔽的制作方法
【專利說明】
[0001] 本申請案主張2013年5月28日申請的第61/828, 132號美國臨時申請案的權(quán)益。
技術(shù)領(lǐng)域
[0002] 所述技術(shù)涉及音頻數(shù)據(jù)，并且更具體來說涉及音頻數(shù)據(jù)的編碼。
【背景技術(shù)】
[0003] 高階立體混響（Η0Α)信號（常由多個球面諧波系數(shù)（SHC)或其它層級要素表示） 是聲場的三維表示。此Η0Α或SHC表示可以獨(dú)立于用以重放從此SHC信號渲染的多聲道音 頻信號的局部揚(yáng)聲器幾何結(jié)構(gòu)的方式表示此聲場。此SHC信號還可促進(jìn)向后相容性，因?yàn)?可將此SHC信號渲染為眾所周知的且被廣泛采用的多通道格式（例如，5. 1音頻聲道格式或 7. 1音頻聲道格式）。SHC表示因此可實(shí)現(xiàn)對聲場的更好表示，其也適應(yīng)向后兼容性。

【發(fā)明內(nèi)容】

[0004] -般來說描述相對于球面諧波系數(shù)（其也可被稱作高價態(tài)立體混響（Η0Α)系數(shù)） 執(zhí)行空間掩蔽的技術(shù)?？臻g掩蔽可利用當(dāng)相對較響的聲音在空間上接近較安靜的聲音的位 置處發(fā)生時，人聽覺系統(tǒng)無法檢測所述較安靜的聲音的事實(shí)。本發(fā)明中描述的技術(shù)可使音 頻譯碼裝置能夠評估球面諧波系數(shù)所表達(dá)的聲場，以識別可能被相對較響（或能量較大） 聲音掩蔽的這些較安靜（或能量較?。┞曇?。所述音頻譯碼裝置可接著為譯碼較安靜聲音 指派較多的位，同時為譯碼較響聲音指派較多的位（或維持若干位）。在這方面中，本發(fā)明 中描述的技術(shù)可促進(jìn)球面諧波系數(shù)的譯碼。
[0005] 在一個方面中，一種方法包括：解碼位流來產(chǎn)生具有對應(yīng)于布置成限定揚(yáng)聲器幾 何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的第一多聲道音頻數(shù)據(jù)；；相對于所產(chǎn)生的多聲道音頻數(shù)據(jù)執(zhí) 行逆渲染過程，以產(chǎn)生多個球面諧波系數(shù)；以及基于所述多個球面諧波系數(shù)來渲染具有對 應(yīng)于布置成局部揚(yáng)聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的第二多聲道音頻數(shù)據(jù)。
[0006] 在另一方面，一種音頻解碼裝置包括一或多個處理器，其經(jīng)配置以：解碼位流以產(chǎn) 生具有對應(yīng)于布置成第一揚(yáng)聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的以產(chǎn)生多聲道音頻數(shù)據(jù)； 相對于所產(chǎn)生的多聲道音頻數(shù)據(jù)執(zhí)行逆渲染過程，以產(chǎn)生多個球面諧波系數(shù)；以及基于所 述多個球面諧波系數(shù)渲染具有對應(yīng)于布置成局部揚(yáng)聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的 第二多聲道音頻數(shù)據(jù)。
[0007] 在另一方面，一種音頻解碼裝置包括：用于解碼位流以產(chǎn)生的裝置具有對應(yīng)于布 置成第一揚(yáng)聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的第一多聲道音頻數(shù)據(jù)；用于相對于所產(chǎn)生 的多聲道音頻數(shù)據(jù)執(zhí)行逆渲染過程以產(chǎn)生多個球面諧波系數(shù)的裝置；以及用于基于所述多 個球面諧波系數(shù)渲染具有對應(yīng)于布置成局部揚(yáng)聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的第二 多聲道音頻數(shù)據(jù)的裝置。
[0008] 在另一方面，一種非暫時性計(jì)算機(jī)可讀存儲媒體上面存儲有指令，所述指令當(dāng)經(jīng) 執(zhí)行時，致使音頻解碼裝置的一或多個處理器：解碼位流以產(chǎn)生具有對應(yīng)于布置成第一揚(yáng) 聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的第一多聲道音頻數(shù)據(jù)；相對于所產(chǎn)生的多聲道音頻數(shù) 據(jù)執(zhí)行逆渲染過程以產(chǎn)生多個球面諧波系數(shù)；且基于所述多個球面諧波系數(shù)渲染具有對應(yīng) 于布置成局部揚(yáng)聲器幾何結(jié)構(gòu)的揚(yáng)聲器的多個聲道的第二多聲道音頻數(shù)據(jù)。
[0009] 在另一方面，一種壓縮音頻數(shù)據(jù)的方法包括：基于描述三維聲場的多個球面諧波 系數(shù)執(zhí)行空間分析以識別空間掩蔽閾值；以及基于所識別的空間掩蔽閾值來壓縮所述音頻 數(shù)據(jù)以產(chǎn)生位流。
[0010] 在另一方面，一種裝置包括一或多個處理器，其經(jīng)配置以基于描述三維聲場的多 個球面諧波系數(shù)執(zhí)行空間分析以識別空間掩蔽閾值，且基于所識別的空間掩蔽閾值來壓縮 所述音頻數(shù)據(jù)以產(chǎn)生位流。
[0011] 在另一方面，一種裝置包括：用于基于描述三維聲場的多個球面諧波系數(shù)執(zhí)行空 間分析以識別空間掩蔽閾值的裝置；以及用于基于所識別的空間掩蔽閾值來壓縮所述音頻 數(shù)據(jù)以產(chǎn)生位流的裝置。
[0012] 在另一方面，一種非暫時性計(jì)算機(jī)可讀存儲媒體上面存儲有指令，所述指令當(dāng)經(jīng) 執(zhí)行時，致使一或多個處理器基于描述三維聲場的多個球面諧波系數(shù)執(zhí)行空間分析以識別 空間掩蔽閾值，且基于所識別的空間掩蔽閾值來壓縮所述音頻數(shù)據(jù)以產(chǎn)生位流。
[0013] 在另一方面，一種壓縮音頻的方法包括：渲染以三維形式描述音頻的聲場的多個 球面諧波系數(shù)以產(chǎn)生多聲道音頻數(shù)據(jù)；相對于所述多聲道音頻數(shù)據(jù)執(zhí)行空間分析以識別空 間掩蔽閾值；以及基于所識別的空間掩蔽閾值來壓縮所述多聲道音頻數(shù)據(jù)以產(chǎn)生位流。
[0014] 在另一方面，一種裝置包括一或多個處理器，其經(jīng)配置來渲染以三維形式描述音 頻的聲場的多個球面諧波系數(shù)以產(chǎn)生多聲道音頻數(shù)據(jù)；相對于所述多聲道音頻數(shù)據(jù)執(zhí)行空 間分析以識別空間掩蔽閾值；且基于所述所識別的空間掩蔽閾值來壓縮所述多聲道音頻數(shù) 據(jù)以產(chǎn)生位流。
[0015] 在另一方面，一種裝置包括：用于渲染以三維形式描述音頻的聲場的多個球面諧 波系數(shù)以產(chǎn)生多聲道音頻數(shù)據(jù)的裝置；相對于所述多聲道音頻數(shù)據(jù)執(zhí)行空間分析以識別空 間掩蔽閾值的裝置；以及基于所識別的空間掩蔽閾值來壓縮所述多聲道音頻數(shù)據(jù)以產(chǎn)生位 流的裝置。
[0016] 在另一方面，一種非暫時性計(jì)算機(jī)可讀存儲媒體上面存儲有指令，所述指令當(dāng)經(jīng) 執(zhí)行時，致使一或多個處理器：渲染以三維形式描述音頻的聲場的多個球面諧波系數(shù)以產(chǎn) 生多聲道音頻數(shù)據(jù)；相對于所述多聲道音頻數(shù)據(jù)執(zhí)行空間分析以識別空間掩蔽閾值；且基 于所述所識別的空間掩蔽閾值來壓縮多聲道音頻數(shù)據(jù)以產(chǎn)生位流。
[0017] 在另一方面，一種壓縮音頻數(shù)據(jù)的方法包括：為表示經(jīng)壓縮音頻數(shù)據(jù)的位流確定 目標(biāo)位速率；基于以三維形式描述音頻數(shù)據(jù)的聲場的多個球面諧波系數(shù)來執(zhí)行空間分析以 識別空間掩蔽閾值；以及基于所述目標(biāo)位速率，執(zhí)行i)參數(shù)聲道間音頻編碼以及所述空間 掩蔽閾值的空間掩蔽，或ii)使用空間掩蔽閾值的空間掩蔽。而不執(zhí)行參數(shù)聲道間音頻編 碼，以產(chǎn)生表示經(jīng)壓縮音頻數(shù)據(jù)的位流。
[0018] 在另一方面，一種裝置包括一或多個處理器，其經(jīng)配置以：為表示經(jīng)壓縮音頻數(shù)據(jù) 的位流確定目標(biāo)位速率；基于以三維形式描述音頻數(shù)據(jù)的聲場的多個球面諧波系數(shù)執(zhí)行空 間分析，以識別空間掩蔽閾值；以及基于所述目標(biāo)位速率，執(zhí)行i)參數(shù)聲道間音頻編碼和 使用空間掩蔽閾值的空間掩蔽；或ii)使用空間掩蔽閾值的空間掩蔽，而不執(zhí)行參數(shù)聲道 間音頻編碼，以產(chǎn)生表示經(jīng)壓縮音頻數(shù)據(jù)的位流。
[0019] 在另一方面，一種裝置包括：用于為表示經(jīng)壓縮音頻數(shù)據(jù)的位流確定目標(biāo)位速率 的裝置；用于基于以三維形式描述音頻數(shù)據(jù)的聲場的多個球面諧波系數(shù)來執(zhí)行空間分析以 識別空間掩蔽閾值的裝置；以及用于基于所述目標(biāo)位速率，執(zhí)行i)參數(shù)聲道間音頻編碼和 使用空間掩蔽閾值的空間掩蔽或ii)使用空間掩蔽閾值的空間掩蔽而不執(zhí)行參數(shù)聲道間 音頻編碼以產(chǎn)生表示經(jīng)壓縮音頻數(shù)據(jù)的位流的裝置。
[0020] 在另一方面，一種非暫時性計(jì)算機(jī)可讀存儲媒體上面存儲有指令，所述指令當(dāng)經(jīng) 執(zhí)行時，致使一或多個處理器：為表示經(jīng)壓縮音頻數(shù)據(jù)的位流確定目標(biāo)位速率，基于以三維 形式描述音頻數(shù)據(jù)的聲場的多個球面諧波系數(shù)執(zhí)行空間分析，以識別空間掩蔽閾值，基于 所述目標(biāo)位速率，執(zhí)行i)參數(shù)聲道間音頻編碼和使用空間掩蔽閾值的空間掩蔽，或ii)使 用空間掩蔽閾值的空間掩蔽，而不執(zhí)行參數(shù)聲道間音頻編碼，以產(chǎn)生表示經(jīng)壓縮音頻數(shù)據(jù) 的位流。
[0021] 在另一方面，一種壓縮多聲道音頻數(shù)據(jù)的方法，所述方法包括：基于以三維形式描 述多聲道音頻數(shù)據(jù)的聲場的多個球面諧波系數(shù)來執(zhí)行空間分析，以識別空間掩蔽閾值；渲 染所述球面諧波系數(shù)，以產(chǎn)生多聲道音頻數(shù)據(jù)；使用所述空間掩蔽閾值，相對于所述多聲道 音頻數(shù)據(jù)的一或多個基礎(chǔ)聲道執(zhí)行空間掩蔽；相對于所述多聲道音頻數(shù)據(jù)（包含所述多聲 道音頻數(shù)據(jù)的經(jīng)空間掩蔽的一或多個基礎(chǔ)聲道）執(zhí)行參數(shù)聲道間音頻編碼，以產(chǎn)生位流。
[0022] 在另一方面，一種裝置包括一或多個處理器以：基于以三維形式描述多聲道音頻 數(shù)據(jù)的聲場的多個球面諧波系數(shù)來執(zhí)行空間分析，以識別空間掩蔽閾值；渲染所述球面諧 波系數(shù)，以產(chǎn)生多聲道音頻數(shù)據(jù)；使用所述空間掩蔽閾值，相對于所述多聲道音頻數(shù)據(jù)的一 或多個基礎(chǔ)聲道，執(zhí)行空間掩蔽；且相對于所述多聲道音頻數(shù)據(jù)（包含所述多聲道音頻數(shù) 據(jù)的經(jīng)空間掩蔽的一或多個基礎(chǔ)聲道）執(zhí)行參數(shù)聲道間音頻編碼，以產(chǎn)生位流。
[0023] 在另一方面，一種裝置包括：用于基于以三維形式描述多聲道音頻數(shù)據(jù)的聲場的 多個球面諧波系數(shù)來執(zhí)行空間分析以識別空間掩蔽閾值的裝置；用于渲染所述球面諧波系 數(shù)以產(chǎn)生多聲道音頻數(shù)據(jù)的裝置；用于使用所述空間掩蔽閾值相對于所述多聲道音頻數(shù)據(jù) 的一或多個基礎(chǔ)聲道執(zhí)行空間掩蔽的裝置；用于相對于所述多聲道音頻數(shù)據(jù)（包含所述多 聲道音頻數(shù)據(jù)的經(jīng)空間掩蔽的一或多個基礎(chǔ)聲道）執(zhí)行參數(shù)聲道間音頻編碼以產(chǎn)生位流 的裝置。
[0024] 在另一方面，一種非暫時性計(jì)算機(jī)可讀存儲媒體上面存儲有指令，所述指令當(dāng)經(jīng) 執(zhí)行時，致使一或多個處理器：基于以三維形式描述多聲道音頻數(shù)據(jù)的聲場的多個球面諧 波系數(shù)來執(zhí)行空間分析以識別空間掩蔽閾值；渲染所述球面諧波系數(shù)以產(chǎn)生多聲道音頻數(shù) 據(jù)；使用所述空間掩蔽閾值，相對于所述多聲道音頻數(shù)據(jù)的一或多個基礎(chǔ)聲道來執(zhí)行空間 掩蔽；且相對于所述多聲道音頻數(shù)據(jù)（包含所述多聲道音頻數(shù)據(jù)的經(jīng)空間掩蔽的一或多個 基礎(chǔ)聲道）執(zhí)行參數(shù)聲道間音頻編碼，以產(chǎn)生位流。
[0025] 在另一方面，一種壓縮音頻數(shù)據(jù)的方法，所述方法包括：基于以三維形式描述音頻 數(shù)據(jù)的聲場的多個球面諧波系數(shù)來執(zhí)行空間分析，以識別空間掩蔽閾值；使用所述空間掩 蔽閾值，相對于所述多個球面諧波系數(shù)執(zhí)行空間掩蔽；以及產(chǎn)生包含所述多個經(jīng)空間掩蔽 的球面諧波系數(shù)的位流。
[0026] 在另一方面，一種裝置包括一或多個處理器，其用以：基于以三維形式描述音頻數(shù) 據(jù)的聲場的多個球面諧波系數(shù)來執(zhí)行空間分析，以識別空間掩蔽閾值；使用所述空間掩蔽 閾值，相對于所述多個球面諧波系數(shù)執(zhí)行空間掩蔽；以及產(chǎn)生包含所述多個經(jīng)空間掩蔽的 球面諧波系數(shù)的位流。
[0027] 在另一方面，一種裝置包括：用于基于以三維形式描述音頻數(shù)據(jù)的聲場的多個球 面諧波系數(shù)來執(zhí)行空間分析以識別空間掩蔽閾值的裝置；用于使用所述空間掩蔽閾值，相 對于所述多個球面諧波系數(shù)執(zhí)行空間掩蔽的裝置；以及用于產(chǎn)生包含所述多個經(jīng)空間掩蔽 的球面諧波系數(shù)的位流的裝置。
[0028] 在另一方面，一種非暫時性計(jì)算機(jī)可讀存儲媒體上面存儲有指令，所述指令當(dāng)經(jīng) 執(zhí)行時，致使一或多個處理器：基于以三維形式描述音頻數(shù)據(jù)的聲場的多個球面諧波系數(shù) 來執(zhí)行空間分析，以識別空間掩蔽閾值；使用所述空間掩蔽閾值，相對于所述多個球面諧波 系數(shù)執(zhí)行空間掩蔽；且產(chǎn)生包含所述多個經(jīng)空間掩蔽的球面諧波系數(shù)的位流。
[0029] 在附圖和以下描述中陳述所述技術(shù)的一或多個方面的細(xì)節(jié)。這些技術(shù)的其它特 征、目標(biāo)和優(yōu)點(diǎn)將從所述描述和圖式以及所附權(quán)利要求書中顯而易見。
【附圖說明】
[0030] 圖1到3是說明具有各種階和子階的球面諧波基底函數(shù)的圖。
[0031]圖4A和4B各自為說明可執(zhí)行本發(fā)明中描述的技術(shù)的各個方面以譯碼描述二維或 三維聲場的球面諧波系數(shù)的實(shí)例音頻編碼裝置的框圖。
[0032]圖5是說明可執(zhí)行本發(fā)明中描述的技術(shù)的各個方面以解碼描述二維或三維聲場 的球面諧波系數(shù)的實(shí)例音頻解碼裝置的框圖。
[0033] 圖6A到6C是更詳細(xì)地說明圖4A的實(shí)例中所示的音頻編碼單元的實(shí)例變化的框 圖。
[0034] 圖7是更詳細(xì)地說明圖2的音頻解碼單元的實(shí)例的框圖。
[0035] 圖8是更詳細(xì)地說明圖5的實(shí)例中所示的音頻渲染單元的框圖。
[0036]圖9是說明音頻編碼裝置在執(zhí)行本發(fā)明中描述的技術(shù)的各種方面中的示范性操 作的流程圖。
[0037]圖10是說明音頻解碼裝置在執(zhí)行本發(fā)明中描述的技術(shù)的各種方面中的示范性操 作的流程圖。
[0038]圖11是說明本發(fā)明中描述的空間掩蔽技術(shù)的各個方面的圖。
[0039] 圖12是說明其中可根據(jù)本發(fā)明中描述的技術(shù)的各個方面執(zhí)行產(chǎn)生位流的不同形 式的圖4A的實(shí)例中所示的音頻編碼裝置的變化的框圖。
[0040]圖13是說明可執(zhí)行本發(fā)明中描述的技術(shù)的各種方面的示范性音頻編碼裝置的框 圖。
【具體實(shí)施方式】
[0041] 環(huán)繞聲的演進(jìn)現(xiàn)今已使得許多輸出格式可用于娛樂。此類環(huán)繞聲格式的實(shí)例包含 流行的5. 1格式（其包含以下六個聲道：左前（FL)、右前（FR)、中央或前方中央、左后或環(huán) 繞左、右后或環(huán)繞右以及低頻效果（LFE))，發(fā)展的7. 1格式和即將到來的22. 2格式（例如， 用于與超高清電視標(biāo)準(zhǔn)一起使用）。進(jìn)一步的實(shí)例包含用于球面諧波陣列的格式。
[0042] 到將來MPEG編