各種實(shí)施方案總體上涉及音頻處理，并且更具體地涉及用于使用虛擬化混響來(lái)渲染音頻信號(hào)的技術(shù)。

背景技術(shù)：

1、混響是指在源已發(fā)出聲音之后聲音在封閉或半封閉空間中的持續(xù)存在。當(dāng)聲音在聲學(xué)空間(諸如房間、音樂(lè)廳、電影院等)中產(chǎn)生時(shí)，該聲音作為一系列聲波從一個(gè)或多個(gè)源傳播。傳播的聲波行進(jìn)穿過(guò)空氣并且反射離開(kāi)聲學(xué)空間的邊界(諸如墻壁、天花板和地板)和/或包括在聲學(xué)空間中的對(duì)象。當(dāng)反射聲波繼續(xù)從邊界表面和聲學(xué)空間內(nèi)的其他對(duì)象反彈時(shí)，這些反射混合在一起并且隨著聲能被聲學(xué)空間中的表面和/或?qū)ο笪斩S時(shí)間逐漸衰減。

2、為了在使用耳機(jī)或耳塞時(shí)創(chuàng)建更沉浸的音頻體驗(yàn)，可以使用數(shù)字信號(hào)處理技術(shù)將上述混響效果人工添加到音頻信號(hào)。例如，在音樂(lè)制作中，音響工程師可以對(duì)具有混響的音頻信號(hào)進(jìn)行渲染以模擬在特定聲學(xué)環(huán)境(諸如音樂(lè)廳或禮堂)中收聽(tīng)音樂(lè)的效果。作為另一示例，在電影或游戲制作中，可以利用混響來(lái)渲染音頻信號(hào)以再現(xiàn)屏幕上描繪的聲學(xué)環(huán)境(諸如洞穴、走廊或特定室外空間)的聲音。在諸如增強(qiáng)或虛擬現(xiàn)實(shí)應(yīng)用的其他示例中，利用混響渲染的音頻信號(hào)允許用戶感知到對(duì)增強(qiáng)或虛擬世界的增強(qiáng)的存在感以及沉浸感。

3、在計(jì)算效率與準(zhǔn)確性之間提供折衷的各種數(shù)字信號(hào)處理技術(shù)和算法可用于渲染混響以模擬在音頻信號(hào)的回放期間聲學(xué)空間的效果。一些虛擬化混響算法通過(guò)將音頻信號(hào)與房間脈沖響應(yīng)(rir)進(jìn)行卷積來(lái)渲染音頻信號(hào)中的混響。rir是給定聲學(xué)空間(例如，音樂(lè)廳、禮堂等)中聲源與接收器之間的時(shí)域聲學(xué)傳遞函數(shù)。聲學(xué)空間的rir可以例如使用揚(yáng)聲器和麥克風(fēng)來(lái)測(cè)量或者使用聲學(xué)建模軟件來(lái)模擬。利用rir對(duì)音頻信號(hào)進(jìn)行卷積的一個(gè)缺點(diǎn)是，當(dāng)使用高階處理技術(shù)時(shí)，利用音頻信號(hào)對(duì)包括rir的長(zhǎng)混響尾音進(jìn)行卷積在計(jì)算上非常昂貴且耗時(shí)。

4、其他技術(shù)將rir劃分成直接或早到達(dá)的聲音的第一窗口以及反射或晚到達(dá)的聲音的第二窗口(例如，混響尾音)。使用高階計(jì)算密集型處理技術(shù)將rir中的直達(dá)聲窗口與音頻信號(hào)進(jìn)行卷積。然后，使用低階計(jì)算較不密集型處理技術(shù)單獨(dú)將rir中的反射聲窗口與音頻信號(hào)進(jìn)行卷積。然而，這些額外技術(shù)通常使用從聲學(xué)空間的模型中導(dǎo)出的rir，因?yàn)閺穆晫W(xué)空間的測(cè)量rir獲得直達(dá)聲窗口和反射聲窗口較困難且在計(jì)算上較昂貴。當(dāng)與聲學(xué)空間的測(cè)量rir相比時(shí)，從聲學(xué)空間的模型中導(dǎo)出的rir可能難以獲得和/或生成，并且通常不能捕獲聲學(xué)空間的所有混響效果。

5、如前文所說(shuō)明，需要更有效的技術(shù)來(lái)對(duì)具有混響的音頻信號(hào)進(jìn)行渲染。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)的各種實(shí)施方案闡述了一種用于處理音頻的計(jì)算機(jī)實(shí)現(xiàn)的方法。該方法包括：獲得聲學(xué)空間的雙耳房間脈沖響應(yīng)(brir)，接收輸入音頻信號(hào)，將輸入音頻信號(hào)分離成低頻分量和高頻分量，以及將聲學(xué)空間的brir劃分成在第一時(shí)間之前出現(xiàn)的第一部分和在第一時(shí)間之后出現(xiàn)的第二部分。該方法還包括：基于輸入音頻信號(hào)的高頻分量和brir的第一部分來(lái)生成輸出音頻信號(hào)的第一分量，基于輸入音頻信號(hào)的高頻分量和brir的第二部分來(lái)生成輸出音頻信號(hào)的第二分量，基于輸入音頻信號(hào)的低頻分量和brir來(lái)生成輸出音頻信號(hào)的第三分量，以及輸出該輸出音頻信號(hào)。

2、其他實(shí)施方案尤其提供了被配置為實(shí)現(xiàn)上文闡述的方法的一種或多種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)和系統(tǒng)。

3、所公開(kāi)的技術(shù)相對(duì)于現(xiàn)有技術(shù)的至少一個(gè)技術(shù)優(yōu)點(diǎn)在于，利用所公開(kāi)的技術(shù)，可以使用聲學(xué)空間的測(cè)量rir來(lái)以較低計(jì)算成本將混響添加到音頻信號(hào)。因此，利用所公開(kāi)的技術(shù)，可以使用相對(duì)適中的處理能力以基于測(cè)量房間脈沖響應(yīng)來(lái)渲染針對(duì)大量聲源和聲學(xué)空間的混響，該測(cè)量房間脈沖響應(yīng)聽(tīng)起來(lái)比從聲學(xué)空間模型中導(dǎo)出的房間脈沖響應(yīng)更自然。這些技術(shù)優(yōu)點(diǎn)提供了優(yōu)于現(xiàn)有技術(shù)方法的一個(gè)或多個(gè)技術(shù)改進(jìn)。

技術(shù)特征：

1.一種用于音頻處理的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括：

2.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述brir的所述第一部分包括直達(dá)聲部分并且所述brir的所述第二部分包括反射聲部分。

3.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中生成所述輸出音頻信號(hào)的所述第一分量包括將所述輸入音頻信號(hào)的所述高頻分量與所述brir的所述第一部分進(jìn)行卷積以生成第一左音頻通道和第一右音頻通道。

4.如權(quán)利要求3所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其還包括將耳機(jī)均衡應(yīng)用于所述第一左音頻通道和所述第一右音頻通道。

5.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述brir的所述第一部分對(duì)應(yīng)于由所述聲學(xué)空間中的源發(fā)出的聲音直接到達(dá)收聽(tīng)者的耳朵的方向。

6.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中生成所述輸出音頻信號(hào)的所述第二分量包括：

7.如權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中將所述輸入音頻信號(hào)的所述高頻分量轉(zhuǎn)換成所述第一多個(gè)轉(zhuǎn)換音頻通道包括使用一階高保真度立體聲響復(fù)制編碼器-解碼器。

8.如權(quán)利要求6所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其還包括：在將所述第一多個(gè)轉(zhuǎn)換音頻通道與所述brir的所述第二部分進(jìn)行卷積之前減小所述第一多個(gè)轉(zhuǎn)換音頻通道的增益。

9.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中生成所述輸出音頻信號(hào)的所述第三分量包括：

10.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中獲得所述聲學(xué)空間的所述brir包括利用麥克風(fēng)測(cè)量所述聲學(xué)空間的所述brir。

11.如權(quán)利要求1所述的計(jì)算機(jī)實(shí)現(xiàn)的方法，其中所述輸出音頻信號(hào)包括左通道和右通道。

12.一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其包括指令，所述指令在由計(jì)算裝置處的一個(gè)或多個(gè)處理器執(zhí)行時(shí)使得所述一個(gè)或多個(gè)處理器執(zhí)行以下步驟：

13.如權(quán)利要求12所述的一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述brir的所述第一部分包括直達(dá)聲部分并且所述brir的所述第二部分包括反射聲部分。

14.如權(quán)利要求12所述的一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中：

15.如權(quán)利要求14所述的一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述步驟還包括：

16.如權(quán)利要求14所述的一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中所述步驟還包括：

17.如權(quán)利要求14所述的一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中：

18.如權(quán)利要求12所述的一種或多種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中獲得所述聲學(xué)空間的所述brir包括利用麥克風(fēng)測(cè)量所述聲學(xué)空間的所述brir。

19.一種計(jì)算裝置，其包括：

20.如權(quán)利要求19所述的計(jì)算裝置，其中所述brir的所述第一部分包括直達(dá)聲部分并且所述brir的所述第二部分包括反射聲部分。

技術(shù)總結(jié)
一種用于處理音頻的計(jì)算機(jī)實(shí)現(xiàn)的方法。所述方法包括：獲得聲學(xué)空間的雙耳房間脈沖響應(yīng)(BRIR)，接收輸入音頻信號(hào)，將所述輸入音頻信號(hào)分離成低頻分量和高頻分量，以及將所述聲學(xué)空間的所述BRIR劃分成在第一時(shí)間之前出現(xiàn)的第一部分和在所述第一時(shí)間之后出現(xiàn)的第二部分。所述方法還包括：基于所述輸入音頻信號(hào)的所述高頻分量和所述BRIR的所述第一部分來(lái)生成輸出音頻信號(hào)的第一分量，基于所述輸入音頻信號(hào)的所述高頻分量和所述BRIR的所述第二部分來(lái)生成所述輸出音頻信號(hào)的第二分量，基于所述輸入音頻信號(hào)的所述低頻分量和所述BRIR來(lái)生成所述輸出音頻信號(hào)的第三分量，以及輸出所述輸出音頻信號(hào)。

技術(shù)研發(fā)人員：T·S·韋爾蒂
受保護(hù)的技術(shù)使用者：哈曼國(guó)際工業(yè)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19