由于計(jì)算設(shè)備中的處理速度的增加和更大更便宜的存儲(chǔ)容量，所以視頻游戲和其它虛擬模擬已變得越來越逼真。這些進(jìn)步已經(jīng)允許虛擬環(huán)境設(shè)計(jì)者將真實(shí)世界物理的一些有限效果并入視頻游戲和其它虛擬模擬。為此，許多視頻游戲現(xiàn)在并入使用數(shù)學(xué)模型模擬真實(shí)世界物理的物理引擎。然而，眾所周知，逼真的音頻已經(jīng)難以模擬。嘗試使用對(duì)在虛擬環(huán)境中傳播并且在收聽者位置感知的聲音進(jìn)行建模的波方程由于實(shí)時(shí)處理和存儲(chǔ)約束而不容易實(shí)現(xiàn)。因?yàn)檫@個(gè)，所以許多游戲工作室手動(dòng)編碼視頻游戲音頻，以模仿虛擬環(huán)境對(duì)在這些環(huán)境中傳播的聲音的效果。

特別地，存儲(chǔ)環(huán)境的特性(即，脈沖響應(yīng))所需的空間隨著環(huán)境音量增加而超線性地增加，并且脈沖響應(yīng)通常是混亂的，從而使得它們不太適合于壓縮。更進(jìn)一步地，使用物理模型計(jì)算環(huán)境中收聽者位置處的傳播聲音需要利用源位置和收聽者位置之間的環(huán)境的脈沖響應(yīng)來卷積源音頻信號(hào)。卷積具有高的處理成本。由于對(duì)分配給視頻游戲的音頻處理的總處理量的約束，所以典型的視頻游戲控制臺(tái)、臺(tái)式計(jì)算機(jī)和移動(dòng)設(shè)備硬件僅提供足夠的處理能力來計(jì)算在任何一個(gè)時(shí)間多達(dá)十個(gè)源的傳播音頻。在許多視頻游戲中，在視頻游戲中存在多達(dá)數(shù)百個(gè)音頻信號(hào)源，因此當(dāng)前沒有辦法進(jìn)行對(duì)所傳播的音頻信號(hào)進(jìn)行建模所需的卷積數(shù)目。更進(jìn)一步地，當(dāng)環(huán)境包含快速移動(dòng)通過環(huán)境的源時(shí)，待使用音頻信號(hào)進(jìn)行卷積的脈沖響應(yīng)快速改變，從而導(dǎo)致用戶可以將其感知為系統(tǒng)滯后的場景中的混響被削減。

技術(shù)實(shí)現(xiàn)要素：

本文中所討論的技術(shù)便于響應(yīng)于在虛擬三維環(huán)境中的源位置處接收所期望的無回聲音頻信號(hào)而在三維環(huán)境中的收聽者位置處感知的(多個(gè))所傳播的音頻信號(hào)的實(shí)時(shí)計(jì)算和回放。所傳播的音頻逼真地考慮了由三維虛擬環(huán)境的幾何形狀和組成所引起的動(dòng)態(tài)音頻信號(hào)源、動(dòng)態(tài)收聽者和聲學(xué)效果。這些技術(shù)還響應(yīng)于在虛擬三維環(huán)境中的(多個(gè))源位置處生成的(多個(gè))源音頻信號(hào)的生成而提供在虛擬三維環(huán)境中的收聽者位置處感知的所傳播的音頻信號(hào)的實(shí)時(shí)計(jì)算和回放。

本文中所討論的技術(shù)可以將對(duì)虛擬三維環(huán)境的聲學(xué)特性進(jìn)行建模的脈沖響應(yīng)場轉(zhuǎn)換成與若干個(gè)參數(shù)相對(duì)應(yīng)的場。更進(jìn)一步地，這些技術(shù)可以應(yīng)用與從場解碼為音頻信號(hào)的參數(shù)一致的規(guī)范濾波器。

提供本發(fā)明內(nèi)容以便以簡化形式介紹將在以下具體實(shí)施方式中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容旨在用于幫助確定所要求保護(hù)的主題的范圍。比如，術(shù)語“技術(shù)”可以是指(多個(gè))系統(tǒng)、(多個(gè))方法、計(jì)算機(jī)可讀介質(zhì)/指令、(多個(gè))模塊、算法、硬件邏輯(例如，現(xiàn)場可編程門陣列(FPGA))、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD))、和/或上文和整個(gè)文檔所描述的情景所準(zhǔn)許的(多個(gè))技術(shù)。

附圖說明

參考附圖對(duì)具體實(shí)施方式進(jìn)行描述。在附圖中，附圖標(biāo)記的(多個(gè))最左邊的數(shù)字標(biāo)識(shí)附圖標(biāo)記首次出現(xiàn)的附圖。在不同的附圖中相同的附圖標(biāo)記表示相似或相同的項(xiàng)。

圖1是描繪了音頻傳播框架的示例可以在其中操作的示例環(huán)境的方框圖。

圖2是描繪了根據(jù)各種示例的可以計(jì)算環(huán)境內(nèi)的音頻傳播的示例設(shè)備的方框圖。

圖3是描繪根據(jù)一些示例的計(jì)算環(huán)境內(nèi)的音頻傳播的示例音頻傳播框架的方框圖。

圖4是描繪根據(jù)一些示例的可以計(jì)算環(huán)境內(nèi)的音頻傳播的示例專用計(jì)算設(shè)備的方框圖。

圖5是圖示了模擬環(huán)境中的壓力場、編碼壓力場、以及在運(yùn)行時(shí)間計(jì)算所傳播的音頻信號(hào)的示例過程的流程圖。

圖6是圖示了模擬環(huán)境中的壓力場的示例過程的流程圖。

圖7是環(huán)境的示例脈沖響應(yīng)。

圖8是圖示了對(duì)壓力場進(jìn)行編碼的示例過程的流程圖。

圖9是圖示了從如圖7所示的脈沖響應(yīng)提取參數(shù)的示意圖。

圖10是脈沖響應(yīng)、窗口函數(shù)、窗口化的脈沖響應(yīng)和去卷積的窗口化的脈沖響應(yīng)的示例圖的圖。

圖11是示例能量衰變曲線、早期衰變時(shí)間斜率和后期混響時(shí)間斜率的圖。

圖12是圖示了在運(yùn)行時(shí)間計(jì)算所傳播的音頻信號(hào)的示例過程的流程圖。

圖13是圖示了渲染參數(shù)的示例過程的流程圖。

圖14是圖示了用于生成早期反射階段的規(guī)范濾波器的示例能量衰變曲線的圖。

圖15是圖示了滿足圖14中所描繪的能量衰變曲線的示例時(shí)域規(guī)范濾波器的圖。

圖16是圖示了滿足圖14中所描繪的能量衰變曲線的示例頻域規(guī)范濾波器的圖。

圖17是描繪了在五個(gè)虛擬環(huán)境上進(jìn)行的一個(gè)模擬和編碼示例的實(shí)驗(yàn)結(jié)果的表。

圖18是圖示了與未編碼的虛擬環(huán)境相比在兩個(gè)虛擬環(huán)境上進(jìn)行的一個(gè)模擬和編碼示例的實(shí)驗(yàn)結(jié)果的圖。

具體實(shí)施方式

概況

本公開涉及用于計(jì)算信號(hào)從環(huán)境中的(多個(gè))源傳播到接收器的技術(shù)。

本文中所描述的示例提供了用于響應(yīng)于三維環(huán)境中的源位置處的無回聲(即，未傳播)音頻信號(hào)而便于在虛擬三維環(huán)境中的收聽者位置處感知的傳播音頻信號(hào)的實(shí)時(shí)計(jì)算和再現(xiàn)的技術(shù)。與先前的途徑相反，該技術(shù)不存儲(chǔ)虛擬環(huán)境的脈沖響應(yīng)場。相反，可以從脈沖響應(yīng)的能量衰變中提取若干感知參數(shù)，并且這些感知參數(shù)可以被編碼為參數(shù)場。在一些示例中，不是每個(gè)源一次對(duì)脈沖響應(yīng)和源音頻信號(hào)進(jìn)行卷積，這些技術(shù)提供將每個(gè)源信號(hào)分割成根據(jù)與源/收聽者位置對(duì)相對(duì)應(yīng)的脈沖響應(yīng)的感知參數(shù)而縮放的副本，并且累積分割的源信號(hào)在要用若干規(guī)范濾波器進(jìn)行卷積的源上的和，規(guī)范濾波器是固定濾波器。更進(jìn)一步地，在一些示例中，該技術(shù)不使用針對(duì)每個(gè)源的在運(yùn)行時(shí)間生成的脈沖響應(yīng)或?yàn)V波器進(jìn)行卷積。相反，在至少一個(gè)示例中，該技術(shù)使用具有在運(yùn)行時(shí)間之前是固定的特性的濾波器，并且用要傳播的(多個(gè))分割的源信號(hào)的加權(quán)和對(duì)這些固定濾波器進(jìn)行卷積。

本文中所描述的技術(shù)和系統(tǒng)可以以多種方式來實(shí)現(xiàn)。下文參考以下附圖提供示例實(shí)現(xiàn)方式。本文中所描述的實(shí)現(xiàn)方式、示例和說明可以組合。

說明性環(huán)境

圖1是描繪了其中本文中所描述的示例可以操作的示例環(huán)境100的方框圖。在一些示例中，環(huán)境100的各種設(shè)備和/或部件包括可以經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)104彼此通信以及與外部設(shè)備通信的分布式計(jì)算資源102。

例如，(多個(gè))網(wǎng)絡(luò)104可以包括諸如因特網(wǎng)之類的公共網(wǎng)絡(luò)、諸如機(jī)構(gòu)和/或個(gè)人內(nèi)聯(lián)網(wǎng)之類的專用網(wǎng)絡(luò)、或?qū)Ｓ煤凸簿W(wǎng)絡(luò)的某種組合。(多個(gè))網(wǎng)絡(luò)104還可以包括任何類型的有線和/或無線網(wǎng)絡(luò)，包括但不限于局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、衛(wèi)星網(wǎng)絡(luò)、電纜網(wǎng)絡(luò)、WiFi網(wǎng)絡(luò)、WiMax網(wǎng)絡(luò)、移動(dòng)通信網(wǎng)絡(luò)(例如，3G、4G等)、或其任何組合。(多個(gè))網(wǎng)絡(luò)104可以利用通信協(xié)議，包括基于分組和/或基于數(shù)據(jù)報(bào)的協(xié)議，諸如因特網(wǎng)協(xié)議(IP)、傳輸控制協(xié)議(TCP)、用戶數(shù)據(jù)報(bào)協(xié)議(UDP)或其它類型的協(xié)議。而且，(多個(gè))網(wǎng)絡(luò)104還可以包括便于網(wǎng)絡(luò)通信和/或形成網(wǎng)絡(luò)的硬件基礎(chǔ)的若干個(gè)設(shè)備，諸如交換機(jī)、路由器、網(wǎng)關(guān)、接入點(diǎn)、防火墻、基站、中繼器、主干設(shè)備等等。

在一些示例中，(多個(gè))網(wǎng)絡(luò)104還可以包括使得能夠連接到無線網(wǎng)絡(luò)(諸如無線接入點(diǎn)(WAP))的設(shè)備。示例支持通過在各種電磁頻率(例如，射頻)上發(fā)送和接收數(shù)據(jù)的WAP的連接性，包括支持電氣和電子工程師協(xié)會(huì)(IEEE)1302.11標(biāo)準(zhǔn)(例如，1302.11g、1302.11n等)的WAP、以及其它標(biāo)準(zhǔn)。

在各種示例中，(多個(gè))分布式計(jì)算資源102包括諸如設(shè)備106(1)至106(N)的計(jì)算設(shè)備。這些示例支持(多個(gè))設(shè)備106可以包括在群集或其它分組配置中操作以共享資源、平衡負(fù)載、增加性能、提供故障切換支持或冗余、或用于其它目的的一個(gè)或多個(gè)計(jì)算設(shè)備的場景。盡管被圖示為臺(tái)式計(jì)算機(jī)，但是(多個(gè))設(shè)備106可以包括各種各樣的設(shè)備類型，并且不限于任何特定類型的設(shè)備。(多個(gè))設(shè)備106可以包括(多個(gè))專用計(jì)算設(shè)備108。

例如，(多個(gè))設(shè)備106可以包括具有可操作地連接到計(jì)算機(jī)可讀介質(zhì)112、(多個(gè))I/O接口116和(多個(gè))網(wǎng)絡(luò)接口116的一個(gè)或多個(gè)處理單元110的任何類型的計(jì)算設(shè)備。計(jì)算機(jī)可讀介質(zhì)112可以具有存儲(chǔ)在其上的音頻傳播架構(gòu)114。還有，例如，(多個(gè))專用計(jì)算設(shè)備108可以包括具有可操作地連接到計(jì)算機(jī)可讀介質(zhì)112、(多個(gè))I/O接口126和(多個(gè))網(wǎng)絡(luò)接口126的一個(gè)或多個(gè)處理單元120的任何類型的計(jì)算設(shè)備。計(jì)算機(jī)可讀介質(zhì)112可以具有存儲(chǔ)在其上的專用計(jì)算設(shè)備側(cè)音頻傳播架構(gòu)124。

圖2描繪了可以表示(多個(gè))設(shè)備106或108的說明性設(shè)備200。說明性設(shè)備200可以包括具有一個(gè)或多個(gè)處理單元202(諸如(多個(gè))處理單元110或120)的任何類型的計(jì)算設(shè)備，其可操作地連接到計(jì)算機(jī)可讀介質(zhì)204，諸如計(jì)算機(jī)可讀介質(zhì)112或122。該連接可以經(jīng)由總線218，在一些實(shí)例中，總線218可以包括以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：系統(tǒng)總線、數(shù)據(jù)總線、地址總線、PCI總線、迷你PCI總線、以及任何種類的本地、外圍和/或獨(dú)立總線，或經(jīng)由另一可操作連接。(多個(gè))處理單元202可以表示例如并入設(shè)備200中的CPU。(多個(gè))處理單元202可以類似地操作地連接到計(jì)算機(jī)可讀介質(zhì)204。

計(jì)算機(jī)可讀介質(zhì)204可以包括至少兩種類型的計(jì)算機(jī)可讀介質(zhì)，即，計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)可以包括在用于存儲(chǔ)信息(以壓縮或未壓縮形式)的任何方法或技術(shù)中實(shí)現(xiàn)的易失性和非易失性、非暫態(tài)機(jī)器可讀、可移除和不可移除介質(zhì)，諸如執(zhí)行本文中所描述的過程或方法的計(jì)算機(jī)(或其它電子設(shè)備)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊、或其它數(shù)據(jù)。計(jì)算機(jī)可讀介質(zhì)112和計(jì)算機(jī)可讀介質(zhì)122是計(jì)算機(jī)存儲(chǔ)介質(zhì)的示例。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于硬盤驅(qū)動(dòng)器、軟盤、光盤、CD-ROM、DVD、只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、EPROM、EEPROM、閃存、磁性或光學(xué)卡、固態(tài)存儲(chǔ)器設(shè)備、或適合于存儲(chǔ)電子指令的其它類型的介質(zhì)/機(jī)器可讀介質(zhì)。

相比之下，通信介質(zhì)可以在調(diào)制的數(shù)據(jù)信號(hào)(諸如載波或其它傳輸機(jī)制)中體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)。如本文中所定義的，計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括通信介質(zhì)。

設(shè)備200可以包括但不限于臺(tái)式計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、網(wǎng)絡(luò)服務(wù)器計(jì)算機(jī)、個(gè)人計(jì)算機(jī)、移動(dòng)計(jì)算機(jī)、膝上型計(jì)算機(jī)、平板計(jì)算機(jī)、可穿戴計(jì)算機(jī)、植入式計(jì)算設(shè)備、電信設(shè)備、汽車計(jì)算機(jī)、網(wǎng)絡(luò)使能電視、瘦客戶端、終端、個(gè)人數(shù)據(jù)助理(PDA)、游戲控制臺(tái)、游戲設(shè)備、工作站、媒體播放器、個(gè)人視頻記錄器(PVR)、機(jī)頂盒、攝像機(jī)、用于包括在計(jì)算設(shè)備、電器或任何其它種類的計(jì)算設(shè)備(諸如一個(gè)或多個(gè)單獨(dú)的處理器設(shè)備216，諸如CPU型處理器(例如，微處理器)218)的集成部件、GPU 220、或加速器設(shè)備222。

在一些示例中，如關(guān)于設(shè)備200所示，計(jì)算機(jī)可讀介質(zhì)204可以存儲(chǔ)可由(多個(gè))處理單元202執(zhí)行的指令，處理單元202可以表示并入設(shè)備200中的CPU。計(jì)算機(jī)可讀介質(zhì)204還可以存儲(chǔ)可由外部CPU型處理器218執(zhí)行的指令、可由GPU 220執(zhí)行的指令、和/或可由加速器222(諸如FPGA型加速器222(1)、DSP型加速器222(2)、或任何內(nèi)部或外部加速器222(N))執(zhí)行的指令。

存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)202上的可執(zhí)行指令可以包括例如操作系統(tǒng)206、音頻傳播框架208、以及可以由(多個(gè))處理單元202和/或216加載和執(zhí)行的其它模塊、程序或應(yīng)用程序?？商娲鼗蚋郊拥兀梢灾辽俨糠值赝ㄟ^諸如加速器222之類的一個(gè)或多個(gè)硬件邏輯部件來執(zhí)行本文中功能性地描述的功能。例如但不限于，可以使用的說明性類型的硬件邏輯部件包括現(xiàn)場可編程門陣列(FPGA)、專用集成電路(ASIC)、專用標(biāo)準(zhǔn)產(chǎn)品(ASSP)、片上系統(tǒng)型系統(tǒng)(SOC)、復(fù)雜可編程邏輯器件(CPLD)等。例如，加速器222(N)可以表示混合設(shè)備，諸如來自ZYLEX或ALTERA的混合設(shè)備，其包括嵌入在FPGA架構(gòu)中的CPU核。

在所圖示的示例中，計(jì)算機(jī)可讀介質(zhì)204還包括數(shù)據(jù)存儲(chǔ)裝置210。在一些示例中，數(shù)據(jù)存儲(chǔ)裝置210包括諸如數(shù)據(jù)庫、數(shù)據(jù)倉庫、或其它類型的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)裝置之類的數(shù)據(jù)存儲(chǔ)裝置。在一些示例中，數(shù)據(jù)存儲(chǔ)裝置210包括具有一個(gè)或多個(gè)表、索引、存儲(chǔ)過程等的關(guān)系數(shù)據(jù)庫，以使得能夠?qū)崿F(xiàn)數(shù)據(jù)訪問。數(shù)據(jù)存儲(chǔ)裝置210可以存儲(chǔ)用于存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)204中、和/或由(多個(gè))處理器202和/或218和/或(多個(gè))加速器212執(zhí)行的過程、應(yīng)用程序、部件和/或模塊的操作的數(shù)據(jù)。例如，數(shù)據(jù)存儲(chǔ)裝置210可以存儲(chǔ)版本數(shù)據(jù)、迭代數(shù)據(jù)、時(shí)鐘數(shù)據(jù)、以及由音頻傳播架構(gòu)208存儲(chǔ)和訪問的其它狀態(tài)數(shù)據(jù)?？商娲兀衔乃玫臄?shù)據(jù)中的一些或全部數(shù)據(jù)可以存儲(chǔ)在單獨(dú)的存儲(chǔ)器224上，諸如CPU型處理器218(例如，(多個(gè))微處理器)上的存儲(chǔ)器224(1)、GPU 220上的存儲(chǔ)器224(2)、FPGA型加速器222(1)上的存儲(chǔ)器224(3)、DSP型加速器222(2)上的存儲(chǔ)器224(4)、和/或另一加速器222(N)上的存儲(chǔ)器224(M)。

設(shè)備200還可以包括一個(gè)或多個(gè)輸入/輸出(I/O)接口212，諸如(多個(gè))I/O接口116或126，以允許設(shè)備200與諸如包括外圍輸入設(shè)備(例如，鍵盤、鼠標(biāo)、筆、游戲控制器、語音輸入設(shè)備、觸摸輸入設(shè)備、手勢輸入設(shè)備等)的用戶輸入設(shè)備、和/包括外圍輸出設(shè)備(例如，顯示器、打印機(jī)、音頻揚(yáng)聲器、觸覺輸出等)的輸出設(shè)備之類的輸入/輸出設(shè)備進(jìn)行通信。設(shè)備200還可以包括諸如(多個(gè))網(wǎng)絡(luò)接口118或128之類的一個(gè)或多個(gè)網(wǎng)絡(luò)接口214，以使得能夠?qū)崿F(xiàn)計(jì)算設(shè)備200和諸如(多個(gè))網(wǎng)絡(luò)214上的其它設(shè)備200之類的其它網(wǎng)絡(luò)設(shè)備之間的通信。(多個(gè))這樣的網(wǎng)絡(luò)接口214可以包括一個(gè)或多個(gè)網(wǎng)絡(luò)接口控制器(NIC)、或其它類型的收發(fā)器設(shè)備，以通過網(wǎng)絡(luò)發(fā)送和接收通信。

說明性音頻傳播架構(gòu)

圖3是可以分布式地或單獨(dú)地存儲(chǔ)在一個(gè)或多個(gè)設(shè)備200上的說明性音頻傳播架構(gòu)208的模塊的方框圖。模塊中的一些或所有模塊可以可用于遠(yuǎn)程設(shè)備、可從遠(yuǎn)程設(shè)備訪問、或存儲(chǔ)在遠(yuǎn)程設(shè)備上，該遠(yuǎn)程設(shè)備諸如是云服務(wù)系統(tǒng)分布式計(jì)算資源102或(多個(gè))設(shè)備106。在至少一個(gè)示例中，音頻傳播架構(gòu)208包括如本文中所描述的模塊302，304，306和308，其提供使用參數(shù)編碼在虛擬環(huán)境中的動(dòng)態(tài)源的實(shí)時(shí)音頻信號(hào)傳播。在一些示例中，可以采用任何數(shù)目的模塊，并且本文中所描述為由一個(gè)模塊采用的技術(shù)可以由各種示例中的(多個(gè))任何其它模塊采用。

在至少一個(gè)示例中，模擬模塊302對(duì)虛擬環(huán)境的聲學(xué)屬性進(jìn)行建模，以使從虛擬環(huán)境中的一個(gè)位置發(fā)射的聲音可以以與聲音的人類感知相對(duì)應(yīng)的方式在虛擬環(huán)境中的另一位置處再現(xiàn)。模擬模塊302可以解釋由于其幾何形狀和介質(zhì)(例如，考慮到由于幾何形狀和幾何形狀的材料(例如，木材、金屬、空氣、水)導(dǎo)致的遮擋、阻塞、據(jù)斥)而導(dǎo)致環(huán)境對(duì)聲音的影響。例如，虛擬環(huán)境可以是音樂廳，并且音頻信號(hào)源可以是站在舞臺(tái)上的虛擬小提琴手。

在脈沖響應(yīng)模擬示例中，計(jì)算資源模擬虛擬環(huán)境對(duì)從貫穿虛擬環(huán)境定義的探針源位置發(fā)射的脈沖的響應(yīng)。從一個(gè)位置發(fā)射的脈沖將在不同的收聽者位置處被不同地感知。可以在虛擬環(huán)境中的不同位置處感知脈沖的方式可以被稱為脈沖響應(yīng)。脈沖響應(yīng)根據(jù)時(shí)間、脈沖源位置(這里也被稱為探針源)和收聽者位置而變化。在一些示例中，模擬模塊302可以找到環(huán)境的傳遞函數(shù)或階躍響應(yīng)。如果表征環(huán)境如何與聲音交互的任何方法可以應(yīng)用于任意輸入信號(hào)以在環(huán)境中的另一點(diǎn)實(shí)現(xiàn)正確的輸出，則該表征的任何方法可能是足夠的。在各種示例中，模擬模塊302可以被配置成進(jìn)行A加權(quán)和/或ABX測試和/或解釋定位(使用分割、積分、和分離、或另一途徑)、優(yōu)先效應(yīng)、McGurk效應(yīng)、Franssen效果、或優(yōu)先效應(yīng)等等。

在至少一個(gè)示例中，模擬模塊302模擬壓力場(或等效地波場；術(shù)語“波場”簡單地描述聲音傳播的方式的典型概括——時(shí)變壓縮(在作為縱波傳播通過氣體、等離子體和液體的情況下)和剪切應(yīng)力(在作為橫向和縱向波在固體中傳播的情況下))。在一些示例中，模擬可以限于縱向波模型，忽略環(huán)境中的固體中的聲音傳播。模擬模塊302仍然可以通過使用反射系數(shù)來考慮固體的介質(zhì)。在一些示例中，為了易于理解，液體可以被處理為固體。在各種示例中，模擬模塊可以模擬聲音在固體中或可替代地在環(huán)境介質(zhì)中的效果。

例如，模擬模塊可以模擬表示為P(x_s，x_l，t)的七維波(或壓力)場(如果考慮更多的聲學(xué)屬性，則壓力場的維度可以更高，但是七維對(duì)于環(huán)境可聽化是足夠的)。諸如P(x_s，x_l，t)之類的示例壓力場可以是七維的，因?yàn)槠淇梢愿鶕?jù)三維空間中的信號(hào)源位置x_s、收聽者在三維空間中的位置x_l、和時(shí)間t而變化。在特定信號(hào)源和收聽者位置處的壓力場的在時(shí)間上的幅度構(gòu)成該特定源/收聽者配對(duì)的虛擬環(huán)境的脈沖響應(yīng)。

在計(jì)算壓力場之后，編碼模塊304可以對(duì)壓力場進(jìn)行編碼?？梢猿鲇诟鞣N原因進(jìn)行編碼，并且因此可以采取各種形式。編碼可以用于例如加速處理，減少存儲(chǔ)要求，保護(hù)數(shù)據(jù)，抽象數(shù)據(jù)，簡化用于分析的復(fù)雜模型，翻譯數(shù)據(jù)，映射數(shù)據(jù)，更容易地識(shí)別數(shù)據(jù)，制作人類更加難忘信息等。為了實(shí)現(xiàn)這些目標(biāo)中的一個(gè)或一些目標(biāo)，編碼模塊304可以采用不同的方法。例如，如果期望加速數(shù)據(jù)的處理并且減小存儲(chǔ)要求，則編碼模塊304可以采用數(shù)據(jù)的量化和壓縮。

在至少一個(gè)示例中，為了減少計(jì)算和存儲(chǔ)需求，由編碼模塊304進(jìn)行的編碼包括參數(shù)化七維壓力場。上文所討論的七維壓力場在一些示例中包括不同探針源/收聽者配對(duì)在時(shí)間上的脈沖響應(yīng)。編碼模塊304可以從構(gòu)成壓力場的這些脈沖響應(yīng)中提取參數(shù)。所提取的參數(shù)可以抽象脈沖響應(yīng)的特性，以使不需要計(jì)算或存儲(chǔ)脈沖響應(yīng)的顯式細(xì)節(jié)。雖然脈沖響應(yīng)可能是復(fù)雜的，但是脈沖響應(yīng)可以被表征為具有三個(gè)階段：直接聲音、早期反射和后期混響。更進(jìn)一步地，人耳僅能夠檢測傳播的聲音的某些特性。這些特性中的一些特性包括方向性、音高、首先到達(dá)耳朵的傳播的聲音的幅度(“直接聲音響度”)、從環(huán)境幾何形狀傳播的聲音的反射的幅度(“早期反射響度”)、早期反射的衰變時(shí)間(“早期衰變時(shí)間”——早期反射衰退有多快)、后期混響響度和后期混響時(shí)間(后部混響衰退有多快)。因此，在一些示例中，脈沖響應(yīng)的感知特性(諸如直接聲音響度、早期反射響度、早期衰變時(shí)間和后期混響時(shí)間)的子集可以由編碼模塊304參數(shù)化。在至少一個(gè)示例中，參數(shù)可以不隨時(shí)間變化(例如，它們可以是隱式時(shí)間的標(biāo)量值)。在一些示例中，可以保留時(shí)間，以使參數(shù)隨時(shí)間變化。在各種示例中，編碼模塊304可以在其它技術(shù)中平滑(例如，空間平滑)、采樣(例如，空間采樣)、量化、壓縮(例如，空間壓縮)、保護(hù)或存儲(chǔ)壓力場。

直到這一點(diǎn)的過程可以被描述為“預(yù)先計(jì)算”，因?yàn)樵谝恍┦纠?，模塊可以在其它模塊計(jì)算任意音頻信號(hào)從虛擬環(huán)境中的特定源位置到特定收聽者的傳播之前，模擬和編碼參數(shù)場。在依據(jù)預(yù)先計(jì)算實(shí)現(xiàn)方式的一些示例中，編碼的參數(shù)場可以被存儲(chǔ)以供解碼模塊306檢索。解碼模塊306可以不駐留在與編碼模塊304相同的設(shè)備上。例如，在視頻游戲應(yīng)用中，編碼的參數(shù)場可以被存儲(chǔ)為視頻游戲軟件的一部分，并且在視頻游戲控制臺(tái)或移動(dòng)設(shè)備處解碼。作為另一示例，在音頻工程應(yīng)用中，可以在同一設(shè)備上計(jì)算、存儲(chǔ)和解碼音樂會(huì)廳模型的編碼的參數(shù)場。

解碼模塊306可以對(duì)編碼的參數(shù)場進(jìn)行解碼，以獲得描述特定音頻信號(hào)源位置和特定收聽者位置的脈沖響應(yīng)的參數(shù)。在至少一個(gè)示例中，一旦知道特定的(多個(gè))信號(hào)源位置和收聽者位置的集合，就可以在運(yùn)行時(shí)進(jìn)行解碼。解碼模塊306可以解碼編碼的參數(shù)場的一部分(對(duì)于特定位置)、編碼的參數(shù)場中的某些(對(duì)于特定參數(shù))，或者解碼模塊306可以解碼參數(shù)場。當(dāng)源和收聽者之一或兩者位于探針源位置之間時(shí)，解碼模塊306可以空間地插值用于源/收聽者配對(duì)的參數(shù)。

在利用編碼和解碼的示例中，一旦解碼的參數(shù)可以被接收，渲染模塊308使用解碼的參數(shù)來修改要從源傳播的音頻信號(hào)。在至少一個(gè)示例中，渲染模塊通過反轉(zhuǎn)源和收聽者位置來利用聲學(xué)互惠性，以便僅需要對(duì)用于收聽者位置而不是源位置的編碼的參數(shù)場進(jìn)行解碼。在解碼之前反轉(zhuǎn)源和收聽者位置減少了在運(yùn)行時(shí)進(jìn)行的空間解壓縮操作的數(shù)目。使用這種技術(shù)，解壓縮操作的數(shù)目隨著收聽者的數(shù)目而不是源的數(shù)目而縮放。

按照使用脈沖響應(yīng)來表征虛擬環(huán)境的聲學(xué)特性的一個(gè)示例并且為了適當(dāng)?shù)貍鞑ト我庖纛l信號(hào)，渲染模塊308創(chuàng)建具有與解碼的參數(shù)一致的特性的濾波器，以使濾波器具有與虛擬環(huán)境的模擬脈沖響應(yīng)的特性相關(guān)特性。渲染模塊308可以實(shí)現(xiàn)這些創(chuàng)建的濾波器的應(yīng)用，而不顯式地計(jì)算所創(chuàng)建的濾波器。

相反，在至少一個(gè)示例中，渲染模塊308可以使用被計(jì)算為與解碼的參數(shù)一致的權(quán)重對(duì)信號(hào)進(jìn)行縮放，并且利用規(guī)范濾波器(CF)對(duì)所縮放的信號(hào)進(jìn)行卷積。在一個(gè)示例中，計(jì)算資源計(jì)算權(quán)重，使得如果權(quán)重被應(yīng)用于CF，則CF將具有與所解碼的參數(shù)一致的特性。注意，將權(quán)重應(yīng)用于CF可能違反CF作為固定濾波器的定義；通過權(quán)重的縮放可能修改來自原始設(shè)計(jì)的CF。

在至少一個(gè)示例中，渲染模塊308可以利用標(biāo)量乘法的關(guān)聯(lián)性并且用權(quán)重對(duì)輸入到固定濾波器的(多個(gè))信號(hào)進(jìn)行縮放，而非縮放固定濾波器。在該示例中，CF可以一次應(yīng)用于加權(quán)信號(hào)的和，以在收聽者位置處實(shí)現(xiàn)傳播的音頻。與其中所計(jì)算的卷積的數(shù)目的其它方法(例如，縮放濾波器而非信號(hào))對(duì)每個(gè)源乘法增加相反，因?yàn)樗?jì)算的卷積的數(shù)目至多等于固定濾波器的數(shù)目，所以該示例減少了在收聽者位置處傳播的音頻的計(jì)算時(shí)間。換句話說，所應(yīng)用的濾波器的數(shù)目隨著信號(hào)源的數(shù)目增加而保持固定。

在不使用參數(shù)化并且構(gòu)成壓力場的脈沖響應(yīng)可以以更魯棒的形式或以整體存儲(chǔ)的一些示例中，脈沖本身可以直接應(yīng)用于任意音頻信號(hào)，以在收聽者處通過(多個(gè))源來傳播。當(dāng)模擬模塊302模擬并且存儲(chǔ)可以被應(yīng)用為濾波器效應(yīng)的信息時(shí)，這些效應(yīng)可以取決于實(shí)現(xiàn)方式而被添加到所創(chuàng)建的濾波器或脈沖響應(yīng)。

在一些示例中，CF可以是任何數(shù)目的固定濾波器。在至少一個(gè)示例中，CF可以在運(yùn)行時(shí)間之前形成，并且可以不在運(yùn)行時(shí)間之后生成。在一些示例中，一個(gè)或多個(gè)CF可以在運(yùn)行時(shí)間生成并且在過程的持續(xù)時(shí)間內(nèi)保持。CF也可以被預(yù)先變換(例如，在被生成之后，它們可以被變換到頻域中并且被維持在頻域中)。

在一些示例中，架構(gòu)師可以經(jīng)由對(duì)所提議的音樂廳設(shè)計(jì)CAD模型的模擬來計(jì)算聲學(xué)，并且使用本文中所描述的技術(shù)對(duì)結(jié)果模擬場進(jìn)行編碼用于通過網(wǎng)絡(luò)傳輸。在一些示例中，聲學(xué)咨詢可以通過網(wǎng)絡(luò)接收編碼的模擬場，并且可以使用本文中所描述的技術(shù)來解碼和可視化感知參數(shù)場，以便確定潛在缺陷，而無需可聽化。

說明性專用計(jì)算設(shè)備

圖4是(多個(gè))說明性專用計(jì)算設(shè)備400(諸如專用計(jì)算設(shè)備108)的方框圖，其具有用于解碼和渲染與虛擬三維環(huán)境中的音頻信號(hào)的傳播有關(guān)的數(shù)據(jù)的說明性模塊。

(多個(gè))專用計(jì)算設(shè)備400可以包括可以表示(多個(gè))處理單元120的一個(gè)或多個(gè)處理單元402、以及可以表示計(jì)算機(jī)可讀介質(zhì)122的計(jì)算機(jī)可讀介質(zhì)404。計(jì)算機(jī)可讀介質(zhì)404可以存儲(chǔ)各種模塊、應(yīng)用程序、程序和/或數(shù)據(jù)。在一些示例中，計(jì)算機(jī)可讀介質(zhì)404可以存儲(chǔ)當(dāng)被一個(gè)或多個(gè)處理器402執(zhí)行時(shí)使一個(gè)或多個(gè)處理器執(zhí)行本文針對(duì)說明性專用計(jì)算設(shè)備400所描述的操作的指令。計(jì)算機(jī)可讀介質(zhì)402可以存儲(chǔ)專用計(jì)算設(shè)備側(cè)音頻傳播架構(gòu)406，其可以表示專用計(jì)算設(shè)備側(cè)音頻傳播架構(gòu)124，包括可以表示解碼模塊306的解碼模塊408、以及可以表示渲染模塊308的渲染模塊410。在一些示例中，專用計(jì)算設(shè)備側(cè)音頻傳播架構(gòu)406還可以包括諸如302之類的模擬模塊、和/或諸如304之類的編碼模塊。

在一些示例中，存儲(chǔ)在(多個(gè))專用計(jì)算設(shè)備400上的音頻傳播架構(gòu)可以不同于存儲(chǔ)在(多個(gè))設(shè)備200和/或106上的音頻傳播架構(gòu)。盡管(多個(gè))專用計(jì)算設(shè)備400可以通信地耦合到零個(gè)或更多個(gè)專用計(jì)算設(shè)備400或(多個(gè))設(shè)備200和/或106，但是在一些實(shí)例中，(多個(gè))專用計(jì)算設(shè)備400的資源配置可以限制(多個(gè))專用計(jì)算設(shè)備400進(jìn)行本文中所描述的技術(shù)的能力。例如，(多個(gè))專用計(jì)算設(shè)備400的資源可以相對(duì)于(多個(gè))設(shè)備106的資源而具有較少的配置。資源可以包括(多個(gè))處理單元的速度、分布式計(jì)算能力的可用性或缺乏、(多個(gè))處理單元402是否被配置成進(jìn)行平行計(jì)算、便于用戶交互的I/O接口的可用性或缺乏等。

在至少一個(gè)示例系統(tǒng)中，(多個(gè))設(shè)備200可以執(zhí)行預(yù)先計(jì)算技術(shù)，諸如通過模擬模塊302來模擬壓力場并且通過編碼模塊304來編碼壓力場，并且(多個(gè))專用計(jì)算設(shè)備400可以執(zhí)行通過解碼模塊306的解碼和通過渲染模塊308的渲染的技術(shù)。例如，在其中將本文中所描述的技術(shù)應(yīng)用于視頻游戲的實(shí)現(xiàn)方式中，(多個(gè))專用計(jì)算設(shè)備400可以表示相對(duì)低資源設(shè)備，諸如視頻游戲控制臺(tái)、平板計(jì)算機(jī)、智能電話等。在該示例中，(多個(gè))設(shè)備200可以預(yù)先計(jì)算虛擬三維視頻游戲環(huán)境的參數(shù)化的脈沖響應(yīng)，并且存儲(chǔ)參數(shù)化的脈沖響應(yīng)，以使運(yùn)行視頻游戲的(多個(gè))專用計(jì)算設(shè)備400可以訪問所存儲(chǔ)的參數(shù)化的脈沖響應(yīng)，對(duì)參數(shù)化的脈沖響應(yīng)進(jìn)行解碼以獲得所解碼的參數(shù)，并且根據(jù)所解碼的參數(shù)渲染所傳播的音頻信號(hào)。在各種示例中，(多個(gè))專用計(jì)算設(shè)備400可以存儲(chǔ)和運(yùn)行模擬模塊302和編碼模塊304。

在一些示例中，包含在音頻傳播架構(gòu)208內(nèi)的更多或更少的模塊302，304，306和308可以存儲(chǔ)在(多個(gè))設(shè)備200上，并且更多或更少的模塊302，304，408以及410可以作為專用計(jì)算設(shè)備側(cè)音頻傳播架構(gòu)406的一部分而存儲(chǔ)在(多個(gè))專用計(jì)算設(shè)備400上。

說明性操作

圖5、圖6、圖8、圖12和圖13是使用參數(shù)化的脈沖響應(yīng)和規(guī)范濾波器來計(jì)算音頻信號(hào)傳播的說明性過程的圖。這些過程被圖示為邏輯流程圖中的方框的集合，其表示可以以硬件、軟件或其組合實(shí)現(xiàn)的操作序列。在軟件的情景中，方框表示存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)可執(zhí)行指令，其當(dāng)由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，執(zhí)行所列舉的操作。計(jì)算機(jī)可執(zhí)行指令可以包括執(zhí)行特定功能或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)等。描述操作的順序不旨在被解釋為限制，并且可以以任何順序和/或并行地組合任何數(shù)目的所描述的方框，以實(shí)現(xiàn)所圖示的過程。本文中所描述的一個(gè)或多個(gè)過程可以獨(dú)立地或以任何順序(無論是級(jí)聯(lián)地還是并聯(lián)地)發(fā)生。圖7、圖9至圖11、圖17和圖14至圖18是本文中所描述方法的方面的示例結(jié)果。

圖5是在運(yùn)行時(shí)間計(jì)算所傳播的音頻信號(hào)的說明性過程500的流程圖。

參考說明性環(huán)境100對(duì)過程500進(jìn)行描述，并且可以由設(shè)備200或400、任何其它設(shè)備或其組合來執(zhí)行。當(dāng)然，過程500(以及本文中所描述的其它過程)可以在其它環(huán)境中和/或通過其它設(shè)備來執(zhí)行。這些各種環(huán)境和設(shè)備示例被描述為“計(jì)算資源”，其可以包括“計(jì)算設(shè)備”。在至少一個(gè)示例中，過程500是快速的可聽化。進(jìn)行可聽化的時(shí)間可以根據(jù)進(jìn)行可聽化而選擇的計(jì)算資源、所進(jìn)行的過程的量、信號(hào)大小、源的數(shù)目、以及收聽者的數(shù)目等等而變化，但是因?yàn)樗璧挠?jì)算時(shí)間大大減少，所以進(jìn)行可聽化的時(shí)間是“快速的”，超過其它實(shí)現(xiàn)相同效果的可聽化方法。

在至少一個(gè)示例中，在502，諸如設(shè)備200之類的計(jì)算資源接收環(huán)境幾何形狀作為輸入，并且還可以接收諸如采樣控制(例如，單元大小、體元大小、最大模擬頻率、探針源間距和位置選擇參數(shù)、以及模擬運(yùn)行時(shí)間)之類的各種約束。計(jì)算資源可以通過任何數(shù)目的I/O、捕獲或通信設(shè)備(例如，通過來自用戶的鍵盤和鼠標(biāo)輸入，來自硬盤、聲納、視頻等的流讀取)來接收這些輸入。例如，在視頻游戲情景中，計(jì)算資源可以從數(shù)據(jù)存儲(chǔ)裝置、游戲設(shè)計(jì)者等獲得視頻游戲的幾何形狀。在一些示例情景中，環(huán)境的視頻可以用于向計(jì)算資源提供三維環(huán)境。在502處，諸如302之類的模擬模塊可以限定虛擬環(huán)境的環(huán)境幾何形狀內(nèi)的探針源位置，并且將包括虛擬環(huán)境的時(shí)間上的脈沖響應(yīng)的(至少)七維壓力場輸出到從探針源發(fā)射的并且在收聽者位置處接收的模擬的脈沖。在限定的探針源位置的子集處，并且在一些示例中，在探針源位置中的每個(gè)探針源位置處，模擬模塊304可以通過將聲源放置在探針源位置處來進(jìn)行波模擬，該聲源產(chǎn)生每個(gè)探針源位置的七維壓力場(P(x_s，x_l，t))的四維切片如本文中所使用的，虛擬意味著計(jì)算機(jī)化的表示，并且如本文中所使用的，環(huán)境意味著物理或虛擬環(huán)境。

在504處，計(jì)算資源對(duì)脈沖響應(yīng)場進(jìn)行編碼。計(jì)算資源可以從所模擬的脈沖響應(yīng)場提取與上文所討論的脈沖響應(yīng)的相位特性相對(duì)應(yīng)的參數(shù)，而非嘗試整體存儲(chǔ)混沌脈沖響應(yīng)場或者降低脈沖響應(yīng)場的采樣率。例如，在504處，計(jì)算資源可以查找探針源/收聽者配對(duì)的子集的脈沖響應(yīng)并且從脈沖響應(yīng)的子集中提取四個(gè)時(shí)間不敏感(或“時(shí)間隱式”)參數(shù)。在示例參數(shù)化中，七維壓力場P(x_s，x_l，t)可能減少到每個(gè)探針源計(jì)算的四個(gè)三維離散參數(shù)場其中param可以是所提取的四個(gè)參數(shù)的集合(換句話說，計(jì)算資源輸出在探針源位置上級(jí)聯(lián)的四個(gè)參數(shù)場)。例如，因?yàn)榉较蛐?、音高、衰減和其它特性可以與脈沖響應(yīng)分開地計(jì)算，所以計(jì)算資源可以提取取決于其它因素的直接聲音響度、早期反射響度、早期衰變時(shí)間和后期混響時(shí)間。在一些示例中，計(jì)算資源可以附加地參數(shù)化以下各項(xiàng)中的一項(xiàng)或多項(xiàng)：早期衰變時(shí)間開始和結(jié)束以及后期混響時(shí)間開始的時(shí)間點(diǎn)(即，當(dāng)早期反射斜率變?yōu)楹笃诨祉懶甭蕰r(shí))、峰值密度、脈沖響應(yīng)的噪聲、包絡(luò)特性、環(huán)境標(biāo)志(例如，環(huán)境是“室外”還是“室內(nèi)”環(huán)境的指示)、考慮其它參數(shù)如何關(guān)于頻率和方向性變化的參數(shù)(例如，考慮所感知的聲音似乎來自哪里)。計(jì)算資源還可以對(duì)參數(shù)場進(jìn)行編碼、平滑、空間采樣、量化和/或壓縮，以獲得編碼的參數(shù)場。

在506處，計(jì)算模塊接收要從(多個(gè))源位置發(fā)射并且在收聽者位置回放的(多個(gè))音頻信號(hào)。(多個(gè))源位置可以隨時(shí)間變化或者它們?cè)跁r(shí)間上可以是靜態(tài)的。計(jì)算資源解碼所編碼的參數(shù)場，以獲得特定音頻信號(hào)源位置和特定收聽者位置的脈沖響應(yīng)的參數(shù)，即使那些位置中的一個(gè)或兩個(gè)位置位于源探針位置之間。例如，計(jì)算資源可以將(多個(gè))源位置插入到包括預(yù)先定義的源探針位置的網(wǎng)格中。如上文關(guān)于解碼模塊306類似地討論的，計(jì)算資源可以從用于圍繞插入到網(wǎng)格中的(多個(gè))源位置的探針源的編碼的參數(shù)場來插值用于源/收聽者配對(duì)的參數(shù)。在一些示例中，在506處，代替從來自圍繞(多個(gè))源位置的探針源的編碼參數(shù)場中插值參數(shù)，計(jì)算資源可以利用聲學(xué)互易性，并且從包圍收聽者的探針源的編碼的參數(shù)場來插值參數(shù)。

一旦接收到解碼(和插值)參數(shù)，計(jì)算資源就可以使用所解碼的參數(shù)來計(jì)算權(quán)重，以縮放要在源位置處發(fā)射并且在收聽者位置處回放的任意音頻信號(hào)。在至少一個(gè)示例中，計(jì)算資源可以根據(jù)參數(shù)的子集來計(jì)算權(quán)重，以使由權(quán)重縮放的CF的和會(huì)產(chǎn)生由所解碼的參數(shù)約束的濾波器。在一個(gè)示例中，計(jì)算資源可以不縮放CF，并且可以利用源信號(hào)(如果存在多個(gè)源信號(hào))的加權(quán)和來卷積CF。在存在多個(gè)源信號(hào)的示例中，計(jì)算資源可以接收針對(duì)收聽者位置的解碼參數(shù)；至少部分地基于源位置和解碼的參數(shù)來計(jì)算權(quán)重；通過所計(jì)算的權(quán)重來縮放源信號(hào)；對(duì)經(jīng)縮放的源信號(hào)求和；用規(guī)范濾波器對(duì)經(jīng)縮放的源信號(hào)的和進(jìn)行卷積；并且對(duì)經(jīng)縮放的源信號(hào)的卷積總和進(jìn)行求和。在至少一個(gè)示例中，在卷積之前，源信號(hào)可以被復(fù)制到副本中，并且在計(jì)算資源對(duì)所加權(quán)的副本進(jìn)行求和并且用CF對(duì)加權(quán)的副本進(jìn)行卷積之前，可以用不同的權(quán)重對(duì)副本進(jìn)行加權(quán)。在一些示例中，復(fù)制可能產(chǎn)生不相同的副本。在至少一個(gè)示例中，可以在運(yùn)行時(shí)間計(jì)算任意音頻信號(hào)(在(多個(gè))源位置處發(fā)射的任意信號(hào)的收聽者位置處回放)的傳播。

圖6描繪了圖5中引入的過程502。在至少一個(gè)示例中，計(jì)算資源模擬虛擬環(huán)境對(duì)從探針源位置發(fā)射的脈沖的脈沖響應(yīng)。在600處，計(jì)算資源接收可以具有相關(guān)聯(lián)的材料數(shù)據(jù)(例如，材料代碼)的虛擬環(huán)境的環(huán)境幾何形狀(被描繪為示例性環(huán)境幾何形狀602)(例如，體元化環(huán)境多邊形、體元化環(huán)境三角形、環(huán)境線框模型)。相關(guān)聯(lián)的材料數(shù)據(jù)可以包括關(guān)于指定材料與不同頻率(例如，標(biāo)量值、衰減值、脈沖響應(yīng)、橫波數(shù)據(jù)等)的聲音相互作用的方式的信息，或者為了簡單起見，可以是不隨頻率變化的吸收或反射系數(shù)。因?yàn)樵S多材料的吸收或反射在人類聽力的譜的極端處表現(xiàn)出變化，或者不容易被人類大腦感知或區(qū)分，所以可以接受利用吸收或反射系數(shù)。在利用吸收或反射系數(shù)的各種示例中，可以減少執(zhí)行該示例技術(shù)所需的計(jì)算時(shí)間和存儲(chǔ)。在所示出的示例中，示例性環(huán)境幾何形狀602包括壁的“L”形配置和構(gòu)造特征604。構(gòu)造特征表示諸如例如柱、家具件、盒或建筑物之類的障礙物、和/或諸如墻壁、門或窗戶之類的構(gòu)造特征。在實(shí)踐中，環(huán)境幾何形狀602可以更加復(fù)雜，但是為了可視化，圖示了環(huán)境幾何形狀602。計(jì)算資源可以自動(dòng)確定采樣控制，諸如例如，最大模擬頻率(其可以與單元大小有關(guān))、單元大小、以及體元大小(其可以與單元大小有關(guān))。在其它考慮中，最大模擬頻率的確定可以基于存儲(chǔ)器和計(jì)算約束?？商娲?，I/O、捕獲、通信設(shè)備或用戶可以指定采樣控制和/或環(huán)境幾何形狀。

在606處，計(jì)算資源接收或確定若干個(gè)探針源位置608。計(jì)算資源或用戶可以指定探針源位置在虛擬環(huán)境的水平和垂直方向上的均勻間隔?？梢允褂闷渌夹g(shù)來定義探針源位置。例如，在這些技術(shù)的視頻游戲應(yīng)用中，鑒于在該示例中，虛擬玩家的高度可以被指定為是1.6米高，用戶可以指定2至4米的水平間距和1.6米的探針源的垂直間距。用戶還可以指定探針源被放置在環(huán)境的整個(gè)范圍內(nèi)，包括虛擬玩家步行不能到達(dá)的區(qū)域，以便考慮大型交通工具、飛行能力、響應(yīng)于可以發(fā)送虛擬玩家以隱藏虛擬環(huán)境的部分的游戲中事件(in-game event)的布娃娃(rag doll)物理效應(yīng)、以及其它這樣的游戲動(dòng)態(tài)。可以選擇探針源位置以包括收聽者可能存在的虛擬環(huán)境中的位置或位置的子集。例如，感興趣區(qū)域網(wǎng)格可以將探針樣本約束到環(huán)境的內(nèi)部。感興趣區(qū)域網(wǎng)格可以被體元化以計(jì)算虛擬環(huán)境的內(nèi)部的離散聯(lián)合?？梢跃芙^對(duì)應(yīng)的體元位于感興趣區(qū)域外或環(huán)境幾何形狀內(nèi)的任何探針樣本。當(dāng)使用需要切換源位置和收聽者位置的聲學(xué)互易性來計(jì)算傳播的音頻信號(hào)時(shí)，收聽者導(dǎo)航可以當(dāng)選擇探針源位置時(shí)被強(qiáng)調(diào)。

在每個(gè)探針源x_s∈X_s處，因?yàn)槁曇粲捎谡趽?吸收和距離而衰減，所以計(jì)算資源以其周圍的幾何形狀來模擬。例如，計(jì)算資源可以使用具有指定半徑以及頂部和底部高度(例如，45米半徑和14米至20米高度，其大致為城市街區(qū)的直徑，以及4至5建筑物樓層的高度)的垂直圓筒。50米的傳播產(chǎn)生相對(duì)于1米處的響度的-34dB的純距離衰減。在至少一個(gè)示例中，計(jì)算資源可以在幾何區(qū)域周圍添加空氣填料層，其有助于運(yùn)行時(shí)間外推。計(jì)算資源(或用戶)可以保持填料的厚度大于在編碼期間使用的收聽者樣本間隔。在至少一個(gè)示例中，幾何區(qū)域的整個(gè)外表面被標(biāo)記為“完全吸收”以將發(fā)射模型化為自由場，從而構(gòu)成模擬區(qū)域。計(jì)算資源可以調(diào)用模擬區(qū)域中的波模擬器。幾何區(qū)域的外部區(qū)域以后被稱為模擬的最大空間約束。

由于要模擬的場隨時(shí)間變化，因此可以選擇用于模擬的時(shí)間約束。在至少一個(gè)示例中，不是存儲(chǔ)整個(gè)脈沖響應(yīng)，而是計(jì)算資源可以存儲(chǔ)與人耳和大腦處理聲音的方式相對(duì)應(yīng)的脈沖響應(yīng)的部分。特別地，計(jì)算資源可以捕獲聲學(xué)脈沖響應(yīng)的三個(gè)瞬態(tài)相位：直接聲音，諸如612；早期反射，諸如614；和后期混響，諸如702。因此，由計(jì)算資源運(yùn)行的模擬的時(shí)間約束可以提供足夠時(shí)間來捕獲脈沖響應(yīng)的這些相位加上時(shí)間，并且考慮從探針源到上文所指定的幾何區(qū)域的最大空間約束(t_max＝Δ_DS+Δ_ER+Δ_LR+Δ_C)的視線延遲(line-of-site delay)，其中變量分別表示直接聲音的持續(xù)時(shí)間，諸如612；早期反射，諸如614；和后期混響，諸如脈沖響應(yīng)的702個(gè)相位，并且Δ_C考慮從探針源到最大空間約束的視線延遲)。

例如，假設(shè)脈沖響應(yīng)的直接聲音部分(諸如612)可以是大約5毫秒，可以將時(shí)間約束設(shè)定為大約一秒；根據(jù)環(huán)境幾何形狀以及源和收聽者的材料和位置，脈沖響應(yīng)的早期反射部分(諸如614)大約在100毫秒和200毫秒之間變化；并且脈沖響應(yīng)的后期混響部分(諸如702)可以根據(jù)環(huán)境音量和表面積進(jìn)行一段時(shí)間。在一些示例中，相位的特定長度可以基于環(huán)境類型而變化。在用于視頻游戲的至少一個(gè)示例應(yīng)用中，假設(shè)直接聲音相位長度為5毫秒，諸如612；早期反射時(shí)間為200毫秒，諸如614；并且對(duì)于后期混響和視線傳播延遲Δ_C為剩余至600毫秒，諸如702，對(duì)于本文中所描述的技術(shù)可能是足夠的。

在610處，計(jì)算資源可以使用上文所提供的約束，包括但不限于虛擬環(huán)境幾何形狀及其相關(guān)聯(lián)的材料數(shù)據(jù)(如果可用的話)；抽樣控制；探針源位置；以及空間和時(shí)間約束，以求解針對(duì)虛擬環(huán)境對(duì)從探針源位置發(fā)射的脈沖的響應(yīng)的聲學(xué)波動(dòng)方程。在各種示例中，線性化歐拉方程可以用于計(jì)算整個(gè)模擬場，但是歐拉方程需要計(jì)算壓力和速度矢量，其對(duì)于脈沖響應(yīng)的計(jì)算是不必要的。在需要使用中間速度的應(yīng)用中，可以使用線性化歐拉方程，但是否則波動(dòng)方程提供足夠的壓力數(shù)據(jù)并且需要較少的存儲(chǔ)。任何波動(dòng)方程模擬器可以用于計(jì)算響應(yīng)于探針源信號(hào)的虛擬環(huán)境中的聲學(xué)壓力，并且可以使用任何硬件來進(jìn)行計(jì)算。例如，可以選擇使用基于圖形處理單元(GPU)的自適應(yīng)矩形分解(ARD)求解器。在一些示例中，可以結(jié)合中央處理單元(CPU)使用偽譜時(shí)域算法來計(jì)算由探針源信號(hào)產(chǎn)生的壓力場。

在610處，圖6描繪了在610處由示例性探針源608(N)發(fā)射的脈沖和示例性環(huán)境幾何形狀602的響應(yīng)的示例性表示，部分地通過針對(duì)探針源608(N)的在時(shí)間上的模擬。由612指示的實(shí)線描繪了當(dāng)脈沖通過空間傳播時(shí)的直接聲音。由614指示的虛線描繪了來自示例環(huán)境幾何形狀602的早期反射(因?yàn)樗鼈冊(cè)跁r(shí)間上并且在該示例中仍然尚未發(fā)生，所以后期混響未被描繪)。在潛在的收聽者位置616處所得到的基于脈沖的直接聲音、脈沖的早期反射和來自脈沖的后部混響而在時(shí)間上變化的空氣壓力幅度。一旦模擬完成，在潛在的收聽者位置616處隨時(shí)間變化的所得到的空氣壓力幅度組成針對(duì)該特定探針源608(N)和潛在的收聽者位置的示例環(huán)境幾何形狀602的脈沖響應(yīng)。圖7描繪了特定探針源和收聽者位置的示意性脈沖響應(yīng)700。如圖7所圖示的，脈沖響應(yīng)的時(shí)間不是按比例繪制的。在一些示例中，可以用除帕斯卡以外的單位來測量幅度，并且可以是不同類型的幅度。示例脈沖響應(yīng)700包括在時(shí)間上變化的幅度。如上文所討論的，幅度可以被分組在三個(gè)時(shí)間相位中：直接聲音608、早期反射614和后期混響702。

示例脈沖響應(yīng)700是僅一個(gè)源/收聽者配對(duì)的脈沖響應(yīng)(或環(huán)境對(duì)脈沖的響應(yīng))。虛擬環(huán)境對(duì)從多個(gè)探針源位置發(fā)射的脈沖的聲學(xué)響應(yīng)可以是由下文所示的函數(shù)表示的七維壓力場，其中P是所計(jì)算的壓力場，這里還被稱為整個(gè)模擬場；x_s和x_l是源和收聽者位置；并且t是時(shí)間。

P(x_s，x_l，t)

如上文所描述的示例壓力場函數(shù)指示的，整個(gè)模擬場P可以是源位置、收聽者位置和時(shí)間的函數(shù)。為了導(dǎo)出整個(gè)模擬場，可以在每個(gè)探針源位置x_s(608(N))處引入脈沖?？梢允褂玫囊粋€(gè)這樣的示例性脈沖由以下等式描述，其中是源脈沖；x和x_s是從體元中心得出的(其中v_max是最大期望的模擬頻率)；并且t₀＝5σ_s。

脈沖可以是在單個(gè)單元處引入的高斯。初始延遲t₀確保小的起始幅度(相對(duì)于峰值小于-210dB)。因子γ對(duì)信號(hào)進(jìn)行歸一化，使其在1米的距離處具有單位峰值幅度。對(duì)于ARD求解器，γ可以被設(shè)定為等于1/(0.4Δ)，其中Δ是體元大小。σ_s的選擇強(qiáng)迫高斯頻譜在頻率v_max上衰變-20dB，限制了混疊，但是仍然包含v_max附近的可提取信息。示例脈沖可以被描述為全向高斯脈沖。

模擬壓力場(P(x_s，x_l，t))可以是脈沖響應(yīng)場，但是為了清楚起見，為了區(qū)分作為探針源位置、收聽者位置和時(shí)間的函數(shù)(P(x_s，x_l，t))而變化的脈沖響應(yīng)場(環(huán)境對(duì)在任何探測位置處發(fā)射的并且在任何接收器位置接收的脈沖的在時(shí)間上的響應(yīng))、以及作為僅僅聽者位置和時(shí)間的函數(shù)而變化的由一個(gè)探針源發(fā)射的脈沖的脈沖響應(yīng)場(環(huán)境對(duì)在特定探測位置處發(fā)射并且在任何收聽者位置接收的在時(shí)間上的脈沖的響應(yīng))，第一場在本文中被稱為整個(gè)模擬場，并且第二場被稱為脈沖響應(yīng)場。收聽者位置處的環(huán)境對(duì)從特定探針源發(fā)射的脈沖的響應(yīng)被稱為脈沖響應(yīng)或探針/收聽者配對(duì)處的脈沖響應(yīng)。更進(jìn)一步地，模擬波場可以是壓力場。

在至少一個(gè)示例中，在模擬波場之后，計(jì)算資源存儲(chǔ)整個(gè)模擬場。因?yàn)檎麄€(gè)模擬場可能占用幾十太字節(jié)的空間，因此在一些示例中，分叉或分布式計(jì)算系統(tǒng)可以包括用于運(yùn)行模擬和編碼的一個(gè)或多個(gè)第一計(jì)算資源，以及具有較低的存儲(chǔ)器和/或處理資源以運(yùn)行剩余的計(jì)算的一個(gè)或多個(gè)第二計(jì)算資源，由于本文中所采用的技術(shù)，所以其需要少得多的存儲(chǔ)和計(jì)算。在各種示例中，如圖1中所介紹的分布式計(jì)算資源102和/或(多個(gè))設(shè)備106可以表示這樣的第一計(jì)算資源，并且(多個(gè))專用計(jì)算資源108可以表示這樣的第二計(jì)算資源。

圖8描繪了圖5中引入的過程504。將整個(gè)模擬場作為參數(shù)場(還稱為參數(shù)化脈沖響應(yīng))進(jìn)行編碼可以包括參數(shù)提取(800)、提取的參數(shù)場(804)的平滑(802)和空間采樣、量化所提取的參數(shù)場(806)、以及壓縮所提取的參數(shù)場(808)。過程504還可以包括其它處理，諸如將提取的參數(shù)場加密和/或存儲(chǔ)為編碼輸出參數(shù)場。在至少一個(gè)示例中，計(jì)算資源以塊為單位進(jìn)行數(shù)據(jù)的流讀取，對(duì)每個(gè)塊進(jìn)行編碼，并且寫出組成輸出參數(shù)場的對(duì)應(yīng)的3D塊(將3D塊級(jí)聯(lián)到現(xiàn)有3D塊，其中每個(gè)3D塊可以在探針源位置上方被級(jí)聯(lián))。

在800處，計(jì)算資源可以獨(dú)立于在每個(gè)收聽者單元x_l處接收的脈沖響應(yīng)來提取參數(shù)。提取參數(shù)使得元數(shù)據(jù)的存儲(chǔ)和使用能夠在運(yùn)行時(shí)間來計(jì)算源/收聽者配對(duì)的傳播音頻信號(hào)，而非存儲(chǔ)源/收聽者配對(duì)的整個(gè)脈沖響應(yīng)。所提取的參數(shù)可以包括脈沖響應(yīng)的最小感知參數(shù)，其逼真地向人類頭腦運(yùn)送環(huán)境響應(yīng)的再現(xiàn)。這些參數(shù)可以包括直接聲音響度(L_DS)、早期反射響度(L_ER)、早期衰變時(shí)間(T_ER)和后期混響時(shí)間(T_LR)(后期混響響度可以從L_ER和T_ER導(dǎo)出)。環(huán)境的脈沖響應(yīng)場的參數(shù)化由下文的等式描述。

其中param∈{L_DS，L_ER，T_ER，T_LR}

可以提取更多的參數(shù)，但是直接聲音響度、早期反射響度、早期衰變時(shí)間和后期混響時(shí)間是以逼真的方式對(duì)傳播的聲音進(jìn)行可聽化的脈沖響應(yīng)的最小特性。這樣的附加參數(shù)可以包括所感知的聲音的方向。

圖9描繪了示例參數(shù)化脈沖響應(yīng)902，其參數(shù)從示例脈沖響應(yīng)700中提取。在圖9中所描繪的示例中，從示例脈沖響應(yīng)700提取了四個(gè)參數(shù)：直接聲音響度(L_DS)904、早期反射響度(L_ER)906、早期衰變時(shí)間(T_ER)908和后期混響時(shí)間(T_LR)910。使用諸如上文關(guān)于800所描述的技術(shù)來計(jì)算的參數(shù)化的脈沖響應(yīng)可以表現(xiàn)出比脈沖響應(yīng)更大的平滑性，從中導(dǎo)出構(gòu)成參數(shù)化的脈沖響應(yīng)的參數(shù)。這種增加的平滑性可以使參數(shù)化的脈沖響應(yīng)更加響應(yīng)于壓縮。在一些示例中，參數(shù)化的脈沖響應(yīng)在空間上是平滑的，使得參數(shù)化的脈沖響應(yīng)響應(yīng)于空間壓縮。示例參數(shù)化的脈沖響應(yīng)902表現(xiàn)出比示例脈沖響應(yīng)700更大的平滑度。

返回圖8，在802處，在室內(nèi)聲學(xué)中，直接路徑在音樂廳中幾乎不被遮擋，并且直接能量通?？梢员环治龅毓烙?jì)和去除。然而，可以使得計(jì)算資源能夠捕獲更復(fù)雜的、場景相關(guān)的遮擋。為了這樣做，計(jì)算資源可以考慮在聲學(xué)能量開始到達(dá)聽眾位置τ(x_s，x_l)之前的初始延遲。初始延遲可以與可以圍繞環(huán)境幾何形狀衍射并且變得衰減的測地路徑相對(duì)應(yīng)。計(jì)算資源可以采用如下文的等式所描述的τ(x_s，x_l)的定義，其中D_τ是第一到達(dá)的閾值。

τ(x_s，x_l)＝min_t{10log₁₀P²(x_s，x_l，t)＞D_τ}

過大的D_τ值可能會(huì)在遮擋情形下錯(cuò)過較弱的初始響應(yīng)。太小的D_τ值可能導(dǎo)致τ由數(shù)字噪聲觸發(fā)，其在頻譜求解器(如ARD)中行進(jìn)得比聲音快。計(jì)算資源可以采用的D_τ的一個(gè)值可以是-90dB。D_τ的值可以變化大約10dB，而對(duì)τ沒有實(shí)質(zhì)性的影響。在至少一個(gè)示例中，τ可以用于適當(dāng)?shù)赜?jì)算用于參數(shù)提取的正確參數(shù)，但是在提取之后可以不保留。在各種示例中，τ可以被保留。例如視頻游戲玩家的一些人可能在音頻流水線中的系統(tǒng)延遲中弄錯(cuò)視聽不同步(在聲音能量到達(dá)之前的延遲)，從而激勵(lì)τ不被保留為設(shè)計(jì)選擇。

計(jì)算資源可以從脈沖響應(yīng)場提取直接聲音響度，諸如904。因?yàn)槠渎窂娇梢允情g接的并且其感知響度可以集成在最短路徑的幾毫秒內(nèi)到達(dá)的其它反射/散射路徑，所以盡管術(shù)語“第一到達(dá)聲音”在物理上更精確，但是術(shù)語“直接聲音”在聲學(xué)中是標(biāo)準(zhǔn)的。在一個(gè)實(shí)現(xiàn)方式中，為了檢查脈沖響應(yīng)的正確部分以標(biāo)識(shí)直接聲音，計(jì)算資源可以假設(shè)間隔t∈[τ，τ+Δ_DS]包含初始聲音，其中Δ_DS可以基于已知聲學(xué)而被選擇為5ms。為了檢查諸如612之類的脈沖響應(yīng)的直接聲音，因?yàn)樵跁r(shí)域中采用階梯函數(shù)產(chǎn)生污染在提取中稍后進(jìn)行的頻譜處理的Gibbs紋波，所以可以對(duì)脈沖響應(yīng)應(yīng)用平滑窗口化函數(shù)。在至少一個(gè)示例中，計(jì)算資源可以使用高斯誤差函數(shù)，其被定義為

在至少一個(gè)示例中，σ_w可以固定為等于S_wσ_w，其中σ_w是高斯源信號(hào)的標(biāo)準(zhǔn)偏差，并且S_w是分區(qū)窗口寬度因子。比例常數(shù)S_w控制劃分的平滑度(例如，S_w可以被設(shè)定為等于3)。誤差函數(shù)w(t)從0到1單調(diào)地增長而沒有振蕩，可以在時(shí)間上可控制地緊湊，并且提供簡單單位劃分w(t)+(w-t)＝1?；パa(bǔ)窗口可以被表示為w'(t)＝w(-t)。

圖10描繪了一個(gè)示例的示例方法，其將窗口應(yīng)用于脈沖響應(yīng)1002以便隔離與直接聲音，諸如612；早期反射，諸如614；和后期混響，諸如702相對(duì)應(yīng)的脈沖響應(yīng)的相位。在這個(gè)示例中，為了從脈沖響應(yīng)估計(jì)直接聲音響度(諸如904)，計(jì)算資源可以首先提取區(qū)段P_DS(t)＝P(t)w_DS(t)(元素1004)，其中t∈[τ，τ+Δ_DS+4σ_w]和時(shí)間窗口w_DS(t)＝w′(t-τ-Δ_DS+4σ_w)(元素1006)(這部分的P(x_s，x_l，t)的符號(hào)簡化為P(t))。接下來，在該示例中，計(jì)算資源將信號(hào)變換到頻域以獲得并且用源信號(hào)對(duì)其進(jìn)行去卷積，以獲得底層頻率響應(yīng)(元素1008)。最后，計(jì)算資源經(jīng)由計(jì)算n_v個(gè)倍頻程頻率(在一個(gè)實(shí)現(xiàn)方式中以Hz為單位)v_i＝{62.5，125，250，500，...，v_max}的集合之間的頻帶上的能量。

直接聲音響度平均對(duì)這些求平均：

在該示例中，計(jì)算資源不對(duì)整個(gè)輸入信號(hào)去卷積以將高斯響應(yīng)轉(zhuǎn)換為脈沖響應(yīng)，而是可以改為首先隨時(shí)間而窗口化并且在頻域中去卷積，其中可以直接經(jīng)由Parseval定理來估計(jì)能量。沒有去卷積整個(gè)輸入信號(hào)避免了當(dāng)去卷積帶限響應(yīng)時(shí)出現(xiàn)的Gibbs振鈴。Gibbs振鈴可能淹沒帶限響應(yīng)的特性，尤其是當(dāng)直接脈沖具有高幅度時(shí)(即，當(dāng)x_l接近x_s時(shí))。

類似地，計(jì)算資源提取諸如906之類的早期反射(L_ER)的響度參數(shù)。在至少一個(gè)示例中，計(jì)算資源經(jīng)由P_ER(t)＝P(t)w_ER(t)(元素1010)從響應(yīng)P(t)提取早期反射間隔，諸如614，其中t∈[τ+Δ_DS，τ+Δ_DS+Δ_ER+4σ_w]并且w_ER(t)＝w(t-τ-Δ_DS-2σ_w)w′(t-τ-Δ_DS-2σ_w)(元素1102)。在至少一個(gè)示例中，計(jì)算資源可以針對(duì)直接聲音提取如上文所描述的能量。

計(jì)算資源可以從脈沖響應(yīng)場提取早期衰變時(shí)間(T_ER)，諸如908。早期衰變時(shí)間和諸如910之類的后期混響時(shí)間(T_LR)考慮了空間中混響的能量曲線的衰變。因?yàn)槎盖退p的初始反射通常之后是更緩慢衰減的諸如702之類的后期混響，所以兩個(gè)參數(shù)而不是僅僅一個(gè)參數(shù)用于考慮衰減。更進(jìn)一步地，諸如908之類的早期衰變時(shí)間強(qiáng)烈地取決于環(huán)境幾何形狀以及源和收聽者的位置(x_s，s_l)，而諸如910之類的后期混響時(shí)間至少部分地取決于環(huán)境音量和表面積。諸如910之類的后期混響時(shí)間也與諸如槍聲或拍子之類的脈沖源的主觀反射良好相關(guān)，而對(duì)于諸如語音和音樂之類的連續(xù)源，早期衰變時(shí)間可能是更好的測量。利用兩個(gè)參數(shù)來解釋這兩個(gè)階段中的兩個(gè)衰減速率不僅考慮了脈沖響應(yīng)特性，而且模擬了人耳和大腦感知聲音的方式。因此，僅使用衰減的一個(gè)參數(shù)可能無法正確地可聽化所傳播的聲音，并且因此示例實(shí)現(xiàn)方式從脈沖響應(yīng)場提取兩個(gè)參數(shù)。

在至少一個(gè)示例中，計(jì)算資源使用定義為的后向(Schroeder)積分。在至少一個(gè)示例中，直線模型可以用于估計(jì)混響時(shí)間。在一些示例中，可以使用非線性回歸模型。對(duì)于本文中所描述的一些示例技術(shù)，混響時(shí)間的噪聲估計(jì)不可能以人耳可察覺的方式影響所傳播的音頻信號(hào)的可聽化。

在至少一個(gè)示例中，計(jì)算資源估計(jì)單個(gè)倍頻帶(例如，250Hz至500Hz頻帶，其中響應(yīng)首先需要被帶通——帶通整個(gè)響應(yīng)工作很差)的混響時(shí)間，因?yàn)樗谄涠瞬扛浇胛廴救跣盘?hào)的振鈴)。在至少一個(gè)示例中，計(jì)算資源可以估計(jì)多個(gè)倍頻帶中的混響時(shí)間。為了標(biāo)識(shí)能量衰變的開始，基于諸如612之類的直接聲音之后的能量衰變曲線中存在不連續(xù)下降的一般假設(shè)，諸如612之類的直接聲音可以被時(shí)間窗口化已經(jīng)到達(dá)收聽者。

在該示例中，盡管其它變換(諸如小波變換、Gabor變換和多分辨率分析等)可以用于高頻應(yīng)用，但是可以使用短時(shí)傅里葉變換。

在至少一個(gè)示例中，對(duì)于頻譜分析，模擬模塊304使用適當(dāng)寬度的滑動(dòng)漢明窗來對(duì)衰變(例如，87ms，其與500Hz的v_max的256個(gè)樣本相關(guān))進(jìn)行采樣，并且實(shí)現(xiàn)顯著重疊(例如，75％)。對(duì)于在時(shí)間τ開始的窗口的每個(gè)轉(zhuǎn)換，計(jì)算資源將窗口乘以并且計(jì)算窗口化區(qū)段的快速傅里葉變換(FFT)。計(jì)算資源取被檢測的倍頻程的頻帶中的頻譜的平方幅度的總和，得出能量E(t)。能量衰變曲線應(yīng)用所選擇的積分方法或模型(例如，Schroeder積分)。當(dāng)使用Schroeder積分時(shí)，所得到的能量衰變曲線可以被描述為其中t_max表示模擬響應(yīng)的終止時(shí)間P(等效地，如本文中所使用的整個(gè)模擬)。將上文所描述的時(shí)間窗口化的短傅立葉變換與積分組合會(huì)得到平滑曲線。在至少一個(gè)示例中，該平滑有助于斜率估計(jì)。

在首先去除響應(yīng)的直接聲音部分的示例中，在t＝0附近的I(t)中可能存在平穩(wěn)段，其不存在于真實(shí)衰變中。因此，為了找到真實(shí)衰變，計(jì)算資源可以延遲其衰變的計(jì)算，直到幅度充分減小時(shí)的第二點(diǎn)時(shí)間t₀為止(例如，為了分析的目的，忽略I(t)的初始部分，直到其中I衰變-3dB時(shí)間點(diǎn)為止)。國際標(biāo)準(zhǔn)化組織(ISO)建議在衰變的第一個(gè)10dB時(shí)使用線性回歸，因此當(dāng)信號(hào)I已經(jīng)從在t₀的幅度衰變另外10dB時(shí)，計(jì)算資源可以采用t₀和第二個(gè)時(shí)間點(diǎn)t₁之間的線性回歸。然而，可以使用用于計(jì)算早期衰變時(shí)間的其它方法。為了實(shí)現(xiàn)本文中所描述的增加的壓縮比和計(jì)算時(shí)間，所選擇的方法應(yīng)當(dāng)輸出標(biāo)量。在至少一個(gè)示例中，計(jì)算資源通過前向差分來估計(jì)區(qū)間[t₀，t₁]中的斜率δ_ER，以獲得時(shí)變斜率，其中計(jì)算資源取均方根(RMS)，得出早期衰變時(shí)間斜率。因?yàn)檎鎸?shí)衰變曲線通常是凹的(特別地，在室外環(huán)境)中，所以與線性回歸相反，前向差分和取均方根可能是有利的。線性回歸盡管簡單，但可能低估了這些情況下的衰變速率，從而高估了早期衰變時(shí)間。通過取前向差的均方根，強(qiáng)調(diào)初始快速衰減。計(jì)算資源可以計(jì)算能量衰變60dB所需的時(shí)間并且設(shè)定T_ER＝-60/δ_ER。

在至少一個(gè)示例中，為了提取諸如910之類的后期混響時(shí)間，計(jì)算資源可以計(jì)算I的漸近衰變時(shí)間。在該示例中，計(jì)算資源可以使用線性回歸來找到由t∈[t_max-Δ_LR，t_max]描述的結(jié)束區(qū)段的斜率并且設(shè)定T_LR＝-60/δ_LR。

圖11是示例能量衰變曲線1102；早期衰變時(shí)間斜率1104；和后期混響時(shí)間斜率1106的圖。使用這些斜率，可以估計(jì)諸如908之類的早期反射時(shí)間和諸如910之類的后期混響時(shí)間。注意，可以計(jì)算早期衰變時(shí)間斜率之前的示例延遲1108。

視頻游戲中的僅一個(gè)場景(或通過與其它情景類似，一個(gè)復(fù)雜環(huán)境)的原始波場數(shù)據(jù)(模擬的七維壓力場)占用幾十太字節(jié)的空間。參數(shù)化使得能夠表征抗壓縮的精細(xì)采樣的脈沖場，并且由此在進(jìn)一步編碼之后得出超過一百萬的壓縮因子。例如，具有56TB的總的七維波數(shù)據(jù)的一個(gè)場景被壓縮為41MB。如本文中所使用的，精細(xì)取樣可以根據(jù)應(yīng)用而變化。在至少一個(gè)示例中，精細(xì)采樣可以與所有基本方向上的例如25厘米的采樣相等或更精細(xì)。隨著場景變大，編碼的參數(shù)場大小根據(jù)場景的表面積而不是其音量而縮放。結(jié)果的維數(shù)指示除了從七個(gè)維度(音量×音量×?xí)r間)到五個(gè)維度(音量×面積)的時(shí)間之外，還去除了另外的維度。因此，編碼的參數(shù)場大小與邊界圓柱的表面積成線性比例。未編碼的脈沖響應(yīng)場的大小可以與場景音量成比例，并且因此表面積超線性增長。當(dāng)直接編碼如Kirchoff-Helmholtz積分定理中所表達(dá)的波場時(shí)，表面積縮放可以是最佳的；這表示邊界條件中的信息。

在提取與脈沖響應(yīng)場中的一個(gè)探針源和收聽者采樣位置相對(duì)應(yīng)的脈沖響應(yīng)的參數(shù)(例如，{L_DS，L_ER，T_ER，T_LR}或其它)之后，計(jì)算資源準(zhǔn)備構(gòu)成參數(shù)場的所提取的參數(shù)(例如，在其中提取四個(gè)參數(shù)場的示例中，四個(gè)參數(shù)場從提取中產(chǎn)生——每個(gè)參數(shù)的一個(gè)場，其中場內(nèi)的位置與固定探針源位置x_s的收聽者位置x_l相對(duì)應(yīng))，用于進(jìn)一步處理(諸如例如，量化和壓縮)。特別地，諸如904之類的直接聲音響度(L_DS)由于距離衰減而在探針位置x_s展現(xiàn)出奇點(diǎn)，因此編碼模塊304可以對(duì)參數(shù)場相對(duì)于單極源的自由場衰減的(多個(gè))所提取的直接聲音響度值(諸如904)進(jìn)行編碼。為了對(duì)(多個(gè))所提取的直接聲音響度值(諸如904)進(jìn)行編碼，根據(jù)該示例，可以經(jīng)由來更新(多個(gè))所提取的直接聲音響度值。以這種方式對(duì)所提取的直接聲音響度(諸如904)進(jìn)行編碼改善了壓縮并且減少了動(dòng)態(tài)范圍。在至少一個(gè)示例中，計(jì)算資源對(duì)對(duì)數(shù)空間中的響度參數(shù)進(jìn)行編碼并且將它們鉗制到定義的范圍(例如，-70dB至+20dB，作為保守范圍，因?yàn)橛捎诒诜瓷涠鸬穆晫W(xué)放大很少超過+6dB以及在1米處響度為80dB SPL源的可聽化在10dB SPL時(shí)衰變到幾乎聽不到)。在至少一個(gè)示例中，計(jì)算資源還可以例如經(jīng)由logT_ER/log1.05在對(duì)數(shù)空間中對(duì)衰變時(shí)間參數(shù)(T_ER和T_LR)進(jìn)行編碼，其中分母確保連續(xù)積分值之間的5％的相對(duì)增加。在該示例中，計(jì)算資源可以針對(duì)它們的邊界(例如，使用表示44ms至21.6s的-64至63的范圍)來鉗制參數(shù)。在至少一個(gè)示例中，編碼模塊可以分別在802和804對(duì)參數(shù)場進(jìn)行平滑和子采樣(例如，在模擬樣本上使用盒式濾波器)。計(jì)算資源可以用很少的混疊來粗略地對(duì)平滑的和子采樣的參數(shù)場進(jìn)行采樣。

根據(jù)ISO，在臨界收聽條件下，感知最小可覺差(JND)的響度可以是1dB并且衰變時(shí)間相對(duì)是5％。在至少一個(gè)示例中，計(jì)算資源對(duì)數(shù)地映射響度和/或衰變時(shí)間參數(shù)，以使(多個(gè))所得量子與806(Δq＝1dB和5％)處的一個(gè)JND相對(duì)應(yīng)。量化參數(shù)允許每個(gè)映射的標(biāo)量參數(shù)適合一個(gè)字節(jié)。在至少一個(gè)示例中，計(jì)算資源可以對(duì)于諸如視頻游戲音頻的不太關(guān)鍵的收聽條件更保守地對(duì)數(shù)地映射響度和/或衰變時(shí)間參數(shù)。因此，在視頻游戲環(huán)境中，量化閾值Δq可以增加(例如，從1個(gè)積分步長增加到3個(gè)積分步長，其與響度的3dB和衰變時(shí)間的15％的增量相對(duì)應(yīng))。增加量化閾值增加了壓縮比(例如，其中量化閾值可以從1個(gè)積分步長增加到3個(gè)積分步長，壓縮比增加2倍)。

計(jì)算資源可以在808處壓縮參數(shù)場。在至少一個(gè)示例中，四個(gè)參數(shù)場可以被視為具有指示幾何形狀的存在的艙壁(bulkhead code)代碼的三維陣列(即，無關(guān)代碼，至少部分)。在至少一個(gè)示例中，計(jì)算資源可以單獨(dú)考慮參數(shù)場的二維Z切片，其中Z表示重力向上方向。取決于特別應(yīng)用，可以選擇除了Z軸之外的軸。如果在移動(dòng)通過環(huán)境而不是整個(gè)參數(shù)場的同時(shí)，收聽者在大致相同的高度處持久，則對(duì)二維切片中的參數(shù)場進(jìn)行編碼會(huì)允許在運(yùn)行時(shí)間解壓縮幾個(gè)切片。在一些示例中，計(jì)算資源可以壓縮三維參數(shù)場，而不選擇任何這樣的軸。

在至少一個(gè)示例中，計(jì)算資源可以根據(jù)PNG(諸如或類似于MNG、TIFF、GIF、熵編碼、DPCM、鏈碼、PCX、BMP、TGA的其它無損圖像壓縮技術(shù)，或其中可以仔細(xì)控制誤差的其它有損技術(shù)(諸如JPEG或其它)；高度有損技術(shù)可能在可聽化中產(chǎn)生音頻偽像)來壓縮參數(shù)場。在各種示例中，可以使用其它圖像或視頻壓縮方法。在至少一個(gè)示例中，計(jì)算資源可以依次考慮每個(gè)X掃描線，累積表示仍然未量化的運(yùn)行差的殘差r。在利用量化的示例中，計(jì)算資源保持r低于量子Δq。在該示例中，在壓縮期間，計(jì)算資源維持先前處理的場值f′和當(dāng)前場值f，并且減去以得出運(yùn)行差Δf＝f-f′。最初，f′＝r＝0。計(jì)算資源計(jì)算輸出q，并且經(jīng)由來更新殘差。計(jì)算資源可以使用掃描線的先前值作為預(yù)測值。當(dāng)遇到艙壁時(shí)，計(jì)算資源設(shè)定f＝f′，在其跨度上產(chǎn)生值q＝0。盡管在一些示例中，可替代地或附加地使用其它壓縮算法，但是計(jì)算資源最終在所得到的q值的流上使用Zlib來執(zhí)行LZW壓縮。因此，作為各種組合示例的結(jié)果，計(jì)算資源(例如，經(jīng)由編碼模塊)可以將每個(gè)源探針的脈沖響應(yīng)場變換為被組織為壓縮的Z切片的集合的四個(gè)三維參數(shù)場，包括編碼的參數(shù)場在內(nèi)。在一個(gè)示例中，編碼的參數(shù)場被級(jí)聯(lián)。換句話說，編碼模塊輸出用于第一探針源的第一集合的壓縮參數(shù)場，壓縮的參數(shù)場的數(shù)目等于從環(huán)境對(duì)從第一探針源發(fā)射的脈沖的脈沖響應(yīng)提取的參數(shù)的數(shù)目，并且編碼模塊將用于從環(huán)境對(duì)從第二探針源發(fā)射的脈沖的脈沖響應(yīng)提取的參數(shù)的第二集合的壓縮的參數(shù)場級(jí)聯(lián)到第一集合的壓縮的參數(shù)場。

計(jì)算資源可以以并行或大規(guī)模并行運(yùn)算來執(zhí)行上文所描述的技術(shù)。

圖12描繪了圖5中引入的過程506。在506處，計(jì)算資源使用編碼的參數(shù)場、原始波數(shù)據(jù)或脈沖響應(yīng)來計(jì)算在運(yùn)行時(shí)間的傳播信號(hào)。在過程506使用編碼的參數(shù)場的示例中，在1200處，計(jì)算資源可以將探針位置插入到空間數(shù)據(jù)結(jié)構(gòu)(例如，網(wǎng)格)中，以加速八個(gè)探針源的查找，該八個(gè)探針源形成圍繞所插入的探針位置(例如，音頻信號(hào)源在運(yùn)行時(shí)間(“運(yùn)行時(shí)間源”)的位置)的盒，其中八個(gè)探針源可以是上文所描述的探針源的子集。這些八個(gè)探針源中的一些探針源可能丟失，因?yàn)樗鼈兾挥诃h(huán)境幾何形狀內(nèi)部(例如，在墻壁內(nèi)部)或在指定的感興趣區(qū)域外部。在至少一個(gè)示例中，計(jì)算資源還可以去除對(duì)運(yùn)行時(shí)間源“不可見”的探針，以避免跨越閉合幾何(例如，壁)的插值。為了做到這一點(diǎn)，計(jì)算資源可以使用場景的精細(xì)采樣的體元化。計(jì)算資源可以重新歸一化所得探針源的集合(其中小于或等于8)的三線性權(quán)重。

計(jì)算資源還可以通過三線性插值來計(jì)算收聽者處的參數(shù)值。在至少一個(gè)示例中，參數(shù)場可以是被組織為壓縮的Z切片的集合的三維參數(shù)場。在該示例中，計(jì)算資源可以經(jīng)由LZW解壓縮(或者與所選擇的壓縮相關(guān)的適當(dāng)解壓縮)來解碼跨過收聽者位置的兩個(gè)切片，并且通過反轉(zhuǎn)上文所描述的量化來解量化兩個(gè)切片，以獲得用于與正被解碼的參數(shù)場相對(duì)應(yīng)的參數(shù)的二維陣列。

在至少一個(gè)示例中，計(jì)算資源可以圍繞收聽者在8樣本盒上進(jìn)行插值?？梢砸耘c探針源和重新歸一化的權(quán)重相同的方式去除無效樣本。重新歸一化權(quán)重得出在連續(xù)收聽者位置的(采樣的)探針的參數(shù)。整個(gè)過程表示六維超立方體插值。計(jì)算資源還可以使用最近最少使用的策略在全局高速緩存中存儲(chǔ)解壓縮的Z切片，以加速運(yùn)算時(shí)間。

在至少一個(gè)示例中，聲學(xué)互易性的原理可以被實(shí)現(xiàn)成通過將要解碼的場的數(shù)目從至多8乘以源的數(shù)目減少到至多8來增加性能。聲學(xué)互易性指示如果這些位置被互換并且對(duì)于聲學(xué)參數(shù)也是如此，則點(diǎn)源和點(diǎn)收聽者之間的脈沖響應(yīng)保持相同。因此，在運(yùn)行時(shí)間，計(jì)算資源可以交換源位置和收聽者位置并且應(yīng)用上文所描述的過程。換句話說，在這個(gè)示例中，收聽者成為源，并且問題可以從多源單收聽者轉(zhuǎn)換為多收聽者單源。因此，在至少一個(gè)示例中，計(jì)算資源可以解碼圍繞收聽者的有效探針，而非圍繞源的有效探針，其可能遠(yuǎn)遠(yuǎn)超過僅一個(gè)源。

一旦計(jì)算資源解碼參數(shù)場以計(jì)算源點(diǎn)和收聽者點(diǎn)之間的參數(shù)(在一個(gè)示例中，使用上文所討論的在解碼期間利用聲學(xué)互易性的示例)，則在1202處，計(jì)算資源對(duì)每個(gè)運(yùn)行時(shí)間源—收聽者配對(duì)應(yīng)用聲學(xué)濾波器，渲染參數(shù)，并且由此實(shí)現(xiàn)從源傳播到收聽者的音頻信號(hào)的環(huán)境的感知效果。由渲染模塊308對(duì)每個(gè)運(yùn)行時(shí)間源—收聽者配對(duì)應(yīng)用的聲學(xué)濾波器具有由與插值的探針源位置和插值的收聽者位置之間的環(huán)境的脈沖響應(yīng)相對(duì)應(yīng)的解碼的參數(shù)值定義的特性(即，包圍運(yùn)行時(shí)間源的探針的加權(quán)和與圍繞運(yùn)行時(shí)間收聽者的探針的加權(quán)和之間的環(huán)境的脈沖響應(yīng)的特性)。

在至少一個(gè)示例中，如圖13中所描繪的，為了呈現(xiàn)參數(shù)，計(jì)算資源可以使用其輸出實(shí)現(xiàn)應(yīng)用各個(gè)脈沖響應(yīng)的效果的全局規(guī)范濾波器(CF)，以再現(xiàn)由運(yùn)行時(shí)間源-收聽者配對(duì)的參數(shù)值表示的屬性。例如，考慮要發(fā)射單聲道信號(hào)s_i(t)(不同于預(yù)先處理的源信號(hào)s(t)，如上文所討論的，通過該信號(hào)，獲得用于源和收聽者位置的計(jì)算資源{L_DS，L_ER，T_ER，T_LR})的第i個(gè)運(yùn)行時(shí)間源。在該示例中，計(jì)算資源可以應(yīng)用遵守參數(shù)的立體聲(雙聲道的)濾波器h_i(t)，產(chǎn)生作為立體聲輸出o_i(t)＝s_i*h_i，其中“*”表示立體聲卷積(s_i可以輸入到兩個(gè)濾波器通道)。計(jì)算資源可以將h_i分成三個(gè)部分，如其中每個(gè)部分表示以與源/收聽者配對(duì)的脈沖響應(yīng)的相位相關(guān)的方式遵守參數(shù)的濾波器的一部分。因此，例如，應(yīng)用遵守參數(shù)的聲學(xué)濾波器可以由三個(gè)卷積的和表示：(分別為1302，1306，1312和1314)。

為了適當(dāng)?shù)刈袷靥囟ㄔ?收聽者脈沖響應(yīng)的參數(shù)并且從而適當(dāng)?shù)貙?duì)s_i進(jìn)行可聽化，直接聲音濾波器需要按編碼的響度參數(shù)L_DS(1302)(即，按因子)(1302)進(jìn)行縮放s_i。在一些示例中，計(jì)算資源去除編碼期間的距離衰減；如果應(yīng)用了該示例，則計(jì)算資源將距離衰減應(yīng)用于s_i以適當(dāng)?shù)貙?duì)s_i可聽化。距離衰減的凈比例因子可以是其中d是源到收聽者距離。計(jì)算資源還可以基于源位置和收聽者的位置和取向來執(zhí)行空間化(計(jì)算資源可以執(zhí)行如本示例中在1302所描述的空間化)。在視頻游戲的示例應(yīng)用中，許多游戲音頻引擎原生地支持以低等待時(shí)間執(zhí)行的空間化，產(chǎn)生用于直接聲音的立體聲輸出其它兩個(gè)濾波器和可以至少遵循其它三個(gè)參數(shù){L_ER，T_ER，T_LR}(響度和兩個(gè)斜率(dB/s))(分別在1304，1308和1310)，并且的時(shí)間密度可以是連續(xù)的，以便以逼真的方式對(duì)s_i進(jìn)行可聽化(在1308處考慮)。換句話說，早期反射(諸如612)和后期混響(諸如702)之間的幅度的衰變是平滑的——在足夠的時(shí)間已經(jīng)過去之后，典型的室內(nèi)脈沖響應(yīng)中的總幅度不會(huì)出現(xiàn)突然下降或尖峰來引起顯著的聲音擴(kuò)散。

卷積是非常昂貴的操作，并且對(duì)每個(gè)源的音頻信號(hào)執(zhí)行數(shù)百個(gè)單獨(dú)卷積對(duì)于諸如視頻游戲之類的實(shí)時(shí)應(yīng)用可能是成本過高的，尤其是，鑒于處理設(shè)備可能被其它應(yīng)用程序特定的運(yùn)算所共享的事實(shí)。在一個(gè)示例中，代替在運(yùn)行時(shí)間利用單獨(dú)的濾波器對(duì)每個(gè)信號(hào)源的任意音頻信號(hào)進(jìn)行卷積，計(jì)算資源可以利用CF來減少縮放和求和信號(hào)源音頻信號(hào)并且用CF對(duì)所縮放和求和的信號(hào)進(jìn)行卷積的運(yùn)行時(shí)間操作。在該示例中，信號(hào)源音頻信號(hào)的權(quán)重可以是一個(gè)或多個(gè)CF和參數(shù)的函數(shù)，參數(shù)依次取決于源位置和收聽者位置。利用CF并且經(jīng)由作為CF的函數(shù)計(jì)算的權(quán)重的插值的濾波避免了具有快速移動(dòng)的源和/或收聽者的脈沖響應(yīng)插值偽影。

早期反射濾波器可以以n_ER＝3規(guī)范濾波器(CF)表達(dá)。CF可以是若干個(gè)固定濾波器。在一些示例中，CF可以被預(yù)先變換(換句話說，CF可以已經(jīng)從時(shí)域變換到頻域，以避免運(yùn)行昂貴的運(yùn)行時(shí)間快速傅里葉變換)。在至少一個(gè)示例中，固定意味著濾波器具有在濾波器用信號(hào)卷積之前不被修改的特性。在至少一個(gè)示例中，具有未修改的特性意味著規(guī)范濾波器的細(xì)節(jié)可以改變，只要規(guī)范濾波器的細(xì)節(jié)繼續(xù)與特性(其保持未被修改)一致即可。在各種示例中，在玩家位置從城市環(huán)境轉(zhuǎn)變到森林環(huán)境的視頻游戲應(yīng)用中，可以將規(guī)范濾波器修改為聲音“森林狀”，同時(shí)仍然遵守未修改的特性。這樣，可以適當(dāng)?shù)劁秩靖兄獏?shù)，同時(shí)還可以渲染其它效果(諸如上述示例中的“森林狀”)。當(dāng)脈沖響應(yīng)(或解碼的參數(shù))被更新時(shí)，現(xiàn)有技術(shù)丟棄可能修剪混響的用于較舊濾波器的尚未處理的輸出。保持過去的濾波器活動(dòng)直到它們耗盡其輸出為止對(duì)于所有聲源是昂貴的。因?yàn)橛妹總€(gè)視頻幀更新的插值權(quán)重來處理任意音頻源，所以使用CF則避免了這個(gè)問題，從而有效地用對(duì)于源-收聽者配對(duì)是獨(dú)有的最新的未截?cái)嗟拿}沖響應(yīng)對(duì)其進(jìn)行渲染。關(guān)于視頻游戲情景，這種技術(shù)容易地與當(dāng)前的游戲音頻引擎進(jìn)行集成，其自然地支持將信號(hào)的線性組合饋送到幾個(gè)固定濾波器。在游戲音頻術(shù)語中，線性組合由將它們的輸入求和的總線來執(zhí)行。CF“影響”總線并且每個(gè)源縮放因子是總線“發(fā)送值”。

在至少一個(gè)示例中，該組早期反射CF具有三個(gè)屬性。第一，CF對(duì)于它們的非零值(峰值)可以具有相同的時(shí)間延遲，從而允許CF被線性插值而沒有峰值混疊(1302)。第二，CF具有0dB(單位)響度。第三，CF具有滿足濾波器的分配的衰變時(shí)間的指數(shù)能量衰變曲線，被表示為(參見圖14的1402，1404和1406)。圖15描繪了在時(shí)域中顯示的具有這些屬性并且具有滿足1.0秒的衰變時(shí)間的能量衰變曲線的示例CF。圖16描繪了在頻域中顯示的也具有這些屬性并且圖示了平坦頻率響應(yīng)的示例CF。因?yàn)镃F的峰值延遲可以被共享，所以對(duì)這些CF中的兩個(gè)CF進(jìn)行線性插值得出具有中間能量衰變和單位響度的濾波器，該單位響度當(dāng)插值權(quán)重單調(diào)變化時(shí)會(huì)單調(diào)變化。計(jì)算資源可以通過如在直接聲音的情況下縮放信號(hào)來實(shí)施L_ER(1304)。這可以通過縮放應(yīng)用于信號(hào)的權(quán)重來完成?？商娲?，由于卷積的相關(guān)屬性，計(jì)算資源可以通過縮放濾波器或卷積來實(shí)施L_ER。圖13僅描繪了其中計(jì)算資源縮放信號(hào)(1302，1304和1310)的一個(gè)實(shí)現(xiàn)方式。

給定T_ER，計(jì)算資源在兩個(gè)CF上插值使得例如，CF可以具有能量衰變曲線，如圖14在1400處圖示的，與0.5秒、1.0秒和3.0秒的早期衰變時(shí)間值相對(duì)應(yīng)(因此，可能鉗制范圍0.5至3.0之外的任何T_ER)(參見示例能量衰變曲線1402，1404和1406)。在該示例中，為了實(shí)現(xiàn)T_ER為0.7，計(jì)算資源將在具有分別與0.5秒和1.0秒的衰變時(shí)間相對(duì)應(yīng)的能量衰變曲線的CF之間進(jìn)行插值。在一些示例中，濾波器參數(shù)可以包括能量衰變曲線和其它濾波器特性，諸如例如，截止頻率、滾降、過渡頻帶和紋波。

在至少一個(gè)示例中，計(jì)算資源可以通過假設(shè)衰變曲線是指數(shù)的(在一些情況下，完全是指數(shù)的)，并且需要在“匹配時(shí)間”t_m時(shí)線性插值的結(jié)果與T_ER的理想指數(shù)衰變進(jìn)行匹配來找到插值權(quán)重和(例如，渲染模塊可以選擇ER的中間值：t_m＝Δ_ER/2＝100ms，其確保了插值的濾波器的早期衰變時(shí)間具有小于5％的最大相對(duì)誤差，與根據(jù)ISO的感知閾限相當(dāng))?？梢越?jīng)由以下各式將權(quán)重乘以因子以實(shí)施響度(1304)，

在至少一個(gè)示例中，如上述等式所圖示的，權(quán)重可以取決于規(guī)范濾波器和解碼的參數(shù)。該因子在t_m處評(píng)估在中以60dB衰變的指數(shù)曲線。因此，濾波器可以被描述為線性組合：

注意，盡管由于預(yù)先計(jì)算時(shí)間的實(shí)際限制而給出的從高達(dá)v_max＝500Hz(v_max可以更高)的頻率中有限模擬和提取參數(shù)的一個(gè)示例，并且即使不是，但是這里應(yīng)用的CF可以是遵守響度和衰變時(shí)間參數(shù)的寬帶CF。因此，傳播特性可以延伸到未建模的較高頻率，從而產(chǎn)生近似但似乎可信的結(jié)果。

應(yīng)用該方程和交換求和，所渲染的早期反射輸出1306可以由給出。其中在1304處描繪了術(shù)語換句話說，在源位置處發(fā)射的任意音頻信號(hào)的收聽者位置處傳播的早期反射可以是用(多個(gè))源的加權(quán)(和)卷積的和規(guī)范濾波器(1306)(注意，在上述等式中所示的實(shí)現(xiàn)方式中，信號(hào)由L_ER縮放)。

計(jì)算后期混響輸出o_LR(t)可以是類似的(1308，1310和1312)。計(jì)算資源可以使用n_ER＝3個(gè)CF，衰變時(shí)間例如為0.75秒、1.5秒和3.0秒，并且將匹配時(shí)間定義為例如t_m＝0.75T_LR 1316。這些示例選擇得出小于5.7％的相對(duì)誤差，其又與衰變時(shí)間的感知閾限相當(dāng)。在一些示例中，未顯式地存儲(chǔ)后期混響的響度L_LR(必需1308)。相反，可以通過實(shí)施能量密度的連續(xù)性來導(dǎo)出：在后期混響開始時(shí)每單位時(shí)間的能量必須與在早期反射結(jié)束時(shí)的能量相匹配(1308)。在該示例中，計(jì)算資源可以估計(jì)上文所計(jì)算的插值的濾波器的40ms末尾中的能量，其確定L_LR(1308)。將表示為在第j個(gè)CF的最后40ms上的能量積分其中L_LR＝10log₁₀E(1308)。在各種示例中，可以存儲(chǔ)后期混響的響度。計(jì)算資源可以應(yīng)用上文所描述的用于早期反射階段(諸如614)的相同過程，以找到脈沖響應(yīng)的CF插值系數(shù)和(1310和1312)。

一旦已經(jīng)找到CF插值系數(shù)，從而正確地加權(quán)CF以與表征對(duì)應(yīng)的脈沖響應(yīng)的解碼的參數(shù)一致，計(jì)算資源將濾波器應(yīng)用于輸入信號(hào)：(1302，1306，1312和1314)。計(jì)算資源可以使用任何卷積方法來計(jì)算卷積。在至少一個(gè)示例中，計(jì)算資源使用分割的頻域卷積來將CF應(yīng)用于源信號(hào)的加權(quán)和(1314)：

因?yàn)槊}沖響應(yīng)階段在時(shí)間上順序地發(fā)生，所以可以引入延遲。h_ER和h_LR的幅度對(duì)于h_ER的第一Δ_DS秒和h_LR的Δ_DS+Δ_ER秒可以為零，以考慮該時(shí)間延遲。分割的卷積以等待時(shí)間換取效率：更長的分區(qū)更快地計(jì)算，但是因?yàn)榭梢栽趫?zhí)行卷積之前分區(qū)必須是完全的，所以引入更多的等待時(shí)間。因?yàn)闉V波器在被卷積時(shí)引起延遲，所以計(jì)算資源可以改為讓分區(qū)大小引入延遲，并且從脈沖響應(yīng)中移除對(duì)應(yīng)的延遲量。沒有引入整體延遲，但是卷積可以按較大的分區(qū)大小來加速。例如，分區(qū)大小對(duì)于為614至1024個(gè)樣本，并且對(duì)于為8192個(gè)樣本。在44100Hz，614至1024個(gè)樣本的分區(qū)大小與在直接聲音之后的早期反射中的11ms至22ms和后期混響中的185ms的初始延遲相對(duì)應(yīng)。

每組CF，和可以滿足三個(gè)屬性：每組CF可以是“線性可插值的”，并且其每個(gè)成員可以是單位能量并且滿足指定的能量衰變曲線。只要濾波器滿足這些準(zhǔn)則，則它就可以作為“CF”集成到該系統(tǒng)中。在一些示例中，用于早期反射階段(諸如614)的CF可以被表示為漫射部分和鏡面部分的和，使得它們的和具有單位能量并且匹配目標(biāo)指數(shù)能量衰變曲線。例如，鏡面信號(hào)可以包括其樣本延遲可以是質(zhì)數(shù)的稀疏峰值，其使得來自周期性延遲的著色偽像會(huì)最小化，并且漫射信號(hào)可以包括幅度二次增加的白噪聲，其被歸一化以構(gòu)成信號(hào)總能量的10％。更具體地，擴(kuò)散信號(hào)可以被初始化為D_j＝t²G(t)，t∈[0，Δ_ER]，，其中G是具有零均值和單位方差的高斯白噪聲。為了實(shí)施指定的能量衰變，可以將隨機(jī)幅度分配給峰值，并且可以縮放峰值的10ms倉以使總能量由衰變速率控制。因?yàn)闀r(shí)間量化可能導(dǎo)致不準(zhǔn)確，所以可以采用計(jì)算Schroeder積分并且找到其斜率的弛豫過程。在該示例中，可以從期望的斜率中減去真實(shí)斜率，并且信號(hào)可以乘以與該差相對(duì)應(yīng)的指數(shù)，從而產(chǎn)生與所需的衰變時(shí)間一致的能量衰變曲線。最后，可以將信號(hào)歸一化為具有單位能量。在一些示例中，可以使用時(shí)間量化來產(chǎn)生符合能量衰變曲線的漫射信號(hào)。在一些示例中，CF共享相同的鏡面峰值和相同的漫射噪聲信號(hào)以輔助線性插值，盡管在各種示例中，它們不是。

在至少一個(gè)示例中，后期混響CF可以包括具有由控制CF的相應(yīng)衰變速率確定的指數(shù)包絡(luò)的白噪聲。可以在后期混響CF兩端采用共享的噪聲信號(hào)，但是在一些示例中可以對(duì)于濾波器中的一些或所有濾波器生成不同的信號(hào)。在至少一個(gè)示例中，計(jì)算資源不考慮(頻率相關(guān)的)大氣衰減。在該示例中，后期混響CF可以被修改以建模大氣衰減。例如，使用與已經(jīng)行進(jìn)距離d＝ct的波前相對(duì)應(yīng)的t處的樣本，假設(shè)聲速恒定，可以使用來自ISO 9613-1的公式來計(jì)算任何傳播距離d處的每個(gè)頻率的衰減?？梢詰?yīng)用計(jì)算短時(shí)傅立葉變換的滑動(dòng)窗口并且重新塑形以適當(dāng)?shù)乜紤]d處的大氣吸收。結(jié)果可以在窗口上累積。在一些示例中，計(jì)算資源考慮大氣衰減。

圖17是描繪了在被稱為“場景”：“城堡”、“甲板”、“圣所”、“墓地”和“樹葉”的五個(gè)示例環(huán)境上執(zhí)行的本文中所描述的模擬和編碼技術(shù)的示例實(shí)現(xiàn)方式的實(shí)驗(yàn)結(jié)果的表。該表圖示了在“原始的(TB)”列中的每個(gè)示例環(huán)境的模擬的壓力場的原始大小(以兆字節(jié)計(jì))、“編碼的(MB)”列中的編碼的參數(shù)場大小(以兆字節(jié)計(jì))、“兼并(bake)(h)”列中的計(jì)算時(shí)間(以小時(shí)計(jì))、L_DS，L_ER，T_ER，和T_LR列中的四個(gè)示例參數(shù)的空間壓縮比、以及“凈”列中的四個(gè)示例參數(shù)的凈空間壓縮比。

圖18是圖示了與未編碼的虛擬環(huán)境相比對(duì)兩個(gè)示例虛擬環(huán)境進(jìn)行的一個(gè)模擬和編碼示例的實(shí)驗(yàn)結(jié)果的圖。該圖演示了當(dāng)場景變得更大時(shí)，編碼的參數(shù)場大小根據(jù)場景的表面積而不是場景的音量來縮放。結(jié)果的維數(shù)指示除了從七個(gè)維度(音量×音量×?xí)r間)到五個(gè)維度(音量×面積)的時(shí)間之外，還去除了另外的維度。因此，編碼的參數(shù)場大小與邊界圓柱的表面積成線性比例。其中一個(gè)探針源的脈沖響應(yīng)場的未編碼的大小與場景音量成比例，并且因此表面積超線性增長。

示例條款

A.一種方法，包括：接收環(huán)境的參數(shù)化的脈沖響應(yīng)；從參數(shù)化的脈沖響應(yīng)來解碼參數(shù)以獲得所解碼的參數(shù)；以及計(jì)算權(quán)重，用權(quán)重加權(quán)的規(guī)范濾波器的所加權(quán)的線性組合與所解碼的參數(shù)一致。

B.如段落A所記載的方法，該解碼包括：在連續(xù)三維空間中接收源位置和收聽者位置；至少部分地基于源位置從多個(gè)固定的第一位置中選擇探針樣本集合，多個(gè)固定的第一位置表示環(huán)境的空間樣本；至少部分地基于收聽者位置從多個(gè)固定的第二位置中選擇接收器樣本的集合，多個(gè)固定的第二位置表示環(huán)境的空間樣本；從參數(shù)化的脈沖響應(yīng)來計(jì)算探針樣本的集合和接收器樣本的集合的感知參數(shù)；至少部分地基于源位置和收聽者位置來計(jì)算探針樣本的集合和接收器樣本的集合的空間權(quán)重；以及至少部分地基于空間權(quán)重來從感知參數(shù)中插值所解碼的參數(shù)。

C.如段落A或B所記載的方法，該解碼還包括：在連續(xù)三維空間中反轉(zhuǎn)源位置和接收器位置。

D.如段落A或B所記載的方法，其中參數(shù)化的脈沖響應(yīng)包括從模擬的脈沖響應(yīng)中提取的感知參數(shù)，感知參數(shù)是至少接收器位置的函數(shù)。

E.如段落D所記載的方法，其中模擬的脈沖響應(yīng)包括環(huán)境對(duì)來自多個(gè)第一位置的脈沖的發(fā)射的多個(gè)信號(hào)響應(yīng)，其中第二位置處的多個(gè)信號(hào)響應(yīng)中的一個(gè)信號(hào)響應(yīng)是對(duì)在由第二位置處的環(huán)境修改之后接收的從多個(gè)第一位置中的第一位置發(fā)射的脈沖的信號(hào)響應(yīng)。

F.如段落D或E所記載的方法，感知參數(shù)包括與直接聲音響度相對(duì)應(yīng)的第一參數(shù)；與早期反射響度相對(duì)應(yīng)的第二參數(shù)；與早期衰變時(shí)間相對(duì)應(yīng)的第三參數(shù)；以及與后期混響時(shí)間相對(duì)應(yīng)的第四參數(shù)。

G.如段落A，B或D中的任一段所記載的方法，參數(shù)化的脈沖響應(yīng)還是以下各項(xiàng)中的至少一項(xiàng)或多項(xiàng)：空間平滑的；空間采樣的；量化的；空間壓縮的；或存儲(chǔ)的。

H.如段落A，B，D或G中的任一段所記載的方法，還包括：接收音頻信號(hào)；復(fù)制音頻信號(hào)以獲得信號(hào)副本；以及至少部分地基于權(quán)重來縮放信號(hào)副本以獲得縮放的信號(hào)副本。

I.如段落H所記載的方法，其中音頻信號(hào)是多個(gè)音頻信號(hào)中的一個(gè)音頻信號(hào)，并且對(duì)多個(gè)信號(hào)中的相應(yīng)的其它信號(hào)執(zhí)行如段落H所記載的復(fù)制和縮放以接收所縮放的信號(hào)副本，多個(gè)信號(hào)與源位置相對(duì)應(yīng)。

J.如段落I所記載的方法，還包括：向經(jīng)縮放的信號(hào)副本應(yīng)用規(guī)范濾波器，該應(yīng)用包括：對(duì)經(jīng)縮放的副本求和；以及提供經(jīng)縮放的副本的和作為對(duì)規(guī)范濾波器中的至少一個(gè)規(guī)范濾波器的輸入。

K.如段落I或段落J所記載的方法，還包括：用規(guī)范濾波器中的單獨(dú)的規(guī)范濾波器、相應(yīng)的規(guī)范濾波器或每個(gè)規(guī)范濾波器對(duì)經(jīng)縮放的副本的和進(jìn)行卷積，以獲得經(jīng)濾波的音頻信號(hào)；以及對(duì)經(jīng)濾波的音頻信號(hào)求和，以獲得所傳播的音頻信號(hào)。

L.如段落A，J或K中的任一段所記載的方法，其中規(guī)范濾波器與對(duì)應(yīng)的濾波器參數(shù)一致并且滿足以下屬性：通過插值規(guī)范濾波器的任何兩個(gè)規(guī)范濾波器而獲得的濾波器與兩個(gè)規(guī)范濾波器之間的中間濾波器參數(shù)一致；并且當(dāng)插值權(quán)重單調(diào)地改變時(shí)，中間參數(shù)單調(diào)地變化。

M.如段落A或J至L中的任一段所記載的方法，其中規(guī)范濾波器包括被變換成頻域并且具有固定特性的至少一個(gè)濾波器。

N.一種設(shè)備，包括：一個(gè)或多個(gè)處理單元；其上存儲(chǔ)有模塊的計(jì)算機(jī)可讀介質(zhì)，該模塊包括：編碼模塊，其被配置成參數(shù)化環(huán)境的脈沖響應(yīng)場以獲得參數(shù)化的脈沖響應(yīng)場；解碼模塊，其被配置成：接收信號(hào)傳輸位置和信號(hào)接收器位置；以及從參數(shù)化的脈沖響應(yīng)場中解碼參數(shù)以獲得所解碼的參數(shù)，該解碼部分地基于信號(hào)傳輸位置和信號(hào)接收器位置，并且所解碼的參數(shù)與信號(hào)接收器位置處的環(huán)境的脈沖響應(yīng)的感知特征相對(duì)應(yīng)；以及渲染模塊，其被配置成將濾波器應(yīng)用于要從信號(hào)傳輸位置傳播到信號(hào)接收器位置的信號(hào)，該應(yīng)用至少部分地基于所解碼的參數(shù)。

O.如段落N所記載的設(shè)備，其中脈沖響應(yīng)場的幅度至少部分地基于以下各項(xiàng)的至少一項(xiàng)而變化：脈沖傳輸位置、接收位置、或時(shí)間。

P.如段落N所記載的設(shè)備，渲染模塊還被配置成至少部分地基于所解碼的參數(shù)來計(jì)算權(quán)重；至少部分地基于權(quán)重來縮放信號(hào)以獲得經(jīng)縮放的信號(hào)；并且用濾波器對(duì)經(jīng)縮放的信號(hào)進(jìn)行卷積。

Q.如段落P所記載的設(shè)備，其中由權(quán)重縮放的濾波器的和與所解碼的參數(shù)一致。

R.如段落N至Q中的任一段所記載的設(shè)備，渲染模塊還被配置成至少部分地基于解碼的參數(shù)來計(jì)算權(quán)重；至少部分地基于權(quán)重來縮放濾波器以獲得經(jīng)縮放的濾波器；并且用信號(hào)對(duì)經(jīng)縮放的濾波器進(jìn)行卷積。

S.一種或多種計(jì)算機(jī)可讀介質(zhì)，存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，該計(jì)算機(jī)可執(zhí)行指令當(dāng)在一個(gè)或多個(gè)處理器上執(zhí)行時(shí)配置計(jì)算機(jī)以執(zhí)行包括以下各項(xiàng)的動(dòng)作：模擬環(huán)境中的第一時(shí)變壓力場，第一時(shí)變壓力場至少部分地基于從環(huán)境中的第一位置發(fā)射的脈沖；模擬環(huán)境中的第二時(shí)變壓力場，第二時(shí)變壓力場至少部分地基于從環(huán)境中的第二位置發(fā)射的脈沖；以及對(duì)第一時(shí)變壓力場和第二時(shí)變壓力場進(jìn)行編碼以獲得所編碼的參數(shù)場，該編碼包括：從第一時(shí)變壓力場提取第一參數(shù)場；以及從第一時(shí)變壓力場提取第二參數(shù)場。

T.如段落S所記載的計(jì)算機(jī)可讀介質(zhì)，其中動(dòng)作還包括：接收信號(hào)和第三位置，第三位置表示環(huán)境中的接收器的位置；在與第三位置相對(duì)應(yīng)的編碼的參數(shù)場中的位置處解碼經(jīng)編碼的參數(shù)場，以接收經(jīng)解碼的參數(shù)；至少部分地基于經(jīng)解碼的參數(shù)來計(jì)算權(quán)重，該權(quán)重與經(jīng)解碼的參數(shù)一致；加權(quán)信號(hào)以接收經(jīng)加權(quán)的信號(hào)，該經(jīng)加權(quán)的信號(hào)將規(guī)范濾波器應(yīng)用于經(jīng)加權(quán)的信號(hào)以接收所傳播的信號(hào)，并且播放所傳播的信號(hào)。

U.如段落S或T所記載的計(jì)算機(jī)可讀介質(zhì)，其中動(dòng)作還包括：將第二參數(shù)場級(jí)聯(lián)到第一參數(shù)場以獲得經(jīng)級(jí)聯(lián)的參數(shù)場；以及將經(jīng)級(jí)聯(lián)的參數(shù)場壓縮為經(jīng)編碼的參數(shù)場，以獲得經(jīng)編碼的參數(shù)場；

V.如段落S至U中的任一段所記載的計(jì)算機(jī)可讀介質(zhì)，其中參數(shù)的時(shí)間隱式從第一時(shí)變壓力場和第二時(shí)變壓力場中移除至少一個(gè)維度。

W.一種用于可聽化的方法，包括：接收多個(gè)配對(duì)，這些配對(duì)包括與各個(gè)音頻信號(hào)相對(duì)應(yīng)的音頻信號(hào)和聲學(xué)參數(shù)；以及通過將規(guī)范濾波器的集合的加權(quán)線性組合應(yīng)用于音頻信號(hào)來對(duì)音頻信號(hào)的聲學(xué)參數(shù)進(jìn)行可聽化，這些規(guī)范濾波器包括固定濾波器，并且接收和可聽化被進(jìn)行使得固定濾波器的數(shù)量不隨著音頻信號(hào)的數(shù)目增加而增加。

結(jié)論

盡管以結(jié)構(gòu)特征和/或方法動(dòng)作專用的語言描述了主題，但是應(yīng)當(dāng)理解，所附權(quán)利要求中定義的主題不一定限于所描述的特定特征或動(dòng)作。相反，特定特征和步驟作為實(shí)現(xiàn)權(quán)利要求的示例形式而被公開。

上文所描述的所有方法和過程可以體現(xiàn)在由一個(gè)或多個(gè)通用計(jì)算機(jī)或處理器執(zhí)行的軟件代碼模塊中，并且經(jīng)由這些軟件代碼模塊完全自動(dòng)化。代碼模塊可以存儲(chǔ)在任何類型的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)或其它計(jì)算機(jī)存儲(chǔ)設(shè)備中。一些或所有方法可以可替代地在專用計(jì)算機(jī)硬件中體現(xiàn)。

除非另有具體說明，否則諸如“可以(can)”、“可以(could)”，“可以(may)”或“可以(may)”之類的條件語言在情景中被理解為呈現(xiàn)某些示例包括，而其它示例不包括，某些特征、元件和/或步驟。因此，這樣的條件語言通常不旨在暗示某些特征、元件和/或步驟以任何方式對(duì)于一個(gè)或多個(gè)示例而言是必需的，或者一個(gè)或多個(gè)示例必然包括用于在有或沒有用戶輸入或提示的情況下，某些特征、元件和/或步驟是否包括在或?qū)⒃谌魏翁囟ㄊ纠袌?zhí)行。

除非另有明確說明，諸如短語“X、Y或Z中的至少一個(gè)”的連續(xù)語言要被理解為表示項(xiàng)、術(shù)語等可以是X、Y或Z、或其組合。

本文中所描述的和/或附圖中所描繪的流程圖中的任何例行描述、元素或方框應(yīng)當(dāng)被理解為潛在地表示包括用于實(shí)現(xiàn)例程中的特定邏輯功能或元素的一個(gè)或多個(gè)可執(zhí)行指令的代碼的模塊、區(qū)段或部分。備選實(shí)現(xiàn)方式包括在本文所描述的示例的范圍內(nèi)，其中元件或功能可以被刪除，或者不以所示出或討論的順序被執(zhí)行，包括基本上同步地或以相反的順序執(zhí)行，其取決于本領(lǐng)域技術(shù)人員所理解的所涉及的功能性。

應(yīng)當(dāng)強(qiáng)調(diào)，可以對(duì)上述示例進(jìn)行許多變化和修改，其元素要被理解為在其它可接受的示例中。所有這些修改和變化旨在被包括在本公開的范圍內(nèi)并且由所附權(quán)利要求來進(jìn)行保護(hù)。