聲音處理裝置和方法、以及程序的制作方法
【專利摘要】本技術(shù)涉及一種能夠?qū)崿F(xiàn)自由度更高的音頻再現(xiàn)的音頻處理裝置、用于其的方法、以及用于其的程序。輸入單元接收作為聲源的對(duì)象的聲音的假定收聽(tīng)位置的輸入，并且輸出指示所述假定收聽(tīng)位置的假定收聽(tīng)位置信息。位置信息校正單元基于所述假定收聽(tīng)位置信息來(lái)校正每個(gè)對(duì)象的位置信息，以獲得校正位置信息。增益/頻率特性校正單元基于所述位置信息和所述校正位置信息來(lái)對(duì)對(duì)象的波形信號(hào)進(jìn)行增益校正和頻率特性校正。空間聲學(xué)特性添加單元基于所述對(duì)象的所述位置信息和所述假定收聽(tīng)位置信息來(lái)進(jìn)一步將空間聲學(xué)特性添加至由所述增益校正和所述頻率特性校正產(chǎn)生的波形信號(hào)。本技術(shù)可應(yīng)用于音頻處理裝置。
【專利說(shuō)明】
聲音處理裝置和方法、以及程序
技術(shù)領(lǐng)域 本技術(shù)涉及一種音頻處理裝置、用于其的方法、以及用于其的程序，并且更加具體地， 涉及一種能夠?qū)崿F(xiàn)自由度更高的音頻再現(xiàn)的音頻處理裝置、用于其的方法、以及用于其的 程序。
【背景技術(shù)】 音頻內(nèi)容，諸如，在光盤(pán)(CD)和數(shù)字通用光盤(pán)(DVD)中的音頻內(nèi)容以及通過(guò)網(wǎng)絡(luò)分配的 音頻內(nèi)容，通常由基于信道的音頻組成。 按照內(nèi)容創(chuàng)建者在兩個(gè)信道或者5.1信道（下文也稱為ch)上適當(dāng)?shù)鼗旌隙鄠€(gè)聲音源 (諸如，歌聲和樂(lè)器的聲音）的方式來(lái)獲得基于信道的音頻內(nèi)容。用戶通過(guò)使用2ch或者 5. lch揚(yáng)聲器系統(tǒng)或者通過(guò)使用耳機(jī)來(lái)再現(xiàn)內(nèi)容。 然而，存在無(wú)數(shù)種用戶的揚(yáng)聲器布置等情況，并且可能不一定使由內(nèi)容創(chuàng)建者預(yù)計(jì)的 聲音定位再現(xiàn)。 另外，基于對(duì)象的音頻技術(shù)近年來(lái)正受到關(guān)注。在基于對(duì)象的音頻中，基于對(duì)象的聲音 的波形信號(hào)和元數(shù)據(jù)，來(lái)使為再現(xiàn)系統(tǒng)渲染的信號(hào)再現(xiàn)，該元數(shù)據(jù)表示由對(duì)象相對(duì)于作為 參照的收聽(tīng)點(diǎn)的位置指示的對(duì)象的定位信息?；趯?duì)象的音頻因此具有使聲音定位相對(duì)再 現(xiàn)的特性，如同內(nèi)容創(chuàng)建者所預(yù)計(jì)的一樣。 例如，在基于對(duì)象的音頻中，使用諸如矢量基幅值相移(VBAP)等技術(shù)，從對(duì)象的波形信 號(hào)在與在再現(xiàn)側(cè)的相應(yīng)揚(yáng)聲器相關(guān)聯(lián)的信道上生成再現(xiàn)信號(hào)(例如，參照非專利文件1)。 在VBAP中，目標(biāo)聲音圖像的定位位置由朝在定位位置周?chē)膬蓚€(gè)或者三個(gè)揚(yáng)聲器延伸 的矢量的線性和表示。將在線性和中相應(yīng)矢量所乘的系數(shù)用作待從相應(yīng)揚(yáng)聲器輸出的波形 信號(hào)的增益進(jìn)行增益控制，從而將聲音圖像定位在目標(biāo)位置處。 引用列表 非專利文檔 非專利文件l:Ville Pulkki，"Virtual Sound Source Positioning Using Vector Base Amplitude Panning"，Journal of AES，vol·45，no·6，pp·456-466，1997

【發(fā)明內(nèi)容】
本發(fā)明所要解決的問(wèn)題 然而，在上述基于信道的音頻和基于對(duì)象的音頻兩者中，聲音的定位由內(nèi)容創(chuàng)建者確 定，并且用戶僅僅可以聽(tīng)到所提供內(nèi)容的聲音。例如，在內(nèi)容再現(xiàn)側(cè)，無(wú)法提供按照在收聽(tīng) 點(diǎn)從現(xiàn)場(chǎng)音樂(lè)倶樂(lè)部中的后座移動(dòng)到前座時(shí)聽(tīng)到聲音的方式的再現(xiàn)。 如上所述，利用上述技術(shù)，并不能認(rèn)為可以實(shí)現(xiàn)自由度足夠高的音頻再現(xiàn)。 本技術(shù)鑒于上述情況而被實(shí)現(xiàn)，并且本技術(shù)能夠?qū)崿F(xiàn)自由度增加的音頻再現(xiàn)。 問(wèn)題的解決方案 根據(jù)本技術(shù)的一個(gè)方面的音頻處理裝置包括:位置信息校正單元，該位置信息校正單 元配置為計(jì)算校正位置信息，該校正位置信息指示聲源相對(duì)于聽(tīng)到來(lái)自聲源的聲音的收聽(tīng) 位置的位置，該計(jì)算基于指示聲源的位置的位置信息和指示收聽(tīng)位置的收聽(tīng)位置信息；以 及生成單元，該生成單元配置為基于聲源的波形信號(hào)和校正位置信息來(lái)生成使將在收聽(tīng)位 置處聽(tīng)到的來(lái)自聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。 位置信息校正單元可以配置為基于指示聲源的修改后的位置的修改位置信息和收聽(tīng) 位置信息來(lái)計(jì)算校正位置信息。 音頻處理裝置可以進(jìn)一步設(shè)置有校正單元，該校正單元配置為根據(jù)從收聽(tīng)位置到聲源 的距離來(lái)對(duì)波形信號(hào)進(jìn)行增益校正和頻率特性校正中的至少一個(gè)。 音頻處理裝置可以進(jìn)一步設(shè)置有空間聲學(xué)特性添加單元，該空間聲學(xué)特性添加單元配 置為基于收聽(tīng)位置信息和修改后的位置信息來(lái)將空間聲學(xué)特性添加至波形信號(hào)。 空間聲學(xué)特性添加單元可以配置為將初期反射和混響特性中的至少一個(gè)作為空間聲 學(xué)特性添加至波形信號(hào)。 音頻處理裝置可以進(jìn)一步設(shè)置有空間聲學(xué)特性添加單元，該空間聲學(xué)特性添加單元配 置為基于收聽(tīng)位置信息和位置信息來(lái)將空間聲學(xué)特性添加至波形信號(hào)。 音頻處理裝置可以進(jìn)一步設(shè)置有卷積處理器，該卷積處理器配置為對(duì)由生成單元生成 的在兩個(gè)或者多個(gè)信道上的再現(xiàn)信號(hào)進(jìn)行卷積處理，以生成在兩個(gè)信道上的再現(xiàn)信號(hào)。 根據(jù)本技術(shù)的一個(gè)方面的音頻處理方法或者程序包括以下步驟:計(jì)算校正位置信息， 該校正位置信息指示聲源相對(duì)于聽(tīng)到來(lái)自聲源的聲音的收聽(tīng)位置的位置，該計(jì)算基于指示 聲源的位置的位置信息和指示收聽(tīng)位置的收聽(tīng)位置信息；以及基于聲源的波形信號(hào)和校正 位置信息來(lái)生成使將在收聽(tīng)位置處聽(tīng)到的來(lái)自聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。 在本技術(shù)的一個(gè)方面中，基于指示聲源的位置的位置信息和指示收聽(tīng)位置的收聽(tīng)位置 信息來(lái)計(jì)算校正位置信息，該校正位置信息指示聲源相對(duì)于聽(tīng)到來(lái)自聲源的聲音的收聽(tīng)位 置的位置；以及基于聲源的波形信號(hào)和校正位置信息來(lái)生成使將在收聽(tīng)位置處聽(tīng)到的來(lái)自 聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。 本發(fā)明的效果 根據(jù)本技術(shù)的一個(gè)方面，實(shí)現(xiàn)了自由度增加的音頻再現(xiàn)。 本文所提及的效果并不一定限于此處所提及的效果，而可以是在本公開(kāi)中所提及的任 何效果。
【附圖說(shuō)明】 圖1是圖示了音頻處理裝置的配置的示意圖。 圖2是闡釋了假定收聽(tīng)位置和校正位置信息的圖表。 圖3是示出了在頻率特性校正中的頻率特性的圖表。 圖4是闡釋了 VBAP的示意圖。 圖5是闡釋了再現(xiàn)信號(hào)生成處理的流程圖。 圖6是圖示了音頻處理裝置的配置的示意圖。 圖7是闡釋了再現(xiàn)信號(hào)生成處理的流程圖。 圖8是圖示了計(jì)算機(jī)的示例配置的示意圖。
【具體實(shí)施方式】 下面將參照附圖來(lái)描述應(yīng)用了本技術(shù)的實(shí)施例。 〈第一實(shí)施例〉 〈音頻處理裝置的示例配置〉 本技術(shù)涉及一種用于將來(lái)自聲源對(duì)象的聲音波形信號(hào)在再現(xiàn)側(cè)再現(xiàn)音頻使在某個(gè)收 聽(tīng)位置聽(tīng)到的技術(shù)。 圖1是圖示了根據(jù)應(yīng)用了本技術(shù)的音頻處理裝置的實(shí)施例的示例配置的示意圖。 音頻處理裝置11包括輸入單元21、位置信息校正單元22、增益/頻率特性校正單元23、 空間聲學(xué)特性添加單元24、渲染處理器25、和卷積處理器26。 將多個(gè)對(duì)象的波形信號(hào)和波形信號(hào)的元數(shù)據(jù)作為待再現(xiàn)內(nèi)容的音頻信息提供給音頻 處理裝置11。 要注意的是，對(duì)象的波形信號(hào)指的是用于使作為聲源的對(duì)象所發(fā)出的聲音再現(xiàn)的音頻 信號(hào)。 另外，對(duì)象的波形信號(hào)的元數(shù)據(jù)指的是對(duì)象的位置，即，指示對(duì)象的聲音的定位位置的 位置信息。位置信息是指示對(duì)象相對(duì)于標(biāo)準(zhǔn)收聽(tīng)位置的位置信息，該標(biāo)準(zhǔn)收聽(tīng)位置是預(yù)定 參照點(diǎn)。 例如，物體的位置信息可以由球面坐標(biāo)(即，關(guān)于在中心處于標(biāo)準(zhǔn)收聽(tīng)位置的球形表面 上的位置的方位角、俯仰角和半徑)表示，或者可以由原點(diǎn)在標(biāo)準(zhǔn)收聽(tīng)位置處的正交坐標(biāo)系 的坐標(biāo)表示。 下面將描述使用球面坐標(biāo)表示相應(yīng)對(duì)象位置信息的示例。具體地，第η個(gè)(其中，n=l、 2、3、...）對(duì)象(^"的位置信息由關(guān)于在中心處于標(biāo)準(zhǔn)收聽(tīng)位置的球形表面上的對(duì)象0Bn的方 位角A n、俯仰角En、和半徑心表示。要注意的是，例如，方位角六"和俯仰角En的單位是度，并且， 例如，半徑R n的單位是米。 在下文中，對(duì)象〇Bn的位置信息也將由（An，En，Rn)表示。另外，第η個(gè)對(duì)象(^"的波形信 號(hào)也將由波形信號(hào)Wn[t]表示。 由此，例如，第一個(gè)對(duì)象OBi的波形信號(hào)和位置將分別由Mt]和(Ai AD表示，并且 第二個(gè)對(duì)象〇B2的波形信號(hào)和位置信息將分別由W2[t]和(A2，E 2，R2)表示。在下文中，為了方 便闡釋，在假設(shè)將對(duì)象OBi和對(duì)象0B2這兩個(gè)對(duì)象的波形信號(hào)和位置信息提供給音頻處理裝 置11的情況下，繼續(xù)進(jìn)行描述。 輸入單元21由鼠標(biāo)、按鈕、觸控面板等構(gòu)成，并且在由用戶操作時(shí)，輸出與操作相關(guān)聯(lián) 的信號(hào)。例如，輸入單元21接收用戶輸入的假定收聽(tīng)位置，并且將指示用戶輸入的假定收聽(tīng) 位置的假定收聽(tīng)位置信息提供給位置信息校正單元22和空間聲學(xué)特性添加單元24。 要注意的是，假定收聽(tīng)位置是構(gòu)成在待再現(xiàn)的虛擬聲場(chǎng)中的內(nèi)容的聲音的收聽(tīng)位置。 因此，假定聽(tīng)音位置，可以說(shuō)是表示距離修改(校正)所得的預(yù)定標(biāo)準(zhǔn)收聽(tīng)位置的位置。 位置信息校正單元22基于由輸入單元21提供的假定收聽(tīng)位置信息來(lái)校正相應(yīng)對(duì)象的 外部提供的位置信息，并且將產(chǎn)生的校正位置信息提供給增益/頻率特性校正單元23和渲 染處理器25。校正位置信息是指示對(duì)象相對(duì)于假定收聽(tīng)位置（即，對(duì)象的聲音定位位置）的 位置的信息。 增益/頻率特性校正單元23基于由位置信息校正單元22提供的校正位置信息和外部提 供的位置信息，來(lái)進(jìn)行對(duì)象的外部提供的波形信號(hào)的增益校正和頻率特性校正，并且將產(chǎn) 生的波形信號(hào)提供給空間聲學(xué)特性添加單元24。 空間聲學(xué)特性添加單元24基于由輸入單元21提供的假定收聽(tīng)位置信息和對(duì)象的外部 提供的位置信息，來(lái)將空間聲學(xué)特性添加至由增益/頻率特性校正單元23提供的波形信號(hào)， 并且將產(chǎn)生的波形信號(hào)提供給渲染處理器25。 渲染處理器25基于由位置信息校正單元22提供的校正位置信息，來(lái)對(duì)由空間聲學(xué)特性 添加單元24提供的波形信號(hào)進(jìn)行映射，以生成在Μ個(gè)信道上的再現(xiàn)信號(hào)，Μ是2或者更多。由 此，在Μ個(gè)信道上的再現(xiàn)信號(hào)是通過(guò)相應(yīng)對(duì)象的波形信號(hào)而生成。渲染處理器25將在Μ個(gè)信 道上的生成的再現(xiàn)信號(hào)提供給卷積處理器26。 由此獲得的在Μ個(gè)信道上的再現(xiàn)信號(hào)是用于使從相應(yīng)對(duì)象輸出的聲音再現(xiàn)的音頻信 號(hào)，該音頻信號(hào)待由Μ個(gè)虛擬揚(yáng)聲器(Μ個(gè)信道的揚(yáng)聲器)再現(xiàn)并且在待再現(xiàn)的虛擬聲場(chǎng)中的 假定收聽(tīng)位置處被聽(tīng)到。 卷積處理器26對(duì)由渲染處理器25提供的在Μ個(gè)信道上的再現(xiàn)信號(hào)進(jìn)行卷積處理，以生 成2個(gè)信道的再現(xiàn)信號(hào)，并且輸出生成的再現(xiàn)信號(hào)。具體地，在該示例中，在再現(xiàn)側(cè)的揚(yáng)聲器 的數(shù)量是兩個(gè)，并且卷積處理器26生成并且輸出待由揚(yáng)聲器再現(xiàn)的再現(xiàn)信號(hào)。 〈再現(xiàn)信號(hào)的生成〉 接下來(lái)，將更加詳細(xì)地描述由在圖1中示出的音頻處理裝置11生成的再現(xiàn)信號(hào)。 如上面所提及的，此處將詳細(xì)描述將對(duì)象OB:和對(duì)象0Β2這兩個(gè)對(duì)象的波形信號(hào)和位置 信息提供給音頻處理裝置11的示例。 為了使內(nèi)容再現(xiàn)，用戶操作輸入單元21來(lái)輸入假定收聽(tīng)位置，該假定收聽(tīng)位置是針對(duì) 來(lái)自在渲染中的相應(yīng)對(duì)象的聲音定位的參照點(diǎn)。 在本文中，輸入從標(biāo)準(zhǔn)收聽(tīng)位置在左右方向上的移動(dòng)距離X和在前后方向上的移動(dòng)距 離Y作為假定收聽(tīng)位置，并且假定收聽(tīng)位置由(X，Y)表示。例如，移動(dòng)距離X和移動(dòng)距離Y的單 元是米。 具體地，在原點(diǎn)處于標(biāo)準(zhǔn)收聽(tīng)位置的xyz坐標(biāo)系中，在水平方向上的X軸方向和y軸方 向、在高度方向上的z軸方向、從標(biāo)準(zhǔn)收聽(tīng)位置到假定收聽(tīng)位置的在X軸方向上的距離X、以 及從標(biāo)準(zhǔn)收聽(tīng)位置到假定收聽(tīng)位置的在y軸方向上的距離Y由用戶輸入。由此，指示相對(duì)于 標(biāo)準(zhǔn)收聽(tīng)位置的由輸入距離X和Y表示的位置的信息是假定收聽(tīng)位置信息(X，Y)。要注意的 是，xyz坐標(biāo)系是正交坐標(biāo)系。 雖然為了方便闡釋，在本文中描述了假定收聽(tīng)位置在xy平面上的示例，但是可選擇地 允許用戶指定在假定收聽(tīng)位置的z軸方向上的高度。在這種情況下，從標(biāo)準(zhǔn)收聽(tīng)位置到假定 收聽(tīng)位置的在X軸方向上的距離X、在y軸方向上的距離Y、以及在z軸方向上的距離Z由用戶 指定，這些距離構(gòu)成了假定收聽(tīng)位置信息(X，Y，Z)。此外，雖然上面闡釋了假定收聽(tīng)位置由 用戶輸入，但是假定收聽(tīng)位置信息可以從外部獲取或者可以由用戶預(yù)設(shè)等。 當(dāng)假定收聽(tīng)位置信息(Χ，Υ)由此獲得時(shí)，位置信息校正單元22然后基于假定收聽(tīng)位置 來(lái)計(jì)算指示相應(yīng)對(duì)象位置的校正位置信息。 如圖2所示，例如，假設(shè)提供了預(yù)定對(duì)象0Β11的波形信號(hào)和位置信息，并且假定收聽(tīng)位 置LP11由用戶指定。在圖2中，橫向方向、深度方向和垂直方向分別表示X軸方向、y軸方向和 Z軸方向。 在該示例中，xyz坐標(biāo)系的原點(diǎn)0是標(biāo)準(zhǔn)收聽(tīng)位置。此處，當(dāng)對(duì)象0B11是第η個(gè)對(duì)象時(shí)，指 示相對(duì)于標(biāo)準(zhǔn)收聽(tīng)位置的對(duì)象0Β11位置的位置信息是(An，En，Rn)
[0052]具體地，位置信息(An，En，Rn)的方位角A#示在連接原點(diǎn)0和對(duì)象0B11的線與y軸 之間在xy平面上的角度。位置信息(An，En，Rn)的俯仰角E n表示在連接原點(diǎn)0和對(duì)象OB 11的線 與xy平面之間的角度，并且位置信息(An，En，Rn)的半徑R n表示從原點(diǎn)0到對(duì)象0B11的距離。 現(xiàn)在假設(shè)從原點(diǎn)〇到假定收聽(tīng)位置LP11的在X軸方向上的距離X和在y軸方向上的距離Y 作為指示假定收聽(tīng)位置LP11的假定收聽(tīng)位置信息而輸入。 在這種情況下，位置信息校正單元22計(jì)算校正位置信息(Α/ ,Ε/ )，該校正位置信 息(A，，Εγ/，1^ )指示對(duì)象0B11相對(duì)于假定收聽(tīng)位置LP11的位置，即，基于假定收聽(tīng)位置 LP11的對(duì)象OB 11的位置以假定收聽(tīng)位置信息(X，Y)和位置信息(An，En，Rn)為基礎(chǔ)。 要注意的是，在校正位置信息(Ar/ ,Ε/，?ν )中的A/ 、和1^分別表示與位置信息 (An，En，Rn)的An、En、心對(duì)應(yīng)的方位角、俯仰角和半徑。 具體地，針對(duì)第一對(duì)象OBi，位置信息校正單元22基于對(duì)象OBi的位置信息(Ah El RJ和 假定收聽(tīng)位置信息(X，Y)來(lái)計(jì)算以下表達(dá)式(1)至(3)，以獲得校正位置信息(A/ 「數(shù)學(xué)公式1?
" 3.). 具體地，通過(guò)表達(dá)式（1)獲得方位角Α/，通過(guò)表達(dá)式(2)獲得俯仰角Ε/，并且通過(guò)表達(dá) 式(3)獲得半徑!?/。
具體地，針對(duì)第二對(duì)象〇Β2,位置信息校正單元22基于對(duì)象0Β2的位置信息(A2，E 2，R2WP 假定收聽(tīng)位置信息(X，Y)來(lái)計(jì)算以下表達(dá)式(4)至(6)，以獲得校正位置信息(A/，E/，R/ )。 [數(shù)學(xué)公忒4?
[數(shù)學(xué)公式5] …(4)
4 " (6..). 具體地，通過(guò)表達(dá)式(4)獲得方位角A/，通過(guò)表達(dá)式(5)獲得俯仰角E/，并且通過(guò)表達(dá) 式(6)獲得半徑R/。 隨后，增益/頻率特性校正單元23基于指示相應(yīng)對(duì)象相對(duì)于假定收聽(tīng)位置的位置的校 正位置信息和指示相應(yīng)對(duì)象相對(duì)于標(biāo)準(zhǔn)收聽(tīng)位置的位置的位置信息，來(lái)對(duì)對(duì)象的波形信號(hào) 進(jìn)行增益校正和頻率特性校正。 例如，增益/頻率特性校正單元23通過(guò)使用校正位置信息的半徑!?/和半徑R/以及位 置信息的半徑Ri和半徑R2，來(lái)為對(duì)象0B!和對(duì)象0B2計(jì)算以下表達(dá)式(7)和(8)，以確定相應(yīng)對(duì) 象的增益校正量Gi和增益校正量G2。
[數(shù)學(xué)公式7]
[數(shù)學(xué)公式8] 具體地，通過(guò)表達(dá)式(7)獲得對(duì)象OBi的波形信號(hào)Wjt]的增益校正量&，并且通過(guò)表達(dá) 式(8)獲得對(duì)象0B2的波形信號(hào)W2[t]的增益校正量G2。在該示例中，校正位置信息所指示的 半徑與位置信息所指示的半徑之比是增益校正量，并且通過(guò)使用增益校正量來(lái)進(jìn)行根據(jù)從 對(duì)象到假定收聽(tīng)位置的距離的音量校正。 增益/頻率特性校正單元23進(jìn)一步計(jì)算以下表達(dá)式(9)至（10)，以對(duì)相應(yīng)對(duì)象的波形信 號(hào)進(jìn)行根據(jù)校正位置信息所指示的半徑的頻率特性校正和根據(jù)增益校正量的增益校正。
[數(shù)學(xué)公式9]
具體地，通過(guò)表達(dá)式(9)的計(jì)算來(lái)對(duì)對(duì)象OBi的波形信號(hào)Wjt]進(jìn)行頻率特性校正和增 益校正，從而獲得波形信號(hào)W/[t]。同樣地，通過(guò)表達(dá)式(10)的計(jì)算來(lái)對(duì)對(duì)象0B2的波形信號(hào) W2[t]進(jìn)行頻率特性校正和增益校正，從而獲得波形信號(hào)w/tt]。在該示例中，通過(guò)濾波來(lái)進(jìn) 行波形信號(hào)的頻率特性的校正。 在表達(dá)式(9)和（10)中，hi(其中，1 = 0、1.....L)表示每次與波形信號(hào)Wn[t-1]相乘以 進(jìn)行濾波的系數(shù)。 當(dāng)L = 2并且系數(shù)h〇、hdPh2由以下表達(dá)式（11)至（13)表示時(shí)，例如，依賴從對(duì)象到假定 聽(tīng)音位置的距離而被再現(xiàn)的來(lái)自對(duì)象的聲音的高頻分量被虛擬聲場(chǎng)(虛擬音頻再現(xiàn)空間） 的墻壁和天花板衰減的特性可以被再現(xiàn)。
[數(shù)學(xué)公式11] h〇=(l.〇-hi)/2……(11)
[數(shù)學(xué)公式12]
...{ i 2)
[數(shù)學(xué)公式13] h2 = (1.0-hi)/2……(13) 在表達(dá)式（12)中，Rn表示由對(duì)象OBn(其中，n=l、2)的位置信息(An，En，R n)指示的半徑 Rn，并且Rr/表示由對(duì)象〇Bn(其中，n = l、2)的校正位置信息(A/，Er/，R/ )指示的半徑R/。 按照這種方式，由于通過(guò)使用表達(dá)式（11)至（13)表示的系數(shù)計(jì)算得到表達(dá)式（9)和 (10)，進(jìn)行在圖3中示出的頻率特性的濾波。在圖3中，水平軸表示歸一化頻率，并且垂直軸 表示振幅，即，波形信號(hào)的衰減量。 在圖3中，線C11示出了頻率特性，其中，吖<Rn。在這種情況下，從對(duì)象到假定收聽(tīng)位 置的距離等于或者小于從對(duì)象到標(biāo)準(zhǔn)收聽(tīng)位置的距離。具體地，假定收聽(tīng)位置處于比標(biāo)準(zhǔn) 收聽(tīng)位置更接近對(duì)象的位置，或者標(biāo)準(zhǔn)收聽(tīng)位置和假定收聽(tīng)位置與對(duì)象的距離相同。在這 種情況下，由此不會(huì)使波形信號(hào)的頻率分量特別衰減。 曲線C12示出了頻率特性，其中，吖=1+5。在這種情況下，由于假定收聽(tīng)位置比標(biāo)準(zhǔn) 收聽(tīng)位置距離對(duì)象稍微遠(yuǎn)一些，所以波形信號(hào)的高頻分量略微衰減。 曲線C13示出了頻率特性，其中，R/ 2 Rn+10。在這種情況下，由于假定收聽(tīng)位置比標(biāo)準(zhǔn) 收聽(tīng)位置距離對(duì)象遠(yuǎn)很多，波形信號(hào)的高頻分量大大衰減。 由于根據(jù)從對(duì)象到假定收聽(tīng)位置的距離進(jìn)行了增益校正和頻率特性校正并且使上面 所描述的對(duì)象的波形信號(hào)的高頻分量衰減，所以可以再現(xiàn)因?yàn)橛脩舻氖章?tīng)位置的變化而產(chǎn) 生的頻率特性和音量的變化。 在通過(guò)增益/頻率特性校正單元23進(jìn)行的增益校正和頻率特性校正并且由此獲得相應(yīng) 對(duì)象的波形信號(hào)W/[t]之后，通過(guò)空間聲學(xué)特性添加單元24將空間聲學(xué)特性添加至波形信 號(hào)W/[t]。例如，將初期反射、混響特性等作為空間聲學(xué)特性添加至波形信號(hào)。 具體地，為了將初期反射和混響特性添加至波形信號(hào)，將多點(diǎn)式延遲處理、梳狀濾波處 理和全通濾波處理結(jié)合起來(lái)以實(shí)現(xiàn)初期反射和混響特性的添加。 具體地，空間聲學(xué)特性添加單元24基于通過(guò)對(duì)象的位置信息和假定收聽(tīng)位置信息而確 定的延遲量和增益量，來(lái)對(duì)每個(gè)波形信號(hào)進(jìn)行多點(diǎn)式延遲處理，并且將產(chǎn)生的信號(hào)添加至 初始波形信號(hào)，以將初期反射添加至波形信號(hào)。 另外，空間聲學(xué)特性添加單元24基于通過(guò)對(duì)象的位置信息和假定收聽(tīng)位置信息而確定 的延遲量和增益量，來(lái)對(duì)波形信號(hào)進(jìn)行梳狀濾波處理?？臻g聲學(xué)特性添加單元24基于通過(guò) 對(duì)象的位置信息和假定收聽(tīng)位置信息而確定的延遲量和增益量，來(lái)對(duì)由于梳狀濾波處理所 產(chǎn)生的波形信號(hào)進(jìn)行全通濾波處理，以獲得用于添加混響特性的信號(hào)。 最后，空間聲學(xué)特性添加單元24添加由于初期反射的添加所產(chǎn)生的波形信號(hào)以及用于 添加混響特性的信號(hào)，以獲得具有添加有初期反射和混響特性的波形信號(hào)，并且將獲得的 波形信號(hào)輸出至植染處理器25。 通過(guò)使用根據(jù)上述的每個(gè)對(duì)象的位置信息和假定收聽(tīng)位置信息而確定的參數(shù)將空間 聲學(xué)特性添加至波形信號(hào)以允許對(duì)由于用戶的收聽(tīng)位置的變化而產(chǎn)生的空間聲學(xué)變化進(jìn) 行再現(xiàn)。 針對(duì)對(duì)象的位置信息和假定收聽(tīng)位置信息的每個(gè)組合，可以將參數(shù)(諸如，用在多點(diǎn)式 延遲處理、梳狀濾波處理、全通濾波處理等中的延遲量和增益量)預(yù)先保存在表格中。 例如，在這種情況下，空間聲學(xué)特性添加單元24預(yù)先保存在表格中，在該表格中，將由 位置信息指示的每個(gè)位置與一組參數(shù)(諸如，針對(duì)每個(gè)假定收聽(tīng)位置的延遲量)相關(guān)聯(lián)?？?間聲學(xué)特性添加單元24然后從表格讀出由對(duì)象的位置信息和假定收聽(tīng)位置信息確定的一 組參數(shù)，并且使用參數(shù)來(lái)將空間聲學(xué)特性添加至波形信號(hào)。 要注意的是，可以按照表格的形式來(lái)保存用于添加空間聲學(xué)特性的該組參數(shù)或者可以 按照函數(shù)等的形式來(lái)保存該組參數(shù)。在使用函數(shù)來(lái)獲得參數(shù)的情況下，例如，空間聲學(xué)特性 添加單元24將位置信息和假定收聽(tīng)位置信息帶入預(yù)先保存的函數(shù)中，以計(jì)算待用于添加空 間聲學(xué)特性的參數(shù)。 在為上述相應(yīng)對(duì)象獲得添加有空間聲學(xué)特性的波形信號(hào)之后，渲染處理器25進(jìn)行波形 信號(hào)至Μ個(gè)相應(yīng)信道的映射，以生成在Μ個(gè)信道上的再現(xiàn)信號(hào)。換言之，進(jìn)行渲染。 具體地，例如，渲染處理器25基于校正位置信息通過(guò)VBAP獲得在Μ個(gè)信道中的每一個(gè)上 的每個(gè)對(duì)象的波形信號(hào)的增益量。渲染處理器25然后進(jìn)行針對(duì)每個(gè)信道添加與VBAP所獲得 的增益量相乘的每個(gè)對(duì)象的波形信號(hào)的處理，以生成相應(yīng)信道的再現(xiàn)信號(hào)。 此處，將參照?qǐng)D4來(lái)描述VBAP。 如圖4所示，例如，假設(shè)用戶Ul 1聽(tīng)到從三個(gè)揚(yáng)聲器SP1至SP3輸出的在三個(gè)信道上的音 頻。在該示例中，用戶U11的頭部的位置是與假定收聽(tīng)位置對(duì)應(yīng)的位置LP21。 在由揚(yáng)聲器SP1至SP3圍繞的球形表面上的三角形TR11稱為網(wǎng)格，并且VBAP允許將聲音 圖像定位在網(wǎng)格內(nèi)的某個(gè)位置處。 現(xiàn)在假設(shè)，使用指示在相應(yīng)信道上輸出音頻的三個(gè)揚(yáng)聲器SP1至SP3的位置的信息來(lái)將 聲音圖像定位在聲音圖像位置VSP1處。要注意的是，聲音圖像位置VSP1與對(duì)象(》"的位置對(duì) 應(yīng)，更具體地，與校正位置信息(Α/ ,Ε/，R/ )所指示的對(duì)象(^的位置對(duì)應(yīng)。 例如，在原點(diǎn)處于用戶U11的頭部的位置（即，位置LP21)的三維坐標(biāo)系中，通過(guò)使用從 位置LP21 (原點(diǎn))開(kāi)始的三維矢量p來(lái)表示聲音圖像位置VSP1。 另外，當(dāng)從位置LP21(原點(diǎn))開(kāi)始并且朝相應(yīng)揚(yáng)聲器SP1至SP3的位置延伸的三維矢量由 矢量^至^表示時(shí)，矢量P可以由以下表達(dá)式（14)所表示的矢量^至^的線性和表示。
[數(shù)學(xué)公式14] P = glll+g2l2+g3l3......(14) 計(jì)算在表達(dá)式（14)中與矢量1!至13相乘的系數(shù)81至抑，并且將該系數(shù)81至抑分別設(shè)置為 待從揚(yáng)聲器SP1至SP3輸出的音頻的增益量，即，波形信號(hào)的增益量，這允許將聲音圖像定位 在聲音圖像位置VSP1處。 具體地，基于由三個(gè)揚(yáng)聲器SP1至SP3構(gòu)成的三角形網(wǎng)格的逆矩陣Lii1和指示對(duì)象0Bn 的位置的矢量P，通過(guò)計(jì)算以下表達(dá)式(15)來(lái)獲得作為增益量的系數(shù)gl至系數(shù)g3。
[數(shù)學(xué)公式15]
在表達(dá)式（15)中，作為矢量P的元素的Rr/ sinAr/ cosE/、Rr/ COsAr/ cosE/、和Rr/ sinE/ 表示聲音圖像位置VSP1，即，分別是在指示對(duì)象(^"的位置的Y y坐標(biāo)系上的Y坐標(biāo)、y' 坐標(biāo)、和Z'坐標(biāo)。 例如，X、、'坐標(biāo)系是正交坐標(biāo)系，該正交坐標(biāo)系具有分別與在圖2中示出的并且原點(diǎn) 在與假定收聽(tīng)位置對(duì)應(yīng)的位置處的xyz坐標(biāo)系的X軸、y軸、和z軸平行的X'軸、y'軸、和z'軸。 可以通過(guò)指示對(duì)象(^"的位置的校正位置信息(A/，E/，R/ )來(lái)獲得矢量p的元素。 此外，在表達(dá)式（15)中的111、ll2和ll3分別是通過(guò)將朝網(wǎng)格的第一揚(yáng)聲器的矢量ll分解 為Y軸、y'軸、和z'軸的分量而獲得的Y分量、/分量、和z'分量的值，并且與第一揚(yáng)聲器的 X'坐標(biāo)、；/坐標(biāo)、和Z'坐標(biāo)對(duì)應(yīng)。 同樣地，121、122、和123分別是通過(guò)將朝網(wǎng)格的第二揚(yáng)聲器的矢量12分解為X'軸、；/軸、 和z/軸的分量而獲得的X'分量、：/分量、和Z'分量的值。此外，131、132、和133分別是通過(guò)將朝 網(wǎng)格的第三揚(yáng)聲器的矢量b分解為X'軸、；/軸、和Z'軸的分量而獲得的X'分量、；/分量、和 Z'分量的值。 按照控制聲音圖像的定位位置的方式，通過(guò)使用三個(gè)揚(yáng)聲器SP1至SP3的相對(duì)位置來(lái)獲 得系數(shù)81至&的技術(shù)具體稱為三維VBAP。在這種情況下，再現(xiàn)信號(hào)的信道的數(shù)量Μ是三個(gè)或 者更多。 由于在Μ個(gè)信道上的再現(xiàn)信號(hào)由渲染處理器25生成，所以與相應(yīng)信道相關(guān)聯(lián)的虛擬揚(yáng) 聲器的數(shù)量是Μ個(gè)。在這種情況下，針對(duì)每個(gè)對(duì)象0Βη，為分別與Μ個(gè)揚(yáng)聲器相關(guān)聯(lián)的Μ個(gè)信道 中的每一個(gè)計(jì)算波形信號(hào)的增益量。 在該示例中，將每一個(gè)都是由Μ個(gè)虛擬揚(yáng)聲器構(gòu)成的多個(gè)網(wǎng)格放置在虛擬音頻再現(xiàn)空 間中。與構(gòu)成包括有對(duì)象〇Βη的網(wǎng)格的三個(gè)揚(yáng)聲器相關(guān)聯(lián)的三個(gè)信道的增益量是通過(guò)前述 表達(dá)式(15)而獲得的值。相反，與M-3個(gè)剩余的揚(yáng)聲器相關(guān)聯(lián)的M-3個(gè)信道的增益量是0。 在如上面所描述的生成在Μ個(gè)信道上的再現(xiàn)信號(hào)之后，渲染處理器25將產(chǎn)生的再現(xiàn)信 號(hào)提供給卷積處理器26。 利用以這種方式獲得的在Μ個(gè)信道上的再現(xiàn)信號(hào)，可以按照更為實(shí)際的方式，使在期望 假定收聽(tīng)位置處聽(tīng)到來(lái)自對(duì)象的聲音的方式再現(xiàn)。盡管在本文中描述了通過(guò)VBAP生成在Μ 個(gè)信道上的再現(xiàn)信號(hào)的示例，但是也可以通過(guò)其它任何技術(shù)來(lái)生成在Μ個(gè)信道上的再現(xiàn)信 號(hào)。 在Μ個(gè)信道上的再現(xiàn)信號(hào)是用于通過(guò)Μ信道揚(yáng)聲器系統(tǒng)使聲音再現(xiàn)的信號(hào)，并且音頻處 理裝置11進(jìn)一步將在Μ個(gè)信道上的再現(xiàn)信號(hào)轉(zhuǎn)換為在兩個(gè)信道上的再現(xiàn)信號(hào)并且輸出產(chǎn)生 的再現(xiàn)信號(hào)。換言之，將在Μ個(gè)信道上的再現(xiàn)信號(hào)縮混為在兩個(gè)信道上的再現(xiàn)信號(hào)。 例如，卷積處理器26對(duì)由渲染處理器25提供的在Μ個(gè)信道上的再現(xiàn)信號(hào)進(jìn)行作為卷積 處理的BRIR(雙耳室內(nèi)脈沖響應(yīng))處理以生成在兩個(gè)信道上的再現(xiàn)信號(hào)，并且輸出產(chǎn)生的再 現(xiàn)信號(hào)。 要注意的是，對(duì)再現(xiàn)信號(hào)進(jìn)行的卷積處理并不限于BRIR處理，而是可以是能夠獲得在 兩個(gè)信道上的再現(xiàn)信號(hào)的任何處理。 當(dāng)將在兩個(gè)信道上的再現(xiàn)信號(hào)輸出至耳機(jī)時(shí)，可以預(yù)先提供保存了從各個(gè)對(duì)象位置到 假定收聽(tīng)位置的脈沖響應(yīng)的表格。在這種情況下，使用與假定收聽(tīng)位置到對(duì)象的位置相關(guān) 聯(lián)的脈沖響應(yīng)來(lái)通過(guò)BRIR處理將相應(yīng)對(duì)象的波形信號(hào)結(jié)合，這允許再現(xiàn)在期望假定收聽(tīng)位 置處聽(tīng)到從相應(yīng)對(duì)象輸出的聲音的方式。 然而，對(duì)于該方法，必須保存與大量點(diǎn)(位置)相關(guān)聯(lián)的脈沖響應(yīng)。此外，當(dāng)對(duì)象的數(shù)量 較大時(shí)，必須進(jìn)行對(duì)應(yīng)于對(duì)象數(shù)量的多次BRIR處理，這增加了處理負(fù)荷。 由此，在音頻處理裝置11中，通過(guò)使用來(lái)自Μ個(gè)虛擬信道的對(duì)用戶（聽(tīng)眾)的耳朵的脈沖 響應(yīng)，通過(guò)BRIR處理將由渲染處理器25映射至Μ個(gè)虛擬信道的揚(yáng)聲器的再現(xiàn)信號(hào)（波形信 號(hào))縮混為在兩個(gè)信道上的再現(xiàn)信號(hào)。在這種情況下，僅僅需要保存對(duì)聽(tīng)眾的耳朵的來(lái)自Μ 個(gè)信道的相應(yīng)揚(yáng)聲器的脈沖響應(yīng)，并且甚至當(dāng)存在大量對(duì)象時(shí)，BRIR處理的次數(shù)也只針對(duì)Μ 個(gè)信道，這減少了處理負(fù)荷。 〈再現(xiàn)信號(hào)生成過(guò)程的闡釋〉 隨后，將闡釋上述音頻處理裝置11的處理流程。具體地，將參照?qǐng)D5的流程圖來(lái)闡釋音 頻處理裝置11所進(jìn)行的再現(xiàn)信號(hào)生成過(guò)程。 在步驟S11中，輸入單元21接收假定收聽(tīng)位置的輸入。當(dāng)用戶已經(jīng)操作輸入單元21輸入 假定收聽(tīng)位置時(shí)，輸入單元21將指示假定收聽(tīng)位置的假定收聽(tīng)位置信息提供給位置信息校 正單元22和空間聲學(xué)特性添加單元24。 在步驟S12中，位置信息校正單元22基于由輸入單元21提供的假定收聽(tīng)位置信息和相 應(yīng)對(duì)象的外部提供的位置信息來(lái)計(jì)算校正位置信息(A/，E/，R/ )，并且將產(chǎn)生的校正位置 信息提供給增益/頻率特性校正單元23和渲染處理器25。例如，計(jì)算上述表達(dá)式（1)至(3)或 者(4)至(6)，從而獲得相應(yīng)對(duì)象的校正位置信息。 在步驟S13中，增益/頻率特性校正單元23基于由位置信息校正單元22提供的校正位置 信息和外部提供的位置信息，來(lái)進(jìn)行對(duì)象的外部提供的波形信號(hào)的增益校正和頻率特性校 正。 例如，計(jì)算上述表達(dá)式(9)和（10)，從而獲得相應(yīng)對(duì)象的波形信號(hào)^幻。增益/頻率特 性校正單元23將獲得的相應(yīng)對(duì)象的波形信號(hào)W/[t]提供給空間聲學(xué)特性添加單元24。 在步驟S14中，空間聲學(xué)特性添加單元24基于由輸入單元21提供的假定收聽(tīng)位置信息 和對(duì)象的外部提供的位置信息，來(lái)將空間聲學(xué)特性添加至由增益/頻率特性校正單元23提 供的波形信號(hào)，并且將產(chǎn)生的波形信號(hào)提供給渲染處理器25。例如，將初期反射、混響特性 等作為空間聲學(xué)特性添加至波形信號(hào)。 在步驟S15中，渲染處理器25基于由位置信息校正單元22提供的校正位置信息來(lái)對(duì)由 空間聲學(xué)特性添加單元24提供的波形信號(hào)進(jìn)行映射，以生成在Μ個(gè)信道上的再現(xiàn)信號(hào)，并且 將生成的再現(xiàn)信號(hào)提供給卷積處理器26。例如，盡管在步驟S15的過(guò)程中通過(guò)VBAP生成了再 現(xiàn)信號(hào)，但是可以通過(guò)其它任何技術(shù)來(lái)生成在Μ個(gè)信道上的再現(xiàn)信號(hào)。 在步驟S16中，卷積處理器26對(duì)由渲染處理器25提供的在Μ個(gè)信道上的再現(xiàn)信號(hào)進(jìn)行卷 積處理，以生成在2個(gè)信道上的再現(xiàn)信號(hào)，并且輸出生成的再現(xiàn)信號(hào)。例如，進(jìn)行上述BRIR處 理，作為卷積處理。 當(dāng)在兩個(gè)信道上的再現(xiàn)信號(hào)被生成并且輸出時(shí)，終止再現(xiàn)信號(hào)生成過(guò)程。 如上面所描述的，音頻處理裝置11基于假定收聽(tīng)位置信息來(lái)計(jì)算校正位置信息，并且 基于獲得的校正位置信息和假定收聽(tīng)位置信息來(lái)進(jìn)行相應(yīng)對(duì)象的波形信號(hào)的頻率特性校 正和添加空間聲學(xué)特性校正。 結(jié)果，可以按照實(shí)際的方式來(lái)再現(xiàn)在任何假定收聽(tīng)位置聽(tīng)到從相應(yīng)對(duì)象位置輸出的聲 音的方式。這允許用戶在內(nèi)容的再現(xiàn)中根據(jù)用戶的喜好來(lái)自由地指定聲音收聽(tīng)位置，這實(shí) 現(xiàn)了自由度更高的音頻再現(xiàn)。 〈第二實(shí)施例〉 〈音頻處理裝置的示例配置〉 盡管上面已經(jīng)闡釋了用戶可以指定任何假定收聽(tīng)位置的示例，但是不僅可以將收聽(tīng)位 置改變(修改)為任何位置，還可以將相應(yīng)對(duì)象的位置改變(修改)為任何位置。 在這種情況下，例如，音頻處理裝置11如圖6所示配置。在圖6中，與在圖1中的部分對(duì)應(yīng) 的部分由相同的附圖標(biāo)記標(biāo)明，并且視情況，將不重復(fù)對(duì)其的說(shuō)明。 在圖6中所示的音頻處理裝置11包括輸入單元21、位置信息校正單元22、增益/頻率特 性校正單元23、空間聲學(xué)特性添加單元24、渲染處理器25、和卷積處理器26，類似于圖1中的 音頻處理裝置。 然而，利用在圖6中示出的音頻處理裝置11，輸入單元21由用戶操作，并且除了假定收 聽(tīng)位置之外，也輸入指示由于修改(變化)產(chǎn)生的相應(yīng)對(duì)象的位置的修改位置。輸入單元21 將由用戶輸入的指示每個(gè)對(duì)象的修改位置的修改位置信息提供給位置信息校正單元22和 空間聲學(xué)特性添加單元24。 例如，修改位置信息是相對(duì)于標(biāo)準(zhǔn)收聽(tīng)位置而修改的包括對(duì)象OBn的方位角An、俯仰角 En、和半徑匕的信息，類似于位置信息。要注意的是，修改位置信息可以是指示對(duì)象的相對(duì)于 對(duì)象在修改(改變)前的位置的修改(改變)位置的信息。 位置信息校正單元22也基于由輸入單元21提供的假定收聽(tīng)位置信息和修改位置信息 來(lái)計(jì)算校正位置信息，并且將產(chǎn)生的校正位置信息提供給增益/頻率特性校正單元23和渲 染處理器25。例如，在修改位置信息是指示相對(duì)于初始對(duì)象位置的位置信息的情況下，基于 假定收聽(tīng)位置信息、位置信息、和修改位置信息來(lái)計(jì)算校正位置信息。 空間聲學(xué)特性添加單元24基于由輸入單元21提供的假定收聽(tīng)位置信息和修改位置信 息，來(lái)將空間聲學(xué)特性添加至由增益/頻率特性校正單元23提供的波形信號(hào)，并且將產(chǎn)生的 波形信號(hào)提供至渲染處理器25。 例如，上面已經(jīng)描述了在圖1中示出的音頻處理裝置11的空間聲學(xué)特性添加單元24預(yù) 先保存在表格中，在該表格中，將由位置信息指示的每個(gè)位置與針對(duì)每條假定收聽(tīng)位置信 息的一組參數(shù)相關(guān)聯(lián)。 相反，在圖6中所示的音頻處理裝置11的空間聲學(xué)特性添加單元24預(yù)先保存在表格中， 在該表格中，將由修改位置信息指示的每個(gè)位置與針對(duì)每條假定收聽(tīng)位置信息的一組參數(shù) 相關(guān)聯(lián)?？臻g聲學(xué)特性添加單元24然后從針對(duì)每個(gè)對(duì)象的表格讀出通過(guò)由輸入單元21提供 的假定收聽(tīng)位置信息和修改位置信息而確定的一組參數(shù)，并且使用參數(shù)來(lái)進(jìn)行多點(diǎn)式延遲 處理、梳狀濾波處理、全通濾波處理等并且將空間聲學(xué)特性添加至波形信號(hào)。 〈再現(xiàn)信號(hào)生成處理的闡釋〉 接下來(lái)，將參照?qǐng)D7的流程圖來(lái)闡釋由在圖6中示出的音頻處理裝置11進(jìn)行的再現(xiàn)信號(hào) 生成處理。由于步驟S41的處理與在圖5中的步驟S11的處理相同，所以將不會(huì)重復(fù)對(duì)其的闡 釋。 在步驟S42中，輸入單元21接收相應(yīng)對(duì)象的修改位置的輸入。當(dāng)用戶已經(jīng)操作輸入單元 21輸入相應(yīng)對(duì)象的修改位置時(shí)，輸入單元21將指示修改位置的修改位置信息提供給位置信 息校正單元22和空間聲學(xué)特性添加單元24。 在步驟S43中，位置信息校正單元22基于由輸入單元21提供的假定收聽(tīng)位置信息和修 改位置信息來(lái)計(jì)算校正位置信息(Α/ ,Ε/，卩/ )，并且將產(chǎn)生的校正位置信息提供給增益/ 頻率特性校正單元23和渲染處理器25。 在這種情況下，例如，在上述表達(dá)式(1)至(3)的計(jì)算中，位置信息的方位角、俯仰角、和 半徑由修改位置信息的方位角、俯仰角、和半徑替代，并且獲得校正位置信息。此外，在表達(dá) 式(4)至(6)的計(jì)算中，位置信息由修改位置信息替代。 在獲得修改位置信息之后，進(jìn)行步驟S44的處理，這與在圖5中的步驟S13的處理相同， 由此將不會(huì)重復(fù)對(duì)其的闡釋。 在步驟S45中，空間聲學(xué)特性添加單元24基于由輸入單元21提供的假定收聽(tīng)位置信息 和修改位置信息，來(lái)將空間聲學(xué)特性添加至由增益/頻率特性校正單元23提供的波形信號(hào)， 并且將產(chǎn)生的波形信號(hào)提供給渲染處理器25。 在將空間聲學(xué)特性添加至波形信號(hào)之后，進(jìn)行步驟S46和S47的處理并且終止再現(xiàn)信號(hào) 生成處理，這與在圖5中的步驟S15和S16的處理相同，由此將不會(huì)重復(fù)對(duì)其的闡釋。 如上面所描述的，音頻處理裝置11基于假定收聽(tīng)位置信息和修改位置信息來(lái)計(jì)算校正 位置信息，并且基于獲得的校正位置信息、假定收聽(tīng)位置信息、和修改位置信息來(lái)進(jìn)行相應(yīng) 對(duì)象的波形信號(hào)的頻率特性校正和添加空間聲學(xué)特性校正。 結(jié)果，可以按照實(shí)際的方式來(lái)再現(xiàn)在任何假定收聽(tīng)位置聽(tīng)到從任何對(duì)象位置輸出的聲 音的方式。這允許用戶在內(nèi)容的再現(xiàn)中根據(jù)用戶的喜好不僅自由地指定聲音收聽(tīng)位置，還 自由地指定相應(yīng)對(duì)象的位置，這實(shí)現(xiàn)了自由度更高的音頻再現(xiàn)。 例如，音頻處理裝置11允許再現(xiàn)在用戶已經(jīng)改變分量(歌聲、樂(lè)器的聲音等)或者其設(shè) 置時(shí)聽(tīng)到聲音的方式。因此，用戶可以自由地移動(dòng)分量(諸如，與相應(yīng)對(duì)象相關(guān)聯(lián)的樂(lè)器聲 音和歌聲及其布置），以利用與他/她的喜好匹配的布置和聲音源的分量來(lái)欣賞音樂(lè)和聲 音。 此外，同樣地，在圖6中所示的音頻處理裝置11中，類似于在圖1中所示的音頻處理裝置 11，一旦生成在Μ個(gè)信道上的再現(xiàn)信號(hào)，將該在Μ個(gè)信道上的再現(xiàn)信號(hào)轉(zhuǎn)換(縮混)為在兩個(gè) 信道上的再現(xiàn)信號(hào)，從而可以減少處理負(fù)荷。 上述一系列處理可以由硬件或者軟件進(jìn)行。當(dāng)上述一系列處理由軟件進(jìn)行時(shí)，在計(jì)算 機(jī)中安裝構(gòu)成軟件的程序。要注意的是，計(jì)算機(jī)的示例包括:嵌入專用硬件中的計(jì)算機(jī)、以 及能夠通過(guò)安裝各種程序來(lái)執(zhí)行各種功能的通用計(jì)算機(jī)。 圖8是示出了根據(jù)程序進(jìn)行上述一系列處理的計(jì)算機(jī)的硬件的示例結(jié)構(gòu)的框圖。 在計(jì)算機(jī)中，中央處理單元(CHJ)501、只讀存儲(chǔ)器(R0M)502、和隨機(jī)存取存儲(chǔ)器(RAM) 503通過(guò)總線504彼此連接。 輸入/輸出接口 505進(jìn)一步連接至總線504。輸入單元506、輸出單元507、記錄單元508、 通信單元509和驅(qū)動(dòng)器510連接至輸入/輸出接口 505。 輸入單元506包括鍵盤(pán)、鼠標(biāo)、麥克風(fēng)、圖像傳感器等。輸出單元507包括顯示器、揚(yáng)聲器 等。記錄單元508是硬盤(pán)、非易失存儲(chǔ)器等。通信單元509是網(wǎng)絡(luò)接口等。驅(qū)動(dòng)器510驅(qū)動(dòng)可移 動(dòng)介質(zhì)511，諸如，磁盤(pán)、光盤(pán)、磁光盤(pán)、或者半導(dǎo)體存儲(chǔ)器。 在具有上述結(jié)構(gòu)的計(jì)算機(jī)中，例如，CPU 501經(jīng)由輸入/輸出接口505和總線504將記錄 在記錄單元508中的程序加載到RAM 503中，并且執(zhí)行程序，從而進(jìn)行上述一系列處理。 例如，可以將待由計(jì)算機(jī)(CPU 501)執(zhí)行的程序記錄在作為封裝介質(zhì)等的可移動(dòng)介質(zhì) 511上，并且從其提供該程序。可替代地，可以經(jīng)由有線或者無(wú)線傳輸介質(zhì)，諸如，局域網(wǎng)、互 聯(lián)網(wǎng)、或者數(shù)字衛(wèi)星廣播來(lái)提供程序。 在計(jì)算機(jī)中，可以通過(guò)將可移動(dòng)介質(zhì)511安裝在驅(qū)動(dòng)器510上，經(jīng)由輸入/輸出接口 505， 將程序安裝在記錄單元508中?？商娲?，可以經(jīng)由有線或者無(wú)線傳輸介質(zhì)，通過(guò)通信單元 509來(lái)接收程序，并且將該程序安裝在記錄單元508中。仍然可替代地，可以預(yù)先將程序安裝 在ROM 502或者記錄單元508中。 待由計(jì)算機(jī)執(zhí)行的程序可以是用于按照與在本說(shuō)明書(shū)中所描述的順序一致的時(shí)間順 序來(lái)執(zhí)行處理的程序、或者用于并行地執(zhí)行處理或者在必要時(shí)(諸如，響應(yīng)于呼叫）執(zhí)行處 理的程序。 此外，本技術(shù)的實(shí)施例并不限于上述實(shí)施例，而是可以在沒(méi)有脫離本技術(shù)的范圍的情 況下，對(duì)其做出各種修改。 例如，本技術(shù)可以配置為云計(jì)算，在該云計(jì)算中，一種功能經(jīng)由網(wǎng)絡(luò)由多個(gè)裝置共享并 且被協(xié)同處理。 另外，在上述流程圖中闡釋的步驟可以由一個(gè)裝置進(jìn)行，并且也可以在多個(gè)裝置之間 被共享。 此外，當(dāng)在一個(gè)步驟中包括多個(gè)處理時(shí)，在該步驟中包括的處理由一個(gè)裝置進(jìn)行并且 也可以在多個(gè)裝置之間被共享。 在本文中所提及的效果僅僅是示例性的，而不是限制性的，并且也可以產(chǎn)生其它效果。 此外，本技術(shù)可以具有以下配置。 (1) 一種音頻處理裝置，其包括:位置信息校正單元，所述位置信息校正單元配置為計(jì)算校 正位置信息，所述校正位置信息指示聲源相對(duì)于聽(tīng)到來(lái)自所述聲源的聲音的收聽(tīng)位置的位 置，所述計(jì)算基于指示所述聲源的位置的位置信息和指示所述收聽(tīng)位置的收聽(tīng)位置信息； 以及生成單元，所述生成單元配置為基于所述聲源的波形信號(hào)和所述校正位置信息來(lái)生成 使將在所述收聽(tīng)位置處聽(tīng)到的來(lái)自所述聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。 (2) 根據(jù)(1)所述的音頻處理裝置，其中，所述位置信息校正單元基于指示所述聲源的修改 后的位置的修改位置信息和所述收聽(tīng)位置信息來(lái)計(jì)算所述校正位置信息。 (3) 根據(jù)（1)或者（2)所述的音頻處理裝置，其進(jìn)一步包括校正單元，所述校正單元配置為 根據(jù)從所述收聽(tīng)位置到所述聲源的距離來(lái)對(duì)所述波形信號(hào)進(jìn)行增益校正和頻率特性校正 中的至少一個(gè)。 (4) 根據(jù)(2)所述的音頻處理裝置，其進(jìn)一步包括空間聲學(xué)特性添加單元，所述空間聲學(xué)特 性添加單元配置為基于所述收聽(tīng)位置信息和所述修改位置信息來(lái)將空間聲學(xué)特性添加至 所述波形信號(hào)。 (5) 根據(jù)(4)所述的音頻處理裝置，其中，空間聲學(xué)特性添加單元將初期反射和混響特性中 的至少一個(gè)作為所述空間聲學(xué)特性添加至所述波形信號(hào)。 (6) 根據(jù)(1)所述的音頻處理裝置，其進(jìn)一步包括空間聲學(xué)特性添加單元，所述空間聲學(xué)特 性添加單元配置為基于所述收聽(tīng)位置信息和所述位置信息來(lái)將空間聲學(xué)特性添加至所述 波形信號(hào)。 (7) 根據(jù)（1)至(6)中任一項(xiàng)所述的音頻處理裝置，其進(jìn)一步包括卷積處理器，所述卷積處 理器配置為對(duì)由所述生成單元生成的在兩個(gè)或者多個(gè)信道上的所述再現(xiàn)信號(hào)進(jìn)行卷積處 理，以生成在兩個(gè)信道上的再現(xiàn)信號(hào)。 (8) 一種音頻處理方法，其包括以下步驟:計(jì)算校正位置信息，所述校正位置信息指示聲源 相對(duì)于聽(tīng)到來(lái)自聲源的聲音的收聽(tīng)位置的位置，所述計(jì)算基于指示所述聲源的所述位置的 位置信息和指示所述收聽(tīng)位置的收聽(tīng)位置信息；以及基于所述聲源的波形信號(hào)和所述校正 位置信息來(lái)生成使將在所述收聽(tīng)位置處聽(tīng)到的來(lái)自所述聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。 (9) 一種程序，其使計(jì)算機(jī)執(zhí)行包括以下步驟的處理:計(jì)算校正位置信息，所述校正位置信 息指示聲源相對(duì)于聽(tīng)到來(lái)自所述聲源的聲音的收聽(tīng)位置的位置，所述計(jì)算基于指示所述聲 源的所述位置的位置信息和指示所述收聽(tīng)位置的收聽(tīng)位置信息；以及基于所述聲源的波形 信號(hào)和所述校正位置信息來(lái)生成使將在所述收聽(tīng)位置處聽(tīng)到的來(lái)自所述聲源的聲音再現(xiàn) 的再現(xiàn)信號(hào)。 附圖標(biāo)記列表： 11音頻處理裝置 21輸入單元 22位置信息校正單元 23增益/頻率特性校正單元 24空間聲學(xué)特性添加單元 25渲染處理器 26卷積處理器。
【主權(quán)項(xiàng)】
1. 一種音頻處理裝置，其包括： 位置信息校正單元，所述位置信息校正單元配置為計(jì)算校正位置信息，所述校正位置 信息指示聲源相對(duì)于聽(tīng)到來(lái)自所述聲源的聲音的收聽(tīng)位置的位置，所述計(jì)算基于指示所述 聲源的所述位置的位置信息和指示所述收聽(tīng)位置的收聽(tīng)位置信息；以及 生成單元，所述生成單元配置為基于所述聲源的波形信號(hào)和所述校正位置信息來(lái)生成 使將在所述收聽(tīng)位置處聽(tīng)到的來(lái)自所述聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。2. 根據(jù)權(quán)利要求1所述的音頻處理裝置，其中， 所述位置信息校正單元基于指示所述聲源的修改后的位置的修改位置信息和所述收 聽(tīng)位置信息來(lái)計(jì)算所述校正位置信息。3. 根據(jù)權(quán)利要求1所述的音頻處理裝置，其進(jìn)一步包括： 校正單元，所述校正單元配置為根據(jù)從所述聲源到所述收聽(tīng)位置的距離來(lái)對(duì)所述波形 信號(hào)進(jìn)行增益校正和頻率特性校正中的至少一個(gè)。4. 根據(jù)權(quán)利要求2所述的音頻處理裝置，其進(jìn)一步包括： 空間聲學(xué)特性添加單元，所述空間聲學(xué)特性添加單元配置為基于所述收聽(tīng)位置信息和 所述修改位置信息來(lái)將空間聲學(xué)特性添加至所述波形信號(hào)。5. 根據(jù)權(quán)利要求4所述的音頻處理裝置，其中， 所述空間聲學(xué)特性添加單元將初期反射和混響特性中的至少一個(gè)作為所述空間聲學(xué) 特性添加至所述波形信號(hào)。6. 根據(jù)權(quán)利要求1所述的音頻處理裝置，其進(jìn)一步包括： 空間聲學(xué)特性添加單元，所述空間聲學(xué)特性添加單元配置為基于所述收聽(tīng)位置信息和 所述位置信息來(lái)將空間聲學(xué)特性添加至所述波形信號(hào)。7. 根據(jù)權(quán)利要求1所述的音頻處理裝置，其進(jìn)一步包括： 卷積處理器，所述卷積處理器配置為對(duì)由所述生成單元生成的在兩個(gè)或者多個(gè)信道上 的所述再現(xiàn)信號(hào)進(jìn)行卷積處理，以生成兩個(gè)信道上的再現(xiàn)信號(hào)。8. -種音頻處理方法，其包括以下步驟： 計(jì)算校正位置信息，所述校正位置信息指示聲源相對(duì)于聽(tīng)到來(lái)自所述聲源的聲音的收 聽(tīng)位置的位置，所述計(jì)算基于指示所述聲源的所述位置的位置信息和指示所述收聽(tīng)位置的 收聽(tīng)位置信息；以及 基于所述聲源的波形信號(hào)和所述校正位置信息來(lái)生成使將在所述收聽(tīng)位置處聽(tīng)到的 來(lái)自所述聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。9. 一種程序，其使計(jì)算機(jī)執(zhí)行包括以下步驟的處理： 計(jì)算校正位置信息，所述校正位置信息指示聲源相對(duì)于聽(tīng)到來(lái)自所述聲源的聲音的收 聽(tīng)位置的位置，所述計(jì)算基于指示所述聲源的所述位置的位置信息和指示所述收聽(tīng)位置的 收聽(tīng)位置信息；以及 基于所述聲源的波形信號(hào)和所述校正位置信息來(lái)生成使將在所述收聽(tīng)位置處聽(tīng)到的 來(lái)自所述聲源的聲音再現(xiàn)的再現(xiàn)信號(hào)。
【文檔編號(hào)】H04S5/02GK105900456SQ201580004043
【公開(kāi)日】2016年8月24日
【申請(qǐng)日】2015年1月6日
【發(fā)明人】辻實(shí), 知念徹
【申請(qǐng)人】索尼公司