相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)要求以下申請(qǐng)的優(yōu)先權(quán)：2015年2月12日提交的中國(guó)專(zhuān)利申請(qǐng)no.201510077020.3；2015年2月17日提交的美國(guó)臨時(shí)申請(qǐng)no.62/117,206；以及2016年2月5日提交的中國(guó)申請(qǐng)no.2016100812817，這些申請(qǐng)通過(guò)引用被整體結(jié)合于此。

本公開(kāi)的實(shí)施例大體上涉及音頻信號(hào)處理，并且更具體地涉及用于耳機(jī)虛擬化的混響生成。

背景技術(shù)：

為了創(chuàng)建更令人沉浸的音頻體驗(yàn)，當(dāng)通過(guò)耳機(jī)呈現(xiàn)2聲道立體聲和多聲道音頻節(jié)目時(shí)，可以使用雙耳音頻渲染來(lái)對(duì)這些音頻節(jié)目給予空間感覺(jué)。一般地，可以通過(guò)對(duì)適當(dāng)設(shè)計(jì)的雙耳房間脈沖響應(yīng)(brir)與節(jié)目中的每個(gè)音頻聲道或?qū)ο筮M(jìn)行卷積來(lái)創(chuàng)建空間感覺(jué)，其中brir表征特定聲學(xué)環(huán)境中的從空間中的特定點(diǎn)到收聽(tīng)者的耳朵的音頻信號(hào)的變換。該處理可以或者由內(nèi)容創(chuàng)建者應(yīng)用，或者由消費(fèi)者回放設(shè)備應(yīng)用。

虛擬器設(shè)計(jì)方法是從或者物理房間/頭部測(cè)量或者房間/頭部模型模擬來(lái)導(dǎo)出brir的全部或部分。通常，具有非常期望的聲學(xué)性質(zhì)的房間或房間模型被選擇，目標(biāo)是耳機(jī)虛擬器可以復(fù)制實(shí)際房間的引人注目的收聽(tīng)體驗(yàn)。在房間模型精確地體現(xiàn)所選擇的收聽(tīng)房間的聲學(xué)特性的假定下，該方法產(chǎn)生虛擬化brir，這些虛擬化brir固有地應(yīng)用空間音頻感知所必需的聽(tīng)覺(jué)線(xiàn)索。聽(tīng)覺(jué)線(xiàn)索可以例如包括耳間時(shí)差(itd)、耳間聲強(qiáng)差(ild)、耳間互相關(guān)(iacc)、混響時(shí)間(例如，隨頻率而變化的t60)、直接與混響(dr)能量比、特定的譜峰和譜凹口(notches)、回聲密度等。在理想的brir測(cè)量和耳機(jī)收聽(tīng)條件下，基于物理房間brir的多聲道音頻文件的雙耳音頻渲染可以聽(tīng)起來(lái)與相同房間中的擴(kuò)音器呈現(xiàn)幾乎不可區(qū)分。

但是，該方法的缺點(diǎn)是，物理房間brir可以以不期望的方式修改要被渲染的信號(hào)。當(dāng)遵照房間聲學(xué)法則設(shè)計(jì)brir時(shí)，導(dǎo)致外部化(externalization)感覺(jué)的感知線(xiàn)索中的一些(諸如譜梳理(spectralcombing)和長(zhǎng)的t60時(shí)間)還引起副作用，諸如聲染色(soundcoloration)和時(shí)間拖尾。事實(shí)上，即使是最高品質(zhì)的收聽(tīng)房間也將對(duì)渲染的輸出信號(hào)給予對(duì)于耳機(jī)再現(xiàn)不期望的一些副作用。此外，在實(shí)際測(cè)量房間中收聽(tīng)雙耳內(nèi)容期間可以實(shí)現(xiàn)的引人注目的收聽(tīng)體驗(yàn)在其他環(huán)境(房間)中收聽(tīng)相同內(nèi)容期間很少實(shí)現(xiàn)。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上，本公開(kāi)提供了一種關(guān)于用于耳機(jī)虛擬化的混響生成的解決方案。

在一個(gè)方面，本公開(kāi)的示例實(shí)施例提供了一種生成用于耳機(jī)虛擬化的雙耳房間脈沖響應(yīng)(brir)的一個(gè)或多個(gè)分量的方法。在該方法中，生成定向控制(directionallycontrolled)的反射，其中定向控制的反射對(duì)與聲源定位對(duì)應(yīng)的音頻輸入信號(hào)給予期望的感知線(xiàn)索，然后至少所生成的反射被組合以獲得brir的該一個(gè)或多個(gè)分量。

在另一方面，本公開(kāi)的另一示例實(shí)施例提供了一種生成用于耳機(jī)虛擬化的雙耳房間脈沖響應(yīng)(brir)的一個(gè)或多個(gè)分量的系統(tǒng)。該系統(tǒng)包括反射生成單元和組合單元。反射生成單元被配置為生成定向控制的反射，這些定向控制的反射對(duì)與聲源定位對(duì)應(yīng)的音頻輸入信號(hào)給予期望的感知線(xiàn)索。組合單元被配置為組合至少所生成的反射以獲得brir的該一個(gè)或多個(gè)分量。

通過(guò)以下描述，將意識(shí)到，根據(jù)本公開(kāi)的示例實(shí)施例，通過(guò)組合來(lái)自被選擇的方向的多個(gè)合成房間反射來(lái)生成brir后期響應(yīng)以增強(qiáng)空間中的給定定位處的虛擬聲源的錯(cuò)覺(jué)(illusion)。反射方向上的改變對(duì)隨著時(shí)間和頻率而變化的模擬后期響應(yīng)給予iacc。iacc主要影響聲源外部化和寬敞度(spaciousness)的人類(lèi)感知。本領(lǐng)域技術(shù)人員可以意識(shí)到，在本文中所公開(kāi)的示例實(shí)施例中，某些定向反射圖案可以在相對(duì)于現(xiàn)有技術(shù)方法保持音頻保真度的同時(shí)傳達(dá)自然的外部化感覺(jué)。例如，定向圖案可以是振蕩(擺動(dòng))形狀。另外，通過(guò)在方位角(azimuth)和仰角(elevation)的預(yù)定范圍內(nèi)引入擴(kuò)散(diffusion)方向分量，對(duì)反射給予一定程度的隨意性(randomness)，這可以提高自然的感覺(jué)。以這種方式，該方法旨在捕獲物理房間的本質(zhì)而沒(méi)有其限制。

完整的虛擬器可以通過(guò)組合多個(gè)brir來(lái)實(shí)現(xiàn)，每個(gè)虛擬聲源(固定的擴(kuò)音器或音頻對(duì)象)一個(gè)brir。根據(jù)以上第一示例，每個(gè)聲源具有獨(dú)特的后期響應(yīng)，該后期響應(yīng)具有加強(qiáng)聲源定位的方向?qū)傩?。該方法的關(guān)鍵優(yōu)點(diǎn)是，較高的直接與混響(dr)比可以用于實(shí)現(xiàn)與常規(guī)的合成混響方法相同的外部化感覺(jué)。較高的dr比的使用導(dǎo)致渲染的雙耳信號(hào)中更小的可聽(tīng)偽像(audibleartifact)(諸如譜染色和時(shí)間拖尾)。

附圖說(shuō)明

通過(guò)以下參照附圖的詳細(xì)描述，本公開(kāi)的實(shí)施例的以上和其他目的、特征和優(yōu)點(diǎn)將變得更可理解。在附圖中，本公開(kāi)的數(shù)個(gè)示例實(shí)施例將被以示例的而非限制性的方式示出，其中：

圖1是根據(jù)本公開(kāi)的示例實(shí)施例的用于耳機(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖2示出根據(jù)本公開(kāi)的示例實(shí)施例的預(yù)定定向圖案的示圖；

圖3a和圖3b分別示出用于左聲道擴(kuò)音器和右聲道擴(kuò)音器的良好外部化和不良外部化brir對(duì)的、短期表觀方向(apparentdirection)隨著時(shí)間推移的改變的示圖；

圖4示出根據(jù)本公開(kāi)的另一示例實(shí)施例的預(yù)定定向圖案的示圖；

圖5示出根據(jù)本公開(kāi)的示例實(shí)施例的用于在給定發(fā)生時(shí)間點(diǎn)生成反射的方法；

圖6是一般的反饋延遲網(wǎng)絡(luò)(fdn)的框圖；

圖7是根據(jù)本公開(kāi)的另一示例實(shí)施例的用于fdn環(huán)境中的耳機(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖8是根據(jù)本公開(kāi)的進(jìn)一步的示例實(shí)施例的用于fdn環(huán)境中的耳機(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖9是根據(jù)本公開(kāi)的更進(jìn)一步的示例實(shí)施例的用于fdn環(huán)境中的耳機(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖10是根據(jù)本公開(kāi)的示例實(shí)施例的用于fdn環(huán)境中的多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖11是根據(jù)本公開(kāi)的另一示例實(shí)施例的用于fdn環(huán)境中的多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖12是根據(jù)本公開(kāi)的進(jìn)一步的示例實(shí)施例的用于fdn環(huán)境中的多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖13是根據(jù)本公開(kāi)的更進(jìn)一步的示例實(shí)施例的用于fdn環(huán)境中的多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化的混響生成的系統(tǒng)的框圖；

圖14是根據(jù)本公開(kāi)的示例實(shí)施例的生成brir的一個(gè)或多個(gè)分量的方法的流程圖；以及

圖15是適合用于實(shí)現(xiàn)本公開(kāi)的示例實(shí)施例的示例計(jì)算機(jī)系統(tǒng)的框圖。

在整個(gè)附圖中，相同的或?qū)?yīng)的附圖標(biāo)記是指相同的或?qū)?yīng)的部分。

具體實(shí)施方式

現(xiàn)在將參照附圖中所示的各種示例實(shí)施例來(lái)描述本公開(kāi)的原理。應(yīng)意識(shí)到，這些實(shí)施例的描繪僅僅是為了使得本領(lǐng)域技術(shù)人員能夠更好地理解并且進(jìn)一步實(shí)現(xiàn)本公開(kāi)，而非意圖以任何方式限制本公開(kāi)的范圍。

在附圖中，本公開(kāi)的各種實(shí)施例是在框圖、流程圖和其他示圖中示出的。流程圖或框圖中的每個(gè)方框可以表示包含用于執(zhí)行特定的邏輯功能的一個(gè)或多個(gè)可執(zhí)行指令的模塊、程序或代碼的一部分。雖然這些方框是按照用于執(zhí)行該方法的步驟的特別的順序示出的，但是它們可能不一定嚴(yán)格地根據(jù)示出的順序執(zhí)行。例如，依賴(lài)于相應(yīng)操作的性質(zhì)，它們可以按照相反的順序或同時(shí)地執(zhí)行。還應(yīng)注意，框圖和/或流程圖中的每個(gè)方框及其組合可以由用于執(zhí)行特定的功能/操作的基于專(zhuān)用硬件的系統(tǒng)來(lái)實(shí)現(xiàn)，或者由專(zhuān)用硬件和計(jì)算機(jī)指令的組合來(lái)實(shí)現(xiàn)。

如本文中所使用的，術(shù)語(yǔ)“包括”及其變型要被解讀為意指“包括但不限于”的開(kāi)放式的術(shù)語(yǔ)。術(shù)語(yǔ)“或”要被解讀為“和/或”，除非上下文以其他方式清楚地指示。術(shù)語(yǔ)“基于”要被解讀為“至少部分基于”。術(shù)語(yǔ)“一個(gè)示例實(shí)施例”和“示例實(shí)施例”要被解讀為“至少一個(gè)示例實(shí)施例”。術(shù)語(yǔ)“另一實(shí)施例”要被解讀為“至少一個(gè)其他的實(shí)施例”。

如本文中所使用的，術(shù)語(yǔ)“音頻對(duì)象”或“對(duì)象”是指在聲場(chǎng)中存在限定的持續(xù)時(shí)間的單個(gè)的音頻元素。音頻對(duì)象可以是動(dòng)態(tài)的或靜態(tài)的。例如，音頻對(duì)象可以是充當(dāng)聲場(chǎng)中的聲源的人類(lèi)、動(dòng)物或任何其他對(duì)象。音頻對(duì)象可以具有相關(guān)聯(lián)的元數(shù)據(jù)，該元數(shù)據(jù)描述音頻對(duì)象的定位、速率、軌跡、高度、大小和/或任何其他方面。如本文中所使用的，術(shù)語(yǔ)“音頻床”或“床”是指為了在預(yù)定義的固定定位中再現(xiàn)的一個(gè)或多個(gè)音頻聲道。如本文中所使用的，術(shù)語(yǔ)“brir”是指關(guān)于每個(gè)音頻聲道或?qū)ο蟮碾p耳房間脈沖響應(yīng)(brir)，這些brir表征特定聲學(xué)環(huán)境中的從空間中的特定點(diǎn)到收聽(tīng)者的耳朵的音頻信號(hào)的變換。一般而言，brir可以被分成三個(gè)區(qū)域。第一區(qū)域被稱(chēng)為直接響應(yīng)，其表示從無(wú)回聲空間中的點(diǎn)到耳道的入口的脈沖響應(yīng)。該直接響應(yīng)通常約為5ms持續(xù)時(shí)間或更短，并且更普遍地被稱(chēng)為頭部相關(guān)傳遞函數(shù)(hrtf)。第二區(qū)域被稱(chēng)為早期反射，其包含來(lái)自最靠近聲源和收聽(tīng)者的對(duì)象(例如，地板、房間墻壁、家具)的聲音反射。第三區(qū)域被稱(chēng)為后期響應(yīng)，其包括來(lái)自各種方向的具有不同強(qiáng)度的更高階反射的混合。該第三區(qū)域由于其復(fù)雜結(jié)構(gòu)而經(jīng)常由隨機(jī)(stochastic)參數(shù)(諸如峰密度、模型密度、能量衰減時(shí)間等)來(lái)描述。人類(lèi)聽(tīng)覺(jué)系統(tǒng)已經(jīng)演進(jìn)到對(duì)在全部三個(gè)區(qū)域中傳達(dá)的感知線(xiàn)索做出響應(yīng)。早期反射對(duì)源的感知方向具有適度的影響，但是對(duì)源的感知音色(timbre)和距離有較強(qiáng)的影響，而后期響應(yīng)影響聲源定位在其中的感知環(huán)境。其他顯式的和隱式的限定可以在下面被包括。

如上文所述，在從房間或房間模型導(dǎo)出的虛擬器設(shè)計(jì)中，brir具有通過(guò)聲學(xué)法則確定的性質(zhì)，因而從其產(chǎn)生的雙耳渲染器包含各種感知線(xiàn)索。這樣的brir可以以期望的和不期望的方式兩者修改要通過(guò)耳機(jī)渲染的信號(hào)。鑒于此，在本公開(kāi)的實(shí)施例中，通過(guò)解除由物理房間或房間模型強(qiáng)加的約束中的一些，提供了一種用于耳機(jī)虛擬化的混響生成的新穎的解決方案。所提出的解決方案的一個(gè)目標(biāo)是以受控的方式對(duì)合成的早期和后期響應(yīng)僅給予期望的感知線(xiàn)索。期望的感知線(xiàn)索是以最小可聽(tīng)減損(impairment)(副作用)向收聽(tīng)者傳達(dá)定位和寬敞度的令人信服的錯(cuò)覺(jué)的感知線(xiàn)索。例如，可以通過(guò)將房間反射包括在具有從相對(duì)于聲源的方位角/仰角的有限范圍的到達(dá)方向的后期響應(yīng)的早期部分中來(lái)增強(qiáng)從收聽(tīng)者的頭部到特定定位處的虛擬聲源的距離的印象。這在最小化譜染色和時(shí)間拖尾的同時(shí)給予導(dǎo)致自然的空間感覺(jué)的特定iacc特性。本發(fā)明旨在通過(guò)在基本上保持原始混音師(soundmixer)的藝術(shù)意圖的同時(shí)添加自然的空間感覺(jué)來(lái)提供比常規(guī)的立體聲引人注目的收聽(tīng)者體驗(yàn)。

下文中，將參照?qǐng)D1至圖9來(lái)描述本公開(kāi)的一些示例實(shí)施例。但是，應(yīng)意識(shí)到僅僅出于示例的目的而做出這些描述并且本公開(kāi)不限于此。

首先參照?qǐng)D1，圖1示出了根據(jù)本公開(kāi)的一個(gè)示例實(shí)施例的用于耳機(jī)虛擬化的單聲道系統(tǒng)100的框圖。正如所示出的，系統(tǒng)100包括反射生成單元110和組合單元120。生成單元110可以由例如濾波單元110實(shí)現(xiàn)。

濾波單元110被配置為對(duì)brir與對(duì)應(yīng)于聲源定位的音頻輸入信號(hào)進(jìn)行卷積，該brir包含給予期望的感知線(xiàn)索的定向控制的反射。輸出是左耳中間信號(hào)和右耳中間信號(hào)的集合。組合單元120從濾波單元110接收左耳中間信號(hào)和右耳中間信號(hào)并且組合它們以形成雙耳輸出信號(hào)。

如上所述，本公開(kāi)的實(shí)施例能夠模擬brir響應(yīng)、尤其是早期反射和后期響應(yīng)以在保持自然性的同時(shí)減小譜染色和時(shí)間拖尾。在本公開(kāi)的實(shí)施例中，這可以通過(guò)以受控的方式對(duì)brir響應(yīng)、尤其是早期反射和后期響應(yīng)給予定向線(xiàn)索來(lái)實(shí)現(xiàn)。換言之，方向控制可以被應(yīng)用于這些反射。特別地，反射可以以這樣的方式生成：它們具有期望的定向圖案，在期望的定向圖案中，到達(dá)方向具有隨著時(shí)間的期望改變。

本文中所公開(kāi)的示例實(shí)施例提供：可以使用預(yù)定定向圖案來(lái)生成期望的brir響應(yīng)以控制反射方向。特別地，預(yù)定定向圖案可以被選擇以給予感知線(xiàn)索，該感知線(xiàn)索增強(qiáng)空間中的給定定位處的虛擬聲源的錯(cuò)覺(jué)。作為一個(gè)示例，預(yù)定定向圖案可以是擺動(dòng)函數(shù)。對(duì)于給定時(shí)間點(diǎn)的反射，擺動(dòng)函數(shù)完全地或部分地確定到達(dá)方向(方位角和/或仰角)。反射方向上的改變創(chuàng)建具有隨著時(shí)間和頻率而變化的iacc的模擬brir響應(yīng)。除了itd、ild、dr能量比以及混響時(shí)間之外，iacc也是影響收聽(tīng)者對(duì)聲源外部化和寬敞度的印象的主要感知線(xiàn)索中的一個(gè)。但是，iacc跨時(shí)間和頻率的哪些特定演進(jìn)圖案對(duì)于傳達(dá)3維空間的感覺(jué)同時(shí)盡可能多地保持混音師的藝術(shù)意圖最有效在本領(lǐng)域中并不是眾所周知的。本文中所描述的示例實(shí)施例提供：特定的定向反射圖案(諸如擺動(dòng)形狀的反射)可以在相對(duì)于常規(guī)方法保持音頻保真度的同時(shí)傳達(dá)自然的外部化感覺(jué)。

圖2示出根據(jù)本公開(kāi)的示例實(shí)施例的預(yù)定定向圖案。在圖2中，示出了合成反射的擺動(dòng)軌跡，其中每個(gè)點(diǎn)表示具有相關(guān)聯(lián)的方位角方向的反射分量，并且首先到達(dá)信號(hào)的聲音方向由時(shí)間原點(diǎn)處的黑色方塊指示。從圖2清楚的是，反射方向改變而遠(yuǎn)離首先到達(dá)信號(hào)的方向并且圍繞它振蕩，同時(shí)反射密度則大體上隨著時(shí)間增大。

在具有良好外部化的房間中測(cè)量的brir中，強(qiáng)烈的且良好限定的定向擺動(dòng)與良好的外部化相關(guān)聯(lián)。這可以從圖3a和圖3b看出，圖3a和圖3b示出當(dāng)來(lái)自具有良好和不良外部化的brir的4ms片段通過(guò)耳機(jī)收聽(tīng)被試聽(tīng)時(shí)的表觀方向改變的示例。

從圖3a和圖3b，可以清楚地看出，良好外部化與強(qiáng)烈的定向擺動(dòng)相關(guān)聯(lián)。短期定向擺動(dòng)不僅存在于方位角平面中，而且還存在于內(nèi)側(cè)面(medialplane)中。這是真的，因?yàn)槌Ｒ?guī)的6表面房間中的反射是3維現(xiàn)象，而不僅僅是2維現(xiàn)象。因此，10-50ms的時(shí)間間隔中的反射也可以在仰角中產(chǎn)生短期定向擺動(dòng)。因此，將這些擺動(dòng)包括在brir對(duì)中可以用于增大外部化。

短期定向擺動(dòng)對(duì)于聲學(xué)環(huán)境中的全部可能的源方向的實(shí)際應(yīng)用可以經(jīng)由有限數(shù)量的定向擺動(dòng)來(lái)實(shí)現(xiàn)以用于生成具有良好外部化的brir對(duì)。這可以例如通過(guò)將首先到達(dá)聲音方向的全部垂直方向和水平方向的球體劃分為有限數(shù)量的區(qū)域來(lái)進(jìn)行。來(lái)自特別區(qū)域的聲源與用于該區(qū)域的兩個(gè)或更多個(gè)短期定向擺動(dòng)相關(guān)聯(lián)以生成具有良好外部化的brir對(duì)。也就是說(shuō)，可以基于虛擬聲源的方向來(lái)選擇擺動(dòng)。

基于房間測(cè)量的分析，可以看出，聲音反射通常首先在方向上擺動(dòng)，但是快速地變?yōu)楦飨蛲?，由此?chuàng)建擴(kuò)散聲場(chǎng)。因此，有用的是，在創(chuàng)建具有自然聲音的良好外部化brir對(duì)時(shí)包括擴(kuò)散或隨機(jī)分量。擴(kuò)散性的添加是自然聲音、外部化和集中(focused)源大小之間的權(quán)衡。太多的擴(kuò)散性可能創(chuàng)建非常寬的且不良的定向限定的聲源。另一方面，太少的擴(kuò)散性可以導(dǎo)致來(lái)自聲源的不自然的回聲。結(jié)果，源方向上的適度增長(zhǎng)的隨意性是期望的，這意味著隨意性應(yīng)被控制到一定程度。在本公開(kāi)的實(shí)施例中，方向范圍被限制在預(yù)定方位角范圍內(nèi)以覆蓋原始源方向周?chē)膮^(qū)域，這可以導(dǎo)致自然性、源寬度和源方向之間的良好權(quán)衡。

圖4進(jìn)一步示出根據(jù)本公開(kāi)的另一示例實(shí)施例的預(yù)定定向圖案。特別地，在圖4中示出了對(duì)于中央聲道添加的擴(kuò)散分量以及示例方位角短期定向擺動(dòng)的隨時(shí)間變化的反射方向。反射到達(dá)方向最初來(lái)源于相對(duì)于聲源的小范圍的方位角和仰角，然后隨著時(shí)間的推移擴(kuò)展得更寬。如圖4中所示，來(lái)自圖2的緩慢變化的定向擺動(dòng)與增大的隨機(jī)(隨意)方向分量組合以創(chuàng)建擴(kuò)散性。如圖4中所示的擴(kuò)散分量在80ms處線(xiàn)性地增長(zhǎng)到±45度，并且方位角的整個(gè)范圍與六面矩形房間中的±180度相比僅為相對(duì)于聲源±60度。預(yù)定定向圖案還可以包括具有來(lái)自水平面以下的到達(dá)方向的反射的部分。這樣的特征對(duì)于模擬地面反射是有用的，該地面反射對(duì)于人類(lèi)聽(tīng)覺(jué)系統(tǒng)將前面的水平聲源局部化在正確仰角處是重要的。

鑒于擴(kuò)散分量的添加引入了進(jìn)一步的擴(kuò)散性的事實(shí)，如圖4中所示的對(duì)于brir對(duì)得出的反射和相關(guān)聯(lián)的方向可以實(shí)現(xiàn)更好的外部化。事實(shí)上，類(lèi)似于擺動(dòng)，擴(kuò)散分量也可以基于虛擬聲源的方向來(lái)選擇。以這種方式，可以生成合成brir，該合成brir給予增強(qiáng)收聽(tīng)者對(duì)聲源定位和外部化的感覺(jué)的感知效果。

如前面所述，這些短期定向擺動(dòng)通常使每個(gè)耳朵中的聲音具有頻率依賴(lài)iacc的實(shí)部以便在反射在方向上變?yōu)楦飨蛲院途鶆蛑暗臅r(shí)間間隔(例如，10-50ms)中具有強(qiáng)烈的系統(tǒng)變化。隨著brir以后在時(shí)間上演進(jìn)，高于大約800hz的iacc實(shí)值由于聲場(chǎng)的擴(kuò)散性增大而下降。因而，從左耳響應(yīng)和右耳響應(yīng)導(dǎo)出的iacc的實(shí)部隨著頻率和時(shí)間而變化。頻率依賴(lài)實(shí)部的使用具有以下優(yōu)點(diǎn)：它揭示了相關(guān)性特性和反相關(guān)性特性，并且它是對(duì)虛擬化的有用度量。

事實(shí)上，在iacc的實(shí)部中存在創(chuàng)建強(qiáng)外部化的許多特性，但是時(shí)變相關(guān)性特性在時(shí)間間隔(例如，10至50ms)中的持續(xù)性可以指示良好的外部化。就本文中所公開(kāi)的示例實(shí)施例而言，它可以產(chǎn)生具有較高值的iacc的實(shí)部，這意味著相關(guān)性的持續(xù)性(高于800hz并且延伸到90ms)比物理房間中將發(fā)生的相關(guān)性的持續(xù)性高。因而，就如本文中所公開(kāi)的示例實(shí)施例而言，它可以獲得更好的虛擬器。

在本公開(kāi)的實(shí)施例中，可以使用隨機(jī)回聲發(fā)生器來(lái)生成濾波單元110的系數(shù)以獲得具有上述轉(zhuǎn)變特性的早期反射和后期響應(yīng)。如圖1中所示，濾波單元可以包括延遲器111-1,…,111-i,…,111-k(下文統(tǒng)稱(chēng)為111)以及濾波器112-0,112-1,…,112-i,…112-k(下文統(tǒng)稱(chēng)為112)。延遲器111可以由z^-ni表示，其中i＝1至k。用于濾波器112的系數(shù)可以例如從hrtf數(shù)據(jù)集合導(dǎo)出，其中每個(gè)濾波器對(duì)于左耳和右耳兩者提供與來(lái)自預(yù)定方向的一個(gè)反射對(duì)應(yīng)的感知線(xiàn)索。如圖1中所示，在每個(gè)信號(hào)線(xiàn)中，存在延遲器和濾波器對(duì)，該延遲器和濾波器對(duì)可以在預(yù)定時(shí)間生成來(lái)自已知方向的一個(gè)中間信號(hào)(例如，反射)。組合單元120包括例如左求和器121-l和右求和器121-r。全部的左耳中間信號(hào)在左求和器121-l中被混合以產(chǎn)生左雙耳信號(hào)。類(lèi)似地，全部的右耳中間信號(hào)在右求和器121-r中被混合以產(chǎn)生右雙耳信號(hào)。以這樣的方式，可以從所生成的具有預(yù)定定向圖案的反射與由濾波器112-0生成的直接響應(yīng)一起來(lái)生成混響以產(chǎn)生左雙耳輸出信號(hào)和右雙耳輸出信號(hào)。

在本公開(kāi)的實(shí)施例中，隨機(jī)回聲發(fā)生器的操作可以被實(shí)現(xiàn)如下。首先，在隨機(jī)回聲發(fā)生器沿著時(shí)間軸前進(jìn)的每個(gè)時(shí)間點(diǎn)，首先做出獨(dú)立的隨機(jī)二元決定以決定反射是否應(yīng)在給定時(shí)刻生成?？隙Q定的概率隨著時(shí)間而增大，優(yōu)選地二次方地增大，以用于增大回聲密度。也就是說(shuō)，反射的發(fā)生時(shí)間點(diǎn)可以隨機(jī)地確定，但是同時(shí)，在預(yù)定的回聲密度分布約束內(nèi)做出該確定以便實(shí)現(xiàn)期望的分布。該決定的輸出是對(duì)如圖1中所示的延遲器111的延遲時(shí)間做出響應(yīng)的反射的發(fā)生時(shí)間點(diǎn)(也被稱(chēng)為回聲位置)的序列，n1，n2，...，nk。然后，對(duì)于時(shí)間點(diǎn)，如果反射被確定為生成，則將根據(jù)期望方向來(lái)生成用于左耳和右耳的脈沖響應(yīng)對(duì)。該方向可以基于表示隨著時(shí)間而變化的到達(dá)方向的預(yù)定函數(shù)(諸如擺動(dòng)函數(shù))來(lái)確定。在沒(méi)有任何進(jìn)一步的控制的情況下，反射的振幅(amplitude)可以是隨機(jī)值。該對(duì)脈沖響應(yīng)將被認(rèn)為是在該時(shí)刻的生成的brir。在2015年7月9日公布的pct申請(qǐng)wo2015103024中，該申請(qǐng)?jiān)敿?xì)地描述了隨機(jī)回聲發(fā)生器，該申請(qǐng)通過(guò)引用被整體結(jié)合于此。

為了示例的目的，接下來(lái)將參照?qǐng)D5來(lái)描述用于在給定發(fā)生時(shí)間點(diǎn)生成反射的示例過(guò)程以使得本領(lǐng)域技術(shù)人員能夠完全地理解并且進(jìn)一步實(shí)現(xiàn)本公開(kāi)中所提出的解決方案。

圖5示出根據(jù)本公開(kāi)的示例實(shí)施例的用于在給定發(fā)生時(shí)間點(diǎn)生成反射的方法(500)。如圖5中所示，方法500在步驟510進(jìn)入，在步驟510，基于預(yù)定定向圖案(例如定向圖案函數(shù))和給定的發(fā)生時(shí)間點(diǎn)來(lái)確定反射的方向ddir。然后，在步驟520，確定反射的振幅damp，damp可以是隨機(jī)值。接下來(lái)，在步驟530，獲得具有期望方向的濾波器，諸如hrtf。例如，可以分別獲得用于左耳和右耳的hrtfl和hrtfr。特別地，可以針對(duì)特別的方向從測(cè)量的hrtf數(shù)據(jù)集合檢索hrtf。測(cè)量的hrtf數(shù)據(jù)集合可以通過(guò)針對(duì)特別的測(cè)量方向離線(xiàn)地測(cè)量hrtf響應(yīng)而形成。以這樣的方式，可以在生成反射期間從hrtf數(shù)據(jù)集合選擇具有期望方向的hrtf。選擇的hrtf對(duì)應(yīng)于如圖1中所示的相應(yīng)信號(hào)線(xiàn)處的濾波器112。

在步驟540，可以確定用于左耳和右耳的hrtf的最大平均振幅。特別地，可以首先分別計(jì)算左耳和右耳的檢索到的hrtf的平均振幅，并且然后進(jìn)一步確定左耳和右耳的hrtf的平均振幅中的最大的一個(gè)振幅，該最大的一個(gè)振幅可以被表示為，但不限于：

ampmax＝max(|hrtfl|，|hrtfr|)(公式1)

接下來(lái)，在步驟550，用于左耳和右耳的hrtf被修改。特別地，根據(jù)確定的振幅damp來(lái)對(duì)用于左耳和右耳兩者的hrtf的最大平均振幅進(jìn)行修改。在本公開(kāi)的示例實(shí)施例中，它可以被修改為，但不限于：

結(jié)果，可以在給定時(shí)間點(diǎn)獲得分別用于左耳和右耳的具有期望方向分量的兩個(gè)反射，這兩個(gè)反射從如圖1中所示的相應(yīng)濾波器輸出。所得出的hrtflm作為用于左耳的反射被混合到左耳brir中，而hrtfrm作為用于右耳的反射被混合到右耳brir中。生成反射并且將反射混合到brir中以創(chuàng)建合成混響的過(guò)程繼續(xù)直到達(dá)到期望的brir長(zhǎng)度為止。最終的brir包括用于左耳和右耳的直接響應(yīng)，后面跟著合成混響。

在上文所公開(kāi)的本公開(kāi)的實(shí)施例中，可以針對(duì)特別測(cè)量方向離線(xiàn)地測(cè)量hrtf響應(yīng)以便形成hrtf數(shù)據(jù)集合。因而在生成反射期間，可以根據(jù)期望方向從測(cè)量的hrtf數(shù)據(jù)集合選擇hrtf響應(yīng)。因?yàn)閔rtf數(shù)據(jù)集合中的hrtf響應(yīng)表示用于單位脈沖信號(hào)的hrtf響應(yīng)，所以選擇的hrtf將由確定的振幅damp修改以獲得適合用于確定的振幅的響應(yīng)。因此，在本公開(kāi)的這個(gè)實(shí)施例中，通過(guò)基于期望方向從hrtf數(shù)據(jù)集合選擇適合的hrtf并且根據(jù)反射的振幅進(jìn)一步修改hrtf來(lái)生成具有期望方向和確定的振幅的反射。

但是，在本公開(kāi)的另一實(shí)施例中，可以基于球形頭部模型來(lái)確定用于左耳和右耳的hrtf，hrtfl和hrtfr，而不是從測(cè)量的hrtf數(shù)據(jù)集合選擇。也就是說(shuō)，可以基于確定的振幅和預(yù)定的頭部模型來(lái)確定hrtf。以這樣的方式，可以顯著地節(jié)省測(cè)量工作。

在本公開(kāi)的進(jìn)一步的實(shí)施例中，可以用具有類(lèi)似的聽(tīng)覺(jué)線(xiàn)索(例如，耳間時(shí)差(itd)和耳間聲強(qiáng)差(ild)聽(tīng)覺(jué)線(xiàn)索)的脈沖對(duì)來(lái)取代用于左耳和右耳的hrtf，hrtfl和hrtfr。也就是說(shuō)，可以基于給定的發(fā)生時(shí)間點(diǎn)的期望方向和確定的振幅以及預(yù)定球形頭部模型的寬帶itd和ild來(lái)生成用于兩個(gè)耳朵的脈沖響應(yīng)?？梢岳缰苯踊趆rtfl和hrtfr來(lái)計(jì)算脈沖響應(yīng)對(duì)之間的itd和ild?；蛘撸商娲?，可以基于預(yù)定的球形頭部模型來(lái)計(jì)算脈沖響應(yīng)對(duì)之間的itd和ild。一般地，一對(duì)全通濾波器，特別是多級(jí)全通濾波器(apf)，可以被應(yīng)用于生成的合成混響的左聲道和右聲道作為回聲發(fā)生器的最后操作。以這樣的方式，可以將受控的擴(kuò)散和解相關(guān)效果引入到反射，因而改進(jìn)由虛擬器產(chǎn)生的雙耳渲染器的自然性。

雖然描述了用于在給定時(shí)刻生成反射的特定方法，但是應(yīng)意識(shí)到，本公開(kāi)不限于此；相反，任何其他的適當(dāng)?shù)姆椒梢詣?chuàng)建類(lèi)似的轉(zhuǎn)變行為。作為另一示例，也可以借助于例如圖像模型來(lái)生成具有期望方向的反射。

通過(guò)沿著時(shí)間軸前進(jìn)，反射發(fā)生器可以生成具有隨著時(shí)間而變化的受控到達(dá)方向的用于brir的反射。

在本公開(kāi)的另一實(shí)施例中，可以生成用于濾波單元110的多組系數(shù)以便產(chǎn)生多個(gè)候選brir，然后可以例如基于合適地限定的目標(biāo)函數(shù)來(lái)做出基于感知的性能評(píng)估(諸如譜平坦性、與預(yù)定房間特性的匹配程度等)。來(lái)自具有最佳特性的brir的反射被選擇以用于濾波單元110中。例如，具有表示各種brir性能屬性之間的最佳權(quán)衡的早期反射和后期響應(yīng)特性的反射可以被選擇為最后的反射。而在本公開(kāi)的另一實(shí)施例中，可以生成用于濾波單元110的多組系數(shù)直到期望的感知線(xiàn)索被給予為止。也就是說(shuō)，預(yù)先設(shè)置期望的感知度量，并且如果滿(mǎn)足該感知度量，則隨機(jī)回聲發(fā)生器將停止其操作并且輸出所得出的反射。

因此，在本公開(kāi)的實(shí)施例中，提供了一種用于耳機(jī)虛擬化的混響的新穎的解決方案，特別是用于設(shè)計(jì)耳機(jī)虛擬器中的雙耳房間脈沖響應(yīng)(brir)的早期反射和混響部分的新穎的解決方案。對(duì)于每個(gè)聲源，將使用獨(dú)特的、方向依賴(lài)的后期響應(yīng)，并且通過(guò)組合多個(gè)合成房間反射與隨著時(shí)間而變化的定向控制的到達(dá)方向來(lái)生成早期反射和后期響應(yīng)。通過(guò)對(duì)反射應(yīng)用方向控制而不是使用基于物理房間或球形頭部模型測(cè)量的反射，可以模擬在最小化副作用的同時(shí)給予期望的感知線(xiàn)索的brir響應(yīng)。在本公開(kāi)的一些實(shí)施例中，預(yù)定定向圖案被選擇使得空間中的給定定位處的虛擬聲源的錯(cuò)覺(jué)得到增強(qiáng)。特別地，預(yù)定定向圖案可以例如是具有在預(yù)定方位角范圍內(nèi)的附加擴(kuò)散分量的擺動(dòng)形狀。反射方向上的改變給予時(shí)變的iacc，該時(shí)變的iacc提供進(jìn)一步的主要感知線(xiàn)索并且因而在保持音頻保真度的同時(shí)傳達(dá)自然的外部化感覺(jué)。以這種方式，該解決方案可以捕獲物理房間的本質(zhì)而沒(méi)有其限制。

另外，本文中所提出的解決方案支持使用直接卷積或計(jì)算效率更高的方法的、基于聲道的和基于對(duì)象的音頻節(jié)目素材兩者的雙耳虛擬化。用于固定聲源的brir可以通過(guò)組合相關(guān)聯(lián)的直接響應(yīng)與方向依賴(lài)的后期響應(yīng)來(lái)簡(jiǎn)單地離線(xiàn)地設(shè)計(jì)。用于音頻對(duì)象的brir可以在耳機(jī)渲染期間通過(guò)組合時(shí)變的直接響應(yīng)與通過(guò)對(duì)來(lái)自空間中的鄰近的時(shí)不變定位的多個(gè)后期響應(yīng)進(jìn)行插值而導(dǎo)出的早期反射和后期響應(yīng)來(lái)即時(shí)地(on-the-fly)構(gòu)造。

此外，為了以計(jì)算效率高的方式實(shí)現(xiàn)所提出的解決方案，所提出的解決方案也可以在反饋延遲網(wǎng)絡(luò)(fdn)中實(shí)現(xiàn)，這將在下文中參照?qǐng)D6至圖8來(lái)描述。

如所提及的，在常規(guī)的耳機(jī)虛擬器中，brir的混響普遍被劃分為兩個(gè)部分：早期反射和后期響應(yīng)。brir的這樣的分離允許專(zhuān)用模型模擬brir的每個(gè)部分的特性。已知早期反射是稀疏的且定向的，而后期響應(yīng)是密集的且擴(kuò)散的。在這樣的情況下，早期反射可以使用一組延遲線(xiàn)而被應(yīng)用于音頻信號(hào)，每個(gè)后面跟著與和相關(guān)聯(lián)的反射對(duì)應(yīng)的hrtf對(duì)的卷積，而后期響應(yīng)可以用一個(gè)或多個(gè)反饋延遲網(wǎng)絡(luò)(fdn)來(lái)實(shí)現(xiàn)。fdn可以使用由具有反饋矩陣的反饋回路互連的多個(gè)延遲線(xiàn)來(lái)實(shí)現(xiàn)。該結(jié)構(gòu)可以用于模擬后期響應(yīng)的隨機(jī)特性，特別是回聲密度隨著時(shí)間的推移的增大。與諸如圖像模型的確定性方法相比，它的計(jì)算效率更高，因而它普遍被用于導(dǎo)出后期響應(yīng)。為了示例的目的，圖6示出現(xiàn)有技術(shù)中的一般的反饋延遲網(wǎng)絡(luò)的框圖。

如圖6中所示，虛擬器600包括具有一般地用611指示的三個(gè)延遲線(xiàn)的fdn，這三個(gè)延遲線(xiàn)由反饋矩陣612互連。每個(gè)延遲線(xiàn)611可以輸出輸入信號(hào)的時(shí)間延遲版本。延遲線(xiàn)611的輸出將被發(fā)送到混合矩陣621以形成輸出信號(hào)，并且同時(shí)還被饋送到反饋矩陣612中，并且從反饋矩陣輸出的反饋信號(hào)進(jìn)而在求和器613-1至613-3處與輸入信號(hào)的下一幀混合。要注意，只有早期響應(yīng)和后期響應(yīng)被發(fā)送到fdn并且通過(guò)三個(gè)延遲線(xiàn)，而直接響應(yīng)被直接發(fā)送到混合矩陣而不被發(fā)送到fdn，因而它不是fdn的一部分。

但是，早期-后期響應(yīng)的缺點(diǎn)中的一個(gè)在于從早期響應(yīng)到后期響應(yīng)的突然轉(zhuǎn)變。即，brir在早期響應(yīng)中將是定向的，但是突然改變?yōu)槊芗那覕U(kuò)散的后期響應(yīng)。這與真實(shí)的brir當(dāng)然不同并且將影響雙耳虛擬化的感知質(zhì)量。因而，如果如本公開(kāi)中所提出的構(gòu)思可以在fdn中體現(xiàn)，則這是期望的，fdn是用于模擬耳機(jī)虛擬器中的后期響應(yīng)的普遍結(jié)構(gòu)。因此，下文中提供了另一解決方案，該解決方案是通過(guò)在反饋延遲網(wǎng)絡(luò)(fdn)的前面添加一組并行hrtf濾波器來(lái)實(shí)現(xiàn)的。每個(gè)hrtf濾波器生成與一個(gè)房間反射對(duì)應(yīng)的左耳和右耳響應(yīng)。將參照?qǐng)D7來(lái)做出詳細(xì)描述。

圖7示出根據(jù)本公開(kāi)的示例實(shí)施例的基于fdn的耳機(jī)虛擬器。與圖6不同，在虛擬器700中，進(jìn)一步布置了濾波器(諸如hrtf濾波器714-0,714-1,…714-i...714-k)和延遲線(xiàn)(諸如延遲線(xiàn)715-0,715-1,715-i,…715-k)。因而，輸入信號(hào)將通過(guò)延遲線(xiàn)715-0,715-1,715-i,…715-k而被延遲以輸出輸入信號(hào)的不同的時(shí)間延遲版本，然后輸入信號(hào)的這些時(shí)間延遲版本在進(jìn)入混合矩陣720或fdn之前、特別是在通過(guò)至少一個(gè)反饋矩陣饋送回來(lái)的信號(hào)被添加之前被濾波器(諸如hrtf濾波器714-0,714-1,…714-i...714-k)預(yù)處理。在本公開(kāi)的一些實(shí)施例中，用于延遲線(xiàn)715-0的延遲值d0(n)可以是零，以便節(jié)省存儲(chǔ)器存儲(chǔ)。在本公開(kāi)的其他實(shí)施例中，延遲值d0(n)可以被設(shè)置為非零值，以便控制對(duì)象和收聽(tīng)者之間的時(shí)間延遲。

在圖7中，可以基于如本文中所描述的方法來(lái)確定每個(gè)延遲線(xiàn)的延遲時(shí)間和對(duì)應(yīng)的hrtf濾波器。而且，將需要較小數(shù)量的濾波器(例如，4個(gè)、5個(gè)、6個(gè)、7個(gè)或8個(gè))，并且后期響應(yīng)的一部分是通過(guò)fdn結(jié)構(gòu)生成的。以這樣的方式，可以以計(jì)算效率更高的方式來(lái)生成反射。同時(shí)，可以確保：

●后期響應(yīng)的早期部分包含定向線(xiàn)索。

●到fdn結(jié)構(gòu)的全部輸入是定向的，這允許fdn的輸出是定向擴(kuò)散的。因?yàn)閒dn的輸出現(xiàn)在是通過(guò)定向反射的求和而創(chuàng)建的，所以這更類(lèi)似于真實(shí)世界的brir生成，這意味著從定向反射的平滑轉(zhuǎn)變，因而漫反射被確保。

●后期響應(yīng)的早期部分的方向可以被控制成具有預(yù)定的到達(dá)方向。與通過(guò)圖像模型生成的早期反射不同，后期響應(yīng)的早期部分的方向可以由不同的預(yù)定定向函數(shù)確定，這些定向函數(shù)表示后期響應(yīng)的早期部分的特性。作為示例，前述擺動(dòng)函數(shù)可以在這里被采用以引導(dǎo)hrtf對(duì)(hi(n),0≤i≤k)的選擇過(guò)程。

因而，在如圖7中所示的解決方案中，通過(guò)控制后期響應(yīng)的早期部分的方向以使得它們具有預(yù)定到達(dá)方向來(lái)對(duì)音頻輸入信號(hào)給予定向線(xiàn)索。從而，代替一般的fdn中的反射的硬性的定向到擴(kuò)散的轉(zhuǎn)變，實(shí)現(xiàn)軟性轉(zhuǎn)變，該軟性轉(zhuǎn)變是從完全定向反射(將由前面討論的模型處理的早期反射)到半定向反射(將具有定向和擴(kuò)散之間的二重性的后期響應(yīng)的早期部分)，并且最后演進(jìn)到完全擴(kuò)散反射(后期響應(yīng)的其余部分(reminder))。

應(yīng)理解，為了實(shí)現(xiàn)效率，延遲線(xiàn)715-0,715-1,715-i,…,715-k也可以被構(gòu)建在fdn中。可替代地，它們也可以是抽頭延遲線(xiàn)(多個(gè)延遲單元的級(jí)聯(lián)，在每個(gè)延遲單元的輸出處具有hrtf濾波器)，以便以較少的存儲(chǔ)器存儲(chǔ)來(lái)實(shí)現(xiàn)與圖7中所示的功能相同的功能。

另外，圖8進(jìn)一步示出根據(jù)本公開(kāi)的另一示例實(shí)施例的基于fdn的耳機(jī)虛擬器800。與如圖7中所示的耳機(jī)虛擬器的不同之處在于，兩個(gè)反饋矩陣812l和812r分別用于左耳和右耳，而不是一個(gè)反饋矩陣712。以這樣的方式，計(jì)算效率可以更高。關(guān)于延遲線(xiàn)組811以及求和器813-1l至813-kl、813-1r至813-kr、814-0至814-k，這些部件在功能上類(lèi)似于延遲線(xiàn)組711以及求和器713-1l至713-kl、713-1r至713-kr、714-0至714-k。即，分別如圖7和圖8中所示，這些部件以使得它們與輸入信號(hào)的下一幀混合的方式(matter)運(yùn)作，因此，為了簡(jiǎn)化的目的，將省略它們的詳細(xì)描述。另外，延遲線(xiàn)815-0,815-1,815-i,…815-k也以與延遲線(xiàn)715-0,715-1,715-i,…715-k類(lèi)似的方式運(yùn)作，因而在此被省略。

圖9進(jìn)一步示出根據(jù)本公開(kāi)的進(jìn)一步的示例實(shí)施例的基于fdn的耳機(jī)虛擬器900。與如圖7中所示的耳機(jī)虛擬器不同，在圖9中，延遲線(xiàn)915-0,915-1,915-i,…915-k和hrtf濾波器914-0,914-1,…914-i...914-k不與fdn串聯(lián)連接，而是與fdn并聯(lián)連接。也就是說(shuō)，輸入信號(hào)將通過(guò)延遲線(xiàn)915-0,915-1,915-i,…915-k而被延遲，并且被hrtf濾波器914-0,914-1,…914-i...914-k預(yù)處理，然后被發(fā)送到混合矩陣，在混合矩陣中，預(yù)處理的信號(hào)將被與通過(guò)fdn的信號(hào)混合。因而，被hrtf濾波器預(yù)處理的輸入信號(hào)不被發(fā)送到fdn網(wǎng)絡(luò)，而是被直接發(fā)送到混合矩陣。

應(yīng)注意，圖7至圖9中所示的結(jié)構(gòu)與各類(lèi)音頻輸入格式(包括但不限于基于聲道的音頻以及基于對(duì)象的音頻)是完全兼容的。事實(shí)上，輸入信號(hào)可以是以下中的任何一個(gè)：多聲道音頻信號(hào)的單個(gè)聲道、多聲道信號(hào)的混合、基于對(duì)象的音頻信號(hào)的信號(hào)音頻對(duì)象、基于對(duì)象的音頻信號(hào)的混合、或它們的任何可能組合。

在多個(gè)音頻聲道或?qū)ο蟮那闆r下，每個(gè)聲道或每個(gè)對(duì)象可以被布置有用于對(duì)輸入信號(hào)進(jìn)行處理的專(zhuān)用虛擬器。圖10示出根據(jù)本公開(kāi)的示例實(shí)施例的用于多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化系統(tǒng)1000。如圖10中所示，來(lái)自每個(gè)音頻聲道或?qū)ο蟮妮斎胄盘?hào)將被分離的虛擬器(諸如虛擬器700、800或900)處理。來(lái)自每個(gè)虛擬器的左輸出信號(hào)可以被求和以便形成最后的左輸出信號(hào)，并且來(lái)自每個(gè)虛擬器的右輸出信號(hào)可以被求和以便形成最后的右輸出信號(hào)。

尤其是當(dāng)存在足夠的計(jì)算資源時(shí)，可以使用耳機(jī)虛擬化系統(tǒng)1000；但是，對(duì)于具有有限計(jì)算資源的應(yīng)用，它需要另一解決方案，因?yàn)橄到y(tǒng)1000所需要的計(jì)算資源對(duì)于這些應(yīng)用將是不可接受的。在這樣的情況下，可以在fdn之前或者與fdn并行地獲得多個(gè)音頻聲道或?qū)ο笈c它們的對(duì)應(yīng)的反射的混合。換言之，音頻聲道或?qū)ο笈c它們的對(duì)應(yīng)的反射可以被處理并且被轉(zhuǎn)換為單個(gè)音頻聲道或?qū)ο笮盘?hào)。

圖11示出根據(jù)本公開(kāi)的另一示例實(shí)施例的用于多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化系統(tǒng)1100。與圖7中所示的系統(tǒng)不同，在系統(tǒng)1100中，為m個(gè)音頻聲道或?qū)ο筇峁┝薽個(gè)反射延遲和濾波器網(wǎng)絡(luò)1115-1至1115-m。每個(gè)反射延遲和濾波器網(wǎng)絡(luò)1115-1,…或1115-m包括k+1個(gè)延遲線(xiàn)和k+1個(gè)hrtf濾波器，其中一個(gè)延遲線(xiàn)和一個(gè)hrtf濾波器用于直接響應(yīng)，而其他延遲線(xiàn)和其他hrtf濾波器用于早期響應(yīng)和后期響應(yīng)。正如所示出的，對(duì)于音頻聲道或?qū)ο?，輸入信號(hào)通過(guò)第一反射延遲和濾波器網(wǎng)絡(luò)1115-1，也就是說(shuō)，輸入信號(hào)首先通過(guò)延遲線(xiàn)1115-1,0,1115-1,1,1115-1,i,…,1115-1,k而被延遲，然后被hrtf濾波器1114-1,0,1114-1,1,…1114-1,i...1114-1,k濾波；對(duì)于音頻聲道或?qū)ο髆，輸入信號(hào)通過(guò)第m反射延遲和濾波器網(wǎng)絡(luò)1115-m，也就是說(shuō)，輸入信號(hào)首先通過(guò)延遲線(xiàn)1115-m,0,1115-m,1,1115-m,i,…,1115-m,k而被延遲，然后被hrtf濾波器1114-m,0,1114-m,1,…1114-m,i...1114-m,k濾波。來(lái)自反射延遲和濾波器網(wǎng)絡(luò)1115-1中的hrtf濾波器1114-1,1,…,1114-1,i,…,1114-1,k和1114-1,0中的每個(gè)的左輸出信號(hào)被與來(lái)自其他反射延遲和濾波器網(wǎng)絡(luò)1115-2至1115-m中的對(duì)應(yīng)hrtf濾波器的左輸出信號(hào)組合，獲得的用于早期響應(yīng)和后期響應(yīng)的左輸出信號(hào)被發(fā)送到fdn中的求和器，并且用于直接響應(yīng)的左輸出信號(hào)被直接發(fā)送到混合矩陣。類(lèi)似地，來(lái)自反射延遲和濾波器網(wǎng)絡(luò)1115-1中的hrtf濾波器1114-1,1,…,1114-1,i,…,1114-1,k和1114-1,0中的每個(gè)的右輸出信號(hào)被與來(lái)自其他反射延遲和濾波器網(wǎng)絡(luò)1115-2至1115-m中的對(duì)應(yīng)hrtf濾波器的右輸出信號(hào)組合，并且獲得的用于早期響應(yīng)和后期響應(yīng)的右輸出信號(hào)被發(fā)送到fdn中的求和器，并且作為直接響應(yīng)的右輸出信號(hào)被直接發(fā)送到混合矩陣。

圖12示出根據(jù)本公開(kāi)的進(jìn)一步的示例實(shí)施例的用于多聲道或多對(duì)象的耳機(jī)虛擬化系統(tǒng)1200。與圖11不同，系統(tǒng)1200是基于如圖9中所示的系統(tǒng)900的結(jié)構(gòu)而構(gòu)建的。在系統(tǒng)1200中，也為m個(gè)音頻聲道或?qū)ο筇峁┝薽個(gè)反射延遲和濾波器網(wǎng)絡(luò)1215-1至1215-m。反射延遲和濾波器網(wǎng)絡(luò)1215-1至1215-m與圖11中所示的那些是類(lèi)似的，不同之處在于，來(lái)自反射延遲和濾波器網(wǎng)絡(luò)1215-1至1215-m的k+1個(gè)求和的左輸出信號(hào)和k+1個(gè)求和的右輸出信號(hào)被直接發(fā)送到混合矩陣1221，并且它們中沒(méi)有一個(gè)被發(fā)送到fdn；同時(shí)，來(lái)自m個(gè)音頻聲道或?qū)ο蟮妮斎胄盘?hào)被求和以獲得下混音頻信號(hào)，該下混音頻信號(hào)被提供給fdn并且進(jìn)一步被發(fā)送到混合矩陣1221。因而，在系統(tǒng)1200中，為每個(gè)音頻聲道或?qū)ο筇峁┝朔蛛x的反射延遲和濾波器網(wǎng)絡(luò)，并且延遲和濾波器網(wǎng)絡(luò)的輸出被求和，然后被與來(lái)自fdn的輸出混合。在這樣的情況下，每個(gè)早期反射將在最后的brir中出現(xiàn)一次并且對(duì)左/右輸出信號(hào)沒(méi)有進(jìn)一步的影響，并且fdn將提供純粹擴(kuò)散的輸出。

另外，在圖12中，反射延遲和濾波器網(wǎng)絡(luò)1215-1至1215-m與混合矩陣之間的求和器也可以被移除。也就是說(shuō)，延遲和濾波器網(wǎng)絡(luò)的輸出可以在不求和的情況下被直接提供給混合矩陣1221并與來(lái)自fdn的輸出混合。

在本公開(kāi)的更進(jìn)一步的實(shí)施例中，音頻聲道或?qū)ο罂梢员幌禄煲孕纬删哂兄鲗?dǎo)(domain)源方向的混合信號(hào)，并且在這樣的情況下，混合信號(hào)可以作為單個(gè)信號(hào)直接輸入到系統(tǒng)700、800或900。接下來(lái)，將參照?qǐng)D13來(lái)描述實(shí)施例，其中圖13示出根據(jù)本公開(kāi)的更進(jìn)一步的示例實(shí)施例的用于多個(gè)音頻聲道或?qū)ο蟮亩鷻C(jī)虛擬化系統(tǒng)1300。

如圖13中所示，音頻聲道或?qū)ο?至m首先被發(fā)送到下混和主導(dǎo)(dominant)源方向分析模塊1316。在下混和主導(dǎo)源方向分析模塊1316中，將通過(guò)例如求和來(lái)將音頻聲道或?qū)ο?至m進(jìn)一步下混為音頻混合信號(hào)，并且可以對(duì)音頻聲道或?qū)ο?至m進(jìn)一步分析主導(dǎo)源方向以獲得音頻聲道或?qū)ο?至m的主導(dǎo)源方向。以這樣的方式，可以獲得具有例如方位角和仰角上的源方向的單聲道音頻混合信號(hào)。所得出的單聲道音頻混合信號(hào)可以作為單個(gè)音頻聲道或?qū)ο筝斎氲较到y(tǒng)700、800或900中。

可以借助于任何合適的方式(諸如在現(xiàn)有的源方向分析方法中已經(jīng)使用的那些)在時(shí)間域中或在時(shí)間-頻率域中對(duì)主導(dǎo)源方向進(jìn)行分析。在下文中，為了示例的目的，將在時(shí)間-頻率域中描述示例分析方法。

作為示例，在時(shí)間-頻率域中，第ai音頻聲道或?qū)ο蟮穆曉纯梢杂寐曉词噶縜i(n,k)表示，聲源矢量ai(n,k)是其方位角μi、仰角ηi和增益變量gi的函數(shù)，并且可以由以下公式給出：

其中k和n分別是頻率索引和時(shí)間幀索引；gi(n,k)表示用于該聲道或?qū)ο蟮脑鲆妫?imgfile="bda0001375939560000202.gif"wi="254"he="71"img-content="drawing"img-format="gif"orientation="portrait"inline="no"/>是表示聲道或?qū)ο蠖ㄎ坏膯挝皇噶?。由全部揚(yáng)聲器貢獻(xiàn)的總體源水平gs(n,k)可以由以下公式給出：

可以通過(guò)應(yīng)用從具有最高振幅的聲道選擇的相位信息來(lái)創(chuàng)建單聲道下混信號(hào)以便維持相位一致性，這可以由以下公式給出：

下混信號(hào)的由其方位角θ(n,k)和仰角φ(n,k)呈現(xiàn)的方向于是可以由以下公式給出：

以這樣的方式，可以確定音頻混合信號(hào)的主導(dǎo)源方向。但是，可以理解，本公開(kāi)不限于上述示例分析方法，并且任何其他合適的方法也是可能的，例如在時(shí)間頻率中的那些。

應(yīng)理解，混合矩陣中用于早期反射的混合系數(shù)可以是單位矩陣?；旌暇仃囀且刂谱筝敵龊陀逸敵鲋g的相關(guān)性。應(yīng)理解，全部這些實(shí)施例可以在時(shí)間域和頻率域兩者中實(shí)現(xiàn)。對(duì)于頻率域中的實(shí)現(xiàn)，輸入可以是用于每個(gè)帶的參數(shù)，并且輸出可以是用于該帶的處理后的參數(shù)。

此外，注意，本文中所提出的解決方案還可以在不必進(jìn)行任何結(jié)構(gòu)修改的情況下促進(jìn)現(xiàn)有的雙耳虛擬器的性能改進(jìn)。這可以通過(guò)基于由本文中所提出的解決方案生成的brir獲得用于耳機(jī)虛擬器的最佳的參數(shù)集合來(lái)實(shí)現(xiàn)。該參數(shù)可以通過(guò)最佳過(guò)程(optimalprocess)來(lái)獲得。例如，通過(guò)本文中(例如關(guān)于圖1至圖5)所提出的解決方案創(chuàng)建的brir可以設(shè)置目標(biāo)brir，然后感興趣的耳機(jī)虛擬器用于生成brir。目標(biāo)brir和所生成的brir之間的差異被計(jì)算。然后，重復(fù)brir的生成和差異的計(jì)算，直到參數(shù)的全部可能組合被覆蓋為止。最后，將選擇用于感興趣的耳機(jī)虛擬器的最佳的參數(shù)集合，該最佳參數(shù)集合可以最小化目標(biāo)brir和所生成的brir之間的差異。兩個(gè)brir之間的相似性或差異的測(cè)量可以通過(guò)從brir提取感知線(xiàn)索來(lái)實(shí)現(xiàn)。例如，左聲道和右聲道之間的振幅比可以被采用作為擺動(dòng)效果的測(cè)量。以這樣的方式，通過(guò)最佳的參數(shù)集合，即使是現(xiàn)有的雙耳虛擬器也可以在沒(méi)有任何結(jié)構(gòu)修改的情況下實(shí)現(xiàn)更好的虛擬化性能。

圖14進(jìn)一步示出根據(jù)本公開(kāi)的示例實(shí)施例的生成brir的一個(gè)或多個(gè)分量的方法。

如圖14中所示，方法1400在步驟1410進(jìn)入，在步驟1410，生成定向控制的反射，并且其中定向控制的反射可以對(duì)與聲源定位對(duì)應(yīng)的音頻輸入信號(hào)給予期望的感知線(xiàn)索。然后在步驟1420，至少所生成的反射被組合以獲得brir的一個(gè)或多個(gè)分量。在本公開(kāi)的實(shí)施例中，為了避免特別的物理房間或房間模型的限制，可以將方向控制應(yīng)用于反射。預(yù)定到達(dá)方向可以被選擇以便增強(qiáng)空間中的給定定位處的虛擬聲源的錯(cuò)覺(jué)。特別地，預(yù)定到達(dá)方向可以是擺動(dòng)形狀，在該形狀中，反射方向緩慢地遠(yuǎn)離虛擬聲源演進(jìn)并且來(lái)回振蕩。反射方向上的改變對(duì)隨著時(shí)間和頻率而變化的模擬響應(yīng)給予時(shí)變的iacc，這在保持音頻保真度的同時(shí)提供自然的空間感覺(jué)。尤其是，預(yù)定到達(dá)方向可以進(jìn)一步包括預(yù)定方位角范圍內(nèi)的隨機(jī)擴(kuò)散分量。結(jié)果，它進(jìn)一步引入了擴(kuò)散性，這提供了更好的外部化。而且，擺動(dòng)形狀和/或隨機(jī)擴(kuò)散分量可以基于虛擬聲源的方向被選擇，使得外部化可以被進(jìn)一步改進(jìn)。

在本公開(kāi)的實(shí)施例中，在生成反射期間，在預(yù)定的回聲密度分布約束內(nèi)教條地(scholastically)確定反射的相應(yīng)的發(fā)生時(shí)間點(diǎn)。然后，基于相應(yīng)的發(fā)生時(shí)間點(diǎn)和預(yù)定的定向圖案來(lái)確定反射的期望方向，并且教條地確定相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射的振幅。然后，基于確定的值，在相應(yīng)的發(fā)生時(shí)間點(diǎn)生成具有期望方向和確定的振幅的反射。應(yīng)理解，本公開(kāi)不限于如上所述的操作次序。例如，確定反射的期望方向和確定反射的振幅的操作可以按照相反的順序執(zhí)行或同時(shí)執(zhí)行。

在本公開(kāi)的另一實(shí)施例中，可以通過(guò)以下操作來(lái)創(chuàng)建相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射：基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的期望方向從針對(duì)特別的方向測(cè)量的頭部相關(guān)傳遞函數(shù)(hrtf)數(shù)據(jù)集合選擇hrtf，并且然后基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射的振幅來(lái)對(duì)這些hrtf進(jìn)行修改。

在本公開(kāi)的替代實(shí)施例中，創(chuàng)建反射也可以通過(guò)以下操作來(lái)實(shí)現(xiàn)：基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的期望方向和預(yù)定的球形頭部模型來(lái)確定hrtf，隨后基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射的振幅來(lái)對(duì)這些hrtf進(jìn)行修改以便獲得在相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射。

在本公開(kāi)的另一替代實(shí)施例中，創(chuàng)建反射可以包括基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的期望方向和確定的振幅以及預(yù)定的球形頭部模型的寬帶耳間時(shí)差和耳間聲強(qiáng)差來(lái)生成用于兩個(gè)耳朵的脈沖響應(yīng)。另外，可以通過(guò)全通濾波器來(lái)對(duì)創(chuàng)建的用于兩個(gè)耳朵的脈沖響應(yīng)進(jìn)行進(jìn)一步的濾波以獲得進(jìn)一步的擴(kuò)散和解相關(guān)。

在本公開(kāi)的進(jìn)一步的實(shí)施例中，該方法是在反饋延遲網(wǎng)絡(luò)中操作的。在這樣的情況下，通過(guò)hrtf對(duì)輸入信號(hào)進(jìn)行濾波，以便至少控制后期響應(yīng)的早期部分的方向以滿(mǎn)足預(yù)定定向圖案。以這樣的方式，可以以計(jì)算效率更高的方式來(lái)實(shí)現(xiàn)解決方案。

另外，執(zhí)行最佳過(guò)程。例如，可以重復(fù)生成反射以獲得多小組(group)反射，然后可以選擇該多小組反射中的具有最佳反射特性的一小組反射作為用于輸入信號(hào)的反射?；蛘呖商娲?，可以重復(fù)生成反射直到獲得預(yù)定反射特性為止。以這樣的方式，可以進(jìn)一步確保獲得具有期望反射特性的反射。

可以理解，為了簡(jiǎn)化的目的，簡(jiǎn)要地描述了如圖14中所示的方法；關(guān)于相應(yīng)操作的詳細(xì)描述，可以在參照?qǐng)D1至圖13的對(duì)應(yīng)描述中找到。

可以意識(shí)到，盡管本文中描述了本公開(kāi)的特定實(shí)施例，但是這些實(shí)施例僅僅是為了示例的目的而給出的，并且本公開(kāi)不限于此。例如，預(yù)定定向圖案可以是除了擺動(dòng)形狀之外的任何適當(dāng)?shù)膱D案，或者可以是多個(gè)定向圖案的組合。濾波器也可以是代替hrtf的任何其他類(lèi)型的濾波器。在生成反射期間，可以以除了公式2a和公式2b中所示的方式之外的任何方式根據(jù)確定的振幅來(lái)對(duì)獲得的hrtf進(jìn)行修改。如圖1中所示的求和器121-l和121-r可以在單個(gè)一般的求和器而不是兩個(gè)求和器中實(shí)現(xiàn)。而且，延遲器和濾波器對(duì)的布置可以改變?yōu)榉催^(guò)來(lái)，這意味著它可能需要分別用于左耳和右耳的延遲器。此外，如圖7和圖8中所示的混合矩陣也可以由分別用于左耳和右耳的兩個(gè)分離的混合矩陣實(shí)現(xiàn)。

另外，還將理解，系統(tǒng)100、700、800、900、1000、1100、1200和1300中的任何一個(gè)的部件可以是硬件模塊或軟件模塊。例如，在一些示例實(shí)施例中，該系統(tǒng)可以部分地或完整地實(shí)現(xiàn)為軟件和/或固件，例如，實(shí)現(xiàn)為在計(jì)算機(jī)可讀介質(zhì)中體現(xiàn)的計(jì)算機(jī)程序產(chǎn)品?？商娲鼗蚋郊拥?，該系統(tǒng)可以部分地或完整地基于硬件來(lái)實(shí)現(xiàn)，例如，實(shí)現(xiàn)為集成電路(ic)、專(zhuān)用集成電路(asic)、片上系統(tǒng)(soc)、現(xiàn)場(chǎng)可編程門(mén)陣列(fpga)等。

圖15示出了適合用于實(shí)現(xiàn)本公開(kāi)的示例實(shí)施例的示例計(jì)算機(jī)系統(tǒng)1500的框圖。如所示出的，計(jì)算機(jī)系統(tǒng)1500包括中央處理單元(cpu)1501，其能夠根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(rom)1502中的程序或從存儲(chǔ)單元1508加載到隨機(jī)存取存儲(chǔ)器(ram)1503的程序來(lái)執(zhí)行各種過(guò)程。在ram1503中，當(dāng)cpu1501執(zhí)行各種過(guò)程等時(shí)所需要的數(shù)據(jù)也根據(jù)需要存儲(chǔ)。cpu1501、rom1502和ram1503經(jīng)由總線(xiàn)1504彼此連接。輸入/輸出(i/o)接口1505也連接到總線(xiàn)1504。

以下部件連接到i/o接口1505：輸入單元1506，其包括鍵盤(pán)、鼠標(biāo)等；輸出單元1507，其包括顯示器(諸如陰極射線(xiàn)管(crt)、液晶顯示器(lcd)等)以及擴(kuò)音器等；存儲(chǔ)單元1508，其包括硬盤(pán)等；以及通信單元1509，其包括網(wǎng)絡(luò)接口卡(諸如lan卡、調(diào)制解調(diào)器等)。通信單元1509經(jīng)由網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng))來(lái)執(zhí)行通信過(guò)程。驅(qū)動(dòng)器1510也根據(jù)需要連接到i/o接口1505。可移除介質(zhì)1511(諸如磁盤(pán)、光盤(pán)、磁光盤(pán)、半導(dǎo)體存儲(chǔ)器等)根據(jù)需要被安裝在驅(qū)動(dòng)器1510上，使得從其讀取的計(jì)算機(jī)程序根據(jù)需要被安裝到存儲(chǔ)單元1508中。

特別地，根據(jù)本公開(kāi)的示例實(shí)施例，上述過(guò)程可以被實(shí)現(xiàn)為計(jì)算機(jī)軟件程序。例如，本公開(kāi)的實(shí)施例包括計(jì)算機(jī)程序產(chǎn)品，其包括有形地體現(xiàn)在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包括用于執(zhí)行方法的程序代碼。在這樣的實(shí)施例中，該計(jì)算機(jī)程序可以經(jīng)由通信單元1509從網(wǎng)絡(luò)下載和安裝，和/或從可移除介質(zhì)1511安裝。

一般地，本公開(kāi)的各種示例實(shí)施例可以用硬件或?qū)Ｓ秒娐?、軟件、邏輯或它們的任何組合來(lái)實(shí)現(xiàn)。一些方面可以用硬件來(lái)實(shí)現(xiàn)，而其他方面可以用可以被控制器、微處理器或其他計(jì)算設(shè)備執(zhí)行的固件或軟件來(lái)實(shí)現(xiàn)。雖然本公開(kāi)的示例實(shí)施例的各種方面被作為框圖、流程圖或使用一些其他的圖形表示示出和描述，但是將意識(shí)到，本文中所描述的方框、裝置、系統(tǒng)、技術(shù)或方法可以用作為非限制性示例的硬件、軟件、固件、專(zhuān)用電路或邏輯、通用硬件或控制器或其他計(jì)算設(shè)備或它們的一些組合來(lái)實(shí)現(xiàn)。

另外，流程圖中所示的各種方框可以被視為方法步驟，和/或被視為由計(jì)算機(jī)程序代碼的操作導(dǎo)致的操作，和/或被視為被構(gòu)造為實(shí)施相關(guān)聯(lián)的(一個(gè)或多個(gè))功能的多個(gè)耦合的邏輯電路元件。例如，本公開(kāi)的實(shí)施例包括計(jì)算機(jī)程序產(chǎn)品，其包括有形地體現(xiàn)在機(jī)器可讀介質(zhì)上的計(jì)算機(jī)程序，該計(jì)算機(jī)程序包含被配置為實(shí)施如上所述的方法的程序代碼。

在本公開(kāi)的上下文下，機(jī)器可讀介質(zhì)可以是可以包含或存儲(chǔ)供指令執(zhí)行系統(tǒng)、裝置或設(shè)備使用的或與指令執(zhí)行系統(tǒng)、設(shè)備或裝置有關(guān)的程序的任何有形介質(zhì)。機(jī)器可讀介質(zhì)可以是機(jī)器可讀信號(hào)介質(zhì)或機(jī)器可讀存儲(chǔ)介質(zhì)。機(jī)器可讀介質(zhì)可以包括但不限于電子、磁、光學(xué)、電磁、紅外線(xiàn)或半導(dǎo)體系統(tǒng)、裝置或設(shè)備、或前述的任何合適組合。機(jī)器可讀存儲(chǔ)介質(zhì)的更具體的示例將包括具有一個(gè)或多個(gè)導(dǎo)線(xiàn)的電連接、便攜式計(jì)算機(jī)盤(pán)、硬盤(pán)、隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、可擦除可編程只讀存儲(chǔ)器(eprom或閃存)、光纖、便攜式緊湊盤(pán)只讀存儲(chǔ)器(cd-rom)、光學(xué)存儲(chǔ)設(shè)備、磁存儲(chǔ)設(shè)備、或前述的任何合適的組合。

用于實(shí)施本公開(kāi)的方法的計(jì)算機(jī)程序代碼可以用一種或多種編程語(yǔ)言的組合編寫(xiě)。這些計(jì)算機(jī)程序代碼可以被提供給通用計(jì)算機(jī)、專(zhuān)用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器，使得這些程序代碼當(dāng)被計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置的處理器執(zhí)行時(shí)使流程圖和/或框圖中指定的功能/操作被執(zhí)行。程序代碼可以完全在計(jì)算機(jī)上執(zhí)行、部分在計(jì)算機(jī)上執(zhí)行、作為獨(dú)立的軟件包執(zhí)行、部分在計(jì)算機(jī)上部分在遠(yuǎn)程計(jì)算機(jī)上執(zhí)行，或者完全在遠(yuǎn)程計(jì)算機(jī)或服務(wù)器上執(zhí)行，或者分布在一個(gè)或多個(gè)遠(yuǎn)程計(jì)算機(jī)和/或服務(wù)器上而執(zhí)行。

此外，雖然操作是按照特別的次序描繪的，但是這不應(yīng)被理解為需要這樣的操作按所示的特別的次序或順序的次序而被執(zhí)行或者全部示出的操作都被執(zhí)行以實(shí)現(xiàn)期望的結(jié)果。在某些情形下，多任務(wù)處理和并行處理可以是有利的。同樣地，雖然數(shù)個(gè)特定實(shí)現(xiàn)細(xì)節(jié)被包含在以上討論中，但是這些不應(yīng)被解釋為是對(duì)任何發(fā)明或要求保護(hù)的內(nèi)容的范圍的限制，而是應(yīng)被理解為可以特定于特別的發(fā)明的特別的實(shí)施例的特征的描述。在本說(shuō)明書(shū)中在分離的實(shí)施例的背景下描述的某些特征也可以組合地實(shí)現(xiàn)在單個(gè)實(shí)施例中。相反，在單個(gè)實(shí)施例的背景下描述的各種特征也可以分離地在多個(gè)實(shí)施例中實(shí)現(xiàn)，或者以任何合適的子組合實(shí)現(xiàn)。

當(dāng)結(jié)合附圖閱讀本發(fā)明的前述示例實(shí)施例時(shí)，鑒于前面的描述，對(duì)本發(fā)明的前述示例實(shí)施例的各種修改和改動(dòng)對(duì)于相關(guān)領(lǐng)域的技術(shù)人員可以變得清楚。任何和全部的修改仍將落在本發(fā)明的非限制性的示例實(shí)施例的范圍內(nèi)。此外，與本發(fā)明的這些實(shí)施例有關(guān)的領(lǐng)域的、受益于前面的描述和附圖中呈現(xiàn)的教導(dǎo)的技術(shù)人員將想到本文中所闡釋的發(fā)明的其他實(shí)施例。

本公開(kāi)可以以本文中所描述的形式中的任何一種形式體現(xiàn)。例如，以下枚舉的示例實(shí)施例(eee)描述了本公開(kāi)的一些方面的一些結(jié)構(gòu)、特征和功能。

eee1.一種用于生成用于耳機(jī)虛擬化的雙耳房間脈沖響應(yīng)(brir)的一個(gè)或多個(gè)分量的方法，包括：生成定向控制的反射，該定向控制的反射對(duì)與聲源定位對(duì)應(yīng)的音頻輸入信號(hào)給予期望的感知線(xiàn)索；并且組合至少所生成的反射來(lái)獲得brir的一個(gè)或多個(gè)分量。

eee2.根據(jù)eee1所述的方法，其中，期望的感知線(xiàn)索以最小的副作用導(dǎo)致自然的空間感覺(jué)。

eee3.根據(jù)eee1所述的方法，其中，定向控制的反射具有預(yù)定到達(dá)方向，在該預(yù)定到達(dá)方向上，空間中的給定定位處的虛擬聲源的錯(cuò)覺(jué)得到增強(qiáng)。

eee4.根據(jù)eee3所述的方法，其中，預(yù)定定向圖案具有擺動(dòng)形狀，在該擺動(dòng)形狀中，反射方向改變遠(yuǎn)離虛擬聲源，并且圍繞虛擬聲源來(lái)回振蕩。

eee5.根據(jù)eee3所述的方法，其中，預(yù)定定向圖案進(jìn)一步包括預(yù)定方位角范圍內(nèi)的隨機(jī)擴(kuò)散分量，并且其中擺動(dòng)形狀或隨機(jī)擴(kuò)散分量中的至少一個(gè)是基于虛擬聲源的方向選擇的。

eee6.根據(jù)eee1所述的方法，其中，生成定向控制的反射包括：在預(yù)定的回聲密度分布約束下教條地確定反射的相應(yīng)的發(fā)生時(shí)間點(diǎn)；基于相應(yīng)的發(fā)生時(shí)間點(diǎn)和預(yù)定的定向圖案來(lái)確定反射的期望方向；教條地確定相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射的振幅；并且在相應(yīng)的發(fā)生時(shí)間點(diǎn)創(chuàng)建具有期望方向和確定的振幅的反射。

eee7.根據(jù)eee6所述的方法，其中，創(chuàng)建反射包括：

基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的期望方向從針對(duì)特別的方向測(cè)量的頭部相關(guān)傳遞函數(shù)(hrtf)數(shù)據(jù)集合選擇hrtf；并且基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射的振幅來(lái)對(duì)hrtf進(jìn)行修改以在相應(yīng)的發(fā)生時(shí)間點(diǎn)獲得所述反射。

eee8.根據(jù)eee6所述的方法，其中，創(chuàng)建反射包括：

基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的期望方向和預(yù)定的球形頭部模型來(lái)確定hrtf；并且基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的反射的振幅來(lái)對(duì)hrtf進(jìn)行修改以便在相應(yīng)的發(fā)生時(shí)間點(diǎn)獲得反射。

eee9.根據(jù)eee5所述的方法，其中，創(chuàng)建反射包括：基于相應(yīng)的發(fā)生時(shí)間點(diǎn)的期望方向和確定的振幅并且基于預(yù)定的球形頭部模型的寬帶耳間時(shí)差和耳間聲強(qiáng)差來(lái)生成用于兩個(gè)耳朵的脈沖響應(yīng)。

eee10.根據(jù)eee9所述的方法，其中，創(chuàng)建反射進(jìn)一步包括：

通過(guò)全通濾波器來(lái)對(duì)創(chuàng)建的用于兩個(gè)耳朵的脈沖響應(yīng)進(jìn)行濾波以獲得擴(kuò)散和解相關(guān)。

eee11.根據(jù)eee1所述的方法，其中，該方法是在反饋延遲網(wǎng)絡(luò)中操作的，并且其中生成反射包括通過(guò)hrtf對(duì)音頻輸入信號(hào)進(jìn)行濾波，以便控制至少后期響應(yīng)的早期部分的方向以對(duì)輸入信號(hào)給予期望的感知線(xiàn)索。

eee12.根據(jù)eee11所述的方法，其中，在用hrtf對(duì)音頻輸入信號(hào)進(jìn)行濾波之前，通過(guò)延遲線(xiàn)使音頻輸入信號(hào)延遲。

eee13.根據(jù)eee11所述的方法，其中，在添加通過(guò)至少一個(gè)反饋矩陣饋送回來(lái)的信號(hào)之前，對(duì)所述音頻輸入信號(hào)進(jìn)行濾波。

eee14.根據(jù)eee11所述的方法，其中，與音頻輸入信號(hào)被輸入到反饋延遲網(wǎng)絡(luò)中并行地用hrtf對(duì)音頻輸入信號(hào)進(jìn)行濾波，并且其中，混合來(lái)自反饋延遲網(wǎng)絡(luò)和來(lái)自hrtf的輸出信號(hào)以獲得用于耳機(jī)虛擬化的混響。

eee15.根據(jù)eee11所述的方法，其中，對(duì)于多個(gè)音頻聲道或?qū)ο?，用hrtf對(duì)用于所述多個(gè)音頻聲道或?qū)ο笾械拿總€(gè)的輸入音頻信號(hào)進(jìn)行分離地濾波。

eee16.根據(jù)eee11所述的方法，其中，對(duì)于多個(gè)音頻聲道或?qū)ο?，?duì)用于多個(gè)音頻聲道或?qū)ο蟮妮斎胍纛l信號(hào)進(jìn)行下混和分析以獲得具有主導(dǎo)源方向的音頻混合信號(hào)，該音頻混合信號(hào)被看作是輸入信號(hào)。

eee17.根據(jù)eee1所述的方法，進(jìn)一步包括通過(guò)以下操作來(lái)執(zhí)行最佳過(guò)程：

重復(fù)生成反射以獲得多小組反射，并且選擇多小組反射中的具有最佳反射特性的一小組反射作為用于輸入信號(hào)的反射；或者重復(fù)生成反射直到獲得預(yù)定反射特性為止。

eee18.根據(jù)eee17所述的方法，其中，生成反射部分地由基于隨機(jī)模式而生成的隨意變量中的至少一些來(lái)驅(qū)動(dòng)。

將意識(shí)到，本發(fā)明的實(shí)施例不限于如以上所討論的特定實(shí)施例，并且修改和其他實(shí)施例意圖被包括在所附權(quán)利要求的范圍內(nèi)。雖然本文中使用了特定術(shù)語(yǔ)，但是它們是以通用的描述性的意義使用的，而不是為了限制的目的。