本文中公開的示例實施例總體上涉及環(huán)繞聲虛擬化,并且更具體地,涉及用于內(nèi)容自適應(yīng)的環(huán)繞聲虛擬化的方法和系統(tǒng)。
背景技術(shù):
在傳統(tǒng)音頻播放系統(tǒng)中,多聲道環(huán)繞聲音頻需要由單獨的音頻信道中的信號驅(qū)動的多個揚聲器,以產(chǎn)生“環(huán)繞聲”聆聽體驗。例如,5聲道音頻需要至少五個揚聲器用于左聲道、中央聲道、右聲道、左環(huán)繞聲道和右環(huán)繞聲道。然而,在諸如個人計算機、耳機、或者頭戴式耳機之類的個人播放環(huán)境中通常僅采用兩個揚聲器。為了用較少揚聲器實現(xiàn)環(huán)繞聲聆聽體驗,可以在音頻播放端設(shè)置虛擬器,以產(chǎn)生對不同聲道的生源的感知。
貫穿本公開內(nèi)容,術(shù)語“虛擬器”(或者“虛擬器系統(tǒng))指的是如下的系統(tǒng),該系統(tǒng)被耦合為并且被配置為接收N個輸入音頻信號的集合(指示來自聲源集合的聲音),并且生成M個輸出音頻信號的集合,M個輸出音頻信號的集合用于由位于與聲源的位置不同的輸出位置處的M個揚聲器的集合(例如,耳機、頭戴式耳機或者喇叭)進行重現(xiàn),其中N和M中的每個是大于一的數(shù)。N可以等于或者不同于M。虛擬器生成(或者嘗試生成)輸出音頻信號,從而當輸出音頻信號被重現(xiàn)時,聆聽者感知到所重現(xiàn)的信號像是從聲源而不是從物理揚聲器的輸出位置處被發(fā)出(聲源位置和輸出位置是相對聆聽者而言的)。
這樣的虛擬器的一個典型示例被設(shè)計為對5聲道輸入音頻信號進行虛擬化并且驅(qū)動兩個物理揚聲器發(fā)出聆聽者感知為來自真實的5聲道聲源的聲音,并且在不需要傳統(tǒng)音頻播放系統(tǒng)中所要求的大量揚聲 器的情況下為聆聽者創(chuàng)建虛擬環(huán)繞聲體驗。一般而言,如果在播放端配置了虛擬器,該虛擬器將完全工作以對所有輸入音頻內(nèi)容執(zhí)行虛擬化,從而產(chǎn)生環(huán)繞聲效果。
技術(shù)實現(xiàn)要素:
本文中公開的示例實施例提出了一種用于內(nèi)容自適應(yīng)的環(huán)繞聲虛擬化的方案。
在一個方面,本文中公開的示例實施例提供了一種虛擬化環(huán)繞聲的方法。該方法包括接收輸入音頻信號的集合,輸入音頻信號中的每個輸入音頻信號指示來自不同聲源中的一個聲源的聲音;并且確定輸入音頻信號的集合屬于預(yù)定義的音頻內(nèi)容類別的概率。該方法還包括基于所確定的概率來確定虛擬量。該虛擬量指示輸入音頻信號的集合被虛擬化為環(huán)繞聲的程度。該方法進一步包括基于所確定的虛擬量來對集合中的輸入音頻信號配對(pair)執(zhí)行環(huán)繞聲虛擬化,并且基于經(jīng)虛擬化的輸入音頻信號和集合中的其他輸入音頻信號,生成輸出音頻信號。這方面的實施例還包括相應(yīng)的計算機程序產(chǎn)品。
在另一個方面,本文中公開的示例實施例提供了一種用于虛擬化環(huán)繞聲的系統(tǒng)。該系統(tǒng)包括音頻接收單元,被配置為接收輸入音頻信號的集合,輸入音頻信號中的每個輸入音頻信號指示來自不同聲源中的一個聲源的聲音;以及內(nèi)容置信度確定單元,被配置為確定輸入音頻信號的集合屬于預(yù)定義的音頻內(nèi)容類別的概率。該系統(tǒng)還包括虛擬量確定單元,被配置為基于所確定的概率來確定虛擬量。該虛擬量指示輸入音頻信號的集合被虛擬化為環(huán)繞聲的程度。該系統(tǒng)進一步包括虛擬器子系統(tǒng),被配置為基于所確定的虛擬量,對集合中的輸入音頻信號配對執(zhí)行環(huán)繞聲虛擬化,并且被配置為基于經(jīng)虛擬化的輸入音頻信號和集合中的其他輸入音頻信號,生成輸出音頻信號。
通過下文描述將會理解,根據(jù)本文中公開的示例實施例,以連續(xù)的方式,經(jīng)由基于輸入音頻的內(nèi)容類型確定的虛擬量,以連續(xù)的方式來適應(yīng)性地控制對輸入音頻的環(huán)繞聲虛擬化。通過這種方式,取決于 所接收的音頻內(nèi)容的不同類型,變化環(huán)繞聲虛擬化的程度,以避免環(huán)繞聲效果對于某些類型的音頻內(nèi)容不適合的情況。本文中公開的示例實施例所帶來的其他益處將通過下文描述而清楚。
附圖說明
通過參考附圖閱讀下文的詳細描述,本文中公開的示例實施例的上述以及其他目的、特征和優(yōu)點將變得易于理解。在附圖中,以示例而非限制性的方式示出了本文中公開的若干示例實施例,其中:
圖1是常規(guī)環(huán)繞聲虛擬器系統(tǒng)的框圖;
圖2是根據(jù)本文中公開的一個示例實施例的環(huán)繞聲虛擬器系統(tǒng)的框圖;
圖3是根據(jù)本文中公開的一個示例實施例的圖2的系統(tǒng)中的虛擬器子系統(tǒng)的框圖;
圖4是根據(jù)本文中公開的另一個示例實施例的圖2的系統(tǒng)中的虛擬器子系統(tǒng)的框圖;
圖5是根據(jù)本文中公開的又一個示例實施例的圖2的系統(tǒng)中的虛擬器子系統(tǒng)的框圖;
圖6示出了根據(jù)本文中公開的一個示例實施例的針對示例輸入音頻片段的置信度得分和虛擬量的示意性曲線圖;
圖7是根據(jù)本文中公開的一個示例實施例的虛擬化環(huán)繞聲的方法的流程圖;以及
圖8是適于實現(xiàn)本文中公開的示例實施例的示例計算機系統(tǒng)的框圖。
在各個附圖中,相同或?qū)?yīng)的標號表示相同或?qū)?yīng)的部分。
具體實施方式
下面將參考附圖中示出的若干示例實施例來描述本文中公開的示例實施例的原理。應(yīng)當理解,描述這些實施例僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進而實現(xiàn)本文中公開的示例實施例,而并非 以任何方式限制本文中公開的主題的范圍。
在本文中使用的術(shù)語“包括”及其變形表示開放性包括,即“包括但不限于”。除非特別申明,術(shù)語“或”表示“和/或”。術(shù)語“基于”表示“至少部分地基于”。術(shù)語“一個示例實施例”和“一個實施例”表示“至少一個示例實施例”。術(shù)語“另一實施例”表示“至少一個另外的實施例”。
在大多數(shù)典型環(huán)繞聲虛擬器系統(tǒng)中,響應(yīng)于多聲道輸入音頻信號的集合,為位于輸出位置的至少兩個物理揚聲器生成輸出信號。圖1描繪了常規(guī)環(huán)繞聲虛擬器系統(tǒng)100的框圖。如所示出的,在這種配置中,5聲道音頻信號被用作輸入,包括指示來自中央前部聲源的聲音的中央(C)聲道信號、指示來自左前部聲源的聲音的左(L)聲道信號、指示來自右前部聲源的聲音的右(R)聲道信號、指示來自左后部聲源的聲音的左環(huán)繞(LS)聲道信號、以及指示來自右后部聲源的聲音的右環(huán)繞(RS)聲道信號。
系統(tǒng)100包括虛擬化單元110,用于生成虛擬左環(huán)繞輸出和虛擬右環(huán)繞輸出(LS’和RS’),以便虛擬化出聆聽者感知為來自LS和RS聲源的聲音。系統(tǒng)100還通過在放大器120中利用增益G來對中央信號C進行放大、來生成幻象中央聲道信號。放大器120的經(jīng)放大的輸出與輸入信號L和左環(huán)繞輸出LS’在相加元件1301中被組合在一起,以生成左輸出信號L’,并且經(jīng)放大的輸出還與輸入信號R和右環(huán)繞輸出RS’在相加元件1302中被組合在一起,以生成右輸出信號R’。輸出信號L’和R’可以由兩個物理揚聲器分別播放,驅(qū)動物理揚聲器發(fā)出如下的聲音,聆聽者感知到該聲音從輸入音頻信號的五個聲源出發(fā)出。
盡管虛擬器可以產(chǎn)生環(huán)繞聲效果并且為聆聽者提供影院般的體驗,虛擬器卻不適用于一些類型的音頻內(nèi)容的重現(xiàn)。一般而言,對于充滿來自各種聲源方向的背景聲、語音和其他聲音的電影內(nèi)容而言,虛擬器可以通常僅需要兩個揚聲器就給出愉悅的環(huán)繞聲效果。然而,對于像純音樂的其他音頻內(nèi)容,聆聽者可能期望關(guān)閉虛擬器,因為環(huán) 繞聲虛擬化可能破壞音樂混音師的藝術(shù)意圖并且經(jīng)虛擬化的音樂音頻的聲像可能被掩蔽或者是模糊的。因此,期望取決于音頻內(nèi)容的類型來應(yīng)用適當?shù)沫h(huán)繞聲虛擬化模式。
針對不同音頻內(nèi)容類型來控制環(huán)繞聲虛擬器的一種可能的方式是事先設(shè)計不同的配置集合。用戶被提供選項來選擇用于要播放的音頻內(nèi)容的適當配置集合。對于與音樂對應(yīng)的配置,虛擬器可以被關(guān)閉,而對于與電影對應(yīng)的配置,虛擬器可以被打開。然而,讓用戶頻繁地在預(yù)先設(shè)計的配置集合之中頻繁地切換將是麻煩和惱人的。因此,用戶將傾向于對所有內(nèi)容保持使用僅一種配置,導(dǎo)致了不良的用戶體驗。此外,由于虛擬器通常以離散的方式在預(yù)先設(shè)計的配置集合之中被打開或關(guān)閉,這還可能導(dǎo)致在轉(zhuǎn)換點處音頻中的一些可聽到的人為噪聲(artifact)。
本文中公開的示例實施例提出了一種用于基于要播放的音頻內(nèi)容功能來自動地適配環(huán)繞聲虛擬器的方案。利用自動模式,用戶可以簡單地享受音頻內(nèi)容而不需要考慮在不同配置之中的手動選擇。虛擬器可以經(jīng)由連續(xù)的虛擬量而被適應(yīng)性地配置而不是以離散方式被打開/關(guān)閉,從而避免了聲效隨著音頻內(nèi)容而突然改變。
圖2描繪了根據(jù)本文中公開的一個示例實施例的環(huán)繞聲虛擬器系統(tǒng)200的框圖。如所示出的,系統(tǒng)200包括音頻接收單元201,內(nèi)容置信度確定單元202,虛擬量確定單元203和虛擬器子系統(tǒng)204。
在系統(tǒng)200中,音頻接收單元201接收要播放的N個輸入音頻信號的集合,其中N是大于1的自然數(shù)。N個輸入音頻信號中的每個音頻信號指示來自不同聲源中的一個聲源的聲音。輸入音頻信號的示例可以包括但不限于3聲道音頻信號、5聲道音頻信號或5.1聲道音頻信號、以及7聲道音頻信號或7.1聲道音頻信號。輸入音頻信號的集合被提供給虛擬器子系統(tǒng)204。虛擬器子系統(tǒng)204用于對N個輸入音頻信號執(zhí)行環(huán)繞聲虛擬化,從而輸入音頻信號可以被虛擬化為使得聆聽者感知為來自不同的聲源的環(huán)繞聲。虛擬器子系統(tǒng)204生成M個輸出音頻信號,其中M是大于1的自然數(shù)。通常,M取決于在播放 端的物理揚聲器的數(shù)目。在諸如個人計算機、耳機和頭戴式耳機之類的一些個人播放環(huán)境中,M可以等于2。
在本文中公開的示例實施例中,虛擬器子系統(tǒng)204的環(huán)繞聲虛擬化可以基于從輸入音頻信號所識別的音頻內(nèi)容類型來控制。內(nèi)容置信度確定單元202和虛擬量確定單元203用于確定控制環(huán)繞聲虛擬化的因數(shù)。具體地,內(nèi)容置信度確定單元202被配置為接收N個輸入音頻信號的集合并且確定針對該集合的置信度得分。置信度得分指示輸入音頻信號的集合屬于預(yù)定義的音頻內(nèi)容類別的概率。虛擬量確定單元203被配置為基于所確定的置信度得分來確定虛擬量(被表示為“VA”)。虛擬量VA指示輸入音頻信號的集合被虛擬化為環(huán)繞聲的程度。這個環(huán)繞聲可以被聆聽者感知為來自輸入音頻信號的不同聲源。
在一個示例實施例中,為了確定置信度得分,內(nèi)容置信度確定單元202可以首先標識輸入音頻信號的集合屬于哪個音頻內(nèi)容類別,并且然后估計該集合關(guān)于該音頻內(nèi)容類別的概率。當前已知或者未來要開發(fā)的任何用于音頻內(nèi)容識別的適當技術(shù)可以被用于標識音頻信號的類別。可以事先定義一個或多個音頻內(nèi)容類別。這些類別的示例包括但不限于音樂、語音、背景聲、噪聲之類的。預(yù)定義的類別的數(shù)目可以取決于所期望的音頻內(nèi)容分類的粒度。在一些示例實施例中,輸入音頻信號可能是不同類型的音頻內(nèi)容的混合。在這種情況下,可以由內(nèi)容置信度確定單元202來估計針對一些或所有預(yù)定義的類別的置信度得分。
虛擬量VA可以被提供給虛擬器子系統(tǒng)204,用于控制由這個子系統(tǒng)204產(chǎn)生的環(huán)繞聲效果。根據(jù)本文中公開的示例實施例,虛擬器子系統(tǒng)204被配置為對輸入音頻信號的集合執(zhí)行環(huán)繞聲虛擬化。為此,虛擬器子系統(tǒng)204可以基于所確定的虛擬量VA來虛擬化該集合中的輸入音頻信號配對。此外,虛擬器子系統(tǒng)204基于經(jīng)虛擬化的輸入音頻信號和該集合中的其他輸入音頻信號,生成若干輸出音頻信號。如所提及的,輸出音頻信號的數(shù)目取決于所使用的物理揚聲器的數(shù)目。 在一些示例實施例中,該數(shù)目例如大于或等于二。
一般而言,輸入音頻信號以配對為單位被虛擬化。在一個示例中,對于5聲道或5.1聲道音頻信號,LS和RS聲道信號的配對可以被處理以生產(chǎn)虛擬環(huán)繞信號。備選地或附加地,L和R聲道信號的配對、或者C聲道信號和由L與R聲道信號混合的信號的配對也可以被虛擬化。對于7聲道或7.1聲道信號,除了針對5聲道或5.1聲道音頻信號所指示的這些配對之外,還可以備選地或附加地處理在左后(LR)聲道和右后(RR)聲道中的信號的配對。注意到,要虛擬化哪對音頻信號將不會限制本文中公開的主題的范圍。
虛擬量VA可以從表示對輸入音頻信號執(zhí)行的環(huán)繞聲虛擬化的程度的任何適當數(shù)值范圍中進行取值。在一個示例實施例中,虛擬量VA可以從0到1進行取值。在另一個示例實施例中,虛擬量VA可以是0或1的二值化數(shù)值。如果虛擬量VA被設(shè)置為1(它的最高值),虛擬器子系統(tǒng)204可以完全工作以給出環(huán)繞聲效果。如果虛擬量VA降到0(它的最低值),子系統(tǒng)204可以認為被關(guān)閉。也就是說,如果虛擬量VA具有它的最低值,子系統(tǒng)204可以不對音頻信號執(zhí)行額外的處理,并且系統(tǒng)200所得到的輸出信號可以驅(qū)動物理揚聲器發(fā)出使得聆聽者感知為來自位于物理揚聲器處的聲源的聲音,而不是來自輸入音頻信號的聲源的聲音。在虛擬量VA被設(shè)置為最高值與最低值之間的數(shù)值時,例如被設(shè)置為1與0之間的數(shù)值時,虛擬器子系統(tǒng)204可以不完全工作來執(zhí)行環(huán)繞聲虛擬化。虛擬量VA的確定將在以下更詳細地討論。
可以通過使用所確定的虛擬量VA,以各種方式來配置虛擬器子系統(tǒng)204。圖3描繪了將虛擬量VA作為控制因數(shù)的圖2中的系統(tǒng)200的虛擬器子系統(tǒng)204的框圖。要注意的是,支持環(huán)繞聲虛擬化的詳細結(jié)構(gòu)30僅被描繪為圖3和以下圖4-5中的虛擬器子系統(tǒng)204中的說明性示例。虛擬器子系統(tǒng)204可以包括更多、更少或其他的單元或組件,這些單元或組件以與圖3和以下圖4-5中所圖示的單元相同的方式來執(zhí)行環(huán)繞聲虛擬化的功能。還要注意的是,在圖3和以下圖4-5 中,出于解釋說明的目的而給出5聲道輸入音頻信號和用于由一對物理揚聲器重現(xiàn)的兩個輸出音頻信號。其他格式的音頻信號也可以用作輸入,并且取決于用于播放的物理揚聲器的數(shù)目,輸出音頻信號的數(shù)目可以多于兩個。
虛擬器子系統(tǒng)204中用于實現(xiàn)環(huán)繞聲虛擬化的結(jié)構(gòu)30可以類似于圖1中所圖示的結(jié)構(gòu)。在虛擬器子系統(tǒng)204中,虛擬化單元210用于虛擬化左環(huán)繞聲道輸入LS和右環(huán)繞聲道輸入RS,以生成左環(huán)繞輸出LS’和右環(huán)繞輸出RS’。虛擬器子系統(tǒng)204還通過經(jīng)由放大器2201利用增益G劃分中央信道輸入C、來生成幻象中央聲道信號。虛擬器子系統(tǒng)204然后經(jīng)由相加元件2301和2302將輸出LS’和RS’與L和R聲道輸入以及幻象中央聲道信號進行組合,以生成左輸出和右輸出L’和R’。輸出L’和R’可以分別被呈現(xiàn)在相對于聆聽者的物理位置處的兩個物理揚聲器上。
在虛擬化單元210的虛擬化過程期間,可以使用模型來虛擬化從(輸入音頻信號的)聲源到人耳的傳播過程,從而聆聽者可以感知到位于聲源處的一些虛擬揚聲器發(fā)出聲音。這樣的模型的一個示例是如圖3所示的雙耳模型211。如果物理喇叭(與耳機不同)被用于呈現(xiàn)輸出音頻信號,可以嘗試將從左喇叭到左耳的聲音與從右喇叭到右耳的聲音進行隔離。虛擬器子系統(tǒng)204可以使用串音消除器212來實現(xiàn)這種隔離。串音消除器212可以被設(shè)計為從物理喇叭到人耳的聲音傳播的逆過程。
在常規(guī)虛擬器系統(tǒng)中,聲源的位置(例如,虛擬揚聲器的位置)是預(yù)定且固定的。因此,輸出音頻信號總是聽起來像是來自這些聲源,生成了環(huán)繞聲效果。為了控制環(huán)繞聲效果的程度,在圖3的示例中,虛擬器子系統(tǒng)204可以進一步包括位置調(diào)整單元240,用于基于虛擬量VA來調(diào)整在環(huán)繞聲虛擬量期間所利用的位置信息。
位置調(diào)整單元240可以被配置為基于虛擬量VA和物理揚聲器的物理位置,來調(diào)整要被虛擬化的(多個)輸入音頻信號配對的聲源的預(yù)定的位置信息。經(jīng)調(diào)整的位置信息然后可以被傳遞給虛擬化單元 210,由例如雙耳模型211使用作為虛擬揚聲器的位置。根據(jù)環(huán)繞聲虛擬化的原則,雙耳模型211中的虛擬揚聲器的位置可以與虛擬化聲音的空間圖像寬度直接相關(guān)。如果虛擬揚聲器被定位在目標物理揚聲器處,雙耳模型211和串音消除器212可以被認為是被除去,并且虛擬化單元210因此被認為是關(guān)閉的。因此,位置調(diào)整單元240可以經(jīng)由虛擬量VA來調(diào)整虛擬揚聲器的位置,以便模擬虛擬化單元210可以針對不同的音頻內(nèi)容而被適應(yīng)性地啟用或禁用的行為。
在本文中公開的一些示例實施例中,如果虛擬量VA被確定為較大,這意味著期望虛擬器子系統(tǒng)204完全工作。在這種情況下,位置調(diào)整單元240可以將虛擬揚聲器的位置(對應(yīng)于要被虛擬化的輸入音頻信號的聲源位置,在圖3的示例中,是輸入LS和RS的聲源位置)調(diào)整朝向它們的預(yù)定位置,以便產(chǎn)生環(huán)繞聲。在虛擬量VA較小的情況下,虛擬揚聲器的位置可以被移動朝向物理揚聲器的位置,以便減少輸出信號的環(huán)繞聲效果。
在一個示例實施例中,每個虛擬揚聲器的位置可以基于虛擬量VA并且基于這個虛擬揚聲器的預(yù)定位置與要用于播放來自這個虛擬揚聲器的聲源的聲音的目標物理揚聲器的位置之間的差異來進行調(diào)整。例如,虛擬揚聲器的位置的調(diào)整可以被表示為如下:
其中θi,virtual表示在雙耳模型211中預(yù)定的虛擬揚聲器i的方位角,θi,physical表示用于播放來自虛擬揚聲器i的聲源的聲音的目標揚聲器i的預(yù)定方位角,并且表示虛擬揚聲器i的經(jīng)調(diào)整的方位角。在圖3的示例中,可以基于VA和用于呈現(xiàn)輸出信號L’的物理揚聲器的位置,在公式(1)中調(diào)整與輸入LS的聲源對應(yīng)的虛擬揚聲器的位置。類似地,可以基于VA和用于呈現(xiàn)輸出信號R’的另一個物理揚聲器的位置,在公式(1)中調(diào)整與輸入RS的聲源對應(yīng)的虛擬揚聲器位置。
從公式(1)可以看出,如果虛擬量VA被確定為1,虛擬揚聲器的位置可以被設(shè)置為它們的預(yù)定方位角(例如,±90°),從而虛擬化 單元210被完全使用。隨著虛擬量VA的減少,虛擬揚聲器的方位角可以被逐漸地旋轉(zhuǎn)朝向物理揚聲器,并且由虛擬器子系統(tǒng)204重現(xiàn)的輸出信號的空間圖像變窄。當虛擬量VA降到0時,虛擬揚聲器的方位角可以與串音消除器212中的物理揚聲器的方位角(例如,±10°)一致,并且雙耳模型211和串音消除器212的聲效可以被除去。在這種情況下,虛擬器子系統(tǒng)204的輸出聽起來與虛擬化單元210關(guān)閉時所重現(xiàn)的信號相同。
在本文中公開的一些示例實施例中,根據(jù)聽覺測試的結(jié)果,虛擬揚聲器的角度改變可能與虛擬化輸出的空間圖像的寬度不是線性相關(guān)。當VA的值較小時,人耳對對應(yīng)的方位角的聲源定位的能力較差,從而空間圖像的改變相較于較大的VA而言變得不那么顯著。因此,在本文中公開的一些示例實施例中,在由置信度得分確定出虛擬量VA之后,虛擬量確定單元203可以進一步以非線性的方式、例如經(jīng)由一些非線性映射函數(shù)來修改所確定的虛擬量VA。非線性映射函數(shù)的示例包括但不限于分段線性函數(shù)、冪函數(shù)、指數(shù)函數(shù)或者三角函數(shù)。通過這種方式,虛擬量可以被修改為與輸出信號的空間圖像的寬度線性相關(guān)。
在本文中公開的一些另外的實施例中,雙耳模型211可以利用頭部相關(guān)傳遞函數(shù)(HRTF)來表示從虛擬揚聲器的聲源到人耳的傳播過程。隨著虛擬揚聲器的方位角改變,可以通過使用在聲學(xué)人體模型或者一些結(jié)構(gòu)模型上測量的復(fù)雜數(shù)據(jù),來單獨地計算虛擬聲源的不同位置的對應(yīng)HRTF。所得到的HRTF可以被存儲以便減少實時計算的復(fù)雜度。如果虛擬揚聲器的位置信息是預(yù)定且固定的,僅需要存儲一個對應(yīng)的HRTF系數(shù)集合。然而,隨著位置信息的調(diào)整,與所有可用的方位角對應(yīng)的HRTF系數(shù)的存儲可以需要較大的存儲。
為了節(jié)省存儲空間,在本文中公開的一些示例實施例中,可以事先計算和存儲針對與不同位置信息對應(yīng)的HRTF的少量系數(shù)集合。預(yù)先存儲的HRFT的方位角可以在虛擬揚聲器的預(yù)定位置與物理喇叭的預(yù)定位置之間的范圍內(nèi)均勻地分布,或者在考慮到人耳對不同方位角 的聲源定位能力時在該范圍內(nèi)非線性地分布。虛擬器子系統(tǒng)204,例如子系統(tǒng)204中的虛擬化單元210可以基于預(yù)定義的系數(shù)集合來獲得與經(jīng)調(diào)整的位置信息相對應(yīng)的HRTF的系數(shù)集合。
在本文中公開的一些示例實施例中,如果存在與經(jīng)調(diào)整的位置信息相對應(yīng)的HRTF的預(yù)定義系數(shù)集合,虛擬化單元210可以直接選擇并且使用這個系數(shù)集合。如果不存在這樣的預(yù)定義的系數(shù)集合,虛擬化單元210可以通過對與另外的位置信息相對應(yīng)的另外的HRTF的預(yù)定義系數(shù)集合進行插值,來確定針對HRTF的系數(shù)集合。例如,可以根據(jù)預(yù)先存儲的這些系數(shù)集合,通過線性插值來確定針對HRTF的系數(shù)集合。隨著預(yù)先存儲的HRTF系數(shù)的數(shù)目減少,HRTF系數(shù)所需要的存儲空間也可以減少。在一些示例中,可以針對物理揚聲器的位置與±30°之間的方位角來預(yù)先設(shè)置5個HRTF系數(shù)集合,并且針對±30°與雙耳模型211中的虛擬揚聲器的預(yù)定位置之間的方位角來預(yù)先設(shè)置另外5個HRTF系數(shù)集合。注意的是,可以預(yù)先存儲任何其他數(shù)量的HRTF系數(shù)集合,并且本文中公開的主題的范圍在此方面不受影響。
在本文中公開的一些其他示例實施例中,虛擬量VA可以用于在虛擬器子系統(tǒng)204被打開時的輸出與被關(guān)閉時的輸出之間的混合權(quán)重。圖4描繪了這樣的系統(tǒng)的框圖。在圖4的示例中,虛擬化單元210可以獨立于虛擬量VA來對輸入音頻信號配對LS和RS執(zhí)行正常的環(huán)繞聲虛擬化,以生成虛擬環(huán)繞輸出LS’和RS’。虛擬環(huán)繞輸出LS’和RS’和原始輸入音頻信號LS和RS然后可以基于虛擬量VA、經(jīng)由(線性)插值來進行混合??梢栽跁r域或者頻域中進行直接的差值。
如圖4所示,除了在圖3的結(jié)構(gòu)30中用于實現(xiàn)環(huán)繞聲虛擬化的這些單元或模塊之外,虛擬器子系統(tǒng)204可以進一步包括另外的放大器2202-2205和相加元件2303和2304,用于基于虛擬量VA來控制子系統(tǒng)204的環(huán)繞聲虛擬化。放大器2202-2205和相加元件2303和2304可以被認為是被增加到子系統(tǒng)204中的混合結(jié)構(gòu)。
在本文中公開的一些示例實施例中,放大器2202和2203被配置為分別經(jīng)由增益(1-VA)來放大原始輸入LS和RS,而放大器2204 和2205被配置為分別使用增益VA來放大來自虛擬化單元210的虛擬輸出LS’和RS’。放大器2202和2204的經(jīng)放大的信號由相加元件2303組合以生成輸出LS”,并且放大器2203和2205的經(jīng)放大的信號由相加元件2304組合以生成輸出RS”?;旌线^程可以例如表示如下:
LS”=(1-VA)*LS+VA*LS’ (2)
RS”=(1-VA)*RS+VA*RS’ (3)
利用混合過程,如果虛擬量VA被設(shè)置成0,可以認為虛擬化單元210被關(guān)閉,并且輸入信號LS和RS可以由物理揚聲器呈現(xiàn)而不需要單元210的額外虛擬化處理。隨著虛擬量VA的增加,更多由虛擬化單元210虛擬化的信號可以被混合進來,從而逐漸地增強環(huán)繞聲效果。所得到的混合信號(LS”和RS”)然后可以與前部信道信號L、R和C一起組合以產(chǎn)生輸出L’和R’。
在一些使用情況下,要被虛擬化的音頻信號、諸如信號LS和RS可以在頻域中被處理。可以考慮例如對在高頻處HRTF和頭部移動的不確定性的魯棒性,可以在頻率范圍基礎(chǔ)上執(zhí)行環(huán)繞聲虛擬化。在本文中公開的一些示例實施例中,虛擬量VA可以用于控制在虛擬器子系統(tǒng)204中要被處理的有效頻率范圍。圖5描繪了在這些實施例中的虛擬器子系統(tǒng)204的框圖。
在圖5的示例中,虛擬器子系統(tǒng)204包括有效頻率范圍確定單元250,其被配置為基于虛擬量VA來確定用于在虛擬化單元210中執(zhí)行的環(huán)繞聲虛擬化的有效頻率范圍。虛擬量VA可以用于調(diào)諧有效頻率范圍的上限和/或下限?;趩卧?50的確定結(jié)果,虛擬化單元210、包括雙耳模型211和串音消除器212可以處理有效頻率范圍中的音頻信號。當虛擬量VA被設(shè)置為1時,可以實施全頻帶環(huán)繞聲虛擬化。隨著虛擬量VA的減少,要被處理的有效帶寬可以被降低,從而可以削弱環(huán)繞聲效果。如果虛擬量VA是0和1之間的值,有效頻率范圍確定單元250可以確定帶寬低于全頻帶范圍的一個或多個有效頻率范圍。所確定的多個有效頻率范圍可以是非連續(xù)的。當虛擬量VA降到 0時,虛擬化單元210可以等同于被禁用。因此,通過由虛擬量來控制有效頻率范圍,單元210的環(huán)繞聲虛擬化可以針對不同類型的音頻內(nèi)容而進行適應(yīng)性地配置。
將認識到,盡管在圖3-5的示例中僅一個虛擬化單元210用于虛擬化5聲道輸入的信號LS和RS,虛擬器子系統(tǒng)204可以備選地或附加地包括與單元210的作用相同的一些其他虛擬化單元,用于處理其他輸入音頻信號配對,諸如信號L和R的配對。圖3的位置調(diào)整單元240,圖4的放大器2202-2205和相加元件2303-2304,和/或圖5的有效頻率范圍確定單元250還可以被配置為基于虛擬量VA來控制所有虛擬化單元的環(huán)繞聲虛擬化。
參考回圖2,如以上所討論的,在圖2的虛擬量確定單元203中確定的虛擬量VA用于以連續(xù)的方式來調(diào)諧虛擬器子系統(tǒng)204中的環(huán)繞聲虛擬化。在本文中公開的一些示例實施例中,可以根據(jù)來自內(nèi)容置信度確定單元202的針對預(yù)定義音頻內(nèi)容類別的概率(置信度得分),經(jīng)由一些控制函數(shù)來估計虛擬量VA。在一個示例實施例中,音頻內(nèi)容可以被粗略地分類為音樂類別和非音樂類別。在一些其他示例實施例中,音頻內(nèi)容可以被分類成更精細的類別。例如,非音樂類別可以被劃分為語音子類別、背景聲子類別和/或噪聲子類別。
如所提及的,期望針對音樂內(nèi)容,自動地禁用環(huán)繞聲效果。因此,在一些示例實施例中,虛擬量VA可以僅與音樂類別的置信度得分相關(guān)。虛擬量確定單元203可以被配置為基于由內(nèi)容置信度確定單元202確定的針對音樂類別的置信度得分來設(shè)置虛擬量VA。虛擬量VA可以被確定為輸入音頻信號的集合屬于音樂類別的概率的遞減函數(shù),該概率對應(yīng)于置信度得分。通過這種方式,當針對音樂類別的置信度得分處于高水平時,虛擬量VA可以接近于0,并且如以上所討論的,經(jīng)虛擬化的環(huán)繞聲效果將被顯著地削弱。在一些示例實施例中,虛擬量VA可以與針對音樂類別的置信度得分成反比。例如,當虛擬量VA從0到1進行取值時,VA可以被設(shè)置為與1和針對音樂類別的置信度得分之間的差異成比例,這可以被表示如下:
VA∝(1-MCS) (4)
其中∝表示“成比例”,并且MCS表示音樂類別的置信度(概率),其可以從0到1進行取值。
備選地或附加地,在本文中公開的一些示例實施例中,期望為非音樂內(nèi)容、諸如電影內(nèi)容啟用環(huán)繞聲效果。虛擬量VA還可以與針對非音樂類別的置信度得分相關(guān)。在一個示例實施例中,虛擬量確定單元203可以被配置為基于針對非音樂類別的置信度得分來確定虛擬量VA。在一個示例實施例中,虛擬量VA可以被設(shè)置為輸入音頻信號的集合屬于非音樂類別的概率的遞增函數(shù),該概率對應(yīng)于置信度得分。例如,虛擬量VA可以與針對非音樂類別的置信度得分成正比。
在一些情況下,僅針對音樂類別或非音樂類別的高置信度得分不足以確定音樂內(nèi)容或非音樂內(nèi)容在輸入音頻信號的音頻片段中占主導(dǎo),因為不同類型的音頻內(nèi)容是獨立地被標識的。如果該音頻片段具有相對豐富的非音樂內(nèi)容,盡管針對音樂類別的置信度的值也較大,經(jīng)虛擬化的環(huán)繞聲效果也可能不會被明顯地抑制。因此,除了針對音樂類別的置信度得分之外,在確定虛擬量VA的時候,還可以聯(lián)合地考慮其他音頻內(nèi)容類別的置信度得分(例如,針對非音樂類別的置信度得分)。
在一個示例實施例中,虛擬量確定單元203可以被配置為基于針對音樂類別的置信度得分和針對非音樂類別的置信度得分來設(shè)置虛擬量VA。虛擬量VA可以被設(shè)置為與針對音樂類別的置信度得分負相關(guān),并且與針對非音樂類別的置信度得分正相關(guān)。通過這種方式,當針對非音樂類別的置信度得分處于較高水平時,虛擬量VA可以接近于1,并且經(jīng)虛擬化的環(huán)繞聲效果將被顯著地增強。如果在音頻片段中不包括非音樂內(nèi)容,輸入音頻信號可以被標識為純音樂,并且虛擬量VA可以被設(shè)置為0。
在虛擬量VA從0到1進行取值的一個示例中,針對音樂類別的置信度得分可以由針對非音樂類別的置信度得分進行加權(quán),并且虛擬 量VA可以被確定為與針對音樂類別的經(jīng)加權(quán)的置信度得分成反比。例如,虛擬量VA與針對音樂類別的置信度得分和針對非音樂類別的置信度得分之間的關(guān)閉可以被表示如下:
VA∝(1-MCS*(1-nonMCSP)) (5)
其中MCS表示針對音樂類別的置信度得分,nonMCS表示針對非音樂類別的置信度得分,P表示針對nonMCS的加權(quán)系數(shù),并且∝表示“成比例”。MCS和nonMCS可以從0到1進行取值。在一些示例中,根據(jù)不同的應(yīng)用場景,P可以被設(shè)置為1、2或3。從公式(5)可以看出,針對非音樂類別的置信度得分用于對音樂類別的置信度得分對虛擬量VA的影響進行加權(quán)。虛擬量VA可以被設(shè)置為與針對非音樂類別的置信度得分正相關(guān),并且與針對音樂類別的置信度得分負相關(guān)。
在本文中公開的一些示例實施例中,針對非音樂類別的置信度得分可以被表示為針對所有非音樂內(nèi)容的聯(lián)合置信度得分,非音樂內(nèi)容諸如語音、背景聲和噪聲。內(nèi)容置信度確定單元202可以確定輸入音頻內(nèi)容的集合屬于相應(yīng)的語音子類別、背景聲子類別和噪聲子類別的概率。所確定的概率可以用作這些子類別的置信度得分。內(nèi)容置信度確定單元202然后可以基于針對這些子類別的置信度得分來估計針對非音樂類別的置信度得分。例如,針對非音樂類別的置信度得分可以被確定為它的子類別的置信度得分的函數(shù),這可以被表示為如下:
nonMCS=f(SCS,BCS,NCS) (6)
其中nonMCS表示非音樂類別的置信度得分,SCS表示語音子類別的置信度得分,BCS表示背景聲子類別的置信度得分,NCS表示噪聲子類別的置信度得分,并且f(·)表示nonMCS與其他置信度得分SCS、BCS和NCS之間的映射函數(shù)。nonMCS、SCS、BCS和NCS可以從0到1進行取值。函數(shù)f(·)可以是最大值函數(shù)、平均函數(shù)、加權(quán)平均函數(shù)等等。注意到,在確定nonMCS時,可以考慮SCS、BCS和NCS中的一些而不是全部。
在本文中公開的一些示例實施例中,置信度得分和虛擬量VA可 以針對輸入的音頻片段進行連續(xù)地確定。為了避免虛擬量VA的突然改變并且為了在時間上更平滑地控制虛擬器子系統(tǒng)204的行為,可以應(yīng)用一些平滑方法。以上討論的不同參數(shù)可以被平滑,諸如不同音頻內(nèi)容類別/子類別的置信度得分以及虛擬量VA中的一個或多個可以被平滑。
針對當前輸入音頻片段(例如,當前音頻幀)所確定的每個參數(shù)可以從針對先前音頻片段所確定的對應(yīng)參數(shù)進行平滑。在一個示例實施例中,通過利用加權(quán)平均平滑方法,針對當前輸入音頻片段確定的參數(shù)和針對先前音頻片段確定的對應(yīng)參數(shù)可以對經(jīng)平滑的參數(shù)具有相應(yīng)的貢獻。這些貢獻取決于平滑因數(shù)。例如,可以利用如下的用于平滑參數(shù)的加權(quán)平均方法:
Parasmooth(n)=α*Parasmooth(n-1)+(1-α)*Para(n) (7)
其中n表示幀索引,Para(n)表示針對幀n確定的參數(shù),Parasmooth(n)表示針對幀n的經(jīng)平滑的參數(shù),Parasmooth(n-1)表示針對幀n-1的經(jīng)平滑的參數(shù),并且α表示在0到1的范圍內(nèi)的平滑因數(shù)。平滑因數(shù)α的值越大,該參數(shù)越平滑地改變。根據(jù)不同的應(yīng)用場景,平滑因數(shù)α的時間常量可以被設(shè)置為0.5s、1s、2s之類的。注意到,可以以類似的方式設(shè)計其他平滑函數(shù),諸如非對稱平滑函數(shù)或者分段平滑函數(shù)。
在本文中公開的一些另外的示例實施例中,為了調(diào)節(jié)虛擬量VA的動態(tài)范圍,還可以在虛擬量確定單元203中采用縮放(scaling)和/或類sigmoid的函數(shù)。在一個示例實施例中,虛擬量確定單元203可以被配置為將虛擬量VA的值限制在0和1之間的范圍。存在可以用于縮放虛擬量VA的各種縮放函數(shù),并且以下給出了兩個示例函數(shù):
h(VA)=min(max(sigmoid(a*VA+b),0),1) (8)
或者,h(VA)=min(max(a*VA+b,0),1) (9)
其中h(VA)表示經(jīng)修改的虛擬量,sigmoid(·)表示sigmoid函數(shù),max(·)表示最大值函數(shù),min(·)表示最小值函數(shù),并且因數(shù)a和b表示用于 約束虛擬量的增益和偏移。
利用平滑和縮放過程,虛擬量VA可以在不同應(yīng)用場景中被設(shè)置為適當?shù)闹?。圖6示出了根據(jù)本文中公開的一個示例實施例的針對示例輸入音頻片段的置信度得分和虛擬量的示意性曲線圖。在圖6中分析的輸入音頻片段是一段具有背景聲和噪聲的聲效(長度是1分鐘)、一段流行音樂(長度是34秒)和一段電影音頻(長度是43秒)的級聯(lián)。注意到,這個音頻片段僅僅被給出作為說明性示例。
在圖6的圖形(1)中示出了音頻片段中針對音樂的置信度得分的變化曲線。在圖形(2)-(4)中,示出了針對語音、背景聲和噪聲的置信度得分的變化曲線?;卺槍τ谡Z音、背景聲和噪聲的置信度得分,通過例如公式(6)來計算針對非音樂的置信度得分,并且結(jié)果被示出在圖形(5)中。基于圖(1)的針對音樂的置信度得分和圖形(5)的針對非音樂的置信度得分,確定圖形(6)中的初始虛擬量VA。初始虛擬量VA可以例如由公式(7)進行進一步平滑,以避免突然的改變,并且圖形(7)示出了虛擬量VA的經(jīng)平滑的曲線。備選地或附加地,虛擬量VA還可以例如由公式(8)進行縮放,以獲得如圖形(8)所示的曲線。
要理解的是,系統(tǒng)200的各部件可以是硬件模塊,也可以是軟件單元模塊。例如,在一些示例實施例中,該系統(tǒng)可以部分或者全部利用軟件和/或固件來實現(xiàn),例如被實現(xiàn)為包含在計算機可讀介質(zhì)上的計算機程序產(chǎn)品。備選地或附加地,該系統(tǒng)可以部分或者全部基于硬件來實現(xiàn),例如被實現(xiàn)為集成電路(IC)、專用集成電路(ASIC)、片上系統(tǒng)(SOC)、現(xiàn)場可編程門陣列(FPGA)等。本文中公開的主題的范圍在此方面不受限制。
圖7描繪了根據(jù)本文中公開的一個示例實施例的虛擬化環(huán)繞聲的方法700的流程圖。方法700開始于步驟710,其中接收輸入音頻信號的集合,每個輸入音頻信號指示來自不同聲源中的一個聲源的聲音。在步驟720中,確定輸入音頻信號的集合屬于預(yù)定義的音頻內(nèi)容類別的概率。然后,在步驟730中基于所確定的概率來確定虛擬量。 虛擬量指示輸入音頻信號的集合被虛擬化為環(huán)繞聲的程度。在步驟740中,基于所確定的虛擬量來對集合中的輸入音頻信號配對執(zhí)行環(huán)繞聲虛擬化,并且在步驟750中,基于經(jīng)虛擬化的輸入音頻信號和集合中的其他輸入音頻信號,生成輸出音頻信號。
在本文中公開的一些示例實施例中,輸出音頻信號可以用于驅(qū)動在相對于聆聽者的物理位置處的物理揚聲器。在本文中公開的一些示例實施例中,可以基于虛擬量和物理揚聲器的物理位置來調(diào)整針對于輸入音頻信號配對的聲源的預(yù)定位置信息,并且然后可以基于經(jīng)調(diào)整的位置信息來對輸入音頻信號配對執(zhí)行環(huán)繞聲虛擬化。
在本文中公開的一些示例實施例中,可以以非線性方式修改虛擬量。在本文中公開的一些示例實施例中,可以基于經(jīng)修改的虛擬量來調(diào)整預(yù)定位置信息。
在本文中公開的一些示例實施例中,可以獲得針對與經(jīng)調(diào)整的位置信息相對應(yīng)的HRTF的系數(shù)集合,并且可以基于所獲得的系數(shù)集合來處理輸入音頻信號配對。
在本文中公開的一些示例實施例中,可以響應(yīng)于找到針對與經(jīng)調(diào)整的位置信息相對應(yīng)的HRTF的預(yù)定義系數(shù)集合,選擇預(yù)定義系數(shù)集合。在本文中公開的一些示例實施例中,可以響應(yīng)于未找到針對與經(jīng)調(diào)整的位置信息相對應(yīng)的HRTF的預(yù)定義系數(shù)集合,通過對與另外的位置信息相對應(yīng)的另外的HRTF的預(yù)定義系數(shù)集合進行插值,確定針對HRTF的系數(shù)集合。
在本文中公開的一些示例實施例中,可以獨立于虛擬量來對輸入音頻信號配對執(zhí)行環(huán)繞聲虛擬化。然后,可以基于虛擬量,將輸入音頻信號配對和經(jīng)虛擬化的輸入音頻信號進行混合。
在本文中公開的一些示例實施例中,可以基于虛擬量來確定針對輸入音頻信號配對的有效頻率范圍??梢栽谒_定的有效頻率范圍內(nèi)對輸入音頻信號配對執(zhí)行環(huán)繞聲虛擬化。
在本文中公開的一些示例實施例中,預(yù)定義的音頻內(nèi)容類別可以包括音樂類別。在本文中公開的一些示例實施例中,可以將虛擬量確 定為集合屬于音樂類別的概率的遞減函數(shù)。
在本文中公開的一些示例實施例中,預(yù)定義的音頻內(nèi)容類別可以包括非音樂類別。在本文中公開的一些示例實施例中,可以將虛擬量確定為集合屬于非音樂類別的概率的遞增函數(shù)。
在本文中公開的一些示例實施例中,非音樂類別可以包括以下至少兩個子類別:語音子類別、背景聲子類別和噪聲子類別。在本文中公開的一些示例實施例中,可以確定集合屬于至少兩個子類別中的每個子類別的概率,并且可以基于至少兩個子類別的所確定的概率來確定集合屬于非音樂類別的概率。
圖8描繪了適于用來實現(xiàn)本文中公開的示例實施例的示例計算機系統(tǒng)800的示意性框圖。如所描繪的,計算機系統(tǒng)800包括中央處理單元(CPU)801,其可以根據(jù)存儲在只讀存儲器(ROM)802中的程序或者從存儲部分808加載到隨機訪問存儲器(RAM)803中的程序而執(zhí)行各種適當?shù)膭幼骱吞幚?。如所需要的,在RAM 803中,還存儲有CPU 801執(zhí)行各種過程等需要的數(shù)據(jù)。CPU 801、ROM 802以及RAM 803通過總線804彼此相連。輸入/輸出(I/O)接口805也連接至總線804。
以下部件連接至I/O接口805:包括鍵盤、鼠標等的輸入部分806;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分807;包括硬盤等的存儲部分808;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分809。通信部分809經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動器810也根據(jù)需要連接至I/O接口805??刹鹦督橘|(zhì)811,諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等,根據(jù)需要安裝在驅(qū)動器810上,以便于從其上讀出的計算機程序根據(jù)需要被安裝入存儲部分808。
特別地,根據(jù)本文中公開的示例實施例,上文參考圖7描述的方法可以被實現(xiàn)為計算機軟件程序。例如,本文中公開的示例實施例包括一種計算機程序產(chǎn)品,其包括有形地包含在機器可讀介質(zhì)上的計算機程序,所述計算機程序包含用于執(zhí)行方法700的程序代碼。在這樣 的實施例中,該計算機程序可以通過通信部分809從網(wǎng)絡(luò)上被下載和安裝,和/或從可拆卸介質(zhì)811被安裝。
一般而言,本文中公開的各種示例實施例可以在硬件或?qū)S秒娐?、軟件、邏輯,或其任何組合中實施。某些方面可以在硬件中實施,而其他方面可以在可以由控制器、微處理器或其他計算設(shè)備執(zhí)行的固件或軟件中實施。當本文中公開的示例實施例的各方面被圖示或描述為框圖、流程圖或使用某些其他圖形表示時,將理解此處描述的方框、裝置、系統(tǒng)、技術(shù)或方法可以作為非限制性的示例在硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其他計算設(shè)備,或前述的某些組合中實施。
而且,流程圖中的各框可以被看作是方法步驟,和/或計算機程序代碼的操作生成的操作,和/或理解為執(zhí)行相關(guān)功能的多個耦合的邏輯電路元件。例如,本文中公開的實施例包括計算機程序產(chǎn)品,該計算機程序產(chǎn)品包括有形地實現(xiàn)在機器可讀介質(zhì)上的計算機程序,該計算機程序包含被配置為實現(xiàn)上文描述方法的程序代碼。
在公開的上下文內(nèi),機器可讀介質(zhì)可以是包含或存儲用于或有關(guān)于指令執(zhí)行系統(tǒng)、裝置或設(shè)備的程序的任何有形介質(zhì)。機器可讀介質(zhì)可以是機器可讀信號介質(zhì)或機器可讀存儲介質(zhì)。機器可讀介質(zhì)可以包括但不限于電子的、磁的、光學(xué)的、電磁的、紅外的或半導(dǎo)體系統(tǒng)、裝置或設(shè)備,或其任意合適的組合。機器可讀存儲介質(zhì)的更詳細示例將包括帶有一根或多根導(dǎo)線的電氣連接、便攜式計算機磁盤、硬盤、隨機存儲存取器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM或閃存)、便攜式壓縮盤只讀存儲器(CD-ROM)、光存儲設(shè)備、磁存儲設(shè)備,或前述的任意合適的組合。
用于實現(xiàn)本文中公開的方法的計算機程序代碼可以用一種或多種編程語言編寫。這些計算機程序代碼可以提供給通用計算機、專用計算機或其他可編程的數(shù)據(jù)處理裝置的處理器,使得程序代碼在被計算機或其他可編程的數(shù)據(jù)處理裝置執(zhí)行的時候,引起在流程圖和/或框圖中規(guī)定的功能/操作被實施。程序代碼可以完全在計算機上、部分在 計算機上、作為獨立的軟件包、部分在計算機上且部分在遠程計算機上或完全在遠程計算機或服務(wù)器上執(zhí)行。程序代碼可以被分布在被特定編程的設(shè)備,這些設(shè)備通常在本文中可以被稱為“模塊”。這些模塊的軟件分組部分可以以任何具體計算機語言來編寫并且可以是單片集成代碼庫的一部分,或者可以被開發(fā)成多個離散代碼部分,諸如通常以面向?qū)ο蟮挠嬎銠C語言來開發(fā)。此外,模塊可以跨多個計算機平臺、服務(wù)器、終端、移動設(shè)備等來分布。給定的模塊甚至可以被實施為使得所描述的功能由單個處理器和/或計算機硬件平臺來執(zhí)行。
如本申請中所使用的,術(shù)語“電路裝置”指的是以下的所有:(a)僅硬件電路實現(xiàn)方式(諸如僅模擬電路裝置和/或僅數(shù)字電路裝置的實現(xiàn)方式)以及(b)與電路和軟件(和/或固件)的組合,諸如(如果可用的話):(i)與處理器的組合或(ii)處理器/軟件(包括數(shù)字信號處理器)、軟件和存儲器的部分,這些部分一起工作以使得裝置(諸如移動電話或服務(wù)器)執(zhí)行各種功能,以及(c)電路,諸如微處理器或微處理器的一部分,其需要軟件或固件用于操作,即使軟件或固件不是物理存在的。此外,本領(lǐng)域技術(shù)人員已知的是,通信媒介通常體現(xiàn)計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或模塊化數(shù)據(jù)信號中的其他數(shù)據(jù),該數(shù)據(jù)信號諸如載波或其他傳輸機制,并且通信媒介包括任何信息傳送媒介。
另外,盡管操作以特定順序被描繪,但這并不應(yīng)該理解為要求此類操作以示出的特定順序或以相繼順序完成,或者執(zhí)行所有圖示的操作以獲取期望結(jié)果。在某些情況下,多任務(wù)和并行處理會是有益的。同樣地,盡管上述討論包含了某些特定的實施細節(jié),但這并不應(yīng)解釋為限制本文中公開的主題或權(quán)利要求的范圍,而應(yīng)解釋為對可以針對特定實施例的特征的描述。本說明書中在分開的實施例的上下文中描述的某些特征也可以整合實施在單個實施例中。相反地,在單個實施例的上下文中描述的各種特征也可以分離地在多個實施例或在任意合適的子組合中實施。
針對本文中公開的前述示例實施例的各種修改、改變將在連同附 圖查看前述描述時對相關(guān)技術(shù)領(lǐng)域的技術(shù)人員變得明顯。任何及所有修改將仍落入非限制的和本文中公開的示例實施例范圍。此外,前述說明書和附圖存在啟發(fā)的益處,涉及本文中公開的這些實施例的技術(shù)領(lǐng)域的技術(shù)人員將會想到此處闡明的其他實施例。
由此,本主題可以通過在此描述的任何形式來實現(xiàn)。例如,以下的枚舉示例實施例(EEE)描述了本文中公開的主題的某些方面的某些結(jié)構(gòu)、特征和功能。
EEE 1.一種通過以連續(xù)的方式調(diào)諧虛擬量來自動地配置環(huán)繞聲虛擬器的方法,該虛擬量在由音頻分類技術(shù)標識的輸入音頻內(nèi)容的基礎(chǔ)上被評估。
EEE 2.根據(jù)EEE 1的方法,音頻內(nèi)容包括諸如音樂、語音、背景聲和噪聲之類的音頻類型。
EEE 3.根據(jù)EEE 1的方法,虛擬量用于獲得虛擬器中的虛擬揚聲器的方位角。
EEE 4.根據(jù)EEE 1的方法,虛擬量用于進行在虛擬器被打開時產(chǎn)生的輸出與被關(guān)閉時產(chǎn)生的輸出之間的混合。
EEE 5.根據(jù)EEE 1的方法,虛擬量用于調(diào)整要在虛擬器中處理的有效頻帶。
EEE 6.根據(jù)EEE 1的方法,虛擬量可以被設(shè)置為與(1–MCS)成比例,其中MCS表示音樂的置信度得分。
EEE 7.根據(jù)EEE 1的方法,虛擬量可以被設(shè)置為與(1–MCS*(1-nonMCSP))成比例,其中MCS表示音樂的置信度得分,nonMCS表示非音樂的置信度得分,并且P表示加權(quán)系數(shù)。
EEE 8.根據(jù)EEE 7的方法,nonMCS可以基于SCS、BCS和NCS的最大值、平均值或加權(quán)平均值來設(shè)置,其中SCS表示語音的置信度得分、BCS表示背景聲的置信度得分、并且SCS表示噪聲的置信度得分。
EEE 9.根據(jù)EEE 7的方法,參數(shù)MCS、nonMCS、SCS、BCS和NCS以及虛擬量中的一個或多個可以被平滑,以便避免突然這些參數(shù) 的改變并且獲得這些參數(shù)的更平滑的估計。
EEE 10.根據(jù)EEE 9的方法,在參數(shù)的平滑時,可以采用加權(quán)平均平滑、非對稱平滑或者分段平滑。
EEE 11.根據(jù)EEE 7的方法,可以基于縮放和/或類sigmoid函數(shù)來對虛擬量的動態(tài)范圍進行調(diào)節(jié)。
EEE 12.根據(jù)EEE 3的方法,可以經(jīng)由一些非線性映射函數(shù)來修改虛擬量以便使得虛擬量與經(jīng)虛擬化的音頻信號的空間圖像的寬度線性相關(guān),非線性映射函數(shù)諸如分段線性函數(shù)、冪函數(shù)、指數(shù)函數(shù)或者三角函數(shù)。
EEE 13.根據(jù)EEE 3的方法,僅預(yù)先計算和存儲于虛擬揚聲器的少量方位角對應(yīng)的HRTF系數(shù),并且根據(jù)這些預(yù)先設(shè)置的系數(shù),通過線性插值來獲得其他HRTF系數(shù),以便減少所需要的存儲空間。
將會理解,本文中公開的主題的實施例不限于公開的特定實施例,并且修改和其他實施例都應(yīng)包含于所附的權(quán)利要求范圍內(nèi)。盡管此處使用了特定的術(shù)語,但是它們僅在通用和描述的意義上使用,而并不用于限制目的。