亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

球面諧波系數(shù)的立體聲呈現(xiàn)的制作方法與工藝

文檔序號:12201557閱讀:352來源:國知局
球面諧波系數(shù)的立體聲呈現(xiàn)的制作方法與工藝
球面諧波系數(shù)的立體聲呈現(xiàn)優(yōu)先權(quán)主張本申請案主張2013年5月29日申請的美國臨時專利申請案第61/828,620號、2013年7月17日申請的美國臨時專利申請案第61/847,543號、2013年10月3日申請的美國臨時申請案第61/886,593號和2013年10月3日申請的美國臨時申請案第61/886,620號的權(quán)益。技術(shù)領(lǐng)域本發(fā)明涉及音頻呈現(xiàn),且更具體地說,涉及音頻數(shù)據(jù)的立體聲呈現(xiàn)。

技術(shù)實現(xiàn)要素:
一般來說,描述用于具有大于一的階次的球面諧波系數(shù)(其可被稱作較高階環(huán)境立體混合聲(HOA)系數(shù))的立體聲音頻呈現(xiàn)的技術(shù)。作為一個實例,一種立體聲音頻呈現(xiàn)的方法包括將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場。在另一實例中,一種裝置包括一或多個處理器,其經(jīng)配置以將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場。在另一實例中,一種裝置包括用于確定以三維形式表示聲場的球面諧波系數(shù)的裝置,和用于將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置。在另一實例中,一種非暫時性計算機可讀存儲媒體具有存儲于其上的指令,所述指令在經(jīng)執(zhí)行時使一或多個處理器將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場。技術(shù)的一或多個方面的細節(jié)闡述于隨附圖式和以下描述中。這些技術(shù)的其它特征、目標和優(yōu)勢將從描述和圖式以及從權(quán)利要求書而顯而易見。附圖說明圖1和2為說明各種階次和次階的球面諧波基底函數(shù)的圖。圖3為說明可執(zhí)行本發(fā)明中所描述的技術(shù)以更有效率地呈現(xiàn)音頻信號信息的系統(tǒng)的圖。圖4為說明實例立體聲房間脈沖響應(yīng)(BRIR)的框圖。圖5為說明用于產(chǎn)生房間中的BRIR的實例系統(tǒng)模型的框圖。圖6為說明用于產(chǎn)生房間中的BRIR的更深層系統(tǒng)模型的框圖。圖7為說明可執(zhí)行本發(fā)明中所描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。圖8為說明可執(zhí)行本發(fā)明中所描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。圖9為說明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面的用于立體聲呈現(xiàn)裝置呈現(xiàn)球面諧波系數(shù)的實例操作模式的流程圖。圖10A、10B描繪說明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面的可由圖7和8的音頻回放裝置執(zhí)行的替代操作模式的流程圖。圖11為說明可執(zhí)行本發(fā)明中所描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。圖12為說明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面的可由圖11的音頻回放裝置執(zhí)行的過程的流程圖。圖13為說明可執(zhí)行本發(fā)明中描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。圖14為說明可執(zhí)行本發(fā)明中描述的立體聲音頻呈現(xiàn)的各種方面的音頻回放裝置的實例的框圖。圖15為說明根據(jù)本發(fā)明中描述的技術(shù)的各種方面的用于立體聲呈現(xiàn)裝置呈現(xiàn)球面諧波系數(shù)的實例操作模式的流程圖。圖16A、16B描繪各說明根據(jù)本發(fā)明中描述的技術(shù)的各種方面的可由圖13、14的音頻回放裝置執(zhí)行的概念過程的圖。相似參考字符貫穿諸圖和文本表示相似元件。具體實施方式環(huán)繞聲的演化現(xiàn)今已使得許多輸出格式可用于娛樂。這些環(huán)繞聲格式的實例包含流行5.1格式(其包含以下六個信道:左前(FL)、右前(FR)、中心或前心、左后或左環(huán)繞、右后或右環(huán)繞,和低頻效應(yīng)(LFE))、發(fā)展中的7.1格式,和即將到來的22.2格式(例如,供超高清晰度電視標準使用)。空間音頻格式的另一實例為球面諧波系數(shù)(也被稱為較高階環(huán)境立體混合聲)。到未來標準化音頻編碼器(將PCM音頻表示轉(zhuǎn)換成位流的裝置——節(jié)省每時間樣本所需的位的數(shù)目)的輸入可任選地為三種可能格式中的一者:(i)基于傳統(tǒng)信道的音頻,其意味著通過預(yù)先指定位置處的擴音器進行播放;(ii)基于物件的音頻,其涉及用于單一音頻物件的離散脈碼調(diào)制(PCM)數(shù)據(jù)與含有其位置坐標(以及其它信息)的相關(guān)聯(lián)的元數(shù)據(jù);和(iii)基于場景的音頻,其涉及使用球面諧波系數(shù)(SHC)表示聲場-其中系數(shù)表示球面諧波基底函數(shù)的線性加總的“權(quán)重”。關(guān)于這點,SHC可包含根據(jù)較高階環(huán)境立體混合聲(HoA)模型的HoA信號。球面諧波系數(shù)可替代地或另外包含平面模型和球面模型。市場中存在各種“環(huán)繞聲”格式。舉例來說,其范圍為從5.1家庭影院系統(tǒng)(其為除了立體聲系統(tǒng)以外在嚴重消耗起居室方面最成功的)到由NHK(日本廣播協(xié)會或日本廣播公司)開發(fā)的22.2系統(tǒng)。內(nèi)容創(chuàng)建者(例如,好萊塢影城)將愿意產(chǎn)生用于電影的信道一次,但并不花費精力來針對每一揚聲器配置進行重新混合。近來,標準委員會已在考慮提供編碼成標準化位流和提供對于呈現(xiàn)器的位置處的揚聲器幾何形狀和聲學(xué)條件可適應(yīng)和不可知的后續(xù)解碼的方式。為了為內(nèi)容創(chuàng)建者提供此靈活性,可使用元素的階層集合來表示聲場。元素的階層集合可指元素經(jīng)排序以使得較低階元素的基本集合提供對模型化聲場的完全表示的元素集合。當擴展集合以包含較高階元素時,表示變得更詳細。元素的階層集合的一個實例為球面諧波系數(shù)(SHC)的集合。以下表達式表明使用SHC進行的聲場的描述或表示:此表達式展示了聲場的任何點(在此實例中,其以相對于俘獲聲場的麥克風(fēng)的球面坐標來表達)處的壓力pi可通過SHC唯一地表示。此處,c為聲速(約343m/s),為參考點(或觀測點),jn(·)為n階球面貝塞耳函數(shù),且為n階和m次階球面諧波基底函數(shù)??烧J識到,方括號中的項為信號的頻域表示(即,其可通過例如離散傅立葉變換(DFT)、離散余弦變換(DCT)或小波變換的各種時間頻率變換來趨近。階層集合的其它實例包含小波變換系數(shù)的集合和多重分辨率基底函數(shù)系數(shù)的其它集合。圖1為說明從零階(n=0)到第四階(n=4)的球面諧波基底函數(shù)的圖。如可見的,對于每一階,存在m次階的展開,為了便于說明的目的,在圖1的實例中展示但未明確注釋所述展開。圖2為說明從零階(n=0)到第四階(n=4)的球面諧波基底函數(shù)的另一圖。在圖2中,在三維坐標空間中展示球面諧波基底函數(shù),其中展示了階次和次階兩者。在任何情況下,SHC可通過各種麥克風(fēng)陣列配置來物理地獲取(例如,記錄),或替代地,其可從聲場的基于信道或基于物件的描述而導(dǎo)出。SHC表示基于場景的音頻。舉例來說,第四階SHC表示涉及每一時間樣本(1+4)2=25個系數(shù)。為了說明可如何從基于物件的描述導(dǎo)出這些SHC,考慮以下等式。對應(yīng)于個別音頻物件的聲場的系數(shù)可表達為:其中i為為n階球面漢克爾函數(shù)(第二種),且為物件的位置。知曉依據(jù)頻率的源能量g(ω)(例如,使用時間頻率分析技術(shù),例如,對PCM流式傳輸執(zhí)行快速傅立葉變換)允許將每一PCM物件和其位置轉(zhuǎn)換成SHC此外,可展示(因為上述等式為線性和正交分解)每一物件的系數(shù)為加成性的。以此方式,大量PCM物件可由系數(shù)來表示(例如,作為個別物件的系數(shù)向量的總和)?;旧希@些系數(shù)含有關(guān)于聲場的信息(依據(jù)3D坐標的壓力),且上述等式表示在觀測點附近從個別物件到整個聲場的表示的變換。也可從麥克風(fēng)陣列記錄導(dǎo)出SHC如下:其中,為的時域等效于(SHC),*表示卷積運算,<,>表示內(nèi)積,bn(ri,t)表示相依于ri的時域濾波函數(shù),mi(t)為第i個麥克風(fēng)信號,其中第i個麥克風(fēng)換能器位于半徑ri、仰角θi和方位角處。因此,如果麥克風(fēng)陣列中存在32個換能器且每一麥克風(fēng)定位于球體上以使得ri=a為常數(shù)(例如,來自mhAcoustics的EigenmikeEM32裝置上的麥克風(fēng)),那么可使用矩陣運算導(dǎo)出25個SHC如下:上述等式中的矩陣可更一般地被稱作其中下標s可指示矩陣是針對某一換能器幾何形狀集合s。上述等式中的卷積(通過*指示)是基于逐列的,使得(例如)輸出為由矩陣的第一列與麥克風(fēng)信號的行的向量乘法產(chǎn)生的b0(a,t)與時間序列之間的卷積的結(jié)果(其依據(jù)時間而變化——考慮向量乘法的結(jié)果為時間序列的事實)。當麥克風(fēng)陣列的換能器位置在所謂的T-設(shè)計幾何形狀(其極接近于Eigenmike換能器幾何形狀)中時,計算可為最準確的。T-設(shè)計幾何形狀的一個特性可為:由幾何形狀產(chǎn)生的矩陣具有表現(xiàn)極好的逆(或偽逆),且另外,所述逆常常可通過矩陣的轉(zhuǎn)置來極好地趨近。如果將忽略bn(a,t)的濾波運算,那么此性質(zhì)將允許從SHC恢復(fù)麥克風(fēng)信號(即,在此實例中,下文在基于物件和基于SHC的音頻譯碼的情境中描述剩余圖。圖3為說明可執(zhí)行本發(fā)明中所描述的技術(shù)以更有效率地呈現(xiàn)音頻信號信息的系統(tǒng)20的圖。如圖3的實例中所示,系統(tǒng)20包含內(nèi)容創(chuàng)建者22和內(nèi)容消費者24。雖然在內(nèi)容創(chuàng)建者22和內(nèi)容消費者24的情境中加以描述,但可在利用SHC或界定聲場的階層表示的任何其它階層元素的任何情境中實施所述技術(shù)。內(nèi)容創(chuàng)建者22可表示可產(chǎn)生用于供例如內(nèi)容消費者24的內(nèi)容消費者消費的多信道音頻內(nèi)容的電影工作室或其它物理。此內(nèi)容創(chuàng)建者常常結(jié)合視頻內(nèi)容產(chǎn)生音頻內(nèi)容。內(nèi)容消費者24可表示擁有或能夠存取音頻回放系統(tǒng)的個體,所述音頻回放系統(tǒng)可指能夠回放多信道音頻內(nèi)容的任何形式的音頻回放系統(tǒng)。在圖3的實例中,內(nèi)容消費者24擁有或能夠存取音頻回放系統(tǒng)32以用于呈現(xiàn)界定聲場的階層表示的階層元素。內(nèi)容創(chuàng)建者22包含音頻呈現(xiàn)器28和音頻編輯系統(tǒng)30。音頻呈現(xiàn)器28可表示呈現(xiàn)或以其它方式產(chǎn)生揚聲器饋入(其也可被稱作“擴音器饋入”、“揚聲器信號”或“擴音器信號”)的音頻處理單元。每一揚聲器饋入可對應(yīng)于再現(xiàn)多信道音頻系統(tǒng)的特定信道的聲音的揚聲器饋入或?qū)?yīng)于希望與匹配揚聲器位置的頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)濾波器進行卷積的虛擬擴音器饋入。每一揚聲器饋入可對應(yīng)于球面諧波系數(shù)信道(其中信道可通過球面諧波系數(shù)所對應(yīng)于的相關(guān)聯(lián)的球面基底函數(shù)的階次和/或次階表示),其使用SHC的多個信道來表示定向聲場。在圖3的實例中,音頻呈現(xiàn)器28可呈現(xiàn)用于常規(guī)5.1、7.1或22.2環(huán)繞聲格式的揚聲器饋入,產(chǎn)生用于5.1、7.1或22.2環(huán)繞聲揚聲器系統(tǒng)中的5個、7個或22個揚聲器中的每一者的揚聲器饋入。替代地,在給定上文所論述的源球面諧波系數(shù)的性質(zhì)的情況下,音頻呈現(xiàn)器28可經(jīng)配置以呈現(xiàn)具有任何數(shù)目個揚聲器的任何揚聲器配置的來自源球面諧波系數(shù)的揚聲器饋入。音頻呈現(xiàn)器28可以此方式產(chǎn)生數(shù)個揚聲器饋入,所述揚聲器饋入在圖3中經(jīng)表示為揚聲器饋入29。內(nèi)容創(chuàng)建者可在編輯過程期間呈現(xiàn)球面諧波系數(shù)27(“SHC27”),從而在識別聲場的不具有高保真度或不提供令人信服的環(huán)繞聲體驗的方面的嘗試中收聽所呈現(xiàn)的揚聲器饋入。內(nèi)容創(chuàng)建者22接著可編輯源球面諧波系數(shù)(常常間接地通過操縱可以上文所描述的方式導(dǎo)出源球面諧波系數(shù)所自的不同物件)。內(nèi)容創(chuàng)建者22可使用音頻編輯系統(tǒng)30來編輯球面諧波系數(shù)27。音頻編輯系統(tǒng)30表示能夠編輯音頻數(shù)據(jù)和輸出此音頻數(shù)據(jù)作為一或多個源球面諧波系數(shù)的任何系統(tǒng)。當編輯過程完成時,內(nèi)容創(chuàng)建者22可基于球面諧波系數(shù)27產(chǎn)生位流31。即,內(nèi)容創(chuàng)建者22包含位流產(chǎn)生裝置36,所述位流產(chǎn)生裝置可表示能夠產(chǎn)生位流31的任何裝置。在一些例子中,位流產(chǎn)生裝置36可表示編碼器,所述編碼器頻寬壓縮(作為一個實例,通過熵編碼)球面諧波系數(shù)27且將球面諧波系數(shù)27的經(jīng)熵編碼版本布置成接受的格式以形成位流31。在其它例子中,位流產(chǎn)生裝置36可表示音頻編碼器(可能為遵照例如MPEG環(huán)繞或其導(dǎo)出形式的已知音頻譯碼標準的音頻編碼器),所述音頻編碼器使用(作為一個實例)類似于用以壓縮多信道音頻內(nèi)容或其導(dǎo)出形式的常規(guī)音頻環(huán)繞聲編碼過程的過程的過程來編碼多信道音頻內(nèi)容29。接著可以某種其它方式熵編碼或譯碼經(jīng)壓縮的多信道音頻內(nèi)容29以頻寬壓縮內(nèi)容29,且將內(nèi)容根據(jù)商定的格式進行布置以形成位流31。不管是直接經(jīng)壓縮以形成位流31抑或經(jīng)呈現(xiàn)且接著經(jīng)壓縮以形成位流31,內(nèi)容創(chuàng)建者22均可將位流31傳輸?shù)絻?nèi)容消費者24。雖然圖3中經(jīng)展示為直接傳輸?shù)絻?nèi)容消費者24,但內(nèi)容創(chuàng)建者22可將位流31輸出到定位于內(nèi)容創(chuàng)建者22與內(nèi)容消費者24之間的中間裝置。此中間裝置可存儲位流31以供稍后遞送到可請求此位流的內(nèi)容消費者24。所述中間裝置可包括文件服務(wù)器、web服務(wù)器、臺式計算機、膝上型計算機、平板計算機、移動電話、智能電話或能夠存儲位流31以供稍后由音頻解碼器檢索的任何其它裝置。此中間裝置可駐留于能夠?qū)⑽涣?1流式傳輸傳輸(和可能結(jié)合傳輸對應(yīng)視頻數(shù)據(jù)位流)到請求位流31的用戶(例如,內(nèi)容消費者24)的內(nèi)容遞送網(wǎng)絡(luò)中。替代地,內(nèi)容創(chuàng)建者22可將位流31存儲到存儲媒體(例如,緊密光盤、數(shù)字視頻光盤、高清晰度視頻光盤或其它存儲媒體),大部分存儲媒體能夠由計算機讀取且因此可被稱作計算機可讀存儲媒體或非暫時性計算機可讀存儲媒體。關(guān)于這點,傳輸信道可指藉以傳輸存儲到這些媒體的內(nèi)容的那些信道(且可包含零售店和其它基于店鋪的遞送機構(gòu))。在任何情況下,本發(fā)明的技術(shù)因此不應(yīng)在此方面限于圖3的實例。如圖3的實例中進一步展示,內(nèi)容消費者24擁有或能夠以另外方式存取音頻回放系統(tǒng)32。音頻回放系統(tǒng)32可表示能夠回放多信道音頻數(shù)據(jù)的任何音頻回放系統(tǒng)。音頻回放系統(tǒng)32包含立體聲音頻呈現(xiàn)器34,其呈現(xiàn)SHC27'以供輸出作為立體聲揚聲器饋入35A到35B(統(tǒng)稱為“揚聲器饋入35”)。立體聲音頻呈現(xiàn)器34可提供不同形式的呈現(xiàn),例如執(zhí)行向量基振幅水平移動(VBAP)的各種方式中的一或多者,和/或執(zhí)行聲場合成的各種方式中的一或多者。音頻回放系統(tǒng)32可進一步包含提取裝置38。提取裝置38可表示能夠通過大體上可與位流產(chǎn)生裝置36的過程互逆的過程提取球面諧波系數(shù)27'(“SHC27'”,其可表示球面諧波系數(shù)27的經(jīng)修改形式或副本)的任何裝置。在任何情況下,音頻回放系統(tǒng)32可接收球面諧波系數(shù)27'且使用立體聲音頻呈現(xiàn)器34來呈現(xiàn)球面諧波系數(shù)27'且由此產(chǎn)生揚聲器饋入35(對應(yīng)于電耦合或可能無線耦合到音頻回放系統(tǒng)32的擴音器的數(shù)目,為了便于說明的目的,在圖3的實例中并未加以展示)。揚聲器饋入35的數(shù)目可為二,且音頻回放系統(tǒng)可無線耦合到包含兩個對應(yīng)擴音器的一對頭戴式耳機。然而,在各種例子中,立體聲音頻呈現(xiàn)器34可輸出比所說明的且主要關(guān)于圖3描述的揚聲器饋入多或少的揚聲器饋入。音頻回放系統(tǒng)的二進制房間脈沖響應(yīng)(BRIR)濾波器37各自表示在一位置處的對在脈沖位置處產(chǎn)生的脈沖的響應(yīng)。BRIR濾波器37為“立體聲”,這是因為其各自經(jīng)產(chǎn)生以表示如人耳在所述位置處將會體驗到的脈沖響應(yīng)。因此,常常產(chǎn)生脈沖的BRIR濾波器,且將其用于成對地聲音呈現(xiàn),其中所述對中的一個元素是針對左耳,且另一元素是針對右耳。在所說明實例中,立體聲音頻呈現(xiàn)器34使用左BRIR濾波器33A和右BRIR濾波器33B來呈現(xiàn)相應(yīng)立體聲音頻輸出35A和35B。舉例來說,可通過對聲源信號與經(jīng)測量為脈沖響應(yīng)(IR)的頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)進行卷積來產(chǎn)生BRIR濾波器37。對應(yīng)于BRIR濾波器37中的每一者的脈沖位置可表示虛擬空間中的虛擬擴音器的位置。在一些實例中,立體聲音頻呈現(xiàn)器34對SHC27'與對應(yīng)于虛擬擴音器的BRIR濾波器37進行卷積,接著將所得卷積累加(即,加總)以呈現(xiàn)由SHC27'界定的聲場以供輸出作為揚聲器饋入35。如本文中所描述,立體聲音頻呈現(xiàn)器34可應(yīng)用用于通過操縱BRIR濾波器37同時呈現(xiàn)SHC27'作為揚聲器饋入35來縮減呈現(xiàn)計算的技術(shù)。在一些例子中,所述技術(shù)包含將BRIR濾波器37分段成表示房間內(nèi)的一位置處的脈沖響應(yīng)的不同階段的數(shù)個片段。這些片段對應(yīng)于在聲場上的任何點處產(chǎn)生壓力(或缺少壓力)的不同物理現(xiàn)象。舉例來說,因為BRIR濾波器37中的每一者與脈沖一致地進行計時,所以第一或“初始”片段可表示直到來自脈沖位置的壓力波到達測量脈沖響應(yīng)所在的位置為止的時間。除了時序信息以外,相應(yīng)初始片段的BRIR濾波器37值可能為無關(guān)緊要的,且可被排除與描述聲場的階層元素進行卷積。類似地,例如,BRIR濾波器37中的每一者可包含最后或“尾部”片段,所述片段包含衰減到低于人類聽覺的動態(tài)范圍或衰減到低于指明閾值的脈沖響應(yīng)信號。相應(yīng)尾部片段的BRIR濾波器37值也可能為無關(guān)緊要的,且可被排除與描述聲場的階層元素進行卷積。在一些實例中,技術(shù)可包含通過執(zhí)行與指明閾值的施羅德反向積分確定尾部片段,和舍棄來自反向積分超過指明閾值的尾部片段的元素。在一些實例中,混響時間RT60的指明閾值為-60dB。BRIR濾波器37中的每一者的額外片段可表示在不包含來自房間的回波效應(yīng)的情況下由脈沖產(chǎn)生的壓力波引起的脈沖響應(yīng)。這些片段可經(jīng)表示和描述為BRIR濾波器37的頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF),其中HRTF俘獲在壓力波朝向鼓膜行進時歸因于壓力波圍繞頭部、肩膀/軀干和外耳的繞射和反射產(chǎn)生的脈沖響應(yīng)。HRTF脈沖響應(yīng)為線性和非時變系統(tǒng)(LTI)的結(jié)果且可經(jīng)模型化為最小相位濾波器。在一些實例中,用以縮減在呈現(xiàn)期間的HRTF片段計算的技術(shù)可包含最小相位重構(gòu)建和使用無限脈沖響應(yīng)(IIR)濾波器來縮減原始有限脈沖響應(yīng)(FIR)濾波器(例如,HRTF濾波器片段)的階次。實施為IIR濾波器的最小相位濾波器可用以趨近具有縮減的濾波器階次的BRIR濾波器37的HRTF濾波器??s減階次導(dǎo)致頻域中的時間步長的計算的數(shù)目的伴隨縮減。另外,由最小相位濾波器的構(gòu)造產(chǎn)生的殘余/過量濾波器可用以估計表示由聲音壓力波從源行進到每一耳朵的距離引起的時間或相位距離的耳間時間差(ITD)。在計算一或多個BRIR濾波器37與描述聲場的階層元素的卷積(即,確定雙耳立體聲)之后,接著可使用ITD將一或兩個耳朵的聲音局部化模型化。BRIR濾波器37中的每一者的又一片段是在HRTF片段之后且可考慮到房間對脈沖響應(yīng)的影響。此房間片段可進一步分解成早期回波(或“早期反射”)片段和晚期混響片段(即,早期回波和晚期混響可各自由BRIR濾波器37中的每一者的單獨片段表示)。在HRTF數(shù)據(jù)可用于BRIR濾波器37的情況下,可通過BRIR濾波器37與HRTF的解卷積識別早期回波片段的開始,以識別HRTF片段。在HRTF片段之后為早期回波片段。不同于殘余房間響應(yīng),HRTF和早期回波片段為方向相依的,這是因為對應(yīng)虛擬揚聲器的位置在顯著方面確定信號。在一些實例中,立體聲音頻呈現(xiàn)器34使用準備用于球面諧波域或描述聲場的階層元素的其它域的BRIR濾波器37。即,可在球面諧波域(SHD)中將BRIR濾波器37界定為經(jīng)變換的BRIR濾波器37,以允許立體聲音頻呈現(xiàn)器34執(zhí)行快速卷積,同時利用數(shù)據(jù)集的某些性質(zhì),包含BRIR濾波器37(例如,左/右)和SHC27'的對稱性。在這些實例中,可通過將SHC呈現(xiàn)矩陣與原始BRIR濾波器相乘(或在時域中進行卷積)而產(chǎn)生經(jīng)變換的BRIR濾波器37。在數(shù)學(xué)上,可根據(jù)以下等式(1)到(5)來表達此情形:或此處,(3)以四階球面諧波系數(shù)的矩陣形式描繪(1)或(2)(其可為提及與四階或更低階的球面基底函數(shù)相關(guān)聯(lián)的球面諧波系數(shù)的系數(shù)的替代方式)。當然,可修改等式(3)以用于較高階或較低階球面諧波系數(shù)。等式(4)到(5)描繪擴音器維度L范圍內(nèi)的經(jīng)變換的左和右BRIR濾波器37的加總,以產(chǎn)生經(jīng)加總的SHC立體聲呈現(xiàn)矩陣(BRIR”)。組合來說,經(jīng)加載的SHC立體聲呈現(xiàn)矩陣具有維數(shù)[(N+1)2,Length,2],其中Length為可應(yīng)用等式(1)到(5)的任何組合的脈沖響應(yīng)向量的長度。在等式(1)和(2)的一些例子中,可將呈現(xiàn)矩陣SHC立體聲化以使得可將等式(1)修改成且可將等式(2)修改成上述等式(1)到(3)中所提出的SHC呈現(xiàn)矩陣SHC包含用于SHC27'的每一階/次階組合的元素,其有效地界定單獨SHC信道,其中在球面諧波域中設(shè)定針對揚聲器的位置L的元素值。BRIRL,left表示在左耳或在揚聲器的位置L處產(chǎn)生的脈沖的位置處的BRIR響應(yīng),且在(3)中使用脈沖響應(yīng)向量Bi來描繪,其中{i|i∈[0,L]}。BRIR'(N+1)2,L,left表示“SHC立體聲呈現(xiàn)矩陣”的一半,即,經(jīng)變換成球面諧波域的在左耳或在揚聲器的位置L處產(chǎn)生的脈沖的位置處的SHC立體聲呈現(xiàn)矩陣。BRIR'(N+1)2,L,right表示SHC立體聲呈現(xiàn)矩陣的另一半。在一些實例中,技術(shù)可包含將SHC呈現(xiàn)矩陣僅應(yīng)用于HRTF和相應(yīng)原始BRIR濾波器37的早期反射片段以產(chǎn)生經(jīng)變換的BRIR濾波器37和SHC立體聲呈現(xiàn)矩陣。此情形可縮減與SHC27'的卷積的長度。在一些實例中,如等式(4)到(5)中所描繪,可將具有將各種擴音器并入于球面諧波域中的維數(shù)的SHC立體聲呈現(xiàn)矩陣加總以產(chǎn)生組合SHC呈現(xiàn)與BRIR呈現(xiàn)/混合的(N+1)2*Length*2濾波器矩陣。即,可通過(例如)將L維度范圍內(nèi)的系數(shù)加總來組合L個擴音器中的每一者的SHC立體聲呈現(xiàn)矩陣。對于長度為Length的SHC立體聲呈現(xiàn)矩陣,此情形產(chǎn)生(N+1)2*Length*2加總的SHC立體聲呈現(xiàn)矩陣,可將所述矩陣應(yīng)用于球面諧波系數(shù)的音頻信號以將信號立體聲化。Length可為根據(jù)本文中所描述的技術(shù)分段的BRIR濾波器的片段的長度。用于模型縮減的技術(shù)也可應(yīng)用于經(jīng)變更的呈現(xiàn)濾波器,其允許直接用新濾波器矩陣(經(jīng)加總的SHC立體聲呈現(xiàn)矩陣)來對SHC27'(例如,SHC內(nèi)容)進行濾波。立體聲音頻呈現(xiàn)器34接著可通過將經(jīng)濾波的陣列加總以獲得立體聲輸出信號35A、35B來轉(zhuǎn)換成立體聲音頻。在一些實例中,音頻回放系統(tǒng)32的BRIR濾波器37表示先前根據(jù)上文所描述的技術(shù)中的任何一或多者計算的球面諧波域中的經(jīng)變換的BRIR濾波器。在一些實例中,可在執(zhí)行時間執(zhí)行原始BRIR濾波器37的變換。在一些實例中,因為BRIR濾波器37通常為對稱的,所以技術(shù)可通過僅使用用于左耳或右耳的SHC立體聲呈現(xiàn)矩陣來促成立體聲輸出35A、35B的計算的進一步縮減。當將由濾波器矩陣進行濾波的SHC27'加總時,立體聲音頻呈現(xiàn)器34可作出關(guān)于在呈現(xiàn)最終輸出時輸出信號35A或35B作為第二信道的條件決策。如本文中所描述,對處理內(nèi)容或修改關(guān)于左耳或右耳所描述的呈現(xiàn)矩陣的參考應(yīng)被理解為可類似地應(yīng)用于另一耳朵。以此方式,技術(shù)可提供多種途徑來縮減BRIR濾波器37的長度以便可能地避免被排除的BRIR濾波器樣本與多個信道的直接卷積。因此,立體聲音頻呈現(xiàn)器34可提供來自SHC27'的立體聲輸出信號35A、35B的有效率的呈現(xiàn)。圖4為說明實例立體聲房間脈沖響應(yīng)(BRIR)的框圖。BRIR40說明五個片段42A到42E。初始片段42A和尾部片段42E兩者包含可能為無關(guān)緊要的且被排除進行呈現(xiàn)計算的靜寂樣本。頭部相關(guān)轉(zhuǎn)移函數(shù)(HRTF)片段42B包含歸因于頭部相關(guān)轉(zhuǎn)移產(chǎn)生的脈沖響應(yīng)且可使用本文中所描述的技術(shù)來識別。早期回波(替代地,“早期反射”)片段42C和晚期房間混響片段42D組合HRTF與房間效應(yīng),即,早期回波片段42C的脈沖響應(yīng)匹配通過房間的早期回波和晚期混響進行濾波的BRIR40的HRTF的脈沖響應(yīng)。然而,早期回波片段42C可包含與晚期房間混響片段42D相比較來說更離散的回波?;旌蠒r間為早期回波片段42C與晚期房間混響片段42D之間的時間,且指示早期回波變?yōu)槊芗祉懙臅r間?;旌蠒r間經(jīng)說明為出現(xiàn)在到HRTF中的大約1.5×104個樣本或從HRTF片段42B的開始的大約7.0×104個樣本處。在一些實例中,技術(shù)包含使用來自房間音量的統(tǒng)計數(shù)據(jù)和估計計算混合時間。在一些實例中,具有50%信賴區(qū)間tmp50的感知混合時間大約為36毫秒(ms),且具有95%信賴區(qū)間tmp95的感知混合時間大約為80ms。在一些實例中,可使用相干性匹配噪聲尾部來合成對應(yīng)于BRIR40的濾波器的晚期房間混響片段42D。圖5為說明用于產(chǎn)生房間中的BRIR(例如,圖4的BRIR40)的實例系統(tǒng)模型50的框圖。模型包含串接系統(tǒng),此處為房間52A和HRTF52B。在將HRTF52B應(yīng)用于脈沖之后,脈沖響應(yīng)匹配通過房間52A的早期回波進行濾波的HRTF的脈沖響應(yīng)。圖6為說明用于產(chǎn)生房間中的BRIR(例如,圖4的BRIR40)的更深層系統(tǒng)模型60的框圖。此模型60也包含串接系統(tǒng),此處為HRTF62A、早期回波62B和殘余房間62C(其組合HRTF與房間回波)。模型60描繪將房間52A分解成早期回波62B和殘余房間62C且將每一系統(tǒng)62A、62B、62C視為線性非時變的。早期回波62B包含比殘余房間62C更離散的回波。因此,早期回波62B可依據(jù)虛擬揚聲器信道而變化,而具有較長尾部的殘余房間62C可經(jīng)合成為單一立體聲復(fù)本。對于用以獲得BRIR的一些測量人體模型,HRTF數(shù)據(jù)可為可用的,如在消聲腔室中所測量??赏ㄟ^將BRIR與HRTF數(shù)據(jù)解卷積以識別早期回波(其可被稱作“反射”)的位置來確定早期回波62B。在一些實例中,HRTF數(shù)據(jù)并非容易得到的,且用于識別早期回波62B的技術(shù)包含盲估計。然而,簡單明了的途徑可包含將前幾毫秒(例如,前5、10、15或20ms)視為通過HRTF進行濾波的直接脈沖。如上文所注明,技術(shù)可包含使用來自房間音量的統(tǒng)計數(shù)據(jù)和估計計算混合時間。在一些實例中,技術(shù)可包含合成殘余房間62C的一或多個BRIR濾波器。在混合時間之后,在一些例子中,可互換BRIR混響尾部(表示為圖6中的系統(tǒng)殘余房間62C)而無感知懲罰。另外,可將BRIR混響尾部與匹配能量衰變減緩(EDR)和頻率相依耳間相干性(FDIC)的高斯白噪聲合成。在一些實例中,可產(chǎn)生BRIR濾波器的共同合成BRIR混響尾部。在一些實例中,共同EDR可為所有揚聲器的EDR的平均值,或可為能量匹配平均能量的前零度EDR。在一些實例中,F(xiàn)DIC可為橫跨所有揚聲器的平均FDIC,或可為針對寬敞度的最大去相關(guān)測量的橫跨所有揚聲器的最小值。在一些實例中,也可通過反饋延遲網(wǎng)絡(luò)(FDN)使用偽音混響來模擬混響尾部。在共同混響尾部的情況下,對應(yīng)BRIR濾波器的晚期部分可被排除與每一揚聲器饋入進行單獨卷積,而是可一次應(yīng)用于所有揚聲器饋入的混合上。如上文所描述和下文更詳細描述,可用球面諧波系數(shù)信號呈現(xiàn)進一步簡化所有揚聲器饋入的混合。圖7為說明可執(zhí)行本發(fā)明中所描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。雖然經(jīng)說明為單一裝置(即,圖7的實例中的音頻回放裝置100),但技術(shù)可由一或多個裝置來執(zhí)行。因此,技術(shù)在此方面應(yīng)不受限制。如圖7的實例中所示,音頻回放裝置100可包含提取單元104和立體聲呈現(xiàn)單元102。提取單元104可表示經(jīng)配置以從位流120中提取經(jīng)編碼音頻數(shù)據(jù)的單元。提取單元104可將呈球面諧波系數(shù)(SHC)122(其也可被稱作較高階環(huán)境立體混合聲(HOA),這是因為SHC122可包含與大于一的階次相關(guān)聯(lián)的至少一個系數(shù))形式的經(jīng)提取的經(jīng)編碼音頻數(shù)據(jù)轉(zhuǎn)遞到立體聲呈現(xiàn)單元146。在一些實例中,音頻回放裝置100包含經(jīng)配置以解碼經(jīng)編碼音頻數(shù)據(jù)以便產(chǎn)生SHC122的音頻解碼單元。音頻解碼單元可執(zhí)行在一些方面中與用以編碼SHC122的音頻編碼過程互逆的音頻解碼過程。音頻解碼單元可包含經(jīng)配置以將經(jīng)編碼音頻數(shù)據(jù)的SHC從時域變換到頻域由此產(chǎn)生SHC122的時間頻率分析單元。即,當經(jīng)編碼音頻數(shù)據(jù)表示未被從時域轉(zhuǎn)換到頻域的SHC122的經(jīng)壓縮形式時,音頻解碼單元可調(diào)用時間頻率分析單元將SHC從時域轉(zhuǎn)換到頻域以便產(chǎn)生SHC122(在頻域中指定)。時間頻率分析單元可應(yīng)用任何形式的基于傅立葉的變換(包含快速傅立葉變換(FFT)、離散余弦變換(DCT)、經(jīng)修改的離散余弦變換(MDCT)和離散正弦變換(DST))以提供將SHC從時域變換到頻域中的SHC122的幾個實例。在一些例子中,SHC122可能已在頻域中在位流120中指定。在這些例子中,時間頻率分析單元可將SHC122傳遞到立體聲呈現(xiàn)單元102而不應(yīng)用變換或以其它方式變換所接收的SHC122。雖然關(guān)于頻域中指定的SHC122加以描述,但可關(guān)于時域中指定的SHC122執(zhí)行技術(shù)。立體聲呈現(xiàn)單元102表示經(jīng)配置以將SHC122立體聲化的單元。換句話說,立體聲呈現(xiàn)單元102可表示經(jīng)配置以將SHC122呈現(xiàn)到左和右信道的單元,其可以空間化為特征,從而將記錄SHC122的房間中的收聽者將聽到左和右信道的方式模型化。立體聲呈現(xiàn)單元102可呈現(xiàn)SHC122以產(chǎn)生適于經(jīng)由例如頭戴式耳機的耳機回放的左信道136A和右信道136B(其可被統(tǒng)稱作“信道136”)。如圖7的實例中所示,立體聲呈現(xiàn)單元102包含BRIR濾波器108、BRIR調(diào)節(jié)單元106、殘余房間響應(yīng)單元110、BRIRSHC域轉(zhuǎn)換單元112、卷積單元114和組合單元116。BRIR濾波器108包含一或多個BRIR濾波器且可表示圖3的BRIR濾波器37的實例。BRIR濾波器108可包含表示左和右HRTF對相應(yīng)BRIR的效應(yīng)的單獨BRIR濾波器126A、126B。BRIR調(diào)節(jié)單元106接收BRIR濾波器126A、126B的L個執(zhí)行個體,每一虛擬擴音器L一個執(zhí)行個體且其中每一BRIR濾波器具有長度N。BRIR濾波器126A、126B可能已經(jīng)經(jīng)調(diào)節(jié)以去除靜寂樣本。BRIR調(diào)節(jié)單元106可將上文所描述的技術(shù)應(yīng)用于片段BRIR濾波器126A、126B以識別相應(yīng)HRTF、早期反射和殘余房間片段。BRIR調(diào)節(jié)單元106將HRTF和早期反射片段提供到BRIRSHC域轉(zhuǎn)換單元112作為表示大小為[a,L]的左和右矩陣的矩陣129A、129B,其中a為HRTF和早期反射片段的串接的長度,且L為擴音器(虛擬的或真實的)的數(shù)目。BRIR調(diào)節(jié)單元106將BRIR濾波器126A、126B的殘余房間片段提供到殘余房間響應(yīng)單元110作為大小為[b,L]的左和右殘余房間矩陣128A、128B,其中b為殘余房間片段的長度且L為擴音器(虛擬的或真實的)的數(shù)目。殘余房間響應(yīng)單元110可應(yīng)用上文所描述的技術(shù)以計算或以其它方式確定用于與描述聲場的階層元素(例如,球面諧波系數(shù))的至少某一部分進行卷積的左和右共同殘余房間響應(yīng)片段,如圖7中通過SHC122表示。即,殘余房間響應(yīng)單元110可接收左和右殘余房間矩陣128A、128B且組合L范圍內(nèi)的相應(yīng)左和右殘余房間矩陣128A、128B以產(chǎn)生左和右共同殘余房間響應(yīng)片段。在一些例子中,殘余房間響應(yīng)單元110可通過對L范圍內(nèi)的左和右殘余房間矩陣128A、128B求平均值來執(zhí)行組合。殘余房間響應(yīng)單元110接著可計算左和右共同殘余房間響應(yīng)片段與SHC122的至少一個信道(在圖7中說明為信道124B)的快速卷積。在一些實例中,因為左和右共同殘余房間響應(yīng)片段表示環(huán)境的無方向性聲音,所以信道124B為SHC122信道中的W信道(即,第0階),其編碼聲場的無方向性部分。在這些實例中,對于長度為Length的W信道樣本,由殘余房間響應(yīng)單元110進行的與左和右共同殘余房間響應(yīng)片段的快速卷積產(chǎn)生長度為Length的左和右輸出信號134A、134B。如本文中所使用,術(shù)語“快速卷積”和“卷積”可指時域中的卷積運算以及頻域中的逐點乘法運算。換句話說,且如熟習(xí)信號處理的技術(shù)者眾所周知,時域中的卷積等效于頻域中的逐點乘法,其中時域和頻域為彼此的變換。輸出變換為輸入變換與轉(zhuǎn)移函數(shù)的逐點乘積。因此,卷積和逐點乘法(或簡稱為“乘法”)可指關(guān)于相應(yīng)域(本文中為時域和頻域)作出的概念上類似的運算。卷積單元114、214、230;殘余房間響應(yīng)單元210、354;濾波器384和混響386可替代地應(yīng)用頻域中的乘法,其中在頻域中而非在時域中提供到這些組件的輸入。本文中描述為“快速卷積”或“卷積”的其它運算類似地也可指頻域中的乘法,其中在頻域中而非在時域中提供到這些運算的輸入。在一些實例中,殘余房間響應(yīng)單元110可從BRIR調(diào)節(jié)單元106接收共同殘余房間響應(yīng)片段的開始時間的值。殘余房間響應(yīng)單元110可零填補或以其它方式延遲輸出信號134A、134B,以預(yù)期與BRIR濾波器108的較早期片段組合。BRIRSHC域轉(zhuǎn)換單元112(下文中為“域轉(zhuǎn)換單元112”)將SHC呈現(xiàn)矩陣應(yīng)用于BRIR矩陣以可能地將左和右BRIR濾波器126A、126B轉(zhuǎn)換成球面諧波域且接著可能地將L范圍內(nèi)的濾波器加總。域轉(zhuǎn)換單元112輸出轉(zhuǎn)換結(jié)果分別作為左和右SHC立體聲呈現(xiàn)矩陣130A、130B。在矩陣129A、129B的大小為[a,L]的情況下,在對L范圍內(nèi)的濾波器加總之后,SHC立體聲呈現(xiàn)矩陣130A、130B中的每一者的大小為[(N+1)2,a](參見(例如)等式(4)到(5))。在一些實例中,SHC立體聲呈現(xiàn)矩陣130A、130B是在音頻回放裝置100中加以配置而不是在執(zhí)行時間或設(shè)定時間加以計算。在一些實例中,SHC立體聲呈現(xiàn)矩陣130A、130B的多個執(zhí)行個體是在音頻回放裝置100中加以配置,且音頻回放裝置100選擇多個執(zhí)行個體的左/右對來應(yīng)用于SHC124A。卷積單元114將左和右立體聲呈現(xiàn)矩陣130A、130B與SHC124A進行卷積,所述SHC在一些實例中可按階次從SHC122的階次縮減。對于頻域(例如,SHC)中的SHC124A,卷積單元114可計算SHC124A與左和右立體聲呈現(xiàn)矩陣130A、130B的相應(yīng)逐點乘法。對于長度為Length的SHC信號,卷積產(chǎn)生大小為[Length,(N+1)2]的左和右經(jīng)濾波的SHC信道132A、132B,對于球面諧波域的每一階/次階組合通常存在每一輸出信號矩陣的列。組合單元116可組合左和右經(jīng)濾波的SHC信道132A、132B與輸出信號134A、134B以產(chǎn)生立體聲輸出信號136A、136B。組合單元116接著可單獨地對L范圍內(nèi)的每一左和右經(jīng)濾波的SHC信道132A、132B加總以在組合左和右立體聲輸出信號與左和右輸出信號134A、134B以產(chǎn)生立體聲輸出信號136A、136B之前產(chǎn)生HRTF和早期回波(反射)片段的左和右立體聲輸出信號。圖8為說明可執(zhí)行本發(fā)明中所描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。音頻回放裝置200可進一步詳細地表示圖7的音頻回放裝置100的實例執(zhí)行個體。音頻回放裝置200可包含可選SHC階次縮減單元204,其處理來自位流240的入端口SHC242以縮減SHC242的階次??蛇xSHC階次縮減將SHC242的最高階(例如,第0階)信道262(例如,W信道)提供到殘余房間響應(yīng)單元210,且將階數(shù)縮減的SHC242提供到卷積單元230。在SHC階次縮減單元204不縮減SHC242的階次的例子中,卷積單元230接收與SHC242相同的SHC272。在任一狀況下,SHC272具有維度[Length,(N+1)2],其中N為SHC272的階次。BRIR調(diào)節(jié)單元206和BRIR濾波器208可表示圖7的BRIR調(diào)節(jié)單元106和BRIR濾波器108的實例執(zhí)行個體。殘余響應(yīng)單元210的卷積單元214接收由BRIR調(diào)節(jié)單元206使用上文所描述的技術(shù)調(diào)節(jié)的共同左和右殘余房間片段244A、244B,且卷積單元214將共同左和右殘余房間片段244A、244B與最高階信道262進行卷積以產(chǎn)生左和右殘余房間信號262A、262B。延遲單元216可用到共同左和右殘余房間片段244A、244B的樣本的開始數(shù)目零填補左和右殘余房間信號262A、262B以產(chǎn)生左和右殘余房間輸出信號268A、268B。BRIRSHC域轉(zhuǎn)換單元220(下文中為域轉(zhuǎn)換單元220)可表示圖7的域轉(zhuǎn)換單元112的實例執(zhí)行個體。在所說明實例中,變換單元222將具有(N+1)2維數(shù)的SHC呈現(xiàn)矩陣224應(yīng)用于表示大小為[a,L]的左和右矩陣的矩陣248A、248B,其中a為HRTF和早期反射片段的串接的長度,且L為擴音器(例如,虛擬擴音器)的數(shù)目。變換單元222輸出SHC域中維度為[(N+1)2,a,L]的左和右矩陣252A、252B。加總單元226可將L范圍內(nèi)的左和右矩陣252A、252B中的每一者加總以產(chǎn)生維度為[(N+1)2,a]的左和右中間SHC呈現(xiàn)矩陣254A、254B??s減單元228可應(yīng)用上文所描述的技術(shù)以進一步縮減將SHC呈現(xiàn)矩陣應(yīng)用于SHC272的計算復(fù)雜性,例如最小相位縮減,和使用平衡模型截斷方法來設(shè)計IIR濾波器以趨近已應(yīng)用最小相位縮減的中間SHC呈現(xiàn)矩陣254A、254B的相應(yīng)最小相位部分的頻率響應(yīng)??s減單元228輸出左和右SHC呈現(xiàn)矩陣256A、256B。卷積單元230對呈SHC272的形式的SHC內(nèi)容進行濾波以產(chǎn)生中間信號258A、258B,加總單元232將所述中間信號加總以產(chǎn)生左和右信號260A、260B。組合單元234組合左和右殘余房間輸出信號268A、268B以及左和右信號260A、260B以產(chǎn)生左和右立體聲輸出信號270A、270B。在一些實例中,立體聲呈現(xiàn)單元202可通過僅使用由變換單元222產(chǎn)生的SHC立體聲呈現(xiàn)矩陣252A、252B中的一者實施對計算的進一步縮減。因此,卷積單元230可對左或右信號中的僅一者進行運算,從而將卷積運算縮減一半。在這些實例中,加總單元232作出在呈現(xiàn)輸出260A、260B時關(guān)于第二信道的條件決策。圖9為說明根據(jù)本發(fā)明中所描述的技術(shù)的用于立體聲呈現(xiàn)裝置呈現(xiàn)球面諧波系數(shù)的實例操作模式的流程圖。為了說明的目的,關(guān)于圖7的音頻回放裝置200描述實例操作模式。立體聲房間脈沖響應(yīng)(BRIR)調(diào)節(jié)單元206通過從BRIR濾波器246A、246B中提取方向相依分量/片段(具體地說,頭部相關(guān)轉(zhuǎn)移函數(shù)和早期回波片段)分別調(diào)節(jié)左和右BRIR濾波器246A、246B(300)。左和右BRIR濾波器126A、126B中的每一者可包含用于一或多個對應(yīng)擴音器的BRIR濾波器。BRIR調(diào)節(jié)單元106將經(jīng)提取的頭部相關(guān)轉(zhuǎn)移函數(shù)和早期回波片段的串接提供到BRIRSHC域轉(zhuǎn)換單元220作為左和右矩陣248A、248B。BRIRSHC域轉(zhuǎn)換單元220應(yīng)用HOA呈現(xiàn)矩陣224以變換包含經(jīng)提取的頭部相關(guān)轉(zhuǎn)移函數(shù)和早期回波片段的左和右濾波器矩陣248A、248B以產(chǎn)生在球面諧波(例如,HOA)域中的左和右濾波器矩陣252A、252B(302)。在一些實例中,音頻回放裝置200可經(jīng)配置而具有左和右濾波器矩陣252A、252B。在一些實例中,音頻回放裝置200接收位流240的頻帶外或頻帶內(nèi)信號中的BRIR濾波器208,在所述狀況下,音頻回放裝置200產(chǎn)生左和右濾波器矩陣252A、252B。加總單元226將擴音器維度范圍內(nèi)的相應(yīng)左和右濾波器矩陣252A、252B加總以產(chǎn)生在SHC域中的立體聲呈現(xiàn)矩陣,所述立體聲呈現(xiàn)矩陣包含左和右中間SHC呈現(xiàn)矩陣254A、254B(304)??s減單元228可進一步縮減中間SHC呈現(xiàn)矩陣254A、254B以產(chǎn)生左和右SHC呈現(xiàn)矩陣256A、256B。立體聲呈現(xiàn)單元202的卷積單元230將左和右中間SHC呈現(xiàn)矩陣256A、256B應(yīng)用于SHC內(nèi)容(例如,球面諧波系數(shù)272)以產(chǎn)生左和右經(jīng)濾波的SHC(例如,HOA)信道258A、258B(306)。加總單元232將SHC維度(N+1)2范圍內(nèi)的左和右經(jīng)濾波的SHC信道258A、258B中的每一者加總以產(chǎn)生方向相依片段的左和右信號260A、260B(308)。組合單元116接著可組合左和右信號260A、260B與左和右殘余房間輸出信號268A、268B以產(chǎn)生包含左和右立體聲輸出信號270A、270B的立體聲輸出信號。圖10A為說明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面的可由圖7和8的音頻回放裝置執(zhí)行的實例操作模式310的圖。下文中關(guān)于圖8的音頻回放裝置200描述操作模式310。音頻回放裝置200的立體聲呈現(xiàn)單元202可經(jīng)配置而具有可為BRIR濾波器208的實例執(zhí)行個體的BRIR數(shù)據(jù)312,和可為HOA呈現(xiàn)矩陣224的實例執(zhí)行個體的HOA呈現(xiàn)矩陣314。音頻回放裝置200可接收在關(guān)于位流240的頻帶內(nèi)或頻帶外傳訊信道中的BRIR數(shù)據(jù)312和HOA呈現(xiàn)矩陣314。BRIR數(shù)據(jù)312在此實例中具有表示例如L個真實或虛擬擴音器的L個濾波器,L個濾波器中的每一者具有長度K。L個濾波器中的每一者可包含左和右分量(“x2”)。在一些狀況下,L個濾波器中的每一者可包含用于左或右的單一分量,左或右與其對應(yīng)物對稱:右或左。此情形可縮減快速卷積的成本。音頻回放裝置200的BRIR調(diào)節(jié)單元206可通過應(yīng)用分段和組合運算來調(diào)節(jié)BRIR數(shù)據(jù)312。具體地說,在實例操作模式310中,BRIR調(diào)節(jié)單元206根據(jù)本文中所描述的技術(shù)將L個濾波器中的每一者分段成HRTF加上具有組合長度a的早期回波片段以產(chǎn)生矩陣315(維數(shù)[a,2,L])和分段成殘余房間響應(yīng)片段以產(chǎn)生殘余矩陣339(維數(shù)[b,2,L])(324)。BRIR數(shù)據(jù)312的L個濾波器的長度K大約為a和b的總和。變換單元222可將維數(shù)為(N+1)2的HOA/SHC呈現(xiàn)矩陣314應(yīng)用于矩陣315的L個濾波器以產(chǎn)生維數(shù)為[(N+1)2,a,2,L]的矩陣317(其可為左和右矩陣252A、252B的組合的實例執(zhí)行個體)。加總單元226可將L范圍內(nèi)的左和右矩陣252A、252B中的每一者加總以產(chǎn)生維數(shù)為[(N+1)2,a,2]的中間SHC呈現(xiàn)矩陣335(第三維度具有表示左和右分量的值2;中間SHC呈現(xiàn)矩陣335可表示為左和右中間SHC呈現(xiàn)矩陣254A、254B兩者的實例執(zhí)行個體)(326)。在一些實例中,音頻回放裝置200可經(jīng)配置而具有用于應(yīng)用于HOA內(nèi)容316(或其經(jīng)縮減的版本,例如HOA內(nèi)容321)的中間SHC呈現(xiàn)矩陣335。在一些實例中,縮減單元228可通過僅使用矩陣317的左或右分量中的一者而應(yīng)用對計算的進一步縮減(328)。音頻回放裝置200接收NI階和長度為Length的HOA內(nèi)容316,且在一些方面中,應(yīng)用階次縮減運算以將其中的球面諧波系數(shù)(SHC)的階次縮減到N(330)。NI指示輸入HOA內(nèi)容321的階次。階次縮減運算(330)的HOA內(nèi)容321如同SHC域中的HOA內(nèi)容316??蛇x階次縮減運算也產(chǎn)生最高階(例如,第0階)信號319并將其提供到殘余響應(yīng)單元210以用于進行快速卷積運算(338)。在HOA階次縮減單元204不縮減HOA內(nèi)容316的階次的例子中,應(yīng)用快速卷積運算(332)對并不具有縮減的階次的輸入進行運算。在任一狀況下,到快速卷積運算(332)的HOA內(nèi)容321輸入具有維度[Length,(N+1)2],其中N為階次。音頻回放裝置200可應(yīng)用HOA內(nèi)容321與矩陣335的快速卷積以產(chǎn)生具有左和右分量且因此具有維度[Length,(N+1)2,2]的HOA信號323(332)。此外,快速卷積可指頻域中的HOA內(nèi)容321與矩陣335的逐點乘法或時域中的卷積。音頻回放裝置200可進一步將(N+1)2范圍內(nèi)的HOA信號323加總以產(chǎn)生維度為[Length,2]的經(jīng)加總的信號325(334)?,F(xiàn)返回到殘余矩陣339,音頻回放裝置200可根據(jù)本文中所描述的技術(shù)組合L個殘余房間響應(yīng)片段,以產(chǎn)生維度為[b,2]的共同殘余房間響應(yīng)矩陣327(336)。音頻回放裝置200可應(yīng)用第0階HOA信號319與共同殘余房間響應(yīng)矩陣327的快速卷積以產(chǎn)生維度為[Length,2]的房間響應(yīng)信號329(338)。因為為了產(chǎn)生殘余矩陣339的L個殘余響應(yīng)房間響應(yīng)片段,音頻回放裝置200獲得在BRIR數(shù)據(jù)312的L個濾波器的第(a+1)個樣本處開始的殘余響應(yīng)房間響應(yīng)片段,所以音頻回放裝置200通過延遲(例如,填補)a個樣本以產(chǎn)生維度為[Length,2]的房間響應(yīng)信號311而考慮到初始a個樣本(340)。音頻回放裝置200通過將元素相加以產(chǎn)生維度為[Length,2]的輸出信號318來組合經(jīng)加總的信號325與房間響應(yīng)信號311(342)。以此方式,音頻回放裝置可避免應(yīng)用L個殘余房間響應(yīng)片段中的每一者的快速卷積。對于用于轉(zhuǎn)換到立體聲音頻輸出信號的22信道輸入,此情形可將用于產(chǎn)生殘余房間響應(yīng)的快速卷積的數(shù)目從22縮減到2。圖10B為說明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面的可由圖7和8的音頻回放裝置執(zhí)行的實例操作模式350的圖。下文中關(guān)于圖8的音頻回放裝置200描述操作模式350,且所述操作模式類似于操作模式310。然而,根據(jù)本文中所描述的技術(shù),操作模式350包含首先將HOA內(nèi)容呈現(xiàn)到L個真實或虛擬擴音器的時域中的多信道揚聲器信號中,且接著將有效率的BRIR濾波應(yīng)用于揚聲器饋入中的每一者。為此,音頻回放裝置200將HOA內(nèi)容321變換到維度為[Length,L]的多信道音頻信號333(344)。另外,音頻回放裝置不會將BRIR數(shù)據(jù)312變換到SHC域。因此,通過音頻回放裝置200對信號314應(yīng)用縮減產(chǎn)生維度為[a,2,L]的矩陣337(328)。音頻回放裝置200接著應(yīng)用多信道音頻信號333與矩陣337的快速卷積332以產(chǎn)生維度為[Length,L,2](具有左和右分量)的多信道音頻信號341(348)。音頻回放裝置200接著可通過L個信道/揚聲器將多信道音頻信號341加總以產(chǎn)生維度為[Length,2]的信號325(346)。圖11為說明可執(zhí)行本發(fā)明中所描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置350的實例的框圖。雖然經(jīng)說明為單一裝置(即,圖11的實例中的音頻回放裝置350),但所述技術(shù)可由一或多個裝置來執(zhí)行。因此,技術(shù)在此方面應(yīng)不受限制。此外,雖然上文關(guān)于圖1到10B的實例大體上描述為在球面諧波域中加以應(yīng)用,但也可關(guān)于任何形式的音頻信號實施技術(shù),所述音頻信號包含遵照上文所注明的環(huán)繞聲格式(例如,5.1環(huán)繞聲格式、7.1環(huán)繞聲格式,和/或22.2環(huán)繞聲格式)的基于信道的信號。因此,技術(shù)也不應(yīng)限于球面諧波域中所指定的音頻信號,而是可關(guān)于任何形式的音頻信號來應(yīng)用。如圖11的實例中所示,音頻回放裝置350可類似于圖7的實例中所示的音頻回放裝置100。然而,音頻回放裝置350可操作或以其它方式執(zhí)行關(guān)于一般基于信道的音頻信號的技術(shù),作為一個實例,所述信號遵照22.2環(huán)繞聲格式。提取單元104可提取音頻信道352,其中音頻信道352大體上可包含“n”個信道,且假定在此實例中包含遵照22.2環(huán)繞聲格式的22個信道。將這些信道352提供到立體聲呈現(xiàn)單元351的殘余房間響應(yīng)單元354和按信道截斷的濾波器單元356兩者。如上文所描述,BRIR濾波器108包含一或多個BRIR濾波器且可表示圖3的BRIR濾波器37的實例。BRIR濾波器108可包含表示左和右HRTF對相應(yīng)BRIR的效應(yīng)的單獨BRIR濾波器126A、126B。BRIR調(diào)節(jié)單元106接收BRIR濾波器126A、126B的n個執(zhí)行個體,每一信道n一個執(zhí)行個體,且其中每一BRIR濾波器具有長度N。BRIR濾波器126A、126B可能已經(jīng)經(jīng)調(diào)節(jié)以去除靜寂樣本。BRIR調(diào)節(jié)單元106可應(yīng)用上文所描述的技術(shù)以將BRIR濾波器126A、126B分段以識別相應(yīng)HRTF、早期反射和殘余房間片段。BRIR調(diào)節(jié)單元106將HRTF和早期反射片段提供到按信道截斷的濾波器單元356作為表示大小為[a,L]的左和右矩陣的矩陣129A、129B,其中a為HRTF和早期反射片段的串接的長度,且n為擴音器(虛擬的或真實的)的數(shù)目。BRIR調(diào)節(jié)單元106將BRIR濾波器126A、126B的殘余房間片段提供到殘余房間響應(yīng)單元354作為大小為[b,L]的左和右殘余房間矩陣128A、128B,其中b為殘余房間片段的長度且n為擴音器(虛擬的或真實的)的數(shù)目。殘余房間響應(yīng)單元354可應(yīng)用上文所描述的技術(shù)以計算或以其它方式確定用于與音頻信道352進行卷積的左和右共同殘余房間響應(yīng)片段。即,殘余房間響應(yīng)單元110可接收左和右殘余房間矩陣128A、128B且組合n范圍內(nèi)的相應(yīng)左和右殘余房間矩陣128A、128B以產(chǎn)生左和右共同殘余房間響應(yīng)片段。在一些例子中,殘余房間響應(yīng)單元354可通過對n范圍內(nèi)的左和右殘余房間矩陣128A、128B求平均值來執(zhí)行組合。殘余房間響應(yīng)單元354接著可計算左和右共同殘余房間響應(yīng)片段與音頻信道352中的至少一者的快速卷積。在一些實例中,殘余房間響應(yīng)單元352可從BRIR調(diào)節(jié)單元106接收共同殘余房間響應(yīng)片段的開始時間的值。殘余房間響應(yīng)單元354可零填補或以其它方式延遲輸出信號134A、134B,以預(yù)期與BRIR濾波器108的較早期片段組合。輸出信號134A可表示左音頻信號,而輸出信號134B可表示右音頻信號。按信道截斷的濾波器單元356(在下文中為“經(jīng)截斷的濾波器單元356”)可將BRIR濾波器的HRTF和早期反射片段應(yīng)用于信道352。更具體地說,按信道截斷的濾波器單元356可將表示BRIR濾波器的HRTF和早期反射片段的矩陣129A和129B應(yīng)用于信道352中的每一者。在一些例子中,可將矩陣129A和129B組合以形成單一矩陣129。此外,通常存在HRTF和早期反射矩陣129A和129B中的每一者中的左者以及HRTF和早期反射矩陣129A和129B中的每一者中的右者。即,通常存在用于左耳和右耳的HRTF和早期反射矩陣。按信道方向單元356可應(yīng)用左和右矩陣129A、129B中的每一者以輸出左和右經(jīng)濾波的信道358A和358B。組合單元116可組合(或換句話說,混合)左經(jīng)濾波的信道358A與輸出信號134A,同時組合(或換句話說,混合)右經(jīng)濾波的信道358B與輸出信號134B,以產(chǎn)生立體聲輸出信號136A、136B。立體聲輸出信號136A可對應(yīng)于左音頻信道,且立體聲輸出信號136B可對應(yīng)于右音頻信道。在一些實例中,立體聲呈現(xiàn)單元351可彼此同時發(fā)生地調(diào)用殘余房間響應(yīng)單元354和按信道截斷的濾波器單元356,以使得殘余房間響應(yīng)單元354與按信道截斷的濾波器單元356的操作同時發(fā)生地操作。即,在一些實例中,殘余房間響應(yīng)單元354可與按信道截斷的濾波器單元356并行地(但經(jīng)常并非同時地)操作,常常改善可產(chǎn)生立體聲輸出信號136A、136B的速度。雖然在上文的各圖中經(jīng)展示為可能地以串接方式操作,但除非以其它方式特別地指示,否則技術(shù)可提供本發(fā)明中所描述的單元或模塊中的任一者的同時發(fā)生的或并行操作。圖12為說明根據(jù)本發(fā)明中所描述的技術(shù)的各種方面的可由圖11的音頻回放裝置350執(zhí)行的過程380的圖。過程380達成將每一BRIR分解成兩個部分:(a)并有由左濾波器384AL到384NL和由右濾波器384AR到384NR(統(tǒng)稱為“濾波器384”)表示的HRTF和早期反射的效應(yīng)的較小分量和(b)從原始BRIR的所有尾部的性質(zhì)產(chǎn)生和由左混響濾波器386L和右混響濾波器386R(統(tǒng)稱為“共同濾波器386”)表示的共同“混響尾部”。在過程380中展示的按信道濾波器384可表示上文所注明的部分(a),而過程380中所展示的共同濾波器386可表示上文所注明的部分(b)。過程380通過分析BRIR以消除聽不見的分量和確定包括HRTF/早期反射的分量和歸因于晚期反射/漫射產(chǎn)生的分量來執(zhí)行此分解。對于部分(a),此情形導(dǎo)致長度(作為一個實例)為2704個分接頭的FIR濾波器,和對于部分(b),此情形導(dǎo)致長度(作為另一實例)為15232個分接頭的FIR濾波器。根據(jù)過程380,在操作396中,音頻回放裝置350可僅將較短FIR濾波器應(yīng)用于個別n個信道中的每一者,出于說明的目的,假定其為22。此運算的復(fù)數(shù)可表示于下文再現(xiàn)的等式(8)中的計算的第一部分中(使用4096點FFT)。在過程380中,音頻回放裝置350可能不將共同“混響尾部”應(yīng)用于22個信道中的每一者,而是在操作398中將其全部應(yīng)用于其加成性混合。此復(fù)數(shù)表示于等式(8)中的復(fù)數(shù)計算的后一半中,其再次展示于隨附附錄中。在此方面,過程380可表示基于來自N個信道中的多個的混合音頻內(nèi)容產(chǎn)生復(fù)合音頻信號的立體聲音頻呈現(xiàn)方法。另外,過程380可進一步通過延遲將復(fù)合音頻信號與N個信道濾波器的輸出對準,其中每一信道濾波器包含經(jīng)截斷的BRIR濾波器。此外,在過程380中,音頻回放裝置350接著可在操作398中用共同合成殘余房間脈沖響應(yīng)對經(jīng)對準的復(fù)合音頻信號進行濾波,且在立體聲音頻輸出388L、388R的左和右分量的操作390L和390R中將每一信道濾波器的輸出與經(jīng)濾波的經(jīng)對準的復(fù)合音頻信號混合。在一些實例中,經(jīng)截斷的BRIR濾波器和共同合成殘余脈沖響應(yīng)經(jīng)預(yù)先載入于存儲器中。在一些實例中,在時間頻域中執(zhí)行經(jīng)對準的復(fù)合音頻信號的濾波。在一些實例中,在時域中通過卷積執(zhí)行經(jīng)對準的復(fù)合音頻信號的濾波。在一些實例中,經(jīng)截斷的BRIR濾波器和共同合成殘余脈沖響應(yīng)是基于分解分析。在一些實例中,對N個房間脈沖響應(yīng)中的每一者執(zhí)行分解分析,且其導(dǎo)致N個經(jīng)截斷的房間脈沖響應(yīng)和N個殘余脈沖響應(yīng)(其中N可在上文中表示為n或n)。在一些實例中,經(jīng)截斷的脈沖響應(yīng)表示每一房間脈沖響應(yīng)的總長度的小于百分的四十。在一些實例中,經(jīng)截斷的脈沖響應(yīng)包含在111與17,830之間的分接頭范圍。在一些實例中,N個殘余脈沖響應(yīng)中的每一者組合成縮減復(fù)雜性的共同合成殘余房間響應(yīng)。在一些實例中,將每一信道濾波器的輸出與經(jīng)濾波的經(jīng)對準的復(fù)合音頻信號混合包含用于左揚聲器輸出的混合的第一集合和用于右揚聲器輸出的混合的第二集合。在各種實例中,上文所描述的過程380的各種實例或其任何組合的方法可由以下各者來執(zhí)行:包括存儲器和一或多個處理器的裝置、包括用于執(zhí)行方法的每一步驟的裝置的設(shè)備,和通過執(zhí)行存儲于非暫時性計算機可讀存儲媒體上的指令執(zhí)行所述方法的每一步驟的一或多個處理器。此外,上文所描述的實例中的任一者中所闡述的特定特征中的任一者可組合成所描述的技術(shù)的有益實例。即,特定特征中的任一者大體上適用于技術(shù)的所有實例。已描述技術(shù)的各種實例。在一些情況下,本發(fā)明中所描述的技術(shù)可僅識別橫跨BRIR集合的可聽見的樣本111到17830。從實例房間的體積計算混合時間Tmp95,技術(shù)接著可使所有BRIR在53.6ms之后共享共同混響尾部,從而導(dǎo)致15232樣本長的共同混響尾部和剩余2704樣本HRTF+反射脈沖,其間具有3ms淡入淡出。在計算成本減輕方面,可出現(xiàn)以下情況:(a)共同混響尾部:10*6*log2(2*15232/10)。(b)剩余脈沖:22*6*log2(2*4096),使用4096FFT來在一個幀中進行。(c)額外22個添加。因此,最終優(yōu)值因此可大致等于Cmod=max(100*(Cconv-C)/Cconv,0)=88.0,其中:Cmod=max(100*(Cconv-C)/Cconv,0),(6)其中Cconv為對未經(jīng)優(yōu)化的實施方案的估計:Cconv=(22+2)*(10)*(6*log2(2*48000/10)),(7)在一些方面中,C可由兩個加成性因子確定:因此,在一些方面中,優(yōu)值Cmod=87.35。可將表示為Bn(z)的BRIR濾波器分解成兩個函數(shù)BTn(z)和BRn(z),其分別表示經(jīng)截斷的BRIR濾波器和混響B(tài)RIR濾波器。上文所注明的部分(a)可指此經(jīng)截斷的BRIR濾波器,而上文的部分(b)可指混響B(tài)RIR濾波器。Bn(z)接著可等于BTn(z)+(z-m*BRn(z)),其中m表示延遲。輸出信號Y(z)因此可計算為:過程380可分析BRn(z)以導(dǎo)出共同合成混響尾部片段,其中可應(yīng)用此共同BR(z)而不是信道特定BRn(z)。當使用此共同(或信道通用)合成BR(z)時,Y(z)可計算為:圖13為說明可執(zhí)行本發(fā)明中描述的立體聲音頻呈現(xiàn)技術(shù)的各種方面的音頻回放裝置的實例的框圖。雖然說明為單一裝置(即,圖13的實例中的音頻回放裝置400),但所述技術(shù)可由一或多個裝置執(zhí)行。因此,所述技術(shù)在此方面不應(yīng)受限。此外,音頻回放裝置400可表示音頻回放系統(tǒng)62的一個實例。如圖13的實例中展示,音頻回放裝置400可包含提取單元404、BRIR選擇單元424和立體聲呈現(xiàn)單元402。提取單元404可表示經(jīng)配置以從位流420提取經(jīng)編碼音頻數(shù)據(jù)的單元。提取單元404可以球面諧波系數(shù)(SHC)422(其也可被稱作較高階環(huán)境立體混合聲(HOA),其中SHC422可包含與大于一的階次相關(guān)聯(lián)的至少一個系數(shù))的形式將提取的經(jīng)編碼音頻數(shù)據(jù)轉(zhuǎn)發(fā)到立體聲呈現(xiàn)單元146。BRIR選擇單元424表示用戶、用戶代理或其它外部實體可提供用戶輸入425以根據(jù)本文中描述的技術(shù)選擇將使用一組規(guī)則還是不規(guī)則的BRIR來立體聲化SHC422所借的接口。BRIR選擇單元424可包含命令行或圖形用戶接口、應(yīng)用程序編程接口、網(wǎng)絡(luò)接口、應(yīng)用程序接口(例如,簡單對象訪問協(xié)議)、遠程程序調(diào)用或外部實體可配置將使用一組規(guī)則還是不規(guī)則的BRIR所借的任何其它接口。信號426表示引導(dǎo)或配置立體聲呈現(xiàn)單元402使用一組規(guī)則還是不規(guī)則的BRIR用于立體聲化SHC422。信號426可表示旗標、函數(shù)參數(shù)、信號或音頻回放裝置400可引導(dǎo)立體聲呈現(xiàn)單元402選擇一組規(guī)則還是不規(guī)則的BRIR用于立體聲化SHC422的任何其它方式。在一些實例中,音頻回放裝置400包含經(jīng)配置以解碼經(jīng)編碼音頻數(shù)據(jù)以便產(chǎn)生SHC422的音頻解碼單元。音頻解碼單元可執(zhí)行在一些方面與用以編碼SHC422的音頻編碼過程互逆的音頻解碼過程。音頻解碼單元可包含時頻分析單元,其經(jīng)配置以將經(jīng)編碼音頻數(shù)據(jù)的SHC從時域變換到頻域,由此產(chǎn)生SHC422。即,當經(jīng)編碼音頻數(shù)據(jù)表示未從時域轉(zhuǎn)換到頻域的SHC422的經(jīng)壓縮形式時,音頻解碼單元可調(diào)用時頻分析單元來將SHC從時域轉(zhuǎn)換到頻域,以便產(chǎn)生SHC422(在頻域中指定)。時頻分析單元可應(yīng)用任何形式的基于傅立葉的變換,包含快速傅里葉變換(FFT)、離散余弦變換(DCT)、經(jīng)修改離散余弦變換(MDCT)和離散正弦變換(DST)(提供幾個實例),以將SHC從時域變換到頻域中的SHC422。在一些情況下,SHC422可已在位流420中指定于頻域中。在這些情況下,時頻分析單元可將SHC422傳送到立體聲呈現(xiàn)單元402,而不應(yīng)用變換或另外變換接收到的SHC422。雖然關(guān)于在頻域中指定的SHC422來描述,但可關(guān)于在時域中指定的SHC422來執(zhí)行所述技術(shù)。立體聲呈現(xiàn)單元402表示經(jīng)配置以立體聲化SHC422的單元。換句話說,立體聲呈現(xiàn)單元402可表示經(jīng)配置以將SHC422呈現(xiàn)到左信道和右信道的單元,左信道和右信道可表征空間化以模型化左信道和右信道將由在記錄SHC422的房間中的收聽者聽到的程度。立體聲呈現(xiàn)單元402可呈現(xiàn)SHC422,以產(chǎn)生左信道436A和右信道436B(其可共同地被稱作“信道436”),其適合于經(jīng)由頭戴裝置(例如,頭戴式耳機)回放。如圖13的實例中所展示,立體聲呈現(xiàn)單元402包含內(nèi)插單元406、時間頻率分析單元408、復(fù)數(shù)BRIR單元410、加總單元442、復(fù)數(shù)乘法單元416、對稱優(yōu)化單元418、非對稱優(yōu)化單元420和反時間頻率分析單元422。立體聲呈現(xiàn)單元402可調(diào)用內(nèi)插單元406內(nèi)插不規(guī)則BRIR濾波器407A以便產(chǎn)生內(nèi)插的規(guī)則BRIR濾波器407C,其中在BRIR濾波器的情況下,對“規(guī)則”或“不規(guī)則”的參考可表示揚聲器相對于彼此的間距的規(guī)則性或不規(guī)則性。不規(guī)則BRIR濾波器407A可具有等于L×2(其中L表示擴音器的數(shù)目)的大小。規(guī)則BRIR濾波器407A可包括L個擴音器×2(假定這些擴音器規(guī)則地成對布置)。音頻回放裝置400的用戶或其他操作者可指示或另外配置在SHC422的立體聲化期間將使用不規(guī)則BRIR濾波器407A還是規(guī)則BRIR濾波器407B。此外,音頻回放裝置400的用戶或其他操作者可指示或另外配置當在SHC422的立體聲化期間將使用不規(guī)則BRIR濾波器407A時,是否將關(guān)于不規(guī)則BRIR濾波器407A執(zhí)行內(nèi)插以產(chǎn)生規(guī)則BRIR濾波器407C。內(nèi)插單元406可使用基于向量的振幅水平移動或其它水平移動技術(shù)內(nèi)插不規(guī)則BRIR濾波器407B以形成B數(shù)目個擴音器對,從而導(dǎo)致規(guī)則BRIR濾波器407C具有L×2的大小(再次假定此規(guī)則且因此關(guān)于軸線對稱)。雖然在圖13的實例中未展示,但用戶或其他操作者可經(jīng)由用戶接口與音頻回放裝置400介接,不管用戶接口是經(jīng)由圖形用戶接口以圖形方式呈現(xiàn)還是物理呈現(xiàn)(例如,作為一系列按鈕或其它輸入)以選擇在立體聲化SHC422時是否將使用不規(guī)則BRIR濾波器407A、規(guī)則BRIR濾波器407B和/或規(guī)則BRIR濾波器407C。無論如何,當BRIR濾波器407A到407C(取決于選擇哪一者來立體聲化SHC422)在時域中呈現(xiàn)時,立體聲呈現(xiàn)單元402可調(diào)用時間-頻率分析單元408將BRIR濾波器407A到407C(“BRIR濾波器407”)中的選定者從時域變換到頻域,從而分別導(dǎo)致經(jīng)變換BRIR濾波器409A到409C(“BRIR濾波器409”)。復(fù)數(shù)BRIR單元410表示經(jīng)配置以關(guān)于不規(guī)則呈現(xiàn)器405A(具有L×(N+1)2的大小)或規(guī)則呈現(xiàn)器405B(具有L×(N+1)2的大小)和一或多個BRIR濾波器409執(zhí)行逐元素復(fù)數(shù)乘法和加總以產(chǎn)生各自為L×(N+1)2的大小的兩個BRIR呈現(xiàn)向量411A和411B的單元,其中N再次表示SHC422中的一或多者對應(yīng)于的球面基底函數(shù)的最高階次。取決于BRIR濾波器407中的選定者規(guī)則還是不規(guī)則,復(fù)數(shù)BRIR單元410可選擇不規(guī)則呈現(xiàn)器405A或規(guī)則呈現(xiàn)器405B。即,作為一個實例,當BRIR濾波器407中的選定者規(guī)則(例如,BRIR濾波器407B或407C),復(fù)數(shù)BRIR單元410選擇規(guī)則呈現(xiàn)器405B。當BRIR濾波器407中的選定者不規(guī)則(例如,BRIR濾波器407A)時,復(fù)數(shù)BRIR單元410選擇不規(guī)則呈現(xiàn)器405A。在一些實例中,音頻回放裝置400的用戶或其他操作者可指示或另外選擇使用不規(guī)則呈現(xiàn)器405A還是規(guī)則呈現(xiàn)器405B。在一些實例中,音頻回放裝置400的用戶或其他操作者可指示或另外選擇使用不規(guī)則呈現(xiàn)器405A還是規(guī)則呈現(xiàn)器405B,而非選擇使用BRIR濾波器407中的一者(其中呈現(xiàn)器405A或405B的選擇實現(xiàn)BRIR濾波器407中的所述一者的選擇,例如,選擇規(guī)則呈現(xiàn)器405B導(dǎo)致BRIR濾波器407B和/或407C的選擇,且選擇不規(guī)則呈現(xiàn)器405A導(dǎo)致BRIR濾波器407A的選擇)。求和單元442可表示對L范圍內(nèi)的BRIR呈現(xiàn)向量411A和411B中的每一者加總以產(chǎn)生加總的BRIR呈現(xiàn)向量413A和413B的單元。開窗單元可表示將開窗函數(shù)應(yīng)用到加總的BRIR呈現(xiàn)向量413A和413B中的每一者以產(chǎn)生經(jīng)開窗BRIR呈現(xiàn)向量415A和415B的單元。開窗函數(shù)的實例可包含maxRE開窗函數(shù)、同相開窗函數(shù)和凱澤(Kaiser)開窗函數(shù)。復(fù)數(shù)乘法單元416表示用向量415A和415B中的每一者執(zhí)行SHC422的逐元素復(fù)數(shù)乘法以產(chǎn)生左修改的SHC417A和右修改的SHC417B的單元。立體聲呈現(xiàn)單元402可接著潛在地基于由音頻回放裝置400的用戶或其他操作者鍵入的配置數(shù)據(jù)調(diào)用對稱優(yōu)化單元418或非對稱優(yōu)化單元420中的任一者。即,當用戶指定在SHC422的立體聲化期間將使用不規(guī)則BRIR濾波器407A時,立體聲呈現(xiàn)單元402可確定不規(guī)則BRIR濾波器407A對稱還是不對稱。即,并非所有不規(guī)則BRIR濾波器407A都是不對稱的,而是可對稱。當不規(guī)則BRIR濾波器407A對稱但并非規(guī)則地間隔時,立體聲呈現(xiàn)單元402調(diào)用對稱優(yōu)化單元418以優(yōu)化左修改的SHC417A和右修改的SHC417B的呈現(xiàn)。當不規(guī)則BRIR濾波器407A不對稱時,立體聲呈現(xiàn)單元402調(diào)用非對稱優(yōu)化單元420以優(yōu)化左修改的SHC417A和右修改的SHC417B的呈現(xiàn)。當選擇規(guī)則BRIR濾波器407B或407C時,立體聲呈現(xiàn)單元402調(diào)用對稱優(yōu)化單元420以優(yōu)化左修改的SHC417A和右修改的SHC417B的呈現(xiàn)。對稱優(yōu)化單元418當被調(diào)用時可加總在n階次和m次階上的左修改的SHC417A和右修改的SHC417B中的僅一者。即,對稱優(yōu)化單元418可加總在n階次和m次階上的SHC417A以產(chǎn)生頻域左揚聲器饋入419A。對稱優(yōu)化單元418可接著倒轉(zhuǎn)具有負次階的與球面基底函數(shù)相關(guān)聯(lián)的SHC417A中的那些,且接著將在n階次和m次階上的SHC417A的此經(jīng)倒轉(zhuǎn)型式加總以產(chǎn)生頻域右揚聲器饋入419B。非對稱優(yōu)化單元420當被調(diào)用時,將在n階次和m次階上的左修改的SHC417A和右修改的SHC417B中的每一者加總以分別產(chǎn)生頻域左揚聲器饋入421A和頻域右揚聲器饋入421B。反時間頻率分析單元422可表示將頻域左揚聲器饋入419A或421A和對應(yīng)的頻域右揚聲器饋入419B或421A從頻域變換到時域以便產(chǎn)生左揚聲器饋入436A和右揚聲器饋入436B的單元。以此方式,所述技術(shù)使包括一或多個處理器的裝置400能夠?qū)⒘Ⅲw聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用立體聲房間脈沖響應(yīng)濾波器時,將不規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到球面諧波系數(shù)以便呈現(xiàn)所述聲場,其中不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用立體聲房間脈沖響應(yīng)濾波器時,將規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場,其中所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,所述一或多個處理器經(jīng)進一步配置以內(nèi)插不規(guī)則立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生規(guī)則立體聲房間脈沖響應(yīng)濾波器。在這些和其它實例中,所述不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器且所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在這些和其它實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時,將所述規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以將開窗函數(shù)應(yīng)用到所述立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器。在這些和其它實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時將所述經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器。在這些和其它實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器,且將所述球面諧波系數(shù)從所述時域變換到所述頻域以便產(chǎn)生經(jīng)變換球面諧波系數(shù)。在這些和其它實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時,將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述經(jīng)變換球面諧波系數(shù)以便呈現(xiàn)所述聲場的頻域表示。在這些和其它實例中,所述一或多個處理器經(jīng)進一步配置以將反變換應(yīng)用到所述聲場的所述頻域表示以呈現(xiàn)所述聲場。圖14為說明可執(zhí)行本發(fā)明中描述的立體聲音頻呈現(xiàn)的各種方面的音頻回放裝置的實例的框圖。音頻回放裝置500可進一步詳細地表示圖1的音頻回放系統(tǒng)62的另一實例執(zhí)行個體。音頻回放裝置500可類似于圖13的音頻回放裝置400,其中音頻回放裝置500包含執(zhí)行類似于以上關(guān)于圖13的音頻回放裝置400描述的操作的操作的提取單元404、BRIR選擇單元424和立體聲呈現(xiàn)單元402。然而,音頻回放裝置500還可包含階次縮減單元504,其處理入站的SHC422以縮減SHC422的階次或次階以產(chǎn)生階次縮減的SHC502。階次縮減單元504可基于SHC422的分析(例如,能量分析、方向性分析和其它形式的分析或其組合)執(zhí)行此階次縮減以從SHC422去除一或多個次階m或階次n。能量分析可涉及執(zhí)行關(guān)于SHC422的奇異值分解。方向性分析也可涉及執(zhí)行關(guān)于SHC422的奇異值分解。SHC502可因此包含比SHC422少的階次和/或次階。階次縮減單元504也可產(chǎn)生識別SHC422的階次和/或次階的經(jīng)去除以產(chǎn)生SHC502的階次縮減數(shù)據(jù)506。階次縮減單元504可將此階次縮減數(shù)據(jù)506和階次縮減的SHC502提供到立體聲呈現(xiàn)單元402。音頻回放裝置500的立體聲呈現(xiàn)單元402可功能上實質(zhì)類似于音頻回放裝置400的立體聲呈現(xiàn)單元402,除了音頻回放裝置500的立體聲呈現(xiàn)單元402可基于階次縮減的SHC502更改呈現(xiàn)器405中的各者同時還關(guān)于階次縮減的SHC502(而非非階次縮減的SHC422)操作之外。音頻回放裝置500的立體聲呈現(xiàn)單元402可通過至少部分去除負責(zé)呈現(xiàn)SHC422的經(jīng)去除階次和/或次階的呈現(xiàn)器405的那些部分來基于階次縮減數(shù)據(jù)506更改、修改或確定呈現(xiàn)器405。執(zhí)行階次縮減可縮減與SHC422的立體聲化相關(guān)聯(lián)的計算復(fù)雜性(就處理器循環(huán)和/或存儲器消耗來說),通常不顯著影響音頻回放(就如所希望引入明顯偽音或另外使聲場的回放失真來說)。本發(fā)明中描述且圖13到14的實例中展示的技術(shù)可提供通過頻域中的一組規(guī)則或不規(guī)則BRIR使3D聲場立體聲化所借的有效率方式。如果一組不規(guī)則的BRIR407A將由立體聲呈現(xiàn)單元402用以呈現(xiàn)(例如)SHC422,那么在一些情況下,立體聲呈現(xiàn)單元402可將BRIR集合內(nèi)插到一組規(guī)則間隔的BRIR407C。此內(nèi)插可經(jīng)由線性內(nèi)插法、向量基礎(chǔ)振幅平移(VBAP)等進行。如果尚未在頻域中,那么可使用(例如)快速傅立葉變換(FFT)、離散傅立葉變換(DFT)、離散余弦變換(DCT)、修改的DCT(MDCT)和抽取信號對角化(DSD)將待使用的BRIR集合(或“選定BRIR集合”)變換成頻域。立體聲呈現(xiàn)單元402可接著分別取決于規(guī)則BRIR濾波器407B或不規(guī)則BRIR濾波器407A的先前選擇將待使用的BRIR集合與規(guī)則呈現(xiàn)器405B或不規(guī)則呈現(xiàn)器405A復(fù)數(shù)相乘。規(guī)則呈現(xiàn)器405B或不規(guī)則呈現(xiàn)器405A的階次N可由選擇來確定以使用傳入的HOA信號(例如,SHC422)的完全階次,使得N<=NI,其中NI為傳入的HOA信號的輸入階次或完全階次。在圖14的實例中應(yīng)用階次縮減操作的階次縮減單元504也可影響在呈現(xiàn)器405A、406B還有BRIR內(nèi)插中需要的擴音器的數(shù)目L。然而,如果未選擇BRIR集合的規(guī)則化,那么可將來自待使用的BRIR集合的L的值向后饋入到階次縮減504還有呈現(xiàn)器405A、406B。在呈現(xiàn)器405A、406B中的適當呈現(xiàn)器與待使用的BRIR集合的復(fù)數(shù)相乘后,可在L范圍上將輸出的信號411A、411B加總以產(chǎn)生立體聲化的HOA呈現(xiàn)器信號413A、413B。為了進一步增強呈現(xiàn),可包含窗塊,使得可使用例如maxRe、同相或凱澤的開窗函數(shù)改變n、m(m為HOA次階)在頻率上的加權(quán)。那些窗可幫助符合由蓋爾宗(Gerzon)闡述的傳統(tǒng)環(huán)境立體混合聲準則,其給出了目標測量以符合音質(zhì)準則。在此任選窗后,立體聲呈現(xiàn)單元402將HOA信號與立體聲化的HOA呈現(xiàn)器信號415A、415B復(fù)數(shù)相乘以產(chǎn)生立體聲HOA信號417A、417B(這些是在本發(fā)明中其它處被描述為左修改的SHC417A、右修改的SHC417B的實例)。在一些情況下,所述技術(shù)也可允許對稱的BRIR優(yōu)化。如果立體聲呈現(xiàn)單元402應(yīng)用不對稱優(yōu)化,那么立體聲呈現(xiàn)單元402將用于左信道和右信道的n、mHOA系數(shù)加總。然而,如果立體聲呈現(xiàn)單元402應(yīng)用對稱優(yōu)化,那么立體聲呈現(xiàn)單元402將用于左信道的n、mHOA系數(shù)加總且輸出。但歸因于球面諧波基底函數(shù)的對稱性,在加總前使m<0的值取倒數(shù)。貫穿以上描述的技術(shù),可反向應(yīng)用此對稱性,其中僅確定BRIR集合的左側(cè)。對于立體聲輸出436A、436B,立體聲呈現(xiàn)單元402可將左和右信號變換回到時域(反變換)。以此方式,技術(shù)可a)包含3D(不僅僅2D),b)較高階環(huán)境立體混合聲(不僅僅一階環(huán)境立體混合聲)的立體聲化,c)規(guī)則或不規(guī)則BRIR集合的應(yīng)用,d)來自不規(guī)則到規(guī)則BRIR集合的BRIR的內(nèi)插,e)BRIR信號的開窗以較好地匹配環(huán)境立體混合聲再現(xiàn)準則;和f)至少部分通過利用頻域計算而非時域計算在計算上潛在地改善效率。圖15為說明根據(jù)本發(fā)明中描述的技術(shù)的用于立體聲呈現(xiàn)裝置呈現(xiàn)球面諧波系數(shù)的實例操作模式的流程圖。出于說明的目的,關(guān)于圖13的音頻回放裝置400描述所述實例操作模式。提取單元404可從位流420提取經(jīng)編碼音頻數(shù)據(jù)。提取單元404可按球面諧波系數(shù)(SHC)422(其也可被稱作較高階環(huán)境立體混合聲(HOA),其中SHC422可包含與大于一的階次相關(guān)聯(lián)的至少一個系數(shù))的形式將提取的經(jīng)編碼音頻數(shù)據(jù)轉(zhuǎn)發(fā)到立體聲呈現(xiàn)單元146(600)。假定SHC422已在位流420中在頻域中指定,那么時間-頻率分析單元可將SHC422傳送到立體聲呈現(xiàn)單元402,而不應(yīng)用變換或另外變換接收到的SHC422。雖然關(guān)于在頻域中指定的SHC422描述,但可關(guān)于在時域中指定的SHC422執(zhí)行所述技術(shù)。無論如何,換句話說,立體聲呈現(xiàn)單元402可表示經(jīng)配置以將SHC422對左信道和右信道呈現(xiàn)的單元,左信道和右信道可表征空間化以模型化左信道和右信道將由在記錄SHC422的房間中的收聽者聽到的程度。立體聲呈現(xiàn)單元402可呈現(xiàn)SHC422,以產(chǎn)生左信道436A和右信道436B(其可共同地被稱作“信道436”),其適合于經(jīng)由頭戴裝置(例如,頭戴式耳機)回放。立體聲呈現(xiàn)單元402可接收用戶配置數(shù)據(jù)603以確定是否關(guān)于不規(guī)則BRIR濾波器407A、規(guī)則BRIR濾波器407B和/或內(nèi)插的BRIR濾波器407C執(zhí)行立體聲呈現(xiàn)。換句話說,立體聲呈現(xiàn)單元402可接收選擇當執(zhí)行SHC422的立體聲化時應(yīng)使用濾波器407中的哪一者的用戶配置數(shù)據(jù)603(602)。用戶配置數(shù)據(jù)603可表示圖13到14的信號426的實例。當用戶配置數(shù)據(jù)603指定將使用規(guī)則BRIR濾波器407B(“是”604)時,立體聲呈現(xiàn)單元402選擇規(guī)則BRIR濾波器407B和規(guī)則呈現(xiàn)器405B(606)。當用戶配置數(shù)據(jù)603指示將使用不規(guī)則BRIR濾波器407A(“否”604)而不內(nèi)插此濾波器407A(“否”608)時,立體聲呈現(xiàn)單元402選擇不規(guī)則BRIR濾波器407A和不規(guī)則呈現(xiàn)器405A(610)。當用戶配置數(shù)據(jù)603指示將使用不規(guī)則BRIR濾波器407A(“否”604)但將內(nèi)插此濾波器407A(“是”608)時,立體聲呈現(xiàn)單元402選擇內(nèi)插的BRIR濾波器407C(在調(diào)用內(nèi)插單元406以內(nèi)插選定濾波器407A以產(chǎn)生濾波器407C后)和規(guī)則呈現(xiàn)器405B(612)。無論如何,當BRIR濾波器407A到407C(取決于選擇哪一者來立體聲化SHC422)在時域中呈現(xiàn)時,立體聲呈現(xiàn)單元402可調(diào)用時間-頻率分析單元408將BRIR濾波器407A到407C(“BRIR濾波器407”)中的選定者從時域變換到頻域,從而分別導(dǎo)致經(jīng)變換BRIR濾波器409A到409C(“BRIR濾波器409”)。復(fù)數(shù)BRIR單元410可執(zhí)行關(guān)于呈現(xiàn)器405中的選定者和BRIR濾波器409中的選定者的逐元素復(fù)數(shù)相乘和加總以產(chǎn)生兩個BRIR呈現(xiàn)向量411A和411B(614)。求和單元442可將L上的BRIR呈現(xiàn)向量411A和411B中的每一者加總以產(chǎn)生經(jīng)加總的BRIR呈現(xiàn)向量413A和413B(616)。開窗單元可將開窗函數(shù)應(yīng)用到加總的BRIR呈現(xiàn)向量413A和413B中的每一者以產(chǎn)生經(jīng)開窗BRIR呈現(xiàn)向量415A和415B(618)。復(fù)數(shù)相乘單元416可接著用向量415A和415B中的每一者執(zhí)行SHC422的逐元素復(fù)數(shù)相乘以產(chǎn)生左修改的SHC417A和右修改的SHC417B(620)。如上所述,立體聲呈現(xiàn)單元402可接著潛在地基于由音頻回放裝置400的用戶或其他操作者鍵入的配置數(shù)據(jù)603調(diào)用對稱優(yōu)化單元418或非對稱優(yōu)化單元420中的任一者。對稱優(yōu)化單元418當被調(diào)用時可加總在n階次和m次階上的左修改的SHC417A和右修改的SHC417B中的僅一者。即,對稱優(yōu)化單元418可加總在n階次和m次階上的SHC417A以產(chǎn)生頻域左揚聲器饋入419A。對稱優(yōu)化單元418可接著倒轉(zhuǎn)具有負次階的與球面基底函數(shù)相關(guān)聯(lián)的SHC417A中的那些,且接著將在n階次和m次階上的SHC417A的此型式加總以產(chǎn)生頻域右揚聲器饋入419A。非對稱優(yōu)化單元420當被調(diào)用時,將在n階次和m次階上的左修改的SHC417A和右修改的SHC417B中的每一者加總以分別產(chǎn)生頻域左揚聲器饋入421A和頻域右揚聲器饋入421B。反時間頻率分析單元422可表示將頻域左揚聲器饋入419A或421A和對應(yīng)的頻域右揚聲器饋入419B或421A從頻域變換到時域以便產(chǎn)生左揚聲器饋入436A和右揚聲器饋入436B的單元。以此方式,立體聲呈現(xiàn)單元402可執(zhí)行關(guān)于左SHC417A和右SHC417B中的一或多者的優(yōu)化以產(chǎn)生左揚聲器饋入436A和右揚聲器饋入436B(622)。音頻回放裝置400可繼續(xù)以上文所描述的方式操作,提取和立體聲化SHC422以呈現(xiàn)左揚聲器饋入436A和右揚聲器饋入436B(600到622)。圖16A、16B描繪各說明根據(jù)本發(fā)明中描述的技術(shù)的各種方面的可由圖13的音頻回放裝置400和圖14的音頻回放裝置500執(zhí)行的概念過程的圖。由較高階環(huán)境立體混合聲(HOA)系數(shù)組成的空間聲場的立體聲化傳統(tǒng)地涉及將HOA信號對擴音器信號呈現(xiàn)且接著將擴音器信號與針對那個擴音器位置選取的BRIR的左和右型式卷積。此傳統(tǒng)方法可在計算上代價大,因為此傳統(tǒng)方法通常產(chǎn)生的(L個擴音器中的)每個擴音器信號需要兩個卷積,其中必須存在比存在的HOA系數(shù)多的擴音器。換句話說,L>(N+1)2——對于多聲道擴音器陣列,其中N為環(huán)境立體混合聲階次。用于定義兩個維度上的聲場的經(jīng)典一階環(huán)境立體混合聲的方法處理規(guī)則(在一些情況下,意味著等間隔)虛擬擴音器布置,以用于再現(xiàn)一階環(huán)境立體混合聲內(nèi)容??蓪⒋朔椒紤]為過分簡單,倘若此方法假定最佳情況情境且不將關(guān)于較高階環(huán)境立體混合聲或其應(yīng)用的信息提供到三個維度。此方法也未提到頻域計算,但依賴于時域內(nèi)的卷積。本發(fā)明中描述且圖8的實例中展示的技術(shù)可提供通過頻域中的一組規(guī)則或不規(guī)則BRIR使3D聲場立體聲化所借的有效率方式。如果使用一組不規(guī)則的BRIR,那么可存在將所述BRIR集合內(nèi)插到一組規(guī)則間隔的BRIR的選擇。此內(nèi)插可經(jīng)由線性內(nèi)插法、向量基礎(chǔ)振幅平移(VBAP)等進行。如圖16A中所描繪,如果尚未在頻域中,那么在一些實例中,可使用快速傅立葉變換(FFT)、離散傅立葉變換(DFT)、離散余弦變換(DCT)、MDCT和DSD(僅舉幾個實例)將待使用的BRIR集合變換成頻域。取決于先前規(guī)則/不規(guī)則選擇,可接著將BRIR集合與規(guī)則或不規(guī)則呈現(xiàn)器復(fù)數(shù)相乘。規(guī)則或不規(guī)則呈現(xiàn)器的階次N可由選擇控管以使用傳入的HOA信號的完全階次,使得N<=NI。圖16A、16B的實例中的‘階次縮減’也可影響在呈現(xiàn)器還有BRIR內(nèi)插兩者中需要的擴音器的數(shù)目L。然而,如果未選擇BRIR集合的規(guī)則化,那么可將來自BRIR集合的L的值反向饋入到階次縮減還有呈現(xiàn)器內(nèi)。在正確呈現(xiàn)器與正確BRIR信號集合的復(fù)數(shù)相乘后,可在L維度上將輸出的信號加總以產(chǎn)生立體聲化的HOA呈現(xiàn)器信號。為了進一步增強呈現(xiàn),可包含窗塊,使得可使用例如maxRe、同相或凱澤的開窗函數(shù)改變n、m在頻率上的加權(quán)。那些窗可幫助符合由蓋爾宗闡述的傳統(tǒng)環(huán)境立體混合聲準則,其給出了目標測量以符合音質(zhì)準則。在此任選窗后,將HOA(如果在如圖16A中所描繪的頻域中)與立體聲化的HOA呈現(xiàn)器信號復(fù)數(shù)相乘。如果HOA在時域中,那么可將HOA與立體聲化的HOA呈現(xiàn)器信號快速卷積,如圖16B中所描繪。在一些情況下,所述技術(shù)也可允許對稱的BRIR優(yōu)化。如果執(zhí)行非優(yōu)化的路線,那么可針對左信道和右信道加總n、mHOA系數(shù)。如果選擇對稱路徑,那么用于左邊的輸出的信號為n、m值的總和,但歸因于球面諧波基底函數(shù)的對稱性,在加總前,將m<0的值取倒數(shù)。貫穿以上描述的技術(shù),可反向應(yīng)用此對稱性,其中僅確定BRIR集合的左側(cè)??山又鴮⒆蠛陀倚盘栕儞Q回到時域(反變換)以用于立體聲輸出。以此方式,技術(shù)可a)包含3D(不僅僅2D),b)立體聲化較高階環(huán)境立體混合聲(不僅僅一階環(huán)境立體混合聲),c)應(yīng)用規(guī)則或不規(guī)則BRIR集合,d)執(zhí)行來自不規(guī)則到規(guī)則BRIR集合的BRIR的內(nèi)插,e)執(zhí)行BRIR信號的開窗以較好地匹配環(huán)境立體混合聲再現(xiàn)準則;和f)至少部分通過利用頻域計算而非時域計算在計算上潛在地改善效率(再次,如圖16A中所描繪)。除了以上之外或作為對以上的替代,還描述以下實例。在以下實例中的任一者中描述的特征可與本文中描述的其它實例中的任一者一起利用。一個實例是針對一種立體聲音頻呈現(xiàn)的方法,其包括將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器包括將不規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場,其中所述不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器包括將規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場,其中所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,球面諧波系數(shù)對應(yīng)于的球面基底函數(shù)的階次大于一。在一些實例中,所述方法進一步包括內(nèi)插不規(guī)則立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生規(guī)則立體聲房間脈沖響應(yīng)濾波器,其中所述不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器,且所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器,且應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器包括將所述規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述方法進一步包括將開窗函數(shù)應(yīng)用到所述立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器,且應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器包括將所述經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述方法進一步包括將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器,且應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器包括將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述方法進一步包括將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器;以及將所述球面諧波系數(shù)從所述時域變換到所述頻域以便產(chǎn)生經(jīng)變換球面諧波系數(shù),其中應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器包括將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述經(jīng)變換球面諧波系數(shù)以便呈現(xiàn)所述聲場的頻域表示,且其中所述方法進一步包括將反變換應(yīng)用到所述聲場的所述頻域表示以呈現(xiàn)所述聲場。一個實例是針對一種裝置,其包括一或多個處理器,所述一或多個處理器經(jīng)配置以將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用立體聲房間脈沖響應(yīng)濾波器時,將不規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到球面諧波系數(shù)以便呈現(xiàn)所述聲場,其中不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,所述一或多個處理器經(jīng)進一步配置以當應(yīng)用立體聲房間脈沖響應(yīng)濾波器時,將規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場,其中所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,球面諧波系數(shù)對應(yīng)于的球面基底函數(shù)的階次大于一。在一些實例中,所述一或多個處理器經(jīng)進一步配置以內(nèi)插不規(guī)則立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生規(guī)則立體聲房間脈沖響應(yīng)濾波器,其中所述不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個且所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器,且所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時將所述規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以將開窗函數(shù)應(yīng)用到所述立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器,且所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時,將所述經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器,且所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時,將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場。在一些實例中,所述一或多個處理器經(jīng)進一步配置以將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器,和將所述球面諧波系數(shù)從所述時域變換到所述頻域以便產(chǎn)生經(jīng)變換球面諧波系數(shù),所述一或多個處理器經(jīng)進一步配置以當應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器時,將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述經(jīng)變換球面諧波系數(shù)以便呈現(xiàn)所述聲場的頻域表示,且所述一或多個處理器經(jīng)進一步配置以將反變換應(yīng)用到所述聲場的所述頻域表示以呈現(xiàn)所述聲場。一個實例是針對一種裝置,其包括用于確定以三維形式表示聲場的球面諧波系數(shù)的裝置,和用于將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置。在一些實例中,所述用于應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器的裝置包括用于將不規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置,其中所述不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,所述用于應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器的裝置包括用于將規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置,且所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器。在一些實例中,球面諧波系數(shù)對應(yīng)于的球面基底函數(shù)的階次大于一。在一些實例中,所述裝置進一步包括用于內(nèi)插不規(guī)則立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生規(guī)則立體聲房間脈沖響應(yīng)濾波器的裝置,所述不規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的不規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器,且所述規(guī)則立體聲房間脈沖響應(yīng)濾波器包括用于揚聲器的規(guī)則布置的一或多個立體聲房間脈沖響應(yīng)濾波器,且所述用于應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器的裝置包括用于將所述規(guī)則立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置。在一些實例中,所述裝置進一步包括用于將開窗函數(shù)應(yīng)用到所述立體聲房間脈沖響應(yīng)濾波器以產(chǎn)生經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器的裝置,且所述用于應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器的裝置包括用于將所述經(jīng)開窗立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置。在一些實例中,所述裝置進一步包括用于將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器的裝置,且用于應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器的裝置包括用于將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述球面諧波系數(shù)以便呈現(xiàn)所述聲場的裝置。在一些實例中,所述裝置進一步包括用于將所述立體聲房間脈沖響應(yīng)濾波器從時域變換到頻域以便產(chǎn)生經(jīng)變換立體聲房間脈沖響應(yīng)濾波器的裝置;以及用于將所述球面諧波系數(shù)從所述時域變換到所述頻域以便產(chǎn)生經(jīng)變換球面諧波系數(shù)的裝置,且所述用于應(yīng)用所述立體聲房間脈沖響應(yīng)濾波器的裝置包括用于將所述經(jīng)變換立體聲房間脈沖響應(yīng)濾波器應(yīng)用到所述經(jīng)變換球面諧波系數(shù)以便呈現(xiàn)所述聲場的頻域表示的裝置,且所述裝置進一步包括用于將反變換應(yīng)用到所述聲場的所述頻域表示以呈現(xiàn)所述聲場的裝置。一個實例是針對一種非暫時性計算機可讀存儲媒體,其具有存儲于其上的指令,所述指令在經(jīng)執(zhí)行時使一或多個處理器將立體聲房間脈沖響應(yīng)濾波器應(yīng)用到以三維形式表示聲場的球面諧波系數(shù)以便呈現(xiàn)所述聲場。此外,以上描述的實例中的任一者中所闡明的特定特征中的任一者可組合到所描述技術(shù)的有益實例中。即,所述特定特征中的任一者通常適用于本發(fā)明的所有實例。已描述本發(fā)明的各種實例。應(yīng)理解,取決于實例,本文中所描述的方法中的任一者的某些動作或事件可按不同序列來執(zhí)行,可經(jīng)添加、合并或一起省去(例如,并非所有所描述的動作或事件為達成方法的實踐所必要的)。此外,在某些實例中,動作或事件可(例如)通過多線程處理、中斷處理或多個處理器而同時執(zhí)行而非順序執(zhí)行。另外,雖然出于清晰的目的,本發(fā)明的某些方面經(jīng)描述為由單一裝置、模塊或單元執(zhí)行,但應(yīng)理解,本發(fā)明的技術(shù)可由裝置、單元或模塊的組合執(zhí)行。在一或多個實例中,可以硬件、軟件、固件或其任何組合來實施所描述的功能。如果以軟件來實施,那么功能可作為一或多個指令或代碼而存儲于計算機可讀媒體上或通過計算機可讀媒體予以傳輸且由基于硬件的處理單元來執(zhí)行。計算機可讀媒體可包含計算機可讀存儲媒體或通信媒體,計算機可讀存儲媒體對應(yīng)于例如數(shù)據(jù)存儲媒體的有形媒體,通信媒體包含促進計算機程序(例如)根據(jù)通信協(xié)議從一處傳送到另一處的任何媒體。以此方式,計算機可讀媒體大體上可對應(yīng)于(1)非暫時性的有形計算機可讀存儲媒體,或(2)例如信號或載波的通信媒體。數(shù)據(jù)存儲媒體可為可由一或多個計算機或一或多個處理器存取以檢索用于實施本發(fā)明中所描述的技術(shù)的指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)的任何可用媒體。計算機程序產(chǎn)品可包含計算機可讀媒體。通過實例且非限制,這些計算機可讀存儲媒體可包括RAM、ROM、EEPROM、CD-ROM或其它光盤存儲裝置、磁盤存儲裝置,或其它磁性存儲裝置、快閃存儲器,或可用以存儲呈指令或數(shù)據(jù)結(jié)構(gòu)的形式且可由計算機存取的所要程序代碼的任何其它媒體。又,將任何連接恰當?shù)胤Q為計算機可讀媒體。舉例來說,如果使用同軸電纜、光纜、雙絞線、數(shù)字用戶線(DSL)或例如紅外線、無線電和微波的無線技術(shù)從網(wǎng)站、服務(wù)器或其它遠程源傳輸指令,那么同軸電纜、光纜、雙絞線、DSL或例如紅外線、無線電和微波的無線技術(shù)包含于媒體的定義中。然而,應(yīng)理解,計算機可讀存儲媒體和數(shù)據(jù)存儲媒體不包含連接、載波、信號或其它暫時性媒體,而是針對非暫時性有形存儲媒體。如本文中所使用,磁盤和光盤包含緊密光盤(CD)、激光光盤、光學(xué)光盤、數(shù)字影音光盤(DVD)、軟盤和藍光光盤,其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù),而光盤通過激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上各者的組合也應(yīng)包含于計算機可讀媒體的范圍內(nèi)。可由例如一或多個數(shù)字信號處理器(DSP)、通用微處理器、專用集成電路(ASIC)、現(xiàn)場可編程邏輯陣列(FPGA)或其它等效集成或離散邏輯電路的一或多個處理器來執(zhí)行指令。因此,如本文中所使用,術(shù)語“處理器”可指前述結(jié)構(gòu)或適合于實施本文中所描述的技術(shù)的任何其它結(jié)構(gòu)中的任一者。另外,在一些方面中,可將本文所描述的功能性提供于經(jīng)配置以用于編碼和解碼的專用硬件和/或軟件模塊內(nèi),或并入于組合式編碼解碼器中。又,所述技術(shù)可完全實施于一或多個電路或邏輯元件中。本發(fā)明的技術(shù)可實施于廣泛多種裝置或設(shè)備中,包含無線手機、集成電路(IC)或IC的集合(例如,芯片集)。本發(fā)明中描述各種組件、模塊或單元以強調(diào)經(jīng)配置以執(zhí)行所揭示的技術(shù)的裝置的功能方面,但未必需要由不同硬件單元來實現(xiàn)。相反地,如上文所描述,各種單元可組合于編碼解碼器硬件單元中或由互操作硬件單元的集合(包含如上文所描述的一或多個處理器)結(jié)合合適的軟件和/或固件來提供。已描述技術(shù)的各種實施例。這些和其它實施例在以下權(quán)利要求書的范圍內(nèi)。
當前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1