本申請要求以下各者的權(quán)益：

2015年2月3日申請的題為“按運(yùn)動穩(wěn)定譯碼高階立體混響音頻數(shù)據(jù)(codinghigher-orderambisonicaudiodatawithmotionstabilization)”的美國臨時申請第62/111,641號；和

2015年2月3日申請的題為“按運(yùn)動穩(wěn)定譯碼高階立體混響音頻數(shù)據(jù)(codinghigher-orderambisonicaudiodatawithmotionstabilization)”的美國臨時申請第62/111,642號，所述申請中的每一個的全部內(nèi)容被以引用的方式并入本文中。

本發(fā)明涉及音頻數(shù)據(jù)，并且更具體地說，高階立體混響音頻數(shù)據(jù)的譯碼。

背景技術(shù)：

高階立體混響(hoa)信號(常常由多個球面諧波系數(shù)(shc)或其它分層元素表示)是聲場的三維表示。hoa或shc表示可以獨(dú)立于用以重放從shc信號呈現(xiàn)的多信道音頻信號的局部揚(yáng)聲器幾何布置的方式來表示聲場。所述shc信號也可有助于向后兼容性，因為所述shc信號可被呈現(xiàn)為眾所周知的且被高度采用的多聲道格式(例如，5.1音頻聲道格式或7.1音頻聲道格式)。因此，所述shc表示可實現(xiàn)也適應(yīng)向后兼容性的對聲場的更好表示。

技術(shù)實現(xiàn)要素：

一般來說，描述用于高階立體混響音頻數(shù)據(jù)的譯碼的技術(shù)。高階立體混響音頻數(shù)據(jù)可包括對應(yīng)于具有大于一的階數(shù)的球面諧波基底函數(shù)的至少一個高階立體混響(hoa)系數(shù)。

在一個方面，本發(fā)明是針對一種運(yùn)動補(bǔ)償?shù)姆椒?。所述方法包含由被配置以補(bǔ)償運(yùn)動的裝置接收指示與由麥克風(fēng)陣列進(jìn)行的三維(3d)聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息。所述方法進(jìn)一步包含由被配置以補(bǔ)償運(yùn)動的所述裝置調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的所述一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動。所述方法可進(jìn)一步包含由被配置以補(bǔ)償運(yùn)動的所述裝置基于所述調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鳌?/p>

在另一方面，本發(fā)明是針對一種被配置以補(bǔ)償運(yùn)動的裝置。所述裝置包含被配置以存儲與三維(3d)聲場相關(guān)聯(lián)的音頻數(shù)據(jù)的存儲器，和一或多個處理器。所述一或多個處理器被配置以接收指示與由麥克風(fēng)陣列進(jìn)行的三維(3d)聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息，和調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動。所述一或多個處理器也可被配置以基于所述經(jīng)調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鳌?/p>

在另一方面，本發(fā)明是針對一種被配置以補(bǔ)償運(yùn)動的裝置。所述裝置包含用于存儲與三維(3d)聲場相關(guān)聯(lián)的音頻數(shù)據(jù)的裝置、用于接收指示與由麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息的裝置和用于調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的所述一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動的裝置。所述裝置還可包含用于基于所述經(jīng)調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鞯难b置。

在另一方面，本發(fā)明是針對一種用指令編碼的非暫時性計算機(jī)可讀存儲媒體。所述指令在經(jīng)執(zhí)行時使用于補(bǔ)償運(yùn)動的計算裝置的一或多個處理器接收指示與由麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息，調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動，和基于所述經(jīng)調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鳌?/p>

在附圖和以下描述中闡述所述技術(shù)的一或多個方面的細(xì)節(jié)。所述技術(shù)的其它特征、目標(biāo)和優(yōu)勢將從描述和圖式和從權(quán)利要求書顯而易見。

附圖說明

圖1是說明各種階和子階的球面諧波基底函數(shù)的圖。

圖2是說明可執(zhí)行本發(fā)明中描述的技術(shù)的各種方面的系統(tǒng)的圖。

圖3a和3b是更詳細(xì)地說明根據(jù)本發(fā)明的方面的內(nèi)容捕獲裝置和內(nèi)容捕獲輔助裝置的實例實施方案的框圖。

圖4a是說明音頻編碼裝置在執(zhí)行本發(fā)明中所描述的譯碼技術(shù)的各種方面過程中的示范性操作的流程圖。

圖4b是說明圖4a中說明的過程的替代性表示的流程圖。

圖4c是說明根據(jù)本發(fā)明的一或多個方面的穩(wěn)定單元可在測量聲場的音頻對象的3d移動過程中使用的各種角度的概念圖。

圖4d是說明根據(jù)本發(fā)明的一或多個方面的穩(wěn)定單元針對hoa域中的音頻對象的運(yùn)動穩(wěn)定可關(guān)于圖4a的過程實施的改進(jìn)的概念圖。

圖5是說明音頻解碼裝置在執(zhí)行本發(fā)明中所描述的譯碼技術(shù)過程中的示范性操作的流程圖。

圖6a到6f是說明根據(jù)本發(fā)明的各種方面的內(nèi)容捕獲裝置300和麥克風(fēng)的不同組合的圖。

圖7a到7e是說明根據(jù)本發(fā)明中描述的技術(shù)的呈利用緊固到內(nèi)容捕獲裝置的三維麥克風(fēng)的智能電話的形式的內(nèi)容捕獲裝置的不同實例的圖。

圖8a和8b是說明根據(jù)本發(fā)明的一或多個方面的麥克風(fēng)的不同實例的圖。

圖9是說明根據(jù)本發(fā)明的一或多個方面的與一或多個實例內(nèi)容捕獲輔助裝置通信的實例內(nèi)容捕獲裝置的概念圖。

具體實施方式

環(huán)繞聲音的演變現(xiàn)今已使用于娛樂的許多輸出格式可用。此類消費(fèi)型環(huán)繞聲格式的實例大部分基于‘聲道’，其中其以某些幾何坐標(biāo)隱含地指定到擴(kuò)音器的饋入。消費(fèi)型環(huán)繞聲格式包含流行的5.1格式(其包含以下六個聲道：左前(fl)、右前(fr)、中心或前方中央、左后或左環(huán)繞、右后或右環(huán)繞和低頻效果(lfe))、成長中的7.1格式、包含高度揚(yáng)聲器的各種格式，例如7.1.4格式和22.2格式(例如，用于供超高清電視標(biāo)準(zhǔn)使用)。非消費(fèi)型格式可跨越常被稱為‘環(huán)繞陣列’的任何數(shù)目個揚(yáng)聲器(以對稱和非對稱幾何形狀)。此陣列的一個實例包含定位在截頭二十面體的拐角上的坐標(biāo)處的32個擴(kuò)音器。

到未來mpeg編碼器的輸入任選地為三個可能格式中的一個：(i)傳統(tǒng)的基于聲道的音頻(如上所論述)，其意在通過在預(yù)先指定的位置處的擴(kuò)音器播放；(ii)基于對象的音頻，其涉及用于單個音頻對象的具有含有其位置坐標(biāo)(在各信息當(dāng)中)的相關(guān)聯(lián)元數(shù)據(jù)的離散脈沖代碼調(diào)制(pcm)數(shù)據(jù)；和(iii)基于場景的音頻，其涉及使用球面諧波基底函數(shù)的系數(shù)(也叫作“球面諧波系數(shù)”或shc、“高階立體混響”或hoa和“hoa系數(shù)”)來表示聲場。所述未來mpeg編碼器可在由國際標(biāo)準(zhǔn)化組織/國際電工委員會(iso)/(iec)jtc1/sc29/wg11/n13411在2013年1月在瑞士日內(nèi)瓦發(fā)布的標(biāo)題為“對3d音頻的提議的要求(callforproposalsfor3daudio)”的文獻(xiàn)中更詳細(xì)地描述，并且該文獻(xiàn)可在http://mpeg.chiariglione.org/sites/default/files/files/standards/parts/docs/w13411.zip獲得。

在市場中存在各種基于“環(huán)繞聲”聲道的格式。其范圍(例如)從5.1家庭影院系統(tǒng)(其在使起居室享有立體聲方面已獲得最大成功)到nhk(日本廣播協(xié)會或日本廣播公司)所開發(fā)的22.2系統(tǒng)。內(nèi)容創(chuàng)建者(例如，好萊塢工作室)將希望一次產(chǎn)生電影的音軌，且不用花費(fèi)精力來針對每個揚(yáng)聲器配置對其進(jìn)行再混合。近來，標(biāo)準(zhǔn)開發(fā)組織一直在考慮如下方式：將編碼提供到標(biāo)準(zhǔn)化位流中并且提供可適應(yīng)并對揚(yáng)聲器幾何布置(和數(shù)目)和回放位置處的聲學(xué)狀況不可知的后續(xù)解碼。

為向內(nèi)容創(chuàng)建者提供此靈活性，可使用分層要素集合來表示聲場。所述分層要素集合可指要素被排序使得較低階要素的基礎(chǔ)集合提供模型化聲場的完全表示的一組要素。在擴(kuò)展所述集合以包含高階元素時，所述表示變得更詳細(xì)，從而增加分辨率。

分層要素集合的一個實例為球面諧波系數(shù)(shc)的集合。以下表達(dá)式演示使用shc對聲場的描述或表示：

所述表達(dá)式展示在時間t，在聲場的任一點(diǎn)處的壓力pi可由shc唯一地表示。此處，c是聲速(～343m/s)，是參考點(diǎn)(或觀測點(diǎn))，jn(·)是階數(shù)為n的球面貝塞爾函數(shù)，且是階數(shù)為n且子階為m的球面諧波基底函數(shù)?？烧J(rèn)識到，方括號中的項是信號的頻域表示(即，)，其可通過各種時間-頻率變換來估算，例如，離散傅立葉變換(dft)、離散余弦變換(dct)或小波變換。分層集合的其它實例包含小波變換系數(shù)的集合和其它多分辨率基底函數(shù)系數(shù)集合。

圖1是說明從零階(n＝0)到四階(n＝4)的球面諧波基底函數(shù)的圖。如可看出，對于每一階，存在子階m的擴(kuò)展，出于易于說明的目的，在圖1的實例中展示所述子階但未明確地指出。

shc可通過各種麥克風(fēng)陣列配置物理獲取(例如，記錄)，或替代地，其可從聲場的基于聲道或基于對象的描述導(dǎo)出。shc表示基于場景的音頻，其中shc可輸入到音頻編碼器以獲得經(jīng)編碼shc，所述經(jīng)編碼shc可促進(jìn)更高效的發(fā)射或存儲。舉例來說，可使用涉及(1+4)²個(25，且因此為四階)系數(shù)的四階表示。

如上所指出，可使用麥克風(fēng)陣列從麥克風(fēng)記錄導(dǎo)出shc?？蓮柠溈孙L(fēng)陣列導(dǎo)出shc的方式的各種實例在波萊蒂·m的“基于球面諧波的三維環(huán)繞聲系統(tǒng)(three-dimensionalsurroundsoundsystemsbasedonsphericalharmonics)”(聽覺工程學(xué)協(xié)會會刊(j.audioeng.soc.)，第53卷,第11期，2005年11月，第1004到1025頁)中描述。

為說明可如何從基于對象的描述導(dǎo)出shc，考慮以下等式?？蓪?yīng)于個別音頻對象的聲場的系數(shù)表達(dá)為：

其中i為是階數(shù)n的(第二種)球面漢克爾函數(shù)，且是對象的位置。知道對象源能g(ω)為頻率的函數(shù)(例如，使用時間-頻率分析技術(shù)，例如，對pcm流執(zhí)行快速傅立葉變換)允許我們將每一pcm對象和對應(yīng)的位置轉(zhuǎn)換成shc另外，可展示(由于以上是純屬且正交分解)每一對象的系數(shù)是加成的。以此方式，大量pcm對象可由系數(shù)表示(例如，作為用于個別對象的系統(tǒng)向量的總和)?；旧?，系數(shù)含有關(guān)于聲場的信息(作為3d坐標(biāo)的函數(shù)的壓力)，且以上表示在觀測點(diǎn)附近從個別對象到總聲場的表示的變換。下文在基于對象和基于shc的音頻譯碼的上下文中描述其余各圖。

圖2是說明可執(zhí)行本發(fā)明中描述的技術(shù)的各種方面的系統(tǒng)10的圖。如圖2的實例中所展示，系統(tǒng)10包含內(nèi)容創(chuàng)建者裝置12和內(nèi)容消費(fèi)者裝置14。雖然在所述內(nèi)容創(chuàng)建者裝置12和所述內(nèi)容消費(fèi)者裝置14的上下文中描述，但是所述技術(shù)可在聲場的shc(其也可被稱作hoa系數(shù))或任何其它分層表示被編碼以形成表示音頻數(shù)據(jù)的位流的任何情境中實施。此外，內(nèi)容創(chuàng)建者12可表示能夠?qū)嵤┰诒景l(fā)明中描述的技術(shù)的任何形式的計算裝置，包含手機(jī)(或蜂窩式電話)、平板計算機(jī)、智能電話或臺式計算機(jī)(提供幾個實例)。同樣地，內(nèi)容消費(fèi)者裝置14可表示能夠?qū)嵤┰诒景l(fā)明中描述的技術(shù)的任何形式的計算裝置，包含手持機(jī)(或蜂窩式電話)、平板計算機(jī)、智能電話、機(jī)頂盒或臺式計算機(jī)(提供幾個實例)。

內(nèi)容創(chuàng)建者裝置12可由電影工作室或可產(chǎn)生用于由內(nèi)容消費(fèi)者裝置(例如，內(nèi)容消費(fèi)者裝置14)的操作者消費(fèi)的多聲道音頻內(nèi)容的其它實體來操作。在一些實例中，內(nèi)容創(chuàng)建者裝置12可由希望壓縮hoa系數(shù)11的個人用戶操作。通常，內(nèi)容創(chuàng)建者可產(chǎn)生音頻內(nèi)容與視頻內(nèi)容。內(nèi)容消費(fèi)者裝置14可由個人操作。內(nèi)容消費(fèi)者裝置14可包含音頻回放系統(tǒng)16，其可指能夠呈現(xiàn)shc以用于作為多聲道音頻內(nèi)容回放的任何形式的音頻回放系統(tǒng)。

內(nèi)容創(chuàng)建者裝置12包含內(nèi)容捕獲裝置300和內(nèi)容捕獲輔助裝置302。內(nèi)容捕獲裝置300可被配置以與麥克風(fēng)5接口連接或以其它方式通信。麥克風(fēng)5可表示或能夠捕獲和表示聲場作為hoa系數(shù)11的其它類型的3d音頻麥克風(fēng)。在一些實例中，內(nèi)容捕獲裝置300可包含集成麥克風(fēng)5，其集成到內(nèi)容捕獲裝置300的外殼內(nèi)。在一些實例中，內(nèi)容捕獲裝置300可與麥克風(fēng)5無線或經(jīng)由有線連接而接口連接。以下更詳細(xì)地描述內(nèi)容捕獲裝置與麥克風(fēng)的各種組合。

內(nèi)容捕獲裝置300可包含相機(jī)、加固型相機(jī)(其可包含適合于在體育和其它激烈活動期間的實況記錄的保護(hù)性殼和組件)、蜂窩式電話、所謂的“智能電話”、平板計算機(jī)、臺式計算機(jī)、工作站或能夠與麥克風(fēng)5接口連接以捕獲表示聲場的hoa系數(shù)11的任一其它裝置。內(nèi)容捕獲裝置300也可被配置以與內(nèi)容捕獲輔助裝置302接口連接或以其它方式通信。內(nèi)容捕獲輔助裝置302可包含蜂窩式電話、所謂的“智能電話”、平板計算機(jī)、臺式計算機(jī)、工作站或能夠與內(nèi)容捕獲裝置300接口連接的任一其它裝置。

在一些實例中，內(nèi)容捕獲裝置300可被配置以與內(nèi)容捕獲輔助裝置302無線通信。在一些實例中，內(nèi)容捕獲裝置300可經(jīng)由無線連接或有線連接中的一或兩個與內(nèi)容捕獲輔助裝置302通信。經(jīng)由內(nèi)容捕獲裝置300與內(nèi)容捕獲輔助裝置302之間的連接，內(nèi)容捕獲裝置300可以內(nèi)容301的各種形式提供內(nèi)容。內(nèi)容301可包含視頻數(shù)據(jù)、文本數(shù)據(jù)、圖像數(shù)據(jù)和音頻數(shù)據(jù)中的一或多個。當(dāng)內(nèi)容301包含視頻數(shù)據(jù)時，視頻數(shù)據(jù)可處于未壓縮形式或經(jīng)壓縮形式。當(dāng)內(nèi)容包含圖像數(shù)據(jù)時，圖像數(shù)據(jù)可處于未壓縮形式或經(jīng)壓縮形式。當(dāng)內(nèi)容包含音頻數(shù)據(jù)時，音頻數(shù)據(jù)可處于未壓縮形式或經(jīng)壓縮形式。

內(nèi)容捕獲輔助裝置302可表示被配置以與內(nèi)容捕獲裝置300接口連接以輔助捕獲內(nèi)容301的裝置。在一些實例中，內(nèi)容捕獲輔助裝置302可執(zhí)行被配置以允許內(nèi)容捕獲輔助裝置302的操作者控制內(nèi)容捕獲裝置300的操作的應(yīng)用程序(其可被稱作“app”)。所述應(yīng)用程序可允許操作者配置內(nèi)容捕獲裝置300的各種設(shè)定，例如，視頻記錄設(shè)定、文字設(shè)定、圖像捕獲設(shè)定和音頻記錄設(shè)定。應(yīng)用程序還可允許操作者起始內(nèi)容301的捕獲，停止內(nèi)容301的捕獲，或起始和停止內(nèi)容301的捕獲兩者。

內(nèi)容捕獲輔助裝置302還可以各種方式輔助內(nèi)容301的處理。在一些實例中，內(nèi)容捕獲裝置300可充分利用內(nèi)容捕獲輔助裝置302的各種方面(就內(nèi)容捕獲輔助裝置302的硬件或軟件能力來說)。舉例來說，內(nèi)容捕獲輔助裝置302可包含專用硬件，其被配置以(或?qū)Ｓ密浖?，其在?jīng)執(zhí)行時使一或多個處理器)執(zhí)行心理聲學(xué)音頻編碼(例如，由動畫專家組(mpeg)闡述的表示為“usac”的統(tǒng)一化語音和音頻譯碼器)。內(nèi)容捕獲裝置300可不包含心理聲學(xué)音頻編碼器專用硬件或?qū)Ｓ密浖?，且取而代之，以非心理聲學(xué)音頻譯碼形式提供內(nèi)容301的音頻方面。內(nèi)容捕獲輔助裝置302可至少部分通過執(zhí)行關(guān)于內(nèi)容301的音頻方面的心理聲學(xué)音頻編碼來輔助內(nèi)容301的捕獲。

內(nèi)容捕獲輔助裝置302還可通過至少部分基于內(nèi)容301產(chǎn)生一或多個位流21來輔助內(nèi)容捕獲。位流21可表示hoa系數(shù)11的經(jīng)壓縮型式和內(nèi)容301的任何其它不同類型(例如，所捕獲的視頻數(shù)據(jù)、圖像數(shù)據(jù)或文本數(shù)據(jù)的經(jīng)壓縮型式)。作為一個實例，內(nèi)容捕獲輔助裝置302可產(chǎn)生位流21供跨發(fā)射信道(其可為有線或無線信道、數(shù)據(jù)存儲裝置或類似者)發(fā)射。位流21可表示hoa系數(shù)11的經(jīng)編碼型式，且可包含主要位流和另一旁側(cè)位流(其可被稱作旁側(cè)信道信息)。

雖然在圖2中展示為直接發(fā)射到內(nèi)容消費(fèi)者裝置14，但內(nèi)容創(chuàng)建者裝置12可將位流21輸出到定位于內(nèi)容創(chuàng)建者裝置12與內(nèi)容消費(fèi)者裝置14之間的中間裝置。所述中間裝置可存儲位流21以用于稍后傳遞到可能請求所述位流的內(nèi)容消費(fèi)者裝置14。所述中間裝置可包括文件服務(wù)器、網(wǎng)絡(luò)服務(wù)器、臺式計算機(jī)、筆記本電腦、平板計算機(jī)、移動電話、智能電話或能夠存儲位流21以供音頻解碼器稍后檢索的任一其它裝置。中間裝置可駐留在能夠?qū)⑽涣?1流式傳輸(且可能與發(fā)射對應(yīng)的視頻數(shù)據(jù)位流一起)到請求位流21的訂戶(例如，內(nèi)容消費(fèi)者裝置14)的內(nèi)容傳遞網(wǎng)絡(luò)中。

替代地，內(nèi)容創(chuàng)建者裝置12可將位流21存儲到存儲媒體，例如，壓縮光盤、數(shù)字視頻光盤、高清視頻光盤或其它存儲媒體，其中大多數(shù)能夠由計算機(jī)讀取且因此可被稱作計算機(jī)可讀存儲媒體或非暫時性計算機(jī)可讀存儲媒體。在此上下文中，發(fā)射信道可指發(fā)射存儲到媒體的內(nèi)容所借的信道(且可包含零售店和其它基于商店的傳遞機(jī)構(gòu))。因此，無論如何，在此方面，本發(fā)明的技術(shù)不應(yīng)限于圖2的實例。

如圖2的實例中進(jìn)一步展示，內(nèi)容消費(fèi)者裝置14包含音頻回放系統(tǒng)16。音頻回放系統(tǒng)16可表示能夠回放多信道音頻數(shù)據(jù)的任何音頻回放系統(tǒng)。音頻回放系統(tǒng)16可包含多個不同的呈現(xiàn)器22。呈現(xiàn)器22可各自提供不同形式的呈現(xiàn)，其中所述不同形式的呈現(xiàn)可包含執(zhí)行向量基幅度平移(vbap)的各種方式中的一或多個和/或執(zhí)行聲場合成的各種方式中的一或多個。如本文所使用，“a和/或b”意味著“a或b”或“a和b”兩者。

音頻回放系統(tǒng)16可進(jìn)一步包含音頻解碼裝置24。所述音頻解碼裝置24可表示被配置以解碼來自位流21的hoa系數(shù)15的裝置，其中所述hoa系數(shù)15可類似于hoa系數(shù)11，但歸因于有損操作(例如，量化)和/或經(jīng)由發(fā)射信道的發(fā)射而不同。音頻回放系統(tǒng)16可在解碼位流21以獲得hoa系數(shù)15且呈現(xiàn)hoa系數(shù)15以輸出擴(kuò)音器饋送25后。擴(kuò)音器饋給25可驅(qū)動一或多個擴(kuò)音器(為了易于說明目的，其未在圖2的實例中展示)。

為了選擇適當(dāng)?shù)某尸F(xiàn)器或在一些情況下產(chǎn)生適當(dāng)?shù)某尸F(xiàn)器，所述音頻回放系統(tǒng)16可獲得指示擴(kuò)音器的數(shù)目和/或所述擴(kuò)音器的空間幾何布置的擴(kuò)音器信息13。在一些情況下，所述音頻回放系統(tǒng)16可使用參考麥克風(fēng)且以使得動態(tài)地確定所述擴(kuò)音器信息13的方式驅(qū)動所述擴(kuò)音器來獲得所述擴(kuò)音器信息13。在其它情況下或與所述擴(kuò)音器信息13的動態(tài)確定一起，所述音頻回放系統(tǒng)16可提示用戶與所述音頻回放系統(tǒng)16接口連接并輸入所述擴(kuò)音器信息13。

所述音頻回放系統(tǒng)16可接著基于所述擴(kuò)音器信息13選擇所述音頻呈現(xiàn)器22中的一個。在一些情況下，當(dāng)所述音頻呈現(xiàn)器22中無一個在于在所述擴(kuò)音器信息13中指定的擴(kuò)音器幾何布置的某一閾值類似性量度(就擴(kuò)音器幾何布置來說)內(nèi)時，所述音頻回放系統(tǒng)16可基于擴(kuò)音器信息13產(chǎn)生音頻呈現(xiàn)器22中的一個。在一些情況下，所述音頻回放系統(tǒng)16可基于擴(kuò)音器信息13產(chǎn)生音頻呈現(xiàn)器22中的一個，而無需首先嘗試選擇所述音頻呈現(xiàn)器22中的現(xiàn)有一個。一或多個揚(yáng)聲器可接著回放所述呈現(xiàn)的擴(kuò)音器饋送25。

圖3a和3b是更詳細(xì)地說明內(nèi)容捕獲裝置300和內(nèi)容捕獲輔助裝置302的實例實施方案的框圖。圖3a的實例大體是針對本發(fā)明的后轉(zhuǎn)碼穩(wěn)定技術(shù)。內(nèi)容捕獲裝置300包含音頻內(nèi)容捕獲單元310、音頻編碼裝置20、非音頻內(nèi)容捕獲單元312、非音頻編碼裝置314和接口單元316(“接口316”)。如所展示，內(nèi)容捕獲裝置300還包含穩(wěn)定單元320。音頻內(nèi)容捕獲單元310可表示被配置以與麥克風(fēng)5接口連接且將從麥克風(fēng)5接收的音頻數(shù)據(jù)供應(yīng)到穩(wěn)定單元320的單元。音頻內(nèi)容捕獲單元310可將捕獲的hoa系數(shù)11提供到穩(wěn)定單元320。雖然麥克風(fēng)5在以上描述為捕獲以上hoa系數(shù)11，但應(yīng)了解，在各種實施方案中，內(nèi)容捕獲裝置的其它組件(例如，音頻內(nèi)容捕獲單元310)可使用由麥克風(fēng)5提供的音頻數(shù)據(jù)產(chǎn)生hoa系數(shù)11。舉例來說，穩(wěn)定單元320可使用用于麥克風(fēng)5的麥克風(fēng)陣列中包含的每一個別麥克風(fēng)的位置信息將麥克風(fēng)5的輸出轉(zhuǎn)碼成hoa系數(shù)。

又，穩(wěn)定單元320可實施本發(fā)明的技術(shù)以調(diào)整hoa系數(shù)11以補(bǔ)償與麥克風(fēng)5有關(guān)的特定運(yùn)動信息。更具體地說，穩(wěn)定單元320可使聲場的音頻對象穩(wěn)定以減輕或(在一些情況下)去除由麥克風(fēng)抖動或與麥克風(fēng)5相關(guān)聯(lián)的其它此類移動造成的效應(yīng)。在圖3a的實例中，穩(wěn)定單元320可使用hoa域中的數(shù)據(jù)(即，hoa系數(shù)11)補(bǔ)救指示麥克風(fēng)5的移動的抖動。

另外，穩(wěn)定單元320可從被配置以在多個自由度(例如，三維(3d)或六個自由度)中感測運(yùn)動信息的裝置(例如，加速度計或幫助追蹤移動的羅盤)接收用于麥克風(fēng)5的移動信息。又，穩(wěn)定單元320可應(yīng)用3d運(yùn)動信息以執(zhí)行本發(fā)明的運(yùn)動穩(wěn)定技術(shù)。在各種實例中，麥克風(fēng)5可包含內(nèi)置式加速度計(例如，定位于個別麥克風(fēng)的球形陣列的中心處)，或可耦合到外部加速度計(例如，貼附麥克風(fēng)5的其它組件的加速度計)。在一個實例中，加速度計可包含于麥克風(fēng)5的桿或柄中。一般來說，加速度計可定位于沿著同一平面或沿著大體上類似于麥克風(fēng)5的陣列的平面旋轉(zhuǎn)的任一位置處。更具體地說，穩(wěn)定單元320可通過將反向旋轉(zhuǎn)應(yīng)用到hoa系數(shù)11來執(zhí)行運(yùn)動穩(wěn)定。

當(dāng)在hoa域中實施(例如，關(guān)于hoa系數(shù)11)時，通過補(bǔ)償移動(例如，其指示抖動)來使聲場穩(wěn)定可在計算上更高效，如在圖3a的實施方案中的情況。因此，在各種情境中，圖3a中說明的解決方案可比其它替代方案可行。舉例來說，穩(wěn)定單元320可補(bǔ)償由麥克風(fēng)5捕獲的3d聲場中的移動(例如，抖動)，而不需要引入結(jié)構(gòu)約束和添加到麥克風(fēng)5或內(nèi)容捕獲裝置300。因此，穩(wěn)定單元320可補(bǔ)償移動(例如，抖動)，而不潛在地妨礙內(nèi)容捕獲裝置300和/或麥克風(fēng)5的可用性(關(guān)于捕獲用戶產(chǎn)生的內(nèi)容和/或第一人帳戶)。

在特定實例中，穩(wěn)定單元320可分析與麥克風(fēng)5相關(guān)聯(lián)的運(yùn)動信息，且以與記錄的運(yùn)動信息相反的方式旋轉(zhuǎn)聲場。在一些實例中，穩(wěn)定單元320可只補(bǔ)償(或反向旋轉(zhuǎn))麥克風(fēng)5的某些移動。舉例來說，穩(wěn)定單元320可只補(bǔ)償快速移動、抖動或高頻移動，這些都在上文被描述為“微移動”。更具體地說，在此實例中，穩(wěn)定單元320可保留由加速度計記錄的其它(例如，更平滑或更漸變)運(yùn)動信息，由此維持3d音頻產(chǎn)生的完整性。

在各種實例中，穩(wěn)定單元320可通過將效應(yīng)矩陣應(yīng)用到hoa系數(shù)11來實施本發(fā)明的運(yùn)動穩(wěn)定技術(shù)。穩(wěn)定單元320可使用由加速度計針對麥克風(fēng)5記錄的運(yùn)動信息來產(chǎn)生效應(yīng)矩陣。更具體地說，穩(wěn)定單元320可產(chǎn)生效應(yīng)矩陣使得如與由加速度計針對麥克風(fēng)5記錄的運(yùn)動信息相比，效應(yīng)矩陣到聲場的應(yīng)用導(dǎo)致聲場的反向旋轉(zhuǎn)。通過應(yīng)用效應(yīng)矩陣，穩(wěn)定單元320可將混合和/或加權(quán)添加到由音頻內(nèi)容捕獲單元310產(chǎn)生的hoa系數(shù)11。在此實例中，由穩(wěn)定單元320接收的hoa系數(shù)11可表示“未補(bǔ)償?shù)摹県oa系數(shù)。通過將效應(yīng)矩陣應(yīng)用到未補(bǔ)償?shù)膆oa系數(shù)11，穩(wěn)定單元320可產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)膆oa系數(shù)15。以下關(guān)于圖4a到4d描述本發(fā)明的效應(yīng)矩陣和運(yùn)動補(bǔ)償過程的另外細(xì)節(jié)。

音頻編碼裝置20可表示被配置以譯碼hoa系數(shù)11以便減小hoa系數(shù)11的大小(以位為單位)的單元。音頻編碼裝置20可產(chǎn)生位流21，出于重新發(fā)射或存儲的目的，接著將所述位流傳到內(nèi)容捕獲輔助裝置302。音頻編碼裝置20可產(chǎn)生位流21以遵照已知音頻標(biāo)準(zhǔn)，例如，題目為“rm1-hoa工作草案文本(rm1-hoaworkingdrafttext)”、日期為2014年1月且在美國圣何塞提出的iso/iecjtc1/sc29/wg11新興標(biāo)準(zhǔn)，其具有文獻(xiàn)編號iso/iecjtc1/sc29/wg11mpeg2014/m31827。

非音頻內(nèi)容捕獲單元312可表示被配置以捕獲所有非音頻內(nèi)容(例如，視頻數(shù)據(jù)、圖像數(shù)據(jù)或文本數(shù)據(jù))的單元。用于說明的目的，假定非音頻內(nèi)容捕獲單元312可捕獲呈視頻數(shù)據(jù)的形式的非音頻內(nèi)容。非音頻編碼裝置314可表示被配置以編碼視頻數(shù)據(jù)的單元。非音頻編碼裝置314可產(chǎn)生遵照視頻譯碼標(biāo)準(zhǔn)的位流。實例視頻譯碼標(biāo)準(zhǔn)為高效視頻譯碼(hevc)標(biāo)準(zhǔn)，其最近由itu-t視頻譯碼專家組(vceg)與iso/iec動畫專家組(mpeg)的視頻譯碼聯(lián)合合作小組(jct-vc)完成。下文被稱作hevc版本1的最新hevc規(guī)范可從http://www.itu.int/rec/t-rec-h.265-201304-i獲得。非音頻編碼裝置314可產(chǎn)生表示視頻數(shù)據(jù)的經(jīng)壓縮型式的位流21。

接口單元316表示被配置以與另一裝置接口連接的單元。接口單元316可經(jīng)由例如無線局域網(wǎng)(wlan)、對等網(wǎng)絡(luò)或個人局域網(wǎng)(pan)的網(wǎng)絡(luò)與其它裝置接口連接。wlan的實例為遵照ieee802.11g無線標(biāo)準(zhǔn)的ieee802.11gwlan。pan的實例為遵照bluetooth^tm規(guī)范集的pan。在一些實例中，接口單元316可經(jīng)由專用連接(例如，電線)與其它裝置接口連接。

假定hoa系數(shù)11可按三維(3d)描述聲場，那么未壓縮的hoa系數(shù)11的大小可相當(dāng)?shù)卮?。在聲場的四階表示中，hoa系數(shù)11的每一樣本包含(4+1)²或25個系數(shù)。所述系數(shù)中的每一個為32位數(shù)。hoa系數(shù)11的每一樣本因此為大致25×32或800個位。

內(nèi)容捕獲裝置300可調(diào)用接口316以經(jīng)由發(fā)射信道321與內(nèi)容捕獲輔助裝置302接口連接。不管經(jīng)由pan還是wlan，發(fā)射信道321可提供不足的帶寬來容納呈未壓縮的hoa系數(shù)11的形式的原始音頻數(shù)據(jù)，尤其當(dāng)內(nèi)容捕獲裝置300還嘗試經(jīng)由同一發(fā)射信道321提供視頻數(shù)據(jù)時。雖然關(guān)于無線發(fā)射信道(其可表示pan或wlan發(fā)射信道)描述，但也可在有線設(shè)定中利用技術(shù)。在有線設(shè)定中，可引起某些其它限制，例如，數(shù)據(jù)處理、高速緩沖存儲和存儲速度方面的限制。此外，存儲大小可限制可存儲的數(shù)據(jù)的量。因而，技術(shù)應(yīng)不限于無線發(fā)射信道的實例，而也可應(yīng)用于有線設(shè)定。此外，數(shù)據(jù)處理、高速緩沖存儲、存儲速度和存儲大小限制也可在有線和無線設(shè)定兩者中引起。因此，所述技術(shù)可在這些設(shè)定的任何組合中應(yīng)用，并具有任何限制組合。

為了允許內(nèi)容301經(jīng)由發(fā)射信道321的發(fā)射，內(nèi)容捕獲裝置300可首先編碼hoa系數(shù)11和任何伴隨的非音頻數(shù)據(jù)(例如，視頻數(shù)據(jù))。為了編碼hoa系數(shù)11，內(nèi)容捕獲裝置300可調(diào)用音頻編碼裝置20。音頻編碼裝置20可編碼hoa系數(shù)11以獲得位流21，從而將位流21提供為內(nèi)容301的部分。接口316可在形成發(fā)射信道321時調(diào)用發(fā)射(tx)信道協(xié)商單元317。tx信道磋商單元317可與包含于內(nèi)容捕獲輔助裝置302內(nèi)的接口316的對應(yīng)的tx信道磋商單元317協(xié)商。

內(nèi)容捕獲裝置300的tx信道磋商單元317和內(nèi)容捕獲輔助裝置302的對應(yīng)的tx信道磋商單元317'可接著協(xié)商發(fā)射信道321的建立，從而選擇適當(dāng)?shù)男诺狼遗渲眠@些信道以允許內(nèi)容捕獲裝置300的接口316與內(nèi)容捕獲輔助裝置302的對應(yīng)的接口316'之間的數(shù)據(jù)通信。在發(fā)射信道321的協(xié)商期間，內(nèi)容捕獲裝置300的tx信道磋商單元317可請求關(guān)于內(nèi)容捕獲輔助裝置302的各種方面的信息。信息可包括指示在內(nèi)容捕獲輔助裝置302處可用于內(nèi)容301的存儲的存儲容量。內(nèi)容捕獲輔助裝置302的tx信道磋商單元317可將指示存儲容量的信息提供到內(nèi)容捕獲裝置300的tx信道磋商單元317。

圖3b說明大體針對本發(fā)明的預(yù)先轉(zhuǎn)碼穩(wěn)定技術(shù)的實例實施方案。換句話說，圖3b的實施方案是針對在預(yù)先轉(zhuǎn)碼階段對音頻數(shù)據(jù)(即，不在hoa域中的音頻數(shù)據(jù))的運(yùn)動補(bǔ)償操作。

如圖3b中所展示，虛擬重新定位單元330可將虛擬重新定位數(shù)據(jù)331傳達(dá)到麥克風(fēng)5以補(bǔ)償移動，例如，指示抖動的移動。又，麥克風(fēng)5可應(yīng)用虛擬重新定位數(shù)據(jù)331以調(diào)整用于由麥克風(fēng)5的個別麥克風(fēng)捕獲的音頻對象的空間信息，且傳播虛擬重新定位供未來音頻捕獲。以下關(guān)于圖5描述圖3b的預(yù)先轉(zhuǎn)碼穩(wěn)定技術(shù)的另外細(xì)節(jié)。

圖4a是說明音頻編碼裝置在執(zhí)行本發(fā)明中所描述的譯碼技術(shù)過程中的示范性操作的流程圖。雖然過程200可由多種裝置執(zhí)行，但僅為了易于論述目的，以下將過程200描述為由圖3a的音頻編碼裝置20的一或多個組件執(zhí)行。舉例來說，穩(wěn)定單元320(和/或其一或多個組件，個別地或按各種組合工作)可實施圖4a的過程200以使聲場的音頻對象穩(wěn)定以減輕或(在一些情況下)去除由麥克風(fēng)抖動或其它此類移動造成的效應(yīng)。圖4a說明圖3a的穩(wěn)定單元320補(bǔ)救hoa域中的移動問題的實施方案。如圖4a的特定實例中所展示，穩(wěn)定單元320可使用具備3d音頻功能的麥克風(fēng)陣列m1到mn中的每一個別麥克風(fēng)的實際位置將麥克風(fēng)輸出轉(zhuǎn)碼成hoa系數(shù)(210)。舉例來說，用于每一個別麥克風(fēng)的實際位置信息可反映由麥克風(fēng)陣列的移動造成的移動(包含抖動和/或所謂的“微移動”)。

另外，根據(jù)圖4a中說明的過程200，穩(wěn)定單元320可從被配置以按3d感測運(yùn)動信息的裝置(例如，加速度計或幫助追蹤移動的羅盤)接收用于麥克風(fēng)m1到mn的運(yùn)動信息(220)。又，穩(wěn)定單元320可使用接收到的運(yùn)動信息導(dǎo)出或以其它方式確定用于個別麥克風(fēng)m1到mn中的每一個的移動信息。又，穩(wěn)定單元320可應(yīng)用3d運(yùn)動信息以執(zhí)行本發(fā)明的運(yùn)動穩(wěn)定技術(shù)(230)。在各種實例中，麥克風(fēng)可包含內(nèi)置式加速度計(例如，定位于個別麥克風(fēng)m1到mn的球形陣列的中心處)或可耦合到外部加速度計(例如，貼附到相機(jī)/麥克風(fēng)設(shè)置的其它組件的加速度計)。在一個實例中，加速度計可包含于麥克風(fēng)的桿或柄中。更具體地說，穩(wěn)定單元320可通過將反向旋轉(zhuǎn)應(yīng)用到由個別麥克風(fēng)m1到mn的陣列捕獲的3d聲場的hoa域表示來執(zhí)行運(yùn)動穩(wěn)定。加速度計可定位于沿著同一平面或沿著大體上類似于個別麥克風(fēng)m1到mn的陣列的平面旋轉(zhuǎn)的任一位置處。在穩(wěn)定單元320能夠存取加速度計與個別麥克風(fēng)m1到mn的陣列之間的位置關(guān)系的實施方案中，穩(wěn)定單元320可導(dǎo)出用于麥克風(fēng)陣列的運(yùn)動信息，即使加速度計不沿著與麥克風(fēng)陣列相同或大體上類似的平面旋轉(zhuǎn)。以此方式，穩(wěn)定單元320可以多種方式實施本發(fā)明的技術(shù)以充分利用由加速度計提供的數(shù)據(jù)，以確定麥克風(fēng)陣列的運(yùn)動信息，且又獲得個別麥克風(fēng)m1到mn中的每一個的移動信息。

當(dāng)在hoa域中實施時，通過補(bǔ)償移動來穩(wěn)定聲場可在計算上更高效，如在圖4a的實例中的情況。因此，在各種情境中，過程200的解決方案可比其它替代方案可行。舉例來說，通過實施圖4a的過程200，穩(wěn)定單元320可補(bǔ)償聲場中的移動，而不需要引入結(jié)構(gòu)約束和添加到相機(jī)和/或麥克風(fēng)系統(tǒng)。因此，穩(wěn)定單元320可補(bǔ)償移動，而不潛在地妨礙相機(jī)和/或麥克風(fēng)系統(tǒng)的可用性(關(guān)于捕獲用戶產(chǎn)生的內(nèi)容和/或第一人帳戶)。

在特定實例中，穩(wěn)定單元320可分析接收(220)到的運(yùn)動信息，和以與捕獲的運(yùn)動反向的方式旋轉(zhuǎn)聲場(230)。在一些實例中，穩(wěn)定單元320可只補(bǔ)償(或反向旋轉(zhuǎn))在步驟220接收的某些移動。舉例來說，穩(wěn)定單元320可只補(bǔ)償快速移動、抖動或高頻移動，這些在以上都被描述為“微移動”。更具體地說，在此實例中，音頻編碼裝置20可保留其它(例如，更平滑或更漸變)運(yùn)動信息，由此維持3d音頻產(chǎn)生的完整性。

圖4b是說明圖4a的過程200的替代性表示的流程圖。在圖4b的實例中，通過效應(yīng)矩陣240來說明運(yùn)動穩(wěn)定。音頻編碼裝置20可使用在步驟220處針對麥克風(fēng)m1到mn接收的運(yùn)動信息來產(chǎn)生效應(yīng)矩陣240。更具體地說，穩(wěn)定單元320可產(chǎn)生效應(yīng)矩陣240，使得如與在步驟220接收的運(yùn)動信息相比，效應(yīng)矩陣240到聲場的應(yīng)用導(dǎo)致聲場的反向旋轉(zhuǎn)。效應(yīng)矩陣240包含零區(qū)域242，以圖形方式將其與圖4b中的有效區(qū)域244區(qū)別開來。零區(qū)域可表示不指示對效應(yīng)矩陣240應(yīng)用到的未補(bǔ)償?shù)膆oa系數(shù)的任何旋轉(zhuǎn)的矩陣條目或單元。相反地，有效區(qū)域244可表示具有相關(guān)聯(lián)的某一“權(quán)數(shù)”的矩陣條目或單元，且因此，表示某一旋轉(zhuǎn)等級以旋轉(zhuǎn)在步驟210處產(chǎn)生的未補(bǔ)償?shù)膆oa系數(shù)。在應(yīng)用效應(yīng)矩陣240過程中，穩(wěn)定單元320可將混合和/或加權(quán)添加到在步驟210產(chǎn)生的未補(bǔ)償?shù)膆oa系數(shù)。

在圖4b的實例中，有效區(qū)域244形成小于百分之五十的效應(yīng)矩陣240，而零區(qū)域242表示大于百分之五十的效應(yīng)矩陣240。因此，在圖4b的實例中，穩(wěn)定單元320可執(zhí)行本發(fā)明的運(yùn)動穩(wěn)定技術(shù)以反向旋轉(zhuǎn)在步驟210處轉(zhuǎn)碼的僅少數(shù)的未補(bǔ)償?shù)膆oa系數(shù)。如圖4b中所說明，穩(wěn)定單元320可以在計算上高效的方式通過目標(biāo)針對在步驟220處接收的特定移動(例如，指示抖動的微移動)且只補(bǔ)償靶向移動、通過應(yīng)用效應(yīng)矩陣240來根據(jù)本發(fā)明執(zhí)行運(yùn)動補(bǔ)償。

圖4c是說明穩(wěn)定單元320可在測量聲場的音頻對象的3d移動過程中使用的各種角度(即，旋轉(zhuǎn))的概念圖。圖4b中說明的效應(yīng)矩陣240的計算的數(shù)學(xué)表示如下：

在以上等式中，效應(yīng)矩陣240由表達(dá)表示。又，表示橫搖角，θ表示俯仰角，且ψ表示偏航角。在應(yīng)用效應(yīng)矩陣240以反向旋轉(zhuǎn)未補(bǔ)償?shù)膆oa系數(shù)過程中，音頻編碼裝置20可應(yīng)用一或多個濾波器，例如，低通濾波器、中值濾波器或卡爾曼濾波器。

計算hoa域中的旋轉(zhuǎn)矩陣的各種技術(shù)已(例如)由佐特在“具有球形陣列的聲音輻射的分析和合成(analysisandsynthesisofsound-radiationwithsphericalarrays)”或由克龍拉克勒和佐特在“用于立體混響記錄的增強(qiáng)的空間變換(spatialtransformationsfortheenhancementofambisonicrecordings)”中描述。本文中描述一個此技術(shù)。根據(jù)此實例技術(shù)，旋轉(zhuǎn)矩陣是在空間域中計算且經(jīng)由離散球面諧波變換(“dsht”)而轉(zhuǎn)換成hoa域。通過采樣點(diǎn)在l方向上的合適分布來采樣變換積分γ＝[γ1,...γl]^t，其中l(wèi)>＝(n+1)²個方向。

hoa域中的旋轉(zhuǎn)矩陣mrot是基于旋轉(zhuǎn)核心和高達(dá)hoa階n的球形諧波(對于方向γ和r·γ)而計算。旋轉(zhuǎn)矩陣mrot的計算可如下表達(dá)：

其中表示(·)的蒙羅斯-佩恩偽反向。

圖4d是說明穩(wěn)定單元320可關(guān)于過程200實施以用于hoa域中的音頻對象的運(yùn)動穩(wěn)定的改進(jìn)的概念圖。在一些實施方案中，穩(wěn)定單元320可計算效應(yīng)矩陣240的單獨(dú)例項且將其應(yīng)用到每一音頻樣本或幀，由此補(bǔ)償每一樣本的音頻對象以補(bǔ)救對應(yīng)的空間信息的移動誘發(fā)的改變。然而，在一些實施方案(例如，圖4d中說明的實施方案)中，穩(wěn)定單元320可通過按給定間隔(例如，每10個樣本、每12個等等)導(dǎo)出效應(yīng)矩陣240的單獨(dú)例項且將其應(yīng)用到樣本來保存計算資源。由穩(wěn)定單元320確定的樣本的間隔在本文中被稱作樣本的“塊”。

圖4d說明四個此類塊，即，音頻樣本塊250a到250d。為了減輕或可能去除通過按此類間隔應(yīng)用效應(yīng)矩陣所造成的塊假象，音頻編碼裝置可應(yīng)用本發(fā)明的技術(shù)以內(nèi)插效應(yīng)矩陣240的單獨(dú)例項。換句話說，穩(wěn)定單元320可通過將對應(yīng)的內(nèi)插函數(shù)260a到260d應(yīng)用到效應(yīng)矩陣240的先前例項來“弄平”在音頻樣本塊250a到250d中的每一個內(nèi)的過渡。

通過將內(nèi)插函數(shù)260a到260d應(yīng)用到效應(yīng)矩陣240的對應(yīng)例項，穩(wěn)定單元320可應(yīng)用本發(fā)明的技術(shù)以減輕精確度損失，同時改善譯碼效率。更具體地說，穩(wěn)定單元320可采用效應(yīng)矩陣240的稀疏性(例如，就有效的權(quán)重值來說，如與更普通的零條目相反)以按多樣本間隔應(yīng)用效應(yīng)矩陣240，且通過間隔內(nèi)插效應(yīng)矩陣240。圖4d的基于內(nèi)插的實施方案可表示比針對經(jīng)轉(zhuǎn)碼的音頻輸入的每一樣本的效應(yīng)矩陣240的實時計算和應(yīng)用高效且計算上不太繁重的解決方案。

如圖4d中所說明，關(guān)于圖4a到4d描述的后轉(zhuǎn)碼運(yùn)動補(bǔ)償技術(shù)可定制。關(guān)于后轉(zhuǎn)碼運(yùn)動補(bǔ)償技術(shù)的可能的其它定制包含應(yīng)用運(yùn)動補(bǔ)償?shù)侥繕?biāo)以僅選擇捕獲的音頻數(shù)據(jù)的段，設(shè)定閾值以確定移動是否有資格為待補(bǔ)償?shù)奈⒁苿拥鹊?。因此，圖4a到4d的后轉(zhuǎn)碼運(yùn)動補(bǔ)償解決方案表示音頻編碼裝置20可基于裝置特性、聲音特性、用戶輸入或設(shè)定或特定針對特定情境的各種其它參數(shù)實施以補(bǔ)償微移動的可定制解決方案。

圖5是說明音頻解碼裝置在執(zhí)行本發(fā)明中所描述的譯碼技術(shù)過程中的示范性操作的流程圖。圖5說明根據(jù)本發(fā)明的各種方面的虛擬重新定位單元330(和/或個別地或按任何組合發(fā)揮功能的其一或多個組件)可通過實施運(yùn)動補(bǔ)償來使聲場的音頻對象穩(wěn)定所借的實例過程270。在圖5的實施方案中，虛擬重新定位單元330可在預(yù)先轉(zhuǎn)碼階段對音頻數(shù)據(jù)(即，不在hoa域中的音頻數(shù)據(jù))執(zhí)行運(yùn)動補(bǔ)償操作。

如圖5中所示，虛擬重新定位單元330可執(zhí)行個別麥克風(fēng)m1到mn中的一或多個的虛擬重新定位(280)以補(bǔ)償移動。更具體地說，到步驟280的輸入包含麥克風(fēng)陣列的運(yùn)動信息(如在步驟210從3d運(yùn)動傳感器(例如，加速度計)確定)，和個別麥克風(fēng)m1到mn的實際位置。又，在步驟280，虛擬重新定位單元330可組合在步驟210接收的運(yùn)動信息與實際麥克風(fēng)位置以導(dǎo)出虛擬重新定位信息。音頻編碼裝置可應(yīng)用在步驟280處的虛擬重新定位調(diào)整用于由個別麥克風(fēng)m1到mn捕獲的音頻對象的空間信息，且傳播虛擬重新定位供未來音頻捕獲。

圖5中說明的過程270表示低復(fù)雜性且因此計算上不太昂貴的實施方案，如與關(guān)于圖4a到4d描述的后轉(zhuǎn)碼補(bǔ)償技術(shù)相比。通過如在過程270中“在運(yùn)行中”實施虛擬麥克風(fēng)重新定位和向前傳播任何運(yùn)動補(bǔ)償調(diào)整供未來音頻捕獲，虛擬重新定位單元330可減輕或潛在地消除麥克風(fēng)抖動的效應(yīng)，同時保存計算資源和能耗。因此，過程270可說明對于低電池情境以及音頻編碼裝置具有相對較少計算資源可用(例如，經(jīng)由智慧型電話或平板計算機(jī))的情境可行的運(yùn)動補(bǔ)償過程。

從球形麥克風(fēng)陣列的麥克風(fēng)信號xl到hoa域的轉(zhuǎn)換(或轉(zhuǎn)碼)可基于陣列的幾何性質(zhì)，經(jīng)由離散球形變換dsht結(jié)合后續(xù)信號處理來執(zhí)行。可通過將麥克風(fēng)信號xn乘以針對麥克風(fēng)的方向γ＝[γ1,...γl]^t計算的高達(dá)hoa階n的球形諧波來進(jìn)行dsht，如下：

dshtn＝y(tǒng)n^-1(γ)·xl

通過實際上使用旋轉(zhuǎn)核心旋轉(zhuǎn)麥克風(fēng)的方向來執(zhí)行聲場的預(yù)期旋轉(zhuǎn)，如下：

圖6a到6f為說明內(nèi)容捕獲裝置300與麥克風(fēng)5的不同組合的圖。在圖6a的實例中，內(nèi)容捕獲裝置300(出于說明的目的，展示為加固型相機(jī))可表示具有外殼375的相機(jī)系統(tǒng)，在外殼中，包含透鏡的圖像捕捉系統(tǒng)377被配置以捕獲視頻數(shù)據(jù)和圖像數(shù)據(jù)中的一或兩個。外殼375可適于集成全部麥克風(fēng)5，包含麥克風(fēng)5的臺座3。換句話說，麥克風(fēng)5包含臺座3和麥克風(fēng)陣列6。臺座3可貼附到外殼375和麥克風(fēng)陣列6。

在圖6b的實例中，麥克風(fēng)5不包含臺座3，但仍然與內(nèi)容捕獲裝置300集成在一起。換句話說，麥克風(fēng)5僅包含麥克風(fēng)陣列6，其貼附到外殼375。在圖6c的實例中，麥克風(fēng)5與內(nèi)容捕獲裝置300經(jīng)由電線4通信。處理器(未圖示)可被配置以經(jīng)由電線4獲得hoa系數(shù)11。在圖6d和6e的實例中，麥克風(fēng)5與內(nèi)容捕獲裝置300分別經(jīng)由pan1和wlan2無線通信。在圖6d和6e的實例中，處理器可被配置以無線獲得hoa系數(shù)11(例如，分別經(jīng)由pan1和wlan2)。

在圖6f的實例中，內(nèi)容捕獲裝置300還包含集成麥克風(fēng)390a到390c。3d音頻麥克風(fēng)5包含麥克風(fēng)陣列，其中所述麥克風(fēng)陣列中的每一麥克風(fēng)大致距鄰近麥克風(fēng)距離d1。麥克風(fēng)陣列中的每一麥克風(fēng)還圍繞半球或替代地圍繞球等距離地定位。集成的麥克風(fēng)390a到390c可距鄰近麥克風(fēng)距離d2定位。距離d2可大于距離d1。內(nèi)容捕獲裝置300可包含集成麥克風(fēng)390a到390c以擴(kuò)增由麥克風(fēng)5捕獲的hoa音頻數(shù)據(jù)。與集成麥克風(fēng)390a到390c分開(如由距離d2表示)的較大麥克風(fēng)可有助于較低頻率的捕獲。因為麥克風(fēng)陣列中的麥克風(fēng)的距離d1小，所以麥克風(fēng)5可能不能夠充分捕獲較低頻率。

圖7a到7e是說明根據(jù)本發(fā)明中描述的技術(shù)的呈利用緊固到內(nèi)容捕獲裝置的三維麥克風(fēng)的智能電話的形式的內(nèi)容捕獲裝置的不同實例的圖。在圖7a的實例中，內(nèi)容捕獲裝置300提供固持裝置395貼附到的平臺。固持裝置395可包含夾鉗。夾鉗可經(jīng)由張力齒合機(jī)構(gòu)棘輪向下以便容納供麥克風(fēng)5使用的潛在內(nèi)容捕獲裝置300的不同大小和外觀尺寸。固持裝置395可包含許多麥克風(fēng)附接點(diǎn)。麥克風(fēng)附接點(diǎn)可包括陰螺絲附接點(diǎn)，其接受普通螺釘大小且成螺紋以用于相機(jī)或其它類型的音頻/視覺設(shè)備。麥克風(fēng)附接點(diǎn)可位于夾鉗的頂部上(其中頂部指當(dāng)在將內(nèi)容捕獲裝置300保持于橫向定向上時使用的夾鉗的頂部)。麥克風(fēng)附接點(diǎn)也可位于夾鉗的后部上，如在圖7b中由麥克風(fēng)連接點(diǎn)397所展示。圖7c到7e的實例提供緊固裝置395的另外側(cè)、后和前快照。

圖8a和8b是說明麥克風(fēng)5的不同實例的圖。在圖8a的實例中，展示由高通技術(shù)公司(qualcommtechnologiesinc.)開發(fā)的32麥克風(fēng)陣列麥克風(fēng)。作為一個實例，圖8a的麥克風(fēng)5包含usb有線連接。圖8b中展示的實例為對高通32麥克風(fēng)裝置的替代麥克風(fēng)，其被稱作eigenmike^tm。

圖9是說明與一或多個實例內(nèi)容捕獲輔助裝置302通信的實例內(nèi)容捕獲裝置300的概念圖。如圖9的實例中所展示，內(nèi)容捕獲輔助裝置302(用于說明的目的，將其展示為智能電話和平板計算機(jī)/筆記本電腦)可經(jīng)由無線局域網(wǎng)380與內(nèi)容捕獲裝置300通信。替代地，內(nèi)容捕獲輔助裝置302可經(jīng)由個人區(qū)域網(wǎng)路、蜂窩式網(wǎng)絡(luò)或其它無線形式的通信與內(nèi)容捕獲裝置300通信。此外，內(nèi)容捕獲輔助裝置302可經(jīng)由有線連接與內(nèi)容捕獲裝置300通信。雖然展示為經(jīng)由個人局域網(wǎng)1與麥克風(fēng)5通信，但內(nèi)容捕獲裝置300可經(jīng)由任何形式的通信(例如，以上關(guān)于圖4a到4d的實例描述的通信)與麥克風(fēng)5通信。

如所展示，在一些實例中，本發(fā)明是針對一種運(yùn)動補(bǔ)償?shù)姆椒ǎ龇椒ò{(diào)整三維(3d)聲場的一或多個高階立體混響(hoa)表示以補(bǔ)償與3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動。在一些實例中，調(diào)整一或多個hoa表示包含獲得與一或多個移動相關(guān)聯(lián)的效應(yīng)矩陣。在一些實例中，效應(yīng)矩陣表示關(guān)于一或多個移動的反向旋轉(zhuǎn)操作。

在一些實例中，調(diào)整一或多個hoa表示包含將效應(yīng)矩陣應(yīng)用到一或多個hoa表示以獲得經(jīng)運(yùn)動補(bǔ)償?shù)?d聲場。根據(jù)一些實例，獲得效應(yīng)矩陣包含獲得與一或多個移動相關(guān)聯(lián)的旋轉(zhuǎn)信息和至少部分通過計算旋轉(zhuǎn)信息的逆來計算效應(yīng)矩陣。在一些實例中，效應(yīng)矩陣包括零條目的集合和有效條目的集合。根據(jù)一個此實例，零條目的集合包含比有效條目的集合數(shù)目大的條目。

根據(jù)一些實例，調(diào)整一或多個hoa表示包括調(diào)整用于音頻數(shù)據(jù)的每一音頻樣本的一或多個hoa表示。在一些實例中，調(diào)整一或多個hoa表示包括調(diào)整用于音頻樣本的子集的一或多個hoa表示，使得所述子集中的任何一對音頻樣本表示所述多個音頻樣本中的間隔。根據(jù)一些實例，間隔包括十樣本間隔或十二樣本間隔中的一個。在一些實例中，所述方法可進(jìn)一步包含關(guān)于每一間隔內(nèi)插效應(yīng)矩陣，以獲得一或多個內(nèi)插的效應(yīng)矩陣。在一個此實例中，所述方法可進(jìn)一步包含將每一內(nèi)插的效應(yīng)矩陣應(yīng)用到包含于對應(yīng)的間隔中的對應(yīng)的樣本。

在一些實例中，所述方法可進(jìn)一步包含從運(yùn)動感測裝置獲得描述移動的數(shù)據(jù)。在一些實例中，運(yùn)動感測裝置包括加速度計或羅盤中的一或多個。根據(jù)一些實例，運(yùn)動傳感器耦合到被配置以捕獲音頻數(shù)據(jù)的麥克風(fēng)陣列。在一些實例中，運(yùn)動感測裝置形成麥克風(fēng)陣列的部分。根據(jù)一些實例，所述方法可進(jìn)一步包含區(qū)分一或多個微移動與相關(guān)聯(lián)于3d聲場的一或多個音頻對象的一或多個逐漸移動。在一個此實例中，區(qū)分微移動與逐漸移動是基于與描述與捕獲相關(guān)聯(lián)的運(yùn)動信息的距離、頻率或角度銳度中的一或多個相關(guān)聯(lián)的閾值。

根據(jù)一些實例，所述方法可進(jìn)一步包含獲得與移動相關(guān)聯(lián)的偏航角、俯仰角或橫搖角中的一或多個。在一些實例中，調(diào)整一或多個hoa表示包含更改與一或多個hoa表示相關(guān)聯(lián)的空間信息。在根據(jù)本發(fā)明的方面的一些實例中，裝置被配置以補(bǔ)償運(yùn)動，且裝置可包含被配置以存儲高階立體混響(hoa)音頻數(shù)據(jù)的存儲器，和被配置以執(zhí)行以上描述的方法中的任一個或描述的方法的任何組合的一或多個處理器。在一些實例中，裝置被配置以補(bǔ)償運(yùn)動，且裝置可包含用于存儲高階立體混響(hoa)音頻數(shù)據(jù)的裝置，和用于執(zhí)行以上描述的方法中的任一個或描述的方法的任何組合的裝置。在一些實例中，計算機(jī)可讀存儲媒體可用指令編碼，所述指令在經(jīng)執(zhí)行時執(zhí)行以上描述的方法中的任一個或描述的方法的任何組合。

根據(jù)一些方面，本發(fā)明是針對一種運(yùn)動補(bǔ)償?shù)姆椒?。所述方法可包含調(diào)整與麥克風(fēng)陣列中的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由麥克風(fēng)陣列進(jìn)行的三維(3d)聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動。在一些實例中，所述方法包含調(diào)整虛擬定位信息，包括調(diào)整用于3d聲場的時域表示的虛擬定位信息。在一些實例中，3d聲場的時域表示包括3d聲場的預(yù)先轉(zhuǎn)碼表示。在一些實例中，所述方法可進(jìn)一步包含調(diào)整用于由麥克風(fēng)陣列關(guān)于3d聲場捕獲的所有音頻樣本的虛擬定位信息。

在一些實例中，調(diào)整虛擬定位信息包括基于與麥克風(fēng)陣列相關(guān)聯(lián)的移動和實際定位信息產(chǎn)生虛擬重新定位信息。在一些此類實例中，所述方法進(jìn)一步包含從運(yùn)動感測裝置獲得描述移動的數(shù)據(jù)。在一個此實例中，運(yùn)動感測裝置包括加速度計或羅盤中的一或多個。

在根據(jù)本發(fā)明的方面的一些實例中，裝置被配置以補(bǔ)償運(yùn)動，且裝置可包含被配置以存儲高階立體混響(hoa)音頻數(shù)據(jù)的存儲器，和被配置以執(zhí)行以上描述的方法中的任一個或描述的方法的任何組合的一或多個處理器。在一些實例中，裝置被配置以補(bǔ)償運(yùn)動，且裝置可包含用于存儲高階立體混響(hoa)音頻數(shù)據(jù)的裝置，和用于執(zhí)行以上描述的方法中的任一個或描述的方法的任何組合的裝置。在一些實例中，計算機(jī)可讀存儲媒體可用指令編碼，所述指令在經(jīng)執(zhí)行時執(zhí)行以上描述的方法中的任一個或描述的方法的任何組合。

根據(jù)一些方面，本發(fā)明是針對一種相機(jī)系統(tǒng)，其包含外殼、捕獲視頻數(shù)據(jù)和圖像數(shù)據(jù)中的一或兩個的圖像捕獲系統(tǒng)(包含透鏡)和被配置以捕獲高階立體混響音頻數(shù)據(jù)的三維(3d)麥克風(fēng)，其中所述3d麥克風(fēng)包含臺座和麥克風(fēng)陣列，且其中臺座貼附到相機(jī)的外殼和麥克風(fēng)陣列。在一些實例中，外殼被配置以收納一或多個運(yùn)動感測裝置。根據(jù)一個此實例，3d麥克風(fēng)被配置以耦合到一或多個運(yùn)動感測裝置。

在一些實例中，一或多個運(yùn)動感測裝置包括加速度計或羅盤中的至少一個。根據(jù)一個此實例，加速度計被配置以獲得與3d麥克風(fēng)相關(guān)聯(lián)的運(yùn)動信息。在一些實例中，羅盤被配置以獲得與3d麥克風(fēng)相關(guān)聯(lián)的運(yùn)動信息，其包含與一或多個主要方向相關(guān)聯(lián)的信息。

根據(jù)一些方面，本發(fā)明是針對一種相機(jī)系統(tǒng)，其包含外殼、捕獲視頻數(shù)據(jù)和圖像數(shù)據(jù)中的一或兩個的圖像捕獲系統(tǒng)(包含透鏡)和被配置以捕獲高階立體混響音頻數(shù)據(jù)的三維(3d)麥克風(fēng)，其中所述3d麥克風(fēng)包含貼附到相機(jī)的外殼的麥克風(fēng)陣列。在一些實例中，所述外殼被配置以收納一或多個運(yùn)動感測裝置。在一些實例中，3d麥克風(fēng)被配置以耦合到一或多個運(yùn)動感測裝置。在一些實例中，所述一或多個運(yùn)動感測裝置包括加速度計或羅盤中的至少一個。一個此實例，加速度計被配置以獲得與3d麥克風(fēng)相關(guān)聯(lián)的運(yùn)動信息。根據(jù)一些實例，羅盤被配置以獲得與3d麥克風(fēng)相關(guān)聯(lián)的運(yùn)動信息，其包含與一或多個主要方向相關(guān)聯(lián)的信息。

根據(jù)一些方面，本發(fā)明是針對一種相機(jī)系統(tǒng)，其包含處理器、捕獲視頻數(shù)據(jù)和圖像數(shù)據(jù)中的一或兩個的圖像捕獲系統(tǒng)(包含透鏡)和被配置以捕獲高階立體混響音頻數(shù)據(jù)的三維(3d)麥克風(fēng)，其中所述3d麥克風(fēng)包含將3d麥克風(fēng)通信耦接到處理器的電線，且其中所述處理器被配置以經(jīng)由所述電線獲得高階立體混響音頻數(shù)據(jù)。在一些實例中，所述外殼被配置以收納一或多個運(yùn)動感測裝置。在一些實例中，3d麥克風(fēng)被配置成耦合到一或多個運(yùn)動感測裝置。根據(jù)一些實例，一或多個運(yùn)動感測裝置包括加速度計或羅盤中的至少一個。在一個此實例中，加速度計被配置以獲得與3d麥克風(fēng)相關(guān)聯(lián)的運(yùn)動信息。根據(jù)一些實例，羅盤被配置以獲得與3d麥克風(fēng)相關(guān)聯(lián)的運(yùn)動信息，其包含與一或多個主要方向相關(guān)聯(lián)的信息。

在一些方面，本發(fā)明是針對一種運(yùn)動補(bǔ)償?shù)姆椒āＫ龇椒òㄓ杀慌渲靡匝a(bǔ)償運(yùn)動的裝置接收指示與由麥克風(fēng)陣列進(jìn)行的三維(3d)聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息。所述方法進(jìn)一步包含由被配置以補(bǔ)償運(yùn)動的所述裝置調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的所述一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動。所述方法可進(jìn)一步包含由被配置以補(bǔ)償運(yùn)動的所述裝置基于所述調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鳌Ｔ谝恍嵗校{(diào)整所述虛擬定位信息包括由被配置以補(bǔ)償運(yùn)動的所述裝置調(diào)整所述3d聲場的一或多個高階立體混響(hoa)表示。在一些實例中，調(diào)整所述一或多個hoa表示包括由被配置以補(bǔ)償運(yùn)動的所述裝置更改與所述一或多個hoa表示相關(guān)聯(lián)的空間信息。在一些實例中，調(diào)整所述一或多個hoa表示包括由被配置以補(bǔ)償運(yùn)動的所述裝置獲得與所述一或多個移動相關(guān)聯(lián)的效應(yīng)矩陣。

根據(jù)一些實例，效應(yīng)矩陣表示關(guān)于一或多個移動的反向旋轉(zhuǎn)操作。在一些情況下，調(diào)整所述一或多個hoa表示包括由被配置以補(bǔ)償運(yùn)動的所述裝置將所述效應(yīng)矩陣應(yīng)用到所述一或多個表示以獲得經(jīng)運(yùn)動補(bǔ)償?shù)?d聲場。在一些實例中，獲得所述效應(yīng)矩陣包括由被配置以補(bǔ)償運(yùn)動的所述裝置獲得與所述一或多個移動相關(guān)聯(lián)的旋轉(zhuǎn)信息，和由被配置以補(bǔ)償運(yùn)動的所述裝置至少部分通過計算所述旋轉(zhuǎn)信息的逆來計算所述效應(yīng)矩陣。

在一些實例中，所述效應(yīng)矩陣包括零條目的集合和有效條目的集合，且零條目的所述集合包含比有效條目的所述集合數(shù)目大的條目。在一些情況下，調(diào)整所述一或多個hoa表示包括由被配置以補(bǔ)償運(yùn)動的所述裝置調(diào)整用于與所述3d聲場相關(guān)聯(lián)的多個音頻樣本的子集的所述一或多個hoa表示，使得所述子集中的任何一對音頻樣本表示所述音頻樣本中的所述多個的間隔。

根據(jù)一些實例，所述間隔包括十樣本間隔或十二樣本間隔中的一個。在一些實施方案中，所述方法進(jìn)一步包括由被配置以補(bǔ)償運(yùn)動的所述裝置關(guān)于每一間隔內(nèi)插所述效應(yīng)矩陣以獲得一或多個內(nèi)插的效應(yīng)矩陣。在一個此實例中，所述方法進(jìn)一步包括由被配置以補(bǔ)償運(yùn)動的所述裝置將每一內(nèi)插的效應(yīng)矩陣應(yīng)用到對應(yīng)的間隔中包含的對應(yīng)的樣本。

在一些實施方案中，所述方法進(jìn)一步包括由被配置以補(bǔ)償運(yùn)動的所述裝置區(qū)分一或多個微移動與相關(guān)聯(lián)于所述3d聲場的所述一或多個音頻對象的一或多個逐漸移動。在一個此實施方案中，區(qū)分所述微移動與所述逐漸移動是基于與描述與所述捕獲相關(guān)聯(lián)的運(yùn)動信息的距離、頻率或角度銳度中的一或多個相關(guān)聯(lián)的閾值。

在一些實例中，接收指示與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的所述一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動的所述運(yùn)動信息包含由被配置以補(bǔ)償運(yùn)動的所述裝置接收與所述移動相關(guān)聯(lián)的偏航角、俯仰角或橫搖角中的一或多個。在一個此實例中，調(diào)整所述虛擬定位信息以補(bǔ)償所述移動包括由被配置以補(bǔ)償運(yùn)動的所述裝置基于所述偏航角、所述俯仰角或所述橫搖角中的所述獲得的一或多個補(bǔ)償旋轉(zhuǎn)信息。根據(jù)一些實例，調(diào)整所述虛擬定位信息包括由被配置以補(bǔ)償運(yùn)動的所述裝置調(diào)整用于所述3d聲場的時域表示的所述虛擬定位信息。

根據(jù)一些實例，所述3d聲場的所述時域表示包括所述3d聲場的預(yù)先轉(zhuǎn)碼表示。在一些實例中，所述方法進(jìn)一步包含由被配置以補(bǔ)償運(yùn)動的所述裝置調(diào)整用于由所述麥克風(fēng)陣列關(guān)于所述3d聲場捕獲的所有音頻樣本的所述虛擬定位信息。在一些實例中，調(diào)整所述虛擬定位信息包括由被配置以補(bǔ)償運(yùn)動的所述裝置基于與所述麥克風(fēng)陣列相關(guān)聯(lián)的所述移動和實際定位信息產(chǎn)生虛擬重新定位信息。

在一些方面，本發(fā)明是針對一種被配置以補(bǔ)償運(yùn)動的裝置。所述裝置包括被配置以存儲與三維(3d)聲場相關(guān)聯(lián)的音頻數(shù)據(jù)的存儲器，和一或多個處理器。所述一或多個處理器被配置以接收指示與由麥克風(fēng)陣列進(jìn)行的三維(3d)聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息，和調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動。所述一或多個處理器也可被配置以基于所述經(jīng)調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鳌?/p>

在一些實例中，所述一或多個處理器被進(jìn)一步配置以從運(yùn)動感測裝置獲得描述所述移動的數(shù)據(jù)。在一些實例中，運(yùn)動感測裝置包括加速度計或羅盤中的一或多個。在一些實例中，為了調(diào)整虛擬定位信息，所述一或多個處理器被配置以調(diào)整所述3d聲場的一或多個高階立體混響(hoa)表示。在一些實例中，為了調(diào)整一或多個hoa表示，所述一或多個處理器被配置以獲得與所述一或多個移動相關(guān)聯(lián)的效應(yīng)矩陣。在一個此實例中，效應(yīng)矩陣表示關(guān)于一或多個移動的反向旋轉(zhuǎn)操作。

根據(jù)一些實例，所述一或多個處理器被配置以通過調(diào)整用于所述3d聲場的時域表示的所述虛擬定位信息來調(diào)整所述虛擬定位信息。在一些實例中，所述3d聲場的所述時域表示包括所述3d聲場的預(yù)先轉(zhuǎn)碼表示。根據(jù)一些實例，所述一或多個處理器被配置以通過基于與所述麥克風(fēng)陣列相關(guān)聯(lián)的所述移動和實際定位信息來產(chǎn)生虛擬重新定位信息而調(diào)整所述虛擬定位信息。

在各種方面中，本發(fā)明是針對一種被配置以補(bǔ)償運(yùn)動的裝置。所述裝置包括用于存儲與三維(3d)聲場相關(guān)聯(lián)的音頻數(shù)據(jù)的裝置、用于接收指示與由麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息的裝置和用于調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的所述一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動的裝置。所述裝置還可包含用于基于所述經(jīng)調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鞯难b置。根據(jù)一些實施方案，所述用于調(diào)整所述虛擬定位信息的裝置包含用于調(diào)整所述3d聲場的一或多個高階立體混響(hoa)表示的裝置。在一些實例中，其中所述用于調(diào)整所述虛擬定位信息的裝置包含：用于獲得與所述一或多個移動相關(guān)聯(lián)的旋轉(zhuǎn)信息的裝置、用于計算所述旋轉(zhuǎn)信息的逆以獲得表示關(guān)于所述旋轉(zhuǎn)信息的逆運(yùn)算的效應(yīng)矩陣的裝置和用于將所述效應(yīng)矩陣應(yīng)用到所述一或多個hoa表示以獲得經(jīng)運(yùn)動補(bǔ)償?shù)?d聲場的裝置。根據(jù)一些實例，所述用于調(diào)整所述虛擬定位信息的裝置包括用于調(diào)整用于所述3d聲場的時域表示的所述虛擬定位信息的裝置，所述3d聲場的所述時域表示包括所述3d聲場的預(yù)先轉(zhuǎn)碼表示。

在一些方面，本發(fā)明是針對一種用指令編碼的非暫時性計算機(jī)可讀存儲媒體。所述指令在經(jīng)執(zhí)行時使用于補(bǔ)償運(yùn)動的計算裝置的一或多個處理器接收指示與由麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的捕獲相關(guān)聯(lián)的一或多個移動的運(yùn)動信息，調(diào)整與麥克風(fēng)陣列的一或多個麥克風(fēng)相關(guān)聯(lián)的虛擬定位信息以補(bǔ)償與由所述麥克風(fēng)陣列進(jìn)行的所述3d聲場的一或多個音頻對象的所述捕獲相關(guān)聯(lián)的所述一或多個移動，和基于所述經(jīng)調(diào)整的虛擬定位信息產(chǎn)生經(jīng)運(yùn)動補(bǔ)償?shù)奈涣鳌?/p>

可關(guān)于任何數(shù)目個不同情境和音頻生態(tài)系統(tǒng)執(zhí)行前述技術(shù)。以下描述多個實例情境，但所述技術(shù)應(yīng)限于所述實例情境。一個實例音頻生態(tài)系統(tǒng)可包含音頻內(nèi)容、電影工作室、音樂工作室、游戲音頻工作室、基于聲道的音頻內(nèi)容、譯碼引擎、游戲音頻符尾、游戲音頻譯碼/呈現(xiàn)引擎和傳遞系統(tǒng)。

電影工作室、音樂工作室和游戲音頻工作室可接收音頻內(nèi)容。在一些實例中，音頻內(nèi)容可表示獲取的輸出。電影工作室可例如通過使用數(shù)字音頻工作站(daw)輸出基于聲道的音頻內(nèi)容(例如，呈2.0、5.1及7.1)。所述音樂工作室可例如通過使用daw來輸出基于聲道的音頻內(nèi)容(例如，呈2.0及5.1)。在任一情況下，譯碼引擎可基于一或多個編解碼器(例如，aac、ac3、杜比真hd、杜比數(shù)字加和dts主音頻)接收并編碼基于聲道的音頻內(nèi)容以供由傳遞系統(tǒng)輸出。游戲音頻工作室可例如通過使用daw輸出一或多個游戲音頻符尾。所述游戲音頻譯碼/呈現(xiàn)引擎可譯碼所述音頻符尾和或?qū)⑺鲆纛l符尾呈現(xiàn)為基于聲道的音頻內(nèi)容以供由傳遞系統(tǒng)輸出?？蓤?zhí)行所述技術(shù)的另一實例情境包括音頻生態(tài)系統(tǒng)，其可包含廣播記錄音頻對象、專業(yè)音頻系統(tǒng)、消費(fèi)者裝置上捕獲、hoa音頻格式、裝置上呈現(xiàn)、消費(fèi)者音頻、tv和配件以及汽車音頻系統(tǒng)。

所述廣播記錄音頻對象、所述專業(yè)音頻系統(tǒng)和所述消費(fèi)者裝置上捕獲都可使用hoa音頻格式譯碼其輸出。以此方式，可使用hoa音頻格式將音頻內(nèi)容譯碼成單個表示，可使用裝置上呈現(xiàn)、消費(fèi)者音頻、tv和附件以及汽車音頻系統(tǒng)回放所述單個表示。換句話說，可在例如音頻回放系統(tǒng)16的一般音頻回放系統(tǒng)(即，與需要例如5.1、7.1等的特定配置相反)處回放音頻內(nèi)容的單個表示。

可執(zhí)行所述技術(shù)的情境的其它實例包含音頻生態(tài)系統(tǒng)，其可包含獲取元件和回放元件。獲取元件可包含有線和/或無線獲取裝置(例如，本征麥克風(fēng))、裝置上環(huán)繞聲捕獲和移動裝置(例如，智能電話和平板計算機(jī))。在一些實例中，有線和/或無線獲取裝置可經(jīng)由有線和/或無線通信信道耦合到移動裝置。

根據(jù)本發(fā)明的一或多個技術(shù)，所述移動裝置可用以獲取聲場。舉例來說，移動裝置可經(jīng)由有線和/或無線獲取裝置和/或裝置上環(huán)繞聲捕獲(例如，集成到移動裝置內(nèi)的多個麥克風(fēng))獲取聲場。移動裝置可接著將所獲取的聲場譯碼成hoa系數(shù)以用于由回放元件中的一或多個回放。舉例來說，移動裝置的用戶可記錄實況事件(例如，集會、會議、比賽、音樂會等)(獲取實況事件的聲場)，且將記錄譯碼成hoa系數(shù)。

所述移動裝置還可利用所述回放元件中的一或多個來回放所述經(jīng)hoa譯碼的聲場。舉例來說，移動裝置可解碼經(jīng)hoa譯碼的聲場，且將使重放元件中的一或多個重新創(chuàng)建聲場的信號輸出到回放元件中的一或多個。作為一個實例，移動裝置可利用無線和/或無線通信聲道將信號輸出到一或多個揚(yáng)聲器(例如，揚(yáng)聲器陣列、聲棒等)。作為另一實例，移動裝置可利用對接解決方案將信號輸出到一或多個對接站和/或一或多個對接揚(yáng)聲器(例如，智能汽車和/或家庭中的聲音系統(tǒng))。作為另一實例，移動裝置可利用頭戴式耳機(jī)呈現(xiàn)將信號輸出到一組頭戴式耳機(jī)，例如，以創(chuàng)建逼真立體聲聲音。

在一些實例中，特定移動裝置可獲取3d聲場并且在稍后時間回放同一3d聲場。在一些實例中，移動裝置可獲取3d聲場，將所述3d聲場編碼成hoa，且將經(jīng)編碼的3d聲場發(fā)射到一或多個其它裝置(例如，其它移動裝置和/或其它非移動裝置)以供回放。

可執(zhí)行所述技術(shù)的又一情境包含音頻生態(tài)系統(tǒng)，其可包含音頻內(nèi)容、游戲工作室、經(jīng)譯碼音頻內(nèi)容、呈現(xiàn)引擎和傳遞系統(tǒng)。在一些實例中，所述游戲工作室可包含可支持hoa信號的編輯的一或多個daw。舉例來說，所述一或多個daw可包含可被配置以與一或多個游戲音頻系統(tǒng)一起操作(例如，一起工作)的hoa插件和/或工具。在一些實例中，游戲工作室可輸出支持hoa的新符尾格式。在任何情況下，游戲工作室可將經(jīng)譯碼音頻內(nèi)容輸出到呈現(xiàn)引擎，所述呈現(xiàn)引擎可呈現(xiàn)聲場以供由傳遞系統(tǒng)回放。

也可關(guān)于示范性音頻獲取裝置執(zhí)行所述技術(shù)。舉例來說，可關(guān)于可包含共同地被配置以記錄3d聲場的多個麥克風(fēng)的本征麥克風(fēng)來執(zhí)行所述技術(shù)。在一些實例中，本征麥克風(fēng)的所述多個麥克風(fēng)可位于具有大致4cm的半徑的大體上為球面球的表面上。在一些實例中，音頻編碼裝置20可集成到本征麥克風(fēng)內(nèi)，以便直接從麥克風(fēng)輸出位流21。

另一示范性音頻獲取情境可包含可被配置以從一或多個麥克風(fēng)(例如，一或多個本征麥克風(fēng))接收信號的生產(chǎn)車。生產(chǎn)車還可包含音頻編碼器，例如，音頻編碼器20。

在一些情況下，所述移動裝置還可包含共同地被配置以記錄3d聲場的多個麥克風(fēng)。換句話說，所述多個麥克風(fēng)可具有x、y、z分集。在一些實例中，移動裝置可包含可經(jīng)旋轉(zhuǎn)以關(guān)于移動裝置的一或多個其它麥克風(fēng)提供x、y、z分集的麥克風(fēng)。移動裝置還可包含音頻編碼器，例如，音頻編碼器20。

加固型視頻捕獲裝置可進(jìn)一步被配置以記錄3d聲場。在一些實例中，加固型視頻捕獲裝置可附接到參與活動的用戶的頭盔。舉例來說，加固型視頻捕獲裝置可在用戶泛舟時附接到所述用戶的頭盔。以此方式，所述加固型視頻捕獲裝置可捕獲表示在用戶周圍的動作(例如，水在用戶身后的撞擊、另一泛舟者在所述用戶前方說話等)的3d聲場。

還可關(guān)于可被配置以記錄3d聲場的配件增強(qiáng)型移動裝置執(zhí)行所述技術(shù)。在一些實例中，移動裝置可類似于上文所論述的移動裝置，其中添加了一或多個配件。舉例來說，本征麥克風(fēng)可附接到以上所提到的移動裝置以形成配件增強(qiáng)型移動裝置。以此方式，配件增強(qiáng)型移動裝置可捕獲比僅使用與附件增強(qiáng)型移動裝置成一體的聲音捕獲組件質(zhì)量版本高的3d聲場。

下文進(jìn)一步論述可執(zhí)行本發(fā)明中描述的技術(shù)的各個方面的實例音頻回放裝置。根據(jù)本發(fā)明的一或多個技術(shù)，揚(yáng)聲器和/或聲棒在仍回放3d聲場時可布置于任何任意配置中。此外，在一些實例中，頭戴式耳機(jī)回放裝置可經(jīng)由有線或無線連接耦合到解碼器24。根據(jù)本發(fā)明的一或多個技術(shù)，可利用聲場的單個一般表示來在揚(yáng)聲器、聲棒和頭戴式耳機(jī)回放裝置的任何組合上呈現(xiàn)聲場。

許多不同實例音頻回放環(huán)境也可適合于執(zhí)行本發(fā)明中所描述的技術(shù)的各種方面。舉例來說，以下環(huán)境可為用于執(zhí)行本發(fā)明中所描述的技術(shù)的各種方面的合適環(huán)境：5.1揚(yáng)聲器回放環(huán)境、2.0(例如，立體聲)揚(yáng)聲器回放環(huán)境、具有全高前擴(kuò)音器的9.1揚(yáng)聲器回放環(huán)境、22.2揚(yáng)聲器回放環(huán)境、16.0揚(yáng)聲器回放環(huán)境、汽車揚(yáng)聲器回放環(huán)境和具有耳芽(earbud)回放環(huán)境的移動裝置。

根據(jù)本發(fā)明的一或多個技術(shù)，可利用聲場的單個一般表示來在前述回放環(huán)境中的任一個上呈現(xiàn)聲場。另外，本發(fā)明的技術(shù)使呈現(xiàn)器能夠從一般表示呈現(xiàn)聲場以供在除上文所描述的環(huán)境之外的回放環(huán)境上播放。舉例來說，如果設(shè)計考慮禁止揚(yáng)聲器根據(jù)7.1揚(yáng)聲器回放環(huán)境的恰當(dāng)放置(例如，如果不可能放置右環(huán)繞揚(yáng)聲器)，那么本發(fā)明的技術(shù)使呈現(xiàn)能夠以其它6個揚(yáng)聲器補(bǔ)償，使得可在6.1揚(yáng)聲器回放環(huán)境上達(dá)成回放。

此外，使用者可在佩戴頭戴式耳機(jī)時觀看體育比賽。根據(jù)本發(fā)明的一或多種技術(shù)，可獲取體育比賽的3d聲場(例如，可將一或多個本征麥克風(fēng)放置在棒球場中和/或周圍)，可獲得對應(yīng)于3d聲場的hoa系數(shù)，且將所述hoa系數(shù)發(fā)射到解碼器，所述解碼器可基于hoa系數(shù)重構(gòu)3d聲場且將經(jīng)重構(gòu)3d聲場輸出到呈現(xiàn)器，所述呈現(xiàn)器可獲得關(guān)于回放環(huán)境的類型(例如，頭戴式耳機(jī))的指示，且將經(jīng)重構(gòu)3d聲場呈現(xiàn)為使頭戴式耳機(jī)輸出所述體育比賽的3d聲場的表示的信號。

應(yīng)理解，在以上描述的各種實例中的每一個中，音頻編碼裝置20可執(zhí)行方法或另外包括執(zhí)行所述音頻編碼裝置20被配置以執(zhí)行的方法的每一步驟的裝置。在一些情況下，所述裝置可包括一或多個處理器。在一些情況下，所述一或多個處理器可表示借助于存儲到非暫時性計算機(jī)可讀存儲媒體的指令配置的專用處理器。換句話說，編碼實例的集合中的每一個中的技術(shù)的各種方面可提供其上存儲有指令的非暫時性計算機(jī)可讀存儲媒體，所述指令在執(zhí)行時使一或多個處理器執(zhí)行音頻編碼裝置20已被配置以執(zhí)行的方法。

在一或多個實例中，所描述功能可用硬件、軟件、固件或其任何組合來實施。如果以軟件實施，那么所述功能可作為一或多個指令或代碼在計算機(jī)可讀媒體上存儲或發(fā)射，并且由基于硬件的處理單元執(zhí)行。計算機(jī)可讀媒體可包含計算機(jī)可讀存儲媒體，其對應(yīng)于例如數(shù)據(jù)存儲媒體的有形媒體。數(shù)據(jù)存儲媒體可為可由一或多個計算機(jī)或一或多個處理器存取以檢索用于實施本發(fā)明中描述的技術(shù)的指令、代碼和/或數(shù)據(jù)結(jié)構(gòu)的任何可用媒體。計算機(jī)程序產(chǎn)品可以包含計算機(jī)可讀媒體。

同樣地，在上文所描述的各種實例中的每一個中，應(yīng)理解，音頻解碼裝置24可執(zhí)行方法或另外包括執(zhí)行音頻解碼裝置24被配置以執(zhí)行的方法的每一步驟的裝置。在一些情況下，所述裝置可包括一或多個處理器。在一些情況下，所述一或多個處理器可表示借助于存儲到非暫時性計算機(jī)可讀存儲媒體的指令配置的專用處理器。換句話說，編碼實例的集合中的每一個中的技術(shù)的各種方面可提供其上存儲有指令的非暫時性計算機(jī)可讀存儲媒體，所述指令在執(zhí)行時使所述一或多個處理器執(zhí)行音頻解碼裝置24已被配置以執(zhí)行的方法。

借助于實例而非限制，此類計算機(jī)可讀存儲媒體可包括ram、rom、eeprom、cd-rom或其它光盤存儲裝置、磁盤存儲裝置或其它磁性存儲裝置、快閃存儲器或任何其它可用以存儲呈指令或數(shù)據(jù)結(jié)構(gòu)的形式的所要程序代碼并且可由計算機(jī)存取的媒體。然而，應(yīng)理解，所述計算機(jī)可讀存儲媒體和數(shù)據(jù)存儲媒體并不包含連接、載波、信號或其它暫時性媒體，而是取而代之針對非暫時性的有形存儲媒體。如本文中所使用，磁盤和光盤包含壓縮光盤(cd)、激光光盤、光學(xué)光盤、數(shù)字多功能光盤(dvd)、軟性磁盤和藍(lán)光光盤，其中磁盤通常以磁性方式再現(xiàn)數(shù)據(jù)，而光盤用激光以光學(xué)方式再現(xiàn)數(shù)據(jù)。以上的組合也應(yīng)包含于計算機(jī)可讀媒體的范圍內(nèi)。

指令可以由一或多個處理器執(zhí)行，所述一或多個處理器例如是一或多個數(shù)字信號處理器(dsp)、通用微處理器、專用集成電路(asic)、現(xiàn)場可編程邏輯陣列(fpga)或其它等效的集成或離散邏輯電路。因此，如本文中所使用的術(shù)語“處理器”可指前述結(jié)構(gòu)或適用于實施本文中所描述的技術(shù)的任一其它結(jié)構(gòu)中的任一個。此外，在一些方面，本文中所描述的功能性可在被配置以用于編碼和解碼的專用硬件和/或軟件模塊內(nèi)提供，或并入在組合編解碼器中。并且，所述技術(shù)可完全實施在一或多個電路或邏輯元件中。

本發(fā)明的技術(shù)可在廣泛多種裝置或設(shè)備中實施，包含無線手持機(jī)、集成電路(ic)或ic的集合(例如，芯片組)。本發(fā)明中描述各種組件、模塊或單元以強(qiáng)調(diào)被配置以執(zhí)行所揭示的技術(shù)的裝置的功能方面，但未必需要由不同硬件單元實現(xiàn)。相反地，如上所述，各種單元可以與合適的軟件和/或固件一起在編解碼器硬件單元中組合，或通過包含如上所述的一或多個處理器的互操作硬件單元的集合來提供。

已經(jīng)描述了所述技術(shù)的各種方面。所述技術(shù)的這些和其它方面在所附權(quán)利要求書的范圍內(nèi)。