專利名稱：信號處理的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多聲道音頻源的表示以及雙耳(binaural)音頻編碼聲道。本發(fā)明涉及 一種用于形成組合音頻信號的方法和設(shè)備，以及一種根據(jù)從該組合音頻信號重建兩個或 更多音頻信號的方法和設(shè)備。
背景技術(shù)：
空間音頻場景包括音頻源和圍繞收聽者的環(huán)境。圖1示出了一個示例情形，其 中不同的聲源101、102圍繞著收聽者103或仿真人頭部記錄設(shè)備104a、104b。另外，還 存在由房間效果引起的環(huán)境背景噪聲，即由于音頻源所處的空間的特性而引起的音頻源 的混響。圖像由于來自音頻源的聲音的到達方向以及混響的緣故而被覺察到。人能夠使 用來自左耳和右耳的信號來捕獲三維圖像。從而，使用接近耳鼓膜的麥克風來記錄音頻 圖像足以捕獲空間音頻圖像。對使用兩聲道的空間音頻圖像的有效傳輸和表示可能需要針對音頻內(nèi)容的特定 編碼算法?？臻g信息可能需要被有效地傳送到接收機和在其中對捕獲場景進行渲染的表 示設(shè)備。

發(fā)明內(nèi)容
本發(fā)明的示例實施例提供了一種方法，其中，來自多個源的信號被下混頻成較 少數(shù)量的信號，并且還形成與環(huán)境相關(guān)的信息。下混頻信號能夠被上混頻以形成多個信 號，上混頻形成的多個信號看起來像原始信號的至少一部分并且考慮到了環(huán)境。本發(fā)明的示例實施例的想法是一種考慮到一個或多個環(huán)境分量的雙耳音頻編碼 算法。該算法可選地包括執(zhí)行時間-頻率變換和/或雙耳音頻信號的分析。該算法估計 聲道之間的電平和時間差。這種估計可以使用可選的時間-頻率系數(shù)。該算法還估計針 對下混頻信號的聲道間電平校正增益以便合并環(huán)境信號的貢獻。聲道間電平和時間差以 及關(guān)于一個或多個子帶的環(huán)境電平校正線索信息能夠被發(fā)射和/或存儲。下混頻信號能 夠由編碼器來進行編碼，該編碼器可以是語音/音頻編碼器。在接收端中可以通過如下 步驟來執(zhí)行兩聲道信號重建例如，使用電平校正信息來合成環(huán)境信號分量、用解碼器 來對下混頻信號進行解碼、對下混頻信號進行時間-頻率轉(zhuǎn)換和分析、使用一個或多個 子帶中接收的聲道間電平和時間差來合成多聲道信號，以及通過使用環(huán)境電平校正線索 (cue)將一個或多個子帶中的雙耳信號解相關(guān)來合成環(huán)境分量聲道。根據(jù)本發(fā)明的第一方面提供了一種方法，該方法包括-輸入兩個或更多音頻信號；-分析該音頻信號以形成一組參數(shù)；-組合所述兩個或更多音頻信號中的至少兩個以形成組合音頻信號；該方法的特征在于，該分析包括-確定組合音頻信號的信號電平；
-基于組合音頻信號的信號電平與輸入音頻信號中的至少一個的信號電平之差來 確定校正因子，以降低組合音頻信號的信號電平與輸入音頻信號的信號電平之差。 根據(jù)本發(fā)明的第二方面提供了一種方法，該方法包括-輸入組合音頻信號和一個或多個參數(shù)，該參數(shù)與已經(jīng)從中形成組合音頻信號的 音頻信號相關(guān)；-基于該組合音頻信號和所述一個或多個參數(shù)，合成兩個或更多音頻信號；以 及-使用該參數(shù)組來修改合成的音頻信號以重建該音頻信號的環(huán)境。該方法的特征在于，所述一個或多個參數(shù)包括校正因子，并且該方法包括在所 述合成兩個或更多音頻信號時使用該校正因子。根據(jù)本發(fā)明的第三方面提供了一種設(shè)備，該設(shè)備包括-輸入端，用于輸入兩個或更多音頻信號；-分析器，用于分析該音頻信號以形成一組參數(shù)；-組合器，用于組合所述兩個或更多音頻信號中的至少兩個以形成組合音頻信 號；該設(shè)備的特征在于，該分析器包括_電平確定器，用于確定該組合音頻信號的信號電平；_增益確定器，用于基于組合音頻信號的信號電平與輸入音頻信號中的至少一個 的信號電平之差來確定校正因子，以降低組合音頻信號的信號電平與輸入音頻信號的信 號電平之差。根據(jù)本發(fā)明的第四方面提供了一種設(shè)備，該設(shè)備包括-輸入端，用于輸入組合音頻信號以及一個或多個參數(shù)，該參數(shù)與已經(jīng)從中形成 組合音頻信號的音頻信號相關(guān)；-合成器，用于基于該組合音頻信號和所述一個或多個參數(shù)，合成兩個或更多音 頻信號。該設(shè)備的特征在于，所述一個或多個參數(shù)包括校正因子，并且該設(shè)備包括通過 在所述合成兩個或更多音頻信號時使用該校正因子的校正器。根據(jù)本發(fā)明的第五方面提供了一種計算機程序，該計算機程序包括程序代碼裝 置，當程序在處理器上運行時該程序代碼裝置適合于執(zhí)行下列步驟-輸入兩個或更多音頻信號；-分析該音頻信號以形成一組參數(shù)；-組合所述兩個或更多音頻信號中的至少兩個以形成組合音頻信號；該計算機程序的特征在于，該計算機程序包括程序代碼裝置，該程序代碼裝置 適合于-確定組合音頻信號的信號電平；-基于組合音頻信號的信號電平與輸入音頻信號中的至少一個的信號電平之差來 確定校正因子，以降低組合音頻信號的信號電平與輸入音頻信號的信號電平之差。根據(jù)本發(fā)明的第六方面提供了一種計算機程序，該計算機程序包括程序代碼裝 置，當程序在處理器上運行時該程序代碼裝置適合于執(zhí)行下列步驟
-輸入組合音頻信號以及一個或多個參數(shù)，該參數(shù)與已經(jīng)從中形成組合音頻信號 的音頻信號相關(guān)；-基于該組合音頻信號和所述一個或多個參數(shù)，合成兩個或更多音頻信號； 該計算機程序的特征在于，所述一個或多個參數(shù)包括校正因子，并且該計算機 程序包括程序代碼裝置，該程序代碼裝置適合于在所述合成兩個或更多音頻信號時使用 該校正因子。開發(fā)的概念能夠例如應(yīng)用于遠程監(jiān)控和音頻/視頻會議服務(wù)。本發(fā)明的一些示 例涉及語音和音頻編碼、媒體自適應(yīng)、實時多媒體在分組交換網(wǎng)絡(luò)(例如，IP話音)上的 傳輸，等等。


本發(fā)明的一些示例實施例將在下面參考附圖被更詳細地描述，其中圖1描繪了使用兩個麥克風的空間音頻圖像捕獲的示例，圖2描繪了雙耳和多聲道音頻分析功能的示例，圖3描繪了針對不同子帶和時刻來確定聲道間電平差、聲道間時間差和聲道對 之間的聲道間相干性的示例，圖4描繪了雙耳合成的示例，圖5描繪了多聲道音頻編碼和解碼算法的示例，圖6描繪了根據(jù)本發(fā)明的編碼器的示例實施例的簡化框圖，圖7描繪了根據(jù)本發(fā)明的解碼器的示例實施例的簡化框圖，圖8a描繪了根據(jù)本發(fā)明的編碼方法的示例實施例的簡化流程圖，圖8b描繪了根據(jù)本發(fā)明的分析階段的示例實施例的簡化流程圖，圖9描繪了根據(jù)本發(fā)明的解碼方法的示例實施例的簡化流程圖，圖10描繪了本發(fā)明能夠在其中應(yīng)用的裝置的示例，以及圖11描繪了本發(fā)明能夠在其中應(yīng)用的系統(tǒng)的示例。
具體實施例方式一種用于空間音頻編碼的方法是雙耳線索編碼(BCC)參數(shù)化，其中，例如通過 使用傅里葉變換或正交鏡像濾波器組(QMF)分解，由兩個或更多聲道組成的輸入信號首 先在時間-頻率域中被變換。在變換中，聲道的音頻信號的時間部分被變換到頻域中， 其中，信號的頻域表示包括多個子帶。從而，對于特定的時刻k，音頻信號有多個子帶表
7J\ ο圖2給出了空間音頻編碼的基本思想。音頻場景201在變換域203中被分析 202，并且相應(yīng)的參數(shù)化被發(fā)射到接收機。場景參數(shù)還能夠在對多聲道聲音進行下混頻 204時被用于例如移除聲道之間的時間差。然后，下混頻信號205能夠被轉(zhuǎn)發(fā)，以例如用 于單聲道/立體聲的音頻編碼器。BCC 分析BCC分析由每個變換域時間-頻率(時間_子帶)隙內(nèi)估計的聲道間電平差 (ILD)和聲道間時間差(ITD)參數(shù)組成。另外，每個或一部分聲道對之間的聲道間相干性(IC)可以被確定。這些參數(shù)也可以被稱為BCC線索或聲道間線索。圖3公開了針對多 聲道音頻內(nèi)容的聲道間電平差和聲道間時間差估計的示例。在每個聲道對之間確定聲道 間電平差和聲道間時間差參數(shù)聲道。聲道間相干性一般各個地針對每個聲道進行確定。 在由兩聲道組成的雙耳音頻信號的情況下，BCC線索在被分解的左和右聲道之間確定。
對于每個子帶ALn的聲道間電平差(ILD) —般在對數(shù)域中估計如下
權(quán)利要求
1.一種方法，包括_輸入兩個或更多音頻信號； “分析所述音頻信號以形成一組參數(shù)；“組合所述兩個或更多音頻信號中的至少兩個以形成組合音頻信號； 其特征在于所述分析包括 _確定所述組合音頻信號的信號電平；_基于所述組合音頻信號的信號電平與所述輸入音頻信號中的至少一個的信號電平之 差來確定校正因子，以降低所述組合音頻信號的信號電平與所述輸入音頻信號的信號電 平之差。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于-在所述兩個或更多輸入聲道當中選擇參考聲道；以及 -在確定所述校正因子時使用選擇的參考聲道。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于將所述音頻信號的頻帶劃分成子帶。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于如下計算用于子帶的所述校正因子
5.根據(jù)權(quán)利要求1到4之一所述的方法，其特征在于利用所述校正因子來修改所述組合音頻信號。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于形成一個或多個組合信號，并且每個組合 信號由所述相同的校正因子來修改。
7.根據(jù)權(quán)利要求5所述的方法，其特征在于形成兩個或更多組合信號，對于每個組合 信號，形成下混頻信號特定的校正因子，并且每個組合信號由所述下混頻信號特定的校 正因子來修改。
8.根據(jù)權(quán)利要求6或7所述的方法，其特征在于所述組合信號通過將所述組合信號乘 以所述校正因子來修改。
9.根據(jù)權(quán)利要求1到8之一所述的方法，其特征在于向接收機發(fā)射所述組合音頻信號 和所述校正因子。
10.根據(jù)權(quán)利要求1到9之一所述的方法，其特征在于 -將所述音頻信號從時域轉(zhuǎn)換到變換域；-在所述變換域中形成所述組合音頻信號； -在所述變換域中確定所述校正因子；以及 -將所述組合音頻信號轉(zhuǎn)換到所述時域。
11.一種方法，包括_輸入組合音頻信號以及一個或多個參數(shù)，所述參數(shù)與已經(jīng)從中形成所述組合音頻信 號的所述音頻信號相關(guān)；_基于所述組合音頻信號和所述一個或多個參數(shù)，合成兩個或更多音頻信號； 其特征在于，所述一個或多個參數(shù)包括校正因子，并且所述方法包括在所述合成兩 個或更多音頻信號時使用所述校正因子。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于 _合成每個音頻信號；以及-通過使用所述校正因子來校正每個合成的音頻信號。
13.根據(jù)權(quán)利要求11或12所述的方法，其特征在于所述一個或多個參數(shù)包括環(huán)境電 平信息；以及通過使用所述環(huán)境電平信息對所述兩個或更多音頻信號進行解相關(guān)來合成 環(huán)境分量。
14.根據(jù)權(quán)利要求13所述的方法，其特征在于 -通過使用濾波器來執(zhí)行所述相關(guān)，以及-通過所述環(huán)境電平信息來控制所述濾波器。
15.根據(jù)權(quán)利要求10到14之一所述的方法，其特征在于所述音頻信號的頻帶被劃分 成子帶，所述方法包括-接收用于每個子帶的校正因子，以及-使用所述子帶的所述相關(guān)因子來合成所述音頻信號的每個子帶。
16.根據(jù)權(quán)利要求15所述的方法，其特征在于通過使用下面的等式來執(zhí)行針對每個子 帶的輸出聲道的合成.
17.—種設(shè)備，包括-輸入端，用于輸入兩個或更多音頻信號； -分析器，用于分析所述音頻信號以形成一組參數(shù)；-組合器，用于組合所述兩個或更多音頻信號中的至少兩個以形成組合音頻信號； 其特征在于所述分析器包括_電平確定器，用于確定所述組合音頻信號的信號電平；_增益確定器，用于基于所述組合音頻信號的信號電平與所述輸入音頻信號中的至少 一個的信號電平之差來確定校正因子，以降低所述組合音頻信號的信號電平與所述輸入 音頻信號的信號電平之差。
18.根據(jù)權(quán)利要求17所述的設(shè)備，其特征在于所述設(shè)備包括選擇器，用于在所述兩個 或更多輸入聲道當中選擇參考聲道；以及所述增益確定器被配置成在確定所述校正因子時使用選擇的參考聲道。
19.根據(jù)權(quán)利要求18所述的設(shè)備，其特征在于所述設(shè)備包括劃分器，用于將所述音頻 信號的頻帶劃分成子帶。
20.根據(jù)權(quán)利要求19所述的設(shè)備，其特征在于所述增益確定器被配置成計算用于子帶 的所述校正因子，如下
21.根據(jù)權(quán)利要求17到20之一所述的設(shè)備，其特征在于所述設(shè)備包括乘法器，用于 利用所述校正因子來修改所述組合音頻信號。
22.根據(jù)權(quán)利要求21所述的設(shè)備，其特征在于所述組合器被配置成形成一個或多個組 合信號，并且所述乘法器被配置成通過相同的校正因子來修改每個組合信號。
23.根據(jù)權(quán)利要求21所述的設(shè)備，其特征在于所述組合器被配置用于形成兩個或更多 組合信號，并且為每個組合信號，形成下混頻信號特定的校正因子，并且所述乘法器配 置用于通過所述下混頻信號特定的校正因子來修改每個組合信號。
24.根據(jù)權(quán)利要求21、22或23之一所述的設(shè)備，其特征在于所述組合器被配置成通 過將所述組合信號乘以所述校正因子來修改所述組合信號。
25.根據(jù)權(quán)利要求17到24之一所述的設(shè)備，其特征在于所述設(shè)備包括發(fā)射機，用于 向接收機發(fā)射所述組合音頻信號和所述校正因子。
26.根據(jù)權(quán)利要求17到25之一所述的設(shè)備，其特征在于所述設(shè)備包括轉(zhuǎn)換器，用于 將所述音頻信號從時域轉(zhuǎn)換到變換域；所述組合器被配置用于在所述變換域中形成所述 組合音頻信號；所述增益確定器被配置用于在所述變換域中確定所述校正因子；并且所 述設(shè)備還包括逆轉(zhuǎn)換器，用于將所述組合音頻信號轉(zhuǎn)換到所述時域。
27.—種設(shè)備，包括-輸入端，用于輸入組合音頻信號以及一個或多個參數(shù)，所述參數(shù)與已經(jīng)從中形成所 述組合音頻信號的音頻信號相關(guān)；-合成器，用于基于所述組合音頻信號和所述一個或多個參數(shù)，合成兩個或更多音頻 信號。其特征在于，所述一個或多個參數(shù)包括校正因子，并且所述設(shè)備包括通過在所述合 成兩個或更多音頻信號時使用所述校正因子的校正器。
28.根據(jù)權(quán)利要求27所述的設(shè)備，其特征在于所述合成器被配置用于合成每個音頻信 號；并且所述校正器被配置用于通過使用所述校正因子來校正每個合成的音頻信號。
29.根據(jù)權(quán)利要求27或28所述的設(shè)備，其特征在于所述一個或多個參數(shù)包括環(huán)境電 平信息；并且所述合成器包括用于使用所述環(huán)境電平信息對所述兩個或更多音頻信號進行解相關(guān)的解相關(guān)器。
30.根據(jù)權(quán)利要求29所述的設(shè)備，其特征在于所述相關(guān)器包括濾波器，以及用于通過 所述環(huán)境電平信息來控制所述濾波器的控制輸入端。
31.根據(jù)權(quán)利要求27-30之一所述的設(shè)備，其特征在于所述音頻信號的頻帶被劃分成 子帶，并且所述輸入端被配置成接收用于每個子帶的校正因子，并且所述合成器被配置 用于使用所述子帶的所述相關(guān)因子來合成所述音頻信號的每個子帶。
32.根據(jù)權(quán)利要求31所述的設(shè)備，其特征在于所述合成器被配置成通過使用下列等式 來合成用于每個子帶的輸出聲道，尸賄η
33.一種計算機程序，包括程序代碼裝置，當程序在處理器上運行時所述程序代碼裝 置適合于執(zhí)行下列步驟_輸入兩個或更多音頻信號； -分析所述音頻信號以形成一組參數(shù)；-組合所述兩個或更多音頻信號中的至少兩個以形成組合音頻信號； 其特征在于所述計算機程序包括程序代碼裝置，所述程序代碼裝置適合于 _確定所述組合音頻信號的信號電平；_基于所述組合音頻信號的信號電平與所述輸入音頻信號中的至少一個的信號電平之 差來確定校正因子，以降低所述組合音頻信號的信號電平與所述輸入音頻信號的信號電 平之差。
34.根據(jù)權(quán)利要求33所述的計算機程序，包括當所述程序在處理器上運行時適合于執(zhí) 行所述步驟1到9中的任意一個的程序代碼裝置。
35.一種計算機程序，包括程序代碼裝置，當程序在處理器上運行時所述程序代碼裝 置適合于執(zhí)行下列步驟_輸入組合音頻信號以及一個或多個參數(shù)，所述參數(shù)與從中已經(jīng)形成所述組合音頻信 號的所述音頻信號相關(guān)；_基于所述組合音頻信號和所述一個或多個參數(shù)，合成兩個或更多音頻信號； 其特征在于所述一個或多個參數(shù)包括校正因子，并且所述計算機程序包括適合于在 所述合成兩個或更多音頻信號時使用所述校正因子的程序代碼裝置。
36.根據(jù)權(quán)利要求35所述的計算機程序，包括當所述程序在處理器上運行時適合于執(zhí) 行所述步驟10到16中的任意一個的程序代碼裝置。
全文摘要
本發(fā)明披露了一種用于處理音頻信號的方法和設(shè)備。兩個或更多音頻信號被輸入并分析以形成一組參數(shù)。所述兩個或更多音頻信號中的至少兩個被合并以形成組合音頻信號。在該方法中，基于組合音頻信號的信號電平與輸入音頻信號中的至少一個的信號電平之差，確定組合音頻信號的信號電平和校正因子。校正因子可以用來降低組合音頻信號的信號電平與輸入音頻信號的信號電平之差。本發(fā)明還公開了一種用于合成來自組合音頻信號的音頻信號的方法。該參數(shù)可被用于合成過程中。本發(fā)明還公開了一種計算機程序，包括當該程序在處理器上運行時適合于執(zhí)行音頻信號的處理的程序代碼裝置。
文檔編號G10L19/00GK102027535SQ200880129124
公開日2011年4月20日 申請日期2008年4月11日 優(yōu)先權(quán)日2008年4月11日
發(fā)明者P·奧雅拉 申請人:諾基亞公司