專利名稱：用于產(chǎn)生數(shù)據(jù)流和產(chǎn)生多通道表示的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻信號(hào)處理，更具體地，涉及基于產(chǎn)生原始多通道 信號(hào)的多通道重構(gòu)的多通道處理技術(shù)，多通道重構(gòu)是基于至少一個(gè)基 本通道和/或下混通道和多通道附加信息的。
背景技術(shù)：
正在發(fā)展中的技術(shù)允許通過減少數(shù)據(jù)來更加有效地傳輸音頻信 號(hào)、以及通過擴(kuò)展(如通過使用多通道技術(shù))而增加收聽愉悅度。近
來，已知這種一般傳輸技術(shù)的擴(kuò)展的示例被稱為心理聲學(xué)編碼(BCC) 和"空間音頻編碼"，如在J. Herre, C. Faller, S. Disch, C. Ertel， J. Hilbert， A. Hoelzer, K. Linzmeier， C. Sprenger， P, Kroon: "Spatial Audio Coding: Next Generation Efficient and Compatible Coding of Multi-Channel Audio", 117th AES Convention, San Francisco 2004, Preprint 6186中所 描述的。
以下將對(duì)用于減少多通道音頻信號(hào)傳輸所需的數(shù)據(jù)量的各種技術(shù) 進(jìn)行更加詳細(xì)的討論。
這種技術(shù)被稱為聯(lián)合立體聲技術(shù)。為此，參見示出了聯(lián)合立體聲 設(shè)備60的圖3。例如，該設(shè)備可以是實(shí)現(xiàn)了強(qiáng)度立體聲(IS)技術(shù)或 心理聲學(xué)編碼(BCC)的設(shè)備。這種設(shè)備通常接收至少兩個(gè)通道CHl、 CH2、 ...CHn作為輸入信號(hào)，并輸出單個(gè)載波通道和參數(shù)多通道信息。
定義參數(shù)數(shù)據(jù)，使得可以在解碼器中計(jì)算原始通道(CH1、 CH2.....
CHn)的近似。
通常，載波通道包括子帶采樣、譜系數(shù)、時(shí)域采樣等，這提供了 下層信號(hào)的相對(duì)精細(xì)的表示，而參數(shù)數(shù)據(jù)并不包括任何這種采樣或譜 系數(shù)，而是包括用于控制所確定的重構(gòu)算法的控制參數(shù)，如通過乘法、
時(shí)移、頻移等進(jìn)行加權(quán)。因此，參數(shù)多通道信息包括信號(hào)或有關(guān)通道
的相對(duì)粗略的表達(dá)。以數(shù)字表示，載波通道所需的數(shù)據(jù)量是大約60 到70kbit/s的量，而通道的參數(shù)輔助信息所需的數(shù)據(jù)量在1.5至 2.5kbit/s的范圍內(nèi)。應(yīng)注意，上述數(shù)字應(yīng)用于壓縮數(shù)據(jù)。當(dāng)然，未壓 縮的CD通道需要大約其10倍數(shù)量級(jí)的數(shù)據(jù)速率。參數(shù)數(shù)據(jù)的示例是 已知的縮放因數(shù)、強(qiáng)度立體聲信息或BCC參數(shù)，以下將進(jìn)行描述。
在AES預(yù)訂本3799 "Intensity Stereo Coding", J, Herre, K.H. Brandenburg, D. Lederer， February 1994， Amsterdam中描述了強(qiáng)度立體 聲編碼技術(shù)。通常，強(qiáng)度立體聲的概念是基于要針對(duì)兩個(gè)立體聲音頻 通道的數(shù)據(jù)執(zhí)行的主軸變換的。如果大多數(shù)數(shù)據(jù)點(diǎn)集中在第一主軸的 周圍，則可以通過在編碼前將兩個(gè)信號(hào)旋轉(zhuǎn)預(yù)定角度來獲得編碼增益。 然而，這并不總是應(yīng)用于實(shí)際的立體聲再現(xiàn)技術(shù)。因此，對(duì)該技術(shù)進(jìn) 行修改，在比特流中不傳輸?shù)诙环至俊Ｒ虼?，針?duì)左右通道的重 構(gòu)信號(hào)包括相同傳輸信號(hào)的不同加權(quán)或縮放的版本。然而，重構(gòu)信號(hào) 的振幅不同，但是相位信息相同。然而，通過典型地以頻率選擇方式 操作的選擇性縮放操作，來保持兩個(gè)原始音頻通道的能量-時(shí)間包絡(luò)。 這與高頻聲音的人類感知相對(duì)應(yīng)，而通過能量包絡(luò)來確定主要空間信 息。
此外，在實(shí)際的實(shí)施方式中，根據(jù)左通道和右通道的和信號(hào)、而 不是這兩個(gè)分量的旋轉(zhuǎn)來產(chǎn)生傳輸信號(hào)，即載波通道。此外，以頻率 選擇方式(即對(duì)于每個(gè)縮放因子頻帶，即對(duì)于每個(gè)編碼器頻率部分， 獨(dú)立地)執(zhí)行該處理(即，執(zhí)行縮放操作的強(qiáng)度立體聲參數(shù)的產(chǎn)生)。 優(yōu)選地，將這兩個(gè)通道合并以形成合并或"載波"通道，除了合并通 道之外，還形成強(qiáng)度立體聲信息。強(qiáng)度立體聲信息取決于第一通道的 能量、第二通道的能量或合并通道的能量。
在AES會(huì)議論文5574 "Binaural Cue Coding applied to stereo and multi-channel audio compression", T. Faller， R Baumgarte, May 2002, Munich中描述了BCC技術(shù)。在BCC編碼中，將多個(gè)音頻輸入通道轉(zhuǎn) 換為譜表達(dá)，即使用具有重疊窗的基于DFT的變換。將所產(chǎn)生的頻譜 分為非重疊部分，每個(gè)非重疊部分都具有索引。每個(gè)部分具有與等效 矩形帶寬(ERB)成比例的帶寬。針對(duì)每個(gè)部分和每個(gè)幀k，確定通 道間電平差(ICLD)和通道間時(shí)間差(ICTD)。將ICLD和ICTD量 化并編碼，以最終獲得BCC比特流，作為輔助信息。相對(duì)于參考通道， 給出每個(gè)通道的通道間電平差和通道間時(shí)間差。然后，基于要處理的 信號(hào)的特定部分，根據(jù)預(yù)定公式來計(jì)算參數(shù)。
在解碼器側(cè)，解碼器通常接收單聲道信號(hào)和BCC比特流。將單聲 道信號(hào)變換至頻域并輸入也接收解碼后的ICLD和ICTD值的空間合 成塊。在空間合成塊中，BCC參數(shù)(ICLD和ICTD)用于執(zhí)行單聲道 信號(hào)的加權(quán)操作，以合成多通道信號(hào)，在頻率/時(shí)間轉(zhuǎn)換之后，該多通 道信號(hào)表示原始多通道音頻信號(hào)的重構(gòu)。
在BCC的情況下，聯(lián)合立體聲模塊60操作用于輸出通道輔助信 息，從而參數(shù)通道數(shù)據(jù)是量化并編碼后的ICLD或ICTD參數(shù)，其中， 將原始通道之一用作對(duì)通道輔助信息進(jìn)行編碼的參考通道。
通常，載波信號(hào)由所參與的原始通道之和構(gòu)成。
當(dāng)然，上述技術(shù)僅提供了解碼器的單聲道表示，該解碼器僅能夠 處理載波通道，但不能夠處理參數(shù)數(shù)據(jù)以生成多于一個(gè)輸入通道的一 個(gè)或更多個(gè)近似。
BCC技術(shù)也在美國專利公開US 2003/0219130 Al 、 US 2003/0026441 Al和US 2003/0035553 Al中得到描述。此外，參見專 家公開"Binaural Cue Coding. Part II: Schemes and Applications", T. Faller and F. Baumgarte, IEEE Trans. On Audio and Speech Proc.， vol. 11: no. 6, November 2003 。
以下，將參照?qǐng)D4至6來更加詳細(xì)地呈現(xiàn)用于多通道音頻編碼的 典型BCC方案。
圖5示出了用于多通道音頻信號(hào)的編碼/傳輸?shù)腂CC方案。在所 謂下混塊114中，對(duì)BCC編碼器112的輸入110處的多通道音頻輸入 信號(hào)進(jìn)行下混。在本例中，輸入U(xiǎn)0處的原始多通道信號(hào)是5通道環(huán) 繞信號(hào)，具有左前通道、右前通道、左環(huán)繞通道、右環(huán)繞通道和中心 通道。在本發(fā)明的優(yōu)選實(shí)施例中，下混塊114通過將這五個(gè)通道簡單 相加為單聲道信號(hào)來產(chǎn)生和信號(hào)。 現(xiàn)有技術(shù)中已知其它下混方案，從而使用多通道輸入信號(hào)而獲得 了具有單個(gè)通道的下混通道。
該單個(gè)通道在和信號(hào)線115上輸出。在輔助信息線117上輸出由 BCC分析塊116所獲得的輔助信息。
在BCC分析塊中，如上所述地計(jì)算通道間電平差(ICLD)和通 道間時(shí)間差(ICTD)。近來，BCC分析塊116也能夠計(jì)算通道間相關(guān) 值(ICC值)。將和信號(hào)和輔助信息以量化和編碼后的格式傳輸至BCC 解碼器120。 BCC解碼器將所傳輸?shù)暮托盘?hào)分為多個(gè)子帶，并執(zhí)行縮 放、延時(shí)和其它處理步驟，以提供多通道音頻通道的子帶以進(jìn)行輸出。 執(zhí)行該處理，使得輸出121處的重構(gòu)多通道信號(hào)的ICLD、 ICTD和 ICC參數(shù)(提示)與BCC編碼器112中的輸入110處的原始多通道信 號(hào)的相應(yīng)提示相匹配。為此，BCC解碼器120包括BCC合成塊122 和輔助信息處理塊123。
以下將參照?qǐng)D6來示出BCC合成塊122的內(nèi)部結(jié)構(gòu)。將線115 上的和信號(hào)饋入時(shí)間/頻率轉(zhuǎn)換單元或?yàn)V波器組FB 125。在塊125的 輸出處，存在N個(gè)子帶信號(hào)，或者在極端的情況下，如果音頻濾波器 組125執(zhí)行1:1變換(即從N個(gè)時(shí)域采樣中產(chǎn)生N個(gè)譜系數(shù)的變換)， 則存在譜系數(shù)的塊。
BCC合成塊122還包括延時(shí)級(jí)126、等級(jí)修改級(jí)127、相關(guān)處理 級(jí)128和反向?yàn)V波器組級(jí)IFB 129。在級(jí)129的輸出處，例如，可以 向一組揚(yáng)聲器124輸出在5個(gè)通道環(huán)繞系統(tǒng)的情況下具有5個(gè)通道的 重構(gòu)多通道音頻信號(hào)，如圖5或4所示。
通過元件125，將輸入信號(hào)sn轉(zhuǎn)換到頻域或?yàn)V波器組域。復(fù)制元 件125輸出的信號(hào)，從而獲得如復(fù)制節(jié)點(diǎn)130所示的相同信號(hào)的多個(gè) 版本。原始信號(hào)的版本個(gè)數(shù)等于輸出信號(hào)中的輸出通道的個(gè)數(shù)。然后， 原始信號(hào)的每個(gè)版本在節(jié)點(diǎn)130處經(jīng)過所確定的延時(shí)d,， d2， ...， di，... dN。由圖5中的輔助信息處理塊123來計(jì)算，并根據(jù)如圖5的BCC分 析塊116所計(jì)算得到的通道間時(shí)間差，來推導(dǎo)出延時(shí)參數(shù)。
同樣作用于乘法參數(shù)a,, a2， ...， ai, ...， aN，基于如由BCC分析塊 116所計(jì)算得到的通道間電平差，由輔助信息處理塊123來計(jì)算該乘
法參數(shù)3i, a2， .." a;，…，aNo
由BCC分析塊116所計(jì)算的ICC參數(shù)用于控制塊128的功能， 從而在塊128的輸出處獲得延時(shí)的和等級(jí)受控的信號(hào)之間的確定關(guān) 聯(lián)。應(yīng)注意，級(jí)126、 127、 128的順序可以不同于圖6中所示的順序。
應(yīng)注意，在對(duì)音頻信號(hào)的逐幀處理中，也執(zhí)行逐幀的BCC分析， 即隨時(shí)間可變的BCC分析，并且還獲得了逐頻率的BCC分析，如由 圖6的濾波器組所呈現(xiàn)的。這表示，對(duì)于每個(gè)頻譜帶，獲得了 BCC 參數(shù)。這還表示，在音頻濾波器組126將輸入信號(hào)分為例如32個(gè)帶通 信號(hào)的情況下，BCC分析塊針對(duì)32個(gè)頻帶中的每個(gè)，獲得了一組BCC 參數(shù)。當(dāng)然，圖5的BCC分析塊122 (圖6中更加詳細(xì)地示出了)也 基于作為示例給出的32個(gè)頻帶來執(zhí)行重構(gòu)。
參照?qǐng)D4，下面將呈現(xiàn)用于確定各個(gè)BCC參數(shù)的場(chǎng)景。通常，可 以在通道對(duì)之間定義ICLD、 ICTD和ICC參數(shù)。然而，優(yōu)選在參考 通道和每個(gè)其它通道之間確定ICLD和ICTD參數(shù)。這在圖4A中示出 了。
可以以各種方式來定義ICC參數(shù)。通常，如圖4B所示，可以在 編碼器中在任何通道對(duì)之間確定ICC參數(shù)。
然而，建議一次僅計(jì)算最強(qiáng)的兩個(gè)通道之間的ICC參數(shù)，如圖4C 所示，圖4C示出了如下示例 一次計(jì)算通道1和2之間的ICC參數(shù)， 另一次計(jì)算通道1和5之間的ICC參數(shù)。然后，解碼器合成了解碼器 中最強(qiáng)通道之間的通道間相關(guān)，并使用特定啟發(fā)式規(guī)則來計(jì)算和合成 剩余通道對(duì)的通道間相關(guān)。
例如，關(guān)于基于所傳輸ICLD參數(shù)的乘法參數(shù)ai, ...，aw的計(jì)算， 參考AES會(huì)議論文No.5574。 ICLD參數(shù)表示原始多通道信號(hào)的能量 分布。不失一般性地，如圖4A所示，優(yōu)選采用表示各個(gè)通道和左前 通道之間的能量差的四個(gè)ICLD參數(shù)。在輔助信息處理塊122中，根 據(jù)ICLD參數(shù)推導(dǎo)出乘法參數(shù)ai, aN。從而所有重構(gòu)輸出通道的總 能量相同(或與所傳輸?shù)暮托盘?hào)的能量成比例)。
通常，如從圖5中顯而易見的，在這種特定參數(shù)多通道編碼方案 中，產(chǎn)生至少一個(gè)基本通道和輔助信息。典型地，使用也從圖5中顯 而易見的基于塊的方案，通過塊級(jí)111來對(duì)輸入110處的原始多通道 信號(hào)進(jìn)行塊處理，從而從例如1152個(gè)采樣的塊中形成用于該塊的下混 信號(hào)和/或和信號(hào)和/或至少一個(gè)基本通道，而同時(shí)，通過BCC分析， 為該塊產(chǎn)生相應(yīng)的多通道參數(shù)。在下混通道之后，典型地，再次利用 基于塊的編碼器(如MP3編碼器或AAC編碼器)對(duì)和信號(hào)進(jìn)行編碼， 以獲得進(jìn)一步的數(shù)據(jù)速率降低。同樣，例如通過差編碼、縮放/量化和 熵編碼來對(duì)參數(shù)數(shù)據(jù)進(jìn)行編碼。
然后，在整個(gè)編碼器(包括BCC編碼器112和下游基本通道編碼 器)的輸出處，寫入公共數(shù)據(jù)流，其中，至少一個(gè)基本通道塊在前一 個(gè)至少一個(gè)基本通道塊之后，并且還通過例如比特流多路復(fù)用器而插 入了編碼后的多通道附加信息。
進(jìn)行該插入，從而基本通道數(shù)據(jù)和多通道附加信息的數(shù)據(jù)流總是 包括基本通道數(shù)據(jù)塊，并包括與該塊相關(guān)聯(lián)的多通道附加數(shù)據(jù)塊，然 后，這些塊形成了公共傳輸幀。然后，將該傳輸幀經(jīng)由傳輸路徑發(fā)送 至解碼器。
在輸入側(cè)，解碼器再次包括數(shù)據(jù)流解復(fù)用器，以將數(shù)據(jù)流的幀分 為基本通道數(shù)據(jù)塊和關(guān)聯(lián)的多通道附加信息塊。然后，例如通過MP3 解碼器或AAC解碼器，對(duì)基本數(shù)據(jù)塊進(jìn)行解碼。然后，將解碼后的 基本數(shù)據(jù)的塊與(也進(jìn)行了解碼的)多通道附加信息的塊一起提供給 BCC解碼器102。
這樣，由于基本通道數(shù)據(jù)和附加信息的公共傳輸，自動(dòng)地設(shè)置了 附加信息與基本通道數(shù)據(jù)的時(shí)間關(guān)聯(lián)，并且可由以逐幀方式操作的解 碼器容易地恢復(fù)時(shí)間關(guān)聯(lián)。因此，由于單個(gè)數(shù)據(jù)流中兩個(gè)數(shù)據(jù)類型的 公共傳輸，解碼器自動(dòng)發(fā)現(xiàn)與基本通道數(shù)據(jù)塊相關(guān)聯(lián)的附加信息，從 而實(shí)現(xiàn)高質(zhì)量多通道重構(gòu)。因此，將不會(huì)存在多通道附加信息具有相 對(duì)于基本通道數(shù)據(jù)的時(shí)間偏移量(offset)的問題。然而，如果存在這 種偏移量，則這將會(huì)導(dǎo)致多通道重構(gòu)的明顯質(zhì)量損壞，這是因?yàn)樵谶@ 種情況下，與多通道附加數(shù)據(jù)一起處理基本通道數(shù)據(jù)塊，但是這些多 通道附加數(shù)據(jù)并不屬于基本數(shù)據(jù)塊，而是屬于前一或后一塊。
在沒有寫入公共數(shù)據(jù)流、而是存在具有基本通道數(shù)據(jù)的獨(dú)立數(shù)據(jù)
流并存在與多通道附加信息獨(dú)立的另一數(shù)據(jù)流時(shí)，將出現(xiàn)不再給出多 通道附加數(shù)據(jù)和基本通道數(shù)據(jù)之間的關(guān)聯(lián)這種場(chǎng)景。例如，這種場(chǎng)景 可以出現(xiàn)在順序操作的傳輸系統(tǒng)中，如無線電或因特網(wǎng)中。這里，將 要傳輸?shù)囊纛l節(jié)目分為單獨(dú)發(fā)送或以組合方式發(fā)送的音頻基本數(shù)據(jù) (單聲道或立體聲下混音頻信號(hào))和擴(kuò)展數(shù)據(jù)(多通道附加信息)。即 使發(fā)射機(jī)在時(shí)間上同步地發(fā)出了這兩個(gè)數(shù)據(jù)流，在至接收機(jī)的傳輸路 徑上也會(huì)潛伏有許多"意外"，而這導(dǎo)致了具有多通道附加數(shù)據(jù)的數(shù)據(jù) 流實(shí)質(zhì)上關(guān)于所傳輸?shù)谋忍貍€(gè)數(shù)更加緊湊，例如，比具有基本通道數(shù) 據(jù)的數(shù)據(jù)流更快地傳輸至接收機(jī)。
此外，優(yōu)選使用具有非恒定輸出數(shù)據(jù)速率的編碼器/解碼器來實(shí)現(xiàn) 特別良好的比特效率。這里，不能預(yù)測(cè)基本通道數(shù)據(jù)塊的解碼將會(huì)花 費(fèi)多長時(shí)間。此外，該過程也取決于實(shí)際使用的用于解碼的硬件組件，
因?yàn)樗鼈儽厝粚⒃诶鏟C或數(shù)字接收機(jī)中出現(xiàn)。
此外，還存在系統(tǒng)和/或算法固有的混淆，這是因?yàn)橛绕湓诒忍貛?技術(shù)中，平均地產(chǎn)生恒定輸出數(shù)據(jù)速率，但是通常而言，將特定可良 好編碼的塊所不需要的比特撤出用于例如由于音頻信號(hào)特別短暫而特 別難以進(jìn)行編碼的另一塊的比特庫。
另一方面，將以上所描述的公共數(shù)據(jù)流分為兩個(gè)單獨(dú)的數(shù)據(jù)流具 有特定的優(yōu)點(diǎn)。例如，經(jīng)典接收機(jī)，即例如純單聲道或立體聲接收機(jī)， 能夠在任何時(shí)刻與多通道附加信息的內(nèi)容和版本無關(guān)地接收和再現(xiàn)音 頻基本數(shù)據(jù)。因而劃分為獨(dú)立數(shù)據(jù)流確保了整個(gè)概念的后向兼容性。
相反地，更新一代的接收機(jī)可以評(píng)估這些多通道附加數(shù)據(jù)，并將 它們與音頻基本數(shù)據(jù)組合，從而向用戶提供完全的擴(kuò)展，這里是多通 道聲音。
音頻基本數(shù)據(jù)和擴(kuò)展數(shù)據(jù)的分離傳輸?shù)奶貏e令人感興趣的應(yīng)用場(chǎng) 景存在于數(shù)字無線電中。這里，多通道附加信息通過很小的附加傳輸
努力，幫助將所發(fā)射的立體聲音頻信號(hào)擴(kuò)展為諸如5.1的多通道格式。 這里，節(jié)目提供商在發(fā)射機(jī)側(cè)上產(chǎn)生來自多通道聲源的多通道附加信 息，例如，在DVD音頻/視頻上找到這些多通道聲源。接下來，與照
常發(fā)射的音頻立體聲信號(hào)并行地傳輸該多通道附加信息，然而該音頻
立體聲信號(hào)現(xiàn)在并不簡單的是立體聲信號(hào)，而是包括通過某種下混從 多通道信號(hào)中推導(dǎo)出的兩個(gè)基本通道。然而，對(duì)于收聽者，兩個(gè)基本 通道的立體聲信號(hào)聽起來像通常的立體聲信號(hào)，這是因?yàn)樵诙嗤ǖ婪?析中，最終采取與從多個(gè)音軌中混合得到立體聲信號(hào)的聲音大師
(sound master)所采取的那些步驟相類似的步驟。
分離的極大優(yōu)點(diǎn)在于與已經(jīng)存在的數(shù)字無線電傳輸系統(tǒng)的兼容 性。不能評(píng)估該附加信息的經(jīng)典接收機(jī)將能夠照常接收并再現(xiàn)兩通道 聲音信號(hào)，而不存在定性的限制。然而，除先前接收的立體聲聲音信 號(hào)之外，更新設(shè)計(jì)的接收機(jī)可以評(píng)估該多通道信息，對(duì)它進(jìn)行解碼， 并從中重構(gòu)原始5.1多通道信號(hào)。
為了允許多通道附加信息的同步傳輸以作為對(duì)先前所使用的立體 聲信號(hào)的補(bǔ)充，如前所述，可以將多通道附加信息與數(shù)字無線電系統(tǒng) 的編碼后的下混音頻信號(hào)組合，即，存在單個(gè)數(shù)據(jù)流，之后對(duì)其進(jìn)行 縮放(如果必要)，還可以由現(xiàn)有的接收機(jī)來進(jìn)行讀取，但是忽略關(guān)于 多通道附加信息的附加數(shù)據(jù)。
因而接收機(jī)也僅看到(有效的)音頻數(shù)據(jù)流，如果該接收機(jī)是具 有更新設(shè)計(jì)的接收機(jī)，則還可以通過相應(yīng)的上游數(shù)據(jù)分發(fā)器，再次與 關(guān)聯(lián)音頻數(shù)據(jù)塊同步地從數(shù)據(jù)流中提取多通道聲音附加信息，對(duì)它進(jìn) 行解碼，并作為5.1多通道聲音輸出。
然而，這種方式的缺點(diǎn)在于現(xiàn)有基礎(chǔ)結(jié)構(gòu)和/或現(xiàn)有數(shù)據(jù)路徑的擴(kuò) 展，從而它們可以傳輸由下混信號(hào)和擴(kuò)展構(gòu)成的數(shù)據(jù)信號(hào)，而不僅是 如先前所述的立體聲音頻信號(hào)。所以，如果為立體聲數(shù)據(jù)保留標(biāo)準(zhǔn)傳 輸格式，則可以通過同樣在無線電傳輸中的公共數(shù)據(jù)流來保證同步。
然而，如果必須改變現(xiàn)有的無線電基礎(chǔ)結(jié)構(gòu)，即如果問題并不僅 僅存在于解碼器側(cè)，還存在于無線電發(fā)射機(jī)側(cè)和標(biāo)準(zhǔn)化傳輸協(xié)議中， 則市場(chǎng)方面的突破是個(gè)大問題。因而該概念由于一旦進(jìn)行了標(biāo)準(zhǔn)化和 實(shí)現(xiàn)便要改變系統(tǒng)的問題而非常不利。
另一備選方案是不將多通道附加信息與所使用的音頻編碼系統(tǒng)連 接，因而并不將多通道附加信息插入實(shí)際的音頻數(shù)據(jù)流中。在這種情 況下，通過不同的并行數(shù)字附加通道來進(jìn)行傳輸，然而，該通道不必
必須在時(shí)間上同步。當(dāng)通過工作室中存在的一般音頻分布基礎(chǔ)結(jié)構(gòu)、
以未降低的形式(如AES/EBU數(shù)據(jù)格式的PCM數(shù)據(jù))來傳遞下混數(shù) 據(jù)時(shí)，可能會(huì)出現(xiàn)以上情況。設(shè)計(jì)這些基礎(chǔ)結(jié)構(gòu)以在各種源之間數(shù)字 地分布音頻信號(hào)。為此，通常使用被稱為"橫導(dǎo)軌(cross mil)"的功 能單元?？蛇x地或附加地，由于聲音調(diào)節(jié)和動(dòng)態(tài)壓縮的原因，也以PCM 格式來處理音頻信號(hào)。所有這些步驟導(dǎo)致了從發(fā)射機(jī)到接收機(jī)的路徑 上的不可計(jì)算的延時(shí)。
另一方面，基本通道數(shù)據(jù)和多通道附加信息的分離傳輸尤其是令 人感興趣的，這是因?yàn)椴槐馗淖儸F(xiàn)有的立體聲基礎(chǔ)結(jié)構(gòu)，即，在此并 不適用關(guān)于第一可能性所描述的不符合標(biāo)準(zhǔn)的缺點(diǎn)。無線電系統(tǒng)僅必 須傳輸附加通道，而不必改變對(duì)于已經(jīng)存在的立體聲通道的基礎(chǔ)結(jié)構(gòu)。 因而僅在接收機(jī)側(cè)，以存在后向兼容性的方式，即以具有新接收機(jī)的 用戶獲得比具有舊接收機(jī)的用戶更好的聲音質(zhì)量的方式，來執(zhí)行附加 努力。
如已經(jīng)討論的，不再能夠根據(jù)所接收的音頻信號(hào)和附加信息來確 定時(shí)間偏移量大小的排序。因此，在接收機(jī)中不再保證時(shí)間上正確的 多通道信號(hào)的重構(gòu)和關(guān)聯(lián)。這種延時(shí)問題的另一示例是，在例如數(shù)字 無線電的接收機(jī)中，要將已經(jīng)運(yùn)行的兩通道傳輸系統(tǒng)擴(kuò)展為多通道傳 輸時(shí)的情況。這里，通常是以下情況通過接收機(jī)中已有的兩通道音 頻解碼器來對(duì)下混信號(hào)進(jìn)行解碼，并不知道該解碼器的延時(shí)時(shí)間，因 而不能進(jìn)行補(bǔ)償。在極端的情況下，下混音頻信號(hào)甚至可以通過包含 模擬部分的傳輸鏈(即，在一點(diǎn)進(jìn)行數(shù)/模轉(zhuǎn)換，以及在進(jìn)一步的存儲(chǔ) /傳輸轉(zhuǎn)換之后再次進(jìn)行模/數(shù)轉(zhuǎn)換)，到達(dá)多通道重構(gòu)音頻解碼器。在 無線電傳輸中經(jīng)常出現(xiàn)類似情況。此外，最初并沒有可用的與可以如 何相對(duì)于多通道附加數(shù)據(jù)執(zhí)行下混信號(hào)的適合延時(shí)補(bǔ)償有關(guān)的線索。 此外，如果用于A/D轉(zhuǎn)換的采樣頻率和用于D/A轉(zhuǎn)換的采樣頻率彼此 略有不同，則將會(huì)存在與兩個(gè)采樣速率的相互比率相對(duì)應(yīng)的必要補(bǔ)償 延時(shí)的慢時(shí)間漂移。
為了附加數(shù)據(jù)與基本數(shù)據(jù)的同步，可以使用公知為術(shù)語"時(shí)間同 步方法"的各種技術(shù)。它們基于將時(shí)間戳插入兩個(gè)數(shù)據(jù)流，從而基于
這些時(shí)間戳，可以在接收機(jī)中實(shí)現(xiàn)對(duì)彼此關(guān)聯(lián)的數(shù)據(jù)的正確關(guān)聯(lián)。然 而，時(shí)間戳的插入已經(jīng)導(dǎo)致了通常的立體聲基礎(chǔ)結(jié)構(gòu)的改變。

發(fā)明內(nèi)容
本發(fā)明的目的是提供用于產(chǎn)生數(shù)據(jù)流和/或用于產(chǎn)生多通道表示 的概念，通過該概念，可實(shí)現(xiàn)基本通道數(shù)據(jù)和多通道附加信息的同步。 通過根據(jù)權(quán)利要求l所述的用于產(chǎn)生多通道信息的設(shè)備、根據(jù)權(quán)利
要求17所述的用于產(chǎn)生多通道表示的設(shè)備、根據(jù)權(quán)利要求26所述的用 于產(chǎn)生數(shù)據(jù)流的方法、根據(jù)權(quán)利要求27所述的用于產(chǎn)生多通道表示的 方法、根據(jù)權(quán)利要求28所述的計(jì)算機(jī)程序或根據(jù)權(quán)利要求29所述的數(shù) 據(jù)流表示來實(shí)現(xiàn)該目的。
本發(fā)明基于以下發(fā)現(xiàn)通過在"發(fā)射機(jī)側(cè)"修改多通道數(shù)據(jù)流， 可以實(shí)現(xiàn)基本通道數(shù)據(jù)流和多通道附加信息數(shù)據(jù)流的單獨(dú)傳輸和時(shí)間 同步合并，從而將給出了至少一個(gè)基本通道的事件發(fā)展的指紋信息插 入具有多通道附加信息的數(shù)據(jù)流，從而可以從數(shù)據(jù)流中推導(dǎo)出多通道 附加信息和指紋信息之間的連接。因此，所確定的多通道附加信息屬 于所確定的基本通道信息。還必須在分離的數(shù)據(jù)流傳輸中確保這種關(guān) 聯(lián)。
根據(jù)本發(fā)明，通過根據(jù)使用其標(biāo)記了確切屬于這些基本通道數(shù)據(jù) 的多通道附加信息的基本通道數(shù)據(jù)來確定指紋信息，在發(fā)射機(jī)側(cè)發(fā)信 號(hào)通知多通道附加信息與基本通道數(shù)據(jù)的這種關(guān)聯(lián)。以逐塊數(shù)據(jù)處理 的方式實(shí)現(xiàn)了多通道附加信息與指紋信息之間連接的這種標(biāo)記和/或 信令，其中，通過將所考慮的多通道附加信息塊所屬于的基本通道數(shù) 據(jù)塊的塊指紋與屬于該基本通道數(shù)據(jù)塊的多通道附加信息相關(guān)聯(lián)來進(jìn) 行逐塊數(shù)據(jù)處理。
換言之，在重構(gòu)中必須要與多通道附加信息一起處理的基本通道 數(shù)據(jù)塊的指紋與該多通道附加信息相關(guān)聯(lián)。在基于塊的傳輸中，可以 將基本通道數(shù)據(jù)塊的塊指紋插入多通道附加數(shù)據(jù)流的塊結(jié)構(gòu)中，從而 每塊多通道附加信息包含關(guān)聯(lián)的基本數(shù)據(jù)的塊指紋?？梢栽谙惹八?用的多通道附加信息塊之后，直接寫入塊指紋，或者可以在先前存在
的塊之前寫入塊指紋，或者可以在該塊內(nèi)的任何已知地方寫入塊指紋， 從而在多通道重構(gòu)中，可以為了同步目的而讀出塊指紋。因此，在數(shù) 據(jù)流中存在通常的多通道附加數(shù)據(jù)以及相應(yīng)插入的塊指紋。
可選地，也可以寫入數(shù)據(jù)流，從而例如具有附加信息(如塊計(jì)數(shù) 器)的所有塊指紋位于根據(jù)本發(fā)明所產(chǎn)生的數(shù)據(jù)流的開始處，使得數(shù) 據(jù)流的第一部分僅包含塊指紋，以及數(shù)據(jù)流的第二部分包含逐塊寫入 并與塊指紋信息相關(guān)聯(lián)的多通道附加數(shù)據(jù)。該可選方案具有以下缺點(diǎn) 需要參考信息，然而其中，也可以通過順序來隱含地給出塊指紋與逐 塊寫入的多通道附加信息的關(guān)聯(lián)，從而不需要附加信息。
在這種情況下，為了同步的目的，在多通道重構(gòu)中，可以在最初 簡單地讀入大量塊指紋，以獲得參考指紋信息。逐漸地，添加測(cè)試指 紋，直至存在用于關(guān)聯(lián)的最小個(gè)數(shù)的測(cè)試指紋為止。在該持續(xù)時(shí)間內(nèi)， 如果使用差分來執(zhí)行多通道重構(gòu)中的關(guān)聯(lián)，但在數(shù)據(jù)流中不包括差分 塊指紋，而是包括絕對(duì)塊指紋，則可以已經(jīng)對(duì)參考指紋集進(jìn)行了例如 差分編碼。
通常而言，在接收機(jī)側(cè)對(duì)具有基本通道數(shù)據(jù)的數(shù)據(jù)流進(jìn)行處理， 即例如首先對(duì)它進(jìn)行解碼，然后將它提供給多通道重構(gòu)器。優(yōu)選地， 設(shè)計(jì)該多通道重構(gòu)器，從而當(dāng)沒有獲得任何附加信息來輸出優(yōu)選兩個(gè) 基本通道作為立體聲信號(hào)時(shí)，該多通道重構(gòu)器簡單地執(zhí)行直通開關(guān)。 并行地，進(jìn)行解碼后的基本通道數(shù)據(jù)中的參考指紋信息的提取和測(cè)試 指紋信息的計(jì)算，然后執(zhí)行關(guān)聯(lián)計(jì)算以計(jì)算基本通道數(shù)據(jù)相對(duì)于多通 道附加數(shù)據(jù)的偏移量。依據(jù)實(shí)施方式，可以存在該偏移量實(shí)際上是正 確偏移量的另一相關(guān)計(jì)算的驗(yàn)證。在通過第二相關(guān)獲得的偏移量并沒 有與通過第一相關(guān)計(jì)算獲得的偏移量相差多于預(yù)定閾值時(shí)，該偏移量 實(shí)際上是正確偏移量。
當(dāng)是這種情況時(shí)，可以假設(shè)偏移量是正確的。接下來，在接收到 同步多通道附加信息之后，從立體聲輸出切換至多通道輸出。
當(dāng)假設(shè)用戶沒有注意到同步所需的時(shí)間時(shí)，該過程是優(yōu)選的。因 而在獲得基本通道數(shù)據(jù)的時(shí)刻對(duì)基本通道數(shù)據(jù)進(jìn)行處理，從而當(dāng)然可 以在發(fā)生同步(即發(fā)生偏移量計(jì)算)的時(shí)間段內(nèi)僅輸出立體聲，這是
因?yàn)檫€沒有發(fā)現(xiàn)任何同步多通道附加信息。
在計(jì)算偏移量所需的"初始延時(shí)"不是問題的另一實(shí)施例中，可 以執(zhí)行再現(xiàn)，從而在并未已經(jīng)并行輸出立體聲數(shù)據(jù)的情況下，執(zhí)行整 體同步計(jì)算，以提供從基本通道數(shù)據(jù)的第一塊開始的同步多通道附加 信息。然后，收聽者將具有從第一塊開始的同步5.1體驗(yàn)。
在本發(fā)明的優(yōu)選實(shí)施例中，同步時(shí)間通常約為5秒，這是因?yàn)樾枰?br> 大約200個(gè)參考指紋作為用于最佳偏移量計(jì)算的參考指紋信息。如果大 約5秒的延時(shí)不是問題(如在單向傳輸?shù)那闆r下)，則例如可以從開始 (但是僅在偏移量計(jì)算所需的時(shí)間之后)給出5.1再現(xiàn)。對(duì)于交互式應(yīng) 用，例如在對(duì)話等情況下，不期望該延時(shí)，從而在這種情況下，在完 成再現(xiàn)時(shí)，將使立體聲再現(xiàn)切換至多通道再現(xiàn)。例如，發(fā)現(xiàn)僅提供立 體聲再現(xiàn)比提供具有非同步多通道附加信息的多通道再現(xiàn)要好。
根據(jù)本發(fā)明，通過發(fā)射機(jī)側(cè)的措施和接收機(jī)側(cè)的措施來解決基本 通道數(shù)據(jù)和多通道附加數(shù)據(jù)之間的時(shí)間關(guān)聯(lián)問題。
在發(fā)射機(jī)側(cè)，根據(jù)相應(yīng)的單聲道或立體聲下混音頻信號(hào)來計(jì)算時(shí) 間變量和適合的指紋信息。優(yōu)選地，將該指紋信息作為同步輔助來定 期插入所發(fā)送的多通道附加數(shù)據(jù)流。優(yōu)選地，作為例如逐塊組織的空 間音頻編碼輔助信息的中間的數(shù)據(jù)字段來進(jìn)行插入，或者使得指紋信 號(hào)作為數(shù)據(jù)塊的第一或最后信息而發(fā)送，從而可以容易地添加或去除 指紋信息。
在接收側(cè)，根據(jù)相應(yīng)的立體聲音頻信號(hào)(即，基本通道數(shù)據(jù))來 計(jì)算時(shí)間變量和適合的指紋信息，其中，根據(jù)本發(fā)明，優(yōu)選多個(gè)雙基 本通道。此外，從多通道附加信息中提取指紋。然后通過相關(guān)方法， 例如計(jì)算測(cè)試指紋信息和參考指紋信息之間的互相關(guān)，來計(jì)算多通道 附加信息和所接收的音頻信號(hào)之間的時(shí)間偏移量?？蛇x地，還執(zhí)行試 驗(yàn)和誤差方法，其中，將根據(jù)基于各個(gè)塊光柵(raster)從基本通道數(shù) 據(jù)計(jì)算的各條指紋信息與參考指紋信息進(jìn)行比較，以確定基于其關(guān)聯(lián) 測(cè)試指紋信息與參考指紋信息最佳匹配的測(cè)試塊光柵的時(shí)間偏移量。
最后，通過下游延時(shí)補(bǔ)償級(jí)，具有多通道附加信息的基本通道的 音頻信號(hào)被同步以用于后續(xù)的多通道重構(gòu)。依據(jù)實(shí)施方式，僅對(duì)初始
延時(shí)進(jìn)行補(bǔ)償。然而優(yōu)選地，與再現(xiàn)并行地執(zhí)行偏移量計(jì)算，以使得 能夠按需重新調(diào)整延時(shí)，以及在盡管初始延時(shí)被補(bǔ)償?shù)就ǖ罃?shù)據(jù) 和多通道附加信息在時(shí)間上漂移分開的情況下，基于關(guān)聯(lián)計(jì)算的結(jié)果 來重新調(diào)整延時(shí)。因而也可以主動(dòng)地調(diào)整延時(shí)補(bǔ)償級(jí)。
本發(fā)明的有利之處在于，不必在基本通道數(shù)據(jù)和/或用于基本通道 數(shù)據(jù)的處理路徑中做出改變。饋入接收機(jī)中的基本通道數(shù)據(jù)流與傳統(tǒng) 的基本通道數(shù)據(jù)流沒有任何不同。僅在多通道數(shù)據(jù)流側(cè)做出改變。修 改之處在于插入了指紋信息。但是由于當(dāng)前并沒有用于多通道數(shù)據(jù)流 的標(biāo)準(zhǔn)化方法，所以多通道附加數(shù)據(jù)流的改變并不會(huì)導(dǎo)致不必要地違 背已經(jīng)標(biāo)準(zhǔn)化實(shí)現(xiàn)并建立的解決方案，然而如果修改了基本通道數(shù)據(jù) 流則會(huì)違背已經(jīng)標(biāo)準(zhǔn)化實(shí)現(xiàn)并建立的解決方案。
本發(fā)明的場(chǎng)景提供了多通道附加信息分布的特別靈活性。尤其在 多通道附加信息是參數(shù)信息時(shí)(這相對(duì)于所需數(shù)據(jù)速率和/或存儲(chǔ)容量 非常緊湊)，也可以向數(shù)字接收機(jī)提供與立體聲信號(hào)完全分離的這種數(shù) 據(jù)。例如，對(duì)于出現(xiàn)在庫存中的立體聲記錄(已經(jīng)在固定狀態(tài)播放器 上或者來自獨(dú)立的提供商的CD上，或者將它們存儲(chǔ)在它們的再現(xiàn)設(shè)備 上)，用戶可以獲得多通道附加信息。該存儲(chǔ)并不會(huì)出現(xiàn)任何問題，這 是因?yàn)?，特別是對(duì)于參數(shù)多通道附加信息，存儲(chǔ)器需求并不是非常大。
如果用戶插入CD或選擇了立體聲條目，則可以從多通道附加數(shù)據(jù)存儲(chǔ) 器中獲取相應(yīng)的多通道附加數(shù)據(jù)流，并由于多通道附加數(shù)據(jù)流中的指 紋信息而與立體聲信號(hào)同步，以實(shí)現(xiàn)多通道重構(gòu)。因而本發(fā)明的解決 方案允許將可能來自完全不同的源的多通道附加數(shù)據(jù)與立體聲信號(hào)同 步，而完全與立體聲信號(hào)的類型無關(guān)(即，與它是否來自數(shù)字無線電 接收機(jī)、是否來自CD、是否來自DVD、或是否經(jīng)由因特網(wǎng)而到達(dá)無關(guān))， 然后將立體聲信號(hào)用作基于其來執(zhí)行多通道重構(gòu)的基本通道數(shù)據(jù)。


以下將參照附圖，對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行更加詳細(xì)的解釋， 其中-
圖1示出了用于產(chǎn)生數(shù)據(jù)流的本發(fā)明的設(shè)備的電路框圖2示出了用于產(chǎn)生多通道表示的本發(fā)明的設(shè)備的電路框圖； 圖3示出了用于產(chǎn)生通道數(shù)據(jù)和參數(shù)多通道信息的已知聯(lián)合立體 聲編碼器；
圖4示出了確定用于BCC編碼/解碼的ICLD、 ICTD和ICC參數(shù)
的方案的表示；
圖5示出了 BCC編碼器/解碼器鏈的框圖表示；
圖6示出了圖5的BCC合成塊的實(shí)現(xiàn)的框圖7a以塊序列示出了原始多通道信號(hào)的示意表示；
圖7b以塊序列示出了一個(gè)或更多個(gè)基本通道的示意表示；
圖7c示出了具有多通道信息和關(guān)聯(lián)塊指紋的本發(fā)明數(shù)據(jù)流的示
=si^ * 一-
思農(nóng)W;
圖7d示出了圖7c的數(shù)據(jù)流塊的示例性表示； 圖8示出了根據(jù)優(yōu)選實(shí)施例的產(chǎn)生多通道表示的本發(fā)明設(shè)備的詳 細(xì)表示；
圖9示出了用于示出通過測(cè)試指紋信息與參考指紋信息之間的關(guān)
聯(lián)進(jìn)行偏移量確定的示意表示；
圖IO示出了與數(shù)據(jù)輸出并行的偏移量確定的優(yōu)選實(shí)現(xiàn)的流程圖； 圖11示出了在編碼器和解碼器側(cè)的指紋信息和/或編碼指紋信息
的計(jì)算的示意表示。
具體實(shí)施例方式
圖1示出了用于產(chǎn)生原始多通道信號(hào)的多通道重構(gòu)的數(shù)據(jù)流的設(shè) 備，其中，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，多通道信號(hào)具有至少兩個(gè)通道。 該設(shè)備包括指紋生成器2，可以經(jīng)由輸入線3，將根據(jù)原始多通道信號(hào) 所推導(dǎo)出的至少一個(gè)基本通道提供給所述指紋生成器2?；就ǖ赖?個(gè)數(shù)等于或大于1并小于原始多通道信號(hào)的通道個(gè)數(shù)。如果原始多通 道信號(hào)僅是僅具有兩個(gè)通道的立體聲信號(hào)，則僅根據(jù)兩個(gè)立體聲通道 推導(dǎo)出單個(gè)基本通道。然而，如果原始多通道信號(hào)是具有三個(gè)或更多 個(gè)通道的信號(hào)，則基本通道的個(gè)數(shù)也可以等于2。該實(shí)施方式是優(yōu)選 的，因?yàn)橹罂梢栽跊]有多通道附加數(shù)據(jù)的情況下執(zhí)行音頻再現(xiàn)，作
為通常的立體聲再現(xiàn)。在本發(fā)明的優(yōu)選實(shí)施例中，原始多通道信號(hào)是
具有五個(gè)通道和LFE通道(LFE—氏頻增強(qiáng)，其中，該通道也稱為超 低音揚(yáng)聲器)的環(huán)繞信號(hào)。這五個(gè)通道是左環(huán)繞通道Ls、左通道L、 中心通道C、右通道R、以及后右和/或右環(huán)繞通道Rs。兩個(gè)基本通道 則是左基本通道和右基本通道。專家也將所述一個(gè)和/或更多個(gè)基本通 道稱為下混通道。
指紋生成器2設(shè)計(jì)用于根據(jù)所述至少一個(gè)基本通道而產(chǎn)生指紋信 息，其中，指紋信息給出了所述至少一個(gè)基本通道的時(shí)間進(jìn)程。依據(jù) 所述實(shí)施方式，計(jì)算指紋信息涉及或多或少的努力。例如，可以使用 基于統(tǒng)計(jì)方法、以許多努力計(jì)算出的指紋，該指紋被稱為術(shù)語"音頻 ID"。然而可選地，也可以使用表示一個(gè)或更多個(gè)基本通道的時(shí)間進(jìn) 程的任何其它量。
根據(jù)本發(fā)明，基于塊的處理是優(yōu)選的。這里，指紋信息包括塊指 紋序列，其中，塊指紋是塊中一個(gè)和/或多個(gè)基本通道的能量的測(cè)量。 然而可選地，例如，也可以使用塊的所確定采樣或塊的采樣組合作為 塊指紋，因?yàn)槔米銐蚨嗟膲K指紋作為指紋信息，將會(huì)對(duì)至少一個(gè)基 本通道的時(shí)間特性進(jìn)行再現(xiàn)(盡管是粗略的再現(xiàn))。通常而言，根據(jù)至 少一個(gè)基本通道的采樣數(shù)據(jù)來推導(dǎo)出指紋信息，并且指紋信息給出具
有或多或少大誤差的所述至少一個(gè)基本通道的時(shí)間進(jìn)程，從而如之后 將進(jìn)行討論的，可以在解碼器/接收機(jī)側(cè)執(zhí)行根據(jù)基本通道所計(jì)算的測(cè) 試指紋信息的相關(guān)，以最終確定具有多通道附加信息的數(shù)據(jù)流與基本 通道之間的偏移量。
在輸出側(cè)，指紋生成器2提供指紋信息，該指紋信息被供應(yīng)給數(shù) 據(jù)流生成器4。數(shù)據(jù)流生成器4設(shè)計(jì)用于根據(jù)指紋信息和典型的時(shí)間 可變的多通道附加信息而產(chǎn)生數(shù)據(jù)流，其中，多通道附加信息和所述 至少一個(gè)基本通道允許對(duì)原始多通道信號(hào)的多通道重構(gòu)。數(shù)據(jù)流生成 器設(shè)計(jì)用于在輸出5處產(chǎn)生數(shù)據(jù)流，從而可以根據(jù)數(shù)據(jù)流推導(dǎo)出多通
道附加信息和指紋信息之間的連接。根據(jù)本發(fā)明，因而以根據(jù)所述至 少一個(gè)基本通道所推導(dǎo)出的指紋信息來標(biāo)記多通道附加信息的數(shù)據(jù)
流，從而可以通過指紋信息來確定特定多通道附加信息與基本通道數(shù)據(jù)的關(guān)聯(lián)，其中，由數(shù)據(jù)流生成器4提供該指紋信息與多通道附加信 息的關(guān)聯(lián)。
圖2示出了用于從至少一個(gè)基本通道和包括指紋信息(給出了所
述至少一個(gè)基本通道的時(shí)間進(jìn)程)和多通道附加信息(用于與所述至 少一個(gè)基本通道一起允許對(duì)原始多通道信號(hào)的多通道重構(gòu))的數(shù)據(jù)流
中產(chǎn)生原始多通道信號(hào)的多通道表示的本發(fā)明的設(shè)備，其中，可以根 據(jù)數(shù)據(jù)流推導(dǎo)出多通道附加信息和指紋信息之間的連接。將所述至少
一個(gè)基本通道經(jīng)由輸入10提供給接收機(jī)和/或解碼器側(cè)的指紋生成器 11。在輸出側(cè)，指紋生成器11將測(cè)試指紋信息經(jīng)由輸出12提供給同 步器13。優(yōu)選地，通過同樣在圖1的塊2中執(zhí)行的完全相同的算法， 根據(jù)至少一個(gè)基本通道來推導(dǎo)出測(cè)試指紋信息。然而依據(jù)實(shí)施方式， 算法不必相同。
例如，指紋生成器2可以以絕對(duì)編碼來產(chǎn)生塊指紋，而解碼器側(cè) 的指紋生成器11執(zhí)行差分指紋確定，從而與塊相關(guān)聯(lián)的測(cè)試塊指紋是 兩個(gè)絕對(duì)指紋之差。在這種情況下，即當(dāng)絕對(duì)塊指紋經(jīng)由具有指紋信 息的數(shù)據(jù)流到來時(shí)，指紋提取器14將從數(shù)據(jù)流中提取指紋信息，同時(shí) 形成差分，從而將數(shù)據(jù)作為與測(cè)試指紋信息進(jìn)行比較的參考指紋信息 經(jīng)由輸出15提供給同步器13。
通常而言，優(yōu)選地，用于解碼器側(cè)的測(cè)試指紋信息的計(jì)算算法和 用于編碼器側(cè)的指紋信息(在圖2中，也被稱為參考指紋信息)的計(jì) 算算法至少是相似的，從而同步器13能夠使用這兩條信息，以同步方 式將經(jīng)由輸入16接收的數(shù)據(jù)流中的多通道附加數(shù)據(jù)與所述至少一個(gè) 基本通道上的數(shù)據(jù)相關(guān)聯(lián)。作為同步器輸出處的多通道表示，獲得了 同步后的多通道表示，它包括基本通道數(shù)據(jù)和與之同步的多通道附加 數(shù)據(jù)。
在該方面，優(yōu)選地，同步器13確定基本通道數(shù)據(jù)與多通道附加 數(shù)據(jù)之間的時(shí)間偏移量，然后將多通道附加數(shù)據(jù)延時(shí)該偏移量。已經(jīng) 發(fā)現(xiàn)，多通道附加數(shù)據(jù)通常到達(dá)較早、即過早，這可能是由于與基本 通道數(shù)據(jù)的數(shù)據(jù)量相比的典型與多通道附加數(shù)據(jù)相對(duì)應(yīng)的較小數(shù)據(jù) 量。因此，如果對(duì)多通道附加數(shù)據(jù)進(jìn)行延時(shí)，則將所述至少一個(gè)基本
通道上的數(shù)據(jù)經(jīng)由基本通道數(shù)據(jù)線17，從輸入10提供給同步器13， 該數(shù)據(jù)實(shí)際僅"經(jīng)過"同步器13，并再次在輸出18處輸出。將經(jīng)由 輸入16接收的多通道附加數(shù)據(jù)經(jīng)由多通道附加數(shù)據(jù)線19饋入同步器， 延時(shí)所確定的偏移量，并在同步器的輸出20處與基本通道數(shù)據(jù)一起提 供給多通道重構(gòu)器21,然后該重構(gòu)器執(zhí)行實(shí)際的音頻呈現(xiàn)，以在輸出 側(cè)產(chǎn)生例如五個(gè)音頻通道和超低音揚(yáng)聲器通道(圖2中未示出)。
因此，線18和20上的數(shù)據(jù)構(gòu)成了同步后的多通道表示，其中， 除了在同步器13中或之前可以做出依據(jù)實(shí)施方式而從數(shù)據(jù)流中去除 指紋信息的事實(shí)之外，線20上的數(shù)據(jù)流與輸入16處的數(shù)據(jù)流相對(duì)應(yīng) (除了可能呈現(xiàn)的多通道附加數(shù)據(jù)編碼之外)。可選地，也可以在指紋 提取器14中已經(jīng)進(jìn)行了指紋去除，從而不會(huì)存在線19，而是線19' 直接從指紋提取器9至同步器13。在這種情況下，同步器13因而并 行地由指紋提取器提供多通道附加數(shù)據(jù)和參考指紋信息。
因此，同步器設(shè)計(jì)用于使用測(cè)試指紋信息和參考指紋信息、并使 用多通道信息與從數(shù)據(jù)流中推導(dǎo)出的數(shù)據(jù)流中所包含的指紋信息的連 接，將多通道附加信息與所述至少一個(gè)基本通道進(jìn)行同步。如將在以 下進(jìn)一步解釋的，優(yōu)選地，通過指紋信息是位于多通道附加信息組之 前、多通道附加信息組之后、還是多通道附加信息組內(nèi)，來簡單地確 定多通道附加信息和指紋信息之間的時(shí)間連接。依據(jù)指紋位于多通道 附加信息組之前、之后、還是之內(nèi)，在編碼器側(cè)確定該多通道信息屬 于該指紋信息。
優(yōu)選使用塊處理。此外，優(yōu)選進(jìn)行指紋的插入，以使多通道附加 數(shù)據(jù)塊總是跟隨塊指紋，即多通道附加信息塊與塊指紋交替，反之亦 然。然而可選地，也可能使用將完全的指紋信息寫入數(shù)據(jù)流的開始處 的獨(dú)立部分的數(shù)據(jù)流格式，獨(dú)立部分之后跟隨完整的數(shù)據(jù)流。在這種 情況下，塊指紋和多通道附加信息塊將不會(huì)交替。將指紋與多通道附 加信息的關(guān)聯(lián)的可選方式是本領(lǐng)域技術(shù)人員已知的。根據(jù)本發(fā)明，僅 需要在解碼器側(cè)根據(jù)數(shù)據(jù)流推導(dǎo)出多通道附加信息與指紋信息之間的 連接，從而可以使用指紋信息將多通道附加信息與基本通道數(shù)據(jù)同步。
接下來，相對(duì)于圖7a至7d來示出逐塊處理的優(yōu)選實(shí)施方式。圖
7a示出了原始的多通道信號(hào)，例如5.1信號(hào)，該信號(hào)包括塊B1至B8 序列，其中，在圖7a示出的示例的塊中包含多通道信息MKi。當(dāng)假 設(shè)5通道信號(hào)時(shí)，每個(gè)塊(如塊Bl)包含例如每個(gè)單獨(dú)通道的前1152 個(gè)音頻釆樣。例如，在圖5的BCC編碼器112中，優(yōu)選這種塊大小， 其中，通過圖5中稱為"塊"的元件111來實(shí)現(xiàn)塊形成(即加窗)，以 從連續(xù)信號(hào)中獲得塊序列。
將所述至少一個(gè)基本通道應(yīng)用于圖5中稱為"和信號(hào)"的下混塊 114的輸出，和信號(hào)具有參考數(shù)字115。基本通道數(shù)據(jù)可以再次表示為 塊B1至B8序列，其中，圖7b的塊Bl至B8與圖7a中的塊Bl至 B8相對(duì)應(yīng)。然而，現(xiàn)在塊不再包含原始的5.1信號(hào)(如果保持時(shí)域表 示)，而僅包含單聲道信號(hào)或具有兩個(gè)立體聲基本通道的立體聲信號(hào)。 因此，塊Bl再次包括第一立體聲基本通道和第二立體聲基本通道的 1152個(gè)時(shí)間采樣，其中，通過逐采樣的加/減和加權(quán)(如果可應(yīng)用)、 即通過例如在圖5的下混塊114中所執(zhí)行的運(yùn)算，來計(jì)算左立體聲基 本通道和右立體聲基本通道的這1152個(gè)采樣中的每一個(gè)。相應(yīng)地，具 有多通道信息的數(shù)據(jù)流再次包括塊Bl至B8，其中，圖7c中的每個(gè) 塊與圖7a中的原始多通道信號(hào)和/或圖7b的一個(gè)或更多個(gè)基本通道的 相應(yīng)塊相對(duì)應(yīng)。為了實(shí)現(xiàn)例如原始多通道信號(hào)MK1的塊B1的重構(gòu)， 被稱為BK1的基本通道數(shù)據(jù)流的塊B1中的基本通道數(shù)據(jù)必須與圖7c 中的塊B1的多通道信息P1組合。在圖6示出的實(shí)施例中，通過BCC 合成塊來執(zhí)行該組合，為了獲得對(duì)基本通道數(shù)據(jù)的逐塊處理，BCC合 成塊再次在其輸入處包括塊形成級(jí)。
如圖7c所示，P3指示多通道信息，它與基本通道的值BK3的塊 一起允許對(duì)原始多通道信號(hào)的值MK3的塊的重構(gòu)進(jìn)行重構(gòu)。
根據(jù)本發(fā)明，現(xiàn)在，圖7c的數(shù)據(jù)流的每個(gè)塊Bi都具有塊指紋。 對(duì)于塊B3，這表示優(yōu)選在多通道信息塊P3之后寫入塊指紋F3?，F(xiàn)在， 根據(jù)值BK3的塊的塊B3來確切地推導(dǎo)出該塊指紋。可選地，塊指紋 F3也可以經(jīng)歷差分編碼，從而塊指紋F3等于基本通道的塊BK3的塊 指紋與基本通道的值BK2的塊的塊指紋之差。在本發(fā)明的優(yōu)選實(shí)施例 中，將能量測(cè)量和/或差分能量測(cè)量用作塊指紋。在開始所描述的場(chǎng)景中，將具有圖7b中一個(gè)或更多個(gè)基本通道 的數(shù)據(jù)流與圖7c的具有多通道信息和指紋信息的數(shù)據(jù)流分離地傳輸
至多通道重構(gòu)器。如果不采取別的行動(dòng)，則可能出現(xiàn)以下情況在多
通道重構(gòu)器處，例如在圖5的BCC合成塊122處，下一個(gè)要處理的是 塊BK5。然而，由于一些時(shí)間模糊，還可能是以下情況在多通道信 息中，塊BK7是下一個(gè)而不是塊BK5。沒有進(jìn)一步的措施，因而利 用多通道信息P7來進(jìn)行基本通道數(shù)據(jù)BK5的塊的重構(gòu)，而這將導(dǎo)致 偽像(artifact)。根據(jù)本發(fā)明，如將在以下進(jìn)一步解釋的，現(xiàn)在計(jì)算兩 塊的偏移量，從而將圖7c中的數(shù)據(jù)流延時(shí)兩塊，從而存在根據(jù)圖7b 的數(shù)據(jù)流和圖7c的數(shù)據(jù)流的多通道表示，然而，它們現(xiàn)在已經(jīng)彼此同 步。
依據(jù)實(shí)施方式和指紋信息的設(shè)計(jì)/精度，本發(fā)明的偏移量確定并不 限于作為整數(shù)多個(gè)塊來計(jì)算偏移量，而是在足夠精確的相關(guān)計(jì)算和使 用足夠多的數(shù)量的塊指紋(當(dāng)然以相關(guān)計(jì)算的時(shí)間為代價(jià))的情況下， 也可以實(shí)現(xiàn)等于塊的一部分并可以到達(dá)一個(gè)采樣的偏移量精度。然而 發(fā)現(xiàn)這種高精度并不是必需的，而發(fā)現(xiàn)+/-半塊(對(duì)于1152個(gè)采樣的 塊長度而言)的同步精度已經(jīng)導(dǎo)致了收聽者認(rèn)為沒有偽像的多通道重 構(gòu)。
圖7d示出了塊Bi (例如，圖7c中數(shù)據(jù)流的塊B3)的優(yōu)選實(shí)施 例。塊以同步字開始，例如，同步字具有一字節(jié)的長度。接下來是一 些長度信息，這是因?yàn)槿绫绢I(lǐng)域已知的，優(yōu)選在多通道信息P3的計(jì) 算之后，對(duì)多通道信息P3進(jìn)行縮放、量化和熵編碼，從而從開始并 未獲知多通道信息的長度(例如，該多通道信息的長度可以是參數(shù)信 息，但是也可以是波形信號(hào)，例如輔助通道的波形信號(hào))，因而必須在 數(shù)據(jù)流中進(jìn)行發(fā)信號(hào)通知。然后，在多通道信息P3的結(jié)尾處插入本 發(fā)明的塊指紋。在圖7d中所示的實(shí)施例中，塊指紋占用了一個(gè)字節(jié)， 即八個(gè)比特。由于每塊采取單個(gè)能量測(cè)量，所以在僅有量化而沒有使 用熵編碼的實(shí)施例中，在量化中使用量化器輸出寬度為八比特的量化 器。因而將量化后的能量值輸入圖7d的8比特字段"塊FA"，而不進(jìn) 行進(jìn)一步的處理。接下來，盡管沒有在圖7d中示出，但是還存在用于
數(shù)據(jù)流的下一塊的同步字節(jié)，該同步字節(jié)同樣后面跟隨長度字節(jié)，長
度字節(jié)后面跟隨BK4的多通道信息P4，其中，基本通道數(shù)據(jù)塊BK4 的多通道信息P4的該塊同樣后面跟隨基于基本通道數(shù)據(jù)BK4的塊指 紋。
如圖7d所示，可以將絕對(duì)能量測(cè)量或差分能量測(cè)量引入作為能 量測(cè)量。在該情況下，將把基本通道數(shù)據(jù)BK3的能量測(cè)量和基本通道 數(shù)據(jù)BK2的能量測(cè)量之差添加至數(shù)據(jù)流的塊B3，作為塊指紋。
圖8示出了圖2的同步器、指紋生成器11和指紋提取器9與多 通道重構(gòu)器21合作的詳細(xì)表示。將基本通道數(shù)據(jù)饋入基本通道數(shù)據(jù)緩 沖器25，并進(jìn)行立即緩沖。相應(yīng)地，將附加信息和/或具有附加信息 和指紋信息的數(shù)據(jù)流提供給附加信息緩沖器26。通常而言，以FIFO 緩沖器的形式來構(gòu)造這兩個(gè)緩沖器，然而其中，緩沖器26具有其它能 力可以通過參考指紋提取器9來提取指紋信息，并將該指紋信息迸 一步從數(shù)據(jù)流中去除，這使得可以在緩沖器輸出線27上僅輸出多通道 附加信息，而不沒有插入的指紋。然而，也可以通過時(shí)間移位器28 或任何其它元件來執(zhí)行數(shù)據(jù)流中指紋的去除，從而在多通道重構(gòu)中， 多通道重構(gòu)器21不會(huì)被指紋字節(jié)所干擾。如果在參考側(cè)和測(cè)試側(cè)均使 用了絕對(duì)指紋，則指紋生成器11所計(jì)算的指紋信息可以直接饋入圖2 的同步器13內(nèi)的相關(guān)器29，如由指紋提取器9所確定的指紋信息。 然后，相關(guān)器計(jì)算偏移量值，并經(jīng)由偏移量線30將該偏移量值提供給 時(shí)間移位器28。進(jìn)一步設(shè)計(jì)同步器13，以在產(chǎn)生了有效偏移量值并將 其提供給時(shí)間移位器28時(shí)驅(qū)動(dòng)使能器31 ，從而使能器31閉合開關(guān)32， 將來自緩沖器26的多通道附加數(shù)據(jù)流經(jīng)由時(shí)間移位器28和開關(guān)32 來饋入多通道重構(gòu)器21。
在本發(fā)明的優(yōu)選實(shí)施例中，僅進(jìn)行多通道附加信息的時(shí)間移位 (延時(shí))。同時(shí)，與正確偏移量值的計(jì)算并行地執(zhí)行了多通道重構(gòu)，因 此多通道重構(gòu)器21的輸出的收聽者并不會(huì)注意到用于正確的偏移量 值的計(jì)算的時(shí)間延時(shí)。然而，該多通道重構(gòu)僅是"微不足道的(trivial)" 多通道重構(gòu)，這是因?yàn)閮?yōu)選由多通道重構(gòu)器21簡單地輸出兩個(gè)立體聲 基本通道。因此，如果開關(guān)32打開，則僅有一個(gè)立體聲輸出。然而， 如果開關(guān)32閉合，則多通道重構(gòu)器21除了立體聲基本通道之外，也 接收多通道附加信息，并可以執(zhí)行現(xiàn)在已經(jīng)同步了的多通道輸出。收 聽者將僅注意到立體聲質(zhì)量被切換至多通道質(zhì)量這一點(diǎn)。
然而，在最初時(shí)間延時(shí)并不是主要問題的應(yīng)用的情況下，可以保 持多通道重構(gòu)器21的輸出，直至存在有效偏移量。然后可以將第一塊 (圖7b的BKl)與現(xiàn)在正確延時(shí)的多通道附加數(shù)據(jù)P1 (圖7c) —起 提供給多通道重構(gòu)器21，從而僅在存在多通道數(shù)據(jù)時(shí)開始輸出。在該 實(shí)施例中，在幵關(guān)打開的情況下，將沒有多通道重構(gòu)器21的輸出。
接下來，將相對(duì)于圖9來示出圖8的相關(guān)器29的功能。在測(cè)試 指紋計(jì)算器11的輸出處，如在圖9的最上面的子圖像中看到的，提供 了測(cè)試指紋信息序列。因此，對(duì)于每塊基本通道，存在塊指紋，其中， 將該塊指定為1、 2、 3、 4、 i。依據(jù)相關(guān)算法，對(duì)于相關(guān)來說僅需要 離散值序列。然而，其它相關(guān)算法也可以獲得在離散值之間進(jìn)行內(nèi)插 的曲線，作為輸入值，如圖9所示出的。相應(yīng)地，參考指紋確定器9 也產(chǎn)生了從數(shù)據(jù)流中提取出的離散參考指紋序列。例如，如果差分編 碼后的指紋信息被包含在數(shù)據(jù)流中，以及如果相關(guān)器要基于絕對(duì)指紋 來進(jìn)行操作，則激活圖8中的差分解碼器35。然而，優(yōu)選地，在數(shù)據(jù) 流中包含絕對(duì)指紋，作為能量測(cè)量，這是因?yàn)槎嗤ǖ乐貥?gòu)器21可以有 利地使用與每塊的總能量有關(guān)的該信息以用于電平修正目的。此外， 優(yōu)選執(zhí)行基于差分指紋的相關(guān)。在這種情況下，塊9將會(huì)在相關(guān)器之 前執(zhí)行差分處理，并且塊11也將在相關(guān)器之前執(zhí)行差分處理，如已經(jīng) 討論的。
相關(guān)器29現(xiàn)在將獲得在圖9的兩個(gè)上面的子圖像中示出的離散 值曲線和/或序列，并提供了在圖9的下面的子圖像中示出的相關(guān)結(jié) 果。該結(jié)果是相關(guān)結(jié)果，其偏移量分量確切地提供了兩個(gè)指紋信息曲 線之間的偏移量。此外，由于偏移量是正的，所以多通道附加信息必 須沿正時(shí)間方向移位，即必須進(jìn)行延時(shí)。當(dāng)然，要注意，只要多通道 重構(gòu)器在其兩個(gè)輸入處包含同步多通道表示，基本通道數(shù)據(jù)也可以沿 負(fù)時(shí)間方向移位，或者可以多通道附加信息沿正方向移位一些部分、 并且基本通道附加數(shù)據(jù)沿負(fù)時(shí)間方向移位偏移量的一些部分。
接下來，將相對(duì)于圖10來示出與音頻輸出并行的偏移量計(jì)算的 優(yōu)選實(shí)施例。對(duì)基本通道數(shù)據(jù)進(jìn)行緩沖，以能夠總是計(jì)算一個(gè)指紋， 僅針對(duì)其塊進(jìn)行計(jì)算，將測(cè)試塊指紋提供給多通道重構(gòu)器以用于多通
道重構(gòu)。接下來，再次將基本通道數(shù)據(jù)的下一塊饋入緩沖器25，從而 可再次根據(jù)該塊來計(jì)算測(cè)試塊指紋。例如，對(duì)于200個(gè)塊來執(zhí)行該處 理。然而，在"微不足道的"多通道重構(gòu)的情況下，多通道重構(gòu)器簡 單地輸出這200個(gè)塊，作為立體聲輸出數(shù)據(jù)，從而收聽者將不會(huì)注意 到任何延時(shí)。
依據(jù)實(shí)施方式，也可以使用少于或多于200個(gè)的塊。根據(jù)本發(fā)明， 發(fā)現(xiàn)在100和300塊之間的個(gè)數(shù)、優(yōu)選為200的塊產(chǎn)生提供了計(jì)算時(shí) 間、相關(guān)計(jì)算努力和偏移量精度之間的合理折衷的結(jié)果。
當(dāng)對(duì)塊36進(jìn)行處理時(shí)，該過程進(jìn)行至塊37，其中，通過相關(guān)器 29來執(zhí)行200個(gè)所計(jì)算的測(cè)試塊指紋和200個(gè)所計(jì)算的參考?jí)K指紋之 間的相關(guān)。現(xiàn)在存儲(chǔ)所獲得的偏移量結(jié)果。然后，在與塊36相對(duì)應(yīng)的 塊38中計(jì)算基本通道數(shù)據(jù)的例如下一 200塊。相應(yīng)地，再次從具有多 通道附加信息的數(shù)據(jù)流中提取200個(gè)塊。接下來，再次執(zhí)行塊39中的 相關(guān)，以及存儲(chǔ)所獲得的偏移量結(jié)果。然后，在塊40中確定基于第二 200個(gè)塊的偏移量結(jié)果和基于第一200個(gè)塊的偏移量結(jié)果之間的偏差。 如果該偏差低于預(yù)定閾值，則塊41通過偏移量線30將偏移量提供給 圖8的時(shí)間移位器28，并閉合幵關(guān)42，從而存在從此刻起至多通道輸 出的切換。例如，偏差閾值的預(yù)定值是一個(gè)或兩個(gè)塊的值。這是基于 以下事實(shí)的當(dāng)在一個(gè)計(jì)算和另一個(gè)計(jì)算之間，偏移量并沒有改變多 于一個(gè)或兩個(gè)塊時(shí)，在相關(guān)計(jì)算中沒有執(zhí)行誤差。
不同于該實(shí)施例，也可以使用具有多個(gè)塊(例如200個(gè)塊)的窗 長的滑動(dòng)窗。例如，以200個(gè)塊進(jìn)行計(jì)算，并獲得結(jié)果。然后，該過 程前進(jìn)一個(gè)塊，并且在用于相關(guān)計(jì)算的多個(gè)塊中撤回一個(gè)塊，并作為 替代使用新塊。然后，如先前所獲得的結(jié)果一樣，將所獲得的結(jié)果存 儲(chǔ)在直方圖中。對(duì)于多個(gè)相關(guān)計(jì)算(如100或200)來進(jìn)行該過程， 從而逐漸地填充直方圖。然后將直方圖的峰值用作所計(jì)算的偏移量， 以提供最初的偏移量或獲得用于動(dòng)態(tài)重新調(diào)整的偏移量。
與輸出并行發(fā)生的偏移量計(jì)算將在塊42中分離，如果必要，當(dāng) 發(fā)現(xiàn)具有多通道信息的數(shù)據(jù)流與具有基本通道數(shù)據(jù)的數(shù)據(jù)流有一些漂 移時(shí)，通過經(jīng)由線30向圖8的時(shí)間移位器28提供更新后的偏移量值， 來獲得自適應(yīng)和/或動(dòng)態(tài)的偏移量跟蹤。對(duì)于自適應(yīng)跟蹤，應(yīng)注意，依 據(jù)實(shí)施方式，也可以執(zhí)行偏移量的平滑改變，從而當(dāng)例如發(fā)現(xiàn)了兩個(gè) 塊的偏差時(shí)，首先將偏移量遞增1，然后如果必要，再次遞增，使得 跳躍不會(huì)過大。
接下來，關(guān)于圖11示出了如圖1所示的編碼器側(cè)的指紋生成器2 的優(yōu)選實(shí)施例和用在解碼器側(cè)的圖2的指紋生成器11的優(yōu)選實(shí)施例。
通常，將多通道音頻信號(hào)分為固定大小的塊，以用于獲取多通道 附加數(shù)據(jù)?，F(xiàn)在，同步地計(jì)算每塊的指紋，以獲取多通道附加數(shù)據(jù)， 該多通道附加數(shù)據(jù)適于盡可能唯一地特征化信號(hào)的時(shí)間結(jié)構(gòu)。在這點(diǎn) 上的實(shí)施例是使用音頻塊的當(dāng)前下混音頻信號(hào)的能量內(nèi)容，例如以對(duì) 數(shù)形式，即以分貝相關(guān)表示。在這種情況下，指紋是音頻信號(hào)的時(shí)間 包絡(luò)的測(cè)量。為了減小所傳輸?shù)男畔⒘亢驮黾訙y(cè)量值的精度，也可以 將該同步信息表示為前一塊能量值之差，該塊在后續(xù)進(jìn)行了適合的熵 編碼(例如，霍夫曼編碼)、自適應(yīng)縮放和量化。時(shí)間包絡(luò)的指紋計(jì)算 如下
首先，如圖11中的點(diǎn)1處所示，執(zhí)行可能用于立體聲信號(hào)的當(dāng) 前塊中的下混音頻信號(hào)的能量計(jì)算。這里，例如，將左和右下混通道 二者的1152個(gè)音頻采樣的每個(gè)進(jìn)行平方和相加。s^t(i)表示左基本通 道的時(shí)間i處的時(shí)間采樣，而S^ht(i)表示時(shí)間i處的右基本通道的時(shí)間 采樣。在單聲道下混信號(hào)中，省略求和。此外，優(yōu)選地，去除下混音 頻信號(hào)的直流分量，該直流分量在計(jì)算之前對(duì)于本發(fā)明并沒有意義。
在步驟2中，為了后續(xù)的對(duì)數(shù)表示而執(zhí)行對(duì)能量的最小限制。為 了進(jìn)行能量的分貝相關(guān)評(píng)估，優(yōu)選使用最小能量偏移量，從而在零能 量的情況下存在合理的對(duì)數(shù)計(jì)算。在16比特的音頻信號(hào)分辨率中，以 dB為單位的該能量測(cè)量編號(hào)是0到90 (dB)的數(shù)值范圍。
如圖11中的3處所示，優(yōu)選不使用絕對(duì)能量包絡(luò)值來確切確定 多通道附加信息和所接收的音頻信號(hào)之間的時(shí)間偏移量，而是使用信 號(hào)包絡(luò)的斜率(陡度)。因此，僅將能量范圍的斜率用于相關(guān)測(cè)量。從 技術(shù)上講，通過與先前塊能量值的能量值的差分形成來計(jì)算該信號(hào)推 導(dǎo)。例如，在編碼器中執(zhí)行該步驟。然后，指紋包括差分編碼的值。 可選地，也可以僅在解碼器側(cè)實(shí)現(xiàn)該步驟。這里，因而所傳輸?shù)闹讣y 包括非差分編碼值。這里，僅在解碼器中進(jìn)行差分形成。后者的可能 性具有以下優(yōu)點(diǎn)指紋包含與下混信號(hào)的絕對(duì)能量有關(guān)的信息。然而， 典型地，需要稍長的指紋字長度。
此外，優(yōu)選對(duì)能量(信號(hào)包絡(luò))進(jìn)行縮放以用于最佳控制。引入 附加縮放(=增益)是有用的，從而在對(duì)該指紋的后續(xù)量化中，可以 最大化地使用數(shù)值范圍并可以提高低能量值的分辨率。這可以以固定 且穩(wěn)定的加權(quán)量來實(shí)現(xiàn)、或經(jīng)由適于包絡(luò)信號(hào)的動(dòng)態(tài)增益調(diào)整來實(shí)現(xiàn)。
此外，如圖11中的5處所示，進(jìn)行指紋的量化。為了準(zhǔn)備將該 指紋插入多通道附加信息中，將該指紋量化為8比特。實(shí)踐中，這種 降低了的指紋分辨率被證實(shí)為關(guān)于比特需求和延時(shí)檢測(cè)可靠性的良好
折衷。通過特征飽和曲線，將大于255的數(shù)字溢出限制于最大值255。 如圖11中的6處所示，然后可以進(jìn)行對(duì)指紋的最佳熵編碼。通 過對(duì)指紋的統(tǒng)計(jì)特性進(jìn)行評(píng)估，可以進(jìn)一步減小對(duì)量化后指紋的比特 需求。例如，適合的熵方法是霍夫曼編碼或算術(shù)編碼?？梢酝ㄟ^不同 的代碼長度來表示指紋值的統(tǒng)計(jì)上不同的頻率，因而可以降低對(duì)指紋 表示的平均比特需求。
在多通道音頻數(shù)據(jù)的幫助下，執(zhí)行每個(gè)音頻塊的多通道附加數(shù)據(jù) 的計(jì)算。接下來，利用通過適合地嵌入比特流來添加的同步信息，對(duì) 在過程中計(jì)算的多通道附加信息進(jìn)行擴(kuò)展。
在本發(fā)明的解決方案的幫助下，現(xiàn)在接收機(jī)能夠檢測(cè)下混信號(hào)和 附加數(shù)據(jù)的時(shí)間偏移量，并以+/- V^音頻塊的量級(jí)來實(shí)現(xiàn)時(shí)間修正自適 應(yīng)，即立體聲音頻信號(hào)和多通道附加信息之間的延時(shí)補(bǔ)償。因此，可
以幾乎完全地(即除了幾乎不可預(yù)期的+/-1/2音頻幀的時(shí)間差之外，這 對(duì)于重構(gòu)后的多通道音頻信號(hào)的質(zhì)量來說是不值一提的)重構(gòu)接收機(jī) 中的多通道關(guān)聯(lián)。
依據(jù)環(huán)境，可以在硬件或軟件中實(shí)現(xiàn)用于產(chǎn)生和/或解碼的本發(fā)明
的方法?？梢栽跀?shù)字存儲(chǔ)介質(zhì)(具體地，具有可以電讀取的控制信號(hào)
的軟盤或CD)上實(shí)現(xiàn)，數(shù)字存儲(chǔ)介質(zhì)與可編程計(jì)算機(jī)系統(tǒng)協(xié)作以使
得執(zhí)行本方法。通常，本發(fā)明也包括計(jì)算機(jī)程序產(chǎn)品，具有存儲(chǔ)在機(jī) 器可讀載體上的、用于在計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)來執(zhí)行該 方法的程序代碼。換言之，因而本發(fā)明可以被實(shí)現(xiàn)為具有程序代碼的 計(jì)算機(jī)程序，在計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，該程序代碼用于執(zhí)行
該方法。
權(quán)利要求
1、一種用于為原始多通道信號(hào)的多通道重構(gòu)而產(chǎn)生數(shù)據(jù)流的設(shè)備，其中，所述多通道信號(hào)具有至少兩個(gè)通道，所述設(shè)備包括指紋生成器(2)，用于根據(jù)從所述原始多通道信號(hào)推導(dǎo)出的至少一個(gè)基本通道來產(chǎn)生指紋信息，其中，基本通道的個(gè)數(shù)等于或大于1并小于原始多通道信號(hào)的通道個(gè)數(shù)，所述指紋信息給出了所述至少一個(gè)基本通道的時(shí)間進(jìn)程；以及數(shù)據(jù)流生成器(4)，用于根據(jù)指紋信息來產(chǎn)生時(shí)間可變的多通道附加信息的數(shù)據(jù)流，所述時(shí)間可變的多通道附加信息和所述至少一個(gè)基本通道一起允許對(duì)原始多通道信號(hào)進(jìn)行多通道重構(gòu)，其中，所述數(shù)據(jù)流生成器(4)設(shè)計(jì)用于產(chǎn)生數(shù)據(jù)流，以便可從所述數(shù)據(jù)流中推導(dǎo)出所述多通道附加信息和所述指紋信息之間的時(shí)間連接。
2、 如權(quán)利要求l所述的設(shè)備，其中所述指紋生成器(2)設(shè)計(jì)用于逐塊地對(duì)所述至少一個(gè)基本通道 進(jìn)行處理，以獲得所述指紋信息，逐塊地對(duì)所述多通道附加信息進(jìn)行計(jì)算，以便將所述多通道附加 信息與所述至少一個(gè)基本通道的塊一起用于多通道重構(gòu)，以及所述數(shù)據(jù)流生成器(4)設(shè)計(jì)用于將所述多通道附加信息和所述 指紋信息逐塊地寫入數(shù)據(jù)流。
3、 如權(quán)利要求2所述的設(shè)備，其中，所述指紋生成器(2)設(shè)計(jì) 用于產(chǎn)生給出了塊中基本通道的時(shí)間進(jìn)程的塊指紋，作為所述至少一 個(gè)基本通道的塊的指紋信息，所述多通道附加信息的塊與所述基本通道的塊一起用于多通道 重構(gòu)，以及所述數(shù)據(jù)流生成器(4)設(shè)計(jì)用于逐塊地寫入數(shù)據(jù)流，從而多通 道附加信息的塊和指紋信息的塊具有彼此預(yù)定的關(guān)系。
4、 如權(quán)利要求2所述的設(shè)備，其中，所述指紋生成器(2)設(shè)計(jì) 用于計(jì)算塊指紋序列，作為時(shí)間上連續(xù)的所述至少一個(gè)基本通道的塊 的指紋信息，針對(duì)時(shí)間上連續(xù)的所述至少一個(gè)基本通道的塊，逐塊地給出多通 道附加信息，以及所述數(shù)據(jù)流生成器設(shè)計(jì)用于以與多通道附加信息的塊序列的預(yù) 定關(guān)系寫入塊指紋序列。
5、 如權(quán)利要求4所述的設(shè)備，其中，所述指紋生成器(2)設(shè)計(jì) 用于計(jì)算所述至少一個(gè)基本通道的兩個(gè)塊的兩個(gè)指紋值之差，作為塊 指紋。
6、 如前述權(quán)利要求之一所述的設(shè)備，其中，所述指紋生成器(2) 設(shè)計(jì)用于執(zhí)行對(duì)指紋值的量化和熵編碼，以獲得所述指紋信息。
7、 如權(quán)利要求6所述的設(shè)備，其中，所述指紋生成器(2)設(shè)計(jì) 用于利用縮放信息對(duì)指紋值進(jìn)行縮放，并進(jìn)一步與所述指紋信息相關(guān) 聯(lián)地將所述縮放信息寫入數(shù)據(jù)流。
8、 如前述權(quán)利要求之一所述的設(shè)備，其中，所述指紋生成器(2) 設(shè)計(jì)用于逐塊地計(jì)算所述指紋信息，以及所述數(shù)據(jù)流生成器(4)設(shè)計(jì)用乎逐塊地寫入所述數(shù)據(jù)流，從而 所述數(shù)據(jù)流的塊包括多通道附加信息的塊和與所述多通道附加信息的 塊相關(guān)聯(lián)的指紋信息的塊以及所述至少一個(gè)基本通道的塊。
9、 如前述權(quán)利要求之一所述的設(shè)備，其中，存在至少兩個(gè)基本 通道，以及其中，所述指紋生成器(2)設(shè)計(jì)用于逐采樣地或逐頻譜值地將 所述至少兩個(gè)基本通道相加，或者在所述相加之前將它們進(jìn)行平方。
10、 如前述權(quán)利要求之一所述的設(shè)備，其中，所述指紋生成器(2) 設(shè)計(jì)用于使用與所述至少一個(gè)基本通道的能量包絡(luò)有關(guān)的數(shù)據(jù)，作為 指紋信息。
11、 如權(quán)利要求IO所述的設(shè)備，其中，所述指紋生成器(2)設(shè) 計(jì)用于使用與所述至少一個(gè)基本通道的能量包絡(luò)有關(guān)的數(shù)據(jù)，作為指 紋信息，以及所述指紋生成器(2)還設(shè)計(jì)用于使用能量的最小限制，并提供 最小限制的能量的對(duì)數(shù)表示。
12、 如權(quán)利要求11所述的設(shè)備，其中，所述至少一個(gè)基本通道以編碼的形式被傳輸至多通道重構(gòu)器，使用有損編碼器產(chǎn)生所述編碼的形式，以及 還存在基本通道解碼器，用于提供所述至少一個(gè)基本通道的解碼的形式，作為所述指紋生成器(2)的輸入信號(hào)。
13、 如前述權(quán)利要求之一所述的設(shè)備，其中，所述多通道附加數(shù) 據(jù)是多通道參數(shù)數(shù)據(jù)，每個(gè)多通道參數(shù)數(shù)據(jù)與所述至少一個(gè)基本通道 的相應(yīng)塊逐塊相關(guān)聯(lián)。
14、 如權(quán)利要求13所述的設(shè)備，還包括多通道分析器(112)，用于逐塊地產(chǎn)生所述至少一個(gè)基本通道的 塊序列和所述多通道附加信息的塊序列，其中，所述指紋生成器(2)設(shè)計(jì)用于根據(jù)所述至少一個(gè)基本通 道的每塊的值來計(jì)算塊指紋值。
15、 如權(quán)利要求14所述的設(shè)備，其中，所述數(shù)據(jù)流生成器(4)設(shè)計(jì)用于將所述數(shù)據(jù)流寫入除標(biāo)準(zhǔn)數(shù)據(jù)通道之外存在的獨(dú)立數(shù)據(jù)通 道，通過所述獨(dú)立數(shù)據(jù)通道，將所述至少一個(gè)基本通道傳輸至多通道 重構(gòu)裝置。
16、 如權(quán)利要求15所述的設(shè)備，其中，所述標(biāo)準(zhǔn)數(shù)據(jù)通道是用 于數(shù)字立體聲無線電信號(hào)的標(biāo)準(zhǔn)化通道、或者用于經(jīng)由因特網(wǎng)的傳輸 的標(biāo)準(zhǔn)化通道。
17、 一種用于根據(jù)至少一個(gè)基本通道和數(shù)據(jù)流而產(chǎn)生原始多通道 信號(hào)的多通道表示(18， 20)的設(shè)備，所述數(shù)據(jù)流包括給出了所述至 少一個(gè)基本通道的時(shí)間進(jìn)程的指紋信息和與所述至少一個(gè)基本通道一起允許對(duì)原始多通道信號(hào)進(jìn)行多通道重構(gòu)的多通道附加信息，其中， 可從數(shù)據(jù)流中推導(dǎo)出所述多通道附加信息和所述指紋信息之間的連 接，所述設(shè)備包括-指紋生成器(11)，用于根據(jù)所述至少一個(gè)基本通道而產(chǎn)生測(cè)試 指紋信息；指紋提取器(9)，用于從數(shù)據(jù)流中提取指紋信息以獲得參考指紋 信息；以及同步器(13)，用于使用測(cè)試指紋信息、參考指紋信息和根據(jù)從 數(shù)據(jù)流推導(dǎo)出的包含在數(shù)據(jù)流中的多通道信息與指紋信息的連接，將 所述多通道附加信息和所述至少一個(gè)基本通道在時(shí)間上同步，以獲得 同步的多通道表示。
18、 如權(quán)利要求17所述的設(shè)備，還包括多通道重構(gòu)器(21)，用于使用所述同步的多通道表示來對(duì)所述 多通道表示進(jìn)行重構(gòu)，以獲得對(duì)原始多通道信號(hào)的重構(gòu)。
19、 如權(quán)利要求17或18所述的設(shè)備，其中 所述數(shù)據(jù)流包括在時(shí)間上與作為參考指紋信息的參考指紋值序列連接的多通道附加數(shù)據(jù)的塊序列，所述提取器(9)設(shè)計(jì)用于基于時(shí)間連接，確定多通道附加數(shù)據(jù) 塊的關(guān)聯(lián)指紋值；所述指紋生成器(11)設(shè)計(jì)用于確定測(cè)試指紋值序列，作為所述 至少一個(gè)基本通道的塊序列的測(cè)試指紋信息；所述同步器(13)設(shè)計(jì)用于基于測(cè)試指紋值的序列和參考指紋值 的序列之間的偏移量(30)來計(jì)算多通道附加數(shù)據(jù)的塊與所述至少一 個(gè)基本通道的塊之間的偏移量，以及通過使用所計(jì)算的偏移量而對(duì)所 述多通道附加信息的塊序列進(jìn)行延時(shí)(28)來補(bǔ)償所述偏移量。
20、 如權(quán)利要求17至19之一所述的設(shè)備，其中 所述指紋生成器(11)設(shè)計(jì)用于執(zhí)行指紋值的量化以獲得測(cè)試指紋信息。
21、 如權(quán)利要求17至20之一所述的設(shè)備，其中 所述指紋生成器(11)設(shè)計(jì)用于利用來自數(shù)據(jù)流的縮放信息來對(duì)指紋值進(jìn)行縮放。
22、 如權(quán)利要求17至21之一所述的設(shè)備，其中，存在至少兩個(gè) 基本通道，以及其中，所述指紋生成器(11)設(shè)計(jì)用于逐采樣地或逐頻譜值地將 所述至少兩個(gè)基本通道相加，或者在所述相加之前將它們進(jìn)行平方。
23、 如權(quán)利要求17至22之一所述的設(shè)備，其中，所述指紋生成 器(11)設(shè)計(jì)用于使用與所述至少一個(gè)基本通道的能量包絡(luò)有關(guān)的數(shù) 據(jù)，作為指紋信息。
24、 如權(quán)利要求17至23之一所述的設(shè)備，其中，所述指紋生成 器(11)設(shè)計(jì)用于使用與所述至少一個(gè)基本通道的能量包絡(luò)有關(guān)的數(shù) 據(jù)，作為指紋信息，以及所述指紋生成器(11)還設(shè)計(jì)用于使用能量的最小限制，并提供 最小限制的能量的對(duì)數(shù)表示。
25、 如權(quán)利要求17至24之一所述的設(shè)備，其中，逐塊地組織數(shù) 據(jù)流，并且多通道附加信息的塊和塊指紋被包含在數(shù)據(jù)流的塊中，所述指紋生成器(11)設(shè)計(jì)用于計(jì)算所述至少一個(gè)基本通道的兩 個(gè)塊指紋之差，作為測(cè)試指紋信息，以及所述指紋提取器(9)還設(shè)計(jì)用于計(jì)算數(shù)據(jù)流中的兩個(gè)塊指紋之 差，并將該差作為參考指紋信息提供給同步器(13)。
26、 如權(quán)利要求17至25之一所述的設(shè)備，其中 所述同步器(13)設(shè)計(jì)用于與音頻輸出并行地計(jì)算所述多通道附加數(shù)據(jù)與所述至少一個(gè)基本通道之間的偏移量，并自適應(yīng)地補(bǔ)償所述 偏移量°
27、 如權(quán)利要求18所述的設(shè)備，還設(shè)計(jì)用于在還沒有同步的多 通道附加數(shù)據(jù)時(shí)再現(xiàn)所述至少一個(gè)基本通道，以及在存在同步的多通 道附加數(shù)據(jù)時(shí)從所述至少一個(gè)基本通道的單聲道或立體聲再現(xiàn)切換(32)至多通道再現(xiàn)。
28、 如權(quán)利要求17至27之一所述的設(shè)備，設(shè)計(jì)用于通過彼此分 離的比特流獲得數(shù)據(jù)流和所述至少一個(gè)基本通道，其中，通過彼此不 同的兩個(gè)邏輯通道或物理通道來接收、或者通過在不同時(shí)間有效的相 同傳輸通道來獲得比特流。
29、 一種用于為原始多通道信號(hào)的多通道重構(gòu)而產(chǎn)生數(shù)據(jù)流的方 法，其中，所述多通道信號(hào)具有至少兩個(gè)通道，所述方法包括根據(jù)從所述原始多通道信號(hào)中推導(dǎo)出的至少一個(gè)基本通道來產(chǎn) 生(2)指紋信息，其中，基本通道的個(gè)數(shù)等于或大于1并小于原始多 通道信號(hào)的通道個(gè)數(shù)，所述指紋信息給出了所述至少一個(gè)基本通道的 時(shí)間進(jìn)程；以及根據(jù)指紋信息來產(chǎn)生(4)時(shí)間可變的多通道附加信息的數(shù)據(jù)流， 所述時(shí)間可變的多通道附加信息和所述至少一個(gè)基本通道一起允許對(duì) 原始多通道信號(hào)進(jìn)行多通道重構(gòu)，其中，產(chǎn)生數(shù)據(jù)流，以便可從所述 數(shù)據(jù)流中推導(dǎo)出所述多通道附加信息和所述指紋信息之間的時(shí)間連 接。
30、 一種用于根據(jù)至少一個(gè)基本通道和數(shù)據(jù)流而產(chǎn)生原始多通道 信號(hào)的多通道表示(18， 20)的方法，所述數(shù)據(jù)流包括給出了所述至 少一個(gè)基本通道的時(shí)間進(jìn)程的指紋信息和與所述至少一個(gè)基本通道一起允許對(duì)原始多通道信號(hào)進(jìn)行多通道重構(gòu)的多通道附加信息，其中， 可從數(shù)據(jù)流中推導(dǎo)出所述多通道附加信息和所述指紋信息之間的連接，所述方法包括根據(jù)所述至少一個(gè)基本通道來產(chǎn)生(11)測(cè)試指紋信息； 從數(shù)據(jù)流中提取(9)指紋信息以獲得參考指紋信息；以及 使用測(cè)試指紋信息、參考指紋信息和從數(shù)據(jù)流推導(dǎo)出的包含在數(shù) 據(jù)流中的多通道信息與指紋信息的連接，將所述多通道附加信息和所 述至少一個(gè)基本通道在時(shí)間上同步(13)，以獲得同步的多通道表示。
31、 一種具有程序代碼的計(jì)算機(jī)程序，用于當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)，執(zhí)行如權(quán)利要求29或權(quán)利要求30所述的方法。
32、 一種數(shù)據(jù)流，包括指紋信息和多通道附加信息，其中，所述 指紋信息給出了從原始多通道信號(hào)中推導(dǎo)出的至少一個(gè)基本通道的時(shí) 間進(jìn)程，所述基本通道的個(gè)數(shù)等于或大于1并小于原始多通道信號(hào)的 通道個(gè)數(shù)，所述多通道附加信息與所述至少一個(gè)基本通道一起允許對(duì) 原始多通道信號(hào)進(jìn)行多通道重構(gòu)，可從數(shù)據(jù)流中推導(dǎo)出所述多通道附 加信息和所述指紋信息之間的連接。
33、 如權(quán)利要求32所述的數(shù)據(jù)流，包括在將數(shù)據(jù)流饋入如權(quán)利 要求17所述的設(shè)備時(shí)，用于產(chǎn)生原始多通道信號(hào)的同步多通道表示的 控制信號(hào)。
全文摘要
為了具有多通道附加數(shù)據(jù)的數(shù)據(jù)流和具有在至少一個(gè)基本通道(3)上的數(shù)據(jù)的數(shù)據(jù)流在時(shí)間上的同步，在編碼器側(cè)針對(duì)至少一個(gè)基本通道(3)來執(zhí)行指紋信息計(jì)算(2)，以與多通道附加數(shù)據(jù)在時(shí)間上連接的方式將指紋信息插入(4)數(shù)據(jù)流。在解碼器側(cè)，根據(jù)至少一個(gè)基本通道來計(jì)算指紋信息，并例如通過相關(guān)，將指紋信息與從數(shù)據(jù)流中提取出的指紋信息一起使用來計(jì)算并補(bǔ)償具有多通道附加信息的數(shù)據(jù)流和具有至少一個(gè)基本通道的數(shù)據(jù)流之間的時(shí)間偏移量，以獲得同步的多通道表示。
文檔編號(hào)G10L19/008GK101189661SQ200680019473
公開日2008年5月28日 申請(qǐng)日期2006年3月15日 優(yōu)先權(quán)日2005年3月30日
發(fā)明者哈拉爾德·波普, 斯特凡·蓋爾斯貝格, 沃爾夫?qū)し茲蔂? 馬蒂亞斯·諾伊辛格 申請(qǐng)人:弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)