專(zhuān)利名稱(chēng)：Device and method for synchronizing multi-channel expansion data with an ...的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻多聲道技術(shù)，并且尤其涉及同步多聲道擴(kuò)展數(shù)據(jù)與音頻信號(hào)從而 允許多聲道重建。
背景技術(shù)：
目前開(kāi)發(fā)的技術(shù)通過(guò)減少數(shù)據(jù)來(lái)實(shí)現(xiàn)比以往更加有效率的音頻信號(hào)傳輸，而且還 通過(guò)擴(kuò)展，例如通過(guò)使用多聲道技術(shù)的擴(kuò)展提高了音頻享受。關(guān)于常見(jiàn)傳輸技術(shù)的這種擴(kuò)展的例子已經(jīng)被熟知的是“雙耳線(xiàn)索編碼”(BCC)以及 “空間音頻編碼”。關(guān)于此內(nèi)容，作為例子可以參考J. Herre, C. Faller, S. Disch, C. Ertel, J. Hilpet, A. Hoelzer, K. Linzmeier, C. Spenger, P. Kroon "Spatial Audio Coding Next-Generation Efficient and Compatibel Coding Oberflache Multi-Channel Audio，，，117th AES Convertion, San Francisco 2004, Preprint 6186。在連續(xù)操作的傳輸系統(tǒng)中，例如在無(wú)線(xiàn)電或互聯(lián)網(wǎng)中，該方法把所要發(fā)送的音頻 節(jié)目分成可以是單聲道或者立體聲縮混音頻信號(hào)的音頻基本數(shù)據(jù)或音頻信號(hào)，以及可以被 稱(chēng)為多聲道附加信息或多聲道擴(kuò)展數(shù)據(jù)的擴(kuò)展數(shù)據(jù)。多聲道擴(kuò)展數(shù)據(jù)可以與音頻信號(hào)一起 廣播，即以組合方式，或者該多聲道擴(kuò)展數(shù)據(jù)也可以與音頻信號(hào)分開(kāi)廣播。作為廣播無(wú)線(xiàn)電 節(jié)目的可替代方式，還可以單獨(dú)將該多聲道擴(kuò)展數(shù)據(jù)傳輸?shù)嚼缬脩?hù)側(cè)現(xiàn)在已有的縮混聲 道版本。在這種情況下，音頻信號(hào)的傳輸，例如以因特網(wǎng)下載或者購(gòu)買(mǎi)壓縮盤(pán)或DVD的形 式，在空間和時(shí)間上與多聲道擴(kuò)展數(shù)據(jù)的傳輸分開(kāi)進(jìn)行，其中多聲道擴(kuò)展數(shù)據(jù)例如可以由 多聲道擴(kuò)展數(shù)據(jù)服務(wù)器提供?；旧希讯嗦暤酪纛l信號(hào)分成音頻信號(hào)和多聲道擴(kuò)展數(shù)據(jù)具有以下優(yōu)點(diǎn)?！皞?統(tǒng)”接收器能夠獨(dú)立于多聲道附加數(shù)據(jù)的內(nèi)容和版本，在任意時(shí)間接收并重放音頻基本數(shù) 據(jù)，即，音頻信號(hào)。該特性被稱(chēng)為逆兼容性。除此之外，較新一代的接收器還可以評(píng)估所發(fā) 送的多聲道附加信息，并以可以將完整擴(kuò)展即多聲道聲音提供到用戶(hù)的方式，將多聲道附 加信息與音頻基本數(shù)據(jù)即音頻信號(hào)組合起來(lái)。在數(shù)字無(wú)線(xiàn)電中的示例性應(yīng)用方案中，借助于這些多聲道擴(kuò)展數(shù)據(jù)，先前廣播的 立體聲音頻信號(hào)可以被擴(kuò)展為多聲道格式5. 1，而幾乎沒(méi)有額外傳輸影響。該多聲道格式 5. 1包括5個(gè)重放聲道，即，左聲道L、右聲道R、中央聲道C、左后聲道LS (左環(huán)繞)以及右后 聲道RS (右環(huán)繞)。為此，節(jié)目提供者在發(fā)射器側(cè)從多聲道聲音源中產(chǎn)生多聲道附加信息， 例如所述多聲道聲音源來(lái)自于DVD/音頻/視頻。隨后，可以與先前廣播的音頻立體聲信號(hào) 并行地發(fā)送該多聲道附加信息，所述音頻立體聲信號(hào)現(xiàn)在包括多聲道信號(hào)的立體聲縮混。該方法的一個(gè)優(yōu)點(diǎn)是與目前現(xiàn)有的數(shù)字無(wú)線(xiàn)電傳輸系統(tǒng)的兼容性。無(wú)法對(duì)該附加 信息評(píng)估的傳統(tǒng)接收器將能夠如之前那樣接收并重放雙聲道聲音信號(hào)，而沒(méi)有關(guān)于質(zhì)量的 任何限制。然而，除了目前所接收的立體聲聲音信號(hào)之外，新設(shè)計(jì)的接收器還可以對(duì)多聲道信息進(jìn)行評(píng)估和解碼，并據(jù)此重建原始的5. 1多聲道信號(hào)。為了允許同時(shí)傳輸作為目前使用的立體聲聲音信號(hào)的補(bǔ)充的多聲道附加信息，可 以有兩種通過(guò)數(shù)字無(wú)線(xiàn)電系統(tǒng)進(jìn)行兼容廣播的方案。第一種方案是將多聲道附加信息與編碼后的混縮音頻信號(hào)進(jìn)行組合，從而它們可 以作為合適和兼容的擴(kuò)展，被加入到由音頻編碼器產(chǎn)生的數(shù)據(jù)流中。在這種情況下，接收器 僅僅看到一個(gè)(有效的)音頻數(shù)據(jù)流，并且可以再次與相關(guān)聯(lián)的音頻數(shù)據(jù)塊同步地，通過(guò)相 應(yīng)的前置數(shù)據(jù)分配器提取并解碼多聲道附加信息，并將其作為5. 1多聲道聲音輸出。該方案需要現(xiàn)有基礎(chǔ)結(jié)構(gòu)/數(shù)據(jù)路徑的擴(kuò)展，從而使它們現(xiàn)在可以傳輸包括混縮 信號(hào)和擴(kuò)展的數(shù)據(jù)信號(hào)，而不像先前那樣僅僅傳輸立體聲音頻信號(hào)。例如當(dāng)這是數(shù)據(jù)減少 的示例，即傳輸混縮信號(hào)的比特流時(shí)，這是可行的，沒(méi)有額外的影響，也不存在問(wèn)題。隨后， 可以把用于擴(kuò)展信息的字段插入到該比特流中。第二種可行的方案是不把多聲道附加信息耦合到所使用的音頻編碼系統(tǒng)中。在這 種情況下，多聲道擴(kuò)展數(shù)據(jù)并不被耦合到實(shí)際的音頻數(shù)據(jù)流中。而是，通過(guò)特定的但不一定 時(shí)間同步的附加聲道來(lái)進(jìn)行傳輸，其中該附加聲道例如可以是并行的數(shù)字附加聲道。這種 情況例如發(fā)生在以未減少的格式，例如作為每AES/EBU數(shù)據(jù)的PCM數(shù)據(jù)的格式，通過(guò)演播室 中現(xiàn)有的普通音頻分配基礎(chǔ)結(jié)構(gòu)來(lái)路由混縮信號(hào)即音頻信號(hào)的時(shí)候。這些基礎(chǔ)結(jié)構(gòu)的目的 是在各種源之間數(shù)字地分配音頻信號(hào)(“交叉切換(Crossbar)”)，和/或通過(guò)聲音調(diào)整、動(dòng) 態(tài)壓縮等處理該音頻信號(hào)。在上述第二種可行方案中，可能發(fā)生在接收器中混縮音頻信號(hào)和多聲道附加信息 之間的時(shí)間偏差的問(wèn)題，這是由于兩種信號(hào)經(jīng)過(guò)不同的、非同步的數(shù)據(jù)路徑。然而，混縮信 號(hào)和附加信息之間的時(shí)間偏差造成重建的多聲道信號(hào)的聲音質(zhì)量的惡化，因?yàn)殡S后將在重 放側(cè)處理具有多聲道擴(kuò)展數(shù)據(jù)的音頻信號(hào)，而該多聲道擴(kuò)展數(shù)據(jù)實(shí)際上并不屬于當(dāng)前音頻 信號(hào)，而是屬于該音頻信號(hào)的之前或之后的部分或者塊。由于無(wú)法再?gòu)乃邮盏囊纛l信號(hào)和附加信息中來(lái)確定時(shí)間偏差的數(shù)量級(jí)，因此無(wú) 法確保在接收器中的多聲道信號(hào)的時(shí)間校正重建和關(guān)聯(lián)，這導(dǎo)致了質(zhì)量降低。這種情況的另一例子是當(dāng)要將已經(jīng)運(yùn)行的雙聲道傳輸系統(tǒng)擴(kuò)展為多聲道傳輸?shù)?時(shí)候，例如當(dāng)考慮用于數(shù)字無(wú)線(xiàn)電的接收器的時(shí)候。這里，通常是這樣一種情況，通過(guò)接收 器中現(xiàn)在已有的音頻解碼器頻繁執(zhí)行混縮信號(hào)的解碼，該解碼器例如表示依照MPEG 4標(biāo) 準(zhǔn)的立體聲音頻解碼器。由于音頻信號(hào)的系統(tǒng)固有數(shù)據(jù)壓縮，該音頻解碼器的延遲時(shí)間并 不總是已知的，或者不能總是被準(zhǔn)確預(yù)測(cè)。因此不能可靠地補(bǔ)償該音頻解碼器的延遲時(shí)間。在極端的情況下，音頻信號(hào)還可以通過(guò)包括模擬部分的傳輸鏈，到達(dá)多聲道音頻 解碼器。這里，在傳輸中的特定點(diǎn)發(fā)生數(shù)字/模擬轉(zhuǎn)換，在進(jìn)一步的存儲(chǔ)/傳輸之后，其后 再次發(fā)生模擬/數(shù)字轉(zhuǎn)換。這里，也沒(méi)有可用的關(guān)于如何能夠執(zhí)行與多聲道附加數(shù)據(jù)相關(guān) 的混縮信號(hào)的合適延遲補(bǔ)償?shù)闹甘尽．?dāng)模擬/數(shù)字轉(zhuǎn)換和數(shù)字/模擬轉(zhuǎn)換的采樣頻率稍微 不同時(shí)，根據(jù)這兩個(gè)采樣速率彼此之間的比值，甚至?xí)a(chǎn)生必要補(bǔ)償延遲的緩慢時(shí)間偏移。德國(guó)專(zhuān)利DE 10 2004 046 746 B4公開(kāi)了一種用于同步附加數(shù)據(jù)和基本數(shù)據(jù)的方 法和裝置。用戶(hù)基于他的立體聲數(shù)據(jù)而提供指紋。擴(kuò)展數(shù)據(jù)服務(wù)器基于獲得的指紋識(shí)別該 立體聲信號(hào)，并且訪(fǎng)問(wèn)數(shù)據(jù)庫(kù)以檢索該立體聲信號(hào)的擴(kuò)展數(shù)據(jù)。特別是，服務(wù)器識(shí)別與用戶(hù) 處現(xiàn)有的立體聲信號(hào)對(duì)應(yīng)的理想立體聲信號(hào)，并且產(chǎn)生屬于擴(kuò)展數(shù)據(jù)的理想立體聲信號(hào)的兩個(gè)測(cè)試指紋。然后，這兩個(gè)測(cè)試指紋被提供到客戶(hù)端，客戶(hù)端據(jù)此確定壓縮/擴(kuò)展因數(shù)以 及參考偏差，其中，基于該參考偏差，在開(kāi)始或結(jié)束處擴(kuò)展/壓縮以及關(guān)閉附加聲道。由此， 可以通過(guò)使用基本數(shù)據(jù)和擴(kuò)展數(shù)據(jù)產(chǎn)生多聲道文件。

發(fā)明內(nèi)容
本發(fā)明的目的是提供通過(guò)實(shí)現(xiàn)多聲道擴(kuò)展數(shù)據(jù)和音頻數(shù)據(jù)的精確同步來(lái)獲得高 質(zhì)量多聲道重建的同步概念。通過(guò)依照權(quán)利要求1的用于同步的裝置、依照權(quán)利要求13的用于同步的方法、依 照權(quán)利要求14的用于處理音頻信號(hào)的裝置、依照權(quán)利要求27的用于處理音頻信號(hào)的方法、 或者依照權(quán)利要求28的計(jì)算機(jī)程序來(lái)解決該目的。本發(fā)明基于一種通過(guò)基于塊的指紋技術(shù)有效并且可靠地獲得精確同步的知識(shí)。已 經(jīng)發(fā)現(xiàn)，逐塊計(jì)算的指紋呈現(xiàn)了音頻信號(hào)的良好并且有效的特性。然而，為了使同步達(dá)到比 一個(gè)塊長(zhǎng)度更短的級(jí)別，向音頻信號(hào)提供可以在同步中被檢測(cè)并且可以用于指紋計(jì)算的塊 劃分信息。因此，音頻信號(hào)包括可以在同步時(shí)使用的塊劃分信息。從而，確保了在同步期間從 音頻信號(hào)獲得的指紋是基于與多聲道擴(kuò)展數(shù)據(jù)相關(guān)聯(lián)的音頻信號(hào)的指紋相同的塊劃分或 塊柵格化。特別是，多聲道擴(kuò)展數(shù)據(jù)包括參考音頻信號(hào)指紋信息序列。該參考音頻信號(hào)指 紋信息提供了多聲道擴(kuò)展流中所固有的、在多聲道擴(kuò)展數(shù)據(jù)塊和多聲道擴(kuò)展數(shù)據(jù)所屬的音 頻信號(hào)部分或塊之間的關(guān)聯(lián)性。為了同步，從多聲道擴(kuò)展數(shù)據(jù)中提取參考音頻信號(hào)指紋，并且將其與同步器所計(jì) 算的測(cè)試音頻信號(hào)指紋執(zhí)行相關(guān)。相關(guān)器僅僅需要實(shí)現(xiàn)塊相關(guān)，這是因?yàn)?，由于使用塊劃分 信息，所以?xún)蓚€(gè)指紋序列所基于的塊柵格化已經(jīng)是相同的。從而，盡管指紋序列僅僅需要在塊級(jí)別上相關(guān)，然而幾乎可以獲得多聲道擴(kuò)展數(shù) 據(jù)與音頻信號(hào)的采樣精確同步。在音頻信號(hào)中包括的塊劃分信息可以稱(chēng)為明確邊信息，例如在音頻信號(hào)的報(bào)頭 中?？商娲模词巩?dāng)存在數(shù)字的但是未壓縮的傳輸時(shí)，該塊劃分信息也可以被包括在采樣 中，該采樣例如可以是被形成用于計(jì)算在多聲道擴(kuò)展數(shù)據(jù)中包含的參考音頻信號(hào)指紋的塊 的第一采樣?？商娲幕蛘哳~外附加的，塊劃分信息還可以被直接引入到音頻信號(hào)自身中， 例如通過(guò)水印嵌入。偽噪聲序列尤其適用于此，然而，可以使用水印嵌入的不同方式把塊劃 分信息引入到音頻信號(hào)中。這種水印實(shí)現(xiàn)方式的一個(gè)優(yōu)點(diǎn)是任何模擬/數(shù)字或數(shù)字/模擬 轉(zhuǎn)換都不是決定性的。此外，存在對(duì)數(shù)據(jù)壓縮具有強(qiáng)壯性的水印，該水印甚至可以承受壓縮 /解壓縮乃至串聯(lián)(tandem) /編碼級(jí)，并且可以用作同步目的的可靠塊劃分信息。除此之外，還優(yōu)選的是，逐塊地把參考音頻信號(hào)指紋直接嵌入到多聲道擴(kuò)展數(shù)據(jù) 的數(shù)據(jù)流中。在該實(shí)施例中，通過(guò)使用具有與多聲道擴(kuò)展數(shù)據(jù)分開(kāi)存儲(chǔ)的數(shù)據(jù)指紋的指紋， 來(lái)獲得合適的時(shí)間偏差。代之以，對(duì)于多聲道擴(kuò)展數(shù)據(jù)的每一塊，該指紋被嵌入在該塊自身 中。然而，可替代的，參考音頻信號(hào)指紋信息可以與從單獨(dú)的源中發(fā)起的多聲道擴(kuò)展數(shù)據(jù)相 關(guān)聯(lián)。


下面將參考相應(yīng)的附圖詳細(xì)討論本發(fā)明的優(yōu)選實(shí)施例。其中圖1是依照本發(fā)明的實(shí)施例的用于處理音頻信號(hào)以提供具有多聲道擴(kuò)展數(shù)據(jù)的 同步輸出信號(hào)的裝置的框圖；圖2是圖1中指紋計(jì)算器的詳細(xì)示意圖3a是依照本發(fā)明的實(shí)施例的用于同步的裝置的框圖3b是圖3a中的補(bǔ)償器的詳細(xì)示圖4a是具有塊劃分信息的音頻信號(hào)的示意圖4b是具有塊方式嵌入的指紋的多聲道擴(kuò)展數(shù)據(jù)的示意圖5是用于產(chǎn)生具有水印的音頻信號(hào)的水印嵌入器的示意圖6是用于提取塊劃分信息的水印提取器的示意圖7是對(duì)例如測(cè)試塊劃分中的30個(gè)塊執(zhí)行相關(guān)后的結(jié)果示意圖8是示出差值指紋計(jì)算可選方案的流程圖9是具有用于處理的創(chuàng)造性裝置的多聲道編碼器方案；
圖10是具有創(chuàng)造性同步器的多聲道解碼器方案；
圖Ila是圖9中的多聲道擴(kuò)展數(shù)據(jù)計(jì)算器的詳細(xì)示圖；以及
圖lib是可以由圖Ila所示的結(jié)構(gòu)產(chǎn)生的具有多聲道擴(kuò)展數(shù)據(jù)的塊的詳細(xì)示圖。
具體實(shí)施例方式圖1顯示了用于處理音頻信號(hào)的裝置的示意圖，其中以100示出具有塊劃分信息 的音頻信號(hào)，而以102示出的音頻信號(hào)可以不包括塊劃分信息。圖1的用于處理音頻信號(hào) 的裝置可以用在編碼器方案中，該編碼器方案將參考圖9詳細(xì)描述，該用于處理音頻信號(hào) 的裝置包括指紋計(jì)算器104，用于為多個(gè)連續(xù)塊計(jì)算對(duì)于音頻信號(hào)的每個(gè)塊的一個(gè)指紋，以 獲得參考音頻信號(hào)指紋信息序列。指紋計(jì)算器被實(shí)現(xiàn)為使用預(yù)定的塊劃分信息106。例如， 可以通過(guò)塊檢測(cè)器108，從具有塊劃分信息的音頻信號(hào)100中檢測(cè)該預(yù)定的塊劃分信息106。一 旦已經(jīng)檢測(cè)到該塊劃分信息106，指紋計(jì)算器104能從音頻信號(hào)100中計(jì)算該參考指紋序列。如果指紋計(jì)算器104獲得不具有塊劃分信息的音頻信號(hào)102，則指紋計(jì)算器將選 擇任一塊劃分，并首先執(zhí)行塊劃分。通過(guò)塊劃分信息110向塊劃分信息嵌入器112發(fā)出信 號(hào)以通知該塊劃分，該塊劃分信息嵌入器112被實(shí)現(xiàn)為把塊劃分信息110嵌入到不具有塊 劃分信息的音頻信號(hào)102中。在輸出側(cè)，塊劃分信息嵌入器提供具有塊劃分信息的音頻信 號(hào)114，其中該音頻信號(hào)可以通過(guò)輸出接口 116輸出，或者可以通過(guò)與通過(guò)輸出接口 116的 輸出獨(dú)立的不同路徑單獨(dú)存儲(chǔ)或輸出，例如通過(guò)以118示出的路徑。指紋計(jì)算器104被實(shí)現(xiàn)為計(jì)算參考音頻信號(hào)指紋信息序列120。該參考音頻信號(hào) 指紋信息序列被提供到指紋信息嵌入器122。指紋信息嵌入器把參考音頻信號(hào)指紋信息 120嵌入到多聲道擴(kuò)展數(shù)據(jù)124中，其中多聲道擴(kuò)展數(shù)據(jù)124可以被單獨(dú)提供，或者可以通 過(guò)多聲道擴(kuò)展數(shù)據(jù)計(jì)算器126直接計(jì)算，多聲道擴(kuò)展數(shù)據(jù)計(jì)算器126在輸入側(cè)接收多聲道 音頻信號(hào)128。在輸出側(cè)，指紋信息嵌入器122提供具有相關(guān)參考音頻信號(hào)指紋信息的多聲 道擴(kuò)展數(shù)據(jù)，其中這些數(shù)據(jù)被標(biāo)識(shí)為130。指紋信息嵌入器122被實(shí)現(xiàn)為直接把參考音頻信 號(hào)指紋信息嵌入到多聲道擴(kuò)展數(shù)據(jù)中，比如在塊級(jí)別上。可替代地或者可額外附加地，指紋信息嵌入器122還基于與多聲道擴(kuò)展數(shù)據(jù)塊的關(guān)聯(lián)性，存儲(chǔ)或提供參考音頻信號(hào)指紋信息 序列，其中該多聲道擴(kuò)展數(shù)據(jù)塊與音頻信號(hào)塊一起表示多聲道音頻信號(hào)的較好近似值，或 多聲道音頻信號(hào)128。輸出接口 116被實(shí)現(xiàn)為輸出一輸出信號(hào)132，該輸出信號(hào)132包括具有唯一關(guān)聯(lián)性 的參考音頻信號(hào)指紋信息序列和多聲道擴(kuò)展數(shù)據(jù)，比如在嵌入的數(shù)據(jù)流內(nèi)?？商娲?，輸出 信號(hào)還可以是不具有參考音頻信號(hào)指紋信息的多聲道擴(kuò)展數(shù)據(jù)塊序列。然后在單獨(dú)的指紋 信息序列中提供指紋信息，其中，例如通過(guò)塊序列號(hào)把每個(gè)指紋“連接”到多聲道擴(kuò)展數(shù)據(jù) 塊。還可以提供指紋數(shù)據(jù)與塊的可替代的關(guān)聯(lián)性，例如通過(guò)序列的暗示性信號(hào)通知。此外，輸出信號(hào)132還可以包括具有塊劃分信息的音頻信號(hào)。在應(yīng)用的特定情況 中，例如在廣播中，具有塊劃分信息的音頻信號(hào)沿著單獨(dú)路徑118行進(jìn)。圖2顯示了指紋計(jì)算器104的詳細(xì)示意圖。在圖2所示的實(shí)施例中，指紋計(jì)算器 104包括塊形成裝置104a、下行流指紋計(jì)算器104b以及指紋后置處理器104c，以提供參考 音頻信號(hào)指紋信息序列120。塊形成裝置104a被實(shí)現(xiàn)為當(dāng)其實(shí)際執(zhí)行第一塊形成時(shí)，將提 供用于存儲(chǔ)/嵌入110的塊劃分信息。然而，如果音頻信號(hào)已經(jīng)具有塊劃分信息，則塊形成 裝置104a可被控制為依據(jù)所述預(yù)定的塊劃分信息106執(zhí)行塊形成。在本發(fā)明的一個(gè)實(shí)施例中，如圖4a所示，向音頻信號(hào)提供水印。特別是，圖4a顯 示了具有采樣序列的音頻信號(hào)，其中示意地示出塊劃分為塊i、i+l、i+2。然而，即使在圖4a 所示的實(shí)施例中，音頻信號(hào)自身并不包括這樣一種明確的塊劃分。而是，將水印400嵌入在 音頻信號(hào)中，從而每個(gè)音頻采樣包括水印的一部分。對(duì)于采樣402，在404自動(dòng)表示水印的 該部分。特別是，嵌入水印400，從而可以基于水印來(lái)檢測(cè)塊結(jié)構(gòu)。為此，水印例如是已知的 周期性的偽噪聲序列，如圖5的500所示。這種已知的偽噪聲序列具有等于塊長(zhǎng)度或者大 于塊長(zhǎng)度的周期長(zhǎng)度，然而，優(yōu)選的是，周期長(zhǎng)度等于塊長(zhǎng)度，或者在塊長(zhǎng)度的數(shù)量級(jí)上。關(guān)于水印嵌入，首先如圖5所示，執(zhí)行音頻信號(hào)的塊形成502。然而，通過(guò)時(shí)間/頻 率轉(zhuǎn)換器504把音頻信號(hào)塊轉(zhuǎn)換到頻域。相似的，通過(guò)時(shí)間/頻率轉(zhuǎn)換器506把已知偽噪 聲序列500變換到頻域。之后，心理聲學(xué)模塊508計(jì)算音頻信號(hào)塊的心理聲學(xué)遮蔽閾值，其 中如心理聲學(xué)中已知的，當(dāng)波段的信號(hào)能量低于該波段的遮蔽閾值的值時(shí)，則在音頻信號(hào) 中遮蔽該波段中的信號(hào)，即，該波段中的信號(hào)是聽(tīng)不到的?；谠撔畔ⅲ瑢?duì)偽噪聲序列的頻 譜圖執(zhí)行頻譜加權(quán)510。然后，在組合器512之前，頻譜加權(quán)后的偽噪聲序列具有如下頻譜， 該頻譜具有對(duì)應(yīng)于心理學(xué)遮蔽閾值的輪廓。然后在組合器512中逐個(gè)頻譜值地對(duì)該信號(hào)與 音頻信號(hào)的頻譜進(jìn)行組合。因此，在組合器512的輸出端，存在具有引入的水印的音頻信號(hào) 塊，不過(guò)其中水印被音頻信號(hào)遮蔽。通過(guò)頻率/時(shí)間轉(zhuǎn)換器514，音頻信號(hào)塊被轉(zhuǎn)換回時(shí)域， 并且存在圖4a中所示的音頻信號(hào)，不過(guò)該信號(hào)現(xiàn)在具有顯示塊劃分信息的水印。應(yīng)當(dāng)注意，存在多種不同的水印嵌入策略。因此，例如可以通過(guò)時(shí)域的雙重操作執(zhí) 行頻譜加權(quán)510，從而時(shí)間/頻率轉(zhuǎn)換器506并不是必須的。此外，在與音頻信號(hào)組合之前，頻譜加權(quán)后的水印也可以被變換到時(shí)域，從而組合 512發(fā)生在時(shí)域，其中在這種情況下，只要可以在不變換的情況下計(jì)算遮蔽閾值，時(shí)間/頻 率轉(zhuǎn)換器504并不是絕對(duì)需要的。明顯的，還可以執(zhí)行與音頻信號(hào)或者音頻信號(hào)的變換長(zhǎng) 度獨(dú)立使用的遮蔽閾值的計(jì)算。優(yōu)選的是，所述已知的偽噪聲序列的長(zhǎng)度等于一個(gè)塊的長(zhǎng)度。然后，用于水印提取的相關(guān)性可以尤其有效并且清楚地起到作用。然而，只要偽噪聲序列的周期長(zhǎng)度等于或大 于塊長(zhǎng)度，可以使用更長(zhǎng)的偽噪聲序列。此外，可以使用不具有白譜的水印，這僅僅實(shí)現(xiàn)為 在特定頻段，例如較低頻譜段或者在中心頻譜段包括頻譜部分。從而，可以進(jìn)行控制，例如 通過(guò)在MPEG 4標(biāo)準(zhǔn)中已知的在數(shù)據(jù)速率節(jié)省傳輸中的“頻譜段復(fù)制”技術(shù)，例如不僅僅在 已被消除或參數(shù)化的上部波段中弓丨入水印。關(guān)于使用水印的可替代方式，例如也可以當(dāng)存在數(shù)字聲道的時(shí)候執(zhí)行塊劃分，其 中可以標(biāo)記圖4中的音頻信號(hào)的每個(gè)塊，從而例如塊的第一個(gè)采樣值獲得標(biāo)記?？商娲模?例如，可以在音頻信號(hào)的報(bào)頭中提示塊劃分，其用于計(jì)算指紋，并且還用于根據(jù)原始多聲道 音頻聲道計(jì)算多聲道擴(kuò)展數(shù)據(jù)。為了舉例說(shuō)明計(jì)算多聲道擴(kuò)展數(shù)據(jù)的方案，下面參考圖9。圖9顯示了編碼器一 側(cè)的方案，其用于降低多聲道音頻信號(hào)的數(shù)據(jù)速率。示例性地示出了 5. 1方案，然而可以使 用7. 1，3.0或者其他方案。對(duì)于同樣已知的空間音頻對(duì)象編碼，使用了圖9所示的基本二 進(jìn)制結(jié)構(gòu)，在這種空間音頻對(duì)象編碼中，對(duì)音頻對(duì)象編碼而不是對(duì)音頻聲道編碼，并且多聲 道擴(kuò)展數(shù)據(jù)實(shí)際上是能夠用于重建對(duì)象的數(shù)據(jù)。具有多個(gè)音頻聲道或音頻對(duì)象的多聲道音 頻信號(hào)被提供到混縮器900以提供混縮音頻信號(hào)，其中音頻信號(hào)例如是單聲道混縮或者立 體聲混縮。此外，在各個(gè)多聲道擴(kuò)展數(shù)據(jù)計(jì)算器902中執(zhí)行多聲道擴(kuò)展數(shù)據(jù)計(jì)算。這是，例 如依照BCC技術(shù)或者依照在MPEG環(huán)境中已知的標(biāo)準(zhǔn)，計(jì)算多聲道擴(kuò)展數(shù)據(jù)。還可以在音頻 信號(hào)102中發(fā)生音頻對(duì)象的擴(kuò)展數(shù)據(jù)計(jì)算，其也被稱(chēng)為多聲道擴(kuò)展數(shù)據(jù)。圖1所示的用于 處理音頻信號(hào)的裝置是已知的兩個(gè)塊900、902的下行流，其中依照?qǐng)D1，圖9所示的用于處 理的裝置904例如接收作為單聲道混縮或立體聲混縮的沒(méi)有塊劃分信息的音頻信號(hào)102， 并且還通過(guò)線(xiàn)124接收多聲道擴(kuò)展數(shù)據(jù)。因此，圖1中的多聲道擴(kuò)展數(shù)據(jù)計(jì)算器126對(duì)應(yīng) 于圖9中的多聲道擴(kuò)展數(shù)據(jù)計(jì)算器902。在輸出側(cè)，用于處理的裝置904例如提供具有嵌入 的塊劃分信息的音頻信號(hào)118以及圖1中以132示出的具有多聲道擴(kuò)展數(shù)據(jù)、以及相關(guān)聯(lián) 的或者嵌入的參考音頻信號(hào)指紋信息的數(shù)據(jù)流。圖Ila顯示了多聲道擴(kuò)展數(shù)據(jù)計(jì)算器902的詳細(xì)示意圖。特別是，首先，在各個(gè)塊 形成裝置910中執(zhí)行塊形成，以獲得多聲道音頻信號(hào)的原始聲道的塊。之后，在時(shí)間/頻率 轉(zhuǎn)換器912中對(duì)每一塊執(zhí)行時(shí)間/頻域轉(zhuǎn)換。時(shí)間/頻率轉(zhuǎn)換器可以是執(zhí)行子帶濾波、一般 變換或者特別是FFT形式的變換的濾波器組。已知的可替代的變換還有MDCT等等。之后， 在多聲道擴(kuò)展數(shù)據(jù)計(jì)算器中對(duì)每個(gè)波帶、每個(gè)塊以及例如也對(duì)每個(gè)聲道計(jì)算由ICC指示的 聲道和參考聲道之間的各自的相關(guān)性參數(shù)。此外，在參數(shù)計(jì)算器914為每個(gè)波帶、塊以及聲 道計(jì)算各自的能量參數(shù)ICLD。應(yīng)當(dāng)注意，當(dāng)塊劃分信息已經(jīng)存在時(shí)，塊形成裝置910使用 塊劃分信息106?？商娲?，當(dāng)執(zhí)行第一塊劃分時(shí)，塊形成裝置910還可以確定塊劃分信息 自身，并且輸出塊劃分信息，并將其用于控制例如圖1中的指紋計(jì)算器。與圖1中的標(biāo)號(hào)相 似，輸出的塊劃分信息也通過(guò)110表示。通常，可以確保，以與圖1中計(jì)算指紋的塊形成同 步的方式執(zhí)行用于計(jì)算多聲道擴(kuò)展數(shù)據(jù)的塊形成。從而確?？梢詫?shí)現(xiàn)多聲道擴(kuò)展數(shù)據(jù)與音 頻信號(hào)的采樣精確同步。由參數(shù)計(jì)算器914計(jì)算的參數(shù)數(shù)據(jù)被提供到數(shù)據(jù)流格式器916，該數(shù)據(jù)流格式器 916可以與圖1中的指紋信息嵌入器等同地實(shí)現(xiàn)。此外，數(shù)據(jù)流格式器916接收以918指 示的混縮信號(hào)每個(gè)塊的指紋。然后，利用指紋和接收的參數(shù)數(shù)據(jù)915，數(shù)據(jù)流格式器產(chǎn)生具有嵌入的指紋信息的多聲道擴(kuò)展數(shù)據(jù)130，圖lib示意性地示出了其中的一個(gè)塊。特別是， 在960處的，在可選提供的同步字950之后輸入該塊的指紋信息。然后，在指紋信息960之 后，是參數(shù)計(jì)算器940計(jì)算的參數(shù)915，也就是例如在圖lib所示的每個(gè)聲道和波帶的ICLD 參數(shù)首次出現(xiàn)的序列中，之后是每個(gè)聲道和波帶的ICC參數(shù)。特別是通過(guò)ICLD的索引來(lái)指 示該聲道，其中索引“1”例如代表左信號(hào)，索引“2”代表中央聲道，索引“3”代表右聲道，索 引“4”代表左后聲道(LS)以及索引“5”代表右后聲道(RS)。通常，這將產(chǎn)生圖4b中所示的具有多聲道擴(kuò)展數(shù)據(jù)的數(shù)據(jù)流，其中，對(duì)于一個(gè)塊， 音頻信號(hào)(即，立體聲混縮信號(hào)或者單聲道混縮信號(hào)，或統(tǒng)稱(chēng)為混縮信號(hào))的指紋一直位 于多聲道擴(kuò)展數(shù)據(jù)124之前。在一種實(shí)現(xiàn)方式中，用于一個(gè)塊的指紋信息也可以在傳輸方 向上的在多聲道擴(kuò)展數(shù)據(jù)之后的位置或者在多聲道擴(kuò)展數(shù)據(jù)之間的某些地方插入。可替代 的，還可以在單獨(dú)的數(shù)據(jù)流中，或者例如在通過(guò)明確的塊標(biāo)識(shí)符而與多聲道擴(kuò)展數(shù)據(jù)相關(guān) 聯(lián)的單獨(dú)的表中，或者在與各個(gè)塊的多聲道擴(kuò)展數(shù)據(jù)的順序相關(guān)的指紋順序暗示性地提供 關(guān)聯(lián)性的表中，傳輸指紋信息。還可以使用不具有明確嵌入的其它關(guān)聯(lián)性。圖3a顯示了用于同步多聲道擴(kuò)展數(shù)據(jù)和音頻信號(hào)114的裝置。特別是，音頻信號(hào) 114包括塊劃分信息，如圖1所示。此外，參考音頻信號(hào)指紋信息與多聲道擴(kuò)展數(shù)據(jù)相關(guān)聯(lián)。具有塊劃分信息的音頻信號(hào)被提供到塊檢測(cè)器300，塊檢測(cè)器300實(shí)現(xiàn)為檢測(cè)音 頻信號(hào)中的塊劃分信息，并且把檢測(cè)出的塊劃分信息302提供到指紋計(jì)算器304。此外，指 紋計(jì)算器304接收音頻信號(hào)，其中這里，不具有塊劃分信息的音頻信號(hào)是足夠的，然而，其 中指紋計(jì)算器還可以實(shí)現(xiàn)為使用具有塊劃分信息的音頻信號(hào)進(jìn)行指紋計(jì)算。現(xiàn)在，指紋計(jì)算器304為多個(gè)連續(xù)塊計(jì)算音頻信號(hào)的每個(gè)塊的一個(gè)指紋，以便獲 得測(cè)試音頻信號(hào)指紋序列306。特別是，指紋計(jì)算器304實(shí)現(xiàn)為使用塊劃分信息302計(jì)算測(cè) 試音頻信號(hào)指紋序列306。創(chuàng)造性的同步裝置或者創(chuàng)造性的同步方法還基于指紋提取器308，其用于當(dāng)將參 考音頻信號(hào)指紋信息120提供到指紋提取器308的時(shí)候，從中提取參考音頻信號(hào)指紋序列 310。測(cè)試指紋序列306和參考指紋序列308都被提供到指紋相關(guān)器312，指紋相關(guān)器 312實(shí)現(xiàn)為使這兩個(gè)序列相關(guān)。依據(jù)相關(guān)結(jié)果314，其中獲得作為塊長(zhǎng)度(AD)的整數(shù)(χ) 的偏差值，則補(bǔ)償器316被控制為降低、或最好的情況是消除多聲道擴(kuò)展數(shù)據(jù)132和音頻信 號(hào)114之間的時(shí)間偏差。在補(bǔ)償器316的輸出端，以同步的形式輸出音頻信號(hào)和多聲道擴(kuò) 展數(shù)據(jù)兩者，從而將其提供用于將參考圖10進(jìn)行討論的多聲道重建。圖3a中的同步器在圖10中顯示為1000，如參考圖3a所示意的，同步器1000包括 非同步形式的音頻信號(hào)114以及多聲道擴(kuò)展數(shù)據(jù)，并且在輸出側(cè)向上混器1102提供同步形 式的音頻信號(hào)和多聲道擴(kuò)展數(shù)據(jù)。上混器1102，也被稱(chēng)為“上混”塊，現(xiàn)在可以基于同步的 音頻信號(hào)和多聲道擴(kuò)展數(shù)據(jù)計(jì)算重建的多聲道音頻信號(hào)L’、C’、R’、LS’以及RS’。這些重 建的多聲道音頻表示已經(jīng)在圖9的塊900的輸入端示出的原始多聲道音頻信號(hào)的近似值。 可替代的，圖10中塊1102的輸出端的重建后的多聲道音頻信號(hào)還表示重建音頻對(duì)象、或者 已經(jīng)在特定位置修正過(guò)的重建音頻對(duì)象，如從音頻對(duì)象編碼中所知的?，F(xiàn)在，重建后的多聲 道音頻信號(hào)具有最大的可獲得音頻質(zhì)量，這是由于已經(jīng)以采樣精確的方式獲得多聲道擴(kuò)展 數(shù)據(jù)與音頻信號(hào)的同步。
圖3b顯示了補(bǔ)償器316的特定實(shí)現(xiàn)方式。補(bǔ)償器316具有兩個(gè)延遲塊，其中一個(gè) 塊320可以是具有最大延遲的固定延遲塊，而第二塊322可以是具有可被控制處于等于零 的延遲和最大延遲Dmax之間的可變延遲的塊。基于相關(guān)結(jié)果314來(lái)進(jìn)行控制。指紋相關(guān)器 312提供一個(gè)塊長(zhǎng)度(Ad)的整數(shù)(χ)中的相關(guān)偏差控制。由于已經(jīng)根據(jù)在音頻信號(hào)中包 括的塊劃分信息在指紋計(jì)算器304自身中執(zhí)行了指紋計(jì)算，因此依照本發(fā)明，可以獲得采 樣精確同步，不過(guò)指紋相關(guān)器僅必須執(zhí)行基于塊的相關(guān)。盡管已經(jīng)逐塊地計(jì)算了指紋，即， 僅僅以相對(duì)粗糙的方式表示音頻信號(hào)的時(shí)間曲線(xiàn)、并相應(yīng)地表示多聲道擴(kuò)展數(shù)據(jù)的時(shí)間曲 線(xiàn)，還是能獲得采樣精確相關(guān)，這僅僅是因?yàn)橹讣y計(jì)算器304的塊劃分已經(jīng)在同步器中與 已經(jīng)被用于逐塊地計(jì)算多聲道擴(kuò)展數(shù)據(jù)的塊劃分同步，該指紋計(jì)算器304主要用于計(jì)算在 多聲道擴(kuò)展數(shù)據(jù)流中嵌入的或者與多聲道擴(kuò)展數(shù)據(jù)流相關(guān)聯(lián)的指紋。關(guān)于補(bǔ)償器316的實(shí)現(xiàn)方式，應(yīng)當(dāng)注意也可以使用兩個(gè)可變延遲，從而相關(guān)結(jié)果 314對(duì)兩個(gè)可變延遲級(jí)都進(jìn)行控制。而且，用于同步目的的補(bǔ)償器內(nèi)的可替代實(shí)現(xiàn)方式選項(xiàng) 可以用于消除時(shí)間偏差。下面，通過(guò)參考圖6，圖示出了當(dāng)塊劃分信息作為水印引入到音頻信號(hào)時(shí)，圖3a中 塊檢測(cè)器300的詳細(xì)實(shí)現(xiàn)方式。圖6中的水印提取器可以與圖5中的水印嵌入器相似地構(gòu) 造，但是并不必須以完全相似的方式構(gòu)造。在圖6所示的實(shí)施例中，具有水印的音頻信號(hào)被提供到塊形成器600，塊形成器 600從音頻信號(hào)中產(chǎn)生連續(xù)塊。然后，將一個(gè)塊提供到時(shí)間/頻率轉(zhuǎn)換器602以對(duì)該塊進(jìn)行 變換?；谠搲K的頻譜表示，或者通過(guò)單獨(dú)的計(jì)算，心理聲學(xué)模塊604能夠計(jì)算遮蔽閾值， 通過(guò)使用該遮蔽閾值，使得音頻信號(hào)塊在預(yù)濾波器606中進(jìn)行預(yù)濾波。模塊604和預(yù)濾波 器606的實(shí)現(xiàn)方式有助于提高水印的檢測(cè)準(zhǔn)確率。也可以省略模塊604和預(yù)濾波器606，從 而時(shí)間/頻率轉(zhuǎn)換器602的輸出直接耦合到相關(guān)器608。相關(guān)器608實(shí)現(xiàn)為在轉(zhuǎn)換器502 中的對(duì)于音頻信號(hào)塊的時(shí)間/頻率轉(zhuǎn)換之后，對(duì)已知的已經(jīng)在圖5的水印嵌入中使用的偽 噪聲序列500進(jìn)行相關(guān)。對(duì)于塊600中的塊形成，預(yù)先確定測(cè)試塊劃分，其中測(cè)試塊劃分并不必須與最終 的塊劃分對(duì)應(yīng)。而是，相關(guān)器608現(xiàn)在在幾個(gè)塊，例如在二十個(gè)乃至更多塊上執(zhí)行相關(guān)。從 而在相關(guān)器608中在不同的延遲值處，將已知噪聲序列的頻譜與每個(gè)塊的頻譜相關(guān)，從而 在幾個(gè)塊之后產(chǎn)生相關(guān)結(jié)果610，相關(guān)結(jié)果610可以如圖7所示?？刂?12可以監(jiān)視相關(guān)結(jié) 果610并執(zhí)行峰值檢測(cè)。為此，控制612檢測(cè)對(duì)于用于相關(guān)的更大數(shù)量的塊越來(lái)越明顯的 峰值700。一旦檢測(cè)到相關(guān)峰值700，僅僅需要確定已經(jīng)顯示出相關(guān)結(jié)果的χ坐標(biāo)，即偏差 Δη。在本發(fā)明的實(shí)施例中，該偏差Δη指示測(cè)試塊劃分已經(jīng)與在水印嵌入中實(shí)際使用的塊 劃分偏離的采樣數(shù)量。通過(guò)關(guān)于測(cè)試塊劃分和相關(guān)結(jié)果700的這種認(rèn)知，控制612現(xiàn)在依 照?qǐng)D7所示的公式確定校正后的塊劃分614。特別是，從測(cè)試塊劃分中減去偏差值Δη以計(jì) 算校正后的塊劃分614，然后通過(guò)圖3a中的指紋計(jì)算器304保持該校正后的塊劃分614以 計(jì)算測(cè)試指紋。關(guān)于圖6中的示例性水印提取器，應(yīng)當(dāng)注意的是，可替代的，可以在時(shí)域而不是在 頻域執(zhí)行提取，即，可以省略預(yù)濾波，并且可以采用替代方式計(jì)算延遲，即采樣偏差值Δη。 可替代選項(xiàng)例如是測(cè)試幾個(gè)測(cè)試塊劃分，并且使用在一個(gè)或幾個(gè)塊之后提供最佳相關(guān)結(jié)果 的測(cè)試塊劃分。而且，非周期水印可以用作相關(guān)性測(cè)量，即，非周期序列，其可以比一個(gè)塊長(zhǎng)度失fi。因此，為了解決關(guān)聯(lián)性問(wèn)題，在本發(fā)明的優(yōu)選實(shí)施例中優(yōu)選具有發(fā)射器側(cè)和接收 器側(cè)的特定過(guò)程。在發(fā)射器側(cè)，可以執(zhí)行從相應(yīng)(單聲道或者立體聲)混縮音頻信號(hào)中計(jì) 算時(shí)間變量和合適的指紋信息。此外，這些指紋可以作為同步幫助，被規(guī)則地輸入到發(fā)送的 多聲道附加數(shù)據(jù)流中。這可以作為逐塊組織的空間音頻編碼邊信息內(nèi)的數(shù)據(jù)字段執(zhí)行，或 者以如下方式執(zhí)行將指紋信號(hào)作為數(shù)據(jù)塊的第一或最后信息來(lái)發(fā)送，以便容易地添加或 移除。此外，水印，例如已知的噪聲序列，可以被嵌入到要被發(fā)送的音頻信號(hào)中。這有助于 接收器確定幀相位并消除幀間偏差。在接收側(cè)，優(yōu)選為兩級(jí)同步。在第一級(jí)，從接收的音頻信號(hào)中提取水印，并且確定 噪聲序列的位置。此外，根據(jù)噪聲序列位置可以確定幀邊界，并且可以相應(yīng)地劃分音頻數(shù)據(jù) 流。在這些幀邊界或者塊邊界內(nèi)，可以在與發(fā)射器內(nèi)曾計(jì)算過(guò)的幾乎相同部分上計(jì)算特性 音頻特征，即，指紋，這提高了隨后的相關(guān)結(jié)果的質(zhì)量。在第二級(jí)中，從相應(yīng)的立體聲音頻信 號(hào)或者單聲道音頻信號(hào)、或者一般而言從混縮信號(hào)中計(jì)算時(shí)間變量和合適的指紋信息，其 中該混縮信號(hào)也可以具有兩個(gè)以上聲道，只要混縮信號(hào)中的聲道具有比在混縮之前的原始 音頻信號(hào)中的聲道或一般而言的音頻對(duì)象更小的數(shù)量。此外，可以從多聲道附加信息中提取指紋，并且多聲道附加信息和接收信號(hào)之間 的時(shí)間偏差可以通過(guò)合適的并且也是已知的相關(guān)方法執(zhí)行。整體時(shí)間偏差包括多聲道附加 信息和接收的音頻信號(hào)之間的幀相位以及偏差。此外，可以通過(guò)下行流主動(dòng)調(diào)節(jié)的延遲補(bǔ) 償級(jí)，對(duì)音頻信號(hào)和多聲道附加信息進(jìn)行同步，以進(jìn)行隨后的多聲道解碼。為了獲得多聲道附加數(shù)據(jù)，例如把多聲道音頻信號(hào)劃分成固定大小的塊。在各個(gè) 塊中，嵌入接收器已知的噪聲序列，或者嵌入一般而言的水印。在相同的柵格中，同時(shí)或者 至少同步地逐塊計(jì)算指紋，以獲得多聲道附加信息，該多聲道附加信息適合于盡可能清楚 地表征信號(hào)的時(shí)間結(jié)構(gòu)。關(guān)于此方案的一個(gè)實(shí)施例是使用例如以對(duì)數(shù)形式(S卩，以與分貝相關(guān)的表示方 式)的音頻塊的當(dāng)前混縮音頻信號(hào)的能量?jī)?nèi)容。在這種情況下，指紋是關(guān)于音頻信號(hào)的時(shí) 間包絡(luò)的量值。為了降低要發(fā)送的信息數(shù)量，并且提高測(cè)量值的準(zhǔn)確性，該同步信息也可以 表示與先前塊的能量值的差值，其隨后經(jīng)歷合適的熵編碼(例如哈夫曼編碼)、自適應(yīng)縮放 比例以及量化。通過(guò)參考圖8、并且一般而言參考圖2，下面討論用于計(jì)算指紋的優(yōu)選實(shí)施例。在塊劃分步驟800中的塊劃分之后，以連續(xù)塊呈現(xiàn)音頻信號(hào)。之后，依照?qǐng)D2的塊 104b執(zhí)行指紋值計(jì)算，其中如步驟802中所示，該指紋值例如可以是每個(gè)塊的一個(gè)能量值。 當(dāng)音頻信號(hào)是立體聲音頻信號(hào)時(shí)，依照下面的等式計(jì)算當(dāng)前塊中的混縮音頻信號(hào)的能量計(jì) 算
1152Emonosum= Xsieft(i)2 + SrigJj)2
i=0特別是，數(shù)值i的信號(hào)值Slrft (i)表示音頻信號(hào)的左聲道的時(shí)間采樣。SrighJi)是 音頻信號(hào)的右聲道的第i個(gè)采樣。在所示的實(shí)施例中，塊長(zhǎng)度是1152個(gè)音頻采樣，這就是 為什么來(lái)自左和右混縮聲道兩者的1153個(gè)音頻采樣(包括對(duì)于i = 0的采樣)中的每一 個(gè)都被平方并求和。如果音頻信號(hào)是單聲道音頻信號(hào)，則省略求和。如果音頻信號(hào)是具有例如三個(gè)聲道的信號(hào)，則對(duì)來(lái)自三個(gè)聲道的平方后的采樣進(jìn)行求和。此外，優(yōu)選的是在計(jì)算 之前移除混縮音頻信號(hào)的(無(wú)意義)穩(wěn)定分量。在步驟804，由于隨后的對(duì)數(shù)表示方式，執(zhí)行能量的最小限制。對(duì)于與分貝相關(guān)的 能量估計(jì)，提供最小能量偏差E。ffsrt，從而在零能量的情況下產(chǎn)生有用的對(duì)數(shù)計(jì)算。這種以 dB為單位的能量量值以16比特的音頻信號(hào)分辨率描述從0到90(dB)的數(shù)值范圍。因此， 在塊804，將實(shí)現(xiàn)下面的等式E(db) = IOlog (Emonosum+Eoffset)優(yōu)選的，為了精確確定多聲道附加信息和接收的音頻信號(hào)之間的時(shí)間偏差，并不 使用絕對(duì)能量級(jí)值，而是使用信號(hào)包絡(luò)的斜率或陡度。因此，對(duì)于圖3a中指紋計(jì)算器312 的相關(guān)性量值，使用能量包絡(luò)的陡度。從技術(shù)上講，依照下面的等式，通過(guò)能量值與先前塊 的差值形成來(lái)計(jì)算信號(hào)偏差數(shù)Edb(diff) = Edb (current_bl°ck) ~Edb (previous_bl°ck)(注current_block 當(dāng)前塊，previous_block 先前塊)從上面的等式中可以清楚，Edbidiff)是以dB表示的兩個(gè)先前塊的能量值的差值，而 Edb是當(dāng)前塊或者先前塊的以dB為單位的能量。在步驟806中執(zhí)行能量的差值形成。應(yīng)當(dāng)注意，例如僅僅在編碼器中，也就是在圖1的指紋計(jì)算器104中執(zhí)行該步驟， 從而在多聲道擴(kuò)展數(shù)據(jù)中嵌入的指紋包括差分編碼值?？商娲模罘中纬傻牟襟E806還可以?xún)H僅在解碼器側(cè)，即圖3a的指紋計(jì)算器304 上實(shí)現(xiàn)。在這種情況下，發(fā)送的指紋僅僅包括非差分編碼指紋，并且依照步驟806的差值形 成僅僅在解碼器中執(zhí)行。這種可選方案通過(guò)橋接差值形成塊806的點(diǎn)狀信號(hào)流線(xiàn)808表 示。后面這種可選方案808具有如下優(yōu)點(diǎn)指紋仍然包括有關(guān)混縮信號(hào)的絕對(duì)能量的信息， 但是僅具需要稍微更高的指紋字長(zhǎng)度。塊802、804、806屬于依照?qǐng)D2的104b的指紋值計(jì)算，而隨后的步驟808 (根據(jù)放 大因數(shù)縮放)、810 (量化)、812 (熵編碼)或者還包括塊814中的1比特量化，都屬于依照 指紋在后置處理器104c的指紋后置處理。當(dāng)依照塊808縮放能量(信號(hào)包絡(luò))以進(jìn)行最佳調(diào)制時(shí)，可以確保在該指紋的隨 后量化中，既最大化地利用了數(shù)值范圍，又以提高了低能量值的分辨率。因此，引入了額外 的縮放或放大。該縮放或放大可以作為固定或靜態(tài)加權(quán)量來(lái)實(shí)現(xiàn)，或者可以通過(guò)適配于包 絡(luò)信號(hào)的動(dòng)態(tài)放大調(diào)節(jié)來(lái)實(shí)現(xiàn)。還可以使用靜態(tài)加權(quán)量與適配的動(dòng)態(tài)放大調(diào)節(jié)的組合。特 別是，遵照下面的等式Escaled = Edb(diff) ^Aamplification (t)Esealed表示縮放后的能量。Edbidiff)表示通過(guò)塊806中的差值形成計(jì)算的以db為單 位的差值能量，△_皿。3一是放大因數(shù)，特別是當(dāng)該放大因數(shù)是動(dòng)態(tài)放大調(diào)節(jié)時(shí)，其可以取 決于時(shí)間t。放大因數(shù)將取決于包絡(luò)信號(hào)，其中對(duì)于較大的包絡(luò)，放大因數(shù)變小，而對(duì)于較小 的包絡(luò)，放大因數(shù)變大，從而獲得具有盡可能一致的可用數(shù)值范圍的調(diào)制。特別是可以通過(guò) 測(cè)量所發(fā)送的音頻信號(hào)的能量，在指紋計(jì)算器304中再現(xiàn)放大因數(shù)，從而并不需要明確地 發(fā)送該放大因數(shù)。在塊810中，對(duì)由塊808計(jì)算的指紋進(jìn)行量化。執(zhí)行此步驟是為了準(zhǔn)備用于輸入 到多聲道附加信息中的指紋。該降低的指紋分辨率已經(jīng)顯示了關(guān)于延遲檢測(cè)的比特需求和可靠性之間的良好折衷。特別是，通過(guò)飽和特性曲線(xiàn)，可以把> 255的超出范圍限定為最大 值255，例如可以如下面的等式所示
Γ255 . Equanlaed = Qmts Saturation (Escaled )Equantized是量化后的能量值，并且表示具有8比特的量化索引。Q8bits是把最大值 255的量化索引分配到> 255的值的量化操作。應(yīng)當(dāng)注意，還可以使用具有大于8比特的更 精細(xì)量化，或者少于8比特的更粗糙量化，其中更粗糙量化降低了對(duì)額外比特的需求，而具 有更多比特的精細(xì)量化則增加了對(duì)額外比特的需求，但是也增加了準(zhǔn)確率。之后，在塊812，可以發(fā)生指紋的熵編碼。通過(guò)估算指紋的靜態(tài)特性，可以進(jìn)一步降 低量化指紋的比特需求。一種合適的熵方法例如是哈夫曼編碼。統(tǒng)計(jì)上來(lái)講，可以通過(guò)不 同的碼長(zhǎng)度表示指紋值的不同頻率，并且因此，平均來(lái)講，能夠降低用于表示指紋的比特需 求。然后，把熵編碼塊812的結(jié)果寫(xiě)入擴(kuò)展聲道數(shù)據(jù)流，如813所示?？商娲模?11 所示，可以把非熵編碼的指紋作為量化值寫(xiě)入比特流。作為步驟802中計(jì)算每個(gè)塊的能量的替代方式，可以如塊818所示，計(jì)算不同指紋值。作為塊能量的替代方式，可以計(jì)算功率密度譜的峰值因數(shù)(PSD峰值)。該峰值因 數(shù)通常是作為塊中信號(hào)的最大值XMax與塊中信號(hào)Xn(例如頻譜值)的算術(shù)平均之間的商
來(lái)計(jì)算的，如下面的等式所示例性地示出的
權(quán)利要求
一種用于同步多聲道擴(kuò)展數(shù)據(jù)(132)與包括塊劃分信息的音頻信號(hào)(114)的裝置(1000)，其中參考音頻信號(hào)指紋信息與所述多聲道擴(kuò)展數(shù)據(jù)相關(guān)聯(lián)，該裝置包括塊檢測(cè)器(300)，用于檢測(cè)所述音頻信號(hào)(114)中的所述塊劃分信息(302)；指紋計(jì)算器(304)，用于為多個(gè)連續(xù)塊計(jì)算所述音頻信號(hào)的每個(gè)塊的一個(gè)指紋，以獲得測(cè)試音頻信號(hào)指紋序列，其中所述指紋計(jì)算器(304)被實(shí)現(xiàn)為使用所述塊劃分信息(302)計(jì)算所述測(cè)試音頻信號(hào)指紋序列(306)；指紋提取器(308)，用于從與所述多聲道擴(kuò)展數(shù)據(jù)(132)相關(guān)聯(lián)的所述參考音頻信號(hào)指紋信息中提取參考音頻信號(hào)指紋序列；指紋相關(guān)器(312)，用于對(duì)所述測(cè)試音頻信號(hào)指紋序列以及所述參考音頻信號(hào)指紋序列進(jìn)行相關(guān)；以及補(bǔ)償器(316)，用于基于相關(guān)結(jié)果(314)減小或消除所述多聲道擴(kuò)展數(shù)據(jù)(132)和所述音頻信號(hào)之間的時(shí)間偏差。
2.如權(quán)利要求1所述的裝置，其中所述塊檢測(cè)器(300)被實(shí)現(xiàn)為檢測(cè)規(guī)則塊劃分的塊 邊界，以及其中所述指紋計(jì)算器(304)被實(shí)現(xiàn)為從所述塊邊界開(kāi)始把所述音頻信號(hào)劃分成相等 長(zhǎng)度的連續(xù)塊，并為每一塊計(jì)算指紋以獲得所述測(cè)試音頻信號(hào)指紋序列。
3.如權(quán)利要求1或2所述的裝置，其中所述多聲道擴(kuò)展數(shù)據(jù)(132)包括塊結(jié)構(gòu)，其中多 聲道擴(kuò)展數(shù)據(jù)的一個(gè)塊與所述音頻信號(hào)(114)的塊相關(guān)聯(lián)，從而從該塊的音頻信號(hào)和該塊 的多聲道擴(kuò)展數(shù)據(jù)中產(chǎn)生(1102)接近原始多聲道音頻信號(hào)的多聲道音頻信號(hào)，其中參考指紋與多聲道擴(kuò)展數(shù)據(jù)的每一塊相關(guān)聯(lián)，所述多聲道擴(kuò)展數(shù)據(jù)是從由多聲道 音頻信號(hào)的各個(gè)塊中獲得的音頻信號(hào)塊中獲得的，其中所述多聲道音頻信號(hào)的多聲道擴(kuò)展 數(shù)據(jù)是從所述多聲道音頻信號(hào)中獲得的，或者所述多聲道擴(kuò)展數(shù)據(jù)與所述多聲道音頻信號(hào) 的塊具有已知的關(guān)聯(lián)性。
4.如之前任意一個(gè)權(quán)利要求所述的裝置，其中所述塊劃分信息(302)包括嵌入到所述 音頻信號(hào)中的水印，以及其中所述塊檢測(cè)器(300)包括用于檢測(cè)所述音頻信號(hào)中的水印的水印檢測(cè)器。
5.如權(quán)利要求4所述的裝置，其中把所述水印嵌入到所述音頻信號(hào)的塊中，從而在所 述音頻信號(hào)的連續(xù)塊中重復(fù)所述水印，以及其中所述塊檢測(cè)器(300)被實(shí)現(xiàn)為基于幾個(gè)塊上的測(cè)試塊劃分執(zhí)行已知噪聲序列 (500)和所述音頻信號(hào)之間的相關(guān)(608)，以及其中所述塊檢測(cè)器(300)包括控制(612)，該控制(612)被實(shí)現(xiàn)為檢測(cè)所述相關(guān)(608) 結(jié)果中的相關(guān)峰值，所述峰值指示原始?jí)K劃分與測(cè)試塊劃分的采樣中的偏差。
6.如之前任意一個(gè)權(quán)利要求所述的裝置，其中所述指紋計(jì)算器(304)被實(shí)現(xiàn)為計(jì)算每 個(gè)塊的音頻信號(hào)能量。
7.如之前任意一個(gè)權(quán)利要求所述的裝置，其中所述指紋計(jì)算器被實(shí)現(xiàn)為對(duì)每一個(gè)塊， 計(jì)算當(dāng)前塊的指紋值與先前塊的指紋值之間的差值。
8.如權(quán)利要求6或7所述的裝置，其中所述參考音頻信號(hào)指紋信息包括所述音頻信號(hào) 的絕對(duì)能量值序列，以及其中所述指紋提取器(308)被實(shí)現(xiàn)為計(jì)算兩個(gè)連續(xù)絕對(duì)能量值之間的差值，從而從表示參考音頻信號(hào)指紋序列的絕對(duì)能量值序列中獲得差值序列。
9.如之前任意一個(gè)權(quán)利要求所述的裝置，其中所述參考音頻信號(hào)指紋信息包括熵編碼 值，以及其中所述指紋提取器(308)被實(shí)現(xiàn)為執(zhí)行熵解碼。
10.如之前任意一個(gè)權(quán)利要求所述的裝置，其中所述指紋提取器(308)或者所述指紋 計(jì)算器(304)被實(shí)現(xiàn)為執(zhí)行(808)與所述音頻信號(hào)包絡(luò)適配的靜態(tài)或動(dòng)態(tài)放大調(diào)節(jié)。
11.如權(quán)利要求1到5中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器(304)被實(shí)現(xiàn)為對(duì) 所述音頻信號(hào)的塊，計(jì)算(818)所述塊中的音頻信號(hào)的最大值與音頻信號(hào)的算術(shù)平均值之 間的商。
12.如之前任意一個(gè)權(quán)利要求所述的裝置，其中所述指紋計(jì)算器(304)被實(shí)現(xiàn)為對(duì)每 個(gè)塊計(jì)算用于所述音頻信號(hào)的值，以及執(zhí)行(814)1比特量化，其中，在當(dāng)前塊的值大于先 前塊的值時(shí)，獲得第一個(gè)二進(jìn)制值，以及在當(dāng)前塊的值小于先前塊的值時(shí)，獲得第二個(gè)二進(jìn) 制值。
13.一種用于同步多聲道擴(kuò)展數(shù)據(jù)(132)與包括塊劃分信息的音頻信號(hào)(114)的方法 (1000)，其中參考音頻信號(hào)指紋信息與所述多聲道擴(kuò)展數(shù)據(jù)相關(guān)聯(lián)，該方法包括檢測(cè)(300)所述音頻信號(hào)(114)中的所述塊劃分信息(302)；為多個(gè)連續(xù)塊計(jì)算(304)所述音頻信號(hào)的每個(gè)塊的指紋，以獲得測(cè)試音頻信號(hào)指紋序 列，其中所述塊劃分信息(302)用于計(jì)算測(cè)試音頻信號(hào)指紋序列(306)；從與所述多聲道擴(kuò)展數(shù)據(jù)(132)相關(guān)聯(lián)的所述參考音頻信號(hào)指紋中提取(308)參考音 頻信號(hào)指紋序列；對(duì)所述測(cè)試音頻信號(hào)指紋序列與所述參考音頻信號(hào)指紋序列進(jìn)行相關(guān)(312)；以及根據(jù)相關(guān)結(jié)果(314)減小(316)或消除所述多聲道擴(kuò)展數(shù)據(jù)(132)與所述音頻信號(hào)之 間的時(shí)間偏差。
14.一種處理音頻信號(hào)(102)的裝置(904)，包括指紋計(jì)算器(104)，用于為連續(xù)的塊序列計(jì)算所述音頻信號(hào)(100，102)的每個(gè)塊的指 紋，以獲得參考音頻信號(hào)指紋信息序列，其中所述指紋計(jì)算器(104)被實(shí)現(xiàn)為使用預(yù)定的 塊劃分信息(106)計(jì)算所述參考音頻信號(hào)指紋序列，或者與所述音頻信號(hào)相關(guān)聯(lián)地存儲(chǔ)所 使用的塊劃分信息(110)；指紋信息嵌入器(122)，用于關(guān)聯(lián)所述參考音頻信號(hào)指紋信息與多聲道擴(kuò)展數(shù)據(jù) (124)，其中所述多聲道擴(kuò)展數(shù)據(jù)(124)被實(shí)現(xiàn)為可以利用所述多聲道擴(kuò)展數(shù)據(jù)塊以及所 述音頻信號(hào)塊來(lái)確定多聲道音頻信號(hào)的近似值，其中所述指紋信息嵌入器(122)被實(shí)現(xiàn)為把所述音頻信號(hào)塊的所述參考指紋信息嵌 入到所述多聲道擴(kuò)展數(shù)據(jù)塊中，或者將其與所述多聲道擴(kuò)展數(shù)據(jù)塊相關(guān)聯(lián)地插入到輸出信 號(hào)(132)中；以及輸出接口(116)，用于輸出所述輸出信號(hào)(132)。
15.如權(quán)利要求14所述的裝置，其中所述音頻信號(hào)(100)包括所述塊劃分信息，并且所 述指紋計(jì)算器(104)被實(shí)現(xiàn)為從所述音頻信號(hào)(108)中確定所述塊劃分信息。
16.如權(quán)利要求14所述的裝置，其中所述音頻信號(hào)(102)不包括所述塊劃分信息，并且 所述指紋計(jì)算器(104)被實(shí)現(xiàn)為把所述塊劃分信息(110)提供到塊劃分信息嵌入器(112)，從而塊劃分信息嵌入器(112)把所述塊劃分信息嵌入到所述音頻信號(hào)中，以及其中所述輸出接口(116)進(jìn)一步被實(shí)現(xiàn)為輸出具有所述嵌入的塊劃分信息的所述音頻信號(hào)。
17.如權(quán)利要求16所述的裝置，其中所述塊劃分信息嵌入器(122)被實(shí)現(xiàn)為把水印作 為塊劃分信息嵌入到所述音頻信號(hào)中。
18.如權(quán)利要求17所述的裝置，其中所述指紋計(jì)算器(104)被實(shí)現(xiàn)為執(zhí)行所述音頻信 號(hào)的塊劃分，并且其中所述塊劃分信息嵌入器(112)被實(shí)現(xiàn)為把水印嵌入到所述塊中，所 述水印與嵌入到先前或隨后塊中的水印相同。
19.如權(quán)利要求17或18所述的裝置，其中所述塊劃分信息嵌入器(112)被實(shí)現(xiàn)為嵌入 預(yù)定的偽噪聲序列作為水印。
20.如權(quán)利要求14到19中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器被實(shí)現(xiàn)為對(duì)所述 音頻信號(hào)的每一塊執(zhí)行一次能量計(jì)算(802)。
21.如權(quán)利要求14到20中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器被實(shí)現(xiàn)為執(zhí)行在 先前塊的指紋值和當(dāng)前塊的指紋值之間的差值形成(806)。
22.如權(quán)利要求14到21中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器被實(shí)現(xiàn)為輸出所 述當(dāng)前塊和先前塊的值以作為參考音頻信號(hào)指紋信息，而不執(zhí)行差值形成(808)。
23.如權(quán)利要求14到22中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器(104)被實(shí)現(xiàn)為 執(zhí)行量化(810)以及熵編碼(812)。
24.如權(quán)利要求14到23中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器(104)被實(shí)現(xiàn)為 執(zhí)行與所述音頻信號(hào)的包絡(luò)適配的靜態(tài)或動(dòng)態(tài)放大調(diào)節(jié)(808)。
25.如權(quán)利要求14到24中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器(104)被實(shí)現(xiàn)為 對(duì)所述音頻信號(hào)的塊，計(jì)算(818)所述塊中的所述音頻信號(hào)的最大值與所述音頻信號(hào)塊的 算術(shù)平均值之間的商。
26.如權(quán)利要求14到20中任意一個(gè)所述的裝置，其中所述指紋計(jì)算器(104)被實(shí)現(xiàn)為 對(duì)每一塊計(jì)算用于所述音頻信號(hào)的值，并且執(zhí)行1比特量化(814)，其中在當(dāng)前塊的值大于 先前塊的值時(shí)獲得第一個(gè)二進(jìn)制值，以及在當(dāng)前塊的值小于先前塊的值時(shí)獲得第二個(gè)二進(jìn) 制值。
27.一種處理音頻信號(hào)(102)的方法(904)，包括對(duì)連續(xù)塊序列計(jì)算(104)所述音頻信號(hào)(100，102)的每個(gè)塊的一個(gè)指紋，以獲得參考 音頻信號(hào)指紋信息序列，其中預(yù)定的塊劃分信息(106)用于計(jì)算參考音頻信號(hào)指紋信息序 列，或者其中與所述音頻信號(hào)相關(guān)聯(lián)地存儲(chǔ)所使用的塊劃分信息(110)；關(guān)聯(lián)(122)所述參考音頻信號(hào)指紋信息與所述多聲道擴(kuò)展數(shù)據(jù)(124)，其中所述多聲 道擴(kuò)展數(shù)據(jù)(124)被實(shí)現(xiàn)為可以利用多聲道擴(kuò)展數(shù)據(jù)塊以及所述音頻信號(hào)塊來(lái)確定多聲 道音頻信號(hào)的近似值，其中所述音頻信號(hào)塊的所述參考指紋信息被嵌入到所述多聲道擴(kuò)展數(shù)據(jù)塊中，或者被 插入到與多聲道擴(kuò)展數(shù)據(jù)塊相關(guān)聯(lián)的輸出信號(hào)(132)中；以及輸出(116)所述輸出信號(hào)(132)。
28.一種具有程序代碼的計(jì)算機(jī)程序，用于當(dāng)在計(jì)算機(jī)上運(yùn)行所述計(jì)算機(jī)程序時(shí)執(zhí)行 根據(jù)權(quán)利要求13或27的方法。
全文摘要
文檔編號(hào)G10L19/00GK101952885SQ20098010531
公開(kāi)日2011年1月19日 申請(qǐng)日期2009年2月10日 優(yōu)先權(quán)日2008年2月14日
發(fā)明者Scharrer Sebastian, Fiesel Wolfgang, Pickel Joerg, Neusinger Matthias 申請(qǐng)人:Fraunhofer Ges Forschung