專利名稱：操縱具有瞬變事件的音頻信號(hào)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及音頻信號(hào)處理，具體涉及在 向包含瞬變事件的信號(hào)應(yīng)用音頻效果的情況下的音頻信號(hào)操縱。
背景技術(shù)：
已知操縱音頻信號(hào)使得改變?cè)佻F(xiàn)速度，同時(shí)保持音高(pitch)不變。針對(duì)這樣的過(guò)程的已知方法是利用相位聲碼器(vocoder)或方法來(lái)實(shí)現(xiàn)的，如(音高同步的)疊加(overIap-add)、(P) SOLA,如在 J. L. Flanagan 和 R. M. Golden, The Bell System TechnicalJournal, November 1966, pp. 1349to 1590 ;美國(guó)專利 6549884Laroche, J. &Dolson, M.Phase-vocoder pitch-shifting ；Jean Laroche 和 Mark Dolson, New Phase-VocoderTechniques for Pitch-Shifting, Harmonizing And Other Exotic Effects”，Proc. 1999IEEE Workshop on Applications of Signal Processing to Audio andAcoustics, New Paltz, New York, Oct. 17-20,1999 ;以及Z.0lzer, U DAFX Digital AudioEffects ；ffiley&Sons ；Edition I (February 26,2002) ；pp. 201-298 中所描述的。此外，可以使用這樣的方法(即，相位聲碼器或⑵SOLA)對(duì)音頻信號(hào)進(jìn)行轉(zhuǎn)換(transposition)，其中這種轉(zhuǎn)換的具體問(wèn)題是轉(zhuǎn)換后的音頻信號(hào)與轉(zhuǎn)換之前的原始音頻信號(hào)具有相同的再現(xiàn)/重放長(zhǎng)度，而音高發(fā)生改變。這是通過(guò)加速再現(xiàn)拉伸信號(hào)(stretched signal)而得到的,其中執(zhí)行加速再現(xiàn)的加速因子依賴于在時(shí)間上拉伸原始音頻信號(hào)的拉伸因子。在采用時(shí)間離散的信號(hào)表示時(shí)，該過(guò)程對(duì)應(yīng)于利用等于拉伸因子的因子對(duì)拉伸信號(hào)的下采樣(down-sampling)或?qū)煨盘?hào)的抽取(decimation),其中采樣頻率保持不變。在這樣的音頻信號(hào)操縱方面的具體挑戰(zhàn)是瞬變事件。瞬變事件是在整個(gè)頻帶中或特定頻率范圍內(nèi)信號(hào)的能量快速改變(即，快速增大或快速減小)的信號(hào)中的事件。具體瞬變(瞬變事件)的特有特征(characteristic feature)是信號(hào)能量在頻譜中的分布。典型地，在瞬變事件期間音頻信號(hào)的能量分布在整個(gè)頻率上，而在非瞬變信號(hào)部分中，能量通常集中在音頻信號(hào)的低頻部分或特定頻帶中。這意味著，還稱作穩(wěn)定或音調(diào)(tonal)信號(hào)部分的非瞬變信號(hào)部分具有非平坦的(non-flat)頻譜。換言之，信號(hào)的能量包含在很少數(shù)目的譜線/譜帶中，這些譜線/譜帶明顯高于音頻信號(hào)的噪聲基底(noise floor)。然而在瞬變部分，音頻信號(hào)的能量將分布在許多不同頻帶上，具體地，將分布在高頻部分，使得音頻信號(hào)的瞬變部分的頻譜會(huì)比較平坦，并且在任何事件下都會(huì)比音頻信號(hào)的音調(diào)部分的頻譜更為平坦。典型地，瞬變事件是時(shí)間上的強(qiáng)烈變化，這意味著當(dāng)執(zhí)行傅里葉分解時(shí)信號(hào)將包括高次諧波(higher harmonic)。這些高次諧波的重要特征是,這些高次諧波的相位有非常特殊的相互關(guān)系，使得所有這些正弦波的疊加(superposition)將導(dǎo)致信號(hào)能量的快速改變。換言之，在頻譜上存在強(qiáng)相關(guān)(strong correlation)。所有諧波之間的具體相位情況還可以稱作“垂直相干性(vertical coherence)”。該“垂直相干性”與信號(hào)的時(shí)間/頻率譜圖表示有關(guān)，在所述信號(hào)的時(shí)間/頻率譜圖表示中，水平方向?qū)?yīng)于信號(hào)在時(shí)間上的演進(jìn)，垂直尺度在頻率上描述了一個(gè)短時(shí)譜中譜分量的頻率(轉(zhuǎn)換頻率點(diǎn)(transform frequency bins))的相互依賴。為了時(shí)間拉伸或縮短音頻信號(hào)而執(zhí)行的典型處理步驟使得這種垂直相干性被破壞，這意味著當(dāng)例如由相位聲碼器或任何其他方法對(duì)瞬變執(zhí)行時(shí)間拉伸或縮短操作時(shí)，瞬變隨時(shí)間而“模糊(smear) ”，所述相位聲碼器或任何其他方法執(zhí)行基于頻率的處理，向音頻信號(hào)引入隨不同頻率系數(shù)而不同的相移。當(dāng)音頻信號(hào)處理方法破壞了瞬變的垂直相干性時(shí)，受操縱(manipulated)信號(hào)將會(huì)在穩(wěn)定或非瞬變部分非常類似于原始信號(hào)，而在受操縱信號(hào)中瞬變部分將會(huì)質(zhì)量降低。對(duì)瞬變的垂直相干性進(jìn)行不受控制的操縱導(dǎo)致了瞬變的時(shí)間分散(temporal
dispersion)，這是因?yàn)樵S多諧波分量對(duì)瞬變事件做貢獻(xiàn)，并且以不受控制的方式來(lái)改變所有這些分量的相位，不可避免地導(dǎo)致了這樣的偽像(artifact)。然而，瞬變部分對(duì)于音頻信號(hào)的動(dòng)態(tài)而言(如音樂(lè)信號(hào)或語(yǔ)言信號(hào)，其中在特定時(shí)刻能量的突然改變表示對(duì)受控信號(hào)的質(zhì)量的大量主觀用戶印象)是尤為重要的。換言之，典型地，音頻信號(hào)中的瞬變事件是語(yǔ)音信號(hào)的非常明顯的“重要事件”，其對(duì)主觀質(zhì)量印象有超比例(over-proportional)的影響。受操縱的瞬變將使收聽(tīng)者聽(tīng)到失真的、回響的并且不自然的聲音，在所述受操作瞬變中，垂直相關(guān)性被信號(hào)處理操作所破壞或相對(duì)于原始信號(hào)的瞬變部分而變差。一些當(dāng)前方法將瞬變周圍的時(shí)間拉伸到更高的程度，以便隨后在瞬變的持續(xù)時(shí)間期間不執(zhí)行或僅執(zhí)行小(minor)的時(shí)間拉伸。這樣的現(xiàn)有技術(shù)參考和專利描述了時(shí)間和/或音高操縱的方法?，F(xiàn)有技術(shù)參考是Laroche L. , Dolson Μ. Improved phase vocodertimescale modification of audio”，IEEE trans. Speech and Audio Processing,vol.7, no.3, pp. 323-332 ；Emmanuel Ravelli, Mark Sandler 和 Juan P. Bello Fastimplementation for non-linear time-scaling of stereo audio ；Proc. of the 8th Int.Conference on Digital Audio Effects(DAFxj 05), Madrid, Spain, September 20-22,2005 ；Duxbury, C. M. Davies 和 M. Sandler(2001, December) Separation of transientinformation in musical audio using multiresolution analysis techniques.In proceedings of the COST G_6Conference on Digital Audio Effects(DAFX-01),Limerick, Ireland ;以及R0bel, A. ANEff APPROACH TO TRANSIENT PROCESSING IN THEPHASE VOCODER ;Proc.of the 6th Int. Conference on Digital Audio Effect(DAFx-03),London, UK, September 8-11,2003。在相位聲碼器對(duì)音頻信號(hào)進(jìn)行時(shí)間拉伸期間，時(shí)間分散使瞬變信號(hào)部分變得“模糊”，這是因?yàn)橄魅趿怂^的信號(hào)垂直相干性。使用所謂的疊加方法的方法，如(P)SOLA，可以產(chǎn)生瞬變聲音事件的干擾前回聲(pre-echo)和后回聲(post-echo)。通過(guò)瞬變環(huán)境中增大的時(shí)間拉伸，可以實(shí)際上解決這些問(wèn)題；然而，如果要出現(xiàn)轉(zhuǎn)換，則在瞬變環(huán)境下轉(zhuǎn)換因子將不再是恒定的，即，所疊加的(可能是音調(diào))信號(hào)分量的音高將改變并且將作為干擾而被感知。

發(fā)明內(nèi)容
本發(fā)明的目的是為音頻信號(hào)操縱提供一種更高質(zhì)量的構(gòu)思。利用根據(jù)權(quán)利要求I所述的操縱音頻信號(hào)的設(shè)備、根據(jù)權(quán)利要求12所述的產(chǎn)生音頻信號(hào)的設(shè)備、根據(jù)權(quán)利要求13所述的操縱音頻信號(hào)的方法、根據(jù)權(quán)利要求14所述的產(chǎn)生音頻信號(hào)的方法、根據(jù)權(quán)利要求15所述的具有瞬變部分和輔助信息的音頻信號(hào)、或者根據(jù)權(quán)利要求16所述的計(jì)算機(jī)程序，實(shí)現(xiàn)了該目的。為了解決在對(duì)瞬變部分的非受控處理中出現(xiàn)的質(zhì)量問(wèn)題，本發(fā)明保證根本不會(huì)以有害的方式對(duì)瞬變部分進(jìn)行處理，即，在處理之前去除瞬變部分并且在處理之后將其重新插入，或處理過(guò)瞬變部分，但是將其從處理過(guò)的信號(hào)中去除并替換成未處理過(guò)的瞬變事件。優(yōu)選地，插入處理過(guò)的信號(hào)中的瞬變部分是原始信號(hào)中相應(yīng)瞬變部分的副本，使得受操縱信號(hào)由不包含瞬變事件的處理過(guò)的部分以及包含瞬變事件的未處理過(guò)的或不同
地處理過(guò)的部分組成。例如，可以對(duì)原始瞬變進(jìn)行抽取或任何類型的加權(quán)或參數(shù)化處理。然而，可選地，可以將瞬變部分替換成合成地產(chǎn)生的瞬變部分，以這樣的方式來(lái)合成所述合成地產(chǎn)生的瞬變部分，使得合成的瞬變部分在某些瞬變參數(shù)(如，在特定時(shí)刻的能量變化量，或描述瞬變事件特征的任何其它量度)方面類似于原始瞬變部分。因此，甚至可以對(duì)原始音頻信號(hào)中的瞬變部分特征化，可以在處理之前去除該瞬變，或?qū)⑻幚磉^(guò)的瞬變替換成合成瞬變，所述合成瞬變是根據(jù)瞬變參數(shù)信息而合成地產(chǎn)生的。然而，出于效率原因，優(yōu)選的是在操縱之前復(fù)制原始音頻信號(hào)的一部分，以及將該副本插入處理過(guò)的音頻信號(hào)中，這是因?yàn)樵撨^(guò)程保證了處理過(guò)的信號(hào)中的瞬變部分與原始信號(hào)的瞬變相同。該過(guò)程將確保與處理之前的原始信號(hào)相比，在處理過(guò)的信號(hào)中保持了瞬變對(duì)聲音信號(hào)感知的特殊的高影響。因此，用于操縱音頻信號(hào)的任何類型的音頻信號(hào)處理都不會(huì)降低關(guān)于瞬變的主觀或客觀質(zhì)量。在優(yōu)選實(shí)施例中，本申請(qǐng)?zhí)峁┝艘环N新方法，在這樣的處理的架構(gòu)內(nèi)，對(duì)瞬變聲音事件進(jìn)行感知性良好的處理，否則將由于信號(hào)的分散而產(chǎn)生時(shí)間上的“模糊”。該優(yōu)選方法主要包括在信號(hào)操縱之前去除瞬變聲音事件，以執(zhí)行時(shí)間拉伸；隨后考慮到該拉伸，以精確的方式將未處理的瞬變信號(hào)部分添加到修改后的(拉伸后的)信號(hào)中。


隨后參考

了本發(fā)明的優(yōu)選實(shí)施例，附圖中圖I示出了本發(fā)明的用于操縱具有瞬變的音頻信號(hào)的設(shè)備或方法的優(yōu)選實(shí)施例；圖2示出了圖I的瞬變信號(hào)去除器的優(yōu)選實(shí)現(xiàn)；圖3a示出了圖I的信號(hào)處理器的優(yōu)選實(shí)現(xiàn)；圖3b示出了實(shí)現(xiàn)圖I的信號(hào)處理器的另外優(yōu)選實(shí)施例；圖4示出了圖I的信號(hào)插入器的優(yōu)選實(shí)現(xiàn)；圖5a示出了在圖I的信號(hào)處理器中使用的聲碼器的實(shí)現(xiàn)的概圖；圖5b示出了圖I的信號(hào)處理器的一部分(分析)的實(shí)現(xiàn)；圖5c示出了圖I的信號(hào)處理器的其他部分(拉伸)；圖5d示出了圖I的信號(hào)處理器的其他部分(合成)；
圖6示出了在圖I的信號(hào)處理器中使用的相位聲碼器的變換實(shí)現(xiàn)；圖7a示出了帶寬擴(kuò)展處理方案的編碼器側(cè)；圖7b示出了帶寬擴(kuò)展方案的解碼器側(cè)；圖8a不出了具有瞬變事件的首頻輸入/[目號(hào)的能量表不；圖8b示出了具有加窗瞬變(windowed transient)的圖8a的信號(hào)；圖8c示出了拉伸之前沒(méi)有瞬變部分的信號(hào)；圖8d示出了拉伸之后圖8c的信號(hào)；以及圖Se示出了在插入了原始信號(hào)的相應(yīng)部分之后的受操縱信號(hào)。圖9示出了用于針對(duì)音頻信號(hào)產(chǎn)生輔助信息的設(shè)備。
具體實(shí)施例方式圖I示出了操縱具有瞬變事件的音頻信號(hào)的優(yōu)選設(shè)備。優(yōu)選地，該設(shè)備包括瞬變信號(hào)去除器100，瞬變信號(hào)去除器100具有用于具有瞬變事件的音頻信號(hào)的輸入101。瞬變信號(hào)去除器的輸出102與信號(hào)處理器110連接。信號(hào)處理器輸出111與信號(hào)插入器120連接。信號(hào)插入器輸出121可以與諸如信號(hào)調(diào)節(jié)器(conditioner) 130之類的其他設(shè)備連接，其中在所述信號(hào)插入器輸出121上具有未處理的“自然的”或合成的瞬變的被操縱音頻信號(hào)是可用的，所述信號(hào)調(diào)節(jié)器130可以執(zhí)行受操縱信號(hào)的任何其他處理，如為了帶寬擴(kuò)展的目的而需要的下采樣/抽取，如結(jié)合圖7a和7b所討論的。然而，如果按原樣使用在信號(hào)插入器120的輸出處得到的受操縱音頻信號(hào)，即，被存儲(chǔ)以進(jìn)行進(jìn)一步處理、被傳輸至接收機(jī)、或被傳輸至數(shù)字/模擬轉(zhuǎn)換器，其中所述數(shù)字/模擬轉(zhuǎn)換器最后與擴(kuò)音器設(shè)備連接以最終產(chǎn)生表示受操縱音頻信號(hào)的聲音信號(hào)，則根本不能使用信號(hào)調(diào)節(jié)器130。在帶寬擴(kuò)展的情況下，線121上的信號(hào)可以已經(jīng)是高頻段信號(hào)。那么，信號(hào)處理器已經(jīng)根據(jù)輸入的低頻段信號(hào)產(chǎn)生了高頻段信號(hào)，而且從音頻信號(hào)101提取的低頻段瞬變部分將會(huì)被置于高頻段的頻率范圍中，優(yōu)選地，這是通過(guò)不干擾垂直相干性的信號(hào)處理來(lái)實(shí)現(xiàn)的，如抽取。在信號(hào)插入器之前執(zhí)行這種抽取，以便將所抽取的瞬變部分插入塊110的輸出處的高頻段信號(hào)中。在該實(shí)施例中，信號(hào)調(diào)節(jié)器將執(zhí)行高頻段信號(hào)的任何其他處理，如包絡(luò)整形、噪聲添加、反向?yàn)V波、或添加諧波等等，如在MPEG4頻帶復(fù)制(spectral bandreplication)中進(jìn)行的。優(yōu)選地，信號(hào)插入器120經(jīng)由線123接收來(lái)自去除器100的輔助信息，以便根據(jù)將要插入111中的未處理信號(hào)來(lái)選擇正確的部分。在實(shí)現(xiàn)具有設(shè)備100、110、120、130的實(shí)施例時(shí)，可以得到如結(jié)合圖8a至圖8e所討論的信號(hào)序列。然而，不一定要在信號(hào)處理器110中執(zhí)行信號(hào)處理操作之前去除瞬變部分。在該實(shí)施例中，不需要瞬變信號(hào)去除器100，信號(hào)插入器120確定要從輸出111上的處理信號(hào)中切除的信號(hào)部分，以及將該切除信號(hào)替換成如線121示意性所示的原始信號(hào)或如線141示意性所示的合成信號(hào)，其中該合成信號(hào)是可以從瞬變信號(hào)發(fā)生器140中產(chǎn)生的。為了能夠產(chǎn)生合適的瞬變，將信號(hào)插入器120配置為向瞬變信號(hào)發(fā)生器傳送瞬變描述參數(shù)。從而，如項(xiàng)目141所示的塊140與120之間的連接被示為雙向連接。如果在用于操縱的設(shè)備中提供特定的瞬變檢測(cè)器，那么可以從該瞬變檢測(cè)器(圖I中未示出)向瞬變信號(hào)發(fā)生器140提供與瞬變有關(guān)的信息。可以將瞬變信號(hào)發(fā)生器實(shí)現(xiàn)為具有可以直接使用的瞬變采樣或具有可以使用瞬變參數(shù)來(lái)加權(quán)的預(yù)先存儲(chǔ)的瞬變采樣，以實(shí)際產(chǎn)生/合成將由信號(hào)插入器120所使用的瞬變。在一個(gè)實(shí)施例中，瞬變信號(hào)去除器100用于從音頻信號(hào)中去除第一時(shí)間部分，以得到瞬變減小的音頻信號(hào)，其中所述第一時(shí)間部分包括瞬變事件。此外，優(yōu)選地信號(hào)處理器用于處理瞬變減小的音頻信號(hào)，其中包括瞬變事件的第一時(shí)間部分被去除，或用于處理包括瞬變事件的音頻信號(hào)，以得到線111上的處理后的音
頻信號(hào)。優(yōu)選地，信號(hào)插入器120用于在第一時(shí)間部分被去除的信號(hào)位置，或在瞬變事件位于音頻信號(hào)中的信號(hào)位置，將第二時(shí)間部分插入處理后的音頻信號(hào)中，其中第二時(shí)間部分包括不受由信號(hào)處理器110執(zhí)行的處理所影響的瞬變事件，從而得到輸出121處的已操
縱音頻信號(hào)。圖2示出了瞬變信號(hào)去除器100的優(yōu)選實(shí)施例。在音頻信號(hào)不包含與瞬變有關(guān)的任何輔助信息/元信息(meta information)的一個(gè)實(shí)施例中，瞬變信號(hào)去除器100包括瞬變檢測(cè)器103、淡出(fade-out)/淡入(fade-in)計(jì)算器104以及第一部分去除器105。在利用如隨后將參考圖9來(lái)討論的編碼設(shè)備采集音頻信號(hào)中附到音頻信號(hào)的與瞬變有關(guān)的信息的可選實(shí)施例中，瞬變信號(hào)去除器100包括輔助信息提取器106，所述輔助信息提取器106提取如線107所示附到音頻信號(hào)的輔助信息。如線107所示，可以將與瞬變時(shí)間有關(guān)的信息提供給淡出/淡入計(jì)算器104。然而當(dāng)音頻信號(hào)包括如元信息時(shí)，不僅瞬變時(shí)間，(即出現(xiàn)瞬變事件的精確時(shí)間)，而且要從音頻信號(hào)排除的部分的開(kāi)始/停止時(shí)間，(即音頻信號(hào)“第一部分”的開(kāi)始時(shí)間和停止時(shí)間)，都是不需要的，而且也不需要淡出/淡入計(jì)算器104，可以如線108所示將開(kāi)始/停止時(shí)間信息直接轉(zhuǎn)發(fā)給第一部分去除器105。線108示出了選項(xiàng)，而且虛線所示的所有其他線也是可選的。在圖2中，優(yōu)選地淡出/淡入計(jì)算器104輸出輔助信息109。該輔助信息109與第一部分的開(kāi)始/停止時(shí)間不同，這是因?yàn)榭紤]了圖I的處理器110中的處理特性。此外，優(yōu)選地將輸入音頻信號(hào)饋送至去除器105。優(yōu)選地，淡出/淡入計(jì)算器104提供第一部分的開(kāi)始/停止時(shí)間。這些時(shí)間根據(jù)瞬變時(shí)間計(jì)算而得，這樣第一部分去除器105不僅去除瞬變事件，還去除瞬變事件周圍的一些采樣。此外，優(yōu)選的是，不僅利用時(shí)域矩形窗切除瞬變部分，還利用淡出部分和淡入部分執(zhí)行提取。為了執(zhí)行淡出或/淡入部分，可以應(yīng)用相對(duì)于矩形濾波器而言具有平滑過(guò)渡(smoother transition)的任何種類的窗,如上升余弦窗,使得這種提取的頻率響應(yīng)不如應(yīng)用矩形窗時(shí)那樣成問(wèn)題，盡管這也是選項(xiàng)。這種時(shí)域加窗操作輸出加窗操作的殘余(remainder),即，不具有加窗部分(windowed portion)的音頻信號(hào)。在這種情況下可以使用任何瞬變抑制方法，包括在去除瞬變之后留下瞬變減小的或優(yōu)選地完全非瞬變的殘留信號(hào)(residual signal)的瞬變抑制方法。與完全去除瞬變部分相比，其中在特定時(shí)間部分上將音頻信號(hào)設(shè)置為0，瞬變抑制在以下情況下是有利的由于這種被設(shè)為O的部分對(duì)于音頻信號(hào)而言非常不自然，使得對(duì)音頻信號(hào)的進(jìn)一步處理會(huì)受到被設(shè)為O的部分的影響。自然地，如結(jié)合圖9所討論的，可以在編碼器側(cè)應(yīng)用由瞬變檢測(cè)器103和淡出/淡入計(jì)算器104執(zhí)行的所有計(jì)算，只要將這些計(jì)算的結(jié)果，如瞬變時(shí)間和/或第一部分的開(kāi)始/停止時(shí)間，傳輸至信號(hào)操縱器，作為與音頻信號(hào)一起或與音頻信號(hào)分開(kāi)的輔助信息或元信息，例如在要經(jīng)由單獨(dú)傳輸通道來(lái)傳輸?shù)膯为?dú)音頻元數(shù)據(jù)信號(hào)內(nèi)。圖3a示出了圖I的信號(hào)處理器110的優(yōu)選實(shí)現(xiàn)。該實(shí)現(xiàn)包括頻率選擇分析器112以及后續(xù)連接的頻率選擇處理設(shè)備113。實(shí)現(xiàn)頻率選擇處理設(shè)備113，使得所述頻率選擇處理設(shè)備113對(duì)原始音頻信號(hào)的垂直相干性起到負(fù)面影響(negative influence)。該處理的示例是，在時(shí)間上拉伸信號(hào)，或在時(shí) 間上縮短信號(hào)，其中以頻率選擇的方式來(lái)應(yīng)用這種拉伸或縮短，使得例如該處理向處理后的音頻信號(hào)引入了隨不同頻帶而不同的相移。在相位聲碼器處理的情況下，在圖3B中示出了一種優(yōu)選的處理方式。通常，相位聲碼器包括子帶/變換分析器114 ;隨后連接的處理器115，用于對(duì)項(xiàng)目114所提供的多個(gè)輸出信號(hào)執(zhí)行頻率選擇性處理；以及隨后的子帶/變換組合器116，所述子帶/變換組合器116將由項(xiàng)目115處理的信號(hào)相組合以最終在輸出117處得到時(shí)域中的處理后的信號(hào)，由于子帶/變換組合器116執(zhí)行對(duì)頻率選擇性信號(hào)的組合，使得只要處理后的信號(hào)117的帶寬大于由項(xiàng)目115與116之間的單個(gè)分支所表示的帶寬，那么時(shí)域中的該處理后的信號(hào)就同樣是全帶寬信號(hào)或低通濾波后的信號(hào)。隨后結(jié)合圖5A、5B、5C和6來(lái)討論相位聲碼器的其他細(xì)節(jié)。隨后，在圖4中討論并描述了圖I的信號(hào)插入器120的優(yōu)選實(shí)現(xiàn)。優(yōu)選地，信號(hào)插入器包括用于計(jì)算第二時(shí)間部分的長(zhǎng)度的計(jì)算器122。在圖I的信號(hào)處理器110進(jìn)行信號(hào)處理之前已經(jīng)去除了瞬變部分的實(shí)施例中，為了能夠計(jì)算第二時(shí)間部分的長(zhǎng)度，需要所去除的第一部分的長(zhǎng)度以及時(shí)間拉伸因子(或時(shí)間縮短因子)，以便在項(xiàng)目122中計(jì)算第二時(shí)間部分的長(zhǎng)度。如結(jié)合圖I和2所討論的，可以從外部來(lái)輸入這些數(shù)據(jù)項(xiàng)目。例如，通過(guò)將第一部分的長(zhǎng)度乘以拉伸因子來(lái)計(jì)算第二時(shí)間部分的長(zhǎng)度。將第二時(shí)間部分的長(zhǎng)度轉(zhuǎn)發(fā)給計(jì)算器123，以計(jì)算音頻信號(hào)中的第二時(shí)間部分的第一邊界和第二邊界。具體地，可以將計(jì)算器133實(shí)現(xiàn)為在不具有在輸出124處供應(yīng)的瞬變事件的處理后的音頻信號(hào)與具有瞬變事件的音頻信號(hào)之間執(zhí)行互相關(guān)處理，所述具有瞬變事件的音頻信號(hào)提供如在輸入125處供應(yīng)的第二部分。優(yōu)選地，計(jì)算器123受另外的控制輸入126的控制，使得與稍后將討論的瞬變事件的負(fù)移位相比，第二時(shí)間部分內(nèi)瞬變事件的正移位是優(yōu)選的。將第二時(shí)間部分的第一邊界和第二邊界提供給提取器127。優(yōu)選地，提取器127切除該部分，即，從輸入125處提供的原始音頻信號(hào)中切除第二時(shí)間部分。因?yàn)槭褂秒S后的交叉衰減器(cross-fader) 128，所以使用矩形濾波器進(jìn)行切除。在交叉衰減器128中，通過(guò)對(duì)開(kāi)始部分將權(quán)重從O增大到1，和/或在結(jié)束部分中將權(quán)重從I減小到0，對(duì)第二時(shí)間部分的開(kāi)始部分以及第二時(shí)間部分的停止部分進(jìn)行加權(quán)，使得在該交叉衰減區(qū)域內(nèi)，處理后的信號(hào)的結(jié)束部分與所提取的信號(hào)的開(kāi)始部分在相加時(shí)產(chǎn)生有用的信號(hào)。在提取之后，針對(duì)第二時(shí)間部分的結(jié)束以及處理后的音頻信號(hào)的開(kāi)始，在交叉衰減器128中執(zhí)行類似的處理。交叉衰減保證了不出現(xiàn)時(shí)域偽像，否則當(dāng)不具有瞬變部分的已處理音頻信號(hào)的邊界未與第二時(shí)間部分邊界完美地匹配在一起時(shí)，所述時(shí)域偽像將作為滴答聲偽像(clickingartifact)被感知。隨后，參考圖5a、5b、5c和6來(lái)說(shuō)明在相位聲碼器的情況下信號(hào)處理器110的優(yōu)選實(shí)現(xiàn)。在下文中，參考圖5和6說(shuō)明了根據(jù)本發(fā)明的聲碼器的優(yōu)選實(shí)現(xiàn)。圖5a示出了相位聲碼器的濾波器組實(shí)現(xiàn)，其中在輸入500處饋入音頻信號(hào)，在輸出510處得到音頻信號(hào)。具體地，圖5a所示的示意性濾波器組中的每個(gè)通道包括帶通濾波器501和下游(downstream)振蕩器502。利用組合器將來(lái)自每個(gè)通道的所有振蕩器的輸出信號(hào)相組合，例如，將所述組合器實(shí)現(xiàn)為加法器并且由503表示，以得到輸出信號(hào)。實(shí)現(xiàn)每個(gè)濾波器501，使得濾波器501 —方面提供幅度信號(hào)，另一方面提供頻率信號(hào)。幅度信號(hào)和頻率信號(hào)是時(shí)間信號(hào)，說(shuō)明了濾波器501中的幅度隨時(shí)間的演進(jìn)，頻率信號(hào)表示由濾波器501濾波的信號(hào)的頻率的演進(jìn)。在圖5b中示出了濾波器501的示意性設(shè)置?？梢匀鐖D5b所示來(lái)設(shè)置圖5a的每個(gè)濾波器，然而其中僅供應(yīng)至兩個(gè)輸入混頻器(mixer) 551和加法器552的頻率隨通道的不同而不同。由低通553對(duì)混頻器輸出信號(hào)進(jìn)行低通濾波，其中，這些低通信號(hào)與在本地振蕩器頻率(L0頻率)所產(chǎn)生的情況下不同，它們是90°異相(out of phase)的。上面的低通
濾波器553提供正交信號(hào)554,而下面的濾波器553提供同相信號(hào)555。將這兩個(gè)信號(hào)(即，I和Q)供應(yīng)至坐標(biāo)變換器556，所述坐標(biāo)變換器556根據(jù)矩形表示產(chǎn)生量值(magnitude)相位表不。在輸出557處隨時(shí)間分別輸出圖5a的量值信號(hào)或幅度信號(hào)。將相位信號(hào)供應(yīng)至相位展開(kāi)器(unwrapper) 558。在元件558的輸出處,不再存在總是位于O至360°之間的相位值，而是出現(xiàn)線性增大的相位值。將這種“展開(kāi)的”相位值供應(yīng)至相位/頻率轉(zhuǎn)換器559，例如可以將所述相位/頻率轉(zhuǎn)換器559實(shí)現(xiàn)為簡(jiǎn)單的相位差形成器，所述相位差形成器從當(dāng)前時(shí)間點(diǎn)的相位減去先前時(shí)間點(diǎn)的相位以得到當(dāng)前時(shí)間點(diǎn)的頻率值。將該頻率值加上濾波器通道i的恒定頻率值fi，以在輸出560處得到時(shí)變頻率值。輸出560處的頻率值具有直流分量=fi和交流分量=濾波器通道中信號(hào)的當(dāng)前頻率偏離平均頻率fi的頻率偏差(frequency deviation)。因此，如圖5a和5b所示，相位聲碼器實(shí)現(xiàn)了譜信息與時(shí)間信息的分離。分別地，譜信息在特定通道中或在為每個(gè)通道提供頻率的直流部分的頻率fi中，而時(shí)間信息分別包含在隨時(shí)間變化的頻率偏差或量值中。圖5c示出了根據(jù)本發(fā)明的、針對(duì)帶寬增大而執(zhí)行的操縱，具體是在聲碼器中，以及在圖5a中以虛線繪制的所示電路位置處執(zhí)行的操縱。例如，對(duì)于時(shí)間縮放，可以對(duì)每個(gè)通道中的幅度信號(hào)A(t)或每個(gè)信號(hào)中的信號(hào)頻率f(t)進(jìn)行抽取或插值。出于轉(zhuǎn)換的目的，由于其對(duì)本發(fā)明是有用的，因而執(zhí)行插值，即信號(hào)A(t)和f(t)的時(shí)間擴(kuò)展或延展(temporalextension or spreading),以得到延展信號(hào)A’ (t)和f’(t)，其中在帶寬擴(kuò)展情況下該插值受延展因子的控制。通過(guò)相位變量(variation)的插值，即，加法器552加上恒定頻率之前的值，圖5a中每個(gè)獨(dú)立振蕩器502的頻率不變。然而，總體音頻信號(hào)的時(shí)間變化減慢，即，以因子2減慢。得到的結(jié)果是具有原始音高(即原始基波(fundamental wave)以及其諧波)的時(shí)間延展音調(diào)。通過(guò)執(zhí)行如圖5c所示的信號(hào)處理，其中在圖5a的每個(gè)濾波器頻段通道中執(zhí)行這樣的處理，以及通過(guò)然后在抽取器中對(duì)得到的時(shí)間信號(hào)進(jìn)行抽取，音頻信號(hào)縮回(shrinkback)其原始持續(xù)時(shí)間，而所有頻率同時(shí)加倍。這使得由因子2進(jìn)行音高轉(zhuǎn)換，然而其中得到了與原始音頻信號(hào)具有相同長(zhǎng)度(即，相同數(shù)目的采樣)的音頻信號(hào)。
作為對(duì)圖5a所示的濾波器組實(shí)現(xiàn)的備選，還可以如圖6所示來(lái)使用相位聲碼器的變換實(shí)現(xiàn)。這里，將音頻信號(hào)100饋送至FFT處理器，或更普遍地饋送至短時(shí)傅里葉變換(Short-Time-Fourier-Transform)處理器600,作為時(shí)間米樣的序列。圖6中不意性地實(shí)現(xiàn)了 FFT處理器600,以對(duì)音頻信號(hào)執(zhí)行時(shí)間加窗(time window),從而隨后通過(guò)FFT計(jì)算譜的量值和相位，其中針對(duì)與強(qiáng)交疊的音頻信號(hào)塊有關(guān)的連續(xù)譜來(lái)執(zhí)行該計(jì)算。在極端情況下，可以對(duì)于每個(gè)新的音頻信號(hào)采樣來(lái)計(jì)算新的譜，其中還可以例如僅針對(duì)每20個(gè)新的采樣來(lái)計(jì)算新的譜。優(yōu)選地，這種兩個(gè)譜之間的采樣的距離a是由控制器602給出的?？刂破?02還用于供給IFFT處理器604，所述IFFT處理器604用于執(zhí)行交疊操作。具體地，將IFFFT處理器604實(shí)現(xiàn)為通過(guò)根據(jù)修改后的譜的量值和相位為每個(gè)譜執(zhí)行一個(gè)IFFT來(lái)執(zhí)行逆短時(shí)傅里葉變換，以便然后執(zhí)行疊加操作，其中根據(jù)所述疊加操作得到結(jié)果時(shí)間信號(hào)。疊加操作消除了分析加窗的影響。在利用IFFT處理器604來(lái)處理兩個(gè)譜時(shí)，利用這兩個(gè)譜之間的距離b來(lái)實(shí)現(xiàn)時(shí)間信號(hào)的延展，所述距離b大于在產(chǎn)生FFT譜時(shí)譜之間的距離a?；舅枷胧?，利用比分析FFT
相隔更遠(yuǎn)的逆FFT來(lái)延展音頻信號(hào)。因此，與原始音頻信號(hào)相比，合成音頻信號(hào)的時(shí)間變化出現(xiàn)得更為緩慢。然而，在塊606中沒(méi)有相位重縮放的情況下，這將導(dǎo)致偽像。例如，在考慮單個(gè)頻率點(diǎn)時(shí)，其中針對(duì)該頻率點(diǎn)以45°間隔實(shí)現(xiàn)連續(xù)相位值，這意味著該濾波器組內(nèi)的信號(hào)在相位上以1/8周期的速率增大，S卩，每個(gè)時(shí)間間隔增大45°，這里所述時(shí)間間隔是連續(xù)FFT之間的時(shí)間間隔。如果現(xiàn)在使逆FFT彼此相隔更遠(yuǎn)，則這意味著跨越更長(zhǎng)的時(shí)間間隔出現(xiàn)45°相位增大。這意味著，由于相移，后續(xù)疊加過(guò)程中出現(xiàn)失配，導(dǎo)致了不期望的信號(hào)抵消(cancellation)。為了消除這種偽像，以實(shí)際上相同的因子來(lái)重縮放相位，其中利用該因子對(duì)音頻信號(hào)進(jìn)行時(shí)間延展。從而每個(gè)FFT譜值的相位以因子b/a而增大，使得消除這種失配。在圖5c所示實(shí)施例中，針對(duì)圖5a的濾波器組實(shí)現(xiàn)中的一個(gè)信號(hào)振蕩器，通過(guò)幅度/頻率控制信號(hào)的插值來(lái)實(shí)現(xiàn)延展，而利用兩個(gè)IFFT之間的距離大于兩個(gè)FFT譜之間的距離來(lái)實(shí)現(xiàn)圖6中的擴(kuò)展，即，b大于a，然而，其中為了防止偽像，根據(jù)b/a來(lái)執(zhí)行相位重縮放。關(guān)于相位聲碼器的詳細(xì)描述，參考以下文獻(xiàn)“The phase Vocoder A tutorial”，Mark Dolson, Computer Music Journal,vol. 10, no. 4,pp. 14-27,1986,或“New phase Vocoder techniques for pitch-shifting,harmonizing and other exotic effects，，，L. Laroche und M. Dolson, Proceedings1999IEEE Workshop on applications of signal processing to audio and acoustics,New Paltz, New York, October 17-20,1999, pages 91to 94 ;“New approached totransient processing interphase vocoder”， A. Robel, Proceeding of the 6thinternational conference on digital audio effects(DAFx-03), London,UK,September8-11,2003, pages DAFx-Ito DAFx-6 ;“Phase_locked Vocoder”， Meller Puckette,Proceedings 1995, IEEE ASSP, Conference on applications of signal processing toaudio and acoustics,或美國(guó)專利申請(qǐng)?zhí)?6，549，884.可選地，其他信號(hào)延展方法是可用的，例如，“音高同步疊加”方法。音高同步疊加(簡(jiǎn)稱PSOLA)是一種合成方法，在該方法中語(yǔ)言信號(hào)的記錄位于數(shù)據(jù)庫(kù)中。只要這些信號(hào)是周期信號(hào)，就為其提供與基頻(音高)有關(guān)的信息并且標(biāo)記每個(gè)周期的開(kāi)始。在合成中，利用窗函數(shù)以特定的環(huán)境來(lái)切除這些周期，并將它們添加到要合成的信號(hào)中合適的位置根據(jù)所期望的基頻是高于還是低于數(shù)據(jù)庫(kù)條目的基頻，相應(yīng)地比原始更密集或更稀疏地組合它們。為了調(diào)整可聽(tīng)的持續(xù)時(shí)間，該周期可以被省略或雙倍輸出。該方法還稱作TD-PS0LA，其中TD代表時(shí)域，并強(qiáng)調(diào)方法在時(shí)域中操作。另外的發(fā)展是多頻段再合成疊加(multiband resynthesis overlap add)方法,簡(jiǎn)稱MBROLA。這里通過(guò)預(yù)處理使數(shù)據(jù)庫(kù)中的片段達(dá)到統(tǒng)一的基頻，并將諧波的相位位置歸一化(normalize)。這樣，在從一個(gè)片段到另一片段的瞬變的合成中，產(chǎn)生更少的感知性干擾，并且所實(shí)現(xiàn)的語(yǔ)言質(zhì)量更高。在另外的備選方案中，在延展之前已經(jīng)對(duì)音頻信號(hào)進(jìn)行帶通濾波，使得延展和抽取后的信號(hào)已經(jīng)包含期望的部分，并且可以省略隨后的帶通濾波。這樣，設(shè)置帶通濾波器，使得帶通濾波器的輸出信號(hào)中仍然包含可能在帶寬擴(kuò)展之后已經(jīng)濾除的音頻信號(hào)部分。從而帶通濾波器包含了在延展和抽取之后的音頻信號(hào)中并未包含的頻率范圍。具有該頻率范圍的信號(hào)是形成合成高頻信號(hào)的所需信號(hào)。如圖I所示的信號(hào)操縱器還可以額外包括信號(hào)調(diào)節(jié)器130，用于對(duì)線121上具有未處理的“自然的”或合成的瞬變的音頻信號(hào)進(jìn)行進(jìn)一步處理。該信號(hào)調(diào)節(jié)器可以是帶寬擴(kuò)展應(yīng)用中的信號(hào)抽取器，所述信號(hào)抽取器在其輸出處產(chǎn)生高頻段信號(hào)，然后通過(guò)使用要與HFR(高頻重建)數(shù)據(jù)流一起傳輸?shù)母哳l(HF)參數(shù)來(lái)進(jìn)一步調(diào)節(jié)(adapt)所述高頻段信號(hào)，以使其非常類似原始高頻段信號(hào)的特性。圖7a和7b示出了帶寬擴(kuò)展方案，有利地，該方案可以使用圖7b的帶寬擴(kuò)展編碼器720內(nèi)的信號(hào)調(diào)節(jié)器的輸出信號(hào)。將音頻信號(hào)饋送至輸入700處的低通/高通組合中。低通/高通組合一方面包括低通(LP)，產(chǎn)生音頻信號(hào)700的低通濾波版本，如圖7a中的703所示。采用音頻編碼器704對(duì)該低通濾波后的音頻信號(hào)進(jìn)行編碼。例如，音頻編碼器是MP3編碼器(MPEG1層3)或AAC編碼器，還稱作MP4編碼器，如在MPEG4標(biāo)準(zhǔn)中描述的。在編碼器704中可以使用提供頻段受限音頻信號(hào)703的透明(transparent)表示或有利地為感知性透明表示的備選音頻編碼器，以分別產(chǎn)生完全編碼的或感知性編碼的、(優(yōu)選為感知性透明編碼的音頻信號(hào)705。濾波器702的高通部分(表示為“HP”)在輸出706處輸出音頻信號(hào)的上頻段(upper band)。將音頻信號(hào)的高通部分，即，也表示為HF部分的上頻段或HF頻段，供應(yīng)至用于計(jì)算不同參數(shù)的參數(shù)計(jì)算器707。例如,這些參數(shù)是在相對(duì)粗糙分辨率下上頻段706的譜包絡(luò)，例如，分別針對(duì)每個(gè)心理聲學(xué)(psychoacoustic)頻率組或針對(duì)Bark尺度(scale)上每個(gè)Bark頻段的尺度因子的表示。參數(shù)計(jì)算器707可以計(jì)算的另外的參數(shù)是上頻段中的噪聲基底，其每頻段能量可以優(yōu)選地與該頻段中包絡(luò)的能量有關(guān)。參數(shù)計(jì)算器707可以計(jì)算的其他參數(shù)包括針對(duì)上頻段的每個(gè)局部(partial)頻段的音調(diào)測(cè)量(tonality measure),其指示譜能量如何在頻段中分布，即，譜能量是否相對(duì)均勻地分布在頻段中(其中，那么該頻段中存在非音調(diào)信號(hào))，或該頻段中的能量是否相對(duì)強(qiáng)烈地集中在頻段中的特定位置(其中，那么相反，該頻段存在音調(diào)信號(hào))。其他參數(shù)包括對(duì)上頻段中在其高度和其頻率方面相對(duì)強(qiáng)烈地突出的峰值的顯式(explicitly)編碼，在未對(duì)上頻段中顯著的正弦部分進(jìn)行這種顯式編碼的重建中，帶寬擴(kuò)展構(gòu)思只會(huì)非常基本地或根本不恢復(fù)相同的信號(hào)。在任何情況下，參數(shù)計(jì)算器707用于僅產(chǎn)生針對(duì)上頻段的參數(shù)708，其中，可以對(duì)所述參數(shù)708執(zhí)行類似的熵減小步驟，因?yàn)檫€可以在音頻編碼器704中針對(duì)量化的頻譜值來(lái)執(zhí)行這些步驟，例如差分編碼、預(yù)測(cè)或霍夫曼編碼等。然后將參數(shù)表示708和音頻信號(hào)705供應(yīng)至用于提供輸出輔助數(shù)據(jù)流710的數(shù)據(jù)流格式器709，典型地，所述輸出輔助數(shù)據(jù)流710是具有特定格式的比特流，如在MPEG4標(biāo)準(zhǔn)中標(biāo)準(zhǔn)化的格式。因?yàn)橛绕溥m于本發(fā)明，所以以下參考圖7b對(duì)解碼器側(cè)進(jìn)行說(shuō)明。數(shù)據(jù)流710進(jìn)入數(shù)據(jù)流解釋器(interpreterKll，所述數(shù) 據(jù)流解釋器711用于將與帶寬擴(kuò)展有關(guān)的參數(shù)部分708與音頻信號(hào)部分705分開(kāi)。利用參數(shù)解碼器712對(duì)參數(shù)部分708進(jìn)行解碼，以得到解碼后的參數(shù)713。與此并行地，利用音頻解碼器714對(duì)音頻信號(hào)部分705進(jìn)行解碼，以得到音頻信號(hào)。根據(jù)該實(shí)現(xiàn)，可以經(jīng)由第一輸出715輸出音頻信號(hào)100。在輸出715處,然后可以得到具有小帶寬從而具有低質(zhì)量的音頻信號(hào)。然而，為了提高質(zhì)量，執(zhí)行本發(fā)明的帶寬擴(kuò)展720，以分別在輸出側(cè)得到具有擴(kuò)展或高帶寬從而具有高質(zhì)量的音頻信號(hào)712。根據(jù)WO 98/57436已知，在編碼器側(cè)對(duì)音頻信號(hào)執(zhí)行頻段限制，并利用高質(zhì)量的音頻編碼器僅對(duì)音頻信號(hào)的低頻段進(jìn)行編碼。然而，僅非常粗糙地(即，利用再現(xiàn)上頻段的譜包絡(luò)的一組參數(shù))描述上頻段的特征。然后，在解碼器側(cè)合成上頻段。為此，提出諧波轉(zhuǎn)換，其中，將解碼后的音頻信號(hào)的下頻段供應(yīng)至濾波器組。下頻段的濾波器組通道與上頻段的濾波器組通道連接，或“拼湊(patch) ”下頻段的濾波器組通道，對(duì)每個(gè)拼湊的帶通信號(hào)進(jìn)行包絡(luò)調(diào)節(jié)。這里屬于特定分析濾波器組的合成濾波器組接收下頻段中的音頻信號(hào)的帶通信號(hào)，并接收下頻段的包絡(luò)調(diào)節(jié)后的帶通信號(hào)，該信號(hào)在上頻段中諧波地(harmonically)被拼湊。合成濾波器組的輸出信號(hào)是在其帶寬方面被擴(kuò)展的音頻信號(hào)，以很低的數(shù)據(jù)速率從編碼器側(cè)向解碼器側(cè)傳輸該音頻信號(hào)。具體地，濾波器組領(lǐng)域中的濾波器組計(jì)算以及拼湊可能變得需要很大的計(jì)算量。這里所提出的方法解決了所提出的問(wèn)題。與現(xiàn)有方法相比，本方法的新穎之處在于，從要操縱的信號(hào)中去除包含瞬變的加窗部分，以及還從原始信號(hào)中額外選擇出第二加窗部分(通常與第一部分不同)，其中還可以將所述第二加窗部分重新插入受操縱信號(hào)中，以便在瞬變的環(huán)境下盡可能多地保留時(shí)間包絡(luò)。選擇所述第二部分，使得該第二部分會(huì)精確適合被時(shí)間拉伸操作所改變的凹處(recess)。通過(guò)計(jì)算所得到的凹處的邊沿與原始瞬變部分的邊沿的最大互相關(guān)，來(lái)執(zhí)行所述精確適合。因此,瞬變的主觀音頻質(zhì)量不再被分散(dispersion)或回聲效應(yīng)削弱。為了選擇合適部分，例如，可以通過(guò)在合適的時(shí)間段上進(jìn)行能量的移動(dòng)質(zhì)心(moving centroid)計(jì)算,來(lái)精確地確定瞬變的位置。第一部分的大小與時(shí)間拉伸因子一起確定了第二部分的所需大小。優(yōu)選地，將選擇該大小，使得第二部分容納多于一個(gè)的瞬變，只有在彼此緊鄰的瞬變之間的時(shí)間間隔低于人類感知獨(dú)立時(shí)間事件的閾值的情況下，所述第二部分才會(huì)用于重新插入。根據(jù)最大互相關(guān)對(duì)瞬變的最優(yōu)適合可能需要相對(duì)于該瞬變?cè)嘉恢玫奈⑿r(shí)間偏移。然而，由于存在時(shí)間前掩蔽(pre-masking)效應(yīng)以及特別是后掩蔽(post-masking)效應(yīng)，重新插入的瞬變的位置不需要與原始位置精確匹配。由于后掩蔽動(dòng)作的擴(kuò)展周期，所以瞬變?cè)谡龝r(shí)間方向上的移位是優(yōu)選的。通過(guò)插入原始信號(hào)部分，在隨后的抽取步驟改變采樣速率的情況下，其音色(timbre)或音高將發(fā)生改變。然而這通常被瞬變自身通過(guò)心理聲學(xué)時(shí)間掩蔽機(jī)制所掩蔽。具體地，如果出現(xiàn)以整數(shù)因子進(jìn)行的拉伸，則音色只會(huì)發(fā)生微小改變，因?yàn)樵谒沧儹h(huán)境外部只會(huì)占用每第η個(gè)(η =拉伸因子)諧波。使用新的方法，有效防止了在通過(guò)時(shí)間拉伸和轉(zhuǎn)換方法處理瞬變的過(guò)程中產(chǎn)生的偽像(分散、前回聲和后回聲)。避免了對(duì)疊加的(可能是音調(diào))信號(hào)部分的質(zhì)量的潛在削尋層。本方法適于其中音頻信號(hào)的再現(xiàn)速度或它們的音高將發(fā)生改變的任何音頻應(yīng)用。隨后，將根據(jù)圖8a至Se來(lái)討論優(yōu)選實(shí)施例。圖8a示出了音頻信號(hào)的表示，然而與直向前(straight forward)時(shí)域音頻采樣序列不同，圖8a示出了能量包絡(luò)表示,所述能
量包絡(luò)表示例如是通過(guò)對(duì)時(shí)域采樣圖例中的每個(gè)音頻采樣求平方而得到的。具體地，圖8a示出了具有瞬變事件801的音頻信號(hào)800，其中瞬變事件的特征在于能量隨時(shí)間的急劇增大或減小。自然地，瞬變還可以是當(dāng)能量保持在特定高度時(shí)，該能量的急劇升高；或當(dāng)能量在下降之前已經(jīng)在特定高度保持了特定時(shí)間時(shí)，該能量的急劇降低。例如，瞬變的具體形式是，掌聲或由打擊工具產(chǎn)生的任何其他音調(diào)。此外，瞬變是工具的快速擊打，其開(kāi)始大聲播放音調(diào)，即，在特定閾值級(jí)別以上特定閾值時(shí)間以下將聲音能量提供到特定頻帶中或多個(gè)頻帶中。自然地，其他能量波動(dòng)，如圖8a中的音頻信號(hào)800的能量波動(dòng)802未被檢測(cè)為瞬變。瞬變檢測(cè)器是現(xiàn)有技術(shù)中已知的，并且在文獻(xiàn)中被廣泛描述，其依賴于許多不同的算法，所述算法可以包括頻率選擇性處理，以及將頻率選擇性處理的結(jié)果與閾值相比較，以及隨后確定是否存在瞬變。圖8b示出了加窗瞬變。從利用所示窗形狀加權(quán)的信號(hào)中減去實(shí)線限定的區(qū)域。在處理之后，再次添加由虛線標(biāo)記的區(qū)域。具體地，必須從音頻信號(hào)800中切除在特定瞬變時(shí)間803出現(xiàn)的瞬變。穩(wěn)妥起見(jiàn)，不僅要從原始信號(hào)中切除瞬變，還要切除一些相鄰/鄰近采樣。從而，確定第一時(shí)間部分804，其中第一時(shí)間部分從開(kāi)始時(shí)刻805延伸至停止時(shí)刻806。通常，選擇第一時(shí)間部分804，使得瞬變時(shí)間803包含在第一時(shí)間部分804內(nèi)。圖Sc示出了拉伸之前沒(méi)有瞬變的信號(hào)。從緩慢衰落(slowly-decaying)的邊沿807和808可以看出，不僅通過(guò)矩形濾波器/加窗器(windower)來(lái)切除第一時(shí)間部分，還執(zhí)行加窗以使音頻信號(hào)具有緩慢衰落的邊沿或側(cè)邊(flank)。重要的是，圖8c示出了圖I的線102上的音頻信號(hào)，S卩，在瞬變信號(hào)去除之后的音頻信號(hào)。緩慢衰落/升高的側(cè)邊807、808提供了由圖4的交叉衰減器128使用的淡入或淡出區(qū)域。圖8d示出了圖Sc的信號(hào)，然而是以拉伸后的狀態(tài)示出的，即，在信號(hào)處理器110進(jìn)行處理之后。因此，圖8d中的信號(hào)是圖I的線111上的信號(hào)。由于拉伸操作使得第一部分804變得更長(zhǎng)。因此，圖8d的第一部分804被拉伸到了第二時(shí)間部分809，所述第二時(shí)間部分809具有第二時(shí)間部分起始時(shí)刻810和第二時(shí)間部分停止時(shí)刻811。通過(guò)拉伸信號(hào)，還拉伸了側(cè)邊807、808，從而拉伸了側(cè)邊807’、808’的時(shí)間長(zhǎng)度。如圖4的計(jì)算器122所執(zhí)行的，當(dāng)對(duì)第二時(shí)間部分的長(zhǎng)度進(jìn)行計(jì)算時(shí)，說(shuō)明了該拉伸。如圖8b中的虛線所示，一旦確定了第二時(shí)間部分的長(zhǎng)度，就從圖8a所示的原始音頻信號(hào)中切除與第二時(shí)間部分的長(zhǎng)度相對(duì)應(yīng)的部分。這樣，第二時(shí)間部分809進(jìn)入了圖Se。如所述的，第二時(shí)間部分的起始時(shí)刻812(即，原始音頻信號(hào)中第二時(shí)間部分809的第一邊界)與第二時(shí)間部分的停止時(shí)刻813(即，原始音頻信號(hào)中第二時(shí)間部分的第二邊界)不必須相對(duì)于瞬變事件時(shí)間803、803’而對(duì)稱以使瞬變801精確位于與其在原始引號(hào)中相同的時(shí)刻上。相反，圖8b的時(shí)刻812、813可以有微小變化，使得原始信號(hào)中這些邊界上的信號(hào)形狀之間的互相關(guān)結(jié)果盡可能地與拉伸后的信號(hào)中相應(yīng)的部分相類似。從而，可以將瞬變803的實(shí)際位置移出第二時(shí)間部分的中央，直到如圖Se中由參考數(shù)字803’所指示的特定程度為止，參考數(shù)字803’指示相對(duì)于第二時(shí)間部分的特定時(shí)間，其偏離了相對(duì)于圖Sb中的第二時(shí)間部分的對(duì)應(yīng)時(shí)間803。如結(jié)合圖4所述，瞬變相對(duì)于時(shí)間803向時(shí)間803’的正位移是優(yōu)選的，這歸因于比前掩蔽效應(yīng)更為顯著(pronounced)的后掩蔽效應(yīng)。圖8e還示出了交迭(crossover)/過(guò)渡區(qū)域813a、813b,在所述交迭/過(guò)渡區(qū)域813a、813b中，交叉衰減器128提供不具有瞬變的拉伸信號(hào)與包括瞬變的原始信號(hào)副本之間的交叉衰減器。如圖4所示，用于計(jì)算第二時(shí)間部分122的長(zhǎng)度的計(jì)算器被配置為接收第一時(shí)間
部分的長(zhǎng)度以及拉伸因子?？蛇x地，計(jì)算器122還可以接收與鄰近瞬變包含在同一個(gè)第一時(shí)間部分中的容許性(allowability)有關(guān)的信息。因此，根據(jù)該容許性，計(jì)算器可以獨(dú)立地確定第一時(shí)間部分804的長(zhǎng)度，然后根據(jù)拉伸/縮短因子來(lái)計(jì)算第二時(shí)間部分809的長(zhǎng)度。如以上所述，信號(hào)插入器的功能在于，該信號(hào)插入器從原始信號(hào)中去除針對(duì)圖Se的間隙(gap)的合適區(qū)域(其在拉伸后的信號(hào)內(nèi)被擴(kuò)大)，并使用互相關(guān)計(jì)算使該合適區(qū)域(即，第二時(shí)間部分)適合處理過(guò)的信號(hào)以確定時(shí)刻812和813，以及優(yōu)選地還在交叉衰減區(qū)域813a和813b中執(zhí)行交叉衰減操作。圖9示出了用于產(chǎn)生音頻信號(hào)的輔助信息的設(shè)備，當(dāng)在編碼器側(cè)執(zhí)行瞬變檢測(cè)，并且計(jì)算出關(guān)于該瞬變檢測(cè)的輔助信息并將其傳輸至然后將表示解碼器側(cè)的信號(hào)操縱器時(shí)，該設(shè)備可以用在本發(fā)明的情況下。這樣，應(yīng)用與圖2中的瞬變檢測(cè)器103相類似的瞬變檢測(cè)器來(lái)分析包含瞬變事件的音頻信號(hào)。瞬變檢測(cè)器計(jì)算瞬變時(shí)間，即，圖I中的時(shí)間803，并且將該瞬變時(shí)間轉(zhuǎn)發(fā)至元數(shù)據(jù)計(jì)算器104’，可以將所述元數(shù)據(jù)計(jì)算器104’構(gòu)造為類似于圖2中的淡出/淡入計(jì)算器104’。通常，元數(shù)據(jù)計(jì)算器104’可以計(jì)算要轉(zhuǎn)發(fā)至信號(hào)輸出接口 900的元數(shù)據(jù)，其中該元數(shù)據(jù)可以包括針對(duì)瞬變?nèi)コ倪吔?，即，針?duì)第一時(shí)間部分的邊界，即，圖8b中的邊界805和806，或如圖8b中812、813所示的針對(duì)瞬變插入(第二時(shí)間部分)的邊界，或瞬變事件時(shí)刻803或甚至803’。即使在后一種情況下，信號(hào)操縱器將能夠根據(jù)瞬變事件時(shí)刻803來(lái)確定所有所需數(shù)據(jù)，即，第一時(shí)間部分?jǐn)?shù)據(jù)、第二時(shí)間部分?jǐn)?shù)據(jù)
坐寸ο將如項(xiàng)目104’所產(chǎn)生的元數(shù)據(jù)轉(zhuǎn)發(fā)至信號(hào)輸出接口，使得信號(hào)輸出接口產(chǎn)生信號(hào)，即，用于傳輸或存儲(chǔ)的輸出信號(hào)。輸出信號(hào)可以僅包括元數(shù)據(jù)或可以包括元數(shù)據(jù)和音頻信號(hào)，其中，在后一種情況下，元數(shù)據(jù)將表示音頻信號(hào)的輔助信息。這樣，可以經(jīng)由線901將音頻信號(hào)轉(zhuǎn)發(fā)至信號(hào)輸出接口 900?？梢詫⑿盘?hào)輸出接口 900所產(chǎn)生的輸出信號(hào)存儲(chǔ)在任何類型的存儲(chǔ)介質(zhì)上，或經(jīng)由任何種類的傳輸通道傳輸至信號(hào)操縱器或需要瞬變信息的任何其他設(shè)備。將注意的是，盡管以方框圖的形式描述了本發(fā)明，其中方框表示實(shí)際的或邏輯的硬件組件，然而還可以通過(guò)計(jì)算機(jī)實(shí)現(xiàn)的方法來(lái)實(shí)現(xiàn)本發(fā)明。在后一種情況下，方框表示相應(yīng)的方法步驟，其中這些步驟代表由相應(yīng)的邏輯或物理硬件模塊所執(zhí)行的功能。所述實(shí)施例僅僅是為了說(shuō)明本發(fā)明的原理。應(yīng)理解，對(duì)這里所述的布置和細(xì)節(jié)的修改和改變對(duì)于本領(lǐng)域技術(shù)人員而言顯而易見(jiàn)的。因此，意圖在于，僅受限于所附權(quán)利要求的范圍，而不受限于這里以對(duì)實(shí)施例的描述和解釋的方式而表現(xiàn)的特定細(xì)節(jié)。取決于本發(fā)明方法的特定實(shí)現(xiàn)要求，可以采用硬件或軟件的形式來(lái)實(shí)現(xiàn)本發(fā)明的方法?？梢允褂脭?shù)字存儲(chǔ)介質(zhì)來(lái)執(zhí)行所述實(shí)現(xiàn)，所述數(shù)字存儲(chǔ)介質(zhì)具體可以是磁盤、存儲(chǔ)有電可讀控制信號(hào)的DVD或CD，它們與可編程計(jì)算機(jī)系統(tǒng)協(xié)作以執(zhí)行本發(fā)明的方法。通常，因而可以將本發(fā)明實(shí)現(xiàn)為計(jì)算機(jī)程序產(chǎn)品，具有存 儲(chǔ)在機(jī)器可讀載體上的程序代碼，用于當(dāng)計(jì)算機(jī)程序產(chǎn)品在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行本發(fā)明的方法。換言之，本發(fā)明的方法從而是具有程序代碼的計(jì)算機(jī)程序，所述程序代碼用于當(dāng)所述計(jì)算機(jī)程序在計(jì)算機(jī)上運(yùn)行時(shí)執(zhí)行本發(fā)明的方法中至少一個(gè)方法。本發(fā)明的元數(shù)據(jù)信號(hào)可以存儲(chǔ)在任何機(jī)器可讀的存儲(chǔ)介質(zhì)上，如數(shù)字存儲(chǔ)介質(zhì)。
權(quán)利要求
1.一種用于操縱具有瞬變事件(801)的音頻信號(hào)的設(shè)備，包括 信號(hào)處理器(110)，用于處理瞬變減小的音頻信號(hào)，或用于處理包括瞬變事件(803)的音頻信號(hào)，以得到處理后的音頻信號(hào)，在所述瞬變減小的音頻信號(hào)中，包括瞬變事件(801)的第一時(shí)間部分(804)被去除了 ； 信號(hào)插入器(120)，用于在信號(hào)位置處將第二時(shí)間部分(809)插入處理后的音頻信號(hào)中，所述信號(hào)位置是第一部分被去除的信號(hào)位置或瞬變事件在處理后的音頻信號(hào)中所處的信號(hào)位置，其中第二時(shí)間部分(809)包括不受信號(hào)處理器(110)執(zhí)行的處理的影響的瞬變事件(801)，以得到受操縱的音頻信號(hào)；以及 輔助信息提取器(106)，用于提取并解釋與音頻信號(hào)相關(guān)聯(lián)的輔助信息，所述輔助信息指示瞬變事件的時(shí)間位置(803)，或指示第一時(shí)間部分或第二時(shí)間部分的起始時(shí)刻或停止時(shí)刻。
2.根據(jù)權(quán)利要求I所述的設(shè)備，還包括瞬變信號(hào)去除器(100)，用于從音頻信號(hào)中去除第一時(shí)間部分(804)，以得到瞬變減小的音頻信號(hào)，所述第一時(shí)間部分(804)包括瞬變事件(801)。
3.根據(jù)權(quán)利要求I或2所述的設(shè)備，其中，所述信號(hào)處理器(110)被配置為以基于頻率的方式(112，113)來(lái)處理瞬變減小的音頻信號(hào)，使得該處理向瞬變減小的音頻信號(hào)中引入隨不同的譜分量而有所不同的相移。
4.根據(jù)權(quán)利要求1-3中任意一項(xiàng)所述的設(shè)備，其中，所述信號(hào)插入器(120)被配置為通過(guò)復(fù)制至少第一時(shí)間部分(804)來(lái)產(chǎn)生第二時(shí)間部分，使得第二時(shí)間部分至少包括來(lái)自具有瞬變事件的音頻信號(hào)的第一時(shí)間部分的副本。
5.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的設(shè)備，其中，所述信號(hào)處理器包括聲碼器、相位聲碼器、或(P) SOLA處理器。
6.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的設(shè)備，還包括信號(hào)調(diào)節(jié)器(130)，用于通過(guò)對(duì)受操縱音頻信號(hào)的時(shí)間離散版本進(jìn)行抽取或插值來(lái)調(diào)節(jié)所述受操縱音頻信號(hào)。
7.根據(jù)前述權(quán)利要求中任意一項(xiàng)所述的設(shè)備，還包括瞬變檢測(cè)器(103)，用于檢測(cè)音頻信號(hào)中的瞬變事件，或 還包括輔助信息提取器(106)，用于提取并解釋與音頻信號(hào)相關(guān)聯(lián)的輔助信息，所述輔助信息指示瞬變事件的時(shí)間位置(803)，或指示第一時(shí)間部分或第二時(shí)間部分的起始時(shí)刻或停止時(shí)刻。
8.一種操縱具有瞬變事件(801)的音頻信號(hào)的方法，包括 處理(110)瞬變減小的音頻信號(hào)，或處理包括瞬變事件(803)的音頻信號(hào)，以得到處理后的音頻信號(hào)，在所述瞬變減小的音頻信號(hào)中，包括瞬變事件(801)的第一時(shí)間部分(804)被去除了 ； 在信號(hào)位置處將第二時(shí)間部分(809)插入(120)處理后的音頻信號(hào)中，所述信號(hào)位置是第一部分被去除的信號(hào)位置，或瞬變事件在處理后的音頻信號(hào)中所處的信號(hào)位置，其中第二時(shí)間部分(809)包括不受所述處理影響的瞬變事件(801)，以得到受操縱的音頻信號(hào)；以及 提取(106)并解釋與音頻信號(hào)相關(guān)聯(lián)的輔助信息，所述輔助信息指示瞬變事件的時(shí)間位置(803)，或指示第一時(shí)間部分或第二時(shí)間部分的起始時(shí)刻或停止時(shí)刻。
9.一種具有程序代碼的計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序運(yùn)行在計(jì)算機(jī)上時(shí)，所述程序代碼執(zhí)行根據(jù)權(quán)利要求8所述的方法。
全文摘要
一種信號(hào)操縱器，用于操縱具有瞬變事件的音頻信號(hào)，可以包括瞬變?nèi)コ?100)、信號(hào)處理器(110)以及信號(hào)插入器(120)，所述信號(hào)插入器(120)用于在信號(hào)位置將時(shí)間部分插入處理后的音頻信號(hào)中，使得受操縱音頻信號(hào)包括不受所述處理影響的瞬變事件，其中所述信號(hào)位置是在所述瞬變?nèi)コ鬟M(jìn)行處理之前去除瞬變事件的信號(hào)位置，從而瞬變事件的垂直相干性保持不變，而在信號(hào)處理器(110)中執(zhí)行的任何處理都不會(huì)破壞瞬變的垂直相干性。
文檔編號(hào)G10L21/045GK102881294SQ201210261998
公開(kāi)日2013年1月16日 申請(qǐng)日期2009年2月17日 優(yōu)先權(quán)日2008年3月10日
發(fā)明者薩沙·迪施, 弗雷德里克·納格爾, 尼古拉斯·里特爾博謝, 馬庫(kù)斯·馬特拉斯, 紀(jì)堯姆·福克斯 申請(qǐng)人:弗勞恩霍夫應(yīng)用研究促進(jìn)協(xié)會(huì)