專利名稱：差錯(cuò)隱藏裝置以及差錯(cuò)隱藏方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在發(fā)送、播發(fā)以及存儲(chǔ)媒體中的隱藏?fù)p失或者破損的數(shù)字信號(hào)(差錯(cuò))的技術(shù)。
背景技術(shù)：
在發(fā)送信息的分組或者幀時(shí)，無(wú)論通過(guò)有線還是無(wú)線的方法，這些分組的一部分都有發(fā)生損失或者破損的可能性。即使將帶寬增強(qiáng)、將網(wǎng)絡(luò)或傳輸技術(shù)進(jìn)行改良，類似這樣的損失都不能完全避免。
語(yǔ)音分組或者音頻分組發(fā)生損失或者破損時(shí)，結(jié)果會(huì)導(dǎo)致人耳可以聽(tīng)到的非自然信號(hào)(artfact)、音頻質(zhì)量惡化，導(dǎo)致變成人耳不能分辨的音頻內(nèi)容。類似這樣的惡化，在流的實(shí)時(shí)播放中或在傳輸中會(huì)特別給人帶來(lái)不愉快的感覺(jué)。
為了將這樣的惡化限制到最小的限度，差錯(cuò)隱藏處理進(jìn)行應(yīng)運(yùn)而生。該處理的基本的想法是將差錯(cuò)數(shù)據(jù)用一部分的合成數(shù)據(jù)或者生成數(shù)據(jù)進(jìn)行替換。差錯(cuò)隱藏的目的顧名思義在發(fā)送、接收、存儲(chǔ)、編碼處理或者解碼處理中，因?yàn)閿?shù)據(jù)損失或者數(shù)據(jù)破損而產(chǎn)生差錯(cuò)，為了隱藏這些差錯(cuò)，也就是將這些差錯(cuò)掩蓋起來(lái)，最好使差錯(cuò)不被識(shí)別出來(lái)、或者至少使差錯(cuò)不那么明顯。
將語(yǔ)音數(shù)據(jù)以及音頻數(shù)據(jù)作為對(duì)象的差錯(cuò)隱藏存在多種方式和技術(shù)。既有發(fā)送端支援型的，也有接收端基礎(chǔ)型的。發(fā)送端支援型的方法為發(fā)送端將損失或者破損的信息再次發(fā)送，或者在發(fā)送信息中嵌入糾錯(cuò)信息以便使損失數(shù)據(jù)得以恢復(fù)。接收端基礎(chǔ)型的方法則在進(jìn)行損失數(shù)據(jù)的隱藏處理時(shí)，不需要來(lái)自發(fā)送端的信息。這是要將損失或者破損的數(shù)據(jù)替換成有益的信息，由此來(lái)發(fā)揮作用，因此該信息通常是對(duì)損失或者破損的部分的推定。這些替換數(shù)據(jù)不需發(fā)送端的支援而在接收端生成。
接收端基礎(chǔ)型的差錯(cuò)隱藏處理有各種各樣的技術(shù)。簡(jiǎn)單的方法有噪聲抑制(muting)和數(shù)據(jù)復(fù)制(data repetition)。噪聲抑制只是單純地將差錯(cuò)數(shù)據(jù)替換成與該差錯(cuò)數(shù)據(jù)同樣時(shí)間長(zhǎng)的無(wú)聲或零值。另一方面，數(shù)據(jù)復(fù)制只是單純地將差錯(cuò)數(shù)據(jù)替換成最新的非差錯(cuò)數(shù)據(jù)。
如果使用數(shù)據(jù)插值技術(shù)(譬如非專利文獻(xiàn)1)，能夠得到比上述的簡(jiǎn)單方法更佳的結(jié)果。該方法通過(guò)從差錯(cuò)數(shù)據(jù)相鄰的非差錯(cuò)數(shù)據(jù)進(jìn)行插值，來(lái)試圖重新構(gòu)成替換數(shù)據(jù)。
而且還有更加復(fù)雜的方法。該方法為編解碼器相關(guān)型(codec dependent)，針對(duì)特殊類型的語(yǔ)音或音頻的編解碼器對(duì)該方法執(zhí)行了最優(yōu)化。這是利用用來(lái)導(dǎo)出編解碼器參數(shù)的音頻壓縮算法的知識(shí)，來(lái)再次生成用來(lái)替換損失數(shù)據(jù)的數(shù)據(jù)的方法。
圖1為表示將噪聲抑制、復(fù)制以及插值的各種差錯(cuò)隱藏處理組合在一起的差錯(cuò)隱藏技術(shù)的步驟的流程圖。
一旦接收了音頻數(shù)據(jù)的幀，就在ST101檢查該幀是否為差錯(cuò)幀。當(dāng)該幀不為差錯(cuò)幀時(shí)，在ST102將接收數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器，以便過(guò)后在ST107的插值處理中使用。接收幀當(dāng)在ST101被作為差錯(cuò)幀而檢測(cè)出來(lái)時(shí)，在ST103以及ST105進(jìn)行一系列的確定，如果系統(tǒng)內(nèi)還允許遲延的話，基于以前的或者過(guò)后的非差錯(cuò)幀，對(duì)當(dāng)前的差錯(cuò)幀適用哪種差錯(cuò)隱藏技術(shù)為最佳來(lái)作出判斷。在ST103進(jìn)行檢查，來(lái)判斷對(duì)當(dāng)前的差錯(cuò)幀進(jìn)行噪聲抑制是否恰當(dāng)。當(dāng)噪聲抑制被選擇時(shí)，在ST104當(dāng)前的差錯(cuò)幀被替換成零數(shù)據(jù)幀。也就是，當(dāng)前的差錯(cuò)幀被替換成無(wú)聲。當(dāng)噪聲抑制對(duì)該差錯(cuò)幀不恰當(dāng)時(shí)，在ST105進(jìn)行檢查，來(lái)判斷能否對(duì)該幀執(zhí)行插值。譬如，在突發(fā)差錯(cuò)不適于插值或沒(méi)有緩沖過(guò)后的數(shù)據(jù)的遲延的情形下，在ST106最后的非差錯(cuò)幀被反復(fù)在當(dāng)前的差錯(cuò)幀中。在ST105插值被選擇時(shí)，使用在ST102被存儲(chǔ)的數(shù)據(jù)，在ST107執(zhí)行插值處理。
I.Kauppinen等人的著書「Audio Signal Extrapolation-Theory and Applications」Proc.of 5th Int.Conf.on Digital Audio Effect、2000年9月發(fā)明內(nèi)容發(fā)明需要解決的問(wèn)題發(fā)送端基礎(chǔ)型的差錯(cuò)隱藏方式存在以下問(wèn)題再次發(fā)送成為導(dǎo)致更長(zhǎng)延遲的原因，而且用來(lái)恢復(fù)差錯(cuò)的嵌入信息使傳輸開(kāi)銷增加。這些狀態(tài)不適于實(shí)時(shí)的通信或者傳輸系統(tǒng)等的應(yīng)用。
接收端基礎(chǔ)型雖然不需要重發(fā)或來(lái)自發(fā)送端的追加信息，但是存在增加接收端的計(jì)算處理的負(fù)擔(dān)的問(wèn)題。這兩種方法都有各自不同的缺點(diǎn)。但是，一般來(lái)說(shuō)，因?yàn)榻邮斩私K端具備足夠的能力可以對(duì)應(yīng)，所以計(jì)算處理的增加通常是微不足道的。還有一個(gè)優(yōu)點(diǎn)就是，因?yàn)椴淮嬖谥匕l(fā)的遲延以及開(kāi)銷，更加適合用于實(shí)時(shí)系統(tǒng)。但是，上述的技術(shù)所示的簡(jiǎn)單的接收端基礎(chǔ)型的差錯(cuò)隱藏技術(shù)不能得到優(yōu)質(zhì)的差錯(cuò)隱藏結(jié)果。
噪聲抑制存在接收信號(hào)突然消失，而該結(jié)果會(huì)產(chǎn)生聲音電平的急劇變動(dòng)的問(wèn)題。使用噪聲抑制時(shí)如果發(fā)生突發(fā)差錯(cuò)，會(huì)導(dǎo)致長(zhǎng)時(shí)間的無(wú)聲狀態(tài)。而且此時(shí)接收了固定的差錯(cuò)時(shí)，還會(huì)導(dǎo)致發(fā)出“急拉的噪聲”(jerky)。
數(shù)據(jù)重復(fù)或者復(fù)制存在導(dǎo)致回聲效應(yīng)的問(wèn)題。該效應(yīng)在存在長(zhǎng)時(shí)間的突發(fā)差錯(cuò)時(shí)會(huì)減退。另外，不考慮相鄰幀之間的信號(hào)特性而只是替換幀的話，會(huì)出現(xiàn)界線不連續(xù)的問(wèn)題，發(fā)生刺耳的“咔嗒”聲、非自然信號(hào)的問(wèn)題。但是，該方法對(duì)單一的幀差錯(cuò)來(lái)講，比起噪聲抑制可以得到略好的隱藏結(jié)果。但是，對(duì)于突發(fā)差錯(cuò)來(lái)講依然無(wú)能為力。
插值存在源于界線不連續(xù)的問(wèn)題而發(fā)生“咔嗒”聲、非自然信號(hào)的問(wèn)題。對(duì)單一的幀差錯(cuò)來(lái)講，隱藏的質(zhì)量比起噪聲抑制以及復(fù)制時(shí)具有優(yōu)勢(shì)，但是對(duì)突發(fā)差錯(cuò)來(lái)講其質(zhì)量則大幅度地減退。這些技術(shù)雖然簡(jiǎn)單而且容易加以執(zhí)行，但卻不能等到令人滿意的隱藏結(jié)果。
編解碼器相關(guān)方式雖然能夠得到出色的結(jié)果，但卻稱不上具有足夠的通用性。通?？梢允褂迷摲椒ǖ闹幌抻谔囟ǖ膽?yīng)用或者特定的語(yǔ)音或音頻編解碼器。通過(guò)預(yù)測(cè)用于特定的編解碼器的參數(shù)，多種編解碼器相關(guān)方式能夠在壓縮域(compressed domain)發(fā)揮功效。通常類似這樣的方式需要更高的計(jì)算處理成本。
因此，本發(fā)明旨在提供一種語(yǔ)音信號(hào)或音頻信號(hào)的差錯(cuò)隱藏技術(shù)，而盡可能地抑制差錯(cuò)隱藏所產(chǎn)生的影響。
解決該問(wèn)題的方案本發(fā)明利用不同特性來(lái)分類語(yǔ)音數(shù)據(jù)或者音頻數(shù)據(jù)，并提供恰當(dāng)?shù)姆绞絹?lái)生成用來(lái)隱藏差錯(cuò)數(shù)據(jù)的替換數(shù)據(jù)。
圖2表示本發(fā)明涉及的差錯(cuò)隱藏裝置的主要結(jié)構(gòu)。
語(yǔ)音數(shù)據(jù)或者音頻數(shù)據(jù)可以經(jīng)由各種各樣的媒體來(lái)提供，譬如從存儲(chǔ)媒體(或經(jīng)由或者有線或無(wú)線網(wǎng)絡(luò)的傳輸系統(tǒng))200來(lái)接收。這些數(shù)據(jù)匯集于幀或分組中，通常采用壓縮形式。當(dāng)分組被接收后，使用適當(dāng)?shù)恼Z(yǔ)音或音頻解碼器250，將分組解碼成適于重放的非壓縮的音頻形式的幀。在所有的階段進(jìn)行檢驗(yàn)，確認(rèn)接收的分組是否存在損失或者破損，以及在接收分組的解碼過(guò)程中是否發(fā)生差錯(cuò)。無(wú)論在哪個(gè)階段發(fā)生了差錯(cuò)，差錯(cuò)隱藏處理單元300都會(huì)被通知，以便隱藏差錯(cuò)幀。
本發(fā)明涉及的差錯(cuò)隱藏處理單元300的內(nèi)部結(jié)構(gòu)如圖3的方框圖所示。
對(duì)所有的幀，都有用來(lái)通知的信號(hào)被發(fā)出，以便通知其為差錯(cuò)幀還是為非差錯(cuò)幀。通知信號(hào)檢測(cè)單元301檢測(cè)該信號(hào)，并對(duì)輸入數(shù)據(jù)的幀判斷應(yīng)該采取什么處理。當(dāng)幀為非差錯(cuò)幀時(shí)，該幀被存儲(chǔ)于采樣存儲(chǔ)單元302，相同數(shù)據(jù)的幀被輸出以備重放或存儲(chǔ)。存儲(chǔ)的數(shù)據(jù)在語(yǔ)音檢測(cè)單元303、暫態(tài)信號(hào)檢測(cè)單元305以及外插處理單元307，當(dāng)過(guò)后發(fā)生差錯(cuò)時(shí)被使用。當(dāng)為差錯(cuò)幀時(shí)，語(yǔ)音檢測(cè)單元303對(duì)之前的非差錯(cuò)數(shù)據(jù)的幀執(zhí)行判斷，判斷其為語(yǔ)音信號(hào)還是非語(yǔ)音信號(hào)。當(dāng)為語(yǔ)音幀時(shí)，語(yǔ)音復(fù)制處理單元304被使用，通過(guò)音調(diào)計(jì)算以及復(fù)制，用來(lái)隱藏差錯(cuò)幀的替換幀被生成出來(lái)。當(dāng)為非語(yǔ)音幀時(shí)，在暫態(tài)信號(hào)檢測(cè)單元305，執(zhí)行暫態(tài)信號(hào)的檢測(cè)處理，判斷其是否為攻擊信號(hào)。繼而，暫態(tài)信號(hào)檢測(cè)單元305，為濾波器組分析單元306，從之前的非差錯(cuò)幀中選擇恰當(dāng)?shù)膮^(qū)域(以下稱暫態(tài)區(qū)域)作為包含暫態(tài)信號(hào)的區(qū)域。濾波器組分析單元306通過(guò)濾波器組分析，生成N個(gè)子帶。這些子帶既可以是帶寬相等的，也可以是帶寬不同的。通過(guò)外插處理單元307，這些子帶分別被外插用來(lái)隱藏差錯(cuò)的子帶采樣，來(lái)生成針對(duì)當(dāng)前的差錯(cuò)幀的替換子帶數(shù)據(jù)。濾波器組合成單元308在使用經(jīng)外插處理單元307生成的子帶數(shù)據(jù)的同時(shí)，使用合成濾波器組，重新構(gòu)成用于組成生成數(shù)據(jù)的幀的子帶數(shù)據(jù)。生成的數(shù)據(jù)在送到采樣存儲(chǔ)單元302加以存儲(chǔ)之前，送到后處理單元309，以便解決幀界線不連續(xù)的問(wèn)題以及信號(hào)電平不一致的問(wèn)題。
外插處理單元307的內(nèi)部結(jié)構(gòu)如圖4的方框圖所示。
第一檢查單元401對(duì)各個(gè)子帶執(zhí)行第一檢查，以便判斷其對(duì)信號(hào)整體是否具有重要的貢獻(xiàn)。對(duì)于視為不重要的子帶，不進(jìn)行外插處理，取代該處理的是通過(guò)無(wú)聲替換單元402替換零值。對(duì)于視為重要的子帶，通過(guò)濾波器系數(shù)計(jì)算單元403，計(jì)算出用于外插濾波器的濾波器系數(shù)。第二檢查單元404對(duì)這些子帶進(jìn)行第二檢查，以便判斷子帶具有多大程度的周期性以及是否可以預(yù)測(cè)子帶(以下簡(jiǎn)稱為可預(yù)言性程度(predictability level))。對(duì)于分類為不具周期性而不能預(yù)測(cè)的子帶，因?yàn)樵撟訋П灰暈榕c噪聲相類似，子帶替換單元407將該子帶數(shù)據(jù)通過(guò)噪音替換單元替換成噪音數(shù)據(jù)，或者將該子帶數(shù)據(jù)替換成包含于相同的之前的幀(previous frame)中的子帶。對(duì)于分類為具周期性而能預(yù)測(cè)的子帶，通過(guò)濾波器階數(shù)調(diào)整單元405，基于經(jīng)第二檢查單元404推導(dǎo)出的可預(yù)言性程度來(lái)調(diào)整外插濾波器的濾波器階數(shù)(order)。對(duì)這些子帶通過(guò)外插單元406，使用濾波技術(shù)中普遍的外插濾波器進(jìn)行子帶采樣外插處理。
發(fā)明的有益效果根據(jù)本發(fā)明，能夠有效地隱藏?fù)p失或破損的幀。


圖1是表示將各種差錯(cuò)隱藏處理組合在一起的差錯(cuò)隱藏技術(shù)的步驟的流程圖。
圖2是表示本發(fā)明涉及的差錯(cuò)隱藏裝置的主要結(jié)構(gòu)的圖。
圖3是表示本發(fā)明涉及的差錯(cuò)隱藏處理單元的內(nèi)部結(jié)構(gòu)的方框圖。
圖4是表示本發(fā)明涉及的外插處理單元的內(nèi)部結(jié)構(gòu)的方框圖。
圖5是表示實(shí)施方式1的差錯(cuò)隱藏算法的詳細(xì)步驟的流程圖。
圖6是表示實(shí)施方式1的語(yǔ)音采樣生成處理的詳細(xì)步驟的流程圖。
圖7是表示實(shí)施方式1的音頻采樣生成處理的詳細(xì)步驟的流程圖。
圖8是表示實(shí)施方式1的幀界線平滑化處理的圖。
圖9是表示實(shí)施方式1的語(yǔ)音采樣生成處理所得到的信號(hào)的圖。
圖10是說(shuō)明實(shí)施方式1的攻擊信號(hào)的檢測(cè)的圖。
具體實(shí)施例方式
以下參照?qǐng)D5～圖7的一系列的流程圖以及圖8～圖10的說(shuō)明圖，說(shuō)明本發(fā)明的實(shí)施方式。
(實(shí)施方式1)首先說(shuō)明主要的幀框架。圖5是表示實(shí)施方式1的差錯(cuò)隱藏算法的詳細(xì)步驟的流程圖。接收幀分為以下三種非差錯(cuò)幀、作為語(yǔ)音的差錯(cuò)幀或者作為音頻的差錯(cuò)幀。
對(duì)于非差錯(cuò)幀進(jìn)行以下處理。
在ST501檢測(cè)接收的音頻幀是差錯(cuò)幀還是非差錯(cuò)幀。當(dāng)接收了非差錯(cuò)幀時(shí)，在ST513將該幀存儲(chǔ)于存儲(chǔ)器中，以便過(guò)后接收了差錯(cuò)幀時(shí)使用。該存儲(chǔ)器中具備先進(jìn)先出(FIFO)結(jié)構(gòu)，能夠存儲(chǔ)過(guò)去的音頻采樣的n個(gè)幀。存儲(chǔ)器的標(biāo)準(zhǔn)大小可以設(shè)定為2個(gè)幀，也就是說(shuō)最大可以存儲(chǔ)采樣中過(guò)去的幀的最新的2個(gè)幀。當(dāng)新的音頻幀到來(lái)了，存儲(chǔ)器的n個(gè)中的最舊的幀被丟棄，新幀被連接在存儲(chǔ)器中殘留的幀上。繼而，在ST512，當(dāng)前幀的差錯(cuò)標(biāo)記(errorflag)作為之前的差錯(cuò)標(biāo)記被存儲(chǔ)下來(lái)。該差錯(cuò)標(biāo)記在ST502，用于檢查之前的幀為差錯(cuò)幀或是為非差錯(cuò)幀。
當(dāng)差錯(cuò)幀被檢測(cè)出來(lái)時(shí)，差錯(cuò)幀的類型分類處理如下進(jìn)行。
在ST501差錯(cuò)幀被檢測(cè)出來(lái)時(shí)，在ST504實(shí)行分類，以便判斷當(dāng)前差錯(cuò)幀為語(yǔ)音類型(也就是周期性的)或是音頻類型(也就是非周期性的)。在此之前，在ST502，檢查該幀是否為接續(xù)于非差錯(cuò)幀的最開(kāi)始的差錯(cuò)幀，也就是檢查之前的幀是否為差錯(cuò)幀。
當(dāng)之前的幀為非差錯(cuò)幀時(shí)，在ST504，使用存儲(chǔ)于存儲(chǔ)器中的過(guò)去的采樣，檢測(cè)差錯(cuò)幀為語(yǔ)音類型幀或是音頻類型幀。這些過(guò)去的采樣基本上是在ST513存儲(chǔ)的之前的非差錯(cuò)幀。用于一般的語(yǔ)音編碼技術(shù)的語(yǔ)音檢測(cè)算法，在ST503都可以使用。作為一個(gè)簡(jiǎn)單的方法，取差錯(cuò)幀的之前的非差錯(cuò)幀的自相關(guān)，以便搜索周期性以及音調(diào)的信息。這些信息被存儲(chǔ)起來(lái)以備過(guò)后使用。
對(duì)于作為被分類為語(yǔ)音的差錯(cuò)幀進(jìn)行以下處理。
在ST504差錯(cuò)幀被分類為語(yǔ)音類型幀時(shí)，在ST505語(yǔ)音標(biāo)記被設(shè)定為1。語(yǔ)音標(biāo)記用于使連續(xù)的多個(gè)幀發(fā)生差錯(cuò)的突發(fā)差錯(cuò)的情形。在該情形，只有一系列的差錯(cuò)幀中的最開(kāi)始的差錯(cuò)幀通過(guò)在ST503的語(yǔ)音檢測(cè)，以后的連續(xù)的差錯(cuò)幀無(wú)需經(jīng)由再次檢測(cè)，繼續(xù)使用在ST503的在最開(kāi)始的檢測(cè)中已經(jīng)取得的結(jié)果即可。也就是說(shuō)，在ST502當(dāng)檢測(cè)出之前的幀也為差錯(cuò)幀時(shí)，因?yàn)樵谧铋_(kāi)始的差錯(cuò)幀檢測(cè)已經(jīng)進(jìn)行，所以跳過(guò)ST503的語(yǔ)音檢測(cè)。這就是使用語(yǔ)音標(biāo)記來(lái)判斷幀類型，判斷該幀為語(yǔ)音類型還是音頻類型。關(guān)于語(yǔ)音類型的信號(hào)，在ST506使用語(yǔ)音采樣生成處理來(lái)生成采樣，以便將當(dāng)前差錯(cuò)幀替換而隱藏差錯(cuò)或使其最小化。關(guān)于ST506隨后使用圖6說(shuō)明。
對(duì)于作為被分類為音頻的差錯(cuò)幀進(jìn)行以下處理。
在ST504當(dāng)前幀被分類為音頻類型幀時(shí)，在ST507語(yǔ)音標(biāo)記被設(shè)定為0。在該情形，在ST508使用音頻采樣生成處理來(lái)生成采樣，以便將當(dāng)前差錯(cuò)幀替換而隱藏差錯(cuò)。關(guān)于ST508隨后使用圖7詳細(xì)說(shuō)明。
對(duì)于被稱為后處理的進(jìn)行以下處理。
當(dāng)用于隱藏差錯(cuò)的采樣生成后，在ST509對(duì)生成后的采樣執(zhí)行信號(hào)調(diào)整。在幀界線通過(guò)非差錯(cuò)幀和差錯(cuò)隱藏幀之間時(shí)，會(huì)出現(xiàn)源于急劇的信號(hào)特性的變化的“咔嗒”噪聲以及“爆音(popping)”噪聲等的人耳可以聽(tīng)到的非自然信號(hào)，該信號(hào)處理的目的在于消減該非自然信號(hào)。譬如，生成的差錯(cuò)隱藏采樣比起之前的非差錯(cuò)幀來(lái)，有可能具有相差很大的信號(hào)電平或者功率。因此，生成的采樣在ST509，被調(diào)整為與差錯(cuò)幀之前的信號(hào)電平相一致。
差錯(cuò)隱藏采樣生成后，差錯(cuò)隱藏幀以后的幀有可能沒(méi)有良好地連續(xù)下去。因此在幀界線會(huì)發(fā)生不連續(xù)的問(wèn)題。在ST510通過(guò)執(zhí)行界線平滑化處理來(lái)解決該問(wèn)題。針對(duì)該問(wèn)題的有效的方法為如圖8所示，使用反方向外插以及信號(hào)的混合的界線平滑化處理。
在此另外表示不使用界線平滑化處理而可能產(chǎn)生的副作用。其中一個(gè)副作用為如圖8下部所示，信號(hào)發(fā)生急劇的變化時(shí)的不連續(xù)的問(wèn)題。后處理以后，在ST511，存儲(chǔ)生成的采樣。當(dāng)前差錯(cuò)標(biāo)記也在ST512作為之前的差錯(cuò)標(biāo)記被存儲(chǔ)。該差錯(cuò)標(biāo)記在ST502，用于檢查之前的幀為差錯(cuò)幀或是為非差錯(cuò)幀。
圖6是表示差錯(cuò)幀為被分類成語(yǔ)音類型時(shí)的語(yǔ)音采樣生成處理(圖5的ST506)的詳細(xì)步驟的流程圖。該流程圖提供了一個(gè)簡(jiǎn)單的方法來(lái)得到語(yǔ)音采樣。另外，通過(guò)如圖6所示的語(yǔ)音采樣生成處理而得到的信號(hào)如圖9所示。
使用在ST503的幀類型的分類過(guò)程中得到的音調(diào)信息，在ST601通過(guò)之前的非差錯(cuò)幀來(lái)復(fù)制段(segment)(幀的一部分)。該段具有在ST503所得到的音調(diào)周期的整倍數(shù)長(zhǎng)，但是不如一個(gè)幀長(zhǎng)。在ST602實(shí)行音調(diào)校準(zhǔn)(pitchalignment)，也就是復(fù)制幀的替換位置的調(diào)整，使復(fù)制幀的音調(diào)周期和之前的幀的音調(diào)周期取得一致。這是為了確保從非差錯(cuò)幀到復(fù)制幀為止的周期性具有連續(xù)性。該復(fù)制和位置校準(zhǔn)反復(fù)進(jìn)行，以便在ST603得到一個(gè)可以替換差錯(cuò)幀的完整的替換幀。另外，在上述的復(fù)制中，通過(guò)調(diào)整復(fù)制區(qū)間，也就是通過(guò)反復(fù)進(jìn)行復(fù)制來(lái)得到可以替換差錯(cuò)幀的替換幀，由此使復(fù)制幀的音調(diào)周期和之前的幀的周期頻率取得一致。
圖7是表示分類成音頻類型的差錯(cuò)幀被檢測(cè)出時(shí)的音頻采樣生成處理(圖5的ST508)的詳細(xì)步驟的流程圖。
為了隱藏差錯(cuò)幀而生成的采樣，主要從差錯(cuò)幀之前的非差錯(cuò)采樣(從ST513起)得到。通常這些沒(méi)有損失的完整的采樣中包含著信息，提取出來(lái)的話可以得到有關(guān)后續(xù)的信號(hào)將成為什么樣的線索。該處理有2個(gè)途徑。其中一個(gè)用于該差錯(cuò)幀之前的幀為非差錯(cuò)幀的情形。另一個(gè)用于該差錯(cuò)幀之前的幀為差錯(cuò)幀的情形。
對(duì)于新差錯(cuò)幀進(jìn)行以下的處理。
在ST701檢查之前的幀的差錯(cuò)狀態(tài)。當(dāng)之前的幀不為差錯(cuò)幀時(shí)，當(dāng)前差錯(cuò)幀為繼該非差錯(cuò)幀之后的最開(kāi)始的差錯(cuò)幀。在此，將當(dāng)前差錯(cuò)幀定義為幀E，將差錯(cuò)幀之前的非差錯(cuò)幀定義為幀P。
在ST702對(duì)幀P進(jìn)行攻擊信號(hào)的檢測(cè)。利用圖10說(shuō)明該攻擊信號(hào)的檢測(cè)。當(dāng)幀P不存在攻擊信號(hào)時(shí)，在后續(xù)的ST703的濾波器組分析中，使用該幀的整體。當(dāng)幀P中檢測(cè)出攻擊信號(hào)時(shí)，確認(rèn)攻擊信號(hào)的開(kāi)始位置，在幀P中的攻擊信號(hào)之前的采樣被丟棄。也就是，只有攻擊信號(hào)的開(kāi)始位置以后的采樣在過(guò)后的濾波器組分析中被使用。如前述的說(shuō)明，生成的采樣是從幀P的信號(hào)特征所得到的。因?yàn)樯傻男盘?hào)是模仿幀P而生成的，在后續(xù)處理中不將攻擊信號(hào)的開(kāi)始位置前的采樣(區(qū)域)排除的話，生成的信號(hào)通常會(huì)出現(xiàn)與來(lái)自幀P的攻擊信號(hào)相類似而比其小的縮小版(相似攻擊信號(hào))。因?yàn)檫@樣的“雙重攻擊”非常刺耳，很不理想。進(jìn)行上述的檢測(cè)的優(yōu)點(diǎn)在于通過(guò)排除信號(hào)的沒(méi)用的部分，也就是將攻擊信號(hào)的開(kāi)始位置以前的區(qū)域在后續(xù)處理中排除，能夠?qū)⑸尚盘?hào)的“雙重攻擊”的問(wèn)題抑制到最小。
從幀P中將沒(méi)用的部分排除，適當(dāng)?shù)剡x擇區(qū)域后，在ST703使用分析濾波器組，將信號(hào)分割成多個(gè)頻帶，也就是K個(gè)子帶。各個(gè)子帶的帶寬沒(méi)有必要相同。也就是，子帶帶寬一樣可以，不一樣也可以。譬如，存在長(zhǎng)度L以及K個(gè)子帶的幀時(shí)，可以考慮到的1個(gè)子帶結(jié)構(gòu)為，在開(kāi)始的K/4子帶，各個(gè)子帶具有L/(2K)采樣的帶寬。在下一個(gè)K/4子帶，各個(gè)子帶具有L/K采樣的帶寬，在最后的K/2子帶，各個(gè)子帶具有2L/K采樣的帶寬。也就是，子帶越低，與其對(duì)應(yīng)，子帶的帶寬也就越窄，其結(jié)果能夠得到更加出色的頻率解析度。子帶越高，與其對(duì)應(yīng)，子帶的帶寬也就越寬。另一個(gè)可以考慮到的結(jié)構(gòu)為，設(shè)定所有的子帶具有相同的L/K采樣的帶寬。
對(duì)于各個(gè)子帶，從子帶采樣能夠得到幾個(gè)參數(shù)。最開(kāi)始參數(shù)被計(jì)算出來(lái)，用來(lái)判斷對(duì)信號(hào)整體所作的貢獻(xiàn)的量以及該貢獻(xiàn)是否被視為重要。得到該參數(shù)的一個(gè)可能的方法為，計(jì)算∑{log[abs(Si+η)]}/Lsb。在此Si是子帶采樣，η是防止下溢發(fā)生的小值，Lsb是子帶長(zhǎng)(也就是帶寬)。該參數(shù)在ST704與閾值進(jìn)行比較。當(dāng)該值比閾值小時(shí)，ST705的標(biāo)記、跳躍標(biāo)記(skip flag)設(shè)定為“1”，表示該子帶從信號(hào)生成處理中被排除，在ST706該子帶被替換成零值，在ST706移動(dòng)到下一個(gè)子帶。當(dāng)該參數(shù)比閾值大時(shí)，ST707的跳躍標(biāo)記設(shè)定為“0”，表示該子帶包含于信號(hào)生成處理中，不被跳過(guò)。該跳躍標(biāo)記，當(dāng)后續(xù)的幀在ST718為差錯(cuò)幀時(shí)，還用于后續(xù)的幀。
在本發(fā)明的ST713以及ST721，信號(hào)外插被使用于音頻采樣生成處理。根據(jù)該方法，在ST708，已知的音頻信號(hào)的段用于使用博格的算法(Berg’salgorithm)而得到脈沖響應(yīng)系數(shù)asb，i組。這些系數(shù)中，加入了已知信號(hào)(在此為之前的非差錯(cuò)幀)，如以下(算式1)所示地取得用于替換和隱藏當(dāng)前差錯(cuò)幀的可線性預(yù)測(cè)的一系列信號(hào)。該信號(hào)外插法，只是一種生成可以用于隱藏差錯(cuò)幀的適當(dāng)?shù)男盘?hào)組的方法，利用其他的方法也可以。
計(jì)算出來(lái)的另一個(gè)參數(shù)是在ST709的可預(yù)言性程度Prsb。該參數(shù)用于對(duì)各個(gè)子帶評(píng)價(jià)信號(hào)可以預(yù)測(cè)的程度。該參數(shù)從根據(jù)博格的算法計(jì)算出的預(yù)測(cè)誤差殘差得到。在開(kāi)始重復(fù)博格的算法前，初始誤差殘差E0被計(jì)算出來(lái)。該誤差殘差在每次反復(fù)進(jìn)行系數(shù)計(jì)算處理時(shí)被更新，最后的反復(fù)后最后的預(yù)測(cè)誤差殘差E1被返回?？深A(yù)言性程度Prsb以及誤差殘差比率E0/E1之間的關(guān)系如下，當(dāng)E0/E1的比率小時(shí)，于此對(duì)應(yīng)，可預(yù)言性程度降低，或者與此相反的關(guān)系也同樣成立。這也就是說(shuō)，更低的E0/E1比率相當(dāng)于不易預(yù)言的信號(hào)。
外插濾波器FOsb的階數(shù)，因用于計(jì)算外插系數(shù)的過(guò)去的采樣的長(zhǎng)度而異。譬如，在計(jì)算外插濾波器系數(shù)時(shí)使用了L采樣，濾波器的最大階數(shù)僅為L(zhǎng)階。另外，基于可預(yù)言性程度Prsb，外插濾波器FOsb的階數(shù)在ST710，被適當(dāng)?shù)卣{(diào)整，可預(yù)言性程度高的話，減少外插濾波器的階數(shù)，或者當(dāng)可預(yù)言性程度低的話，增加外插濾波器的階數(shù)。這也就是說(shuō)，外插濾波器的階數(shù)以及可預(yù)言性程度之間成反比例關(guān)系FOsb∝(1/Prsb)。
在ST711，各個(gè)子帶的可預(yù)言性程度Prsb還用于決定是使用生成用于隱藏差錯(cuò)的子帶采樣的外插處理，還是使用替換差錯(cuò)幀的子帶替換法。外插標(biāo)記被設(shè)定為表示該決定，該標(biāo)記用于在ST720下一個(gè)幀也是差錯(cuò)幀的情形，同一子帶使用同一類型的信號(hào)生成方式。
當(dāng)可預(yù)言性程度超出閾值Prsb時(shí)，在ST712外插標(biāo)記被設(shè)定為“1”，表示使用信號(hào)外插法來(lái)生成子帶。可預(yù)言性程度Prsb還用于對(duì)外插信號(hào)的結(jié)果產(chǎn)生影響，以便在可預(yù)言性接近但超過(guò)閾值時(shí)，調(diào)整外插信號(hào)的結(jié)果。在信號(hào)外插法中，使用類似于如下所示的AR模式，根據(jù)之前的非差錯(cuò)采樣來(lái)預(yù)測(cè)并生成當(dāng)前采樣以便替換當(dāng)前差錯(cuò)幀。
y(n)＝-a1y(n-1)-a2y(n-2)-...-apy(n-p) …(算式1)其中，y(n)是當(dāng)前外插采樣，y(n-i)是過(guò)去的輸出采樣，ai是外插系數(shù)，p是預(yù)測(cè)子階數(shù)(predictive child order)。使用可預(yù)言性程度以影響外插信號(hào)的方法之一如下所示。
y(n)＝(-a1y(n-1)-a2y(n-2)-...-apy(n-p))×αlog(Prsb)…(算式2)其中α是控制對(duì)外插信號(hào)影響的量的因數(shù)。
當(dāng)可預(yù)言性程度Prsb比閾值小時(shí)，在ST714外插標(biāo)記被設(shè)定為“0”，表示在ST715使用子帶替換法?？深A(yù)言性程度同樣地用于決定使用的替換法。當(dāng)可預(yù)言性程度稍微低于閾值時(shí)，在子帶中來(lái)自之前的非差錯(cuò)幀P的相同子帶被重復(fù)。當(dāng)可預(yù)言性程度大大低于閾值時(shí)，子帶只是被替換成隨機(jī)信號(hào)。
在ST716檢查是否所有的子帶被處理，繼而在ST717使用合成濾波器組合成K個(gè)子帶，重新構(gòu)造用于隱藏當(dāng)前差錯(cuò)幀的生成信號(hào)。
對(duì)于后續(xù)的差錯(cuò)幀進(jìn)行以下的處理。
在ST701當(dāng)之前的幀也被表示為差錯(cuò)幀時(shí)，采樣生成處理從之前的幀停止的時(shí)候開(kāi)始繼續(xù)進(jìn)行。濾波器階數(shù)、可預(yù)言性程度等，之前計(jì)算出來(lái)的參數(shù)被再次使用。這些參數(shù)，不會(huì)被再次計(jì)算。檢查特定的子帶是否需要生成，它通過(guò)在ST718中的跳躍標(biāo)記以及在ST720中的外插標(biāo)記表示出來(lái)。這些標(biāo)記在ST704、ST705、ST707、ST711、ST712以及ST714中，從非差錯(cuò)幀之后到最開(kāi)始的差錯(cuò)幀之間進(jìn)行判斷。
在ST718，檢查是否可以將子帶從信號(hào)生成中排除。如跳躍標(biāo)記所示的可以排除的情形，在ST719被替換成零值。不能從信號(hào)生成排除的情形，在ST720檢查子帶通過(guò)外插被生成還是使用替換法。
當(dāng)需要生成子帶時(shí)，使用與ST713類似的ST721的采樣外插步驟，重新生成該子帶中的采樣。已經(jīng)在ST708、ST709以及ST710中計(jì)算出的濾波器階數(shù)、濾波器系數(shù)、可預(yù)言性程度等的參數(shù)，如上述的外插步驟一樣被使用。
當(dāng)不需要生成子帶時(shí)，在ST722使用子帶替換法。根據(jù)可預(yù)言性程度，決定是否如上述一樣使用噪聲替換或子帶反復(fù)的任意的替換法。
上述的步驟在ST723對(duì)所有的子帶進(jìn)行重復(fù)后，時(shí)間采樣(time sample)的幀在ST717使用子帶合成濾波器組，從用于隱藏差錯(cuò)幀而重新生成的K個(gè)子帶重新構(gòu)成。
如上所述，根據(jù)本發(fā)明，對(duì)單一或者多個(gè)的、損失或者破損的幀能夠有效地隱藏。此為接收端基礎(chǔ)型的差錯(cuò)隱藏方式，因?yàn)椴话l(fā)生重發(fā)延遲，傳輸開(kāi)銷又小，所以適于實(shí)時(shí)通信或傳輸系統(tǒng)。而且不是編解碼器相關(guān)型，可作為獨(dú)立模塊(standalone module)來(lái)使用，因此廣泛地適于音頻應(yīng)用?！凹崩脑肼暋薄⒒芈曅?yīng)，“咔嗒”噪聲等非自然信號(hào)能夠大大消減。輸入信號(hào)被分類成語(yǔ)音和音頻，能夠根據(jù)信號(hào)的分類來(lái)使用恰當(dāng)?shù)牟铄e(cuò)隱藏方法。另外，在進(jìn)行暫態(tài)信號(hào)以及暫態(tài)區(qū)域的檢測(cè)時(shí)，通過(guò)選擇濾波器組分析的幀的恰當(dāng)?shù)膮^(qū)域，降低類似暫態(tài)信號(hào)被重新生成的可能性，該類似暫態(tài)信號(hào)為可能成為刺耳的重新生成信號(hào)。使用濾波器組將信號(hào)分解成更小的頻寬，由此能夠基于信號(hào)特性將不同的信號(hào)重新生成方式適用于各個(gè)組，信號(hào)特性是指可預(yù)言性程度以及各個(gè)子帶對(duì)信號(hào)整體的貢獻(xiàn)的重要性等。通過(guò)外插處理能夠得到連續(xù)性的信號(hào)，這樣能夠解決差錯(cuò)幀的開(kāi)始時(shí)刻的界線不連續(xù)的問(wèn)題，該問(wèn)題為導(dǎo)致非自然信號(hào)的主要原因之一。差錯(cuò)幀的結(jié)束時(shí)刻的不連續(xù)的問(wèn)題，使用反方向外插、信號(hào)混合以及信號(hào)電平調(diào)整被解決。
另外，在此舉了通過(guò)硬件來(lái)構(gòu)成本發(fā)明的例子來(lái)說(shuō)明，本發(fā)明還可以通過(guò)軟件來(lái)實(shí)現(xiàn)。
本發(fā)明的第一方面，為一種差錯(cuò)隱藏的方法，將輸入數(shù)據(jù)分類成各種各樣的特性，適用恰當(dāng)?shù)姆椒▉?lái)生成用來(lái)隱藏差錯(cuò)數(shù)據(jù)的替換數(shù)據(jù)，所述方法包括以下步驟(1a)檢測(cè)接收幀為差錯(cuò)幀或?yàn)榉遣铄e(cuò)幀；(1b)當(dāng)所述接收幀作為被稱為之前的非差錯(cuò)幀的所述非差錯(cuò)幀被檢測(cè)出來(lái)時(shí)，將所述非差錯(cuò)幀存儲(chǔ)起來(lái)以備過(guò)后的處理；(1c)當(dāng)所述接收幀作為所述差錯(cuò)幀被檢測(cè)出來(lái)時(shí)，將所述差錯(cuò)幀分類成可能的語(yǔ)音幀或被稱為音頻幀的非語(yǔ)音幀；(1d)當(dāng)所述差錯(cuò)幀被分類成所述語(yǔ)音幀時(shí)，生成用于替換所述差錯(cuò)幀的替換語(yǔ)音幀；(1e)當(dāng)所述差錯(cuò)幀被分類成所述音頻幀時(shí)，生成用于替換所述差錯(cuò)幀的替換音頻幀；(1f)對(duì)所述替換幀執(zhí)行信號(hào)處理；(1g)對(duì)所述替換幀執(zhí)行界線平滑化處理；以及，(1h)存儲(chǔ)所述替換幀以備過(guò)后的處理。
本發(fā)明的第二方面為，記載于步驟(1b)以及(1h)的所述過(guò)后的處理，重復(fù)包括從步驟(1b)到(1g)為止的一個(gè)或者多個(gè)步驟的方法。
本發(fā)明的第三方面為，記載于步驟(1c)的所述分類，計(jì)算出所述差錯(cuò)幀前面的之前的非差錯(cuò)幀的自相關(guān)，并搜索音調(diào)周期是否存在，由此來(lái)執(zhí)行分類的方法。
本發(fā)明的第四方面為，將記載于本發(fā)明第三方面的所述音調(diào)周期用于以下的分類的方法，可容許所述音調(diào)周期被檢測(cè)出來(lái)時(shí)，作為所述語(yǔ)音幀來(lái)分類所述差錯(cuò)幀；所述音調(diào)周期無(wú)法檢測(cè)出來(lái)時(shí)，作為所述音頻幀來(lái)分類所述差錯(cuò)幀。
本發(fā)明的第五方面為，記載于步驟(1d)的所述替換語(yǔ)音幀生成處理還包括以下步驟的方法(5a)復(fù)制所述之前的非差錯(cuò)幀；(5b)將所述復(fù)制幀的音調(diào)周期校準(zhǔn)為所述非差錯(cuò)幀的所述音調(diào)周期而解決界線的非連續(xù)性的問(wèn)題；以及，(5c)反復(fù)所述復(fù)制處理以及所述位置校準(zhǔn)處理直到生成所述替換幀的一個(gè)幀為止。
本發(fā)明的第六方面為，記載于步驟(1e)的所述替換音頻幀，通過(guò)從所述差錯(cuò)幀之前的所述非差錯(cuò)幀開(kāi)始外插來(lái)生成的方法，所述方法還包括以下步驟(6a)檢測(cè)所述差錯(cuò)幀前面的所述之前的幀是否為攻擊信號(hào)；(6b)為了濾波器組分析，從所述之前的幀中選擇恰當(dāng)?shù)膮^(qū)域；(6c)在從所述之前的幀開(kāi)始的所述選擇區(qū)域，執(zhí)行濾波器組分析，并取得K個(gè)稱為之前的子帶的K個(gè)子帶；(6d)判斷被稱為差錯(cuò)子帶的、差錯(cuò)幀的各個(gè)所述差錯(cuò)子帶的重要性；(6e)判斷用于外插的被稱為外插濾波器階數(shù)的濾波器的階數(shù)；(6f)使用外插處理所使用的所述之前的子帶來(lái)計(jì)算被稱為外插濾波器系數(shù)的濾波器系數(shù)；
(6g)判斷被稱為可預(yù)言性程度Pr，即所述之前的子帶在多大程度上可能預(yù)測(cè)；(6h)基于所述可預(yù)言性程度來(lái)調(diào)整外插濾波器的被稱為外插濾波器階數(shù)F0的所述濾波器階數(shù)；以及，(6i)生成所述差錯(cuò)子帶的替換子帶。
本發(fā)明的第七方面為，為了消減由于信號(hào)電平的急劇變動(dòng)而產(chǎn)生的非自然信號(hào)，記載于步驟(1f)的所述信號(hào)處理通過(guò)調(diào)整所述替換幀的信號(hào)以便使信號(hào)電平接近之前的幀而被執(zhí)行的方法。
本發(fā)明的第八方面，記載于步驟(1g)的所述界線平滑化處理通過(guò)以下方法來(lái)完成，使用反方向外插，從后續(xù)幀生成采樣的短段，繼而將所述段與所述替換幀進(jìn)行交叉衰減(cross fading)以及混合，以便消減由界線不連續(xù)的問(wèn)題而產(chǎn)生的非自然信號(hào)。
本發(fā)明的第九方面為以下方法，記載于步驟(6b)的所述恰當(dāng)?shù)膮^(qū)域?yàn)橐韵碌膮^(qū)域，從所述之前的幀中的攻擊信號(hào)開(kāi)始到所述之前的幀結(jié)束為止的區(qū)域；或者所述攻擊信號(hào)未被檢測(cè)出來(lái)時(shí)，所述恰當(dāng)?shù)膮^(qū)域?yàn)樗鲋暗膸恼w。
本發(fā)明的第十方面為以下方法，記載于步驟(6c)的所述子帶的帶寬可以相等也可以不等，使得較低頻率的區(qū)域具有比較高頻率的區(qū)域或者所有可能的構(gòu)成都要低的帶寬。
本發(fā)明的第十一方面為以下方法，記載于步驟(6d)的各個(gè)所述差錯(cuò)子帶的所述重要性，根據(jù)所述子帶對(duì)所述之前的非差錯(cuò)幀的貢獻(xiàn)有多大程度的重要性來(lái)決定。
本發(fā)明的第十二方面為以下方法，記載于步驟(6e)的所述濾波器階數(shù)通過(guò)以下方法計(jì)算出來(lái)，將在本發(fā)明的第六方面的步驟(6b)所選擇的所述區(qū)域的長(zhǎng)度除以濾波器組分析的子帶的數(shù)目。
本發(fā)明的第十三方面為，記載于步驟(6f)的所述外插濾波器系數(shù)通過(guò)博格算法計(jì)算出來(lái)，該算法將所述之前的子帶作為輸入來(lái)使用的方法。另外，所述濾波器系數(shù)通過(guò)AR濾波器被使用，以便使用所述之前的子帶的采樣并將采樣進(jìn)行外插。
本發(fā)明的第十四方面為以下方法，記載于步驟(6g)的所述可預(yù)言性程度Pr通過(guò)所述博格的算法計(jì)算出來(lái)的預(yù)測(cè)誤差殘差得到，并如Pr∝E0/E1所示，與在所述博格的算法處理之前被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E0與在所述博格的算法處理之后被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E1的比率成比例。
本發(fā)明的第十五方面為以下方法，記載于步驟(6h)的所述外插濾波器階數(shù)F0基于可預(yù)言性程度Pr來(lái)調(diào)整，當(dāng)可預(yù)言性程度高的話，與其對(duì)應(yīng)減少外插濾波器階數(shù)，相反當(dāng)可預(yù)言性程度低的話，與其對(duì)應(yīng)增加外插濾波器階數(shù)，如FO∝(1/Pr)所示，外插濾波器的階數(shù)與所述可預(yù)言性程度的值成反比例關(guān)系。
本發(fā)明的第十六方面為，記載于步驟(6i)的所述替換子帶，對(duì)應(yīng)于所述重要性的條件以及所述之前的子帶的所述可預(yù)言性程度來(lái)生成的方法，所述方法還包括以下步驟(16a)所述差錯(cuò)子帶在步驟(6d)被分類成重要，所述可預(yù)言性程度超出預(yù)定的閾值時(shí)，使用被稱為子帶外插的信號(hào)外插，生成所述差錯(cuò)子帶的所述替換子帶；(16b)所述差錯(cuò)子帶在步驟(6d)被分類成重要，所述可預(yù)言性程度稍微低于預(yù)定的閾值而接近該值時(shí)，通過(guò)被稱為子帶反復(fù)的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該子帶反復(fù)為將所述差錯(cuò)子帶替換成所述之前的非差錯(cuò)幀中的對(duì)應(yīng)的所述之前的子帶的操作；(16c)所述差錯(cuò)子帶在步驟(6d)被分類成重要，所述可預(yù)言性程度為其他的值時(shí)，通過(guò)被稱為噪聲替換的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該噪聲替換為將所述差錯(cuò)子帶替換成噪聲的操作；以及，(16d)所述差錯(cuò)子帶在步驟(6d)被分類成不重要，通過(guò)被稱為無(wú)聲替換的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該無(wú)聲替換為將所述差錯(cuò)子帶替換成零值的操作。
本發(fā)明的第十七方面，記載于步驟(16a)的所述替換子帶，還受可預(yù)言性程度Pr的影響，外插值如以下所示，通過(guò)所述可預(yù)言性程度Pr的縮小版被調(diào)整。
y(n)＝(-a1y(n-1)-a2y(n-2)-...-apy(n-p))×αlog(Pr) …(算式3)本發(fā)明的第十八方面，是通過(guò)從所述差錯(cuò)幀之前的非差錯(cuò)幀開(kāi)始進(jìn)行外插來(lái)生成差錯(cuò)幀的替換幀的方法，所述方法包括以下步驟(18a)檢測(cè)所述差錯(cuò)幀前面的所述之前的幀是否為攻擊信號(hào)；(18b)為了分析從所述之前的幀中選擇恰當(dāng)?shù)膮^(qū)域；
(18c)在從所述之前的幀開(kāi)始的所述選擇區(qū)域，執(zhí)行濾波器組分析，并取得K個(gè)稱為之前的子帶的K個(gè)子帶；(18d)判斷被稱為差錯(cuò)子帶的差錯(cuò)幀的各個(gè)所述差錯(cuò)子帶的重要性；(18e)判斷被稱為外插濾波器階數(shù)的用于外插的濾波器的階數(shù)；(18f)使用外插處理所使用的所述之前的子帶來(lái)計(jì)算被稱為外插濾波器系數(shù)的濾波器系數(shù)；(18g)判斷被稱為可預(yù)言性程度Pr，即所述之前的子帶在多大程度上可能預(yù)測(cè)；(18h)基于所述可預(yù)言性程度來(lái)調(diào)整外插濾波器的所述濾波器階數(shù)；以及，(18i)生成所述差錯(cuò)子帶的替換子帶。
本發(fā)明的第十九方面為以下方法，記載于步驟(18b)的所述恰當(dāng)?shù)膮^(qū)域?yàn)橐韵碌膮^(qū)域，從所述之前的幀中的攻擊信號(hào)開(kāi)始到所述之前的幀結(jié)束為止的區(qū)域；或者所述攻擊信號(hào)未被檢測(cè)出來(lái)時(shí)，所述恰當(dāng)?shù)膮^(qū)域?yàn)樗鲋暗膸恼w。
本發(fā)明的第二十方面為以下方法，記載于步驟(18c)的所述子帶的帶寬可以相等也可以不等，使得較低頻率的區(qū)域具有比較高頻率的區(qū)域或者所有可能的構(gòu)成都要低的帶寬。
本發(fā)明的第二十一方面為以下方法，記載于步驟(18d)的各個(gè)所述差錯(cuò)子帶的所述重要性，根據(jù)所述子帶對(duì)所述之前的非差錯(cuò)幀的貢獻(xiàn)有多大程度的重要性來(lái)決定。
本發(fā)明的第二十二方面為以下方法，記載于步驟(18e)的所述濾波器階數(shù)通過(guò)以下方法計(jì)算出來(lái)，將在步驟(18b)選擇的所述區(qū)域的長(zhǎng)度除以濾波器組分析的子帶的數(shù)目。
本發(fā)明的第二十三方面為以下方法，記載于步驟(18f)的所述外插濾波器系數(shù)通過(guò)博格算法計(jì)算出來(lái)，該算法將所述之前的子帶作為輸入來(lái)使用。另外，所述濾波器系數(shù)通過(guò)AR濾波器被使用，以便使用所述之前的子帶的采樣并將采樣進(jìn)行外插。
本發(fā)明的第二十四方面為以下方法，記載于步驟(18g)的所述可預(yù)言性程度Pr通過(guò)所述博格的算法計(jì)算出來(lái)的預(yù)測(cè)誤差殘差得到，并如Pr∝E0/E1所示，與在所述博格的算法處理之前被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E0與在所述博格的算法處理之后被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E1的比率成比例。
本發(fā)明的第二十五方面為以下方法，記載于步驟(18h)的所述外插濾波器階數(shù)F0基于可預(yù)言性程度Pr來(lái)調(diào)整，當(dāng)可預(yù)言性程度高的話，與其對(duì)應(yīng)減少外插濾波器階數(shù)；與其相反，當(dāng)可預(yù)言性程度低的話，與其對(duì)應(yīng)增加外插濾波器階數(shù)，如FO∝(1/Pr)所示，外插濾波器的階數(shù)與所述可預(yù)言性程度的值成反比例關(guān)系。
本發(fā)明的第二十六方面為，記載于步驟(18i)的所述替換子帶，對(duì)應(yīng)于所示重要性的條件以及所述之前的子帶的所述可預(yù)言性程度來(lái)生成的方法，所述方法還包括以下步驟(26a)所述差錯(cuò)子帶在步驟(16d)被分類成重要，所述可預(yù)言性程度超出預(yù)定的閾值時(shí)，使用被稱為子帶外插的信號(hào)外插，生成所述差錯(cuò)子帶的所述替換子帶；(26b)所述差錯(cuò)子帶在步驟(16d)被分類成重要，所述可預(yù)言性程度稍微低于預(yù)定的閾值而接近該值時(shí)，通過(guò)被稱為子帶反復(fù)的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該子帶反復(fù)為將所述差錯(cuò)子帶替換成所述之前的非差錯(cuò)幀中的對(duì)應(yīng)的所述之前的子帶的操作；(26c)所述差錯(cuò)子帶在步驟(16d)被分類成重要，所述可預(yù)言性程度為其他的值時(shí)，通過(guò)被稱為噪聲替換的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該噪聲替換為將所述差錯(cuò)子帶替換成噪聲的操作；以及，(26d)所述差錯(cuò)子帶在步驟(16d)被分類成不重要，通過(guò)被稱為無(wú)聲替換的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該無(wú)聲替換為將所述差錯(cuò)子帶替換成零值的操作。
本發(fā)明的第二十七方面為以下方法，記載于步驟(26a)的所述替換子帶，還受可預(yù)言性程度Pr的影響，外插值如以下所示，根據(jù)所述可預(yù)言性程度Pr的縮小版被調(diào)整。
y(n)＝(-a1y(n-1)-a2y(n-2)-...-apy(n-p))×αlog(Pr) …(算式4)本發(fā)明的第二十八方面，是一種基于重要性的條件以及之前的子帶的可預(yù)言性程度Pr，來(lái)生成差錯(cuò)幀的替換子帶的方法，所述方法還包括以下步驟(28a)所述差錯(cuò)子帶被分類成重要，所述可預(yù)言性程度超出預(yù)定的閾值時(shí)，使用被稱為子帶外插的信號(hào)外插，生成所述差錯(cuò)子帶的所述替換子帶；(28b)所述差錯(cuò)子帶被分類成重要，所述可預(yù)言性程度稍微低于預(yù)定的閾值而接近該值時(shí)，通過(guò)被稱為子帶反復(fù)的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該子帶反復(fù)為將所述差錯(cuò)子帶替換成所述之前的非差錯(cuò)幀中的對(duì)應(yīng)的所述之前的子帶的操作；(28c)所述差錯(cuò)子帶被分類成重要，所述可預(yù)言性程度為其他的值時(shí)，通過(guò)被稱為噪聲替換的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該噪聲替換為將所述差錯(cuò)子帶替換成噪聲的操作；以及，(28d)所述差錯(cuò)子帶被分類成不重要，通過(guò)被稱為無(wú)聲替換的操作來(lái)生成所述差錯(cuò)子帶的所述替換子帶，該無(wú)聲替換為將所述差錯(cuò)子帶替換成零值的操作。
本發(fā)明的第二十九方面，其特征在于記載于步驟(28a)的所述替換子帶，還受可預(yù)言性程度Pr的影響，外插值如以下所示，根據(jù)所述可預(yù)言性程度Pr的縮小版被調(diào)整。
y(n)＝(-a1y(n-1)-a2y(n-2)-...-apy(n-p))×αlog(Pr) …(算式5)本發(fā)明的第三十方面，是一種為了濾波器組分析從非差錯(cuò)幀選擇恰當(dāng)?shù)膮^(qū)域的方法，所述方法包括以下步驟(30a)搜索所述非差錯(cuò)幀中的攻擊信號(hào)的突然的開(kāi)始；以及，(30b)選擇用于濾波器組分析的區(qū)域；本發(fā)明的第31方面，是一種所述區(qū)域的選擇方法當(dāng)攻擊信號(hào)的所述開(kāi)始存在于所述非差錯(cuò)幀中時(shí)，在步驟(30b)選擇從所述攻擊信號(hào)的開(kāi)始到所述非差錯(cuò)幀的結(jié)束為止的區(qū)域；或者所述非差錯(cuò)幀中不存在攻擊信號(hào)時(shí)，在步驟(30b)選擇所述非差錯(cuò)幀的區(qū)域整體。
本發(fā)明的第三十二方面，是一種計(jì)算外插濾波器的濾波器階數(shù)的方法，所述方法包括以下步驟(32a)搜索非差錯(cuò)幀中的攻擊信號(hào)的突然的開(kāi)始；(32b)計(jì)算用來(lái)得到濾波器階數(shù)的長(zhǎng)度；以及，(32c)將所述長(zhǎng)度除以濾波器組分析的子帶的數(shù)目來(lái)計(jì)算除所述濾波器階數(shù)。
本發(fā)明的第33方面，是一種所述長(zhǎng)度的選擇方法當(dāng)攻擊信號(hào)的所述開(kāi)始存在于所述非差錯(cuò)幀中時(shí)，在步驟(32b)選擇從所述攻擊信號(hào)的開(kāi)始到所述非差錯(cuò)幀的結(jié)束為止的長(zhǎng)度；或者所述非差錯(cuò)幀中不存在攻擊信號(hào)時(shí)，在步驟(32b)選擇所述非差錯(cuò)幀的區(qū)域整體為長(zhǎng)度。
本發(fā)明的第三十四方面，是一種調(diào)整外插濾波器階數(shù)的方法，所述方法包括以下步驟(34a)設(shè)定被稱為外插濾波器階數(shù)的用于外插的濾波器的初始階數(shù)；(34b)計(jì)算被稱為外插濾波器系數(shù)的用于子帶的外插處理的濾波器系數(shù)；(34c)判斷被稱為可預(yù)言性程度Pr，即所述子帶在多大程度上可能預(yù)測(cè)；以及，(34d)基于所述可預(yù)言性程度來(lái)調(diào)整被稱為外插濾波器階數(shù)F0的外插濾波器的所述濾波器階數(shù)。
本發(fā)明的第三十五方面為以下方法，記載于步驟(34b)的所述外插濾波器系數(shù)通過(guò)博格算法計(jì)算出來(lái)，該算法使用所述子帶的采樣。
本發(fā)明的第三十六方面為以下方法，記載于步驟(34c)的所述可預(yù)言性程度Pr通過(guò)所述博格的算法計(jì)算出來(lái)的預(yù)測(cè)誤差殘差得到，并如Pr∝E0/E1所示，與在所述博格的算法處理之前被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E0與在所述博格的算法處理之后被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E1的比率成比例。
本發(fā)明的第三十七方面為以下方法，記載于步驟(34d)的所述外插濾波器階數(shù)F0基于可預(yù)言性程度Pr來(lái)調(diào)整，當(dāng)可預(yù)言性程度高的話，與其對(duì)應(yīng)減少外插濾波器階數(shù)；與其相反，當(dāng)可預(yù)言性程度低的話，與其對(duì)應(yīng)增加外插濾波器階數(shù)，如FO∝(1/Pr)所示，外插濾波器的階數(shù)與可預(yù)言性程度的值成反比例關(guān)系。
本發(fā)明的第三十八方面，是一種用于生成替換幀的子帶選擇方法，所述方法包括以下步驟(38a)對(duì)幀判斷各個(gè)所述差錯(cuò)子帶的重要性；(38b)判斷被稱為可預(yù)言性程度Pr，即所述之前的子帶在多大程度上可能預(yù)測(cè)；以及，(38c)選擇子帶替換方法。
本發(fā)明的第三十九方面，是記載于步驟(38a)的各個(gè)所述子帶的所述重要性的決定方法，根據(jù)所述子帶對(duì)所述幀的貢獻(xiàn)有多大程度的重要性來(lái)決定。
本發(fā)明的第四十方面，是記載于步驟(38b)的所述可預(yù)言性程度Pr通過(guò)所述博格的算法計(jì)算出來(lái)的預(yù)測(cè)誤差殘差而得到的方法，如Pr∝E0/E1所示，與在所述博格的算法處理之前被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E0與在所述博格的算法處理之后被計(jì)算出來(lái)的所述預(yù)測(cè)殘差E1的比率成比例。
本發(fā)明的第四十一方面，是記載于步驟(38c)的所述替換方法，基于所述重要性的條件以及所述子帶的所述可預(yù)言性程度來(lái)選擇，所述方法還包括以下步驟(41a)所述子帶在步驟(38a)被分類為重要，并當(dāng)所述可預(yù)言性程度超出預(yù)定的閾值時(shí)，選擇信號(hào)外插方法；(41b)所述差錯(cuò)子帶在步驟(38a)被分類為重要，并當(dāng)所述可預(yù)言性程度稍微低于預(yù)定的閾值而接近該值時(shí)，選擇子帶反復(fù)方法；(41c)所述差錯(cuò)子帶在步驟(38a)被分類為重要，并當(dāng)所述可預(yù)言性程度為其他的值時(shí)，選擇噪聲替換方法；以及，(41d)所述差錯(cuò)子帶在步驟(38a)被分類為不重要時(shí)，選擇無(wú)聲替換方法。
另外，上述的各功能模塊，典型的由集成電路LSI(大規(guī)模集成電路)來(lái)實(shí)現(xiàn)。這些既可以分別實(shí)行單芯片化，也可以包含其中一部分或者是全部而實(shí)行單芯片化。
另外，在此雖然稱做LSI，但根據(jù)集成度的不同也可以稱為IC(集成電路)、系統(tǒng)LSI(系統(tǒng)大規(guī)模集成電路)、超LSI(超大規(guī)模集成電路)、極大LSI(極大規(guī)模集成電路)。
另外，集成電路化的技術(shù)不只限于LSI，也可以使用專用電路或通用處理器來(lái)實(shí)現(xiàn)。也可以利用LSI制造后能夠編程的FPGA(Field ProgrammableGate Array，現(xiàn)場(chǎng)可編程門陣列)，或可以利用將LSI內(nèi)部的電路塊連接或設(shè)定重新配置的可重配置處理器(Reconfigurable Processor)。
再有，如果隨著半導(dǎo)體技術(shù)的進(jìn)步或者其他技術(shù)的派生，出現(xiàn)了替換LSI集成電路的技術(shù)，當(dāng)然也可以利用該技術(shù)來(lái)實(shí)現(xiàn)功能塊的集成化。也有應(yīng)用生物工程學(xué)技術(shù)等的可能性。
本說(shuō)明書，是根據(jù)2004年3月5日申請(qǐng)的日本專利特愿第2004-061797號(hào)。該內(nèi)容全部包括在此作為參考。
工業(yè)實(shí)用性本發(fā)明作為在發(fā)送、播發(fā)以及存儲(chǔ)媒體中隱藏?fù)p失或者破損的數(shù)字音頻信號(hào)(差錯(cuò))的技術(shù)有優(yōu)勢(shì)。
權(quán)利要求
1.一種差錯(cuò)隱藏裝置，包括檢測(cè)單元，在差錯(cuò)幀發(fā)生時(shí)檢測(cè)出該差錯(cuò)幀之前的非差錯(cuò)幀；判斷單元，判斷檢測(cè)出的非差錯(cuò)幀為語(yǔ)音幀還是音頻幀；替換語(yǔ)音幀生成單元，從判斷為語(yǔ)音幀的非差錯(cuò)幀，通過(guò)適于語(yǔ)音幀的處理來(lái)生成所述差錯(cuò)幀的替換幀；替換音頻幀生成單元，從判斷為音頻幀的非差錯(cuò)幀，通過(guò)適于音頻幀的處理來(lái)生成所述差錯(cuò)幀的替換幀；以及，替換單元，將通過(guò)所述替換語(yǔ)音幀生成單元或所述替換音頻幀生成單元所生成的替換幀與所述差錯(cuò)幀進(jìn)行替換來(lái)隱藏所述差錯(cuò)幀。
2.如權(quán)利要求1所述的差錯(cuò)隱藏裝置，其中，所述替換音頻幀生成單元包括暫態(tài)信號(hào)檢測(cè)單元，將包含于所述非差錯(cuò)幀的暫態(tài)信號(hào)的開(kāi)始位置檢測(cè)出來(lái)；以及排除單元，在生成所述替換幀時(shí)，從所述非差錯(cuò)幀中，將通過(guò)所述暫態(tài)信號(hào)單元檢測(cè)出來(lái)的暫態(tài)信號(hào)的開(kāi)始位置以前的部分排除。
3.如權(quán)利要求1所述的差錯(cuò)隱藏裝置，其中，所述替換音頻幀生成單元包括分割單元，將判斷為所述音頻幀的非差錯(cuò)幀分割成多個(gè)頻帶的信號(hào)；以及，生成單元，通過(guò)對(duì)所述多個(gè)頻帶的信號(hào)進(jìn)行外插來(lái)生成所述替換幀。
4.如權(quán)利要求1所述的差錯(cuò)隱藏裝置，其中，所述替換音頻幀生成單元包括分割單元，將判斷為所述音頻幀的非差錯(cuò)幀分割成多個(gè)頻帶的信號(hào)；計(jì)算單元，對(duì)所述多個(gè)頻帶的信號(hào)的每一個(gè)都計(jì)算出周期性的程度；以及，生成單元，對(duì)所述多個(gè)頻帶的信號(hào)的每一個(gè)都分別執(zhí)行對(duì)應(yīng)于通過(guò)所述計(jì)算單元所計(jì)算出的周期性的程度的處理，由此來(lái)生成所述替換幀。
5.如權(quán)利要求4所述的差錯(cuò)隱藏裝置，其中，所述生成單元當(dāng)通過(guò)所述計(jì)算單元計(jì)算出的周期性的程度低時(shí)，將該信號(hào)用噪聲替換，或者用通過(guò)所述分割單元所得到的其他的信號(hào)來(lái)替換；當(dāng)通過(guò)所述計(jì)算單元計(jì)算出的周期性的程度高時(shí)，對(duì)該信號(hào)進(jìn)行外插。
6.如權(quán)利要求1所述的差錯(cuò)隱藏裝置，其中，所述替換語(yǔ)音幀生成單元包括復(fù)制單元，生成所述非差錯(cuò)幀的一部分的副本；以及，調(diào)整單元，對(duì)所述副本的所述差錯(cuò)幀的替換位置進(jìn)行調(diào)整，以便使所述副本的音調(diào)周期與所述非差錯(cuò)幀的音調(diào)周期相一致。
7.如權(quán)利要求1所述的差錯(cuò)隱藏裝置，其中，所述替換語(yǔ)音幀生成單元包括復(fù)制單元，復(fù)制所述非差錯(cuò)幀的一部分；調(diào)整單元，對(duì)所述復(fù)制單元的復(fù)制區(qū)間進(jìn)行調(diào)整，以便使通過(guò)所述復(fù)制單元所得到的副本的音調(diào)周期與所述非差錯(cuò)幀的音調(diào)周期相一致；以及，生成單元，利用通過(guò)所述復(fù)制單元所得到的副本來(lái)生成所述替換幀。
8.如權(quán)利要求1所述的差錯(cuò)隱藏裝置，其中，所述替換單元對(duì)通過(guò)所述替換語(yǔ)音幀生成單元或所述替換音頻幀生成單元所生成的替換幀的幀界線進(jìn)行平滑化處理。
9.一種包括權(quán)利要求1所述的差錯(cuò)隱藏裝置的通信終端裝置。
10.一種差錯(cuò)隱藏方法，包括檢測(cè)步驟，在差錯(cuò)幀發(fā)生時(shí)檢測(cè)出該差錯(cuò)幀之前的非差錯(cuò)幀；判斷步驟，判斷檢測(cè)出的非差錯(cuò)幀為語(yǔ)音幀還是音頻幀；替換語(yǔ)音幀生成步驟，從判斷為語(yǔ)音幀的非差錯(cuò)幀，通過(guò)適于語(yǔ)音幀的處理來(lái)生成所述差錯(cuò)幀的替換幀；替換音頻幀生成步驟，從判斷為音頻幀的非差錯(cuò)幀，通過(guò)適于音頻幀的處理來(lái)生成所述差錯(cuò)幀的替換幀；以及，替換步驟，將通過(guò)所述替換語(yǔ)音幀生成步驟或所述替換音頻幀生成步驟所生成的替換幀與所述差錯(cuò)幀進(jìn)行替換來(lái)隱藏所述差錯(cuò)幀。
全文摘要
因?yàn)橐酝牟铄e(cuò)隱藏處理生成變化劇烈的聲響，會(huì)使人感到極為不快，另外回聲效應(yīng)(echo effect)以及“咔嗒”噪聲(click noise)也十分明顯。在本發(fā)明中，通知信號(hào)檢測(cè)單元(301)對(duì)輸入幀的處理進(jìn)行判斷。當(dāng)為差錯(cuò)幀時(shí)，語(yǔ)音檢測(cè)單元(303)對(duì)之前的非差錯(cuò)數(shù)據(jù)的幀進(jìn)行是否為語(yǔ)音信號(hào)的判斷。當(dāng)為語(yǔ)音幀時(shí)，語(yǔ)音復(fù)制處理單元(304)生成替換幀。當(dāng)為非語(yǔ)音幀時(shí)，暫態(tài)信號(hào)(transient signal)檢測(cè)單元(305)通過(guò)暫態(tài)信號(hào)檢測(cè)來(lái)判斷是否為攻擊信號(hào)(attack signal)，并且從之前的非差錯(cuò)幀中選擇一個(gè)適當(dāng)?shù)膮^(qū)域。濾波器組分析單元(306)生成N個(gè)子帶。這些子帶通過(guò)外插處理單元(307)被進(jìn)行子帶取樣外插，成為對(duì)當(dāng)前的差錯(cuò)幀的替換子帶數(shù)據(jù)。濾波器組合成單元(308)根據(jù)該數(shù)據(jù)重新構(gòu)筑子帶數(shù)據(jù)。
文檔編號(hào)G10L11/02GK1930607SQ20058000715
公開(kāi)日2007年3月14日 申請(qǐng)日期2005年3月1日 優(yōu)先權(quán)日2004年3月5日
發(fā)明者后藤道代, 邱恩·W·特奧, 薩·H·尼奧, 吉田幸司 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社