專利名稱：用于互聯(lián)網(wǎng)協(xié)議語音的包丟失恢復(fù)方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明主要涉及包丟失恢復(fù)，尤其涉及互聯(lián)網(wǎng)協(xié)議語音(Voice over Internet Protocol, VoIP)系統(tǒng)中包丟失'咴復(fù)的方》去禾口設(shè)備。
背景技術(shù)：
包丟失(包括有大的延遲抖動的那些包)會降低語音質(zhì)量，甚至使得 語音不能理解。很多方案被設(shè)計出來解決這個問題。這些方案可分為基于 發(fā)送端的包丟失恢復(fù)(PLR， Packet Loss Recovery)和基于接收端 的包丟失隱藏(PLC, Packet Loss Concealment) [C.尸eHb'ra， aK //ara 附a"， "J swA"vey o/戸cA^-Zcm recovery W廠eam/wg awfife , "_/Ve^worA: Afagaz/we, 5^p&m6er/Octo6er' 。 PLR方法包括交叉和其他FEC機制(如包級重傳，在重要編解碼參數(shù)上的數(shù)據(jù) 保護(hù))。PLC方法包括無聲取代，包重發(fā)(packet repetition),插 f直(interpolation) [7Tt/-ri eccwwwe"(i"How G77/jppewd/x/,爿/z/g/z 《M(2/z7^ /ow-comp/exzXy aZg0Wf/2淤pacfef /ass cowcea/mewf w"/z G7仏 時間標(biāo)度修改(time scale modification) [M謹(jǐn)-《簡丄ee;■speec/z confers, PraceWwgs o/ /EEE /"ferwatowa/ Co^/^re"ce Jco組/cs， Speec/z，朋d 5Vg"a/尸race^/"g' 2003 (7C45"5P '03」.ro/wwe 7， 6-/0 ^; W/206>3- vo/.7],和在CELP編解碼器中的基于模型的恢復(fù)Marc/z 7卿]。所有的PLC機制能夠提高VoIP應(yīng)用的感知語音質(zhì)量，并且，如時間 標(biāo)度修改和基于模型的方法這樣的方法有很好的隱藏性能。但是當(dāng)包丟失 突發(fā)性高的時候，所有這些方法效果都不好。特別地，當(dāng)有大的流量負(fù)載 的時候，因為信道干擾和發(fā)送沖突引起包丟失和長的等待時間(long latency),使這個問題在WLAN中變得更嚴(yán)重。因此，需要一種在大的 包丟失突發(fā)和重負(fù)載網(wǎng)絡(luò)中適用的、仍在低碼速率運行的能夠提高語音質(zhì) 量的解決方案。發(fā)明內(nèi)容根據(jù)本發(fā)明的一個方面，提供了在互聯(lián)網(wǎng)協(xié)議語音的網(wǎng)絡(luò)中的包丟失 恢復(fù)的方法。該方法包括步驟a)確定感知上重要的語音包；b)在至少 一個后面的包中捎帶所述感知上重要的語音包；C)發(fā)送所有的包；以及d) 當(dāng)接收時重構(gòu)包。根據(jù)本發(fā)明，該感知上重要的語音包屬于語音音素的開始段。根據(jù)本發(fā)明，該感知上重要的語音包在步驟a)中通過使用編碼激勵 線性預(yù)測(CELP)編解碼器的線性預(yù)測編碼(LPC)參數(shù)中的信息來確定。在本發(fā)明的另一個方面中，提供了用于互聯(lián)網(wǎng)協(xié)議語音(VoIP)的 包丟失恢復(fù)設(shè)備。該設(shè)備包括語音捕獲單元；編碼單元；用于確定感知 上重要的語音包的確定單元；用于在至少一個后面的包上捎帶感知上重要的語音包的捎帶單元；發(fā)送單元；接收單元；用于存儲包和用于轉(zhuǎn)發(fā)包到 解碼單元的緩存單元；用于重構(gòu)包的解碼單元；以及語音播放單元。 根據(jù)本發(fā)明，該確定單元和該捎帶單元能夠被集成到該編碼單元。 根據(jù)本發(fā)明，該感知上重要的包屬于語音音素的開始段。 根據(jù)本發(fā)明，該感知上重要的包通過在步驟a)中使用編碼激勵線性 預(yù)測(CELP)編解碼器的線性預(yù)測編碼(LPC)參數(shù)中的信息來確定。


圖1示出在不丟棄，隨機丟棄和選擇丟棄的情況下原始數(shù)據(jù)的語音段 (speech segment)的波形圖；圖2示出圖1的隨機丟棄和選擇丟棄的平均評定得分(Mean Opinion Score, MOS)《直；圖3示出英語短語"Hello， world "的波形和它的LPC參數(shù)的差值平方。(/);圖4示出LPC參數(shù)的差值平方以及差值和它平均值的關(guān)系； 圖5是示出重要幀重發(fā)的示意圖；圖6是示出用于測試包丟失恢復(fù)機制性能的環(huán)境的示意圖；以及 圖7示出根據(jù)本發(fā)明的包丟失恢復(fù)機制性能的測試結(jié)果圖。
具體實施方式
進(jìn)一步地，結(jié)合實施例來描述本發(fā)明的技術(shù)特征。實施例僅僅是較好 的例子，并不能用于局限本發(fā)明。通過下面結(jié)合附圖的詳細(xì)描述，本發(fā)明 被更好的理解。實驗表明，語音音素(speech phoneme)的開始的幀比中間的幀 重要，這是因為它們影響音素的語義理解。并且，在VoIP應(yīng)用中，這些 幀甚至更重要，這是因為在大部分編解碼器中，包丟失隱藏機制是基于鄰 近的沒有丟失的幀來構(gòu)造丟失的幀，因此，如果丟失的包是音素的開始的 幀，那么會基于前面別的音素的數(shù)據(jù)或者甚至是靜音的幀構(gòu)造音素開始部 分所有丟失的幀。圖1示出這樣一個例子，其中示出CELP編解碼器Speex 的不同的輸出波形，并且這些波形屬于下面的情況>沒有丟棄(NO Drop):沒有包丟失的原始語音幀； >隨機丟棄(Random Drop):隨機丟包后的語音幀；和 >選擇丟棄(Selective Drop):丟棄那些不重要幀(即那些不是 音素開始部分的幀)后的語音幀，并且丟失速率和隨機丟棄的丟失速率一 樣。在圖1中，用灰色條來標(biāo)記音素的開始的部分。可以看出，如果這部 分丟失(隨機丟棄情形)，波形會被靜音所替代。圖2給出該概念的量化描述。它示出隨機丟棄和選擇丟棄情形下的平 均i平定得分(Mean Opinion Score, MOS)。從圖中可以看出，在相同 的包丟失速率下，如果音素開始的幀不丟棄，那么語音質(zhì)量會比較好。4象G.723, G.729, GSM, iLBC, Speex等f艮多實際的亍氐比牛寺速 率語音編解碼器是基于編碼激勵線性預(yù)測(Code-Excited Linear Predictive, CELP)語音編碼算法。CELP語音編解碼器的基本思想是 用激勵(excitation)禾口一組濾波參數(shù)(filter parameter)對聲 帶和聲道建模。使用線性預(yù)測對該組濾波參數(shù)進(jìn)行計算(它們是所謂的線性預(yù)測編碼參數(shù))，然后使用自適應(yīng)碼本和固定碼本對殘差進(jìn)行編碼。在CELP語音編解碼器中，LPC參數(shù)反映了聲道的性質(zhì)。當(dāng)聲道的形狀隨著每一個音素改變的時候，LPC參數(shù)也會因此改變，并且這能夠反映在LPC參數(shù)的差值平方中。這里我們給出關(guān)于如何計算LPC參數(shù)的差值平方的簡單描述。假設(shè)在CELP編解碼器中進(jìn)行n階LPC分析，^')是幀z'的LPC參數(shù)， 那么幀的LPC參數(shù)的差值平方計算如下"(o=1;k(o-w-i))2"o ( 1 )很顯然，大的"(/)意味著和上一幀相比，當(dāng)前幀有著明顯的LPC參 數(shù)變化。圖3示出了英語短語"Hello,World!〃的波形和它的LPC參數(shù)的差值平方"(/)。每一個音素被標(biāo)記在波形圖的上方。我們能夠看出，圖 (圖的下部分)中的峰值與音素的開始完美地匹配。為了定位所有音素的開始的幀，我們比較1^)和它的平均值 ^朋(W))，如果當(dāng)前的比"膨""諷0)大，那么幀z'被視為音素的開始的部分(見圖3)，并把幀z'附到后面的幀上，從而幀z'至少會被傳送兩 次。這里，^是一個1左右的系數(shù)，并且它需要被細(xì)調(diào)。如果k值太小， 會造成很多幀被錯誤地認(rèn)為是音素的開始；如果^值太大，那么音素開始 的一些幀就不能夠被識別出。圖4描述當(dāng)& = 1時的例子。我們保護(hù)重要的語音幀的方式很簡單明了，如圖5所示，僅僅在以后 的幀中捎帶重要的幀，其中每一個塊表示要在網(wǎng)絡(luò)中傳輸?shù)囊纛l幀?；疑?的塊是要被保護(hù)的重要的幀(這里，2號幀是被保護(hù)的幀)。這種方法的問題是，大的背景噪聲能夠引起LPC參數(shù)的差值顯著地變 化。為解決這個問題，可以使用靜音檢測機制來加強音素檢測。做了一個實驗來測試包丟失恢復(fù)機制的性能，其中兩個工P電話A和 B通過一個Lirmx路由器R互相連接，并且在Limix路由器R上通過運 行NISTNet (見圖6)模擬包丟失。在工P電話中，使用了開源的語音編 解碼器Speex [Speex編解碼器http: 〃www. speex. org/]的修改 版本，并且在這個編解碼器中實現(xiàn)了內(nèi)容識別(content —aware)的 PLC。 一段語音數(shù)據(jù)(42秒)從A傳送到B，其中，B記錄接收的語音數(shù) 據(jù)，并且我們使用來自工TU — T的PESQ參考軟件[工TU Recommendation P. 862 (02/2001) Perceptual evaluation of speech quality (PESQ) , an objective method for end-to-end speech quality assessment of narrow-band telephone networks and speech codecs]來獲得接收的語音數(shù)據(jù)的MOS質(zhì)量值。并且傳送大約19.2% -30%的冗余數(shù)據(jù)來保護(hù)重要的幀。圖7示出該實驗的結(jié)果。能夠看出，通 過應(yīng)用包丟失恢復(fù)，語音質(zhì)量有著很明顯的改善。當(dāng)前的實施例是為Vo工P應(yīng)用而專門設(shè)計的，并且特別地適合在無線 局域網(wǎng)上的語音(Voice over wireless LAN,VoWLAN)中實現(xiàn)， 例如，現(xiàn)在的通過WLAN, WiMAX或者3G網(wǎng)絡(luò)到Internet的寬帶無線 接入。一方面，所提議的解決方案能有效的計算，因為當(dāng)確定音素的開始的 時候，我們使用的數(shù)據(jù)是能夠直接從CELP編解碼器獲得的LPC參數(shù)。唯一的額外計算是1^)的計算，如果LPC參數(shù)是n階，那么就是n—l個加法運算和n個乘法。并且為了進(jìn)一步簡化"('')的計算，我們能夠使用差值 的絕對值來代替LPC參數(shù)差值平方值。此外，和傳統(tǒng)的全部包級重傳相比，重傳很少冗余信息就能夠?qū)崿F(xiàn)語 音質(zhì)量的顯著提高。如圖7所示，本實施例中的重傳僅僅占傳統(tǒng)的全部包 級重傳的30%左右。前面描述了本發(fā)明的方面和優(yōu)選的實施例，本領(lǐng)域普通技術(shù)人員能夠 在不背離本發(fā)明的前提下做出很多在設(shè)計或者構(gòu)建細(xì)節(jié)的變形。本發(fā)明包 括所有披露特征的單獨的特征或可能的排列和組合。
權(quán)利要求
1.一種在互聯(lián)網(wǎng)協(xié)議語音(VoIP)的系統(tǒng)中用于包丟失恢復(fù)的方法，所述方法包括步驟a)確定感知上重要的語音包；b)在至少一個后面的包中捎帶所述感知上重要的語音包；c)發(fā)送所有的包；以及d)當(dāng)接收時重構(gòu)包。
2. 如權(quán)利要求1所述的方法，其中，所述感知上重要的語音包屬于語 音音素的開始段。
3. 如權(quán)利要求1所述的方法，其中，所述感知上重要的語音包在步驟 a)中通過使用編碼激勵線性預(yù)測(CELP)編解碼器的線性預(yù)測編碼(LPC)參數(shù)中的信息來確定。
4. 一種用于互聯(lián)網(wǎng)協(xié)議語音(VoIP)的包丟失恢復(fù)設(shè)備，所述設(shè)備 包括語音捕獲單元； 編碼單元；用于確定感知上重要的語音包的確定單元；用于在至少一個后面的包上捎帶感知上重要的語音包的捎帶單元； 發(fā)送單元； -接收單元；用于存儲包和用于轉(zhuǎn)發(fā)包到解碼單元的緩存單元； 用于重構(gòu)包的解碼單元；以及語音播放單元。
5. 如權(quán)利要求4所述的設(shè)備，其中，所述確定單元和所述捎帶單元 能夠被集成到所述編碼單元。
6. 如權(quán)利要求4所述的設(shè)備，其中，所述感知上重要的包屬于語音音素的開始段。
7. 如權(quán)利要求4所述的設(shè)備，其中，所述感知上重要的包通過使用編 碼激勵線性預(yù)測(CELP)編解碼器的線性預(yù)測編碼(LPC)參數(shù)中的信息 來確定。
全文摘要
本發(fā)明揭露了在VoIP系統(tǒng)中包丟失恢復(fù)(PLR)的方法和用于該方法的設(shè)備。通過使用CELP編解碼器的LPC參數(shù)中的信息，定位屬于每一個語音音素的開始段的語音包/語音幀，并且在網(wǎng)絡(luò)傳輸之前，使用包重發(fā)來保護(hù)這些包。
文檔編號G10L19/005GK101331539SQ200680047168
公開日2008年12月24日 申請日期2006年12月1日 優(yōu)先權(quán)日2005年12月15日
發(fā)明者張煥強, 章志剛 申請人:湯姆遜許可公司