專利名稱：基于組塊分析的韻律短語預(yù)測方法
技術(shù)領(lǐng)域：
本發(fā)明總的來說涉及一種語音合成中韻律短語預(yù)測方法，尤指一種利用組塊分析結(jié)果預(yù)測韻律短語的方法。
背景技術(shù)：
準(zhǔn)確地從文本預(yù)測韻律短語停頓的位置是語音合成中至關(guān)重要的一步，正確的短語邊界會使合成出來的語音自然流暢，短語邊界還會影響后面的基頻曲線和時長等預(yù)測模塊。雖然，在這個領(lǐng)域已經(jīng)有很多的研究工作，短語預(yù)測還有很多問題至今沒有很好的解決。
該領(lǐng)域中，以往的研究已經(jīng)引入了很多方法?；趯φZ言學(xué)特征的詳細分析，利用CART模型預(yù)測英語的短語邊界，也有很多研究者將該方法引入中文的韻律短語預(yù)測。Paul Taylor和Alan W.Black引入HMM作為韻律短語的預(yù)測框架。Ostendorf和Veilleux提出了層級統(tǒng)計模型描述韻律結(jié)構(gòu)。幾乎所有的人都認(rèn)為語法約束和韻律短語的長度約束在韻律短語的產(chǎn)生過程中起著最為重要的作用，句法結(jié)構(gòu)制約著韻律結(jié)構(gòu)，韻律單元不應(yīng)破壞很多句法及語義成分；另外，韻律短語趨于在整句話的節(jié)律上達到某種平衡。實際上，很難準(zhǔn)確的獲得中文的完全句法分析。在過去的研究中，短語的長度信息多被用作一個獨立的參數(shù)，短語長度之間的關(guān)系以及在整個句子中的分配都沒有得到很好的描述。因此，針對這些問題，需要一個新的韻律短語預(yù)測的模型以提高韻律短語預(yù)測的準(zhǔn)確性。

發(fā)明內(nèi)容
為了解決韻律短語預(yù)測的準(zhǔn)確低的技術(shù)問題，本發(fā)明目的是更新的韻律短語預(yù)測的模型以提高韻律短語預(yù)測的準(zhǔn)確性，提供一種利用組塊分析結(jié)果進行韻律短語預(yù)測的方法，該方法可使合成結(jié)果獲得較好的自然度。
為了實現(xiàn)上述目的，根據(jù)本發(fā)明，在該方法中，引入淺層句法分析單元，組塊，作為韻律短語預(yù)測的主要語言學(xué)特征，建立了語言學(xué)約束模型，其包括組塊合并模型和韻律必停點的預(yù)測模型。同時引入n元的方法來描述韻律短語長度分布的關(guān)系，建立了節(jié)律平衡模型。為了很好的融合組塊合并模型和韻律必停點的預(yù)測模型這兩個模塊，我們使用了k候選方法首先基于語言學(xué)約束模型，生成k種可能的韻律短語結(jié)構(gòu)；然后利用短語長度模型從中選擇長度分配最優(yōu)的一組短語結(jié)構(gòu)。
根據(jù)本發(fā)明提出的基于組塊分析的韻律短語預(yù)測方法，是將組塊作為韻律短語預(yù)測的基本單元，包括步驟選擇合適的組塊規(guī)范作為韻律短語預(yù)測的基本分析單元；生成訓(xùn)練組塊合并模型；訓(xùn)練生成韻律短語邊界必停點的預(yù)測模型；訓(xùn)練生成韻律短語的節(jié)律平衡模型；基于組塊合并模型、韻律短語必停點的預(yù)測模型、節(jié)律平衡約束模型執(zhí)行生成韻律短語。
根據(jù)本發(fā)明所述的基于組塊分析的韻律短語預(yù)測方法，該方法主要訓(xùn)練步驟包括，創(chuàng)建韻律短語標(biāo)注語料庫，利用組塊分析器從文本生成組塊信息，利用韻律短語語料庫估計組塊合并模型，利用韻律短語語料庫訓(xùn)練支持向量機識別器，得到韻律短語的必停點的預(yù)測器，利用韻律短語語料庫訓(xùn)練節(jié)律平衡模型；優(yōu)選地，所述將組塊作為韻律短語預(yù)測的基本分析單元是生成組塊定義信息；生成組塊長度信息定義。
優(yōu)選地，所述生成組塊合并模型是訓(xùn)練生成組塊在韻律短語中連接的概率；訓(xùn)練生成組塊合并概率閾值。
優(yōu)選地，所述生成韻律短語邊界的必停點的預(yù)測模型是基于支持向量機識別器的預(yù)測模型，生成詞性和位置信息特征。
優(yōu)選地，所述生成節(jié)律的平衡模型的步驟包括在韻律短語語料庫中，將各個韻律短語的長度替代各個韻律短語的位置；以韻律短語長度為單位組成的語料，訓(xùn)練生成三元、二元模型。
優(yōu)選地，所述將組塊合并模型，韻律短語必停點的預(yù)測模型，長度約束模型執(zhí)行生成韻律短語的步驟包括基于組塊支持向量機識別器的識別結(jié)果，利用組塊合并模型，合并組塊，確定韻律的不停頓點及停頓點；基于韻律停頓點，利用支持向量機識別器確定韻律必停頓的位置；基于韻律短語的節(jié)律平衡模型尋找余下的韻律短語邊界。
優(yōu)選地，所述生成韻律短語是將韻律詞邊界確定為不停頓點、必須停頓的位置、及余下的可?？刹煌５奈恢茫粚⒖赏？刹煌５奈恢弥脼橥；蛘卟煌?，生成k種可能的停頓方式；從這k種可能的停頓方式中，選出最有可能的停頓方式。
優(yōu)選地，所述組塊定義包括名詞組塊，形容詞組塊，動詞組塊，介詞組塊。
優(yōu)選地，組塊規(guī)范是選擇每個組塊的適當(dāng)長度，組塊規(guī)范包括每種組塊類型的具體定義及如何標(biāo)注生成語料。選擇一個組塊長度定義較小的組塊規(guī)范。
優(yōu)選地，所述節(jié)律平衡模型描述韻律短語長度分布關(guān)系，生成k種可能的韻律短語結(jié)構(gòu)；利用所述的短語長度，選擇長度分配最優(yōu)的一組短語結(jié)構(gòu)。
以下結(jié)合附圖對所采用的優(yōu)選實施例作詳細描述，其中

圖1是本發(fā)明基于組塊分析的韻律短語預(yù)測的模型訓(xùn)練圖2是本發(fā)明基于組塊分析的韻律短語預(yù)測執(zhí)行過程示意圖具體實施方式
根據(jù)本發(fā)明，圖1基于組塊分析的韻律短語預(yù)測的模型訓(xùn)練，具體地訓(xùn)練步驟包括準(zhǔn)備韻律短語語料庫、訓(xùn)練生成組塊合并模型、訓(xùn)練生成支持向量機識別器、訓(xùn)練生成節(jié)律平衡模型。
根據(jù)本發(fā)明，圖2基于組塊分析的韻律短語預(yù)測執(zhí)行過程示意圖，具體地執(zhí)行過程步驟包括文本、組塊分析、組塊合并模型、支持向量機識別器、生成韻律短語停頓模式的K種候選、節(jié)律平衡模型、韻律短語邊界。
下面結(jié)合附圖來說明本發(fā)明的優(yōu)選實施例。
根據(jù)本發(fā)明圖1所示訓(xùn)練步驟創(chuàng)建韻律短語標(biāo)注語料庫，利用組塊分析器從文本生成組塊信息，利用韻律短語語料庫估計組塊合并模型，利用韻律短語語料庫訓(xùn)練支持向量機識別器，得到韻律短語的必停點的預(yù)測器，利用韻律短語語料庫訓(xùn)練節(jié)律平衡模型；根據(jù)本發(fā)明圖2所示執(zhí)行過程步驟利用組塊合并模型確定不可停頓的地方，利用支持向量機識別器確定韻律短語的必停點，利用韻律短語的節(jié)律平衡模型尋找余下的韻律短語邊界。
下面根據(jù)本發(fā)明從六個方面敘述優(yōu)選實施例1.準(zhǔn)備韻律短語標(biāo)注語料庫，2.訓(xùn)練得到組塊合并模型，3.訓(xùn)練生成韻律短語邊界必停點的預(yù)測模型，4.訓(xùn)練節(jié)律平衡模型，5.訓(xùn)練n元(N-gram)模型，6.系統(tǒng)實現(xiàn)。
1.準(zhǔn)備韻律短語標(biāo)注語料庫根據(jù)本發(fā)明，所述文本選用一個標(biāo)注有韻律詞及韻律短語邊界信息的文本語料庫。要求，標(biāo)注韻律短語邊界一定是要從感知上能感覺到明顯的停頓的。
例如標(biāo)注實例|他又 走過去|在 茶壺里|放了|薄荷葉 和糖|。
其中，‘|’表示韻律短語的位置。
2.訓(xùn)練得到組塊合并模型包括組塊分析單元，訓(xùn)練生成組塊在韻律短語中連接概率，訓(xùn)練生成組塊合并概率的閾值。
根據(jù)本發(fā)明所述將組塊作為韻律短語預(yù)測的基本分析單元生成組塊定義信息，將按組塊定義要求包括基本的幾個類型，名詞組塊NP，形容詞組塊ADJP，動詞組塊VP，介詞組塊PP。
具體地，所述組塊組塊規(guī)范包括每種組塊類型的具體定義及如何標(biāo)注生成語料，是選擇一個組塊長度定義較小的組塊規(guī)范，其中組塊長度要求不能超過5個漢字。
根據(jù)本發(fā)明所述生成組塊合并模型，是訓(xùn)練生成組塊在韻律短語中連接的概率即將所述組塊定義按類型分為當(dāng)前組塊類型C0，后續(xù)組塊類型C1；即將所述組塊定義按長度分為當(dāng)前組塊長度len0和后續(xù)組塊長度len1；訓(xùn)練生成組塊定義在韻律短語中連接當(dāng)前組塊C0和后續(xù)組塊C1長度的概率為概率估計對象為P(J0＝0|C0，C1)，P(J0＝0|len0，len1) (1)公式(1)中當(dāng)前組塊C0和后續(xù)組塊C1的連接類型為J0；當(dāng)J0等于0時，代表著當(dāng)前組塊C0和后續(xù)組塊C1合并在一起。概率P(J0＝0|len0，len1)是用來描述組塊的長度對組塊之間的合并的影響。
所述概率估計對象參數(shù)P(j|C0，C1)及P(j|len0，len1)采用極大似然估計法(MLE)從訓(xùn)練語料中估計P(j|C0,C1)=count(j,C0,C1)count(C0,C1)---(2)]]>P(j|len0,len1)=count(j,len0,len1)count(len0,len1)---(3)]]>這里公式(2)和(3)中，count(j，C0，C1)為j，C0和C1在訓(xùn)練語料中同時出現(xiàn)的頻度；count(C0，C1)為C0和C1在訓(xùn)練語料中同時出現(xiàn)的頻度；count(j，len0，len1)為j、len0和len1在訓(xùn)練語料中同時出現(xiàn)的頻度。
根據(jù)本發(fā)明，所述訓(xùn)練生成組塊合并概率的閾值η為公式(4)P(J0＝0|C0，C1)·P(J0＝0|len0，len1)＞η(4)基于以上執(zhí)行過程的系統(tǒng)如圖2所示及一個開發(fā)語料集如圖1所示的韻律短語語料庫調(diào)整η的值，使其在0到1之間取值，取參數(shù)η使得該系統(tǒng)在開發(fā)語料集上的整個韻律短語邊界識別的調(diào)和平均值(f-score)最高。
3.訓(xùn)練生成韻律短語邊界必停點的預(yù)測模型訓(xùn)練韻律短語必停點的預(yù)測模型，可分為以下步驟利用選擇支持向量機識別器為該模型的預(yù)測模型；用詞性和位置信息等作為主要的特征；用標(biāo)注好韻律短語的語料作為訓(xùn)練語料該支持向量機識別器。
選擇特征時，以詞法特征，如詞性、位置信息、詞的長度信息，為主要的考察對像，這里我們沒有將組塊的類型作為特征；最終選擇的特征向量為x＝(p-2，l-2，t-2，p-1，l-1，t-1，p0，l0，p1，l1，p2，l2，d_s，d_e) (5)公式(5)中，該向量中，p表示POS(詞性)；l表示詞長；t表示是否為韻律短語邊界；下標(biāo)表示在窗口中的位置，0表示當(dāng)前的判別位置；待判斷邊界在句子中到句首和句尾的距離分別用d_s和d_e來表示。利用該方法預(yù)測的邊界被假設(shè)為句子中應(yīng)當(dāng)成為韻律短語邊界。經(jīng)過組塊合并和最可能的韻律短語邊界預(yù)測后，剩下的就是潛在的韻律短語邊界。
4.訓(xùn)練節(jié)律平衡模型根據(jù)本發(fā)明所述概率估計對象，假設(shè)一個語句包含n個韻律短語，那么該語句的韻律短語長度分配的概率可以表示為
P(Lp1,Lp2,···,Lpn)]]>≈P(Lp1)P(Lp2|Lp1)Πi=3nP(Lpi|Lpi-1,Li-2)---(6)]]>公式(6)中，Lpi表示第i個韻律短語的長度。我們假設(shè)了短語之間的馬爾可夫性，這樣就可以用一個n元模型描述韻律短語長度之間的關(guān)系。
這樣，每一個可能的韻律短語分配都可以用一個n元模型來計算其概率。
根據(jù)本發(fā)明所述生成韻律短語的節(jié)律平衡模型，可分為以下步驟，如圖1所示在韻律短語語料庫中，將各個韻律短語的長度替代該各個韻律短語的位置。這樣，將生成也全部由韻律短語的長度構(gòu)成的一個庫。
以韻律短語長度Lpi為單位組成的語料，訓(xùn)練生成三元、二元模型。
5.訓(xùn)練n元模型根據(jù)本發(fā)明，基于圖1所述的訓(xùn)練短語語料庫，采用極大似然估計法(MLE)從訓(xùn)練短語語料庫中估計P(Lpi|Lpi-1)=count(Lpi,Lpi-1)count(Lpi-1)---(7)]]>P(Lpi|Lpi-1,Lpi-2)=count(Lpi,Lpi-1,Lpi-2)count(Lpi-1,Lpi-2)---(8)]]>這里公式(7)和(8)中，count(Lpi，Lpi-1)為Lpi和Lpi-1在訓(xùn)練語料中同時出現(xiàn)的頻度；count(Lpi-1)為Lpi-1在訓(xùn)練語料中同時出現(xiàn)的頻度；count(Lpi，Lpi-1，Lpi-2)為Lpi、Lpi-1和Lpi-1在訓(xùn)練語料中同時出現(xiàn)的頻度。
6.系統(tǒng)實現(xiàn)如圖2所示基于組塊合并模型、韻律短語的必停點的預(yù)測模型和節(jié)律平衡模型執(zhí)行生成韻律短語邊界。
具體地，基于組塊支持向量機識別器的識別結(jié)果，利用組塊合并模型，合并組塊，確定韻律的不可停頓點及可停頓點。
具體地，基于韻律的可停頓點，利用支持向量機識別器確定韻律的必須停頓的位置。
基于以上具體的兩個步驟，將韻律詞邊界確定為不可停頓點，必停頓點，及余下的可停也可不停的位置；將可?？刹煌５奈恢弥脼橥；蛘卟煌?，生成k種可能的停頓方式；然后，利用下式計算節(jié)律最優(yōu)的韻律短語分配為argmaxiP(Ui)]]>=argmaxiP(Lp1,Lp2,···,Lpn)---(9)]]>從這k種可能的停頓方式中，選出節(jié)律平衡最優(yōu)的停頓方式如公式(9)。
本發(fā)明提出了一種新的韻律短語預(yù)測方法，基于組塊分析的結(jié)果分析生成韻律短語邊界，取得了準(zhǔn)確的預(yù)測結(jié)果。本發(fā)明的方法，由于韻律停頓極少出現(xiàn)在組塊內(nèi)部及一些組塊之間，本發(fā)明還設(shè)計了組塊合并模型，以確定句子中不能停頓的位置。同時，句中還有一些極有可能停頓的地方，我們稱為必停點。支持向量機識別器被用來判別必停點，這也是由于支持向量機的高的識別率的原因。確定了不能停頓的位置及必須停頓的位置，余下的詞邊界就是可?？刹煌５奈恢谩＿@些位置的停頓與否取決于是否能使整個句子在節(jié)律上平衡。為此，我們又提出了節(jié)律平衡模型，以確定節(jié)律上最優(yōu)的韻律短語分配方式。使用該方法，由于確定了不能停頓點，使停頓出錯的幾率大大降低，同時，由于使用了節(jié)律平衡模型，又極大地提高了韻律短語邊界預(yù)測的準(zhǔn)確率和召回率，使得合成結(jié)果保持較好的自然度和可懂度。
權(quán)利要求
1.一種基于組塊分析的韻律短語預(yù)測方法，其特征在于用于語音合成系統(tǒng)中文本分析的韻律短語預(yù)測，將系統(tǒng)接收到的或輸入的任意文字串轉(zhuǎn)換成帶有韻律短語停頓標(biāo)注的文字形式，將組塊作為韻律短語預(yù)測的基本單元，步驟包括選擇合適的組塊規(guī)范作為韻律短語預(yù)測的基本分析單元；訓(xùn)練生成組塊合并模型；訓(xùn)練生成韻律短語邊界必停點的預(yù)測模型；訓(xùn)練生成韻律短語的節(jié)律平衡模型；基于組塊合并模型、韻律短語必停點的預(yù)測模型、長度約束模型執(zhí)行生成韻律短語。
2.根據(jù)權(quán)利要求1所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于訓(xùn)練生成步驟包括，創(chuàng)建韻律短語標(biāo)注語料庫，利用組塊分析器從文本生成組塊信息；利用韻律短語語料庫估計組塊合并模型；利用韻律短語語料庫訓(xùn)練支持向量機識別器，得到韻律短語的必停點的預(yù)測器；利用韻律短語語料庫訓(xùn)練節(jié)律平衡模型。
3.根據(jù)權(quán)利要求1所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于所述組塊作為韻律短語預(yù)測的基本分析單元步驟包括生成組塊定義信息；生成組塊長度信息定義。
4.根據(jù)權(quán)利要求1或2所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于所述生成組塊合并模型步驟包括訓(xùn)練生成組塊在韻律短語中連接概率；訓(xùn)練生成組塊合并概率閾值。
5.根據(jù)權(quán)利要求1所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于所述生成韻律短語邊界的必停點的預(yù)測模型步驟包括基于支持向量機識別器的預(yù)測模型，生成詞性和位置信息特征。
6.根據(jù)權(quán)利要求1所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于所述生成節(jié)律的平衡模型步驟包括將各個韻律短語的長度替代各個韻律短語的位置；以韻律短語長度為單位組成的語料，訓(xùn)練生成三元、二元模型。
7.根據(jù)權(quán)利要求1所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于所述執(zhí)行生成韻律短語的步驟包括a.利用組塊合并模型，合并組塊，確定韻律的不可停頓點及可停頓點；b.基于韻律的可停頓點，利用支持向量機識別器確定韻律的必停頓的位置；c.利用韻律短語的節(jié)律平衡模型尋找余下的韻律短語邊界。
8.根據(jù)權(quán)利要求7所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于，所述生成韻律短語步驟包括將韻律詞邊界確定為不可停頓點、必須停頓的位置、及余下的可?？刹煌５奈恢茫粚⒖赏？刹煌５奈恢弥脼橥；蛘卟煌?，生成k種可能的停頓方式；從這k種可能的停頓方式中，選出最有可能的停頓方式。
9.根據(jù)權(quán)利要求3所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于所述組塊定義步驟包括組塊的定義要求包括名詞組塊、形容詞組塊、動詞組塊、介詞組塊；選擇一個組塊長度定義較小的組塊規(guī)范。
10.根據(jù)權(quán)利要求1所述的基于組塊分析的韻律短語預(yù)測方法，其特征在于，所述節(jié)律平衡模型描述韻律短語長度分布關(guān)系，生成k種可能的韻律短語結(jié)構(gòu)；利用所述的短語長度，選擇長度分配最優(yōu)的一組短語結(jié)構(gòu)。
全文摘要
本發(fā)明涉及一種基于組塊分析的韻律短語預(yù)測方法，用于語音合成系統(tǒng)韻律短語的預(yù)測，將系統(tǒng)接收或輸入的任意文字串轉(zhuǎn)換成帶有韻律短語停頓標(biāo)注的文字形式，將組塊作為韻律短語預(yù)測的基本單元，訓(xùn)練生成組塊合并模型；訓(xùn)練生成韻律短語邊界必停點的預(yù)測模型；訓(xùn)練生成韻律短語的節(jié)律平衡模型；基于組塊合并模型、韻律短語必停點的預(yù)測模型、長度約束模型執(zhí)行生成韻律短語。創(chuàng)建韻律短語標(biāo)注語料庫，用組塊從文本生成組塊，利用韻律短語語料庫估計組塊合并模型、訓(xùn)練支持向量機識別器，得到韻律短語的必停點的預(yù)測器，利用韻律短語語料庫訓(xùn)練節(jié)律平衡模型。本發(fā)明提高了韻律短語邊界預(yù)測的準(zhǔn)確率和召回率，使得合成結(jié)果保持較好的自然度和可懂度。
文檔編號G10L13/00GK101051458SQ20061007310
公開日2007年10月10日 申請日期2006年4月4日 優(yōu)先權(quán)日2006年4月4日
發(fā)明者陶建華, 董宏輝 申請人:中國科學(xué)院自動化研究所