專利名稱：用于中文語音合成的連音處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于中文語音合成的連音處理裝置，特別涉及一種用于在中文語音合成中獲得從一音節(jié)到下一個(gè)音節(jié)之間的平滑過渡的連音處理裝置。
在中文語音合成中，為使一系列音節(jié)的發(fā)音更加流利和平滑而平滑相鄰音節(jié)之間的連接的處理被稱為連音處理。為了獲得從一個(gè)字串的一個(gè)音節(jié)到該字串的隨后一個(gè)音節(jié)之間的平滑過渡，需要把構(gòu)成前一音節(jié)的部分音素與構(gòu)成后一音節(jié)的部分音素相重疊的連音處理。
圖3是人對“中文”這個(gè)詞的發(fā)音的寬帶頻譜。從圖3明顯可以看出有連音現(xiàn)象。但是，常規(guī)的中文語音合成系統(tǒng)大多未考慮連音處理，而只是簡單地連接字串“中文”的兩個(gè)音節(jié)的相鄰音素，如圖4所示。因此，這造成不自然的合成語音。
另外，用于常規(guī)中文語音合成系統(tǒng)中的連音處理技術(shù)是在時(shí)域中對字串的連音段進(jìn)行模擬，也就是說，首先從大量連音段錄音語音數(shù)據(jù)中搜索最佳的連音段。然后，該最佳連音段被插入前一音節(jié)和后一音節(jié)之間。上述處理的關(guān)鍵點(diǎn)在于最佳連音段確定和最適從連音段錄音語音數(shù)據(jù)中對該最佳連音段的搜索。在此包含中國臺(tái)灣第九屆計(jì)算語言學(xué)研討會(huì)論文集(1996)中名為“中文連音二字詞的語音合成”的論文以供參考。
圖5是上述常規(guī)中文語音合成系統(tǒng)的示意系統(tǒng)方框圖。
參照圖5，100是由操作者輸入要合成的拼音文句的拼音文句輸入單元。110是用于存儲(chǔ)大量字串錄音語音數(shù)據(jù)的字串存儲(chǔ)單元。180是用于存儲(chǔ)單音錄音數(shù)據(jù)的單音存儲(chǔ)單元。120是字串搜索單元，用于根據(jù)輸入的拼音文句，從字串存儲(chǔ)單元110中搜索要被進(jìn)行連音處理的字串，并且分析該搜索的字串以確定連音段。130是用于搜索該字串的連音段的中央位置的中央部位搜索單元。140是用于估算連音段的音素時(shí)間長度的估算單元。150是前段音節(jié)合成單元，用于根據(jù)輸入的拼音文句在單音存儲(chǔ)單元180中搜索前段音節(jié)的單音錄音數(shù)據(jù)，并且用于合成該搜索的單音錄音數(shù)據(jù)。160是用于把從前段音節(jié)合成單元150輸出的合成語音數(shù)據(jù)與該連音段做合成的連音段合成單元。170是后段音節(jié)合成單元，用于根據(jù)輸出拼音文句在單音存儲(chǔ)單元180中搜索單音錄音數(shù)據(jù)，并且用于把從連音段合成單元160輸出的合成語音數(shù)據(jù)與搜索的后音節(jié)相合成。190是用于輸出以語音方式輸出的合成語音數(shù)據(jù)的合成語音輸出單元。
由圖5可知，上述常規(guī)中文語音合成系統(tǒng)從字串存儲(chǔ)單元110搜索最佳連音段，并從單音存儲(chǔ)單元180搜索單音錄音數(shù)據(jù)，并且把它們合成以改善合成語音輸出的逼真度(Naturalness)和理解度(Comprehensibility)。
例如，如果想要合成“中文”這個(gè)字串，這是一個(gè)要受到連音處理的字串，用圖5中所示的系統(tǒng)對其進(jìn)行合成，對應(yīng)于字串“中文”的拼音文句首先被操作者通過輸入單元100輸入。然后，在該字串存儲(chǔ)單元110中搜索對應(yīng)于字串“中文”的字串錄音數(shù)據(jù)。假設(shè)，在字串存儲(chǔ)單元110中有字串“中文”的字串錄音數(shù)據(jù)，則字串搜索單元120從字串存儲(chǔ)單元110中搜索字串“中文”的字串錄音數(shù)據(jù)。分析該搜索的字串錄音數(shù)據(jù)以確定字串“中文”的連音段。在中央部位搜索單元130估算出字串“中文”的連音段的中央位置。在估算單元140中估算出字串“中文”的連音段的音素時(shí)間長度。前段音節(jié)合成單元150從單音存儲(chǔ)單元180中搜索對應(yīng)于“中”字的單音節(jié)語音數(shù)據(jù)。連音段合成單元160把對應(yīng)于“中”字的所搜索的單音節(jié)錄音數(shù)據(jù)與該連音段相合成。接著，后段音節(jié)合成單元170從單音存儲(chǔ)單元180中搜索對應(yīng)于“文”字的單音錄音數(shù)據(jù)，并把從連音段合成單元160輸出的合成語音數(shù)據(jù)與對應(yīng)于“文”字的搜索的單音錄音數(shù)據(jù)相合成。最后，從合成語音輸出單元190以語音方式輸出所得的合成語音數(shù)據(jù)。
然而，如果在字串存儲(chǔ)單元110中沒有存儲(chǔ)對應(yīng)于字串“中文”的字串錄音數(shù)據(jù)，則根據(jù)字串“中文”的前一音節(jié)的元音(ㄨㄥ)和字串“中文”的后一音節(jié)的起始音(ㄨㄣ)找出最近似的連音段，例如，“通問”(ㄊㄨㄥㄨㄣ)，并依照上述方法做合成，結(jié)果會(huì)合成出很不自然的語音。另外，上述系統(tǒng)需要約55MB字節(jié)的存儲(chǔ)空間來存儲(chǔ)大量字串錄音數(shù)據(jù)，因此這消耗了寶貴的存儲(chǔ)空間。并且，錄音數(shù)據(jù)被用作為合成的基本單元，因此不能改變頻率和音長，而且錄音數(shù)據(jù)的搜尋與合成也十分費(fèi)時(shí)。
相應(yīng)地，上述現(xiàn)有技術(shù)具有如下缺點(diǎn)1.必須存儲(chǔ)大量的單音節(jié)錄音數(shù)據(jù)和字串錄音數(shù)據(jù)。
2.如果合成字串錄音數(shù)據(jù)不包含在字串存儲(chǔ)單音中，則不能合成出自然的語音。
3.由于采用錄音數(shù)據(jù)，因此改變音長、韻律。
4.錄音數(shù)據(jù)的搜索過于費(fèi)時(shí)。
因此，本發(fā)明的一個(gè)基本目的是提供一種用于在中文語音合成中從一個(gè)音節(jié)到后一音節(jié)的平滑過渡的連音處理裝置，該連音處理裝置可以克服與上述現(xiàn)有技術(shù)有關(guān)的缺點(diǎn)。
根據(jù)本發(fā)明，一種用于中文語音合成的連音處理裝置，包括用于存儲(chǔ)多個(gè)中文字串及其對應(yīng)的拼音記號(hào)的詞典存儲(chǔ)器；用于存儲(chǔ)各種中文音節(jié)和連音段及中文音節(jié)和連音段對應(yīng)的拼音記號(hào)的音調(diào)數(shù)據(jù)、所述各種中文音節(jié)和連音段的輔音和元音的起始點(diǎn)及結(jié)束點(diǎn)的存儲(chǔ)單元；用于根據(jù)存儲(chǔ)在所述字典存儲(chǔ)器中的字典分析要被合成的輸入的拼音文句，以把該句子分為多個(gè)字串的詞匯分析單元；用于根據(jù)所述存儲(chǔ)單元確定來自所述詞匯分析單元的字串中哪一個(gè)要被進(jìn)行連音處理，以搜索確定要受到連音處理的所述字串的連音段的音節(jié)分析單元；用于把所搜索的搜索連音段插入在所述輸入拼音文句中的所述字串的所述音節(jié)與產(chǎn)生的合成語音之間的語音合成單元。
在上述連音處理裝置中，該存儲(chǔ)單元最后存儲(chǔ)具有中文第一聲的409個(gè)音節(jié)。
在上述連音處理裝置中，存儲(chǔ)在該存儲(chǔ)單元中的連音段是中文字串的后一音節(jié)的起始音，如圖6所定義。
本發(fā)明的具有上述結(jié)構(gòu)用于中文語音合成的CV-VC(VV)連音處理裝置首先根據(jù)存儲(chǔ)在該字典存儲(chǔ)器中存儲(chǔ)的字典把使用者輸入的拼音文句分段。接著，音節(jié)分析單元確定需要做連音處理的前后音節(jié)。然后，從音節(jié)數(shù)據(jù)存儲(chǔ)單元中搜索每個(gè)音節(jié)的音調(diào)數(shù)據(jù)和輔音、元音的起始點(diǎn)和結(jié)束點(diǎn)。最后，語音合成單元估算出用于音長和頻率的改變操作的音長和頻率，并合成和輸出該語音。
從下文參照附圖結(jié)合實(shí)施例的具體描述中，本發(fā)明的上述的和其他的目的和優(yōu)點(diǎn)將變得更加清楚，在附圖中相同的部分由相同的參考標(biāo)號(hào)表示。


圖1是根據(jù)本發(fā)明一個(gè)優(yōu)選實(shí)施例的用于中文語音合成中的連音處理裝置的系統(tǒng)方塊圖。
圖2是存儲(chǔ)在圖1中所示的寄存器單元13中的音節(jié)內(nèi)容的圖表。
圖3是由人所發(fā)出的“中文”發(fā)音的寬帶頻譜圖。
圖4是由常規(guī)中文語音合成系統(tǒng)所產(chǎn)生的“中文”發(fā)音的寬帶頻譜圖。
圖5是常規(guī)中文語音合成系統(tǒng)的系統(tǒng)方塊圖。
圖6為示出在優(yōu)選實(shí)施例中用于判斷是否一個(gè)字串要受到連音處理的后一音節(jié)的起始音的種類的圖表。
圖7是在根據(jù)本發(fā)明的優(yōu)選實(shí)施例中對“臺(tái)灣”字串做連音處理的說明圖。
下面將參照附圖描述根據(jù)本發(fā)明的優(yōu)選實(shí)施例。
圖1是根據(jù)本發(fā)明的一個(gè)優(yōu)選實(shí)施例用于中文語音合成的連音處理裝置的系統(tǒng)方塊圖。
參照圖1，一輸入單元10例如由鍵盤構(gòu)成，使得操作者可輸入用于語音合成的拼音文句。詞匯分析單元11根據(jù)存儲(chǔ)在字典存儲(chǔ)器(存儲(chǔ)單元)12中的字典分析該輸入句子，在該字典存儲(chǔ)器中多個(gè)字串和對應(yīng)的拼音文句被存儲(chǔ)，以把該句子分為多個(gè)字串，并且標(biāo)記相鄰字串之間的位置。音節(jié)分析單元14根據(jù)VC(VV)連音段和CV音節(jié)的音調(diào)數(shù)據(jù)存儲(chǔ)單元15以及VC(VV)連音段和CV音節(jié)的標(biāo)記數(shù)據(jù)存儲(chǔ)單元16確定哪一個(gè)字串要受到連音處理，并搜索所確定的CV音節(jié)和VC(VV)連音段的音調(diào)數(shù)據(jù)和標(biāo)記數(shù)據(jù)。音節(jié)音長搜索單元17與音節(jié)頻率搜索單元18根據(jù)音節(jié)韻律規(guī)則搜索相關(guān)的音長與頻率。請注意，C表示輔音，V表示元音。
寄存器(存儲(chǔ))單元13存儲(chǔ)相應(yīng)的每個(gè)音節(jié)的音長、頻率、聲調(diào)(中文聲調(diào))、與拼音符號(hào)。波形重疊和累加單元19重疊和累加CV音節(jié)和VC(VV)連音段的波形。合成語音輸出單元20輸出合成的語音。
下面將說明本發(fā)明的應(yīng)用。例如，在如下拼音文句中“tai2 Wanl shi4 yi2 ge5 mei3 li4 de5 bao3 dao3”(臺(tái)灣是一個(gè)美麗的寶島)每個(gè)字的拼音之后跟隨著一個(gè)表示相應(yīng)字的聲調(diào)的數(shù)字。
圖6是示出在優(yōu)選實(shí)施例中用于判斷一字串是否被用于確定一字串要被受到連音處理的后一音節(jié)的起始音的種類的圖表。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例的連音處理執(zhí)行如下上述的拼音文句首先操作員用輸入單元10輸入。詞匯分析單元11根據(jù)存儲(chǔ)在字典存儲(chǔ)器12中的字典分析該輸入句子，以把該句子分為多個(gè)字串，并標(biāo)記兩個(gè)相鄰字串之間的位置，從而產(chǎn)生包括標(biāo)記數(shù)據(jù)的拼音列表，tai2 wanl @ shi4 @ yi2 ge5 @ mei3 li4 @ de5 @ bao3 dao3，其中@用于標(biāo)記兩個(gè)相鄰字串之間的位置的標(biāo)記數(shù)據(jù)。接著，音節(jié)分析單元14根據(jù)圖6中所示的音素確定要受到連音處理的字串。
結(jié)果發(fā)現(xiàn)字串“tai2 wanl”和“mei3 li4”中的音素要受到連音處理。音節(jié)分析單元14根據(jù)圖6中所示的表格，在VC(VV)連音段和CV音節(jié)的音調(diào)數(shù)據(jù)存儲(chǔ)單元15和VC(VV)連音段和CV音節(jié)的標(biāo)記數(shù)據(jù)存儲(chǔ)單元16中搜索VC(VV)連音段和CV音節(jié)音調(diào)數(shù)據(jù)和標(biāo)記數(shù)據(jù)，然后，把該音調(diào)數(shù)據(jù)和標(biāo)記數(shù)據(jù)存儲(chǔ)到存儲(chǔ)單元13中。即從存儲(chǔ)單元15和16中搜索tai2 aiwan wanl @ shi4 @ yi2 ge5 @ mei3 eil li4 @de5 @ bao3 dao3，其中aiwan(ㄞㄨㄢ)是VV連音段，而eil(ㄟㄉ)是VC連音段。音節(jié)音長搜索單元17和音節(jié)頻率搜索單元18確定每個(gè)音節(jié)的音長和頻率，并將其數(shù)據(jù)存于寄存器單元13中。
圖2是存儲(chǔ)在圖1中所示的寄存器單元13中的音節(jié)內(nèi)容的圖表。在該優(yōu)選實(shí)施例中，寄存器單元13存儲(chǔ)具有中文第一聲調(diào)的409個(gè)中文音節(jié)。
波形重疊和累加單元19根據(jù)從寄存器單元13中取得的CV音節(jié)和VC(VV)連音段的詳細(xì)數(shù)據(jù)重疊和累加CV音節(jié)和VC(VV)連音段，其中該詳細(xì)數(shù)據(jù)包括該音節(jié)音長、該音節(jié)輔音音長、該音節(jié)開始點(diǎn)、該音節(jié)結(jié)束點(diǎn)、該音節(jié)八個(gè)區(qū)段的頻率、該音節(jié)聲調(diào)種類、該音節(jié)輔音種類、該音節(jié)元音種類、該音節(jié)位于字串中的位置、該音節(jié)CV音節(jié)的序號(hào)和該音節(jié)VC(VV)連音段序號(hào)等。最后，合成語音輸出單元20輸出合成的語音。
圖7是在根據(jù)本發(fā)明的優(yōu)選實(shí)施例中對“臺(tái)灣”字串做連音處理的說明圖。首先，將每個(gè)CV音節(jié)和其VV連音段的音調(diào)數(shù)據(jù)和標(biāo)記數(shù)據(jù)存入寄存器單元13中。然后，根據(jù)韻律規(guī)則估算出“臺(tái)”和“灣”的頻率和音長以及連音段“ㄞㄨㄢ”，以把該音節(jié)與的連音段的波形相疊加，從而產(chǎn)生“臺(tái)灣”字串的波形。由于“臺(tái)灣”字串的合成是用音調(diào)數(shù)據(jù)實(shí)現(xiàn)的，因此可以做音長與頻率的變化，并且節(jié)省了寶貴的存儲(chǔ)空間。
如上文所述，本發(fā)明的優(yōu)選實(shí)施例克服了與現(xiàn)有技術(shù)有關(guān)的連音中的問題。通過搜索字串的連音段，并且把連音段的波形與字串的前后音節(jié)相疊加，可以得到自然的連音字合成輸出。另外，可以改變字串的音長和頻率，使得可以產(chǎn)生具有不同音調(diào)和音長的字串，并且可以節(jié)省寶貴的存儲(chǔ)空間。
盡管在上文中已經(jīng)參照附圖結(jié)合優(yōu)選實(shí)施例對本發(fā)明作完整的描述，但是應(yīng)當(dāng)注意對于本領(lǐng)域內(nèi)的專業(yè)人員還可以作出各種顯而易見的改變和變化。這種改變和變化應(yīng)當(dāng)被理解為包含在所附權(quán)利要求所定義的本發(fā)明的范圍內(nèi)的，除非它脫離了本發(fā)明的范圍。
權(quán)利要求
1.一種用于中文語音合成的的連音處理裝置，其中包括用于存儲(chǔ)多個(gè)中文字串及其對應(yīng)的拼音記號(hào)的詞典存儲(chǔ)器；用于存儲(chǔ)各種中文音節(jié)和連音段及中文音節(jié)和連音段對應(yīng)的拼音記號(hào)的音調(diào)數(shù)據(jù)、所述各種中文音節(jié)和連音段的輔音和元音的起始點(diǎn)及結(jié)束點(diǎn)的存單元；用于根據(jù)存儲(chǔ)在所述字典存儲(chǔ)器中的字典分析要被合成的輸入的拼音文句，以把該句子分為多個(gè)字串的詞匯分析單元；用于根據(jù)所述存儲(chǔ)單元確定來自所述詞匯分析單元的字串中哪一個(gè)要被進(jìn)行連音處理，以搜索確定要受到連音處理的所述字串的連音段的音節(jié)分析單元；用于把所搜索的搜索連音段插入在所述輸入拼音文句中的所述字串的所述音節(jié)與產(chǎn)生的合成語音之間的語音合成單元。
2.根據(jù)權(quán)利要求1所述的連音處理裝置，其特征在于所述存儲(chǔ)單元存儲(chǔ)具有中文第一聲的409個(gè)音節(jié)。
3.根據(jù)權(quán)利要求1所述的連音處理裝置，其特征在于存儲(chǔ)在所述存儲(chǔ)單元中的所述連音段是中文字串的后一音節(jié)的起始音。
4.根據(jù)權(quán)利要求2所述的連音處理裝置，其特征在于存儲(chǔ)在所述存儲(chǔ)單元中的所述連音段是中文字串的后一音節(jié)的起始音。
全文摘要
通過分析字串中相鄰音節(jié)的連音情形,本發(fā)明可得到一些前音節(jié)會(huì)隨著后音節(jié)的起始音狀態(tài)和聲調(diào)不同而不同的連音變化規(guī)則。利用這些變化規(guī)則,建立一個(gè)處理連音的CV－VC(VV)連音處理裝置。通過前后音節(jié)輔音與元音的組合關(guān)系,找出VC(VV)連音段,并在前后音節(jié)間做波形重疊累加運(yùn)算,使其在合成連續(xù)語音時(shí)達(dá)到十分自然流暢的效果。實(shí)驗(yàn)結(jié)果顯示,使用本發(fā)明的CV、VC(VV)連音裝置可以得出自然的中文連續(xù)合成語音。
文檔編號(hào)G10L13/00GK1257271SQ99125300
公開日2000年6月21日 申請日期1999年12月2日 優(yōu)先權(quán)日1998年12月2日
發(fā)明者郭俊桔 申請人:松下電器產(chǎn)業(yè)株式會(huì)社