專利名稱：文字轉(zhuǎn)語(yǔ)音的系統(tǒng)與方法
技術(shù)領(lǐng)域：
本發(fā)明是關(guān)于一種處理文字轉(zhuǎn)語(yǔ)音的系統(tǒng)與方法，更特別地，本發(fā)明是關(guān)于一種用于處理多語(yǔ)言文字轉(zhuǎn)語(yǔ)音的系統(tǒng)與方法。
背景技術(shù)：
對(duì)于文字轉(zhuǎn)語(yǔ)音(text-to-speech)系統(tǒng)而言，無(wú)論接受的是一段文字的輸入或是一篇文章，這些文字本身并沒(méi)有包含任何聲學(xué)特性(說(shuō)話的聲調(diào)、停頓方式、發(fā)音長(zhǎng)短等韻律)，只有語(yǔ)言學(xué)的特性，所以必須通過(guò)自動(dòng)預(yù)測(cè)的機(jī)制來(lái)產(chǎn)生這些文字的可能的聲學(xué)特性(acustic feature)，近來(lái)流行串接法，就是以一個(gè)錄好聲音的語(yǔ)料庫(kù)來(lái)當(dāng)作比對(duì)的標(biāo)的，從語(yǔ)料庫(kù)中抓出相對(duì)應(yīng)的聲音單元。
文字轉(zhuǎn)語(yǔ)音系統(tǒng)主要的功能在于將所輸入的文字轉(zhuǎn)換成自然流暢的語(yǔ)音輸出。請(qǐng)參閱圖6，其是說(shuō)明對(duì)于處理單一語(yǔ)言的公知文字轉(zhuǎn)與語(yǔ)音系統(tǒng)的運(yùn)作流程，其中首先所輸入的一文字字符串(text string)先經(jīng)過(guò)語(yǔ)言處理(linguistic processing)，將文字字符串拆分成數(shù)個(gè)語(yǔ)義段落(semanticsegments)，該語(yǔ)義段落包含相對(duì)應(yīng)的音標(biāo)(acoustic unit)。語(yǔ)言處理在不同的語(yǔ)言會(huì)有不同的考慮，以中文“你吃過(guò)早餐了嗎”為例，經(jīng)過(guò)斷詞、破音字處理以及聲調(diào)處理等語(yǔ)言處理后，變成“你(音標(biāo)ni3)吃過(guò)(chi1guo4)早餐(zao3can1)了(le5)嗎(ma1)”；然而以英文“Have you hadbreakfast”為例，并不需要斷詞，而是要處理每個(gè)英文單字所對(duì)應(yīng)的音標(biāo)及重音的位置等，成為“Have(h ae v)you(yu)had(h ae d)breakfast(b r ey k fa st)”。在語(yǔ)言處理后，接著對(duì)于每一個(gè)語(yǔ)義段落利用合成處理(synthesis process)的技術(shù)，組合出相對(duì)應(yīng)的語(yǔ)音數(shù)據(jù)，最后進(jìn)行韻律處理(prosody processing)，對(duì)于整句話中每個(gè)音素的基周曲線(pitch contour)、音量及音長(zhǎng)等作一個(gè)整體的處理。
美國(guó)專利6,141,642揭示一種多語(yǔ)言文字轉(zhuǎn)語(yǔ)音裝置與方法，其中是包含不同的語(yǔ)言處理系統(tǒng)，分別處理不同語(yǔ)言的文字轉(zhuǎn)語(yǔ)音工作，而后將不同語(yǔ)言處理系統(tǒng)所得到的語(yǔ)音數(shù)據(jù)合并后一起輸出。美國(guó)專利6,243,681B1揭示一種用于計(jì)算機(jī)電話整合(Computer Telephony Integration)系統(tǒng)中的多語(yǔ)言語(yǔ)音合成器，其中包含多個(gè)語(yǔ)音合成器，分別執(zhí)行不同語(yǔ)言的文字轉(zhuǎn)語(yǔ)音工作，而后將不同語(yǔ)言處理系統(tǒng)所得到的語(yǔ)音數(shù)據(jù)合并后一起輸出。
上述兩篇美國(guó)專利皆是結(jié)合不同語(yǔ)言的語(yǔ)音數(shù)據(jù)庫(kù)，而在語(yǔ)音輸出時(shí)，使用者會(huì)聽(tīng)到不同語(yǔ)言是來(lái)自于不同的聲音，除了音色不同之外，整句話的韻律也不連續(xù)。再者，即使是以同樣的語(yǔ)者錄下不同語(yǔ)言的所有單字，這樣雖然可以解決音色不同的問(wèn)題，但是要錄下不同語(yǔ)言的所有單字，所需成本極高，顯然對(duì)于多語(yǔ)言文字轉(zhuǎn)語(yǔ)音的處理方法，公知技藝仍不盡理想。
為了克服公知技藝的上述缺點(diǎn)，發(fā)明人創(chuàng)作出本發(fā)明的文字轉(zhuǎn)語(yǔ)音的系統(tǒng)與方法，以創(chuàng)新的概念進(jìn)行多語(yǔ)言的語(yǔ)音合成處理，而產(chǎn)生韻律連續(xù)的語(yǔ)音輸出。

發(fā)明內(nèi)容
本發(fā)明的一目的是提供一種文字轉(zhuǎn)語(yǔ)音系統(tǒng)，用以提升多語(yǔ)言語(yǔ)音輸出的自然度與流暢度。本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)包含一文字處理器，用以將包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；一通用音標(biāo)庫(kù)，包含多個(gè)通用音標(biāo)，其是該第一語(yǔ)言與該第二語(yǔ)言通用的音標(biāo)；至少一第一語(yǔ)音合成單元與一第二語(yǔ)音合成單元，用以通過(guò)該多個(gè)通用音標(biāo)，分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)的一第一語(yǔ)音數(shù)據(jù)以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)的一第二語(yǔ)音數(shù)據(jù)；以及一韻律處理器，用以將該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的韻律最佳化。
根據(jù)上述構(gòu)想，該第一與第二語(yǔ)言文字?jǐn)?shù)據(jù)分別包含音標(biāo)數(shù)據(jù)。
根據(jù)上述構(gòu)想，該通用音標(biāo)庫(kù)較佳是由同一語(yǔ)者所建立。
根據(jù)上述構(gòu)想，該韻律處理器包含一組參考韻律。
根據(jù)上述構(gòu)想，該韻律處理器根據(jù)該參考韻律，分別決定該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的第一韻律參數(shù)與第二韻律參數(shù)。
根據(jù)上述構(gòu)想，該第一與第二韻律參數(shù)是定義語(yǔ)音的音素、音量及音長(zhǎng)。
根據(jù)上述構(gòu)想，該韻律處理器根據(jù)該第一韻律參數(shù)與該第二韻律參數(shù)，通過(guò)階層式的方式，分層串接該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
根據(jù)上述構(gòu)想，該韻律處理器還進(jìn)一步調(diào)整串接后的該第一語(yǔ)音數(shù)據(jù)與第二語(yǔ)音數(shù)據(jù)。
本發(fā)明的另一目的是提供一種用于文字轉(zhuǎn)語(yǔ)音的方法，以提升多語(yǔ)言語(yǔ)音輸出的自然度與流暢度。該方法包含下列步驟(a)提供包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)；(b)將該文字?jǐn)?shù)據(jù)區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；(c)提供該第一語(yǔ)言與該第二語(yǔ)言通用的多個(gè)通用音標(biāo)；(d)通過(guò)該多個(gè)通用音標(biāo)，分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)的一第一語(yǔ)音數(shù)據(jù)以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)的一第二語(yǔ)音數(shù)據(jù)；以及(e)將該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的韻律最佳化。
根據(jù)上述構(gòu)想，該第一與第二語(yǔ)言文字?jǐn)?shù)據(jù)分別包含音標(biāo)數(shù)據(jù)。
根據(jù)上述構(gòu)想，該多個(gè)通用音標(biāo)是由同一語(yǔ)者所建立。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e1)提供一組參考韻律。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e2)根據(jù)該參考韻律，分別決定該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的第一韻律參數(shù)與第二韻律參數(shù)。
根據(jù)上述構(gòu)想，該第一與第二韻律參數(shù)是定義語(yǔ)音的音素、音量及音長(zhǎng)。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e3)根據(jù)該第一韻律參數(shù)與該第二韻律參數(shù)，通過(guò)階層式的方式，分層串接該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e4)進(jìn)一步調(diào)整串接后該第一語(yǔ)音數(shù)據(jù)與第二語(yǔ)音數(shù)據(jù)的韻律。
本發(fā)明的另一目的是提供一種文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其可將多語(yǔ)言的文字?jǐn)?shù)據(jù)轉(zhuǎn)換為單一語(yǔ)言，并通過(guò)韻律的調(diào)整，提升語(yǔ)音輸出的自然度與流暢度。該文字轉(zhuǎn)語(yǔ)音系統(tǒng)包含一文字處理器，用以將包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；一翻譯模塊，用以將該第二語(yǔ)言文字?jǐn)?shù)據(jù)翻譯成為以該第一語(yǔ)言呈現(xiàn)的一翻譯數(shù)據(jù)；一語(yǔ)音合成單元，用以接收該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)，而后產(chǎn)生一語(yǔ)音數(shù)據(jù)；以及一韻律處理器，用以將該語(yǔ)音數(shù)據(jù)的韻律最佳化。
根據(jù)上述構(gòu)想，該第二語(yǔ)言文字?jǐn)?shù)據(jù)包含單字、詞組以及句子至少其一。
根據(jù)上述構(gòu)想，該語(yǔ)音合成單元還包含一剖析模塊，其根據(jù)該第一語(yǔ)言的語(yǔ)法及語(yǔ)義，而重組該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)。
根據(jù)上述構(gòu)想，該韻律處理器包含一組參考韻律。
根據(jù)上述構(gòu)想，該韻律處理器系根據(jù)該參考韻律，決定該語(yǔ)音數(shù)據(jù)的韻律參數(shù)。
根據(jù)上述構(gòu)想，該韻律參數(shù)是定義語(yǔ)音的音素、音量及音長(zhǎng)。
根據(jù)上述構(gòu)想，該韻律處理器根據(jù)該韻律參數(shù)，調(diào)整該語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
本發(fā)明的另一目的是提供一種用于文字轉(zhuǎn)語(yǔ)音的方法，其可將多語(yǔ)言的文字?jǐn)?shù)據(jù)轉(zhuǎn)換為單一語(yǔ)言，并通過(guò)韻律的調(diào)整，提升語(yǔ)音輸出的自然度與流暢度。該方法包含下列步驟(a)提供包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)；(b)將該文字?jǐn)?shù)據(jù)區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；(c)將該第二語(yǔ)言文字?jǐn)?shù)據(jù)翻譯成為以該第一語(yǔ)言呈現(xiàn)的一翻譯數(shù)據(jù)；(d)產(chǎn)生一語(yǔ)音數(shù)據(jù)對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)；以及(e)將該語(yǔ)音數(shù)據(jù)的韻律最佳化。
根據(jù)上述構(gòu)想，該第二語(yǔ)言文字?jǐn)?shù)據(jù)是包含單字、詞組以及句子至少其。
根據(jù)上述構(gòu)想，該步驟(d)還包含一步驟(d1)根據(jù)該第一語(yǔ)言的語(yǔ)法及語(yǔ)義，而重組該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e1)提供一組參考韻律。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e2)根據(jù)該參考韻律，決定該語(yǔ)音數(shù)據(jù)的韻律參數(shù)。
根據(jù)上述構(gòu)想，該韻律參數(shù)是定義語(yǔ)音的音素、音量及音長(zhǎng)。
根據(jù)上述構(gòu)想，該步驟(e)還包含一步驟(e3)根據(jù)該韻律參數(shù)，調(diào)整該語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。


圖1A是根據(jù)本發(fā)明的第一較佳實(shí)施例，說(shuō)明本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)。
圖1B是說(shuō)明本發(fā)明用于文字轉(zhuǎn)音的方法的實(shí)施方式。
圖2與圖3是根據(jù)本發(fā)明的第二較佳實(shí)施例，說(shuō)明本發(fā)明所提供文字轉(zhuǎn)語(yǔ)音系統(tǒng)的實(shí)施方式。
圖4A是根據(jù)本發(fā)明的第三較佳實(shí)施例，說(shuō)明本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)。
圖4B是根據(jù)本發(fā)明的第三較佳實(shí)施例，說(shuō)明本發(fā)明用于文字轉(zhuǎn)音的方法的實(shí)施方式。
圖5是根據(jù)本發(fā)明之第四較佳實(shí)施例，說(shuō)明本發(fā)明所提供文字轉(zhuǎn)語(yǔ)音系統(tǒng)的實(shí)施方式。
圖6是說(shuō)明公知技藝文字轉(zhuǎn)語(yǔ)音系統(tǒng)的運(yùn)作流程。
1文字轉(zhuǎn)語(yǔ)音系統(tǒng) 11文字處理器12通用音標(biāo)庫(kù) 131第一語(yǔ)音合成單元132第二語(yǔ)音合成單元 14韻律處理器101文字字符串 1021第一語(yǔ)言文字?jǐn)?shù)據(jù)1022第二語(yǔ)言文字?jǐn)?shù)據(jù) 103通用音標(biāo)庫(kù)1041第一語(yǔ)音數(shù)據(jù) 1042第二語(yǔ)音數(shù)據(jù)105韻律最佳化的合成語(yǔ)音 21通用音標(biāo)庫(kù)22文字處理器 231英文語(yǔ)音合成單元232中文語(yǔ)音合成單元 24韻律處理器4文字轉(zhuǎn)語(yǔ)音系統(tǒng) 41文字處理器42翻譯模塊43語(yǔ)音合成單元431剖析模塊 44韻律處理器401文字字符串 4021第一語(yǔ)言文字?jǐn)?shù)據(jù)4022第二語(yǔ)言文字?jǐn)?shù)據(jù) 403翻譯數(shù)據(jù)404語(yǔ)音數(shù)據(jù) 405韻律最佳化的合成語(yǔ)音51文字處理器 52翻譯模塊53語(yǔ)音合成單元531剖析模塊54韻律處理器具體實(shí)施方式
請(qǐng)參閱圖1A，其是根據(jù)本發(fā)明的第一較佳實(shí)施例，說(shuō)明本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)。本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)1包含一文字處理器11、一通用音標(biāo)庫(kù)12、第一語(yǔ)音合成單元131、第二語(yǔ)音合成單元132以及一韻律處理器14。該文字轉(zhuǎn)語(yǔ)音系統(tǒng)1的元件及其功能如下所述該文字處理器11用以接收文字字符串，其中該文字字符串是包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)，且該文字處理器11依不同語(yǔ)言而將該文字字符串處理區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)，其中該第一語(yǔ)言文字?jǐn)?shù)據(jù)與第二語(yǔ)言文字?jǐn)?shù)據(jù)包含音標(biāo)數(shù)據(jù)與語(yǔ)義段落。該通用音標(biāo)庫(kù)12包含多個(gè)通用音標(biāo)，其是該第一語(yǔ)言與該第二語(yǔ)言通用的音標(biāo)，該通用音標(biāo)庫(kù)12較佳為統(tǒng)一語(yǔ)者所錄制。該第一語(yǔ)音合成單元131與第二語(yǔ)音合成單元132利用算法，自動(dòng)取得該第一語(yǔ)言文字?jǐn)?shù)據(jù)與第二語(yǔ)言文字?jǐn)?shù)據(jù)中所定義的音標(biāo)，當(dāng)該第一語(yǔ)言文字?jǐn)?shù)據(jù)與第二語(yǔ)言文字?jǐn)?shù)據(jù)中所定義的音標(biāo)為通用音標(biāo)庫(kù)中所具有的通用音標(biāo)時(shí)，則該第一語(yǔ)音合成單元131與第二語(yǔ)音合成單元132使用該通用音標(biāo)進(jìn)行語(yǔ)音合成，進(jìn)而分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)的一第一語(yǔ)音數(shù)據(jù)以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)的一第二語(yǔ)音數(shù)據(jù)。該韻律處理器14用以接收該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)并將其韻律最佳化，其中該韻律處理器14包含一組參考韻律，根據(jù)該參考韻律，該韻律處理器14分別決定第一韻律參數(shù)與第二韻律參數(shù)，用以分別代表第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的音高、音量、語(yǔ)速及音長(zhǎng)，而后，該韻律處理器14根據(jù)該第一韻律參數(shù)與該第二韻律參數(shù)，通過(guò)階層式的方式，分層串接該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)，進(jìn)而完成韻律連續(xù)與流暢的合成語(yǔ)音以供輸出。
圖1B是說(shuō)明本發(fā)明用于文字轉(zhuǎn)音的方法的實(shí)施方式。本發(fā)明用于文字轉(zhuǎn)語(yǔ)音的方法包含首先提供包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字字符串101，其次將該文字字符串區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)1021與一第二語(yǔ)言文字?jǐn)?shù)據(jù)1022，其中該第一語(yǔ)言文字?jǐn)?shù)據(jù)1021與第二語(yǔ)言文字?jǐn)?shù)據(jù)1022包含音標(biāo)數(shù)據(jù)與語(yǔ)義段落，而后提供一通用音標(biāo)庫(kù)103，其具有該第一語(yǔ)言與該第二語(yǔ)言通用的多個(gè)通用音標(biāo)，并通過(guò)該多個(gè)通用音標(biāo)，分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)1021的一第一語(yǔ)音數(shù)據(jù)1041以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)1022的一第二語(yǔ)音數(shù)據(jù)1042，最后通過(guò)韻律處理，將該第一語(yǔ)音數(shù)據(jù)1041與該第二語(yǔ)音數(shù)據(jù)1042形成韻律最佳化的合成語(yǔ)音105，作為語(yǔ)音輸出。
圖2與圖3是根據(jù)本發(fā)明的第二較佳實(shí)施例，說(shuō)明本發(fā)明所提供文字轉(zhuǎn)語(yǔ)音系統(tǒng)的實(shí)施方式。請(qǐng)參閱圖2，在此實(shí)施例中，所提供的通用音標(biāo)庫(kù)21具有可供中文、英文與日文共享的通用音標(biāo)。當(dāng)在本發(fā)明的文字處理器22中輸入文字字符串“father與mother”，則該文字處理器22依中文與英文，將該文字字符串區(qū)分為“father”、“與”以及“mother”的三段語(yǔ)言文字?jǐn)?shù)據(jù)，其中該語(yǔ)言文字?jǐn)?shù)據(jù)包含依音標(biāo)數(shù)據(jù)而切割為“fa th er”、“與(ㄩv)”以及“mo th er”，而“fa”以及“mo”的音標(biāo)為該通用音標(biāo)庫(kù)內(nèi)中文、英文與日文通用的音標(biāo)，因此英文語(yǔ)音合成單元231接收“father”及“mother”的語(yǔ)言文字?jǐn)?shù)據(jù)后，以運(yùn)算法自動(dòng)取得其中所定義的音標(biāo)，而其中“fa”以及“mo”的音標(biāo)是直接由該通用音標(biāo)庫(kù)21取得，而其它“th”與“er”的音標(biāo)則是取自英語(yǔ)語(yǔ)音合成單元231中內(nèi)建的音標(biāo)庫(kù)，以完成“father”及“mother”的英文語(yǔ)音合成；而中文語(yǔ)音合成單元232接收到“與(ㄩv)”的語(yǔ)言文字?jǐn)?shù)據(jù)后，以運(yùn)用算法自動(dòng)取得其中所定義的音標(biāo)，然而由于“與”的音標(biāo)并未建立于該通用音標(biāo)庫(kù)中，所以自中文語(yǔ)音合成單元內(nèi)建的音標(biāo)庫(kù)中取得，以完成“與”的中文合成語(yǔ)音，接著再將所合成的英文合成語(yǔ)音與中文合成語(yǔ)音輸入至韻律處理器24中進(jìn)行整體韻律處理。請(qǐng)參閱圖3，由于所輸入的文字字符串“father與mother”經(jīng)由本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)處理后，英文合成語(yǔ)音與中文合成語(yǔ)音交錯(cuò)出現(xiàn)，為了使不同語(yǔ)言交錯(cuò)的合成語(yǔ)音具有流暢的韻律變化，所以需調(diào)整整體基本的音高(F0 base)、音量(Volbase)、語(yǔ)速(Speed base)及音長(zhǎng)(duration)，為達(dá)到此目的，本發(fā)明的韻律處理器具有參考韻律作為調(diào)整的依據(jù)，并進(jìn)一步分別決定英文合成語(yǔ)音的韻律參數(shù)與中文合成語(yǔ)音的韻律參數(shù)，該韻律參數(shù)(F0 base，Vol base，Speed base，Duration base)是定義個(gè)別合成語(yǔ)音的音高(F0 base)、音量(Volbase)、語(yǔ)速(Speed base)及音長(zhǎng)(duration)，因而本發(fā)明的韻律處理器可依參考韻律與韻律參數(shù)，以階層式的方式，將不同語(yǔ)言一層一層放上去，讓整體韻律連續(xù)順暢。例如，在此實(shí)施例中的文字字符串“father與mother”中，英文是主要語(yǔ)言，而中文是少數(shù)語(yǔ)言，根據(jù)參考韻律，先決定少數(shù)語(yǔ)言“與”的韻律參數(shù)(F0b，Volb)(F0e，Vole)，而兩端的主要語(yǔ)言則是依參考韻律決定出韻律參數(shù)之后，該韻律處理器依少數(shù)語(yǔ)言的韻律參數(shù)而進(jìn)一步調(diào)整主要語(yǔ)言“father”及“mother”的韻律參數(shù)分別為[(F01，Vol1)…(F0n，Voln)]及[(F01，Vol1)…(F0m，Volm)]，以達(dá)到整體合成語(yǔ)音的韻律連續(xù)順暢。當(dāng)然，也可先決定主要語(yǔ)音的參考韻律，再依主要語(yǔ)言的參考韻律而修改少數(shù)語(yǔ)言的參考韻律。
請(qǐng)參閱圖4A，其是根據(jù)本發(fā)明的第三較佳實(shí)施例，說(shuō)明本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)。本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)4包含一文字處理器41、一翻譯模塊42、一語(yǔ)音合成單元43以及一韻律處理器44。該文字轉(zhuǎn)語(yǔ)音系統(tǒng)4的元件及其功能如下所述該文字處理器41用以接收文字字符串，其中該文字字符串包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)，且該文字處理器41是依不同語(yǔ)言而將該文字字符串處理區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)，其中該第二語(yǔ)言文字?jǐn)?shù)據(jù)包含單字、詞組以及句子至少其一；該翻譯模塊42將該第二語(yǔ)言文字?jǐn)?shù)據(jù)翻譯為第一語(yǔ)言形式的翻譯數(shù)據(jù)；該語(yǔ)音合成單元43用以接收該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)，而后產(chǎn)生一語(yǔ)音數(shù)據(jù)，且該語(yǔ)音合成單元43還包含一剖析模塊431，其根據(jù)該第一語(yǔ)言的語(yǔ)法及語(yǔ)義，而將該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)重組，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)；該韻律處理器44用以將該語(yǔ)音數(shù)據(jù)的韻律最佳化，其中該韻律處理器44還包含一組參考韻律，且根據(jù)該參考韻律決定該語(yǔ)音數(shù)據(jù)的韻律參數(shù)。該韻律參數(shù)定義語(yǔ)音的音高、音量、語(yǔ)速及音長(zhǎng)，以使該韻律處理器根據(jù)該韻律參數(shù)調(diào)整該語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
圖4B說(shuō)明本發(fā)明用于文字轉(zhuǎn)音的方法的實(shí)施方式。本發(fā)明用于文字轉(zhuǎn)語(yǔ)音的方法包含首先提供包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字字符串401；其次將該文字字符串區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)4021與一第二二語(yǔ)言文字?jǐn)?shù)據(jù)4022，其中該第二語(yǔ)言文字?jǐn)?shù)據(jù)包含單字、詞組以及句子至少其一；將該第二語(yǔ)言文字?jǐn)?shù)據(jù)翻譯成為以該第一語(yǔ)言呈現(xiàn)的一翻譯數(shù)據(jù)403；根據(jù)該第一語(yǔ)言的語(yǔ)法及語(yǔ)義，而將該第一語(yǔ)言文字?jǐn)?shù)據(jù)4021與該翻譯數(shù)據(jù)403重組，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)產(chǎn)生一語(yǔ)音數(shù)據(jù)404，其對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)4021與該翻譯數(shù)據(jù)403；以及將該語(yǔ)音數(shù)據(jù)403的韻律最佳化，而得韻律最佳化的合成語(yǔ)音405，進(jìn)而完成語(yǔ)音輸出。根據(jù)本發(fā)明，將該語(yǔ)音數(shù)據(jù)的韻律最佳化的方法為提供一組參考韻律；根據(jù)該參考韻律，決定該語(yǔ)音數(shù)據(jù)的韻律參數(shù)，其中該韻律參數(shù)是定義語(yǔ)音的音高、音量、語(yǔ)速及音長(zhǎng)；根據(jù)該韻律參數(shù)調(diào)整該語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
圖5是根據(jù)本發(fā)明的第四較佳實(shí)施例，說(shuō)明本發(fā)明所提供文字轉(zhuǎn)語(yǔ)音系統(tǒng)的實(shí)施方式。當(dāng)在本發(fā)明的文字處理器51中輸入文字字符串“tomorrow會(huì)下雨嗎”，則該文字處理器51依中文與英文，將該文字字符串區(qū)分為“tomorrow”、“會(huì)下雨嗎”兩段語(yǔ)言文字?jǐn)?shù)據(jù)，其中語(yǔ)言文字?jǐn)?shù)據(jù)“會(huì)下雨嗎”經(jīng)由翻譯模塊52翻譯為英文“will it rain？”，而后該語(yǔ)音合成單元53接收“tomorrow”與“will it rain？”的文字?jǐn)?shù)據(jù)后，將其轉(zhuǎn)換為語(yǔ)音數(shù)據(jù)，且該語(yǔ)音合成單元53還包含一剖析模塊531，其根據(jù)該英文的語(yǔ)法及語(yǔ)義，而將該所接收的“tomorrow”與“will it rain？”重組，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)“Will it rain tomorrow？”；而后，該韻律處理器54用以將該語(yǔ)音數(shù)據(jù)的韻律最佳化，其中該韻律處理器54還包含一組參考韻律，且根據(jù)該參考韻律，決定該語(yǔ)音數(shù)據(jù)的韻律參數(shù)。該韻律參數(shù)定義語(yǔ)音的音高、音量、語(yǔ)速及音長(zhǎng)，以使得該韻律處理器54根據(jù)該韻律參數(shù)，調(diào)整該語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
上述實(shí)施例皆是以輸入“中文”與“英文”的混合語(yǔ)言字符串進(jìn)行說(shuō)明，當(dāng)然本發(fā)明文字轉(zhuǎn)語(yǔ)音的系統(tǒng)與方法也可應(yīng)用于其它各種不同的混合語(yǔ)言。
綜上所述，本發(fā)明文字轉(zhuǎn)語(yǔ)音的系統(tǒng)與方法可將混合多種語(yǔ)言的文字字符串，通過(guò)一通用音標(biāo)庫(kù)與特定韻律處理，而產(chǎn)生具有高自然度與流暢度的多語(yǔ)言合成語(yǔ)音；此外，本發(fā)明的文字轉(zhuǎn)語(yǔ)音系統(tǒng)與方法還可包含一翻譯模塊，而將混合多種語(yǔ)言的文字字符串，通過(guò)該翻譯模塊與特定韻律處理，而產(chǎn)生具有高自然度與流暢度的單一語(yǔ)言合成語(yǔ)音。本發(fā)明的確克服了公知技藝中多語(yǔ)言文字轉(zhuǎn)語(yǔ)音不順暢的缺點(diǎn)，故本發(fā)明不但具有新穎性、進(jìn)步性，更具有產(chǎn)業(yè)上的利用性。
本發(fā)明可由本領(lǐng)域技術(shù)人員進(jìn)行各種變化和改型，然而這些變化和改型皆不脫離所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中包含一文字處理器，用以將包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字字符串區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；一通用音標(biāo)庫(kù)，包含多個(gè)通用音標(biāo)，其是該第一語(yǔ)言與該第二語(yǔ)言通用的音標(biāo)；至少一第一語(yǔ)音合成單元與一第二語(yǔ)音合成單元，用以通過(guò)該多個(gè)通用音標(biāo)，分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)的一第一語(yǔ)音數(shù)據(jù)以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)的一第二語(yǔ)音數(shù)據(jù)；以及一韻律處理器，用以將該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的韻律最佳化。
2.如權(quán)利要求1的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中該第一與第二語(yǔ)言文字?jǐn)?shù)據(jù)分別包含音標(biāo)數(shù)據(jù)。
3.如權(quán)利要求1的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中該通用音標(biāo)庫(kù)是由同一語(yǔ)者所建立。
4.如權(quán)利要求1的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中該韻律處理器包含一組參考韻律；該韻律處理器根據(jù)該參考韻律，分別決定該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的第一韻律參數(shù)與第二韻律參數(shù)；該第一與第二韻律參數(shù)定義語(yǔ)音的音高、音量、語(yǔ)速及音長(zhǎng)；該韻律處理器根據(jù)該第一韻律參數(shù)與該第二韻律參數(shù)，通過(guò)階層式的方式，分層串接該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的；及/或該韻律處理器還進(jìn)一步調(diào)整串接后的該第一語(yǔ)音數(shù)據(jù)與第二語(yǔ)音數(shù)據(jù)。
5.一種用于文字轉(zhuǎn)語(yǔ)音的方法，其中包含下列步驟(a)提供包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字字符串；(b)將該文字字符串區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；(c)提供該第一語(yǔ)言與該第二語(yǔ)言通用的多個(gè)通用音標(biāo)；(d)通過(guò)該多個(gè)通用音標(biāo)，分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)的一第一語(yǔ)音數(shù)據(jù)以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)的一第二語(yǔ)音數(shù)據(jù)；以及(e)將該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的韻律最佳化。
6.一種文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中包含一文字處理器，用以將包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；一翻譯模塊，用以將該第二語(yǔ)言文字?jǐn)?shù)據(jù)翻譯成為以該第一語(yǔ)言呈現(xiàn)的一翻譯數(shù)據(jù)；一語(yǔ)音合成單元，用以接收該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)，而后產(chǎn)生一語(yǔ)音數(shù)據(jù)；以及一韻律處理器，用以將該語(yǔ)音數(shù)據(jù)的韻律最佳化。
7.如權(quán)利要求6的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中該第二語(yǔ)言文字?jǐn)?shù)據(jù)包含單字、詞組以及句子至少其一。
8.如權(quán)利要求6的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中該語(yǔ)音合成單元還包含一剖析模塊，其根據(jù)該第一語(yǔ)言的語(yǔ)法及語(yǔ)義，而將該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)重組，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)。
9.如權(quán)利要求6的文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其中該韻律處理器包含一組參考韻律；該韻律處理器根據(jù)該參考韻律，決定該語(yǔ)音數(shù)據(jù)的韻律參數(shù)；該韻律參數(shù)定義語(yǔ)音的音高、音量、語(yǔ)速及音長(zhǎng)；及/或該韻律處理器根據(jù)該韻律參數(shù)，調(diào)整該語(yǔ)音數(shù)據(jù)，達(dá)到韻律連續(xù)的目的。
10.一種用于文字轉(zhuǎn)語(yǔ)音的方法，其中包含下列步驟(a)提供包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字?jǐn)?shù)據(jù)；(b)將該文字?jǐn)?shù)據(jù)區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；(c)將該第二語(yǔ)言文字?jǐn)?shù)據(jù)翻譯成為以該第一語(yǔ)言呈現(xiàn)的一翻譯數(shù)據(jù)；(d)產(chǎn)生一語(yǔ)音數(shù)據(jù)對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)；以及(e)將該語(yǔ)音數(shù)據(jù)的韻律最佳化。
11.如權(quán)利要求10的方法，其中該第二語(yǔ)言文字?jǐn)?shù)據(jù)包含單字、詞組以及句子至少其一。
12.如權(quán)利要求10的方法，其中該步驟(d)還包含一步驟(d1)根據(jù)該第一語(yǔ)言的語(yǔ)法及語(yǔ)義，而重組該第一語(yǔ)言文字?jǐn)?shù)據(jù)與該翻譯數(shù)據(jù)，以得到具有正確語(yǔ)法及語(yǔ)義的該語(yǔ)音數(shù)據(jù)。
全文摘要
本發(fā)明提供一種文字轉(zhuǎn)語(yǔ)音系統(tǒng)，其包含一文字處理器，用以將包含至少一第一語(yǔ)言與一第二語(yǔ)言的文字字符串區(qū)分為一第一語(yǔ)言文字?jǐn)?shù)據(jù)與一第二語(yǔ)言文字?jǐn)?shù)據(jù)；一通用音標(biāo)庫(kù)，包含多個(gè)通用音標(biāo)，其是該第一語(yǔ)言與該第二語(yǔ)言通用的音標(biāo)；至少一第一語(yǔ)音合成單元與一第二語(yǔ)音合成單元，用以通過(guò)該多個(gè)通用音標(biāo)，分別產(chǎn)生對(duì)應(yīng)于該第一語(yǔ)言文字?jǐn)?shù)據(jù)的一第一語(yǔ)音數(shù)據(jù)以及對(duì)應(yīng)于該第二語(yǔ)言文字?jǐn)?shù)據(jù)的一第二語(yǔ)音數(shù)據(jù)；以及一韻律處理器，用以將該第一語(yǔ)音數(shù)據(jù)與該第二語(yǔ)音數(shù)據(jù)的韻律最佳化。
文檔編號(hào)G06F17/20GK1801321SQ20051000425
公開(kāi)日2006年7月12日 申請(qǐng)日期2005年1月6日 優(yōu)先權(quán)日2005年1月6日
發(fā)明者沈家麟, 廖文偉, 蔡錦和 申請(qǐng)人:臺(tái)達(dá)電子工業(yè)股份有限公司