韻律停頓預(yù)測方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及語音合成技術(shù)領(lǐng)域，特別涉及一種韻律停頓預(yù)測方法和裝置。
【背景技術(shù)】
[0002]韻律預(yù)測技術(shù)是指在語音合成技術(shù)的前端文本處理過程中，通過文本內(nèi)容來預(yù)測文本中的停頓位置和停頓時間長短的信息，使得在后端合成語音的過程中，利用文本中的停頓位置和停頓時間長短的信息合成出來的語音能夠盡量符合人類自然說話的停頓和韻律習(xí)慣。因此，韻律預(yù)測技術(shù)的好壞是直接影響語音合成質(zhì)量好壞的一個至關(guān)重要的方面。
[0003]目前，韻律預(yù)測技術(shù)主要是基于機(jī)器學(xué)習(xí)的方法，利用大規(guī)模語料訓(xùn)練模型，然后通過該模型對輸入的文本進(jìn)行預(yù)測，將預(yù)測的韻律停頓的概率結(jié)合長度約束矩陣，運(yùn)用最優(yōu)路徑搜索算法，得到最后的停頓預(yù)測結(jié)果。
[0004]但是，由于訓(xùn)練語料是人工標(biāo)注的，因此獲取大規(guī)模的訓(xùn)練語料是非常昂貴和耗時的，并且受限于人工標(biāo)注能力及規(guī)模，由此得到的訓(xùn)練語料也并不夠充分。此外，訓(xùn)練模型的學(xué)習(xí)過程是在模型的泛化能力和模型復(fù)雜度之間的一種權(quán)衡，這使得模型的泛化能力或者說學(xué)習(xí)能力總是有限的。另外現(xiàn)實中文本的多樣性、變化性、歧義性，也使得模型很難去準(zhǔn)確描述這些文本。這就導(dǎo)致了模型本身學(xué)習(xí)能力的局限性。上述訓(xùn)練語料的不充分性以及訓(xùn)練模型學(xué)習(xí)能力的局限性使得基于機(jī)器學(xué)習(xí)的韻律預(yù)測方法仍然有待改進(jìn)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明旨在至少在一定程度上解決上述技術(shù)問題。
[0006]為此，本發(fā)明的第一個目的在于提出一種韻律停頓預(yù)測方法，能夠?qū)C(jī)器學(xué)習(xí)方法的預(yù)測結(jié)果進(jìn)行補(bǔ)充和修正，提升韻律預(yù)測結(jié)果的可靠性。
[0007]本發(fā)明的第二個目的在于提出一種韻律停頓預(yù)測裝置。
[0008]為達(dá)上述目的，根據(jù)本發(fā)明第一方面實施例提出了一種韻律停頓預(yù)測方法，包括以下步驟:基于機(jī)器學(xué)習(xí)方法獲取待預(yù)測的文本內(nèi)容對應(yīng)的停頓預(yù)測結(jié)果，并根據(jù)預(yù)設(shè)的句式模板庫對所述文本內(nèi)容進(jìn)行句式匹配，以確定所述文本內(nèi)容對應(yīng)的韻律停頓信息；根據(jù)所述韻律停頓信息對所述停頓預(yù)測結(jié)果進(jìn)行修正；根據(jù)修正后的停頓預(yù)測結(jié)果對所述文本內(nèi)容進(jìn)行韻律停頓預(yù)測。
[0009]本發(fā)明實施例的韻律停頓預(yù)測方法，不但基于機(jī)器學(xué)習(xí)方法獲取文本內(nèi)容的停頓預(yù)測結(jié)果，還根據(jù)句式模板匹配確定文本內(nèi)容對應(yīng)的韻律停頓信息，并根據(jù)該韻律停頓信息對機(jī)器學(xué)習(xí)的停頓預(yù)測結(jié)果進(jìn)行修正，然后根據(jù)修正后的停頓預(yù)測結(jié)果對文本內(nèi)容進(jìn)行韻律停頓預(yù)測，從而能夠?qū)C(jī)器學(xué)習(xí)的預(yù)測結(jié)果與句式模板匹配的停頓信息進(jìn)行結(jié)合，對基于機(jī)器學(xué)習(xí)的停頓預(yù)測結(jié)果進(jìn)行修正，可彌補(bǔ)訓(xùn)練語料的不充分性以及訓(xùn)練模型學(xué)習(xí)能力的局限性帶來的不足，提升預(yù)測結(jié)果的可靠性。
[0010]本發(fā)明第二方面實施例提出了一種韻律停頓預(yù)測裝置，包括:獲取模塊，用于基于機(jī)器學(xué)習(xí)方法獲取待預(yù)測的文本內(nèi)容對應(yīng)的停頓預(yù)測結(jié)果；匹配模塊，用于根據(jù)預(yù)設(shè)的句式模板庫對所述文本內(nèi)容進(jìn)行句式匹配，以確定所述文本內(nèi)容對應(yīng)的韻律停頓信息；修正模塊，用于根據(jù)所述韻律停頓信息對所述停頓預(yù)測結(jié)果進(jìn)行修正；預(yù)測模塊，用于根據(jù)修正后的停頓預(yù)測結(jié)果對所述文本內(nèi)容進(jìn)行韻律停頓預(yù)測。
[0011]本發(fā)明實施例的韻律停頓預(yù)測裝置，不但基于機(jī)器學(xué)習(xí)方法獲取文本內(nèi)容的停頓預(yù)測結(jié)果，還根據(jù)句式模板匹配確定文本內(nèi)容對應(yīng)的韻律停頓信息，并根據(jù)該韻律停頓信息對機(jī)器學(xué)習(xí)的停頓預(yù)測結(jié)果進(jìn)行修正，然后根據(jù)修正后的停頓預(yù)測結(jié)果對文本內(nèi)容進(jìn)行韻律停頓預(yù)測，從而能夠?qū)C(jī)器學(xué)習(xí)的預(yù)測結(jié)果與句式模板匹配的停頓信息進(jìn)行結(jié)合，對基于機(jī)器學(xué)習(xí)的停頓預(yù)測結(jié)果進(jìn)行修正，可彌補(bǔ)訓(xùn)練語料的不充分性以及訓(xùn)練模型學(xué)習(xí)能力的局限性帶來的不足，提升預(yù)測結(jié)果的可靠性。
[0012]本發(fā)明的附加方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實踐了解到。
【附圖說明】
[0013]本發(fā)明的上述和/或附加的方面和優(yōu)點從結(jié)合下面附圖對實施例的描述中將變得明顯和容易理解，其中:
[0014]圖1為根據(jù)本發(fā)明一個實施例的韻律停頓預(yù)測方法的流程圖；
[0015]圖2為根據(jù)本發(fā)明一個實施例的確定文本內(nèi)容對應(yīng)的韻律停頓信息的示例圖；
[0016]圖3為根據(jù)本發(fā)明一個實施例的韻律停頓預(yù)測方法中預(yù)測過程的架構(gòu)圖；
[0017]圖4為根據(jù)本發(fā)明一個實施例的韻律停頓預(yù)測裝置的結(jié)構(gòu)示意圖；
[0018]圖5為根據(jù)本發(fā)明另一個實施例的韻律停頓預(yù)測裝置的結(jié)構(gòu)示意圖。
【具體實施方式】
[0019]下面詳細(xì)描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0020]在本發(fā)明的描述中，需要理解的是，術(shù)語“多個”指兩個或兩個以上；術(shù)語“第一”、“第二”僅用于描述目的，而不能理解為指示或暗示相對重要性。
[0021]考慮到句子的韻律停頓與句子的語法句式結(jié)構(gòu)的重要關(guān)系，如果將句子中的句式結(jié)構(gòu)信息轉(zhuǎn)化為韻律信息，結(jié)合現(xiàn)有的韻律預(yù)測流程，能夠減少訓(xùn)練語料的不充分性和訓(xùn)練模型學(xué)習(xí)能力的局限性帶來的影響，有效改善韻律預(yù)測的結(jié)果。因此，本發(fā)明提出了一種韻律停頓預(yù)測方法和裝置。
[0022]下面參考附圖描述根據(jù)本發(fā)明實施例的韻律停頓預(yù)測方法和裝置。
[0023]本發(fā)明提出了一種韻律停頓預(yù)測方法，包括以下步驟:基于機(jī)器學(xué)習(xí)方法獲取待預(yù)測的文本內(nèi)容對應(yīng)的停頓預(yù)測結(jié)果，并根據(jù)預(yù)設(shè)的句式模板庫對文本內(nèi)容進(jìn)行句式匹配，以確定文本內(nèi)容對應(yīng)的韻律停頓信息；根據(jù)韻律停頓信息對停頓預(yù)測結(jié)果進(jìn)行修正；根據(jù)修正后的停頓預(yù)測結(jié)果對文本內(nèi)容進(jìn)行韻律停頓預(yù)測。
[0024]圖1為根據(jù)本發(fā)明一個實施例的韻律停頓預(yù)測方法的流程圖。
[0025]如圖1所示，根據(jù)本發(fā)明實施例的韻律停頓預(yù)測方法，包括以下步驟:
[0026]S101，基于機(jī)器學(xué)習(xí)方法獲取待預(yù)測的文本內(nèi)容對應(yīng)的停頓預(yù)測結(jié)果，并根據(jù)預(yù)設(shè)的句式模板庫對文本內(nèi)容進(jìn)行句式匹配，以確定文本內(nèi)容對應(yīng)的韻律停頓信息。
[0027]其中，句式模板庫為預(yù)先建立的，包括多個句式模板，且每個句式模板分別具有對應(yīng)的韻律停頓信息。舉例來說，句式模板庫中可包括“因為……，所以”且在“所以”之前具有一個韻律停頓信息(為長停頓)、還可包括“不但……，而且……”等句式模板，且在每個句式模板中，根據(jù)句式結(jié)構(gòu)和發(fā)音規(guī)律在相應(yīng)的位置都賦予了韻律停頓信息。
[0028]在本發(fā)明的一個實施例中，根據(jù)預(yù)設(shè)的句式模板庫對文本內(nèi)容進(jìn)行句式匹配，以確定文本內(nèi)容對應(yīng)的韻律停頓信息，可具體包括:在句式模板庫中查找文本內(nèi)容對應(yīng)的句式模板；根據(jù)文本內(nèi)容對應(yīng)的句式模板確定文本內(nèi)容對應(yīng)的韻律停頓信息。
[0029]舉例來說，如圖2所示，對于文本內(nèi)容“因為你笑了，所以我也笑了”，通過查找句式模板庫中的所有句式模板，可確定其具有句式模板“因為……，所以”，并可根據(jù)該句式模板對應(yīng)的韻律停頓信息確定，該文本內(nèi)容中“所以”之前應(yīng)當(dāng)為長停頓。
[0030]在本發(fā)明的實施例中，基于機(jī)器學(xué)習(xí)方法獲取待預(yù)測的文本內(nèi)容對應(yīng)的停頓預(yù)測結(jié)果是指通過機(jī)器學(xué)習(xí)方法根據(jù)預(yù)先訓(xùn)練的預(yù)測模型對待預(yù)測的文本內(nèi)容進(jìn)行預(yù)測，獲取該文本內(nèi)容對應(yīng)的停頓預(yù)測結(jié)果，其中，停頓預(yù)測結(jié)果可包括停頓位置，停頓類型(可包括長停頓、短停頓等)以及與停頓類型相對應(yīng)的概率值。舉例來說，可通過CRF(Condit1nalRandom Fields，條件隨機(jī)場)算法對待預(yù)測的文本內(nèi)容進(jìn)行韻律停頓預(yù)測。
[0031]S102，根據(jù)韻律停頓信息對停頓預(yù)測結(jié)果進(jìn)行修正。
[0032]在本發(fā)明的一個實施例中，停頓預(yù)測結(jié)果可包括停頓位置和與停頓位置對應(yīng)的停頓類型和概率，即停頓預(yù)測結(jié)果中在文本內(nèi)容中標(biāo)注了具體需要停頓的位置，且每個位置具有相應(yīng)的停頓類型(可包括長停頓和短停頓等)，以及為長停頓的概率或者短停頓的概率。
[0033]根據(jù)韻律停頓信息對停頓預(yù)測結(jié)果進(jìn)行修正具體包括:根據(jù)韻律停頓信息確定文本內(nèi)容中的長停頓的位置；判斷在停頓預(yù)測結(jié)果中長停頓的位置對應(yīng)的停頓類型是否為短停頓；如果是，則將停頓預(yù)測結(jié)果中長停頓的位置的停頓類型修改為長停頓，并將相應(yīng)的概率設(shè)置為預(yù)設(shè)概率值。該預(yù)設(shè)概率閾值可為1.0o
[0034]如果根據(jù)韻律停頓信息確定文本內(nèi)容中的長停頓的位置在停頓預(yù)測結(jié)果中沒有被標(biāo)注為停頓，則可忽略該韻律停頓信息，仍以停頓預(yù)測結(jié)果為準(zhǔn)。如果根據(jù)韻律停頓信息確定文本內(nèi)容中的長停頓的位置在停頓預(yù)測結(jié)果中也被標(biāo)注為長停頓，則表明兩種預(yù)測結(jié)果一致，