一種實(shí)現(xiàn)聲音轉(zhuǎn)換的方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及語(yǔ)音信號(hào)處理技術(shù)領(lǐng)域，具體涉及一種實(shí)現(xiàn)聲音轉(zhuǎn)換的方法及系統(tǒng)。
【背景技術(shù)】
[0002] 聲音轉(zhuǎn)換即將一個(gè)發(fā)音人（源發(fā)音人）的語(yǔ)音轉(zhuǎn)換為另一個(gè)發(fā)音人（目標(biāo)發(fā)音 人）的語(yǔ)音，使其具有目標(biāo)發(fā)音人的發(fā)音特點(diǎn)。聲音轉(zhuǎn)換技術(shù)在實(shí)際生活中有廣泛應(yīng)用，可 以幫助因發(fā)音器官受損而植入電子喉的病人發(fā)出高質(zhì)量的語(yǔ)音，還可以豐富娛樂(lè)生活，通 過(guò)模擬明星發(fā)音人的發(fā)音特點(diǎn)提高娛樂(lè)性等，具有廣泛的應(yīng)用前景。
[0003] 現(xiàn)有聲音轉(zhuǎn)換系統(tǒng)主要采用頻譜變換和基頻變換的方法，對(duì)源發(fā)音人的語(yǔ)音特征 進(jìn)行轉(zhuǎn)換，使其具有目標(biāo)發(fā)音人的發(fā)音特點(diǎn)，實(shí)現(xiàn)聲音轉(zhuǎn)換。相比于基頻變換，由于頻譜對(duì) 于發(fā)音人身份信息的確認(rèn)作用更加關(guān)鍵，因而基于基頻和頻譜變換的聲音轉(zhuǎn)換更為實(shí)用。
[0004] 現(xiàn)有的頻譜變換技術(shù)主要采用數(shù)學(xué)統(tǒng)計(jì)模型訓(xùn)練源發(fā)音人和目標(biāo)發(fā)音人的頻譜 特征的聯(lián)合概率分布，確定源發(fā)音人和目標(biāo)發(fā)音人的頻譜變換關(guān)系。在接收到源發(fā)音人語(yǔ) 音時(shí)，根據(jù)所述聯(lián)合概率分布計(jì)算目標(biāo)發(fā)音人特征的條件分布，并生成目標(biāo)發(fā)音人特征樣 本。在數(shù)據(jù)統(tǒng)計(jì)方法中，訓(xùn)練數(shù)據(jù)越多，模型越準(zhǔn)確，則模擬效果越好。然而由于應(yīng)用場(chǎng)景 的限制，能夠獲取的訓(xùn)練數(shù)據(jù)量往往較少，其應(yīng)用模型往往較為簡(jiǎn)單，相應(yīng)的轉(zhuǎn)換得到的語(yǔ) 音質(zhì)量往往不高。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明實(shí)施例提供一種實(shí)現(xiàn)聲音轉(zhuǎn)換的方法及系統(tǒng)，以提高轉(zhuǎn)換語(yǔ)音的音質(zhì)。
[0006] 為此，本發(fā)明實(shí)施例提供如下技術(shù)方案：
[0007] -種實(shí)現(xiàn)聲音轉(zhuǎn)換的方法，包括：
[0008] 獲取源發(fā)音人的語(yǔ)音信號(hào)；
[0009] 提取所述語(yǔ)音信號(hào)的頻譜包絡(luò)特征和基頻特征；
[0010] 根據(jù)預(yù)先構(gòu)建的頻譜包絡(luò)變換模型對(duì)所述頻譜包絡(luò)特征進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換后的 頻譜包絡(luò)特征；
[0011] 根據(jù)轉(zhuǎn)換后的頻譜包絡(luò)特征和轉(zhuǎn)換后的基頻特征生成目標(biāo)發(fā)音人的語(yǔ)音信號(hào)。
[0012] 優(yōu)選地，所述提取所述語(yǔ)音信號(hào)的頻譜包絡(luò)特征包括：
[0013] 對(duì)于每一幀語(yǔ)音幀，提取其上下多幀的頻譜包絡(luò)特征作為所述語(yǔ)音幀的頻譜包絡(luò) 特征。
[0014] 優(yōu)選地，按以下方式構(gòu)建頻譜包絡(luò)變換模型：
[0015] 獲取訓(xùn)練語(yǔ)音數(shù)據(jù)，所述訓(xùn)練語(yǔ)音數(shù)據(jù)包括源發(fā)音人語(yǔ)音數(shù)據(jù)及目標(biāo)發(fā)音人語(yǔ)音 數(shù)據(jù)；
[0016] 提取所述訓(xùn)練語(yǔ)音數(shù)據(jù)的頻譜包絡(luò)特征；
[0017] 確定源發(fā)音人的頻譜包絡(luò)特征與目標(biāo)發(fā)音人的頻譜包絡(luò)特征的對(duì)應(yīng)關(guān)系；
[0018] 確定源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型拓?fù)浣Y(jié)構(gòu)；
[0019] 根據(jù)所述對(duì)應(yīng)關(guān)系訓(xùn)練所述源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型參數(shù)。
[0020] 優(yōu)選地，所述確定源發(fā)音人的頻譜包絡(luò)特征與目標(biāo)發(fā)音人的頻譜包絡(luò)特征的對(duì)應(yīng) 關(guān)系包括：
[0021] 以語(yǔ)音幀為單位，提取所述訓(xùn)練語(yǔ)音信號(hào)的美爾倒譜特征序列；
[0022] 將源發(fā)音人的美爾倒譜特征序列與目標(biāo)發(fā)音人的美爾倒譜特征序列對(duì)齊；
[0023] 根據(jù)所述源發(fā)音人的美爾倒譜特征序列與目標(biāo)發(fā)音人的美爾倒譜特征序列的對(duì) 應(yīng)關(guān)系，確定源發(fā)音人的頻譜包絡(luò)特征與目標(biāo)發(fā)音人的頻譜包絡(luò)特征的對(duì)應(yīng)關(guān)系。
[0024] 優(yōu)選地，所述確定源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型拓?fù)浣Y(jié)構(gòu)包括 ：
[0025] 利用第一RBM模型模擬源發(fā)音人頻譜包絡(luò)分布特點(diǎn)，并將其作為源發(fā)音人模型；
[0026] 利用第二RBM模型模擬目標(biāo)發(fā)音人頻譜包絡(luò)分布特點(diǎn)，并將其作為目標(biāo)發(fā)音人模 型；
[0027] 利用BBAM模型模擬源發(fā)音人和目標(biāo)發(fā)音人之間的參數(shù)傳遞關(guān)系，并將其作為轉(zhuǎn) 換模型；
[0028] 拼接所述源發(fā)音人模型、轉(zhuǎn)換模型、以及目標(biāo)發(fā)音人模型，得到源發(fā)音人和目標(biāo)發(fā) 音人的頻譜包絡(luò)變換模型拓?fù)浣Y(jié)構(gòu)。
[0029] 優(yōu)選地，所述根據(jù)所述對(duì)應(yīng)關(guān)系訓(xùn)練所述源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換 模型參數(shù)包括：
[0030] 獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括源發(fā)音人頻譜包絡(luò)數(shù)據(jù)和目標(biāo)發(fā)音人頻譜包絡(luò) 數(shù)據(jù)；
[0031] 根據(jù)所述源發(fā)音人頻譜包絡(luò)數(shù)據(jù)訓(xùn)練源發(fā)音人模型參數(shù)，并根據(jù)所述目標(biāo)發(fā)音人 頻譜包絡(luò)數(shù)據(jù)訓(xùn)練目標(biāo)發(fā)音人模型參數(shù)；
[0032] 根據(jù)所述對(duì)應(yīng)關(guān)系訓(xùn)練轉(zhuǎn)換模型參數(shù)；
[0033] 將所述源發(fā)音人模型參數(shù)、轉(zhuǎn)換模型參數(shù)、以及目標(biāo)發(fā)音人模型參數(shù)進(jìn)行合并，得 到所述源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型參數(shù)。
[0034] 優(yōu)選地，所述根據(jù)所述對(duì)應(yīng)關(guān)系訓(xùn)練轉(zhuǎn)換模型參數(shù)包括：
[0035] 從所述訓(xùn)練數(shù)據(jù)中采樣得到轉(zhuǎn)換模型參數(shù)訓(xùn)練數(shù)據(jù)；
[0036] 基于所述轉(zhuǎn)換模型參數(shù)訓(xùn)練數(shù)據(jù)訓(xùn)練轉(zhuǎn)換模型參數(shù)。
[0037] 優(yōu)選地，所述根據(jù)預(yù)先構(gòu)建的頻譜包絡(luò)變換模型對(duì)所述頻譜包絡(luò)特征進(jìn)行轉(zhuǎn)換， 得到轉(zhuǎn)換后的頻譜包絡(luò)特征包括：
[0038] 根據(jù)所述頻譜包絡(luò)變換模型計(jì)算所述頻譜包絡(luò)特征的條件概率分布；
[0039] 根據(jù)所述條件概率分布確定轉(zhuǎn)換后的頻譜包絡(luò)特征。
[0040] 一種實(shí)現(xiàn)聲音轉(zhuǎn)換的系統(tǒng)，包括：
[0041] 語(yǔ)音信號(hào)獲取模塊，用于獲取源發(fā)音人的語(yǔ)音信號(hào)；
[0042] 特征提取模塊，用于提取所述語(yǔ)音信號(hào)的頻譜包絡(luò)特征和基頻特征；
[0043] 頻譜包絡(luò)特征轉(zhuǎn)換模塊，用于根據(jù)預(yù)先構(gòu)建的頻譜包絡(luò)變換模型對(duì)所述頻譜包絡(luò) 特征進(jìn)行轉(zhuǎn)換，得到轉(zhuǎn)換后的頻譜包絡(luò)特征；
[0044] 語(yǔ)音生成模塊，用于根據(jù)轉(zhuǎn)換后的頻譜包絡(luò)特征和轉(zhuǎn)換后的基頻特征生成目標(biāo)發(fā) 音人的語(yǔ)音信號(hào)。
[0045] 優(yōu)選地，所述系統(tǒng)還包括：頻譜包絡(luò)變換模型構(gòu)建模塊，所述頻譜包絡(luò)變換模型構(gòu) 建模塊包括：
[0046] 訓(xùn)練語(yǔ)音數(shù)據(jù)獲取單元，用于獲取訓(xùn)練語(yǔ)音數(shù)據(jù)，所述訓(xùn)練語(yǔ)音數(shù)據(jù)包括源發(fā)音 人語(yǔ)音數(shù)據(jù)及目標(biāo)發(fā)音人語(yǔ)音數(shù)據(jù)；
[0047] 特征提取單元，用于提取所述訓(xùn)練語(yǔ)音數(shù)據(jù)的頻譜包絡(luò)特征；
[0048] 對(duì)應(yīng)關(guān)系確定單元，用于確定源發(fā)音人的頻譜包絡(luò)特征與目標(biāo)發(fā)音人的頻譜包絡(luò) 特征的對(duì)應(yīng)關(guān)系；
[0049] 拓?fù)浣Y(jié)構(gòu)確定單元，用于確定源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型拓?fù)浣Y(jié) 構(gòu)；
[0050] 參數(shù)訓(xùn)練單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系訓(xùn)練所述源發(fā)音人和目標(biāo)發(fā)音人的頻譜包 絡(luò)變換模型參數(shù)。
[0051] 優(yōu)選地，所述對(duì)應(yīng)關(guān)系確定單元包括：
[0052] 第一提取單元，用于以語(yǔ)音幀為單位，提取所述訓(xùn)練語(yǔ)音信號(hào)的美爾倒譜特征序 列；
[0053] 對(duì)齊單元，用于將源發(fā)音人的美爾倒譜特征序列與目標(biāo)發(fā)音人的美爾倒譜特征序 列對(duì)齊；
[0054] 第一確定單元，用于根據(jù)所述源發(fā)音人的美爾倒譜特征序列與目標(biāo)發(fā)音人的美爾 倒譜特征序列的對(duì)應(yīng)關(guān)系，確定源發(fā)音人的頻譜包絡(luò)特征與目標(biāo)發(fā)音人的頻譜包絡(luò)特征的 對(duì)應(yīng)關(guān)系。
[0055] 優(yōu)選地，所述拓?fù)浣Y(jié)構(gòu)確定單元包括：
[0056]源發(fā)音人模型單元，用于利用第一RBM模型模擬源發(fā)音人頻譜包絡(luò)分布特點(diǎn)，并 將其作為源發(fā)音人模型；
[0057]目標(biāo)發(fā)音人模型單元，用于利用第二RBM模型模擬目標(biāo)發(fā)音人頻譜包絡(luò)分布特 點(diǎn)，并將其作為目標(biāo)發(fā)音人模型；
[0058] 轉(zhuǎn)換模型單元，用于利用BBAM模型模擬源發(fā)音人和目標(biāo)發(fā)音人之間的參數(shù)傳遞 關(guān)系，并將其作為轉(zhuǎn)換模型；
[0059] 拼接單元，用于拼接所述源發(fā)音人模型、轉(zhuǎn)換模型、以及目標(biāo)發(fā)音人模型，得到源 發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型拓?fù)浣Y(jié)構(gòu)。
[0060] 優(yōu)選地，所述參數(shù)訓(xùn)練單元包括：
[0061] 獲取頻譜包絡(luò)訓(xùn)練數(shù)據(jù)單元，用于獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括源發(fā)音人頻 譜包絡(luò)數(shù)據(jù)和目標(biāo)發(fā)音人頻譜包絡(luò)數(shù)據(jù)；
[0062] 第一訓(xùn)練單元，用于根據(jù)所述源發(fā)音人頻譜包絡(luò)數(shù)據(jù)訓(xùn)練源發(fā)音人模型參數(shù)；
[0063] 第二訓(xùn)練單元，用于根據(jù)所述目標(biāo)發(fā)音人頻譜包絡(luò)數(shù)據(jù)訓(xùn)練目標(biāo)發(fā)音人模型參 數(shù)；
[0064] 第三訓(xùn)練單元，用于根據(jù)所述對(duì)應(yīng)關(guān)系訓(xùn)練轉(zhuǎn)換模型參數(shù)；
[0065] 合并單元，用于將所述源發(fā)音人模型參數(shù)、轉(zhuǎn)換模型參數(shù)、以及目標(biāo)發(fā)音人模型參 數(shù)進(jìn)行合并，得到所述源發(fā)音人和目標(biāo)發(fā)音人的頻譜包絡(luò)變換模型參數(shù)。
[0066] 優(yōu)選地，所述頻譜包絡(luò)特征轉(zhuǎn)換模塊包括：
[0067] 條件概率分布計(jì)算單元，用于根據(jù)所述頻譜包絡(luò)變換模型計(jì)算所述頻譜包絡(luò)特征 的條件概率分布；
[0068] 轉(zhuǎn)換特征確定單元，用于根據(jù)所述條件概率分布確定轉(zhuǎn)換后的頻譜包絡(luò)特征。
[0069] 本發(fā)明實(shí)施例提供的實(shí)現(xiàn)聲音轉(zhuǎn)換的方法及系統(tǒng)，基于頻譜包絡(luò)變換模型將源發(fā) 音人語(yǔ)音信號(hào)的頻譜包絡(luò)特征變換為目標(biāo)發(fā)音人的頻譜包絡(luò)特征，然后，基于變換后的頻 譜包絡(luò)特征及基頻特征生成目標(biāo)發(fā)音人的語(yǔ)音信號(hào)。由于頻譜包絡(luò)特征是從高維頻譜中 提取出來(lái)的，是語(yǔ)音信號(hào)最直接、準(zhǔn)確的表示，因此可以大大提高頻譜變換的有效性和準(zhǔn)確 性，進(jìn)而提高聲音轉(zhuǎn)換的效果。
【附圖說(shuō)明】
[0070] 為了更清楚地說(shuō)明本申請(qǐng)實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例中所