利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，尤其涉及一種利用電腦語音合成技術(shù)生成音樂元音內(nèi)容的技術(shù)，以在線狀態(tài)或在云電腦、嵌入式（Embedded）終端機(jī)等客戶端終端機(jī)上，輸入任意歌詞和音階、音長、唱法等多種音樂信息時，把顯示音階相應(yīng)韻律的聲音，按相應(yīng)音長發(fā)聲，合成相應(yīng)聲音，傳達(dá)到客戶端終端機(jī)的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)。
【專利說明】利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，尤其涉及一種利用電腦語音合成技術(shù)生成音樂元音內(nèi)容的技術(shù)，以在線狀態(tài)或在云電腦、嵌入式(Embedded)終端機(jī)等客戶端終端機(jī)上，輸入任意歌詞和音階、音長、唱法等多種音樂信息時，把顯示音階相應(yīng)韻律的聲音，按相應(yīng)音長發(fā)聲，合成相應(yīng)聲音，傳達(dá)到客戶端終端機(jī)的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)。
【背景技術(shù)】
[0002]現(xiàn)有的語音合成技術(shù)只是以輸入的文本文字簡單地輸出相應(yīng)語音，提供ARS(自動應(yīng)答服務(wù))、語音向?qū)А?dǎo)航語音向?qū)У葐渭冃畔鬟_(dá)功能。
[0003]因此，要求一種文字語音合成技術(shù)，模仿人類所有類型嗓音，適用于歌曲、作曲、配音、智能機(jī)器人等服務(wù)。
[0004]而現(xiàn)有音樂用語音合成技術(shù)用于PC環(huán)境時，其歌詞編輯與語音合成等生成音樂的一系列過程全部進(jìn)行在一個系統(tǒng)。
[0005]但手機(jī)或智能手機(jī)環(huán)境，在線及云電腦環(huán)境下，由于CPU性能的限制、內(nèi)存的限制，很難迅速處理語音合成所需大容量DB，多址連接時，性能只能受影響。
[0006]為了解決這些問題，本發(fā)明提供一種具有客戶端-服務(wù)器結(jié)構(gòu)的音樂語音合成系統(tǒng)。

【發(fā)明內(nèi)容】

[0007]發(fā)明的課題
[0008]本發(fā)明是為了解決上述問題而提出的發(fā)明，其目的在于在在線、手機(jī)、PDA、智能手機(jī)等多種嵌入式終端機(jī)客戶端環(huán)境下，利用歌詞文字語音合成(TTS:text to speech)，按任意歌詞和音階、音長，輸出合成歌曲，或者合成相應(yīng)于背景音樂和歌詞的歌曲，向客戶端環(huán)境傳送。
[0009]本發(fā)明的另一目的在于提供一種音樂語音合成方法，加工任意歌詞、音階、音樂效果、背景音樂、拍子/節(jié)奏等音樂所必須的因素，制作成數(shù)碼內(nèi)容形式，按各種語言特征，對相應(yīng)于歌詞的文本進(jìn)行分析，合成歌詞和音樂，表現(xiàn)各種音樂效果。
[0010]本發(fā)明的另一目的在于獨立構(gòu)成語音合成傳送服務(wù)器，通過語音合成服務(wù)器，迅速生成音樂語音合成信息,并把合成信息傳達(dá)到客戶端終端機(jī),解決性能下降的問題。
[0011]實施方案
[0012]本發(fā)明提供一種利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其包括編輯歌詞及音源，播放與鋼琴鍵位置對應(yīng)的音，編輯元音效果(effect)或把相當(dāng)于元音的歌手音源及聲道(track)編輯成音樂信息，發(fā)送到語音合成服務(wù)器，播放由語音合成服務(wù)器加工的音樂的客戶端終端機(jī)；獲得所述客戶端終端機(jī)發(fā)送的音樂信息，提取與歌詞相應(yīng)的音源，進(jìn)行合成及加工的語音合成服務(wù)器；把所述語音合成服務(wù)器生成的音樂發(fā)送到客戶端終端機(jī)的語音合成傳送服務(wù)器。
[0013]發(fā)明效果
[0014]本發(fā)明的有益效果是該利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)可讓任何人通過移動環(huán)境輕松編輯音樂內(nèi)容，獲得根據(jù)此合成的音樂語音，可通過在線、離線狀態(tài)流通由個人創(chuàng)作的內(nèi)容，可通過手機(jī)李勇鈴聲、彩鈴等音樂內(nèi)容應(yīng)用補(bǔ)充服務(wù)，可用于各種形式便攜設(shè)備的音樂播放、語音向?qū)В勺孉RS (自動應(yīng)答系統(tǒng))、導(dǎo)航(地圖引導(dǎo)裝置)以類似真人聲音的語氣提供語音服務(wù)，能讓人工智能機(jī)器人裝置說話語氣及唱歌生硬更接近真人。
[0015]另外，在制作電視劇、動畫片領(lǐng)域，可代替配音演員，配音更加自然，更加接近真人。
[0016]由于單獨構(gòu)成語音合成傳送服務(wù)器，可迅速把語音合成服務(wù)器合成的音樂合成信息傳達(dá)到客戶端終端機(jī)，解決性能下降的問題，可為多個客戶同時提供音源服務(wù)。
【專利附圖】

【附圖說明】
[0017]圖1為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)整體結(jié)構(gòu)圖。
[0018]圖2為本發(fā)明一實施例的利用客戶端終端機(jī)的首樂內(nèi)各制作系統(tǒng)客戶端終端機(jī)框圖。
[0019]圖3為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)語音合成服務(wù)器框圖。
[0020]圖4為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)語音合成傳送服務(wù)器框圖。
[0021]圖5為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)客戶端終端機(jī)輸出的制作程序畫面。
[0022]符號說明
[0023]100:語音合成服務(wù)器
[0024]200:客戶端終端機(jī)
[0025]300:語音合成傳送服務(wù)器。
【具體實施方式】
[0026]本發(fā)明涉及一種利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于:包括編輯歌詞及音源，播放與鋼琴鍵位置對應(yīng)的音，編輯元音效果(effect)或把相當(dāng)于元音的歌手音源及聲道(track)編輯成音樂信息，發(fā)送到語音合成服務(wù)器，播放由語音合成服務(wù)器加工的音樂的客戶端終端機(jī)；獲得所述客戶端終端機(jī)發(fā)送的音樂信息，提取與歌詞相應(yīng)的音源，進(jìn)行合成及加工的語音合成服務(wù)器；把所述語音合成服務(wù)器生成的音樂發(fā)送到客戶端終端機(jī)的語音合成傳送服務(wù)器。
[0027]所述客戶端終端機(jī)包括編輯歌詞的歌詞編輯部；編輯音源的音源編輯部；編輯元音效果的元音效果編輯部；選擇相當(dāng)于元音的歌手音源，編輯各種聲道的歌手及聲道編輯部；從語音合成傳送服務(wù)器接收由語音合成服務(wù)器合成的信號，進(jìn)行播放的播放部。
[0028]作為另一結(jié)構(gòu)，所述客戶端終端機(jī)包括編輯歌詞的歌詞編輯部；編輯音源的音源編輯部；播放與鋼琴鍵位置相應(yīng)的聲音的虛擬鋼琴樂器部；編輯元音效果的元音效果編輯部；選擇相當(dāng)于元音的歌手音源，編輯各種聲道的歌手及聲道編輯部；從語音合成傳送服務(wù)器接收由語音合成服務(wù)器合成的信號，進(jìn)行播放的播放部。
[0029]所述語音合成服務(wù)器包括獲取由客戶端終端機(jī)傳送的歌詞、歌手、聲道、音階、音長、拍子、節(jié)奏、音樂效果的音樂信息獲得部；分析由上述音樂信息獲得部獲得的歌詞文章，根據(jù)語言特征，轉(zhuǎn)換成所定義的形式的文句分析部；把由上述文句分析部分析的數(shù)據(jù)，轉(zhuǎn)換成音素基礎(chǔ)的發(fā)音轉(zhuǎn)換部；對由所述文句分析部及發(fā)音轉(zhuǎn)換部分析出的相當(dāng)于歌詞的最優(yōu)音素，按提前定義的規(guī)則，選擇最優(yōu)音素的最優(yōu)音素選擇部；從所述音樂信息獲得部獲取歌手信息，根據(jù)該信息，從音源數(shù)據(jù)庫選擇即符合由所述最優(yōu)音素選擇部選擇的因素，又符合所述歌手信息的音源的音源選擇部；根據(jù)歌詞文章特征，獲得由所述最優(yōu)音素選擇部選擇的因素，連接各最優(yōu)音素，對此進(jìn)行合成時，控制長度和音高(pitch)的韻律控制部；獲得由所述韻律控制部合成的歌詞文章，根據(jù)通過所述音樂信息獲得部獲得的音階、音長、拍子、節(jié)奏，調(diào)配所獲得的歌詞文章的語音轉(zhuǎn)換部；獲得由所述語音轉(zhuǎn)換部轉(zhuǎn)換的語音，根據(jù)通過所述音樂信息獲得部獲得的音樂效果，為所述已轉(zhuǎn)換的語音調(diào)配音色的音色轉(zhuǎn)換部；對通過所述音樂信息獲得部獲得的背景音樂信息與通過所述音色轉(zhuǎn)換部轉(zhuǎn)換的音色，進(jìn)行合成的歌曲及背景音樂合成部。
[0030]所述音樂信息獲得部包括獲得歌詞信息的歌詞信息獲得部；從存儲于音源數(shù)據(jù)庫的背景音樂音源中，獲得所選背景音樂音源信息的背景音樂信息獲得部；獲得由使用者調(diào)節(jié)的元音效果信息的元音效果獲得部；獲得歌手信息的歌手信息獲得部。
[0031]另外還包括獲得由使用者通過從虛擬鋼琴樂器選擇的鋼琴鍵位置信息的鋼琴鍵位置獲得部。
[0032]所述語音合成傳送服務(wù)器包括把多臺客戶端終端機(jī)音樂合成請求，按依次或并列方式進(jìn)行管理，以此讓多臺客戶端終端機(jī)同時連接語音合成服務(wù)器，發(fā)出語音合成請求的客戶端多址連接管理部；為了在有限的網(wǎng)絡(luò)環(huán)境中有效傳送音樂數(shù)據(jù)，對音樂數(shù)據(jù)進(jìn)行壓縮的音樂數(shù)據(jù)壓縮處理部；根據(jù)客戶端終端機(jī)音樂合成請求，把合成的音樂信息傳送給客戶端終端機(jī)的音樂數(shù)據(jù)傳送部；為了給移動通信公司鈴聲服務(wù)、彩鈴服務(wù)提供語音合成基礎(chǔ)音樂內(nèi)容，向外部系統(tǒng)傳送該音樂內(nèi)容的附加服務(wù)界面處理部。
[0033]在此，對本發(fā)明利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，通過實施例進(jìn)行詳細(xì)說明。
[0034]圖1為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)整體結(jié)構(gòu)圖。
[0035]如圖1所示，本發(fā)明利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)整體上包括客戶端終端機(jī)，語音合成服務(wù)器，語音合成傳送服務(wù)器及把這些連接的網(wǎng)絡(luò)。
[0036]客戶端終端機(jī)編輯歌詞及音源，播放與鋼琴鍵位置對應(yīng)的音，編輯元音效果(effect)或把相當(dāng)于元音的歌手音源及聲道(track)編輯成音樂信息，發(fā)送到語音合成服務(wù)器，播放由語音合成服務(wù)器加工的音樂。語音合成服務(wù)器獲得所述客戶端終端機(jī)發(fā)送的音樂信息，提取與歌詞相應(yīng)的音源，進(jìn)行合成及加工。語音合成傳送服務(wù)器把所述語音合成服務(wù)器生成的音樂發(fā)送到客戶端終端機(jī)。
[0037]圖2為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)客戶端終端機(jī)框圖。
[0038]如圖2所示，所述客戶端終端機(jī)200包括編輯歌詞的歌詞編輯部210 ;編輯音源的音源編輯部220 ;編輯元音效果的元音效果編輯部240 ;選擇相當(dāng)于元音的歌手音源，編輯各種聲道的歌手及聲道編輯部250 ;從語音合成傳送服務(wù)器接收由語音合成服務(wù)器合成的信號，進(jìn)行播放的播放部260。
[0039]另外，根據(jù)需要還可以額外包括播放與鋼琴鍵位置相應(yīng)音調(diào)的虛擬鋼琴樂器部230。
[0040]為了執(zhí)行所述編輯功能，如圖5所示，使用者的客戶端終端機(jī)上載有使用本發(fā)明系統(tǒng)所需制作程序。
[0041]這里，所述制作程序在屏幕上顯示用于編輯歌詞的歌詞編輯領(lǐng)域410，用于編輯背景音樂的背景音樂編輯領(lǐng)域420，用于使用者操作鋼琴鍵的虛擬鋼琴鍵領(lǐng)域430，用于使用者編輯元音效果的元音效果編輯領(lǐng)域440，用于編輯歌手或聲道的歌手設(shè)置領(lǐng)域450，用于使用者選擇文件、編輯、音頻、視圖、操作、聲道、歌詞、設(shè)置、唱法、幫助等的設(shè)置領(lǐng)域460。從而使用者可以按自己的意愿進(jìn)行編輯。
[0042]所述歌詞編輯領(lǐng)域410可以輸入語言最小單位(音節(jié))，標(biāo)記個音節(jié)的音，并標(biāo)記發(fā)
音記號。
[0043]各音節(jié)具有相應(yīng)的音階(Pitch),音長(Length)屬性。
[0044]所述背景音樂編輯領(lǐng)域420可以輸入、編輯WAV、MP3等現(xiàn)有音源。
[0045]所述虛擬鋼琴樂器領(lǐng)域430提供相當(dāng)于鋼琴樂器的功能，可以播放對應(yīng)于各鋼琴鍵位置的音。
[0046]所述歌手設(shè)置領(lǐng)域450可以選擇與元音相應(yīng)的歌手音源，提供編輯各種效果的功能，執(zhí)打各種類型的歌手唱歌的功能。
[0047]所述設(shè)置領(lǐng)域460可以設(shè)置唱法、設(shè)置編輯基本單位音標(biāo)、編輯畫面選項等。
[0048]所述各領(lǐng)域通過用于編輯歌詞的歌詞編輯部210、用于編輯音源的音源編輯部220、用于編輯元音效果的元音效果編輯部240、選擇相應(yīng)于元音的歌手音源、用于編輯各種聲道的歌手及聲道編輯部250提供，所述編輯部編輯的信息由中央控制部(圖略)接收，傳送到語音合成傳送服務(wù)器。
[0049]這里，所述語音合成傳送服務(wù)器300包括把多臺客戶端終端機(jī)音樂合成請求，按依次或并列方式進(jìn)行管理，以此讓多臺客戶端終端機(jī)同時連接語音合成服務(wù)器，發(fā)出語音合成請求的客戶端多址連接管理部310 ;為了在有限的網(wǎng)絡(luò)環(huán)境中有效傳送音樂數(shù)據(jù)，對音樂數(shù)據(jù)進(jìn)行壓縮的音樂數(shù)據(jù)壓縮處理部320 ;根據(jù)客戶端終端機(jī)音樂合成請求，把合成的音樂信息傳送給客戶端終端機(jī)的音樂數(shù)據(jù)傳送部330 ;為了給移動通信公司鈴聲服務(wù)、彩鈴服務(wù)提供語音合成基礎(chǔ)音樂內(nèi)容，向外部系統(tǒng)傳送該音樂內(nèi)容的附加服務(wù)界面處理部340。
[0050]所述客戶端多址連接管理部310把多臺客戶端終端機(jī)的音樂合成請求，按依次或并列方式進(jìn)行管理，以此讓多臺客戶端終端機(jī)同時連接語音合成服務(wù)器，發(fā)出語音合成請求。
[0051]即，按客戶端終端機(jī)連接的時間順序，進(jìn)行順序管理，依次處理。
[0052]音樂數(shù)據(jù)壓縮處理部320是為了在有限的網(wǎng)絡(luò)環(huán)境中有效傳送音樂數(shù)據(jù)，對音樂數(shù)據(jù)進(jìn)行壓縮的部分，接收來自所述客戶端終端機(jī)的音樂合成請求數(shù)據(jù)，進(jìn)行壓縮。語音合成服務(wù)器具有解碼的解碼部。[0053]音樂數(shù)據(jù)傳送部330根據(jù)客戶端終端機(jī)音樂合成請求，把合成的音樂信息傳送給客戶端終端機(jī)。
[0054]另外，語音合成服務(wù)器把合成的音樂信息傳向客戶端終端機(jī)時，也利用所述音樂數(shù)據(jù)傳送部。
[0055]附加服務(wù)界面處理部340為了給移動通信公司鈴聲服務(wù)、彩鈴服務(wù)提供基于語音合成的音樂內(nèi)容，向外部系統(tǒng)傳送該音樂內(nèi)容，把各客戶端創(chuàng)作的音樂內(nèi)容向網(wǎng)絡(luò)上流通。
[0056]所述外部系統(tǒng)是用于接收本發(fā)明語音合成服務(wù)器提供的音樂內(nèi)容的系統(tǒng)，比如可以是提供鈴聲服務(wù)的移動通信公司服務(wù)器，提供彩鈴服務(wù)的移動通信公司服務(wù)器。
[0057]圖3為本發(fā)明一實施例的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)語音合成服務(wù)器框圖。
[0058]所述語音合成服務(wù)器100包括獲取由客戶端終端機(jī)傳送的歌詞、歌手、聲道、音階、音長、拍子、節(jié)奏、音樂效果的音樂信息獲得部110 ;分析由上述音樂信息獲得部獲得的歌詞文章，根據(jù)語言特征，轉(zhuǎn)換成所定義的形式的文句分析部120 ;把由上述文句分析部分析的數(shù)據(jù)，轉(zhuǎn)換成音素基礎(chǔ)的發(fā)音轉(zhuǎn)換部130 ;對由所述文句分析部及發(fā)音轉(zhuǎn)換部分析出的相當(dāng)于歌詞的最優(yōu)音素，按提前定義的規(guī)則，選擇最優(yōu)音素的最優(yōu)音素選擇部140 ;從所述音樂信息獲得部獲取歌手信息，根據(jù)該信息，從音源數(shù)據(jù)庫選擇即符合由所述最優(yōu)音素選擇部選擇的因素，又符合所述歌手信息的音源的音源選擇部150 ;根據(jù)歌詞文章特征，獲得由所述最優(yōu)音素選擇部選擇的因素，連接各最優(yōu)音素，對此進(jìn)行合成時，控制長度和音高(pitch)的韻律控制部160 ;獲得由所述韻律控制部合成的歌詞文章，根據(jù)通過所述音樂信息獲得部獲得的音階、音長、拍子、節(jié)奏，調(diào)配所獲得的歌詞文章的語音轉(zhuǎn)換部170 ;獲得由所述語音轉(zhuǎn)換部轉(zhuǎn)換的語音，根據(jù)通過所述音樂信息獲得部獲得的音樂效果，為所述已轉(zhuǎn)換的語音調(diào)配音色的音色轉(zhuǎn)換部180 ;對通過所述音樂信息獲得部獲得的背景音樂信息與通過所述音色轉(zhuǎn)換部轉(zhuǎn)換的音色，進(jìn)行合成的歌曲及背景音樂合成部190。
[0059]所述音樂信息獲得部110為了播放音樂獲取由客戶端終端機(jī)傳送的歌詞、歌手、聲道、音階、音長、拍子、節(jié)奏、音樂效果。
[0060]即如圖5所示，為了讓制作者利用文字語音合成制作音樂內(nèi)容，本發(fā)明的客戶端終端機(jī)上載有音樂內(nèi)容制作程序，顯示在屏幕上。
[0061]把所述歌詞、歌手、聲道、音階、音長、拍子、節(jié)奏、音樂效果信息等存儲在音樂信息數(shù)據(jù)庫195中，進(jìn)行管理，參考所述客戶端選擇的播放音樂所需信息，由音樂信息獲得部獲得音樂信息數(shù)據(jù)庫195中的相應(yīng)信息。
[0062]為了讓使用者選擇制作音樂內(nèi)容所需各種動作模式，在使用者終端機(jī)屏幕上顯示制作程序，使用者根據(jù)顯示屏上的內(nèi)容，選擇歌詞、歌手、聲道、音階、音長、拍子、節(jié)奏、音樂效果、唱法等時，該選擇的信息被傳送到語音合成服務(wù)器，由音樂信息獲得部110獲得。
[0063]這是，所述文句分析部120分析由上述音樂信息獲得部獲得的歌詞文章，根據(jù)語言特征，轉(zhuǎn)換成所定義的形式。
[0064]語言特征方面，韓語的語句包括主語、謂語、動詞、助詞、副詞等，有羅列規(guī)律。這就是語言特征。英語、漢語等所有語言也都具有各自的特征。
[0065]所述定義的形式意味著劃分為語言形態(tài)素，而形態(tài)素是語言的具有意義的最小單位。[0066]如“東海水與白頭山”，分為形態(tài)素時如下。即“東海水”+ “與”+ “白頭山”。
[0067]而按形態(tài)素分割后，對文章進(jìn)行分析，比如“東海水”=名詞，“與”=連詞，“白頭山”=名詞。如此，把句子中的單詞分割為名詞、動詞、連詞、形容詞等。
[0068]S卩，如果選擇的歌詞是漢語，則按漢語的特征，按定義的形態(tài)進(jìn)行轉(zhuǎn)換。
[0069]所述文句分析部分析的數(shù)據(jù)，由發(fā)音轉(zhuǎn)換部130接收，以音素為準(zhǔn)進(jìn)行轉(zhuǎn)換，通過最優(yōu)因素選擇部140對所述文句分析部及發(fā)音轉(zhuǎn)換部分析的歌詞，按事先定義的規(guī)則，選擇相應(yīng)的最佳音素。
[0070]所述發(fā)音轉(zhuǎn)換部，以因素為準(zhǔn)進(jìn)行轉(zhuǎn)換，把分割完的文章，按漢語閱讀規(guī)則，按發(fā)音形式轉(zhuǎn)換。
[0071]比如，“東海水”唱出來會發(fā)音成“東(一聲)海(二聲)水(三聲)”，把其分割成音素基礎(chǔ)的話變化成 “ du+ong+ong+hai+shu i+i ”。
[0072]所述最優(yōu)因素選擇部140如果分析的歌詞是東海水，則把最優(yōu)因素比如選為“ du+ong+ong+hai+shui+i”。
[0073]音源選擇部150從所述音樂信息獲得部獲取歌手信息，根據(jù)該信息，從音源數(shù)據(jù)庫選擇即符合由所述最優(yōu)音素選擇部選擇的因素，又符合所述歌手信息的音源。
[0074]S卩，如果作為歌手選擇了少女時代，則從音源數(shù)據(jù)庫選擇相應(yīng)于少女時代的音源。
[0075]歌手信息之外，還可以提供聲道信息，因此如果使用者還選擇了聲道，則還可以提供相應(yīng)聲道信息。
[0076]所述韻律控制部160根據(jù)歌詞文章特征，獲得由所述最優(yōu)音素選擇部選擇的因素，連接各最優(yōu)音素，對此進(jìn)行合成時，控制長度和音高(pitch)。
[0077]所述文章特征意味著聲調(diào)轉(zhuǎn)變規(guī)律等語言規(guī)則。
[0078]所述長度意味著歌詞相應(yīng)的音長，即意味著1、2、3拍，音高意味著歌詞的音階，即意味著“哆來咪發(fā)嗖拉西哆”這種音樂定義的音高。
[0079]即，為了按文章的特征，自然發(fā)聲，連接因素進(jìn)行合成時，起控制長度和音高的作用。
[0080]所述語音轉(zhuǎn)換部170獲得由所述韻律控制部合成的歌詞文章，根據(jù)通過所述音樂信息獲得部獲得的音階、音長、拍子、節(jié)奏，調(diào)配所獲得的歌詞文章。
[0081]S卩，把相應(yīng)于歌詞的音源，按音階、音長、拍子、節(jié)奏轉(zhuǎn)變語音，比如把相應(yīng)于“東”的音源，以“嗖”音階、I拍音長、4/4拍子、120節(jié)奏，播放音源。
[0082]所述音階意味著音高，為了讓使用者便于選擇音高，本發(fā)明提供虛擬鋼琴樂器功倉泛。
[0083]所述音長意味著音的長度，提供樂譜等音符，讓使用者易于編輯音長。
[0084]基本提供的音符有I分音符(I)、2分音符(1/2 )、4分音符(1/4 )、8分音符(1/8)、16分音符(1/16)、32分音符(1/32)、64分音符(1/64)。
[0085]所述拍子是音樂的拍子單位，有1/2拍、1/4拍、1/8拍等。
[0086]相當(dāng)于分母的數(shù)字為(1、2、4、8、16、32、64)，相當(dāng)于分子的數(shù)字為(I?256)。
[0087]所述節(jié)奏意味著音樂播放速度，通常提供(20?300)，數(shù)字越小速度越慢，數(shù)字越大意味著速度越快。通常一拍長度速度定為120。
[0088]所述音色轉(zhuǎn)換部180獲得由所述語音轉(zhuǎn)換部轉(zhuǎn)換的語音，根據(jù)通過所述音樂信息獲得部獲得的音樂效果，為所述已轉(zhuǎn)換的語音調(diào)配音色。
[0089]比如給“東”這一音源給以顫音等音樂效果時，音色會發(fā)生變化。
[0090]所述音樂效果及唱法可以最大限度地表現(xiàn)音樂效果，而這種音樂效果會支持人的自然發(fā)生方法，以如下方式改變音色。
[0091]如圖5所示，制作程序為客戶端終端機(jī)提供VEL (velocity)、DYN (dynamics)、BRE (Breathiness)、BRI (Brightness)、CLE (Clearness)、OPE (Opening)、GEN (GenderFactor)、P0R (Portamento Timing)、PIT (Pitch Bend)、PBS (Pitch Bend Sensitivity)、VIB (Vibration)等。
[0092]所述VEL (velocity)為起音值，值越高母音越短，起因感覺越高。所述DYN(dynamics)的值越高，力度越強(qiáng)，控制歌手的力度(聲音的大小、柔和程度)。
[0093]所述BRE (Breathiness)的值越高,氣息越強(qiáng),所述BRI (Brightness)是增減聲音高的頻率成分，值越高聲音月亮，值越低聲音越深，越溫和。
[0094]所述CLE (Clearness)類似BRI，但原理不同。即，值越高越聲音越尖銳、清澈，值越低聲音越深沉、越低。
[0095]所述OPE(Opening)模擬的是按開口的狀態(tài)換音調(diào)的樣子,越高越鮮明，越低越混沌。
[0096]所述GEN (Gender Factor)是廣泛改變歌手個性的參數(shù),越高越有男人味,越低越有女人味。
[0097]所述POR (Portamento Timing)是調(diào)整變換音高重點的參數(shù)，所述PIT (PitchBend)調(diào)節(jié)與音高相關(guān)的EQ滑動,所述PBS (Pitch Bend Sensitivity)執(zhí)行與調(diào)節(jié)音高相關(guān)的感度或感性參數(shù)調(diào)節(jié)，所述VIB (Vibration)調(diào)節(jié)音的震顫。
[0098]唱法意味著唱歌方式，對元音的音源，利用元音音效等技法進(jìn)行加工，實現(xiàn)多樣唱法。
[0099]比如女性聲音，男性聲音，小孩聲音，機(jī)器人聲音，流行歌曲，古典歌曲等提供唱歌技法。
[0100]所述歌曲及背景音樂合成部190對通過所述音樂信息獲得部獲得的背景音樂信息與通過所述音色轉(zhuǎn)換部轉(zhuǎn)換的音色，進(jìn)行合成。
[0101]如，播放“東海水與白頭山”這一音源時，合成相應(yīng)歌曲的背景音樂(通常以樂器演奏的音樂)。
[0102]即，在所述轉(zhuǎn)換的最終音色上，合成背景音樂，輸出完整的音樂。
[0103]所述用于獲得音樂信息的音樂信息獲得部110包括獲得歌詞信息的歌詞信息獲得部(圖略)；從存儲于音源數(shù)據(jù)庫的背景音樂音源中，獲得所選背景音樂音源信息的背景音樂信息獲得部(圖略);獲得由使用者調(diào)節(jié)的元音效果信息的元音效果獲得部(圖略);獲得歌手信息的歌手信息獲得部(圖略)。
[0104]還可以根據(jù)需要額外包括獲得由使用者通過從虛擬鋼琴樂器選擇的鋼琴鍵位置信息的鋼琴鍵位置獲得部(圖略)。
[0105]所述鋼琴鍵位置信息，事先定義與鋼琴鍵的各鍵音高相應(yīng)的頻率。
[0106]通過這種結(jié)構(gòu)及操作，任何人都可以在移動環(huán)境下輕松編輯音樂內(nèi)容，獲得合成好的語音，可把個人創(chuàng)作的內(nèi)容流通到在線、離線環(huán)境中，用于手機(jī)的鈴聲、彩鈴等音樂內(nèi)容的應(yīng)用上。還可以用于多種形式便攜設(shè)備的音樂播放及語音向?qū)В蔀锳RS(自動應(yīng)答系統(tǒng))、導(dǎo)航儀提供高度仿真真人版語音向?qū)Х?wù)，可讓人工智能機(jī)器人說話聲音及歌喉高度近似于真人。
[0107]最后應(yīng)說明的是:以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的范圍。
[0108]產(chǎn)業(yè)利用可行性
[0109]本發(fā)明通過這種結(jié)構(gòu)及操作，可讓任何人都可以在移動環(huán)境下輕松編輯音樂內(nèi)容，獲得合成好的語音，可把個人創(chuàng)作的內(nèi)容流通到在線、離線環(huán)境中，用于手機(jī)的鈴聲、彩鈴等音樂內(nèi)容的應(yīng)用上。因此音樂內(nèi)容制作領(lǐng)域上應(yīng)用前景非常寬。
【權(quán)利要求】
1.一種利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于:包括 編輯歌詞及音源，播放與鋼琴鍵位置對應(yīng)的音，編輯元音效果(effect)或把相當(dāng)于元音的歌手音源及聲道(track)編輯成音樂信息，發(fā)送到語音合成服務(wù)器，播放由語音合成服務(wù)器加工的音樂的客戶端終端機(jī)； 獲得所述客戶端終端機(jī)發(fā)送的音樂信息，提取與歌詞相應(yīng)的音源，進(jìn)行合成及加工的語音合成服務(wù)器； 把所述語音合成服務(wù)器生成的音樂發(fā)送到客戶端終端機(jī)的語音合成傳送服務(wù)器。
2.根據(jù)權(quán)利要求1所述的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于: 所述客戶端終端機(jī)包括編輯歌詞的歌詞編輯部； 編輯音源的音源編輯部； 編輯元音效果的元音效果編輯部； 選擇相當(dāng)于元音的歌手音源，編輯各種聲道的歌手及聲道編輯部； 從語音合成傳送服務(wù)器接收由語音合成服務(wù)器合成的信號，進(jìn)行播放的播放部。
3.根據(jù)權(quán)利要求1所述 的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于: 所述客戶端終端機(jī)包括編輯歌詞的歌詞編輯部； 編輯音源的音源編輯部； 播放與鋼琴鍵位置相應(yīng)的聲音的虛擬鋼琴樂器部； 編輯元音效果的元音效果編輯部； 選擇相當(dāng)于元音的歌手音源，編輯各種聲道的歌手及聲道編輯部； 從語音合成傳送服務(wù)器接收由語音合成服務(wù)器合成的信號，進(jìn)行播放的播放部。
4.根據(jù)權(quán)利要求1所述的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于: 所述語音合成服務(wù)器包括獲取由客戶端終端機(jī)傳送的歌詞、歌手、聲道、音階、音長、拍子、節(jié)奏、音樂效果的音樂信息獲得部； 分析由上述音樂信息獲得部獲得的歌詞文章，根據(jù)語言特征，轉(zhuǎn)換成所定義的形式的文句分析部； 把由上述文句分析部分析的數(shù)據(jù)，轉(zhuǎn)換成音素基礎(chǔ)的發(fā)音轉(zhuǎn)換部； 對由所述文句分析部及發(fā)音轉(zhuǎn)換部分析出的相當(dāng)于歌詞的最優(yōu)音素，按提前定義的規(guī)貝U，選擇最優(yōu)音素的最優(yōu)音素選擇部； 從所述音樂信息獲得部獲取歌手信息，根據(jù)該信息，從音源數(shù)據(jù)庫選擇即符合由所述最優(yōu)音素選擇部選擇的因素，又符合所述歌手信息的音源的音源選擇部； 根據(jù)歌詞文章特征，獲得由所述最優(yōu)音素選擇部選擇的因素，連接各最優(yōu)音素，對此進(jìn)行合成時，控制長度和音高(pitch)的韻律控制部； 獲得由所述韻律控制部合成的歌詞文章，根據(jù)通過所述音樂信息獲得部獲得的音階、音長、拍子、節(jié)奏，調(diào)配所獲得的歌詞文章的語音轉(zhuǎn)換部； 獲得由所述語音轉(zhuǎn)換部轉(zhuǎn)換的語音，根據(jù)通過所述音樂信息獲得部獲得的音樂效果，為所述已轉(zhuǎn)換的語音調(diào)配音色的音色轉(zhuǎn)換部； 對通過所述音樂信息獲得部獲得的背景音樂信息與通過所述音色轉(zhuǎn)換部轉(zhuǎn)換的音色，進(jìn)行合成的歌曲及背景音樂合成部。
5.根據(jù)權(quán)利要求4所述的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于:所述音樂信息獲得部包括獲得歌詞信息的歌詞信息獲得部； 從存儲于音源數(shù)據(jù)庫的背景音樂音源中，獲得所選背景音樂音源信息的背景音樂信息獲得部; 獲得由使用者調(diào)節(jié)的元音效果信息的元音效果獲得部； 獲得歌手信息的歌手信息獲得部。
6.根據(jù)權(quán)利要求4所述的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于: 還包括獲得由使用者通過從虛擬鋼琴樂器選擇的鋼琴鍵位置信息的鋼琴鍵位置獲得部。
7.根據(jù)權(quán)利要求1所述的利用客戶端終端機(jī)的音樂內(nèi)容制作系統(tǒng)，其特征在于: 所述語音合成傳送服務(wù)器包括把多臺客戶端終端機(jī)音樂合成請求，按依次或并列方式進(jìn)行管理，以此讓多臺客戶端終端機(jī)同時連接語音合成服務(wù)器，發(fā)出語音合成請求的客戶端多址連接管理部； 為了在有限的網(wǎng)絡(luò)環(huán)境中有效傳送音樂數(shù)據(jù)，對音樂數(shù)據(jù)進(jìn)行壓縮的音樂數(shù)據(jù)壓縮處理部； 根據(jù)客戶端終端機(jī)音樂合成請求，把合成的音樂信息傳送給客戶端終端機(jī)的音樂數(shù)據(jù)傳送部； 為了給移動通信公司鈴聲服務(wù)、彩鈴服務(wù)提供語音合成基礎(chǔ)音樂內(nèi)容，向外部系統(tǒng)傳送該音樂內(nèi)容的附加服務(wù)界面處 理部。
【文檔編號】G06Q50/10GK103503015SQ201280020843
【公開日】2014年1月8日 申請日期:2012年4月17日 優(yōu)先權(quán)日:2011年4月28日
【發(fā)明者】廉宗學(xué), 姜元模 申請人:天錦絲有限公司