基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開(kāi)了一種基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，包括：素材庫(kù)，位于后端服務(wù)器，用于存儲(chǔ)Riff，并標(biāo)注Riff的屬性；用戶輸入模塊，安裝于移動(dòng)終端，用于用戶輸入觸發(fā)信息；音樂(lè)生成模塊，安裝于移動(dòng)終端，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中篩選備用Riff，并根據(jù)備用Riff和觸發(fā)信息生成音樂(lè)文件。本發(fā)明中用戶只需要輸入觸發(fā)信息，系統(tǒng)即可根據(jù)觸發(fā)信息自動(dòng)生成相應(yīng)的音樂(lè)；通過(guò)機(jī)器學(xué)習(xí)等技術(shù)的幫助，使得普通大眾能夠參與到音樂(lè)制作、交互這種專業(yè)活動(dòng)中創(chuàng)造屬于自己的音樂(lè)，在此過(guò)程中用戶只需輸入語(yǔ)音信息，即可自動(dòng)生成相應(yīng)的說(shuō)唱音樂(lè)。
【專利說(shuō)明】
基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及音樂(lè)制作技術(shù)領(lǐng)域，特別是涉及一種基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)。
【背景技術(shù)】
[0002]回顧音樂(lè)的發(fā)展史，音樂(lè)的創(chuàng)作和交互方式從未發(fā)生過(guò)大的變化。在人類文明高度發(fā)展的今天，傳統(tǒng)上音樂(lè)首先被專業(yè)人士創(chuàng)作出來(lái)，進(jìn)而以磁帶、CD、電臺(tái)或互聯(lián)網(wǎng)音頻流等形式進(jìn)入大眾耳朵。現(xiàn)場(chǎng)演出會(huì)可能發(fā)生的部分即興改編，或類似于“音樂(lè)背后的創(chuàng)作故事”等對(duì)話交流，音樂(lè)從被創(chuàng)作出來(lái)，直至在大眾中傳播的整個(gè)過(guò)程幾乎不存在任何變化。同時(shí)，音樂(lè)本身和聽(tīng)眾之間的交互也僅停留于“你寫(xiě)我聽(tīng)”的層面。由于聽(tīng)眾類型、情緒、喜好等外在因素和音樂(lè)本身之間缺少感應(yīng)傳輸媒介，音樂(lè)也無(wú)法隨外界輸入變化而變化。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，用戶通過(guò)輸入觸發(fā)信息，即可自動(dòng)生成相應(yīng)的音樂(lè)。
[0004]本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，包括:素材庫(kù)，位于后端服務(wù)器，用于存儲(chǔ)Riff，并標(biāo)注Riff的屬性；用戶輸入模塊，安裝于移動(dòng)終端，用于用戶輸入觸發(fā)信息；音樂(lè)生成模塊，安裝于移動(dòng)終端，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中篩選備用Riff，并根據(jù)備用Riff和觸發(fā)信息生成音樂(lè)文件。
[0005]所述觸發(fā)信息為語(yǔ)音信息、文字信息或動(dòng)作信息。
[0006]所述動(dòng)作信息為晃動(dòng)手機(jī)或劃屏動(dòng)作。
[0007]所述音樂(lè)生成模塊包括:篩選子模塊，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中選取RifT;音樂(lè)制作子模塊，用于根據(jù)用戶輸入的觸發(fā)信息將選取的RifT進(jìn)行排序生成音樂(lè)文件;效果器添加子模塊，用于向音樂(lè)文件中添加效果器;音樂(lè)輸出子模塊，用于輸入音樂(lè)文件。
[0008]所述音樂(lè)生成模塊還包括音樂(lè)調(diào)節(jié)子模塊，用于對(duì)音樂(lè)文件進(jìn)行變速不變調(diào)調(diào)
-K-
T O
[0009]所述音樂(lè)生成模塊還包括語(yǔ)音文字互轉(zhuǎn)模塊，用于將語(yǔ)音信息轉(zhuǎn)換為文本信息，或是將文本信息轉(zhuǎn)換為語(yǔ)音信息。
[0010]所述效果器包括混響效果器、鑲邊效果器、延遲效果器和回聲效果器。
[0011]本發(fā)明的有益效果是:本發(fā)明中，用戶只需要輸入觸發(fā)信息，系統(tǒng)即可根據(jù)觸發(fā)信息自動(dòng)生成相應(yīng)的音樂(lè);本發(fā)明通過(guò)機(jī)器學(xué)習(xí)等技術(shù)的幫助，使得普通大眾能夠參與到音樂(lè)制作、交互這種專業(yè)活動(dòng)中創(chuàng)造屬于自己的音樂(lè)，在此過(guò)程中用戶只需輸入語(yǔ)音信息，即可自動(dòng)生成相應(yīng)的說(shuō)唱音樂(lè)。
【附圖說(shuō)明】
[0012]圖1為本發(fā)明基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)的流程圖。
【具體實(shí)施方式】
[0013]下面結(jié)合附圖進(jìn)一步詳細(xì)描述本發(fā)明的技術(shù)方案，但本發(fā)明的保護(hù)范圍不局限于以下所述。
[0014]如圖1所示，基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，包括素材庫(kù)、用戶輸入模塊和音樂(lè)生成模塊。
[0015]所述素材庫(kù)，位于后端服務(wù)器，用于存儲(chǔ)Riff，并標(biāo)注Riff的屬性。Riff包括Loop(如鼓、吉他、貝斯、弦樂(lè)、特殊音效等音頻片段)和VST(包括midi文件和虛擬樂(lè)器采樣)，多個(gè)不同的Riff按音樂(lè)發(fā)揮在那的時(shí)間先后順序排列構(gòu)成一軌的Riff集，若干軌的Riff集(比如常見(jiàn)的鼓軌Riff集，吉他軌Riff集，貝斯軌Riff集，弦樂(lè)軌Riff集，特殊音效軌Riff?集等)構(gòu)成一首完整歌曲的音樂(lè)部分。對(duì)Riff的屬性進(jìn)行標(biāo)注的方式包括半監(jiān)督學(xué)習(xí)方式和人工標(biāo)注方式，本實(shí)施例中以半監(jiān)督學(xué)習(xí)方式為主，結(jié)合人工標(biāo)注，為素材庫(kù)中Rif f添加標(biāo)簽，即進(jìn)行標(biāo)注(如鼓、吉他、貝司等Riff的速度、長(zhǎng)度、根音、節(jié)奏型，甚至情緒類型等)。
[0016]所述用戶輸入模塊，安裝于移動(dòng)終端，用于用戶輸入觸發(fā)信息。
[0017]所述移動(dòng)終端內(nèi)部設(shè)有方向傳感器、加速度傳感器、地磁傳感器、壓力傳感器，以及溫度傳感器。
[0018]所述觸發(fā)信息為語(yǔ)音信息、文字信息或動(dòng)作信息；當(dāng)觸發(fā)信息為語(yǔ)音信息時(shí)，音樂(lè)生成模塊輸出的音樂(lè)文件為說(shuō)唱音樂(lè)；當(dāng)觸發(fā)信息為文本信息時(shí)，音樂(lè)生成文件輸出端音樂(lè)文件為說(shuō)唱音樂(lè)或純音樂(lè)；當(dāng)觸發(fā)信息為動(dòng)作信息時(shí)，輸音樂(lè)生成模塊輸出的音樂(lè)文件為純音樂(lè)。
[0019]所述動(dòng)作信息為晃動(dòng)手機(jī)或劃屏動(dòng)作，用戶可以在上下左右等方向上晃動(dòng)手機(jī)或在上下左右方向上進(jìn)行劃屏動(dòng)作。用戶的操作的不同特征對(duì)應(yīng)音樂(lè)不同的組成要素，例如，用戶晃動(dòng)手機(jī)的速度對(duì)應(yīng)音樂(lè)的速度、用戶晃動(dòng)手機(jī)的力度對(duì)應(yīng)音樂(lè)的節(jié)奏、用戶晃動(dòng)手機(jī)的方向?qū)?yīng)音樂(lè)的調(diào)性，用戶劃屏的方向?qū)?yīng)音樂(lè)的調(diào)性、用戶劃屏的頻率對(duì)應(yīng)音樂(lè)的速度、用戶劃屏的力度對(duì)應(yīng)音樂(lè)的節(jié)奏。
[0020]所述音樂(lè)生成模塊，安裝于移動(dòng)終端，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中篩選備用Riff，并根據(jù)備用Riff和觸發(fā)信息生成音樂(lè)文件。
[0021]所述音樂(lè)生成模塊包括篩選子模塊、音樂(lè)制作子模塊、效果器添加子模塊和音樂(lè)輸出子模塊。
[0022]所述篩選子模塊，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中選取Riff。
[0023]所述音樂(lè)制作子模塊，用于根據(jù)用戶輸入的觸發(fā)信息將選取的RifT進(jìn)行排序生成音樂(lè)文件。
[0024]所述效果器添加子模塊，用于向音樂(lè)文件中添加效果器。所述效果器包括混響效果器、鑲邊效果器、延遲效果器和回聲效果器。
[0025]所述音樂(lè)輸出子模塊，用于輸入音樂(lè)文件。
[0026]所述音樂(lè)生成模塊還包括音樂(lè)調(diào)節(jié)子模塊，用于對(duì)音樂(lè)文件進(jìn)行變速不變調(diào)調(diào)節(jié);本實(shí)施例中采用SOLA算法實(shí)現(xiàn)對(duì)分段語(yǔ)音的變速不變調(diào)操作，SOLA算法可以使一段語(yǔ)音在語(yǔ)調(diào)不發(fā)生變化的前提下，加快、減慢語(yǔ)音速度，被廣泛用于復(fù)讀機(jī)、語(yǔ)音掃描等領(lǐng)域，商用音高修正等軟件中的核心組成部分是在保持語(yǔ)音速度不變的前提下，SOLA算法可用于提高、降低語(yǔ)音之音調(diào)。
[0027]所述音樂(lè)生成模塊還包括語(yǔ)音文字互轉(zhuǎn)模塊，用于將語(yǔ)音信息轉(zhuǎn)換為文本信息，或是將文本信息轉(zhuǎn)換為語(yǔ)音信息。
[0028]本發(fā)明的工作原理為:建立Riff庫(kù)，Rif f標(biāo)注子模塊對(duì)Riff庫(kù)中的Rif f進(jìn)行屬性標(biāo)注。用戶輸入觸發(fā)信息:
若觸發(fā)信息為語(yǔ)音信息，則利用基于深度學(xué)習(xí)的語(yǔ)音識(shí)別技術(shù)將語(yǔ)音信息轉(zhuǎn)為文本信息，對(duì)文本信息進(jìn)行分詞，以分詞后文本和Riff之間，Riff和Riff之間在整體上協(xié)調(diào)性最大為目標(biāo)，粗篩Riff庫(kù)得到備選Riff，局部細(xì)調(diào)分詞后文本的各分詞間的相對(duì)位置，最大化文本和RifT在局部上的協(xié)調(diào)性，根據(jù)細(xì)調(diào)后的分詞文本和語(yǔ)音端點(diǎn)檢測(cè)技術(shù)對(duì)原始語(yǔ)音信息進(jìn)行分段，得到分段語(yǔ)音，然后根據(jù)分詞后文本的各分詞間的相對(duì)位置信息對(duì)分段語(yǔ)音進(jìn)行調(diào)速不調(diào)頻操作，得到語(yǔ)音信息和RifT之間的最優(yōu)配對(duì)，使得二者協(xié)調(diào)性最大，對(duì)分段語(yǔ)音和備選Riff，在一定約束下，分別隨機(jī)加入效果器，最終輸出為說(shuō)唱音樂(lè)，還可以將輸出的說(shuō)唱音樂(lè)分享到社交網(wǎng)站上。
[0029]若觸發(fā)信息為文本信息，則對(duì)文本信息進(jìn)行分詞，以分詞后文本和Riff之間，Riff和RifT之間在整體上協(xié)調(diào)性最大為目標(biāo)，粗篩RifT庫(kù)得到備選Riff，局部細(xì)調(diào)分詞后文本的各分詞間的相對(duì)位置，最大化文本和Riff在局部上的協(xié)調(diào)性，對(duì)備選素材在一定約束下隨機(jī)加入效果器，最終輸出為純音樂(lè)，還可以將輸出的純音樂(lè)分享到社交網(wǎng)站上，對(duì)分段語(yǔ)音和備選Riff，在一定約束下，分別隨機(jī)加入效果器，最終輸出為說(shuō)唱音樂(lè)，還可以將輸出的說(shuō)唱音樂(lè)分享到社交網(wǎng)站上。
[0030]若觸發(fā)信息為文本信息，則對(duì)文本信息進(jìn)行分詞，以分詞后文本和Riff之間，Riff和RifT之間在整體上協(xié)調(diào)性最大為目標(biāo)，粗篩RifT庫(kù)得到備選Riff，局部細(xì)調(diào)分詞后文本的各分詞間的相對(duì)位置，最大化文本和Riff在局部上的協(xié)調(diào)性，根據(jù)分詞文本間的相對(duì)位置信息，將分詞文本轉(zhuǎn)換為帶節(jié)奏的分段語(yǔ)音，對(duì)分段語(yǔ)音和備選Riff，在一定約束下，分別隨機(jī)加入效果器，最終輸出為說(shuō)唱音樂(lè)，還可以將輸出的說(shuō)唱音樂(lè)分享到社交網(wǎng)站上。
[0031]若觸發(fā)信息為動(dòng)作信息，則根據(jù)用戶的動(dòng)作信息(動(dòng)作信息包括用戶在移動(dòng)終端上的操作的類型和頻率)篩選出備選Riff，對(duì)備選Riff加入效果器，最終輸出為純音樂(lè)，還可以將輸出的純音樂(lè)分享到社交網(wǎng)站上。
[0032]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對(duì)其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述構(gòu)想范圍內(nèi)，通過(guò)上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:包括: 素材庫(kù)，位于后端服務(wù)器，用于存儲(chǔ)Rif f，并標(biāo)注Rif f的屬性； 用戶輸入模塊，安裝于移動(dòng)終端，用于用戶輸入觸發(fā)信息； 音樂(lè)生成模塊，安裝于移動(dòng)終端，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中篩選備用Riff，并根據(jù)備用Riff和觸發(fā)信息生成音樂(lè)文件。2.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:所述觸發(fā)信息為語(yǔ)音信息、文字信息或動(dòng)作信息。3.根據(jù)權(quán)利要求2所述的基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:所述動(dòng)作信息為晃動(dòng)手機(jī)或劃屏動(dòng)作。4.根據(jù)權(quán)利要求1所述的基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:所述音樂(lè)生成模塊包括: 篩選子模塊，用于根據(jù)用戶輸入的觸發(fā)信息從素材庫(kù)中選取Riff; 音樂(lè)制作子模塊，用于根據(jù)用戶輸入的觸發(fā)信息將選取的Riff進(jìn)行排序生成音樂(lè)文件； 效果器添加子模塊，用于向音樂(lè)文件中添加效果器； 音樂(lè)輸出子模塊，用于輸入音樂(lè)文件。5.根據(jù)權(quán)利要求4所述的基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:所述音樂(lè)生成模塊還包括音樂(lè)調(diào)節(jié)子模塊，用于對(duì)音樂(lè)文件進(jìn)行變速不變調(diào)調(diào)節(jié)。6.根據(jù)權(quán)利要求2或4所述的基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:所述音樂(lè)生成模塊還包括語(yǔ)音文字互轉(zhuǎn)模塊，用于將語(yǔ)音信息轉(zhuǎn)換為文本信息，或是將文本信息轉(zhuǎn)換為語(yǔ)音信息。7.根據(jù)權(quán)利要求4所述的基于機(jī)器學(xué)習(xí)技術(shù)的音樂(lè)自動(dòng)生成系統(tǒng)，其特征在于:所述效果器包括混響效果器、鑲邊效果器、延遲效果器和回聲效果器。
【文檔編號(hào)】G10H1/00GK105976802SQ201610253700
【公開(kāi)日】2016年9月28日
【申請(qǐng)日】2016年4月22日
【發(fā)明人】湯影, 楊林
【申請(qǐng)人】成都涂鴉科技有限公司