專利名稱：歌聲合成方法和設(shè)備、程序、記錄介質(zhì)以及機器人設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于從演奏數(shù)據(jù)合成歌聲的方法和設(shè)備、程序、記錄介質(zhì)以及機器人設(shè)備。
本發(fā)明包含與2003年3月20日向日本專利辦公室申請的日本專利申請JP-2003-079152有關(guān)的主題，此專利申請的全部內(nèi)容在本文引作參考。
背景技術(shù)：
到目前為止知道例如通過計算機從給定歌唱數(shù)據(jù)合成歌聲的技術(shù)。
在相關(guān)技術(shù)領(lǐng)域中，MIDI(樂器數(shù)字接口)數(shù)據(jù)是被接受作為實際標準的代表性演奏數(shù)據(jù)。一般地，通過控制稱作MIDI聲源的數(shù)字聲源而用MIDI數(shù)據(jù)產(chǎn)生音樂聲音，其中，所述MIDI聲源例如為由MIDI數(shù)據(jù)激發(fā)的聲源，如計算機聲源或電子樂器的聲源。歌詞數(shù)據(jù)可引入到MIDI文件，如SMF(標準MIDI文件)，從而，可自動地編制具有歌詞的音樂五線譜。
例如，已經(jīng)在日本專利特開平專利出版物H-11-95798中提出使用由歌聲參數(shù)(特殊數(shù)據(jù)表示)或組成歌聲的音位片段表現(xiàn)的MIDI數(shù)據(jù)的嘗試。
雖然這些相關(guān)技術(shù)試圖用MIDI數(shù)據(jù)的數(shù)據(jù)形式來表現(xiàn)歌聲，但是，此嘗試僅僅是在控制樂器意義上的控制。
而且，利用常規(guī)技術(shù)不糾正MIDI數(shù)據(jù)就把為樂器編制的MIDI數(shù)據(jù)譯成歌曲是不可能的。
另一方面，用于大聲讀電子郵件或主頁的聲音合成軟件由包括本受讓人在內(nèi)的許多制造商銷售。然而，讀的方式是大聲讀文本的常規(guī)方式。
使用電氣或磁性操作來執(zhí)行與包括人類的生命體相似的動作的機械設(shè)備稱作機器人。機器人在日本的使用回溯到60年代末。當(dāng)時使用的大多數(shù)機器人是工業(yè)機器人，如機械手或運輸機器人，目的是使工廠的生產(chǎn)操作自動化或提供無人操作。
近年來，正在進行應(yīng)用機器人的開發(fā)，所述應(yīng)用機器人適于支持人類生活，即在我們?nèi)粘Ｉ畹母鱾€方面支持人類活動，作為人類的伙伴。與工業(yè)機器人截然不同的是，應(yīng)用機器人被賦予在我們?nèi)粘Ｉ畹母鱾€方面學(xué)習(xí)如何使它自己適合有個體差異的操作員或適應(yīng)變化環(huán)境的能力。寵物型機器人或人形機器人正投入實際使用，其中，寵物型機器人模擬四足動物如狗或貓的身體機構(gòu)或動作，人形機器人以人類用兩條腿直立行走的身體機構(gòu)或動作為模型進行設(shè)計。
與工業(yè)機器人截然不同的是，應(yīng)用機器人設(shè)備能執(zhí)行以娛樂為中心的各種動作。為此，這些應(yīng)用機器人設(shè)備有時稱作娛樂機器人。在此類機器人設(shè)備中，有根據(jù)外部信息或內(nèi)部狀態(tài)而執(zhí)行自主動作的機器人。
用于自主機器人設(shè)備的人工智能(AI)是智力功能如推理或判斷的人工實現(xiàn)。進一步試圖人工實現(xiàn)諸如感覺或直覺的功能。在借助視覺裝置或自然語言向外部表現(xiàn)人工智能的表現(xiàn)裝置中，有借助聲音的裝置，作為使用自然語言的表現(xiàn)功能的實例。
歌聲的常規(guī)合成使用特殊類型的數(shù)據(jù)，或者即使使用MIDI數(shù)據(jù)，也不能有效地使用嵌入在其中的歌詞數(shù)據(jù)，或者，不能唱為樂器準備的MIDI數(shù)據(jù)。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種有可能克服常規(guī)技術(shù)中固有問題的新型方法和設(shè)備。
本發(fā)明的另一目的是提供一種合成歌聲的方法和設(shè)備，從而，有可能通過利用演奏數(shù)據(jù)如MIDI數(shù)據(jù)而合成歌聲。
本發(fā)明的又一目的是提供一種合成歌聲的方法和設(shè)備，其中，基于由SMF規(guī)定的MIDI數(shù)據(jù)的歌詞信息而產(chǎn)生歌聲，可自動地檢驗作為歌唱主體的聲音串，從而在把聲音串的音樂信息再現(xiàn)為歌聲時，能實現(xiàn)‘含糊發(fā)音’或‘清晰發(fā)音’的音樂表現(xiàn)，并且其中，即使在不輸入用于歌聲的原始MIDI數(shù)據(jù)的情況下，也可從演奏數(shù)據(jù)選擇作為歌唱主體的聲音，并且，可調(diào)整聲音長度或休止長度，以把音符或休止符轉(zhuǎn)換為適于歌唱的音符或休止符。
本發(fā)明的再一目的是提供一種使計算機執(zhí)行歌聲合成功能的程序和記錄介質(zhì)。
根據(jù)本發(fā)明的歌聲合成方法包括分析步驟，所述分析步驟把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生步驟，所述歌聲產(chǎn)生步驟基于被分析的音樂信息而產(chǎn)生歌聲。歌聲產(chǎn)生步驟基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定歌聲的類型。
根據(jù)本發(fā)明的歌聲合成設(shè)備包括分析裝置，所述分析裝置把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生裝置，所述歌聲產(chǎn)生裝置基于被分析的音樂信息而產(chǎn)生歌聲。歌聲產(chǎn)生裝置基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定歌聲的類型。
利用根據(jù)本發(fā)明的歌聲合成方法和設(shè)備，有可能分析演奏數(shù)據(jù)，基于從音調(diào)、音長和聲音速度或歌詞得到的音符信息而產(chǎn)生與歌聲有關(guān)的信息，從而產(chǎn)生歌聲，其中，所述音調(diào)、音長和聲音速度或歌詞從被分析演奏數(shù)據(jù)獲得，同時，基于與包含在被分析演奏數(shù)據(jù)內(nèi)的聲音類型有關(guān)的信息，有可能決定歌聲的類型，從而允許以適合目標音樂曲調(diào)的音色和音質(zhì)唱歌。
根據(jù)本發(fā)明，演奏數(shù)據(jù)優(yōu)選是MIDI文件如SMF的演奏數(shù)據(jù)。
在此情況下，如果基于包括在MIDI文件的演奏數(shù)據(jù)的音軌中的樂器名或音軌名/序列名而決定歌聲的類型，就可有利地利用MIDI數(shù)據(jù)。
在向演奏數(shù)據(jù)的聲音串分配歌詞的成分時，例如，日本人希望把MIDI文件的演奏數(shù)據(jù)中從音符開始時刻直到音符結(jié)束時刻的時間間隔分配為歌聲的一個聲音，所述音符開始時刻是歌聲的每個聲音開始的基準。通過這樣做，以演奏數(shù)據(jù)的每個音符一個歌聲的速率唱出歌詞，允許歌唱演奏數(shù)據(jù)的聲音串。
希望根據(jù)演奏數(shù)據(jù)的聲音串中相鄰音符的時間關(guān)系而調(diào)整歌聲的聲音互連的時間或方式。例如，如果第二音符的音符開始在時間上位于第一音符的音符結(jié)束之前，那么，甚至在第一音符的音符結(jié)束之前，就短暫地停止歌聲第一聲音的發(fā)音，并且，在第二聲音的音符開始時刻發(fā)出第二聲音，其中，第二音符是疊加在第一音符上的音符。如果在第一和第二音符之間沒有重疊，就削減第一聲音的音量，清楚地表現(xiàn)從第二聲音開始的斷點。如果在第一和第二音符之間有重疊，就把第一和第二音符接合在一起，而不削減第一聲音的音量。在前一種情況下，‘清晰地’唱歌，以相鄰聲音之間有間斷地唱歌。在第二種情況下，‘含糊地’平滑地唱歌。如果在第一和第二音符之間沒有重疊但在它們之間只有比預(yù)定時間間隔更短的聲音中斷時間間隔，第一聲音的結(jié)束時刻就移到第二聲音的開始時刻，在此時刻把第一和第二聲音接合在一起。
有在演奏數(shù)據(jù)中包括和音演奏數(shù)據(jù)的情況。例如，在MIDI數(shù)據(jù)的情況下，有在給定音軌或通道中記錄和音演奏數(shù)據(jù)的情況。在存在此和音演奏數(shù)據(jù)的情況下，本發(fā)明考慮哪個聲音串將作為歌詞的主體。例如，如果在MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，就選擇具有最高音調(diào)的音符作為歌唱主體的聲音。這保證有利于歌唱所謂的女高音部分?？商鎿Q地，如果在MIDI文件的以上演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，就選擇具有最低音調(diào)的音符作為歌唱主體的聲音。這保證歌唱所謂的低音部分。如果在MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，就選擇具有最大指定音量的音符作為歌唱目標的聲音。這保證歌唱主旋律或主題。還可替換地，如果在MIDI文件的以上演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，各個音符就被處理成單獨的聲音部分，并向各個聲音部分賦予相同的歌詞，以產(chǎn)生不同音調(diào)值的歌聲。這實現(xiàn)這些聲音部分的合唱。
還有在輸入演奏數(shù)據(jù)中包括用于再現(xiàn)打擊樂如木琴的樂聲或短長度的改變聲音的數(shù)據(jù)部分的情況。在此情況下，希望為歌唱調(diào)整歌聲的長度。為此，如果在以上MIDI文件的演奏數(shù)據(jù)中從音符開始直到音符結(jié)束的時間比規(guī)定值更短，音符就不是歌唱的主體?；蛘撸岩陨螹IDI文件的演奏數(shù)據(jù)中從音符開始直到音符結(jié)束的時間擴展預(yù)定的比例，以產(chǎn)生歌聲?？商鎿Q地，在從音符開始直到音符結(jié)束的時間上增加預(yù)設(shè)時間，以產(chǎn)生歌聲。希望以與樂器名相一致的形式設(shè)置和/或希望可由操作員設(shè)定用于改變從音符開始直到音符結(jié)束的時間的增加或比例的預(yù)設(shè)數(shù)據(jù)。
優(yōu)選地，按從一個樂器到另一樂器的歌聲設(shè)定唱出的歌聲類型。
如果在MIDI文件的演奏數(shù)據(jù)中通過補丁而改變樂器的指定，即使在相同的音軌中，歌聲設(shè)定步驟也希望在歌唱中途改變歌聲的類型。
根據(jù)本發(fā)明的程序允許計算機執(zhí)行根據(jù)本發(fā)明的歌聲合成功能。根據(jù)本發(fā)明的程序可由其中記錄該程序的計算機讀取。
根據(jù)本發(fā)明的機器人設(shè)備是基于被提供的輸入信息而執(zhí)行動作的自主機器人設(shè)備，所述機器人設(shè)備包括分析裝置，所述分析裝置把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生裝置，所述歌聲產(chǎn)生裝置基于被分析的音樂信息而產(chǎn)生歌聲。歌聲產(chǎn)生裝置基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定歌聲的類型。這進一步提高作為娛樂機器人的機器人設(shè)備的性質(zhì)。


圖1為示出根據(jù)本發(fā)明的歌聲合成設(shè)備的系統(tǒng)的框圖。
圖2示出分析結(jié)果的音符信息的實例。
圖3示出歌聲信息的實例。
圖4為示出歌聲產(chǎn)生單元的結(jié)構(gòu)的框圖。
圖5示意性地示出用于解釋歌聲中音符長度調(diào)整的演奏數(shù)據(jù)中的第一和第二聲音。
圖6為示出根據(jù)本發(fā)明的歌聲合成操作的流程圖。
圖7為示出根據(jù)本發(fā)明的機器人設(shè)備的外觀的透視圖。
圖8示意性地示出機器人設(shè)備的自由度結(jié)構(gòu)的模型。
圖9為示出機器人設(shè)備系統(tǒng)結(jié)構(gòu)的框圖。
具體實施例方式
參照附圖詳細解釋本發(fā)明的優(yōu)選實施例。
圖1示出根據(jù)本發(fā)明的歌聲合成設(shè)備的示意性系統(tǒng)配置。應(yīng)指出，預(yù)先假定本歌聲合成設(shè)備例如用于機器人設(shè)備，其中，所述機器人設(shè)備至少包括感覺模型、語音合成裝置和發(fā)音裝置。然而，這不應(yīng)解釋為限制意義的，并且當(dāng)然，本發(fā)明可應(yīng)用于各種機器人設(shè)備以及除機器人之外的各種計算機AI(人工智能)。
在圖1中，演奏數(shù)據(jù)分析單元2分析以MIDI數(shù)據(jù)為代表的演奏數(shù)據(jù)1，分析輸入的演奏數(shù)據(jù)，把該數(shù)據(jù)轉(zhuǎn)換為音樂五線譜信息4，所述音樂五線譜信息4表示包括在演奏數(shù)據(jù)中的音軌或通道的音調(diào)、音長和聲音速度。
圖2示出轉(zhuǎn)換為音樂五線譜信息的演奏數(shù)據(jù)(MIDI數(shù)據(jù))的實例。參照圖2，事件從一個音軌寫到下一個音軌并從一個通道寫到下一個通道。事件包括音符事件和控制事件。音符事件具有與產(chǎn)生時間(圖2中的列‘時間’)、音調(diào)、長度和強度(速度)有關(guān)的信息。因而，音符串或聲音串由音符事件序列定義?？刂剖录ū硎井a(chǎn)生時間的數(shù)據(jù)、諸如顫音、演奏動態(tài)表現(xiàn)和控制內(nèi)容的控制類型數(shù)據(jù)。例如，在顫音的情況下，控制內(nèi)容包括表示聲音脈動大小的‘深度’項、表示聲音脈動周期的‘寬度’項、以及表示從聲音脈動開始時刻(發(fā)聲時刻)的‘延遲’項。用于特定音軌或通道的控制事件用于再現(xiàn)所述音軌或通道的音符串的音樂聲，除非發(fā)生用于所述控制類型的新控制事件(控制變化)。而且，在MIDI文件的演奏數(shù)據(jù)中，可基于音軌而輸入歌詞。在圖2中，在上半部表示的‘あるう日’(‘一天’，發(fā)‘a(chǎn)-ru-u-hi’音)是在音軌1中輸入的歌詞的一部分，而在下半部表示的‘あるう日’是在音軌2中輸入的歌詞的一部分。也就是說，在圖2的實例中，歌詞已經(jīng)嵌入到被分析的音樂信息(音樂五線譜信息)中。
在圖2中，時間用“小節(jié)拍分段信號數(shù)量”表示，長度用“分段信號數(shù)量”表示，速度用數(shù)字‘0-127’表示，并且，音調(diào)用‘A4’代表440Hz而表示。另一方面，顫音的深度、寬度和延遲分別用數(shù)字‘0-64-127’表示。
回到圖1，被轉(zhuǎn)換的音樂五線譜信息4傳遞給歌詞賦予單元5。歌詞賦予單元5根據(jù)音樂五線譜信息4而產(chǎn)生歌聲信息6，歌聲信息6由用于聲音的歌詞以及與聲音的長度、音調(diào)、速度和聲調(diào)有關(guān)的信息組成，其中，所述聲音的歌詞與音符相匹配。
圖3示出歌聲信息6的實例。在圖3中，‘song’為表示歌詞信息開始的標簽。標簽‘PP，T10673075’表示10673075μsec的停頓，標簽‘tdyna 110 649075’表示從前端開始10673075μsec的總速度，標簽‘fine-100’表示細微的音調(diào)調(diào)整，與MIDI的微調(diào)相對應(yīng)，并且，標簽‘vibrato NRPN_dep＝64’、‘vibrato NRPN_del＝50’以及‘vibrato NRPN_rat＝64’分別代表顫音的深度、延遲和寬度。標簽‘dyna 100’代表不同聲音的相對速度，并且，標簽‘G4，T288461あ’代表具有G4音調(diào)和288461μsec長度的歌詞元素‘あ’(發(fā)‘a(chǎn)’音)。圖3的歌聲信息從圖2所示的音樂五線譜信息(MIDI數(shù)據(jù)的分析結(jié)果)獲得。圖3的歌詞信息從圖2所示的音樂五線譜信息(MIDI數(shù)據(jù)的分析結(jié)果)獲得。從圖2和3的比較可看出，用于控制樂器的演奏數(shù)據(jù)，如音樂五線譜信息，完全用于產(chǎn)生歌聲信息。例如，對于歌詞部分‘あるう日’中的組成元素‘あ’，其產(chǎn)生時間、長度、音調(diào)或速度包括在控制信息中或包括在音樂五線譜信息的音符事件信息中(參見圖2)，并且與除‘あ’之外的其它歌唱屬性一起直接使用，其中，所述歌唱屬性例如為聲音‘あ’的產(chǎn)生時間、長度、音調(diào)或速度，音樂五線譜信息中相同音軌或通道內(nèi)的下一音符事件信息也直接用于下一歌詞元素‘る’(發(fā)‘u’音)，等等。
參照圖1，歌聲信息6傳遞給歌聲產(chǎn)生單元7，在此歌聲產(chǎn)生單元7中，歌聲產(chǎn)生單元7基于歌聲信息6而產(chǎn)生歌聲波形8。從歌聲信息6產(chǎn)生歌聲波形8的歌聲產(chǎn)生單元7例如按圖4所示進行配置。
在圖4中，歌聲節(jié)奏產(chǎn)生單元7-1把歌聲信息6轉(zhuǎn)換為歌聲節(jié)奏數(shù)據(jù)。波形產(chǎn)生單元7-2通過基于音質(zhì)的波形存儲器7-3而把歌聲節(jié)奏數(shù)據(jù)轉(zhuǎn)換為歌聲波形8。
作為具體實例，現(xiàn)在解釋把歌詞元素‘ら’(發(fā)‘ra’音)擴展為當(dāng)前時間長度的情況。在不應(yīng)用顫音情況下的歌聲節(jié)奏數(shù)據(jù)可按下表1表示表1

在上表中，[標記]代表各個聲音(音位元素)的時間長度。也就是說，聲音(音位元素)‘ra’具有從采樣0到采樣1000的1000個采樣的時間長度，并且，初始聲音‘a(chǎn)a’、下一聲音‘ra’具有從采樣1000到采樣39600的38600個采樣的時間長度。‘音調(diào)’代表以點音調(diào)表示的音調(diào)周期。也就是說，在采樣點0的音調(diào)周期為56個采樣。這里，不改變‘ら’的音調(diào)，從而，56個采樣的音調(diào)周期作用在全部采樣上。另一方面，‘音量’代表各個采樣點每一個上的相對音量。也就是說，對于100％的缺省值，在0采樣點的音量為66％，而在39600采樣點的音量為57％。在40100采樣點的音量為48％，在42600采樣點的音量為3％，等等。這實現(xiàn)‘ら’聲音隨著時間的衰減。
另一方面，如果應(yīng)用顫音，就編制下表2所示的歌聲節(jié)奏數(shù)據(jù)表2

如上表的列‘音調(diào)’所示，在0采樣點的音調(diào)周期和在1000采樣點的音調(diào)周期都是50個采樣，并且互相相等。在此時間間隔中，語音音調(diào)沒有變化。從此時刻起，音調(diào)周期以大約4000個采樣的周期(寬度)在50±3的范圍內(nèi)上下擺動，例如2000采樣點上53個采樣的音調(diào)周期、4009采樣點上47個采樣的音調(diào)周期以及6009采樣點上53個采樣的音調(diào)周期。以此方式，實現(xiàn)作為語音音調(diào)脈動的顫音。基于與歌聲信息6中相應(yīng)歌聲元素如‘ら’有關(guān)的信息而產(chǎn)生列‘音調(diào)’的數(shù)據(jù)，所述信息具體為諸如A4的音調(diào)號、或諸如標簽vibratoNRPN_dep＝64’、‘vibrato NRPN_del＝50’以及‘vibratoNRPN_rat＝64’的顫音控制數(shù)據(jù)。
基于以上歌聲音位數(shù)據(jù)，波形產(chǎn)生單元7-2從基于音質(zhì)的波形存儲器7-3讀出感興趣音質(zhì)的樣本而產(chǎn)生歌聲波形8。在基于音質(zhì)的波形存儲器中已經(jīng)儲存不同音質(zhì)的音位片段數(shù)據(jù)。當(dāng)波形產(chǎn)生單元查詢基于音質(zhì)的波形存儲器7-3時，波形產(chǎn)生單元7-2基于在歌聲節(jié)奏數(shù)據(jù)中表示的音素序列、音調(diào)周期和音量而檢索盡可能接近以上音素序列、音調(diào)周期和音量的音位片段數(shù)據(jù)。由此檢索的數(shù)據(jù)被分片和排列，以產(chǎn)生語音波形數(shù)據(jù)。也就是說，音素數(shù)據(jù)例如以CV(輔音-元音)、VCV或CVC的形式按照不同的音質(zhì)而儲存在基于音質(zhì)的波形存儲器7-3中。波形產(chǎn)生單元7-2基于歌聲音位數(shù)據(jù)而按需要連接音素數(shù)據(jù)，并例如把適當(dāng)?shù)耐ｎD、口音類型或語調(diào)附加到因此連接的數(shù)據(jù)上，以產(chǎn)生歌聲波形8。應(yīng)指出，用于從歌聲信息6產(chǎn)生歌聲波形8的歌聲產(chǎn)生單元不局限于歌聲產(chǎn)生單元7，并且，可以使用任何其它適當(dāng)?shù)母杪暜a(chǎn)生單元。
回到圖1，演奏數(shù)據(jù)1傳遞給MIDI聲源9，MIDI聲源9接著基于演奏數(shù)據(jù)而產(chǎn)生音樂聲。產(chǎn)生的音樂聲是伴奏波形10。
歌聲波形8和伴奏波形10傳遞給適于使兩個波形互相合成和混合的混合單元11。
混合單元11使歌聲波形8和伴奏波形10合成，并且，把兩個波形疊加在一起，以產(chǎn)生并再現(xiàn)因此疊加的波形。因而，基于演奏數(shù)據(jù)1，通過歌聲及其附屬的伴奏而再現(xiàn)音樂。
歌詞賦予單元5借助音軌選擇器12，基于音樂五線譜信息4中描述的音樂信息的任何音軌名/序列名、或樂器名而選擇作為歌聲主體的音軌。例如，如果聲音或語音類型如‘女高音’被指定為音軌名，就直接確定該音軌是歌聲的音軌。在諸如‘小提琴’的樂器的情況下，由操作員指定的音軌是歌聲的主體。然而，如果操作員沒有指定，情況就不是這樣。在歌聲主體數(shù)據(jù)13中包含給定音軌是否為歌聲主體的信息，其內(nèi)容可由操作員修改。
另一方面，可由音質(zhì)設(shè)定單元16設(shè)定哪一個音質(zhì)應(yīng)用于事先選擇的音軌。在指定音質(zhì)時，可從一個音軌到另一音軌并從一個樂器到另一個樂器地設(shè)定將要發(fā)音的聲音類型。保留包括樂器名與音質(zhì)之間相關(guān)性設(shè)定的信息，作為音質(zhì)適應(yīng)數(shù)據(jù)19，并且，查詢此音質(zhì)適應(yīng)數(shù)據(jù)，以選擇例如與樂器名相關(guān)的音質(zhì)。例如，作為歌聲音質(zhì)的音質(zhì)‘女高音’、‘女低音1’、‘女低音2’、‘男高音1’和‘男低音1’分別與樂器名‘長笛’、‘單簧管’、‘中音薩克斯管’、‘低音薩克斯管’和‘巴松管’相關(guān)聯(lián)。對于音質(zhì)指定的優(yōu)先次序，(a)如果操作員已經(jīng)指定音質(zhì)，就應(yīng)用因此指定的音質(zhì)，并且(b)如果在音軌名/序列名中包含指定音質(zhì)的字母/字符，就應(yīng)用相關(guān)字母/字符串的音質(zhì)。另外，(c)在與樂器名有關(guān)的音質(zhì)適應(yīng)數(shù)據(jù)19中包含樂器名的情況下，就應(yīng)用在音質(zhì)適應(yīng)數(shù)據(jù)19中描述的相應(yīng)音質(zhì)，并且，(d)如果與以上條件不相關(guān)，就應(yīng)用缺省音質(zhì)。根據(jù)模式，可以或不可以應(yīng)用此缺省音質(zhì)。對于不應(yīng)用缺省音質(zhì)的模式，從MIDI再現(xiàn)樂器的聲音。
另一方面，如果在給定的MIDI音軌中樂器的指定已經(jīng)通過修補而改變?yōu)榭刂茢?shù)據(jù)，即使在相同的音軌中，也可根據(jù)音質(zhì)適應(yīng)數(shù)據(jù)19而中途改變歌聲的音質(zhì)。
歌詞賦予單元5基于音樂五線譜信息4而產(chǎn)生歌聲信息6。在此情況下，MIDI數(shù)據(jù)中的音符開始時刻就用作歌曲的每個歌聲開始的基準。從此時刻直到音符結(jié)束的聲音被認為是一個聲音。
圖5示出第一音符或第一聲音NT1與第二音符或第二聲音NT2之間的關(guān)系。在圖5中，第一聲音NT1的音符開始時刻表示為t1a，第一聲音NT1的音符結(jié)束時刻表示為t1b，并且，第二聲音NT2的音符開始時刻表示為t2a。如上所述，歌詞賦予單元5使用MIDI數(shù)據(jù)中的音符開始時刻作為歌曲中每個歌聲的開始基準(t1a用作第一聲音NT1的開始基準)，并且，把直到其音符結(jié)束為止的聲音分配為一個歌聲。這是歌詞賦予的基礎(chǔ)。因而，從一個聲音到下一個聲音地唱歌詞，與MIDI數(shù)據(jù)的聲音串中的每個音符的長度和音符開始時刻保持一致。
然而，如果在第一聲音NT1的音符開始和音符結(jié)束之間(t1a～t1b)之間有作為疊加聲音的第二聲音NT2的音符開始，即，如果t1b＞t2a，音符長度改變單元14就改變歌聲的音符結(jié)束時刻，從而，歌聲甚至在第一聲音的音符結(jié)束之前就中斷，并且，在第二聲音NT2的音符開始時刻t2a發(fā)出下一歌聲。
如果在MIDI數(shù)據(jù)中在第一聲音NT1和第二聲音NT2之間沒有重疊(t1a＜t2a)，歌詞賦予單元5就削減歌聲中第一聲音的音量，以便清楚地表現(xiàn)從歌聲的第二聲音開始的斷點，以表現(xiàn)‘清晰發(fā)音’。如果相反在第一和第二聲音之間有重疊，歌詞賦予單元5就不削減音量，并把第一和第二聲音接合在一起，在音樂曲調(diào)上表現(xiàn)‘含糊發(fā)音’。
如果在MIDI數(shù)據(jù)中在第一聲音NT1和第二聲音NT2之間沒有重疊，但只存在比儲存于音符長度改變單元15中的預(yù)設(shè)時間更短的聲音中斷，音符長度改變單元14就把第一歌聲的音符結(jié)束時刻移到第二歌聲的音符開始時刻，以把第一和第二聲音接合在一起。
如果在MIDI數(shù)據(jù)中有多個其音符開始時刻相同(如tla＝t2a)的音符或聲音，歌詞賦予單元5就使音符選擇單元17根據(jù)音符選擇模式18而從以下組中選擇聲音，作為歌聲的主體，其中，所述組由具有最高音調(diào)的聲音、具有最低音調(diào)的聲音和具有最大音量的聲音組成。
在音符選擇模式18中，可根據(jù)聲音類型而設(shè)定將要選擇具有最高音調(diào)的聲音、具有最低音調(diào)的聲音、具有最大音量的聲音以及獨立聲音中的哪一個。
如果在MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，并且在音符選擇模式18中這些音符被設(shè)定為獨立的聲音，歌詞賦予單元5就把這些聲音處理為截然不同的聲音部分，并且向這些聲音賦予相同的歌詞，以產(chǎn)生明顯不同音調(diào)的歌聲。
如果從音符開始到音符結(jié)束的時間長度比通過音符長度改變單元14在音符長度改變數(shù)據(jù)15中設(shè)定的規(guī)定值更短，歌詞賦予單元5就不使用該聲音作為唱歌的主體。
音符長度改變單元14通過在音符長度改變數(shù)據(jù)15中預(yù)設(shè)的比例，或通過增加規(guī)定時間而擴展從音符開始直到音符結(jié)束為止的時間。這些音符長度改變數(shù)據(jù)15以與樂器名匹配的形式保存在音樂五線譜信息中，并可由操作員設(shè)定。
在前面已經(jīng)結(jié)合歌詞信息解釋在演奏數(shù)據(jù)中包括歌詞的情況。然而，本發(fā)明不局限于此配置。如果在演奏數(shù)據(jù)中不包括歌詞，就可自動產(chǎn)生或由操作員輸入可選歌詞，如‘ら’或‘ぼん’(發(fā)‘bon’音)，并且，通過音軌選擇器或通過歌詞賦予單元5選擇作為歌詞主體(音軌或通道)的演奏數(shù)據(jù)，以便歌詞分配。
圖6示出歌聲合成設(shè)備的總體操作的流程圖。
首先，輸入MIDI文件的演奏數(shù)據(jù)1(步驟S1)。接著分析演奏數(shù)據(jù)1，并接著輸入音樂五線譜數(shù)據(jù)4(步驟S2和S3)。隨后向執(zhí)行設(shè)定處理的操作員進行詢問(步驟S4)，其中，所述設(shè)定處理例如設(shè)定作為歌聲主體的數(shù)據(jù)、選擇音符的模式、改變音符長度的數(shù)據(jù)或用于處理音質(zhì)的數(shù)據(jù)。在操作員還未執(zhí)行設(shè)定的情況下，在后續(xù)處理中應(yīng)用缺省設(shè)定。
隨后的步驟S5-S10表示用于產(chǎn)生歌聲信息的循環(huán)。首先，通過音軌選擇單元12選擇作為歌詞主體的音軌(步驟S5)。通過音符選擇單元17從作為歌詞主體的音軌確定將根據(jù)音符選擇模式而分配給歌聲的音符(步驟S6)。如果需要，通過音符長度改變單元14根據(jù)以上定義的條件而改變分配給歌聲的音符的長度，如發(fā)音時刻或時間長度(步驟S7)。接著，通過歌詞賦予單元5，基于在步驟S5-S8中獲得的數(shù)據(jù)而準備歌聲信息6(步驟S9)。
接著，檢查對所有音軌的查詢是否已經(jīng)結(jié)束(步驟S10)。如果查詢還未結(jié)束，處理就返回到步驟S5，并且，如果查詢已經(jīng)結(jié)束，歌聲信息6就傳遞給歌聲產(chǎn)生單元7，以編制歌聲波形(步驟S11)。
接著，通過MIDI聲源9再現(xiàn)MIDI，以編制伴奏波形10(步驟S12)。
通過到目前為止執(zhí)行的處理，編制歌聲波形8和伴奏波形10。
當(dāng)兩個波形互相合成時，混合單元11把歌聲波形8和伴奏波形10疊加在一起，以形成被再現(xiàn)的輸出波形3(步驟S13和S14)。此輸出波形3通過未示出的聲音系統(tǒng)輸出，作為聲信號。
上述歌聲合成功能例如包括在機器人設(shè)備中。
以本發(fā)明實施例示出的用兩條腿行走類型的機器人設(shè)備是在我們?nèi)粘Ｉ罡鱾€方面，如在我們的生活環(huán)境中，支持人類活動的應(yīng)用機器人，并且能根據(jù)內(nèi)部狀態(tài)如憤怒、悲傷、快樂或幸福而動作。同時，這是能表現(xiàn)人類基本行為的娛樂機器人。
參照圖7，機器人設(shè)備60由軀干單元62形成，軀干單元62在預(yù)定位置連接到頭部單元63、左右臂單元64R/L以及左右腿單元65R/L，其中，R和L分別代表表示右和左的后綴，以下相同。
在圖8中示意性地示出為機器人設(shè)備60設(shè)置的關(guān)節(jié)的自由度結(jié)構(gòu)。支撐頭部單元63的頸關(guān)節(jié)包括三個自由度，即頸關(guān)節(jié)偏轉(zhuǎn)軸101、頸關(guān)節(jié)俯仰軸102和頸關(guān)節(jié)翻滾軸103。
組成上肢的臂單元64R/L由肩關(guān)節(jié)俯仰軸107、肩關(guān)節(jié)翻滾軸108、上臂偏轉(zhuǎn)軸109、肘關(guān)節(jié)俯仰軸110、前臂偏轉(zhuǎn)軸111、腕關(guān)節(jié)俯仰軸112、腕關(guān)節(jié)翻滾軸113和手單元114組成。手單元114實際上是包括多個手指的多關(guān)節(jié)多自由度結(jié)構(gòu)。然而，由于手單元114的動作作用于或者影響機器人設(shè)備60的姿勢控制或行走控制，因此，在本文描述中假設(shè)手單元具有零自由度。結(jié)果，每個臂單元都設(shè)置七個自由度。
軀干單元62也具有三個自由度，即，軀干俯仰軸104、軀干翻滾軸105和軀干偏轉(zhuǎn)軸106。
形成下肢的每個腿單元65R/L都由臀關(guān)節(jié)偏轉(zhuǎn)軸115、臀關(guān)節(jié)俯仰軸116、臀關(guān)節(jié)翻滾軸117、膝關(guān)節(jié)俯仰軸118、踝關(guān)節(jié)俯仰軸119、踝關(guān)節(jié)翻滾軸120、以及腿單元121組成。在本文描述中，臀關(guān)節(jié)俯仰軸116和臀關(guān)節(jié)翻滾軸117的交叉點規(guī)定機器人設(shè)備60的臀關(guān)節(jié)位置。盡管實際上人類的腿單元121是包括腳底的結(jié)構(gòu)，其中，腳底具有多個關(guān)節(jié)和多個自由度，但是，假設(shè)機器人設(shè)備的腳底是零自由度的。結(jié)果，每條腿具有六個自由度。
總之，機器人設(shè)備60全部具有總計3+7×2+3+6×2＝32個自由度。然而，應(yīng)指出，娛樂機器人設(shè)備的自由度的數(shù)量不局限于32，從而，可根據(jù)設(shè)計或制造中的約束條件或根據(jù)要求的設(shè)計參數(shù)而適當(dāng)?shù)卦黾踊驕p少自由度的數(shù)量，即，關(guān)節(jié)數(shù)量。
實際上使用執(zhí)行器來安裝上述機器人設(shè)備60擁有的上述自由度?？紤]到消除外觀上過度的腫脹以接近人體自然形狀的要求、以及對因兩條腿行走導(dǎo)致的不穩(wěn)定結(jié)構(gòu)進行姿勢控制的要求，希望執(zhí)行器尺寸小且重量輕。更優(yōu)選執(zhí)行器設(shè)計和構(gòu)造為直接傳動耦合類型的小尺寸AC伺服執(zhí)行器，其中，伺服控制系統(tǒng)布置為一個芯片并安裝在電動機單元中。
圖9示意性地示出機器人設(shè)備60的控制系統(tǒng)結(jié)構(gòu)。參照圖9，控制系統(tǒng)由思維控制模塊200以及動作控制模塊300組成，其中，思維控制模塊200根據(jù)用戶輸入而動態(tài)地負責(zé)情緒判斷或感覺表達，動作控制模塊300控制機器人設(shè)備60全部軀體的協(xié)同動作，如驅(qū)動執(zhí)行器350。
思維控制模塊200是獨立驅(qū)動的信息處理設(shè)備，它由執(zhí)行計算與情緒判斷或感覺表達的CPU(中央處理單元)211、RAM(隨機存取存儲器)212、ROM(只讀存儲器)213、以及外部存儲裝置(如硬盤驅(qū)動器)214組成，并且能在模塊內(nèi)執(zhí)行自主式處理。
此思維控制模塊200根據(jù)外部的刺激，如從圖像輸入裝置251輸入的圖像數(shù)據(jù)或從聲音輸入裝置252輸入的聲音數(shù)據(jù)，而決定機器人設(shè)備60當(dāng)前的感覺或意向。圖像輸入裝置251例如包括多個CCD(電荷耦合裝置)照相機，而聲音輸入裝置252包括多個麥克風(fēng)。
思維控制模塊200基于決定而發(fā)出對動作控制模塊300的命令，以便執(zhí)行動作的行為序列，即四肢的動作。
動作控制模塊300是獨立驅(qū)動的信息處理設(shè)備，它由控制機器人設(shè)備60全部軀體的協(xié)同動作的CPU(中央處理單元)311、RAM 312、ROM 313、以及外部存儲裝置(如硬盤驅(qū)動器)314組成，并且能在模塊內(nèi)執(zhí)行自主式處理。外部存儲裝置314能儲存動作表，包括脫機計算的行走方案以及目標ZMP軌跡。應(yīng)指出，ZMP是在地板表面上在行走過程中從地板作用的反作用力的力矩等于零的點，而ZMP軌跡是在機器人設(shè)備60的行走周期中ZMP移動的軌跡。對于ZMP的概念以及應(yīng)用ZMP作為行走機器人穩(wěn)定程度的檢驗標準，參照Miomir Vukobratovic的“有腿移動機器人(Legged LocomotionRobots)”，以及Ichiro KATO等的“行走機器人和人造腿(WalkingRobot and Artificial Legs)”，NIKKAN KOGYO SHIMBUN-SHA出版。
通過總線接口(I/F)301連接到動作控制模塊300的例如有執(zhí)行器350、姿勢傳感器351、地板接觸確認傳感器352、353、以及電源控制裝置354，其中，執(zhí)行器350分布在圖9所示機器人設(shè)備60的全部軀體上，用于實現(xiàn)自由度；姿勢傳感器351用于測量軀干單元62的傾斜姿勢；地板接觸確認傳感器352、353用于檢測左右腳的腳底的飛躍狀態(tài)或站立狀態(tài)；電源控制裝置354用于監(jiān)督諸如電池的電源。例如通過組合加速傳感器和陀螺儀傳感器而形成姿勢傳感器351，同時，地板接觸確認傳感器352、353中的每一個都由近程傳感器或微型開關(guān)形成。
思維控制模塊200和動作控制模塊300在公共平臺上形成，并且通過總線接口201、301互連。
動作控制模塊300控制由各個執(zhí)行器350產(chǎn)生的全部軀體的協(xié)同動作，用于實現(xiàn)由思維控制模塊200命令的行為。也就是說，CPU 311從外部存儲裝置314中提取出與思維控制模塊200所命令行為一致的行為方案，或者在內(nèi)部產(chǎn)生該行為方案。CPU 311根據(jù)指定的動作方案而設(shè)定腳/腿動作、ZMP軌跡、軀干動作、上肢動作、水平位置和腰部高度，同時向各個執(zhí)行器發(fā)送命令值，以命令執(zhí)行與設(shè)定內(nèi)容一致的動作。
CPU 311還基于姿勢傳感器351的控制信號而檢測機器人設(shè)備60的軀干單元62的姿勢或傾斜，同時，通過地板接觸確認傳感器352、353的輸出信號檢測腿單元65R/L是處于飛躍狀態(tài)還是處于站立狀態(tài)，以便適應(yīng)性地控制機器人設(shè)備60全部軀體的協(xié)同動作。
CPU 311還控制機器人設(shè)備60的姿勢或動作，從而，ZMP位置總是指向ZMP穩(wěn)定區(qū)的中心。
動作控制模塊300適于向思維控制模塊200返回已經(jīng)實現(xiàn)與思維控制模塊200所做決定保持一致的行為的程度，即處理狀態(tài)。
以此方式，機器人設(shè)備60能基于控制程序而核實自己的狀態(tài)和周圍的狀態(tài)，以執(zhí)行自主行為。
在此機器人設(shè)備60中，例如在思維控制模塊200的ROM 213中駐留已經(jīng)實施上述歌聲合成功能的程序，包括數(shù)據(jù)。在此情況下，用于合成歌聲的程序由思維控制模塊200的CPU 211執(zhí)行。
通過向機器人設(shè)備提供上述歌聲合成功能，新獲得機器人設(shè)備對著伴奏唱歌的表現(xiàn)能力，結(jié)果是該機器人設(shè)備作為娛樂機器人的性質(zhì)得到增強，進一步密切機器人設(shè)備與人類的關(guān)系。
工業(yè)應(yīng)用對于根據(jù)本發(fā)明的歌聲合成方法和設(shè)備，其中，演奏數(shù)據(jù)被分析為音調(diào)和音長的音樂信息以及歌詞的音樂信息，基于被分析的音樂信息而產(chǎn)生歌聲，并且，其中，基于包含在被分析音樂信息內(nèi)的聲音類型信息而確定歌聲的類型，有可能分析給定的演奏數(shù)據(jù)，以根據(jù)音符信息而產(chǎn)生歌聲信息，以便根據(jù)歌聲信息而產(chǎn)生歌聲，其中，所述音符信息是基于從分析得到的歌詞或音調(diào)、音長或聲音速度。還有可能基于與包含在被分析音樂信息內(nèi)的聲音類型有關(guān)的信息而確定歌聲類型，從而，有可能以適合感興趣音樂曲調(diào)的音色和音質(zhì)唱歌。結(jié)果，不必增加在到目前為止只通過樂器聲音而編制或表現(xiàn)音樂時的任何特殊信息而再現(xiàn)歌聲，因此，可較大地提高音樂表現(xiàn)力。
根據(jù)本發(fā)明的程序允許計算機執(zhí)行本發(fā)明的歌聲合成功能。在根據(jù)本發(fā)明的記錄介質(zhì)上記錄此程序，并且，此介質(zhì)是計算機可讀的。
對于根據(jù)本發(fā)明的程序和記錄介質(zhì)，其中，演奏數(shù)據(jù)被分析為音調(diào)和音長的音樂信息以及歌詞的音樂信息，基于被分析的音樂信息而產(chǎn)生歌聲，并且，其中，基于包含在被分析音樂信息內(nèi)的聲音類型信息而確定歌聲的類型，可分析演奏數(shù)據(jù)，基于音符信息而產(chǎn)生歌聲信息，并且，基于因此產(chǎn)生的歌聲信息而產(chǎn)生歌聲，其中，所述音符信息是基于從分析得到的音調(diào)、音長或聲音速度和歌詞。而且，通過基于與包含在被分析音樂信息內(nèi)的聲音類型有關(guān)的信息而決定歌聲類型，以適合目標音樂曲調(diào)的音色和音質(zhì)唱歌。
根據(jù)本發(fā)明的機器人設(shè)備能實現(xiàn)根據(jù)本發(fā)明的歌聲合成功能。也就是說，對于根據(jù)本發(fā)明的基于被提供的輸入信息而執(zhí)行動作的自主機器人設(shè)備，演奏數(shù)據(jù)被分析為音調(diào)和音長的音樂信息以及歌詞的音樂信息，基于被分析的音樂信息而產(chǎn)生歌聲，并且，其中，基于包含在被分析音樂信息內(nèi)的聲音類型信息而確定歌聲的類型，可分析演奏數(shù)據(jù)，基于音符信息而產(chǎn)生歌聲信息，并且，基于因此產(chǎn)生的歌聲信息而產(chǎn)生歌聲，其中，所述音符信息是基于從分析得到的音調(diào)、音長和聲音速度以及歌詞。而且，通過基于與包含在被分析音樂信息內(nèi)的聲音類型有關(guān)的信息而決定歌聲類型，以適合目標音樂接合的音色和音質(zhì)唱歌。結(jié)果是可提高機器人設(shè)備的表現(xiàn)力，作為娛樂機器人的機器人設(shè)備的性質(zhì)得到增強，進一步密切機器人設(shè)備與人類的關(guān)系。
權(quán)利要求
1.一種用于合成歌聲的方法，包括分析步驟，所述分析步驟把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生步驟，所述歌聲產(chǎn)生步驟基于被分析的音樂信息而產(chǎn)生歌聲；所述歌聲產(chǎn)生步驟基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定所述歌聲的類型。
2.如權(quán)利要求1所述的歌聲合成方法，其中，所述演奏數(shù)據(jù)是MIDI文件的演奏數(shù)據(jù)。
3.如權(quán)利要求2所述的歌聲合成方法，其中，所述歌聲產(chǎn)生步驟基于包含在所述MIDI文件的演奏數(shù)據(jù)內(nèi)的音軌中的樂器名或音軌名/序列名而決定歌聲的類型。
4.如權(quán)利要求2所述的歌聲合成方法，其中，所述歌聲產(chǎn)生步驟把從歌聲的每個聲音的音符開始時刻直到音符結(jié)束時刻的時間分配為歌聲的一個聲音，所述音符開始時刻是歌聲的每個聲音開始的時刻基準。
5.如權(quán)利要求4所述的歌聲合成方法，其中，利用是歌聲的每個聲音開始的時刻基準的所述MIDI文件的所述演奏數(shù)據(jù)中的音符開始時刻，在所述第一音符的音符結(jié)束之前有第二聲音的音符開始作為疊加在所述第一音符上的音符的情況下，即使在所述第一聲音的音符結(jié)束之前，所述歌聲產(chǎn)生步驟使所述歌聲的第一聲音中斷，所述歌聲產(chǎn)生步驟也使歌聲的所述第二聲音在所述第二音符的音符開始時刻發(fā)音。
6.如權(quán)利要求5所述的歌聲合成方法，其中，如果在所述MIDI文件的所述演奏數(shù)據(jù)中在所述第一和第二音符之間沒有重疊，所述歌聲產(chǎn)生步驟就削減所述第一聲音的音量，清楚地表現(xiàn)從歌聲的第二聲音開始的斷點，在所述第一和第二音符之間有重疊并把所述第一和第二音符接合在一起以在音樂曲調(diào)上表現(xiàn)含糊發(fā)音的情況下，所述歌聲產(chǎn)生步驟不削減音量。
7.如權(quán)利要求5所述的歌聲合成方法，其中，如果在所述第一和第二音符之間沒有重疊，但在所述第一和第二音符之間只有比預(yù)定時間更短的聲音中斷間隔，所述歌聲產(chǎn)生步驟就把所述第一聲音的結(jié)束時刻移動到所述第二聲音的開始時刻以把第一和第二聲音接合在一起。
8.如權(quán)利要求4所述的歌聲合成方法，其中，如果在所述MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，所述歌聲產(chǎn)生步驟就選擇最高音調(diào)的音符作為歌聲。
9.如權(quán)利要求4所述的歌聲合成方法，其中，如果在所述MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，所述歌聲產(chǎn)生步驟就選擇最低音調(diào)的音符作為歌聲。
10.如權(quán)利要求4所述的歌聲合成方法，其中，如果在所述MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，所述歌聲產(chǎn)生步驟就選擇最大音量的音符作為歌聲。
11.如權(quán)利要求4所述的歌聲合成方法，其中，如果在所述MIDI文件的演奏數(shù)據(jù)中有多個具有相同音符開始時刻的音符，所述歌聲產(chǎn)生步驟就把這些音符處理成單獨的聲音部分，并向這些聲音部分賦予相同的歌詞，以產(chǎn)生不同音調(diào)值的歌聲。
12.如權(quán)利要求4所述的歌聲合成方法，其中，如果從音符開始直到音符結(jié)束的時間長度比規(guī)定值更短，所述歌聲產(chǎn)生步驟就不把該音符處理成歌唱主體。
13.如權(quán)利要求4所述的歌聲合成方法，其中，把從音符開始直到音符結(jié)束的時間長度擴展預(yù)定的比例，以產(chǎn)生歌聲。
14.如權(quán)利要求13所述的歌聲合成方法，其中，以與樂器名相關(guān)聯(lián)的形式設(shè)置用于改變從音符開始直到音符結(jié)束的時間的所述預(yù)定比例的數(shù)據(jù)。
15.如權(quán)利要求4所述的歌聲合成方法，其中，所述歌聲產(chǎn)生步驟在所述MIDI文件的所述演奏數(shù)據(jù)中在從音符開始直到音符結(jié)束的時間上增加預(yù)定時間，以產(chǎn)生歌聲。
16.如權(quán)利要求15所述的歌聲合成方法，其中，以與樂器名相關(guān)聯(lián)的形式設(shè)置用于改變從音符開始直到音符結(jié)束的時間的預(yù)定增加數(shù)據(jù)。
17.如權(quán)利要求4所述的歌聲合成方法，其中，所述歌聲產(chǎn)生步驟改變從音符開始直到音符結(jié)束的時間，并且其中，由操作員設(shè)定用于改變所述時間的所述數(shù)據(jù)。
18.如權(quán)利要求2所述的歌聲合成方法，其中，所述歌聲產(chǎn)生步驟從一個樂器名到下一樂器名地設(shè)定歌聲類型。
19.如權(quán)利要求2所述的歌聲合成方法，其中，如果在所述MIDI文件的演奏數(shù)據(jù)中通過補丁而改變樂器的指定，即使在相同的音軌中，所述歌聲產(chǎn)生步驟也改變歌聲的類型。
20.一種用于合成歌聲的設(shè)備，包括分析裝置，所述分析裝置把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生裝置，所述歌聲產(chǎn)生裝置基于被分析的音樂信息而產(chǎn)生歌聲；所述歌聲產(chǎn)生裝置基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定歌聲的類型。
21.如權(quán)利要求20所述的歌聲合成設(shè)備，其中，所述演奏數(shù)據(jù)是MIDI文件的演奏數(shù)據(jù)。
22.如權(quán)利要求21所述的歌聲合成設(shè)備，其中，所述歌聲產(chǎn)生裝置基于包含在所述MIDI文件的演奏數(shù)據(jù)的音軌中的樂器名或音軌名/序列名而決定歌聲的類型。
23.如權(quán)利要求21所述的歌聲合成設(shè)備，其中，所述歌聲產(chǎn)生裝置把從歌聲的每個聲音的音符開始時刻直到音符結(jié)束時刻的時間分配為歌聲的一個聲音，MIDI文件的演奏數(shù)據(jù)中的所述音符開始時刻是歌聲的每個聲音開始的基準時刻。
24.一種使計算機執(zhí)行預(yù)設(shè)處理的程序，所述程序包括分析步驟，所述分析步驟把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生步驟，所述歌聲產(chǎn)生步驟基于被分析的音樂信息而產(chǎn)生歌聲；所述歌聲產(chǎn)生步驟基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定所述歌聲的類型。
25.如權(quán)利要求24所述的程序，其中，所述演奏數(shù)據(jù)是MIDI文件的演奏數(shù)據(jù)。
26.一種其上記錄用于使計算機執(zhí)行預(yù)設(shè)處理的程序的計算機可讀記錄介質(zhì)，所述程序包括分析步驟，所述分析步驟把輸入演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生步驟，所述歌聲產(chǎn)生步驟基于被分析的音樂信息而產(chǎn)生歌聲；所述歌聲產(chǎn)生步驟基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定所述歌聲的類型。
27.如權(quán)利要求26所述的記錄介質(zhì)，其中，所述演奏數(shù)據(jù)是MIDI文件的演奏數(shù)據(jù)。
28.一種基于被提供的輸入信息而執(zhí)行動作的自主機器人設(shè)備，包括分析裝置，所述分析裝置把演奏數(shù)據(jù)分析為音調(diào)和音長以及歌詞的音樂信息；以及歌聲產(chǎn)生裝置，所述歌聲產(chǎn)生裝置基于被分析的音樂信息而產(chǎn)生歌聲；所述歌聲產(chǎn)生裝置基于包括在被分析音樂信息內(nèi)的聲音類型信息而決定所述歌聲的類型。
29.如權(quán)利要求28所述的用于合成歌聲的機器人設(shè)備，其中，所述演奏數(shù)據(jù)是MIDI文件的演奏數(shù)據(jù)。
全文摘要
本發(fā)明涉及歌聲合成方法和設(shè)備、程序、記錄介質(zhì)以及機器人設(shè)備，其中具體公開了一種利用演奏數(shù)據(jù)合成歌聲的歌聲合成方法。接收的演奏數(shù)據(jù)被分析為音調(diào)和音長以及歌詞的音樂信息(S2，S3)。如果從被分析的音樂信息選擇與歌詞相應(yīng)的音軌(S5)，從該音軌選擇將被分配歌聲的音符。
文檔編號G10L13/08GK1761993SQ20048000761
公開日2006年4月19日 申請日期2004年3月19日 優(yōu)先權(quán)日2003年3月20日
發(fā)明者小林賢一郎 申請人:索尼株式會社