聲音合成方法和聲音合成設(shè)備的制作方法
【專利摘要】本發(fā)明公開了一種聲音合成方法和聲音合成設(shè)備。該聲音合成設(shè)備連接到顯示裝置并包括處理器，該處理器被配置成：在顯示裝置的屏幕上顯示歌詞；在屏幕上顯示出歌詞之后，輸入基于用戶的操作的音高；以及基于輸入的音高來輸出代表顯示的歌詞的歌聲的一條波形數(shù)據(jù)。
【專利說明】聲音合成方法和聲音合成設(shè)備
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及聲音合成技術(shù),具體地涉及適于實時執(zhí)行的聲音合成的聲音合成設(shè)備和聲音合成方法。
【背景技術(shù)】
[0002]近幾年，在現(xiàn)場表演時通過使用聲音合成設(shè)備(歌聲合成設(shè)備)來執(zhí)行聲樂表演，并且需要能夠?qū)崟r進行聲音合成的聲音合成設(shè)備。為了滿足這樣的需求，JP-A-2008-170592提出了一種具有如下結(jié)構(gòu)的聲音合成設(shè)備，其中，在接收由用戶通過鍵盤操作等產(chǎn)生的旋律數(shù)據(jù)的同時連續(xù)地從存儲器讀出歌詞數(shù)據(jù)并執(zhí)行聲音合成。此外，JP-A-2012-83569提出了一種聲音合成設(shè)備，其中旋律數(shù)據(jù)存儲在存儲器中，并且根據(jù)對構(gòu)成歌詞的音標進行指定的操作來對歌聲連同旋律數(shù)據(jù)所代表的旋律一起進行合成。
[0003]利用上述傳統(tǒng)的聲音合成設(shè)備，在進行歌聲合成時，歌詞或者旋律需要預(yù)先存儲在存儲器中，因此很難在即席改變歌詞和旋律兩者的同時執(zhí)行聲音合成。因此，近來已提出一種聲音合成設(shè)備，其中通過在利用右手通過鍵盤操作指定音高的同時利用左手通過鍵操縱對構(gòu)成歌詞的首標的兀首和輔首進行指定，來執(zhí)行具有指定首聞且與指定首標相對應(yīng)的合成歌聲的實時合成。利用該聲音合成設(shè)備，由于利用左手對歌詞的輸入和利用右手對音高的指定可以按并行方式獨立執(zhí)行，因此能夠?qū)θ我庑筛璩我飧柙~。然而，在沒有相當熟練的情況下，由于在利用右手演奏旋律的同時利用左手通過操縱一個接著一個地輸入歌詞的元音和輔音是個忙碌的操縱，因此很難執(zhí)行即席的豐富聲樂表演。

【發(fā)明內(nèi)容】

[0004]鑒于上述情形做出了本發(fā)明，其目的是提供一種聲音合成設(shè)備，利用該聲音合成設(shè)備通過簡單操作可以執(zhí)行即席的豐富的實時聲樂表演。
[0005]本發(fā)明提供了一種使用連接到顯示裝置的設(shè)備的聲音合成方法，所述聲音合成方法包括:
[0006]第一步驟，用于在所述顯示裝置的屏幕上顯示歌詞；
[0007]第二步驟，用于在完成所述第一步驟之后，輸入基于用戶的操作的音高；以及
[0008]第三步驟，用于基于所輸入音高來輸出代表所顯示歌詞的歌聲的一條波形數(shù)據(jù)。
[0009]例如，所述聲音合成方法還包括:
[0010]第四步驟，用于將代表與顯示在所述屏幕上的所述歌詞相對應(yīng)的聲音的一條樂句數(shù)據(jù)存儲至所述設(shè)備中的存儲器中，其中該條樂句數(shù)據(jù)由多條音節(jié)數(shù)據(jù)構(gòu)成，
[0011]其中在所述第三步驟中，對構(gòu)成該條樂句數(shù)據(jù)的所述多條音節(jié)數(shù)據(jù)的每一個執(zhí)行基于所輸入音高的音高轉(zhuǎn)換，以產(chǎn)生并輸出代表具有所述音高的所述歌聲的所述一條波形數(shù)據(jù)。
[0012]例如，每次在所述第二步驟中輸入所述音高時，從所述存儲器中存儲的所述多條音節(jié)數(shù)據(jù)中讀取一個音節(jié)數(shù)據(jù)序列，并且對于該音節(jié)數(shù)據(jù)序列執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
[0013]例如，在所述第一步驟中顯示在所述屏幕上的所述歌詞由多個音節(jié)構(gòu)成，所述聲音合成方法還包括:第五步驟，用于從顯示在所述屏幕上的所述歌詞中選擇一個音節(jié)，當在所述第一步驟之后在所述第二步驟中輸入了基于用戶的操作的音高并且完成所述第五步驟時，從所述存儲器中讀取與在所述第五步驟中選擇的所述音節(jié)相對應(yīng)的一條音節(jié)數(shù)據(jù)，并且對所讀取的該條音節(jié)數(shù)據(jù)執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
[0014]例如，從顯示在所述屏幕上的多個歌詞中選擇的歌詞在所述第一步驟中顯示在所述屏幕上。
[0015]例如，所述多個歌詞基于相關(guān)性顯示在所述屏幕上。
[0016]例如，所述多個歌詞基于關(guān)鍵詞搜索的結(jié)果顯示在所述屏幕上。
[0017]例如，在所述第一步驟中顯示在所述屏幕上的所述歌詞由多個音節(jié)構(gòu)成，并且分別分隔所述多個音節(jié)的各音節(jié)分隔符可視地顯示在所述屏幕上。
[0018]例如，所述多個歌詞在具有多個層級的層級結(jié)構(gòu)中按層級排列，通過從所述層級中指定至少一個層級來選擇的歌詞在所述第一步驟中顯示在所述屏幕上。
[0019]根據(jù)本發(fā)明，還提供了連接到顯示裝置的聲音合成設(shè)備，所述聲音合成設(shè)備包括:
[0020]處理器，其配置成:
[0021]在所述顯示裝置的屏幕上顯示歌詞；
[0022]在所述屏幕上顯示出所述歌詞之后，輸入基于用戶的操作的音高；以及
[0023]基于所輸入音高來輸出代表所顯示歌詞的歌聲的一條波形數(shù)據(jù)。
[0024]例如，所述聲音合成設(shè)備還包括:存儲器，所述處理器將代表與顯示在所述屏幕上的所述歌詞相對應(yīng)的聲音的一條樂句數(shù)據(jù)存儲至所述存儲器中，該條樂句數(shù)據(jù)由多條音節(jié)數(shù)據(jù)構(gòu)成，以及所述處理器對構(gòu)成該條樂句數(shù)據(jù)的所述多條音節(jié)數(shù)據(jù)的每一個執(zhí)行基于所輸入音高的音高轉(zhuǎn)換，以產(chǎn)生并輸出代表具有所述音高的所述歌聲的所述一條波形數(shù)據(jù)。
[0025]例如，每次所述處理器輸入所述音高時，從所述存儲器中存儲的所述多條音節(jié)數(shù)據(jù)中讀取一個音節(jié)數(shù)據(jù)序列，并且對于該音節(jié)數(shù)據(jù)序列執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
[0026]例如，顯示在所述屏幕上的所述歌詞由多個音節(jié)構(gòu)成，當在所述屏幕上顯示所述歌詞之后所述處理器輸入了基于用戶的操作的音高并且從所述屏幕上顯示的所述歌詞中選擇了一個音節(jié)時，所述處理器從所述存儲器讀取與所選音節(jié)相對應(yīng)的一條音節(jié)數(shù)據(jù)，并且對所讀取的該條音節(jié)數(shù)據(jù)執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
[0027]例如，通過鍵盤或者設(shè)置在所述顯示裝置的所述屏幕上的觸摸板來進行用戶的操作。
[0028]根據(jù)本發(fā)明，可以通過操作部分的操作來從所屏幕上顯示的多個歌詞中選擇期望歌詞，通過操作部分的操作來選擇所選歌詞的任意部分，并通過操作部分的操作將歌詞的所選部分輸出為期望音高的歌聲。因此，可以執(zhí)行即席的豐富的實時聲樂表演。
【專利附圖】

【附圖說明】
[0029]圖1是示出根據(jù)本發(fā)明的實施例的聲音合成設(shè)備的外觀的透視圖。
[0030]圖2是不出聲音合成設(shè)備的電氣結(jié)構(gòu)的框圖。[0031]圖3是示出安裝在聲音合成設(shè)備上的聲音合成程序的結(jié)構(gòu)的框圖。
[0032]圖4是示出實施例的編輯模式中的顯示屏幕的視圖。
[0033]圖5是示出自動回放模式中的聲音合成程序的合成器的狀態(tài)的框圖。
[0034]圖6是示出實時回放模式中的聲音合成設(shè)備的顯示屏幕的視圖。
[0035]圖7是示出實時回放模式的第一模式中的合成器的狀態(tài)的框圖。
[0036]圖8是示出實時回放模式的第一模式中的合成器的操縱示例的視圖。
[0037]圖9是示出實時回放模式的第二模式中的合成器的狀態(tài)的框圖。
[0038]圖10是示出實時回放模式的第二模式中的合成器的操縱示例的視圖。
[0039]圖11是示出實時回放模式的第三模式中的合成器的狀態(tài)的框圖。
[0040]圖12是示出實時回放模式的第三模式中的合成器的操縱示例的視圖。
【具體實施方式】
[0041 ] 在下文中，將參照附圖來描述本發(fā)明的實施例。
[0042]圖1是示出根據(jù)本發(fā)明的實施例的聲音合成設(shè)備的外觀的透視圖。圖2是示出根據(jù)本實施例的聲音合成設(shè)備的電氣結(jié)構(gòu)的框圖。在圖2中，CUPl是控制該聲音合成設(shè)備的各組件的控制中心。ROM (只讀存儲器)2是諸如加載器之類的存儲對該聲音合成設(shè)備的基本操作進行控制的控制程序的只讀存儲器。RAM (隨機存取存儲器)3是被CPUl用作工作區(qū)域的易失性存儲器。鍵盤4類似于在普通鍵盤樂器中設(shè)置的鍵盤，并且在本實施例中被用作音符輸入裝置。觸摸板5是具有向操作者(用戶)顯示聲音合成設(shè)備的操作狀態(tài)、輸入數(shù)據(jù)和消息的顯示功能、以及接受用戶執(zhí)行的操縱的輸入功能的用戶界面。用戶執(zhí)行的操縱的內(nèi)容包括輸入代表歌詞的信息、輸入代表音符的信息、以及輸入回放合成歌聲的指令。根據(jù)本實施例的聲音合成設(shè)備具有圖1所示的折疊式外殼，并且鍵盤4和觸摸板5設(shè)置在該外殼內(nèi)側(cè)的兩個表面上。鍵盤圖像可以顯示在觸摸板5上以替代鍵盤4。在此情況下，操作者可以通過使用鍵盤圖像來輸入或選擇音符(音高)。
[0043]在圖2中，接口組6包括:用于與諸如個人計算機之類的另一設(shè)備執(zhí)行數(shù)據(jù)通信的接口 ；以及用于與諸如閃存之類的外部存儲介質(zhì)執(zhí)行數(shù)據(jù)發(fā)送和接收的驅(qū)動器。
[0044]音響系統(tǒng)7輸出代表該聲音合成設(shè)備所獲得的合成歌聲的波形的時間序列數(shù)字數(shù)據(jù)作為聲音，并且包括:D/A轉(zhuǎn)換器，其將代表合成歌聲的波形的時間序列數(shù)字數(shù)據(jù)轉(zhuǎn)換成模擬聲音信號；放大器，其放大該模擬聲音信號；以及揚聲器，其將放大器的輸出信號輸出為聲音。操縱元件組9包括除鍵盤4之外的諸如彎音輪和音量旋鈕之類的操縱元件。
[0045]非易失性存儲器8是用于存儲諸如各種程序和數(shù)據(jù)庫之類的信息的存儲裝置，例如使用EEPROM (電可擦除可編程只讀存儲器)作為該存儲裝置。在本實施例中非易失性存儲器8的存儲內(nèi)容中的一個具體示例為歌聲合成程序。CPUl根據(jù)通過觸摸板5等輸入的指令來將非易失性存儲器8中的程序加載到RAM3中以用于執(zhí)行。
[0046]可以通過網(wǎng)絡(luò)下載來交易存儲在非易失性存儲器8中的程序等。在此情況下，可以通過接口組6中的適當一個從因特網(wǎng)網(wǎng)站下載程序等，然后將程序等安裝到非易失性存儲器8中。此外，程序可以在存儲在計算機可讀存儲介質(zhì)中的狀態(tài)下被交易。在此情況下，程序等被通過諸如閃存之類的外部存儲介質(zhì)安裝到非易失性存儲器8中。
[0047]圖3是示出安裝在非易失性存儲器8中的歌聲合成程序100的結(jié)構(gòu)的框圖。在圖3中，為了便于理解歌聲合成程序100的功能，存儲在非易失性存儲器8中的觸摸板5、鍵盤
4、接口組6、聲音片段數(shù)據(jù)庫130、以及樂句數(shù)據(jù)庫140與歌聲合成程序100的部件一起被示出。
[0048]根據(jù)本實施例的聲音合成設(shè)備的操作模式可以大體上被分為編輯模式和回放模式。編輯模式是根據(jù)通過鍵盤4、觸摸板5或接口組6中的適當接口提供的信息來產(chǎn)生成對的歌詞數(shù)據(jù)和音符數(shù)據(jù)的操作模式。音符數(shù)據(jù)是代表音高、發(fā)音定時、以及構(gòu)成歌曲的音符的每一個的音符長度的時間序列數(shù)據(jù)。歌詞數(shù)據(jù)是代表根據(jù)音符數(shù)據(jù)所代表的音符來歌唱的歌詞的時間序列數(shù)據(jù)。歌詞可以是詩或臺詞(輕聲低語)、Twitter (商標)的微博(tweet)等、或者一般句子(可以類似于說唱音樂)以及歌曲的歌詞。回放模式是根據(jù)成對的歌詞數(shù)據(jù)和音符數(shù)據(jù)產(chǎn)生樂句數(shù)據(jù)、或者根據(jù)事先根據(jù)諸如觸摸板5之類的操作部分的操作/操縱產(chǎn)生的樂句數(shù)據(jù)產(chǎn)生另一樂句數(shù)據(jù)、并且將樂句數(shù)據(jù)從音響系統(tǒng)7輸出為合成歌聲的操作模式。樂句數(shù)據(jù)是合成歌聲所基于的時間序列數(shù)據(jù)，并且包括歌聲波形的時間序列抽樣數(shù)據(jù)。根據(jù)本實施例的歌聲合成程序100具有用于在編輯模式下實施操作的編輯器110、以及用于在回放模式下實施操作的合成器120。
[0049]編輯器110具有字母輸入部分111、歌詞批輸入部分112、音符輸入部分113、音符連續(xù)輸入部分114、和音符調(diào)節(jié)器115。字母輸入部分111是接收通過指定顯示在觸摸板5上的軟件鍵輸入的字母信息(文本信息)并將其用于歌詞數(shù)據(jù)生成的軟件模塊。歌詞批輸入部分112是接收通過接口組6中的一個接口從個人計算機提供的文本數(shù)據(jù)并將文本數(shù)據(jù)用于歌詞數(shù)據(jù)生成的軟件模塊。音符輸入部分113是接收通過用戶指定音符顯示部分的期望部分而輸入的音符信息并在由鋼琴鍵盤的圖像和音符顯示部分形成的鋼琴角色顯示在觸摸板5上的狀態(tài)之下將音符信息用于音符數(shù)據(jù)生成的軟件模塊。音符輸入部分113可以從鍵盤4接收音符信息。音符連續(xù)輸入部分114是連續(xù)接收通過用戶使用鍵盤4的鍵盤演奏所產(chǎn)生的鍵按壓事件并使用接收到的鍵按壓事件來產(chǎn)生音符數(shù)據(jù)的軟件模塊。音符調(diào)節(jié)器115是根據(jù)對觸摸板5等的操縱來調(diào)節(jié)音符數(shù)據(jù)所代表的音符的音高、音符長度、以及發(fā)音定時的軟件模塊。
[0050]編輯器110通過使用字母輸入部分111、歌詞批輸入部分112、音符輸入部分113、或音符連續(xù)輸入部分114來產(chǎn)生歌詞數(shù)據(jù)和音符數(shù)據(jù)對。在本實施例中，準備了用于產(chǎn)生歌詞數(shù)據(jù)和音符數(shù)據(jù)對的各種編輯模式。
[0051]在第一編輯模式中，如圖4所示，編輯器110在觸摸板5上顯示由鋼琴鍵盤的圖像和其右側(cè)的音符顯示部分形成的鋼琴角色。在此情況下，如圖4所示，當用戶指定音符顯示部分中的期望部分從而輸入音符時，音符輸入部分113將表示輸入的音符的矩形(圖4中的黑色矩形)顯示在樂譜上并且將對應(yīng)于該音符的信息映射在RAM3中設(shè)置的音符數(shù)據(jù)存儲區(qū)域中。此外，當用戶指定顯示在觸摸板5上的期望音符并通過操縱軟件鍵(未示出)來輸入歌詞時，字母輸入部分111將輸入的歌詞顯示在如圖4所示的音符顯示部分中，并且將對應(yīng)于該歌詞的信息映射在RAM3中設(shè)置的歌詞數(shù)據(jù)存儲區(qū)域中。
[0052]在第二編輯模式中，用戶執(zhí)行鍵盤演奏。編輯器110的音符連續(xù)輸入部分114順次接收通過演奏鍵盤產(chǎn)生的鍵按壓事件，并且將與接收到的鍵按壓事件所代表的音符相關(guān)的信息映射在RAM中設(shè)置的音符數(shù)據(jù)存儲區(qū)域中。此外，用戶使代表以鍵盤演奏的歌曲的歌詞的文本數(shù)據(jù)例如從個人計算機提供至接口組6中的一個接口。當個人計算機具有諸如麥克風之類的聲音輸入部分和聲音識別軟件時，個人計算機能夠通過聲音識別軟件將用戶說出的歌詞轉(zhuǎn)換成文本數(shù)據(jù)并將該文本數(shù)據(jù)提供給聲音合成設(shè)備的接口。編輯器110的歌詞批輸入部分112將從個人計算機提供的文本數(shù)據(jù)劃分成多個音節(jié)，并且將該多個音節(jié)映射到在RAM3中設(shè)置的音符存儲區(qū)域中，使得對應(yīng)于每個音節(jié)的文本數(shù)據(jù)在音符數(shù)據(jù)所代表的每個音符的定時處發(fā)出聲音。
[0053]在第三編輯模式中，用戶哼唱歌曲而不是執(zhí)行鍵盤演奏。未示出的個人計算機利用麥克風拾取該哼唱，獲取哼唱聲的音高，產(chǎn)生音符數(shù)據(jù)，以及將音符數(shù)據(jù)提供給接口組6中的一個接口。編輯器110的音符連續(xù)輸入部分114將從個人計算機提供的該音符數(shù)據(jù)寫入至RAM3的音符存儲區(qū)域中。類似上述的，通過歌詞批輸入部分112來執(zhí)行歌詞數(shù)據(jù)的輸入。該編輯模式的優(yōu)點是可以容易地輸入音符數(shù)據(jù)。
[0054]上述是編輯器110的功能的詳述。
[0055]如圖3所示，合成器120具有讀取控制器121、音高轉(zhuǎn)換器122、以及連接器123，作為用于在回放模式中實施操作的部分。
[0056]在本實施例中，由合成器120實施的回放模式可以被分為自動回放模式和實時回放模式。
[0057]圖5是示出自動回放模式中的合成器120的狀態(tài)的框圖。在自動回放模式中，如圖5所示，樂句數(shù)據(jù)根據(jù)編輯器110所產(chǎn)生的歌詞數(shù)據(jù)和音符數(shù)據(jù)對產(chǎn)生并且存儲在RAM3和聲音片段數(shù)據(jù)庫130中。
[0058]聲音片段數(shù)據(jù)庫130是代表用作歌聲素材的各種聲音片段的各條聲音片段數(shù)據(jù)(諸如從靜音到輔音的轉(zhuǎn)換的部分、從輔音到元音的轉(zhuǎn)換的部分、元音的拉長聲、以及從元音到靜音的轉(zhuǎn)換的部分)的集合。這各條聲音片段數(shù)據(jù)是基于從真人發(fā)出的聲波中提取的聲音片段而產(chǎn)生的數(shù)據(jù)。
[0059]在自動回放模式中，當由用戶通過使用例如觸摸板5提供了回放指令時，如圖5所示，讀取控制器121從開始掃描RAM3中的每個歌詞數(shù)據(jù)和音符數(shù)據(jù)。然后，讀取控制器121從音符數(shù)據(jù)中讀取一個音符的音符信息(音高等)并且從歌詞數(shù)據(jù)中讀取代表將要根據(jù)該音符發(fā)音的音節(jié)的信息，然后，將要發(fā)音的音節(jié)分解為多個聲音片段，從聲音片段數(shù)據(jù)庫130中讀取對應(yīng)于這些聲音片段的聲音片段數(shù)據(jù)，并且將該聲音片段數(shù)據(jù)與從音符數(shù)據(jù)中讀取的音高一起提供給音高轉(zhuǎn)換器122。音高轉(zhuǎn)換器122對由讀取控制器121從聲音片段數(shù)據(jù)庫130中讀取的聲音片段數(shù)據(jù)執(zhí)行音高轉(zhuǎn)換，從而產(chǎn)生具有讀取控制器121所讀取的音符數(shù)據(jù)所代表的音高的聲音片段數(shù)據(jù)。然后，連接器123在時間軸上對如此獲得的針對每個音節(jié)的多條進行了音高轉(zhuǎn)換的聲音片段數(shù)據(jù)進行連接，從而產(chǎn)生樂句數(shù)據(jù)。
[0060]在自動回放模式中，當如上所述地根據(jù)歌詞數(shù)據(jù)和音符數(shù)據(jù)對產(chǎn)生樂句數(shù)據(jù)時，該樂句數(shù)據(jù)被發(fā)送到音響系統(tǒng)7并被輸出為歌聲。
[0061]在本實施例中，如上所述的根據(jù)歌詞數(shù)據(jù)和音符數(shù)據(jù)對產(chǎn)生的樂句數(shù)據(jù)可以存儲在樂句數(shù)據(jù)庫140中。如圖3所示，各條樂句數(shù)據(jù)構(gòu)成樂句數(shù)據(jù)庫140，并且這些樂句數(shù)據(jù)各自由各自對應(yīng)于一個音節(jié)的多條音節(jié)數(shù)據(jù)構(gòu)成。這些條音節(jié)數(shù)據(jù)各自由音節(jié)文本數(shù)據(jù)、音節(jié)波形數(shù)據(jù)、以及音節(jié)音高數(shù)據(jù)構(gòu)成。音節(jié)文本數(shù)據(jù)是通過針對每個音節(jié)分割樂句數(shù)據(jù)所基于的歌詞數(shù)據(jù)而獲得的文本數(shù)據(jù)，并且音節(jié)文本數(shù)據(jù)代表對應(yīng)于音節(jié)的字母。音節(jié)波形數(shù)據(jù)是代表音節(jié)的聲音波形的抽樣數(shù)據(jù)。音節(jié)音高數(shù)據(jù)是代表聲音波形(聲音波形代表音節(jié))的音高(即，對應(yīng)于音節(jié)的音符的音高)的數(shù)據(jù)。樂句數(shù)據(jù)的單位不限于音節(jié)，而可以是詞或從句或者可以是用戶選擇的任意一個。
[0062]實時回放模式是這樣的操作模式，其中如圖3所示，根據(jù)對觸摸板5的操縱從樂句數(shù)據(jù)庫140中選擇樂句數(shù)據(jù)，根據(jù)諸如觸摸板5或鍵盤4之類的操作部分的操作而根據(jù)所選樂句數(shù)據(jù)產(chǎn)生另一樂句數(shù)據(jù)。
[0063]在實時回放模式中，讀取控制器121從樂句數(shù)據(jù)庫140中的每條樂句數(shù)據(jù)中提取音節(jié)文本數(shù)據(jù)，并且將提取的每條音節(jié)文本數(shù)據(jù)以菜單形式顯示在觸摸板5上，作為每條樂句數(shù)據(jù)所代表的歌詞。在此情況下，用戶可以以菜單形式顯示在觸摸板5上的歌詞中指定期望的歌詞。讀取控制器121從樂句數(shù)據(jù)庫140中讀取與用戶指定的歌詞相對應(yīng)的樂句數(shù)據(jù)，作為將要回放的對象，將其存儲在RAM3中的回放對象區(qū)域中，并將其顯示在觸摸板5上。
[0064]圖6示出了此情況下的觸摸板5的顯示示例。如圖6所示，觸摸板5的左側(cè)區(qū)域是顯示歌詞菜單的菜單顯示區(qū)域，右側(cè)區(qū)域是顯示用戶通過手指觸摸而選擇的歌詞的指導(direction)區(qū)域。在所示示例中，用戶選擇的歌詞“Happy birthday to you”顯示在指導區(qū)域中，對應(yīng)于該歌詞的樂句數(shù)據(jù)存儲在RAM3的回放對象區(qū)域中。可以通過在用手指觸摸歌詞菜單的同時向上或向下移動手指來在豎直方向上滾動菜單顯示區(qū)域中的歌詞菜單。在該示例中，為了便于指定操作，以較大字母顯示位于更接近中心處的歌詞，隨著歌詞在豎直方向上變得越來越遠歌詞被以越來越小的字母顯示。
[0065]在此情況下，通過對諸如鍵盤4或操作板5之類的操作部分的操縱，用戶可以選擇存儲在回放對象區(qū)域中的樂句數(shù)據(jù)的任意部分(具體地為音節(jié))作為要回放的對象，并且當要回放的對象被回放為合成歌聲時用戶可以指定音高。為了避免描述的重復，將在本實施例的操作的描述中清楚地給出選擇要回放的部分的方法和指定音高的方法。
[0066]讀取控制器121從存儲在RAM3的回放對象區(qū)域中的樂句數(shù)據(jù)中選擇用戶指定的部分的數(shù)據(jù)(具體地為指定音節(jié)的音節(jié)數(shù)據(jù))，讀取該數(shù)據(jù)并將其提供給音高轉(zhuǎn)換器122。音高轉(zhuǎn)換器122從讀取控制器121所提供的音節(jié)數(shù)據(jù)中提取音節(jié)波形數(shù)據(jù)和音節(jié)音高數(shù)據(jù)，并且獲取作為用戶指定的音高Pl與音節(jié)音高數(shù)據(jù)所代表的音高P2之間的比率的音高比率P1/P2。然后，音高轉(zhuǎn)換器122對音節(jié)波形數(shù)據(jù)執(zhí)行音高轉(zhuǎn)換，例如通過對音節(jié)波形數(shù)據(jù)以對應(yīng)于音高比率P1/P2的比率執(zhí)行時間扭曲或音高/節(jié)奏轉(zhuǎn)換的方法來轉(zhuǎn)換，產(chǎn)生具有用戶指定的音高Pl的音節(jié)波形數(shù)據(jù)并用其代替初始音節(jié)波形數(shù)據(jù)。連接器123連續(xù)接收已經(jīng)歷由音高轉(zhuǎn)換器122執(zhí)行的處理的各條音節(jié)數(shù)據(jù)，在時間軸上平滑地連接以一個接著一個排列的各條音節(jié)數(shù)據(jù)中的各條音節(jié)波形數(shù)據(jù)，并將其輸出。
[0067]上述是合成器120的功能的詳述。
[0068]接下來，將描述本實施例的操作。在本實施例中，用戶可以通過對例如觸摸板5的操縱來將聲音合成設(shè)備的操作模式設(shè)置為編輯模式或者回放模式。如上所述，編輯模式是編輯器110根據(jù)來自用戶的指令產(chǎn)生歌詞數(shù)據(jù)和音符數(shù)據(jù)對的操作模式。另一方面，回放模式是上述的合成器120根據(jù)來自用戶的指令產(chǎn)生樂句數(shù)據(jù)并將該樂句數(shù)據(jù)從音響系統(tǒng)7輸出為合成歌聲的操作模式。
[0069]如上所述，回放模式包括自動回放模式和實時回放模式。實時回放模式包括第一模式至第三模式的三種模式。可以通過對觸摸板5的操縱來指定在哪一操作模式中操作聲音合成設(shè)備。
[0070]當設(shè)置了自動回放模式時，如上所述，合成器120根據(jù)RAM3中的歌詞數(shù)據(jù)和音符數(shù)據(jù)對產(chǎn)生樂句數(shù)據(jù)。
[0071]當設(shè)置了實時回放模式時，如上所述，合成器120根據(jù)RAM3的回放對象區(qū)域中的樂句數(shù)據(jù)產(chǎn)生另一樂句數(shù)據(jù)，并將其從音響系統(tǒng)7輸出為合成歌聲。根據(jù)該樂句數(shù)據(jù)產(chǎn)生另一樂句數(shù)據(jù)的操作的細節(jié)在第一至第三模式間是不同的。
[0072]圖7示出了第一模式中的合成器120的狀態(tài)。在第一模式中，讀取控制器121和音高轉(zhuǎn)換器122兩者基于來自鍵盤4的鍵按壓事件來進行操作。當在鍵盤4處產(chǎn)生第一鍵按壓事件時，讀取控制器121讀取回放對象區(qū)域中的樂句數(shù)據(jù)的第一音節(jié)數(shù)據(jù)并將其提供給音高轉(zhuǎn)換器122。音高轉(zhuǎn)換器122對第一音節(jié)數(shù)據(jù)中的音節(jié)波形數(shù)據(jù)執(zhí)行音高轉(zhuǎn)換，產(chǎn)生具有第一鍵按壓事件所代表的音高(被按下的鍵的音高)的音節(jié)波形數(shù)據(jù)，并利用具有第一鍵按壓事件所代表的音高的音節(jié)波形數(shù)據(jù)來代替初始音節(jié)波形數(shù)據(jù)。該音高轉(zhuǎn)換后的音節(jié)數(shù)據(jù)被提供給連接器123。然后，當在鍵盤4處產(chǎn)生第二鍵按壓事件時，讀取控制器121讀取回放對象區(qū)域中的樂句數(shù)據(jù)的第二音節(jié)數(shù)據(jù)并將其提供給音高轉(zhuǎn)換器122。音高轉(zhuǎn)換器122對第二音節(jié)數(shù)據(jù)中的音節(jié)波形數(shù)據(jù)執(zhí)行音高轉(zhuǎn)換，產(chǎn)生具有第二鍵按壓事件所代表的音高的音節(jié)波形數(shù)據(jù)，并利用具有第二鍵按壓事件所代表的音高的音節(jié)波形數(shù)據(jù)來代替初始音節(jié)波形數(shù)據(jù)。然后，該音高轉(zhuǎn)換后的音節(jié)數(shù)據(jù)被提供給連接器123。后續(xù)操作類似:每次產(chǎn)生鍵按壓事件時,依次讀取后續(xù)音節(jié)數(shù)據(jù),并且執(zhí)行基于鍵按壓事件的音高轉(zhuǎn)換。
[0073]圖8示出了第一模式的操作示例。在該示例中，歌詞“Happy birthday to you”顯示在觸摸板5上，并且該歌詞的樂句數(shù)據(jù)存儲在回放對象區(qū)域中。用戶按下鍵盤4六次。在執(zhí)行第一鍵按壓的周期Tl期間，第一音節(jié)“Hap”的音節(jié)數(shù)據(jù)被從回放對象區(qū)域中讀取，經(jīng)歷基于鍵按壓事件的音高轉(zhuǎn)換，并被以合成歌聲的形式輸出。在執(zhí)行第二鍵按壓的周期T2期間，第二音節(jié)“py”的音節(jié)數(shù)據(jù)被從回放對象區(qū)域中讀取，經(jīng)歷基于鍵按壓事件的音高轉(zhuǎn)換，并且被以合成歌聲的形式輸出。后續(xù)操作類似:在每個產(chǎn)生鍵按壓的周期T3至T6的期間，后續(xù)音節(jié)的音節(jié)數(shù)據(jù)被相繼讀取，經(jīng)歷基于鍵按壓事件的音高轉(zhuǎn)換，并且被以合成歌聲的形式輸出。
[0074]雖然圖中未示出，但是用戶可以在針對顯示在觸摸板5上的歌詞的所有音節(jié)產(chǎn)生合成歌聲之前選擇另一歌詞，并且針對歌詞的每個聲音產(chǎn)生合成歌聲。例如，在圖8所示的示例中，用戶可以在通過按壓鍵盤4產(chǎn)生直到音節(jié)“day”的合成歌聲之后指定例如圖6所示的另一歌詞“We’re getting out of here”。從而,讀取控制器121從樂句數(shù)據(jù)庫140讀取與用戶選擇的歌詞相對應(yīng)的樂句數(shù)據(jù)，將該樂句數(shù)據(jù)存儲在RAM3中的回放對象區(qū)域中，并基于該樂句數(shù)據(jù)的音節(jié)文本數(shù)據(jù)將歌詞“We’re getting out of here”顯示在觸摸板5上。在此情況下，通過按壓鍵盤4的一個或多個鍵，用戶可以產(chǎn)生新歌詞的音節(jié)的合成歌聲。
[0075]如上所述，在第一模式下，用戶可以通過對觸摸板5的操縱來選擇期望的歌詞，在期望定時處通過鍵盤4的按壓操作將該歌詞的每個音節(jié)轉(zhuǎn)換成具有期望音高的合成歌聲并將其輸出。此外，在第一模式下，由于音節(jié)的選擇及其歌聲合成與鍵按壓同時執(zhí)行，用戶也可以例如通過任意設(shè)置節(jié)奏并按照所設(shè)置的節(jié)奏執(zhí)行鍵盤演奏來執(zhí)行具有節(jié)奏變化的歌聲合成。[0076]圖9示出了第二模式中的合成器120的狀態(tài)。在第二模式中，讀取控制器121基于對觸摸板5的操縱來進行操作，音高轉(zhuǎn)換器122基于來自鍵盤4的鍵按壓事件來進行操作。進一步詳細描述，讀取控制器121在構(gòu)成顯示在觸摸板5上的歌詞的各音節(jié)中確定用戶指定的音節(jié)，讀取在回放對象區(qū)域中的樂句數(shù)據(jù)的指定音節(jié)的音節(jié)數(shù)據(jù)，并且將該音節(jié)數(shù)據(jù)提供給音高轉(zhuǎn)換器122。當從鍵盤4產(chǎn)生了鍵按壓事件時，音高轉(zhuǎn)換器122對緊接其前提供的音節(jié)數(shù)據(jù)的音節(jié)波形數(shù)據(jù)執(zhí)行音高轉(zhuǎn)換，產(chǎn)生具有鍵按壓事件所代表的音高(被按下的鍵的音高)的音節(jié)波形數(shù)據(jù)，用該音節(jié)波形數(shù)據(jù)代替初始音節(jié)波形數(shù)據(jù)，并將該音節(jié)波形數(shù)據(jù)提供給連接器123。另外，當在第二模式中利用操作者的手指來指定歌詞上的兩個點時，可以輸出通過重復歌詞上的該兩個點之間的部分形成的合成歌聲。
[0077]圖10示出了第二模式的操作示例。在該示例中，歌詞“Happy birthday to you”也顯示在觸摸板5上，該歌詞的樂句數(shù)據(jù)存儲在回放對象區(qū)域中。用戶指定顯示在觸摸板5上的音節(jié)“Hap”，并且在隨后的周期Tl中按壓鍵盤4的鍵。因此，音節(jié)“Hap”的音節(jié)數(shù)據(jù)被從回放對象區(qū)域中讀取，經(jīng)歷基于鍵按壓事件的音高轉(zhuǎn)換，并被以合成歌聲的形式輸出。然后，用戶指定顯示在觸摸板5上的音節(jié)“py”，并且在隨后的周期T2中按壓鍵盤4的鍵。因此，音節(jié)“py”的音節(jié)數(shù)據(jù)被從回放對象區(qū)域中讀取，經(jīng)歷基于鍵按壓事件的音高轉(zhuǎn)換，并被以合成歌聲的形式輸出。然后，用戶指定音節(jié)“birth”，并且在隨后的周期T3 (I)至T3(3)中按壓鍵盤4的鍵三次。因此，從回放對象區(qū)域中讀取音節(jié)“birth”的音節(jié)數(shù)據(jù)，在周期T3(l)至T3(3)的每一個中，對音節(jié)“birth”的音節(jié)波形數(shù)據(jù)執(zhí)行基于在那時刻產(chǎn)生的鍵按壓事件的音高轉(zhuǎn)換，并且該數(shù)據(jù)被以合成歌聲的形式輸出。在隨后的周期T4至T6中執(zhí)行類似操作。
[0078]如上所述，在第二模式中，用戶可以通過對觸摸板5的操縱選擇期望歌詞，通過對觸摸板5的操縱選擇歌詞中的期望音節(jié)，通過鍵盤4的操作在期望定時處將所選音節(jié)轉(zhuǎn)換成具有期望音高的合成歌聲并將其輸出。
[0079]圖11示出了第三模式中的合成器120的狀態(tài)。在第三模式中，讀取控制器121和音高轉(zhuǎn)換器122兩者基于對觸摸板5的操縱進行操作。進一步詳細描述，在第三模式中，讀取控制器121讀取存儲在回放對象區(qū)域中的樂句數(shù)據(jù)的每個音節(jié)的音節(jié)音高數(shù)據(jù)和音節(jié)文本數(shù)據(jù)，并且如圖12所示，在觸摸板5上顯示一個圖像，其中各音節(jié)的音高以時間先后順序繪制在水平軸為時間軸而豎直軸為音高軸的二維坐標系上。在圖12中，黑色矩形代表各音節(jié)的音高，并且添加至各矩形的諸如“Hap”之類的各字母代表各音節(jié)。
[0080]在此情況下，當用戶指定例如表示音節(jié)“Hap”的音高的矩形時，讀取控制器121讀取在回放對象區(qū)域中存儲的樂句數(shù)據(jù)中對應(yīng)于音節(jié)“Hap”的音節(jié)數(shù)據(jù)，并將該音節(jié)數(shù)據(jù)提供給音高轉(zhuǎn)換器122，并指示音高轉(zhuǎn)換器122執(zhí)行音高轉(zhuǎn)換而使其成為與用戶在觸摸板5上指定的位置相對應(yīng)的音高(即，本示例中音節(jié)“Hap”的音節(jié)音高數(shù)據(jù)所代表的初始音高)。因而，音高轉(zhuǎn)換器122對音節(jié)“Hap”的音節(jié)數(shù)據(jù)的音節(jié)波形數(shù)據(jù)執(zhí)行指定音高轉(zhuǎn)換，并且將包括音高轉(zhuǎn)換后的音節(jié)波形數(shù)據(jù)(在此情況下，該音節(jié)波形數(shù)據(jù)與初始音節(jié)波形數(shù)據(jù)相同)的音節(jié)數(shù)據(jù)提供給連接器123。此后，當用戶指定表示音節(jié)“py”的音高的矩形和表示音節(jié)“birth”的音高的矩形時，執(zhí)行與上述類似的操作。
[0081]假設(shè)用戶然后指定位于表示音節(jié)“day”的音高的矩形下方的位置，如圖12所示。在此情況下，讀取控制器121從回放對象區(qū)域中讀取對應(yīng)于音節(jié)“day”的音節(jié)數(shù)據(jù)，將該音節(jié)數(shù)據(jù)提供給音高轉(zhuǎn)換器122，并且指示音高轉(zhuǎn)換器122執(zhí)行音高轉(zhuǎn)換而使其成為與用戶在觸摸板5上指定的位置相對應(yīng)的音高(即，本示例中比音節(jié)“day”的音節(jié)音高數(shù)據(jù)所代表的音高低的音高)。因而，音高轉(zhuǎn)換器122對音節(jié)“day”的音節(jié)數(shù)據(jù)中的音節(jié)波形數(shù)據(jù)執(zhí)行指定音高轉(zhuǎn)換，并且將包括音高轉(zhuǎn)換后的音節(jié)波形數(shù)據(jù)(在此情況下，該音節(jié)波形數(shù)據(jù)的音高低于初始音節(jié)波形數(shù)據(jù)的音高)的音節(jié)數(shù)據(jù)提供給連接器123。
[0082]如上所述，在第三模式中，用戶可以通過對觸摸板5的操縱選擇期望歌詞，在期望定時處通過對觸摸板5的操縱將所選歌詞的期望音節(jié)轉(zhuǎn)換成具有期望音高的合成歌聲并將其輸出。
[0083]如上所述，根據(jù)本實施例，用戶可以通過操作部分的操作來從所顯示的各歌詞中選擇期望歌詞，將該歌詞的每個音節(jié)轉(zhuǎn)換成具有期望音高的合成歌聲并將其輸出。因此，可以容易地實現(xiàn)即席的豐富的實時聲樂表演。此外，根據(jù)本實施例，由于對應(yīng)于各種歌詞的各條樂句數(shù)據(jù)被預(yù)存儲，并且與用戶選擇的歌詞相對應(yīng)的樂句數(shù)據(jù)被用來產(chǎn)生合成歌聲，因此需要較短時間來產(chǎn)生合成歌聲。
[0084]<其他實施例>
[0085]盡管上面已描述了本發(fā)明的實施例，但是對于本發(fā)明可以考慮其他實施例，例如，如下所示:
[0086](I)由于可以顯示在觸摸板5上的歌詞的數(shù)量是有限的，因此可以通過例如將表示構(gòu)成樂句數(shù)據(jù)庫140的各條樂句數(shù)據(jù)的圖標顯示在觸摸板上并讓用戶從這些圖標中選擇期望圖標，來確定歌詞菜單顯示在觸摸板5上的樂句數(shù)據(jù)。
[0087](2)為了便于歌詞的選擇，可以例如基于將要播放的歌曲的類型等對構(gòu)成樂句數(shù)據(jù)庫140的各條樂句數(shù)據(jù)設(shè)置優(yōu)先級，并且例如以優(yōu)先級遞降的順序在觸摸板5上顯示各條樂句數(shù)據(jù)的歌詞菜單?？商鎿Q地，可以按照較高優(yōu)先級顯示得更接近于中心或以較大字母顯示的方式顯示各條樂句數(shù)據(jù)的歌詞。
[0088](3)為了便于歌詞的選擇，歌詞可以按層級排列以使得可以通過指定較高至較低層級的每個的層級來選擇期望歌詞。例如，用戶選擇期望歌詞的類型，然后選擇期望歌詞的第一字母，屬于所選類型的、具有所選第一字母的歌詞被顯示在觸摸板5上。用戶從所顯示的歌詞中選擇期望歌詞?？商鎿Q地，可以采用基于相關(guān)性的顯示方法，例如集合具有高相關(guān)性的各條樂句數(shù)據(jù)并顯示其歌詞或者將具有較高相關(guān)性的各條樂句數(shù)據(jù)的歌詞顯示得較靠近。在此情況下，當用戶選擇一條樂句數(shù)據(jù)時，可以顯示與所選那條樂句數(shù)據(jù)相關(guān)的各條樂句數(shù)據(jù)的歌詞。例如，在存在每個歌詞起初都是一個歌詞的一部分的多個歌詞的各條樂句數(shù)據(jù)的情況下，當用戶選擇了一個歌詞的樂句數(shù)據(jù)時，可以顯示屬于同一歌詞的其他歌詞?？商鎿Q地，可以執(zhí)行如下:同一歌曲的第一、第二、第三節(jié)的歌詞彼此相關(guān)聯(lián)，并且當選擇了一個歌詞時，顯示與其相關(guān)聯(lián)的其他歌詞?？商鎿Q地，可以執(zhí)行如下內(nèi)容:對樂句數(shù)據(jù)庫140中的音節(jié)文本數(shù)據(jù)執(zhí)行用于與用戶所選歌詞相關(guān)聯(lián)的樂句數(shù)據(jù)的關(guān)鍵詞搜索，并且顯示命中樂句數(shù)據(jù)(音節(jié)文本數(shù)據(jù))的歌詞。
[0089](4)下面是被考慮作為用于輸入歌詞數(shù)據(jù)的模式:首先，為聲音合成設(shè)備提供相機。然后，用戶演唱期望歌詞，并且利用相機對當時用戶的嘴進行成像。分析通過該成像獲得的圖像數(shù)據(jù)，并且基于用戶嘴型的運動來產(chǎn)生代表用戶正演唱的歌詞的歌詞數(shù)據(jù)。
[0090](5)在編輯模式中，歌詞數(shù)據(jù)和音符數(shù)據(jù)的音節(jié)的發(fā)音定時可以被量化為預(yù)設(shè)節(jié)奏模式中的節(jié)奏聲音的產(chǎn)生定時?？商鎿Q地，當通過軟鍵操作來輸入歌詞時，音節(jié)輸入定時可以是歌詞數(shù)據(jù)和音符數(shù)據(jù)中的音節(jié)的發(fā)音定時。
[0091](6)盡管在上述實施例中鍵盤被用作用于音高指定和發(fā)音定時指定的操作部分，但是也可以使用諸如鼓墊之類的除鍵盤外的裝置。
[0092](7)盡管在上述實施例中樂句數(shù)據(jù)根據(jù)歌詞數(shù)據(jù)和音符數(shù)據(jù)對產(chǎn)生并存儲在樂句數(shù)據(jù)庫140中，但是樂句數(shù)據(jù)也可以根據(jù)記錄的歌聲產(chǎn)生并存儲在樂句數(shù)據(jù)庫140中。進一步詳細描述，用戶演唱期望歌詞，并且歌聲被記錄。然后，分析記錄的歌聲的波形數(shù)據(jù)從而將歌聲的波形數(shù)據(jù)劃分成多條音節(jié)波形數(shù)據(jù)，分析每條音節(jié)波形數(shù)據(jù)從而產(chǎn)生代表作為音標的每個音節(jié)的內(nèi)容的音節(jié)文本數(shù)據(jù)以及產(chǎn)生代表每個音節(jié)的音高的音節(jié)音高數(shù)據(jù)，并且組合這些從而產(chǎn)生樂句數(shù)據(jù)。
[0093](8)盡管在上述實施例中聲音片段數(shù)據(jù)庫130和樂句數(shù)據(jù)庫140存儲在非易失性存儲器8中，但是可以將其存儲在服務(wù)器上，并且通過聲音合成設(shè)備經(jīng)由網(wǎng)絡(luò)對該服務(wù)器上的聲音片段數(shù)據(jù)庫130和樂句數(shù)據(jù)庫140進行訪問來執(zhí)行歌聲合成。
[0094](9)盡管在上述實施例中通過合成器120進行處理所獲得的樂句數(shù)據(jù)被從音響系統(tǒng)7輸出為合成歌聲，但是所產(chǎn)生的樂句數(shù)據(jù)也可以僅存儲在存儲器中?？商鎿Q地，所產(chǎn)生的樂句數(shù)據(jù)可以經(jīng)由網(wǎng)絡(luò)傳遞到遠方。
[0095](10)盡管在上述實施例中通過合成器120進行處理所獲得的樂句數(shù)據(jù)被從音響系統(tǒng)7輸出為合成歌聲，但是也可以在經(jīng)過用戶指定的效果處理后輸出樂句數(shù)據(jù)。
[0096](11)在實時回放模式中，可以根據(jù)觸摸板5上的指定位置的改變來執(zhí)行特殊歌聲合成。例如，在實時回放模式的第二模式中，可以執(zhí)行如下內(nèi)容:當用戶從結(jié)尾朝向開始沿著顯示在指導區(qū)域中的一個音節(jié)移動手指時，對應(yīng)于該音節(jié)的音節(jié)波形數(shù)據(jù)被反轉(zhuǎn)并且被提供至音高轉(zhuǎn)換器122?？商鎿Q地，在實時回放模式的第一模式中，可以執(zhí)行如下內(nèi)容:當用戶從結(jié)尾朝向開始沿著顯示在指導區(qū)域中的歌詞移動手指然后執(zhí)行鍵盤演奏時，從結(jié)尾處的音節(jié)相繼選擇各音節(jié)并且在每次鍵按壓時執(zhí)行對應(yīng)于每個音節(jié)的歌聲合成?？商鎿Q地，在實時回放模式的第一模式中，可以執(zhí)行如下內(nèi)容:當用戶指定顯示在指導區(qū)域中的歌詞的開始來選擇歌詞然后執(zhí)行鍵盤演奏時，從開始處的音節(jié)相繼選擇各音節(jié)，并且執(zhí)行對應(yīng)于每個音節(jié)的歌聲合成。當用戶指定顯示在指導區(qū)域中的歌詞的結(jié)尾來選擇歌詞然后執(zhí)行鍵盤演奏時，從結(jié)尾處的音節(jié)開始相繼選擇各音節(jié)，并且在每次鍵按壓時執(zhí)行對應(yīng)于每個音節(jié)的歌聲合成。
[0097](12)在上述實施例中，用戶選擇代表歌聲的樂句數(shù)據(jù)，并且根據(jù)鍵盤操作等來處理該樂句數(shù)據(jù)并將其輸出。然而，可以執(zhí)行如下內(nèi)容:作為樂句數(shù)據(jù)，用戶選擇代表聲音波形的樂句數(shù)據(jù)而不是代表歌聲的樂句數(shù)據(jù)，并且根據(jù)鍵盤操作等處理樂句數(shù)據(jù)并將其輸出。此外，可以執(zhí)行如下內(nèi)容:諸如從移動電話發(fā)送的電子郵件中使用的象形圖包括在樂句數(shù)據(jù)中，包括該象形圖的歌詞顯示在觸摸板上并用于樂句數(shù)據(jù)選擇。
[0098](13)在實時回放模式中，當用戶選擇的歌詞顯示在觸摸板的指導區(qū)域中時，例如如圖8所示，代表音節(jié)分隔的符號(圖8中的“/”)可以被添加到歌詞的顯示中。這便于用戶視覺識別各音節(jié)。此外，可以執(zhí)行如下內(nèi)容:使歌聲合成部分的顯示形式不同于其他部分的顯示形式，例如使當前正對其執(zhí)行歌聲合成的音節(jié)的顯示顏色不同，使得歌聲合成部分明顯。[0099](14)構(gòu)成樂句數(shù)據(jù)的音節(jié)數(shù)據(jù)可以僅為音節(jié)文本數(shù)據(jù)。在此情況下，在實時回放模式中，當音節(jié)被指定為要回放的對象，并且利用鍵盤等指定音高時，對應(yīng)于該音節(jié)的音節(jié)文本數(shù)據(jù)被轉(zhuǎn)換成具有利用鍵盤等指定的音高的聲音波形數(shù)據(jù)，并且被從音響系統(tǒng)7輸出。
[0100](15)當通過對觸摸板5等的操縱輸入預(yù)定命令時，實時回放模式的第一模式可以被如下切換:首先，在鍵盤4的鍵按壓發(fā)生時指定了顯不在觸摸板5的指導區(qū)域中的歌詞中的音節(jié)的情況下，做出從第一模式到第二模式的切換，并且所指定的音節(jié)被輸出為鍵按壓所指定的音高的合成歌聲。此外，在鍵盤4的鍵按壓發(fā)生時未指定觸摸板5的指導區(qū)域的情況下，保持第一模式，并且上次執(zhí)行過歌聲合成的音節(jié)的下一音節(jié)被輸出為鍵按壓所指定的音高的合成歌聲。在此情況下，例如，當歌詞“Happy birthday to you”顯示在指導區(qū)域中時，如果用戶指定音節(jié)“birth”并按下鍵，則第二模式被設(shè)置，并且以被按下的鍵的音高來發(fā)音音節(jié)“birth”。此后，如果用戶在未指定編輯區(qū)域的情況下按下鍵，第一模式被設(shè)置，并且以被按下的鍵的音高來發(fā)音上次執(zhí)行過歌聲合成的音節(jié)的下一音節(jié)“day”。根據(jù)該模式，聲樂演奏的自由度可以進一步提高。
[0101]本申請基于2012年6月27日提交的日本專利申請第2012-144811號，該日本專利申請的內(nèi)容通過引用并入本文。
【權(quán)利要求】
1.一種使用連接到顯示裝置的設(shè)備的聲音合成方法，所述聲音合成方法包括: 第一步驟，用于在所述顯示裝置的屏幕上顯示歌詞； 第二步驟，用于在完成所述第一步驟之后，輸入基于用戶的操作的音高；以及 第三步驟，用于基于所輸入音高來輸出代表所顯示歌詞的歌聲的一條波形數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的聲音合成方法，還包括: 第四步驟，用于將代表與顯示在所述屏幕上的所述歌詞相對應(yīng)的聲音的一條樂句數(shù)據(jù)存儲至所述設(shè)備中的存儲器中，其中該條樂句數(shù)據(jù)由多條音節(jié)數(shù)據(jù)構(gòu)成， 其中在所述第三步驟中，對構(gòu)成該條樂句數(shù)據(jù)的所述多條音節(jié)數(shù)據(jù)的每一個執(zhí)行基于所輸入音高的音高轉(zhuǎn)換，以產(chǎn)生并輸出代表具有所述音高的歌聲的所述一條波形數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的聲音合成方法，其中每次在所述第二步驟中輸入所述音高時，從所述存儲器中存儲的所述多條音節(jié)數(shù)據(jù)中讀取一個音節(jié)數(shù)據(jù)序列，并且對于該音節(jié)數(shù)據(jù)序列執(zhí)行基于所輸入首聞的首聞轉(zhuǎn)換。
4.根據(jù)權(quán)利要求2所述的聲音合成方法，其中在所述第一步驟中顯示在所述屏幕上的所述歌詞由多個音節(jié)構(gòu)成， 所述聲音合成方法還包括: 第五步驟，用于從顯示在所述屏幕上的所述歌詞中選擇一個音節(jié)， 其中當在所述第一步驟之后在所述第二步驟中輸入了基于用戶的操作的音高并且完成所述第五步驟時，從所述存儲器中讀取與在所述第五步驟中選擇的所述音節(jié)相對應(yīng)的一條音節(jié)數(shù)據(jù)，并且對所讀取的該條音節(jié)數(shù)據(jù)執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
5.根據(jù)權(quán)利要求1至4中任一項所述的聲音合成方法，其中從顯示在所述屏幕上的多個歌詞中選擇的歌詞在所述第一步驟中顯示在所述屏幕上。
6.根據(jù)權(quán)利要求5所述的聲音合成方法，其中所述多個歌詞基于相關(guān)性顯示在所述屏幕上。
7.根據(jù)權(quán)利要求5所述的聲音合成方法，其中所述多個歌詞基于關(guān)鍵詞搜索的結(jié)果顯示在所述屏幕上。
8.根據(jù)權(quán)利要求1至4中任一項所述的聲音合成方法，其中在所述第一步驟中顯示在所述屏幕上的所述歌詞由多個音節(jié)構(gòu)成；以及 其中分別分隔所述多個音節(jié)的各音節(jié)分隔符可視地顯示在所述屏幕上。
9.根據(jù)權(quán)利要求1至4中任一項所述的聲音合成方法，其中所述多個歌詞在具有多個層級的層級結(jié)構(gòu)中按層級排列；以及 其中通過從所述多個層級中指定至少一個層級來選擇的歌詞在所述第一步驟中顯示在所述屏幕上。
10.一種連接到顯示裝置的聲音合成設(shè)備，所述聲音合成設(shè)備包括: 處理器，其配置成: 在所述顯示裝置的屏幕上顯示歌詞； 在所述屏幕上顯示所述歌詞之后，輸入基于用戶的操作的音高；以及 基于所輸入音高來輸出代表所顯不歌詞的歌聲的一條波形數(shù)據(jù)。
11.根據(jù)權(quán)利要求10所述的聲音合成設(shè)備，還包括:存儲器，其中所述處理器將代表與顯示在所述屏幕上的所述歌詞相對應(yīng)的聲音的一條樂句數(shù)據(jù)存儲至所述存儲器中； 其中該條樂句數(shù)據(jù)由多條音節(jié)數(shù)據(jù)構(gòu)成；以及 其中所述處理器對構(gòu)成該條樂句數(shù)據(jù)的所述多條音節(jié)數(shù)據(jù)的每一個執(zhí)行基于所輸入音高的音高轉(zhuǎn)換，以產(chǎn)生并輸出代表具有所述音高的歌聲的所述一條波形數(shù)據(jù)。
12.根據(jù)權(quán)利要求11所述的聲音合成設(shè)備，其中每次所述處理器輸入所述音高時，從所述存儲器中存儲的所述多個音節(jié)數(shù)據(jù)中讀取一個音節(jié)數(shù)據(jù)序列，并且對于該音節(jié)數(shù)據(jù)序列執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
13.根據(jù)權(quán)利要求11所述的聲音合成設(shè)備，其中顯示在所述屏幕上的所述歌詞由多個音節(jié)構(gòu)成；以及 其中當在所述屏幕上顯示所述歌詞之后所述處理器輸入了基于用戶的操作的音高并且從所述屏幕上顯示的所述歌詞中選擇了一個音節(jié)時，所述處理器從所述存儲器讀取與所選音節(jié)相對應(yīng)的一條音節(jié)數(shù)據(jù)并且對所讀取的該條音節(jié)數(shù)據(jù)執(zhí)行基于所輸入音高的音高轉(zhuǎn)換。
14.根據(jù)權(quán)利要求10至13中任一項所述的聲音合成設(shè)備，其中通過鍵盤或者設(shè)置在所述顯示裝置的所述屏幕上的觸摸板來進行用戶的操作。
【文檔編號】G10L13/02GK103514874SQ201310261608
【公開日】2014年1月15日 申請日期:2013年6月27日 優(yōu)先權(quán)日:2012年6月27日
【發(fā)明者】水口哲也, 杉井清久 申請人:雅馬哈株式會社