專利名稱：信息處理設(shè)備、信息處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及信息處理設(shè)備、信息處理方法和程序。
背景技術(shù)：
可以構(gòu)想一種視覺化音樂的方法、一種使得機(jī)器人跟著音樂數(shù)據(jù)跳舞的方法、一 種與音樂數(shù)據(jù)相同步地移動(dòng)用計(jì)算機(jī)圖形生成的圖像(以下，稱為CG圖像)的方法。然而， 目前，盡管已經(jīng)存在當(dāng)輸入音樂數(shù)據(jù)的演奏信息時(shí)會(huì)根據(jù)演奏信息以預(yù)定運(yùn)動(dòng)樣式移動(dòng)的 機(jī)器人，但是還不存在利用音樂數(shù)據(jù)的信號(hào)波形并以與音樂數(shù)據(jù)相同步的運(yùn)動(dòng)樣式移動(dòng)的 機(jī)器人。此外，關(guān)于用CG圖像來可視化音樂的方法，作為利用音樂數(shù)據(jù)的信號(hào)波形的方法， 僅知道通過將預(yù)定效果應(yīng)用于音頻數(shù)據(jù)的音頻波形或頻譜圖像來顯示音樂的方法。關(guān)于音 樂的可視化，在日本專利文件JP-A-2007-18388中公開了這樣一種技術(shù)，其將控制目標(biāo)的 移動(dòng)與節(jié)奏相關(guān)聯(lián)并基于該節(jié)奏與通過對(duì)音樂數(shù)據(jù)的頻率分析估計(jì)出的節(jié)奏之間的關(guān)聯(lián) 來確定控制目標(biāo)的移動(dòng)。此外，在日本專利文件JP-A-2004-29862中公開了這樣一種技術(shù)， 其分析音樂數(shù)據(jù)中所包括的每個(gè)頻帶中的聲壓分布，并且基于該分析結(jié)果來表現(xiàn)視覺內(nèi)容 的感覺。

發(fā)明內(nèi)容
然而，上述文件沒有公開用于自動(dòng)檢測(cè)按時(shí)間序列變化的音樂數(shù)據(jù)特征量(FQ) 并且基于該特征量來以使得看起來像是對(duì)象正在演奏音樂的方式來可視化音樂數(shù)據(jù)的技 術(shù)。因此，鑒于以上內(nèi)容，希望提供能夠自動(dòng)檢測(cè)按時(shí)間序列變化的音樂數(shù)據(jù)特征量并且基 于該特征量以使得看起來像是與每種樂器聲音相對(duì)應(yīng)的對(duì)象正在演奏音樂的方式來可視 化音樂數(shù)據(jù)的新穎的改進(jìn)的信息處理設(shè)備、信息處理方法和程序。根據(jù)本發(fā)明一個(gè)實(shí)施例，提供了一種信息處理設(shè)備，該信息處理設(shè)備包括元數(shù)據(jù) 提取單元，該元數(shù)據(jù)提取單元用于分析多種樂器聲音以混合方式存在于其中的音頻信號(hào)， 并且用于提取隨著演奏時(shí)間的過去而變化的元數(shù)據(jù)作為音頻信號(hào)的特征量；以及演奏者參 數(shù)確定單元，該演奏者參數(shù)確定單元用于基于由元數(shù)據(jù)提取單元提取出的元數(shù)據(jù)來確定用 于控制與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。元數(shù)據(jù)提取單元可以提取出一條或多條數(shù)據(jù)作為元數(shù)據(jù)，所述一條或多條數(shù)據(jù)是 從由以下內(nèi)容形成的群組中選出的音頻信號(hào)的拍子、和弦進(jìn)行、音樂結(jié)構(gòu)、旋律線、貝斯 線、每種樂器聲音的存在概率、每種樂器聲音的獨(dú)奏概率和歌聲的聲音特征。元數(shù)據(jù)提取單元可以提取出一條或多條數(shù)據(jù)作為元數(shù)據(jù)，所述一條或多條數(shù)據(jù)是 從由以下內(nèi)容形成的群組中選出的音頻信號(hào)所屬于的音樂流派、音頻信號(hào)所屬于的音樂 年代、音頻信號(hào)的有關(guān)演奏者的信息、音頻信號(hào)中所包括的樂器聲音的類型和音頻信號(hào)的 音樂曲調(diào)。演奏者參數(shù)確定單元，如果有關(guān)演奏者的身高和體重的信息被提取出作為有關(guān)演 奏者的信息，則可以基于有關(guān)身高和體重的信息來確定指示演奏者對(duì)象的大小的演奏者參數(shù)。在此情況下，如果有關(guān)演奏者的性別的信息被提取出作為有關(guān)演奏者的信息，則所述信 息處理設(shè)備基于有關(guān)性別的信息來確定指示演奏者對(duì)象的發(fā)型和衣服的演奏者參數(shù)。該信息處理設(shè)備還包括照明參數(shù)確定單元，該照明參數(shù)確定單元用于基于由元數(shù) 據(jù)提取單元提取出的元數(shù)據(jù)來確定用于控制演奏者對(duì)象所在的舞臺(tái)上的照明的照明參數(shù)。 在這種情況中，照明參數(shù)確定單元確定照明參數(shù)，使得照明與由元數(shù)據(jù)提取單元檢測(cè)出的 拍子相同步地變化。照明參數(shù)確定單元可以基于由元數(shù)據(jù)提取單元提取出的每種樂器聲音的存在概 率來確定照明參數(shù)，照明參數(shù)指示照射在與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象上的聚光燈 (spotlight)的亮度。照明參數(shù)確定單元可以參考由元數(shù)據(jù)提取單元提取出的音樂結(jié)構(gòu)，并可確定照明 參數(shù)使得照明根據(jù)正被演奏的音樂的結(jié)構(gòu)的類型而變化。照明參數(shù)確定單元可以確定照明參數(shù)使得照明的顏色基于由元數(shù)據(jù)提取單元提 取出的音樂的年代而變化。該信息處理設(shè)備還可以包括觀眾參數(shù)確定單元，該觀眾參數(shù)確定單元用于基于由 元數(shù)據(jù)提取單元提取出的元數(shù)據(jù)來確定觀眾參數(shù)，觀眾參數(shù)用于控制與舞臺(tái)不同的位置中 所設(shè)置的觀眾座位中的觀眾對(duì)象的移動(dòng)。在這種情況中，觀眾參數(shù)確定單元確定所述觀眾 參數(shù)使得觀眾對(duì)象的移動(dòng)與由元數(shù)據(jù)提取單元檢測(cè)出的拍子相同步地變化。觀眾參數(shù)確定單元可以參考由元數(shù)據(jù)提取單元提取出的音樂結(jié)構(gòu)，并可確定觀眾 參數(shù)，使得觀眾對(duì)象的移動(dòng)根據(jù)正被演奏的音樂的結(jié)構(gòu)的類型而變化。演奏者參數(shù)確定單元可以基于由元數(shù)據(jù)提取單元提取出的每種樂器聲音的獨(dú)奏 概率，確定指示與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的姿勢(shì)和表情的演奏者參數(shù)。演奏者參數(shù)確定單元可以基于由元數(shù)據(jù)提取單元提取出的每種樂器聲音的存在 概率，確定指示與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的正在演奏的手的移動(dòng)程度的演奏者 參數(shù)。演奏者參數(shù)確定單元可以基于由元數(shù)據(jù)提取單元提取出的歌聲的存在概率，確定 指示與歌聲相對(duì)應(yīng)的演奏者對(duì)象的張嘴大小或握麥克風(fēng)的手與嘴之間的距離的演奏者參 數(shù)。演奏者參數(shù)確定單元，基于由元數(shù)據(jù)提取單元提取出的旋律線的平均音調(diào)和每幀 的旋律線的音調(diào)之間的差或基于由元數(shù)據(jù)提取單元提取出的歌聲的聲音特征，可以確定指 示與歌聲相對(duì)應(yīng)的演奏者對(duì)象的表情的移動(dòng)的演奏者參數(shù)。演奏者參數(shù)確定單元，基于由元數(shù)據(jù)提取單元提取出的旋律線，可以確定指示沒 有握麥克風(fēng)的手的移動(dòng)的演奏者參數(shù)，所述的手是屬于與歌聲相對(duì)應(yīng)的演奏者對(duì)象的。演奏者參數(shù)確定單元，基于由元數(shù)據(jù)提取單元提取出的和弦進(jìn)行，可以確定指示 演奏者對(duì)象的手的位置的演奏者參數(shù)，該演奏者參數(shù)與從由吉他、鍵盤樂器和琴弦樂器形 成的群組中選出的一個(gè)或多個(gè)區(qū)間(section)相對(duì)應(yīng)。演奏者參數(shù)確定單元，基于由元數(shù)據(jù)提取單元提取出的貝斯線，可以確定指示握 貝斯頸的手的位置的演奏者參數(shù)，所述的手是屬于與貝斯相對(duì)應(yīng)的演奏者對(duì)象的。當(dāng)演奏者對(duì)象是外部地連接的機(jī)器人或通過計(jì)算機(jī)圖形實(shí)現(xiàn)的演奏者圖像時(shí)，該 信息處理設(shè)備還包括對(duì)象控制單元，該對(duì)象控制單元用于使用由演奏者參數(shù)確定單元確定的演奏者參數(shù)來控制外部地連接的機(jī)器人的移動(dòng)，或者用于使用由演奏者參數(shù)確定單元確 定的演奏者參數(shù)來控制演奏者圖像的移動(dòng)。根據(jù)本發(fā)明另一實(shí)施例，提供了一種信息處理方法，該方法包括以下步驟分析多 種樂器聲音以混合方式存在于其中的音頻信號(hào)，并且提取隨著演奏時(shí)間的過去而變化的元 數(shù)據(jù)作為音頻信號(hào)的特征量；以及基于通過分析和提取步驟提取出的元數(shù)據(jù)來確定用于控 制與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。根據(jù)本發(fā)明另一實(shí)施例，提供了 一種程序，該程序使得計(jì)算機(jī)實(shí)現(xiàn)元數(shù)據(jù)提取功 能，該元數(shù)據(jù)提取功能用于分析多種樂器聲音以混合方式存在于其中的音頻信號(hào)，并且用 于提取隨著演奏時(shí)間的過去而變化的元數(shù)據(jù)作為音頻信號(hào)的特征量；以及演奏者參數(shù)確定 功能，該演奏者參數(shù)功能用于基于通過元數(shù)據(jù)提取功能提取出的元數(shù)據(jù)來確定用于控制與 每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。根據(jù)本發(fā)明另一實(shí)施例，可以提供一種存儲(chǔ)該程序并且可以被計(jì)算機(jī)讀取的記錄 介質(zhì)。根據(jù)上述本發(fā)明實(shí)施例，變得有可能自動(dòng)檢測(cè)按時(shí)間序列變化的音樂數(shù)據(jù)的特征 量，并且基于該特征量以使得看起來像是與每種樂器聲音相對(duì)應(yīng)的對(duì)象正在演奏音樂的方 式來可視化音樂數(shù)據(jù)。


圖1是示出用于自動(dòng)生成用于計(jì)算特征量的算法的特征量計(jì)算公式生成設(shè)備的 配置示例的說明性示圖；圖2是示出根據(jù)本發(fā)明一個(gè)實(shí)施例的信息處理設(shè)備的功能配置示例的說明性示 圖；圖3是示出根據(jù)本實(shí)施例的聲源分離方法(中心提取方法)的示例的說明性示 圖；圖4是示出根據(jù)本實(shí)施例的聲源類型的說明性示圖；圖5是示出根據(jù)本實(shí)施例的對(duì)數(shù)譜生成方法的示例的說明性示圖；圖6是示出通過根據(jù)本實(shí)施例的對(duì)數(shù)譜生成方法所生成的對(duì)數(shù)譜的說明性示圖；圖7是示出按照本實(shí)施例的音樂分析方法的一連串處理的說明性示圖；圖8是示出根據(jù)本實(shí)施例的拍子檢測(cè)單元的配置示例的說明性示圖；圖9是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖10是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖11是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖12是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖13是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖14是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖15是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖16是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖17是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖18是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示7
圖19是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖20是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖21是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖22是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖23是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖24是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖25是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖26是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖27是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖28是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖29是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖30是示出根據(jù)本實(shí)施例的拍子檢測(cè)方法的示例的說明性示圖；圖31是通過根據(jù)本實(shí)施例的拍子檢測(cè)方法得到的拍子檢測(cè)結(jié)果的示例的說明性 示圖；圖32是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析單元的配置示例的說明性示圖；圖33是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖34是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖35是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖36是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖37是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖38是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖39是示出根據(jù)本實(shí)施例的結(jié)構(gòu)分析方法的示例的說明性示圖；圖40是示出根據(jù)本實(shí)施例的和弦概率檢測(cè)單元的配置示例的說明性示圖；圖41是示出根據(jù)本實(shí)施例的和弦概率檢測(cè)方法的示例的說明性示圖；圖42是示出根據(jù)本實(shí)施例的和弦概率檢測(cè)方法的示例的說明性示圖；圖43是示出根據(jù)本實(shí)施例的和弦概率檢測(cè)方法的示例的說明性示圖；圖44是示出根據(jù)本實(shí)施例的和弦概率檢測(cè)方法的示例的說明性示圖；圖45是示出根據(jù)本實(shí)施例的和弦概率檢測(cè)方法的示例的說明性示圖；圖46是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)單元的配置示例的說明性示圖；圖47是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖48是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖49是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖50是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖51是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖52是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖53是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖54是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖55是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖；圖56是示出根據(jù)本實(shí)施例的基調(diào)檢測(cè)方法的示例的說明性示圖57是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)單元的配置示例的說明性示圖58是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖59是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖60是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖61是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖62是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖63是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖64是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖65是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖66是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖67是示出根據(jù)本實(shí)施例的小節(jié)線檢測(cè)方法的示例的說明性示圖
圖68是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)單元的配置示例的說明性示圖69是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)方法的示例的說明性示圖
圖70是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)方法的示例的說明性示圖
圖71是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)方法的示例的說明性示圖
圖72是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)方法的示例的說明性示圖
圖73是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)方法的示例的說明性示圖
圖74是示出根據(jù)本實(shí)施例的和弦進(jìn)行檢測(cè)方法的示例的說明性示圖
圖75是示出根據(jù)本實(shí)施例的旋律檢測(cè)單元的配置示例的說明性示圖
圖76是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖77是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖78是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖79是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖80是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖81是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖82是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖83是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖84是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖85是示出根據(jù)本實(shí)施例的旋律線檢測(cè)方法的示例的說明性示圖
圖86是示出根據(jù)本實(shí)施例的貝斯檢測(cè)單元的配置示例的說明性示圖
圖87是示出根據(jù)本實(shí)施例的元數(shù)據(jù)檢測(cè)方法(音樂結(jié)構(gòu)分析方法)的示例的說明性示圖88是示出根據(jù)本實(shí)施例的元數(shù)據(jù)檢測(cè)方法(音樂結(jié)構(gòu)分析方法)的示例的說明性示圖89是示出根據(jù)本實(shí)施例的可視化參數(shù)確定方法的示例的說明性示圖90是示出根據(jù)本實(shí)施例的可視化參數(shù)確定方法的示例的說明性示圖91是示出根據(jù)本實(shí)施例的可視化參數(shù)確定方法的示例的說明性示圖92是示出根據(jù)本實(shí)施例的可視化參數(shù)確定方法的示例的說明性示圖93是示出根據(jù)本實(shí)施例的可視化參數(shù)確定方法的示例的說明性示圖94是示出根據(jù)本實(shí)施例的可視化參·[確定方法的示例的說明性示圖95是示出根據(jù)本實(shí)施例的可視化參·[確定方法的示例的說明性示圖96是示出根據(jù)本實(shí)施例的可視化參·[確定方法的示例的說明性示圖97是示出根據(jù)本實(shí)施例的可視化參·[確定方法的示例的說明性示圖98是示出根據(jù)本實(shí)施例的可視化參·[確定方法的示例的說明性示圖99是示出根據(jù)本實(shí)施例的可視化參·[確定方法的示例的說明性示圖100是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖101是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖102是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖103是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖104是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖105是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖106是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖107是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖108是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖109是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖110是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖111是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖112是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖113是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖114是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖115是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖116是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖117是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖118是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖119是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖120是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖121是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖122是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖123是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖124是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖125是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖126是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖127是示出根據(jù)本實(shí)施例的可視化參;改確定方法的示例的說明性示圖；以及
圖128是示出根據(jù)本實(shí)施例的信息處理設(shè)備的硬件配置示例的說明性示圖。
具體實(shí)施例方式
在下文中，將參照附圖詳細(xì)描述本發(fā)明。注意，在本說明書和附圖中，具有基本相 同功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同標(biāo)號(hào)表示，并省略這些結(jié)構(gòu)元件的重復(fù)說明。
100155]在本說明書中，將按以下示出的順序進(jìn)行說明。
0156](說明項(xiàng)目)
0157]1.基礎(chǔ)架構(gòu)技術(shù)
0158]1-1.特征量計(jì)算公式生成設(shè)備10的配置
0159]2.實(shí)施例
0160]2-1.信息處理設(shè)備100的總體配置
0161]###音樂分析方法的說明###
0162]2-2.聲源分離單元106的配置
0163]2-3.對(duì)數(shù)譜分析單元108的配置
0164]2-4.音樂分析單元110的配置
0165]2-4-1.拍子檢測(cè)單元132的配置
0166]2-4-2.結(jié)構(gòu)分析單元134的配置
0167]2-4-3.和弦概率檢測(cè)單元136的配置
0168]2-4-4.基調(diào)檢測(cè)單元138的配置
0169]2-4-5.小節(jié)線檢測(cè)單元140的配置
0170]2-4-6.和弦進(jìn)行檢測(cè)單元142的配置
0171]2-4-7.旋律檢測(cè)單元144的配置
0172]2-4-8.貝斯檢測(cè)單元146的配置
0173]2-4-9.元數(shù)據(jù)檢測(cè)單元148的配置
0174]###音樂可視化方法的說明###
0175]2-5.可視化參數(shù)確定單元114的配置
0176]2-5-1.可視化參數(shù)確定方法的概要
0177]2-5-2.可視化參數(shù)確定方法的細(xì)節(jié)
0178]2-6.信息處理設(shè)備100的硬件配置示例
0179]2-7.總結(jié)
0180]<1.基礎(chǔ)架構(gòu)技術(shù)〉
0181]首先，在描述根據(jù)本發(fā)明一個(gè)實(shí)施例的技術(shù)之前，將簡(jiǎn)要描述用于實(shí)現(xiàn)本實(shí)施例 的技術(shù)配置的基礎(chǔ)架構(gòu)技術(shù)。這里所描述的基礎(chǔ)架構(gòu)技術(shù)涉及算法的自動(dòng)生成方法，該算 法用于以特征量的形式對(duì)任意輸入數(shù)據(jù)的特征進(jìn)行量化。例如，各種類型的數(shù)據(jù)，例如音頻 信號(hào)的信號(hào)波形或圖像中所包括的各種顏色的亮度數(shù)據(jù)，都可以用作輸入數(shù)據(jù)。而且，當(dāng)以 樂曲為例時(shí)，通過應(yīng)用基礎(chǔ)架構(gòu)技術(shù)，從音樂數(shù)據(jù)的波形中自動(dòng)地生成用于計(jì)算指示樂曲 的歡快程度或速度(tempo)的特征量的算法。此外，日本專利文件JP-A-2008-123011中所 公開的學(xué)習(xí)算法也可以用來替代下述特征量計(jì)算公式生成設(shè)備10的配置示例。(1-1.特征量計(jì)算公式生成設(shè)備10的配置示例)首先，參考圖1，將描述根據(jù)上述基礎(chǔ)架構(gòu)技術(shù)的特征量計(jì)算公式生成設(shè)備10的 功能配置。圖1是示出根據(jù)上述基礎(chǔ)架構(gòu)技術(shù)的特征量計(jì)算公式生成設(shè)備10的配置示例 的說明性示圖。這里所描述的特征量計(jì)算公式生成設(shè)備10是用于自動(dòng)地生成用于使用任 意輸入數(shù)據(jù)、以特征量的形式對(duì)該輸入數(shù)據(jù)的特征進(jìn)行量化的算法(以下，稱為計(jì)算公式) 的手段(學(xué)習(xí)算法)的示例。
如圖1中所示，特征量計(jì)算公式生成設(shè)備10主要具有算子(operator)存儲(chǔ)單元 12、提取公式生成單元14、提取公式列表生成單元20、提取公式選擇單元22和計(jì)算公式設(shè) 置單元24。此外，特征量計(jì)算公式生成設(shè)備10包括計(jì)算公式生成單元26、特征量選擇單 元32、評(píng)估數(shù)據(jù)獲取單元34、教師數(shù)據(jù)獲取單元36和公式評(píng)估單元38。此外，提取公式生 成單元14包括算子選擇單元16。并且，計(jì)算公式生成單元26包括提取公式計(jì)算單元28和 系數(shù)計(jì)算單元30。此外，公式評(píng)估單元38包括計(jì)算公式評(píng)估單元40和提取公式評(píng)估單元 42。首先，提取公式生成單元14通過組合算子存儲(chǔ)單元12中所存儲(chǔ)的多個(gè)算子來生 成特征量提取公式(以下，稱為提取公式)，提取公式用作計(jì)算公式的基礎(chǔ)。這里的“算子” 是用于對(duì)輸入數(shù)據(jù)的數(shù)據(jù)值執(zhí)行特定運(yùn)算處理的算子。通過算子執(zhí)行的運(yùn)算類型包括差分 計(jì)算、最大值提取、低通濾波、無偏方差計(jì)算、快速傅里葉變換、標(biāo)準(zhǔn)差計(jì)算、平均值計(jì)算等。 當(dāng)然，這不限于以上列舉的這些類型的運(yùn)算，并且可以包括可對(duì)輸入數(shù)據(jù)的數(shù)據(jù)值執(zhí)行的 任何類型的運(yùn)算。此外，針對(duì)各個(gè)算子設(shè)置運(yùn)算類型、運(yùn)算目標(biāo)軸和用于該運(yùn)算的參數(shù)。運(yùn)算目標(biāo)軸 是指定義輸入數(shù)據(jù)的各個(gè)數(shù)據(jù)值的軸中作為運(yùn)算處理的目標(biāo)的軸。例如，當(dāng)以音樂數(shù)據(jù)為 例時(shí)，音樂數(shù)據(jù)在由時(shí)間軸和音調(diào)軸(頻率軸)形成的空間中被給出為音量的波形。當(dāng)對(duì) 音樂數(shù)據(jù)執(zhí)行差分運(yùn)算時(shí)，要確定是沿時(shí)間軸方向執(zhí)行差分運(yùn)算還是沿頻率軸方向執(zhí)行差 分運(yùn)算。因此，各個(gè)參數(shù)包括與形成定義輸入數(shù)據(jù)的空間的軸中要作為運(yùn)算處理目標(biāo)的軸 相關(guān)的信息。此外，參數(shù)根據(jù)運(yùn)算的類型而變得必要。例如，在低通濾波的情況中，定義要通過 的數(shù)據(jù)值的范圍的閾值必須被固定為參數(shù)。由于這些原因，除了運(yùn)算的類型以外，在各個(gè) 算子中還包括運(yùn)算目標(biāo)軸和必要參數(shù)。例如，算子被表示為F#Differential、F#MaxIndex、 T#LPF_1 ；0. 861、T#UVariance……，算子開頭所添加的F等指示運(yùn)算目標(biāo)軸。例如，F(xiàn)是指 頻率軸，并且T是指時(shí)間軸。在運(yùn)算目標(biāo)軸之后用#分開的所添加的Differential等指示運(yùn)算的類型。例 如，Differential是指差分計(jì)算運(yùn)算，MaxIndex是指最大值提取運(yùn)算，LPF是指低通濾波， UVariance是指無偏方差計(jì)算運(yùn)算。運(yùn)算類型之后的數(shù)字指示參數(shù)。例如，LPF_1 ；0. 861指 示將1至0. 861的范圍作為通帶的低通濾波器。這各種算子被存儲(chǔ)在算子存儲(chǔ)單元12中， 并且由提取公式生成單元14讀取和使用。提取公式生成單元14首先通過算子選擇單元16 來選擇任意算子，并且通過組合所選擇的算子來生成提取公式。例如，由算子選擇單元16 選擇 F#Differential、F#MaxIndex、T#LPF_1 ；0. 861 和 TiiUVariance，并且由提取公式生成單元14生成如以下等式(1)所表示的提取公式f。然 而，開頭所添加的12Tones指示作為處理目標(biāo)的輸入數(shù)據(jù)的類型。例如，當(dāng)12Tones被記述 時(shí)，通過分析輸入數(shù)據(jù)的波形而獲得的時(shí)間-音調(diào)空間中的信號(hào)數(shù)據(jù)(稍后描述的對(duì)數(shù)譜) 成為運(yùn)算處理目標(biāo)。即，如以下等式(1)所表示的提取公式指示稍后所述的對(duì)數(shù)譜是處理 目標(biāo)，以及，關(guān)于輸入數(shù)據(jù)，沿頻率軸(音調(diào)軸方向)順次執(zhí)行差分運(yùn)算和最大值提取并且 沿時(shí)間軸順次執(zhí)行低通濾波和無偏方差運(yùn)算。[等式1]f = {12Tones， F#Differential， F#MaxIndex， T#LPF_1 ;0· 861，T#UVariance}…(1)如上所述，提取公式生成單元14針對(duì)算子的各種組合生成如上述等式(1)所示的 提取公式。將詳細(xì)描述該生成方法。首先，提取公式生成單元14通過使用算子選擇單元16 來選擇算子。此時(shí)，算子選擇單元16判定通過所選擇的算子的組合(提取公式)來對(duì)輸入 數(shù)據(jù)進(jìn)行的運(yùn)算的結(jié)果是否是標(biāo)量或者特定大小或更小的向量(其是否收斂)?；诟鱾€(gè)算子中所包括的運(yùn)算目標(biāo)軸的類型和運(yùn)算的類型來執(zhí)行上述判定處理。 當(dāng)由算子選擇單元16選擇算子的組合時(shí)，針對(duì)各種組合執(zhí)行判定處理。然后，當(dāng)算子選擇 單元16判定運(yùn)算結(jié)果收斂時(shí)，提取公式生成單元14通過使用由算子選擇單元16選擇的、 使運(yùn)算結(jié)果收斂的算子的組合來生成提取公式。由提取公式生成單元14進(jìn)行的提取公式 的生成處理被執(zhí)行直到特定數(shù)目(一下，稱為所選擇的提取公式的數(shù)目)的提取公式被生 成為止。由提取公式生成單元14生成的提取公式輸入提取公式列表生成單元20。當(dāng)提取公式從提取公式生成單元14輸入提取公式列表生成單元20時(shí)，特定數(shù)目 的提取公式被從輸入提取公式中選出(以下，列表中的提取公式的數(shù)目<所選擇的提取公 式的數(shù)目)并且提取公式列表被生成。此時(shí)，由提取公式列表生成單元20進(jìn)行的生成處理 被執(zhí)行直到特定數(shù)目(以下，稱為列表的數(shù)目)的提取公式列表被生成。然后，由提取公式 列表生成單元20生成的提取公式列表輸入提取公式選擇單元22。以下，將關(guān)于由提取公式生成單元14和提取公式列表生成單元20進(jìn)行的處理來 描述具體示例。首先，例如，由提取公式生成單元14確定輸入數(shù)據(jù)的類型是音樂數(shù)據(jù)。接 著，由算子選擇單元16隨機(jī)地選擇算子OPp OP2, OP3和0P4。然后，通過所選擇的算子的組 合，關(guān)于音樂數(shù)據(jù)的運(yùn)算結(jié)果是否收斂執(zhí)行判定處理。當(dāng)判定音樂數(shù)據(jù)的運(yùn)算結(jié)果收斂時(shí)， 利用OP1至OP4的組合生成提取公式f\。由提取公式生成單元14生成的提取公式輸入 提取公式列表生成單元20。此外，提取公式生成單元14重復(fù)與提取公式&的生成處理相同的處理，并且例如 生成提取公式f2、f3和f4。以這種方式生成的提取公式f2、f3和f4輸入提取公式列表生成 單元20。當(dāng)提取公式f\、f2、f3和f4輸入時(shí)，提取公式列表生成單元20例如生成提取公式 列表L1 = {fi; f2，f4}，并且生成提取公式列表L2 = If1, f3，f4}。由提取公式列表生成單元 20生成的提取公式列表L1和L2輸入提取公式選擇單元22。如以上利用具體示例所述，提取公式是由提取公式生成單元14生成的，并且提取 公式列表是由提取公式列表生成單元20生成的并且被輸入提取公式選擇單元22。然而，盡 管在上述示例中描述了這樣的情況所選擇的提取公式的數(shù)目是4，列表中的提取公式的 數(shù)目是3并且列表的數(shù)目是2，但是應(yīng)當(dāng)注意，實(shí)際上，生成了非常大數(shù)目的提取公式和提 取公式列表?，F(xiàn)在，當(dāng)提取公式列表從提取公式列表生成單元20被輸入時(shí)，提取公式選擇單元 22從輸入的提取公式列表中選擇要插入稍后所述的計(jì)算公式中的提取公式。例如，當(dāng)上述 提取公式列表L1中的提取公式和f4要被插入計(jì)算公式，則提取公式選擇單元22關(guān)于提 取公式列表L1選擇提取公式和f4。提取公式選擇單元22針對(duì)提取公式列表中的每個(gè)列 表執(zhí)行上述選擇處理。然后，當(dāng)選擇處理完成時(shí)，由提取公式選擇單元22進(jìn)行的選擇處理 的結(jié)果和提取公式列表中的每個(gè)列表被輸入計(jì)算公式設(shè)置單元24。當(dāng)選擇結(jié)果和提取公式列表中的每個(gè)列表從提取公式選擇單元22被輸入時(shí)，計(jì)
13算公式設(shè)置單元24考慮提取公式選擇單元22的選擇結(jié)果，設(shè)置與各個(gè)提取公式相對(duì)應(yīng)的 計(jì)算公式。例如，如以下等式(2)所示，計(jì)算公式設(shè)置單元24通過對(duì)每個(gè)提取公式列表Lm = If1, . . .，fK}中所包括的提取公式fk進(jìn)行線性耦合來設(shè)置計(jì)算公式Fm。此外，m = 1，...， M(M是列表的數(shù)目)，k= 1，...，K(K是列表中提取公式的數(shù)目)并且Btl，...，8￡是耦合系數(shù)。[等式2]Fm = BJBJ1+…+BKfK. · . (2)此外，計(jì)算公SFm還可以被設(shè)置成提取公式fk(k= 1至K)的非線性函數(shù)。然而， 由計(jì)算公式設(shè)置單元24設(shè)置的計(jì)算公式Fm的函數(shù)形式取決于稍后描述的計(jì)算公式生成單 元26所使用的耦合系數(shù)估計(jì)算法。因此，計(jì)算公式設(shè)置單元24被配置為根據(jù)計(jì)算公式生 成單元26可以使用的估計(jì)算法來設(shè)置計(jì)算公式Fm的函數(shù)形式。例如，計(jì)算公式設(shè)置單元 24可以被配置為根據(jù)輸入數(shù)據(jù)的類型來改變函數(shù)形式。然而，在本說明書中，為了便于說 明，將使用如上述等式(2)所表示的線性耦合。有關(guān)計(jì)算公式設(shè)置單元24所設(shè)置的計(jì)算公 式的信息被輸入計(jì)算公式生成單元26。此外，希望通過計(jì)算公式計(jì)算出的特征量的類型從特征量選擇單元32輸入計(jì)算 公式生成單元26。特征量選擇單元32是用于選擇希望通過計(jì)算公式計(jì)算出的特征量的類 型的裝置。此外，與輸入數(shù)據(jù)的類型相對(duì)應(yīng)的評(píng)估數(shù)據(jù)從評(píng)估數(shù)據(jù)獲取單元34輸入計(jì)算公 式生成單元26。例如，在輸入數(shù)據(jù)的類型是音樂的情況中，多條音樂數(shù)據(jù)被輸入作為評(píng)估數(shù) 據(jù)。與各個(gè)評(píng)估數(shù)據(jù)相對(duì)應(yīng)的教師數(shù)據(jù)也從教師數(shù)據(jù)獲取單元36輸入計(jì)算公式生成單元 26。這里的教師數(shù)據(jù)是各個(gè)評(píng)估數(shù)據(jù)的特征量。具體地，針對(duì)由特征量選擇單元32選擇的 類型的教師數(shù)據(jù)被輸入計(jì)算公式生成單元26。例如，在輸入數(shù)據(jù)是音樂數(shù)據(jù)并且特征量的 類型是速度的情況中，各個(gè)評(píng)估數(shù)據(jù)的正確速度值被輸入計(jì)算公式生成單元26作為教師 數(shù)據(jù)。當(dāng)評(píng)估數(shù)據(jù)、教師數(shù)據(jù)、特征量的類型、評(píng)估公式等被輸入時(shí)，計(jì)算公式生成單元 26首先向評(píng)估公式Fm中所包括的提取公式f1;. . .，fK輸入各個(gè)評(píng)估數(shù)據(jù)，并且通過提取公 式計(jì)算單元28獲得提取公式中的每個(gè)提取公式的計(jì)算結(jié)果(以下，稱為提取公式計(jì)算結(jié) 果)。當(dāng)由提取公式計(jì)算單元28計(jì)算出與各個(gè)評(píng)估數(shù)據(jù)有關(guān)的各個(gè)提取公式的提取公式計(jì) 算結(jié)果時(shí)，各個(gè)提取公式計(jì)算結(jié)果從提取公式計(jì)算單元28輸入系數(shù)計(jì)算單元30。系數(shù)計(jì)算 單元30使用與各個(gè)評(píng)估數(shù)據(jù)相對(duì)應(yīng)的教師數(shù)據(jù)和輸入的提取公式計(jì)算結(jié)果，并且計(jì)算如 上述等式(2)中的Btl，...，Bk所表示的耦合系數(shù)。例如，可以通過使用最小均方方法來確 定系數(shù)Btl，...，Βκ。此時(shí)，系數(shù)計(jì)算單元30還計(jì)算諸如均方誤差之類的評(píng)估值。提取公式計(jì)算結(jié)果、耦合系數(shù)和均方誤差等是針對(duì)每種類型的特征量并且針對(duì)列 表的數(shù)目來計(jì)算的。由提取公式計(jì)算單元28計(jì)算出的提取公式計(jì)算結(jié)果和由系數(shù)計(jì)算單 元30計(jì)算出的耦合系數(shù)和諸如均方誤差之類的評(píng)估值被輸入公式評(píng)估單元38。當(dāng)這些計(jì) 算結(jié)果被輸入時(shí)，公式評(píng)估單元38通過使用輸入的計(jì)算結(jié)果來計(jì)算用于判定各個(gè)計(jì)算公 式的有效性的評(píng)估值。如上所述，在確定構(gòu)成各個(gè)計(jì)算公式的提取公式和構(gòu)成提取公式的 算子的處理中，包括隨機(jī)的選擇處理。即，關(guān)于在確定處理中是否選擇了最優(yōu)的提取公式和 最優(yōu)算子存在不確定性。因此，由公式評(píng)估單元38來執(zhí)行評(píng)估以評(píng)估計(jì)算結(jié)果，并且在適 當(dāng)時(shí)，執(zhí)行重新計(jì)算或校正計(jì)算結(jié)果。
在圖1中所示的公式評(píng)估單元38中設(shè)置用于計(jì)算各個(gè)計(jì)算公式的評(píng)估值的計(jì) 算公式評(píng)估單元40和用于計(jì)算各個(gè)提取公式的貢獻(xiàn)度的提取公式評(píng)估單元42。計(jì)算公 式評(píng)估單元40例如使用稱為AIC或BIC的評(píng)估方法來評(píng)估各個(gè)計(jì)算公式。這里的AIC是 Akaike Information Criterion (Akaike 信息量準(zhǔn)則)的縮寫。另一方面，BIC 是 Bayesian InformationCriterion (貝葉斯信息量準(zhǔn)則)的縮寫。當(dāng)使用AIC時(shí)，通過使用各個(gè)計(jì)算 公式的均方誤差(mean square error)和教師數(shù)據(jù)的個(gè)數(shù)(以下，稱為教師的數(shù)目number of teachers)來計(jì)算各個(gè)計(jì)算公式的評(píng)估值。例如，基于由以下等式(3)表示的值(AIC) 來計(jì)算評(píng)估值。[等式3]AIC = number of teachers X {log 2n + l + log (mean square error)}+2 (K+l). . · (3)根據(jù)上述等式(3)，AIC越小，計(jì)算公式的精確度越高。因此，AIC越小，針對(duì)使用 AIC的情況的評(píng)估值被設(shè)置為越大。例如，通過由上述等式(3)表示的AIC的倒數(shù)來計(jì)算評(píng) 估值。此外，由計(jì)算公式評(píng)估單元40針對(duì)特征量的類型的數(shù)目來計(jì)算評(píng)估值。因此，計(jì)算 公式評(píng)估單元40針對(duì)各個(gè)計(jì)算公式執(zhí)行對(duì)特征量類型的數(shù)目的平均運(yùn)算，并且計(jì)算出平 均評(píng)估值。即，在這個(gè)階段計(jì)算各個(gè)計(jì)算公式的平均評(píng)估值。由計(jì)算公式評(píng)估單元40計(jì)算 出的平均評(píng)估值被輸入提取公式列表生成單元20作為計(jì)算公式的評(píng)估結(jié)果。另一方面，提取公式評(píng)估單元42基于提取公式計(jì)算結(jié)果和耦合系數(shù)來計(jì)算各個(gè) 計(jì)算公式中的各個(gè)提取公式的貢獻(xiàn)比，作為評(píng)估值。例如，提取公式評(píng)估單元42根據(jù)以下 等式(4)來計(jì)算貢獻(xiàn)比。提取公式&的提取公式計(jì)算結(jié)果的標(biāo)準(zhǔn)差是從針對(duì)各個(gè)評(píng)估數(shù) 據(jù)計(jì)算出的提取公式計(jì)算結(jié)果獲得的。由提取公式評(píng)估單元42根據(jù)以下等式(4)針對(duì)各 個(gè)計(jì)算公式所計(jì)算出的各個(gè)提取公式的貢獻(xiàn)比被輸入提取公式列表生成單元20，作為提取 公式的評(píng)估結(jié)果。[等式4] 這里，StDevC ..)指示標(biāo)準(zhǔn)差。此外，估計(jì)目標(biāo)的特征量是樂曲的速度等。例如， 在給出100首樂曲的對(duì)數(shù)譜作為評(píng)估數(shù)據(jù)并且給出每首樂曲的速度作為教師數(shù)據(jù)的情況 中，StDev(估計(jì)目標(biāo)的特征量)指示這100首樂曲的速度的標(biāo)準(zhǔn)差。此外，上述等式(4)中 所包括的PearsonC..)指示相關(guān)函數(shù)。例如，Pearson (fK的計(jì)算結(jié)果，估計(jì)目標(biāo)FQ)指示 用于計(jì)算fK的計(jì)算結(jié)果與估計(jì)目標(biāo)特征量之間的相關(guān)系數(shù)的相關(guān)函數(shù)。此外，盡管樂曲的 速度被指示為特征量的示例，但是估計(jì)目標(biāo)特征量不限于此。當(dāng)評(píng)估結(jié)果以這種方式從公式評(píng)估單元38輸入提取公式列表生成單元20時(shí)，生 成要用于新的計(jì)算公式的表達(dá)的提取公式列表。首先，提取公式列表生成單元20按照由計(jì)算公式評(píng)估單元40計(jì)算出的平均評(píng)估值的降序來選擇特定數(shù)目的計(jì)算公式，并且設(shè)置與 所選擇的計(jì)算公式相對(duì)應(yīng)的提取公式列表作為新的提取公式列表(選擇)。此外，提取公 式列表生成單元20通過按照由計(jì)算公式評(píng)估單元40計(jì)算出的平均評(píng)估值的降序進(jìn)行加權(quán) 來選擇兩個(gè)計(jì)算公式，并且通過對(duì)與計(jì)算公式相對(duì)應(yīng)的提取公式列表中的提取公式進(jìn)行組 合來生成新的提取公式列表(交叉)。此外，提取公式列表生成單元20通過按照由計(jì)算公 式評(píng)估單元40計(jì)算出的平均評(píng)估值的降序進(jìn)行加權(quán)來選擇一個(gè)計(jì)算公式，并且通過對(duì)與 計(jì)算公式相對(duì)應(yīng)的提取公式列表中的提取公式進(jìn)行部分地改變來生成新的提取公式列表 (轉(zhuǎn)變)。此外，提取公式列表生成單元20通過隨機(jī)地選擇提取公式來生成新的提取公式 列表。在上述交叉中，提取公式的貢獻(xiàn)比越低，則提取公式被設(shè)置為不太可能被選擇越 好。此外，在上述轉(zhuǎn)變中，如下的設(shè)置是優(yōu)選的提取公式的貢獻(xiàn)比越低，提取公式越易于被 改變。通過使用以這種方式新生成或新設(shè)置的提取公式列表來再次執(zhí)行提取公式選擇單元 22、計(jì)算公式設(shè)置單元24、計(jì)算公式生成單元26和公式評(píng)估單元38的處理。處理序列被重 復(fù)執(zhí)行直到公式評(píng)估單元38的評(píng)估結(jié)果中的改善程度收斂至某一程度為止。然后，當(dāng)公式 評(píng)估單元38的評(píng)估結(jié)果中的改善程度收斂至某一程度時(shí)，此時(shí)的計(jì)算公式被輸出作為計(jì) 算結(jié)果。通過使用輸出的計(jì)算公式，以高精度從與上述評(píng)估數(shù)據(jù)不同的任意輸入數(shù)據(jù)中計(jì) 算出表示輸入數(shù)據(jù)的目標(biāo)特征的特征量。如上所述，由特征量計(jì)算公式生成設(shè)備10進(jìn)行的處理是基于遺傳算法的，遺傳算 法考慮諸如交叉或轉(zhuǎn)變之類的要素，在從一代進(jìn)行到下一代的同時(shí)重復(fù)執(zhí)行處理。能夠以 高精度估計(jì)特征量的計(jì)算公式可以通過使用遺傳算法來獲得。然而，在稍后所述的實(shí)施例， 也可以使用學(xué)習(xí)算法，該學(xué)習(xí)算法通過比遺傳算法的方法簡(jiǎn)單的方法來計(jì)算計(jì)算公式。例 如，不是由提取公式列表生成單元20執(zhí)行諸如上述選擇、交叉和轉(zhuǎn)變之類的處理，而是可 以設(shè)想到這樣的方法通過改變提取公式選擇單元22所要使用的提取公式，選擇使得計(jì)算 公式評(píng)估單元40所得到的評(píng)估值最高的組合。在這種情況中，可以省略提取公式評(píng)估單元 42的配置。此外，可以根據(jù)運(yùn)算負(fù)荷和所希望的估計(jì)精度在適當(dāng)時(shí)改變配置。<2.實(shí)施例〉以下，將描述本發(fā)明的一個(gè)實(shí)施例。本實(shí)施例涉及用于從樂曲的音頻信號(hào)中以高 精度自動(dòng)地提取樂曲的特征量并且用于通過使用這些特征量來將樂曲可視化的技術(shù)。此 外，以下，樂曲的音頻信號(hào)也可以稱為音樂數(shù)據(jù)。(2-1.信息處理設(shè)備100的總體配置)首先，參考圖2，將描述根據(jù)本實(shí)施例的信息處理設(shè)備100的功能配置。圖2是示 出根據(jù)本實(shí)施例的信息處理設(shè)備100的功能配置示例的說明性示圖。此外，這里描述的信 息處理設(shè)備100具有這樣的配置特征精確地檢測(cè)音樂數(shù)據(jù)中所包括的各種特征量并且通 過使用這些特征量來逼真地可視化音樂數(shù)據(jù)。例如，樂曲的拍子、和弦進(jìn)行、各種樂器聲音 的存在概率等將被包括在特征量中。以下，在描述了信息處理設(shè)備100的總體配置之后，將 分別描述各個(gè)結(jié)構(gòu)元件的詳細(xì)配置。如圖2中所示，信息處理設(shè)備100主要包括音樂數(shù)據(jù)存儲(chǔ)單元102、音樂再現(xiàn)單 元104、聲源分離單元106、對(duì)數(shù)譜分析單元108、音樂分析單元110、元數(shù)據(jù)存儲(chǔ)單元112、 可視化參數(shù)確定單元114和可視化單元116。此外，音樂分析單元110包括拍子檢測(cè)單元132、結(jié)構(gòu)分析單元134、和弦概率檢測(cè)單元136、基調(diào)檢測(cè)單元138、小節(jié)線檢測(cè)單元140和 和弦進(jìn)行檢測(cè)單元142。此外，音樂分析單元110還包括旋律檢測(cè)單元144、貝斯檢測(cè)單元 146和元數(shù)據(jù)檢測(cè)單元148。此外，特征量計(jì)算公式生成設(shè)備10被包括在圖2中所示的信息處理設(shè)備100中。 然而，特征量計(jì)算公式生成設(shè)備10可以被設(shè)置在信息處理設(shè)備100內(nèi)，或作為外部裝置被 連接到信息處理設(shè)備100。以下，為了方便，假定特征量計(jì)算公式生成設(shè)備10被內(nèi)建于信息 處理設(shè)備100中。此外，信息處理設(shè)備100還可以使用能夠生成特征量計(jì)算公式的各種學(xué) 習(xí)算法，來取代設(shè)置特征量計(jì)算公式生成設(shè)備10。處理的總體流程如接下來所述。首先，由音樂再現(xiàn)單元104再現(xiàn)音樂數(shù)據(jù)存儲(chǔ)單 元102中所存儲(chǔ)的音樂數(shù)據(jù)。此外，音樂數(shù)據(jù)存儲(chǔ)單元102中所存儲(chǔ)的音樂數(shù)據(jù)被輸入聲 源分離單元106。音樂數(shù)據(jù)被聲源分離單元106分離成左聲道分量(前景分量)、右聲道 分量(前景分量)、中心分量(前景分量)和背景分量。分離成各個(gè)分量的音樂數(shù)據(jù)被輸入 對(duì)數(shù)譜分析單元108。音樂數(shù)據(jù)的各個(gè)分量被對(duì)數(shù)譜分析單元108變換成稍后描述的對(duì)數(shù) 譜。從對(duì)數(shù)譜分析單元108輸出的對(duì)數(shù)譜被輸入特征量計(jì)算公式生成設(shè)備10等。此外，對(duì) 數(shù)譜可以由特征量計(jì)算公式生成設(shè)備10以外的其它結(jié)構(gòu)元件使用。在這種情況中，所希望 的對(duì)數(shù)譜在適當(dāng)時(shí)被直接或間接地從對(duì)數(shù)譜分析單元108提供給各個(gè)結(jié)構(gòu)元件。音樂分析單元110分析音樂數(shù)據(jù)的波形，并且提取音樂數(shù)據(jù)的拍子位置、音樂結(jié) 構(gòu)、基調(diào)、和弦進(jìn)行、旋律線(melody line)、貝斯線(bassline)、各種樂器聲音的存在概率 等。此外，由拍子檢測(cè)單元132檢測(cè)拍子位置。由結(jié)構(gòu)分析單元134檢測(cè)音樂結(jié)構(gòu)。由基 調(diào)檢測(cè)單元138檢測(cè)基調(diào)。由和弦進(jìn)行檢測(cè)單元142檢測(cè)和弦進(jìn)行。由旋律檢測(cè)單元144 檢測(cè)旋律線。由貝斯檢測(cè)單元146檢測(cè)貝斯線。由元數(shù)據(jù)檢測(cè)單元148提取各種樂器聲音 的存在概率。此時(shí)，音樂分析單元110通過使用特征量計(jì)算公式生成設(shè)備10來生成用于檢 測(cè)拍子位置、和弦進(jìn)行、樂器聲音等的特征量計(jì)算公式，并且從通過使用這些計(jì)算公式所計(jì) 算出的特征量中檢測(cè)出拍子位置、和弦進(jìn)行、樂器聲音等。稍后將詳細(xì)描述由音樂分析單元 110進(jìn)行的分析處理。諸如拍子位置、音樂結(jié)構(gòu)、基調(diào)、和弦進(jìn)行、旋律線、貝斯線、各種樂器聲音的存在 概率等(以下，稱為元數(shù)據(jù))被存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元112中。元數(shù)據(jù)存儲(chǔ)單元112中所 存儲(chǔ)的元數(shù)據(jù)由可視化參數(shù)確定單元114讀出。可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ) 單元112中所存儲(chǔ)的元數(shù)據(jù)來確定用于控制像各種樂器的演奏者一樣的對(duì)象(以下，稱為 演奏者對(duì)象)的移動(dòng)的參數(shù)(以下，稱為可視化參數(shù))。然后，由可視化參數(shù)確定單元114 確定的可視化參數(shù)被輸入可視化單元116?？梢暬瘑卧?16基于可視化參數(shù)來控制演奏者 對(duì)象等并且對(duì)音樂數(shù)據(jù)進(jìn)行可視化。利用這樣的配置，可視化是可能的，可視化使得看起來 就像是演奏者對(duì)象正沿著被再現(xiàn)的音樂數(shù)據(jù)進(jìn)行演奏。以上粗略描述了音樂數(shù)據(jù)的可視化 流程。以下，將詳細(xì)描述聲源分離單元106、對(duì)數(shù)譜分析單元108和音樂分析單元110的配 置，它們是信息處理設(shè)備100的主要結(jié)構(gòu)元件。(2-2.聲源分離單元106的配置)首先，將描述聲源分離單元106。聲源分離單元106是用于分離位于左、右和中心 的聲源信號(hào)(以下，稱為左聲道信號(hào)、右聲道信號(hào)、中心信號(hào))和背景聲音的聲源信號(hào)的裝 置。這里，參考聲源分離單元106對(duì)于中心信號(hào)的提取方法，將詳細(xì)描述聲源分離單元106的聲源分離方法。如圖3中所示，聲源分離單元106例如由以下單元構(gòu)成左聲道頻帶劃分 單元152、右聲道頻帶劃分單元154、帶通濾波器156、左聲道頻帶合成單元158和右聲道頻 帶合成單元160。在提取中心信號(hào)的情況中，使用圖3中所示的帶通濾波器156通過的條件 (相位差小，音量差小)。這里，描述用于提取中心信號(hào)的方法作為示例。首先，輸入聲源分離單元106的立體聲信號(hào)的左聲道信號(hào)、被輸入左聲道頻帶劃 分單元152。左聲道的非中心信號(hào)L和中心信號(hào)C以混合的方式存在于左聲道信號(hào)&中。 此外，左聲道信號(hào)&是隨時(shí)間過去而改變的音量電平信號(hào)。因此，左聲道頻帶劃分單元152 對(duì)輸入的左聲道信號(hào)&執(zhí)行DFT處理，并且將其從時(shí)域信號(hào)變換成頻域信號(hào)(以下，稱為 多頻帶信號(hào)4 (0)，...，&(N-I))。這里fjK)是與第k個(gè)(k = 0，...，N-l)頻帶相對(duì)應(yīng)的 子頻帶信號(hào)。此外，上述DFT是Discrete Fourier Transform(離散傅里葉變換)的縮寫。 從左聲道頻帶劃分單元152輸出的左聲道多頻帶信號(hào)被輸入帶通濾波器156。以相似的方式，輸入聲源分離單元106的立體聲信號(hào)的右聲道信號(hào)sK被輸入右聲 道頻帶劃分單元154。右聲道的非中心信號(hào)R和中心信號(hào)C以混合方式存在于右聲道信號(hào)
中。此外，右聲道信號(hào)sK是隨時(shí)間過去而改變的音量電平信號(hào)。因此，右聲道頻帶劃分 單元154對(duì)輸入的右聲道信號(hào)sK執(zhí)行DFT處理，并且將其從時(shí)域信號(hào)變換成頻域信號(hào)(以 下，稱為多頻帶信號(hào)4(0)，...，&(^1))。這里fK(k’)是與第k’(k’ =0，...，N-1)個(gè)頻 帶相對(duì)應(yīng)的子頻帶信號(hào)。從右聲道頻帶劃分單元154輸出的右聲道多頻帶信號(hào)被輸入帶通 濾波器156。此外，各個(gè)聲道的多頻帶信號(hào)所劃分成的頻帶數(shù)是N(例如，N = 8192)。如上所述，各個(gè)聲道的多頻帶信號(hào)fL(k) (k = 0，. . . ,N-1)和fK(k，)(k，= 0，...， N-1)被輸入帶通濾波器156。以下，按照升序標(biāo)記頻率，例如k = 0，...，N-1，或k’ = 0，...， N-1。此外，信號(hào)分量fjk)和fK(k’)中的每一個(gè)稱為子聲道信號(hào)。首先，在帶通濾波器156 中，從兩個(gè)聲道的多頻帶信號(hào)中選擇在相同頻帶中的子聲道信號(hào)f^(k)和fK(k’)(k’ = k)， 并且計(jì)算這些子聲道信號(hào)之間的類似度a(k)。類似度a(k)例如是根據(jù)以下等式(5)和(6) 計(jì)算的。這里，幅度分量和相位分量被包括在子聲道信號(hào)中。因此，幅度分量的類似度表示 為ap (k)，并且相位分量的類似度表示為ai (k)。[等式5] [等式6] 這里，I. . . I指示“...”的范數(shù)。θ指示fjk)與fK(k)之間的相位差 (0彡I θ I彡JI)。上標(biāo)*指示復(fù)共軛。Re[...]指示“...”的實(shí)部。從上述等式(6)可 見，在子聲道信號(hào)fjk)和fK(k)的范數(shù)一致的情況中，幅度分量的類似度ap(k)是1。反 之，在子聲道信號(hào)fjk)和fK(k)的范數(shù)不一致的情況中，類似度ap(k)的值小于1。另一 方面，關(guān)于相位分量的類似度ai(k)，當(dāng)相位差θ為0時(shí)，類似度ai(k)為1;當(dāng)相位差θ 為π/2時(shí)，類似度ai(k)為0;并且當(dāng)相位差θ為π時(shí)，類似度ai(k)為_1。S卩，在子聲 道信號(hào)和fK(k)的相位一致的情況中，相位分量的類似度ai(k)為1，并且在子聲道 信號(hào)fjk)和fK(k)的相位不一致的情況中，類似度ai (k)的值小于1。當(dāng)各個(gè)頻帶k(k = 0，. . .，N-1)的類似度a (k)是通過上述方法計(jì)算出的時(shí)，由帶 通濾波器156提取與小于特定閾值的類似度ap (q)和ai (q)相對(duì)應(yīng)的頻帶q (0彡q彡N_l)。 然后，僅由帶通濾波器156所提取出的頻帶q中的子聲道信號(hào)被輸入左聲道頻帶合成單元 158或右聲道頻帶合成單元160。例如，子聲道信號(hào)fL(q) (q = q0，· · ·，qj被輸入左聲道 頻帶合成單元158。因此，左聲道頻帶合成單元158對(duì)從帶通濾波器156輸入的子聲道信號(hào) fL(q) (q =如，...，qj執(zhí)行IDFT處理，并且將其從頻域變換到時(shí)域。此外，上述IDFT是 Inverse Discrete Fourier Transform( i^f^ff IlBf ^^ ^ )白勺_胃。以相似的方式，子聲道信號(hào)fK(q) (q = qQ，. . .，Qn^1)被輸入右聲道頻帶合成單元 160。因此，右聲道頻帶合成單元160對(duì)從帶通濾波器156輸入的子聲道信號(hào)fK(q) (q = qQ，. . .，qn-i)執(zhí)行IDFT處理，并且將其從頻域變換到時(shí)域。從左聲道頻帶分析單元158輸 出左聲道信號(hào)、中所包括的中心信號(hào)分量、，。另一方面，從右聲道頻帶分析單元160輸出 右聲道信號(hào)sK中所包括的中心信號(hào)分量sK,。聲源分離單元106可以通過上述方法從立體 聲信號(hào)中提取中心信號(hào)。此外，可以通過如圖4中所示改變帶通濾波器156的通過條件來以相同方式分離 左聲道信號(hào)、右聲道信號(hào)和背景聲音信號(hào)。如圖4中所示，在提取左聲道信號(hào)的情況中，左 右之間的相位差小并且左邊的音量高于右邊的音量的頻帶被設(shè)置為帶通濾波器156的通 帶。這里的音量對(duì)應(yīng)于上述幅度分量。類似地，在提取右聲道信號(hào)的情況中，左右之間的相 位差小并且右邊的音量高于左邊的音量的頻帶被設(shè)置為帶通濾波器156的通帶。左聲道信號(hào)、右聲道信號(hào)和中心信號(hào)是前景信號(hào)。因此，這些信號(hào)中的任何一個(gè)都 在左右之間的相位差小的頻帶中。另一方面，背景聲音信號(hào)是在左右之間的相位差大的頻 帶中的信號(hào)。因此，在提取背景聲音信號(hào)的情況中，帶通濾波器156的通帶被設(shè)置為左右之
19
CN 101916568 A
說 明 書15/67頁
，
fR(k)
(k) ⑷
Λ⑷
f間的相位差大的頻帶。由聲源分離單元106以這種方式分離的左聲道信號(hào)、右聲道信號(hào)、中 心信號(hào)和背景聲音信號(hào)被輸入對(duì)數(shù)譜分析單元108。(2-3.對(duì)數(shù)譜分析單元108的配置)接著，將描述對(duì)數(shù)譜分析單元108。對(duì)數(shù)譜分析單元108是用于將輸入音頻信號(hào)變 換成各個(gè)音調(diào)的強(qiáng)度分布的裝置。在音頻信號(hào)中每八度音階包括12個(gè)音調(diào)(C，C#, D，D#, Ε, F，F(xiàn)#, G，G#, A, A#, B)。此外，各個(gè)音調(diào)的中心頻率成對(duì)數(shù)分布。例如，當(dāng)用音調(diào)A3的中 心頻率fA3作為標(biāo)準(zhǔn)時(shí)，A#3的中心頻率表示為fAfl3 = fA3*2"12。類似地，音調(diào)B3的中心頻 率fB3表示為fB3 = fAS3*2"12。以這種方式，相鄰音調(diào)的中心頻率之比為1 21"2。然而，當(dāng) 處理音頻信號(hào)時(shí)，將音頻信號(hào)作為時(shí)間_頻率空間中的信號(hào)強(qiáng)度分布將使得頻率軸是對(duì)數(shù) 軸，從而使對(duì)音頻信號(hào)的處理變復(fù)雜。因此，對(duì)數(shù)譜分析單元108分析音頻信號(hào)，并且將其 從時(shí)間_頻率空間中的信號(hào)變換成時(shí)間_音調(diào)空間中的信號(hào)(以下，稱為對(duì)數(shù)譜)。參考圖5，將詳細(xì)描述對(duì)數(shù)譜分析單元108的配置。如圖5所示，對(duì)數(shù)譜分析單元 108可以由重新采樣單元162、八度音階劃分單元164和多個(gè)帶通濾波器庫(BPFB) 166構(gòu) 成。首先，音頻信號(hào)被輸入重新采樣單元162。然后，重新采樣單元162將輸入音頻信 號(hào)的采樣頻率(例如，44. IkHz)變換成特定采樣頻率。通過將八度音階之間的邊界處的頻 率(以下，稱為邊界頻率)作為標(biāo)準(zhǔn)并且將邊界頻率乘以2的冪而獲得的頻率被當(dāng)作特定 采樣頻率。例如，音頻信號(hào)的采樣頻率將八度音階4和八度音階5之間的邊界頻率1016. 7Hz 作為標(biāo)準(zhǔn)，并且被變換成為標(biāo)準(zhǔn)的25倍的采樣頻率(32534.7Hz)。通過以這種方式變換采 樣頻率，作為重新采樣單元162之后執(zhí)行的頻帶劃分處理和下采樣處理的結(jié)果獲得的最高 和最低頻率將與某一八度音階的最高和最低頻率一致。結(jié)果，可以簡(jiǎn)化用于從音頻信號(hào)提 取各個(gè)音調(diào)的信號(hào)的處理。采樣頻率被重新采樣單元162變換了的音頻信號(hào)被輸入八度音階劃分單元164。 然后，八度音階劃分單元164通過重復(fù)執(zhí)行頻帶劃分處理和下采樣處理將輸入的音頻信 號(hào)劃分成各個(gè)八度音階的信號(hào)。通過由八度音階劃分單元164進(jìn)行的劃分所獲得的各個(gè) 信號(hào)被輸入針對(duì)各個(gè)八度音階(01，...，08)而設(shè)置的帶通濾波器庫166 (BPFB(Ol)
BPFB (08) )0每個(gè)帶通濾波器庫166由12個(gè)帶通濾波器構(gòu)成，每個(gè)帶通濾波器具有針對(duì)12 個(gè)音調(diào)中的一個(gè)的通帶，以從各個(gè)八度音階的輸入音頻信號(hào)中提取各個(gè)音調(diào)的信號(hào)。例如， 經(jīng)由通過八度音階8的帶通濾波器庫166(BPFB(08))，從八度音階8的音頻信號(hào)中提取出 12 個(gè)音調(diào)(C8, C#8, D8, D#8, E8, F8, F#8, G8, G#8, A8, A#8, B)的信號(hào)。通過從各個(gè)帶通濾波器庫166輸出的信號(hào)可以獲得示出各個(gè)八度音階中12個(gè)音 調(diào)的信號(hào)強(qiáng)度(以下，稱為能量)的對(duì)數(shù)譜。圖6是示出從對(duì)數(shù)譜分析單元108輸出的對(duì) 數(shù)譜的示例的說明性示圖。參考圖6的垂直軸(音調(diào))，輸入音頻信號(hào)被劃分成7個(gè)八度音階，并且每個(gè)八度 音階又被劃分成 12 個(gè)音調(diào)“C”、“C#”、“D”、“D#”、“E”、“F”、“F#”、“G”、“G#”、“A”、“A#，，和 “B”。另一方面，圖6的水平軸(時(shí)間)示出沿時(shí)間軸對(duì)音頻信號(hào)進(jìn)行采樣時(shí)的幀編號(hào)。例 如，當(dāng)由重新采樣單元162以采樣頻率127. 0888 (Hz)對(duì)音頻信號(hào)進(jìn)行重新采樣時(shí)，1幀將是 與1 (sec)/127. 0888 = 7. 8686 (msec)相對(duì)應(yīng)的時(shí)間段。此外，圖6中所示的對(duì)數(shù)譜的顏色 的濃淡指示在各幀處，各個(gè)音調(diào)的能量的強(qiáng)度。例如，位置Sl被用黑色示出，并且因此可以理解與位置Sl相對(duì)應(yīng)的音調(diào)(音調(diào)F)處的音符是在與位置Sl相對(duì)應(yīng)的時(shí)間被強(qiáng)有力地 產(chǎn)生的。此外，圖6是當(dāng)采用某個(gè)音頻信號(hào)作為輸入信號(hào)時(shí)獲得的對(duì)數(shù)譜的一個(gè)示例。因 此，如果輸入信號(hào)不同，則獲得不同的對(duì)數(shù)譜。以這種方式獲得的對(duì)數(shù)譜被輸入特征量計(jì)算 公式生成設(shè)備10等，并且被用于由音樂分析單元110執(zhí)行的音樂分析處理。(2-4.音樂分析單元110的配置)接著，將描述音樂分析單元110的配置。音樂分析單元110是用于使用學(xué)習(xí)算法 來分析音樂數(shù)據(jù)并且提取該音樂數(shù)據(jù)中所包括的特征量的裝置。具體地，音樂分析單元110 提取音樂數(shù)據(jù)的拍子位置、音樂結(jié)構(gòu)、基調(diào)、和弦進(jìn)行、旋律線、貝斯線、各種樂器聲音的存 在概率等。因此，如圖2所示，音樂分析單元110包括拍子檢測(cè)單元132、結(jié)構(gòu)分析單元134、 和弦概率檢測(cè)單元136、基調(diào)檢測(cè)單元138、小節(jié)線檢測(cè)單元140、和弦進(jìn)行檢測(cè)單元142、旋 律檢測(cè)單元144、貝斯檢測(cè)單元146和元數(shù)據(jù)檢測(cè)單元148。由音樂分析單元110進(jìn)行的處理的主要流程如圖7中所示。然而，應(yīng)當(dāng)注意，圖7 的流程圖包括由信息處理設(shè)備100的其它結(jié)構(gòu)元件執(zhí)行的處理。如圖7中所示，信息處理 設(shè)備100在順次讀取音樂數(shù)據(jù)存儲(chǔ)單元102中所存儲(chǔ)的音樂數(shù)據(jù)的同時(shí)執(zhí)行音樂循環(huán)內(nèi)的 處理(S102至S120)。首先，當(dāng)音樂循環(huán)開始時(shí)(S102)，由音樂分析單元110獲取音樂數(shù) 據(jù)存儲(chǔ)單元102中所存儲(chǔ)的音樂數(shù)據(jù)的對(duì)數(shù)譜(S104)。接著，音樂分析單元110通過拍子 檢測(cè)單元132來執(zhí)行拍子分析處理并且檢測(cè)音樂數(shù)據(jù)中的拍子(S106)。然后，音樂分析單 元110通過和弦進(jìn)行檢測(cè)單元142來執(zhí)行和弦進(jìn)行分析處理并且檢測(cè)音樂數(shù)據(jù)的和弦進(jìn)行 (S108)。然后，音樂分析單元110通過結(jié)構(gòu)分析單元134來分析音樂結(jié)構(gòu)并且從音樂數(shù)據(jù) 中檢測(cè)音樂結(jié)構(gòu)(S110)。接著，音樂分析單元110通過旋律檢測(cè)單元144和貝斯檢測(cè)單元 146從音樂數(shù)據(jù)中檢測(cè)旋律線和貝斯線(S112)。接著，音樂分析單元110通過元數(shù)據(jù)檢測(cè) 單元148來檢測(cè)時(shí)間序列元數(shù)據(jù)(time-series metadata) (Si 14)。這里的時(shí)間序列元數(shù) 據(jù)是指隨音樂再現(xiàn)的進(jìn)行而變化的音樂數(shù)據(jù)的特征量。然后，音樂分析單元110通過元數(shù) 據(jù)檢測(cè)單元148來檢測(cè)針對(duì)每首樂曲所要檢測(cè)的元數(shù)據(jù)(以下，稱為每首樂曲的元數(shù)據(jù))。 此外，每首樂曲的元數(shù)據(jù)是通過分析處理獲得的元數(shù)據(jù)，在該分析處理中，使得所有音樂數(shù) 據(jù)幀是分析范圍。接著，音樂分析單元110將步驟S106至S116中所獲得的分析結(jié)果和元數(shù)據(jù)存儲(chǔ) 在元數(shù)據(jù)存儲(chǔ)單元112中(S118)。當(dāng)步驟S104至步驟S118的處理完成時(shí)(S120)，針對(duì)其 它音樂數(shù)據(jù)執(zhí)行音樂循環(huán)，并且當(dāng)音樂循環(huán)內(nèi)的處理對(duì)于作為處理對(duì)象的所有音樂數(shù)據(jù)都 完成時(shí)，一連串的處理被完成。此外，音樂循環(huán)內(nèi)的處理是針對(duì)由聲源分離單元106分離出 的聲源的組合中的每種組合來執(zhí)行的。所有4個(gè)聲源(左聲道聲音、右聲道聲音、中心聲音 和背景聲音)被用作要組合的聲源。所述組合例如可以是(1)所有4個(gè)聲源，(2)僅前景 聲音(左聲道聲音、右聲道聲音和中心聲音)，(3)左聲道聲音+右聲道聲音+背景聲音或 (4)中心聲音+背景聲音。此外，其它組合例如可以是(5)左聲道聲音+右聲道聲音，(6) 僅背景聲音，(7)僅左聲道聲音，(8)僅右聲道聲音或(9)僅中心聲音。以上，已經(jīng)描述了由音樂分析單元110進(jìn)行的處理的主要流程。接下來，將詳細(xì)描 述音樂分析單元110中所包括的各個(gè)結(jié)構(gòu)元件的功能。(2-4-1.拍子檢測(cè)單元132的配置)
21
首先，將描述拍子檢測(cè)單元132的配置。如圖8中所示，拍子檢測(cè)單元132包括拍 子概率計(jì)算單元202和拍子分析單元204。拍子概率計(jì)算單元202是用于基于音樂數(shù)據(jù)的 對(duì)數(shù)譜來計(jì)算各幀是拍子位置的概率的裝置。此外，拍子分析單元204是用于基于由拍子 概率計(jì)算單元202計(jì)算出的各幀的拍子概率來檢測(cè)拍子位置的裝置。以下，將詳細(xì)描述這 些結(jié)構(gòu)元件的功能。首先，將描述拍子概率計(jì)算單元202。拍子概率計(jì)算單元202針對(duì)從對(duì)數(shù)譜分析單 元108輸入的對(duì)數(shù)譜的特定時(shí)間單位中的每一個(gè)時(shí)間單位(例如，1幀)，計(jì)算拍子被包括 在該時(shí)間單位中的概率(以下，稱為“拍子概率”)。此外，當(dāng)特定時(shí)間單位是1幀時(shí)，拍子 概率可以被認(rèn)為是各幀與拍子位置(時(shí)間軸上拍子的位置)相符合的概率。由拍子概率計(jì) 算單元202用來計(jì)算拍子概率的公式是由特征量計(jì)算公式生成設(shè)備10通過使用學(xué)習(xí)算法 而生成的。并且，諸如圖9中所示的那些數(shù)據(jù)之類的數(shù)據(jù)被給予特征量計(jì)算公式生成設(shè)備 10，作為用于學(xué)習(xí)的教師數(shù)據(jù)和評(píng)估數(shù)據(jù)。在圖9中，用于拍子概率的計(jì)算的時(shí)間單位是1 幀。如圖9中所示，從拍子位置已知的樂曲的音頻信號(hào)變換出的對(duì)數(shù)譜的片段(以下， 稱為“局部對(duì)數(shù)譜”)和各個(gè)局部對(duì)數(shù)譜的拍子概率被提供給特征量計(jì)算公式生成設(shè)備10。 即，局部對(duì)數(shù)譜被提供給特征量計(jì)算公式生成設(shè)備10作為評(píng)估數(shù)據(jù)，而拍子概率作為教師 數(shù)據(jù)。這里，局部對(duì)數(shù)譜的窗口寬度是考慮了拍子概率的計(jì)算的精度與處理代價(jià)之間的權(quán) 衡來確定的。例如，局部對(duì)數(shù)譜的窗口寬度可以包括要計(jì)算拍子概率的那幀的前后7幀 (即，總共15幀)。此外，作為教師數(shù)據(jù)提供的拍子概率例如基于已知的拍子位置并且使用真值⑴ 或假值(0)，來指示拍子是否被包括在各個(gè)局部對(duì)數(shù)譜的中心幀中。這里不考慮小節(jié)的位 置，并且當(dāng)中心幀對(duì)應(yīng)于拍子位置時(shí)，拍子概率是1 ；而當(dāng)中心幀與拍子位置不相對(duì)應(yīng)時(shí)， 拍子概率是0。在圖9中示出的示例中，給出局部對(duì)數(shù)譜Wa，ffb, Wc, . . . , Wn的拍子概率分 別為1，0，1，...,O0用于從局部對(duì)數(shù)譜中計(jì)算拍子概率的拍子概率公式(P(W))是由特征 量計(jì)算公式生成設(shè)備10基于多組評(píng)估數(shù)據(jù)和教師數(shù)據(jù)而生成的。當(dāng)拍子概率公式P(W)是 以這種方式生成的時(shí)，拍子概率計(jì)算單元202從分析目標(biāo)音樂(以下，稱為所處理的音樂) 的對(duì)數(shù)譜中截取(cut out)各幀的局部對(duì)數(shù)譜，并且通過將各個(gè)局部對(duì)數(shù)譜應(yīng)用于拍子概 率公式P (W)來順次計(jì)算拍子概率。圖10是示出由拍子概率計(jì)算單元202計(jì)算出的拍子概率的示例的說明性示圖。在 圖10的(A)中示出要從對(duì)數(shù)譜分析單元108輸入拍子概率計(jì)算單元202的對(duì)數(shù)譜的示例。 另一方面，在圖10的(B)中，在時(shí)間軸上用折線示出由拍子概率計(jì)算單元202基于對(duì)數(shù)譜 (A)計(jì)算出的拍子概率。例如，參考幀位置F1，可以看出，局部對(duì)數(shù)譜Wl對(duì)應(yīng)于幀位置F1。 即，幀F(xiàn)l的拍子概率P(Wl) =0.95是從局部對(duì)數(shù)譜Wl中計(jì)算出的。類似地，基于從對(duì)數(shù) 譜中截取的局部對(duì)數(shù)譜W2，計(jì)算出幀位置F2的拍子概率P(W2)是0. 1。幀位置Fl的拍子 概率P(Wl)高而幀位置F2的拍子概率P(W2)低，并且因此可以說，幀位置Fl與拍子位置相 對(duì)應(yīng)的概率高，而幀位置F2與拍子位置相對(duì)應(yīng)的概率低。此外，可以通過另一學(xué)習(xí)算法來生成由拍子概率計(jì)算單元202使用的拍子概率公 式。然而，應(yīng)當(dāng)注意，一般，對(duì)數(shù)譜包括各種參數(shù)，例如鼓的譜、由于說話引起的譜的發(fā)生和 由于和弦的變化引起的譜中的變化。在鼓的譜的情況中，擊打鼓的時(shí)間點(diǎn)很有可能就是拍子位置。另一方面，在語音的譜的情況中，說話開始時(shí)間點(diǎn)很有可能是拍子位置。為了通過 全體地使用各種參數(shù)來高精度地計(jì)算拍子概率，適于使用特征量計(jì)算公式生成設(shè)備10或 JP-A-2008-123011中所公開的學(xué)習(xí)算法。由拍子概率計(jì)算單元202以上述方式計(jì)算出的拍 子概率被輸入拍子分析單元204。拍子分析單元204基于從拍子概率計(jì)算單元202輸入的各個(gè)幀的拍子概率來確定 拍子位置。如圖8中所示，拍子分析單元204包括起始點(diǎn)(onset)檢測(cè)單元212、拍子得分 計(jì)算單元214、拍子搜索單元216、恒定速度判定單元218、針對(duì)恒定速度的拍子重新搜索單 元220、拍子確定單元222和速度修正單元224。各幀的拍子概率從拍子概率計(jì)算單元202 輸入起始點(diǎn)檢測(cè)單元212、拍子得分計(jì)算單元214和速度修正單元224。起始點(diǎn)檢測(cè)單元212基于從拍子概率計(jì)算單元202輸入的拍子概率來檢測(cè)音頻信 號(hào)中所包括的起始點(diǎn)。這里的起始點(diǎn)是指音頻信號(hào)中聲音產(chǎn)生的時(shí)間點(diǎn)。更具體而言，拍 子概率在特定閾值以上并且取得極大值的點(diǎn)被稱為起始點(diǎn)。例如，在圖11中，示出基于針 對(duì)音頻信號(hào)所計(jì)算出的拍子概率而檢測(cè)到的起始點(diǎn)的示例。在圖11中，與圖10(B) —樣， 在時(shí)間軸上用折線示出由拍子概率計(jì)算單元202計(jì)算出的拍子概率。在圖11中所示出的 拍子概率曲線圖的情況中，取得極大值的點(diǎn)有3個(gè)，即，幀F(xiàn)3、F4和F5。其中，有關(guān)幀F(xiàn)3和 F5，該時(shí)間點(diǎn)處的拍子概率在預(yù)先給出的特定閾值Thl之上。另一方面，幀F(xiàn)4的時(shí)間點(diǎn)處 的拍子概率在閾值Thl之下。在這種情況中，兩個(gè)點(diǎn)，即，幀F(xiàn)3和F5被檢測(cè)出作為起始點(diǎn)。這里，參考圖12，將簡(jiǎn)要描述起始點(diǎn)檢測(cè)單元212的起始點(diǎn)檢測(cè)處理流程。如圖 12中所示，首先，起始點(diǎn)檢測(cè)單元212關(guān)于針對(duì)各幀計(jì)算出的拍子概率，從第一幀開始，順 次對(duì)這些幀執(zhí)行循環(huán)(S1322)。然后，起始點(diǎn)檢測(cè)單元212關(guān)于各幀判定拍子概率是否在特 定閾值之上(S1324)以及拍子概率是否指示極大值(S1326)。這里，當(dāng)拍子概率在特定閾值 之上并且拍子概率是極大值時(shí)，則起始點(diǎn)檢測(cè)單元212進(jìn)行到步驟S1328的處理。另一方 面，當(dāng)拍子概率在特定閾值以下，或拍子概率不是極大值時(shí)，跳過步驟S1328的處理。在步 驟S1328，向起始點(diǎn)位置的列表添加當(dāng)前時(shí)間(或幀編號(hào))(S1328)。然后，當(dāng)有關(guān)所有幀的 處理都完成了時(shí)，起始點(diǎn)檢測(cè)處理的循環(huán)結(jié)束(S1330)。利用如上所述的由起始點(diǎn)檢測(cè)單元212進(jìn)行的起始點(diǎn)檢測(cè)處理，生成音頻信號(hào)中 所包括的起始點(diǎn)的位置的列表(各個(gè)起始點(diǎn)的時(shí)間或幀編號(hào)的列表)。而且，利用上述起始 點(diǎn)檢測(cè)處理，例如還檢測(cè)出如圖13中所示的起始點(diǎn)的位置。圖13與拍子概率相關(guān)地示出 由起始點(diǎn)檢測(cè)單元212檢測(cè)出的起始點(diǎn)的位置。在圖13中，在示出拍子概率的折線上方用 圓圈示出由起始點(diǎn)檢測(cè)單元212檢測(cè)出的起始點(diǎn)的位置。在圖13的示例中，具有閾值Thl 之上的拍子概率的極大值被檢測(cè)出，作為15個(gè)起始點(diǎn)。由起始點(diǎn)檢測(cè)單元212以這種方式 檢測(cè)出的起始點(diǎn)的位置的列表被輸出到拍子得分計(jì)算單元214。拍子得分計(jì)算單元214針對(duì)由起始點(diǎn)檢測(cè)單元212檢測(cè)出的各個(gè)起始點(diǎn)計(jì)算拍子 得分，拍子得分指示與形成具有恒定速度(或恒定拍子間隔)的一連串拍子的多個(gè)拍子當(dāng) 中的拍子的對(duì)應(yīng)程度。首先，拍子得分計(jì)算單元214設(shè)置如圖14中所示的所關(guān)注起始點(diǎn)。在圖14的示 例中，在由起始點(diǎn)檢測(cè)單元212檢測(cè)到的起始點(diǎn)中，在幀位置Fk(幀編號(hào)k)處的起始點(diǎn)被 設(shè)置為所關(guān)注的起始點(diǎn)。此外，涉及與幀位置Fk的距離為特定距離d的整數(shù)倍的一連串幀 位置Fk_3、Fk_2、Fk_i、Fk、Fk+1、Fk+2和Fk+3。以下，特定距離d稱為轉(zhuǎn)移量，并且距離為轉(zhuǎn)移量d的整數(shù)倍的幀位置稱為轉(zhuǎn)移位置。拍子得分計(jì)算單元214將拍子概率已被計(jì)算出的幀的群 組F中所包括的所有轉(zhuǎn)移位置(...Fk_3，F(xiàn)k_2，F(xiàn)k_1; Fk, Fk+1，F(xiàn)k+2，以及Fk+3...)處的拍子概率 的加和作為所關(guān)注起始點(diǎn)的拍子得分。例如，當(dāng)幀位置Fi處的拍子概率是P (Fi)時(shí)，所關(guān)注 起始點(diǎn)的與幀編號(hào)k和轉(zhuǎn)移量d相關(guān)的拍子得分BS(k，d)由以下等式(7)表示。由以下等 式(7)表示的拍子得分BS(k，d)可以說是這樣的得分，其指示音頻信號(hào)的第k幀處的起始 點(diǎn)與將轉(zhuǎn)移量d作為拍子間隔的恒定速度相同步的概率。
[等式 7] 這里，參考圖15，將簡(jiǎn)要描述拍子得分計(jì)算單元214的拍子得分計(jì)算處理流程。如圖15中所示，首先，拍子得分計(jì)算單元214關(guān)于由起始點(diǎn)檢測(cè)單元212檢測(cè)到 的起始點(diǎn)，從第一起始點(diǎn)開始，針對(duì)這些起始點(diǎn)順次執(zhí)行循環(huán)(S1342)。此外，拍子得分計(jì)算 單元214關(guān)于所關(guān)注的起始點(diǎn)針對(duì)所有轉(zhuǎn)移量d中的每一個(gè)轉(zhuǎn)移量d執(zhí)行循環(huán)(S1344)。作 為循環(huán)的對(duì)象的轉(zhuǎn)移量d是可以在音樂演奏中使用的所有拍子處的間隔的值。然后，拍子 得分計(jì)算單元214初始化拍子得分BS(k，d)(即，0被代入拍子得分BS(K，d)中)(S1346)。 接著，拍子得分計(jì)算單元214針對(duì)用于轉(zhuǎn)移所關(guān)注起始點(diǎn)的幀位置Fd的轉(zhuǎn)移系數(shù)η來執(zhí)行 循環(huán)(S1348)。然后，拍子得分計(jì)算單元214向拍子得分BS(k，d)順次添加每個(gè)轉(zhuǎn)移位置處 的拍子概率P(Fk+nd)(S1350)。然后，當(dāng)針對(duì)所有轉(zhuǎn)移系數(shù)η的循環(huán)結(jié)束時(shí)(S1352)，拍子得 分計(jì)算單元214記錄所關(guān)注的起始點(diǎn)的幀位置(幀編號(hào)k)、轉(zhuǎn)移量d和拍子得分BS(k，d) (S1354)。拍子得分計(jì)算單元214針對(duì)所有起始點(diǎn)的每個(gè)轉(zhuǎn)移量重復(fù)拍子得分BS(k，d)的 計(jì)算(S1356, S1358)。利用如上所述由拍子得分計(jì)算單元214進(jìn)行的拍子得分計(jì)算處理，針對(duì)由起始點(diǎn) 檢測(cè)單元212檢測(cè)到的每個(gè)起始點(diǎn)，輸出跨越多個(gè)轉(zhuǎn)移量d的拍子得分BS(k，d)。如圖16 中所示的拍子得分分布圖就是通過上述拍子得分計(jì)算處理獲得的。該拍子得分分布圖使從 拍子得分計(jì)算單元214輸出的拍子得分可視化。在圖16中，沿水平軸按時(shí)間序列示出由起 始點(diǎn)檢測(cè)單元212檢測(cè)到的起始點(diǎn)。圖16中的垂直軸示出轉(zhuǎn)移量，已針對(duì)轉(zhuǎn)移量計(jì)算了每 個(gè)起始點(diǎn)的拍子得分。此外，圖中每個(gè)點(diǎn)的顏色的濃淡指示在該轉(zhuǎn)移量處、針對(duì)該起始點(diǎn)所 計(jì)算出的拍子得分的水平。在圖16中的示例中，在轉(zhuǎn)移量dl的附近，所有起始點(diǎn)的拍子得 分都高。當(dāng)假定以在該轉(zhuǎn)移量dl處的速度來演奏樂曲時(shí)，很有可能所檢測(cè)到的起始點(diǎn)中的 許多起始點(diǎn)與拍子對(duì)應(yīng)。由拍子得分計(jì)算單元214計(jì)算出的拍子得分被輸入拍子搜索單元 216。拍子搜索單元216基于由拍子得分計(jì)算單元214計(jì)算出的拍子得分，搜索示出有 可能的速度波動(dòng)的起始點(diǎn)位置的路徑。例如，基于隱馬爾科夫模型的Viterbi算法可以用 作拍子搜索單元216的路徑搜索方法。對(duì)于由拍子搜索單元216進(jìn)行的Viterbi搜索，例 如，起始點(diǎn)編號(hào)被設(shè)為時(shí)間軸(水平軸)的單位，而拍子得分計(jì)算時(shí)使用的轉(zhuǎn)移量被設(shè)為觀測(cè)序列(垂直軸)，如圖17中示意性所示。拍子搜索單元216搜索連接由時(shí)間軸和觀測(cè)序 列的值分別定義的節(jié)點(diǎn)的Viterbi路徑。換而言之，拍子搜索單元216將起始點(diǎn)和由拍子 得分計(jì)算單元214計(jì)算拍子得分時(shí)所使用的轉(zhuǎn)移量的所有組合中的每一種組合作為目標(biāo) 節(jié)點(diǎn)。此外，各個(gè)節(jié)點(diǎn)的轉(zhuǎn)移量等于針對(duì)該節(jié)點(diǎn)假定的拍子間隔。因此，以下，各個(gè)節(jié)點(diǎn)的 轉(zhuǎn)移量可以稱為拍子間隔。關(guān)于所述節(jié)點(diǎn)，拍子搜索單元216沿時(shí)間軸順次選擇節(jié)點(diǎn)中的任何節(jié)點(diǎn)，并且評(píng) 估由一連串所選擇的節(jié)點(diǎn)形成的路徑。此時(shí)，在節(jié)點(diǎn)選擇中，允許拍子搜索單元216跳過節(jié) 點(diǎn)。例如，在圖17的示例中，在第k-Ι個(gè)起始點(diǎn)之后，跳過第k個(gè)起始點(diǎn)而選擇第k+Ι個(gè)起 始點(diǎn)。這是因?yàn)槭桥淖拥钠鹗键c(diǎn)和不是拍子的起始點(diǎn)通常混在這些起始點(diǎn)中，并且只好從 包括不經(jīng)過不是拍子的起始點(diǎn)的路徑在內(nèi)的路徑中搜索出有可能的路徑。例如，對(duì)于路徑的評(píng)估，可以使用4種評(píng)估值，即(1)拍子得分，(2)速度變化得分， (3)起始點(diǎn)移動(dòng)得分和(4)針對(duì)跳過的懲罰。其中，(1)拍子得分是由拍子得分計(jì)算單元 214針對(duì)每個(gè)節(jié)點(diǎn)計(jì)算出的拍子得分。另一方面，對(duì)節(jié)點(diǎn)間的過渡給出(2)速度變化得分、 (3)起始點(diǎn)移動(dòng)得分和(4)針對(duì)跳過的懲罰。在要對(duì)節(jié)點(diǎn)間的過渡給出的評(píng)估值中，(2)速 度變化得分是基于經(jīng)驗(yàn)知識(shí)給出的評(píng)估值，經(jīng)驗(yàn)知識(shí)通常是樂曲中逐漸波動(dòng)的速度。因此， 過渡前節(jié)點(diǎn)處的拍子間隔與過渡后節(jié)點(diǎn)處的拍子間隔之間的差越小，對(duì)速度變化得分給出 的值越高。這里，參考圖18，將詳細(xì)描述(2)速度變化得分。在圖18中，當(dāng)前選擇節(jié)點(diǎn)W。拍 子搜索單元216有可能選擇節(jié)點(diǎn)N2至N5中的任何節(jié)點(diǎn)作為下一節(jié)點(diǎn)。盡管也可以選擇除 了 N2至N5之外的其它節(jié)點(diǎn)，但是為了便于描述，將描述4個(gè)節(jié)點(diǎn)，即節(jié)點(diǎn)N2至N5。這里， 當(dāng)拍子搜索單元216選擇節(jié)點(diǎn)N4時(shí)，由于節(jié)點(diǎn)m與節(jié)點(diǎn)N4處的拍子間隔之間沒有差，所 以將給出最高值作為速度變化得分。另一方面，當(dāng)拍子搜索單元216選擇節(jié)點(diǎn)N3或N5時(shí)， 在節(jié)點(diǎn)W與節(jié)點(diǎn)N3或N5處的拍子間隔之間存在差，并且因此給出相對(duì)于選擇節(jié)點(diǎn)N4時(shí) 較低的速度變化得分。此外，當(dāng)拍子搜索單元216選擇節(jié)點(diǎn)N2時(shí)，節(jié)點(diǎn)m與節(jié)點(diǎn)N2處的 拍子間隔之間的差大于節(jié)點(diǎn)N3或N5被選擇時(shí)的差。因此，給出更低的速度得分。接著，將參考圖19，詳細(xì)描述(3)起始點(diǎn)移動(dòng)得分。起始點(diǎn)移動(dòng)得分是根據(jù)過渡前 后節(jié)點(diǎn)的起始點(diǎn)位置之間的間隔是否與過渡前該節(jié)點(diǎn)處的拍子間隔相匹配而給出的評(píng)估 值。在圖19(19A)中，當(dāng)前選擇第k個(gè)起始點(diǎn)的具有拍子間隔d2的節(jié)點(diǎn)N6。并且還示出 兩個(gè)節(jié)點(diǎn)N7和N8，作為接下來可能被拍子搜索單元216選擇的節(jié)點(diǎn)。其中，節(jié)點(diǎn)N7是第 k+Ι個(gè)起始點(diǎn)的節(jié)點(diǎn)，并且第k個(gè)起始點(diǎn)與第k+Ι個(gè)起始點(diǎn)之間的間隔(例如，幀編號(hào)之間 的差)是D7。另一方面，節(jié)點(diǎn)N8是第k+2個(gè)起始點(diǎn)的節(jié)點(diǎn)，并且第k個(gè)起始點(diǎn)與第k+2個(gè) 起始點(diǎn)之間的間隔是D8。這里，當(dāng)假定路徑上的所有節(jié)點(diǎn)都成功與恒定速度中的拍子位置對(duì)應(yīng)的理想路徑 時(shí)，相鄰節(jié)點(diǎn)的起始點(diǎn)位置之間的間隔是各個(gè)節(jié)點(diǎn)處的拍子間隔的整數(shù)倍(當(dāng)無休止符時(shí) 是相同間隔)。因此，如圖19(19B)中所示，關(guān)于當(dāng)前節(jié)點(diǎn)N6，起始點(diǎn)位置之間的間隔越接 近節(jié)點(diǎn)N6處的拍子間隔d2的整數(shù)倍，給出越高的起始點(diǎn)移動(dòng)得分。在圖19(19B)的示例 中，由于節(jié)點(diǎn)N6和N8之間的間隔D8比節(jié)點(diǎn)N6和N7之間的間隔D7更接近節(jié)點(diǎn)N6處的拍 子間隔d2的整數(shù)倍，所以，對(duì)從節(jié)點(diǎn)N6至節(jié)點(diǎn)N8的過渡給出更高的起始點(diǎn)移動(dòng)得分。接著，參考圖20，詳細(xì)描述(4)針對(duì)跳過的懲罰。針對(duì)跳過的懲罰是用于在節(jié)點(diǎn)間的過渡中約束起始點(diǎn)的過多跳過的評(píng)估值。因此，在一次過渡中跳過越多起始點(diǎn)則得分 越低，而在一次過渡中跳過越少起始點(diǎn)則得分越高。這里，越低的得分意味著越高的懲罰。 在圖20的示例中，選擇第k個(gè)起始點(diǎn)的節(jié)點(diǎn)N9作為當(dāng)前節(jié)點(diǎn)。并且，在圖20的示例中，還 示出3個(gè)節(jié)點(diǎn)N10、N11和N12作為接下來可能被拍子搜索單元216選擇的節(jié)點(diǎn)。節(jié)點(diǎn)NlO 是第k+Ι個(gè)起始點(diǎn)的節(jié)點(diǎn)，節(jié)點(diǎn)Nll是第k+2個(gè)起始點(diǎn)的節(jié)點(diǎn)，而節(jié)點(diǎn)N12是第k+3個(gè)起始 點(diǎn)的節(jié)點(diǎn)。因此，在從節(jié)點(diǎn)N9至節(jié)點(diǎn)NlO的過渡的情況中，沒有跳過節(jié)點(diǎn)。另一方面，在從節(jié) 點(diǎn)N9至節(jié)點(diǎn)Nll的過渡的情況中，跳過第k+Ι個(gè)起始點(diǎn)。此外，在從節(jié)點(diǎn)N9至節(jié)點(diǎn)N12的 過渡的情況中，跳過第k+Ι個(gè)和第k+2個(gè)起始點(diǎn)。因此，針對(duì)跳過的懲罰在從節(jié)點(diǎn)N9至節(jié) 點(diǎn)mo的過渡的情況中取得相對(duì)高的值，在從節(jié)點(diǎn)N9至節(jié)點(diǎn)mi的過渡的情況中取得中間 值，并且在從節(jié)點(diǎn)N9至節(jié)點(diǎn)N12的過渡的情況中取得低值。因此，在路徑搜索時(shí)，可以防止 過多數(shù)目的起始點(diǎn)被跳過從而使得節(jié)點(diǎn)之間的間隔恒定的現(xiàn)象。此前，已經(jīng)描述了用于評(píng)估由拍子搜索單元216搜索出的路徑的4個(gè)評(píng)估值。使 用圖17描述的路徑評(píng)估是關(guān)于所選擇的路徑，通過將對(duì)各個(gè)節(jié)點(diǎn)給出的或針對(duì)路徑中所 包括的節(jié)點(diǎn)間的過渡所給出的上述(1)至(4)的評(píng)估值彼此順次相乘來執(zhí)行的。拍子搜索 單元216確定所有可以設(shè)想到的路徑中評(píng)估值的乘積最大的路徑作為最優(yōu)路徑。例如，在 圖21中示出以這種方式確定的路徑。圖21示出由拍子搜索單元216確定為最優(yōu)路徑的 Viterbi路徑的示例。在圖21的示例中，在圖16中示出的拍子得分分布圖中用點(diǎn)線描畫出 由拍子搜索單元216確定的最優(yōu)路徑的輪廓。在圖21的示例中，可見，由拍子搜索單元216 針對(duì)其執(zhí)行了搜索的樂曲的速度以拍子間隔d3為中心波動(dòng)。此外，由拍子搜索單元216確 定的最優(yōu)路徑(該最優(yōu)路徑中所包括的節(jié)點(diǎn)的列表)被輸入恒定速度判定單元218、針對(duì)恒 定速度的拍子重新搜索單元220和拍子確定單元222。恒定速度判定單元218判定由拍子搜索單元216確定的最優(yōu)路徑是否指示具有低 的拍子間隔(這些拍子間隔是針對(duì)各個(gè)節(jié)點(diǎn)假定的拍子間隔)方差的恒定速度。首先，恒 定速度判定單元218計(jì)算從拍子搜索單元216輸入的最優(yōu)路徑中所包括的節(jié)點(diǎn)處的一組拍 子間隔的方差。然后，當(dāng)所計(jì)算出的方差小于預(yù)先給定的特定閾值時(shí)，恒定速度判定單元 218判定速度是恒定的；并且當(dāng)所計(jì)算出的方差大于該特定閾值時(shí)，恒定速度判定單元218 判定速度不是恒定的。例如，由恒定速度判定單元218判定的速度如圖22中所示。例如，在圖22(22A)的示例中，用點(diǎn)線描畫出輪廓的最優(yōu)路徑中起始點(diǎn)位置的拍 子間隔根據(jù)時(shí)間變化。利用這樣的路徑，可以判定速度不是恒定的，作為由恒定速度判定單 元218進(jìn)行的與閾值相關(guān)的判定的結(jié)果。另一方面，在圖22 (22B)的示例中，由點(diǎn)線描畫出 輪廓的最優(yōu)路徑中的起始點(diǎn)位置的拍子間隔在整個(gè)樂曲中幾乎恒定?？梢耘卸ㄟ@樣的路徑 是恒定的，作為由恒定速度判定單元218進(jìn)行的與閾值相關(guān)的判定的結(jié)果。以這種方式獲 得的、由恒定速度判定單元218進(jìn)行的與閾值相關(guān)的判定的結(jié)果被輸出給針對(duì)恒定速度的 拍子重新搜索單元220。當(dāng)由拍子搜索單元216提取的最優(yōu)路徑被恒定速度判定單元218判定為指示恒定 速度時(shí)，針對(duì)恒定速度的拍子重新搜索單元220重新執(zhí)行路徑搜索，將作為搜索對(duì)象的節(jié) 點(diǎn)限制為僅最經(jīng)常出現(xiàn)的拍子間隔周圍的那些節(jié)點(diǎn)。例如，針對(duì)恒定速度的拍子重新搜索 單元220通過圖23中所示的方法執(zhí)行對(duì)路徑的重新搜索處理。此外，與圖17 —樣，針對(duì)恒
26定速度的拍子重新搜索單元220針對(duì)以節(jié)點(diǎn)間隔為觀測(cè)序列、沿時(shí)間軸(起始點(diǎn)編號(hào))的 一組節(jié)點(diǎn)來執(zhí)行對(duì)路徑的重新搜索處理。例如，假定要被拍子搜索單元216確定為最優(yōu)路徑的路徑中所包括的節(jié)點(diǎn) 處的拍子間隔的眾數(shù)是d4，并且該路徑的速度被恒定速度判定單元218確定為是恒 定的。在這種情況中，針對(duì)恒定速度的拍子重新搜索單元220僅將拍子間隔d滿足 d4-Th2<d<d4+Th2(Th2是特定閾值)的那些節(jié)點(diǎn)作為搜索對(duì)象來再次搜索路徑。在圖 23的示例中，針對(duì)第k個(gè)起始點(diǎn)示出5個(gè)節(jié)點(diǎn)N12至me。其中，關(guān)于針對(duì)恒定速度的拍子 重新搜索單元220，N13至N15處的拍子間隔被包括在搜索范圍(d4_Th2 ^ dd4+Th2)內(nèi)。 相對(duì)地，N12和N16處的拍子間隔未被包括在上述搜索范圍內(nèi)。因此，關(guān)于第k個(gè)起始點(diǎn)， 僅3個(gè)節(jié)點(diǎn)N13至N15成為由針對(duì)恒定速度的拍子重新搜索單元220進(jìn)行的路徑搜索重新 執(zhí)行的對(duì)象。此外，由針對(duì)恒定速度的拍子重新搜索單元220進(jìn)行的路徑重新搜索處理的流程 與由拍子搜索單元216進(jìn)行的路徑搜索處理相似，不同在于成為搜索對(duì)象的節(jié)點(diǎn)的范圍不 同。根據(jù)如上所述由針對(duì)恒定速度的拍子重新搜索單元220進(jìn)行的路徑重新搜索處理，關(guān) 于具有恒定速度的樂曲，可以減少路徑搜索的結(jié)果中可能局部發(fā)生的與拍子位置相關(guān)的錯(cuò) 誤。由針對(duì)恒定速度的拍子重新搜索單元220確定的最優(yōu)路徑被輸出給拍子確定單元222。拍子確定單元222基于由拍子搜索單元216確定的最優(yōu)路徑或由針對(duì)恒定速度的 拍子重新搜索單元220重新確定的最優(yōu)路徑，以及基于路徑中所包括的各個(gè)節(jié)點(diǎn)處的拍子 間隔，確定音頻信號(hào)中所包括的拍子位置。例如，拍子確定單元222通過如圖24中所示的方 法來確定拍子位置。在圖24(24A)中，示出由起始點(diǎn)檢測(cè)單元212獲得的起始點(diǎn)檢測(cè)結(jié)果 的示例。在該示例中，示出由起始點(diǎn)檢測(cè)單元212檢測(cè)到的在第k個(gè)起始點(diǎn)附近的14個(gè)起 始點(diǎn)。相比之下，圖24(24B)示出了由拍子搜索單元216或針對(duì)恒定速度的拍子重新搜索 單元220確定的最優(yōu)路徑中所包括的起始點(diǎn)。在24B的示例中，24A中所示出的14個(gè)起始 點(diǎn)中，第k-7個(gè)起始點(diǎn)、第k個(gè)起始點(diǎn)和第k+6個(gè)起始點(diǎn)(幀編號(hào)Fk_7、Fk、Fk+6)被包括在最 優(yōu)路徑中。此外，第k-7個(gè)起始點(diǎn)處的拍子間隔(等同于對(duì)應(yīng)節(jié)點(diǎn)處的拍子間隔)是dk_7， 并且第k個(gè)起始點(diǎn)處的拍子間隔是dk。關(guān)于這樣的起始點(diǎn)，首先，拍子確定單元222將最優(yōu)路徑中所包括的起始點(diǎn)的位 置作為樂曲的拍子位置。然后，拍子確定單元222根據(jù)各個(gè)起始點(diǎn)處的拍子間隔，在最優(yōu)路 徑中所包括的相鄰起始點(diǎn)之間配設(shè)補(bǔ)充拍子。此時(shí)，拍子確定單元222首先確定用來在最 優(yōu)路徑上彼此相鄰的起始點(diǎn)之間配設(shè)拍子的補(bǔ)充拍子數(shù)目。例如，如圖25中所示，拍子確 定單元222取兩個(gè)相鄰起始點(diǎn)的位置為Fh和Fh+1，并且起始點(diǎn)位置Fh處的拍子間隔是dh。 在這種情況中，在Fh和Fh+1之間所要配設(shè)的補(bǔ)充拍子的數(shù)目Bfill由以下等式(8)給出。[等式8]
27 這里，RoimdC · ·)指示“.· · ”被四舍五入為最接近的整數(shù)。根據(jù)以上等式(8)，拍 子確定單元222所要配設(shè)的補(bǔ)充拍子的數(shù)目將是通過以下方式得到的數(shù)相鄰起始點(diǎn)之間 的間隔除以拍子間隔得到的值四舍五入為最接近的整數(shù)，并且之后考慮柵欄柱問題從所得 到的整數(shù)中減去1。接著，拍子確定單元222用所確定的拍子數(shù)目，在最優(yōu)路徑上彼此相鄰的起始點(diǎn) 之間配設(shè)補(bǔ)充拍子，使得這些拍子以相等的間隔排列。在圖24(24C)中，示出配設(shè)了補(bǔ)充拍 子之后的起始點(diǎn)。在24C的示例中，在第k-7個(gè)起始點(diǎn)和第k個(gè)起始點(diǎn)之間配設(shè)了兩個(gè)補(bǔ) 充拍子，并且在第k個(gè)起始點(diǎn)與第k+6個(gè)起始點(diǎn)之間配設(shè)兩個(gè)補(bǔ)充拍子。應(yīng)當(dāng)注意，由拍子 確定單元222提供的補(bǔ)充拍子的位置不一定與由起始點(diǎn)檢測(cè)單元212檢測(cè)到的起始點(diǎn)的位 置對(duì)應(yīng)。利用這樣的配置，可以確定拍子的位置而不受該拍子位置之外處產(chǎn)生的聲音的影 響。此外，即使在拍子位置處有休止符而沒有聲音產(chǎn)生的情況中，也可以恰當(dāng)?shù)匕盐张淖游?置。由拍子確定單元222按此方式確定的拍子位置列表(包括最優(yōu)路徑上的起始點(diǎn)和由拍 子確定單元222配設(shè)的補(bǔ)充拍子)輸出給速度修正單元224。速度修正單元224修正由拍子確定單元222所確定的拍子位置指示的速度。修正 前的速度有可能是樂曲原始速度的常數(shù)倍，例如2倍、1/2倍、3/2倍等(參考圖26)。因此， 速度修正單元224對(duì)被錯(cuò)誤地把握為常數(shù)倍的速度進(jìn)行修正并且再現(xiàn)樂曲的原始速度。這 里，參考圖26的示例，其示出由拍子確定單元222確定的拍子位置的樣式。在圖26的示例 中，在圖中所示出的時(shí)間范圍中，對(duì)于樣式26A，包括6個(gè)拍子。相比之下，對(duì)于樣式26B，在 相同時(shí)間范圍內(nèi)包括12個(gè)拍子。S卩，以樣式26A的拍子位置作為基準(zhǔn)，樣式26B的拍子位 置指示2倍速度。另一方面，對(duì)于樣式26C-1，在相同時(shí)間范圍內(nèi)包括3個(gè)拍子。即，以樣式26A的拍 子位置作為基準(zhǔn)，樣式26C-1指示1/2倍速度。并且，對(duì)于樣式26C-2，與樣式26C-1 —樣， 在相同時(shí)間范圍內(nèi)包括3個(gè)拍子，并且因此以樣式26A的拍子位置作為基準(zhǔn)，指示1/2倍速 度。然而，26C-1和26C-2彼此不同在于在從基準(zhǔn)速度改變速度時(shí)將保留的拍子位置不同。 由速度修正單元224執(zhí)行的速度修正例如是通過以下過程(Si)至(S3)來執(zhí)行的。(Si)確定基于波形所估計(jì)出的估計(jì)速度(S2)確定多個(gè)乘子中的最優(yōu)基本乘子(S3)重復(fù)(S2)直到基本乘子為1為止首先，將對(duì)(Si)確定基于波形所估計(jì)出的估計(jì)速度進(jìn)行說明。首先，速度修正單 元224從音頻信號(hào)的波形中出現(xiàn)的聲音特征中確定被估計(jì)為足夠的估計(jì)速度。例如，特征 量計(jì)算公式生成設(shè)備10或通過JP-A-2008-123011中所公開的學(xué)習(xí)算法生成的、用于估計(jì) 速度辨別的計(jì)算公式(估計(jì)速度辨別公式)被用于估計(jì)速度的確定。例如，如圖27中所
28提供給特征量計(jì)算公式生成設(shè)備10，作為評(píng)估數(shù)據(jù)。在圖27的示 例中，提供對(duì)數(shù)譜LSl至LSn。此外，提供由正在收聽樂曲的人判定為正確的速度作為教師 數(shù)據(jù)。在圖27的示例中，提供各個(gè)對(duì)數(shù)譜的正確速度(LSI 100, ...，LSn 60)。估計(jì)速度 辨別公式是基于多組這樣的評(píng)估數(shù)據(jù)和教師數(shù)據(jù)來生成的。速度修正單元224通過使用所 生成的估計(jì)速度辨別公式來計(jì)算所處理的樂曲的估計(jì)速度。接著，將對(duì)(S2)確定多個(gè)乘子中的最優(yōu)基本乘子進(jìn)行說明。速度修正單元224從 多個(gè)基本乘子中確定使得修正后的速度與樂曲的原始速度最接近的基本乘子。這里，該基 本乘子是作為用于速度修正的常數(shù)比的基本單位的乘子。例如，七種乘子(即，1/3、1/2、 2/3、1、3/2、2和3)中的任何一種被用作該基本乘子。然而，本實(shí)施例的應(yīng)用范圍不限于這 些示例，并且基本乘子例如可以是五種乘子(即，1/3、1/2、1、2和3)中的任何一種。為了確 定最優(yōu)基本乘子，速度修正單元224首先在用各個(gè)基本乘子修正拍子位置之后計(jì)算平均拍 子概率。然而，在基本乘子為1的情況中，平均拍子概率是針對(duì)拍子位置未被修正的情況來 計(jì)算的。例如，平均拍子概率是由速度修正單元224通過如圖28中所示的方法針對(duì)各個(gè)基 本乘子來計(jì)算的。在圖28中，在時(shí)間軸上用折線示出由拍子概率計(jì)算單元202計(jì)算出的拍子概率。 此外，在水平軸上示出根據(jù)這些乘子中的任何一個(gè)修正的3個(gè)拍子的幀編號(hào)FhfFh和Fh+1。 這里，當(dāng)幀編號(hào)Fh處的拍子概率是BP (h)時(shí)，根據(jù)乘子r修正的拍子位置的群組F (r)的平 均拍子概率BPAve (r)由以下等式(9)給出。這里，m(r)是群組F(r)中所包括的幀編號(hào)的個(gè)數(shù)。[等式9] 如使用圖26的樣式26C-1和26C-2所描述的，在基本乘子為1/2的情況中，對(duì)于 拍子位置存在兩種候選。在這種情況中，速度修正單元224針對(duì)拍子位置的這兩種候選中 的每一種計(jì)算平均拍子概率BPAve(r)，并且采用具有較高平均拍子概率BPAve(r)的拍子位置 作為根據(jù)乘子r = 1/2修正的拍子位置。類似地，在乘子r為1/3的情況中，對(duì)于拍子位置 存在三種候選。因此，速度修正單元224針對(duì)拍子位置的這三種候選中的每一種計(jì)算平均 拍子概率BPAve(r)，并且采用具有最高平均拍子概率BPAve(r)的拍子位置作為根據(jù)乘子r = 1/3修正的拍子位置。在針對(duì)各個(gè)基本乘子計(jì)算了平均拍子概率之后，速度修正單元224基于估計(jì)速度 和平均拍子概率來針對(duì)各個(gè)基本乘子計(jì)算修正后速度的似然(以下，稱為速度似然)。速度 似然可以由以估計(jì)速度為中心的高斯分布示出的速度概率與平均拍子概率的乘積來表示。 例如，由速度修正單元224計(jì)算如圖29中所示的速度似然。
29
在圖29(29A)中示出由速度修正單元224針對(duì)各個(gè)乘子計(jì)算出的平均拍子概率。 并且，圖29(29B)示出高斯分布形式的速度概率，該高斯分布由預(yù)先給出的特定方差ο 1確 定并且以由速度修正單元224基于音頻信號(hào)的波形估計(jì)出的估計(jì)速度為中心。此外，圖29 中的29Α和29Β的水平軸表示拍子位置根據(jù)各個(gè)乘子被修正之后，速度的對(duì)數(shù)。速度修正 單元224針對(duì)基本乘子中的每個(gè)基本乘子，通過將平均拍子概率與速度概率彼此相乘來計(jì) 算29C中所示的速度似然。在圖29的示例中，盡管平均拍子概率對(duì)于基本乘子是1時(shí)和其 為1/2時(shí)幾乎是相同的，但是被修正為1/2倍的速度與估計(jì)速度更接近(速度概率高)。因 此，對(duì)于被修正為1/2倍的速度，所計(jì)算出的速度似然更高。速度修正單元224以這種方式 計(jì)算速度似然，并且確定產(chǎn)生最高速度似然的基本乘子，作為使得修正后的速度最接近樂 曲的原始速度的基本乘子。以這種方式，通過在有可能的速度的確定中考慮可以從估計(jì)速度獲得的速度概 率，可以從候選中精確地確定恰當(dāng)?shù)乃俣?，這些候選是具有常數(shù)倍關(guān)系并且基于聲音的局 部波形難以相互辨別的速度。當(dāng)速度被以這種方式修正之后，速度修正單元224執(zhí)行(S3) 重復(fù)(S2)直到基本乘子為1為止。具體而言，由速度修正單元224針對(duì)各個(gè)基本乘子重 復(fù)平均拍子概率的計(jì)算和速度似然的計(jì)算，直到產(chǎn)生最高速度似然的基本乘子是1為止。 結(jié)果，即使速度修正單元224的修正之前的速度是樂曲的原始速度的的1/4倍、1/6倍、4 倍、6倍等，該速度也可以用通過基本乘子的組合獲得的用于修正的恰當(dāng)乘子(例如，1/2 倍X 1/2倍=1/4倍)來修正。這里，參考圖30，將簡(jiǎn)要描述速度修正單元224的修正處理流程。如圖30中所示， 首先，速度修正單元224通過使用由特征量計(jì)算公式生成設(shè)備10預(yù)先獲得的估計(jì)速度辨別 公式來從音頻信號(hào)中確定估計(jì)速度(S1442)。接著，速度修正單元224針對(duì)多個(gè)基本乘子 (例如，1/3、1/2等)來順次執(zhí)行循環(huán)(S1444)。在循環(huán)內(nèi)，速度修正單元224根據(jù)各個(gè)基本 乘子來改變拍子位置并且修正速度(S1446)。接著，速度修正單元224計(jì)算修正后的拍子位 置的平均拍子概率(S1448)。接著，速度修正單元224基于在S1448處計(jì)算出的平均拍子概 率和在S1442處確定的估計(jì)速度來針對(duì)各個(gè)基本乘子計(jì)算速度似然(S1450)。然后，當(dāng)該循環(huán)對(duì)于所有基本乘子都完成了時(shí)(S1452)，速度修正單元224確定產(chǎn) 生最高速度似然的基本乘子(S1454)。然后，速度修正單元224判定產(chǎn)生最高速度似然的基 本乘子是否是1 (S1456)。如果產(chǎn)生最高速度似然的基本乘子是1，則速度修正單元224結(jié) 束修正處理。另一方面，當(dāng)產(chǎn)生最高速度似然的基本乘子不是1時(shí)，速度修正單元224返回 步驟S1444的處理。從而，基于根據(jù)產(chǎn)生最高速度似然的基本乘子修正后的速度(拍子位 置)，再次執(zhí)行根據(jù)基本乘子中的任何一個(gè)的速度修正。以上，已經(jīng)描述了拍子檢測(cè)單元132的配置。利用上述處理，如圖31中所示的拍 子位置的檢測(cè)結(jié)果從拍子檢測(cè)單元132被輸出。拍子檢測(cè)單元132的檢測(cè)結(jié)果被輸入結(jié)構(gòu) 分析單元134，并且用于音樂結(jié)構(gòu)分析。(2-4-2.結(jié)構(gòu)分析單元134的配置)接著，將描述結(jié)構(gòu)分析單元134的配置。如圖32中所示，結(jié)構(gòu)分析單元134輸入來 自對(duì)數(shù)譜分析單元108的對(duì)數(shù)譜和來自拍子分析單元204的拍子位置。結(jié)構(gòu)分析單元134 基于對(duì)數(shù)譜和拍子位置來計(jì)算音頻信號(hào)中所包括的拍子區(qū)間之間聲音的類似概率。如圖32 中所示，結(jié)構(gòu)分析單元134包括拍子區(qū)間特征量計(jì)算單元226、相關(guān)計(jì)算單元228和類似概
30率生成單元230。拍子區(qū)間特征量計(jì)算單元226關(guān)于由拍子分析單元204檢測(cè)到的各個(gè)拍子來計(jì)算 拍子區(qū)間特征量，拍子區(qū)間特征量表示從該拍子到下一個(gè)拍子的拍子區(qū)間的局部對(duì)數(shù)譜的 特征。這里，參考圖33，將簡(jiǎn)要描述拍子、拍子區(qū)間和拍子區(qū)間特征量之間的關(guān)系。在圖33 中示出由拍子分析單元204檢測(cè)到的6個(gè)拍子位置Bl至B6。在該示例中，該拍子區(qū)間是 通過在拍子位置處劃分音頻信號(hào)所獲得的區(qū)間，并且指示從一個(gè)拍子到下一個(gè)拍子之間的 區(qū)間。例如，拍子區(qū)間BDl是從拍子Bl至拍子B2的區(qū)間，拍子區(qū)間BD2是從拍子B2至拍 子B3的區(qū)間，并且拍子區(qū)間BD3是從拍子B3至拍子B4的區(qū)間。此外，拍子區(qū)間特征量計(jì) 算單元226從與各個(gè)拍子區(qū)間BDl至BD6相對(duì)應(yīng)的局部對(duì)數(shù)譜中計(jì)算各個(gè)拍子區(qū)間特征量 BFl 至 BF6。拍子區(qū)間特征量計(jì)算單元226通過如圖34和圖35中所示的方法來計(jì)算拍子區(qū)間 特征量。在圖34(34A)中，示出與由拍子區(qū)間特征量計(jì)算單元226截取的拍子對(duì)應(yīng)的拍子區(qū) 間BD的局部對(duì)數(shù)譜。拍子區(qū)間特征量計(jì)算單元226對(duì)局部對(duì)數(shù)譜的各個(gè)音調(diào)(八度音階 的數(shù)目X 12個(gè)音符)的能量進(jìn)行時(shí)間平均。通過該時(shí)間平均，計(jì)算各個(gè)音調(diào)的平均能量。 在圖34(34B)中示出由拍子區(qū)間特征量計(jì)算單元226計(jì)算出的各個(gè)音調(diào)的平均能量水平。接著，將參考圖35。在圖35(35A)示出與圖34(34B)中所示一樣的各個(gè)音調(diào)的平 均能量水平。拍子區(qū)間特征量計(jì)算單元226針對(duì)12個(gè)音符，對(duì)若干個(gè)八度音階中不同八度 音階中具有相同名稱的音符的平均能量的值求加權(quán)和，并且計(jì)算相應(yīng)12個(gè)音符的能量。例 如，在圖35的35B和35C中所示的示例中，使用特定的權(quán)重(W15W2,... ,Wn)對(duì)η個(gè)八度音階 上的音符((。。...，Cn)的平均能量求加權(quán)和，并且計(jì)算出音符C的能量值Enc。此外，以 相同的方式，通過使用特定的權(quán)重(WnW2,...，Wn)對(duì)η個(gè)八度音階上的音符B (B1, B2,...， Bn)的平均能量求加權(quán)和，并且計(jì)算出音符B的能量值ΕηΒ。對(duì)于音符C和弦符B之間的10 個(gè)音符比#至八#)同樣如此。結(jié)果，生成了將相應(yīng)12個(gè)音符的能量值EN。，ENcs,...，EN^t 為元素的12維向量。拍子區(qū)間特征量計(jì)算單元226針對(duì)每個(gè)拍子計(jì)算這樣的相應(yīng)12個(gè)音 符的能量(12維向量)作為拍子區(qū)間特征量BF，并且將它輸入相關(guān)計(jì)算單元228。用于加權(quán)和計(jì)算的各個(gè)八度音階的權(quán)重W1，W2，... ,Wn的值優(yōu)選在普通樂曲的旋 律或和弦清楚的中音域中較大。該配置使得能夠在更清楚地反映旋律或和弦的特征的情況 下對(duì)樂曲結(jié)構(gòu)進(jìn)行分析。相關(guān)計(jì)算單元228針對(duì)音頻信號(hào)中所包括的所有拍子區(qū)間對(duì)，通過使用從拍子區(qū) 間特征量計(jì)算單元226輸入的拍子區(qū)間特征量(各個(gè)拍子區(qū)間的相應(yīng)12個(gè)音符的能量) 來計(jì)算拍子區(qū)間之間的相關(guān)系數(shù)。例如，相關(guān)計(jì)算單元228通過如圖36中所示的方法來計(jì) 算相關(guān)系數(shù)。在圖36中，示出第一所關(guān)注拍子區(qū)間BDi和第二所關(guān)注拍子區(qū)間BR.作為要 計(jì)算相關(guān)系數(shù)的一對(duì)拍子區(qū)間的示例，拍子區(qū)間是通過劃分對(duì)數(shù)譜獲得的。例如，為了計(jì)算這兩個(gè)所關(guān)注區(qū)間之間的相關(guān)系數(shù)，相關(guān)計(jì)算單元228首先獲得 第一所關(guān)注拍子區(qū)間BDi以及前后N個(gè)區(qū)間(也稱為“2N+1個(gè)區(qū)間”)(在圖36的示例中， N =2，總共5個(gè)區(qū)間)的相應(yīng)12個(gè)音符的能量。同樣地，相關(guān)計(jì)算單元228獲得第二所關(guān) 注拍子區(qū)間B 以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量。然后，相關(guān)計(jì)算單元228計(jì)算 所獲得的第一所關(guān)注拍子區(qū)間BDi以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量與所獲得的 第二所關(guān)注拍子區(qū)間BR以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量之間的相關(guān)系數(shù)。相關(guān)計(jì)算單元228針對(duì)所有的第一所關(guān)注拍子區(qū)間BDi和第二所關(guān)注拍子區(qū)間B 對(duì)來計(jì)算 所述相關(guān)系數(shù)，并且向類似概率生成單元230輸出計(jì)算結(jié)果。類似概率生成單元230通過使用預(yù)先生成的變換曲線，將從相關(guān)計(jì)算單元228輸 入的、拍子區(qū)間之間的相關(guān)系數(shù)變換成類似概率。類似概率指示拍子區(qū)間的聲音內(nèi)容之間 的相類似程度。將相關(guān)系數(shù)變換成類似概率時(shí)所使用的變換曲線例如如圖37中所示。在圖37(37A)中示出預(yù)先獲得的兩種概率分布。這兩種概率分布是具有相同聲音 內(nèi)容的拍子區(qū)間之間的相關(guān)系數(shù)的概率分布和具有不同聲音內(nèi)容的拍子區(qū)間之間的相關(guān) 系數(shù)的概率分布。從圖37(37A)中可見，相關(guān)系數(shù)越低，聲音內(nèi)容彼此相同的概率越低，并 且相關(guān)系數(shù)越高，聲音內(nèi)容彼此相同的概率越高。因此，可以預(yù)先生成如圖37 (37B)中所 示、用于從相關(guān)系數(shù)中導(dǎo)出拍子區(qū)間之間的類似概率的變換曲線。類似概率生成單元230 通過使用以這種方式預(yù)先生成的變換曲線，將從相關(guān)計(jì)算單元228輸入的相關(guān)系數(shù)COl例 如變換成類似概率SPl。已被變換出的類似概率例如可以如圖38那樣被可視化。圖38的垂直軸對(duì)應(yīng)于第 一所關(guān)注拍子區(qū)間中的位置，并且水平軸對(duì)應(yīng)于第二所關(guān)注拍子區(qū)間中的位置。此外，二維 平面上所畫出的顏色的濃淡指示該坐標(biāo)處第一所關(guān)注拍子區(qū)間與第二所關(guān)注拍子區(qū)間之 間的類似概率程度。例如，第一所關(guān)注拍子區(qū)間il與和第一所關(guān)注拍子區(qū)間il基本相同 的第二所關(guān)注拍子區(qū)間jl之間的類似概率自然顯示高值，并且示出這些拍子區(qū)間具有相 同的聲音內(nèi)容。當(dāng)被演奏的樂曲部分到達(dá)第二所關(guān)注拍子區(qū)間j2時(shí)，第一所關(guān)注拍子區(qū)間 il與第二所關(guān)注拍子區(qū)間j2之間的類似概率再次顯示高值。即，可以看出，在第二所關(guān)注 拍子區(qū)間j2中，很有可能正在演奏與第一所關(guān)注拍子區(qū)間il的聲音內(nèi)容幾乎相同的聲音 內(nèi)容。由結(jié)構(gòu)分析單元134以這種方式獲得的拍子區(qū)間之間的類似概率被輸入稍后描述的 小節(jié)線檢測(cè)單元140和和弦進(jìn)行檢測(cè)單元142。此外，在本實(shí)施例中，由于拍子區(qū)間中的能量的時(shí)間平均被用于拍子區(qū)間特征量 的計(jì)算，所以，對(duì)于由結(jié)構(gòu)分析單元134進(jìn)行的樂曲結(jié)構(gòu)分析，不考慮拍子區(qū)間中的對(duì)數(shù)譜 中有關(guān)時(shí)間變化的信息。即，即使在兩個(gè)區(qū)間中演奏相同的旋律而該旋律(例如，由于演奏 者的編排)在時(shí)間上彼此偏移時(shí)，所演奏的內(nèi)容仍被判定為相同，只要該偏移僅發(fā)生在拍 子區(qū)間內(nèi)即可。當(dāng)拍子區(qū)間之間的類似概率是以這種方式被計(jì)算出的時(shí)，結(jié)構(gòu)分析單元134劃分 具有高類似概率的拍子區(qū)間中的音樂數(shù)據(jù)，并且分析各個(gè)劃分出的區(qū)間的音樂結(jié)構(gòu)。例如， JP-A-2007-156434中所公開的技術(shù)可以用于音樂結(jié)構(gòu)分析方法。首先，結(jié)構(gòu)分析單元134 針對(duì)每個(gè)劃分出的區(qū)間來提取特定特征量。這里所要提取的特征量例如可以是各個(gè)劃分出 的區(qū)間的音量、與聲源有關(guān)的信息、頻率的平衡、樂器聲音的數(shù)目、各種樂器聲音的比例等。 此外，具有高類似概率的拍子區(qū)間的出現(xiàn)、重復(fù)等的次數(shù)稱為各個(gè)劃分出的區(qū)間的特征量。 通過學(xué)習(xí)算法進(jìn)行的學(xué)習(xí)處理是針對(duì)特征量來執(zhí)行的，并且用于從各個(gè)劃分出的區(qū)間的對(duì) 數(shù)譜中計(jì)算音樂結(jié)構(gòu)的計(jì)算公式被生成。在進(jìn)行學(xué)習(xí)處理時(shí)，例如，副歌部分的局部對(duì)數(shù)譜被提供給學(xué)習(xí)算法作為評(píng)估數(shù) 據(jù)，并且指示副歌部分的判決值被提供作為教師數(shù)據(jù)。而且對(duì)于序曲部分、插曲部分、A旋律 部分、B旋律部分等，通過提供各個(gè)部分的對(duì)數(shù)譜作為評(píng)估數(shù)據(jù)并且提供指示各個(gè)部分的判 決值作為教師數(shù)據(jù)，可以獲得用于計(jì)算各個(gè)部分的判決值或判決概率的計(jì)算公式。結(jié)構(gòu)分析單元134將局部對(duì)數(shù)譜輸入所生成的計(jì)算公式并且提取各個(gè)劃分出的區(qū)間的音樂結(jié)構(gòu)。 結(jié)果，獲得如圖39中所示的音樂結(jié)構(gòu)的分析結(jié)果。以這種方式獲得的音樂結(jié)構(gòu)的分析結(jié)果 被存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元112中。此外，在圖39中，Intro指示序曲部分，Verse A指示A 旋律部分。并且，Chorus指示副歌部分。在圖39的示例中，可見，Intro從時(shí)間Oms開始， 而副歌從時(shí)間72595ms開始。(2-4-3.和弦概率檢測(cè)單元136)接著，將描述和弦概率檢測(cè)單元136。和弦概率檢測(cè)單元136計(jì)算由拍子分析單元 204檢測(cè)到的各個(gè)拍子的拍子區(qū)間中各種和弦被演奏的概率(以下，稱為和弦概率)。由和 弦概率檢測(cè)單元136計(jì)算出的和弦概率用于基調(diào)檢測(cè)單元138的基調(diào)檢測(cè)處理。此外，如 圖40所示，和弦概率檢測(cè)單元136包括拍子區(qū)間特征量計(jì)算單元232、根音特征量準(zhǔn)備單元 234和和弦概率計(jì)算單元236。如上所述，對(duì)數(shù)譜和有關(guān)由拍子檢測(cè)單元132檢測(cè)到的拍子位置的信息被輸入和 弦概率檢測(cè)單元136。因此，拍子區(qū)間特征量計(jì)算單元232關(guān)于由拍子分析單元204檢測(cè)到 的各個(gè)拍子來計(jì)算相應(yīng)12個(gè)音符的能量，作為表示拍子區(qū)間中的音頻信號(hào)的特征的拍子 區(qū)間特征量。拍子區(qū)間特征量計(jì)算單元232計(jì)算作為拍子區(qū)間特征量的相應(yīng)12個(gè)音符的 能量，并且將其輸出給根音特征量準(zhǔn)備單元234。根音特征量準(zhǔn)備單元234基于從拍子區(qū)間 特征量計(jì)算單元232輸入的相應(yīng)12個(gè)音符的能量來生成根音特征量，根音特征量用于各個(gè) 拍子區(qū)間的和弦概率計(jì)算。例如，根音特征量準(zhǔn)備單元234通過圖41和圖42中所示的方 法來生成根音特征量。首先，根音特征量準(zhǔn)備單元234針對(duì)所關(guān)注拍子區(qū)間BDi，提取所關(guān)注拍子區(qū)間 BDi以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量(參考圖41)。所關(guān)注拍子區(qū)間BDi以及前 后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量可以被認(rèn)為是將音符C作為和弦的根音(基音)的特 征量。在圖41的示例中，由于N為2，所以提取出用音符C作為根音的5個(gè)區(qū)間的根音特 征量(12X5維)。接著，根音特征量準(zhǔn)備單元234，通過將用音符C作為根音的5個(gè)區(qū)間的 根音特征量的12個(gè)音符的元素位置轉(zhuǎn)移特定數(shù)目，生成11個(gè)單獨(dú)的根音特征量，每個(gè)根音 特征量針對(duì)5個(gè)區(qū)間并且每個(gè)根音特征量將音符C#至音符B的任何音符作為根音(參考 圖41)。此外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)是在音符C#為根音的情況下為1，在音符D為根 音的情況下為2，……，并且在音符B為根音的情況下為11。結(jié)果，由根音特征量準(zhǔn)備單元 234針對(duì)相應(yīng)12個(gè)音符生成了根音特征量(分別為，12X5維)，每個(gè)根音特征量將從音符 C至音符B的12個(gè)音符中的一個(gè)作為根音。根音特征量準(zhǔn)備單元234針對(duì)所有拍子區(qū)間執(zhí)行如上所述的根音特征量生成處 理，并且準(zhǔn)備用于各個(gè)區(qū)間的和弦概率計(jì)算的根音特征量。此外，在圖41和圖42的示例中， 備用于一個(gè)拍子區(qū)間的特征量是12X5X12維向量。由根音特征量準(zhǔn)備單元234生成的根 音特征量被輸入和弦概率計(jì)算單元236。和弦概率計(jì)算單元236通過使用從根音特征量準(zhǔn) 備單元234輸入的根音特征量，針對(duì)各個(gè)拍子區(qū)間來計(jì)算指示各種和弦被演奏的概率的和 弦概率。這里的“各種和弦”是指例如基于根音(C，C#, D,...)、構(gòu)成音符的數(shù)目(三和弦 (triad)、七和弦(7th chord)、九和弦(9thchord))、調(diào)性(大調(diào)/小調(diào))等來區(qū)分的和弦
中的各種和弦。例如，通過邏輯回歸分析預(yù)先習(xí)得的和弦概率公式可以用于和弦概率的計(jì)
笪弁。
33
例如，和弦進(jìn)行計(jì)算單元236通過圖43中所示的方法來生成用于和弦概率計(jì)算的 和弦概率公式。和弦概率公式是針對(duì)每種和弦執(zhí)行的。即，針對(duì)用于大和弦的和弦概率公 式、用于小和弦的和弦概率公式、用于七和弦的和弦概率公式和用于九和弦的和弦概率公 式中的每一個(gè)，執(zhí)行以下描述的學(xué)習(xí)處理。首先，提供多個(gè)根音特征量(例如，用圖42描述的12X5X12維向量)作為用于 邏輯回歸分析的獨(dú)立變量，每個(gè)根音特征量是針對(duì)正確和弦已知的拍子區(qū)間的。此外，針對(duì) 各個(gè)拍子區(qū)間的根音特征量中的每一個(gè)，提供用于通過邏輯回歸分析預(yù)測(cè)生成概率的 元 數(shù)據(jù)。例如，當(dāng)學(xué)習(xí)用于大和弦的和弦概率公式時(shí)，如果已知的和弦是大和弦，則啞元數(shù)據(jù) 的值將為真值(1)，并且對(duì)于任何其它情況，啞元數(shù)據(jù)的值為假值(0)。并且，當(dāng)學(xué)習(xí)用于小 和弦的和弦概率公式時(shí)，如果已知的和弦是小和弦，則啞元數(shù)據(jù)的值將為真值(1)，并且對(duì) 于任何其它情況，啞元數(shù)據(jù)的值為假值(0)?？梢哉f，對(duì)于七和弦和九和弦也是如此。通過使用上述獨(dú)立變量和 元數(shù)據(jù)來對(duì)足夠數(shù)目的根音特征量(每個(gè)根音特征 量針對(duì)一個(gè)拍子區(qū)間)執(zhí)行邏輯回歸分析，生成了用于從各個(gè)拍子區(qū)間的根音特征量計(jì)算 出和弦概率的和弦概率公式。然后，和弦概率計(jì)算單元236將從根音特征量準(zhǔn)備單元234 輸入的根音特征量應(yīng)用于所生成的和弦概率公式，并且針對(duì)各個(gè)拍子區(qū)間順次計(jì)算各種和 弦的和弦概率。由和弦進(jìn)行計(jì)算單元236進(jìn)行的和弦概率計(jì)算處理例如是通過如圖44中 所示的方法來執(zhí)行的。在圖44(44A)中，示出各個(gè)拍子區(qū)間的根音特征量中，用音符C作為 根音的根音特征量。例如，和弦概率計(jì)算單元236將用于大和弦的和弦概率公式應(yīng)用于用音符C作為 根音的根音特征量，并且針對(duì)各個(gè)拍子區(qū)間計(jì)算和弦為“C”的和弦概率CP。。此外，和弦概 率計(jì)算單元236將用于小和弦的和弦概率公式應(yīng)用于用音符C作為根音的根音特征量，并 且針對(duì)該拍子區(qū)間計(jì)算和弦為“Cm”的和弦概率CP。m。以類似的方式，和弦概率計(jì)算單元 236可以將用于大和弦的和弦概率公式和用于小和弦的和弦概率公式應(yīng)用于用音符C#作 為根音的根音特征量，并且可以計(jì)算和弦“C#”的和弦概率CPra和和弦“C#m”的和弦概率 CPcflffl(44B)。以相同方式計(jì)算和弦“B”的和弦概率CPb和和弦“Bm”的和弦概率CPBm(44C)。如圖45中所示的和弦概率是由和弦進(jìn)行計(jì)算單元236通過上述方法計(jì)算出的。參 考圖45，針對(duì)某一拍子區(qū)間，計(jì)算從音符C至音符B的12種音符中每一種音符的各種和弦 的和弦概率，這些和弦例如是例如“Maj (大和弦)”、“m(小和弦)”、“7 (七和弦)，，和“m7 (小 七和弦)”。根據(jù)圖45的示例，和弦概率CPe是0. 88，CPcm是0. 08，CPc7是0. 01，和弦概率 CPem7是0.02并且CPb是0.01。其它和弦概率值都指示0。此外，在以上述方式計(jì)算多種和 弦的和弦概率之后，和弦概率計(jì)算單元236以使得每拍子區(qū)間的所計(jì)算出的概率值的總和 變成1的方式對(duì)概率值進(jìn)行歸一化。針對(duì)音頻信號(hào)中所包括的所有拍子區(qū)間重復(fù)如上所述 由和弦概率計(jì)算單元236進(jìn)行的和弦概率的計(jì)算和歸一化處理。和弦概率是如上所述由和弦概率檢測(cè)單元136通過拍子區(qū)間特征量計(jì)算單元 232、根音特征量準(zhǔn)備單元234和和弦進(jìn)行計(jì)算單元236的處理來計(jì)算出的。然后，由和弦 概率檢測(cè)單元136計(jì)算出的和弦概率被輸入基調(diào)檢測(cè)單元138。(2-4-4.基調(diào)檢測(cè)單元138的配置)接著，將描述基調(diào)檢測(cè)單元138的配置。如上所述，由和弦概率檢測(cè)單元136計(jì)算 出的和弦概率被輸入基調(diào)檢測(cè)單元138?；{(diào)檢測(cè)單元138是用于通過使用由和弦概率檢測(cè)單元136針對(duì)各個(gè)拍子區(qū)間計(jì)算出的和弦概率來檢測(cè)各個(gè)拍子區(qū)間的基調(diào)(調(diào)性/基本 音階)的裝置。如圖46中所示，基調(diào)檢測(cè)單元138包括相對(duì)和弦概率生成單元238、特征 量準(zhǔn)備單元240、基調(diào)概率計(jì)算單元242和基調(diào)確定單元246。首先，和弦概率從和弦概率檢測(cè)單元136輸入相對(duì)和弦概率生成單元238。相對(duì)和 弦概率生成單元238根據(jù)從和弦概率檢測(cè)單元136輸入的和弦概率，生成用于針對(duì)各個(gè)拍 子區(qū)間的基調(diào)概率計(jì)算的相對(duì)和弦概率。例如，相對(duì)和弦概率生成單元238通過如圖47中 所示的方法來生成相對(duì)和弦概率。首先，相對(duì)和弦概率生成單元238首先從某一所關(guān)注的 拍子區(qū)間的和弦概率中提取出有關(guān)大和弦和小和弦的和弦概率。這里所提取的和弦概率值 被表示為總共24維的向量，S卩，大和弦的12個(gè)音符和小和弦的12個(gè)音符。以下，包括這里 所提取出的和弦概率的24維向量將被視為將音符C假定為基調(diào)的相對(duì)和弦概率。接著，相對(duì)和弦概率生成單元238，將所提取出的大和弦和小和弦的和弦概率值的 12個(gè)音符的元素位置轉(zhuǎn)移特定數(shù)目。通過以這種方式進(jìn)行轉(zhuǎn)移，生成11個(gè)單獨(dú)的相對(duì)和 弦概率。此外，元素位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)與如使用圖42所述生成根音特征量時(shí)的轉(zhuǎn)移數(shù)相 同。以這種方式，由相對(duì)和弦概率生成單元238生成12個(gè)單獨(dú)的相對(duì)和弦概率，每個(gè)相對(duì)和 弦概率假定從音符C至音符B的12個(gè)音符中的一個(gè)作為基調(diào)。相對(duì)和弦概率生成單元238 針對(duì)所有拍子區(qū)間執(zhí)行如上所述的相對(duì)和弦概率生成處理，并且向特征量準(zhǔn)備單元240輸 出所生成的相對(duì)和弦概率。特征量準(zhǔn)備單元240生成要用于各個(gè)拍子區(qū)間的基調(diào)概率計(jì)算的特征量。根據(jù)從 相對(duì)和弦概率生成單元238輸入到特征量準(zhǔn)備單元240的相對(duì)和弦概率所生成的各個(gè)拍子 區(qū)間的和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分被用作特征量準(zhǔn)備單元240所要生成的特征量。首先，特征量準(zhǔn)備單元240通過如圖48中所示的方法生成各個(gè)拍子區(qū)間的和弦出 現(xiàn)得分。首先，特征量準(zhǔn)備單元240假定音符C作為基調(diào)，針對(duì)所關(guān)注的拍子區(qū)間以及前后 M個(gè)拍子區(qū)間來提供相對(duì)和弦概率CP。然后，特征量準(zhǔn)備單元240將所關(guān)注的拍子區(qū)間以 及前后M個(gè)拍子區(qū)間上相同位置處的元素的概率值進(jìn)行加和，這些概率值被包括在假定音 符C作為基調(diào)的相對(duì)和弦概率中。結(jié)果，獲得了與各種和弦的出現(xiàn)概率一致的和弦出現(xiàn)得 分(CEc，CEc#，. . . ,CEbJ (24維向量)，出現(xiàn)概率是針對(duì)所關(guān)注的拍子區(qū)間和所關(guān)注的拍子區(qū) 間周圍的多個(gè)拍子區(qū)間的并且是假定音符C作為基調(diào)的。特征量準(zhǔn)備單元240針對(duì)假定從 音符C至音符B的12個(gè)音符中的一個(gè)作為基調(diào)的每種情況，執(zhí)行上述和弦出現(xiàn)得分計(jì)算。 根據(jù)該計(jì)算，對(duì)于一個(gè)所關(guān)注的拍子區(qū)間，獲得12個(gè)單獨(dú)的和弦出現(xiàn)得分。接著，特征量準(zhǔn)備單元240通過如圖49中所示的方法來生成各個(gè)拍子區(qū)間的和弦 過渡出現(xiàn)得分。首先，特征量準(zhǔn)備單元240關(guān)于拍子區(qū)間BDi與相鄰拍子區(qū)間BDi+1之間的所 有和弦對(duì)(所有和弦過渡)，將和弦過渡前后的相對(duì)和弦概率彼此相乘，這些相對(duì)和弦概率 假定音符C作為基調(diào)。這里，“所有的和弦對(duì)”是指24X24對(duì)，即，“C” 一“C”、“C” —“C#，，、 “C”一“D”、……“B”一“B”。接著，特征量準(zhǔn)備單元240針對(duì)整個(gè)所關(guān)注的拍子區(qū)間和前 后M個(gè)區(qū)間，對(duì)和弦過渡前后的相對(duì)和弦概率的相乘結(jié)果進(jìn)行加和。結(jié)果，獲得了與各種和 弦過渡的出現(xiàn)概率一致的24X24維和弦過渡出現(xiàn)得分(24X24維向量)，出現(xiàn)概率是針對(duì) 所關(guān)注的拍子區(qū)間和所關(guān)注的拍子區(qū)間周圍的多個(gè)拍子區(qū)間的并且是假定音符C作為基 調(diào)的。例如，對(duì)于所關(guān)注的拍子區(qū)間BDi,有關(guān)從“C”至“C#”的和弦過渡的和弦過渡出現(xiàn)得 分CTpraii)由以下等式(10)給出。
35
[等式10]CTc —c#(i) = CPc (i-M) · CPcfl (i-M+1)+—+CPc (i+M) · CPcfl (i+M+1). . . (10)以這種方式，特征量準(zhǔn)備單元240針對(duì)假定從音符C至音符B的12種音符中的一 種音符作為基調(diào)的每種情況，執(zhí)行上述24X24次單獨(dú)的和弦過渡出現(xiàn)得分CT計(jì)算。根據(jù) 該計(jì)算，對(duì)于一個(gè)所關(guān)注的拍子區(qū)間，獲得12個(gè)單獨(dú)的和弦過渡出現(xiàn)得分。此外，與傾向于 因各個(gè)小節(jié)而變化的和弦不同，例如，在許多情況下，樂曲的基調(diào)通常在較長(zhǎng)一段時(shí)間保持 不變。因此，對(duì)要用于和弦出現(xiàn)得分或和弦過渡出現(xiàn)得分的計(jì)算的相對(duì)和弦概率的范圍進(jìn) 行定義的M的值例如是可以包括許多小節(jié)(例如，幾十個(gè)拍子)的合適的值。特征量準(zhǔn)備 單元240向基調(diào)概率計(jì)算單元242輸入針對(duì)各個(gè)拍子區(qū)間計(jì)算出的24維和弦出現(xiàn)得分CE 和24X24維和弦過渡出現(xiàn)得分，作為用于計(jì)算基調(diào)概率的特征量。基調(diào)概率計(jì)算單元242通過使用從特征量準(zhǔn)備單元240輸入的和弦出現(xiàn)得分和和 弦過渡出現(xiàn)得分，來針對(duì)各個(gè)拍子區(qū)間計(jì)算基調(diào)概率，基調(diào)概率指示各種基調(diào)被演奏的概 率?！案鞣N基調(diào)”是指例如基于12個(gè)音符(C，C#, D,...)或調(diào)性(大調(diào)/小調(diào))來區(qū)分的 基調(diào)。例如，通過邏輯回歸分析預(yù)先習(xí)得的基調(diào)概率公式可以用于基調(diào)概率計(jì)算。例如，基 調(diào)概率計(jì)算單元242通過如圖50中所示的方法來生成用于基調(diào)概率計(jì)算的基調(diào)概率公式。 對(duì)基調(diào)概率公式的學(xué)習(xí)是針對(duì)大調(diào)和小調(diào)獨(dú)立執(zhí)行的。因此，生成大調(diào)概率公式和小調(diào)概 率公式。如圖50中所示，提供正確基調(diào)已知的各個(gè)拍子小區(qū)的多個(gè)和弦出現(xiàn)得分和和弦 過渡出現(xiàn)得分，作為邏輯回歸分析中的獨(dú)立變量。接著，針對(duì)所提供的和弦出現(xiàn)得分和和弦 過渡出現(xiàn)得分對(duì)中的每一對(duì)，提供用于通過邏輯回歸分析來預(yù)測(cè)生成概率的 元數(shù)據(jù)。例 如，當(dāng)學(xué)習(xí)大調(diào)概率公式時(shí)，如果已知的基調(diào)是大調(diào)，則 元數(shù)據(jù)將為真值(1)，并且當(dāng)是任 何其它情況時(shí)， 元數(shù)據(jù)為假值(0)。并且，當(dāng)學(xué)習(xí)小調(diào)概率公式時(shí)，如果已知的基調(diào)是小 調(diào)，則啞元數(shù)據(jù)將為真值(1)，并且當(dāng)是任何其它情況時(shí)，啞元數(shù)據(jù)為假值(0)。通過使用足夠數(shù)目的獨(dú)立變量和啞元數(shù)據(jù)對(duì)來執(zhí)行邏輯回歸分析，生成用于從和 弦出現(xiàn)得分和和弦過渡出現(xiàn)得分對(duì)中計(jì)算出大調(diào)或小調(diào)的概率的基調(diào)概率公式?；{(diào)概率 計(jì)算單元242將從特征量準(zhǔn)備單元240輸入的一對(duì)和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用 于基調(diào)概率公式中的每一個(gè)，并且針對(duì)各個(gè)拍子區(qū)間順次計(jì)算各種基調(diào)的基調(diào)概率。例如， 基調(diào)概率是通過如圖51中所示的方法來計(jì)算的。例如，在圖51 (51A)中，基調(diào)概率計(jì)算單元242將假定音符C為基調(diào)的一對(duì)和弦出 現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用于預(yù)先通過學(xué)習(xí)獲得的大調(diào)概率公式，并且針對(duì)各個(gè)拍子 區(qū)間計(jì)算基調(diào)為“C”的基調(diào)概率KP。。同樣，基調(diào)概率計(jì)算單元242將假定音符C為基調(diào)的 這一對(duì)和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用于小調(diào)概率公式，并且針對(duì)相應(yīng)拍子區(qū)間計(jì) 算基調(diào)為“Cm”的基調(diào)概率KP。m。類似地，基調(diào)概率計(jì)算單元242將假定音符C#為基調(diào)的 一對(duì)和弦出現(xiàn)得分和和弦過渡出現(xiàn)得分應(yīng)用于大調(diào)概率公式和小調(diào)概率公式，并且計(jì)算基 調(diào)概率KPra和KPram(51B)?？梢哉f，對(duì)基調(diào)概率KPb和KPBm的計(jì)算同樣如此(51C)。例如，通過這樣的計(jì)算，計(jì)算出如圖52中所示的基調(diào)概率。參考圖52，對(duì)于從音 符C至音符B的12個(gè)音符中的每一個(gè)，針對(duì)某一拍子區(qū)間計(jì)算兩種基調(diào)概率，一種針對(duì) "Maj (大調(diào))”并且一種針對(duì)“m(小調(diào))”。根據(jù)圖52的示例，基調(diào)概率KPc是0. 90，并且基 調(diào)概率KPai是0.03。此外，除上述基調(diào)概率以外的基調(diào)概率值都指示0。在計(jì)算了所有類型的基調(diào)的基調(diào)概率之后，基調(diào)概率計(jì)算單元242以使得每拍子區(qū)間的所計(jì)算出的概率值 的總和為1的方式對(duì)概率值進(jìn)行歸一化。針對(duì)音頻信號(hào)中所包括的所有拍子區(qū)間重復(fù)如上 所述由基調(diào)概率計(jì)算單元242進(jìn)行的計(jì)算和歸一化處理。以這種方式針對(duì)各個(gè)拍子區(qū)間所 計(jì)算出的基調(diào)概率被輸入基調(diào)確定單元246。這里，基調(diào)概率計(jì)算單元242根據(jù)針對(duì)從音符C至音符B的12種音符中的每一種 音符并且針對(duì)兩種基調(diào)(即，大調(diào)和小調(diào))所計(jì)算出的基調(diào)概率來計(jì)算出不區(qū)分大調(diào)和小 調(diào)的基調(diào)概率(簡(jiǎn)單基調(diào)概率)。例如，基調(diào)概率計(jì)算單元242通過如圖53中所示的方法 來計(jì)算簡(jiǎn)單基調(diào)概率。如圖53(53A)中所示，例如，由基調(diào)概率計(jì)算單元242針對(duì)某一拍子 區(qū)間計(jì)算出來的基調(diào)概率KPc, KPcm、KPa和KPadi分別是0. 90,0. 03,0. 02和0. 05。其它基調(diào) 概率值全都指示0?；{(diào)概率計(jì)算單元242，通過針對(duì)從音符C至音符B的12種音符中的 每一種、對(duì)為平行調(diào)關(guān)系的基調(diào)的基調(diào)概率值進(jìn)行加和，來計(jì)算不區(qū)分大調(diào)和小調(diào)的簡(jiǎn)單 基調(diào)概率。例如，簡(jiǎn)單基調(diào)概率SKPe是基調(diào)概率KPe和KPAm的總和，即，SKPe = 0. 90+0. 05 =0.95。這是因?yàn)镃大調(diào)(基調(diào)“C”)和A小調(diào)(基調(diào)“Am”)為平行調(diào)關(guān)系。類似地針對(duì) 音符C#至音符B執(zhí)行簡(jiǎn)單基調(diào)概率值的計(jì)算。由基調(diào)概率計(jì)算單元242計(jì)算出的12個(gè)單 獨(dú)的簡(jiǎn)單基調(diào)概率SKP。至SKPb被輸入基調(diào)確定單元246?，F(xiàn)在，基調(diào)確定單元246基于由基調(diào)概率計(jì)算單元242針對(duì)各個(gè)拍子區(qū)間計(jì)算出 的各個(gè)基調(diào)的基調(diào)概率，通過路徑搜索來確定有可能的基調(diào)進(jìn)行。上述Viterbi算法例如 被用作由基調(diào)確定單元246進(jìn)行的路徑搜索的方法。Viterbi路徑的路徑搜索例如是通過 如圖54中所示的方法來執(zhí)行的。此時(shí)，拍子被順次布置為時(shí)間軸(水平軸)并且基調(diào)類型 被布置為觀測(cè)序列(垂直軸)。因此，基調(diào)確定單元246將所有基調(diào)類型與拍子對(duì)中的每一 對(duì)作為路徑搜索的對(duì)象節(jié)點(diǎn)，對(duì)于這些拍子，已經(jīng)由基調(diào)概率計(jì)算單元242計(jì)算出了基調(diào) 概率。關(guān)于所述節(jié)點(diǎn)，基調(diào)確定單元246沿時(shí)間軸順次選擇這些節(jié)點(diǎn)中的任何一個(gè)，并 且通過使用兩個(gè)評(píng)估值，(1)基調(diào)概率和(2)基調(diào)過渡概率，來評(píng)估由一連串所選擇的節(jié)點(diǎn) 形成的路徑。此外，在由基調(diào)確定單元246進(jìn)行對(duì)節(jié)點(diǎn)的選擇時(shí)，不允許跳過拍子。這里， 要用于評(píng)估的(1)基調(diào)概率是由基調(diào)概率計(jì)算單元242計(jì)算出的基調(diào)概率。對(duì)圖54中所 示的各個(gè)節(jié)點(diǎn)給出基調(diào)概率。另一方面，(2)基調(diào)過渡概率是對(duì)節(jié)點(diǎn)間的過渡給出的評(píng)估 值?；{(diào)過渡概率是基于正確基調(diào)已知的樂曲中轉(zhuǎn)調(diào)的發(fā)生概率，針對(duì)各種轉(zhuǎn)調(diào)樣式預(yù)先 定義的。與針對(duì)過渡的轉(zhuǎn)調(diào)量相應(yīng)的12個(gè)單獨(dú)的值被定義為以下4種樣式的基調(diào)過渡中 每種樣式的基調(diào)過渡概率從大調(diào)至大調(diào)、從大調(diào)至小調(diào)、從小調(diào)至大調(diào)和從小調(diào)至小調(diào)。 圖55示出與針對(duì)從大調(diào)至大調(diào)的基調(diào)過渡的轉(zhuǎn)調(diào)量相應(yīng)的12個(gè)單獨(dú)的概率值的示例。在 圖55的示例中，當(dāng)與轉(zhuǎn)調(diào)量Ak有關(guān)的基調(diào)過渡概率是Pr (Ak)時(shí)，Pr(O)為0. 9987。這指 示樂曲中基調(diào)變化的概率很低。另一方面，基調(diào)過渡概率Pr(I)為0.0002。這指示基調(diào)被 升高一個(gè)音調(diào)(或被降低11個(gè)音調(diào))的概率是0.02%。類似地，在圖55的示例中，Pr (2)、 Pr(3)、Pr(4)、Pr(5)、Pr(7)、Pr(8)、Pr(9)和 Pr (10)分別是 0.0001。并且，Pr (6)和 Pr(Il) 分別是0. 0000。與轉(zhuǎn)調(diào)量相應(yīng)的12個(gè)單獨(dú)的概率值還是針對(duì)以下過渡樣式中的每種過渡 樣式而分別定義的從大調(diào)至小調(diào)，從小調(diào)至大調(diào)以及從小調(diào)至小調(diào)?；{(diào)確定單元246關(guān)于表示基調(diào)進(jìn)行的各個(gè)路徑，將路徑中所包括的各個(gè)節(jié)點(diǎn)的
37(1)基調(diào)概率和對(duì)節(jié)點(diǎn)間的過渡所給出的(2)基調(diào)過渡概率彼此順次相乘。然后，基調(diào)確定 單元246確定使得作為路徑評(píng)估值的相乘結(jié)果最大的路徑，作為表示有可能的基調(diào)進(jìn)行的 最優(yōu)路徑。例如，如圖56中所示的基調(diào)進(jìn)行是由基調(diào)確定單元246確定的。在圖56中，在 從樂曲的開始到結(jié)束的時(shí)間尺度下，示出由基調(diào)確定單元246確定的樂曲的基調(diào)進(jìn)行的示 例。在該示例中，從樂曲的開始起3分鐘，樂曲的基調(diào)是“Cm”。之后，樂曲的基調(diào)變?yōu)椤癈#m” 并且基調(diào)保持不變直到樂曲結(jié)束。以這種方式通過相對(duì)和弦概率生成單元238、特征量準(zhǔn)備 單元240、基調(diào)概率計(jì)算單元242和基調(diào)確定單元246的處理所確定的基調(diào)進(jìn)行被輸入小節(jié) 線檢測(cè)單元140。(2-4-5.小節(jié)線檢測(cè)單元140的配置)接著，將描述小節(jié)線檢測(cè)單元140。由結(jié)構(gòu)分析單元134計(jì)算出的類似概率、由拍 子檢測(cè)單元132計(jì)算出的拍子概率、由基調(diào)檢測(cè)單元138計(jì)算出的基調(diào)概率和基調(diào)進(jìn)行和 由和弦概率檢測(cè)單元136檢測(cè)出的和弦概率被輸入小節(jié)線檢測(cè)單元140。小節(jié)線檢測(cè)單元 140基于拍子概率、拍子區(qū)間之間的類似概率、各個(gè)拍子區(qū)間的和弦概率、基調(diào)進(jìn)行以及各 個(gè)拍子區(qū)間的基調(diào)概率，確定小節(jié)線進(jìn)行，小節(jié)線進(jìn)行指示一連串的拍子中各個(gè)拍子對(duì)應(yīng) 于哪種節(jié)拍中的哪個(gè)拍數(shù)。如圖57中所示，小節(jié)線檢測(cè)單元140包括第一特征量提取單元 252、第二特征量提取單元254、小節(jié)線概率計(jì)算單元256、小節(jié)線概率校正單元258、小節(jié)線 確定單元260和小節(jié)線重新確定單元262。第一特征量提取單元252針對(duì)各個(gè)拍子區(qū)間，根據(jù)該拍子區(qū)間以及前后L個(gè)區(qū)間 的和弦概率和基調(diào)概率來提取第一特征量，作為用于稍后描述的小節(jié)線概率計(jì)算的特征 量。例如，第一特征量提取單元252通過如圖58中所示的方法來提取第一特征量。如圖58 中所示，第一特征量包括(1)無和弦變化得分和(2)相對(duì)和弦得分，它們是從所關(guān)注的拍子 區(qū)間BDi以及前后L個(gè)拍子區(qū)間的和弦概率和基調(diào)概率中導(dǎo)出的。其中，無和弦變化得分 是所具有的維數(shù)與包括所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)拍子區(qū)間在內(nèi)的區(qū)間的數(shù)目相 等的特征量。另一方面，相對(duì)和弦得分是對(duì)于所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)拍子區(qū) 間中每個(gè)區(qū)間具有24維的特征量。例如，當(dāng)L是8時(shí)，無和弦變化得分是17維的而相對(duì)和 弦得分是408維(17X24維)的，并且因此，第一特征量總共有425維。以下，將描述無和 弦變化得分和相對(duì)和弦得分。(1)無和弦變化得分首先，將描述無和弦變化得分。無和弦變化得分是表示樂曲的和弦不在特定區(qū)間 范圍上變化的程度的特征量。無和弦變化得分是通過將接下來所要描述的和弦穩(wěn)定性得分 除以和弦不穩(wěn)定性得分而獲得的。在圖59的示例中，拍子區(qū)間BDi的和弦穩(wěn)定性得分包括 元素CC(i-L)至CC(i+L)，CC(i-L)至CC(i+L)中的每一個(gè)是針對(duì)拍子區(qū)間BDi以及前后L 個(gè)拍子區(qū)間中的相應(yīng)區(qū)間來確定的。這些元素中的每一個(gè)被計(jì)算出，作為目標(biāo)拍子區(qū)間與 緊接在前的拍子區(qū)間之間具有相同名稱的和弦的和弦概率的乘積的總和值。例如，通過對(duì)拍子區(qū)間BDiK與拍子區(qū)間BDM之間具有相同名稱的和弦的和弦概 率的乘積進(jìn)行加和，計(jì)算出和弦穩(wěn)定性得分CC(i-L)。以類似的方式，通過對(duì)拍子區(qū)間BDi^ 與拍子區(qū)間BDm的和弦概率中具有相同名稱的和弦的和弦概率的乘積進(jìn)行加和，計(jì)算出和 弦穩(wěn)定性得分CC(i+L)。第一特征量提取單元252針對(duì)整個(gè)所關(guān)注的拍子區(qū)間BDi以及前 后L個(gè)拍子區(qū)間執(zhí)行上述計(jì)算，并且計(jì)算2L+1個(gè)單獨(dú)的和弦穩(wěn)定性得分。
另一方面，如圖60中所示，拍子區(qū)間BDi的和弦不穩(wěn)定性得分包括元素⑶(i_L)至 CU(i+L)，這些元素中的每一個(gè)是針對(duì)拍子區(qū)間BDi以及前后L個(gè)拍子區(qū)間中的相應(yīng)區(qū)間來 確定的。這些元素中的每一個(gè)被計(jì)算出，作為目標(biāo)拍子區(qū)間與緊接在前的拍子區(qū)間之間所 有具有不同名稱的和弦對(duì)的和弦概率的乘積的總和值。例如，通過對(duì)拍子區(qū)間BDiK與拍 子區(qū)間BDm的和弦概率中具有不同名稱的和弦的和弦概率的乘積進(jìn)行加和，計(jì)算出和弦不 穩(wěn)定性得分⑶(i_L)。以類似的方式，通過對(duì)拍子區(qū)間BDiU與拍子區(qū)間BDm的和弦概率 中具有不同名稱的和弦的和弦概率的乘積進(jìn)行加和，計(jì)算出和弦不穩(wěn)定性得分CU(i+L)。第 一特征量提取單元252針對(duì)整個(gè)所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)拍子區(qū)間執(zhí)行上述計(jì) 算，并且計(jì)算2L+1個(gè)單獨(dú)的和弦不穩(wěn)定性得分。在計(jì)算了和弦穩(wěn)定性得分和和弦不穩(wěn)定性得分之后，第一特征量提取單元252針 對(duì)所關(guān)注的拍子區(qū)間BDi,對(duì)于每組2L+1個(gè)元素，通過將和弦穩(wěn)定性得分除以和弦不穩(wěn)定性 得分來計(jì)算無和弦變化得分。例如，假定對(duì)于所關(guān)注的拍子區(qū)間BDi,和弦穩(wěn)定性得分CC是 (CC^l, ... , CCiJ并且和弦不穩(wěn)定性得分⑶是(⑶…...,CUiJ。在這種情況中，無和弦 變化得分CR是(CCi JCUi^ ...，CCiJCUi J。所關(guān)注拍子區(qū)間周圍給定范圍內(nèi)的和弦變化 越少，則以這種方式計(jì)算出的無和弦變化得分指示越高的值。第一特征量提取單元252以 這種方式計(jì)算音頻信號(hào)中所包括的所有拍子區(qū)間的無和弦變化得分。(2)相對(duì)和弦得分接著，將描述相對(duì)和弦得分。相對(duì)和弦得分是表示給定范圍內(nèi)的區(qū)間上和弦的出 現(xiàn)概率及其樣式的特征量。相對(duì)和弦得分是通過根據(jù)從基調(diào)檢測(cè)單元138輸入的基調(diào)進(jìn)行 來轉(zhuǎn)移和弦概率的元素位置而生成的。例如，相對(duì)和弦得分是通過如圖61所示的方法生成 的。在圖61(61A)中示出由基調(diào)檢測(cè)單元138確定的基調(diào)進(jìn)行的示例。在該示例中，樂曲 的基調(diào)在從樂曲的開始起3分鐘后從“B”變?yōu)椤癈#m”。此外，還示出所關(guān)注的拍子區(qū)間BDi 的位置，拍子區(qū)間BDi在前后L個(gè)區(qū)間內(nèi)包括基調(diào)改變的時(shí)間點(diǎn)。此時(shí)，第一特征量提取單元252，針對(duì)基調(diào)為“B”的拍子區(qū)間生成相對(duì)和弦概率， 其中，拍子區(qū)間的包括大調(diào)和小調(diào)的24維和弦概率的元素的位置被轉(zhuǎn)移使得和弦概率CPb 在開始處出現(xiàn)。同樣，第一特征量提取單元252針對(duì)基調(diào)為“C#m”的拍子區(qū)間生成相對(duì)和 弦概率，其中拍子區(qū)間的包括大調(diào)和小調(diào)的24維和弦概率的元素的位置被轉(zhuǎn)移使得和弦 概率CPram在開始處出現(xiàn)。第一特征量提取單元252針對(duì)所關(guān)注的拍子區(qū)間以及前后L個(gè) 區(qū)間中的每個(gè)區(qū)間來生成這樣的相對(duì)和弦概率，并且輸出所生成的相對(duì)和弦概率的集合 ((2L+1) X24維特征量向量)作為相對(duì)和弦得分。從如上所述的(1)無和弦變化得分和(2)相對(duì)和弦得分形成的第一特征量從第一 特征量提取單元252輸出到小節(jié)線概率計(jì)算單元256?，F(xiàn)在，除了第一特征量以外，第二特 征量也被輸入小節(jié)線概率計(jì)算單元256。因此，將描述第二特征量提取單元254的配置。第二特征量提取單元254針對(duì)各個(gè)拍子區(qū)間，根據(jù)拍子區(qū)間以及前后L個(gè)區(qū)間上 拍子概率中的變化特征來提取第二特征量，作為用于稍后描述的小節(jié)線概率計(jì)算的特征 量。例如，第二特征量提取單元254通過如圖62中所示的方法來提取第二特征量。在圖62 中，沿時(shí)間軸示出從拍子概率計(jì)算單元202輸入的拍子概率。此外，在圖中還示出通過分析 拍子概率所檢測(cè)到的6個(gè)拍子以及所關(guān)注拍子區(qū)間BDitl第二特征量提取單元254關(guān)于拍 子概率來計(jì)算各個(gè)小區(qū)間S 的拍子概率的平均值，小區(qū)間S 具有特定持續(xù)時(shí)間并且被包括在整個(gè)所關(guān)注的拍子區(qū)間BDi以及前后L個(gè)區(qū)間上的拍子區(qū)間中。例如，如圖62中所示，為了主要檢測(cè)音符值(N/M節(jié)拍的M)為4的節(jié)拍，優(yōu)選用在 拍子間隔的1/4和3/4的位置處劃分拍子間隔的線來將小區(qū)間相互劃分開。在這種情況中， 將針對(duì)一個(gè)所關(guān)注的拍子區(qū)間BDi計(jì)算LX4+1個(gè)拍子概率平均值。因此，由第二特征量提 取單元254提取出的第二特征量對(duì)于每個(gè)所關(guān)注的拍子區(qū)間將具有LX4+1維。并且，小區(qū) 間的持續(xù)時(shí)間是拍子間隔的1/2。此外，為了恰當(dāng)?shù)貦z測(cè)樂曲中的小節(jié)線，希望分析至少若 干個(gè)小節(jié)上的音頻信號(hào)的特征。因此，優(yōu)選定義用于第二特征量的提取的拍子概率的范圍 的L的值例如是8個(gè)拍子。當(dāng)L為8時(shí)，由第二特征量提取單元254提取的第二特征量對(duì) 于每個(gè)所關(guān)注的拍子區(qū)間是33維的。以這種方式提取出的第二特征量從第二特征量提取單元254輸入小節(jié)線概率計(jì) 算單元256。因此，小節(jié)線概率計(jì)算單元256通過使用第一特征量和第二特征量來計(jì)算各個(gè) 拍子的小節(jié)線概率。這里的小節(jié)線概率是指各個(gè)拍子是X節(jié)拍中的第Y個(gè)拍子的概率的集 合。在隨后的說明中，各種節(jié)拍中的各個(gè)拍數(shù)成為辨別的對(duì)象，其中各種節(jié)拍是1/4節(jié)拍、 2/4節(jié)拍、3/4節(jié)拍和4/4節(jié)拍中的任何一種。在這種情況中，存在X與Y的10種單獨(dú)集合， 即，(1，1)、(2，1)、(2,2), (3，1)、(3,2), (3,3), (4，1)、(4,2), (4,3)和(4,4) 0 因此，計(jì)算 10種類型的小節(jié)線概率。此外，由稍后所述的小節(jié)線概率校正單元258考慮樂曲的結(jié)構(gòu)來校正由小節(jié)線概 率計(jì)算單元256計(jì)算出的概率值。因此，由小節(jié)線概率計(jì)算單元256計(jì)算出的概率值是有待 校正的中間數(shù)據(jù)。通過邏輯回歸分析預(yù)先習(xí)得的小節(jié)線概率公式例如可以用于由小節(jié)線概 率計(jì)算單元256進(jìn)行的小節(jié)線概率計(jì)算。例如，用于小節(jié)線概率計(jì)算的小節(jié)線概率公式是 通過如圖63中所示的方法生成的。此外，小節(jié)線概率是針對(duì)上述各種小節(jié)線概率生成的。 例如，當(dāng)假定要辨別各個(gè)拍子在1/4節(jié)拍、2/4節(jié)拍、3/4節(jié)拍和4/4節(jié)拍中的拍數(shù)時(shí)，要生 成10個(gè)單獨(dú)的小節(jié)線概率公式。首先，提供多個(gè)第一特征量和第二特征量對(duì)，作為用于邏輯回歸分析的獨(dú)立變量， 這些第一特征量和第二特征量對(duì)是通過對(duì)正確節(jié)拍(X)和拍子的正確拍數(shù)(Y)已知的音頻 信號(hào)進(jìn)行分析提取出來的。接著，提供用于通過邏輯回歸分析來預(yù)測(cè)所提供的第一特征量 與第二特征量對(duì)中每一對(duì)的生成概率的現(xiàn)元數(shù)據(jù)。例如，當(dāng)學(xué)習(xí)用于辨別1/4節(jié)拍中的第 一個(gè)拍子以計(jì)算拍子為1/4節(jié)拍中的第一個(gè)拍子的概率的公式時(shí)，如果已知的節(jié)拍和拍數(shù) 是(1，1)，則啞元數(shù)據(jù)的值將為真值(1)，并且對(duì)于任何其它情況，啞元數(shù)據(jù)的值將為假值 (O)0同樣，當(dāng)學(xué)習(xí)用于辨別2/4節(jié)拍中的第一個(gè)拍子以計(jì)算拍子是2/4節(jié)拍中的第一個(gè)拍 子的概率的公式時(shí)，例如，如果已知的節(jié)拍和拍數(shù)是(2，1)，則啞元數(shù)據(jù)的值將為真值(1)， 并且對(duì)于任何其它情況，啞元數(shù)據(jù)的值將為假值(0)。可以說，對(duì)于其它節(jié)拍和拍數(shù)同樣如 此。通過如上所述使用足夠數(shù)目的獨(dú)立變量和啞元數(shù)據(jù)對(duì)來執(zhí)行邏輯回歸分析，預(yù)先 獲得10種類型的小節(jié)線概率公式，這些小節(jié)線概率公式用于從一對(duì)第一特征量和第二特 征量中計(jì)算小節(jié)線概率。然后，小節(jié)線概率計(jì)算單元256將小節(jié)線概率公式應(yīng)用于分別從 第一特征量提取單元252和第二特征量提取單元254輸入的一對(duì)第一特征量和第二特征 量，并且針對(duì)各個(gè)拍子區(qū)間計(jì)算小節(jié)線概率。例如，小節(jié)線概率是通過如圖64中所示的方 法計(jì)算出的。如圖64中所示，小節(jié)線概率計(jì)算單元256將預(yù)先獲得的用于辨別1/4節(jié)拍中
40的第一個(gè)拍子的公式應(yīng)用于針對(duì)所關(guān)注的節(jié)拍區(qū)間提取的一對(duì)第一特征量和第二特征量， 并且計(jì)算拍子是1/4節(jié)拍中的第一個(gè)拍子的小節(jié)線概率Pba/ (Ll)0同樣，小節(jié)線概率計(jì) 算單元256將預(yù)先獲得的用于辨別2/4節(jié)拍中的第一個(gè)拍子的公式應(yīng)用于針對(duì)所關(guān)注的節(jié) 拍區(qū)間提取的一對(duì)第一特征量和第二特征量，并且計(jì)算拍子是2/4節(jié)拍中的第一個(gè)拍子的 小節(jié)線概率Pba/ (2，1)?？梢哉f，對(duì)于其它節(jié)拍和拍數(shù)同樣如此。小節(jié)線概率計(jì)算單元256針對(duì)所有拍子重復(fù)小節(jié)線概率計(jì)算，并且計(jì)算各個(gè)拍子 的小節(jié)線概率。由小節(jié)線概率計(jì)算單元256針對(duì)各個(gè)拍子計(jì)算出的小節(jié)線概率被輸入小節(jié) 線概率校正單元258。小節(jié)線概率校正單元258基于從結(jié)構(gòu)分析單元134輸入的節(jié)拍區(qū)間之間的類似概 率，校正從小節(jié)線概率計(jì)算單元256輸入的小節(jié)線概率。例如，假定第i個(gè)所關(guān)注的拍子 是X節(jié)拍中的第Y個(gè)拍子的小節(jié)線概率(該小節(jié)線概率還有待校正)是Pba/ (i，x，y)，并 且第i個(gè)拍子區(qū)間與第j個(gè)拍子區(qū)間之間的類似概率是SP(i，j)。在這種情況中，校正后 的小節(jié)線概率Pb (i，x，y)例如由以下等式(11)給出。[等式11] 如上所述，校正后的小節(jié)線概率Pba,(i，x，y)是通過使用歸一化后的類似概率作為 權(quán)重來對(duì)校正前的小節(jié)線概率求加權(quán)和而獲得的值，其中，類似概率是與所關(guān)注的拍子相 對(duì)應(yīng)的配置區(qū)間與其它拍子區(qū)間之間的類似概率。通過這樣的概率值校正，與校正前的小 節(jié)線概率相比較，相似聲音內(nèi)容的拍子的小節(jié)線概率將具有更接近的值。由小節(jié)線概率校 正單元258校正后的各個(gè)拍子的小節(jié)線概率被輸入小節(jié)線確定單元260。小節(jié)線確定單元260基于從小節(jié)線概率校正單元258輸入的小節(jié)線概率，通過路 徑搜索來確定有可能的小節(jié)線進(jìn)行，小節(jié)線概率指示各個(gè)拍子是X節(jié)拍中的第Y個(gè)拍子的 概率。Viterbi算法例如可以用作由小節(jié)線確定單元260進(jìn)行的路徑搜索的方法。路徑搜 索例如是由小節(jié)線確定單元260通過如圖65中所示的方法來執(zhí)行的。如圖65中所示，拍 子被順次布置在時(shí)間軸(水平軸)上。此外，小節(jié)線概率已被計(jì)算出的拍子的類型(X節(jié)拍 中的第Y個(gè)拍子)用于觀測(cè)序列(垂直軸)。小節(jié)線確定單元260將所有拍子類型與從小 節(jié)線概率校正單元258輸入的拍子對(duì)中的每一對(duì)作為路徑搜索的對(duì)象節(jié)點(diǎn)。關(guān)于所述對(duì)象節(jié)點(diǎn)，小節(jié)線確定單元260沿時(shí)間軸順次選擇這些節(jié)點(diǎn)中的任何節(jié) 點(diǎn)。然后，小節(jié)線確定單元260使用兩個(gè)評(píng)估值，⑴小節(jié)線概率和(2)節(jié)拍變化概率，來 評(píng)估由一連串所選擇的節(jié)點(diǎn)形成的路徑。此外，在由小節(jié)線確定單元260進(jìn)行節(jié)點(diǎn)的選擇 時(shí)，例如優(yōu)選施加下述約束。作為第一約束，禁止跳過拍子。作為第二約束，禁止在小節(jié)的中間從一種節(jié)拍過渡至另一種節(jié)拍(例如，從四節(jié)拍中的第一個(gè)至第三個(gè)拍子中的任何拍 子或三節(jié)拍中的第一個(gè)或第二個(gè)拍子開始的過渡)，或從一種節(jié)拍過渡至另一種節(jié)拍的小 節(jié)的中間。作為第三約束，禁止拍數(shù)不按次序的過渡，例如，從第一個(gè)拍子至第三個(gè)或第四 個(gè)拍子，或從第二個(gè)拍子至第二個(gè)拍子或第四個(gè)拍子?，F(xiàn)在，在用于小節(jié)線確定單元260的路徑評(píng)估的評(píng)估值中，(1)小節(jié)線概率是通過 由小節(jié)線概率校正單元258校正小節(jié)線概率而計(jì)算出的上述小節(jié)線概率。對(duì)圖65中示出 的各個(gè)節(jié)點(diǎn)給出小節(jié)線概率。另一方面，(2)節(jié)拍變化概率是對(duì)節(jié)點(diǎn)之間的過渡所給出的 評(píng)估值。節(jié)拍變化概率是通過從許多普通樂曲中收集在小節(jié)線進(jìn)行期間節(jié)拍變化的發(fā)生概 率，針對(duì)變化前的拍子類型和變化后的拍子類型的每種組合而預(yù)先定義的。例如，在圖66中示出了節(jié)拍變化概率的示例。在圖66中，示出基于變化前的4種 節(jié)拍和變化后的4種節(jié)拍導(dǎo)出的16個(gè)單獨(dú)的節(jié)拍變化概率。在該示例中，從四節(jié)拍變?yōu)閱?節(jié)拍的節(jié)拍變化概率是0. 05，從四節(jié)拍變?yōu)槎?jié)拍的節(jié)拍變化概率是0. 03，從四節(jié)拍變?yōu)?三節(jié)拍的節(jié)拍變化概率是0. 02，而從四節(jié)拍變?yōu)樗墓?jié)拍(S卩，沒有變化)的節(jié)拍變化概率是 0.90。如在該示例中那樣，節(jié)拍在樂曲中間改變的概率一般不高。此外，關(guān)于單節(jié)拍或二節(jié) 拍，在所檢測(cè)到的小節(jié)線位置由于小節(jié)線的檢測(cè)誤差而從其正確的位置偏移時(shí)，節(jié)拍變化 概率可以用來自動(dòng)恢復(fù)小節(jié)線的位置。因此，優(yōu)選將單節(jié)拍或二節(jié)拍與另一節(jié)拍之間的節(jié) 拍變化概率設(shè)置為比三節(jié)拍或四節(jié)拍與另一節(jié)拍之間的節(jié)拍變化概率高。小節(jié)線確定單元260關(guān)于表示小節(jié)線進(jìn)行的各個(gè)路徑，將路徑中所包括的各個(gè)節(jié) 點(diǎn)的(1)小節(jié)線概率和對(duì)節(jié)點(diǎn)間的過渡所給出的(2)節(jié)拍變化概率順次彼此相乘。然后，小 節(jié)線確定單元260確定使得作為路徑評(píng)估值的相乘結(jié)果最大的路徑，作為表示有可能的小 節(jié)線進(jìn)行的最優(yōu)路徑。例如，基于由小節(jié)線確定單元260確定的最大似然路徑獲得小節(jié)線 進(jìn)行(參考圖67)。在圖67的示例中，針對(duì)第一至第八個(gè)拍子示出被小節(jié)線確定單元260 確定為最大似然路徑的小節(jié)線進(jìn)行(參見粗線框)。在該示例中，從第一個(gè)拍子開始各個(gè) 拍子的類型順次是四節(jié)拍中的第一個(gè)拍子、四節(jié)拍中的第二個(gè)拍子、四節(jié)拍中的第三個(gè)拍 子、四節(jié)拍中的第四個(gè)拍子、四節(jié)拍中的第一個(gè)拍子、四節(jié)拍中的第二個(gè)拍子、四節(jié)拍中的 第三個(gè)拍子、四節(jié)拍中的第四個(gè)拍子。由小節(jié)線確定單元260確定的小節(jié)線進(jìn)行被輸入小 節(jié)線重新確定單元262?，F(xiàn)在，在普通樂曲中，拍子類型的三節(jié)拍和四節(jié)拍很少以混合的方式存在。考慮這 種情況，小節(jié)線重新確定單元262首先判定對(duì)于出現(xiàn)在從小節(jié)線確定單元260輸入的小節(jié) 線進(jìn)行中的拍子類型，三節(jié)拍和四節(jié)拍是否以混合的方式存在。如果拍子類型的三節(jié)拍和 四節(jié)拍以混合的方式存在，則小節(jié)線重新確定單元262從搜索對(duì)象中排除較不經(jīng)常出現(xiàn)的 節(jié)拍，并且再次搜索表示小節(jié)線進(jìn)行的最大似然路徑。根據(jù)所述由小節(jié)線重新確定單元262 進(jìn)行的路徑重新搜索處理，可以減少可能在路徑搜索的結(jié)果中局部出現(xiàn)的小節(jié)線(拍子類 型)識(shí)別誤差。以上，已經(jīng)描述了小節(jié)線檢測(cè)單元140。由小節(jié)線檢測(cè)單元140檢測(cè)到的小節(jié)線進(jìn) 行被輸入和弦進(jìn)行檢測(cè)單元142。(2-4-6.和弦進(jìn)行檢測(cè)單元142的配置)接下來，將描述和弦進(jìn)行檢測(cè)單元142。各個(gè)拍子的簡(jiǎn)單基調(diào)概率、拍子區(qū)間之間 的類似概率和小節(jié)線進(jìn)行被輸入和弦進(jìn)行檢測(cè)單元142。因此，和弦進(jìn)行檢測(cè)單元142基
42于這些輸入值來針對(duì)各個(gè)拍子區(qū)間確定由一連串和弦形成的有可能的和弦進(jìn)行。如圖68 中所示，和弦進(jìn)行檢測(cè)單元142包括拍子區(qū)間特征量計(jì)算單元272、根音特征量準(zhǔn)備單元 274、和弦概率計(jì)算單元276、和弦概率校正單元278和和弦進(jìn)行確定單元280。與和弦概率檢測(cè)單元136的拍子區(qū)間特征量計(jì)算單元232 —樣，拍子區(qū)間特征量 計(jì)算單元272首先計(jì)算相應(yīng)12個(gè)音符的能量。然而，拍子區(qū)間特征量計(jì)算單元272可以獲 得并且使用由和弦概率檢測(cè)單元136的拍子區(qū)間特征量計(jì)算單元232計(jì)算出的相應(yīng)12個(gè) 音符的能量。接著，拍子區(qū)間特征量計(jì)算單元272生成擴(kuò)展拍子區(qū)間特征量，擴(kuò)展拍子區(qū)間 特征量包括所關(guān)注的拍子區(qū)間以及前后N個(gè)區(qū)間的相應(yīng)12個(gè)音符的能量以及從基調(diào)檢測(cè) 單元138輸入的簡(jiǎn)單基調(diào)概率。例如，拍子區(qū)間特征量計(jì)算單元272通過如圖69中所示的 方法來生成擴(kuò)展拍子區(qū)間特征量。如圖69中所示，拍子區(qū)間特征量計(jì)算單元272例如提取出了所關(guān)注拍子區(qū)間BDi 以及前后N個(gè)區(qū)間各自的相應(yīng)12個(gè)音符的能量BF^BFifBFpBFw和BFi+2，。這里的N例 如是2。此外，獲得所關(guān)注的拍子區(qū)間BDi的簡(jiǎn)單基調(diào)概率(SKP。，SKPb)。拍子區(qū)間特 征量計(jì)算單元272針對(duì)所有的拍子區(qū)間，生成擴(kuò)展拍子區(qū)間特征量，并且將其輸入根音特 征量準(zhǔn)備單元274，擴(kuò)展拍子區(qū)間特征量包括簡(jiǎn)單基調(diào)概率和拍子區(qū)間以及前后N個(gè)區(qū)間 的相應(yīng)12個(gè)音符的能量。根音特征量準(zhǔn)備單元274轉(zhuǎn)移從拍子區(qū)間特征量計(jì)算單元272輸入的擴(kuò)展拍子區(qū) 間特征量的元素位置，并且生成12個(gè)單獨(dú)的擴(kuò)展根音特征量。根音特征量準(zhǔn)備單元274例 如通過如圖70中所示的方法來生成擴(kuò)展根音特征量。如圖70中所示，根音特征量準(zhǔn)備單 元274將從拍子區(qū)間特征量計(jì)算單元272輸入的擴(kuò)展拍子區(qū)間特征量作為用音符C作為根 音的擴(kuò)展根音特征量。接著，根音特征量準(zhǔn)備單元274將用音符C作為根音的擴(kuò)展根音特 征量的12個(gè)音符的元素位置轉(zhuǎn)移特定數(shù)目。通過該轉(zhuǎn)移處理，生成11個(gè)單獨(dú)的擴(kuò)展根音 特征量，每個(gè)擴(kuò)展根音特征量將音符C#至音符B中的任何一種音符作為根音。此外，元素 位置被轉(zhuǎn)移的轉(zhuǎn)移數(shù)與和弦概率檢測(cè)單元136的根音特征量準(zhǔn)備單元234所使用的轉(zhuǎn)移數(shù) 相同。根音特征量準(zhǔn)備單元274針對(duì)所有拍子區(qū)間執(zhí)行所述擴(kuò)展根音特征量生成處理， 并且準(zhǔn)備各個(gè)區(qū)間的和弦概率重新計(jì)算所要使用的擴(kuò)展根音特征量。由根音特征量準(zhǔn)備單 元274生成的擴(kuò)展根音特征量被輸入和弦概率計(jì)算單元276。和弦概率計(jì)算單元276針對(duì)各個(gè)拍子區(qū)間，通過使用從根音特征量準(zhǔn)備單元274 輸入的根音特征量來計(jì)算指示各種和弦被演奏的概率的和弦概率。這里的“各種和弦”是 指例如通過根音(C，C#, D，...)、構(gòu)成音符的數(shù)目(三和弦、七和弦、九和弦)、調(diào)性(大調(diào) /小調(diào))等來區(qū)分的和弦中的每一種和弦。通過根據(jù)邏輯回歸分析的學(xué)習(xí)處理獲得的擴(kuò)展 和弦概率公式例如可以用于和弦概率計(jì)算。例如，由和弦概率計(jì)算單元276進(jìn)行的和弦概 率計(jì)算所要使用的擴(kuò)展和弦概率公式是通過如圖71中所示的方法生成的。此外，和針對(duì)和 弦概率公式的情況一樣，對(duì)擴(kuò)展和弦概率公式的學(xué)習(xí)是針對(duì)每種和弦來進(jìn)行的。即，例如， 學(xué)習(xí)處理是針對(duì)以下每種公式來執(zhí)行的用于大和弦的擴(kuò)展和弦概率公式、用于小和弦的 擴(kuò)展和弦概率公式、用于七和弦的擴(kuò)展和弦概率公式和用于九和弦的擴(kuò)展和弦概率公式。首先，分別針對(duì)正確和弦已知的拍子區(qū)間提供多個(gè)擴(kuò)展根音特征量(例如，使用 圖70描述的12個(gè)單獨(dú)的12X6維向量)，作為用于邏輯回歸分析的獨(dú)立變量。此外，針對(duì)各個(gè)拍子區(qū)間的擴(kuò)展根音特征量中的每一個(gè)，提供用于通過邏輯回歸分析來預(yù)測(cè)生成概率 的啞元數(shù)據(jù)。例如，當(dāng)學(xué)習(xí)用于大和弦的擴(kuò)展和弦概率公式時(shí)，如果已知的和弦是大和弦， 則啞元數(shù)據(jù)的值將是真值(1)，并且對(duì)于任何其它情況，啞元數(shù)據(jù)的值將是假值(0)。同樣， 當(dāng)學(xué)習(xí)用于小和弦的擴(kuò)展和弦概率公式時(shí)，如果已知的和弦是小和弦，則啞元數(shù)據(jù)的值將 是真值(1)，并且對(duì)于任何其它情況，啞元數(shù)據(jù)的值將是假值(0)?？梢哉f，對(duì)于七和弦和九 和弦同樣如此。通過使用上述獨(dú)立變量和 元數(shù)據(jù)來對(duì)足夠數(shù)目的擴(kuò)展根音特征量(每個(gè)擴(kuò)展 根音特征量是針對(duì)一個(gè)拍子區(qū)間的)執(zhí)行邏輯回歸分析，獲得用于從根音特征量中重新計(jì) 算出各個(gè)和弦概率的擴(kuò)展和弦概率公式。當(dāng)生成了擴(kuò)展和弦概率公式時(shí)，和弦概率計(jì)算單 元276將擴(kuò)展和弦概率公式應(yīng)用于從根音特征量準(zhǔn)備單元274輸入的擴(kuò)展根音特征量，并 且順次計(jì)算各個(gè)拍子區(qū)間的和弦概率。例如，和弦概率計(jì)算單元276通過如圖72中所示的 方法來重新計(jì)算和弦概率。在圖72(72A)中，示出各個(gè)拍子區(qū)間的擴(kuò)展根音特征量中，用音符C作為根音的擴(kuò) 展根音特征量。和弦概率計(jì)算單元276將用于大和弦的擴(kuò)展和弦概率公式應(yīng)用于用音符C 作為根音的擴(kuò)展根音特征量，并且針對(duì)該拍子區(qū)間計(jì)算和弦為“C”的和弦概率CP'。。此 外，和弦概率計(jì)算單元276將用于小和弦的擴(kuò)展和弦概率公式應(yīng)用于用音符C作為根音的 擴(kuò)展根音特征量，并且針對(duì)該拍子區(qū)間重新計(jì)算和弦為“Cm”的和弦概率CP'。m。以類似的 方式，和弦概率計(jì)算單元276將用于大和弦的擴(kuò)展和弦概率公式和用于小和弦的擴(kuò)展和弦 概率公式應(yīng)用于用音符C#作為根音的擴(kuò)展根音特征量，并且重新計(jì)算和弦概率CP' Cfl和 和弦概率CP' c#m(72B)?？梢哉f，對(duì)和弦概率CP' B、和弦概率CP' Bm(72C)以及其它類型 的和弦(包括七和弦、九和弦等)的和弦概率的計(jì)算也是如此。和弦概率計(jì)算單元276針對(duì)所有所關(guān)注的拍子區(qū)間重復(fù)如上所述的和弦概率重 新計(jì)算處理，并且向和弦概率校正單元278輸出所重新計(jì)算出的和弦概率。和弦概率校正單元278基于從結(jié)構(gòu)分析單元134輸入的拍子區(qū)間之間的類似概 率，校正由和弦概率計(jì)算單元276計(jì)算出的和弦概率。例如，假定第i個(gè)所關(guān)注的拍子區(qū) 間中和弦X的和弦概率是CP' x(i)，并且第i個(gè)拍子區(qū)間和第j個(gè)拍子區(qū)間之間的類似概 率是SP(i，j)。然后，校正后的和弦概率CP" x(i)例如由以下等式(12)給出。[等式 12] S卩，校正后的和弦概率CP" x(i)是通過利用歸一化后的類似概率來對(duì)和弦概率求加權(quán)和而獲得的值，其中與所關(guān)注的拍子相對(duì)應(yīng)的拍子區(qū)間與另一拍子區(qū)間之間的類似概 率中的每一個(gè)類似概率被用作權(quán)重。通過這樣的概率值校正，具有相似聲音內(nèi)容的拍子區(qū) 間的和弦概率相比于校正前將具有更接近的值。由和弦概率校正單元278校正后的各個(gè)拍 子區(qū)間的和弦概率被輸入和弦進(jìn)行確定單元280。和弦進(jìn)行確定單元280基于從和弦概率校正單元278輸入的各個(gè)拍子位置的和弦 概率，通過路徑搜索來確定有可能的和弦進(jìn)行。Viterbi算法例如可以用作由和弦進(jìn)行確 定單元280進(jìn)行的路徑搜索的方法。路徑搜索例如是通過如圖73中所示的方法來執(zhí)行的。 如圖73中所示，拍子被順次布置在時(shí)間軸(水平軸)上。此外，和弦概率已被計(jì)算出的和 弦類型被用作觀測(cè)序列(垂直軸)。即，和弦進(jìn)行確定單元280將所有和弦類型與從和弦概 率校正單元278輸入的拍子區(qū)間對(duì)中的每一對(duì)作為路徑搜索的對(duì)象節(jié)點(diǎn)。關(guān)于所述節(jié)點(diǎn)，和弦進(jìn)行確定單元280沿時(shí)間軸順次選擇這些節(jié)點(diǎn)中的任何節(jié) 點(diǎn)。然后，和弦進(jìn)行確定單元280使用以下四種評(píng)估值來對(duì)由一連串所選擇的節(jié)點(diǎn)形成的 路徑進(jìn)行評(píng)估(1)和弦概率，(2)依賴于基調(diào)的和弦出現(xiàn)概率，(3)依賴于小節(jié)線的和弦過 渡概率和(4)依賴于基調(diào)的和弦過渡概率。此外，在由和弦進(jìn)行確定單元280進(jìn)行對(duì)節(jié)點(diǎn) 的選擇時(shí)，不允許跳過拍子。在用于由和弦進(jìn)行確定單元280進(jìn)行的路徑評(píng)估的評(píng)估值中，(1)和弦概率是由 和弦概率校正單元278校正后的上述和弦概率。對(duì)圖73中所示的各個(gè)節(jié)點(diǎn)給出和弦概率。 此外，(2)依賴于基調(diào)的和弦出現(xiàn)概率是依賴于根據(jù)從基調(diào)檢測(cè)單元138輸入的基調(diào)進(jìn)行 而針對(duì)各個(gè)拍子區(qū)間指定的基調(diào)的、各種和弦的出現(xiàn)概率。依賴于基調(diào)的和弦出現(xiàn)概率是 通過針對(duì)樂曲中使用的每種基調(diào)，對(duì)大量樂曲的和弦出現(xiàn)概率進(jìn)行合計(jì)來預(yù)先定義的。一 般，在基調(diào)為“C”的樂曲中，和弦“C”、“F”和“G”中的每種和弦的出現(xiàn)概率高。對(duì)圖73中 所示的各個(gè)節(jié)點(diǎn)給出依賴于基調(diào)的和弦出現(xiàn)概率。此外，(3)依賴于小節(jié)線的和弦過渡概率是依賴于根據(jù)從小節(jié)線檢測(cè)單元140輸 入的小節(jié)線進(jìn)行而針對(duì)各個(gè)拍子指定的拍子類型的和弦過渡概率。依賴于小節(jié)線的和弦過 渡概率是通過針對(duì)樂曲的小節(jié)線進(jìn)行中相鄰拍子的各種類型對(duì)，對(duì)大量樂曲的和弦過渡概 率進(jìn)行合計(jì)來預(yù)先定義的。一般，和弦在小節(jié)線變化(過渡后的拍子是第一個(gè)拍子)時(shí)變 化或在從四節(jié)拍中的第二個(gè)拍子過渡至第三個(gè)拍子時(shí)變化的概率比和弦在其它過渡時(shí)變 化的概率高。對(duì)節(jié)點(diǎn)之間的過渡給出依賴于小節(jié)線的和弦過渡概率。此外，(4)依賴于基 調(diào)的和弦過渡概率是依賴于根據(jù)從基調(diào)檢測(cè)單元138輸入的基調(diào)進(jìn)行而針對(duì)各個(gè)拍子區(qū) 間指定的基調(diào)的和弦過渡概率。依賴于基調(diào)的和弦過渡概率是通過針對(duì)樂曲中使用的各種 基調(diào)，對(duì)大量樂曲的和弦過渡概率進(jìn)行合計(jì)來預(yù)先定義的。對(duì)節(jié)點(diǎn)間的過渡給出依賴于基 調(diào)的和弦過渡概率。和弦進(jìn)行確定單元280關(guān)于表示使用圖73描述的和弦進(jìn)行的各個(gè)路徑，將路徑中 所包括的各個(gè)節(jié)點(diǎn)的上述(1)至(4)的評(píng)估值彼此順次相乘。然后，和弦進(jìn)行確定單元280 確定使得作為路徑評(píng)估值的相乘結(jié)果最大的路徑，作為表示有可能的和弦進(jìn)行的最大似然 路徑。例如，和弦進(jìn)行確定單元280可以通過確定最大似然路徑來獲得如圖74中所示的和 弦進(jìn)行。在圖74的示例中，示出由和弦進(jìn)行確定單元280針對(duì)第一至第六個(gè)拍子區(qū)間和第 i個(gè)拍子區(qū)間確定為最大似然路徑的和弦進(jìn)行。(參見粗線框)。根據(jù)該示例，從第一個(gè)拍 子區(qū)間開始，拍子區(qū)間的和弦順次是:“C”、“C”、“F”、“F”、“Fm”、“Fm”……“C”。
以上，描述了和弦進(jìn)行檢測(cè)單元142的配置。如上所述，通過結(jié)構(gòu)分析單元134至 和弦進(jìn)行檢測(cè)單元142的處理從音樂數(shù)據(jù)中檢測(cè)出了和弦進(jìn)行。以這種方式提取出的和弦 進(jìn)行被存儲(chǔ)到元數(shù)據(jù)存儲(chǔ)單元112中。(2-4-7.旋律檢測(cè)單元144的配置)接著，將描述旋律檢測(cè)單元144。旋律檢測(cè)單元144是用于基于從對(duì)數(shù)譜分析單元 108輸入的音樂數(shù)據(jù)的對(duì)數(shù)譜來檢測(cè)旋律線的裝置。如圖75中所示，旋律檢測(cè)單元144包 括旋律概率估計(jì)單元282、類別估計(jì)單元284、音調(diào)分布估計(jì)單元286、旋律線確定單元288 和平滑單元290。此外，有關(guān)由基調(diào)檢測(cè)單元138檢測(cè)到的基調(diào)的信息被輸入旋律線確定單 元288。此外，有關(guān)由拍子檢測(cè)單元132檢測(cè)到的拍子位置的信息被輸入平滑單元290。以 下，將按照類別估計(jì)單元284、音調(diào)分布估計(jì)單元286、旋律概率估計(jì)單元282、旋律線確定 單元288和平滑單元290的次序來詳細(xì)描述各個(gè)結(jié)構(gòu)元件的配置。(類別估計(jì)單元2別)接著，將描述類別估計(jì)單元284。類別估計(jì)單元284是用于在樂曲信號(hào)輸入時(shí)，估 計(jì)輸入信號(hào)所屬于的音樂類別的裝置。如稍后所述，通過考慮各個(gè)輸入信號(hào)所屬于的音樂 類別，可以提高稍后執(zhí)行的旋律線檢測(cè)處理中的檢測(cè)精度。如圖76中所示，樂曲例如被分 類，例如“老歌”、“男聲，喧鬧的背景(BG) ”、“男聲，輕柔的背景(BG) ”、“女聲，喧鬧的背景 (BG) ”。例如，“老歌”具有這樣的特征由于記錄它時(shí)的記錄裝置和音響設(shè)施的技術(shù)水平與 現(xiàn)今的技術(shù)水平不同，所以聲音質(zhì)量差或背景中音量比例小。關(guān)于其它類別，對(duì)于各種類別 存在如圖76中所示的特征。因此，輸入信號(hào)基于各個(gè)樂曲的特征被分類。此外，音樂類別 不限于圖76中所示出的那些。例如，可以基于聲音質(zhì)量等使用更精細(xì)的類別。類別估計(jì)單元284執(zhí)行如圖77中所示的處理來估計(jì)音樂類別。首先，類別估計(jì)單 元284通過對(duì)數(shù)譜分析單元108將要被用作評(píng)估數(shù)據(jù)的多個(gè)音頻信號(hào)(樂曲1，……樂曲 4)變換成對(duì)數(shù)譜。然后，類別估計(jì)單元284將這多個(gè)音頻信號(hào)(樂曲1，……樂曲4)的對(duì) 數(shù)譜輸入給特征量計(jì)算公式生成設(shè)備10作為評(píng)估數(shù)據(jù)。此外，如圖77中所示，用作評(píng)估數(shù) 據(jù)的各個(gè)音頻信號(hào)(樂曲1，……樂曲4)的類別作為類別值(0或1)被給出。類別值0指 示不對(duì)應(yīng)，并且類別值1指示對(duì)應(yīng)。例如，音頻信號(hào)(樂曲1)不與類別“老歌”和“男聲，輕 柔的BG”對(duì)應(yīng)，而與“男聲，喧鬧的BG”對(duì)應(yīng)。類別估計(jì)單元284通過使用特征量計(jì)算公式 生成設(shè)備10來生成用于計(jì)算所述類別值的估計(jì)算法(計(jì)算公式)。因此，類別估計(jì)單元284在向特征量計(jì)算公式生成設(shè)備10輸入多個(gè)音頻信號(hào)(樂 曲1，……樂曲4)的對(duì)數(shù)譜作為評(píng)估數(shù)據(jù)的同時(shí)還向其輸入各種類別的類別值作為教師數(shù) 據(jù)。因此，作為評(píng)估數(shù)據(jù)的音頻信號(hào)(樂曲1，……樂曲4)的對(duì)數(shù)譜和作為教師數(shù)據(jù)的各 種類別的類別值被輸入特征量計(jì)算公式生成設(shè)備10。此外，一首樂曲的對(duì)數(shù)譜被用作與各 個(gè)音頻信號(hào)對(duì)應(yīng)的評(píng)估數(shù)據(jù)。當(dāng)所述評(píng)估數(shù)據(jù)和教師數(shù)據(jù)被輸入時(shí)，特征量計(jì)算公式生成 設(shè)備10針對(duì)各種類別生成用于從任意音頻信號(hào)的對(duì)數(shù)譜中計(jì)算出各種類別的類別值的計(jì) 算公式GA。此時(shí)，特征量計(jì)算公式生成設(shè)備10同時(shí)輸出由最終輸出的各個(gè)計(jì)算公式GA所 輸出的評(píng)估值(概率)。當(dāng)各種類別的計(jì)算公式GA被特征量計(jì)算公式生成設(shè)備10生成時(shí)，類別估計(jì)單 元284通過對(duì)數(shù)譜分析單元108將實(shí)際希望分類的樂曲的音頻信號(hào)(以下，稱為處理樂曲 (treated piece))變換成對(duì)數(shù)譜。然后，類別估計(jì)單元284將處理樂曲的對(duì)數(shù)譜輸入由特征量計(jì)算公式生成設(shè)備10生成的各種類別的計(jì)算公式GA，并且針對(duì)處理樂曲計(jì)算各種類 別的類別值。當(dāng)各種類別的類別值被計(jì)算出時(shí)，類別估計(jì)單元284將處理樂曲分類到具有 最高類別值的類別中。類別估計(jì)單元284也可以被配置為在分類時(shí)考慮各個(gè)計(jì)算公式的 概率。在這種情況中，類別估計(jì)單元284使用通過與各種類別對(duì)應(yīng)的計(jì)算公式所計(jì)算出的 類別值和該計(jì)算公式的概率，來計(jì)算處理樂曲與各種類別對(duì)應(yīng)的概率(以下，稱為對(duì)應(yīng)概 率)。然后，類別估計(jì)單元284將處理樂曲指派到對(duì)應(yīng)概率最高的類別中。結(jié)果，獲得如圖 77中所示的分類結(jié)果。以這種方式獲得的分類結(jié)果被輸入音調(diào)分布估計(jì)單元286、旋律概 率估計(jì)單元282和旋律線確定單元288。(音調(diào)分布估計(jì)單元286)接著，將參考圖78和圖79來描述音調(diào)分布估計(jì)單元286的配置。音調(diào)分布估計(jì) 單元286是用于自動(dòng)估計(jì)旋律線的分布的裝置。由針對(duì)隨時(shí)間過去而變化的旋律線的各個(gè) 區(qū)間計(jì)算出的期待值和針對(duì)整首樂曲計(jì)算出的標(biāo)準(zhǔn)差來表示旋律線的分布。為了從對(duì)數(shù)譜 中估計(jì)所述旋律線的分布，音調(diào)分布估計(jì)單元286通過使用特征量計(jì)算公式生成設(shè)備10來 生成用于計(jì)算各個(gè)區(qū)間中旋律線的期待值的計(jì)算公式。首先，與類別估計(jì)單元284 —樣，音調(diào)分布估計(jì)單元286向特征量計(jì)算公式生成設(shè) 備10輸入多個(gè)音頻信號(hào)的對(duì)數(shù)譜作為評(píng)估數(shù)據(jù)。此外，音調(diào)分布估計(jì)單元286截取各個(gè)區(qū) 間的各個(gè)音頻信號(hào)的正確旋律線作為教師數(shù)據(jù)(參考圖78)，并且將其輸入特征量計(jì)算公 式生成設(shè)備10。當(dāng)評(píng)估數(shù)據(jù)和教師數(shù)據(jù)被以這種方式輸入時(shí)，從特征量計(jì)算公式生成設(shè)備 10輸出用于計(jì)算各個(gè)區(qū)間中的旋律線的期待值的計(jì)算公式。此外，類別估計(jì)單元284關(guān)于 用作評(píng)估數(shù)據(jù)的各個(gè)音頻信號(hào)的對(duì)數(shù)譜，計(jì)算通過計(jì)算公式計(jì)算出的輸出值與用作教師數(shù) 據(jù)的正確旋律線之間的誤差。此外，類別估計(jì)單元284通過用正態(tài)分布逼近所獲得的誤差 來計(jì)算旋律線的標(biāo)準(zhǔn)差。通過由音調(diào)分布估計(jì)單元286計(jì)算出的旋律線的期待值和標(biāo)準(zhǔn)差 定義的范圍例如被表示為圖79中所示的曲線圖。以這種方式，音調(diào)分布估計(jì)單元286通過使用特征量計(jì)算公式生成設(shè)備10生成用 于從對(duì)數(shù)譜的區(qū)間(時(shí)間片段)中估計(jì)區(qū)間中的旋律線的計(jì)算公式，并且使用該計(jì)算公式 來估計(jì)旋律線的分布。此時(shí)，音調(diào)分布估計(jì)單元286生成針對(duì)由類別估計(jì)單元284估計(jì)出的 各種音樂類別的計(jì)算公式。然后，音調(diào)分布估計(jì)單元286在逐漸偏移時(shí)間的同時(shí)從對(duì)數(shù)譜 中截取時(shí)間段，并且將所截取的對(duì)數(shù)譜輸入計(jì)算公式，并且計(jì)算旋律線的期待值和標(biāo)準(zhǔn)差。 結(jié)果，針對(duì)對(duì)數(shù)譜的各個(gè)區(qū)間計(jì)算出了旋律線的估計(jì)值。例如，概率P(o|Wt)被計(jì)算出作為 估計(jì)值，該概率是當(dāng)時(shí)間t的局部對(duì)數(shù)譜Wt被輸入時(shí)旋律在音調(diào)ο的概率。由音調(diào)分布估 計(jì)單元286以這種方式計(jì)算出的旋律線的估計(jì)值被輸入旋律線確定單元288。(旋律概率估計(jì)單元282)接著，將參考圖80至圖82來描述旋律概率估計(jì)單元282的配置。旋律概率估計(jì) 單元282是用于將從對(duì)數(shù)譜分析單元108輸出的對(duì)數(shù)譜變換成旋律概率的裝置。例如，旋 律概率估計(jì)單元282將圖80 (80A)中所示的對(duì)數(shù)譜變換成圖80 (80B)中所示的旋律概率分 布。即，旋律概率估計(jì)單元282基于對(duì)數(shù)譜來計(jì)算時(shí)間_音調(diào)空間中的各個(gè)坐標(biāo)位置處的旋 律概率。這里的旋律概率是指各個(gè)坐標(biāo)位置處對(duì)數(shù)譜的值對(duì)應(yīng)于旋律線的概率。首先，旋 律概率估計(jì)單元282通過使用正確旋律線預(yù)先已知的音樂數(shù)據(jù)的對(duì)數(shù)譜來執(zhí)行邏輯回歸， 來估計(jì)各個(gè)坐標(biāo)位置處的旋律概率。通過該邏輯回歸獲得用于從對(duì)數(shù)譜中計(jì)算旋律線的函數(shù)f。然后，旋律概率估計(jì)單元282通過使用所獲得的函數(shù)來計(jì)算如圖80(80B)中所示的旋 律概率分布。這里，參考圖81和圖82，將分別詳細(xì)描述旋律概率估計(jì)單元282的生成上述函數(shù) f的方法和使用函數(shù)f來計(jì)算旋律概率的方法。首先，如圖81中所示，在定義對(duì)數(shù)譜的值的 時(shí)間-音調(diào)空間中，旋律概率估計(jì)單元282將要針對(duì)其估計(jì)旋律概率的坐標(biāo)位置(以下，稱 為估計(jì)位置)作為參考點(diǎn)并且選擇具有特定大小的范圍(以下，稱為參考范圍)。例如，旋 律概率估計(jì)單元282用各個(gè)估計(jì)位置作為參考點(diǎn)來選擇參考范圍，該參考范圍具有在音調(diào) 軸方向上的-12至+36半音(semitone)和時(shí)間軸方向上的_2至+2幀。在圖81中示意性 地示出了由旋律概率估計(jì)單元282選擇的參考范圍的示例。在該示例中，用黑色繪出的坐 標(biāo)位置是估計(jì)位置而估計(jì)位置周圍的陰影線部分是參考范圍。當(dāng)參考范圍被以這種方式針對(duì)各個(gè)估計(jì)位置選擇時(shí)，旋律概率估計(jì)單元282計(jì)算 與所選擇的參考范圍中的各個(gè)坐標(biāo)位置對(duì)應(yīng)的對(duì)數(shù)譜值(能量)的對(duì)數(shù)值。此外，旋律概 率估計(jì)單元282以使得針對(duì)參考范圍內(nèi)的各個(gè)坐標(biāo)位置所計(jì)算出的對(duì)數(shù)值的平均值為0的 方式對(duì)各個(gè)坐標(biāo)位置的對(duì)數(shù)值進(jìn)行歸一化。歸一化之后的對(duì)數(shù)值(在圖81的示例中，χ = (X1, . . .，X245) ；49音調(diào)X5幀)被用于用來估計(jì)旋律概率的函數(shù)f(x)的生成處理。函數(shù) f(x)的生成處理是通過使用預(yù)先給出的、正確旋律線已知的多條音樂數(shù)據(jù)來執(zhí)行的。首先， 旋律概率估計(jì)單元282使用用于學(xué)習(xí)的音樂數(shù)據(jù)的對(duì)數(shù)譜并且針對(duì)各個(gè)估計(jì)位置來計(jì)算 歸一化之后的對(duì)數(shù)值x(以下，稱為歸一化后的對(duì)數(shù)值χ)。此外，旋律概率估計(jì)單元282判 定正確的旋律線是否被包括在各個(gè)參考范圍中。以下，在正確的旋律線被包括在參考范圍 中的情況中，判定結(jié)果將被表示為True(真)；并且在正確的旋律線不被包括在參考范圍中 的情況中，判定結(jié)果將被表示為False (假)。當(dāng)獲得歸一化后的對(duì)數(shù)值χ和判定結(jié)果時(shí)，旋律概率估計(jì)單元282使用這些結(jié)果 并且生成“函數(shù)f(x)，該函數(shù)用于在歸一化后的對(duì)數(shù)值X被輸入的情況中，輸出判定結(jié)果 對(duì)于與歸一化后的對(duì)數(shù)值X相對(duì)應(yīng)的參考范圍為True的概率”。例如，旋律概率估計(jì)單元 282可以通過使用邏輯回歸來生成函數(shù)f(x)。邏輯回歸是假定判定結(jié)果為True或False 的概率的對(duì)元(Iogit)可以用輸入變量的線性耦合來表示，用于通過回歸分析計(jì)算耦合系 數(shù)的方法。例如，當(dāng)將輸入變量表示為χ = (X1,.. · ,xn)時(shí)，判定結(jié)果為True的概率表示為 P(True)并且耦合系數(shù)表示為 ^，...，β η，則邏輯回歸模型被表示為以下等式(13)。當(dāng)修 改以下等式(13)時(shí)，獲得以下等式(14)并且獲得用于從輸入變量χ計(jì)算判定結(jié)果True的 概率P (True)的函數(shù)f(x)。[等式13] [等式14]
旋律概率估計(jì)單元282向以上等式(14)輸入從用于學(xué)習(xí)的音樂數(shù)據(jù)中針對(duì)各 個(gè)參考范圍獲得的歸一化后的對(duì)數(shù)值X = (X1, ...，X245)和判定結(jié)果，并且計(jì)算耦合系數(shù) βο，...，β 245。利用以這種方式確定的耦合系數(shù)β ο，...，β 245，獲得用于從歸一化后的對(duì) 數(shù)值χ中計(jì)算出判定結(jié)果為True的概率P (True)的函數(shù)f(x)。由于函數(shù)f(x)是在0. 0至 1.0的范圍中被定義的概率并且一個(gè)時(shí)間的正確旋律線的音調(diào)數(shù)是1，所以函數(shù)f(x)被以 使得對(duì)于一個(gè)時(shí)間總計(jì)的值變成1的方式進(jìn)行歸一化。并且，優(yōu)選，函數(shù)f(x)是針對(duì)各種 音樂類別而生成的。因此，旋律概率估計(jì)單元282通過使用針對(duì)各種類別給出的用于學(xué)習(xí) 的音樂數(shù)據(jù)來計(jì)算各種類別的函數(shù)f (X)。在通過這樣的方法生成各種類別的函數(shù)f(x)之后，當(dāng)處理樂曲數(shù)據(jù)的對(duì)數(shù)譜被 輸入時(shí)，旋律概率估計(jì)單元282考慮針對(duì)處理樂曲數(shù)據(jù)從類別估計(jì)單元284輸入的類別，選 擇函數(shù)f (x)。例如，在處理樂曲被分類為“老歌”的情況中，選擇針對(duì)“老歌”從用于學(xué)習(xí)的 音樂數(shù)據(jù)中獲得的函數(shù)f(x)。然后，旋律概率估計(jì)單元282在將處理樂曲數(shù)據(jù)的對(duì)數(shù)譜值 變換成歸一化后的對(duì)數(shù)值χ之后，用所選擇的函數(shù)f(x)來計(jì)算旋律概率。當(dāng)由旋律概率估 計(jì)單元282針對(duì)時(shí)間-音調(diào)空間中的各個(gè)坐標(biāo)位置來計(jì)算旋律概率時(shí)，獲得如圖80(80B) 中所示的旋律概率分布。以這種方式獲得的旋律概率分布被輸入旋律線確定單元288。(函數(shù)f(χ)生成處理的流程) 這里，將參考圖82來簡(jiǎn)要描述旋律概率估計(jì)單元282的函數(shù)f(x)生成方法的處 理的流程。如圖82中所示，首先旋律概率估計(jì)單元282開始針對(duì)時(shí)間軸方向的循環(huán)處理 (S142)。此時(shí)，設(shè)置指示時(shí)間軸方向上的估計(jì)位置的時(shí)間t(幀編號(hào)t)。然后，旋律概率估 計(jì)單元282開始針對(duì)音調(diào)軸方向的循環(huán)處理(S144)。此時(shí)，設(shè)置指示音調(diào)軸方向上的估計(jì) 位置的音調(diào)ο。然后，旋律概率估計(jì)單元282針對(duì)由在步驟S142和S144中所設(shè)置的時(shí)間 t和音調(diào)ο指示的估計(jì)位置的參考范圍獲得歸一化后的對(duì)數(shù)值x(S146)。例如，估計(jì)位置 (t，ο)的周圍的(t-2至t+2，0-12至0+36)被選作參考范圍，并且歸一化后的對(duì)數(shù)值χ = {χ (t+At, ο+Δ ο) ；-2 ^ Δ t彡2，-12彡ο彡36}被計(jì)算出。接著，旋律概率估計(jì)單元282 使用通過使用用于學(xué)習(xí)的音樂數(shù)據(jù)的學(xué)習(xí)處理預(yù)先獲得的函數(shù)f(x)，來計(jì)算時(shí)間t和音調(diào) ο處的旋律概率(S148)。由時(shí)間t和音調(diào)ο指示的估計(jì)位置的旋律概率是通過步驟S146和S148估計(jì)出的。 現(xiàn)在，旋律概率估計(jì)單元282返回到步驟S144的處理(S150)，并將估計(jì)位置的音調(diào)ο遞增 1個(gè)半音并且重復(fù)步驟S146和S148的處理。旋律概率估計(jì)單元282通過將估計(jì)位置的音 調(diào)ο —次遞增1個(gè)半音來針對(duì)特定音調(diào)范圍(例如，ο = 12至72)執(zhí)行步驟S146和S148的處理。在針對(duì)特定音調(diào)范圍執(zhí)行了步驟S146和S148的處理之后，旋律概率估計(jì)單元282 繼續(xù)進(jìn)行到步驟S152的處理。在步驟S152中，旋律概率估計(jì)單元282對(duì)時(shí)間t的旋律概率進(jìn)行歸一化使得旋律 概率的加和為1(S152)。S卩，關(guān)于步驟S142中所設(shè)置的估計(jì)位置的時(shí)間t，在步驟S152中 以使得針對(duì)特定音調(diào)范圍計(jì)算出的旋律概率的加和變?yōu)?的方式對(duì)各個(gè)音調(diào)ο的旋律概率 進(jìn)行歸一化。然后，旋律概率估計(jì)單元282返回步驟S142的處理(S154)，并且在將估計(jì)位 置的時(shí)間t遞增1幀之后重復(fù)步驟S144至S152的處理。旋律概率估計(jì)單元282通過將估 計(jì)位置的時(shí)間t 一次遞增1幀來針對(duì)特定時(shí)間范圍(例如，t = 1至T)執(zhí)行步驟S144至 S152的處理。在針對(duì)特定時(shí)間范圍(例如，t = 1至T)執(zhí)行了步驟S144至S152的處理之 后，旋律概率估計(jì)單元282結(jié)束旋律概率的估計(jì)處理。(旋律線確定單元288)接著，將參考圖83至圖85來描述旋律線確定單元288的配置。旋律線確定單元 288是用于基于由旋律概率估計(jì)單元282估計(jì)出的旋律概率和由音調(diào)分布估計(jì)單元286估 計(jì)出的旋律線的期待值、標(biāo)準(zhǔn)差等來確定有可能的旋律線的裝置。為了確定有可能的旋律 線，旋律線確定單元288執(zhí)行在時(shí)間-音調(diào)空間中搜索具有最高旋律概率的路徑的處理。對(duì) 于所要執(zhí)行的路徑搜索，使用由音調(diào)分布估計(jì)單元286計(jì)算出的P (ο I Wt)和以下示出的概 率ρ ( Δ ο)和ρ (nt I η』。如已經(jīng)描述的，概率P (ο | Wt)是旋律在某一時(shí)間t為音調(diào)ο的概 率。首先，旋律線確定單元288計(jì)算各個(gè)音樂數(shù)據(jù)的正確旋律線處變化量為Δο的音 調(diào)過渡的出現(xiàn)比率。在針對(duì)許多條音樂數(shù)據(jù)計(jì)算各個(gè)音調(diào)過渡Δο的出現(xiàn)比率之后，旋律 線確定單元288針對(duì)各個(gè)音調(diào)過渡△ ο來針對(duì)所有各條音樂數(shù)據(jù)計(jì)算出現(xiàn)比率的平均值 和標(biāo)準(zhǔn)差。然后，通過使用與以上述方式計(jì)算出的各個(gè)音調(diào)過渡Δο相關(guān)的出現(xiàn)比率的 平均值和標(biāo)準(zhǔn)差，旋律線確定單元288用具有該平均值和標(biāo)準(zhǔn)差的高斯分布來逼近概率 ρ(Δο)。接著，將給出對(duì)概率P(IitIrv1)的說明。概率P(IitIrv1)指示反映從音調(diào)IV1至 音調(diào)nt的過渡時(shí)的過渡方向的概率。音調(diào)nt采用值Cdown、C#down,……、Bdown, Cup、 C#up、……、Bup中的任何一個(gè)。這里，“down”是指音調(diào)下降，并且“up”是指音調(diào)上升。另 一方面，IV1不考慮音調(diào)的下降和上升，并且采用值C、C#、……』中的任何一個(gè)。例如，概 率p(Dup|C)指示音調(diào)C上升為音調(diào)D的概率。通過將實(shí)際的基調(diào)(例如，D)轉(zhuǎn)移到特定 基調(diào)(例如C)來使用概率(HtIrv1)15例如，在當(dāng)前基調(diào)為D并且特定基調(diào)是C的情況中， 對(duì)于F# — Adown的過渡概率參考概率ρ (Gdown | E)，這是因?yàn)橛捎诨{(diào)的轉(zhuǎn)移，F(xiàn)#被改為E 而A被改為G。還對(duì)于概率ρ (nt I Iv1)，如在概率ρ ( Δ 0)的情況中一樣，旋律線確定單元288計(jì)算 各個(gè)音樂數(shù)據(jù)的正確旋律線中各種音調(diào)過渡IV1 — nt的出現(xiàn)比率。在針對(duì)許多條音樂數(shù) 據(jù)計(jì)算出各種音調(diào)過渡IV1 — nt的出現(xiàn)比率之后，旋律線確定單元288針對(duì)各種音調(diào)過渡 IV1 — nt，對(duì)于所有各條音樂數(shù)據(jù)計(jì)算出現(xiàn)比率的平均值和標(biāo)準(zhǔn)差。然后，通過使用以上述 方式計(jì)算出的與各種音調(diào)過渡IV1 — nt有關(guān)的出現(xiàn)比率的平均值和標(biāo)準(zhǔn)差，旋律線確定單 元288用具有平均值和標(biāo)準(zhǔn)差的高斯分布來逼近概率ρ (nt I Iv1)。在圖84中概念性地示出這些概率。在圖84的示例中，旋律線的當(dāng)前音調(diào)是C4。在時(shí)間、的旋律線的音調(diào)的過渡的情況中，參考概率ρ(Δ0)和ρ (IitIrv1)。例如，在從音調(diào) C4至音調(diào)D4的過渡的情況中，音調(diào)之間的差是+2半音。此外，在圖84的示例中，過渡是朝 向同一八度音階中的更高音調(diào)的。因此，參考概率Ρ(Δο = +2)和概率p(Dup|C)。另一方 面，在從音調(diào)C4至音調(diào)G3的過渡中，音調(diào)之間的差為_5半音。此外，在圖84的示例中，過 渡是朝向較低八度音階的較低音調(diào)的。因此，參考概率Ρ(Δο = -2)和概率p(GdoWn|C)。 類似地，在旋律在時(shí)間tl過渡到音調(diào)D4并且之后在時(shí)間t2過渡到音調(diào)G3的情況中，參考 概率ρ ( Δ ο = -7)和概率ρ (Gdown | D)。此外，作為音調(diào)C4、D4和G3中每一個(gè)音調(diào)的概率， 參考概率P (ο |Wt)。旋律線是通過使用以上述方式獲得的概率P(o|Wt)、p(A0)和P(IltIrvi)來確定 的。然而，為了使用概率P(IitIrv1),要估計(jì)旋律線的音樂數(shù)據(jù)的基調(diào)變得必要。如上所述， 基調(diào)是由基調(diào)檢測(cè)單元138給出的，因此，旋律線確定單元288通過使用由基調(diào)檢測(cè)單元 138給出的基調(diào)來執(zhí)行稍后所述的旋律線確定處理。旋律線確定單元288通過使用Viterbi搜索來確定旋律線。Viterbi搜索本身是 公知的基于隱馬爾科夫模型的路徑搜索方法。除了概率P (O ι Wt)、ρ ( Δ O)和ρ (nt IIV1)以外， 由旋律概率估計(jì)單元282針對(duì)各個(gè)估計(jì)位置估計(jì)出的旋律概率被用于旋律線確定單元288 的Viterbi搜索。以下，時(shí)間t和音調(diào)ο處的旋律概率將被表示為ρ (Mt I 0，t)。使用這些 概率，某一時(shí)間點(diǎn)t的音調(diào)ο是旋律的概率P (0，t)被表示為以下等式(15)。從音調(diào)ο至 相同音調(diào)ο的過渡的概率P(t+At，o|t, ο)被表示為以下等式(16)。此外，從音調(diào)ο至不 同音調(diào)ο+ Δ ο的過渡的概率P (t+ Δ t，ο+ Δ ο 11，ο)被表示為以下等式(17)。[等式15]P(o，t) = ρ (Mt I ο, t)P(o|fft). . . (15)[等式I6]P(ο，t+At|o, t) = (1- Σ p(nt|nt_1))p(Ao). . . (16)[等式17]P (ο+ Δ o，t+ Δ 11 o，t) = ρ (nt | Πη) ρ ( Δ ο). . . (17)當(dāng)使用這些表達(dá)式時(shí)，對(duì)于從節(jié)點(diǎn)Q1 (時(shí)間、，音調(diào)O27)轉(zhuǎn)移至節(jié)點(diǎn)q2 (時(shí)間t2， 音調(diào) o26)的情況的概率 P(qi，q2)被表示為 P(q1;q2) = ρ (nt21 ntl) ρ ( Δ ο = -1) ρ (Ml | ο27, t^ P(O27IWtl)。被如上表示的概率為整首樂曲中最大的路徑被提取出作為有可能的旋律線。 這里，旋律線確定單元288將各個(gè)Viterbi路徑的概率的對(duì)數(shù)值作為路徑搜索的參考。例 如，對(duì)于 Iog(P) (Q1，q2))，將使用諸如 log (p (nt2|ntl))+log(p(Ao = _1))+log (ρ (Ml | o27, tl)) +log (ρ (o271 Wtl))之類的對(duì)數(shù)值的加和。此外，旋律線確定單元288可以被配置為使用通過對(duì)各種概率執(zhí)行加權(quán)獲得的加 權(quán)和對(duì)數(shù)值作為Viterbi搜索的參考，而不是簡(jiǎn)單地使用對(duì)數(shù)值的加和作為參考。例如，旋 律線確定單元288通過將所經(jīng)過的節(jié)點(diǎn)的log(p(Mt|o,t),b1*log(p(o|fft))和所經(jīng)過的節(jié) 點(diǎn)之間的過渡的I32^og(PntIrv1)和b3*log(p(A0))進(jìn)行加和來將它們作為Viterbi搜索 的參考。這里，bl、b2和b3是針對(duì)各種概率給出的權(quán)重參數(shù)。即，旋律線確定單元288對(duì) 于整首樂曲計(jì)算上述加權(quán)和對(duì)數(shù)值并且提取使得加和的對(duì)數(shù)值最大的路徑。由旋律線確定 單元288提取出的路徑被確定為旋律線。此外，優(yōu)選用于Viterbi搜索的概率和加權(quán)參數(shù)根據(jù)由類別估計(jì)單元284估計(jì)出的音樂類別而不同。例如，對(duì)于對(duì)被分類為“老歌”的樂曲的旋律線的Viterbi搜索，優(yōu)選 使用從正確旋律線被預(yù)先給出的大量“老歌”中獲得的概率和針對(duì)“老歌”調(diào)諧(time)的 參數(shù)。由旋律線確定單元288以這種方式確定的旋律線被輸入平滑單元290。(平滑單元29O)接著，將描述平滑單元290的配置。平滑單元290是用于對(duì)由旋律線確定單元288 針對(duì)由樂曲的拍子確定的各個(gè)區(qū)間所確定的旋律線進(jìn)行平滑的裝置。平滑單元290基于由 拍子檢測(cè)單元132給出的拍子位置來執(zhí)行平滑處理。例如，平滑單元290執(zhí)行對(duì)每8個(gè)音 符的旋律線的投票，并且將最經(jīng)常出現(xiàn)的音調(diào)作為旋律線。拍子區(qū)間可以包括多個(gè)作為旋 律線的音調(diào)。因此，平滑單元290針對(duì)各個(gè)拍子區(qū)間檢測(cè)被確定為旋律線的音調(diào)的出現(xiàn)頻 率，并且用最經(jīng)常出現(xiàn)的音調(diào)來平滑各個(gè)拍子區(qū)間的音調(diào)。以這種方式針對(duì)各個(gè)拍子區(qū)間 平滑后的音調(diào)被存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元112中，作為旋律線。(2-4-8.貝斯檢測(cè)單元146的配置)接著，將描述貝斯檢測(cè)單元146。貝斯檢測(cè)單元146是用于通過與上述旋律檢測(cè)單 元144的方法類似的方法來從音樂數(shù)據(jù)中檢測(cè)出貝斯線的裝置。如圖86中所示，貝斯檢測(cè) 單元146包括貝斯概率估計(jì)單元292、貝斯線確定單元294和平滑單元296。此外，音樂數(shù) 據(jù)的類別從類別估計(jì)單元284輸入貝斯概率估計(jì)單元292和貝斯線確定單元294。此外， 有關(guān)音調(diào)分布的信息從音調(diào)分布估計(jì)單元286輸入貝斯線確定單元294。這里，從音調(diào)分 布估計(jì)單元286輸入的音調(diào)分布是與貝斯線有關(guān)的音調(diào)分布。此外，基調(diào)從基調(diào)檢測(cè)單元 138輸入貝斯線確定單元294。此外，有關(guān)拍子位置的信息從拍子檢測(cè)單元132輸入平滑單 元 296。(貝斯概率估計(jì)單元292)首先，將描述貝斯概率估計(jì)單元292。貝斯概率估計(jì)單元292是用于將從對(duì)數(shù)譜分 析單元108輸出的對(duì)數(shù)譜變換成貝斯概率的裝置。這里的貝斯概率指示各個(gè)坐標(biāo)位置處的 對(duì)數(shù)譜值是貝斯線的值的概率。首先，為了估計(jì)各個(gè)坐標(biāo)位置的貝斯概率，貝斯概率估計(jì)單 元292通過使用正確貝斯線預(yù)先已知的音樂數(shù)據(jù)的對(duì)數(shù)譜來執(zhí)行邏輯回歸。通過邏輯回歸 獲得用于從對(duì)數(shù)譜計(jì)算出旋律概率的函數(shù)f。然后，貝斯概率估計(jì)單元292通過使用所獲得 的函數(shù)來計(jì)算貝斯概率的分布。具體地，除了旋律概率計(jì)算處理被貝斯概率計(jì)算處理替代 以外，由貝斯概率估計(jì)單元292進(jìn)行的處理與由旋律概率估計(jì)單元282的處理相同。因此， 將省略詳細(xì)描述。(貝斯線確定單元294)接下來，將描述貝斯線確定單元294。貝斯線確定單元294是用于基于由貝斯概率 估計(jì)單元292估計(jì)出的貝斯概率和由音調(diào)分布估計(jì)單元286估計(jì)出的貝斯線的期待值、標(biāo) 準(zhǔn)差等來確定有可能的貝斯線的裝置。此外，音調(diào)分布估計(jì)單元286可以通過將用作用于 學(xué)習(xí)的數(shù)據(jù)的教師數(shù)據(jù)改為貝斯線的教師數(shù)據(jù)來以與針對(duì)旋律線的方式相似的方式來執(zhí) 行對(duì)貝斯線的分布估計(jì)?，F(xiàn)在，為了確定有可能的貝斯線，貝斯線確定單元294在時(shí)間-音 調(diào)空間中執(zhí)行對(duì)具有高的貝斯概率的路徑的搜索處理。這里所執(zhí)行的搜索處理是將旋律概 率改為貝斯概率，通過與旋律線確定單元288的處理基本相同的處理來實(shí)現(xiàn)的。因此，將省 略詳細(xì)描述。(平滑單元2邪)
52
接著，將描述平滑單元296的配置。平滑單元296是用于針對(duì)由樂曲的拍子確定 的各個(gè)區(qū)間、對(duì)由貝斯線確定單元294確定的貝斯線執(zhí)行平滑的裝置。此外，平滑單元296 基于由拍子檢測(cè)單元132提供的拍子位置來執(zhí)行平滑處理。例如，平滑單元296針對(duì)每8 個(gè)音符的貝斯線執(zhí)行投票，并且將最經(jīng)常出現(xiàn)的音調(diào)作為貝斯線。拍子區(qū)間可以包括多個(gè) 作為貝斯線的音調(diào)。因此，平滑單元296針對(duì)各個(gè)拍子區(qū)間來檢測(cè)被確定為貝斯線的音調(diào) 的出現(xiàn)頻率，并且用最經(jīng)常出現(xiàn)的音調(diào)來平滑各個(gè)拍子區(qū)間的音調(diào)。以這種方式針對(duì)各個(gè) 拍子區(qū)間平滑后的音調(diào)被存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元112中，作為貝斯線。(2-4-9.元數(shù)據(jù)檢測(cè)單元148的配置)接著，將描述元數(shù)據(jù)檢測(cè)單元148的配置。元數(shù)據(jù)檢測(cè)單元148是用于提取以下 元數(shù)據(jù)的裝置時(shí)間序列元數(shù)據(jù)和每首樂曲的元數(shù)據(jù)，時(shí)間序列元數(shù)據(jù)指示特定時(shí)間單位 中的一個(gè)音樂數(shù)據(jù)特征量，而每首樂曲的元數(shù)據(jù)指示對(duì)于一首樂曲而言的一個(gè)音樂數(shù)據(jù)特征量。時(shí)間序列元數(shù)據(jù)例如可以是各種樂器聲音的存在概率、各種樂器聲音是獨(dú)奏的概 率(以下，稱為獨(dú)奏概率)、歌聲的聲音特征等。此外，對(duì)于各個(gè)區(qū)間，樂器聲音的類型包括 歌聲、吉他、貝斯、鍵盤樂器、鼓、琴弦樂器、銅管樂器、合唱等。為了詳細(xì)描述，小鼓、腳踏鼓、 架子鼓、踩镲、鐃鈸都被包括為鼓聲。即，所述每種樂器聲音的存在概率或獨(dú)奏概率被提取 作為時(shí)間序列元數(shù)據(jù)。此外，作為與歌聲有關(guān)的時(shí)間序列元數(shù)據(jù)，其是否為喊叫(Shout)被 提取出作為該元數(shù)據(jù)。另一方面，每首樂曲的元數(shù)據(jù)可以是音樂數(shù)據(jù)屬于特定流派的概率、 整首樂曲中各種樂器聲音的存在概率、音樂的曲調(diào)等。特定的流派例如可以是搖滾樂、流行 樂、舞曲、說唱樂、爵士樂、古典樂等。而且，音樂的曲調(diào)可以是活潑的、安靜的等。作為一個(gè)示例，將描述計(jì)算樂器聲音存在概率(時(shí)間序列元數(shù)據(jù)的示例)的方法， 樂器聲音存在概率指示哪種樂器在哪個(gè)定時(shí)被演奏。此外，利用該方法，元數(shù)據(jù)檢測(cè)單元 148針對(duì)由聲源分離單元106分離出的聲源的組合中的每種組合來計(jì)算各種樂器聲音的存 在概率。首先，為了估計(jì)樂器聲音的存在概率，元數(shù)據(jù)檢測(cè)單元148通過使用特征量計(jì)算公 式生成設(shè)備10 (或其它學(xué)習(xí)算法)來生成用于計(jì)算各種樂器聲音的存在概率的計(jì)算公式。 此外，元數(shù)據(jù)檢測(cè)單元148通過使用針對(duì)各種樂器聲音所生成的計(jì)算公式來計(jì)算各種樂器 聲音的存在概率。為了生成用于計(jì)算樂器聲音的存在概率的計(jì)算公式，元數(shù)據(jù)檢測(cè)單元148預(yù)先準(zhǔn) 備以時(shí)間序列標(biāo)記的對(duì)數(shù)譜。例如，元數(shù)據(jù)檢測(cè)單元148如圖87中所示以特定時(shí)間(例 如，1幀)為單位從被標(biāo)記的對(duì)數(shù)譜中捕獲局部對(duì)數(shù)譜，并且通過使用所捕獲的局部對(duì)數(shù)譜 來生成用于計(jì)算存在概率的計(jì)算公式。在圖87中示出歌聲的存在與否預(yù)先已知的音樂數(shù) 據(jù)的對(duì)數(shù)譜作為示例。當(dāng)所述對(duì)數(shù)譜被提供時(shí)，元數(shù)據(jù)檢測(cè)單元148以特定時(shí)間為單位確 定捕獲區(qū)間，參考各個(gè)捕獲區(qū)間中歌聲的存在與否，并且向具有歌聲的區(qū)間指派標(biāo)簽1而 向沒有歌聲的區(qū)間指派標(biāo)簽0。此外，對(duì)于其它類型的樂器聲音，可以說同樣如此。以這種方式捕獲的按時(shí)間序列的局部對(duì)數(shù)譜被輸入特征量計(jì)算公式生成設(shè)備10 作為評(píng)估數(shù)據(jù)。此外，被指派給各個(gè)局部對(duì)數(shù)譜的各種樂器聲音的標(biāo)簽被輸入特征量計(jì)算 公式生成設(shè)備10作為教師數(shù)據(jù)。通過提供所述評(píng)估數(shù)據(jù)和教師數(shù)據(jù)，可以獲得在處理樂曲 的局部對(duì)數(shù)譜輸入時(shí)，輸出每種樂器聲音是否被包括在與輸入局部對(duì)數(shù)譜對(duì)應(yīng)的捕獲區(qū)間 中的計(jì)算公式。因此，元數(shù)據(jù)檢測(cè)單元148在一點(diǎn)一點(diǎn)偏移時(shí)間軸的同時(shí)向與各種樂器聲音對(duì)應(yīng)的計(jì)算公式輸入局部對(duì)數(shù)譜，并且根據(jù)在由特征量計(jì)算公式生成設(shè)備10進(jìn)行學(xué)習(xí) 處理時(shí)計(jì)算的概率分布來將輸出值變換成概率值。然后，元數(shù)據(jù)檢測(cè)單元148存儲(chǔ)按時(shí)間 序列計(jì)算出的概率值作為時(shí)間序列元數(shù)據(jù)。如圖88中所示的各種樂器聲音的存在概率例 如是由如上所述的元數(shù)據(jù)檢測(cè)單元148計(jì)算出來的。盡管該描述是針對(duì)歌聲存在概率的計(jì)算方法的示例做出的，但是，可以是對(duì)于其 它樂器聲音的存在概率或其它時(shí)間序列元數(shù)據(jù)的計(jì)算方法同樣如此。此外，關(guān)于每首樂曲 的元數(shù)據(jù)，通過利用整首樂曲的對(duì)數(shù)譜作為輸入來生成用于計(jì)算每首樂曲的元數(shù)據(jù)的計(jì)算 公式并且通過使用該計(jì)算公式來計(jì)算每首樂曲的元數(shù)據(jù)。例如，為了生成用于計(jì)算音樂的 曲調(diào)的計(jì)算公式，僅有必要輸入指示音樂的曲調(diào)的判定值作為教師數(shù)據(jù)以及輸入多個(gè)曲調(diào) 已知的音樂數(shù)據(jù)的對(duì)數(shù)譜作為評(píng)估數(shù)據(jù)。通過使用由特征量計(jì)算公式生成設(shè)備10通過學(xué) 習(xí)處理從這些輸入中生成的計(jì)算公式并且通過向計(jì)算公式輸入整首樂曲的對(duì)數(shù)譜，計(jì)算出 樂曲的音樂的曲調(diào)作為每首樂曲的元數(shù)據(jù)。當(dāng)然，對(duì)于計(jì)算樂曲的流派作為每首樂曲的元 數(shù)據(jù)的情況同樣如此。以這種方式計(jì)算出的每首樂曲的元數(shù)據(jù)被存儲(chǔ)在元數(shù)據(jù)存儲(chǔ)單元 112 中。以上，已經(jīng)描述了信息處理設(shè)備100的結(jié)構(gòu)元件中有關(guān)音樂分析方法的結(jié)構(gòu)元件 的功能。如上所述，有關(guān)音樂數(shù)據(jù)的各種元數(shù)據(jù)通過音樂分析單元110的分析處理被存儲(chǔ) 在元數(shù)據(jù)存儲(chǔ)單元112中。因此，以下，將描述通過使用元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的各 種元數(shù)據(jù)來逼真地可視化音樂數(shù)據(jù)的方法。有關(guān)可視化方法的結(jié)構(gòu)元件是可視化參數(shù)確定 單元114和可視化單元116。以下，將描述這些結(jié)構(gòu)元件的功能。(2-5.可視化參數(shù)確定單元114的配置)首先，將描述可視化參數(shù)確定單元114的配置。可視化參數(shù)確定單元114是用于基 于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的各種元數(shù)據(jù)來確定用于控制對(duì)象的參數(shù)的裝置。此外， 該對(duì)象可以是被實(shí)現(xiàn)為CG圖像的演奏場(chǎng)景中出現(xiàn)的角色、從外部連接到信息處理設(shè)備100 的機(jī)器人等。以下，作為示例，將描述在被實(shí)現(xiàn)為CG圖像的演奏場(chǎng)景上反映元數(shù)據(jù)存儲(chǔ)單 元112中所存儲(chǔ)的各種元數(shù)據(jù)的方法。(2-5-1.可視化參數(shù)確定方法的概要)首先，參考圖89，將描述由可視化參數(shù)確定單元114進(jìn)行的一連串處理的流程。圖 89中所示的流程圖示出由可視化參數(shù)確定單元114進(jìn)行的總體處理流程。如圖89中所示，首先，可視化參數(shù)確定單元114從元數(shù)據(jù)存儲(chǔ)單元112獲取作為 音樂分析單元110的分析處理的結(jié)果得到的元數(shù)據(jù)(S202)。例如，獲取拍子、基調(diào)、和弦 進(jìn)行、旋律線、貝斯線、各種樂器聲音的存在概率和獨(dú)奏概率、音樂的曲調(diào)和流派、音樂結(jié)構(gòu) 等。然后，可視化參數(shù)確定單元114基于當(dāng)前的時(shí)間和元數(shù)據(jù)來確定用于控制諸如舞臺(tái)燈 光和聚光燈之類的照明的照明參數(shù)(S204)。然后，可視化參數(shù)確定單元114確定用于控制 類似觀眾的對(duì)象(以下，稱為觀眾對(duì)象)的移動(dòng)的觀眾參數(shù)(S206)。接著，可視化參數(shù)確定 單元114確定用于控制類似演奏者的對(duì)象(以下，稱為演奏者對(duì)象)的移動(dòng)的演奏者參數(shù) (S208)。然后，可視化參數(shù)確定單元114向可視化單元116輸出照明參數(shù)、觀眾參數(shù)和演奏 者參數(shù)作為可視化參數(shù)(S210)，并且結(jié)束一連串的可視化參數(shù)確定處理。以下，將詳細(xì)描述 各個(gè)步驟的處理。(2-5-2.可視化參數(shù)確定方法的細(xì)節(jié))
以下，將詳細(xì)描述可視化參數(shù)確定方法。(CG圖像的演奏場(chǎng)景的配置)首先，參考圖90，將描述可視化單元116基于由可視化參數(shù)確定單元114確定的可 視化參數(shù)而實(shí)現(xiàn)的演奏場(chǎng)景(CG圖像)的一個(gè)示例。圖90示出由可視化單元116實(shí)現(xiàn)的 演奏場(chǎng)景的示例。CG圖像包括演奏者對(duì)象，演奏者對(duì)象的一部分分別是歌唱家、吉他、貝斯、 鍵盤樂器、鼓、琴弦樂器和銅管樂器。觀眾對(duì)象被布置在舞臺(tái)的前面。此外，設(shè)置舞臺(tái)燈光 和聚光燈以用于照明。以下，將描述用于控制目標(biāo)對(duì)象的參數(shù)的確定方法，其中，目標(biāo)對(duì)象 是演奏者對(duì)象和觀眾對(duì)象的移動(dòng)、照明和背景顏色。當(dāng)然，本實(shí)施例的應(yīng)用范圍不限于此， 并且例如可以通過使用元數(shù)據(jù)來表示發(fā)言者的操作或可以在后面顯示另一圖像。(照明參數(shù)確定方法)首先，參考圖91至96，將描述照明參數(shù)確定方法。圖91是示出照明參數(shù)的基本 設(shè)置示例的說明性示圖。圖92是示出有關(guān)背景顏色的照明參數(shù)的設(shè)置示例的說明性示圖。 圖93是有關(guān)舞臺(tái)燈光和聚光燈的照明參數(shù)的設(shè)置示例。圖94是示出針對(duì)舞臺(tái)燈光的照明 參數(shù)的詳細(xì)設(shè)置的示例的說明性示圖。圖95和圖96是有關(guān)照明參數(shù)確定處理的流程的說 明性示圖。首先，將參考圖91。如圖91中所示，可視化參數(shù)確定單元114設(shè)置背景顏色的顏 色和亮度、各個(gè)舞臺(tái)燈光的顏色、亮度和角度以及各個(gè)聚光燈的顏色和亮度作為照明參數(shù)。 例如，以使用從0至255的值指示紅(R)、綠(G)和藍(lán)⑶的各個(gè)密度的RGB來表示顏色。 此外，用以特定亮度為參考從0至100%的值來表示亮度。此外，當(dāng)燈光被轉(zhuǎn)向舞臺(tái)時(shí)，角度 為0，當(dāng)燈光被轉(zhuǎn)向觀眾時(shí)，角度為90度。此外，如圖90中所示，設(shè)置多個(gè)舞臺(tái)燈光和聚光 燈。例如，針對(duì)各個(gè)演奏者對(duì)象設(shè)置聚光燈。因此，可以針對(duì)各個(gè)燈光或者針對(duì)包括多個(gè)燈 光的一個(gè)特定組來設(shè)置照明參數(shù)。由可視化參數(shù)確定單元114確定的照明參數(shù)被輸入可視 化單元116，并且在音樂數(shù)據(jù)的再現(xiàn)期間被實(shí)時(shí)反映在CG圖像上。接著，將參考圖92。如圖92中所示，可視化參數(shù)確定單元114可以根據(jù)當(dāng)前時(shí)間 來改變背景顏色。例如，當(dāng)當(dāng)前時(shí)間是白天時(shí)，可視化參數(shù)確定單元114將背景顏色設(shè)置為 藍(lán)色，并且將背景顏色的亮度設(shè)置為100%。此外，當(dāng)當(dāng)前時(shí)間是傍晚時(shí)，可視化參數(shù)確定 單元114將背景顏色設(shè)置為橙色，并且將背景顏色的亮度設(shè)置為10%。此外，當(dāng)當(dāng)前時(shí)間 是夜晚時(shí)，可視化參數(shù)確定單元114將背景顏色設(shè)置為黑色，并且將背景顏色的亮度設(shè)置 為0%。通過根據(jù)當(dāng)前時(shí)間來改變背景顏色，CG圖像世界和現(xiàn)實(shí)世界中的時(shí)間相一致并且 可以增強(qiáng)真實(shí)感。此外，可視化參數(shù)確定單元114可以使用中間顏色和中間亮度使得背景 顏色與當(dāng)前時(shí)間的過去相同步地在白天、傍晚和夜晚之間平緩地改變。接著，將參考圖93。如圖93中所示，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單 元112中所存儲(chǔ)的元數(shù)據(jù)中指示音樂數(shù)據(jù)的流派的元數(shù)據(jù)來針對(duì)各個(gè)流派確定舞臺(tái)燈光 和聚光燈的可視化參數(shù)。此外，當(dāng)處理根據(jù)流派要被分支時(shí)，處理被設(shè)置為被分支到這樣的 流派，該流派具有由元數(shù)據(jù)檢測(cè)單元148檢測(cè)出作為每首樂曲的元數(shù)據(jù)的各個(gè)流派的概率 中的最高概率。例如，當(dāng)存在五個(gè)分支時(shí)，即，流行樂、搖滾樂、舞曲、爵士樂和古典樂，并且 概率分別是80 %、70 %、90 %、20 %和0 %時(shí)，處理被分支到概率最高的舞曲。例如，當(dāng)音樂數(shù)據(jù)的流派是搖滾樂時(shí)，可視化參數(shù)確定單元114隨每個(gè)小節(jié)改變 舞臺(tái)燈光的顏色。此時(shí)，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的由小節(jié)線檢測(cè)單元140檢測(cè)出的有關(guān)小節(jié)線的信息，來確定改變顏色的定時(shí)。此外，可視化參 數(shù)確定單元114對(duì)每個(gè)四分之一音符來改變舞臺(tái)燈光的顏色變化樣式。此時(shí)，可視化參數(shù) 確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的元數(shù)據(jù)中由拍子檢測(cè)單元132檢測(cè)到的 有關(guān)拍子的信息，來確定顏色變化樣式的切換定時(shí)。此外，可視化參數(shù)確定單元114將舞臺(tái) 燈光的角度設(shè)置為30度。此外，可視化參數(shù)確定單元114將聚光燈的顏色設(shè)置為白色。作為另一示例，當(dāng)音樂數(shù)據(jù)的流派是爵士樂時(shí)，可視化參數(shù)確定單元114將舞臺(tái) 燈光的顏色設(shè)為暖色。然而，可視化參數(shù)確定單元114不改變舞臺(tái)燈光的亮度樣式。此外， 可視化參數(shù)確定單元114將舞臺(tái)燈光的角度設(shè)為0度。此外，可視化參數(shù)確定單元114將 聚光燈的顏色設(shè)為藍(lán)色。作為另一示例，當(dāng)音樂數(shù)據(jù)的流派是古典樂時(shí)，可視化參數(shù)確定單 元114將舞臺(tái)燈光的顏色設(shè)為白色。然而，可視化參數(shù)確定單元114不改變舞臺(tái)燈光的亮 度樣式。此外，可視化參數(shù)確定單元114將舞臺(tái)燈光的角度設(shè)為45度。此外，可視化參數(shù) 確定單元114將聚光燈的顏色設(shè)為白色。然而，當(dāng)流派是搖滾樂或舞曲時(shí)，舞臺(tái)燈光與拍子 同步地變化。接著，將參考圖94。如上所述，當(dāng)音樂數(shù)據(jù)的流派是搖滾樂時(shí)，可視化參數(shù)確定單 元114隨每一小節(jié)改變舞臺(tái)燈光的顏色。此時(shí)，可視化參數(shù)確定單元114根據(jù)如圖94中所 示的特定樣式來改變顏色。例如，在樣式編號(hào)1的顏色變化樣式的情況中，可視化參數(shù)確定 單元114將舞臺(tái)燈光的顏色在紅和綠之間切換。此外，在樣式編號(hào)2的顏色變化樣式的情 況中，可視化參數(shù)確定單元114將舞臺(tái)燈光的顏色在紫和白之間切換。此外，在樣式編號(hào)3 的顏色變化樣式的情況中，可視化參數(shù)確定單元114將舞臺(tái)燈光的顏色在淺藍(lán)和綠之間切 換。此外，在樣式編號(hào)4的顏色變化樣式的情況中，可視化參數(shù)確定單元114將舞臺(tái)燈光的 顏色在黃和白之間切換。接著，將參考圖95和圖96來描述有關(guān)照明參數(shù)確定方法的一連串處理的流程。首 先，將參考圖95。如圖95中所示，首先，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112 中所存儲(chǔ)的指示流派的元數(shù)據(jù)來判定正被演奏的樂曲的流派(S220)。當(dāng)流派是流行樂、搖 滾樂和舞曲中的任何一種時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S222的處理。此外，當(dāng) 流派為爵士樂時(shí)，可視化參數(shù)確定單元114繼續(xù)進(jìn)行到步驟S224。此外，當(dāng)流派是古典樂 時(shí)，可視化參數(shù)確定單元114繼續(xù)進(jìn)行到步驟S226的處理。在步驟S222中，可視化參數(shù)確定單元114將舞臺(tái)燈光的角度設(shè)為30度并且將聚 光燈的顏色設(shè)為白色(S222)，并且繼續(xù)進(jìn)行到步驟S228。此外，在步驟S224中，可視化參 數(shù)確定單元114將舞臺(tái)燈光的顏色設(shè)為暖色并且將角度設(shè)為0度，將聚光燈的顏色設(shè)為藍(lán) 色(S224)，并且繼續(xù)進(jìn)行到步驟S236的處理(圖96)。此外，在步驟S226，可視化參數(shù)確 定單元114將舞臺(tái)燈光的顏色設(shè)為白色并且將角度設(shè)為45度，將聚光燈的顏色設(shè)為白色 (S226)，并且繼續(xù)進(jìn)行到步驟S236的處理(圖96)。在步驟S228中，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指 示小節(jié)線位置的元數(shù)據(jù)來判定小節(jié)線變化的存在與否(S228)。當(dāng)存在小節(jié)線變化時(shí)，可視 化參數(shù)確定單元114繼續(xù)進(jìn)行到步驟S230的處理。另一方面，當(dāng)不存在小節(jié)線變化時(shí)，可 視化參數(shù)確定單元114繼續(xù)進(jìn)行到步驟S232的處理。在步驟S230中，可視化參數(shù)確定單 元114根據(jù)圖94中所示的表格來改變舞臺(tái)燈光的顏色樣式(S230)。此外，每次小節(jié)線改變 時(shí)遞增樣式編號(hào)。然而，在最后的樣式編號(hào)(4)之后，樣式編號(hào)返回第一樣式編號(hào)(1)。
在步驟S232中，首先，可視化參數(shù)確定單元114參考元數(shù)據(jù)存儲(chǔ)單元112中所存 儲(chǔ)的指示拍子位置的元數(shù)據(jù)和指示音樂結(jié)構(gòu)的元數(shù)據(jù)。之后，可視化參數(shù)確定單元114判 定拍子是否改變以及是否副歌部分正被再現(xiàn)并且被再現(xiàn)的部分在拍子的半中間(S232)。在 拍子已被改變，或副歌部分當(dāng)前正被再現(xiàn)并且被再現(xiàn)的部分在拍子的半中間的情況中，可 視化參數(shù)確定單元114繼續(xù)進(jìn)行到步驟S234的處理。相反，在其它情況中，可視化參數(shù)確 定單元114繼續(xù)進(jìn)行到步驟S236的處理(圖96)。在步驟S234中，切換舞臺(tái)燈光的顏色 (S234)。即，在副歌部分以半拍的時(shí)間間隔切換顏色。此外，舞臺(tái)燈光的顏色如圖90所示 被交替布置，并且顏色被交替切換?，F(xiàn)在，將參考圖96。在步驟S236中，可視化參數(shù)確定單元114從元數(shù)據(jù)存儲(chǔ)單元 112中獲取指示各種樂器聲音的存在概率的元數(shù)據(jù)(S236)。然后，可視化參數(shù)確定單元114 針對(duì)各種樂器聲音的存在概率按時(shí)間序列計(jì)算移動(dòng)平均(S238)。接著，可視化參數(shù)確定單 元114將步驟S238中針對(duì)各種樂器聲音計(jì)算出的平均值設(shè)置為針對(duì)相應(yīng)樂器的演奏者的 聚光燈亮度(S240)。接著，可視化參數(shù)確定單元114參考元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的 指示音樂結(jié)構(gòu)的元數(shù)據(jù)并且判定其是否是序曲(S242)。在序曲的情況中，可視化參數(shù)確定 單元114繼續(xù)進(jìn)行到步驟S244的處理。另一方面，在不是序曲的情況中，可視化參數(shù)確定 單元114繼續(xù)進(jìn)行到步驟S246的處理。在步驟S244中，可視化參數(shù)確定單元114將舞臺(tái)燈光的亮度設(shè)置為一半(S244)。 在步驟S246中，可視化參數(shù)確定單元114從元數(shù)據(jù)存儲(chǔ)單元112中獲取指示樂曲的年代的 元數(shù)據(jù)，并且根據(jù)該元數(shù)據(jù)所指示的年代來調(diào)節(jié)照明的顏色(S246)。例如，當(dāng)年代久遠(yuǎn)(例 如，100年前)時(shí)，顏色是單色的；當(dāng)年代有些久遠(yuǎn)(例如，50年前)時(shí)，顏色被調(diào)節(jié)為深褐 色；而當(dāng)年代新近時(shí)，顏色被調(diào)節(jié)為鮮明的。照明參數(shù)是通過上述一連串處理來確定的。(觀眾參數(shù)確定方法)接著，參考圖97至圖101，將描述觀眾參數(shù)確定方法。圖97是示出觀眾參數(shù)的設(shè) 置的示例的說明性示圖。圖98是示出觀眾參數(shù)的類型的示例的說明性示圖。圖99是示出 有關(guān)觀眾參數(shù)確定方法的處理的總體流程的說明性示圖。圖100是示出對(duì)于正在演奏活潑 的音樂的情況，有關(guān)觀眾參數(shù)確定方法的處理的流程的說明性示圖。圖101是示出對(duì)于正 在演奏安靜的音樂的情況，有關(guān)觀眾參數(shù)確定方法的處理的流程的說明性示圖。首先，將參考圖97。如圖97中所示，觀眾參數(shù)是根據(jù)音樂的曲調(diào)來設(shè)置的。例如， 當(dāng)音樂的曲調(diào)是活潑的時(shí)，觀眾參數(shù)被設(shè)置使得觀眾對(duì)象在序曲部分保持靜止，在副歌部 分隨著拍子跳躍，并且在其它部分僅上下移動(dòng)頭。此外，當(dāng)音樂的曲調(diào)是安靜的時(shí)，觀眾參 數(shù)被設(shè)置使得使得觀眾對(duì)象在序曲部分保持靜止，在副歌部分隨著各個(gè)小節(jié)左右擺動(dòng)舉起 的手臂，并且在其它部分僅左右移動(dòng)頭。此外，當(dāng)音樂的曲調(diào)是古典的時(shí)，觀眾參數(shù)被設(shè)置 使得觀眾對(duì)象始終保持靜止。在圖98中示出基于上述觀眾參數(shù)設(shè)置示例的觀眾對(duì)象的移動(dòng)。圖98 (98A)示出受 觀眾參數(shù)控制的觀眾對(duì)象的可移動(dòng)部分中頭的移動(dòng)。觀眾對(duì)象的頭可以上下或左右移動(dòng)。 如上所述，當(dāng)音樂的曲調(diào)是活潑的時(shí)，觀眾對(duì)象的頭受控制而上下移動(dòng)。此外，當(dāng)音樂的曲 調(diào)是安靜的時(shí)，觀眾對(duì)象的頭受控制而左右移動(dòng)。此外，當(dāng)音樂的曲調(diào)是古典的時(shí)，觀眾對(duì) 象的頭保持靜止。圖98(98B)示出受觀眾參數(shù)控制的觀眾對(duì)象的可移動(dòng)部分中身體的位置(整體位置)的移動(dòng)。觀眾對(duì)象的整體位置能夠上下移動(dòng)(跳躍)。如上所述，當(dāng)音樂的曲調(diào)是活潑 的時(shí)，觀眾對(duì)象受控制而在副歌部分隨著拍子跳躍。此外，當(dāng)音樂的曲調(diào)是安靜的或古典的 時(shí)，觀眾對(duì)象不跳躍。圖98(98C)示出受觀眾參數(shù)控制的觀眾對(duì)象的可移動(dòng)部分中手臂的 移動(dòng)。觀眾對(duì)象的手臂可以舉起或放下以及左右擺動(dòng)。如上所述，當(dāng)音樂的曲調(diào)是活潑的 或古典的時(shí)，觀眾對(duì)象受控制而放下手臂。此外，當(dāng)音樂的曲調(diào)是安靜的時(shí)，觀眾對(duì)象在副 歌部分舉起手臂而并且隨著每個(gè)小節(jié)左右擺動(dòng)手臂。接著，將參考圖99。如圖99中所示，首先，可視化參數(shù)確定單元114獲取元數(shù)據(jù) 存儲(chǔ)單元112中所存儲(chǔ)的指示音樂的曲調(diào)的元數(shù)據(jù)，并且基于該元數(shù)據(jù)來判定音樂的曲調(diào) (S250)。當(dāng)音樂的曲調(diào)是活潑的時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S252的處理。此 外，當(dāng)音樂的曲調(diào)是安靜的時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S254的處理。此外，當(dāng) 音樂的曲調(diào)是古典的時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S256的處理。在步驟S252中，由可視化參數(shù)確定單元114執(zhí)行執(zhí)行針對(duì)活潑的音樂的參數(shù)確定 處理(S252)。在步驟S254中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)安靜的音樂的參數(shù)確定 處(S254)。在步驟S256中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)古典音樂的參數(shù)確定處 (S256)。當(dāng)步驟S252、S254和S256中的任何一個(gè)步驟的參數(shù)確定處理被執(zhí)行時(shí)，有關(guān)觀眾 參數(shù)確定方法的一連串處理結(jié)束。接著，將參考圖100來描述針對(duì)活潑的音樂的參數(shù)確定處理(S252)。如圖100中 所示，首先，可視化參數(shù)確定單元114獲取元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示音樂結(jié)構(gòu)的 元數(shù)據(jù)，并且基于該元數(shù)據(jù)來判定音樂結(jié)構(gòu)(S258)。當(dāng)音樂結(jié)構(gòu)是序曲的音樂結(jié)構(gòu)時(shí)，可 視化參數(shù)確定單元114進(jìn)行到步驟S260的處理。此外，當(dāng)音樂結(jié)構(gòu)是副歌部分的音樂結(jié)構(gòu) 時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S262的處理。此外，當(dāng)音樂結(jié)構(gòu)是其它部分的音 樂結(jié)構(gòu)時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S264的處理。在步驟S260中，觀眾對(duì)象受可視化參數(shù)確定單元114控制而在默認(rèn)位置處保持靜 止(S260)。在步驟S262中，觀眾對(duì)象受可視化參數(shù)確定單元114控制而在使得觀眾對(duì)象 在拍子位置處著地的定時(shí)隨著拍子跳躍(S262)。此時(shí)，可視化參數(shù)確定單元114基于元數(shù) 據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示拍子位置的元數(shù)據(jù)來確定跳躍的定時(shí)。在步驟S264中，以 使得觀眾對(duì)象的頭隨著拍子上下移動(dòng)的方式來控制移動(dòng)(S264)。此時(shí)，可視化參數(shù)確定單 元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示拍子位置的元數(shù)據(jù)來確定上下移動(dòng)頭的定 時(shí)。當(dāng)步驟S260、S262和S264中任一步驟的處理被執(zhí)行時(shí)，有關(guān)活潑的音樂的觀眾參數(shù)確 定處理結(jié)束。接著，將參考圖101來描述針對(duì)安靜的音樂的參數(shù)確定方法(S254)。如圖101中 所示，首先，可視化參數(shù)確定單元114獲取元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示音樂結(jié)構(gòu)的 元數(shù)據(jù)，并且基于該元數(shù)據(jù)來判定音樂結(jié)構(gòu)(S266)。當(dāng)音樂結(jié)構(gòu)是序曲部分的音樂結(jié)構(gòu)時(shí)， 可視化參數(shù)確定單元114進(jìn)行到步驟S268的處理。此外，當(dāng)音樂結(jié)構(gòu)是副歌部分的音樂結(jié) 構(gòu)時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S270的處理。此外，當(dāng)音樂結(jié)構(gòu)是其它部分的 音樂結(jié)構(gòu)時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S272的處理。在步驟S268中，觀眾對(duì)象受可視化參數(shù)確定單元114控制而在默認(rèn)位置處保持靜 止(S268)。在步驟S270中，觀眾對(duì)象的移動(dòng)受可視化參數(shù)確定單元114控制，使得頭和舉 起的手臂隨著每個(gè)小節(jié)而左右擺動(dòng)(S270)。此時(shí)，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示拍子位置的元數(shù)據(jù)來確定擺動(dòng)頭和手臂的定時(shí)。在步驟S272 中，由可視化參數(shù)確定單元114控制移動(dòng)使得觀眾對(duì)象的頭隨著拍子左右擺動(dòng)(S272)。此 時(shí)，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示拍子位置的元數(shù)據(jù) 來確定左右擺動(dòng)頭的定時(shí)。當(dāng)步驟S268、S270和S272中的任何一個(gè)步驟的處理被執(zhí)行時(shí)， 有關(guān)安靜的音樂的觀眾參數(shù)確定處理結(jié)束。(演奏者參數(shù)確定方法)接著，將參考圖102至圖127來描述演奏者參數(shù)確定方法。作為演奏者參數(shù)，存在 針對(duì)演奏者對(duì)象的每種類型而設(shè)置的演奏者參數(shù)并且存在不論類型如何而設(shè)置的演奏者 參數(shù)。不論演奏者對(duì)象的類型如何而設(shè)置的演奏者參數(shù)例如包括演奏者對(duì)象的顯示/不顯 示之間的切換、衣服的顏色等。演奏者對(duì)象的顯示/不顯示之間的切換是基于每種樂器聲音的存在概率來執(zhí)行 的。用于切換的每種樂器聲音的存在概率是作為每首樂曲的元數(shù)據(jù)計(jì)算出來的每種樂器聲 音的存在概率。例如，與對(duì)于整首樂曲具有低存在概率的樂器聲音對(duì)應(yīng)的演奏者對(duì)象被設(shè) 置為不顯示(參考圖102中的(C))。此外，演奏者對(duì)象的衣服是基于音樂的流派的。例如， 當(dāng)流派是古典樂或爵士樂時(shí)，演奏者對(duì)象的衣服設(shè)為黑色套裝、無尾禮服等等。另一方面， 當(dāng)流派是搖滾樂時(shí)，演奏者對(duì)象的衣服例如設(shè)為針對(duì)演奏者對(duì)象的每種類型而確定的顏色 的T恤，如果季節(jié)是秋季或冬季的話。以下將詳細(xì)描述對(duì)于演奏者對(duì)象的每種類型不同的演奏者參數(shù)確定方法。然而， 在本實(shí)施例中，將僅對(duì)七種樂器的演奏者對(duì)象進(jìn)行描述，這七種樂器是歌聲、吉他、貝斯、鍵 盤樂器、鼓、琴弦樂器和銅管樂器。當(dāng)然，根據(jù)本實(shí)施例的技術(shù)的應(yīng)用范圍不限于以上這些， 并且其它樂器的演奏者對(duì)象的演奏者參數(shù)也可以以這種方式來確定。(歌聲)首先，將參考圖102和圖103來描述適用于歌聲的演奏者對(duì)象的演奏者參數(shù)確定 方法。圖102是示出歌聲的對(duì)象參數(shù)的類型的說明性示圖。圖103是示出與有關(guān)歌聲的演 奏者參數(shù)確定方法有關(guān)的處理流程的說明性示圖。首先，將參考圖102。如圖102中所示，有關(guān)歌聲的演奏者參數(shù)包括演奏者對(duì)象的 長(zhǎng)度和寬度大小、發(fā)型、張嘴大小、握麥克風(fēng)的手的角度、沒有握麥克風(fēng)的手的位置、眼睛的 形狀(表情)等。演奏者對(duì)象的長(zhǎng)度和寬度大小是基于由元數(shù)據(jù)檢測(cè)單元148檢測(cè)出作為 每首樂曲的元數(shù)據(jù)的歌唱家身高、體重等來確定的。例如，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示歌唱家 身高的元數(shù)據(jù)來確定演奏者對(duì)象的長(zhǎng)度大小。然后，可視化參數(shù)確定單元114基于元數(shù)據(jù) 存儲(chǔ)單元112中所存儲(chǔ)的指示歌唱家身高和體重的元數(shù)據(jù)來確定歌聲演奏者對(duì)象的寬度 大小。通過以這種方式在演奏者對(duì)象上反映與從音樂數(shù)據(jù)的波形估計(jì)出的歌唱家的物理特 征有關(guān)的信息，每首樂曲將在視覺上是不同的，從而防止用戶感到無趣。此外，演奏者對(duì)象的發(fā)型是基于由元數(shù)據(jù)檢測(cè)單元148檢測(cè)到的歌唱家的性別和 音樂流派來確定的。例如，當(dāng)歌唱家被估計(jì)出是女性時(shí)，歌聲的演奏者對(duì)象被設(shè)為擁有長(zhǎng) 發(fā)。此外，當(dāng)歌唱家被估計(jì)出是男性并且音樂流派被估計(jì)出是搖滾樂時(shí)，歌聲的演奏者對(duì)象 被設(shè)為擁有直立的頭發(fā)。此外，當(dāng)流派是說唱樂時(shí)，頭發(fā)設(shè)為短發(fā)。此外，演奏者對(duì)象的張嘴大小和握麥克風(fēng)的手的角度是基于歌聲存在概率來確定的。例如，當(dāng)歌聲存在概率高時(shí)，嘴巴被設(shè)為張得寬。此外，歌聲存在概率越高，麥克風(fēng)被設(shè) 置為離嘴巴越近。此外，沒有握麥克風(fēng)的手的位置(水平)是基于旋律線來確定的。例如， 當(dāng)旋律的音調(diào)高時(shí)，沒有握麥克風(fēng)的手的位置被設(shè)置為高。相反，當(dāng)旋律的音調(diào)低時(shí)，沒有 握麥克風(fēng)的手的位置被設(shè)置為低。此外，當(dāng)確定是在另一種樂器的獨(dú)奏期間時(shí)，沒有握麥克 風(fēng)的手的位置是固定的。此外，眼睛的形狀是基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示音樂的曲調(diào)的元數(shù) 據(jù)來設(shè)置的，并且在活潑的音樂的情況中，其被設(shè)置為是正常的。另一方面，在安靜的音樂 的情況中，眼睛被設(shè)置為是閉上的。此外，可視化參數(shù)確定單元114基于由旋律檢測(cè)單元 144檢測(cè)到的有關(guān)旋律線的信息使得眼睛的形狀是X形的。例如，可視化參數(shù)確定單元114 針對(duì)整首樂曲來計(jì)算旋律的平均音調(diào)和音調(diào)的標(biāo)準(zhǔn)差，并且當(dāng)當(dāng)前旋律的音調(diào)高于“平均 音調(diào)+3X標(biāo)準(zhǔn)差”時(shí)或當(dāng)聲音是喊叫時(shí)，可視化參數(shù)確定單元114使得眼睛是一個(gè)叉。這里，將參考圖103來描述有關(guān)歌聲演奏者對(duì)象的演奏者參數(shù)確定處理的流程。 如圖103所示，首先，可視化參數(shù)確定單元114基于歌唱家的身高和體重來確定演奏者對(duì)象 的長(zhǎng)度大小和寬度大小(S280)。此時(shí)，將參考元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示歌唱家 的身高和體重的元數(shù)據(jù)。接著，可視化參數(shù)確定單元114基于音樂的流派和歌唱家的性別 來確定歌聲演奏者對(duì)象的發(fā)型(S282)。此時(shí)，參考元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的指示音 樂的流派的元數(shù)據(jù)和指示歌唱家的性別的元數(shù)據(jù)。接著，可視化參數(shù)確定單元114基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的有關(guān)旋律線 的信息來確定當(dāng)前旋律的音調(diào)是否是“平均值+3 σ，，或更大，或者歌唱家的聲音是否是喊 叫。該平均值是整首樂曲的旋律線的平均音調(diào)。此外，ο是整首樂曲的旋律線的音調(diào)的標(biāo) 準(zhǔn)差。當(dāng)旋律線的音調(diào)是“平均值+3σ ”或更大時(shí)，或當(dāng)歌唱家的聲音是喊叫時(shí)，可視化參 數(shù)確定單元114進(jìn)行到步驟S286的處理。另一方面，當(dāng)當(dāng)前旋律的音調(diào)不滿足上述條件時(shí)， 可視化參數(shù)確定單元114進(jìn)行到步驟S288的處理。在步驟S286中，歌聲演奏者對(duì)象的眼睛被可視化參數(shù)確定單元114設(shè)置為X形 (S286)。另一方面，在步驟S288中，可視化參數(shù)確定單元114參考元數(shù)據(jù)存儲(chǔ)單元112中 所存儲(chǔ)的指示音樂的曲調(diào)的元數(shù)據(jù)并且判定音樂的曲調(diào)(S288)。在活潑的音樂的情況中， 可視化參數(shù)確定單元114進(jìn)行到步驟S290的處理。另一方面，在安靜的音樂的情況中，可 視化參數(shù)確定單元114進(jìn)行到步驟S292的處理。在步驟S290中，演奏者對(duì)象的眼睛被可 視化參數(shù)確定單元114設(shè)置為正常的眼睛(S290)。在步驟S292中，演奏者對(duì)象的眼睛被可 視化參數(shù)確定單元114設(shè)置為閉上的眼睛(S292)。當(dāng)步驟S286、S290和S292中的任何一個(gè)步驟的處理完成時(shí)，可視化參數(shù)確定單元 114進(jìn)行到步驟S294的處理。在步驟S294中，可視化參數(shù)確定單元114從元數(shù)據(jù)存儲(chǔ)單元 112中讀取有關(guān)旋律線的信息并且基于有關(guān)旋律線的信息來確定沒有握麥克風(fēng)的手的位置 (S294)。然后，可視化參數(shù)確定單元114參考元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的歌聲存在概 率并且基于存在概率來確定演奏者對(duì)象的張嘴大小和握麥克風(fēng)的手的角度(S296)。當(dāng)步驟 S296的處理結(jié)束時(shí)，可視化參數(shù)確定單元114結(jié)束有關(guān)歌唱家的演奏者參數(shù)確定處理。(吉他)接著，將參考圖104至109來描述適用于吉他演奏者對(duì)象的演奏者參數(shù)確定方法。 圖104是示出針對(duì)吉他獨(dú)奏的情況的演奏者參數(shù)設(shè)置的示例的說明性示圖。圖105是示出針對(duì)不是吉他獨(dú)奏的情況的演奏者參數(shù)設(shè)置的示例的說明性示圖。圖106是示出適用于吉 他演奏者對(duì)象的演奏者參數(shù)的類型的說明性示圖。圖107是示出與針對(duì)吉他的演奏者參數(shù) 確定方法有關(guān)的總體處理的說明性示圖。圖108是示出針對(duì)吉他獨(dú)奏的情況，與針對(duì)吉他 的演奏者參數(shù)確定方法有關(guān)的處理的流程的說明性示圖。圖109是示出針對(duì)不是吉他獨(dú)奏 的情況，與針對(duì)吉他的演奏者參數(shù)確定方法有關(guān)的處理的流程的說明性示圖。首先，如圖106中所示，有關(guān)吉他的演奏者參數(shù)包括彈奏吉他弦的手的角度、握吉 他頸的手的位置、眼睛的形狀(表情)、后仰角度(姿勢(shì))和張嘴大小。指示張嘴大小的吉 他演奏者參數(shù)是基于作為時(shí)間序列數(shù)據(jù)的同音存在概率來確定的。此外，如果是吉他獨(dú)奏， 則指示后仰角度的吉他演奏者參數(shù)是基于旋律線來確定的。例如，旋律線的音調(diào)越高，則指 示后仰角度的演奏者參數(shù)被設(shè)置得越大。另一方面，如果不是吉他獨(dú)奏，則演奏者參數(shù)被設(shè) 置使得后仰角度為0 (直立姿勢(shì))。對(duì)吉他是否是獨(dú)奏的判定是基于吉他獨(dú)奏概率是否是某 一水平或更大來執(zhí)行的。此外，指示眼睛形狀(表情)的吉他演奏者參數(shù)被設(shè)置使得當(dāng)是吉他獨(dú)奏時(shí)眼睛 變成X形，并且被設(shè)置使得在其它情況中，眼睛是正常的眼睛。指示握吉他頸的手的位置的 演奏者參數(shù)，如果是吉他獨(dú)奏，則是基于旋律線的音調(diào)來設(shè)置的，如果不是吉他獨(dú)奏，則是 基于和弦名稱來設(shè)置的。例如，在吉他獨(dú)奏的情況中，握吉他頸的手的位置是基于圖104中 所示的演奏者參數(shù)設(shè)置的示例來確定的。例如，當(dāng)旋律在E2與G#2之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第一根吉他 弦上，在E2的情況中與吉他頭最接近，并且當(dāng)音符越接近G#2時(shí)越接近身體。類似地，當(dāng)旋 律在A2與C#3之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第二根吉他弦上，在A2的情況中 與吉他頭最接近，并且音符越接近C#3時(shí)越接近身體。當(dāng)旋律在D3與F#3之間時(shí)，演奏者參 數(shù)被設(shè)置使得手的位置在第三根吉他弦上，在D3的情況中與吉他頭最接近，并且當(dāng)音符越 接近F#3時(shí)越接近身體。當(dāng)旋律在G3與A#3之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第 四根吉他弦上，在G3的情況中與吉他頭最接近，并且當(dāng)音符越接近A#3時(shí)越接近身體。當(dāng) 旋律在B3與D#4之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第五根吉他弦上，在B3的情況 中與吉他頭最接近，并且當(dāng)音符越接近D#4時(shí)越接近身體。當(dāng)旋律高于E4時(shí)，演奏者參數(shù) 被設(shè)置使得手的位置在第六根吉他弦上，在E4的情況中與吉他頭最接近，并且當(dāng)音符變得 越高時(shí)越接近身體。另一方面，在是吉他獨(dú)奏的情況中，握吉他頸的手的位置是基于圖105中所示的 演奏者參數(shù)的示例來確定的。如圖105中所示，在不是吉他獨(dú)奏的情況中，握吉他頸的手的 位置是基于元數(shù)據(jù)存儲(chǔ)單元112中所存儲(chǔ)的和弦的根音音符來確定的。圖105的示例可以 示出對(duì)于假定和弦是在與吉他頭最接近的位置處被演奏的情況的位置。例如，當(dāng)和弦的根 音音符是E、F、F#、G和6#中的任何一個(gè)時(shí)，握吉他頸的手的位置被設(shè)置為在E的情況中離 吉他頭最近，并且當(dāng)音符越接近G#時(shí)越接近身體。類似地，當(dāng)和弦的根音音符是A、A#、B、 C、C#、D和D#中的任何一個(gè)時(shí)，握吉他頸的手的位置被設(shè)置為在A的情況中離吉他頭最近， 并且當(dāng)音符越接近D#時(shí)越接近身體。此外，如圖106中所示，在吉他獨(dú)奏的情況中，彈奏吉他弦的手的角度被設(shè)置以在 旋律線的變化的精確定時(shí)彈奏吉他弦。此時(shí)，角度變化范圍Q1被設(shè)置得小。另一方面，在 不是吉他獨(dú)奏的情況中，彈奏吉他弦的手的角度被設(shè)置以使手隨著每個(gè)拍子來回移動(dòng)。此外，角度變化范圍θ 2被設(shè)置得大。吉他存在概率越高，則變化范圍被設(shè)置得越大。這里，將參考圖107至圖109來描述有關(guān)吉他的演奏者參數(shù)確定方法。首先，參考圖107，將描述有關(guān)吉他的演奏者參數(shù)確定處理的總體流程。如圖107 中所示，首先，可視化參數(shù)確定單元114確定吉他獨(dú)奏概率是否是預(yù)先設(shè)置的特定值或更 大(S300)。當(dāng)吉他獨(dú)奏概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S302 的處理。另一方面，當(dāng)吉他獨(dú)奏概率小于特定值時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟 S304的處理。在步驟S302中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)吉他獨(dú)奏情況的參數(shù)設(shè) 置處(S302)。在步驟S304中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)不是吉他獨(dú)奏的情況的 參數(shù)設(shè)置處理(S304)。當(dāng)步驟S302和S304的處理中的任一處理被執(zhí)行時(shí)，可視化參數(shù)確 定單元114進(jìn)行到步驟S306的處理。在步驟S306中，可視化參數(shù)確定單元114參考同音 存在概率并且基于同音存在概率來確定演奏者對(duì)象的張嘴大小(S306)。接著，將參考圖108來描述針對(duì)吉他獨(dú)奏的情況的參數(shù)確定處理。如圖108中所 示，首先，可視化參數(shù)確定單元114將吉他演奏者對(duì)象的表情設(shè)置為X形眼睛(S308)。接 著，可視化參數(shù)確定單元114基于旋律音調(diào)來確定演奏者對(duì)象的后仰角度(S310)。然后， 可視化參數(shù)確定單元114基于旋律音調(diào)來確定握吉他頸的手的位置(S312)。然后，可視化 參數(shù)確定單元114基于旋律音調(diào)變化定時(shí)和吉他存在概率來確定彈奏吉他弦的手的角度 (S314)。接著，將參考圖109來描述對(duì)于不是吉他獨(dú)奏的情況的參數(shù)確定處理。如圖 109中所示，首先，可視化參數(shù)確定單元114將吉他演奏者對(duì)象的表情設(shè)置為正常的眼睛 (S316)。接著，可視化參數(shù)確定單元114將吉他演奏者對(duì)象的后仰角度設(shè)置為0(直立姿 勢(shì))(S318)。然后，可視化參數(shù)確定單元114基于當(dāng)前和弦的根音來確定握吉他頸的手的位 置(S320)。然后，可視化參數(shù)確定單元114判定吉他存在概率是否是預(yù)先設(shè)置的特定值或 更大(S322)。當(dāng)吉他存在概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S324的 處理。另一方面，當(dāng)吉他存在概率小于特定值時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S326 的處理。在步驟S324中，由可視化參數(shù)確定單元114基于拍子位置和吉他存在概率來確定 彈奏吉他弦的手的角度(S324)。在步驟S326中，由可視化參數(shù)確定單元114將彈奏吉他弦 的手的角度設(shè)置為是固定的(S326)。當(dāng)步驟S324或S326的處理被執(zhí)行時(shí)，可視化參數(shù)確 定單元114結(jié)束針對(duì)不是吉他獨(dú)奏的情況的參數(shù)設(shè)置處理。(貝斯)接著，將參考圖110至圖114來描述適用于貝斯演奏者對(duì)象的演奏者參數(shù)確定方 法。圖110是示出適用于貝斯演奏者對(duì)象的演奏者參數(shù)的類型的說明性示圖。圖111是示 出有關(guān)貝斯的演奏者參數(shù)設(shè)置的示例的說明性示圖。圖112是示出有關(guān)貝斯演奏者參數(shù)確 定方法的總體處理流程的說明性示圖。圖113是示出對(duì)于貝斯獨(dú)奏的情況，有關(guān)貝斯演奏 者參數(shù)確定方法的處理流程的說明性示圖。圖114是示出對(duì)于不是貝斯獨(dú)奏的情況，有關(guān) 貝斯演奏者參數(shù)確定方法的處理流程的說明性示圖。首先，如圖110中所示，有關(guān)貝斯的演奏者參數(shù)包括彈奏貝斯弦的手的角度、握貝 斯頸的手的角度、眼睛的形狀(表情)、后仰角度(姿勢(shì))和張嘴大小。指示張嘴大小的貝 斯演奏者參數(shù)是基于作為時(shí)間序列數(shù)據(jù)的同音存在概率來確定的。此外，在貝斯獨(dú)奏的情
62況中，指示后仰角度的貝斯演奏者參數(shù)是基于貝斯線來確定的。例如，貝斯線的音調(diào)越高， 則指示后仰角度的演奏者參數(shù)被設(shè)置得越大。另一方面，在不是貝斯獨(dú)奏的情況中，演奏者 參數(shù)被設(shè)置使得后仰角度為0 (直立姿勢(shì))。貝斯是否是獨(dú)奏的判定是基于貝斯獨(dú)奏概率是 否是某一水平或更大來執(zhí)行的。此外，指示眼睛形狀(表情)的貝斯演奏者參數(shù)被設(shè)置使得當(dāng)是貝斯獨(dú)奏時(shí)，眼睛 變成X形，并且被設(shè)置使得在其它情況中眼睛是正常的眼睛。指示手握貝斯頸的位置的演 奏者參數(shù)是基于貝斯線的音調(diào)來設(shè)置的。例如，手握貝斯頸的位置是基于圖111中所示的 演奏者參數(shù)設(shè)置的示例來確定的。例如，當(dāng)貝斯線是在El與G#1之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第一根 貝斯弦上，并且在El的情況中最接近貝斯頭，并且當(dāng)音符越接近G#1時(shí)越接近身體。類似 地，當(dāng)貝斯線是在Al與C#2之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第二根貝斯弦上，并 且在Al的情況中最接近貝斯頭，并且當(dāng)音符越接近C#2時(shí)越接近身體。當(dāng)貝斯線是在D2 與F#2之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第三根貝斯弦上，并且在D2的情況中最 接近貝斯頭，并且當(dāng)音符越接近F#2時(shí)越接近身體。當(dāng)貝斯線高于G2時(shí)，演奏者參數(shù)被設(shè) 置使得手的位置在第四根貝斯弦上，并且在G2的情況中最接近貝斯頭，并且當(dāng)音符越高時(shí) 越接近身體。此外，如圖110中所示，在貝斯獨(dú)奏的情況中，彈奏貝斯弦的手的角度被設(shè)置使得 在貝斯線變化的提取定時(shí)彈奏貝斯弦。此時(shí)，角度變化范圍Q1被設(shè)置得小。另一方面，在 不是貝斯獨(dú)奏的情況中，彈奏貝斯弦的手的角度被設(shè)置使得手隨著每個(gè)八分之一音符前后 移動(dòng)。此外，角度變化范圍θ 2被設(shè)置得大。貝斯存在概率越高，則變化范圍被設(shè)置得越大。這里，將參考圖112至圖114來描述有關(guān)貝斯的演奏者參數(shù)確定方法。首先，將參考圖112來描述有關(guān)貝斯的演奏者參數(shù)確定方法。如圖112中所示，首 先，可視化參數(shù)確定單元114確定貝斯獨(dú)奏概率是否是預(yù)先設(shè)置的特定值或更大(S330)。 當(dāng)貝斯獨(dú)奏概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S332的處理。另 一方面，當(dāng)貝斯獨(dú)奏概率小于特定值時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S334的處理。 在步驟S332中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)貝斯獨(dú)奏情況的參數(shù)設(shè)置處(S332)。 在步驟S334中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)不是貝斯獨(dú)奏的情況的參數(shù)設(shè)置處理 (S334)。當(dāng)步驟S332和S334的處理中的任一處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114進(jìn) 行到步驟S336的處理。在步驟S336中，可視化參數(shù)確定單元114參考同音存在概率并且 基于同音存在概率來確定演奏者對(duì)象的張嘴大小(S336)。然后，可視化參數(shù)確定單元114 基于貝斯線的音調(diào)來確定握貝斯頸的手的位置(S338)，并且結(jié)束這一連串處理。接著，將參考圖113來描述針對(duì)貝斯獨(dú)奏的情況的參數(shù)確定處理。如圖113中所 示，首先，可視化參數(shù)確定單元114將貝斯演奏者對(duì)象的表情設(shè)置為X形眼睛(S340)。接 著，可視化參數(shù)確定單元114基于貝斯線的音調(diào)來確定演奏者對(duì)象的后仰角度(S342)。然 后，可視化參數(shù)確定單元114基于貝斯音調(diào)變化定時(shí)和貝斯存在概率來確定彈奏貝斯弦的 手的角度(S344)。接著，將參考圖114來描述對(duì)于不是貝斯獨(dú)奏的情況的參數(shù)確定處理。如圖 114中所示，首先，可視化參數(shù)確定單元114將貝斯演奏者對(duì)象的表情設(shè)置為正常的眼睛 (S346)。接著，可視化參數(shù)確定單元114將貝斯演奏者對(duì)象的后仰角度設(shè)置為0(直立姿勢(shì))(S348)。然后，可視化參數(shù)確定單元114判定貝斯存在概率是否是預(yù)先設(shè)置的特定值 或更大(S350)。當(dāng)貝斯存在概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟 S354的處理。另一方面，當(dāng)貝斯存在概率小于特定值時(shí)，可視化參數(shù)確定單元114進(jìn)行到步 驟S352的處理。在步驟S354中，可視化參數(shù)確定單元114判定流派是否是搖滾樂、流行樂或舞曲 中的任何一種(S354)。當(dāng)流派是搖滾樂、流行樂或舞曲中的任何一種時(shí)，可視化參數(shù)確定單 元114進(jìn)行到步驟S356的處理。另一方面，當(dāng)流派不是搖滾樂、流行樂或舞曲中的任何一 種時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S358的處理。在步驟S356中，由可視化參數(shù)確 定單元114基于拍子位置和貝斯存在概率來確定彈奏貝斯弦的手的角度(S356)。在步驟S358中，可視化參數(shù)確定單元114基于貝斯音調(diào)變化定時(shí)和貝斯存在概率 來確定彈奏貝斯弦的手的角度(S358)。此外，在步驟S352中，彈奏貝斯弦的手的角度被可 視化參數(shù)確定單元114設(shè)置為是固定的(S352)。當(dāng)步驟S352、S356和S358的處理中的任 何處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114結(jié)束針對(duì)不是貝斯獨(dú)奏的情況的演奏者參數(shù)確 定處理。(鍵盤樂器，鼓)現(xiàn)在，將參考圖115至圖119來描述適用于鍵盤樂器和鼓的演奏者對(duì)象的演奏者 參數(shù)確定方法。圖115是示出適用于鍵盤樂器和鼓的演奏者對(duì)象的演奏者參數(shù)類型的說明 性示圖。圖116是示出有關(guān)鍵盤樂器演奏者參數(shù)確定方法的總體處理流程的說明性示圖。 圖117是示出如果是鍵盤樂器獨(dú)奏，有關(guān)鍵盤樂器演奏者參數(shù)確定方法的處理流程的說明 性示圖。圖118是示出如果不是鍵盤樂器獨(dú)奏，有關(guān)鍵盤樂器演奏者參數(shù)確定方法的處理 流程的說明性示圖。圖119是示出有關(guān)鼓演奏者參數(shù)確定方法的處理流程的說明性示圖。首先，將描述針對(duì)鍵盤樂器的演奏者參數(shù)。如圖115中所示，有關(guān)鍵盤樂器的演奏 者參數(shù)包括左右手的位置、眼睛的形狀(表情)和張嘴大小。指示張嘴大小的鍵盤樂器演 奏者參數(shù)是基于作為時(shí)間序列數(shù)據(jù)的同音存在概率來確定的。此外，指示眼睛的形狀(表 情)的鍵盤樂器演奏者參數(shù)被設(shè)置使得當(dāng)為鍵盤樂器獨(dú)奏時(shí)，眼睛變成X形，并且被設(shè)置為 使得在其它情況中，眼睛為正常的眼睛。指示左手和右手的位置的演奏者參數(shù)是基于旋律 線和貝斯線的音調(diào)來設(shè)置的。例如，指示手的位置的演奏者參數(shù)被設(shè)置使得音調(diào)越高，手越 朝右，并且音調(diào)越低，手越朝左。然而，在不是鍵盤樂器獨(dú)奏的情況中，手的位置基于當(dāng)前的 和弦被設(shè)置為預(yù)定位置。這里，將參考圖116至圖118來描述有關(guān)鍵盤樂器的演奏者參數(shù)確定方法。首先，將參考圖116來描述有關(guān)鍵盤樂器的演奏者參數(shù)確定處理的總體流程。如 圖116中所示，首先，可視化參數(shù)確定單元114判斷鍵盤樂器獨(dú)奏概率是否是預(yù)先設(shè)置的特 定值或更大(S360)。當(dāng)鍵盤樂器獨(dú)奏概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn) 行到步驟S362的處理。另一方面，當(dāng)鍵盤樂器獨(dú)奏概率小于特定值時(shí)，可視化參數(shù)確定單 元114進(jìn)行到步驟S364的處理。在步驟S362中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)鍵盤樂器獨(dú)奏的情況的參數(shù) 設(shè)置處理(S362)。在步驟S364中，由可視化參數(shù)確定單元114執(zhí)行針對(duì)不是鍵盤樂器獨(dú)奏 的情況的參數(shù)設(shè)置處理。當(dāng)步驟S362和S364的處理中的任何一個(gè)被執(zhí)行時(shí)，可視化參數(shù) 確定單元114進(jìn)行到步驟S366的處理。在步驟S366中，可視化參數(shù)確定單元114參考同音存在概率并且基于同音存在概率來確定演奏者對(duì)象的張嘴大小(S366)。接著，將參考圖117來描述針對(duì)鍵盤樂器獨(dú)奏的情況的參數(shù)確定處理。如圖117 中所示，首先，可視化參數(shù)確定單元114將鍵盤樂器演奏者對(duì)象的表情設(shè)置為X形眼睛 (S368)。接著，可視化參數(shù)確定單元114基于貝斯線的音調(diào)來確定演奏者對(duì)象的左手的位 置(S370)。然后，可視化參數(shù)確定單元114基于旋律線的音調(diào)來確定演奏者對(duì)象的右手的 位置(S372)。接著，將參考圖118來描述針對(duì)不是鍵盤樂器獨(dú)奏的情況的參數(shù)確定處理。如圖 118中所示，首先，可視化參數(shù)確定單元114將鍵盤樂器演奏者對(duì)象的表情設(shè)置為正常的眼 睛(S374)。接著，可視化參數(shù)確定單元114基于當(dāng)前的和弦來確定兩手的位置(S376)。當(dāng) 步驟S376的處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114結(jié)束針對(duì)不是鍵盤樂器獨(dú)奏的情況的 演奏者參數(shù)設(shè)置處理。接著，將描述針對(duì)鼓的演奏者參數(shù)。如圖115中所示，有關(guān)鼓的演奏者參數(shù)包括眼 睛的形狀(表情)、張嘴大小和踩镲、鐃鈸、小鼓、腳踏鼓和架子鼓的大小。指示張嘴大小的 鼓演奏者參數(shù)是基于作為時(shí)間序列數(shù)據(jù)的同音存在概率來確定的。此外，指示眼睛的形狀 (表情)的鼓演奏者參數(shù)被設(shè)置使得當(dāng)是鼓獨(dú)奏時(shí)，眼睛變成X形，并且被設(shè)置使得在其它 情況中，眼睛是正常的眼睛。踩镲、鐃鈸、小鼓、腳踏鼓和架子鼓的大小是基于作為時(shí)間序列 元數(shù)據(jù)計(jì)算出來的鼓存在概率來確定的。這里，將參考圖119來描述有關(guān)鼓的演奏者參數(shù)確定方法。如圖119所示，首先，可 視化參數(shù)確定單元114判斷鼓獨(dú)奏概率是否是預(yù)先設(shè)置的特定值或更大(S380)。當(dāng)鼓獨(dú)奏 概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S382的處理。另一方面，當(dāng) 鼓獨(dú)奏概率小于特定值時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S384的處理。在步驟S382 中，可視化參數(shù)確定單元114將鼓的演奏者對(duì)象的表情設(shè)置為X形的眼睛(S382)。在步驟 S384中，可視化參數(shù)確定單元114將鼓的演奏者對(duì)象的表情設(shè)置為正常的眼睛(S384)。當(dāng)步驟S382和S384的處理中的任何處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114進(jìn) 行到步驟S386的處理。在步驟S386中，可視化參數(shù)確定單元114參考同音存在概率并且 基于同音存在概率來確定演奏者對(duì)象的張嘴大小(S386)。然后，可視化參數(shù)確定單元114 判定鼓概率是否是預(yù)先設(shè)置的特定值或更大(S388)。當(dāng)鼓概率是特定值或更大時(shí)，可視化 參數(shù)確定單元114進(jìn)行到步驟S390的處理。另一方面，當(dāng)鼓概率小于特定值時(shí)，可視化參 數(shù)確定單元114進(jìn)行到步驟S392的處理。在步驟S390中，由可視化參數(shù)確定單元114基于各種鼓的存在概率來確定各種 鼓的大小(S390)。在步驟S392中，所有鼓的大小被可視化參數(shù)確定單元114設(shè)置為最小 (S392)。當(dāng)步驟S390和S392的處理中的任何處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114結(jié) 束有關(guān)鼓的演奏者參數(shù)設(shè)置處理。(琴弦樂器)接著，將參考圖120至圖125來描述適用于琴弦樂器的演奏者對(duì)象的演奏者參數(shù) 確定方法。圖120是示出適用于琴弦樂器演奏者對(duì)象的演奏者參數(shù)類型的說明性示圖。圖 121是示出有關(guān)琴弦樂器的演奏者參數(shù)設(shè)置的示例的說明性示圖。圖122是示出彈奏的寬 度和琴弓的移動(dòng)定時(shí)的說明性示圖，彈奏的寬度和琴弓的移動(dòng)定時(shí)在是琴弦樂器獨(dú)奏時(shí)和 不是琴弦樂器獨(dú)奏時(shí)是不同的。圖123是示出有關(guān)琴弦樂器演奏者參數(shù)確定方法的總體處理流程的說明性示圖。圖124是示出對(duì)于是琴弦樂器獨(dú)奏的情況，有關(guān)琴弦樂器演奏者參 數(shù)確定方法的處理流程的說明性示圖。圖125是示出對(duì)于不是琴弦樂器獨(dú)奏的情況，有關(guān) 琴弦樂器演奏者參數(shù)確定方法的處理流程的說明性示圖。首先，如圖120中所示，有關(guān)琴弦樂器的演奏者參數(shù)包括琴弓的位置和握琴頸的 手的位置。在琴弦樂器獨(dú)奏的情況中，指示琴弓位置的演奏者參數(shù)是基于旋律變化定時(shí)來 確定的。例如，如圖122(122A)中所示，指示琴弓的位置的演奏者參數(shù)被確定使得琴弓在旋 律變化定時(shí)移動(dòng)到弓端(tip)。在琴弦樂器獨(dú)奏的情況中，彈奏被設(shè)置為是小的。此外，指 示握琴頸的手的位置的演奏者參數(shù)是基于旋律線來設(shè)置的。例如，握琴頸的手的位置是基 于如圖121中所示的演奏者參數(shù)設(shè)置的示例來確定的。例如，當(dāng)旋律線在G2與C#2之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第一根琴 弦上，并且在G2的情況中最接近琴頭，當(dāng)音符越接近C#2時(shí)越接近身體。類似地，當(dāng)旋律線 在D3與G#3之間時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第二根琴弦上，并且在D3的情況中 最接近琴頭，當(dāng)音符越接近G#3時(shí)越接近身體。當(dāng)旋律線在A3與D#4之間時(shí)，演奏者參數(shù) 被設(shè)置使得手的位置在第三根琴弦上，并且在A3的情況中最接近琴頭，當(dāng)音符越接近D#4 時(shí)越接近身體。當(dāng)旋律線高于E4時(shí)，演奏者參數(shù)被設(shè)置使得手的位置在第四根琴弦上，并 且在E4的情況中最接近琴頭，當(dāng)音符越高時(shí)越接近身體。在不是琴弦樂器獨(dú)奏的情況中，指示琴弓的位置的(對(duì)所有琴弦樂器演奏者是共 同的)演奏者參數(shù)被確定為在小節(jié)線定時(shí)隨每個(gè)小節(jié)移動(dòng)到弓端。在不是琴弦樂器獨(dú)奏的 情況中，彈奏(stroke)被設(shè)置為是非常大的。此外，握琴頸的手的位置是基于和弦構(gòu)成音 符來確定的。如圖120中所示，針對(duì)琴弦樂器區(qū)間，布置了多個(gè)演奏者對(duì)象。例如，最左邊 的演奏者對(duì)象押(handle)和弦的根音。此外，左邊第二和第三個(gè)演奏者對(duì)象分別押第二和 第三構(gòu)成音符。在圖120中示出5個(gè)琴弦樂器演奏者，并且如果和弦構(gòu)成音符少于5個(gè)，則 兩個(gè)演奏者將一起押構(gòu)成音符中的一個(gè)。此外，哪個(gè)音符被包括為構(gòu)成音符預(yù)先存儲(chǔ)在一 個(gè)表中。這里，將參考圖123至圖125來描述有關(guān)琴弦樂器的演奏者參數(shù)確定方法。首先，將參考圖123來描述有關(guān)有關(guān)琴弦樂器的演奏者參數(shù)確定處理的總體流 程。如圖123中所示，首先，可視化參數(shù)確定單元114判斷琴弦樂器獨(dú)奏概率是否是預(yù)先設(shè) 置的特定值或更大(S400)。當(dāng)琴弦樂器獨(dú)奏概率是特定值或更大時(shí)，可視化參數(shù)確定單元 114進(jìn)行到步驟S402的處理。另一方面，當(dāng)琴弦樂器獨(dú)奏概率小于特定值時(shí)，可視化參數(shù)確 定單元114進(jìn)行到步驟S404的處理。在步驟S402中，由可視化參數(shù)確定單元114執(zhí)行針 對(duì)琴弦樂器獨(dú)奏的情況的參數(shù)設(shè)置處理(S402)。在步驟S404中，由可視化參數(shù)確定單元 114執(zhí)行針對(duì)不是琴弦樂器獨(dú)奏的情況的參數(shù)設(shè)置處(S404)。當(dāng)步驟S402和S404的處理 中的任何處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114結(jié)束這一連串處理。接著，將參考圖124來描述針對(duì)琴弦樂器獨(dú)奏的情況的參數(shù)確定處理。如圖124中 所示，首先，可視化參數(shù)確定單元114基于旋律線來確定握琴頸的手的位置(S406)。然后， 可視化參數(shù)確定單元114基于旋律線變化位置來確定琴弓的位置(S408)。接著，將參考圖125來描述針對(duì)不是琴弦樂器獨(dú)奏的情況的參數(shù)確定處理。如圖 125中所示，首先，可視化參數(shù)確定單元114判斷琴弦樂器存在概率是否是預(yù)先設(shè)置的特定 值或更大(S410)。當(dāng)琴弦樂器存在概率是特定值或更大時(shí)，可視化參數(shù)確定單元114進(jìn)行到步驟S414的處理。另一方面，當(dāng)琴弦樂器存在概率小于特定值時(shí)，可視化參數(shù)確定單元 114進(jìn)行到步驟S412的處理。在步驟S414中，由可視化參數(shù)確定單元114基于和弦構(gòu)成音符來確定握琴頸的 手的位置(S414)。接著，由可視化參數(shù)確定單元114基于小節(jié)線的位置來確定琴弓的位置 (S416)。另一方面，在步驟S412中，可視化參數(shù)確定單元114將握琴頸的手的位置設(shè)置為 保持不變并且將琴弓設(shè)置為從小提琴上移開(S412)。當(dāng)步驟S412和S416的處理中的任何 處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114結(jié)束針對(duì)不是琴弦樂器獨(dú)奏的情況的演奏者參數(shù) 確定處理。(銅管樂器)接著，將參考圖126至圖127來描述適用于銅管樂器的演奏者對(duì)象的演奏者參數(shù) 確定方法。圖126是適用于銅管樂器的演奏者對(duì)象的演奏者參數(shù)類型的說明性示圖。圖 127是示出有關(guān)銅管樂器的演奏者參數(shù)確定方法的處理流程的說明性示圖。首先，如圖126中所示，僅根據(jù)銅管樂器的角度參數(shù)來配置有關(guān)銅管樂器的演奏 者參數(shù)。銅管樂器的角度參數(shù)被設(shè)置使得銅管樂器存在概率越高，銅管樂器看起來越朝上， 并且銅管樂器存在概率越低，銅管樂器看起來越朝下。此外，當(dāng)銅管樂器存在概率低于特定 值時(shí)，其被設(shè)置為使得銅管樂器看起來朝下并且從嘴邊移開。如圖127中所示，首先，可視化參數(shù)確定單元114確定銅管樂器獨(dú)奏概率是否是預(yù) 先設(shè)置的特定值或更大(S420)。當(dāng)銅管樂器獨(dú)奏概率是特定值或更大時(shí)，可視化參數(shù)確定 單元114進(jìn)行到步驟S422的處理。另一方面，當(dāng)銅管樂器獨(dú)奏概率小于特定值時(shí)，可視化 參數(shù)確定單元114進(jìn)行到步驟S424的處理。在步驟S422中，由可視化參數(shù)確定單元114 基于銅管樂器存在概率來確定銅管樂器的角度參數(shù)(S422)。另一方面，在步驟S424中，可 視化參數(shù)確定單元114設(shè)置角度參數(shù)使得銅管樂器看起來朝下并且從嘴邊移開(S424)。當(dāng) 步驟S422和S424的處理中的任何處理被執(zhí)行時(shí)，可視化參數(shù)確定單元114結(jié)束這一連串 處理。以上，已經(jīng)描述了可視化參數(shù)確定方法。以這種方式確定的可視化參數(shù)被輸入可 視化單元116并且用于樂曲的可視化處理。(2-6.硬件配置(信息處理設(shè)備100))上述設(shè)備的各個(gè)結(jié)構(gòu)元件的功能例如可以由圖128中所示的硬件配置并且通過 使用用于實(shí)現(xiàn)上述功能的計(jì)算機(jī)程序來實(shí)現(xiàn)。圖128是示出能夠?qū)崿F(xiàn)上述設(shè)備的各個(gè)結(jié)構(gòu) 元件的功能的信息處理設(shè)備的硬件配置的說明性示圖。信息處理設(shè)備的模式是任意的，并 且包括以下諸如移動(dòng)信息終端、游戲機(jī)或各種類型的信息家電之類的模式，移動(dòng)信息終端 例如是個(gè)人計(jì)算機(jī)、移動(dòng)電話、PHS或PDA。此外，PHS是Personal Handy-phone System(個(gè) 人手持式電話系統(tǒng))的縮寫。此外，PDA是Personal Digital Assistant (個(gè)人數(shù)字助理) 的縮寫。如圖128中所示，信息處理設(shè)備100包括CPU 902、ROM 904、RAM 906、主機(jī)總線 908、橋接器910、外部總線912和接口 914。信息處理設(shè)備100還包括輸入單元916、輸出 單元918、存儲(chǔ)單元920、驅(qū)動(dòng)器922、連接端口 924和通信單元926。此外，CPU是Central Processing Unit (中央處理單元)的縮寫。此外，ROM是Read Only Memory (只讀存儲(chǔ)器) 的縮寫。此外，RAM是Random Access Memory (隨機(jī)存取存儲(chǔ)器)的縮寫。
CPU 902例如用作算術(shù)處理單元或控制單元，并且基于ROM 904、RAM 906、存儲(chǔ)單 元920或可移除記錄介質(zhì)928上所記錄的各種程序來控制結(jié)構(gòu)元件或這些結(jié)構(gòu)元件中的某 些結(jié)構(gòu)元件的整體操作。ROM 904例如存儲(chǔ)CPU 902上所加載的程序或算術(shù)運(yùn)算中所使用 的數(shù)據(jù)等。RAM 906臨時(shí)地或永久地存儲(chǔ)例如CPU 902上所加載的程序或在程序的執(zhí)行中 任意地改變的各種參數(shù)等。這些結(jié)構(gòu)元件例如通過可以執(zhí)行高速數(shù)據(jù)傳輸?shù)闹鳈C(jī)總線908 來相互連接。例如，主機(jī)總線908通過橋接器910連接到數(shù)據(jù)傳輸速度相對(duì)低的外部總線 912。輸入單元916例如是諸如鼠標(biāo)、鍵盤、觸摸屏、按鈕、開關(guān)或控制桿之類的操作裝 置。輸入單元916可以是能夠通過使用紅外射線或其它無線電波來傳送控制信號(hào)的遙控裝 置(所謂的遙控器)。輸入單元916包括用于向CPU 902發(fā)送使用上述操作裝置輸入的信 息作為輸入信號(hào)的輸入控制電路等。輸出單元918例如是諸如CRT、IXD、PDP或ELD之類的顯示裝置。同樣，輸出單元 918是可以在視覺上或聽覺上向用戶通知所獲取的信息的、諸如音頻輸出裝置(例如，揚(yáng)聲 器或頭戴式耳機(jī))、打印機(jī)、移動(dòng)電話或傳真機(jī)之類的裝置。存儲(chǔ)單元920是用來存儲(chǔ)各種 數(shù)據(jù)的裝置，并且例如包括諸如HDD之類的磁存儲(chǔ)裝置、半導(dǎo)體存儲(chǔ)裝置、光存儲(chǔ)裝置或磁 光存儲(chǔ)裝置。此外，CRT是Cathode Ray Tube (陰極射線管)的縮寫。同樣，LCD是Liquid Crystal Display (液晶顯示器)的縮寫。此外，PDP是Plasma Display Panel (等離子顯 示面板)的縮寫。此外，ELD是Electro-Luminescence Display (電致發(fā)光顯示器)的縮 寫。此外，HDD是Hard Disk Drive (硬盤驅(qū)動(dòng))的縮寫。驅(qū)動(dòng)器922是讀取可移除記錄介質(zhì)928上所記錄的信息或?qū)⑿畔懭肟梢瞥涗?介質(zhì)928中的裝置，可移除記錄介質(zhì)928例如是磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器。可移 除記錄介質(zhì)928例如是DVD介質(zhì)、藍(lán)光介質(zhì)或HD-DVD介質(zhì)。此外，可移除記錄介質(zhì)928例 如是緊湊式閃存(CF;CompactFlash)(注冊(cè)商標(biāo))、記憶棒或SD存儲(chǔ)卡。當(dāng)然，可移除記錄 介質(zhì)928例如可以是綁定了非接觸IC芯片的IC卡。此外，SD是Secure Digital (安全數(shù) 字)的縮寫。同樣，IC是Integrated Circuit (集成電路)的縮寫。連接端口924 是諸如 USB 端口、IEEE1394 端口、SCSI、RS-232C 端口之類的端口， 或用于連接諸如光學(xué)音頻端子之類的外部連接裝置930的端口。外部連接裝置930例如是 打印機(jī)、移動(dòng)音樂播放器、數(shù)字相機(jī)或IC記錄器。此外，USB是Universal Serial Bus (通 用串行總線)的縮寫。同樣，SCSI是Small Computer System Interface (小型計(jì)算機(jī)系 統(tǒng)接口)的縮寫。通信單元926是要連接到網(wǎng)絡(luò)932的通信裝置。通信單元926例如是用于有線或 無線LAN、Bluet00th (注冊(cè)商標(biāo))或WUSB的通信卡、光通信路由器、ADSL路由器或各種通信 調(diào)制解調(diào)器。連接到通信單元926的網(wǎng)絡(luò)932包括有線連接或無線連接的網(wǎng)絡(luò)。網(wǎng)絡(luò)932 例如是因特網(wǎng)、家用LAN、紅外通信、可見光通信、廣播或衛(wèi)星通信。此外，LAN是LocalArea Network(局域網(wǎng))的縮寫。此外，WUSB是無線USB的縮寫。此外，ADSL是Asymmetric Digital Subscriber Line (非對(duì)稱數(shù)字用戶線)的縮寫。(2-7.總結(jié))最后，將簡(jiǎn)要描述本實(shí)施例的信息處理設(shè)備的功能配置和通過這些功能配置獲得 的效果。
首先，根據(jù)本實(shí)施例的信息處理設(shè)備的功能配置可以描述如下。該信息處理設(shè)備 包括具有下述配置的元數(shù)據(jù)提取單元和參數(shù)確定單元。元數(shù)據(jù)提取單元用于分析各種樂器 聲音以混合方式存在于其中的音頻信號(hào)，并且用于提取隨著演奏時(shí)間的過去而變化的元數(shù) 據(jù)作為該音頻信號(hào)的特征量。作為一種用于提取該音頻信號(hào)的特征量的方法，例如，可以使 用基于學(xué)習(xí)算法的特征量估計(jì)方法。例如，上述元數(shù)據(jù)提取單元使用具有所希望的特征量 的多個(gè)音頻信號(hào)，以特定時(shí)間為單位來捕獲每個(gè)音頻信號(hào)的數(shù)據(jù)，并且將所捕獲的數(shù)據(jù)提 供給學(xué)習(xí)算法作為評(píng)估數(shù)據(jù)。同時(shí)，上述元數(shù)據(jù)提取單元向?qū)W習(xí)算法提供每個(gè)評(píng)估數(shù)據(jù)的 特征量作為教師數(shù)據(jù)。然后，可以獲得基于學(xué)習(xí)算法用于從任意音頻信號(hào)的輸入數(shù)據(jù)計(jì)算 所希望的特征量的計(jì)算公式。因此，上述元數(shù)據(jù)提取單元通過向通過學(xué)習(xí)算法獲得的計(jì)算 公式輸入作為分析目標(biāo)的音頻信號(hào)的數(shù)據(jù)，計(jì)算所希望的特征量。此時(shí)，上述元數(shù)據(jù)提取單 元針對(duì)特征量來選擇按時(shí)間序列變化的元數(shù)據(jù)并獲取計(jì)算公式，并且通過使用計(jì)算公式來 提取按時(shí)間序列變化的特征量。如上所述，通過采用使用學(xué)習(xí)算法的特征量提取方法，僅從 音頻信號(hào)的波形中提取出特征量?，F(xiàn)在，演奏者參數(shù)確定單元用于基于由元數(shù)據(jù)提取單元 所提取出的元數(shù)據(jù)來確定用于控制與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者 參數(shù)。如上所述，由元數(shù)據(jù)提取單元獲得按時(shí)間序列變化的元數(shù)據(jù)。因此，可以根據(jù)這些元 數(shù)據(jù)來移動(dòng)CG圖像或機(jī)器人(演奏者對(duì)象)，并且可以可視化由音頻信號(hào)表示的音樂。上 述演奏者參數(shù)確定單元確定用于可視化處理的參數(shù)。利用這樣的配置，通過僅使用音頻信 號(hào)的波形就能可視化音樂。具體地，通過使用與各種樂器聲音的變化相對(duì)應(yīng)的時(shí)間序列元 數(shù)據(jù)并且通過移動(dòng)各種樂器的演奏者對(duì)象，可以更逼真地可視化音樂。通過使用對(duì)音頻信 號(hào)的波形進(jìn)行簡(jiǎn)單的頻率分析獲得的特征量來實(shí)現(xiàn)該效果是很困難的。例如，元數(shù)據(jù)提取單元提取從一個(gè)群組中選出的一條或多條數(shù)據(jù)作為元數(shù)據(jù)，該 群組由音頻信號(hào)的拍子、和弦進(jìn)行、音樂結(jié)構(gòu)、旋律線、貝斯線、每種樂器聲音的存在概率、 每種樂器聲音的獨(dú)奏概率和歌聲的聲音特征組成。如上所述，通過使用學(xué)習(xí)算法，可以從音 頻信號(hào)的波形中提取各種特征量。具體地，通過使用按時(shí)間序列變化的元數(shù)據(jù)和上述具有 每種樂器聲音的特征的元數(shù)據(jù)，音樂可以以看起來像是對(duì)象正在實(shí)際演奏該音樂這樣的方 式被可視化。此外，元數(shù)據(jù)提取單元可以提取從一個(gè)群組中所選出的一條或多條數(shù)據(jù)作為元數(shù) 據(jù)，該群組由音頻信號(hào)所屬于的音樂的流派、音頻信號(hào)所屬于的音樂的年代、該音頻信號(hào)的 有關(guān)演奏者的信息、音頻信號(hào)中所包括的樂器聲音的類型以及該音頻信號(hào)的音樂曲調(diào)組 成。因此，通過戲劇地表現(xiàn)演奏場(chǎng)景或通過布置演奏者對(duì)象的外貌或姿勢(shì)，可以增強(qiáng)真實(shí) 感。例如，演奏者參數(shù)確定單元可以被配置為，如果有關(guān)演奏者的身高和體重的信息被提取 出作為有關(guān)該演奏者的信息，則基于有關(guān)身高和體重的信息來確定指示演奏者對(duì)象的大小 的演奏者參數(shù)。此外，如果有關(guān)演奏者性別的信息被提取出作為有關(guān)演奏者的信息，則可以 基于有關(guān)性別的信息來確定指示演奏者對(duì)象的發(fā)型和衣服的演奏者參數(shù)。此外，應(yīng)當(dāng)注意， 這些布置還是基于從音頻信號(hào)的波形獲得的信息來執(zhí)行的。此外，信息處理設(shè)備還可包括照明參數(shù)確定單元，該照明參數(shù)確定單元用于基于 由元數(shù)據(jù)提取單元所提取的元數(shù)據(jù)來確定用于控制演奏者所在的舞臺(tái)上的照明的照明參 數(shù)。在這種情況中，照明參數(shù)確定單元確定照明參數(shù)使得照明與由元數(shù)據(jù)提取單元所檢測(cè) 到的拍子相同步地變化。此外，照明參數(shù)確定單元可以被配置為基于由元數(shù)據(jù)提取單元所提取出的每種樂器聲音的存在概率，確定指示照射在與各種樂器聲音對(duì)應(yīng)的演奏者對(duì)象上 的聚光燈的亮度的照明參數(shù)。照明參數(shù)確定單元可以被配置為參考由元數(shù)據(jù)提取單元所提 取出的音樂結(jié)構(gòu)，并且確定照明參數(shù)使得照明根據(jù)正在演奏的音樂的結(jié)構(gòu)的類型而變化。 此外，照明參數(shù)確定單元可以被配置為確定照明參數(shù)使得照明的顏色基于由元數(shù)據(jù)提取單 元所提取出的音樂的年代而變化。如所描述的，使用通過使用從音頻信號(hào)的波形中所提取 出的元數(shù)據(jù)來改變照明以呈現(xiàn)演奏者對(duì)象所在的舞臺(tái)，演奏場(chǎng)景會(huì)更加逼真。例如，通過使 用所記錄的現(xiàn)場(chǎng)直播的音頻信號(hào)，可以再現(xiàn)實(shí)際的演奏場(chǎng)景，從而向用戶提供新的娛樂表 演。此外，該信息處理設(shè)備還可以包括觀眾參數(shù)確定單元，該觀眾參數(shù)確定單元用于 基于由元數(shù)據(jù)提取單元所提取出的元數(shù)據(jù)來確定觀眾參數(shù)，觀眾參數(shù)用于控制與舞臺(tái)不同 的位置中所設(shè)置的觀眾座位中的觀眾對(duì)象的移動(dòng)。在該情況中，觀眾參數(shù)確定單元確定觀 眾參數(shù)使得觀眾對(duì)象的移動(dòng)與由元數(shù)據(jù)提取單元所檢測(cè)出的拍子相同步地變化。此外，觀 眾參數(shù)確定單元可以被配置為參考由元數(shù)據(jù)提取單元所提取出的音樂結(jié)構(gòu)，并且確定觀眾 參數(shù)使得觀眾對(duì)象的移動(dòng)根據(jù)正在演奏的音樂的結(jié)構(gòu)的類型而變化。在演奏場(chǎng)景中包括觀 眾對(duì)象的情況中，觀眾的移動(dòng)也可以基于元數(shù)據(jù)來控制。實(shí)際上，音樂會(huì)中的觀眾的行為依 賴于音樂類型而不同?；谠撌聦?shí)，演奏場(chǎng)景的真實(shí)感可以通過基于從音頻信號(hào)的波形中 獲得的類型等來控制觀眾對(duì)象的移動(dòng)來增強(qiáng)。此外，演奏者參數(shù)確定單元可以被配置為基于由元數(shù)據(jù)提取單元所提取出的每種 樂器聲音的獨(dú)奏概率來確定指示與每種樂器聲音對(duì)應(yīng)的演奏者對(duì)象的姿勢(shì)和表情的演奏 者參數(shù)。演奏者參數(shù)確定單元還可以被配置為基于由元數(shù)據(jù)提取單元所提取出的每種樂器 聲音的存在概率，來確定指示與這每種樂器聲音對(duì)應(yīng)的演奏者對(duì)象的正在演奏的手的移動(dòng) 程度的演奏者參數(shù)。演奏者參數(shù)確定單元還可以被配置為基于由元數(shù)據(jù)提取單元所提取出 的歌聲的存在概率，來確定指示與歌聲對(duì)應(yīng)的演奏者對(duì)象的張嘴大小或握麥克風(fēng)的手與嘴 邊之間的距離的演奏者參數(shù)。以這種方式，對(duì)于每個(gè)演奏者，所要控制的參數(shù)的類型不同。例如，演奏者參數(shù)確定單元，基于由元數(shù)據(jù)提取單元所提取出的旋律線的平均音 調(diào)與每幀的旋律線的音調(diào)之間的差或基于由元數(shù)據(jù)提取單元所提取出的歌聲的聲音質(zhì)量， 來確定指示與歌聲對(duì)應(yīng)的演奏者對(duì)象的表情的移動(dòng)的演奏者參數(shù)。此外，演奏者參數(shù)確定 單元，基于由元數(shù)據(jù)提取單元所提取出的旋律線，來確定指示與歌聲對(duì)應(yīng)的演奏者對(duì)象的 沒有握麥克風(fēng)的手的移動(dòng)的演奏者參數(shù)。在歌唱家的情況中，通過使用如上所述的演奏者 參數(shù)控制方法實(shí)現(xiàn)逼真的移動(dòng)。此外，演奏者參數(shù)確定單元基于由元數(shù)據(jù)提取單元所提取出的和弦進(jìn)行來確定指 示演奏者對(duì)象的手的位置的演奏者參數(shù)，該演奏者參數(shù)與從由吉他、鍵盤樂器和琴弦樂器 構(gòu)成的群組中選出的一個(gè)或多個(gè)區(qū)間相對(duì)應(yīng)。演奏者參數(shù)確定單元基于由元數(shù)據(jù)提取單元 所提取出的貝斯線來確定與貝斯對(duì)應(yīng)的演奏對(duì)象的握貝斯頸的手的位置。關(guān)于歌唱家之外 的演奏者，通過使用上述演奏者參數(shù)控制方法實(shí)現(xiàn)逼真的移動(dòng)。此外，演奏者對(duì)象可以是外部地連接的機(jī)器人或通過計(jì)算機(jī)圖形實(shí)現(xiàn)的演奏者圖 像。在這種情況中，信息處理設(shè)備還包括對(duì)象控制單元，對(duì)象控制單元用于使用由演奏者參 數(shù)確定單元所確定的演奏者參數(shù)來控制外部地連接的機(jī)器人的移動(dòng)或用于使用由演奏者 參數(shù)確定單元所確定的演奏者參數(shù)來控制演奏者圖像的移動(dòng)。當(dāng)然，根據(jù)本實(shí)施例的技術(shù)不限于此，并且可以使用任何表示方法、關(guān)于可以被可視化的任何東西來控制演奏者對(duì)象 的移動(dòng)。(評(píng)述)上述音樂分析單元110是元數(shù)據(jù)提取單元的一個(gè)示例。上述可視化參數(shù)確定單元 114是演奏者參數(shù)確定單元、照明參數(shù)確定單元或觀眾參數(shù)確定單元的一個(gè)示例。上述可視 化單元116是對(duì)象控制單元的一個(gè)示例。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，根據(jù)設(shè)計(jì)要求和其它因素，可以進(jìn)行各種修改、組合、 子組合和更改，只要它們?cè)谒綑?quán)利要求及其等同物的范圍以內(nèi)即可。例如，當(dāng)通過使用CG圖像來可視化音樂時(shí)，還可以通過下述視覺效果來增強(qiáng)針對(duì) 演奏場(chǎng)景的呈現(xiàn)效果。(1)首先，可以構(gòu)想一種通過設(shè)計(jì)針對(duì)CG的攝影術(shù)來增強(qiáng)呈現(xiàn)效果的方法。例如， 可以構(gòu)想一種當(dāng)獨(dú)奏演奏者被檢測(cè)到時(shí)，放大并且顯示該獨(dú)奏演奏者的方法。通過使用由 音樂分析單元110獲得的獨(dú)奏概率可以實(shí)現(xiàn)該呈現(xiàn)方法。此外，還可以構(gòu)想這樣的一種顯 示方法，其中，設(shè)有多個(gè)虛擬相機(jī)并且這些相機(jī)根據(jù)小節(jié)線進(jìn)行而被切換。通過使用由音樂 分析單元110獲得的小節(jié)線進(jìn)行來實(shí)現(xiàn)該顯示方法。如所描述的，通過基于由音樂分析單 元110獲得的元數(shù)據(jù)來自動(dòng)確定針對(duì)CG的攝影術(shù)，可以向用戶提供基于音樂數(shù)據(jù)的波形的 逼真視覺效果。(2)此外，通過使用由音樂分析單元110獲得的各種元數(shù)據(jù)可以實(shí)現(xiàn)舞臺(tái)呈現(xiàn)。例 如，當(dāng)正在演奏安靜的音樂時(shí)，可能有在副歌部分放出煙霧的舞臺(tái)呈現(xiàn)。相反，當(dāng)正在演奏 活潑的音樂時(shí)，可能有就在副歌部分之前引爆某種東西的舞臺(tái)呈現(xiàn)。由音樂分析單元110 獲得的指示音樂結(jié)構(gòu)和音樂曲調(diào)的元數(shù)據(jù)用于這樣的舞臺(tái)呈現(xiàn)。如所描述的，通過基于由 音樂分析單元110獲得的元數(shù)據(jù)來自動(dòng)確定針對(duì)CG的舞臺(tái)呈現(xiàn)，可以向用戶提供基于音樂 數(shù)據(jù)的波形的逼真視覺效果。(3)在以上實(shí)施例的描述中，已經(jīng)用歌聲、吉他、貝斯、鍵盤樂器、鼓、琴弦樂器和銅 管樂器作為示例進(jìn)行了描述。然而，通過使用已經(jīng)描述的音樂分析單元110的配置可以更 加精細(xì)地檢測(cè)樂器的類型。例如，可以檢測(cè)貝斯是木貝斯、電貝斯還是合成貝斯。此外，可 以檢測(cè)鼓是聲學(xué)鼓還是電子鼓。還可以從音樂數(shù)據(jù)的波形中檢測(cè)出觀眾的掌聲或歡呼。因 此，根據(jù)通過更精細(xì)地檢測(cè)樂器類型而檢測(cè)出的樂器類型，還可以改變演奏者對(duì)象的CG本 身或演奏者對(duì)象所握的樂器。此外，可以根據(jù)所檢測(cè)到的掌聲使觀眾鼓掌或根據(jù)所檢測(cè)到 的歡呼使觀眾移動(dòng)就像他們正在喊叫一樣。(4)如上所述，音樂分析單元110可以對(duì)由聲源分離單元106分離出的每個(gè)聲道的 波形執(zhí)行音樂分析。因此，通過使用音樂分析單元110并且分析每個(gè)聲道的波形，有可能檢 測(cè)出每種樂器聲音被包括在哪個(gè)聲道中。因此，這樣的配置也是可能的，其中，演奏者對(duì)象 的位置基于針對(duì)每個(gè)聲道檢測(cè)出的每種樂器聲音的存在概率而被改變。例如，如果在左聲 道中的信號(hào)波形中檢測(cè)到高吉他存在概率，則吉他的演奏對(duì)象的位置移到左邊。以這種方 式，通過基于由音樂分析單元110獲得的元數(shù)據(jù)來自動(dòng)確定各種對(duì)象的位置和移動(dòng)，可以 向用戶提供基于音頻數(shù)據(jù)的波形的逼真視覺效果。本申請(qǐng)包含與2008年12月5日在日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng) JP2008-311514中所公開的主題相關(guān)的主題，其全部?jī)?nèi)容被通過引用結(jié)合于此。
7權(quán)利要求
一種信息處理設(shè)備，包括元數(shù)據(jù)提取單元，所述元數(shù)據(jù)提取單元用于分析多種樂器聲音以混合方式存在于其中的音頻信號(hào)，并且用于提取隨著演奏時(shí)間的過去而變化的元數(shù)據(jù)作為所述音頻信號(hào)的特征量；以及演奏者參數(shù)確定單元，所述演奏者參數(shù)確定單元用于基于由所述元數(shù)據(jù)提取單元提取出的元數(shù)據(jù)來確定用于控制與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。
2.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中所述元數(shù)據(jù)提取單元提取出一條或多條數(shù)據(jù)作為所述元數(shù)據(jù)，所述一條或多條數(shù)據(jù)是 從由以下內(nèi)容形成的群組中選出的所述音頻信號(hào)的拍子、和弦進(jìn)行、音樂結(jié)構(gòu)、旋律線、貝 斯線、每種樂器聲音的存在概率、每種樂器聲音的獨(dú)奏概率和歌聲的聲音特征。
3.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述元數(shù)據(jù)提取單元提取出一條或多條數(shù)據(jù)作為所述元數(shù)據(jù)，所述一條或多條數(shù)據(jù)是 從由以下內(nèi)容形成的群組中選出的所述音頻信號(hào)所屬于的音樂流派、所述音頻信號(hào)所屬 于的音樂年代、所述音頻信號(hào)的有關(guān)演奏者的信息、所述音頻信號(hào)中所包括的樂器聲音的 類型和所述音頻信號(hào)的音樂曲調(diào)。
4.根據(jù)權(quán)利要求3所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元如果有關(guān)演奏者的身高和體重的信息被提取出作為有關(guān)所述演奏者的信息，則基于有 關(guān)身高和體重的信息來確定指示所述演奏者對(duì)象的大小的演奏者參數(shù)，并且如果有關(guān)所述演奏者的性別的信息被提取出作為有關(guān)所述演奏者的信息，則基于有關(guān) 性別的信息來確定指示所述演奏者對(duì)象的發(fā)型和衣服的演奏者參數(shù)。
5.根據(jù)權(quán)利要求3所述的信息處理設(shè)備，還包括照明參數(shù)確定單元，所述照明參數(shù)確定單元用于基于由所述元數(shù)據(jù)提取單元提取出的 元數(shù)據(jù)來確定用于控制所述演奏者對(duì)象所在的舞臺(tái)上的照明的照明參數(shù)，其中所述照明參數(shù)確定單元確定所述照明參數(shù)，使得所述照明與由所述元數(shù)據(jù)提取單元檢 測(cè)出的拍子相同步地變化。
6.根據(jù)權(quán)利要求5所述的信息處理設(shè)備，其中所述照明參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的每種樂器聲音的存在概 率來確定照明參數(shù)，所述照明參數(shù)指示照射在與所述每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象上 的聚光燈的亮度。
7.根據(jù)權(quán)利要求6所述的信息處理設(shè)備，其中所述照明參數(shù)確定單元參考由所述元數(shù)據(jù)提取單元提取出的音樂結(jié)構(gòu)，并且確定所述 照明參數(shù)，使得照明根據(jù)正被演奏的音樂的結(jié)構(gòu)的類型而變化。
8.根據(jù)權(quán)利要求7所述的信息處理設(shè)備，其中所述照明參數(shù)確定單元確定所述照明參數(shù)使得所述照明的顏色基于由所述元數(shù)據(jù)提 取單元提取出的所述音樂的年代而變化。
9.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，還包括觀眾參數(shù)確定單元，所述觀眾參數(shù)確定單元用于基于由所述元數(shù)據(jù)提取單元提取出的元數(shù)據(jù)來確定觀眾參數(shù)，所述觀眾參數(shù)用于控制設(shè)置在觀眾座位中的觀眾對(duì)象的移動(dòng)，所 述觀眾座位設(shè)在與所述舞臺(tái)不同的位置，其中所述觀眾參數(shù)確定單元確定所述觀眾參數(shù)使得所述觀眾對(duì)象的移動(dòng)與由所述元數(shù)據(jù) 提取單元檢測(cè)出的拍子相同步地變化。
10.根據(jù)權(quán)利要求9所述的信息處理設(shè)備，其中所述觀眾參數(shù)確定單元參考由所述元數(shù)據(jù)提取單元提取出的音樂結(jié)構(gòu)，并且確定所述 觀眾參數(shù)，使得所述觀眾對(duì)象的移動(dòng)根據(jù)正被演奏的音樂的結(jié)構(gòu)的類型而變化。
11.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的每種樂器聲音的獨(dú)奏 概率，確定指示與所述每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的姿勢(shì)和表情的演奏者參數(shù)。
12.根據(jù)權(quán)利要求11所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的每種樂器聲音的存在 概率，確定指示與所述每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的正在演奏的手的移動(dòng)程度的演 奏者參數(shù)。
13.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的歌聲的存在概率，確定 指示與所述歌聲相對(duì)應(yīng)的演奏者對(duì)象的張嘴大小或握麥克風(fēng)的手與所述嘴之間的距離的 演奏者參數(shù)。
14.根據(jù)權(quán)利要求13所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的旋律線的平均音調(diào)和 每幀的旋律線的音調(diào)之間的差，或基于由所述元數(shù)據(jù)提取單元提取出的歌聲的聲音特征， 確定指示與所述歌聲相對(duì)應(yīng)的所述演奏者對(duì)象的表情的移動(dòng)的演奏者參數(shù)。
15.根據(jù)權(quán)利要求14所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的旋律線，確定指示與所 述歌聲相對(duì)應(yīng)的演奏者對(duì)象的沒有握麥克風(fēng)的手的移動(dòng)的演奏者參數(shù)。
16.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的和弦進(jìn)行，確定指示所 述演奏者對(duì)象的手的位置的演奏者參數(shù)，所述演奏者參數(shù)與從由吉他、鍵盤樂器和琴弦樂 器形成的群組中選出的一個(gè)或多個(gè)部分相對(duì)應(yīng)。
17.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其中所述演奏者參數(shù)確定單元基于由所述元數(shù)據(jù)提取單元提取出的貝斯線，確定指示與貝 斯相對(duì)應(yīng)的演奏者對(duì)象的握貝斯頸的手的位置的演奏者參數(shù)。
18.根據(jù)權(quán)利要求1所述的信息處理設(shè)備，其中所述演奏者對(duì)象是外部地連接的機(jī)器人或通過計(jì)算機(jī)圖形實(shí)現(xiàn)的演奏者圖像，并且所述信息處理設(shè)備還包括對(duì)象控制單元，所述對(duì)象控制單元用于使用由所述演奏者參 數(shù)確定單元確定的演奏者參數(shù)來控制所述外部地連接的機(jī)器人的移動(dòng)，或者用于使用由所 述演奏者參數(shù)確定單元確定的演奏者參數(shù)來控制所述演奏者圖像的移動(dòng)。
19.一種信息處理方法，包括以下步驟分析多種樂器聲音以混合方式存在于其中的音頻信號(hào)，并且提取隨著演奏時(shí)間的過去 而變化的元數(shù)據(jù)作為所述音頻信號(hào)的特征量；以及基于通過分析和提取步驟提取出的元數(shù)據(jù)來確定用于控制與每種樂器聲音相對(duì)應(yīng)的 演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。
20. 一種程序，所述程序使得計(jì)算機(jī)實(shí)現(xiàn)元數(shù)據(jù)提取功能，所述元數(shù)據(jù)提取功能用于分析多種樂器聲音以混合方式存在于其中 的音頻信號(hào)，并且用于提取隨著演奏時(shí)間的過去而變化的元數(shù)據(jù)作為所述音頻信號(hào)的特征 量；以及演奏者參數(shù)確定功能，所述演奏者參數(shù)功能單元用于基于通過所述元數(shù)據(jù)提取功能提 取出的元數(shù)據(jù)來確定用于控制與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。
全文摘要
本發(fā)明公開了一種信息處理設(shè)備、信息處理方法和程序。該信息處理設(shè)備包括元數(shù)據(jù)提取單元，其提取單元用于分析多種樂器聲音以混合方式存在于其中的音頻信號(hào)，并且用于提取隨著演奏時(shí)間的過去而變化的元數(shù)據(jù)作為音頻信號(hào)的特征量；以及演奏者參數(shù)確定單元，其用于基于由元數(shù)據(jù)提取單元提取出的元數(shù)據(jù)來確定用于控制與每種樂器聲音相對(duì)應(yīng)的演奏者對(duì)象的移動(dòng)的演奏者參數(shù)。
文檔編號(hào)G06T13/20GK101916568SQ200910253628
公開日2010年12月15日 申請(qǐng)日期2009年12月7日 優(yōu)先權(quán)日2008年12月5日
發(fā)明者小林由幸 申請(qǐng)人:索尼株式會(huì)社