專利名稱：用于分布式音頻文件編輯的門戶網站的制作方法
用于分布式音頻文件編輯的門戶網站交叉引用本申請要求2007年2月14日提交的標題為“COLLABORATIVE MUSIC SHARING”(律師簽號026287-000300US)的共同未決的美國臨時專利申請?zhí)?0/889，816以及2007年2月14日提交的標題為“MUSIC-BASED SEARCH ENGINE”(律師簽號026287-000400US)的共同未決的美國臨時專利申請?zhí)?0/889，821的優(yōu)先權利益，這兩個專利申請由此通過引用被并入，如在本文件中為了所有的目的充分闡述的。本申請要求2008年2月13日提交的RobertD. Taub 等人的標題為“MUSIC SCORE DECONSTRUCTION”(律師簽號 026287-000500US)的美國臨時專利申請?zhí)?1/028，490的優(yōu)先權利益。要求該臨時申請?zhí)峤蝗盏膬?yōu)先權，且該臨時申請的公開為了所有目的在這里通過引用被并入。本申請進一步涉及2008年2月14日提交的標題為“MUSIC-BASED SEARCH
ENGINE” (律師簽號026287-000410US)的共同未決的美國臨時專利申請?zhí)朹，其
同本申請同時提交并由此通過引用被并入，如在本文件中為了所有的目的充分闡述的。背景本發(fā)明通常涉及音頻應用，尤其是涉及合作式音樂創(chuàng)作。由于很多原因，合作來創(chuàng)作和體驗音樂可能是合乎需要的。一個原因是，音樂家在音樂的很多方面有不同的技能水平，包括在不同樂器上的演奏、讀譜、音樂理論、作曲、作詞、配器和制作。另一原因是每個音樂家可能有特別的影響、背景、親和力和影響藝術視野的其它特點。又一原因是，音樂家可能希望從遙遠的地點一起工作。即使是相對先進的音樂合作環(huán)境也常常在功能上受限，這是因為它們缺乏以很多有用的方式處理音樂稿件(music contribution)的能力的緣故。例如，一些現(xiàn)有的環(huán)境允許投稿人(contributor)上載音頻文件作為曲目，其可被分組用于重放。一些環(huán)境甚至可提供某些有限的信號處理能力，如信號振幅的更改(例如，漸弱)，或剪切、復制或粘貼信號的部分的能力。然而，某些類型的音樂合作可能要求在更基礎的級別上(例如，單獨的音符、音調、拍速、和弦變化、樂旨、模式、音色等)處理音樂稿件。例如，投稿人可能希望改變聲道的樂器演奏法，以使旋律的樂段變調，插入個別的音符、分析某些稿件的和弦進行、使來自多個投稿人的稿件同步，以及可利用很多其它能力。提供這些能力中的很多能力可能要求處理音樂稿件以從音頻信號提取某些類型的基本信息。至少由于這些原因，在基礎級別提供對音樂合作的提高的能力可能是合乎需要的。概述除了其它許多東西以外，還描述了對來自多個投稿人的音樂稿件的合作式創(chuàng)作和處理的方法、系統(tǒng)和設備。本發(fā)明的實施方式便于合作地處理來自多個合作者的音樂稿件。在一方面，本發(fā)明的技術可被實現(xiàn)為網絡站點，例如門戶網站。該門戶網站可利用音頻信號處理、音樂特征識別技術和音樂轉錄技術來為音樂項目提供合作環(huán)境。因此，本發(fā)明的實施方式可提供用于在合作的發(fā)展努力中伺服多個用戶的網絡站點。該門戶可提供各種特征和功能。在某些實施方式中，該門戶可支持音頻編輯功能，包括編輯音頻文件、啟動音頻文件、共享音頻文件、公布音頻文件、啟動打印文件、定制音頻文件(例如鈴聲)、支持對鈴聲和音頻文件的門戶拍賣或市場、以及將音樂和音頻添加到視頻文件。在其它實施方式中，該門戶可支持聯(lián)網和合作功能，包括會議(例如，通過文本、音頻或視頻)和限制訪問(例如，對門戶的某些部分、對某些文件或對某些功能)。在又一些其它實施方式中，該門戶可支持制作功能，包括樂譜的生成和合作項目的音頻輸出。從作為例子示出本發(fā)明原理的優(yōu)選實施方式的下列描述中，本發(fā)明的其它特征和優(yōu)點應很明顯。附圖的簡要說明
參考下列附圖可實現(xiàn)對本發(fā)明的性質和優(yōu)點的進一步的理解。在附圖中，相似的部件或特征可具有相同的參考符號。進一步地，通過在參考標記后跟有破折號和區(qū)分開相似部件的第二標記，可區(qū)分開相同類型的各種部件。如果在說明書中只使用第一參考標記，則此描述適用于具有相同的第一參考標記的相似部件中的任一個，而不考慮第二參考標記。圖I示出用于音樂稿件的合作處理的根據本發(fā)明構造的系統(tǒng)的高級的簡化結構圖。圖2示出根據本發(fā)明的用于音樂稿件的合作處理的示例性方法的流程圖。圖3示出根據本發(fā)明的用于產生音樂稿件的各種例證性類型的音樂輸入。圖4A示出根據本發(fā)明的用于解構音樂輸入數(shù)據的方法的流程圖。圖4B示出根據本發(fā)明的用于解構音樂微元素的方法的實施方式。圖4C示出根據本發(fā)明的用于解構音樂宏元素的方法的實施方式。圖5A示出根據本發(fā)明的用于解構音頻信號輸入以產生音樂元素的示例性系統(tǒng)的簡化結構圖。圖5B示出根據本發(fā)明的音頻解構單元的一個實施方式的低級結構圖。圖6A示出根據本發(fā)明處理音樂圖像數(shù)據以提供光學字符識別(OCR)特征的示例性系統(tǒng)。圖6B示出從圖6A所示捕獲設備產生的、作為輸入提供到OCR處理器的示例性圖
像數(shù)據。圖7示出根據本發(fā)明的可合并在合作門戶的實施方式中的各種模塊的一個示例
性配置。圖8A示出觀看功能的例證性實施方式，包括合作項目的一部分的三個對齊的視圖。圖8B示出圖8A所示的觀看功能的放大視圖的例證性實施方式，集中在了特定音符上。圖9示出根據本發(fā)明的用于合作門戶的GUI的實施方式。

圖10提供用于實現(xiàn)本發(fā)明的某些實施方式的計算系統(tǒng)的結構圖。圖11示出根據本發(fā)明的作為手持式消費電子設備的產品的例證性實施方式。圖12提供示出與圖11所示設備類似的設備的實施方式的操作的簡化處理流程圖。詳細描述該描述僅提供示例性實施方式，且不是用來限制本發(fā)明的范圍、適用性或配置。更確切地，實施方式的隨后描述將給本領域技術人員提供用于實現(xiàn)本發(fā)明實施方式的可行的描述?？稍谠墓δ芎筒贾蒙线M行各種變化，而不偏離本發(fā)明的實質和范圍。因此，不同實施方式可在適合時省略、替換或添加不同的程序或部件。例如，應認識到，在可選實施方式中，可按不同于所描述的順序執(zhí)行方法，并可添加、省略或合并不同的步驟。此外，關于某些實施方式描述的特征，可合并在不同的其它實施方式中。實施方式的不同方面和元件可按類似的方式合并。還應認識到，下面的系統(tǒng)、方法和軟件可單獨地或共同為一較大系統(tǒng)的部件，其中其它程序可優(yōu)于其應用，或以其他方式更改其應用。此外，在下面的實施方式之前、之后或 與其同時，可能需要一定數(shù)量的步驟。綜沭本發(fā)明的實施方式便于合作地處理來自多個合作者的音樂稿件。在一方面，本發(fā)明的技術可被實現(xiàn)為網絡站點，例如門戶網站。該門戶網站可利用音頻信號處理、音樂特征識別技術和音樂轉錄技術來為音樂項目提供合作環(huán)境。因此，本發(fā)明的實施方式提供用于在合作性發(fā)展努力中伺服多個用戶的網絡站點。該門戶可提供各種特征和功能。在某些實施方式中，該門戶可支持音頻編輯功能，包括編輯音頻文件、啟動音頻文件、共享音頻文件、公布音頻文件、啟動打印文件、定制設計音頻文件(例如鈴聲)、支持鈴聲和音頻文件的門戶拍賣或市場、以及將音樂和音頻添加到視頻文件。在其它實施方式中，該門戶可支持聯(lián)網和合作功能，包括會議(例如，通過文本、音頻或視頻)和限制訪問(例如，對門戶的某些部分、對某些文件或對某些功能)。在又一些其它實施方式中，該門戶可支持制作功能，包括樂譜的生成和合作項目的音頻輸出。圖I示出用于音樂稿件的合作處理的根據本發(fā)明構造的系統(tǒng)100的高級簡化結構圖。系統(tǒng)100包括通過網絡110連接到多個工作站104的門戶160。網絡110可為多個工作站104之間的通信的任何服務商。例如，網絡110可為互聯(lián)網或局域網(LAN)。工作站104可為配置成與網絡110通信并接收音樂稿件102的任何設備或系統(tǒng)。在一些實施方式中，工作站104是多功能設備。例如，工作站104可為計算機(例如，膝上型計算機、桌上型計算機等)。在其它實施方式中，工作站104是專用設備。例如，工作站104之一可為專用的便攜式設備，其特別被開發(fā)來提供合作環(huán)境，包括接收音樂稿件102和與網絡110通信。在某些實施方式中，工作站104是音樂稿件設備的網絡接口。例如，工作站104之一可為電子吉他或數(shù)字音頻部件的直接網絡接口。應認識到，根據本發(fā)明，工作站104存在接收音樂稿件102的很多方法。例如，可通過內部或外部麥克風、線路電平音頻端口、文件傳輸(例如，來自固定的或可移除的存儲器或在網絡上)、樂譜圖像捕獲設備等接收音樂稿件102。下面進一步討論音樂輸入實施方式。在一些實施方式中，工作站104配置成產生音樂輸出106。在一個實施方式中，音樂輸出106包括配置成通過揚聲器播放的音頻輸出。在另一實施方式中，音樂輸出106包括配置成被儲存、播放和/或在網絡上共享的音頻文件。在又一實施方式中，音樂輸出106包括由其它相容的系統(tǒng)使用的音樂元素數(shù)據(例如，音高、音程、拍速、音調、振幅等)。在再一實施方式中，音樂輸出106包括樂譜表示數(shù)據，其配置成由樂譜編輯軟件使用、被發(fā)送到文檔編輯或公布系統(tǒng)、或被打印。根據音樂稿件102的類型和合作者希望如何使用音樂稿件102，解構來自音樂稿件102的音樂元素可能是合乎需要的。在各種實施方式中，合作者可能希望以非解構(例如，信號級)形式來使用一些音樂稿件102，同時他們可能希望以解構(例如，樂譜級)形式來使用其它音樂稿件102。例如，假定第一音樂稿件102包括特殊聲音(例如，使用音槌擊高張力的線)的已錄制的樣本，以及第二音樂稿件102包括鼓點的已錄制的演奏。合作者可能希望解構鼓點以提取關于拍速和節(jié)拍的音樂元素信息，并使用該音樂元素來使該特殊聲音樣本同步到某些節(jié)奏位置(即，不從特殊聲音樣本提取任何音樂元素)。下面更充分描述音樂解構。在一些實施方式中，系統(tǒng)100包括用于提供音樂解構功能的一個或多個音樂解構單元120。在某些實施方式中，音樂解構單元120駐留在工作站104上。例如，音樂解構單元120可被實現(xiàn)為客戶級軟件。在這些實施方式中，音樂稿件102在通過網絡110被發(fā)送 到門戶160之前可被解構成音樂元素。在其它實施方式中，音樂解構單元120可設置為門戶160的部分(例如，元件120-3)。音樂稿件102可在工作站104被接收，通過網絡110被發(fā)送到門戶160，并接著在門戶160被解構成音樂元素。在某些實施方式中，門戶160可與一個或多個數(shù)據存儲器115操作性地通信。在一些實施方式中，門戶160通過網絡110與數(shù)據存儲器115通信。在其它實施方式中，門戶160與數(shù)據存儲器115直接通信。數(shù)據存儲器115可配置成存儲關于音樂稿件102或音樂輸出106的一種或多種類型的信息。例如，數(shù)據存儲器115可配置成存儲原始音頻文件(例如，包含數(shù)字化音頻信號數(shù)據的文件)、編碼的音頻文件(例如，包含關于文件內容數(shù)據或音頻信號數(shù)據的元數(shù)據的文件)、音樂元素信息(例如，儲存在多維關系數(shù)據庫中的、與其相應的音樂稿件相關的被解構的音樂元素)、編輯數(shù)據(例如，對一個或多個音樂稿件進行的編輯的日志或記錄、或某些指示符和時間戳數(shù)據，以有效地記錄編輯而不保存音樂稿件的多個副本)等。應認識到，在本發(fā)明的實施方式中，某些類型的數(shù)據安全可能是合乎需要的。在一些實施方式中，數(shù)據存儲器115配置成使用某些類型的數(shù)據安全(例如，加密、口令保護等)來存儲數(shù)據。在其它實施方式中，系統(tǒng)100的不同部件之間的物理和虛擬通信鏈接是安全的(例如，通過安全套接層加密)。例如，門戶160和工作站104之間或門戶160和數(shù)據存儲器115之間的網絡通信可能是安全的。在又一些其它實施方式中，音樂輸出106可被保護以防止復制、刪除等。例如，某些數(shù)字版權管理(DRM)技術可用于限制音樂輸出106文件的未經授權的復制或共享。在一些實施方式中，門戶160通過網絡接口單元150與網絡110進行通信。網絡接口單元150的某些實施方式通過提供某些類型的網絡功能來促進門戶160和網絡110之間的通信。例如，網絡接口單元150可發(fā)送和/或解譯網絡業(yè)務，以允許門戶160的有效合作、文件傳輸和其它能力。網絡接口單元150的各種實施方式提供了增強的能力。在一些實施方式中，網絡接口單元150配置成通過網絡110接收和處理來自工作站104的登錄信息。在一個實施方式中，登錄信息用于驗證工作站104的用戶，以確定用戶對門戶160的訪問權。訪問權可確定例如是否用戶可進入門戶160，用戶可訪問哪些文件，用戶可使用門戶160的哪些功能，
坐坐寸寸o應認識到，根據本發(fā)明，門戶160的很多實施方式是可能的。在一些實施方式中，門戶160配置成通過網頁瀏覽器使用，并且可通過網絡地址來定位。在這些實施方式的某些中，門戶160配置成可擴展到很多不同的瀏覽環(huán)境(例如，通過用XML、HTML或另一可擴展標記語言編寫)。在其它實施方式中，門戶160被實現(xiàn)為駐留在工作站104上的客戶端應用程序。在這些實施方式中，可在服務器上實現(xiàn)某種功能(例如，文件管理)，而合作處理中的大部分在客戶工作站104上進行。在又一實施方式中，門戶160可駐留在局域網的分離的網絡服務器上，或工作站104可用于向網絡提供應用程序。門戶160的實施方式包括合作接口單元130。在各種實施方式中，合作接口單元130配置成執(zhí)行門戶160的功能，包括合作功能(例如，虛擬會議、改變和文件管理等)、音 樂觀看功能(例如，顯示樂譜視圖、信號視圖、鋼琴卷簾視圖、音色曲線、音符包絡曲線、柱狀圖等)和音樂編輯功能(例如，同步、聲道編輯、音符編輯、信號編輯、樂器法編輯等)。下面更充分描述合作接口單元130的實施方式和功能。門戶160的實施方式進一步包括輸出產生單兀140。在一些實施方式中，輸出產生單元140可配置成從合作接口單元130接收合作的輸出，并產生輸出數(shù)據。由輸出產生單元140產生的數(shù)據可被傳送到數(shù)據存儲器115(例如，直接地或通過網絡110)或工作站104。在一些實施方式中，由輸出產生單元140產生的輸出數(shù)據可為音樂輸出106。在其它實施方式中，由輸出產生單元140產生的輸出數(shù)據可由工作站104使用來產生音樂輸出106。圖2示出根據本發(fā)明的用于音樂稿件的合作處理的示例性方法200的流程圖。使用如圖I所示系統(tǒng)100的系統(tǒng)可執(zhí)行方法200的一些實施方式。方法200在塊202開始，接收用于驗證用戶的登錄信息。在塊210，方法200根據登錄信息確定用戶是否有訪問門戶的權限。如果用戶沒有足夠的訪問權，則可在塊220拒絕用戶對門戶的訪問。如果用戶有足夠的訪問權，則可在塊230提供對門戶的訪問。在塊232，門戶可接收音樂稿件。一些音樂稿件可接收自登錄到該門戶中的用戶或從另一用戶(例如，通過用戶的工作站和通過網絡)。其它音樂稿件可接收自一個或多個數(shù)據存儲器。在某些情況下，在塊232接收的一些或所有音樂稿件可在塊234被解構成音樂元素。為了不同的目的，可在一個或多個級別執(zhí)行解構，如下面進一步描述的。在塊236，門戶可從一個或多個用戶接收合作請求。該合作請求可包括關于與處理用戶間合作、處理文件管理、處理編輯、編譯或查看音樂稿件等相關的任何請求。在一個實施方式中，合作請求包括編輯門戶上的音樂稿件的請求。在塊238，響應于合作請求并至少部分地根據該合作請求來編輯音樂稿件。接著，在塊240，可產生輸出數(shù)據。例如，在塊240產生的輸出數(shù)據可包括與在塊238中執(zhí)行的編輯有關的信息。應認識到，關于圖I和2描述的實施方式用來提供本發(fā)明的示例性結構和示例性功能的綜述。因此，上面提供的描述不應被解釋為限制本發(fā)明的范圍。為了另外的清楚，下面進一步討論某些功能的進一步描述。咅樂輸入用于產生音樂稿件的很多不同類型的音樂輸入是可能的。圖3示出根據本發(fā)明的用于產生音樂稿件的各種例證性類型的音樂輸入。應認識到，圖3所示的音樂輸入設備只提供很多可能的音樂輸入設備中的一些，且不應被解釋為限制本發(fā)明的能力。音樂輸入的一個實施方式包括原始音頻文件302。原始音頻文件302可包括被數(shù)字化成數(shù)字信號表示的音頻信號數(shù)據。例如，數(shù)字信號信息可包括樣本，每個樣本有時間戳和電壓電平，其中該樣本代表音頻信號的模擬版本。在其它例子中，數(shù)字信號信息可被編碼，以在算法上(例如，包括誤差校正彳目息、編解碼彳目息等)表不首頻彳目號。音樂輸入的另一實施方式包括增強型音頻文件304。增強型音頻文件304可包括補充或代替存在于原始音頻文件302中的數(shù)據的信息。在某些實施方式中，增強型音頻文件304可包括關于該文件的內容、其格式或其它有用信息的元數(shù)據。例如，元數(shù)據可包括手工輸入的關于音頻文件的信息，包括聲道名稱、專輯名稱、藝術家名稱、風格等。在另一例子中，元數(shù)據可與其它系統(tǒng)相容(例如，專輯序列號和歌曲的聲道號可被提供到元數(shù)據中，以允許某個數(shù)據庫搜索來返回關于歌曲的其它信息，例如其標題)。
通過將原始音頻文件302傳送通過編碼器330來產生增強型音頻文件304的一些實施方式。例如，增強型音頻文件304可由MPEG-7編碼器產生，MPEG-7編碼器可使用XML來存儲元數(shù)據并將元數(shù)據附到增強型音頻文件304內的某些時間戳。在其它實施方式中，通過將原始音頻文件302傳送通過音頻解構器320，可產生增強型音頻文件304。音頻解構器320可從原始音頻文件302解構音樂元素(如下面更充分描述的)，并將它們儲存在增強型音頻文件304中。音樂輸入的又一實施方式包括來自相容的樂器306的數(shù)字化輸出。在一個實施方式中，樂器數(shù)字接口(MIDI)裝置(例如鍵盤)用于產生MIDI數(shù)據。MIDI數(shù)據可包括音樂元素。在一些情況下，所包括的音樂元素可用于產生其它音樂元素。例如，MIDI數(shù)據可包括音符音高，而該音符音高可被分析來確定音調。在其它實施方式中，相容的樂器306可操作來以可用的格式輸出數(shù)據。例如，鍵盤可具有可與其它部件相容的數(shù)字同軸、光學或其它類型的輸出。音樂輸入的又一實施方式包括來自傳感器308的模擬輸出。在一個實施方式中，一個或多個麥克風用于檢測一個或多個樂器所產生的壓力波，并將它們轉換成模擬音頻信號。在另一實施方式中，電磁拾音器用于將電吉他的鋼弦中的運動轉換成模擬音頻信號。音樂輸入的另一實施方式甚至包括可編輯的樂譜文件310?？删庉嫷臉纷V文件310可為包括可編輯的樂譜數(shù)據的任何類型的文件。例如，可編輯的樂譜文件310可使用樂譜編輯軟件340來產生。音樂輸入的一些實施方式包括樂譜圖像312。樂譜圖像312的實施方式可包括任何類型的可用數(shù)字圖像。在一個實施方式中，樂譜圖像312是打印出的物理樂譜的數(shù)字化表示(例如，活頁樂譜)，其通過借助于圖像捕獲設備(例如，掃描儀、數(shù)碼照相機或視頻攝像機等)將打印出的樂譜轉換成數(shù)字圖像來產生。在其它實施方式中，通過將樂譜圖像312傳送通過樂譜解構器350來將樂譜圖像312轉換成可編輯的樂譜文件310。樂譜解構器350可操作來從樂譜圖像312解構音樂元素，如下面更充分描述的。在某些實施方式中，編碼器330、音頻解構器320、樂譜解構器350、樂譜編輯器340或其它應用可駐留在工作站104(或服務器計算機)上。在其它實施方式中，音樂輸入可為用于合作的音樂稿件102，或用于產生音樂稿件102。稿件102可接著被傳送到工作站104、網絡110或對提供合作功能有用的任何其它地點。
音頻解構在本發(fā)明的一些實施方式中，提供從音樂輸入數(shù)據如音頻信號數(shù)據和樂譜圖像數(shù)據解構出音樂元素可能是合乎需要的。應認識到，存在很多方法來從不同類型的音樂輸入數(shù)據解構出音樂元素。在一些情況下，數(shù)據儲存在音頻文件中的方式可使解構起來簡單。例如，音樂元素數(shù)據可作為頭部信息儲存在增強型音頻文件中。然而在其它情況下，從音樂輸入數(shù)據提取某些類型的音樂元素可能并不簡單。圖4A示出根據本發(fā)明的用于解構音樂輸入數(shù)據的方法400的流程圖。方法400開始為，在塊402接收音樂輸入數(shù)據。在一些實施方式中，在塊402接收的音樂輸入數(shù)據可包括用于合作的音樂稿件。在塊410，從音樂輸入解構音樂微元素。作為例子，音樂微元素可包括音符音高和值、時間戳、音符包絡和音色、音調、拍速和其它類似的元素。在某些實施方式中，音樂微元 素可包括其它音樂微元素(例如，連音、三連音、按聲道或樂器分組的音符、按小節(jié)分組的音符、按投稿人分組的音符等)的組。在其它實施方式中，音樂微元素可包括其它音樂微元素的組成部分(例如，符干、符尾、附點等)。在塊450，解構音樂宏元素。作為例子，音樂宏元素可包括從分析音樂微元素的組和模式產生的信息。在一些實施方式中，音樂宏元素包括關于音樂微元素(例如，節(jié)奏調號、重復的樂旨、和弦/音調變化、曲式(例如，A-B-A或合唱-獨唱-獨唱-合唱)等)的組的局部和全局模式信息。在其它實施方式中，音樂宏兀素包括從音樂微兀素的集合中得到的統(tǒng)計信息(例如，音符或節(jié)奏模式的柱狀圖等)。接著，可在塊490輸出音樂微元素和宏兀素。圖4B示出根據本發(fā)明的用于解構音樂微元素的方法410的流程圖。方法410開始為，在塊402接收音樂輸入信號。在一些實施方式中，可預處理音樂輸入信號。例如，音頻信號可從模擬轉換到數(shù)字、下變頻到較低的采樣率、為與某些編碼器或解碼器的相容轉換代碼、解析成單音調音頻聲道、或任何其它有用的處理。在一些實施方式中，在塊412提取音高信息并在塊414提取音符開始事件。在方法410的一些實施方式中，在塊412提取的音高信息和在塊414提取的音符開始事件用于從在塊402接收到的音頻信號提取和處理其它信息。在某些實施方式中，上述信息用于在塊416確定音符時值、在塊418確定休止符、在塊420確定時間窗上的拍速、在塊424確定窗上的音調、以及在塊428確定樂器。在其它實施方式中，在塊416確定的音符時值、在塊418確定的休止符以及在塊420確定的拍速用于在塊422確定音符值；在塊424確定的音調用于在塊426確定音調音高標志；以及在塊428確定的樂器用于在塊430確定聲道。在不同實施方式中，塊412-430的輸出配置成用于在塊490-1產生作為音樂微元素的輸出。圖4C示出根據本發(fā)明的用于解構音樂宏元素的方法450的流程圖。方法450開始為，在塊452接收(例如，來自圖4B的方法410的)音樂微元素。音樂微元素可用于產生很多類型的音樂宏元素。在一些實施方式中，音樂微元素用于在塊454確定曲式(例如，前奏-獨唱-合唱-獨唱-過渡樂節(jié)-合唱-合唱-終奏)；在塊456確定風格(例如，搖滾、古典、爵士、印度古典等)；在塊458確定節(jié)奏調號(例如，第一樂章是以每分鐘90拍的拍速(bpm)的4/4拍，第二樂章是以120bpm的拍速的3/4拍，而第三樂章返回到4/4拍，同時保持在120bpm的拍速)；在塊460確定輪廓(例如,歌曲僅以鼓聲和低音樂器在相對低的音量和快的拍速開始，且一分鐘之后，歌曲在中等音量和較慢的拍速增加干凈的吉他線)；在塊462確定音調變化(例如，歌曲以C大調的音調開始，變調到F大調，快速變調到D小調和G大調，并返回到C大調)；以及在塊464確定和弦變化(例如，歌曲的一部分從Am7變化到Dm7、到Gm7、到C7、到F6，或歌曲從iii7變化到vi7、到ii7、到V7、到I6)。在各種實施方式中，塊454-464的輸出配置成用于在塊490-2產生作為音樂宏元素的輸出。應認識到，根據本發(fā)明，很多其它類型的音樂微元素和音樂宏元素是可能的。進一步地，根據合作所需要的音樂元素的類型，音樂輸入信號可在按很多不同的級別進行解構。例如，臨時鼓聲道可只用于提供節(jié)奏信息。在這種情況下，解構或保留關于音高、音色、音調等的音樂元素可能是對資源的浪費。在另一例子中，聲樂線可用于提供對歌曲的一個樂段中的音高變化的輪廓的一般指示。在這種情況下，解構準確的音高、音符時值等可能不重要；更確切地，僅以近似的音高值和時值來提取音高移動的大致方向可能是更有效的。
應進一步認識到，根據可用的音樂數(shù)據的類型和各種應用需要，可能存在從音樂輸入解構出音樂元素的很多方法。圖5A示出根據本發(fā)明的實施方式的用于解構音頻信號輸入以產生音樂元素的示例性系統(tǒng)的簡化結構圖。如所示，輸入102由音樂解構單元120接收，音樂解構單元120解構輸入102以產生被解構的輸出570。在一些實施方式中，輸入102由音樂解構單元120在音頻接收器單元506接收。在一個實施方式中，樂曲由麥克風或麥克風陣列實時地接收，并轉換成模擬電子輸入102,供音頻接收器單元506接收。在其它實施方式中，輸入102可包括數(shù)字數(shù)據，例如適合于重放的已錄制的音樂文件。如果輸入102是模擬信號，則它可由音頻接收器單元506轉換成數(shù)字表示，以備由信號處理器單元510、音符處理器單元530和樂譜處理器單元550進行數(shù)字信號處理。當輸入102被實時地接收時，可能沒有方法來預先確定輸入102的全長。因此，輸入102可按預定的間隔(例如，消逝時間的量、數(shù)字樣本的數(shù)量、所使用的存儲器的量等)被接收和存儲，并可被相應地處理。在另一實施方式中，已錄制的聲音片斷由音頻接收器506接收并被數(shù)字化，從而具有固定的持續(xù)時間。圖5B提供了音樂解構單元120的一個實施方式的低級結構圖。一個或多個音頻源502可用于產生音樂輸入信號102。音頻源502可為能夠向音頻接收器506提供音樂輸入信號102的任何東西。在一些實施方式中，一個或多個麥克風、轉換器和/或其它傳感器用作音頻源502。麥克風可將來自現(xiàn)場表演演奏(或已錄制的演奏的重放)的壓力或電磁波轉換成電信號，以用作音樂輸入信號102。例如,在現(xiàn)場表演的音頻演奏中，麥克風可用于檢測和轉換來自歌手的音頻，而電磁“拾音器”可用于檢測和轉換來自吉他和貝司的音頻。在其它實施方式中，音頻源502可包括配置成提供音樂輸入信號102或音頻文件的模擬或數(shù)字設備，從音頻文件可讀取音樂輸入信號102。例如，數(shù)字化音頻文件能夠以音頻格式儲存在存儲介質上，并作為音樂輸入信號102由存儲介質提供給音頻接收器506。應認識到，根據音頻源502，音樂輸入信號102可具有不同的特征。音樂輸入信號102可為單音調或復調的，可包括音頻數(shù)據的多個聲道，可包括來自很多類型的樂器的音頻，并可包括某種文件格式，等等。類似地，應認識到，音頻接收器506可為能夠接收音樂輸入信號102的任何東西。進一步地，音頻接收器506可包括一個或多個端口、解碼器、或與音頻源502連接、接收或解釋音樂輸入信號102所必需的其它部件。音頻接收器506可提供額外的功能。在一個實施方式中，音頻接收器506將模擬音樂輸入信號102轉換成數(shù)字音樂輸入信號102。在另一實施方式中，音頻接收器506配置成將音樂輸入信號102下變頻到較低的采樣率，以減小系統(tǒng)500的計算負擔。在一個實施方式中，音樂輸入信號102被下采樣到大約8-9kHz。這可提供音樂輸入信號102的較高的頻率分辨率，并可減小對系統(tǒng)500的設計的某些限制(例如，濾波器規(guī)范)。在又一實施方式中，音頻接收器506包括閾值檢測部件，其配置成在檢測到音頻電平超過某個閾值時開始接收音樂輸入信號102 (例如，開始錄制)。例如，閾值檢測部件可在規(guī)定的一段時間內分析音頻，以檢測音樂輸入信號102的振幅是否在某個預定量的時間內保持在預定閾值之上。閾值檢測部件可進一步配置成當音樂輸入信號102的振幅在預定量的時間內落在預定閾值之下時停止接收音樂輸入信號102 (例如，停止錄制)。在又一實施方式中，閾值檢測部件可用于為系統(tǒng)500產生標志,其表不音樂輸入信號102的振幅在一定量的時間內超過閾值或落在閾值之下的條件，而不是實際上開始或終止對音樂輸入信號 102的接收。根據圖5B，音頻接收器506將音樂輸入信號102傳送到包括振幅提取單元512和頻率提取單元514的信號處理器單元510。振幅提取單元512配置成從音樂輸入信號102提取與振幅有關的信息。頻率提取單元514配置成從音樂輸入信號102提取與頻率有關的信息。在一個實施方式中，頻率提取單元514使用變換算法將信號從時域變換到頻域。例如，當在時域中時，音樂輸入信號102可被表示為振幅隨著時間的變化。然而，在應用快速傅立葉(FFT)算法之后，同一音樂輸入信號102可被表示為其每個頻率分量的振幅的曲線(例如，在頻率范圍內的每個頻帶的相對強度或組成，如泛音系列一樣，信號將在該泛音系列上被處理)。對于處理效率，可能希望將該算法限制到某個頻率范圍。例如，頻率范圍可只覆蓋可聽聲譜(例如，大約20Hz到20kHz)。在不同實施方式中，信號處理器單元510可用其它方式提取與頻率有關的信息。例如，很多變換算法以固定寬度的線性頻率“存儲段(bucket)”輸出信號。這可限制變換的可能頻率分辨率或有效性，特別是考慮到，音頻信號在本質上內在地可以是對數(shù)的(而不是線性的)。用于從音樂輸入信號102提取與頻率有關的信息的很多算法在本領域中是已知的。振幅提取單元512所提取的與振幅有關的信息和頻率提取單元514所提取的與頻率有關的信息可接著由音符處理單元530的不同部件使用。在一些實施方式中，音符處理單元530包括音符開始檢測器單元532、音符時值檢測器單元534、音高檢測器單元536、休止符檢測器單元544、包絡檢測器單元538、音色檢測器單元540和音符力度強弱檢測器單元542中的全部或一些。音符開始檢測器單元532配置成檢測音符的開始。音符的開始(或起始)一般在樂曲中表現(xiàn)為音高的變化(例如圓滑奏)、振幅的變化(例如包絡的附加部分)或音高和振幅的變化的一些組合。因此，音符開始檢測器單元532可配置成每當有頻率(或音高)和/或振幅的某種類型的變化時產生音符開始事件。音樂音符也可以其時值(例如，音符以秒或樣本的數(shù)量為單位持續(xù)的時間的量)為特征。在一些實施方式中，音符處理單元530包括音符時值檢測器單元534，其配置成檢測音符開始事件所標記的音符的時值。值得注意的是，樂曲的某些特征是心理聲學的，而不純粹地是信號的物理屬性。例如，頻率是信號的物理特性(例如，表示正弦波每秒所傳播的周期數(shù))，但音高是更復雜的心理聲學現(xiàn)象。一個原因是樂器所演奏的單個音高的音符通常由很多頻率組成，每個頻率振幅不同，被稱為音色。大腦可檢測那些頻率之一(例如，一般是基頻)作為“音高”，而其它頻率僅是感測到給音符添加了 “和聲色彩”。在一些情況下，聽者所感受到的音符的音高可能為信號最缺乏或完全缺乏的頻率。在一些實施方式中，音符處理單元530包括音高檢測器單元536，其配置成檢測由音符開始事件標記的音符的音高。在其它實施方式中，音高檢測器單元536配置成跟蹤音樂輸入信號102的音高，而不是(或除了)跟蹤個別音符的音高。應認識到，音高檢測器單元536在一些情況下可由音符開始檢測單元532使用，以確定音樂輸入信號102的超過閾值的音高的變化。 音符處理單元530的一些實施方式包括配置成檢測音樂輸入信號102內休止符的存在的休止符檢測器單元544。休止符檢測器單元544的一個實施方式使用振幅提取單元512所提取的與振幅有關的信息和音高檢測器單元536所得到的置信度信息。例如，與振幅有關的信息可揭不音樂輸入信號102的振幅在某個時間窗內相對低(例如，在本底噪聲處或附近)。在相同的時間窗內，音高檢測器單元536可確定特定音高的存在的非常低的置信度。使用這個和其它信息，休止符檢測器單元544檢測休止符的存在以及休止符可能開始的時間位置。在一些實施方式中，音符處理單元530包括音色檢測器單元540。振幅提取單元512所提取的與振幅有關的彳目息和頻率提取單兀514所提取的與頻率有關的彳目息可由首色檢測器單元540使用，來對音樂輸入信號102的一部分檢測音色信息。音色信息可揭示音頻信號102的該部分的諧波成分。在一些實施方式中，音色檢測器單元540可檢測關于在音符開始事件處開始的特定音符的音色信息。在音色檢測器單元540的一個實施方式中，與振幅有關的信息和與頻率有關的信息與高斯濾波器卷積，以產生濾波的頻譜。濾波的頻譜可接著用于產生在音高檢測器單元536所檢測到的音高周圍的包絡。該包絡可相應于在該音高處的音符的音色。在一些實施方式中，音符處理單元530包括包絡檢測器單元538。振幅提取單元512所提取的與振幅有關的信息可由包絡檢測器單元538使用，來對音樂輸入信號102的一部分檢測包絡信息。例如，擊鋼琴上的鍵可使音槌擊打一組弦，導致具有大起奏振幅的音頻信號。該振幅經歷快速衰減，直到它在弦共振的地方維持在稍微穩(wěn)態(tài)的振幅(當然，當弦中的能量耗盡時，振幅可在包絡的該部分上緩慢地減小)。最后，當鋼琴鍵被釋放時，制音器落在弦上，使振幅快速下降到零。這種類型的包絡一般稱為ADSR(起奏、衰減、維持、釋放)包絡。包絡檢測器單元538可配置成檢測ADSR包絡的一些或所有部分，或任何其它類型的有用包絡信息。在不同實施方式中，音符處理單元530還包括音符力度強弱檢測器單元542。在某些實施方式中，對于在某些音符開始事件處開始的特定音符，音符力度強弱檢測器單元542提供與包絡檢測器單元538類似的功能。在其它實施方式中，音符力度強弱檢測器單元542配置成檢測相對于被包絡檢測器單元538檢測到的包絡模式是異常的或符合某種預定的模式的音符包絡。例如，斷奏音符可以以急劇的起奏和其ADSR包絡的短持續(xù)部分為特征。在另一例子中，重音音符可以明顯大于周圍音符的起奏振幅的起奏振幅為特征。應認識到，音符力度強弱檢測器單元542和其它音符處理單元可用于識別音符的多個其它屬性，這些屬性可被描述為被解構的輸出570的部分。例如，音符可被標記為圓滑奏、重音、斷奏、裝飾音符等。根據本發(fā)明可提取很多其它音符特征。與多個音符或音符開始事件(包括休止符)有關的信息可用于產生其它信息。根據圖5B的實施方式，音符處理單元530的不同部件可與樂譜處理單元550的不同部件操作性地通信。樂譜處理單元550可包括拍速檢測單元552、節(jié)拍檢測單元554、音調檢測單元556、樂器識別單元558、聲道檢測單元562和全局力度強弱檢測單元564中的全部或一些。在一些實施方式中，樂譜處理單元550包括拍速檢測單元552，其配置成在一時間窗內檢測音樂輸入信號102的拍速。一般，一首樂曲的拍速(例如，樂曲似乎在心理聲學上傳遞的速度)可部分地由音符和休止符的存在和時值影響。因此，拍速檢測單元552的某 些實施方式使用來自音符開始檢測器單元532、音符時值檢測器單元534和休止符檢測器單元544的信息來確定拍速。拍速檢測單元552的其它實施方式進一步使用所確定的拍速來給音符和休止符分配音符值(例如，四分音符、八分音符等)。節(jié)拍指示在音樂的每個小節(jié)中有多少拍，以及哪個音符值被認為是單拍。例如，4/4的節(jié)拍表示每個小節(jié)有四拍(分子)，以及單拍由四分音符(分母)表示。由于這個原因，節(jié)拍可幫助確定音符和小節(jié)線位置，以及提供有用的解構輸出570可能需要的其它信息。在一些實施方式中，樂譜處理單元550包括配置成檢測音樂輸入信號102的節(jié)拍的節(jié)拍檢測單元554。在一些實施方式中，從拍速信息和拍速檢測單元552所提取的音符值并從其它信息(例如，音符力度強弱檢測器單元542所提取的音符力度強弱信息)推斷簡單的節(jié)拍。然而，通常，確定節(jié)拍是涉及復雜的模式識別的復雜任務。例如，假定音符值的下列序列從音樂輸入信號102被提取四分音符、四分音符、八分音符、八分音符、八分音符、八分音符。此簡單的序列可被表示為4/4的一個小節(jié)、2/4的兩個小節(jié)、1/4的四個小節(jié)、8/8的一個小節(jié)或很多其它節(jié)拍。假定在第一個四分音符和第一個八分音符上有重音(例如，增加的起奏振幅)，這可使序列更可能為2/4的兩個小節(jié)、4/8的兩個小節(jié)或4/4的一個小節(jié)。進一步地，假定4/8是非常罕見的節(jié)拍，則可足以消除此猜測。更進一步地，若知道音樂輸入信號102的風格是民謠，則最可能的候選節(jié)拍更可能是 4/4。上面的例子示出涉及即使是非常簡單的音符值序列的復雜性。很多音符序列復雜得多，涉及不同值的很多音符、跨越多個小節(jié)的音符、附點音符和裝飾音符、切分音以及在解釋節(jié)拍中的其它困難。由于這個原因，傳統(tǒng)計算算法可能難于準確地確定節(jié)拍。因此，節(jié)拍檢測單元554的不同實施方式使用被培訓來檢測那些復雜模式的人工神經網絡(ANN) 560。通過給ANN560可提供不同節(jié)拍的很多樣本和針對每個樣本改進的代價函數(shù)來培訓ANN560。在一些實施方式中，使用學習范式來培訓ANN560。學習范式可包括例如有監(jiān)督的學習、沒有監(jiān)督的學習或強化學習算法。應認識到，通過使用拍速和節(jié)拍信息中的任一個或兩個可產生很多有用類型的信息，以用作音樂元素或解構的輸出570。例如，這些信息可允許確定在哪里將音符分為小節(jié)(例如，作為八分音符組)，而不是使用符尾單獨地指定音符；何時將一音符分在兩個小節(jié)中，并將其用連接線連起來；或何時將音符組指定為三連音符(或高階組)、裝飾音符、顫音或波音、滑音等。在產生音樂元素或解構的輸出570中可能有用的另一組信息涉及音樂輸入信號102的一部分的音調。音調信息可包括例如被識別的根音高和相關調式。例如，“A小調”表示音調的根音高是“A”，而調式是小調。每個音調以調號為特征，調號標識“在音調中”(例如，與音調關聯(lián)的全音階的部分)和“在音調外”(例如，在音調的范式中的臨時記號)的音符?！癆小調”例如不包含升號或降號，而“D大調”包含兩個升號且不包含降號。在一些實施方式中，樂譜處理單元550包括配置成檢測音樂輸入信號102的音調的音調檢測單元556。音調檢測單元556的一些實施方式基于將音高序列與一組代價函數(shù)進行比較來確定音調。代價函數(shù)可例如試圖最小化一首樂曲在特定的時間窗內的臨時記號 音調確定。在又一些其它實施方式中，可對照代價函數(shù)來評估音調變化的序列，以改進音調確定。在另一些其它實施方式中，音調檢測單元556所得到的音調信息可用于給音符(或音符開始事件)賦予特定的音調音高標志。例如，F(xiàn)大調中的“B”可被指定為“B-本位音”。當然，音調信息可用于產生調號或樂譜表示的其它信息。在一些實施方式中，音調信息可進一步用于產生和弦或其它和聲信息。例如，以弦線樂譜的格式可產生吉他和弦，或可提供爵士和弦。在其它實施方式中，樂譜處理單元550還包括配置成識別正演奏音樂輸入信號102的樂器的樂器識別單元558。樂器常常被認為具有特定的音色。然而，根據被演奏的音符或音符被演奏的方式，在單個樂器上可能有音色的差異。例如，根據例如在其構造中使用的材料、演奏者的觸摸、被演奏的音符(例如，在開弦上演奏的音符具有與在用手指彈奏的弦上演奏的相同音符不同的音色，以及在小提琴音區(qū)下部的音符具有與上部音區(qū)中的音符不同的音色)、音符是用弓拉的還是彈撥的等，每個小提琴的音色不同。然而，在小提琴音符之間仍然可能有足夠的類似，以將其識別為小提琴，而不是另一樂器。樂器識別單元558的實施方式配置成比較單個或多個音符的特征，以確定明顯由音樂輸入信號102的樂器演奏的音高的音域、由該樂器在那些音高的每個音高處產生的音色、和/或在該樂器上演奏的音符的振幅包絡。在一個實施方式中，音色差異被用于通過將樂器的一般音色符號樣本與來自音樂輸入信號102的檢測到的音色進行比較，以檢測不同的樂器。例如，即使以相同音量演奏相同時值的相同音符時，薩克斯和鋼琴由于其不同的音色也可能發(fā)出非常不同的聲音。當然，如上所述，只基于音色的識別的準確性可能是有限的。在另一實施方式中，音高音域用于檢測不同的樂器。例如，大提琴一般可演奏范圍從中央C音之下的大約兩個八度到中央C音之上的大約一個八度的音符。然而，小提琴一般可演奏范圍從恰好在中央C音之下到中央C音之上的大約四個八度的音符。因此，即使小提琴和大提琴可具有相似的音色(它們都是拉奏弦樂器)，其音高音域可充分不同以用于識別。當然，假定音域在某種程度上確實交疊，存在誤差是可能的。進一步地，其它樂器(例如鋼琴)具有可與很多樂器交疊的較大音域。
在又一實施方式中，包絡檢測用于識別不同的樂器。例如，在槌打樂器(例如鋼琴)上演奏的音符的發(fā)聲可能不同于在木管樂器(例如長笛)、簧樂器(例如雙簧管)、銅管樂器(例如小號)或弦樂器(例如小提琴)上演奏的音符。然而，每種樂器能夠產生很多不同類型的包絡，取決于音符如何被演奏。例如，小提琴可被彈撥或拉奏，或音符可被連奏或斷奏。至少由于上面提到的困難，準確的樂器識別可能需要檢測復雜的模式，包括可能在多個音符上的音樂輸入信號102的多個特征。因此，樂器識別單兀558的一些實施方式利用被培訓來檢測這些復雜模式的組合的人工神經網絡560。樂譜處理單元550的一些實施方式包括配置成識別來自音樂輸入信號102內的音頻聲道的聲道檢測單元562。在一些情況下，音樂輸入信號102可以為已經被聲道分離的格式。例如，在某些數(shù)字音頻磁帶(DAT)上的音頻可被儲存為8個分離的數(shù)字音頻聲道。在這些情況下，聲道檢測單元562可配置成僅僅識別這些分立的音頻聲道。
然而在其它情況下，多個聲道可儲存在單個音樂輸入信號102中，且需要通過從音樂輸入信號提取某些數(shù)據來進行識別。因此，聲道檢測單元562的一些實施方式配置成使用從音樂輸入信號102提取的信息來識別分開的音頻聲道。例如，演奏可包括同時演奏的5種樂器(例如爵士五重奏)?？赡芟Ｍ麑⒛切┓珠_的樂器識別為分開的聲道。聲道檢測可用很多不同的方式完成。在一個實施方式中，聲道檢測單元562使用音高檢測來確定是否不同的音符序列表現(xiàn)為被限制到某些音高音域。在另一實施方式中，聲道檢測單元562使用來自樂器識別單元558的樂器識別信息來確定不同的聲道。很多樂譜也包含關于樂曲或演奏的全局力度強弱的信息。與上述音符力度強弱不同，全局力度強弱指跨越多個音符的力度強弱。例如，整個曲子或曲子的一部分可被標記為強的(高聲)或弱的(輕柔)。在另一例子中，音符的序列可在聲音漸強中逐漸增大。為了產生這種類型的信息，樂譜處理單元550的一些實施方式包括全局力度強弱檢測單元564。全局力度強弱檢測單元564的實施方式使用振幅信息，在一些情況下包括音符力度強弱信息和/或包絡信息，以檢測全局力度強弱。在某些實施方式中，從音樂輸入信號102預先確定或適應性地產生閾值，以幫助力度強弱確定。例如，搖滾演奏的平均音量可被認為是強的。超過該平均值某個數(shù)量(例如，閾值、標準偏差等)的振幅可被認為是極強的，而落在該平均值之下某個數(shù)量的振幅可被認為是弱的。某些實施方式可進一步考慮力度強弱變化出現(xiàn)的時值。例如，以兩分鐘的平靜音符開始并隨后轉換到兩分鐘的較大聲的音符段的部分可被認為弱音段后跟隨有強音段。另一方面，在幾個音符的過程中增加、對幾個更多的音符保持在該較高的音量并接著返回到原始振幅的平靜段，可被認為漸強段跟隨有漸弱段?？僧a生上面描述的所有不同類型的信息以及任何其它有用的信息，以用作音樂元素或解構的輸出570。除了參考系統(tǒng)的各種部件描述的音樂元素或解構的輸出570以外，任何數(shù)量的其它音樂元素或解構的輸出570也可從相同的或其它信息產生。在一個例子中，例如，音符被確定為斷奏附點八分音符。其它音樂元素570可包括音符主體、符干、符尾、時值附點、斷奏附點和音符的其它特征。其它音樂元素570甚至也可包括在顯示器上的或打印出的音符表示的風格和顏色、符干的方向(例如，該方向可以是默認的，或根據其在五線譜上的位置來指示其反向，或它可被改變以指明音符是特定音符序列的部分)、音符主體的大小(例如，它可為了易讀性按大小排列，以將它與其它音符區(qū)分開，或為了某個其它原因)、音符符頭的形狀(例如，對于擊發(fā)聲，它可為不同的形狀)、或任何其它有用的信息。在其它例子中，音樂元素或解構的輸出570可包括五線譜線、譜號、小節(jié)號、歌詞、歌詞對齊、頁標題、五線譜標題、頁邊空白、樂器數(shù)據、重放數(shù)據等。在又一些其它實施方式中，音樂元素或解構的輸出570可包括關于是哪個合作者增加或編輯了一文件的一部分、其他合作者是贊成還是反對該編輯的信息、或其它有用的合作信息。音樂元素或解構的輸出570可被保存或輸出。應認識到，上面描述的各種單元和部件可用各種方法實現(xiàn)，而不偏離本發(fā)明。例如，某些單元可為其它單元的部件，或可實現(xiàn)為另一單元的額外功能。進一步地，根據本發(fā)明，可用很多方法連接單元，且數(shù)據可在其間以很多方式流動。更進一步地，在2008年2月I日提交的Robert D. Taub等人的標題為“MUSIC TRANSCRIPTION”的美國申請?zhí)?2/024，981中進一步描述了的涉及音頻解構的各種實施方式，該專利申請為了所有目的在這里通過引用被并入。 樂譜解構除了或代替從音頻信號解構出音樂元素，從樂譜圖像解構出音樂元素在一些情況下可能是合乎需要的。本發(fā)明的實施方式配置成接受樂譜圖像作為輸入。應認識到，從樂譜圖像解構出音樂元素或執(zhí)行樂譜解構的很多方法是可能的。圖6A示出根據本發(fā)明處理音樂圖像數(shù)據以提供光學字符識別(OCR)特征的系統(tǒng)。OCR處理器602接收使用樂譜捕獲設備606例如攝像機或掃描儀捕獲的樂譜604的圖像數(shù)據。OCR處理器602產生包括相應于樂譜輸入的數(shù)據的樂譜輸出，但是是以可被多樣化地利用的數(shù)字形式。樂譜的數(shù)字表示可容易由其它系統(tǒng)處理，包括但不限于，打印出的輸出，供搜索機構使用，用于分配和與多個用戶合作，并用于例如使用MIDI部件產生音頻輸出。例如，圖6A示出樂譜可被提供到打印功能608、搜索功能610、分配功能612和音頻/MIDI輸出 614。所捕獲的樂譜圖像可使用任何圖像捕獲設備產生，包括網絡攝像頭、電話攝像機、對準即拍攝像機以及其它的和更復雜的攝像機。一旦樂譜的圖像被捕獲，它就被提供給OCR處理器用于調節(jié)和額外的處理。圖6B示出從捕獲設備606 (圖6A)產生的、作為輸入提供到OCR處理器602的示例性圖像數(shù)據652。圖6B示出，OCR處理器602包括接收圖像數(shù)據的圖像預處理部件654。圖像數(shù)據可以為例如位像(.bmp) ,JPEG數(shù)據、TIFF數(shù)據的形式和數(shù)碼攝像機通常使用的其它文件格式等。圖像處理部件執(zhí)行二值化、圖像的傾斜校正以及不相關的背景成分的移除。二值化操作涉及對所捕獲的圖像中的亮度和對比度的調節(jié)。傾斜校正操作涉及圖像的校正，這些圖像從一方向旋轉，將音樂五線譜線對齊為平行于圖像的底部邊緣。不相關的背景成分移除通過移除噪聲偽像和其它不需要的背景成分來清理圖像。如果需要，預處理操作可由外部圖像處理例程或模塊執(zhí)行。預處理部件654向神經網絡(NN)處理部件656提供所產生的數(shù)據。NN處理部件656識別在所捕獲的圖像中的音樂符號，并執(zhí)行對光學圖像的認知處理。也就是說，神經網絡執(zhí)行識別在所捕獲的音樂圖像中的音樂符號的計算機過程，且在必要的場合認知地解譯識別出的符號并從輸入數(shù)據推斷，以確定在所捕獲的圖像中的偽像或符號的適當標記。NN處理部件656包括被培訓的神經網絡，其接收經調節(jié)的樂譜圖像。如果需要，被培訓的神經網絡可利用其輸出來提供反饋并調節(jié)其操作。這樣的反饋可能需要因子圖操作，以利用反向傳播技術或調節(jié)已被培訓的神經網絡的網絡節(jié)點權重。使用輸出作為反饋的其它技術對本領域技術人員是已知的。NN處理部件656的輸出被提供到產生NN的輸出的后處理部件658。后處理部件的輸出可接著被提供到各種功能，例如圖6A所示的打印、搜索、分配和音頻功能。后處理部件對NN輸出執(zhí)行解譯功能，以確定NN所識別的哪些偽像類型可能是正確的。由后處理部件658所進行的解譯是基于NN所產生的置信度值。本領域技術人員應熟悉對NN置信度值輸出數(shù)據的解譯技術。后處理接著產生以適當格式的OCR處理器輸出，例如音樂音符信息或相應于識別出的音樂偽像的其它信息。例如，音樂信息可采取電子樂器表示的形式，例如MIDI格式、或其它數(shù)據格式、或信息的其它組合。應認識到，上面描述的各種單元和部件可用各種方法實現(xiàn)，而不偏離本發(fā)明。例 如，某些單元可為其它單元的部件，或可實現(xiàn)為另一單元的額外功能。進一步地，根據本發(fā)明，可用很多方法連接單元，且數(shù)據可在其間以很多方式流動。更進一步地，在2008年2月13日提交的Robert D. Taub等人的標題為“MUSIC SCORE DECONSTRUCTION”的美國臨時申請?zhí)?1/028，490中進一步描述了的涉及樂譜分解的各種實施方式，該專利申請為了所有目的在這里通過引用被并入。在2005年12月15日提交的Robert D. Taub的標題為“SYSTEM AND METHOD FOR MUSIC SCORE CAPTURE AND SYNCHRONIZED AUDIO PERFORMANCEWITH SYNCHRONIZED PRESENTATION”的美國專利申請第11/303，812號中可找到樂譜捕獲技術的其它方面，該專利申請為了所有目的在這里通過引用被并入。合作門戶本發(fā)明的很多方面涉及合作門戶的功能和/或構成。在一些實施方式中，合作門戶可實現(xiàn)為圖I的門戶160。合作門戶的各種實施方式可提供關于文件管理、音樂觀看、音樂編輯、虛擬會議、會話記錄和合作音樂處理的其它方面的功能。應認識到，就圖形用戶界面(GUI)設計和實現(xiàn)、合作門戶所允許的用戶互動的水平、GUI控制的類型、模塊和部件之間的功能交叉和依賴性、網絡設計和接口、文件管理和合作門戶的其它方面而言，可存在很多可能性。因此，下面的描述僅用來說明本發(fā)明的一些示例性實施方式，且本領域技術人員應認識到，本發(fā)明的范圍不受所公開的特定實施方式的限制。圖7示出根據本發(fā)明的可包括在合作門戶700中的實施方式中的各種模塊的一個示例性配置。在一些實施方式中，合作門戶700包括三個主要的層登錄層702、⑶I層710和輸出產生層790。應認識到，分成三層僅用來使合作門戶700的各種功能的討論清楚，并且可以或可以不影響合作門戶700的實際實現(xiàn)。登錄層702可操作來控制合作門戶700的各個meta-GUI方面。登錄層702的一些實施方式實現(xiàn)為圖I的網絡接口單元150。在一些實施方式中，登錄層702可操作來控制網絡路由和權限。由于各種原因，保護或管理⑶I或合作項目元素可能是合乎需要的。例如，比如說，服務器為很多不同的合作者存儲關于很多不同合作項目的數(shù)據。合作者可能希望限制對其合作文件的訪問，例如以保護數(shù)據免遭不希望有的編輯或刪除，保護數(shù)據免遭不希望有的觀看或復制，查看誰正在使用文件以及它們何時被使用，以及為了其它原因。
在一些實施方式中，登錄層702可操作來接收登錄信息，使用該登錄信息可確定用戶訪問權限。用戶可以被或可以不被限制訪問整個合作門戶700(例如，合作門戶700可作為訂閱服務操作)、合作門戶700的某些部分(例如，可能有允許訪問不同價格的不同功能的分層定價結構，不同級別的用戶可訪問不同的功能，不同類型的合作項目可與不同類型的功能相關，等等)、某些文件(例如，用戶只可訪問與給定合作項目相關的文件，用戶只可訪問該用戶上載或投稿的文件，用戶對項目中的不同文件可以有不同類型的訪問(例如，讀、寫、編輯、刪除、評論等)，等等)、或其它信息(例如，合作者信息、某些文件管理功能、某些公布和/或共享功能等)。在其它實施方式中，登錄層702可操作來接收登錄或其它信息以確定用戶的特征，而不是訪問權限。例如，某個配置或偏好信息可能與給定的用戶、用戶工作站、用戶類別等相關。例如，對于給定的合作項目，一組用戶可為該合作項目的“所有者”(例如，有對相關文件的所有方面的完全權限)，第二組用戶可為“合作者”(例如，有對某些合作和編輯能 力的使用權)，第三組用戶可為“投稿人”(例如，只有對他們投稿的文件的編輯權)，第四組用戶可為“愛好者”(例如，沒有對任何文件的編輯權，但有權聽被公布的輸出文件)，以及第五組用戶可能根本沒有使用權。在另一實施方式中，登錄信息用于配置合作門戶700的偏好，以匹配關于用戶的配置文件。例如，可給新用戶和專家用戶提供不同的特征組和菜單。在又一些其它實施方式中，登錄層702可操作來接收登錄信息或關于某些用戶的能力或偏好的其它信息，包括沒有權訪問特定合作項目的那些用戶。在一個實施方式中，用戶向門戶提交關于他們知道如何演奏哪些樂器、其技能水平、其影響力等的信息。這可幫助樂隊和其他人找到要聯(lián)系來接收音樂稿件或某些類型的反饋的人。在另一實施方式中，用戶向門戶提交關于其收聽偏好的信息。樂隊、制作人、其他用戶以及其他人和實體可接著使用該信息來向那些用戶指示或建議可能合意的內容，以滿足其偏好。在又一些其它實施方式中，登錄層702可控制各種網絡業(yè)務和/或文件管理功能。例如，根據各種網絡特征(例如，用戶工作站的地理位置、登錄到合作門戶700或特定合作項目中的用戶的數(shù)量、在給定時間傳輸?shù)臄?shù)據的量、被傳輸?shù)臄?shù)據的類型、所使用的加密的類型等)發(fā)送或控制網絡業(yè)務和/或文件上載和下載的流量可能是合乎需要的。在某些實施方式中，登錄層702可操作來收集某些類型的網絡信息，并使用該信息來執(zhí)行上面的功倉泛。在合作門戶700的一個示例性使用中，用戶可發(fā)起一合作項目。用戶可通過建立關于該項目的偏好來開始。例如，用戶可設定訪問權限、文件處理偏好、音樂創(chuàng)作偏好、樂譜表示權限等。用戶也可上載至少一個音樂稿件，以開始合作項目的創(chuàng)作。在合作門戶700的另一示例性使用中，用戶可登錄到合作門戶700中以訪問現(xiàn)有的合作項目。用戶可接著將額外的音樂稿件上載到該項目，編輯關于合作項目的現(xiàn)有信息，或以其他方式與合作項目交互。GUI層710可操作來根據本發(fā)明的實施方式控制各種用戶界面功能。完全為了描述的清楚，GUI層710的一些功能可關于兩個子層被描述樂譜層720和合作層730。應認識到，合作門戶700的實施方式可以或可以不使用這些層來實現(xiàn)。如這里描述的樂譜層720可處理合作門戶700的與音樂有關的方面中的任何一個或全部，這些方面包括觀看722、編輯724、錄制和重放726以及制作728功能。這些不同功能中的任何一個或全部可用很多不同的方法處理音頻和有關數(shù)據。例如，用戶可在信號級、在樂譜表示級或以任何其它形式與音頻數(shù)據交互。進一步地，取決于所使用的數(shù)據表示的類型，用戶可能能夠或可能不能夠利用各種功能。例如，可能希望只在合作門戶700的樂譜表不模式中提供音符編輯能力，而只可在合作門戶700的信號表不模式中提供信號處理功倉泛。當然，合作門戶700也可操作來在多個表示模式中同時操作。在一些實施方式中，觀看功能722可操作來提供如圖8A和8B所示的多個視圖。圖8A示出觀看功能722的例證性實施方式，其包括一合作項目的一部分的三個對齊的視圖。圖8B示出圖8A所示的觀看功能722的放大視圖的例證性實施方式，集中于一特定的音符。首先轉到圖8A,其示出樂譜表示視圖810、信號表示視圖820和鋼琴卷簾表示視圖830。可對齊這些視圖的時間標尺。在一些實施方式中，不同的視圖可操作來隨著重放或錄制的進行而滾動。在某些實施方式中，當重放或錄制進行時，某些元素可保持在適當?shù)奈恢?，以增強觀看體驗。例如，當視圖滾動時，當前重放位置條812可保持在觀看窗的一個位 置(例如，中央)上，以表示當前正播放或接收什么數(shù)據。在另一例子中，當視圖滾動時，譜號、調號、聲道標題、節(jié)拍和其它元素可保持在觀看窗的一個位置(例如，左邊)上。樂譜表示視圖810可提供關于樂譜(例如，活頁樂譜)元素的信息，包括音符、五線譜、小節(jié)號、歌詞、調號等。在樂譜表示視圖810中提供關于所顯示的(或可顯示的)音樂元素中的任何一個或全部的某些編輯能力可能是合乎需要的。例如，可添加、刪除或移動音符；音符的部分可被變調、數(shù)字轉換(例如，到最接近的八分音符)等；可轉換符干方向；可添加或更改表達標記(例如，斷奏附點、圓滑奏、重音等)；可更改譜號、調號、拍號和其它信息，可添加、更改、排列歌詞，等等；可添加反復符號、小節(jié)線和其它小節(jié)處理；等等。信號表示視圖820可提供關于一個或多個音頻信號的信息，包括振幅、包絡等。在信號表示視圖820中提供關于所顯示的(或可顯示的)音樂元素中的任何一個或全部元素的某些編輯能力可能是合乎需要的。例如，可清理信號(例如，通過使用濾波器、或通過比較該信號與其它信號數(shù)據)；可產生包絡；可解構出音符開始和其它音樂元素信息(例如，以不同的分辨率或使用來自其它音樂稿件的更多信息進行解構)；可對信號進行標準化(例如，以避免多個音樂稿件之間的平均或峰值音量中的差異，或避免削波)；可對某些部分進行重新采樣(例如，以不同的采樣率)；可添加諧波效應(例如，失真、濾波、混響等)；可添加包絡和有關的效果(例如，搖攝、漸強、減弱等)；可剪切、復制或粘貼信號的部分等；
坐坐寸寸o鋼琴卷簾表示視圖830可提供與在樂譜表示視圖810中所提供的類似或不同的信息，但由于各種原因，可被不同地表示。例如，用戶可能不理解如何閱讀活頁樂譜，這使樂譜表示視圖810對該用戶可能是不合需要的表示方案。在另一例子中，用戶可能希望微移音符，以細微地影響該音符的表現(xiàn)性重放，但不夠影響該音符在樂譜上的位置。如所示，鋼琴卷簾表示視圖830示出與鋼琴鍵盤有關的音符音高和音符時值隨著時間的過去的條線圖式表示。也可提供其它信息，例如包括小節(jié)線。應認識到，可提供很多其它觀看功能。在一個實施方式中，每個視圖顯示在可選擇的窗口中，該窗口可與其它窗口中的一些或全部對齊(如所示)或可被獨立地顯示(例如，可被最大化到顯示器的較大部分)。在各種實施方式中，可提供用于增強用戶界面體驗的菜單和控制。例如，可提供可點擊的圖標，以允許用戶執(zhí)行與特定的表示有關的各種功能(例如，在樂譜表示視圖810中，可提供“添加音符”圖標)。在另一實施方式中，控制可根據當前活動的表示或用戶的其它動作而變化。例如，如果用戶在信號表示視圖820中選擇音頻信號的一部分(例如，通過使用鼠標點擊和拖曳)，“對選擇提取音符開始”圖標可能出現(xiàn)(或變成可選擇的)。在又一些其它實施方式中，當用戶在不同的表示視圖中左擊、右擊、雙擊或以其它方式選擇音符或其它音樂元素時，可給提供用戶不同的菜單和選項。在一些實施方式中，可提供放大功能。例如，放大信號表示視圖820以能夠更清楚地看到音頻信號的方面可能是合乎需要的。當多個窗對齊地顯示時，這些窗都可一起縮放，以維持對齊。用戶可能能夠例如通過選擇縮放窗(例如，信號表示視圖820中的信號的一部分)或通過選擇特定的音樂元素來縮放。在各種實施方式中，“放大”視圖可提供額外的信息，且可以或可以不處在分開的窗或框中。例如，通過選擇特定的音符，可給用戶提供對該音符特定的額外視圖。圖SB示出這種情況的實施方式。用戶在圖8A的樂譜表示視圖810中選擇音符814。給用戶提供了三 個新的表示視圖音符包絡視圖840、音符音色視圖850和音符信息視圖860。在音符包絡視圖840中，可提供音頻信號的關于該音符的部分。也可提供其它信息，包括所得出的包絡、包絡交叉等。在音符音色視圖850中，可提供音頻信號的關于該音符的部分的諧波成分。也可提供其它信息，包括所識別出的具有高置信度的頻率、置信度值、峰值位置和振幅、基頻標識、泛音系列、疊加的樂器音色圖(例如，模擬的大鋼琴的諧波成分)、本底噪聲閾值等。在音符信息視圖860中，可提供關于選定音符的各種類型的文本信息。例如，可提供關于下列內容的信息音符的表示音樂位置(例如，聲道、五線譜、小節(jié)、開始時間戳、終止時間戳、時值等)；所提取的信息(例如，所提取的音符開始和音符終止時間、峰值振幅、ADSR包絡信息等)；量化的或以其他方式校準的信息(例如，四舍五入的開始和終止時間、預測的音符值、預測的音高、預測的音調、預測的樂器或聲道等)；關于各種信息的置信度值(例如，只可能以96%的置信度確定音符是四分音符等)；等等。返回到圖7，合作門戶700的樂譜層720的其它功能涉及編輯功能724。編輯功能724可涉及音樂稿件的信號級、音樂稿件的音樂元素、多個音樂稿件中的或作為整體的合作項目的共享元素或特征、或合作項目的任何其它有用的方面。在一些實施方式中，編輯功能724直接影響合作項目的音樂元素(例如，音符、拍速、力度強弱等)。在其它實施方式中，編輯功能724影響音樂元素的重放(例如，通過表現(xiàn)的細微之處、效果、樂器等)。在又一些其它實施方式中，編輯功能724影響音樂元素的顯示(例如，“擺動的”八分音符可被顯示為八分音符，即使它使用切分音來演奏)。編輯功能724的一些方面涉及音頻和樂譜解構。上面更充分地討論了音頻和樂譜解構的實施方式。在合作門戶700的一些實施方式中，在不同的解構級別接收音樂稿件。根本沒有解構的音樂稿件可以在它們被上載到合作門戶700或添加到合作項目時被解構。在一些情況下，音樂稿件(或其部分)可在沒有任何解構的情況下添加到合作項目。在某些實施方式中，以前沒有被解構(或以前在特定的級別被解構)的音樂稿件可以在需要時被解構。例如，低音線可添加到合作項目以對一構想進行試驗，并可保持為音頻錄制，而沒有解構成音樂元素。稍后，合作者可能希望進一步對低音線的組成部分進行試驗。因此，他們可能希望解構出節(jié)奏(例如，以將另一聲道重新調準到該低音線的節(jié)奏或改變拍速)，解構出音符音高或音程(例如，這樣，此選擇可能被變調到不同的音調，或可改變
cf-m \ 坐坐/，寸寸 O應認識到，雖然可在信號級執(zhí)行某些功能，但是，音樂元素級可提供更多或改進的功能。例如，在沒有首先在音符級提取某些音樂元素的情況下從信號確定音調或節(jié)拍可能不實際。在另一例子中，可能在信號級減慢樂段的拍速(例如，通過將樣本智能地插到數(shù)字音頻信號中)，但可能增加不希望有的偽像(例如，可能有混疊，或某些類型的失真或混響可能在時間延長時聽起來很奇怪)。通過在解構音樂元素之后改變拍速可改進結果(例如，音符效果可保持聯(lián)系到一音符，而不影響效果本身)，合作門戶700的樂譜層720的其它功能涉及錄制和重放功能726。一些實施方式提供非合作式音樂創(chuàng)作和處理環(huán)境所提供的傳統(tǒng)類型的錄制和音頻重放功能726。然而，其它實施方式利用合作門戶700的合作性質來提供額外的功能。 在各種實施方式中，音樂稿件可用各種方式添加到一合作項目，包括通過上載、從數(shù)據庫添加、或直接錄制到該項目中。在一個實施方式中，投稿人通過連同項目的其它部分一起表演而將其音樂稿件錄制到合作項目中。例如，投稿人可演奏合作項目的一部分，同時通過重放錄制聲樂作品。在另一實施方式中，音樂稿件以更先進的方式被添加。例如，投稿人可上載音頻樣本(例如，彈子落進水晶飲水玻璃杯中的錄音)，并指導合作門戶700將樣本添加到每隔三個小節(jié)的第一拍。在一些實施方式中，可錄制音樂稿件以提供特定的數(shù)據。例如，用戶可錄制節(jié)拍器聲道(例如，以幫助錄制其它聲道或幫助拍速和節(jié)拍確定)、一組基本的根音位置和弦(例如，以幫助音調確定)、一組聲樂音節(jié)(例如，以充當應用于吉他聲道的音碼濾波器)等。在某些實施方式中，所提供的音頻信息可實質上實時地、以特定的時間間隔、在用戶請求時或在任何其它有用的時間被解構。也可用各種方法來實現(xiàn)錄制和重放功能726的重放功能以利用合作門戶700的合作性質。在一個實施方式中，用戶可能能夠播放合作項目中的特定聲道的全部或一部分。在另一實施方式中，用戶可能能夠播放整個合作項目及其所有組成的聲道和音樂稿件。在又一實施方式中，用戶可能能夠播放滿足特定特征的所有音樂稿件(例如，來自特定的投稿人或投稿人的組，在特定的時間范圍期間被添加或更改，被安排好以備合作者考慮，等等)。在又一些其它實施方式中，用戶可能能夠跳到合作項目的最近被修改的特定部分，在各種所提出的稿件之間轉換到特定的部分，或執(zhí)行任何其它有用的重放功能。應認識到，也可根據本發(fā)明提供很多其它重放和錄制功能。例如，音樂稿件可在它們被載入(例如，它們可為流式的)時播放。在另一例子中，音頻可在被上載、錄制、重放等時被處理或解構。合作門戶700的樂譜層720的其它功能涉及制作功能728。在一些情況下，合作者可能希望設計合作數(shù)據的形式或添加與各種類型的制作有關的合作數(shù)據。在一個實施方式中，合作門戶700包括歌詞處理功能。例如，歌詞處理功能可包括添加和編輯歌詞；使歌詞與音符或其它音樂元素對齊；并設計歌詞顯示的形式(例如，字體、尺寸、跨越多個音符的音節(jié)或單詞的處理，等等)。在另一實施方式中，制作功能728包括非音樂(或間接的音樂)樂譜表示信息的處理。例如，合作門戶700可允許用戶添加小節(jié)號；聲道標題；樂譜標題；頁眉、頁腳和頁邊空白；表情和力度強弱標記；樂譜符號表示法(例如，西格納、尾奏等)；樂器特有的標記(例如，弦線記譜柵格、拉奏或彈撥的方向等)；文本信息(例如，演奏樂譜上的指引文本、版權信息等)；或對演奏者或其他參與者可能有用的任何其它數(shù)據。制作功能728的又一些其它實施方式可包括音頻制作特征而不是樂譜制作特征。例如，合作門戶700可提供關于采樣(例如，為了改變采樣率)、低半音(例如，為了除去聲道特有的或投稿人特有的數(shù)據)、編碼(例如，對于特定的編解碼或媒體播放器)等的能力。其它信息可被提供給合作門戶700的輸出產生層790或由輸出產生層790提供。在合作門戶700的各種實施方式中，提供了與合作層730有關的功能。在一些實施方式中，合作層730包括文件管理功能732和會議功能734。圖9示出根據本發(fā)明的用于合作門戶700的⑶1900的實施方式，⑶1900示出各種合作層730功能。⑶1900的一些功能可涉及文件管理功能732，而⑶1900的其它功能可 涉及會議功能734。GUI900提供了很多方面，每個方面提供各種類型和級別的功能，包括視頻會議區(qū)910、聊天區(qū)920、音樂區(qū)930和很多按鈕950。視頻會議區(qū)910提供對視頻會議有用的特征。例如，可在視頻會議的時間為每個在線的合作者提供視頻窗，因此合作者都可以有虛擬的“現(xiàn)場直播”合作會話。應認識到，根據本發(fā)明可包括各種音頻和視頻特征來增強視頻會議區(qū)910和能力。例如，可提供音頻和視頻控制(例如，音量、分辨率等)、“呼叫”控制(例如，參加會議、邀請、掛斷、轉移等)，以及呼叫者控制選項(例如，將屏幕控制傳遞到會議的特定出席者，等等)。在各種實施方式中，聊天區(qū)920可包括對文本會議或對記錄有用的各種特征。在一個實施方式中，聊天區(qū)920僅僅充當記錄由會議會話中的參與者輸入的文本信息的虛擬記事本。在其它實施方式中，聊天區(qū)920可操作來記錄和/或顯示視頻、音頻和其它數(shù)據。例如，投稿人可播放即興小段并將它與文本“你們認為這怎么樣？ ”一起附到聊天區(qū)920。在又一些其它實施方式中，聊天區(qū)920可充當接受徒手畫的圖畫和文本(例如，使用鼠標作為筆)的虛擬白板。在又一些其它實施方式中，聊天區(qū)920可操作來翻譯信息，以獲得增強的記錄或可用性)。例如，聊天區(qū)920可自動轉錄在音頻或視頻會議期間講的對話，將徒手畫的文字轉換成可編輯的文本，或其它類似的功能。音樂區(qū)930可提供對合作項目的音樂部分的合作處理有用的任何功能。在一個實施方式中，各種表示視圖可顯示和/或捕獲在音樂區(qū)930的表示框932中。例如，如所示，合作項目的一部分的樂譜和信號表不可顯不在表不框932中。音樂區(qū)930也可包括重放控制框634。如所示，重放控制框634可包括任何數(shù)量的控制和指示器，包括播放控制(例如，播放、暫停、停止、錄音等)、進度條(例如，顯示消逝的重放時間的進度指示器、對在裝入期間的重放的進度指示器(例如，流式重放)、章節(jié)或其它索引指示器等)、用于評論的指示器(例如，合作者輸入評論或標注位置的位置)、以及任何其它有用的指示器或控制。在一些實施方式中，音樂區(qū)930提供增強的功能。在一個實施方式中，合作者可向合作文件的部分提供評論936。例如，比如說，一樂隊將其合作文件張貼到歌迷網站上，以讓歌迷聽和評論。當聽該項目時，歌迷(John)可將評論936添加到文件，表達某些想法，例如“我喜歡這段，但我認為，如果有爵士風格更強的低音即興小段，那么它聽起來更棒，就像他們的上一張專輯上的一樣”。接著，此評論936可作為該文件的一部分顯示出來，供合作者和其它愛好者觀看。其他歌迷可接著響應于John的評論來張貼文本、視頻、音頻或其它評論936。例如，另一歌迷(Mary)可張貼陳述“我喜歡它本來的樣子！ ”的響應。又一歌迷(Steve)可張貼包含他創(chuàng)作的新低音線的音頻片段的響應，他認為這個音頻片段將完美地適合該歌曲。以這種方式，評論936可以變成一種博客工具。如所示，在視頻會議會話期間，合作者可停下其合作項目，及其相關的評論936，并討論對其項目的反應。音樂區(qū)930的另一增強的功能可以是以合作方式在音樂區(qū)930內編輯的能力。在各種實施方式中，合作者可從音樂區(qū)930內使用合作門戶700的所有可適用的功能。在其它實施方式中，提供了進一步的功能，如在音樂區(qū)930上虛擬“畫圖”的能力。例如，在視頻會議會話期間，合作者可能希望暫停合作項目的重放，并指出他不喜歡的音符。使用虛擬畫圖功能，合作者可虛擬地繪制在該音符周圍的圓圈和甚至指向音符938的箭頭。應認識到，這個和其它類似的信息可暫時在會話期間儲存在與合作項目相關的會議會話的日志中，或根本不存儲，取決于某些偏好。 GUI900的實施方式也可提供任何數(shù)量的其它控制。在一些實施方式中，提供了用于使用合作門戶700的其它某些功能的多個按鈕950。應認識到，根據本發(fā)明可用很多其它方式提供對門戶功能的使用，包括通過使用菜單、其它窗口和模塊等。作為例子，在圖9中示出8個按鈕950 添加稿件(Add Contribution) ”、“爵士音樂即興演奏會的模式(Jam Session Mode) ”、“轉換重放(Toggle Playback) ”、“播放 / 錄制選項(Play/RecordOptions) ”、“偏好(Preferences) ”、“合作菜單(Collaboration Menu) ”、“公告板(BulletinBoard) ” 和“搜索(Search) ”?！疤砑痈寮卑粹o可允許⑶1900的用戶將音樂稿件添加到合作項目。在添加過程期間，也可提供其它選項(例如，通過提供其它菜單)。例如，音樂稿件可作為新聲道添加或添加到現(xiàn)有的聲道，或作為對項目的部分的很多選項之一；音頻可在添加期間被處理(例如，通過下變頻、解構等)；或音頻可被同步或量化到某些參數(shù)(例如，到鼓聲道)?！熬羰恳魳芳磁d演奏會的模式”按鈕可允許用戶輸入虛擬的即興演奏會。在該示例性模式中，參與者可在一起“即興演奏”(例如，表演)的同時演奏合作項目的全部或部分。額外的選項可允許參與者例如重復演奏合作項目的某些部分(例如，以對相同樂段不斷嘗試新的理念或實踐歌曲的片段)，錄制即興演奏會的全部或部分(例如，實時地)，自動解構即興演奏會的全部或部分(例如，以產生音樂元素、產生樂譜等)，等等?！稗D換重放”按鈕可允許合作者在合作項目中的多個可能的樂段之間轉換。例如，假定三個不同的合作者(例如，兩個歌迷和一個樂隊成員)都為聲樂聲道提出了想法。在合作項目的重放期間(例如，在視頻會議期間)，合作者可能能夠在三個提交中轉換，以決定他們最喜歡哪個，如果有的話。額外的功能可允許合作者選擇他們更喜歡的樂段。例如，GUI900的一些實施方式可給合作者提供投票表決按鈕，以允許合作者投票表決特定的意見。當然，很多額外的控制、指示器和功能可支持或增強此能力。例如，合作門戶700可操作來記錄選票，產生統(tǒng)計數(shù)字，確定優(yōu)勝者，考慮其它各方(例如，歌迷)的投票，等等?！安シ?錄制選項”按鈕可提供對任何數(shù)量的播放和錄制選項的訪問途徑。例如，選擇該按鈕可使一菜單顯示在⑶1900中，該菜單具有選擇播放哪些聲道、是否鎖定某些聲道以防止進ー步的編輯等的選項。上面進ー步討論了可利用的一些其它播放和錄制功能?！捌谩卑粹o可給用戶提供對任何數(shù)量的偏好的訪問途徑。在一些實施方式中，很多偏好可用于配置GUI900。例如，用戶可選擇GUI900所提供的不同框、區(qū)域、控制和指示器的尺寸、可用性和功能。在其它實施方式中，偏好可用于配置會議、用戶配置文件和合作門戶700的任何其它特征?！昂献鞑藚g”按鈕可提供與合作有關的選項。例如，該菜單可提供會議選項(例如，開始會議、結束會議、邀請出席者、阻擋出席者、顯示出席者信息等)、安全設置(例如，關于數(shù)字版權管理、加密、文件訪問等)、改變用戶狀態(tài)(例如，給特定的用戶提供特定的許可)、公布選項(例如，輸入公布模式、向歌迷網站公布合作項目、燒毀試播曲目等)，等等。合作菜單的其它特征可涉及文件管理。與合作項目有關的音樂稿件和其它文件可來自不同的源，儲存在不同的位置，以不同的格式儲存，包含不同類型的信息，具有不同的 安全設置，等等。因此，合作門戶700的很多功能可涉及允許某些用戶處理文件管理。此外，在合作環(huán)境中提供與改變管理有關的功能可能是合乎需要的。例如，合作者可能希望能夠鎖定文件以防止進ー步的改變，對某些用戶限制改變，記錄文件的以前的版本(例如，在一些情況下限制到某個數(shù)量的版本，在某個量的時間內等)，以及對合作項目的改變有其它類型的控制?！肮姘濉卑粹o可提供對虛擬公告板的訪問途徑，其中用戶可張貼不同類型的內容。例如，歌迷可張貼關于樂隊(例如，關于音樂指導、最近的巡回演出音樂會、最近的專輯、成員等)、試聽磁帶和音樂稿件等的一般評論；合作者可張貼對歌迷的問題、即將來臨的演出的傳單、對歌迷評論的反應等；以及任何其它有用的信息?！八阉鳌笨商峁Ω鞣N捜索功能的訪問途徑，包括基于音樂的捜索功能。在ー個實施方式中，合作者可捜索具有某些特征(例如，來自地理區(qū)域、經過某種培訓、具有某些影響等)的音樂家，作為其樂隊、樂團、管弦樂隊等的可能的未來投稿人或成員。在另ー實施方式中，音樂家可能希望捜索音樂“剪貼畫”。例如，音樂家可能希望從頭到尾瀏覽以7/8節(jié)拍寫的主旋律庫，以得到對合作項目的某些部分的啟發(fā)。該庫可例如從解構的音頻文件的數(shù)據庫中自動產生，被貢獻出作為開放式音樂共享數(shù)據庫，張貼到數(shù)據庫用于出售等。在又一個實施方式中，音樂家可能希望捜索與他們寫的樂段類似的樂段，以避免或檢測可能的侵權或樂曲作品的其它未經授權的使用。在Robert D. Taub等人的標題為“MUSIC-BASED
SEARCHING”的美國專利申請第_號中提供了基于音樂的搜索功能的實施方式，
該申請同本申請同時提交并為了所有目的在這里通過引用被并入。雖然上面的描述主要集中于音樂家的樂隊和樂團對GUI900的使用，應認識到，很多其它類型的用戶是可能的。在一個實施方式中，制作人和工程師可使用合作門戶700來在最終音樂輸出上進行合作。在另ー實施方式中，市場人員、音樂節(jié)目主持人和其他人可與樂隊和/或其他人合作，以評論、幫助完成或預覽音樂。在又一個實施方式中，音樂家可使用合作門戶來學習音樂。例如，樂團能夠一起在GUI900內練習，或樂隊的新成員或可能的成員能夠演奏歌曲來練習或試音。在合作門戶700的一個示例性用法中，學生可能希望通過互聯(lián)網與其鋼琴老師會面，以得到對難的樂段的幫助。樂譜可顯示在音樂區(qū)930中，且學生和老師可在視頻會議區(qū)910開始視頻會議。當學生演奏時，老師能夠使用GUI900的各種特征指出錯誤或改進的區(qū)域?？蛇x地，老師能夠演奏樂曲的某些部分，以讓學生聽。在合作門戶700的另ー示例性用法中，學生可能希望練習鋼琴曲。樂譜可顯示在音樂區(qū)930中，且學生可進入練習模式。當學生演奏時，他的音樂輸入可自動解構成音樂元素(例如，至少到顯示為樂譜表示所必需的水平)。學生演奏的樂譜表示也可顯示在音樂區(qū)930中。例如，當學生演奏時，他可看到其演奏的樂譜表示上覆在音樂區(qū)930中的原始樂譜上(例如，以不同的顔色)。學生可接著能夠清楚地看到其演奏中有錯誤的地方(例如，在音符音高和/或時值上)。進ー步的功能可幫助學生識別改進的區(qū)域、需要額外的練習的區(qū)域、需要額外的練習的技能、顯示隨著時間的過去的提高的得分和學習進程、供學生的老師所使用的練習日志和記錄、以及任何其它有用的信息。例如，合作門戶700可識別出，每當在音樂中出現(xiàn)大的跳躍時，學生演奏不正確的音符。合作門戶700可接著產生或識別ー組練習曲(或其它樂曲)以幫助學生練習該技能。應認識到，在合作項目創(chuàng)作期間或之后，很多不同類型的數(shù)據的很多類型的輸出是可能的。如圖7所示，合作門戶700的其它功能可涉及輸出產生。在一些實施方式中，輸 出產生由輸出產生單元處理，如圖I所示的輸出產生單元140 —祥。在各種實施方式中，來自合作項目的輸出用于產生樂譜表示的輸出。在一個實施方式中，處理從音頻輸入或樂譜輸入解構的或以其他方式接收到的音樂元素，以自動產生樂譜表示。傳統(tǒng)軟件包和庫可用于從樂譜表示產生活頁樂譜。很多這樣的工具接受以諸如MIDI等預定格式、以樂曲表示的形式的輸入。因此，系統(tǒng)的ー些實施方式產生實質上與MIDI標準一致的樂譜表示，以確保與這樣的傳統(tǒng)工具的相容性。一旦產生樂譜表示，可能的應用就是大量的。在不同實施方式中，樂譜顯示在設備顯示器上、被打印出、導入到音樂出版程序中、被儲存或與其它人共享(例如，用于另ー合作的音樂項目)。在另ー實施方式中，來自合作項目的輸出用于產生音頻表示輸出。在一個實施方式中，音頻表不輸出與音頻存儲器和/或重放設備相容。例如，音頻表不輸出可適合于燒錄成音頻光盤、MP3文件或任何其它專有的或非專有的格式。在另ー實施方式中，音頻表示輸出可配置成由音頻信號處理系統(tǒng)使用。在又ー實施方式中，音頻表示輸出可操作來直接或間接地通過音頻重放部件(例如，數(shù)字家庭音頻部件、揚聲器、聲卡等)播放。在輸出產生的其它實施方式中，來自合作門戶700的表不輸出被配置成被儲存，供隨后使用或發(fā)送到另一系統(tǒng)。在一個實施方式中，輸出數(shù)據通過網絡發(fā)送到客戶工作站，用于進一歩的處理。例如，客戶工作站可用于解構音頻輸出，以重放音頻信號數(shù)據或執(zhí)行合作門戶700的任何其它輸出功能。示例件實施方式上面描述的系統(tǒng)和方法可用很多方式實現(xiàn)。一種這樣的實現(xiàn)包括各種電子部件。例如，使用適合于在硬件中執(zhí)行ー些或全部適用功能的一個或多個專用集成電路(ASIC)，可単獨地或共同地實現(xiàn)各種系統(tǒng)的単元?？蛇x地，功能可由一個或多個其它處理單元(或核心)在ー個或多個集成電路上執(zhí)行。在其它實施方式中，可使用其它類型的集成電路(例如，結構化的/平臺ASIC、現(xiàn)場可編程門陣列(FPGA)和其它半定制1C)，其可用本領域已知的任何方式編程。每個單元的功能也可使用包含在存儲器中的指令來整體或部分地實現(xiàn)，這些指令被設計成由ー個或多個通用或專用處理器執(zhí)行。
圖10提供了用于實現(xiàn)本發(fā)明的某些實施方式的計算系統(tǒng)1000的結構圖。在ー個實施方式中，計算系統(tǒng)1000可起圖I所示的門戶160的作用。應注意，圖10只表示提供各種部件的一般化圖示，在適合時可利用這些部件中的任何ー個或全部。因此，圖10廣泛示出各個系統(tǒng)元件可如何以相對分開的或相對更綜合的方式實現(xiàn)。示出包括硬件元件的計算機系統(tǒng)1000,這些硬件元件可通過總線1026電連接(或可在適當時以其他方式進行通信)。硬件元件可包括一個或多個處理器1002，其包括但不限干，ー個或多個通用處理器和/或一個或多個專用處理器(例如，數(shù)字信號處理芯片、圖形加速芯片和/或類似物)；ー個或多個輸入設備1004，其可包括但不限干，鼠標、鍵盤和/或類似物；以及ー個或多個輸出設備1006，其可包括但不限于，顯示設備、打印機和/或類似物。計算系統(tǒng)1000可進ー步包括(和/或與其通信的)ー個或多個存儲設備1008，其可包括但不限于，本地和/或網絡可訪問的存儲器，和/或可包括但不限于，磁盤驅動器、 驅動器陣列、光學存儲設備、固態(tài)存儲設備例如隨機存取存儲器(RAM)和/或只讀存儲器(ROM)，這些存儲器可為可編程的、可快速更新的，等等。計算系統(tǒng)1000也可包括通信子系統(tǒng)1014，其可包括但不限于，調制解調器、網卡(無線或有線)、紅外通信設備、無線通信設備和/或芯片組(例如藍牙設備、802. 11設備、WiFi設備、WiMax設備、蜂窩通信設備等)和/或類似物。通信子系統(tǒng)1014可允許使用網絡(例如，下面描述的網絡，列舉ー個例子)和/或這里描述的任何其它設備交換數(shù)據。在很多實施方式中，計算系統(tǒng)1000將進一歩包括工作存儲器1018，其可包括RAM或ROM設備，如上所述。計算系統(tǒng)1000也可包括被顯示為當前位于工作存儲器1018內的軟件元件，包括操作系統(tǒng)1024和/或其它代碼,例如一個或多個應用程序1022,應用程序1022可包括本發(fā)明的計算機程序，和/或可設計成實現(xiàn)本發(fā)明的方法和/或配置本發(fā)明的系統(tǒng)，如這里所述的。僅僅作為例子，關于上面討論的方法描述的ー個或多個程序可被實現(xiàn)為計算機(和/或計算機內的處理器)可執(zhí)行的代碼和/或指令。在一個實施方式中，圖I的音頻和/或樂譜解構単元120以及各種其它客戶端方法被實現(xiàn)為計算系統(tǒng)1000可讀取的應用程序1022。這些指令和/或代碼的集合可儲存在計算機可讀介質IOlOb上。在一些實施方式中，計算機可讀存儲介質IOlOb是上面描述的存儲設備1008。在其它實施方式中，計算機可讀存儲介質IOiOb可包括在計算機系統(tǒng)內。在又ー些其它實施方式中，計算機可讀存儲介質IOlOb可與計算機系統(tǒng)分離(即，可移除的介質，例如光盤等)和/或設置在安裝包中，使得存儲介質可用于使用儲存在其上的指令/代碼給通用計算機編程。這些指令可采取可由計算機系統(tǒng)1000執(zhí)行的可執(zhí)行代碼的形式，和/或可采取源代碼和/或可安裝的代碼的形式，源代碼和/或可安裝的代碼當在計算機系統(tǒng)1000上編譯和/或安裝(例如，使用各種通常可得到的編譯器、安裝程序、壓縮/解壓縮工具等)時接著呈現(xiàn)可執(zhí)行代碼的形式。在這些實施方式中，計算機可讀存儲介質IOlOb可由計算機可讀存儲介質閱讀器IOlOa讀取。對本領域技術人員來說很明顯，可根據特定的要求進行相當多的變化。例如，也可使用定制的硬件，和/或特定的元件可在硬件、軟件(包括可移植軟件，例如小程序等)或兩者中實現(xiàn)。進ー步地，可使用到其它計算設備例如網絡輸入/輸出設備的連接。在一些實施方式中，ー個或多個輸入設備1004可與音頻接ロ 1030-1連接。音頻接ロ 1030-1可配置成通過與麥克風、樂器、數(shù)字音頻設備或其它音頻信號或文件源例如物理地、光學地、電磁地等連接來接收音樂稿件102-1。在其它實施方式中，ー個或多個輸入設備1004可與樂譜接ロ 1030-2連接。樂譜接ロ 1030-2可配置成通過與攝像機、掃描儀、數(shù)字成像設備或其它數(shù)字圖像源連接來接收樂譜稿件102-2。進ー步地，在一些實施方式中，ー個或多個輸出設備1006可與音頻輸出設備106-1連接。音頻輸出設備106-1可配置成將本發(fā)明的實施方式產生的音頻信號數(shù)據輸出到能夠處理該數(shù)據的一個或多個系統(tǒng)或設備，例如揚聲器、音頻部件、數(shù)模轉換器、光盤燒錄器等。在其它實施方式中，一個或多個輸出設備1006可與樂譜輸出設備106-2連接。樂譜輸出設備106-2可配置成將本發(fā)明的實施方式產生的樂譜表示數(shù)據輸出到能夠處理該數(shù)據的ー個或多個系統(tǒng)或設備，例如樂譜轉錄軟件、樂譜公布系統(tǒng)、文件存儲設備等。在一個實施方式中，本發(fā)明使用計算機系統(tǒng)(例如計算系統(tǒng)1000)來執(zhí)行本發(fā)明的方法。根據ー組實施方式，響應于處理器1002執(zhí)行包含在工作存儲器1018中的ー個或多個指令的ー個或多個序列(其可合并到操作系統(tǒng)1024和/或其它代碼中，例如應用程序 1022)，這樣的方法的ー些或全部程序由計算系統(tǒng)1000來實現(xiàn)。這樣的指令可從另ー機器可讀介質被讀取到工作存儲器1018中，例如ー個或多個存儲設備1008(或1010)。僅作為例子，包含在工作存儲器1018中的指令的序列的執(zhí)行可使處理器1002執(zhí)行這里描述的方法的ー個或多個程序。如這里使用的術語“機器可讀介質”和“計算機可讀介質”指參與提供使機器以特定的方式操作的數(shù)據的任何介質。在使用計算系統(tǒng)1000實現(xiàn)的實施方式中，各種機器可讀介質可包括向處理器1002提供供執(zhí)行的指令/代碼，和/或可用于儲存和/或承載這樣的指令/代碼(例如，作為信號)。在很多實現(xiàn)中，計算機可讀介質是物理和/或可觸知的存儲介質。這樣的介質可采取很多形式，包括但不限于，非易失性介質、易失性介質和傳輸介質。非易失性介質包括例如光盤或磁盤，例如存儲設備(1608或1010)。易失性介質包括但不限于，動態(tài)存儲器，例如工作存儲器1018。傳輸介質包括同軸電纜、銅線和光纖，包括構成總線1026的導線以及通信子系統(tǒng)1014的不同部件(和/或通信子系統(tǒng)1014提供與其它設備的通信的介質)。因此，傳輸介質也可采取波的形式(包括但不限干，無線電波、聲波和/或光波，例如在無線電波和紅外數(shù)據傳輸期間產生的波)。物理和/或可觸知的計算機可讀介質的一般形式包括，例如，軟盤、軟碟、硬盤、磁帶或任何其它磁性介質、CD-ROM、任何其它光學介質、穿孔卡片、紙帶、具有孔的圖案的任何其它物理介質、RAM、PROM、EPROM、FLASH-EPR0M、任何其它存儲器芯片或盒式磁帶、諸如以下描述的載波、或計算機可從其讀取指令和/或代碼的任何其它介質。機器可讀介質的各種形式可涉及將ー個或多個指令的ー個或多個序列傳送到處理器1002用于執(zhí)行。僅作為例子，指令可最初被承載在遠程計算機的磁盤和/或光盤上。遠程計算機可將指令裝入其動態(tài)存儲器中，并在傳輸介質上作為信號發(fā)送指令，以被計算系統(tǒng)1000接收和/或執(zhí)行。根據本發(fā)明的不同實施方式，形式可能為電磁信號、聲信號、光信號和/或類似信號的這些信號，都是指令可編碼在其上的載波的例子。通信子系統(tǒng)1014 (和/或其部件)通常接收信號，且總線1026接著可能將該信號(和/或該信號所承載的數(shù)據、指令等)傳送到工作存儲器1018，處理器1002從工作存儲器1018取回并執(zhí)行這些指令。工作存儲器1018所接收的指令可在被處理器1002執(zhí)行之前或之后可選地儲存在存儲設備1008上。應認識到，根據本發(fā)明，可以或可以不包括關于圖10描述的部件或功能的系統(tǒng)的很多實施方式是可能的。在一些實施方式中，系統(tǒng)被實現(xiàn)為專用設備。該設備可包括ー個或多個內部麥克風，其配置成檢測聲壓并將其轉換成由系統(tǒng)使用的音樂稿件?？蛇x地，該設備可包括用干與外部麥克風、媒體設備、數(shù)據存儲器或其它音頻源連接的一個或多個音樂輸入端ロ。在這些實施方式中的某些中，設備可為手持式或便攜式設備。在其它實施方式中，系統(tǒng)可在多功能或通用設備中實現(xiàn)(例如，作為儲存在計算機可讀介質上的軟件模塊，用于由計算機執(zhí)行)。在這些實施方式中的某些中，音頻源可為聲卡、外部麥克風或所儲存的音頻文件。輸入接著被產生并提供到該系統(tǒng)。系統(tǒng)的其它實施方式可被實現(xiàn)為簡化或單聲道形式，以作為從用戶接收音頻的聽音設備來操作，這些用戶對著ー個麥克風演奏樂器或演唱某個曲調或旋律或其一部分。在單麥克風布直中，系統(tǒng)相繼地將來自Iv麥克風的已錄制的樂曲轉換成相應的樂譜。這可提供文本到語音軟件的音樂等價物，其將ロ語單詞和句子轉換成計算機可讀的文本。作為 聲音到音符轉換，曲調或旋律將被記錄下來，就好像一個樂器正在演奏。應認識到，系統(tǒng)的不同實現(xiàn)也可包括涉及與用戶和其它系統(tǒng)的相容性的不同類型的接口和功能。例如，可為線路電平輸入(例如，來自立體聲系統(tǒng)或吉他放大器)、麥克風輸入、網絡輸入(例如，來自互聯(lián)網)或其它數(shù)字音頻部件提供輸入端ロ。類似地，可為揚聲器、音頻部件、計算機和網絡等的輸出提供輸出端ロ。進ー步地，在一些實現(xiàn)中，系統(tǒng)可提供用戶輸入(例如，物理或虛擬鍵盤、滑塊、旋鈕、開關等)和/或用戶輸出(例如，顯示器、揚聲器等)。例如，可提供接ロ能力，以允許用戶聽錄制品或由系統(tǒng)從錄制品提取的數(shù)據。在一個實施方式中，本發(fā)明的特征在包括可安裝在數(shù)字計算機上的應用程序的軟件中實現(xiàn)。軟件實現(xiàn)優(yōu)選地為演奏者提供輸入和輸出接ロ。也就是說，安裝有軟件的主機計算機一般包括用于產生演奏者可閱讀的樂譜的視覺表示的顯示器，以隨著演奏者的樂器演唱或演奏該樂器。計算機也一般包括用于錄制演奏者的會話的輸入接ロ，例如麥克風，并包括輸出接ロ，例如揚聲器，以使演奏者能夠聽已錄制的演奏。計算機實現(xiàn)可包括圖像捕獲，其中包括五線譜上的音符的樂譜可通過光學輸入裝置被數(shù)字化，并接著輸入到計算機中。數(shù)字化的樂譜可通過OCR技術被解譯，這樣形成的已解譯的數(shù)據被處理，以便產生樂譜的合成音頻再現(xiàn)，在適當時包括使單詞與適當音高匹配的合成的聲樂再現(xiàn)，使得音頻再現(xiàn)與樂譜的視覺表示同歩。在下面提供的額外詳細的描述中，計算機軟件實現(xiàn)被稱為“LevelX”實現(xiàn)或被稱為“eMuse X”產品(名稱“eMuse”指來自美國普林斯頓、新澤西的MuseAmi公司一本發(fā)明中所有權利的受讓人一的產品實施方式)。在另ー實施方式中，本發(fā)明的特征體現(xiàn)在一可包括顯示器、輸入接ロ、音頻和視覺輸出接ロ以及OCR圖像解譯接ロ的手持式設備中。該手持式設備實現(xiàn)包括各種方便的用戶控制旋鈕和用于設備功能的方便導航的機制。該顯示器支持由用戶對功能進行選擇的菜單選項的視覺表示。如下面進ー步詳細描述的，計算設備通過從外部源接收樂譜數(shù)據，井隨后產生樂譜數(shù)據的合成音頻再現(xiàn)和樂譜的同步視覺表示來解譯和處理樂譜數(shù)據。外部源可由通過網絡連接向計算設備提供樂譜數(shù)據的網絡數(shù)據源組成。網絡連接可由通過無線連接的計算設備和網絡之間的通信組成。
將記錄有數(shù)據的介質接受進入計算設備的閱讀器中，而該閱讀器接著從該記錄有數(shù)據的介質獲得樂譜數(shù)據，通過這種方式，可從記錄有數(shù)據的介質讀取樂譜數(shù)據。記錄有數(shù)據的介質包含充足的數(shù)據，來根據合成音樂制作的MIDI規(guī)范合成音頻再現(xiàn)。也就是說，計算設備可接收指定樂譜的數(shù)據，并可按選定的拍速、音色、譜號、調號、拍號等產生或合成相應的音樂樂音。記錄有數(shù)據的介質可包括閃存設備?？山o計算設備提供用于錄制用戶對ー樂譜的演奏并提供已錄制的用戶演奏的重放的能力。用戶演奏重放可獨立于合成樂譜再現(xiàn)而發(fā)生，或可與其同時發(fā)生。此外，可將用戶演奏重放連同相應于該已錄制的用戶演奏的樂譜的視覺表示一起提供給用戶。以這種方式，提供了“聽音”特征。在一個可選方案中，通過光學地捕獲樂譜的數(shù)字圖像、接著解譯并處理數(shù)字信息以產生表示適當?shù)囊魳芬舴臄?shù)據的集合、因而產生相應于該樂譜的數(shù)據，由此，該設備可獲得由其用來產生合成音頻再現(xiàn)和樂譜的同步視覺表示的樂譜數(shù)據。
此外，可提供用于確定樂譜數(shù)據的合成音頻再現(xiàn)的特征的音樂情境信息，其中所有特征都可被用戶調節(jié)。這樣的音樂情境信息可包括多個調號、拍號、音色、拍速和表現(xiàn)性術語，例如連奏、漸強、漸慢等。在另一可選方案中，通過與網絡數(shù)據源的通信來實現(xiàn)產生樂譜數(shù)據的音頻重放和音樂音符的視覺表示。如果需要，網絡數(shù)據源向計算設備提供樂譜數(shù)據。在又一可選方案中，網絡數(shù)據源可向計算設備提供決定樂譜數(shù)據的合成音頻再現(xiàn)的音樂特征的音樂情境信息。此外，網絡數(shù)據源可通過無線連接提供音樂情境信息。在一個可選方案中，通過將記錄有數(shù)據的介質插入計算設備的閱讀器中來實現(xiàn)產生樂譜數(shù)據的合成音頻再現(xiàn)和樂譜的合成視覺表示。如果需要，計算設備從記錄有數(shù)據的介質獲得樂譜數(shù)據，且記錄有數(shù)據的介質也可向計算設備提供用于確定樂譜數(shù)據的合成音頻再現(xiàn)的音樂特征的音樂情境信息。一個可選的特征是提供對樂譜的用戶樂器演奏和/或聲樂演奏的錄制。另一可選方案是根據MIDI規(guī)范產生合成音頻再現(xiàn)。此外，產生視覺表示可包括顯示與相應的合成音頻再現(xiàn)同步的樂譜。另ー選擇是同時提供同步的重放、樂譜數(shù)據的視覺表示和音頻再現(xiàn)的重放，以及已錄制的用戶演奏的音頻組成和用戶演奏所產生的樂譜的同步的相應視覺表
/Jn ο根據本發(fā)明，計算設備可以可選地數(shù)字地捕獲樂譜并解譯數(shù)字圖像，以及產生樂譜數(shù)據的合成音頻再現(xiàn)和樂譜的同步視覺表示，該數(shù)字圖像為計算設備產生的相應于數(shù)字捕獲的樂譜的樂譜數(shù)據。該計算設備可接收音樂情境信息，該音樂情境信息由計算設備使用來確定樂譜數(shù)據的合成音頻再現(xiàn)的音樂特征。類似于上面描述的可選實施方式，音樂情境信息可包括多個調號、拍號、音色、拍速和表現(xiàn)性術語，例如連奏、漸強、漸慢等，這些信息可由用戶選擇來確定樂譜數(shù)據的合成音頻再現(xiàn)的音樂特征。作為選擇，該計算設備從光學地數(shù)字捕獲的樂譜來識別出音樂情境信息，并可選地可以從網絡數(shù)據源獲得音樂情境信息。如果需要，網絡數(shù)據源通過與計算設備的無線連接來提供音樂情境信息?？山o計算設備提供其自己的擴音器，用于所合成的再現(xiàn)和/或用戶所錄制的演奏的音頻重放。此外，該設備可包括用于連接到耳機或外部擴音器等的輸出插孔，并可設置有允許設備向無線聲音重放系統(tǒng)(例如使用無線部件實現(xiàn)的家庭立體聲系統(tǒng))傳輸音頻演奏的無線傳輸能力。該設備具有充足的計算存儲器，使它能夠儲存預定長度的樂段。下面額外詳細的描述涉及在手持式設備實現(xiàn)中的特征的各種實現(xiàn)，且分別被稱為“LevelI” 和 “Level2” 或“eMuseI” 和 “eMuse2，，。下面的討論描述了可安裝在一系列數(shù)字計算設備上的音樂重放軟件，并且也描述了手持式活頁樂譜閱讀設備的實施方式，這些設備在這里被共同稱為eMuse產品。圖11示出作為手持式的、電池供電的“對準即柏”消費電子設備1100的產品的例證性實施方式，設備1100從活頁樂譜捕獲選定樂段ー幾個小節(jié)或甚至整頁ー的圖像，數(shù)字地設計該樂段的形式并編碼該樂段，接著演奏選定的樂段，全部都是實際上即時實時地進行的。重放聲音是針對樂器的，即，以用戶選擇的音色(例如，鋼琴、小提琴、長笛的聲音)演奏?？赏瑫r演奏多種音色。設備1100設計成識別音樂變量，例如調號、節(jié)拍、音量和拍速，并解釋樂文術語，例如強音、輕聲演奏、漸強音、連奏等。當該設備正重放樂段1104吋，LCD屏幕1102顯示樂段1104，每個被演奏的音符以獨特的顔色加亮，以便將其與樂譜的其余部分區(qū)別開。 圖11的設備1100包括數(shù)字“音樂卡”特征，其支持編碼有一個或多個已錄制的或下載的樂曲的數(shù)據卡(未示出)的插入，并允許快速參考特定的小節(jié)。數(shù)據卡可包括可記錄的介質，例如一般由便攜式電話和數(shù)字攝像機使用的介質。數(shù)據卡被接收到設備1100的卡插槽1106中。設備1100也使用表示被編碼的樂曲的數(shù)字數(shù)據來工作。下載的文件也可保存在設備的存儲器內。被編碼的樂曲提供了豐富的收聽體驗，允許快速參考樂譜的特定小節(jié)。設備1100的錄制/重放特征允許用戶立即參考樂譜來評估已錄制的演奏。也就是說，設備1100可錄制用戶對樂曲的演奏，并重放用戶的演奏，以及(或同吋)重放接收到的樂曲。用戶演奏重放能夠呈現(xiàn)相應的視覺表示，提供“聽音”特征。節(jié)拍器和音樂調音器能力也合并到該設備中，且可對“缺一音樂(music minus one) ”特征調節(jié)該設備。在多音度線或多聲部樂曲中，“缺一音樂”特征允許用戶確定樂曲的哪些部分將由MIDI接口重放。這允許用戶隨著設備演奏/唱特定的部分。圖11示出具有翻轉頂部1108的手持式設備1100，IXD屏幕1102合并到蓋或頂部1108的下側。該設備也包括用于音樂重放的揚聲器1110(在圖11中示出了立體聲對)以及用于錄制用戶演奏的麥克風1112?？蓪崿F(xiàn)圖像捕獲能力，如圖11所示的，其中翻轉頂部1108包括攝像機系統(tǒng)，其包括安裝在翻轉頂部1108的外側表面中的并為了圖像捕獲的目的由鏡頭快門按鈕1114觸發(fā)的光學透鏡。提供了各種用戶界面控制，其被示為用于調節(jié)音量1116、重放拍速1118、菜單導航1120和位置1122的拇指輪。設備1100可設置有用于更容易與網絡或其它設備連接的USB端ロ 1124。開/關開關1125打開和關閉設備1100。如圖11所示，控制按鈕也被提供來用于控制涉及樂譜的再現(xiàn)(合成演奏)和用戶演奏的重放的功能。圖11示出用于播放/暫停1126、停止1128、下一首/重置1130和錄制1132的功能的示例性控制按鈕。圖11也示出節(jié)拍器讀出顯示器1134，其顯示定時指示器并與重放拍速1118關聯(lián)。結合菜單拇指輪1120和/或位置拇指輪1122的操作使用LCD屏幕1102的菜單導航來實現(xiàn)對節(jié)拍器功能和設備1100的其它特征的選擇。可通過下一首/重置控制按鈕1130的操作來實現(xiàn)選擇。鍵盤或輔助鍵盤1135可用于通過輔助鍵盤1135的專用功能鍵的輸入或來自輔助鍵盤1135的字母數(shù)字輸入。在LCD屏幕1102上，提供了來自音樂樂段1104的音樂音符的圖形圖像，其在整個屏幕內移動，單獨的音符出現(xiàn)在屏幕上或在顯示器中被加亮，作為被演奏的音符。顯示器優(yōu)選地提供在重放期間擴展的音樂五線譜圖像，由此，預定數(shù)量的音樂音符或小節(jié)顯示為被演奏的音樂樂段1104。在設備1100的一個實施方式中，數(shù)字攝像機系統(tǒng)1114捕獲樂譜內的樂段(單個音符、幾個小節(jié)或甚至整頁)的圖像。數(shù)字攝像機可構造到設備1100中，并可包括類似于本領域技術人員熟悉的透鏡和圖像傳感器組合。IXD屏幕1102允許用戶準確地確定捕獲哪些小節(jié)。該設備可讀取單個五線譜表樂曲行、二重奏、三重奏、四重奏或甚至完整的樂隊指揮樂譜。設備1100提供了多個同時的音色。OCR模塊可接收音樂摘錄的“照片”，其包括數(shù)字化的圖像數(shù)據。重要的額外音樂情境信息，例如調號和節(jié)拍也通過樂譜數(shù)字圖像或通過列出所有可用的調號和拍號的“備忘単”(例如從網站下載，接著無線地或通過USB端ロ傳輸?shù)皆撛O備，見下文)發(fā)送到OCR模塊?！皞渫鼌g”也可包括用戶可從其選擇期望音色的部分，或者，用戶可手工指定(輸入)期望的音色。
在另ー實施方式中，設備1100可提供MIDI合成器功能。OCR模塊可將聲音信息發(fā)送到產生合成聲音的MIDI模塊。這提供了可調節(jié)的音色；用戶為特定的樂段或樂曲指定樂器的類型(鋼琴、小提琴、長笛等)。該模塊也可提供可調節(jié)的拍速，以便用戶可聽到比在樂譜中指示的節(jié)拍器(如果有的話)慢(或快)的樂段，而沒有音高的任何改變。該設備通過其自己的小擴音器重放，并且還具有用于耳機和/或外部揚聲器的耳機插孔1134和無線能力。在各種實施方式中，設備1100可提供某些視覺顯示能力。例如，IXD屏幕1102可幫助用戶確保被捕獲(拍攝)的小節(jié)是預期要聽到的小節(jié)。包括游標1136的LCD屏幕1102將音樂樂段1104顯示為被重放的樂段，其來自用戶所拍攝的樂段或來自具有存儲的數(shù)據的音樂卡。游標指示當音樂樂段1104實時地播放時當前被演奏的音符的樂譜中的確切的音樂位置，而不管固定的拍速。不同于傳統(tǒng)類型的移動游標，當音符被演奏時，游標1136可替代地通過加亮音符(例如，使其更亮)或通過給與它不同于其它音符的顯示顏色來指示正被演奏的音符。另ー選擇是IXD屏幕1102顯示音符1138的名稱(用英語和用視唱標記)，特別是對于單旋律音樂樂段1104。如果音樂樂段1104由多個同時的音樂旋律組成，則用戶可指定音符1138的名稱所顯示針對的旋律。IXD屏幕1102也可顯示被選擇用于播放的音樂樂段1104的指示符。指示符稱為樂段標記1139。在圖11中，樂段標記1139被示為包圍在圓圈中的數(shù)字“ I”。數(shù)字“ I”指示當前正顯示音樂樂段1104的第一小節(jié)，且圓圈指示重放在第一小節(jié)開始。如果重放繼續(xù)到下一小節(jié)，“2”將代替“ I ”被顯示，但“2”將被包圍。在另ー實施方式中，設備1100可提供錄制傳感器功能。例如，麥克風1112可配置成使得用戶可錄制他/她自己演奏(和/或演唱)的有問題的音樂樂段1104，并重放該錄制結果，以比較該用戶的演奏與設備1100的演奏(即，以前錄制的演奏或合成的再現(xiàn))。該特征對進行音符、調音、節(jié)奏和力度強弱的調節(jié)的學生可能有幫助。如上所述，可通過麥克風1112錄制用戶演奏以提供“聽音”特征。 設備1100的一些實施方式提供了無線能力。例如，設備1100可操作來允許與網絡和其它有無線能力的設備進行無線通信，并允許下載具有情境信息的被編碼的音樂文件?？衫缤ㄟ^安裝到無線平臺例如PDA或智能電話的eMuse軟件來為便攜式的音樂互動提供這里描述的特征。此外，設備1100可使用家用PC和/或立體聲系統(tǒng)或另一部件的計算和存儲器(以及重放音頻)。在另ー實施方式中，用戶的演奏可由設備1100錄制，且用戶的演奏可被音樂音符解譯處理，以產生數(shù)據，從該數(shù)據產生相應于用戶的已錄制的演奏的音樂音符的顯示。以這種方式，該設備可采用“聽音”并可將用戶的現(xiàn)場表演的音頻演奏轉換成相應于該演奏的樂譜的視覺顯示。因此，該設備的音樂解譯特征可處理光學或電子網絡通信所接收的樂譜數(shù)據，并可處理用戶的現(xiàn)場表演的演奏所產生的、麥克風所捕獲的樂譜數(shù)據。這里描述的軟件可用在各種平臺上。在一個實施方式中，eMuse的某些方面被嵌入高端便攜式電話中，在高端便攜式電話中的便攜式電話攝像機拍攝樂譜中的特定樂段。所捕獲的圖像接著被壓縮，并發(fā)送到遠程服務器，其對圖像數(shù)據執(zhí)行OCR操作，以將圖像解譯成相應的音樂音符信息。該服務器接著發(fā)送回MIDI文件和圖形文件，使該版本的eMuse能夠播放被拍攝的音樂，并在播放該音樂時，將音符顯示在LCD上。 圖12提供了示出圖11中設備1100的實施方式的操作的處理流程圖的簡化圖示。在初始操作中，樂譜的數(shù)字表示被提供到該設備。該數(shù)字表示可通過視覺表示1202例如打印出的頁接收到設備，視覺表示1202使用數(shù)字圖像捕獲設備1204例如與設備一起操作的數(shù)字攝像機被數(shù)字地捕獲。從光學輸入1206得到的數(shù)字數(shù)據接著被提供到音符數(shù)據解譯過程1208?？蛇x地，樂譜的數(shù)字表示可被電子地提供(1210)，例如通過相應于樂譜的數(shù)字數(shù)據的無線傳輸或在網絡上數(shù)據的有線傳輸，或通過存儲介質例如存儲卡或其它介質輸入。樂譜1210的電子接收的版本被提供到音符數(shù)據解譯過程1208。音符數(shù)據解譯過程1208接收相應于樂譜的數(shù)字數(shù)據，并對其進行處理，以產生一組音樂音符和足夠的附隨信息，以指定音樂音符井能通過適當?shù)挠布佻F(xiàn)。過程1208包括使用機器學習技術培訓的處理器，以識別樂譜數(shù)字數(shù)據1206、1210，并產生經適當轉換的數(shù)據。過程1208可例如使用神經網絡軟件工程技術被培訓，以將解譯過程的準確性增加到實質上100%的準確性。根據本發(fā)明，輸入的樂譜數(shù)據必須被產生來用于對用戶的實時的視頻和視覺顯示，因此，輸入的樂譜數(shù)據的解譯必須是實時的，且必須達到100%的解譯(轉換)準確性。過程1208利用光學字符識別(OCR)技木，但被調整為適于音樂音符識別并適于將(電子或光學掃描得到的)數(shù)字數(shù)據解譯為適合的表示。解譯過程輸出1212包括被提供到設備的顯示屏1214的樂譜的視覺表示，以及還包括被提供到適當?shù)脑O備系統(tǒng)和硬件1216的樂譜的合成音頻再現(xiàn)，該合成音頻再現(xiàn)用于通過該設備的擴音器或類似物進行音頻表示。其它能力應認識到，除了上面描述的能力以外，很多其它處理能力也是可能的。ー組額外的處理能力包括増加提供給用戶的可定制性的量。例如，實施方式可允許本發(fā)明的各種部件和方法的增強的可定制性。在一些實施方式中，由于各種原因，部件和方法的不同閾值、窗和其它輸入姆ー個都是可調節(jié)的。例如，如果音調確定看起來進行得太頻繁(例如，用戶可能不希望與音調的短暫偏離作為音調變化展現(xiàn)在樂譜上)，用戶能夠調節(jié)音調提取窗。對于另一例子，錄制品可包括在錄制時因在演奏期間使用的60Hz電源而出現(xiàn)的背景噪聲。用戶可能希望調節(jié)各種濾波算法，以忽略此60Hz音高，以便不將它表示為樂譜上的下部音符。在又一例子中，用戶可調節(jié)音高被量化成的樂曲盒(bin)的分辨率，以調節(jié)音符音高分辨率。在其它實施方式中，可給用戶提供較小的可定制性。在一個實施方式中，用戶能夠調節(jié)表示準確性水平。根據ー個或多個參數(shù)，包括選擇對單獨的樂譜表示元素如拍速和音高的準確性，用戶可輸入(例如，通過物理或虛擬滑塊、旋鈕、開關等)系統(tǒng)是應產生更準確的還是較不準確的樂譜表示。例如，很多內部設置可一起起作用，使得最小音符值是十六分音符。通過調節(jié)表示的準確性，較長或較短的時值可被檢測到并表示為最小值。這可能在演奏者不嚴格按恒定拍子演奏(例如，沒有打擊樂器組，沒有節(jié)拍器)的情況下是有用的，且如果太靈敏的話，系統(tǒng)可產生不合需要的表示(例如，三拍附點音符)。作為另一例子，很多內部設置可一起起作用，以便最小音高變化是半音級(即，以半音音階計的音符)。在又ー些其它實施方式中，可給用戶提供甚至更小的可定制性。在一個實施方式中，用戶可輸入他或她是新用戶還是高級用戶。在另ー實施方式中，用戶可輸入系統(tǒng)是應 具有高靈敏性還是低靈敏性。在任ー實施方式中，在很多部件或方法中的很多不同的參數(shù)可在一起調節(jié)，以符合期望水平。例如，在一種情況下，歌手可能希望準確地轉錄音高和時值中的每個波動(例如，作為對找到錯誤或以所有其美學的細微之處忠實地再現(xiàn)特定的演奏的實際幫助)；而在另ー情況下，歌手可能希望通過使系統(tǒng)忽略小偏差來產生容易閱讀的樂譜用于發(fā)表。在某些實施方式中，可定制性的水平、功能的類型以及系統(tǒng)和方法的其它方面可用不同的方式指定。在一個實施方式中，用戶可選擇某些偏好，操作某些物理或虛擬控制，或以其他方式有效地與系統(tǒng)進行互動以確定這些方面。在另ー實施方式中，系統(tǒng)可自動選擇不同的方面(例如，根據與用戶有關的登錄和/或配置文件信息，根據用戶使用該系統(tǒng)的模式等)。另ー組額外的處理能力包括使用不同類型的輸入來改進或以其他方式影響對輸入音頻信號的處理。一個實施方式使用ー個或多個經培訓的人工神經網絡(ANN)來改進某些確定。例如，心理聲學確定(例如，節(jié)拍、音調、樂器等)可完全適合于使用經培訓的ANN。另ー實施方式給用戶提供使多個聲道分層的能力(例如，一人樂隊)。用戶可通過演奏鼓聲道來開始，使用本發(fā)明的系統(tǒng)實時地處理該鼓聲道。用戶可接著相繼地演奏吉他聲道、鍵盤聲道和聲樂聲道，其中每個都被處理。在一些情況下，用戶可選擇多個聲道來一起處理，而在其它情況下，用戶可選擇使每個聲道被単獨地處理。來自ー些聲道的信息可接著用于改進或引導對其它聲道的處理。例如，鼓聲道可被獨立地處理，以產生高置信度拍速和節(jié)拍信息。拍速和節(jié)拍信息可接著與其它聲道一起使用來更準確地確定音符時值和音符值。對于另一例子，吉他聲道可在小時間窗內提供很多音高，這可使確定音調更容易。該音調確定可接著用于將音調音高確定分配給鍵盤聲道中的音符。對于又一例子，多個聲道可在一維或多維中被排列、量化或標準化(例如，聲道可被標準化為具有相同的拍速、平均音量、音高音域、音高分辨率、最小音符時值等)。進ー步地，在“一人樂隊”的一些實施方式中，用戶可使用ー個樂器來產生音頻信號，接著使用本系統(tǒng)或方法來轉換到不同的樂器(例如，使用鍵盤演奏四重奏的所有四個聲道，并使用該系統(tǒng)來將鍵盤輸入轉換成弦樂四重奏)。在一些情況下，這可包括調節(jié)音色、使音樂旋律變調和其它處理。
又ー實施方式使用音頻輸入信號之外的輸入來改進或引導處理。在一個實施方式中，從用戶、從另一系統(tǒng)(例如，計算機系統(tǒng)或互聯(lián)網)或從數(shù)字音頻文件中的頭部信息來接收風格信息，以改進各種代價函數(shù)。例如，音調代價函數(shù)可對藍調、印度古典、民謠等不同；或不同的樂器可能在不同的風格中更可能(例如，“風琴類”聲音可能在贊美詩音樂中更可能是管風琴，而在波爾卡音樂中更可能是手風琴)。另ー組額外的處理能力包括使用在多個部件或方法中的信息來改進復雜的確定。在一個實施方式中，樂器識別方法的輸出用于根據所識別的樂器的已知能力或限制來改進確定。例如，比如樂器識別方法確定樂曲譜線可能是由鋼琴演奏的。然而，音高識別方法確定該樂曲旋律包含快速微弱的顫音(例如，在檢測到的音調音高標志的僅ー個或兩個半音程內的音高的顫音)。因為這一般不可能是在鋼琴上產生的效果，系統(tǒng)可確定該旋律正由另ー樂器(例如，電子鍵盤或風琴)演奏。又ー組額外的能力涉及使用用于處理鈴聲(例如，用于便攜式電話、互聯(lián)網協(xié)議的語音電話和其它設備)的系統(tǒng)和方法的各種功能。在一個實施方式中，解構的音樂兀素被操作以符合鈴聲的規(guī)范。例如，一些設備可能對鈴聲的帶寬、復調深度和音樂長度有限 制。因此，在一些情況下，系統(tǒng)可自動調節(jié)合作項目來符合鈴聲規(guī)范，或可給用戶提示根據那些規(guī)范引導用戶所需要或要求的信息。用戶可接著能夠例如聽鈴聲，將鈴聲下載到便攜式電話或其它設備(或存儲位置)，在網絡上與其他人共享鈴聲，拍賣或出售鈴聲，等等。又ー組額外的能力涉及將音頻或樂譜輸出配置為用于出售或拍賣的產品。例如，合作門戶可包括音樂拍賣功能或音樂商店功能。購買功能可包括與以下項有關的能力版稅和定價、投票表決(例如，展示在給定時間跨度內最流行的，或優(yōu)勝者獲得門戶上的特別節(jié)目)、按設備或規(guī)范搜索、不同的付款處理、安全的電子商務、版權保護和數(shù)字版權管理
坐寸ο又ー組額外的能力涉及使用解構的或接收到的音樂元素來搜索類似的作品，以避免(檢測)版權侵犯。該能力可能需要被合并到系統(tǒng)中的額外模塊或被合并到方法中的額外步驟，以調整捜索來獲得該特定結果。例如，在一些實施方式中，可提供關于版權法和政策的信息，以幫助系統(tǒng)和方法確定是否有潛在的侵權。合作門戶的一些實施方式可包括這種和其它類型的捜索功能。例如，可能希望將音樂模擬提供到“剪貼畫”，由此合作者可捜索特定類型的音樂主題(例如，“Hawaiifive-0”鼓花等)來添加到ー項目。也可捜索其它類型的信息。例如，合作者可能希望找到類似的樂曲并看其樂譜表示，來確定該樂曲是如何編曲的；或看類似的和弦序列，并找到解譯類似的和弦序列以幫助制定有趣的聲樂旋律的任何爵士聲樂即席創(chuàng)作。應認識到，提供這種和其它功能的基于音樂捜索的很多方法是可能的。在Robert D. Taub等人的標題為
“MUSIC-BASED SEARCH ENGINE”的美國申請第_號中更充分描述了的基于音樂
捜索的一些實施方式，該專利申請同本申請同時提交并為了所有目的在這里通過引用被并入。再ー組額外的能力涉及將音樂添加到視頻信息。在一些實施方式中，合作門戶可允許用戶提供視頻數(shù)據。例如，用戶可提供視頻片段，以用作對合作項目的啟發(fā)，作為與合作項目同步的音樂視頻，作為合作者正為其寫樂譜的較大的視頻項目(例如電影)的一部分，等等。在另一例子中，用戶可提供某些時間碼信息(例如，電影與電視工程師學會(SMPTE)時間碼)，供合作者使用來使合作音頻項目與視頻項目同步。應認識到，根據本發(fā)明，很多這樣的額外處理能力是可能的。進ー步地，應注意，上面討論的方法、系統(tǒng)和設備只被確定為例子。必須強調，不同實施方式可在適合時省略、替換或添加各種程序或部件。例如，應認識到，在可選實施方式中，方法可按不同于所描述的順序執(zhí)行，且可添加、省略或合并不同的步驟。此外，關于某些實施方式描述的特征可合并在各種其它實施方式中。實施方式的不同方面和元件可以類似的方式合井。此外，應強調技術是發(fā)展的，因此，這些元件中的很多是例子，且不應被解釋為限制本發(fā)明的范圍。在說明書中給出了具體的細節(jié)，以提供對實施方式的徹底理解。然而，本領域普通技術人員應理解，在沒有這些具體細節(jié)的情況下可實現(xiàn)該實施方式。例如，在沒有不必要的細節(jié)的情況下示出了公知的電路、過程、算法、結構和技木，以便避免使實施方式含糊。進ー步地，這里提供的標題只用來有助于對不同實施方式的清楚描述，且不應被解釋為限制本 發(fā)明的范圍或本發(fā)明的任何部分的功能。例如，某些方法或部件可被實現(xiàn)為其它方法或部件的部分，即使它們是在不同的標題下描述的。此外，注意，實施方式可被描述為ー過程，其被描繪為流程圖或結構圖。雖然每個實施方式可將操作描述為順序的過程，但這些操作中的很多操作可并行或同時執(zhí)行。此外，可重新排列操作的順序。過程可以有未包括在附圖中的額外步驟。
權利要求
1.一種用于通過網絡處理音樂稿件的方法，所述方法包括 在一門戶接收音樂稿件，所述音樂稿件包括一組音樂元素，且所述門戶可通過所述網絡來訪問； 響應于在所述門戶通過所述網絡接收到的至少一個合作請求而在所述門戶產生與所述音樂稿件的至少一部分有關的音樂輸出， 其中所述至少一個合作請求與所述一組音樂元素有關；并且 其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
2.如權利要求I所述的方法，其中解構包括 接收所述音樂稿件； 確定所述音樂稿件的音樂微元素； 基于所確定的音樂微元素來確定音樂宏元素。
3.如權利要求I所述的方法，其中所述一組音樂元素識別所述音樂稿件的在所述音樂稿件內多個時間間隔處的成分。
4.如權利要求3所述的方法，其中所述音樂稿件的所述成分是關于已錄制的演奏而識別的。
5.如權利要求I所述的方法，進一步包括 在所述門戶接收所述音樂稿件，所述音樂稿件包括音頻信號；以及 對所述音頻信號進行解構，以產生所述一組音樂元素的至少一部分。
6.如權利要求I所述的方法，其中從解構而產生的所述至少一個音樂元素包括樂譜表/Jn o
7.如權利要求I所述的方法，其中所述音樂稿件是第一音樂稿件，并且所述方法進一步包括 在所述門戶接收第二音樂稿件，所述第二音樂稿件包括音頻信號。
8.一種用于通過網絡處理音樂稿件的系統(tǒng)，所述系統(tǒng)包括 門戶，所述門戶可被多個用戶工作站通過所述網絡訪問，且所述門戶包括 合作單元，其可操作來 接收音樂稿件，所述音樂稿件包括一組音樂元素；以及 響應于在所述門戶通過所述網絡接收到的至少一個合作請 求而產生與所述音樂稿件的至少一部分有關的音樂輸出； 編輯單元，其可操作來提供一組編輯能力，用于至少部分地根據 所述合作請求來編輯音樂元素； 輸出產生單元，其可操作來至少部分地根據所述音樂稿件和所述合作請求來產生輸出數(shù)據；以及 網絡接口單元，其可操作來促進所述多個工作站和所述門戶之間通過所述網絡的通f目 其中所述至少一個合作請求與所述一組音樂元素有關；并且 其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
9.如權利要求8所述的系統(tǒng)，其中解構包括 接收所述音樂稿件； 確定所述音樂稿件的音樂微元素； 基于所確定的音樂微元素來確定音樂宏元素。
10.如權利要求8所述的系統(tǒng)，其中所述一組音樂元素識別所述音樂稿件的在所述音樂稿件內多個時間間隔處的成分。
11.如權利要求10所述的系統(tǒng)，其中所述音樂稿件的所述成分是關于已錄制的演奏而識別的。
12.如權利要求8所述的系統(tǒng)，進一步包括 音頻解構單元，其可操作來 接收首樂稿件，所述首樂稿件包括首頻彳目號；以及 對所述音頻信號進行解構，并產生所述一組音樂元素的至少一部分。
13.如權利要求12所述的系統(tǒng)，其中所述音頻解構單元駐留在所述多個工作站中的至少一個上。
14.如權利要求8所述的系統(tǒng)，進一步包括 樂譜解構單元，其可操作來 接收樂譜圖像；以及 將所述樂譜圖像解構成一組音樂元素。
15.如權利要求14所述的系統(tǒng)，其中所述樂譜解構單元駐留在所述多個工作站中的至少一個上。
16.如權利要求8所述的系統(tǒng)，其中從解構而產生的所述至少一個音樂元素包括樂譜表不。
17.一種計算機可讀存儲介質，其具有包括在其中的計算機可讀程序，所述計算機可讀程序用于引導通過網絡處理音樂稿件的門戶的操作，所述門戶包括合作單元，所述合作單元包括編輯單元、輸出產生單元和網絡接口單元，所述計算機可讀程序包括用于根據下列操作合作處理音樂稿件的計算機可執(zhí)行指令 在一門戶接收音樂稿件，所述音樂稿件包括一組音樂元素，且所述門戶可通過所述網絡來訪問；以及 響應于在所述門戶通過所述網絡接收到的至少一個合作請求而在所述門戶產生與所述音樂稿件的至少一部分有關的音樂輸出， 其中所述至少一個合作請求與所述一組音樂元素有關；并且 其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
18.如權利要求17所述的計算機可讀存儲介質，其中解構包括 接收所述音樂稿件； 確定所述音樂稿件的音樂微元素; 基于所確定的音樂微元素來確定音樂宏元素。
19.如權利要求17所述的計算機可讀存儲介質，其中所述一組音樂元素識別所述音樂稿件的在所述音樂稿件內多個時間間隔處的成分。
20.如權利要求19所述的計算機可讀存儲介質，其中所述音樂稿件的所述成分是關于已錄制的演奏而識別的。
21.如權利要求17所述的計算機可讀存儲介質，進一步包括 在所述門戶接收所述音樂稿件，所述音樂稿件包括音頻信號；以及 對所述音頻信號進行解構，以產生所述一組音樂元素的至少一部分。
22.如權利要求17所述的計算機可讀存儲介質，其中從解構而產生的所述至少一個音樂元素包括樂譜表示。
23.如權利要求17所述的計算機可讀存儲介質，其中所述音樂稿件是第一音樂稿件，并且所述方法進一步包括 在所述門戶接收第二音樂稿件，所述第二音樂稿件包括音頻信號。
24.一種用于通過網絡處理音樂稿件的方法，所述方法包括 在一門戶接收音樂稿件，所述音樂稿件包括一組音樂元素，且所述門戶可通過所述網絡來訪問； 在所述門戶通過所述網絡接收多個合作請求，所述多個合作請求中的每個至少部分地涉及所述音樂稿件；以及 響應于所述多個合作請求中的至少一個合作請求而在所述門戶產生與所述音樂稿件的至少一部分有關的音樂輸出， 其中所述至少一個合作請求與所述一組音樂元素有關；并且 其中所述一組音樂元素識別關于已錄制的演奏的所述音樂稿件的在所述音樂稿件內多個時間間隔處的成分。
25.如權利要求24所述的方法，其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
26.如權利要求24所述的方法，進一步包括 在所述門戶接收所述音樂稿件，所述音樂稿件包括音頻信號；以及 對所述音頻信號進行解構，以產生所述一組音樂元素的至少一部分。
27.如權利要求24所述的方法，其中所述音樂稿件是第一音樂稿件，并且所述方法進一步包括 在所述門戶接收第二音樂稿件，所述第二音樂稿件包括音頻信號。
28.如權利要求24所述的方法，其中所述多個合作請求的至少第一部分來自第一用戶工作站，而所述多個合作請求的至少第二部分來自第二用戶工作站。
29.一種用于通過網絡處理音樂稿件的系統(tǒng)，所述系統(tǒng)包括 門戶，所述門戶可被多個用戶工作站通過所述網絡訪問，且所述門戶包括 合作單元，其可操作來 從所述多個用戶工作站中所選的一個用戶工作站接收音樂稿件，所述音樂稿件包括一組音樂元素；以及 接收合作請求，所述合作請求至少部分地涉及所述音樂稿件，其中所述一組音樂元素識別關于已錄制的演奏的所述音樂稿件的在所述音樂稿件內多個時間間隔處的成分； 編輯單元，其可操作來提供一組編輯能力，用于至少部分地根據所述合作請求來編輯音樂元素；輸出產生單元，其可操作來至少部分地根據所述音樂稿件和在所述門戶接收到的所述合作請求來產生輸出數(shù)據；以及 網絡接口單元，其可操作來促進所述工作站和所述門戶之間通過所述網絡的通信。
30.如權利要求29所述的系統(tǒng)，其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
31.如權利要求29所述的系統(tǒng)，進一步包括 音頻解構單元，其可操作來 接收音樂稿件；以及 將所述音樂稿件解構成一組音樂元素。
32.如權利要求31所述的系統(tǒng)，其中所述音頻解構單元駐留在所述多個工作站中的至少一個上。
33.如權利要求29所述的系統(tǒng)，樂譜解構單元可操作來 接收樂譜圖像；以及 將所述樂譜圖像解構成一組音樂元素。
34.如權利要求33所述的系統(tǒng)，其中所述樂譜解構單元駐留在所述多個工作站中的至少一個上。
35.如權利要求29所述的系統(tǒng)，其中所述音樂稿件是第一音樂稿件，并且所述合作單元被配置成接收第二音樂稿件，所述第二音樂稿件包括音頻信號。
36.如權利要求29所述的系統(tǒng)，進一步包括 樂譜解構單元，其可操作來 接收樂譜圖像；以及 將所述樂譜圖像解構成一組音樂元素。
37.一種計算機可讀存儲介質，其具有包括在其中的計算機可讀程序，所述計算機可讀程序用于引導通過網絡處理音樂稿件的門戶的操作，所述門戶包括合作單元，所述合作單元包括編輯單元、輸出產生單元和網絡接口單元，所述計算機可讀程序包括用于根據下列操作處理音樂稿件的計算機可執(zhí)行指令 在所述門戶接收所述音樂稿件，所述音樂稿件包括一組音樂元素，且所述門戶可通過所述網絡來訪問； 通過所述網絡從用戶工作站接收合作請求，以使得所述合作請求至少部分地涉及所述音樂稿件，其中所述一組音樂元素識別關于已錄制的演奏的所述音樂稿件的在所述音樂稿件內多個時間間隔處的成分；以及 響應于所述合作請求而在所述門戶產生與所述音樂稿件的至少一部分有關的音樂輸出， 其中至少一個合作請求與所述一組音樂元素有關；并且 其中所述一組音樂元素定義關于已錄制的演奏的所述音樂稿件的在所述音樂稿件內多個時間間隔處的音樂參數(shù)。
38.如權利要求37所述的計算機可讀存儲介質，其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
39.如權利要求37所述的計算機可讀存儲介質,進一步包括在所述門戶接收所述音樂稿件，所述音樂稿件包括音頻信號；以及 對所述音頻信號進行解構，以產生所述一組音樂元素的至少一部分。
40.如權利要求37所述的計算機可讀存儲介質，其中所述音樂稿件是第一音樂稿件，并且所述方法進一步包括 在所述門戶接收第二音樂稿件，所述第二音樂稿件包括音頻信號。
41.如權利要求37所述的計算機可讀存儲介質，其中所述多個合作請求的至少第一部分來自第一用戶工作站，而所述多個合作請求的至少第二部分來自第二用戶工作站。
42.一種用于配置門戶計算機來通過網絡處理音樂稿件的方法，所述方法包括 建立從網絡計算機設備到所述門戶計算機的網絡通信鏈接； 通過所述網絡通信鏈接將程序指令從所述網絡計算機設備傳輸?shù)剿鲩T戶計算機，其中所傳輸?shù)某绦蛑噶畋慌渲贸纱鎯υ谒鲩T戶計算機的存儲器中并執(zhí)行來在所述門戶計算機接收音樂稿件，并響應于在所述門戶計算機通過所述網絡接收到的至少一個合作請求而在所述門戶計算機產生與所述音樂稿件的至少一部分有關的音樂輸出，其中所述音樂稿件包括一組音樂元素，且所述門戶計算機可通過所述網絡來訪問， 其中所述至少一個合作請求與所述一組音樂元素有關；并且 其中所述一組音樂元素中的至少一個音樂元素是通過對所述音樂稿件的至少一部分進行解構而產生的。
43.如權利要求42所述的方法，其中解構包括 在所述門戶計算機接收所述音樂稿件； 確定所述音樂稿件的音樂微元素； 基于所確定的音樂微元素來確定音樂宏元素。
全文摘要
描述了用于通過網絡合作處理音樂稿件的方法、系統(tǒng)和設備。本發(fā)明的實施方式提供了門戶，該門戶可通過網絡被多個工作站訪問并配置成提供用于編輯音樂元素的一組編輯能力。在門戶可接收音樂稿件。音樂稿件的至少一部分包括音樂元素。在某些實施方式中，從音頻信號或樂譜圖像解構音樂元素?？赏ㄟ^網絡在門戶接收多個合作請求。一些合作請求可來源于第一工作站，而其它合作請求可來源于第二工作站。響應于合作請求的至少一個，音樂元素的至少一部分可使用門戶的編輯能力而得到編輯。
文檔編號G06F17/30GK102867526SQ20121025051
公開日2013年1月9日 申請日期2008年2月14日 優(yōu)先權日2007年2月14日
發(fā)明者R·D·陶布, J·A·卡瓦尼利亞, G·圖特洛特 申請人:繆斯亞米有限公司