專利名稱：用于使用戶能夠修改音頻文件的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及使用戶能夠經(jīng)由用于控制用來再制作(re-authoring)音頻文件的驅(qū)動器的用戶界面來修改音頻文件的方法和裝置。具體而非排他性地，本發(fā)明涉及使用戶能夠經(jīng)由用于控制用來向MIDI文件提供三維音頻數(shù)據(jù)的驅(qū)動器的用戶界面來修改MIDI文件的方法和裝置。
背景技術(shù)：
很多個體用戶都在他們自己的PC上下載和收聽MIDI文件形式的音樂。但是，用戶變得越來越專業(yè)并且需要提高MIDI文件的音景(soundscape)。另外，用戶希望能夠例如通過修改MIDI文件音景和保存他們自己的修改來使MIDI文件個性化以更好地收聽。
二維音頻數(shù)據(jù)對各種音頻文件來說是已知的。如果二維音頻數(shù)據(jù)被應(yīng)用于文件，則聲音不是從固定位置發(fā)出的，而是使其周期性地改變位置或使其從移動的位置發(fā)出。但是，至今還未找到使用戶能夠利用二維或三維音頻數(shù)據(jù)來修改MIDI文件的便利方法。

發(fā)明內(nèi)容
一般而言，本發(fā)明提出一個用戶界面被提供用于控制用來再制作音頻文件的驅(qū)動器。在該用戶界面中，音頻文件中的每個樂器或樂器集合都被分配了一個圖標。對于每個圖標，可以選擇一個特定位置(相對于用戶)和/或可以選擇一個特定軌線(trajectory)(相對于用戶)。特定軌線可以是從軌線選集(selection)中選出的。用戶界面示出圖標和每個圖標相對于用戶的位置，并且還可以示出分配給每個圖標的軌線。因此，用戶能夠為圖標選擇新位置和/或軌線，并且一旦這樣做，他可以在用戶界面上看到他已做出的改變。
具體而言，根據(jù)本發(fā)明，提供了一種使用戶能夠經(jīng)由用戶界面來修改音頻文件的方法，其中所述用戶界面用于控制用來再制作所述音頻文件的驅(qū)動器，所述方法包括以下步驟a)使所述用戶界面上的圖標與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)提供用于每個所述圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)在所述用戶界面上提供用于示出每個所述圖標的位置的顯示，其中每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬位置；d)用戶選擇一個圖標；e)用戶將來自所述選集的一個軌線和/或位置分配給被選圖標；以及g)在所述顯示上指示被選圖標的位置以及是否為被選圖標分配了軌線。
在優(yōu)選實施例中，用戶界面上的顯示示出了用戶的虛擬視圖和用戶的周圍環(huán)境。在此情況下，指示被選圖標的位置的步驟可以包括在虛擬視圖上顯示圖標在用戶周圍環(huán)境中的位置。
在一個實施例中。所述虛擬視圖示出了用戶的虛擬平面圖以及圍繞用戶的二維水平面。在此情況下，圖標在二維平面中的位置可以由圖標在該虛擬平面圖中的位置來指示。圖標在垂直方向上的位置可以通過改變圖標的外觀而被指示在虛擬平面圖上。例如，圖標可以被示為具有陰影，陰影的大小指示圖標相對于用戶的垂直位置。
在另一實施例中，所述虛擬視圖示出了用戶的虛擬透視圖以及圍繞用戶的三維空間。在此情況下，圖標在用戶周圍空間中的位置可以由圖標在該虛擬透視圖上的位置來指示。
也可以設(shè)想其他虛擬視圖。例如，虛擬視圖可以示出用戶的虛擬正視圖(elevation view)以及圍繞用戶的二維垂直平面。
有利的是，用戶將位置分配給被選圖標的步驟包括用戶在所述虛擬視圖上用戶的周圍環(huán)境中移動被選圖標。這可以是通過在用戶界面上點擊和拖拉被選圖標來實現(xiàn)的。
優(yōu)選地，該方法還包括在用戶界面上示出與每個圖標相關(guān)聯(lián)的一個或多個樂器的步驟。
優(yōu)選地，該方法還包括在存在軌線的情況下，在用戶界面上示出分配給每個圖標的軌線的步驟。軌線定義了圍繞用戶的一個位置序列，該位置序列被重復以構(gòu)成在完整的音頻文件的持續(xù)時間內(nèi)將連續(xù)的循環(huán)。
優(yōu)選地，該方法還包括將修改保存到音頻文件的步驟。該步驟可以由用戶執(zhí)行，也可以例如以固定時間間隔來自動執(zhí)行。
在一個實施例中，與每個圖標相關(guān)聯(lián)的一個或多個樂器以及分配給每個圖標的軌線被顯示在用戶界面上的第二顯示上。該第二顯示還可以顯示與每個圖標相關(guān)的其它信息。因此，在此實施例中，在用戶界面上存在兩個顯示第一顯示示出每個圖標相對于用戶的位置，而第二顯示示出與每個圖標相關(guān)的信息，包括與每個圖標相關(guān)聯(lián)的一個或多個樂器以及與每個圖標相關(guān)聯(lián)的軌線。
在優(yōu)選實施例中，已被分配了軌線的一個或多個圖標具有與還未被分配軌線的圖標不同的視覺外觀。因此，用戶能夠一眼分辨出哪些圖標已被分配了軌線而哪些圖標還未被分配軌線。
在一個實施例中，已被分配了軌線的一個或多個圖標被利用彩色光亮示出。該光亮可能是綠色光亮，其中綠色一般與移動相關(guān)聯(lián)。
在本發(fā)明的實施例中，可能軌線的選集包括以下群組中的一種或多種左右移動；上下移動；8字形移動；Z字形移動；螺旋形移動；和弧形移動。也可以設(shè)想其他可能的軌線。
在特別有利的實施例中，音頻文件是MIDI文件，而軌線的節(jié)奏被設(shè)置為與MIDI文件的音樂的節(jié)奏相匹配。在此實施例中，該方法還包括用戶為分配給被選圖標的軌線選擇來自選集的節(jié)奏的步驟。
在一個實施例中，音頻文件是MIDI文件。
根據(jù)本發(fā)明，提供了一種用于使用戶能夠修改音頻文件的裝置，該裝置包括用于控制用來再制作所述音頻文件的驅(qū)動器的用戶界面，該用戶界面包括a)至少一個圖標，其中每個圖標都與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)用于每個圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)所述用戶界面上的顯示，該顯示示出iii)每個圖標的位置，每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬位置；以及iv)是否為被選圖標分配了軌線。
在優(yōu)選實施例中，所述用戶界面上的顯示包括用戶的虛擬視圖和用戶的周圍環(huán)境。在此情況下，所述顯示可以通過在所述虛擬視圖上顯示圖標在用戶的周圍環(huán)境中的位置來示出每個圖標的位置。
在一個實施例中，所述虛擬視圖示出了用戶的虛擬平面圖以及圍繞用戶的二維水平面。在此情況下，圖標在二維平面中的位置可以由圖標在該虛擬平面圖中的位置來指示。圖標在垂直方向上的位置可以通過改變圖標的外觀而被指示在虛擬平面圖上。例如，圖標可以被示為具有陰影，陰影的大小指示圖標相對于用戶的垂直位置。
在另一實施例中，所述虛擬視圖示出了用戶的虛擬透視圖以及圍繞用戶的三維空間。在此情況下，圖標在用戶周圍空間中的位置可以由圖標在該虛擬透視圖上的位置來指示。
也可以設(shè)想其他虛擬視圖。例如，虛擬視圖可以示出用戶的虛擬正視圖以及圍繞用戶的二維垂直平面。
優(yōu)選地，該顯示示出與每個圖標相關(guān)聯(lián)的一個或多個樂器。優(yōu)選地，該顯示在存在軌線的情況下示出分配給每個圖標的軌線。
在優(yōu)選實施例中，已被分配了軌線的一個或多個圖標具有與還未被分配軌線的圖標不同的視覺外觀。因此，用戶能夠一眼分辨出哪些圖標已被分配了軌線而哪些圖標還未被分配軌線。
在一個實施例中，已被分配了軌線的一個或多個圖標被利用彩色光亮示出。該光亮可能是綠色光亮，其中綠色一般與移動相關(guān)聯(lián)。
在本發(fā)明的實施例中，可能軌線的選集包括以下群組中的一種或多種左右移動；上下移動；8字形移動；Z字形移動；螺旋形移動；和弧形移動。也可以設(shè)想其他可能的軌線。
根據(jù)本發(fā)明提供了一種使用戶能夠經(jīng)由用戶界面來修改音頻文件的方法，其中所述用戶界面用于控制用來再制作所述音頻文件的驅(qū)動器，所述方法包括以下步驟a)使所述用戶界面上的圖標與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)提供用于每個所述圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)對于每個軌線，提供可能節(jié)奏的選集，其中每個節(jié)奏都與所述音頻文件的音樂的節(jié)奏相匹配，并且限定了所述圖標的移動速率；d)用戶選擇一個圖標；e)用戶將來自所述選集的一個軌線分配給被選圖標；以及f)用戶將來自所述選集的一個節(jié)奏分配給已分配給被選圖標的軌線。
每個節(jié)奏定義圖標對于給定軌線的移動速率。每個節(jié)奏都與音頻文件的音樂節(jié)奏相匹配，從而在音頻文件音樂和圖標軌線之間建立協(xié)調(diào)性。
優(yōu)選地，該方法還包括在用戶界面上示出與每個圖標相關(guān)聯(lián)的一個或多個樂器的步驟。
優(yōu)選地，該方法還包括在用戶界面上示出分配給每個圖標的軌線的步驟。
優(yōu)選地，該方法還包括在用戶界面上示出分配給已分配給每個圖標的軌線的節(jié)奏的步驟。
在一個實施例中，與每個圖標相關(guān)聯(lián)的一個或多個樂器和分配給每個圖標的軌線以及分配給每個軌線的節(jié)奏都被示出在用戶界面上的顯示上。該顯示還可以顯示與每個圖標相關(guān)的其他信息。
在本發(fā)明的實施例中，可能軌線的選集包括以下群組中的一種或多種左右移動；上下移動；8字形移動；Z字形移動；螺旋形移動；和弧形移動。
根據(jù)本發(fā)明，提供了一種用于使用戶能夠修改音頻文件的裝置，該裝置包括用于控制用來再制作所述音頻文件的驅(qū)動器的用戶界面，該用戶界面包括a)至少一個圖標，其中每個圖標都與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)用于每個圖標的可能軌線的選集，其中每個軌線定義相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)用于每個軌線的可能節(jié)奏的選集，其中每個節(jié)奏與音頻文件的音樂節(jié)奏相匹配，并且限定了所述圖標的移動速率；以及d)所述用戶界面上的顯示，該顯示示出了每個圖標的位置，每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬位置。
根據(jù)本發(fā)明，還提供了一種使用戶能夠經(jīng)由用戶界面來修改音頻文件的方法，其中所述用戶界面用于控制用來再制作所述音頻文件的驅(qū)動器，所述方法包括以下步驟計算機裝置使用戶界面上的圖標與音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；計算機裝置提供用于每個圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于用戶的虛擬路徑；計算機裝置在用戶界面上提供用于示出每個圖標的位置的顯示，其中每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于用戶的虛擬位置；用戶選擇一個圖標；用戶將一個位置分配給被選圖標；可選地，用戶將來自選集的一個軌線分配給被選圖標；以及計算機裝置在所述顯示上指示被選圖標的位置以及是否為被選圖標分配了軌線。
應(yīng)該理解，本發(fā)明的一個方案的任意優(yōu)選特征也可以是本發(fā)明的任意其他方案的優(yōu)選特征。


通過結(jié)合附圖參考以下詳細描述，本發(fā)明的前述方案和許多附帶優(yōu)點將變得更顯而易見并且變得更好理解，在附圖中
圖1的流程圖示出了用戶可以用來允許利用3D MIDI信息對標準MIDI文件內(nèi)容進行再制作的步驟；圖2是用于圖1中的步驟101的示例性用戶界面顯示；圖3是用于圖1中的步驟103和105的示例性用戶界面顯示；圖4是用于圖1中的步驟107的第一示例性用戶界面顯示；圖5是用于圖1中的步驟107的第二示例性用戶界面顯示；以及圖6是示出用戶是如何能夠一次操作若干文件的示例性用戶界面顯示。
具體實施例方式
圖1的流程圖示出了用戶可以用來允許利用3D MIDI信息對標準MIDI文件內(nèi)容進行再制作的步驟。
該邏輯從開始步驟移動到步驟101，在步驟101中，用戶選擇將利用3D音頻渲染(rendering)元數(shù)據(jù)的應(yīng)用來再制作的特定MIDI文件。該文件通常是僅僅利用2D音頻無法被修改的MIDI文件。
一旦用戶在步驟101處已經(jīng)打開該MIDI文件，他就可以立即看到代表該文件內(nèi)樂器的圖標選集。每個圖標可以代表單個樂器(例如鍵盤樂器/鋼琴)，或者可以代表多于一個樂器(例如鍵盤樂器再加上吉他)，或者也可以代表一組樂器(例如管弦樂隊中的弦樂部分)。圖標的數(shù)量將取決于樂器的數(shù)量，而樂器的數(shù)量將取決于所選的特定文件。
圖標以示出每個圖標相對于用戶的位置的方式被顯示在用戶界面上。特定圖標在顯示屏上的位置代表與該圖標相關(guān)聯(lián)的一個或多個樂器相對于用戶的虛擬位置，即當該MIDI文件被播放時，將發(fā)出與該圖標相關(guān)聯(lián)的一個或多個特定樂器的聲音的位置。
注意，“圖標位置”和“樂器位置”在本說明書中是可互換使用的，但是應(yīng)該理解，“圖標位置”指的是圖標在用戶界面上相對于用戶的位置，而“樂器位置”指的是樂器相對于用戶的虛擬位置。圖標/樂器的位置可以被限制在圍繞用戶的二維水平面上?？商鎿Q地，圖標/樂器可以被定位在圍繞用戶的三維空間中。
在步驟103處，用戶選擇一個特定圖標。被選圖標是用戶想要對其分配新位置和/或軌線(trajectory)的那個圖標，即用戶希望在播放該MIDI文件時，與被選圖標相關(guān)聯(lián)的一個或多個樂器的聲音是從新位置發(fā)出的，或者希望在播放該MIDI文件時，所述一個或多個樂器的聲音從不固定的位置發(fā)出。
在步驟105處，用戶將位置分配給被選圖標。這可以通過將被選圖標移動到用戶界面顯示上的一個不同位置來實現(xiàn)。
在步驟107處，用戶將軌線分配給被選圖標。該軌線是從用于該圖標的一系列可能軌線中選出的。所述可能軌線可以包括圍繞用戶的二維水平面內(nèi)的軌線(2D軌線)和圍繞用戶的三維空間中的軌線(3D軌線)。每個軌線限定了一個位置序列，該位置序列被重復以構(gòu)成一個在整個MIDI文件的持續(xù)時間中連續(xù)的循環(huán)。
一旦已經(jīng)為特定圖標分配了一條軌線，用戶界面就示出哪條軌線已被分配給該圖標。另外，該圖標本身在用戶界面上的外觀改變。這樣一來，用戶可以立即看出哪些圖標已被分配了軌線，而哪些圖標未被分配軌線，即在播放該MIDI文件時，哪些將移動而哪些將保持固定。
注意，“圖標軌線”和“樂器軌線”在本說明書中是可互換使用的，但是應(yīng)該理解，“圖標軌線”指的是圖標在用戶界面上相對于用戶的路徑，而“樂器軌線”指的是樂器相對于用戶的虛擬路徑。
在步驟109處，用戶可以選擇回放該MIDI文件，以預(yù)覽帶有在步驟103、105和107中做出的新修改的音景。
接下來，邏輯移動到判斷框111，其中用戶可以選擇操作其他圖標。因此，用戶可以對文件中的若干或所有樂器分配新位置和軌線，從而每次通過回放該MIDI文件來預(yù)覽效果。一旦用戶對足夠圖標已被分配了新位置或軌線的情況滿意，并且用戶對這些新位置/軌線的效果滿意，則邏輯移動到步驟113。
在步驟113處，用戶可以選擇保存加入了他已做出的修改的文件。然后該邏輯前進至停止框。
圖2到5根據(jù)圖1的流程圖中示出的步驟示出了用于本發(fā)明實施例的示例性用戶界面顯示。
圖2示出了在打開MIDI文件“海洋小夜曲(Ocean Serenade)”時(圖1中的步驟101)會出現(xiàn)的用于該MIDI文件的示例性用戶界面顯示201。在用戶界面顯示201的左側(cè)是用戶表示203。用戶表示203是用戶的虛擬平面圖，并示出了圍繞著位于中心的用戶207的圓形水平面205。示出7個圖標209a到209g圍繞著用戶(但是，當然可以理解，可以示出任意數(shù)目的圖標并且這取決于特定的MIDI文件)。每個圖標的角度位置代表在播放該MIDI文件時，將從其發(fā)出一個或多個樂器的聲音的位置。每個圖標的徑向位置(即到用戶207的距離)代表在播放該MIDI文件時一個或多個樂器(相對于其他樂器)的音量。
在用戶界面顯示201的右側(cè)是樂器框211。
在樂器框211上示出了五列。第一列213示出圖標號。第二列215示出可見性復選框。第三列217示出圖標本身。第四列219示出每個圖標代表的(一個或多個)樂器。而第五列221示出是否對該樂器分配了軌線。
第一列213簡單地示出了圖標號。每個圖標被分配了一個號碼，以簡化用戶對圖標的標識。
第二列215示出可見性復選框。如果選中了與特定圖標相鄰的復選框，則在復選框中出現(xiàn)眼睛圖像。眼睛指示該圖標在用戶表示203清晰可見。如果未選中眼睛，則該圖標在用戶表示203中變暗。這在MIDI文件中存在很多樂器，因而在用戶表示203中存在很多圖標的情況下是很有用的。用戶可能只對這些圖標中的某些圖標感興趣，并且可以不選中其余圖標上的眼睛復選框，從而在用戶界面上產(chǎn)生不太混亂的視圖。在圖2中，我們看到圖標209a到209f是清晰可見的(眼睛復選框被選擇)，而圖標209g是暗淡的(眼睛復選框未被選擇)。
第三列217簡單地示出圖標本身，就像它們在用戶表示中呈現(xiàn)的那樣。
第四列219示出了每個圖標所代表的(一個或多個)樂器。我們看到，圖標209a代表大鋼琴，209b代表圓號，209c代表低音提琴，209d代表管弦樂隊的弦樂部分，209e代表排簫，209f代表鼓，而209g代表手風琴。
第五列221示出了是否對該圖標分配了軌線。在圖2中，我們看到所有圖標209a到209g都是“固定的”，即還未分配軌線。
用戶界面上的其他部件包括工具條223、進度條225、全局立體聲擴展指示器227和音量指示器229，其中工具條223包括打開、保存、另存為和查看樂器按鈕。
工具條223使用戶能夠打開MIDI文件(打開按鈕)、保存打開的MIDI文件(保存按鈕)，或者將打開的MIDI文件保存為新文件(另存為按鈕)。工具條223上的查看樂器按鈕打開和關(guān)閉樂器框211。
進度條225示出了當回放MIDI文件時的進度。進度條225還包括播放、停止、前進和倒退按鈕。
全局立體聲擴展指示器227控制回放的MIDI文件的立體聲擴展，而音量指示器229控制主音量。
參考圖1，我們看到用戶可以選擇一個圖標，并為該圖標分配一個新位置(步驟103和105)。圖3示出一旦一個新位置已被分配給圖標209a時的示例性用戶界面顯示301。
圖標209a(大鋼琴)現(xiàn)在具有一個新的角度位置，因此當播放該MIDI文件時，大鋼琴的聲音將從不同的位置發(fā)出。圖標209a還具有一個不同的徑向位置(它離用戶更遠了)，因此當播放該MIDI文件時，大鋼琴相對于其他樂器的聲音將更弱。
參考圖1，我們看到用戶可以為被選圖標分配一個新軌線(步驟107)。圖4示出了當為圖標209a分配了一條軌線時的示例性用戶界面顯示401。
我們看到，當已經(jīng)為圖標209a選擇了軌線列221時，可能軌線的選擇403出現(xiàn)。在所示示例中，存在6種可能軌線8字形移動405、順時針螺旋形移動407、逆時針螺旋形移動409、上下移動411和在兩個方向上的對角線移動413和415。當然，其他軌線也是可能的。這些軌線包括(但不局限于)三角形移動以及從左到右的或上下的弧線移動。
如前所述，軌線限定了一個位置序列，該位置序列被重復以構(gòu)成循環(huán)。聲源移動的限制可以由簡單的距離參數(shù)來設(shè)置，因此可能軌線的尺寸是可控制的。
將會看到，某些軌線(例如軌線407)僅涉及圍繞用戶在水平面上的移動。這些是2D軌線。其他軌線涉及圍繞用戶在三維空間中的移動。這些是3D軌線。下面將進一步對此進行論述。
圖5示出了在一條軌線已被分配給圖標209a時的示例性用戶界面顯示501。
所選擇的軌線(在此情況下是8字形軌線)在軌線列221中被示出。另外，圖標209a現(xiàn)在被示為綠色，以指示已為該圖標分配了軌線。因此，用戶可以很快并容易地看到哪些圖標已被分配了軌線，而哪些圖標還未分配軌線。
參考圖1，我們看到，用戶現(xiàn)在可以通過回放該MIDI文件來預(yù)覽已經(jīng)過修改的MIDI文件。當該MIDI文件被回放時，進度條225示出文件的進度。另外，當該MIDI文件被回放時，那些已被分配了軌線的圖標將根據(jù)它們已分配的軌線在用戶表示中移動。當該MIDI文件被回放時，與該圖標相關(guān)聯(lián)的(一個或多個)樂器的聲音也將看來好像是從移動的位置發(fā)出的。
一旦用戶已經(jīng)預(yù)覽過該文件，他可能選擇為更多圖標分配位置和軌線(圖1中的步驟111)。為此，他對于一個或多個其他圖標，重復步驟103、105、107和109。
一旦用戶對該MIDI文件滿意，他就可以使用工具條223中的“保存”或“另存為”選項來保存該MIDI文件。一旦MIDI文件已通過使用保存或另存為按鈕而被保存，分配給各個圖標的新軌線/位置就與該MIDI文件相關(guān)聯(lián)。因此，當MIDI文件下次被回放時，已經(jīng)做出的各種修改將被引入進來。MIDI文件下次可能被同一用戶所回放，也可能被遠離第一用戶的另一用戶所回放。例如，第一用戶可以將新的MIDI文件以電子方式發(fā)送到第二用戶。因此，其他用戶將能夠體驗該新的MIDI文件的音景。
將會理解，圖1中的步驟在其他實施例中可能變化。例如，用戶可能希望在他操作MIDI文件時將修改保存到該MIDI文件，或者他可能希望更有規(guī)律地預(yù)覽音景。
用戶可能希望同時處理若干音軌。因此，用戶界面是可伸縮的，以便同時顯示若干用戶界面。這在圖6中示出。
該系統(tǒng)被設(shè)計為由想要在他自己的PC上編輯MIDI文件的單獨用戶所使用。通常，PC將被設(shè)置為在用戶左側(cè)具有一個揚聲器，并在用戶右側(cè)具有一個揚聲器。
如果選擇了2D軌線，則在回放該MIDI文件時，圖標據(jù)此在用戶表示203(其示出圍繞用戶的水平面)中移動。同時，樂器的聲音將看起來好像是從移動的位置上發(fā)出的。這將利用位于用戶左側(cè)和右側(cè)的兩個揚聲器來實現(xiàn)。
但是，如果選擇了3D軌線，則圖標據(jù)此在用戶表示203上移動。但是，用戶表示203僅示出了水平面，而對于3D軌線，還必須示出圖標/樂器的上下移動(高程)。這是通過示出圍繞圖標的陰影來實現(xiàn)的，當圖標變得更遠離或更靠近用戶時，陰影增大或減小。同時，樂器的聲音將以上下移動的方式移動，并且這是通過兩個虛擬化高程的揚聲器來實現(xiàn)的，即水平空間中的揚聲器通過虛擬化上方和下方聲音來模仿高程移動。
當為特定樂器分配了軌線時，如果該軌線的節(jié)拍被設(shè)定為與MIDI文件中的特定音樂的節(jié)奏相符，則在該MIDI文件被回放時，音景將得以改善。如果是這樣，那么樂器/圖標移動的節(jié)奏將與音樂的節(jié)奏一致，或者樂器/圖標將以這種兩種節(jié)奏相符的方式移動。因此，兩種節(jié)奏的匹配將改善用戶的聽覺體驗，并且還將提供音樂和所分配的軌線之間的鏈接。
例如，給定華爾茲節(jié)奏以及簡單的左右交替的軌線，如果利用華爾茲節(jié)奏來設(shè)定該軌線的節(jié)拍，則音景將得以改善。一種實現(xiàn)方法是將軌線安排成使得聲音在一小節(jié)3拍的華爾茲時序的第一拍時從用戶的左側(cè)發(fā)出，而在一小節(jié)3拍的華爾茲時序的下一個第一拍時從用戶的右側(cè)發(fā)出，以此類推?？商鎿Q地，聲音可以被安排成在華爾茲節(jié)奏的每一拍上在左側(cè)和右側(cè)之間振蕩。
但是，應(yīng)該理解，這是一個示例，并且可以設(shè)想很多其他節(jié)奏。例如，音樂的節(jié)奏可以是一小節(jié)2或4拍。對于一個給定的音樂節(jié)奏，可以存在多種不同的軌線節(jié)奏。
因此，在本發(fā)明的一個實施例中(在附圖中未示出)，當用戶選擇將分配給特定圖標的軌線時，用于該軌線的可能節(jié)奏的選集被顯示。(這可以包括類似于圖4所示的選集，但是是對節(jié)奏而非軌線的選集。)用戶可以選擇他中意的節(jié)奏，這將取決于他喜歡的聽覺體驗。可替換地，軌線節(jié)奏可以在分配軌線時，根據(jù)MIDI文件的音樂節(jié)奏而被自動設(shè)置。
本發(fā)明在使用用戶界面創(chuàng)建新位置和/或軌線方面的范圍意在擴展到修改標準的(傳統(tǒng)二維)音頻文件以及修改已經(jīng)包含3D參數(shù)的音頻文件。
根據(jù)所示出并描述的實施例，在修改音頻文件的過程中，通過操作圖標來修改用戶界面參數(shù)。就是說，通過如上所述那樣在用戶界面屏幕上移動圖標來優(yōu)選地更新或修改用戶界面參數(shù)。然后，通過使用用于再制作音頻文件的驅(qū)動器，將經(jīng)修改的用戶界面參數(shù)與代表音頻文件的參數(shù)(例如3D MIDI參數(shù))相映射。所述驅(qū)動器可以被配置修改音頻文件，以利用多種方法中的任意方法來設(shè)置定位信息。在不限制本發(fā)明的范圍的情況下，下面將一般地描述用于修改音頻文件的一種方法。
本發(fā)明的范圍意在擴展到使用任意合于表示樂器的虛擬位置的坐標系統(tǒng)的音頻文件，例如，包括球形坐標(以收聽者為中心)或笛卡爾坐標(以揚聲器為中心)系統(tǒng)。在一個實施例中，驅(qū)動器被配置為從在球形坐標系統(tǒng)中表示(一個或多個)樂器虛擬位置的音頻文件中讀取或向該音頻文件寫入。
優(yōu)選地，用戶界面參數(shù)包括相對于以收聽者為中心系統(tǒng)(該系統(tǒng)將收聽者看作原點)定義的方位角、距離、仰角和全景(pan)擴展因子參數(shù)。當修改標準的MIDI文件時，可以從該MIDI文件中獲得被設(shè)計用于在兩個立體聲揚聲器之間設(shè)置聲音的全景控制符。由于一般無法從標準MIDI文件中獲得用于方位角、仰角、距離和全景擴展值，因此為這些參數(shù)設(shè)置缺省值。例如，缺省值0度可以被用于仰角和方位角，而100％可以被用于缺省距離和全景擴展值。標準MIDI假設(shè)采用兩個立體聲揚聲器來提供聲音，這兩個立體聲揚聲器在從收聽者到圓弧的標稱軸的左側(cè)和右側(cè)的缺省間隔為30度，因此100％的缺省值適用于該擴展值。
經(jīng)用戶界面修改的初始用戶界面參數(shù)隨后被提供到驅(qū)動器。然后，驅(qū)動器將用戶界面參數(shù)轉(zhuǎn)換為音頻文件參數(shù)。經(jīng)修改的音頻文件參數(shù)通過假設(shè)MIDI全景控制符沿著一個圓弧定位聲音來確定聲音在虛擬空間中的位置，從收聽者位置到該圓弧中心的圓弧向量是通過仰角、方位角和距離值來限定的。用戶界面全景擴展值被用于限定該圓弧的擴展范圍，并且可以從用戶界面進行控制，在一個實施例中，這是通過調(diào)整如圖2所示的全局立體聲擴展指示器227來實現(xiàn)的。通過使用全景擴展參數(shù)，可以使圓弧變得更寬或更窄。該圓弧可以被可視化為2個虛擬揚聲器之間的圓弧，即左側(cè)參考位置和右側(cè)參考位置之間的圓弧。在一個實施例中，再制作的音頻文件使用全景滾動角參數(shù)來指定圓弧圍繞從收聽者位置到圓弧中心的向量的旋轉(zhuǎn)。
利用用戶界面參數(shù)(相對于原點的方位角、仰角和距離)來表示圖標在顯示屏上的位置的步驟對相關(guān)領(lǐng)域的技術(shù)人員來說是一個易于理解的普通步驟，因此這里不提供對其的完整細節(jié)。例如，圖標沿著標稱軸(例如x軸)的水平距離和沿著垂直y軸(在同一水平面)的垂直距離可以與公知的三角函數(shù)一起被用于確定圖標在水平面上的距離以及圖標的方位角。以類似方式，圖標的仰角可以例如通過使用arc tan函數(shù)而從水平面中的距離和垂直面中的距離來確定。
這些用于圖標位置的用戶界面參數(shù)隨后可以被驅(qū)動器映射到音頻文件的參數(shù)，例如被映射到用于MIDI文件的新參數(shù)或控制符。相關(guān)領(lǐng)域技術(shù)人員，尤其是那些對傳統(tǒng)MIDI格式非常熟悉的人員將會意識到，很多MIDI參數(shù)和控制符的值可以通過使用兩個數(shù)據(jù)字節(jié)(即“粗糙”字節(jié)(MSB)和精細字節(jié)(LSB))來指定，從而為這些參數(shù)提供精細的分辨率。此外，將所述數(shù)據(jù)字節(jié)與控制符或參數(shù)的類型相關(guān)聯(lián)的步驟可以通過使用狀態(tài)字節(jié)來實現(xiàn)，所述狀態(tài)字節(jié)為控制符分配一個特定號碼。如相關(guān)領(lǐng)域技術(shù)人員所公知的，在MIDI消息中接收到的頭部信息通常包括控制符號碼，其中某些是經(jīng)注冊的(在MIDI規(guī)范中定義)，而某些是未經(jīng)注冊的。
在一個實施例中，沒有從用戶界面距離參數(shù)中直接指定到圓弧的距離，而是通過組合以下5個不同參數(shù)來設(shè)置MIDI文件中的距離和衰減參數(shù)的最大距離、最大距離處增益、參考距離比、距離比和增益。
被合適配置的解碼裝置可以基于對再制作的音頻文件的內(nèi)容的讀取來執(zhí)行對聲源的虛擬定位。優(yōu)選地，渲染裝置接受帶有經(jīng)修改數(shù)據(jù)的被保存文件，并使用任何可獲得的揚聲器布局或CODEC而以最令人信服的方式來渲染相應(yīng)的音頻，從而使用回放系統(tǒng)的全部能力。由用戶界面限定的虛擬位置優(yōu)選地被用于確定存儲在再制作的音頻文件中的3D MIDI參數(shù)。從這些與3D MIDI文件一起存儲并與3D控制符相關(guān)聯(lián)的參數(shù)中，聲音渲染設(shè)備能夠適當?shù)囟ㄎ惶摂M源。最初，圓弧是由全景擴展值和全景值來限定的。為了最終在空間中定位虛擬源，方位角和仰角值以及隨后的滾動值的旋轉(zhuǎn)和距離參數(shù)也都被使用。
雖然圖示出利用立體聲揚聲器對3D位置和軌線信息的使用，但是本發(fā)明并不局限于此。本發(fā)明的范圍意在擴展到利用各種聲音揚聲器或系統(tǒng)中的任意一種對聲源進行空間定位，即，使音頻文件能夠利用任意揚聲器系統(tǒng)或3D合成器被回放。例如，從保存的3D MIDI文件中得到的3DMIDI流可以被4.1系統(tǒng)、5.1系統(tǒng)、6.1系統(tǒng)、頭戴耳機等等所使用。此外，本發(fā)明的范圍意在擴展到利用其他合適方法來存儲與樂器相關(guān)聯(lián)的虛擬位置的再制作的文件，以包括在經(jīng)修改的文件中直接定義虛擬位置的笛卡爾坐標。
雖然已經(jīng)示出并描述了本發(fā)明的優(yōu)選實施例，但是將會意識到，在不脫離權(quán)利要求書所限定的本發(fā)明的精神和范圍的情況下，可以執(zhí)行各種修改。
權(quán)利要求
1.一種使用戶能夠經(jīng)由用戶界面來修改音頻文件的方法，其中所述用戶界面用于控制用來再制作所述音頻文件的驅(qū)動器，所述方法包括以下步驟a)使所述用戶界面上的圖標與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)提供用于每個所述圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)在所述用戶界面上提供用于示出每個所述圖標的位置的顯示，其中每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬位置；d)用戶選擇圖標；e)用戶將來自所述選集的軌線和/或位置分配給被選圖標；以及g)在所述顯示上指示被選圖標的位置以及是否為被選圖標分配了軌線。
2.如權(quán)利要求1所述的方法，其中所述用戶界面上的顯示示出了用戶的虛擬視圖和用戶的周圍環(huán)境。
3.如權(quán)利要求2所述的方法，其中指示被選圖標的位置的步驟包括在所述虛擬視圖上顯示圖標在用戶周圍環(huán)境中的位置。
4.如權(quán)利要求2所述的方法，其中所述虛擬視圖示出了用戶的虛擬平面圖以及圍繞用戶的二維水平面。
5.如權(quán)利要求2所述的方法，其中所述虛擬視圖示出了用戶的虛擬透視圖以及圍繞用戶的三維空間。
6.如權(quán)利要求2所述的方法，其中用戶將位置分配給被選圖標的步驟包括用戶在所述虛擬視圖上用戶的周圍環(huán)境中移動被選圖標。
7.如權(quán)利要求1所述的方法，還包括在所述用戶界面上示出與每個圖標相關(guān)聯(lián)的一個或多個樂器的步驟。
8.如權(quán)利要求1所述的方法，還包括在存在軌線的情況下，示出分配給每個圖標的軌線的步驟。
9.如權(quán)利要求1所述的方法，其中已被分配了軌線的一個或多個圖標具有與還未被分配軌線的圖標不同的視覺外觀。
10.如權(quán)利要求9所述的方法，其中已被分配了軌線的一個或多個圖標被利用彩色光亮示出。
11.如權(quán)利要求1所述的方法，其中可能軌線的選集包括以下群組中的一種或多種左右移動；上下移動；8字形移動；Z字形移動；螺旋形移動；和弧形移動。
12.如權(quán)利要求1所述的方法，其中所述音頻文件是MIDI文件，并且所述軌線的節(jié)奏被設(shè)置為與所述MIDI文件的音樂的節(jié)奏相匹配。
13.一種用于使用戶能夠修改音頻文件的裝置，該裝置包括用于控制用來再制作所述音頻文件的驅(qū)動器的用戶界面，該用戶界面包括a)至少一個圖標，其中每個圖標與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)用于每個圖標的可能軌線的選集，其中每個軌線定義相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)所述用戶界面上的顯示，該顯示示出iii)每個圖標的位置，每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬位置；以及iv)是否為被選圖標分配了軌線。
14.如權(quán)利要求13所述的裝置，其中所述用戶界面上的顯示包括用戶的虛擬視圖和用戶的周圍環(huán)境。
15.如權(quán)利要求14所述的裝置，其中所述顯示通過在所述虛擬視圖上顯示圖標在用戶的周圍環(huán)境中的位置來示出每個圖標的位置。
16.如權(quán)利要求14所述的裝置，其中所述虛擬視圖示出了用戶的虛擬平面圖以及圍繞用戶的二維水平面。
17.如權(quán)利要求14所述的裝置，其中所述虛擬視圖示出了用戶的虛擬透視圖以及圍繞用戶的三維空間。
18.如權(quán)利要求13所述的裝置，其中在存在軌線的情況下，所述顯示還示出了分配給每個圖標的軌線。
19.如權(quán)利要求13所述的裝置，其中已被分配了軌線的一個或多個圖標具有與還未被分配軌線的圖標不同的視覺外觀。
20.如權(quán)利要求19所述的裝置，其中已被分配了軌線的一個或多個圖標被利用彩色光亮示出。
21.如權(quán)利要求13所述的裝置，其中可能軌線的選集包括以下群組中的一種或多種左右移動；上下移動；8字形移動；Z字形移動；螺旋形移動；和弧形移動。
22.一種使用戶能夠經(jīng)由用戶界面來修改音頻文件的方法，其中所述用戶界面用于控制用來再制作所述音頻文件的驅(qū)動器，所述方法包括以下步驟a)使所述用戶界面上的圖標與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)提供用于每個所述圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)對于每個軌線，提供可能節(jié)奏的選集，其中每個節(jié)奏都與所述音頻文件的音樂的節(jié)奏相匹配，并且限定了所述圖標的移動速率；d)用戶選擇圖標；e)用戶將來自所述選集的軌線分配給被選圖標；以及f)用戶將來自所述選集的節(jié)奏分配給已分配給被選圖標的軌線。
23.一種用于使用戶能夠修改音頻文件的裝置，該裝置包括用于控制用來再制作所述音頻文件的驅(qū)動器的用戶界面，該用戶界面包括a)至少一個圖標，其中每個圖標與所述音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)用于每個圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬路徑；c)用于每個軌線的可能節(jié)奏的選集，其中每個節(jié)奏與所述音頻文件的音樂的節(jié)奏相匹配，并且限定了所述圖標的移動速率；以及d)所述用戶界面上的顯示，該顯示示出了每個圖標的位置，每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于所述用戶的虛擬位置。
全文摘要
本發(fā)明提供了使用戶能夠經(jīng)由用戶界面來修改音頻文件的方法和裝置，其中用戶界面用于控制用來再制作音頻文件的驅(qū)動器。所述方法包括以下步驟a)使用戶界面上的圖標與音頻文件中的一個或多個樂器或樂器集合相關(guān)聯(lián)；b)提供每個圖標的可能軌線的選集，其中每個軌線定義了相關(guān)聯(lián)的樂器或樂器集合相對于用戶的虛擬路徑；c)在用戶界面上提供用于示出每個圖標的位置的顯示，其中每個位置定義了相關(guān)聯(lián)的樂器或樂器集合相對于用戶的虛擬位置；d)用戶選擇一個圖標；e)用戶將來自選集的一個軌線和/或位置分配給被選圖標；以及g)在顯示上指示被選圖標的位置以及是否為被選圖標分配了軌線。所述音頻文件優(yōu)選是MIDI文件。
文檔編號G10H1/00GK1797538SQ20051012561
公開日2006年7月5日 申請日期2005年11月30日 優(yōu)先權(quán)日2004年12月1日
發(fā)明者沈望傅, 彭炳吉, 鄭國雄, 朱家豐 申請人:創(chuàng)新科技有限公司