專利名稱：用于處理聲學虛擬環(huán)境中的定向聲的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及一種用于對聽眾產生一個相應于某個空間的人造聽覺印象的方法和系統(tǒng)。具體地說，本發(fā)明涉及按照一種聽覺印象進行的定向聲的處理，并涉及在用于以數字形式傳遞、處理與/或壓縮對用戶提供信息的系統(tǒng)中所得的聽覺印象的傳輸。
聲學虛擬環(huán)境指的是一種聽覺印象，借助于所述聽覺印象，以電的方式再現(xiàn)的聲音的聽眾可以想象其處于某個空間中。復雜的聲學虛擬環(huán)境通常旨在模擬一個真實的空間，其被稱為所述空間的聽覺化(auralization)。這個概念例如在M.Kleiner,B.-I.Dalenback,P.Svensson的文章“Auralization-An Overview(聽覺化-概述)”,1993,J.Audio Eng.Soc.,vol.41,No.11,pp.861-875中描述了。聲學模擬可以自然地和產生視覺虛擬環(huán)境組合，借以使配備有合適的顯示器和揚聲器或頭戴耳機的用戶可以檢查一個所需的實際的或假象的空間，甚至在所述空間內“走來走去”，借以使用戶根據其在所述環(huán)境中選擇的作為其檢驗點的一點得到不同的視覺和聽覺印象。
聲學虛擬環(huán)境的產生可以被分成3個因素，即建立聲源的模型，建立空間的模型和建立聽眾的模型。本發(fā)明尤其涉及建立聲源的模型和聲音的早期反射。
VRML97語言(Virtual Reality Modeling Language 97)通常用于建模和處理視覺的和聲學的虛擬環(huán)境，這種語言在出版物ISO/IEC JTC/SC24 IS 14772-1,1997,Information Technology-Computer Graphics and Image Processing-The Virtual RealityModeling Language(信息技術-計算圖形和圖像處理-虛擬現(xiàn)實模擬語言)(VRML97)中描述了，在相應的頁上注明的互聯(lián)網的網址是http://www.vrml.orh/Specifications/VRML97/。在本專利申請撰寫的同時正在研制的另一組規(guī)則涉及Java3D，其用于控制和處理VRML的環(huán)境，并且例如在出版物SUN Inc.1997:JAVA 3D APIsPECIFICATION 1.0 中描述了；其互聯(lián)網的網址是http://www.javasoft.com/products/javamedia/3D/forDevelopers/3Dguide/-。此外，在研制中的MPEG-4標準(Motion PictureExperts Group4)的目標是，通過數字通信鏈路傳輸的多媒體表示可以包含實的對象和虛的對象，它們共同構成某個視聽環(huán)境。MPEG-4標準在出版物ISO/IEC JTC/SC29 WG11 CD 14496,1997:Informationtechnology-Coding of audiovisual objects(信息技術-對間頻視覺對象的編碼).November 1997中描述了，在相應的頁上的互聯(lián)網的網址是http://www.cselt.it/-mpeg/public/mpeg-4-cd.htm。


圖1表示用于VRML97和MPEG-4中的已知的定向聲模型。聲源位于點101，在聲源周圍有兩個互相嵌套的設想的橢圓面102和103,使得一個橢圓面的焦點和聲源的位置相同，并且橢圓面的主軸平行。橢圓面102和104的尺寸由maxBack和maxFront表示，它們被沿著主軸的方向測量。作為距離的函數的聲音的衰減由曲線104表示。在內橢圓面102的內部聲強是恒定的，在外橢圓面103的外部，聲強是0。當沿著任何一條通過點101的直線離開點101通過時，在內橢圓面和外橢圓面之間聲強線性地減少20dB。換句話說，可以由下式計算在位于橢圓面之間的點105觀測到的衰減A:
A=-20dB(d’/d”)其中d’是從內橢圓面到觀測點的距離，沿著連接點101和105的直線測量，d”是內橢圓面和外橢圓面之間的距離，沿著同一條直線測量。
在Java3D中，定向聲利用錐形聲的概念模擬，如圖2所示。圖中表示沿著含有錐體的公共縱軸的平面的某個雙錐體結構的一部分。聲源位于錐體201和202的公共頂點203。在前錐體201和后錐體202的區(qū)域內，聲音均勻地衰減。在錐體之間的區(qū)域采用線性內插。為了計算在觀測點204的衰減，必須知道沒有衰減時的聲強，前后錐體的寬度以及前錐體的縱軸和連接點203,204的直線之間的角度。
用于模擬包括平面的空間的聲學效果的已知的方法是虛聲源方法，其中原聲源被假定為一組假想的虛聲源，其相對于要被檢驗的反射表面是聲源的鏡像一個虛聲源位于要被檢驗的每個反射表面的后面，使得從該虛聲源到檢驗點直接測量的距離和從原聲源經反射表面到檢驗點的測量距離相同。此外，來自虛聲源的聲音從和實際反射聲音相同的方向到達檢驗點。通過使虛聲源產生的聲音相加獲得聽覺印象。
現(xiàn)有技術的方法的計算量非常大。如果我們假定一個虛擬環(huán)境例如作為廣播或通過數據網絡傳遞給用戶，則用戶的接收機將連續(xù)地累加由數千個虛聲源產生的聲音。此外，當用戶決定改變檢驗點的位置時，計算的依據總在改變。另外，已知的方法完全忽略了這個事實，即，除去方向角之外，聲音的方向性極大地取決于其波長，換句話說，具有不同音調的聲音沿著不同的方向傳播。
由芬蘭專利申請974006(Nokia Corp.)得知有一種用于處理聲學虛擬環(huán)境的方法和系統(tǒng)。其中要被模擬的環(huán)境的表面由具有某個頻率響應的濾波器表示。為了以數字傳輸形式傳輸模擬的環(huán)境，以某種方法表示屬于所述環(huán)境中的所有主要表面的傳遞函數便足夠了。然而，即使這樣，也沒有考慮聲音的到達方向或聲音的音調對聲音的方向的影響。
本發(fā)明的目的在于提供一種方法和系統(tǒng)，利用所述的方法和系統(tǒng)，使聲學虛擬環(huán)境通過合理的計算負載可被傳遞到用戶。本發(fā)明的另一個目的在于提供一種方法和系統(tǒng)，所述的方法和系統(tǒng)能夠考慮聲音的音調和到達方向對聲音方向的影響。
本發(fā)明的目的在于提供一種方法和系統(tǒng)，利用所述的方法或系統(tǒng)，可以用合理的計算負荷向用戶發(fā)送聲學虛擬環(huán)境。本發(fā)明的另一個目的在于提供一種方法和系統(tǒng)，其中能夠考慮聲音的音調和到達方向對聲音方向的影響。
本發(fā)明的目的是這樣實現(xiàn)的利用參數化的系統(tǒng)函數模擬聲源或其早期反射，其中可以借助于不同的參數設置所需的聲音方向，并考慮所述方向對于頻率和方向角的依賴性。
按照本發(fā)明的方法的特征在于，為了模擬聲音是如何被定向的，和聲學虛擬環(huán)境的聲源連接一個方向相關濾波器裝置，使得所述濾波裝置對聲音的影響和預定的參數相關。
本發(fā)明還涉及一種系統(tǒng)，其特征在于，所述系統(tǒng)包括用于產生濾波器組的裝置，所述濾波器組包括參數化的濾波器，用于模擬來自屬于聲學虛擬環(huán)境的聲源的聲音是如何被定向的。
按照本發(fā)明，聲源的模型或者從聲源計算的反射模型包括方向相關數字濾波器。對聲音選擇一個被稱為零方位角的確定的參考方向，這個方向可以指向聲學虛擬環(huán)境中的任何方向。除此之外，選擇若干其它方向，希望利用這些方向模擬聲音是如何被定向的。這些方向也可以任意地選擇。每個選擇的其它方向由其自身的數字濾波器模擬，所述數字濾波器具有可以選擇的和頻率相關或者和頻率無關的傳遞函數。當檢驗點位于由濾波器表示的方向之外的某處時，在濾波器的傳遞函數之間可以形成不同的內插。
當要模擬聲音以及其在以數字形式傳輸信息的系統(tǒng)中如何被定向時，只需要傳輸關于每個傳遞函數的數據。作為所需的檢驗點的接收裝置借助于其已經構成的傳遞函數確定從聲源的位置發(fā)出的聲音被朝向檢驗點定向。如果檢驗點的位置相對于零方位角被改變，則接收裝置檢查聲音是如何朝向新的檢驗點定向的?？梢杂腥舾蓚€聲源，借以使接收裝置計算聲音如何從每個聲源朝向檢驗點定向，并且相應地修正其再現(xiàn)的聲音。因而例如相對于位于不同位置的并且指向不同方向的虛擬的管弦樂隊，聽眾獲得一個被正確定位的收聽位置的印象。
實現(xiàn)方向相關數字濾波器的一種最簡單的方法是對于選擇的方向連接一個確定的放大系數。不過，這樣將不考慮聲音的音調。在一種更先進的方法中，被檢驗的頻帶被分成子頻帶，并且對于每個子頻帶，在選擇的方向具有其自身的放大系數。在一種更先進的方法中，利用一種通用的傳遞函數模擬每個被檢驗的方向，對于所述通用的傳遞函數，指定一個能夠進行同一傳遞函數的重構的某個系數。
下面參照作為例子提出的優(yōu)選實施例和附圖更詳細地說明本發(fā)明，其中圖1表示已知的被定向的聲的模型；圖2表示另一個已知的被定向的聲的模型；圖3示意地表示按照本發(fā)明的被定向的聲的模型；圖4表示由按照本發(fā)明的模型產生的聲是如何被定向的；圖5表示本發(fā)明如何應用于聲學虛擬環(huán)境；圖6表示按照本發(fā)明的系統(tǒng)；圖7a更詳細地表示按照本發(fā)明的系統(tǒng)的一部分；以及圖7b表示圖7a的細節(jié)。
上面參照圖1和圖2對現(xiàn)有技術進行了說明，因此在下面的說明中，將主要參照圖3到圖7b說明本發(fā)明的優(yōu)選實施例。
圖3表示在點300的聲源的位置和0方位角的方向301。在圖中假定，利用4個濾波器表示位于點300的聲源，4個濾波器中，第一個代表從聲源沿方向302傳播的聲，第二個代表從聲源沿方向303傳播的聲，第3個代表從聲源沿方向304傳播的聲，第4個代表從聲源沿方向305傳播的聲。此外圖中假定聲音相對于0方位角方向301對稱地傳播，使得實際上每個方向302到305代表在通過旋轉代表圍繞0方位角的方向301的檢驗方向的半徑而獲得的錐體表面上的任何相應的方向。本發(fā)明不限于這些假定，不過，通過首先考慮本發(fā)明的一個簡化的實施例，本發(fā)明更容易理解。在圖中，方向302到305以在同一平面內的等距線表示，不過，這些方向是可以容易選擇的。
圖3所示的表示沿著和零方位角成不同方向傳播的聲音的每個濾波器被示意地用方塊306,307,308和309表示。每個濾波器由某個傳遞函數Hi表征，其中i∈{1,2,3,4}。濾波器的傳遞函數被標稱化，使得相對于零方位角傳播的聲音和聲源產生的聲音相同。因為聲音一般是時間的函數，所以由聲源產生的聲音被表示為X(t)。按照以下等式，每個濾波器306-309產生一個響應Yi(t)，其中i∈{1,2,3,4}Yi(t)=Hi*X(t)(1)其中*表示相對于時間的卷積。響應Yi(t)是指向有關方向的聲音。
上面的最簡單形式的傳遞函數說明，脈沖X(t)乘以一個實數。因為選擇零方位角作為最強聲音被定向的方向是自然的，所以濾波器306-309的最簡單的傳遞函數是0和1之間的實數，這些限制被包括了。
利用實數進行簡單的相乘沒有考慮音調對于聲音的方向性的重要性。更通用的傳遞函數是這樣的，其中脈沖被分成預定的頻帶，每個頻帶乘以其自身的放大系數，所述系數是實數。所述頻帶可以由代表頻帶的最高頻率的一個數來限定。此外，這樣一些實數系數可以表示一些示例的頻率，借以在這些頻率之間進行合適的內插(例如，如果給定400Hz的頻率和0.6的系數，以及1000Hz和0.2的系數，利用直接內插可以得到對于700Hz的頻率0.4的系數)。
一般地說，每個濾波器306到309是一種IIR或FIR濾波器(無限脈沖響應，有限脈沖響應)，其具有可以借助于Z變換H(z)表示的傳遞函數H。當取脈沖X(t)的Z變換X(t)和脈沖Y(t)的Z變換Y(t)時，則得到定義H(Z)=Y(Z)X(Z)=ΣK=0Mbkz-k1+Σk=1Nakz-k]]>因而，為了表示一個任意的傳遞函數，求出在模擬Z變換中使用的系數[b0,b1,a1,b2,a2...]便足夠了。在和式中使用的上限N和M表示定義傳遞函數所需的精度。實際上，它們由為在傳輸系統(tǒng)中存儲與/或傳輸用于模擬每個傳遞函數的可利用的容量確定。
圖4表示由喇叭產生的聲音是如何被定向的，其中由零方位角并按照本發(fā)明被表示，還具有8個頻率相關的傳遞函數和在它們之間的內插。以三維坐標系統(tǒng)模擬聲音被定向的方式，豎軸表示音量，單位是分貝，第一水平軸表示相對于零方位角的方向角，單位是度，第二水平軸表示聲音的頻率單位是kHz。由于內插，聲音利用表面400表示。在圖的左上方邊緣，表面400由水平線401限制，其表示在零方位角方向，音量和頻率無關。在圖的右上方邊緣，表面400由幾乎為水平的線402限制，其表示在甚低頻(接近0Hz)時，音量和方向角無關。代表不同方向角的濾波器的頻率響應是由線402開始向下傾斜地延伸到圖的左方的曲線。方向角是等距的，其大小是22.5、45、67.5、90、112.5、135、157.5和180度。例如，曲線403表示從零方位角測量沿157.5度角傳播的聲音的音量對頻率的函數，該曲線表示，在這個方向，最高的頻率比低頻衰減得多。
本發(fā)明適用于在本地設備中進行再現(xiàn)，其中在計算機存儲器中產生聲學虛擬環(huán)境，并在相同的連接中被處理，或者從存儲介質例如DVD盤(數字通用盤)中被讀出，并通過視聽表達裝置(顯示器，揚聲器)對用戶再現(xiàn)。本發(fā)明還可以應用于這樣的系統(tǒng)中，其中在所謂的服務提供者的設備中產生聲學虛擬環(huán)境，并通過傳輸系統(tǒng)傳遞給用戶。一種裝置，其對用戶再現(xiàn)按照本發(fā)明的方式處理的定向的聲音，并且能夠使用戶選擇其希望在聲學虛擬環(huán)境中的那一點收聽再現(xiàn)的聲音，這種裝置一般被稱為接收裝置。這個術語并不構成對本發(fā)明的限制。
當用戶對接收裝置給出其希望在聲學虛擬環(huán)境中的那一點收聽再現(xiàn)的聲音的信息時，接收裝置便確定使來自聲源的聲音朝向所述的點定向的方式。在利用圖表示意地檢驗的圖4中這意味著，當接收裝置確定聲源的零方位角和檢驗點的方向之間的角度后，其利用平行于頻率軸的垂直平面切割表面400，并以那個值切割表示零方位角和檢驗點之間的角度的方向角軸線。在表面400和垂直平面之間的交線便是表示作為頻率的函數的沿著檢驗點的方向定向的聲音的相對音量。接收裝置形成一個濾波器，其實現(xiàn)按照所述頻率的頻率響應，并把由聲源產生的聲音引導通過其構成的濾波器，然后向用戶再現(xiàn)。如果用戶決定改變檢驗點的位置，則接收裝置確定一個新的曲線，并以上述方式產生一個新的濾波器。
圖5表示具有3個被不同定向的虛擬聲源501,502和503的聲學虛擬環(huán)境500。點504表示由用戶選擇的檢驗點。為了解釋圖5所示的情況，按照本發(fā)明，對每個聲源501,502和503產生一個表示聲音是如何被定向的模型，使得在每一種情況下，其模型大致如圖3和圖4所示，不過考慮到對于模型中的每個虛擬聲源，零方位角具有不同的方向。在這種情況下，接收裝置必須產生3個單獨的濾波器，以便考慮聲音如何被定向。為了產生第一濾波器，需要確定用于模擬由第一聲源傳輸的聲音是如何被定向的那些傳遞函數，并借助于所述傳遞函數和內插，產生如圖4所示的平面。此外，確定檢驗點的方向和聲源501的零方位角505之間的角度，并借助于所述角度，可以在上述的表面上讀出沿所述方向的頻率響應。對于每個聲源重復上述的操作。對用戶再現(xiàn)的聲音是來自所有這些聲源的聲音之和，并且在所述的和中，每個聲音利用模擬所述聲音是如何被定向的濾波器濾波。
按照本發(fā)明，除去實際的聲源之外，還可以模擬聲反射，特別是早期反射。在圖5中，利用已知的虛聲源方法，形成一個虛聲源506，其表示由聲源503傳輸的聲音是如何從相鄰的壁反射的。所述虛聲源可以以和實聲源完全相同的方式按照本發(fā)明進行處理，換句話說，可以對其確定零方位角的方向以及沿著和零方位角不同的方向的聲音的方向性(當需要時是頻率相關的)。利用和實聲源產生的聲音中使用的相同的原理，接收裝置再現(xiàn)由虛聲源“產生”的聲音。
圖6表示具有發(fā)送裝置601和接收裝置602的系統(tǒng)。發(fā)送裝置601產生某個聲學虛擬環(huán)境，其中包括至少一個聲源和至少一個空間的聲學特性，并且其以某種形式向接收裝置602發(fā)送所述環(huán)境?？梢岳缱鳛閿底忠纛l信號或電視廣播或通過數據網絡進行發(fā)送。所述的發(fā)送也指發(fā)送裝置601根據所產生的聲學虛擬環(huán)境產生一個記錄例如DVD盤(數字通用盤)，并且接收裝置的用戶需要所述的記錄介質供其使用。作為記錄的一種典型的應用例如是一個音樂會，其中聲源是包括虛擬樂器的管弦樂隊，空間是以電的方式模擬的虛擬音樂廳或實際的音樂廳。借以使接收裝置的用戶利用其設備可以聽到在音樂廳的不同位置演奏的聲音。如果這個虛擬環(huán)境是視聽環(huán)境，則其還可以包括由計算機圖形學實現(xiàn)的視覺部分。本發(fā)明不要求發(fā)送裝置和接收裝置是不同的裝置，而是用戶可以在一個裝置內產生一個虛擬環(huán)境，并利用同一裝置來檢驗其產生的虛擬環(huán)境。
在圖6所示的實施例中，發(fā)送裝置的用戶借助于計算機圖形工具603和視頻動畫制作工具例如具有相應工具604的播放器和虛擬管弦樂隊的樂器產生某個虛擬環(huán)境，例如音樂廳。此外，其通過鍵盤605輸入其產生的環(huán)境的聲源的某個方向性，最好代表聲音如何定向的傳遞函數和頻率相關。表示聲音是如何被定向的模型也可以根據對實際聲源的測量得到，此時方向性信息一般從數據庫606中讀出。虛擬樂器的聲音從數據庫606中加載。在塊607,608,609和610中，發(fā)送裝置把用戶輸入的信息處理成為位流，并在多路傳輸器611中把位流組合成數據流。數據流以某個形式被提供給接收裝置602，其中解多路傳輸器612從數據流中分離出代表靜止環(huán)境的圖像部分放入塊613中，將時間相關圖像部分或動畫部分放入塊614中，時間相關聲音部分放入塊615中，并把代表表面的系數放入塊616中。圖像部分在顯示驅動塊617中組合并被提供給顯示裝置618。代表由聲源發(fā)送的聲音的信號從塊615被提供給濾波器組619，濾波器組具有其傳遞函數利用從塊616獲得的參數a,b重構的傳遞函數的濾波器。由濾波器組產生的聲音被提供給耳機620。
圖7a,7b更詳細地表示接收裝置的濾波器的結構，利用所述接收裝置可以利用按照本發(fā)明的方式實現(xiàn)聲學虛擬環(huán)境。在圖中考慮了和聲音處理有關的其它因素，而不僅考慮了按照本發(fā)明模擬的聲音的方向性。延遲裝置721產生不同的聲音分量的相互的時間差(例如在不同的路徑中被反射的聲音的相互時間差，或者位于不同距離的虛擬聲源之間的時間差)。同時，延遲裝置721作為解多路傳輸器操作，把正確的聲音引導進入正確的濾波器722,723和724。濾波器722-724是參數化的濾波器，其在圖7b中更詳細地說明了。由這些濾波器提供的信號一方面被進一步分路到濾波器701,702和703，在另一方面，通過加法器和乘法器704到加法器705，其和回聲分支706,707,708和709以及加法器710，和放大器711,712,713,714形成一種已知的連接，利用這種連接，可以對某個信號產生后回聲。濾波器701,702和703是已知的方向濾波器，其例如按照HRTF模型(頭相關的傳遞函數)考慮了聽眾沿不同方向的聽覺上的差別。最好濾波器701-703也還有所謂的ITD延遲(聽覺之間的時間差)，其模擬從不同方向到達聽眾耳朵的聲音分量的相互時間差。
在濾波器701-703中，每個信號分量被分為右通道和左通道，或者在多通道系統(tǒng)中一般被分為N個通道。和某個通道相關的所有信號在加法器715或716中組合，并被輸入到加法器717或718，在其中屬于每個信號的后回聲被附加于所述信號。線路719和720通向揚聲器或耳機。在圖7a中，在濾波器723和724以及濾波器702和703之間的點意味著本發(fā)明不限于在接收裝置的濾波器組中有多少個濾波器。根據模擬的聲學虛擬環(huán)境的復雜性，可以有數百甚至數千個濾波器。
圖7b更詳細地表示實現(xiàn)圖7a所示的參數化的濾波器722的可能性。在圖7b中，濾波器722包括3個接續(xù)的濾波器級730,731和732，其中第一濾波器級730代表在介質(一般為空氣)中的傳輸衰減，第二級731代表在反射材料(特別是在模擬反射時附加的)中發(fā)生的吸收，并且第三級732考慮聲音從聲源(可能通過反射表面)到檢驗點在介質中傳播的距離和介質的特性，例如空氣的濕度、壓力和溫度。為了計算所述距離，第一級730從發(fā)送裝置獲得關于在要被模擬的坐標系統(tǒng)中的聲源的位置的信息，并從接收裝置中獲得關于用戶選擇的檢驗點的坐標的信息。第一級730或者從發(fā)送裝置或者從接收裝置(可以使接收裝置的用戶能夠設置所需的介質特性)獲得描述介質的數據。作為缺省，第二級731從發(fā)送裝置獲得描述反射表面的吸收的系數，但是在這種情況下也可以使接收裝置的用戶能夠改變被模擬的空間的特性。第三級732考慮由聲源發(fā)出的聲音如何在被模擬的空間內從聲源向不同的方向定向，因而第三級732實現(xiàn)在本申請中提出的發(fā)明。
上面一般地討論了如何利用參數處理聲學虛擬環(huán)境的特性并從一個裝置傳遞到另一個裝置。下面討論本發(fā)明如何被應用于某個數據傳輸形式。多媒體意味著對用戶進行視聽對象的相互同步的表達。預計在將來交互作用的多媒體表達將被廣泛使用，例如作為娛樂形式和電視會議。在現(xiàn)有技術中已有多個用于規(guī)定以電的形式傳輸多媒體節(jié)目的不同標準。在本專利申請中特別討論MPEG標準(Motion PictureExperts Group)，其中在本專利申請?zhí)岢鰰r正在制定的MPEG-4標準的目的在于使發(fā)送的多媒體表達可以包含實對象和虛對象，它們共同形成某個視聽環(huán)境。本發(fā)明不以任何方式限制只適用于MPEG-4標準而是可以適用于VRML97標準系列，甚至適用于現(xiàn)在還不知道的將來的視聽標準。
按照MPEG-4標準的數據流包括被多路傳輸的視聽對象，其可以含有在時間上是連續(xù)的部分(例如合成的聲音)和參數(例如要被模擬的聲源的位置)。這些對象可以被規(guī)定為是分級的，使得原始的對象處于最低的等級上。除去對象之外，按照MPEG-4標準的多媒體節(jié)目包括所謂的場景描述，其含有關于對象的相互關系的信息和關于節(jié)目的總體設置的結構的信息，這些信息最好被從實際的對象中被單獨地編碼和解碼。場景描述也被稱為BIFS部分(場景描述的二進制格式)。按照本發(fā)明的聲學虛擬環(huán)境的傳輸最好使用在MPEG-4標準中規(guī)定的結構的音頻語言(SAOL/SASL:Structured Audio OrchesraLanguage/Structured Audio Score Language)或VRML97語言。
在上述的語言中，目前規(guī)定了一種用于模擬聲源的聲節(jié)(Soundnode)。按照本發(fā)明，可以定義一種已知的聲節(jié)的擴展，其在本專利申請中被稱為定向聲節(jié)。除去已知的聲節(jié)之外，其還包括在本申請中被稱為定向性場并用于提供用來重構表示聲音的方向性的濾波器所需的信息的場。上面討論了用于模擬濾波器的3種不同的方法，因此下面說明這些方法如何應用于按照本發(fā)明的定向聲節(jié)的方向性場中。
按照第一種方法，模擬和零方位角不同的方向的每個濾波器相應于由作為在0和1之間的標準化的實數的放大系數進行的簡單的相乘。因而方向性場的內容例如如下((0.79 0.8)(1.57 0.6)(2.36 0.4)(3.14 0.2))在這種方法中，方向性場含有和在聲源模型中與零方位角不同的方向的數量那樣多的數對。數對的第一個數以弧度表示有關的方向和零方位角之間的角度，第二個數表示沿所述方向的放大系數。
按照第二種方法，沿著每個和零方位角不同的方向的聲音被分成頻帶，其中的每一個具有其自身的放大系數。方向性場的內容例如如下((0.79 125.0 0.8 1000.0 0.6 4000.0 0.4)(1.57 125.0 0.7 1000.0 0.5 4000.0 0.3)(2.36 125.0 0.6 1000.0 0.4 4000.0 0.2)(3.14 125.0 0.5 1000.0 0.3 4000.0 0.1))在這種方法中，方向性場含有的數組數的數量等于在聲源模型中和零方位角不同的方向的數量，所述數組由內部的圓括號隔開。在每個數組中，第一個數以弧度表示相關的方向和零方位角之間的角度。在第一個數之后是數對，其中第一個以赫茲表示某個頻率，第二個是放大系數。例如數組(0.79 125.0 0.8 1000.0 0.6 4000.0 0.4)可以被解釋為，沿著方向0.79弧度對于125赫茲的頻率使用0.8的放大系數，對于1000赫茲使用0.6的放大系數，對于4000赫茲使用0.4的放大系數。此外，可以使用注釋，其中說明上述的數組意味著沿著方向0.79弧度對于0-125赫茲的頻率使用0.8的放大系數，對于125-1000赫茲使用0.6的放大系數，對于1000-4000赫茲使用0.4的放大系數，并且其它頻率的放大系數由利用內插和外推計算的結果計算。對于本發(fā)明使用什么樣的注釋并不重要，只要使用的注釋被發(fā)送裝置和接收裝置識別即可。
按照第三種方法，對于和零方位角不同的每個方向應用一個傳遞函數，并且為了定義傳遞函數給出了其Z變換的系數a和b。方向性場的內容例如如下(45 b45.0b45.1a45.1b45.2a45.2… )(90 b90.0b90.1 a90.1b90.2a90.2… )(135 b135.0b135.1a135.1b135.2a135.2… )(180 b180.0b180.1a180.1b180.2a180.2… ) )在這種方法中，方向性場也含有數量和與零方位角的方向不同的方向的數量相等的數組數，它們由內部括號隔開。在每個數組中，第一個數以度表示相關的方向和零方位角之間的角度，在這種情況下，和上面的情況一樣，可以使用其它任何已知的角度單位。在第一個數之后，是用于確定在相關方向中使用的傳遞函數的Z變換的系數a和b。每個數組之后的點意味著本發(fā)明對于用來定義傳遞函數的Z變換的系數a和b的數量沒有任何限制。在不同的數組中，可以有不同數量的系數a和b。在第三種方法中，系數a和b可以以其自身的矢量給出，使得可以用和以下出版物中公開的方式相同的方式進行FIR或全極的IIR濾波器的有效的模擬，所述出版物是Ellis.S.1998:“Towards more realistic sound in VMRL(VMRL下的更現(xiàn)實化聲場)”，Proc.VRML’98,Monterey,USA,Feb.16-19,1998,pp.95-100。
當然，本發(fā)明的上述的實施例只是作為例子，它們對本發(fā)明沒有任何限制作用。特別是在定向聲節(jié)的方向性場中設置表示濾波器的參數的設置方式可以在許多方式中選擇。
權利要求
1．一種用于在電子裝置中處理聲學虛擬環(huán)境的方法，其中聲學虛擬環(huán)境包括至少一個聲源(300)，其特征在于，為了模擬聲音是如何被定向的，和聲源連接一個方向相關濾波器裝置(306,307,308,309)，使得所述濾波裝置對聲音的影響和預定的參數相關。
2．如權利要求1所述的方法，其特征在于，對于所述聲源定義一個參考方向(301)和一組和所述參考方向不同的方向(302,303,304,405)，使所述每個和確定的參考方向不同的方向連接一個濾波器(306,307,308,309)，從而使濾波器對聲音的影響和與每個濾波器相關的參數相關。
3．如權利要求2所述的方法，其特征在于，所述和每個濾波器相關的參數是放大系數，用于確定來自聲源的沿著不同的方向被定向的聲音的相對的放大情況。
4．如權利要求3所述的方法，其特征在于，所述放大系數包括對于沿著至少一個和參考方向不同的確定的方向的聲音的不同的頻率的單獨的放大系數。
5．如權利要求2所述的方法，其特征在于，所述和每個濾波器有關的參數是濾波器的傳遞函數的Z變換的商表達式H(z)=Y(Z)X(Z)=ΣK=0Mbkz-k1+Σk=1Nakz-k]]>的系數[b0b1a1b2a2....]。
6．如權利要求2所述的方法，其特征在于，為了模擬聲音如何沿著和參考方向不同的其它方向被定向，在和參考方向不同的一個確定的方向中，其包括在和與參考方向不同的確定的方向相連的濾波器之間的內插(400)。
7．如權利要求1所述的方法，其特征在于，其包括以下步驟，其中發(fā)送裝置產生一個包括聲源(501,502,503,504)的確定的聲學虛擬環(huán)境(500)，借以通過濾波器模擬來自這些聲源的聲音被定向的方式，其對聲音的影響和與每個濾波器相關的參數相關，發(fā)送裝置向接收裝置發(fā)送關于和每個濾波器相關的所述參數的信息，以及為了重構聲學虛擬環(huán)境，接收裝置產生一個濾波器組，其中包括的濾波器對聲學信號的影響與和每個濾波器相關的參數相關，并根據由發(fā)送裝置發(fā)送的信息產生和每個濾波器相關的參數。
8．如權利要求7所述的方法，其特征在于，作為按照MPEG-4標準的數據流的一部分，發(fā)送裝置向接收裝置發(fā)送關于和每個濾波器有關的所述參數的信息。
9．如權利要求1所述的方法，其特征在于，所述聲源是實聲源(501,502,503)。
10．如權利要求1所述的方法，其特征在于，所述聲源是一個反射聲源(504)。
11．一種用于處理包括至少一個聲源的聲學虛擬環(huán)境的系統(tǒng)，其特征在于，所述系統(tǒng)包括用于產生包括參數化的濾波器的濾波器組(619)的裝置，以便模擬來自屬于聲學虛擬環(huán)境的聲源的聲音是如何被定向的。
12．如權利要求11所述的系統(tǒng)，其特征在于，其中包括發(fā)送裝置(601)和接收裝置(602)，以及用于在發(fā)送裝置和接收裝置之間以電的方式進行通信的裝置。
13．如權利要求11所述的系統(tǒng)，其特征在于，其包括在發(fā)送裝置中的多路傳輸裝置(611)，用于把表示參數化的濾波器的參數附加到符合MPEG-4標準的數據流，以及在接收裝置中的解多路傳輸裝置(612)，用于從符合MPEG-4標準的數據流中檢測出表示參數化的濾波器的參數。
14．如權利要求11所述的系統(tǒng)，其特征在于，其包括在發(fā)送裝置中的多路傳輸裝置(611)，用于把表示參數化的濾波器的參數附加到符合擴展的VRML97標準的數據流，以及在接收裝置中的解多路傳輸裝置(612)，用于從符合擴展的VRML97標準的數據流中檢測出表示參數化的濾波器的參數。
全文摘要
本發(fā)明披露了在電子裝置中處理聲學虛擬環(huán)境的方法。所述聲學虛擬環(huán)境包括至少一個聲源(300)。為了模擬聲音被定向的方式,一種方向相關的濾波器裝置(306,307,308,309)和聲源相連,借以使濾波器裝置對聲音的影響和預定的參數相關。聲音的方向性可以和聲音的頻率相關。
文檔編號G10K15/02GK1302426SQ99806544
公開日2001年7月4日 申請日期1999年3月23日 優(yōu)先權日1998年3月23日
發(fā)明者J·霍帕尼米, R·韋內寧 申請人:諾基亞移動電話有限公司