專利名稱:解碼音頻信號的方法和裝置的制作方法
技術領域:
本發(fā)明涉及音頻信號處理,尤其涉及解碼音頻信號的裝置及其方法。雖然本發(fā)明適用于廣泛的應用范圍,但是它尤其適于解碼音頻信號。
背景技術:
一般而言,編碼器在編碼音頻信號時,如果要編碼的音頻信號是一個多聲道音頻信號,那么該多聲道音頻信號被聲道縮減混音成兩個聲道或一個聲道以生成聲道縮減混音的音頻信號,且從該多聲道音頻信號中抽取出空間信息。空間信息是可用于從聲道縮減混音音頻信號中聲道擴展混音出多聲道音頻信號的信息。同時,編碼器根據一個預定的樹狀配置來聲道縮減混音多聲道音頻信號。在這種情況下,預定的樹狀配置可以是在音頻信號解碼器與音頻信號編碼器之間達成一致的結構。特別地,如果存在指示諸預定樹狀配置之一的類型的識別信息,則解碼器就能夠知道已經被聲道擴展混音的音頻信號的結構,例如,聲道的數目,每個聲道的位置等。
因此,如果編碼器根據預定樹狀配置來聲道縮減混音一個多聲道音頻信號,則在這個過程中抽取出的空間信息也依賴于該結構。所以,如果解碼器使用依賴于該結構的空間信息來對已聲道縮減混音的音頻信號進行聲道擴展混音處理,就生成了根據該結構的多聲道音頻信號。即,如果解碼器按照原樣使用由編碼器生成的空間信息,那么聲道擴展混音僅僅是根據在編碼器與解碼器之間達成一致的結構來執(zhí)行的。所以,無法生成不遵循所達成一致的結構的輸出聲道音頻信號。例如,無法將一個信號聲道擴展混音成一個聲道數與根據達成一致的結構所決定的聲道數不同(少一些或多一些)的音頻信號。
發(fā)明內容
因此,本發(fā)明涉及一種基本上避免了由于相關技術的限制和缺點而引起的問題中的一個或多個的解碼音頻信號的裝置及其方法。
本發(fā)明的一個目標是提供一種解碼音頻信號的裝置及其方法,音頻信號藉此可以被解碼成具有與編碼器所決定的結構不同的結構。
本發(fā)明的另一個目標是提供一種解碼音頻信號的裝置及其方法,音頻信號藉此可以使用通過修改由編碼處理生成的先前的空間信息而生成的空間信息來解碼。
本發(fā)明的其它特征和優(yōu)點將在以下說明中陳述,并且部分地將從說明中明了,或者可以通過本發(fā)明的實踐來掌握。本發(fā)明的目標以及其它的優(yōu)點將通過在此書面說明和所附權利要求書以及附圖中所特別指出的結構來實現和獲得。
為了實現這些及其它的優(yōu)點,且根據本發(fā)明的目標,如具體表達和廣泛描述的,根據本發(fā)明的一種解碼音頻信號的方法包括接收音頻信號及空間信息,識別經修改空間信息的類型,使用所述空間信息生成經修改空間信息,以及使用經修改空間信息來解碼音頻信號,其中經修改空間信息的類型包括部分空間信息、組合空間信息、以及擴展空間信息中的至少一種。
為進一步實現這些及其它的優(yōu)點,且根據本發(fā)明的目標,一種解碼音頻信號的方法包括接收空間信息,使用該空間信息生成組合空間信息,以及使用該組合空間信息解碼音頻信號,其中該組合空間信息是通過將包含于該空間信息中的空間參數組合來生成的。
為進一步實現這些及其它的優(yōu)點,且根據本發(fā)明的目標,一種解碼音頻信號的方法包括接收包含至少一個空間信息的空間信息以及包含至少一個濾波器參數的空間濾波器信息;通過將該空間參數與該濾波器參數組合來生成具有環(huán)繞效果的組合空間信息;以及使用該組合空間信息將音頻信號轉換成虛擬環(huán)繞信號。
為進一步實現這些及其它的優(yōu)點,且根據本發(fā)明的目標,一種解碼音頻信號的方法包括接收音頻信號,接收包含樹狀配置信息和空間參數的空間信息,通過向該空間信息添加擴充空間信息生成經修改空間信息,以及使用該經修改空間信息對音頻信息進行聲道擴展混音處理,對音頻信號進行聲道擴展混音處理包括基于空間信息將音頻信號轉換成初級聲道擴展混音音頻信號、并且基于擴充空間信息將初級聲道擴展混音音頻信號轉換成次級聲道擴展混音音頻信號。
應當理解,以上一般描述以及以下詳細描述都是示例性和解釋性的,皆意在提供對主張權利的本發(fā)明的進一步解釋。
附圖簡要說明 包括于此以提供對本發(fā)明的進一步理解、并被結合在本說明書中且構成其一部分的附圖示出本發(fā)明的實施方式,其與說明書一起可用來解釋本發(fā)明的原理。
在附圖中
圖1是根據本發(fā)明的音頻信號編碼裝置和音頻信號解碼裝置的框圖; 圖2是應用部分空間信息的一個實施例的示意圖; 圖3是應用部分空間信息的另一個實施例的示意圖; 圖4是應用部分空間信息的再一個實施例的示意圖; 圖5是應用組合空間信息的一個實施例的示意圖; 圖6是應用組合空間信息的另一個實施例的示意圖; 圖7是從揚聲器到聽者的聲徑的示圖,其中示出了各揚聲器的位置; 圖8是解釋為環(huán)繞效果從每個揚聲器位置輸出的信號的示圖; 圖9是解釋使用5聲道信號來生成3聲道信號的方法的概念圖; 圖10是基于擴充聲道配置信息配置擴充聲道的實施例的示圖; 圖11是解釋圖10所示的擴充聲道配置及其與擴充空間參數的關系的示圖; 圖12是5.1聲道的多聲道音頻信號與6.1聲道的輸出聲道音頻信號的位置圖; 圖13是解釋虛擬聲源位置與兩個聲道之間的聲級差之間的關系的圖; 圖14是解釋兩個后置聲道的聲級與一個后中置聲道聲級的圖; 圖15是解釋5.1聲道的多聲道音頻信號的位置以及7.1聲道的輸出聲道音頻信號的位置的圖; 圖16是解釋兩個左聲道的聲級以及一個左前側聲道(Lfs)的聲級的圖;以及 圖17是解釋三個前置聲道的聲級以及一個左前側聲道(Lfs)的聲級的圖。
實施發(fā)明的最佳方式 下面將詳細參考本發(fā)明的較佳實施方式,其具體示例圖示于附圖中。
當前且普遍使用的通用術語被選作本發(fā)明中使用的術語。并且,還有申請人為特殊情況任意性選擇的術語,其詳細的含義在本發(fā)明的較佳實施例的描述中詳細解釋。因此,不應從術語的字面來理解本發(fā)明,而應以術語的含義來理解。
首先,本發(fā)明使用空間信息生成經修改空間信息,然后用所生成的經修改空間信息來解碼音頻信號。在這種情況下,空間信息是在根據預定樹狀配置進行聲道縮減混音的過程中抽取出的空間信息,而經修改空間信息是用該空間信息新生成的空間信息。
將結合圖1對本發(fā)明進行如下詳細解釋。
圖1是根據本發(fā)明的實施方式的音頻信號編碼裝置和音頻信號解碼裝置的框圖。
參考圖1,編碼音頻信號的裝置(下文簡稱編碼裝置)100包括聲道縮減混音單元110以及空間信息抽取單元120。而解碼音頻信號的裝置(下文簡稱解碼裝置)200包括一個輸出聲道生成單元210以及一個經修改空間信息生成單元220。
編碼裝置100的聲道縮減混音單元110通過對多聲道音頻信號IN_M作聲道縮減混音生成聲道縮減混音音頻信號d。聲道縮減混音音頻信號d可以是由聲道縮減混音單元110通過聲道縮減混音該多聲道音頻信號IN_M而生成的信號或者是由用戶任意性地聲道縮減混音該多聲道音頻信號IN_M而生成的任意性聲道縮減混音音頻信號。
編碼裝置100的空間信息抽取單元120從多聲道音頻信號IN_M中抽取空間信息s。在這種情況下,空間信息是將聲道縮減混音音頻信號d聲道擴展混音成多聲道音頻信號IN_M所需要的信息。
同時,該空間信息可以是在根據預定樹狀配置對多聲道音頻信號IN_M進行聲道縮減混音處理的過程中抽取的信息。在這種情況下,樹狀配置可對應于在音頻信號解碼裝置與音頻信號編碼裝置之間達成一致的(一個或多個)樹狀配置,本發(fā)明對此沒有限制。
并且,空間信息能夠包括樹狀配置信息、指示符、空間參數等等。樹狀配置信息是關于樹狀配置類型的信息。所以,多聲道的數目、每聲道的聲道縮減混音順序等等根據樹狀配置的類型而改變。指示符是指示擴充空間信息是否存在等的信息。并且空間參數可包括在將至少兩個聲道進行聲道縮減混音成為至多兩個聲道的過程中的聲道聲級差(以下簡稱CLD)、聲道間相關性或相干性(下文簡稱ICC)、聲道預測系數(下文簡稱CPC)等。
同時,除空間信息外,空間信息抽取單元120還能夠進一步抽取擴充空間信息。在這種情況下,擴充空間信息是對已經用空間參數進行了聲道擴展混音處理的聲道縮減混音音頻信號d進行額外擴充所需要的信息。此外,擴充空間信息可包括擴充聲道配置信息和擴充空間參數。擴充空間信息不局限于由空間信息抽取單元120抽取的擴充空間信息,下文將會對它進行解釋。
除此之外,編碼裝置100能夠進一步包括通過將聲道縮減混音音頻信號d解碼來生成聲道縮減混音音頻比特流的核心編解碼器編碼單元(未在附圖中示出)、通過編碼空間信息s來生成空間信息比特流的空間信息編碼單元(未在附圖中示出)、以及通過將聲道縮減混音音頻比特流與空間信息比特流多路復用來生成音頻信號比特流的多路復用單元(未在附圖中示出),在這方面本發(fā)明未作限制。
并且,解碼裝置200能夠進一步包括將音頻信號比特流分離成聲道縮減混音音頻比特流和空間信息比特流的多路分解單元(未在附圖中示出)、對聲道縮減混音音頻比特流進行解碼的核心編解碼器解碼單元(未在附圖中示出)、以及對空間信息比特流進行解碼的空間信息解碼單元(未在附圖中示出),在這方面本發(fā)明未作限制。
解碼裝置200中的經修改空間信息生成單元220使用空間信息識別經修改空間信息的類型,然后基于空間信息生成所識別出的類型的經修改空間信息s′。在這種情況下,空間信息可以是從編碼裝置100傳達來的空間信息s。并且,經修改空間信息是使用該空間信息新生成的信息。
同時,可能存在各種類型的經修改空間信息。并且,各種類型的經修改空間信息可包括a)、b)和c)中的至少一個a)部分空間信息,b)組合空間信息,c)擴充空間信息,本發(fā)明在這方面未作限制。
部分空間信息包括部分的空間參數,組合空間信息通過組合空間參數來生成,而擴展空間信息使用該空間信息和擴充空間信息來生成。
經修改空間信息生成單元220生成經修改空間信息的方式可根據經修改空間信息的類型而不同。并且,按照經修改空間信息的類型生成經修改空間信息的方法在下文中會有詳細的解釋。
同時,決定經修改空間信息的類型的基準可對應于空間信息中的樹狀配置信息、空間信息中的指示符、輸出聲道信息等。樹狀配置信息以及指示符可以被包含在來自編碼裝置的空間信息s中。輸出聲道信息是關于互連至解碼裝置200的揚聲器的信息,且可以包括輸出聲道數、關于每個輸出聲道的位置信息等。輸出聲道信息可以由制造商預先輸入或由用戶輸入。
使用這些信息來決定經修改空間信息的類型的方法將在稍后進行詳細解釋。
解碼裝置200的輸出聲道生成單元210使用經修改空間信息s′從聲道縮減混音音頻信號d生成輸出聲道音頻信號OUT_N。
空間濾波器信息230是關于聲徑的信息,并且被提供給經修改空間信息生成單元220。如果經修改空間信息生成單元220生成具有環(huán)繞效果的組合空間信息,則可以使用空間濾波器信息。
在下文中,通過按照經修改空間信息的類型生成經修改空間信息來解碼音頻信號的方法按下述次序來如下解釋(1)部分空間信息,(2)組合空間信息,(3)擴展空間信息。
(1)部分空間信息 因為空間參數是在根據預定樹狀配置對多聲道音頻信號進行聲道縮減混音處理的過程中計算出來的,所以如果聲道縮減混音音頻信號是按原樣使用空間參數來解碼的,則可以重構出進行聲道縮減混音處理之前的原始多聲道音頻信號。如果試圖使輸出聲道音頻信號的聲道數N小于多聲道音頻信號的聲道數M,那么可以通過部分地應用空間參數來解碼聲道縮減混音音頻信號。
這種方法可以根據在編碼裝置中將多聲道音頻信號進行聲道縮減混音的順序和方法即樹狀配置的類型而改變。并且,樹狀配置類型可以使用空間信息的樹狀配置信息來查詢。而且這種方法可根據輸出聲道的數目而改變。此外,可以使用輸出聲道信息來查詢輸出聲道的數目。
下文中,在輸出聲道音頻信號的聲道數比多聲道音頻信號的聲道數少的情況下,在以下的說明中,以各種樹狀配置為例,對一種通過應用部分地包括空間參數的部分空間信息來解碼音頻信號的方法加以解釋。
(1)-1.樹狀配置的第一實施例(5-2-5樹狀配置) 圖2是應用部分空間信息的一個實施例的示意圖。
參考圖2的左半部分,示出了將聲道數為6(左前置聲道L、左環(huán)繞聲道Ls、中置聲道C、低頻聲道LFE、右前置聲道R、右環(huán)繞聲道Rs)的多聲道音頻信號聲道縮減混音成立體聲聲道縮減混音聲道Lo和Ro的順序以及多聲道音頻信號與空間參數之間的關系。
首先,執(zhí)行左聲道L與左環(huán)繞聲道Ls之間的聲道縮減混音、中置聲道C與低頻聲道LFE之間的聲道縮減混音、以及右聲道R與右環(huán)繞聲道Rs之間的聲道縮減混音。在此初級聲道縮減混音過程中,生成了左總聲道Lt、中置總聲道Ct以及右總聲道Rt。并且在此初級聲道縮減混音過程中計算出的空間參數包括CLD2(含ICC2)、CLD1(含ICC1)、CLD0(含ICC0)等。
在此初級聲道縮減混音過程之后的次級過程中,左總聲道Lt、中置總聲道Ct與右總聲道Rt被聲道縮減混音在一起以生成左聲道L0以及右聲道R0。在次級聲道縮減混音過程中計算的空間參數包括CLDTTT、CPCTTT、ICCTTT等。
換言之,總計六個聲道的多聲道音頻信號按照上述順序聲道縮減混音,以生成立體聲聲道縮減混音聲道Lo和Ro。
如果原封不動地使用以上述順序方式計算出的空間參數(CLD2、CLD1、CLD0、CLDTTT等),則它們按照與聲道縮減混音的次序相反的順序進行聲道擴展混音以生成聲道數為6(左前置聲道L、左環(huán)繞聲道Ls、中置聲道C、低頻聲道LFE、右前置聲道R、右環(huán)繞聲道Rs)的多聲道音頻信號。
參考圖2的右半部分,如果部分空間信息對應于空間參數(CLD2、CLD1、CLD0、CLDTTT等)中的CLDTTT,則其被聲道擴展混音成左總聲道Lt、中置總聲道Ct以及右總聲道Rt。如果左總聲道Lt和右總聲道Rt被選擇為輸出聲道音頻信號,則能夠生成有Lt和Rt兩個聲道的輸出聲道音頻信號。如果左總聲道Lt、中置總聲道Ct和右總聲道Rt被選擇為輸出聲道音頻信號,則能夠生成有Lt、Ct和Rt三個聲道的輸出聲道音頻信號。在額外地用了CLD1進行聲道擴展混音后,如果左總聲道Lt、右總聲道Rt、中置聲道C以及低頻聲道LFE被選擇,則能夠生成有四個聲道(Lt、Rt、C和LFE)的輸出聲道音頻信號。
(1)-2.樹狀配置的第二實施例(5-1-5樹狀配置) 圖3是應用部分空間信息的另一個實施例的示意圖。
參考圖3的左半部分,示出了將聲道數為6(左前置聲道L、左環(huán)繞聲道Ls、中置聲道C、低頻聲道LFE、右前置聲道R、右環(huán)繞聲道Rs)的多聲道音頻信號聲道縮減混音成單聲道的聲道縮減混音音頻信號M的順序以及多聲道音頻信號與空間參數之間的關系。
首先,與第一實施例相似,執(zhí)行左聲道L與左環(huán)繞聲道Ls之間的聲道縮減混音、中置聲道C與低頻聲道LFE之間的聲道縮減混音、以及右聲道R與右環(huán)繞聲道Rs之間的聲道縮減混音。在此初級聲道縮減混音過程中,生成了左總聲道Lt、中置總聲道Ct以及右總聲道Rt。并且,在此初級聲道縮減混音過程中計算出的空間參數包括CLD3(含ICC3)、CLD4(含ICC4)、CLD5(含ICC5)等。(在本例中,CLDX和ICCX區(qū)別于第一實施例中的先前的CLDX)。
在此初級聲道縮減混音過程之后的次級過程中,左總聲道Lt和右總聲道Rt一起被聲道縮減混音以生成左中置聲道LC,而中置總聲道Ct與右總聲道Rt一起被聲道縮減混音以生成一個右中置聲道RC。并且,在此次級聲道縮減混音過程中計算出的空間參數可包括CLD2(含ICC2)、CLD1(含ICC1)等。
然后,在三級聲道縮減混音過程中,左中置聲道LC和右中置聲道Rt被聲道縮減混音以生成單聲道的聲道縮減混音信號M。并且,在此三級聲道縮減混音過程中計算出的空間參數包括CLD0(含ICC0)等。
參考圖3的右半部分,如果部分空間信息對應于空間參數(CLD3、CLD4、CLD5、CLD1、CLD2、CLD0等)中的CLD0,則生成左中置聲道LC以及右中置聲道RC。如果左中置聲道LC和右中置聲道RC被選擇為輸出聲道音頻信號,則能夠生成有LC和RC兩個聲道的輸出聲道音頻信號。
同時,如果部分空間信息對應于空間參數(CLD3、CLD4、CLD5、CLD1、CLD2、CLD0等)中的CLD0、CLD1和CLD2,則生成左總聲道Lt、中置總聲道Ct以及右總聲道Rt。
如果左總聲道Lt和右總聲道Rt被選擇為輸出聲道音頻信號,則能夠生成有Lt和Rt兩個聲道的輸出聲道音頻信號。如果左總聲道Lt、中置總聲道Ct和右總聲道Rt被選擇為輸出聲道音頻信號,則能夠生成有Lt、Ct和Rt三個聲道的輸出聲道音頻信號。
在部分空間信息還額外包括CLD4的情況下,在聲道擴展混音被執(zhí)行至中置聲道及低頻聲道LEF后,如果左總聲道Lt、右總聲道Rt、中置聲道C和低頻聲道LEF被選擇為輸出聲道音頻信號,則能夠生成四個聲道(Lt、Rt、C和LFE)的輸出聲道音頻信號。
(1)-3.樹狀配置的第三實施例(5-1-5樹狀配置) 圖4是應用部分空間信息的又一個實施例的示意圖。
參考圖4的左半部分,示出了將聲道數為6(左前置聲道L、左環(huán)繞聲道Ls、中置聲道C、低頻聲道LFE、右前置聲道R、右環(huán)繞聲道Rs)的多聲道音頻信號聲道縮減混音成單聲道的聲道縮減混音音頻信號M的順序以及多聲道音頻信號與空間參數之間的關系。
首先,與第一實施例或第二實施例相似,執(zhí)行左聲道L和左環(huán)繞聲道Ls之間的聲道縮減混音、中置聲道C與低頻聲道LFE之間的聲道縮減混音、以及右聲道R與右環(huán)繞聲道Rs之間的聲道縮減混音。在此初級聲道縮減混音過程中,生成了左總聲道Lt、中置總聲道Ct以及右總聲道Rt。并且,在此初級聲道縮減混音過程中計算出的空間參數包括CLD1(含ICC1)、CLD2(含ICC2)、CLD3(含ICC3)等(在本例中,CLDX和ICCX區(qū)別于第一或第二實施例中先前的CLDX和ICCX)。
在此初級聲道縮減混音過程之后的次級過程中,左總聲道Lt、中置總聲道Ct以及右總聲道Rt一起被聲道縮減混音以生成左中置聲道LC以及右聲道R。并且空間參數CLDTTT(含ICCTTT)被計算出來。
然后,在三級聲道縮減混音過程中,左中置聲道LC與右聲道R被聲道縮減混音以生成單聲道聲道縮減混音信號M。并且空間參數CLD0(含ICC0)被計算出來。
參考圖4的右半部分,如果部分空間信息對應于空間參數(CLD1、CLD2、CLD3、CLDTTT、CLD0等)中的CLD0和CLDTTT,則生成左總聲道Lt、中置總聲道Ct以及右總聲道Rt。
如果左總聲道Lt和右總聲道Rt被選擇為輸出聲道音頻信號,則能夠生成有Lt和Rt兩個聲道的輸出聲道音頻信號。
如果左總聲道Lt、中置總聲道Ct和右總聲道Rt被選擇為輸出聲道音頻信號,則能夠生成有Lt、Ct和Rt三個聲道的輸出聲道音頻信號。
在部分空間信息還額外包含CLD2的情況下,在聲道擴展混音已被執(zhí)行至中置聲道C及低頻聲道LEF后,如果左總聲道Lt、右總聲道Rt、中置聲道C和低頻聲道LEF被選擇為輸出聲道音頻信號,則能夠生成四個聲道(Lt、Rt、C和LFE)的輸出聲道音頻信號。
在以上描述中,以這三種樹狀配置類型為例,對僅部分地應用空間參數來生成輸出聲道音頻信號的過程進行了解釋。而且,除了部分空間信息之外,還可以額外地應用組合空間信息或擴充空間信息。因此,可以應對將經修改空間信息分級地、或集體地且綜合地應用于音頻信號的過程。
(2)組合空間信息 因為空間信息是在根據預定的樹狀配置來聲道縮減混音一多聲道音頻信號的過程中計算出來的,所以如果照原樣使用空間信息的空間參數對聲道縮減混音音頻信號進行解碼,則可重構出聲道縮減混音之前的原始多聲道音頻信號。如果多聲道音頻信號的聲道數M不同于輸出聲道音頻信號的聲道數N,則通過組合空間信息生成新的組合空間信息,然后就能夠使用所生成的信息對聲道縮減混音音頻信號進行聲道擴展混音處理。特別地,通過將空間參數應用于轉換公式,就能夠生成組合空間參數。
此方法可以根據在編碼裝置中聲道縮減混音一多聲道音頻信號的順序和方法而改變。并且能夠使用空間信息中的樹狀配置信息來查詢聲道縮減混音的順序和方法。而且此方法根據輸出聲道的數目而改變。此外,可以使用輸出聲道信息來查詢輸出聲道的數目等。
接下來,在下文的描述中將解釋修改空間信息的方法的詳細實施方式和給出虛擬3-D效果的實施方式。
(2)-1.通用組合空間信息 提供了一種通過組合空間信息的空間參數來生成組合空間參數的方法,用于根據與聲道縮減混音過程中的樹狀配置不同的樹狀配置進行聲道擴展混音。因此,這種方法能應用于所有種類的聲道縮減混音音頻信號,而不論根據樹狀配置信息的樹狀配置是什么。
如果多聲道音頻信號是5.1聲道的,并且聲道縮減混音音頻信號是1聲道(單聲道)的,一種生成兩個聲道的輸出聲道音頻信號的方法參考兩種實施例解釋如下。
(2)-1-1.樹狀配置的第四實施例(5-1-51樹狀配置) 圖5是應用組合空間信息的實施例的示意圖。
參考圖5的左半部分,CLD0到CLD4以及ICC0到ICC4(未在附圖中顯示)可以被稱為可在對5.1聲道的多聲道音頻信號進行聲道縮減混音的過程中計算出的空間參數。例如,在空間參數中,左聲道信號L與右聲道信號R之間的聲道間聲級差是CLD3,L與R之間的聲道間相關性是ICC3。并且左環(huán)繞聲道Ls與右環(huán)繞聲道Rs之間的聲道間聲級差是CLD2,Ls與Rs之間的聲道間相關性是ICC2。
另一方面,參考圖5的右半部分,如果通過將組合空間參數CLDα和ICCα應用于單聲道的聲道縮減混音音頻信號m而生成左聲道信號Lt和右聲道信號Rt,則能夠從單聲道音頻信號m直接生成立體聲輸出聲道音頻信號Lt和Rt。在這種情況下,組合空間參數CLDα和ICCα可以通過將CLD0至CLD4以及ICC0至ICC4組合來計算。
下文首先解釋通過將CLD0至CLD4組合在一起來計算組合空間參數中的CLDα的過程,然后解釋通過將CLD0至CLD4以及ICC0至ICC4組合來計算組合空間參數中的ICCα的過程如下。
(2)-1-1-a.CLDα的推導 首先,由于CLDα是左輸出信號Lt與右輸出信號Rt之間的聲級差,因此將左輸出信號Lt以及右輸出信號Rt代入到CLD的定義公式得到的結果如下所示。
[公式1] CLDα=10*log10(PLt/PRt), 其中,PLt是Lt的功率,PRt是Rt的功率。
[公式2] CLDα=10*log10(PLt+a/PRt+a), 其中,PLt是Lt的功率,PRt是Rt的功率,并且′a′是一個非常小的常數。
因此,CLDα由公式1或者公式2定義。
同時,為了使用空間參數CLD0到CLD4來表示PLt和PRt,需要輸出聲道音頻信號的左輸出信號Lt、輸出聲道音頻信號的右輸出信號Rt、與多聲道信號L、Ls、R、Rs、C以及LFE之間的關系公式。并且,相對應的關系公式可以定義如下。
[公式3] Lt=L+Ls+C/√2+LFE/√2 Rt=R+Rs+C/√2+LFE/√2 因為如公式3這樣的關系公式可以根據如何定義輸出聲道音頻信號而改變,故其可以用不同于公式3的公式的方式來定義。例如,C/√2或LFE/√2中的′1/√2′可以是′0′或′1′。
公式3可以引出如下公式4。
[公式4] PLt=PL+PLs+PC/2+PLFE/2 PRt=PR+PRs+PC/2+PLFE/2 可以使用PLt和PRt根據公式1或者公式2表示CLDα。并且,′PLt和PRt′可以使用PL、PLs、Pc、PLFE、PR和PRs根據公式4表示。所以,需要找出使得能用空間參數CLD0到CLD4來表示PL、PLs、PC、PLFE、PR和PRs的關系公式。
同時,如果樹狀配置如圖5所示,那么多聲道音頻信號(L、R、C、LFE、Ls、Rs)與單聲道的聲道縮減混音聲道信號m之間的關系如下所示。
[公式5] 其中, 并且公式5引出如下公式6。
[公式6] 其中, 特別地,通過把公式6代入公式4、并把公式4代入公式1或者公式2,就能夠以將空間參數CLD0至CLD4組合的方式表示組合空間參數CLDα。
同時,通過把公式6代入到公式4中的Pc/2+PLFE/2結果所得的展開在公式7中示出。
[公式7] PC/2+PLFE/2=[(c1,OTT4)2+(c2,OTT4)2]*(c2,OTT1*c1,OTT0)2*m2/2, 在這種情況下,根據c1和c2的定義(參見公式5),因為(c1,x)2+(c2,x)2=1,故(c1,OTT4)2+(c2,OTT4)2=1。
所以,公式7可以簡單地歸納如下。
[公式8] PC/2+PLFE/2=(c2,OTT1*c1,OTT0)2*m2/2 因此,通過把公式8和公式6代入公式4、并且把公式4代入公式1,就能夠以將空間參數CLD0至CLD4組合的方式來表示組合空間參數CLDα。
(2)-1-1-b.ICCα的推導 首先,因為ICCα是左輸出信號Lt與右輸出信號Rt之間的相關性,所以將左輸出信號Lt和右輸出信號Rt代入到相對應的定義公式得到的結果如下所示。
[公式9] 其中 在公式9中,PLt和PRt可以使用CLD0至CLD4在公式4、公式6、公式8中表示。并且,PLtPRt能以公式10的方式展開。
[公式10] PLtRt=PLR+PLsRs+PC/2+PLFE/2 在公式10中,′PC/2+PLFE/2′可根據公式6表示成CLD0到CLD4。并且,PLR和PLsRs可以根據ICC定義展開如下。
[公式11] ICC3=PLR/√(PLPR) ICC2=PLsRs/√(PLsPRs) 在公式11中,如果將√(PLPR)或者√(PLsPRs)進行移項,就可以獲得公式12。
[公式12] PLR=ICC3*√(PLPR) PLsRs=ICC2*√(PLsPRs) 在公式12中,PL、PR、PLs和PRs可以根據公式6表示成CLD0至CLD4。將公式6代入公式12結果得到的公式對應于公式13。
[公式13] PLR=ICC3*c1,OTT3*c2,OTT3*(c1,OTT1*c1,OTT0)2*m2 PLsRs=ICC2*c1,OTT2*c2,OTT2*(c2,OTT0)2*m2 歸納起來,通過把公式6和公式13代入公式10、并把公式10和公式4代入公式9,就能夠把組合空間參數ICCα用空間參數CLD0到CLD3、ICC2和ICC3來表示。
(2)-1-2.樹狀配置的第五實施方式(5-1-52樹狀配置) 圖6是應用組合空間信息的另一個實施例的示意圖。
參考圖6的左半部分,CLD0到CLD4以及ICC0到ICC4(未在附圖中顯示)可以被稱為可在對5.1聲道的多聲道音頻信號進行聲道縮減混音的過程中計算出的空間參數。
在空間參數中,左聲道信號L與左環(huán)繞聲道信號Ls之間的聲道間聲級差是CLD3,并且L與Ls之間的聲道間相關性是ICC3。并且,右聲道R與右環(huán)繞聲道Rs之間的聲道間聲級差是CLD4,R與Rs之間的聲道間相關性是ICC4。
另一方面,參考圖6的右半部分,如果通過將組合空間參數CLDβ和ICCβ應用于單聲道的聲道縮減混音音頻信號m生成左聲道信號Lt和右聲道信號Rt,則能夠從單聲道音頻信號m直接生成立體聲輸出聲道音頻信號Lt和Rt。在這種情況下,組合空間參數CLDβ和ICCβ可以通過將空間參數CLD0至CLD4以及ICC0至ICC4組合來計算。
下文首先解釋通過將CLD0至CLD4組合在一起計算組合空間參數中的CLDβ的過程,然后解釋通過將CLD0至CLD4以及ICC0至ICC4組合在一起來計算組合空間參數中的ICCβ的過程如下。
(2)-1-2-a.CLDβ的推導 首先,因為CLDβ是左輸出信號Lt與右輸出信號Rt之間的聲道間聲級差,將左輸出信號Lt以及右輸出信號Rt代入CLD的定義公式的結果如下所示。
[公式14] CLDβ=10*log10(PLt/PRt), 其中,PLt是Lt的功率,PRt是Rt的功率。
[公式15] CLDβ=10*log10(RLt+a/PRt+a), 其中,PLt是Lt的功率,PRt是Rt的功率,并且′a′是一個非常小的數。
因此,CLDβ如公式14或公式15地來定義。
同時,為了使用空間參數CLD0到CLD4來表示PLt和PRt,需要輸出聲道音頻信號的左輸出信號Lt、輸出聲道音頻信號的右輸出信號Rt、與多聲道信號L、Ls、R、Rs、C以及LFE之間的關系公式。并且,相對應的關系公式可以定義如下。
[公式16] Lt=L+Ls+C/√2+LFE/√2 Rt=R+Rs+C/√2+LFE/√2 因為如公式16那樣的關系公式可以根據如何定義輸出聲道音頻信號而改變,故其可以用不同于公式16的公式的方式來定義。例如,C/√2或LFE/√2中的′1/√2′可以是′0′或′1′。
公式16可以引出如下公式17。
[公式17] PLt=PL+PLs+PC/2+PLFE/2 PRt=PR+PRs+PC/2+PLFE/2 可以使用PLt和PRt根據公式14或者公式15表示CLDβ。并且,′PLt和PRt′可以使用PL、PLs、Pc、PLFE、PR和PRs根據公式15來表示。所以,需要找出使得能用空間參數CLD0到CLD4來表示PL、PLs、PC、PLFE、PR和PRs的關系公式。
同時,如果樹狀配置如圖6所示,那么多聲道音頻信號(L、R、C、LFE、Ls、Rs)與單聲道的聲道縮減混音聲道信號m之間的關系如下所示。
[公式18] 其中, 并且,公式18引出如下公式19。
[公式19] 其中, 特別地,通過把公式19代入公式17、并把公式17代入公式14或者公式15,就能夠以將空間參數CLD0到CLD4組合的方式來表示組合空間參數CLDβ。
同時,把公式19代入到公式17中的PL+PLs結果得到的展開公式表示在公式20中。
[公式20] PL+PLs=[(c1,OTT3)2+(c2,OTT3)2](c1,OTT1*c1,OTT0)2*m2 在這種情況下,根據c1和c2的定義(參見公式5),因為(c1,x)2+(c2,x)2=1,故(c1,OTT3)2+(c2,OTT3)2=1。
所以,公式20可以簡單地歸納如下。
[公式21] PL_=PL+PLs=(c1,OTT1*c1,OTT0)2*m2 另一方面,把公式19代入到公式17中的PR+PRs結果得到的展開公式表示在公式22中。
[公式22] PR+PRs=[(c1,OTT4)2+(c2,OTT4)2](c1,OTT1*c1,OTT0)2*m2 在這種情況下,根據c1和c2的定義(參見公式5),因為(c1,x)2+(c2,x)2=1,故(c1,OTT4)2+(c2,OTT4)2=1。
所以,公式22可以簡單地歸納如下。
[公式23] PR_=PR+PRs=(c2,OTT1*c1,OTT0)2*m2 另一方面,把公式19代入到公式17中的PC/2+PLFE/2結果得到的展開公式表示在公式24中。
[公式24] PC/2+PLFE/2=[(c1,OTT2)2+(c2,OTT2)2](c2,OTT0)2*m2/2 在這種情況下,根據c1和c2的定義(參見公式5),因為(c1,x)2+(c2,x)2=1,故(c1,OTT2)2+(c2,OTT2)2=1。
所以,公式24可以簡單地歸納如下。
[公式25] PC/2+PLFE/2=(c2,OTT0)2*m2/2 因此,通過把公式21、公式23和公式25代入公式17、并把公式17代入公式14或者公式15,就能夠以將空間參數CLD0到CLD4組合的方式來表示組合空間參數CLDβ。
(2)-1-2-b.ICCβ的推導 首先,因為ICCβ是左輸出信號Lt與右輸出信號Rt之間的相關性,所以將左輸出信號Lt和右輸出信號Rt代入到相對應的定義公式得到的結果如下所示。
[公式26] 其中 在公式26中,PLt和PRt可以根據公式19使用CLD0到CLD4來表示。并且,PLtPRt可以按公式27的方式展開。
[公式27] PLtRt=PL_R_+PC/2+PLFE/2 在公式27中,′Pc/2+PLFE/2′可以根據公式19用CLD0到CLD4來表示。并且,PL_R_可以根據如下ICC定義來展開。
[公式28] ICC1=PL_R_/√(PL_PR_) 如果將√(PL_PR_)移項,可以獲得公式29。
[公式29] PL_R_=ICC1*√(PL_PR_) 在公式29中,PL_和PR_和可以根據公式21和公式23用CLD0到CLD4來表示。將公式21和公式23代入公式29得到的公式對應于公式30。
[公式30] PL_R_=ICC1*c1,OTT1*c1,OTT0*c2,OTT1*c1,OTT0*m2 歸納起來,通過把公式30代入公式27、并把公式27和公式17代入公式26,就能夠把組合空間參數ICCβ用空間參數CLD0到CLD4以及ICC1來表示。
以上解釋的空間參數修改方法只是一個實施方式。并且,在尋找Px或Pxy時,顯然通過考慮相應各聲道之間的相關性(例如ICC0等)、并以及額外考慮信號能量,以上解釋的公式即能夠以各種形式來改變。
(2)-2.具有環(huán)繞效果的組合空間信息 首先,如果考慮聲徑來通過將空間信息進行組合生成組合空間信息,就能夠產生虛擬環(huán)繞效果。
虛擬環(huán)繞效果或日虛擬3D效果能夠在沒有環(huán)繞聲道揚聲器的情況下生成實質上存在環(huán)繞聲道揚聲器的效果。例如,5.1-聲道音頻信號是通過兩個立體聲揚聲器輸出的。
聲徑可對應于空間濾波器信息??臻g濾波器信息能夠使用稱為HRTF(頭部相關傳遞函數)的函數,本發(fā)明對此不作限制。空間濾波器信息能夠包含濾波器參數。通過將濾波器參數和空間參數代入到一個轉換公式中,就能夠生成組合空間參數。并且,所生成的組合空間參數可以包含濾波器系數。
接下來,假設多聲道音頻信號是5聲道的,且生成的是三聲道的輸出聲道音頻信號,考慮聲徑以生成具有環(huán)繞效果的組合空間信息的方法將解釋如下。
圖7是從揚聲器到聽者的聲徑的示圖,其中示出了各揚聲器的位置。
參考圖7,三個揚聲器SPK1、SPK2和SPK3的位置分別是左前置L、中置C以及右R。并且虛擬環(huán)繞聲道的位置分別是左環(huán)繞Ls和右環(huán)繞Rs。
分別示出了從三個揚聲器的位置L、C和R以及虛擬環(huán)繞聲道位置Ls和Rs到聽者的右耳和左耳位置r和l的聲徑。標記′Gx_y′指示從位置x到位置y的聲徑。例如,標記′GL_r′指示從左前置L到聽者的右耳r的聲徑。
如果在五個位置上存在揚聲器(即在左環(huán)繞Ls和右環(huán)繞Rs處也存在揚聲器),并且如果聽者存在于圖7所示位置,那么送入聽者左耳的信號L0和送入聽者右耳的信號R0用公式31來表示。
[公式31] L0=L*GL_l+C*GC_l+R*GR_l+LS*GLs_l+RS*GRs_l R0=L*GL_r+C*GC_r+R*GR_r+LS*GLs_r+RS*GRs_r, 其中,L、C、R、Ls和Rs分別是各位置處的聲道,Gx_y表示從位置x到位置y的聲徑,并且′*′表示卷積。
然而,如以上描述所述,如果揚聲器只存在于三個位置L、C、和R,那么送入聽者左耳的信號L0_real和送入聽者右耳的信號R0_real表示如下。
[公式32] L0_real=L*GL_l+C*GC_l+R*GR_l R0_real=L*GL_r+C*GC_r+R*GR_r 因為在公式32中表示的信號沒有考慮環(huán)繞聲道信號Ls和Rs,故不能產生虛擬環(huán)繞效果。為了產生虛擬環(huán)繞效果,要使得從揚聲器位置Ls到達聽者位置(l,r)的Ls信號等于與從不同于原始位置Ls的三個位置L、C和R中的每一個處的揚聲器到達聽者位置(l,r)的Ls信號。并且,這也等同地適用于右環(huán)繞聲道信號Rs。
審視左環(huán)繞聲道信號Ls,如果左環(huán)繞聲道信號Ls是從在作為原始位置的左環(huán)繞位置Ls的揚聲器輸出的,那么到達聽者的左、右耳l和r的信號表示如下。
[公式33] ′Ls*GLs_l′、′Ls*GLs_r′ 并且,如果右環(huán)繞聲道信號Rs是從在作為原始位置的右環(huán)繞位置Rs的揚聲器輸出的,那么到達聽者的左、右耳l和r的信號表示如下。
[公式34] ′Rs*GRs_l′、′Rs*GRs_r′ 如果到達聽者的左、右耳l和r信號等于公式33和公式34的分量,那么即使它們是通過任何位置的揚聲器(例如,通過在左前置位置的揚聲器SPK1)來輸出的,聽者也能夠擁有宛如揚聲器分別存在于左環(huán)繞位置Ls和右環(huán)繞位置Rs的感覺。
同時,如果公式33中的分量是從位于左環(huán)繞位置Ls的揚聲器輸出的,它們分別是到達聽者的左耳l和右耳r的信號。所以,如果公式33所示的分量是從位于左前置位置的揚聲器SPK1原封不動地輸出的,那么到達聽者的左耳l和右耳r的信號可以表示如下。
[公式35] ′Ls*GLs_l*GL_l′、′Ls*GLs_r*GL_r′ 審視公式35,添加了對應于從左前置位置L到聽者左耳l(或右耳r)的聲徑的分量′GL_l′(或′GL_r′)。
然而,到達聽者的左耳l和右耳r的信號應當是公式33而不是公式35中所示的分量。如果從位于左前置位置L的揚聲器輸出的聲音到達聽者,要添加分量′GL_l′(或′GL_r′)。因此,如果公式33中所示的分量是從位于左前置位置的揚聲器SPK1輸出的,那么對于聲徑而言,應當考慮′GL_l′(或′GL_r′)的反函數′GL_1-1′(或′GL_r-1′)。換言之,如果對應于公式33的分量是從位于左前置位置L上的揚聲器SPK1輸出的,那么這些分量必須按下面的公式修改。
[公式36] ′Ls*GLs_1*GL_1-1′、′Ls*GLs_r*GL_r-1′ 如果對應于公式34的分量是由位于左前置位置L上的揚聲器SPK1輸出的,那么這些分量必須修改成下面的公式。
[公式37] ′Rs*GRs_1*GL_1-1′、′Rs*GRs_r*GL_1-1′ 所以,從位于左前置位置L上的揚聲器SPK1輸出的信號L′歸納如下。
[公式38] L′=L+LS*GLs_1*GL_1-1+RS*GRs_1*GL_1-1 (分量Ls*GLs_r*GL_r-1和Rs*GRs_r*GL_1-1被省去) 如果公式38所示的要從位于左前置位置L上的揚聲器SPK1輸出的信號到達聽者左耳位置L,則添加聲徑因子′GL_1′。所以,公式38中的各′GL_1′項被抵消,籍此公式33和公式34所示的因子最終保留。
圖8是解釋從每個揚聲器位置輸出以實現虛擬環(huán)繞效果的信號的圖。
參考圖8,如果通過考慮聲徑,令從環(huán)繞位置Ls和Rs輸出的信號Ls和Rs被包含在從每個揚聲器位置SPK1輸出的信號L′中,那么它們對應于公式38。
在公式38中,GLs_1*GL_1-1被簡寫為HLs_L,如下所示。
[公式39] L′=L+LS*HLs_L+RS*HRs_L 例如,從位于中置位置C的揚聲器SPK2輸出的信號C’被歸納如下。
[公式40] C′=C+LS*HLs_C+RS*HRs_C 再例如,從位于右前置位置R的揚聲器SPK3輸出的信號R’被歸納如下。
[公式41] R′=R+LS*HLs_R+RS*HRs_R 圖9是解釋如公式38,公式39或公式40那樣使用5聲道信號生成3聲道信號的方法的概念圖。
如果使用5聲道信號生成2聲道信號R’和L’,或者如果在中置聲道信號C’中不包含環(huán)繞聲道信號Ls或Rs,則HLs_C或者HRs_C變成0。
為了方便實現,Hx_y可以用使Hx_y被Gx_y替代或者通過考慮串話(cross-talk)來使用Hx_y的方式進行各種修改。
以上詳細解釋涉及具有環(huán)繞效果的組合空間信息的一個實施例。并且顯然,它可以根據應用空間濾波器信息的方法以各種形式改變。如以上敘述所述,根據以上過程通過揚聲器(在上例中,是左前置聲道L’、右前置聲道R’和中置聲道C’)輸出的信號可以使用組合空間信息——更具體地是使用組合空間參數——從聲道縮減混音音頻信號生成。
(3)擴展空間信息 首先,通過將擴充空間信息添加到空間信息,就能夠生成擴展空間信息。且能夠使用該擴充空間信息對音頻信號進行聲道擴展混音。在對應的擴展混音過程中,音頻信號基于空間信息被轉換為初級聲道擴展混音音頻信號,然后該初級聲道擴展混音音頻信號基于擴充空間信息被轉換為次級聲道擴展混音音頻信號。
在這種情況下,擴充空間信息能夠包含擴充聲道配置信息、擴充聲道映射信息和擴充空間參數。
擴充聲道配置信息是關于可配置聲道以及可用空間信息的樹狀配置信息來配置的聲道的信息。擴充聲道配置信息可包含分割標識符和不分割標識符中的至少一個,這在下面會詳細解釋。擴充聲道映射信息是配置擴充聲道的每個聲道的位置信息。且,擴充空間參數可以用來將一個聲道進行聲道擴展混音成至少兩個聲道。擴充空間參數可包含聲道間聲級差。
以上解釋的擴充空間信息可以在(i)由編碼裝置生成或(ii)由解碼裝置自身生成后被包含在空間信息中。如果擴充空間信息系由編碼裝置生成,則擴充空間信息的存在與否可以基于空間信息指示符來判定。如果擴充空間信息由解碼裝置自身生成,則擴充空間信息的擴充空間參數可通過使用空間信息的空間參數進行計算來得到。
同時,使用在空間信息和擴充空間信息的基礎上生成的擴展空間信息對音頻信號進行聲道擴展混音的過程可以順序地且分級地執(zhí)行或者集體地且綜合地執(zhí)行。如果擴展空間信息可以作為基于空間信息和擴充空間信息的一個矩陣來計算,則能夠使用該矩陣來集體且直接地將聲道縮減混音音頻信號聲道擴展混音成多聲道音頻信號。在這種情況下,配置該矩陣的因子可以根據空間參數和擴充空間參數來定義。
下文中,在解釋完使用由編碼裝置生成的擴充空間信息的例子之后,將解釋由解碼裝置自身生成擴充空間信息的例子。
(3)-1使用由編碼裝置生成的擴充空間信息的例子任意性樹狀配置 首先,擴展空間信息由編碼裝置通過將擴充空間信息添加到空間信息來生成的方式生成。且,將解釋解碼裝置接收該擴充空間信息的例子。除此之外,擴充空間信息可以是在編碼裝置對多聲道音頻信號進行聲道縮減混音的過程中抽取的信息。
如以上說明所述,擴充空間信息包含擴充聲道配置信息、擴充聲道映射信息以及擴充空間參數。在這種情況下,擴充聲道配置信息可包含分割標識符和不分割標識符中的至少一個。接下來,將對基于分割和不分割標識符陣列配置擴充聲道的過程詳細解釋如下。
圖10是基于擴充聲道配置信息來配置擴充聲道的實施例的圖。
參考圖10的下半部分,0和1被重復地編排成一個序列。在這種情況下,′0′表示不分割標識符,而′1′代表分割標識符。不分割標識符0存在于第一階(1)上,與第一階的不分割標識符0相匹配的聲道是存在于最上端的左聲道L。因此,與此不分割標識符0相匹配的左聲道L被選擇為輸出聲道而不是被分割。在第二階(2)上存在分割標識符1。與分割標識符相匹配的聲道是左聲道L旁的左環(huán)繞聲道Ls。因此,與此分割標識符1相匹配的左環(huán)繞聲道Ls被分割成兩個聲道。
因為在第三階(3)和第四階(4)存在不分割標識符0,所以從左環(huán)繞聲道Ls分割出的兩個聲道被原封不動地選擇為輸出聲道而不被分割。一旦以上過程被重復至最后一階(10),就能夠配置出完整的擴充聲道。
此聲道分割過程被重復的次數與分割標識符1的數目相同,并且選擇聲道作為輸出聲道的過程被重復的次數與不分割標識符0的數目相同。因此,聲道分割單元AT0和AT1的數目等于分割標識符1的數目(2),并且擴充聲道(L、Lfs、Ls、R、Rfs、Rs、C和LFE)的數目等于不分割標識符0的數目(8)。
同時,在配置出了擴充聲道后,可以使用擴充聲道映射信息來映射每個輸出聲道的位置。在圖10的情形中,映射按照左前置聲道L、左前側聲道Lfs、左環(huán)繞聲道Ls、右前置聲道R、右前側聲道Rfs、右環(huán)繞聲道Rs、中置聲道C以及低頻聲道LFE的順序執(zhí)行。
如以上說明所述,擴充聲道可基于擴充聲道配置信息進行配置。為此,將一個聲道分割成至少兩個聲道的聲道分割單元是必需的。在將一個聲道分割成至少兩個聲道時,該聲道分割單元能夠使用擴充空間參數。因為擴充空間參數的數目等于聲道分割單元的數目,所以它也等于分割標識符數。因此,可以抽取數目與分割標識符數一樣多的擴充空間參數。
圖11是解釋圖10所示的擴充聲道的配置及其與擴充空間參數關系的圖。
參考圖11,圖中有兩個聲道分割單元AT0和AT1,且示出了分別應用于它們的擴充空間參數ATD0和ATD1。
如果擴充空間參數是聲道間聲級差,則聲道分割單元能夠使用擴充空間參數決定兩個分割所得聲道的聲級差。
因此,在通過添加擴充空間信息來執(zhí)行聲道擴展混音操作時,擴充空間參數可以不是完全地,而是部分地應用。
(3)-2.生成擴充空間信息的例子內插/外推 首先,能夠通過將擴充空間信息添加到空間信息生成擴展空間信息。將在下面的說明中對使用空間信息生成擴充空間信息的例子進行解釋。特別地,能夠使用空間信息的空間參數生成擴充空間信息。在這種情形中,可以使用內插法、外推法等等。
(3)-2-1.擴充至6.1聲道 如果多聲道音頻信號是5.1聲道,生成6.1聲道的輸出聲道音頻信號的例子參考以下示例來解釋。
圖12是5.1聲道的多聲道音頻信號的位置及6.1聲道的輸出聲道音頻信號的位置的圖。
參考圖12(a),可以看到5.1聲道的多聲道音頻信號的聲道位置分別是左前置聲道L、右前置聲道R、中置聲道C、低頻聲道(未在附圖中示出)LFE、左環(huán)繞聲道Ls和右環(huán)繞聲道Rs。
在5.1聲道的多聲道音頻信號是聲道縮減混音音頻信號的情形中,如果將空間參數應用于聲道縮減混音音頻信號,那么該聲道縮減混音音頻信號再次被聲道擴展混音成5.1聲道的多聲道音頻信號。
然而,應該進一步生成如附圖12(b)中所示的后中置RC聲道信號,以將聲道縮減混音音頻信號作聲道擴展混音處理成6.1聲道的多聲道音頻信號。
后中置RC的聲道信號可以使用與兩個后置聲道(左環(huán)繞聲道Ls和右環(huán)繞聲道Rs)相關聯的空間參數來生成。特別地,空間參數中的聲道間聲級差(CLD)指示兩個聲道之間的聲級差。因此,通過調節(jié)兩個聲道之間的聲級差,即能夠改變存在于這兩個聲道之間的虛擬聲源的位置。
虛擬聲音源的位置根據兩個聲道之間的聲級差而變化的原理解釋如下。
圖13是解釋虛擬聲音源位置與兩個聲道間聲級差之間的關系的圖,圖中左、右環(huán)繞聲道Ls和Rs的聲級分別是′a′和′b′。
參考圖13(a),如果左環(huán)繞聲道Ls的聲級a比右環(huán)繞聲道Rs的聲級b大,那么可以看到,虛擬聲音源VS的位置相比于右環(huán)繞聲道Rs的位置更靠近左環(huán)繞聲道Ls的位置。
如果音頻信號從兩個聲道輸出,則聽者感覺虛擬聲源實質上存在于這兩個聲道之間。在這種情況下,虛擬聲源的位置更靠近聲級比另一個聲道的聲級高的聲道的位置。
在圖13(b)的情況下,因為左環(huán)繞聲道Ls的聲級與右環(huán)繞聲道Rs的聲級幾乎相等,所以聽者感覺虛擬聲源的位置存在于左環(huán)繞聲道Ls和右環(huán)繞聲道Rs之間的中心處。
因此,可以使用上述原理決定后中置的聲級。
圖14是解釋兩個后置聲道的聲級與一個后中置聲道的聲級的圖。
參考圖14,通過在左環(huán)繞聲道Ls的聲級a與右環(huán)繞聲道Rs的聲級b之間內插出一差值,就能夠計算出后中置聲道RC的聲級c。在這種情況下,此計算既可以使用非線性內插法,也可以使用線性內插法。
存在于兩個聲道(例如,Ls和Rs)之間的新聲道(例如,后中置聲道RC)的聲級c可以通過以下公式根據線性內插法進行計算。
[公式40] c=a*k+b*(1-k), 其中′a′和′b′分別是兩個聲道的聲級,并且′k′是聲級-a聲道、聲級-b聲道和聲級-c聲道之間的相對位置。
如果聲級-c的聲道(例如,后中置聲道RC)定位于聲級-a的聲道(例如,Ls)與聲級-b的聲道Rs之間的中心處,那么′k′是0.5。如果′k′是0.5,那么公式40得到公式41。
[公式41] c=(a+b)/2 根據公式41,如果聲級-c的聲道(例如,后中置聲道RC)位于聲級-a的聲道(例如,Ls)與聲級-b的聲道Rs之間的中心處,那么新聲道的聲級-c對應于之前聲道的聲級a和b的平均值。除此之外,公式40和公式41僅僅是示例性的。因此,也可重新調整聲級-c的決定及聲級-a和聲級-b的值。
(3)-2-2.擴充至7.1聲道 當多聲道音頻信號是5.1聲道時,試圖生成7.1聲道的輸出聲道音頻信號的例子解釋如下。
圖15是解釋5.1聲道的多聲道音頻信號的位置及7.1聲道的輸出聲道音頻信號的位置的圖。
參考圖15(a),如同圖12(a),可以看到5.1聲道的多聲道音頻信號的聲道位置分別是左前置聲道L、右前置聲道R、中置聲道C、低頻聲道(未在附圖中示出)LFE、左環(huán)繞聲道Ls和右環(huán)繞聲道Rs。
在5.1聲道的多聲道音頻信號是聲道縮減混音音頻信號的情形中,如果將空間參數應用于聲道縮減混音音頻信號,那么該聲道縮減混音音頻信號再次被聲道擴展混音成5.1聲道的多聲道音頻信號。
然而,應當進一步生成如圖15(b)所示的左前側聲道Lfs和右前側聲道Rfs以將多聲道縮減混音音頻信號作擴展混音處理成7.1聲道的多聲道音頻信號。
因為左前側聲道Lfs定位于左前置聲道L與左環(huán)繞聲道Ls之間,所以可以通過使用左前置聲道L的聲級和左環(huán)繞聲道Ls的聲級藉由內插法來決定該左前側聲道Lfs的聲級。
圖16是解釋兩個左聲道聲級以及一個左前側聲道(Lfs)聲級的圖。
參考圖16,可以看到,左前側聲道Lfs的聲級c是基于左前置聲道L的聲級a和左環(huán)繞聲道Ls的聲級b的線性內插值。
同時,雖然左前側聲道Lfs是定位于左前置聲道L與左環(huán)繞聲道Ls之間,但是它可以定位于左前置聲道L、中置聲道C和右前置聲道R之外。因此,可以通過使用左前置聲道L、中置聲道C和右前置聲道R的聲級藉由外推法來決定左前側聲道Lfs的聲級。
圖17是解釋三個前置聲道聲級及一個左前側聲道的聲級的圖。
參考圖17,可以看到,左前側聲道Lfs的聲級d是基于左前置聲道L的聲級a、中置聲道C的聲級c及右前置聲道的聲級b的線性外推值。
在以上描述中,已經參考兩個示例對將擴充空間信息添加到空間信息來生成輸出聲道音頻信號的過程進行了解釋。如以上說明所述,在添加擴充空間信息的聲道擴展混音過程中,擴充空間參數可以不是完全地,而是部分地應用。因此,將空間參數應用于音頻信號的過程可以順序地且分級地執(zhí)行,或者集體地且綜合地執(zhí)行。
工業(yè)適用性 因此,本發(fā)明提供以下效果。
首先,本發(fā)明能夠生成具有與預定樹狀配置不同的配置的音頻信號,由此能夠生成各種配置的音頻信號。
第二,因為能夠生成具有與預定樹狀配置不同的配置的音頻信號,所以即使執(zhí)行聲道縮減混音之前多聲道的數目多于或少于揚聲器數,也能夠從聲道縮減混音音頻信號中生成數目與揚聲器數相等的輸出聲道。
第三,如果生成了數目比多聲道的數目少的輸出聲道,那么因為多聲道音頻信號是直接從聲道縮減混音音頻信號生成的,而不是對來自從聲道擴展混音處理一聲道縮減混音音頻信號所生成的多聲道音頻信號的輸出聲道音頻信號進行聲道縮減混音處理來生成的,所以能夠顯著地減輕解碼音頻信號所需要的操作負荷。
第四,因為在生成組合空間信息時考慮了聲徑,所以本發(fā)明在環(huán)繞聲道輸出不可用時提供偽環(huán)繞效果。
盡管本文參考本發(fā)明的優(yōu)選實施例描述和例示說明了本發(fā)明,但本領域的技術人員將清楚可在本發(fā)明中作出各種修改和變形而不會脫離本發(fā)明的精神和范圍。因此,本發(fā)明旨在涵蓋落入所附權利要求及其等效技術方案范圍內的本發(fā)明的修改和變形。
權利要求
1.一種解碼音頻信號的方法,其包括
接收所述音頻信號;
接收包括樹狀配置信息和空間參數的空間信息;
通過向所述空間信息添加擴充空間信息來生成經修改空間信息;以及
使用所述經修改空間信息對音頻信號進行聲道擴展混音,其包括
基于所述空間信息將所述音頻信號轉換成初級聲道擴展混音音頻信號;以及
基于所述擴充空間信息將所述初級聲道擴展混音音頻信號轉換成次級聲道擴展混音音頻信號。
2.如權利要求1所述的方法,其特征在于,所述音頻信號是通過將多聲道音頻信號聲道縮減混音而生成的聲道縮減混音音頻信號,并且所述空間信息是在根據預定樹狀配置將所述多聲道音頻信號聲道縮減混音期間決定的。
3.如權利要求1所述的方法,其特征在于,所述經修改空間信息是基于所述空間信息和所述擴充空間信息計算出的矩陣,并且配置所述矩陣的因子由所述空間參數和所述擴充空間信息的擴充空間參數來定義的。
4.如權利要求1所述的方法,其特征在于,所述擴充空間信息包括擴充聲道配置信息和擴充空間參數,并且所述擴充聲道配置信息包括分割標識符和不分割標識符中的至少一者。
5.如權利要求4所述的方法,其特征在于,所述擴充空間參數包括聲道間聲級差。
6.如權利要求4所述的方法,其特征在于,所述擴充空間信息是接收到的,并且與所述分割標識符的總數一樣多的所述擴充空間參數被抽取。
7.如權利要求4所述的方法,其特征在于,所述聲道擴展混音還包括利用與所述分割標識符匹配的所述擴充空間參數將與所述分割標識符匹配的聲道分割成至少兩個聲道,其中所述分割被重復與所述分割標識符的總數一樣多的次數。
8.如權利要求4所述的方法,其特征在于,所述聲道擴展混音還包括選擇與所述不分割標識符匹配的聲道作為輸出聲道,其中所述選擇被重復與所述不分割標識符的總數一樣多的次數。
9.如權利要求4所述的方法,其特征在于,所述擴充空間參數是利用所述空間參數來計算的。
10.如權利要求1所述的方法,其特征在于,所述擴充空間信息包括擴充聲道映射信息,且所述方法還包括在所述聲道擴展混音之后利用所述擴充聲道映射信息來重新映射輸出聲道音頻信號。
11.一種用于解碼音頻信號的裝置,其包括
通過向空間信息添加擴充空間信息來生成經修改空間信息的經修改空間信息生成單元;以及
使用所述經修改空間信息對所述音頻信號進行聲道擴展混音的輸出聲道生成單元,
其中所述空間信息包括樹狀配置信息和空間參數,并且所述空間信息和所述音頻信號是接收到的。
全文摘要
揭示了一種解碼音頻信號的裝置及其方法。本發(fā)明包括接收音頻信號和空間信息,識別經修改空間信息的類型,使用空間信息生成經修改空間信息,及使用經修改空間信息解碼音頻信號,其中經修改空間信息的類型至少包括部分空間信息、組合空間信息、以及擴展空間信息中的至少一種。因此,音頻信號可以解碼成與編碼裝置所決定的配置不同的配置。即使揚聲器數少于或者多于在執(zhí)行聲道縮減混音之前的多聲道的數目,也能夠從聲道縮減混音音頻信號生成與揚聲器數相等數目的輸出聲道。
文檔編號G10L19/00GK101356572SQ200680042071
公開日2009年1月28日 申請日期2006年9月14日 優(yōu)先權日2005年9月14日
發(fā)明者房熙錫, 吳賢午, 林宰顯, 金東秀, 鄭亮源 申請人:Lg電子株式會社