專利名稱:Mdct域信號能量與相位補償方法及其裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明屬于空間音頻技術(shù)領(lǐng)域,特別是涉及MDCT域信號能量與相位補償方 法及其裝置。
技術(shù)背景傳統(tǒng)音頻編碼技術(shù)是對每個聲道獨立進行編碼,適合單聲道編碼。在多聲 道立體聲編碼中,利用傳統(tǒng)音頻編碼技術(shù),會導致碼率隨聲道數(shù)成線性增長??臻g音頻編碼技術(shù)是針對傳統(tǒng)音頻編碼的問題而出現(xiàn)的,現(xiàn)有空間音頻編 解碼系統(tǒng)結(jié)構(gòu)如附圖l所示:首先在編碼端將輸入信號進行聲源分離和下混。空 間參數(shù)提取模塊針對分離出來的單一聲源,提取聲場空間信息。然后,由空間 參數(shù)編碼器將提取出來的聲場空間信息進行量化編碼。下混模塊將左右聲道混 合成單聲道信號送入傳統(tǒng)編碼器;在解碼端空間參數(shù)解碼器將空間參數(shù)解碼,還 原聲場空間信息。傳統(tǒng)解碼器將經(jīng)過編碼的下混信號解碼,并輸出給上混模塊。 上混模塊通過去相關(guān)等技術(shù)獲得兩路信號。結(jié)合還原出來的聲場空間信息和獲 得的兩路信號由合成模塊重建原始音頻信號,得到輸出信號??臻g信息是通過空間參數(shù)來表征的,也就是說,通過度量空間參數(shù)的信息 來表達信號的空間信息量。信號的能量能反應信號所含信息量的大小,空間參 數(shù)的能量也反應了其表達的空間信息量大小。空間參數(shù)主要描述信號的方位信 息和聲像寬度。心理聲學研究結(jié)果表明,聲源定位最重要的依據(jù)是兩耳之間聲 音信號的差別,通常用耳間時間差(Intemural Time Difference, ITD)和耳間聲級差(Interauml Level Difference, ILD)兩個參數(shù)來描述兩耳之間聲音 信號的差別;另一個描述人耳接收聲音信號特性的是雙耳接聽信號的相似度, 用耳間相關(guān)性(Interaural Coherence, IC)來表示,主要反應了人耳對聽覺事 件聲場寬度的感知。其他的一些空間參數(shù)還包括確定聲源遠近的距離信息和確 定聲源垂直位置的高度角信息等。空間心理聲學所指的空間參數(shù)都是針對單一聲源的,而通常的立體聲信號 在同一時刻包含多個聲源,這就需要進行聲源分離。附圖1中的聲源分離模塊 正是為空間參數(shù)提取模塊服務的?,F(xiàn)有空間音頻編解碼系統(tǒng)中,聲源分離模塊 通常是綜合考慮信號的短時特性和人耳的非線性頻率感知特性,采用獨立的時 頻劃分技術(shù)來實現(xiàn)虛擬聲源的分離。主要的時頻劃分工具有混合鏡像濾波器組 HQMF,短時DFT、以及人工耳蝸濾波器CFB。傳統(tǒng)編碼器主要是利用通過降低聲 道內(nèi)的冗余和消除主觀冗余來提高編碼效率,主要采用的是基于MDCT域的感知 編碼。時頻分析是編碼系統(tǒng)中復雜度較高的部分, 一個編碼系統(tǒng)存在兩種不同的 時頻變換更加提高了編碼系統(tǒng)的復雜度。若傳統(tǒng)編碼器和聲源分離模塊都采用 相同的時頻分析工具,便能較大幅度降低編碼系統(tǒng)的復雜度。CFB、 HQMF以及短時DFT由于復雜度、與心理聲學的匹配性等原因不適合用 于傳統(tǒng)編碼。而傳統(tǒng)編碼器的時頻分析工具主要是MDCT(修正離散余弦變換)。 所以在MDCT域進行聲源分離,提取空間參數(shù),降低編碼系統(tǒng)復雜度是當前研究 的熱點。MDCT是實變換,基于MDCT域的立體聲空間參數(shù)提取,存在著兩大困難第 一,通過MDCT變換后,存在能量抖動,導致變換前后空間參數(shù)能量不一致。例如記錄了左右聲道能量信息的ILD,若輸入信號經(jīng)過MDCT變換后產(chǎn)生能量抖動, 那么ILD就不能正確反映左右聲道信號間的能量差異。第二, MDCT譜線不存在 直接的相位信息,導致提取帶有相位的空間參數(shù)很困難。例如記錄了具有最大 互相關(guān)的時間偏移的ITD,若輸入信號經(jīng)過MDCT變換后不存在相位信息,那么 就不能獲得左右聲道信號間的時間差異。
發(fā)明內(nèi)容
本發(fā)明目的在于針對現(xiàn)有技術(shù)的不足,提供MDCT域信號能量與相位補償方 法及其裝置,以統(tǒng)一編碼系統(tǒng)中的時頻分析工具,降低空間音頻編解碼系統(tǒng)的 復雜度。
本發(fā)明的技術(shù)方案包含以下步驟 步驟1,對輸入信號進行MDCT變換,獲得每一幀信號的MDCT譜JT 、前一幀MDCT
譜JT1,以及后一幀MDCT譜JT+';
步驟2,利用步驟1所得的前一幀MDCT譜Z"和后一幀MDCT譜r",計算差矩
陣系數(shù)x丄及矩陣系數(shù)《,義=(1'+1-1'-')/2,《-(;r"+x'-')/2;
利用MDCT和MDST的變換基特性以及相互關(guān)系,從MDCT和MDST的矩陣定 義式出發(fā),得到MDCT到MDST的轉(zhuǎn)換矩陣,所述轉(zhuǎn)換矩陣包括和矩陣T+及差矩 陣1, T+ 二^(sfC。+S:C,), H^^(SfC。-Sjq),其中C。、 C,分別為MDCT的 變換基的前半部分和后半部分的子向量,S 、 S分別為MDST的變換基的前半部 分和后半部分的子向量,MDCT和MDST的變換基為2NxN的矩陣,MDCT和MDST 分別的前半部分和后半部分的子向量均為NxN的矩陣;對和矩陣T+進行稀疏近
似化,得到近似化和矩陣i;;
步驟3,結(jié)合差矩陣系數(shù)zl、和矩陣系數(shù);c、差矩陣H和近似化和矩陣i;,合成當前幀的MDST譜r , r' = T—Z丄+TmX:;
步驟4,由信號的MDCT譜和MDST譜,構(gòu)造MDFT譜,MDFT譜的構(gòu)造方式為將MDCT 譜作為實部,MDST譜作為虛部,即
z("=;m ,)
其中X(的為輸入信號的MDCT譜,r("為輸入信號的MDST譜,Z(W為輸入信 號的MDFT譜;j表示虛部;/t = 0,l,...,iV—1;
步驟5,利用步驟4所獲輸入信號的MDFT譜Z(",在MDCT域上提取能量信息, 提取方式為依據(jù)如下公式求取信號MDFT譜能量^
1 1 w-i i
其中《表示輸入信號的時域信號能量A;
利用步驟4所獲輸入信號的MDFT譜Z(",在MDCT域上提取相位信息,提取方 式為將MDFT譜延時d個采樣點,得到線性相位3,即3 =鄉(xiāng)(-/^^("*))
其中hO,l,…,iV-1, exp表示指數(shù)運算,j表示虛部; 步驟6,結(jié)合步驟5所提取的能量信息和相位信息,在MDCT域上提取空間參數(shù)。
而且,步驟2中,將MDCT的變換基q和MDST的變換基^分解為N維列向量
表示,即
(cXW)1 (《 (&)t,)t⑥t
其中,q-cosf!(w +丄+豈)(A +丄)),^-sinf!(" +丄+ ^)(A: +丄)〕,A: = O,l,...,iV — l ,
iV 2 2 2
、W 2 2 2 乂
"=0,l,...,2iV-l,上標"T"表示轉(zhuǎn)置,上標"0"和"1"分別用于標識變換基的
前半部分和后半部分的子向量;
從而得到以下四個^^矩陣形式的子向量<formula>formula see original document page 11</formula> 。1 … ^
所述提取MDCT到MDST的轉(zhuǎn)換矩陣,包括和矩陣T+和差矩陣T—,通過將上述四
水
子向量帶入下列公式求得
t+^(s〖Co+s:C,) t_=^(s;c0-sx) 。
而且,所述步驟2中,對和矩陣T+進行稀疏近似化,得到近似化和矩陣i;的
具體實施方式
如下,
(1)和矩陣T+的表達式:
(T+)w^(S〖C。+SX)w Re{/+M}
iVsin[豐-/)],
A — / = o必
iVsin[^(A: + / + l)],
其中,"W(2A0, k, l分別表示行列標號,Re表示實部,odd表示奇數(shù), even表示偶數(shù);
(2)保留以上表達式呈現(xiàn)的稀疏對角陣中絕對值最大的2m個元素值,m取小 于NXN/2的任意自然數(shù),其它元素均置為O,從而實現(xiàn)對和矩陣T+稀疏近似化,
得到近似化和矩陣i;。
而且,所述步驟5中,在MDCT域上提取能量信息的具體方式如下,
(1)提取時域輸入信號與變換域的對應關(guān)系, 對于時域輸入信號x(")," = 0,l,...,2iV-l,
有對應關(guān)系如式= (x(O), x(l),…,x(2iV -1)) = A U (X(AOc^ + y("^),
其中,^ "os〔!(w +丄+ :^)(^; +丄)),& :sin〔!(w +丄+ ^)(A: +丄)),A:-0,l,…,iV-l , * (iV 2 2 2」 * 2 2 2 j
11ZW為輸入信號的MDCT譜,為輸入信號的MDST譜;
(2)根據(jù)時域輸入信號與變換域之間的對應關(guān)系,通過計算能量,找到時域{: 號能量《與信號MDFT譜能量&之間對應的關(guān)系,具體方式如下
,—
2W-1
1 ,W-1 W-l 、
、"0 "0 乂
根據(jù)上式得到與時域信號能量《相應的MDCT域上的能量信息,即信號MDFT譜 Hbi£m 。
而且,所述步驟6中,結(jié)合步驟5所提取的能量信息和相位信息,在MDCT 域上提取空間參數(shù)的具體方式如下,
若提取代表左右聲道能量差異的空間參數(shù),則利用時域和MDCT域的能量關(guān)系 £,=丄&,在MDCT域上提取與時域等價的空間參數(shù)。
若提取代表左右聲道相位差異的空間參數(shù),則利用時域到MDCT域產(chǎn)生的線性相 位3,在MDCT域上提取與時域等價的空間參數(shù)。
本發(fā)明還提供了實現(xiàn)上述MDCT域信號能量與相位補償方法的相應裝置,包 含以下部分-包含以下部分,
MDCT變換模塊,用于對輸入信號進行MDCT變換,獲得信號的MDCT譜; 譜運算模塊,用于計算差矩陣系數(shù)r、和矩陣系數(shù)《; MDST轉(zhuǎn)換模塊,用于獲取MDCT到MDST的轉(zhuǎn)換矩陣,得到MDST譜; MDFT構(gòu)造模塊,用于根據(jù)信號的MDCT譜和MDST譜,構(gòu)造MDFT譜; 能量提取模塊,用于提取能量信息;相位提取模塊,用于提取相位信息;
空間參數(shù)提取模塊,用于根據(jù)能量信息和相位信息,在MDCT域上提取空間參數(shù);
其中,MDCT變換模塊將輸入信號的MDCT譜輸出到譜運算模塊和MDFT構(gòu)造 模塊,譜運算模塊輸出差矩陣系數(shù)I:、和矩陣系數(shù)《到MDST轉(zhuǎn)換模塊,MDST 轉(zhuǎn)換模塊輸出MDST譜到MDFT構(gòu)造模塊;MDFT構(gòu)造模塊輸出MDFT譜到能量提取 模塊和相位提取模塊;能量提取模塊輸出的能量信息、相位提取模塊輸出的相 位信息接入空間參數(shù)提取模塊。
本發(fā)明的技術(shù)方案通過引入MDST (修正離散正弦變換)譜,并提出MDCT譜 到MDST譜的轉(zhuǎn)換矩陣,最后構(gòu)成MDFT (修正離散傅立葉變換)譜。達到引入 MDST譜同時不增加系統(tǒng)復雜度的目的,從而可以補償信號在MDCT域的能量抖動, 并解決相位缺失問題。
圖1 為現(xiàn)有空間音頻編解碼系統(tǒng)結(jié)構(gòu)圖; 圖2 為本發(fā)明的方法流程圖; 圖3 為本發(fā)明的裝置結(jié)構(gòu)圖
圖4 本發(fā)明在空間音頻編解碼系統(tǒng)中的應用示意圖。
具體實施例方式
參見附圖2,本發(fā)明提供的MDCT域信號能量與相位補償方法完成了低復雜 度下MDCT譜到MDST譜的轉(zhuǎn)換。并且,通過引入MDST譜,結(jié)合MDCT譜,構(gòu)造 了具有恒定能量和線性相位的MDFT譜。最終完成在MDCT域上,提取與時域信 號等價的空間參數(shù)。MDCT域信號能量與相位補償方法包括以下步驟
步驟l,對輸入信號進行MDCT變換,獲得每一幀信號的MDCT譜義'、前幀MDCT譜X'-',以及后一幀MDCT譜r+1。在音頻信號處理中,總是分幀進行處 理,當前幀為第Z幀時,前一幀就是第/-l幀,后一幀就是第/ + 1幀。具體實施時, 根據(jù)MDCT定義求取JT、 JT1、 Z'"即可。MDCT是一種2W點到W點的實變換,具
體定義如下
<formula>formula see original document page 14</formula>(1. 1)
其中《(")表示立體聲輸入信號的第i幀信號,《("代表;c,^)的MDCT譜線, "=0,1, ,2^-1。
步驟2,利用步驟1所得的前一幀MDCT譜X'-'和后一幀MDCT譜;T1,計算差矩
陣系數(shù)《及矩陣系數(shù)X"義=(1'+1-義")/2, —jr+t+X'-1)";
利用MDCT和MDST的變換基特性以及相互關(guān)系,從MDCT和MDST的矩陣定 義式出發(fā),得到MDCT到MDST的轉(zhuǎn)換矩陣,所述轉(zhuǎn)換矩陣包括和矩陣T+及差矩 陣T-, T+ :+(s〖C。+S^), T_=^(S[C。-S:q),其中C。、 C,分別為MDCT的 變換基的前半部分和后半部分的子向量,S。、 S,分別為MDST的變換基的前半部 分和后半部分的子向量,MDCT和MDST的變換基為2NxN的矩陣,MDCT和MDST 分別的前半部分和后半部分的子向量均為NxN的矩陣;對和矩陣T+進行稀疏近
似化,得到近似化和矩陣i;。
具體實施時,可以按以下子流程逐步完成步驟2:
步驟2.1,利用步驟l的MDCT譜;r"和;r-、計算差矩陣系數(shù)《。計算公式為
xi=(n')/2 (1.2)
其中Z'-1為前一幀MDCT譜,廣1為后一幀MDCT譜。
步驟2.2,利用步驟l的MDCT譜;r+'和;r-1 ,計算和矩陣系數(shù)x(。計算公式為
《f+'+Z'-1)" (1.3)其中義"為前一幀MDCT譜,為后一幀MDCT譜。
步驟2. 3,利用MDCT和MDST的變換基特性以及相互關(guān)系,從MDCT和MDST的矩 陣定義式出發(fā),得到取得MDCT到MDST的轉(zhuǎn)換矩陣??梢詮膶ΨQ性和正交性兩 個方面,考究MDCT的變換基&和MDST的變換基&之間的關(guān)系,具體方式如下 1)將MDCT的變換基c4和MDST的變換基^分解為N維列向量表示。艮P
(<formula>formula see original document page 15</formula>"=0,1,...,27V-1,上標"T"表示轉(zhuǎn)置,上標"0"和"1"分別表示基向量的前半 部分和后半部分的子向量。于是,得到四個^x^的矩陣
1<formula>formula see original document page 15</formula>Si =( A … -i) (15) 2)關(guān)注MDCT的基函數(shù)&和MDST的基函數(shù)&分解后的向量的正交性。具體過 程如下
<cvW*, (16) 〈W&,-, (L7)
<W=0 (1.8) 其中<,>代表內(nèi)積操作,《—、是狄拉克符號,當且僅當i二j時,《、=1,
其余為0。對MDCT的基函數(shù)&和MDST的基函數(shù)&分別進行內(nèi)積操作后會發(fā)現(xiàn),
c,和A各自在^取不同值(采用下標《和、表示)時是互相正交的,符合公式1.6
和1.7所描述的。以q和^為參數(shù)進行內(nèi)積操作后,發(fā)現(xiàn)^和4也是互相正交。
153) 關(guān)注MDCT的基函數(shù)^和MDST的基函數(shù)&分解后的向量的對稱性,具體過 程如下
JC。=-C0, JC,q (1.9) JS0=S0, JS,-S, (1.10)
其中J是iVx7V的反對角單位陣。通過分別乘以一個反對角陣,發(fā)現(xiàn)C。的列 向量《和St的列向量《是奇對稱的,d的列向量《和S。的列向量《是偶對稱的。
4) 找到MDCT和MDST的基函數(shù)之間的關(guān)系。具體計算過程如下
;r 1 W 1
(w + AO = cos[— (" + W + — + —+ —)]
(1. 11)
「;r,1 _/V、〃 1、 ,, 1、, =cos[- (w + — + + —) + + —)] W 2 2 2 2
=(一1廣、《("+會+爭(4)] =(-1廣、(")
同理,
&(" + A0 = (-l)、(") (1, 12)
其中q (" + AO為延時#點的& , ^ (" + AO為延時N點的^ 。 &和&分別為MDCT 和MDST的基函數(shù)。用矩陣表示它們之間的關(guān)系如下
(1. 13)
S0=-C, S' = C0P
其中,P是7VxiV的符號單位陣,其僅在對角線上有數(shù)值+l,-l,+l,-l,....。 5)對比MDCT和MDST的矩陣定義式,根據(jù)變換基的基本性質(zhì),以及它們之
間的關(guān)系,實現(xiàn)MDCT向MDST譜的轉(zhuǎn)換,具體過程如下
A.用矩陣形式表示MDCT的定義式。X。1'
、xl y—4
W+c0x'+1
(1. 14)公式1. 14利用了 MDCT的重疊相加特性,用矩陣表示了 MDCT的定義式。即 對于第i幀2N點的時域信號,可通過第i-l幀MDCT譜線JT-1 、第i幀MDCT譜 線X',以及第i+1幀MDCT譜線X'+'完美重建。其中,;c〖和x;分別為時域信號的 前N點和后N點組成的N維列向量。
B.利用1.9、 1. IO以及反對角單位陣J的性質(zhì)JTJ:JJ-I,有
S〖C! = J1 JC! = (JS, )T (JC, ) = -S!TC,,
根據(jù)l. 15,以及1.8所示&和a的正交性,有
sjc。 = Ci = 0 ,
C.將MDST譜線的定義式用矩陣形式表示,同時將1.14、 入化簡有
(1. 15)
(1. 16) 1. 15和1. 16代
X。 、(
=^(s〖c。 - s〖q)z丄++柳。十sX)A
(1.17)
其中,r為差矩陣系數(shù),X:為和矩陣系數(shù)。通過上式可以發(fā)現(xiàn)第i幀MDST
譜線r能夠由相鄰的MDCT譜線f和+1構(gòu)成,而與當前幀MDCT譜線義'無關(guān)。 D,根據(jù)公式1. 17,提取MDCT到MDST的轉(zhuǎn)換矩陣。即和矩陣T+和差矩陣t ,
即:
T+j(S〖C。+S〖CJ
T—=+(S〖C0—S〖q)
(1.18)
(1.19)
以上過程在具體實施時可以簡化,直接根據(jù)MDCT的變換基q和MDST的變 換基a代入結(jié)果公式,而不需重復考究關(guān)系的整個過程。因此,本發(fā)明提供進一步技術(shù)方案為步驟2中,將MDCT的變換基q和MDST的變換基^分解為N維列 向量表示,即
<formula>formula see original document page 18</formula>w = 0,l,...,27V-l,上標"T"表示轉(zhuǎn)置,上標"0"和"1"分別用于標識變換基的
前半部分和后半部分的子向量;
從而得到以下四個^x^矩陣形式的子向量
<formula>formula see original document page 18</formula>所述提取MDCT到MDST的轉(zhuǎn)換矩陣,包括和矩陣1+和差矩陣l
通過將上述四
水
子向量帶入下列公式求得 T+j(S〖C。+S〖C,)
T^(S〖C。-SX)
步驟2.4,將和矩陣T+進行稀疏近似化。
獲得MDCT到MDST的轉(zhuǎn)換矩陣,即差矩陣^(S[C。-S〖C,)、和矩陣
AT
丄(SfC。+S〖C,)之后,考察到差矩陣l是一個符號單位陣的轉(zhuǎn)置,和矩陣T+是-
水
稀疏對角陣。因此本發(fā)明提出針對和矩陣T+進行稀疏近似化,
具體實施例方式
如下:
首先,得到和矩陣T+的表達式,如下所示:
18—Re{/+M}
7Vsin[豐-/)]'
"/ = 0必 (1.20)
Re{/_'+2},,
iVsin
:
其中,P = ;r/(2A0,分子僅是一個正負1的變化,k, 1分別表示行列標號,odd 表示奇數(shù),even表示偶數(shù)。
其次,保留公式1.20所示稀疏對角陣中絕對值最大的2m個元素值,其它 元素均置為0值,即忽略矩陣元素的順序、符號和非0值元素,稀疏近似化和
矩陣T+,得到近似化矩陣i;。矩陣i;的任意行或列中組成如下序列,
1 1
7Vsin(9 ' iVsin^ 1 1
iVsin3P ' iVsin3P (1.21)
7Vsin[(2w-l)0] Wsin[(2m — 其中,稀疏對角陣中保留的元素值可以根據(jù)具體實施需要設(shè)定,因此m可取小 于NXN/2的任意自然數(shù)。
步驟3,結(jié)合步驟2. 1,步驟2.2,步驟2.3和步驟2.4所得結(jié)果,由MDCT 譜合成MDST譜,合成公式為
r=T—Z丄+TJ丄 (1,22) 其中r為當前幀的MDST譜,《為步驟2. 1得到的差矩陣系數(shù),《為步驟2.2 得到的和矩陣系數(shù),T—為步驟2.3獲得的差矩陣,l為步驟2.4獲得的稀疏近 似化后的和矩陣。
步驟4,由信號的MDCT譜和MDST譜,構(gòu)造MDFT譜??蓪DCT看作實部, MDST看作虛部,構(gòu)造MDFT,具體構(gòu)造式如下<formula>formula see original document page 20</formula>其中%W為輸入信號的MDCT譜,W)為輸入信號的MDST譜,Z("為輸入信
號的MDFT譜;j表示虛部;h0,l,…,〃-l。
步驟5,利用步驟4獲得的MDFT譜,在MDCT域上提取能量信息和相位信息。
可分以下兩個步驟實現(xiàn)
步驟5. 1,根據(jù)構(gòu)造的MDFT譜,對比輸入信號在時域的能量《(稱為時域信號能 量)和MDFT譜包含的能量^ (稱為信號MDFT譜能量),找到它們之間的對應關(guān)
系^!^^gl雄)12。然后根據(jù)對應關(guān)系計算出信號MDFT譜能量&,作為
MDCT域上的能量信息。具體過程可參見如下
1.記;為原2N維空間,c^展成的N維空間為Q, ^展成的N維空間為^, 根據(jù)線性空間理論,以及公式1.6、 1.7、 1.8描述的正交性。找到時域輸 入信號與變換域的對應關(guān)系-
對于時域輸入信號;c(w)," = 0,l,...,2iV-l,有對應關(guān)系如式
<formula>formula see original document page 20</formula>其中,
<formula>formula see original document page 20</formula>為構(gòu)成的一組完備正交基。義W為信號的MDCT譜,y&)為 信號的MDST譜。
2.根據(jù)信號之間的關(guān)系,相應計算能量,找到《和&之間對應的關(guān)系,具 體計算過程如下<formula>formula see original document page 21</formula>
其中ZW為信號的MDCT譜,rw為信號的MDST譜。x(")為時域輸入信號。 hO,l,…,iV-1。
步驟5.2,將輸入信號延時d個采樣點,將MDFT譜延時d個采樣點,得到線性 相位3,即^exp(-/^d("^),其中"0,l,…,iV-1, exp表示指數(shù)運算,j表示虛 部。通過得到延時信號的MDCT譜和MDST譜,然后得到延時信號的MDFT譜,找 到延時前后MDFT譜的關(guān)系,即可得到線性相位3,作為相位信息。具體過程可 參見如下
1.延時MDCT譜,關(guān)注延時后的MDCT譜的變化。
<formula>formula see original document page 21</formula>
其中Y("為延時d個樣點后的MDCT譜,x(")為原輸入信號。d為延時的樣 點。"0,l,…,iV-l。
2.延時MDST譜,關(guān)注延時后的MDST譜的變化。2W—1
y' (" = x(" 一力Sin[l +丄+上)"+丄)]
2W-1 7 1 TV 1
Z sin[— + " — + —+ —)]
W 2 2
W V《,、r" 1 W、" 1、,
=sin[^ + S cos[^ (" + 5 + +
(1.27)
+ cos[! + —)] , sin[! (w + — + —+ —)l
其中/(A)為延時d個樣點后MDST譜,x(")為原輸入信號。d為延時的樣點。 A; = 0,l,...,iV-l。
3. 結(jié)合公式1.26和1.27,計算延時后MDFT譜的變化。
Z'(" = X'(A:)- Z(A:)eXp(-y|^+*)) (1.28)
其中Z'("為延時d個樣點后MDFT譜,Jt("為延時d個樣點后MDCT譜, 為延時d個樣點后MDST譜,Z("為原MDFT譜。d為延時的樣點。yfc-O,l,...,iV-l 。
4. 提取相位信息3。
根據(jù)公式1.28可以看出,延時前后的MDFT譜只有一個線性相位的差別, 并且此線性相位只與延時點數(shù)d有關(guān)。通過調(diào)節(jié)延時的點數(shù)可以提取需要的相 位信息。即:
"xp(《母+會》 (1.29) 其中d為延時的樣點數(shù),A = 0,1,...,7V-1。具體實施時直接采用公式1.29即可提 取相位信息。
步驟6,結(jié)合步驟5. 1所得能量信息和步驟5. 2所得相位信息,在MDCT域 上提取空間參數(shù)。具體實施時一般用多個空間參數(shù)來衡量空間信息的,有代表 空間相位信息的,有代表空間能量信息的。若提取代表左右聲道能量差異的空 間參數(shù),則利用時域和MDCT域的能量關(guān)系E,丄&,在MDCT域上提取與時域等
價的空間參數(shù)。若提取代表左右聲道相位差異的空間參數(shù),則利用時域到MDCT域產(chǎn)生的線性相位3 ,在MDCT域上提取與時域等價的空間參數(shù)。
為了具體說明空間參數(shù)的提取,本步驟以雙耳線索ILD, ITD為例具體說明。
具體實施方式
為-
1、 在MDCT域提取ILD信息。
A = 10 log10 (JV(W/ J"x,,) ( 1.30 )
^201og,。^20bg,。jjljl (1.31)
其中/ ,為ILD在時域的值,A,為在MDCT域提取的ILD的值。x々)和;c々)分 別是左右聲道輸入信號,x,和Xf分別表示左右接收的信號能量,/和r分別表示 左右耳。ILD記錄了左右聲道信號的能量比。Z,和Z,分別代表左右聲道的MDFT譜線。
2、 在MDCT域提取ITD信息。
A = arg max (p (/)~ 0 + r)&) (1.32)
/L=4arg(Z,("Z/W) (1.33)
說
其中A為ITD在時域的值,A,為在MDCT域提取的ITD的值。通過計算左右 聲道輸入信號MDFT譜線Z,W和Z^)相位差的群延時提取MDCT域的ITD值。 Z/W為Z,W的共軛。x々)和x々)分別是左右聲道輸入信號。ITD記錄了最大互 相關(guān)的時間偏移""0,l,…,iV-l。 arg為取相角操作。
具體實施時,除了以軟件方式通過計算機實現(xiàn)上述MDCT域信號能量與相位 補償方法,還可以模塊化方式提供MDCT域信號能量與相位補償裝置。如附圖3 所示,所述包含以下部分.-
MDCT變換模塊,用于對輸入信號進行MDCT變換,獲得信號的MDCT譜; 譜運算模塊,用于計算差矩陣系數(shù)義:、和矩陣系數(shù)MDST轉(zhuǎn)換模塊,用于獲取MDCT到MDST的轉(zhuǎn)換矩陣,得到MDST譜; MDFT構(gòu)造模塊,用于根據(jù)信號的MDCT譜和MDST譜,構(gòu)造MDFT譜; 能量提取模塊,用于提取能量信息; 相位提取模塊,用于提取相位信息;
空間參數(shù)提取模塊,用于根據(jù)能量信息和相位信息,在MDCT域上提取空間參數(shù);
其中,MDCT變換模塊將輸入信號的MDCT譜輸出到譜運算模塊和MDFT構(gòu)造 模塊,譜運算模塊輸出差矩陣系數(shù)r、和矩陣系數(shù)X:到MDST轉(zhuǎn)換模塊,MDST 轉(zhuǎn)換模塊輸出MDST譜到MDFT構(gòu)造模塊;MDFT構(gòu)造模塊輸出MDFT譜到能量提取 模塊和相位提取模塊;能量提取模塊輸出的能量信息、相位提取模塊輸出的相 位信息接入空間參數(shù)提取模塊。具體實施時,轉(zhuǎn)換矩陣模塊可分C/S矩陣形成 單元和稀疏近似化單元兩部分實現(xiàn),其中C/S矩陣形成單元獲得轉(zhuǎn)換矩陣,由 稀疏近似化單元對和矩陣1;進行稀疏近似化。
本發(fā)明通過在MDCT域上提取空間參數(shù),與傳統(tǒng)編碼器采用統(tǒng)一的時頻分析 工具,達到降低編碼系統(tǒng)復雜度的目的。由于MDCT是實變換,所以在MDCT域 上提取空間參數(shù)存在兩大困難,第一,通過MDCT變換后,存在能量抖動,導致 變換前后空間參數(shù)能量不一致。第二, MDCT譜線不存在直接的相位信息,導致 提取帶有相位的空間參數(shù)很困難。本發(fā)明提供了引入MDST譜的方法,來解決能 量抖動和相位缺失的問題。如果直接引用MDST變換獲取MDST譜,又會增加一 種變換,使系統(tǒng)復雜度增加,失去意義。因此本發(fā)明提供了不經(jīng)過MDST變換, 直接從MDCT譜轉(zhuǎn)換到MDST譜的方法,最終達到在MDCT域成功提取空間參數(shù), 同時達到降低系統(tǒng)復雜度的目的。
附圖4將應用本發(fā)明前后的空間音頻編解碼系統(tǒng)進行對比。附圖4上方是現(xiàn)有的空間音頻編碼系統(tǒng),其中的空間參數(shù)提取模塊和傳統(tǒng)編碼器需要運用獨
立的MDCT時頻分析工具,傳統(tǒng)編碼器中包括了 MDCT變換部分和量化編碼部分。 附圖4下方是基于本發(fā)明的空間音頻編解碼系統(tǒng),其中的空間參數(shù)提取模塊按 照本發(fā)明提供方案實現(xiàn),不僅有原有的空間參數(shù)提取模塊,還在前擴展了 MDCT 變換模塊、譜運算模塊、MDST轉(zhuǎn)換模塊、MDFT構(gòu)造模塊、能量提取模塊和相位 提取模塊;新的空間參數(shù)提取模塊和傳統(tǒng)編碼器共享MDCT時頻變換,傳統(tǒng)編碼 器中只設(shè)量化編碼部分即可。統(tǒng)一時頻變換工具后,整個編碼端只需進行一次 MDCT時頻變換,較大幅度降低了編碼系統(tǒng)的復雜度。
權(quán)利要求
1. 一種MDCT域信號能量與相位補償方法,其特征在于,包含以下步驟步驟1,對輸入信號進行MDCT變換,獲得每一幀信號的MDCT譜Xi、前一幀MDCT譜Xi-1,以及后一幀MDCT譜Xi+1;步驟2,利用步驟1所得的前一幀MDCT譜Xi-1和后一幀MDCT譜Xi+1,計算差矩陣系數(shù)及矩陣系數(shù)利用MDCT和MDST的變換基特性以及相互關(guān)系,從MDCT和MDST的矩陣定義式出發(fā),得到MDCT到MDST的轉(zhuǎn)換矩陣,所述轉(zhuǎn)換矩陣包括和矩陣T+及差矩陣T-,其中C0、C1分別為MDCT的變換基的前半部分和后半部分的子向量,S0、S1分別為MDST的變換基的前半部分和后半部分的子向量,MDCT和MDST的變換基為2N×N的矩陣,MDCT和MDST分別的前半部分和后半部分的子向量均為N×N的矩陣;對和矩陣T+進行稀疏近似化,得到近似化和矩陣Tm;步驟3,結(jié)合差矩陣系數(shù)、和矩陣系數(shù)差矩陣T-和近似化和矩陣Tm,合成當前幀的MDST譜Yi,步驟4,由信號的MDCT譜和MDST譜,構(gòu)造MDFT譜,MDFT譜的構(gòu)造方式為將MDCT譜作為實部,MDST譜作為虛部,即Z(k)=X(k)-jY(k)其中X(k)為輸入信號的MDCT譜,Y(k)為輸入信號的MDST譜,Z(k)為輸入信號的MDFT譜;j表示虛部;k=0,1,...,N-1;步驟5,利用步驟4所獲輸入信號的MDFT譜Z(k),在MDCT域上提取能量信息,提取方式為依據(jù)如下公式求取信號MDFT譜能量Em其中Et表示輸入信號的時域信號能量Et;利用步驟4所獲輸入信號的MDFT譜Z(k),在MDCT域上提取相位信息,提取方式為將MDFT譜延時d個采樣點,得到線性相位即其中k=0,1,. ..,N-1,exp表示指數(shù)運算,j表示虛部;步驟6,結(jié)合步驟5所提取的能量信息和相位信息,在MDCT域上提取空間參數(shù)。
2.根據(jù)權(quán)利要求書1所述的MDCT域能量與相位補償方法,其特征在于步驟2中,將MDCT的變換基c,和MDST的變換基&分解為N維列向量表示,艮P(ct)T=((c:)T (el)1")具中,=cos|—("+—+—)(& + —) I , A=sm —(" + — —)(& + —)、1 I, 1 、W 2 2 2,A; = 0,l,...,iV —1,AT2 2 2 —"=0,1,...,2JV-1,上標"T"表示轉(zhuǎn)置,上標"0"和"1"分別用于標識變換基的前半部分和后半部分的子向量;從而得到以下四個^^矩陣形式的子向量c — L。
e。 fO )Ci = (c。 … j) S。 二(s。 si … —,) Si =(s。
A ... 一i)所述提取MDCT到MDST的轉(zhuǎn)換矩陣,包括和矩陣T+和差矩陣H ,通過將上述四個子向量帶入下列公式求得T,+(S〖C。+S〖q) T_= + (S〖C。—S:C,) 。
3.根據(jù)權(quán)利要求書2所述的MDCT域能量與相位補償方法,其特征在于所述 步驟2中,對和矩陣T+進行稀疏近似化,得到近似化和矩陣i;的具體實施方式
如下,<formula>formula see original document page 4</formula>(1)和矩陣T+的表達式<formula>formula see original document page 4</formula>其中,^ = :/(2^), k, l分別表示行列標號,Re表示實部,odd表示奇數(shù), even表示偶數(shù);(2)保留以上表達式呈現(xiàn)的稀疏對角陣中絕對值最大的2m個元素值,m取小 于NXN/2的任意自然數(shù),其它元素均置為0,從而實現(xiàn)對和矩陣T+稀疏近似化,得到近似化和矩陣i;。
4、根據(jù)權(quán)利要求書1所述的MDCT域信號能量和相位補償方法,其特征在于 所述步驟5中,在MDCT域上提取能量信息的具體方式如下,(1)提取時域輸入信號與變換域的對應關(guān)系, 對于時域輸入信號," = 0, 1,2JV -1 ,有對應關(guān)系如式0c("))-O(0),Jc(l),…,;c(2iV-l)) =4^(X(A:)Ca ,其中,<formula>formula see original document page 4</formula>IW為輸入信號的MDCT譜,為輸入信號的MDST譜;(2)根據(jù)時域輸入信號與變換域之間的對應關(guān)系,通過計算能量,找到時域信 號能量《與信號MDFT譜能量&之間對應的關(guān)系,具體方式如下<formula>formula see original document page 5</formula>根據(jù)上式得到與時域信號能量《相應的MDCT域上的能量信息,即信號MDFT譜 能量&。
5、 根據(jù)權(quán)利要求書1所述的MDCT域信號能量與相位補償方法中,其特征在于 所述步驟6中,結(jié)合步驟5所提取的能量信息和相位信息,在MDCT域上提取空 間參數(shù)的具體方式如下,若提取代表左右聲道能量差異的空間參數(shù),則利用時域和MDCT域的能量關(guān)系 在MDCT域上提取與時域等價的空間參數(shù);若提取代表左右聲道相位差異的空間參數(shù),則利用時域到MDCT域產(chǎn)生的線性相 位3,在MDCT域上提取與時域等價的空間參數(shù)。
6、 一種用于實現(xiàn)權(quán)利要求1或2或3或4或5所述MDCT域信號能量與相位補 償方法的裝置,其特征在于包含以下部分,MDCT變換模塊,用于對輸入信號進行MDCT變換,獲得信號的MDCT譜; 譜運算模塊,用于計算差矩陣系數(shù)r、和矩陣系數(shù)《; MDST轉(zhuǎn)換模塊,用于獲取MDCT到MDST的轉(zhuǎn)換矩陣,得到MDST譜; MDFT構(gòu)造模塊,用于根據(jù)信號的MDCT譜和MDST譜,構(gòu)造MDFT譜; 能量提取模塊,用于提取能量信息; 相位提取模塊,用于提取相位信息;空間參數(shù)提取模塊,用于根據(jù)能量信息和相位信息,在MDCT域上提取空間參數(shù); 其中,MDCT變換模塊將輸入信號的MDCT譜輸出到譜運算模塊和MDFT構(gòu)造模塊,譜運算模塊輸出差矩陣系數(shù)X:、和矩陣系數(shù)《到MDST轉(zhuǎn)換模塊,MDST 轉(zhuǎn)換模塊輸出MDST譜到MDFT構(gòu)造模塊;MDFT構(gòu)造模塊輸出MDFT譜到能量提取 模塊和相位提取模塊;能量提取模塊輸出的能量信息、相位提取模塊輸出的相 位信息接入空間參數(shù)提取模塊。
全文摘要
本發(fā)明提出了MDCT域信號能量與相位補償方法及其裝置,通過分析MDCT變換基和MDST變換基之間的關(guān)系,利用稀疏化近似矩陣,提取并簡化MDCT至MDST的轉(zhuǎn)換矩陣;利用轉(zhuǎn)換矩陣實現(xiàn)MDCT譜至MDST譜的轉(zhuǎn)換,并聯(lián)合兩者構(gòu)造具有恒定能量及線性相位的MDFT譜;依據(jù)MDFT譜提取空間參數(shù)。本發(fā)明有效解決了信號在MDCT域的能量抖動及相位缺失問題,實現(xiàn)了在空間音頻編碼系統(tǒng)中低復雜度的MDCT域空間參數(shù)提取合成。
文檔編號G10L19/00GK101521012SQ200910061439
公開日2009年9月2日 申請日期2009年4月8日 優(yōu)先權(quán)日2009年4月8日
發(fā)明者胡瑞敏, 冰 陳, 琪 陳, 陳水仙 申請人:武漢大學