一種多角度3d聲回放方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于聲音處理領(lǐng)域，尤其涉及一種多角度3D聲回放方法及裝置。
【背景技術(shù)】
[0002] 3D聲回放技術(shù)一直以來都是人們關(guān)注的熱點(diǎn)，波場(chǎng)合成技術(shù)（Wavefield synthesis,WFS)[A.J.Berkhout,D.VriesandP.Voge,Acousticcontrolbywavefield synthesis,J.Acoust.Soc.Am.，93:2764-2778, 1993]理論上可以獲得完美的 3D聲回放效 果，但其存在的顯著問題是需要使用大量的揚(yáng)聲器單元，系統(tǒng)構(gòu)造非常復(fù)雜。與之類似的其 它利用揚(yáng)聲器陣列的3D聲回放技術(shù)，如Ambisonics[D.G.MalhamandA.Myatt, 3_Dsound spatializationusingAmbisonicstechniques,ComputerMusicJ.,19(4):58-70, 1995] 和DoblyAtmos[G.Sergi,Knockingatthedoorofcinematicartifice:Dolby Atmos,challengesandopportunities,TheNewSoundtrack, 3 (2) :107-121, 2013]等都存 在復(fù)雜度過高的問題。
[0003] 除了利用揚(yáng)聲器陣列，還可以通過耳機(jī)實(shí)現(xiàn)3D聲回放，現(xiàn)有的耳機(jī)回放一般通過 人頭相關(guān)傳遞函數(shù)（Headrelatedtransferfunction,HRTF)，把需要回放的立體聲聲源 信息經(jīng)過人頭相關(guān)傳遞函數(shù)濾波后作為耳機(jī)的驅(qū)動(dòng)信號(hào)反饋給用戶。專利CN101511047B 公開了一種適用于耳機(jī)的3D音效處理方法，其利用立體聲數(shù)據(jù)，通過構(gòu)造環(huán)繞聲提升耳機(jī) 的聲回放效果；專利CN102665156B公開了一種虛擬3D重放方法，除了運(yùn)用頭相關(guān)傳遞函數(shù) 以外，還考慮了房間聲場(chǎng)以及空氣吸聲的影響，以進(jìn)一步提升用戶的主觀感受?，F(xiàn)有的基于 耳機(jī)的3D回放技術(shù)僅關(guān)注聲回放的實(shí)現(xiàn)，使用的聲源信息一般是雙通道立體聲數(shù)據(jù)或是 商用的多聲道數(shù)據(jù)（如Dolby5. 1)，缺乏與信號(hào)采集端的關(guān)聯(lián)。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明實(shí)施例的目的在于提供一種多角度3D聲回放方法及裝置，旨在充分利用 傳聲器陣列的定向采集功能，實(shí)現(xiàn)對(duì)聲場(chǎng)信息的多角度采集，并通過與耳機(jī)同步方位信息 實(shí)現(xiàn)耳機(jī)雙耳聲的有效合成，使得聽音者獲得的聲信息可隨其頭部的轉(zhuǎn)動(dòng)實(shí)時(shí)變化，獲得 完整的3D音效體驗(yàn)。
[0005] 本發(fā)明實(shí)施例是這樣實(shí)現(xiàn)的，一種多角度3D聲回放方法，所述方法包括：
[0006] 通過傳感器實(shí)時(shí)采集用戶的方位信息；
[0007] 根據(jù)實(shí)時(shí)采集到的用戶方位信息對(duì)傳聲器陣列進(jìn)行同步；
[0008] 根據(jù)同步后的傳聲器陣列，實(shí)時(shí)計(jì)算并合成用戶的雙耳3D聲。
[0009] 進(jìn)一步的，所述傳聲器陣列包括：
[0010] 線性陣列、十字形陣列、L形陣列、環(huán)形陣列、多層環(huán)形陣列、球陣列或多層球陣列。
[0011] 進(jìn)一步的，所述根據(jù)實(shí)時(shí)采集到的用戶方位信息對(duì)傳聲器陣列進(jìn)行同步的步驟包 括：
[0012] 由用戶指定一個(gè)傳聲器陣列波束并將所述傳聲器陣列波束所對(duì)應(yīng)的中心方向標(biāo) 定為基準(zhǔn)方向；
[0013] 根據(jù)實(shí)時(shí)采集到的用戶方位信息確定用戶旋轉(zhuǎn)的角度并更新基準(zhǔn)方向，根據(jù)更新 后的基準(zhǔn)方向調(diào)整陣列波束中心方向的方位坐標(biāo)。
[0014] 進(jìn)一步的，所述根據(jù)同步后的傳聲器陣列，實(shí)時(shí)計(jì)算并合成用戶的雙耳3D聲的步 驟包括：
[0015] 根據(jù)同步后的傳聲器陣列，確定雙耳與傳聲器陣列波束采樣結(jié)果的對(duì)應(yīng)方位關(guān) 系；
[0016] 根據(jù)人頭相關(guān)傳遞函數(shù)或者依據(jù)人頭模型推算人頭相關(guān)傳遞函數(shù)對(duì)相應(yīng)波束采 樣結(jié)果進(jìn)行濾波，并將濾波結(jié)果進(jìn)行疊加，分別獲得人耳左右通道的3D聲。
[0017] 進(jìn)一步的，所述依據(jù)人頭模型推算人頭相關(guān)傳遞函數(shù)的步驟包括：
[0018] 通過剛性球?qū)ζ矫娌ㄉ⑸涞睦碚摻馕鍪皆陬l域計(jì)算，并通過逆傅立葉變換計(jì)算出 對(duì)應(yīng)的時(shí)域沖激響應(yīng)，其中時(shí)域沖激響應(yīng)既可以通過人頭實(shí)際位置和波束對(duì)應(yīng)的平面波夾 角實(shí)時(shí)計(jì)算，也可以預(yù)先計(jì)算好所有方位平面波對(duì)應(yīng)的時(shí)域沖激響應(yīng)并保留在耳機(jī)的存儲(chǔ) 器或者與耳機(jī)連接的計(jì)算設(shè)備中。
[0019] 本發(fā)明實(shí)施例的另一目的在于提供一種多角度3D聲回放裝置，所述裝置包括：
[0020] 采集單元，用于通過傳感器實(shí)時(shí)采集用戶的方位信息；
[0021] 同步單元，用于根據(jù)實(shí)時(shí)采集到的用戶方位信息對(duì)傳聲器陣列進(jìn)行同步；
[0022] 回放單元，用于根據(jù)同步后的傳聲器陣列，實(shí)時(shí)計(jì)算并合成用戶的雙耳3D聲。
[0023] 進(jìn)一步的，所述傳聲器陣列包括：
[0024] 線性陣列、十字形陣列、L形陣列、環(huán)形陣列、多層環(huán)形陣列、球陣列或多層球陣列。
[0025] 進(jìn)一步的，所述同步單元包括：
[0026] 標(biāo)定單元，用于由用戶指定一個(gè)傳聲器陣列波束并將所述傳聲器陣列波束所對(duì)應(yīng) 的中心方向標(biāo)定為基準(zhǔn)方向；
[0027] 調(diào)整單元，用于根據(jù)實(shí)時(shí)采集到的用戶方位信息確定用戶旋轉(zhuǎn)的角度并更新基準(zhǔn) 方向，根據(jù)更新后的基準(zhǔn)方向調(diào)整陣列波束中心方向的方位坐標(biāo)。
[0028] 進(jìn)一步的，所述回放單元包括：
[0029] 方位關(guān)系確定單元，用于根據(jù)同步后的傳聲器陣列，確定雙耳與傳聲器陣列波束 采樣結(jié)果的對(duì)應(yīng)方位關(guān)系；
[0030] 計(jì)算單元，用于根據(jù)人頭相關(guān)傳遞函數(shù)或者依據(jù)人頭模型推算人頭相關(guān)傳遞函數(shù) 對(duì)相應(yīng)波束采樣結(jié)果進(jìn)行濾波，并將濾波結(jié)果進(jìn)行疊加，分別獲得人耳左右通道的3D聲。
[0031] 進(jìn)一步的，所述計(jì)算單元包括：
[0032] 傳遞函數(shù)計(jì)算單元，用于通過剛性球?qū)ζ矫娌ㄉ⑸涞睦碚摻馕鍪皆陬l域計(jì)算，并 通過逆傅立葉變換計(jì)算出對(duì)應(yīng)的時(shí)域沖激響應(yīng)，其中時(shí)域沖激響應(yīng)既可以通過人頭實(shí)際位 置和波束對(duì)應(yīng)的平面波夾角實(shí)時(shí)計(jì)算，也可以預(yù)先計(jì)算好所有方位平面波對(duì)應(yīng)的時(shí)域沖激 響應(yīng)并保留在耳機(jī)的存儲(chǔ)器或者與耳機(jī)連接的計(jì)算設(shè)備中。
[0033] 本發(fā)明實(shí)施例通過一種多角度3D聲回放及裝置，通過傳感器采集用戶的方位信 息，充分利用傳聲器陣列的定向采集功能，實(shí)現(xiàn)對(duì)聲場(chǎng)信息的多角度采集，并通過與耳機(jī)同 步方位信息實(shí)現(xiàn)耳機(jī)雙耳聲的有效合成，使得聽音者獲得的聲信息可隨其頭部的轉(zhuǎn)動(dòng)實(shí)時(shí) 變化，獲得實(shí)時(shí)的且是完整的3D音效體驗(yàn)。
【附圖說明】
[0034] 圖1是本發(fā)明第一實(shí)施例提供的一種多角度3D聲回放方法的實(shí)現(xiàn)流程圖；
[0035] 圖2是本發(fā)明第一實(shí)施例提供的傳聲器陣列波束中心與人頭相對(duì)方位的示意圖； 以及
[0036] 圖3是本發(fā)明第二實(shí)施例提供的一種多角度3D聲回放裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0037] 為了使本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的 附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明 一部分的實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒 有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
[0038] 本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語"第一"、"第二"、"第三…第四" 等（如果存在）是用于區(qū)別類