本發(fā)明涉及一種數(shù)據(jù)處理技術，特別涉及一種基于虛擬現(xiàn)實的vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)及處理方法。
背景技術：
：隨著vr電視的出現(xiàn)，觀眾用戶觀看電視的傳統(tǒng)模式發(fā)生了重大變化，當用戶觀看vr電視時，vr的音頻信號一般由音頻播放設備(如耳機)來重放虛擬現(xiàn)實中的聲音。觀眾用戶可通過遙控器來控制電視屏幕畫面從而變換觀看視角，在觀看虛擬現(xiàn)實影像時，隨著虛擬現(xiàn)實的場景、情節(jié)的變化，觀眾用戶的動作行為可能也會隨之變化。例如，在一虛擬現(xiàn)實的場景中，虛擬足球比賽場景中球員在球場擊球跑動，或是虛擬電視劇戰(zhàn)爭場景中觀眾用戶的身后突然響起槍聲或爆炸聲，用戶的頭部常常會自然地轉動。然而，當觀眾用戶的動作行為發(fā)生變化時，對于用戶而言，虛擬現(xiàn)實中聲源的方位已經(jīng)變化，但是觀眾用戶佩戴的音頻播放設備(如耳機)中重放的聲源的方位卻并未作相應的改變，如此極大地影響虛擬現(xiàn)實營造出的沉浸感，降低了用戶體驗的效果。技術實現(xiàn)要素：鑒于以上內(nèi)容，有必要提供一種可提高用戶體驗的vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)及處理方法。一種vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)，包括：一vr電視遙控器，用于輸出一對應于一用戶所觀看到某一vr畫面的方位變化指令信息；一第一處理器，用于獲取該vr電視遙控器輸出的所述方位變化指令信息，并根據(jù)一觸發(fā)條件及該方位變化指令信息設置一參考坐標；該第一處理器還用于根據(jù)該參考坐標、方位變化指令信息及若干虛擬揚聲器的設置角度計算該用戶的頭部方位角度信息；一調(diào)用模塊，用于讀取所述頭部方位角度信息及若干虛擬揚聲器的設置角度得出當前頭部與各虛擬揚聲器之間的相對方位角度；該調(diào)用模塊還用于根據(jù)一頭相關傳輸函數(shù)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)；及一第二處理器，用于接收一輸入信號，該第二處理器還用于根據(jù)所述傳輸函數(shù)對該輸入信號進行卷積處理，以生成對應于一播放設備的一第一通路信號及一第二通路信號。一種vr電視中的動態(tài)空間虛擬聲處理方法，包括：通過一vr電視遙控器輸出一對應于一用戶所觀看到某一vr畫面的方位變化指令信息；獲取該vr電視遙控器輸出的方位變化指令信息；根據(jù)一觸發(fā)條件及該方位變化指令信息設置一參考坐標；根據(jù)該參考坐標、方位變化指令信息及若干虛擬揚聲器的設置角度計算該用戶的頭部方位角度信息；讀取所述頭部方位角度信息及若干虛擬揚聲器的設置角度得出當前頭部與各虛擬揚聲器之間的相對方位角度；根據(jù)一頭相關傳輸函數(shù)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)；及接收一輸入信號，根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理，生成對應于一播放設備的一第一通路信號及一第二通路信號。進一步地，上述所述頭部方位角度信息包括一水平角及一仰角，該處理方法還包括：當觀眾用戶進入觀看vr電視節(jié)目的初始時刻時，將對該vr電視遙控器輸出的方位變化指令信息中包含的水平角及仰角進行初始化。進一步地，其中一種情形，上述所述的輸入信號包括一雙通路的立體聲的音頻信號，該雙通路的立體聲具有一左虛擬揚聲器及一右虛擬揚聲器，其中左虛擬揚聲器及右虛擬揚聲器分別設置于用戶的左前方及右前方，該處理方法還包括：根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理得到第一通路信號包括：根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理得到第二通路信號包括：其中，l為第一通路信號，r為第二通路信號，表示卷積操作，l為該輸入信號中的左通路信號，r為該輸入信號中的右通路信號，hrirl(θ0-θ,φ)對應右虛擬揚聲器-左耳的傳輸函數(shù)，hrirr(θ0-θ,φ)對應右虛擬揚聲器-右耳的傳輸函數(shù)，對應左虛擬揚聲器-左耳的傳輸函數(shù)，對應左虛擬揚聲器-右耳的傳輸函數(shù)，其中θ0＝30°。另一種情形，上述所述的輸入信號包括一多通路的環(huán)繞聲的音頻信號，該多通路的環(huán)繞聲具有一左前虛擬揚聲器、一右前虛擬揚聲器、一中置虛擬揚聲器、一左后虛擬揚聲器、一右后虛擬揚聲器及一低音虛擬揚聲器，其中，左前虛擬揚聲器、右前虛擬揚聲器、中置虛擬揚聲器、左后虛擬揚聲器、右后虛擬揚聲器分別設置于用戶的左前方、右前方、正前方、左后方及右后方，該處理方法還包括：根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理得到第一通路信號包括：根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理得到第二通路信號包括：其中，l為第一通路信號，r為第二通路信號，表示卷積操作，l為該輸入信號中的左通路信號，r為該輸入信號中的右通路信號，ls為該輸入信號中的左環(huán)繞聲信號，rs為該輸入信號中的右環(huán)繞聲信號，c為該輸入信號中的中置通路信號，lfe為該輸入信號中的低音通路信號，對應右前虛擬揚聲器-左耳的傳輸函數(shù)，對應右前虛擬揚聲器-右耳的傳輸函數(shù)，對應左前虛擬揚聲器-左耳的傳輸函數(shù)，對應左前虛擬揚聲器-右耳的傳輸函數(shù)，對應右后虛擬揚聲器-左耳的傳輸函數(shù)，對應右后虛擬揚聲器-右耳的傳輸函數(shù)，對應左后虛擬揚聲器-左耳的傳輸函數(shù)，對應左后虛擬揚聲器-右耳的傳輸函數(shù)，其中θ0＝30°，θs＝110°±10°。本發(fā)明創(chuàng)造涉及的vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)及處理方法通過獲取觀眾用戶當前頭部與各虛擬揚聲器的相對方位角度，并從一頭相關傳輸函數(shù)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者通過匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)，以及接收一輸入信號，根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理，以生成對應于一播放設備的第一通路信號及第二通路信號，如此可根據(jù)觀眾用戶移動的位置輸出對應的音頻信號，進而有利于提高觀眾用戶的沉浸式體驗。附圖說明圖1是本發(fā)明vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)的方框圖；圖2是圖1中較佳實施方式的方框圖；圖3是本發(fā)明vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)應用于一立體聲的音頻信號所對應的方位角度示意圖；圖4是本發(fā)明vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)應用于一環(huán)繞聲的音頻信號所對應的方位角度示意圖；圖5是圖2中第二處理器對一立體聲的音頻信號進行卷積處理的較佳實施方式的示意圖；圖6是圖2中第二處理器對一環(huán)繞聲的音頻信號進行卷積處理的較佳實施方式的示意圖；圖7是本發(fā)明vr電視中的動態(tài)空間虛擬聲處理方法的較佳實施方式的流程圖。主要元件符號說明第一處理器20第二處理器50vr電視遙控器10調(diào)用模塊30輸入信號40播放設備60渲染器200實時卷積模塊500具體實施方式請參閱圖1，本發(fā)明vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)的較佳實施方式包括：vr電視遙控器10，用于輸出一對應于一用戶所觀看到某一vr畫面的方位變化指令信息；第一處理器20，用于獲取vr電視遙控器10輸出的方位變化指令信息，并根據(jù)一觸發(fā)條件及該方位變化指令信息設置一參考坐標；第一處理器20還用于根據(jù)該參考坐標、方位變化指令信息及若干虛擬揚聲器的設置角度計算該用戶的頭部方位角度信息；調(diào)用模塊30，用于讀取所述頭部方位角度信息及若干虛擬揚聲器的設置角度得出當前用戶頭部與虛擬揚聲器之間的相對方位角度；調(diào)用模塊30還用于根據(jù)一頭相關傳輸函數(shù)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)；及第二處理器50，用于接收一輸入信號40，第二處理器50還用于根據(jù)所述傳輸函數(shù)對輸入信號40進行卷積處理，以生成對應于一播放設備60的第一通路信號及第二通路信號。播放設備60用于重放經(jīng)該第二處理器50處理后得到的音頻信號。本實施方式中，vr電視遙控器10輸出的方位變化指令信息包括對應于變換vr電視畫面視角的代表向左/向右/向上/向下等方位變化的步進信號。vr電視遙控器10內(nèi)一般設置有傳感器，通過傳感器感測到用戶的動作信息并將動作信息進行轉換處理得到該步進信號，傳輸給第一處理器20。請一并參閱圖2，本較佳實施方式中，第一處理器20包括一渲染器200，該渲染器200獲取vr電視遙控器10輸出的方位變化指令信息(如步進信號)，根據(jù)一觸發(fā)條件及該方位變化指令信息設置一參考坐標；渲染器200根據(jù)該參考坐標、方位變化指令信息及若干虛擬揚聲器的設置角度計算該用戶當前的頭部方位角度信息，該頭部方位角度信息包括一水平角θ及一仰角φ，其中水平角θ為觀眾用戶的當前視線與vr電視主攝像頭的主軸方向的水平夾角，因拍攝時主攝像頭的主軸方向一般位于水平面；仰角φ為觀眾用戶的當前視線與該vr電視主攝像頭的主軸方向所處的水平面的夾角。第一處理器20通過該渲染器200計算得到該用戶當前的頭部方位角度信息(包括水平角θ及仰角φ)并傳輸給調(diào)用模塊30。更進一步地，本實施方式中，當用戶觀看vr電視節(jié)目的初始時刻時，該渲染器200將接收得到的動作信息設置為該參考坐標。例如，當觀眾用戶進入觀看vr電視節(jié)目的初始時刻時，該渲染器200將觀眾用戶的朝向定位為正前方(即對vr電視遙控器10輸出的方位變化指令信息進行初始化)，如將此時該渲染器200根據(jù)該參考坐標、方位變化指令信息及若干虛擬揚聲器的設置角度計算得到該用戶當前的頭部方位角度信息中包含的水平角θ校為0度、仰角φ校為0度，也即設置觀眾用戶的視平線與該vr電視主攝像頭的主軸方向(即地球水平面)平行。在其他實施方式中，用戶亦可通過一功能按鍵來設置該參考坐標，如當該功能按鍵被觸發(fā)時，該渲染器200則將此時接收到的動作信息設置為該參考坐標。請一并參閱圖2，本實施方式中，調(diào)用模塊30讀取由渲染器200計算得到的該用戶當前的頭部方位角度信息(θ,φ)，并將該頭部方位角度信息(θ,φ)與若干虛擬揚聲器的設置角度進行疊加處理，以得到當前用戶頭部與各虛擬揚聲器之間的相對方位角度。請一并參閱圖2，本實施方式中，第二處理器50包括一實時卷積模塊500，接收一輸入信號40，根據(jù)調(diào)用模塊30輸出的各虛擬揚聲器的傳輸函數(shù)(headrelatedtransferfunction，簡稱hrtf)對該輸入信號40進行實時卷積處理，以生成對應于一播放設備60的第一通路信號及第二通路信號。實時卷積模塊500可采用一dsp(digitalsignalprocessing，數(shù)字信號處理)芯片實現(xiàn)。本實施方式中，播放設備60為觀眾用戶佩戴的耳機，用于重放經(jīng)該第二處理器50處理后得到的音頻信號。該播放設備60用于對一雙通路的立體聲的音頻信號或者多通路的環(huán)繞聲的音頻信號進行重放動作。該雙通路的立體聲可具有一左虛擬揚聲器及一右虛擬揚聲器，其中左虛擬揚聲器及右虛擬揚聲器分別設置于用戶的左前方及右前方；該多通路的環(huán)繞聲可為5.1通路的環(huán)繞聲，具有一左前虛擬揚聲器、一右前虛擬揚聲器、一中置虛擬揚聲器、一左后虛擬揚聲器、一右后虛擬揚聲器及一低音虛擬揚聲器(也稱超重低音炮)，其中，左前虛擬揚聲器、右前虛擬揚聲器、中置虛擬揚聲器、左后虛擬揚聲器、右后虛擬揚聲器分別設置于觀眾用戶的左前方、右前方、正前方、左后方及右后方。請一并參閱圖3，對于雙通路立體聲的音頻信號，初始時，左虛擬揚聲器l與正前方中心軸線的水平角為(360°-θ0)、右虛擬揚聲器r與正前方中心軸線的水平角為θ0。即對于雙通路立體聲，左虛擬揚聲器l的設置角度為(360°-θ0)，右虛擬揚聲器r的設置角度為θ0。本實施方式中，在立體聲國際標準中θ0＝30°。如此，該調(diào)用模塊30根據(jù)用戶當前的頭部方位角度信息(θ,φ)與左虛擬揚聲器的設置角度(360°-θ0)、右虛擬揚聲器的設置角度θ0進行疊加處理后得到：當前用戶頭部與左虛擬揚聲器l、右虛擬揚聲器r之間的相對方位角度分別為(360°-θ0-θ,φ)，(θ0-θ,φ)。請一并參閱圖4，對于多通路(以5.1通路為例)環(huán)繞聲的音頻信號，初始時，左前虛擬揚聲器l與正前方中心軸線的水平角為(360°-θ0)、右前虛擬揚聲器r與正前方中心軸線的水平角為θ0、中置虛擬揚聲器c設置于用戶的正前方0°處(圖未示)，左后虛擬揚聲器ls與正前方中心軸線的水平角為(360°-θs)、右后虛擬揚聲器rs與正前方中心軸線的水平角為θs。本實施方式中，環(huán)繞聲國際標準中推薦θs＝110°±10°。即左前虛擬揚聲器l的設置角度為(360°-θ0)、右前虛擬揚聲器r的設置角度為θ0、中置虛擬揚聲器c的設置角度為0°處(圖未示)，左后虛擬揚聲器ls的設置角度為(360°-θs)、右后虛擬揚聲器rs的設置角度為θs。如此，當前用戶的頭部與左前虛擬揚聲器l、右前虛擬揚聲器r、左后虛擬揚聲器ls、右后虛擬揚聲器rs的相對方位角度為(360°-θ0-θ,φ)，(θ0-θ,φ)，(360°-θs-θ,φ)和(θs-θ,φ)。本實施方式中，對于中置虛擬揚聲器c和低音虛擬揚聲器lfe，該調(diào)用模塊30將中置虛擬揚聲器c及低音虛擬揚聲器lfe的通路信號乘以0.707(即)后分別反饋給前方的左前虛擬揚聲器l及右前虛擬揚聲器r的通路信號。本實施方式中，該調(diào)用模塊30可對各虛擬揚聲器的音效進行定位。該調(diào)用模塊30根據(jù)一頭相關傳輸函數(shù)(headrelatedtransferfunction，簡稱hrtf)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)，并輸出各虛擬揚聲器的傳輸函數(shù)(hrtf)。請參閱圖5，對于雙通路的立體聲的音頻信號時，該輸入信號40具有一左通路信號l及一右通路信號r。該調(diào)用模塊30從一頭相關傳輸函數(shù)(hrtf)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)時域形式(對應右虛擬揚聲器-左耳)、(對應右虛擬揚聲器-右耳)、(對應左虛擬揚聲器-左耳)、(對應左虛擬揚聲器-右耳)，或者匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)時域形式。該實時卷積模塊500將輸入信號40與對應的相對方位角度的調(diào)用值進行實時卷積計算，以得到處理后的第一通路信號l及第二通路信號r，并將第一通路信號l及第二通路信號r輸出給播放設備60，其中：其中，表示卷積操作，l為該輸入信號中的左通路信號，r為該輸入信號中的右通路信號，hrirl(θ0-θ,φ)對應右虛擬揚聲器-左耳的傳輸函數(shù)，hrirr(θ0-θ,φ)對應右虛擬揚聲器-右耳的傳輸函數(shù)，對應左虛擬揚聲器-左耳的傳輸函數(shù)，對應左虛擬揚聲器-右耳的傳輸函數(shù)，θ0＝30°。請參閱圖6，當對一環(huán)繞聲(以5.1通路為例)的音頻信號進行卷積操作時，該調(diào)用模塊30從頭相關hrtf數(shù)據(jù)庫中調(diào)用對應于所述相對方位角度的傳輸函數(shù)時域形式為(對應右前虛擬揚聲器-左耳)、(對應右前虛擬揚聲器-右耳)、(對應左前虛擬揚聲器-左耳)、(對應左前虛擬揚聲器-右耳)、(對應右后虛擬揚聲器-左耳)、(對應右后虛擬揚聲器-右耳)、(對應左后虛擬揚聲器-左耳)、(對應左后虛擬揚聲器-右耳)，或者匹配到與最接近于該頭相關hrtf數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)時域形式。該實時卷積模塊500將輸入信號40與對應的相對方位角度的調(diào)用值進行實時卷積計算，以得到處理后的第一通路信號l及第二通路信號r輸出給播放設備60，其中：其中，表示卷積操作，l為該輸入信號中的左通路信號，r為該輸入信號中的右通路信號，ls為該輸入信號中的左環(huán)繞聲信號，rs為該輸入信號中的右環(huán)繞聲信號，c為該輸入信號中的中置通路信號，lfe為該輸入信號中的低音通路信號，對應右前虛擬揚聲器-左耳的傳輸函數(shù)，對應右前虛擬揚聲器-右耳的傳輸函數(shù)，對應左前虛擬揚聲器-左耳的傳輸函數(shù)，對應左前虛擬揚聲器-右耳的傳輸函數(shù)，對應右后虛擬揚聲器-左耳的傳輸函數(shù)，對應右后虛擬揚聲器-右耳的傳輸函數(shù)，對應左后虛擬揚聲器-左耳的傳輸函數(shù)，對應左后虛擬揚聲器-右耳的傳輸函數(shù)，其中θ0＝30°，θs＝110°±10°。請參閱圖7，本發(fā)明vr電視中的動態(tài)空間虛擬聲處理方法的較佳實施方式包括如下步驟：通過一vr電視遙控器輸出一對應于一用戶所觀看到某一vr畫面的方位變化指令信息；獲取該vr電視遙控器輸出的方位變化指令信息；根據(jù)一觸發(fā)條件及該方位變化指令信息設置一參考坐標；根據(jù)該參考坐標、方位變化指令信息及若干虛擬揚聲器的設置角度計算該用戶的頭部方位角度信息；讀取所述頭部方位角度信息及若干虛擬揚聲器的設置角度得出當前頭部與各虛擬揚聲器之間的相對方位角度；根據(jù)一頭相關傳輸函數(shù)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)；接收一輸入信號，根據(jù)各虛擬揚聲器的所述傳輸函數(shù)對該輸入信號進行卷積處理，生成對應于一播放設備的一第一通路信號及一第二通路信號。進一步地，所述頭部方位角度信息包括一水平角及一仰角，該vr電視中的動態(tài)空間虛擬聲處理方法還包括：當觀眾用戶進入觀看vr電視節(jié)目的初始時刻時，將對該vr電視遙控器輸出的方位變化指令信息中包含的水平角及仰角進行初始化。上述vr電視中的動態(tài)空間虛擬聲處理系統(tǒng)及處理方法通過獲取觀眾用戶當前頭部與各虛擬揚聲器的相對方位角度，并從一頭相關傳輸函數(shù)數(shù)據(jù)庫調(diào)出對應于所述相對方位角度的傳輸函數(shù)或者通過匹配到與最接近于該頭相關傳輸函數(shù)數(shù)據(jù)庫中某一相對方位角度相對應的傳輸函數(shù)，以及接收一輸入信號，根據(jù)各虛擬揚聲器的傳輸函數(shù)對該輸入信號進行卷積處理，以生成對應于一播放設備的第一通路信號及第二通路信號，如此可根據(jù)觀眾用戶移動的位置輸出對應的音頻信號，進而有利于提高觀眾用戶的沉浸式體驗。本發(fā)明具有以下優(yōu)點：1.可實時跟蹤觀眾的視角變化，增強了虛擬現(xiàn)實的沉浸感。2.適用面廣。本系統(tǒng)可適用于立體聲和環(huán)繞聲信號的耳機虛擬現(xiàn)實重放，基本涵括現(xiàn)有的電視存量節(jié)目中的音頻信號。需要說明的是，在本發(fā)明的描述中，術語“第一”、“第二”等僅用于描述目的，而不能理解為指示或暗示相對重要性。流程圖中或在此以其他方式描述的任何過程或方法描述可以被理解為，表示包括一個或更多個用于實現(xiàn)特定邏輯功能或過程的步驟的可執(zhí)行指令的代碼的模塊、片段或部分，并且本發(fā)明的優(yōu)選實施方式的范圍包括另外的實現(xiàn)，其中可以不按所示出或討論的順序，包括根據(jù)所涉及的功能按基本同時的方式或按相反的順序，來執(zhí)行功能，這應被本發(fā)明的實施例所屬
技術領域：
的技術人員所理解。應當理解，本發(fā)明的各部分可以用硬件、軟件、固件或它們的組合來實現(xiàn)。在上述實施方式中，多個步驟或方法可以用存儲在存儲器中且由合適的指令執(zhí)行系統(tǒng)執(zhí)行的軟件或固件來實現(xiàn)。例如，如果用硬件來實現(xiàn)，和在另一實施方式中一樣，可用本領域公知的下列技術中的任一項或他們的組合來實現(xiàn)：具有用于對數(shù)據(jù)信號實現(xiàn)邏輯功能的邏輯門電路的離散邏輯電路，具有合適的組合邏輯門電路的專用集成電路，可編程門陣列(pga)，現(xiàn)場可編程門陣列(fpga)等。盡管上面已經(jīng)示出和描述了本發(fā)明的實施例，可以理解的是，上述實施例是示例性的，不能理解為對本發(fā)明的限制，本領域的普通技術人員在本發(fā)明的范圍內(nèi)可以對上述實施例進行變化、修改、替換和變型。當前第1頁12