本發(fā)明涉及虛擬現(xiàn)實技術領域，尤其涉及一種完全沉浸式的耳機立體聲實現(xiàn)方法及系統(tǒng)。

背景技術：

隨著虛擬現(xiàn)實的畫面日趨逼真，人們逐漸發(fā)現(xiàn)虛擬現(xiàn)實音頻對于人腦的3d畫面重建不可或缺的作用。對于一般的消費型電子終端設備來說，耳機是最實惠有效的實現(xiàn)虛擬現(xiàn)實音頻的載體，多聲道音頻信號經(jīng)過處理后由耳機輸出，從而使用戶在游戲和電影中有較好的身臨其境的體驗。然而，當人腦轉(zhuǎn)動時，相應的聲音方向也會隨著人腦的轉(zhuǎn)動而轉(zhuǎn)動，產(chǎn)生了所謂的“頭中效應”，從而破壞了虛擬現(xiàn)實音頻的沉浸感。很多互聯(lián)網(wǎng)/音頻廠商均作了不少努力去解決這個問題，但還遠遠沒有達到完全沉浸式的效果。如waves提出通過在耳機上小配件或利用手機攝像頭來實現(xiàn)對人頭轉(zhuǎn)動方向的監(jiān)控，從而相對應地調(diào)整虛擬環(huán)繞聲的音頻參數(shù)，使聽者感覺到聲場方向不隨人頭轉(zhuǎn)動而轉(zhuǎn)動。但此技術需要在耳機上增加一個小配件，提高了實現(xiàn)沉浸式虛擬環(huán)繞聲的復雜程度和攜帶難度。

另一種方式是通過移動終端上的攝像頭來監(jiān)視人頭轉(zhuǎn)動，從而及時調(diào)整虛擬環(huán)繞聲的音頻參數(shù)來實現(xiàn)聲場方向的調(diào)整，此方法能不需要增加小配件，對用戶來說更為方便。然而，用戶使用尺寸較小的移動終端時經(jīng)常是采用手持的方式，移動終端本身的方向會隨著用戶游戲的投入而發(fā)生變化，從而對用戶人頭轉(zhuǎn)動方向產(chǎn)生較大的誤判或誤差。當用戶人頭未移動而手持的移動終端發(fā)生方向的變化，會使聲場方向調(diào)整，從而造成對虛擬環(huán)繞聲沉浸感的破壞。

另外，用戶在觀看虛擬現(xiàn)實/3d視頻時，或在體驗虛擬現(xiàn)實游戲時，人們會在畫面中對聲音方向產(chǎn)生一定的判斷(如左側(cè)的敵人跑過來時會伴隨左側(cè)方位傳來的腳步聲)，這時候如果用戶手持的移動終端方向發(fā)生轉(zhuǎn)動，應使聲場方向伴隨屏幕方向的變化而變化，使畫面和聲場方向所傳遞的信息難以保持一致。這就需要使虛擬音頻的聲場方向綜合人頭轉(zhuǎn)動方向和移動終端轉(zhuǎn)動方向信息來進行調(diào)整，使用戶完全沉浸于虛擬現(xiàn)實游戲/視頻中的畫面的虛擬環(huán)繞聲中。而當前各大虛擬音頻廠商所提出的方案均無法實現(xiàn)對移動終端方向和人頭轉(zhuǎn)動方向的同時監(jiān)測和聲場方向調(diào)整，無法實現(xiàn)完全沉浸式的虛擬環(huán)繞聲體驗。

技術實現(xiàn)要素：

本發(fā)明實施例提供一種完全沉浸式的耳機立體聲實現(xiàn)方法及系統(tǒng)，使用戶在不佩戴任何其它配件情況下，僅需要具備陀螺儀和攝像頭的移動終端和普通耳機即可實現(xiàn)完全避免“頭中效應”的虛擬環(huán)繞聲，大大提高了用戶在體驗3d視頻或游戲時的音頻體驗。無論用戶頭部如何轉(zhuǎn)動，或手持的移動終端處于何種方位，均可實現(xiàn)與畫面信息一致的虛擬環(huán)繞聲。

一方面，本發(fā)明實施例提供了一種完全沉浸式的耳機立體聲實現(xiàn)方法，所述方法包括：

移動終端的前置攝像頭實時監(jiān)控，并將成像數(shù)據(jù)實時傳輸給dsp進行處理；

dsp根據(jù)圖像識別算法識別人臉，并分析人臉是否在指定距離內(nèi)；若人臉在指定距離內(nèi)，通過移動終端前置攝像頭獲取人臉數(shù)據(jù)，監(jiān)控人的頭部轉(zhuǎn)動狀態(tài)；若人臉不在指定距離內(nèi)，通過移動終端后置攝像頭獲取人臉數(shù)據(jù)，監(jiān)控人的頭部轉(zhuǎn)動狀態(tài)；

通過移動終端的內(nèi)置陀螺儀的角度檢測數(shù)據(jù)，監(jiān)控移動終端轉(zhuǎn)動狀態(tài)，結(jié)合攝像頭監(jiān)控的人頭部轉(zhuǎn)動狀態(tài)，綜合分析人頭與移動終端之間的實際相對轉(zhuǎn)動狀態(tài)；

dsp根據(jù)計算的實際相對轉(zhuǎn)動狀態(tài)對標準音源進行處理，調(diào)整虛擬環(huán)繞音頻參數(shù)。

另一方面，本發(fā)明實施例提供了一種完全沉浸式的耳機立體聲實現(xiàn)系統(tǒng)，其特征在于，包括：

dsp、前置攝像頭、后置攝像頭、陀螺儀、音源和耳機，所述dsp與前置攝像頭、后置攝像頭、陀螺儀、音源均電連接，所述音源和耳機連接，所述dsp、前置攝像頭、后置攝像頭、陀螺儀、音源均集成在移動終端上。

上述技術方案具有如下有益效果：

1、本發(fā)明使用戶在不佩戴任何其它配件情況下，僅需要具備陀螺儀和攝像頭的移動終端和普通耳機即可實現(xiàn)完全避免“頭中效應”的虛擬環(huán)繞聲，大大提高了用戶在體驗3d視頻或游戲時的音頻體驗。無論用戶頭部如何轉(zhuǎn)動，或手持的移動終端處于何種方位，均可實現(xiàn)與畫面信息一致的虛擬環(huán)繞聲。

2、本發(fā)明所述的耳機虛擬環(huán)繞聲實現(xiàn)方式的優(yōu)勢還在于，其方案可集成于智能移動終端上，并不需要在現(xiàn)有方案添加更多組件就可實現(xiàn)，實現(xiàn)成本低，可行性強。用戶只需要佩戴普通耳機就可以體驗，無需其它配件，對用戶來說更容易接受。

3、另外，本發(fā)明所述方案綜合利用移動終端的前置和后置攝像頭來全角度監(jiān)控人頭運動狀態(tài)，使用戶能盡情投入于游戲或視頻中而不致影響虛擬環(huán)繞聲體驗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實施例一種完全沉浸式的耳機立體聲實現(xiàn)方法流程圖；

圖2是本發(fā)明實施例一種完全沉浸式的耳機立體聲實現(xiàn)系統(tǒng)結(jié)構(gòu)框圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

如圖1所示，為本發(fā)明實施例一種完全沉浸式的耳機立體聲實現(xiàn)方法，所述方法包括：

101、移動終端的前置攝像頭實時監(jiān)控，并將成像數(shù)據(jù)實時傳輸給dsp進行處理；

102、dsp根據(jù)圖像識別算法識別人臉，并分析人臉是否在指定距離內(nèi)；若人臉在指定距離內(nèi)，進入步驟103；若人臉不在指定距離內(nèi)，進入步驟104；

103、通過移動終端前置攝像頭獲取人臉數(shù)據(jù)，監(jiān)控人的頭部轉(zhuǎn)動狀態(tài)；

104、通過移動終端后置攝像頭獲取人臉數(shù)據(jù)，監(jiān)控人的頭部轉(zhuǎn)動狀態(tài)；

105、通過移動終端的內(nèi)置陀螺儀的角度檢測數(shù)據(jù)，監(jiān)控移動終端轉(zhuǎn)動狀態(tài)，結(jié)合攝像頭監(jiān)控的人頭部轉(zhuǎn)動狀態(tài)，綜合分析人頭與移動終端之間的實際相對轉(zhuǎn)動狀態(tài)；

106、dsp根據(jù)計算的實際相對轉(zhuǎn)動狀態(tài)對標準音源進行處理，調(diào)整虛擬環(huán)繞音頻參數(shù)。

優(yōu)選的，所述指定距離為結(jié)合圖像識別算法制定的距離值。

優(yōu)選的，所述調(diào)整虛擬環(huán)繞音頻參數(shù)，即將人頭與移動終端之間的實際相對轉(zhuǎn)動狀態(tài)調(diào)整輸入到耳機的聲場方向。

優(yōu)選的，dsp根據(jù)圖像識別算法識別人臉，并分析人臉是否在指定距離內(nèi)，具體為：測量成像大小、高度，結(jié)合攝像頭的焦距、放大倍數(shù)、像素信息，來計算人頭成像到手機攝像頭之間的距離。

優(yōu)選的，所述虛擬環(huán)繞音頻參數(shù)為頭相關傳輸函數(shù)hrtf和耳機到耳道傳輸函數(shù)hptfs的仰角和水平角。

如圖2所示，為本發(fā)明實施例一種完全沉浸式的耳機立體聲實現(xiàn)系統(tǒng)，其特征在于，包括移動終端和耳機，所述移動終端包括：

dsp1，用于對攝像頭和陀螺儀采集的監(jiān)測數(shù)據(jù)進行處理，監(jiān)控人的頭部轉(zhuǎn)動狀態(tài)和終端轉(zhuǎn)動狀態(tài)，并綜合分析人頭與移動終端之間的實際相對轉(zhuǎn)動狀態(tài)；

前置攝像頭2，用于人臉在指定距離內(nèi)時，監(jiān)測人頭部轉(zhuǎn)動狀態(tài)；

后置攝像頭3，用于人臉不在指定距離內(nèi)時，監(jiān)測人頭部轉(zhuǎn)動狀態(tài)；

陀螺儀4，用于監(jiān)測移動終端轉(zhuǎn)動狀態(tài)；

音源5，用于提供虛擬現(xiàn)實音頻信號；

其中，所述dsp1與前置攝像頭2、后置攝像頭3、陀螺儀4、音源5均電連接，所述音源5和耳機6連接，所述dsp1、前置攝像頭2、后置攝像頭3、陀陀螺儀4螺儀4、音源5均集成在移動終端上。

優(yōu)選的，所述音源5為聲卡。

優(yōu)選的，所述前置攝像頭2、后置攝像頭3、陀螺儀4、音源5內(nèi)置于移動終端。

優(yōu)選的，所述移動終端為手機、筆記本電腦、ipad任意一種。

優(yōu)選的，所述陀螺儀4為一個或者多個。

視覺導向是耳朵的主要功能之一，人耳能分辨左右上下及前后方向的聲音，逼真的聲音效果對于3d視頻或游戲的“臨場感”的塑造非常重要。雙耳主要通過雙耳時間差、雙耳強度差、耳廓散射和頭部運動來確定聲音方位信息。在電影院/家庭影院中，環(huán)繞聲的實現(xiàn)需要一系列音箱組成5.1聲道或7.1聲道來實現(xiàn)，但移動終端尺寸受限，無法形成多聲道。虛擬立體/環(huán)繞聲可通過調(diào)整左右耳兩聲道的相關參數(shù)來控制上述因素，盡可能還原聲源聲場，從而讓人產(chǎn)生立體/環(huán)繞聲的效果。然而，頭部運動會破壞通過調(diào)整左右聲道相關參數(shù)而營造的虛擬環(huán)繞聲，讓用戶感覺出聲中心即位于頭中，此即“頭中效應”。

本發(fā)明提供一種不受移動終端和人頭轉(zhuǎn)動狀態(tài)影響的虛擬音頻解決方案和移動終端，該方案利用移動終端的攝像頭和陀螺儀來監(jiān)測用戶人頭和終端設備的轉(zhuǎn)動狀態(tài)，調(diào)制虛擬音頻參數(shù)，從而根據(jù)人頭與移動終端兩者的轉(zhuǎn)動狀態(tài)調(diào)整輸入到耳機的聲場方向，確保用戶在虛擬環(huán)境中靈活變動自己和移動終端的方向而不影響虛擬現(xiàn)實音頻體驗效果。同時，該方案充分利用移動終端的前后攝像頭，當用戶方位處于移動終端屏幕背面時，及時切換后置攝像頭來對用戶頭部轉(zhuǎn)動進行采集分析，使得無論用戶和智能終端處于什么樣的相對位置，均可以實現(xiàn)轉(zhuǎn)動狀態(tài)監(jiān)測和聲場方向調(diào)整。該方案還使相應移動終端集成了實現(xiàn)沉浸式虛擬現(xiàn)實音頻效果所需的所有硬件，不對用戶使用的耳機作出特別要求，增加了其通用性。

本發(fā)明中所述耳機虛擬環(huán)繞聲實現(xiàn)方式的原理，如圖1所示。本發(fā)明的核心部分是結(jié)合移動終端自帶的攝像頭和陀螺儀來實現(xiàn)對人頭轉(zhuǎn)動狀態(tài)的監(jiān)控，并相應地調(diào)制虛擬環(huán)繞聲音頻的參數(shù)，虛擬音頻參數(shù)為頭相關傳輸函數(shù)hrtf和耳機到耳道傳輸函數(shù)hptfs的仰角和水平角，頭相關傳輸函數(shù)hrtf的數(shù)據(jù)由假人頭上測試而得，其可對多通路環(huán)繞聲信號進行濾波，而合成具有空間信息的雙耳聲信號。hrtf與耳機到耳道傳輸函數(shù)hptfs綜合作用，構(gòu)成虛擬環(huán)繞音頻參數(shù)，hptfs一般用作均衡處理。通過兩個函數(shù)作濾波器可以定制虛擬環(huán)繞聲的方向、定位等信息。

首先通過移動終端的攝像頭來監(jiān)控人頭轉(zhuǎn)動并計算轉(zhuǎn)動角度，當用戶使用移動終端開始游戲或觀看3d視頻時，移動終端即調(diào)用前置攝像頭并采集鏡頭前畫面。然后，系統(tǒng)將成像畫面數(shù)據(jù)實時傳輸至dsp中進行圖形算法處理，圖像識別算法在所拍到的圖片中識別出人頭，并測量成像大小、高度，再結(jié)合攝像頭的焦距、放大倍數(shù)、像素等信息，來計算人頭成像到手機攝像頭之間的距離。在距離設定一個閾值，當距離大于此值時系統(tǒng)認為當時工作的攝像頭前面沒有用戶，此時啟用另外一顆攝像頭。具體為：如果dsp計算出人臉距離小于此距離值，系統(tǒng)便持續(xù)調(diào)用前攝像頭來監(jiān)控人頭的轉(zhuǎn)動情況。如果出現(xiàn)人臉的距離大于規(guī)定距離值的情況，系統(tǒng)及時切換調(diào)用后攝像頭來監(jiān)控人頭轉(zhuǎn)動情況，從而實現(xiàn)全方位監(jiān)控，不受用戶相對鏡頭的方向束縛。

光監(jiān)控人頭轉(zhuǎn)動，仍無法獲取準確的人頭相對于移動終端屏幕的轉(zhuǎn)動信息，因為當用戶手持移動終端時，移動終端的位置并不固定，也有著一定程度的偏移和轉(zhuǎn)動。此時如果僅依靠攝像頭的監(jiān)控數(shù)據(jù)來調(diào)整虛擬環(huán)繞聲的方向，不但無法解決“頭中效應”，反而提供了紊亂的方向調(diào)整。因此，本發(fā)明所述方案調(diào)用移動終端的內(nèi)置陀螺儀來實現(xiàn)對移動終端本身運動狀態(tài)的監(jiān)控，并結(jié)合移動終端的攝像頭采集到的人頭轉(zhuǎn)動信息，綜合計算出人頭相對于移動終端之間的實際相對轉(zhuǎn)動狀態(tài)。dsp根據(jù)所計算的實際相對運動狀態(tài)對標準音源進行處理，調(diào)整虛擬環(huán)繞聲音頻參數(shù)，即調(diào)整頭相關傳輸函數(shù)hrtf和耳機到耳道傳輸函數(shù)hptfs的仰角和水平角等參數(shù)，使人耳聽到的聲場方向不受轉(zhuǎn)動的影響，從而使虛擬環(huán)繞聲聲像不為“頭中效應”所破壞。

如圖2所示，要想在移動終端產(chǎn)品上實現(xiàn)本發(fā)明所述方案，移動終端需要前后兩顆較高成像質(zhì)量的攝像頭，并具備陀螺儀。同時，為了實現(xiàn)實時監(jiān)控、圖像算法和虛擬音頻參數(shù)計算，本發(fā)明所述方案需要配備高性能dsp。本發(fā)明所述的耳機虛擬環(huán)繞聲實現(xiàn)方式的優(yōu)勢在于，實現(xiàn)監(jiān)測功能的硬件均集成于智能移動終端上，并不需要在現(xiàn)有方案添加更多組件就可實現(xiàn)，實現(xiàn)成本低，可行性強。用戶只需要佩戴普通耳機就可以體驗，無需其它配件，對用戶來說更容易接受。另外，本發(fā)明所述方案綜合利用移動終端的前置和后置攝像頭來全角度監(jiān)控人頭運動狀態(tài)，使用戶能盡情投入于游戲或視頻中而不致影響虛擬環(huán)繞聲體驗。

應該明白，公開的過程中的步驟的特定順序或?qū)哟问鞘纠苑椒ǖ膶嵗；谠O計偏好，應該理解，過程中的步驟的特定順序或?qū)哟慰梢栽诓幻撾x本公開的保護范圍的情況下得到重新安排。所附的方法權利要求以示例性的順序給出了各種步驟的要素，并且不是要限于所述的特定順序或?qū)哟巍?/p>

在上述的詳細描述中，各種特征一起組合在單個的實施方案中，以簡化本公開。不應該將這種公開方法解釋為反映了這樣的意圖，即，所要求保護的主題的實施方案需要比清楚地在每個權利要求中所陳述的特征更多的特征。相反，如所附的權利要求書所反映的那樣，本發(fā)明處于比所公開的單個實施方案的全部特征少的狀態(tài)。因此，所附的權利要求書特此清楚地被并入詳細描述中，其中每項權利要求獨自作為本發(fā)明單獨的優(yōu)選實施方案。

為使本領域內(nèi)的任何技術人員能夠?qū)崿F(xiàn)或者使用本發(fā)明，上面對所公開實施例進行了描述。對于本領域技術人員來說；這些實施例的各種修改方式都是顯而易見的，并且本文定義的一般原理也可以在不脫離本公開的精神和保護范圍的基礎上適用于其它實施例。因此，本公開并不限于本文給出的實施例，而是與本申請公開的原理和新穎性特征的最廣范圍相一致。

上文的描述包括一個或多個實施例的舉例。當然，為了描述上述實施例而描述部件或方法的所有可能的結(jié)合是不可能的，但是本領域普通技術人員應該認識到，各個實施例可以做進一步的組合和排列。因此，本文中描述的實施例旨在涵蓋落入所附權利要求書的保護范圍內(nèi)的所有這樣的改變、修改和變型。此外，就說明書或權利要求書中使用的術語“包含”，該詞的涵蓋方式類似于術語“包括”，就如同“包括，”在權利要求中用作銜接詞所解釋的那樣。此外，使用在權利要求書的說明書中的任何一個術語“或者”是要表示“非排它性的或者”。

本領域技術人員還可以了解到本發(fā)明實施例列出的各種說明性邏輯塊(illustrativelogicalblock)，單元，和步驟可以通過電子硬件、電腦軟件，或兩者的結(jié)合進行實現(xiàn)。為清楚展示硬件和軟件的可替換性(interchangeability)，上述的各種說明性部件(illustrativecomponents)，單元和步驟已經(jīng)通用地描述了它們的功能。這樣的功能是通過硬件還是軟件來實現(xiàn)取決于特定的應用和整個系統(tǒng)的設計要求。本領域技術人員可以對于每種特定的應用，可以使用各種方法實現(xiàn)所述的功能，但這種實現(xiàn)不應被理解為超出本發(fā)明實施例保護的范圍。

本發(fā)明實施例中所描述的各種說明性的邏輯塊，或單元都可以通過通用處理器，數(shù)字信號處理器，專用集成電路(asic)，現(xiàn)場可編程門陣列或其它可編程邏輯裝置，離散門或晶體管邏輯，離散硬件部件，或上述任何組合的設計來實現(xiàn)或操作所描述的功能。通用處理器可以為微處理器，可選地，該通用處理器也可以為任何傳統(tǒng)的處理器、控制器、微控制器或狀態(tài)機。處理器也可以通過計算裝置的組合來實現(xiàn)，例如數(shù)字信號處理器和微處理器，多個微處理器，一個或多個微處理器聯(lián)合一個數(shù)字信號處理器核，或任何其它類似的配置來實現(xiàn)。

本發(fā)明實施例中所描述的方法或算法的步驟可以直接嵌入硬件、處理器執(zhí)行的軟件模塊、或者這兩者的結(jié)合。軟件模塊可以存儲于ram存儲器、閃存、rom存儲器、eprom存儲器、eeprom存儲器、寄存器、硬盤、可移動磁盤、cd-rom或本領域中其它任意形式的存儲媒介中。示例性地，存儲媒介可以與處理器連接，以使得處理器可以從存儲媒介中讀取信息，并可以向存儲媒介存寫信息。可選地，存儲媒介還可以集成到處理器中。處理器和存儲媒介可以設置于asic中，asic可以設置于用戶終端中?？蛇x地，處理器和存儲媒介也可以設置于用戶終端中的不同的部件中。

在一個或多個示例性的設計中，本發(fā)明實施例所描述的上述功能可以在硬件、軟件、固件或這三者的任意組合來實現(xiàn)。如果在軟件中實現(xiàn)，這些功能可以存儲與電腦可讀的媒介上，或以一個或多個指令或代碼形式傳輸于電腦可讀的媒介上。電腦可讀媒介包括電腦存儲媒介和便于使得讓電腦程序從一個地方轉(zhuǎn)移到其它地方的通信媒介。存儲媒介可以是任何通用或特殊電腦可以接入訪問的可用媒體。例如，這樣的電腦可讀媒體可以包括但不限于ram、rom、eeprom、cd-rom或其它光盤存儲、磁盤存儲或其它磁性存儲裝置，或其它任何可以用于承載或存儲以指令或數(shù)據(jù)結(jié)構(gòu)和其它可被通用或特殊電腦、或通用或特殊處理器讀取形式的程序代碼的媒介。此外，任何連接都可以被適當?shù)囟x為電腦可讀媒介，例如，如果軟件是從一個網(wǎng)站站點、服務器或其它遠程資源通過一個同軸電纜、光纖電纜、雙絞線、數(shù)字用戶線(dsl)或以例如紅外、無線和微波等無線方式傳輸?shù)囊脖话谒x的電腦可讀媒介中。所述的碟片(disk)和磁盤(disc)包括壓縮磁盤、鐳射盤、光盤、dvd、軟盤和藍光光盤，磁盤通常以磁性復制數(shù)據(jù)，而碟片通常以激光進行光學復制數(shù)據(jù)。上述的組合也可以包含在電腦可讀媒介中。

以上所述的具體實施方式，對本發(fā)明的目的、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施方式而已，并不用于限定本發(fā)明的保護范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。