本公開與用于音頻內(nèi)容的定制的雙耳渲染的系統(tǒng)、方法、以及介質(zhì)有關(guān)。

背景技術(shù)：

1、媒體內(nèi)容觀看者對(duì)可以造成沉浸的感知的空間音頻越來越感興趣。例如，當(dāng)收聽沉浸式音頻內(nèi)容時(shí)，收聽者可以感覺到好像音頻內(nèi)容正在環(huán)繞他們。然而，渲染空間音頻內(nèi)容可能是困難的，特別是在經(jīng)由耳機(jī)或耳塞雙耳地渲染聲音的情況下。

2、符號(hào)和命名

3、貫穿本公開，包括在權(quán)利要求中，術(shù)語(yǔ)“揚(yáng)聲器”、“喇叭”和“音頻再現(xiàn)換能器”被同義地使用以表示任何發(fā)聲換能器(或一組換能器)。典型的一組耳機(jī)包括兩個(gè)揚(yáng)聲器。揚(yáng)聲器可以被實(shí)現(xiàn)為包括多個(gè)換能器(例如，低音揚(yáng)聲器和高音揚(yáng)聲器)，它們可以由單個(gè)公共的揚(yáng)聲器饋送或多個(gè)揚(yáng)聲器饋送驅(qū)動(dòng)。在一些示例中，揚(yáng)聲器饋送可以在耦合到不同換能器的不同電路分支中經(jīng)歷不同處理。

4、貫穿本公開，包括在權(quán)利要求中，表達(dá)“對(duì)”信號(hào)或數(shù)據(jù)執(zhí)行操作(例如，對(duì)信號(hào)或數(shù)據(jù)進(jìn)行濾波、縮放、變換或應(yīng)用增益)在廣義上被用于表示直接對(duì)信號(hào)或數(shù)據(jù)執(zhí)行操作、或?qū)π盘?hào)或數(shù)據(jù)的處理的版本(例如，對(duì)在對(duì)其執(zhí)行操作之前已經(jīng)歷初步濾波或預(yù)處理的信號(hào)的版本)執(zhí)行操作。

5、貫穿本公開，包括在權(quán)利要求中，表達(dá)“系統(tǒng)”在廣義上被用于表示設(shè)備、系統(tǒng)或子系統(tǒng)。例如，實(shí)現(xiàn)解碼器的子系統(tǒng)可以被稱為解碼器系統(tǒng)，并且包括這樣的子系統(tǒng)的系統(tǒng)(例如，響應(yīng)于多個(gè)輸入生成x個(gè)輸出信號(hào)的系統(tǒng)，其中子系統(tǒng)生成輸入中的m個(gè)并且其它x-m個(gè)輸入從外部源接收)也可以被稱為解碼器系統(tǒng)。

6、貫穿本公開，包括在權(quán)利要求中，術(shù)語(yǔ)“處理器”在廣義上被用于表示可編程或以其它方式可配置(例如，利用軟件或固件)為對(duì)數(shù)據(jù)(例如，音頻、或視頻或其它圖像數(shù)據(jù))執(zhí)行操作的系統(tǒng)或設(shè)備。處理器的示例包括現(xiàn)場(chǎng)可編程門陣列(或其它可配置的集成電路或芯片組)、被編程和/或以其它方式配置為對(duì)音頻或其它聲音數(shù)據(jù)執(zhí)行流水線處理的數(shù)字信號(hào)處理器、可編程通用處理器或計(jì)算機(jī)、以及可編程微處理器芯片或芯片組。

技術(shù)實(shí)現(xiàn)思路

1、提供了用于音頻內(nèi)容的定制的雙耳渲染的方法、系統(tǒng)、以及介質(zhì)。在一些實(shí)施例中，方法涉及接收立體聲音頻信號(hào)。所述方法可以進(jìn)一步涉及將所述立體聲音頻信號(hào)分離成導(dǎo)向信號(hào)和擴(kuò)散信號(hào)，其中所述導(dǎo)向信號(hào)與所述立體聲音頻信號(hào)中的定向內(nèi)容對(duì)應(yīng)，并且其中所述擴(kuò)散信號(hào)與所述立體聲音頻信號(hào)中的背景內(nèi)容對(duì)應(yīng)。所述方法可以進(jìn)一步涉及基于當(dāng)前收聽情境確定一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)指示要被重新分配給輸出多聲道信號(hào)中的一個(gè)或更多個(gè)輸出聲道的所述擴(kuò)散信號(hào)的比例或者要被應(yīng)用到所述擴(kuò)散信號(hào)的衰減的程度。所述方法可以進(jìn)一步涉及基于所述導(dǎo)向信號(hào)、所述擴(kuò)散信號(hào)、以及所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)生成所述輸出多聲道信號(hào)。所述方法可以進(jìn)一步涉及將所述輸出多聲道信號(hào)提供給虛擬器以用于渲染為雙耳音頻信號(hào)以供在可穿戴設(shè)備上播放。

2、在一些示例中，所述一個(gè)或更多個(gè)輸出聲道包括左聲道、右聲道、或者中央聲道中的至少一個(gè)。

3、在一些示例中，生成所述輸出多聲道信號(hào)包括：獲得擴(kuò)展矩陣；使用所述擴(kuò)展矩陣和所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)生成修改的擴(kuò)展矩陣；使用所述修改的擴(kuò)展矩陣生成擴(kuò)散多聲道信號(hào)；以及基于所述擴(kuò)散多聲道信號(hào)和所述導(dǎo)向信號(hào)生成所述輸出多聲道信號(hào)。在一些示例中，所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)使所述比例的擴(kuò)散信號(hào)被重新分配到所述一個(gè)或更多個(gè)輸出聲道中，并且其中生成所述修改的擴(kuò)展矩陣包括確定以下項(xiàng)的矩陣點(diǎn)積：與所述擴(kuò)展矩陣和表示所述擴(kuò)散信號(hào)修改參數(shù)的矩陣相關(guān)聯(lián)的范數(shù)、與所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)相關(guān)聯(lián)的矩陣、以及所述擴(kuò)展矩陣。在一些示例中，所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)包括一個(gè)擴(kuò)散信號(hào)重新分配修改參數(shù)，所述擴(kuò)散信號(hào)重新分配修改參數(shù)指示多聲道輸出中所述擴(kuò)散信號(hào)的重新分配，并且其中所述范數(shù)對(duì)所述擴(kuò)散信號(hào)的能量進(jìn)行規(guī)范化。在一些示例中，所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)使所述程度的衰減被應(yīng)用到所述擴(kuò)散信號(hào)，并且其中生成所述輸出多聲道信號(hào)包括執(zhí)行能量規(guī)范化，所述能量規(guī)范化被配置為使所述輸出多聲道信號(hào)的能量與所述立體聲音頻信號(hào)的能量相同。在一些示例中，對(duì)能量進(jìn)行規(guī)范化由以下項(xiàng)中的一個(gè)執(zhí)行：生成所述輸出多聲道信號(hào)的上混器、或者所述虛擬器。

4、在一些示例中，所述當(dāng)前收聽情境包括以下項(xiàng)中的一個(gè)：觀看電影內(nèi)容模式、收聽音樂模式、或者玩游戲模式。在一些示例中，所述當(dāng)前收聽情境是觀看電影內(nèi)容模式，并且其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)在大約0.8-1的范圍內(nèi)。在一些示例中，所述當(dāng)前收聽情境是收聽音樂模式，并且其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)在大約0-0.2的范圍內(nèi)。在一些示例中，所述當(dāng)前收聽情境是玩游戲模式，并且其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)具有小于與觀看電影內(nèi)容模式相關(guān)聯(lián)的值的值。

5、在一些示例中，所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)是從所述可穿戴設(shè)備的用戶接收的。在一些示例中，所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)是經(jīng)由用戶接口接收的。

6、在一些示例中，生成所述輸出多聲道信號(hào)發(fā)生在與所述可穿戴設(shè)備相關(guān)聯(lián)的配套用戶設(shè)備上，并且其中所述虛擬器包括在所述可穿戴設(shè)備上執(zhí)行的一個(gè)或更多個(gè)組件。在一些示例中，所述方法進(jìn)一步涉及經(jīng)由藍(lán)牙通信協(xié)議從所述配套用戶設(shè)備向所述可穿戴設(shè)備傳輸數(shù)據(jù)。

7、在一些示例中，所述可穿戴設(shè)備包括耳塞或耳機(jī)中的一個(gè)。

8、在一些示例中，所述可穿戴設(shè)備包括一個(gè)或更多個(gè)傳感器，所述一個(gè)或更多個(gè)傳感器收集可用于生成與所述可穿戴設(shè)備的穿戴者相關(guān)聯(lián)的頭部跟蹤信息的傳感器數(shù)據(jù)。

9、在一些示例中，所述虛擬器被配置為基于所述輸出多聲道信號(hào)和所述頭部跟蹤信息渲染所述雙耳音頻信號(hào)。

10、本文中描述的操作、功能和/或方法中的一些或全部可以由一個(gè)或更多個(gè)設(shè)備根據(jù)存儲(chǔ)在一個(gè)或更多個(gè)非暫態(tài)介質(zhì)上的指令(例如，軟件)執(zhí)行。這樣的非暫態(tài)介質(zhì)可以包括存儲(chǔ)器設(shè)備，諸如本文中描述的那些，包括但不限于隨機(jī)存取存儲(chǔ)器(ram)設(shè)備、只讀存儲(chǔ)器(rom)設(shè)備等。因而，本公開中描述的主題的一些創(chuàng)新方面可以經(jīng)由其上存儲(chǔ)有軟件的一個(gè)或更多個(gè)非暫態(tài)介質(zhì)實(shí)現(xiàn)。

11、本公開的至少一些方面可以經(jīng)由裝置實(shí)現(xiàn)。例如，一個(gè)或更多個(gè)設(shè)備可以能夠至少部分地執(zhí)行本文中公開的方法。在一些實(shí)現(xiàn)中，裝置是或者包括具有接口系統(tǒng)和控制系統(tǒng)的音頻處理系統(tǒng)?？刂葡到y(tǒng)可以包括一個(gè)或更多個(gè)通用單芯片或多芯片處理器、數(shù)字信號(hào)處理器(dsp)、專用集成電路(asic)、現(xiàn)場(chǎng)可編程門陣列(fpga)或其它可編程邏輯設(shè)備、分立門或晶體管邏輯、分立硬件組件、或者其組合。

12、本說明書中描述的主題的一個(gè)或更多個(gè)實(shí)現(xiàn)的細(xì)節(jié)在附圖和下面的描述中闡述。其它特征、方面和優(yōu)點(diǎn)從描述、附圖和權(quán)利要求將變得清楚。注意的是，以下附圖的相對(duì)尺寸可能沒有按比例繪制。

技術(shù)特征：

1.一種處理音頻的方法，所述方法包括：

2.如權(quán)利要求1所述的方法，其中所述一個(gè)或更多個(gè)輸出聲道包括左聲道、右聲道、或者中央聲道中的至少一個(gè)。

3.如權(quán)利要求1所述的方法，其中生成所述輸出多聲道信號(hào)包括：

4.如權(quán)利要求3所述的方法，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)使所述比例的擴(kuò)散信號(hào)被重新分配到所述一個(gè)或更多個(gè)輸出聲道中，并且其中生成所述修改的擴(kuò)展矩陣包括確定以下項(xiàng)的矩陣點(diǎn)積：與所述擴(kuò)展矩陣和表示所述擴(kuò)散信號(hào)修改參數(shù)的矩陣相關(guān)聯(lián)的范數(shù)、與所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)相關(guān)聯(lián)的矩陣、以及所述擴(kuò)展矩陣。

5.如權(quán)利要求4所述的方法，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)包括一個(gè)擴(kuò)散信號(hào)重新分配修改參數(shù)，所述擴(kuò)散信號(hào)重新分配修改參數(shù)指示多聲道輸出中所述擴(kuò)散信號(hào)的重新分配，并且其中所述范數(shù)對(duì)所述擴(kuò)散信號(hào)的能量進(jìn)行規(guī)范化。

6.如權(quán)利要求3所述的方法，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)使所述程度的衰減被應(yīng)用到所述擴(kuò)散信號(hào)，并且其中生成所述輸出多聲道信號(hào)包括執(zhí)行能量規(guī)范化，所述能量規(guī)范化被配置為使所述輸出多聲道信號(hào)的能量與所述立體聲音頻信號(hào)的能量相同。

7.如權(quán)利要求6所述的方法，其中對(duì)能量進(jìn)行規(guī)范化由以下項(xiàng)中的一個(gè)執(zhí)行：生成所述輸出多聲道信號(hào)的上混器、或者所述虛擬器。

8.如權(quán)利要求1-7中的任一項(xiàng)所述的方法，其中所述當(dāng)前收聽情境包括以下項(xiàng)中的一個(gè)：觀看電影內(nèi)容模式、收聽音樂模式、或者玩游戲模式。

9.如權(quán)利要求8所述的方法，其中所述當(dāng)前收聽情境是觀看電影內(nèi)容模式，并且其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)在大約0.8-1的范圍內(nèi)。

10.如權(quán)利要求8所述的方法，其中所述當(dāng)前收聽情境是收聽音樂模式，并且其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)在大約0-0.2的范圍內(nèi)。

11.如權(quán)利要求8所述的方法，其中所述當(dāng)前收聽情境是玩游戲模式，并且其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)具有小于與觀看電影內(nèi)容模式相關(guān)聯(lián)的值的值。

12.如權(quán)利要求1-11中的任一項(xiàng)所述的方法，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)是從所述可穿戴設(shè)備的用戶接收的。

13.如權(quán)利要求12所述的方法，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)是經(jīng)由用戶接口接收的。

14.如權(quán)利要求1-13中的任一項(xiàng)所述的方法，其中生成所述輸出多聲道信號(hào)發(fā)生在與所述可穿戴設(shè)備相關(guān)聯(lián)的配套用戶設(shè)備上，并且其中所述虛擬器包括在所述可穿戴設(shè)備上執(zhí)行的一個(gè)或更多個(gè)組件。

15.如權(quán)利要求14所述的方法，還包括經(jīng)由藍(lán)牙通信協(xié)議從所述配套用戶設(shè)備向所述可穿戴設(shè)備傳輸數(shù)據(jù)。

16.如權(quán)利要求1-15中的任一項(xiàng)所述的方法，其中所述可穿戴設(shè)備包括耳塞或耳機(jī)中的一個(gè)。

17.如權(quán)利要求1-16中的任一項(xiàng)所述的方法，其中所述可穿戴設(shè)備包括一個(gè)或更多個(gè)傳感器，所述一個(gè)或更多個(gè)傳感器收集可用于生成與所述可穿戴設(shè)備的穿戴者相關(guān)聯(lián)的頭部跟蹤信息的傳感器數(shù)據(jù)。

18.如權(quán)利要求17所述的方法，其中所述虛擬器被配置為基于所述輸出多聲道信號(hào)和所述頭部跟蹤信息渲染所述雙耳音頻信號(hào)。

19.一種系統(tǒng)，包括：

20.一種非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述非暫態(tài)計(jì)算機(jī)可讀介質(zhì)存儲(chǔ)指令，所述指令在由一個(gè)或更多個(gè)處理器執(zhí)行時(shí)使所述一個(gè)或更多個(gè)處理器執(zhí)行權(quán)利要求1-18的操作。

技術(shù)總結(jié)
提供了用于處理音頻的方法、系統(tǒng)、以及介質(zhì)。在一些實(shí)施例中，用于處理音頻的方法可以涉及接收立體聲音頻信號(hào)。所述方法可以涉及將所述立體聲音頻信號(hào)分離成導(dǎo)向信號(hào)和擴(kuò)散信號(hào)。所述方法可以涉及基于當(dāng)前收聽情境確定一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)，其中所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)指示要被重新分配給輸出多聲道信號(hào)中的一個(gè)或更多個(gè)輸出聲道的所述擴(kuò)散信號(hào)的比例或者要被應(yīng)用到所述擴(kuò)散信號(hào)的衰減的程度。所述方法可以涉及基于所述導(dǎo)向信號(hào)、所述擴(kuò)散信號(hào)、以及所述一個(gè)或更多個(gè)擴(kuò)散信號(hào)修改參數(shù)生成所述輸出多聲道信號(hào)。所述方法可以涉及將所述輸出多聲道信號(hào)提供給虛擬器以用于渲染為雙耳音頻信號(hào)以供在可穿戴設(shè)備上播放。

技術(shù)研發(fā)人員：姜自然,余雪梅,車彥寧
受保護(hù)的技術(shù)使用者：杜比實(shí)驗(yàn)室特許公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19