專利名稱：裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理音頻信號(hào)的裝置。本發(fā)明還涉及但不限于用于處理音頻設(shè)備中的音頻和話音信號(hào)的裝置。
背景技術(shù)：
擴(kuò)增實(shí)境(其中通過(guò)應(yīng)用更多傳感器數(shù)據(jù)來(lái)‘改進(jìn)’用戶自己的感覺(jué))是迅速發(fā)展的研究主題。例如使用音頻、視覺(jué)或者觸覺(jué)傳感器以接收聲音、視頻和觸摸數(shù)據(jù)，所述數(shù)據(jù)可以向處理器傳遞以供處理，然后輸出向用戶顯示的處理后的數(shù)據(jù)以改進(jìn)或者聚焦用戶對(duì)環(huán)境的感知已經(jīng)變成熱門研究主題。普遍使用的一種擴(kuò)增實(shí)境應(yīng)用是以下情況使用麥克風(fēng)陣列來(lái)捕獲音頻信號(hào)、然后可以反轉(zhuǎn)捕獲的音頻信號(hào)、然后向用戶輸出這些信號(hào)以改進(jìn)用戶的體驗(yàn)。例如在有源噪聲抵消頭戴式耳機(jī)或者耳戴式帶揚(yáng)聲器設(shè)備(ESD)中，可以向用戶輸出該反轉(zhuǎn)、因此降低環(huán)境噪聲并且允許用戶在比原本可能的聲音水平低得多的聲 音水平收聽(tīng)其它音頻信號(hào)。一些擴(kuò)增實(shí)境應(yīng)用可以執(zhí)行有限背景(context)感測(cè)。例如已經(jīng)運(yùn)用了一些環(huán)境噪聲抵消頭戴式耳機(jī)，其中在用戶請(qǐng)求時(shí)或者響應(yīng)于檢測(cè)到運(yùn)動(dòng)，可以屏蔽(mute)或者去除耳戴式帶揚(yáng)聲器設(shè)備的環(huán)境噪聲抵消功能以讓用戶能夠聽(tīng)見(jiàn)周圍音頻信號(hào)。在其它擴(kuò)增實(shí)境應(yīng)用中，有限背景感測(cè)可以包括檢測(cè)收聽(tīng)的音頻信號(hào)的音量水平并且屏蔽或者增加環(huán)境噪聲抵消功能。已知除環(huán)境噪聲抵消音頻信號(hào)處理之外的其它音頻信號(hào)處理。例如可以處理來(lái)自多個(gè)麥克風(fēng)的音頻信號(hào)以對(duì)音頻信號(hào)加權(quán)并且因此對(duì)音頻信號(hào)進(jìn)行波束形成以增強(qiáng)對(duì)來(lái)自特定方向的音頻信號(hào)的感知。雖然有限背景控制的處理可以有用于環(huán)境或者通用噪聲抑制，但是有許多如下例子，在這些例子中，這樣的有限背景控制有問(wèn)題或者甚至有反效果。例如在工業(yè)或者挖掘地帶中，用戶可能希望降低在所有或者一些方向上的環(huán)境噪聲量并且針對(duì)用戶想要聚焦于的特定方向增強(qiáng)音頻信號(hào)。例如重型機(jī)器的操作者可能需要相互通信卻無(wú)包圍他們的噪聲源所引起的耳部傷害風(fēng)險(xiǎn)。另外，相同用戶也將希望能夠感測(cè)他們何時(shí)在這樣的環(huán)境中處于危險(xiǎn)或者潛在危險(xiǎn)中而無(wú)需去除他們的頭戴式耳機(jī)并且因此潛在地使他們自己暴露于聽(tīng)力傷害。

發(fā)明內(nèi)容
本發(fā)明源于如下考慮來(lái)自傳感器的檢測(cè)可以用來(lái)配置或者修改音頻定向處理的配置以因此提高用戶在各種環(huán)境中的安全。本發(fā)明的實(shí)施例以解決上述問(wèn)題為目的。根據(jù)本發(fā)明的第一方面提供一種方法，該方法包括根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且輸出處理后的至少一個(gè)音頻信號(hào)。
該方法還可以包括根據(jù)至少一個(gè)另外的傳感器輸入?yún)?shù)生成至少一個(gè)控制參數(shù)。處理至少一個(gè)音頻信號(hào)可以包括對(duì)至少一個(gè)音頻信號(hào)進(jìn)行波束形成，并且至少一個(gè)控制參數(shù)可以包括以下項(xiàng)中的至少一個(gè)增益和延遲值；波束形成波束增益函數(shù)；波束形成波束寬度函數(shù)；波束形成波束定向函數(shù)；以及感知的定向波束形成增益和波束寬度參數(shù)。處理至少一個(gè)音頻信號(hào)可以包括以下操作中的至少一個(gè)混合至少一個(gè)音頻信號(hào)與至少一個(gè)另外的音頻信號(hào)；放大至少一個(gè)音頻信號(hào)的至少一個(gè)分量；并且去除至少一個(gè)音頻信號(hào)的至少一個(gè)分量。至少一個(gè)音頻信號(hào)可以包括以下信號(hào)中的至少一個(gè)麥克風(fēng)音頻信號(hào)；接收的音、頻信號(hào)；以及存儲(chǔ)的音頻信號(hào)。該方法還可以包括接收至少一個(gè)傳感器輸入?yún)?shù)，其中至少一個(gè)傳感器輸入?yún)?shù)可以包括以下項(xiàng)中的至少一個(gè)運(yùn)動(dòng)數(shù)據(jù)；位置數(shù)據(jù)；定向數(shù)據(jù)；化學(xué)物質(zhì)數(shù)據(jù)；發(fā)光度數(shù)據(jù)；溫度數(shù)據(jù)；圖像數(shù)據(jù)；以及氣壓。根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)可以包括根據(jù)至少一個(gè)傳感器輸入?yún)?shù)是否大于或者等于至少一個(gè)預(yù)定值的確定而修改至少一個(gè)控制參數(shù)。輸出處理后的至少一個(gè)輸出信號(hào)還可以包括根據(jù)處理后的至少一個(gè)音頻信號(hào)生成雙耳信號(hào)；并且向至少耳戴式揚(yáng)聲器輸出雙耳信號(hào)。根據(jù)本發(fā)明的第二方面，提供一種裝置，其包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器的裝置，至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成與至少一個(gè)處理器一起使裝置至少執(zhí)行根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且輸出處理后的至少一個(gè)音頻信號(hào)。至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼優(yōu)選地被配置與至少一個(gè)處理器一起使裝置還執(zhí)行根據(jù)至少一個(gè)另外的傳感器輸入?yún)?shù)生成至少一個(gè)控制參數(shù)。處理至少一個(gè)音頻信號(hào)可以使裝置至少執(zhí)行對(duì)至少一個(gè)音頻信號(hào)進(jìn)行波束形成，并且至少一個(gè)控制參數(shù)可以包括以下項(xiàng)中的至少一個(gè)增益和延遲值；波束形成波束增益函數(shù)；波束形成波束寬度函數(shù)；波束形成波束定向函數(shù)；以及感知的定向波束形成增益和波束寬度參數(shù)。處理至少一個(gè)音頻信號(hào)可以使裝置至少執(zhí)行以下操作中的至少一個(gè)混合至少一個(gè)音頻信號(hào)與至少一個(gè)另外的音頻信號(hào)；放大至少一個(gè)音頻信號(hào)的至少一個(gè)分量；并且去除至少一個(gè)音頻信號(hào)的至少一個(gè)分量。至少一個(gè)音頻信號(hào)可以包括以下信號(hào)中的至少一個(gè)麥克風(fēng)音頻信號(hào)；接收的音頻信號(hào)；以及存儲(chǔ)的音頻信號(hào)。至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼優(yōu)選地被配置成與至少一個(gè)處理器一起使裝置還執(zhí)行接收至少一個(gè)傳感器輸入?yún)?shù)，其中至少一個(gè)傳感器輸入?yún)?shù)包括以下項(xiàng)中的至少一個(gè)運(yùn)動(dòng)數(shù)據(jù)；位置數(shù)據(jù)；定向數(shù)據(jù)；化學(xué)物質(zhì)數(shù)據(jù)；發(fā)光度數(shù)據(jù)；溫度數(shù)據(jù)；圖像數(shù)據(jù)；以及氣壓。根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)優(yōu)選地使裝置至少執(zhí)行根據(jù)至少一個(gè)傳感器輸入?yún)?shù)是否大于或者等于至少一個(gè)預(yù)定值的確定而修改至少一個(gè)控制參數(shù)。輸出處理后的至少一個(gè)輸出信號(hào)可以使裝置至少執(zhí)行根據(jù)處理后的至少一個(gè)音頻信號(hào)生成雙耳信號(hào)；并且向至少耳戴式揚(yáng)聲器輸出雙耳信號(hào)。根據(jù)本發(fā)明的第三方面，提供一種裝置，該裝置包括控制器，配置成根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；以及音頻信號(hào)處理器，配置成根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)，其中音頻信號(hào)處理器還被配置成輸出處理后的至少一個(gè)音頻信號(hào)?？刂破鲀?yōu)選地還被配置成根據(jù)至少一個(gè)另外的傳感器輸入?yún)?shù)生成至少一個(gè)控制參數(shù)。音頻信號(hào)處理器優(yōu)選地被配置成對(duì)至少一個(gè)音頻信號(hào)進(jìn)行波束形成，并且至少一個(gè)控制參數(shù)可以包括以下項(xiàng)中的至少一個(gè)增益和延遲值；波束形成波束增益函數(shù)；波束 形成波束寬度函數(shù)；波束形成波束定向函數(shù)；以及感知的定向波束形成增益和波束寬度參數(shù)。音頻信號(hào)處理器優(yōu)選地被配置成混合至少一個(gè)音頻信號(hào)與至少一個(gè)另外的音頻信號(hào)。音頻信號(hào)處理器優(yōu)選地被配置成放大至少一個(gè)音頻信號(hào)的至少一個(gè)分量。音頻信號(hào)處理器優(yōu)選地被配置成去除至少一個(gè)音頻信號(hào)的至少一個(gè)分量。至少一個(gè)音頻信號(hào)可以包括以下信號(hào)中的至少一個(gè)麥克風(fēng)音頻信號(hào)；接收的音頻信號(hào)；以及存儲(chǔ)的音頻信號(hào)。該裝置可以包括配置成生成至少一個(gè)傳感器輸入?yún)?shù)的至少一個(gè)傳感器，其中至少一個(gè)傳感器可以包括以下傳感器中的至少一個(gè)運(yùn)動(dòng)傳感器；位置傳感器；定向傳感器；化學(xué)物質(zhì)傳感器；發(fā)光度傳感器；溫度傳感器；圖像傳感器；以及氣壓傳感器?？刂破鲀?yōu)選地還被配置成根據(jù)至少一個(gè)傳感器輸入?yún)?shù)是否大于或者等于至少一個(gè)預(yù)定值的確定而修改至少一個(gè)控制參數(shù)。配置成輸出處理后的至少一個(gè)音頻信號(hào)的音頻信號(hào)處理器優(yōu)選地被配置成根據(jù)處理后的至少一個(gè)音頻信號(hào)生成雙耳信號(hào)；并且向至少耳戴式揚(yáng)聲器輸出雙耳信號(hào)。根據(jù)本發(fā)明的第四方面，提供一種裝置，該裝置包括控制處理裝置，配置成根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；音頻信號(hào)處理裝置，配置成根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；以及音頻信號(hào)輸出裝置，配置成輸出處理后的至少一個(gè)音頻信號(hào)。根據(jù)本發(fā)明的第五方面，提供一種用指令編碼的計(jì)算機(jī)可讀介質(zhì)，指令在由計(jì)算機(jī)執(zhí)行時(shí)執(zhí)行根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且輸出處理后的至少一個(gè)音頻信號(hào)。一種電子設(shè)備可以包括如上文描述的裝置。一種芯片組可以包括如上文描述的裝置。一種電子設(shè)備可以包括如上文描述的裝置。一種芯片組可以包括如上文描述的裝置。


為了更好地理解本發(fā)明，現(xiàn)在將通過(guò)例子參照以下附圖圖I示意地示出了體現(xiàn)本申請(qǐng)的實(shí)施例電子設(shè)備；圖2更具體示意地示出了圖I中所示電子設(shè)備；圖3示意地示出了如下流程圖，該流程示了本申請(qǐng)的一些實(shí)施例的操作；圖4示意地示出了本申請(qǐng)的實(shí)施例的第一例子；圖5示意地示出了適合用于在本申請(qǐng)的一些實(shí)施例中運(yùn)用的頭部相關(guān)空間配置；并且
圖6示意地示出了適合用于本申請(qǐng)的一些實(shí)施例的一些環(huán)境和現(xiàn)實(shí)應(yīng)用。
具體實(shí)施例方式下文描述用于提供增強(qiáng)擴(kuò)增實(shí)境應(yīng)用的裝置和方法。就這一點(diǎn)，先參照可以并入擴(kuò)增實(shí)境能力的示例電子設(shè)備10或者裝置的圖I示意框圖。電子設(shè)備10可以例如是用于無(wú)線通信系統(tǒng)的移動(dòng)終端或者用戶設(shè)備。在其它實(shí)施例中，電子設(shè)備可以是任何音頻播放器(也稱為mp3播放器)或者媒體播放器(也稱為mp4播放器)或者配備有適當(dāng)傳感器的便攜音樂(lè)播放器。電子設(shè)備10包括可以經(jīng)由數(shù)模轉(zhuǎn)換器(DAC) 32鏈接到耳戴式揚(yáng)聲器(EWS)的處理器21。頭戴式揚(yáng)聲器在一些實(shí)施例中可以經(jīng)由頭戴式受話器連接器連接到電子設(shè)備。耳戴式揚(yáng)聲器(EWS)可以例如是頭戴式受話器或者頭戴式耳機(jī)33或者適合于根據(jù)從DAC 32輸出的電子音頻信號(hào)向用戶的耳部輸出聲波的任何適當(dāng)音頻換能器設(shè)備。在一些實(shí)施例中，EffS 33可以本身包括DAC 32。另外，在一些實(shí)施例中，EffS 33可以例如通過(guò)使用低功率射頻連接(比如藍(lán)牙A2DP簡(jiǎn)檔)經(jīng)由發(fā)送器或者收發(fā)器無(wú)線連接到電子設(shè)備10。處理器21還鏈接到收發(fā)器(TX/RX) 13、用戶接口(UI) 15和存儲(chǔ)器22。處理器21可以被配置成執(zhí)行各種程序代碼。所實(shí)施的程序代碼可以在一些實(shí)施例中包括用于生成到ESW的擴(kuò)增實(shí)境輸出的擴(kuò)增實(shí)境聲道提取器。所實(shí)施的程序代碼23可以例如存儲(chǔ)于存儲(chǔ)器22中用于每當(dāng)需要時(shí)由處理器21取回。存儲(chǔ)器22還可以提供用于存儲(chǔ)數(shù)據(jù)(例如已經(jīng)根據(jù)實(shí)施例處理的數(shù)據(jù))的區(qū)段24。擴(kuò)增實(shí)境應(yīng)用代碼可以在一些實(shí)施例中實(shí)施于硬件或者固件中。用戶接口 15讓用戶能夠例如經(jīng)由鍵區(qū)和/或觸摸接口向電子設(shè)備10輸入命令。另外，電子設(shè)備或者裝置10可以包括顯示器。處理器在一些實(shí)施例中可以生成用于向用戶通知操作模式的圖像數(shù)據(jù)和/或顯示用戶可以使用用戶接口 15從其中選擇的一系列選項(xiàng)。例如用戶可以選擇或者縮放增益效果以設(shè)置噪聲抑制數(shù)據(jù)水平，該水平可以用來(lái)設(shè)置可以在下文描述的擴(kuò)增實(shí)境例子中修改的‘標(biāo)準(zhǔn)’值。在一些實(shí)施例中，形式為觸摸接口的用戶接口 15可以實(shí)施為形式為觸屏用戶接口的顯示器的部分。收發(fā)器13在一些實(shí)施例中實(shí)現(xiàn)例如經(jīng)由蜂窩或者移動(dòng)電話網(wǎng)關(guān)服務(wù)器(比如節(jié)點(diǎn)B或者收發(fā)器基站(BTS))和無(wú)線通信網(wǎng)絡(luò)來(lái)與其它電子設(shè)備進(jìn)行的通信或者與麥克風(fēng)陣列或者EWS(其中它們的位置遠(yuǎn)離裝置)進(jìn)行的短程無(wú)線通信。同樣將理解可以用多個(gè)方式補(bǔ)充和改變電子設(shè)備10的結(jié)構(gòu)。裝置10可以在一些實(shí)施例中還包括麥克風(fēng)陣列11中的至少兩個(gè)麥克風(fēng)，這些麥克風(fēng)用于輸入音頻或者話音，所述音頻或者話音將根據(jù)本申請(qǐng)的實(shí)施例來(lái)處理、向某一其它電子設(shè)備發(fā)送或者存儲(chǔ)于存儲(chǔ)器22的數(shù)據(jù)區(qū)段24中。為此，用戶可以經(jīng)由用戶接口 15激活用于使用至少兩個(gè)麥克風(fēng)來(lái)捕獲音頻信號(hào)的應(yīng)用。在一些實(shí)施例中，麥克風(fēng)陣列可以與裝置分開(kāi)實(shí)施、但是與裝置通信。例如在一些實(shí)施例中，麥克風(fēng)陣列可以附著到衣物或者集成于衣物內(nèi)。因此，在一些實(shí)施例中，麥克風(fēng)陣列可以實(shí)施為高度可見(jiàn)背心或者夾克的部分并且經(jīng)由有線或者無(wú)線連接來(lái)連接到該裝置。在這樣的實(shí)施例中，可以通過(guò)放置于口袋內(nèi)(該口袋可以在一些實(shí)施例中是包括麥克風(fēng)陣列的衣物的口袋)、但是仍然從麥克風(fēng)陣列接收音頻信號(hào)來(lái)保護(hù)裝置。在一些另外的實(shí)施例中，麥克風(fēng)陣列可以實(shí)施為頭戴式受話器或者耳戴式揚(yáng)聲器系統(tǒng)的部分。麥克風(fēng)中的至少一個(gè)可以在一些實(shí)施例中由全向麥克風(fēng)實(shí)施。換而言之，這些麥克風(fēng)可以對(duì)來(lái)自所有方向的聲音信號(hào)相同地做出響應(yīng)。在一些其它實(shí)施例中，至少一個(gè)麥克風(fēng)包括配置成對(duì)在預(yù)定方向上的聲音信號(hào)做出響應(yīng)的定向麥克風(fēng)。在一些實(shí)施例中，至少一個(gè)麥克風(fēng)包括數(shù)字麥克風(fēng)(換而言之，在一個(gè)部件塊中具有集成放大器和西格瑪?shù)聽(tīng)査虯/D轉(zhuǎn)換器的普通麥克風(fēng))。數(shù)字麥克風(fēng)輸入在一些實(shí)施例中也可以用于其它ADC聲道(比如換能器處理反饋信號(hào))或者用于其它增強(qiáng)(比如波束形成或者噪聲抑制)。裝置10在這樣的實(shí)施例中還可以包括配置成將來(lái)自麥克風(fēng)陣列11的輸入模擬音頻信號(hào)轉(zhuǎn)換成數(shù)字音頻信號(hào)并且向處理器21提供數(shù)字音頻信號(hào)的模數(shù)轉(zhuǎn)換器(ADC) 14。 裝置10可以在一些實(shí)施例中從不直接實(shí)施于裝置上的麥克風(fēng)陣列接收音頻信號(hào)。例如耳戴式揚(yáng)聲器33裝置在一些實(shí)施例中可以包括麥克風(fēng)陣列。EWS 33裝置然后可以發(fā)送來(lái)自麥克風(fēng)陣列的可以在一些實(shí)施例中由收發(fā)器接收的音頻信號(hào)。在一些另外的實(shí)施例中，裝置10可以經(jīng)由收發(fā)器13從實(shí)施于另一電子設(shè)備上的麥克風(fēng)接收具有捕獲的音頻數(shù)據(jù)的比特流。在一些實(shí)施例中，處理器21可以執(zhí)行存儲(chǔ)器22中存儲(chǔ)的擴(kuò)增實(shí)境應(yīng)用代碼。處理器21在這些實(shí)施例中可以處理接收的音頻信號(hào)數(shù)據(jù)并且輸出處理后的音頻數(shù)據(jù)。處理后的音頻數(shù)據(jù)在一些實(shí)施例中可以是適合用于由頭戴式受話器或者EWS系統(tǒng)再現(xiàn)的雙耳信號(hào)。接收的立體聲音頻信號(hào)可以在一些實(shí)施例中也存儲(chǔ)于存儲(chǔ)器22的數(shù)據(jù)區(qū)段24中(而不是被立即處理)，例如用于實(shí)現(xiàn)以后處理(以及向又一裝置呈現(xiàn)或者轉(zhuǎn)發(fā))。在一些實(shí)施例中，可以生成和存儲(chǔ)其它輸出音頻信號(hào)格式(比如單或者多聲道(比如5. I)音頻信號(hào)格式)。另外，裝置可以包括傳感器組16。傳感器組16接收關(guān)于裝置10在其內(nèi)操作的環(huán)境的信息并且向處理器21傳遞該信息。處理器組16可以包括以下傳感器集合中的至少一個(gè)。傳感器組16可以包括相機(jī)模塊。相機(jī)模塊可以在一些實(shí)施例中包括至少一個(gè)如下相機(jī)，該相機(jī)具有用于向數(shù)字圖像捕獲裝置(比如電荷耦合器件(CCD))上聚焦圖像的鏡頭。在其他實(shí)施例中，數(shù)字圖像捕獲裝置可以是任何適當(dāng)圖像捕獲設(shè)備(比如互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)圖像傳感器)。相機(jī)模塊在一些實(shí)施例中還包括用于在捕獲對(duì)象的圖像之前照射對(duì)象的閃光燈。閃光燈鏈接到用于控制閃光燈的操作的相機(jī)處理器。相機(jī)也可以鏈接到用于處理從相機(jī)接收的信號(hào)的相機(jī)處理器。相機(jī)處理器可以鏈接到如下相機(jī)存儲(chǔ)器，該存儲(chǔ)器可以存儲(chǔ)用于相機(jī)處理器在捕獲圖像時(shí)執(zhí)行的程序代碼。實(shí)施的程序代碼(未示出)可以在一些實(shí)施例中例如存儲(chǔ)于相機(jī)存儲(chǔ)器中用于每當(dāng)需要時(shí)由相機(jī)處理器取回。在一些實(shí)施例中，相機(jī)處理器和相機(jī)存儲(chǔ)器分別實(shí)施于裝置處理器21和存儲(chǔ)器22內(nèi)。另外,在一些實(shí)施例中，相機(jī)模塊可以物理上實(shí)施于耳戴式揚(yáng)聲器裝置33上以提供從用戶的視點(diǎn)的圖像。例如在一些實(shí)施例中，至少一個(gè)相機(jī)可以被定位成捕獲近似地在用戶的視線內(nèi)的圖像。在一些其他實(shí)施例中，至少一個(gè)相機(jī)可以被實(shí)施成捕獲用戶的視線以外(比如用戶后面或者用戶側(cè)面)的圖像。在一些實(shí)施例中，相機(jī)的配置使得捕獲完全包圍用戶的圖像——換而言之，提供360度覆蓋。在一些實(shí)施例中，傳感器組16包括位置/定向傳感器。定向傳感器在一些實(shí)施例中可以由數(shù)字羅盤或者固態(tài)羅盤實(shí)施。在一些實(shí)施例中，位置/定向傳感器實(shí)施為衛(wèi)星定位系統(tǒng)(比如全球定位系統(tǒng)(GPS))的部分，借此接收器能夠根據(jù)從軌道衛(wèi)星接收時(shí)序數(shù)據(jù)來(lái)估計(jì)用戶的位置。另外，在一些實(shí)施例中，GPS信息可以用來(lái)通過(guò)比較接收器在兩個(gè)瞬時(shí)的估計(jì)位置來(lái)推導(dǎo)定向和移動(dòng)數(shù)據(jù)。在一些實(shí)施例中，傳感器組16還包括形式為步伐計(jì)數(shù)器的運(yùn)動(dòng)傳感器。步伐計(jì)數(shù)器可以在一些實(shí)施例中檢測(cè)用戶在他們步行時(shí)有節(jié)奏地上下移動(dòng)時(shí)的運(yùn)動(dòng)。步伐的周期本身可以在一些實(shí)施例中用來(lái)產(chǎn)生對(duì)用戶的運(yùn)動(dòng)速度的估計(jì)。在本申請(qǐng)的一些另外的實(shí)施例中，傳感器組16可以包括配置成確定裝置的運(yùn)動(dòng)改變的至少一個(gè)加速度計(jì)和/或陀螺儀。運(yùn)動(dòng)傳感器可以在一些實(shí)施例中用作粗略速度傳感器，該傳感器被配置成根據(jù)步伐的周期和估計(jì)的步幅長(zhǎng)度來(lái)估計(jì)裝置的速度。在一些另外的實(shí)施例中，可以在一些境況(比如車輛(比如汽車或者火車)中的運(yùn)動(dòng))中禁用或者忽略步伐計(jì)數(shù)器速度估計(jì)，其中步伐計(jì)數(shù)器可能由車輛的運(yùn)動(dòng)激活并且因此將產(chǎn)生對(duì)用戶的速度的不準(zhǔn)確估計(jì)。在一些實(shí)施例中，傳感器組16可以包括配置成確定用戶是否在低光或者黑暗環(huán)境中操作的光傳感器。在一些實(shí)施例中，傳感器組16可以包括用于確定裝置的環(huán)境溫度的溫度傳感器。另外，在一些實(shí)施例中，傳感器組16可以包括配置成確定具體化學(xué)物質(zhì)的存在的化學(xué)物質(zhì)傳感器或者‘鼻子’。例如化學(xué)物質(zhì)傳感器可以被配置成確定或者檢測(cè)一氧化碳或者二氧化碳的濃度。在一些其他實(shí)施例中，傳感器組16可以包括配置成確定裝置在其內(nèi)操作的大氣壓強(qiáng)的氣壓傳感器或者大氣壓壓強(qiáng)傳感器。因此例如氣壓傳感器可以在檢測(cè)到突然壓強(qiáng)下降時(shí)提供風(fēng)暴情況的警告或者預(yù)報(bào)。另外，在一些實(shí)施例中，用于提供與背景有關(guān)的處理的‘傳感器’和關(guān)聯(lián)的‘傳感器輸入’可以是能夠產(chǎn)生背景改變的任何適當(dāng)輸入。例如在一些實(shí)施例中，可以從麥克風(fēng)陣列和麥克風(fēng)提供傳感器輸入，該輸入然后可以產(chǎn)生對(duì)音頻信號(hào)處理的與背景有關(guān)的改變。例如在這樣的實(shí)施例中，‘傳感器輸入’可以是來(lái)自麥克風(fēng)的聲壓水平輸出信號(hào)并且例如提供對(duì)其他麥克風(fēng)信號(hào)的與背景有關(guān)的處理以便抵消風(fēng)噪聲。在一些其他實(shí)施例中，‘傳感器’可以是用戶接口，并且比如下文描述的用于產(chǎn)生對(duì)背景敏感的信號(hào)的‘傳感器輸入’可以是來(lái)自用戶的輸入(比如在電話菜單上的選擇)。例如當(dāng)參與與一個(gè)人的對(duì)話而同時(shí)收聽(tīng)另一個(gè)人時(shí)，用戶可以選擇并且因此提供傳感器輸入以對(duì)來(lái)自第一方向的信號(hào)進(jìn)行波束形成并且向回放揚(yáng)聲器輸出波束形成的信號(hào)，而對(duì)來(lái)自第二信號(hào)的音頻信號(hào)進(jìn)行波束形成并且記錄第二方向波束形成的信號(hào)。類似地，用戶接口輸入可以用來(lái)‘調(diào)諧’與背景有關(guān)的處理并且提供一些人工或者半自動(dòng)交互。
將理解圖2中描述的示意結(jié)構(gòu)和圖3中的方法步驟僅代表如下完整音頻處理鏈的操作的部分，該處理鏈包括如示例地示出的實(shí)施于圖I中所示裝置中的一些實(shí)施例。具體而言，以下示意結(jié)構(gòu)未在來(lái)自不同來(lái)源的局部化聲音方面具體描述可聽(tīng)化的操作和聽(tīng)力的感知。另外，以下描述未具體描述例如使用頭部相關(guān)傳遞函數(shù)(HRTF)或者脈沖響應(yīng)相關(guān)函數(shù)(IRRF)以訓(xùn)練處理器以生成針對(duì)用戶校正的音頻信號(hào)來(lái)生成雙耳信號(hào)。然而本領(lǐng)域技術(shù)人員知道這樣的操作。關(guān)于圖2和圖3，更具體示出了如所實(shí)施和操作的本申請(qǐng)的實(shí)施例的一些例子。另外，關(guān)于如下第一例子描述這些實(shí)施例，在該例子中，用戶使用在噪聲環(huán)境中使用裝置以便與另一個(gè)人進(jìn)行對(duì)話，其中音頻處理是根據(jù)感測(cè)的背景來(lái)對(duì)接收的音頻信號(hào)進(jìn)、行波束形成。將理解在一些其他實(shí)施例中，音頻處理可以是如下文也將描述的對(duì)接收的音頻信號(hào)或者任何生成的音頻信號(hào)的任何適當(dāng)音頻處理。關(guān)于圖4示出了對(duì)背景敏感的波束形成的示意圖。在圖4中，配備有該裝置的用戶351嘗試與另一個(gè)人353進(jìn)行對(duì)話。用戶至少相對(duì)于用戶的頭部在第一方向D(該方向是在用戶與另一個(gè)人之間的線)上定向并且按某一速度在第二方向上移動(dòng)(速度和第二方向二者都由矢量V 357代表)。如圖2中所示傳感器組16包括化學(xué)物質(zhì)傳感器102、相機(jī)模塊101和GPS模塊104。GPS模塊104在這些實(shí)施例中還包括運(yùn)動(dòng)傳感器/檢測(cè)器103和位置/定向傳感器/檢測(cè)器105。如上文在一些其他實(shí)施例中描述的那樣，傳感器組可以包括更多或者更少傳感器。傳感器組16在一些實(shí)施例中被配置成向模態(tài)或者控制處理器107并且也向定向或者背景處理器109輸出傳感器數(shù)據(jù)。使用該例子，在一些實(shí)施例中，用戶可以例如轉(zhuǎn)向面向?qū)υ捴猩婕暗牧硪粋€(gè)人并且發(fā)起擴(kuò)增實(shí)境模式。GPS模塊104(并且具體為位置/定向傳感器105)因此可以確定可以向模態(tài)處理器107傳遞的第一方向D的定向。在一些實(shí)施例中，可以接收對(duì)裝置將聚焦于的方向(即在提出的對(duì)話中的另一人的方向)的更多指示。例如在一些實(shí)施例中，裝置可以通過(guò)檢測(cè)/感測(cè)來(lái)自用戶接口 15的輸入來(lái)接收又一指示。例如用戶接口(UI) 15接收對(duì)用戶希望聚焦于的方向的指示。在其它實(shí)施例中，可以自動(dòng)確定方向，例如當(dāng)傳感器組16包括能夠檢測(cè)其他用戶和他們相對(duì)于裝置的位置的更多傳感器時(shí)，‘其他用戶’傳感器可以指示最接近用戶的相對(duì)位置。在其他實(shí)施例中，例如在低可見(jiàn)度環(huán)境中，‘其他用戶’傳感器信息可以由裝置顯示并且然后通過(guò)使用n 15來(lái)選擇另一個(gè)人。步驟205在圖3中示出了生成傳感器數(shù)據(jù)(例如定向/位置/選擇數(shù)據(jù))以便向模態(tài)處理器107提供輸入。模態(tài)處理器107在一些實(shí)施例中被配置成從傳感器組16接收傳感器數(shù)據(jù)并且另外在一些實(shí)施例中從用戶接口 15接收選擇信息、然后處理這些輸入以生成向背景處理器109輸出的輸出模態(tài)數(shù)據(jù)。使用上述例子，模態(tài)處理器107可以接收如下定向/位置選擇數(shù)據(jù)，該數(shù)據(jù)指示用戶希望在特定方向上與另一個(gè)人交談或者收聽(tīng)另一個(gè)人。模態(tài)處理器107然后可以在接收這些輸入時(shí)生成如下模態(tài)參數(shù)，這些參數(shù)指示窄高增益波束處理將被應(yīng)用于在指示的方向上從麥克風(fēng)陣列接收的音頻信號(hào)。例如如圖5中所示，模態(tài)處理器107可以生成用于使用第一極坐標(biāo)分布增益分布圖303——在用戶351的方向上的高增益窄波束——來(lái)對(duì)接收的音頻信號(hào)進(jìn)行波束形成的模態(tài)參數(shù)。
在一些實(shí)施例中，如上文描述的那樣，可以向背景處理器109輸出模態(tài)參數(shù)。在一些其他實(shí)施例中，向音頻信號(hào)處理器111 (該處理器對(duì)于本例子而言可以由波束形成器實(shí)施)直接輸出模態(tài)參數(shù)。步驟206在圖3中示出了生成模態(tài)參數(shù)。背景處理器還被配置成接收來(lái)自傳感器16的信息和來(lái)自模態(tài)處理器107的模態(tài)參數(shù)輸出，然后基于傳感器信息向音頻信號(hào)處理器111輸出處理后的模態(tài)參數(shù)。使用上述‘對(duì)話’例子，GPS模塊104(并且具體為運(yùn)動(dòng)傳感器103)可以確定裝置為靜態(tài)或者移動(dòng)很慢。在這樣的例子中，裝置確定速度可忽略不計(jì)并且可以輸出模態(tài)參數(shù)作為輸入。換而言之，來(lái)自背景處理器109的輸出可以是如下參數(shù)，這些參數(shù)在由音頻處理器111接收時(shí)在指定方向上執(zhí)行高增益窄波束。使用相同例子，其中傳感器16確定裝置在運(yùn)動(dòng)中并且因此用戶可能處于發(fā)生事故的危險(xiǎn)中。例如操作裝置的用戶可以在一個(gè)方向上看對(duì)話中的另一個(gè)人、但是按某一速度在第二方向上移動(dòng)(如矢量V在圖3中所示)。可以向背景處理器109傳遞該運(yùn)動(dòng)傳感器信息。步驟201在圖3中示出了生成運(yùn)動(dòng)傳感器數(shù)據(jù)。背景處理器109在一些實(shí)施例中在接收運(yùn)動(dòng)傳感器數(shù)據(jù)時(shí)可以確定運(yùn)動(dòng)傳感器數(shù)據(jù)是否對(duì)接收的模態(tài)參數(shù)具有影響。換而言之，感測(cè)的(或者附加感測(cè)的)信息是否根據(jù)背景來(lái)修改模態(tài)參數(shù)。使用圖3中所示例子，背景處理器可以確定用戶的速度和/或用戶的運(yùn)動(dòng)方向作為根據(jù)背景來(lái)修改模態(tài)參數(shù)的因子。例如并且也如更早描述的那樣，背景處理器109可以從傳感器16接收裝置(用戶)按相對(duì)慢的速度移動(dòng)這樣的傳感器信息。由于用戶與第三方(比如又一個(gè)人或者車輛)相撞的概率在這樣的速度下為低，所以背景處理器109可以傳遞無(wú)修改或者僅有少量修改的模態(tài)參數(shù)。在一些其他實(shí)施例中，背景處理器109還可以不僅使用絕對(duì)速度而且使用與裝置面向的方向的相對(duì)方向。因此，在這些實(shí)施例中，背景處理器109可以從傳感器16接收裝置(用戶)在裝置定向的方向(用戶面向的方向)上移動(dòng)這樣的傳感器信息。在這樣的實(shí)施例中，背景處理器109也可以不修改模態(tài)參數(shù)或者僅提供對(duì)參數(shù)的少量修改，因?yàn)橛脩襞c第三方(比如又一個(gè)人或者車輛)相撞的概率在用戶很可能看見(jiàn)任何可能相撞或者路途危險(xiǎn)時(shí)為低。在一些實(shí)施例中，背景處理器109可以從裝置16接收裝置(用戶)快速移動(dòng)或者不面向裝置移動(dòng)的方向這樣的傳感器信息。在這樣的實(shí)施例中，背景處理器109可以修改模態(tài)參數(shù)，因?yàn)橄嘧哺怕矢摺Ｔ谝恍?shí)施例中，背景處理器109的修改可以是連續(xù)函數(shù)。例如速度越高和/或在裝置的定向與裝置的運(yùn)動(dòng)方向之間的差異越大，修改就越大。在一些其他實(shí)施例中，背景處理器可以生成當(dāng)背景處理器109確定已經(jīng)滿足特定或者預(yù)定義閾值時(shí)確定的離散修改。例如，如果背景處理器109確定裝置按比4km/h更快的速度移動(dòng)，則背景處理器109可以執(zhí)行第一修改，而如果裝置按大于8m/h的速度移動(dòng)，則執(zhí)行另一修改。在上文提供并且圖5中示出的例子中，模態(tài)處理器107可以生成如下模態(tài)參數(shù)，這些參數(shù)將指示具有高增益窄波束(具有定向擴(kuò)展Q1 305)的第一極坐標(biāo)分布增益分布圖303。使用上述閾值例子，當(dāng)背景處理器109確定速度在第一閾值4km/h以下時(shí),背景處理器輸出相同模態(tài)參數(shù)。在確定裝置按大于4km/h的速度移動(dòng)時(shí),背景處理器109可以生成對(duì)模態(tài)參數(shù)的如下修改，該修改拓寬范圍、但是降低第一極坐標(biāo)分布增益分布圖303的增益以生成修改的如下模態(tài)參數(shù)，這些參數(shù)代表具有定向擴(kuò)展G 2 309的第二極坐標(biāo)分布增益分布圖307。另外當(dāng)背景處理器109確定相撞風(fēng)險(xiǎn)更高(例如裝置按8km/h或者更大速度移動(dòng))時(shí)，然后又一背景修改值可以進(jìn)一步拓寬和拉平增益以產(chǎn)生對(duì)于所有方向而言具有恒定增益的又一極坐標(biāo)分布圖311。然后可以向音頻信號(hào)處理器111傳遞修改的模態(tài)參數(shù)。步驟207在圖3中示出了背景對(duì)模態(tài)參數(shù)的修改。在一些實(shí)施例中，背景處理器109實(shí)施為音頻信號(hào)處理器111的部分。在其他實(shí)施例中，背景處理器109和模態(tài)處理器107與這些實(shí)施例的向音頻信號(hào)處理器111直接傳遞的輸出一起實(shí)施。雖然上述例子是速率作為對(duì)操作模式標(biāo)準(zhǔn)參數(shù)的修改因子的例子，但是將理解可以基于任何適當(dāng)可檢測(cè)的現(xiàn)象執(zhí)行背景處理器109對(duì)模態(tài)參數(shù)的修改。例如關(guān)于化學(xué)物質(zhì)傳感器102，背景處理器109可以在檢測(cè)到有毒(例如CO)或者窒息性氣體(例如CO2)的危險(xiǎn)水平時(shí)修改波束形成指示，從而裝置不防止用戶聽(tīng)見(jiàn)任何警告廣播。在一些其他實(shí)施例中，可以類似地引入存儲(chǔ)的音頻警告或者例如通過(guò)無(wú)線通信系統(tǒng)并且經(jīng)由收發(fā)器接收的警告來(lái)修改波束形成。背景處理器109在一些實(shí)施例中可以從相機(jī)模塊101接收?qǐng)D像數(shù)據(jù)并且確定其它危險(xiǎn)。例如背景處理器可以確定低光環(huán)境中的步伐并且根據(jù)標(biāo)識(shí)的危險(xiǎn)或者背景修改音頻處理。在上述和以下例子中，背景處理器109通過(guò)在波束形成修改中修改音頻處理來(lái)根據(jù)感測(cè)的信息修改模態(tài)參數(shù)。換而言之，背景處理器109修改模態(tài)參數(shù)以通知或者指示比起初為主要目標(biāo)而選擇的處理更少定向性的波束形成處理。例如可以修改高增益窄波束以提供寬波束增益音頻波束。然而將理解可以根據(jù)傳感器信息執(zhí)行對(duì)模態(tài)參數(shù)的任何適當(dāng)處理。在一些實(shí)施例中，背景處理器109的修改可以指示或者通知音頻信號(hào)處理器111按照也由修改的模態(tài)參數(shù)控制的比例混合麥克風(fēng)捕獲的音頻信號(hào)與某些其他音頻。例如背景處理器109可以輸出如下處理的模態(tài)信號(hào)，該信號(hào)通知音頻信號(hào)處理器111向捕獲的音頻信號(hào)中混合又一音頻信號(hào)。所述又一音頻信號(hào)可以是先前存儲(chǔ)的信號(hào)(比如存儲(chǔ)的警告信號(hào))。在一些其他實(shí)施例中，所述又一音頻信號(hào)可以是接收的信號(hào)(比如向裝置發(fā)送的用于通知裝置用戶的短程無(wú)線發(fā)送的音頻信號(hào))。在一些其他實(shí)施例中，所述又一音頻信號(hào)可以是可以從傳感器信息觸發(fā)的合成音頻信號(hào)。例如音頻信號(hào)可以是如下合成語(yǔ)音，該語(yǔ)音提供去往請(qǐng)求的目的地的方向。在一些其他實(shí)施例中，當(dāng)裝置在預(yù)定義位置和/或在特定方向上定向時(shí)，其他音頻信號(hào)可以是關(guān)于本地服務(wù)的信息或者特殊報(bào)價(jià)/促銷信息。該信息可以向裝置的用戶指示危險(xiǎn)區(qū)域。例如裝置可以向用戶轉(zhuǎn)送關(guān)于在該區(qū)域中是否已經(jīng)有扒竊、搶劫或者敲詐的信息以向用戶提供警告以知道這樣的發(fā)生事件。在一些實(shí)施例中，模態(tài)處理器和/或背景處理器109可以從多個(gè)來(lái)源接收傳感器16輸入并且配置成根據(jù)傳感器信息選擇來(lái)自不同傳感器16的指示。例如在一些實(shí)施例中，傳感器16可以包括GPS型位置/運(yùn)動(dòng)傳感器和‘步伐’位置/運(yùn)動(dòng)傳感器二者。在這樣的實(shí)施例中，模態(tài)處理器107和/或背景處理器109可以在GPS型傳感器無(wú)法輸出信號(hào)時(shí)(例如當(dāng)在室內(nèi)或者地下使用裝置時(shí))選擇從‘步伐’位置/運(yùn)動(dòng)傳感器接收的數(shù)據(jù)，并且當(dāng)‘步伐’型傳感器輸出明顯不同于GPS型傳感器輸出時(shí)(例如當(dāng)用戶在車輛中并且GPS型傳感器輸出正確估計(jì)、但是‘步伐’型傳感器不輸出正確估計(jì)時(shí))選擇從GPS型傳感器接收的數(shù)據(jù)。模態(tài)處理器107和背景處理器109可以在一些實(shí)施例中實(shí)施為處理器21的程序
/應(yīng)用或者部分。 麥克風(fēng)陣列11還被配置成向模數(shù)轉(zhuǎn)換器(ADC) 14輸出來(lái)自麥克風(fēng)陣列11內(nèi)的每個(gè)麥克風(fēng)的音頻信號(hào)。麥克風(fēng)陣列11在這樣的實(shí)施例中捕獲從環(huán)境輸入的音頻并且生成經(jīng)由ADC 14向音頻信號(hào)處理器111傳遞的音頻信號(hào)。在一些實(shí)施例中，麥克風(fēng)陣列11被配置成供應(yīng)來(lái)自陣列的每個(gè)麥克風(fēng)的捕獲的音頻信號(hào)。在一些其他實(shí)施例中，麥克風(fēng)陣列11可以包括如下麥克風(fēng)，這些麥克風(fēng)輸出音頻信號(hào)的數(shù)字而不是模擬表不。因此，在一些實(shí)施例中，在麥克風(fēng)陣列11中的每個(gè)麥克風(fēng)包括集成數(shù)模轉(zhuǎn)換器或者包括純數(shù)字麥克風(fēng)。在一些實(shí)施例中，麥克風(fēng)陣列11還可以至少向音頻信號(hào)處理器111指示每個(gè)麥克風(fēng)的位置和麥克風(fēng)的聲學(xué)分布圖-換而言之麥克風(fēng)的定向性。在一些其他實(shí)施例中，麥克風(fēng)陣列11可以捕獲每個(gè)麥克風(fēng)生成的音頻信號(hào)并且生成來(lái)自麥克風(fēng)的混合音頻信號(hào)。例如麥克風(fēng)陣列可以生成和輸出根據(jù)來(lái)自麥克風(fēng)陣列麥克風(fēng)聲道的音頻信號(hào)生成的左前、右前、中前、左后和右后聲道。在圖5中示出了這樣的聲道配置，其中示出了虛擬左前363、右前365、中前361、左后367和右后369聲道位置。步驟211在圖3中示出了音頻信號(hào)的生成/捕獲。ADC 14可以是配置成向音頻信號(hào)處理器111輸出待處理的適當(dāng)數(shù)字格式信號(hào)的任何適當(dāng)ADC。步驟212在圖3中示出了音頻信號(hào)的模數(shù)轉(zhuǎn)換。音頻信號(hào)處理器111被配置成接收經(jīng)由ADC 14來(lái)自麥克風(fēng)陣列11的數(shù)字化音頻信號(hào)和修改的模態(tài)選擇數(shù)據(jù)兩者以處理音頻信號(hào)。在以下例子中，對(duì)音頻信號(hào)的處理是通過(guò)執(zhí)行波束形成操作來(lái)進(jìn)行的。音頻信號(hào)處理器111可以在接收模態(tài)參數(shù)時(shí)確定或者生成波束形成參數(shù)集。波束形成參數(shù)可以本身包括將向接收/捕獲的音頻信號(hào)應(yīng)用的增益函數(shù)、時(shí)間延遲函數(shù)和相位延遲函數(shù)中的至少一個(gè)的數(shù)組。增益和延遲函數(shù)可以基于對(duì)接收的音頻信號(hào)的位置的了解。步驟209在圖3中示出了生成波束形成參數(shù)。音頻信號(hào)處理器111然后可以在生成波束形成參數(shù)后將波束形成參數(shù)應(yīng)用于接收的音頻信號(hào)。例如將增益和相位延遲函數(shù)應(yīng)用于每個(gè)接收/捕獲的音頻信號(hào)可以是簡(jiǎn)單乘法。在一些實(shí)施例中，可以通過(guò)對(duì)于每個(gè)音頻聲道使用放大和濾波操作來(lái)應(yīng)用這一點(diǎn)。例如根據(jù)模態(tài)指示(該指示將指示比如用極坐標(biāo)分布圖303示出的波束等的高增益窄波束)生成的波束形成參數(shù)將向虛擬中前聲道361應(yīng)用大放大值而向左前363和右前365聲道應(yīng)用低增益值并且向左后367和右后369聲道應(yīng)用零增益。而音頻信號(hào)處理器111響應(yīng)于修改的第二極坐標(biāo)分布可以生成如下波束形成參數(shù)，這些參數(shù)將向中前聲道361、左前363和右前365聲道應(yīng)用中等增益而向左后367和右后369聲道應(yīng)用零增益。另外，音頻信號(hào)處理器111響應(yīng)于通知第三極坐標(biāo)分布的修改的模態(tài)參數(shù)可以生成將應(yīng)用于所有聲道的均勻增益函數(shù)。步驟213在圖3中示出了將波束形成應(yīng)用于音頻信號(hào)。在一些實(shí)施例中，如先前描述的音頻信號(hào)處理器111可以對(duì)其他音頻信號(hào)(即除了麥克風(fēng)陣列捕獲的音頻信號(hào)之外的音頻信號(hào))執(zhí)行處理。例如音頻信號(hào)處理器111可以 處理存儲(chǔ)的數(shù)字媒體‘mp3’信號(hào)或者接收的‘無(wú)線電’音頻信號(hào)。在一些實(shí)施例中，音頻信號(hào)處理器111可以通過(guò)實(shí)施混合或者處理如下音頻信號(hào)來(lái)對(duì)存儲(chǔ)或者接收的音頻信號(hào)進(jìn)行‘波束形成’，這些音頻信號(hào)在經(jīng)由頭戴式受話器或者EWS呈現(xiàn)給用戶時(shí)產(chǎn)生音頻源在特定方向或者定向上的效果。因此例如裝置10在重放存儲(chǔ)的音頻信號(hào)時(shí)可以產(chǎn)生音頻信號(hào)源根據(jù)裝置的運(yùn)動(dòng)(速度、定向、位置)而移動(dòng)的效果。在這樣的例子中，傳感器16可以向模態(tài)處理器107輸出對(duì)音頻源(例如在裝置和用戶前面)的第一定向的指示并且進(jìn)一步向背景處理器109輸出裝置速度的以及進(jìn)而位置和定向的指示，該背景處理器然后‘修改’原有模態(tài)參數(shù)(使得裝置和用戶移動(dòng)越快，音頻信號(hào)就源于后方越遠(yuǎn)處)。然后向音頻信號(hào)處理器111輸出處理后的模態(tài)參數(shù)，在該處理器處對(duì)待輸出的音頻信號(hào)執(zhí)行‘波束形成’。在一些實(shí)施例中，音頻信號(hào)處理器111還可以例如通過(guò)對(duì)音樂(lè)音頻信號(hào)使用頻率或者空間分析而從存儲(chǔ)或者接收的音頻信號(hào)分離來(lái)自音頻信號(hào)的分量，可以分離歌手和樂(lè)器部分，并且可以對(duì)每個(gè)分離的分量執(zhí)行依賴于來(lái)自傳感器16的信息的“波束形成”(換而言之，感知定向處理)。在本申請(qǐng)的一些其它實(shí)施例中，模態(tài)處理器107可以生成由背景傳感器109根據(jù)如下傳感器信息處理的模態(tài)參數(shù)，該傳感器信息在向音頻信號(hào)處理器111傳遞時(shí)可以執(zhí)行對(duì)來(lái)自麥克風(fēng)的音頻信號(hào)的‘主動(dòng)’導(dǎo)引(steering)處理。在這樣的實(shí)施例中，由在一個(gè)或者多個(gè)分立音頻源的方向上執(zhí)行高增益窄波束的音頻信號(hào)處理器111來(lái)抑制環(huán)境或者彌散音頻(噪聲)信號(hào)、但是向裝置的用戶傳遞來(lái)自分立來(lái)源的音頻信號(hào)。在一些實(shí)施例 中，背景處理器109可以根據(jù)裝置的新位置/定向更新來(lái)處理對(duì)波束的定向/方向進(jìn)行改變的模態(tài)參數(shù)(換而言之，裝置補(bǔ)償用戶和音頻源的任何相對(duì)運(yùn)動(dòng))。類似地，在一些實(shí)施例中，傳感器16可以指示音頻源的運(yùn)動(dòng)，并且類似地，背景處理器109處理模態(tài)參數(shù)以維持‘鎖定’于音頻信號(hào)源。音頻信號(hào)處理器111可以在一些實(shí)施例中還縮混處理后的音頻信號(hào)以產(chǎn)生適合用于向頭戴式耳機(jī)或者耳戴式揚(yáng)聲器(EWS) 33呈現(xiàn)的左和右聲道信號(hào)。然后可以向耳戴式揚(yáng)聲器輸出縮混的音頻信號(hào)。步驟215在圖3中示出了向耳戴式揚(yáng)聲器(EWS) 33輸出處理后的音頻信號(hào)。在如上文描述的這樣的實(shí)施例中，裝置將向用戶呈現(xiàn)更寬范圍的聽(tīng)覺(jué)提示以輔助用戶避免在用戶移動(dòng)時(shí)相撞/危險(xiǎn)的風(fēng)險(xiǎn)。因此本申請(qǐng)的實(shí)施例嘗試改進(jìn)用戶對(duì)用戶在其內(nèi)操作的環(huán)境和背景的感知。關(guān)于圖6，示出了實(shí)施例的一些現(xiàn)實(shí)應(yīng)用。用于對(duì)話應(yīng)用的擴(kuò)增聽(tīng)力可以在一些實(shí)施例中不僅使用于工業(yè)領(lǐng)域中而且例如并且如圖6中所示由在噪聲環(huán)境(比如音樂(lè)會(huì))中參與對(duì)話的用戶405的裝置使用。如果用戶移動(dòng)，則背景處理器109可以改變?cè)鲆娣植紙D從而用戶可以聽(tīng)見(jiàn)用戶周圍的聽(tīng)覺(jué)提示并且避免與其它人和物體相撞。又一應(yīng)用可以是控制城市環(huán)境中的環(huán)境噪聲抵消。當(dāng)用戶401使用的裝置的背景處理器109例如通過(guò)GPS位置/定向傳感器105位置結(jié)合本地道路網(wǎng)絡(luò)的知識(shí)而檢測(cè)到裝置到達(dá)忙碌的道路叉路時(shí)，然后可以針對(duì)裝置確定交通將來(lái)自的方向具體降低用于環(huán)境噪聲降低的增益分布圖。因此例如圖6中所示，用戶401使用的裝置降低用于用戶的右前和 右后象限區(qū)域的環(huán)境噪聲抵消(背景處理器109確定交通不太可能從左后迫近)。用于帶著裝置沿著道路騎自行車的用戶403的裝置可以在不可見(jiàn)危險(xiǎn)檢測(cè)模式中操作裝置。例如如圖6中所示，用戶使用的裝置10可以檢測(cè)電動(dòng)車輛從裝置的后方迫近。在一些實(shí)施例中，該檢測(cè)可以使用相機(jī)模塊作為傳感器的部分，而在一些其他實(shí)施例中，電動(dòng)車輛可以發(fā)送由裝置接收的危險(xiǎn)指示信號(hào)。背景處理器然后可以修改模態(tài)參數(shù)以通知音頻信號(hào)處理器111處理將要向用戶輸出的音頻信號(hào)。例如在一些實(shí)施例中，波束形成器/音頻處理器可以執(zhí)行車輛聲音的波束形成以增強(qiáng)低音量水平，并且如果電動(dòng)車輛太近地經(jīng)過(guò)則防止用戶受驚。在一些其他實(shí)施例中，如果電動(dòng)車輛太近地經(jīng)過(guò)，則音頻信號(hào)處理器可以輸出警告消息以防止用戶受驚。在一些另外的實(shí)施例中，可以組織聽(tīng)覺(jué)處理以輔助用戶到達(dá)目的地或者輔助具有視覺(jué)殘疾的人士。例如用戶407使用的裝置可以嘗試輔助用戶尋找郵局(如標(biāo)記408所示)。郵局可以廣播如下低水平聽(tīng)覺(jué)信號(hào)，該信號(hào)可以指示進(jìn)入建筑物是否將有任何困難(比如臺(tái)階)。另外，在一些實(shí)施例中，聽(tīng)覺(jué)信號(hào)處理器111在來(lái)自背景處理器109的指令之下可以收窄和定向波束、因此為進(jìn)入大樓提供聽(tīng)覺(jué)提示。類似地，經(jīng)過(guò)布告牌410的用戶409的背景處理器可以處理音頻信號(hào)——該信號(hào)可以是接收的麥克風(fēng)信號(hào)或者將向EWS傳遞的音頻信號(hào)(例如MP3或者相視音頻信號(hào))以生成指引用戶看布告牌的波束。在一些另外的實(shí)施例中，背景處理器可以在裝置經(jīng)過(guò)布告牌時(shí)通知音頻處理器轉(zhuǎn)送經(jīng)由收發(fā)器接收的關(guān)于產(chǎn)品的音頻信息或者公告牌上的信息。雖然上述例子描述在電子設(shè)備10或者裝置內(nèi)操作的本發(fā)明實(shí)施例，但是將理解如下文描述的本發(fā)明可以實(shí)施為任何音頻處理器的部分。因此例如本發(fā)明的實(shí)施例可以實(shí)施于如下音頻處理器中，該處理器可以通過(guò)固定或者有線通信路徑實(shí)施音頻處理。因此，用戶設(shè)備可以包括音頻處理器，比如在上述本發(fā)明實(shí)施例中描述的音頻處理器。應(yīng)當(dāng)理解術(shù)語(yǔ)電子設(shè)備和用戶設(shè)備旨在于覆蓋任何適當(dāng)類型的無(wú)線用戶設(shè)備(比如移動(dòng)電話、便攜數(shù)據(jù)處理設(shè)備或者便攜web瀏覽器)。一般而言，本發(fā)明的各種實(shí)施例可以實(shí)施于硬件或者專用電路、軟件、邏輯或者其任何組合中。例如一些方面可以實(shí)施于硬件中，而其它方面可以實(shí)施于可以由控制器、微處理器或者其它計(jì)算設(shè)備執(zhí)行的固件或者軟件中，但是本發(fā)明不限于此。盡管本發(fā)明的各種方面可以圖示和描述為框圖、流程圖或者使用某一其它圖形表示來(lái)圖示和描述，但是合理地理解這里描述的這些塊、裝置、系統(tǒng)、技術(shù)或者方法可以實(shí)施于作為非限制例子的硬件、軟件、固件、專用電路或者邏輯、通用硬件或者控制器或者其它計(jì)算設(shè)備或者其某一組合中。因此，在至少一個(gè)實(shí)施例中有一種裝置，該裝置包括控制器，配置成根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；以及音頻信號(hào)處理器，配置成根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；其中音頻信號(hào)處理器還被配置成輸出處理后的至少一個(gè)音頻信號(hào)。本發(fā)明的實(shí)施例可以由移動(dòng)設(shè)備的數(shù)據(jù)處理器可執(zhí)行的計(jì)算機(jī)軟件實(shí)施(比如實(shí)施于處理器實(shí)體中或者由硬件實(shí)施或者由軟件與硬件的組合實(shí)施)。另外就這一點(diǎn)而言，應(yīng)當(dāng)注意如圖中的邏輯流程的任何塊可以代表程序步驟或者互連的邏輯電路、塊和功能或者計(jì)算機(jī)程序與邏輯電路、塊和功能的組合。軟件可以存儲(chǔ)于物理介質(zhì)(比如實(shí)施于處理器內(nèi)的存儲(chǔ)器芯片或者存儲(chǔ)器塊)、磁介質(zhì)(比如硬盤或者軟盤)和光學(xué)介質(zhì)(如例如DVD及其數(shù)據(jù)變體、CD)上。 因此概括而言，在一些實(shí)施例中可以有用如下指令編碼的計(jì)算機(jī)可讀介質(zhì)，該指令在由計(jì)算機(jī)執(zhí)行時(shí)執(zhí)行根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且輸出處理后的至少一個(gè)音頻信號(hào)。存儲(chǔ)器可以是適合于本地技術(shù)環(huán)境的任何類型并且可以使用任何適當(dāng)數(shù)據(jù)存儲(chǔ)技術(shù)(比如基于半導(dǎo)體的存儲(chǔ)器設(shè)備、磁存儲(chǔ)器設(shè)備和系統(tǒng)、光學(xué)存儲(chǔ)器設(shè)備和系統(tǒng)、固定存儲(chǔ)器和可移除存儲(chǔ)器)來(lái)實(shí)施。數(shù)據(jù)處理器可以是適合于本地技術(shù)環(huán)境的任何類型并且可以包括作為非限制例子的通用計(jì)算機(jī)、專用計(jì)算機(jī)、微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、門級(jí)電路和基于多芯處理器架構(gòu)的處理器中的一種或者多種。本發(fā)明的實(shí)施例可以實(shí)現(xiàn)于各種部件(比如集成電路模塊)中。集成電路的設(shè)計(jì)主要是高度自動(dòng)化過(guò)程。復(fù)雜而強(qiáng)大的軟件工具可用于將邏輯級(jí)設(shè)計(jì)轉(zhuǎn)換成準(zhǔn)備好在半導(dǎo)體襯底上蝕刻和形成的半導(dǎo)體電路設(shè)計(jì)。程序(比如Mountain View, California 的 Synopsys, Inc.和 San Jose,California的Cadence Design提供的程序)使用建立好的設(shè)計(jì)規(guī)則以及預(yù)存設(shè)計(jì)模塊庫(kù)在半導(dǎo)體芯片上自動(dòng)對(duì)導(dǎo)體布線并且對(duì)部件定位。一旦已經(jīng)完成用于半導(dǎo)體電路的設(shè)計(jì)，可以向半導(dǎo)體制作設(shè)施或者“fab”發(fā)送標(biāo)準(zhǔn)化電子格式(例如Opus、GDSII等)的所得設(shè)計(jì)用于制作。如在本申請(qǐng)中所用，術(shù)語(yǔ)‘電路’指代所有以下各項(xiàng)(a)僅硬件的電路實(shí)施方式(比如在僅模擬和/或數(shù)字電路中的實(shí)施方式)，以及(b)電路與軟件(和/或固件)的組合(比如⑴處理器的組合或者(ii)處理器/軟件(包括數(shù)字信號(hào)處理器)、軟件和存儲(chǔ)器的如下部分，這些部分一起工作以使裝置(比如移動(dòng)電話或者服務(wù)器)執(zhí)行各種功能)；以及(C)即使軟件或者固件未物理上存在、仍然需要軟件或者固件用于操作的電路(比如微處理器或者微處理器的部分)。該‘電路’定義適用于該術(shù)語(yǔ)在本申請(qǐng)(包括任何權(quán)利要求)中的所有用法。作為又一例子，如在本申請(qǐng)中所用，術(shù)語(yǔ)‘電路’也將覆蓋僅一個(gè)處理器(或者多個(gè)處理器)或者處理器的部分及其附帶軟件和/或固件的實(shí)施方式。例如并且如果適用于特定權(quán)利要求要素，則術(shù)語(yǔ)‘電路’也將覆蓋基帶集成電路或者用于移動(dòng)電話的應(yīng)用處理器集成電路或者服務(wù)器、蜂窩網(wǎng)絡(luò)設(shè)備或者其它網(wǎng)絡(luò)設(shè)備中的相似集成電路。前文描述已經(jīng)通過(guò)示例和非限制例子提供對(duì)本發(fā)明示例實(shí)施例的完全而有啟發(fā)的描述。然而各種修改和適配鑒于在與附圖和所附權(quán)利要求結(jié)合閱讀時(shí)的前文描述可以變得為相關(guān)領(lǐng)域技術(shù)人員所清楚。然而對(duì)本發(fā)明的教導(dǎo)的所有這樣和相似的修改仍將落入如 在所附權(quán)利要求中限定的本發(fā)明范圍內(nèi)。
權(quán)利要求
1.一種方法，包括 根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)； 根據(jù)所述處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且 輸出所述處理后的至少一個(gè)音頻信號(hào)。
2.如權(quán)利要求I所述的方法，還包括 根據(jù)至少一個(gè)另外的傳感器輸入?yún)?shù)生成所述至少一個(gè)控制參數(shù)。
3.如權(quán)利要求I和2所述的方法，其中處理至少一個(gè)音頻信號(hào)包括對(duì)所述至少一個(gè)音頻信號(hào)進(jìn)行波束形成，并且所述至少一個(gè)控制參數(shù)包括以下項(xiàng)中的至少一個(gè) 增益和延遲值； 波束形成波束增益函數(shù)； 波束形成波束寬度函數(shù)； 波束形成波束定向函數(shù)；以及 感知的定向波束形成增益和波束寬度參數(shù)。
4.如權(quán)利要求I和2所述的方法，其中處理至少一個(gè)音頻信號(hào)包括以下操作中的至少一個(gè) 混合所述至少一個(gè)音頻信號(hào)與至少一個(gè)另外的音頻信號(hào)； 放大所述至少一個(gè)音頻信號(hào)的至少一個(gè)分量；并且 去除所述至少一個(gè)音頻信號(hào)的至少一個(gè)分量。
5.如權(quán)利要求I至4所述的方法，其中所述至少一個(gè)音頻信號(hào)包括以下信號(hào)中的至少一個(gè) 麥克風(fēng)音頻信號(hào)； 接收的音頻信號(hào)；以及 存儲(chǔ)的音頻信號(hào)。
6.如權(quán)利要求I至5所述的方法，還包括接收至少一個(gè)傳感器輸入?yún)?shù)，其中所述至少一個(gè)傳感器輸入?yún)?shù)包括以下項(xiàng)的至少一個(gè) 運(yùn)動(dòng)數(shù)據(jù)； 位置數(shù)據(jù)； 定向數(shù)據(jù)； 化學(xué)物質(zhì)數(shù)據(jù)； 發(fā)光度數(shù)據(jù)； 溫度數(shù)據(jù)； 圖像數(shù)據(jù)；以及 氣壓。
7.如權(quán)利要求I至6所述的方法，其中根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)包括根據(jù)所述至少一個(gè)傳感器輸入?yún)?shù)是否大于或者等于至少一個(gè)預(yù)定值的確定而修改所述至少一個(gè)控制參數(shù)。
8.如權(quán)利要求I至7所述的方法，其中輸出所述處理后的至少一個(gè)輸出信號(hào)還包括 根據(jù)所述處理后的至少一個(gè)音頻信號(hào)生成雙耳信號(hào)； 向至少耳戴式揚(yáng)聲器輸出所述雙耳信號(hào)。
9.一種裝置，包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置成與所述至少一個(gè)處理器一起使所述裝置至少執(zhí)行 根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)； 根據(jù)所述處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且 輸出所述處理后的至少一個(gè)音頻信號(hào)。
10.如權(quán)利要求9所述的裝置，其中所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置成與所述至少一個(gè)處理器一起使所述裝置還執(zhí)行 根據(jù)至少一個(gè)另外的傳感器輸入?yún)?shù)生成所述至少一個(gè)控制參數(shù)。
11.如權(quán)利要求9和10所述的裝置，其中處理至少一個(gè)音頻信號(hào)使所述裝置至少執(zhí)行對(duì)所述至少一個(gè)音頻信號(hào)進(jìn)行波束形成，并且所述至少一個(gè)控制參數(shù)包括以下項(xiàng)中的至少一個(gè) 增益和延遲值； 波束形成波束增益函數(shù)； 波束形成波束寬度函數(shù)； 波束形成波束定向函數(shù)；以及 感知的定向波束形成增益和波束寬度參數(shù)。
12.如權(quán)利要求9和10所述的裝置，其中處理至少一個(gè)音頻信號(hào)使所述裝置至少執(zhí)行以下操作中的至少一個(gè) 混合所述至少一個(gè)音頻信號(hào)與至少一個(gè)另外的音頻信號(hào)； 放大所述至少一個(gè)音頻信號(hào)的至少一個(gè)分量；并且 去除所述至少一個(gè)音頻信號(hào)的至少一個(gè)分量。
13.如權(quán)利要求9至12所述的裝置，其中所述至少一個(gè)音頻信號(hào)包括以下信號(hào)中的至少一個(gè) 麥克風(fēng)音頻信號(hào)； 接收的音頻信號(hào)；以及 存儲(chǔ)的音頻信號(hào)。
14.如權(quán)利要求9至12所述的裝置，其中所述至少一個(gè)存儲(chǔ)器和所述計(jì)算機(jī)程序代碼被配置成與所述至少一個(gè)處理器一起使所述裝置還執(zhí)行接收至少一個(gè)傳感器輸入?yún)?shù)，其中所述至少一個(gè)傳感器輸入?yún)?shù)包括以下項(xiàng)中的至少一個(gè) 運(yùn)動(dòng)數(shù)據(jù)； 位置數(shù)據(jù)； 定向數(shù)據(jù)； 化學(xué)物質(zhì)數(shù)據(jù)； 發(fā)光度數(shù)據(jù)； 溫度數(shù)據(jù)； 圖像數(shù)據(jù)；以及 氣壓。
15.如權(quán)利要求9至14所述的裝置，其中根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)使所述裝置至少執(zhí)行根據(jù)所述至少一個(gè)傳感器輸入?yún)?shù)是否大于或者等于至少一個(gè)預(yù)定值的確定而修改所述至少一個(gè)控制參數(shù)。
16.如權(quán)利要求9至15所述的裝置，其中輸出所述處理后的至少一個(gè)輸出信號(hào)使所述裝置至少執(zhí)行 根據(jù)所述處理后的至少一個(gè)音頻信號(hào)生成雙耳信號(hào)；并且 向至少耳戴式揚(yáng)聲器輸出所述雙耳信號(hào)。
全文摘要
一種裝置包括至少一個(gè)處理器和包括計(jì)算機(jī)程序代碼的至少一個(gè)存儲(chǔ)器，至少一個(gè)存儲(chǔ)器和計(jì)算機(jī)程序代碼被配置成與至少一個(gè)處理器一起使裝置至少執(zhí)行根據(jù)至少一個(gè)傳感器輸入?yún)?shù)處理至少一個(gè)控制參數(shù)；根據(jù)處理后的至少一個(gè)控制參數(shù)處理至少一個(gè)音頻信號(hào)；并且輸出處理后的至少一個(gè)音頻信號(hào)。
文檔編號(hào)H04R3/00GK102687529SQ200980163241
公開(kāi)日2012年9月19日 申請(qǐng)日期2009年11月30日 優(yōu)先權(quán)日2009年11月30日
發(fā)明者A·M·卡爾凱南, J·維羅萊南 申請(qǐng)人:諾基亞公司