本文中公開的示例實施例總體上涉及音頻信號處理,并且更具體地,涉及用于利用遠(yuǎn)端用戶控制信息處理音頻信號的方法和設(shè)備。
背景技術(shù):
在諸如電話會議系統(tǒng)或互聯(lián)網(wǎng)協(xié)議語音(VoIP)系統(tǒng)之類的音頻通信系統(tǒng)中,多個設(shè)備可以經(jīng)由無線或有線連接而在彼此之間共享采集到的語音信號。發(fā)送端設(shè)備通過麥克風(fēng)或麥克風(fēng)陣列從本地說話者采集語音信號。一般而言,在將采集到的信號發(fā)送至一個或多個遠(yuǎn)端接收端設(shè)備之前,發(fā)送端設(shè)備將對采集到的語音信號采用各種處理操作。這樣的處理操作的示例包括但不限于噪聲抑制、語音增強、均衡、回波消除和音頻編碼。
然而,由于發(fā)送端設(shè)備不具有關(guān)于接收端設(shè)備、接收端設(shè)備的環(huán)境或者接收端設(shè)備的用戶的偏好等先驗知識,發(fā)送端設(shè)備通常對采集到的語音信號應(yīng)用預(yù)定義的處理操作集合。如果經(jīng)處理的語音信號不適配于遠(yuǎn)端接收端設(shè)備或者接收端設(shè)備的用戶,在接收端側(cè)的播放體驗將被降低。例如,可能遠(yuǎn)端用戶不喜歡音頻的背景噪聲被移除的方式。然而,即使這樣,該用戶也沒有辦法控制發(fā)送端設(shè)備中的噪聲抑制。
一種可能的解決方案是將未處理語音信號發(fā)送至接收端設(shè)備,從而語音信號可以由每個接收端設(shè)備根據(jù)本地環(huán)境來進(jìn)行本地處理。然而,接收端設(shè)備具有較少與采集到的音頻有關(guān)的知識。因此,音頻信號處理的準(zhǔn)確性可能某種程度上被降低。此外,原始語音信號的傳輸通常消耗更過的網(wǎng)絡(luò)帶寬,這潛在地降低了音頻傳輸速度和整體系統(tǒng)性能。而且,即使音頻信號在接收端設(shè)備處被處理,用戶仍然不能夠 具有對音頻處理的直接控制。
技術(shù)實現(xiàn)要素:
本文中公開的示例實施例提出了一種用于基于遠(yuǎn)端用戶控制信息來處理音頻信號的解決方案。
在一個方面,本文中公開的示例實施例提供了一種處理音頻信號的方法。該方法包括在當(dāng)前設(shè)備處接收來自遠(yuǎn)端設(shè)備的控制參數(shù),控制參數(shù)基于遠(yuǎn)端設(shè)備的用戶輸入而生成并且指定針對要被傳輸?shù)竭h(yuǎn)端設(shè)備的音頻信號的用戶偏好。該方法還包括基于所接收的控制參數(shù)來處理音頻信號,以及將經(jīng)處理的音頻信號傳輸至遠(yuǎn)端設(shè)備。這方面的實施例還包括相應(yīng)的計算機程序產(chǎn)品。
在第二方面,本文中公開的示例實施例提供了一種處理音頻信號的方法。該方法包括在當(dāng)前設(shè)備處基于當(dāng)前設(shè)備的用戶輸入來生成控制參數(shù),控制參數(shù)指定針對要由遠(yuǎn)端設(shè)備傳輸至當(dāng)前設(shè)備的音頻信號的用戶偏好。該方法還包括將控制參數(shù)傳輸至遠(yuǎn)端設(shè)備以供處理音頻信號以及從遠(yuǎn)端設(shè)備接收經(jīng)處理的音頻信號。這方面的實施例還包括相應(yīng)的計算機程序產(chǎn)品。
在第三方面,本文中公開的示例實施例提供了一種設(shè)備。該設(shè)備包括接收器,被配置為接收來自遠(yuǎn)端設(shè)備的控制參數(shù),控制參數(shù)基于遠(yuǎn)端設(shè)備的用戶輸入而生成并且指定針對要被傳輸?shù)竭h(yuǎn)端設(shè)備的音頻信號的用戶偏好。該設(shè)備還包括處理單元,被配置為基于所接收的控制參數(shù)來處理音頻信號以及發(fā)射器,被配置為將經(jīng)處理的音頻信號傳輸至遠(yuǎn)端設(shè)備。
在第四方面,本文中公開的示例實施例提供了一種設(shè)備。該設(shè)備包括參數(shù)生成器,被配置為基于設(shè)備的用戶輸入來生成控制參數(shù),控制參數(shù)指定針對要由遠(yuǎn)端設(shè)備傳輸至該設(shè)備的音頻信號的用戶偏好。該設(shè)備還包括發(fā)射器,被配置為將控制參數(shù)傳輸至遠(yuǎn)端設(shè)備以供處理音頻信號以及接收器,被配置為從遠(yuǎn)端設(shè)備接收經(jīng)處理的音頻信號。
通過下文描述將會理解,根據(jù)本文中公開的示例實施例,遠(yuǎn)端接 收端設(shè)備通過向發(fā)送端設(shè)備傳輸指定用戶偏好的控制參數(shù)而被允許控制發(fā)送端設(shè)備中的音頻信號的處理,從而發(fā)送端設(shè)備基于接收到的控制參數(shù)來處理音頻信號。經(jīng)處理的音頻信號然后被傳輸至接收端設(shè)備。因此,遠(yuǎn)端接收端設(shè)備的用戶能夠經(jīng)由本地設(shè)備處的用戶交互而具有對音頻信號處理的直接控制,這可以顯著地提升用戶體驗。此外,音頻信號仍然維持在發(fā)送端側(cè)被處理,這可以維持音頻信號處理的準(zhǔn)確性,因為采集音頻信號的發(fā)送端設(shè)備具有與音頻信號有關(guān)的更多知識。另一方面,在發(fā)送端設(shè)備與接收端設(shè)備之間傳輸經(jīng)處理的音頻信號而不是原始音頻信號將潛在地消耗更少的網(wǎng)絡(luò)帶寬。本文中公開的示例實施例所帶來的其他益處將通過下文描述而清楚。
附圖說明
通過參考附圖閱讀下文的詳細(xì)描述,本文中公開的示例實施例的上述以及其他目的、特征和優(yōu)點將變得易于理解。在附圖中,以示例而非限制性的方式示出了本文中公開的若干示例實施例,其中:
圖1是根據(jù)本文中公開的一個示例實施例的包含音頻發(fā)送端設(shè)備和音頻接收端設(shè)備的音頻通信系統(tǒng)的框圖;
圖2是根據(jù)本文中公開的一個示例實施例的圖示用于在接收端設(shè)備處控制處理參數(shù)的用戶圖形界面的示意圖;
圖3是根據(jù)本文中公開的一個示例實施例的包含一個音頻發(fā)送端設(shè)備和多個音頻接收端設(shè)備的音頻通信系統(tǒng)的框圖;
圖4是根據(jù)本文中公開的一個示例實施例的在音頻發(fā)送端設(shè)備中的處理音頻信號的方法的流程圖;
圖5是根據(jù)本文中公開的一個示例實施例的在音頻接收端設(shè)備中的處理音頻信號的方法的流程圖;以及
圖6示出了適于實現(xiàn)本文中公開的示例實施例的示例計算機系統(tǒng)的框圖。
在各個附圖中,相同或?qū)?yīng)的標(biāo)號表示相同或?qū)?yīng)的部分。
具體實施方式
下面將參考附圖中示出的若干示例實施例來描述本文中所公開的示例實施例的原理。應(yīng)當(dāng)理解,描述這些實施例僅僅是為了使本領(lǐng)域技術(shù)人員能夠更好地理解進(jìn)而實現(xiàn)本文中所公開的示例實施例,而并非以任何方式限制本文中所公開的主題的范圍。
在本文中使用的術(shù)語“包括”及其變形表示開放性包括,即“包括但不限于”。除非特別申明,術(shù)語“或”表示“和/或”。術(shù)語“基于”表示“至少部分地基于”。術(shù)語“一個示例實施例”和“示例實施例”表示“至少一個示例實施例”。術(shù)語“另一實施例”表示“至少一個另外的實施例”。術(shù)語“第一設(shè)備”、“第二設(shè)備”和“第三設(shè)備”可彼此互換地使用。例如,第一設(shè)備可以用作第二設(shè)備或第三設(shè)備,第二設(shè)備可以用作第一設(shè)備或第三設(shè)備,并且第三設(shè)備可以用作第一設(shè)備或第二設(shè)備。
圖1示出了根據(jù)本文中公開的一個示例實施例的包含音頻發(fā)送端設(shè)備和音頻接收端設(shè)備的音頻通信系統(tǒng)100的框圖。在系統(tǒng)100中,第一設(shè)備11是音頻發(fā)送端設(shè)備,并且第二設(shè)備12是音頻接收端設(shè)備。第二設(shè)備12是相對于第一設(shè)備11的遠(yuǎn)端設(shè)備,并且第一設(shè)備11是相對于第二設(shè)備12的遠(yuǎn)端設(shè)備。第一設(shè)備11或第二設(shè)備12可以例如是會議設(shè)備、蜂窩電話、用戶設(shè)備、移動終端、多媒體播放器、計算機、膝上型計算機、平板計算機、便攜式設(shè)備、游戲設(shè)備、計算機監(jiān)視器、電視、或者其他電子設(shè)備。
在一些實施例中,第一設(shè)備11可以從麥克風(fēng)或麥克風(fēng)陣列采集音頻信號,以用于傳輸至第二設(shè)備12。在一些其他實施例中,音頻信號可以由外部設(shè)備采集并且然后傳輸至第一設(shè)備11。音頻信號可以包括語音、噪聲、音樂、對話等。
如圖1所描繪的,第一設(shè)備11包括處理單元110、發(fā)射器112和接收器114。處理單元110被配置為處理音頻信號,諸如執(zhí)行噪聲抑制、語音增強、均衡、回波消除、編碼壓縮等等。經(jīng)處理的語音信號由發(fā)射器112傳輸至第二設(shè)備12。
如圖1所描繪的,第二設(shè)備12包括參數(shù)生成器120、發(fā)射器122和接收器124。接收器124被配置為接收經(jīng)處理的音頻信號并且在一些實施例中經(jīng)由一個或多個揚聲器播放給本地用戶。
本領(lǐng)域技術(shù)人員將理解的是,盡管圖1和圖3圖示了在第一設(shè)備和第二設(shè)備(11/12)中的單個接收器(114/124)和單個發(fā)射器(112/122),這些設(shè)備也可以配備有多個發(fā)射器和接收器,這些發(fā)射器和接收器可以例如被配置用于多輸入多輸出(MIMO)操作。
在圖1的實施例中,經(jīng)處理的音頻信號通過網(wǎng)絡(luò)13被傳輸至第二設(shè)備。經(jīng)處理的音頻信號可以處于第一設(shè)備和第二設(shè)備11和12商定的并且網(wǎng)絡(luò)13能夠支持的預(yù)定義協(xié)議。網(wǎng)絡(luò)13可以例如是蜂窩網(wǎng)絡(luò)、互聯(lián)網(wǎng)/TCP網(wǎng)絡(luò)、局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、Wi-Fi網(wǎng)絡(luò)、藍(lán)牙個域網(wǎng)(PAN)、Zigbee網(wǎng)絡(luò)、WiGig網(wǎng)絡(luò)、公共陸地移動網(wǎng)絡(luò)(PLMN)、或者任何其他無線或有線網(wǎng)絡(luò)。蜂窩網(wǎng)絡(luò)可以例如包括使用寬帶CDMA(WCDMA)的通用移動通信系統(tǒng)(UMTS)陸地?zé)o線接入(UTRA),采用如下通信協(xié)議:諸如高速分組接入(HSPA)和/或演進(jìn)型HSPA(HSPA+),還包括CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫行標(biāo)準(zhǔn)(Interim Standard)2000(IS-2000)、暫行標(biāo)準(zhǔn)95(IS-95)、暫行標(biāo)準(zhǔn)856(IS-856)、全球移動通信系統(tǒng)(GSM)、增強型數(shù)據(jù)速率的GSM演進(jìn)(EDGE)、GSM EDGE(GERAN)網(wǎng)絡(luò)、諸如最近在美國采用的FirstNet互操作性寬帶網(wǎng)絡(luò)之類的第一反應(yīng)者網(wǎng)絡(luò)(first responders network)、以及支持在一個或多個第三代合作伙伴計劃(3GPP)規(guī)范中規(guī)定的長期演進(jìn)(LTE)和/或LTE-高級(LTE-A)空口的演進(jìn)型UMTS陸地?zé)o線接入(E-UTRA)網(wǎng)絡(luò)。進(jìn)一步地,在網(wǎng)絡(luò)13中適用的Wi-Fi網(wǎng)絡(luò)可以例如是IEEE 802.16網(wǎng)絡(luò)(例如,全球微波接入互操作性(WiMAX))。在一些其他實施例中,第一設(shè)備11和第二設(shè)備12可以經(jīng)由無線或有線連接而直接地連接。
根據(jù)本文中公開的示例實施例,第二設(shè)備12可以向第一設(shè)備11傳輸控制參數(shù),以控制在音頻發(fā)送端側(cè)的音頻處理。包括在設(shè)備12 中的參數(shù)生成器120被配置為基于來自第二設(shè)備12的本地用戶的用戶輸入,來生成控制參數(shù)。也就是說,控制參數(shù)可以通過音頻接收端設(shè)備(例如,第二設(shè)備12)處的用戶交互來獲得??刂茀?shù)可以指定針對要由第一設(shè)備11傳輸至第二設(shè)備12的音頻信號的用戶偏好。在本文中公開的一些實施例中,第二設(shè)備13可以接收用戶的用戶輸入并且然后基于用戶輸入來生成對應(yīng)的控制參數(shù)。
例如,如果第二設(shè)備12的用戶意圖增加對音頻信號的噪聲抑制水平,可以在第二設(shè)備12上顯示針對噪聲抑制水平的若干選項。一旦用戶選擇這些選項之一,則可以生成對應(yīng)的噪聲抑制水平并且該噪聲抑制水平作為控制參數(shù)而經(jīng)由網(wǎng)絡(luò)13被發(fā)送至第一設(shè)備11。
第二設(shè)備12可以另外地包括輸入-輸出接口(未被示出)。輸入-輸出接口可以包括檢測器、按鈕、操縱桿、點擊輪、滾輪、觸摸屏、諸如跟蹤板或基于觸摸傳感器的按鈕之類的其它觸摸傳感器、振動器、諸如麥克風(fēng)和揚聲器之類的音頻部件、諸如攝像機、鍵盤、鍵墊、以及用于從用戶或其它外部源收集輸入和/或生成用于用戶或用于外部設(shè)備的輸出的其它裝置。
輸入-輸出接口可以被配置為示出對于本地用戶而言可用的音頻處理的類型和水平,并且接收第二設(shè)備12的用戶輸入。用戶輸入然后可以被提供至第二設(shè)備12的參數(shù)生成器120以生成控制參數(shù)。
經(jīng)生成的控制參數(shù)由第二設(shè)備12的發(fā)射器122傳輸至第一設(shè)備11。包括在第一設(shè)備11中的接收器114從第二設(shè)備12接收控制參數(shù)并且將控制參數(shù)傳遞至處理單元110。處理單元110被配置為基于控制參數(shù)來處理音頻信號。具體地,在本文中公開的一些實施例中,處理單元110還可以具有一組預(yù)定義的處理操作并且可以基于控制參數(shù)來調(diào)整一個或多個處理算法或操作。如果從第二設(shè)備12接收的控制參數(shù)僅指定音頻信號的一個或一些處理方面,在本文中公開的一些實施例中,在第一設(shè)備11處的其他方面的處理操作可以維持不變。
在本文中公開的一些進(jìn)一步實施例中,除了控制參數(shù)之外,在處理單元110處理音頻信號時,還可以考慮第一設(shè)備11的處理能力和/ 或可用于傳輸經(jīng)處理的音頻信號的網(wǎng)絡(luò)帶寬。在這些實施例中,音頻處理可以在音頻接收端設(shè)備的用戶偏好、音頻發(fā)送端設(shè)備的本地處理能力和傳輸帶寬中取折中。例如,如果控制參數(shù)指定將消耗大量處理資源的噪聲抑制方案,第一設(shè)備11中的處理單元110可以在用戶偏好的噪聲抑制與本地處理資源之間做出折中。在另一個示例中,如果網(wǎng)絡(luò)13中沒有足夠的帶寬用于傳輸?shù)诙O(shè)備12的用戶偏好的高質(zhì)量音頻,處理單元110可以犧牲音頻質(zhì)量以便成功地傳輸經(jīng)處理的音頻信號。
在本文中公開的一些實施例中,控制參數(shù)可以指定噪聲抑制水平、均衡水平、回波消除、編碼壓縮率、感興趣的源方向、等等。
在其中控制參數(shù)指定噪聲抑制水平的一些示例實施例中,可以在第二設(shè)備12的輸入-輸出接口上為用戶顯示若干噪聲抑制水平的選項。一旦接收到選擇這些選項之一的用戶輸入,可以由參數(shù)生成器120生成指定該抑制水平的控制參數(shù),并且將該控制參數(shù)由發(fā)射器122提供至第一設(shè)備11。設(shè)備11中的處理單元110然后可以基于該控制參數(shù)來抑制音頻信號中的噪聲。例如,處理單元110可以基于指定的噪聲抑制水平來確定要被應(yīng)用至音頻信號的不同頻帶的增益,從而在特定頻帶上的環(huán)境噪聲可以被抑制。在一些其他實施例中,抑制水平可以是由第一設(shè)備11可以實現(xiàn)的抑制水平范圍內(nèi)的連續(xù)值。第二設(shè)備12的用戶然后可以從該范圍中選擇所期望的抑制水平。
在本文中公開的一些示例實施例中,可以為第二設(shè)備12的用戶顯示若干均衡水平的選項,以判斷所期望的均衡處理。在這些實施例中生成的控制參數(shù)可以指定由用戶選擇的均衡水平。一旦接收到選擇這些選項之一的用戶輸入,可以由參數(shù)生成器120生成指定該均衡水平的控制參數(shù),并且該控制參數(shù)由發(fā)射器122提供至第一設(shè)備11。然后由第一設(shè)備11的處理單元110基于由控制參數(shù)指定的均衡水平來對音頻信號進(jìn)行均衡。在一些其他實施例中,均衡水平可以是由第一設(shè)備11可以實現(xiàn)的均衡水平范圍內(nèi)的連續(xù)值。第二設(shè)備12的用戶然后可以從該范圍中選擇所期望的均衡水平。
在一些其他示例實施例中,可以顯示針對回波消除的選項,從而本地用戶能夠通過選擇或者不選擇這個選項,來決定是否對要從第一設(shè)備11傳輸?shù)囊纛l信號執(zhí)行回波消除。在這些實施例中,生成的控制參數(shù)可以指定回波消除。更具體地,控制參數(shù)可以指定音頻信號的回波消除是否由第二設(shè)備12的用戶激活。控制參數(shù)可以由第二設(shè)備12的發(fā)射器122經(jīng)由網(wǎng)絡(luò)13傳輸至第一設(shè)備11的接收器114,并且然后控制參數(shù)被傳遞至設(shè)備11內(nèi)的處理單元110。處理單元110可以在音頻處理期間對音頻信號執(zhí)行回波消除。
在本文中公開的一些實施例中,第二設(shè)備12的用戶還可以被允許控制要從音頻發(fā)送端設(shè)備傳輸?shù)囊纛l信號的編碼方案。例如,第二設(shè)備12的用戶可以能夠基于接收側(cè)的音頻感知質(zhì)量和/或網(wǎng)絡(luò)帶寬來改變編碼壓縮率。在這些實施例中,生成的控制參數(shù)可以指定編碼壓縮率。在一些實施例中,第二設(shè)備12可以向用戶顯示可能的編碼壓縮率。在一些其他實施例中,編碼壓縮率可以對應(yīng)于音頻編碼方案。用戶可以從可能的音頻編碼格式中選擇能夠提供良好的感知質(zhì)量和/或高速的網(wǎng)絡(luò)傳輸?shù)钠靡纛l編碼格式。用戶輸入可以被傳輸至參數(shù)生成器120以生成對應(yīng)的控制參數(shù)??刂茀?shù)由發(fā)射器122經(jīng)由網(wǎng)絡(luò)13傳輸至第一設(shè)備11。包括在第一設(shè)備11中的處理單元110然后可以基于指定的編碼方案來編碼音頻信號。
在一些情況下,來自第一設(shè)備11的多個說話者的語音以及來自一個或多個噪聲源的背景噪聲可能被采集在音頻信號中。例如,一個會議方的多個參與者可能涉及在與另一會議方的電話會議中。會議設(shè)備可以經(jīng)由例如麥克風(fēng)陣列采集這些參與者的語音,并且然后將這些語音音頻發(fā)送至另一個會議參與者。在其中音頻信號包括來自多個源方向(例如,坐在會議室的不同方向中的多個說話者)的音頻的音頻信號的實施例中,第二設(shè)備12的用戶可能偏好增強來自這些說話者中的一些(或者僅一個)說話者的語音。
為了向遠(yuǎn)端用戶提供改變偏好的源方向的能力,在本文中公開的一些實施例中,第一設(shè)備11、諸如包括在設(shè)備11中的處理單元110 可以標(biāo)識音頻信號中的多個源方向。所標(biāo)識的源方向可以由第一設(shè)備11的發(fā)射器112傳輸至第二設(shè)備12。以這種方式,通過在第二設(shè)備12上顯示所標(biāo)識的源方向,用戶可以能夠從所限制的源方向中選擇一個或多個感興趣的源方向。
在一個示例實施例中,處理單元110可以執(zhí)行說話者識別以標(biāo)識可能的本地說話者。在這種情況下,所標(biāo)識的源方向中的每個源方向?qū)?yīng)于發(fā)送端側(cè)的活躍說話者。在另一個實施例中,處理單元110可以從采集到的音頻信號中分離處音頻源方向,每個源方向?qū)?yīng)于一個聲源。聲源可以是說話者、噪聲源等。注意的是,可以采用用于說話者識別或音頻源分離的任何已知的或者未來開發(fā)的方法。本文中公開的主題的范圍在此方面不受限制。
在進(jìn)一步的示例實施例中,第一設(shè)備11可以采集與音頻信號相關(guān)聯(lián)的視頻信號。在這個實施例中,第一設(shè)備11可以配備有視頻采集設(shè)備、諸如攝像機。視頻信號可以被傳輸至第二設(shè)備12,以允許用戶選擇包含在視頻信號中的一個或多個說話者以增強他們的語音指令。
在又一個示例實施例中,第二設(shè)備12的用戶可以能夠激活第一設(shè)備11中的語音活動性檢測(VAD)功能。例如,第二設(shè)備12的用戶可以選擇在第二設(shè)備12上示出的選項,以激活第一設(shè)備11中的VAD功能。激活VAD的偏好可以被通知給第一設(shè)備11。第一設(shè)備11然后可以僅標(biāo)識音頻信號中與說話者相對應(yīng)的源方向。
標(biāo)識的源方向可以由第一設(shè)備11的發(fā)射器112通知給第二設(shè)備12。在一些實施例中,可以傳輸源方向的標(biāo)識符。標(biāo)識符可以是說話者的名字、或者能夠?qū)⒄f話者或說話者的方向彼此區(qū)別的任何其他字符或數(shù)字。
第二設(shè)備12中的接收器124可以經(jīng)由網(wǎng)絡(luò)13從第一設(shè)備11接收所標(biāo)識的源方向。所標(biāo)識的源方向可以被顯示在第二設(shè)備12上,從而用戶可以選擇感興趣的源方向。在一個實施例中,所標(biāo)識的源方向可以被羅列在一張表中,該表的每個條目對應(yīng)于一個源方向。通過 選擇該表的條目,可以由用戶選擇對應(yīng)的源方向,并且可以生成指定感興趣的源方向的對應(yīng)控制參數(shù)。在另一個實施例中,所標(biāo)識的源方向可以被顯示在二維圖形界面中,每個源方向的標(biāo)識符位于對應(yīng)的方向。通過這種方式,源方向可以在視覺上被顯示以促進(jìn)用戶選擇。在又一個示例實施例中,所標(biāo)識的源方向可以以三維球面窗口來呈現(xiàn),以進(jìn)一步促進(jìn)用戶選擇偏好的源方向。在其中提供了相關(guān)聯(lián)的音頻信號的實施例中,第二設(shè)備12的用戶還可以例如通過點擊或者圈出設(shè)備12上顯示的視頻圖像來選擇任何感興趣的源方向或說話者。
將理解的是,可以采用許多其他呈現(xiàn)方式來向第二設(shè)備12的用戶顯示所標(biāo)識的源方向,并且本文中公開的主題的范圍在此方面不受限制。
在一些其他實施例中,第二設(shè)備12的用戶可以在沒有第一設(shè)備11的源方向標(biāo)識的情況下選擇感興趣的源方向。例如,可以在第二設(shè)備12上示出具有方向范圍的轉(zhuǎn)盤。在這些實施例中,可以由用戶在轉(zhuǎn)盤上精細(xì)調(diào)節(jié)期望增強其中的音頻質(zhì)量的源方向。
一旦用戶將所標(biāo)識的源方向中的一個或多個源方向選擇為感興趣的源方向,通知感興趣的方向的控制參數(shù)可以由參數(shù)生成器120生成,并且由發(fā)射器122經(jīng)由網(wǎng)絡(luò)13傳輸至第一設(shè)備11。
第一設(shè)備11中的接收器114可以接收這個控制參數(shù)并且將其傳遞至處理單元110以干預(yù)音頻信號處理。在一些實施例中,處理單元110可以被配置為通過相對于其他標(biāo)識的源方向而增強音頻信號在感興趣的源方向中的音頻質(zhì)量,來處理音頻信號。具體地,處理單元110可以構(gòu)建波束成形(beamformer)以使得在感興趣的源方向中的語音可以被增強,而在其他方向中的環(huán)境噪聲或音頻可以被抑制。經(jīng)處理的音頻信號可以在感興趣的源方向中具有增長的音頻質(zhì)量,這是音頻接收端設(shè)備的用戶是偏好的。
注意的是,盡管第一設(shè)備11可以自動執(zhí)行語音增強,在第一設(shè)備11不具有關(guān)于音頻接收端設(shè)備的用戶偏好哪個方向的知識時,所增強的語音可能是不期望的。根據(jù)本文中提供的語音增強,音頻接收 端側(cè)的用戶可以靈活地改變要在音頻發(fā)送端設(shè)備中被增強的源方向。
還可以傳輸由麥克風(fēng)陣列采集的所有音頻信號并且在音頻接收端設(shè)備(例如,第二設(shè)備12)處執(zhí)行語音增強,從而用戶可以選擇感興趣的源方向來增強音頻質(zhì)量。然而,這種方法基本上需要更多的網(wǎng)絡(luò)帶寬用于傳輸多聲道音頻信號。但是,根據(jù)本文中提供的方法,第一設(shè)備11可以僅需要從所構(gòu)造的波束成形中傳輸出單聲道信號或者具有減少數(shù)目的聲道的信號給第二設(shè)備12,這可以潛在地降低所需要的網(wǎng)絡(luò)帶寬。
圖2示出了根據(jù)本文中公開的一個示例實施例的圖示用于在第二設(shè)備12處控制處理參數(shù)的用戶圖形界面200的示意圖。用戶圖形界面200可以被提供在第二設(shè)備12上。在用戶圖形界面200中,示出了音頻處理的可能的類型的選項,包括噪聲抑制水平21、均衡水平22、編碼壓縮率23、回波消除24和感興趣的源方向25。第二設(shè)備12的用戶可以能夠通過展開選項21、22、23和25或者通過選擇選項24來控制音頻處理的水平。如圖2所示,回波消除的處理被選擇,從而經(jīng)處理的音頻信號可以被消除了回波。第二設(shè)備12的用戶還期望通過選擇感興趣的源方向來控制音頻信號的語音增強。從第一設(shè)備11接收的所標(biāo)識的源方向可以被示出在用戶圖像界面200中,其中三個說話者,即說話者1、2和3,位于相應(yīng)的方向中。假設(shè)用戶想要增強說話者3的語音質(zhì)量。用戶可以直接點擊在用戶圖形界面200中示出的說話者3的標(biāo)識符。與說話者3對應(yīng)的源方向可以由參數(shù)生成器120確定作為感興趣的源方向。感興趣的源方向可以被提供至第一設(shè)備11以控制語音增強處理。
以上出于解釋說明的目的討論了基于從遠(yuǎn)端音頻接收端設(shè)備提供的控制參數(shù)進(jìn)行音頻處理的一些示例。將理解的是,可以由音頻接收端設(shè)備的用戶指定任何其他類型的音頻處理并且將它們發(fā)送至音頻發(fā)送端設(shè)備以控制音頻處理。
在一些進(jìn)一步的實施例中,第一設(shè)備11還可以獲得與音頻信號相關(guān)聯(lián)的視頻信號、處理該視頻信號并且將經(jīng)處理的視頻信號傳輸至 第二設(shè)備12。例如,在視頻會議系統(tǒng)中,一個會議方的語音和圖像可以被采集并且傳輸至其他會議方。一般而言,音頻和視頻接收端側(cè)的用戶、諸如第二設(shè)備12的用戶可能感興趣于視頻信號的視頻圖像中的特定區(qū)域。常規(guī)上,在對視頻信號執(zhí)行均衡時,對采集到的視頻信號的所有像素均給出相等的重要度/權(quán)重,這導(dǎo)致圖像中感興趣的區(qū)域的低質(zhì)量。
在本文中公開的一些實施例中,從第二設(shè)備12接收的控制參數(shù)也可以被用于控制第一設(shè)備11中的視頻信號處理。在這些實施例中,第一設(shè)備,例如包括在設(shè)備11中的處理單元110可以被配置為基于控制參數(shù)來處理與音頻信號相關(guān)聯(lián)的視頻信號,從而維持經(jīng)處理的音頻信號與經(jīng)處理的視頻信號之間的匹配。
在本文中公開的一個實施例中,如果基于控制信號增強了感興趣的源方向中的音頻信號的音頻質(zhì)量,這意味著音頻接收端側(cè)的用戶偏好來自感興趣的方向的語音,那么視頻信號也可以據(jù)此處理以使得在感興趣單方向中的說話者的圖像被聚焦。在感興趣的源方向中的圖像區(qū)域可以被確定為感興趣的區(qū)域。在一個實施例中,視頻信號可以由180或360度全景攝像機采集,并且僅感興趣的說話者的圖像區(qū)域由處理單元110處理并且然后被傳輸至第二設(shè)備12。在另一個實施例中,處理單元110可以調(diào)整第一設(shè)備11的攝像機的聚焦/曝光,以采集在感興趣的源方向中的說話者的區(qū)域的更精細(xì)的細(xì)節(jié)。由感興趣的源方向確定的區(qū)域的圖像質(zhì)量可以在處理單元110中被增強。例如,可以調(diào)整該區(qū)域內(nèi)的去噪和/或濾波算法以增強感興趣的區(qū)域的圖像質(zhì)量。在另一個示例中,在編碼視頻信號時,可以使用更多的比特來編碼感興趣的區(qū)域,而可以使用更少的比特來編碼視頻圖像中的其他區(qū)域。
將理解的是,如果從第二設(shè)備12接收到多于一個感興趣的源方向,可以確定針對視頻信號的多個感興趣的區(qū)域,并且每個區(qū)域可以相應(yīng)地被處理。
在本文中公開的另一個實施例中,如果從第二設(shè)備12接收的控 制參數(shù)指定語音活動性檢測,這意味著在音頻和視頻接收端側(cè)的遠(yuǎn)端設(shè)備僅偏好人類語音,那么第一設(shè)備11可以處理視頻信號以聚焦在人的面部。人的面部區(qū)域中的圖像質(zhì)量可以相對于視頻信號的圖像中的其他區(qū)域而言被增強。例如,在人的面部區(qū)域內(nèi)的去噪/濾波算法可以被調(diào)增以增強它們的質(zhì)量。在另一個示例中,在編碼視頻信號時,可以使用更多的比特來編碼人的面部區(qū)域,而可以使用更少的比特來編碼視頻圖像中的其他區(qū)域。
在本文中公開的又一個實施例中,如果控制參數(shù)指示第二設(shè)備12的用戶偏好音頻信號的更高的編碼壓縮率,第一設(shè)備11也可以利用更高的視頻編碼壓縮率來處理相關(guān)聯(lián)的視頻信號。
在本文中公開的一些其他實施例中,第二設(shè)備12的用戶可以被示出可能的視頻處理的類型和水平。用戶可以通過包括在第二設(shè)備12中的輸入-輸出接口(未被示出)來選擇他/她偏好的一個或多個類型或水平。參數(shù)生成器120可以生成針對視頻處理的另外的控制參數(shù),并且該另外的控制參數(shù)也可以被提供至第一設(shè)備11。第一設(shè)備11可以基于另外的控制參數(shù)來處理要被傳輸至第二設(shè)備12的視頻信號。視頻處理包括但不限于感興趣區(qū)域的檢測、濾波、對特定區(qū)域的放大/縮小、視頻噪聲降低等。
以上參照圖1討論了示例實施例,其中涉及一個音頻發(fā)送端設(shè)備和一個音頻接收端設(shè)備。在一些多播通信系統(tǒng)中,音頻發(fā)送端設(shè)備可以將采集到的音頻信號發(fā)送至多個音頻接收端設(shè)備。圖3示出了針對這種使用情況的包含一個音頻發(fā)送端設(shè)備和兩個音頻接收端設(shè)備的音頻通信系統(tǒng)300的框圖。與系統(tǒng)100相比較,系統(tǒng)300中包括另外的音頻接收端設(shè)備,例如第三設(shè)備13。第三設(shè)備13是相對于第一設(shè)備11的遠(yuǎn)端設(shè)備。在圖3的實施例中,第三設(shè)備13經(jīng)由網(wǎng)絡(luò)13連接至第一設(shè)備11。在一些其他實施例中,第三設(shè)備13可以經(jīng)由無線或有線連接直接地連接至第一設(shè)備11。在一些進(jìn)一步的實施例中,第三設(shè)備13也可以與第二設(shè)備12通信。
在本文中公開的一些實施例中,第一設(shè)備11可以采集音頻信號、 處理音頻信號并且將經(jīng)處理的音頻信號傳輸至第二設(shè)備12和第三設(shè)備13兩者。在這種情況下,第三設(shè)備13是音頻接收端設(shè)備。與第二設(shè)備12類似,第三設(shè)備13包括參數(shù)生成器130、發(fā)射器132和接收器134。
根據(jù)本文中公開的實施例,第三設(shè)備13可以向第一設(shè)備11傳輸控制參數(shù)以控制在音頻發(fā)送端側(cè)的音頻處理??刂茀?shù)可以指定針對要由第一設(shè)備11傳輸至第三設(shè)備13的音頻信號的處理的用戶偏好。可以向第三設(shè)備13的用戶示出可能的音頻處理的類型和水平,并且可以基于用戶輸入生成控制參數(shù)。在第三設(shè)備13中的控制參數(shù)的生成類似于關(guān)于第二設(shè)備12描述的那些,因此出于清楚性的考慮在此將它們省略。
如圖3所示,第二設(shè)備12,例如包括在設(shè)備12中的發(fā)射器122向第一設(shè)備11傳輸控制參數(shù)1??刂茀?shù)1可以指定針對要由第一設(shè)備11傳輸?shù)囊纛l信號的用戶偏好,并且可以基于第二設(shè)備12的用戶輸入來生成。第三設(shè)備13,例如包括在設(shè)備13中的發(fā)射器132向第一設(shè)備11傳輸控制參數(shù)2??刂茀?shù)2可以指定針對要由第一設(shè)備11傳輸?shù)囊纛l信號的用戶偏好,并且可以基于第三設(shè)備13的用戶輸入來生成。在本文中公開的一個實施例中,控制參數(shù)1和控制參數(shù)2可以指定音頻處理的不同類型或者音頻處理的特定類型的不同水平。在本文中公開的另一個實施例中,控制參數(shù)1和2可以指定相同類型和相同水平的音頻處理。本文中公開的主題的范圍在此方面不受限制。
第一設(shè)備11,例如包括在設(shè)備11中的接收器114從第二設(shè)備12和第三設(shè)備13接收控制參數(shù)1和2。第一設(shè)備11,例如包括在設(shè)備11中的處理單元110可以被配置為基于控制參數(shù)1和2來處理音頻信號。經(jīng)處理的音頻信號1由發(fā)射器112傳輸至第二設(shè)備12,并且經(jīng)處理的音頻信號2由發(fā)射器112傳輸至第三設(shè)備13。
在本文中公開的一些實施例中,處理單元110可以確定控制參數(shù)1和2是否指定相同類型和水平的音頻處理。如果兩個參數(shù)是相同的 并且指定相同類型和水平的音頻處理,處理單元110可以基于控制參數(shù)1和2中的任一參數(shù)來處理音頻信號以生成經(jīng)處理的音頻信號。在這種情況下,經(jīng)處理的信號1和2是相同的,并且處理單元110需要處理音頻信號一次。
在其中兩個參數(shù)是不同的并且指定不同類型或水平的音頻處理的實施例中,處理單元110可以具有針對音頻處理的若干選項。
在本文中公開的一個實施例中,處理單元110可以被配置為僅基于控制參數(shù)1來處理音頻信號以獲得經(jīng)處理的音頻信號1,并且僅基于控制參數(shù)2來處理音頻信號以獲得經(jīng)處理的音頻信號2。在這種情況下,音頻信號在處理單元110中被處理兩次。經(jīng)處理的音頻信號1和2可以彼此不同并且可以被分別發(fā)送至第二設(shè)備和第三設(shè)備。
在其中控制參數(shù)1和2不同的另一個實施例中,處理單元110可以確定這些參數(shù)是否指定了用戶偏好的沖突。例如,如果控制參數(shù)1指定噪聲抑制水平應(yīng)當(dāng)被降低而控制參數(shù)2指定噪聲抑制水平應(yīng)當(dāng)被提高,那么兩個參數(shù)之間存在用戶偏好的沖突。在另一個示例中,如果控制參數(shù)1指定偏好的噪聲抑制水平,而控制參數(shù)2指定偏好的均衡水平,那么在控制參數(shù)之間不存在用戶偏好的沖突。
當(dāng)確定在控制參數(shù)之間不存在用戶偏好的沖突時,處理單元110可以被配置為基于控制參數(shù)1和2兩者來處理音頻信號以生成一個經(jīng)處理的音頻信號。經(jīng)處理的音頻信號可以均滿足第二設(shè)備12和第三設(shè)備13的用戶偏好。然后經(jīng)處理的音頻信號由發(fā)射器112傳輸至第二設(shè)備12和第三設(shè)備13兩者。在這種情況下,圖3中示出的經(jīng)處理的音頻信號1和2是相同的。
當(dāng)確定在控制參數(shù)之間存在用戶偏好的沖突時,在一些實施例中,處理單元110可以處理音頻信號兩次以便生成兩個經(jīng)處理的信號。經(jīng)處理的音頻信號1基于控制參數(shù)1生成,而經(jīng)處理的音頻信號2基于控制參數(shù)2來生成。
在其中控制參數(shù)1和2是不同并且兩個參數(shù)之間存在沖突的一些其他實施例中,處理單元110可以被配置為基于控制參數(shù)1和2的平 均水平來處理音頻信號一次。這樣,第一設(shè)備11可以減少處理開銷。在一個示例中,如果控制參數(shù)1指定噪聲抑制水平應(yīng)當(dāng)被降低而控制參數(shù)2指定噪聲抑制水平應(yīng)當(dāng)被增加,那么可以確定平均噪聲抑制水平。處理單元110可以基于所確定的噪聲抑制的平均水平來處理音頻信號。經(jīng)處理的音頻信號1和2在這種實施例中是相同的。
在其中控制參數(shù)1和2是不同的一些進(jìn)一步的實施例中,處理單元110可以被配置為基于第二設(shè)備12和第三設(shè)備13之中的優(yōu)先級來處理音頻信號。例如,如果在系統(tǒng)300中第二設(shè)備12具有比第三設(shè)備13更高的優(yōu)先級,處理單元110可以決定基于從第二設(shè)備12接收到的控制參數(shù)1來處理音頻信號?;诳刂茀?shù)1的經(jīng)處理的音頻信號可以傳輸至第二設(shè)備和第三設(shè)備。在這些實施例中,當(dāng)?shù)谝辉O(shè)備11具有有限的音頻處理資源時,具有較高優(yōu)先級的設(shè)備的用戶偏好可以首先得到滿足。
將理解的是,音頻發(fā)送端設(shè)備可以進(jìn)一步被配置為基于諸如處理能力、網(wǎng)絡(luò)傳輸帶寬之類的其他因素來處理音頻信號。還將理解的是,音頻發(fā)送端設(shè)備可以基于從多個音頻接收端設(shè)備接收的控制參數(shù)來處理與音頻信號相關(guān)聯(lián)的視頻信號,并且將經(jīng)處理的視頻信號發(fā)送給這些接收端設(shè)備。
盡管在圖3中示出了兩個音頻接收端設(shè)備,例如第二設(shè)備12和第三設(shè)備13,但是將理解的是可以在音頻通信系統(tǒng)中包括多于兩個的音頻接收端設(shè)備。還將理解的是,一個音頻接收端設(shè)備可以從多于一個音頻發(fā)送端設(shè)備接收經(jīng)處理的音頻信號。音頻接收端設(shè)備能夠向不同的音頻發(fā)送端設(shè)備傳輸相同或不同的控制參數(shù)。本文中公開的主題的范圍在此方面不受限制。
注意到,盡管第二設(shè)備12和第三設(shè)備13被示出為音頻接收端設(shè)備,它們也能夠用作音頻發(fā)送端。例如,第二設(shè)備12可以采集音頻信號,處理采集到的音頻信號并且將經(jīng)處理的音頻信號傳輸至第三設(shè)備13或第一設(shè)備11。第三設(shè)備13也可以采集音頻信號,處理采集到的音頻信號并且將經(jīng)處理的音頻信號傳輸至第二設(shè)備12或第一設(shè)備 11。在這些情況中,第二設(shè)備12可以另外地包括處理單元,其功能可以類似于關(guān)于第一設(shè)備11討論的處理單元110。第三設(shè)備可以另外地包括處理單元,其功能可以類似于關(guān)于第一設(shè)備11討論的處理單元110。
還注意到,盡管第一設(shè)備11被示出為音頻發(fā)送端設(shè)備,它還能夠用作音頻接收端設(shè)備。例如,第一設(shè)備11可以向第二設(shè)備12或第三設(shè)備13傳輸控制參數(shù)以控制在這些設(shè)備中的音頻信號處理。第一設(shè)備11還可以從第二設(shè)備12或第三設(shè)備13接收經(jīng)處理的音頻信號。在這種情況下,第一設(shè)備11可以另外地包括參數(shù)生成器,其功能可以類似于關(guān)于第二設(shè)備12或第三設(shè)備13討論的參數(shù)生成器120或130。
注意到,在第一設(shè)備、第二設(shè)備或第三設(shè)備中包括的發(fā)射器和接收器可以用作一個收發(fā)器。發(fā)射器112、122或132可以包括由一個或多個集成電路形成的射頻(RF)傳輸電路、功率放大器電路裝置、無源RF組件、一個或多個天線、以及用于傳輸無線信號或其他類型的信號的其他電路裝置。接收器114、124或134可以包括由一個或多個集成電路形成的RF接收電路、功率放大器電路裝置、無源RF組件、一個或多個天線、以及用于接收無線信號或其他類型的信號的其他電路裝置。如以上所提及的,第一設(shè)備和第二設(shè)備(11/12)可以配備有一個或多個發(fā)射器和接收器,這些發(fā)射器和接收器被配置為在以上描述的網(wǎng)絡(luò)13中的一個或多個網(wǎng)絡(luò)中進(jìn)行操作。第三設(shè)備(13)也可以配備有一個或多個發(fā)射器和接收器。
還注意到,處理單元110或參數(shù)生成器120可以是處理器、一組處理器、微處理器、一組微處理器、中央處理單元(CPU)、上述的任意組合、或者任何其他處理電路裝置。
圖4是根據(jù)本文中公開的一個示例實施例的在音頻發(fā)送端設(shè)備中處理音頻信號的方法400的流程圖。音頻發(fā)送端設(shè)備可以是系統(tǒng)100或300中的第一設(shè)備11。
方法400開始于步驟410,其中在當(dāng)前設(shè)備處從遠(yuǎn)端設(shè)備接收控 制參數(shù)??刂茀?shù)可以基于遠(yuǎn)端設(shè)備的用戶輸入而生成并且指定針對要被傳輸?shù)竭h(yuǎn)端設(shè)備的音頻信號的用戶偏好。在一些實施例中,音頻信號可以由當(dāng)前音頻發(fā)送端設(shè)備(例如,第一設(shè)備11)采集。遠(yuǎn)端設(shè)備可以是系統(tǒng)100或300中的音頻接收端設(shè)備12。在步驟420,在當(dāng)前設(shè)備處基于所接收的控制參數(shù)來處理音頻信號。在步驟430,將經(jīng)處理的音頻信號傳輸至遠(yuǎn)端設(shè)備。在一些實施例中,經(jīng)處理的音頻信號可以在遠(yuǎn)端設(shè)備處被播放。
在本文中公開的一些實施例中,控制參數(shù)可以指定以下各項中的至少一項:感興趣的源方向、噪聲抑制水平、均衡水平、回波消除、以及編碼壓縮率。
在其中控制參數(shù)指定感興趣的源方向的一些實施例中,可以標(biāo)識音頻信號中的多個源方向,并且可以將所標(biāo)識的源方向傳輸至遠(yuǎn)端設(shè)備,從而感興趣的源方向通過遠(yuǎn)端設(shè)備的用戶輸入從所標(biāo)識的源方向中選擇。
在其中控制參數(shù)指定感興趣的源方向的一些實施例中,可以通過相對于其他標(biāo)識的源方向而增強音頻信號在感興趣的源方向中的音頻質(zhì)量,來處理音頻信號。
在本文中公開的一些實施例中,可以從另外的遠(yuǎn)端設(shè)備接收另外的控制參數(shù)。另外的控制參數(shù)可以基于另外的遠(yuǎn)端設(shè)備的用戶輸入而生成并且指定針對音頻信號的另外的用戶偏好。另外的遠(yuǎn)端設(shè)備可以是系統(tǒng)300中的音頻接收端設(shè)備13。在這些實施例中,由當(dāng)前設(shè)備采集的音頻信號被傳輸至多個音頻接收端設(shè)備,例如,遠(yuǎn)端設(shè)備和另外的遠(yuǎn)端設(shè)備??梢曰诳刂茀?shù)和另外的控制參數(shù)來處理音頻信號以獲得經(jīng)處理的音頻信號。也就是說,當(dāng)前設(shè)備處理音頻信號一次以獲得經(jīng)處理的音頻信號。經(jīng)處理的音頻信號可以被傳輸至遠(yuǎn)端設(shè)備和另外的遠(yuǎn)端設(shè)備。
在其中從另外的遠(yuǎn)端設(shè)備接收到另外的控制參數(shù)的一些其他實施例中,來自遠(yuǎn)端設(shè)備的控制參數(shù)被用于處理音頻信號以獲得經(jīng)處理的音頻信號,而來自另外的遠(yuǎn)端設(shè)備的另外的控制參數(shù)被用于處理音 頻信號以獲得另外的經(jīng)處理的音頻信號?;趤碜赃h(yuǎn)端設(shè)備的控制參數(shù)處理的音頻信號可以被傳輸至遠(yuǎn)端設(shè)備,而基于來自另外的遠(yuǎn)端設(shè)備的另外的控制參數(shù)處理的音頻信號可以被傳輸至另外的遠(yuǎn)端設(shè)備。
在本文中公開的一些實施例中,可以進(jìn)一步基于當(dāng)前設(shè)備的處理能力和可用于傳輸經(jīng)處理的音頻信號的網(wǎng)絡(luò)帶寬中的至少一項來在當(dāng)前設(shè)備處處理音頻信號。
在本文中公開的一些實施例中,可以基于控制參數(shù)處理與音頻信號相關(guān)聯(lián)的視頻信號,并且經(jīng)處理的視頻信號可以被傳輸至遠(yuǎn)端設(shè)備。
圖5是根據(jù)本文中公開的一個示例實施例的在音頻接收端設(shè)備中的處理音頻信號的方法500的流程圖。音頻接收端設(shè)備可以是系統(tǒng)100或300中的第二設(shè)備12。
方法500開始于510,其中在當(dāng)前設(shè)備處基于當(dāng)前設(shè)備的用戶輸入來生成控制參數(shù)??刂茀?shù)可以指定針對要由遠(yuǎn)端設(shè)備傳輸至當(dāng)前設(shè)備的音頻信號的用戶偏好。在一些實施例中,音頻信號可以由遠(yuǎn)端設(shè)備采集。遠(yuǎn)端設(shè)備可以是系統(tǒng)100或300中的音頻發(fā)送端設(shè)備11。在步驟520,將控制參數(shù)傳輸至遠(yuǎn)端設(shè)備以供處理音頻信號。在步驟530,從遠(yuǎn)端設(shè)備接收經(jīng)處理的音頻信號。經(jīng)處理的信號是由遠(yuǎn)端設(shè)備基于控制參數(shù)處理的信號。
在本文中公開的一些實施例中,控制參數(shù)可以指定以下各項中的至少一項:感興趣的源方向、噪聲抑制水平、均衡水平、回波消除、以及編碼壓縮率。
在其中控制參數(shù)指定感興趣的源方向的一些實施例中,可以從遠(yuǎn)端設(shè)備接收所標(biāo)識的音頻信號中的多個源方向。在這些實施例中,可以由當(dāng)前設(shè)備的用戶輸入從所標(biāo)識的源方向中選擇感興趣的源方向。
在其中控制參數(shù)指定感興趣的源方向的一些實施例中,音頻信號可以在遠(yuǎn)端設(shè)備中通過相對于其他標(biāo)識的源方向而增強音頻信號在感興趣的源方向中的音頻質(zhì)量來處理。
在本文中公開的一些實施例中,基于控制參數(shù)以及另外的遠(yuǎn)端設(shè) 備的另外的控制參數(shù)來在遠(yuǎn)端設(shè)備中處理音頻信號,另外的控制參數(shù)基于另外的遠(yuǎn)端設(shè)備的用戶輸入生成并且指定針對音頻信號的另外的用戶偏好。另外的遠(yuǎn)端設(shè)備可以是系統(tǒng)300中的音頻接收端設(shè)備13。
在本文中公開的一些實施例中,可以進(jìn)一步基于遠(yuǎn)端設(shè)備的處理能力和可用于傳輸經(jīng)處理的音頻信號的網(wǎng)絡(luò)帶寬中的至少一項來在遠(yuǎn)端設(shè)備中處理音頻信號。
在本文中公開的一些實施例中,可以從遠(yuǎn)端設(shè)備接收與音頻信號相關(guān)聯(lián)的經(jīng)處理的視頻信號。視頻信號在遠(yuǎn)端設(shè)備中基于控制參數(shù)來處理。
為清晰起見,在圖1或圖3中沒有描繪出第一設(shè)備11、第二設(shè)備12和第三設(shè)備13的某些另外的部件。然而,應(yīng)當(dāng)理解,上文參考圖2和5所描述的各個特征同樣適用于第二設(shè)備12或第三設(shè)備13。并且上文參考圖4所描述的各個特征同樣適用于第一設(shè)備11。而且,第一設(shè)備11、第二設(shè)備12或第三設(shè)備13中的各部件可以是硬件模塊,也可以是軟件單元模塊等等。例如,在某些示例實施例中,第一設(shè)備11、第二設(shè)備12或第三設(shè)備13中的發(fā)射器、接收器、處理單元或參數(shù)生成器可以部分或者全部利用軟件和/或固件來實現(xiàn),例如被實現(xiàn)為包含在計算機可讀介質(zhì)上的計算機程序產(chǎn)品。備選地或附加地,第一設(shè)備11、第二設(shè)備12或第三設(shè)備13中的發(fā)射器、接收器、處理單元或參數(shù)生成器可以部分或者全部基于硬件來實現(xiàn),例如被實現(xiàn)為集成電路(IC)、專用集成電路(ASIC)、片上系統(tǒng)(SOC)、現(xiàn)場可編程門陣列(FPGA)等。本文中公開的主題的范圍在此方面不受限制。
圖6描繪了適于用來實現(xiàn)本文中所公開的示例實施例的示例計算機系統(tǒng)600的示意性框圖。在一些示例實施例中,計算機系統(tǒng)600可以適于實施在音頻發(fā)送端設(shè)備、例如圖1或圖3中的第一設(shè)備11中的處理音頻信號的方法。計算機系統(tǒng)600還可以適于實施在音頻接收端設(shè)備、諸如圖1或圖3中的第二設(shè)備12或第三設(shè)備13中的處理音頻信號的方法。
如所描繪的,計算機系統(tǒng)600包括中央處理單元(CPU)601,其可以根據(jù)存儲在只讀存儲器(ROM)602中的程序或者從存儲部分608加載到隨機訪問存儲器(RAM)603中的程序而執(zhí)行各種適當(dāng)?shù)膭幼骱吞幚?。如所需要的,在RAM 603中,還存儲有CPU 601執(zhí)行各種過程等需要的數(shù)據(jù)。CPU 601、ROM 602以及RAM 603通過總線604彼此相連。輸入/輸出(I/O)接口605也連接至總線604。
以下部件連接至I/O接口605:包括鍵盤、鼠標(biāo)等的輸入部分606;包括諸如陰極射線管(CRT)、液晶顯示器(LCD)等以及揚聲器等的輸出部分607;包括硬盤等的存儲部分608;以及包括諸如LAN卡、調(diào)制解調(diào)器等的網(wǎng)絡(luò)接口卡的通信部分609。通信部分609經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)執(zhí)行通信處理。驅(qū)動器610也根據(jù)需要連接至I/O接口605。可拆卸介質(zhì)611,諸如磁盤、光盤、磁光盤、半導(dǎo)體存儲器等等,根據(jù)需要安裝在驅(qū)動器610上,以便于從其上讀出的計算機程序根據(jù)需要被安裝入存儲部分608。
特別地,根據(jù)本文中所公開的示例實施例,上文參考圖4和5描述的方法或過程可以被實現(xiàn)為計算機軟件程序。例如,本文中所公開的示例實施例包括一種計算機程序產(chǎn)品,其包括有形地包含在機器可讀介質(zhì)上的計算機程序,所述計算機程序包含用于執(zhí)行方法400或500所描述的過程的程序代碼。在這樣的實施例中,該計算機程序可以通過通信部分609從網(wǎng)絡(luò)上被下載和安裝,和/或從可拆卸介質(zhì)611被安裝。
一般而言,本文中所公開的各種示例實施例可以在硬件或?qū)S秒娐?、軟件、邏輯,或其任何組合中實施。某些方面可以在硬件中實施,而其他方面可以在可以由控制器、微處理器或其他計算設(shè)備執(zhí)行的固件或軟件中實施。當(dāng)本文中所公開的示例實施例的各方面被圖示或描述為框圖、流程圖或使用某些其他圖形表示時,將理解此處描述的方框、裝置、系統(tǒng)、技術(shù)或方法可以作為非限制性的示例在硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其他計算設(shè)備,或前述的某些組合中實施。
而且,流程圖中的各框可以被看作是方法步驟,和/或計算機程序代碼的操作生成的操作,和/或理解為執(zhí)行相關(guān)功能的多個耦合的邏輯電路元件。例如,本文中所公開的實施例包括計算機程序產(chǎn)品,該計算機程序產(chǎn)品包括有形地實現(xiàn)在機器可讀介質(zhì)上的計算機程序,該計算機程序包含被配置為實現(xiàn)上文描述方法的程序代碼。
在公開的上下文內(nèi),機器可讀介質(zhì)可以是包含或存儲用于或有關(guān)于指令執(zhí)行系統(tǒng)、裝置或設(shè)備的程序的任何有形介質(zhì)。機器可讀介質(zhì)可以是機器可讀信號介質(zhì)或機器可讀存儲介質(zhì)。機器可讀介質(zhì)可以包括但不限于電子的、磁的、光學(xué)的、電磁的、紅外的或半導(dǎo)體系統(tǒng)、裝置或設(shè)備,或其任意合適的組合。機器可讀存儲介質(zhì)的更詳細(xì)示例將包括帶有一根或多根導(dǎo)線的電氣連接、便攜式計算機磁盤、硬盤、隨機存儲存取器(RAM)、只讀存儲器(ROM)、可擦除可編程只讀存儲器(EPROM或閃存)、便攜式壓縮盤只讀存儲器(CD-ROM)、光存儲設(shè)備、磁存儲設(shè)備,或前述的任意合適的組合。
用于實現(xiàn)本文中所公開的方法的計算機程序代碼可以用一種或多種編程語言編寫。這些計算機程序代碼可以提供給通用計算機、專用計算機或其他可編程的數(shù)據(jù)處理裝置的處理器,使得程序代碼在被計算機或其他可編程的數(shù)據(jù)處理裝置執(zhí)行的時候,引起在流程圖和/或框圖中規(guī)定的功能/操作被實施。程序代碼可以完全在計算機上、部分在計算機上、作為獨立的軟件包、部分在計算機上且部分在遠(yuǎn)程計算機上或完全在遠(yuǎn)程計算機或服務(wù)器上執(zhí)行。程序代碼可以被分布在被特定編程的設(shè)備,這些設(shè)備通常在本文中可以被稱為“模塊”。這些模塊的軟件分組部分可以以任何具體計算機語言來編寫并且可以是單片集成代碼庫的一部分,或者可以被開發(fā)成多個離散代碼部分,諸如通常以面向?qū)ο蟮挠嬎銠C語言來開發(fā)。此外,模塊可以跨多個計算機平臺、服務(wù)器、終端、移動設(shè)備等來分布。給定的模塊甚至可以被實施為使得所描述的功能由單個處理器和/或計算機硬件平臺來執(zhí)行。
如本申請中所使用的,術(shù)語“電路裝置”指的是以下的所有:(a) 僅硬件電路實現(xiàn)方式(諸如僅模擬電路裝置和/或僅數(shù)字電路裝置的實現(xiàn)方式)以及(b)與電路和軟件(和/或固件)的組合,諸如(如果可用的話):(i)與處理器的組合或(ii)處理器/軟件(包括數(shù)字信號處理器)、軟件和存儲器的部分,這些部分一起工作以使得裝置(諸如移動電話或服務(wù)器)執(zhí)行各種功能,以及(c)電路,諸如微處理器或微處理器的一部分,其需要軟件或固件用于操作,即使軟件或固件不是物理存在的。此外,本領(lǐng)域技術(shù)人員已知的是,通信媒介通常體現(xiàn)計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或模塊化數(shù)據(jù)信號中的其他數(shù)據(jù),該數(shù)據(jù)信號諸如載波或其他傳輸機制,并且通信媒介包括任何信息傳送媒介。
另外,盡管操作以特定順序被描繪,但這并不應(yīng)該理解為要求此類操作以示出的特定順序或以相繼順序完成,或者執(zhí)行所有圖示的操作以獲取期望結(jié)果。在某些情況下,多任務(wù)和并行處理會是有益的。同樣地,盡管上述討論包含了某些特定的實施細(xì)節(jié),但這并不應(yīng)解釋為限制本文中公開的主題或權(quán)利要求的范圍,而應(yīng)解釋為對可以針對特定實施例的特征的描述。本說明書中在分開的實施例的上下文中描述的某些特征也可以整合實施在單個實施例中。相反地,在單個實施例的上下文中描述的各種特征也可以分離地在多個實施例或在任意合適的子組合中實施。
針對本文中所公開的前述示例實施例的各種修改、改變將在連同附圖查看前述描述時對相關(guān)技術(shù)領(lǐng)域的技術(shù)人員變得明顯。任何及所有修改將仍落入非限制的和本文中所公開的示例實施例范圍。此外,前述說明書和附圖存在啟發(fā)的益處,涉及本文中所公開的這些實施例的技術(shù)領(lǐng)域的技術(shù)人員將會想到此處闡明的其他實施例。
由此,本主題可以通過在此描述的任何形式來實現(xiàn)。例如,以下的枚舉示例實施例(EEE)描述了本文中公開的主題的某些方面的某些結(jié)構(gòu)、特征和功能。
EEE 1.一種音頻發(fā)送端設(shè)備,被配置為從遠(yuǎn)端音頻接收端設(shè)備接收針對要由音頻發(fā)送端設(shè)備傳輸?shù)囊纛l信號的控制參數(shù)。控制參數(shù)在 音頻接收端設(shè)備處基于用戶輸入來生成,以便影響音頻信號的處理,以供更好的呈現(xiàn)體驗。音頻發(fā)送端設(shè)備還被配置為基于控制參數(shù)處理音頻信號并且將經(jīng)處理的音頻信號傳輸至音頻接收端設(shè)備。
EEE 2.根據(jù)EEE 1所述的音頻發(fā)送端設(shè)備,控制參數(shù)通過使用示出可用的處理類型以及它們相應(yīng)的處理水平的用戶接口來獲得。
EEE 3.根據(jù)EEE 1所述的音頻發(fā)送端設(shè)備,控制參數(shù)指定以下各項中的至少一項:感興趣的源方向、噪聲抑制水平、均衡水平、回波消除、以及編碼壓縮率。
EEE 4.根據(jù)EEE 1所述的音頻發(fā)送端設(shè)備,使用音頻發(fā)送端設(shè)備和音頻接收端設(shè)備協(xié)商的協(xié)議來傳輸控制參數(shù)。
EEE 5.根據(jù)EEE 1所述的音頻發(fā)送端設(shè)備,在其中音頻信號要被傳輸至多個音頻接收端設(shè)備的多播通信情況中,使用從音頻接收端設(shè)備接收的多個控制參數(shù)來調(diào)整在音頻發(fā)送端設(shè)備處的音頻信號的處理。
EEE 6.根據(jù)EEE 1所述的音頻發(fā)送端設(shè)備,音頻發(fā)送端設(shè)備進(jìn)一步被配置為進(jìn)一步基于音頻發(fā)送端設(shè)備的處理能力和可用于傳輸經(jīng)處理的音頻信號的網(wǎng)絡(luò)帶寬中的至少一項來處理音頻信號。
EEE 7.根據(jù)EEE 1至6中任一項所述的音頻發(fā)送端設(shè)備,音頻發(fā)送端設(shè)備進(jìn)一步被配置為基于控制參數(shù)來處理與音頻信號相關(guān)聯(lián)的視頻信號,并且將經(jīng)處理的視頻信號傳輸至音頻接收端設(shè)備。
EEE 8.一種音頻接收端設(shè)備,被配置為生成針對要由音頻發(fā)送端設(shè)備傳輸至音頻接收端設(shè)備的音頻信號的控制參數(shù)??刂茀?shù)在音頻接收端設(shè)備處基于用戶輸入來生成,以便影響音頻信號的處理,以供更好的呈現(xiàn)體驗。音頻接收端設(shè)備還被配置為向音頻發(fā)送端設(shè)備傳輸控制參數(shù)。音頻信號在音頻發(fā)送端設(shè)備處基于控制參數(shù)來處理。音頻接收端設(shè)備進(jìn)一步被配置為從音頻發(fā)送端設(shè)備接收經(jīng)處理的音頻信號。
EEE 9.根據(jù)EEE 8所述的音頻接收端設(shè)備,控制參數(shù)通過使用示出可用的處理類型以及它們相應(yīng)的處理水平的用戶接口來獲得。
EEE 10.根據(jù)EEE 8所述的音頻接收端設(shè)備,控制參數(shù)指定以下各項中的至少一項:感興趣的源方向、噪聲抑制水平、均衡水平、回波消除、以及編碼壓縮率。
EEE 11.根據(jù)EEE 8所述的音頻接收端設(shè)備,使用音頻發(fā)送端設(shè)備和音頻接收端設(shè)備協(xié)商的協(xié)議來傳輸控制參數(shù)。
EEE 12.根據(jù)EEE 8所述的音頻接收端設(shè)備,音頻信號在音頻發(fā)送端設(shè)備中基于控制參數(shù)和來自另外的音頻接收端設(shè)備的另外的控制參數(shù)來處理,另外的控制參數(shù)基于另外的音頻接收端設(shè)備的用戶輸入來生成以便影響音頻信號的處理。
EEE 13.根據(jù)EEE 8所述的音頻接收端設(shè)備,進(jìn)一步基于音頻發(fā)送端設(shè)備的處理能力和可用于傳輸經(jīng)處理的音頻信號的網(wǎng)絡(luò)帶寬中的至少一項來在音頻發(fā)送端設(shè)備中處理音頻信號。
EEE 14.根據(jù)EEE 8至13中任一項的音頻接收端設(shè)備,音頻接收端設(shè)備進(jìn)一步被配置為從音頻發(fā)送端設(shè)備接收與音頻信號相關(guān)聯(lián)的經(jīng)處理的視頻信號,視頻信號在音頻發(fā)送端設(shè)備中基于控制參數(shù)來處理。
將會理解,本文中公開的主題的實施例不限于公開的特定實施例,并且修改和其他實施例都應(yīng)包含于所附的權(quán)利要求范圍內(nèi)。盡管此處使用了特定的術(shù)語,但是它們僅在通用和描述的意義上使用,而并不用于限制目的。