在視頻回放期間的動態(tài)音頻空間感改變的制作方法
【專利說明】在視頻回放期間的動態(tài)音頻空間感改變
[0001]相關串請案的交叉參考
[0002]本申請案主張于2013年2月25日申請的第61/769，061號美國臨時申請案的權益。上述申請案的標的物出于所有目的以引用方式并入本文中。
技術領域
[0003]本申請案一般來說涉及音頻處理，且更具體來說涉及用于提供在音頻及視頻回放期間的動態(tài)音頻改變的系統(tǒng)及方法。
【背景技術】
[0004]存在可操作以檢測及記錄音頻及/或視頻的許多音頻及視頻記錄系統(tǒng)。在記錄視頻及/或音頻時，音頻記錄系統(tǒng)可通過使用濾波器、壓縮、噪聲抑制等等來引入音頻修改。音頻記錄系統(tǒng)可包含于便攜式裝置(例如筆記型計算機、平板計算機、平板手機、智能手機、個人數(shù)字助理、媒體播放器、移動電話、口袋式錄像機等等)中。
[0005]通常錯誤配置音頻記錄系統(tǒng)，此導致所記錄的音頻未捕獲所要聲學場景或空間感。

【發(fā)明內容】

[0006]提供此
【發(fā)明內容】
從而以簡化形式引入下文在【具體實施方式】中進一步描述的概念精選。此
【發(fā)明內容】
不打算識別所主張標的物的關鍵特征或本質特征，也不打算用作確定所主張標的物的范圍的輔助。
[0007]根據(jù)本發(fā)明的實例性實施例，音頻記錄系統(tǒng)可包含一或多個音頻傳感器，例如麥克風。音頻記錄系統(tǒng)可操作以執(zhí)行從所述一或多個傳感器接收的聲學信號的實時信號處理。所述實時信號處理可包含濾波、壓縮、噪聲抑制等等。在一些實施例中，所述音頻記錄系統(tǒng)可包含允許用戶在處理并記錄經(jīng)信號處理的聲學信號時收聽經(jīng)信號處理的聲學信號(舉例來說，最初聲學信號的經(jīng)信號處理版本)的監(jiān)視頻道?？稍谝纛l記錄系統(tǒng)正進行記錄時及/或在回放期間執(zhí)行所述實時信號處理。
[0008]本發(fā)明的實施例允許存儲由一或多個麥克風接收的原始或最初聲學信號。在一些實施例中，存儲經(jīng)信號處理的聲學信號。最初聲學信號可固有地包含提示信號。此外，提示信號可在最初聲學信號的信號處理期間(舉例來說在記錄期間)經(jīng)確定，且與最初聲學信號一起經(jīng)存儲。提示信號可包含以下各項中的一或多者:麥克風間能級差、能級顯著、音高顯著、信號類型分類、揚聲器識別等等。在所記錄的音頻及任選地相關聯(lián)視頻的回放期間，最初聲學信號及/或所記錄的提示信號用于更改在回放期間提供的音頻。
[0009]當記錄最初聲學信號及任選地經(jīng)信號處理的聲學信號時，不同音頻模式(信號處理配置)可用于后處理最初聲學信號且形成不同音頻方向性及/或非方向性效應。收聽且任選地觀看記錄的用戶可在繼續(xù)收聽記錄時探索由不同音頻模式提供的各種選項。
[0010]一些實施例可允許用戶在所記錄的音頻及/或視頻的回放期間利用接口。所述用戶接口可包含一或多個控制件(舉例來說，按鈕、圖標等等)以用于在回放期間從用戶接收控制命令。在回放期間，用戶可播放、停止、暫停所記錄的音頻及視頻、使其快進及后退。用戶還可改變音頻模式(舉例來說)以在回放期間減少噪聲、聚焦于一或多個聲源等等。
[0011]在一些實施例中，所述音頻記錄系統(tǒng)可包含快于實時信號處理。所述音頻記錄系統(tǒng)可操作以根據(jù)由用戶選擇的最新音頻模式處理(在后臺)整個音頻及視頻。
【附圖說明】
[0012]在附圖的各圖中通過實例而非限制的方式圖解說明各實施例，其中相似參考符號指示類似元件，且其中:
[0013]圖1是展示其中可實踐在視頻回放期間的動態(tài)音頻空間感改變的實例性環(huán)境的框圖。
[0014]圖2是根據(jù)實例性實施例可實施用于在視頻回放期間的動態(tài)音頻空間感改變的方法的音頻記錄系統(tǒng)的框圖。
[0015]圖3是在視頻回放期間的圖形用戶接口的實例性屏幕。
[0016]圖4圖解說明根據(jù)一些實施例的音頻處理模式細節(jié)的圖表。
[0017]圖5是根據(jù)實例性實施例圖解說明用于在視頻回放期間的動態(tài)音頻空間感改變的方法的流程圖。
[0018]圖6是根據(jù)實例性實施例實施用于在視頻回放期間的動態(tài)音頻空間感改變的方法的計算系統(tǒng)的實例。
【具體實施方式】
[0019]本發(fā)明提供用于在視頻回放期間的動態(tài)音頻空間感改變的實例性系統(tǒng)及方法?？稍诳膳渲靡赃M行以下操作的任何移動裝置上實踐本發(fā)明的實施例:播放視頻及/或產(chǎn)生與所述視頻相關聯(lián)的音頻；在記錄所述視頻時記錄聲學聲音；及存儲并處理所述聲學聲音及所述視頻。雖然參考移動裝置(如移動電話、攝像機、平板計算機)的操作描述本發(fā)明的一些實施例，但可借助具有用于播放及記錄視頻及聲音的音頻及視頻裝置的任何計算機系統(tǒng)實踐本發(fā)明。
[0020]根據(jù)本發(fā)明的實例性實施例，一種用于在視頻回放期間的動態(tài)音頻空間感改變的方法包含:經(jīng)由揚聲器播放音頻信號；且在播放所述音頻信號時接收選自多個處理模式的處理模式及基于所述處理模式實時修改所述音頻信號。所述音頻信號可為先前記錄的未被任何預先處理修改的原始聲學音頻信號。所述方法可進一步包含:在播放所述音頻信號時根據(jù)所述處理模式在后臺進程中再處理所述整個音頻信號，及將所述經(jīng)再處理音頻信號存儲于存儲器中。
[0021]現(xiàn)在參考圖1，展示其中可實踐用于在視頻回放期間的動態(tài)音頻空間感改變的方法的環(huán)境100。在實例性環(huán)境100中，音頻記錄系統(tǒng)110至少可操作以記錄聲學音頻信號，處理所述經(jīng)記錄音頻信號，且回放所述經(jīng)記錄音頻信號。在一些實施例中，音頻記錄系統(tǒng)110可記錄與所述音頻信號相關聯(lián)的視頻。實例性音頻記錄系統(tǒng)110可包含移動電話、攝像機、平板計算機等等。
[0022]由音頻記錄系統(tǒng)110記錄的聲學音頻信號可包含以下分量中的一或多者:聲學聲音的近源(“敘述者(例如，操作音頻記錄系統(tǒng)I1的人120的語音)；及在圖1中的實例中在與人120相反的方向上的遠源(例如，位于音頻記錄系統(tǒng)110前面的人130)，人130與音頻記錄系統(tǒng)110之間的距離大于人120與音頻記錄系統(tǒng)110之間的距離。人130可經(jīng)捕獲于視頻上。來自所述近源及所述遠源的聲音可受噪聲150污染。噪聲150的源可為其他人的語音、動物、汽車、風等等的聲音。
[0023]圖2是實例性音頻記錄系統(tǒng)110的框圖。在所圖解說明的實施例中，音頻記錄系統(tǒng)110可包含處理器210、主要麥克風220、一或多個次要麥克風230、攝像機240、存儲器存儲裝置250、音頻處理系統(tǒng)260、揚聲器270及圖形顯示器系統(tǒng)280。音頻記錄系統(tǒng)110可包含音頻記錄系統(tǒng)110操作所必需的額外或其它組件。類似地，音頻記錄系統(tǒng)110可包含執(zhí)行類似于或等效于圖2中所描繪的那些組件的功能的較少或額外組件。
[0024]處理器210可包含可操作以執(zhí)行存儲于存儲器存儲裝置250中的計算機程序的硬件及/或軟件。處理器210可使用浮點運算、復數(shù)運算及其它運算，包含在視頻回放期間的動態(tài)音頻空間感改變。
[0025]攝像機240可操作以捕獲環(huán)境的靜止或移動圖像，從所述環(huán)境捕獲聲學信號。攝像機240產(chǎn)生與環(huán)境相關聯(lián)的視頻信號，所述環(huán)境包含一或多個聲源(舉例來說近談話者、遠談話者)及任選地一或多個噪聲源(舉例來說，其他談話者及操作中的機器)。所述視頻信號經(jīng)發(fā)射到處理器210以用于存儲于存儲器存儲裝置250中且用于進一步后處理。
[0026]音頻處理系統(tǒng)260經(jīng)配置以經(jīng)由主要麥克風220及可選次要麥克風230從聲學源接收聲學信號且處理聲學信號分量。麥克風220及230可間隔開一距離以使得從特定方向撞擊于裝置上的聲波在兩個或兩個以上麥克風處展現(xiàn)不同能級。在由麥克風220及230接收之后，可將聲學信號轉換成電信號。根據(jù)一些實施例，這些電信號又可由模/數(shù)轉換器(未展示)轉換成數(shù)字信號以用于處理。
[0027]在其中麥克風220及230為緊密間隔(例如，隔開Icm到2cm)的全向性麥克風的各種實施例中，可使用波束形成技術來模擬前向及后向方向性麥克風響應?？墒褂盟M的前向及后向方向性麥克風來獲得能級差?？墒褂盟瞿芗壊钤?舉例來說)時間-頻率域中鑒別語音及噪聲，此可用于噪聲及/或回聲減小中。在其它實施例中，除麥克風220及230之外，音頻