【技術(shù)領(lǐng)域】

本發(fā)明有關(guān)于360度音頻/視頻應(yīng)用，更具體來說，有關(guān)于用于虛擬現(xiàn)實的360度音頻/視頻應(yīng)用的音頻同步方法和相關(guān)電子設(shè)備。

背景技術(shù)：

在360度音頻/視頻應(yīng)用中，多個相機和麥克風(fēng)被用于記錄用于使用虛擬現(xiàn)實(virtualreality)的音頻和視頻軌道。當(dāng)用戶佩戴頭戴式顯示器或耳機以享受虛擬現(xiàn)實時，所記錄的音頻和視頻軌道可以由頭戴式顯示器或耳機播放，以向用戶提供沉浸式體驗。然而，因為音頻軌道由兩個或更多個麥克風(fēng)記錄，并且麥克風(fēng)的開始時間(即麥克風(fēng)開始記錄的時間點)由于內(nèi)部硬件或軟件情況而總是不同，所以音頻軌道可能不是本征同步的(intrinsicallysynchronized)。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明特提供以下技術(shù)方案：

本發(fā)明實施例提供一種音頻同步方法，包括：從第一記錄設(shè)備接收第一音頻信號；從第二記錄設(shè)備接收第二音頻信號；對第一音頻信號和第二音頻信號執(zhí)行相關(guān)運算以對準(zhǔn)第一音頻信號的第一樣式和第二音頻信號的第一樣式；在第一音頻信號和第二音頻信號的第一樣式對準(zhǔn)之后，計算第一音頻信號的第二樣式和第二音頻信號的第二樣式之間的差；以及根據(jù)第一音頻信號的第二樣式和第二音頻信號的第二樣式之間的差，獲得第一音頻信號和第二音頻信號之間的開始時間差以用于音頻同步。

本發(fā)明實施例又提供一種音頻同步方法，包括：控制第一揚聲器播放具有第一樣式的聲音；控制第二揚聲器播放具有第二樣式的聲音；從記錄由第一揚聲器和第二揚聲器產(chǎn)生的聲音的第一記錄設(shè)備接收第一音頻信號；從記錄由第一揚聲器和第二揚聲器產(chǎn)生的聲音的第二記錄設(shè)備接收第二音頻信號；以及參考第一音頻信號內(nèi)的第一樣式和第二樣式的多個時間點以及第二音頻信號內(nèi)的第一樣式和第二樣式的多個時間點，以獲得第一音頻信號和第二音頻信號之間的開始時間差用于音頻同步。

本發(fā)明實施例又提供一種電子設(shè)備，包括處理電路，用于分別從第一記錄設(shè)備和第二記錄設(shè)備接收第一音頻信號和第二音頻信號，以及對第一音頻信號和第二音頻信號執(zhí)行相關(guān)運算，以對準(zhǔn)第一音頻信號的第一樣式和第二音頻信號的第一樣式；以及在第一音頻信號的第一樣式和第二音頻信號的第一樣式對準(zhǔn)之后，計算第一音頻信號的第二樣式和第二音頻信號的第二樣式之間的差；以及根據(jù)第一音頻信號的第二樣式與第二音頻信號的第二樣式之間的差，獲得第一音頻信號和第二音頻信號之間的開始時間差以用于音頻同步。

以上的音頻同步方法和相關(guān)電子設(shè)備可以同步音頻信號，解決延遲誤差問題。

【附圖說明】

圖1是360度音頻/視頻應(yīng)用的示意圖。

圖2為本發(fā)明一實施例的音頻同步方法的示意圖。

圖3是揚聲器和麥克風(fēng)具有特殊的布置的示意圖。

圖4是示出根據(jù)本發(fā)明另一實施例的音頻同步方法的示意圖。

圖5是對由麥克風(fēng)記錄的音頻信號執(zhí)行相關(guān)運算的示意圖。

圖6示出根據(jù)本發(fā)明的一個實施例的能夠記錄用于360度音頻應(yīng)用的兩個音頻信號的電子設(shè)備。

圖7示出了根據(jù)本發(fā)明另一實施例的能夠記錄用于360度音頻應(yīng)用的音頻信號的電子設(shè)備。

圖8是根據(jù)本發(fā)明的一個實施例的音頻同步方法的流程圖。

圖9是根據(jù)本發(fā)明的一個實施例的能夠記錄用于360度音頻應(yīng)用的音頻信號的系統(tǒng)。

圖10是根據(jù)本發(fā)明另一實施例的音頻同步方法的流程圖。

圖11是根據(jù)本發(fā)明的一個實施例的能夠記錄用于360度音頻應(yīng)用的音頻信號的系統(tǒng)。

圖12是根據(jù)本發(fā)明另一實施例的音頻同步方法的流程圖。

圖13是根據(jù)本發(fā)明的一個實施例的虛擬現(xiàn)實應(yīng)用的系統(tǒng)。

圖14是根據(jù)本發(fā)明的另一實施例的虛擬現(xiàn)實應(yīng)用的系統(tǒng)。

【具體實施方式】

在說明書及權(quán)利要求書當(dāng)中使用了某些詞匯來指稱特定的組件。所屬領(lǐng)域中的技術(shù)人員應(yīng)可理解，制造商可能會用不同的名詞來稱呼同樣的組件。本說明書及權(quán)利要求書并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的基準(zhǔn)。在通篇說明書及權(quán)利要求書當(dāng)中所提及的「包含」是開放式的用語，故應(yīng)解釋成「包含但不限定于」。另外，「耦接」一詞在此包含任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表第一裝置可直接電氣連接于第二裝置，或透過其它裝置或連接手段間接地電氣連接至第二裝置。

本發(fā)明的音頻同步方法的實施例用于確定兩個麥克風(fēng)之間的開始時間差(starting-timedifference)(即，麥克風(fēng)開始記錄音頻信號的時間點之間的差)，并且使用所確定的開始時間差同步所記錄的音頻信號。另外，音頻同步方法的實施例可以應(yīng)用于如圖1所示的360度音頻/視頻應(yīng)用，其中多個相機110_1和110_2以及麥克風(fēng)120_1和120_2用于記錄用于使用虛擬現(xiàn)實的音頻和視頻信號。

請參考圖2，圖2為本發(fā)明一實施例的音頻同步方法的示意圖。如圖所示，在圖2中，假設(shè)三個麥克風(fēng)220_1-220_3用于記錄音頻信號，揚聲器210用于產(chǎn)生用于音頻同步的同步聲音樣式(synchronizationsoundpattern)。同步聲音樣式可以是能夠與環(huán)境噪聲區(qū)分開的任何預(yù)先設(shè)計的聲音樣式，并且同步聲音樣式可以具有單音、掃描音(sweeptone)或啁啾，并且同步聲音樣式可以是正常聲音或超聲波。在該實施例中，揚聲器210的位置由用戶或產(chǎn)品工程師確定，因此揚聲器210和麥克風(fēng)220_1-220_3之間的距離是用戶或工程師已知的，其中揚聲器210和麥克風(fēng)220_1-220_3之間的距離分別由“x”、“y”和“z”表示，并且假設(shè)y>x>z。在開始時，用戶使能(enable)麥克風(fēng)220_1-220_3分別開始記錄音頻信號，然后揚聲器210產(chǎn)生同步聲音樣式，其中，圖2所示的黑點是麥克風(fēng)220_1-220_3開始記錄音頻信號的開始時間，并且圖2中所示的三角波表示由麥克風(fēng)220_1-220_3記錄的同步聲音樣式。

在接收到原始記錄的音頻信號之后，對原始記錄的音頻信號執(zhí)行自相關(guān)操作(auto-correlationoperation)以對準(zhǔn)原始記錄的音頻信號內(nèi)的同步聲音樣式。然后，因為設(shè)備/麥克風(fēng)規(guī)格和布置是已知的，所以可以預(yù)先計算與距離差“y-x”和“y-z”相對應(yīng)的聲音延遲，并且施加對應(yīng)于距離差“y-x”和“y-z”的聲音延遲以補償對準(zhǔn)的音頻信號，以產(chǎn)生補償?shù)囊纛l信號。在圖2所示的補償音頻信號中，與麥克風(fēng)220_1和220_2對應(yīng)的補償音頻信號的同步聲音樣式具有與距離差“y-x”對應(yīng)的延遲，并且與麥克風(fēng)220_2和220_3相對應(yīng)的補償音頻信號的同步聲音樣式具有對應(yīng)于距離差“y-z”的延遲，并且這些補償?shù)囊纛l信號用作補償開始時間差異情況的同步音頻信號。

在圖2所示的實施例中，聲音延遲需要被預(yù)先計算以補償音頻信號，然而，聲音延遲計算可能受到由環(huán)境溫度、濕度和空氣密度確定的聲速的影響。因此，可能引入延遲誤差影響經(jīng)補償?shù)囊纛l信號的精度。為了解決延遲誤差問題，提供了一種解決方案以使揚聲器和麥克風(fēng)具有特殊的布置，例如如圖3中(a)和(b)所示的環(huán)形或?qū)ΨQ布置。圖3是揚聲器和麥克風(fēng)具有特殊的布置的示意圖。參考圖3中的(a)和(b)，揚聲器310/330與麥克風(fēng)320_1-320_4/340_1-340_4中的每一個之間的距離相同，因此揚聲器310/330與麥克風(fēng)320_1-320_4/340_1-340_4中的每一個之間的聲音傳播延遲是相同的，以防止圖2的實施例中的聲音延遲問題。

在圖3所示的實施例中，找到揚聲器310/330的可行位置可能是困難的，此外，如果在揚聲器310/330與每個麥克風(fēng)320_1-320_4/340_1-340_4的每一個之間存在一些對象，則對象可以形成從直線到z字形的聲音傳播路徑，并且z字形可能不相同，因此，即使揚聲器310/330與每個麥克風(fēng)320_1-320_4/340_1-340_4之間的距離相同，聲音傳播延遲也可能不相同。為了解決這些問題，圖4提供了一個實施例。

圖4是示出根據(jù)本發(fā)明另一實施例的音頻同步方法的示意圖。如圖4所示，假設(shè)使用兩個麥克風(fēng)420_1和420_2來記錄音頻信號，并且使用兩個揚聲器410_1和410_2來產(chǎn)生用于音頻同步的同步聲音樣式。由揚聲器410_1和410_2產(chǎn)生的同步聲音樣式可以相同或不同，并且同步聲音樣式可以是能夠與環(huán)境噪聲區(qū)分開的任何預(yù)先設(shè)計的聲音樣式，并且同步聲音樣式可以具有單個音調(diào)、掃描音調(diào)或啁啾聲，并且同步聲音樣式可以是正常聲音或超聲波。在本實施例中，揚聲器410_1、麥克風(fēng)420_1、麥克風(fēng)420_2和揚聲器410_1在同一直線上對齊，麥克風(fēng)420_1和420_2放置在揚聲器410_1和410_2之間，揚聲器410_1放置得更靠近麥克風(fēng)420_1，而不是麥克風(fēng)420_2，并且揚聲器410_2被放置更靠近麥克風(fēng)420_2，而不是麥克風(fēng)420_1。

在開始時，用戶使能麥克風(fēng)420_1和420_2分別開始記錄音頻信號，并且用戶控制揚聲器410_1產(chǎn)生第一同步聲音樣式，其中，圖4所示的黑點是麥克風(fēng)420_1和420_2開始記錄音頻信號的開始時間，三角波“a”表示由揚聲器410_1產(chǎn)生的第一同步聲音樣式，三角波“b”和“c”分別表示由麥克風(fēng)420_1和420_2記錄的第一同步聲音樣式。然后，一段時間后，用戶控制揚聲器410_2產(chǎn)生第二同步聲音樣式，其中三角波“d”表示由揚聲器410_2產(chǎn)生的第二同步聲音樣式，三角波“e”和“f”分別表示由麥克風(fēng)420_2和420_1記錄的第二同步聲音樣式。

在圖4所示的實施例中，符號“t”表示兩個麥克風(fēng)420_1和420_2之間的開始時間差，符號“x”表示第一同步聲音樣式“a”和“b”之間的聲音傳播延遲，符號“z”表示第二同步聲音樣式“d”和“e”之間的聲音傳播延遲，符號“y”表示兩個麥克風(fēng)420_1和420_2之間的聲音傳播延遲(即第一同步聲音樣式“b”和“c”之間的聲音傳播延遲和/或第二同步聲音樣式“e”和“f”之間的聲音傳播延遲)。應(yīng)當(dāng)注意，開始時間差“t”和聲音傳播延遲“x”、“y”和“z”最初是未知的。

為了獲得開始時間差“t”以補償所記錄的音頻信號，如圖5所示，對由麥克風(fēng)420_1和420_2記錄的音頻信號執(zhí)行相關(guān)運算以對準(zhǔn)第一同步聲音樣式“b”和“c”。圖5是對由麥克風(fēng)記錄的音頻信號執(zhí)行相關(guān)運算的示意圖。在第一同步聲音樣式“b”和“c”對準(zhǔn)之后，計算由麥克風(fēng)420_2記錄的音頻信號的第二同步聲音樣式“e”與由麥克風(fēng)420_1記錄的音頻信號的第二同步聲音樣式“f”之間的差，其中差等于“2*y”(正好是“2*y”)。然后，根據(jù)計算出的第二同步聲音樣式“e”和“f”之間的差“2*y”獲得兩個麥克風(fēng)420_1和420_2之間的聲音傳播延遲“y”。然后，移動音頻信號以使由麥克風(fēng)420_1記錄的音頻信號的第一同步聲音樣式“b”和由麥克風(fēng)420_2記錄的音頻信號的第一同步聲音樣式“c”具有延遲“y”，如圖4所示。最后，比較由麥克風(fēng)420_1記錄的(移動的)音頻信號的頭部位置(headposition)和由麥克風(fēng)420_2記錄的(移動的)音頻信號的頭部位置，以獲得用于音頻同步的開始時間差“t”。例如，由麥克風(fēng)420_2記錄的音頻信號可以在開始處添加長度等于“t”的虛擬樣式(dummypattern)，以用于音頻同步。

在圖4所示的實施例中，在信號處理中不涉及聲音傳播延遲“x”和“z”，即，揚聲器410_1和麥克風(fēng)420_1之間的距離，以及揚聲器410_2和麥克風(fēng)420_2之間的距離不是本實施例的音頻同步方法的限制。此外，通過將揚聲器410_1和410_2置于麥克風(fēng)420_1和420_2之間的延長線上，兩個不同傳播方向上的麥克風(fēng)420_1和420_2之間的聲音傳播延遲是相同的，因此，不需要考慮或校準(zhǔn)任何路徑的聲速。綜上所述，對揚聲器410_1和410_2以及麥克風(fēng)420_1和420_2的位置，除了麥克風(fēng)420_1、麥克風(fēng)420_2、揚聲器410_1和揚聲器410_2在同一直線上對準(zhǔn)，揚聲器410_1放置得比其離麥克風(fēng)420_2更靠近麥克風(fēng)420_1，并且揚聲器410_2被放置得比其離麥克風(fēng)420_1更靠近麥克風(fēng)420_2之外，沒有其他限制。

圖6示出根據(jù)本發(fā)明的一個實施例的能夠記錄用于360度音頻應(yīng)用的兩個音頻信號的電子設(shè)備608。如圖6所示，電子設(shè)備608包括兩個揚聲器610_1和610_2、兩個麥克風(fēng)620_1和620_2以及處理電路630。在本實施例中，揚聲器610_1和610_2以及麥克風(fēng)620_1和620_2在同一行對齊，麥克風(fēng)620_1和620_2被放置在揚聲器610_1和610_2之間，并且揚聲器610_1被放置得比它離麥克風(fēng)620_2更接近麥克風(fēng)620_1，并且揚聲器610_2被放置得比它離麥克風(fēng)620_1更接近麥克風(fēng)620_2。另外，電子設(shè)備608可以是任何便攜式設(shè)備，諸如具有多于一個揚聲器和多于一個麥克風(fēng)的智能電話或平板電腦，但是這不是本發(fā)明的限制。電子設(shè)備608內(nèi)的元件的操作類似于圖4和圖5所示的實施例，具體操作如下圖圖8所示。

圖7示出了根據(jù)本發(fā)明另一實施例的能夠記錄用于360度音頻應(yīng)用的音頻信號的電子設(shè)備708。如圖7所示，電子設(shè)備708包括三個揚聲器710_1-710_3、三個麥克風(fēng)720_1-720_3和處理電路730。在本實施例中，揚聲器710_1放置得非?？拷溈孙L(fēng)720_1，揚聲器710_2放置得非?？拷溈孙L(fēng)720_2，并且揚聲器710_3被放置得非?？拷溈孙L(fēng)720_3，因此揚聲器710_1-710_3中的每兩個和相應(yīng)的兩個麥克風(fēng)被認為是在同一條線上。另外，電子設(shè)備708可以是任何便攜式設(shè)備，諸如具有多于一個揚聲器和多于一個麥克風(fēng)的智能電話或平板電腦，但是其不是本發(fā)明的限制。電子設(shè)備708內(nèi)的元件的操作類似于圖4和圖5所示的實施例，具體操作如下圖圖8所示。

圖8是根據(jù)本發(fā)明的一個實施例的音頻同步方法的流程圖。在步驟800中，流程開始。在步驟802中，處理電路630/730開啟所有的麥克風(fēng)620_1-620_2/720_1-720_3。在步驟804中，處理電路630/730控制揚聲器610_1-610_2/710_1-710_3依序播放同步聲音樣式。在步驟806中，處理電路630/730從麥克風(fēng)620_1-620_2/720_1-720_3接收音頻信號，并進一步計算麥克風(fēng)的開始時間差，例如，處理電路730可以計算麥克風(fēng)720_1-720_2的開始時間差，并進一步計算麥克風(fēng)720_2和720_3之間的開始時間差，以得到所有麥克風(fēng)720_1-720_3的開始時間差；或者處理電路730可以計算麥克風(fēng)720_1和720_2之間的開始時間差，并進一步計算麥克風(fēng)720_1和720_3之間的開始時間差，以獲得所有麥克風(fēng)720_1-720_3的開始時間差。

步驟822-828是用于麥克風(fēng)對的開始時間差計算的詳細流程。以麥克風(fēng)720_1和720_2為例，在步驟822中，處理電路730對麥克風(fēng)720_1和720_2記錄的音頻信號進行相關(guān)運算，以對齊由揚聲器710_1產(chǎn)生的第一同步聲音樣式。在步驟824中，在對齊第一同步聲音樣式之后，處理電路730計算由麥克風(fēng)720_2記錄的音頻信號的第二同步聲音樣式與由麥克風(fēng)720_1記錄的音頻信號的第二同步聲音樣式之間的時間差，其中第二同步聲音樣式由揚聲器710_2產(chǎn)生，且差值為“2*y”(例如圖5)。在步驟826中，處理電路730移動音頻信號以使由麥克風(fēng)720_1記錄的音頻信號的第一同步聲音樣式和由麥克風(fēng)720_2記錄的音頻信號的第一同步聲音樣式具有延遲“y“(例如圖4)。在步驟828中，處理電路730比較麥克風(fēng)720_1所記錄的(移動的)音頻信號的頭部位置(headposition)與麥克風(fēng)720_2記錄的(移動的)音頻信號的頭部位置，以獲得開始時間差(例如圖4所示的“t“)，用于音頻同步。例如，由麥克風(fēng)720_1或720_2(例如，稍后打開的麥克風(fēng))記錄的音頻信號可以添加虛擬樣式，其長度等于開始時的開始時間差，用于音頻同步。

請注意，圖7可以具有多于三個麥克風(fēng)-揚聲器對，并且對多個兩對麥克風(fēng)-揚聲器對執(zhí)行多個開始時間差計算以獲得所有麥克風(fēng)的開始時間信息。例如，如果電子設(shè)備708包括多個揚聲器710_1-710_n和多個麥克風(fēng)720_1-720_n，則可以計算麥克風(fēng)(720_1，720_2)、(720_1，720_3)、(720_1，720_4)、...、(720_1，720_n)，或者麥克風(fēng)(720_1，720_2)、(720_2，720_3)、(720_3，720_4)，...和(720_(n-1)，720_n)的開始時間差以獲得所有麥克風(fēng)的開始時間信息。只要開始時間差計算形成用于所有麥克風(fēng)720_1-720_n的鏈，對于對配對順序(pairorder)的選擇就沒有限制。

圖9是根據(jù)本發(fā)明的一個實施例的能夠記錄用于360度音頻應(yīng)用的音頻信號的系統(tǒng)。如圖9所示，該系統(tǒng)包括四個電子設(shè)備902、904、906和908，其中電子設(shè)備902包括揚聲器910_1和麥克風(fēng)920_1，電子設(shè)備904包括揚聲器910_2和麥克風(fēng)920_2，電子設(shè)備906包括揚聲器910_3和麥克風(fēng)920_3，電子設(shè)備908包括處理電路930。在本實施例中，揚聲器910_1放置得非常接近麥克風(fēng)920_1，揚聲器910_2放置得非?？拷溈孙L(fēng)920_2，揚聲器910_3放置得非常靠近麥克風(fēng)920_3，因此揚聲器910_1-910_3中的每兩個以及相應(yīng)的兩個麥克風(fēng)被認為在同一條線上。此外，電子設(shè)備902、904和906可以是任何便攜式設(shè)備，諸如具有揚聲器和麥克風(fēng)的智能電話或平板電腦，并且電子設(shè)備908可以是記錄設(shè)備、遙控器或云服務(wù)器設(shè)備，但是其不是本發(fā)明的限制。

圖10是根據(jù)本發(fā)明另一實施例的音頻同步方法的流程圖。在步驟1000中，流程開始。在步驟1002中，電子設(shè)備908無線地控制電子設(shè)備802-806，以依序開啟麥克風(fēng)920_1-920_3。在步驟1004中，電子設(shè)備908無線地控制揚聲器910_1-910_3以以相反的順序依序播放同步聲音樣式。在步驟1006中，處理電路930接收來自麥克風(fēng)920_1-920_3的音頻信號，并計算麥克風(fēng)對的開始時間差，例如，處理電路930計算麥克風(fēng)920_1與920_2之間的開始時間差，以及麥克風(fēng)920_2和920_3之間的開始時間差。

步驟1022-1028是用于麥克風(fēng)對的開始時間差計算的詳細流程。以麥克風(fēng)920_1和920_2為例，在步驟1022中，處理電路930對麥克風(fēng)920_1和920_2記錄的音頻信號進行相關(guān)運算，以對齊由揚聲器910_1產(chǎn)生的第一同步聲音樣式。在步驟1024中，在對齊第一同步聲音樣式之后，處理電路930計算由麥克風(fēng)920_2記錄的音頻信號的第二同步聲音樣式與由麥克風(fēng)920_1記錄的音頻信號的第二同步聲音樣式之間的時間差，其中第二同步聲音樣式由揚聲器910_2產(chǎn)生，且差值為“2*y”(例如圖5)。在步驟1026中，處理電路930移動音頻信號以使由麥克風(fēng)920_1記錄的音頻信號的第一同步聲音樣式和由麥克風(fēng)920_2記錄的音頻信號的第一同步聲音樣式具有延遲“y“(例如圖4)。在步驟1028中，處理電路930比對麥克風(fēng)920_1記錄的(移動的)音頻信號的頭部位置與麥克風(fēng)920_2記錄的(移動的)音頻信號的頭部位置，以獲得開始時間差(例如圖4所示的“t“)，用于音頻同步。例如，由麥克風(fēng)920_1或920_2(例如，稍后打開的麥克風(fēng))記錄的音頻信號可以添加長度等于開始時的開始時間差的虛擬圖案，以用于音頻同步。

請注意，圖9可以具有多于三個麥克風(fēng)-揚聲器對，并且對多個兩對麥克風(fēng)-揚聲器對執(zhí)行多個開始時間差計算以獲得所有麥克風(fēng)的開始時間信息。例如，如果系統(tǒng)包括多個揚聲器910_1-910_n和多個麥克風(fēng)920_1-920_n，則可以計算麥克風(fēng)(920_1，920_2)、(920_1，920_3)、(920_1，920_4)、...，和(920_1，920_n)的開始時間差，或者麥克風(fēng)(920_1，920_2)、(920_2，920_3)、(920_3，920_4)、...和(920_(n-1)，920_n)的開始時間差，以獲得所有麥克風(fēng)的開始時間信息。只要開始時間差計算形成用于所有麥克風(fēng)920_1-920_n的鏈，對于配對順序(pairorder)的選擇就沒有限制。

圖11是根據(jù)本發(fā)明的一個實施例的能夠記錄用于360度音頻應(yīng)用的音頻信號的系統(tǒng)。如圖11所示，該系統(tǒng)包括四個電子設(shè)備1102、1104、1106和1108，其中電子設(shè)備1102包括麥克風(fēng)1120_1，電子設(shè)備1104包括麥克風(fēng)1120_2，電子設(shè)備1106包括麥克風(fēng)1120_3，電子設(shè)備1108包括控制接口1112、揚聲器1110和處理電路1130。另外，電子設(shè)備1102、1104和1106可以是能夠記錄音頻信號的任何便攜式設(shè)備，諸如智能手機或平板電腦，并且電子設(shè)備1108可以是遙控器，但是其不是本發(fā)明的限制。

圖12是根據(jù)本發(fā)明另一實施例的音頻同步方法的流程圖。在步驟1200中，流程開始。在步驟1202中，電子設(shè)備1108無線地控制電子設(shè)備1102-1106以依序開啟麥克風(fēng)1120_1-1120_3。在步驟1204中，用戶分別將電子設(shè)備1108移動到電子設(shè)備1102-1106，并且當(dāng)電子設(shè)備1108移動靠近電子設(shè)備1102/1104/1106時，用戶使用控制接口1112來控制揚聲器1110以播放同步聲音樣式。詳細地說，用戶可以將電子設(shè)備1108移動靠近電子設(shè)備1102，并且使用控制接口1112控制揚聲器1110播放同步聲音樣式；隨后用戶將電子設(shè)備1108移動靠近電子設(shè)備1104，并且使用控制接口1112控制揚聲器1110播放同步聲音樣式；并且最終用戶將電子設(shè)備1108移動靠近電子設(shè)備1106，并且使用控制接口1112控制揚聲器1110播放同步聲音樣式。在步驟1206中，處理電路1130從電子設(shè)備1102-1106接收音頻信號，并計算麥克風(fēng)對的開始時間差，例如，處理電路1130計算麥克風(fēng)1120_1與麥克風(fēng)1120_2之間的開始時間差，以及麥克風(fēng)1120_2和1120_3之間的開始時間差。

步驟1222-1228是用于麥克風(fēng)對的開始時間差計算的詳細流程。以麥克風(fēng)1120_1和1120_2為例，在步驟1222中，處理電路1130對麥克風(fēng)1120_1和1120_2記錄的音頻信號進行相關(guān)運算，以對齊由揚聲器1110產(chǎn)生的第一同步聲音樣式。在步驟1224中，在對準(zhǔn)第一同步聲音樣式之后，處理電路1130計算由麥克風(fēng)1120_2記錄的音頻信號的第二同步聲音樣式與由麥克風(fēng)1120_1記錄的音頻信號的第二同步聲音樣式之間的時間差，其中第二同步聲音樣式由揚聲器1110產(chǎn)生，且差值為“2*y”(例如圖5)。在步驟1226中，處理電路1130移動音頻信號以使由麥克風(fēng)1120_1記錄的音頻信號的第一同步聲音樣式和由麥克風(fēng)1120_2記錄的音頻信號的第一同步聲音樣式具有延遲“y“(例如圖4)。在步驟1228中，處理電路1130比較由麥克風(fēng)1120_1記錄的(移動的)音頻信號的頭部位置與由麥克風(fēng)1120_2記錄的(移動的)音頻信號的頭部位置，以獲得開始時間差(例如圖4所示的“t“)，用于音頻同步。例如，由麥克風(fēng)1120_1或1120_2記錄的音頻信號可以添加虛擬圖案，其長度等于開始時的開始時間差用于音頻同步。

上述實施例可以應(yīng)用于虛擬現(xiàn)實應(yīng)用以提供360度的音頻體驗。圖13是根據(jù)本發(fā)明的一個實施例的虛擬現(xiàn)實應(yīng)用的系統(tǒng)。如圖13所示，該系統(tǒng)包括電子設(shè)備1350和頭戴式顯示器1370，其中電子設(shè)備1350可以是電子設(shè)備608、708、908、1108中的任何一個，其能夠接收由麥克風(fēng)記錄的音頻信號，以及提供同步的音頻信號，并且頭戴式顯示器1370用于經(jīng)由網(wǎng)絡(luò)1360從電子設(shè)備1350接收同步的音頻信號并且為用戶播放同步的音頻信號。

詳細地說，電子設(shè)備1350包括捕獲模塊1351、拼接模塊(stitchingmodule)1352、編碼器1353、文件合成(filecomposing)模塊1354以及封裝模塊1355。捕獲模塊1351用以接收來自兩個或多個麥克風(fēng)的音頻信號。拼接模塊1352用于計算麥克風(fēng)之間的開始時間差以補償/同步音頻信號。編碼器1353用于根據(jù)相關(guān)的編解碼標(biāo)準(zhǔn)對補償/同步的音頻信號進行編碼。文件合成模塊1354將編碼的音頻信號轉(zhuǎn)換為具有諸如iso基本媒體文件格式(isobasemediafileformat，簡寫為isobmff)的指定格式的媒體文件。封裝模塊1355用于對媒體文件進行封裝操作，例如通過http的動態(tài)自適應(yīng)流傳輸(dynamicadaptivestreamingoverhttp，簡寫為dash)封裝，以生成媒體流。

頭戴式顯示器1370包括媒體請求和接收模塊1371、文件解析模塊1372、解碼器1373、頭/眼跟蹤模塊1374和渲染(rendering)模塊1375。媒體請求和接收模塊1371用于根據(jù)由頭/眼跟蹤模塊1374生成的用戶的頭/眼跟蹤信息，經(jīng)由網(wǎng)絡(luò)1360從電子設(shè)備1350接收媒體流。文件解析模塊1372對應(yīng)文件合成模塊1354，用于解析媒體文件生成編碼音頻信號。解碼器1373用于根據(jù)由頭/眼跟蹤模塊1374生成的用戶的頭/眼跟蹤信息來解碼由文件解析模塊1372提供的編碼的音頻信號。最后，渲染模塊1375從解碼器1373接收解碼的音頻信號以根據(jù)由頭/眼跟蹤模塊1374產(chǎn)生的用戶的頭/眼跟蹤信息來播放用于用戶的音頻信號。

另外，在圖13所示的實施例中，電子設(shè)備1350內(nèi)的一些元件可以屬于另一電子設(shè)備。例如，電子設(shè)備1350可以僅包括捕獲模塊1351和拼接模塊1352，而諸如編碼器1353、文件合成模塊1354和封裝模塊1355的其余元件在耦合到電子設(shè)備的另一電子設(shè)備內(nèi)1350中；或者電子設(shè)備1350可以僅包括捕獲模塊1351、拼接模塊1352和編碼器1353，而其余元件在另一電子設(shè)備內(nèi)；或者電子設(shè)備1350可以僅包括捕獲模塊1351、拼接模塊1352、編碼器1353和文件合成模塊1354，而封裝模塊1355在另一電子設(shè)備內(nèi)。這些替代設(shè)計將落入本發(fā)明的范圍內(nèi)。

在圖13所示的實施例中，由頭/眼跟蹤模塊1374產(chǎn)生的用戶的頭/眼跟蹤信息被提供給媒體請求和接收模塊1371和解碼器1373以提高它們的工作效率，即媒體請求和接收模塊1371和解碼器1373只能選擇所需的數(shù)據(jù)進行處理。在其他實施例中，由頭/眼跟蹤模塊1374產(chǎn)生的用戶的頭/眼跟蹤信息可以不被提供給媒體請求和接收模塊1371和/或解碼器1373。這些替代設(shè)計將落入本發(fā)明的范圍內(nèi)。

圖14是根據(jù)本發(fā)明的另一實施例的虛擬現(xiàn)實應(yīng)用的系統(tǒng)。如圖14所示，系統(tǒng)包括電子設(shè)備1450和頭戴式顯示器1470，其中電子設(shè)備1450可以是電子設(shè)備608、708、908、1108中的任何一個，其能夠接收由麥克風(fēng)記錄的音頻信號，以及提供同步的音頻信號，并且頭戴式顯示器1470用于為用戶播放從電子設(shè)備1450產(chǎn)生的同步的視頻/音頻信號文件。

詳細地說，電子設(shè)備1450包括捕獲模塊1451、拼接模塊1452、編碼器1453以及文件合成模塊1454。捕獲模塊1451用以接收來自兩個或多個麥克風(fēng)的音頻信號。拼接模塊1452用于計算麥克風(fēng)之間的開始時間差以補償/同步音頻信號。編碼器1453用于根據(jù)相關(guān)的編解碼標(biāo)準(zhǔn)對補償/同步的音頻信號進行編碼。文件合成模塊1454將編碼的音頻信號轉(zhuǎn)換為具有諸如iso基本媒體文件格式(isobmff)的指定格式的媒體文件。最后，由電子設(shè)備1450生成的文件被存儲在存儲設(shè)備或云服務(wù)器中。

頭戴式顯示器1470包括文件解析模塊1472、解碼器1473、頭/眼跟蹤模塊1474和渲染模塊1475.當(dāng)用戶想要虛擬現(xiàn)實時，文件解析模塊1472用于從存儲設(shè)備或云服務(wù)器接收媒體文件，并解析媒體文件以生成編碼的音頻信號。解碼器1473用于根據(jù)由頭/眼跟蹤模塊1474生成的用戶的頭/眼跟蹤信息來解碼由文件解析模塊1472提供的編碼的音頻信號。最后，再現(xiàn)模塊1475從解碼器1473接收解碼的音頻信號，以根據(jù)由頭/眼跟蹤模塊1474產(chǎn)生的用戶的頭/眼跟蹤信息為用戶播放音頻信號。

另外，在圖14所示的實施例中，電子設(shè)備1450內(nèi)的一些元件可以屬于另一電子設(shè)備。例如，電子設(shè)備1450可以僅包括捕獲模塊1451和拼接模塊1452，而諸如編碼器1453和文件合成模塊1454的其余元件在耦合到電子設(shè)備1450的另一電子設(shè)備內(nèi)；或電子設(shè)備1450可以僅包括捕獲模塊1451、拼接模塊1452和編碼器1453，而其余元件在另一電子設(shè)備內(nèi)。這些替代設(shè)計將落入本發(fā)明的范圍內(nèi)。

在圖14所示的實施例中，由頭/眼跟蹤模塊1474產(chǎn)生的用戶的頭/眼跟蹤信息被提供給解碼器1473以提高工作效率，即解碼器1473只能選擇所需的數(shù)據(jù)進行處理。在其他實施例中，由頭/眼跟蹤模塊1474產(chǎn)生的用戶的頭/眼跟蹤信息可以不被提供給解碼器1473。這些替代設(shè)計將落入本發(fā)明的范圍內(nèi)。

本說明書揭露了本發(fā)明的范例以及較佳實施例，但應(yīng)當(dāng)理解，本發(fā)明并不限于所揭露的實施例。相反，所述公開的實施例的上述描述可使得本領(lǐng)域的技術(shù)人員能夠?qū)崿F(xiàn)或者使用本發(fā)明。對于本領(lǐng)域技術(shù)人員來說，這些實施例的各種修改是顯而易見的，并且這里定義的總體原理也可以在不脫離本發(fā)明的范圍和主旨的基礎(chǔ)上應(yīng)用于其他實施例。因此，本發(fā)明并不限于這里示出的實施例，而是與符合這里公開的原理和新穎特征的最廣范圍相一致。