專利名稱：異構(gòu)計(jì)算平臺(tái)上用于分布式視音頻捕獲的通用自適應(yīng)同步方案的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總地涉及分布式多媒體同步的領(lǐng)域。更具體地說，本發(fā)明的實(shí)施方案涉及異構(gòu)計(jì)算平臺(tái)上用于分布式視音頻捕獲的通用自適應(yīng)同步方案。
背景技術(shù)：
提供額外計(jì)算能力的一種方法是采用分布式計(jì)算機(jī)環(huán)境。這種方法使得幾臺(tái)計(jì)算機(jī)能夠在減少的時(shí)間量?jī)?nèi)協(xié)同完成計(jì)算任務(wù)。通常，這種并行計(jì)算方法所提供的拆分解決方法可以利用已有的個(gè)人計(jì)算機(jī)，而不是購買用于執(zhí)行計(jì)算密集型任務(wù)的高性能、基于服務(wù)器的計(jì)算機(jī)系統(tǒng)。
然而，分布式計(jì)算通常用于完成純計(jì)算任務(wù)，而未用于對(duì)信號(hào)，特別是音頻/視頻信號(hào)(和數(shù)據(jù)流)的同步捕獲和/或處理。音頻/視頻信號(hào)(和數(shù)據(jù)流)的信號(hào)處理通常對(duì)于采樣率、抖動(dòng)和延遲上的極小差異(例如時(shí)鐘歪斜率)都是非常敏感的。因此，精確的同步對(duì)于高質(zhì)量的輸入/輸出處理以及實(shí)時(shí)性能和通常的魯棒性和可靠性問題是非常重要的。但是，在當(dāng)前的平臺(tái)上不能保證精確的捕獲和同步式輸入。
例如，在相同的個(gè)人計(jì)算機(jī)(PC)平臺(tái)上，當(dāng)幾個(gè)輸入/輸出(I/O)設(shè)備被用來從攝像機(jī)和麥克風(fēng)捕獲音頻和視覺信息時(shí)，可能會(huì)出現(xiàn)問題。由于不同的I/O設(shè)備由單獨(dú)的振蕩器觸發(fā)，因此得到的音頻采樣和視頻幀不會(huì)沿絕對(duì)時(shí)間線對(duì)齊(因而招致一些相對(duì)偏移)。此外，由于振蕩器頻率的差異，音頻和/或視覺數(shù)據(jù)將在多條信道/流上隨時(shí)間漂移。振蕩器頻率的不穩(wěn)定性也不會(huì)彼此完全相關(guān)。
類似地，在多個(gè)PC平臺(tái)的情形中，音頻和視覺I/O設(shè)備不會(huì)在時(shí)間刻度上同步，導(dǎo)致某些相對(duì)偏移，并且導(dǎo)致數(shù)據(jù)采樣彼此相對(duì)漂移?，F(xiàn)有平臺(tái)上的相對(duì)偏移、漂移和抖動(dòng)的程度取決于很多硬件和軟件參數(shù)，并且可能是相當(dāng)大的，有時(shí)引起所處理信號(hào)(來自非同步的輸入流)的總體衰落(degradation)。例如對(duì)于陣列信號(hào)處理算法而言，這樣的漂移、延遲和抖動(dòng)可能引起相當(dāng)大的性能下降。
例如，在一個(gè)聲束形成器中，麥克風(fēng)之間有10厘米(cm)的間隔，此時(shí)，在時(shí)間上僅僅百分之0.01的誤差就可能導(dǎo)致束方向上20度的誤差。因此，音頻陣列處理算法的當(dāng)前實(shí)現(xiàn)方式可能依賴于在多個(gè)I/O信道之間實(shí)現(xiàn)同步的專用電路。不幸的是，用現(xiàn)有的PC平臺(tái)實(shí)現(xiàn)這種方法將需要對(duì)PC平臺(tái)所采用的當(dāng)前硬件進(jìn)行大修。因此，一直需要克服在上述現(xiàn)有技術(shù)中存在的一種或多種局限。


在附圖中以示例而非限制的方式圖示說明了本發(fā)明，其中用相近的標(biāo)號(hào)代表相似或相同的元件，在附圖中圖1圖示了可以實(shí)現(xiàn)本發(fā)明的一個(gè)實(shí)施方案的計(jì)算機(jī)系統(tǒng)100的典型框圖；圖2進(jìn)一步圖示了圖1中描繪的計(jì)算機(jī)系統(tǒng)100的I/O設(shè)備200；圖3圖示了可用來實(shí)現(xiàn)本發(fā)明實(shí)施方案的典型的同步、分布式多媒體數(shù)據(jù)捕獲系統(tǒng)300；圖4A和4B根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)400和450；圖5根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)500；以及圖6根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)600。
具體實(shí)施例方式
在本發(fā)明的以下詳細(xì)描述中闡述了大量具體的細(xì)節(jié)，以提供對(duì)本發(fā)明的完整理解。然而，本領(lǐng)域的技術(shù)人員將清楚的是，沒有這些具體的細(xì)節(jié)也可以實(shí)現(xiàn)本發(fā)明。在其他實(shí)例中，以框圖的形式示出了公知的結(jié)構(gòu)和設(shè)備，而沒有詳細(xì)示出，以免模糊了本發(fā)明。
在說明書中提及“一個(gè)實(shí)施方案”或“實(shí)施方案”是指結(jié)合該實(shí)施方案所描述的具體特征、結(jié)構(gòu)或特性被包括在本發(fā)明的至少一個(gè)實(shí)施方案中。短語“在一個(gè)實(shí)施方案中”在說明書不同地方的出現(xiàn)不一定是指同一個(gè)實(shí)施方案。
這里使用了以下與時(shí)鐘有關(guān)的定義●“穩(wěn)定性”代表了時(shí)鐘可以在多大程度上保持恒定的頻率；●“準(zhǔn)確度”代表了時(shí)鐘的時(shí)間與國(guó)家標(biāo)準(zhǔn)相稱得有多好；●“精度”用于指定時(shí)鐘的內(nèi)部分辨率；●“偏移量”指定兩個(gè)時(shí)鐘之間的時(shí)間差；●“歪斜率(skew)”刻畫了兩個(gè)時(shí)鐘之間的頻率差，并且被定義為頻率之比；●“同步兩個(gè)時(shí)鐘”代表使兩個(gè)時(shí)鐘在頻率和時(shí)間上協(xié)調(diào)一致的過程(即，將偏移量校正為0，并使歪斜率等于1)。
另外，術(shù)語“通用計(jì)算機(jī)(GPC)”用在這里是想代表膝上型計(jì)算機(jī)、PDA、平板PC、移動(dòng)電話以及可以構(gòu)成分布式音頻/視頻系統(tǒng)的一部分的類似設(shè)備。
圖1圖示了可以實(shí)現(xiàn)本發(fā)明的一個(gè)實(shí)施方案的計(jì)算機(jī)系統(tǒng)100的典型框圖。計(jì)算機(jī)系統(tǒng)100包括耦合到總線105的中央處理單元(CPU)102。在一個(gè)實(shí)施方案中，CPU102是Pentium系列處理器的一員，所述Pentium系列處理器包括PentiumII處理器系列、PentiumIII處理器、PentiumIV處理器，這些處理器可以從位于加利福尼亞州圣克拉拉的Intel公司獲得?？商鎿Q地，也可以使用其他CPU，例如Intel的XScale處理器、Intel的Pentium M處理器、可從位于英國(guó)劍橋的ARM有限公司獲得的ARM處理器、或者可從位于德克薩斯州達(dá)拉斯的德州儀器公司獲得的OMAP處理器(基于ARM的增強(qiáng)型處理器)。
芯片組107也耦合到總線105。芯片組107包括存儲(chǔ)器控制中心(MCH)110。MCH110可以包括耦合到主系統(tǒng)存儲(chǔ)器115的存儲(chǔ)器控制器112。主系統(tǒng)存儲(chǔ)器115存儲(chǔ)由CPU102或包括在系統(tǒng)100中的任何其他設(shè)備執(zhí)行的數(shù)據(jù)和指令序列。在一個(gè)實(shí)施方案中，主系統(tǒng)存儲(chǔ)器115包括動(dòng)態(tài)隨機(jī)訪問存儲(chǔ)器(DRAM)；然而，主系統(tǒng)存儲(chǔ)器115可以采用其他存儲(chǔ)器類型來實(shí)現(xiàn)。其他設(shè)備也可以耦合到總線105，例如多個(gè)CPU和/或多個(gè)系統(tǒng)存儲(chǔ)器。
MCH110還可以包括耦合到圖形加速器130的圖形接口113。在一個(gè)實(shí)施方案中，圖形接口113經(jīng)由加速圖形端口(AGP)耦合到圖形加速器130，所述加速圖形端口根據(jù)由加利福尼亞州圣克拉拉的Intel公司開發(fā)的AGP規(guī)范2.0版本接口來運(yùn)行。在本發(fā)明的實(shí)施方案中，平板顯示器可以通過例如信號(hào)轉(zhuǎn)換器被耦合到圖形接口113，所述信號(hào)轉(zhuǎn)換器將存儲(chǔ)在存儲(chǔ)設(shè)備(例如視頻存儲(chǔ)器或系統(tǒng)存儲(chǔ)器)中的圖像的數(shù)字表示翻譯為可由平板屏幕解釋并顯示的顯示信號(hào)?？梢灶A(yù)見，顯示設(shè)備產(chǎn)生的顯示信號(hào)在被平板顯示監(jiān)視器解釋然后被顯示在平板顯示監(jiān)視器上之前可以經(jīng)過多種控制設(shè)備。顯示設(shè)備可以是液晶顯示器(LCD)、平板顯示器、等離子屏幕、薄膜晶體管(TFT)顯示器等。
此外，中心接口(hub interface)將MCH110經(jīng)由中心接口耦合到輸入/輸出控制中心(ICH)140。ICH140向計(jì)算機(jī)系統(tǒng)100內(nèi)的輸入/輸出(I/O)設(shè)備提供接口。在本發(fā)明的一個(gè)實(shí)施方案中，ICH140可被耦合到外圍元件互連(PCI)總線，所述外圍元件互連(PCI)總線遵守俄勒岡州波特蘭市的PCI專門興趣組提出的規(guī)范2.1版本總線。因而，ICH140包括為總線142提供接口的總線橋146。在本發(fā)明的一個(gè)實(shí)施方案中，總線142是PCI總線。此外，總線橋146提供了CPU102和外圍設(shè)備之間的數(shù)據(jù)路徑。
總線142包括I/O設(shè)備200(后面參考圖2進(jìn)一步討論)和盤驅(qū)動(dòng)器155。然而，本領(lǐng)域的普通技術(shù)人員將會(huì)理解，其他設(shè)備也可被耦合到PCI總線142。另外，本領(lǐng)域的普通技術(shù)人員將會(huì)認(rèn)識(shí)到，CPU102和MCH110可被組合起來形成單個(gè)芯片。此外，在其他實(shí)施方案中，圖形加速器130可被包括在MCH110內(nèi)。
另外，在本發(fā)明的各種實(shí)施方案中，其他外設(shè)也可以被耦合到ICH140。例如，這樣的外設(shè)可以包括集成驅(qū)動(dòng)電子設(shè)備(IDE)或小型計(jì)算機(jī)系統(tǒng)接口(SCSI)硬盤驅(qū)動(dòng)器、通用串行總線(USB)端口、鍵盤、鼠標(biāo)、并行端口、串行端口、軟盤驅(qū)動(dòng)器、數(shù)字輸出支持(例如，數(shù)字視頻接口(DVI))等。此外，可以預(yù)見計(jì)算機(jī)系統(tǒng)100將從以下源的一個(gè)或更多個(gè)處接收電能用于其運(yùn)行電源(例如電池、燃料電池等)、交流(AC)插座(例如，通過變壓器和/或適配器)、汽車電源、飛機(jī)電源等。
圖2進(jìn)一步圖示了圖1所示的計(jì)算機(jī)系統(tǒng)100的I/O設(shè)備200。如圖所示，計(jì)算機(jī)系統(tǒng)100可以包括顯示設(shè)備212，例如監(jiān)視器。顯示設(shè)備212可以包括諸如幀緩沖器一類的中間設(shè)備。計(jì)算機(jī)系統(tǒng)100還包括輸入設(shè)備210，例如鍵盤和指針控制器208，像鼠標(biāo)、跟蹤球或跟蹤板。顯示設(shè)備212、輸入設(shè)備210和指針控制器208都耦合到總線142。計(jì)算機(jī)系統(tǒng)100可以包括網(wǎng)絡(luò)連接器206，以便計(jì)算機(jī)系統(tǒng)100可以連接成為局域網(wǎng)(LAN)或廣域網(wǎng)(WAN)(例如因特網(wǎng))的一部分。
此外，計(jì)算機(jī)系統(tǒng)100還可以被耦合到用于聲音記錄和回放的設(shè)備230，例如耦合到麥克風(fēng)的音頻數(shù)字化設(shè)備，用于記錄話音輸入以進(jìn)行語音識(shí)別，或者用于一般意義上的聲音記錄。計(jì)算機(jī)系統(tǒng)100的I/O設(shè)備200還可以包括視頻數(shù)字化設(shè)備220，該設(shè)備可被單獨(dú)用來捕獲視頻圖像，或者與聲音記錄設(shè)備230一起被用來捕獲與視頻圖像相關(guān)聯(lián)的音頻信息。此外，輸入設(shè)備200還可以包括硬拷貝設(shè)備204(例如打印機(jī))和CD-ROM設(shè)備202。輸入設(shè)備200(202-212)也可以被耦合到總線142。
這樣，圖1中所示的計(jì)算機(jī)系統(tǒng)100可被用來從一個(gè)選定的場(chǎng)景、環(huán)境等捕獲多媒體數(shù)據(jù)，例如包括音頻和/或視頻數(shù)據(jù)?，F(xiàn)在，很多人都利用圖1所示的個(gè)人計(jì)算機(jī)(PC)，例如通過耦合到計(jì)算機(jī)系統(tǒng)100的端口的照相機(jī)來捕獲實(shí)況的音頻/視頻數(shù)據(jù)(多媒體場(chǎng)景數(shù)據(jù))，所述端口在圖中沒有示出，例如是USB端口或火線端口(IEEE1394)。然后該數(shù)據(jù)被提供為流媒體格式(多媒體流數(shù)據(jù))，包括但不限于Microsoft高級(jí)流格式(ASF)文件、運(yùn)動(dòng)圖片專家組(MPEG)標(biāo)準(zhǔn)(例如MPEG-1/2/4和音頻層3(MP3))文件、Real Audio G2文件、QDesign2文件等。
在本發(fā)明的一個(gè)實(shí)施方案中，諸如麥克風(fēng)的音頻捕獲設(shè)備被計(jì)算機(jī)系統(tǒng)100用來捕獲與所捕獲的多媒體場(chǎng)景數(shù)據(jù)相關(guān)聯(lián)的音頻信息。因此，當(dāng)人們?cè)噲D利用他們的個(gè)人計(jì)算機(jī)來捕獲例如實(shí)況音頻/視頻數(shù)據(jù)時(shí)，一般認(rèn)為采用一個(gè)或多個(gè)數(shù)據(jù)捕獲設(shè)備可以最有效地捕獲音頻/視頻數(shù)據(jù)。
參考圖1和2，I/O設(shè)備(除了AGP顯示適配器外)通常經(jīng)由專用或共享總線與ICH(I/O中心)相連。PCI總線可以是將各種音頻、視頻和網(wǎng)絡(luò)設(shè)備連接到ICH的一種方式。這些設(shè)備一般具有它們自己的晶振和時(shí)鐘，但這些時(shí)鐘不相互同步，也不與CPU時(shí)鐘同步。這意味著，例如，如果使用單獨(dú)的I/O卡來捕獲音頻和視頻采樣，那么隨著時(shí)間的流逝它們將失去同步。
不幸的是，數(shù)據(jù)塊在I/O設(shè)備、主存儲(chǔ)器和CPU之間穿行所花費(fèi)的時(shí)間是可變的，并且取決于很多因素，例如CPU負(fù)載、緩存狀態(tài)、共享總線的其他I/O設(shè)備的活動(dòng)、以及操作系統(tǒng)行為。因此，處理數(shù)據(jù)的應(yīng)用無法精確地知道數(shù)據(jù)進(jìn)入或離開I/O設(shè)備的時(shí)間。傳播延遲(deplay)可能從納秒一直到微秒，這取決于上述條件。
在現(xiàn)有的應(yīng)用中，通常使用單個(gè)I/O設(shè)備來捕獲多個(gè)視頻和音頻流，所述I/O設(shè)備例如是多通道模擬到數(shù)字(A/D)或音頻/視頻(A/V)采集卡。即使在單個(gè)PC平臺(tái)上同步地使用多個(gè)I/O設(shè)備也需要特殊的方法。
當(dāng)在分開的平臺(tái)上的I/O設(shè)備需要同步時(shí)，情況變得更加復(fù)雜。此時(shí)，除了I/O-CPU等待時(shí)間外，網(wǎng)絡(luò)連接也會(huì)引入額外的延遲，這些延遲由于在現(xiàn)有的有線和無線以太網(wǎng)中使用的最佳工作(best-effort)類型的媒體訪問協(xié)議而可變(因此是可變的傳輸延遲)。
圖3圖示了可被用來實(shí)現(xiàn)本發(fā)明實(shí)施方案的典型的同步、分布式多媒體數(shù)據(jù)捕獲系統(tǒng)300。如圖3所示，數(shù)據(jù)捕獲系統(tǒng)300可以包括多個(gè)多媒體平臺(tái)(302和304)。然而，圖3不應(yīng)當(dāng)被理解為限制性的，它只是用來圖示說明本發(fā)明的一個(gè)實(shí)施方案。
可以利用圖1所示的計(jì)算機(jī)系統(tǒng)100來提供多媒體平臺(tái)302以及多媒體平臺(tái)304。如圖所示，多媒體平臺(tái)302包括多個(gè)I/O卡306，I/O卡可以包括麥克風(fēng)310以及視頻捕獲設(shè)備308。每個(gè)音頻/視頻卡可以包括有線鏈路輸入312，它被用來接收由同步發(fā)生器316產(chǎn)生的多媒體同步信號(hào)314。
在本發(fā)明的一個(gè)實(shí)施方案中，利用計(jì)算機(jī)系統(tǒng)，例如圖1中所示的計(jì)算機(jī)系統(tǒng)100來配置同步發(fā)生器316。同步發(fā)生器316可以產(chǎn)生同步信號(hào)314。在本發(fā)明的一個(gè)實(shí)施方案中，同步信號(hào)314被選擇為最大長(zhǎng)度序列(MLS)信號(hào)，它通常由白噪聲構(gòu)成，用以形成音頻同步信號(hào)。序列號(hào)可以被調(diào)制到MLS信號(hào)上。然而，在替換實(shí)施方案中，基于具體的實(shí)現(xiàn)，如果需要可以選擇不同的多媒體同步信號(hào)。
同步信號(hào)314可以經(jīng)由有線鏈路例如被提供給多媒體平臺(tái)302和/或可以經(jīng)由發(fā)射器318和接收器320被無線傳送到多媒體平臺(tái)304。無線發(fā)射器318和接收器320的一個(gè)例子是基于射頻(RF)的發(fā)射器和接收器。在本發(fā)明的一個(gè)實(shí)施方案中，生成單個(gè)多媒體同步信號(hào)，該信號(hào)經(jīng)由有線鏈路或無線鏈路被發(fā)送到每一個(gè)多媒體平臺(tái)。同樣，多媒體平臺(tái)304包括帶有視頻捕獲設(shè)備326以及音頻捕獲設(shè)備324的I/O卡322。
此外，與多媒體平臺(tái)302相反，多媒體平臺(tái)304可以包括無線接收器(Rx)320，它可被用來捕獲接收的多媒體同步信號(hào)。在本發(fā)明的一個(gè)實(shí)施方案中，發(fā)射器318將同步信號(hào)314調(diào)制到多媒體信號(hào)(例如音頻信號(hào))上，接著該多媒體信號(hào)又被調(diào)制到某個(gè)無線載波信號(hào)上，接收器320解調(diào)所接收的信號(hào)，以生成供平臺(tái)304使用的多媒體調(diào)制同步信號(hào)。多媒體調(diào)制同步信號(hào)(即，調(diào)制在多媒體信號(hào)上的同步信號(hào))接著被提供給視頻捕獲設(shè)備和/或音頻捕獲設(shè)備，以使得捕獲的音頻/視頻場(chǎng)景數(shù)據(jù)328能夠同步。在本發(fā)明的實(shí)施方案中，例如可以使用借助美國(guó)機(jī)器人聲音鏈接方案的無線音頻傳輸方法來提供同步信號(hào)的無線傳輸。
根據(jù)本發(fā)明的一個(gè)實(shí)施方案，音頻同步信號(hào)被生成為多媒體同步信號(hào)。在本發(fā)明的一個(gè)實(shí)施方案中，同步發(fā)生器316產(chǎn)生特有的同步信號(hào)，并且使用它自己的時(shí)鐘信息來調(diào)制這些同步信號(hào)。使用到專用同步音頻信道的有線(如到302)或無線(如到304)機(jī)制，同步信號(hào)被傳遞到音頻輸入設(shè)備。結(jié)果，同步信息作為單獨(dú)的音軌被嵌入在音頻/視頻流中，并且可供應(yīng)用層用來處理。
根據(jù)本發(fā)明的實(shí)施方案，一旦在生成的多媒體流數(shù)據(jù)中發(fā)現(xiàn)差錯(cuò)，每個(gè)多媒體平臺(tái)(例如302或304)就負(fù)責(zé)例如對(duì)生成的多媒體流數(shù)據(jù)進(jìn)行重新采樣，以同步由每個(gè)多媒體平臺(tái)的每個(gè)I/O卡生成的多媒體流數(shù)據(jù)。結(jié)果，一旦所有生成的多媒體流數(shù)據(jù)都已同步，就可以將捕獲的流數(shù)據(jù)提供給陣列信號(hào)處理計(jì)算機(jī)(未示出)。然后，陣列信號(hào)處理計(jì)算機(jī)可以利用同步多媒體流數(shù)據(jù)來執(zhí)行例如成束、盲信號(hào)分離(BSS)、多模式識(shí)別等處理。同樣地，本發(fā)明的實(shí)施方案可被實(shí)現(xiàn)在例如使用可攜式攝像機(jī)、視頻捕獲設(shè)備等可包括多個(gè)輸入通道的多媒體數(shù)據(jù)捕獲系統(tǒng)300內(nèi)。
圖4A根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)400。在本發(fā)明的一個(gè)實(shí)施方案中，系統(tǒng)400工作為利用帶限信號(hào)內(nèi)插(interpolation)來連續(xù)地估計(jì)和調(diào)適當(dāng)前的延遲和歪斜率估計(jì)，以同步從多個(gè)設(shè)備收集的音頻/視覺信號(hào)。在本發(fā)明的實(shí)施方案中，圖4A的系統(tǒng)400可被嵌入在計(jì)算機(jī)系統(tǒng)(例如圖1的計(jì)算機(jī)系統(tǒng)100)、數(shù)字信號(hào)處理器(DSP)、編碼器-解碼器(編解碼器)模塊、CPU等之上。
系統(tǒng)400包括數(shù)模(D/A)轉(zhuǎn)換器402，它接收來自發(fā)送器(時(shí)鐘主控)的源同步信號(hào)x(n)和源時(shí)鐘Ts。數(shù)模轉(zhuǎn)換器402可被提供在發(fā)送器的位置上。源同步信號(hào)可以是多媒體信號(hào)，例如音頻或視頻信號(hào)。D/A轉(zhuǎn)換器402接著將它的輸出提供給信道濾波器404?？梢灶A(yù)見，信道濾波器404例示出耦合發(fā)送器和接收器的信號(hào)傳輸環(huán)境或介質(zhì)(例如銅線、RF介質(zhì)、調(diào)頻(FM)介質(zhì)、其他無線介質(zhì)等)的特性。
系統(tǒng)400還包括模擬到數(shù)字(A/D)轉(zhuǎn)換器406(例如，在接收器的位置上)，它將通過信道濾波器404傳送的信號(hào)轉(zhuǎn)換成數(shù)字形式。A/D轉(zhuǎn)換器406還接收接收器時(shí)鐘Ts′，用于采樣通過信道濾波器404傳送的信號(hào)。在本發(fā)明的一個(gè)實(shí)施方案中，源時(shí)鐘可被用于D/A轉(zhuǎn)換器402的實(shí)際采樣率，而同步信號(hào)x(n)將是被用來確定主控D/A 402和客戶A/D轉(zhuǎn)換器406之間的采樣率差的信號(hào)。在本發(fā)明的實(shí)施方案中，源時(shí)鐘Ts和接收器時(shí)鐘Ts′是由諸如DSP、編解碼器模塊、CPU等設(shè)備提供的。
如圖4A所示，A/D轉(zhuǎn)換器406被耦合到帶限內(nèi)插模塊408，該模塊是通過最大化源同步信號(hào)x(n)和A/D轉(zhuǎn)換器406的重采樣輸出之間的某個(gè)成本函數(shù)來驅(qū)動(dòng)的，以生成系統(tǒng)400的輸出信號(hào) 并且確定歪斜率(delta_f)和偏移(delta_t)值。在本發(fā)明的一個(gè)實(shí)施方案中，由利用與406相同的時(shí)鐘來驅(qū)動(dòng)的某個(gè)A/D轉(zhuǎn)換器捕獲的所有多媒體信號(hào)都被這樣重采樣。
同步信號(hào)的精確形式可以是在某個(gè)范圍內(nèi)已知的，因此在發(fā)送器以及所有的接收器上都是已知的。對(duì)在接收器上以Fs′＝1/Ts′的采樣率實(shí)際記錄的信號(hào)y(nTs′)和以采樣率Fs＝1/Ts工作的源信號(hào)x(nTs)之間的采樣歪斜率和時(shí)間延遲的估計(jì)是基于圖4A中所示的自適應(yīng)濾波方法。在發(fā)送器處，通過D/A轉(zhuǎn)換器402以采樣率Fs發(fā)出同步信號(hào)x(nTs)。假定該信號(hào)穿過由D/A轉(zhuǎn)換器、傳輸信道(例如，無線信道)以及最終在接收側(cè)采樣率為Fs′的A/D轉(zhuǎn)換器形成的濾波器。
接著，基于時(shí)間離散信號(hào)的帶限內(nèi)插的自適應(yīng)濾波器被用來估計(jì)偏移量Δt和歪斜率ΔF＝Ts′/Ts″。如下給出在估計(jì)偏移量Δt和采樣周期Ts″時(shí)的帶限內(nèi)插信號(hào) y^(t)=∑n=-∞∞y(nTs′)·a·sinc(b(t-nTs′))]]>y^(t′)=a∑n=-∞∞y(nTs′)·sin(t~-b~n)t~-b~n]]>其中，a=min{1,Fs′′Fs′},b~=πTs′min{Fs′,Fs′′},t~=btπ]]>在本發(fā)明的實(shí)施方案中，為了簡(jiǎn)化，在該公式中省略了在實(shí)現(xiàn)中使用的開窗函數(shù)(例如，Kaiser窗)。在大小為w的時(shí)間窗上給定內(nèi)積作為性能準(zhǔn)則，則優(yōu)化準(zhǔn)則變?yōu)閒(Ts′′,Δt)=<x(nTs),y^(t~)>→max]]>其中t被估計(jì)為t＝nTs″+Δt。根據(jù)本發(fā)明的一個(gè)實(shí)施方案，梯度下降可被應(yīng)用于優(yōu)化。
雖然圖4A的自適應(yīng)時(shí)間延遲和采樣歪斜率估計(jì)器可以跟蹤細(xì)小的時(shí)間延遲和細(xì)小的采樣歪斜率，但是在本發(fā)明的一個(gè)實(shí)施方案中，可以通過對(duì)時(shí)間延遲Δt和采樣歪斜率因子ΔF＝Ts′/Ts″的粗估計(jì)來初始化自適應(yīng)時(shí)間延遲和采樣歪斜率估計(jì)器。
在本發(fā)明的實(shí)施方案中，為了提高M(jìn)LS時(shí)間偏移量估計(jì)的精度，可以采用每個(gè)MLS符號(hào)兩個(gè)或更多個(gè)音頻采樣。由此，MLS自相關(guān)函數(shù)的每個(gè)主瓣將會(huì)有多于兩個(gè)的采樣，并且尋找自相關(guān)峰值的位置的精度提高了。可以通過將對(duì)應(yīng)于自相關(guān)主瓣的曲線(或其近似)與具有最高值的采樣進(jìn)行適配，找到所述位置。
在本發(fā)明的實(shí)施方案中，公開了基于‘自主歪斜率估計(jì)’(自監(jiān)控/自檢測(cè))初始化自適應(yīng)濾波方法的歪斜率估計(jì)的新穎方法。作為基于MLS的歪斜率估計(jì)的替換方案(或者附加方案)，連網(wǎng)服務(wù)可被用來通過運(yùn)行啞音頻捕獲過程(計(jì)數(shù)每個(gè)測(cè)量周期所觀測(cè)到的采樣數(shù)量)來校準(zhǔn)各個(gè)音頻時(shí)鐘。在本發(fā)明的一個(gè)實(shí)施方案中，假定當(dāng)前平臺(tái)具有合理的長(zhǎng)期的采樣時(shí)鐘穩(wěn)定性，并且網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)正在向系統(tǒng)時(shí)鐘提供數(shù)百微秒的每日時(shí)鐘誤差(CEPD)，其中T觀測(cè)周期(以秒計(jì))ΔT觀測(cè)間隔的不確定性(以秒計(jì))ftarget目標(biāo)采樣率(以赫茲計(jì))factual實(shí)際采樣率(以赫茲計(jì))Starget在觀測(cè)周期T中以采樣率ftarget產(chǎn)生的采樣數(shù)量Sactual在觀測(cè)周期T中以采樣率factual產(chǎn)生的采樣數(shù)量Smeasured在觀測(cè)周期T+ΔT中以采樣率factual產(chǎn)生的采樣數(shù)量假定在每個(gè)分布式平臺(tái)上有準(zhǔn)確的系統(tǒng)時(shí)鐘，則在平臺(tái)的目標(biāo)采樣率和實(shí)際采樣率之間的歪斜率可以如下確定skew=ftargetfactual=T·ftargetT·factual=StargetSactual]]>然而，在實(shí)際當(dāng)中，系統(tǒng)時(shí)鐘不可能是足夠完美或者準(zhǔn)確的。給定觀測(cè)周期T的不確定性為ΔT，則測(cè)量的歪斜率可以如下來確定skewmeasured=StargetSmeasured=T·ftarget(T±ΔT)·factual=T(T±ΔT)skew]]>⇔skew=(1±ΔTT)·skewmeasured]]>換言之，估計(jì)歪斜率因子的誤差是1±ΔT/T。假設(shè)NTP的時(shí)鐘準(zhǔn)確度為大約250ms并且觀測(cè)周期是1天，那么估計(jì)誤差小于3·10-6。因此，大約44.1kHz的采樣率可以以高達(dá)每秒0.13個(gè)采樣的準(zhǔn)確程度被確定。
圖4B根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)450。在本發(fā)明的一個(gè)實(shí)施方案中，系統(tǒng)450包括信道濾波器404、A/D轉(zhuǎn)換器406、帶限內(nèi)插模塊408和標(biāo)量積410。如圖4B所示，可以在模擬域中生成模擬同步信號(hào)x(t)(其中x(n)代表數(shù)字同步信號(hào)，而x(t)代表連續(xù)的模擬信號(hào))。同樣預(yù)見到，x(t)的數(shù)字參考形式x(n)在本發(fā)明的實(shí)施方案中可以被獲知。
圖5根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)500。在本發(fā)明的一個(gè)實(shí)施方案中，系統(tǒng)500包括圖4A的系統(tǒng)400。系統(tǒng)500還包括為附加的信道提供同步多媒體信號(hào)的部分502。例如，在本發(fā)明的一個(gè)實(shí)施方案中，(例如由圖3的多媒體平臺(tái)302和304)可以從例如參考圖3討論的音頻/視覺場(chǎng)景328中收集附加的音頻/視覺場(chǎng)景信號(hào)。
如圖5中所示，捕獲的信號(hào)隨后可以被提供給一個(gè)或更多個(gè)A/D轉(zhuǎn)換器556(例如每個(gè)信道一個(gè))，這些A/D轉(zhuǎn)換器還可以接收接收器時(shí)鐘(Ts′)。A/D轉(zhuǎn)換器556可被耦合到各自的帶限內(nèi)插模塊(558)。帶限558可以從帶限內(nèi)插模塊408接收估計(jì)的delta_t和delta_f值，例如避免重新計(jì)算這些值。由此，根據(jù)本發(fā)明的實(shí)施方案，單個(gè)時(shí)鐘可以驅(qū)動(dòng)多條信道。
在本發(fā)明的一個(gè)實(shí)施方案中，即使每設(shè)備一條附加信道可被指派來完成同步(例如參考圖5所討論的)，也可以預(yù)見假設(shè)信號(hào)的幅度保持得足夠小而不引入任何感覺到的失真，在接收器上的模擬同步信號(hào)可以在進(jìn)行A/D轉(zhuǎn)換之前被混入接收器上的模擬數(shù)據(jù)信道中。本發(fā)明的這一實(shí)施方案被圖示在圖6中。
圖6根據(jù)本發(fā)明的實(shí)施方案圖示了典型的自適應(yīng)濾波系統(tǒng)600。在本發(fā)明的一個(gè)實(shí)施方案中，系統(tǒng)600包括圖4A的系統(tǒng)400。系統(tǒng)600還包括為附加的信道提供同步多媒體信號(hào)的部分602。例如，模擬同步信號(hào)可被混合到從音頻/視覺場(chǎng)景328捕獲的附加音頻/視覺場(chǎng)景信號(hào)中(例如在A/D轉(zhuǎn)換器406上)。接下來，帶限內(nèi)插模塊408的輸出可以為附加的多媒體信道提供同步。
根據(jù)本發(fā)明的實(shí)施方案，預(yù)見到基于MLS的同步意味著即使在MLS信號(hào)的幅度對(duì)于長(zhǎng)度1023的序列達(dá)到了低于音頻信號(hào)的幅度兩個(gè)量級(jí)(對(duì)于更長(zhǎng)的MLS序列，這個(gè)幅度可能變得更小)時(shí)，也可以可靠地檢測(cè)到自相關(guān)峰值。
盡管本發(fā)明的很多替換和修改方案毫無疑問對(duì)于讀到以上描述的本領(lǐng)域的普通技術(shù)人員是清楚的，但是應(yīng)當(dāng)理解，任何以圖示說明的方式示出并描述的具體實(shí)施方案絕不想被認(rèn)為是限制性的。例如，雖然參考帶限內(nèi)插模塊討論了本發(fā)明的實(shí)施方案，但是可以預(yù)見也可以采用其他內(nèi)插技術(shù)。因此，論述各種實(shí)施方案的細(xì)節(jié)并不是想限制權(quán)利要求書的范圍，權(quán)利要求書自身僅僅記載了本發(fā)明的必要技術(shù)特征。
權(quán)利要求
1.一種裝置，包括模數(shù)轉(zhuǎn)換器，所述模數(shù)轉(zhuǎn)換器接收預(yù)定義的同步信號(hào)和接收器時(shí)鐘；以及耦合到所述模數(shù)轉(zhuǎn)換器的內(nèi)插模塊，所述內(nèi)插模塊接收所述模數(shù)轉(zhuǎn)換器的輸出，并且連續(xù)地估計(jì)并調(diào)適當(dāng)前延遲和歪斜率估計(jì)，以同步信號(hào)。
2.如權(quán)利要求1所述的裝置，還包括耦合到所述模數(shù)轉(zhuǎn)換器的數(shù)模轉(zhuǎn)換器，所述數(shù)模轉(zhuǎn)換器接收所述同步信號(hào)和源時(shí)鐘，并且將其輸出提供給所述模數(shù)轉(zhuǎn)換器。
3.如權(quán)利要求1所述的裝置，其中所述裝置被用來同步由多個(gè)設(shè)備捕獲的多個(gè)多媒體信號(hào)。
4.如權(quán)利要求1所述的裝置，其中所述同步信號(hào)被嵌入在另一個(gè)信號(hào)中。
5.如權(quán)利要求1所述的裝置，其中所述信號(hào)包括從包括音頻信號(hào)和視頻信號(hào)的一項(xiàng)或更多項(xiàng)中選出的數(shù)據(jù)。
6.如權(quán)利要求1所述的裝置，其中所述裝置被嵌入在從以下組中選出的設(shè)備中，所述組包括數(shù)字信號(hào)處理器(DSP)、編碼器-解碼器(編解碼器)模塊和CPU。
7.如權(quán)利要求2所述的裝置，其中所述源時(shí)鐘是由從以下組中選出的設(shè)備提供的，所述組包括DSP、編解碼器模塊和CPU。
8.如權(quán)利要求1所述的裝置，還包括耦合到所述模數(shù)轉(zhuǎn)換器的信道濾波器，所述信道濾波器刻畫耦合發(fā)送器和接收器的信號(hào)傳輸環(huán)境的特性。
9.如權(quán)利要求8所述的裝置，其中所述傳輸環(huán)境是從包括有線介質(zhì)和無線介質(zhì)的組中選出的。
10.如權(quán)利要求1所述的裝置，其中利用對(duì)所述時(shí)間延遲和采樣歪斜率因子的粗估計(jì)來初始化所述裝置。
11.如權(quán)利要求10所述的裝置，其中所述初始化是基于歪斜率的自主估計(jì)。
12.如權(quán)利要求1所述的裝置，其中所述裝置利用MLS來同步所述信號(hào)。
13.如權(quán)利要求12所述的裝置，其中每MLS符號(hào)的至少兩個(gè)或更多個(gè)音頻采樣被用來提高尋找自相關(guān)峰值的位置的精度。
14.如權(quán)利要求12所述的裝置，其中為了尋找所述位置，曲線對(duì)應(yīng)于自相關(guān)主瓣被適配到具有最高值的音頻采樣。
15.如權(quán)利要求1所述的裝置，其中連網(wǎng)服務(wù)被用來校準(zhǔn)所述接收器時(shí)鐘。
16.如權(quán)利要求15所述的裝置，其中通過運(yùn)行音頻捕獲過程以計(jì)數(shù)每測(cè)量周期所觀測(cè)到的采樣數(shù)量，從而完成所述校準(zhǔn)操作。
17.如權(quán)利要求15所述的裝置，其中所述連網(wǎng)服務(wù)是網(wǎng)絡(luò)時(shí)間協(xié)議(NTP)。
18.如權(quán)利要求17所述的裝置，其中所述NTP具有大約數(shù)百微秒的每日時(shí)鐘誤差(CEPD)。
19.如權(quán)利要求1所述的裝置，其中所述內(nèi)插模塊是帶限的。
20.一種方法，包括提供預(yù)定義的同步信號(hào)；提供模數(shù)轉(zhuǎn)換器以接收所述同步信號(hào)和接收器時(shí)鐘；以及提供耦合到所述模數(shù)轉(zhuǎn)換器的內(nèi)插模塊，用以接收所述模數(shù)轉(zhuǎn)換器的輸出，并且連續(xù)地估計(jì)并調(diào)適當(dāng)前延遲和歪斜率估計(jì)，以同步信號(hào)。
21.如權(quán)利要求20所述的方法，還包括提供耦合到所述模數(shù)轉(zhuǎn)換器的數(shù)模轉(zhuǎn)換器，用以接收所述同步信號(hào)和源時(shí)鐘，并且將其輸出提供給所述模數(shù)轉(zhuǎn)換器。
22.如權(quán)利要求20所述的方法，還包括同步從多個(gè)源收集的多個(gè)多媒體信號(hào)。
23.如權(quán)利要求20所述的方法，其中所述信號(hào)包括從包括音頻信號(hào)和視頻信號(hào)的一項(xiàng)或更多項(xiàng)中選出的數(shù)據(jù)。
24.如權(quán)利要求20所述的方法，還包括提供耦合到所述模數(shù)轉(zhuǎn)換器的信道濾波器，所述信道濾波器刻畫耦合發(fā)送器和接收器的信號(hào)傳輸環(huán)境的特性。
25.如權(quán)利要求20所述的方法，其中所述傳輸環(huán)境是從包括有線介質(zhì)和無線介質(zhì)的組中選出的。
26.如權(quán)利要求20所述的方法，其中所述內(nèi)插模塊是帶限的。
27.一種制品，包括提供指令的機(jī)器可讀介質(zhì)，所述指令如果由機(jī)器執(zhí)行將致使該機(jī)器執(zhí)行以下操作提供預(yù)定義的同步信號(hào)；提供模數(shù)轉(zhuǎn)換器以接收所述同步信號(hào)和接收器時(shí)鐘；以及提供耦合到所述模數(shù)轉(zhuǎn)換器的內(nèi)插模塊，用以接收所述模數(shù)轉(zhuǎn)換器的輸出，并且連續(xù)地估計(jì)并調(diào)適當(dāng)前延遲和歪斜率估計(jì)，以同步信號(hào)。
28.如權(quán)利要求27所述的制品，其中所述操作還包括同步從多個(gè)源收集的多個(gè)多媒體信號(hào)。
29.一種計(jì)算機(jī)系統(tǒng)，包括中央處理單元(CPU)；耦合到所述CPU的顯示設(shè)備，用以顯示圖像；耦合到所述顯示設(shè)備的存儲(chǔ)器，用以存儲(chǔ)所述圖像；模數(shù)轉(zhuǎn)換器，用以接收預(yù)定義的同步信號(hào)和接收器時(shí)鐘；以及耦合到所述模數(shù)轉(zhuǎn)換器的內(nèi)插模塊，所述內(nèi)插模塊接收所述模數(shù)轉(zhuǎn)換器的輸出，并且連續(xù)地估計(jì)并調(diào)適當(dāng)前延遲和歪斜率估計(jì)，以同步信號(hào)。
30.如權(quán)利要求29所述的計(jì)算機(jī)系統(tǒng)，其中所述顯示設(shè)備是從以下組中選出的，所述組包括LCD、平板顯示器、等離子屏幕和TFT顯示器。
全文摘要
根據(jù)本發(fā)明的一個(gè)實(shí)施方案，公開了一種新穎的裝置。該裝置包括接收預(yù)定義的同步信號(hào)和接收器時(shí)鐘的模數(shù)轉(zhuǎn)換器(406)；以及耦合到所述模數(shù)轉(zhuǎn)換器的內(nèi)插模塊(408)，該內(nèi)插模塊接收所述模數(shù)轉(zhuǎn)換器的輸出，并且連續(xù)地估計(jì)并調(diào)適當(dāng)前延遲和歪斜率估計(jì)，以同步一個(gè)信號(hào)。
文檔編號(hào)H04J3/06GK1868155SQ200480029962
公開日2006年11月22日 申請(qǐng)日期2004年8月6日 優(yōu)先權(quán)日2003年8月13日
發(fā)明者雷納·林哈德, 伊格爾·科津特塞夫 申請(qǐng)人:英特爾公司