專利名稱：執(zhí)行音頻信號解碼的方法及裝置的制作方法
執(zhí)行音頻信號解碼的方法及裝置
本申請是申請日為2011年4月26日、申請?zhí)枮?01110105251. 2、發(fā)明名稱為“用于執(zhí)行音頻水印解碼的方法、裝置以及制造品”的中國發(fā)明專利申請的分案申請。技術(shù)領(lǐng)域
本公開總體上涉及媒體監(jiān)測，并且更具體地說，涉及用于執(zhí)行音頻水印解碼的方法、裝置以及制造品。
背景技術(shù)：
標識媒體內(nèi)容(例如，電視(TV)節(jié)目、無線電節(jié)目、廣告、評論、音頻/視頻內(nèi)容、電影、商業(yè)廣告節(jié)目、廣告等)有用于評價對這種內(nèi)容的視聽者接觸率(exposure)。例如,在視聽者計量應(yīng)用中，可以將代碼或水印插入或嵌入媒體內(nèi)容的音頻或視頻(例如，節(jié)目或廣告)中，其中，隨后在呈現(xiàn)(例如，在受監(jiān)測家庭播放)該媒體內(nèi)容時在一個或更多個監(jiān)測點處檢測代碼/水印。嵌入到原始信號中的代碼/水印的信息凈荷可以包括獨特節(jié)目標識、源標識、廣播方信息，以及/或廣播時間。監(jiān)測點可以包括諸如家庭、商店、營業(yè)地點以及/或任何其它公共和/或私人機構(gòu)的場所，其中，監(jiān)測媒體內(nèi)容接觸率和/或媒體內(nèi)容消費量。 例如，在監(jiān)測點，捕獲來自音頻和/或視頻的代碼/水印。可以將所收集的代碼/水印發(fā)送給中心數(shù)據(jù)收集機構(gòu)，以對諸如內(nèi)容消費統(tǒng)計的計算進行分析。發(fā)明內(nèi)容
本發(fā)明提供一種用于執(zhí)行音頻水印解碼的方法、裝置以及制造品。
本發(fā)明提供的方法包括以下步驟接收音頻信號，該音頻信號包括使用第一多個頻率分量嵌入的聽者測量代碼；對所述音頻信號進行采樣；將所采樣的音頻信號變換成第一頻域表示；確定是否能夠在所述第一頻域表示的所述第一多個頻率分量中檢測到所述代碼；以及當在所述第一多個頻率分量中未檢測到所述代碼時，檢查第二頻域表示的第二多個頻率分量，以確定是否檢測到所述代碼，所述第二多個頻率分量相對于所述第一多個頻率分量偏移了第一偏移，所述第一偏移對應(yīng)于米樣頻率失配。
本發(fā)明提供的裝置包括音頻信號的音頻輸入接口，該音頻信號包括使用第一多個頻率分量嵌入的聽者測量代碼；采樣器，該采樣器用于對所述音頻信號進行采樣；時域頻域轉(zhuǎn)換器，該時域頻域轉(zhuǎn)換器用于將所采樣的音頻信號變換成第一頻域表示；以及頻域解碼器，該頻域解碼器用于確定是否能夠在所述第一頻域表示的所述第一多個頻率分量中檢測到所述代碼，并且當在所述第一多個頻率分量中未檢測到所述代碼時，檢查第二頻域表示的第二多個頻率分量，以確定是否檢測到所述代碼，所述第二多個頻率分量相對于所述第一多個頻率分量偏移了第一偏移，所述第一偏移對應(yīng)于米樣頻率失配。
本發(fā)明提供了一種存儲機器可讀指令的有形制造品，該機器可讀指令在被執(zhí)行時，使得機器接收音頻信號，該音頻信號包括使用第一多個頻率分量嵌入的聽者測量代碼；對所述音頻信號進行采樣；將所采樣的音頻信號變換成第一頻域表示；確定是否能夠在所述第一頻域表示的所述第一多個頻率分量中檢測到所述代碼；以及當在所述第一多個頻率分量中未檢測到所述代碼時，檢查第二頻域表示的第二多個頻率分量，以確定是否檢測到所述代碼，所述第二多個頻率分量相對于所述第一多個頻率分量偏移了第一偏移，所述第一偏移對應(yīng)于米樣頻率失配。


圖I是采用嵌入到復(fù)合電視信號的音頻部分中的識別碼的示例性廣播視聽者測量系統(tǒng)的示意圖。
圖2例示了實現(xiàn)圖I的示例性編碼器的示例性方式。
圖3例示了實現(xiàn)圖I的示例性解碼器的示例性方式。
圖4和5例示了可以例如通過處理器來執(zhí)行的、用于實現(xiàn)圖I和圖3的示例性解碼器的示例性處理。
圖6A和6B例示了可以通過圖3的示例性解碼器進行補償?shù)氖纠灶l率偏移。
圖7是可以用于和/或編程為實現(xiàn)圖4和圖5的、用于實現(xiàn)對圖I和圖3的示例性解碼器和/或示例性偏移補償器的示例性處理的示例性處理器平臺的示意圖。
具體實施方式
公開了用于執(zhí)行音頻水印解碼的示例性方法、裝置以及制造品。所公開的示例性方法包括以下步驟接收音頻信號，該音頻信號包括使用第一多個頻率分量嵌入其中的聽者測量代碼；對該音頻信號進行采樣；將所采樣的音頻信號變換成第一頻域表示；確定是否能夠在該第一頻域表示的第一多個頻率分量中檢測到該代碼；以及當在第一多個頻率分量中未檢測到該代碼時，檢查第二頻域表示的第二多個頻率分量，以確定是否檢測到該代碼，該第二多個頻率分量相對于第一多個頻率分量偏移了第一偏移，該第一偏移對應(yīng)于米樣頻率失配。
所公開的示例性裝置包括對音頻信號的音頻輸入接口，該音頻信號包括使用第一多個頻率分量嵌入其中的聽者測量代碼；采樣器，該采樣器用于對音頻信號進行采樣； 時域頻域轉(zhuǎn)換器，該時域頻域轉(zhuǎn)換器用于將所采樣的音頻信變換成第一頻域表示；以及頻域解碼器。該頻域解碼器用于確定是否能夠在該第一頻域表示的第一多個頻率分量中檢測到該代碼；并且當在第一多個頻率分量中未檢測到該代碼時，檢查第二頻域表示的第二多個頻率分量，以確定是否檢測到該代碼，該第二多個頻率分量相對于第一多個頻率分量偏移了第一偏移，該第一偏移對應(yīng)于米樣頻率失配。
下列描述分別提及音頻編碼和解碼，該音頻編碼和解碼還被稱為音頻水印印制和水印檢測。應(yīng)注意到，關(guān)于這點，音頻是具有落入正常人類聲頻譜內(nèi)的頻率的任何類型的信號。例如，音頻可以是語音、音樂、音頻和/或視頻節(jié)目(例如，電視(TV)節(jié)目、電影、因特網(wǎng)視頻、無線電節(jié)目、插播商業(yè)廣告等)的音頻部分、噪音，或任何其它聲音。
一般來說，對音頻進行編碼指將一個或更多個代碼插入該音頻中。在一些示例中， 該代碼被心理聲學(xué)地掩蓋，以使得該代碼對于音頻的人類聽者來說是聽不見的。然而，可能存在該代碼對于某些人類收聽者來說聽得見的某些情況。這些代碼還可以被稱為水印。 嵌入到音頻中的這些代碼可以具有任何適當?shù)拈L度，并且可以利用用于將信息(例如，信道內(nèi)容創(chuàng)建者標識符、內(nèi)容擁有者標識符、節(jié)目標識符、時間戳、廣播標識符等)映射至這些代碼的任何適當?shù)募夹g(shù)。而且，可以將這些代碼轉(zhuǎn)換成由嵌入到音頻中的、具有選定頻率的信號所表示的符號。任何適當?shù)倪M行編碼和/或糾錯的技術(shù)都可以用于將代碼轉(zhuǎn)換成符號。這種聽者測量代碼的一些示例包括Nielsen公司(美國)、LLC、本專利的受讓人所有的Nielsen碼。Nielsen碼是由Nielsen公司(美國)、LLC> Nielsen公司(美國)的任何分支機構(gòu)或LLC的任何分支機構(gòu)嵌入到任何媒體內(nèi)容中的任何代碼，和/或與Nielsen公司(美國)、LLC或與Nielsen公司(美國)的任何分支機構(gòu)、LLC的任何分支機構(gòu)相關(guān)聯(lián)地嵌入到任何媒體內(nèi)容中的任何代碼。在于此描述的示例中，在發(fā)送和/或廣播之前，和/或發(fā)送和/或廣播期間，將媒體內(nèi)容編碼成包括一個或更多個這種代碼。當在內(nèi)容呈現(xiàn)設(shè)備上呈現(xiàn)(例如，通過TV、無線電、計算設(shè)備、蜂窩電話、手持設(shè)備，以及 /或任何其它適當設(shè)備播放)媒體內(nèi)容時，處于呈現(xiàn)區(qū)域中的人不僅接觸該媒體內(nèi)容，而且不為他們所知的是，還接觸了嵌入到該媒體內(nèi)容中的代碼。
雖然參照包括嵌入了和/或編碼到其音頻部分中的代碼的廣播音頻/視頻媒體內(nèi)容(例如，TV節(jié)目、商業(yè)廣告節(jié)目、電影等)對以下示例進行描述，但這種示例僅是例示性的。例如，代碼可以附加地或另選地嵌入和/或編碼到其它類型的媒體內(nèi)容，諸如但不限于音頻內(nèi)容、視頻內(nèi)容、圖形內(nèi)容、圖像、游戲、調(diào)查(survey)，以及/或網(wǎng)頁。而且，在此描述的方法和裝置可以用于檢測嵌入到任何數(shù)量和/或類型的附加地和/或另選的媒體內(nèi)容 (例如，無線電廣播、音頻通知等沖的代碼。而且，媒體內(nèi)容不需要廣播。例如，媒體內(nèi)容可以經(jīng)由任何數(shù)量和/或類型的有形介質(zhì)(如包括嵌入代碼的數(shù)字萬用盤(DVD)和/或光盤 (CD))來散布。
圖I示出了示例性編碼與解碼系統(tǒng)100。圖I的示例性系統(tǒng)100描繪了示例性電視觀眾測量系統(tǒng)，其將用作進一步描述在此公開的示例性解碼處理的情境。圖I的示例性系統(tǒng)100包括編碼器102，該編碼器102將代碼103添加至音頻信號104，來生成編碼音頻信號105。代碼103可以表示任何期望的或選定的信息。例如，在媒體監(jiān)測背景下，代碼103 可以表示諸如電視廣播、無線電廣播等的廣播媒體內(nèi)容的標識。另外，代碼103可以包括指示將該代碼103插入到音頻中的時間或媒體廣播時間的定時信息。
音頻信號104可以是任何形式的音頻，例如包括話音、音樂、噪音、商業(yè)廣告音頻、 與電視節(jié)目、現(xiàn)場演奏等相關(guān)聯(lián)的音頻。在圖I的示例中，編碼器102將編碼音頻信號105 傳遞至發(fā)送器106。該發(fā)送器106將編碼音頻信號105連同與該編碼音頻信號105相關(guān)聯(lián)的任何視頻信號108 —起發(fā)送。在一些情況下，雖然編碼音頻信號105可能具有關(guān)聯(lián)的視頻信號108，但編碼音頻信號105不需要具有任何關(guān)聯(lián)的視頻。
盡管圖I所示示例性系統(tǒng)100的發(fā)送側(cè)示出了單個發(fā)送器106，但該發(fā)送側(cè)可以更加復(fù)雜，并且可以包括在可以傳遞音頻信號104的散布鏈中的多個級。例如，該音頻信號 104可以在全國網(wǎng)絡(luò)級生成并且向局部網(wǎng)絡(luò)級傳遞以進行局部散布。因此，盡管在發(fā)送器 106之前的發(fā)送隊列中示出了編碼器102，但可以在音頻信號104的整個散布鏈放置一個或更多個編碼器。因此，音頻信號104可以按多個級來編碼并且可以包括與那些多個級相關(guān)聯(lián)的多個嵌入代碼。下面，結(jié)合圖2，對實現(xiàn)示例性編碼器102的示例性方式進行描述。
圖I的示例性發(fā)送器106可以包括可以通過自由空間傳播(例如，經(jīng)由陸地或衛(wèi)星通信鏈路)散布編碼音頻信號的一個或更多個射頻(RF )發(fā)送器，或者用于通過電纜、光纖等散布編碼音頻信號的發(fā)送器。在一些示例中，發(fā)送器106用于遍及廣的地理區(qū)域廣播編碼音頻信號105。在其它情況下，發(fā)送器106可以通過有限的地理區(qū)域散布編碼音頻信號 105。這種發(fā)送可以包括將編碼音頻信號105上變頻至射頻，以能夠傳播編碼音頻信號105。 另選的是，該發(fā)送可以包括散布采用數(shù)字值或數(shù)字值包形式的編碼音頻信號105，該數(shù)字值或數(shù)字值包可以通過一個或更多個網(wǎng)絡(luò)(如因特網(wǎng)、廣域網(wǎng)、和/或局域網(wǎng))進行發(fā)送。因而，編碼音頻信號105可以通過載波信號、通過信息包和/或通過任何適當?shù)募夹g(shù)來傳送， 以散布音頻和/或視頻信號。
當通過接收器110 (在媒體監(jiān)測的情境下，該接收器110可位于統(tǒng)計上選定的計量點112處)接收示例性的編碼音頻信號105時，對該音頻信號105進行處理以恢復(fù)代碼 103，即使在通過接收器110的揚聲器114呈現(xiàn)編碼音頻信號105時，收聽者覺察不到(或大致覺察不到)代碼103的存在。為此，解碼器116直接連接至接收器110處可用的音頻輸出部118，或者連接至放置在再現(xiàn)音頻105的揚聲器114附近的麥克風(fēng)120。所接收音頻信號 105可以是單聲道格式或者立體聲格式。下面，結(jié)合圖3，對實現(xiàn)圖1的示例性解碼器116 的示例性方式進行描述。
圖2例示了實現(xiàn)圖1的示例性編碼器102的示例性方式。如上所述，圖2的示例性編碼器102將一個或更多個聽不見(或大致聽不見)的代碼103插入到音頻104中，以創(chuàng)建編碼音頻105。在圖2所示的示例中，編碼器102包括采樣器201，該采樣器201用于按采樣頻率202對音頻104進行采樣，以形成采樣的音頻信號203。將示例性采樣器201耦接至掩蔽估算器(masking evaluator) 204,其估算音頻104將代碼103隱藏在其中的能力。 代碼103被提供給代碼頻率選擇器206，代碼頻率選擇器206確定或選擇將代碼103插入或嵌入到采樣的音頻203中所使用的頻率。代碼頻率選擇器206可以利用任何適當?shù)臋z測或校正編碼將代碼103轉(zhuǎn)換成符號。將對指定或選定的代碼頻率(該代碼頻率用于呈現(xiàn)代碼 103)的指示207傳遞至掩蔽估算 器204，以使該掩蔽估算器204獲知該頻率，針對該頻率應(yīng)當確定通過音頻104對代碼103的掩蔽。另外，將對代碼頻率的指示207提供給代碼合成器208，該代碼合成器208生成具有代碼頻率選擇器206所指定的頻率的正弦波信號209。 組合器210接收來自代碼合成器208的合成的代碼頻率209和向采樣器提供的音頻104，并將這兩者進行組合以生成編碼音頻105。
在以模擬形式將音頻104提供給編碼器102的一些示例中，示例性采樣器201利用模擬數(shù)字轉(zhuǎn)換器或任何其它適當?shù)臄?shù)字轉(zhuǎn)換器來實現(xiàn)。采樣器201可以以例如48000赫茲(Hz)或適于滿足Nyquist標準的任何其它采樣率對音頻104進行采樣。例如，如果將音頻104頻率上限制在15000Hz，則采樣器201可以以30000Hz的采樣頻率202來操作。來自采樣器201的各樣本203可以通過數(shù)字比特串來表示，其中，比特數(shù)表示音頻104被采樣的精度。例如，采樣器201可以生成8比特、16比特、24比特，或32比特值302。
除了對音頻104進行采樣以外，圖2的示例性采樣器201將要一起處理的許多樣本(即，音頻塊)進行累積。例如，示例性采樣器201—次可以累積向掩蔽估算器204傳遞的 512個樣本音頻塊。另選的是，掩蔽估算器204可以包括累加器，在該累加器中，在音頻塊被處理之前將它們累積在緩沖區(qū)中。
圖2的示例性掩蔽估算器204接收或累積這些樣本(S卩，512個樣本)，并確定所累積的樣本的向人類聽力大致隱藏代碼頻率的能力。即，掩蔽估算器204例如通過整體估算音頻104的各臨界頻帶以確定其能量，并確定各臨界頻帶的類似噪聲或類似音調(diào)的屬性以及確定這些臨界頻帶掩蔽代碼頻率的總體能力，來確定這些代碼頻率是否可以隱藏在由所累積的樣本表示的音頻104內(nèi)。臨界頻帶(其可以通過對人類聽知覺執(zhí)行的實驗研究來確定)在寬度上可以從頻譜低端處的窄頻帶至聲頻譜高端處更寬頻帶進行改變。如果掩蔽估算器204確定可以將代碼頻率隱藏在音頻104中，則掩蔽估算器204指示可以將代碼頻率插入到音頻104內(nèi)的振幅等級，同時仍保持大致隱藏，并向代碼合成器208提供振幅信息。
在一些示例中，代碼頻率選擇器206利用將輸入代碼103與狀態(tài)相聯(lián)系的查尋表來實現(xiàn)，在該查尋表中，各狀態(tài)表示要在編碼音頻信號105中強調(diào)的許多代碼頻率。換句話說，可以根據(jù)代碼頻率映射表將輸入代碼103映射至代碼頻率。代碼頻率選擇器206可以包括將符號或數(shù)據(jù)狀態(tài)與冗余地表示數(shù)據(jù)狀態(tài)的代碼頻率集相聯(lián)系的信息。選定的供使用的狀態(tài)的數(shù)目可以基于輸入代碼103的類型。例如，可以將包含兩個比特的輸入代碼103 轉(zhuǎn)換成表示四個符號或狀態(tài)(例如，22)中的一個的代碼頻率。在其它示例中，包含四比特信息的輸入代碼103由16個符號或狀態(tài)(例如,24)中的一個表不。在將代碼103轉(zhuǎn)換成一個或更多個符號或狀態(tài)時，可以附加地或另選地使用一些其它編碼來加入糾錯。另外，在一些示例中，可以將一個以上代碼103嵌入到音頻104中。
當經(jīng)由采樣塊的傅里葉變換而在頻域中表示音頻信號104時，利用代碼頻率映射表選定的頻率指數(shù)對應(yīng)于要嵌入到音頻信號104中的正弦波頻率。參考頻率指數(shù)而不是實際頻率，這是因為這些指數(shù)所對應(yīng)的頻率基于編碼器102內(nèi)使用的采樣率202和由解碼器 116處理的采樣數(shù)而變。與相鄰指數(shù)對應(yīng)的相鄰頻率之間的間隔與采樣頻率202和音頻塊尺寸的比率成比例。例如，以48000Hz的采樣率和18432個樣本的音頻塊尺寸，相鄰指數(shù)之間的間距約為2.6Hz。因而，頻率指數(shù)360對應(yīng)于936Hz (2.6HzX360)。當然，可以選擇其它采樣率和塊尺寸，由此可以選擇其它頻率間隔。而且，不是所有頻率指數(shù)都需要用于例如避免與用于傳送其它代碼和/或水印的頻率的干擾。而且，所選定和/或使用的頻率范圍不需要連續(xù)。在一些示例中，使用O. 8kHz至I. 03kHz與2. 9kHz至4. 6kHz范圍內(nèi)的頻率。 在其它示例中，使用O. 75kHz至I. 03kHz與2. 9kHz至4. 4kHz范圍內(nèi)的頻率。
圖2的示例性代碼合成器208從代碼頻率選擇器206接收對要包括頻率指數(shù)的指示207，以創(chuàng)建包括對輸入代碼103的表示的編碼音頻信號105。響應(yīng)于對頻率指數(shù)的指示 207，代碼合成器208生成具有所識別的頻率的許多正弦波(或包括多個正弦波的一個復(fù)合信號)。這種合成可以導(dǎo)致正弦波信號或者導(dǎo)致表示正弦波信號的數(shù)字數(shù)據(jù)。在一些示例中，代碼合成器208生成具有由掩蔽估算器204所指示的振幅的代碼頻率。在其它示例中， 代碼合成器208生成具有固定振幅的代碼頻率，并且那些振幅可以通過在代碼合成器208 內(nèi)實現(xiàn)的或者設(shè)置在代碼合成器208與組合器210之間的一個或更多個增益塊(未示出)來調(diào)節(jié)。
雖然前面描述了生成正弦波或表示正弦波的數(shù)據(jù)的示例性代碼合成器208，但代碼合成器的其它示例性實現(xiàn)也是可以的。例如，另一示例性代碼合成器208不是生成正弦波，而是可以輸出頻域系數(shù)，該頻域系數(shù)用于調(diào)節(jié)提供給組合器210的特定音頻頻率的振幅。以這種方式，可以將音頻104的頻譜調(diào)節(jié)成包括必要的正弦波。
圖2的示例性組合器210接收代碼合成器208的輸出209和音頻104兩者，并將它們進行組合以形成編碼音頻105。組合器210可以以模擬或數(shù)字形式來組合代碼合成器8208的輸出209和音頻104。如果組合器210執(zhí)行數(shù)字組合，則代碼合成器208的輸出209 可以與采樣器201的輸出相組合，而不是與輸入至采樣器201的模擬音頻104相組合。例如，數(shù)字形式的音頻塊可以與數(shù)字形式的正弦波相組合。另選的是，該組合可以在頻域執(zhí)行，其中，音頻104的頻率系數(shù)根據(jù)表示正弦波的頻率系數(shù)來調(diào)節(jié)。作為另一另選例，可以以模擬形式組合正弦波和音頻104。編碼音頻105可以以模擬或數(shù)字形式從組合器210輸出。如果組合器210的輸出105是數(shù)字的，則可以在將其耦接至發(fā)送器106之前隨后將其轉(zhuǎn)換成模擬形式。
在2008年10月10日提交的美國專利申請No. 12/249619、2009年8月31日提交的美國專利申請No. 12/551220，以及2009年5月12日提交的美國專利申請No. 12/464811 中描述了可以用于選擇代碼頻率、通過音頻104分析對嵌入代碼的掩蔽，以及/或?qū)崿F(xiàn)代碼頻率映射表的示例性方法、裝置以及制造品、示例性采樣器201、示例性掩蔽估算器204、示例性代碼頻率選擇器206、示例性代碼合成器208、示例性組合器210和/或示例性編碼器 102，通過引用將各專利申請的全部內(nèi)容合并入于此。
圖3例示了實現(xiàn)圖I的實例解碼器116的示例性方式。圖3的實例解碼器116對插入到音頻104中以在編碼器102處形成編碼音頻105的代碼103進行檢測、解碼以及/ 或提取。如圖I所示，編碼音頻105可以經(jīng)由有線和/或無線連接提供至接收器110。而在下列描述中，為了容易理解而假定解碼器116基本上處理由編碼器102形成的同一編碼音頻105，一般來說，由解碼器116處理的音頻例如由于發(fā)送器106、接收器110以及/或任何介入的傳輸媒體所引入的失真、噪聲等而不同。因此，實際上，這種影響通過執(zhí)行任何數(shù)量和/或類型的適當?shù)脑肼暱s減、失真減輕以及/或糾錯技術(shù)來進行控制。
圖3的示例性解碼器116包括采樣器302，以模擬形式向該采樣器302提供編碼音頻105，該采樣器302可以利用模擬數(shù)字轉(zhuǎn)換器或任何其它適當?shù)募夹g(shù)來實現(xiàn)。圖3的示例性采樣器302例如以48000Hz的標稱采樣頻率303對編碼音頻105進行采樣。當然，可以有利地選擇更低的采樣頻率，以便在解碼時降低計算負荷。然而應(yīng)當將采樣頻率303選擇成滿足Nyqusit標準。而且，如下所述，可以將采樣頻率303調(diào)節(jié)和/或選擇成對采樣頻率202 (圖2)、接收器110中采用的用于經(jīng)由揚聲器114輸出編碼音頻105的采樣頻率、和 /或采樣頻率303中的任一個或全部之間的任何失配進行補償。這種采樣頻率失配和/或差異可以導(dǎo)致嵌入的代碼103在解碼器116中以錯誤的代碼頻率出現(xiàn)，并由此可以削弱解碼器116正確地解碼、檢測以及/或提取代碼103的能力。采樣頻率失配可能例如因在接收器114和/或解碼器116中使用低成本晶體和/或因?qū)е轮C振頻率漂移的晶體老化而造成。低成本晶體通常在消費級裝置(如個人計算機(PO)或機頂盒中發(fā)現(xiàn)，其中，從理想中心頻率的輕微漂移對人耳不易察覺，但可能影響對嵌入的代碼的檢測、解碼和/或提取。通常，編碼器102利用準確的時基和/或晶體來實現(xiàn)。
將來自示例性采樣器302的樣本提供給時域頻域轉(zhuǎn)換器304。圖3的示例性時域頻域轉(zhuǎn)換器304利用離散的傅里葉變換(DFT)或用于將基于時間的信息轉(zhuǎn)換成基于頻率的信息305的任何其它適當?shù)募夹g(shù)來實現(xiàn)。在一些示例中，該時域頻域轉(zhuǎn)換器304可以利用滑動DFT來實現(xiàn)，其中，每當將新樣本提供給示例性時域頻域轉(zhuǎn)換器304并且丟棄舊樣本時就計算頻域表示或頻譜305。在一些示例中，時域頻域轉(zhuǎn)換器304對接收的編碼音頻105的具有18432個樣本的塊，標稱地計算頻域表示305。時域頻域轉(zhuǎn)換器304生成的頻域表示305的分辨率隨著為生成頻域表示305而使用的樣本數(shù)而增加。
正常地選擇采樣頻率303和由時域頻域轉(zhuǎn)換器304處理的樣本數(shù)，以與編碼器102 中為選擇頻率指數(shù)而使用的分辨率相匹配。然而，如下所述，由時域頻域轉(zhuǎn)換器304處理的、用于計算頻域表述305的樣本的數(shù)目可以被調(diào)節(jié)和/或選擇成對采樣頻率202 (圖2)、 接收器110中采用的經(jīng)由揚聲器114輸出編碼音頻105的采樣頻率、和/或采樣頻率303 中的任一個或全部之間的任何失配進行補償。
由時域頻域解碼器304生成的頻域表示305傳遞至頻域解碼器306，該頻域解碼器 306監(jiān)測與頻率指數(shù)相對應(yīng)的、可以潛在地傳送由示例性編碼器102插入的代碼103的所有頻率或譜線。示例性頻域解碼器306在接收到的音頻105中尋找強調(diào)的代碼頻率的圖案。 如下所述，可以另外或另選地監(jiān)測不同頻率集和/或偏移頻率集，以對采樣頻率202(圖2)、 接收器110中采用的用于經(jīng)由揚聲器114輸出編碼音頻105的采樣頻率、和/或采樣頻率 303中的任一個或全部之間的任何失配進行補償。一旦頻域解碼器306已經(jīng)確定強調(diào)了哪些代碼頻率，頻域解碼器306就基于所強調(diào)的代碼頻率來確定存在于編碼音頻105內(nèi)的符號。頻域解碼器306可以記錄這些符號，以及/或可以將那些符號解碼成嵌入和/或插入到音頻105中的代碼103。將是否由頻域解碼器306檢測、解碼以及/或提取出有效代碼 103的指示307提供給偏移補償器308。
在2008年10月10日提交的美國專利申請No. 12/249619、2009年8月31日提交的美國專利申請No. 12/551220，以及2009年5月12日提交的美國專利申請No. 12/464811 中描述了可以用于實現(xiàn)圖3的示例性采樣器302、示例性時域頻域轉(zhuǎn)換器304以及/或示例性頻域解碼器306的示例性方法、裝置以及制造品。雖然這些示例可能未描述從示例性偏移補償器308接收的可調(diào)和/或可選輸入，但代替的是，這些示例可以根據(jù)預(yù)先選定和/或預(yù)先確定的參數(shù)來實現(xiàn)，本領(lǐng)域普通技術(shù)人員容易明白，怎樣修改這些示例，以適應(yīng)來自偏移補償器308的可調(diào)和/或可選輸入。
為了補償頻率偏移，圖3的示例性解碼器116包括示例性偏移補償器308。當圖 3的示例性偏移補償器308未接收到頻域解碼器306能夠從編碼音頻105檢測、解碼以及 /或提取出代碼的指示時，該示例性偏移補償器308調(diào)節(jié)以下各項中的一個或更多個采樣頻率303、時域頻域轉(zhuǎn)換器304所使用的塊尺寸以及/或由頻域解碼器306所考慮、檢查以及/或分析的代碼頻率。
在一些示例中，偏移補償器308保持使得能夠?qū)Υa103進行正確檢測、解碼以及 /或提取的先前頻率偏移列表310。當偏移使能適當?shù)亟獯a代碼103時，示例性偏移補償器 308將該偏移存儲在列表310中。列表310可以包括是否調(diào)節(jié)和/或選擇了采樣率303、塊尺寸以及/或代碼頻率來實現(xiàn)該偏移。在這種示例中，偏移補償器310在嘗試其它偏移之前首先可以嘗試先前成功的偏移310，以獲得對代碼103的適當解碼。通過首先嘗試先前成功的偏移310，可以減少開始解碼代碼103所需的時間?？梢詫⒘斜?10存儲在非易失性存儲器中，以使先前成功的偏移能夠在斷電之后和/或重新初始化解碼器116之后能夠被重新調(diào)用。
在一些示例中，偏移補償器308通過成功擾動一個或更多個參數(shù)(例如，采樣率 303、塊尺寸和/或代碼頻率)來嘗試偏移，例如直到代碼103被成功解碼或達到預(yù)定限制為止。例如，采樣率303可以按IHz或2Hz增量增加，直到代碼103被成功解碼或者達到為生成采樣頻率303而使用的時鐘312的調(diào)諧范圍限制為止。如果達到調(diào)諧范圍限制，則采樣率303可以重置成其標稱值，并接著以IHz或2Hz的減量減小。
在其它示例中，可以解碼諸如Nielsen NAES II的另外容錯碼，以確定粗略頻率偏移與用于使得能夠?qū)Ω鼜?fù)雜代碼(諸如NielsenNAES V和NAES VI代碼)進行解碼的隨后的精細頻率偏移調(diào)節(jié)。例如，NAES II和NAES V以及/或NAES VI代碼可以同時存在。首先可以解碼NAES II代碼以確定粗略偏移，隨后檢測NAES V和/或VI代碼以進一步精煉頻率偏移。在其它示例中，僅存在NAES II代碼的訓(xùn)練相后面有NAES V和/或VI代碼。可以同樣嘗試對塊尺寸和/或代碼頻率的調(diào)節(jié)和/或選擇。
圖6A描繪了具有以多個頻率嵌入到音頻104中的代碼的示例，該多個頻率中的一個指定了標號605。在編碼器102處，頻率605對應(yīng)于相應(yīng)編碼器頻域箱(bins)和/或指數(shù)，頻域箱(bins)和/或指數(shù)中的一個指定了標號610。
采樣頻率202(圖2)、接收器110中采用的用于經(jīng)由揚聲器114輸出編碼音頻105 的采樣頻率、和/或采樣頻率303中的任一個或全部之間的失配可以造成編碼器102嵌入代碼103所在的頻率與那些嵌入代碼103出現(xiàn)在解碼器116處所在的頻率之間的不一致， 如圖6B所示。例如，由于該失配，圖6A中在編碼器頻率605嵌入的代碼信息在解碼器116 處出現(xiàn)在偏移頻率615，如圖6B所示。因而，該代碼信息不是以頻域箱和/或指數(shù)610出現(xiàn)，而是以頻域箱和/或指數(shù)620出現(xiàn)。傳送代碼信息的其它頻率同樣偏移。這些代碼頻率偏移可以導(dǎo)致解碼出錯。
在此描述用于補償這種偏移的許多示例性方法。在一些示例中，調(diào)節(jié)和/或選擇 (例如，從采樣頻率的標稱值起增加或減小)采樣頻率303，直到以適當?shù)谋Ｕ娑仍跇朔Q頻率箱中檢測到代碼103為止。在其它示例中，使用偏移頻率箱集來檢測和解碼代碼103。例如， 如果期望代碼在標稱頻率指數(shù){12，20, 56}，則頻域解碼器306例如可以檢查偏移頻率指數(shù) {13，21，57}、{11，19，55}、{14，22，58}等，直到以適當?shù)谋Ｕ娑葯z測到代碼103為止。在一些示例中，在校準期間可以使用已知代碼，以易于確定代碼檢測保真度。在其它樣本中，可將解碼度量(如標準化能之和、解碼有效性驗證、解碼評分(score)等)與已知和/或未知代碼一起使用，以確定和/或估計解碼保真度。
另外或另選的是，可以調(diào)節(jié)和/或選擇時域頻域轉(zhuǎn)換器304所使用的、用于計算頻域表示305的塊尺寸。例如，可以通過兩倍系數(shù)來增加該塊尺寸，來使得可能檢測到代碼信息的頻率指數(shù)的數(shù)加倍。這樣，如果頻率偏移使代碼信息移動至靠近兩個頻率指數(shù)之間的邊界，則可以以增加保真度檢測到該代碼信息。當然，可以使用上述方法的任意組合。
雖然在圖3中例示了實現(xiàn)圖I的示例性解碼器116的示例性方式，但可以按任何其它方式組合、拆分、重新布置、省略、消除以及/或?qū)崿F(xiàn)圖3所示接口、數(shù)據(jù)結(jié)構(gòu)、元件、處理以及/或設(shè)備中的一個或更多個。而且，示例性采樣器302、示例性時域頻域轉(zhuǎn)換器304、 示例性頻域解碼器306、示例性偏移補償器308以及/或更上位地示例性解碼器116中的任一個都可以用一個或更多個電路、設(shè)備、可編程處理器、ASIC、PLD、FPLD、以及/或FPGA等來實現(xiàn)。當閱讀本專利的并入了這些組成部分中的一個或更多個的任何裝置權(quán)利要求以覆蓋純軟件和/或固件實現(xiàn)時，示例性采樣器302、示例性時域頻域轉(zhuǎn)換器304、示例性頻域解碼器306、示例性偏移補償器308以及/或更上位地示例性解碼器116中的至少一個由此被明確地限定成包括存儲固件和/或軟件的有形計算機可讀介質(zhì)。更進一步地，代替圖3所示那些或除了圖3所示那些之外，示例性解碼器116可以包括接口、數(shù)據(jù)結(jié)構(gòu)、元件、處理以及/或設(shè)備，以及/或可以包括任何或全部所示接口、數(shù)據(jù)結(jié)構(gòu)、元件、處理以及/或設(shè)備中的一個以上。
圖4和5例示了可以執(zhí)行以實現(xiàn)圖I和圖3的示例性解碼器116的示例性處理。 可以將處理器、控制器以及/或任何其它適當?shù)奶幚碓O(shè)備用于和/或編程成執(zhí)行圖4和/或圖5的示例性處理。例如，可以將圖4和/或圖5的處理體現(xiàn)在編碼指令中，該編碼指令存儲在有形計算機可讀介質(zhì)(如閃速存儲器、CD、DVD、軟盤、只讀存儲器(ROM)、隨機存取存儲器(RAM)、閃速存儲器、可編程ROM (PROM)、電可編程ROM (EPROM)，以及/或電可擦除PROM (EEPR0M))、光學(xué)存儲盤、光學(xué)存儲設(shè)備、磁存儲盤、磁存儲裝置，以及/或可以用于存儲機器可讀指令或數(shù)據(jù)結(jié)構(gòu)形式的程序代碼和/或指令的任何其它有形介質(zhì)，并且該編碼指令可以通過處理器、計算機以及/或具有處理器的其它機器(如下面結(jié)合圖7討論的示例性處理器平臺P100)進行訪問。另選的是，圖4和/或圖5的示例性處理中的一些或全部可以通過ASIC、PLD、FPLD, PFGA、離散邏輯、硬件、固件等的任意組合來實現(xiàn)。而且，圖4和/或圖5的示例性處理中的一些或全部可以手動實現(xiàn)或者實現(xiàn)為任何前述技術(shù)的任意組合，例如，固件、軟件、離散邏輯和/或硬件的任意組合。而且，可以采用實現(xiàn)圖4和/或圖5的示例性處理的許多其它方法。例如，可以改變框的執(zhí)行次序，和/或可以將描述的框中的一個或更多個進行改變、消除、再拆分，或組合。此外，圖4和/或圖5的示例性處理中的任何或全部例如可以順序地執(zhí)行和/或通過分隔處理線程、處理器、設(shè)備、離散邏輯、電路等并行地執(zhí)行。
圖4的示例性處理從示例性采樣器302對接收到的編碼音頻105進行采樣開始 (框405)。音頻105可以經(jīng)由音頻傳感器、硬布線連接，經(jīng)由音頻文件，或者通過任何其它適當?shù)募夹g(shù)來獲取。如上所描述的，可以在48000Hz，或者在任何其它適當?shù)念l率來執(zhí)行采樣。
在獲取各樣本的同時，對包括許多舊樣本和在框405獲取的新添樣本的樣本集執(zhí)行滑動時間頻率變換(框410)，在一些示例中，將滑動DFT用于對包括18431個舊樣本和一個新添樣本的流輸入樣本進行處理。在一些示例中，利用18432個樣本的DFT導(dǎo)致具有 2. 6Hz的分辨率的頻域表示305。
在通過時間頻率轉(zhuǎn)換(框410)獲取頻域表示305之后，示例性頻域解碼器306監(jiān)測針對嵌入的代碼103的代碼頻率，并且對任何檢測到的代碼進行解碼(框415)。
如果由偏移補償器308選定以及/或進行的頻率調(diào)節(jié)使得當前頻域表示305可以被重新處理(例如，用于檢查不同的偏移頻率集)(框425)，則控制返回至框415，以執(zhí)行附加頻域解碼，假定頻域解碼器306和/或偏移補償器308能夠在編碼音頻105的連續(xù)樣本之間完成它們的操作一次以上。
如果頻率調(diào)節(jié)使得當前頻域表示305不能被重新處理(例如，由于采樣頻率303和 /或塊尺寸的改變)(框425)，則控制返回至框405，以在需要時收集一個或更多個另外的音頻樣本。例如，如果改變采樣頻率303，則放棄整個緩沖區(qū)的音頻樣本，并在計算下一個頻域表示305之前以新的采樣頻率303將緩沖區(qū)充滿新的音頻樣本。例如,如果增加塊尺寸,則在可以計算更大的頻域表示305之前，可能需要收集一個或更多個另外的音頻樣本。然而， 如果采樣器302和/或時域頻域轉(zhuǎn)換器304保持額外的音頻樣本(例如，具有足夠大的緩沖區(qū))，則可以根據(jù)時域頻域轉(zhuǎn)換器304、頻域解碼器306以及/或偏移補償器308的在編碼音頻105的連續(xù)樣本之間完成它們的操作一次以上的處理能力，立即利用已經(jīng)可用的音頻樣本來計算更大的頻域表示305。
根據(jù)在框415是否檢測到任何代碼103，示例性偏移補償器308例如通過執(zhí)行圖5 的示例性處理，來調(diào)節(jié)和/或選擇頻率偏移。接著，控制返回至框415，以處理下一個樣本塊。
在示例性頻域解碼器306嘗試對嵌入的代碼103進行解碼時，執(zhí)行圖5的示例性處理。如果頻域解碼器306不能夠檢測到并解碼嵌入的代碼103 (框505)，則偏移補償器 308確定是否已經(jīng)嘗試了在列表310中存儲的所有先前成功的偏移(框510)。如果沒有嘗試完所有存儲的偏移310 (框510)，則偏移補償器308選擇下一個存儲的偏移310 (框515)， 對應(yīng)地配置采樣頻率303、塊尺寸以及/或代碼頻率(框520)，并且設(shè)置標志，以指示已經(jīng)將正在嘗試的當前偏移存儲在了列表310中。接著，控制從圖5的示例性處理退出。
返回至框510，如果已經(jīng)嘗試了所有存儲的偏移310 (框510)，則偏移補償器308 選擇以及/或計算新的偏移以進行嘗試(框530)，并且清除標志，以指示正在嘗試新的偏移 (框535)。例如，根據(jù)任何數(shù)量和/或類型的搜索標準、步驟尺寸以及/或圖案，可以嘗試標稱頻率指數(shù)的連續(xù)偏移，可以嘗試采樣頻率303的連續(xù)改變，以及/或可以嘗試塊尺寸的連續(xù)改變。接著，控制從圖5的示例性處理退出。
返回至框505，如果代碼被成功地解碼(框505)，并且未設(shè)置標志(框540)，則將當前偏移存儲在列表310中(框545)，并且設(shè)置標志(框550)。接著，控制從圖5的示例性處理退出。返回至框550，如果設(shè)置了標志(框550)，則控制從圖5的示例性處理退出，而不需要將偏移存儲在列表310中。
圖7是可以用于和/或編程成執(zhí)行圖4和圖5的示例性處理并且/或用于實現(xiàn)圖 I和圖3的示例性解碼器116的示例性處理器平臺PlOO的示意圖?？梢允褂靡粋€或更多個通用處理器、處理器核、微控制器等來實現(xiàn)該處理器平臺P100。
圖7的示例的處理器平臺PlOO包括至少一個可編程處理器P105。該處理器P105 例如可以實現(xiàn)圖3的偏移補償器310。處理器P105執(zhí)行處理器P105的主存儲器中(例如， RAM P115和/或ROM P120內(nèi))存在的編碼指令PllO和/或P112。處理器P105可以是任何類型的處理單元，如處理器核、處理器以及/或微控制器。除了其它方面，處理器P105可以執(zhí)行圖4和圖5的示例性處理，以對本文所述的音頻水印進行解碼。因而，編碼指令P102、 P112可以包括表示圖4和圖5的示例性處理的指令。
處理器P105經(jīng)由總線P125與主存儲器(包括ROM P120和/或RAM P115)通信。 RAM Pl 15可以由動態(tài)隨機存取存儲器(DRAM)、同步動態(tài)隨機存取存儲器(SDRAM)，以及/或任何其它類型的RAM設(shè)備來實現(xiàn)，而ROM可以由閃速存儲器和/或任何其它所希望的類型的存儲器設(shè)備來實現(xiàn)。對存儲器P115和存儲器P120的訪問可以由存儲器控制器來控制。 示例性存儲器P115例如可以用于實現(xiàn)示例性偏移數(shù)據(jù)庫310 (圖3)。
處理器平臺PlOO還包括接口電路P130。任何類型的接口標準(如外部存儲器接口、串行端口、通用輸入/輸出等)可以實現(xiàn)接口電路P130。一個或更多個輸入設(shè)備P135 和一個或更多個輸出設(shè)備P140連接至接口電路P130。示例性輸入設(shè)備P135例如可以用于實現(xiàn)示例性采樣器302。
盡管在此對具體示例性方法、裝置以及制造品進行了描述，但本專利的覆蓋范圍并不限于此。與 此相反，本專利在字面上或者在等同物原則下，覆蓋清楚地落入本專利的權(quán)利要求書范圍內(nèi)的所有方法、裝置以及制造品。
權(quán)利要求
1.一種執(zhí)行音頻信號解碼的方法，該方法包括以下步驟 接收音頻信號，該音頻信號包括使用第一多個頻率分量嵌入的聽者測量代碼； 對所述音頻信號進行采樣； 將所采樣的音頻信號變換成第一頻域表示； 確定是否在所述第一頻域表示的所述第一多個頻率分量中檢測到所述代碼；以及 當在所述第一多個頻率分量中未檢測到所述代碼時，檢查所采樣的音頻信號的第二頻域表示的第二多個頻率分量，以確定是否檢測到所述代碼，所述第二多個頻率分量相對于所述第一多個頻率分量偏移了第一偏移，所述第一偏移對應(yīng)于米樣頻率失配。
2.根據(jù)權(quán)利要求I所述的方法，其中，所述第二頻域表示包括所述第一頻域表示。
3.根據(jù)權(quán)利要求I所述的方法，所述方法還包括選擇所述第二多個頻率分量中的各頻率分量，以與所述第一多個頻率分量中的對應(yīng)頻率分量相鄰。
4.根據(jù)權(quán)利要求I所述的方法，所述方法還包括選擇所述第二多個頻率分量中的第一頻率分量，以具有比所述第一多個頻率分量中的第一頻率分量更窄的帶寬。
5.根據(jù)權(quán)利要求I所述的方法，所述方法還包括調(diào)節(jié)與所述音頻信號的采樣相關(guān)聯(lián)的頻率，以選擇所述第二多個頻率分量。
6.根據(jù)權(quán)利要求I所述的方法，所述方法還包括以下步驟當在所述第二多個頻率分量中未檢測到所述代碼時，檢查所采樣的音頻信號的第三頻域表示的第三多個頻率分量，以確定是否檢測到所述代碼，所述第三多個頻率分量相對于所述第一多個頻率分量偏移了不同于所述第一偏移的第二偏移，所述第二偏移對應(yīng)于第二采樣頻率失配。
7.根據(jù)權(quán)利要求I所述的方法，所述方法還包括基于所述第一偏移來選擇將所采樣的音頻信號變換成所述第二頻域表示所使用的參數(shù)。
8.根據(jù)權(quán)利要求I所述的方法，所述方法還包括從偏移列表中選擇所述第一偏移。
9.根據(jù)權(quán)利要求I所述的方法，所述方法還包括當在所述第二多個頻率分量中檢測到所述代碼時，將所述第一偏移添加至偏移列表。
10.一種執(zhí)行音頻信號解碼的裝置，該裝置包括 用于接收音頻信號的音頻輸入接口，該音頻信號包括使用第一多個頻率分量嵌入的聽者測量代碼； 采樣器，該采樣器用于對所述音頻信號進行采樣； 時域頻域轉(zhuǎn)換器，該時域頻域轉(zhuǎn)換器用于將所采樣的音頻信號變換成第一頻域表示；以及 頻域解碼器，該頻域解碼器用于確定是否在所述第一頻域表示的所述第一多個頻率分量中檢測到所述代碼，并且當在所述第一多個頻率分量中未檢測到所述代碼時，檢查所采樣的音頻信號的第二頻域表示的第二多個頻率分量，以確定是否檢測到所述代碼，所述第二多個頻率分量相對于所述第一多個頻率分量偏移了第一偏移，所述第一偏移對應(yīng)于米樣頻率失配。
11.根據(jù)權(quán)利要求10所述的裝置，其中，當在所述第二多個頻率分量中未檢測到所述代碼時，所述頻域解碼器檢查所采樣的音頻信號的第三頻域表示的第三多個頻率分量，以確定是否檢測到所述代碼，所述第三多個頻率分量相對于所述第一多個頻率分量偏移了不同于所述第一偏移的第二偏移，所述第二偏移對應(yīng)于第二米樣頻率失配。
12.根據(jù)權(quán)利要求10所述的裝置，所述裝置還包括偏移補償器，該偏移補償器用于從偏移列表中選擇所述第一偏移。
13.根據(jù)權(quán)利要求10所述的裝置，所述裝置還包括偏移補償器，該偏移補償器用于當在所述第二多個頻率分量中檢測到所述代碼時，將所述第一偏移添加至偏移列表。
14.根據(jù)權(quán)利要求10所述的裝置，所述裝置還包括偏移補償器，該偏移補償器用于基于所述第一偏移來選擇將所采樣的音頻信號變換成所述第二頻率表示所使用的參數(shù)。
15.根據(jù)權(quán)利要求10所述的裝置，所述裝置還包括偏移補償器，該偏移補償器用于選擇所述第二多個頻率分量，以與所述第一多個頻率分量中的對應(yīng)頻率分量相鄰。
16.根據(jù)權(quán)利要求10所述的裝置，所述裝置還包括偏移補償器，該偏移補償器用于配置所述第二多個頻率分量中的第一頻率分量，以具有比所述第一多個頻率分量中的第一頻率分量更窄的帶寬。
全文摘要
本發(fā)明涉及執(zhí)行音頻信號解碼的方法及裝置。公開了用于執(zhí)行音頻水印解碼的示例性方法、裝置以及制造品。一種公開的示例性方法包括以下步驟接收音頻信號，該音頻信號包括利用第一多個頻率分量嵌入的聽者測量代碼；對所述音頻信號進行采樣；將所采樣音頻信號變換成第一頻域表示；確定是否在所述第一頻域表示的所述第一多個頻率分量中檢測到所述代碼；以及當在所述第一多個頻率分量中未檢測到所述代碼時，檢查所采樣的音頻信號的第二頻域表示的第二多個頻率分量，以確定是否檢測到所述代碼，所述第二多個頻率分量相對于所述第一多個頻率分量偏移了第一偏移，所述第一偏移對應(yīng)于采樣頻率失配。
文檔編號H04N21/2389GK102982806SQ201210469798
公開日2013年3月20日 申請日期2011年4月26日 優(yōu)先權(quán)日2010年4月26日
發(fā)明者D·J·尼森, 韋努戈帕爾·斯里尼瓦桑, 約翰·C·派弗 申請人:尼爾森(美國)有限公司