化得到的值(例如，向正規(guī)化的頻譜圖應(yīng)用特定于頻率的衰減函數(shù)或者閾值)。關(guān)于圖2至圖6進(jìn)一步描述了感知特性的生成。
[0030]同步模塊108可被配置為使音頻數(shù)據(jù)與視頻數(shù)據(jù)中的變化同步以創(chuàng)造實(shí)現(xiàn)引發(fā)對(duì)對(duì)收聽(tīng)者或者觀看者的效果的特定總體感情、戲劇和/或關(guān)注的產(chǎn)物。在一個(gè)具體示例中，同步模塊108可被配置為處理感知特性以確定、生成或者選擇音頻數(shù)據(jù)內(nèi)產(chǎn)生收聽(tīng)者中的指明的感情響應(yīng)的轉(zhuǎn)變點(diǎn)。在一個(gè)具體示例中，對(duì)于音頻數(shù)據(jù)的不同部分的影響值、節(jié)奏脈沖值、節(jié)奏值和/或旋律值被過(guò)濾以確定音頻數(shù)據(jù)中的一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)。
[0031]在至少一些實(shí)現(xiàn)方式中，同步模塊108可以將產(chǎn)物自動(dòng)配置為使視頻數(shù)據(jù)中的變化與確定的一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)同步。因此，在這一實(shí)現(xiàn)方式中，同步模塊108將產(chǎn)物配置為在沒(méi)有用戶輸入的情況下使視頻數(shù)據(jù)中的變化與一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)同步。備選地，在其他實(shí)現(xiàn)方式中，用戶可以經(jīng)由用戶接口提供輸入以使視頻數(shù)據(jù)中的變化與一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)同步。
[0032]在一個(gè)實(shí)現(xiàn)方式中，同步模塊108可被配置為基于匹配在視頻數(shù)據(jù)中的兩個(gè)變化之間的步幅與在音頻數(shù)據(jù)中的轉(zhuǎn)變點(diǎn)之間的步幅來(lái)使視頻數(shù)據(jù)中的變化與檢測(cè)的轉(zhuǎn)變點(diǎn)同步。在這一實(shí)現(xiàn)方式中，同步模塊108基于在視頻數(shù)據(jù)中的兩個(gè)變化之間的步幅大體類似于在音頻數(shù)據(jù)中的轉(zhuǎn)變點(diǎn)之間的步幅而使視頻數(shù)據(jù)中的變化與檢測(cè)的轉(zhuǎn)變點(diǎn)同步。
[0033]在另一種實(shí)現(xiàn)方式中，同步模塊108可被配置為基于匹配在視頻數(shù)據(jù)中的兩個(gè)變化(例如，在視頻幀或者場(chǎng)景之間的變化)之間的平滑度或者突然性(abruptness)與在音頻數(shù)據(jù)中的轉(zhuǎn)變點(diǎn)之間的平滑度或者突然性來(lái)使視頻數(shù)據(jù)中的變化與檢測(cè)的轉(zhuǎn)變點(diǎn)同步。在這一實(shí)現(xiàn)方式中，同步模塊108基于在視頻數(shù)據(jù)中的兩個(gè)變化之間的平滑度或者突然性大體類似于在音頻數(shù)據(jù)中的轉(zhuǎn)變點(diǎn)之間的平滑度或者突然性而使視頻數(shù)據(jù)中的變化與檢測(cè)的轉(zhuǎn)變點(diǎn)同步。
[0034]盡管感知模型104被圖示為被實(shí)現(xiàn)在計(jì)算設(shè)備102上，但是還預(yù)期到其中感知模型104被實(shí)現(xiàn)在諸如遠(yuǎn)程服務(wù)器、本地服務(wù)器或者其他遠(yuǎn)程計(jì)算設(shè)備之類的單獨(dú)設(shè)備上的其他實(shí)現(xiàn)方式應(yīng)當(dāng)是顯而易見(jiàn)的。另外，盡管被圖示為由臺(tái)式配置中的計(jì)算設(shè)備102提供，但是還預(yù)期到各種其他配置，諸如如關(guān)于圖6進(jìn)一步描述的作為web平臺(tái)的一部分通過(guò)網(wǎng)絡(luò)110遠(yuǎn)程提供。
[0035]不管在哪里被實(shí)現(xiàn)，感知模型104都表示被配置為處理音頻數(shù)據(jù)以標(biāo)識(shí)音頻數(shù)據(jù)中對(duì)收聽(tīng)者產(chǎn)生特定感情效果的部分的功能。
[0036]圖2在200處總體地描繪了其中圖1的感知模型104執(zhí)行音頻處理以自動(dòng)使音頻數(shù)據(jù)和視頻數(shù)據(jù)同步的示例實(shí)現(xiàn)方式中的情境的表示。如在圖2中所示出的，可發(fā)生音頻處理，其中音頻信號(hào)202根據(jù)感知模型104被處理以確定用于音頻信號(hào)的一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)204。在一個(gè)實(shí)現(xiàn)方式中，一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)204可被用于自動(dòng)同步206，在自動(dòng)同步206中與一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)204相關(guān)聯(lián)的音頻數(shù)據(jù)被與視頻數(shù)據(jù)同步。這里，音頻數(shù)據(jù)和視頻數(shù)據(jù)基于通過(guò)處理查明的轉(zhuǎn)變點(diǎn)而被結(jié)合以創(chuàng)建同步的產(chǎn)品208。附加地或者備選地，在感知模型104執(zhí)行音頻處理并且確定轉(zhuǎn)變點(diǎn)204之后，與一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)204相關(guān)聯(lián)的值可被存儲(chǔ)在存儲(chǔ)器中(例如，本地地或者遠(yuǎn)程地)以用于稍后使用。
[0037]特別地，音頻信號(hào)202例如可以包括將被感知模型104處理的相關(guān)聯(lián)的音頻數(shù)據(jù)。音頻信號(hào)202可以表示任何類型的聲音(有或者沒(méi)有語(yǔ)音)，諸如音樂(lè)(有或者沒(méi)有節(jié)奏)。在一個(gè)具體實(shí)現(xiàn)方式中，音頻信號(hào)202包括低解析度音頻數(shù)據(jù)并且感知模型104處理該低解析度音頻數(shù)據(jù)。
[0038]在自動(dòng)同步206期間可以使用一個(gè)或多個(gè)轉(zhuǎn)變點(diǎn)204。例如，感知模型104可以標(biāo)識(shí)多個(gè)“潛在”轉(zhuǎn)變點(diǎn)并且選擇轉(zhuǎn)變點(diǎn)中的一些或者全部以用于同步以實(shí)現(xiàn)收聽(tīng)者中的指明的感情響應(yīng)(相對(duì)于潛在轉(zhuǎn)變點(diǎn)集合中的其他非選中轉(zhuǎn)變點(diǎn))。在這一示例中，感知模型104可被配置為向轉(zhuǎn)變點(diǎn)集合中的每個(gè)轉(zhuǎn)變點(diǎn)指派分?jǐn)?shù)和/或權(quán)重。在一些實(shí)例中，在處理轉(zhuǎn)變點(diǎn)集合中的每個(gè)轉(zhuǎn)變點(diǎn)(例如，調(diào)節(jié)或者修改確定的轉(zhuǎn)變點(diǎn))之后指派分?jǐn)?shù)和/或權(quán)重。在下面關(guān)于圖3描述了關(guān)于轉(zhuǎn)變點(diǎn)的處理的附加細(xì)節(jié)。
[0039]自動(dòng)同步206可被配置為通過(guò)對(duì)音頻和視頻數(shù)據(jù)中適合于根據(jù)所選擇的轉(zhuǎn)變點(diǎn)204使音頻數(shù)據(jù)與視頻數(shù)據(jù)中的一個(gè)或多個(gè)變化同步的部分進(jìn)行插入、對(duì)準(zhǔn)、接合、裁切、重新布置、修改和/或以其他方式執(zhí)行操作來(lái)創(chuàng)建同步產(chǎn)物208。這例如可以由感知模型104來(lái)使能。因此，同步的產(chǎn)物208被配置為包括在轉(zhuǎn)變點(diǎn)204處與視頻變化同步的音頻數(shù)據(jù)由此在該產(chǎn)物的收聽(tīng)者或者觀看者中產(chǎn)生指明的感情響應(yīng)。
[0040]圖3描繪了使用在此描述的技術(shù)的示例感知模型300。例如，如所示，感知模型104包括信號(hào)處理模塊106、同步模塊108、感知特性生成器模塊302、轉(zhuǎn)變點(diǎn)生成器模塊304、轉(zhuǎn)變點(diǎn)處理模塊306、轉(zhuǎn)變點(diǎn)選擇模塊308和產(chǎn)物同步器模塊310。
[0041]如所示，信號(hào)處理模塊106包括感知特性生成器模塊302。先前提到的信號(hào)處理模塊106可被配置為處理與對(duì)應(yīng)的音頻信號(hào)相關(guān)聯(lián)的音頻數(shù)據(jù)以生成用于音頻數(shù)據(jù)的不同部分的感知特性。感知特性表示用于音頻數(shù)據(jù)的不同部分的感知重要性的水平。
[0042]感知特性生成器模塊302生成用于音頻數(shù)據(jù)的不同部分的感知特性。感知特性可以包括指示產(chǎn)物對(duì)用戶的影響的一個(gè)或多個(gè)值，諸如與音頻數(shù)據(jù)相關(guān)聯(lián)的影響值、節(jié)奏脈沖值，節(jié)奏值和/或旋律值。各種不同操作可被用來(lái)生成感知特性。這些操作的示例可以包括但不限于將音頻信號(hào)轉(zhuǎn)換為頻譜圖、將該頻譜圖映射到感知頻率空間(例如，感知頻率刻度)中、將該頻譜圖的動(dòng)態(tài)范圍正規(guī)化和/或處理從正規(guī)化得到的值。在一個(gè)示例中，感知特性生成器302被配置為生成影響值、節(jié)奏脈沖值，節(jié)奏值和/或旋律值。
[0043]可以通過(guò)使絕對(duì)響度和響度中隨著時(shí)間的變化相乘來(lái)生成影響值。這里，可以通過(guò)在感知頻率空間中向頻譜圖應(yīng)用映射函數(shù)來(lái)確定響度。在一些示例中，用于生成影響值的響度可被正規(guī)化為從O到I。
[0044]可以通過(guò)分析在音頻頻譜上散布的響度來(lái)生成節(jié)奏脈沖值。例如，可以通過(guò)在感知頻率空間中向頻譜圖應(yīng)用映射函數(shù)來(lái)確定響度。分析響度可以包括確定響度被多么均勻地散布在音頻頻譜上。附加地或者備選地，可以通過(guò)向頻譜圖應(yīng)用傳統(tǒng)濾波技術(shù)來(lái)生成節(jié)奏脈沖值。在這一示例中，可以以在大約25-50毫秒之間的采樣分辨率來(lái)應(yīng)用濾波器。在一個(gè)實(shí)現(xiàn)方式中，可以通過(guò)濾除旋律內(nèi)容來(lái)生成節(jié)奏脈沖。
[0045]感知特性生成器302可以通過(guò)向正規(guī)化的頻譜圖的值應(yīng)用閾值來(lái)確定或者生成節(jié)奏值。在另一示例中，感知特性生成器302可以通過(guò)向正規(guī)化的頻譜圖應(yīng)用特定于頻率的衰減函數(shù)來(lái)確定或者生成旋律值。附加地或者備選地，感知特性生成器302可以通過(guò)應(yīng)用對(duì)音頻數(shù)據(jù)的和聲特征中在特定時(shí)間段內(nèi)的變化程度進(jìn)行分析的處理技術(shù)來(lái)確定或者生成旋律值。除了被配置為生成影響值、節(jié)奏脈沖值、節(jié)奏值和/或旋律值之外或者代替被配置為生成影響值、節(jié)奏脈沖值、節(jié)奏值和/或旋律值，感知特性生成器302還可被配置為得出指示產(chǎn)物對(duì)用戶的影響的其他種類的感知特性。
[0046]在一個(gè)或多個(gè)實(shí)現(xiàn)方式中，感知特性被本地的存儲(chǔ)在計(jì)算設(shè)備102處的存儲(chǔ)裝置中。附加地或者備選地，感知特性可被存儲(chǔ)在遠(yuǎn)離計(jì)算設(shè)備102的存儲(chǔ)裝置(諸如在遠(yuǎn)程數(shù)據(jù)庫(kù)或者遠(yuǎn)程服務(wù)器)中和/或可以從遠(yuǎn)離計(jì)算設(shè)備102的存儲(chǔ)裝置訪問(wèn)。
[0047]可以通過(guò)使用各種技術(shù)將音頻信號(hào)轉(zhuǎn)換為頻譜圖來(lái)生成感知特性。例如，轉(zhuǎn)換可以包括通過(guò)向音頻信號(hào)(或者對(duì)應(yīng)的音頻數(shù)據(jù))應(yīng)用快速傅立葉變換(FFT)來(lái)生成頻譜圖。另外，可以按照與音頻信號(hào)或音頻數(shù)據(jù)的編碼格式匹配的時(shí)間分辨率來(lái)應(yīng)用FFT。例如，僅舉數(shù)例，編碼格式可以包括MP3、高級(jí)音頻編碼(AAC)、WAV如/或WMA。
[0048]附加地或者備選地，可以通過(guò)將音頻信號(hào)的頻譜圖映射到感知頻率空間(這可以包括將頻譜圖映射到等價(jià)矩形帶寬(ERB)空間)中來(lái)生成感知特性。這種方式可以包括將音頻信號(hào)的頻譜圖的動(dòng)態(tài)范圍正規(guī)化，諸如通過(guò)在零和一的值之間或者使用另一指明正規(guī)化值范圍將頻譜圖正規(guī)化。在一個(gè)或多個(gè)實(shí)現(xiàn)方式中，可以響應(yīng)于觸發(fā)事件(諸如將音頻信號(hào)的頻譜圖映射到感知頻率空間、將音頻洗好轉(zhuǎn)換為頻譜圖或者另一個(gè)觸發(fā)器)而執(zhí)行正規(guī)化。
[0049]繼續(xù)用于生成感知特性的示例操作，感知特性生成器302可被配置為識(shí)別到音頻信號(hào)的頻譜圖包括ERB軸和時(shí)間軸。響應(yīng)于該識(shí)別，感知特性生成器302可以操作來(lái)計(jì)算沿著時(shí)間軸的一個(gè)或多個(gè)點(diǎn)處的沿著ERB軸的值中的每個(gè)值的差異。換言之，感知特性生成器302可以使用本領(lǐng)域中的標(biāo)準(zhǔn)技術(shù)計(jì)算沿著時(shí)間軸的第一導(dǎo)數(shù)。在一個(gè)或多個(gè)實(shí)現(xiàn)方式中，可以通過(guò)沿著ERB軸應(yīng)用特定于頻率的衰減函數(shù)來(lái)在每個(gè)時(shí)間對(duì)差異值中的每個(gè)差異值求總和。從這一求和得出的結(jié)果是在在此描述的技術(shù)中可被