(603)的流被輸入到分類機￠04)，其以與上述分類機(507)類似的方式操作以識別已知類型的音視頻內(nèi)容的頻譜特征。描述音視頻內(nèi)容類型的元數(shù)據(jù)(605)從分類機(604)輸出，從該音視頻內(nèi)容類型中推導(dǎo)出指紋值序列(600)。
[0067]例如在國際專利申請WO 2009/104022中描述的“條形碼”音頻簽名的一些音頻指紋包括一個比特的二進制值序列。這些指紋可以方便地用游程編碼進行描述，其中游程值序列指示相繼的相同的指紋值的計數(shù)。這是公知的數(shù)據(jù)壓縮方法，其通過單個描述符和游程值來表示連續(xù)值序列。在二進制數(shù)據(jù)的情況下，不需要描述符，因為每個游程值表示了二進制數(shù)據(jù)狀態(tài)的變化。
[0068]指紋序列的滾動窗口的游程值可以進行直方圖化，并且游程值或者游程值的范圍的出現(xiàn)頻率的直方圖被用于識別材料特征，從該材料推導(dǎo)出了指紋。
[0069]可以通過將時間低通濾波器應(yīng)用到推導(dǎo)出的元數(shù)據(jù)來提高從指紋數(shù)據(jù)提取元數(shù)據(jù)的所有上述方法的可靠性。例如滑動平均的簡單遞歸濾波器是合適的。然而，存在可靠性和響應(yīng)速度之間的權(quán)衡。對于不同類型的元數(shù)據(jù)，所需的響應(yīng)速度是不同的。一些參數(shù)描述單個幀，例如黑幀標識符。其他參數(shù)涉及短的幀序列，例如電影節(jié)奏參數(shù)。還有其它的參數(shù)涉及幾百個或者甚至是幾千個幀，例如內(nèi)容類型參數(shù)。適用于這些不同類型的元數(shù)據(jù)的時間濾波器將具有不同的帶寬。
[0070]通過該說明書中描述的方法推導(dǎo)出的元數(shù)據(jù)的值的變化含有可以被用來推導(dǎo)更高級別的元數(shù)據(jù)的有用信息。例如，鏡頭變化的出現(xiàn)頻率可以被用來推斷內(nèi)容類型。
[0071]已經(jīng)描述了幾種不同的分析指紋數(shù)據(jù)的方法。根據(jù)本發(fā)明的元數(shù)據(jù)推斷過程可以使用這些方法中的一個或者多個；并非特定指紋的所有元素都需要進行分析。
[0072]已經(jīng)描述了對空間視頻指紋、時間視頻指紋和音頻指紋的處理。從指紋數(shù)據(jù)中獲得元數(shù)據(jù)的這些方法適用于源自于音視頻內(nèi)容流內(nèi)的相同時間位置的一種類型的指紋、或者不同類型的指紋的組合。源自于相同的內(nèi)容的不同指紋類型之間的關(guān)系可以被用來確定適用于所述內(nèi)容的元數(shù)據(jù)。
[0073]通常，可用的音頻指紋的時間位置將與音視頻內(nèi)容制作或者發(fā)布過程中的相同點處的相同內(nèi)容流的相關(guān)聯(lián)的可用視頻指紋的時間位置具有固定的關(guān)系。在該情況下，相比于通過孤立地分析音頻或者視頻指紋來實現(xiàn)對音視頻序列的元數(shù)據(jù)的確定，將根據(jù)本發(fā)明的視頻指紋分析結(jié)果與根據(jù)本發(fā)明的音頻指紋分析結(jié)果相結(jié)合將給出更可靠的上述確定。
[0074]本發(fā)明的原理可以被應(yīng)用于多種不同類型的音頻、視頻或者音視頻指紋。音頻和/或視頻數(shù)據(jù)可以在生成適當(dāng)?shù)囊粋€或者多個指紋之前進行子采樣?？梢詮膱龌蛘邘型茖?dǎo)出視頻指紋。
【主權(quán)項】
1.一種管理音視頻、音頻或者視頻內(nèi)容的方法，所述方法包括以下步驟: 在與指紋生成器物理分離的指紋處理器處通過通信網(wǎng)絡(luò)接收指紋流，所述指紋流在所述指紋生成器中通過不可逆的數(shù)據(jù)簡化過程從特定的音視頻、音頻或者視頻內(nèi)容流中的各自的時間區(qū)域中推導(dǎo)出；以及 在所述指紋處理器中以選自包含以下過程的組的一個或者多個過程來處理所述指紋，以生成不直接以所述指紋進行編碼的元數(shù)據(jù): 檢測音頻指紋的低值的持續(xù)出現(xiàn)以生成指示無聲的元數(shù)據(jù)； 將時間上相繼的指紋值之間的差異的模式與電影節(jié)奏的預(yù)期模式進行比較以生成指示電影節(jié)奏的元數(shù)據(jù)；以及 將時間上相繼的指紋值之間的差異與閾值進行比較以生成指示靜止圖像或停幀的元數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其中所述通信網(wǎng)絡(luò)包括互聯(lián)網(wǎng)。
3.如權(quán)利要求1所述的方法，其中音頻指紋流具有每個音頻通道小于約500字節(jié)/秒的數(shù)據(jù)速率。
4.如權(quán)利要求3所述的方法，其中音頻指紋流具有每個音頻通道小于約250字節(jié)/秒的數(shù)據(jù)速率。
5.如前述權(quán)利要求中任一項所述的方法，其中視頻指紋流具有每個場小于約500字節(jié)的數(shù)據(jù)速率。
6.如權(quán)利要求5所述的方法，其中視頻指紋流具有每個場小于約200字節(jié)的數(shù)據(jù)速率。
7.如權(quán)利要求1所述的方法，其中所述內(nèi)容包括視頻幀的視頻流，并且其中實質(zhì)上針對所述視頻流中的每個幀生成指紋。
8.—種管理音視頻、音頻或者視頻內(nèi)容的方法，所述方法包括以下步驟: 在與指紋生成器物理分離的指紋處理器處通過通信網(wǎng)絡(luò)接收指紋流，所述指紋流在所述指紋生成器中通過不可逆的數(shù)據(jù)簡化過程從特定的音視頻、音頻或者視頻內(nèi)容流中的各自的時間區(qū)域中推導(dǎo)出；以及 在所述指紋處理器中處理所述指紋以生成不直接以所述指紋進行編碼的元數(shù)據(jù)；其中所述處理包括: 使用時間窗口來窗口化所述指紋流； 推導(dǎo)每個時間窗口內(nèi)的特定的指紋值或指紋值范圍的出現(xiàn)頻率； 確定所述出現(xiàn)頻率的統(tǒng)計矩或者摘值； 將所述統(tǒng)計矩或熵值與特定的內(nèi)容類型的預(yù)期值進行比較；以及 生成表示所述音視頻、音頻或者視頻內(nèi)容的類型的元數(shù)據(jù)。
9.如權(quán)利要求8所述的方法，其中所述統(tǒng)計矩包括所述出現(xiàn)頻率的平均值、方差、偏度或峰度中的一個或者多個。
10.如權(quán)利要求8和權(quán)利要求9中任一項所述的方法，其中所述通信網(wǎng)絡(luò)包括互聯(lián)網(wǎng)。
11.如權(quán)利要求8和權(quán)利要求9中任一項所述的方法，其中視頻指紋流具有每個場小于約500字節(jié)的數(shù)據(jù)速率。
12.如權(quán)利要求11所述的方法，其中視頻指紋流具有每個場小于約200字節(jié)的數(shù)據(jù)速率。
13.如權(quán)利要求8所述的方法，其中所述內(nèi)容包括視頻幀的視頻流，并且其中實質(zhì)上針對所述視頻流中的每個幀生成指紋。
14.一種用于管理音視頻、音頻或者視頻內(nèi)容的裝置，包括: 指紋處理器，其被配置為在指紋處理器生成器處通過通信網(wǎng)絡(luò)接收指紋流，所述指紋流在與所述指紋處理器物理上分離的指紋生成器中通過不可逆的數(shù)據(jù)簡化過程從特定的音視頻、音頻或者視頻內(nèi)容流中的各自的時間區(qū)域中推導(dǎo)出；所述指紋處理器包括: 窗口單元，其被配置為接收所述指紋流并且應(yīng)用時間窗口 ； 出現(xiàn)頻率直方圖單元，其被配置為推導(dǎo)每個時間窗口中的特定指紋值的出現(xiàn)頻率； 統(tǒng)計矩單元，其被配置為推導(dǎo)所述出現(xiàn)頻率的統(tǒng)計矩；以及 分類機，其被配置為根據(jù)所述統(tǒng)計矩來生成表示所述音視頻、音頻或者視頻內(nèi)容的類型的元數(shù)據(jù)。
15.如權(quán)利要求14所述的裝置，還包括熵單元，所述熵單元被配置為推導(dǎo)出現(xiàn)頻率的直方圖的熵值，并且其中所述分類機被配置為額外地根據(jù)所述熵值來生成表示所述音視頻、音頻或者視頻內(nèi)容的類型的所述元數(shù)據(jù)。
16.一種非暫時性的計算機程序產(chǎn)品，其適用于引起可編程裝置實施如權(quán)利要求1所述的方法。
【專利摘要】本發(fā)明涉及用于管理音視頻、音頻或視頻內(nèi)容的方法和裝置。為了管理音視頻內(nèi)容，在指紋生成器中推導(dǎo)指紋流并且在與指紋生成器物理上分離的指紋處理器處接收指紋流。通過以下過程來生成元數(shù)據(jù)：處理指紋以檢測音頻指紋的低值的持續(xù)出現(xiàn)，從而生成指示無聲的元數(shù)據(jù)；比較時間上相繼的指紋值之間的差異模式與電影節(jié)奏的預(yù)期模式以生成指示電影節(jié)奏的元數(shù)據(jù)；以及比較時間上相繼的指紋值之間的差異與閾值以生成指示靜止圖像或停幀的元數(shù)據(jù)。
【IPC分類】H04N21-435, H04N21-442
【公開號】CN104853244
【申請?zhí)枴緾N201510082228
【發(fā)明人】喬納森·迪金斯
【申請人】斯耐爾有限公司
【公開日】2015年8月19日
【申請日】2015年2月15日
【公告號】EP2908269A2, US20150237341