用于對視頻進(jìn)行比較的方法和裝置制造方法
【專利摘要】本發(fā)明涉及一種用于把查詢視頻與目標(biāo)視頻進(jìn)行比較的方法，其包括：把查詢視頻的幀和目標(biāo)視頻的幀劃分成塊，并且計算對于每一個塊的平均強(qiáng)度值。對于查詢視頻產(chǎn)生多個查詢時間系列，每一個查詢時間系列表示對于來自查詢視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化。對于目標(biāo)視頻產(chǎn)生多個目標(biāo)時間系列，每一個目標(biāo)時間系列表示對于來自目標(biāo)視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化，所述查詢時間系列和目標(biāo)時間系列被用來確定在查詢視頻與目標(biāo)視頻之間是否存在對準(zhǔn)。
【專利說明】用于對視頻進(jìn)行比較的方法和裝置
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種用于對視頻進(jìn)行比較的方法和裝置。
【背景技術(shù)】
[0002]在例如YouTube、Google Video 和 Yahoo !Video 之類的視頻寄存網(wǎng)站(videohosting website)中，可以由用戶將視頻內(nèi)容上傳到網(wǎng)站上，并且可以通過搜索引擎使得視頻內(nèi)容對于其他人可用。人們相信，當(dāng)前的網(wǎng)絡(luò)視頻搜索引擎基于由用戶輸入的特定文字查詢而提供根據(jù)其相關(guān)性分?jǐn)?shù)排列的搜索結(jié)果列表。用戶于是必須考慮所述結(jié)果以便找到感興趣的一個或多個視頻。
[0003]由于對于用戶來說很容易把視頻上傳到寄存網(wǎng)站、獲得視頻并且在做出一些修改之后再次分發(fā)視頻，因此在視頻搜索結(jié)果中潛在地會有大量復(fù)制或接近復(fù)制的內(nèi)容。基于其總體內(nèi)容和主觀印象，這樣的復(fù)制品將被用戶視為“實質(zhì)上相同”。舉例來說，復(fù)制視頻內(nèi)容可以包括具有完全相同或近似完全相同的內(nèi)容的視頻序列，但是該視頻序列具有不同的文件格式、具有不同的編碼參數(shù)并且/或者具有不同的長度。其他差異可以是光度變化，比如顏色和/或照明改變，以及/或者空間域和/或時間域內(nèi)的微小編輯操作(比如添加或改動字幕、徽標(biāo)和/或邊框)。這些實例的意圖不是窮舉性列表，并且在復(fù)制視頻中還可以出現(xiàn)其他差異類型。
[0004]復(fù)制視頻的激增可能使得用戶找到他或她實際想要的內(nèi)容變得困難或者不方便。作為一個實例，基于來自YouTube、Google Video和Yahoo !Video的采樣查詢，發(fā)現(xiàn)在搜索結(jié)果中平均會列出超過27%的接近復(fù)制視頻，其中受歡迎的視頻是在結(jié)果中被復(fù)制最多的那些視頻。由于搜索結(jié)果中的復(fù)制視頻的高百分比，用戶必須花費(fèi)大量時間對其進(jìn)行篩選以找到其需要的視頻，并且必須反復(fù)觀看其已經(jīng)看過的視頻的相似拷貝。復(fù)制結(jié)果會降低用戶在視頻搜索、獲取 和瀏覽方面的體驗。此外，由于會在網(wǎng)絡(luò)上存儲及傳送復(fù)制視頻數(shù)據(jù)，因此這樣的復(fù)制視頻內(nèi)容會增加網(wǎng)絡(luò)開銷。
[0005]一種視頻拷貝檢測技術(shù)是序列匹配。在序列匹配中，一個具有多幀的時間區(qū)間提供用于比較查詢視頻與目標(biāo)視頻的相似度的基礎(chǔ)。這方面通常涉及從查詢視頻幀和目標(biāo)視頻幀中提取出一個特征序列，其例如可以是基于序數(shù)、運(yùn)動、顏色和形心的特征。隨后對所提取出的特征序列進(jìn)行比較，以便確定視頻之間的相似度距離。舉例來說，在使用序數(shù)簽名的情況下，首先把每一個視頻幀劃分成NlxN2個塊，并且計算每一個塊的平均強(qiáng)度。隨后對于每一幀，根據(jù)其平均強(qiáng)度對各個塊進(jìn)行排列。所述排列順序被視為該幀的序數(shù)度量。把對于一個視頻的序數(shù)度量序列與另一個視頻的序數(shù)度量序列進(jìn)行比較，以便評估其相似度。
[0006]序列匹配使得能夠確定復(fù)制視頻之間的重疊位置的起始處。序列匹配方法適合于識別具有格式修改(比如編碼和幀分辨率改變)以及在空間域和時間域內(nèi)經(jīng)過微小編輯的幾乎完全相同的視頻和視頻拷貝。具體來說，通過使用空間和時間序數(shù)簽名允許檢測由于視頻數(shù)字化/編碼處理(例如顏色、亮度和直方圖均衡化、編碼參數(shù)的改變)和顯示格式轉(zhuǎn)換(例如轉(zhuǎn)換到信箱或郵箱格式)以及部分內(nèi)容的修改(例如裁邊和放大)而引入的視頻失真。[0007]特別在使用序數(shù)度量時，序列匹配技術(shù)涉及相對簡單的計算并且提供對于一幀的精簡表示。序列匹配往往在計算上高效，并且可以實施實時計算以用于處理直播視頻。舉例來說，對于一幀的2x2劃分的序數(shù)度量僅僅需要4個維度來表示每一幀，從而在兩幀之間所需的比較點更少。
[0008]但是在幀序列發(fā)生改變的情況下，比如插入、刪除或替換幀，基于序列匹配的現(xiàn)有技術(shù)無法檢測復(fù)制視頻剪輯。幀序列的改變由用戶編輯引入，或者由視頻寄存網(wǎng)站引入，以便例如在視頻中插入廣告。由于不可能事先假設(shè)用戶修改的類型，因此缺乏檢測幀序列改變的能力會限制序列匹配技術(shù)對于真實生活問題的適用性。
[0009]用于檢測具有幀序列改動(比如插入、刪除或替換幀)的復(fù)制視頻的現(xiàn)有解決方案是基于關(guān)鍵幀匹配技術(shù)。
[0010]關(guān)鍵幀匹配技術(shù)通常把視頻分割成用以表示視頻的一系列關(guān)鍵幀。每一個關(guān)鍵幀隨后被劃分成各個區(qū)段，并且從顯著的局部區(qū)段中提取出特征。所述特征例如可以是對應(yīng)于每一個區(qū)段的顏色、紋理、角落或形狀特征。關(guān)鍵幀匹配能夠檢測出經(jīng)過了很大程度的編輯(比如幀的時間順序改變或者插入/刪除)的近似拷貝。但是由于在關(guān)鍵幀中僅存在太多局部特征，因此識別出關(guān)鍵幀、從每一個關(guān)鍵幀中提取出局部特征并且在其間實施量度距離比較以便把一個視頻剪輯與數(shù)據(jù)庫中的大量視頻相匹配的做法的計算成本昂貴。
[0011]近來的研究針對提高關(guān)鍵幀匹配速度的方法，這是通過對特征矢量進(jìn)行快速索引或者通過使用統(tǒng)計信息來減少特征矢量的維度。但是對于在線分析來說，把視頻分割成關(guān)鍵幀的成本以及從查詢視頻中提取出局部特征的成本仍然都不可避免。在Web2.0視頻寄存環(huán)境中提供在線實時視頻復(fù)制檢測成為一項嚴(yán)峻挑戰(zhàn)。關(guān)鍵幀匹配方法更加適合于離線視頻冗余檢測，其中進(jìn)行細(xì)粒度分析以對數(shù)據(jù)庫視頻進(jìn)行聚集和分類。

【發(fā)明內(nèi)容】

[0012]根據(jù)本發(fā)明的第一方面，一種用于把查詢視頻與目標(biāo)視頻進(jìn)行比較的方法包括:把查詢視頻的幀和目標(biāo)視頻的幀劃分成塊，并且計算對于每一個塊的平均強(qiáng)度值。對于查詢視頻產(chǎn)生多個查詢時間系列，每一個查詢時間系列表示對應(yīng)于來自查詢視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化。對于目標(biāo)視頻產(chǎn)生多個目標(biāo)時間系列，每一個目標(biāo)時間系列表示對于來自目標(biāo)視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化。查詢時間系列和目標(biāo)時間系列被用來確定在查詢視頻與目標(biāo)視頻之間是否存在對準(zhǔn)。通過使用本發(fā)明，可以產(chǎn)生能夠比較其相似度的時間系列。復(fù)制視頻在其對應(yīng)的時間系列中表現(xiàn)出相似度，這可以被用來識別出它們是有關(guān)聯(lián)的。根據(jù)本發(fā)明的一種方法通過減小兩個視頻之間的比較空間而給出了高效的視頻復(fù)制檢測。
[0013]一個實施例包括把查詢時間系列和目標(biāo)時間系列分割成對應(yīng)的離散線性分段集合，并且對這些線性分段施行局部序列對準(zhǔn)。線性分割允許把平均視頻強(qiáng)度壓縮成線性上升/下降(incline/decline)的離散列表,其隨后可以被比較對準(zhǔn)。
[0014]在復(fù)制視頻中，重疊的視頻區(qū)段通常不會跨越視頻序列的整個長度，并且可以隔離出相似的區(qū)段。因此需要線性分段的局部對準(zhǔn)。在生物信息學(xué)中，Smith-Waterman算法是用于確定兩個核苷酸或蛋白質(zhì)序列之間的相似區(qū)段的眾所周知的算法。Smith-Waterman算法對所有可能長度的串分段進(jìn)行比較，并且優(yōu)化相似度度量。本發(fā)明的發(fā)明人認(rèn)識到，可以擴(kuò)展Smith-Waterman算法以便對視頻強(qiáng)度分段施行局部對準(zhǔn)。取代對串進(jìn)行比較，對強(qiáng)度線性分段進(jìn)行比較以便找到視頻之間的局部最優(yōu)對準(zhǔn)。
[0015]Smith-Waterman算法是用以提供優(yōu)化搜索的動態(tài)編程算法。其對時間和存儲器資源的要求相當(dāng)高:計算復(fù)雜度是O (MN)，存儲是O (min (M，N))，其中M和N是所比較的序列的長度。
[0016]為了加速搜索過程，取代對準(zhǔn)所有強(qiáng)度分段，在一個實施例中，將一個主要上升/下降序列選擇為所比較的視頻的關(guān)鍵簽名的表示。在施行更加耗時的Smith-Waterman算法之前，應(yīng)用試探法來提供這些主要上升/主要下降的快速對準(zhǔn)，這是通過去除不太可能得到成功對準(zhǔn)的對準(zhǔn)而實現(xiàn)的。這樣就降低了計算成本。通過濾除非常不同的視頻并且通過收窄對于相似視頻的潛在匹配區(qū)段，所述試探法加速了匹配算法的執(zhí)行。
[0017]在應(yīng)用視頻復(fù)制檢測技術(shù)之前不可能事先知道用戶修改的類型的情況下，根據(jù)本發(fā)明的一個實施例可能是有利的，從而允許使用序列匹配技術(shù)。此外，其保留了使用序列匹配方法的優(yōu)點，即提供高效的檢測。
[0018]利用根據(jù)本發(fā)明的一個實施例來檢測具有幀改變的復(fù)制視頻的做法可以被視頻寄存網(wǎng)站用作一項用戶特征；或者被視頻內(nèi)容提供商使用來跟蹤版稅付費(fèi)以及檢測可能的版權(quán)侵犯；或者被通信“管道”(例如因特網(wǎng)服務(wù)提供商(ISP)、對等(P2P)系統(tǒng)提供商、內(nèi)容分發(fā)網(wǎng)絡(luò)(CDN))使用來減少網(wǎng)絡(luò)通信量并且管理視頻內(nèi)容的存儲。其可以幫助視頻寄存網(wǎng)站移除或聚集接近復(fù)制的視頻，以便為用戶提供搜索、獲取和瀏覽服務(wù)。其還可以通過找到例如具有高質(zhì)量(HD)或3D的相似視頻來促進(jìn)基于視頻內(nèi)容的搜索。
[0019]可以把已有的視頻復(fù)制系統(tǒng)修改成包括根據(jù)本發(fā)明的一個實施例，以便增強(qiáng)應(yīng)對例如幀插入、刪除或替換之類的用戶修改的能力。
[0020]根據(jù)本發(fā)明的第二方面，一種設(shè)備被編程或配置成施行根據(jù)第一方面的方法。
[0021]根據(jù)本發(fā)明的第三方面，提供一種數(shù)據(jù)存儲介質(zhì)來存儲用于施行根據(jù)第一方面的方法的機(jī)器可執(zhí)行程序。
【專利附圖】

【附圖說明】
[0022]下面將參照附圖僅僅以舉例的方式描述本發(fā)明的一些實施例，其中:
[0023]圖1示意性地示出了將被比較的視頻以及比較處理中的一個階段；
[0024]圖2示意性地示出了根據(jù)本發(fā)明的一種方法；
[0025]圖3示意性地示出了對于一個塊的隨時間的強(qiáng)度改變；
[0026]圖4示意性地示出了線性分割；
[0027]圖5示意性地示出了對于所比較的視頻的強(qiáng)度改變；
[0028]圖6示意性地示出了用在圖2的方法中的矩陣；
[0029]圖7示意性地示出了用在圖2的方法中的匹配的步驟；
[0030]圖8示意性地示出了用在圖2的方法中的匹配的步驟；以及
[0031]圖9示意性地示出了根據(jù)本發(fā)明的一種裝置。
【具體實施方式】
[0032]參照圖1，將把包括多幀的查詢視頻I與一個或更多目標(biāo)視頻進(jìn)行比較，以便確定其是否是復(fù)制品。
[0033]參照圖2，在2處把查詢視頻I中的每一幀劃分成NlxN2個塊。在3處計算對于每一個塊的平均強(qiáng)度值。通過對每一幀進(jìn)行劃分，劃分后的各個子區(qū)域中的強(qiáng)度改變的變化得以保留。對于每一個塊，在4處關(guān)于幀號繪制所計算的平均強(qiáng)度值的曲線圖，從而產(chǎn)生查詢時間系列。在該實施例中，所有塊都被處理，從而提供與視頻I相關(guān)聯(lián)的NlxN2個時間系列。在另一個實施例中，僅僅涉及所選塊，從而導(dǎo)致產(chǎn)生少于NlxN2個時間系列。
[0034]為了進(jìn)行比較，圖1中示出的目標(biāo)視頻5是基于查詢視頻1，但是已經(jīng)通過直方圖均衡化、增加亮度和邊框以及幀刪除而被修改。當(dāng)按照與前面描述的相同方式處理目標(biāo)視頻5時，獲得在6處示出的目標(biāo)時間系列?？梢钥吹剑瑢τ趤碜阅繕?biāo)視頻5的塊的強(qiáng)度改變的形式總體上與視頻I相似。舉例來說，在對于4處的查詢時間系列的幀號806處，對于一個塊的平均強(qiáng)度增大并且同時另一個塊的平均強(qiáng)度減小，從而二者交叉。在對應(yīng)于6處的目標(biāo)時間系列的幀739處可以看到相似的交叉。
[0035]圖2中的7處的下一個步驟是通過使用逐段線性分割技術(shù)來捕獲由查詢和目標(biāo)時間系列中的時間改變提供的信息。通過對時間系列進(jìn)行分割，視頻被壓縮并且視頻強(qiáng)度的時間改變中的大部分實質(zhì)信息被捕獲。由于用戶修改、視頻失真和格式轉(zhuǎn)換，人們將不會預(yù)期在視頻復(fù)制檢測中找到精確的匹配，并且忽略時間強(qiáng)度的微小改變會使得視頻復(fù)制檢測處理對于噪聲相對較不敏感。
[0036]圖3a示出了對于例如在圖1中的4或6處示出的一個時間系列的一部分的平均強(qiáng)度變化。圖3b示出了在應(yīng)用了線性分割之后的圖1a中所示的時間系列的該部分。
[0037]使用自底向上算法來對時間系列進(jìn)行分割。自底向上方法是時間系列中的一種眾所周知的近似算法。其從最精細(xì)的可能近似開始迭代地合并分段，直到滿足停止標(biāo)準(zhǔn)為止。在這種情況下，使用線性內(nèi)插而不是線性回歸來找到近似線，這是因為能夠以低計算復(fù)雜度在恒定時間內(nèi)獲得線性內(nèi)插。利用殘差來評估對于一個潛在分段的擬合質(zhì)量。通過取得最佳擬合線與實際數(shù)據(jù)點之間的所有垂直差、求其平方并且隨后將其相加在一起來計算殘差。
[0038]在另一個實施例中，通過把提取出的主要最大值和主要最小值點用作極值點的內(nèi)插方法實現(xiàn)對于時間系列的快速線性分割。圖4a示出了利用最大值和最小值點的線性近似。但是本發(fā)明的發(fā)明人認(rèn)識到，僅僅依賴于這些點會排除例如在8處示出的跳躍點。跳躍點對應(yīng)于很短時間距離內(nèi)的迅速數(shù)值改變(例如向上或向下跳躍)。對于視頻塊系列的強(qiáng)度曲線來說，這些跳躍通常表明由于硬切或者漸入/漸出而導(dǎo)致的鏡頭邊界。因此在該實施例中，線性分割技術(shù)被擴(kuò)展成也包括跳躍點，從而使得用在線性分割方法中的極值點有最大值點、最小值點和跳躍點，正如圖4b中所示出的那樣。
[0039]在對時間系列進(jìn)行線性分割之后，時間系列中的主要上升/下降在9處被選擇為提供重要視頻簽名。這樣允許減小用于對準(zhǔn)線性分段的搜索空間。
[0040]具有更長距離和更深高度的線性分段通常表示場景中的顯著改變。因此其被選擇為主要上升。匹配的連續(xù)主要上升表明視頻拷貝利用相同的主要場景改變序列，遵循相似的行為。與此相對，具有較深高度但是長度非常短的線性分段通常與鏡頭邊界相關(guān)聯(lián)，比如硬切或漸變。這樣的線性分段所包含的信息常常少于表示場景內(nèi)的改變的那些線性分段。如果來自所有已劃分塊的線性分段在相同的鏡頭距離內(nèi)具有同時發(fā)生的較深高度(即相同的起始幀ID)，則可以確定鏡頭邊界。在選擇主要上升的處理中忽略表示鏡頭邊界的那些線性分段。
[0041]在12處，如圖5中所示的那樣對查詢視頻和目標(biāo)視頻的主要上升/下降進(jìn)行比較，以便找到具有可能導(dǎo)致成功對準(zhǔn)的連續(xù)匹配的上升/下降的近似對準(zhǔn)。參照圖6，生成一個Ml乘M2矩陣，其中Ml和M2是所比較的主要上升/下降序列的長度。如果i和j處的兩個主要上升/下降匹配，則把“I”值放置在矩陣(i，j)中。為了檢查線性分段SJi1,...，jj與分段S2[i2，j2]之間的相似度，我們不僅考慮分段的高度和長度，而且還考慮包含在兩個分段中的視頻幀的相似度。更精確地說，如果滿足以下條件，則兩個分段是相似的:
[0042].
【權(quán)利要求】
1.一種用于把查詢視頻與目標(biāo)視頻進(jìn)行比較的方法，其包括: 把查詢視頻的幀和目標(biāo)視頻的幀劃分成塊； 計算對于每一個塊的平均強(qiáng)度值； 對于查詢視頻產(chǎn)生多個查詢時間系列，每一個查詢時間系列表示對于來自查詢視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化； 對于目標(biāo)視頻產(chǎn)生多個目標(biāo)時間系列，每一個目標(biāo)時間系列表示對于來自目標(biāo)視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化；以及 利用查詢時間系列和目標(biāo)時間系列來確定在查詢視頻與目標(biāo)視頻之間是否存在對準(zhǔn)。
2.如權(quán)利要求1所述的方法，其包括:把查詢時間系列和目標(biāo)時間系列分割成對應(yīng)的離散線性分段集合；以及對這些線性分段施行局部序列對準(zhǔn)。
3.如權(quán)利要求2所述的方法，其包括:從已分割時間系列中選擇主要上升和主要下降，并且使用主要上升和主要下降來施行對準(zhǔn)。
4.如權(quán)利要求3所述的方法，其中，所選擇的主要上升和主要下降排除跳躍上升和跳躍下降。
5.如權(quán)利要求2所述的方法，其中，把查詢視頻的主要上升和下降與目標(biāo)視頻的主要上升和主要下降進(jìn)行比較，以便獲得具有連續(xù)匹配的上升和下降的近似對準(zhǔn)。
6.如權(quán)利要求5所述的方法，其包括:把主要上升/主要下降的查詢視頻序列與主要上升/主要下降的目標(biāo)視頻序列相匹`配`。
7.如權(quán)利要求6所述的方法，其中，創(chuàng)建一個利用相對于主要上升/主要下降的目標(biāo)視頻序列繪制主要上升/主要下降的查詢視頻序列的具有單元的矩陣，以實施所述匹配；以及當(dāng)存在匹配時，在所述矩陣的適當(dāng)單元中添加標(biāo)記。
8.如權(quán)利要求7所述的方法，其中，在對準(zhǔn)主要上升/主要下降之后，把所述主要上升/主要下降擴(kuò)展到鄰近的非主要上升/非主要下降。
9.如權(quán)利要求8所述的方法，其包括:識別出具有標(biāo)記的連續(xù)單元的對角線，并且保留其長度大于給定閾值的那些對角線以進(jìn)行附加的對準(zhǔn)處理。
10.如權(quán)利要求9所述的方法，其包括:選擇K條最長的對角線，并且嘗試把包括在所述K條最長的對角線中的位置接近的分段聯(lián)合起來從而形成更長的分段。
11.如權(quán)利要求10所述的方法，其包括:為匹配的對角線授予獎勵分?jǐn)?shù)并且為更長線中的間隙授予懲罰分?jǐn)?shù)，當(dāng)已鏈接近似對準(zhǔn)的組合分?jǐn)?shù)超出給定分?jǐn)?shù)閾值時，檢查是否可以把已鏈接分段周圍的先前忽略的初始較短的對準(zhǔn)分段聯(lián)合起來從而形成近似對準(zhǔn)，并且選擇具有超出最終分?jǐn)?shù)閾值的最終分?jǐn)?shù)的局部近似對準(zhǔn)以供進(jìn)一步檢查。
12.如權(quán)利要求3所述的方法，其包括:獲得分段的近似對準(zhǔn)以便選擇可能的成功對準(zhǔn)集合，并且隨后對所選集合應(yīng)用Smith-Waterman算法。
13.如權(quán)利要求12所述的方法，其包括:對于未被包括在所選集合中的近似對準(zhǔn)分段施行幀層級的對準(zhǔn)。
14.如權(quán)利要求1所述的方法，其包括:當(dāng)確定查詢視頻不是目標(biāo)視頻的復(fù)制品時，把查詢視頻存儲在保存目標(biāo)視頻的視頻數(shù)據(jù)庫中。
15.一種設(shè)備，其被編程或配置成施行包括以下步驟的方法: 把查詢視頻的幀和目標(biāo)視頻的幀劃分成塊；計算對于每一個塊的平均強(qiáng)度值； 對于查詢視頻產(chǎn)生多個查詢時間系列，每一個查詢時間系列表示對于來自查詢視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化； 對于目標(biāo)視頻產(chǎn)生多個目標(biāo)時間系列，每一個目標(biāo)時間系列表示對于來自目標(biāo)視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化；以及 利用查詢時間系列和目標(biāo)時間系列來確定在查詢視頻與目標(biāo)視頻之間是否存在對準(zhǔn)。
16.如權(quán)利要求15所述的設(shè)備，其被編程或配置成施行包括以下步驟的方法:把查詢時間系列和目標(biāo)時間系列分割成對應(yīng)的離散線性分段集合；以及對這些線性分段施行局部序列對準(zhǔn)。
17.如權(quán)利要求16所述的設(shè)備，其被編程或配置成從已分割時間系列中選擇主要上升和主要下降，并且使用主要上升和主要下降來施行對準(zhǔn)。
18.如權(quán)利要求17所述的設(shè)備，其中，所選擇的主要上升和主要下降排除跳躍分段。
19.如權(quán)利要求15所述的設(shè)備，其被編程或配置成把查詢視頻的主要上升和下降與目標(biāo)視頻的主要上升和主要下降進(jìn)行比較，以便獲得具有連續(xù)匹配的上升和下降的近似對準(zhǔn)。
20.如權(quán)利要求19所述的設(shè)備，其被編程或配置成把主要上升/主要下降的查詢視頻序列與主要上升/主要下降的目標(biāo)視頻序列相匹配。
21.如權(quán)利要求20 所述的設(shè)備，其被編程或配置成通過以下步驟施行匹配:創(chuàng)建利用相對于主要上升/主要下降的目標(biāo)視頻序列繪制主要上升/主要下降的查詢視頻序列的具有單元的矩陣；以及當(dāng)存在匹配時，在所述矩陣的適當(dāng)單元中添加標(biāo)記。
22.如權(quán)利要求21所述的設(shè)備，其被編程或配置成在對準(zhǔn)主要上升/主要下降之后把所述主要上升/主要下降擴(kuò)展到鄰近的非主要上升/非主要下降。
23.如權(quán)利要求22所述的設(shè)備，其被編程或配置成識別出具有標(biāo)記的連續(xù)單元的對角線，并且保留其長度大于給定閾值的那些對角線以進(jìn)行附加的對準(zhǔn)處理。
24.如權(quán)利要求23所述的設(shè)備，其被編程或配置成選擇K條最長的對角線，并且嘗試把包括在所述K條最長的對角線中的位置接近的分段聯(lián)合起來從而形成更長的分段。
25.如權(quán)利要求24所述的設(shè)備，其被編程或配置成為匹配的對角線授予獎勵分?jǐn)?shù)并且為更長線中的間隙授予懲罰分?jǐn)?shù)，并且當(dāng)已鏈接近似對準(zhǔn)的組合分?jǐn)?shù)超出給定分?jǐn)?shù)閾值時，檢查是否可以把已鏈接分段周圍的先前忽略的初始較短的對準(zhǔn)分段聯(lián)合起來從而形成近似對準(zhǔn)，并且選擇具有超出最終分?jǐn)?shù)閾值的最終分?jǐn)?shù)的局部近似對準(zhǔn)以供進(jìn)一步檢查。
26.如權(quán)利要求16所述的設(shè)備，其被編程或配置成獲得分段的近似對準(zhǔn)以便選擇可能的成功對準(zhǔn)集合，并且隨后對所選集合應(yīng)用Smith-Waterman算法。
27.如權(quán)利要求26所述的設(shè)備，其被編程或配置成對于未被包括在所選集合中的近似對準(zhǔn)分段施行幀層級的對準(zhǔn)。
28.如權(quán)利要求16所述的設(shè)備，其被編程或配置成在確定查詢視頻不是目標(biāo)視頻的復(fù)制品時把查詢視頻存儲在保存目標(biāo)視頻的視頻數(shù)據(jù)庫中。
29.一種存儲機(jī)器可執(zhí)行程序的數(shù)據(jù)存儲介質(zhì)，所述機(jī)器可執(zhí)行程序用于施行包括以下步驟的視頻內(nèi)容管理方法: 把查詢視頻的幀和目標(biāo)視頻的幀劃分成塊；計算對于每一個塊的平均強(qiáng)度值； 對于查詢視頻產(chǎn)生多個查詢時間系列，每一個查詢時間系列表示對于來自查詢視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化； 對于目標(biāo)視頻產(chǎn)生多個目標(biāo)時間系列，每一個目標(biāo)時間系列表示對于來自目標(biāo)視頻的不同幀中的相同位置的塊的平均強(qiáng)度值的時間變化；以及 利用查詢時間系列和目標(biāo)時間系列來確定在查詢視頻與目標(biāo)視頻之間是否存在對準(zhǔn)。
【文檔編號】G06F17/30GK103430175SQ201280011854
【公開日】2013年12月4日 申請日期:2012年1月4日 優(yōu)先權(quán)日:2011年1月7日
【發(fā)明者】Y·任, F·常, T·L·伍德 申請人:阿爾卡特朗訊公司