專利名稱：用于同步視頻數(shù)據(jù)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
幾乎每一個(gè)包含多于一個(gè)相同場景的視頻的應(yīng)用都需要記錄的同步?？稍诶?如體育賽事的數(shù)字電視傳輸中發(fā)現(xiàn)這些應(yīng)用。這里，可通過一種被稱為“畫中畫”的格式 來從不同視點(diǎn)同步地觀測感興趣的場景。然而，這些服務(wù)需要復(fù)雜的和校準(zhǔn)的基礎(chǔ)結(jié)構(gòu) (infrastructure)以通過使用外置時(shí)鐘來觸發(fā)照相機(jī)而按時(shí)間地排列視頻流。盡管在專業(yè) 電影制作中對視頻同步的需求與場記板一樣古老，這仍然是電影剪輯的重要參考。因?yàn)閿?shù) 字3D動(dòng)畫的整合，時(shí)間參考獲得越來越多的關(guān)注。直到現(xiàn)在，這些應(yīng)用都是通過說明專門 的專業(yè)領(lǐng)域的復(fù)雜同步硬件來解決的。然而，易于同步的能力不僅意味著專業(yè)電視或電影制作的增強(qiáng)，并且尤其促進(jìn)了 基于新機(jī)構(gòu)的服務(wù)。隨著能夠記錄高質(zhì)量視頻的照相手機(jī)的共享的持續(xù)增加，用戶生成的 內(nèi)容數(shù)量達(dá)到允許用戶尋找任何感興趣位置的媒體的臨界規(guī)模。這里，可通過GPS標(biāo)簽的 幫助來預(yù)過濾查詢。不僅是位置，還有時(shí)間上的查詢允許搜索已由多個(gè)生產(chǎn)消費(fèi)者(在同 一時(shí)間制作和消費(fèi)內(nèi)容的用戶)所記錄的事件。因此，可用媒體豐富的巨大空間可以基于 多個(gè)視頻記錄的可用性，如果他們可被及時(shí)地匹配的話。一個(gè)簡單的例子就是在觀看例如街頭表演、交談或本地體育賽事的特定事件時(shí)的 視點(diǎn)偏移。這還可以包括時(shí)間縫合(stitching)應(yīng)用，其可以從單獨(dú)的位置匹配的鏡頭中 生成電影。這里，多個(gè)記錄器中的一個(gè)的音頻數(shù)據(jù)可與其他生產(chǎn)消費(fèi)者的視頻數(shù)據(jù)相混合， 導(dǎo)致了協(xié)作的場景記錄。此外，通過將計(jì)算機(jī)視覺領(lǐng)域的公知算法擴(kuò)展到視頻處理，冗余視頻信息的可用 性可被用于重構(gòu)三維風(fēng)景，減去背景、前景或創(chuàng)建不同視點(diǎn)的組合。一個(gè)明顯的例子可以是 消除遮擋(occlusions)以促進(jìn)街頭表演的無干擾記錄。然而，使用環(huán)境的三維結(jié)構(gòu)的強(qiáng)大 信息，可以發(fā)展復(fù)雜的擴(kuò)張逼真應(yīng)用。另外，可以在空間域和時(shí)間域內(nèi)生成超分辨率視頻， 其允許平滑的慢動(dòng)作及縮放。然而，視頻序列的同步是所有這些應(yīng)用的先決條件。過去幾年已經(jīng)提出了多種解決視頻同步的問題的方案。一可能的分類公開為 C. Lei和Y. H. Yang.具有子幀優(yōu)化的基于三焦距張量的多視頻同步.IEEE Transactions on Image Processingl5 (9) :24731480, 2006，其對基于特征的，基于強(qiáng)度的和基于照相機(jī) 運(yùn)動(dòng)的算法進(jìn)行區(qū)分。之后的種類包括具有嚴(yán)格聯(lián)系的照相機(jī)的極專業(yè)的場景。當(dāng)然，這 是一種極有限制的假設(shè)?；谔卣鞯姆桨甘峭椒椒ㄖ械淖畲蠓种?。這里，其假設(shè)可在視 頻幀中檢測那些所謂的圖像特征，也就是高區(qū)分性的點(diǎn)或邊緣，并且這些圖像特征可與其 他序列中的相應(yīng)特征相關(guān)聯(lián)?；镜南敕ㄊ遣煌障鄼C(jī)之中的相應(yīng)于相同3D點(diǎn)的幀特征的運(yùn)動(dòng)互相關(guān)聯(lián)。這 類算法的主要缺點(diǎn)在于需要貫穿序列的特征的可靠檢測、匹配和追蹤。這一重要問題還未 得到滿意的解決。最終，基于強(qiáng)度分類的同步算法關(guān)注建立從一個(gè)視頻中的每個(gè)像素到第 二個(gè)視頻中的一個(gè)像素的映射。在某些方案中，不僅估計(jì)兩個(gè)視頻之間的時(shí)間偏移，還估計(jì) 兩個(gè)圖像之間的幾何失真。然而，關(guān)于失真的知識(shí)對于精確的同步來說是必需的，這使得任務(wù)更加復(fù)雜。一般來說，基于強(qiáng)度的方法無法處理運(yùn)動(dòng)照相機(jī)。所有現(xiàn)有方案的共同問題 在于視覺方向的限制。超過30度的不同觀測方向差別通常得不到支持。即使基于硬件的同步系統(tǒng)允許最大穩(wěn)健性和精確度，但因其復(fù)雜性和對基礎(chǔ)結(jié)構(gòu) 的需求，當(dāng)前其不適用于最終用戶設(shè)備。到目前為止，幾乎不會(huì)使用具有時(shí)間戳的媒體內(nèi)容 的標(biāo)簽，其可能基于單獨(dú)的內(nèi)部設(shè)備時(shí)鐘，這些時(shí)鐘可能具有無限制的差異。此外，基于硬 件和時(shí)間戳的方案并不適用于追溯已經(jīng)存在的視頻。在另一方面，即使最新的基于軟件的方案也意味著高的計(jì)算復(fù)雜度。這是因?yàn)檫@ 一事實(shí)基于強(qiáng)度的技術(shù)處理幀像素，并且由此在極高規(guī)模上執(zhí)行算術(shù)操作?；谔卣鞯姆?法提取幀的興趣點(diǎn)以降低維度，則因此計(jì)算時(shí)間反而需要提取時(shí)間?；谡障鄼C(jī)運(yùn)動(dòng)的方 案相對較快；然而，其假設(shè)照相機(jī)的嚴(yán)格的安裝和基線。因此其不適用于上述的應(yīng)用。然而，基于強(qiáng)度和基于特征的算法需要依從特定的假設(shè)。當(dāng)前發(fā)展的一個(gè)主要的 挑戰(zhàn)就是觀測角度的限制?；趶?qiáng)度的方法幾乎無法應(yīng)對相應(yīng)的失真，而基于特征的技術(shù) 可以應(yīng)對典型的高達(dá)30度的角度，盡管其性能相當(dāng)有限。進(jìn)一步的，這兩個(gè)種類采用照相 機(jī)性能的知識(shí)，例如焦點(diǎn)長度，或者至少需要使用相同類型的照相機(jī)。另一個(gè)相當(dāng)重要的挑 戰(zhàn)，特別對于基于強(qiáng)度的方案來說，就是照相機(jī)運(yùn)動(dòng)的限制。然而，用手操作的及輕質(zhì)的照 相機(jī)電話不可避免地導(dǎo)致改變觀察方向，即使增強(qiáng)了圖像穩(wěn)定技術(shù)。因?yàn)榛谔卣鞯乃惴▓?zhí)行興趣點(diǎn)的連續(xù)追蹤，其容易受到紋理改變的影響，例如 在衣服上就是如此。進(jìn)一步的，場景的部分遮擋是對現(xiàn)有特征追蹤器的挑戰(zhàn)。視頻同步是由Stein 倡導(dǎo)的(例如參見 GP Stein, Tracking from multiple view points Self-calibration of space and time, Computer Vision and Pattern Recognition, 1999, IEEE Computer Society Conference，卷 1，1999。),他為所有后繼的 基于特征的方法提供了基礎(chǔ)。從此不同的方案得到了融合。然而，這些所有的方案都利用 了對極幾何(Epipiolar Geometry)的概念，其提供的約束條件可應(yīng)用于同步。在2004年， Tuytelaars等人發(fā)表了基于特征的算法，其通過檢測光線的距離以非常自然的方式得到時(shí) 間偏移(例如參見 T. Tytelaar 禾口 L. Va Gool, Synchronizing video sequence, Computer Vision and Pattern Recognition,2004, CVPR 2004， Proceeding of the 2004 IEEE Computer Society Conference on,卷 1)。依賴于特征的方案也被稱為軌跡至軌跡對準(zhǔn)(trajectory-to-trajectory alignment)，與其相反，基于強(qiáng)度的方案有時(shí)也被描述為序列至序列對準(zhǔn) (sequence-to-sequence alignment)。 Caspi 等人倉ij造了這個(gè)術(shù)i吾。他^、]關(guān)于時(shí)空對 準(zhǔn)方面的工作成就了該領(lǐng)域的基礎(chǔ)(例如參見Y. Caspi和M. Irani，A step towards sequence-to-sequence alignment, IEEE Conference on Computer Vision and Pattern Recognition, 2000, Proceedings,卷 2,2000)。同樣還有一些基礎(chǔ)的基于強(qiáng)度的算法已被提出。M.Ushizaki，Τ. Okatani以及 K.Deguchi, Video synchronization based on co-occurrence of appearance changes in video sequences, Proceedings of the 18th International Conference on Pattern Recognition-卷 3，第 71-74 頁，IEEE computer Society Washington, DC, USA, 2006 描述 了一個(gè)例子，其中通過簡單的累加從一個(gè)幀到下一幀的強(qiáng)度改變來獲取在視頻中的一般亮 度改變。其給出了隨時(shí)間的“亮度改變簡檔(brightness change profile) ”的分類，其可
5以在相同的整體方向上與其他觀察相同場景的(靜態(tài))照相機(jī)相比較。然而，總而言之，當(dāng)前視頻同步方案需要許多假設(shè)，給基于視頻數(shù)據(jù)的同步的大多 數(shù)應(yīng)用的大規(guī)模市場使用造成了障礙。

發(fā)明內(nèi)容
根據(jù)一個(gè)實(shí)施例，其提供了一種確定第一視頻序列和第二視頻序列之間的時(shí)間關(guān) 系的方法，所述方法包括從所述第一視頻序列獲得第一參數(shù)，所述第一參數(shù)隨時(shí)間的演變相應(yīng)于所述第一 視頻序列的熵隨時(shí)間的變化；從所述第二視頻序列獲得第二參數(shù)，所述第二參數(shù)隨時(shí)間的演變相應(yīng)于所述第二 視頻序列的熵隨時(shí)間的變化；匹配所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變，其中通過計(jì)算所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變之間的相關(guān) 函數(shù)來執(zhí)行所述第一和所述第二參數(shù)隨時(shí)間的演變的匹配，從而確定所述兩個(gè)視頻序列之 間的時(shí)間關(guān)系。通過這樣的方案，為兩個(gè)視頻序列分別確定了“指紋”，其基于兩個(gè)視頻序列的熵 或熵隨時(shí)間的變化。其代表了或相應(yīng)于編碼視頻序列所必需的信息量，因此其是視頻序列 復(fù)雜度的測度。得到的作為時(shí)間的函數(shù)的參數(shù)相應(yīng)于導(dǎo)出該參數(shù)的視頻序列，接著通過嘗試匹配 作為時(shí)間的函數(shù)的兩個(gè)參數(shù)，可以確定他們的時(shí)間關(guān)系，進(jìn)而確定兩個(gè)視頻序列的時(shí)間關(guān)系。通過這樣的方案，特別的，視頻序列中的對象的移動(dòng)貢獻(xiàn)了熵，此外，他們對熵的 影響一定程度上獨(dú)立于視線，甚至照相機(jī)的運(yùn)動(dòng)。因此，即使從不同角度或使用運(yùn)動(dòng)的照相 機(jī)來拍攝視頻，該方案也能出乎意料的順利工作。由此，根據(jù)一個(gè)實(shí)施例，其使用表示參數(shù)隨時(shí)間的演變的函數(shù)，以及通過計(jì)算兩個(gè) 時(shí)間演變函數(shù)的相關(guān)函數(shù)，來匹配各個(gè)視頻信號(hào)的兩個(gè)相應(yīng)函數(shù)隨時(shí)間的演變。通過這種 方式，可以匹配這兩個(gè)函數(shù)以確定他們的時(shí)間關(guān)系。根據(jù)一個(gè)實(shí)施例，所述第一和所述第二參數(shù)分別是以下的一個(gè)熵、條件熵、塊熵或任何相關(guān)的熵、或從各個(gè)幀的所述第一或所述第二視頻序列或 者所述第一和第二視頻序列的一組幀導(dǎo)出的基于熵的參數(shù)；從編碼或解碼所述第一或第二視頻序列的視頻編解碼器獲得的比特率或幀大小。熵、條件熵或塊熵是對視頻序列的幀組的一個(gè)幀的信息內(nèi)容的直接測度。一個(gè)特別方便的方案是使用視頻編解碼器，這是因?yàn)槠鋲嚎s和運(yùn)動(dòng)估計(jì)能力產(chǎn)生 比特率(或幀大小)直接地相應(yīng)于視頻序列的熵的輸出數(shù)據(jù)流。如果序列復(fù)雜并且具有許 多不同運(yùn)動(dòng)著的對象，則熵增加，從而編碼器產(chǎn)生的比特率(或幀大小)也增加。在另一方 面，靜止的或幾乎靜止的序列具有低的熵和低的比特率。因此，視頻編解碼器的輸出可直接用于獲取與熵相關(guān)的參數(shù)及其隨時(shí)間的演變。 可替代地，從文件讀取的已被編碼的視頻序列可被處理以獲得作為時(shí)間的函數(shù)的比特率， 并且接著使用它來匹配另一個(gè)序列和其比特率。
根據(jù)一個(gè)實(shí)施例，執(zhí)行一種預(yù)處理，其包括以下一個(gè)或多個(gè)獲得用來表示所述第一和第二視頻序列的熵隨時(shí)間的變化的所述參數(shù)的差分 值；應(yīng)用一個(gè)函數(shù)，該函數(shù)將較高權(quán)重分配給較低強(qiáng)度值，將較低權(quán)重分配給較高強(qiáng) 度值；應(yīng)用一個(gè)過濾函數(shù)以執(zhí)行平滑。獲得差分值降低了連續(xù)照相機(jī)運(yùn)動(dòng)的影響，并且增強(qiáng)了實(shí)際場景變化的影響。通過應(yīng)用與較高強(qiáng)度值相比對較低強(qiáng)度值作出更多關(guān)注的函數(shù)，相對于其他隨時(shí) 間發(fā)生的更加逐漸的變化或事件來說，強(qiáng)烈影響熵的單個(gè)事件(例如新人物進(jìn)入場景)的 影響可被降低。通過應(yīng)用過濾函數(shù)，可以執(zhí)行平滑。通過這樣的預(yù)處理，可以增強(qiáng)兩個(gè)視頻序列的熵相關(guān)的參數(shù)的匹配的整體穩(wěn)健 性。根據(jù)一個(gè)實(shí)施例，該方法進(jìn)一步包括執(zhí)行動(dòng)態(tài)時(shí)間扭曲(warping)以執(zhí)行所述第一和所述第二視頻序列之間的非線
性匹配。這使得可以考慮以不同速度拍攝或回放的視頻。根據(jù)一個(gè)實(shí)施例，該方法進(jìn)一步包括減去各個(gè)幀的塊或像素的一個(gè)子集對指示所述第一或第二視頻序列的熵隨時(shí)間 的變化的演變的參數(shù)的貢獻(xiàn)。例如，如果減去了相應(yīng)于幀的邊緣的塊，則可以降低展現(xiàn)圖像邊緣處的新紋理的 照相機(jī)運(yùn)動(dòng)的影響，并且得到的與熵相關(guān)的參數(shù)變得更加依賴場景內(nèi)對象的實(shí)際運(yùn)動(dòng)。同 樣的，可以從與熵相關(guān)的參數(shù)中減去幀的其他塊或像素的貢獻(xiàn)，以進(jìn)一步增強(qiáng)參數(shù)的精確 性和穩(wěn)健性。根據(jù)一個(gè)實(shí)施例，該方法進(jìn)一步包括通過計(jì)算相關(guān)函數(shù)，尤其是互相關(guān)，來執(zhí)行所述第一和所述第二參數(shù)的所述演變 的匹配。這樣，可以輕松便利的確定兩個(gè)序列之間的時(shí)間關(guān)系。根據(jù)一個(gè)實(shí)施例，該方法進(jìn)一步包括在所述第二視頻序列的一定長度的所有可能的選擇上重復(fù)所述第一視頻序列的 第一參數(shù)的相關(guān)，并且采用例如最大相關(guān)值的中值或平均值的組合值作為結(jié)果。這樣，可以進(jìn)一步提高確定最大相關(guān)結(jié)果的穩(wěn)健性。根據(jù)一個(gè)實(shí)施例，其提供了一種用于確定第一視頻序列和第二視頻序列之間的時(shí) 間關(guān)系的設(shè)備，所述設(shè)備包括用于從所述第一視頻序列獲得第一參數(shù)的模塊，所述第一參數(shù)隨時(shí)間的演變相應(yīng) 于所述第一視頻序列的熵隨時(shí)間的變化；用于從所述第二視頻序列獲得第二參數(shù)的模塊，所述第二參數(shù)隨時(shí)間的演變相應(yīng) 于所述第二視頻序列的熵隨時(shí)間的變化；用于匹配所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變的模塊，其中
通過計(jì)算所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變之間的相關(guān) 函數(shù)來執(zhí)行匹配所述第一和所述第二參數(shù)隨時(shí)間的所述演變，從而確定兩個(gè)視頻序列之間 的時(shí)間關(guān)系。這樣，可以實(shí)現(xiàn)用于實(shí)現(xiàn)視頻同步方法的設(shè)備。根據(jù)一個(gè)實(shí)施例，該設(shè)備進(jìn)一步包括一個(gè)或多個(gè)模塊，用于執(zhí)行本發(fā)明任何進(jìn)一步實(shí)施例的方法的步驟。根據(jù)一個(gè)實(shí)施例，其提供了一種包括計(jì)算機(jī)程序碼的計(jì)算機(jī)程序，當(dāng)在計(jì)算機(jī)中 執(zhí)行該計(jì)算機(jī)程序時(shí)，使得所述計(jì)算機(jī)執(zhí)行根據(jù)本發(fā)明一個(gè)實(shí)施例的方法。


圖1示意性地表示一個(gè)場景及其運(yùn)動(dòng)補(bǔ)償。圖2示意性地表示另一個(gè)場景及其運(yùn)動(dòng)補(bǔ)償。圖3示意性地表示本發(fā)明一個(gè)實(shí)施例。圖4示意性地表示使用本發(fā)明一個(gè)實(shí)施例來同步的兩個(gè)場景。圖5示意性地表示圖4的場景的比特率。圖6示意性地表示圖4的場景的相關(guān)結(jié)果。圖7示意性地表示兩個(gè)其他場景的比特率。圖8示意性地表示圖7的場景的相關(guān)結(jié)果。圖9示意性地表示使用本發(fā)明一個(gè)實(shí)施例來同步的兩個(gè)場景。圖10示意性地表示兩個(gè)其他場景的比特率。圖11示意性地表示圖10的場景的相關(guān)結(jié)果。圖12示意性地表示使用本發(fā)明一個(gè)實(shí)施例來同步的兩個(gè)場景。
具體實(shí)施例方式—些目前發(fā)展水平的視頻同步方案試圖重構(gòu)盡可能多的場景信息以仿效人類檢 測兩個(gè)序列的時(shí)間不匹配的方式。然而，本發(fā)明所提出的方案目的在于完全不同的高水平 的指紋，以在時(shí)域內(nèi)對準(zhǔn)視頻。根據(jù)本發(fā)明一個(gè)實(shí)施例，計(jì)算了視頻序列的幀或視頻序列的幀組的熵或與熵相關(guān) 的參數(shù)(或其近似值)。接著該參數(shù)隨時(shí)間演變，因?yàn)榭梢杂?jì)算視頻序列的不同幀或不同幀 組的參數(shù)，并且通過這種方法，其可被認(rèn)為是視頻序列的一種“指紋”。如果有兩個(gè)需要被匹 配或同步的視頻序列，則計(jì)算兩個(gè)視頻序列的參數(shù)而得到兩個(gè)參數(shù)序列，一個(gè)用于第一視 頻序列，一個(gè)用于第二視頻序列。進(jìn)而序列中的單個(gè)參數(shù)可相應(yīng)于視頻序列的其對應(yīng)的單 個(gè)幀或者一個(gè)視頻幀組。接著，可以匹配這兩個(gè)參數(shù)序列，例如，執(zhí)行導(dǎo)致時(shí)間關(guān)系(時(shí)間差異或幀數(shù)量的 差異)的互相關(guān)或任何其他操作，，并通過這種方式，可以確定第一視頻序列需要在時(shí)間上 被偏移多少以匹配第二視頻序列。現(xiàn)在讓我們轉(zhuǎn)向作為與熵相關(guān)的參數(shù)的“參數(shù)”的計(jì)算和確定。在一個(gè)實(shí)施例中， 其可僅僅通過使用熵的公知定義來計(jì)算單個(gè)視頻幀的熵，公式如下
權(quán)利要求
1.一種用于確定第一視頻序列和第二視頻序列之間的時(shí)間關(guān)系的方法，所述方法包括從所述第一視頻序列獲得第一參數(shù)，其中所述第一參數(shù)隨時(shí)間的演變相應(yīng)于所述第一 視頻序列的熵隨時(shí)間的變化；從所述第二視頻序列獲得第二參數(shù)，其中所述第二參數(shù)隨時(shí)間的演變相應(yīng)于所述第二 視頻序列的熵隨時(shí)間的變化；匹配所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變，其中 通過計(jì)算所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變之間的相關(guān)函數(shù) 來匹配所述第一參數(shù)和所述第二參數(shù)隨時(shí)間的演變，從而確定這兩個(gè)視頻序列之間的時(shí)間 關(guān)系。
2.根據(jù)權(quán)利要求1所述的方法，其中所述第一參數(shù)和所述第二參數(shù)分別是以下之一 針對所述第一視頻序列和第二視頻序列的各個(gè)幀或幀組，從所述第一視頻序列或第二視頻序列導(dǎo)出的熵、條件熵、塊熵、任何與熵有關(guān)的參數(shù)、或任何基于熵的參數(shù)；從編碼或解碼所述第一視頻序列或第二視頻序列的視頻編解碼器獲得的比特率或幀 大小。
3.根據(jù)權(quán)利要求1所述的方法，其中還執(zhí)行預(yù)處理，所述預(yù)處理包括以下的一個(gè)或多個(gè)獲得所述參數(shù)的差分值，所述差分值被用來表示所述第一視頻序列和第二視頻序列隨 時(shí)間的熵變化；應(yīng)用對較低強(qiáng)度值賦予較高權(quán)重而對較高強(qiáng)度值賦予較低權(quán)重的函數(shù)； 應(yīng)用濾波函數(shù)以執(zhí)行平滑。
4.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括執(zhí)行動(dòng)態(tài)時(shí)間扭曲來執(zhí)行所述第一視頻序列和所述第二視頻序列之間的非線性匹配。
5.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括減去各個(gè)幀的塊或像素的一個(gè)子集對表示所述第一視頻序列或所述第二視頻序列隨 時(shí)間的熵變化的演變的參數(shù)的貢獻(xiàn)。
6.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括通過計(jì)算互相關(guān)來執(zhí)行所述第一參數(shù)和所述第二參數(shù)的所述演變的匹配。
7.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括重復(fù)所述第一視頻序列的所述第一參數(shù)在所述第二視頻序列的特定長度的所有可能 的選擇上的相關(guān)，并且使用相關(guān)最大值的中值或平均值作為結(jié)果。
8.一種用于確定第一視頻序列和第二視頻序列之間的時(shí)間關(guān)系的設(shè)備，所述設(shè)備包括用于從所述第一視頻序列獲得第一參數(shù)的模塊，其中所述第一參數(shù)隨時(shí)間的演變相應(yīng) 于所述第一視頻序列的熵隨時(shí)間的變化；用于從所述第二視頻序列獲得第二參數(shù)的模塊，其中所述第二參數(shù)隨時(shí)間的演變相應(yīng) 于所述第二視頻序列的熵隨時(shí)間的變化；用于匹配所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變的模塊，其中 通過計(jì)算所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變之間的相關(guān)函數(shù)來匹配所述第一參數(shù)和所述第二參數(shù)隨時(shí)間的演變，從而確定這兩個(gè)視頻序列之間的時(shí)間關(guān)系。
9.根據(jù)權(quán)利要求8所述的設(shè)備，其中所述第一參數(shù)和所述第二參數(shù)分別是以下之一 針對所述第一視頻序列和第二視頻序列的各個(gè)幀或幀組，從所述第一視頻序列或第二視頻序列導(dǎo)出的熵、條件熵、塊熵、任何與熵相關(guān)的參數(shù)或任何基于熵的參數(shù)；從編碼或解碼所述第一視頻序列或第二視頻序列的視頻編解碼器獲得的比特率或幀 大小。
10.根據(jù)權(quán)利要求8所述的設(shè)備，其中還執(zhí)行預(yù)處理，所述預(yù)處理包括以下的一個(gè)或多個(gè)獲得所述參數(shù)的差分值，所述差分值被用來表示所述第一視頻序列和第二視頻序列隨 時(shí)間的熵變化；應(yīng)用對較低強(qiáng)度值賦予較高權(quán)重而對較高強(qiáng)度值賦予較低權(quán)重的函數(shù)； 應(yīng)用濾波函數(shù)以執(zhí)行平滑。
11.根據(jù)權(quán)利要求8所述的設(shè)備，進(jìn)一步包括用于執(zhí)行動(dòng)態(tài)時(shí)間扭曲以執(zhí)行所述第一視頻序列和所述第二視頻序列之間的非線性 匹配的模塊。
12.根據(jù)權(quán)利要求8所述的設(shè)備，進(jìn)一步包括用于減去各個(gè)幀的塊或像素的一個(gè)子集對表示所述第一視頻序列或所述第二視頻序 列隨時(shí)間的熵變化的演變的參數(shù)的貢獻(xiàn)的模塊。
13.根據(jù)權(quán)利要求8所述的設(shè)備，進(jìn)一步包括用于重復(fù)所述第一視頻序列的所述第一參數(shù)在所述第二視頻序列的特定長度的所有 可能的選擇上的相關(guān)，并且使用相關(guān)最大值的中值或平均值作為結(jié)果。
14.一種計(jì)算機(jī)程序，其包括計(jì)算機(jī)程序代碼，當(dāng)在計(jì)算機(jī)上執(zhí)行所述計(jì)算機(jī)程序代碼 時(shí)，使得所述計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1所述的方法。
全文摘要
本發(fā)明涉及用于同步視頻數(shù)據(jù)的方法和設(shè)備。一種用于確定第一視頻序列和第二視頻序列之間的時(shí)間關(guān)系的方法，所述方法包括從所述第一視頻序列獲取第一參數(shù)，所述第一參數(shù)隨時(shí)間的演變相應(yīng)于所述第一視頻序列的熵隨時(shí)間的變化；從所述第二視頻序列獲取第二參數(shù)，所述第二參數(shù)隨時(shí)間的演變相應(yīng)于所述第二視頻序列的熵隨時(shí)間的變化；匹配所述第一參數(shù)隨時(shí)間的演變和所述第二參數(shù)隨時(shí)間的演變，從而確定這兩個(gè)視頻序列之間的時(shí)間關(guān)系。
文檔編號(hào)H04N5/08GK102075668SQ201010608740
公開日2011年5月25日 申請日期2010年11月12日 優(yōu)先權(quán)日2009年11月13日
發(fā)明者E·斯坦貝克, F·舒維格, G·舒羅斯, M·法邁爾, M·艾科霍恩, W·克勒雷爾 申請人:株式會(huì)社Ntt都科摩