專利名稱：相同事件的視頻和靜態(tài)畫面基于該視頻的全局運動矢量的合并的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在視頻序列內(nèi)并入靜態(tài)照片的方法。本發(fā)明還涉及用于在視頻序列內(nèi)并入靜態(tài)照片的設(shè)備和計算機程序產(chǎn)品。
背景技術(shù)：
在當(dāng)今，越來越多的人利用具有視頻和照片捕獲的數(shù)字設(shè)備來捕獲其體驗的視聽回憶。用于視聽回憶記錄的技術(shù)越來越廣泛流傳并且高效?，F(xiàn)今，找到具有記錄短視頻序列的能力的照相機或者具有內(nèi)嵌的高分辨率的照相和攝像機的移動電話的確是常見的。由于這些數(shù)字設(shè)備的可用性如此普遍，因此事實上大多用戶習(xí)慣于記錄對于相同事件的照片和視頻回憶，或者習(xí)慣于從在該事件中也在場的一個或多個其它的人那里接收所述照片和視頻回憶。因此，用戶具有涉及相同場合、地點和時間的視頻和照片素材是很常見的。為了幫助用戶編輯和管理其個人的視聽回憶，已經(jīng)提出了許多構(gòu)思和系統(tǒng)，例如， 用于自動視頻編輯和半自動家用視頻編輯的系統(tǒng)。存儲設(shè)備日益增長的容量允許用戶拍攝大量的照片，并不加以任何選擇地存儲這些照片。結(jié)合適當(dāng)可視工具的缺乏，這種非常多的數(shù)據(jù)量可能導(dǎo)致用戶很少觀看其記錄的回憶。通過在視頻內(nèi)添加一些照片，照片集也可用來豐富視頻。通過提取給定照片的順序子部分，可以人工地生成一些小的視頻剪輯，并將其包括在視頻中?；驹O(shè)想是通過在視頻流內(nèi)添加一些與內(nèi)容有關(guān)的照片，作為結(jié)果的視頻相比于考慮單個視頻源將會向用戶提供多得多的信息。來自Muvee Technologies的Muvee Reveal AutoProducer是允許將照片插入視頻內(nèi)的商業(yè)軟件包的示例。照片利用一些虛擬相機動作而制成動畫。構(gòu)思在于， 通過這么做，看照片對于用戶而言可變?yōu)楦佑淇斓捏w驗。盡管用戶具有涉及相同事件的視頻和照片素材是很常見的，但是進行了很少的嘗試來聯(lián)合地利用這種信息，同時尚沒有執(zhí)行已知的嘗試用以根據(jù)媒體美學(xué)原則混合這兩種數(shù)據(jù)源。因而，將視頻和靜態(tài)照片加以組合的替換方法將會是有益的，并且尤其是照片和視頻的組合由于在視覺上更加吸引人的體驗而提供了增強的用戶體驗的方法將會是有益的。

發(fā)明內(nèi)容
據(jù)此，本發(fā)明優(yōu)選地試圖單獨地或者以任何組合的方式減輕、緩解或消除以上提到的缺點中的一個或多個。具體地，可以把提供改善靜態(tài)照片和視頻之間的過渡的可視外觀的方法看作為本發(fā)明的目的。通過提供將靜態(tài)照片并入在視頻序列內(nèi)的方法，在本發(fā)明的第一方面中獲得了此目的以及若干其它的目的，所述方法包含以下步驟-獲得視頻序列和靜態(tài)照片， -創(chuàng)建合成的視頻序列，
其中，創(chuàng)建合成的視頻序列的步驟包括以下步驟
-在視頻序列中要包括靜態(tài)照片的插入位置上估計視頻序列中攝像機動作， -創(chuàng)建靜態(tài)照片的子幀的虛擬視頻序列，所述虛擬視頻序列具有虛擬相機動作，虛擬視頻序列的所述虛擬相機動作與所述插入位置上的所述攝像機動作相關(guān)，并且 -將視頻序列和虛擬視頻序列組合為合成的視頻序列。通過創(chuàng)建具有與視頻內(nèi)的插入點處的攝像機動作相關(guān)的虛擬相機動作的靜態(tài)照片的子幀的虛擬視頻序列，可以獲得從視頻到照片的無縫過渡。僅將靜態(tài)圖像添加在視頻流中將會干擾視覺的連續(xù)性。通過僅添加任何虛擬相機動作以使照片制成動畫將會產(chǎn)生不自然和奇怪的效果。通過使虛擬相機動作與攝像機動作相關(guān)，在不創(chuàng)建任何干擾的視覺或可聽的效果的情況下，以無縫和連續(xù)的方式將照片混和在視頻流中。術(shù)語“相關(guān)”意在與“相關(guān)聯(lián)”或“有關(guān)”同義，而術(shù)語“虛擬相機動作與攝像機動作相關(guān)”意在表示在虛擬相機動作的確定期間考慮攝像機動作，以及在某種程度上使得虛擬相機動作符合攝像機動作。一個示例是使得虛擬相機動作與攝像機動作類似或相同。術(shù)語“虛擬視頻序列”意在表示靜態(tài)照片的子幀的序列，每個子幀重新調(diào)整 (rescale)至視頻序列內(nèi)的圖像的尺寸，而子幀的序列可能一起表示動作中的場景?！疤摂M相機動作”是與例如通過修剪和/或重新調(diào)整而從照片的部分獲得的幀的序列中的模擬相機動作相對應(yīng)的虛擬視頻序列中的視覺效果。虛擬相機動作的幀表示為“子幀”或“靜態(tài)照片的子幀”。由此，術(shù)語“子幀”意在表示靜態(tài)照片的連續(xù)的子部分；對應(yīng)于對于子幀的放大，子幀通常被內(nèi)插直至靜態(tài)照片的像素尺寸。術(shù)語“插入位置”意在表示視頻序列的幀的范圍內(nèi)的位置，即，適時的位置。由此，該術(shù)語與靜態(tài)照片在視頻序列的單個幀內(nèi)的插入部分無關(guān)。為了使得虛擬相機動作的效果清晰可見，可以假設(shè)視頻和動畫照片之間的硬剪切 (hard cut)。然而，為了更平滑地進行過渡，可以應(yīng)用漸變或漸隱的過渡。根據(jù)所述方法的一方面，虛擬視頻序列開始處的虛擬相機動作與插入位置之前的視頻序列中的所估計出的相機動作相關(guān)。因此，實現(xiàn)了從視頻序列到靜態(tài)照片的子幀的虛擬視頻序列的平滑過渡。另外地或可替代地，虛擬視頻序列結(jié)束處的虛擬相機動作與所述插入位置后面的視頻序列中的所估計出的相機動作相關(guān)。因此，實現(xiàn)了從靜態(tài)照片的子幀的虛擬視頻序列到視頻序列的平滑過渡。根據(jù)所述方法的另一方面，此方法還包含確定所述插入位置的步驟。插入位置的這種確定可以基于同步，例如，基于與靜態(tài)照片和視頻序列一起存儲的時間戳信息?？梢杂欣卮_定插入位置，以使得在靠近于拍攝靜態(tài)照片的時刻的時間點上記錄的視頻段之間插入靜態(tài)照片。插入位置也可以基于在視頻序列和靜態(tài)照片上識別出的類似對象，如，在視頻序列和靜態(tài)照片兩者上出現(xiàn)的旅游勝地。根據(jù)所述方法的又一方面，所述確定包含將所述視頻序列分段為視頻段，并將視頻序列中的所述插入位置確定為兩個視頻段之間的位置。視頻序列至視頻段的分段可以是視頻序列至相關(guān)視頻幀的段的分割，其中，不同段涉及不同場景、相機角度、時刻或其它。由此，對應(yīng)于靜態(tài)照片的虛擬視頻序列的插入不會在視頻序列內(nèi)創(chuàng)建額外的斷開(breakup)，這是由于將虛擬視頻序列插入在原始視頻序列內(nèi)的現(xiàn)有斷開的位置中。根據(jù)所述方法的又一方面，在創(chuàng)建所述虛擬視頻序列的步驟中，考慮照片的一個或多個特定的感興趣區(qū)域。因此，虛擬視頻序列例如可包含靜態(tài)照片內(nèi)尤其感興趣的部分的放大。攝像機動作的估計可包含估計搖拍(pan)、傾斜(tilt)和/或縮放(zoom)。然而，也可以考慮其它的相機動作參數(shù)。根據(jù)所述方法的另一方面，也可以包含為虛擬視頻序列選擇靜態(tài)照片的子幀，其中對于要應(yīng)用于子幀的縮放因子，靜態(tài)照片的子幀都沒有超出靜態(tài)照片的邊界。這種子幀的選擇可以包含針對靜態(tài)照片的多個子幀確定和應(yīng)用不同的縮放因子。該不同的縮放因子是在靜態(tài)照片的縮小否則將導(dǎo)致超出靜態(tài)照片的邊界的情形下可以添加至縮放因子的輔助縮放因子。本發(fā)明還涉及一種用于在視頻序列內(nèi)并入靜態(tài)照片的設(shè)備。最后，本發(fā)明還涉及一種計算機程序產(chǎn)品，適配為使得計算機系統(tǒng)能夠控制根據(jù)本發(fā)明的設(shè)備，所述計算機系統(tǒng)包含至少一個計算機，其具有與其相關(guān)聯(lián)的數(shù)據(jù)存儲裝置。本發(fā)明的這個方面是特別地但是非排他地有利的，因為本發(fā)明可以通過使得計算機系統(tǒng)能夠執(zhí)行本發(fā)明的方法的計算機程序產(chǎn)品來實現(xiàn)。因此，預(yù)想，諸如攝像機設(shè)備之類的一些已知設(shè)備可以被改變以通過在控制該設(shè)備的計算機系統(tǒng)上安裝計算機程序產(chǎn)品來根據(jù)本發(fā)明操作。這樣的計算機程序產(chǎn)品可以提供在任何種類的計算機可讀介質(zhì)上，例如基于磁性或光學(xué)的介質(zhì)上，或者通過基于計算機的網(wǎng)絡(luò)(例如，因特網(wǎng))來提供。本發(fā)明的不同方面中每個可以與其他方面的任一個相組合。根據(jù)在下文中描述的實施例本發(fā)明的這些和其他方面將顯而易見，并且將參照所述實施例進行闡述。


現(xiàn)在將參考附圖，僅通過示例的方式說明本發(fā)明，附圖中圖1是根據(jù)本發(fā)明的方法的流程圖2是根據(jù)本發(fā)明的方法的示例的示意圖； 圖3是在圖2的視頻過渡合成中執(zhí)行的步驟的示例的示意圖； 圖4示出三個相機動作參數(shù)的圖；以及
圖5示出縮放參數(shù)、調(diào)節(jié)的縮放參數(shù)和調(diào)節(jié)后作為結(jié)果的縮放參數(shù)的圖； 圖6指示對于不同縮放值的許可的轉(zhuǎn)變值。
具體實施例方式圖1是根據(jù)本發(fā)明的方法10的流程圖。方法10開始于11，并且繼續(xù)至其中獲得視頻序列和靜態(tài)照片的步驟12。該方法繼續(xù)至其中創(chuàng)建合成的視頻序列的步驟13。步驟13包含步驟14-16，其中步驟14包含在視頻序列中要包括靜態(tài)照片的插入位置上估計視頻序列中的攝像機動作。相機動作估計通常包含視頻序列的搖拍、傾斜和縮放參數(shù)。在隨后的步驟15中，創(chuàng)建靜態(tài)照片的子幀的虛擬視頻序列，其中虛擬視頻序列具有虛擬相機動作并且其中虛擬視頻序列的虛擬相機動作與所述插入位置處的攝像機動作相關(guān)。隨后，在步驟16中，將視頻序列和虛擬視頻序列組合為合成的視頻序列。該方法結(jié)束于步驟17。圖2是根據(jù)本發(fā)明的方法100的示例的示意圖。在方法100中，輸入由原始視頻20 與來自照片集21的多個靜態(tài)照片組成。在22中，估計原始視頻中的相機動作。可以通過估計相機動作參數(shù)搖拍、傾斜和縮放來估計相機動作。然而，另外也可以估計下列的相機動作參數(shù)轉(zhuǎn)動、跟蹤、測視(booming)和遠攝(dolling)。Akio Nagasaka，Takafumi Miyatake 的文獻"Real-time video mosaics using Luminance-Projection Correlation，，，IEICE Transactions on Information and Systems, Pt. 2 ( El 文片反)，vol. J82-D-2 ；no. 10 ； page. 1572-1580 (1999)描述了可以如何估計出相機動作參數(shù)的示例。方框22產(chǎn)生一組估計出的動作參數(shù)25，其隨后被利用以便合成視頻和照片之間的相干過渡(coherent transition)。在方框23中，估計視頻中圖像的其它低級別特征，使得產(chǎn)生一組估計出的低級別特征26。這種低級別特征可包含以下之一或多個邊緣檢測、邊角檢測、斑點檢測、脊線檢測、縮放不變(scale-invariant)特征變換。隨后在視頻分段、概略化過程期間以及在確定用于視頻過渡合成的開始和結(jié)束參數(shù)的過程中可以使用這組估計出的低級別特征26。在方框觀中，在把原始視頻20分為一組視頻段四的分段過程中，使用該組估計出的動作參數(shù)25和該組估計出的低級別特征26。在方框M中，例如通過利用時間戳信息執(zhí)行原始視頻20和照片集21之間的時間同步。然而，可以使用其它適當(dāng)?shù)耐椒椒ǎ缦馸ichiro Takeuchi，Masanori Sugimoto 的‘‘Video Summarization using Personal Photo Libraries，，,Proceedings of the 8th ACM international workshop on Multimedia Information Retrieval, October 2006 或者 Aya Aner-ffolf, Lior Wolf 的“Video de-Abstraction or how to save money on your wedding video，，，Proceedings of the 6th IEEE Workshop on Applications of Computer Vision, 2002中描述的那些。同步過程M的結(jié)果是同步的視頻和照片集27。在方框30中，執(zhí)行其中選擇適合于形成視頻概略的視頻段的概略化過程。對于概略的視頻段的適合性例如可以由段的低級別特征以及該段中同步的多個照片加以確定。過程30的結(jié)果是視頻照片組成段集31。在方框32中，合成視頻和照片之間的過渡。過程32使用所估計出的動作參數(shù)35、 來自照片集21或來自同步的照片集27的照片、來自原始視頻20或來自視頻照片組成段集 31的視頻部分、以及關(guān)于把照片插入在視頻內(nèi)的時間點的信息。此外，過程32可以考慮照片的一個或多個感興趣的區(qū)域。關(guān)于圖3更詳細地描述過程32。過程32的結(jié)果是一組過渡段33，用于方框34中的可選后續(xù)重新編碼過程。在此重新編碼過程34中，視頻流被重新編碼，以便提供合成的視頻序列35，其可包括利用來自照片集21的(一個或多個)照片以及原始視頻和插入的(一個或多個)照片之間的過渡而被豐富的原始視頻20的部分。如所提到的，重新編碼過程是可選的，這是由于可以設(shè)想在呈現(xiàn)序列的同時實時地執(zhí)行所有的操作?？商娲兀梢砸圆シ帕斜?、多媒體演示描述或代碼的形式存儲為了獲得最終視頻所必須應(yīng)用的轉(zhuǎn)換和過渡的描述。在呈現(xiàn)期間，適當(dāng)?shù)牟シ牌骺砂才庞糜诮忉屧撁枋觯⑶以谶\行中創(chuàng)建最終序列。可使用的語言和播放器的示例是Macromedia Flash (專有)和SMIL (標(biāo)準(zhǔn))。
圖3是在圖2的視頻過渡合成32中執(zhí)行的步驟的示例的示意圖。視頻合成32涉及任何過渡，即，兩個靜態(tài)照片之間的過渡、從靜態(tài)照片到視頻段的過渡、或從視頻段到靜態(tài)照片的過渡。在步驟40中，進行確定過渡是否是從照片到照片的過渡的步驟。在肯定時， 方法前進至其中執(zhí)行兩個靜態(tài)照片之間的漸變效果的步驟50，并且該方法隨后結(jié)束。在否定時，方法繼續(xù)至步驟41，在步驟41中，確定過渡是否是淡出過渡，即，從視頻段到照片的過渡，可能伴隨著視頻段和照片之間的漸變效果。結(jié)合可選的步驟46描述這種漸變效果。 在其中確定過渡不是淡出過渡的情況下，該方法繼續(xù)至步驟42，在步驟42中，作為圖2中方法100的步驟22的結(jié)果而在方框25中獲得的估計出的動作參數(shù)被重新安排。既不是從一個靜態(tài)照片到另一個靜態(tài)照片的過渡又不是從視頻段到靜態(tài)照片的過渡的過渡必定是從靜態(tài)照片到視頻段的過渡，并且這種過渡可以通過鏡像(mirror)所估計出的動作參數(shù)并且將該過渡視為從視頻段到靜態(tài)照片的過渡來應(yīng)對。方法從方框42繼續(xù)至43 ；在方框41中的結(jié)果是肯定的情況下，方法也從方框41繼續(xù)至方框43。在方框43中，計算對于子幀的三個動作參數(shù)曲線。這三個動作參數(shù)(即，搖拍、傾斜、縮放)需要對應(yīng)于所檢測的照片周圍的視頻段的動作。如關(guān)于圖2所提到的，虛擬相機動作還可取決于照片的感興趣區(qū)域(圖中未示出)。結(jié)合圖4描述方框43的可能實施方案。在圖4中，示出了動作參數(shù)搖拍、傾斜和縮放的圖的示例。沿著X軸的點表示按照時間順序的視頻的幀。因此，幀a先于幀b等。圖4 示出其中圖4的曲線圖中從點a到b的動作值的可自定義區(qū)間對于視頻幀相同的示例。隨后，從點b到c應(yīng)用線性下降的幀的可自定義區(qū)間，并且在稍后的部分中，從點c到d，與其中照片保持靜態(tài)的情形對應(yīng)地將值設(shè)置為0。因此，圖4的示例對應(yīng)于其中對于視頻幀的所估計出的動作參數(shù)在開始時跟隨(follow)，平滑地減緩并最終停止的情形?？梢允褂孟铝泄?，通過數(shù)據(jù)的區(qū)間[a，b]中的值的加權(quán)平均來執(zhí)行對于每一曲線的b點上的圖表值的計算，其中，χ表示動作參數(shù)(搖拍、傾斜或縮放)，η等于b-a+1:
K再次參照圖3，該方法繼續(xù)至方框44，在方框44中，確定要向所估計出的動作參數(shù) zoom (縮放)添加的另外的縮放因子。計算該另外的縮放因子以便確保要包括在虛擬視頻序列中的子幀都沒有超出它對于其而言為一部分的靜態(tài)照片的邊界。例如，在將高縮放因子應(yīng)用于靠近于靜態(tài)照片的邊界的子幀并且開始進行縮小的情況下，可能出現(xiàn)其中對于放大后子幀的所有部分的充足信息并不存在的情形。為了避免可能導(dǎo)致在子照片幀中出現(xiàn)的不想要的黑長條的這種情形，使用用于從動作參數(shù)選取適當(dāng)?shù)淖诱掌瑤乃惴ā榱撕铣勺诱掌瑤惴ㄐ枰鼈兠恳粋€的中心和尺寸。下列公式適用于其中動作的線性下降之后是整個照片的靜態(tài)拍攝的先前情況。
權(quán)利要求
1.一種在視頻序列內(nèi)并入靜態(tài)照片的方法(10 ；100)，該方法包含以下步驟 -獲得(12;20，21)視頻序列和靜態(tài)照片，-創(chuàng)建(13 ；32)合成的視頻序列，其中，創(chuàng)建(13 ；32)合成的視頻序列的步驟包括以下步驟-在視頻序列中要包括靜態(tài)照片的插入位置上估計(14 ；22)視頻序列中的攝像機動作，-創(chuàng)建(15 ；32)靜態(tài)照片的子幀的虛擬視頻序列，所述虛擬視頻序列具有虛擬相機動作，虛擬視頻序列的所述虛擬相機動作與所述插入位置上的所述攝像機動作相關(guān)，并且 -將視頻序列和虛擬視頻序列組合(16 ；34)為合成的視頻序列。
2.如權(quán)利要求1所述的方法(10；100)，其中，虛擬視頻序列開始處的所述虛擬相機動作與所述插入位置之前的視頻序列中的所估計出的相機動作相關(guān)。
3.如權(quán)利要求1或2所述的方法(10；100)，其中，虛擬視頻序列結(jié)束處的所述虛擬相機動作與所述插入位置后面的視頻序列中的所估計出的相機動作相關(guān)。
4.如權(quán)利要求1所述的方法(10；100)，進一步包含確定(30)所述插入位置的步驟。
5.如權(quán)利要求4所述的方法(10；100)，其中，所述確定包含將所述視頻序列分段 (28)為視頻段，并將視頻序列中的所述插入位置確定為兩個視頻段之間的位置。
6.如權(quán)利要求4或5所述的方法(10；100)，其中，所述確定包括同步(24)照片和視頻段。
7.如權(quán)利要求1所述的方法(10；100)，其中，在創(chuàng)建所述虛擬視頻序列的步驟中，考慮照片的一個或多個特定的感興趣區(qū)域。
8.如權(quán)利要求1所述的方法(10；100)，其中，攝像機動作的估計包含估計搖拍、傾斜和/或縮放。
9.如權(quán)利要求8所述的方法(10；100)，進一步包含以下步驟-為虛擬視頻序列選擇靜態(tài)照片的子幀，其中對于要應(yīng)用于子幀的縮放因子，靜態(tài)照片的子幀都沒有超出靜態(tài)照片的邊界。
10.如權(quán)利要求9所述的方法(10;100)，其中，對于靜態(tài)照片的多個子幀，應(yīng)用不同的縮放因子。
11.一種用于在視頻序列內(nèi)并入靜態(tài)照片的設(shè)備，所述設(shè)備包含 -輸入裝置，其用于獲得視頻序列和靜態(tài)照片，-處理裝置，其用于創(chuàng)建合成的視頻序列， 其中，用于創(chuàng)建合成的視頻序列的處理裝置包括-用于在視頻序列中要包括靜態(tài)照片的插入位置上估計視頻序列中的攝像機動作的裝置，-用于創(chuàng)建靜態(tài)照片的子幀的虛擬視頻序列的裝置，所述虛擬視頻序列具有虛擬相機動作，虛擬視頻序列的所述虛擬相機動作與所述插入位置上的所述攝像機動作相關(guān)，以及 -用于將視頻序列和虛擬視頻序列組合為合成的視頻序列的裝置。
12.—種計算機程序產(chǎn)品，適配為使得計算機系統(tǒng)能夠控制如權(quán)利要求1所述的信號處理單元，所述計算機系統(tǒng)包含至少一個計算機，其具有與其相關(guān)聯(lián)的數(shù)據(jù)存儲裝置。
全文摘要
用戶具有涉及相同事件的視頻和照片素材是很常見的。將照片添加至家用視頻豐富了內(nèi)容。然而，僅將靜態(tài)照片添加至視頻序列具有干擾的效果。本發(fā)明涉及通過在視頻中創(chuàng)建與所估計出的相機動作對準(zhǔn)的照片中的虛擬相機動作以將照片以無縫方式并入至視頻的方法。通過在視頻序列中要包括靜態(tài)照片的插入位置上估計視頻序列中的攝像機動作、創(chuàng)建靜態(tài)照片的子幀的虛擬視頻序列，以創(chuàng)建合成的視頻序列，其中所述虛擬視頻序列具有與所述插入位置上的攝像機動作相關(guān)的虛擬相機動作。
文檔編號G06T3/40GK102224545SQ200980146397
公開日2011年10月19日 申請日期2009年11月13日 優(yōu)先權(quán)日2008年11月21日
發(fā)明者F·E·博納里戈, J·韋達, M·E·坎帕內(nèi)拉, M·巴比里 申請人:皇家飛利浦電子股份有限公司