具有漸進(jìn)動(dòng)態(tài)性的自動(dòng)化視頻循環(huán)的制作方法
【專利說(shuō)明】具有漸進(jìn)動(dòng)態(tài)性的自動(dòng)化視頻循環(huán) WW] 背景
[0002] 視覺(jué)圖像通?？杀环诸惓伸o態(tài)圖像（例如，照片、繪畫(huà)，等等）或動(dòng)態(tài)圖像（例如， 視頻、動(dòng)畫(huà)，等等）。靜態(tài)圖像捕捉單個(gè)時(shí)刻。例如，靜態(tài)照片通常通過(guò)其空間和時(shí)間邊界之 外（例如，相框外且在拍攝照片之前和之后的時(shí)刻）所暗示的事物來(lái)得到其能力。通常，觀 看者的想象可W填充靜態(tài)圖像（例如，空間上和/或時(shí)間上）遺漏的事物。相反，視頻丟失 該能力中的一些；然而，由于是動(dòng)態(tài)的，視頻可提供貫穿時(shí)間的展開(kāi)的時(shí)間敘述。
[0003] 不同類型的短視頻可W從輸入視頻中創(chuàng)建。短視頻的示例包括微動(dòng)攝影 (Cinemagraph)和動(dòng)態(tài)圖（cliplet)，它們選擇性地凍結(jié)、播放、并循環(huán)各視頻區(qū)域W實(shí)現(xiàn) 引人注意的效果。循環(huán)元素與靜止背景的反差可幫助抓住觀看者的注意力。例如，微動(dòng)攝 影通?？山M合靜態(tài)場(chǎng)景與微小的重復(fù)移動(dòng)（例如，小束頭發(fā)在風(fēng)中飛舞）；因而，一些運(yùn)動(dòng) 和敘述可在微動(dòng)攝影中被捕捉。在微動(dòng)攝影中，動(dòng)態(tài)元素通常在一系列帖中循環(huán)。
[0004] 各種技術(shù)常規(guī)上被用來(lái)創(chuàng)建視頻循環(huán)。例如，一些方法通過(guò)定位各對(duì)相似視頻帖 W創(chuàng)建稀疏轉(zhuǎn)移圖來(lái)定義視頻紋理。對(duì)運(yùn)一圖的隨機(jī)遍歷可生成非重復(fù)性視頻；然而，對(duì)于 具有許多獨(dú)立地移動(dòng)的元素的場(chǎng)景而言，在采用運(yùn)樣的技術(shù)時(shí)，找出兼容帖可能是困難的。 用于創(chuàng)建視頻循環(huán)的其他傳統(tǒng)方法使用馬爾科夫隨機(jī)場(chǎng)（MR巧模型來(lái)合成視頻。運(yùn)樣的 方法可在空間和/或時(shí)間上連貫地合并視頻片段偏移，并使用二元圖切來(lái)確定最優(yōu)合并場(chǎng) 景。引入約束可允許創(chuàng)建具有指定全局周期的視頻循環(huán)。其他常規(guī)技術(shù)嘗試根據(jù)平搖視頻 序列來(lái)創(chuàng)建全景視頻紋理。因此，用戶可W選擇靜態(tài)背景層圖像且可繪制掩膜來(lái)標(biāo)識(shí)動(dòng)態(tài) 區(qū)域。對(duì)于每一區(qū)域，自然周期性可被自動(dòng)確定。隨后，可使用3D網(wǎng)格上的多標(biāo)記圖切來(lái) 求解3DMRF模型。還有其他技術(shù)嘗試通過(guò)在空間-時(shí)間體中混合重疊視頻來(lái)創(chuàng)建全景立 體視頻紋理。 陽(yáng)0化]已經(jīng)開(kāi)發(fā)了用于交互式創(chuàng)作微動(dòng)攝影的各方法。例如，視頻中的運(yùn)動(dòng)區(qū)域可被自 動(dòng)隔離。此外，用戶可W選擇哪些區(qū)域來(lái)作出循環(huán)W及選擇哪些參考帖來(lái)用于每一區(qū)域。循 環(huán)可通過(guò)找出匹配帖或區(qū)域來(lái)實(shí)現(xiàn)。用于創(chuàng)建微動(dòng)攝影的一些常規(guī)技術(shù)可選擇性地穩(wěn)定視 頻中的運(yùn)動(dòng)。因此，用戶可草擬不同類型的筆劃W指示各區(qū)域是靜態(tài)的、固定的、或完全動(dòng) 態(tài)的，其中各筆劃可使用光流跨各視頻帖來(lái)傳播。視頻還可被進(jìn)一步變形W用于穩(wěn)定化，且 3DMRF問(wèn)題可被求解W將視頻與靜態(tài)內(nèi)容無(wú)縫地合并。其他最近技術(shù)提供一組慣用語(yǔ)（例 如，靜態(tài)、播放、循環(huán)W及鏡面循環(huán)）W允許用戶組合來(lái)自源視頻的若干時(shí)空片段。運(yùn)些片 段可被穩(wěn)定化且合成在一起W強(qiáng)調(diào)場(chǎng)景元素或形成敘述。

【發(fā)明內(nèi)容】

[0006]本文描述了設(shè)及生成視頻循環(huán)的各種技術(shù)。輸入視頻可被接收，其中輸入視頻包 括一定時(shí)間范圍上的像素處的值。優(yōu)化可被執(zhí)行W確定來(lái)自輸入視頻中的各像素的每一像 素的、在輸入視頻的時(shí)間范圍內(nèi)的相應(yīng)輸入時(shí)間區(qū)間。特定像素的相應(yīng)輸入時(shí)間區(qū)間可包 括來(lái)自輸入視頻的時(shí)間范圍內(nèi)的特定像素處的循環(huán)的每像素循環(huán)周期和每像素開(kāi)始時(shí)間。 根據(jù)一示例，兩階段優(yōu)化算法可被用來(lái)確定相應(yīng)輸入時(shí)間區(qū)間?；蛘?，作為另一示例，單階 段優(yōu)化算法可被用來(lái)確定相應(yīng)輸入時(shí)間區(qū)間。此外，輸出視頻可基于輸入視頻中的各像素 的相應(yīng)輸入時(shí)間區(qū)間上各像素處的值來(lái)被創(chuàng)建。
[0007] 根據(jù)各實(shí)施例，輸入視頻的漸進(jìn)視頻循環(huán)系列可基于優(yōu)化來(lái)被創(chuàng)建，其中漸進(jìn)視 頻循環(huán)系列可W將輸入視頻中各像素的分割（例如，嵌套分割、不同類型的分割，等等）編 碼成獨(dú)立循環(huán)的空間區(qū)域。漸進(jìn)視頻循環(huán)系列可包括具有不同動(dòng)態(tài)水平的視頻循環(huán)，范圍 從靜態(tài)圖像到具有最大動(dòng)態(tài)水平的動(dòng)畫(huà)化循環(huán)。根據(jù)各實(shí)施例，輸入視頻可被重新映射W 形成經(jīng)壓縮的輸入視頻。經(jīng)壓縮的輸入視頻可包括輸入視頻的一部分。輸入視頻的該部分 例如可W是由漸進(jìn)視頻循環(huán)系列中具有最大動(dòng)態(tài)水平的循環(huán)所訪問(wèn)的部分。
[000引根據(jù)各實(shí)施例，可W接收針對(duì)輸出視頻的動(dòng)態(tài)水平的選擇。此外，輸出視頻可W基 于來(lái)自輸入視頻的值和對(duì)輸出視頻的動(dòng)態(tài)水平的選擇來(lái)被創(chuàng)建。輸出視頻中的動(dòng)態(tài)水平可 W基于該選擇通過(guò)使得輸出視頻的各空間區(qū)域相應(yīng)地是靜態(tài)或循環(huán)的來(lái)被控制。此外，輸 出視頻可被呈現(xiàn)在設(shè)備的顯示屏上。
[0009] W上概述呈現(xiàn)了簡(jiǎn)化概述，W提供對(duì)本文討論的系統(tǒng)和/或方法的一些方面的基 本理解。本概述并不是對(duì)此處所討論的系統(tǒng)和/或方法的全面綜述。并不旨在標(biāo)識(shí)關(guān)鍵/ 重要元素，也不描繪運(yùn)樣的系統(tǒng)和/或方法的范圍。其唯一目的是W簡(jiǎn)化形式呈現(xiàn)一些概 念，作為稍后呈現(xiàn)的更詳細(xì)說(shuō)明的序言。
[0010] 附圖簡(jiǎn)述
[0011] 圖1示出根據(jù)輸入視頻生成視頻循環(huán)的示例性系統(tǒng)的功能框圖。 陽(yáng)01引圖2示出示例性輸入視頻V(X，t)和對(duì)應(yīng)的示例性輸出視頻L(X，t)。
[0013] 圖3示出從輸入視頻到輸出視頻的示例性時(shí)間映射。
[0014] 圖4示出使用兩階段優(yōu)化算法根據(jù)輸入視頻生成視頻循環(huán)的示例性系統(tǒng)的功能 框圖。
[0015] 圖5示出根據(jù)輸入視頻生成漸進(jìn)視頻循環(huán)系列的示例性系統(tǒng)的功能框圖。
[0016] 圖6示出由圖5的系統(tǒng)生成的漸進(jìn)視頻循環(huán)系列的示例性循環(huán)。
[0017] 圖7示出由圖5的系統(tǒng)實(shí)現(xiàn)的漸進(jìn)視頻循環(huán)系列的構(gòu)造的示例性圖形表示。
[0018] 圖8示出控制輸出視頻的呈現(xiàn)的示例性系統(tǒng)的功能框圖。
[0019] 圖9示出壓縮輸入視頻的示例性系統(tǒng)的功能框圖。 陽(yáng)020] 圖10示出示例性輸入視頻和示例性經(jīng)壓縮的輸入視頻。
[0021] 圖11是示出用于生成視頻循環(huán)的示例性方法的流程圖。
[0022] 圖12是示出用于壓縮輸入視頻的示例性方法的流程圖。
[0023] 圖13是示出用于在設(shè)備的顯示屏上顯示輸出視頻的示例性方法的流程圖。
[0024] 圖14示出了示例性計(jì)算設(shè)備。 陽(yáng)〇2引詳細(xì)描述
[00%] 現(xiàn)在參考附圖描述設(shè)及根據(jù)輸入視頻生成具有不同動(dòng)態(tài)水平的一系列視頻循環(huán) 的各種技術(shù)，其中該系列視頻循環(huán)范圍從靜態(tài)圖像到具有最大動(dòng)態(tài)水平的動(dòng)畫(huà)化的循環(huán)， 全部附圖中使用相同的參考標(biāo)號(hào)來(lái)引用相同的元素。在W下描述中，為解釋起見(jiàn)，闡明了眾 多具體細(xì)節(jié)W提供對(duì)一個(gè)或多個(gè)方面的全面理解。然而，顯然運(yùn)（些）方面可W在沒(méi)有運(yùn)些 具體細(xì)節(jié)的情況下實(shí)施。在其他實(shí)例中，W框圖形式示出公知的結(jié)構(gòu)和設(shè)備W便于描述一 個(gè)或多個(gè)方面。另外，要理解，被描述為由特定系統(tǒng)組件執(zhí)行的功能性可由多個(gè)組件執(zhí)行。 類似地，例如，一組件可被配置成執(zhí)行被描述為由多個(gè)組件實(shí)現(xiàn)的功能。
[0027] 此外，術(shù)語(yǔ)"或"意指包括性"或"而非排斥性"或"。目P，除非另有指定或從上下文 顯而易見(jiàn)，否則短語(yǔ)"X采用A或B"意指任何自然的包括性排列。旨P，短語(yǔ)"X采用A或B" 藉由W下實(shí)例中任何實(shí)例得到滿足：X采用A;X采用B;或X采用A和B兩者。另外，本申 請(qǐng)和所附權(quán)利要求書(shū)中所使用的冠詞"一"和"某"一般應(yīng)當(dāng)被解釋成表示"一個(gè)或多個(gè)"， 除非另外聲明或者可從上下文中清楚看出是指單數(shù)形式。
[0028] 如本文闡明的，捕捉具有不同動(dòng)態(tài)水平的一系列循環(huán)視頻的表示可根據(jù)輸入視頻 來(lái)被創(chuàng)建。該表示在本文中被稱為漸進(jìn)視頻循環(huán)系列。漸進(jìn)視頻循環(huán)系列中的各視頻循環(huán) 的范圍從靜態(tài)循環(huán)到具有最大動(dòng)態(tài)水平的動(dòng)畫(huà)化的循環(huán)。漸進(jìn)視頻循環(huán)系列中的靜態(tài)循環(huán) 與具有最大動(dòng)態(tài)水平的循環(huán)之間的中間循環(huán)具有在靜態(tài)循環(huán)與具有最大動(dòng)態(tài)水平的循環(huán) 之間的動(dòng)態(tài)水平。在根據(jù)輸入視頻和漸進(jìn)視頻循環(huán)系列來(lái)創(chuàng)建輸出視頻時(shí)，場(chǎng)景活潑的所 需量可（例如，使用滑塊、通過(guò)空間區(qū)域的局部選擇，等等）被交互式地調(diào)整。如本文所述 地創(chuàng)建的輸出視頻可被用于各種應(yīng)用，如用于背景圖像或幻燈片放映，其中活動(dòng)的水平可 依賴于個(gè)人品味或情緒。此外，該表示可W將場(chǎng)景分割成各個(gè)獨(dú)立地循環(huán)的空間區(qū)域，從而 允許對(duì)動(dòng)態(tài)性進(jìn)行交互式局部調(diào)整。對(duì)于風(fēng)景場(chǎng)景，例如，運(yùn)一控制可與草動(dòng)、水紋W及樹(shù) 搖的選擇性動(dòng)畫(huà)和解除動(dòng)畫(huà)相對(duì)應(yīng)。輸入視頻可通過(guò)采用優(yōu)化而被轉(zhuǎn)換成循環(huán)內(nèi)容，其中 輸入視頻的每一像素的每像素循環(huán)周期可被動(dòng)態(tài)地確定。此外，輸入視頻的每一像素的每 像素開(kāi)始時(shí)間可通過(guò)執(zhí)行優(yōu)化來(lái)被自動(dòng)確定（例如，該優(yōu)化可同時(shí)針對(duì)每像素循環(huán)周期和 輸入視頻的每一像素的每像素開(kāi)始時(shí)間來(lái)求解）。此外，靜態(tài)和動(dòng)態(tài)場(chǎng)景區(qū)域的所得的分割 可被緊湊地編碼。
[0029] 現(xiàn)在參考附圖，圖1示出了根據(jù)輸入視頻102生成視頻循環(huán)的系統(tǒng)100。系統(tǒng)100 包括接收輸入視頻102的接收組件104,其中輸入視頻102包括一定時(shí)間范圍內(nèi)各像素處的 值。輸入視頻102可被表示為=維（3D)體V(X，t)，具有二維（2D)像素位置X和帖時(shí)間t。 2D像素位置X在本文中也被稱為像素X。
[0030] 系統(tǒng)100根據(jù)輸入視頻102自動(dòng)形成循環(huán)內(nèi)容。輸入視頻102中包括的場(chǎng)景中的 某些運(yùn)動(dòng)可被呈現(xiàn)在輸出視頻112中。構(gòu)想了運(yùn)樣的運(yùn)動(dòng)可W是隨機(jī)或半隨機(jī)的，諸如例 如搖動(dòng)的小草、搖擺的樹(shù)枝、起鏈満的水坑、W及閃電。場(chǎng)景中的運(yùn)些移動(dòng)元素通常具有不 同循環(huán)周期；相應(yīng)地，系統(tǒng)100可自動(dòng)標(biāo)識(shí)輸入視頻102的每一像素的相應(yīng)每像素循環(huán)周期 W及輸入視頻102的每一像素的相應(yīng)每像素開(kāi)始時(shí)間。在給定像素處，每像素循環(huán)周期與 每像素開(kāi)始時(shí)間的組合可W定義輸入視頻102中的輸入時(shí)間區(qū)間。輸入時(shí)間區(qū)間的長(zhǎng)度是 每像素循環(huán)周期，且輸入時(shí)間區(qū)間的第一帖是每像素開(kāi)始時(shí)間。此外，構(gòu)想了輸入視頻102 中的一些移動(dòng)對(duì)象在輸出視頻112中可W是靜態(tài)的（例如，凍結(jié)）。
[0031] 用于形成循環(huán)的常規(guī)技術(shù)通常依賴于用戶標(biāo)識(shí)場(chǎng)景的循環(huán)的各空間區(qū)域W及用 戶指定所標(biāo)識(shí)的空間區(qū)域中的每一者的循環(huán)周期。運(yùn)樣的常規(guī)技術(shù)通常還依賴于用戶標(biāo)識(shí) 場(chǎng)景的靜態(tài)的各空間區(qū)域。與傳統(tǒng)方法形成對(duì)比，系統(tǒng)100將視頻循環(huán)創(chuàng)建制定為優(yōu)化，其 中可為輸入視頻102的每一像素確定每像素循環(huán)周期。此外，構(gòu)想了輸入視頻102的各像 素中的一者或多者的每像素循環(huán)周期可W是統(tǒng)一的，由此像素變成靜態(tài)的。由此，優(yōu)化可將 場(chǎng)景自動(dòng)分割成具有自然的發(fā)生周期的各區(qū)域W及靜態(tài)的區(qū)域。
[0032] 此外，循環(huán)內(nèi)容可被參數(shù)化W保留相位相干性，運(yùn)可使得優(yōu)化更易處理。對(duì)于每一 像素，可W存在一個(gè)自由度可供用于對(duì)輸出視頻112中的視頻循環(huán)進(jìn)行時(shí)移（例如，使用每 像素循環(huán)周期和每像素開(kāi)始時(shí)間從輸入視頻102中標(biāo)識(shí)的重復(fù)時(shí)間區(qū)間）。因而，不同延 遲可被引入每一像素，其中給定像素的延遲影響該給定像素在輸出視頻112中何時(shí)開(kāi)始循 環(huán)。運(yùn)些延遲可被設(shè)置W保留相位相干性，運(yùn)可增強(qiáng)空時(shí)一致性。因此，如果兩個(gè)相鄰像素 被指派同一每像素循環(huán)周期且具有帶非零重疊的相應(yīng)輸入時(shí)間區(qū)間，則對(duì)于輸出視頻112 中的運(yùn)兩個(gè)像素，該時(shí)間重疊內(nèi)的像素值可并發(fā)地出現(xiàn)。作為說(shuō)明，如果像素C和像素D具 有共同的每像素循環(huán)周期，且像素C具有比像素D早兩帖的起始帖，則輸出視頻112中在像 素D處的循環(huán)可相對(duì)于像素C處的循環(huán)移位2帖，使得像素C和像素D的內(nèi)容看起來(lái)被同 步。
[0033] 系統(tǒng)100可W例如是允許根據(jù)輸入視頻102產(chǎn)生