專利名稱：交互式視覺特效合成的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于合成(compositing )電影、電視、游戲等的#見覺特 效(VFX, visual effect)的改進系統(tǒng)和方法。
背景技術(shù)：
本章節(jié)旨在向讀者介紹可能與下面描述和/或請求保護的本發(fā)明的各個 方面相關(guān)的現(xiàn)有技術(shù)的各個方面。相信本討論有助于向讀者提供背景信息以 有助于更好地理解本發(fā)明的各個方面。因此，將會理解，這些闡述將在這個 方面進行閱讀，而不是承認為現(xiàn)有技術(shù)。
視覺特效(VFX)合成是以下處理從兩個或更多個輸入圖像源(例如， 計算機生成的圖像或者在線觀看(live on-set)圖像捕捉，不限于此)中生成 最終合成圖像。術(shù)語"合成，，來源于編輯(compose)來自各種源的圖像以便 形成"合成"圖像的動作。目前，VFX合成是電影、電視節(jié)目、視頻游戲等 的連續(xù)創(chuàng)作作業(yè)流程中的單獨的階段。VFX合成的已知方法不能充分利用現(xiàn) 有的作業(yè)流程步驟，例如視效預覽(pre-viz或者簡單可視化)、捕捉和工作樣 片查看(review of dailies )。朝L效預覽(pre-visualization)是以下處理電影 中的場景被渲染(render)超越有關(guān)劇本或情節(jié)串連圖底片(storyboard )的 簡單描述?？梢暬蛘咭曅ьA覽跨越非常大的范圍，從電影的情節(jié)串連圖底 片布景(set)的簡單拍制到劇本的口頭表演，到完全渲染的3維影像，其幾 乎不留下什么需要幻想。該處理提供了用于在"低成本"環(huán)境中設計想法的 試驗臺。它也可被用作比其它方式更明確地表達那些想法的一種方式。視效 預覽在預制作(pre-production)中起到非線性脫機編輯在后期制作中的相同 作用是能夠快速簡單做出關(guān)于表演的創(chuàng)造性決定的時候，而不會因改變您 的想法而支付巨額費用的懲罰。它允許電影制片人經(jīng)歷許多不同的選擇，并 且觀看那些改變將如何影響未來的場景，提供了對整個表演更隨意變化的感 覺。它可以在制作期間通過刪減在處理中早期沒有用的連續(xù)鏡頭(當對它們 沒有花費什么精力時)來節(jié)省大量的時間和金錢。不幸的是，來自這些處理的相關(guān)信息并沒有以系統(tǒng)的且可以再度使用的方式收集來便于有效的VFX 合成。而且，已知VFX合成人員面臨要怎樣和如何在捕捉時將待合成的圖像 或數(shù)據(jù)記錄，而不需要提供關(guān)于布景條件等的反饋。期望一種能夠改善VFX 合成處理的系統(tǒng)和方法。

發(fā)明內(nèi)容
下面闡述了與所公開的實施例的范圍相當?shù)哪承┓矫?。應當理解，這些 方面被呈現(xiàn)來僅僅用于向讀者提供本發(fā)明可能采用的某些形式的簡明概述， 并且這些方面往往不限于本發(fā)明的范圍。實際上，本發(fā)明可以包含下面可能 未闡述的各個方面。
提供了 一種在合成圖像方面有用的系統(tǒng)。該系統(tǒng)包括被適配成制作初始 圖形輸出的視效預覽應用程序。該系統(tǒng)進一步包括視覺特效(VFX)合成器， 其被適配來接收所述初始圖形輸出、輸入數(shù)據(jù)和捕捉圖像，并且基于所述初 始圖形輸出、輸入數(shù)據(jù)和捕捉圖像而制作合成圖像。
還提供了一種合成圖像的方法。示例性方法包括利用視效預覽應用程 序來制作初始圖形輸出；和利用視覺特效(VFX)合成器，使用輸入數(shù)據(jù)將 所述初始圖形輸出和捕捉圖像合成為合成圖像。
另外，提供了另一種方法。所述方法包括執(zhí)行^L效預覽處理來生成初 始圖形輸出。所述方法還包括捕捉一圖像以制作捕捉圖像；和使用輸入數(shù) 據(jù)合成所述初始圖形輸出和所述捕捉圖像以制作合成圖像。


在附圖中
圖1是根據(jù)本發(fā)明的示例性實施例的系統(tǒng)的方框圖2是根據(jù)本發(fā)明的示例性實施例的作業(yè)流程的方框圖；和
圖3是示出根據(jù)本發(fā)明的示例性實施例的處理的處理流程圖。
具體實施例方式
下面將描述本發(fā)明的一個或多個特定實施例。在努力給出這些實施例的 簡要描述中，說明書中沒有描述實際實施的所有特征。應當理解，在任何如 此實際實施的研發(fā)中，如在任何工程或設計項目中，可以做出大量特定實施的決定，以便實現(xiàn)開發(fā)者的特定目的，例如遵循系統(tǒng)相關(guān)以及商業(yè)相關(guān)的約 束，實施之間可能彼此不同。而且，應當理解，這樣的研發(fā)努力可能是復雜 并且耗時的，但是對于受益于本公開的那些普通技術(shù)人員來說決不是日常的 設計、制作和制造的任務。
圖1是根據(jù)本發(fā)明的示例性實施例的系統(tǒng)的方框圖。該圖通常用附圖標
記100來表示。圖1中示出的系統(tǒng)包括視效預覽應用程序102,其被適配來 制作初始圖形輸出104。視效預覽應用程序102可以包括一個或多個軟件模 塊。視效預覽應用程序102可被適配來基于關(guān)于字符位置、照明、布景的初 始數(shù)據(jù)(即，電影或視頻攝影或者磁帶錄音位置、控制、相機位置等)而生 成初始圖形輸出104。
初始圖形輸出104可以包括圖形情節(jié)串連圖底片、動畫情節(jié)串連圖底片 等，并且除了信息以外還可以顯示字符、動作、每個場景的外觀。初始圖形 輸出104可以是打印輸出、計算機文件等的形式。在本發(fā)明的示例性實施例 中，初始圖形輸出104包括初始VFX三維(3D)元素，其可^^用來制作觀 看粗略合成，如下面所闡述的。
圖1中所示的系統(tǒng)也包括VFX合成器106,其被適配來接收來自視效預 覽應用程序102的初始圖形輸出104。 VFX合成器可以包括一個或多個軟件 模塊。VFX合成器106也被適配來接收輸入數(shù)據(jù)108和捕捉圖像110。在圖 1中圖示的示例性實施例中，輸入數(shù)據(jù)108包括元數(shù)據(jù)、或者關(guān)于數(shù)據(jù)的數(shù) 據(jù)。輸入元數(shù)據(jù)108可以涉及寬范圍的制作參數(shù)，包括關(guān)于捕捉圖像、創(chuàng)作 處理中涉及的藝術(shù)家的意向、或者攝影的其它方面(例如相機位置、照明模 型、布景維數(shù)和模型)的數(shù)據(jù)。 一些或全部輸入元數(shù)據(jù)108也可被提供給視 效預覽應用程序102。捕捉圖像110可以是在場景的攝影期間在布景上捕捉 的圖像。VFX合成器106被適配來根據(jù)初始圖形輸出104、輸入元數(shù)據(jù)108、 捕捉圖像110而制作粗略合成圖像112,并且可能將該粗略合成圖像112本身 反饋到視效預覽應用程序。在生成最終合成圖像之前，粗略合成圖像112可 以在布景中被實時用來修飾制作數(shù)據(jù)，例如相機位置、照明設計等。
本領(lǐng)域的普通技術(shù)人員將會理解，本發(fā)明的示例性實施例不僅可用來捕 捉單個圖像，而且可被用來捕捉靜止圖像或運動圖像的序列。藝術(shù)家可以捕 捉布景上的連續(xù)鏡頭(shot)，并且將一個或多個固定或運動VFX元素合成為 該連續(xù)鏡頭的所有圖像。圖2是根據(jù)本發(fā)明的示例性實施例的作業(yè)流程或方法的方框圖。該方框
圖通常用附圖標記200來表示。圖2中表示的示例性方法包括視效預覽處理 202 (Pre-Viz),其可以使用視效預覽應用程序102 (圖1 )來執(zhí)行。視效預覽 處理202可以接收關(guān)于相機結(jié)構(gòu)、照明、布景控制等之類的數(shù)據(jù)。到圖2中 示出的方法的各種處理的數(shù)據(jù)輸入通常稱作元數(shù)據(jù)218,其對應于輸入元數(shù) 據(jù)108 (圖1 )。
圖2中示出的方法中的下一處理是捕捉處理204。捕捉處理204表示以 下動作捕捉將要與視效預覽應用程序102 (圖1 )的初始圖形輸出104 (圖 1 )合成的一個圖像(或者多個靜止圖像或運動圖像)。在捕捉處理204期間， 也可以收集諸如鏡頭數(shù)據(jù)、相機位置(絕對和/或相對)、日期、全球定位系 統(tǒng)(GPS)位置、照明模型數(shù)據(jù)、布景度量數(shù)據(jù)等的元數(shù)據(jù)。
在捕^t足處理204之后，在通過VFX編輯器104 (圖1 )在VFX編輯處理 中進行處理之前，可以在布景工作樣片處理206中預覽得到的圖像。除了輸 入元數(shù)據(jù)108 (圖1)以外，VFX編輯處理可以合并諸如將用于底片的對數(shù) 到線性轉(zhuǎn)換之類的元數(shù)據(jù)，其可以包括捕捉圖像110 (圖1 )的各部分。這是 有用的，因為VFX合成處理通常以線性光發(fā)生，如圖2所示。VFX編輯處 理包括一個或多個合成底片208以及一個或多個VFX 3D元素210。合成底 片208可以包括捕捉圖像110的表示。另外，可以使用先前的捕捉圖像的其 它底片(例如，作為背景底片的山脈風景)。在使用上述輸入元數(shù)據(jù)被VFX 編輯成粗略合成圖像112期間可以組合合成底片(208 )和VFX 3D元素210。 與粗略合成圖像112相關(guān)聯(lián)的元數(shù)據(jù)，例如顯示查找表(LUT)數(shù)據(jù)、密度 空間(日志)數(shù)據(jù)中的輸出，早期的合成信息等，可以由VFX合成器106輸 出并且被收集用于工作樣片或者最終VFX合成，如圖2中所示。粗略合成圖 像112和收集的元數(shù)據(jù)可被用作輸入以便或者在視效預覽處理202或者在捕 捉處理204處(例如，調(diào)節(jié)相機位置或者改變從視效預覽應用程序輸出的圖 像)重新開始圖2中圖示的方法。
在工作樣片查看處理214中可以估算粗略合成圖像112。工作樣片查看 處理214在提供早期的顏色校正方面可以是有幫助的。在工作樣片查看處理 214之后，最終合成圖像處理216得到完成的VFX圖像。
由^L效預覽應用程序102和VFX合成器106使用各種數(shù)據(jù)輸入218、以 及圖2中所示的方法的重復特性便于自動操作和縮短已知VFX合成作業(yè)流程。而且，圖2中示出的示例性方法提供了 VFX元素和合成底片的粗略合成 用以在捕捉處理204期間或者捕捉處理204之后立即瞬時查看布景。另外， 視效預覽應用程序102和實時VFX合成器106的輸出可被用來自動地和/或 手動地校準和/或甚至控制布景(例如照明、相機位置或運動、布景維數(shù)等)。 以這種方式，可以改善通過制作組捕捉期望藝術(shù)景象的處理。諸如相機位置、 照明和布景度量之類的相關(guān)數(shù)據(jù)的使用使得VFX 3D元素的合成更容易，并 且結(jié)果更令人信服。
圖3是示出根據(jù)本發(fā)明的示例性實施例的處理的處理流程圖。該處理通 常用附圖標記300來表示。在塊302,該處理開始。在塊304，利用視效預覽 應用程序102 (圖1 )來制作初始圖形輸出104 (圖1 )。在塊306,利用VFX 合成器106 (圖1 )，使用輸入元數(shù)據(jù)108 (圖1 )將初始圖形輸出104 (圖1 ) 和捕捉圖像110 (圖1 )合成為粗略合成圖像112。在步驟308，該處理結(jié)束。
盡管本發(fā)明可能容許各種變動和替換的形式，但是特定實施例已經(jīng)在附 圖中舉例示出了并且此處將進行詳細描述。然而，應當理解，本發(fā)明往往不
限于所公開的特定形式。相反，本發(fā)明會涵蓋落入由所附權(quán)利要求定義的本
發(fā)明的精神和范疇之內(nèi)的所有變動、等價物和替換物。
權(quán)利要求
1.一種系統(tǒng)(100)，包括視效應用程序(102)，其被適配來制作視效輸出(104)；和視覺特效模塊(106)，其被適配來接收所述視效輸出(104)、輸入數(shù)據(jù)(108)和第一圖像(110)，并且制作表示第二圖像(112)的數(shù)據(jù)，所述第二圖像包括所述視效輸出(104)、輸入數(shù)據(jù)(108)和第一圖像(110)。
2. 如權(quán)利要求1所述的系統(tǒng)(100),其中所述輸入數(shù)據(jù)(108)包括元 數(shù)據(jù)。
3. 如權(quán)利要求1所述的系統(tǒng)(100),其中所述^L效應用程序(102)利 用與相機位置、照明、三維場景建?；蛉S布景維數(shù)相關(guān)的^:據(jù)來制作所述 視效輸出(104)。
4. 如權(quán)利要求1所述的系統(tǒng)(100),其中所述^L效應用程序(102)被 適配來控制所述布景上的動作。
5. 如權(quán)利要求4所述的系統(tǒng)(100),其中被控制的所述動作包括照明、 相機位置或運動、或者布景維數(shù)。
6. 如權(quán)利要求1所述的系統(tǒng)(100)，其中所述^L效輸出(104)包括三 維元素。
7. 如權(quán)利要求1所述的系統(tǒng)(100),其中所述4見覺特效才莫塊(106)被 適配來使用來自所述第一圖像(110 )或另 一先前捕捉的圖像的一個或多個底 片(208 )。
8. 如權(quán)利要求1所述的系統(tǒng)(100),其中所述3見覺特效才莫塊(106)被 適配來使用一個或多個三維元素(210)。
9. 如權(quán)利要求1所述的系統(tǒng)(100 )，其中所述輸入數(shù)據(jù)包括照明數(shù)據(jù)、 相機位置數(shù)據(jù)、相機運動數(shù)據(jù)和布景維數(shù)中的至少一個。
10. —種合成圖像的方法(300)，包括 利用視效應用程序(102)來制作視效輸出(104);和 利用視覺特效合成器(106)，使用輸入數(shù)據(jù)(108)將所述視效輸出(104)和第一圖像(110)合成為第二圖像(112)。
11. 如權(quán)利要求10所述的方法(300),其中所述輸入數(shù)據(jù)(108)包括 元數(shù)據(jù)。
12. 如權(quán)利要求10所述的方法(300),其中所述視效應用程序(102) 采用與相機位置、照明、三維場景建?；蛉S布景維數(shù)相關(guān)的輸入數(shù)據(jù)來制 作視效預覽輸出(104)。
13. 如權(quán)利要求10所述的方法(300),利用所述視效應用程序(102) 來控制所述布景上的動作。
14. 如權(quán)利要求13所述的方法(300),其中被控制的所述動作包括照明、 相機位置或運動、或者布景維數(shù)。
15. 如權(quán)利要求IO所述的方法(300),其中所述第二圖像(112)包括 來自合成底片(208 )和視覺特效三維元素(210)的信息。
16. —種方法(200),包括 執(zhí)行視效處理(202)來生成一輸出(104); 捕捉(204)表示第一圖像(110)的數(shù)據(jù)；和使用輸入數(shù)據(jù)(108)組合所述輸出(104)和所述第一圖像(110)以制 作第二圖像(112)。
17. 如權(quán)利要求16所述的方法(200),其中所述輸入凄t據(jù)(108)包括 元數(shù)據(jù)。
18. 如權(quán)利要求16所述的方法(200)，其中所述視效處理(202)利用 與相機位置、照明、三維場景建?；蛉S布景維數(shù)相關(guān)的數(shù)據(jù)來制作所述輸 出(104)。
19. 如權(quán)利要求16所述的方法(200),其中所述合成圖像(112)包括 來自合成底片(208 )和視覺特效三維元素(210)的信息。
20. 如權(quán)利要求16所述的方法(200),其中所述視效處理(102)包括 控制所述布景上的動作。
全文摘要
提供了一種用于獲取視頻數(shù)據(jù)(206)和音頻數(shù)據(jù)(208)的系統(tǒng)。在示例性實施例中，該系統(tǒng)包括相機(102)，其被適配來獲取適用于記錄在有形媒介(204)上的視頻數(shù)據(jù)(206)，所述視頻數(shù)據(jù)(206)表示在相對于主體(108)的方位值處拍攝的主體(108)的圖像；麥克風(104)，其被適配來獲取對應于所述有形媒介(204)上的視頻數(shù)據(jù)(206)的音頻數(shù)據(jù)(208)，所述麥克風被適配來從相對于主體(108)的方位值獲取音頻數(shù)據(jù)(206)；和羅盤(106)，其被適配來提供對應于所述方位數(shù)據(jù)的數(shù)據(jù)，所述方位數(shù)據(jù)與相應的視頻數(shù)據(jù)(206)和音頻數(shù)據(jù)(208)一起被存儲在有形媒介(204)上。
文檔編號G06F7/00GK101563669SQ200680056649
公開日2009年10月21日 申請日期2006年12月15日 優(yōu)先權(quán)日2006年12月15日
發(fā)明者安娜·B·貝尼特斯 申請人:湯姆森特許公司