用于實時混合或復合計算機生成的三維對象和電影攝影機饋送視頻的系統的制作方法
【專利摘要】一種實時混合或復合計算機生成的三維對象和電影攝影機饋送視頻的方法，其中電影攝影機的機身可以在三維移動，且在攝影機中或連接至攝影機的傳感器提供限定攝影機的三維位置和三維方向或使三維位置能夠被計算出的實時定位數據。
【專利說明】用于實時混合或復合計算機生成的三維對象和電影攝影機 饋送視頻的系統
[0001] 發(fā)明背景 1.
【技術領域】
[0002] -種用于實時混合或復合計算機生成的3D對象和電影攝影機（例如攝像機）的 饋送視頻以為電視廣播、電影或視頻游戲產生實時增強現實視頻的系統。 2.
【背景技術】
[0003] 在過去的20年中，在這一領域出現了大量的研究和商業(yè)活動；可以參考來自以下 公司的視頻插入或增強現實系統，例如運動視覺有限公司（Sportvision，Inc)，該公司已開 發(fā)出用于體育賽事（例如美式足球）的電視觀看增強，增加了觀眾看到疊加在球場上的虛 擬的第一次進攻線。其他已在這一領域開發(fā)出系統的公司包括PVI有限公司。已知系統的 一個共同特征是它們主要依靠分析來自攝影機的饋送視頻的特征以確定攝影機指向真實 世界場景中的哪一部分；該系統早期已建立那個場景的三維映射，以便一旦它知道它指向 場景中的哪個位置，它能夠在饋送視頻中以如下方式添加或復合計算機產生的對象（如虛 擬的第一次進攻線），通過對象的位置和方向使它看起來好像場景的自然部分。這種方式中 僅僅依賴光流的一個缺點是這種系統可能會不可靠。
[0004] 其它系統依靠以純標記為基礎的方法（例如光動力飛行器技術公司（Lightcraft Technologies))。他們需要操作者把真實的物理標記（大小為1米xl米）放在布景上由 系統進行檢測。它非常低效，因為它需要幾小時或幾天來建立舞臺，這對于影視制作來說是 不可能完成的。它也具有許多限制，因為物理標記必須總是保持在他們系統的視野中。也 可以參考附錄1中引用的論文。
【發(fā)明內容】
[0005] 本發(fā)明的一個方面是一種用于實時混合或復合計算機生成的三維對象和電影攝 影機（例如攝影機）饋送的視頻，以為電視廣播、電影或視頻游戲產生增強現實視頻的系 統，其中：
[0006] (a)電影攝影機的機身可以在三維移動，且在電影攝影機中或直接或間接連到電 影攝影機的傳感器提供限定電影攝影機的三維位置和三維方向或使電影攝影機的三維位 置和三維方向能夠計算出的實時定位數據，以及
[0007] (b)然后，系統自動使用實時定位數據以創(chuàng)建、調用、呈現或修改計算機產生的三 維對象，以及
[0008] (c)然后，混合或復合產生的計算機生成的三維對象和電影攝影機饋送的視頻以 為電視廣播、電影或視頻游戲提供增強現實視頻。
[0009] 可選特征一一些或全部特征可以彼此結合，包括以下：
[0010] ?實時混合或復合計算機生成的三維對象和電影攝影機的實時饋送視頻。
[0011] ?測試和使用電影攝影機的實時變焦、聚焦以及光圈設置，連同實時定位數據，以 便在三維場景的預定位置和方向正確地呈現三維對象。
[0012] ?傳感器包括加速計和陀螺儀（六自由度傳感器（6D0Fsensor))
[0013] ?傳感器包括測量三維平移加速度的三軸加速計、測量三維角速度的三軸陀螺儀、 以及測量三維絕對朝向的磁力計，因此組成了九自由度傳感器。
[0014] ?傳感器包括三維距離傳感器，例如結構光或飛行時間攝影機。
[0015] ?三維距離傳感器獲取攝影機的視頻輸出中每個像素的深度（cbpth)。
[0016] ?通過在電影攝影機的高分辨率饋送視頻上重新投影三維距離傳感器深度來完善 邊緣深度。
[0017] ?傳感器形成可以完全固定到電影攝影機上的單元
[0018] 〇該單元包括一個或兩個見證攝影機（witnesscamera)。
[0019] 〇該單元包括三維距離傳感器，其獲得視頻輸出中每個像素的深度。
[0020] 〇該單元包括六自由度或九自由度傳感器。
[0021] 0該單元使用可切換的懸掛器（hanger)以允許它被固定到不同尺寸和設計的電 影攝影機和桿上。
[0022] 〇該單元可擴展為包括其它形式的傳感器。
[0023] 〇該單元可以組成測量設備，其可以用于測量復雜的場景并無線傳輸限定測量的 三維場景的數據至計算機，該計算機然后可以追蹤或恢復場景的追蹤。
[0024] 〇電影攝影機包括傳統編碼器以讀取攝影機變焦、聚焦和光圈。
[0025] ?系統包括一個單一的見證攝影機（單視場的情況）或兩個見證攝影機（立體視 場的情況），配備有鏡頭，可以是180度魚眼鏡頭。
[0026] ?見證攝影機偏置于電影攝影機，并且偏移值使用包括第一和第二圓圈組的校準 表得到，每個圓圈處于相對一個或多個其他圓圈已知的位置且每個圓圈使用二進制大對象 圖像算法（blobimagealgorithm)進行識別。
[0027] ?使用包括若干圓圈的校準表校準電影攝影機鏡頭的光學畸變，每個圓圈處于相 對一個或多個其他圓圈已知的位置且每個圓圈使用二進制大對象圖像算法進行識別。
[0028] ?電影攝影機是以下的任意一種：升降架攝影機、攝影機穩(wěn)定器、手持式攝影機、移 動攝影車式攝影機、三腳架攝影機、智能手機、增強現實眼鏡。
[0029] ?電影攝影機的三維位置和方向參考部分通過使用來自傳感器的實時三維定位數 據加上光流生成的真實世界的三維映射確定，其中見證攝影機測量場景且在處理器上運行 的軟件檢測場景中不是手動或人為增加到場景中的自然標記（"特征點"）。
[0030] ?該系統使用一個或兩個高速（例如至少lOOfps)見證攝影機使該系統能夠完全 初始化，沒有僅僅測量追蹤場景的獨立階段（"即時測量"），恰恰相反，在攝影機用于拍攝 視頻的同時測量連續(xù)發(fā)生。
[0031] ?立體視場系統啟用軟件處理圖像且甚至在一點也不用移動攝影機系統的情況下 產生即時三維點云（例如使用兩個攝影機之間的間隔和對極幾何的認知將場景中的大量 點與它們在三維空間的位置結合）。
[0032] ?三維點云中每個像素的深度使用從每個立體見證攝影機獲得的相應的二維紋理 補丁和極線線性搜索算法（epi-polarlinesearchalgorithm)得到。
[0033] ?系統運行結合了來自見證攝影機系統的光流數據和來自硬件傳感器的實時定位 數據的融合算法。
[0034] ?融合算法是根據擴展卡爾曼濾波（ExtendedKalmanFilter,EKF)預測/校正 技術整合所有的傳感器輸出，以及重新校準所有的傳感器，以確定攝影機的位置和方向，其 中所有的傳感器可以包括加速計、陀螺儀、磁力計、三維距離傳感器。
[0035] ?當確定如何合并來自每個傳感器的數據時，EKF融合算法使用與從每個傳感器的 輸出有關的置信度數據。
[0036] ?見證攝影機系統產生的關鍵幀是視覺追蹤過程的一部分且是在見證攝影機饋送 視頻的四個不同分辨率水平計算的實時圖像。
[0037] ?系統包括（a)內容生成計算機，其提供三維計算機生成的虛擬圖形、對象和地點 的動畫，以及（b)呈現計算機（其可以獨立于或不獨立于內容生成計算機），其中限定電影 攝影機的三維位置的實時定位數據由內容生成計算機和呈現計算機中的二者之一或二者 使用以實時引起要生成的計算機生成的三維對象，該實時計算機生成的三維對象可以實時 插入和混合到電影攝影機的饋送視頻中以形成饋送視頻中所示的場景的自然部分。
[0038] ?計算機生成的三維對象是動畫，其可以在場景中的任何地方移動且可以以內容 生成計算機確定的方式改變他們的形狀和外觀。
[0039] ?計算機生成的三維對象是人或生物的動畫圖形，當混合在場景中時其以逼真的 方式移動（如跑、跳舞、步行、戰(zhàn)斗、飛行、跳躍......）。
[0040] ?攝影機定位或追蹤數據也可用于后期制作以方便后期制作CGI(計算機圖形影 像）。
[0041] ?三維距離傳感器用于提高與重新構造的三維點有關的深度測量的精度，或拒絕 重新構造的三維點。
[0042] ?三維距離傳感器用于實時深度鍵控以實現動態(tài)遮擋（dynamicocclusion)并抑 制綠色階段（greenstage)的最終使用。
[0043]?系統使用了小型攝影機注冊對象（cameraregistrationobject)，例如已知尺 寸和覆蓋有已知圖案放置在場景中的板，以便檢測到的圖案的邊緣地方被作為三維點云 (以及因此該世界）的起點。
[0044] ?攝影機注冊對象包含至少兩個已知尺寸、真垂直排布且使用二進制大對象圖像 識別算法識別的球。
[0045] ?系統包括表明磁北的磁力計、表明重力方向（以及因此給出真垂線）的加速計、 表明系統是否仰攝/俯攝或向左方或右方搖攝或圍繞光軸旋轉的陀螺儀、實現對從初始位 置的三維平移的推斷的三軸加速計。
[0046] ?軟件嘗試在三維映射中生成均勻分布的點云以大大減小追蹤損失且增加追蹤精 度（產生的視差越多，因此估計的攝影機位置越精確）。
[0047] ?攝影機追蹤系統可以無線連接到攝影機系統且當產生三維點云時能夠因此在布 景周圍快速移動，不需要在布景中拖拽電纜，不像早期的見證攝影機系統。
[0048] ?當導演/攝影師追蹤、搖攝、傾斜連接到電影攝影機的攝影機追蹤系統時，攝影 機追蹤系統使三維場景的實時測量（單視場的情況）或即時測量（立體顯示的情況）與電 影攝影機的追蹤結合。
[0049] ?系統使電影攝影機追蹤的所有方面完全自動化，包括旋轉、平移、聚焦、光圈、焦 距；且使混合到視頻中的三維計算機生成的內容的縮放、定位和方向自動化。
[0050] ?系統實現對場景的實時連續(xù)測量以產生限定場景的更完整的點云。
[0051]?系統附加旋轉不變性描述符（rotationinvariantdescriptor)，例如使用 ORB(對象請求代理），至場景中檢測到的特征點以促進追蹤的恢復。
[0052] ?系統使用與傳感器提供的信息有關的恒速模型，使用之前正確計算的或確認的 位置預測電影攝影機的下一個位置。它使用該預測在當前畫面上重新投影三維點云，使點 匹配算法能夠匹配見證攝影機系統在實時饋送視頻中識別的點和在新的三維點云中投影 的點。
[0053] ?系統為攝影機追蹤使用萊文貝格一馬夸特最小化方案（Levenberg-Marquardt minimizationscheme)以使在實時饋送視頻中見證攝影機系統識別的點和在新的三維點 云中投影的點之間的誤差減到最小。
[0054] ?用戶可以使用攝影機追蹤系統產生的三維點云限定三維蔽光框（mask)，例如三 維摳像蔽光框（3DGarbageMattingmask)。
[0055] ?三維對象包括靜態(tài)對象、動態(tài)動畫、虛擬世界、虛擬人物、虛擬建筑、虛擬景觀、虛 擬電影布景以及動畫數據庫中的任何數據。
[0056] ?電影攝影機和見證攝影機使用調制光源對畫面采集延時進行了校準，例如通過 比較與閃光燈（flashingLED)有關的光強度曲線。
[0057] 其他概念一每個可以和上述定義的特征的任何一個或以下定義的任何其他概念 結合。
[0058] -種實時混合或復合計算機生成的三維對象和電影攝影機的饋送視頻的方法。其 中電影攝影機的機身可以在三維移動且在攝影機中或連接至攝影機的傳感器提供限定攝 影機的三維位置和三維方向或使三維位置能夠被計算出的實時定位數據。
[0059] -種用于實時混合或復合計算機生成的三維對象和電影攝影機（例如攝影機）的 饋送視頻以為電視廣播、電影或視頻游戲產生增強現實視頻的方法，其中：
[0060] (a)電影攝影機的機身可以在三維移動且在電影攝影機中或直接或間接連接到電 影攝影機的傳感器提供限定電影攝影機的三維位置和三維方向或使電影攝影機的三維位 置和三維方向能夠被計算出的的實時定位數據，以及
[0061] (b)然后，實時定位數據由系統自動使用以創(chuàng)建、調用、渲染或修改計算機生成的 三維對象以及
[0062] (c)然后，產生的計算機生成的三維對象與電影攝影機的饋送視頻混合或復合以 為電視廣播、電影或視頻游戲提供增強現實視頻。
[0063] 上述定義和使用的方法或系統使導演（或攝影導演）能夠實時將攝影機中前期制 作的計算機生成的三維資源（通常前期可視化（previsualisation)或視覺效果資源）加 入到攝影機拍攝的實景電影底片或視頻圖像上，使導演能夠探索可能的攝影機視角且隨自 動混合到導演看得見的視頻中的計算機生成的三維資源實時移動。
[0064] 上述定義的記錄實時定位數據并標出時間碼的方法或系統為后期制作過程提供 了匹配移動數據。
[0065] 上述定義和使用的方法或系統使虛擬對象或圖像能夠插入到播放視頻流中。
[0066] 上述定義的方法或系統實現了以下的一個或多個：
[0067] ?攝影棚用攝影機的實時追蹤
[0068] ?攝影機穩(wěn)定器（Steadicam)的實時追蹤
[0069] ?升降架攝影機的實時追蹤
[0070] ?移動攝影車攝影機的實時追蹤
[0071] ?攝影機穩(wěn)定器的實時追蹤
[0072] ?外部廣播（0B)的實時追蹤
[0073] ?將實時數據（如追蹤數據）用于二維后期制作
[0074] ?將實時數據（如追蹤數據）用于三維立體內容的后期轉換
[0075] ?將實時數據（如追蹤數據）用于本地三維立體內容
[0076] ?三維圖像插入
[0077] ?攝影棚或現場廣告植入的三維圖形插入
[0078] ? 0B的三維圖形插入
[0079] ?其他贊助圖像的三維圖形插入
[0080] ?特定觀眾位置的三維圖形插入
[0081] ?特定觀眾的三維圖形插入
[0082] ?特定時間的三維圖形插入
[0083] ?填加人群場景的三維圖形插入
[0084] ?綠屏替換（greenscreenreplacement)的三維圖形插入
[0085] ?在博物館和文化、歷史遺址和自然遺產解說中心輔助學習的教育內容的三維圖 形插入
[0086] ?場景中對象的絕對和相對尺寸的測量
[0087] 上述定義的方法或系統，其中電影攝影機是下述之一：
[0088] -所有具有標準視角范圍的攝影機（cameraswithastandardtether)
[0089] -需要戰(zhàn)術光纖連接（tacticalopticalfibreconnection)的攝影機
[0090] -需要RF(射頻）/無線連接的攝影機
[0091] 上述定義的方法或系統，部署在以下市場之一：
[0092] -電影/電視（非直播）
[0093]-商業(yè)廣告（非直播）
[0094]-商業(yè)廣告直播
[0095]-廣播（非體育）
[0096] -廣播 0B
[0097] _棚內體育節(jié)目
[0098] -基于0B的體育節(jié)目
[0099] -電視廣告置入直播
[0100] -互聯網用途（非直播）
[0101] -互聯網直播
[0102] -基于區(qū)域的互聯網直播
[0103] -互聯網廣告置入直播
[0104] -博物館/遺產內容
[0105] _博物館/遺產廣告
[0106] -建筑
[0107] -游戲
[0108] 上述定義的用于實現增強現實圖像的方法或系統使能夠通過任何顯示設備顯示， 包括智能手機、增強現實眼鏡、依靠實時定位數據自動改變的增強現實圖像的外觀。
[0109] -種影片、電影、電視節(jié)目或視頻游戲，其中實時計算機生成的三維對象與攝影機 的饋送視頻混合，其中攝影機的機身可以在三維移動且在攝影機中或連接到攝影機的傳感 器提供限定攝影機的三維位置或使三維位置能夠被計算出的實時定位數據。
[0110] 一種適合連接到傳統攝影機的場景測量和追蹤設備，其中攝影機的機身可以在三 維移動且在場景測量和追蹤設備中的硬件傳感器提供限定攝影機的三維位置或使三維位 置能夠被計算出的實時定位數據。
[0111] 一種手持式或便攜式攝影機，包括在攝影機中或連接到攝影機的傳感器，其提供 限定攝影機相對三維參考系的三維位置和三維方向或使三維位置能夠通過分析其他數據 (例如光流數據）的系統的整體或一部分被計算出的實時定位數據。
[0112] 一種電影攝影機，其包括或連接到立體見證攝影機系統，見證攝影頭系統產生廣 角（如180度）立體圖像，啟用軟件處理圖像并在一點也不追蹤和移動攝影機系統的情況 下產生即時三維點云。
[0113] 一種用于連接電影攝影機的攝影機追蹤系統，其具有產生立體圖像的見證攝影機 系統，啟用軟件處理圖像并在一點也不移動攝影機系統的情況下產生即時三維點云并提供 電影攝影機的實時追蹤（位置、方向、變焦、聚焦、以及光圈）。
[0114] 增強現實眼鏡，包括在眼鏡中或連接到眼鏡的傳感器，其提供限定眼鏡相對于三 維參考系的三維位置和三維方向或使三維位置能夠通過分析其他數據（例如光流數據）的 系統的整體或一部分被計算出的實時定位數據。
[0115] 本實施系統被稱為Ncam。Ncam的各種應用包括以下：
[0116] 電影、電視和商業(yè)廣告的視覺效果
[0117] 前期制作和制作的視覺效果：Ncam旨在幫助填補拍攝過程（制作）期間可視化預 覽（前期制作）和視覺特效VFX(后期制作）之間的差距。Ncam為那些希望在攝影機VFX取 景同時實時拍攝提供了解決方法。使用之前創(chuàng)建的常常來自可視化預覽過程的內容，Ncam 能夠實時在實景拍攝電影底片上復合那些可視化預覽資源，一般是三維模型或動畫。
[0118] 將精心制作且經過檢驗的可視化預覽置于布景上可以節(jié)省大量的時間。電影制作 人可以設計可視化預覽或VFX，它是否正在綠屏上拍攝和復合虛擬背景或在前景上疊加生 物或對象。然后，電影制片人能夠撤銷探測可能的攝影機視角的可視化預覽和VFX的控制 且在沒有通常約束的情況下匆忙并實時移動。
[0119] 依次記錄數據并標出時間碼，給出VFX部攝影機匹配移動數據（六自由度追蹤） 同時為編輯提供最終的VFX的"臨時"。
[0120] 通過拍攝攝影機中的"臨時"VFX和在早期過程中設計VFX，取出VFX中的一些猜 測工作作為后期制作過程是可能的。我們能夠減輕VFX設計過程，從而節(jié)約了損耗。
[0121] 虛擬廣告-現場直播
[0122]Ncam的技術非常適用于具有廣播空間的實時虛擬廣告。數碼產品布置變得越來越 流行，其中在拍攝后后期制作期間插入產品，與攝影機中的真實物理產品截然相反。然而， 通過增加數碼產品布置現場直播的能力，我們能夠開發(fā)各種可能性。例子可以包括在體育 場上的品牌標志或肥皂劇中的罐裝飲料。實時根據拍攝環(huán)境燈光呈現擬真CG圖像的能力 是至關重要的。
[0123] 全息游戲
[0124] 將Ncam的技術與全息顯示器以及眼鏡（例如谷歌眼鏡）結合可以提供完全身臨 其境的游戲體驗。將現實世界與虛擬世界和人物進行了混合?？赡苄允菬o止境的。
[0125] 博物館和遺產
[0126]Ncam的技術為博物館和文物部門提供了大范圍的潛在應用。
[0127] 作為探索性工具，它可以用于遺址（例如遺跡）的重建，顯示出該地點在它舊日輝 煌時是什么樣子。
[0128] 在博物館內，Ncam可以用作教學工具，也許是為了展示恐龍的尺寸和運動，它的內 臟或骨架結構。另一個例子可以是探索內燃機的工作，有效觀察分解的動畫圖，但是在完全 身臨其境的三維空間。
[0129] 虛擬攝影機-VCS
[0130]Ncam技術完全適合于這個應用。虛擬攝影機本質上是顯示完整CG三維環(huán)境的液 晶IXD屏幕。當操作者移動IXD屏幕時，它在運動方面就像物理攝影機。IXD攝影機在XYZ 方向平移和旋轉上進行追蹤且實時顯示CG引擎的完整的CG環(huán)境。當前有各種VCS(虛擬 攝影機系統）解決方案可用，但是所有的在技術方面都有局限性。它們趨向于耗費時間設 置、局限于它們操作的空間和環(huán)境、以及價格昂貴。以Ncam為基礎的VCS很可能呈現平板 電腦的形狀，結合LCD屏幕本地計算過程?？梢愿鶕髲倪h程PC或可能本地進行CG計 算。這種理念使得能夠通過可用性和價格點向多個電影中的之前不能使用這些工具的人的 部門開放存取。這對于設計師、建筑師、VFX、游戲公司、CG和動畫工作室等是非常有用的。
[0131] 這個VCS也可以形成潛在博物館和遺產解決方案的支柱。
[0132] 虛擬偵察系統-VSS
[0133] 如果你設想正在拍攝一部電影，且它主要在藍幕/綠幕上。作為電影制片人或導 演，我如何解決哪一個視角或鏡頭將是最好的？終究，我可能有少量的物理布景和幾個演 員，但是除了我的想象我不清楚哪個攝影機視角是最好的，更不必說向整個劇組解釋我們 應該在哪里安裝攝影機和做出鏡頭的有效選擇。當前我們可以移動電影攝影機和它的所有 設備至布景上的位置，設置Ncam并僅僅查看，即認識到它在另一個位置會更好。要是我們 有輕量級便攜式系統迅速且高效地做出那些決定就好了。這就是NcamVSS。
[0134] 像今天這樣，VSS是Ncam,但是集成到小型化攝影機-想象是DSLR(數碼單反相 機）。本質上它是具有Ncam優(yōu)勢的數碼取景器。像今天這樣，我們結合所有的Ncam元件在 電影布景上，而是是在便攜式設備中。電視連播的虛擬產品也可以非常受益于此工具，博物 館/遺址以及想要向潛在投資者展示他們的新創(chuàng)作的建筑師同樣。
【專利附圖】
【附圖說明】
[0135]圖1
[0136] 配置2. 3的硬件描述。要注意的是，在此繪出的版本合并了追蹤工作站和呈現工 作站。
[0137]圖 2
[0138] 實時獲得電影攝影機的位置和旋轉的總體追蹤算法。
[0139]圖 3
[0140] 為我們的系統創(chuàng)建的三維自動調平注冊對象。該對象用于真實場景中以在我們的 軟件中自動計算真實世界的起點、方向和尺寸。平面版本在圖5的右側示出。
[0141]圖 4
[0142] 用于自然標記的檢測的圖像金字塔。該圖也示出了一些與標記有關的二維紋理補 丁。
[0143]圖 5
[0144]Ncam開發(fā)和使用的校準表。左：用于校準所有鏡頭的校準表。中間：用于電影攝 影機和見證攝影機之間的對齊計算（lineupcomputing)的校準表。左邊的表也可以用于 電影攝影機上的焦距足夠短的情況（在布景上通過實驗確定）。右：注冊對象的平面版本。 更容易運用且可以放置在地面上任何位置。當添加虛擬對象至真實場景時，圓圈給出了給 定世界方向、比例和起點（〇,〇,〇)的標準正交基。上部左邊圓圈的中心是世界的起點。
[0145]圖6
[0146] 安裝到具有不同懸掛器尺寸的（15_和19_桿）的電影攝影機的攝影機桿。
[0147]圖 7
[0148] 無線測量設備。當需要測量時（即例如單視場的情況（參見2. 1，或非常復雜的裝 置（參見2. 1. 3的末尾））），然后，整個追蹤過程使用該測量設備實現。當測量完成時，所有 的追蹤數據（點云、關鍵點等）無線傳輸至追蹤/呈現工作站，其即刻恢復追蹤并開始流輸 出追蹤數據和最終復合的結果。
[0149]圖 8
[0150] 攝影機/計算機接線盒。要注意的是，此處示出了使用多個RJ45電纜的版本。所 有這些接線盒也具有變體，其中那些電纜被單個戰(zhàn)術光纖電纜替換。
【具體實施方式】
[0151] 本技術是關于在電影布景、電視廣播或視頻游戲上混合實時計算機生成的三維對 象和來自真實攝影機（realcamera)(本發(fā)明中其余部分稱為電影攝影機）的真實生活饋 送視頻。本系統的主要目標是：
[0152] ?為電影導演提供虛擬人物和環(huán)境的實時取景工具。
[0153] ?實時顯示直接融入真實視頻中的虛擬對象的照片般真實結果。
[0154] ?為現場拍攝和電影后期制作提供電影攝像機位置的精確估計（稱為攝影機追 蹤）。適用于所有的電影攝影機：升降機攝影機、攝影機穩(wěn)定器、手持式攝影機、三腳架攝影 機等。
[0155] ?提供真實場景的三維幾何模型的近似值、真實對象（和/或演員）和虛擬環(huán)境 (三維對象、人物等）之間的操作遮擋。
[0156] 在此描述的技術首先是強大的傳感器融合算法，因此融合從3個（立體視場的情 況）或2個（單視場的情況）不同的光流和4個其他傳感器（陀螺儀、加速計、磁力計、三 維距離傳感器）的物理測量結果計算出的自然標記（即非手動添加到物理場景中的）。它 也是完全非入侵式系統，不需要手動添加任何物理標記或在真實場景中直接可見的任何物 體做它的工作。
[0157] 1硬件
[0158] 本技術根據必須流輸出的數據的類型具有兩種不同可能的硬件配置。
[0159] 這兩種配置共同具有以下安裝到稱為攝影機桿（詳情參見圖6)的設備上的硬件， 以及單獨的連接器，其本質上是合并或分開所有不同的電纜至一個或幾個獨立的絕緣線束 (loom)(見圖8詳細的圖）的接線盒。
[0160] ?根據選定的方式（單視場或立體市場）的一臺或兩臺高速攝影機（至少 lOOfps)，稱為見證攝影機。
[0161] ?每個見證攝影機上安裝有180度魚眼鏡頭。
[0162] ?九自由度傳感器，包括陀螺儀、磁力計和加速計（或當磁力計不能使用時是六自 由度）。
[0163] ?三維距離傳感器，其拍攝像素的深度。
[0164] 除了攝影機桿之外，所有的配置具有安裝到電影攝影機上的普通鏡頭編碼器以讀 取變焦、聚焦和光圈值。它們也共同具有無線測量裝置（詳情參見圖7)以測量場景并研究 它。然而，應當指出的是，在完全立體視場（見2. 5)的情況下，更確切地說即時測量的情況 下（見2. 5.1)，不需要測量設備。
[0165] 除了這些共同的特征，以下描述了這兩種配置：
[0166] 配置1:攝影機流
[0167]1.無線嵌入式計算機
[0168] (a)嵌入式追蹤計算機安裝在電影攝影機上。它無線流式輸出電影攝影機平移和 旋轉（RT)以及來自編碼器的變焦、聚焦和光圈（ZFI)至外部呈現工作站。
[0169] (b)外部內容生成工作站。該機器通常運行計算機制圖軟件以為最終復合提 供三維計算機生成的動畫和相關的CG內容。它也流式輸出動畫數據至外部呈現工作站 (1-lc)。 ?
[0170] (c)外部呈現工作站，其一方面從嵌入式計算機（1-la)接收數據，另一方面也運 用來自內容生成工作站（1-lb)的動畫數據。這種呈現工作站使用來自1-la的電影攝影機 RT+ZFI顯示來自1-lb的三維虛擬環(huán)境，且在來自電影攝影機的真實的視頻流內混合結果。 它也流式輸出最終復合的結果回到電影攝影機目鏡或無線控制監(jiān)控器。
[0171] 2.有線嵌入式計算機
[0172] (a)嵌入式追蹤計算機安裝到電影攝影機上。它使用戰(zhàn)術光纖電纜流式輸出電影 攝影機平移、旋轉（RT)以及編碼器數據（ZFI)至外部呈現工作站。
[0173] (b)類似配置 1-lb。
[0174] (c)類似配置1-lc，除了最終復合的結果通過HD-SDI(高清晰度串行數字接口） 電纜發(fā)送回攝影機。
[0175] 配置2:總流
[0176] 1.無線嵌入式計算機
[0177] (a)嵌入式追蹤計算機安裝到電影攝影機上。在該單元沒有實現真實的處理。它 只是無線流式輸出所有的傳感器數據至外部追蹤工作站。流式輸出見證攝影機的2X視頻 流、IX九自由度數據、IX距離傳感器數據。數據的總量需要大于142MB/secsec的最小 的帶寬（見證攝影機要求63MB/sec，距離傳感器74MB/sec，九自由度傳感器4. 4MB/sec)。
[0178] (b)外部追蹤工作站，其從嵌入式追蹤計算機接收數據。這個單元處理所有的傳感 器數據以計算電影攝影機的旋轉和平移矩陣。它流式輸出攝影機RT+ZFI至外部呈現工作 站（2_ld)。
[0179] (c)外部內容生成工作站。該機器通常運行計算機制圖軟件以為最終復合提供三 維計算機生成的動畫和相關的CG內容。它也流式輸出動畫數據至外部呈現工作站（2-ld)。
[0180] (d)外部呈現工作站，其一方面從嵌入式計算機（2-lb)接收數據，另一方面也運 用來自內容生成工作站（2-lc)的動畫數據。這種呈現工作站使用來自2-lb的電影攝影機 RT+ZFI顯示來自2-lc的三維虛擬環(huán)境，且在來自電影攝影機的真實的視頻流內混合結果。 它也流式輸出最終復合的結果回到電影攝影機目鏡或無線控制監(jiān)控器。
[0181] 2?有線嵌入式計算機：
[0182] (a)嵌入式追蹤計算機安裝到電影攝影機上。它使用戰(zhàn)術光纖電纜或多個 Cat-6RJ45電纜流式輸出電影攝影機平移和旋轉（RT)至外部呈現工作站（2-2c)。編碼器 再次用于變焦、聚焦和光圈（ZFI)。
[0183] (b)類似配置 2-lc。
[0184] (c)類似配置2-ld，除了最終復合的結果通過HD-SDI電纜被發(fā)送回攝影機。
[0185] 3非嵌入式計算機（參見圖1圖示說明：所有其他版本可以很容易地從此得出）：
[0186] (a)單一攝影機追蹤設備（攝影機桿）被連接到電影攝影機且連接到接線盒。
[0187] (b)外部追蹤工作站，其從嵌入式追蹤設備接收數據。這個單元處理所有的傳感 器數據以計算電影攝影機的旋轉和平移矩陣。編碼器再次被用于變焦、聚焦和光圈（ZFI)。 它流式輸出攝影機RT+ZFI至呈現工作站（2-3d)。
[0188] (c)類似配置 2-lc。
[0189](d)類似配置2-ld，除了最終復合的結果通過HD-SDI電纜被發(fā)送回攝影機。
[0190] 除了之前的配置之外，每個版本也具有兩個其他變體。一個具有實際上與外部呈 現工作站融合的內容生成工作站，第二個變體具有與追蹤工作站融合的外部呈現工作站。
[0191] 2?軟件
[0192] 已創(chuàng)建若干新的科學方法和軟件以實現精確的追蹤結果和實時增強現實[19]。這 些方法在下一部分進行描述。
[0193] 2. 1 單視場無標記饋送視頻追蹤（MonoscopicMarkerlessTrackingfromvideo feed)
[0194] 2. 1.1過程概述
[0195] 在該技術中使用的單視場技術在兩個單獨的通路上建立，這兩個通路技術上幾乎 相同，除了一個需要用戶交互然而另一個完全自動。
[0196] 第一通路被稱為測量。用戶采用了建立在部分1(也參見圖7)的第二段描述的 硬件上的設備，以掃描真實場景和注冊對象。在該階段，當用戶四處掃描環(huán)境時，由系統 在三維自動獲悉和計算自然標記。用戶一開始進行測量，他也就必須拍攝注冊對象（參見 2. 1. 3. 2)以便自動估計世界的比例、起點和方向。一旦這種情況實現，用戶可以繼續(xù)掃描場 景的剩余部分以建立自然標記的可能的最好的三維點云（自然標記是人眼不可見的特征 點，其由我們的算法計算）。這個測量實現的越徹底，最終的結果越好。測量部分是所有的 工作中最重要的工作，它非常關鍵。
[0197]第二通路是電影攝影機追蹤（參見2. 1. 4)，其由位于電影攝影機中的追蹤設備完 成。根據各種情況以及遵循之前題為"硬件"部分的說明，適用不同的配置。這個步驟是全 自動的，且通常不需要任何人機交互。
[0198] 2. 1.2算法概述
[0199]在此描述的技術是根據多個傳感器融合技術的增強現實構架（參見2. 3)。
[0200]事實上，它不依賴于通常的唯一光流數據來追蹤攝影機和插入虛擬對象。在相當 多的例子中這種技術已經證明它們的科學和實際限制。例如，如果用戶隱藏了用于追蹤的 攝像機，那么追蹤失敗和丟失。如果攝影機指向還沒有測量的區(qū)域（參見2. 1. 3)，會發(fā)生完 全一樣的問題。此外，即使電影攝影機一點不移動，由于由純視覺追蹤算法計算出的所檢測 到的自然標記的精度，仍然存在著一些不可避免的輕微抖動問題。濾除數據部分解決了這 個問題，但你決不會得到完全穩(wěn)定的虛擬對象，當使用長焦距鏡頭時更是如此。由于我們的 技術使用其它傳感器來知道攝像機移動與否，因此我們的追蹤算法不會有這個問題。
[0201]普通光流技術像SLAM[9]，PTAM[8]，RSLAM[13]等，使用由攝影機拍攝的視頻中包 含的信息粗略估計它的位置和方向。對于它的視覺追蹤部分（稱為視覺追蹤），我們的技術 具有類似的方法，除了一方面當它丟失時跟蹤的核心并不是簡單的關鍵幀搜索，第二方面 它使用7個可用的傳感器（一個電影攝影機，兩個見證攝影機，陀螺儀，加速計，磁力計和三 維距離傳感器）的所有數據來計算攝像機的精確位置和方向。
[0202]我們使用擴展卡爾曼濾波（EKF，參見2. 3. 2) [7,21]整合以下傳感器：陀螺儀，力口 速計，磁力計傳感器和見證攝影機。EKF技術是我們軟件的主體且所有的預測/校正算法是 基于允許使用每個傳感器中最佳的數據合并方法。這為所有其他技術不能使用的簡單的和 關鍵的情況提供了無與倫比的穩(wěn)健性。事實上，當傳感器失去追蹤時（實際上意味著它的 測量結果不再可靠），EKF仍然能夠通過合并其他可靠的和剩余的傳感器的數據獲得位置/ 方向估計。除此之外，由于每個傳感器具有置信度，這影響合并算法以便防止系統使用不準 確的信息。例如，普通陀螺儀具有天生的缺陷稱為漂移，其往往更改它的方向，甚至當它不 動時。運行時間越長，陀螺儀產生的誤差越大。陀螺儀的漂移校正通過使用視覺追蹤來完 成，當它的誤差太大時視覺追蹤由陀螺儀校正。EKF能夠通過使用之前正確的估計值預測電 影攝影機的運動從而找到電影攝影機的最佳的位置和旋轉，然后根據所有傳感器給出的新 的測量結果校正它的預測。
[0203]此外，當攝影機丟失時，大多數純光學為基礎的追蹤技術使用關鍵幀（即快照 (snapshot))來定位攝影機。如果你用攝影機指向的當前視野沒有關鍵幀，那么恢復失敗。 更強大的技術當然是可用的，像SIFT[11]或SURF[1]技術，以解決例如你僅僅具有垂直旋 轉的攝影機。事實上，由于所有這些系統比較當前幀和最相似的關鍵幀，使用旋轉和縮放不 變性描述符獲得更好更快的匹配是很有趣的。然而，如果你在攝影機的位置沒有任何關鍵 幀，那么你的系統沒有辦法恢復它的位置。我們的技術集聚了每個技術（需要指出的是我 們使用〇RB[I8]作為關鍵幀描述符）的優(yōu)點，并且我們同時運行三個不同的線程來恢復丟 失的追蹤（詳情參見2. 1. 4. 4)?；謴瓦^程中可以看見基于概率和隨機方法的總體算法。當 追蹤丟失時，立即使用橢圓形方法在最新已知位置周圍三維空間采樣且將該橢圓形內部所 有的關鍵幀與目前的關鍵幀進行比較。此外，所有來自剩余傳感器（陀螺儀，加速計，磁力 計，三維距離傳感器）的其他數據仍然合并在搜素中，允許我們的軟件消除所有看似合理 的候選。當然，如果沒有關鍵幀是足夠好的候選，那么系統會使用除了視覺追蹤之外的所有 其他傳感器，以計算當前位置的近似值。該技術的顯著結果是，我們的技術允許用戶在不丟 失追蹤的情況下，將攝影機指向尚未被測量的位置。然而我們的算法從不停止采樣三維空 間以尋找匹配目前快照的關鍵幀（即更好RT近似值）。如果恢復了視覺追蹤，使用和更新 所有其他傳感器數據以除了校正攝影機之外校正它們自己的信息（參見擴展卡爾曼濾波 2. 3. 2)。
[0204]我們的技術的最新（即普通）版本是立體視場（參見2. 5)，這意味著它使用了間 隔21厘米的兩個見證攝影機（見圖6)。這種技術不需要任何單應性（homography)的計算 或任意單個見證攝影機的手動平移（參見2. 1. 3)來計算饋送視頻中檢測到的自然標記的 深度信息。該方法在大多數情況下通過測量階段淘汰簡化了我們的主要算法（參見2. 5)。 如在單視場技術中，視覺追蹤本身具有完整的子像素方法，允許系統在圖像金字塔的4個 不同水平追蹤攝影機位置（參見圖4)，然而所有其他以光流為基礎的技術當搜索特征點時 只在兩個不同的圖像分辨率不正當地使用像素技術。
[0205] 2. 1. 3第一階段：測量
[0206] 2. 1. 3. 1初始化步驟
[0207] 第一步是用戶采用設備完成物理/手動水平平移，以便拍攝兩個畫面。該算法通 過使用稱為FASTER[17]的角點檢測方法自動檢測圖像中的自然標記（即特征點）。應用匹 配以找到點對之間的對應關系。對于一個圖像，所有檢測到的點必須保持在相同的三維平 面上，以便能夠計算出從該平面上到圖片正確的單應性。這提供了有關三維平面的攝像機 的轉動和平移。第二張圖片遵循相同的原則，我們得到當前圖片的攝像機的第二位置和平 移?，F在可以計算從一個攝像機到另一個的轉換，并獲得第一三維點云。
[0208] 讓我們考慮用攝影機拍攝到的兩個視圖（左和右）。對于每個視圖，見證攝影機指 向平面上存在的點M。#和MK分別是M在左和右視圖中的透視投影。
[0209]我們可以寫成：
[0210]Ml =H?Me (1)
【權利要求】
1. 一種系統，其用于實時混合或復合計算機生成的三維對象和來自電影攝影機饋送的 視頻，例如來自攝像機的視頻，以為電視廣播、電影或視頻游戲實時產生增強現實視頻，其 特征在于，其中 ： (a) 電影攝影機的機身可以在三維移動，且在電影攝影機中或直接或間接連接到電影 攝影機的傳感器提供限定電影攝影機的三維位置和三維方向或使電影攝影機的三維位置 和三維方向能被計算出的實時定位數據，以及 (b) 然后實時定位數據由系統自動使用以創(chuàng)建、調用、呈現或修改計算機生成的三維對 象，以及 (c) 然后產生的計算機生成的三維對象與來自電影攝影機的饋送視頻混合或復合以提 供電視廣播、電影或視頻游戲的增強現實視頻。
2. 根據權利要求1所述的系統，其特征在于，其中所述計算機生成的三維對象實時與 來自電影攝影機的實時饋送視頻混合或復合。
3. 根據前述權利要求的任何一項所述的系統，其特征在于，其中電影攝影機的實時變 焦、聚焦和光圈設置例如使用傳統的編碼器進行測量，以及與實時定位數據一起使用，以便 將三維對象正確地呈現在三維場景中的預定位置和方向。
4. 根據前述權利要求的任何一項所述的系統，其特征在于，其中所述傳感器包括加速 計和陀螺儀（六自由度傳感器）。
5. 根據前述權利要求的任何一項所述的系統，其特征在于，其中所述傳感器包括測量 三維平移加速度的三軸加速計、測量三維角速度的三軸陀螺儀、以及測量三維絕對朝向的 磁力計，因此組成九自由度傳感器。
6. 根據前述權利要求的任何一項所述的系統，其特征在于，所述傳感器包括三維距離 傳感器，例如結構光或飛行時間攝影機。
7. 根據權利要求6所述的系統，其特征在于，其中所述三圍范圍傳感器獲取攝影機視 頻輸出中的每個像素的深度。
8. 根據權利要求7所述的系統，其特征在于，其中所述邊緣深度通過在電影攝影機的 高分辨率饋送視頻上重新投影三維范圍傳感器深度來進行改善。
9. 根據前述權利要求的任何一項所述的系統，其特征在于，其中所述傳感器構成可以 牢固固定到電影攝影機的單元。
10. 根據權利要求9所述的系統，其特征在于，其中所述單元包括一個或兩個見證攝影 機。
11. 根據權利要求9所述的系統，其特征在于，其中所述單元包括三維距離傳感器，其 獲取視頻輸出中每個像素的深度。
12. 根據權利要求9所述的系統，其特征在于，所述單元可以組成測量設備，其可以用 于測量復雜的場景并無線傳送限定被測量的三維場景的數據至計算機，然后該計算機追蹤 場景或恢復場景的追蹤。
13. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統包括一個單一的 見證攝影機（單視場的情況）或兩個見證攝影機（立體視場的情況），其配備有可以是180 度魚眼鏡頭的鏡頭。
14. 根據權利要求13所述的系統，其特征在于，其中一個或多個見證攝影機從電影攝 影機偏移且使用包括第一和第二圓圈組的校準表得到偏移值，每個圓圈處于相對一個或多 個其他圓圈已知的位置且每個圓圈使用二進制大對象圖像算法進行識別。
15. 根據前述權利要求的任何一項所述的系統，其特征在于，其中使用包括若干圓圈的 校準表校準電影攝影機鏡頭的光學畸變，每個圓圈處于相對一個或多個其他圓圈已知的位 置且每個圓圈使用二進制大對象圖像算法進行識別。
16. 根據前述權利要求的任何一項所述的系統，其特征在于，其中所述電影攝影機的三 維位置和方向參考產生的真實世界的三維映射并部分通過使用來自傳感器的實時三維定 位數據加上光流來進行確定，其中一個或多個見證攝影機測量場景且在處理器上運行的軟 件檢測場景中不是手動或人為增加到場景中的自然標記（"特征點"）。
17. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統使用一個或兩個 高速（例如至少IOOfps)見證攝影機使該系統能夠完全初始化，而沒有僅僅測量要追蹤場 景的獨立階段（"即時測量"），恰恰相反，在攝影機用于拍攝視頻的同時測量連續(xù)發(fā)生。
18. 根據權利要求17所述的系統，其特征在于，其中兩臺高速見證攝影機組成立體系 統，其使軟件能夠處理圖像且能夠在即使一點也不移動攝影機系統的情況下產生即時三維 點云（例如使用兩個攝影機之間的間隔和對極幾何的認知將場景中的大量點與它們在三 維空間的位置結合）。
19. 根據權利要求17所述的系統，其特征在于，其中三維點云中每個像素的深度使用 從每個立體見證攝影機獲得的相應二維紋理補丁和極線線性搜索算法得到。
20. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統運行結合了來自 見證攝影機系統的光流數據與來自硬件傳感器的實時定位數據的融合算法。
21. 根據權利要求20所述的系統，其特征在于，其中所述融合算法是根據擴展卡爾曼 濾波預測/校正技術整合來自所有的傳感器的輸出以及重新校準所有的傳感器，以確定攝 影機的位置和方向，其中所有的傳感器可以包括加速計、陀螺儀、磁力計、三維距離傳感器。
22. 根據權利要求21所述的系統，其特征在于，其中當確定如何合并每個傳感器的數 據時，擴展卡爾曼濾波融合算法使用與每個傳感器輸出有關的置信度數據。
23. 根據前述權利要求的任何一項所述的系統，其特征在于，其中一個或多個見證攝影 機系統產生的關鍵幀是視覺追蹤過程的一部分且是在見證攝影機饋送視頻的4個不同分 辨率水平計算的實時圖像。
24. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統包括（a)內容 生成計算機，其提供三維計算機生成的虛擬圖形、對象和地點的動畫，以及（b)呈現計算機 (其可以獨立于或不獨立于內容生成計算機），其中限定電影攝影機的三維位置的實時定 位數據由內容生成計算機和呈現計算機之一或二者使用以實時引起要生成的計算機生成 的三維對象，該計算機生成的三維對象可以實時插入和混合到電影攝影機的饋送視頻中以 形成饋送視頻中所示的場景的自然部分。
25. 根據前述權利要求的任何一項所述的系統，其特征在于，其中計算機生成的三維對 象是動畫，其可以在場景中的任何地方移動且可以以內容生成計算機確定的方式改變他們 的形狀和外觀。
26. 根據前述權利要求的任何一項所述的系統，其特征在于，其中計算機生成的三維對 象是人或生物的動畫形態(tài)，當混合到場景中時其以逼真的方式移動（如跑、跳舞、步行、戰(zhàn) 斗、飛行、跳躍……）。
27. 根據前述權利要求的任何一項所述的系統，其特征在于，其中所述攝影機定位或追 蹤數據也可用于后期制作以方便后期制作CGI。
28. 根據前述權利要求的任何一項所述的系統，其特征在于，其中三維距離傳感器用于 提高與重新構造的三維點有關的深度測量的精度，或拒絕重新構造的三維點。
29. 根據權利要求28所述的系統，其特征在于，其中三維距離傳感器用于實時深度鍵 控以實現動態(tài)遮擋并抑制綠色階段的最終使用。
30. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統使用了小型攝影 機注冊對象，例如已知尺寸且覆蓋有已知圖案、放置在場景中的板，以便檢測到圖案的角被 作為三維點云（以及所述世界）的起點。
31. 根據權利要求30所述的系統，其特征在于，其中攝影機注冊對象包含至少兩個已 知尺寸、真垂直排布且使用二進制大對象圖像識別算法識別的球。
32. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統包括表明磁北的 磁力計、表明重力方向（以及因此給出真垂線）的加速計、表明系統是否仰攝/俯攝或向左 方或右方搖攝或圍繞光軸旋轉的陀螺儀、實現對從初始位置的三維平移的推算的三軸加速 度計。
33. 根據前述權利要求的任何一項所述的系統，其特征在于，其中軟件嘗試在三維映射 中生成均勻分布的點云以大大減小追蹤損耗且增加追蹤精度（產生了更多的視差，因此估 計的攝影機位置更精確）。
34. 根據前述權利要求的任何一項所述的系統，其特征在于，其中攝影機追蹤系統可以 無線連接到電影攝影機且當產生三維點云時可以因此在布景周圍快速移動。
35. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統提供了攝影機追 蹤系統，當導演/攝影師追蹤、搖攝、傾斜連接到電影攝影機的攝影機追蹤系統時，所述攝 影機追蹤系統結合三維場景的實時測量（單視場的情況）或即時測量（立體視場的情況） 與電影攝影機的追蹤。
36. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統使電影攝影機追 蹤的所有方面完全自動化，包括旋轉、平移、聚焦、光圈、焦距；以及使要混合到視頻中的三 維計算機生成的內容的縮放、定位和方向自動化。
37. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統容許場景的實時 連續(xù)測量以產生限定場景的更完整的點云。
38. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統例如使用ORB附 加旋轉不變性描述符至場景中檢測到的特征點以方便追蹤的恢復。
39. 根據前述權利要求的任何一項所述的系統，其特征在于，所述系統使用與傳感器提 供的信息有關的恒速模型，以通過之前正確計算的或確認的位置預測電影攝影機的下一個 位置。
40. 根據權利要求39所述的系統，其特征在于，所述系統使用所述預測在當前畫面上 重新投影三維點云，使點匹配算法能夠匹配在見證攝影機系統的實時饋送視頻中識別的點 和在新的三維點云中投影的點。
41. 根據權利要求40所述的系統，其特征在于，所述系統為攝影機追蹤使用萊文貝 格一馬夸特最小化方案以使在見證攝影機系統的實時饋送視頻中識別的點和在新的三維 點云中投影的點之間的誤差減到最小。
42. 根據前述權利要求的任何一項所述的系統，其特征在于，其中用戶可以使用攝影機 追蹤系統生成的三維點云定義三維蔽光框，例如三維摳像蔽光框。
43. 根據前述權利要求的任何一項所述的系統，其特征在于，三維對象包括靜態(tài)對象、 動態(tài)動畫、虛擬世界、虛擬人物、虛擬建筑、虛擬景觀、虛擬電影布景以及動畫數據庫中的任 何數據。
44. 根據前述權利要求的任何一項所述的系統，其特征在于，其中電影攝影機和見證攝 影機使用調制光源對畫面采集延遲進行校準，例如通過比較與閃光燈有關的光強度曲線。
45. 根據前述權利要求的任何一項所述的系統，其特征在于，其中電影攝影機是以下的 任何一種：升降臺攝影機、攝影機穩(wěn)定器、手持式攝影機、移動攝影車式攝影機、三腳架攝影 機、智能手機、增強現實眼鏡等。
46. -種實時混合或復合計算機生成的三維對象和電影攝影機的饋送視頻的方法，其 特征在于，其中電影攝影機的機身可以在三維移動，且在攝影機中或連接至攝影機的傳感 器提供限定攝影機的三維位置和三維方向或使三維位置能夠被計算出的實時定位數據。
47. -種方法，其用于實時混合或復合計算機生成的三維對象和電影攝影機的饋送視 頻，例如攝像機的視頻，以為電視廣播、電影或視頻游戲產生增強現實視頻，其特征在于，其 中： (a) 電影攝影機的機身可以在三維移動，且在電影攝影機中或直接或間接連接到電影 攝影機的傳感器提供限定電影攝影機的三維位置和三維方向或使電影攝影機的三維位置 和三維方向能夠被計算出的實時定位數據以及 (b) 然后，所述實時定位數據由系統自動使用以創(chuàng)建、調用、顯示或修改計算機生成的 三維對象以及 (c) 然后，產生的計算機生成的三維對象與電影攝影機的饋送視頻混合或復合以為電 視廣播、電影或視頻游戲提供增強現實視頻。
48. 如上述定義的方法或系統，其特征在于，其用于使導演（或攝影導演）能夠實時將 攝影機中前期制作的計算機生成的三維資源、通常前期可視化或視覺效果資源加入到攝影 機拍攝的實景電影底片或視頻圖像上，使導演能夠探索可能的攝影機視角且隨自動混合到 導演看得見的視頻中的計算機生成的三維資源實時移動。
49. 如上述定義的方法或系統，其特征在于，其中記錄實時定位數據并標出時間碼，以 為后期制作過程提供匹配移動數據。
50. 如上述定義的方法或系統，其特征在于，其用于使虛擬對象或圖像能夠插入到播放 視頻流中。
51. 如上述定義的方法或系統，其特征在于，其容許下述的一個或多個： ?攝影棚用攝影機的實時追蹤 ?攝影機穩(wěn)定器的實時追蹤 ?升降臺攝影機的實時追蹤 ?移動攝影車式攝影機的實時追蹤 ?攝影機穩(wěn)定器的實時追蹤 ?外部廣播（OB)的實時追蹤 ?將實時數據（如追蹤數據）用于二維后期制作 ?將實時數據（如追蹤數據）用于三維立體內容的后期轉換 ?將實時數據（如追蹤數據）用于本地三維立體內容 ?三維圖形插入 ?用于攝影棚內或現場的廣告置入的三維圖形插入 ? OB的三維圖形插入 ?其他贊助的圖像的三維圖形插入 ?特定觀眾位置的三維圖形插入 ?特定觀眾的三維圖形插入 ?特定時間的三維圖形插入 ?填充人群場景的三維圖形插入 ?綠屏替換的三維圖形插入 ?在博物館和文化、歷史遺址和自然遺產解說中心輔助學習的教育內容的三維圖形插 入 ?場景中對象的絕對或相對尺寸的測量。
52. 如上述定義的方法或系統，其特征在于，其中電影攝影機是下述之一： ?所有具有標準視角范圍的攝影機 ?需要戰(zhàn)術光纖連接的攝影機 ?需要RF/無線連接的攝影機。
53. 如上述定義的方法或系統，其特征在于，其部署在下述市場之一： ?電影/電視（非直播） ?商業(yè)廣告（非直播） ?商業(yè)廣告直播 ?廣播（非體育） ?廣播OB ?棚內體育節(jié)目 ?基于OB的體育節(jié)目 ?電視廣告置入直播 ?互聯網用途（非直播） ?互聯網直播 ?基于區(qū)域的互聯網直播 ?互聯網廣告置入直播 ?博物館/遺產內容 ?博物館/遺產廣告 ?建筑 ?游戲。
54. 如上述定義的方法或系統，其特征在于，其用于使增強現實圖像能夠通過任何顯示 設備顯示，包括智能手機、增強現實眼鏡、依靠實時定位數據自動改變的增強現實圖像的外 觀。
55. -種影片、電影、電視節(jié)目或視頻游戲，其特征在于，其中計算機生成的三維對象與 攝影機的饋送視頻實時混合，其中攝影機的機身可以三維移動，且在攝影機中或連接到攝 影機的傳感器提供限定攝影機的三維位置或使三維位置能夠被計算出的實時定位數據。
56. -種適合連接到傳統攝影機的場景測量和追蹤設備，其特征在于，其中攝影機的機 身可以在三維移動，且在場景測量和追蹤設備中的硬件傳感器提供限定攝影機的三維位置 或使三維位置能夠被計算出的實時定位數據。
57. -種手持式或便攜式攝影機，其特征在于，包括在攝影機中或連接到攝影機的傳感 器，其提供限定攝影機相對三維參考系的三維位置和三維方向或使三維位置能夠通過分析 其他數據、例如光流數據的系統的整體或一部分被計算出的實時定位數據。
58. -種電影攝影機，其特征在于，包括或連接到立體見證攝影機系統，見證攝影系統 產生廣角（如180度）立體圖像，使軟件能夠處理圖像并在一點也不追蹤/移動攝影機系 統的情況下產生即時三維點云。
59. -種用于連接到電影攝影機的攝影機追蹤系統，其特征在于，具有產生立體圖像的 見證攝影機系統，其使軟件能夠處理圖像并在一點也不移動攝影機系統的情況下產生即時 三維點云且提供電影攝影機的實時追蹤（位置、方向、變焦、聚焦、以及光圈）。
60. -種增強現實眼鏡，其特征在于，其包括眼鏡中或連接到眼鏡的傳感器，其提供限 定眼鏡相對于三維參考系的三維位置和三維方向或使三維位置能夠通過分析其他數據、例 如光流數據的系統的整體或一部分被計算出的實時定位數據。
【文檔編號】H04N5/272GK104322052SQ201380024596
【公開日】2015年1月28日 申請日期:2013年5月9日 優(yōu)先權日:2012年5月9日
【發(fā)明者】塞繆爾·布瓦萬, 布賴斯·米休德 申請人:恩卡姆技術有限公司