用于在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的系統(tǒng)和方法
【專利摘要】本發(fā)明的實(shí)施例提供了一種在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的方法。實(shí)施例允許交互、合成對(duì)象或角色看起來像是它們“嵌入”視頻剪輯內(nèi)部或構(gòu)成其一部分。這些對(duì)象獨(dú)立于環(huán)境地在視頻剪輯內(nèi)移動(dòng)，并由用戶控制。在一實(shí)施例中，視頻幀被設(shè)置為3D環(huán)境查看器或3D“引擎”中的最遠(yuǎn)層的紋理。在另一實(shí)施例中，視頻幀的分立的層在輸出屏幕上與合成對(duì)象疊加，并同步移動(dòng)和視場(chǎng)設(shè)置，以給出僅使用一個(gè)攝像機(jī)的感覺。
【專利說明】用于在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的系統(tǒng) 和方法
[0001] 相關(guān)申請(qǐng)的交叉引用
[0002] 本申請(qǐng)與2011年9月8日提交的美國臨時(shí)專利申請(qǐng)61/532, 422 "Fitness Equipment Sensors"有關(guān)，其整體并入此處作為參考。

【技術(shù)領(lǐng)域】
[0003] 本申請(qǐng)一般涉及視頻游戲和計(jì)算機(jī)模擬軟件，特別涉及用于將對(duì)象融入真實(shí)世界 視頻剪輯的系統(tǒng)和方法。

【背景技術(shù)】
[0004] 目前，為用于視頻游戲、技術(shù)或教育模擬而開發(fā)的"3D"景觀或環(huán)境可以是可視模 擬且具有娛樂性的，但是，在許多情況下，尚未實(shí)現(xiàn)為對(duì)真實(shí)世界的完全逼真、照片擬真的 呈現(xiàn)。因此，對(duì)于大多數(shù)用戶來說以及在這些類型的應(yīng)用的大多數(shù)使用中，盡管"浸入式"印 象是希望的效果，由于真實(shí)世界環(huán)境的可視呈現(xiàn)沒有足夠的說服力，所以沒有實(shí)現(xiàn)這種浸 入式效果。
[0005] -種解決方案可以是將真實(shí)世界視頻用作這些游戲或技術(shù)模擬的背景，但在游戲 或模擬需要"玩家"或其他移動(dòng)對(duì)象在屏幕上出現(xiàn)、并且需要它們獨(dú)立于視頻移動(dòng)的情況 下，存在對(duì)于這樣的系統(tǒng)的需求：其允許對(duì)這些"玩家"或?qū)ο蟮耐獠康?、?dú)立視頻游戲般控 制，并允許將這些對(duì)象覆蓋在視頻上并使它們看起來在與視頻所示相同的環(huán)境中正確移動(dòng) 的能力。
[0006] 另外，相比于制作同樣環(huán)境的視頻，真實(shí)世界環(huán)境的3D呈現(xiàn)的產(chǎn)生時(shí)間/成本相 對(duì)較高。視頻游戲開發(fā)是成本相對(duì)較高的工作。旨在獲得廣泛市場(chǎng)接受度的、具有高產(chǎn)值 的許多當(dāng)前游戲可具有幾千萬甚至是幾億元的開發(fā)預(yù)算以及1到4年的時(shí)間范圍來完成。 這些開發(fā)資源的大部分分配給設(shè)計(jì)和搭建作為游戲或模擬的背景的3D環(huán)境。
[0007] 作為替代的是，記錄真實(shí)世界位置的視頻在大多數(shù)情況下是相對(duì)較為便宜且較快 的開發(fā)過程。在對(duì)用戶可控制背景環(huán)境的視角的程度有著有限要求的情況下，一種解決方 案可以是將記錄的視頻用作游戲和模擬的背景。例如，在一般所稱的"軌道"游戲或模擬中， 通常不需要用戶在背景環(huán)境中轉(zhuǎn)身（平移）以及上下看（仰俯）。在這些情況下，使用具有 在僅僅一個(gè)方向上的移動(dòng)的簡單視頻記錄或視頻記錄集可能是描繪背景環(huán)境的可接受的 方法。
[0008] 在許多視頻游戲中，以及在許多情況下，技術(shù)模擬需要游戲角色和其他演員的呈 現(xiàn)在屏幕上被觀看。在電影和電視工業(yè)中，這些角色和特效在稱為"后期制作"或VFX過 程中被添加到或覆蓋到視頻，但結(jié)果是新的、非交互式的可視呈現(xiàn)，其中，這些添加是永久 性的，并且每當(dāng)視頻播放時(shí)，僅能以同樣的方式觀看。然而，這種過程不能用在這樣的視頻 游戲或模擬中：其中，要求角色或特效由用戶控制，并且在每次參與游戲或模擬時(shí)不同地動(dòng) 作。
[0009] 相應(yīng)地，存在對(duì)于這樣的手段的需求：其能通過真實(shí)世界視頻提供背景環(huán)境，并進(jìn) 一步提供包括獨(dú)立于視頻移動(dòng)而動(dòng)作的演員或角色以及特效的能力。
[0010] 健身與健康領(lǐng)域的現(xiàn)有軟件應(yīng)用已經(jīng)在利用新技術(shù)（例如互聯(lián)網(wǎng)、3D視頻游戲） 以及分發(fā)娛樂內(nèi)容的相對(duì)較為現(xiàn)代的方法的方式上受到限制。室內(nèi)和室外健身活動(dòng)中可用 的大多數(shù)娛樂源限制于聽音樂和看廣播電視或視頻。在幾種情況下，已經(jīng)存在并入視頻游 戲元素和互聯(lián)網(wǎng)信息的嘗試，但迄今為止，這些嘗試尚未以獲得廣泛市場(chǎng)接受度的方式執(zhí) 行。
[0011] 相應(yīng)地，存在這樣的需求：以增進(jìn)健身活動(dòng)、激勵(lì)用戶更有效地鍛煉并且實(shí)際上使 得健身活動(dòng)更有趣的方式有效并入例如視頻游戲和互聯(lián)網(wǎng)信息的娛樂源。
[0012] 進(jìn)一步地，例如社交網(wǎng)絡(luò)、視頻游戲、實(shí)況在線多玩家游戲以及表現(xiàn)數(shù)據(jù)分析和分 享的技術(shù)已經(jīng)證明非常受到大眾歡迎。相應(yīng)地，存在對(duì)于這樣的手段的需求：借助該手段， 這些技術(shù)被適應(yīng)為適合特定的健身活動(dòng)，特別是室內(nèi)有氧設(shè)備（例如除其他的以外，跑步 機(jī)、橢圓機(jī)、自行車、賽艇機(jī)）上的鍛練。


【發(fā)明內(nèi)容】

[0013] 本發(fā)明的實(shí)施例提供了在真實(shí)世界視頻剪輯中對(duì)合成對(duì)象進(jìn)行可視化的方法。該 方法包括從真實(shí)世界視頻剪輯的至少一部分中提取信息。所提取的信息可被處理為形成透 明3D場(chǎng)景，其反映真實(shí)世界視頻剪輯中攝像機(jī)行進(jìn)的整個(gè)路徑。該方法可進(jìn)一步包括，基 于所提取的信息，將來自真實(shí)世界視頻剪輯的一個(gè)或多個(gè)對(duì)象和特征中的至少一個(gè)搭建到 透明3D場(chǎng)景中。搭建的對(duì)象和特征基于真實(shí)世界視頻剪輯可以是靜態(tài)的和動(dòng)態(tài)的中的至 少一者。進(jìn)一步地，該方法在3D播放器中對(duì)搭建的透明3D場(chǎng)景以及覆蓋在真實(shí)世界視頻 剪輯的背景層上的動(dòng)態(tài)對(duì)象進(jìn)行可視化。另外，該方法在3D顯示器中在真實(shí)世界視頻剪輯 中的特征的透明3D場(chǎng)景呈現(xiàn)內(nèi)添加附加的合成對(duì)象（靜態(tài)的或動(dòng)態(tài)的）。透明3D場(chǎng)景呈 現(xiàn)可基于所置入的透明3D場(chǎng)景的可視化。另外，該方法包括將3D透明層用作"遮擋"層。 在透明對(duì)象后面出現(xiàn)的遮擋層的一部分或?qū)ο罂赡鼙徽趽酰⑶移湮恢糜烧鎸?shí)世界視頻剪 輯占據(jù)。所提取的信息（來自真實(shí)世界視頻剪輯）可被應(yīng)用到3D播放器的攝像機(jī)。另外， 該方法包括與視頻剪輯的移動(dòng)獨(dú)立地控制合成對(duì)象的移動(dòng)。
[0014] 另外，本發(fā)明的實(shí)施例提供了用于對(duì)一個(gè)或多個(gè)活動(dòng)的可視游戲或模擬進(jìn)行渲染 的系統(tǒng)。該系統(tǒng)可包括存儲(chǔ)器、處理器和顯示屏。存儲(chǔ)器包括一個(gè)或多個(gè)指令，其能夠由處 理器執(zhí)行，以促使多個(gè)用戶各自地選擇多個(gè)真實(shí)世界視頻文件的至少一個(gè)，以便進(jìn)行可視 化。該指令進(jìn)一步基于所述多個(gè)真實(shí)世界視頻文件中對(duì)應(yīng)地選擇的至少一個(gè)向各個(gè)用戶提 供3D環(huán)境中的背景場(chǎng)景。背景場(chǎng)景可包括與所選擇的真實(shí)世界視頻文件對(duì)應(yīng)的一個(gè)或多 個(gè)對(duì)象。進(jìn)一步地，指令可向各個(gè)用戶提供屏幕上的可視呈現(xiàn)，作為與所選擇的真實(shí)世界視 頻文件對(duì)應(yīng)的3D環(huán)境中的化身。另外，基于由用戶執(zhí)行的一個(gè)或多個(gè)活動(dòng)，指令（可由處 理器執(zhí)行）通過所選擇的化身顯示3D環(huán)境中用戶的實(shí)時(shí)移動(dòng)。所述一個(gè)或多個(gè)活動(dòng)對(duì)應(yīng) 于參與可視游戲以及鍛練中的至少一者。
[0015] 上面，可允許交互合成對(duì)象或角色看起來如同嵌入或構(gòu)成視頻或電影剪輯的一部 分，然而，這些對(duì)象與視頻剪輯內(nèi)的景觀或環(huán)境獨(dú)立地移動(dòng)，并由用戶或其他指示來控制。 在本發(fā)明一實(shí)施例中，該效果通過以下方式實(shí)現(xiàn)：將視頻幀設(shè)置為3D環(huán)境查看器或3D "引 擎"中最遠(yuǎn)的層中的紋理，通過輸入裝置對(duì)對(duì)象的分立且獨(dú)立的移動(dòng)進(jìn)行控制，并將視頻攝 像機(jī)的3D移動(dòng)和視場(chǎng)設(shè)置分配給3D應(yīng)用攝像機(jī)以給出僅使用一個(gè)攝像機(jī)的感覺。在另一 個(gè)實(shí)施例中，這一點(diǎn)通過以下方式完成：將合成對(duì)象或角色與視頻幀的分立層疊加在輸出 屏幕上，并將3D環(huán)境攝像機(jī)的移動(dòng)和視場(chǎng)同步到視頻攝像機(jī)，以給出僅使用一個(gè)攝像機(jī)的 感覺。
[0016] 結(jié)果得到的效果是，3D或合成對(duì)象看起來在視頻景觀內(nèi)、但獨(dú)立于視頻移動(dòng)地移 動(dòng)。例如，在一個(gè)實(shí)施例中，視頻可以從在街道上以l〇km/小時(shí)的速度向前行駛的移動(dòng)車輛 記錄。對(duì)象或角色可以看起來在車輛和攝像機(jī)前方奔跑，停在前方的特定距離、旋轉(zhuǎn)、表演 場(chǎng)景、于是繞過角落向后跑出視野。3D對(duì)象可由"游戲"或應(yīng)用的用戶獨(dú)立地控制，且3D交 互和呈現(xiàn)可以在每次觀看同一視頻片段時(shí)不同。
[0017] 在本發(fā)明一實(shí)施例中，本技術(shù)可用作健身娛樂游戲或模擬。用戶在鍛練活動(dòng)期間 的移動(dòng)可以是使用跑步機(jī)、室內(nèi)自行車、橢圓機(jī)、賽艇機(jī)或其他設(shè)備的走、跑或劃船。移動(dòng)使 用追蹤機(jī)器上的活動(dòng)的傳感器被傳送到應(yīng)用。用戶的活動(dòng)也可以是常規(guī)的室外移動(dòng)。在這 種情況下，用戶身上的傳感器追蹤移動(dòng)的類型和強(qiáng)度。
[0018] 一替代性實(shí)施例可以是賽車游戲，其中，背景環(huán)境沿著軌道線路前進(jìn)，使得車能用 軌道從一側(cè)到另一側(cè)移動(dòng)，但背景環(huán)境僅僅向前或向后前進(jìn)（包括縮放效果）。
[0019] 在另一實(shí)施例中，當(dāng)使用允許在用戶旋轉(zhuǎn)時(shí)改變背景視頻的功能時(shí)，可搭建用于 游戲或模擬的整個(gè)虛擬世界，其中，背景是移動(dòng)的視頻，而不是圖像或有紋理的3D對(duì)象。
[0020] 在本發(fā)明一實(shí)施例中，通過化身或其他角色在屏幕上的呈現(xiàn)，用戶或玩家可在相 同的屏幕環(huán)境下交互，并觀看彼此的移動(dòng)和動(dòng)作。在這種情況下，用戶可在互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng) 或其他網(wǎng)絡(luò)上彼此連接。
[0021] 在本發(fā)明一實(shí)施例中，關(guān)于用戶的表現(xiàn)或參與游戲或與其他用戶的交互的信息 被追蹤、存儲(chǔ)、分析并與應(yīng)用中的其他用戶以及使用社交網(wǎng)絡(luò)（除許多其他的以外，例如 Facebook、Twitter、Linkedln)、游戲用戶界面和外部網(wǎng)站的非用戶分享。
[0022] 進(jìn)一步地，在本發(fā)明一實(shí)施例中，視頻和3D角色可彼此獨(dú)立地移動(dòng)，但可以看起 來覆蓋在同一屏幕上。
[0023] 根據(jù)本發(fā)明另一實(shí)施例，3D角色根據(jù)引導(dǎo)屏幕位置坐標(biāo)的規(guī)則移動(dòng)，其允許它們 看起來在視頻所示的環(huán)境中移動(dòng)。
[0024] 在本發(fā)明的優(yōu)選實(shí)施例中，這些規(guī)則由在視頻（遮擋層）中示出的環(huán)境的關(guān)鍵方 面的透明的3D復(fù)制指示。
[0025] 進(jìn)一步地，根據(jù)本發(fā)明一實(shí)施例，當(dāng)視頻攝像機(jī)改變視角時(shí)（例如平移或仰俯）， 同樣的視角變化應(yīng)用到3D角色。
[0026] 在本發(fā)明的優(yōu)選實(shí)施例中，存在這樣的軟件應(yīng)用：其包括媒體播放器，該播放器能 夠?qū)⒁曨l幀、3D獨(dú)立移動(dòng)的角色和透明3D遮擋層在一個(gè)屏幕上渲染為分立覆蓋層。
[0027] 在本發(fā)明一實(shí)施例中，本技術(shù)用作健身娛樂游戲或模擬，其中，用戶的鍛練活動(dòng)移 動(dòng)被用作到游戲的輸入控制。
[0028] 在本發(fā)明一實(shí)施例中，通過化身或其他角色的在屏幕上的呈現(xiàn)，用戶或玩家可在 同一屏幕環(huán)境中交互，并看到各自的移動(dòng)和動(dòng)作。用戶也能使用互聯(lián)網(wǎng)語音技術(shù)或內(nèi)置到 應(yīng)用中的多種功能彼此交互。
[0029] 在本發(fā)明一實(shí)施例中，關(guān)于用戶表現(xiàn)或參與游戲的信息被追蹤、存儲(chǔ)、分析并與應(yīng) 用內(nèi)的其他用戶以及使用社交網(wǎng)絡(luò)的非用戶分享。
[0030] 本發(fā)明一實(shí)施例可用作需要簡單的連續(xù)前向移動(dòng)的游戲、模擬或娛樂應(yīng)用。它的 一個(gè)實(shí)例可以是健身有關(guān)的應(yīng)用，其中，前向移動(dòng)通過傳感器或其他輸入裝置由用戶的行 走、慢跑、奔跑、騎自行車或劃船運(yùn)動(dòng)進(jìn)行控制?？晒┨娲目梢允琴愜囉螒?，其中，背景環(huán) 境沿著軌道線路前進(jìn)，使得車輛能用軌道從一側(cè)移動(dòng)到另一側(cè)，但背景環(huán)境僅僅后向或前 向前進(jìn)（包括縮放效果）。
[0031] 本發(fā)明所促進(jìn)的進(jìn)一步的功能可允許玩家或參與者在通過互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)或其他 網(wǎng)絡(luò)連接時(shí)看到彼此的動(dòng)作和移動(dòng)。進(jìn)一步的交互可以是應(yīng)用內(nèi)的通信，包括語音、視頻和 其他信號(hào)。
[0032] 另一功能可以是，應(yīng)用將存儲(chǔ)關(guān)于用戶表現(xiàn)的信息，其可被分析，在游戲或模擬 正在進(jìn)行時(shí)實(shí)時(shí)地或在游戲或模擬已經(jīng)結(jié)束之后通過包括一般叫做"社交網(wǎng)絡(luò)"（例如 Facebook、Twitter、Linkedln)的網(wǎng)絡(luò)在應(yīng)用內(nèi)以及在外部網(wǎng)絡(luò)上分享。

【專利附圖】

【附圖說明】
[0033] 圖1示出了根據(jù)本公開一實(shí)施例用于在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可 視化的系統(tǒng)的示例性框圖；
[0034] 圖2示出了根據(jù)本公開另一實(shí)施例的系統(tǒng)的示例性框圖；
[0035] 圖3A到3Z示出了根據(jù)本公開一實(shí)施例將較小的一段視頻數(shù)據(jù)（攝像機(jī)和點(diǎn)云） 融入單個(gè)較長的一段的示例性過程；
[0036] 圖4示出了根據(jù)本公開一實(shí)施例看到的疊加在視頻剪輯上的獨(dú)立角色或3D對(duì) 象；
[0037] 圖5示出了根據(jù)本公開一實(shí)施例，在本發(fā)明優(yōu)選實(shí)施例中使用的視頻（遮擋層） 中所示的環(huán)境中的關(guān)鍵方面的透明呈現(xiàn)，用以設(shè)置在3D空間中的角色移動(dòng)的規(guī)則；
[0038] 圖6示出了根據(jù)本公開某些實(shí)施例，用于在本發(fā)明優(yōu)選實(shí)施例的3D空間層中設(shè)置 的路徑，用以引導(dǎo)移動(dòng)的對(duì)象；
[0039] 圖7示出了根據(jù)本公開某些實(shí)施例，在本發(fā)明優(yōu)選實(shí)施例中使用的3D空間層中設(shè) 置的移動(dòng)遮擋對(duì)象，用以示出在視頻中移動(dòng)的對(duì)象；
[0040] 圖8示出了根據(jù)本公開某些實(shí)施例，在游戲或模擬中交互的角色的名字標(biāo)簽或描 述的一種可視呈現(xiàn)；
[0041] 圖9示出了根據(jù)本公開某些實(shí)施例將Google數(shù)據(jù)用于用戶活動(dòng)的地圖的一種可 視呈現(xiàn)；
[0042] 圖10示出了根據(jù)本公開某些實(shí)施例的實(shí)況互聯(lián)網(wǎng)連接信息饋送的一種可視呈 現(xiàn)，并可包括RSS、SNS以及其他信息；
[0043] 圖11示出了根據(jù)本公開某些實(shí)施例已經(jīng)被用戶設(shè)置為激勵(lì)因素的里程碑、目的 或其他目標(biāo)的一種可視呈現(xiàn)；
[0044] 圖12示出了根據(jù)本公開某些實(shí)施例來自在游戲活動(dòng)期間實(shí)時(shí)顯示的消息的接收 者之一的Twitter消息的一種可視呈現(xiàn)；
[0045] 圖13示出了根據(jù)本公開某些實(shí)施例在用戶對(duì)想要交互的其他用戶"加標(biāo)簽"的交 互功能的一種可視呈現(xiàn)；
[0046] 圖14示出了根據(jù)本公開某些實(shí)施例的交互式HTML Flash模塊的一種可視呈現(xiàn)，其 顯示在活動(dòng)期間由系統(tǒng)記錄的信息并包括用戶隨時(shí)間累積的使用數(shù)據(jù)；
[0047] 圖15示出了根據(jù)本公開某些實(shí)施例包括關(guān)鍵參與游戲數(shù)據(jù)的活動(dòng)"儀表板"覆蓋 層的一種可視呈現(xiàn)；
[0048] 圖16示出了根據(jù)本公開某些實(shí)施例可能添加的圖像、視頻的可視呈現(xiàn)或其他可 視呈現(xiàn)，其可看起來像是位于視頻所示的環(huán)境中一樣（可以作為廣告）；
[0049] 圖17和圖18示出了根據(jù)本公開某些實(shí)施例使用實(shí)況互聯(lián)網(wǎng)視頻的可視呈現(xiàn)；
[0050] 圖19和圖20示出了根據(jù)本公開某些實(shí)施例的游戲的多玩家模式的可視呈現(xiàn)，其 中，兩個(gè)參與者同時(shí)、但來自經(jīng)由互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)或其他網(wǎng)絡(luò)連接的不同位置地一起參與游 戲；
[0051] 圖21和圖22示出了根據(jù)本公開某些實(shí)施例的菜單屏幕覆蓋層的可視呈現(xiàn)；
[0052] 圖23示出了根據(jù)本公開某些實(shí)施例的門戶、虛擬門或"入口"的一種可視呈現(xiàn)，門 戶、虛擬門或"入口"可標(biāo)記視頻從一個(gè)位置變到另一個(gè)位置的點(diǎn)；
[0053] 圖24示出了根據(jù)本公開某些實(shí)施例的奔跑的化身的一種可視呈現(xiàn)，奔跑的化身 代表在其自己相應(yīng)位置奔跑的用戶，這些用戶被編程為互相經(jīng)過；
[0054] 圖25示出了根據(jù)本公開某些實(shí)施例的奔跑的化身的一種可視呈現(xiàn)，其被編程為 移到遮擋層中的移動(dòng)對(duì)象的道路之外；
[0055] 圖26示出了根據(jù)本公開某些實(shí)施例的一種可視呈現(xiàn)，其中，向用戶或玩家給出改 變路徑或留在當(dāng)前路線中的選擇；
[0056] 圖27示出了根據(jù)本公開某些實(shí)施例的多并行用戶的一種可視呈現(xiàn)；
[0057] 圖28示出了根據(jù)本公開某些實(shí)施例的可能的界面的一種可視呈現(xiàn)，其作為互聯(lián) 網(wǎng)上的網(wǎng)站或系統(tǒng)游戲界面；
[0058] 圖29示出了根據(jù)本公開某些實(shí)施例的另一可能的界面的一種可視呈現(xiàn)，其中，用 戶可在視頻位置的地圖上看到當(dāng)前"實(shí)況"的參與者；
[0059] 圖30示出了根據(jù)本公開某些實(shí)施例的更多信息的用戶界面的一種可視呈現(xiàn)以及 搜索視頻或位置的方法；
[0060] 圖31示出了根據(jù)本公開某些實(shí)施例的用戶界面的一種可視呈現(xiàn)，其中，參與者可 設(shè)置由其他參與者加入的事件；
[0061] 圖32示出了根據(jù)本公開某些實(shí)施例的用戶界面的一種可視呈現(xiàn)，其示出了在一 時(shí)間段上對(duì)于參與者累積的數(shù)據(jù)的可視呈現(xiàn)；
[0062] 圖33A和圖33B示出了根據(jù)本公開某些實(shí)施例用于實(shí)現(xiàn)該結(jié)果的方法流程圖；
[0063] 圖34A和圖34B示出了在本發(fā)明一實(shí)施例中使用的用以提取視頻攝像機(jī)的3D移 動(dòng)坐標(biāo)的方法流程圖。
[0064] 貫穿附圖，類似的參考標(biāo)號(hào)指代對(duì)應(yīng)的部件。

【具體實(shí)施方式】
[0065] 下面，參照附圖，現(xiàn)在將更為全面地介紹本發(fā)明的示例性實(shí)施例，圖中示出了本發(fā) 明的某些但不是全部實(shí)施例。事實(shí)上，本發(fā)明可以以多種不同的形式實(shí)現(xiàn)，不應(yīng)理解為限制 于這里給出的實(shí)施例；相反，提供這些實(shí)施例，使得本公開將滿足適用的法律要求。貫穿全 文，類似的編號(hào)指代類似的元件。
[0066] 為了介紹多種實(shí)施例，術(shù)語"3D"用來指通用視頻游戲?qū)ο蠡蜍浖?，其可從多個(gè)角 度或方面觀看，不必是顯示分立視頻饋送以給出深度印象的立體視覺可視方法（例如使 用3D眼鏡）。因此，3D開發(fā)軟件可以指例如但不限于Autodesk Maya, Autodesk3DsMax， Cinema4D及其它的軟件。3D對(duì)象或3D場(chǎng)景可以指在這種類型的軟件包中創(chuàng)建的對(duì)象。 [0067] 如上面所總結(jié)的，本發(fā)明涉及視頻游戲和計(jì)算機(jī)模擬，其可將一個(gè)或多個(gè)真實(shí)世 界視頻用于搭建對(duì)于其他交互式移動(dòng)或靜態(tài)角色的背景，該角色旨在看起來像是在視頻所 示的環(huán)境中存在、出現(xiàn)或移動(dòng)一樣。在本發(fā)明的情況下，3D效果被設(shè)計(jì)為創(chuàng)建交互式實(shí)時(shí)游 戲環(huán)境，其可使得用戶能夠觀看可實(shí)時(shí)地在真實(shí)世界視頻內(nèi)發(fā)生的3D或合成以及游戲和 其他（HTML，flash等）事件。
[0068] 在本公開一實(shí)施例中，核心應(yīng)用是交互式3D使能的媒體播放器/查看器，其包括 游戲引擎。查看器應(yīng)用可允許交互式3D對(duì)象看起來像是"嵌入"在視頻剪輯內(nèi)，但與視頻 剪輯內(nèi)的景觀或環(huán)境獨(dú)立地移動(dòng)，視頻剪輯內(nèi)的景觀或環(huán)境又可適應(yīng)于用戶活動(dòng)。
[0069] 放置在與某種形式的處理器在一起的機(jī)器前面的屏幕可托管具有視頻游戲的軟 件應(yīng)用，其可由用戶的鍛練動(dòng)作觸發(fā)，且在游戲或模擬期間與其他用戶實(shí)況交互的用戶可 通過社交網(wǎng)絡(luò)且在線地分享（發(fā)送和接收）信息。應(yīng)用還可存儲(chǔ)和分析關(guān)于用戶表現(xiàn)的數(shù) 據(jù)，并提供用戶表現(xiàn)的圖形呈現(xiàn)，以便激勵(lì)用戶。進(jìn)一步地，可促使用戶在例如Facebook、 Linkedln、Twitter等的社交網(wǎng)絡(luò)上張貼其表現(xiàn)的呈現(xiàn)。
[0070] 在一實(shí)施例中，視頻幀可作為3D環(huán)境中最遠(yuǎn)的層向用戶顯示。當(dāng)調(diào)用時(shí)，各個(gè)幀 從盤讀取、解壓縮到存儲(chǔ)器中、發(fā)送到3D視頻卡存儲(chǔ)器并接著在屏幕上繪制，作為可能是 3D環(huán)境的底層的對(duì)象上的紋理?？芍甘敬诉^程的定時(shí)可以被用戶定制為允許更為理想以及 超平滑的視頻回放體驗(yàn)。在多核硬件系統(tǒng)中，各個(gè)視頻幀也可在各個(gè)核中的分立片段中渲 染，使得系統(tǒng)能夠?qū)崿F(xiàn)具有在線實(shí)況多玩家連接以及3D游戲?qū)ο蟮母郊忧曳至⒌耐暾麑?的極為高效的性能等級(jí)（例如60fps HD視頻）。
[0071] 穿過視頻幀的移動(dòng)可以通過來自外部控制器的輸入速度管理，其可由算法變換為 一序列，該序列決定哪些幀在屏幕上渲染以及哪些幀被跳過、以給出變速效果?？蓱?yīng)用平滑 因子，以補(bǔ)償輸入傳感器裝置的極限準(zhǔn)確度。當(dāng)已有的每秒鐘幀基礎(chǔ)不足以保持現(xiàn)實(shí)的幀 流時(shí)，可使用視頻幀內(nèi)插以獲得增大的準(zhǔn)確度。
[0072] -般地，視頻剪輯文件伴有環(huán)境聲音的伴隨立體聲聲道，其在記錄位置時(shí)取得或 分立地建立。查看器應(yīng)用對(duì)聲音進(jìn)行處理，使得其不會(huì)隨著視頻速度變化而改變音高（即， 經(jīng)過跑步者的摩托車的聲音聽起來總是像摩托車）。另外，應(yīng)用可支持插入用戶自己的音樂 (來自例如iPod的播放器），其可與（視頻剪輯的）環(huán)境聲音混合（如果用戶選擇），給出 與甚至在佩戴耳機(jī)時(shí)經(jīng)過可聽見路過的汽車的位置一樣的感覺。
[0073] 現(xiàn)在參照?qǐng)D1，其示出了根據(jù)本公開一實(shí)施例，用于在真實(shí)世界視頻剪輯內(nèi)對(duì)合成 對(duì)象進(jìn)行可視化的系統(tǒng)的示例性框圖。如所示出的，系統(tǒng)102可包括、但不限于存儲(chǔ)器104 以及耦合到存儲(chǔ)器104的處理器106。存儲(chǔ)器104可包括一個(gè)或多個(gè)指令，其可由處理器 106執(zhí)行，以便在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化。在一實(shí)施例中，指令（存儲(chǔ) 在存儲(chǔ)器104中）可使得用戶能夠使用系統(tǒng)來渲染可視游戲或?qū)τ捎脩魣?zhí)行的一個(gè)或多個(gè) 活動(dòng)的模擬。
[0074] 存儲(chǔ)器104可進(jìn)一步包括數(shù)據(jù)庫108,以存儲(chǔ)一個(gè)或多個(gè)指令以及與用戶對(duì)應(yīng)的 信息。與用戶對(duì)應(yīng)的信息可包括但不限于個(gè)人信息、活動(dòng)信息以及一個(gè)或多個(gè)視頻文件和 其他信息，例如規(guī)則，用于合成對(duì)象的可視化。數(shù)據(jù)庫108和對(duì)應(yīng)的信息將在本公開中進(jìn)一 步闡釋。
[0075] 在一實(shí)施例中，系統(tǒng)102可作為個(gè)體應(yīng)用用于其它裝置。例如，如所示出的，系統(tǒng) 102可連接到外部裝置，例如輸入傳感器裝置110,其可使用系統(tǒng)102來實(shí)現(xiàn)渲染游戲或可 由用戶在該輸入傳感器裝置110上執(zhí)行的一個(gè)或多個(gè)活動(dòng)的模擬的功能。在一實(shí)施例中， 輸入傳感器裝置110可包括但不限于健身機(jī)器，例如跑步機(jī)、賽艇機(jī)、自行車等等。
[0076] 輸入傳感器裝置110可具有一個(gè)或多個(gè)傳感器，用以確定用戶的活動(dòng)。例如，例如 跑步機(jī)的輸入傳感器裝置110可測(cè)量與由用戶進(jìn)行的活動(dòng)/移動(dòng)對(duì)應(yīng)的多種特性。這些特 性可作為輸入被提供給系統(tǒng)102。輸入（與用戶活動(dòng)對(duì)應(yīng)的信息）可被系統(tǒng)102用于在真 實(shí)世界視頻剪輯（進(jìn)一步闡釋）內(nèi)渲染可視游戲或一個(gè)或多個(gè)活動(dòng)的模擬。進(jìn)一步地，系統(tǒng) 102可作為輸出向外部顯示裝置112提供其中嵌有可控制合成對(duì)象的真實(shí)世界視頻剪輯。
[0077] 在另一實(shí)施例中，系統(tǒng)102可以是計(jì)算機(jī)系統(tǒng)，其可以被實(shí)現(xiàn)為提供在真實(shí)世界 視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的功能。例如，系統(tǒng)102可以是用于對(duì)視頻游戲或使用 系統(tǒng)102的用戶的一個(gè)或多個(gè)活動(dòng)的模擬進(jìn)行渲染的裝置。在此實(shí)施例中，系統(tǒng)102可以在 任何合適的硬件部件中實(shí)現(xiàn)，其可具有一個(gè)或多個(gè)傳感器，以檢測(cè)用戶活動(dòng)（而不需要任 何附加的裝置），以提供可嵌入真實(shí)世界視頻剪輯的合成對(duì)象的動(dòng)態(tài)。（實(shí)現(xiàn)系統(tǒng)102的） 裝置可具有內(nèi)置的顯示器裝置，以便提供具有合成對(duì)象的真實(shí)世界視頻剪輯，該對(duì)象可基 于使用裝置的用戶的移動(dòng)獨(dú)立地受到控制。這里，在此實(shí)施例中，顯示器裝置112可考慮為 在系統(tǒng)102內(nèi)。
[0078] 另外，系統(tǒng)102可通過通信網(wǎng)絡(luò)118連接到一個(gè)或多個(gè)社交網(wǎng)絡(luò)114以及其他在 線信息池116。網(wǎng)絡(luò)118可以是無線網(wǎng)絡(luò)，例如互聯(lián)網(wǎng)或其他廣域網(wǎng)。系統(tǒng)102可用其信息 對(duì)用戶加標(biāo)簽，并向用戶提供與用戶在執(zhí)行活動(dòng)（鍛煉，參與游戲等等）中的表現(xiàn)對(duì)應(yīng)的信 息。系統(tǒng)102可使得用戶通過網(wǎng)絡(luò)在社交網(wǎng)絡(luò)114上或在其他信息池116 (例如博客、網(wǎng)站 等）上張貼活動(dòng)、表現(xiàn)狀態(tài)。另外，用戶可響應(yīng)于用戶在社交網(wǎng)絡(luò)114上進(jìn)行的張貼來接收 來自其他用戶的回復(fù)。
[0079] 在一實(shí)施例中，系統(tǒng)102可被連接到其它裝置，用于使得用戶能夠與使用其它裝 置的其他用戶交互。例如，用戶可連接并與本地或世界范圍內(nèi)使用其它裝置（鍛煉機(jī)器或 游戲系統(tǒng)）的其他用戶競爭（進(jìn)行健身活動(dòng)或參與共同的游戲）。這可增強(qiáng)用戶進(jìn)行健身 活動(dòng)并仍通過與其他用戶交互保持娛樂的激勵(lì)。
[0080] 存儲(chǔ)器104可包括指令，其可由處理器106執(zhí)行，以渲染可視游戲或一個(gè)或多個(gè)活 動(dòng)的模擬。指令可以是可由系統(tǒng)102實(shí)現(xiàn)以執(zhí)行特定功能的多種軟件模塊（未示出）的一 部分。系統(tǒng)102可選擇真實(shí)世界視頻文件，其可以為用于可視化的真實(shí)世界位置的記錄文 件。指令可使得用戶能夠選擇可作為選項(xiàng)提供給用戶的一個(gè)或多個(gè)真實(shí)世界視頻文件。在 一實(shí)施例中，真實(shí)世界視頻文件可存儲(chǔ)在系統(tǒng)102的存儲(chǔ)器104中。作為替代的是，可允許 用戶選擇可存儲(chǔ)在系統(tǒng)102中的用戶個(gè)人文件或文件夾中的外部記錄視頻文件。
[0081] 在一實(shí)施例中，視頻文件可記錄為以恒定或變化的速度移動(dòng)穿過環(huán)境，以覆蓋將 在視頻游戲或模擬中使用的位置。另外，視頻文件可覆蓋顯著的距離。另外，視頻文件的長 度可從幾秒到幾小時(shí)。在一實(shí)施例中，視頻文件的長度和其中覆蓋的位置可由視頻游戲或 技術(shù)模擬的用戶確定。
[0082] 另外，在一實(shí)施例中，視頻文件可以為可用在視頻游戲或模擬中的幾個(gè)位置的選 輯。視頻文件也可包括同一位置的不同的以及多個(gè)視圖，其可允許游戲或模擬的用戶或玩 家在參與游戲期間具有選擇不同路徑的選項(xiàng)。
[0083] 系統(tǒng)102可使用提取模塊（未示出），其具有可由處理器執(zhí)行的用于從真實(shí)世界視 頻文件（下面稱為"視頻文件"）提取攝像機(jī)信息的指令。攝像機(jī)信息可包括攝像機(jī)移動(dòng)坐 標(biāo)信息，來自視頻文件的路線坐標(biāo)信息，以及對(duì)于視頻文件的各個(gè)幀的點(diǎn)云坐標(biāo)信息。攝像 機(jī)移動(dòng)坐標(biāo)信息可包括各個(gè)巾貞的視頻攝像機(jī)相對(duì)于視頻圖像所示的靜態(tài)點(diǎn)的移動(dòng)。進(jìn)一步 地，點(diǎn)云坐標(biāo)信息可包括視頻文件中所示的對(duì)象的深度（或到攝像機(jī)鏡頭的距離）。攝像機(jī) 信息可存儲(chǔ)在存儲(chǔ)器104中，并可被翻譯為3D坐標(biāo)。在一實(shí)施例中，所存儲(chǔ)的信息可被融 入，以形成3D環(huán)境中的背景場(chǎng)景。
[0084] 進(jìn)一步地，系統(tǒng)102可在3D環(huán)境中添加遮擋層，其可包括視頻文件中所示的關(guān)鍵 對(duì)象的透明3D復(fù)制。可建立靜態(tài)特征或附加靜態(tài)特征的透明3D復(fù)制，且可細(xì)化來自視頻 文件的進(jìn)一步的已有特征。在本發(fā)明一實(shí)施例中，視頻中所示的對(duì)象的3D空間位置可以基 于點(diǎn)云信息自動(dòng)生成，且遮擋層可由對(duì)象（視頻文件中所示的）的3D空間位置或由點(diǎn)云信 息自動(dòng)生成。
[0085] 透明遮擋層可由系統(tǒng)102用于遮擋可能在透明遮擋層（或透明對(duì)象）之后出現(xiàn)的 任何對(duì)象。遮擋層進(jìn)一步結(jié)合圖33詳細(xì)闡釋。遮擋層和移動(dòng)對(duì)象的透明3D呈現(xiàn)可在3D 播放器或其他查看器應(yīng)用中可視化。透明3D場(chǎng)景可提供給用戶，以便向用戶提供進(jìn)一步的 幫助。透明3D場(chǎng)景可被稱為3D環(huán)境中的背景場(chǎng)景，其可被提供給用戶，用于在其中進(jìn)一步 的修改。例如，系統(tǒng)102可允許用戶進(jìn)一步通過在其中嵌入對(duì)象（靜態(tài)的或動(dòng)態(tài)的）來修 改透明3D層。
[0086] 可促使用戶選擇化身或嵌入角色/化身，用于在提供真實(shí)世界視頻文件的3D視圖 (較早時(shí)由用戶選擇）的3D環(huán)境（背景場(chǎng)景/透明3D環(huán)境）中呈現(xiàn)用戶。系統(tǒng)102可提 供用戶的一種屏幕可視呈現(xiàn)，作為3D環(huán)境（基于用戶選擇的視頻文件創(chuàng)建）中的化身。 [0087] 在本發(fā)明一實(shí)施例中，系統(tǒng)102可包括查看器模塊（未示出），其具有可對(duì)所選擇 的視頻文件、攝像機(jī)移動(dòng)和旋轉(zhuǎn)信息、3D "遮擋"靜態(tài)和移動(dòng)對(duì)象、相對(duì)移動(dòng)與旋轉(zhuǎn)路線以及 任何其他3D對(duì)象、角色（例如用戶化身）或資源進(jìn)行處理的指令。在一實(shí)施例中，查看器 模塊（具有查看器應(yīng)用）可以為定制軟件應(yīng)用。在另一實(shí)施例中，查看器應(yīng)用可以是合適 的視頻"游戲引擎"或軟件，其可允許查看3D對(duì)象以及對(duì)游戲、模擬或其他活動(dòng)的規(guī)則進(jìn)行 的編程。進(jìn)一步地，在本發(fā)明又一實(shí)施例中，可使用標(biāo)準(zhǔn)3D開發(fā)應(yīng)用。這些應(yīng)用的實(shí)例包 括但不限于 Autodesk Maya、Autodesk3DSMax 和 Cinema4D。
[0088] 視頻文件和3D對(duì)象可渲染為可獨(dú)立管理的分立層。視頻文件可包括不具有類似 于化身的3D對(duì)象的透明3D層。不同的3D對(duì)象可被查看器模塊顯示在3D空間中的它們的 正確的相對(duì)位置。在本發(fā)明一實(shí)施例中，3D對(duì)象可在頂層渲染，且視頻幀可在空間的最遠(yuǎn)的 層渲染。透明3D對(duì)象和移動(dòng)對(duì)象可以被可視化為覆蓋在視頻文件的背景層上。
[0089] 基于與參與可視游戲和鍛練中的至少一者對(duì)應(yīng)地（由用戶）進(jìn)行的一個(gè)或多個(gè)活 動(dòng)，系統(tǒng)102可執(zhí)行指令，以便通過所選擇的化身在3D環(huán)境中顯示用戶的實(shí)時(shí)移動(dòng)。例如， 用戶可在顯示其中嵌有對(duì)象的3D景觀的（視頻文件的）3D環(huán)境上被顯示為化身。用戶的 化身可以與視頻文件的3D環(huán)境獨(dú)立地起作用。
[0090] 本領(lǐng)域技術(shù)人員可以明了，即使用戶的化身可以與環(huán)境的對(duì)象獨(dú)立地運(yùn)轉(zhuǎn)，活動(dòng) (例如奔跑）可以與視頻文件的3D環(huán)境對(duì)象同步地呈現(xiàn)。在一個(gè)實(shí)施例中，3D空間攝像機(jī) 移動(dòng)可被同步為對(duì)來自視頻剪輯的正確的幀的移動(dòng)進(jìn)行匹配。在3D環(huán)境中，視頻文件和3D 對(duì)象可在分立但同步的層中在屏幕上渲染。例如，如果呈現(xiàn)為，在一開始，用戶的化身在道 路（對(duì)應(yīng)于視頻文件）上筆直地移動(dòng)，并接著，基于3D環(huán)境（背景場(chǎng)景）中車輛的交通或 其他對(duì)象（在用戶化身的道路上）的存在，用戶化身的方向可相應(yīng)地改變，以便避免撞上3D 環(huán)境中的任何其他對(duì)象。
[0091] 另外，系統(tǒng)102可提供HTML瀏覽器層，其可顯示在顯示裝置112的顯示屏幕上。此 層可使得包括廣告、圖像、視頻文件的對(duì)象放置在道路上成為可能，以便給出這些對(duì)象在視 頻文件的環(huán)境中存在的外觀。進(jìn)一步地，系統(tǒng)102可提供許多附加的特征，其結(jié)合進(jìn)一步的 圖4-圖32的介紹來進(jìn)一步闡釋。
[0092] 現(xiàn)在參照示出根據(jù)本公開另一實(shí)施例的系統(tǒng)的示例性框圖的圖2。在一實(shí)施例中， 系統(tǒng)可在客戶端計(jì)算機(jī)上實(shí)現(xiàn)。如圖所示，客戶端計(jì)算機(jī)可包括多種部件，例如但不限于存 儲(chǔ)器202、一個(gè)或多個(gè)處理單元（CPU) 204、一個(gè)或多個(gè)網(wǎng)絡(luò)或其他通信接口 206以及一個(gè)或 多個(gè)通信總線208。通信總線208可用于互聯(lián)客戶端計(jì)算機(jī)的部件。通信總線208可包括 可互聯(lián)和控制部件之間的通信的電路（可以可互換地稱作"芯片集"）。
[0093] 進(jìn)一步地，客戶端計(jì)算機(jī)可包括一個(gè)或多個(gè)用戶輸入裝置210,例如但不限于顯示 器、鍵盤和其他可能的接口，例如遙控器，USB無線接收器或遠(yuǎn)程傳感器。存儲(chǔ)器202可包 括但不限于高速隨機(jī)訪問存儲(chǔ)器，并可包括非易失性存儲(chǔ)器，例如一個(gè)或多個(gè)磁盤存儲(chǔ)裝 置。在某些實(shí)施例中，存儲(chǔ)器202可存儲(chǔ)一個(gè)或多個(gè)程序、模塊和數(shù)據(jù)結(jié)構(gòu)，或其子集或超 集。存儲(chǔ)器202的程序和模塊可包括但不限于操作系統(tǒng)212、網(wǎng)絡(luò)通信模塊214、系統(tǒng)初始 化模塊216和媒體播放器218。
[0094] 操作系統(tǒng)212可包括用于對(duì)多種基本系統(tǒng)服務(wù)進(jìn)行處理以及執(zhí)行依賴于硬件的 任務(wù)的步驟。網(wǎng)絡(luò)通信模塊214可用于經(jīng)由一個(gè)或多個(gè)通信網(wǎng)絡(luò)（有線或無線）將客戶端 計(jì)算機(jī)連接到其它裝置（例如個(gè)人計(jì)算機(jī)、膝上型電腦、智能電話等），通信網(wǎng)絡(luò)例如為互 聯(lián)網(wǎng)、其他廣域網(wǎng)、局域網(wǎng)、城域網(wǎng)等等。進(jìn)一步地，系統(tǒng)初始化模塊216可對(duì)存儲(chǔ)在存儲(chǔ)器 202中且客戶端計(jì)算機(jī)的合適的運(yùn)行需要的其他模塊和數(shù)據(jù)結(jié)構(gòu)進(jìn)行初始化。
[0095] 進(jìn)一步地，媒體播放器218可包括但不限于真實(shí)世界視頻和聲音數(shù)據(jù)220、3D數(shù)據(jù) 222 (或3D環(huán)境查看器和數(shù)據(jù)222)以及瀏覽器數(shù)據(jù)224。真實(shí)世界視頻和聲音數(shù)據(jù)220可 由媒體播放器218訪問。3D數(shù)據(jù)222可包括3D透明遮擋數(shù)據(jù)和文件226,用于對(duì)應(yīng)于真實(shí) 世界視頻數(shù)據(jù)220的景觀環(huán)境和移動(dòng)對(duì)象。進(jìn)一步地，3D數(shù)據(jù)222可包括3D合成資源數(shù)據(jù) 文件228,其可包括在環(huán)境內(nèi)呈現(xiàn)用戶或參與者的化身或角色或者將在游戲或模擬內(nèi)使用 的其他附加合成對(duì)象。另外，3D數(shù)據(jù)222可包括3D路線數(shù)據(jù)2,其可用于在環(huán)境中引導(dǎo)移 動(dòng)的合成對(duì)象，并幫助啟用回避系統(tǒng)。
[0096] 另外，瀏覽器數(shù)據(jù)224可包括Overlay HTML和HTML5數(shù)據(jù)232、Overlay Flash數(shù) 據(jù)234、Javascript數(shù)據(jù)236和圖像數(shù)據(jù)238。Overlay HTML和HTML5數(shù)據(jù)232可由包括 菜單、地圖、廣告、得分等等的系統(tǒng)使用。Javascript數(shù)據(jù)236可用于瀏覽器層224和媒體 播放器218之間的通信和控制。進(jìn)一步地，圖像數(shù)據(jù)238可用于HTML和Flash系統(tǒng)。
[0097] 另外，服務(wù)器通信模塊240可允許由集中服務(wù)器以及使能多個(gè)玩家或用戶及其相 應(yīng)的客戶端計(jì)算機(jī)之間的連接的軟件經(jīng)過網(wǎng)絡(luò)通信模塊214訪問媒體播放器218。
[0098] 如上面所介紹的，客戶端計(jì)算機(jī)可實(shí)現(xiàn)一系統(tǒng)，例如系統(tǒng)202,以便在真實(shí)世界視 頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化。該系統(tǒng)可使得客戶端計(jì)算機(jī)的用戶能夠與視頻剪輯的移 動(dòng)獨(dú)立地控制合成對(duì)象的移動(dòng)。
[0099] 現(xiàn)在參照?qǐng)D3A到圖3Z，其示出了根據(jù)本公開一實(shí)施例將較小的一段視頻數(shù)據(jù)（攝 像機(jī)和點(diǎn)云）融入單個(gè)較長的一段的示例性過程。在融入視頻數(shù)據(jù)的較小一段的過程之前 (如圖3A到圖3Z所示），可執(zhí)行準(zhǔn)備主3D攝像機(jī)的過程。主3D攝像機(jī)可在"匹配移動(dòng)"過 程中得出，用于3D開發(fā)軟件中的進(jìn)一步的調(diào)節(jié)。3D攝像機(jī)可在3D開發(fā)軟件中使用，該軟件 可在主查看器中使用，并且，允許另外的攝像機(jī)加入它，以創(chuàng)建較長的一段可用視頻。
[0100] 如圖3A到圖3Z所示的過程可能需要對(duì)于將要融入的各段視頻文件重復(fù)。具體而 言，圖3A到圖3Z示出了使用Autodesk Maya2010軟件實(shí)現(xiàn)的示例性過程。然而，該過程可 能不限于使用Autodesk Maya2010軟件。另外，可使用許多其他的3D開發(fā)軟件，例如但不限 于Autodesk3DsMax和Cinema4D。每當(dāng)新的一段攝像機(jī)和點(diǎn)云數(shù)據(jù)被輸入以添加到已有的 段時(shí)，可重復(fù)這些圖中示出的過程。
[0101] 如圖所示，在圖3A中，必須清理偏遠(yuǎn)的攝像機(jī)軌道，并保證攝像機(jī)（例如 CamCopyForBake攝像機(jī)）被放置在稱為MasterGrp的組中。在圖3B中，輸入用于下一段的 Maya文件（在此情況下，Maya ASCII格式）。另外，在圖3C中，為正確的視點(diǎn)選擇"persp" 攝像機(jī)。
[0102] 在圖3D和圖3E中，Graph Editor (圖像編輯器）被打開，所有屬性可被選擇。在 圖3F中，鼠標(biāo)被放在Graph Editor窗口中，按下"F"，以顯示所有幀。進(jìn)一步地，時(shí)間滑塊 可通過輸入較大的值而增大。在圖3G中，合適的按鈕可被點(diǎn)擊，以進(jìn)行到CamCopyForBake 攝像機(jī)的最后一巾貞。在圖3H中，第二追蹤攝像機(jī)可被選擇，且對(duì)應(yīng)的Focal Length (焦距） 數(shù)字可被標(biāo)注。在圖31中，CamCopyForBake攝像機(jī)可被選擇，且合適的按鈕可被點(diǎn)擊，以進(jìn) 行到下一巾貞，且Focal Length可被輸入。進(jìn)一步地，在圖3J中，屬性Focal Length被選擇， 于是，選項(xiàng)"Key Selected"可從菜單選項(xiàng)"Channels"使用，以鍵入巾貞中的Focal Length。
[0103] 進(jìn)一步地，在圖3K中，可選擇追蹤攝像機(jī)，接著，所有幀可在圖像編輯器中被選 擇。在圖3L中，"W"被按下，接著是"shift"，且鼠標(biāo)中鍵被按下，以移動(dòng)此時(shí)間上的所有關(guān) 鍵幀。在圖3M中，第二追蹤攝像機(jī)可與所有第二追蹤點(diǎn)一起被選擇，于是，"G"可被按下， 以便使其在新的組中。在圖3N中，組可被選擇，于是，通過按下" Insert (插入）"，組的中心 點(diǎn)可被移動(dòng)。在圖30中，"V"可被按下，一直到組的中心點(diǎn)確切位于第二追蹤攝像機(jī)的中 心點(diǎn)。在圖3P中，"Insert"被按下，且組的中心點(diǎn)不能進(jìn)一步移動(dòng)，但組可被重新調(diào)整。
[0104] 在圖3Q中，組可通過按下"V"被移動(dòng)到CamCopyForBake。在圖3R中，"R"可被按 下，以改變組的旋轉(zhuǎn)?？梢恢弊鱿氯?，一直到組的旋轉(zhuǎn)確切地與CamCopyForBake相同。兩 個(gè)攝像機(jī)現(xiàn)在可位于同樣的位置。在圖3S中，第二追蹤攝像機(jī)被選擇，CNTL被按下，以增 加 CamCopyForBake。在Constraint (約束）菜單下，可選擇"Parent (父母）"下一個(gè)的方 框。在圖3T中，點(diǎn)擊"add (增加）"，且"Maintaning offset (保持偏移）"可被保持為0N。
[0105] 在圖3U中，第二追蹤攝像機(jī)被選擇，且注釋用開始和結(jié)束幀號(hào)碼作出。在圖3V中， CamCopyForBake 被選擇，于是，在 Edit (編輯）菜單下，Keys (按鍵）和 Bake Simulation 被選擇。Bake Simulation(烘烤模擬）下一個(gè)的方框被選擇。在圖3W中，Start/End(開 始/結(jié)束）被選擇，且開始和結(jié)束幀號(hào)碼可被輸入。Bake可被點(diǎn)擊。Esc可用于隨時(shí)停止 baking。在圖 3X 中，在 baking 完成后，"CamCopyForBake_ParentConstraintl"可被選擇， 接著被刪除。在圖3Y中，1?殼的屬性可在baking完成后選擇。這一點(diǎn)可通過在選擇過程 中保持按下CNTRL進(jìn)行。在圖3Z中，Channels and Break Connections可被點(diǎn)擊。
[0106] 圖4示出了根據(jù)本公開一實(shí)施例看起來覆蓋在視頻剪輯上的3D對(duì)象或獨(dú)立角色。 具體而言，圖4示出了由系統(tǒng)提供的示例性輸出（3D環(huán)境中的合成對(duì)象/角色（用戶））的 呈現(xiàn)，例如由系統(tǒng)202(如圖1所示）。如所示的，幾個(gè)移動(dòng)角色（呈現(xiàn)為402)被覆蓋到視 頻剪輯幀上。角色實(shí)際上在與視頻幀分立的層中（在查看器中）。然而，屏幕上的角色布 置及其相對(duì)尺寸和到攝像機(jī)（或用戶視點(diǎn)）的距離可由遮擋層以及來自"匹配移動(dòng)"過程 (如結(jié)合圖33所闡釋）的攝像機(jī)數(shù)據(jù)的正確應(yīng)用引導(dǎo)。
[0107] 角色看起來正在視頻幀所示的道路上走或跑，但它們實(shí)際上獨(dú)立于視頻，并可演 出（例如停止，旋轉(zhuǎn)，改變方向）可以與視頻攝像機(jī)的移動(dòng)無關(guān)的場(chǎng)景。由于角色和視頻幀 的獨(dú)立作用，角色可在每次同一視頻剪輯被播放時(shí)不同地動(dòng)作。進(jìn)一步地，用戶執(zhí)行的動(dòng)作 可基于用戶可在參與游戲或在輸入傳感器裝置（例如輸如傳感器裝置110)上鍛練時(shí)執(zhí)行 的一個(gè)或多個(gè)動(dòng)作來執(zhí)行。
[0108] 另外，可添加多種對(duì)象，例如對(duì)象404。具體而言，如所示出的，對(duì)象404是廣告告 示牌404,其也可在視頻記錄作出后（即在準(zhǔn)備視頻文件后）添加。本領(lǐng)域技術(shù)人員可以明 了，每次在視頻剪輯被播放時(shí)，告示牌404可移動(dòng)，或者其內(nèi)容可改變。
[0109] 因此，可由圖4作出結(jié)論，一個(gè)或多個(gè)靜態(tài)或動(dòng)態(tài)對(duì)象/角色可嵌入視頻剪輯的3D 環(huán)境，3D環(huán)境可獨(dú)立于所嵌入對(duì)象在背景中運(yùn)行。進(jìn)一步地，這種對(duì)象可以是可獨(dú)立于視頻 文件動(dòng)作的合成對(duì)象。
[0110] 圖5示出了根據(jù)本公開一實(shí)施例，在本發(fā)明優(yōu)選實(shí)施例中使用的視頻（遮擋層） 所示的環(huán)境中的關(guān)鍵方面的透明呈現(xiàn)，用以設(shè)置3D空間內(nèi)的角色移動(dòng)的規(guī)則。具體而言， 在圖5中，遮擋層的部分在查看器（例如3D播放器）中顯示為覆蓋在視頻剪輯上。由于遮 擋層可以是在視頻中描繪的環(huán)境的關(guān)鍵方面的透明3D呈現(xiàn)，各個(gè)對(duì)象（例如幀中右側(cè)的房 屋502或左側(cè)的墻壁504)可根據(jù)代表其到攝像機(jī)的相對(duì)距離的3D坐標(biāo)來放置。沿著道路 506移動(dòng)并右轉(zhuǎn)經(jīng)過房屋502的對(duì)象或角色可被遮擋（不在屏幕上渲染），并且作為替代 地，可顯示包括視頻房屋的最遠(yuǎn)的層。由于這一點(diǎn)，對(duì)于查看器可顯示為角色已經(jīng)移動(dòng)到房 屋后。
[0111] 圖6示出了根據(jù)本公開某些實(shí)施例，在本發(fā)明優(yōu)選實(shí)施例中使用的3D空間層中設(shè) 置的路線，用以引導(dǎo)移動(dòng)的對(duì)象。如所示出的，路線602可引導(dǎo)角色或移動(dòng)的對(duì)象的移動(dòng)。 這樣的路線可使得角色能夠顯示為如同它們沿著視頻所示的道路移動(dòng)，然而，實(shí)際上，它們 可能是視頻幀的分立且獨(dú)立的層。
[0112] 圖7示出了根據(jù)本公開某些實(shí)施例，在本發(fā)明優(yōu)選實(shí)施例中使用的3D空間層中設(shè) 置的移動(dòng)遮擋層，用以示出在視頻中移動(dòng)的對(duì)象。如圖所示，車702可以是透明移動(dòng)遮擋對(duì) 象。因此，此遮擋對(duì)象（車702)后面的任何對(duì)象或其部分（在3D空間中）不能在屏幕上 渲染。作為替代地，背景層（移動(dòng)的車存在的視頻部分）可作為替代地顯示。
[0113] 本領(lǐng)域技術(shù)人員可以明了，可以并且可能存在幾種方法，以建立引導(dǎo)對(duì)象顯示為 在真實(shí)世界視頻中所示的環(huán)境中移動(dòng)的規(guī)則，且本發(fā)明不限于這些開發(fā)過程中的任何一 個(gè)，實(shí)際上，本發(fā)明的目的在于將所有可能的開發(fā)選項(xiàng)包括在內(nèi)，其可導(dǎo)致角色或?qū)ο箫@示 為在真實(shí)世界視頻的景觀內(nèi)、但不依賴于視頻移動(dòng)而移動(dòng)的可視效果。
[0114] 圖8示出了根據(jù)本公開某些實(shí)施例，在游戲或模擬內(nèi)交互的角色的名稱標(biāo)簽或描 述的一種可視呈現(xiàn)。圖8示出了可加到本發(fā)明一實(shí)施例的附加功能。一種這樣的實(shí)施例可 以是單個(gè)用戶或多個(gè)用戶使用作為健身應(yīng)用、游戲或動(dòng)作模擬的該技術(shù)的應(yīng)用或游戲，其 中，他們通過奔跑、騎自行車、劃船或行走在視頻和游戲環(huán)境中導(dǎo)航。
[0115] 在一實(shí)施例中，在查看器內(nèi)，可存在覆蓋的附加的層，其是HTML瀏覽器。在瀏覽器 內(nèi)，任何應(yīng)用（例如常規(guī)HTML、XML、Flash或類似的技術(shù)）可顯示在屏幕上。層可用于保持 菜單控制器和任何基于圖像或視頻的文件。
[0116] 在一實(shí)施例中，如圖8所示，功能可向在游戲或模擬中交互的角色分配描述或名 稱標(biāo)簽。標(biāo)簽可剛好出現(xiàn)在角色的上方或旁邊，并在其移動(dòng)到不同位置時(shí)在屏幕上跟隨它。
[0117] 標(biāo)簽（例如標(biāo)簽802)可顯示用戶的圖像或圖標(biāo)/圖片、用戶名稱、基于其IP或登 錄細(xì)節(jié)的用戶位置（城市和國家，標(biāo)識(shí)）、顏色編碼的"水平"條以及其他信息（例如它們是 否可用于語音聊天或交互）。在此實(shí)施例中，名稱標(biāo)簽依賴于查看器環(huán)境內(nèi)的角色的接近度 或攝像機(jī)位置而變化。完整的名稱標(biāo)簽802在角色進(jìn)一步遠(yuǎn)離時(shí)變?yōu)檩^小標(biāo)簽802,并隨著 距離的增大逐漸完全消失。從大標(biāo)簽到較小標(biāo)簽的外觀變化可通過更具娛樂性的移動(dòng)來作 出，例如翻轉(zhuǎn)或旋轉(zhuǎn)動(dòng)作。
[0118] 用戶或程序員可選擇標(biāo)簽在屏幕上顯示為大、小、二者的混合還是根本不顯示。尺 寸變化受到影響的距離也可是用戶定制的。標(biāo)簽可以是3D對(duì)象，且圖像可渲染為這些對(duì)象 上的紋理。
[0119] 圖9示出了根據(jù)本公開某些實(shí)施例，將Google數(shù)據(jù)用于用戶活動(dòng)的地圖的一種可 視呈現(xiàn)。在圖9中，顯示一個(gè)HTML瀏覽器覆蓋層（如結(jié)合圖2所介紹）。Flash交互模塊 (前面結(jié)合圖2介紹）在瀏覽器中，其用作游戲環(huán)境的位置的地圖，并可描繪記錄視頻的實(shí) 際真實(shí)世界位置。在這種情況下，Google Earth圖像和視頻并入為902。來自3D環(huán)境的位 置坐標(biāo)可用于將標(biāo)志放置在該地圖上，并在視頻904中示出的路徑上實(shí)時(shí)地移動(dòng)它。對(duì)應(yīng) 真實(shí)世界的場(chǎng)所的GPS坐標(biāo)也可使用3D空間中的移動(dòng)和結(jié)果得到的坐標(biāo)906來計(jì)算。
[0120] 圖10示出了根據(jù)本公開某些實(shí)施例的實(shí)況互聯(lián)網(wǎng)連接信息饋送的一種可視呈 現(xiàn)，并可包括RSS、SNS以及其他信息。在圖10中，顯示了另一覆蓋層。覆蓋層可以是實(shí)況、 互聯(lián)網(wǎng)連接信息饋送，并可包括RSS以及其他信息。如所示的，可促使用戶獲得社交網(wǎng)絡(luò)或 來自其他在線信息池的實(shí)況饋送。例如，饋送可以是Facebook和Twitter數(shù)據(jù)、任何其他 社交網(wǎng)絡(luò)的，或?qū)嶋H上是互聯(lián)網(wǎng)新聞或其他信息饋送。玩家（用戶）可登錄，且HTML覆蓋 層可通過鍵或遙控界面上的點(diǎn)擊開啟。Twitter消息1002被示為主要可讀項(xiàng)。通過點(diǎn)擊按 鈕或通過時(shí)間觸發(fā)，可將饋送1004中的進(jìn)一步的項(xiàng)引入主窗口。項(xiàng)可按它們被接收的時(shí)間 或通過用戶選擇的某些重要因子排列。導(dǎo)航可以是前向?qū)Ш?006a或后向?qū)Ш?006b，以查 看其他饋送。
[0121] 圖11示出了根據(jù)本公開某些實(shí)施例，用戶可設(shè)置為激勵(lì)因素的里程碑、目標(biāo)或其 他目的的一種可視呈現(xiàn)。在圖11中，覆蓋層可顯示用戶可設(shè)置為激勵(lì)因素的里程碑、目標(biāo) 或其他目的。有時(shí)這種方法可稱為活動(dòng)（例如用戶可參與的健身活動(dòng)）的游戲化。如圖11 所示，用戶已經(jīng)跑了其已設(shè)置的15km(示為1102)較長目標(biāo)中的5km。此里程碑的實(shí)現(xiàn)可通 過互聯(lián)網(wǎng)作為Twitter消息發(fā)出并張貼為Facebook狀態(tài)。其他社交網(wǎng)絡(luò)和網(wǎng)站更新可以 以類似的方式自動(dòng)作出。
[0122] 圖12示出了根據(jù)本公開某些實(shí)施例，來自在游戲活動(dòng)期間實(shí)時(shí)顯示的消息的接 收者之一的Twitter消息的一種可視呈現(xiàn)。如圖所示，Twitter消息1202可來自圖11所示 的消息的一個(gè)接收者。響應(yīng)可在游戲活動(dòng)期間在HTML覆蓋層中實(shí)時(shí)渲染。其他響應(yīng)（例 如Facebook中對(duì)于狀態(tài)更新的評(píng)論或任何社交網(wǎng)絡(luò)中的其他評(píng)論或網(wǎng)站消息）可以與消 息1202類似地顯示。進(jìn)一步地，可顯示例如響應(yīng)者名字、圖標(biāo)圖像、與時(shí)間信息一起的由響 應(yīng)者已經(jīng)寫下的文本。
[0123] 圖13示出了根據(jù)本公開某些實(shí)施例的交互式功能的一種可視呈現(xiàn)，其中，用戶對(duì) 它們想要交互的其他人"加標(biāo)簽"。在圖13中，示出了這樣的功能：其使得用戶之間的交互 成為可能。在此實(shí)例中，在游戲或模擬期間的其他參與者彼此進(jìn)入特定的距離時(shí)，用戶可對(duì) 游戲或模擬期間的其他參與者"加標(biāo)簽"，例如標(biāo)簽1302。與"加標(biāo)簽"功能一起地，可使用 其他的交互式方法，包括語音通信的激活、預(yù)定消息的發(fā)送或簡單地記錄用戶已經(jīng)加標(biāo)簽 者以及已經(jīng)對(duì)用戶加標(biāo)簽者，用于在活動(dòng)結(jié)束后的參考以及后續(xù)交互。
[0124] 圖14示出了根據(jù)本公開某些實(shí)施例的交互式HTML Flash模塊的一種可視呈現(xiàn)， 其顯示在活動(dòng)期間由系統(tǒng)記錄的信息，并且還包括用戶已經(jīng)隨時(shí)間累積的使用數(shù)據(jù)。如圖 所示，交互式HTML Flash模塊被示為覆蓋在查看器中。模塊顯示可由系統(tǒng)在活動(dòng)期間記錄 的信息，并包括用戶已經(jīng)隨時(shí)間累積的使用數(shù)據(jù)。用戶標(biāo)識(shí)1402可顯示圖像圖標(biāo)、基于IP 的位置（城市，鄉(xiāng)村標(biāo)志）以及健身位置（如果需要的話）。累積的多種用戶數(shù)據(jù)也可被顯 示1404,并在活動(dòng)期間實(shí)時(shí)增加。關(guān)鍵數(shù)據(jù)（例如速度1406)可在當(dāng)前游戲（例如當(dāng)前以 8. 6km/hr速度奔跑）期間顯示以及顯示為對(duì)等組隨時(shí)間的平均表現(xiàn)。距離1408也可以以 類似的方式顯示，例如，當(dāng)前用戶已經(jīng)跑了 〇. 6km。他/她的平均跑動(dòng)可以是4. 3km，且對(duì)等 組是5. lkm。另外，也可顯示1410水平顏色條，其指示用戶的整體活動(dòng)（在此情況下，總跑 動(dòng)距離）。
[0125] 圖15示出了根據(jù)本公開某些實(shí)施例的活動(dòng)"儀表板"覆蓋層的可視呈現(xiàn)，其包括 關(guān)鍵游戲數(shù)據(jù)。這里所示的關(guān)鍵數(shù)據(jù)可包括但不限于速度、距離、過去的時(shí)間以及卡路里 (如1502a、1502b、1502c和1502d所示）。另外，關(guān)鍵數(shù)據(jù)也可包括傾斜（視頻傾斜和用戶 當(dāng)前傾斜）速度因子調(diào)節(jié)及其他。另一數(shù)據(jù)點(diǎn)是心率監(jiān)視器1504,其使用外部心率讀取器 實(shí)時(shí)顯示當(dāng)前心率。
[0126] 圖16示出了根據(jù)本公開某些實(shí)施例的可能添加的圖像、視頻的可能呈現(xiàn)或其他 可視呈現(xiàn)，其可能作為廣告看起來如同位于視頻所示的環(huán)境中一樣。在此實(shí)例中，廣告視頻 1602被添加，并被放置為看起來如同在視頻中建筑物墻上的告示牌上一樣。告示牌上的視 頻將會(huì)循環(huán)或不依賴于查看器中的主視頻地播放。例如，即使主視頻停止，告示牌上的視頻 可能繼續(xù)播放。
[0127] 在一實(shí)施例中，可在選擇向個(gè)體用戶顯示哪些圖像或視頻中實(shí)現(xiàn)目標(biāo)分段。選擇 可基于用戶的人口統(tǒng)計(jì)學(xué)信息、當(dāng)前登錄IP地址以及其他因素作出。在一實(shí)施例中，廣告 可向這樣的用戶顯示，該用戶選擇為可自由訪問多個(gè)內(nèi)容視頻。查看器的3D環(huán)境中所示的 圖像和視頻可不限于模擬2D呈現(xiàn)，例如儀表板。也可實(shí)現(xiàn)任何3D移動(dòng)。例如，在這里所示 的旋轉(zhuǎn)跑鞋的視頻中，鞋可看起來移出儀表板并移到道路上方，繼續(xù)旋轉(zhuǎn)，接著，在回到墻 上的儀表板之前變?yōu)榱硪粓D像。
[0128] 可添加標(biāo)準(zhǔn)視頻游戲中可能的任何效果（包括3D效果），例如粒子效果、液體和流 體效果及其他。
[0129] 圖17和圖18示出了根據(jù)本公開某些實(shí)施例的實(shí)況互聯(lián)網(wǎng)視頻的使用的可視呈 現(xiàn)。查看器上的瀏覽器窗口可包括位置、另一參與者、引導(dǎo)用戶健身活動(dòng)或模擬的教練或 其他位置1702的實(shí)況視頻饋送。視頻饋送也可放在與角色相關(guān)聯(lián)的名稱標(biāo)簽（例如標(biāo)簽 1802a，1802b)中。
[0130] 圖19和圖20示出了根據(jù)本公開某些實(shí)施例的游戲的多玩家模式的可視呈現(xiàn)，其 中，兩個(gè)參與者同時(shí)但在經(jīng)由互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)或其他網(wǎng)絡(luò)連接的不同位置一起參與游戲。在 此實(shí)例中，兩個(gè)參與者（例如參與者1902和參與者1904)可同時(shí)但在經(jīng)由互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng) 或其他網(wǎng)絡(luò)連接的不同位置一起參與游戲。進(jìn)一步地，遠(yuǎn)程玩家1906的名字標(biāo)簽也可具有 實(shí)況視頻饋送。
[0131] 在圖20中，可示出參與者12002和參與者22004的化身呈現(xiàn)的相對(duì)視圖。在此實(shí) 例中，遠(yuǎn)程玩家的名字標(biāo)簽2006顯示該參與者的圖片或圖標(biāo)圖像。
[0132] 隨著各個(gè)參與者穿過游戲向前移動(dòng)，他或她自己的化身呈現(xiàn)也將移動(dòng)（走、工作、 或跑，取決于參與者的速度，或可能是騎自行車，駕駛或使游戲或模擬中使用的車輛或角色 飛馳），并在與所行駛距離對(duì)應(yīng)的位置顯示在屏幕上。以各個(gè)相應(yīng)的參與者的速度顯示的穿 過視頻的前向移動(dòng)可反映他或她自己的前向速度。如果遠(yuǎn)程參與者的呈現(xiàn)位于當(dāng)前視圖參 與者的視圖內(nèi)的場(chǎng)所，該化身可在屏幕上顯示，并以使得起看起來在視頻所示道路上移動(dòng) 的方式放置。
[0133] 視頻文件可被存儲(chǔ)或從本地參與者計(jì)算機(jī)或其他處理器訪問，或者可直接流傳輸 到該特定用戶。可在用戶之間分享的信息包括在屏幕上正確放置所需要的數(shù)據(jù)。該信息可 包括但不限于在"本地"參與者的屏幕上，與遠(yuǎn)程用戶的識(shí)別信息（包括名字，位置，速度， 距離，X、Y和Z3D位置坐標(biāo)，化身配置信息和其他識(shí)別數(shù)據(jù)）一起的遠(yuǎn)程化身。此過程可使 得用戶之間互聯(lián)網(wǎng)或內(nèi)聯(lián)網(wǎng)連接的更為高效的使用成為可能，并意味著減小在所連接的網(wǎng) 絡(luò)上發(fā)送完整視頻幀所需要的傳輸帶寬。
[0134] 圖21和圖22示出了根據(jù)本公開某些實(shí)施例的菜單屏幕覆蓋層的可視呈現(xiàn)。在圖 21和圖22中，示出了如本發(fā)明一實(shí)施例中使用的菜單屏幕覆蓋層的兩個(gè)實(shí)例。在圖22中， HTML覆蓋層包括圖像和flash視頻2102,允許用戶選擇自己在游戲中的化身呈現(xiàn)2104。在 此實(shí)例中，選擇僅僅在被示為化身2106的移動(dòng)的flash視頻的男性和女性呈現(xiàn)之間，但在 本發(fā)明的其他實(shí)施例中，選擇可包括許多更為具體的特征，包括身體類型，衣服以及實(shí)際上 其他的生命類型或假想角色。
[0135] 在圖22中，示出了用于本發(fā)明一實(shí)施例的菜單系統(tǒng)的附加選擇。一種功能是"冷 知識(shí)（trivia)"模式2202,其中，關(guān)于用戶感興趣的主題的或與視頻中的環(huán)境有關(guān)的事實(shí) 或引用隨著游戲或模擬的進(jìn)行顯示在覆蓋層中。菜單可允許用戶將此特征轉(zhuǎn)換為打開或關(guān) 閉。
[0136] 此圖中高亮的另一特征是"游戲"模式，其中，視頻游戲的方面可并入游戲2204或 模擬。此特征可包括實(shí)時(shí)或異步地與其他對(duì)象（例如追逐或撞上靜態(tài)或移動(dòng)的對(duì)象）、用于 實(shí)現(xiàn)目標(biāo)的點(diǎn)數(shù)系統(tǒng)或虛擬貨幣、與其他玩家共用游戲特征的手段交互。視頻游戲的許多 方面可被使用和并入。"游戲?qū)?可用于包括多個(gè)或不同游戲位置上同樣的游戲特征。用戶 也可以使用菜單系統(tǒng)將此特征切換為打開和關(guān)閉。
[0137] 圖23示出了根據(jù)本公開某些實(shí)施例的門戶、虛擬門或"入口"的一種可視呈現(xiàn)，其 可標(biāo)識(shí)這樣的點(diǎn)（編輯場(chǎng)所）：其中，視頻從一個(gè)位置變到另一個(gè)位置。在一實(shí)施例中，半 透明門戶可標(biāo)識(shí)這種編輯場(chǎng)所。在門戶處，可示出類似于移動(dòng)的星狀對(duì)象的視頻（也是半 透明的）2302。當(dāng)對(duì)象或化身"進(jìn)入"此門戶時(shí)，可模擬"傳送"離開該位置的外觀?？赡艿?門戶或入口的其他勢(shì)力包括3D對(duì)象，其可呈現(xiàn)門，或者可被設(shè)計(jì)為看起來是視頻中的環(huán)境 的一部分。對(duì)于此實(shí)例，3D對(duì)象在這樣的位置被放置在3D環(huán)境中：門看起來位于視頻中的 道路上。該3D對(duì)象上的紋理是HTML頁面，其包括移動(dòng)的星形的透明Flash移動(dòng)。
[0138] 圖24示出了根據(jù)本公開某些實(shí)施例的奔跑的化身的一種可視呈現(xiàn)，該化身代表 在其自己相應(yīng)的位置奔跑的用戶，它們被編程為互相經(jīng)過。在圖24中，示出了視頻的一個(gè) 實(shí)施例中的一類3D移動(dòng)對(duì)象的一個(gè)特性。代表在其自己相應(yīng)的位置奔跑的用戶的奔跑化 身可被編程為互相經(jīng)過，而不是穿過另一化身的圖像（如通過化身2402和2404所示）跑 過?；?404可在道路上以同樣的方式在發(fā)現(xiàn)另一化身2402改變位置（如結(jié)合圖25進(jìn) 一步所闡釋）。
[0139] 圖25示出了根據(jù)本公開某些實(shí)施例的奔跑的化身的一種可視呈現(xiàn)，其被編程為 移出在遮擋層中的移動(dòng)對(duì)象的道路。在圖25中，示出了在視頻一實(shí)施例中的一類3D移動(dòng) 對(duì)象的另一特性。奔跑的化身可被編程為移出遮擋層（如圖5所示）中的移動(dòng)對(duì)象的道路 夕卜?；砜梢苿?dòng)到代表視頻汽車的透明對(duì)象的路線的道路外的位置，或化身可在汽車2502 的道路外繼續(xù)奔跑的"安全道路"。當(dāng)汽車2502已經(jīng)移到另一位置時(shí)，化身（2504和2506) 可返回到常規(guī)的主要路線。
[0140] 圖26示出了根據(jù)本公開某些實(shí)施例的用戶或玩家的一種可視呈現(xiàn)，其被呈現(xiàn)為 具有改變路徑或保持在當(dāng)前路線上的選擇。如圖所示，控制器2602可被提供給用戶，以便 通過在50米后右轉(zhuǎn)來改變當(dāng)前路徑。通過點(diǎn)擊按鈕或其他傳感器，用戶可選擇不同的路 徑，該路徑可處于任何數(shù)量的方向，或?qū)嶋H上處于完全不同的位置。如果這樣的信號(hào)由用戶 提供，應(yīng)用于是可對(duì)來自可能具有新位置的新視頻文件的視頻幀進(jìn)行緩沖。進(jìn)一步地，為了 得到最佳效果，第二或所有后續(xù)位置視頻可能已經(jīng)記錄，以便在相應(yīng)的轉(zhuǎn)彎之前開始。對(duì)用 戶的效果可以是他或她可轉(zhuǎn)到離開當(dāng)前視頻中的主路線的路徑之一。另一效果可以是，通 過使用這一功能或技術(shù)，用戶可探索特定位置的變化的路徑。
[0141] 通過將此示例擴(kuò)展到對(duì)一區(qū)域進(jìn)行映射的大量視頻，可將視頻而不是帶紋理的3D 資源的圖像用作背景建立整個(gè)虛擬世界或游戲環(huán)境。
[0142] 現(xiàn)在參照?qǐng)D27到圖32,其可示出本發(fā)明一實(shí)施例的方面，該實(shí)施例使得玩家、用 戶或參與者從通過互聯(lián)網(wǎng)、內(nèi)聯(lián)網(wǎng)或其他網(wǎng)絡(luò)連接的不同位置參與游戲或模擬。這些用戶 能夠看到彼此的動(dòng)作，并在查看器或游戲內(nèi)交互。
[0143] 在本發(fā)明一實(shí)施例中，用戶或玩家可觸發(fā)應(yīng)用的開始以及其自身作為參與者的識(shí) 另IJ，因此繞開使用可向處理器（例如處理器106)提供參與者在輸入裝置附近的信號(hào)的外部 裝置的登錄過程。外部裝置可以是嵌入鑰匙圈或卡的RFID標(biāo)簽，或者甚至是具有用戶的唯 一標(biāo)識(shí)符的移動(dòng)電話應(yīng)用。接近輸入裝置的閱讀器可檢測(cè)用戶，并自動(dòng)開始應(yīng)用和運(yùn)行登 錄過程。
[0144] 具體而言，圖27可示出根據(jù)本公開某些實(shí)施例的多個(gè)并行用戶的一種可視呈現(xiàn)。 (圖27)所示的化身角色可各自代表不同位置上參與游戲或模擬的個(gè)體用戶（例如用戶 2702a，2702b，2702c，2702d和2702e)。它們可向其他用戶被呈現(xiàn)為這些類型的化身或可能 是其他類型的角色。可視呈現(xiàn)也可包括例如圖中所示名字標(biāo)簽上所示類型的信息。
[0145] 可能存在這樣的情況：其中，同一環(huán)境中可能有太多遠(yuǎn)程用戶，使得游戲體驗(yàn)不愉 快。在這種情況下，多玩家應(yīng)用可將同一視頻或環(huán)境分為多個(gè)副本，并基于某些預(yù)定的規(guī)則 將用戶分配到分立的環(huán)境。這些規(guī)則可基于具有類似興趣、表現(xiàn)等級(jí)或其他因素的用戶。
[0146] 化身呈現(xiàn)還可以不是實(shí)時(shí)的、"實(shí)況"用戶，而是實(shí)況用戶的先前的表現(xiàn)，其可由系 統(tǒng)保存，并在后來的時(shí)間點(diǎn)上再現(xiàn)。這些"表現(xiàn)"可包括主用戶自身或著名運(yùn)動(dòng)員或其他名 人的"最佳"表現(xiàn)。作為替代的是，表現(xiàn)可以是教練的引導(dǎo)，"最佳實(shí)踐"或訓(xùn)練表現(xiàn)，或可能 僅僅是隨機(jī)的系統(tǒng)生成的角色，其被設(shè)置為與游戲或模擬中的主用戶等級(jí)匹配。
[0147] 圖28示出了根據(jù)本公開某些實(shí)施例的可能的界面的一種可視呈現(xiàn)，其作為互聯(lián) 網(wǎng)上的網(wǎng)站或在系統(tǒng)游戲界面中。在該界面中，用戶可基于圖像和短介紹地穿過不同視頻 或位置滾動(dòng)（使用2802)。于是，用戶能觀看短樣片，通過下載、家庭派送或通過流賬戶2804 來訂購。
[0148] 圖29示出了根據(jù)本公開某些實(shí)施例的另一可能的界面的一種可視呈現(xiàn)，其中，用 戶可在視頻的位置的地圖上看到當(dāng)前"實(shí)況"參與者。在屏幕上，用戶可在視頻（在此實(shí)例 中，紐約中央公園）2902的位置的地圖上看到當(dāng)前"實(shí)況"參與者。通過在地圖角色上滾動(dòng) 或懸停鼠標(biāo)來選擇用戶呈現(xiàn)可高亮并放大用戶圖像和名字2904。其他的功能包括用戶或系 統(tǒng)生成事件的列表、參與者（用戶）可加入的其他課程的列表。進(jìn)一步地，系統(tǒng)可提供參與 者（用戶）可找到更多的信息的成員的列表。系統(tǒng)生成事件、課程和對(duì)成員列表的訪問可 由可視條2906提供。
[0149] 圖30示出了根據(jù)本公開某些實(shí)施例的具有更多信息的用戶界面的一種可視呈現(xiàn) 和搜索視頻或位置的方法。如圖所示，在圖30中，用戶界面3002可被顯示，其中，可示出更 多的信息和搜索視頻或位置的方法。
[0150] 圖31示出了根據(jù)本公開某些實(shí)施例的用戶界面的一種可視呈現(xiàn)，其中，參與者可 設(shè)置由其他參與者加入的事件。在此實(shí)例中，大峽谷中的位置的視頻可以是參與者可在不 同位置的跑步機(jī)上加入的跑步事件，如果他們正在運(yùn)行查看器軟件應(yīng)用的話。事件可通過 圖31中提供的控制器3102由個(gè)體用戶以及系統(tǒng)管理員設(shè)置。
[0151] 事件的描述，例如通過3104所示，可包括該位置以及對(duì)應(yīng)的視頻文件、設(shè)置為開 始的時(shí)間和時(shí)區(qū)、課程的長度、可加入的任何限制（某些方面可由系統(tǒng)基于用戶的登錄自 動(dòng)得出）。已經(jīng)加入的參與者的列表可顯示為3106。在登錄過程期間或在事件結(jié)束后可以 使開放評(píng)論論壇3108可用。
[0152] 圖32示出了根據(jù)本公開某些實(shí)施例的用戶界面的一種可視呈現(xiàn)，其示出了在一 時(shí)間段上對(duì)于參與者累積的數(shù)據(jù)的可視呈現(xiàn)。具體而言，如圖32所示，用戶界面可被顯示 為示出可在他/她已經(jīng)活躍于游戲或模擬的一時(shí)間段上對(duì)于參與者累積（由系統(tǒng)）的數(shù)據(jù) 的可視呈現(xiàn)3202。界面可以是互聯(lián)網(wǎng)上的網(wǎng)頁或在系統(tǒng)應(yīng)用自身之中。
[0153] 可由系統(tǒng)對(duì)于個(gè)體參與者得出或追蹤的數(shù)據(jù)的實(shí)例可包括但不限于距離、平均速 度、時(shí)間、步伐、燃燒的卡路里、位置數(shù)量、事件或組的數(shù)量、"個(gè)人最佳"表現(xiàn)等等。所有這些 數(shù)據(jù)點(diǎn)可對(duì)于與游戲或模擬的各次交互追蹤，并接著可通過個(gè)體表現(xiàn)查看和分析，或?qū)τ?天、周、月、年或任何其他組合匯編。參與者表現(xiàn)也可與其自己的目標(biāo)或目的比較，或與可分 類為但不限于年齡組、個(gè)體自愿加入的其他組以及類似健身等級(jí)的其他參與者的對(duì)等者表 現(xiàn)進(jìn)行比較。
[0154] 另外，通過提供一個(gè)或多個(gè)特征以使用戶能夠執(zhí)行一個(gè)或多個(gè)功能，系統(tǒng)102可 在參與游戲或做健身活動(dòng)的同時(shí)向用戶提供競爭環(huán)境。例如，可向用戶提供特征，以便將多 個(gè)其他用戶加入奔跑游戲，或者，通過張貼加入游戲的消息，可邀請(qǐng)其他用戶。因此，這為用 戶提供了在參與游戲或鍛練的同時(shí)與其他用戶交互的能力。用戶可通過具有用戶賬戶的一 個(gè)或多個(gè)社交網(wǎng)絡(luò)邀請(qǐng)其他用戶，例如社交網(wǎng)絡(luò)114。進(jìn)一步地，系統(tǒng)102可使得用戶能夠 通過社交網(wǎng)絡(luò)114或通過其他信息池116張貼評(píng)論、消息并接收回復(fù)、來自社交網(wǎng)絡(luò)114的 更新。其他信息池116可包括在線博客、獲得例如新聞、更新、帖子等信息的多種網(wǎng)站。
[0155] 圖33A和圖33B示出了在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的方法 3300。在3302中，可提供視頻文件和3D對(duì)象（或多個(gè)3D對(duì)象）。在一實(shí)施例中，視頻文件 可以是真實(shí)世界位置的記錄。進(jìn)一步地，視頻文件可以以恒定或變化的速度移動(dòng)穿過環(huán)境 來記錄，以覆蓋將在視頻游戲或模擬中使用的位置。進(jìn)一步地，視頻文件可覆蓋大的距離。 另外，視頻文件的長度可以從幾秒到幾小時(shí)。接下來，視頻文件的長度和其中覆蓋的位置可 由視頻游戲或技術(shù)模擬的用戶確定。
[0156] 進(jìn)一步地，在一實(shí)施例中，視頻文件可以是可用在視頻游戲或模擬中的幾個(gè)位置 的選輯。視頻文件也可以包括同一位置的不同的和多個(gè)視圖，其可允許游戲或模擬的玩家 或用戶具有在參與游戲期間選擇不同路徑的選項(xiàng)。
[0157] 在3304處，攝像機(jī)信息可從視頻文件提取。攝像機(jī)信息可包括攝像機(jī)移動(dòng)坐標(biāo)信 息，來自視頻文件的路線坐標(biāo)信息，以及視頻文件的各個(gè)幀的點(diǎn)云坐標(biāo)信息。攝像機(jī)移動(dòng)坐 標(biāo)信息可包括各個(gè)巾貞中的視頻攝像機(jī)相對(duì)于視頻圖像中所示的靜態(tài)點(diǎn)的移動(dòng)。進(jìn)一步地， 點(diǎn)云坐標(biāo)信息可包括視頻文件中所示的對(duì)象的深度（或到攝像機(jī)鏡頭的距離）。
[0158] 攝像機(jī)移動(dòng)坐標(biāo)信息、路線坐標(biāo)信息和點(diǎn)云坐標(biāo)信息可對(duì)于視頻文件的各個(gè)幀提 取。進(jìn)一步地，攝像機(jī)移動(dòng)坐標(biāo)信息和點(diǎn)云坐標(biāo)信息可被翻譯為三維（3D)坐標(biāo)。在另一實(shí) 施例中，攝像機(jī)移動(dòng)坐標(biāo)信息和點(diǎn)云坐標(biāo)信息的提取以及攝像機(jī)移動(dòng)坐標(biāo)信息和點(diǎn)云坐標(biāo) 信息到三維坐標(biāo)的翻譯可在一個(gè)步驟中一起進(jìn)行。
[0159] 進(jìn)一步地，攝像機(jī)移動(dòng)坐標(biāo)信息和點(diǎn)云坐標(biāo)信息可存儲(chǔ)在文件中。文件可具有多 種格式。在本發(fā)明一實(shí)施例中，文件的格式可包括提取器模塊使用的本機(jī)格式。在本發(fā)明 另一實(shí)施例中，攝像機(jī)信息可存儲(chǔ)為ASCII或二進(jìn)制文本文件。ASCII或二進(jìn)制文本文件可 包括幀號(hào)碼，"X、Y和Z"攝像機(jī)坐標(biāo)旋轉(zhuǎn)信息。在"點(diǎn)云數(shù)據(jù)"的情況下，ASCII文件可進(jìn) 一步包括用于云中的各個(gè)點(diǎn)的參考號(hào)碼，以及對(duì)于各個(gè)相應(yīng)的點(diǎn)的X、Y和Z3D空間坐標(biāo)信 肩、。
[0160] 在一個(gè)實(shí)施例中，攝像機(jī)信息可由存儲(chǔ)在存儲(chǔ)器104中的提取器模塊（圖中 沒有示出）提取。在另一實(shí)施例中，任何其他的模塊或軟件應(yīng)用可用于提取攝像機(jī)信 息。可能的軟件應(yīng)用的實(shí)例可包括但不限于SynthEyes、PFTrack、Boujou、Nuke或Adobe AfterEffects。在又一實(shí)施例中，可開發(fā)定制軟件應(yīng)用，其可使用各個(gè)巾貞之間在視頻圖像中 的像素移動(dòng)的分析來提取類似的攝像機(jī)移動(dòng)信息。進(jìn)一步地，可在視頻文件記錄期間使用 傳感器。
[0161] 在另一實(shí)施例中，通過可視地推定各個(gè)幀上視頻攝像機(jī)相對(duì)于視頻圖像中所示的 靜態(tài)點(diǎn)的移動(dòng)，攝像機(jī)移動(dòng)坐標(biāo)信息和點(diǎn)云坐標(biāo)信息可半手動(dòng)地提取。例如，技術(shù)人員可手 動(dòng)標(biāo)識(shí)對(duì)象上在不同的視頻幀中出現(xiàn)的相同的點(diǎn)（例如屋角，樹干），且提取器模塊可推定 攝像機(jī)在這些幀之間的相對(duì)移動(dòng)。
[0162] 進(jìn)一步地，在一實(shí)施例中視頻文件可被切割為較小的部分，以允許攝像機(jī)信息的 準(zhǔn)確推定和提取。本領(lǐng)域技術(shù)人員將會(huì)明了，這可促進(jìn)解決與坐標(biāo)計(jì)算有關(guān)的復(fù)雜數(shù)學(xué)計(jì) 算。進(jìn)一步地，這可促進(jìn)一次可準(zhǔn)確計(jì)算有限數(shù)量的視頻幀的坐標(biāo)的某些系統(tǒng)的使用。
[0163] 在3306處，如果視頻文件被切割或編輯為較小的剪輯，攝像機(jī)移動(dòng)坐標(biāo)信息文件 和點(diǎn)云坐標(biāo)信息文件可被融入。融入的文件可代表在整個(gè)視頻文件中行進(jìn)的整個(gè)路徑以及 捕獲的整個(gè)環(huán)境。
[0164] 進(jìn)一步地，在本發(fā)明一實(shí)施例中，可對(duì)于點(diǎn)云坐標(biāo)信息和攝像機(jī)移動(dòng)坐標(biāo)信息中 的點(diǎn)與對(duì)于整體視頻文件的視頻幀中的相應(yīng)點(diǎn)進(jìn)行匹配。準(zhǔn)確度可依賴于最終游戲或模擬 需要的準(zhǔn)確度。
[0165] 在本發(fā)明一實(shí)施例中，攝像機(jī)移動(dòng)坐標(biāo)信息文件和點(diǎn)云坐標(biāo)信息文件可由存儲(chǔ)在 存儲(chǔ)器104中的開發(fā)器模塊（圖中沒有示出）融入。在另一實(shí)施例中，攝像機(jī)移動(dòng)坐標(biāo)信 息文件和點(diǎn)云坐標(biāo)信息文件可通過某種其他模塊融入。
[0166] 在3308中，可添加遮擋層。在本發(fā)明一實(shí)施例中，遮擋層可包括視頻文件中所示 的關(guān)鍵對(duì)象的透明3D復(fù)制。靜態(tài)特征或附加靜態(tài)特征的透明3D復(fù)制可被建立，且來自視 頻文件的進(jìn)一步的已有特征可被細(xì)化。在本發(fā)明一實(shí)施例中，視頻所示對(duì)象的3D空間位置 可基于點(diǎn)云信息自動(dòng)生成，且遮擋層可從視頻文件所示對(duì)象的3D空間位置自動(dòng)生成。在本 發(fā)明另一實(shí)施例中，遮擋層可由點(diǎn)云信息自動(dòng)創(chuàng)建。
[0167] 另外，在本發(fā)明一實(shí)施例中，透明遮擋層可用作顯示為在與視頻文件所示對(duì)象相 同的環(huán)境中移動(dòng)的任何3D對(duì)象或任何附加角色的引導(dǎo)。在一實(shí)施例中，如果在透明對(duì)象后 出現(xiàn)的任何對(duì)象或其一部分被遮擋，且其位置被視頻文件占據(jù)，使得對(duì)象看起來在視頻文 件中的特征之后。例如，如果視頻包括上山并接著轉(zhuǎn)向右經(jīng)過房屋的道路，該道路、山和房 屋的透明3D呈現(xiàn)可用作對(duì)于被放置在顯示為上山并接著在房屋后消失的路線上的移動(dòng)化 身或角色的引導(dǎo)。透明3D房屋可在化身經(jīng)過3D房屋背后（即在3D空間中離查看器更遠(yuǎn)） 時(shí)遮擋化身（及防止其在屏幕上渲染）。代替化身的是，查看器可看到背景層，其是房屋的 視頻圖像。因此，當(dāng)從正確角度觀看時(shí)，以及當(dāng)3D透明房屋被對(duì)準(zhǔn)為嚴(yán)格位于在示出房屋 的視頻幀中的該場(chǎng)所上時(shí)，對(duì)查看者的可視效果可以是，化身在視頻所示的房屋后消失。
[0168] 在一實(shí)施例中，遮擋層也可以是多個(gè)分立的個(gè)體3D對(duì)象或者在相同3D空間中具 有相對(duì)坐標(biāo)的文件或?qū)ο蠼M。在另一實(shí)施例中，遮擋層可包括在真實(shí)世界視頻中改變位置 的對(duì)象。這些對(duì)象的實(shí)例可包括移動(dòng)的汽車或其他車輛、人或動(dòng)物或任何其他這樣的對(duì)象： 其可具有對(duì)于視頻文件所示的靜態(tài)環(huán)境相對(duì)于攝像機(jī)不同的移動(dòng)。
[0169] 在本發(fā)明一實(shí)施例中，移動(dòng)對(duì)象可生成為透明3D遮擋對(duì)象。它們?cè)诟鱾€(gè)幀中的相 對(duì)位置可被設(shè)置，并被給出對(duì)于其移動(dòng)和旋轉(zhuǎn)的引導(dǎo)，以匹配它們?cè)谝曨l文件中示出的對(duì) 象的移動(dòng)。移動(dòng)對(duì)象或特征可由視頻文件以及進(jìn)一步的與視頻文件中的對(duì)象移動(dòng)匹配的伴 隨動(dòng)畫建立。進(jìn)一步地，移動(dòng)路線可對(duì)于移動(dòng)對(duì)象生成。在另一實(shí)施例中，視頻文件所示的 移動(dòng)對(duì)象的3D空間位置可自動(dòng)生成。
[0170] 在本發(fā)明一實(shí)施例中，遮擋層可被開發(fā)器模塊添加。在另一實(shí)施例中，遮擋層可 由技術(shù)人員生成。在又一實(shí)施例中，為角色引導(dǎo)屏幕上的位置坐標(biāo)的遮擋層和其他移動(dòng) 遮擋對(duì)象可使用某些其他模塊、軟件應(yīng)用和技術(shù)開發(fā)。例如，使用例如LIDAR(光檢測(cè)和測(cè) 距）、LADAR(激光檢測(cè)和測(cè)距）等技術(shù)或其他動(dòng)作檢測(cè)輸入裝置或其他3D解構(gòu)技術(shù)（例 如Microsoft Kinect)或能生成環(huán)境中的周圍對(duì)象的實(shí)時(shí)深度信息的其他類似的過程，代 表視頻文件中的環(huán)境的3D空間數(shù)據(jù)可與視頻記錄同時(shí)生成。
[0171] 在3310中，可輸出移動(dòng)遮擋對(duì)象和景觀（遮擋層）的透明3D呈現(xiàn)。在一實(shí)施例 中，開發(fā)器模塊可輸出移動(dòng)遮擋對(duì)象和景觀（遮擋層）的透明3D呈現(xiàn)。進(jìn)一步地，這些文 件可以以多種格式中的任何一種保存并輸出。文件可包括用于靜態(tài)和移動(dòng)對(duì)象在3D空間 內(nèi)的尺寸、形狀和相對(duì)位置的數(shù)據(jù)。
[0172] 在3312中，來自開發(fā)器模塊的輸出文件與視頻文件一起可被輸入到存儲(chǔ)在存儲(chǔ) 器104中的查看器模塊（圖中未示出）。在本發(fā)明一實(shí)施例中，視頻文件、攝像機(jī)移動(dòng)和旋 轉(zhuǎn)信息、3D "遮擋"靜態(tài)與移動(dòng)對(duì)象、相對(duì)移動(dòng)與旋轉(zhuǎn)路線以及任何其他3D對(duì)象、角色或資 源可用作查看器模塊中的輸入。在一實(shí)施例中，查看器模塊可以是定制軟件應(yīng)用。在另一 實(shí)施例中，查看器模塊應(yīng)用可以是合適的視頻"游戲引擎"或軟件，其允許查看3D對(duì)象和游 戲、模擬或其他活動(dòng)的規(guī)則的編程。進(jìn)一步地，在本發(fā)明又一實(shí)施例中，可使用標(biāo)準(zhǔn)3D開發(fā) 應(yīng)用。這些的實(shí)例包括 Autodesk Maya、Autodesk3DSMax、Cinema4D。
[0173] 在另一實(shí)施例中，開發(fā)器模塊的本機(jī)文件格式可以直接輸入到查看器模塊。在又 一實(shí)施例中，定制文件格式可對(duì)于此信息到查看器模塊的更為高效的傳輸特殊地編寫。因 此，3310和3312的步驟可合并到一個(gè)集成的步驟中。
[0174] 在3314中，視頻文件和3D對(duì)象可被渲染為分立的層。在一實(shí)施例中，3D對(duì)象可 以是參與游戲的用戶的3D玩家或化身。不同的3D對(duì)象可在3D空間中其正確的相對(duì)位置 上示出。在本發(fā)明一實(shí)施例中，3D對(duì)象可在頂層渲染，且視頻幀可在空間的最遠(yuǎn)的層渲染。 透明3D對(duì)象和移動(dòng)對(duì)象可以被可視化為覆蓋在視頻文件的背景層上。
[0175] 進(jìn)一步地，在一實(shí)施例中，視頻文件的各個(gè)幀可渲染為最遠(yuǎn)層中的對(duì)象上的紋理， 且進(jìn)一步地，紋理以可調(diào)節(jié)的速率變化，以模擬標(biāo)準(zhǔn)視頻播放器。例如，紋理文件的變化速 度可從每秒〇幀（FPS)調(diào)節(jié)到60FPS以上的速率，以實(shí)現(xiàn)對(duì)于穿過視頻剪輯的移動(dòng)的速度 的高控制率。進(jìn)一步地，與視頻文件相關(guān)聯(lián)的聲音可被調(diào)節(jié)為在視頻文件回放速度的任何 改變期間改變長度而不是音高。
[0176] 進(jìn)一步地，下一層可包括遮擋層以及另外的3D對(duì)象、角色或資源。也可在視頻文 件中的特征的透明3D對(duì)象呈現(xiàn)內(nèi)添加靜態(tài)或移動(dòng)的另外的合成對(duì)象。在本發(fā)明一實(shí)施例 中，在用作例如菜單或附加信息的其他游戲特征的位置的遮擋層之前或之間可存在附加 層。
[0177] 在3316中，攝像機(jī)信息可被應(yīng)用到3D環(huán)境。在一實(shí)施例中，從原始視頻文件提取 的攝像機(jī)移動(dòng)坐標(biāo)信息可被查看器模塊應(yīng)用到3D空間中的對(duì)象。在一實(shí)施例中，攝像機(jī)信 息可被查看器模塊應(yīng)用。
[0178] 在3318中，可添加用于移動(dòng)3D對(duì)象或角色的輸出控制。合成對(duì)象或3D對(duì)象的移 動(dòng)可通過輸出控制與視頻文件的移動(dòng)獨(dú)立地受到控制。在一實(shí)施例中，可并入用于游戲或 模擬的角色或3D資源的移動(dòng)或視頻幀的移動(dòng)/變化的外部控制。在一實(shí)施例中，輸出控制 可由查看器模塊添加。
[0179] 在3320中，視頻文件可與3D對(duì)象或移動(dòng)角色同步。在一實(shí)施例中，3D空間攝像 機(jī)移動(dòng)可同步為匹配來自視頻剪輯的正確幀的移動(dòng)。在3D環(huán)境中，視頻文件和3D對(duì)象可 在屏幕上在分立但同步的層中渲染。在一實(shí)施例中，視頻文件可由查看器模塊與3D對(duì)象同 止 /J/ 〇
[0180] 進(jìn)一步地，HTML瀏覽器層可在同一屏幕上顯示。另外，包含廣告圖像、對(duì)象或視頻 文件的對(duì)象的位置可以以給出這樣的外觀的方式放置：它們?cè)谝曨l文件中所示的環(huán)境中存 在。在一實(shí)施例中，視頻文件和3D對(duì)象可由查看器模塊渲染。
[0181] 另外，可添加可允許像門戶或入口的對(duì)象以給出這樣的外觀的方式放置的特征或 功能：它們?cè)谝曨l文件所示的環(huán)境中存在，且這些門戶或入口代表視頻文件中位置的變化。
[0182] 進(jìn)一步地，視頻游戲功能可被添加，其可在視頻文件上使用。在一實(shí)施例中，視頻 游戲功能可包括點(diǎn)數(shù)系統(tǒng)、角色和聲效。進(jìn)一步地，視頻游戲功能可包括用以在用戶選擇改 變路徑的方向的條件下允許背景視頻或視頻文件改變的功能，且在該過程中，可建立大的 虛擬世界，其中，背景是視頻而不是圖像或有紋理的3D對(duì)象。
[0183] 在3322中，輸出可在屏幕上呈現(xiàn)。在一實(shí)施例中，3D層可渲染為到屏幕的2D輸 出，用于視頻游戲或模擬的參與用戶。在另一實(shí)施例中，查看器模塊的輸出可以是合適的查 看監(jiān)視器上的3D立體視覺。3D對(duì)象或合成對(duì)象可以對(duì)于模擬或視頻游戲的參與用戶或觀 看者看起來在視頻文件所示的景觀中存在或移動(dòng)。進(jìn)一步地，合成對(duì)象或角色可獨(dú)立地由 玩家、用戶或其他控制裝置控制。
[0184] 圖34A和圖34B示出了根據(jù)本發(fā)明另一實(shí)施例對(duì)真實(shí)世界視頻文件內(nèi)的合成對(duì)象 進(jìn)行可視化的方法3400。在3402中，可提供視頻文件和合成對(duì)象。視頻文件可需要與鏡頭 失真、顏色信息調(diào)節(jié)以及視頻穩(wěn)定化有關(guān)的某些校正，以便移除攝像機(jī)的不希望的搖動(dòng)或 其他移動(dòng)。
[0185] 在3404中，可進(jìn)行分析，用于檢查視頻文件的視頻圖像的校正。在本發(fā)明一實(shí)施 例中，分析可由存儲(chǔ)在存儲(chǔ)器104中的校正模塊（圖中沒有示出）進(jìn)行。
[0186] 在3406中，基于分析，可作出對(duì)需要的校正的判斷。在一實(shí)施例中，對(duì)于取決于原 始視頻記錄過程中使用的鏡頭的鏡頭失真、出于美學(xué)原因的顏色信息調(diào)節(jié)、攝像機(jī)移動(dòng)的 由軟件進(jìn)行的較好的推定以及為移除不希望的攝像機(jī)搖動(dòng)或其他移動(dòng)的視頻穩(wěn)定化，可能 需要校正。本領(lǐng)域技術(shù)人員將會(huì)明了，對(duì)視頻文件的校正可促進(jìn)數(shù)據(jù)提取的高效過程。在 本發(fā)明一實(shí)施例中，判斷可由校正模塊作出。
[0187] 在3408中，校正可被應(yīng)用到視頻幀。視頻文件可相應(yīng)地更新。在本發(fā)明一實(shí)施例 中，校正可由校正模塊應(yīng)用。
[0188] 在3410中，可準(zhǔn)備最終視頻幀。在本發(fā)明一實(shí)施例中，最終視頻幀可由校正模塊 制備。
[0189] 下面，步驟3412(提取攝像機(jī)信息）、步驟3414(向開發(fā)器模塊輸出文件）、步驟 3416 (融入攝像機(jī)移動(dòng)坐標(biāo)和點(diǎn)云坐標(biāo)）、步驟3418 (創(chuàng)建遮擋層）、步驟3420 (創(chuàng)建移動(dòng)遮 擋對(duì)象）和步驟3422(向查看器模塊輸出文件）可被執(zhí)行，以便在視頻文件中對(duì)合成對(duì)象 進(jìn)行可視化，如結(jié)合對(duì)圖33A和圖33B的介紹所討論的那樣。
[0190] 進(jìn)一步地，圖33A、圖33B、圖34A和圖34B的方法步驟不限于這里提到的上述信 息。結(jié)合圖1、圖2和圖4到圖32闡釋的多種實(shí)施例和特征可由上面闡釋的各個(gè)方法使用。 進(jìn)一步地，本發(fā)明不限于上面提到的實(shí)施例和實(shí)例，且在本發(fā)明的啟示下，在不脫離本發(fā)明 的范圍的情況下，可實(shí)現(xiàn)許多其他實(shí)施例和實(shí)例。
[0191] 有利的是，本公開提供了用于在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的系 統(tǒng)和方法。系統(tǒng)可以對(duì)于任何用戶的活動(dòng)的模擬和游戲獨(dú)立實(shí)現(xiàn)。另外，系統(tǒng)可使得遍及萬 維網(wǎng)（WWW)的多個(gè)用戶在鍛練、參與游戲或通過系統(tǒng)進(jìn)行任何其他活動(dòng)的同時(shí)彼此交互。 另外，系統(tǒng)可用作多種其他機(jī)器（例如輸入傳感器裝置，其可檢測(cè)與用戶活動(dòng)有關(guān)的多種 參數(shù)）的插件。
[0192] 進(jìn)一步地，本發(fā)明的實(shí)施例促進(jìn)實(shí)現(xiàn)對(duì)真實(shí)世界的完全具有說服力的、逼真的、照 片擬真的呈現(xiàn)。進(jìn)一步地，本系統(tǒng)促進(jìn)將對(duì)象或游戲角色覆蓋到真實(shí)視頻中，并使它們看起 來在視頻文件所示的同樣的環(huán)境內(nèi)正確移動(dòng)。另外，本發(fā)明提供了與對(duì)象或游戲角色的視 頻游戲控制類似的對(duì)對(duì)象或游戲角色的外部控制。
[0193] 進(jìn)一步地，本發(fā)明促進(jìn)將真實(shí)視頻用于制作模擬或視頻游戲，由此節(jié)省設(shè)計(jì)和搭 建用于視頻游戲的3D環(huán)境的大量時(shí)間和成本。進(jìn)一步地，本發(fā)明促進(jìn)允許用戶與視頻移動(dòng) 獨(dú)立地控制對(duì)象或游戲角色。
[0194] 另外，本發(fā)明促進(jìn)在健身和健康領(lǐng)域利用現(xiàn)代技術(shù)，例如互聯(lián)網(wǎng)、視頻游戲、實(shí)況 在線多玩家游戲、表現(xiàn)數(shù)據(jù)分析和通過社交網(wǎng)站的分享。具體而言，本發(fā)明促進(jìn)將現(xiàn)代技術(shù) 用于室內(nèi)有氧運(yùn)動(dòng)設(shè)備（例如跑步機(jī)、橢圓機(jī)、自行車、賽艇機(jī)等）上的特定鍛練。
[0195] 進(jìn)一步地，在屏幕被放在與某種形式的處理器一起的機(jī)器前方的情況下，屏幕可 托管具有可通過用戶的鍛練運(yùn)動(dòng)觸發(fā)的視頻游戲的軟件應(yīng)用（系統(tǒng)應(yīng)用），且在游戲或模 擬期間與其他用戶實(shí)況交互的用戶通過社交網(wǎng)絡(luò)且在線地分享（發(fā)送和接收）信息。應(yīng)用 也可存儲(chǔ)和分析關(guān)于用戶表現(xiàn)的數(shù)據(jù)，并提供用于激勵(lì)用戶的用戶表現(xiàn)的圖形呈現(xiàn)。進(jìn)一 步地，可促進(jìn)用戶在例如Facebook、Linkedln、Twitter等社交網(wǎng)絡(luò)上張貼其表現(xiàn)呈現(xiàn)。
[0196] 另外，本發(fā)明提供了多種其他特征，以便促進(jìn)用戶執(zhí)行多種功能，例如，用戶可選 擇其化身，可對(duì)其他用戶加標(biāo)簽，從社交網(wǎng)絡(luò)接收和發(fā)送活動(dòng)饋送以及更新，等等。進(jìn)一步 地，本公開提供的多種實(shí)施例可提供用戶探索多種其他新特征的展望。另外，用戶可通過在 線交互找到其他用戶（可以是朋友，親戚），并能參與共同的活動(dòng)。因此，本發(fā)明激勵(lì)用戶更 為有效地鍛練，并在進(jìn)行這種健身活動(dòng)的同時(shí)增強(qiáng)娛樂性。
[0197] 本領(lǐng)域技術(shù)人員可以明了，本發(fā)明不限于上面提到的實(shí)施例。進(jìn)一步地，多種其他 的實(shí)施例也可通過本系統(tǒng)提供的特征實(shí)現(xiàn)。另外，使用"第一用戶"、"第二用戶"的術(shù)語不能 看作對(duì)本發(fā)明的限制方面，因?yàn)檫@些術(shù)語僅僅出于更好地闡釋的目的使用。本領(lǐng)域技術(shù)人 員將會(huì)明了，本發(fā)明不限于上面提到的優(yōu)點(diǎn)。進(jìn)一步地，在不脫離本發(fā)明的范圍的情況下， 由上面給出的介紹的啟示，可明了許多其他的優(yōu)點(diǎn)。
[0198] 出于闡釋目的，上面的介紹已經(jīng)參照特定實(shí)施例來介紹。然而，上面的說明性的討 論并非旨在窮盡或?qū)⒈景l(fā)明限制于所公開的確切形式。在以上教導(dǎo)的啟示下，許多修改和 變型是可行的。選擇和介紹實(shí)施例以便最好地闡釋本發(fā)明的原理及其實(shí)際應(yīng)用，由此使得 本領(lǐng)域技術(shù)人員最好地使用本發(fā)明，且具有多種修改的多種實(shí)施例適合于所想到的特定應(yīng) 用。
[0199] 上面參照根據(jù)本發(fā)明的實(shí)施例的方法和系統(tǒng)的框圖和原理圖介紹了本發(fā)明的實(shí) 施例。將會(huì)明了，圖中的各個(gè)框以及圖中的框的組合可通過計(jì)算機(jī)程序指令實(shí)現(xiàn)。這些計(jì) 算機(jī)程序指令可加載到一個(gè)或多個(gè)通用計(jì)算機(jī)、專用計(jì)算機(jī)或其他可編程數(shù)據(jù)處理翻譯器 上，以產(chǎn)生機(jī)器，使得在計(jì)算機(jī)或其他可編程數(shù)據(jù)處理翻譯器上執(zhí)行的指令創(chuàng)建用于實(shí)現(xiàn) 框中指定的功能的手段。這種計(jì)算機(jī)程序指令也可存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中，其可指示 計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定的方式運(yùn)行，使得存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器中的 指令廣生包括實(shí)現(xiàn)框中所指定功能的指令手段的制品。
[0200] 盡管已經(jīng)聯(lián)系當(dāng)前考慮為最實(shí)際的多種實(shí)施例介紹了本發(fā)明，將會(huì)明了，本發(fā)明 不限于所公開的實(shí)施例，相反，旨在涵蓋所附權(quán)利要求的精神和范圍內(nèi)包括的多種修改和 等同布置。本發(fā)明已經(jīng)在計(jì)算裝置、電話和由計(jì)算機(jī)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令（例如程序 模塊）的一般背景下介紹。一般地，程序模塊包括例程、程序、角色、部件、數(shù)據(jù)結(jié)構(gòu)等，其執(zhí) 行特定任務(wù)或?qū)崿F(xiàn)特定的抽象數(shù)據(jù)類型。本領(lǐng)域技術(shù)人員將會(huì)明了，本發(fā)明可以用其它的 計(jì)算機(jī)系統(tǒng)配置實(shí)現(xiàn)，包括手持式裝置、多處理器系統(tǒng)、基于處理器的或可編程的消費(fèi)品電 子裝置、網(wǎng)絡(luò)PC、微機(jī)、主機(jī)等等。進(jìn)一步地，本發(fā)明也可在分布計(jì)算環(huán)境中實(shí)現(xiàn)，其中，任務(wù) 由通過通信網(wǎng)絡(luò)連接的遠(yuǎn)程處理裝置執(zhí)行。在分布式計(jì)算環(huán)境中，程序模塊可位于本地以 及遠(yuǎn)程存儲(chǔ)器存儲(chǔ)裝置中。
[0201] 此書面說明書使用實(shí)例來公開本發(fā)明（包括最佳模式），并使得本領(lǐng)域技術(shù)人員 能夠?qū)嵺`本發(fā)明，包括制造和使用任何裝置和系統(tǒng)以及執(zhí)行任何所包括的方法。本發(fā)明的 可專利性范圍在權(quán)利要求中限定，并可包括本領(lǐng)域技術(shù)人員能想到的其他實(shí)例。如果這些 其他的實(shí)例具有不與權(quán)利要求的本義表述存在差異的結(jié)構(gòu)元件，或者如果它們包括與權(quán)利 要求的本義表述僅具有非實(shí)質(zhì)性差異的等同結(jié)構(gòu)元件，它們屬于權(quán)利要求的范圍。
【權(quán)利要求】
1. 一種在真實(shí)世界視頻剪輯內(nèi)對(duì)合成對(duì)象進(jìn)行可視化的方法，包括： a. 將來自真實(shí)世界視頻剪輯的一個(gè)或多個(gè)對(duì)象和特征中的至少一個(gè)搭建到透明3D場(chǎng) 景中，其中，對(duì)象和特征基于真實(shí)世界視頻剪輯是靜態(tài)的和動(dòng)態(tài)的中的至少一者； b. 在查看器應(yīng)用中，將所搭建的透明3D場(chǎng)景和動(dòng)態(tài)對(duì)象可視化為覆蓋在真實(shí)世界視 頻剪輯的背景層上； c. 在真實(shí)世界視頻剪輯中的特征的透明3D場(chǎng)景呈現(xiàn)內(nèi)添加靜態(tài)的或動(dòng)態(tài)的附加合成 對(duì)象，透明3D場(chǎng)景呈現(xiàn)基于所搭建的透明3D場(chǎng)景的可視化； d. 將透明3D場(chǎng)景用作遮擋層，其中，出現(xiàn)在透明對(duì)象后的遮擋層的一部分或?qū)ο蟊徽?擋，并且其位置由真實(shí)世界視頻剪輯占據(jù)；以及 e. 與視頻剪輯的移動(dòng)獨(dú)立地控制合成對(duì)象的移動(dòng)。
2. 權(quán)利要求1所述的方法，還包括： 從真實(shí)世界視頻剪輯的至少一部分提取信息，所提取的信息受到處理以形成透明3D 場(chǎng)景，其反映在真實(shí)世界視頻剪輯中由攝像機(jī)行進(jìn)的路徑。
3. 權(quán)利要求2所述的方法，其中，所提取的信息包括： a. 3D攝像機(jī)移動(dòng)坐標(biāo)和來自真實(shí)世界視頻剪輯或真實(shí)世界視頻剪輯的片段的路線； 以及 b. 來自真實(shí)世界視頻剪輯的對(duì)象的3D空間或"點(diǎn)云"坐標(biāo)數(shù)據(jù)。
4. 權(quán)利要求2所述的方法，進(jìn)一步包括將從真實(shí)世界視頻剪輯提取的信息應(yīng)用到查看 器應(yīng)用的攝像機(jī)。
5. 權(quán)利要求1所述的方法，進(jìn)一步包括使得用戶能夠選擇來自真實(shí)世界視頻剪輯或來 自一個(gè)或多個(gè)其他真實(shí)世界視頻剪輯的路線，以用于對(duì)合成對(duì)象進(jìn)行可視化。
6. 權(quán)利要求3所述的方法，其中，通過將3D攝像機(jī)移動(dòng)坐標(biāo)和路線融入3D空間坐標(biāo)數(shù) 據(jù)來處理所提取的信息，以形成透明3D場(chǎng)景。
7. 權(quán)利要求1所述的方法，進(jìn)一步包括將附加靜態(tài)特征搭建到透明3D場(chǎng)景之中，并細(xì) 化來自真實(shí)世界視頻剪輯的已有特征。
8. 權(quán)利要求1所述的方法，進(jìn)一步包括在查看器應(yīng)用中將真實(shí)世界視頻剪輯可視化為 3D空間內(nèi)的最遠(yuǎn)的層。
9. 權(quán)利要求1所述的方法，其中，到查看器應(yīng)用的結(jié)果是合成對(duì)象看起來在視頻所示 的景觀內(nèi)存在或移動(dòng)的可視外觀。
10. 權(quán)利要求1所述的方法，進(jìn)一步包括，使得用戶和一個(gè)或多個(gè)控制裝置中的至少一 者能夠獨(dú)立地控制合成對(duì)象。
11. 權(quán)利要求1所述的方法，其中，查看器應(yīng)用允許在分立層中在屏幕上渲染視頻剪輯 和3D對(duì)象，各個(gè)分立層在3D空間內(nèi)同步。
12. 權(quán)利要求8所述的方法，其中，視頻剪輯的各個(gè)幀被渲染為3D空間內(nèi)的最遠(yuǎn)的層中 的對(duì)象上的紋理，其中，紋理能夠以可調(diào)節(jié)的速率變化，以模擬標(biāo)準(zhǔn)視頻播放器。
13. 權(quán)利要求1所述的方法，其中，查看器應(yīng)用將紋理文件的變化速度從0幀每秒 (FPS)調(diào)節(jié)到60FPS及以上的速率，以實(shí)現(xiàn)對(duì)于穿過視頻剪輯的移動(dòng)的速度的高控制率。
14. 權(quán)利要求1所述的方法，進(jìn)一步包括在3D空間內(nèi)在屏幕上顯示HTML瀏覽器層。
15. 權(quán)利要求1所述的方法，進(jìn)一步包括允許放置包括廣告圖像、對(duì)象或視頻剪輯中的 至少一者的對(duì)象，該放置以給出其在視頻剪輯所示的環(huán)境中存在的外觀的方式進(jìn)行。
16. 權(quán)利要求1所述的方法，其中，查看器應(yīng)用包括允許放置與門戶或入口相像的對(duì)象 的功能，該放置以給出其在視頻所示的環(huán)境中存在的外觀的方式進(jìn)行。
17. 權(quán)利要求1所述的方法，進(jìn)一步包括提供用于在真實(shí)世界視頻剪輯上使用的一個(gè) 或多個(gè)功能，包括點(diǎn)數(shù)系統(tǒng)、角色、聲效和其他特征。
18. 權(quán)利要求1所述的方法，進(jìn)一步包括在用戶選擇改變真實(shí)世界視頻剪輯內(nèi)的路徑 方向時(shí)允許用戶更改背景視頻。
19. 一種被配置為執(zhí)行權(quán)利要求1所示方法的計(jì)算機(jī)系統(tǒng)。
20. -種用于對(duì)一個(gè)或多個(gè)活動(dòng)的模擬或可視游戲進(jìn)行渲染的系統(tǒng)，其中，系統(tǒng)包括存 儲(chǔ)器、處理器和顯示屏，存儲(chǔ)器包括一個(gè)或多個(gè)指令，該指令可由處理器執(zhí)行，以： a. 促使多個(gè)用戶各自地選擇多個(gè)真實(shí)世界視頻文件中的至少一個(gè)用于可視化； b. 基于對(duì)應(yīng)地選擇的所述多個(gè)真實(shí)世界視頻文件中的至少一個(gè)，向各個(gè)用戶提供3D 環(huán)境中的背景場(chǎng)景，該背景場(chǎng)景包括與所選擇的真實(shí)世界視頻文件對(duì)應(yīng)的一個(gè)或多個(gè)對(duì) 象； c. 向各個(gè)用戶提供屏幕上的可視呈現(xiàn)，作為與所選擇的真實(shí)世界視頻文件對(duì)應(yīng)的3D 環(huán)境中的化身；以及 d. 基于由用戶執(zhí)行的一個(gè)或多個(gè)活動(dòng)，通過所選擇的化身在3D環(huán)境中顯示用戶的實(shí) 時(shí)移動(dòng)，所述一個(gè)或多個(gè)活動(dòng)對(duì)應(yīng)于參加可視游戲和鍛練中的至少一者。
21. 權(quán)利要求20所述的系統(tǒng)，其中，存儲(chǔ)器進(jìn)一步包括通過使用一個(gè)或多個(gè)傳感器來 確定所述一個(gè)或多個(gè)活動(dòng)的指令。
22. 權(quán)利要求20所述的系統(tǒng)，其中，為了提供3D環(huán)境中的背景場(chǎng)景，能夠由處理器執(zhí)行 的所述一個(gè)或多個(gè)指令，用于： 從所選擇的真實(shí)世界視頻文件的至少一部分提取攝像機(jī)信息，以形成透明3D場(chǎng)景； 基于所提取的信息，將來自所選擇的真實(shí)世界視頻的一個(gè)或多個(gè)對(duì)象和特征中的至少 一者搭建到透明3D場(chǎng)景中，其中，所述對(duì)象和特征基于所選擇的真實(shí)世界視頻剪輯是靜態(tài) 的和動(dòng)態(tài)的中的至少一者；以及 通過查看器應(yīng)用對(duì)所搭建的透明3D場(chǎng)景進(jìn)行可視化。
23. 權(quán)利要求20所述的系統(tǒng)，其中，促進(jìn)用戶從多個(gè)化身中選擇化身，或?qū)⒒砬度?D 環(huán)境。
24. 權(quán)利要求20所述的系統(tǒng)，其中，存儲(chǔ)器進(jìn)一步包括一個(gè)或多個(gè)指令，其能夠由處理 器執(zhí)行，用于通過并入"實(shí)況多玩家"方面來促進(jìn)一個(gè)或多個(gè)活動(dòng)的模擬或游戲，其中，允許 來自不同網(wǎng)絡(luò)位置的多個(gè)參與者交互或在屏幕上查看各自的動(dòng)作。
25. 權(quán)利要求20所述的系統(tǒng)，其中，存儲(chǔ)器進(jìn)一步包括一個(gè)或多個(gè)指令，其能夠由處 理器執(zhí)行，以便通過并入"實(shí)況多玩家"方面來促進(jìn)參與一個(gè)或多個(gè)活動(dòng)的游戲或模擬，其 中： a. 相同3D環(huán)境的數(shù)目被基于并行用戶的數(shù)目來調(diào)節(jié)；且 b. 分立的環(huán)境被基于特定的預(yù)定規(guī)則分配給用戶。
26. 權(quán)利要求20所述的系統(tǒng)，其中，存儲(chǔ)器進(jìn)一步包括一個(gè)或多個(gè)指令，其能夠由處理 器執(zhí)行，用于并入用于各個(gè)用戶的信息標(biāo)簽，所述信息標(biāo)簽與屏幕上的用戶的化身相關(guān)，其 中，信息標(biāo)簽基于用戶在屏幕呈現(xiàn)上的距離來改變外觀。
27. 權(quán)利要求20所述的系統(tǒng)，其中，存儲(chǔ)器進(jìn)一步包括引導(dǎo)各個(gè)用戶在屏幕呈現(xiàn)上實(shí) 時(shí)移動(dòng)的指令。
28. 權(quán)利要求20所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)指令進(jìn)一步允許對(duì)象被放置在屏 幕上，用于顯示廣告圖像、對(duì)象或視頻剪輯，以給出其在所選擇的視頻文件中所示的環(huán)境中 的外觀。
29. 權(quán)利要求20所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)指令幫助各個(gè)用戶具有視頻游戲 功能，包括點(diǎn)數(shù)系統(tǒng)、角色和聲效，用于在健身相關(guān)游戲或模擬中在真實(shí)世界視頻上使用。
30. 權(quán)利要求20所述的系統(tǒng)，其中，所述一個(gè)或多個(gè)指令執(zhí)行地圖覆蓋功能，用于允許 各個(gè)用戶追蹤沿著路徑或活動(dòng)的進(jìn)展。
31. 權(quán)利要求20所述的系統(tǒng)，其中，指令使用到Google Earth或Google Maps的鏈接 實(shí)現(xiàn)地圖功能，用于允許各個(gè)用戶追蹤沿著路徑或活動(dòng)的進(jìn)展。
32. 權(quán)利要求20所述的系統(tǒng)，其中，能夠由處理器執(zhí)行的指令允許參與活動(dòng)的用戶通 過網(wǎng)絡(luò)彼此交談。
33. 權(quán)利要求20所述的系統(tǒng)，其中，能夠由處理器執(zhí)行的指令促進(jìn)交互功能，用于使得 用戶能在離該用戶的特定距離范圍內(nèi)對(duì)其他用戶"加標(biāo)簽"或向其他用戶發(fā)送預(yù)定消息。
34. 權(quán)利要求20所述的系統(tǒng)，其中，指令允許參與游戲的用戶看到通過網(wǎng)絡(luò)來自其他 用戶的實(shí)況視頻饋送。
35. 權(quán)利要求20所述的系統(tǒng)，其中，能夠由處理器執(zhí)行的指令促使用戶參與一個(gè)或多 個(gè)自己存儲(chǔ)的先前的表現(xiàn)以及其他用戶在游戲或模擬中的表現(xiàn)。
36. 權(quán)利要求20所述的系統(tǒng)，其中，指令進(jìn)一步基于與用戶相關(guān)聯(lián)的裝置中的RFID標(biāo) 簽檢測(cè)用戶的存在。
37. 權(quán)利要求20所述的系統(tǒng)，其中，指令允許參與者具有這樣的能力：設(shè)置定制游戲事 件和定制游戲組中的至少一者，用于使得其他用戶能夠加入。
38. 權(quán)利要求20所述的系統(tǒng)，其中，指令進(jìn)一步顯示屏幕上的信息，包括：來自互聯(lián)網(wǎng) 的數(shù)據(jù)，包括來自社交網(wǎng)站的RSS、XML和饋送；以及，用戶的當(dāng)前和過去的表現(xiàn)，用戶的當(dāng) 前和過去的信息實(shí)時(shí)更新。
39. 權(quán)利要求20所述的系統(tǒng)，其中，指令使得用戶能夠設(shè)置表現(xiàn)的目標(biāo)或目的，其中， 允許用戶向包括一個(gè)或多個(gè)社交網(wǎng)絡(luò)的互聯(lián)網(wǎng)廣播與目標(biāo)和目的設(shè)置以及成就對(duì)應(yīng)的信 肩、。
40. 權(quán)利要求20所述的系統(tǒng)，其中，能夠由處理器執(zhí)行的指令在屏幕上向用戶顯示來 自于其上具有該用戶的帳號(hào)的社交網(wǎng)絡(luò)的評(píng)論、消息、狀態(tài)更新。
41. 權(quán)利要求39所述的系統(tǒng)，其中，能夠由處理器執(zhí)行的指令在屏幕上顯示對(duì)用戶張 貼的目標(biāo)和成就的回復(fù)或評(píng)論。
42. 權(quán)利要求20所述的系統(tǒng)，其中，能夠由處理器執(zhí)行的指令存儲(chǔ)、顯示、分析和分享 關(guān)于用戶表現(xiàn)的數(shù)據(jù)。
【文檔編號(hào)】G06T17/00GK104067317SQ201280052028
【公開日】2014年9月24日 申請(qǐng)日期:2012年9月10日 優(yōu)先權(quán)日:2011年9月8日
【發(fā)明者】M·S·哈爾黛, A·R·弗蘭克 申請(qǐng)人:寶福特控股私人有限公司