專利名稱：捕獲在生成的場景內表演的演員的視圖和運動的制作方法
技術領域：
本發(fā)明涉及電影和視頻游戲，并且更具體地說，本發(fā)明涉及模擬在對于這種電影和視頻游戲生成的場景內操作的虛擬相機的表現。
背景技術：
動作捕獲系統(tǒng)用于捕獲真實對象的運動并且將它們映射到計算機生成的對象上。這種系統(tǒng)通常用于創(chuàng)建數字表示的電影和視頻游戲的產生，該數字表示用作用于創(chuàng)建計算機圖形(CG)動畫的源數據。在使用典型動作捕獲系統(tǒng)的時期(session)中，演員穿著具有附在各種位置的標記(例如，具有附在身體和四肢的小反射標記)的衣服，并且數字相機記錄演員的運動。然后，該系統(tǒng)分析圖像以確定在每幀中標記在演員的衣服上的位置(例如，
作為空間坐標)和定向。通過跟蹤標記的位置，該系統(tǒng)創(chuàng)建隨時間的標記的空間表示，并且建立運動著的演員的數字表示。然后，將該動作應用于數字模型，然后，對該數字模型進行紋理化和潤色，以產生演員和/或者表演的完全CG表示。在許多流行的電影和游戲中，這種技術被特技公司用來產生逼真的動畫。

發(fā)明內容
本發(fā)明提供生成視覺娛樂節(jié)目的虛擬環(huán)境的場景。在一個實現中，公開了一種用于捕獲在生成的場景內表演的演員的視圖和運動的方法。該方法包括跟蹤在空間的物理容積內的演員佩戴的頭戴相機和多個動作捕獲標記的運動；將頭戴相機的運動轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動；將多個動作捕獲標記的運動轉化為虛擬角色的身體運動；利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭；以及將生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機。在另一實現中，公開了一種用于捕獲在生成的場景內表演的演員的視圖和運動的方法。該方法包括跟蹤在空間的物理容積內的演員的頭部佩戴的對象的位置和定向；跟蹤在空間的物理容積內的演員的身體佩戴的動作捕獲標記的位置；將對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動；將多個動作捕獲標記的位置轉化為虛擬角色的身體運動；以及利用虛擬角色的頭部運動和身體運動來產生第一個人視點鏡頭。在另一實現中，公開了一種用于生成視覺娛樂節(jié)目的虛擬環(huán)境的場景的系統(tǒng)。該系統(tǒng)包括多個位置跟蹤器，配置為跟蹤空間的物理容積內表演的演員佩戴的頭戴相機對象和多個動作捕獲標記的位置；定向跟蹤器，配置為跟蹤頭戴相機對象的定向；處理器，包括存儲包括計算機程序的存儲介質，該計算機程序包括使處理器執(zhí)行如下步驟的可執(zhí)行指令接收包括虛擬角色的視頻文件；從多個位置跟蹤器接收關于頭戴相機對象和多個動作捕獲標記的位置的跟蹤信息；從定向跟蹤器接收關于頭戴相機對象的定向的跟蹤信息；將頭戴相機對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動；將多個動作捕獲標記的位置轉化為虛擬角色的身體運動；利用虛擬角色的頭部運動和身體運動產生第一個人視點鏡頭；以及將生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機對象。
在又ー實現中，公開了ー種用于存儲用于生成視覺娛樂節(jié)目的虛擬環(huán)境的場景的計算機程序的計算機可讀存儲介質。該計算機程序包括使計算機執(zhí)行如下步驟的可執(zhí)行指令接收包括虛擬環(huán)境的視頻文件；從多個位置跟蹤器接收關于頭戴相機對象和多個動作捕獲標記的位置的跟蹤信息；從定向跟蹤器接收關于頭戴相機對象的定向的跟蹤信息；將頭戴相機對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動；將多個動作捕獲標記的位置轉化為虛擬角色的身體運動；利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭；以及將生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機對象。閱讀了下面的詳細描述和附圖后，本發(fā)明的其他特征和優(yōu)點對于本技術領域內的普通技術人員更加顯而易見。


圖I示出在完成的中間階段示出虛擬角色的ー個示例場景；
圖2示出在圖I所示中件階段附加生動特征到虛擬角色上的ー個示例場景；圖3是示出第一個人視點鏡頭的ー個示例場景；圖4示出動作捕獲時期的幾種不同配置的ー個示例。圖5示出用于跟蹤在對電影和/或者視頻游戲生成的場景內操作的演員佩戴的頭戴相機和標記的空間的物理容積(physical volume)；圖6示出在多個動作捕獲標記附于衣服的情況下佩戴頭戴相機和整套衣物(bodysuit)的演員的一個示例；圖7示出用于執(zhí)行動作捕獲時期的空間的物理容積的ー個示例設置；圖8示出利用硬件和軟件的組合來捕獲演員的頭部運動的頭戴相機的一個示例；圖9是示出用于捕獲在對電影、視頻游戲和/或者仿真生成的場景中表演的演員的視圖和運動的處理的流程圖。
具體實施例方式在此公開的特定實現可以捕獲在對電影、視頻游戲、仿真和/或者其他視覺娛樂節(jié)目生成的場景內表演的演員的視圖和運動。在一些實現中，捕獲在生成的場景內表演的ー個以上演員的視圖和運動。其他實現用于模擬在生成的場景中操作的頭戴相機的表現(performance)ο向演員提供生成的場景，以輔助演員在該場景下表演。在一些實現中，演員包括表演者、游戲玩家和/或者生成電影、視頻游戲和/或者其他仿真的系統(tǒng)的用戶。在一種實現中，向演員佩戴的頭戴相機提供生成的場景，以向演員提供虛擬環(huán)境的感覺。佩戴頭戴相機的演員繞著動作捕獲容積物理地運動，其中頭戴相機的物理運動被跟蹤并且被轉化為演員在虛擬環(huán)境內的視場。在一些實現中，演員的該視場表示為拍攝相機的視點鏡頭。在又ー實現中，佩戴頭戴相機的演員也可以穿具有一組動作捕獲標記的整套衣物。動作捕獲標記的物理運動被跟蹤并且被轉化為演員在虛擬環(huán)境下的運動。捕獲的演員和頭戴相機的運動并入生成的場景中，以產生在虛擬環(huán)境下操作的演員的一系列第一個人視點鏡頭。反饋到頭戴相機的第一個人視點鏡頭允許演員看到在虛擬環(huán)境內操作的角色的手和腳。上述步驟對于其中頻繁地需要第一人稱(first person perspective)以作為組合故事講述與代入式游戲扮演的方式的游戲是特別有用的。在一種實現中，虛擬角色操作的虛擬環(huán)境包括對視頻游戲生成的虛擬環(huán)境。在另一實現中，虛擬角色操作的虛擬環(huán)境包括對其中虛擬場景與實況動作場景集成的電影生成的混合環(huán)境。應當注意，頭戴相機不是物理相機，而是表示虛擬環(huán)境中的虛擬相機的物理對象。物理對象的運動(定向變化)被跟蹤，以使它們與虛擬環(huán)境內操作的虛擬角色的相機角視點相關聯。在上述實現中，通過跟蹤演員佩戴的頭戴相機的位置和定向；以及將位置和定向轉化為在虛擬環(huán)境內演員的視場，來捕獲第一個人視點鏡頭。此外，設置在演員穿的整套衣物上的標記被跟蹤，以生成在虛擬環(huán)境內操作的演員的運動。閱讀了該描述后，如何在各種實現和應用中實現本發(fā)明變得顯而易見。然而，盡管 在此描述了本發(fā)明的各種實現，但是應當明白這些實現僅作為示例示出并且沒有限制性。這樣，不應當認為對各種實現的這種詳細描述限制本發(fā)明的范圍或者廣度。隨著提供更加真實和生動的動畫(通常在3D環(huán)境下)的技術的出現，視頻游戲正變成不僅僅是游戲的更有吸引力的娛樂。此外，這種吸引力可以并入諸如電影或者各種仿真的其他娛樂節(jié)目中。動作捕獲時期使用一系列動作捕獲相機捕獲演員的身體上的標記；將捕獲的標記傳送到計算機，將它們應用于骨骼以生成圖形角色；以及對圖形角色添加生動特征。例如，圖I和圖2示出利用動作捕獲時期對圖形角色(請參見圖I)添加的生動特征(請參見圖2)。此外，仿真在對視頻游戲生成的場景內表演的演員(例如，如圖3所示)的第一個人視點鏡頭允許視頻游戲的玩家通過持續(xù)參與故事中而代入到游戲環(huán)境中。3D環(huán)境下生成的場景最初由電影相機和/或者動作捕獲相機捕獲、被處理以及被傳送到物理攝影機。圖4示出動作捕獲時期的幾種不同配置的一個示例。在替代實現中，利用計算機圖形(例如，利用關鍵幀動畫)生成場景。在一種實現中，利用佩戴頭戴相機502和穿著具有多個動作捕獲標記510附于衣服的整套衣物的演員生成演員的第一個人視點鏡頭，并且如圖5所示，該演員在空間500的物理容積內表演。圖6示出佩戴頭戴相機和多個動作捕獲標記附于衣服的整套衣物的演員的一個示例。圖7示出用于執(zhí)行動作捕獲時期的空間的物理容積的一個示例設置。在圖5所示的實現中，在空間500的物理容積內跟蹤演員520佩戴的頭戴相機502的位置和定向。然后，通過將頭戴相機502的運動轉化為在對電影和視頻游戲(“3D視頻環(huán)境”)生成的場景內操作的人的頭部運動，來生成演員520的第一個人視點鏡頭。此外，通過跟蹤設置在演員穿的整套衣物上的動作捕獲標記510，生成演員520的身體運動。然后，由第一個人視點鏡頭和演員520的身體運動生成的場景反饋到演員佩戴的頭戴相機502，以輔助演員在該場景內表演(例如，在虛擬環(huán)境內操作的角色的腳和手可見)。因此，反饋允許演員520看到角色在虛擬環(huán)境中在看什么，并且繞該環(huán)境虛擬步行。演員520可以看并且與虛擬環(huán)境內的角色和對象互動。圖8示出利用硬件和軟件的組合捕獲演員的頭部運動的頭戴相機的一個示例。再參考圖5，利用附于天花板的位置跟蹤器540跟蹤頭戴相機502的位置。跟蹤器540的支架還可以以柵格圖案520布置。跟蹤器540還可以用于感測頭戴相機502的定向。然而，在典型配置中，附于相機502的加速度計或者陀螺儀用于感測相機502的定向。
ー但生成虛擬環(huán)境的場景，頭戴相機502的跟蹤的運動就轉化為在虛擬環(huán)境內操作的角色的頭部運動，并且計算和生成第一個人視點(即，虛擬角色的視點)鏡頭。這些第一個人視點鏡頭提供到計算機進行存儲、輸出和/或者用于其他目的，諸如，反饋到頭戴相機502，以輔助演員520在虛擬環(huán)境的場景內表演。因此，“生成”第一個人視點鏡頭的處理包括在空間500的物理容積內跟蹤頭戴相機502的運動(即，位置和定向)和演員520上的標記510的運動；將頭戴相機502的運動轉化為對應于演員520的虛擬角色的頭部運動(即，虛擬角色用作演員的化身)；將標記510的運動轉化為虛擬角色的身體運動；利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭；以及在頭戴相機502上反饋并顯示生成的第一個人視點鏡頭。生成的鏡頭可以通過有線或者無線地反饋并且顯示在頭戴相機502的顯示器上。概括地說，描述了用于捕獲在對電影、視頻游戲和/或者仿真生成的虛擬場景內表演的演員的視圖和運動的系統(tǒng)。該系統(tǒng)包括位置跟蹤器、定向跟蹤器、處理 器、存儲單元和顯示器。位置跟蹤器配置為跟蹤頭戴相機和一組運動捕獲標記的位置。定向跟蹤器配置為跟蹤頭戴相機的定向。處理器包括用于存儲包括可執(zhí)行指令的計算機程序的存儲介質?？蓤?zhí)行指令使處理器將頭戴相機的運動轉化為在對電影或者視頻游戲生成的場景內操作的虛擬角色的頭部運動，其中對應于物理頭戴相機的跟蹤位置和定向來生成虛擬角色的視場；將動作捕獲標記的運動轉化為虛擬角色的身體運動；利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭；以及將生成的第一個人視點鏡頭反饋并顯示在頭戴相機上。如上所述，捕獲的第一個人視點鏡頭和在動作捕獲容積內表演的演員的運動允許在生成的虛擬場景內操作的虛擬角色向著、離開以及繞著動作捕獲(或者動畫的關鍵幀)角色或者對象運動，以創(chuàng)建虛擬3D環(huán)境下的真實的第一個人視點鏡頭。例如，圖5示出佩戴頭戴相機502并且在空間500的物理容積內表演的演員520。由于相機502正處于由天花板上的跟蹤器540跟蹤的位置和由附于相機502的傳感器跟蹤的定向，所以這些跟蹤信息發(fā)送到處理器，并且處理器將表示在虛擬3D環(huán)境內操作的虛擬相機的視點和運動的視頻送回。該視頻存儲在存儲單元內，并且顯示在頭戴相機502上。在通過上面描述的本發(fā)明的各種實現使對頭戴相機(捕獲演員的視圖和運動)的仿真可用之前，動作捕獲時期(用于產生生成的場景)包括判定相機將定位在何處和因此引導動作捕獲演員(或者動畫角色)運動到何處。然而，利用上述技術的可用性，在動作捕獲時期(或者動畫關鍵幀時期)完成之后可以判定相機的位置和角度以及演員的運動。此外，由于可以實時地執(zhí)行頭戴相機仿真時期，所以在選擇提供最佳相機運動和角度的特定鏡頭之前，可以執(zhí)行和記錄多個頭戴相機仿真時期。記錄該時期，以使得可以估計每個時期，并且可以關于相機的運動和角度進行比較。在某些情況下，可以在幾個不同動作捕獲時期中的每個執(zhí)行多個頭戴相機仿真時期，以選擇最佳組合。圖9是示出根據ー種實現用于捕獲在對電影、視頻游戲、仿真和/或者其他視覺娛樂節(jié)目生成的場景中表演的演員的視圖和運動的處理的流程圖900。在圖9所示的實現中，在框910，生成場景。通過以電影相機和動作捕獲相機捕獲它們來生成場景，處理該場景，以及將場景發(fā)送到頭戴相機502。在一種實現中，以包括虛擬環(huán)境的視頻文件發(fā)送生成的場
旦
O在框920，在空間的物理容積內跟蹤頭戴相機和標記的運動(B卩，位置和定向)。如上所述，在一種示例實現中，使用附于天花板的以網格圖案530布置的位置跟蹤器540跟蹤相機502的位置。附于頭戴相機502的跟蹤器540或者加速度計/陀螺儀可以用于感測定向。跟蹤物理相機502的位置和定向，以使得位置和定向可以被適當地轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動(即，視場)。因此，對視覺娛樂節(jié)目生成場景包括執(zhí)行其中捕獲在生成場景內表演的演員的視圖和運動的動作捕獲時期。在一種實現中，執(zhí)行多個動作捕獲時期，以選擇提供最佳相機運動和角度的鏡頭。在另一實現中，記錄多個動作捕獲時期，以使得可以評估和比較每個時期。在框930，頭戴相機502的運動轉化為對應于演員520的虛擬角色的頭部運動，并且在框940，標記510的運動轉化為虛擬角色的身體運動(包括臉部運動)。因此，為了產生第一個人視點鏡頭而將頭戴相機的運動轉化為虛擬角色的頭部運動包括將頭戴相機的運動轉化為在虛擬環(huán)境內操作的虛擬角色的視場的變化。然后，在框950，利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭。在框960，生成的第一個人視點鏡頭被反饋并且顯示在頭戴相機502上。
在替代實現中，空間的物理容積內的整個相機跟蹤設置是其中玩家玩在游戲內操作的虛擬角色的一部分的游戲。該設置包括用于協(xié)調游戲的處理器；可以安裝于天花板上的位置跟蹤器；與玩家佩戴的頭戴相機耦合的方向跟蹤器(例如，加速度計、陀螺儀等);以及與處理器耦合以記錄玩家拍攝的動作的第一個人視點鏡頭的記錄器件。在一種配置中，處理器是諸如Sony Playstation 的游戲控制臺。在此對公開的實現的描述可以使本技術領域內的任何人實施或者使用本發(fā)明。這些實現的各種修改對于本技術領域內的技術人員是顯而易見的，并且在此說明的原理可以應用于其他實現，而不脫離本發(fā)明的實質范圍。例如，盡管說明書描述了捕獲在對電影和視頻游戲生成的場景內表演的演員佩戴的頭戴相機的視圖和運動，但是演員佩戴的相機的視圖和運動可以在諸如演奏會、舞會、表演和房屋演示的其他應用操作。在另一示例中，為了仿真佩戴相機的演員之間的交互可以跟蹤一個以上的頭戴相機(例如，為了仿真兩個玩家之間的打斗場景而跟蹤的兩個相機，其中每個玩家具有不同的運動和視角)。因此，本發(fā)明不意在局限于在此所示的實現，并且被賦予符合在此描述的原理的新穎特征的最寬范圍。以電子硬件、計算機軟件或者這些技術的組合的方式，實現本發(fā)明的各種實現。一些實現包括由一個或者多個計算裝置執(zhí)行的一個或多個計算機程序。通常，計算裝置包括一個或者多個處理器、一個或者多個數據存儲部件(例如，易失性或者非易失性存儲器模塊和永久光和磁存儲器件，諸如硬盤和軟盤驅動器、CD-ROM驅動器和磁帶驅動器)、一個或者多個輸入裝置(例如，游戲控制器、鼠標和鍵盤)以及一個或者多個輸出裝置(例如，顯示裝置)。計算機程序包括通常存儲于永久存儲介質內然后在運行時拷貝到存儲器內的可執(zhí)行代碼。至少一個處理器通過以規(guī)定順序從存儲器中檢索程序指令來執(zhí)行代碼。當執(zhí)行程序代碼時，計算機從輸入和/或者存儲裝置接收數據，關于數據執(zhí)行操作，然后將結果數據傳送到輸出和/或者存儲裝置。本技術領域內的技術人員明白，在此描述的各種說明性模塊和方法步驟可以由電子硬件、軟件、固件或者上述的組合實現。為了清楚地說明硬件和軟件的這種互換性，在此，根據它們的功能性，一般地描述了各種說明性模塊和方法步驟。這種功能性由硬件還是由軟件實現取決于對整個系統(tǒng)施加的特定應用限制和設計限制。技術人員可以以各種方式對每種特定應用實現所描述的功能性，但是這種實現的判定不應當解釋為脫離本發(fā)明的范圍。此外，模塊或者步驟中的功能的分組是為了便于描述。特定功能可以從ー個模塊或者步驟轉移到另ー個，而不脫離本發(fā)明。 另外，結合在此公開的實現描述的方法或者技術的步驟可以以硬件、以由處理器執(zhí)行的軟件模塊或者以二者的組合的方式直接具體體現。軟件模塊可以常駐于RAM存儲器、閃速存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動磁盤、 CD-ROM或者包括網絡存儲介質的任何其他方式的存儲介質。示例存儲介質可以耦合到處理器，以使得處理器可以從存儲介質讀取信息并且可以將信息寫入存儲介質。替代地，存儲介質可以集成到處理器上。處理器和存儲介質還可以以ASIC駐留。
權利要求
1.一種用于對視覺娛樂節(jié)目的虛擬環(huán)境生成場景的方法，包括 捕獲在所生成的場景中表演的演員的視圖和運動，包括 跟蹤空間的物理容積內演員佩戴的頭戴相機和多個動作捕獲標記的運動； 將頭戴相機的運動轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動； 將多個動作捕獲標記的運動轉化為所述虛擬角色的身體運動； 利用所述虛擬角色的頭部運動和身體運動來生成第一個人視點鏡頭；以及 將所生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機。
2.根據權利要求I所述的方法，其中，所述視覺娛樂節(jié)目是視頻游戲。
3.根據權利要求I所述的方法，其中，所述視覺娛樂節(jié)目是電影。
4.根據權利要求I所述的方法，其中，通過計算所述頭戴相機的位置和定向來跟蹤所述頭戴相機的運動。
5.根據權利要求4所述的方法，其中，利用位于空間的物理容積內的位置跟蹤器來跟蹤所述頭戴相機的位置。
6.根據權利要求4所述的方法，其中，利用附于頭戴相機的加速度計和陀螺儀的至少其中之一來跟蹤所述頭戴相機的定向。
7.根據權利要求I所述的方法，其中，頭戴相機的運動轉化為所述虛擬角色的頭部運動以生成所述第一個人視點鏡頭的步驟包括 將頭戴相機的運動轉化為在虛擬環(huán)境內操作的虛擬角色的視場的變化。
8.根據權利要求I所述的方法，其中，對視覺娛樂節(jié)目生成場景的步驟包括 執(zhí)行其中捕獲在所生成的場景內表演的演員的視圖和運動的動作捕獲時期。
9.根據權利要求8所述的方法，還包括 執(zhí)行多個動作捕獲時期以選擇提供最佳相機運動和角度的鏡頭。
10.根據權利要求9所述的方法，其中，記錄多個動作捕獲時期，以使得可估計并比較每個時期。
11.根據權利要求I所述的方法，其中，將生成的第一個人視點鏡頭提供到頭戴相機的步驟包括 將第一個人視點鏡頭反饋到所述頭戴相機的顯示器。
12.根據權利要求I所述的方法，還包括 將生成的第一個人視點鏡頭存儲在存儲單元內供之后使用。
13.ー種用于捕獲生成的場景內表演的演員的視圖和運動的方法，包括 在空間的物理容積內跟蹤演員的頭部上佩戴的對象的位置和定向； 在空間的物理容積內跟蹤演員的身體上佩戴的動作捕獲標記的位置； 將對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動； 將多個動作捕獲標記的位置轉化為虛擬角色的身體運動；以及 利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭。
14.根據權利要求13所述的方法，還包括 將生成的第一個人視點鏡頭提供到演員的頭部上佩戴的對象的顯示器。
15.根據權利要求13所述的方法，其中，虛擬角色操作的虛擬環(huán)境包括 對視頻游戲產生的虛擬環(huán)境。
16.根據權利要求13所述的方法，其中，虛擬角色操作的虛擬環(huán)境包括 對其中虛擬場景與實況動作場景集成的電影生成的混合環(huán)境。
17.一種用于對視覺娛樂節(jié)目的虛擬環(huán)境生成場景的系統(tǒng)，包括 多個位置跟蹤器，配置為跟蹤空間的物理容積內表演的演員佩戴的頭戴相機對象和多個動作捕獲標記的位置； 定向跟蹤器，配置為跟蹤頭戴相機對象的定向； 處理器，包括用于存儲計算機程序的存儲介質，所述計算機程序包括使處理器執(zhí)行如下步驟的可執(zhí)行指令 接收包括虛擬環(huán)境的視頻文件； 從多個位置跟蹤器接收關于頭戴相機對象和多個動作捕獲標記的位置的跟蹤信息； 從定向跟蹤器接收關于頭戴相機對象的定向的跟蹤信息； 將頭戴相機對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動； 將多個動作捕獲標記的位置轉化為虛擬角色的身體運動； 利用虛擬角色的頭部運動和身體運動生成第一個人視點鏡頭；以及 將生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機對象。
18.根據權利要求17所述的系統(tǒng)，其中，所述視覺娛樂節(jié)目是視頻游戲。
19.根據權利要求17所述的系統(tǒng)，其中，所述視覺娛樂節(jié)目是電影。
20.根據權利要求17所述的系統(tǒng)，其中，所述定向跟蹤器包括 附于頭戴相機對象的加速度計和陀螺儀的至少其中之一。
21.根據權利要求17所述的系統(tǒng)，其中，包括使處理器將頭戴相機對象的位置和定向轉化為虛擬角色的頭部運動的可執(zhí)行指令的處理器包括使處理器執(zhí)行如下步驟的可執(zhí)行指令 將頭戴相機對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的視場的變化。
22.根據權利要求17所述的系統(tǒng)，還包括 存儲單元，用于存儲所生成的第一個人視點鏡頭供之后使用。
23.根據權利要求17所述的系統(tǒng)，其中，所述處理器是配置為從頭戴相機對象、多個位置跟蹤器和定向跟蹤器接收輸入的游戲控制臺。
24.根據權利要求17所述的系統(tǒng)，其中，所述頭戴相機對象包括用于顯示所提供的第一個人視點鏡頭的顯示器。
25.一種用于存儲用于對視覺娛樂節(jié)目的虛擬環(huán)境生成場景的計算機程序的計算機可讀存儲介質，所述計算機程序包括使計算機執(zhí)行如下步驟的可執(zhí)行指令 接收包括虛擬環(huán)境的視頻文件； 從多個位置跟蹤器接收關于頭戴相機對象和多個動作捕獲標記的位置的跟蹤信息； 從定向跟蹤器接收關于頭戴相機對象的定向的跟蹤信息； 將頭戴相機對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動； 將多個動作捕獲標記的位置轉化為虛擬角色的身體運動； 利用虛擬角色的頭部運動和身體運動產生第一個人視點鏡頭；以及 將生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機對象。
26.根據權利要求25所述的存儲介質，其中，使計算機將頭戴相機對象的位置和定向轉化為虛擬角色的頭部運動以生成第一個人視點鏡頭的可執(zhí)行指令包括使計算機執(zhí)行如下步驟的可執(zhí)行指令 將頭戴相機對象的位置和定向轉化為在虛擬環(huán)境內操作的虛擬角色的視場的變化。
27.根據權利要求25所述的存儲介質，其中，使計算機將生成的第一個人視點鏡頭送到頭戴相機對象的可執(zhí)行指令包括使計算機執(zhí)行如下步驟的可執(zhí)行指令 將第一個人視點鏡頭反饋到所述頭戴相機的顯示器。
28.根據權利要求25所述的存儲介質，還包括使計算機執(zhí)行如下步驟的可執(zhí)行指令 將生成的第一個人視點鏡頭存儲在存儲單元內供之后使用。
全文摘要
產生視覺娛樂節(jié)目的虛擬環(huán)境的場景包括捕獲在生成的場景內表演的演員的視圖和運動，包括跟蹤空間的物理容積內演員佩戴的頭戴相機和多個動作捕獲標記的運動；將頭戴相機的運動轉化為在虛擬環(huán)境內操作的虛擬角色的頭部運動；將多個動作捕獲標記的運動轉化為虛擬角色的身體運動；利用虛擬角色的頭部和身體運動生成第一個人視點鏡頭；以及將生成的第一個人視點鏡頭提供到演員佩戴的頭戴相機。
文檔編號G06T13/40GK102822869SQ201080065704
公開日2012年12月12日 申請日期2010年8月13日 優(yōu)先權日2010年1月22日
發(fā)明者M.瑪姆鮑爾, D.馬蘭特 申請人:索尼電腦娛樂美國公司