一種虛擬搖臂的實現(xiàn)方法和終端的制作方法
【專利摘要】本發(fā)明提供了一種虛擬搖臂的實現(xiàn)方法和終端。所述方法包括：計算真實攝像機在實景中的空間位置參數(shù)信息；將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機；生成垂直渲染面，所述垂直渲染面在三維視錐體中，與投影平面平行；將真實攝像機拍攝的實景的視頻圖像貼圖到所述垂直渲染面上；將所述垂直渲染面對應(yīng)到虛擬三維場景中，所述三維場景中有三維虛擬物體；若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動；將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直渲染面始終位于最底層。該方法和終端實現(xiàn)了虛擬植入系統(tǒng)的虛擬搖臂效果，操作簡單，使用方便，同時不會有穿幫現(xiàn)象。
【專利說明】
一種虛擬搖臂的實現(xiàn)方法和終端
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及虛擬技術(shù)領(lǐng)域，尤其涉及一種虛擬搖臂的實現(xiàn)方法和終端。
【背景技術(shù)】
[0002]虛擬植入技術(shù)，就是將計算機制作的虛擬三維場景與攝像機現(xiàn)場拍攝的人物活動圖像進行數(shù)字化的實時合成，在攝像機景別變化的同時能夠保持人物與虛擬三維場景同步變化，從而實現(xiàn)兩者天衣無縫的融合，以獲得完美的合成畫面。虛擬植入技術(shù)具體會涉及跟蹤定位、虛擬三維場景圖文、字幕、動畫、編輯、播出、特技、摳像等技術(shù)。虛擬植入系統(tǒng)是將虛擬植入技術(shù)用于實景演播室或者實景舞臺的虛擬現(xiàn)實實現(xiàn)方式。在虛擬植入系統(tǒng)中需要在真實攝像機不動的情況下實現(xiàn)實景和虛擬三維場景同步運動的虛擬搖臂效果。
[0003]在虛擬演播室系統(tǒng)中，通過將攝像機拍攝到的“藍箱+主持人”視頻圖像進行摳像，得到帶α通道的人物活動圖像并渲染到虛擬三維場景的一個面上去，然后將該面添加到場景中合適的位置作為虛擬三維場景的一個物體，在真實攝像機不動的情況下對虛擬像機進行推、拉、搖、移等運動時，對該面和虛擬三維場景基于深度排序進行渲染，即可實現(xiàn)虛擬搖臂效果。
[0004]虛擬演播室的本質(zhì)是將前景人物作為一維深度融入虛擬三維場景中，而虛擬植入系統(tǒng)的本質(zhì)是將三維虛擬物體融入三維實景演播室或舞臺中，此時實景演播室或舞臺中的各種物體不能再當做一維深度的面片而是具有三維空間的遠小近大的景深關(guān)系，因而基于虛擬演播室系統(tǒng)的虛擬搖臂實現(xiàn)方法不能直接用于虛擬植入系統(tǒng)中。目前在虛擬植入系統(tǒng)中尚未看到虛擬搖臂的應(yīng)用，因此在虛擬植入系統(tǒng)中實現(xiàn)虛擬搖臂效果，對基于實景舞臺或?qū)嵕把莶ナ铱膳臄z到恢弘大氣的視頻節(jié)目效果具有重要的意義。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種虛擬搖臂的實現(xiàn)方法和終端，可在虛擬植入系統(tǒng)中實現(xiàn)虛擬搖臂的效果。
[0006]—種虛擬搖臂的實現(xiàn)方法，所述方法包括:
[0007]計算真實攝像機在實景中的空間位置參數(shù)信息；
[0008]將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機；
[0009]生成垂直渲染面，所述垂直渲染面在三維視錐體中，與投影平面平行；
[0010]將真實攝像機拍攝的實景的視頻圖像貼圖到所述垂直渲染面上；
[0011 ]將所述垂直渲染面對應(yīng)到虛擬三維場景中，所述三維場景中有三維虛擬物體；
[0012]若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動；
[0013]將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直渲染面始終位于最底層。
[0014]一種終端，所述終端包括:
[0015]計算單元，用于計算真實攝像機在實景中的空間位置參數(shù)信息；
[0016]賦予單元，用于將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機；
[0017]生成單元，用于生成垂直渲染面，所述垂直渲染面在三維視錐體中，與投影平面平行；
[0018]貼圖單元，用于將真實攝像機拍攝的實景的視頻圖像貼圖到所述垂直渲染面上；
[0019]對應(yīng)單元，用于將所述垂直渲染面對應(yīng)到虛擬三維場景中，所述三維場景中有三維虛擬物體；
[0020]控制單元，用于若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動；
[0021 ]渲染單元，用于將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直清染面始終位于最底層。
[0022]上述虛擬搖臂的實現(xiàn)方法和終端，通過構(gòu)建垂直渲染面，將真實攝像機拍攝的實景的視頻圖像貼圖到垂直渲染面上，當接收到運動參數(shù)時，根據(jù)運動參數(shù)控制虛擬攝像機運動，將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直渲染面始終位于最底層。該方法首次實現(xiàn)了虛擬植入系統(tǒng)的虛擬搖臂效果，操作簡單，使用方便，不會有任何的穿幫現(xiàn)象。
【附圖說明】
[0023]為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0024]圖1是本發(fā)明提供的一種虛擬搖臂的實現(xiàn)方法的示意流程圖；
[0025]圖2是本發(fā)明提供的垂直渲染面在三維視錐體中的一種位置示意圖；
[0026]圖3是本發(fā)明提供的一種終端的示意性框圖。
[0027]圖4是本發(fā)明提供的第二實施例的一種終端的示意性框圖。
【具體實施方式】
[0028]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。
[0029]應(yīng)當理解，當在本說明書和所附權(quán)利要求書中使用時，術(shù)語“包括”和“包含”指示所描述特征、整體、步驟、操作、元素和/或組件的存在，但并不排除一個或多個其它特征、整體、步驟、操作、元素、組件和/或其集合的存在或添加。
[0030]請參看圖1，為本發(fā)明的一種虛擬搖臂的實現(xiàn)方法的示意流程圖。該方法用于虛擬植入系統(tǒng)中。該方法包括步驟S11?S16。
[0031 ]步驟SI I，計算真實攝像機在實景中的空間位置參數(shù)信息。具體地，在真實攝像機初始化時，根據(jù)跟蹤定位技術(shù)計算真實攝像機的空間位置參數(shù)信息。其中，空間位置參數(shù)信息包括真實攝像機的空間位置，真實攝像機的姿態(tài)如真實攝像機的平遙俯仰、景深、視角等。實景包括實景演播室、實景舞臺等。
[0032]步驟S12，將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機。為了實現(xiàn)虛擬攝像機和真實攝像機的坐標匹配，將計算出來的真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機。
[0033]步驟SI3，生成垂直渲染面，該垂直渲染面在三維視錐體中，與投影平面平行。
[0034]如圖2所示，為垂直渲染面在三維視錐體中的一種位置示意圖。為了簡化計算，在三維視錐體的坐標原點處生成一個垂直渲染面22，則虛擬攝像機21的景深為h，其中h〈0。在其他的實施例中，垂直渲染面22也可在三維視錐體的其他坐標點處生成，景深h等空間位置參數(shù)信息可通過計算坐標差得到。垂直渲染面22與投影平面平行。垂直渲染面22不隨虛擬攝像機21的平搖俯仰變化而變化，但隨虛擬攝像機21的焦距變化而縮放;若將真實攝像機拍攝的實景的視頻圖像貼圖到該垂直渲染面22上，垂直渲染面22在最大張角下渲染后投影到投影平面所對應(yīng)的圖像對應(yīng)為真實攝像機拍攝到的真實視頻圖像;垂直渲染面22可進行縮放以任意調(diào)整實景和虛擬三維場景的大小匹配關(guān)系。
[0035]步驟S14，將真實攝像機拍攝的實景的視頻圖像貼圖到該垂直渲染面上。
[0036]步驟S15，將該垂直渲染面對應(yīng)到虛擬三維場景中，該虛擬三維場景中有三維虛擬物體。具體地，通過坐標轉(zhuǎn)換將垂直渲染面對應(yīng)到虛擬三維場景中。例如，三維視錐體的坐標信息可能與虛擬三維場景中的坐標信息不一致，如三維視錐體的坐標原點在垂直渲染面的某一點上，而虛擬三維場景的坐標原點可能在虛擬攝像機所在的位置上，因此通過坐標轉(zhuǎn)換將貼圖后的垂直渲染面對應(yīng)到虛擬三維場景中合適的位置，使得坐標一致。
[0037]步驟S16，若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動。其中，運動參數(shù)包括即推、拉、搖、移的參數(shù)。接收到的運動參數(shù)可以通過鼠標直接輸入，也可以通過其他合適的方式輸入。根據(jù)接收到的運動參數(shù)控制虛擬攝像機運動，如將虛擬攝像機焦距變短，可理解為將虛擬攝像機推至景深為h’的位置或者將虛擬攝像機焦距變長，可理解為將虛擬攝像機拉至景深為h”的位置等。
[0038]步驟SI7，將垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，垂直渲染面始終位于最底層。在渲染時，除了垂直渲染面外，三維虛擬物體按深度排序進行渲染?？梢岳斫獾?，在渲染時，垂直渲染面不參與深度排序，始終位于最底層即景深最遠的一層，其他虛擬三維物體按深度排序進行渲染，使得渲染出來的效果不會有任何的穿幫現(xiàn)象。垂直渲染面在最大張角下渲染后投影到投影平面所對應(yīng)的圖像對應(yīng)為真實攝像機拍攝到的真實視頻圖像。
[0039]上述方法結(jié)合跟蹤定位技術(shù)，通過將真實拍攝的實景視頻貼圖到垂直渲染面，將垂直渲染面對應(yīng)到虛擬三維場景中，進行場景渲染時采用分層渲染，即在渲染時，垂直渲染面不參與深度排序，始終位于最底層，虛擬三維物體按深度排序進行渲染。該方法實現(xiàn)了虛擬植入系統(tǒng)的虛擬搖臂效果，操作簡單，使用方便，同時不會有任何的穿幫現(xiàn)象。
[0040]圖3為一種終端的示意性框圖，該終端用于虛擬植入系統(tǒng)中，實現(xiàn)虛擬搖臂的功能。該終端30包括計算單元31、賦予單元32、生成單元33、貼圖單元34、對應(yīng)單元35、控制單元36、清染單元37。
[0041]計算單元31，用于計算真實攝像機在實景中的空間位置參數(shù)信息。具體地，在真實攝像機初始化時，根據(jù)跟蹤定位技術(shù)計算真實攝像機的空間位置參數(shù)信息。其中，空間位置參數(shù)信息包括真實攝像機的空間位置，真實攝像機的姿態(tài)如真實攝像機的平遙俯仰、景深、視角等。實景包括實景演播室、實景舞臺等。
[0042]賦予單元32，用于將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機。為了實現(xiàn)虛擬攝像機和真實攝像機的坐標匹配，將計算出來的真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機。
[0043]生成單元33，用于生成垂直渲染面，該垂直渲染面在三維視錐體中，與投影平面平行。
[0044]如圖2所示，為垂直渲染面在三維視錐體中的一種位置示意圖。為了簡化計算，在三維視錐體的坐標原點處生成一個垂直渲染面22，則虛擬攝像機21的景深為h，其中h〈0。在其他的實施例中，垂直渲染面22也可在三維視錐體的其他坐標點處生成，景深h等空間位置參數(shù)信息可通過計算坐標差得到。垂直渲染面22與投影平面平行。垂直渲染面22不隨虛擬攝像機21的平搖俯仰變化而變化，但隨虛擬攝像機21的焦距變化而縮放;若將真實攝像機拍攝的實景的視頻圖像貼圖到該垂直渲染面22上，垂直渲染面22在最大張角下渲染后投影到投影平面所對應(yīng)的圖像對應(yīng)為真實攝像機拍攝到的真實視頻圖像;垂直渲染面22可進行縮放以任意調(diào)整實景和虛擬三維場景的大小匹配關(guān)系。
[0045]貼圖單元34，用于將真實攝像機拍攝的實景的視頻圖像貼圖到該垂直渲染面上。
[0046]對應(yīng)單元35，用于將該垂直渲染面對應(yīng)到虛擬三維場景中，該虛擬三維場景中有三維虛擬物體。具體地，通過坐標轉(zhuǎn)換將垂直渲染面對應(yīng)到虛擬三維場景中。例如，三維視錐體的坐標信息可能與虛擬三維場景中的坐標信息不一致，如三維視錐體的坐標原點在垂直渲染面的某一點上，而虛擬三維場景的坐標原點可能在虛擬攝像機所在的位置上，因此通過坐標轉(zhuǎn)換將貼圖后的垂直渲染面對應(yīng)到虛擬三維場景中合適的位置，使得坐標一致。
[0047]控制單元36，用于若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動。其中，運動參數(shù)包括即推、拉、搖、移的參數(shù)。接收到的運動參數(shù)可以通過鼠標直接輸入，也可以通過其他合適的方式輸入。根據(jù)接收到的運動參數(shù)控制虛擬攝像機運動，如將虛擬攝像機焦距變短，可理解為將虛擬攝像機推至景深為h，的位置或者將虛擬攝像機焦距變長，可理解為將虛擬攝像機拉至景深為h”的位置等。
[0048]渲染單元37，用于將垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，垂直渲染面始終位于最底層。在渲染時，除了垂直渲染面外，三維虛擬物體按深度排序進行渲染?？梢岳斫獾?，在渲染時，垂直渲染面不參與深度排序，始終位于最底層即景深最遠的一層，其他虛擬三維物體按深度排序進行渲染，使得渲染出來的效果不會有任何的穿幫現(xiàn)象。垂直渲染面在最大張角下渲染后投影到投影平面所對應(yīng)的圖像對應(yīng)為真實攝像機拍攝到的真實視頻圖像。
[0049]參見圖4，是本發(fā)明第二實施例的終端的示意性框圖。該終端40包括輸入裝置41、輸出裝置42、存儲器43以及處理器44，其中:
[0050]輸入裝置41，用于提供用戶輸入運動參數(shù)。具體實現(xiàn)中，本發(fā)明實施例的輸入裝置41可包括鍵盤、鼠標、光電輸入裝置、聲音輸入裝置、觸摸式輸入裝置等。
[0051]輸出裝置42，用于輸出渲染后的垂直渲染面和三維虛擬物體。具體實現(xiàn)中，本發(fā)明實施例的輸出裝置42可包括顯示器、顯示屏、觸摸屏等。
[0052]存儲器43，用于存儲帶有各種功能的程序數(shù)據(jù)。本發(fā)明實施例中存儲器43存儲的數(shù)據(jù)包括真實攝像機在實景中的空間位置參數(shù)信息，三維虛擬場景，三維虛擬物體，以及其他可調(diào)用并運行的程序數(shù)據(jù)。具體實現(xiàn)中，本發(fā)明實施例的存儲器43可以是系統(tǒng)存儲器，比如，揮發(fā)性的(諸如RAM)，非易失性的(諸如ROM，閃存等)，或者兩者的結(jié)合。具體實現(xiàn)中，本發(fā)明實施例的存儲器43還可以是系統(tǒng)之外的外部存儲器，比如，磁盤、光盤、磁帶等。
[0053]處理器44，用于調(diào)用存儲器43中存儲的程序數(shù)據(jù)，并執(zhí)行如下操作:
[0054]計算真實攝像機在實景中的空間位置參數(shù)信息;將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機;生成垂直渲染面，所述垂直渲染面在三維透視錐中，與投影平面平行;將真實攝像機拍攝的實景的視頻圖像貼圖到所述垂直渲染面上;將所述垂直渲染面對應(yīng)到虛擬三維場景中，所述三維場景中有三維虛擬物體;若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動;將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直渲染面始終位于最底層。
[0055]上述終端，通過構(gòu)建垂直渲染面，將真實攝像機拍攝的實景的視頻圖像貼圖到垂直渲染面上，當接收到運動參數(shù)時，根據(jù)運動參數(shù)控制虛擬攝像機運動，將垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，垂直渲染面始終位于最底層。該終端實現(xiàn)了虛擬植入系統(tǒng)的虛擬搖臂效果，當虛擬攝像機進行任意推、拉、搖、移運動時，真實攝像機拍攝的實景和虛擬三維物體會按透視關(guān)系同步運動及縮放，而不會有任何穿幫現(xiàn)象。
[0056]本發(fā)明實施例的模塊和/或單元，可以以通用集成電路(如中央處理器CPU)，或以專用集成電路(ASIC)來實現(xiàn)。
[0057]在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的終端和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的終端實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。本發(fā)明實施例的方法的步驟順序可以根據(jù)實際需要進行調(diào)整、合并或刪減。
[0058]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本發(fā)明實施例方案的目的。
[0059]另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以是兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。
[0060]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到各種等效的修改或替換，這些修改或替換都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以權(quán)利要求的保護范圍為準。
【主權(quán)項】
1.一種虛擬搖臂的實現(xiàn)方法，其特征在于，所述方法包括: 計算真實攝像機在實景中的空間位置參數(shù)信息； 將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機； 生成垂直渲染面，所述垂直渲染面在三維視錐體中，與投影平面平行； 將真實攝像機拍攝的實景的視頻圖像貼圖到所述垂直渲染面上； 將所述垂直渲染面對應(yīng)到虛擬三維場景中，所述三維場景中有三維虛擬物體； 若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動； 將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直渲染面始終位于最底層。2.如權(quán)利要求1所述的方法，其特征在于，所述垂直渲染面在最大張角下渲染后投影到投影平面所對應(yīng)的圖像為真實攝像機拍攝到的實景的視頻圖像，且所述垂直渲染面隨虛擬攝像機的焦距變化而縮放。3.如權(quán)利要求1所述的方法，其特征在于，在渲染時，除了所述垂直渲染面外，所述三維虛擬物體按深度排序進行渲染。4.如權(quán)利要求1所述的方法，其特征在于，計算真實攝像機在實景中的空間位置參數(shù)信息是根據(jù)跟蹤定位技術(shù)來實現(xiàn)的。5.如權(quán)利要求1所述的方法，其特征在于，所述垂直渲染面位于所述三維視錐體的坐標原點處。6.一種終端，其特征在于，所述終端包括: 計算單元，用于計算真實攝像機在實景中的空間位置參數(shù)信息； 賦予單元，用于將真實攝像機在實景中的空間位置參數(shù)信息賦給虛擬攝像機； 生成單元，用于生成垂直渲染面，所述垂直渲染面在三維視錐體中，與投影平面平行； 貼圖單元，用于將真實攝像機拍攝的實景的視頻圖像貼圖到所述垂直渲染面上； 對應(yīng)單元，用于將所述垂直渲染面對應(yīng)到虛擬三維場景中，所述三維場景中有三維虛擬物體； 控制單元，用于若接收到運動參數(shù)，根據(jù)所述運動參數(shù)控制虛擬攝像機運動； 渲染單元，用于將所述垂直渲染面和三維虛擬物體一起渲染，其中，在渲染時，所述垂直清染面始終位于最底層。7.如權(quán)利要求6所述的終端，其特征在于，所述垂直渲染面在最大張角下渲染后投影到投影平面所對應(yīng)的圖像為真實攝像機拍攝到的實景的視頻圖像，且所述垂直渲染面隨虛擬攝像機的焦距變化而縮放。8.如權(quán)利要求6所述的終端，其特征在于，在渲染時，除了所述垂直渲染面外，所述三維虛擬物體按深度排序進行渲染。9.如權(quán)利要求6所述的終端，其特征在于，計算單元是根據(jù)跟蹤定位技術(shù)來計算真實攝像機在實景中的空間位置參數(shù)信息的。10.如權(quán)利要求6所述的終端，其特征在于，所述垂直渲染面位于所述三維視錐體的坐標原點處。
【文檔編號】H04N5/222GK106027855SQ201610323378
【公開日】2016年10月12日
【申請日】2016年5月16日
【發(fā)明人】錢東東, 李新強, 張黎陽, 李二超, 溫曉晴, 劉林運
【申請人】深圳迪樂普數(shù)碼科技有限公司