基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時錄制方法及錄制設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，尤其涉及一種基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時錄制方法及錄制設(shè)備。
【背景技術(shù)】
[0002]AR(Augmented Reality，增強(qiáng)現(xiàn)實(shí))技術(shù)是一種全新的人機(jī)交互技術(shù)，通過智能終端設(shè)備和可視化技術(shù)將虛擬內(nèi)容應(yīng)用到真實(shí)世界，使得虛擬內(nèi)容和真實(shí)世界同時疊加到同一個畫面或空間呈現(xiàn)給用戶。隨著智能終端的普及，AR技術(shù)的應(yīng)用愈加廣泛，可以通過在智能終端上安裝AR應(yīng)用進(jìn)行體驗(yàn)。具體的，AR應(yīng)用的工作流程如下:智能終端通過攝像頭拍攝圖像幀，對圖像幀進(jìn)行識別，確定AR目標(biāo)物體;對圖像幀中的AR目標(biāo)物體進(jìn)行跟蹤，確定AR目標(biāo)物體的位置，獲取與所述AR目標(biāo)物體相關(guān)聯(lián)的AR虛擬內(nèi)容，對圖像幀進(jìn)行渲染，將所述AR虛擬內(nèi)容疊加在AR目標(biāo)物體上進(jìn)行顯示，在終端屏幕上同時顯示AR目標(biāo)物體和AR虛擬內(nèi)容以供用戶進(jìn)行交互。
[0003]目前在AR處理技術(shù)中，不但能對一幀或者一副靜態(tài)的圖像上疊加虛擬的內(nèi)容，而且也可以在已經(jīng)錄制的視頻上疊加虛擬內(nèi)容。
[0004]在現(xiàn)有技術(shù)中，將錄制的視頻上疊加虛擬內(nèi)容一般是先錄制一段視頻，然后再將需要疊加的虛擬內(nèi)容疊加到錄制好的視頻中，通過后期制作的方式將虛擬內(nèi)容疊加到錄制好的視頻中，然后再呈現(xiàn)給用戶，但無法實(shí)現(xiàn)在錄制的過程中實(shí)時疊加虛擬內(nèi)同。
[0005]因此，在目前的視頻AR處理技術(shù)中，視頻錄制者并不清楚虛擬內(nèi)容的呈現(xiàn)形式、出現(xiàn)時間、動作節(jié)奏，因此錄制的視頻很難跟虛擬內(nèi)容有機(jī)的結(jié)合并實(shí)現(xiàn)互動。

【發(fā)明內(nèi)容】

[0006]本發(fā)明提供了一種基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時錄制方法及錄制設(shè)備，將目標(biāo)物體的環(huán)境內(nèi)容與虛擬內(nèi)容疊加后，不僅能實(shí)現(xiàn)實(shí)時錄制，而且還能將疊加后的內(nèi)容實(shí)時顯示在顯示單元上，不但能實(shí)現(xiàn)將虛擬內(nèi)容和錄制視頻有機(jī)結(jié)合，并且還能實(shí)現(xiàn)與虛擬內(nèi)容進(jìn)行互動。
[0007]本發(fā)明實(shí)施例提供了一種錄制設(shè)備，包括增強(qiáng)現(xiàn)實(shí)(AR)引擎和3D引擎，其中:
[0008]所述AR引擎，用于接收圖像信息，識別所述圖像信息中的目標(biāo)物體，并提取所述目標(biāo)物體的屬性信息，將所述目標(biāo)物體的屬性信息和所述目標(biāo)物體所處的環(huán)境內(nèi)容發(fā)送給所述3D引擎，所述環(huán)境內(nèi)容包括所述目標(biāo)物體所處的環(huán)境信息；
[0009]所述3D引擎，用于接收所述AR引擎發(fā)送的目標(biāo)物體的屬性信息和環(huán)境內(nèi)容，并根據(jù)所述目標(biāo)物體的屬性信息確定所述目標(biāo)物體所對應(yīng)的虛擬內(nèi)容，將所述虛擬內(nèi)容與所述環(huán)境內(nèi)容進(jìn)行疊加，形成交互內(nèi)容，以使所述交互內(nèi)容能被合成為圖像，和/或，以使所述交互內(nèi)容通過顯示單元顯示出來。
[0010]優(yōu)選地，所述3D引擎具體用于使用空白的中間態(tài)離屏圖像作為繪制目標(biāo)，將所述繪制目標(biāo)上疊加環(huán)境內(nèi)容的圖像信息和虛擬內(nèi)容的圖像信息，完成對所述中間態(tài)離屏圖像的渲染，形成所述交互內(nèi)容。
[0011]優(yōu)選地，所述3D引擎具體用于:
[0012]在第一繪制目標(biāo)上繪制環(huán)境內(nèi)容的圖像信息，在第二繪制目標(biāo)繪制虛擬內(nèi)容的圖像信息，然后將所述第一繪制目標(biāo)和第二繪制目標(biāo)疊加，完成對所述中間態(tài)離屏圖像的渲染;或者
[0013]在同一個繪制目標(biāo)上先繪制所述環(huán)境內(nèi)容的圖像信息，再繪制所述虛擬內(nèi)容的圖像信息，完成對所述中間態(tài)離屏圖像的渲染;或者
[0014]在同一個繪制目標(biāo)上先繪制所述虛擬內(nèi)容的圖像信息，再繪制所述環(huán)境內(nèi)容的圖像信息，完成對所述中間態(tài)離屏圖像的渲染。
[0015]優(yōu)選地，所述錄制設(shè)備還包括:
[0016]攝像頭，用于將拍攝到的圖像信息發(fā)送給所述AR引擎。
[0017]優(yōu)選地，所述3D引擎將所述交互內(nèi)容發(fā)送給編碼單元進(jìn)行編碼處理，以使編碼后的交互內(nèi)容能被合成為圖像。
[0018]優(yōu)選地，所述編碼單元包括視頻編碼單元時:
[0019]所述視頻編碼單元，用于將接收到的所述中間態(tài)的離屏圖像進(jìn)行編碼，并將圖像編碼信息發(fā)送給媒體文件處理單元；
[0020]所述媒體文件處理單元，用于將所述接收到的圖像編碼信息合成為圖像。
[0021]優(yōu)選地，所述編碼單元還包括音頻編碼單元時，所述錄制設(shè)備還包括:
[0022]所述3D引擎，還用于將所述目標(biāo)物體所對應(yīng)虛擬內(nèi)容中的音頻信息發(fā)送給音頻合成單元；
[0023]所述音頻合成單元，用于接收所述3D引擎發(fā)送的虛擬內(nèi)容的音頻信息，并與環(huán)境內(nèi)容的音頻信息進(jìn)行混合，將混合后的音頻信息發(fā)送給音頻編碼單元；
[0024]所述音頻編碼單元，用于接收所述音頻合成單元發(fā)送的音頻信息，并對所述音頻信息進(jìn)行編碼，將音頻編碼結(jié)果發(fā)送給媒體文件處理單元進(jìn)行處理。
[0025]優(yōu)選地，所述媒體文件處理單元，還用于將接收到的圖像編碼數(shù)據(jù)和音頻編碼數(shù)據(jù)合并成圖像。
[0026]優(yōu)選地，所述錄制設(shè)備還包括:
[0027]存儲單元，用于存儲虛擬內(nèi)容，以及目標(biāo)物體的屬性信息與虛擬內(nèi)容的對應(yīng)關(guān)系。
[0028]本發(fā)明實(shí)施例還提供了一種基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時錄制方法，所述方法包括:
[0029]3D引擎接收增強(qiáng)現(xiàn)實(shí)(AR)引擎發(fā)送的目標(biāo)物體的屬性信息以及所述目標(biāo)物體的環(huán)境內(nèi)容，所述環(huán)境內(nèi)容包括所述目標(biāo)物體所處的環(huán)境信息；
[0030]所述3D引擎根據(jù)所述目標(biāo)物體的屬性信息確定所述目標(biāo)物體所對應(yīng)的虛擬內(nèi)容，并將所述目標(biāo)物體的虛擬內(nèi)容與所述目標(biāo)物體的環(huán)境內(nèi)容進(jìn)行疊加，形成交互內(nèi)容，以使所述交互內(nèi)容能被合成為圖像，和/或，以使所述交互內(nèi)容通過顯示單元顯示出來。
[0031]優(yōu)選地，所述方法還包括:
[0032]所述AR引擎接收攝像頭發(fā)送的圖像信息，并對接收到的圖像信息進(jìn)行分析，確定所述圖像信息中的目標(biāo)物體，并獲取所述目標(biāo)物體的屬性信息；
[0033]所述AR引擎將所述所述目標(biāo)物體的屬性信息以及所述目標(biāo)物體的環(huán)境內(nèi)容發(fā)送給所述3D引擎。
[0034]優(yōu)選地，所述3D引擎根據(jù)所述目標(biāo)物體的屬性信息確定所述目標(biāo)物體所對應(yīng)的虛擬內(nèi)容，包括:
[0035]所述3D引擎根據(jù)所述目標(biāo)物體的屬性信息以及預(yù)先存儲的目標(biāo)物體的虛擬內(nèi)容與目標(biāo)物體屬性的對應(yīng)關(guān)系確定所述目標(biāo)物體所對應(yīng)的虛擬內(nèi)容。
[0036]優(yōu)選地，所述3D引擎將所述目標(biāo)物體的虛擬內(nèi)容與所述目標(biāo)物體的環(huán)境內(nèi)容進(jìn)行疊加，形成交互內(nèi)容，具體包括:
[0037]所述3D引擎使用空白的離屏圖像作為繪制目標(biāo)，將所述繪制目標(biāo)上疊加環(huán)境內(nèi)容的圖像信息，同時也在所述繪制目標(biāo)上疊加所述目標(biāo)物體的虛擬內(nèi)容的圖像信息，形成中間態(tài)的離屏圖像，完成對所述中間態(tài)離屏圖像的渲染。
[0038]優(yōu)選地，所述3D引擎將所述繪制目標(biāo)上疊加環(huán)境內(nèi)容的的圖像信息，同時也在所述繪制目標(biāo)上疊加虛擬內(nèi)容的圖像信息，完成對中間態(tài)離屏圖像的渲染，具體包括:
[0039]所述3D引擎在第一繪制目標(biāo)上繪制環(huán)境的圖像信息，在第二繪制目標(biāo)繪制虛擬內(nèi)容的圖像信息，然后將所述第一繪制目標(biāo)和第二繪制目標(biāo)疊加，完成對中間態(tài)離屏圖像的渲染;或者
[0040]所述3D引擎在同一個繪制目標(biāo)上先繪制環(huán)境內(nèi)容的圖像信息，再繪制虛擬內(nèi)容的圖像信息，完成對中間態(tài)離屏圖像的渲染;或者
[0041]所述3D引擎在同一個繪制目標(biāo)上先繪制虛擬內(nèi)容的圖像信息，再繪制環(huán)境內(nèi)容的圖像信息，完成對中間態(tài)離屏圖像的渲染。
[0042]優(yōu)選地，所述3D引擎將所述中間態(tài)離屏圖像和不需要錄制的虛擬內(nèi)容的圖像信息進(jìn)行疊加后，發(fā)送至所述顯示單元進(jìn)行顯示。
[0043]優(yōu)選地，所述方法還包括:
[0044]所述3D引擎將所述交互內(nèi)容發(fā)送給編碼單元，以使所述編碼單元將所述交互內(nèi)容編碼后發(fā)送給媒體文件處理單元進(jìn)行圖像合成。
[0045]優(yōu)選地，所述方法還包括:
[0046]所述3D引擎將所述目標(biāo)物體虛擬內(nèi)容的音頻信息發(fā)送給音頻合成單元，以使所述音頻合成單元將所述虛擬內(nèi)容的音頻部分和所述環(huán)境內(nèi)容的音頻部分混合后，發(fā)送給音頻編碼單元進(jìn)行編碼。
[0047]優(yōu)選地，所述方法還包括:
[0048]音頻合成單元接收所述3D引擎發(fā)送的所述目標(biāo)物體的音頻信息，并與所述目標(biāo)物體環(huán)境內(nèi)容的音頻信息混合后發(fā)送給音頻編碼單元；
[0049]所述音頻編碼單元接收所述音頻合成單元發(fā)送的混合后的音頻信息，并對所述音頻信息進(jìn)行編碼，將編碼結(jié)果發(fā)送給所述媒體文件處理單元；
[0050]所述媒體文件處理單元將接收到的頻編碼數(shù)據(jù)和音頻編碼數(shù)據(jù)進(jìn)行合成。
[0051]本發(fā)明實(shí)施例所提供的基于增強(qiáng)現(xiàn)實(shí)的視頻實(shí)時錄制方法及錄制設(shè)備，具有以下有益效果:
[0052]1、不但可以將目標(biāo)物體的虛擬內(nèi)容和環(huán)境內(nèi)容疊加后的視頻實(shí)時通過顯示單元進(jìn)行顯不，而且對置加后的視頻能完成同步錄制的功能；
[0053]2、在對疊加后的內(nèi)容進(jìn)行視頻錄制或者顯示時，還可以實(shí)現(xiàn)虛擬內(nèi)容和實(shí)際場景的交互，實(shí)現(xiàn)實(shí)時互動。
【附圖說明】
[0054]為了更清楚地說明本發(fā)明實(shí)施例的技術(shù)方案