三維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于一般的圖像數(shù)據(jù)處理領(lǐng)域，設(shè)及=維數(shù)字人像與虛擬場(chǎng)景的合成系 統(tǒng)。
【背景技術(shù)】
[0002] 人物和場(chǎng)景的合成，是一種典型的攝影技法。它可W不受地點(diǎn)、時(shí)間、季節(jié)、條件 的限制，可W讓用戶通過(guò)簡(jiǎn)單編輯，將人像置于預(yù)設(shè)的優(yōu)美場(chǎng)景之中，使人像和場(chǎng)景有機(jī)結(jié) 合，合成出新的、W假亂真的美麗畫面，進(jìn)一步滿足用戶方便完成內(nèi)容創(chuàng)造的需求。
[0003] 本發(fā)明將提出=維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)。=維數(shù)字人像是指已經(jīng)建好 的=維數(shù)字人像模型，它是具有照片真實(shí)感的=維幾何模型，不但逼真地再現(xiàn)了用戶的形 狀，還有特定的姿態(tài)。虛擬場(chǎng)景是指計(jì)算機(jī)通過(guò)數(shù)字技術(shù)建立的數(shù)字化場(chǎng)景，該場(chǎng)景中，其 來(lái)源包括預(yù)先制作好的二維圖像和=維立體場(chǎng)景、甚至是即時(shí)抓拍的數(shù)字照片。
[0004] 根據(jù)檢索，與本發(fā)明相關(guān)的有專利有CN201310530450和CN200810302744。1)專利 CN201310530450為基于旋轉(zhuǎn)攝像頭拍攝的人景圖像合成方法和系統(tǒng)，它將同一個(gè)攝像頭旋 轉(zhuǎn)拍攝的人物和景物圖像合成在一起。2)專利CN200810302744為一種圖像合成系統(tǒng)，它從 前景圖像中提取出前景物體，并將之與背景圖像合成在一起，合成后圖像的色彩具有一致 度。與之相比，本發(fā)明合成的對(duì)象是=維數(shù)字人像和虛擬場(chǎng)景，不再是二維圖像。
[0005] 簡(jiǎn)而言之，本發(fā)明的特征在于=維數(shù)字人像和虛擬場(chǎng)景的合成，=維數(shù)字人像與 虛擬場(chǎng)景間提供了靈活的合成機(jī)制，用戶進(jìn)而將結(jié)果共享給朋友。

【發(fā)明內(nèi)容】

[0006] 為了滿足用戶進(jìn)行內(nèi)容生成的需要，本發(fā)明提出一種=維數(shù)字人像和虛擬場(chǎng)景的 合成系統(tǒng)，該系統(tǒng)可W生成更具娛樂(lè)性的人像和場(chǎng)景合影。將=維數(shù)字人像置于預(yù)設(shè)的虛 擬場(chǎng)景中，使人像和場(chǎng)景有機(jī)結(jié)合，包括人人合成、人景合成。
[0007] 該合成系統(tǒng)，其組成包括四部分；=維數(shù)字人像模塊、虛擬場(chǎng)景模塊、合成模塊、共 享輸出模塊。=維數(shù)字人像模塊和虛擬場(chǎng)景模塊是合成模塊的輸入，合成模塊的結(jié)果傳遞 給共享輸出模塊。
[000引 1)=維數(shù)字人像模塊 =維數(shù)字人像模塊提供個(gè)性化的=維數(shù)字人像模型M的建模功能。個(gè)性化建模是指在 計(jì)算機(jī)中創(chuàng)建人像的=維幾何模型，重建出的模型不僅具有個(gè)體的形狀特性，而且具有個(gè) 體特定的姿態(tài)特性，具有顯著的個(gè)性化特征，達(dá)到照片真實(shí)感的逼真度，能夠識(shí)別出個(gè)體的 身份。
[0009] 當(dāng)前，可W采用的建模方法有多種，例如，=維人體掃描儀、基于高清圖像的人像 自動(dòng)建模系統(tǒng)、職業(yè)美工使用的=維數(shù)字人像專業(yè)建模軟件。盡管建模方法有很大的不同， 建立的=維數(shù)字人像模型的結(jié)果是可W統(tǒng)一的。
[0010] 為了便于=維數(shù)字人像與虛擬場(chǎng)景的合成，本發(fā)明將=維數(shù)字人像M統(tǒng)一表示為 帶紋理的=角網(wǎng)格模型。在模型中，=維網(wǎng)格表示了=維數(shù)字人像的幾何外形，紋理則是在 =維數(shù)字人像的表面上繪制色彩c"的圖案。紋理貼圖是在=維模型著色方面最引人注意、 也是最擬真的方法，它將平面圖像直接貼到=維網(wǎng)格上。從而，在保持需要較小存儲(chǔ)空間的 前提下，=維數(shù)字人像M具有高逼真度，具有照片真實(shí)感。
[0011] 2)虛擬場(chǎng)景模塊 該模塊提供畫面優(yōu)美的虛擬場(chǎng)景，該場(chǎng)景為在一定的時(shí)間、空間內(nèi)發(fā)生的一定的任務(wù) 行動(dòng)或因人物關(guān)系所構(gòu)成的具體畫面，并通過(guò)計(jì)算機(jī)，W數(shù)字化的方式表現(xiàn)出來(lái)。場(chǎng)景的主 題不但可W是風(fēng)景，也可W是人物場(chǎng)景。該虛擬場(chǎng)景的素材來(lái)源多樣，可W是預(yù)先制作好的 二維圖像和S維立體場(chǎng)景、甚至是即時(shí)抓拍的數(shù)字照片。
[0012] 為了方便與=維人像的合成，虛擬場(chǎng)景也表示為=維坐標(biāo)形式。對(duì)于二維圖像和 數(shù)字照片，通過(guò)場(chǎng)景分割算法，自動(dòng)標(biāo)識(shí)出地面范圍，作為=維數(shù)字人像底部的活動(dòng)空間。 對(duì)于=維場(chǎng)景，也標(biāo)識(shí)出=維數(shù)字人像在場(chǎng)景中的活動(dòng)空間。簡(jiǎn)而言之，就是將虛擬場(chǎng)景S 表示為=維形式，進(jìn)而將其分割，標(biāo)識(shí)出=維數(shù)字人像的活動(dòng)區(qū)域S。。
[0013] 簡(jiǎn)而言之，虛擬場(chǎng)景S為劃分出活動(dòng)區(qū)域S。的S維場(chǎng)景。與S維數(shù)字人像相同， 該場(chǎng)景也統(tǒng)一表示為帶紋理的=角網(wǎng)格模型。從而，通過(guò)相同的表示方法，本發(fā)明統(tǒng)一了= 維數(shù)字人像和虛擬場(chǎng)景的表示，為后繼的合成奠定了操作的基礎(chǔ)。
[0014] 3)合成模塊 該模塊向用戶提供合成的編輯工具，方便用戶生成理想的合成結(jié)果。該編輯操作是在 =維空間內(nèi)完成的。首先，=維數(shù)字人像M的位置被限制在虛擬場(chǎng)景所設(shè)定的活動(dòng)空間S。 中，并與之有機(jī)地結(jié)合在一起；然后，用戶在該活動(dòng)空間中，通過(guò)拖放=維數(shù)字人像，更改= 維數(shù)字人像的位置，并通過(guò)旋轉(zhuǎn)和縮放功能，完成=維數(shù)字人像模型的編輯；最后，根據(jù)虛 擬場(chǎng)景的色彩效果，自動(dòng)調(diào)整=維數(shù)字人像的色彩，將=維數(shù)字人像模型和虛擬場(chǎng)景自然 地合成在一起。
[0015] 具體而言，在虛擬場(chǎng)景S的活動(dòng)區(qū)域Se內(nèi)，=維數(shù)字人像模型M與虛擬場(chǎng)景S合 理地合成在一起，形成一個(gè)和諧的=維畫面。
[0016] 在合成過(guò)程中，本發(fā)明使用了泊松合成機(jī)制，W虛擬場(chǎng)景中與=維數(shù)字人像相鄰 區(qū)域Q的色彩C S作為邊界約束，調(diào)節(jié)S維數(shù)字人像的色彩C M，生成S維數(shù)字人像的最終色 彩C。該泊松合成機(jī)制可公式化表示為：
【主權(quán)項(xiàng)】
1. 三維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)，將三維數(shù)字人像置于預(yù)設(shè)的虛擬場(chǎng)景中，使 人像和場(chǎng)景有機(jī)結(jié)合，包括人景合成、人人合成，其特征在于，系統(tǒng)包括四個(gè)組成模塊：三維 數(shù)字人像模塊、虛擬場(chǎng)景模塊、合成模塊、共享輸出模塊，三維數(shù)字人像模塊和虛擬場(chǎng)景模 塊是合成模塊的輸入，合成模塊的結(jié)果傳遞給共享輸出模塊； 所述三維數(shù)字人像模塊提供個(gè)性化的三維數(shù)字人像模型M，個(gè)性化的三維數(shù)字人像模 型M建模是指在計(jì)算機(jī)中創(chuàng)建人像的三維幾何模型，該模型不僅具有個(gè)體的形狀特性，而 且具有個(gè)體特定的姿態(tài)特性，達(dá)到照片的逼真度，能夠識(shí)別出個(gè)體的身份，建模方法有：三 維人體掃描儀、基于高清圖像的人像自動(dòng)建模系統(tǒng)、三維數(shù)字人像專業(yè)建模軟件； 所述虛擬場(chǎng)景模塊提供虛擬場(chǎng)景，以數(shù)字化的方式表現(xiàn)出來(lái)，虛擬場(chǎng)景表示為三維坐 標(biāo)形式，對(duì)于二維圖像和數(shù)字照片，通過(guò)場(chǎng)景分割算法，自動(dòng)標(biāo)識(shí)出地面范圍，作為三維數(shù) 字人像底部的活動(dòng)空間；對(duì)于三維場(chǎng)景，標(biāo)識(shí)出三維數(shù)字人像在場(chǎng)景中的活動(dòng)空間，將虛擬 場(chǎng)景S表示為三維形式，進(jìn)而將其分割，標(biāo)識(shí)出三維數(shù)字人像的活動(dòng)區(qū)域S e; 所述合成模塊向用戶提供合成的編輯工具，方便用戶生成合成結(jié)果，該編輯操作是在 三維空間內(nèi)完成，首先，三維數(shù)字人像模型M的位置被限制在虛擬場(chǎng)景所設(shè)定的活動(dòng)空間Se 中，然后，用戶在該活動(dòng)空間中，完成三維數(shù)字人像模型的編輯；最后，根據(jù)虛擬場(chǎng)景的色彩 效果，自動(dòng)調(diào)整三維數(shù)字人像的色彩，將三維數(shù)字人像模型和虛擬場(chǎng)景合成在一起； 所述共享輸出模塊提供二維和三維兩種輸出功能，結(jié)果在用戶間共享，在二維方面，提 供渲染功能，輸出合成結(jié)果的二維圖像文件；在三維方面，則提供整個(gè)三維數(shù)字人像和虛擬 場(chǎng)景合成結(jié)果的三維場(chǎng)景文件。
2. 根據(jù)權(quán)利要求1所述的三維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)，其特征在于，所述合 成過(guò)程，使用泊松合成機(jī)制，以虛擬場(chǎng)景中與三維數(shù)字人像相鄰區(qū)域Ω的色彩C 3作為邊界 約束，調(diào)節(jié)三維數(shù)字人像的色彩CM，生成三維數(shù)字人像的最終色彩C，該泊松合成機(jī)制公式 化表示為：
其中，7為梯度算子，s. t代表約束，Cjm=QIm說(shuō)明：合成后的三維數(shù)字人像，其在邊 界Ω處的色彩，與虛擬場(chǎng)景在該邊界處的色彩C s相等； 根據(jù)歐拉-拉格朗日方程，上面的變分方程有最優(yōu)解時(shí)，當(dāng)且僅當(dāng)：
其中，AC= dn<VCM)為拉普拉斯算子，即Cwr在區(qū)域Ω上，先求梯度（▽)，再求散度 (div)，從而，將求解變換成帶約束的線性方程組最小二乘求解。
3. 根據(jù)權(quán)利要求1所述的三維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)，其特征在于，所述人 景合成具體過(guò)程包括：1)使用三維掃描儀建立三維數(shù)字人像：使用三維掃描儀掃描用戶， 通過(guò)三維表面重建，建立個(gè)性化的三維數(shù)字人像，該人像具有照片真實(shí)感；2)使用預(yù)定好的 風(fēng)景圖像建立虛擬場(chǎng)景：通過(guò)著名的風(fēng)景圖像，建立圖像庫(kù)，并對(duì)庫(kù)中的每幅圖像，標(biāo)識(shí)出 三維數(shù)字人像的底部活動(dòng)空間，在三維坐標(biāo)系中，建立虛擬場(chǎng)景；3 )三維數(shù)字人像與風(fēng)景場(chǎng) 景的合成：在虛擬場(chǎng)景中，用戶編輯三維數(shù)字人像，合成出預(yù)期的人景合成效果；4)輸出人 景合成圖片：通過(guò)渲染，建立三維數(shù)字人像和風(fēng)景場(chǎng)景的合成圖片，并可通過(guò)圖片文件，共 享給用戶的朋友。
4.根據(jù)權(quán)利要求1所述的三維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)，其特征在于，所述人 人合成具體過(guò)程包括：1)使用多幅高清圖像建立三維數(shù)字人像：使用用戶多幅高清圖像， 通過(guò)計(jì)算機(jī)視覺(jué)的圖像建模方法，建立高逼真度的三維數(shù)字人像模型；2)使用三維掃描儀 建立虛擬人物場(chǎng)景：通過(guò)對(duì)著名人物雕塑的掃描，建立虛擬人物場(chǎng)景，并在場(chǎng)景中建立三維 數(shù)字人像的活動(dòng)空間；3)三維數(shù)字人像與虛擬人物場(chǎng)景的合成：在虛擬人物場(chǎng)景中，合成 出預(yù)期的人人合成效果；4)輸出人人合成文件：將三維數(shù)字人像和人物場(chǎng)景的合成結(jié)果， 存儲(chǔ)為三維場(chǎng)景文件，共享給用戶的朋友。
【專利摘要】本發(fā)明涉及三維數(shù)字人像與虛擬場(chǎng)景的合成系統(tǒng)。該系統(tǒng)包括四個(gè)組成模塊：三維數(shù)字人像模塊、虛擬場(chǎng)景模塊、合成模塊、共享輸出模塊，三維數(shù)字人像模塊和虛擬場(chǎng)景模塊是合成模塊的輸入，合成模塊的結(jié)果傳遞給共享輸出模塊。該系統(tǒng)通過(guò)編輯三維數(shù)字人像和虛擬場(chǎng)景的合成方式，生成更具娛樂(lè)性的人像和場(chǎng)景合影，合成出新的、以假亂真的美麗畫面，滿足用戶進(jìn)行內(nèi)容創(chuàng)造的需要。
【IPC分類】G06T17-00
【公開(kāi)號(hào)】CN104537716
【申請(qǐng)?zhí)枴緾N201510027347
【發(fā)明人】程志全, 徐華勛
【申請(qǐng)人】湖南化身科技有限公司
【公開(kāi)日】2015年4月22日
【申請(qǐng)日】2015年1月20日