1.一種用于生成三維頭像模型的方法,其特征在于,所述方法包括:
獲取用戶的不同人臉姿態(tài)角度的多張人臉圖像;
使用所述多張人臉圖像中人臉姿態(tài)角度最正的人臉圖像建立初始三維人臉模型;
使用所述多張人臉圖像中除人臉姿態(tài)角度最正的人臉圖像外的其他至少一張人臉圖像對所述初始三維人臉模型進行深度矯正,得到已矯正三維人臉模型;
使用所述多張人臉圖像中的至少兩張人臉圖像進行多幀融合,得到三維人臉模型的二維紋理;
渲染所述已矯正三維人臉模型以及所述二維紋理,以生成三維頭像模型。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述獲取不同人臉姿態(tài)角度的多張人臉圖像,包括:
在預(yù)先設(shè)定的多個人臉姿態(tài)角度取值范圍中,確定針對所述用戶所采集的人臉圖像集合中每張人臉圖像的人臉姿態(tài)角度所屬的人臉姿態(tài)角度取值范圍;
針對每個人臉姿態(tài)角度范圍,選取出該人臉姿態(tài)角度范圍對應(yīng)的至少一張人臉圖像。
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,在所述獲取不同人臉姿態(tài)角度的多張人臉圖像之前,所述方法包括:
從對所述用戶的人臉進行多角度拍攝而生成的視頻的視頻幀中采集所述人臉圖像集合。
4.根據(jù)權(quán)利要求2所述的方法,其特征在于,所述選取出該人臉姿態(tài)角度范圍對應(yīng)的至少一張人臉圖像,包括:
按照圖像質(zhì)量和/或人臉圖像中的人臉表情,從該人臉姿態(tài)角度范圍在所述人臉圖像集合中對應(yīng)的人臉圖像中選取出至少一張人臉圖像。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,所述按照圖像質(zhì)量和/或人臉圖像中的人臉表情,從該人臉姿態(tài)角度范圍在所述人臉圖像集合中對應(yīng)的人臉圖像中選取出至少一張人臉圖像,包括:
利用第一卷積神經(jīng)網(wǎng)絡(luò)模型計算出所述人臉圖像集合中每張人臉圖像的圖像質(zhì)量分值,和/或,利用第二卷積神經(jīng)網(wǎng)絡(luò)模型計算出所述人臉圖像集合中每張人臉圖像中人臉的人臉表情分值;
按照人臉圖像的圖像質(zhì)量分值和/或人臉表情分值,從該人臉姿態(tài)角度范圍在所述人臉圖像集合中對應(yīng)的人臉圖像中選取出至少一張人臉圖像。
6.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述使用所述多張人臉圖像中人臉姿態(tài)角度最正的人臉圖像建立初始三維人臉模型,包括:
采用可變形模板算法建立初始三維人臉模型。
7.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述使用所述所述多張人臉圖像中除人臉姿態(tài)角度最正的人臉圖像外的其他至少一張人臉圖像對所述初始三維人臉模型進行深度矯正,得到已矯正三維人臉模型,包括:
采用自陰影光照模型進行深度矯正。
8.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述使用所述多張人臉圖像中的至少兩張人臉圖像進行多幀融合,得到三維人臉模型的二維紋理,包括:
對所述至少兩張人臉圖像執(zhí)行質(zhì)量度提高操作;
對質(zhì)量度提高后的至少兩張人臉圖像進行多幀融合,以生成三維人臉模型的二維紋理。
9.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述對所述至少兩張人臉圖像執(zhí)行質(zhì)量度提高操作,包括:
針對所述至少兩張人臉圖像的每一張人臉圖像,將人臉圖像的各個通道的通道值分別輸入至預(yù)先訓(xùn)練的、用于執(zhí)行質(zhì)量度提高操作的第一反卷積神經(jīng)網(wǎng)絡(luò)模型,其中,所述第一反卷積神經(jīng)網(wǎng)絡(luò)模型用于表征質(zhì)量度提高前的人臉圖像的各個通道的通道值與質(zhì)量度提高后的人臉圖像的梯度場的對應(yīng)關(guān)系;
采用泊松方程,基于所述第一反卷積神經(jīng)網(wǎng)絡(luò)模型輸出的梯度場,重建質(zhì)量度提高后的人臉圖像。
10.根據(jù)權(quán)利要求9所述的方法,其特征在于,所述質(zhì)量度提高操作包括以下一項或多項:光照均勻化操作、降噪操作、模糊去除操作。
11.根據(jù)權(quán)利要求9所述的方法,其特征在于,所述方法還包括第一反卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練步驟,包括:
對預(yù)先挑選出的人臉圖像執(zhí)行質(zhì)量度降低操作;
將質(zhì)量度降低后的人臉圖像的各個通道的通道值以及質(zhì)量度降低前的人臉圖像的梯度場分別作為所述第一反卷積神經(jīng)網(wǎng)絡(luò)模型的輸入樣本與輸出樣本,對所述第一反卷積神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。
12.根據(jù)權(quán)利要求8所述的方法,其特征在于,所述對質(zhì)量度提高后的至少兩張人臉圖像進行多幀融合,以生成三維人臉模型的二維紋理,包括:
將質(zhì)量度提高后的至少兩張人臉圖像的各個通道的通道值輸入至預(yù)先訓(xùn)練的第二反卷積神經(jīng)網(wǎng)絡(luò)模型,其中,所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型用于表征融合前多個人臉圖像的各個通道的通道值與融合后圖像的梯度場的對應(yīng)關(guān)系;
采用泊松方程,基于所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型輸出的梯度場重建三維人臉模型的二維紋理。
13.根據(jù)權(quán)利要求12所述的方法,其特征在于,所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型包括與卷積層對稱的反向卷積層以及用于提高所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型所輸出的圖像梯度場所對應(yīng)圖像的分辨率的反向卷積層。
14.根據(jù)權(quán)利要求12所述的方法,其特征在于,所述方法還包括第二反卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練步驟,包括:
獲取用于所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練樣本,所述訓(xùn)練樣本數(shù)據(jù)包括通過不同于所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型的泊松融合算法所獲得的融合前人臉圖像的通道值和融合后的圖像梯度場和/或通過三維掃描儀掃描到的人臉圖像的通道值和圖像梯度場;
基于所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練樣本數(shù)據(jù),對所述第二反卷積神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練。
15.一種用于生成三維頭像的裝置,其特征在于,所述裝置包括:
獲取單元,用于獲取用戶的不同人臉姿態(tài)角度的多張人臉圖像;
建立單元,用于使用所述多張人臉圖像中人臉姿態(tài)角度最正的人臉圖像建立初始三維人臉模型;
矯正單元,用于使用所述多張人臉圖像中除人臉姿態(tài)角度最正的人臉圖像外的其他至少一張人臉圖像對所述初始三維人臉模型進行深度矯正,得到已矯正三維人臉模型;
融合單元,用于使用所述多張人臉圖像中的至少兩張人臉圖像進行多幀融合,得到三維人臉模型的二維紋理;
渲染單元,用于渲染所述已矯正三維人臉模型以及所述二維紋理渲染,以生成三維頭像模型。