用于人臉虛擬整形的處理方法和系統(tǒng)的制作方法
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供一種用于人臉虛擬整形的處理方法和系統(tǒng)，所述處理方法包括：獲取用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù)；對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的三維人臉模型；顯示所述三維人臉模型，以接受對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作；根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作獲取人臉的整形調(diào)整數(shù)據(jù)。采用本發(fā)明實(shí)施例的技術(shù)方案，為用戶(hù)和整形醫(yī)生之間的交流提供直觀的交互方式，用戶(hù)可以參與虛擬整形的交互過(guò)程，使獲得的整形調(diào)整數(shù)據(jù)更為個(gè)性化；進(jìn)一步地，所獲得的整形調(diào)整數(shù)據(jù)可以供整形醫(yī)生在整形手術(shù)過(guò)程中參考，輔助提高面部整形手術(shù)的精度。
【專(zhuān)利說(shuō)明】
用于人臉虛擬整形的處理方法和系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及整形技術(shù)領(lǐng)域，尤其涉及一種用于人臉虛擬整形的處理方法和系統(tǒng)。
【背景技術(shù)】
[0002]隨著生活水平的提高，人們對(duì)容貌的要求越來(lái)越高，選擇面部整形手術(shù)來(lái)改善相貌的人越來(lái)越多。傳統(tǒng)的面部整形僅憑靠醫(yī)生的經(jīng)驗(yàn)進(jìn)行手術(shù)設(shè)計(jì)，哪里需要墊高、哪里需要削低，墊高多少以及削低多少，只能憑著醫(yī)生的經(jīng)驗(yàn)和個(gè)人審美來(lái)進(jìn)行，局限和誤差不可避免。因此，傳統(tǒng)整形受醫(yī)生個(gè)人經(jīng)驗(yàn)、習(xí)慣等主觀因素影響較大，缺乏客觀指標(biāo)，效果不具有預(yù)見(jiàn)性。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的在于，提供一種用于人臉虛擬整形的處理方法和系統(tǒng)，輔助提高面部整形手術(shù)的精度。
[0004]根據(jù)本發(fā)明的一方面，提供一種用于人臉虛擬整形的處理方法，所述處理方法包括:獲取用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù);對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的三維人臉模型；顯示所述三維人臉模型，以接受對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作；根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作獲取人臉的整形調(diào)整數(shù)據(jù)。
[0005]進(jìn)一步地，所述對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的處理包括:分別對(duì)不同視角獲取的三維點(diǎn)云數(shù)據(jù)采用如下方式進(jìn)行融合:將不同視角的三維點(diǎn)云數(shù)據(jù)中的同名點(diǎn)進(jìn)行合并；對(duì)合并同名點(diǎn)后的三維點(diǎn)云數(shù)據(jù)進(jìn)行插值運(yùn)算;將插值后的三維點(diǎn)云數(shù)據(jù)進(jìn)行濾波。
[0006]進(jìn)一步地，所述處理方法還包括:獲取參考三維人臉模型的數(shù)據(jù);顯示參考三維人臉豐吳型。
[0007]進(jìn)一步地，在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的步驟之前，所述處理方法還包括:對(duì)所述三維點(diǎn)云數(shù)據(jù)進(jìn)行姿態(tài)校正。
[0008]進(jìn)一步地，在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的步驟之前，所述處理方法還包括:對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云對(duì)準(zhǔn)。
[0009]進(jìn)一步地，所述對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云對(duì)準(zhǔn)的處理包括:從所述不同視角的三維點(diǎn)云數(shù)據(jù)的第一幀起至最后一幀為止，將相鄰幀中的后一幀相對(duì)于前一幀對(duì)準(zhǔn)。
[0010]進(jìn)一步地，所述對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云對(duì)準(zhǔn)的處理還包括:將對(duì)準(zhǔn)后的三維點(diǎn)云數(shù)據(jù)以迭代方式進(jìn)行點(diǎn)坐標(biāo)轉(zhuǎn)換，直至所述不同視角的三維點(diǎn)云數(shù)據(jù)中相鄰兩幀之間的誤差小于誤差閾值。
[0011]進(jìn)一步地，在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的步驟之前，所述處理方法還包括:獲取同一用戶(hù)的二維人臉圖像;在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的三維人臉模型的步驟之后，在顯示所述三維人臉模型的步驟之前，所述方法還包括:根據(jù)獲取所述不同視角的三維點(diǎn)云數(shù)據(jù)和獲取所述二維人臉圖像的設(shè)備的相對(duì)位置關(guān)系，將所述二維人臉圖像映射到所述三維人臉模型上。
[0012]進(jìn)一步地，在根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作獲取人臉的整形調(diào)整數(shù)據(jù)的步驟之后，所述處理方法還包括:獲取所述用戶(hù)整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù);對(duì)所述整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)整形后的三維人臉模型；比較所述整形前的三維人臉模型和所述整形后的三維人臉模型，獲取人臉的整形誤差數(shù)據(jù)。
[0013]根據(jù)本發(fā)明的另一方面，提供一種用于人臉虛擬整形處理的系統(tǒng)，所述系統(tǒng)包括:一個(gè)或多個(gè)處理器;存儲(chǔ)器；以及，一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序存儲(chǔ)在所述存儲(chǔ)器中，且經(jīng)配置以由所述一個(gè)或者多個(gè)處理器執(zhí)行所述一個(gè)或者多個(gè)程序包含的用于執(zhí)行如前所述的用于人臉虛擬整形的處理方法的指令。
[0014]采用本發(fā)明實(shí)施例提供的一種用于人臉虛擬整形的處理方法和系統(tǒng)，在用戶(hù)作臉部整形手術(shù)前，根據(jù)用戶(hù)人臉不同視角的的三維點(diǎn)云數(shù)據(jù)得到所述用戶(hù)的三維人臉模型；并顯示所述三維人臉模型，以接受對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作；根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作，獲取人臉的整形調(diào)整數(shù)據(jù)，用戶(hù)和整形醫(yī)生可以對(duì)三維人臉模型進(jìn)行虛擬整形交互操作，為用戶(hù)和整形醫(yī)生之間的交流提供直觀的交互方式，用戶(hù)可以參與虛擬整形的交互過(guò)程，使獲得的整形調(diào)整數(shù)據(jù)更為個(gè)性化;進(jìn)一步地，所獲得的整形調(diào)整數(shù)據(jù)可以供整形醫(yī)生在整形手術(shù)過(guò)程中參考，輔助提高面部整形手術(shù)的精度。
[0015]進(jìn)一步地，采用本發(fā)明的技術(shù)方案，手術(shù)后，將整形后三維人臉模型與整形前三維人臉模型的數(shù)據(jù)比較獲取整形誤差數(shù)據(jù)，來(lái)評(píng)估整形手術(shù)的效果，有利于醫(yī)生不斷提高自己的手術(shù)水平。
【附圖說(shuō)明】
[0016]圖1示出本發(fā)明實(shí)施例一中一種用于人臉虛擬整形的處理方法的流程圖；
[0017]圖2示出本發(fā)明實(shí)施例一中點(diǎn)云融合的視角示意圖。
【具體實(shí)施方式】
[0018]下面結(jié)合附圖詳細(xì)描述本發(fā)明的示例性實(shí)施例。
[0019]實(shí)施例一
[0020]圖1示出本發(fā)明實(shí)施例一中一種用于人臉虛擬整形的處理方法的流程圖，參見(jiàn)圖1，一種用于人臉虛擬整形的處理方法包括S110、S120、S130和S140。
[0021]在S110，獲取用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù)。
[0022]在逆向工程中通過(guò)測(cè)量?jī)x器得到的掃描對(duì)象外觀表面的點(diǎn)數(shù)據(jù)集合稱(chēng)為點(diǎn)云數(shù)據(jù)，三維點(diǎn)云數(shù)據(jù)是通過(guò)三維激光或者攝像裝置得到的掃描對(duì)象外觀表面的點(diǎn)數(shù)據(jù)集合，在本實(shí)施例中的掃描對(duì)象是人體。三維點(diǎn)云數(shù)據(jù)中可以包括但不限于三維坐標(biāo)XYZ和顏色信息RGB等。
[0023]在本實(shí)施例中，通過(guò)人體數(shù)據(jù)采集和人臉檢測(cè)兩個(gè)步驟來(lái)獲取用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù)。其中人體數(shù)據(jù)采集是指連續(xù)采集多幀包含人臉的三維人體點(diǎn)云數(shù)據(jù)。人臉檢測(cè)是指為了專(zhuān)注于人臉區(qū)域處理，采集人體數(shù)據(jù)的同時(shí)自動(dòng)對(duì)人體數(shù)據(jù)進(jìn)行人臉檢測(cè)，以降低后續(xù)處理的內(nèi)存開(kāi)銷(xiāo)和計(jì)算復(fù)雜度?？蛇x地，在人體數(shù)據(jù)采集時(shí)可以一并采集二維人體彩色圖像。
[0024]上述人體數(shù)據(jù)采集的處理包括:通過(guò)圖像獲取設(shè)備拍攝體現(xiàn)人臉多個(gè)角度特征的多幀三維人體點(diǎn)云數(shù)據(jù)和二維彩色圖像數(shù)據(jù)?？衫谩皢文坎噬鄼C(jī)+深度相機(jī)”，將兩個(gè)相機(jī)同步后進(jìn)行連續(xù)采集。單目彩色相機(jī)用于采集二維彩色人體圖像;深度相機(jī)用于采集三維人體數(shù)據(jù)。
[0025]上述人臉檢測(cè)的處理包括:以掃描方式獲取的多幀三維人體點(diǎn)云數(shù)據(jù)中，每幀三維人體點(diǎn)云數(shù)據(jù)至少包括人的臉部的點(diǎn)云數(shù)據(jù)。采用文獻(xiàn)H.Wang, C.Wang，H.Luo etal..3~D Point Cloud Object Detect1n based on Supervoxel Neighborhood withHough Forest Framework[J].1EEE Journal of Selected Topics in Applied EarthObservat1ns and Remote Sensing.2015,8(4): 1570-1581 中的霍夫森林模型檢測(cè)方法對(duì)所述多幀三維人體點(diǎn)云數(shù)據(jù)進(jìn)行三維人臉檢測(cè)，截取多個(gè)對(duì)應(yīng)于不同幀的初始人臉三維點(diǎn)云，使后續(xù)的處理專(zhuān)注于人臉區(qū)域，進(jìn)而大大降低后續(xù)處理的內(nèi)存開(kāi)銷(xiāo)和計(jì)算復(fù)雜度。
[0026]在S120，對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的三維人臉模型。
[0027]在對(duì)不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合之前，還需要進(jìn)行人臉姿態(tài)校正和點(diǎn)云對(duì)準(zhǔn)的操作。
[0028]其中，首先進(jìn)行人臉姿態(tài)校正，當(dāng)然，人臉姿態(tài)校正是可選地步驟，如果不同視角的三維點(diǎn)云數(shù)據(jù)獲取過(guò)程中，人臉的姿態(tài)的偏轉(zhuǎn)角度小于人臉姿態(tài)校正的偏轉(zhuǎn)角度閾值，則可以不執(zhí)行人臉姿態(tài)校正的處理。人臉姿態(tài)校正的處理包括:采用文獻(xiàn)A.S.Mian，M.Bennamoun and R.0wens.An efficient multimodal 2D—3D hybrid approach toautomatic face recognit1n[J].1EEE Trans.Pattern Anal.Mach.1ntell..2007,29(11): 1927-1943.中提出的PCA方法進(jìn)行人臉姿態(tài)校正。
[0029]其次，進(jìn)行點(diǎn)云對(duì)準(zhǔn)，在本實(shí)施例中的點(diǎn)云對(duì)準(zhǔn)的處理包括:一、第一對(duì)準(zhǔn)操作，從所述不同視角的三維點(diǎn)云數(shù)據(jù)的第一幀起至最后一幀為止，將相鄰幀中的后一幀相對(duì)于前一幀對(duì)準(zhǔn)。具體地，用文獻(xiàn)郭裕蘭，點(diǎn)云局部特征描述與三維目標(biāo)重建識(shí)別技術(shù)研究[D]，2015，國(guó)防科技大學(xué)，長(zhǎng)沙.中的一致對(duì)應(yīng)驗(yàn)證法，即以第I幀的人臉三維點(diǎn)云作為參考對(duì)象，以第2幀的人臉三維點(diǎn)云作為調(diào)整對(duì)象，調(diào)整對(duì)象以使其與參考對(duì)象對(duì)準(zhǔn)，然后，再以粗對(duì)準(zhǔn)后的第2幀的人臉三維點(diǎn)云為參考對(duì)象，以第3幀的人臉三維點(diǎn)云作為調(diào)整對(duì)象，進(jìn)行第3幀的對(duì)準(zhǔn)，依次類(lèi)推，直到所有幀對(duì)應(yīng)的人臉三維點(diǎn)云均被對(duì)準(zhǔn)。二、第二對(duì)準(zhǔn)操作，將對(duì)準(zhǔn)后的三維點(diǎn)云數(shù)據(jù)以迭代方式進(jìn)行點(diǎn)坐標(biāo)轉(zhuǎn)換，直至所述不同視角的三維點(diǎn)云數(shù)據(jù)中相鄰兩幀之間的誤差小于誤差閾值。
[0030]圖2示出本發(fā)明實(shí)施例一中點(diǎn)云融合的視角示意圖。點(diǎn)云集成的目的是將多幀點(diǎn)云中的同名點(diǎn)融合為模型表面上的一點(diǎn)，對(duì)于人臉點(diǎn)云而言，在三個(gè)視角進(jìn)行點(diǎn)云集成就能獲得較為完整準(zhǔn)確的三維模型。參見(jiàn)圖2，對(duì)于已經(jīng)正則化的人臉點(diǎn)云而言，左視點(diǎn)實(shí)際上是左半邊臉的點(diǎn)云數(shù)據(jù)融合，相應(yīng)的右視點(diǎn)和前視點(diǎn)對(duì)應(yīng)的是右半邊臉和正臉，分別對(duì)三個(gè)視角觀察到的點(diǎn)云進(jìn)行融合，再集成到同一個(gè)三維模型，集成時(shí)僅需在邊界上進(jìn)行一致性處理?，F(xiàn)以左視點(diǎn)為例說(shuō)明點(diǎn)云融合的處理包括:同名點(diǎn)合并、孔洞消除和平滑濾波的處理。
[0031]其中，同名點(diǎn)合并的處理包括將不同視角的三維點(diǎn)云數(shù)據(jù)中的同名點(diǎn)進(jìn)行合并，可選地可以將該部分點(diǎn)云投影到y(tǒng)oz平面，并將人臉在yoz平面的區(qū)域柵格化，柵格大小取決于空間分辨率，例如分辨率為1mm*Imm。落在同一柵格內(nèi)的點(diǎn)合并為一個(gè)點(diǎn)，x坐標(biāo)為該柵格內(nèi)所有點(diǎn)X坐標(biāo)的均值。
[0032]孔洞消除的處理包括對(duì)合并同名點(diǎn)后的不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行插值運(yùn)算，具體地可以采用立方卷積插值(Cubic)算法對(duì)yz面的柵格數(shù)據(jù)進(jìn)行插值。
[0033]平滑濾波的處理包括將插值后的不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行濾波，可選地采用雙邊濾波器對(duì)yz面的柵格數(shù)據(jù)進(jìn)行濾波，以降低噪聲，平滑曲面。最后將柵格數(shù)據(jù)映射到xy z三維空間。
[0034]優(yōu)選地，對(duì)不同視角的三維點(diǎn)云數(shù)據(jù)先姿態(tài)校正再融合的處理方式，利用了人臉的幾何形狀特性，既保持了數(shù)據(jù)的精度，又降低了問(wèn)題的復(fù)雜度；同時(shí)，采用第一對(duì)準(zhǔn)操作和第二對(duì)準(zhǔn)操作兩步操作進(jìn)行三維點(diǎn)云數(shù)據(jù)的對(duì)準(zhǔn)，既可避免陷入局部最優(yōu)，又加速了收斂速度。
[0035]在本實(shí)施例中，對(duì)經(jīng)過(guò)融合的不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到三維人臉模型數(shù)據(jù)。優(yōu)選地，在SllO中，還可以通過(guò)單目彩色相機(jī)獲取同一用戶(hù)的二維人臉圖像，在本步驟中，根據(jù)獲取所述不同視角的三維點(diǎn)云數(shù)據(jù)和獲取所述二維人臉圖像的設(shè)備的相對(duì)位置關(guān)系，將所述二維人臉圖像映射到所述三維人臉模型上，在本實(shí)施例中獲取所述不同視角的三維點(diǎn)云數(shù)據(jù)的設(shè)備為深度相機(jī)，獲取所述二維人臉圖像的設(shè)備為單目彩色相機(jī)，因此根據(jù)采集人體數(shù)據(jù)時(shí)記錄的彩色相機(jī)與深度相機(jī)的相對(duì)位置關(guān)系將彩色圖像映射到三維人臉模型上，得到具有真實(shí)感的三維人臉模型。
[0036]在S130，顯示所述三維人臉模型，以接受對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作。
[0037]通過(guò)顯示設(shè)備顯示所述三維人臉模型，美容者和醫(yī)生交互式地在三維人臉模型上實(shí)施虛擬手術(shù)，交互式地在三維人臉模型上實(shí)施虛擬手術(shù)，如將眼睛放大、鼻子隆高、嘴唇修薄、除斑去痣等，經(jīng)過(guò)一系列的交互式操作，獲得最終滿(mǎn)意的三維人臉模型。
[0038]可選地，該方法還可以包括獲取參考三維人臉模型的數(shù)據(jù)；以及顯示參考三維人臉模型。參考三維人臉模型包括但不限于明星的三維人臉模型、已整形成功的美容者的三維人臉模型和/或預(yù)先設(shè)計(jì)的三維人臉模型等。用戶(hù)和醫(yī)生在對(duì)三維人臉模型上實(shí)施虛擬手術(shù)的時(shí)候，可以結(jié)合該參考三維人臉模型進(jìn)行調(diào)整。
[0039]在S140，根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作，獲取人臉的整形調(diào)整數(shù)據(jù)。
[0040]通過(guò)對(duì)比虛擬手術(shù)前后三維人臉模型的變化，獲取人臉的整形調(diào)整數(shù)據(jù)，醫(yī)生可以在后續(xù)整形手術(shù)中參考所獲取的整形調(diào)整數(shù)據(jù)。例如，整形調(diào)整數(shù)據(jù)中包括但不限于三維人臉模型中的選定點(diǎn)的厚度增加或者減少的數(shù)值、選定區(qū)域的面積增大或者縮小的數(shù)值和/或選定區(qū)域形狀調(diào)整的數(shù)值等等。整形調(diào)整數(shù)據(jù)是精確的數(shù)字，醫(yī)生可以按照該整形調(diào)整數(shù)據(jù)進(jìn)行術(shù)前準(zhǔn)備和實(shí)施手術(shù)，這樣就完全改變了那種經(jīng)驗(yàn)化的盲目的手術(shù)情形，使手術(shù)的水平、效果和滿(mǎn)意度提升，既縮短了手術(shù)時(shí)間，又降低了手術(shù)風(fēng)險(xiǎn)。由于美容者也參與了虛擬手術(shù)的過(guò)程，也可以減少醫(yī)患糾紛。
[0041]進(jìn)一步地，在根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作獲取人臉的整形調(diào)整數(shù)據(jù)的步驟之后，所述處理方法還包括術(shù)后比較步驟，具體地包括:獲取所述用戶(hù)整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù);對(duì)所述整形后不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的整形后不同視角三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的整形后的三維人臉模型；比較所述整形前的三維人臉模型和所述整形后的三維人臉模型，獲取人臉的整形誤差數(shù)據(jù)。
[0042]在手術(shù)后，將整形后三維人臉模型與整形前三維人臉模型的數(shù)據(jù)比較獲取整形誤差數(shù)據(jù)，來(lái)評(píng)估整形手術(shù)的效果，有利于醫(yī)生不斷提高自己的手術(shù)水平。整形誤差數(shù)據(jù)可以包括但不限于:預(yù)定調(diào)整區(qū)域面積擴(kuò)大或者縮小的誤差值、預(yù)定調(diào)整形狀變化差值和/或預(yù)定點(diǎn)調(diào)整厚度變化差值等等，可以導(dǎo)出word格式或者其他文檔格式的結(jié)果報(bào)告，為手術(shù)效果提供參考，有利于醫(yī)生不斷提高自己的水平。
[0043]采用本實(shí)施例的技術(shù)方案，在用戶(hù)作臉部整形手術(shù)前，根據(jù)用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù)得到所述用戶(hù)的三維人臉模型；并顯示所述三維人臉模型，以接受用戶(hù)和整形醫(yī)生對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作;根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作，獲取人臉的整形調(diào)整數(shù)據(jù)，通過(guò)對(duì)三維人臉模型進(jìn)行的虛擬整形交互操作，為用戶(hù)和整形醫(yī)生之間的交流提供直觀的交互方式，用戶(hù)可以參與虛擬整形的交互過(guò)程，使獲得的整形調(diào)整數(shù)據(jù)更為個(gè)性化;進(jìn)一步地，所獲得的整形調(diào)整數(shù)據(jù)可以供整形醫(yī)生在整形手術(shù)過(guò)程中參考，輔助提高面部整形手術(shù)的精度。
[0044]實(shí)施例二
[0045]本實(shí)施例提供一種用于人臉虛擬整形處理的系統(tǒng)，所述系統(tǒng)包括:一個(gè)或多個(gè)處理器;存儲(chǔ)器;一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序存儲(chǔ)在所述存儲(chǔ)器中，且經(jīng)配置以由所述一個(gè)或者多個(gè)處理器執(zhí)行所述一個(gè)或者多個(gè)程序包含的用于執(zhí)行如實(shí)施例一中所述的用于人臉虛擬整形的處理方法的指令。
[0046]采用本實(shí)施例的技術(shù)方案，在用戶(hù)作臉部整形手術(shù)前，根據(jù)用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù)得到所述用戶(hù)的三維人臉模型；并顯示所述三維人臉模型，以接受用戶(hù)和整形醫(yī)生對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作;根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作，獲取人臉的整形調(diào)整數(shù)據(jù)，通過(guò)對(duì)三維人臉模型進(jìn)行虛擬整形交互操作，為用戶(hù)和整形醫(yī)生之間的交流提供直觀的交互方式，用戶(hù)可以參與虛擬整形的交互過(guò)程，使獲得的整形調(diào)整數(shù)據(jù)更為個(gè)性化;進(jìn)一步地，所獲得的整形調(diào)整數(shù)據(jù)可以供整形醫(yī)生在整形手術(shù)過(guò)程中參考，輔助提高面部整形手術(shù)的精度。
[0047]上述根據(jù)本發(fā)明的方法可在硬件、固件中實(shí)現(xiàn)，或者被實(shí)現(xiàn)為可存儲(chǔ)在記錄介質(zhì)(諸如CD R0M、RAM、軟盤(pán)、硬盤(pán)或磁光盤(pán))中的軟件或計(jì)算機(jī)代碼，或者被實(shí)現(xiàn)通過(guò)網(wǎng)絡(luò)下載的原始存儲(chǔ)在遠(yuǎn)程記錄介質(zhì)或非暫時(shí)機(jī)器可讀介質(zhì)中并將被存儲(chǔ)在本地記錄介質(zhì)中的計(jì)算機(jī)代碼，從而在此描述的方法可被存儲(chǔ)在使用通用計(jì)算機(jī)、專(zhuān)用處理器或者可編程或?qū)Ｓ糜布?諸如ASIC或FPGA)的記錄介質(zhì)上的這樣的軟件處理?？梢岳斫?，計(jì)算機(jī)、處理器、微處理器控制器或可編程硬件包括可存儲(chǔ)或接收軟件或計(jì)算機(jī)代碼的存儲(chǔ)組件(例如，RAM、ROM、閃存等)，當(dāng)所述軟件或計(jì)算機(jī)代碼被計(jì)算機(jī)、處理器或硬件訪問(wèn)且執(zhí)行時(shí)，實(shí)現(xiàn)在此描述的處理方法。此外，當(dāng)通用計(jì)算機(jī)訪問(wèn)用于實(shí)現(xiàn)在此示出的處理的代碼時(shí)，代碼的執(zhí)行將通用計(jì)算機(jī)轉(zhuǎn)換為用于執(zhí)行在此示出的處理的專(zhuān)用計(jì)算機(jī)。
[0048]以上所述，僅為本發(fā)明的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。
【主權(quán)項(xiàng)】
1.一種用于人臉虛擬整形的處理方法，其特征在于，所述處理方法包括: 獲取用戶(hù)人臉不同視角的三維點(diǎn)云數(shù)據(jù)； 對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的三維人臉模型； 顯示所述三維人臉模型，以接受對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作； 根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作獲取人臉的整形調(diào)整數(shù)據(jù)。2.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，所述對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的處理包括:分別對(duì)不同視角獲取的三維點(diǎn)云數(shù)據(jù)采用如下方式進(jìn)行融合: 將不同視角的三維點(diǎn)云數(shù)據(jù)中的同名點(diǎn)進(jìn)行合并； 對(duì)合并同名點(diǎn)后的三維點(diǎn)云數(shù)據(jù)進(jìn)行插值運(yùn)算； 將插值后的三維點(diǎn)云數(shù)據(jù)進(jìn)行濾波。3.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，所述處理方法還包括: 獲取參考三維人臉模型的數(shù)據(jù)； 顯示參考三維人臉模型。4.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的步驟之前，所述處理方法還包括: 對(duì)所述三維點(diǎn)云數(shù)據(jù)進(jìn)行姿態(tài)校正。5.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的步驟之前，所述處理方法還包括: 對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云對(duì)準(zhǔn)。6.根據(jù)權(quán)利要求5所述的處理方法，其特征在于，所述對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云對(duì)準(zhǔn)的處理包括: 從所述不同視角的三維點(diǎn)云數(shù)據(jù)的第一幀起至最后一幀為止，將相鄰幀中的后一幀相對(duì)于前一幀對(duì)準(zhǔn)。7.根據(jù)權(quán)利要求6所述的處理方法，其特征在于，所述對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行點(diǎn)云對(duì)準(zhǔn)的處理還包括: 將對(duì)準(zhǔn)后的三維點(diǎn)云數(shù)據(jù)以迭代方式進(jìn)行點(diǎn)坐標(biāo)轉(zhuǎn)換，直至所述不同視角的三維點(diǎn)云數(shù)據(jù)中相鄰兩幀之間的誤差小于誤差閾值。8.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合的步驟之前，所述處理方法還包括: 獲取同一用戶(hù)的二維人臉圖像； 在對(duì)所述不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)的三維人臉模型的步驟之后，在顯示所述三維人臉模型的步驟之前，所述方法還包括: 根據(jù)獲取所述不同視角的三維點(diǎn)云數(shù)據(jù)和獲取所述二維人臉圖像的設(shè)備的相對(duì)位置關(guān)系，將所述二維人臉圖像映射到所述三維人臉模型上。9.根據(jù)權(quán)利要求1所述的處理方法，其特征在于，在根據(jù)對(duì)所述三維人臉模型進(jìn)行的虛擬整形交互操作獲取人臉的整形調(diào)整數(shù)據(jù)的步驟之后，所述處理方法還包括: 獲取所述用戶(hù)整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù)； 對(duì)所述整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行融合，并且對(duì)經(jīng)過(guò)融合的整形后人臉不同視角的三維點(diǎn)云數(shù)據(jù)進(jìn)行建模，得到所述用戶(hù)整形后的三維人臉模型； 比較所述整形前的三維人臉模型和所述整形后的三維人臉模型，獲取人臉的整形誤差數(shù)據(jù)。10.—種用于人臉虛擬整形處理的系統(tǒng)，其特征在于，所述系統(tǒng)包括: 一個(gè)或多個(gè)處理器； 存儲(chǔ)器； 以及，一個(gè)或多個(gè)程序，所述一個(gè)或多個(gè)程序存儲(chǔ)在所述存儲(chǔ)器中，且經(jīng)配置以由所述一個(gè)或者多個(gè)處理器執(zhí)行所述一個(gè)或者多個(gè)程序包含的用于執(zhí)行如權(quán)利要求1至9任一項(xiàng)所述的用于人臉虛擬整形的處理方法的指令。
【文檔編號(hào)】G06T17/00GK105938627SQ201610225879
【公開(kāi)日】2016年9月14日
【申請(qǐng)日】2016年4月12日
【發(fā)明人】滕書(shū)華, 李洪
【申請(qǐng)人】湖南拓視覺(jué)信息技術(shù)有限公司