本發(fā)明涉及一種移動(dòng)端2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法。

背景技術(shù)：

目前的人臉建模方法需要事先為人臉模型設(shè)置骨骼等來控制人臉變形，采取3d人臉特征點(diǎn)的計(jì)算來獲得關(guān)鍵點(diǎn)的位置，需要對(duì)特定用戶進(jìn)行特殊的預(yù)處理或者進(jìn)行學(xué)習(xí)過程，需要進(jìn)行3d關(guān)鍵點(diǎn)的坐標(biāo)回歸運(yùn)算，這樣的方式下，效率低，反應(yīng)遲緩甚至卡頓，效果不理想。

上述問題是在2d人臉關(guān)鍵點(diǎn)轉(zhuǎn)換為3d融合變形的人臉建模過程中應(yīng)當(dāng)予以考慮并解決的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的是提供一種移動(dòng)端2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法解決現(xiàn)有技術(shù)中存在的上述問題。

本發(fā)明的技術(shù)解決方案是：

一種移動(dòng)端2d關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法，其特征在于：利用移動(dòng)設(shè)備的攝像機(jī)實(shí)時(shí)獲取2d的人臉關(guān)鍵點(diǎn)坐標(biāo)，再將2d坐標(biāo)轉(zhuǎn)換為3d的對(duì)應(yīng)關(guān)鍵點(diǎn)，并根據(jù)這些對(duì)應(yīng)關(guān)鍵點(diǎn)計(jì)算得到3d人臉模型的融合變形參數(shù)，用于變換標(biāo)準(zhǔn)人臉模型的姿態(tài)、形狀以及表情；具體包括以下步驟，

s1、確定人臉關(guān)鍵點(diǎn)，設(shè)置一個(gè)標(biāo)準(zhǔn)的虛擬人臉模型并設(shè)計(jì)一個(gè)臉部形狀的融合變形集合；

s2、通過移動(dòng)設(shè)備的攝像頭獲取連續(xù)人臉畫面，對(duì)每一幀的人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)跟蹤檢測(cè)，實(shí)時(shí)得到每一幀的2d人臉關(guān)鍵點(diǎn)；

s3、根據(jù)以上獲得的2d人臉關(guān)鍵點(diǎn)來估算虛擬人臉模型的姿態(tài)角度，再根據(jù)估算出的角度來把虛擬人臉模型轉(zhuǎn)到對(duì)應(yīng)的轉(zhuǎn)向角度；

s4、進(jìn)一步根據(jù)人臉關(guān)鍵點(diǎn)來計(jì)算出人臉表情變形與融合變形幅度；

s5、根據(jù)s3中估算出來的虛擬人臉模型的姿態(tài)角度和s4中計(jì)算出來的人臉表情與融合變形幅度，將標(biāo)準(zhǔn)人臉融合變形后的效果實(shí)時(shí)渲染到虛擬的人臉模型中。

在上述方法中，優(yōu)選地，在步驟s1中，臉部形狀的融合變形集合包含43種融合變形，其中形狀變形28種，表情變形15種。另外在一個(gè)優(yōu)選實(shí)施方案中，在步驟s3中，估算的虛擬人臉模型的姿態(tài)角度即xyz三個(gè)軸上的人臉轉(zhuǎn)動(dòng)的角度，以歐拉角來表示。

進(jìn)一步，在步驟s4中，所述計(jì)算出人臉表情變形與融合變形幅度包括以下步驟：

4a、將各個(gè)表情下的人臉關(guān)鍵點(diǎn)之間的距離分解為表情距離，并作為相應(yīng)的表情的表情依據(jù)；

4b、選擇一個(gè)特定值作為一個(gè)比例基礎(chǔ)，將其它表情距離轉(zhuǎn)換成與該比例基礎(chǔ)的比值，稱為表情比值；

4c、確定表情比值的基準(zhǔn)值、最大值、最小值及當(dāng)前值；

4d、根據(jù)以上確定的表情比值的基準(zhǔn)值、最大值、最小值及當(dāng)前值來確定表情的正向變化指數(shù)和反向變化指數(shù)。

進(jìn)一步在以上步驟s4的步驟4a中，在將各個(gè)表情下的人臉關(guān)鍵點(diǎn)之間的距離分解為表情距離時(shí)，如果是在側(cè)臉的情況下，則將相應(yīng)的側(cè)臉表情距離回歸到正臉距離，以此來消除側(cè)臉對(duì)融合變形的影響。

而在步驟4b中，優(yōu)選所選擇作為比例基礎(chǔ)的特定值是人臉上特征性器官的參數(shù)。進(jìn)一步優(yōu)選地，所述特征性器官參數(shù)是兩眼間距離。

進(jìn)一步在步驟s4的步驟4c中，確定所述最大值、最小值后，還會(huì)根據(jù)每個(gè)人的表情數(shù)據(jù)進(jìn)行閾值調(diào)整，并且所述最大值和最小值還會(huì)根據(jù)當(dāng)前人臉的表情變化進(jìn)行實(shí)時(shí)更新。

另外在以上所述的方法中，在步驟s5中，根據(jù)s3中估算出來的虛擬人臉模型的姿態(tài)角度和s4中計(jì)算出來的人臉表情變形與融合變形幅度，選擇融合變形集合中最貼合的融合變形組合，將標(biāo)準(zhǔn)人臉融合變形后的效果實(shí)時(shí)渲染到虛擬的人臉模型中，通過疊加融合變形，實(shí)現(xiàn)虛擬人臉模型及卡通人模型與人臉的同步。

另外，在步驟s5中，還包括通過微調(diào)融合變形方法對(duì)標(biāo)準(zhǔn)人臉模型進(jìn)行調(diào)整，具體為：虛擬人臉模型接收攝像機(jī)向著對(duì)應(yīng)的2d人臉關(guān)鍵點(diǎn)發(fā)射出的射線，如果模型沒有接收到射線，則說明模型的大小不及真實(shí)的人臉大小，則將模型對(duì)應(yīng)的變換參數(shù)調(diào)大；如果射線穿過了人臉模型，則說明當(dāng)前模型大小大于真實(shí)的人臉大小，則將對(duì)應(yīng)的模型參數(shù)調(diào)小，按照上述規(guī)則迭代計(jì)算，最終將人臉模型逼近得到最接近真實(shí)的人臉形狀和表情。

本發(fā)明的有益效果是：該種移動(dòng)端2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法，對(duì)比現(xiàn)有的相關(guān)發(fā)明和算法，本發(fā)明不需對(duì)特定用戶進(jìn)行特殊的預(yù)處理或者進(jìn)行學(xué)習(xí)過程，亦不需要進(jìn)行3d關(guān)鍵點(diǎn)的坐標(biāo)回歸運(yùn)算，而是通過攝像機(jī)發(fā)射射線的方式逐漸逼近各個(gè)3d關(guān)鍵點(diǎn)最終將2d的人臉形狀與表情轉(zhuǎn)移到3d模型上。本發(fā)明提供的方法計(jì)算簡(jiǎn)單，高效快速，能夠在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行，重建出的3d人臉模型具有較高的保真度。

附圖說明

圖1是本發(fā)明實(shí)施例移動(dòng)端2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法的流程示意圖；

圖2是43種變形集合的示意圖，其中的符號(hào)分別表示：1：左頭輪廓外擴(kuò)、2：左頭輪廓內(nèi)縮、3：左臉側(cè)外擴(kuò)、4：左臉側(cè)內(nèi)縮、5：左腮幫外擴(kuò)、6：左腮幫內(nèi)縮、7：右頭輪廓外擴(kuò)、8：右頭輪廓內(nèi)縮、9：右臉側(cè)外擴(kuò)、10：右臉側(cè)內(nèi)縮、11：右腮幫外擴(kuò)、12：右腮幫內(nèi)縮、13：下巴下移、14：下巴上移、15；張嘴、16：左咧嘴、17：左嘟嘴、18：右咧嘴、19：右嘟嘴、20：嘴整體下移、21：嘴整體上移、22：左下眼眶下移、23：左下眼眶上移、24：右下眼眶下移、25：右下眼眶上移、26：左閉眼、27：右閉眼、28：左眼整體左移、29：左眼整體右移、30：左眼整體上移、31：左眼整體下移、32：右眼整體右移、33：右眼整體左移、34：右眼整體上移、35：右眼整體下移、36：左側(cè)眉毛內(nèi)側(cè)上揚(yáng)、37：左側(cè)眉毛內(nèi)側(cè)下壓、38：左側(cè)眉毛外側(cè)上揚(yáng)、39：右側(cè)眉毛內(nèi)側(cè)上揚(yáng)、40：右側(cè)眉毛內(nèi)側(cè)下壓、41：右側(cè)眉毛內(nèi)側(cè)下壓、42：右側(cè)眉毛外側(cè)上揚(yáng)、43：右側(cè)眉毛外側(cè)下壓；

圖3是虛擬人臉模型轉(zhuǎn)到對(duì)應(yīng)的轉(zhuǎn)向角度示意圖；

圖4是模型中人臉表情幅度融合變形示意圖；

圖5是設(shè)備檢測(cè)人臉關(guān)鍵點(diǎn)與3d人臉模型同步示意圖；

圖6是模型增加對(duì)應(yīng)人臉關(guān)鍵點(diǎn)示意圖；

圖7是ar遮擋效果產(chǎn)生視覺誤差示意圖；

圖8是攝像頭向模型及幕布發(fā)出射線示意圖；

圖9是攝像頭射線讓模型和幕布人臉關(guān)鍵點(diǎn)吻合示意圖；

圖10是實(shí)例中ar同步效果。

具體實(shí)施方式

下面結(jié)合附圖詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。

實(shí)施例

本發(fā)明的目的是提供一種針對(duì)移動(dòng)設(shè)備的2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法，同時(shí)本發(fā)明還提供了一種人臉模型融合變換的定義方法。本發(fā)明可以應(yīng)用到兩種工作模式中：虛擬現(xiàn)實(shí)模式和增強(qiáng)現(xiàn)實(shí)模式。

對(duì)于虛擬現(xiàn)實(shí)(vr)模式，指的是利用移動(dòng)設(shè)備的攝像頭獲取人臉畫面，并利用人臉跟蹤器實(shí)時(shí)從畫面中捕捉人臉關(guān)鍵點(diǎn)，再利用人臉關(guān)鍵點(diǎn)計(jì)算人臉表情以及五官的運(yùn)動(dòng)幅度來控制虛擬人臉模型的相關(guān)運(yùn)動(dòng)。

以本發(fā)明為例，一種移動(dòng)端2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法，利用移動(dòng)設(shè)備的攝像機(jī)實(shí)時(shí)獲取2d的人臉關(guān)鍵點(diǎn)坐標(biāo)，再將2d坐標(biāo)轉(zhuǎn)換為3d的對(duì)應(yīng)關(guān)鍵點(diǎn)，并根據(jù)這些對(duì)應(yīng)關(guān)鍵點(diǎn)計(jì)算得到3d人臉模型的融合變形參數(shù)，用于變換標(biāo)準(zhǔn)人臉模型的姿態(tài)、形狀以及表情。

實(shí)現(xiàn)步驟包括：a1、首先通過移動(dòng)設(shè)備的攝像頭獲取得到連續(xù)人臉畫面，對(duì)每一幀的人臉圖像進(jìn)行人臉關(guān)鍵點(diǎn)跟蹤檢測(cè)，實(shí)時(shí)得到每一幀的人臉關(guān)鍵點(diǎn)。根據(jù)2d人臉關(guān)鍵點(diǎn)來估算虛擬人臉模型的姿態(tài)角度，用歐拉角來表示xyz三個(gè)軸上的人臉轉(zhuǎn)動(dòng)的角度，再根據(jù)該估算的角度來把虛擬人臉模型轉(zhuǎn)到對(duì)應(yīng)的轉(zhuǎn)向角度，角度旋轉(zhuǎn)示意圖如圖3所示。

a2、然后根據(jù)人臉關(guān)鍵點(diǎn)來計(jì)算出人臉表情與融合變形幅度。融合變形是制作面部表情動(dòng)畫的有效工具，它能通過使用一系列的目標(biāo)形狀物體使基礎(chǔ)物體得到非常平順、高精度的變形效果。通過多組融合變形的組合可以實(shí)現(xiàn)各項(xiàng)單獨(dú)變形的疊加效果。

融合變形中要用到表情數(shù)據(jù)，因此首先對(duì)所要用到的表情數(shù)據(jù)說明如下。表情數(shù)據(jù)包括表情距離、初始值、基準(zhǔn)值、最大值、最小值及當(dāng)前值等。表情距離是人臉存在表情時(shí)相應(yīng)關(guān)鍵點(diǎn)之間的距離，一般以像素值來表示，例如張嘴時(shí)上下嘴唇之間的距離，即在圖像上張嘴時(shí)上下嘴唇之間的像素值。實(shí)際的圖像識(shí)別技術(shù)中，不同圖像上的表情距離是不一致的，會(huì)受到各種因素影響，例如距離鏡頭遠(yuǎn)近、體位變化等，因此實(shí)際應(yīng)用中需要對(duì)其進(jìn)行歸一化。在我們的應(yīng)用中，特定人臉相對(duì)于人臉上特定器官的距離是一定的，因此選擇特定器官作為歸一化的依據(jù)，將其他表情距離轉(zhuǎn)換為與特定器官距離的比值，稱為表情比值。在人臉上，人眼往往是視覺的重心，因此在一個(gè)優(yōu)選實(shí)施例中，我們選擇兩眼間的距離作為歸一化的依據(jù)，將其他表情距離轉(zhuǎn)換為與兩眼間距的表情比值。所謂兩眼間距是指兩眼中心點(diǎn)之間的距離。在無任何表情下的表情距離轉(zhuǎn)換而來的表情比值稱為基準(zhǔn)值，例如在一個(gè)實(shí)施例中，對(duì)于嘴部表情而言，采用無任何表情下的嘴部表情距離(比如張嘴時(shí)上下嘴唇的距離)和兩眼間距的比值作為基準(zhǔn)值。有表情時(shí)根據(jù)表情距離可以得到表情比值的最大值、最小值及當(dāng)前值，用來分析計(jì)算能代表當(dāng)前表情的數(shù)據(jù)?；鶞?zhǔn)值還要通過初始值和當(dāng)前人臉數(shù)據(jù)來微調(diào)，其中初始值是符合大眾的預(yù)估的基準(zhǔn)數(shù)據(jù)，是根據(jù)大量的不做任何表情人臉數(shù)據(jù)收集整理得到。微調(diào)的過程是在啟動(dòng)計(jì)算一段時(shí)間內(nèi)表情距離值離初始值最接近的一個(gè)數(shù)值作為當(dāng)前人臉的一個(gè)基準(zhǔn)值。為了減小人臉關(guān)鍵點(diǎn)浮動(dòng)帶來的計(jì)算誤差，基準(zhǔn)值、最大值、最小值都取前幾幀數(shù)據(jù)的幾何平均。

在一個(gè)具體實(shí)施例中，融合變形包括以下步驟：

a)把各個(gè)表情分解為表情距離dist，例如張嘴時(shí)上下嘴唇之間關(guān)鍵點(diǎn)的距離作為張嘴表情的表情依據(jù)；

b)在側(cè)臉的情況下(假設(shè)側(cè)臉角度angle)，需要把側(cè)臉表情距離dist′回歸到正臉距離以此來消除側(cè)臉對(duì)融合變形的影響；

c)由于人臉兩眼間距離在感覺上是基本不變的，因此我們把兩眼間距(即人眼中心連線的歐式距離，單位為像素)作為一個(gè)比例基礎(chǔ)，把距離值dist轉(zhuǎn)換成和兩眼間距(eye_dist)的比值，用該方法來消除不同尺度大小時(shí)表情距離的影響；

d)確定factor的最大值max_factor，最小值min_factor以及基準(zhǔn)值base_factor，還有當(dāng)前數(shù)據(jù)cur_factor。最大值是指表情做到最夸張時(shí)的數(shù)據(jù)，如圖4所示，張嘴時(shí)嘴巴張開的距離是max_factor，閉嘴時(shí)距離是min_factor；

e)根據(jù)每個(gè)人表情數(shù)據(jù)做閾值調(diào)整，每個(gè)人能做到的表情閾值不同，即max_factor和min_factor要根據(jù)當(dāng)前人臉的表情變化實(shí)時(shí)更新；

f)最終表情數(shù)據(jù)正向變化反向變化比如抬眉皺眉表情，抬眉眉毛到兩眼直線的距離是變大設(shè)定為正向變化，皺眉眉毛到兩眼直線的距離變小設(shè)定為反向變化。

a3、進(jìn)一步，設(shè)置一個(gè)標(biāo)準(zhǔn)人臉模型并設(shè)計(jì)臉部形狀的43種融合變形集合，其中劃分為形狀變形28種，表情變形15種。具體的變形設(shè)計(jì)如圖2所示。

a4、然后，根據(jù)人臉關(guān)鍵點(diǎn)的幅度控制融合變形，將標(biāo)準(zhǔn)人臉融合變形后的效果實(shí)時(shí)地渲染展示到虛擬的人臉模型中。虛擬人臉模型按照人臉跟蹤器獲取的姿態(tài)估計(jì)(步驟a1)、人臉關(guān)鍵點(diǎn)獲取的表情及幅度(步驟a2)，選擇43種融合變形中最貼合的融合變形組合(步驟a3)。通過疊加融合變形，實(shí)現(xiàn)虛擬模型及卡通人模型與人臉的同步。如圖5所示，左圖為從移動(dòng)設(shè)備獲取的人臉圖像以及檢測(cè)到的人臉關(guān)鍵點(diǎn)，中圖為根據(jù)人臉關(guān)鍵點(diǎn)表情及幅度變換得到的標(biāo)準(zhǔn)人臉3d模型。

在虛擬現(xiàn)實(shí)基礎(chǔ)上，可以進(jìn)一步實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)(ar)模式。增強(qiáng)現(xiàn)實(shí)模式指的是在移動(dòng)設(shè)備上為提高人臉模型與畫面中真實(shí)人臉重疊的準(zhǔn)確性所做的進(jìn)一步微調(diào)，使得人臉模型能夠隨著人臉的運(yùn)動(dòng)作出相對(duì)應(yīng)的精確運(yùn)動(dòng)，實(shí)現(xiàn)人臉模型與現(xiàn)實(shí)人臉的眼睛、鼻子以及嘴部完全重合，以達(dá)到人臉模型對(duì)畫面中人臉進(jìn)行遮蓋而產(chǎn)生視覺誤差，讓用戶出現(xiàn)人臉模型是戴在人臉上的認(rèn)知效果，提高移動(dòng)程序的娛樂性與真實(shí)性。ar模式在實(shí)現(xiàn)上，可以理解為是在vr模式的實(shí)現(xiàn)步驟基礎(chǔ)上，增加對(duì)人臉貼和的進(jìn)一步約束。我們重點(diǎn)以人臉貼合的實(shí)現(xiàn)方法作為具體實(shí)施例，對(duì)其作進(jìn)一步介紹。

對(duì)于增強(qiáng)現(xiàn)實(shí)模式的實(shí)現(xiàn)，可以采用以下步驟：b1、標(biāo)注模型關(guān)鍵點(diǎn)：設(shè)定一個(gè)標(biāo)準(zhǔn)人臉模型，在模型上標(biāo)定與真實(shí)人臉檢測(cè)關(guān)鍵點(diǎn)一一對(duì)應(yīng)的模型點(diǎn)，如圖6所示，左邊為標(biāo)準(zhǔn)人臉模型，右邊為真實(shí)人臉關(guān)鍵點(diǎn)。其中，左圖的a點(diǎn)與右圖a點(diǎn)為對(duì)應(yīng)的鼻尖關(guān)鍵點(diǎn)。

b2、調(diào)整模型位置及尺寸：在三維空間里，如圖7所示，攝像頭獲取真實(shí)人臉檢測(cè)圖像作為最后面的幕布，將三維模型放在三維空間里，放置攝像頭視角對(duì)著人臉的位置(如圖7所示)。通過控制三維模型的大小、前后位置，我們讓模型遮擋住人臉部分或全部畫面，實(shí)現(xiàn)人臉帶上頭盔、面具的視覺誤差。

b3、調(diào)整模型角度及初步融合變形：參考vr模式的實(shí)現(xiàn)步驟a1、a2，初步設(shè)置三維模型的角度及融合變形，實(shí)現(xiàn)姿態(tài)角度及初步人臉表情的同步。

b4、微調(diào)融合變形實(shí)現(xiàn)進(jìn)一步人臉貼和：通過虛擬攝像機(jī)向真實(shí)人臉圖像上的每一個(gè)關(guān)鍵點(diǎn)發(fā)射虛擬射線，圖7展示了a、b、c三個(gè)點(diǎn)作為示例，其中a點(diǎn)為內(nèi)部表情控制點(diǎn)，b，c為邊緣輪廓點(diǎn)。a、b、c三點(diǎn)在標(biāo)準(zhǔn)人臉模型上對(duì)應(yīng)點(diǎn)分別為a、b、c，由于標(biāo)準(zhǔn)人臉與真實(shí)人臉還存在著形狀與表情的誤差，因此射線在人臉模型上的交點(diǎn)或垂足(不相交的情況)分別用a’、b’以及c’來表示。從圖中我們可以看到對(duì)應(yīng)點(diǎn)與交點(diǎn)之間都存在著一定的距離(紅線)，如何最小化該距離是我們這個(gè)發(fā)明算法的優(yōu)化目標(biāo)，優(yōu)化算法具體步驟為：

a)首先通過對(duì)邊緣點(diǎn)進(jìn)行優(yōu)化，判斷射線與模型的交點(diǎn)與人臉模型的關(guān)系，以此來調(diào)整人臉模型在虛擬空間中的位置來確保模型的變換能夠剛好與射線相吻合，從而實(shí)現(xiàn)利用模型來遮擋真實(shí)人臉的目的。當(dāng)交點(diǎn)在穿過人臉模型時(shí)，說明當(dāng)前人臉模型較大，則應(yīng)當(dāng)進(jìn)行遠(yuǎn)離虛擬攝像機(jī)的調(diào)整；當(dāng)射線與人臉模型沒有交點(diǎn)時(shí)，說明當(dāng)前人臉模型較小，應(yīng)當(dāng)進(jìn)行靠近虛擬攝像機(jī)的調(diào)整。如圖8所示，當(dāng)虛擬攝像機(jī)向著人臉邊緣關(guān)鍵點(diǎn)發(fā)出射線時(shí)，離攝像機(jī)太近的人臉模型會(huì)被射線穿過，太遠(yuǎn)的模型則不會(huì)與射線相交，只有距離合適的人臉模型才會(huì)與射線剛好吻合；

b)對(duì)其余人臉關(guān)鍵點(diǎn)發(fā)出射線，判斷其人臉模型上的對(duì)應(yīng)關(guān)鍵點(diǎn)的位置，并調(diào)整對(duì)應(yīng)關(guān)鍵點(diǎn)使得其盡量地逼近射線與模型的交點(diǎn)。例如一個(gè)標(biāo)準(zhǔn)的人臉模型上嘴角的關(guān)鍵點(diǎn)，接收虛擬攝像機(jī)向著對(duì)應(yīng)的2d人臉嘴角關(guān)鍵點(diǎn)發(fā)射出的射線，如果模型上的交點(diǎn)在嘴角外側(cè)，則說明模型上的嘴部大小不及真實(shí)的人臉嘴部大小，則將模型對(duì)應(yīng)的變換參數(shù)調(diào)大；如果射線與模型的交點(diǎn)在嘴角內(nèi)側(cè)，則說明當(dāng)前模型嘴部大小大于真實(shí)的人臉嘴部大小，則將對(duì)應(yīng)的模型參數(shù)調(diào)小；按照上述規(guī)則迭代計(jì)算，最終將人臉模型微調(diào)逼近得到最接近真實(shí)的融合變形及幅度，最終使得所有關(guān)鍵點(diǎn)的射線均與人臉模型上的對(duì)應(yīng)關(guān)鍵點(diǎn)一一對(duì)應(yīng)，如圖9所示。

和現(xiàn)有的方法相比，本發(fā)明不用事先為人臉模型設(shè)置骨骼來控制人臉變形，也不用采取3d人臉特征點(diǎn)跟蹤檢測(cè)的方法來獲得關(guān)鍵點(diǎn)的位置。實(shí)施例采用2d的人臉關(guān)鍵點(diǎn)映射的方法，對(duì)人臉模型進(jìn)行融合變形，通過逼近的方式直接獲得變換系數(shù)，比現(xiàn)有方法更加簡(jiǎn)單直接，運(yùn)行速度極快，可以輕松地應(yīng)用到移動(dòng)設(shè)備上。最終ar模式效果圖如圖10所示，從圖10中我們可以看到人臉模型能夠和真實(shí)人臉完全重合，取得較好的娛樂效果。

綜合而言，本發(fā)明提供了一種適用于移動(dòng)端的2d人臉關(guān)鍵點(diǎn)快速轉(zhuǎn)換為3d融合變形的人臉建模方法，運(yùn)算量小，可以輕松的運(yùn)用到移動(dòng)設(shè)備上。本發(fā)明的方法利用移動(dòng)設(shè)備的攝像機(jī)實(shí)時(shí)獲取2d的人臉關(guān)鍵點(diǎn)坐標(biāo)，再將2d坐標(biāo)轉(zhuǎn)換為3d的對(duì)應(yīng)關(guān)鍵點(diǎn)，并根據(jù)這些對(duì)應(yīng)關(guān)鍵點(diǎn)計(jì)算得到3d人臉模型的融合變形參數(shù)，用于變換標(biāo)準(zhǔn)人臉模型的姿態(tài)、形狀以及表情。具體的實(shí)現(xiàn)流程如圖1所示。根據(jù)流程圖1，本發(fā)明的方法具體包括以下步驟，

s1、設(shè)置一個(gè)標(biāo)準(zhǔn)人臉模型并設(shè)計(jì)臉部形狀的變形集合，變形集合通過由人臉關(guān)鍵點(diǎn)定位算法獲取得到的2d人臉關(guān)鍵點(diǎn)控制。

設(shè)置一個(gè)標(biāo)準(zhǔn)人臉模型并設(shè)計(jì)臉部形狀的43種變形集合，其中劃分為形狀變形28種，表情變形15種，設(shè)置每種變形的權(quán)值。其中變形的權(quán)值指的是該變形所影響的面部肌肉的范圍的強(qiáng)度。具體設(shè)計(jì)如圖2所示：

其中上述43種人臉形變或表情主要集中表現(xiàn)在人臉面部特征的關(guān)鍵部位，例如眼睛、嘴唇、眉毛、眼瞼、前額、蘋果肌、下巴等。再通過這些部位的變形反映出人臉形狀的變化以及憤怒、高興、恐懼、悲傷、驚異等多種表情的變化。

s2、讀入當(dāng)前幀圖像，利用移動(dòng)設(shè)備的攝像機(jī)實(shí)時(shí)獲取2d的人臉關(guān)鍵點(diǎn)坐標(biāo)，把當(dāng)前幀圖像中2d人臉輪廓點(diǎn)投射到3d空間中，構(gòu)建出真實(shí)的3d人臉輪廓，對(duì)人臉模型定位、人臉表情定位，根據(jù)2d關(guān)鍵點(diǎn)估算人臉姿態(tài)參數(shù)，按照姿態(tài)參數(shù)旋轉(zhuǎn)標(biāo)準(zhǔn)人臉模型。

步驟s2中，人臉模型的定位是通過人臉輪廓上鼻尖的點(diǎn)來確定x、y的位置，深度z的定位是根據(jù)兩眼的基準(zhǔn)線和一個(gè)初始兩眼的基準(zhǔn)比例來確定，其中初始基準(zhǔn)比例的確定是通過人臉初始幀中獲取到的2d關(guān)鍵點(diǎn)坐標(biāo)比例計(jì)算得到。

步驟s2中，根據(jù)2d關(guān)鍵點(diǎn)估算人臉姿態(tài)參數(shù)，按照姿態(tài)參數(shù)旋轉(zhuǎn)標(biāo)準(zhǔn)人臉模型，具體為：根據(jù)2d人臉關(guān)鍵點(diǎn)來估算人臉模型的姿態(tài)角度，用歐拉角來表示xyz三個(gè)軸上的人臉轉(zhuǎn)動(dòng)的角度，再根據(jù)該估算的角度來把標(biāo)準(zhǔn)人臉模型轉(zhuǎn)到對(duì)應(yīng)的轉(zhuǎn)向角度。

人臉表情的定位點(diǎn)每個(gè)人會(huì)有些差別，設(shè)計(jì)2d對(duì)應(yīng)定位關(guān)鍵點(diǎn)時(shí)候就只能選取最為穩(wěn)定的能夠減少個(gè)體差異的點(diǎn)。個(gè)體之間差別很大的表情只能通過對(duì)表情相關(guān)的關(guān)鍵點(diǎn)分析處理。表情相關(guān)關(guān)鍵點(diǎn)之間的相對(duì)位置和兩眼基準(zhǔn)線的一個(gè)比例關(guān)系能確定一個(gè)表情。例如用張嘴這個(gè)表情來說明，人張嘴的大小程度由嘴唇上的2d關(guān)鍵點(diǎn)之間的距離確定，由于每個(gè)人嘴的大小不一，則每個(gè)人的絕對(duì)張嘴距離是不一致的，但是這個(gè)距離和每個(gè)人兩眼之間距離的比則是比較穩(wěn)定的，因此實(shí)施例采用這一比例關(guān)系來確定3d模型的張嘴融合變換系數(shù)。

s3、通過融合變形方法對(duì)標(biāo)準(zhǔn)人臉模型進(jìn)行調(diào)整，標(biāo)準(zhǔn)人臉模型預(yù)先做好所有需要的融合變形程度，即是變形的最大最小程度；模型變形過程中通過射線來定位是否到達(dá)符合人臉形狀。如圖3所示，背景圖像中展示的為2d人臉圖像，其中藍(lán)色的坐標(biāo)點(diǎn)為檢測(cè)出的人臉關(guān)鍵點(diǎn)，黃色數(shù)字為關(guān)鍵點(diǎn)編號(hào)標(biāo)注。紅色的人臉模型為標(biāo)準(zhǔn)人臉模型，三根紅色的直線為射向關(guān)鍵點(diǎn)的虛擬射線，直線交匯處為虛擬攝像頭位置。

步驟s3中，通過融合變形方法對(duì)標(biāo)準(zhǔn)人臉模型進(jìn)行調(diào)整，具體為：一個(gè)標(biāo)準(zhǔn)的人臉模型，接收虛擬攝像機(jī)向著對(duì)應(yīng)的2d人臉關(guān)鍵點(diǎn)發(fā)射出的射線，如果模型沒有接收到射線，則說明模型的大小不及真實(shí)的人臉大小，則將模型對(duì)應(yīng)的變換參數(shù)調(diào)大；如果射線穿過了人臉模型，則說明當(dāng)前模型大小大于真實(shí)的人臉大小，則將對(duì)應(yīng)的模型參數(shù)調(diào)小；按照上述規(guī)則迭代計(jì)算，最終將人臉模型逼近得到最接近真實(shí)的人臉形狀和表情。

和現(xiàn)有的方法相比，實(shí)施例不用事先為人臉模型設(shè)置骨骼等來控制人臉變形，也不用采取3d人臉特征點(diǎn)的計(jì)算來獲得關(guān)鍵點(diǎn)的位置。實(shí)施例采用2d的人臉關(guān)鍵點(diǎn)映射的方法，對(duì)人臉模型進(jìn)行融合變形，通過逼近的方式直接獲得變換系數(shù)，比現(xiàn)有方法更加簡(jiǎn)單直接，運(yùn)行速度極快，可以輕松地應(yīng)用到移動(dòng)設(shè)備上。