本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種虛擬化妝的方法和系統(tǒng)。

背景技術(shù)：

化妝是生活中的一個重要部分。對于消費者而言，如何在眾多產(chǎn)品中有效地選擇適合自己的化妝品成為最為關(guān)注的問題，傳統(tǒng)上消費者會選擇到實體店鋪進行試妝，通過反復(fù)試妝以選擇自己滿意的產(chǎn)品，為方便用戶進行化妝，出現(xiàn)了虛擬化妝這一技術(shù)。

目前虛擬化妝技術(shù)主要是對獲取的靜態(tài)圖像進行分析，從靜態(tài)圖像中提取人臉特征，并將化妝特征與人臉特征進行組合，從而合成妝容，為用戶提供化妝的虛擬效果。

但是，傳統(tǒng)的虛擬化妝只能實現(xiàn)靜態(tài)圖像中的人臉特征處理，使虛擬化妝的整體妝容生硬，效果較差。

技術(shù)實現(xiàn)要素：

基于此，有必要針對傳統(tǒng)的虛擬化妝的整體妝容生硬，效果較差的問題，提供一種虛擬化妝的方法和系統(tǒng)。

一種虛擬化妝的方法，包括以下步驟：

獲取化妝對象的實時圖像；

對實時圖像中的人臉特征進行識別，獲取實時圖像中的人臉特征區(qū)域；

獲取實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)，根據(jù)色彩數(shù)據(jù)獲取其他區(qū)域的色差范圍；

接收著色指令，根據(jù)著色指令獲取初始著色值，根據(jù)初始著色值和色差范圍計算目標(biāo)著色值；

利用目標(biāo)著色值對實時圖像中的人臉特征區(qū)域進行渲染，得到化妝對象的虛擬妝容圖像。

一種虛擬化妝的系統(tǒng)，包括：

圖像獲取單元，用于獲取化妝對象的實時圖像；

人臉識別單元，用于對實時圖像中的人臉特征進行識別，獲取人臉特征區(qū)域；

色差獲取單元，用于獲取實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)，根據(jù)色彩數(shù)據(jù)獲取其他區(qū)域的色差范圍；

著色處理單元，用于接收著色指令，根據(jù)著色指令獲取初始著色值，根據(jù)初始著色值和色差范圍計算目標(biāo)著色值；

圖像渲染單元，用于利用目標(biāo)著色值對實時圖像中的人臉特征區(qū)域進行渲染，得到化妝對象的虛擬妝容圖像。

根據(jù)上述本發(fā)明的虛擬化妝的方法和系統(tǒng)，其是先獲取化妝對象的實時圖像，對實時圖像中的人臉特征進行識別，確定實時圖像中的人臉特征區(qū)域，再通過實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)獲取色差范圍，對化妝的著色值進行調(diào)整，利用調(diào)整后的著色值對人臉特征區(qū)域進行渲染，得到化妝對象的虛擬妝容圖像。在本發(fā)明中，不僅僅對實時圖像中的人臉特征區(qū)域進行識別和渲染，同時還考慮了實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)對應(yīng)的色差范圍，最終的渲染結(jié)果可以適應(yīng)化妝對象所處的環(huán)境光照等因素的影響，使得生成的虛擬妝容圖像更加真實自然，而且渲染是針對化妝對象的實時圖像進行的，可以多角度地展示化妝對象的面部妝容，提高虛擬化妝的顯示效果。

附圖說明

圖1是其中一個實施例中虛擬化妝的方法的流程示意圖；

圖2是其中一個實施例中虛擬化妝的系統(tǒng)的結(jié)構(gòu)示意圖；

圖3是其中一個實施例中虛擬化妝的系統(tǒng)的結(jié)構(gòu)示意圖；

圖4是其中一個實施例中虛擬化妝的系統(tǒng)的結(jié)構(gòu)示意圖；

圖5是其中一個實施例中虛擬化妝的系統(tǒng)的結(jié)構(gòu)示意圖；

圖6是其中一個實施例中人臉特征點的分布示意圖；

圖7是其中一個實施例中封閉曲線的掃描示意圖。

具體實施方式

為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步的詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施方式僅僅用以解釋本發(fā)明，并不限定本發(fā)明的保護范圍。

參見圖1所示，為本發(fā)明一個實施例的虛擬化妝的方法的流程示意圖。該實施例中的虛擬化妝的方法包括以下步驟：

步驟s101：獲取化妝對象的實時圖像；

步驟s102：對實時圖像中的人臉特征進行識別，獲取實時圖像中的人臉特征區(qū)域；

步驟s103：獲取實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)，根據(jù)色彩數(shù)據(jù)獲取其他區(qū)域的色差范圍；

在本步驟中，實時圖像中除人臉特征區(qū)域外的其他區(qū)域?qū)儆诨瘖y對象所處的環(huán)境，其他區(qū)域的色差范圍反映了環(huán)境中光照等因素對人臉特征區(qū)域的影響；

步驟s104：接收著色指令，根據(jù)著色指令獲取初始著色值，根據(jù)初始著色值和色差范圍計算目標(biāo)著色值；

步驟s105：利用目標(biāo)著色值對實時圖像中的人臉特征區(qū)域進行渲染，得到化妝對象的虛擬妝容圖像。

在本實施例中，先獲取化妝對象的實時圖像，對實時圖像中的人臉特征進行識別，確定實時圖像中的人臉特征區(qū)域，再通過實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)獲取色差范圍，對化妝的著色值進行調(diào)整，利用調(diào)整后的著色值對人臉特征區(qū)域進行渲染，得到化妝對象的虛擬妝容圖像。在本發(fā)明中，不僅僅對實時圖像中的人臉特征區(qū)域進行識別和渲染，同時還考慮了實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)對應(yīng)的色差范圍，最終的渲染結(jié)果可以適應(yīng)化妝對象所處的環(huán)境光照等因素的影響，使得生成的虛擬妝容圖像更加真實自然，而且渲染是針對化妝對象的實時圖像進行的，可以多角度地展示化妝對象的面部妝容，提高虛擬化妝的顯示效果。

可選的，對實時圖像中的人臉特征進行識別，可以使用dlib人臉檢測庫，dlib人臉檢測庫檢測效率良好，能夠有效獲取人臉特征點。

可選的，根據(jù)著色指令獲取初始著色值c0后，可以根據(jù)預(yù)設(shè)的調(diào)節(jié)范圍區(qū)間a和其他區(qū)域的色差范圍區(qū)間b對初始著色值c0進行調(diào)節(jié)，得到目標(biāo)著色值c，目標(biāo)著色值c、初始著色值c0、調(diào)節(jié)范圍區(qū)間a和色差范圍區(qū)間b滿意以下關(guān)系：c＝(1-t)*c0+t*k，t∈a，k∈b

在其中一個實施例中，獲取實時圖像中的人臉特征區(qū)域的步驟包括以下步驟：

獲取實時圖像中的人臉特征部位的點集，對人臉特征部位的點集進行擬合，獲得擬合曲線，根據(jù)擬合曲線確定人臉特征區(qū)域。

在本實施例中，人臉特征有多種，每一種都有特定的形狀和位置，可以利用多個特征點可以表征人臉特征，這些特征點組成人臉特征部位的點集；人臉特征部位的點集中的特征點的數(shù)量有限，屬于離散點，人臉特征部位一般為封閉的區(qū)域，需要對點集進行擬合擴展，得到擬合曲線，利用擬合曲線便于確定封閉的人臉特征區(qū)域。

在其中一個實施例中，人臉特征部位的點集包括左眉特征點集、右眉特征點集、左眼特征點集、右眼特征點集、鼻梁特征點集、鼻子特征點集、上嘴唇特征點集、下嘴唇特征點集和臉部輪廓特征點集；

對人臉特征部位的點集進行擬合，獲得擬合曲線的步驟包括以下步驟：

將左眉特征點集、右眉特征點集、左眼特征點集、右眼特征點集、鼻梁特征點集、鼻子特征點集、上嘴唇特征點集、下嘴唇特征點集和臉部輪廓特征點集分別擬合成對應(yīng)的封閉曲線。

在本實施例中，人臉特征部位包括左眉、右眉、左眼、右眼、鼻梁、鼻子、上嘴唇、下嘴唇和臉部輪廓，這些特征部位各不相同，將人臉特征分割為多個不同部位，獲取對應(yīng)的特征點集，將其分別擬合成不同的封閉曲線，通過封閉曲線可以得到不同的人臉特征區(qū)域，便于分別進行渲染，使得渲染操作更有針對性，從而提高渲染效果。

可選的，臉部輪廓特征點集對應(yīng)的人臉特征區(qū)域不包括左眉、右眉、左眼、右眼、鼻梁、鼻子、上嘴唇、下嘴唇等特征點集對應(yīng)的人臉特征區(qū)域，避免在對臉部輪廓特征區(qū)域進行渲染的同時對左眉、右眉、左眼、右眼、鼻梁、鼻子、上嘴唇、下嘴唇等特征區(qū)域進行渲染，從而影響整體渲染效果。

可選的，利用目標(biāo)著色值對實時圖像中的人臉特征區(qū)域進行渲染的步驟之前還包括以下步驟：根據(jù)著色指令確定待渲染的人臉特征區(qū)域。由于特征區(qū)域有多個，在渲染時可以從中選擇一個或多個人臉特征區(qū)域進行渲染。

在其中一個實施例中，將左眉特征點集、右眉特征點集、左眼特征點集、右眼特征點集、鼻梁特征點集、鼻子特征點集、上嘴唇特征點集、下嘴唇特征點集和臉部輪廓特征點集分別擬合成對應(yīng)的封閉曲線的步驟包括以下步驟：

對任意一個特征點集中的特征點排序，在排序后的各特征點中選擇任意一個特征點為目標(biāo)特征點，確定目標(biāo)特征點與上一特征點的連線的第一中點，以及目標(biāo)特征點與下一特征點的連線的第二中點，將第一中點和第二中點的連線平移到目標(biāo)特征點上，其中，平移后的連線的中點位于目標(biāo)特征點的位置；

將平移后的第一中點作為目標(biāo)特征點與上一特征點的控制點，根據(jù)目標(biāo)特征點、上一特征點和控制點繪制二次貝塞爾曲線；其中，排序最前的特征點的上一特征點為排序最后的特征點；

與當(dāng)前特征點集對應(yīng)的封閉曲線包括所有排序相鄰的特征點之間的二次貝塞爾曲線。

在本實施例中，二次貝塞爾曲線包括三個節(jié)點，三個節(jié)點為曲線兩端的端點和中間的控制點，特征點集中排序相鄰的兩個特征點作為二次貝塞爾曲線兩端的端點，中間的控制點通過特征點連線的中點來確定，根據(jù)目標(biāo)特征點、上一特征點和控制點就可以繪制二次貝塞爾曲線；所有排序相鄰的特征點之間的二次貝塞爾曲線構(gòu)成封閉曲線，圍成一個人臉特征區(qū)域。二次貝塞爾曲線是一條圓滑的弧線，利用它構(gòu)成封閉曲線，可以使封閉曲線圍成的人臉特征區(qū)域邊緣顯得自然平滑，進一步提升渲染效果。

可選的，當(dāng)確定目標(biāo)特征點、上一特征點和控制點后，可以根據(jù)以下公式來繪制二次貝塞爾曲線：

b(t)＝(1-t)²p0+2t(l-t)p1+t²p2，t∈[0，1]

在其中一個實施例中，將左眉特征點集、右眉特征點集、左眼特征點集、右眼特征點集、鼻梁特征點集、鼻子特征點集、上嘴唇特征點集、下嘴唇特征點集和臉部輪廓特征點集分別擬合成對應(yīng)的封閉曲線的步驟包括以下步驟：

對任意一個特征點集中的特征點排序，在排序后的各特征點中選擇任意一個特征點為目標(biāo)特征點，確定目標(biāo)特征點與上一特征點的連線的第一中點，以及目標(biāo)特征點與下一特征點的連線的第二中點，將第一中點和第二中點的連線平移到目標(biāo)特征點上，其中，平移后的連線的中點位于目標(biāo)特征點的位置；

將平移后的第二中點作為目標(biāo)特征點與下一特征點的控制點，根據(jù)目標(biāo)特征點、下一特征點和控制點繪制二次貝塞爾曲線；其中，排序最后的特征點的下一特征點為排序最前的特征點；

與當(dāng)前特征點集對應(yīng)的封閉曲線包括所有排序相鄰的特征點之間的二次貝塞爾曲線。

在本實施例中，封閉曲線主要是由二次貝塞爾曲線構(gòu)成，二次貝塞爾曲線是由線段與三個節(jié)點組成，三個節(jié)點為兩端的端點和中間的控制點，特征點集中排序相鄰的兩個特征點作為二次貝塞爾曲線兩端的端點，中間的控制點通過特征點連線的中點來確定，根據(jù)目標(biāo)特征點、下一特征點和控制點就可以繪制二次貝塞爾曲線；所有排序相鄰的特征點之間的二次貝塞爾曲線構(gòu)成封閉曲線，圍成一個人臉特征區(qū)域。二次貝塞爾曲線是一條圓滑的弧線，利用它構(gòu)成封閉曲線，可以使封閉曲線圍成的人臉特征區(qū)域邊緣顯得自然平滑，進一步提升渲染效果。

在其中一個實施例中，根據(jù)擬合曲線確定人臉特征區(qū)域的步驟包括以下步驟：

對當(dāng)前特征點集擬合的封閉曲線圍成的區(qū)域進行掃描，獲得掃描線；

獲取當(dāng)前特征點集中各排序相鄰特征點之間的連線，根據(jù)掃描線與各連線的相交狀態(tài)生成活動邊表；其中，活動邊表為與當(dāng)前掃描線相交的連線的集合；

根據(jù)活動邊表中的連線確定與當(dāng)前掃描線相交的二次貝塞爾曲線，根據(jù)當(dāng)前掃描線與該二次貝塞爾曲線的交點在當(dāng)前掃描線上選取掃描線段；

當(dāng)前特征點集所確定的人臉特征區(qū)域包括所有掃描線段。

在本實施例中，對特征點集擬合的封閉曲線圍成的區(qū)域進行掃描，活動邊表確定與掃描線相交的二次貝塞爾曲線，再利用掃描線與二次貝塞爾曲線的交點在掃描線上選取掃描線段，所有的掃描線段特征點集所確定的人臉特征區(qū)域。掃描線段由多個掃描像素點構(gòu)成，通過此種方式，可以準(zhǔn)確獲得人臉特征區(qū)域中的每一個像素點，便于統(tǒng)一對人臉特征區(qū)域進行渲染。

活動邊表實時記錄與當(dāng)前掃描線相交的連線的集合，相比于二次貝塞爾曲線，呈現(xiàn)為直的線段的連線與掃描線的相交狀態(tài)更容易獲取。利用活動邊表可以動態(tài)獲取當(dāng)前掃描線與各連線的相交狀態(tài)。由于掃描線存在步進關(guān)系，在掃描過程中，當(dāng)一條連線出現(xiàn)在活動邊表中，且到某一條掃描線時該連線不再出現(xiàn)，則在后續(xù)掃描時該連線也不會在出現(xiàn)，例如，掃描線1與連線1、2、3相交，掃描線2與連線1、3相交，則掃描線2以后的任意掃描線均不與連線2相交，即把線段2移出活動邊表，如此在生成活動邊表時，無需計算掃描線與已移除的連線的相交狀態(tài)，簡化活動邊表的動態(tài)更新過程，提高處理效率。

連線是各排序相鄰特征點之間的線段，二次貝塞爾曲線的兩端是排序相鄰的特征點，因此連線與二次貝塞爾曲線是一一對應(yīng)的，根據(jù)活動邊表中的連線可以確定與當(dāng)前掃描線相交的二次貝塞爾曲線。根據(jù)當(dāng)前掃描線與該二次貝塞爾曲線的交點在當(dāng)前掃描線上選取掃描線段，由于掃描線經(jīng)過一個封閉區(qū)域一般有兩個交點，掃描線段是以兩個交點為端點的線段。

可選的，當(dāng)活動變表中原有的連線并未移除，且新增兩條有共同端點的連線時，將當(dāng)前掃描線與新增兩條連線對應(yīng)的二次貝塞爾曲線的交點之間的線段作為多余線段，從當(dāng)前掃描線與原有連線的二次貝塞爾曲線的交點之間的掃描線段中剔除多余線段。在人臉特征部位的點集擬合而成的封閉曲線圍成的可能是凹多邊形區(qū)域，此時形成凹口部位中的掃描線不屬于人臉特征區(qū)域，因此可以將其剔除，使人臉特征區(qū)域更加準(zhǔn)確。

在其中一個實施例中，根據(jù)色彩數(shù)據(jù)獲取其他區(qū)域的色差范圍的步驟包括以下步驟：

對色彩數(shù)據(jù)進行傅里葉變換，再對傅里葉變換結(jié)果進行濾波，獲取其他區(qū)域的色差范圍。

在本實施例中，對色彩數(shù)據(jù)進行傅里葉變換和濾波操作，可以將色彩數(shù)據(jù)從空間域轉(zhuǎn)到頻域，從而可以非常便捷地獲取色差范圍。

在其中一個實施例中，根據(jù)色彩數(shù)據(jù)獲取其他區(qū)域的色差范圍的步驟之后還包括以下步驟：

對各特征點集對應(yīng)的人臉特征區(qū)域進行顏色統(tǒng)計，根據(jù)統(tǒng)計結(jié)果確定亮度高于第一預(yù)設(shè)值且對比度低于第二預(yù)設(shè)值的目標(biāo)調(diào)整區(qū)域；

在利用目標(biāo)著色值對實時圖像中的人臉特征區(qū)域進行渲染的步驟之后還包括以下步驟：對目標(biāo)調(diào)整區(qū)域進行色彩均衡操作。

在本實施例中，進行渲染后可以對目標(biāo)調(diào)整區(qū)域進行色彩均衡操作，目標(biāo)調(diào)整區(qū)域是人臉特征區(qū)域中亮度高于第一預(yù)設(shè)值且對比度低于第二預(yù)設(shè)值的區(qū)域，對該區(qū)域進行色彩均衡操作可以改善虛擬妝容圖像中人的面部色彩，加強虛擬妝容的顯示效果。其中第一預(yù)設(shè)值和第二預(yù)設(shè)值可以根據(jù)需要進行修改。

可選的，目標(biāo)調(diào)整區(qū)域可以是臉部輪廓特征點集、鼻梁特征點集、鼻子特征點集各自對應(yīng)的人臉特征區(qū)域，不包括左眉、右眉、左眼、右眼、上嘴唇、下嘴唇等特征點集對應(yīng)的人臉特征區(qū)域。

在其中一個實施例中，虛擬化妝的方法還包括以下步驟：

接收第一修改指令，根據(jù)第一修改指令選擇目標(biāo)特征點集，從第一修改指令中提取矯正參數(shù)，根據(jù)矯正參數(shù)對目標(biāo)特征點集中的特征點進行修正，返回至將目標(biāo)特征點集擬合成封閉曲線的步驟。

在本實施例中，特征點集可以通過第一修改指令進行修正，以適應(yīng)各種不同的場景，如用戶自主修改，或人臉識別錯誤等，加強本方案在實際中的適用性。

在其中一個實施例中，虛擬化妝的方法還包括以下步驟：

接收第二修改指令，根據(jù)第二修改指令選擇目標(biāo)人臉特征區(qū)域，從第二修改指令中提取調(diào)整參數(shù)，根據(jù)調(diào)整參數(shù)對目標(biāo)著色值進行調(diào)整，利用調(diào)整后的目標(biāo)著色值對實時圖像中的目標(biāo)人臉特征區(qū)域進行渲染。

在本實施例中，利用目標(biāo)著色值進行渲染之后，可以通過第二修改指令對目標(biāo)著色值進行調(diào)整，并重新進行渲染，便于化妝對象選擇不同的妝容，而且只需調(diào)整目標(biāo)著色值，加快換妝的過程。

在其中一個實施例中，獲取化妝對象的實時圖像的步驟包括以下步驟：

對化妝對象進行拍攝，獲取拍攝的預(yù)覽圖像，對拍攝預(yù)覽圖像進行去噪預(yù)處理，獲得實時圖像。

在本實施例中，使用的是拍攝時的預(yù)覽圖像，預(yù)覽圖像可以實時變化，通過預(yù)覽圖像進行虛擬化妝可以實時顯示虛擬化妝的效果，而且對其進行去噪預(yù)處理，可以提高后續(xù)對圖像中人臉識別的準(zhǔn)確度。

根據(jù)上述虛擬化妝的方法，本發(fā)明實施例還提供一種虛擬化妝的系統(tǒng)，以下就本發(fā)明的虛擬化妝的系統(tǒng)的實施例進行詳細(xì)說明。

參見圖2所示，為本發(fā)明一個實施例的虛擬化妝的系統(tǒng)的結(jié)構(gòu)示意圖。該實施例中的虛擬化妝的系統(tǒng)包括：

圖像獲取單元210，用于獲取化妝對象的實時圖像；

人臉識別單元220，用于對實時圖像中的人臉特征進行識別，獲取人臉特征區(qū)域；

色差獲取單元230，用于獲取實時圖像中除人臉特征區(qū)域外的其他區(qū)域的色彩數(shù)據(jù)，根據(jù)色彩數(shù)據(jù)獲取其他區(qū)域的色差范圍；

著色處理單元240，用于接收著色指令，根據(jù)著色指令獲取初始著色值，根據(jù)初始著色值和色差范圍計算目標(biāo)著色值；

圖像渲染單元250，用于利用目標(biāo)著色值對實時圖像中的人臉特征區(qū)域進行渲染，得到化妝對象的虛擬妝容圖像。

在其中一個實施例中，人臉識別單元220獲取實時圖像中的人臉特征部位的點集，對人臉特征部位的點集進行擬合，獲得擬合曲線，根據(jù)擬合曲線確定人臉特征區(qū)域。

在其中一個實施例中，人臉特征部位的點集包括左眉特征點集、右眉特征點集、左眼特征點集、右眼特征點集、鼻梁特征點集、鼻子特征點集、上嘴唇特征點集、下嘴唇特征點集和臉部輪廓特征點集；

人臉識別單元220將左眉特征點集、右眉特征點集、左眼特征點集、右眼特征點集、鼻梁特征點集、鼻子特征點集、上嘴唇特征點集、下嘴唇特征點集和臉部輪廓特征點集分別擬合成對應(yīng)的封閉曲線。

在其中一個實施例中，人臉識別單元220對任意一個特征點集中的特征點排序，在排序后的各特征點中選擇任意一個特征點為目標(biāo)特征點，確定目標(biāo)特征點與上一特征點的連線的第一中點，以及目標(biāo)特征點與下一特征點的連線的第二中點，將第一中點和第二中點的連線平移到目標(biāo)特征點上，其中，平移后的連線的中點位于目標(biāo)特征點的位置；

將平移后的第一中點作為目標(biāo)特征點與上一特征點的控制點，根據(jù)目標(biāo)特征點、上一特征點和控制點繪制二次貝塞爾曲線；其中，排序最前的特征點的上一特征點為排序最后的特征點；

與當(dāng)前特征點集對應(yīng)的封閉曲線包括所有排序相鄰的特征點之間的二次貝塞爾曲線。

在其中一個實施例中，人臉識別單元220對任意一個特征點集中的特征點排序，在排序后的各特征點中選擇任意一個特征點為目標(biāo)特征點，確定目標(biāo)特征點與上一特征點的連線的第一中點，以及目標(biāo)特征點與下一特征點的連線的第二中點，將第一中點和第二中點的連線平移到目標(biāo)特征點上，其中，平移后的連線的中點位于目標(biāo)特征點的位置；

將平移后的第二中點作為目標(biāo)特征點與下一特征點的控制點，根據(jù)目標(biāo)特征點、下一特征點和控制點繪制二次貝塞爾曲線；其中，排序最后的特征點的下一特征點為排序最前的特征點；

與當(dāng)前特征點集對應(yīng)的封閉曲線包括所有排序相鄰的特征點之間的二次貝塞爾曲線。

在其中一個實施例中，人臉識別單元220對當(dāng)前特征點集擬合的封閉曲線圍成的區(qū)域進行掃描，獲得掃描線；獲取當(dāng)前特征點集中各排序相鄰特征點之間的連線，根據(jù)掃描線與各連線的相交狀態(tài)生成活動邊表；其中，活動邊表為與當(dāng)前掃描線相交的連線的集合；根據(jù)活動邊表中的連線確定與當(dāng)前掃描線相交的二次貝塞爾曲線，根據(jù)當(dāng)前掃描線與該二次貝塞爾曲線的交點在當(dāng)前掃描線上選取掃描線段；當(dāng)前特征點集所確定的人臉特征區(qū)域包括所有掃描線段。

在其中一個實施例中，色差獲取單元230對色彩數(shù)據(jù)進行傅里葉變換，再對傅里葉變換結(jié)果進行濾波，獲取其他區(qū)域的色差范圍。

在其中一個實施例中，如圖3所示，虛擬化妝的系統(tǒng)還包括色彩均衡單元260；

色差獲取單元230對各特征點集對應(yīng)的人臉特征區(qū)域進行顏色統(tǒng)計，根據(jù)統(tǒng)計結(jié)果確定亮度高于第一預(yù)設(shè)值且對比度低于第二預(yù)設(shè)值的目標(biāo)調(diào)整區(qū)域；

色彩均衡單元260在圖像渲染單元250執(zhí)行渲染操作之后，對目標(biāo)調(diào)整區(qū)域進行色彩均衡操作。

在其中一個實施例中，如圖4所示，虛擬化妝的系統(tǒng)還包括第一修改單元270，用于接收第一修改指令，根據(jù)第一修改指令選擇目標(biāo)特征點集，從第一修改指令中提取矯正參數(shù)，根據(jù)矯正參數(shù)對目標(biāo)特征點集中的特征點進行修正，人臉識別單元220重新將目標(biāo)特征點集擬合成封閉曲線。

在其中一個實施例中，如圖5所示，虛擬化妝的系統(tǒng)還包括第二修改單元280，用于接收第二修改指令，根據(jù)第二修改指令選擇目標(biāo)人臉特征區(qū)域，從第二修改指令中提取調(diào)整參數(shù)，根據(jù)調(diào)整參數(shù)對目標(biāo)著色值進行調(diào)整；

圖像渲染單元250利用調(diào)整后的目標(biāo)著色值對實時圖像中的目標(biāo)人臉特征區(qū)域進行渲染。

在其中一個實施例中，圖像獲取單元210對化妝對象進行拍攝，獲取拍攝的預(yù)覽圖像，對拍攝預(yù)覽圖像進行去噪預(yù)處理，獲得實時圖像。

本發(fā)明的虛擬化妝的系統(tǒng)與本發(fā)明的虛擬化妝的方法一一對應(yīng)，在上述虛擬化妝的方法的實施例中闡述的技術(shù)特征及其有益效果均適用于虛擬化妝的系統(tǒng)的實施例中。

在一個具體的實施例中，本發(fā)明的虛擬化妝的方法可以應(yīng)用在虛擬化妝軟件中。例如，個人用戶在家中網(wǎng)購時想要嘗試妝容效果，可先安裝應(yīng)用本發(fā)明的虛擬化妝的方法的軟件，之后進行虛擬試妝，再確認(rèn)是否有購買必要；或者，化妝品廠商可在賣場安裝一個智能平板設(shè)備，廠商預(yù)先安裝好應(yīng)用本發(fā)明的虛擬化妝的方法的軟件，并將預(yù)設(shè)妝容參數(shù)(供用戶選取著色、材質(zhì)、區(qū)域模板)輸入軟件系統(tǒng)中，顧客可通過該軟件進行虛擬試妝，而不用真實上妝。

在實際應(yīng)用時，可以通過智能終端設(shè)備上的攝像頭拍攝化妝對象，得到拍攝的預(yù)覽圖像，目前主流攝像頭的預(yù)覽格式為yuv420圖像，分辨率不等，在得到預(yù)覽圖像以后，可以對其進行預(yù)處理。此預(yù)覽圖像主要是用于人臉識別，無需過高的分辨率，分辨率大小設(shè)置為640*480即可，因此預(yù)處理時可以將其預(yù)覽圖像的分辨率縮放至640*480級別，再進行灰度化處理，然后對灰度化圖像進行去噪，從而完成預(yù)處理操作。在預(yù)處理之前，還可以保留一份原始預(yù)覽圖像備份，用于后續(xù)渲染操作，也可以在原始預(yù)覽圖像上進行渲染操作。

對預(yù)處理后的圖像中的人臉特征進行識別，在識別時可以使用dlib人臉檢測庫，dlib人臉檢測庫檢測效率良好，能夠有效獲取人臉特征點。

如圖6所示，在獲取人臉特征部位的點集后，可將其分割為左眉特征點集合leb(18-22)，右眉特征點集合reb(23-27)，左眼特征點集合le(37-42)，右眼特征點集合re(43-48)，鼻梁特征點集合nb(28-31)，鼻子特征點集合n(32-36)，上嘴唇特征點集合um(49-55、61-65)，下嘴唇特征點集合dm(49、55-61、65-68)，臉部輪廓特征點集合f(1-17)，一共9個集合。

以上嘴唇特征點集合um渲染為例，傳統(tǒng)方法是連接特征點即可，然而這樣渲染出的嘴唇形狀不自然平滑，因此本發(fā)明用近似曲線把點集um擴充為一個封閉的集合記為um-ext，此處使用二次貝塞爾曲線連接，下式為二次貝塞爾曲線公式：

b(t)＝(1-t)²p0+2t(1-t)p1+t²p2，t∈[0，1]

根據(jù)離散點集um生成二次貝塞爾曲線控制點集合um-c后，對t做積分，之后進行去重和補全后得到集合um-ext。具體做法為，對有序集合um進行排序，遍歷um，生成同樣元素個數(shù)的點集um’，其中每個點均為um中相鄰兩點連線的中點；對于um集合中一點p0，其與上一點p1連線的中點為p′1，與下一點p2連線的中點為p′2，連接p′1和p′2，將該線段p′1p′2平移至點p0處，平移后的線段p′1p′2的中點位于點p0的位置，平移后的線段p′1p′2的兩端端點為c1和c2，其可以作為p0和p1、p0和p2之間的控制點。按照此方法對離散點集um中所有特征點進行處理后，相鄰兩點之間會有兩個控制點，選擇其中一個控制點即可，即上述實施例中將平移后的第一中點作為目標(biāo)特征點與上一特征點的控制點，將平移后的第二中點作為目標(biāo)特征點與下一特征點的控制點這兩種情形。將兩個特征點和控制點通過二次貝塞爾曲線公式生成二次貝塞爾曲線，離散點集um中各特征點對應(yīng)的二次貝塞爾曲線可以圍成封閉凹多邊形；去重和補全操作后必須滿足其中um記為um-ext的索引集合。

對封閉凹多邊形進行形態(tài)學(xué)處理，步驟如下：

對封閉凹多邊形圍成的區(qū)域從y軸順序開始建立掃描線，根據(jù)掃描線與集合um中的有序點練成的線段的相交狀態(tài)生成活動邊表ate，活動邊表ate中的每一條活動邊為集合um中的有序點練成的線段；

根據(jù)活動邊表中的連線確定與當(dāng)前掃描線相交的二次貝塞爾曲線，根據(jù)當(dāng)前掃描線與該二次貝塞爾曲線的交點在當(dāng)前掃描線上選取掃描線段；

每條掃描線存在步進關(guān)系，即加入掃描線scan-1與線段1、2、3相交，scan-2與1、3相交，則scan-2后的任意掃描線均不與線段2相交，即把線段2移除活動邊表aet；

如圖7所示，與任意一條掃描線相交的活動邊會有多條，一般在有兩條活動邊時，選取掃描線與兩條活動邊對應(yīng)的二次貝塞爾曲線的兩個交點之間的線段，當(dāng)活動變表中原有的活動邊并未移除，且新增兩條有共同端點的活動邊時，將當(dāng)前掃描線與新增兩條活動邊對應(yīng)的二次貝塞爾曲線的交點之間的線段作為多余線段，從當(dāng)前掃描線與原有活動邊對應(yīng)的二次貝塞爾曲線的交點之間的掃描線段中剔除多余線段，如圖7中的凹口部分，形成凹口部位中的掃描線不屬于人臉特征區(qū)域，因此可以將其剔除。

掃描線段由多個掃描像素點構(gòu)成，通過此種方式，可以準(zhǔn)確獲得人臉特征區(qū)域中的每一個像素點，進而確定人臉特征區(qū)域。

對人臉特征區(qū)域以外的圖像域進行傅里葉變換，進行濾波操作，可以將圖像域中的色彩數(shù)據(jù)從空間域轉(zhuǎn)到頻域，從而獲取當(dāng)前色差范圍；對各分割區(qū)域進行顏色直方圖統(tǒng)計，獲取亮度高且對比度低的區(qū)域。

對于用戶給定輸入的著色值c0，結(jié)合色差范圍區(qū)間b，預(yù)設(shè)的可調(diào)節(jié)的區(qū)間a，目標(biāo)著色值c滿足以下公式：c＝(1-t)*c0+t*k，t∈a，k∈b。利用目標(biāo)著色值對人臉特征區(qū)域進行渲染。

根據(jù)上述得到亮度高且對比度低的區(qū)域進行色彩均衡操作，主要用于改善面部色彩，使之更加白皙，臉部特征為亮度高且對比度低的區(qū)域，對于眼睛、眉毛、嘴唇部分則是亮度低且對比度高的區(qū)域，對該區(qū)域不做色彩均衡操作，保留上一步的渲染效果。

用戶還可以通過手動選取成像后渲染不理想的地方，設(shè)備收集到矯正參數(shù)后存儲其對應(yīng)區(qū)域，并將該區(qū)域通過點集進行重新擬合，實現(xiàn)對人臉特征區(qū)域的修正，在后續(xù)的渲染過程中也可以調(diào)整渲染后的像素值。此處仍以上嘴唇進行說明，對于特征點集合um，用戶可修正um中的特征點，重新計算渲染區(qū)域，對于渲染結(jié)果不理想的區(qū)域，調(diào)整目標(biāo)著色值，并將8×8通域的色彩和梯度值進行記錄，用于后續(xù)修正。

通過以上步驟，即可實現(xiàn)實時渲染的虛擬試妝的整個過程，該過程能夠?qū)崟r預(yù)覽虛擬化妝的效果，能夠通過適應(yīng)環(huán)境光照等要素來渲染圖像，使生成的妝容圖像更真實自然，而且用戶還可以手動矯正渲染后圖像不準(zhǔn)確的顏色部分，達到理想的效果。

以上所述實施例的各技術(shù)特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術(shù)特征所有可能的組合都進行描述，然而，只要這些技術(shù)特征的組合不存在矛盾，都應(yīng)當(dāng)認(rèn)為是本說明書記載的范圍。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成。所述的程序可以存儲于一計算機可讀取存儲介質(zhì)中。該程序在執(zhí)行時，包括上述方法所述的步驟。所述的存儲介質(zhì)，包括：rom/ram、磁碟、光盤等。

以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細(xì)，但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。