本發(fā)明涉及人臉圖像處理技術(shù)領(lǐng)域，尤其涉及一種人臉編輯方法。

背景技術(shù)：

自1837年達(dá)蓋爾發(fā)明了攝影術(shù)起，圖像就開始逐漸走進(jìn)我們的生活。隨著計算機技術(shù)和通信技術(shù)的快速發(fā)展，圖像作為一種便捷的信息傳遞方式，成為了人們獲取信息的重要手段。由于包含人的圖像在很多領(lǐng)域，例如身份驗證、人機交互、監(jiān)控、取證、醫(yī)療診斷和治療等都有著廣泛的應(yīng)用，促使其成為機器識別和計算機視覺的主要課題之一。更進(jìn)一步，人臉作為身體中最有代表性的部分，人們能夠僅憑面部信息就能夠獲得極為豐富的含義，如人的性別，種族、年齡、健康、情緒，甚至職業(yè)等等。

在過去，只有少數(shù)訓(xùn)練有素的人可以自由地使用圖像處理軟件，如使用adobephotoshop來編輯臉部圖像。然而，它需要一段時間的專業(yè)培訓(xùn)，即使對于專業(yè)人士，仍然費力和費時?，F(xiàn)在，有部分軟件公司，基于手機這類便攜式移動工具，開發(fā)了功能簡單的程序，例如，美圖秀秀、天天p圖等。這類軟件雖然上手比較容易，但一鍵式美化是對整張圖像操作，存在調(diào)整過度和損失細(xì)節(jié)的問題，若是用戶手工調(diào)整，則仍是一個費時的過程。大多數(shù)用戶需要用最少數(shù)量的操作，進(jìn)行高質(zhì)量的人臉編輯操作。因此，有效、方便和靈活的人臉圖像編輯技術(shù)將有廣泛的應(yīng)用市場。

現(xiàn)有人臉分割算法存在以下幾個問題：1)過度依賴人臉關(guān)鍵點信息，可能存在人臉關(guān)鍵點位置不正確或者不能檢測的問題；2)現(xiàn)有基于學(xué)習(xí)的方法需要對圖像分塊處理，沒有端對端的學(xué)習(xí)過程，這樣不僅增加原始圖片預(yù)處理的時間，還會導(dǎo)致最終測試時間的增加。

到目前為止，涉及人臉編輯的理論研究以及算法已有很多，但主要研究以下四種類型。

人臉美化。指對面部皮膚進(jìn)行光滑、遮瑕處理。這種修飾通常在時尚行業(yè)和廣告行業(yè)中需求較多，個人用戶的需求也在增加。雖然目前存在一些商業(yè)應(yīng)用來幫助完成這項任務(wù)，但是它們中的大多數(shù)仍然以半自動模式操作，需要用戶手工參與部分操作。

人臉轉(zhuǎn)換。指將臉部的部分五官或者整張臉轉(zhuǎn)換到另一個人的臉部?，F(xiàn)代社會，不少人為了追求美麗而選擇接受整形美容手術(shù)，對于某些意外受傷或者天生面部受損的人，這種需求也是必要的。然而，對于大多數(shù)人來說，執(zhí)行相關(guān)手術(shù)不僅昂貴，且存在排斥性的問題，所以最好在實際進(jìn)行手術(shù)之前“預(yù)覽”結(jié)果。

人臉融合。是指將兩張或者多張臉進(jìn)行融合，以到達(dá)平均臉的效果。研究表明，平均臉或者大眾臉往往更加有吸引力。現(xiàn)有的人臉融合技術(shù)借助人臉關(guān)鍵點將臉部融合，而不考慮背景、頭發(fā)等區(qū)域，使融合后的圖像看起來非常不真實。

人臉化妝。指將臉部的妝容轉(zhuǎn)移到另一個人的臉部?，F(xiàn)有的化妝軟件需要用戶的輸入來調(diào)整臉部關(guān)鍵點定位，這將給用戶帶來一些十分繁瑣的體驗。而且，某些軟件并不能像真正的化妝品一樣，消除皮膚上的瑕疵問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種人臉編輯方法，可以直接對人臉分區(qū)域處理，不需要手工標(biāo)記關(guān)鍵點或者劃定編輯的區(qū)域范圍。

本發(fā)明的目的是通過以下技術(shù)方案實現(xiàn)的：

一種人臉編輯方法，包括：

對初始的人臉圖像數(shù)據(jù)集合進(jìn)行預(yù)處理，對圖像進(jìn)行關(guān)鍵點檢測，并通過關(guān)鍵點對齊人臉，獲得預(yù)處理后的人臉圖像數(shù)據(jù)集合s；

對人臉圖像數(shù)據(jù)集合s構(gòu)造人臉形狀先驗p；

利用人臉圖像數(shù)據(jù)集合s與人臉形狀先驗p訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型；

利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型，對輸入的人臉圖像及對應(yīng)的人臉形狀先驗，進(jìn)行人臉分割標(biāo)簽預(yù)測，進(jìn)而完成人臉編輯操作。

所述人臉圖像數(shù)據(jù)集合s中包括：若干彩色人臉圖像以及對應(yīng)的人臉標(biāo)簽圖像；

每一彩色人臉圖像均為rgb三通道圖像；人臉標(biāo)簽圖像為單通道圖像，分為11類：背景、頭發(fā)、臉部皮膚、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔與下嘴唇。

將人臉圖像數(shù)據(jù)集合s劃分為三個集合：訓(xùn)練集、測試集以及驗證集；每一集合中均包含一定數(shù)量的彩色人臉圖像及對應(yīng)的人臉標(biāo)簽圖像。

所述對人臉圖像數(shù)據(jù)集合s構(gòu)造人臉形狀先驗p包括：

給定人臉圖像k，利用人臉關(guān)鍵點檢測技術(shù)，檢測人臉圖像k和驗證集中所有圖像的關(guān)鍵點；將驗證集中所有圖像通過相似變換對齊到人臉圖像k，得到轉(zhuǎn)換后的人臉圖像數(shù)據(jù)集合；比較驗證集中每一張圖像與人臉圖像k關(guān)于人臉關(guān)鍵點的歐幾里得距離li，選擇出距離最近的n張圖像對應(yīng)的人臉標(biāo)簽圖像；提取每一張人臉標(biāo)簽圖像中的8類標(biāo)簽，并將每一類轉(zhuǎn)換為0-1標(biāo)簽，單獨作為一個通道，組成新的多通道標(biāo)簽圖φi；對多通道標(biāo)簽圖φi加權(quán)αi，最終獲得人臉形狀先驗p，相關(guān)計算公式如下：

上式中，lk為人臉圖像k的人臉關(guān)鍵點，lj為距離最近的n張圖像中的第j張人臉圖像的人臉關(guān)鍵點，dj為距離最近的n張圖像中的第j張與人臉圖像k的歐氏距離。

所述深度神經(jīng)網(wǎng)絡(luò)模型為全卷積深度神經(jīng)網(wǎng)絡(luò)模型，依次包括，輸入層，卷積層，非線性層，池化層，去卷積層，剪裁層，融合層與損失層。

所述的人臉編輯操作包括人臉美化、人臉轉(zhuǎn)換、人臉融合、人臉化妝中的一種或多種。

人臉美化包括：確定臉部皮膚對應(yīng)的人臉標(biāo)簽圖像，并對其進(jìn)行sd濾波處理；

人臉轉(zhuǎn)換包括：將原始人臉圖像與樣例人臉圖像進(jìn)行人臉關(guān)鍵點檢測；通過關(guān)鍵點計算相似變換，將樣例人臉圖像對齊到原始人臉圖像上；再將對齊后的樣例人臉圖像中的相關(guān)區(qū)域與原始圖像做泊松融合；

人臉融合包括：假設(shè)需要將原始圖像i，與樣例融合圖像y融合，則相應(yīng)的操作步驟如下：首先，檢測兩張圖像的人臉關(guān)鍵點，每張圖像得到80個人臉關(guān)鍵點；其中68個為臉部區(qū)域的人臉關(guān)鍵點，剩余的關(guān)鍵點取自每張圖的邊界：4個頂點和每條邊的2個三等分點；然后，將樣例融合圖像y上的每一個三角形通過仿射變換對應(yīng)到原始圖像i上，借助alpha-blended算法，將兩個對應(yīng)三角形的每個像素融合在一起，相關(guān)公式如下：

c(p)＝(1-γ)i(p)+γy(p)

其中，原始圖像i與樣例融合圖像y中的每一三角形均由各自圖像中的3個人臉關(guān)鍵點組成，借由80個人臉關(guān)鍵點組成的所有三角形正好平鋪整張圖像；c表示最終的結(jié)果圖像，p表示三角形中的每個像素，γ表示兩張圖像的融合比率，0≤γ≤1；

人臉化妝包括：在人臉融合操作的基礎(chǔ)上，通過改變γ的值，從而獲得自動化妝的效果。

由上述本發(fā)明提供的技術(shù)方案可以看出，1)由深度神經(jīng)網(wǎng)絡(luò)端到端訓(xùn)練得到人臉分割標(biāo)簽，避免了人臉圖像的分塊預(yù)處理操作，加快獲得人臉分割標(biāo)簽的速度；同時，能支持任意大小彩色圖片的輸入，并能獲得高質(zhì)量的人臉分割標(biāo)簽，而傳統(tǒng)方法只能針對固定大小的人臉圖片。2)基于人臉分割完成人臉編輯操作，保留眼睛、頭發(fā)、背景等人眼較為關(guān)注的細(xì)節(jié)，增強編輯后人臉圖片的真實感，拓寬了人臉編輯的思路，基于人臉分割算法，不僅可以應(yīng)用于現(xiàn)有的人臉編輯算法，還可以將大量圖像編輯的算法應(yīng)用于人臉圖像上。

附圖說明

為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實施例提供的一種人臉編輯方法的流程圖。

具體實施方式

下面結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明的保護(hù)范圍。

在人臉美化、人臉轉(zhuǎn)換等應(yīng)用領(lǐng)域，往往需要對某一特定區(qū)域作處理或是保留某一區(qū)域的細(xì)節(jié)，而現(xiàn)有軟件的做法是借助人臉關(guān)鍵點信息或是以用戶手工劃分區(qū)域，這就需要用戶有較多的時間和耐心選擇特定的區(qū)域。同時，人臉關(guān)鍵點檢測可能會由于不同的姿態(tài)、光照和皮膚顏色等的區(qū)別而得到不同的結(jié)果。在許多應(yīng)用中，用戶往往需要較高真實感的圖像，現(xiàn)有的許多方法細(xì)節(jié)的處理遠(yuǎn)遠(yuǎn)不能達(dá)到要求。為此，本發(fā)明實施例提供一種人臉編輯方法，如圖1所示，其主要包括如下步驟：

步驟11、對初始的人臉圖像數(shù)據(jù)集合進(jìn)行預(yù)處理，對圖像進(jìn)行關(guān)鍵點檢測，并通過關(guān)鍵點對齊人臉，獲得預(yù)處理后的人臉圖像數(shù)據(jù)集合s。

本發(fā)明實施例中，初始的人臉圖像數(shù)據(jù)集合可以采用現(xiàn)有的人臉數(shù)據(jù)集helen，其中標(biāo)注了人臉分割標(biāo)簽。人臉圖像數(shù)據(jù)集合主要包括：若干彩色人臉圖像以及對應(yīng)的人臉標(biāo)簽圖像；每一彩色人臉圖像均為rgb三通道圖像；人臉標(biāo)簽圖像為單通道圖像，分為11類：背景、頭發(fā)、臉部皮膚、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、口腔與下嘴唇。

在預(yù)處理時，利用人臉關(guān)鍵點檢測方法，對人臉圖像數(shù)據(jù)集合中的人臉圖片檢測人臉關(guān)鍵點(例如，檢測5個關(guān)鍵點即可)，然后通過相似變換的方法，將人臉圖像對齊到圖片中的相同位置，并剪裁成相同大小。

本發(fā)明實施例中，將人臉圖像數(shù)據(jù)集合s劃分為三個集合：訓(xùn)練集、測試集以及驗證集；每一集合中均包含一定數(shù)量的彩色人臉圖像及對應(yīng)的人臉標(biāo)簽圖像。

步驟12、對人臉圖像數(shù)據(jù)集合s構(gòu)造人臉形狀先驗p。

給定人臉圖像k，利用人臉關(guān)鍵點檢測技術(shù)，檢測人臉圖像k和驗證集中所有圖像的關(guān)鍵點；將驗證集中所有圖像通過相似變換對齊到人臉圖像k，得到轉(zhuǎn)換后的人臉圖像數(shù)據(jù)集合；比較驗證集中每一張圖像與人臉圖像k關(guān)于人臉關(guān)鍵點的歐氏距離，選擇出距離最近的n張圖像對應(yīng)的人臉標(biāo)簽圖像；提取每一張人臉標(biāo)簽圖像中的8類標(biāo)簽各標(biāo)簽，并將每一類轉(zhuǎn)換為0-1標(biāo)簽，單獨作為一個通道，組成新的多通道標(biāo)簽圖φi；對多通道標(biāo)簽圖φi加權(quán)αi，最終獲得人臉形狀先驗p，相關(guān)計算公式如下：

上式中，lk為人臉圖像k的人臉關(guān)鍵點，lj為距離最近的n張圖像中的第j張人臉圖像的人臉關(guān)鍵點，dj為距離最近的n張圖像中的第j張與人臉圖像k的歐氏距離。

上述人臉形狀先驗p是對每一張數(shù)據(jù)集合中的人臉圖像而言，為8通道表示。8通道對應(yīng)8類標(biāo)簽，示例性的，這8類標(biāo)簽可以為左眉、右眉、左眼、右眼、鼻子、上嘴唇、口腔與下嘴唇。

同時，上述方法主要是為了說明如何構(gòu)造人臉形狀先驗p，所涉及的人臉圖像k可以是任意給定的人臉圖像，也可以是人臉圖像數(shù)據(jù)集合s中的圖像。

步驟13、利用人臉圖像數(shù)據(jù)集合s與人臉形狀先驗p訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型。

本發(fā)明實施例中，深度神經(jīng)網(wǎng)絡(luò)模型輸入數(shù)據(jù)為11通道圖像，即人臉圖像數(shù)據(jù)集合的人臉圖像(3個通道)和人臉形狀先驗(8個通道)。

所述深度神經(jīng)網(wǎng)絡(luò)模型為全卷積深度神經(jīng)網(wǎng)絡(luò)模型，依次包括，輸入層，卷積層，非線性層，池化層，去卷積層，剪裁層，融合層與損失層。

本發(fā)明實施例中，利用人臉圖像數(shù)據(jù)集合s中的訓(xùn)練集與人臉形狀先驗p對深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；人臉圖像數(shù)據(jù)集合s中的驗證集用于調(diào)整神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，以選出最優(yōu)的模型；人臉圖像數(shù)據(jù)集合s中的測試集可以對訓(xùn)練后的深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測試，以評估訓(xùn)練效果。

步驟14、利用訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型，對輸入的人臉圖像及對應(yīng)的人臉形狀先驗，進(jìn)行人臉分割標(biāo)簽預(yù)測，進(jìn)而完成人臉編輯操作。

本發(fā)明實施例中，由深度神經(jīng)網(wǎng)絡(luò)模型可以得到的高質(zhì)量人臉分割結(jié)果圖。

人臉編輯操作主要指人臉美化、人臉轉(zhuǎn)換、人臉融合、人臉化妝中的一種或多種。具體來說，人臉美化，是指對臉部皮膚進(jìn)行光滑或者去瑕疵處理；人臉轉(zhuǎn)換，是指對將目標(biāo)人臉的某個五官或者整張臉轉(zhuǎn)換到原始圖像上，并保持整體的一致性，視覺上較為自然；人臉融合，是指融合兩張或者多張人臉的面部特征；人臉化妝，是指將目標(biāo)人臉的妝容轉(zhuǎn)移到原始圖像上，并保持原始圖像的臉部特征。

本發(fā)明實施例中，上述人臉編輯操作可以如下方式來實現(xiàn)：

人臉美化包括：確定臉部皮膚對應(yīng)的人臉標(biāo)簽圖像，并對其進(jìn)行sd濾波處理。sd濾波能夠在保留邊緣細(xì)節(jié)的情況下，最大程度的去除人臉皮膚上的缺陷，從而獲得更佳的視覺效果。

人臉轉(zhuǎn)換包括：將原始人臉圖像與樣例人臉圖像進(jìn)行人臉關(guān)鍵點檢測；通過關(guān)鍵點計算相似變換(即進(jìn)行旋轉(zhuǎn)、平移和尺度的相應(yīng)變換)，將樣例人臉圖像對齊到原始人臉圖像上；再將對齊后的樣例人臉圖像中的相關(guān)區(qū)域與原始圖像做泊松融合；泊松融合可以使得人臉轉(zhuǎn)換達(dá)到一個自然過渡的效果。

人臉融合包括：假設(shè)需要將原始圖像i，與樣例融合圖像y融合，則相應(yīng)的操作步驟如下：首先，檢測兩張圖像的人臉關(guān)鍵點，每張圖像得到80個人臉關(guān)鍵點；其中68個為臉部區(qū)域的人臉關(guān)鍵點，剩余的關(guān)鍵點取自每張圖的邊界：4個頂點和每條邊的2個三等分點；然后，將樣例融合圖像y上的每一個三角形通過仿射變換對應(yīng)到原始圖像i上，借助alpha-blended算法，將兩個對應(yīng)三角形的每個像素融合在一起，相關(guān)公式如下：

c(p)＝(1-γ)i(p)+γy(p)

其中，原始圖像i與樣例融合圖像y中的每一三角形均由各自圖像中的3個人臉關(guān)鍵點組成，借由80個人臉關(guān)鍵點組成的所有三角形正好平鋪整張圖像；c表示最終的結(jié)果圖像，p表示三角形中的每個像素，γ表示兩張圖像的融合比率，0≤γ≤1?，F(xiàn)存的方法大多不能處理背景和頭發(fā)區(qū)域，所以最終獲得的圖像總會有融合后的重影。本發(fā)明避免了上述的問題，完整保留了原始人臉圖像的背景和頭發(fā)區(qū)域，同時也避免了人臉圖像中的劉海區(qū)域?qū)τ诮Y(jié)果圖像的影響。

人臉化妝包括：在人臉融合操作的基礎(chǔ)上，通過改變γ的值，從而獲得自動化妝的效果。本發(fā)明實施例在保持原始圖像人臉特征的基礎(chǔ)上，完成了樣例圖像妝容的自動轉(zhuǎn)移，主要的化妝部位為：眉毛、眼睛、臉頰、還有嘴唇。同時，由于人臉圖像融合的特性，會將樣例圖像與原始圖像的膚色相融合，其在一定程度上完成了真實化妝中的遮瑕和提亮膚色的步驟。

本發(fā)明實施例中上述方案在人臉分割的基礎(chǔ)上獲得人臉編輯的效果，同時能很好的保留眼睛、頭發(fā)和背景等細(xì)節(jié)，對不同的人臉圖片魯棒以及能較快得到最終的結(jié)果。

相比傳統(tǒng)人臉分割方法，本發(fā)明具有以下優(yōu)點：

1)由深度神經(jīng)網(wǎng)絡(luò)端到端訓(xùn)練得到人臉分割標(biāo)簽，避免了人臉圖像的分塊預(yù)處理操作，加快獲得人臉分割標(biāo)簽的速度。

2)能支持任意大小彩色圖片的輸入，并能獲得高質(zhì)量的人臉分割標(biāo)簽，而傳統(tǒng)方法只能針對固定大小的人臉圖片。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到上述實施例可以通過軟件實現(xiàn)，也可以借助軟件加必要的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，上述實施例的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個非易失性存儲介質(zhì)(可以是cd-rom，u盤，移動硬盤等)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。

以上所述，僅為本發(fā)明較佳的具體實施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明披露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)該以權(quán)利要求書的保護(hù)范圍為準(zhǔn)。