用于人臉圖像處理的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本申請涉及圖像處理領(lǐng)域，具體涉及圖像融合處理領(lǐng)域，尤其涉及一種用于人臉圖像處理的方法和裝置。
【背景技術(shù)】
[0002]隨著智能電子產(chǎn)品的逐步發(fā)展，手機或平板電腦以及計算機的應(yīng)用成為人們生活中不可或缺的，而在網(wǎng)絡(luò)環(huán)境中，用戶常常希望使用自己的藝術(shù)化或娛樂化處理的頭像?，F(xiàn)有技術(shù)中，拼臉或者換臉的應(yīng)用軟件非常常見，但都是基于照片實現(xiàn)圖像處理，制作出的卡通形象與圖像本人的相似度較低，而通過人臉風(fēng)格化軟件處理得到的卡通形象不夠藝術(shù)化，處理較為復(fù)雜，且無法實時顯示。

【發(fā)明內(nèi)容】

[0003]本申請?zhí)峁┝艘环N用于人臉圖像處理的方法和裝置，以解決【背景技術(shù)】中提到的問題。
[0004]—方面，本申請?zhí)峁┝艘环N用于人臉圖像處理的方法，包括:對人臉圖像的臉部特征點進行定位；根據(jù)所述臉部特征點限定的范圍，提取人臉區(qū)域的圖像；設(shè)定用戶圖像為源圖像，參照對象圖像為目標圖像；根據(jù)目標圖像的臉部形狀對源圖像的臉部圖像進行變換；根據(jù)目標圖像的臉部區(qū)域的膚色分布對源圖像的臉部圖像進行變換；通過結(jié)合源圖像的臉部圖像和目標圖像的臉部圖像得到新的人臉。
[0005]在一些實施例中，所述臉部特征點的選取參照以下兩項:臉部的輪廓和五官的位置，所述臉部特征點采用坐標點的位置信息表述。
[0006]在一些實施例中，所述膚色分布信息采用人臉區(qū)域各點對應(yīng)的RGB值顯示。
[0007]在一些實施例中，所述變換操作參照目標圖像的所述臉部特征點限定的范圍實現(xiàn)，或參照源圖像的所述臉部特征點限定的范圍實現(xiàn)。
[0008]在一些實施例中，所述臉部特征點選取的個數(shù)與圖像處理效果相關(guān)。
[0009]另一方面，本申請?zhí)峁┝艘环N用于人臉圖像處理的裝置，包括:定位模塊，配置用于對人臉圖像的臉部特征點進行定位；圖像提取模塊，配置用于根據(jù)所述臉部特征點限定的范圍，提取人臉區(qū)域的圖像，設(shè)定用戶圖像為源圖像，參照對象圖像為目標圖像；臉型變換模塊，配置用于根據(jù)目標圖像的臉部形狀對源圖像的臉部圖像進行變換；膚色變換模塊，配置用于根據(jù)目標圖像的臉部區(qū)域的膚色分布對源圖像的臉部圖像進行變換；圖像融合模塊，配置用于通過結(jié)合源圖像的臉部圖像和目標圖像的臉部圖像得到新的人臉。
[0010]在一些實施例中，圖像提取模塊進一步配置用于參照以下兩項選取所述臉部特征點:臉部的輪廓和五官的位置，并采用坐標點的位置信息表述所述臉部特征點。
[0011]在一些實施例中，所述膚色分布信息采用人臉區(qū)域各點對應(yīng)的RGB值顯示。
[0012]在一些實施例中，變換模塊進一步配置用于參照目標圖像的所述臉部特征點限定的范圍，或參照源圖像的所述臉部特征點限定的范圍實現(xiàn)所述變換操作。
[0013]在一些實施例中，所述臉部特征點選取的個數(shù)與圖像處理效果相關(guān)。
[0014]本申請?zhí)峁┑挠糜谌四槇D像處理的方法和裝置，通過對人臉圖像的臉部特征點進行定位，采集人臉特征點的坐標，根據(jù)臉部臉型、五官位置以及人物表情，將源圖像按照目標人臉圖像進行變換，并將目標圖像的膚色分布信息融合到源圖像人臉中，得到換臉后的人臉。實現(xiàn)了與圖像本人的相似度較高的臉部圖像處理，步驟簡單、計算量小、實時性高。
【附圖說明】
[0015]通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優(yōu)點將會變得更明顯:
[0016]圖1是根據(jù)本申請的用于人臉圖像處理的方法一個實施例的流程圖；
[0017]圖2是根據(jù)本申請的顯示對臉部特征點進行定位的效果示意圖；
[0018]圖3是根據(jù)本申請的顯示對臉部區(qū)域分割的效果示意圖；
[0019]圖4a是顯示對臉部圖形變換操作一種實施例的效果示意圖，圖4b是顯示對臉部圖像變化操作另一種實施例的效果示意圖；
[0020]圖5是根據(jù)本申請的用于人臉圖像處理裝置的一個實施例的架構(gòu)圖；
[0021]圖6是適于用來實現(xiàn)本申請實施例的終端設(shè)備或服務(wù)器的計算機系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0022]下面結(jié)合附圖和實施例對本申請作進一步的詳細說明?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋相關(guān)發(fā)明，而非對該發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與有關(guān)發(fā)明相關(guān)的部分。
[0023]需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。下面將參考附圖并結(jié)合實施例來詳細說明本申請。
[0024]請參考圖1，其示出了用于人臉圖像處理的方法一個實施例的流程圖100。本實施例所述的用于人臉圖像處理的方法的流程圖100包括以下步驟:
[0025]步驟101、對人臉圖像的臉部特征點進行定位。
[0026]在本實施例中，在需要對臉部圖像中的人臉區(qū)域進行識別時，可以先在臉部圖像上標注出各臉部特征的關(guān)鍵點。其中標注的方式可以為人工標注方式，也可以采用各種標注工具。在臉部圖像上標注了各臉部特征的關(guān)鍵點之后，即可確定臉部圖像上的各臉部特征的關(guān)鍵點的位置。
[0027]作為示例，請參見圖2，圖2是顯示對臉部特征點進行定位的效果示意圖。其中臉部特征包括但不限于眼睛、鼻子、嘴巴、下巴等。其中眼睛包括左眼和右眼，鼻子可以為鼻翼或者鼻尖。其中鼻翼包括左鼻翼和右鼻翼。具體的，臉部特征還可以包括臉頰、下頌等。其中臉頰包括左臉頰、右臉頰，下頌包括左下頌、右下頌，可以理解，該臉部特征還可以為臉部的其余特征，在此不做任何限定。
[0028]在本實施例的一些可選的實現(xiàn)方式中，對臉部特征點數(shù)量的選擇是多樣化的，常用的特征點的個數(shù)有42個，72個，79個甚至更多，選取的特征點個數(shù)越多，得到的人臉貼臉效果越好。在本申請中，通過多次實驗得出，采用72個特征點能夠得到較佳的用戶體驗，更兼顧了變換操作實現(xiàn)的時效性。
[0029]步驟102、根據(jù)所述臉部特征點限定的范圍，提取人臉區(qū)域的圖像。
[0030]在本實施例中，根據(jù)臉部特征點對臉部截圖區(qū)域的位置信息進行限定，從而可以把整個人臉區(qū)域分割出來，分割出來的部分用于臉部信息融合處理，例如，表情迀移處理、膚色變換處理、臉型和五官變化處理。
[0031]作為示例，請參見圖3，圖3是顯示對臉部區(qū)域分割的效果示意圖，其分割得到的臉部信息是臉部特征點限定的臉部輪廓信息。上述的限定將需要融合處理的范圍縮小了，優(yōu)化了進行貼臉操作的時間，且使得操作針對性更強更精確化了。
[0032]在本實施例中，由于采用臉部特征的關(guān)鍵點來表示臉部圖像中的臉部特征，從而使得臉部圖像中臉部特征的定位更簡單、更準確，且由于臉部特征的關(guān)鍵點的位置很精確，如可具體到屏幕的平面坐標系中的坐標點，從而減小了由于對臉部特征的定位不精確導(dǎo)致的臉部識別結(jié)果的誤差。
[0033]步驟103、根據(jù)目標圖像的臉部形狀對源圖像的臉部圖像進行變換。
[0034]在本實施例中，目標圖像的臉部形狀包括了臉型和五官特征，通過設(shè)置足夠多的特征點，可以獲得臉部五官準確的位置信息。例如，采用特征點50-60表示嘴部形狀，當嘴部動作是微笑時，標注嘴角的多個特征點的位置坐標會往上移，并會向左右兩邊擴展，當嘴部動作是張開時，標注上下嘴唇位置的多個特征點會向垂直方向擴展。同樣的，對眼睛的特征點標注也可以將眼睛的睜開和閉合表示出來，且通過實時的更新捕獲到的位置信息就可以表現(xiàn)出來眨眼動作。而特征點位置的設(shè)置可以根據(jù)五官的位置是否容易變化來選定，對于位置容易變化的五官，例如，眼睛和嘴巴，可以采用較多的特征點來限定，這樣獲得的動作將更為流暢；而對于位置不容易變化的五官，例如，鼻子，則可以選用相對較少的特征點來限定。這樣處理可以優(yōu)化資源調(diào)配，減少存儲空間。
[0035]在本實施例的一些可選的實現(xiàn)方式中，對臉部表情信息的獲得也是貼臉操作的關(guān)鍵。其中，表情信息和五官特征是息息相關(guān)的，一部分五官的動作可以理解為是表情信息，但是表情信息比五官特征更為豐富和多樣。例如，微笑的動作會涉及到嘴部的運動，還會涉及到臉部輪廓的變化以及眼睛和眉毛的變化。對五官特征的捕捉可以是只關(guān)注單個的器官，而對表情信息的捕獲則要通過對整個臉部特征值的監(jiān)控來實現(xiàn)。
[0036]在本實施例的一些可選的實現(xiàn)方式中，變換操作包括參照目標圖像的臉部特征點限定的范圍實現(xiàn)，或參照源圖像的臉部特征點限定的范圍實現(xiàn)。由于變換操作的實質(zhì)是一個覆蓋操作，即將一張圖像的特征值覆蓋另一張圖像的特征值，該操作的實施對象可以是目標圖像也可以是源圖像，所得到的合成圖像是不一樣的。作為基礎(chǔ)的圖像保留的特征值比較多，更容易被識別出。
[0037]在本實施例的一些可選的實現(xiàn)方式中，源圖像是用戶本人的人臉圖像，目標圖像是存儲在終端中的作為變換模板的明星或卡通人物的圖像，當變換功能開啟的時候，終端將捕捉到的人臉圖像自動和存儲在終端中的明星或卡通人物的圖像相融合，并實時顯示出人物的表情的變化。
[0038]作為示例，請參見圖4，圖4a是顯示對臉部圖形變換操作一種實施例的效果示意圖，圖4b是顯不對臉部圖像變化操作另一種實施例的效果不意圖。對比上述兩幅不意圖，可以得到不同的合成效果圖403a和403b。
[0039]在本實施例中，通過在臉部圖片的基礎(chǔ)上生成合成圖片時，將不同的合成方式均覆蓋替換得到，使得用戶可以幾乎在同一時間得到表達不同情感的一系列的表情圖片，讓用戶有更多的選擇空間，進一步提升用戶體驗。
[0040]步驟104、根據(jù)目標圖像的臉部區(qū)域的膚色分布對源圖像的臉部圖像進行變換。
[0041]在本實施例中，膚色信息利用RGB值來表示，采用加權(quán)疊加的方法實現(xiàn)圖像的變換。例如:alpha*src_rgb+ (1-alpha)*dst_rgb
[0042]其中，alpha是源圖像人臉像素值(src_rgb)設(shè)置的透明度；
[00