本發(fā)明涉及計算機視覺技術(shù)領(lǐng)域和圖像處理技術(shù)領(lǐng)域，尤其涉及一種三維京劇臉譜自動化妝方法。

背景技術(shù)：

攝像頭已經(jīng)被廣泛的運用于視頻會議、視頻監(jiān)控等日常生活中。普通的人也可以非常簡單地通過攝像頭在互聯(lián)網(wǎng)上進行視頻聊天，使得溝通更為高效和有趣。

vahidkazemi和josephinesullivan在2014年的cvpr上發(fā)表了題為《onemillisecondfacealignmentwithanensembleofregressiontrees》的文章。這篇文章公開了一種人臉特征點定位的方法。通過基于回歸樹的方法，實現(xiàn)了對人臉特征點的自動標定，并且速度極快，處理一張圖只需1ms的時間。特征點包括了眉毛、眼睛、鼻子、嘴巴以及下巴輪廓等68個點。

minsiklee和chong-hochoi在2014年的cviu上發(fā)布了文章《real-timefacialshaperecoveryfromasingleimageundergeneral，unknownlightingbyrankrelaxation》。文章中公開了一種重建人臉三維模型的方法。文中利用張量相乘，svd分解，秩松弛等方法，實現(xiàn)了一般場景，未知光照條件下的人臉深度圖重建，并且算法能夠達到實時性要求。

上述技術(shù)僅僅是標出人臉的68個特征點的坐標，以及重建了人臉的三維模型，但是沒有對這些信息進行再一步的處理。

技術(shù)實現(xiàn)要素：

本發(fā)明為實現(xiàn)三維京劇臉譜的自動化妝，提出一種三維京劇臉譜自動化妝方法，自動計算出人臉特征點的坐標和人臉三維模型，然后運用計算機視覺和圖像處理相關(guān)的技術(shù)，將事先手工標定好特征點的京劇臉譜描繪到目標人臉的三維模型上。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種三維京劇臉譜自動化妝方法，包括步驟

s1：從輸入源獲取圖像輸入，進行人臉檢測和人臉特征點定位，如果輸入圖像中存在人臉，則將特征點標注在圖像上；

s2：對所述特征點進行人臉歸一化處理；

s3：計算歸一化后的人臉圖像的深度信息，并根據(jù)所述深度信息重建三維點云；

s4：根據(jù)所述特征點信息對人臉圖像進行三角分塊操作；

s5：在準備好的京劇臉譜圖片上，手工標注特征點，并對京劇臉譜進行和所述人臉圖像相同的三角分塊操作；

s6：將所述京劇臉譜上的每個三角塊進行仿射變化，著色到人臉圖像上；

s7：根據(jù)人臉圖像和三維點云的坐標對應(yīng)關(guān)系，使用京劇臉譜將所述三維點云進行重新著色，并展現(xiàn)給用戶。

進一步地，步驟s1中所述人臉特征點包括人臉輪廓邊緣和五官位置。

進一步地，步驟s2中所述歸一化處理包括步驟：以兩個眼球以及鼻尖的坐標為基準，進行仿射變換。

進一步地，步驟s3中計算歸一化后的人臉圖像的深度信息的方法包括步驟：歸一化后的人臉圖像與事先訓練好的張量進行相乘，進行svd分解操作，輸出圖像中每個像素點的深度信息。

進一步地，步驟s4中所述三角分塊操作包括步驟：采用delaunay三角剖分算法，將人臉分為互不重疊的112個三角形。

進一步地，步驟s6中人臉圖像著色包括步驟：

s61：根據(jù)臉譜中三角形頂點的坐標、以及真實人臉圖像中特征點的位置計算出合適的仿射變換矩陣；

s62：將仿射變換矩陣應(yīng)用于臉譜圖像，計算出人臉中每個點對應(yīng)的rgb顏色值，rgb值為臉譜圖像中的顏色值；

s63：如果變換后的坐標點不在整點上，則采用雙線性插值計算估計值。

更進一步地，步驟s7中所述將所述三維點云進行重新著色包括步驟：

s71：計算歸一化變換所使用的仿射變換矩陣的逆變換矩陣；

s72：將逆變換矩陣用于點云中每個點的坐標上，獲取每個點對應(yīng)人臉圖像的坐標，從而得到對應(yīng)的rgb顏色值；

s73：如果變換后的坐標點不在整點上，則采用雙線性插值計算估計值。

本發(fā)明的有益效果在于，現(xiàn)有的方法都只是針對二維的平面圖像，而本方法所輸出的結(jié)果為化妝后的三維點云模型，具有展現(xiàn)效果好，更加貼近現(xiàn)實等優(yōu)勢；本方法采用的人臉特征點定位、人臉三維重建和自動貼圖技術(shù)，降低了常規(guī)進行此操作時繁瑣的步驟，并其方法的速度快，實時性好，能夠?qū)⑵溥\用到攝像頭實時視頻處理中，設(shè)備硬件要求簡單，易普及，易使用等特點，方便了京劇臉譜的化妝。

附圖說明

圖1是本發(fā)明一種三維京劇臉譜自動化妝方法流程圖；

圖2是本發(fā)明中對圖片進行人臉識別并標注了特征點的人臉圖像示意圖；

圖3是本發(fā)明中人臉歸一化操作后的人臉圖片示意圖；

圖4是本發(fā)明中三維點云模型圖片；

圖5是京劇臉譜進行三角分塊后的圖片示意圖；

圖6是本發(fā)明中用京劇臉譜上的顏色塊對分塊后的人臉進行著色示意圖；

圖7是對圖4的三維點云圖片進行著色后的圖片。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

請參見圖1，本發(fā)明一種三維京劇臉譜自動化妝方法，包括步驟

s1：從輸入源獲取圖像輸入，進行人臉檢測和人臉特征點定位，如果輸入圖像中存在人臉，則將特征點標注在圖像上，標注了特征點的人臉圖像如圖2所示；

s2：對所述特征點進行人臉歸一化處理，人臉歸一化操作后的人臉圖片如圖3所示；

s3：計算歸一化后的人臉圖像的深度信息，并根據(jù)所述深度信息重建三維點云，三維點云模型圖片如圖4所示；

s4：根據(jù)所述特征點信息對人臉圖像進行三角分塊操作；

s5：在準備好的京劇臉譜圖片上，手工標注特征點，并對京劇臉譜進行和所述人臉圖像相同的三角分塊操作，京劇臉譜進行三角分塊后的圖片如圖5所示；

s6：將所述京劇臉譜上的每個三角塊進行仿射變化，著色到人臉圖像上，用京劇臉譜上的顏色塊對分塊后的人臉進行著色后的圖片如圖6所示；

s7：根據(jù)人臉圖像和三維點云的坐標對應(yīng)關(guān)系，使用京劇臉譜將所述三維點云進行重新著色，并展現(xiàn)給用戶，對三維點云圖片進行著色后的圖片如圖7所示。

其中，步驟s1中所述人臉特征點包括人臉輪廓邊緣和五官位置，所述五官為兩個眼球、鼻尖、兩個嘴角。

步驟s2中所述歸一化處理包括步驟：以兩個眼球以及鼻尖的坐標為基準，進行仿射變換，變換后的人臉大小為120*100像素。

步驟s3中計算歸一化后的人臉圖像的深度信息的方法包括步驟：歸一化后的人臉圖像與事先訓練好的張量進行相乘，進行svd分解操作，輸出圖像中每個像素點的深度信息，可參考minsiklee,和chong-hochoi在2014年發(fā)表在cviu上的文章《real-timefacialshaperecoveryfromasingleimageundergeneral,unknownlightingbyrankrelaxation》。

步驟s4中所述三角分塊操作包括步驟：采用delaunay三角剖分算法，將人臉分為互不重疊的112個三角形。

步驟s6中人臉圖像著色包括步驟：

s61：根據(jù)臉譜中三角形頂點的坐標、以及真實人臉圖像中特征點的位置計算出合適的仿射變換矩陣；

s62：將仿射變換矩陣應(yīng)用于臉譜圖像，計算出人臉中每個點對應(yīng)的rgb顏色值，rgb值為臉譜圖像中的顏色值；

s63：如果變換后的坐標點不在整點上，則采用雙線性插值計算估計值。

更進一步地，步驟s7中所述將所述三維點云進行重新著色包括步驟：

s71：計算歸一化變換所使用的仿射變換矩陣的逆變換矩陣；

s72：將逆變換矩陣用于點云中每個點的坐標上，獲取每個點對應(yīng)人臉圖像的坐標，從而得到對應(yīng)的rgb顏色值；

s73：如果變換后的坐標點不在整點上，則采用雙線性插值計算估計值。

以上所述是本發(fā)明的優(yōu)選實施方式，應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也視為本發(fā)明的保護范圍。