一種跨維度人臉地標點定位的方法
【專利摘要】本發(fā)明公開了一種跨維度人臉地標點定位的方法,包括如下步驟：1)構(gòu)造基于自旋圖特征的三維人臉錨點自動檢測算法；2)基于VCP特征進行boosting學習，構(gòu)造二維人臉錨點自動檢測算法；3)定義包括錨點在內(nèi)的地標點集合，對部分三維人臉地標點進行標注，構(gòu)造三維人臉+三維地標點耦合字典。基于在線LCC對該耦合字典進行學習，從而構(gòu)造并實現(xiàn)基于在線LCC的三維地標點定位算法；4)考慮二維?三維耦合人臉之間的類質(zhì)同象特性，通過錨點計算三維到二維人臉的投影變換矩陣，將該投影變換矩陣應(yīng)用于三維人臉地標點，得到對應(yīng)二維人臉地標點位置。通過跨維度人臉地標點定位算法，能夠做到二維?三維人臉地標點的準確一致性定位。
【專利說明】
-種跨維度人臉地標點定位的方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于計算機視覺領(lǐng)域，設(shè)及跨維度人臉地標點定位的方法。
【背景技術(shù)】
[0002] 隨著計算機視覺的蓬勃發(fā)展，人臉識別技術(shù)日趨進步與完善，可被用于多個計算 機視覺方向，如：網(wǎng)絡(luò)游戲、視頻監(jiān)控、Π 禁系統(tǒng)、人機交互等領(lǐng)域。而臉地標點定位方法通 常是在人臉檢測的基礎(chǔ)上進行的，需要精確地得到每一個面部特征的坐標，是人臉識別中 非常重要的一環(huán)。
[0003] 在計算機視覺領(lǐng)域，已有的人臉地標點定位方法分為二維人臉地標點定位和Ξ維 人臉地標點定位。二維人臉特征點定位其基本思想是通過點分布模型對人臉的形狀變化進 行統(tǒng)計建模，再利用地標點附近的局部視覺特征確定的最佳定位，該局部視覺特征包括灰 度值梯度分布、紋理特征等。Ξ維人臉地標點定位方法可W分為Ξ類:基于啟發(fā)式規(guī)則的定 位、基于幾何特征的定位W及基于圖模型的定位，但傳統(tǒng)的Ξ維人臉地標點定位過度依賴 局部特征檢測，對于局部特征不明顯的地標點定位誤差較大。
[0004] 然而現(xiàn)有的人臉地標點定位方法都是針對單一維度人臉的，無法進行跨維度人臉 地標點定位?？缇S度人臉地標點定位有W下兩個難點：一方面，通過手工方式完成跨維度地 標點定位工作量太大，且不同維度人臉地標點的一致性也難W保障。另一方面，由于二維人 臉僅是Ξ維人臉一個投影，通過二維人臉地標點對Ξ維人臉地標點進行定位是困難的。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明要克服現(xiàn)有技術(shù)的上述缺點，提供一種跨維度人臉地標點定位的方法，W 實現(xiàn)跨維度人臉地標點的準確一致性定位。
[0006] 本發(fā)明提供了一種跨維度人臉地標點定位的方法，包括W下步驟：
[0007] 1)按照金字塔策略提取標定錯點的多尺度的自旋圖特征，利用標注數(shù)據(jù)對Ξ維錯 點的自旋圖特征進行boosting學習，構(gòu)造 Ξ維錯點的自動檢測算法，確定對應(yīng)的Ξ維錯點 坐標位置；
[000引 2)基于視覺上下文模式VCP(Visual Context化ttern)特征的boosting學習，構(gòu) 造并實現(xiàn)的二維人臉錯點檢測算法，確定對應(yīng)的二維錯點坐標位置；
[0009] 3)定義包括錯點在內(nèi)的地標點集合，對部分Ξ維人臉地標點進行標注，構(gòu)造 Ξ維 人臉+Ξ維地標點禪合字典，基于重建誤差最小化和稀疏表達思想，構(gòu)造基于在線局部坐標 編碼LCC(Local Coordinate Coding)的Ξ維人臉地標點定位算法；
[0010] 4)給定新的二維-Ξ維人臉組合，完成Ξ維地標點定位，考慮二維-Ξ維禪合人臉 之間的類質(zhì)同象特性，通過錯點檢測計算Ξ維人臉到二維人臉之間的投影變換矩陣，將該 投影變換矩陣應(yīng)用于Ξ維人臉地標點，得到對應(yīng)二維人臉地標點位置，實現(xiàn)跨維度人臉地 標點定位。
[0011] 步驟3)中所述的基于在線LCC的Ξ維人臉地標點定位算法具體是：
[0012] 31)通過標注Ξ維地標點可w將不同的Ξ維人臉進行對齊，從而使不同的Ξ維人 臉具有相同數(shù)目的頂點，在此基礎(chǔ)上，構(gòu)造=維人臉+=維地標點禪合數(shù)據(jù)；
[0013] 32)對于第i個數(shù)據(jù)樣本義1:義1=^:(1)，義1(。}，其中義:。)是第1個數(shù)據(jù)樣本的^維 人臉，XI(i)是第i個數(shù)據(jù)樣本的Ξ維地標點，進行LCC禪合字典學習，獲得該字典的基如下：
[0014]
[001引其中字典表示為0=惦，01} = {{(1如），(1如）}}灼1,1(]，其中1(表示樣本個數(shù)，扣是立 維人臉字典，df(j)是第j個數(shù)據(jù)樣本的Ξ維人臉字典，Di是Ξ維地標點字典，di(j)是第j個 數(shù)據(jù)樣本的Ξ維地標點字典，山是第j個數(shù)據(jù)樣本的Ξ維人臉地點字典和Ξ維地標點字典 組成的字典，是第i個數(shù)據(jù)樣本字典dj的系數(shù)向量，α/是第i個數(shù)據(jù)樣本字典到第j個數(shù)據(jù) 樣本字典的映射向量，μ是權(quán)重系數(shù)。由于求解上式的時間開銷較大，因此引入在線求解算 法取得快速收斂，其迭代策略為：
[0016]
[0017] 其中Dt是每次迭代求得到字典表示：
巧f是CU的轉(zhuǎn)置，At和Bt是每次迭代求得的基所對應(yīng)的系數(shù)分布，t表示迭代次數(shù)；
[0018] 33)在獲得字典的基之后，對于給定新的Ξ維人臉W，可W很方便地獲得其Ξ維人 臉字典化的系數(shù)向量α，直接將α應(yīng)用于Ξ維人臉地標點字典化，從而估計給定Ξ維人臉的地 標點坐標如下：
[0019]
[0020] 根據(jù)估計結(jié)果可W在給定Ξ維人臉上進行準確的地標點定位。
[0021 ]步驟4)中所述的跨維度人臉地標點定位算法：
[0022] 考慮二維-Ξ維禪合人臉之間的類質(zhì)同象特性，在獲得Ξ維人臉錯點義其對 應(yīng)二維人臉錯點;的檢測之后，通過最小二乘法求解Ξ維人臉到二維人臉的投影變換矩 陣Η如下：
[0023]
[0024] 其中Η是一個2X3矩陣，而我們擁有6組錯點，因此上式可解，進而，將Η應(yīng)用于已經(jīng) 定位的Ξ維人臉地標點獲得對應(yīng)的二維人臉地標點坐標：
[0025]
[00%]從而實現(xiàn)跨維度的人臉地標點定位。
[0027] 本發(fā)明的一種跨維度人臉地標點定位的方法:首先進行二維維禪合人臉數(shù)據(jù) 之間的類質(zhì)同象學習，獲得Ξ維到二維人臉的投影變換矩陣，然后進行Ξ維人臉地標點定 位，進而對所定位的Ξ維人臉地標點進行投影，獲取對應(yīng)二維地標點的位置信息，實現(xiàn)跨維 度人臉地標點的準確一致性定位。
[0028] 現(xiàn)有的人臉地標點定位方法都是針對單一維度人臉的，無法進行跨維度人臉地標 點定位。
[0029] 本發(fā)明的優(yōu)點是:對于給定的二維維人臉數(shù)據(jù)對，能夠做到二者地標點的準確 一致性定位，且本方法并不過度依賴于局部特征檢測，對于局部特征不明顯的地標點定位 誤差較小。
【附圖說明】
[0030]圖1是本發(fā)明方法的訓練流程圖；
[0031 ]圖2是本發(fā)明一種跨維度的人臉地標點定位方法的測試流程圖；
[0032] 圖3是二維(左)和Ξ維(右)人臉地標點(被圈住的為錯點）。
【具體實施方式】
[0033] 下面結(jié)合本發(fā)明中的附圖，對本發(fā)明的技術(shù)方案進行清晰、完整地描述。
[0034] 本發(fā)明提供了一種跨維度人臉地標點定位方法，圖1展示了該方法的整體流程?；?于跨維度人臉地標點定位方法具體實施步驟如下：
[0035] 1. -種跨維度人臉地標點定位的方法，其特征是包括如下步驟：
[0036] 1)按照金字塔策略提取標定錯點的多尺度的自旋圖特征，利用標注數(shù)據(jù)對Ξ維錯 點的自旋圖特征進行boosting學習，構(gòu)造 Ξ維錯點的自動檢測算法，確定對應(yīng)的Ξ維錯點 坐標位置；
[0037] 2)基于視覺上下文模式VCP(Visual Context化ttern)特征的boosting學習，構(gòu) 造并實現(xiàn)的二維人臉錯點檢測算法，確定對應(yīng)的二維錯點坐標位置；
[0038] 3)定義包括錯點在內(nèi)的地標點集合，對部分Ξ維人臉地標點進行標注，構(gòu)造 Ξ維 人臉+Ξ維地標點禪合字典，基于重建誤差最小化和稀疏表達思想，構(gòu)造基于在線局部坐標 編碼LCC(Local Coordinate Coding)的Ξ維人臉地標點定位算法；
[0039] 4)給定新的二維-Ξ維人臉組合，完成Ξ維地標點定位，考慮二維-Ξ維禪合人臉 之間的類質(zhì)同象特性，通過錯點檢測計算Ξ維人臉到二維人臉之間的投影變換矩陣，將該 投影變換矩陣應(yīng)用于Ξ維人臉地標點，得到對應(yīng)二維人臉地標點位置，實現(xiàn)跨維度人臉地 標點定位。
[0040] 步驟3)中所述的基于在線LCC的Ξ維人臉地標點定位算法：
[0041] 31)通過標注Ξ維地標點可W將不同的Ξ維人臉進行對齊，從而使不同的Ξ維人 臉具有相同數(shù)目的頂點，在此基礎(chǔ)上，構(gòu)造=維人臉+=維地標點禪合數(shù)據(jù)；
[0042] 32)對于第i個數(shù)據(jù)樣本義1=^:(。，義1(。}，其中義:。）是第1個數(shù)據(jù)樣本的^維人 臉，XI(i)是第i個數(shù)據(jù)樣本的Ξ維地標點，進行LCC禪合字典學習，獲得該字典的基如下：
[0043]
[0044] 其中字典表示為0={0川1} = {{(1如），(11〇)}}灼1,1(]，其中1(表示樣本個數(shù)，扣是； 維人臉字典，df(j)是第j個數(shù)據(jù)樣本的Ξ維人臉字典，Di是Ξ維地標點字典，di(j)是第j個 數(shù)據(jù)樣本的Ξ維地標點字典，山是第j個數(shù)據(jù)樣本的Ξ維人臉地點字典和Ξ維地標點字典 組成的字典，是第i個數(shù)據(jù)樣本字典勺系數(shù)向量，α/是第i個數(shù)據(jù)樣本字典到第j個數(shù)據(jù) 樣本字典的映射向量，μ是權(quán)重系數(shù)。由于求解上式的時間開銷較大，因此引入在線求解算 法取得快速收斂，其迭代策略為：
[0045]
[0046] 其中Dt是每次迭代求得到字典表示，=玄? α.滿f .+ .卻S ?，呂t = ,Σγ攻誠.+. 質(zhì)τ'，. af是Qi的轉(zhuǎn)置，At和Bt是每次迭代求得的基所對應(yīng)的系數(shù)分布，t表示迭代次數(shù)；
[0047] 33)在獲得字典的基之后，對于給定新的Ξ維人臉xf，可W很方便地獲得其Ξ維人 臉字典化的系數(shù)向量α，直接將α應(yīng)用于Ξ維人臉地標點字典化，從而估計給定Ξ維人臉的地 標點坐標如下：
[004引 χι=Σ0ια，式 3
[0049] 根據(jù)估計結(jié)果可W在給定Ξ維人臉上進行準確的地標點定位。
[0050] 步驟4)中所述的跨維度人臉地標點定位算法：
[0化1]考慮二維-Ξ維禪合人臉之間的類質(zhì)同象特性，在獲得Ξ維人臉錯點及其對 應(yīng)二維人臉錯點;的檢測之后，通過最小二乘法求解立維人臉到二維人臉的投影變換矩 陣Η如下：
[0化2]
[0053] 其中Η是一個2X3矩陣，而我們擁有6組錯點，因此上式可解，進而，將Η應(yīng)用于已經(jīng) 定位的Ξ維人臉地標點獲得對應(yīng)的二維人臉地標點坐標：
[0化4]
[0055] 從而實現(xiàn)跨維度的人臉地標點定位。
[0056] 最后，W上所述僅為本發(fā)明較有代表性的實施例。本領(lǐng)域的普通技術(shù)人員可在不 脫離本發(fā)明的發(fā)明思想情況下，對上述實施例做出種種修改或變化，因而本發(fā)明的保護范 圍并不被上述實施例所限，而應(yīng)該是符合權(quán)利要求數(shù)提到的創(chuàng)新性特征的最大范圍。
【主權(quán)項】
1. 一種跨維度人臉地標點定位的方法，包括如下步驟： 1) 按照金字塔策略提取標定錨點的多尺度的自旋圖特征，利用標注數(shù)據(jù)對三維錨點的 自旋圖特征進行boos ting學習，構(gòu)造三維錨點的自動檢測算法，確定對應(yīng)的三維錨點坐標 位置； 2) 基于視覺上下文模式VCP特征的boosting學習，構(gòu)造并實現(xiàn)的二維人臉錨點檢測算 法，確定對應(yīng)的二維錨點坐標位置； 3) 定義包括錨點在內(nèi)的地標點集合，對部分三維人臉地標點進行標注，構(gòu)造三維人臉+ 三維地標點耦合字典，基于重建誤差最小化和稀疏表達思想，構(gòu)造基于在線局部坐標編碼 LCC的二維人臉地標點定位算法； 4) 給定新的二維-三維人臉組合，完成三維地標點定位，考慮二維-三維耦合人臉之間 的類質(zhì)同象特性，通過錨點檢測計算三維人臉到二維人臉之間的投影變換矩陣，將該投影 變換矩陣應(yīng)用于三維人臉地標點，得到對應(yīng)二維人臉地標點位置，實現(xiàn)跨維度人臉地標點 定位。2. 根據(jù)權(quán)利要求1所述的一種跨維度人臉地標點定位的方法，其特征在于:所述的步驟 3) 中所述的基于在線LCC的三維人臉地標點定位算法具體是： 31) 通過標注三維地標點可以將不同的三維人臉進行對齊，從而使不同的三維人臉具 有相同數(shù)目的頂點，在此基礎(chǔ)上，構(gòu)造三維人臉+三維地標點耦合數(shù)據(jù)； 32) 對于第i個數(shù)據(jù)樣本xi:xi= {xf(i)，xi(i)}，其中M(i)是第i個數(shù)據(jù)樣本的三維人 臉，XI(i)是第i個數(shù)據(jù)樣本的三維地標點，進行LCC耦合字典學習，獲得該字典的基如下：其中字典表示為〇={〇￡，〇1} = {{心（]_)，(11(]_)}}]_￡[1，1(]，其中1(表示樣本個數(shù)，〇￡是三 維人臉字典，df(j)是第j個數(shù)據(jù)樣本的三維人臉字典，Di是三維地標點字典，cU(j)是第j個 數(shù)據(jù)樣本的三維地標點字典，山是第j個數(shù)據(jù)樣本的三維人臉地點字典和三維地標點字典 組成的字典，cu是第i個數(shù)據(jù)樣本字典山的系數(shù)向量，是第i個數(shù)據(jù)樣本字典到第j個數(shù)據(jù) 樣本字典的映射向量，μ是權(quán)重系數(shù)；由于求解上式的時間開銷較大，因此引入在線求解算 法取得快速收斂，其迭代策略為：其中Dt是每次迭代求得到字典表示： af是^的轉(zhuǎn)置，At和Bt是每次迭代求得的基所對應(yīng)的系數(shù)分布，t表示迭代次數(shù)； 33) 在獲得字典的基之后，對于給定新的三維人臉Xf，可以很方便地獲得其三維人臉字 典Df的系數(shù)向量α，直接將α應(yīng)用于三維人臉地標點字典Di，從而估計給定三維人臉的地標點 坐標如下： XI = Σ?ια,式 3 根據(jù)估計結(jié)果可以在給定三維人臉上進行準確的地標點定位。3. 根據(jù)權(quán)利要求1所述的一種跨維度人臉地標點定位的方法，其特征在于:所述的步驟 4) 中所述的跨維度人臉地標點定位算法具體是： 考慮二維-三維耦合人臉之間的類質(zhì)同象特性，在獲得三維人臉錨點及其對應(yīng)二維 人臉錨點的檢測之后，通過最小二乘法求解三維人臉到二維人臉的投影變換矩陣Η如 下：其中Η是一個2X3矩陣，而我們擁有6組錨點，因此上式可解，進而，將Η應(yīng)用于已經(jīng)定位 的三維人臉地標點獲得對應(yīng)的二維人臉地標點坐標：從而實現(xiàn)跨維度的人臉地標點定位。
【文檔編號】G06K9/00GK105825187SQ201610149949
【公開日】2016年8月3日
【申請日】2016年3月16日
【發(fā)明人】宋明黎, 高珊, 孫立, 周星辰, 陳純
【申請人】浙江大學