本申請涉及用于估計人臉圖像的人臉關(guān)鍵點的方法，以及用于估計人臉圖像的人臉關(guān)鍵點的系統(tǒng)。

背景技術(shù)：

人臉對齊是各種人臉分析的關(guān)鍵部分，諸如，人臉驗證和表情分類。已經(jīng)公布了各種基準(zhǔn)數(shù)據(jù)集，每個數(shù)據(jù)集含有大量加了標(biāo)簽的圖像。盡管在收集數(shù)據(jù)集時盡可能使得數(shù)據(jù)集豐富且多樣化，但實際上，數(shù)據(jù)集固有的偏差是不可避免的。

偏差的呈現(xiàn)形式是：數(shù)據(jù)集上存在的不同特征和分布。例如，一個集主要含有多數(shù)是正臉的白種高加索男性，而另一集由帶有各種姿勢或嚴(yán)重遮擋的頗具挑戰(zhàn)性的樣本組成。此外，在數(shù)據(jù)集上，輪廓視圖(profileviews)之間的分布差異可相差幾乎10％以上。顯然，在一個數(shù)據(jù)集上強制訓(xùn)練模型將容易導(dǎo)致過度擬合，并且導(dǎo)致在未知領(lǐng)域中表現(xiàn)會較差。為了改善一般化(generalization)，具有實際意義的是將不同數(shù)據(jù)集組合，以便利用多個來源的特征和分布。然而，由于需要在數(shù)據(jù)庫融合成為可能之前付出大量努力對標(biāo)注差距(annotationgap)進行標(biāo)準(zhǔn)化，因此該想法被阻礙。

技術(shù)實現(xiàn)要素：

在本申請的一方面，公開用于估計人臉圖像的人臉關(guān)鍵點的方法，該方法包括：

獲取具有第一類型關(guān)鍵點標(biāo)注的第一人臉圖像數(shù)據(jù)集和具有第二類型關(guān)鍵點標(biāo)注的第二人臉圖像數(shù)據(jù)集；

將第一類型關(guān)鍵點標(biāo)注從第一人臉圖像數(shù)據(jù)集轉(zhuǎn)移到第二人臉圖像數(shù)據(jù)集，以獲取第二人臉圖像數(shù)據(jù)集的偽第一類型標(biāo)注；以及

將具有偽第二類型關(guān)鍵點標(biāo)注的第二人臉圖像數(shù)據(jù)集和第一人臉圖像數(shù)據(jù)集進行組合，以使第二人臉圖像數(shù)據(jù)集具有第一類型關(guān)鍵點標(biāo)注。

在本申請的另一方面，公開用于估計人臉圖像的人臉關(guān)鍵點的系統(tǒng)，該系統(tǒng)包括：

轉(zhuǎn)移對齊裝置，其被配置成獲取具有第一類型關(guān)鍵點標(biāo)注的第一人臉圖像數(shù)據(jù)集和具有第二類型關(guān)鍵點標(biāo)注的第二人臉圖像數(shù)據(jù)集，并且將第一類型關(guān)鍵點標(biāo)注從第一人臉圖像數(shù)據(jù)集轉(zhuǎn)移到第二人臉圖像數(shù)據(jù)集，以獲取第二人臉圖像數(shù)據(jù)集的偽第一類型標(biāo)注；以及

數(shù)據(jù)增補裝置，其被配置成將具有偽第二類型關(guān)鍵點標(biāo)注的第二人臉圖像數(shù)據(jù)集和第一人臉圖像數(shù)據(jù)集進行組合，以使第二人臉圖像數(shù)據(jù)集具有第一類型關(guān)鍵點標(biāo)注。

附圖說明

下文參考附圖描述本發(fā)明的示例性非限制實施例。附圖是說明性的，并且一般不按確切比例。不同圖上的相同或類似元件引用相同的附圖標(biāo)號。

圖1是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移人臉關(guān)鍵點標(biāo)注的示例性系統(tǒng)100的示意圖。

圖2是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移對齊裝置10的示例性框圖的示意圖。

圖3示出用來展示單元101到106如何協(xié)作以獲取新訓(xùn)練集的偽s型標(biāo)注的過程200的流程圖。

圖4是示出符合本申請的一些公開實施例的用于轉(zhuǎn)移模型訓(xùn)練單元的詳細過程的示意流程圖。

圖5示出符合本申請的另一公開實施例的數(shù)據(jù)增補裝置的過程的流程圖。

圖6是示出根據(jù)本申請的一個實施例的用于確定人臉關(guān)鍵點的示例性系統(tǒng)的示意圖。

圖7示出根據(jù)本申請的一個實施例的訓(xùn)練裝置訓(xùn)練預(yù)測裝置的過程的流程圖。

圖8示出根據(jù)本申請的一個實施例的用于預(yù)測裝置的詳細過程的流程圖。

具體實施方式

現(xiàn)在將詳細參考示例性實施例，這些實施例的示例將在附圖中說明。在適當(dāng)?shù)臅r候，附圖中相同的附圖標(biāo)號始終指代相同或相似部分。

圖1是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移人臉關(guān)鍵點標(biāo)注的示例性系統(tǒng)100的示意圖。如圖1所示，用于轉(zhuǎn)移人臉關(guān)鍵點標(biāo)注的系統(tǒng)100可包括轉(zhuǎn)移對齊裝置10和數(shù)據(jù)增補裝置20。

轉(zhuǎn)移對齊裝置10被配置成獲取具有s型關(guān)鍵點標(biāo)注的第一人臉圖像的第一(原始)訓(xùn)練集(下文也稱為“集1”)和具有t型關(guān)鍵點標(biāo)注的第二(新)訓(xùn)練集(下文也稱為“集2”)，并且將s型關(guān)鍵點標(biāo)注從原始人臉圖像數(shù)據(jù)集(訓(xùn)練數(shù)據(jù)集)轉(zhuǎn)移到新訓(xùn)練集，以便獲取新訓(xùn)練集的偽s型標(biāo)注。在本申請的實施例中，關(guān)鍵點標(biāo)注可包括給定人臉圖像上的人臉關(guān)鍵點，諸如，眼睛、鼻子和嘴角。數(shù)據(jù)增補裝置20便被配置成將具有偽s型關(guān)鍵點標(biāo)注的新訓(xùn)練集和原始訓(xùn)練集組合成經(jīng)增補的數(shù)據(jù)訓(xùn)練集，即，使新訓(xùn)練集具有s型關(guān)鍵點標(biāo)注。根據(jù)本申請的一些實施例，s型可更密集，具有多個(例如，194個或更多)關(guān)鍵點，甚至人臉外輪廓都被標(biāo)注，而t型可更稀疏，只具有僅在眼睛和嘴角上的少許(例如，5個)關(guān)鍵點。

只有在提供新訓(xùn)練集上的t型標(biāo)注時，這個轉(zhuǎn)移對齊裝置10才可預(yù)測新訓(xùn)練數(shù)據(jù)集上的s型標(biāo)注。但本申請的目標(biāo)是預(yù)測任意輸入人臉圖像的s型標(biāo)注，使得不需要t型標(biāo)注來預(yù)測關(guān)鍵點標(biāo)注。由于包括比新訓(xùn)練數(shù)據(jù)集更多樣的訓(xùn)練樣本，因此，可得到用于預(yù)測人臉圖像的s型關(guān)鍵點的更穩(wěn)健模型。

在本申請的一個實施例中，轉(zhuǎn)移對齊裝置還被配置成從第一類型關(guān)鍵點與第二類型關(guān)鍵點標(biāo)注之間的公用關(guān)鍵點索引、初始第一類型標(biāo)注和第一人臉圖像數(shù)據(jù)集中確定轉(zhuǎn)移模型{mpca,k,mreg,k}；并且基于轉(zhuǎn)移模型，將第一關(guān)鍵點標(biāo)注從第一人臉圖像數(shù)據(jù)集轉(zhuǎn)移到第二人臉圖像數(shù)據(jù)集，以獲取第二人臉圖像數(shù)據(jù)集的偽第一類型標(biāo)注。圖2是示出根據(jù)本申請的一個實施例的用于轉(zhuǎn)移對齊裝置10的示例性框圖的示意圖。如圖2所示，轉(zhuǎn)移對齊裝置10可包括公用關(guān)鍵點確定單元101、映射單元102、第一標(biāo)注估計單元103、轉(zhuǎn)移模型單元104、第二標(biāo)注估計單元105和偽標(biāo)注確定單元106。

圖3示出用來展示單元101到106如何協(xié)作以獲取新訓(xùn)練集的偽s型標(biāo)注的過程300的流程圖。

在步驟s301處，公用關(guān)鍵點確定單元101操作以獲取具有s型關(guān)鍵點標(biāo)注的第一人臉圖像的第一訓(xùn)練集{i1,xs,b1}(集1)和具有t型關(guān)鍵點標(biāo)注的第二訓(xùn)練集{i2,xt,b2}(集2)，其中第一和第二訓(xùn)練集分別包括圖像i1和圖像i2中的每個人臉的邊界框b1和b2，其中ii表示來自具有索引i的訓(xùn)練圖像集的人臉圖像，xk表示關(guān)鍵點位置(在x-y坐標(biāo)中)，并且b1和b2分別表示圖像i1和圖像i2的邊界框。然后，公用關(guān)鍵點確定單元101確定兩個類型的標(biāo)注(即，數(shù)據(jù)集1中的s型關(guān)鍵點標(biāo)注和數(shù)據(jù)集2中的t型關(guān)鍵點標(biāo)注)的多個公用關(guān)鍵點索引(xs)common。在實施例中，公用關(guān)鍵點(xs)common存在于數(shù)據(jù)集1和數(shù)據(jù)集2上。公用關(guān)鍵點標(biāo)注被定義為以不同數(shù)據(jù)集上的決定性語義定義良好地標(biāo)識的人臉關(guān)鍵點，諸如，左眼角和右眼角、嘴角和瞳孔中心。

在步驟s302處，映射單元102操作以獲得從公用關(guān)鍵點標(biāo)注索引(xs)common到原始訓(xùn)練集(即，集1)中的s型關(guān)鍵點xs的映射矩陣t。為了獲得映射，可使用簡單線性回歸，并且一般學(xué)習(xí)方案是其中xsc是(xs)common的縮寫，并且‘(xs)common*t’中的‘*’是指矩陣相乘，而不是卷積。

在步驟s303處，第一標(biāo)注估計單元103操作以根據(jù)下列規(guī)則，基于從步驟s201中獲取的公用關(guān)鍵點(xs)common和從步驟s202中獲取的映射t來計算數(shù)據(jù)集1上的初始或估計的s型標(biāo)注x：

x＝(xs)common*t。1)

在步驟s304處，轉(zhuǎn)移模型訓(xùn)練單元104操作以從來自步驟s301的公用關(guān)鍵點索引(xs)common、初始s型標(biāo)注x和具有s型關(guān)鍵點標(biāo)注的第一訓(xùn)練數(shù)據(jù)集{i1,xs,b1}(即，數(shù)據(jù)集1)中確定轉(zhuǎn)移模型m，這將在之后參考圖4論述。

在步驟s305處，第二標(biāo)注估計單元105接收新訓(xùn)練數(shù)據(jù)集(即，集2)(具有t型標(biāo)注{i2,xt,b2})并且根據(jù)下列規(guī)則，使用從s302獲取的映射t和從s301獲取的公用關(guān)鍵點索引(xt)common來得到新訓(xùn)練數(shù)據(jù)集(數(shù)據(jù)集2)的初始化/估計的標(biāo)注x：

x＝(xt)common*t。2)

在步驟s306處，針對迭代k中的每個，偽標(biāo)注確定單元106操作以提取數(shù)據(jù)集1的局部外貌信息φ(x)和只針對公用關(guān)鍵點(xs)common的特征雅可比行列式φ(x^*)-φ(x)，然后根據(jù)下列規(guī)則，將局部外貌信息φ(x)和特征雅可比行列式連接，作為特征f：

f(x)＝[(φ(x^*)-φ(x))common,φ(x)private]3)

其中[]是指矩陣連接，

φ(x)是根據(jù)坐標(biāo)x來提取局部sift(尺度不變特征變換)特征，并且sift將被作為未知框。

然后，偽標(biāo)注確定單元106操作以根據(jù)下列規(guī)則，基于轉(zhuǎn)移模型m來計算估計的標(biāo)注誤差δx：

δx＝mreg(mpca(f))4)

其中mpca將原始特征變換成pca(主成分分析)特征，mreg將pca特征變換成回歸位移目標(biāo)。

偽標(biāo)注確定單元106然后根據(jù)公式5)的規(guī)則來更新當(dāng)前估計的標(biāo)注x，并且從最后的迭代中輸出x，即，偽標(biāo)注

x＝x+δx5)

在下文中，將參考圖4進一步論述轉(zhuǎn)移模型訓(xùn)練單元104的詳細過程。

在步驟s3041處，將由轉(zhuǎn)移模型訓(xùn)練單元104來準(zhǔn)備訓(xùn)練數(shù)據(jù)集。具體地說，轉(zhuǎn)移模型訓(xùn)練單元104接收具有s型關(guān)鍵點標(biāo)注的第一人臉圖像的第一訓(xùn)練數(shù)據(jù)集{i1,xs}(數(shù)據(jù)集1)并且準(zhǔn)備下列數(shù)據(jù)，然后開始針對k個迭代進行訓(xùn)練：

1)公用關(guān)鍵點索引(xs)common，

2)人臉圖像i＝i1，

3)初始化/估計的標(biāo)注x

4)基本真實標(biāo)注x^*＝xs

在步驟s3042處，轉(zhuǎn)移模型訓(xùn)練單元104操作以提?。?1)數(shù)據(jù)集1的局部外貌信息φ(x)，和(2)只針對公用關(guān)鍵點(xs)common的特征雅可比行列式φ(x^*)-φ(x)，然后根據(jù)公式3)的規(guī)則將這兩部分(1)和(2)連接，作為特征f，如上文所述。

在s3043處，轉(zhuǎn)移模型訓(xùn)練單元104根據(jù)δx＝x^*-x的規(guī)則來計算估計的當(dāng)前形狀x與基本真實形狀x^*之間的相異度。

在s3044處，轉(zhuǎn)移模型訓(xùn)練單元104經(jīng)由對特征f執(zhí)行pca分析來得到pca投影模型mpca；并且經(jīng)由嶺回歸得到從pca投影特征到相異度的映射mreg。在本申請的一個實施例中，出于訓(xùn)練的目的，使用奇異值分解來執(zhí)行主成分分析(pca)，從而輸出含有均值向量和投影系數(shù)的pca投影模型mpca。在測試階段，通過首先減去具有均值向量的原始特征，然后執(zhí)行與投影系數(shù)的矩陣相乘來獲取pca投影特征。嶺回歸(ridgeregression)是含有系數(shù)和偏差的映射函數(shù)，它將用來獲取δx，如等式4所示。

在步驟s3045處，轉(zhuǎn)移模型訓(xùn)練單元104操作以確定估計的形狀是否收斂到基本真實形狀。如果是的話，那么在步驟s2046處，轉(zhuǎn)移模型訓(xùn)練單元104將根據(jù)下列規(guī)則來確定轉(zhuǎn)移模型m(含有用于每個迭代的pca(主成分分析)投影模型和映射函數(shù))：

否則，在步驟s3047處，將估計的標(biāo)注更新為x＝x+mreg(mpca(f))，然后將它輸入到步驟s3041。

在下文中，將詳細論述數(shù)據(jù)增補裝置20。如上文所述，數(shù)據(jù)增補裝置20被配置成將具有偽s型關(guān)鍵點標(biāo)注的新訓(xùn)練集和原始訓(xùn)練集組合成經(jīng)增補的數(shù)據(jù)訓(xùn)練集。用于新訓(xùn)練集的s型關(guān)鍵點標(biāo)注可不準(zhǔn)確，所以它被稱為“偽s型標(biāo)注”，因此需要然后的數(shù)據(jù)增補過程，以從偽s型標(biāo)注中移除誤差。

圖5示出數(shù)據(jù)增補裝置20的過程的流程圖500。具體而言，在步驟s501處，數(shù)據(jù)增補裝置20操作以通過將估計的公用關(guān)鍵點和基本真實公用關(guān)鍵點進行比較來從新訓(xùn)練數(shù)據(jù)集的偽s型關(guān)鍵點標(biāo)注中過濾錯誤轉(zhuǎn)移的標(biāo)注，以便得到清理后的訓(xùn)練集在步驟502處，數(shù)據(jù)增補裝置20接收原始訓(xùn)練集(數(shù)據(jù)集1)(具有s型關(guān)鍵點標(biāo)注{i1,xs,b1})，然后將清理后的新訓(xùn)練集與原始訓(xùn)練集進行組合，以獲取{ia,xs,b}。

圖6是示出根據(jù)本申請的一個實施例的用于確定人臉關(guān)鍵點的示例性系統(tǒng)1000的示意圖。如圖6所示，除了轉(zhuǎn)移對齊裝置10和數(shù)據(jù)增補裝置20之外，系統(tǒng)1000還可包括訓(xùn)練裝置30和預(yù)測裝置40。系統(tǒng)1000中的轉(zhuǎn)移對齊裝置10和數(shù)據(jù)增補裝置20的操作與系統(tǒng)100的那些裝置相同，因此，下文將省略它們的詳細描述。

由數(shù)據(jù)增補裝置20生成的組合數(shù)據(jù)集可被作為訓(xùn)練裝置30用來訓(xùn)練預(yù)測裝置40的預(yù)定訓(xùn)練集。

圖7示出訓(xùn)練裝置30訓(xùn)練預(yù)測裝置40的過程的流程圖700。在步驟s701處，訓(xùn)練裝置30接收來自數(shù)據(jù)增補裝置20的具有圖像的邊界框的經(jīng)增補訓(xùn)練集{ia,xs,b}，然后學(xué)習(xí)初始化函數(shù)init(b)，以估計初始關(guān)鍵點與邊界框b之間的關(guān)系，以便根據(jù)邊界框b和學(xué)習(xí)的init(b)來得到初始化的關(guān)鍵點x?？芍庇^地確定函數(shù)intit。例如，它可相對于邊界框來生成初始關(guān)鍵點，例如，以定位初始左眼中心，來自所有訓(xùn)練樣本的相對位置都將被平均地學(xué)習(xí)，然后它找到左眼位置(向上高度0.25且向左0.3)。如果存在具有上：100、下：200、左：500、右：600的測試樣本的邊界框，那么左眼中心的初始坐標(biāo)將是x＝530，y＝125。相對于左眼中心而言，本申請始終將0.25和0.3用于所有樣本，并且其他關(guān)鍵點相同。

在步驟s702處，將準(zhǔn)備訓(xùn)練數(shù)據(jù)集。具體地說，訓(xùn)練裝置30接收具有s型關(guān)鍵點標(biāo)注的第一人臉圖像的第一訓(xùn)練集{i1,xs}(數(shù)據(jù)集1)并且準(zhǔn)備下列數(shù)據(jù)，然后開始針對k個迭代進行訓(xùn)練：

人臉圖像i＝ia，

初始化/估計的標(biāo)注x

基本真實標(biāo)注x^*＝xs，

在步驟s703處，訓(xùn)練裝置30操作以提取經(jīng)增補訓(xùn)練集{ia,xs,b}的局部外貌信息φ(x)，并且將提取的局部外貌信息表示為特征f。

在步驟s704處，訓(xùn)練裝置30操作以根據(jù)δx＝x^*-x的規(guī)則來計算估計的當(dāng)前形狀x與基本真實形狀x^*之間的相異度δx。

在步驟s705處，訓(xùn)練裝置30經(jīng)由對特征f執(zhí)行pca(主成分分析)分析來得到pca投影模型mpca,k；并且經(jīng)由嶺回歸得到從pca投影特征到相異度的映射mreg,k。

在步驟s706處，訓(xùn)練裝置30操作以確定估計的形狀是否收斂到基本真實形狀。如果是的話，那么在步驟s707處，訓(xùn)練裝置30將確定模型m＝{mpca,k,mreg,k}，(含有用于每個迭代的pca投影模型和映射函數(shù))。

否則，在步驟s708處，將估計的標(biāo)準(zhǔn)更新為x＝x+mreg(mpca(f))，然后將它輸入到步驟s702，以重復(fù)步驟s703到s708，以便獲取穩(wěn)健模型訓(xùn)練模型m和初始化函數(shù)init(b)。

再次參考圖6，預(yù)測裝置40被配置成接收具有預(yù)先檢測的邊界框b的人臉圖像，并且預(yù)測人臉關(guān)鍵點位置，即，所接收的人臉圖像的人臉關(guān)鍵點的估計2d坐標(biāo)(x和y)。將參考圖8進一步論述預(yù)測裝置40的詳細過程。

在步驟s801處，預(yù)測裝置40得到來自訓(xùn)練裝置30的初始化函數(shù)init(b)，并且根據(jù)所接收的人臉圖像的邊界框b和init(b)來得到初始化的關(guān)鍵點x。在步驟s802處，預(yù)測裝置40得到來自訓(xùn)練裝置30的穩(wěn)健模型訓(xùn)練模型m，然后針對每個迭代，預(yù)測裝置40計算局部外貌信息φ(x)，作為特征f，并且根據(jù)δx＝mreg(mpca(f))的規(guī)則來計算估計的δx。然后，預(yù)測裝置40操作以根據(jù)x＝x+δx的規(guī)則來更新關(guān)鍵點x。最后，單元40從迭代k的最后迭代中輸出x。

在上文中，已經(jīng)在使用某一硬件或者硬件和軟件的組合來實施系統(tǒng)10和100的情況下論述了系統(tǒng)。應(yīng)了解，也可使用軟件來實施系統(tǒng)10和100。此外，本發(fā)明的實施例可適于計算機程序產(chǎn)品，所述計算機程序產(chǎn)品體現(xiàn)在含有計算機程序代碼的一個或多個計算機可讀存儲介質(zhì)上(包括但不限于，磁盤存儲器、cd-rom、光學(xué)存儲器等)。

在用軟件實施系統(tǒng)10和100的情況下，這些系統(tǒng)100可在下列中運行：通用計算機、計算機集群、主流計算機、專用于提供在線內(nèi)容的計算裝置，或者計算機網(wǎng)絡(luò)，所述計算機網(wǎng)絡(luò)包括一組以集中或分布方式操作的計算機。

盡管已描述了本發(fā)明的優(yōu)選示例，但在了解本發(fā)明基本概念后，本領(lǐng)域的技術(shù)人員可對這些示例進行變化或更改。所附權(quán)利要求書意圖包括落入本發(fā)明的范圍內(nèi)的優(yōu)選實例和所有變化或更改。

顯然，在不脫離本發(fā)明的精神和范圍的情況下，本領(lǐng)域的技術(shù)人員可對本發(fā)明進行變化或更改。因此，如果這些變化或更改屬于權(quán)利要求書和等效技術(shù)的范圍，那么它們也可落入本發(fā)明的范圍內(nèi)。