人臉關(guān)鍵特征點(diǎn)檢測(cè)模型的訓(xùn)練、檢測(cè)方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)視覺處理領(lǐng)域，特別是涉及一種人臉關(guān)鍵特征點(diǎn)檢測(cè)模型訓(xùn)練 方法及系統(tǒng)、檢測(cè)方法及系統(tǒng)。
【背景技術(shù)】
[0002] 人臉關(guān)鍵特征點(diǎn)是人臉識(shí)別、表情識(shí)別等人臉處理技術(shù)的基礎(chǔ)，臉部特征點(diǎn)定位 的性能很大程度上影響著人臉檢測(cè)方法的精度。在所有的臉部特征點(diǎn)中，雙眼、嘴巴、鼻尖 及眉等顯著性關(guān)鍵特征點(diǎn)最為重要，利用它們之間的距離比例來(lái)區(qū)分人臉。對(duì)于一般的應(yīng) 用，顯著性關(guān)鍵特征點(diǎn)已經(jīng)能夠滿足處理方法的需要，能夠?qū)⒉煌螤?、大小的人臉?duì)齊歸 一化，并為進(jìn)一步處理提供信息。此外，左/右眼、嘴巴、鼻尖及眉這六點(diǎn)也可以作為其它臉 部特征點(diǎn)定位的前提和基礎(chǔ)。此外，在人機(jī)交互以及娛樂領(lǐng)域，對(duì)于已知雙眼、嘴巴位置的 輸入人臉，可以對(duì)其進(jìn)行紋理、顏色、形狀等變換，產(chǎn)生各種有趣的圖片效果。眼睛特征點(diǎn)容 易受到包括姿態(tài)、光照、圖片質(zhì)量、頭發(fā)眼睛遮擋等因素的影響。而由人臉表情的變化引起 的嘴巴張開與閉合也影響著嘴巴的外觀。因此，精確準(zhǔn)確地檢測(cè)人臉關(guān)鍵特征點(diǎn)是一個(gè)困 難且需要解決的問題。
[0003] 人臉關(guān)鍵特征點(diǎn)的檢測(cè)可視為一個(gè)求解最優(yōu)的過(guò)程，將輸入的人臉圖片各個(gè)真 實(shí)關(guān)鍵特征點(diǎn)位置組成一個(gè)形狀向量I，估計(jì)形狀向量S_，使得估計(jì)值與真實(shí)值的誤差最 小，如下列公式所示：
[0005] 式⑴中，求解的方式多種多樣，早期使用較為普通的方法包括ASM、AAM、Stasm 等，ASM方法根據(jù)訓(xùn)練樣本各關(guān)鍵特征點(diǎn)的特征和位置分布，訓(xùn)練為一個(gè)形狀模型，利用該 形狀模型，即可找到最為接近的真實(shí)關(guān)鍵特征點(diǎn)的形狀向量。而AAM是基于ASM方式的改 進(jìn)，它的訓(xùn)練模型不僅包含形狀信息、也包含關(guān)鍵特征點(diǎn)周圍的紋理信息；基于ASM、AAM改 進(jìn)的關(guān)鍵特征點(diǎn)檢測(cè)方法，檢測(cè)對(duì)大角度、表情夸張、光照變化劇烈的人臉效果不夠理想， 對(duì)關(guān)鍵特征點(diǎn)的初始位置也非常敏感；Stasm算法在更新關(guān)鍵特征點(diǎn)位置時(shí)，使用了 2維的 梯度特征（HAT特征）代替1維的邊緣特征；Saragih方式使用非線性的模型訓(xùn)練AAM模 型。還有一種有監(jiān)督梯度方法（SupervisedDecentMethod，下文簡(jiǎn)稱為SDM)，求解非線性 的最小二乘問題，最終實(shí)現(xiàn)多角度、表情的人臉關(guān)鍵特征點(diǎn)檢測(cè)。以及局部二值特征回歸方 法（LocalBinaryFeaturesRegression，下文簡(jiǎn)稱為L(zhǎng)BF)采用了回歸算法學(xué)習(xí)局部二值 特征集，用來(lái)表達(dá)各關(guān)鍵特征點(diǎn)。該算法速度極快，在普通臺(tái)式機(jī)的運(yùn)行速度可以達(dá)到3000 幀/秒，且手機(jī)端也可達(dá)到300幀/秒。
[0006] 現(xiàn)有的檢測(cè)人臉關(guān)鍵特征點(diǎn)方法可概括為：首先，根據(jù)訓(xùn)練集的初始關(guān)鍵特征點(diǎn) 和真實(shí)關(guān)鍵特征點(diǎn)的特征信息，訓(xùn)練得到相應(yīng)回歸模型；其次，通過(guò)特征提取與結(jié)合回歸模 型，找到各關(guān)鍵特征點(diǎn)的最佳位置；雖然在多角度和光照下，提高了人臉關(guān)鍵特征點(diǎn)的檢測(cè) 精度，但仍然存在以下缺點(diǎn)：第一，針對(duì)于較大角度、夸張表情的人臉關(guān)鍵特征點(diǎn)檢測(cè)，檢測(cè) 精度遠(yuǎn)遠(yuǎn)不夠；第二，在與顯著性關(guān)鍵特征點(diǎn)相比而言，使用非顯著性關(guān)鍵特征點(diǎn)檢測(cè)精度 較差；第三，針對(duì)光照分布不均勻或光線較暗的人臉，檢測(cè)的性能較差；第四，對(duì)于關(guān)鍵特 征點(diǎn)置信度的判別精度不高，容易產(chǎn)生誤檢。

【發(fā)明內(nèi)容】

[0007] 鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種人臉關(guān)鍵特征點(diǎn)檢測(cè) 模型訓(xùn)練方法及系統(tǒng)和人臉關(guān)鍵特征點(diǎn)檢測(cè)方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中在特殊情況 下，如：光線較差、光照不均勻、多姿態(tài)、不同表情下，人臉關(guān)鍵特征點(diǎn)檢測(cè)精度不高和容易 造成誤檢的問題。
[0008] 為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種人臉關(guān)鍵特征點(diǎn)檢測(cè)模型訓(xùn)練 方法，包括：
[0009]采用人臉檢測(cè)算法獲取輸入圖片的人臉位置；
[0010] 根據(jù)訓(xùn)練集的平均關(guān)鍵特征點(diǎn)與所述人臉位置，得到更新前的關(guān)鍵特征點(diǎn)初始位 置；
[0011] 根據(jù)真實(shí)關(guān)鍵特征點(diǎn)的位置，估計(jì)人臉的3D角度；根據(jù)該3D角度旋轉(zhuǎn)人臉3D模 型，將3D模型映射至2D空間，得到更新后的關(guān)鍵特征點(diǎn)初始位置；
[0012] 根據(jù)更新前、后的關(guān)鍵特征點(diǎn)初始位置差值以及更新前的關(guān)鍵特征點(diǎn)初始位置所 提取的區(qū)域特征，訓(xùn)練動(dòng)態(tài)初始化回歸模型；
[0013]根據(jù)所述更新后的關(guān)鍵特征點(diǎn)初始位置和真實(shí)關(guān)鍵特征點(diǎn)位置的距離差以及在 更新后的關(guān)鍵特征點(diǎn)初始位置提取的區(qū)域特征，訓(xùn)練級(jí)聯(lián)回歸模型。
[0014]本發(fā)明的另一目的在于提供一種人臉關(guān)鍵特征點(diǎn)檢測(cè)方法，包括：
[0015] 獲取輸入圖片的人臉位置；
[0016] 根據(jù)平均關(guān)鍵特征點(diǎn)與所述人臉位置，得到該輸入圖片更新前的關(guān)鍵特征點(diǎn)初始 位置；
[0017] 根據(jù)更新前的關(guān)鍵特征點(diǎn)初始位置以及所提取的區(qū)域特征，調(diào)用所述動(dòng)態(tài)初始化 回歸模型，得到更新后的關(guān)鍵特征點(diǎn)的初始位置；
[0018]根據(jù)更新后的關(guān)鍵特征點(diǎn)初始位置及所提取的區(qū)域特征，調(diào)用所述級(jí)聯(lián)回歸模型 計(jì)算人臉關(guān)鍵特征點(diǎn)位置；
[0019] 根據(jù)所述人臉關(guān)鍵特征位置將輸入圖片經(jīng)仿射變換得到對(duì)齊的人臉圖片，檢測(cè)所 述對(duì)齊的人臉圖片是否大于預(yù)設(shè)評(píng)測(cè)分?jǐn)?shù)，根據(jù)檢測(cè)結(jié)果判斷所述人臉關(guān)鍵特征點(diǎn)是否準(zhǔn) 確。
[0020] 本發(fā)明的另一目的在于提供一種人臉關(guān)鍵特征點(diǎn)檢測(cè)模型訓(xùn)練系統(tǒng)，包括：
[0021] 第一獲取模塊，適用于采用人臉檢測(cè)算法獲取輸入圖片的人臉位置；
[0022] 第一處理模塊，適用于根據(jù)訓(xùn)練集的平均關(guān)鍵特征點(diǎn)與所述人臉位置，得到更新 前的關(guān)鍵特征點(diǎn)初始位置；
[0023]第二處理模塊，適用于根據(jù)真實(shí)關(guān)鍵特征點(diǎn)的位置，估計(jì)人臉的3D角度；根據(jù)該 3D角度旋轉(zhuǎn)人臉3D模型，將3D模型映射至2D空間，得到更新后的關(guān)鍵特征點(diǎn)初始位置；
[0024]第一訓(xùn)練模塊，適用于根據(jù)更新前、后的關(guān)鍵特征點(diǎn)初始位置差值以及更新前的 關(guān)鍵特征點(diǎn)初始位置所提取的區(qū)域特征，訓(xùn)練動(dòng)態(tài)初始化回歸模型；
[0025] 第二訓(xùn)練模塊，適用于根據(jù)所述更新后的關(guān)鍵特征點(diǎn)初始位置和真實(shí)關(guān)鍵特征點(diǎn) 位置的距離差以及在更新后的關(guān)鍵特征點(diǎn)初始位置提取的區(qū)域特征，訓(xùn)練級(jí)聯(lián)回歸模型。
[0026] 本發(fā)明的另一目的在于提供一種人臉關(guān)鍵特征點(diǎn)檢測(cè)系統(tǒng)，包括：
[0027] 第二獲取模塊，適用于獲取輸入圖片的人臉位置；
[0028] 更新前處理模塊，適用于根據(jù)平均關(guān)鍵特征點(diǎn)與所述人臉位置，得到該輸入圖片 更新前的關(guān)鍵特征點(diǎn)初始位置；
[0029] 第一計(jì)算模塊，適用于根據(jù)更新前的關(guān)鍵特征點(diǎn)初始位置以及所提取的區(qū)域特 征，調(diào)用所述動(dòng)態(tài)初始化回歸模型，得到更新后的關(guān)鍵特征點(diǎn)的初始位置；
[0030] 第二計(jì)算模塊，適用于根據(jù)更新后的關(guān)鍵特征點(diǎn)初始位置及所提取的區(qū)域特征， 調(diào)用所述級(jí)聯(lián)回歸模型計(jì)算人臉關(guān)鍵特征點(diǎn)位置；
[0031] 檢測(cè)模塊，適用于根據(jù)所述人臉關(guān)鍵特征位置將輸入圖片經(jīng)仿射變換得到對(duì)齊的 人臉圖片，檢測(cè)所述對(duì)齊的人臉圖片是否大于預(yù)設(shè)評(píng)測(cè)分?jǐn)?shù)，根據(jù)檢測(cè)結(jié)果判斷所述人臉 關(guān)鍵特征點(diǎn)是否準(zhǔn)確。
[0032] 如上所述，本發(fā)明的人臉關(guān)鍵特征點(diǎn)檢測(cè)模型訓(xùn)練方法及系統(tǒng)、檢測(cè)方法及系統(tǒng)， 具有以下有益效果：
[0033] 在本發(fā)明實(shí)施例中，通過(guò)獲取輸入圖片中人臉位置，將人臉關(guān)鍵特征點(diǎn)周圍的圖 像塊進(jìn)行直方圖規(guī)定化處理，不僅減少了光線對(duì)關(guān)鍵特征點(diǎn)的影響，還在光線較差和光照 不均勻情況下，提高了人臉關(guān)鍵特征點(diǎn)的檢測(cè)精度；使用監(jiān)督下降法或局部二值特征回歸 法訓(xùn)練回歸模型，在動(dòng)態(tài)化回歸模型，使得初始狀態(tài)更為多樣化，能夠更好地適應(yīng)不同角度 的人臉關(guān)鍵特征點(diǎn)檢測(cè)；相對(duì)于固定不變的平均關(guān)鍵特征點(diǎn)初始化相比，動(dòng)態(tài)化的初始關(guān) 鍵特征點(diǎn)位置與真實(shí)關(guān)鍵特征點(diǎn)更為接近，能夠降低回歸模型訓(xùn)練的難度，從而提高訓(xùn)練 和檢測(cè)精度。同時(shí)，在訓(xùn)練過(guò)程中，對(duì)顯著性關(guān)鍵特征點(diǎn)和非顯著性關(guān)鍵特征點(diǎn)的距離衡量 中引入不同的權(quán)值系數(shù)，增強(qiáng)了非顯著性關(guān)鍵特征點(diǎn)在訓(xùn)練過(guò)程中的容錯(cuò)率，有助于增強(qiáng) 各個(gè)關(guān)鍵特征點(diǎn)檢測(cè)的穩(wěn)定性和準(zhǔn)確性。根據(jù)檢測(cè)到的關(guān)鍵特征點(diǎn)的位置對(duì)人臉圖片進(jìn)行 變換，再使用人臉檢測(cè)器估計(jì)人臉關(guān)鍵特征點(diǎn)的分值，與傳統(tǒng)的基于數(shù)量較小的關(guān)鍵特征 點(diǎn)訓(xùn)練集訓(xùn)練得到的關(guān)鍵特征點(diǎn)的檢測(cè)模型相比，采用由大量人臉數(shù)據(jù)訓(xùn)練得到的人臉檢 測(cè)模型通過(guò)預(yù)設(shè)分值判別更加精準(zhǔn)。
【附圖說(shuō)明】
[0034]圖