專利名稱：一種關(guān)鍵特征點(diǎn)定位的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像識別和處理技術(shù)，具體涉及一種關(guān)鍵特征點(diǎn)定位的方法和裝置。
背景技術(shù)：
隨著當(dāng)前計算機(jī)技術(shù)的迅速發(fā)展，計算機(jī)處理能力得到了大幅度的提升；與此同 時，模式識別、計算機(jī)視覺等領(lǐng)域的相關(guān)技術(shù)也取得了快速發(fā)展，人臉檢測作為相關(guān)領(lǐng)域研 究和應(yīng)用的熱點(diǎn)，在安全、娛樂、人機(jī)交互等許多領(lǐng)域都具有重要的實用價值并得到了廣泛 應(yīng)用。人臉檢測，是指采用人臉檢測、臉部特征點(diǎn)定位等技術(shù)獲取圖像中的人臉位置信 息，以該人臉位置信息為基礎(chǔ)通過一定的算法提取人臉圖像所包含的信息的一種方法。目 前，隨著人臉檢測和人臉識別相關(guān)的應(yīng)用逐漸增多，人臉檢測和識別的算法越來越多樣化、 算法的識別率也越來越高。但是許多人臉識別的算法并沒有達(dá)到該算法理論上應(yīng)有的識別 率，原因就在于決定算法識別率的不僅是這種算法本身在理論上的識別率，還與該算法處 理的圖像是否達(dá)到該算法的基本要求有關(guān)。如果所述圖像的前期預(yù)處理沒有達(dá)到該算法的 基本要求，比如對于一種人臉檢測算法，如果該算法進(jìn)行檢測和識別的人臉圖像上的臉部 特征點(diǎn)定位不準(zhǔn)確，則所述算法在這些錯誤或不準(zhǔn)確的臉部特征點(diǎn)基礎(chǔ)上進(jìn)行特征提取和 識別，顯然不可能獲得良好的識別效果。這種準(zhǔn)確定位出人臉圖像上的人臉特征點(diǎn)位置的 過程，通常稱為關(guān)鍵特征點(diǎn)定位?？梢?，影響識別算法的識別率的因素，不僅包括算法本身 的理論識別率，還與人臉是否有效對準(zhǔn)密切相關(guān)。從而，人臉的有效對準(zhǔn)是保證人臉識別 率的重要前提，而精確快速的臉部關(guān)鍵特征點(diǎn)定位技術(shù)則是人臉檢測技術(shù)實現(xiàn)的前提和基 礎(chǔ)。同時，所述的關(guān)鍵特征點(diǎn)定位除了應(yīng)用于人臉檢測外，還可以應(yīng)用在人臉動畫、表情特 效等其他多種場合當(dāng)中。為了提取人臉上的關(guān)鍵特征點(diǎn)，早期采用的方法包括基于人臉幾何特征的方法和 基于Adaboost的方法等，這些方法在進(jìn)行關(guān)鍵特征點(diǎn)匹配時主要是基于單個關(guān)鍵特征點(diǎn) 分布的規(guī)律進(jìn)行匹配，容易出現(xiàn)定位偏差，因此往往只能夠找到近似的關(guān)鍵點(diǎn)位置，最終選 出的關(guān)鍵點(diǎn)位置不是十分準(zhǔn)確——比如，將眼球點(diǎn)定位到眉毛、眼角點(diǎn)可能定位到眼球點(diǎn) 等；同時，所述方法的魯棒性較差，且對光照的影響比較敏感；因此，特征點(diǎn)定位的穩(wěn)定性 和可靠性不高；此外，還有一種基于彈性模板的方法，這種方法定位效果較好，但是由于算 法的復(fù)雜性，其確定最終關(guān)鍵特征點(diǎn)需要的處理時間通常較長，因此該算法僅能在實時性 要求不高的情況下使用，應(yīng)用范圍比較受限。

發(fā)明內(nèi)容
本發(fā)明提供一種關(guān)鍵特征點(diǎn)定位的方法和裝置，能夠精確、快速地實現(xiàn)人臉區(qū)域 中關(guān)鍵特征點(diǎn)的定位。為達(dá)到上述目的，本發(fā)明的技術(shù)方案具體是這樣實現(xiàn)的—種關(guān)鍵特征點(diǎn)定位的方法，該方法包括
對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū)域為待對準(zhǔn)圖像；提取待對 準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的邊緣圖；按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖中檢測得到所有候選特征點(diǎn)；從所述候選特 征點(diǎn)中選出與設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵 特征點(diǎn)。所述對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū)域為待對準(zhǔn)圖像的方法 包括利用預(yù)先訓(xùn)練得到的人臉檢測的Adaboost分類器模型判斷目標(biāo)圖像是否為人臉 圖像，如果是，確定所述目標(biāo)圖像中的人臉區(qū)域，將所述人臉區(qū)域作為待對準(zhǔn)圖像。當(dāng)利用預(yù)先訓(xùn)練得到的人臉檢測的Adaboost分類器模型判斷目標(biāo)圖像為人臉圖 像時并確定所述目標(biāo)圖像中的人臉區(qū)域后，將所述人臉區(qū)域作為待對準(zhǔn)圖像之前，該方法 包括對確定的人臉區(qū)域進(jìn)行歸一化處理，所述歸一化包括但不限于尺寸歸一化、光照 條件歸一化。所述提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的邊緣圖的方法包括提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的初始邊緣圖；對所述初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處理，得到用于進(jìn)行候選特征點(diǎn)檢測的 最終邊緣圖。對所述初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處理的方法包括計算每個連通域中包含的像素點(diǎn)個數(shù)，若連通域中包含的像素點(diǎn)個數(shù)小于設(shè)定的 噪聲閾值，則判定該連通域為噪點(diǎn)并將其從初始邊緣圖中去除；所述連通域包括邊緣曲線 或由邊緣曲線構(gòu)成的封閉區(qū)域；當(dāng)所述連通域為邊緣曲線時，連通域中包含的像素點(diǎn)個數(shù) 是指該邊緣曲線所占據(jù)的像素點(diǎn)的數(shù)目；而當(dāng)連通域為邊緣曲線構(gòu)成的封閉區(qū)域時，該連 通域包含的像素點(diǎn)個數(shù)則是指該封閉區(qū)域所包圍的所有像素點(diǎn)的總數(shù)目。所述將噪點(diǎn)從初始邊緣圖中去除之后，該方法進(jìn)一步包括對經(jīng)過噪點(diǎn)去除的初始邊緣圖，用邊緣膨脹的方法將每一個邊緣點(diǎn)膨脹到與其相 鄰的8個鄰域，如果膨脹后兩個邊緣曲線相連，則認(rèn)為所述的兩條邊緣曲線需要進(jìn)行連接； 其中，所述邊緣點(diǎn)為邊緣曲線兩端的端點(diǎn)；對于需要進(jìn)行連接的邊緣曲線，計算兩個邊緣曲線的方向；若兩個邊緣曲線的方 向夾角在預(yù)設(shè)的角度范圍內(nèi)，則將所述兩個邊緣曲線上距離最近的端點(diǎn)直接連接；否則，計 算兩個邊緣曲線的交點(diǎn)如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離小于預(yù)設(shè)的距離閾 值，則以此交點(diǎn)作為連接點(diǎn)將兩個邊緣點(diǎn)連接起來；如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn) 的距離達(dá)到或超過所述距離閾值，則不進(jìn)行連接。所述將需要連接的邊緣曲線連接之后，該方法進(jìn)一步包括對于從同一像素點(diǎn)出發(fā)的多條邊緣曲線，計算相鄰的兩條邊緣曲線的夾角，當(dāng)夾 角小于設(shè)定的合并閾值時，將所述兩條邊緣曲線合并為一條邊緣曲線，合并的方法包括若 一條邊緣曲線的長度為另一條邊緣曲線長度的兩倍或以上，則直接刪除較短的邊緣曲線， 并以較長的邊緣曲線作為合并后的邊緣曲線；若一條邊緣曲線的長度未超過另一條邊緣曲 線長度的兩倍，則對兩條邊緣曲線進(jìn)行曲線擬合。
7
所述按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖中檢測得到所有候選特征點(diǎn)的方法包 括從邊緣圖的各點(diǎn)中，選出所有符合預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)的各點(diǎn)作為候選特征 點(diǎn)，所述特征點(diǎn)選擇標(biāo)準(zhǔn)包括在邊緣圖中，由該點(diǎn)至少引出兩條不同方向的邊緣曲線，且 所述不同方向的邊緣曲線間的夾角在設(shè)定的候選角度范圍內(nèi)。從所述候選特征點(diǎn)中選出與設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征 點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)的方法包括預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的訓(xùn)練樣本，經(jīng)過訓(xùn)練得到所述基 準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征；計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的 統(tǒng)計學(xué)特征的匹配度，選出其中匹配度最高的候選特征點(diǎn)組，作為最終確定的關(guān)鍵特征點(diǎn)， 所述基準(zhǔn)特征點(diǎn)組包括眼角和嘴角共6個位置。所述基準(zhǔn)特征點(diǎn)組包括第一特征組中的一個或多個特征點(diǎn)，與第二特征組中的一個或多個特征點(diǎn)所組 成的任意組合，其中，第一特征組包括眼角、眉毛、眉尖和眼球，第二特征組包括鼻孔、鼻 翼、嘴角和嘴唇。一種關(guān)鍵特征點(diǎn)定位的的裝置，該裝置包括待對準(zhǔn)圖像確定模塊，用于對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū) 域為待對準(zhǔn)圖像；邊緣圖獲取模塊，用于提取待對準(zhǔn)圖像確定模塊得到的待對準(zhǔn)圖像中的邊緣信 息，得到待對準(zhǔn)圖像的邊緣圖；候選點(diǎn)確定模塊，用于按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖獲取模塊得到的邊緣 圖中檢測得到所有候選特征點(diǎn)；關(guān)鍵特征點(diǎn)確定模塊，用于從候選點(diǎn)確定模塊得到的候選特征點(diǎn)中，選出與設(shè)定 的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)。所述待對準(zhǔn)圖像確定模塊包括人臉檢測單元，用于利用預(yù)先訓(xùn)練得到的人臉檢測的Adaboost分類器模型判斷 目標(biāo)圖像是否為人臉圖像，并在判斷目標(biāo)圖像為人臉圖像時通知人臉區(qū)域獲取單元；人臉區(qū)域獲取單元，用于接收人臉檢測單元的通知，確定人臉圖像中的人臉區(qū)域， 將所述人臉區(qū)域作為待對準(zhǔn)圖像。所述待對準(zhǔn)圖像確定模塊中進(jìn)一步包括歸一化處理單元；所述歸一化處理單元，用于對人臉區(qū)域獲取單元確定出的人臉區(qū)域進(jìn)行歸一化處 理，所述歸一化包括但不限于尺寸歸一化、光照條件歸一化；此時，所述人臉區(qū)域獲取單元，進(jìn)一步用于將歸一化處理后的人臉區(qū)域作為待對 準(zhǔn)圖像。所述邊緣圖獲取模塊包括邊緣信息提取單元，用于提取待對準(zhǔn)圖像確定模塊得到的待對準(zhǔn)圖像中的邊緣信 息，得到待對準(zhǔn)圖像的初始邊緣圖；預(yù)處理單元，用于對邊緣信息提取單元得到的初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處理，得到用于進(jìn)行候選特征點(diǎn)檢測的最終邊緣圖。所述預(yù)處理單元包括噪點(diǎn)去除子單元，用于計算每個連通域中包含的像素點(diǎn)個數(shù)，若連通域中包含的 像素點(diǎn)個數(shù)小于設(shè)定的噪聲閾值，則判定該連通域為噪點(diǎn)并將其從初始邊緣圖中去除；所 述連通域包括邊緣曲線或由邊緣曲線構(gòu)成的封閉區(qū)域；當(dāng)所述連通域為邊緣曲線時，連通 域中包含的像素點(diǎn)個數(shù)是指該邊緣曲線所占據(jù)的像素點(diǎn)的數(shù)目；而當(dāng)連通域為邊緣曲線構(gòu) 成的封閉區(qū)域時，該連通域包含的像素點(diǎn)個數(shù)則是指該封閉區(qū)域所包圍的所有像素點(diǎn)的總 數(shù)目。所述預(yù)處理單元還包括斷裂邊緣連接子單元，用于對噪點(diǎn)去除子單元處理后得到的邊緣圖，用邊緣膨脹 的方法將每一個邊緣點(diǎn)膨脹到與其相鄰的8個鄰域，如果膨脹后兩個邊緣曲線相連，則認(rèn) 為所述的兩條邊緣曲線需要進(jìn)行連接；其中，所述邊緣點(diǎn)為邊緣曲線兩端的端點(diǎn)；對于需要進(jìn)行連接的邊緣曲線，計算兩個邊緣曲線的方向；若兩個邊緣曲線的方 向夾角在預(yù)設(shè)的角度范圍內(nèi)，則采用最短距離的方式將所述邊緣點(diǎn)進(jìn)行連接；否則，計算兩 個邊緣曲線的交點(diǎn)如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離小于預(yù)設(shè)的距離閾值，則 以此交點(diǎn)作為連接點(diǎn)將兩個邊緣點(diǎn)連接起來；如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離 達(dá)到或超過所述距離閾值，則將兩個邊緣的端點(diǎn)直接連接起來。所述預(yù)處理單元還包括邊緣分支合并子單元，用于接收斷裂邊緣連接子單元處理后得到的邊緣圖，對其 中從同一像素點(diǎn)出發(fā)的多條邊緣曲線，計算相鄰的兩條邊緣曲線的夾角，當(dāng)夾角小于設(shè)定 的合并閾值時，將所述兩條邊緣曲線合并為一條邊緣曲線，合并的方法包括若一條邊緣曲 線的長度為另一條邊緣曲線長度的兩倍或以上，則直接刪除較短的邊緣曲線，并以較長的 邊緣曲線作為合并后的邊緣曲線；若一條邊緣曲線的長度未超過另一條邊緣曲線長度的兩 倍，則對兩條邊緣曲線進(jìn)行曲線擬合。所述候選點(diǎn)確定模塊包括策略單元，用于保存預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)，所述特征點(diǎn)選擇標(biāo)準(zhǔn)包括在邊緣圖 中，由該點(diǎn)至少引出兩條不同方向的邊緣曲線，且所述不同方向的邊緣曲線間的夾角在設(shè) 定的候選角度范圍內(nèi)；選擇單元，用于從邊緣圖獲取模塊得到的邊緣圖的各點(diǎn)中，選出所有符合策略單 元中保存的特征點(diǎn)選擇標(biāo)準(zhǔn)的各點(diǎn)作為候選特征點(diǎn)。所述關(guān)鍵特征點(diǎn)確定模塊包括基準(zhǔn)組特征保存單元，用于預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的訓(xùn)練 樣本，經(jīng)過訓(xùn)練得到所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征，所述基準(zhǔn)特征點(diǎn) 組包括眼角和嘴角共6個位置；關(guān)鍵特征點(diǎn)選擇單元，用于計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn)組特 征保存單元中保存的基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征的匹配度，選出其中匹 配度最高的候選特征點(diǎn)組，作為最終確定的關(guān)鍵特征點(diǎn)。所述關(guān)鍵特征點(diǎn)確定模塊包括基準(zhǔn)組特征保存單元，用于預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的訓(xùn)
9練樣本，經(jīng)過訓(xùn)練得到所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征，所述基準(zhǔn)特征 點(diǎn)組包括第一特征組中的一個或多個特征點(diǎn)，與第二特征組中的一個或多個特征點(diǎn)所組 成的任意組合，其中，第一特征組包括眼角、眉毛、眉尖和眼球，第二特征組包括鼻孔、鼻 翼、嘴角和嘴唇；關(guān)鍵特征點(diǎn)選擇單元，用于計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn)組特 征保存單元中保存的基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征的匹配度，選出其中匹 配度最高的候選特征點(diǎn)組，作為最終確定的關(guān)鍵特征點(diǎn)。由上述的技術(shù)方案可見，本發(fā)明實施例提供的關(guān)鍵特征點(diǎn)定位的方法和裝置，通 過對人臉區(qū)域提取邊緣信息并按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)選出候選特征點(diǎn)，再將候選特征 點(diǎn)與預(yù)先設(shè)定的基準(zhǔn)特征點(diǎn)組進(jìn)行比對并選出匹配程度最高的作為最終的關(guān)鍵特征點(diǎn)，能 夠避免依靠單個關(guān)鍵特征點(diǎn)分布規(guī)律進(jìn)行匹配時容易出現(xiàn)的定位不準(zhǔn)的情況出現(xiàn)，因此能 夠比較精確地實現(xiàn)人臉區(qū)域中關(guān)鍵特征點(diǎn)的準(zhǔn)確定位，且該方案算法簡單、計算量較小，因 此還能夠同時實現(xiàn)關(guān)鍵特征點(diǎn)的快速定位。


圖1為本發(fā)明實施例中關(guān)鍵特征點(diǎn)定位的方法的流程示意圖。圖2為本發(fā)明實施例中由眼角和嘴角構(gòu)成的基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的 位置特征及用于表述所述位置特征的參數(shù)的示意圖。圖3為本發(fā)明實施例中關(guān)鍵特征點(diǎn)定位的裝置的組成結(jié)構(gòu)示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉實施例，對 本發(fā)明進(jìn)一步詳細(xì)說明。本發(fā)明實施例首先提供一種關(guān)鍵特征點(diǎn)定位的方法，該方法分為人臉檢測、人臉 區(qū)域邊緣提取、候選特征點(diǎn)提取和特征點(diǎn)匹配四個步驟，其具體流程如圖1所示，其中包 括步驟101 對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū)域為待對準(zhǔn)圖像；其中，在本步驟中，目標(biāo)圖像即為需要進(jìn)行關(guān)鍵特征點(diǎn)定位的輸入圖像，而所述對 目標(biāo)圖像進(jìn)行人臉檢測即為對目標(biāo)圖像進(jìn)行檢測并判斷該圖像中是否包含人臉區(qū)域的過 程，具體實現(xiàn)可以使用現(xiàn)有技術(shù)中各種人臉檢測的方法，本發(fā)明實施例不做具體限定，比如 應(yīng)用最為廣泛的方法即為基于Adaboost的分類器方法，此時，步驟101的方法包括利用預(yù)先訓(xùn)練得到的人臉檢測的分類器模型判斷目標(biāo)圖像是否為人臉圖像，如果 是，確定所述目標(biāo)圖像中的人臉區(qū)域，將所述人臉區(qū)域作為待對準(zhǔn)圖像。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)了解，所述基于Adaboost的分類器方法，就是預(yù)先采集大量 的人臉圖像，然后通過手工或者其他方式進(jìn)行標(biāo)定后分割出所述人臉圖像中的人臉區(qū)域， 將這些分割出來的人臉區(qū)域作為正樣本，此外還一并采集大量的非人臉圖像作為反樣本， 計算出正、反樣本在選定算法下的特征向量，所述選定算法下的特征向量可以是Harr特 征、HOG特征等現(xiàn)有技術(shù)中常用的特征向量，將計算得到的特征向量輸入到Adaboost分類 器的訓(xùn)練模塊進(jìn)行訓(xùn)練，從而得到用于人臉檢測的分類器模型。之后，利用該訓(xùn)練得到的分類器模型就可以對目標(biāo)圖像進(jìn)行人臉檢測，從而判斷出該目標(biāo)圖像中是否包含有人臉區(qū) 域，檢測的結(jié)果包括目標(biāo)圖像中是否包括人臉區(qū)域、以及人臉區(qū)域的位置、尺寸等相關(guān)信 息。由于該部分內(nèi)容為現(xiàn)有成熟技術(shù)，且本發(fā)明實施例在步驟101中并未對其進(jìn)行修改，因 此具體實現(xiàn)方式可以參見各種基于Adaboost分類器的人臉檢測算法的技術(shù)文獻(xiàn)，此處不 再詳細(xì)介紹。需要說明的是，由于目標(biāo)圖像的大小尺寸以及人臉區(qū)域在目標(biāo)圖像中的位置和大 小尺寸都不盡相同，如果人臉區(qū)域的面積過大，可能會導(dǎo)致后續(xù)處理過程中的計算量過大 而消耗過多的時間，而如果人臉區(qū)域的面積過小，又可能會導(dǎo)致后續(xù)特征點(diǎn)不夠明顯以至 于無法分辨和檢測，從而影響特征點(diǎn)定位的成功率，因此，為了便于后續(xù)流程的處理，在確 定目標(biāo)圖像中的人臉區(qū)域之后，將所述人臉區(qū)域作為待對準(zhǔn)圖像之前，該方法還可以進(jìn)一 步包括對所述人臉區(qū)域進(jìn)行歸一化處理，所述歸一化包括但不限于尺寸歸一化、光照條 件歸一化等。同時，在將歸一化處理后的人臉區(qū)域作為待對準(zhǔn)圖像之后(即步驟101和步驟102 之間)，還可以對所述待對準(zhǔn)圖像進(jìn)行一些與尺寸相關(guān)的濾波、抑制噪聲等操作，進(jìn)一步降 低后續(xù)步驟中的計算量和提高對準(zhǔn)速度。步驟102 提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的邊緣圖；所述步驟102包括提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的初始邊緣圖；對所述初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處理，得到用于進(jìn)行候選特征點(diǎn)檢測的 最終邊緣圖，所述預(yù)處理包括但不限于噪點(diǎn)去除、斷裂邊緣的連接、以及邊緣分支的篩選
與合并等。其中，所述提取待對準(zhǔn)圖像中的邊緣信息的目的是為了確定人臉區(qū)域中灰度變化 劇烈的地方，也就是灰度值在很小的區(qū)域內(nèi)由一個值急劇變化到差別較大的另一個值，這 些地方通常都是面部鑒別信息集中的地方。與步驟101類似，提取邊緣信息的方法同樣可 以采用現(xiàn)有技術(shù)中各種邊緣提取的方法，比如常用的Canny邊緣算子等，本發(fā)明實施例不 對其具體實現(xiàn)方式進(jìn)行限定。本領(lǐng)域技術(shù)人員可以參閱有關(guān)邊緣提取算法的資料，限于篇 幅，此處不做詳細(xì)介紹。而對所述初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處理，得到用于進(jìn)行候選特征點(diǎn)檢測 的最終邊緣圖的方法，則需要視乎預(yù)處理所包含的具體處理措施的種類決定，以下僅對上 述列舉出的幾種預(yù)處理措施的具體方法進(jìn)行簡單介紹，需要說明的是，所述預(yù)處理的步驟 是一個開放性的環(huán)節(jié)，任何有助于減少所述初始邊緣圖中的邊緣信息數(shù)量和邊緣信息復(fù)雜 程度的處理措施，都可以包括在所述的預(yù)處理環(huán)節(jié)當(dāng)中1、噪點(diǎn)去除提取邊緣后得到的初始邊緣圖中，不可避免的將會存在一些斷點(diǎn)和噪聲——比如 由于光照條件形成的陰影、人臉上的一些皮膚皺折或生理特征(比如痣、疤痕等)形成的邊 緣信息等，此時則需要去除這些噪點(diǎn)，具體方法包括計算每個連通域中包含的像素點(diǎn)個數(shù)，若連通域中包含的像素點(diǎn)個數(shù)小于設(shè)定的 噪聲閾值，則判定該連通域為噪點(diǎn)并將其從初始邊緣圖中去除；所述連通域可以是邊緣曲線、也可以是由邊緣曲線構(gòu)成的封閉區(qū)域，當(dāng)所述連通域為邊緣曲線時，該連通域包含的像 素點(diǎn)個數(shù)是指該邊緣曲線所占據(jù)的像素點(diǎn)的數(shù)目；而當(dāng)所述連通域為邊緣曲線構(gòu)成的封閉 區(qū)域時，該連通域包含的像素點(diǎn)個數(shù)則是指該封閉區(qū)域所包圍的所有像素點(diǎn)的總數(shù)目。進(jìn)一步地，還可以將所述噪聲閾值與人臉區(qū)域的尺寸關(guān)聯(lián)起來，比如設(shè)人臉區(qū)域 的寬度為W，設(shè)定噪聲系數(shù)為a，則對于各種不同尺寸的人臉區(qū)域，相應(yīng)的噪聲閾值即為 a W，從而能夠使得該噪聲閾值隨人臉區(qū)域的尺寸進(jìn)行適應(yīng)性的調(diào)整。2、斷裂邊緣的連接對于初始邊緣圖中得到的邊緣信息，由于邊緣強(qiáng)度不同或者光照等外部因素的影 響，某些人臉區(qū)域中實際上連續(xù)的邊緣在邊緣提取過程中出現(xiàn)斷裂，為了避免這種斷裂造 成的邊緣信息丟失，需要將這些斷裂邊緣連接起來。因此，首先需要判斷邊緣圖中的哪些邊 緣曲線是斷裂邊緣，具體方法包括對于經(jīng)過噪點(diǎn)去除處理的初始邊緣圖，用邊緣膨脹的方法將每一個邊緣點(diǎn)膨脹到 與其相鄰的8個鄰域，如果膨脹后兩個邊緣曲線相連，則認(rèn)為所述的兩條邊緣曲線需要進(jìn) 行連接；其中，所述邊緣點(diǎn)指邊緣曲線兩端的端點(diǎn)。通過上述步驟選出需要進(jìn)行連接的邊緣曲線后，接下來就需要將這些斷裂邊緣進(jìn) 行連接，具體方法包括對于需要進(jìn)行連接的邊緣曲線，通常有幾種情況一種是一條邊緣中間斷開為兩條或幾條邊緣，這種邊緣的中斷處的兩側(cè)的邊緣具 有方向相同或相似，如果將最近的端點(diǎn)進(jìn)行連接的話，連接部分的方向與原斷開部分的邊 緣的方向相同或相似。對于這種情況，采用連接最近的兩個端點(diǎn)的方式進(jìn)行連接——即，將 所述兩個邊緣曲線上距離最近的端點(diǎn)直接連接。另一種是角點(diǎn)處斷開，這種邊緣在某個位置應(yīng)該是個角點(diǎn)，可是此處邊緣未提取 到，使得角點(diǎn)消失，斷裂為兩個不同方向的邊緣。對于這種情況，計算兩個邊緣曲線的交點(diǎn)， 如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離小于某個預(yù)設(shè)的距離閾值，則以此交點(diǎn)作為連 接點(diǎn)將兩個邊緣連接起來。而如果交點(diǎn)到兩個邊緣的最近的點(diǎn)的距離達(dá)到或超過該預(yù)設(shè)的 距離閾值，則認(rèn)為這兩個邊緣不屬于同一個邊緣，不進(jìn)行連接。3、邊緣分支的篩選與合并由于從同一位置出發(fā)且同時存在兩條以上的邊緣分支的情況在人臉的邊緣圖中 是可能存在的，因此所述邊緣分支的篩選與合并的方法中，需要篩選與合并的只是夾角特 別小的邊緣分支。因此，所述邊緣分支的篩選與合并的方法包括對于從同一位置出發(fā)的多條邊緣分支，計算相鄰的兩個邊緣分支的夾角，如果夾 角過小(比如小于5度，當(dāng)然也可以設(shè)置為其他角度，具體本發(fā)明實施例中不做限定)，則合 并為同一個邊緣曲線，所述合并的方法是，如果一個邊緣分支的長度遠(yuǎn)大于另一個邊緣分 支(比如較長的邊緣分支為較短的邊緣分支長度的兩倍以上)，則刪除較短的邊緣分支，以 較長的邊緣分支作為合并后的邊緣曲線；否則，則對兩條邊緣分支進(jìn)行擬合，當(dāng)然，此處擬 合的具體方法可以采用各種現(xiàn)有的曲線擬合的算法實現(xiàn)，本發(fā)明實施例不做限定，由于相 關(guān)內(nèi)容同樣屬于本領(lǐng)域技術(shù)人員的慣用手段，此處不再一一舉例。步驟103 按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖中檢測得到所有候選特征點(diǎn)；本步驟的方法包括
從邊緣圖的各點(diǎn)中，選出所有符合預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)的各點(diǎn)作為候選特征 點(diǎn)，所述特征點(diǎn)選擇標(biāo)準(zhǔn)包括在邊緣圖中，由該點(diǎn)至少引出兩條不同方向的邊緣曲線，且 所述不同方向的邊緣曲線間的夾角在設(shè)定的候選角度范圍內(nèi)。步驟104 從所述候選特征點(diǎn)中選出與設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個 候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)。為了實現(xiàn)特征點(diǎn)定位，需要選擇人臉區(qū)域中具有明顯灰度變化的位置作為關(guān)鍵特 征點(diǎn)，通常選擇用于進(jìn)行定位的關(guān)鍵特征點(diǎn)是從眉尖/眉毛、眼球/眼角、鼻孔/鼻翼、嘴角 /嘴唇等中選出至少兩類或者更多，本發(fā)明實施例中選擇眼角和嘴角作為基準(zhǔn)特征點(diǎn)組，容 易理解，所述眼角和嘴角共包括每只眼睛的2個眼角和嘴的2個嘴角共6個點(diǎn)。相應(yīng)的， 此時的基準(zhǔn)特征點(diǎn)組即由眼角和嘴角構(gòu)成。在進(jìn)行匹配之前，預(yù)先選擇一批人臉圖像的訓(xùn)練樣本通過人工或其他方式標(biāo)定出 樣本中的嘴角和眼角，計算所述嘴角和眼角在人臉區(qū)域中分布的特征，得出基準(zhǔn)特征點(diǎn)組 在人臉區(qū)域中分布的統(tǒng)計學(xué)規(guī)律，比如如圖2所示，對于眼角和嘴角構(gòu)成的基準(zhǔn)特征點(diǎn)組， dl d5、h所表示的含義如圖2中所示，經(jīng)過大量訓(xùn)練樣本的計算和統(tǒng)計，可以得出眼角和 嘴角分布的統(tǒng)計學(xué)規(guī)律——比如dl/d2，dl/d3，d4/d5，dl/h，d2/h等都有其一定的分布規(guī) 律和取值范圍。之后，當(dāng)執(zhí)行到步驟104時，將步驟103中選出的候選特征點(diǎn)按照眼角和嘴角的 位置關(guān)系進(jìn)行組合，然后計算這些候選特征點(diǎn)組成的候選特征點(diǎn)組與所述從訓(xùn)練樣本中統(tǒng) 計出的基準(zhǔn)特征點(diǎn)組的匹配度，選出其中匹配程度最高的候選特征點(diǎn)組，則該候選特征點(diǎn) 組中的各候選特征點(diǎn)所在位置即為最終確定的特征點(diǎn)定位時所使用的關(guān)鍵特征點(diǎn)。計算 所述匹配度的方法可以采用現(xiàn)有技術(shù)中的各種匹配算法或其組合，本發(fā)明實施例對此不做 限定，比如可以采用的方法為枚舉所有候選特征點(diǎn)組成的候選特征點(diǎn)組，對每個特征候選 點(diǎn)組，計算各候選特征點(diǎn)對應(yīng)的各比值(即前文所述的比值dl/d2，dl/d3，d4/d5，dl/h和 d2/h)的均值和方差，判定方差值在基準(zhǔn)特征點(diǎn)組的3倍方差范圍內(nèi)的候選特征點(diǎn)為匹配 成功；計算每個候選特征點(diǎn)組中，各候選特征點(diǎn)對應(yīng)的比值與基準(zhǔn)特征點(diǎn)組的方差之和，每 個點(diǎn)都匹配成功且方差之和最小的一組候選特征點(diǎn)為最佳匹配組。如果沒有全部6個點(diǎn)都 匹配上的候選特征點(diǎn)組，可以繼續(xù)進(jìn)行5個候選特征點(diǎn)構(gòu)成的候選特征點(diǎn)組的匹配，匹配 方式與6點(diǎn)相同。如果存在匹配的5個候選特征點(diǎn)組成的候選特征點(diǎn)組，還可以進(jìn)一步利 用統(tǒng)計的方式計算出第6個特征點(diǎn)的最佳位置，作為最終得到的關(guān)鍵特征點(diǎn)組。當(dāng)然，也可 以采用其它的匹配算法進(jìn)行計算，限于篇幅不再一一列舉。本領(lǐng)域技術(shù)人員容易理解，所述計算候選特征點(diǎn)組與基準(zhǔn)特征點(diǎn)組的匹配度的方 法，可以采用現(xiàn)有技術(shù)中的各種成熟算法，此處不做一一列舉。最后，需要特別指出的是，前文中選用眼角和嘴角作為基準(zhǔn)特征點(diǎn)組只是本發(fā)明 實施方式的舉例，在實際應(yīng)用中，同樣可以采用其他的關(guān)鍵特征點(diǎn)的組合作為基準(zhǔn)特征點(diǎn) 組。當(dāng)然，在前文列舉的關(guān)鍵特征點(diǎn)中眉毛、眉尖和嘴唇的位置可能由于修眉、口紅及化妝 等而使得其位置不穩(wěn)定、形狀不規(guī)則；同時，眼球、嘴唇也會由于眼睛或嘴唇的動作而可能 具有較大的活動范圍，位置也不夠穩(wěn)定；因此，位置比較穩(wěn)定且形狀比較規(guī)則的關(guān)鍵特征點(diǎn) 包括眼角、鼻孔/鼻翼和嘴角，而又由于鼻孔和鼻翼在人臉區(qū)域中實質(zhì)上是一個區(qū)域而并 非一個像素點(diǎn)，進(jìn)行關(guān)鍵特征點(diǎn)定位時很難將定位結(jié)果精確到像素，而眼角和嘴角的位置則相對比較固定。因此，所述眼角和嘴角構(gòu)成的基準(zhǔn)特征點(diǎn)組應(yīng)當(dāng)具有最優(yōu)的實施效果，但 是其它選擇——比如眼角和嘴唇、或者嘴角和眼球等的組合，也同樣能夠?qū)崿F(xiàn)關(guān)鍵特征點(diǎn) 定位，只是在出現(xiàn)一些極端情況時，定位效果可能略差。即所述基準(zhǔn)特征點(diǎn)組，可以由第一 特征組中的一個或多個特征點(diǎn)，與第二特征組中的一個或多個特征點(diǎn)任意組合，其中，第一 特征組包括眼角、眉毛、眉尖和眼球，第二特征組包括鼻孔、鼻翼、嘴角和嘴唇。在所述方法的基礎(chǔ)上，本發(fā)明實施例還提供一種關(guān)鍵特征點(diǎn)定位的裝置，其組成 結(jié)構(gòu)如圖3所示，其中包括待對準(zhǔn)圖像確定模塊310、邊緣圖獲取模塊320、候選點(diǎn)確定模 塊330和關(guān)鍵特征點(diǎn)確定模塊340 ；待對準(zhǔn)圖像確定模塊310用于對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉 區(qū)域為待對準(zhǔn)圖像；邊緣圖獲取模塊320用于提取待對準(zhǔn)圖像確定模塊310得到的待對準(zhǔn)圖像中的邊 緣信息，得到待對準(zhǔn)圖像的邊緣圖；候選點(diǎn)確定模塊330用于按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖獲取模塊320得到 的邊緣圖中檢測得到所有候選特征點(diǎn)；關(guān)鍵特征點(diǎn)確定模塊340用于從候選點(diǎn)確定模塊330得到的候選特征點(diǎn)中，選出 與設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)。其中，所述待對準(zhǔn)圖像確定模塊310包括人臉檢測單元311和人臉區(qū)域獲取單元 312 ；人臉檢測單元311用于利用預(yù)先訓(xùn)練得到的人臉檢測的Adaboost分類器模型 判斷目標(biāo)圖像是否為人臉圖像，并在判斷目標(biāo)圖像為人臉圖像時通知人臉區(qū)域獲取單元 312 ；人臉區(qū)域獲取單元312用于接收人臉檢測單元311的通知，確定人臉圖像中的人 臉區(qū)域，將所述人臉區(qū)域作為待對準(zhǔn)圖像。所述待對準(zhǔn)圖像確定模塊310中，還可以進(jìn)一步包括歸一化處理單元313 ；所述歸一化處理單元313用于對人臉區(qū)域獲取單元311確定出的人臉區(qū)域進(jìn)行歸 一化處理，所述歸一化包括但不限于尺寸歸一化、光照條件歸一化；此時，所述人臉區(qū)域獲取單元312進(jìn)一步用于將歸一化處理后的人臉區(qū)域作為待 對準(zhǔn)圖像。所述邊緣圖獲取模塊320包括邊緣信息提取單元321和預(yù)處理單元322 ；邊緣信息提取單元321用于提取待對準(zhǔn)圖像確定模塊310得到的待對準(zhǔn)圖像中的 邊緣信息，得到待對準(zhǔn)圖像的初始邊緣圖；預(yù)處理單元322用于對邊緣信息提取單元321得到的初始邊緣圖進(jìn)行特征點(diǎn)檢測 前的預(yù)處理，得到用于進(jìn)行候選特征點(diǎn)檢測的最終邊緣圖。其中，所述預(yù)處理單元322中包括噪點(diǎn)去除子單元3221 ；噪點(diǎn)去除子單元3221用于計算每個連通域中包含的像素點(diǎn)個數(shù)，若連通域中包 含的像素點(diǎn)個數(shù)小于設(shè)定的噪聲閾值，則判定該連通域為噪點(diǎn)并將其從初始邊緣圖中去 除；所述連通域包括邊緣曲線或由邊緣曲線構(gòu)成的封閉區(qū)域；當(dāng)所述連通域為邊緣曲線 時，連通域中包含的像素點(diǎn)個數(shù)是指該邊緣曲線所占據(jù)的像素點(diǎn)的數(shù)目；而當(dāng)連通域為邊 緣曲線構(gòu)成的封閉區(qū)域時，該連通域包含的像素點(diǎn)個數(shù)則是指該封閉區(qū)域所包圍的所有像
14素點(diǎn)的總數(shù)目。較佳地，所述預(yù)處理單元322還包括斷裂邊緣連接子單元3222 ；斷裂邊緣連接子單元3222用于對噪點(diǎn)去除子單元3221處理后得到的邊緣圖，用 邊緣膨脹的方法將每一個邊緣點(diǎn)膨脹到與其相鄰的8個鄰域，如果膨脹后兩個邊緣曲線相 連，則認(rèn)為所述的兩條邊緣曲線需要進(jìn)行連接；其中，所述邊緣點(diǎn)為邊緣曲線兩端的端點(diǎn)；對于需要進(jìn)行連接的邊緣曲線，計算兩個邊緣曲線的方向；若兩個邊緣曲線的方 向夾角在預(yù)設(shè)的角度范圍內(nèi)，則將所述兩個邊緣曲線上距離最近的端點(diǎn)直接連接；否則，計 算兩個邊緣曲線的交點(diǎn)如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離小于預(yù)設(shè)的距離閾 值，則以此交點(diǎn)作為連接點(diǎn)將兩個邊緣點(diǎn)連接起來；如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn) 的距離達(dá)到或超過所述距離閾值，則不進(jìn)行連接。較佳地，所述預(yù)處理單元322還可以包括邊緣分支合并子單元3223 ；邊緣分支合并子單元3223用于接收斷裂邊緣連接子單元3222處理后得到的邊緣 圖，對其中從同一像素點(diǎn)出發(fā)的多條邊緣曲線，計算相鄰的兩條邊緣曲線的夾角，當(dāng)夾角小 于設(shè)定的合并閾值時，將所述兩條邊緣曲線合并為一條邊緣曲線，合并的方法包括若一條 邊緣曲線的長度為另一條邊緣曲線長度的兩倍或以上，則直接刪除較短的邊緣曲線，并以 較長的邊緣曲線作為合并后的邊緣曲線；若一條邊緣曲線的長度未超過另一條邊緣曲線長 度的兩倍，則對兩條邊緣曲線進(jìn)行曲線擬合。所述候選點(diǎn)確定模塊330包括策略單元331和選擇單元332 ；策略單元331用于保存預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)，所述特征點(diǎn)選擇標(biāo)準(zhǔn)包括在邊 緣圖中，由該點(diǎn)至少引出兩條不同方向的邊緣曲線，且所述不同方向的邊緣曲線間的夾角 在設(shè)定的候選角度范圍內(nèi)；選擇單元332用于從邊緣圖獲取模塊320得到的邊緣圖的各點(diǎn)中，選出所有符合 策略單元331中保存的特征點(diǎn)選擇標(biāo)準(zhǔn)的各點(diǎn)作為候選特征點(diǎn)。所述關(guān)鍵特征點(diǎn)確定模塊340包括基準(zhǔn)組特征保存單元341和關(guān)鍵特征點(diǎn)選擇 單元342 ；基準(zhǔn)組特征保存單元341用于預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的 訓(xùn)練樣本，經(jīng)過訓(xùn)練得到所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征，所述基準(zhǔn)特 征點(diǎn)組包括第一特征組中的一個或多個特征點(diǎn)，與第二特征組中的一個或多個特征點(diǎn)所 組成的任意組合，其中，第一特征組包括眼角、眉毛、眉尖和眼球，第二特征組包括鼻孔、 鼻翼、嘴角和嘴唇；關(guān)鍵特征點(diǎn)選擇單元342用于計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn) 組特征保存單元341中保存的基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征的匹配度，選 出其中匹配度最高的候選特征點(diǎn)組，作為最終確定的特征點(diǎn)定位所使用的關(guān)鍵特征點(diǎn)。需要特別指出的是，在實際應(yīng)用中，眉毛、眉尖和嘴唇的位置可能由于修眉、口紅 及化妝等而使得其位置不穩(wěn)定、形狀不規(guī)則；同時，眼球、嘴唇也會由于眼睛或嘴唇的動作 而可能具有較大的活動范圍，位置也不夠穩(wěn)定；因此，位置比較穩(wěn)定且形狀比較規(guī)則的關(guān)鍵 特征點(diǎn)包括眼角、鼻孔/鼻翼和嘴角，而又由于鼻孔和鼻翼在人臉區(qū)域中實質(zhì)上是一個區(qū) 域而并非一個像素點(diǎn)，進(jìn)行特征點(diǎn)定位時很難將定位結(jié)果精確到像素，而眼角和嘴角的位 置則相對比較固定。因此容易理解，所述眼角和嘴角構(gòu)成的基準(zhǔn)特征點(diǎn)組應(yīng)當(dāng)具有最優(yōu)的實施效果，但是其它選擇也同樣能夠?qū)崿F(xiàn)關(guān)鍵特征點(diǎn)定位，只是在出現(xiàn)一些極端情況時，定 位效果可能略差。 由上述可見，本發(fā)明實施例提供的關(guān)鍵特征點(diǎn)定位的方法和裝置，通過對人臉區(qū) 域提取邊緣信息并按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)選出候選特征點(diǎn)，再將候選特征點(diǎn)與預(yù)先設(shè) 定的基準(zhǔn)特征點(diǎn)組進(jìn)行比對并選出匹配程度最高的作為最終的關(guān)鍵特征點(diǎn)，能夠避免依靠 單個關(guān)鍵特征點(diǎn)分布規(guī)律進(jìn)行匹配時容易出現(xiàn)的定位不準(zhǔn)的情況出現(xiàn)，因此能夠比較精確 地實現(xiàn)人臉區(qū)域中關(guān)鍵特征點(diǎn)的準(zhǔn)確定位，且該方案算法簡單、計算量較小，因此還能夠同 時實現(xiàn)關(guān)鍵特征點(diǎn)的快速定位。
權(quán)利要求
一種關(guān)鍵特征點(diǎn)定位的方法，其特征在于，該方法包括對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū)域為待對準(zhǔn)圖像；提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的邊緣圖；按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖中檢測得到所有候選特征點(diǎn)；從所述候選特征點(diǎn)中選出與設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo) 圖像中的人臉區(qū)域為待對準(zhǔn)圖像的方法包括利用預(yù)先訓(xùn)練得到的人臉檢測的Adaboost分類器模型判斷目標(biāo)圖像是否為人臉圖 像，如果是，確定所述目標(biāo)圖像中的人臉區(qū)域，將所述人臉區(qū)域作為待對準(zhǔn)圖像。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，當(dāng)利用預(yù)先訓(xùn)練得到的人臉檢測的 Adaboost分類器模型判斷目標(biāo)圖像為人臉圖像時并確定所述目標(biāo)圖像中的人臉區(qū)域后，將 所述人臉區(qū)域作為待對準(zhǔn)圖像之前，該方法包括對確定的人臉區(qū)域進(jìn)行歸一化處理，所述歸一化包括但不限于尺寸歸一化、光照條件 歸一化。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取待對準(zhǔn)圖像中的邊緣信息，得到 待對準(zhǔn)圖像的邊緣圖的方法包括提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的初始邊緣圖；對所述初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處理，得到用于進(jìn)行候選特征點(diǎn)檢測的最終 邊緣圖。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對所述初始邊緣圖進(jìn)行特征點(diǎn)檢測前的 預(yù)處理的方法包括計算每個連通域中包含的像素點(diǎn)個數(shù)，若連通域中包含的像素點(diǎn)個數(shù)小于設(shè)定的噪聲 閾值，則判定該連通域為噪點(diǎn)并將其從初始邊緣圖中去除；所述連通域包括邊緣曲線或由 邊緣曲線構(gòu)成的封閉區(qū)域；當(dāng)所述連通域為邊緣曲線時，連通域中包含的像素點(diǎn)個數(shù)是指 該邊緣曲線所占據(jù)的像素點(diǎn)的數(shù)目；而當(dāng)連通域為邊緣曲線構(gòu)成的封閉區(qū)域時，該連通域 包含的像素點(diǎn)個數(shù)則是指該封閉區(qū)域所包圍的所有像素點(diǎn)的總數(shù)目。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將噪點(diǎn)從初始邊緣圖中去除之后，該 方法進(jìn)一步包括對經(jīng)過噪點(diǎn)去除的初始邊緣圖，用邊緣膨脹的方法將每一個邊緣點(diǎn)膨脹到與其相鄰 的8個鄰域，如果膨脹后兩個邊緣曲線相連，則認(rèn)為所述的兩條邊緣曲線需要進(jìn)行連接；其 中，所述邊緣點(diǎn)為邊緣曲線兩端的端點(diǎn)；對于需要進(jìn)行連接的邊緣曲線，計算兩個邊緣曲線的方向；若兩個邊緣曲線的方向夾 角在預(yù)設(shè)的角度范圍內(nèi)，則將所述兩個邊緣曲線上距離最近的端點(diǎn)直接連接；否則，計算兩 個邊緣曲線的交點(diǎn)如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離小于預(yù)設(shè)的距離閾值，則 以此交點(diǎn)作為連接點(diǎn)將兩個邊緣點(diǎn)連接起來；如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離 達(dá)到或超過所述距離閾值，則不進(jìn)行連接。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將需要連接的邊緣曲線連接之后，該 方法進(jìn)一步包括對于從同一像素點(diǎn)出發(fā)的多條邊緣曲線，計算相鄰的兩條邊緣曲線的夾角，當(dāng)夾角小 于設(shè)定的合并閾值時，將所述兩條邊緣曲線合并為一條邊緣曲線，合并的方法包括若一條 邊緣曲線的長度為另一條邊緣曲線長度的兩倍或以上，則直接刪除較短的邊緣曲線，并以 較長的邊緣曲線作為合并后的邊緣曲線；若一條邊緣曲線的長度未超過另一條邊緣曲線長 度的兩倍，則對兩條邊緣曲線進(jìn)行曲線擬合。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣 圖中檢測得到所有候選特征點(diǎn)的方法包括從邊緣圖的各點(diǎn)中，選出所有符合預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)的各點(diǎn)作為候選特征點(diǎn)，所 述特征點(diǎn)選擇標(biāo)準(zhǔn)包括在邊緣圖中，由該點(diǎn)至少引出兩條不同方向的邊緣曲線，且所述不 同方向的邊緣曲線間的夾角在設(shè)定的候選角度范圍內(nèi)。
9.根據(jù)權(quán)利要求1至8中任一項所述的方法，其特征在于，從所述候選特征點(diǎn)中選出與 設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)的方法 包括預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的訓(xùn)練樣本，經(jīng)過訓(xùn)練得到所述基準(zhǔn)特 征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征；計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計 學(xué)特征的匹配度，選出其中匹配度最高的候選特征點(diǎn)組，作為最終確定的關(guān)鍵特征點(diǎn)，所述 基準(zhǔn)特征點(diǎn)組包括眼角和嘴角共6個位置。
10.根據(jù)權(quán)利要求1至8中任一項所述的方法，其特征在于，所述基準(zhǔn)特征點(diǎn)組包括第一特征組中的一個或多個特征點(diǎn)，與第二特征組中的一個或多個特征點(diǎn)所組成的任意組合，其中，第一特征組包括眼角、眉毛、眉尖和眼球，第二特征組包括鼻孔、鼻翼、嘴 角和嘴唇。
11.一種關(guān)鍵特征點(diǎn)定位的的裝置，其特征在于，該裝置包括待對準(zhǔn)圖像確定模塊，用于對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū)域為 待對準(zhǔn)圖像；邊緣圖獲取模塊，用于提取待對準(zhǔn)圖像確定模塊得到的待對準(zhǔn)圖像中的邊緣信息，得 到待對準(zhǔn)圖像的邊緣圖；候選點(diǎn)確定模塊，用于按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖獲取模塊得到的邊緣圖中 檢測得到所有候選特征點(diǎn)；關(guān)鍵特征點(diǎn)確定模塊，用于從候選點(diǎn)確定模塊得到的候選特征點(diǎn)中，選出與設(shè)定的基 準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)。
12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述待對準(zhǔn)圖像確定模塊包括人臉檢測單元，用于利用預(yù)先訓(xùn)練得到的人臉檢測的Adaboost分類器模型判斷目標(biāo) 圖像是否為人臉圖像，并在判斷目標(biāo)圖像為人臉圖像時通知人臉區(qū)域獲取單元；人臉區(qū)域獲取單元，用于接收人臉檢測單元的通知，確定人臉圖像中的人臉區(qū)域，將所 述人臉區(qū)域作為待對準(zhǔn)圖像。
13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述待對準(zhǔn)圖像確定模塊中進(jìn)一步包 括歸一化處理單元；所述歸一化處理單元，用于對人臉區(qū)域獲取單元確定出的人臉區(qū)域進(jìn)行歸一化處理，所述歸一化包括但不限于尺寸歸一化、光照條件歸一化；此時，所述人臉區(qū)域獲取單元，進(jìn)一步用于將歸一化處理后的人臉區(qū)域作為待對準(zhǔn)圖像。
14.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述邊緣圖獲取模塊包括邊緣信息提取單元，用于提取待對準(zhǔn)圖像確定模塊得到的待對準(zhǔn)圖像中的邊緣信息， 得到待對準(zhǔn)圖像的初始邊緣圖；預(yù)處理單元，用于對邊緣信息提取單元得到的初始邊緣圖進(jìn)行特征點(diǎn)檢測前的預(yù)處 理，得到用于進(jìn)行候選特征點(diǎn)檢測的最終邊緣圖。
15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述預(yù)處理單元包括噪點(diǎn)去除子單元，用于計算每個連通域中包含的像素點(diǎn)個數(shù)，若連通域中包含的像素 點(diǎn)個數(shù)小于設(shè)定的噪聲閾值，則判定該連通域為噪點(diǎn)并將其從初始邊緣圖中去除；所述連 通域包括邊緣曲線或由邊緣曲線構(gòu)成的封閉區(qū)域；當(dāng)所述連通域為邊緣曲線時，連通域中 包含的像素點(diǎn)個數(shù)是指該邊緣曲線所占據(jù)的像素點(diǎn)的數(shù)目；而當(dāng)連通域為邊緣曲線構(gòu)成的封閉區(qū)域時，該連通域包含的像素點(diǎn)個數(shù)則是指該封閉區(qū)域所包圍的所有像素點(diǎn)的總數(shù)目。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述預(yù)處理單元還包括斷裂邊緣連接子單元，用于對噪點(diǎn)去除子單元處理后得到的邊緣圖，用邊緣膨脹的方 法將每一個邊緣點(diǎn)膨脹到與其相鄰的8個鄰域，如果膨脹后兩個邊緣曲線相連，則認(rèn)為所 述的兩條邊緣曲線需要進(jìn)行連接；其中，所述邊緣點(diǎn)為邊緣曲線兩端的端點(diǎn)；對于需要進(jìn)行連接的邊緣曲線，計算兩個邊緣曲線的方向；若兩個邊緣曲線的方向夾 角在預(yù)設(shè)的角度范圍內(nèi)，則采用最短距離的方式將所述邊緣點(diǎn)進(jìn)行連接；否則，計算兩個邊 緣曲線的交點(diǎn)如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離小于預(yù)設(shè)的距離閾值，則以此 交點(diǎn)作為連接點(diǎn)將兩個邊緣點(diǎn)連接起來；如果交點(diǎn)到兩個邊緣曲線上最近的點(diǎn)的距離達(dá)到 或超過所述距離閾值，則將兩個邊緣的端點(diǎn)直接連接起來。
17.根據(jù)權(quán)利要求16所述的裝置，其特征在于，所述預(yù)處理單元還包括邊緣分支合并子單元，用于接收斷裂邊緣連接子單元處理后得到的邊緣圖，對其中從 同一像素點(diǎn)出發(fā)的多條邊緣曲線，計算相鄰的兩條邊緣曲線的夾角，當(dāng)夾角小于設(shè)定的合 并閾值時，將所述兩條邊緣曲線合并為一條邊緣曲線，合并的方法包括若一條邊緣曲線的 長度為另一條邊緣曲線長度的兩倍或以上，則直接刪除較短的邊緣曲線，并以較長的邊緣 曲線作為合并后的邊緣曲線；若一條邊緣曲線的長度未超過另一條邊緣曲線長度的兩倍， 則對兩條邊緣曲線進(jìn)行曲線擬合。
18.根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述候選點(diǎn)確定模塊包括策略單元，用于保存預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)，所述特征點(diǎn)選擇標(biāo)準(zhǔn)包括在邊緣圖中， 由該點(diǎn)至少引出兩條不同方向的邊緣曲線，且所述不同方向的邊緣曲線間的夾角在設(shè)定的 候選角度范圍內(nèi)；選擇單元，用于從邊緣圖獲取模塊得到的邊緣圖的各點(diǎn)中，選出所有符合策略單元中 保存的特征點(diǎn)選擇標(biāo)準(zhǔn)的各點(diǎn)作為候選特征點(diǎn)。
19.根據(jù)權(quán)利要求11至18中任一項所述的裝置，其特征在于，所述關(guān)鍵特征點(diǎn)確定模 塊包括基準(zhǔn)組特征保存單元，用于預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的訓(xùn)練樣 本，經(jīng)過訓(xùn)練得到所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征，所述基準(zhǔn)特征點(diǎn)組 包括眼角和嘴角共6個位置；關(guān)鍵特征點(diǎn)選擇單元，用于計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn)組特征保 存單元中保存的基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征的匹配度，選出其中匹配度 最高的候選特征點(diǎn)組，作為最終確定的關(guān)鍵特征點(diǎn)。
20.根據(jù)權(quán)利要求11至18中任一項所述的裝置，其特征在于，所述關(guān)鍵特征點(diǎn)確定模 塊包括基準(zhǔn)組特征保存單元，用于預(yù)先選擇標(biāo)定出所述基準(zhǔn)特征點(diǎn)組的人臉圖像的訓(xùn)練樣 本，經(jīng)過訓(xùn)練得到所述基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征，所述基準(zhǔn)特征點(diǎn)組 包括第一特征組中的一個或多個特征點(diǎn)，與第二特征組中的一個或多個特征點(diǎn)所組成的 任意組合，其中，第一特征組包括眼角、眉毛、眉尖和眼球，第二特征組包括鼻孔、鼻翼、 嘴角和嘴唇；關(guān)鍵特征點(diǎn)選擇單元，用于計算候選特征點(diǎn)組成的候選特征點(diǎn)組與所述基準(zhǔn)組特征保 存單元中保存的基準(zhǔn)特征點(diǎn)組在人臉區(qū)域中分布的統(tǒng)計學(xué)特征的匹配度，選出其中匹配度 最高的候選特征點(diǎn)組，作為最終確定的關(guān)鍵特征點(diǎn)。
全文摘要
本發(fā)明公開了一種關(guān)鍵特征點(diǎn)定位的方法對目標(biāo)圖像進(jìn)行人臉檢測，確定目標(biāo)圖像中的人臉區(qū)域為待對準(zhǔn)圖像；提取待對準(zhǔn)圖像中的邊緣信息，得到待對準(zhǔn)圖像的邊緣圖；按照預(yù)設(shè)的特征點(diǎn)選擇標(biāo)準(zhǔn)從邊緣圖中檢測得到所有候選特征點(diǎn)；從所述候選特征點(diǎn)中選出與設(shè)定的基準(zhǔn)特征點(diǎn)組匹配度最高的若干個候選特征點(diǎn)作為最終得到的關(guān)鍵特征點(diǎn)。本發(fā)明還同時公開了一種關(guān)鍵特征點(diǎn)定位的裝置，包括待對準(zhǔn)圖像確定模塊、邊緣圖獲取模塊、候選點(diǎn)確定模塊和關(guān)鍵特征點(diǎn)確定模塊。本發(fā)明實施例提供的方法和裝置，能夠精確實現(xiàn)人臉區(qū)域中的關(guān)鍵特征點(diǎn)定位，且該方案算法簡單、計算量較小，能夠快速實現(xiàn)。
文檔編號G06K9/46GK101877055SQ200910241760
公開日2010年11月3日 申請日期2009年12月7日 優(yōu)先權(quán)日2009年12月7日
發(fā)明者王俊艷 申請人:北京中星微電子有限公司