基于三維點云的三維人臉識別裝置及方法
【專利摘要】本發(fā)明公開一種基于三維點云的三維人臉識別裝置及方法，所述裝置包括：用于獲取三維點云人臉數(shù)據(jù)的數(shù)據(jù)輸入單元；對數(shù)據(jù)輸入單元獲取的三維點云特征區(qū)域進行定位的特征區(qū)域檢測單元；對所定位的數(shù)據(jù)進行平滑處理以濾除噪音的濾噪單元；從預處理后的人臉數(shù)據(jù)中選擇面部全局特征點的特征點選擇單元；對特征點選擇單元選擇的面部全局特征點數(shù)據(jù)進行配準的數(shù)據(jù)配準計算單元；以及對經(jīng)由數(shù)據(jù)配準計算單元配準處理后的數(shù)據(jù)進行分類的最近鄰分類器計算單元。所述方法包括如下步驟：輸入步驟；特征區(qū)域定位步驟；粗配準步驟；濾除噪音步驟；選取特征點步驟；再配準步驟；以及識別步驟。本發(fā)明對三維人臉數(shù)據(jù)進行濾噪、配準后再進行識別，其識別精度高。
【專利說明】基于三維點云的三維人臉識別裝置及方法

【技術領域】
[0001] 本發(fā)明涉及人臉識別【技術領域】，尤其是指基于三維點云的三維人臉識別裝置及方 法。

【背景技術】
[0002] 三維人臉識別相對于二維人臉識別，有著其對光照魯棒、受姿態(tài)以及表情等因素 影響較小等優(yōu)點，因此，在三維數(shù)據(jù)采集技術飛速發(fā)展以及三維數(shù)據(jù)的質量和精度大大提 升之后，很多研究者都將研究重點投入到該領域中。
[0003] 其中，2010年12月29日公開的201010256907. 6號中國發(fā)明專利申請?zhí)岢隽瞬捎?三維彎曲不變量的相關特征用來進行人臉特性描述的方法，該方法通過編碼三維人臉表面 相鄰節(jié)點的彎曲不變量的局部特征，提取彎曲不變量相關特征，對所述彎曲不變量的相關 特征進行簽名并采用譜回歸進行降維，獲得主成分，并運用K最近鄰分類方法對三維人臉 進行識別。但是由于提取變量相關特征時需要復雜的計算量，因此在效率上限制了該方法 的進一步應用。
[0004] 而2011年5月4日公開的200910197378. 4號中國發(fā)明專利申請則提出了一種全 自動三維人臉檢測和姿勢糾正的方法，該方法通過對人臉三維曲面進行多尺度的矩分析， 提出了臉部區(qū)域特征來粗糙地檢測人臉曲面，及提出鼻尖區(qū)域特征來準確地定位鼻尖的位 置，然后進一步精確地分割出完整的人臉曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特 征來檢測鼻根的位置后，建立了一個人臉坐標系，并據(jù)此自動地進行人臉姿勢的糾正應用。 該方法目的在于對三維人臉數(shù)據(jù)的姿態(tài)進行估計，屬于三維人臉識別系統(tǒng)的數(shù)據(jù)預處理階 段。
[0005] 三維人臉識別是三維人臉領域中許多應用的基礎性工作，姿態(tài)問題是人臉識別領 域的一個難題，包括上述兩項現(xiàn)有技術在內的現(xiàn)有人臉識別技術往往容易因為姿態(tài)的不同 導致信息缺失，導致大姿態(tài)變化的人臉識別準確性很低。


【發(fā)明內容】

[0006] 本發(fā)明所要解決的技術問題在于，提供一種基于三維點云的三維人臉識別裝置， 以克服姿態(tài)變化對于三維人臉識別造成的影響，提升系統(tǒng)的識別精度。
[0007] 本發(fā)明進一步所要解決的技術問題在于，提供一種基于三維點云的三維人臉識別 方法，以克服姿態(tài)變化對于三維人臉識別造成的影響，提升系統(tǒng)的識別精度。
[0008] 為解決上述技術問題，本發(fā)明提供如下技術方案：一種基于三維點云的三維人臉 識別裝置，其包括： 用于獲取三維點云人臉數(shù)據(jù)的數(shù)據(jù)輸入單元； 對數(shù)據(jù)輸入單元獲取的三維點云特征區(qū)域進行定位的特征區(qū)域檢測單元； 對所定位的數(shù)據(jù)進行平滑處理以濾除噪音的濾噪單元； 從預處理后的人臉數(shù)據(jù)中選擇面部全局特征點的特征點選擇單元； 對特征點選擇單元選擇的面部全局特征點數(shù)據(jù)進行配準的數(shù)據(jù)配準計算單元；以及 對經(jīng)由數(shù)據(jù)配準計算單元配準處理后的數(shù)據(jù)進行分類的最近鄰分類器計算單元。
[0009] 進一步地，所述特征區(qū)域檢測單元包括： 針對特征區(qū)域進行定位和特征提取的特征提取模塊； 用于存儲特征區(qū)域分類器參數(shù)的特征區(qū)域分類器存儲模塊；以及 對所定位并提取的特征區(qū)域的數(shù)據(jù)點進行分類計算，以判斷其是否屬于特征區(qū)域的分 類器模塊。
[0010] 進一步地，所述分類器模塊為支持向量機或阿德布斯特分類器。
[0011] 進一步地，所述特征點選擇單元包括： 自適應空間密度選擇模塊，其針對特征區(qū)域檢測單元所定位的特征區(qū)域位置，對面部 的數(shù)據(jù)點進行空間采樣，根據(jù)有效采樣點的數(shù)目判斷人臉姿態(tài)的大小以及空間采樣的密 度；以及 面部特征點選擇單元，根據(jù)自適應空間密度選擇模塊所確定的空間采樣密度，在面部 自適應選擇參考特征點。
[0012] 進一步地，所述數(shù)據(jù)配準計算單元包括： 進行數(shù)據(jù)配準計算的計算模塊；以及 用于存儲三維人臉模型數(shù)據(jù)形成注冊庫的三維模型存儲模塊。
[0013] 另一方面，本發(fā)明還提供一種基于三維點云的三維人臉識別方法，包括如下步 驟： 輸入步驟，輸入三維點云人臉數(shù)據(jù)； 特征區(qū)域定位步驟，進行特征區(qū)域的檢測和定位； 粗配準步驟，對所定位的特征區(qū)域進行粗配準； 濾除噪音步驟，對粗配準后的數(shù)據(jù)中的噪音進行平滑濾除； 選取特征點步驟，根據(jù)自適應的采樣密度估計，在面部數(shù)據(jù)選取部分特征點； 再配準步驟，采用ICP算法對所選取的人臉數(shù)據(jù)特征點作進一步配準；以及 識別步驟，利用配準后的人臉數(shù)據(jù)與注冊庫中的三維人臉模型數(shù)據(jù)之間的歐式距離， 根據(jù)最近鄰分類器實現(xiàn)人臉識別。
[0014] 進一步地，特征區(qū)域定位步驟中，以鼻尖區(qū)域為特征區(qū)域，針對三維點云的數(shù)據(jù)深 度、數(shù)據(jù)密度以及更進一步計算數(shù)據(jù)的三維曲率，提取點云數(shù)據(jù)的相應特征。
[0015] 進一步地，對鼻尖區(qū)域進行定位的主要步驟如下： 步驟1，確定域平均負有效能量密度的閾值，定義為thr ; 步驟2,利用數(shù)據(jù)的深度信息，提取在最大z值往后20mm范圍內的z值域內的人臉數(shù)據(jù) 作為待處理數(shù)據(jù)； 步驟3，計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息； 步驟4,按照區(qū)域平均負有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負有 效能量密度，選擇其中密度值最大的連通域； 步驟5,當該區(qū)域的閾值大于預定義的thr時，則確定并定位該區(qū)域為鼻尖區(qū)域，否則 回到步驟1循環(huán)繼續(xù)。
[0016] 進一步地，濾除噪音步驟中，利用均值濾波器進行數(shù)據(jù)噪音過濾。
[0017] 進一步地，再配準步驟中，數(shù)據(jù)配準計算單元根據(jù)所確定的特征點集合，利用ICP 算法將輸入人臉數(shù)據(jù)與庫中已注冊人臉模型數(shù)據(jù)進行配準，并以其歐式距離作為匹配距 離。
[0018] 采用上述技術方案后，本發(fā)明至少具有如下有益效果：本發(fā)明通過先對三維人臉 數(shù)據(jù)進行濾噪、配準再進行識別，其識別精度高，可以作為對于特定場景(姿態(tài)變化）的解決 方法，也可以作為三維人臉識別應用的解決方案。

【專利附圖】

【附圖說明】
[0019] 圖1是本發(fā)明基于三維點云的三維人臉識別裝置的系統(tǒng)原理框圖。
[0020] 圖2是本發(fā)明基于三維點云的三維人臉識別方法的流程圖。
[0021] 圖3是本發(fā)明基于三維點云的三維人臉識別方法的鼻尖定位過程示意圖。
[0022] 圖4是本發(fā)明基于三維點云的三維人臉識別方法的三維人臉數(shù)據(jù)噪音的示意圖。
[0023] 圖5是本發(fā)明基于三維點云的三維人臉識別方法的三維人臉特征點選擇示意圖。
[0024] 圖6是本發(fā)明基于三維點云的三維人臉識別方法的不同姿態(tài)的三維人臉配準示 意圖。

【具體實施方式】
[0025] 需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相 互結合，下面結合附圖和具體實施例對本發(fā)明作進一步詳細說明。
[0026] 如圖1所示，本發(fā)明提供一種基于三維點云的三維人臉識別裝置，其包括： 用于獲取三維點云人臉數(shù)據(jù)的數(shù)據(jù)輸入單元； 對數(shù)據(jù)輸入單元獲取的三維點云特征區(qū)域進行定位的特征區(qū)域檢測單元； 對所定位的數(shù)據(jù)進行平滑處理以濾除噪音的濾噪單元； 從預處理后的人臉數(shù)據(jù)中選擇面部全局特征點的特征點選擇單元； 對特征點選擇單元選擇的面部全局特征點數(shù)據(jù)進行配準的數(shù)據(jù)配準計算單元；以及 對經(jīng)由數(shù)據(jù)配準計算單元配準處理后的數(shù)據(jù)進行分類的最近鄰分類器計算單元。
[0027] 其中，所述特征區(qū)域檢測單元又可進一步包括： 針對特征區(qū)域進行定位和特征提取的特征提取模塊； 用于存儲特征區(qū)域分類器參數(shù)的特征區(qū)域分類器存儲模塊；以及 對所定位并提取的特征區(qū)域的數(shù)據(jù)點進行分類計算，以判斷其是否屬于特征區(qū)域的分 類器模塊。
[0028] 而所述分類器模塊為支持向量機或阿德布斯特（Adaboost)分類器。
[0029] 所述特征點選擇單元包括： 自適應空間密度選擇模塊，其針對特征區(qū)域檢測單元所定位的特征區(qū)域位置，對面部 的數(shù)據(jù)點進行空間采樣，根據(jù)有效采樣點的數(shù)目判斷人臉姿態(tài)的大小以及空間采樣的密 度；以及 面部特征點選擇單元，根據(jù)自適應空間密度選擇模塊所確定的空間采樣密度，在面部 自適應選擇參考特征點。
[0030] 所述數(shù)據(jù)配準計算單元包括： 進行數(shù)據(jù)配準計算的計算模塊；以及 用于存儲三維人臉模型數(shù)據(jù)形成注冊庫的三維模型存儲模塊。
[0031] 另一方面，本發(fā)明還提供一種基于三維點云的三維人臉識別方法，包括如下步 驟： 輸入步驟，輸入三維點云人臉數(shù)據(jù)； 特征區(qū)域定位步驟，進行特征區(qū)域的檢測和定位； 粗配準步驟，對所定位的特征區(qū)域進行粗配準； 濾除噪音步驟，對粗配準后的數(shù)據(jù)中的噪音進行平滑濾除； 選取特征點步驟，根據(jù)自適應的采樣密度估計，在面部數(shù)據(jù)選取部分特征點； 再配準步驟，采用ICP算法對所選取的人臉數(shù)據(jù)特征點作進一步配準；以及 識別步驟，利用配準后的人臉數(shù)據(jù)與注冊庫中的三維人臉模型數(shù)據(jù)之間的歐式距離， 根據(jù)最近鄰分類器實現(xiàn)人臉識別。
[0032] 其中，在特征區(qū)域定位步驟中，優(yōu)選以鼻尖區(qū)域為特征區(qū)域，針對三維點云的數(shù)據(jù) 深度、數(shù)據(jù)密度以及更進一步計算數(shù)據(jù)的三維曲率，提取點云數(shù)據(jù)的相應特征。
[0033] 由于鼻尖區(qū)域具有空點密度大，曲率明顯等特性，因此，在特征區(qū)域定位步驟中通 常以鼻尖區(qū)域作為特征區(qū)域進行定位，而結合圖3所示，對鼻尖區(qū)域進行定位的主要步驟 如下： 步驟1，確定域平均負有效能量密度的閾值，定義為thr ; 步驟2,利用數(shù)據(jù)的深度信息，提取在最大z值往后20mm范圍內的z值域內的人臉數(shù)據(jù) 作為待處理數(shù)據(jù)； 步驟3，計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息； 步驟4,按照區(qū)域平均負有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負有 效能量密度，選擇其中密度值最大的連通域； 步驟5,當該區(qū)域的閾值大于預定義的thr時，則確定并定位該區(qū)域為鼻尖區(qū)域，否則 回到步驟1循環(huán)繼續(xù)。
[0034] 從圖4可以看出，人臉數(shù)據(jù)中存在一定的空洞和凸起，為消除噪音對后續(xù)步驟的 影響，需要對數(shù)據(jù)進行平滑處理，在本發(fā)明的一個實施例中，優(yōu)選利用均值濾波器進行數(shù)據(jù) 平滑，其具體步驟如下： 步驟1 :利用固定大小的滑動窗遍歷圖像，對每個采樣窗口的圖像數(shù)據(jù)進行排序；以及 步驟2 :用排序后的中值取代圖像當前像素點的數(shù)據(jù)。
[0035] 圖5是數(shù)據(jù)特征點選取的示意圖。該特征點選取步驟，根據(jù)面部有效采樣數(shù)據(jù)點 的數(shù)目對于采樣數(shù)據(jù)密度進行自適應選擇。首先在鼻尖區(qū)域附近按照一定的空間密度(粗 精度）進行采樣，如果有效數(shù)據(jù)點足夠多(姿態(tài)比較小)，則基于該級別采樣密度進行面部特 征點采樣；否則(姿態(tài)比較大)，按照更精細密度進行下一層級的空間密度(細精度）進行面 部數(shù)據(jù)特征點采樣。
[0036] 在上述再配準步驟中，數(shù)據(jù)配準計算單元根據(jù)所確定的特征點集合，利用ICP算 法將輸入人臉數(shù)據(jù)與庫中已注冊人臉模型數(shù)據(jù)進行配準，并以其歐式距離作為匹配距離。
[0037] ICP算法實質上是一個求最小均方誤差的最優(yōu)化問題，假設已經(jīng)得到匹配數(shù)據(jù)集 合對P和Q，則該配準算法主要步驟如下： 首先，計算3*3的矩陣

【權利要求】
1. 一種基于三維點云的三維人臉識別裝置，其特征在于，其包括： 用于獲取三維點云人臉數(shù)據(jù)的數(shù)據(jù)輸入單元； 對數(shù)據(jù)輸入單元獲取的三維點云特征區(qū)域進行定位的特征區(qū)域檢測單元； 對所定位的數(shù)據(jù)進行平滑處理以濾除噪音的濾噪單元； 從預處理后的人臉數(shù)據(jù)中選擇面部全局特征點的特征點選擇單元； 對特征點選擇單元選擇的面部全局特征點數(shù)據(jù)進行配準的數(shù)據(jù)配準計算單元；以及 對經(jīng)由數(shù)據(jù)配準計算單元配準處理后的數(shù)據(jù)進行分類的最近鄰分類器計算單元。
2. 如權利要求1所述的基于三維點云的三維人臉識別裝置，其特征在于，所述特征區(qū) 域檢測單元包括： 針對特征區(qū)域進行定位和特征提取的特征提取模塊； 用于存儲特征區(qū)域分類器參數(shù)的特征區(qū)域分類器存儲模塊；以及 對所定位并提取的特征區(qū)域的數(shù)據(jù)點進行分類計算，以判斷其是否屬于特征區(qū)域的分 類器模塊。
3. 如權利要求2所述的基于三維點云的三維人臉識別裝置，其特征在于，所述分類器 模塊為支持向量機或阿德布斯特分類器。
4. 如權利要求1所述的基于三維點云的三維人臉識別裝置，其特征在于，所述特征點 選擇單元包括： 自適應空間密度選擇模塊，其針對特征區(qū)域檢測單元所定位的特征區(qū)域位置，對面部 的數(shù)據(jù)點進行空間采樣，根據(jù)有效采樣點的數(shù)目判斷人臉姿態(tài)的大小以及空間采樣的密 度；以及 面部特征點選擇單元，根據(jù)自適應空間密度選擇模塊所確定的空間采樣密度，在面部 自適應選擇參考特征點。
5. 如權利要求1所述的基于三維點云的三維人臉識別裝置，其特征在于，所述數(shù)據(jù)配 準計算單元包括： 進行數(shù)據(jù)配準計算的計算模塊；以及 用于存儲三維人臉模型數(shù)據(jù)形成注冊庫的三維模型存儲模塊。
6. -種基于三維點云的三維人臉識別方法，其特征在于，包括如下步驟： 輸入步驟，輸入三維點云人臉數(shù)據(jù)； 特征區(qū)域定位步驟，進行特征區(qū)域的檢測和定位； 粗配準步驟，對所定位的特征區(qū)域進行粗配準； 濾除噪音步驟，對粗配準后的數(shù)據(jù)中的噪音進行平滑濾除； 選取特征點步驟，根據(jù)自適應的采樣密度估計，在面部數(shù)據(jù)選取部分特征點； 再配準步驟，采用ICP算法對所選取的人臉數(shù)據(jù)特征點作進一步配準；以及 識別步驟，利用配準后的人臉數(shù)據(jù)與注冊庫中的三維人臉模型數(shù)據(jù)之間的歐式距離， 根據(jù)最近鄰分類器實現(xiàn)人臉識別。
7. 如權利要求6所述的基于三維點云的三維人臉識別方法，其特征在于，特征區(qū)域定 位步驟中，以鼻尖區(qū)域為特征區(qū)域，針對三維點云的數(shù)據(jù)深度、數(shù)據(jù)密度以及更進一步計算 數(shù)據(jù)的三維曲率，提取點云數(shù)據(jù)的相應特征。
8. 如權利要求7所述的基于三維點云的三維人臉識別方法，其特征在于，對鼻尖區(qū)域 進行定位的主要步驟如下： 步驟1，確定域平均負有效能量密度的閾值，定義為thr ; 步驟2,利用數(shù)據(jù)的深度信息，提取在最大z值往后20mm范圍內的z值域內的人臉數(shù)據(jù) 作為待處理數(shù)據(jù)； 步驟3，計算由深度信息選取出的人臉數(shù)據(jù)的法向量信息； 步驟4,按照區(qū)域平均負有效能量密度的定義，求出待處理數(shù)據(jù)中各連通域的平均負有 效能量密度，選擇其中密度值最大的連通域； 步驟5,當該區(qū)域的閾值大于預定義的thr時，則確定并定位該區(qū)域為鼻尖區(qū)域，否則 回到步驟1循環(huán)繼續(xù)。
9. 如權利要求6所述的基于三維點云的三維人臉識別方法，其特征在于，濾除噪音步 驟中，利用均值濾波器進行數(shù)據(jù)噪音過濾。
10. 如權利要求6所述的基于三維點云的三維人臉識別方法，其特征在于，再配準步驟 中，數(shù)據(jù)配準計算單元根據(jù)所確定的特征點集合，利用ICP算法將輸入人臉數(shù)據(jù)與庫中已 注冊人臉模型數(shù)據(jù)進行配準，并以其歐式距離作為匹配距離。
【文檔編號】G06K9/54GK104143080SQ201410216319
【公開日】2014年11月12日 申請日期:2014年5月21日 優(yōu)先權日:2014年5月21日
【發(fā)明者】夏春秋 申請人:深圳市唯特視科技有限公司