一種視頻人臉識別方法
【專利摘要】本發(fā)明公開了一種視頻人臉識別方法，包括以下步驟：S1：對視頻進行人臉檢測和跟蹤得到人臉序列；S2：對所述人臉序列進行篩選，得到人臉典型幀集合；S3：基于正面人臉生成技術和圖像超分辨率技術優(yōu)化所述人臉典型幀集合，得到增強的人臉典型幀集合；S4：通過將所述增強的人臉典型幀集合與預設的靜態(tài)人臉圖像匹配庫比對，進行人臉識別或驗證。與現(xiàn)有的視頻人臉識別方法相比，本發(fā)明通過使用增強的人臉典型幀集合，過濾和補償了視頻人臉姿態(tài)和分辨率的變化，從而提高了視頻人臉識別的魯棒性。
【專利說明】一種視頻人臉識別方法
【技術領域】
[0001]本發(fā)明涉及視頻監(jiān)控【技術領域】，特別涉及一種視頻人臉識別方法。
【背景技術】
[0002]隨著視頻監(jiān)控系統(tǒng)的普及和逐漸增加的發(fā)展需求，基于視頻的人臉識別已經取得了長足的發(fā)展，并對智能交通、門禁、信息安全以及安保、安防等安全領域具有十分重要的作用。
[0003]現(xiàn)有的視頻人臉識別方法的一種主要應用模式為視頻對靜態(tài)圖像識別，所述視頻對靜態(tài)圖像識別采用人臉視頻作為輸入，通過和靜態(tài)圖像人臉數(shù)據(jù)庫進行比對來實現(xiàn)識別或驗證。
[0004]視頻對靜態(tài)圖像識別的一類方法是對每一幀人臉圖像采用靜態(tài)人臉識別方法來識別，最后按照概率打分、距離判決(最近距離，平均距離)或多數(shù)投票來融合所有幀的識別結果；
[0005]另一類方法是利用 視頻序列生成人臉模型(如3D人臉建模)或者基于運動時序信息生成人臉模型(如HMM建模)的方法；
[0006]這兩類方法的共同缺點是沒有有效地過濾和補償視頻里的各種人臉變化，因而視頻人臉識別的魯棒性有待提聞。
[0007]還有一類方法是學習靜態(tài)圖像和視頻數(shù)據(jù)之間的映射關系，以期同時解決視頻人臉相比于靜態(tài)人臉的不同變化以及兩者圖像質量不同的問題，比如將視頻幀的低分辨率空間映射到靜態(tài)圖像的高分辨率空間，或者將異質數(shù)據(jù)空間映射到一個公共空間上以保持兩者的對應關系。
[0008]現(xiàn)有的映射學習方法是典型相關分析(CCA)和鑒別偏最小二乘方法(PLS)。
[0009]假設靜態(tài)圖像集和視頻幀集合分別是x = 和Y = ，而且靜態(tài)圖像和視
頻幀對分別來自C個人臉類別，則CCA是要求解投影矩陣U和V，將集合X和Y分
別投影到一個公共空間，使得它們的相關性在這個空間上最大化:
/ /、-，cov(XU,YV)
[0010](U, V) = arg max corr (XU, YV) = arg max——————7——r(I)
L 」 ' 7" V '1I!Λ var(X(J)var(YV)
[0011]其中cov(.，.)是協(xié)方差算子；
[0012]CCA存在的問題是忽略了不同類人臉樣本在公共空間里的可分性；
[0013]PLS的目標是要使得集合X和Y投影到公共空間后的協(xié)方差最大:
(U, V) = arg max cov(XU, YV)
[0014]' 「，η
=arg max var (XU) con.(XLi, YV)~ var (YV)(2)
UsV L_
[0015]s.t.1 |u| I = 11v| I = 1[0016]PLS存在的問題是PLS為非監(jiān)督，沒有充分利用c類人臉樣本的鑒別信息。
[0017]現(xiàn)有的映射學習方法存在的問題是:在視頻人臉的姿態(tài)、分辨率等復合變化下學習到的映射矩陣不準確，并且沒有充分引入人臉類別的鑒別信息，因而人臉識別器的鑒別性能不夠強。
【發(fā)明內容】
[0018](一)要解決的技術問題
[0019]本發(fā)明要解決的技術問題是現(xiàn)有的視頻人臉識別方法的魯棒性以及基于映射學習方法的視頻人臉識別方法的鑒別性能有待提高。
[0020]( 二 )技術方案
[0021]本發(fā)明提供一種視頻人臉識別方法，包括以下步驟:
[0022]S1:對視頻進行人臉檢測和跟蹤得到人臉序列；
[0023]S2:對所述人臉序列進行篩選，得到人臉典型幀集合；
[0024]S3:基于正面人臉生成技術和圖像超分辨率技術優(yōu)化所述人臉典型幀集合，得到增強的人臉典型幀集合；
[0025]S4:通過將所述增強的人臉典型幀集合與預設的靜態(tài)人臉圖像匹配庫比對，進行人臉識別或驗證。
[0026]優(yōu)選地，所述步驟S2包括:根據(jù)人眼檢測置信度、姿態(tài)估計和圖像模糊評價指標，對所述人臉序列進行篩選，得到人臉典型幀集合，所述姿態(tài)估計包括人臉二維姿態(tài)估計。
[0027]優(yōu)選地,步驟S4具體包括:
[0028]S41:對所述增強的人臉典型幀集合及預設的靜態(tài)人臉圖像匹配庫進行光照預處理后，提取人臉典型幀的Gabor特征及靜態(tài)人臉圖像的Gabor特征；
[0029]S42:對預設的視頻庫進行所述步驟SI至S3，得到預設的人臉典型幀集合；提取所述預設的人臉典型幀集合的Gabor特征及預設的靜態(tài)人臉圖像訓練庫的Gabor特征；對所述預設的人臉典型幀集合的Gabor特征及預設的靜態(tài)人臉圖像訓練庫的Gabor特征進行鑒別映射學習，得到人臉典型幀映射矩陣及靜態(tài)人臉圖像映射矩陣；
[0030]S43:通過步驟S42中兩個映射矩陣，將步驟S41中人臉典型幀的Gabor特征及靜態(tài)人臉圖像的Gabor特征投影到公共空間，采用所述增強的人臉典型幀集合及預設的靜態(tài)人臉圖像匹配庫的最近距離進行人臉識別。
[0031 ] 優(yōu)選地,步驟S2具體包括:
[0032]S21:選取所述人臉序列中人眼檢測置信度大于預設閾值一的視頻幀；
[0033]S22:判斷選取的視頻幀少于5張是否成立，若成立，則選取的視頻幀構成人臉典型幀集合，否則，執(zhí)行S23;
[0034]S23:估計S21中選取的視頻幀的人臉二維姿態(tài)；
[0035]S24:估計S21中選取的視頻幀的圖像模糊評價指標；
[0036]S25:根據(jù)S23中估計的視頻幀的人臉二維姿態(tài)和S24中估計的視頻幀的圖像模糊評價指標，將S21中選取的視頻幀按照人臉二維姿態(tài)和圖像模糊評價指標由小到大的順序排列，選擇排列中前5幀構成人臉典型幀合集。
[0037]優(yōu)選地，在S23中，采用嵌入LDA的自適應隨機森林算法分別對人臉的左右旋轉角度和俯仰旋轉角度進行回歸估計。
[0038]優(yōu)選地，所述S24包括:
[0039]S241:將所述選取的視頻幀通過預設的低通濾波器，得到所述選取的視頻幀的模糊圖像，計算所述模糊圖像的鄰域梯度變化；
[0040]S242:通過比較所述選取的視頻幀和所述模糊圖像的鄰域梯度變化，得到選取的視頻幀的圖像模糊評價指標，所述指標是O到I范圍內的實數(shù)。
[0041 ] 優(yōu)選地,步驟S3具體包括:
[0042]S31:采用正面人臉生成技術矯正所述人臉典型幀集合中人臉姿態(tài)大于預定閾值二的典型幀；
[0043]S32:采用圖像超分辨率技術增強所述人臉典型幀集合中人臉眼距小于60像素的典型巾貞的分辨率。
[0044]優(yōu)選地，在步驟S32中，所述圖像超分辨率技術中圖像超分辨放大倍數(shù)由典型幀的人臉眼距和60像素的倍數(shù)關系確定，超分辨率重建是利用人臉典型幀集合中每一幀的前后兩幀進行相似性正則。
[0045]優(yōu)選地,步驟S41具體包括:
[0046]S411:采用按點除以鄰域算術均值PDAM的光照預處理方法對所述增強的人臉典型幀集合中的典型幀及預設的靜態(tài)人臉圖像匹配庫中的靜態(tài)人臉圖像進行光照歸一化；
[0047]S412:提取人臉典型幀的Gabor幅值特征及靜態(tài)人臉圖像的Gabor幅值特征。
[0048]優(yōu)選地，在步驟S42中采用鑒別偏最小二乘方法DPLS學習映射矩陣。
[0049](三)有益效果
[0050]本發(fā)明提供的視頻人臉識別方法通過使用增強的人臉典型幀集合，過濾和補償了視頻人臉姿態(tài)和分辨率的變化，從而提高了視頻人臉識別的魯棒性，并且通過采用鑒別偏最小二乘方法DPLS學習映射矩陣，充分利用了人臉的標簽信息，從而提高了視頻人臉識別性能。
【專利附圖】
【附圖說明】
[0051]圖1是本發(fā)明實施例的視頻人臉識別方法的流程圖；
[0052]圖2是本發(fā)明實施例的基于嵌入LDA的自適應隨機森林的姿態(tài)估計方法的示意圖；
[0053]圖3是本發(fā)明實施例的圖像超分辨率方法的流程圖；
[0054]圖4是本發(fā)明實施例的鑒別偏最小二乘方法(DPLS)的示意圖。
【具體實施方式】
[0055]下面結合附圖和實施例，對本發(fā)明的【具體實施方式】作進一步詳細說明。以下實施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。
[0056]本發(fā)明實施例提供一種視頻人臉識別方法，如圖1所示，具體包括以下步驟:
[0057]S1:對視頻進行人臉檢測和跟蹤得到人臉序列；本實施例中人臉檢測使用的是改進的Adaboost分類器，收集多個視角的人臉樣本來訓練，并使用編碼形狀不同的LBP特征來描述人臉。采用馬爾科夫隨機場模型使得分類器的輸出結果為一個包含不同人臉部件的后驗概率的矩陣，從而融合為最后的多姿態(tài)人臉檢測器。人臉跟蹤是通過級聯(lián)的GentleAdaBoost方法訓練得到強分類器，再嵌入到自適應粒子濾波過程中來實現(xiàn)穩(wěn)定跟蹤。
[0058]S2:對所述人臉序列進行篩選，得到人臉典型幀集合；本實施例中，所述步驟S2包括:根據(jù)人眼檢測置信度、姿態(tài)估計和圖像模糊評價指標，對所述人臉序列進行篩選，得到人臉典型幀集合，所述姿態(tài)估計包括人臉二維姿態(tài)估計。
[0059]本實施例中，步驟S2具體包括:
[0060]S21:選取所述人臉序列中人眼檢測置信度大于預設閾值一的視頻幀，這些視頻幀初步判定為可靠的人臉典型幀；
[0061]S22:判斷選取的視頻幀少于5張是否成立，若成立，則選取的視頻幀構成人臉典型幀集合，否則，執(zhí)行S23;
[0062]S23:估計S21中選取的視頻幀的人臉二維姿態(tài)；本實施例中，姿態(tài)估計的目的是為了挑選出姿態(tài)值較小、接近正面的人臉參與識別，沒有考慮人臉的平面內旋轉角是因為可以簡單根據(jù)檢測的眼睛位置來消除該旋轉角。
[0063]在本實施例中，采用嵌入LDA的自適應隨機森林算法分別對人臉的左右旋轉角度和俯仰旋轉角度進行回歸估計，具體過程如下:
[0064]分別收集有左右旋轉和俯仰旋轉變化的人臉樣本，測試時分別估計兩個角度。特征提取的過程是:將人臉檢測區(qū)域歸一化為48X48像素的灰度圖，然后使用高斯濾波算子(3X3，標準差為2)以去噪，最后提取(3X3) Sobel邊緣特征。嵌入LDA的自適應隨機森林算法主要在兩個方面對隨機森林算法進行了改進，如圖2所示:一是每棵多叉隨機樹的節(jié)點判決采用LDA判決來提高姿態(tài)鑒別力，二是采用可變叉節(jié)點分裂策略自適應地對分類效果不佳的姿態(tài)類進行鑒別分類，以進一步提高姿態(tài)鑒別力。測試時在葉子節(jié)點對不同姿態(tài)類進行回歸，并融合多棵隨機樹的結果。該姿態(tài)估計方法準確實時，能在IOms以內同時估計左右旋轉角和俯仰旋轉角。
[0065]S24:估計S21中選取的視頻幀的圖像模糊評價指標；本實施例中，步驟S24包括:
[0066]S241:將所述選取的視頻幀通過預設的低通濾波器，得到所述選取的視頻幀的模糊圖像，計算所述模糊圖像的鄰域梯度變化；
[0067]S242:通過比較所述選取的視頻幀和所述模糊圖像的鄰域梯度變化，得到選取的視頻幀的圖像模糊評價指標，所述指標是O到I范圍內的實數(shù)。
[0068]在本實施中，估計圖像模糊程度基于以下事實:清晰圖像的紋理銳利，圖像鄰域變化顯著；模糊圖像的鄰域變化較小。因此首先計算輸入圖像的高斯模糊圖像，再分別計算輸入圖像和其模糊圖像的水平和垂直方向的平均一階差分，來衡量圖像的鄰域梯度大小。最后比較兩者的鄰域梯度變化，并歸一化為O到I范圍內的實數(shù)作為圖像模糊指標，該指標越接近I圖像越模糊。該圖像模糊估計方法快速有效，估計時間不超過4ms。
[0069]S25:根據(jù)S23中估計的視頻幀的人臉二維姿態(tài)和S24中估計的視頻幀的圖像模糊評價指標，將S21中選取的視頻幀按照人臉二維姿態(tài)和圖像模糊評價指標由小到大的順序排列，選擇排列中前5幀構成人臉典型幀合集。
[0070]本實施例中，關于人臉姿態(tài)正面程度Mp和圖像模糊程度Mb的聯(lián)合指標簡單設為兩者的乘積Mp.Mb。其中Mb直接由S24計算得到，Mp由S23估計的左右旋轉角θ χ和俯仰旋轉角Θ y轉換得到:
【權利要求】
1.一種視頻人臉識別方法，其特征在于，包括以下步驟: 51:對視頻進行人臉檢測和跟蹤得到人臉序列； 52:對所述人臉序列進行篩選，得到人臉典型幀集合； 53:基于正面人臉生成技術和圖像超分辨率技術優(yōu)化所述人臉典型幀集合，得到增強的人臉典型幀集合； S4:通過將所述增強的人臉典型幀集合與預設的靜態(tài)人臉圖像匹配庫比對，進行人臉識別或驗證。
2.如權利要求1所述的方法，其特征在于，所述步驟S2包括:根據(jù)人眼檢測置信度、姿態(tài)估計和圖像模糊評價指標，對所述人臉序列進行篩選，得到人臉典型幀集合，所述姿態(tài)估計包括人臉二維姿態(tài)估計。
3.如權利要求1所述的方法，其特征在于，所述步驟S4包括: 541:對所述增強的人臉典型幀集合及預設的靜態(tài)人臉圖像匹配庫進行光照預處理后，提取人臉典型幀的Gabor特征及靜態(tài)人臉圖像的Gabor特征； 542:對預設的視頻庫進行所述步驟SI至S3，得到預設的人臉典型幀集合；提取所述預設的人臉典型幀集合的Gabor特征及預設的靜態(tài)人臉圖像訓練庫的Gabor特征；對所述預設的人臉典型幀集合的Gabor特征及預設的靜態(tài)人臉圖像訓練庫的Gabor特征進行鑒別映射學習，得到人臉典型幀 映射矩陣及靜態(tài)人臉圖像映射矩陣； 543:通過步驟S42中兩個映射矩陣，將步驟S41中人臉典型幀的Gabor特征及靜態(tài)人臉圖像的Gabor特征投影到公共空間，采用所述增強的人臉典型幀集合及預設的靜態(tài)人臉圖像匹配庫的最近距離進行人臉識別。
4.如權利要求1或2所述的方法，其特征在于，步驟S2具體包括: 521:選取所述人臉序列中人眼檢測置信度大于預設閾值一的視頻幀； 522:判斷選取的視頻幀少于5張是否成立，若成立，則選取的視頻幀構成人臉典型幀集合，否則，執(zhí)行步驟S23 ； 523:估計步驟S21中選取的視頻幀的人臉二維姿態(tài)； 524:估計步驟S21中選取的視頻幀的圖像模糊評價指標； 525:根據(jù)步驟S23中估計的視頻幀的人臉二維姿態(tài)和步驟S24中估計的視頻幀的圖像模糊評價指標，將步驟S21中選取的視頻幀按照人臉二維姿態(tài)和圖像模糊評價指標由小到大的順序排列，選擇排列中前5幀構成人臉典型幀合集。
5.如權利要求4所述的方法，其特征在于，在步驟S23中，采用嵌入線性鑒別分析LDA的自適應隨機森林算法分別對人臉的左右旋轉角度和俯仰旋轉角度進行回歸估計。
6.如權利要求4所述的方法，其特征在于，所述S24包括: 5241:將所述選取的視頻幀通過預設的低通濾波器，得到所述選取的視頻幀的模糊圖像，計算所述模糊圖像的鄰域梯度變化； 5242:通過比較所述選取的視頻幀和所述模糊圖像的鄰域梯度變化，得到選取的視頻中貞的圖像模糊評價指標，所述指標是O到I范圍內的實數(shù)。
7.如權利要求1所述的方法，其特征在于，步驟S3具體包括: S31:采用正面人臉生成技術矯正所述人臉典型幀集合中人臉姿態(tài)大于預定閾值二的典型幀；S32:采用圖像超分辨率技術增強所述人臉典型幀集合中人臉眼距小于60像素的典型中貞的分辨率。
8.如權利要求7所述的方法，其特征在于，在步驟S32中，所述圖像超分辨率技術中圖像超分辨放大倍數(shù)由典型幀的人臉眼距和60像素的倍數(shù)關系確定，超分辨率重建是利用人臉典型幀集合中每一幀的前后兩幀進行相似性正則。
9.如權利要求3所述的方法，其特征在于，步驟S41具體包括: 5411:采用按點除以鄰域算術均值PDAM的光照預處理方法對所述增強的人臉典型幀集合中的典型幀及預設的靜態(tài)人臉圖像匹配庫中的靜態(tài)人臉圖像進行光照歸一化； 5412:提取人臉典型幀的Gabor幅值特征及靜態(tài)人臉圖像的Gabor幅值特征。
10.如權利要求3所述的方法，其特征在于，在步驟S42中采用鑒別偏最小二乘方法DPLS學習映射矩陣 。
【文檔編號】G06K9/62GK104008370SQ201410211494
【公開日】2014年8月27日 申請日期:2014年5月19日 優(yōu)先權日:2014年5月19日
【發(fā)明者】丁曉青, 黃琛, 方馳, 劉長松, 何志翔, 雷云, 丁鏐, 王爭兒, 梁亦聰, 彭良瑞 申請人:清華大學