本發(fā)明涉及圖像識別技術(shù)領(lǐng)域,特別是涉及一種檢索人臉圖像的方法和系統(tǒng)。
背景技術(shù):
近年來,隨著互聯(lián)網(wǎng)的迅猛增長,互聯(lián)網(wǎng)圖片的爆發(fā)性增長及安全監(jiān)控設(shè)備的日益普及,每天都會產(chǎn)生海量的人臉圖像數(shù)據(jù),在這樣大規(guī)模人臉數(shù)據(jù)庫中,快速檢索到自己感興趣的一部分人臉圖像已成為一個迫切的需求。
目前,人臉檢測和識別技術(shù)在各領(lǐng)域得到廣泛應(yīng)用,成為當(dāng)前的一項研究熱點。相似人臉?biāo)阉鳎词墙o定一張待查找人臉,要從包含數(shù)十萬甚至更多人臉的圖像數(shù)據(jù)庫中找到與其長相相似的結(jié)果,并返回按照其相似程度排序的圖片序列。面對海量的人臉圖像數(shù)據(jù),需要對人臉數(shù)據(jù)進行有效的組織索引及查找分析,從而高效的搜索人臉圖像。傳統(tǒng)的方法是提取人臉圖像的LBP特征、ORB特征等高維復(fù)雜的特征且要線性遍歷整個人臉庫來尋找最相似的人臉,檢索速度慢。
技術(shù)實現(xiàn)要素:
基于此,提供一種檢索人臉圖像的方法和系統(tǒng),以克服人臉檢索速度慢的問題。
一種檢索人臉圖像的方法,包括:根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息;根據(jù)所述特征點位置信息計算得到待檢索人臉圖像的面部特征;組合所述面部特征,得到待檢索人臉圖像的特征向量;根據(jù)所述特征向量檢索數(shù)據(jù)庫中預(yù)先保存的人臉圖像,得到與待檢索人臉圖像相似度最高的人臉圖像。
針對傳統(tǒng)技術(shù)的不足,還提供一種檢索人臉圖像的系統(tǒng)。
一種檢索人臉圖像的系統(tǒng),包括:特征點位置信息確定模塊、面部特征計算模塊、特征向量獲取模塊和檢索模塊;所述特征點位置信息確定模塊,用于根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息;所述面部特征計算模塊,用于根據(jù)所述特征點位置信息計算得到待檢索人臉圖像的面部特征;所述特征向量獲取模塊,用于組合所述面部特征,得到待檢索人臉圖像的特征向量;所述檢索模塊,用于根據(jù)所述特征向量檢索數(shù)據(jù)庫中預(yù)先保存的人臉圖像,得到與待檢索人臉圖像相似度最高的人臉圖像。
本方案的有益效果:根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息,然后根據(jù)確定的特征點位置信息得到待檢索人臉圖像的特征向量;由于確定的待檢索人臉圖像的特征點是有限的,且確定的待檢索人臉圖像的特征點位置信息是二維的坐標(biāo)信息。所以,根據(jù)所述特征向量能夠快速高效從數(shù)據(jù)庫中海量的人臉圖像中檢索到與待檢索人臉圖像相似度最高的人臉圖像。
附圖說明
圖1為一實施例的檢索人臉圖像的方法的示意性流程圖;
圖2為另一實施例的檢索人臉圖像的方法的示意性流程圖;
圖3為圖2實施例的人臉特征點示意圖;
圖4為一實施例的檢索人臉圖像的系統(tǒng)的示意性結(jié)構(gòu)圖。
具體實施方式
為了更進一步闡述本發(fā)明所采取的技術(shù)手段及取得的效果,下面結(jié)合附圖及較佳實施例,對本發(fā)明的技術(shù)方案,進行清楚和完整的描述。
圖1為一實施例的檢索人臉圖像的方法的示意性流程圖。如圖1所示,一種檢索人臉圖像的方法,包括:
S101,根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息。
在本實施例中,預(yù)設(shè)的人臉特征點模型的確定方法是在人臉圖像的臉型輪廓、眉毛輪廓、鼻子輪廓、眼睛輪廓和嘴巴輪廓等確定出多個特征點。在進行人臉檢測時,可采用ASM(Active Shape Model,主動形狀模型)、AAM(Active Appreance Model,主動外觀模型)或DLIB方式根據(jù)預(yù)設(shè)的人臉特征點模型提取待檢索人臉圖像的特征點。其中DLIB是一個機器學(xué)習(xí)的C++庫,包含了許多機器學(xué)習(xí)常用的算法。本實施例以DLIB提取待檢索人臉圖像的人臉特征點,然后獲取已提取的待檢索人臉圖像的特征點位置信息;提取的待檢索人臉圖像的人臉特征點可以為臉型輪廓的特征點、眉毛輪廓的特征點、鼻子輪廓的特征點、眼睛輪廓的特征點以及嘴巴輪廓的特征點中至少兩類特征點,一般情況下,將待檢索人臉圖像的五類特征點全部提取出來。除了確定出特征點位置信息,還可以確定出人臉位置信息。
S102,根據(jù)所述特征點位置信息計算得到待檢索人臉圖像的面部特征。
在本實施例中,所述特征點位置信息是二維坐標(biāo)信息,通過簡單的四則運算,可以方便、快捷地得到待檢索人臉圖像的面部特征,所述面部特征包括臉型、眉型、下巴類型、眉尾下垂度、鼻長寬比、眉眼距、眉最高點、內(nèi)外眼裂連線與水平線夾角、眉內(nèi)夾角和眼寬。
S103,組合所述面部特征,得到待檢索人臉圖像的特征向量。
在本實施例中,特征向量包含若干個元素,各元素代表各面部特征。比如,特征向量為其中第一個元素a1代表臉型,第二個元素a2代表眉型,第三個元素a3代表眉尾下垂度,第四個元素a4代表眉鼻長寬比,第五個元素a5代表眉眼距,以此類推。
S104,根據(jù)所述特征向量檢索數(shù)據(jù)庫中預(yù)先保存的人臉圖像,得到與待檢索人臉圖像相似度最高的人臉圖像。
數(shù)據(jù)庫中預(yù)先保存的人臉圖像,一般是成千上萬的海量人臉圖像,根據(jù)所述特征向量檢索數(shù)據(jù)庫中預(yù)先保存的人臉圖像,得到與待檢索人臉圖像相似度最高的人臉圖像,即為與待檢索人臉圖像最相似的人臉圖像。
根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息,然后根據(jù)確定的特征點位置信息得到待檢索人臉圖像的特征向量;由于確定的待檢索人臉圖像的特征點是有限的,確定的待檢索人臉圖像的特征點位置信息是二維坐標(biāo)信息。所以,根據(jù)所述特征向量能夠快速、高效地從數(shù)據(jù)庫中海量的人臉圖像中檢索到與待檢索人臉圖像相似度最高的人臉圖像。
圖2為另一實施例的檢索人臉圖像的方法的示意性流程圖。如圖2所示,一種檢索人臉圖像的方法,包括:
S201,根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息;
圖3是本實施的人臉特征點示意圖,如圖3所示,根據(jù)DLIB提取人臉特征點的方法,提取了60個人臉特征點。其中,臉型輪廓特征點的序號是0-16,共16個、左眉毛輪廓特征點的序號是17-21,共5個、右眉毛輪廓特征點的序號是22-26,共5個、鼻子輪廓特征點的序號是27-35,共9個、左眼睛輪廓特征點的序號是36-41,共6個、右眼睛輪廓特征點的序號是42-47,共6個、嘴巴輪廓特征點的13個序號是48-60,共13個。
S202,根據(jù)所述特征點位置信息將待檢索人臉圖像的人臉進行校正。
在本實施例,根據(jù)所述特征點位置信息將待檢索人臉圖像的人臉校正到姿勢,所述人臉的正面姿態(tài)為兩只眼睛在一條水平線上、左右臉大小基本一致、無俯仰。通過將人臉校正到正面姿態(tài),能夠?qū)⑷四槇D像上的特征點位置坐標(biāo)統(tǒng)一到垂直坐標(biāo)系,獲得更準確的特征點位置信息。
S203,根據(jù)所述特征點位置信息計算得到待檢索人臉圖像的面部特征。
根據(jù)臉型輪廓的特征點位置信息計算得到臉型參數(shù)。臉型分為圓臉、橢圓臉、鴨蛋臉、梨型臉、國字臉和其它。在本實施例,通過以下方式可以得到待檢索人臉圖像的臉型參數(shù):
獲取特征點1與特征點15的距離數(shù)據(jù)D1,作為臉寬數(shù)據(jù);獲取特征點21與特征點22確定的連線的中點到特征點8的距離數(shù)據(jù)D2,將3*D2/2作為臉長數(shù)據(jù);將臉長數(shù)據(jù)除以臉寬數(shù)據(jù)得到臉長臉寬比;根據(jù)預(yù)先設(shè)定的臉長臉寬比和臉型的對應(yīng)關(guān)系,得到對應(yīng)的臉型。
根據(jù)眉毛輪廓的特征點位置信息計算得到眉型參數(shù),眉型參數(shù)主要用眉最高點、眉尾下垂度和眉內(nèi)夾角表示;眉型可以為直眉和彎眉,根據(jù)眉頭、眉尾、眉峰特征點位置信息確定眉型。獲取眉毛輪廓特征點的縱軸坐標(biāo)數(shù)據(jù),將縱軸坐標(biāo)數(shù)據(jù)最大的點確定為眉最高點。獲取特征點18與特征點17的縱軸坐標(biāo)的差值數(shù)據(jù)D3,獲取特征點17與特征點21的距離數(shù)據(jù)D4,將D3/D4作為眉尾下垂度。獲取特征點20和特征點21的連線l1,獲取特征點22和特征點23連線l2,獲取連線l1和l2的夾角數(shù)據(jù),作為眉內(nèi)夾角。
根據(jù)臉型輪廓的特征點位置信息計算得到下巴類型參數(shù);下巴類型可以分為尖下巴和圓下巴;通過以下方式確定下巴類型參數(shù):獲取特征點5與特征點7的連線l3,獲取特征點9與特征點11的連線l4,獲取連線l3和連線l4的夾角數(shù)據(jù)D5;同時獲取特征點5與特征點11的距離數(shù)據(jù)D6,作為下巴寬度參數(shù)。綜合夾角數(shù)據(jù)D5和下巴寬度參數(shù),得到下巴類型參數(shù)。進一步的,若下巴寬度參數(shù)小且夾角數(shù)據(jù)D5小即為尖下巴參數(shù),否則是圓下巴參數(shù)。
根據(jù)鼻子輪廓的特征點位置信息計算得到鼻長寬比。獲取特征點27與特征點31距離數(shù)據(jù)D7和特征點31與特征點35距離數(shù)據(jù)D8,將D7/D8作為鼻長寬比。
根據(jù)眼睛輪廓的特征點位置信息和眉毛輪廓特征點的位置信息計算得到內(nèi)外眼裂連線與水平線夾角、眉眼距和眼寬。獲取特征點20與特征點38距離數(shù)據(jù)D9和特征點23與特征點43的距離數(shù)據(jù)D10,將(D9+D10)/2作為眉眼距。獲取特征點36到特征點39的連線l6,將連線l6與水平線的夾角數(shù)據(jù)作為內(nèi)外眼裂連線與水平線夾角。獲取特征點36與特征點39的距離數(shù)據(jù)D11和特征點42與特征點45的距離數(shù)據(jù)D12,將(D11+D12)/2作為眼寬。
S204,將所述面部特征按預(yù)先確定的等級標(biāo)準進行分級,得到所述面部特征的分級級數(shù)。
作為一優(yōu)選實施例,將設(shè)定面部特征按預(yù)先確定的等級標(biāo)準分級之前,先確定面部特征的等級標(biāo)準。例如,確定眉毛的等級標(biāo)準的方法為對一定數(shù)量的人臉的眉毛粗細進行統(tǒng)計,可以是一萬人,計算其均值、方差,量化到5級。將所有的設(shè)定面部特征按預(yù)先確定的等級標(biāo)準進行分級,得到所有面部特征的分級級數(shù)。
S205,根據(jù)預(yù)設(shè)的語義特征確定規(guī)則、分級級數(shù)得到所述面部特征對應(yīng)的語義特征;根據(jù)各面部特征對應(yīng)的語義特征,得到待檢索人臉圖像的語義特征。
作為一優(yōu)選實施例,根據(jù)預(yù)設(shè)的語義特征確定規(guī)則、分級級數(shù)得到所述面部特征對應(yīng)的語義特征;例如,眉毛粗細等級級數(shù)為4,則確定眉毛對應(yīng)的語義特征為“濃眉”,眼睛大小等級級數(shù)為4,則確定眼睛對應(yīng)的語義特征為“大眼”;兩者組合起來得到的語義特征“濃眉大眼”可作為待檢索人臉圖像的語義特征。
S206,組合各面部特征對應(yīng)的分級級數(shù),得到待檢索人臉圖像的特征向量。
比如,組合各面部特征對應(yīng)的分級級數(shù),得到待檢索人臉圖像的特征向量為其中第一個元素4代表臉型級數(shù),第二元素2代表眉型級數(shù),第三個元素5代表眉尾下垂度級數(shù),第四個元素1代表鼻長寬比,第五個元素3代表眉眼距級數(shù),以此類推。
S207,根據(jù)所述待檢索人臉圖像的語義特征在整個數(shù)據(jù)庫內(nèi)進行檢索,從數(shù)據(jù)庫中預(yù)先保存的人臉圖像中確定檢索范圍。
作為一優(yōu)選實施例,根據(jù)所述待檢索人臉圖像的臉型、眉型、鼻型、眼睛和下巴的語義特征在整個數(shù)據(jù)庫內(nèi)進行檢索,從數(shù)據(jù)庫中預(yù)先保存的人臉圖像中確定檢索范圍,可以極大縮小檢索空間。
S208,將所述待檢索人臉圖像的特征向量與所述檢索范圍內(nèi)的各人臉圖像的特征向量進行比較,得到向量差值;找出檢索范圍內(nèi)所述向量差值最小的人臉圖像,確定為與待檢索人臉圖像相似度最高的人臉圖像,即為與待檢索人臉圖像最相似的人臉圖像。
在本實施例,將所述待檢索人臉圖像的特征向量與所述檢索范圍內(nèi)的各人臉圖像的特征向量進行比較,得到向量差值,根據(jù)得到的向量差值,將數(shù)據(jù)庫中在待檢索人臉圖像的檢索范圍內(nèi)的人臉圖像排序,與待檢索人臉圖像的向量差值小的人臉圖像排在前面,挑選出排序最前的人臉圖像即為與待檢索人臉圖像相似度最高的人臉圖像。
本實施例的有益效果為根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息,根據(jù)確定的特征點位置信息得到待檢索人臉圖像的特征向量和語義特征,先根據(jù)所述待檢索人臉圖像的語義特征在整個數(shù)據(jù)庫內(nèi)進行檢索,從數(shù)據(jù)庫中預(yù)先保存的人臉圖像中確定檢索范圍;然后利用所述待檢索人臉圖像的特征向量能夠更快速、更高效的在所述檢索范圍內(nèi)檢索到與待檢索人臉圖像相似度最高的人臉圖像。
圖4為一實施例的檢索人臉圖像的系統(tǒng)的示意性結(jié)構(gòu)圖。如圖4所示,一種檢索人臉圖像的系統(tǒng),包括:特征點位置信息確定模塊101、面部特征計算模塊102、特征向量獲取模塊103和檢索模塊104;所述特征點位置信息確定模塊101,用于根據(jù)預(yù)設(shè)的人臉特征點模型確定待檢索人臉圖像的特征點位置信息;所述面部特征計算模塊102,用于根據(jù)所述特征點位置信息計算得到待檢索人臉圖像的面部特征;所述特征向量獲取模塊103,用于組合所述面部特征,得到待檢索人臉圖像的特征向量;所述檢索模塊104,用于根據(jù)所述特征向量檢索數(shù)據(jù)庫中預(yù)先保存的人臉圖像,得到與待檢索人臉圖像相似度最高的人臉圖像。
作為一優(yōu)選實施例,所述檢索人臉圖像的系統(tǒng)還包括:語義特征獲取模塊(圖中未示出);所述語義特征獲取模塊,用于根據(jù)所述面部特征得到待檢索人臉圖像的語義特征;所述檢索模塊,還用于根據(jù)所述待檢索人臉圖像的語義特征在整個數(shù)據(jù)庫內(nèi)進行檢索,從數(shù)據(jù)庫中預(yù)先保存的人臉圖像中確定一檢索范圍;根據(jù)所述特征向量在所述檢索范圍內(nèi)進行檢索,得到與待檢索人臉圖像相似度最高的人臉圖像。
作為一優(yōu)選實施例,所述檢索人臉圖像的系統(tǒng)還包括:分級模塊(圖中未示出);所述分級模塊,用于將所述面部特征按預(yù)先確定的等級標(biāo)準進行分級,得到所述面部特征的分級級數(shù);根據(jù)預(yù)設(shè)的語義特征確定規(guī)則、分級級數(shù)得到所述面部特征對應(yīng)的語義特征;組合各面部特征對應(yīng)的語義特征,得到待檢索人臉圖像的語義特征。所述特征向量獲取模塊,還用于組合各面部特征對應(yīng)的分級級數(shù),得到待檢索人臉圖像的特征向量。
作為一優(yōu)選實施例,所述檢索模塊,還用于將所述待檢索人臉圖像的特征向量與所述檢索范圍內(nèi)的各人臉圖像的特征向量進行比較,得到向量差值;找出檢索范圍內(nèi)所述向量差值最小的人臉圖像,確定為與待檢索人臉圖像相似度最高的人臉圖像。
作為一優(yōu)選實施例,所述檢索人臉圖像的系統(tǒng)還包括:人臉姿態(tài)校正模塊(圖中未示出);所述人臉姿態(tài)校正模塊,用于根據(jù)所述特征點位置信息將待檢索人臉圖像的人臉進行校正,一般情況,將人臉校正到正面姿態(tài)。所述人臉的正面姿態(tài)為兩只眼睛在一條水平線上、左右臉大小一致、無俯仰。
作為一優(yōu)選實施例,所述的預(yù)設(shè)的人臉特征點模型包括:臉型輪廓的特征點、眉毛輪廓的特征點、鼻子輪廓的特征點、眼睛輪廓的特征點以及嘴巴輪廓的特征點中至少兩類特征點。
所述面部特征計算模塊102,還用于根據(jù)臉型輪廓特征點的位置信息計算得到臉型和下巴類型;根據(jù)眉毛輪廓特征點的位置信息計算得到眉型;根據(jù)鼻子輪廓的特征點位置信息計算得到鼻長寬比;根據(jù)眉毛輪廓的特征點位置信息和眼睛輪廓的特征點位置信息,計算得到內(nèi)外眼裂連線與水平線夾角、眉眼距和眼寬。
以上所述實施例的各技術(shù)特征可以進行任意的組合,為使描述簡潔,未對上述實施例中的各個技術(shù)特征所有可能的組合都進行描述,然而,只要這些技術(shù)特征的組合不存在矛盾,都應(yīng)當(dāng)認為是本說明書記載的范圍。
以上所述實施例僅表達了本發(fā)明的幾種實施方式,其描述較為具體和詳細,但并不能因此而理解為對發(fā)明專利范圍的限制。應(yīng)當(dāng)指出的是,對于本領(lǐng)域的普通技術(shù)人員來說,在不脫離本發(fā)明構(gòu)思的前提下,還可以做出若干變形和改進,這些都屬于本發(fā)明的保護范圍。因此,本發(fā)明專利的保護范圍應(yīng)以所附權(quán)利要求為準。