專利名稱：一種大規(guī)模人臉圖像檢索方法
技術(shù)領(lǐng)域：
本發(fā)明屬于人臉圖像檢索領(lǐng)域，特別是一種大規(guī)模人臉圖像檢索方法。
背景技術(shù)：
近年來，隨著微博和社交網(wǎng)站的興起以及公共安全的需求，人臉圖像的數(shù)據(jù)迅速增長到海量的規(guī)模，在這樣一個海量的人臉數(shù)據(jù)庫中，檢索到自己感興趣的一部分人臉圖像已成為一個迫切的需求，大規(guī)模人臉檢索也因此逐漸成為研究的熱點。大規(guī)模人臉圖像檢索要求算法對數(shù)據(jù)規(guī)模具有很好的可擴展性，此外，檢索效率、召回率和準確率等是評價檢索性能的通用指標，不但要求檢索效率高，還要保證檢索的準確性。對于大規(guī)模人臉檢索問題，如果直接使用傳統(tǒng)的人臉識別的方法，提取的是高維復(fù)雜的特征且要線性遍歷整個人臉庫來尋找最相似的人臉，不具有可擴展性。簡單利用基于內(nèi)容的圖像檢索領(lǐng)域的詞包模型(Bag-of-Words，Boff),由于沒有利用人臉本身的特殊結(jié)構(gòu)信息，量化的誤差較大，因而檢索準確率較低。目前主流的一些解決方案，如局部區(qū)塊的基于ID量化編碼的方法，通過利用人臉局部區(qū)塊的位置信息這一先驗知識來減小量化損失，同時使用多參考集重排序的方法來提高準確率，取得了較好的效果，但是，這些解決方案依然存在著人臉幾何結(jié)構(gòu)信息利用不足、量化損失和誤差較大、參考集生成對年齡等變化不夠魯棒等問題，大規(guī)模人臉檢索在性能上有待進一步提高。

發(fā)明內(nèi)容
發(fā)明目的本發(fā)明為了解決現(xiàn)有技術(shù)中的問題，提出了一種大規(guī)模人臉圖像檢索方法，從而有效解決大規(guī)模數(shù)據(jù)下，人臉圖像的快速準確檢索問題。

發(fā)明內(nèi)容
本發(fā)明公開了一種大規(guī)模人臉圖像檢索方法，包含如下步驟對待檢索的人臉圖像和人臉圖像數(shù)據(jù)庫中所有人臉圖像分別進行以下步驟f步驟4的處理；步驟1，人臉圖像預(yù)處理定位人臉圖像中的關(guān)鍵點，并將人臉圖像與預(yù)設(shè)的標準人臉圖像對齊；步驟2，提取局部特征根據(jù)關(guān)鍵點位置將人臉圖像分成P塊，每一塊稱為一個局部塊，提取每一個局部塊的特征；步驟3，提取全局幾何特征根據(jù)關(guān)鍵點位置，提取人臉圖像全局幾何特征，包括距離特征、角度特征以及曲率特征；步驟4，將人臉圖像局部特征和全局幾何特征量化為視覺單詞利用訓(xùn)練集得到局部特征詞典和全局特征詞典，將人臉圖像局部特征和全局幾何特征量化為視覺單詞；步驟5，對人臉圖像數(shù)據(jù)庫中的所有人臉圖像建立倒排索引；步驟6，根據(jù)待檢索人臉圖像的視覺單詞從步驟5的倒排索引中獲得候選人臉圖像集合；步驟7，利用重排序算法對候選人臉圖像集合進行重排序，得到人臉圖像參考集，人臉圖像參考集為最終有序的檢索結(jié)果。步驟I人臉圖像預(yù)處理具體包括如下步驟首先，利用主動形狀模型(Active Shape Model, ASM)定位人臉圖像中的關(guān)鍵點，一個人臉的所有關(guān)鍵點的集合看作一個人臉形狀，這些關(guān)鍵點組成的向量稱為人臉形狀向量。根據(jù)兩個人臉形狀向量，即兩個人臉圖像的關(guān)鍵點的集合，第i個人臉形狀向量記為X1-(XiDyiUXcyc-HXir^yin)，其中(Xij，YiJ)表示第i個人臉圖像第j個關(guān)鍵點的坐標，其中j為fn中的任一數(shù)值，n為關(guān)鍵點個數(shù)，本發(fā)明優(yōu)選76個，T表示矩陣的轉(zhuǎn)置；一般關(guān)鍵點選取為10以上的自然數(shù)。給定人臉圖像a和人臉圖像b,其形狀分別為Xa=(xal, yal, Xa2JyxanJan)1^
(Xbl，Ybl) Xb2> yb2> …Xbn，Ybn);找到參數(shù)組(0，s，t)，使參數(shù)E= (Xa-M (s，0 ) [Xb]-t) Tff (Xa-M (s, 0 ) [Xb] _t)的值最??；一個人臉形狀向量的轉(zhuǎn)換用對其函數(shù)m(s，e) [Xi]+t表示，其中
權(quán)利要求
1.一種大規(guī)模人臉圖像檢索方法，其特征在于，包含以下步驟對待檢索的人臉圖像和人臉圖像數(shù)據(jù)庫中所有人臉圖像分別進行以下步驟f步驟4 的處理；步驟1，人臉圖像預(yù)處理定位人臉圖像中的關(guān)鍵點，并將人臉圖像與預(yù)設(shè)的標準人臉圖像對齊；步驟2，提取局部特征根據(jù)關(guān)鍵點位置將人臉圖像分成P塊，每一塊稱為一個局部塊， 提取每一個局部塊的特征；步驟3，提取全局幾何特征根據(jù)關(guān)鍵點位置，提取人臉圖像全局幾何特征，包括距離特征、角度特征以及曲率特征；步驟4，將人臉圖像局部特征和全局幾何特征量化為視覺單詞利用訓(xùn)練集得到局部特征詞典和全局特征詞典，將人臉圖像局部特征和全局幾何特征量化為視覺單詞；步驟5，對人臉圖像數(shù)據(jù)庫中的所有人臉圖像建立倒排索引；步驟6，根據(jù)待檢索人臉圖像的視覺單詞從步驟5的倒排索引中獲得候選人臉圖像集合；步驟7，利用重排序算法對候選人臉圖像集合進行重排序，得到人臉圖像參考集，人臉圖像參考集為最終有序的檢索結(jié)果。
2.根據(jù)權(quán)利要求I所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟I具體包括如下步驟定位關(guān)鍵點，對人臉圖像中的關(guān)鍵點進行定位，關(guān)鍵點的集合作為人臉形狀；將人臉圖像與預(yù)設(shè)的標準人臉圖像對齊包括，對于標準人臉圖像a和任意人臉圖像 b，其人臉形狀分別為\和\，對齊過程即計算參數(shù)組(0，s，t)，使E=(Xa-M(s，9)[Xb]-t) tW(Xa-M(s, Θ) [Xb]-t)最小，其中，M(s，Θ) [Xb]+t表示對人臉圖像b人臉形狀向量的變換， M表示對齊函數(shù)，Θ表示旋轉(zhuǎn)參數(shù)，s表示縮放參數(shù)，t表示位移參數(shù)，W是每個關(guān)鍵點的權(quán)值組成的對角矩陣；根據(jù)參數(shù)組(Θ，s，t)，將人臉圖像b與標準人臉圖像a對齊。
3.根據(jù)權(quán)利要求2所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟2中提取每一個局部塊的特征包括局部二元模式和尺度不變特征轉(zhuǎn)換兩種特征。
4.根據(jù)權(quán)利要求3所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟3提取全局幾何特征具體包括關(guān)鍵點之間的空間幾何關(guān)系，包括距離特征、角度特征和曲率特征。
5.根據(jù)權(quán)利要求4所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟4中利用訓(xùn)練集得到局部特征詞典和全局特征詞典包括如下步驟定義視覺單詞視覺單詞包括Name ID, Age ID, Gender ID, Position ID;其中，對于局部特征，Name ID表示局部塊所屬人臉的姓名，Age ID表示局部塊所屬人臉的年齡段， Gender ID表不局部塊所屬人臉的性別，Position ID表不局部塊在所屬人臉中的編號；對于全局特征，Name ID表示全局特征對應(yīng)人臉的姓名，Age ID表示全局特征對應(yīng)人臉的年齡段,Gender ID表示全局特征對應(yīng)人臉的性別，Position ID設(shè)為固定值p+q, q取值任意正整數(shù)；利用訓(xùn)練集生成局部特征詞典過程如下對訓(xùn)練集中所有的人臉圖像進行步驟廣2， 并將訓(xùn)練集所有人臉圖像的局部二元模式、尺度不變特征轉(zhuǎn)換兩種特征各自歸入一個集合，每個集合稱為局部特征集合；將每個局部特征集合中同一個年齡段、同一種性別和同一編號的局部特征作為一組，每組分別利用稀疏編碼模型進行訓(xùn)練，得到一個局部特征詞典， 該詞典由一組特征向量組成，每個特征向量對應(yīng)組中的一個局部特征，稱為基；任意一個特征向量都由基的線性組合進行重構(gòu)，線性組合的系數(shù)向量是特征向量的稀疏編碼表示；利用訓(xùn)練集生成全局特征詞典過程如下對訓(xùn)練集中所有的人臉圖像進行步驟I和步驟3，將訓(xùn)練集中同一個年齡段、同一種性別的全局幾何特征作為一組，每個組視為一個全局特征詞典。
6.根據(jù)權(quán)利要求5所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟4中將人臉圖像局部特征和全局幾何特征量化為視覺單詞包括如下步驟對每一個人臉圖像局部特征F1，根據(jù)相同特征種類、相同年齡段、相同性別和相同編號的人臉圖像局部特征詞典的基線性組合進行重構(gòu)，得到系數(shù)向量中非零元素對應(yīng)的基；基的人臉圖像的姓名作為人臉圖像局部特征F1對應(yīng)視覺單詞的Name ID，年齡段作為人臉圖像局部特征F1對應(yīng)視覺單詞的Age ID，性別作為人臉圖像局部特征F1對應(yīng)視覺單詞的 Gender ID,編號作為人臉圖像局部特征F1對應(yīng)視覺單詞的Position ID;對于一個人臉圖像全局幾何特征Fg，選出其相同年齡段、相同性別的全局特征詞典，將人臉圖像全局幾何特征Fg和詞典中的全局特征進行最近鄰搜索，得到詞典中最近鄰的人臉圖像的姓名作為人臉圖像全局幾何特征Fg對應(yīng)視覺單詞的Name ID，年齡段作為人臉圖像全局幾何特征Fg對應(yīng)視覺單詞的Age ID,性別作為人臉圖像全局幾何特征Fg對應(yīng)視覺單詞的Gender ID,人臉圖像全局幾何特征Fg的Position ID設(shè)為p+q, q取值任意正整數(shù)。
7.根據(jù)權(quán)利要求6所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟5包括如下步驟將所有不重復(fù)的視覺單詞組成一個視覺單詞集合，視覺單詞集合中每個視覺單詞都作為一個索引項，每個索引項和一個包含該視覺單詞的人臉圖像集合綁定；將人臉圖像數(shù)據(jù)庫中量化成視覺單詞的人臉圖像與視覺單詞集合中的視覺單詞關(guān)聯(lián)，形成倒排索引，即將人臉圖像數(shù)據(jù)庫中的人臉圖像量化后，將人臉圖像加入到其對應(yīng)視覺單詞的索引項列表中。
8.根據(jù)權(quán)利要求7所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟6包括如下步驟根據(jù)待檢索人臉圖像對應(yīng)的視覺單詞，從倒排索引的視覺單詞集合中搜索所述視覺單詞，將與其關(guān)聯(lián)的人臉圖像數(shù)據(jù)庫的人臉圖像取出，取出的所有人臉圖像組成的集合稱為候選人臉圖像集合。
9.根據(jù)權(quán)利要求8所述的一種大規(guī)模人臉檢索方法，其特征在于，步驟7包括如下步驟根據(jù)待檢索人臉圖像，通過迭代法從候選人臉圖像集合中選出一組人臉圖像，加入人臉圖像參考集，迭代結(jié)束后，最終的人臉圖像參考集即為重排序后的檢索結(jié)果；每一輪迭代，對候選人臉圖像集合中每一張人臉圖像計算其與待檢索人臉圖像和人臉圖像參考集中人臉圖像的整體距離D，將整體距離D值最小的人臉圖像從候選人臉圖像集合中去除，并加入人臉圖像參考集，整體距離D采用如下公式計算D = -/hsign(f{Q.. I)) + /) + X a\R., I)其中，Q是待檢索人臉圖像，I是候選人臉圖像集合中的任意一個人臉圖像，-β · sign(f(Q, I))+d(Q, I)表示候選人臉圖像集合中人臉圖像I和待檢索人臉圖像Q的距離， 表示候選人臉圖像集合中人臉圖像I和人臉圖像參考集中人臉圖像的距離，整體距離D為兩者之和；α，β為比例系數(shù)，α、β的取值范圍為(Tl, sign(f(Q, I))為語義分類項，其中f (Q，I)表示對待檢索人臉圖像Q和候選人臉圖像集合中的人臉圖像I進行語義分類，判斷其是否屬于同一類，f是分類函數(shù)，sign是取符號函數(shù)，d(Q, I)表示計算待檢索人臉圖像Q和候選人臉圖像集合中圖像I的距離，+ ΣΑΙ7)表示計算候選人臉圖像集合中人臉圖像I和人臉圖像參考集的平均距離，IrI 參考集的大小，Ri表示當(dāng)前迭代中人臉圖像參考集中第i張人臉圖像。表示人臉圖像
全文摘要
本發(fā)明公開了一種大規(guī)模人臉圖像檢索方法，包含如下步驟預(yù)處理；局部特征提取；全局幾何特征提??；局部特征量化；全局幾何特征量化；建立倒排索引；檢索候選人臉圖像集合；候選人臉圖像集合重排序。本發(fā)明能夠?qū)Υ笠?guī)模人臉圖像庫建立索引，實現(xiàn)快速的人臉檢索，提高了檢索效率。此外，通過嵌入輔助信息的特征量化和候選人臉圖像集合重排序算法，提高了人臉檢索的準確率。本發(fā)明實現(xiàn)了高效、準確的大規(guī)模人臉圖像檢索，因此具有較高的使用價值。
文檔編號G06F17/30GK102982165SQ20121052783
公開日2013年3月20日 申請日期2012年12月10日 優(yōu)先權(quán)日2012年12月10日
發(fā)明者楊育彬, 毛曉蛟, 錢洪波 申請人:南京大學(xué)