專利名稱：一種利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉識別和圖像處理技術(shù)，具體地說，涉及一種利用主動 網(wǎng)格與人臉識別結(jié)合生成新人臉的方法。
背景技術(shù)：
隨著圖像處理技術(shù)的發(fā)展，人臉圖像也成為一門新興的研究課題。 一張人 臉圖像變到另一張有意義的圖像，由于具有廣泛的應(yīng)用前景而備受人們的關(guān) 注。
例如，在偵破刑事案件過程中，案犯經(jīng)常會通過喬裝打扮來躲避警方的注 意，而當(dāng)一個犯罪嫌疑人藏匿多年，再經(jīng)過裝扮，警方就更難對其進(jìn)行辨認(rèn)。 如果能夠建立一個人臉識別的數(shù)據(jù)庫，將案犯人臉圖像根據(jù)年齡匹配變換到多 年后的樣子，顯然對刑事偵査有很大的幫助。同樣，人臉變換技術(shù)還可用于人 臉識別、人臉預(yù)測、數(shù)字娛樂等場合。
現(xiàn)在的人臉變換，基本是以美工人員通過軟件手工調(diào)整得到，其最終效果 取決于美工人員的技術(shù)和經(jīng)驗(yàn)，難以高效率、大批畺的處理，故不能得到廣泛 的應(yīng)用。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種利用主動網(wǎng)格與人臉識別結(jié)合生成 新人臉的方法，對于給定的人臉圖像，可自動生成與照片相似的多年齡序列照 片以及具有特定臉部特征的照片，且處理效率高。
為了達(dá)到上述目的，本發(fā)明的技術(shù)方案如下
一種利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法，包括如下步驟建 立人臉圖像數(shù)據(jù)庫；以人臉的主動網(wǎng)格為基礎(chǔ)，獲取輸入人臉照片中的特征點(diǎn)； 在人臉圖像數(shù)據(jù)庫中檢索，以獲取相似人臉;采用無縫拼接技術(shù)進(jìn)行紋理映射， 獲得新的人臉照片。本發(fā)明的變臉技術(shù)是以生物特征為基礎(chǔ)，完全自動化實(shí)現(xiàn)了人像的表情變 換、年齡變換、角色變換等，可廣泛應(yīng)用于電影制作中的特技，互聯(lián)網(wǎng)上的照 片合成。它保留了人像關(guān)鍵的生物特征，以便于身份的直觀辨認(rèn)。同時借助計(jì) 算機(jī)處理圖像，獲得給定條件下的視覺效果，最終使處理過的人臉圖像照片， 具有熟悉的特征和預(yù)期的藝術(shù)效果。具有計(jì)算復(fù)雜度低、方法直觀明晰、效 果逼真等特點(diǎn)。
采用人機(jī)交互模式，通過ASM和彈性圖匹配的方法找到精確的人臉的主 動網(wǎng)格。
以MPEG-4所定義的人臉特征點(diǎn)標(biāo)準(zhǔn)為模板，通過ASM算法自動定位出
人臉的特征點(diǎn)，在此基礎(chǔ)上結(jié)合局部搜索和活動外觀模型，調(diào)整ASM定位出
的人臉特征點(diǎn)的結(jié)果。
在人臉圖像數(shù)據(jù)庫中的檢索通過SVM， k-NN人臉識別模塊進(jìn)行。 以人臉定位模塊獲得的特征點(diǎn)分布為基礎(chǔ)，基于Hausdorff距離按照權(quán)重
投票的方式提取人臉形狀參數(shù)用于和人臉數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對，來獲取相
似人臉。
特征點(diǎn)涵蓋嘴、眼、眉、鼻、臉形五部分。
根據(jù)嘴、眼、眉、鼻、臉形五部分的特征點(diǎn)集，權(quán)重按照臉型0.3，眼睛 0.2，嘴巴0.2，鼻子0.2，眉毛0.1來計(jì)算輸入人臉照片與數(shù)據(jù)庫照片中的人臉 特征點(diǎn)集加權(quán)距離，人臉特征點(diǎn)集加權(quán)距離做為人臉相似度的比對依據(jù)。
所述無縫拼接技術(shù)采用圖像梯度域編輯方法。與直接拷貝源圖像的像素值 不同，我們拷貝圖像的梯度信息，即圖像像素的變化信息，這將導(dǎo)致較自然的 結(jié)果。


圖1是本發(fā)明的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法的流程
圖2顯示了人臉特征自動定位的效果，圖中人臉上的黑點(diǎn)為特征點(diǎn)； 圖3顯示了本發(fā)明的相似性圖像檢索的界面；
圖4a至圖4c顯示了人臉圖像變換的過程，圖4a和圖4b中的是源圖像， 圖4c中的是圖4a和圖4b拼合圖像。圖5a和圖5b顯示了采用圖像梯度域編輯方法進(jìn)行無縫拼接的過程。
具體實(shí)施例方式
下面根據(jù)圖1至圖5b，給出本發(fā)明一個較好實(shí)施例，并予以詳細(xì)描述， 使能更好地理解本發(fā)明的功能、特點(diǎn)。
圖1顯示了本發(fā)明的生成新人臉的方法的流程。如圖所示，本發(fā)明的人臉 合成系統(tǒng)包括了照片輸入模塊、人臉定位模塊、人臉形狀參數(shù)提取模塊、數(shù)據(jù) 庫檢索模塊、五官無縫拼接人臉合成模塊五個模塊。
照片輸入模塊可采用視頻實(shí)時采集和打開圖像文件兩種方式實(shí)現(xiàn)。人臉定 位模塊采用人臉主動網(wǎng)格獲取人臉照片中的特征點(diǎn)分布。人臉形狀參數(shù)提取模 塊以人臉定位模塊獲得的特征點(diǎn)分布為基礎(chǔ)，基于Hausdorff距離按照權(quán)重投 票的方式提取人臉形狀參數(shù)用于和人臉數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對。數(shù)據(jù)庫檢索 模塊以人臉形狀參數(shù)提取模塊提取出來的參數(shù)為基礎(chǔ)，運(yùn)用現(xiàn)代模式識別的分 類方法SVM， k-NN從建立的大規(guī)模人臉數(shù)據(jù)庫中發(fā)現(xiàn)相關(guān)人臉。五官無縫拼 接人臉合成模塊采用圖像梯度域編輯方法，將用戶照片五官與待合成的人臉五 官進(jìn)行替換和紋理合成，從而獲得明星臉或者不同年齡臉的人臉合成效果。
本發(fā)明基于圖像的形狀和紋理分析，結(jié)合局部搜索和活動外觀模型，實(shí)現(xiàn) 對輸入的照片自動檢測出人臉，并以MPEG-4標(biāo)準(zhǔn)對輸入的人臉照片的網(wǎng)格點(diǎn) 實(shí)現(xiàn)主動網(wǎng)格點(diǎn)(特征點(diǎn))的精確定位，所定位的特征點(diǎn)可描述對人臉的形狀以 及五官的特征，如圖2所示。
1) 采集的不同年齡段的人臉照片庫，經(jīng)過美工人員的橫向年齡段擴(kuò)展，覆 蓋所需要的各年齡段的各種臉型以及五官的形狀，可充分保證最終獲取的照片 與輸入照片的相似度，從而可以保證系統(tǒng)運(yùn)行達(dá)到理想效果。
2) 采用人臉識別的方法，從人臉特征庫中進(jìn)行相似性檢索，發(fā)現(xiàn)相關(guān)人臉。 在人臉定位的基礎(chǔ)上，以自己定義的人臉相似度參數(shù)為標(biāo)準(zhǔn)，加上人臉年
齡權(quán)值，從人臉特征庫中進(jìn)行對應(yīng)年齡段的相似性檢索，從而獲得輸入人臉的 相似臉形及相似五官。圖3給出了基于相似性進(jìn)行圖像檢索的例子。
3) 將檢索得到的相似五官拼接到人臉上，同時對圖像添加紋理細(xì)節(jié)，以增 強(qiáng)真實(shí)感。采用無縫拼接方法獲得人臉的紋理圖像，將紋理映射到輸入到2) 中獲取的相關(guān)人臉，得出輸入人臉的各年齡段人臉序列圖。根據(jù)人臉自動定位得到的特征點(diǎn)，計(jì)算待拼接五官的有效區(qū)域，利用我們 的五官克隆技術(shù)(采用圖像梯度域編輯方法)，將不同部分人臉拼接后，可以 達(dá)到逼真的效果。圖像梯度域編輯處理流程為首先，在源圖上選中一個區(qū)域， 如圖5a中選中的區(qū)域，計(jì)算該區(qū)域的梯度信息，我們定義為梯度場V;然后， 為了將圖5a中選中的區(qū)域里內(nèi)容拼接到圖5b中選擇的區(qū)域里，使合成后圖 5b中選中的區(qū)域中的梯度信息與梯度場V相同。以圖5b區(qū)域的邊界的像素為 基準(zhǔn)，從圖5b的邊界開始，其區(qū)域內(nèi)的新的像素值由該像素左邊的像素值和 與該像素位置對應(yīng)的梯度場V的值相加得到。
圖4a至圖4b給出了人臉五官克隆的過程。其中圖4a和圖4b中的是源圖 像，圖4c中的是將圖4a中的眼、鼻部分拷貝到圖4b后的圖像。
本發(fā)明的方法主要應(yīng)用在人臉年齡變換、明星相似臉制作、父母照片預(yù)測 子女臉等方面。下面分別對人臉年齡變換、明星相似臉制作、父母照片預(yù)測子 女臉三種具體應(yīng)用做出說明。
實(shí)例一人臉年齡變換
在人臉年齡變換系統(tǒng)中，用戶輸入照片，以MPEG-4所定義的人臉特征點(diǎn) 標(biāo)準(zhǔn)為模板，采用人機(jī)交互模式，通過ASM和彈性圖匹配的方法找到精確的 人臉的主動網(wǎng)格。相對于局部人臉特征點(diǎn)定位方法，活動形狀模型(Active Shape Models, ASM)方法可以同時定位很多人臉特征點(diǎn)，速度快、精度高。 但是ASM方法對模型的初始位置非常敏感，如果初始模型中特征點(diǎn)位置靠近 實(shí)際特征點(diǎn)位置，ASM方法將會非?？焖偾覝?zhǔn)確地找到所有特征點(diǎn)，但如果 初始位置遠(yuǎn)離實(shí)際特征點(diǎn)位置，ASM方法通?？赡芙o出錯誤的定位而無法用 于識別。因此，在ASM算法基礎(chǔ)上，還結(jié)合局部搜索和活動外觀模型，調(diào)整 ASM定位出的人臉特征點(diǎn)的結(jié)果，從而得到如圖2所示的精確的人臉特征點(diǎn)， 所定位的特征點(diǎn)可描述對人臉的形狀以及五官的特征。根據(jù)嘴、眼、眉、鼻、 臉形五部分的特征點(diǎn)集，權(quán)重按照臉型0.3，眼睛0.2，嘴巴0.2，鼻子0.2，眉 毛O.l來計(jì)算輸入照片與數(shù)據(jù)庫照片中的人臉特征點(diǎn)集加權(quán)距離，人臉特征點(diǎn) 集加權(quán)距離做為人臉相似度的比對依據(jù)，從不同年齡段人臉數(shù)據(jù)庫中選取最為 相似的人臉，即人臉特征點(diǎn)集加權(quán)距離最小的人臉。利用系統(tǒng)中的無縫拼接技 術(shù)將數(shù)據(jù)庫中的相似人臉做五官替換，從而獲得不同年齡段的人臉變換效果，可用于娛樂或刑偵中。
實(shí)例二明星相似臉制作
在明星相似臉制作系統(tǒng)中，用戶可輸入自己的照片以及想進(jìn)行變換的明星 照片，與人臉年齡變換系統(tǒng)特征點(diǎn)定位方法相同，系統(tǒng)自動定位出兩張照片的 特征點(diǎn)。對人臉庫中的嘴、眼、眉、鼻、臉形五部分的特征點(diǎn)集做統(tǒng)計(jì)，獲得 人臉這五部分的平均特征，計(jì)算明星臉與平均點(diǎn)集的距離，距離最大的部分也 就最能反映出明星臉的最明顯特征，將此部分利用系統(tǒng)中的無縫拼接技術(shù)替換 到用戶照片中，從而獲得具有明星特征的人臉照片，達(dá)到娛樂的效果。
實(shí)例三父母照片預(yù)測子女臉
在預(yù)測子女臉系統(tǒng)中，用戶可輸入一男一女兩張照片，與人臉年齡變換系 統(tǒng)特征點(diǎn)定位方法相同，系統(tǒng)自動定位出兩張照片的特征點(diǎn)。如人臉年齡變換 系統(tǒng)中的搜索方法，可選擇女性照片或男性照片在小孩數(shù)據(jù)庫中搜索，得到最 相似的小孩。按照明星相似臉制作系統(tǒng)中統(tǒng)計(jì)明顯特征的方法，將男性和女性 照片中最明顯的特征部分與小孩照片做將無縫拼接合成，從而獲得即有爸爸特 征又有媽媽特征的小孩照片，達(dá)到娛樂的效果。
本發(fā)明實(shí)現(xiàn)了一種利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法，給定 一張人臉照片，可自動生成與照片相似的多年齡序列照片以及與明星相似的照 片。在此方法的基礎(chǔ)上，本發(fā)明實(shí)現(xiàn)了一種利用主動網(wǎng)格與人臉識別結(jié)合生 成新人臉的系統(tǒng)，本系統(tǒng)應(yīng)用在人臉年齡變換、明星相似臉制作方面的應(yīng)用。
以上所述的，僅為本發(fā)明的較佳實(shí)施例，并非用以限定本發(fā)明的范圍，即 凡是依據(jù)本發(fā)明申請的權(quán)利要求書及說明書內(nèi)容所作的簡單、等效變化與修 飾，皆落入本發(fā)明專利的權(quán)利要求保護(hù)范圍。
權(quán)利要求
1、一種利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法，包括如下步驟建立人臉圖像數(shù)據(jù)庫；以人臉的主動網(wǎng)格為基礎(chǔ)，獲取輸入人臉照片中的特征點(diǎn)；在人臉圖像數(shù)據(jù)庫中檢索，以獲取相似人臉；采用無縫拼接技術(shù)進(jìn)行紋理映射，獲得新的人臉照片。
2、 如權(quán)利要求1所述的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法， 其特征在于，采用人機(jī)交互模式，通過ASM和彈性圖匹配的方法找到精確的 人臉的主動網(wǎng)格。
3、 如權(quán)利要求2所述的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法， 其特征在于，以MPEG-4所定義的人臉特征點(diǎn)標(biāo)準(zhǔn)為模板，通過ASM算法自 動定位出人臉的特征點(diǎn)，在此基礎(chǔ)上結(jié)合局部搜索和活動外觀模型，調(diào)整ASM 定位出的人臉特征點(diǎn)的結(jié)果。
4、 如權(quán)利要求1所述的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法， 其特征在于，在人臉圖像數(shù)據(jù)庫中的檢索通過SVM， k-NN人臉識別模塊進(jìn)行。
5、 如權(quán)利要求4所述的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法， 其特征在于，以人臉定位模塊獲得的特征點(diǎn)分布為基礎(chǔ)，基于Hausdorff距離 按照權(quán)重投票的方式提取人臉形狀參數(shù)用于和人臉數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行比對， 來獲取相似人臉。
6、 如權(quán)利要求5所述的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法， 其特征在于，特征點(diǎn)涵蓋嘴、眼、眉、鼻、臉形五部分。
7、 如權(quán)利要求6所述的利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法， 其特征在于，根據(jù)嘴、眼、眉、鼻、臉形五部分的特征點(diǎn)集，權(quán)重按照臉型 0.3，眼睛0.2，嘴巴0.2，鼻子0.2，眉毛0.1來計(jì)算輸入人臉照片與數(shù)據(jù)庫照 片中的人臉特征點(diǎn)集加權(quán)距離，人臉特征點(diǎn)集加權(quán)距離做為人臉相似度的比對 依據(jù)。
8、 如權(quán)利要求1至7中任一權(quán)利要求所述的利用主動網(wǎng)格與人臉識別結(jié) 合生成新人臉的方法，其特征在于，所述無縫拼接技術(shù)采用圖像梯度域編輯方 法。
全文摘要
本發(fā)明公開了一種利用主動網(wǎng)格與人臉識別結(jié)合生成新人臉的方法，包括如下步驟建立人臉圖像數(shù)據(jù)庫；以人臉的主動網(wǎng)格為基礎(chǔ)，獲取輸入人臉照片中的特征點(diǎn)；在人臉圖像數(shù)據(jù)庫中檢索，以獲取相似人臉；采用無縫拼接技術(shù)進(jìn)行紋理映射，獲得新的人臉照片。本發(fā)明的變臉技術(shù)是以生物特征為基礎(chǔ)，完全自動化實(shí)現(xiàn)了人像的表情變換、年齡變換、角色變換等，可廣泛應(yīng)用于電影制作中的特技，互聯(lián)網(wǎng)上的照片合成。它保留了人像關(guān)鍵的生物特征，以便于身份的直觀辨認(rèn)。同時借助計(jì)算機(jī)處理圖像，獲得給定條件下的視覺效果，最終使處理過的人臉圖像照片，具有熟悉的特征和預(yù)期的藝術(shù)效果。具有計(jì)算復(fù)雜度低、方法直觀明晰、效果逼真等特點(diǎn)。
文檔編號G06T5/00GK101308571SQ20071004066
公開日2008年11月19日 申請日期2007年5月15日 優(yōu)先權(quán)日2007年5月15日
發(fā)明者崔國勤, 楊立志, 晨 謝, 陳立珍, 巖 高 申請人:上海中科計(jì)算技術(shù)研究所;中國科學(xué)院計(jì)算技術(shù)研究所