基于方向圖模型的人臉畫像合成方法
【專利摘要】本發(fā)明公開(kāi)了一種基于方向圖模型的人臉畫像合成方法，主要解決現(xiàn)有方法在對(duì)人臉圖像合成細(xì)節(jié)不明顯的問(wèn)題。其實(shí)現(xiàn)步驟是：(1)劃分訓(xùn)練畫像樣本集、訓(xùn)練照片樣本集和測(cè)試照片樣本集；(2)對(duì)訓(xùn)練畫像樣本集中的畫像、訓(xùn)練照片樣本集中的照片和測(cè)試照片進(jìn)行塊劃分；(3)根據(jù)劃分的圖像塊組成待選擇照片塊集和待選擇畫像塊集；(4)對(duì)訓(xùn)練畫像和照片樣本塊集提取像素值特征及方向特征；(5)計(jì)算待選擇畫像塊權(quán)值集；(6)根據(jù)待選擇畫像塊權(quán)值集計(jì)算偽畫像塊集；(7)根據(jù)偽畫像塊集，生成偽畫像。本發(fā)明由于考慮了人臉圖像本身的領(lǐng)域約束，使得生成的人臉畫像細(xì)節(jié)部位明顯，可用于公共安全領(lǐng)域中人臉檢索與識(shí)別。
【專利說(shuō)明】
基于方向圖模型的人臉畫像合成方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種人臉畫像合成方法，可用于公共安 全領(lǐng)域中人臉檢索與識(shí)別。
【背景技術(shù)】
[0002] 基于人臉的身份識(shí)別技術(shù)是公共安全管理中最便捷有效的身份認(rèn)證技術(shù)之一。例 如在刑偵破案當(dāng)中，由于客觀原因?qū)е孪右煞傅恼掌y以獲得時(shí)，可以根據(jù)目擊證人的描 述，由法醫(yī)繪制出嫌疑犯的畫像。但是由于照片和畫像成像原理不同，在形狀和紋理方面均 存在較大的差異，給基于畫像的人臉識(shí)別帶來(lái)諸多困難。人臉畫像合成技術(shù)是通過(guò)圖像處 理技術(shù)將警方人臉數(shù)據(jù)庫(kù)中的照片轉(zhuǎn)化為偽畫像，之后可以將嫌疑犯的畫像在偽畫像數(shù)據(jù) 庫(kù)中進(jìn)行識(shí)別，是提高基于畫像的人臉識(shí)別的有效技術(shù)之一，因此受到廣泛的關(guān)注。
[0003] 現(xiàn)有的人臉畫像合成方法大多是基于線性合成的。比如X. Tang等人在文獻(xiàn)"Face photo recognition using sketch, in Proceedings of IEEE International Conference on Image Processing,2002，ρρ·Ι_257·"中提出一種基于特征變化的方法。該 方法將人臉畫像合成過(guò)程看作線性組合的過(guò)程，用主成分分析的方法進(jìn)行畫像合成。該類 方法存在的不足之處在于，通過(guò)線性組合的方法可以看作由低通濾波器進(jìn)行濾波，會(huì)過(guò)濾 掉一些高頻細(xì)節(jié)信息，導(dǎo)致最終合成的人臉畫像細(xì)節(jié)失真。
[0004] 為了克服上述問(wèn)題，N.Wang等人在文獻(xiàn)"Heterogeneous image transformation, Pattern Recognition Letters，vol ·34，ηο· 1，ρρ·77_84,2013." 中提出一種基于稀疏特征 選擇的方法。該方法通過(guò)自適應(yīng)的領(lǐng)域選擇有效的解決了噪聲引入和邊緣模糊等影響。但 該方法忽略了領(lǐng)域約束，而且它是個(gè)兩步框架，增加了人臉畫像合成的復(fù)雜度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對(duì)上述現(xiàn)有方法的不足，提出一種基于方法圖模型的人臉畫 像合成方法，以提高生成的偽畫像的質(zhì)量，使得生成的偽畫像的細(xì)節(jié)部位更明顯。
[0006] 實(shí)現(xiàn)本發(fā)明目的的技術(shù)方案包括如下步驟：
[0007] (1)從畫像-照片對(duì)集中取出L張畫像組成訓(xùn)練畫像樣本集TR，并取出與訓(xùn)練畫像 樣本集T R中的畫像一一對(duì)應(yīng)的L張照片組成訓(xùn)練照片樣本集TE，將剩余畫像-照片對(duì)組成測(cè) 試樣本集，從測(cè)試樣本集中選取一張測(cè)試照片A;
[0008] (2)將訓(xùn)練畫像樣本集TR中的畫像和訓(xùn)練照片樣本集TE中的照片分別劃分為相互 重疊大小相同的塊；
[0009] (3)將測(cè)試照片A劃分為同樣大小及同樣重疊程度的塊，用集合SiiS^Ss，···， Si，…，SN}表示，1 < i < N;并對(duì)每個(gè)測(cè)試照片塊Si進(jìn)行像素值特征提取，根據(jù)特征距離從訓(xùn) 練照片塊中尋找近鄰數(shù)K個(gè)相近的照片塊作為待選擇照片塊集，記作PiiiP^Pu，···， P1; J，~P1>K}，1 < j < K;同時(shí)從訓(xùn)練畫像塊中選擇對(duì)應(yīng)的畫像塊作為待選畫像塊集，記作Qi = {Qi，i，Qi,2，."，Qi，j，."，Qi，K}，1 < j <K;
[0010] ⑷對(duì)訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有塊 像素值特征提取，其中1 < c < Z，Z為圖像塊的總個(gè)數(shù)；
[0011] (5)對(duì)訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有塊M，利用Gabor濾波器提取圖像 塊的方向特征；
[0012] (6)利用步驟⑷得到的圖像塊像素值特征和步驟(5)得到的圖像塊方向特征，通 過(guò)交替迭代的方法求解馬爾科夫網(wǎng)絡(luò)模型，得到每個(gè)測(cè)試照片塊兩個(gè)特征之間的權(quán)值 集同時(shí)得到每個(gè)測(cè)試照片塊對(duì)應(yīng)的待選擇照片塊集{P^PU，…，PU，··· Pi,K}的權(quán)值集Wi= {wi,l，Wi,2,…，Wi,j，…，Wi,K};
[0013] (7)根據(jù)待選擇畫像塊集{Qi, i，Qi, 2，· · ·，Qi, j，· · ·，Qi,K}和待選擇照片塊權(quán)值集{Wi, i， w1>2，…，，…，Wl,K}，按照下式得到每個(gè)測(cè)試照片塊Sd#應(yīng)的待合成偽畫像塊t
[0014] X： =Qm, ^ / = 1,2-··, ；
[0015] (8)將偽畫像塊集，…，ΧΝ}中的Ν個(gè)偽畫像塊進(jìn)行組合，得到與測(cè)試照 片Α對(duì)應(yīng)的偽畫像。
[0016] 本發(fā)明利用人臉圖像的方向約束信息，實(shí)現(xiàn)人臉畫像合成，與現(xiàn)有方法相比，由于 考慮了人臉圖像方向約束信息，使得生成的圖像細(xì)節(jié)部位明顯，克服了現(xiàn)有方法中對(duì)人臉 圖像忽略高頻信息帶來(lái)的細(xì)節(jié)不明顯的問(wèn)題。
[0017] 以下面結(jié)合附圖，對(duì)本發(fā)明實(shí)現(xiàn)的步驟作進(jìn)一步的詳細(xì)描述。
【附圖說(shuō)明】
[0018] 圖1為本發(fā)明的實(shí)現(xiàn)流程圖；
[0019] 圖2為本發(fā)明與現(xiàn)有的兩種方法在CUHK student數(shù)據(jù)庫(kù)上生成的偽畫像的對(duì)比結(jié) 果圖。
【具體實(shí)施方式】
[0020] 參照?qǐng)D1，本發(fā)明的實(shí)現(xiàn)步驟如下：
[0021 ]步驟1，劃分訓(xùn)練畫像樣本集、訓(xùn)練照片樣本集和測(cè)試樣本集。
[0022] 從畫像-照片對(duì)集中取出L張畫像組成訓(xùn)練畫像樣本集TR，并取出與訓(xùn)練畫像樣本 集TR中的畫像一一對(duì)應(yīng)的L張照片組成訓(xùn)練照片樣本集T E，將剩余畫像-照片對(duì)組成測(cè)試樣 本集，從測(cè)試樣本集中選取一張測(cè)試照片A。
[0023] 步驟2,對(duì)訓(xùn)練畫像樣本集中的畫像、訓(xùn)練照片樣本集中的照片進(jìn)行塊劃分。
[0024]將訓(xùn)練畫像樣本集TR中的畫像和訓(xùn)練照片樣本集TE中的照片分別劃分為相互重疊 大小相同的塊。
[0025] 步驟3,組成待選擇照片塊集和待選擇畫像塊集。
[0026] 按照步驟2將測(cè)試照片A劃分為同樣大小及同樣重疊程度的塊，用集合S= {Si， S2，…，Si，…，SN}表示，1 < i < N;并對(duì)每個(gè)測(cè)試照片塊Si進(jìn)行像素值特征提取，根據(jù)特征距 離從訓(xùn)練照片塊中尋找近鄰數(shù)K個(gè)相近的照片塊作為待選擇照片塊集，記作PiiiPn Pi, 2,…，Pi, j，···Pi.d，1 < j < K;同時(shí)從訓(xùn)練畫像塊中選擇對(duì)應(yīng)的畫像塊作為待選畫像塊集， 記作Qi = {Qi，i，Qi，2,…，Qi,j，…，Qi，d，1 < j < K。
[0027] 步驟4，對(duì)訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有圖像塊M提取像素值特征。
[0028] 對(duì)訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有塊Μ= {Μ!，M2，…，MC，…，Mz}按如下 公式進(jìn)行像素值特征提取：
[0029] Vc = f(Mc)
[0030] 其中l(wèi)<c<Z，Z為圖像塊的總個(gè)數(shù)，f表示灰度化圖像過(guò)程。
[0031 ]步驟5，對(duì)訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有圖像塊Μ提取方向特征。
[0032] 對(duì)訓(xùn)練畫像樣本集TR和照片樣本集ΤΕ中的圖像塊Μ提取方向特征，可采用現(xiàn)有的二 進(jìn)小波變換，離散小波變換和Gabor變換方法進(jìn)行，本發(fā)明選用但不局限于Gabor變換法，具 體步驟如下：
[0033] (5a)將圖像塊Mc與尺度為b、方向?yàn)閐的Gabor函數(shù)Gs,d進(jìn)行卷積，結(jié)果為D c,(b,d):
[0034] Dt'(h.d) = L ? Gb.d '
[0035] 其中0<b<2，d = 0° ,10° ,20°，···，350°，?表示卷積過(guò)程；
[0036] (5b)取D。, (μ)的最大值得到圖像塊M。的方向特征D。：
[0037] Dc=max{Dc,(b,d)} 〇
[0038] 步驟6,利用馬爾科夫網(wǎng)絡(luò)模型計(jì)算待選擇照片塊權(quán)值集。
[0039] 利用步驟(4)得到的圖像塊像素值特征和步驟(5)得到的圖像塊方向特征，通過(guò)交 替迭代的方法求解馬爾科夫網(wǎng)絡(luò)模型，得到每個(gè)測(cè)試照片塊3 1的兩個(gè)特征之間的權(quán)值集yi 二卜&叫山同時(shí)得到每個(gè)測(cè)試照片塊對(duì)應(yīng)的待選擇照片塊集仍^力^…上^-中^} 的權(quán)值集Wi= {wi,l，Wi,2，···，Wi,j，···，Wi,K};
[0040] 所述的通過(guò)交替迭代的方法求解步驟具體為：
[0041 ] (6a)對(duì)每個(gè)測(cè)試照片塊Si均隨機(jī)初始化兩個(gè)特征之間的權(quán)值講；
[0042] (6b)根據(jù)待選擇照片塊與測(cè)試照片塊的兩個(gè)特征之間的距離，計(jì)算測(cè)試照片塊與 待選擇照片塊之間的關(guān)系；
[0043] (6c)根據(jù)相鄰位置的待選擇畫像塊的像素值之間的距離，計(jì)算相鄰位置的待選擇 畫像塊之間的關(guān)系；
[0044] (6d)將步驟(6b)和步驟(6c)的結(jié)果，帶入到馬爾可夫模型；
[0045] (6e)利用馬爾可夫模型，在給定兩個(gè)特征之間的權(quán)值以1的情況下，預(yù)測(cè)待選擇照 片塊的權(quán)值Wi;
[0046] (6f)將待選擇照片塊的權(quán)值^再帶入馬爾可夫模型，預(yù)測(cè)兩個(gè)特征之間的權(quán)值μ1;
[0047] (6g)迭代執(zhí)行步驟(6b)至步驟(6f)，直至每個(gè)測(cè)試照片塊對(duì)應(yīng)的待選擇照片塊的 權(quán)值 Wl不再變化或者達(dá)到預(yù)設(shè)的迭代次數(shù)，得到每個(gè)測(cè)試照片塊的兩個(gè)特征之間的權(quán)值μι 和待選擇照片塊的權(quán)值Wi。
[0048]步驟7,計(jì)算偽畫像塊集。
[0049] 根據(jù)待選擇畫像塊集％,1義,2，一義,」，~義,1(}和待選擇照片塊權(quán)值集{^, 1， w1>2，…，wu，…，Wl,K}，按照下式得到每個(gè)測(cè)試照片塊Sd#應(yīng)的待合成偽畫像塊t
[0050] Xl=Ql'.vl，i = \
[0051 ]步驟8，將偽畫像塊集{Χι，Χ2，…，Xi，…，Χν}中的Ν個(gè)偽畫像塊進(jìn)行組合，得到與測(cè) 試照片Α對(duì)應(yīng)的偽畫像。
[0052]在組合過(guò)程中，將每個(gè)偽畫像塊照測(cè)試照片塊位置順序進(jìn)行排列，i = 1， 2，···，N，對(duì)具有重疊區(qū)域的兩個(gè)偽畫像塊，將它們?cè)谥丿B區(qū)域的像素值取平均，得到與測(cè)試 照片S對(duì)應(yīng)的偽畫像。
[0053]本發(fā)明的效果可以通過(guò)以下仿真實(shí)驗(yàn)做進(jìn)一步的說(shuō)明。
[0054] 1.仿真條件
[0055] 本發(fā)明是在0?1]為1的61(1〇(：〇代17-47903.606取、內(nèi)存166、￥1冊(cè)0￥5 7操作系統(tǒng) 上，使用美國(guó)Mathworks公司開(kāi)發(fā)的MATLAB軟件進(jìn)行的仿真。
[0056] 實(shí)驗(yàn)中所用的對(duì)比方法包括如下2種：
[0057] -是基于局部線性嵌入的方法，實(shí)驗(yàn)中記為L(zhǎng)LE ;參考文獻(xiàn)為Q . Liu，X . Tang， Η. Jin,Η.Lu,and S.Ma. A Nonlinear Approach for Face Sketch Synthesis and Recognition.In Proc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005；
[0058] 二是基于馬爾可夫權(quán)重場(chǎng)模型的方法，實(shí)驗(yàn)中記作MWF;參考文獻(xiàn)為H. Zhou， Z.Kuang,and K·Wong·Markov Weight Fields for Face Sketch Synthesis . In Proc. IEEE Int.Conference on Computer Vision,pp.1091-1097,2012。
[0059] 實(shí)驗(yàn)中使用的畫像數(shù)據(jù)庫(kù)為香港中文大學(xué)公開(kāi)的CUHK student畫像數(shù)據(jù)庫(kù)。
[0060] 2.仿真內(nèi)容
[00611實(shí)驗(yàn)1:利用本發(fā)明和現(xiàn)有的LLE方法和MWF方法在⑶HK student畫像數(shù)據(jù)庫(kù)上進(jìn) 行偽畫像的生成，結(jié)果如圖2,其中圖2(a)是測(cè)試照片，圖2(b)是LLE方法生成的偽畫像，圖2 (c)是MW F方法生成的偽畫像，圖2 (d)是本發(fā)明方法生成的偽畫像。
[0062]由圖2可見(jiàn)，由于本發(fā)明方法考慮了領(lǐng)域約束，使得生成的偽畫像細(xì)節(jié)部位明顯， 清晰度高，克服了現(xiàn)有方法對(duì)人臉圖像分塊時(shí)忽略領(lǐng)域約束帶來(lái)的細(xì)節(jié)不明顯的問(wèn)題。 [0063]實(shí)驗(yàn)2:利用特征相似度FS頂兩個(gè)評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)1用三種方法生成的偽畫像分別 統(tǒng)計(jì)平均值進(jìn)行質(zhì)量評(píng)價(jià)，F(xiàn)S頂越大，說(shuō)明生成的偽畫像的質(zhì)量越好，三種方法的對(duì)比結(jié)果 如表1所示：
[0064]表1三種方法生成偽畫像的質(zhì)量評(píng)價(jià)
[0066]從表1可見(jiàn)，本發(fā)明方法生成的偽畫像的平均FS頂均高于三種對(duì)比方法，說(shuō)明本發(fā) 明方法生成的偽畫像和原始畫像相似程度更高，可以取得較好的生成效果，進(jìn)一步驗(yàn)證了 本發(fā)明的先進(jìn)性。
【主權(quán)項(xiàng)】
1. 基于方向圖模型的人臉畫像合成方法，其特征在于，包括： (1) 從畫像-照片對(duì)集中取出L張畫像組成訓(xùn)練畫像樣本集TR，并取出與訓(xùn)練畫像樣本集 Tr中的畫像一一對(duì)應(yīng)的L張照片組成訓(xùn)練照片樣本集TE，將剩余畫像-照片對(duì)組成測(cè)試樣本 集，從測(cè)試樣本集中選取一張測(cè)試照片A; (2) 將訓(xùn)練畫像樣本集TR中的畫像和訓(xùn)練照片樣本集TE中的照片分別劃分為相互重疊 大小相同的塊； (3) 將測(cè)試照片A劃分為同樣大小及同樣重疊程度的塊，用集合，…，SN} 表示，1 < i 并對(duì)每個(gè)測(cè)試照片塊Si進(jìn)行像素值特征提取，根據(jù)特征距離從訓(xùn)練照片塊 中尋找近鄰數(shù)K個(gè)相近的照片塊作為待選擇照片塊集，記作…，Ρ^,-Ρ^κ}， 1 <Κ;同時(shí)從訓(xùn)練畫像塊中選擇對(duì)應(yīng)的畫像塊作為待選畫像塊集，記作(^={0^， Qi,2,---,QiJ,---,Qi,K} ,1 < j <Κ； (4) 對(duì)訓(xùn)練畫像樣本集Tr和照片樣本集Τε中的所有塊Μ= {Μι ,Μ2，…,Μ。,…,Μζ}進(jìn)行像素 值特征提取，其中1 < c < Ζ，Ζ為圖像塊的總個(gè)數(shù)； (5) 對(duì)訓(xùn)練畫像樣本集Tr和照片樣本集ΤΕ中的所有塊Μ，利用Gabor濾波器提取圖像塊的 方向特征； (6) 利用步驟(4)得到的圖像塊像素值特征和步驟(5)得到的圖像塊方向特征，通過(guò)交 替迭代的方法求解馬爾科夫網(wǎng)絡(luò)模型，得到每個(gè)測(cè)試照片塊3 1的兩個(gè)特征之間的權(quán)值集yi ={μ&μ^}，同時(shí)得到每個(gè)測(cè)試照片塊對(duì)應(yīng)的待選擇照片塊集{P1;…，Ρ^Γ-Pi,κ} 的權(quán)值集Wi= {wi,l，Wi,2，···，Wi,j，···，Wi,K}; (7) 根據(jù)待選擇畫像塊集{Qi, i，Qi, 2，…，Qi, j，…，Qi, K}和待選擇照片塊權(quán)值集{Wi, i， ?1,2，一，《^，一，《1,1(}，按照下式得到每個(gè)測(cè)試照片塊5 1對(duì)應(yīng)的待合成偽畫像塊父1 Xi = QiWi，i = l，2，.·_，N; (8) 將偽畫像塊集，…，XN}中的N個(gè)偽畫像塊進(jìn)行組合，得到與測(cè)試照片A對(duì) 應(yīng)的偽畫像。2. 根據(jù)權(quán)利要求1中的基于方向圖模型的人臉畫像合成方法，其特征在于，步驟(4)中 對(duì)圖像塊進(jìn)行像素值特征提取，按如下公式進(jìn)行： 圖像塊M。的像素特征值V。： Vc = f(Mc)； f表示灰度化圖像過(guò)程。3. 根據(jù)權(quán)利要求1中的基于方向圖模型的人臉畫像合成方法，其特征在于，步驟(5)中 利用Gabor濾波器提取圖像塊的方向特征，按如下步驟進(jìn)行： (5a)將圖像塊M。與尺度為b、方向?yàn)閐的Gabor函數(shù)Gs,d進(jìn)行卷積，結(jié)果DdM)為：其中0<b<2，d = 0°，10°，20°，···，350°表示卷積過(guò)程； (5b)取D。, (Μ)的最大值得到圖像塊Μ。的方向特征D。： Dc-Γηειχ {Dc，(b，d)} 〇4. 根據(jù)權(quán)利要求1中的基于方向圖模型的人臉畫像合成方法，其特征在于，步驟(6)中 通過(guò)交替迭代的方法求解馬爾可夫網(wǎng)絡(luò)模型，按如下步驟進(jìn)行： (6a)對(duì)每個(gè)測(cè)試照片塊&均隨機(jī)初始化兩個(gè)特征之間的權(quán)值μ1; (6b)根據(jù)待選擇照片塊與測(cè)試照片塊的兩個(gè)特征之間的距離，計(jì)算測(cè)試照片塊與待選 擇照片塊之間的關(guān)系； (6c)根據(jù)相鄰位置的待選擇畫像塊的像素值之間的距離，計(jì)算相鄰位置的待選擇畫像 塊之間的關(guān)系； (6d)將步驟(6b)和步驟(6c)的結(jié)果，帶入到馬爾可夫模型； (6e)利用馬爾可夫模型，在給定兩個(gè)特征之間的權(quán)值叫的情況下，預(yù)測(cè)待選擇照片塊的 權(quán)值Wi ; (6f)將待選擇照片塊的權(quán)值^再帶入馬爾可夫模型，預(yù)測(cè)兩個(gè)特征之間的權(quán)值μ1; (6g)迭代執(zhí)行步驟(6b)至步驟(6f)，直至每個(gè)測(cè)試照片塊對(duì)應(yīng)的待選擇照片塊的權(quán)值 Wl不再變化或者達(dá)到預(yù)設(shè)的迭代次數(shù)，得到每個(gè)測(cè)試照片塊的兩個(gè)特征之間的權(quán)值μι和待 選擇照片塊的權(quán)值Wi。
【文檔編號(hào)】G06K9/00GK105869134SQ201610171867
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2016年3月24日
【發(fā)明人】高新波, 張宇航, 王楠楠, 李潔, 孫雷雨, 朱明瑞, 于昕曄, 彭春蕾, 馬卓奇, 曹兵, 查文錦
【申請(qǐng)人】西安電子科技大學(xué)