一種基于深度學(xué)習(xí)的人臉吸引力評價(jià)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)圖像數(shù)據(jù)處理及模式識別的研究領(lǐng)域，特別涉及一種基于深度 學(xué)習(xí)的人臉吸引力評價(jià)方法。
【背景技術(shù)】
[0002] 愛美之心，人皆有之。人人都希望自己是美麗的，然而評價(jià)一張人臉圖像是否具有 足夠的吸引力，卻是一個(gè)抽象的難題，其不可避免的要受到人臉圖像的姿態(tài)、光照、種族及 評判人主觀因素等的影響。然而人臉吸引力評價(jià)也并非絕對抽象，長時(shí)間以來，研究者們關(guān) 于人臉吸引力也積累了一些量化標(biāo)準(zhǔn)，如由中國的傳統(tǒng)審美觀念衍生出的"三庭五眼"和 "四高三低"，以及在歐洲地區(qū)盛行的"面部黃金比例"等。近年來，隨著人工智能的興起，自 動(dòng)化的人臉吸引力評價(jià)也在機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺領(lǐng)域引起關(guān)注。然而如何讓計(jì)算機(jī)對人 臉進(jìn)行客觀的吸引力評價(jià)是一個(gè)復(fù)雜的難題，目前這方面國內(nèi)外的研究還比較少，大多停 留在手工提取人臉幾何特征或表觀特征，然后用傳統(tǒng)的機(jī)器學(xué)習(xí)算法進(jìn)行學(xué)習(xí)的基礎(chǔ)上。 然而手工提取特征的工作不僅繁雜，選擇合適的面部特征也相當(dāng)依賴于研究者的經(jīng)驗(yàn)和學(xué) 識。深度學(xué)習(xí)的方法可以摒棄繁瑣的手工特征提取的工作，將其吸引力預(yù)測合為一體。利用 深度自學(xué)習(xí)來提取人臉圖像更具結(jié)構(gòu)性和層次性的美學(xué)特征，可以實(shí)現(xiàn)對人臉圖像更準(zhǔn)確 的吸引力預(yù)測。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種基于深度學(xué)習(xí)的人 臉吸引力評價(jià)方法，具體通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)建立人臉吸引力預(yù)測的客觀評價(jià) 模型，結(jié)合大量的訓(xùn)練樣本和層次化的訓(xùn)練方法，使得模型能夠?qū)W習(xí)到人臉吸引力評價(jià)的 客觀標(biāo)準(zhǔn)，對任意輸入的每張人臉圖片預(yù)測出合理的吸引力分?jǐn)?shù)，從而實(shí)現(xiàn)端到端的人臉 吸引力評價(jià)。
[0004] 為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：
[0005] 本發(fā)明提供的一種基于深度學(xué)習(xí)的人臉吸引力評價(jià)方法，該方法包括下述步驟：
[0006] (1)、對人臉數(shù)據(jù)庫中的人臉圖像做圖層分解，提取出包含人臉皮膚光滑度信息的 細(xì)節(jié)圖層和包含人臉皮膚亮度信息的亮度圖層；
[0007] (2)、在特定設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下，將細(xì)節(jié)層作為輸入訓(xùn)練得到一個(gè)初步的 人臉吸引力評價(jià)網(wǎng)絡(luò)模型；
[0008] (3)、將亮度層作為輸入對網(wǎng)絡(luò)模型進(jìn)行微調(diào)優(yōu)化；
[0009] (4)、將人臉圖像的RGB顏色信息作為輸入對網(wǎng)絡(luò)模型進(jìn)行微調(diào)優(yōu)化，得到最終的 評分模型；
[0010] (5)、將任意人臉圖像輸入評分模型，得到相應(yīng)的人臉吸引力分?jǐn)?shù)。
[0011] 作為優(yōu)選的技術(shù)方案，在步驟(1)中，所述數(shù)據(jù)庫是SCUT-FBP數(shù)據(jù)庫，包含Μ張亞洲 青年女性人臉圖像，其人臉美麗標(biāo)準(zhǔn)的制定是根據(jù)Ν位志愿者的平均審美決定的，即在 SCUT-FBP數(shù)據(jù)庫中，每張圖像被賦予一個(gè)人臉吸引力分?jǐn)?shù)。
[0012] 作為優(yōu)選的技術(shù)方案，所述人臉吸引力分?jǐn)?shù)為N位志愿者對數(shù)據(jù)庫中每張圖像進(jìn) 行吸引力評分后所得的平均分，范圍是1-5分，分?jǐn)?shù)越高表示吸引力越大。
[0013] 作為優(yōu)選的技術(shù)方案，在步驟(1)中，對人臉數(shù)據(jù)庫中的人臉圖像做圖層分解包括 顏色空間映射和濾波處理兩大過程：
[0014] 顏色空間映射是指將RGB顏色空間映射到CIEL*a*b*顏色空間，其中，L*坐標(biāo)表示 顏色亮度，范圍是0~100，L*為0表示黑色而L*為100表示白色;a*坐標(biāo)表示紅色和綠色之間 的值，范圍是-500~500，負(fù)值指示綠色而正值指示紅色;b*坐標(biāo)表示黃色和藍(lán)色之間的值， 范圍是-200~200,負(fù)值指示藍(lán)色而正值指示黃色，顏色空間映射過程包含從RGB色彩空間 到XYZ空間的線性變換與從XYZ空間到L*a*b*空間的非線性變換，從RGB到XYZ的線性變換的 公式為：
[0022] 濾波處理表示用加權(quán)最小二乘濾波器對CIEL*a*b*中的亮度通道L*進(jìn)行處理得到 代表皮膚亮度的亮度圖層，設(shè)定原始人臉輸入圖像經(jīng)過變換到CIEL*a*b*顏色空間后的亮 度通道為L·*，人臉亮度圖層為L·，并應(yīng)用基于加權(quán)最小二乘濾波予以描述，則有：
[0026]其中，X和y表示圖像中某一點(diǎn)的空間位置;參數(shù)e是一個(gè)小的常數(shù)，用來避免分母 為〇的情況;參數(shù)λ用來平衡光滑項(xiàng)與數(shù)據(jù)項(xiàng)的比例，從而控制圖像整體的平滑度;參數(shù)α是 通過調(diào)節(jié)導(dǎo)向圖Ic的梯度變化來控制圖像輸出的；Ic是導(dǎo)向圖，用來控制邊緣保持平滑的局 部特性，這里取Ic=l〇glL*，從亮度通道中減去亮度圖層就能得到包含皮膚光滑度的光滑度 圖層Is，BPIs = Il*-Il。
[0027] 作為優(yōu)選的技術(shù)方案，在顏色空間映射過程中，所述Xn，Yn，Zn分別為95.047， 100.0,108.883〇
[0028] 作為優(yōu)選的技術(shù)方案，在步驟(2)中，所述特定設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是具有網(wǎng) 絡(luò)輸入圖片尺寸較大、卷積核尺寸較小以及網(wǎng)絡(luò)結(jié)構(gòu)較深的網(wǎng)絡(luò)結(jié)構(gòu)。
[0029] 作為優(yōu)選的技術(shù)方案，該特定設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的圖像輸入大小為 256x256,在訓(xùn)練過程中會(huì)被隨機(jī)裁剪成227x227大小，網(wǎng)絡(luò)包含6個(gè)卷積層和2個(gè)全連接層， 每個(gè)卷積層分別包含50，100，150，200，250，300個(gè)特征圖；每個(gè)卷積層的卷積核大小分別是 5x5，5x5，4x4，4x4，4x4，2x2，卷積步長都為1;每個(gè)卷積層后緊跟一個(gè)下采樣層，每個(gè)下采樣 層的核都為2x2大小，步長為2，前5個(gè)下采樣層采用均值采樣方法，最后一個(gè)下采樣層采用 最大值采樣方法;網(wǎng)絡(luò)第一個(gè)全連接層包含500個(gè)神經(jīng)元，第二個(gè)全連接層包含1個(gè)神經(jīng)元， 即輸出網(wǎng)絡(luò)預(yù)測的吸引力分?jǐn)?shù)。
[0030] 作為優(yōu)選的技術(shù)方案，還包括確定卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的損失函數(shù)的步驟，其具體 為：
[0031] 采用人臉圖像被賦予的吸引力分?jǐn)?shù)和網(wǎng)絡(luò)輸出分?jǐn)?shù)之間的歐氏距離作為網(wǎng)絡(luò)的 損失函數(shù)，定義爲(wèi)1為網(wǎng)絡(luò)預(yù)測吸引力分?jǐn)?shù)，ynS被賦予的吸引力分?jǐn)?shù)，則網(wǎng)絡(luò)的損失函數(shù) 為：
[0033] 作為優(yōu)選的技術(shù)方案，在步驟(5)中，被輸入進(jìn)行吸引力評分的任意人臉圖像的輸 入?目息是RGB像素值。
[0034] 本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：
[0035] 1、本發(fā)明摒棄傳統(tǒng)的手工提取人臉面部特征的方法，利用深度學(xué)習(xí)中的卷積神經(jīng) 網(wǎng)絡(luò)自動(dòng)提取人臉特征并學(xué)習(xí)人臉美麗的標(biāo)準(zhǔn)；
[0036] 2、本發(fā)明將特征提取和人臉吸引力預(yù)測合為一體，有利于整體優(yōu)化，實(shí)現(xiàn)了真正 的端到端的人臉吸引力預(yù)測；
[0037] 3、本發(fā)明人臉吸引力評價(jià)標(biāo)準(zhǔn)由70位志愿者的平均審美所決定，更具有公正性和 合理性；
[0038] 4、本發(fā)明從認(rèn)知心理學(xué)的角度出發(fā)，綜合利用人臉亮度、光滑度和顏色三種人臉 屬性，使人臉吸引力預(yù)測更符合人的審美判斷；
[0039] 5、本發(fā)明與人臉大數(shù)據(jù)的結(jié)合使評分模型可以得到進(jìn)一步的優(yōu)化，人臉數(shù)據(jù)的增 加可以使模型在側(cè)臉、遮擋、光照等干擾下仍具有較強(qiáng)的魯棒性。
【附圖說明】
[0040] 圖1為本發(fā)明的流程圖；
[0041]圖2為本發(fā)明的圖層分解不意圖；
[0042]圖3為本發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡圖。
【具體實(shí)施方式】
[0043] 下面結(jié)合實(shí)施例及附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限 于此。
[0044] 實(shí)施例
[0045] 本發(fā)明的基于深度學(xué)習(xí)的人臉吸引力評價(jià)方法，其流程示意圖如附圖1所示，包括 下述步驟：
[0046] 步驟S101、對人臉數(shù)據(jù)庫中的人臉圖像做圖層分解，提取出包含人臉皮膚光滑度 信息的細(xì)節(jié)圖層和包含人臉皮膚亮度信息的亮度圖層；
[0047]步驟S102、在特定設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下，將細(xì)節(jié)層作為輸入訓(xùn)練得到一個(gè) 初步的人臉吸引力評價(jià)網(wǎng)絡(luò)模型；
[0048]步驟S103、將亮度層作為輸入對網(wǎng)絡(luò)模型進(jìn)行微調(diào)優(yōu)化；
[0049]步驟S104、將人臉圖像的RGB顏色信息作為輸入對網(wǎng)絡(luò)模型進(jìn)行微調(diào)優(yōu)化，得到最 終的評分模型；
[0050]步驟S105、將任意人臉圖像輸入評分模型，得到相應(yīng)的人臉吸引力分?jǐn)?shù)。
[0051]本發(fā)明中，通過圖層分解得到數(shù)據(jù)庫中的人臉的三種皮膚屬性信息:亮度、光滑度 和顏色，綜合利用這三種屬性去訓(xùn)練得到一個(gè)基于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)評分模型， 將任意一張人臉輸入此模型即可得到人臉吸引力評價(jià)結(jié)果 [0052]下面對具體的技術(shù)點(diǎn)做進(jìn)一步的分析：
[0053]在步驟S101中，所述數(shù)據(jù)庫是SCUT-FBP數(shù)據(jù)庫，包含Μ張亞洲青年女性人臉圖像， 其人臉美麗標(biāo)準(zhǔn)的制定是根據(jù)Ν位志愿者的平均審美決定的，即在SCUT-FBP數(shù)據(jù)庫中，每張 圖像被賦予一個(gè)人臉吸引力分?jǐn)?shù)。所述人臉吸引力分?jǐn)?shù)為Ν位志愿者對數(shù)據(jù)庫中每張圖像 進(jìn)行吸引力評分后所得的平均分，范圍是1-5分，分?jǐn)?shù)越高表示吸引力越大。當(dāng)然本實(shí)施例 中的吸引力分?jǐn)?shù)可以根據(jù)實(shí)際情況進(jìn)行選擇。其中在該數(shù)據(jù)庫中，Μ為500，Ν為70。
[0054]在步驟S101中對人臉圖像做圖層分解的技術(shù)方案為：
[0055]本發(fā)明中很關(guān)鍵的一個(gè)技術(shù)點(diǎn)在于從人類審美的認(rèn)知心理學(xué)角度出發(fā)，綜合利用 人臉的亮度、光滑度和顏色三種屬性去不斷優(yōu)化人臉吸引力評價(jià)模型。圖層分解是得到人 臉亮度和光滑度信息的重要步驟，包括顏色空間映射和濾波處理兩大過程，如