本發(fā)明涉及人臉圖像生成技術(shù)領(lǐng)域，更具體地涉及一種人臉圖像生成方法、裝置及設(shè)備。

背景技術(shù)：

目前的人臉圖像生成與人臉重建都是通過多張不同角度二維照片生成三維模型，然后渲染得到新的二維圖像。

然而，這種基于三維模型得到新的二維照片的方法，超時較大，效率較低，而且需要利用同一個體的諸多不同角度照片來進(jìn)行三維建模，這在實際應(yīng)用中往往不能得到滿足。而且，這種方法只適用于生成已有個體的不同角度與光照的圖像，并不能生成新的人臉圖像。

因此，需要一種不僅能夠基于需求特征從現(xiàn)有人臉圖像重建帶有所述需求特征的人臉圖像，而且能夠不基于現(xiàn)有人臉圖像而僅基于需求特征生成新的人臉圖像的方法和裝置。

技術(shù)實現(xiàn)要素：

考慮到上述問題而提出了本發(fā)明。本發(fā)明提供了一種人臉圖像生成方法及裝置，通過利用人臉生成深度卷積網(wǎng)絡(luò)基于人臉特征向量和需求特征向量生成人臉，可以無需利用三維模型生成具有特定特征的人臉圖像。

根據(jù)本發(fā)明一方面，提供了一種人臉圖像生成方法，包括：生成M維人臉特征向量，其中M為大于1的整數(shù)；將所述M維人臉特征向量與N維需求特征向量連接以生成合成特征向量，其中N為大于等于1的整數(shù)；利用人臉生成深度卷積網(wǎng)絡(luò)，基于所述合成特征向量生成合成人臉圖像。

此外，根據(jù)本發(fā)明實施例，所述人臉圖像生成方法還包括：基于所述合成人臉圖像與所述需求特征向量，利用需求判定深度卷積網(wǎng)絡(luò)生成需求滿足度評分；以及基于所述需求滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述需求判定深度卷積網(wǎng)絡(luò)的參數(shù)。

此外，根據(jù)本發(fā)明實施例，在從給定人臉圖像中提取所述人臉特征向量的情況下，所述人臉圖像生成方法還包括：基于所述合成人臉圖像與所述給定人臉圖像，利用第一人臉判定深度卷積網(wǎng)絡(luò)生成人臉匹配度評分；以及基于所述人臉匹配度評分，更新所述人臉特征提取深度卷積網(wǎng)絡(luò)、所述人臉生成深度卷積網(wǎng)絡(luò)以及所述人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。

此外，根據(jù)本發(fā)明實施例，在隨機(jī)生成所述人臉特征向量的情況下，所述人臉圖像生成方法還包括：基于所述合成人臉圖像，利用第二人臉判定深度卷積網(wǎng)絡(luò)生成人臉滿足度評分；以及基于所述人臉滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。

根據(jù)本發(fā)明另一方面，提供了一種人臉圖像生成裝置，包括：人臉特征生成模塊，被配置為生成M維人臉特征向量，其中M為大于1的整數(shù)；向量合成模塊，被配置為將所述M維人臉特征向量與N維需求特征向量連接以生成合成特征向量，其中N為大于等于1的整數(shù)；合成人臉生成模塊，被配置為利用人臉生成深度卷積網(wǎng)絡(luò)，基于所述合成特征向量生成合成人臉圖像。

此外，根據(jù)本發(fā)明實施例，所述人臉圖像生成裝置還包括：需求判定模塊，被配置為基于所述合成人臉圖像與所述需求特征向量，利用需求判定深度卷積網(wǎng)絡(luò)生成需求滿足度評分；以及第一參數(shù)調(diào)整模塊，被配置為基于所述需求滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述需求判定深度卷積網(wǎng)絡(luò)的參數(shù)。

此外，根據(jù)本發(fā)明實施例，在從給定人臉圖像中提取所述人臉特征向量的情況下，所述人臉圖像生成裝置還包括：第一人臉判定模塊，被配置為基于所述合成人臉圖像與所述給定人臉圖像，利用第一人臉判定深度卷積網(wǎng)絡(luò)生成人臉匹配度評分；以及第二參數(shù)調(diào)整模塊，被配置為基于所述人臉匹配度評分，更新所述人臉特征提取深度卷積網(wǎng)絡(luò)、所述人臉生成深度卷積網(wǎng)絡(luò)以及所述第一人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。。

此外，根據(jù)本發(fā)明實施例，在隨機(jī)生成所述人臉特征向量的情況下，所述人臉圖像生成裝置還包括：第二人臉判定模塊，被配置為基于所述合成人臉圖像，利用第二人臉判定深度卷積網(wǎng)絡(luò)生成人臉滿足度評分；以及第三參數(shù)調(diào)整模塊，被配置為基于所述人臉滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述第二人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。

根據(jù)本發(fā)明又一方面，提供了一種人臉圖像生成設(shè)備，包括：一個或多個處理器；一個或多個存儲器，存儲程序指令，在處理器執(zhí)行所述程序指令時，生成M維人臉特征向量，其中M為大于1的整數(shù)；將所述M維人臉特征向量與N維需求特征向量連接以生成合成特征向量，其中N為大于等于1的整數(shù)；利用人臉生成深度卷積網(wǎng)絡(luò)，基于所述合成特征向量生成合成人臉圖像。

根據(jù)本發(fā)明實施例的，通過利用人臉生成深度卷積網(wǎng)絡(luò)基于人臉特征向量和需求特征向量生成人臉，無需利用三維模型，可以快速地生成具有需求特征向量所規(guī)定的特定特征的人臉圖像。

此外，根據(jù)本發(fā)明實施例，在生成了合成人臉圖像之后，通過利用需求判定深度卷積網(wǎng)絡(luò)判定所生成的合成人臉圖像是否滿足所述需求特征向量的要求并生成相應(yīng)的需求滿足度評分，并且繼而根據(jù)需求滿足度評分更新所述人臉生成深度卷積網(wǎng)絡(luò)和需求判定深度卷積網(wǎng)絡(luò)的參數(shù)，從而可以將人臉生成深度卷積網(wǎng)絡(luò)和需求判定深度卷積網(wǎng)絡(luò)同步地訓(xùn)練。

此外，根據(jù)本發(fā)明實施例，在生成了合成人臉圖像之后，通過利用人臉判定深度卷積網(wǎng)絡(luò)判定所生成的合成人臉圖像是否是人臉或者是否與給定人臉圖像屬于同一人臉并生成相應(yīng)的人臉滿足度評分或人臉匹配度評分，并且繼而根據(jù)所生成的人臉滿足度評分或人臉匹配度評分更新所述人臉生成深度卷積網(wǎng)絡(luò)和人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)，從而可以將人臉生成深度卷積網(wǎng)絡(luò)和人臉判定深度卷積網(wǎng)絡(luò)同步地訓(xùn)練。

附圖說明

通過結(jié)合附圖對本發(fā)明實施例進(jìn)行更詳細(xì)的描述，本發(fā)明的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本發(fā)明實施例的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明實施例一起用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的限制。在附圖中，相同的參考標(biāo)號通常代表相同部件或步驟。

圖1是根據(jù)本發(fā)明實施例的人臉圖像生成方法的示意性流程圖；

圖2是根據(jù)本發(fā)明實施例的基于人臉特征向量和需求特征向量生成合成人臉圖像的示意性原理圖；

圖3A是根據(jù)本發(fā)明實施例的人臉生成深度卷積網(wǎng)絡(luò)的一個示意性結(jié)構(gòu)圖；

圖3B是根據(jù)本發(fā)明實施例的人臉生成深度卷積網(wǎng)絡(luò)的另一示意性結(jié)構(gòu)圖；

圖4A是根據(jù)本發(fā)明實施例的與圖3A對應(yīng)的集成卷積神經(jīng)網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖4B是根據(jù)本發(fā)明實施例的與圖3B對應(yīng)的集成卷積神經(jīng)網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖4C是根據(jù)本發(fā)明實施例的與圖3B對應(yīng)的集成卷積神經(jīng)網(wǎng)絡(luò)的另一示意性結(jié)構(gòu)圖；

圖5A是根據(jù)本發(fā)明第一實施例的人臉圖像生成及判定過程的示意性原理圖；

圖5B是根據(jù)本發(fā)明第二實施例的人臉圖像生成及判定過程的示意性原理圖；

圖6是根據(jù)本發(fā)明第一實施例的人臉特征提取深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖7A是根據(jù)本發(fā)明第一實施例的第一人臉判定深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖7B是根據(jù)本發(fā)明第二實施例的第二人臉判定深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖8是根據(jù)本發(fā)明實施例的判定特征向量提取網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖9是根據(jù)本發(fā)明實施例的需求判定深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖；

圖10是根據(jù)本發(fā)明實施例的人臉圖像生成裝置的示意性框圖；

圖11A是根據(jù)本發(fā)明第一實施例的人臉圖像生成及判定裝置的示意性框圖；

圖11B是根據(jù)本發(fā)明第二實施例的人臉圖像生成及判定裝置的示意性框圖；以及

圖12是用于實現(xiàn)根據(jù)本發(fā)明實施例的人臉圖像生成及判定裝置的電子設(shè)備的示意性框圖。

具體實施方式

為了使得本發(fā)明的目的、技術(shù)方案和優(yōu)點更為明顯，下面將參照附圖詳細(xì)描述根據(jù)本發(fā)明的示例實施例。顯然，所描述的實施例僅僅是本發(fā)明的一部分實施例，而不是本發(fā)明的全部實施例，應(yīng)理解，本發(fā)明不受這里描述的示例實施例的限制?；诒竟_中描述的本發(fā)明實施例，本領(lǐng)域技術(shù)人員在沒有付出創(chuàng)造性勞動的情況下所得到的所有其它實施例都應(yīng)落入本發(fā)明的保護(hù)范圍之內(nèi)。

圖1是根據(jù)本發(fā)明實施例的人臉圖像生成方法100的示意性流程圖。

在步驟S110，生成M維人臉特征向量，其中M為大于1的整數(shù)。優(yōu)選地，所述人臉特征向量為高維特征向量。

根據(jù)本發(fā)明實施例，可以從給定人臉圖像中提取所述人臉特征向量。例如，可以利用根據(jù)本發(fā)明實施例的人臉特征提取深度卷積網(wǎng)絡(luò)從給定人臉圖像中提取所述人臉特征向量。替換地，根據(jù)本發(fā)明實施例，可以隨機(jī)生成所述人臉特征向量，在此情況下，所述人臉特征向量表示隨機(jī)生成的人臉。

例如，所述M維人臉特征向量的每一維的取值都為在(－1，1)范圍內(nèi)的實數(shù)或者為在(0，1)范圍內(nèi)的實數(shù)。

在步驟S120，將所述M維人臉特征向量與N維需求特征向量連接以生成合成特征向量，其中N為大于等于1的整數(shù)。

例如，所述需求特征向量每一維的取值都為在(－1，1)范圍內(nèi)的實數(shù)或者為在(0，1)范圍內(nèi)的實數(shù)，并且表示不同的需求，例如，是否戴眼鏡，是否有劉海，光照強度，臉部旋轉(zhuǎn)角度等等。

根據(jù)本發(fā)明實施例，M維人臉特征向量和N維需求特征向量連接以生成M+N維的合成特征向量。例如，可以將N維的需求特征向量放置在M維的人臉特征向量之后，或者可以將N維的需求特征向量放置在M維的人臉特征向量之前，或者可以將N維的需求特征向量插入至M維的人臉特征向量之中。

在步驟S130，利用人臉生成深度卷積網(wǎng)絡(luò)，基于所述合成特征向量生成合成人臉圖像。

圖2示出了根據(jù)本發(fā)明實施例的基于人臉特征向量和需求特征向量生成合成人臉圖像的示意性原理圖。

首先，人臉特征向量和需求特征向量連接，以便生成合成特征向量。例如，M維的人臉特征向量和N維的需求特征向量連接以生成M+N維的合成特征向量。然后，人臉生成深度卷積網(wǎng)絡(luò)基于所述M+N維的合成特征向量生成合成人臉圖像。

圖3A示出了根據(jù)本發(fā)明實施例的人臉生成深度卷積網(wǎng)絡(luò)的一個示意性結(jié)構(gòu)圖，圖3B示出了根據(jù)本發(fā)明實施例的人臉生成深度卷積網(wǎng)絡(luò)的另一示意性結(jié)構(gòu)圖。

如圖3A和圖3B所示，所述人臉生成深度卷積網(wǎng)絡(luò)包括至少一層全連接神經(jīng)網(wǎng)絡(luò)和K層集成卷積神經(jīng)網(wǎng)絡(luò)，其中K為大于等于2的整數(shù)。所述集成卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)K由所述合成人臉圖像的尺寸決定，所述合成人臉圖像的尺寸越高，所述集成卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)K越多。例如，所述合成人臉圖像的尺寸為256×256，所需的集成卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)K為3層；所述合成人臉圖像的尺寸為128×128，所需的集成卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)K為2層。

如圖3A所示，利用所述至少一層全連接神經(jīng)網(wǎng)絡(luò)接收所述合成特征向量，并且基于所述合成特征向量生成初始合成圖像。然后，第一層卷積神經(jīng)網(wǎng)絡(luò)接收所述至少一層全連接神經(jīng)網(wǎng)絡(luò)輸出的初始合成圖像并生成第一層的合成圖像；第k層卷積神經(jīng)網(wǎng)絡(luò)接收第k-1層卷積神經(jīng)網(wǎng)絡(luò)輸出的第k-1層合成圖像并生成第k層合成圖像，其中k為大于等于2且小于等于K的整數(shù)，所述第k層合成圖像的尺寸(分辨率)大于第k-1層合成圖像的尺寸(分辨率)，并且所述第k層合成圖像的數(shù)量(通道數(shù)量)小于第k-1層合成圖像的數(shù)量(通道數(shù)量)；最后，第K層卷積神經(jīng)網(wǎng)絡(luò)接收第K-1層卷積神經(jīng)網(wǎng)絡(luò)輸出的第K-1層合成圖像并生成第K層合成圖像，并且該第K層合成圖像作為所述合成人臉圖像。

如圖3B所示，利用所述至少一層全連接神經(jīng)網(wǎng)絡(luò)接收所述合成特征向量，并且基于所述合成特征向量生成初始合成圖像。然后，第一層集成卷積神經(jīng)網(wǎng)絡(luò)不僅可以從所述至少一層全連接神經(jīng)網(wǎng)絡(luò)接收所述初始合成圖像，而且還可以接收由所述需求特征向量映射而成的初始映射圖像，并且基于所述初始合成圖像和所述初始映射圖像生成第一層合成圖像，其中，所述初始合成圖像的尺寸與所述初始映射圖像的尺寸相同；類似地，第k層集成卷積神經(jīng)網(wǎng)絡(luò)不僅可以從第k-1層集成卷積神經(jīng)網(wǎng)絡(luò)接收所述第k-1層合成圖像，而且還可以接收由所述需求特征向量映射而成的第k-1層映射圖像，并且基于所述第k-1層合成圖像和所述第k-1層映射圖像生成第k層合成圖像，所述第k-1層合成圖像的尺寸與第k-1層映射圖像的尺寸相同，所述第k層合成圖像的尺寸(分辨率)大于第k-1層合成圖像的尺寸(分辨率)，并且所述第k層合成圖像的數(shù)量(通道數(shù)量)小于第k-1層合成圖像的數(shù)量(通道數(shù)量)；最后，第K層卷積神經(jīng)網(wǎng)絡(luò)接收第K-1層卷積神經(jīng)網(wǎng)絡(luò)輸出的第K-1層合成圖像，而且還可以接收由所述需求特征向量映射而成的第K-1層映射圖像，并且基于所述第K-1層合成圖像和所述第K-1層映射圖像生成第K層合成圖像，并且該第K層合成圖像作為所述合成人臉圖像，所述第K-1層合成圖像的尺寸與第K-1層映射圖像的尺寸相同。

應(yīng)了解，所述初始合成圖像包括多個初始合成圖像，例如128個(通道)尺寸(分辨率)為32×32的初始合成圖像；所述初始映射圖像包括N個初始映射圖像，所述N維需求特征向量中每一維各自分別對應(yīng)于一個初始映射圖像。例如，N維需求特征向量中某一維的取值為a，則與其對應(yīng)的尺寸為32×32的初始映射圖像的每個像素的取值均為a。下面，為了表述簡單和統(tǒng)一，將初始合成圖像稱為第0層合成圖像，并將初始映射圖像稱為第0層映射圖像。。

應(yīng)了解，所述K層集成卷積神經(jīng)網(wǎng)絡(luò)中的任一層(第k層，k為大于等于1且小于等于K的整數(shù))的集成卷積神經(jīng)網(wǎng)絡(luò)都可以僅基于其接收的合成圖像來生成該層的合成圖像，或者也可以基于其接收的第k-1層合成圖像和第k-1層映射圖像來生成該層的合成圖像。此外，應(yīng)了解，第k-1層映射圖像也包括N個第k-1層映射圖像，所述N維需求特征向量中每一維各自分別對應(yīng)于一個第k-1層映射圖像。

圖4A示出了根據(jù)本發(fā)明實施例的與圖3A對應(yīng)的集成卷積神經(jīng)網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

如圖4A所示，每一層集成卷積神經(jīng)網(wǎng)絡(luò)包括放大網(wǎng)絡(luò)和J層卷積神經(jīng)網(wǎng)絡(luò)，其中J為大于等于2的整數(shù)。下面，為描述方便，將圖4A所示的集成卷積神經(jīng)網(wǎng)絡(luò)稱為第k層集成卷積神經(jīng)網(wǎng)絡(luò)。

與圖3A所示的人臉生成深度卷積網(wǎng)絡(luò)相對應(yīng)，圖4A所示的第k層集成卷積神經(jīng)網(wǎng)絡(luò)接收第k-1層合成圖像，k為大于等于1且小于等于K的整數(shù)。具體地，放大網(wǎng)絡(luò)接收第k-1層合成圖像并將該第k-1層合成圖像放大以生成放大圖像，然后第一層卷積神經(jīng)網(wǎng)絡(luò)接收該放大圖像并生成第一層中間圖像，類似地，第j層卷積神經(jīng)網(wǎng)絡(luò)從第j-1層卷積神經(jīng)網(wǎng)絡(luò)接收第j-1層中間圖像并生成第j層中間圖像，其中，第j層中間圖像的尺寸與第j-1層中間圖像的尺寸相同，第j層中間圖像的數(shù)量(通道數(shù)量)可以大于、等于或小于第j-1層中間圖像的數(shù)量(通道數(shù)量)，其中，j為大于等于2且小于等于J的整數(shù)；最后第J層卷積神經(jīng)網(wǎng)絡(luò)接收第J-1層中間圖像并生成第J層中間圖像，該第J層中間圖像作為該第k層集成卷積神經(jīng)網(wǎng)絡(luò)輸出的第k層合成圖像。

例如，所述放大網(wǎng)絡(luò)將所接收的第k-1層合成圖像放大兩倍，即假設(shè)第k-1層合成圖像的尺寸為32×32，則所述放大網(wǎng)絡(luò)所生成的放大圖像的尺寸為64×64。應(yīng)了解，所述放大網(wǎng)絡(luò)所生成的放大圖像的數(shù)量(通道數(shù)量)與所述第k-1層合成圖像的數(shù)量(通道數(shù)量)相同，并且所述第k層集成卷積神經(jīng)網(wǎng)絡(luò)生成的第k層合成圖像的數(shù)量(通道數(shù)量)小于所述第k-1層合成圖像的數(shù)量(通道數(shù)量)。例如，所述第k層集成卷積神經(jīng)網(wǎng)絡(luò)生成的第k層合成圖像的數(shù)量(通道數(shù)量)為所述第k-1層合成圖像的數(shù)量(通道數(shù)量)的1/2、1/3等。

圖4B示出了根據(jù)本發(fā)明實施例的與圖3B對應(yīng)的集成卷積神經(jīng)網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

如圖4B所示，每一層集成卷積神經(jīng)網(wǎng)絡(luò)包括放大網(wǎng)絡(luò)和J層卷積神經(jīng)網(wǎng)絡(luò)，其中J為大于等于2的整數(shù)。下面，為描述方便，仍將圖4B所示的集成卷積神經(jīng)網(wǎng)絡(luò)稱為第k層集成卷積神經(jīng)網(wǎng)絡(luò)。

與圖3B所示的人臉生成深度卷積網(wǎng)絡(luò)相對應(yīng)，圖4B所示的第k層集成卷積神經(jīng)網(wǎng)絡(luò)接收第k-1層合成圖像并且還接收第k-1層映射圖像，k為大于等于1且小于等于K的整數(shù)。具體地，放大網(wǎng)絡(luò)接收第k-1層合成圖像和第k-1層映射圖像并將該第k-1層合成圖像和第k-1層映射圖像放大以生成放大圖像，然后第一層卷積神經(jīng)網(wǎng)絡(luò)接收該放大圖像并生成第一層中間圖像，類似地，第j層卷積神經(jīng)網(wǎng)絡(luò)從第j-1層卷積神經(jīng)網(wǎng)絡(luò)接收第j-1層中間圖像并生成第j層中間圖像，第j層中間圖像的尺寸與第j-1層中間圖像的尺寸相同，并且第j層中間圖像的數(shù)量(通道數(shù)量)可以大于、等于或小于第j-1層中間圖像的數(shù)量(通道數(shù)量)，其中j為大于等于2且小于等于J的整數(shù)；最后第J層卷積神經(jīng)網(wǎng)絡(luò)接收第J-1層中間圖像并生成第J層中間圖像，該第J層中間圖像作為該第k層集成卷積神經(jīng)網(wǎng)絡(luò)輸出的第k層合成圖像。

圖4C示出了根據(jù)本發(fā)明實施例的與圖3B對應(yīng)的集成卷積神經(jīng)網(wǎng)絡(luò)的另一示意性結(jié)構(gòu)圖。

與圖4B所示的將第k-1層映射圖像輸入至放大網(wǎng)絡(luò)不同，在圖4C中，第k-1層映射圖像被輸入至第一層卷積神經(jīng)網(wǎng)絡(luò)。在此情況下，每個第k-1層映射圖像的尺寸與放大網(wǎng)絡(luò)輸出的放大圖像的尺寸相同。第一層卷積神經(jīng)網(wǎng)絡(luò)接收該放大圖像和第k-1層映射圖像并生成第一層中間圖像，類似地，第j層卷積神經(jīng)網(wǎng)絡(luò)接收第j-1層中間圖像并生成第j層中間圖像，最后第J層卷積神經(jīng)網(wǎng)絡(luò)接收第J-1層中間圖像并生成第J層中間圖像，該第J層中間圖像作為該第k層集成卷積神經(jīng)網(wǎng)絡(luò)輸出的第k層合成圖像。

可選地，除了第一層卷積神經(jīng)網(wǎng)絡(luò)之外，第k-1層映射圖像還可以被輸入至J層卷積神經(jīng)網(wǎng)絡(luò)中的任一層。應(yīng)注意，無論第k-1層映射圖像被輸入至哪一層卷積神經(jīng)網(wǎng)絡(luò)，輸入至該層的第k-1層映射圖像的尺寸都與輸入至該層的中間圖像的尺寸相同。

根據(jù)本發(fā)明實施例，在所述人臉生成深度卷積網(wǎng)絡(luò)生成了合成人臉圖像之后，還進(jìn)一步對所生成的合成人臉圖像進(jìn)行評估，并且可選地根據(jù)評估結(jié)果來更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。

圖5A示出了根據(jù)本發(fā)明第一實施例的人臉圖像生成及判定過程的示意性原理圖。

在本發(fā)明第一實施例中，利用人臉特征提取深度卷積網(wǎng)絡(luò)從給定人臉圖像中提取所述人臉特征向量。

圖6示出了根據(jù)本發(fā)明第一實施例的人臉特征提取深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

根據(jù)本發(fā)明第一實施例，所述人臉特征提取深度卷積網(wǎng)絡(luò)包括：P層卷積神經(jīng)網(wǎng)絡(luò)和至少一層全連接神經(jīng)網(wǎng)絡(luò)，其中P為大于等于2的整數(shù)。

利用所述P層卷積神經(jīng)網(wǎng)絡(luò)中的第一層卷積神經(jīng)網(wǎng)絡(luò)接收所述給定人臉圖像，所述給定人臉圖像例如為三個(通道)尺寸為128×128的給定人臉圖像，例如R通道、G通道和B通道的尺寸為128×128的給定人臉圖像，第一層卷積神經(jīng)網(wǎng)絡(luò)輸出的中間圖像的數(shù)量(通道數(shù)量)大于所述給定人臉圖像的數(shù)量(通道數(shù)量)并且尺寸小于所述給定人臉圖像的尺寸，第P層卷積神經(jīng)網(wǎng)絡(luò)輸出多個小圖像，例如128個尺寸為4×4或8×8的小圖像。最后，利用所述至少一層全連接神經(jīng)網(wǎng)絡(luò)接收所述第P層卷積神經(jīng)網(wǎng)絡(luò)輸出的多個小圖像并生成所述人臉特征向量。

根據(jù)本發(fā)明第一實施例，在所述人臉生成深度卷積網(wǎng)絡(luò)生成了合成人臉圖像之后，可以利用需求判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像與所述需求特征向量生成需求滿足度評分，以判定所述合成人臉圖像是否滿足所述需求特征向量的要求。此外，進(jìn)一步地，可以基于所述需求滿足度評分，更新所述人臉特征提取深度卷積網(wǎng)絡(luò)、所述人臉生成深度卷積網(wǎng)絡(luò)以及所述需求判定深度卷積網(wǎng)絡(luò)的參數(shù)。

此外，根據(jù)本發(fā)明第一實施例，在所述人臉生成深度卷積網(wǎng)絡(luò)生成了合成人臉圖像之后，還可以利用人臉判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像與所述給定人臉圖像生成人臉匹配度評分，以判定所述合成人臉圖像與所述給定人臉圖像是否為同一人臉。此外，進(jìn)一步地，可以基于所述人臉匹配度評分，更新所述人臉特征提取深度卷積網(wǎng)絡(luò)、所述人臉生成深度卷積網(wǎng)絡(luò)以及所述人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。

圖5B示出了根據(jù)本發(fā)明第二實施例的人臉圖像生成及判定過程的示意性原理圖。

在本發(fā)明第二實施例中，隨機(jī)地生成人臉特征向量。

根據(jù)本發(fā)明第二實施例，在所述人臉生成深度卷積網(wǎng)絡(luò)生成了合成人臉圖像之后，還可以利用人臉判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像生成人臉滿足度評分，以判定所述合成人臉圖像是否為人臉圖像。此外，進(jìn)一步地，可以基于所述人臉滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。

此外，根據(jù)本發(fā)明第二實施例，在所述人臉生成深度卷積網(wǎng)絡(luò)生成了合成人臉圖像之后，可以利用需求判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像與所述需求特征向量生成需求滿足度評分，以判定所述合成人臉圖像是否滿足所述需求特征向量的要求。此外，進(jìn)一步地，可以基于所述需求滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述需求判定深度卷積網(wǎng)絡(luò)的參數(shù)。

根據(jù)本發(fā)明實施例，可以利用梯度下降方法等更新各網(wǎng)絡(luò)的參數(shù)，例如可以利用反向傳導(dǎo)法則計算各參數(shù)的梯度。

圖7A示出了根據(jù)本發(fā)明第一實施例的第一人臉判定深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

如圖7A所示，所述第一人臉判定深度卷積網(wǎng)絡(luò)包括第一判定特征向量提取網(wǎng)絡(luò)、第二判定特征向量提取網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)。

利用所述第一判定特征向量提取網(wǎng)絡(luò)從所述給定人臉圖像中提取第一判定特征向量，利用所述第二判定特征向量提取網(wǎng)絡(luò)從所述合成人臉圖像中提取第二判定特征向量，利用所述全連接神經(jīng)網(wǎng)絡(luò)基于所述第一判定特征向量和所述第二判定特征向量，生成所述人臉匹配度評分。

所述第一判定特征向量提取網(wǎng)絡(luò)和所述第二判定特征向量提取網(wǎng)絡(luò)的參數(shù)相同，所述第一判定特征向量的維數(shù)和第二判定特征向量的維數(shù)相同且大于所述人臉特征提取深度卷積網(wǎng)絡(luò)從所述給定人臉圖像中所提取的人臉特征向量的維數(shù)。例如，所述第一判定特征向量的維數(shù)和第二判定特征向量的維數(shù)均為1000維，所述人臉匹配度評分的取值范圍為0到1的實數(shù)。

圖7B示出了根據(jù)本發(fā)明第二實施例的第二人臉判定深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

如圖7B所示，所述第二人臉判定深度卷積網(wǎng)絡(luò)包括第三判定特征向量提取網(wǎng)絡(luò)和全連接神經(jīng)網(wǎng)絡(luò)。

利用所述第三判定特征向量提取網(wǎng)絡(luò)從所述合成人臉圖像中提取第三判定特征向量，利用所述全連接神經(jīng)網(wǎng)絡(luò)基于所述第三判定特征向量，生成所述人臉滿足度評分，其中所述第三判定特征向量的維數(shù)大于所述人臉特征向量的維數(shù)。

圖7B中的第三判定向量提取網(wǎng)絡(luò)的參數(shù)可以與圖7A中的第二判定向量提取網(wǎng)絡(luò)的參數(shù)相同，或者圖7B中的第三判定向量提取網(wǎng)絡(luò)可以與圖7A中的第二判定向量提取網(wǎng)絡(luò)為同一網(wǎng)絡(luò)，然而圖7B中的全連接神經(jīng)網(wǎng)絡(luò)的參數(shù)與圖7A中的全連接神經(jīng)網(wǎng)絡(luò)的參數(shù)不同。

圖8示出了根據(jù)本發(fā)明實施例的判定特征向量提取網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

根據(jù)本發(fā)明實施例，判定特征向量提取網(wǎng)絡(luò)包括至少一層卷積神經(jīng)網(wǎng)絡(luò)、至少一層局部連接神經(jīng)網(wǎng)絡(luò)和至少一層全連接神經(jīng)網(wǎng)絡(luò)。

利用第一層卷積神經(jīng)網(wǎng)絡(luò)接收輸入圖像，所述至少一層卷積神經(jīng)網(wǎng)絡(luò)級聯(lián)，最后一層卷積神經(jīng)網(wǎng)絡(luò)與第一層局部連接神經(jīng)網(wǎng)絡(luò)連接，所述至少一層局部連接神經(jīng)網(wǎng)絡(luò)級聯(lián)，最后一層局部連接神經(jīng)網(wǎng)絡(luò)與第一層全連接神經(jīng)網(wǎng)絡(luò)連接，所述至少一層全連接神經(jīng)網(wǎng)絡(luò)級聯(lián)，最后一層全連接神經(jīng)網(wǎng)絡(luò)輸出判定特征向量。

根據(jù)本發(fā)明第一實施例的圖7A中的第一判定特征向量提取網(wǎng)絡(luò)和第二判定特征向量提取網(wǎng)絡(luò)和根據(jù)本發(fā)明第二實施例的圖7B中的判定特征向量提取網(wǎng)絡(luò)可以采用圖8所示的結(jié)構(gòu)。

具體地，利用圖7A中的第一判定特征向量提取網(wǎng)絡(luò)的第一層卷積神經(jīng)網(wǎng)絡(luò)接收所述給定人臉圖像作為其輸入圖像，并且其最后一層全連接神經(jīng)網(wǎng)絡(luò)輸出第一判定特征向量；利用圖7A中的第二判定特征向量提取網(wǎng)絡(luò)的第一層卷積神經(jīng)網(wǎng)絡(luò)接收所述合成人臉圖像作為其輸入圖像，并且其最后一層全連接神經(jīng)網(wǎng)絡(luò)輸出第二判定特征向量。

具體地，利用圖7B中的第三判定特征向量提取網(wǎng)絡(luò)的第一層卷積神經(jīng)網(wǎng)絡(luò)接收所述合成人臉圖像作為其輸入圖像，并且其最后一層全連接神經(jīng)網(wǎng)絡(luò)輸出第三判定特征向量。

圖9示出了根據(jù)本發(fā)明實施例的需求判定深度卷積網(wǎng)絡(luò)的示意性結(jié)構(gòu)圖。

如圖9所示，根據(jù)本發(fā)明實施例的需求判定深度卷積網(wǎng)絡(luò)包括Q層卷積神經(jīng)網(wǎng)絡(luò)和至少一層全連接神經(jīng)網(wǎng)絡(luò)。

利用所述Q層卷積神經(jīng)網(wǎng)絡(luò)中的第一層卷積神經(jīng)網(wǎng)絡(luò)接收所述合成人臉圖像以及需求映射圖像，所述需求映射圖像的尺寸與所述合成人臉圖像的尺寸相同，所述合成人臉圖像例如包括三個(通道)尺寸為128×128的合成人臉圖像，即R通道尺寸為128×128的合成人臉圖像、G通道尺寸為128×128的合成人臉圖像、B通道尺寸為128×128的合成人臉圖像，所述需求映射圖像包括N個(通道)分辨為128×128的需求映射圖像，所述N維需求特征向量中的每一維各自分別對應(yīng)于一個需求映射圖像，并且該需求映射圖像中每個像素的取值為該維的取值。所述Q層卷積神經(jīng)網(wǎng)絡(luò)中的第Q層卷積神經(jīng)網(wǎng)絡(luò)輸出多個(通道)尺寸為4×4或8×8的小圖像。

然后，利用所述至少一層全連接神經(jīng)網(wǎng)絡(luò)，基于所述多個尺寸為4×4或8×8的小圖像，生成需求滿足度評分。

此外，在本發(fā)明實施例的一個示例性實現(xiàn)方式中，在上述人臉特征提取深度卷積網(wǎng)絡(luò)、人臉特征生成深度卷積網(wǎng)絡(luò)、集成卷積神經(jīng)網(wǎng)絡(luò)、人臉判定深度卷積網(wǎng)絡(luò)、判定特征向量提取網(wǎng)絡(luò)、需求判定深度卷積網(wǎng)絡(luò)中，在各網(wǎng)絡(luò)中的最后一層卷積神經(jīng)網(wǎng)絡(luò)上嵌套非線性函數(shù)層，并且除了各網(wǎng)絡(luò)中最后一層卷積神經(jīng)網(wǎng)絡(luò)之外，在各網(wǎng)絡(luò)中的各層卷積網(wǎng)絡(luò)上都嵌套歸一化與非線性函數(shù)層。本領(lǐng)域技術(shù)人員可以采用現(xiàn)有技術(shù)中的相關(guān)方法來實現(xiàn)這樣的非線性函數(shù)層以及歸一化與非線性函數(shù)層，在此不再贅述，并且本發(fā)明不受具體的歸一化方法和非線性函數(shù)的限制。采用本示例性實現(xiàn)方式的實施例，相對其他實施例具有更好的技術(shù)效果，即合成的人臉更滿足具體需求。

圖10示出了根據(jù)本發(fā)明實施例的人臉圖像生成裝置的示意性框圖。

根據(jù)本發(fā)明實施例的人臉圖像生成裝置1000包括：人臉特征生成模塊1010、需求特征生成模塊1020、向量合成模塊1030、以及合成人臉生成模塊1040。

所述人臉特征生成模塊1010被配置為生成M維人臉特征向量，其中M為大于1的整數(shù)。根據(jù)本發(fā)明實施例，可以從給定人臉圖像中提取所述人臉特征向量。例如，可以利用根據(jù)本發(fā)明實施例的人臉特征提取深度卷積網(wǎng)絡(luò)從給定人臉圖像中提取所述人臉特征向量。替換地，根據(jù)本發(fā)明實施例，可以隨機(jī)生成所述人臉特征向量，在此情況下，所述人臉特征向量表示隨機(jī)生成的人臉。

所述需求特征獲取模塊1020被配置為獲取N維需求特征向量，其中N為大于等于1的整數(shù)。例如，所述需求特征向量每一維的取值都為在(－1，1)范圍內(nèi)的實數(shù)或者為在(0，1)范圍內(nèi)的實數(shù)，并且表示不同的需求，例如，是否戴眼鏡，是否有劉海，光照強度，臉部旋轉(zhuǎn)角度等等。

所述向量合成模塊1030被配置為將所述M維人臉特征向量與N維需求特征向量連接生成合成特征向量。根據(jù)本發(fā)明實施例，M維的人臉特征向量和N維的需求特征向量連接以生成M+N維的合成特征向量。例如，可以將N維的需求特征向量放置在M維的人臉特征向量之后，或者可以將N維的需求特征向量放置在M維的人臉特征向量之前，或者可以將N維的需求特征向量插入至M維的人臉特征向量之中。

所述合成人臉生成模塊1040被配置為利用人臉生成深度卷積網(wǎng)絡(luò)，基于所述合成特征向量生成合成人臉圖像。所述人臉生成深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖3A和3B所示，在此不再贅述。

圖11A示出了根據(jù)本發(fā)明第一實施例的人臉圖像生成及判定裝置的示意性框圖。

根據(jù)本發(fā)明實施例的人臉圖像生成及判定裝置包括：人臉特征生成模塊1110、需求特征生成模塊1020、向量合成模塊1030、合成人臉生成模塊1040、第一人臉判定模塊1150、第二參數(shù)調(diào)整模塊1160、需求判定模塊1170、以及第一參數(shù)調(diào)整模塊1180。

所述人臉特征生成模塊1110被配置為利用人臉特征提取深度卷積網(wǎng)絡(luò)從給定人臉圖像中提取所述人臉特征向量。所述人臉特征提取深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖6所示，在此不再贅述。

所述第一人臉判定模塊1150被配置為利用第一人臉判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像與所述給定人臉圖像生成人臉匹配度評分，以判定所述合成人臉圖像與所述給定人臉圖像是否為同一人臉。所述人臉判定深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖7A和圖8所示，在此不再贅述。

所述需求判定模塊1170被配置為利用需求判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像與所述需求特征向量生成需求滿足度評分，以判定所述合成人臉圖像是否滿足所述需求特征向量的要求。所述需求判定深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖9所示，在此不再贅述。

所述第二參數(shù)調(diào)整模塊1160被配置為基于所述人臉匹配度評分，更新所述人臉特征提取深度卷積網(wǎng)絡(luò)、所述人臉生成深度卷積網(wǎng)絡(luò)以及所述第一人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。根據(jù)本發(fā)明實施例，所述第二參數(shù)調(diào)整模塊1160可以利用梯度下降方法等更新各網(wǎng)絡(luò)的參數(shù)。

所述第一參數(shù)調(diào)整模塊1180被配置為基于所述需求滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述需求判定深度卷積網(wǎng)絡(luò)的參數(shù)。根據(jù)本發(fā)明實施例，所述第一參數(shù)調(diào)整模塊1180可以利用梯度下降方法等更新各網(wǎng)絡(luò)的參數(shù)。

圖11B示出了根據(jù)本發(fā)明第二實施例的人臉圖像生成及判定裝置的示意性框圖。

根據(jù)本發(fā)明實施例的人臉圖像生成及判定裝置包括：人臉特征生成模塊1115、需求特征生成模塊1020、向量合成模塊1030、合成人臉生成模塊1040、第二人臉判定模塊1155、第三參數(shù)調(diào)整模塊1165、需求判定模塊1170、以及第一參數(shù)調(diào)整模塊1180。

所述人臉特征生成模塊1115被配置為隨機(jī)地生成人臉特征向量。

所述第二人臉判定模塊1155被配置為利用第二人臉判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像生成人臉滿足度評分，以判定所述合成人臉圖像是否為人臉圖像。所述人臉判定深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖7B和圖8所示，在此不再贅述。

所述需求判定模塊1170被配置為利用需求判定深度卷積網(wǎng)絡(luò)基于所述合成人臉圖像與根據(jù)所述需求特征向量生成的需求映射圖像生成需求滿足度評分，以判定所述合成人臉圖像是否滿足所述需求特征向量的要求。所述需求判定深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖9所示，在此不再贅述。

所述第三參數(shù)調(diào)整模塊1165被配置為基于所述人臉滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述第二人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)。根據(jù)本發(fā)明實施例，所述第二參數(shù)調(diào)整模塊1165可以利用梯度下降方法等更新各網(wǎng)絡(luò)的參數(shù)。

所述第一參數(shù)調(diào)整模塊1180被配置為基于所述需求滿足度評分，更新所述人臉生成深度卷積網(wǎng)絡(luò)以及所述需求判定深度卷積網(wǎng)絡(luò)的參數(shù)。根據(jù)本發(fā)明實施例，所述第一參數(shù)調(diào)整模塊1180可以利用梯度下降方法等更新各網(wǎng)絡(luò)的參數(shù)。

圖12示出了用于實現(xiàn)根據(jù)本發(fā)明實施例的人臉圖像生成及判定裝置的電子設(shè)備的示意性框圖。

所述電子設(shè)備包括：一個或多個處理器1210、存儲裝置1220、輸入裝置1230和輸出裝置1240，這些組件通過總線系統(tǒng)1280和/或其它形式的連接機(jī)構(gòu)(未示出)互連。應(yīng)當(dāng)注意，圖12所示的電子設(shè)備的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，所述電子設(shè)備也可以具有其他組件和結(jié)構(gòu)。

所述處理器1210可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其它形式的處理單元。

所述存儲裝置1220可以包括一個或多個計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品可以包括各種形式的計算機(jī)可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機(jī)存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計算機(jī)可讀存儲介質(zhì)上可以存儲一個或多個計算機(jī)程序指令，處理器1210可以運行所述程序指令，以實現(xiàn)上文所述的本發(fā)明實施例中(由處理器實現(xiàn))的功能以及/或者其它期望的功能。在所述計算機(jī)可讀存儲介質(zhì)中還可以存儲各種應(yīng)用程序和各種數(shù)據(jù)，例如給定人臉圖像、合成人臉圖像、需求特征向量等以及所述應(yīng)用程序使用和/或產(chǎn)生的各種數(shù)據(jù)等。

所述輸入裝置1230可以包括鍵盤等可供輸入給定人臉圖像或需求特征向量的裝置。

所述輸出裝置1240可以包括顯示器以輸出合成人臉圖像和/或各種評分結(jié)果，并且還可以包括揚聲器等以輸出各種評分結(jié)果。

通過處理器1210執(zhí)行存儲在存儲裝置1220中的計算機(jī)程序指令可以實現(xiàn)如上所述的人臉圖像生成方法及裝置、以及如上所述的人臉圖像生成及判定方法及裝置，并且具體地可以實現(xiàn)如上所述的人臉特征提取深度卷積網(wǎng)絡(luò)、人臉生成深度卷積網(wǎng)絡(luò)、人臉判定深度卷積網(wǎng)絡(luò)以及需求判定深度卷積網(wǎng)絡(luò)。

應(yīng)了解，根據(jù)本發(fā)明實施例，通過利用人臉生成深度卷積網(wǎng)絡(luò)基于人臉特征向量和需求特征向量生成人臉，無需利用三維模型，可以快速地生成具有需求特征向量所規(guī)定的特定特征的人臉圖像。

此外，根據(jù)本發(fā)明實施例，在生成了合成人臉圖像之后，通過利用需求判定深度卷積網(wǎng)絡(luò)判定所生成的合成人臉圖像是否滿足所述需求特征向量的要求并生成相應(yīng)的需求滿足度評分，并且繼而根據(jù)需求滿足度評分更新所述人臉生成深度卷積網(wǎng)絡(luò)和需求判定深度卷積網(wǎng)絡(luò)的參數(shù)，從而可以將人臉生成深度卷積網(wǎng)絡(luò)和需求判定深度卷積網(wǎng)絡(luò)同步地訓(xùn)練。

此外，根據(jù)本發(fā)明實施例，在生成了合成人臉圖像之后，通過利用人臉判定深度卷積網(wǎng)絡(luò)判定所生成的合成人臉圖像是否是人臉或者是否與給定人臉圖像屬于同一人臉并生成相應(yīng)的人臉滿足度評分或人臉匹配度評分，并且繼而根據(jù)所生成的人臉滿足度評分或人臉匹配度評分更新所述人臉生成深度卷積網(wǎng)絡(luò)和人臉判定深度卷積網(wǎng)絡(luò)的參數(shù)，從而可以將人臉生成深度卷積網(wǎng)絡(luò)和人臉判定深度卷積網(wǎng)絡(luò)同步地訓(xùn)練。

盡管這里已經(jīng)參考附圖描述了示例實施例，應(yīng)理解上述示例實施例僅僅是示例性的，并且不意圖將本發(fā)明的范圍限制于此。本領(lǐng)域普通技術(shù)人員可以在其中進(jìn)行各種改變和修改，而不偏離本發(fā)明的范圍和精神。所有這些改變和修改意在被包括在所附權(quán)利要求所要求的本發(fā)明的范圍之內(nèi)。