本技術(shù)涉及計(jì)算機(jī)，具體而言，涉及一種圖像的風(fēng)格化模型訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備。

背景技術(shù)：

1、隨著計(jì)算機(jī)技術(shù)的發(fā)展，相關(guān)技術(shù)人員開發(fā)出了可以轉(zhuǎn)換圖像風(fēng)格的算法，具體可以將真實(shí)的人物圖像轉(zhuǎn)換成動(dòng)漫風(fēng)格、手繪風(fēng)格等不同風(fēng)格的圖像。

2、相關(guān)技術(shù)中，一般需要基于生成對(duì)抗網(wǎng)絡(luò)(generative?adversarial?network,簡(jiǎn)稱gan)來建立風(fēng)格化模型以實(shí)現(xiàn)對(duì)圖像的風(fēng)格化轉(zhuǎn)換。而gan中包括一個(gè)生成模型和判別模型。具體地，可以先利用成千上萬份的訓(xùn)練數(shù)據(jù)對(duì)預(yù)設(shè)的pix2pixgan進(jìn)行訓(xùn)練，并且該訓(xùn)練數(shù)據(jù)一般都是配對(duì)數(shù)據(jù)，以得到一個(gè)質(zhì)量較高的生成模型。然后再將生成模型生成的風(fēng)格化圖像輸入判別模型，以實(shí)現(xiàn)對(duì)生成模型和判別模型的交替優(yōu)化訓(xùn)練，最終可以得到一個(gè)能夠輸出質(zhì)量較高的風(fēng)格化圖像的模型。

3、然而，由于相關(guān)技術(shù)的方案需要使用大量的配對(duì)數(shù)據(jù)來訓(xùn)練生成模型，那么就需要花費(fèi)大量時(shí)間和人力收集該訓(xùn)練數(shù)據(jù)。而若該訓(xùn)練數(shù)據(jù)的數(shù)量較少或質(zhì)量較差，就會(huì)造成訓(xùn)練得到的模型性能較差的問題。因此，這種方案存在無法兼顧訓(xùn)練模型的效率和模型性能的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的在于提供一種圖像的風(fēng)格化模型訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備，可以達(dá)到提升訓(xùn)練模型的效率和訓(xùn)練得到的模型的性能的效果。

2、本技術(shù)的實(shí)施例是這樣實(shí)現(xiàn)的：

3、本技術(shù)實(shí)施例的第一方面，提供一種圖像的風(fēng)格化模型訓(xùn)練方法，所述方法包括：

4、基于多個(gè)第一樣本圖像對(duì)第一初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第一目標(biāo)風(fēng)格化模型，并通過所述第一目標(biāo)風(fēng)格化模型對(duì)多個(gè)第二樣本圖像進(jìn)行隨機(jī)風(fēng)格化處理，得到多個(gè)第一風(fēng)格化數(shù)據(jù)；各所述第一樣本圖像中包括風(fēng)格化人臉，各所述第二樣本圖像中包括真實(shí)人臉圖像，各所述第一風(fēng)格化數(shù)據(jù)包括風(fēng)格化圖像以及風(fēng)格標(biāo)簽，各所述第一風(fēng)格化數(shù)據(jù)的數(shù)量大于各所述第一樣本圖像的數(shù)量；

5、基于預(yù)設(shè)風(fēng)格標(biāo)簽、所述第二樣本圖像以及所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化圖像對(duì)第二初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第二目標(biāo)風(fēng)格化模型，所述預(yù)設(shè)風(fēng)格標(biāo)簽為各所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格標(biāo)簽；

6、通過所述第二目標(biāo)風(fēng)格化模型對(duì)多個(gè)第三樣本圖像進(jìn)行風(fēng)格化處理以得到多個(gè)配對(duì)數(shù)據(jù)，各所述配對(duì)數(shù)據(jù)包括：真實(shí)人臉圖像以及對(duì)應(yīng)的預(yù)設(shè)風(fēng)格的風(fēng)格化圖像；

7、基于各所述配對(duì)數(shù)據(jù)對(duì)第三初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第三目標(biāo)風(fēng)格化模型。

8、可選地，所述基于預(yù)設(shè)風(fēng)格標(biāo)簽、所述第二樣本圖像以及所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化圖像對(duì)第二初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第二目標(biāo)風(fēng)格化模型，包括：

9、由所述第二初始風(fēng)格化模型基于所述預(yù)設(shè)風(fēng)格標(biāo)簽、所述第二樣本圖像輸出第一生成結(jié)果，并根據(jù)所述第二樣本圖像、所述第一生成結(jié)果以及所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化人臉確定第一損失信息；

10、根據(jù)所述第一損失信息對(duì)所述第二初始風(fēng)格化模型進(jìn)行迭代優(yōu)化，直至滿足第一預(yù)設(shè)條件，并將滿足所述第一預(yù)設(shè)條件時(shí)的第二初始風(fēng)格化模型作為所述第二目標(biāo)風(fēng)格化模型。

11、可選地，所述根據(jù)所述第二樣本圖像、所述第一生成結(jié)果以及所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化人臉確定第一損失信息，包括：

12、基于vgg模型(visual?geometry?group，簡(jiǎn)稱vgg)提取所述第一生成結(jié)果的特征信息和所述第二樣本圖像中的真實(shí)人臉圖像的特征信息，并基于所述第一生成結(jié)果的特征信息、所述第二樣本圖像中的真實(shí)人臉圖像的特征信息確定內(nèi)容損失值；

13、分別將所述第一生成結(jié)果和所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化人臉轉(zhuǎn)換為第一灰度圖和第二灰度圖，并基于所述vgg模型提取所述第一灰度圖的特征信息和所述第二灰度圖的特征信息；

14、基于所述第一灰度圖的特征信息和所述第二灰度圖的特征信息確定紋理損失值；

15、基于各所述第二樣本圖像中的真實(shí)人臉圖像、各所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化人臉、所述第二初始風(fēng)格化模型中的生成器和鑒別器確定第一生成對(duì)抗損失值；

16、根據(jù)所述內(nèi)容損失值、所述紋理損失值和所述第一生成對(duì)抗損失值確定所述第一損失信息。

17、可選地，所述通過所述第二目標(biāo)風(fēng)格化模型對(duì)多個(gè)第三樣本圖像進(jìn)行風(fēng)格化處理以得到多個(gè)配對(duì)數(shù)據(jù)，包括：

18、將各所述第三樣本圖像輸入所述第二目標(biāo)風(fēng)格化模型，得到所述第二目標(biāo)風(fēng)格化模型輸出的目標(biāo)風(fēng)格化數(shù)據(jù)；

19、基于各所述第三樣本圖像與對(duì)應(yīng)的所述目標(biāo)風(fēng)格化數(shù)據(jù)之間的映射關(guān)系，得到各所述配對(duì)數(shù)據(jù)。

20、可選地，所述基于各所述配對(duì)數(shù)據(jù)對(duì)第三初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第三目標(biāo)風(fēng)格化模型，包括：

21、由所述第三初始風(fēng)格化模型根據(jù)所述配對(duì)數(shù)據(jù)輸出第二生成結(jié)果，并根據(jù)所述第二生成結(jié)果確定第二損失信息；

22、根據(jù)所述第二損失信息對(duì)所述第三初始風(fēng)格化模型進(jìn)行迭代優(yōu)化，直至滿足第二預(yù)設(shè)條件，并將滿足所述第二預(yù)設(shè)條件時(shí)的第三初始風(fēng)格化模型作為所述第三目標(biāo)風(fēng)格化模型。

23、可選地，所述根據(jù)所述第二生成結(jié)果確定第二損失信息，包括：

24、根據(jù)所述第二生成結(jié)果和所述配對(duì)數(shù)據(jù)中的目標(biāo)風(fēng)格化數(shù)據(jù)確定重構(gòu)損失值；

25、根據(jù)各所述目標(biāo)風(fēng)格化數(shù)據(jù)的特征信息、各所述第二生成結(jié)果的特征信息和預(yù)設(shè)的特征參數(shù)確定第一感知損失值；

26、基于各所述第三樣本圖像、各所述第二生成結(jié)果、各所述目標(biāo)風(fēng)格化數(shù)據(jù)、所述第三初始風(fēng)格化模型中的生成器和鑒別器確定第二生成對(duì)抗損失值；

27、根據(jù)所述重構(gòu)損失值、所述第一感知損失值和所述第二生成對(duì)抗損失值確定第二損失信息。

28、可選地，所述基于多個(gè)第一樣本圖像對(duì)第一初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第一目標(biāo)風(fēng)格化模型，包括：

29、對(duì)各所述第一樣本圖像進(jìn)行預(yù)處理操作，并將預(yù)處理后的第一樣本圖像作為得到各第一樣本圖像，所述預(yù)處理操作包括如下至少一項(xiàng)：人臉對(duì)齊處理、歸一化處理；

30、由所述第一初始風(fēng)格化模型基于各所述第一樣本圖像輸出各第三生成結(jié)果；

31、基于隨機(jī)隱向量、各所述第一樣本圖像、所述第一初始風(fēng)格化模型中的生成器和鑒別器確定第三生成對(duì)抗損失值；

32、根據(jù)各所述第一樣本圖像的特征信息、各所述第三生成結(jié)果的特征信息和預(yù)設(shè)的特征參數(shù)確定第二感知損失值；

33、根據(jù)所述第三生成對(duì)抗損失值和所述第二感知損失值確定第三損失信息；

34、根據(jù)所述第三損失信息對(duì)所述第一初始風(fēng)格化模型進(jìn)行迭代優(yōu)化，直至滿足第三預(yù)設(shè)條件，并將滿足所述第三預(yù)設(shè)條件時(shí)的第一初始風(fēng)格化模型作為所述第一目標(biāo)風(fēng)格化模型。

35、本技術(shù)實(shí)施例的第二方面，提供了一種圖像的風(fēng)格化模型訓(xùn)練裝置，所述裝置包括：

36、第一執(zhí)行模塊，用于基于多個(gè)第一樣本圖像對(duì)第一初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第一目標(biāo)風(fēng)格化模型，并通過所述第一目標(biāo)風(fēng)格化模型對(duì)多個(gè)第二樣本圖像進(jìn)行隨機(jī)風(fēng)格化處理，得到多個(gè)第一風(fēng)格化數(shù)據(jù)；各所述第一樣本圖像中包括風(fēng)格化人臉，各所述第二樣本圖像中包括真實(shí)人臉圖像，各所述第一風(fēng)格化數(shù)據(jù)包括風(fēng)格化圖像以及風(fēng)格標(biāo)簽，各所述第一風(fēng)格化數(shù)據(jù)的數(shù)量大于各所述第一樣本圖像的數(shù)量；

37、第二執(zhí)行模塊，用于基于預(yù)設(shè)風(fēng)格標(biāo)簽、各所述第二樣本圖像以及所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化圖像對(duì)第二初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第二目標(biāo)風(fēng)格化模型，所述預(yù)設(shè)風(fēng)格標(biāo)簽為各所述第一風(fēng)格化數(shù)據(jù)中的風(fēng)格標(biāo)簽；

38、所述第二執(zhí)行模塊，還用于通過所述第二目標(biāo)風(fēng)格化模型對(duì)多個(gè)第三樣本圖像進(jìn)行風(fēng)格化處理以得到多個(gè)配對(duì)數(shù)據(jù)，各所述配對(duì)數(shù)據(jù)包括：真實(shí)人臉圖像以及對(duì)應(yīng)的預(yù)設(shè)風(fēng)格的風(fēng)格化圖像；

39、第三執(zhí)行模塊，用于基于各所述配對(duì)數(shù)據(jù)對(duì)第三初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第三目標(biāo)風(fēng)格化模型。

40、本技術(shù)實(shí)施例的第三方面，提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的圖像的風(fēng)格化模型訓(xùn)練方法。

41、本技術(shù)實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述第一方面所述的圖像的風(fēng)格化模型訓(xùn)練方法。

42、本技術(shù)實(shí)施例的有益效果包括：

43、本技術(shù)實(shí)施例提供的一種圖像的風(fēng)格化模型訓(xùn)練方法，通過基于多個(gè)第一樣本圖像對(duì)第一初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第一目標(biāo)風(fēng)格化模型，并通過該第一目標(biāo)風(fēng)格化模型對(duì)多個(gè)第二樣本圖像進(jìn)行隨機(jī)風(fēng)格化處理，得到多個(gè)第一風(fēng)格化數(shù)據(jù)。這樣可以基于少量的第一樣本圖像訓(xùn)練得到第一目標(biāo)風(fēng)格化模型，然后由第一目標(biāo)風(fēng)格化模型對(duì)大量的第二樣本圖像進(jìn)行隨機(jī)風(fēng)格化處理即可得到大量的第一風(fēng)格化數(shù)據(jù)。

44、基于預(yù)設(shè)風(fēng)格標(biāo)簽、各第二樣本圖像以及該第一風(fēng)格化數(shù)據(jù)中的風(fēng)格化圖像對(duì)第二初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第二目標(biāo)風(fēng)格化模型。由于該預(yù)設(shè)風(fēng)格標(biāo)簽可以指示該第二初始風(fēng)格化模型學(xué)習(xí)的風(fēng)格類型，這樣可以提升該第二目標(biāo)風(fēng)格化模型能夠?qū)D像進(jìn)行特定風(fēng)格類型的風(fēng)格化處理的性能。并且，無需使用大量的配對(duì)數(shù)據(jù)對(duì)該第二目標(biāo)風(fēng)格化模型進(jìn)行訓(xùn)練，可以提升訓(xùn)練該第二目標(biāo)風(fēng)格化模型的效率。

45、通過該第二目標(biāo)風(fēng)格化模型對(duì)多個(gè)第三樣本圖像進(jìn)行風(fēng)格化處理以得到多個(gè)配對(duì)數(shù)據(jù)。由于各配對(duì)數(shù)據(jù)的數(shù)量等于或大于各第三樣本圖像的數(shù)量，且該第二目標(biāo)風(fēng)格化模型輸出的風(fēng)格化圖像的質(zhì)量較高。這樣，就可以得到大量的、高質(zhì)量的配對(duì)數(shù)據(jù)以進(jìn)行后續(xù)處理。

46、基于各配對(duì)數(shù)據(jù)對(duì)第三初始風(fēng)格化模型進(jìn)行訓(xùn)練，得到第三目標(biāo)風(fēng)格化模型。由于各配對(duì)數(shù)據(jù)是通過訓(xùn)練好的該第二目標(biāo)風(fēng)格化模型對(duì)各第三樣本圖像進(jìn)行風(fēng)格化處理而生成的大量數(shù)據(jù)，這樣，就無需花費(fèi)大量時(shí)間和人力搜集大量的配對(duì)數(shù)據(jù)。且各配對(duì)數(shù)據(jù)中的預(yù)設(shè)風(fēng)格的風(fēng)格化圖像的質(zhì)量較高，各配對(duì)數(shù)據(jù)中的真實(shí)人臉圖像是ffhq和/或celeba中的高清人臉圖像，因此可以確保各配對(duì)數(shù)據(jù)的質(zhì)量較高。

47、也即，本技術(shù)實(shí)施例提供的圖像的風(fēng)格化模型訓(xùn)練方法可以在提升訓(xùn)練模型的效率的同時(shí)，確保訓(xùn)練得到的模型的性能。

48、如此，可以提升訓(xùn)練模型的效率和訓(xùn)練得到的模型的性能。