本技術(shù)涉及圖像處理，特別是涉及一種圖像生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著圖像合成技術(shù)的發(fā)展，出現(xiàn)了姿勢引導(dǎo)的人物圖像合成技術(shù)（pose-guidedperson?image?generation,?pgpig），該技術(shù)可以應(yīng)用于許多應(yīng)用場景中，例如電影制作、服裝展示、虛擬現(xiàn)實(shí)、廣告制作等，這些應(yīng)用場景展示了pgpig技術(shù)的多樣性和靈活性，它可以根據(jù)不同的需求和環(huán)境進(jìn)行定制和應(yīng)用，然而，目前的pgpig技術(shù)在具體應(yīng)用中會(huì)存在一些局限性的技術(shù)問題，例如一種生成對抗網(wǎng)絡(luò)(conditional?generative?adversarialnetworks，cgans)應(yīng)用于pgpig技術(shù)中會(huì)面臨訓(xùn)練不穩(wěn)定和樣本多樣性受限的問題，而一種生成模型(variational?autoencoders?vaes)應(yīng)用在pgpig技術(shù)中，會(huì)難以保證細(xì)節(jié)對齊和姿勢一致性。因此，亟需一種能夠提高pgpig技術(shù)的質(zhì)量和泛化能力的同時(shí)，并且在無需復(fù)雜的文本提示或注釋的情況下實(shí)現(xiàn)有效的人物姿勢引導(dǎo)圖像的圖像生成方法。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠提高pgpig技術(shù)的質(zhì)量和泛化能力的同時(shí)，并且在無需復(fù)雜的文本提示或注釋的情況下實(shí)現(xiàn)有效的人物姿勢引導(dǎo)圖像的圖像生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種圖像生成方法，包括：

3、獲取目標(biāo)姿勢信息和源圖像；

4、對所述源圖像進(jìn)行多尺度特征映射，得到多尺度外觀特征數(shù)據(jù)；

5、對所述源圖像進(jìn)行隨機(jī)噪聲模擬，得到加噪模擬圖像；

6、通過所述目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)；

7、通過所述目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述目標(biāo)姿勢信息對所述加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像。

8、在其中一個(gè)實(shí)施例中，所述目標(biāo)去噪引導(dǎo)子模型包括：目標(biāo)感知細(xì)化子模型和目標(biāo)注意力子模型，所述去噪引導(dǎo)數(shù)據(jù)包括：粗粒度特征數(shù)據(jù)和細(xì)粒度紋理數(shù)據(jù)；所述通過所述目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)，包括：

9、根據(jù)所述目標(biāo)感知細(xì)化子模型對所述多尺度外觀特征數(shù)據(jù)進(jìn)行感知細(xì)化，得到所述粗粒度結(jié)構(gòu)特征；

10、根據(jù)所述目標(biāo)注意力子模型對所述多尺度外觀特征數(shù)據(jù)進(jìn)行注意力分析，得到所述細(xì)粒度紋理數(shù)據(jù)。

11、在其中一個(gè)實(shí)施例中，所述目標(biāo)卷積去噪子模型包括：目標(biāo)卷積神經(jīng)模型和目標(biāo)姿勢適配模型；所述通過所述目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述目標(biāo)姿勢信息對所述加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像，包括：

12、根據(jù)所述目標(biāo)姿勢適配模型對所述目標(biāo)姿勢信息進(jìn)行姿勢結(jié)構(gòu)分析，得到姿勢結(jié)構(gòu)引導(dǎo)數(shù)據(jù)；

13、根據(jù)所述目標(biāo)卷積神經(jīng)模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述姿勢結(jié)構(gòu)引導(dǎo)數(shù)據(jù)對所述加噪模擬圖像進(jìn)行逐步去噪處理，得到所述目標(biāo)生成圖像。

14、在其中一個(gè)實(shí)施例中，在所述通過所述目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)之前，所述方法還包括：

15、獲取訓(xùn)練集數(shù)據(jù)，其中，所述訓(xùn)練集數(shù)據(jù)包括：訓(xùn)練姿勢信息和所述訓(xùn)練姿勢信息對應(yīng)的訓(xùn)練圖像；

16、對所述訓(xùn)練圖像進(jìn)行預(yù)處理，得到多尺度訓(xùn)練特征數(shù)據(jù)和加噪訓(xùn)練圖像；

17、根據(jù)原始圖像生成模型的原始去噪引導(dǎo)子模型，對所述多尺度訓(xùn)練特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到訓(xùn)練引導(dǎo)數(shù)據(jù)；

18、根據(jù)所述原始圖像生成模型的原始卷積去噪子模型，依據(jù)所述訓(xùn)練引導(dǎo)數(shù)據(jù)和所述訓(xùn)練姿勢信息對所述加噪訓(xùn)練圖像進(jìn)行去噪處理，得到原始生成圖像；

19、根據(jù)所述原始生成圖像和預(yù)設(shè)優(yōu)化模型對所述原始圖像生成模型的參數(shù)進(jìn)行損失優(yōu)化，得到所述目標(biāo)圖像生成模型。

20、在其中一個(gè)實(shí)施例中，所述對所述訓(xùn)練圖像進(jìn)行預(yù)處理，得到多尺度訓(xùn)練特征數(shù)據(jù)和加噪訓(xùn)練圖像，包括：

21、對所述訓(xùn)練圖像進(jìn)行多尺度特征映射，得到所述多尺度訓(xùn)練特征數(shù)據(jù)；

22、對所述訓(xùn)練圖像進(jìn)行隨機(jī)噪聲模擬，得到所述加噪訓(xùn)練圖像。

23、在其中一個(gè)實(shí)施例中，所述方法還包括：

24、根據(jù)所述原始生成圖像和所述預(yù)設(shè)優(yōu)化模型對所述原始圖像生成模型的參數(shù)進(jìn)行損失優(yōu)化，得到候選圖像生成模型；

25、對所述候選圖像生成模型進(jìn)行性能評估，得到性能評估結(jié)果；

26、若所述性能評估結(jié)果滿足預(yù)設(shè)條件，則將所述候選圖像生成模型作為所述目標(biāo)圖像生成模型。

27、第二方面，本技術(shù)還提供了一種圖像生成裝置，包括：

28、獲取模塊，用于獲取目標(biāo)姿勢信息和源圖像；

29、映射模塊，用于對所述源圖像進(jìn)行多尺度特征映射，得到多尺度外觀特征數(shù)據(jù)；

30、噪聲模擬模塊，用于對所述源圖像進(jìn)行隨機(jī)噪聲模擬，得到加噪模擬圖像；

31、引導(dǎo)分析模塊，用于根據(jù)目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)；

32、圖像生成模塊，用于根據(jù)所述目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述目標(biāo)姿勢信息對所述加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像。

33、第三方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

34、獲取目標(biāo)姿勢信息和源圖像；

35、對所述源圖像進(jìn)行多尺度特征映射，得到多尺度外觀特征數(shù)據(jù)；

36、對所述源圖像進(jìn)行隨機(jī)噪聲模擬，得到加噪模擬圖像；

37、通過所述目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)；

38、通過所述目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述目標(biāo)姿勢信息對所述加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像。

39、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

40、獲取目標(biāo)姿勢信息和源圖像；

41、對所述源圖像進(jìn)行多尺度特征映射，得到多尺度外觀特征數(shù)據(jù)；

42、對所述源圖像進(jìn)行隨機(jī)噪聲模擬，得到加噪模擬圖像；

43、通過所述目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)；

44、通過所述目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述目標(biāo)姿勢信息對所述加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像。

45、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

46、獲取目標(biāo)姿勢信息和源圖像；

47、對所述源圖像進(jìn)行多尺度特征映射，得到多尺度外觀特征數(shù)據(jù)；

48、對所述源圖像進(jìn)行隨機(jī)噪聲模擬，得到加噪模擬圖像；

49、通過所述目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對所述多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)；

50、通過所述目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)所述去噪引導(dǎo)數(shù)據(jù)和所述目標(biāo)姿勢信息對所述加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像。

51、上述圖像生成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過獲取目標(biāo)姿勢信息和源圖像；對源圖像進(jìn)行多尺度特征映射，得到多尺度外觀特征數(shù)據(jù)；對源圖像進(jìn)行隨機(jī)噪聲模擬，得到加噪模擬圖像；通過目標(biāo)圖像生成模型的目標(biāo)去噪引導(dǎo)子模型，對多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，得到去噪引導(dǎo)數(shù)據(jù)；通過目標(biāo)圖像生成模型的目標(biāo)卷積去噪子模型，依據(jù)去噪引導(dǎo)數(shù)據(jù)和目標(biāo)姿勢信息對加噪模擬圖像進(jìn)行去噪處理，得到目標(biāo)生成圖像。因此，通過目標(biāo)去噪引導(dǎo)子模型對多尺度外觀特征數(shù)據(jù)進(jìn)行去噪引導(dǎo)分析，可以分析得出具備去噪引導(dǎo)作用的去噪引導(dǎo)數(shù)據(jù)，從而引導(dǎo)后續(xù)去噪處理過程生成高質(zhì)量的目標(biāo)生成圖像，即在無需復(fù)雜的文本提示或注釋的情況下，也能實(shí)現(xiàn)有效的人物姿勢引導(dǎo)圖像生成，保證了目標(biāo)圖像生成模型的泛化性能。并且采用了目標(biāo)卷積去噪子模型和目標(biāo)姿勢信息可以逐步去除噪聲的同時(shí)，確保了目標(biāo)生成圖像中姿勢的正確性，進(jìn)一步提高了pgpig技術(shù)的圖像生成質(zhì)量。