本發(fā)明涉及視頻處理?，尤其涉及一種將視頻中的人物替換為三維虛擬角色的方法、裝置。

背景技術(shù)：

1、現(xiàn)有技術(shù)中視頻人物替換主要依賴于將目標(biāo)2d人物圖像和動作序列作為神經(jīng)網(wǎng)絡(luò)模型的輸入，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，直接生成目標(biāo)人物做指定動作的視頻。其中，模型通常包含兩部分，一部分用于學(xué)習(xí)目標(biāo)人物的外貌特征，另一部分用于學(xué)習(xí)動作特征，兩部分模型共同作用生成替換后的視頻。有些生成模型還會額外設(shè)計(jì)空間注意力模塊和時(shí)間注意力模塊，以提高時(shí)序一致性和空間一致性。

2、對于使用神經(jīng)網(wǎng)絡(luò)生成替換視頻的方法，每次替換都需要設(shè)置一定的迭代次數(shù)用于訓(xùn)練，耗時(shí)較長，此外，該方法需要對網(wǎng)絡(luò)進(jìn)行恰當(dāng)?shù)膮?shù)調(diào)試才能生成效果較好的替換視頻，否則生成的視頻中會發(fā)生人物外貌變化，背景不一致等問題。網(wǎng)絡(luò)訓(xùn)練的長耗時(shí)以及參數(shù)調(diào)試都意味著該類方法難以廣泛應(yīng)用。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種將視頻中的人物替換為三維虛擬角色的方法，用以解決現(xiàn)有技術(shù)中使用神經(jīng)網(wǎng)絡(luò)生成替換視頻的方法耗時(shí)較長，精度較低的缺陷，實(shí)現(xiàn)快速生成人物替換視頻，且生成結(jié)果準(zhǔn)確性更高的效果。

2、本發(fā)明提供一種將視頻中的人物替換為三維虛擬角色的方法，包括如下步驟。

3、獲取待處理視頻，并將所述待處理視頻切割為視頻幀序列，其中，所述視頻幀序列中的每一視頻幀均包括至少一個(gè)人物；

4、對所述視頻幀序列分別進(jìn)行圖像分割處理，得到背景圖像幀序列，其中，所述背景圖像幀序列為去除所述人物的視頻幀序列；

5、對所述視頻幀序列中的人物進(jìn)行動作估計(jì)處理，得到所述視頻幀序列中的人物的動作數(shù)據(jù)；

6、基于所述動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向處理，得到三維虛擬角色運(yùn)動圖像序列，并將所述三維虛擬角色運(yùn)動圖像序列與所述背景圖像幀序列進(jìn)行疊加處理，根據(jù)疊加得到目標(biāo)視頻幀序列生成替換人物后的目標(biāo)視頻。

7、根據(jù)本發(fā)明提供的一種將視頻中的人物替換為三維虛擬角色的方法，?所述對所述視頻幀序列分別進(jìn)行圖像分割處理，得到背景圖像幀序列，包括：

8、針對所述視頻幀序列中的每一視頻幀分別執(zhí)行以下處理：獲取所述視頻幀中的人物的關(guān)鍵點(diǎn)；

9、基于所述關(guān)鍵點(diǎn)去除所述視頻幀中的人物，得到背景圖像幀；

10、將每一視頻幀對應(yīng)的所述背景圖像幀按順序組合為所述背景圖像幀序列。

11、根據(jù)本發(fā)明提供的一種將視頻中的人物替換為三維虛擬角色的方法，?所述基于所述關(guān)鍵點(diǎn)去除所述視頻幀中的人物，得到背景圖像幀，包括：

12、基于所述關(guān)鍵點(diǎn)，調(diào)用語義分割算法對所述視頻幀進(jìn)行語義分割處理，得到針對所述人物的遮罩圖像；

13、對所述遮罩圖像進(jìn)行形態(tài)學(xué)開閉運(yùn)算處理，得到處理后的遮罩圖像；

14、基于所述處理后的遮罩圖像去除所述視頻幀中的人物，得到所述背景圖像幀。

15、根據(jù)本發(fā)明提供的一種將視頻中的人物替換為三維虛擬角色的方法，?所述基于所述動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向處理，得到三維虛擬角色運(yùn)動圖像序列，包括：

16、將所述動作數(shù)據(jù)寫入smpl-x模型中，得到三維動作模型；

17、將所述三維動作模型重定向至所述預(yù)設(shè)的三維虛擬角色中，得到所述三維虛擬角色運(yùn)動圖像序列。

18、根據(jù)本發(fā)明提供的一種將視頻中的人物替換為三維虛擬角色的方法，所述將所述三維動作模型重定向至所述預(yù)設(shè)的三維虛擬角色中，得到所述三維虛擬角色運(yùn)動圖像序列，包括：

19、為所述預(yù)設(shè)的三維虛擬角色創(chuàng)建控制器，以控制所述預(yù)設(shè)的三維虛擬角色對應(yīng)的模型；

20、調(diào)用所述控制器將所述預(yù)設(shè)的三維虛擬角色對應(yīng)的模型的尺寸進(jìn)行調(diào)整，以使所述預(yù)設(shè)的三維虛擬角色對應(yīng)的模型的尺寸與所述三維動作模型的尺寸相同；

21、將所述預(yù)設(shè)的三維虛擬角色對應(yīng)的模型的骨骼與所述三維動作模型的骨骼一一匹配，并使用所述動作數(shù)據(jù)驅(qū)動所述預(yù)設(shè)的三維虛擬角色對應(yīng)的模型，通過blender渲染得到所述三維虛擬角色運(yùn)動圖像序列。

22、根據(jù)本發(fā)明提供的一種將視頻中的人物替換為三維虛擬角色的方法，?所述方法還包括：

23、當(dāng)所述視頻幀序列的分辨率大于或等于分辨率閾值，將所述視頻幀序列進(jìn)行縮放處理，得到處理后的視頻幀序列，將所述處理后的視頻幀序列作為所述視頻幀序列。

24、本發(fā)明還提供一種將視頻中的人物替換為三維虛擬角色的裝置，包括如下模塊：

25、獲取模塊，用于獲取待處理視頻，并將所述待處理視頻切割為視頻幀序列，其中，所述視頻幀序列中的每一視頻幀均包括至少一個(gè)人物；

26、圖像分割模塊，用于對所述視頻幀序列分別進(jìn)行圖像分割處理，得到背景圖像幀序列，其中，所述背景圖像幀序列為去除所述人物的視頻幀序列；

27、動作估計(jì)模塊，用于對所述視頻幀序列中的人物進(jìn)行動作估計(jì)處理，得到所述視頻幀序列中的人物的動作數(shù)據(jù)；

28、動作重定向模塊，用于基于所述動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向處理，得到三維虛擬角色運(yùn)動圖像序列，并將所述三維虛擬角色運(yùn)動圖像序列與所述背景圖像幀序列進(jìn)行疊加處理，根據(jù)疊加得到目標(biāo)視頻幀序列生成替換人物后的目標(biāo)視頻

29、本發(fā)明還提供一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述將視頻中的人物替換為三維虛擬角色的方法。

30、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述將視頻中的人物替換為三維虛擬角色的方法。

31、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述將視頻中的人物替換為三維虛擬角色的方法。

32、本發(fā)明提供的將視頻中的人物替換為三維虛擬角色的方法、裝置，通過對視頻幀序列進(jìn)行圖像分割處理以快速獲取視頻幀序列的背景圖像序列，并基于視頻幀序列中的人物的關(guān)鍵點(diǎn)對視頻幀序列中的人物進(jìn)行動作估計(jì)處理，得到人物的動作數(shù)據(jù)；然后基于視頻中人物的動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向，從而確保生成的目標(biāo)視頻中人物的外形始終保持一致，提升了生成的目標(biāo)視頻的準(zhǔn)確性。

技術(shù)特征：

1.一種將視頻中的人物替換為三維虛擬角色的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的將視頻中的人物替換為三維虛擬角色的方法，其特征在于，所述對所述視頻幀序列分別進(jìn)行圖像分割處理，得到背景圖像幀序列，包括：

3.根據(jù)權(quán)利要求2所述的將視頻中的人物替換為三維虛擬角色的方法，其特征在于，所述基于所述關(guān)鍵點(diǎn)去除所述視頻幀中的人物，得到背景圖像幀，包括：

4.根據(jù)權(quán)利要求1所述的將視頻中的人物替換為三維虛擬角色的方法，其特征在于，所述基于所述動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向處理，得到三維虛擬角色運(yùn)動圖像序列，包括：

5.根據(jù)權(quán)利要求4所述的將視頻中的人物替換為三維虛擬角色的方法，其特征在于，所述將所述三維動作模型重定向至所述預(yù)設(shè)的三維虛擬角色中，得到所述三維虛擬角色運(yùn)動圖像序列，包括：

6.根據(jù)權(quán)利要求1所述的將視頻中的人物替換為三維虛擬角色的方法，其特征在于，所述方法還包括：

7.一種將視頻中的人物替換為三維虛擬角色的裝置，其特征在于，包括：

8.一種電子設(shè)備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述將視頻中的人物替換為三維虛擬角色的方法。

9.一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述將視頻中的人物替換為三維虛擬角色的方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述將視頻中的人物替換為三維虛擬角色的方法。

技術(shù)總結(jié)
本發(fā)明提供一種將視頻中的人物替換為三維虛擬角色的方法、裝置，包括：獲取待處理視頻，將待處理視頻切割為視頻幀序列；對視頻幀序列進(jìn)行圖像分割處理，得到背景圖像幀序列；對視頻幀序列中的人物進(jìn)行動作估計(jì)處理，得到視頻幀序列中的人物的動作數(shù)據(jù)；基于動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向處理，得到三維虛擬角色運(yùn)動圖像序列，并將三維虛擬角色運(yùn)動圖像序列與背景圖像幀序列進(jìn)行疊加，根據(jù)疊加得到目標(biāo)視頻幀序列生成替換人物后的目標(biāo)視頻。通過快速消除前景得到一致的背景圖像，并基于視頻中人物的動作數(shù)據(jù)與預(yù)設(shè)的三維虛擬角色進(jìn)行動作重定向，從而確保生成的目標(biāo)視頻中人物的外形始終保持一致，提升了生成的目標(biāo)視頻的精度。

技術(shù)研發(fā)人員：張兆翔,雷震,楊惠,王玉璽
受保護(hù)的技術(shù)使用者：中國科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26