本申請涉及計算機，具體涉及計算機視覺，尤其涉及構(gòu)建數(shù)字人名片的方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、數(shù)字人，是運用數(shù)字技術(shù)創(chuàng)造出來的、與人類形象接近的數(shù)字化人物形象，狹義的數(shù)字人是信息科學(xué)與生命科學(xué)融合的產(chǎn)物，是利用信息科學(xué)的方法對人體在不同水平的形態(tài)和功能進行虛擬仿真。

2、數(shù)字人名片是一種數(shù)字化的個人或企業(yè)名片，利用先進的技術(shù)手段將個人信息、業(yè)務(wù)范圍和產(chǎn)品特點等展示在一張電子卡片上。

技術(shù)實現(xiàn)思路

1、針對數(shù)字人名片中的動作驅(qū)動問題，提供了一種構(gòu)建數(shù)字人名片的方法、裝置、電子設(shè)備以及存儲介質(zhì)。

2、根據(jù)第一方面，提供了一種構(gòu)建數(shù)字人名片的方法，包括：接收用戶發(fā)送的構(gòu)建數(shù)字人名片的請求消息；將所述請求信息中的語音信息發(fā)送至情緒識別模型中處理，得到情緒參數(shù)；確定所述請求消息中用戶選擇的目標數(shù)字人模板；根據(jù)所述情緒參數(shù)驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作；利用所述數(shù)字人動作生成數(shù)字人視頻，以將所述數(shù)字人視頻用于構(gòu)建數(shù)字人名片。

3、結(jié)合第一方面，在一些示例中，所述數(shù)字人動作包括肢體動作和手勢動作，根據(jù)所述情緒參數(shù)驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作，包括：根據(jù)所述情緒參數(shù)確定所述肢體動作；根據(jù)所述語音信息中的語義確定手勢動作；利用所述肢體動作和所述手勢動作驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作。

4、結(jié)合第一方面，在一些示例中，根據(jù)所述語音信息中的語義確定手勢動作，包括：識別所述語音信息中是否含有預(yù)設(shè)關(guān)鍵詞，所述預(yù)設(shè)關(guān)鍵詞至少包括數(shù)字；根據(jù)所述預(yù)設(shè)關(guān)鍵詞匹配對應(yīng)的手勢動作。

5、結(jié)合第一方面，在一些示例中，利用所述肢體動作和所述手勢動作驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作，包括：對多個所述肢體動作中相鄰的兩個肢體動作進行平滑處理；利用經(jīng)過平滑處理后的肢體動作和所述手勢動作驅(qū)動數(shù)字人動作。

6、結(jié)合第一方面，在一些示例中，對多個所述肢體動作中相鄰的兩個肢體動作進行平滑處理，包括：確定相鄰的兩個肢體動作的默認位置；根據(jù)所述默認位置銜接多個所述預(yù)設(shè)動作，得到動作系數(shù)。

7、結(jié)合第一方面，在一些示例中，對多個所述肢體動作中相鄰的兩個肢體動作進行平滑處理，包括：確定每個肢體動作對應(yīng)的骨骼信息，所述骨骼信息包括空間位置和距離關(guān)系；將相鄰的兩個肢體動作使用對齊和球面線性插值進行融合，以進行平滑處理。

8、結(jié)合第一方面，在一些示例中，所述情緒識別模型的訓(xùn)練方法包括：確定常識任務(wù)模板；在預(yù)設(shè)數(shù)據(jù)集的約束下，通過大語言模型基于常識任務(wù)模板生成常識訓(xùn)練數(shù)據(jù)；確定情緒任務(wù)模板；在預(yù)設(shè)數(shù)據(jù)集的約束下，通過大語言模型基于常識任務(wù)模板生成情緒訓(xùn)練數(shù)據(jù)；分別基于所述常識訓(xùn)練數(shù)據(jù)和所述情緒訓(xùn)練數(shù)據(jù)對初始模型進行訓(xùn)練，得到所述情緒識別模型。

9、根據(jù)第二方面，提供了一種構(gòu)建數(shù)字人名片的裝置，包括：第一單元，用于接收用戶發(fā)送的構(gòu)建數(shù)字人名片的請求消息；第二單元，用于將所述請求信息中的語音信息發(fā)送至情緒識別模型中處理，得到情緒參數(shù)；第三單元，用于確定所述請求消息中用戶選擇的目標數(shù)字人模板；第四單元，用于根據(jù)所述情緒參數(shù)驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作；第五單元，用于利用所述數(shù)字人動作生成數(shù)字人視頻，以將所述數(shù)字人視頻用于構(gòu)建數(shù)字人名片。

10、根據(jù)第三方面，提供了一種電子設(shè)備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如構(gòu)建數(shù)字人名片的方法中任一實施例的方法。

11、根據(jù)第四方面，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如構(gòu)建數(shù)字人名片的方法中任一實施例的方法。

12、根據(jù)本申請的方案，在用戶構(gòu)建數(shù)字人名片的過程中，通過語音信息對數(shù)字人進行動作驅(qū)動，大大提高了數(shù)字人名片的顯示效果。本申請實施例結(jié)合構(gòu)建數(shù)字人名片過程中需要選擇數(shù)字人模板的流程，僅需要識別語音信息中的情緒參數(shù)，然后就可以對數(shù)字人進行動作驅(qū)動，無需實時生成數(shù)字人動作，極大的降低了算力壓力，提高了數(shù)字人名片的生成效率。

技術(shù)特征：

1.一種構(gòu)建數(shù)字人名片的方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)字人動作包括肢體動作和手勢動作，根據(jù)所述情緒參數(shù)驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述語音信息中的語義確定手勢動作，包括：

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用所述肢體動作和所述手勢動作驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對多個所述肢體動作中相鄰的兩個肢體動作進行平滑處理，包括：

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，對多個所述肢體動作中相鄰的兩個肢體動作進行平滑處理，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述情緒識別模型的訓(xùn)練方法包括：

8.一種構(gòu)建數(shù)字人名片的裝置，其特征在于，包括：

9.一種電子設(shè)備，包括：

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其中，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7中任一所述的方法。

技術(shù)總結(jié)
本申請公開了構(gòu)建數(shù)字人明片的方法和裝置，涉及計算機視覺技術(shù)領(lǐng)域。具體實施方式包括：接收用戶發(fā)送的構(gòu)建數(shù)字人名片的請求消息；將所述請求信息中的語音信息發(fā)送至情緒識別模型中處理，得到情緒參數(shù)；確定所述請求消息中用戶選擇的目標數(shù)字人模板；根據(jù)所述情緒參數(shù)驅(qū)動所述目標數(shù)字人模板中的數(shù)字人動作；利用所述數(shù)字人動作生成數(shù)字人視頻，以將所述數(shù)字人視頻用于構(gòu)建數(shù)字人名片。在用戶構(gòu)建數(shù)字人名片的過程中，通過語音信息對數(shù)字人進行動作驅(qū)動，大大提高了數(shù)字人名片的顯示效果。

技術(shù)研發(fā)人員：曹衛(wèi),劉治彬,吳平,史春苓,陳科科
受保護的技術(shù)使用者：杭州秋果計劃科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26