本申請(qǐng)涉及通信，尤其涉及一種視頻處理方法、裝置、相關(guān)設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著科技的不斷發(fā)展，視頻通話正逐漸成為現(xiàn)代溝通和協(xié)作的重要方式，而利用神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻重建的研究在視頻通話方面取得了重大進(jìn)展。目前，在利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)二維(2d，2-dimension)或三維(3d，3-dimension)運(yùn)動(dòng)估計(jì)和表示的過(guò)程中，由于靜止的源圖像無(wú)法為不可見(jiàn)區(qū)域或細(xì)微的表情變化提供足夠的外觀信息，使得驅(qū)動(dòng)視頻中復(fù)雜的運(yùn)動(dòng)(如面部大幅扭動(dòng))導(dǎo)致面部生成結(jié)果模糊，從而產(chǎn)生嚴(yán)重偽影，顯著降低視頻畫面生成質(zhì)量。

2、為了解決該技術(shù)問(wèn)題，相關(guān)技術(shù)中提出了一種可調(diào)整比特率的混合編碼方案，但該方案在極端情況，比如信道帶寬極低，噪聲信號(hào)極大或者面部及畫面其他目標(biāo)大幅扭動(dòng)時(shí)，視頻畫面質(zhì)量無(wú)法滿足視頻通話的要求，使得視頻通話在上述極端情況下無(wú)法正常進(jìn)行。

技術(shù)實(shí)現(xiàn)思路

1、為解決相關(guān)技術(shù)中存在的技術(shù)問(wèn)題，本申請(qǐng)實(shí)施例提供一種視頻處理方法、裝置、相關(guān)設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。

2、為達(dá)到上述目的，本申請(qǐng)實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

3、第一方面，本申請(qǐng)實(shí)施例提供了一種視頻處理方法，應(yīng)用于第一終端，所述方法包括：

4、基于原始視頻數(shù)據(jù)，確定包含感興趣目標(biāo)的視頻幀；所述包含感興趣目標(biāo)的視頻幀包括關(guān)鍵幀和非關(guān)鍵幀；

5、對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的編碼參數(shù)；

6、基于所述調(diào)整后的編碼參數(shù)，對(duì)所述關(guān)鍵幀進(jìn)行編碼，得到第一碼流；

7、對(duì)從所述非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼，得到第二碼流；

8、將所述第一碼流和所述第二碼流發(fā)送至第二終端，以使所述第二終端生成目標(biāo)視頻數(shù)據(jù)。

9、第二方面，本申請(qǐng)實(shí)施例還提供了另一種視頻處理方法，應(yīng)用于第二終端，所述方法包括：

10、接收第一終端發(fā)送的第一碼流和第二碼流；

11、基于所述第一碼流和所述第二碼流，生成目標(biāo)視頻數(shù)據(jù)；

12、其中，所述第一碼流由所述第一終端基于調(diào)整后的編碼參數(shù)，對(duì)基于原始視頻數(shù)據(jù)確定的包含感興趣目標(biāo)的視頻幀中的關(guān)鍵幀進(jìn)行編碼得到；所述調(diào)整后的編碼參數(shù)通過(guò)對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整得到；所述第二碼流由所述第一終端對(duì)從所述包含感興趣目標(biāo)的視頻幀的非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼得到。

13、第三方面，本申請(qǐng)實(shí)施例提供了一種視頻處理裝置，應(yīng)用于第一終端，所述裝置包括：

14、第一確定單元，用于基于原始視頻數(shù)據(jù)，確定包含感興趣目標(biāo)的視頻幀；所述包含感興趣目標(biāo)的視頻幀包括關(guān)鍵幀和非關(guān)鍵幀；

15、第一調(diào)整單元，用于對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的編碼參數(shù)；

16、第一編碼單元，用于基于所述調(diào)整后的編碼參數(shù)，對(duì)所述關(guān)鍵幀進(jìn)行編碼，得到第一碼流；

17、第二編碼單元，用于對(duì)從所述非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼，得到第二碼流；

18、發(fā)送單元，用于將所述第一碼流和所述第二碼流發(fā)送至第二終端，以使所述第二終端生成目標(biāo)視頻數(shù)據(jù)。

19、第四方面，本申請(qǐng)實(shí)施例還提供了另一種視頻處理裝置，應(yīng)用于第二終端，所述裝置包括：

20、第一接收單元，用于接收第一終端發(fā)送的第一碼流和第二碼流；

21、第一生成單元，用于基于所述第一碼流和所述第二碼流，生成目標(biāo)視頻數(shù)據(jù)；

22、其中，所述第一碼流由所述第一終端基于調(diào)整后的編碼參數(shù)，對(duì)基于原始視頻數(shù)據(jù)確定的包含感興趣目標(biāo)的視頻幀中的關(guān)鍵幀進(jìn)行編碼得到；所述調(diào)整后的編碼參數(shù)通過(guò)對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整得到；所述第二碼流由所述第一終端對(duì)從所述包含感興趣目標(biāo)的視頻幀的非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼得到。

23、第五方面，本申請(qǐng)實(shí)施例提供了一種第一終端，包括：第一處理器和用于存儲(chǔ)能夠在所述第一處理器上運(yùn)行的計(jì)算機(jī)程序的第一存儲(chǔ)器；

24、其中，所述第一處理器用于運(yùn)行所述計(jì)算機(jī)程序時(shí)，執(zhí)行本申請(qǐng)實(shí)施例所述的第一終端側(cè)的視頻處理方法的步驟。

25、第六方面，本申請(qǐng)實(shí)施例還提供了一種第二終端，包括：第二處理器和用于存儲(chǔ)能夠在所述第二處理器上運(yùn)行的計(jì)算機(jī)程序的第二存儲(chǔ)器；

26、其中，所述第二處理器用于運(yùn)行所述計(jì)算機(jī)程序時(shí)，執(zhí)行本申請(qǐng)實(shí)施例所述的第二終端側(cè)的視頻處理方法的步驟。

27、第七方面，本申請(qǐng)實(shí)施例還提供了一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例所述的第一終端側(cè)的視頻處理方法的步驟，或者實(shí)現(xiàn)本申請(qǐng)實(shí)施例所述的第二終端側(cè)的視頻處理方法的步驟。

28、第八方面，本申請(qǐng)實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)實(shí)施例所述的第一終端側(cè)的視頻處理方法的步驟，或者實(shí)現(xiàn)本申請(qǐng)實(shí)施例所述的第二終端側(cè)的視頻處理方法的步驟。

29、本申請(qǐng)實(shí)施例提供的視頻處理方法、裝置、相關(guān)設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，第一終端基于原始視頻數(shù)據(jù)，確定包含感興趣目標(biāo)的視頻幀；所述包含感興趣目標(biāo)的視頻幀包括關(guān)鍵幀和非關(guān)鍵幀；對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的編碼參數(shù)；基于所述調(diào)整后的編碼參數(shù)，對(duì)所述關(guān)鍵幀進(jìn)行編碼，得到第一碼流；對(duì)從所述非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼，得到第二碼流；將所述第一碼流和所述第二碼流發(fā)送至第二終端，以使所述第二終端生成目標(biāo)視頻數(shù)據(jù)。采用本申請(qǐng)實(shí)施例的技術(shù)方案，通過(guò)對(duì)原始視頻數(shù)據(jù)進(jìn)行感興趣目標(biāo)的分割，僅對(duì)包含感興趣目標(biāo)的視頻幀進(jìn)行視頻混合編碼，即對(duì)于視頻關(guān)鍵幀，通過(guò)動(dòng)態(tài)調(diào)整關(guān)鍵幀的編碼參數(shù)，并基于調(diào)整后的編碼參數(shù)對(duì)關(guān)鍵幀進(jìn)行編碼，以及對(duì)從非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼，如此，第二終端能夠生成高質(zhì)量的目標(biāo)視頻數(shù)據(jù)，從而提高極端條件下的視頻通話質(zhì)量，以滿足視頻通話的要求，進(jìn)而保障視頻通話在極端條件下能正常進(jìn)行。

技術(shù)特征：

1.一種視頻處理方法，其特征在于，應(yīng)用于第一終端，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于原始視頻數(shù)據(jù)，確定包含感興趣目標(biāo)的視頻幀，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的編碼參數(shù)，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述確定針對(duì)所述非關(guān)鍵幀的關(guān)鍵點(diǎn)信息重傳率，包括：

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述關(guān)鍵幀的編碼參數(shù)包括關(guān)鍵幀量化參數(shù)、關(guān)鍵幀間隔中的至少一個(gè)；

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，在所述基于所述關(guān)鍵點(diǎn)信息重傳率和針對(duì)所述非關(guān)鍵幀的關(guān)鍵點(diǎn)信息變化率，對(duì)所述關(guān)鍵幀間隔進(jìn)行調(diào)整，得到調(diào)整后的關(guān)鍵幀間隔之前，所述方法還包括：

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述關(guān)鍵點(diǎn)信息重傳率，對(duì)所述關(guān)鍵幀量化參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的關(guān)鍵幀量化參數(shù)，包括：

8.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述關(guān)鍵點(diǎn)信息重傳率和針對(duì)所述非關(guān)鍵幀的關(guān)鍵點(diǎn)信息變化率，對(duì)所述關(guān)鍵幀間隔進(jìn)行調(diào)整，得到調(diào)整后的關(guān)鍵幀間隔，包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的編碼參數(shù)之前，所述方法還包括：

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述原始視頻數(shù)據(jù)包括視頻背景圖像信息；所述方法還包括：

11.一種視頻處理方法，其特征在于，應(yīng)用于第二終端，所述方法包括：

12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述基于所述第一碼流和所述第二碼流，生成目標(biāo)視頻數(shù)據(jù)，包括：

13.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述基于所述關(guān)鍵幀解碼信息和所述關(guān)鍵點(diǎn)解碼信息，生成所述目標(biāo)視頻數(shù)據(jù)，包括：

14.根據(jù)權(quán)利要求13所述的方法，其特征在于，在所述基于所述重構(gòu)的非關(guān)鍵幀和所述關(guān)鍵幀解碼信息，生成所述目標(biāo)視頻數(shù)據(jù)之前，所述方法還包括：

15.一種視頻處理裝置，其特征在于，應(yīng)用于第一終端，所述裝置包括：

16.一種視頻處理裝置，其特征在于，應(yīng)用于第二終端，所述裝置包括：

17.一種第一終端，其特征在于，包括：第一處理器和用于存儲(chǔ)能夠在所述第一處理器上運(yùn)行的計(jì)算機(jī)程序的第一存儲(chǔ)器；

18.一種第二終端，其特征在于，包括：第二處理器和用于存儲(chǔ)能夠在所述第二處理器上運(yùn)行的計(jì)算機(jī)程序的第二存儲(chǔ)器；

19.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至10任一項(xiàng)所述方法的步驟，或者實(shí)現(xiàn)權(quán)利要求11至14任一項(xiàng)所述方法的步驟。

20.一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至10任一項(xiàng)所述方法的步驟，或者實(shí)現(xiàn)權(quán)利要求11至14任一項(xiàng)所述方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種視頻處理方法、裝置、相關(guān)設(shè)備、存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。其中，該方法應(yīng)用于第一終端，該方法包括：基于原始視頻數(shù)據(jù)，確定包含感興趣目標(biāo)的視頻幀；所述包含感興趣目標(biāo)的視頻幀包括關(guān)鍵幀和非關(guān)鍵幀；對(duì)所述關(guān)鍵幀的編碼參數(shù)進(jìn)行調(diào)整，得到調(diào)整后的編碼參數(shù)；基于所述調(diào)整后的編碼參數(shù)，對(duì)所述關(guān)鍵幀進(jìn)行編碼，得到第一碼流；對(duì)從所述非關(guān)鍵幀中提取的關(guān)鍵點(diǎn)信息進(jìn)行編碼，得到第二碼流；將所述第一碼流和所述第二碼流發(fā)送至第二終端，以使所述第二終端生成目標(biāo)視頻數(shù)據(jù)。

技術(shù)研發(fā)人員：張世俊,楊蕾
受保護(hù)的技術(shù)使用者：中國(guó)移動(dòng)通信有限公司研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26