本公開實施例涉及計算機視覺領域，具體涉及視頻幀獲取方法、裝置、電子設備和存儲介質(zhì)。

背景技術：

1、目前，深度學習算法在視頻插幀和視頻預測領域已經(jīng)取得了豐碩的成果。特別地，基于光流的像素合成是目前視頻插幀和預測領域的主流算法。該算法主要分為兩步：第一步、估計輸入幀與目標幀之間的光流；第二步、用光流來引導中間幀的合成。

2、視頻插幀指的是輸入連續(xù)幀，合成出連續(xù)幀之間本不存在的任意中間幀。視頻預測指的是輸入連續(xù)兩幀，預測連續(xù)兩幀前后的任意幀。

3、相關技術中，基于神經(jīng)網(wǎng)絡的視頻插幀和預測方法中通常是通過不同模型實現(xiàn)視頻插幀的獲取，以及視頻幀的預測，沒有單個模型既能支持任意時刻的視頻插幀獲取，也能支持任意時刻的視頻幀的預測，也就是說沒有一個模型能夠?qū)崿F(xiàn)任意時刻的目標視頻幀獲取。

技術實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┮环N視頻幀獲取方法、裝置、電子設備和存儲介質(zhì)，能夠通過單個模型實現(xiàn)任意時刻的目標視頻幀獲取。

2、為解決上述技術問題，本申請的技術方案是這樣實現(xiàn)的：

3、在一個實施例中，提供了一種視頻幀獲取方法，所述方法包括：

4、獲取視頻幀預測信息，其中，所述視頻幀預測信息包括：輸入視頻幀和待獲取的目標視頻幀對應的時間信息；

5、基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀；

6、其中，所述預設視頻幀獲取模型在獲取所述目標視頻幀時，疊加特征通道信息；所述特征通道信息用于表征所述目標視頻幀與所述輸入視頻幀之間的時間關系；所述特征通道信息根據(jù)對所述輸入視頻幀設定的時間信息，以及待獲取的目標視頻幀對應的時間信息確定。

7、其中，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述特征通道信息根據(jù)對所述輸入視頻幀設定的時間信息，以及待獲取的目標視頻幀對應的時間信息確定，包括：

8、所述特征通道信息確定為：

9、1＜t，0＜t＜1，或t＜0；

10、其中，0為對所述第一視頻幀設定的時間信息，1為對所述第二視頻幀設定的時間信息，t為待獲取的目標視頻幀對應的時間信息。

11、其中，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀，包括：

12、所述預設視頻幀獲取模型基于所述第一視頻幀和所述第二視頻幀預測兩幀之間的雙向光流；

13、基于所述雙向光流采用線性加權方法獲得所述第一視頻幀到所述目標視頻幀的第一光流，以及所述第二視頻幀到所述目標視頻幀的第二光流；

14、基于所述第一光流、所述第二光流、所述第一視頻幀、所述第二視頻幀，以及所述第一視頻幀的cnn特征和所述第二視頻幀的cnn特征進行前向映射獲得映射后的第一映射視頻幀和第二映射視頻幀；

15、基于所述第一映射視頻幀、所述第二映射視頻幀、所述第一映射視頻幀的cnn特征、所述第二映射視頻幀的cnn特征和所述特征通道信息進行視頻合成，獲得所述目標視頻幀并輸出。

16、其中，所述雙向光流包括正向光流和逆向光流；所述正向光流為所述第一視頻幀到所述第二視頻幀的光流；所述逆向光流為所述第二視頻幀到所述第一視頻幀的光流；

17、所述基于所述雙向光流采用線性加權方法獲得所述第一視頻幀到所述目標視頻幀的第一光流，以及所述第二視頻幀到所述目標視頻幀的第二光流，包括：

18、確定所述第一光流為所述正向光流與t的乘積；

19、確定所述第二光流為所述逆向光流與1-t的乘積。

20、其中，所述預設視頻幀獲取模型的獲取包括：

21、建立初始視頻幀獲取模型；

22、獲取訓練樣本；所述訓練樣本包括多組三元組，每個所述三元組為三張連續(xù)的視頻幀；其中任一幀作為目標視頻幀，另外兩幀作為輸入的視頻幀；

23、使用所述訓練樣本訓練所述初始視頻幀獲取模型獲取預設視頻幀獲取模型。

24、其中，所述獲取視頻幀預測信息之后，所述基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀之前，所述方法進一步包括：

25、確定t是否小于-1，或大于2，如果是，使用迭代法確定目標視頻幀；否則，執(zhí)行所述基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀。

26、在另一個實施例中，提供了一種視頻幀獲取裝置，所述裝置包括：

27、存儲單元，用于存儲預設視頻幀獲取模型；

28、第一獲取單元，用于獲取視頻幀預測信息，其中，所述視頻幀預測信息包括：輸入視頻幀和待獲取的目標視頻幀對應的時間信息；

29、第二獲取單元，用于基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀；其中，所述預設視頻幀獲取模型在獲取所述目標視頻幀時，疊加特征通道信息；所述特征通道信息用于表征所述目標視頻幀與所述輸入視頻幀之間的時間關系；所述特征通道信息根據(jù)對所述輸入視頻幀設定的時間信息，以及待獲取的目標視頻幀對應的時間信息確定。

30、其中，

31、所述輸入視頻幀包括：第一視頻幀和第二視頻幀；特征通道信息為：

32、1＜t，0＜t＜1，或t＜0；

33、其中，0為對所述第一視頻幀設定的時間信息，1為對所述第二視頻幀設定的時間信息，t為待獲取的目標視頻幀對應的時間信息。

34、在另一個實施例中，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)視頻幀獲取方法。

35、在另一個實施例中，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)視頻幀獲取方法。

36、由上面的技術方案可見，上述實施例中通過在建立的預設視頻幀獲取模型中疊加特征通道信息，其中的特征通道信息用于表征目標視頻幀與輸入視頻幀之間的時間關系，來獲取輸入視頻幀對應的任意時刻的視頻插幀或預測幀。該方案能夠通過單個模型實現(xiàn)任意時刻的目標視頻幀獲取。

技術特征：

1.一種視頻幀獲取方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的方法，其特征在于，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述特征通道信息根據(jù)對所述輸入視頻幀設定的時間信息，以及待獲取的目標視頻幀對應的時間信息確定，包括：

3.根據(jù)權利要求1所述的方法，其特征在于，所述輸入視頻幀包括：第一視頻幀和第二視頻幀；所述基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀，包括：

4.根據(jù)權利要求3所述的方法，其特征在于，所述雙向光流包括正向光流和逆向光流；所述正向光流為所述第一視頻幀到所述第二視頻幀的光流；所述逆向光流為所述第二視頻幀到所述第一視頻幀的光流；

5.根據(jù)權利要求1-4任一項所述的方法，其特征在于，所述預設視頻幀獲取模型的獲取包括：

6.根據(jù)權利要求2-4任一項所述的方法，其特征在于，所述獲取視頻幀預測信息之后，所述基于預設視頻幀獲取模型獲取所述視頻幀預測信息對應的目標視頻幀之前，所述方法進一步包括：

7.一種視頻幀獲取裝置，其特征在于，所述裝置包括：

8.根據(jù)權利要求7所述的裝置，其特征在于，

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1-6任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)權利要求1-6任一項所述的方法。

技術總結
本申請?zhí)峁┝艘环N視頻幀獲取方法，該方法包括：獲取視頻幀預測信息，其中，視頻幀預測信息包括：輸入視頻幀和待獲取的目標視頻幀對應的時間信息；基于預設視頻幀獲取模型獲取視頻幀預測信息對應的目標視頻幀；其中，預設視頻幀獲取模型在獲取目標視頻幀時，疊加特征通道信息；特征通道信息用于表征目標視頻幀與輸入視頻幀之間的時間關系；特征通道信息根據(jù)對輸入視頻幀設定的時間信息，以及待獲取的目標視頻幀對應的時間信息確定。該方法能夠通過單個模型實現(xiàn)任意時刻的目標視頻幀獲取。

技術研發(fā)人員：金鑫,吳龍海,陳潔,趙一賢,咸哲熙
受保護的技術使用者：三星電子（中國）研發(fā)中心
技術研發(fā)日：
技術公布日：2024/12/19