本發(fā)明涉及視頻處理，具體涉及一種內(nèi)容感知和追蹤的方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、在賽事直播等流媒體應(yīng)用場景下，內(nèi)容采集端通過視頻采集設(shè)備制作視頻內(nèi)容分發(fā)到網(wǎng)絡(luò)中，而內(nèi)容接收端對其感興趣的部分往往集中在某一特定區(qū)域，例如人臉、人體、運動物體等，且這一區(qū)域會不斷的運動變化。其他區(qū)域的內(nèi)容不僅影響觀眾對感興趣區(qū)域的攝取，而且在視頻壓縮、網(wǎng)絡(luò)傳輸過程中浪費大量的算力和寬帶。因此，對于如何智能感知和追蹤視頻內(nèi)容，并有效分發(fā)到流媒體系統(tǒng)中至關(guān)重要。

2、目前，常用的視頻內(nèi)容感知和追蹤的方法有：1.?在內(nèi)容采集現(xiàn)場，針對觀眾感興趣內(nèi)容可能會出現(xiàn)的區(qū)域部署多個視頻采集設(shè)備，分別采集并接入到導(dǎo)播臺，由專業(yè)人員觀看各個鏡頭的內(nèi)容，并手動選擇切換某個鏡頭的內(nèi)容接入到流媒體分發(fā)系統(tǒng)。2.?在內(nèi)容采集現(xiàn)場部署可移動機位的視頻采集設(shè)備，由專業(yè)人員操作設(shè)備移動追蹤感興趣內(nèi)容。

3、以上傳統(tǒng)方法能解決內(nèi)容感知和追蹤，但面臨成本高昂，操作復(fù)雜，低效的問題。此外，鏡頭突兀的切換會給觀眾帶來不好的觀看體驗。如何高效、簡單、低成本感知和追蹤視頻內(nèi)容是重點所在。

技術(shù)實現(xiàn)思路

1、由于現(xiàn)有方法存在上述問題，本發(fā)明實施例提出一種內(nèi)容感知和追蹤的方法、裝置、電子設(shè)備和存儲介質(zhì)。

2、具體的，本發(fā)明實施例提供了以下技術(shù)方案：

3、第一方面，本發(fā)明實施例提供了一種內(nèi)容感知和追蹤的方法，包括：

4、步驟1，將原始視頻進行切片，得到視頻切片。

5、步驟2，對所述視頻切片進行幀率下采樣，得到采樣幀和非采樣幀；其中，采樣率的取值范圍為(0,?100%]。

6、步驟3，將所述采樣幀輸入特征識別神經(jīng)網(wǎng)絡(luò)模型，識別所述采樣幀中的感知元素，并輸出所述感知元素的特征信息，標記包含所述感知元素的視頻幀為第一視頻幀。

7、所述特征信息包括以下一個或多個信息：感知元素的類型、感知元素的位置信息、感知元素的邊緣信息。

8、步驟4，確定視頻切片中所有視頻幀待裁剪區(qū)域的中心位置，然后根據(jù)所述中心位置以及給定的目標裁剪尺寸對視頻幀進行裁剪。

9、第二方面，本發(fā)明實施例提供了一種內(nèi)容感知和追蹤的裝置，包括：

10、切片模塊，用于將原始視頻進行切片，得到視頻切片。

11、下采樣模塊，用于對所述視頻切片進行幀率下采樣，得到采樣幀和非采樣幀；其中，采樣率的取值范圍為(0,?100%]。

12、特征識別模塊，用于將所述采樣幀輸入特征識別神經(jīng)網(wǎng)絡(luò)模型，識別所述采樣幀中的感知元素，并輸出所述感知元素的特征信息，標記包含所述感知元素的視頻幀為第一視頻幀。

13、所述特征信息包括以下一個或多個信息：感知元素的類型、感知元素的位置信息、感知元素的邊緣信息。

14、裁剪模塊，用于確定視頻切片中所有視頻幀待裁剪區(qū)域的中心位置，然后根據(jù)所述中心位置以及給定的目標裁剪尺寸對視頻幀進行裁剪。

15、第三方面，本發(fā)明實施例提供了以一種電子設(shè)備，包括：至少一個處理器，以及與所述至少一個處理器通信鏈接的存儲器。

16、其中，所述存儲器有可被所述至少一個處理器執(zhí)行的指令，該指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如上述任一方面的任一項所述的方法。

17、第四方面，本發(fā)明實施例提供了一種存儲有計算機指令的非暫態(tài)計算機可讀存儲介質(zhì)，該計算機指令用于使用計算機執(zhí)行如上述任一方面的任一項所述的方法。

18、由上述技術(shù)方案可知，本發(fā)明實施例提供的技術(shù)方案存在如下有益效果：本發(fā)明提供的技術(shù)方案能精確、自動地感知用戶感興趣的內(nèi)容，并對用戶感興趣的內(nèi)容進行追蹤和裁剪，解決了傳統(tǒng)方法投入大，人力成本高，低效，操作復(fù)雜等等一系列的缺點，同時避免了鏡頭突兀轉(zhuǎn)換引起的觀看不適，大大提升用戶的觀看體驗。

技術(shù)特征：

1.一種內(nèi)容感知和追蹤的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的內(nèi)容感知和追蹤的方法，其特征在于，所述確定視頻切片中所述第一視頻幀待裁剪區(qū)域的中心位置，包括：

3.根據(jù)權(quán)利要求1所述的內(nèi)容感知和追蹤的方法，其特征在于，所述確定視頻切片中非第一視頻幀待裁剪區(qū)域的中心位置，包括：

4.根據(jù)權(quán)利要求1所述的內(nèi)容感知和追蹤的方法，其特征在于，相鄰的所述視頻切片存在n幀重復(fù)的視頻幀，即前一視頻切片的后n幀視頻幀與當前視頻切片中的前n幀視頻幀相同。

5.根據(jù)權(quán)利要求4所述的內(nèi)容感知和追蹤的方法，其特征在于，所述確定視頻切片中非第一視頻幀待裁剪區(qū)域的中心位置，包括：

6.根據(jù)權(quán)利要求1所述的內(nèi)容感知和追蹤的方法，其特征在于，所述根據(jù)所述中心位置以及給定的目標裁剪尺寸對視頻幀進行裁剪，包括：

7.根據(jù)權(quán)利要求6所述的內(nèi)容感知和追蹤的方法，其特征在于，所述確定所述第一視頻幀的待裁剪區(qū)域，包括：

8.根據(jù)權(quán)利要求6所述的內(nèi)容感知和追蹤的方法，其特征在于，所述根據(jù)所述第一視頻幀的待裁剪區(qū)域確定所述非第一視頻幀的待裁剪區(qū)域，包括：

9.一種內(nèi)容感知和追蹤的裝置，其特征在于，包括：

10.根據(jù)權(quán)利要求9所述的內(nèi)容感知和追蹤的裝置，其特征在于，所述確定視頻切片中所述第一視頻幀待裁剪區(qū)域的中心位置，包括：

11.根據(jù)權(quán)利要求9所述的內(nèi)容感知和追蹤的裝置，其特征在于，所述確定視頻切片中非第一視頻幀待裁剪區(qū)域的中心位置，包括：

12.根據(jù)權(quán)利要求9所述的內(nèi)容感知和追蹤的裝置，其特征在于，相鄰的所述視頻切片存在n幀重復(fù)的視頻幀，即前一視頻切片的后n幀視頻幀與當前視頻切片中的前n幀視頻幀相同。

13.根據(jù)權(quán)利要求12所述的內(nèi)容感知和追蹤的裝置，其特征在于，所述確定視頻切片中非第一視頻幀待裁剪區(qū)域的中心位置，包括：

14.根據(jù)權(quán)利要求9所述的內(nèi)容感知和追蹤的裝置，其特征在于，所述裁剪裝置，包括：

15.根據(jù)權(quán)利要求14所述的內(nèi)容感知和追蹤的裝置，其特征在于，所述確定所述第一視頻幀的待裁剪區(qū)域，包括：

16.根據(jù)權(quán)利要求14所述的內(nèi)容感知和追蹤的裝置，其特征在于，所述根據(jù)所述第一視頻幀的待裁剪區(qū)域確定所述非第一視頻幀的待裁剪區(qū)域，包括：

17.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1至8任一所述的內(nèi)容感知和追蹤的方法。

18.一種非暫態(tài)計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至8任一所述的內(nèi)容感知和追蹤的方法。

技術(shù)總結(jié)
本發(fā)明公開了一種內(nèi)容感知和追蹤的方法、裝置、電子設(shè)備和存儲介質(zhì)，所述方法包括：通過特征識別神經(jīng)網(wǎng)絡(luò)模型識別視頻幀中的感知元素，輸出特征信息。然后根據(jù)感知元素的特征信息確定視頻切片中所有視頻幀待裁剪區(qū)域的中心位置，再根據(jù)所述中心位置以及給定的目標裁剪尺寸對視頻幀進行裁剪。本發(fā)明提供的技術(shù)方案能精確、自動地感知用戶感興趣的內(nèi)容，并對用戶感興趣的內(nèi)容進行追蹤和裁剪，解決了傳統(tǒng)方法投入大，人力成本高，低效，操作復(fù)雜等等一系列的缺點，避免了鏡頭突兀轉(zhuǎn)換引起的觀看不適，大大提升用戶的觀看體驗。

技術(shù)研發(fā)人員：金子才,章云飛,金磊
受保護的技術(shù)使用者：杭州微幀信息科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19