本發(fā)明屬于視頻分類技術(shù)領(lǐng)域，更具體的說，是涉及一種視頻分類方法及系統(tǒng)。

背景技術(shù)：

近年來，VR(Virtual Reality，虛擬現(xiàn)實(shí))已成為受到人們關(guān)注最多的技術(shù)。VR是指可以創(chuàng)建和體驗(yàn)虛擬世界的計(jì)算機(jī)仿真系統(tǒng)，其利用各種手段模擬生成一種虛擬環(huán)境，使用戶如身臨其境到虛擬環(huán)境中并產(chǎn)生交互式的三維動(dòng)態(tài)視景和實(shí)體行為的系統(tǒng)仿真。作為其中的關(guān)鍵技術(shù)之一，全景視頻的播放一直是各大視頻內(nèi)容提供商投入精力最大的方向。

目前，視頻內(nèi)容提供商已經(jīng)開放了PGC(Professionally-generated Content，專業(yè)生產(chǎn)內(nèi)容)用戶的全景視頻上傳業(yè)務(wù)，并支持在播放過程中對(duì)于全景視頻進(jìn)行沉浸式的播放，部分廠商也已經(jīng)或?qū)⒁_放針對(duì)UGC(User-generated Content，普通用戶生產(chǎn)內(nèi)容)用戶的全景視頻上傳和播放業(yè)務(wù)。由于PGC用戶的專業(yè)性，在上傳全景視頻時(shí)，可以做到協(xié)助網(wǎng)站對(duì)全景視頻進(jìn)行標(biāo)注，視頻網(wǎng)站可以根據(jù)PGC用戶的標(biāo)注，選擇對(duì)這個(gè)視頻進(jìn)行沉浸式的播放，還是按照傳統(tǒng)方式進(jìn)行普通播放；但對(duì)于UGC用戶，其本身不具備專業(yè)的知識(shí)，部分用戶在上傳視頻時(shí)不會(huì)做到主動(dòng)標(biāo)注視頻類型，或者在標(biāo)注過程中存在失誤，甚至有部分用戶會(huì)故意將一些普通視頻標(biāo)注為全景視頻或者將全景視頻標(biāo)注為普通視頻，對(duì)播放服務(wù)進(jìn)行破壞式的攻擊。

由于UGC用戶的上傳量巨大，很難實(shí)現(xiàn)全時(shí)人工的監(jiān)控，如果出現(xiàn)視頻類型標(biāo)注不正確的情況，會(huì)影響用戶對(duì)全景視頻的播放體驗(yàn)。目前采用人工對(duì)每個(gè)UGC用戶上傳的視頻進(jìn)行分類，然后根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，但這項(xiàng)工作是一件枯燥的工作，工作過程比較繁瑣且易發(fā)生錯(cuò)分，影響用戶對(duì)全景視頻的播放體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供了一種視頻分類方法及系統(tǒng)，以解決現(xiàn)有技術(shù)中由于采用人工對(duì)每個(gè)UGC用戶上傳的視頻進(jìn)行分類，然后根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，工作過程比較繁瑣且容易發(fā)生錯(cuò)分，影響用戶對(duì)全景視頻的播放體驗(yàn)的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

一種視頻分類方法，包括：

按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，所述N為正整數(shù)，且為奇數(shù)；

根據(jù)每幀所述視頻幀的縱橫比確定對(duì)應(yīng)所述視頻幀的視頻幀屬性，所述視頻幀屬性用于指示所述視頻幀為全景視頻幀或普通視頻幀；

根據(jù)N幀所述視頻幀屬性確定所述視頻文件的視頻屬性，所述視頻屬性用于指示所述視頻文件為全景視頻或普通視頻。

其中，所述按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)，包括：

對(duì)所述視頻文件的視頻鏡頭進(jìn)行檢測(cè)，將所述視頻文件分割為鏡頭序列；

從所述鏡頭序列中提取視頻幀；

將所述視頻幀進(jìn)行空間轉(zhuǎn)換，可轉(zhuǎn)換為色彩亮度分離空間，根據(jù)色彩亮度計(jì)算公式計(jì)算所述視頻幀的平均亮度V_m；

以所述視頻幀的平均亮度V_m在預(yù)設(shè)范圍內(nèi)，且提取所述視頻幀的對(duì)應(yīng)的色彩亮度分離空間中的兩個(gè)通道的方差大于預(yù)設(shè)閾值的視頻幀；

若提取的所述視頻幀的個(gè)數(shù)小于N時(shí)，降低所述預(yù)設(shè)閾值選取所述視頻幀，直到選取出N幀視頻幀。

其中，所述根據(jù)每個(gè)所述視頻幀的縱橫比確定對(duì)應(yīng)所述視頻幀的視頻幀屬性，所述視頻幀屬性用于指示所述視頻幀為全景視頻幀或普通視頻幀，包括：

檢測(cè)所述N幀視頻幀中每個(gè)所述視頻幀的縱橫比M，所述縱橫比為所述視頻幀的幀寬度W和幀高度H的比值，即：M＝W/H；

當(dāng)|M-2|＞T_a時(shí)，則判定所述N幀視頻幀均為普通視頻幀，所述T_a為全景視頻幀的縱橫比預(yù)設(shè)浮動(dòng)值；

當(dāng)|M-2|＜T_a時(shí)，則將所述N幀視頻幀中的每一幀作為輸入，分別將所述N幀視頻幀的最左側(cè)和最右側(cè)按照預(yù)設(shè)方式進(jìn)行重新拼接，標(biāo)記拼縫位置并提取所述拼縫位置兩側(cè)的特征值，所述特征值包括：顏色特征值和/或紋理特征值；

根據(jù)所述拼縫位置的所述特征值對(duì)所述拼接圖像進(jìn)行分類，判定所述N幀視頻幀的視頻幀屬性，所述視頻幀屬性用于指示所述視頻幀為全景視頻幀或普通視頻幀。

其中，所述根據(jù)N幀所述視頻幀屬性確定所述視頻文件的視頻屬性，所述視頻屬性用于指示所述視頻文件為全景視頻或普通視頻，包括：

根據(jù)所述N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)所述N幀視頻幀中標(biāo)記為全景視頻幀的數(shù)量大于標(biāo)記為普通視頻幀的數(shù)量時(shí)，則判定所述視頻文件為全景視頻，否則，則判斷所述視頻文件為普通視頻；

或

根據(jù)所述N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)所述N幀視頻幀中標(biāo)記的至少n幀為普通視頻幀時(shí)，則判定所述視頻文件為普通視頻，否則，則判斷所述視頻文件為全景視頻。

一種視頻分類系統(tǒng)，包括：

提取模塊，用于按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)；

第一確定模塊，用于根據(jù)每幀所述視頻幀的縱橫比確定對(duì)應(yīng)所述視頻幀的視頻幀屬性，所述視頻幀屬性用于指示所述視頻幀為全景視頻幀或普通視頻幀；

第二確定模塊，用于根據(jù)N幀所述視頻幀屬性確定所述視頻文件的視頻屬性，所述視頻屬性用于指示所述視頻文件為全景視頻或普通視頻。

其中，所述提取模塊，包括：

視頻檢測(cè)單元，用于對(duì)所述視頻文件的視頻鏡頭進(jìn)行檢測(cè)，將所述視頻文件分割為鏡頭序列；

提取單元，用于從所述鏡頭序列中提取視頻幀；

空間轉(zhuǎn)換單元，用于將所述視頻幀進(jìn)行空間轉(zhuǎn)換，可轉(zhuǎn)換為色彩亮度分離空間，根據(jù)色彩亮度計(jì)算公式計(jì)算所述視頻幀的平均亮度V_m；

確定單元，用于以所述視頻幀的平均亮度V_m在預(yù)設(shè)范圍內(nèi)，且提取所述視頻幀的對(duì)應(yīng)的色彩亮度分離空間中的兩個(gè)通道的方差大于預(yù)設(shè)閾值的視頻幀；

補(bǔ)充提取單元，用于若提取的所述視頻幀的個(gè)數(shù)小于N時(shí)，降低所述預(yù)設(shè)閾值選取所述視頻幀，直到選取出N幀視頻幀。

其中，所述第一確定模塊，包括：

檢測(cè)單元，用于檢測(cè)所述N幀視頻幀中每個(gè)所述視頻幀的縱橫比M，所述縱橫比為所述視頻幀的幀寬度W和幀高度H的比值，即：M＝W/H；

第一判定單元，用于當(dāng)|M-2|＞T_a時(shí)，則判定所述N幀視頻幀均為普通視頻幀，所述T_a為全景視頻幀的縱橫比預(yù)設(shè)浮動(dòng)值；

第二判定單元，用于當(dāng)|M-2|＜T_a時(shí)，則將所述N幀視頻幀中的每一幀作為輸入，分別將所述N幀視頻幀的最左側(cè)和最右側(cè)按照預(yù)設(shè)方式進(jìn)行重新拼接，標(biāo)記拼縫位置并提取所述拼縫位置兩側(cè)的特征值，所述特征值包括：顏色特征值和/或紋理特征值；

第一確定子單元，用于根據(jù)所述拼縫位置的所述特征值對(duì)所述拼接圖像進(jìn)行分類，判定所述N幀視頻幀的視頻幀屬性，所述視頻幀屬性用于指示所述視頻幀為全景視頻幀或普通視頻幀。

其中，所述第二確定模塊，包括：

第二確定子單元，用于根據(jù)所述N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)所述N幀視頻幀中標(biāo)記為全景視頻幀的數(shù)量大于標(biāo)記為普通視頻幀的數(shù)量時(shí)，則判定所述視頻文件為全景視頻，否則，則判斷所述視頻文件為普通視頻；

或

第三確定子單元，用于根據(jù)所述N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)所述N幀視頻幀中標(biāo)記的至少n幀為普通視頻幀時(shí)，則判定所述視頻文件為普通視頻，否則，則判斷所述視頻文件為全景視頻。

經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開一種視頻分類方法及系統(tǒng)，按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)；根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀；根據(jù)N幀視頻幀屬性確定視頻文件的視頻屬性，視頻屬性用于指示視頻文件為全景視頻或普通視頻。本發(fā)明通過提取視頻文件中的N幀視頻幀，對(duì)于每幀視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻，通過本發(fā)明，實(shí)現(xiàn)視頻文件的自動(dòng)分類，可以根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，且該方法也可以實(shí)現(xiàn)檢查人工標(biāo)記的視頻類別標(biāo)簽是否正確，避免由于錯(cuò)分影像用戶對(duì)全景視頻的播放體驗(yàn)，進(jìn)而增強(qiáng)用戶觀看全景視頻的播放體驗(yàn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明實(shí)施例中全景視頻幀的示意圖；

圖2為本發(fā)明實(shí)施例中普通視頻幀的示意圖；

圖3為本發(fā)明實(shí)施例提供的一種視頻分類方法流程示意圖；

圖4為本發(fā)明實(shí)施例中圖3中的步驟S301的具體流程示意圖；

圖5為本發(fā)明實(shí)施例中圖3中步驟S303的具體流程示意圖；

圖6為本發(fā)明實(shí)施例提供的待處理視頻幀為全景圖像的重拼接圖像的示意圖；

圖7為本發(fā)明實(shí)施例提供的待處理圖像為普通圖像的重拼接圖像的示意圖；

圖8為本發(fā)明實(shí)施例中對(duì)于全景圖像的紋理特征值的提取示意圖；

圖9為發(fā)明本實(shí)施例中對(duì)于普通圖像的紋理特征值的提取示意圖；

圖10為本發(fā)明實(shí)施例提供的一種視頻分類系統(tǒng)結(jié)構(gòu)示意圖；

圖11為本發(fā)明實(shí)施例提供的圖10中提取模塊1001的具體結(jié)構(gòu)示意圖；

圖12為本發(fā)明實(shí)施例提供的圖10中提取模塊1002的具體結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

請(qǐng)參閱附圖1和圖2為全景視頻幀和普通視頻幀的示意圖。本發(fā)明提出一種視頻分類方法，通過提取視頻文件中的N幀視頻幀，對(duì)于每個(gè)視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻。

請(qǐng)參閱附圖3，圖3為本發(fā)明實(shí)施例提供的一種視頻分類方法流程示意圖。如圖3所示，本發(fā)明公開了一種視頻分類方法，該方法具體步驟包括如下：

S301、按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，其中，N為正整數(shù)，且為奇數(shù)。

本實(shí)施例中，需要說明的是，對(duì)于提取視頻文件中的視頻幀，可以采用進(jìn)行鏡頭檢測(cè)，抽取鏡頭檢測(cè)中的一幀或者若干幀作為有效的視頻幀進(jìn)行提取，也可以在視頻中不進(jìn)行鏡頭檢測(cè)，而按照預(yù)設(shè)的一定時(shí)間間隔來抽取預(yù)設(shè)數(shù)量的有效視頻幀。其中，N為正整數(shù)，且為奇數(shù)，由于后續(xù)需要對(duì)N幀視頻幀進(jìn)行標(biāo)注，所以設(shè)定為奇數(shù)，確保標(biāo)注結(jié)果。

S302、根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀。

需要說明的是，對(duì)于每幀視頻幀都有一個(gè)指標(biāo)進(jìn)行標(biāo)定，即：縱橫比，為視頻幀的幀寬度W和幀高度H的值，M＝W/H。對(duì)于全景視頻幀來說，就依據(jù)目前標(biāo)準(zhǔn)，全景視頻幀的縱橫比約束為W：H＝2:1，普通視頻幀的縱橫比為其他格式。

S303、根據(jù)N幀視頻幀屬性確定視頻文件的視頻屬性，視頻屬性用于指示視頻文件為全景視頻或普通視頻。

本實(shí)施例中，依據(jù)步驟S302中對(duì)N幀視頻幀的視頻屬性的分類，獲取N幀視頻幀的分類結(jié)果，并對(duì)分類結(jié)果進(jìn)行標(biāo)記。對(duì)于視頻文件的判定，可以通過得到的視頻幀的分類結(jié)果確定視頻文件的類型，例如：如果N幀視頻幀中被判定為全景視頻幀的數(shù)量較多，則判斷此視頻文件為全景視頻，否則為普通視頻；或者預(yù)先設(shè)定一個(gè)數(shù)值n，當(dāng)N幀視頻幀中有至少n幀為普通視頻幀時(shí)，則判斷視頻文件為普通視頻，否則為全景視頻。

需要說明的是，本實(shí)施例中提及的數(shù)值n為小于N的正整數(shù)，該數(shù)值n的具體數(shù)值可以根據(jù)用戶對(duì)全景視頻和普通視頻的實(shí)際情況而定。

即：具體該步驟可以為：

根據(jù)N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)N幀視頻幀中標(biāo)記為全景視頻幀的數(shù)量大于標(biāo)記為普通視頻幀的數(shù)量時(shí)，則判定視頻文件為全景視頻，否則，則判斷視頻文件為普通視頻；

或根據(jù)N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)N幀視頻幀中標(biāo)記的至少n幀為普通視頻幀時(shí)，則判定視頻文件為普通視頻，否則，則判斷視頻文件為全景視頻。

本發(fā)明公開一種視頻分類方法，該方法按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)；根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀；根據(jù)N幀視頻幀屬性確定視頻文件的視頻屬性，視頻屬性用于指示視頻文件為全景視頻或普通視頻。本發(fā)明通過提取視頻文件中的N幀視頻幀，對(duì)于每幀視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻，通過本發(fā)明，實(shí)現(xiàn)視頻文件的自動(dòng)分類，可以根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，且該方法也可以實(shí)現(xiàn)檢查人工標(biāo)記的視頻類別標(biāo)簽是否正確，避免由于錯(cuò)分影像用戶對(duì)全景視頻的播放體驗(yàn)，進(jìn)而增強(qiáng)用戶觀看全景視頻的播放體驗(yàn)。

具體的，請(qǐng)參閱附圖4，圖4為本發(fā)明實(shí)施例中圖3中的步驟S301的具體流程示意圖。如圖4所示，步驟S301、按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)，包括如下步驟：

S401、對(duì)視頻文件的視頻鏡頭進(jìn)行檢測(cè)，將視頻文件分割為鏡頭序列。

本實(shí)施例中，可以利用公開的視頻鏡頭檢測(cè)方法將視頻分割為鏡頭序列。

S402、從鏡頭序列中提取視頻幀。

本實(shí)施例中，可以利用公開的視頻幀提取方法，在每個(gè)鏡頭序列中提取視頻幀。

S403、將視頻幀進(jìn)行空間轉(zhuǎn)換，可轉(zhuǎn)換為色彩亮度分離空間，根據(jù)色彩亮度計(jì)算公式計(jì)算視頻幀的平均亮度V_m。

具體的，可將視頻幀進(jìn)行空間轉(zhuǎn)換，可轉(zhuǎn)換為HSV、LAB、YCbCr等色彩亮度分離空間，根據(jù)色彩亮度計(jì)算公式計(jì)算視頻幀的平均亮度V_m。

S404、以視頻幀的平均亮度V_m在預(yù)設(shè)范圍內(nèi)，且提取視頻幀的對(duì)應(yīng)的色彩亮度分離空間中的兩個(gè)通道的方差大于預(yù)設(shè)閾值的視頻幀。

S405、若提取的視頻幀的個(gè)數(shù)小于N時(shí)，降低預(yù)設(shè)閾值選取視頻關(guān)鍵幀，直到選取出N幀視頻幀。

具體的，請(qǐng)參閱附圖5，圖5為本發(fā)明實(shí)施例中圖3中步驟S303的具體流程示意圖。如圖5所示，步驟S303、根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀，包括：

S501、檢測(cè)N幀視頻幀中每幀視頻幀的縱橫比M，縱橫比為視頻幀的幀寬度W和幀高度H的比值，即：M＝W/H；當(dāng)|M-2|＞T_a時(shí)，則判定N幀視頻幀均為普通視頻幀，T_a為全景視頻幀的縱橫比預(yù)設(shè)浮動(dòng)值。

本實(shí)施例中，需要說明的是，對(duì)于Ta為全景視頻幀的縱橫比預(yù)設(shè)浮動(dòng)值，具體的，可以理解為通常全景視頻幀的縱橫比是2:1，但是對(duì)于全景視頻幀的縱橫比可能會(huì)有一個(gè)浮動(dòng)，Ta這個(gè)參數(shù)是預(yù)設(shè)閾值，標(biāo)示全景視頻幀的縱橫比的預(yù)設(shè)浮動(dòng)值，可以有效防止有些全景視頻幀的縱橫比有一些浮動(dòng)。

S502、當(dāng)|M-2|＜T_a時(shí)，則將N幀視頻幀中的每一幀作為輸入，分別將視N幀視頻幀的最左側(cè)和最右側(cè)按照預(yù)設(shè)方式進(jìn)行重新拼接，標(biāo)記拼縫位置并提取拼縫位置兩側(cè)的特征值，特征值包括：顏色特征值和/或紋理特征值。

S503、根據(jù)拼縫位置的特征值對(duì)拼接圖像進(jìn)行分類，判定N幀視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀。

具體的，關(guān)于當(dāng)|M-2|＜T_a時(shí)，則將N幀視頻幀中的每一幀作為輸入，對(duì)N幀視頻幀進(jìn)行視頻屬性的的確定。

具體步驟為：

步驟一：獲取待處理視頻幀進(jìn)行重新拼接的拼接視頻幀，并標(biāo)記拼接視頻幀的拼縫位置。

該步驟具體包括如下步驟：獲取待處理視頻幀，提取位于待處理視頻幀的視頻幀最右側(cè)和視頻幀最左側(cè)，且面積相等的視頻幀區(qū)域；將得到的視頻幀區(qū)域進(jìn)行拼接組成拼接視頻幀，并標(biāo)記拼接視頻幀的拼縫位置，待處理視頻幀的視頻幀最右側(cè)的視頻幀區(qū)域在拼接視頻幀的左側(cè)，待處理視頻幀的視頻幀最左側(cè)的視頻幀區(qū)域在拼接視頻幀的右側(cè)。

需要說明的是，本實(shí)施例中，如圖6所示，先將待處理視頻幀進(jìn)行重新拼接，指定視頻幀的感興趣區(qū)域ROI1和ROI2，ROI1的選擇方法為視頻幀最左邊的一定面積的區(qū)域，ROI2的選擇方法為視頻幀最右邊的、和ROI1面積相等的區(qū)域，即：區(qū)分于全景和非全景的重要標(biāo)準(zhǔn)，全景首尾視頻幀拼接起來是連續(xù)的，而非全景是不連續(xù)的。

將獲得的ROI1與ROI2進(jìn)行拼接組成重拼接視頻幀，拼接方法為ROI2區(qū)域在重拼接視頻幀的左側(cè)，而ROI1區(qū)域在視頻幀右側(cè)，記錄重拼接視頻幀處的拼縫位置為W_L，上述方法實(shí)現(xiàn)了全景視頻幀的首尾拼接。對(duì)于普通視頻幀而言，如圖7所示，經(jīng)過這種首尾拼接成的拼接視頻幀是不連續(xù)的。

步驟二：提取拼接視頻幀的特征值，特征值包括：顏色特征值和/或紋理特征值。

該步驟具體可以包括如下步驟：

當(dāng)特征值為顏色特征值時(shí)，該提取拼接視頻幀的特征值，具體方法步驟如下：

將拼接視頻幀的色彩模式RGB的色彩空間通過轉(zhuǎn)換公式進(jìn)行空間轉(zhuǎn)換，得到轉(zhuǎn)換后的空間值。具體的，需要說明的是，對(duì)于顏色特征的提取具體為：現(xiàn)將得到的重拼接視頻幀，將視頻幀由RGB顏色空間轉(zhuǎn)化為YUV空間，也可以轉(zhuǎn)換為YCbCr，HSV，Lab或者不轉(zhuǎn)換空間均可。

在此，本實(shí)施例以視頻幀的YUV三通道為例，轉(zhuǎn)化公式為：

Y＝0.299R+0.587G+0.114B

U＝-0.1687R-0.3313G+0.5B+128

V＝0.5R-0.4187G-0.0813B+128

如果選用別的顏色空間，替換YUV三個(gè)通道即可，不轉(zhuǎn)換直接使用RGB即可，對(duì)于轉(zhuǎn)換公式可以按照對(duì)應(yīng)的轉(zhuǎn)換公式進(jìn)行轉(zhuǎn)換即可。

根據(jù)RGB色彩空間的色彩空間值或轉(zhuǎn)換后的空間值，計(jì)算拼縫位置所有左側(cè)像素與所有右側(cè)像素的顏色平均差的累加和，將計(jì)算結(jié)果作為顏色特征值。

具體的，需要說明的是，計(jì)算拼縫位置W_L處所有左側(cè)像素P(W_L-1，y)＝{Y，U，V}與所有右側(cè)像素P(W_L，y)＝{Y，U，V}的顏色平均差diff的累加和sum_color。對(duì)于每個(gè)像素的顏色平均差diff定義為：

diff(y)＝D_Y+D_U+D_V

其中，D表示像素在每個(gè)通道(Y，U，V)的平均差值，定義為上下臨近像素平均和之差(以Y通道為例，U，V計(jì)算方式相同)：

而W_L處所有像素的顏色平均差diff的累加和為：

其中：H為圖像高度。

當(dāng)特征值為紋理特征值時(shí)，該提取拼接視頻幀的特征值，具體方法步驟如下：

采用邊緣強(qiáng)度視頻幀提取方法提取拼接視頻幀的視頻幀區(qū)域的邊緣強(qiáng)度視頻幀。

需要說明的是，本實(shí)施例中，對(duì)于重拼接視頻幀，先將重拼接視頻幀的色彩模式RGB的色彩空間通過轉(zhuǎn)換公式進(jìn)行空間轉(zhuǎn)換(如YUV，HSV，HSL，LAB)，得到亮度色彩分離視頻幀，對(duì)于亮度色彩分離空間，以YUV舉例，亮度Y的轉(zhuǎn)換公式為：

Y＝0.299R+0.587G+0.114B

對(duì)于紋理特征值來說只是對(duì)亮度進(jìn)行轉(zhuǎn)換即可，而UV在此部分不需要，可以不轉(zhuǎn)換。

利用水平方向邊緣梯度算子與亮度色彩分離視頻幀進(jìn)行卷積，得到水平邊緣視頻幀E_h。

利用垂直方向邊緣梯度算子與亮度色彩分離視頻幀進(jìn)行卷積，得到垂直邊緣視頻幀E_v。

在此實(shí)施例中，水平方向和垂直方向的邊緣梯度算子以Sobel算子為例，其他算子同樣適用，具體的Sobel算子：

根據(jù)水平邊緣視頻幀和垂直邊緣視頻幀計(jì)算邊緣強(qiáng)度視頻幀E_all。

計(jì)算邊緣強(qiáng)度視頻幀E_all，即對(duì)于邊緣視頻幀上任意一點(diǎn)E_all(x，y)，E_all(x，y)＝sqrt(E_v(x，y)²+E_h(x，y)²)。

采用邊緣強(qiáng)度視頻幀提取方法提取待處理視頻幀的圖像最右側(cè)的視頻幀區(qū)域的第一邊緣強(qiáng)度視頻幀。

利用上述步驟對(duì)于待處理視頻幀的視頻幀最右側(cè)的視頻幀區(qū)域ROI1提取邊緣強(qiáng)度視頻幀E_right。

采用邊緣強(qiáng)度視頻幀提取方法提取待處理視頻幀的視頻幀最左側(cè)的視頻幀區(qū)域的第二邊緣強(qiáng)度視頻幀。

利用上述對(duì)于待處理視頻幀的視頻幀最左側(cè)的視頻幀區(qū)域ROI2提取邊緣強(qiáng)度視頻幀E_left。

將第一邊緣強(qiáng)度視頻幀和第二邊緣強(qiáng)度視頻幀拼接為與拼接視頻幀的邊緣強(qiáng)度視頻幀相同大小尺寸的第三邊緣強(qiáng)度視頻幀。

將E_left和E_right接拼接為和E_all相同大小的另一張邊緣視頻幀，稱為E_S。

將拼接視頻幀的邊緣強(qiáng)度視頻幀和第三邊緣強(qiáng)度視頻幀逐像素進(jìn)行相減，得到差值邊緣強(qiáng)度視頻幀。

對(duì)于兩張邊緣視頻幀E_all和E_S逐像素進(jìn)行相減，獲得兩者之差E_result。

對(duì)差值邊緣強(qiáng)度視頻幀的拼縫位置處的所有像素的邊緣強(qiáng)度進(jìn)行相加，得到所有像素的邊緣強(qiáng)度累加和作為紋理特征值。

對(duì)于E_result的拼縫W_L處所有像素的邊緣強(qiáng)度進(jìn)行相加，得到sum_edge。

具體的，請(qǐng)參閱附圖8和附圖9，圖8為本發(fā)明實(shí)施例中對(duì)于全景視頻幀的紋理特征值的提取示意圖；圖9為發(fā)明本實(shí)施例中對(duì)于普通視頻幀的紋理特征值的提取示意圖。

步驟三：根據(jù)拼縫位置的特征值對(duì)拼接視頻幀進(jìn)行分類。

具體的，該步驟包括如下步驟：

預(yù)先設(shè)定預(yù)設(shè)顏色特征值的閾值和預(yù)設(shè)紋理特征值的閾值；

當(dāng)提取的特征值為顏色特征值時(shí)，判斷顏色特征值是否小于預(yù)設(shè)顏色特征值的閾值，若是，則拼接視頻幀為全景視頻幀，若否，則拼接視頻幀為普通視頻幀；

當(dāng)提取的特征值為紋理特征值時(shí)，判斷紋理特征值是否小于預(yù)設(shè)紋理特征值的閾值，若是，則拼接視頻幀為全景視頻幀，若否，則拼接視頻幀為普通視頻幀；

當(dāng)提取的特征值為顏色特征值和紋理特征值時(shí)，判斷顏色特征值是否小于預(yù)設(shè)顏色特征值的閾值，且紋理特征值是否小于預(yù)設(shè)紋理特征值的閾值，若是，則拼接視頻幀為全景視頻幀，若否，則拼接視頻幀為普通視頻幀。

對(duì)于視頻幀的分類方法可以采用上述最簡(jiǎn)易的利用閾值進(jìn)行分割的方法，也可以利用機(jī)器學(xué)歷的方法訓(xùn)練分類器，收集普通視頻幀與全景視頻幀，按照之前的方式獲得特征，在這些特征上面利用相應(yīng)機(jī)器學(xué)習(xí)算法，獲得相應(yīng)的分類模型，利用得到的分類模型對(duì)于待處理視頻幀進(jìn)行分類。

本發(fā)明公開一種視頻分類方法按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)；根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀；根據(jù)N幀視頻幀屬性確定視頻文件的視頻屬性，視頻屬性用于指示視頻文件為全景視頻或普通視頻。本發(fā)明通過提取視頻文件中的N幀視頻幀，對(duì)于每幀視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻，通過本發(fā)明，實(shí)現(xiàn)視頻文件的自動(dòng)分類，可以根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，且該方法也可以實(shí)現(xiàn)檢查人工標(biāo)記的視頻類別標(biāo)簽是否正確，避免由于錯(cuò)分影像用戶對(duì)全景視頻的播放體驗(yàn)，進(jìn)而增強(qiáng)用戶觀看全景視頻的播放體驗(yàn)。

本發(fā)明在上述公開方法的基礎(chǔ)上，還公開了一種系統(tǒng)。

請(qǐng)參閱附圖10，圖10為本發(fā)明實(shí)施例提供的一種視頻分類系統(tǒng)結(jié)構(gòu)示意圖。如圖10所示，本發(fā)明公開了一種視頻分類系統(tǒng)，具體的，該系統(tǒng)結(jié)構(gòu)包括如下：

提取模塊1001，用于按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)；

第一確定模塊1002，用于根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀；

第二確定模塊1003，用于根據(jù)N幀視頻幀屬性確定視頻文件的視頻屬性，視頻屬性用于指示視頻文件為全景視頻或普通視頻。

具體的，所述第二確定模塊1003，包括：

第二確定子單元，用于根據(jù)所述N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)所述N幀視頻幀中標(biāo)記為全景視頻幀的數(shù)量大于標(biāo)記為普通視頻幀的數(shù)量時(shí)，則判定所述視頻文件為全景視頻，否則，則判斷所述視頻文件為普通視頻；

或

第三確定子單元，用于根據(jù)所述N幀視頻幀的視頻幀屬性的結(jié)果進(jìn)行標(biāo)記，當(dāng)所述N幀視頻幀中標(biāo)記的至少n幀為普通視頻幀時(shí)，則判定所述視頻文件為普通視頻，否則，則判斷所述視頻文件為全景視頻。

本發(fā)明公開一種視頻分類系統(tǒng)，該系統(tǒng)通過提取視頻文件中的N幀視頻幀，對(duì)于每幀視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻，通過本發(fā)明實(shí)現(xiàn)視頻文件的自動(dòng)分類，可以根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，且也可以實(shí)現(xiàn)檢查人工標(biāo)記的視頻類別標(biāo)簽是否正確，避免由于錯(cuò)分影像用戶對(duì)全景視頻的播放體驗(yàn)，進(jìn)而增強(qiáng)用戶觀看全景視頻的播放體驗(yàn)。

由于本實(shí)施例中的各模塊能夠執(zhí)行圖3所示的方法，本實(shí)施例未詳細(xì)描述的部分，可參考對(duì)圖3的相關(guān)說明。

具體的，請(qǐng)參閱附圖11，圖11為本發(fā)明實(shí)施例提供的圖10中提取模塊1001的具體結(jié)構(gòu)示意圖。如圖11所示，所述提取模塊1001，具體結(jié)構(gòu)包括如下：

視頻檢測(cè)單元1101，用于對(duì)視頻文件的視頻鏡頭進(jìn)行檢測(cè)，將視頻文件分割為鏡頭序列；

提取單元1102，用于從鏡頭序列中提取視頻幀；

空間轉(zhuǎn)換單元1103，用于將視頻幀進(jìn)行空間轉(zhuǎn)換，可轉(zhuǎn)換為色彩亮度分離空間，根據(jù)色彩亮度計(jì)算公式計(jì)算視頻幀的平均亮度V_m；

確定單元1104，用于以視頻幀的平均亮度V_m在預(yù)設(shè)范圍內(nèi)，且提取視頻幀的對(duì)應(yīng)的色彩亮度分離空間中的兩個(gè)通道的方差大于預(yù)設(shè)閾值的視頻幀；

補(bǔ)充提取單元1105，用于若提取的視頻幀的個(gè)數(shù)小于N時(shí)，降低預(yù)設(shè)閾值選取視頻幀，直到選取出N幀視頻幀。

由于本實(shí)施例中的各模塊能夠執(zhí)行圖4所示的方法，本實(shí)施例未詳細(xì)描述的部分，可參考對(duì)圖4的相關(guān)說明。

具體的，請(qǐng)參閱附圖12，圖12為本發(fā)明實(shí)施例提供的圖10中提取模塊1002的具體結(jié)構(gòu)示意圖。如圖12所示，所述第一確定模塊1002，包括：

檢測(cè)單元1201，用于檢測(cè)N幀視頻幀中每個(gè)視頻幀的縱橫比M，縱橫比為視頻幀的幀寬度W和幀高度H的比值，即：M＝W/H；

第一判定單元1202，用于當(dāng)|M-2|＞T_a時(shí)，則判定N幀視頻幀均為普通視頻幀，T_a為全景視頻幀的縱橫比預(yù)設(shè)浮動(dòng)值；

第二判定單元1203，用于當(dāng)|M-2|＜T_a時(shí)，則將N幀視頻幀中的每一幀作為輸入，分別將N幀視頻幀的最左側(cè)和最右側(cè)按照預(yù)設(shè)方式進(jìn)行重新拼接，標(biāo)記拼縫位置并提取拼縫位置兩側(cè)的特征值，特征值包括：顏色特征值和/或紋理特征值；

第一確定子單元1204，用于根據(jù)拼縫位置的特征值對(duì)拼接圖像進(jìn)行分類，判定N幀視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀。

由于本實(shí)施例中的各模塊能夠執(zhí)行圖5所示的方法，本實(shí)施例未詳細(xì)描述的部分，可參考對(duì)圖5的相關(guān)說明。

本發(fā)明公開一種視頻分類系統(tǒng)，通過提取視頻文件中的N幀視頻幀，對(duì)于每幀視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻，通過本發(fā)明，實(shí)現(xiàn)視頻文件的自動(dòng)分類，可以根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，且也可以實(shí)現(xiàn)檢查人工標(biāo)記的視頻類別標(biāo)簽是否正確，避免由于錯(cuò)分影像用戶對(duì)全景視頻的播放體驗(yàn)，進(jìn)而增強(qiáng)用戶觀看全景視頻的播放體驗(yàn)。

綜上所述，本發(fā)明公開一種視頻分類方法及系統(tǒng)，按照預(yù)設(shè)方式提取視頻文件中的N幀視頻幀，N為正整數(shù)，且為奇數(shù)；根據(jù)每幀視頻幀的縱橫比確定對(duì)應(yīng)視頻幀的視頻幀屬性，視頻幀屬性用于指示視頻幀為全景視頻幀或普通視頻幀；根據(jù)N幀視頻幀屬性確定視頻文件的視頻屬性，視頻屬性用于指示視頻文件為全景視頻或普通視頻。本發(fā)明通過提取視頻文件中的N幀視頻幀，對(duì)于每幀視頻幀判別其視頻幀屬性，根據(jù)N幀視頻幀的視頻幀屬性判斷其具體為全景視頻或者普通視頻，通過本發(fā)明，實(shí)現(xiàn)視頻文件的自動(dòng)分類，可以根據(jù)分類結(jié)果進(jìn)行視頻類型的標(biāo)注，且該方法也可以實(shí)現(xiàn)檢查人工標(biāo)記的視頻類別標(biāo)簽是否正確，避免由于錯(cuò)分影像用戶對(duì)全景視頻的播放體驗(yàn)，進(jìn)而增強(qiáng)用戶觀看全景視頻的播放體驗(yàn)。

需要說明的是，本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。

以上結(jié)合附圖對(duì)本發(fā)明所提出的方法進(jìn)行了示例性描述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的核心思想。對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處。綜上所述，本說明書內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。

對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。