本發(fā)明涉及視覺特征數(shù)據(jù)庫更新技術(shù)領(lǐng)域,特別是涉及一種視視頻鏡頭類別的檢測方法及裝置和數(shù)據(jù)庫更新方法及裝置。
背景技術(shù):
目前,對視頻鏡頭類別的檢測,主要應(yīng)用于去除視頻中的廣告鏡頭。具體來說,視頻網(wǎng)站需要對接收的電視直播節(jié)目放到網(wǎng)站上供用戶觀看。但是,電視直播視頻中存在大量的廣告鏡頭,導(dǎo)致用戶體驗(yàn)不佳,因此需要將電視直播視頻中的廣告鏡頭檢測出來,以進(jìn)一步去除廣告鏡頭。
現(xiàn)有技術(shù)中對視頻鏡頭類型類別的檢測,通常采用被動(dòng)檢測的方法,其過程主要包括如下步驟:首先,需要預(yù)先建立一個(gè)視覺特征數(shù)據(jù)庫,其中包括了片頭、片尾、廣告和普通節(jié)目的視覺特征及對應(yīng)的類別標(biāo)簽;然后進(jìn)行視頻鏡頭類別檢測時(shí),將待檢測視頻流分割為一系列連續(xù)的鏡頭,提取每個(gè)鏡頭中的代表幀的視覺特征,用提取的視覺特征與視覺特征數(shù)據(jù)庫進(jìn)行匹配,根據(jù)匹配結(jié)果,確定鏡頭類別是片頭、片尾或廣告,如果都不匹配則鏡頭類別為正常節(jié)目,經(jīng)過上述過程,視頻流序列被變換為以鏡頭為單位的類別標(biāo)簽序列。這樣,就可以根據(jù)類型類別結(jié)果序列,找到視頻中的廣告鏡頭,從而去除廣告鏡頭。
實(shí)際應(yīng)用中,在對輸入的視頻流去除廣告鏡頭處理后,仍然有一部分廣告沒有被檢測出來并去除??梢?,采用現(xiàn)有技術(shù)中視頻鏡頭類別的檢測方法完全依賴視覺特征數(shù)據(jù)庫中的數(shù)據(jù)是否全面準(zhǔn)確,然而目前視覺特征數(shù)據(jù)庫中的數(shù)據(jù)不能實(shí)時(shí)更新,因此導(dǎo)致獲得的類別結(jié)果序列不夠準(zhǔn)確。
另外,現(xiàn)有技術(shù)中一般采用主動(dòng)檢測法和被動(dòng)檢測法檢測視頻中存在的廣告,并根據(jù)檢測出的廣告的視覺特征更新廣告鏡頭視覺特征數(shù)據(jù)庫。主動(dòng)檢測法是利用廣告鏡頭區(qū)別于普通節(jié)目鏡頭的一些特征,如鏡頭切換率或者視頻幀顏色切換率,識(shí)別廣告,進(jìn)而依據(jù)識(shí)別出來的廣告更新廣告特征視覺特征數(shù)據(jù)庫,再依據(jù)廣告特征視覺特征數(shù)據(jù)庫對視頻進(jìn)行廣告檢測。被動(dòng)檢測法是利用人工識(shí)別出來的廣告的視覺特征更新廣告特征視覺特征數(shù)據(jù)庫,進(jìn)而依據(jù)廣告特征視覺特征數(shù)據(jù)庫對視頻進(jìn)行廣告檢測。
在視頻網(wǎng)站將輸入的視頻流中的廣告鏡頭檢測出來后,人們發(fā)現(xiàn)仍然有一部分廣告沒有檢測出來,可見,現(xiàn)有技術(shù)的廣告鏡頭視覺特征數(shù)據(jù)庫存儲(chǔ)的廣告鏡頭的視覺特征數(shù)據(jù)不全,應(yīng)用這樣的數(shù)據(jù)庫進(jìn)行廣告檢測的結(jié)果不夠準(zhǔn)確。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明實(shí)施例的一個(gè)目的在于提供一種視頻鏡頭類別的檢測方法及裝置,以提高視頻鏡頭類別檢測結(jié)果的準(zhǔn)確性;另一個(gè)目的在于提供一種視覺特征數(shù)據(jù)庫更新方法及裝置,使視覺特征數(shù)據(jù)庫中的數(shù)據(jù)更全。具體技術(shù)方案如下:
為達(dá)到上述目的,第一方面,本發(fā)明實(shí)施例提供了視頻鏡頭類別的檢測方法,包括:
利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽;
遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列;
將糾正后的類別標(biāo)簽序列確定為檢測結(jié)果。
可選的,所述遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列的步驟,包括:
按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;
針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正的步驟,包括:
針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正的步驟,包括:
針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;
針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列,包括:
針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列,包括:
針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
第二方面,本發(fā)明實(shí)施例提供了一種視覺特征數(shù)據(jù)庫更新方法,包括:
利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽;
遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列;
根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫。
可選的,所述遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列的步驟,包括:
按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;
針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正的步驟,包括:
針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正的步驟,包括:
針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;
針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列,包括:
針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選的,所述針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列,包括:
針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
可選的,所述根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫,包括:
記錄所述糾正后的類別標(biāo)簽序列中被糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;
將被記錄的鏡頭包含的每一視頻幀,與所述視覺特征數(shù)據(jù)庫中的視覺特征進(jìn)行匹配;
若所述視覺特征數(shù)據(jù)庫中不存在與所述被記錄的鏡頭包含的任一視頻幀的的視覺特征相同的視覺特征,將所述被記錄的鏡頭的視覺特征和對應(yīng)的廣告標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
可選的,所述根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫,包括:
在所述糾正后的類別標(biāo)簽序列中被糾正的為連續(xù)的廣告鏡頭標(biāo)簽,且所述連續(xù)的廣告鏡頭標(biāo)簽對應(yīng)鏡頭的總時(shí)長為第五預(yù)設(shè)閾值的整數(shù)倍時(shí),記錄所述所述連續(xù)廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;
將被記錄的各個(gè)連續(xù)廣告鏡頭的視覺特征和對應(yīng)的廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
可選的,所述根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫,包括:
則抽取所述廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的至少一個(gè)代表幀;
針對每一代表幀,利用哈希算法,計(jì)算該代表幀的視覺特征;
將得到的視覺特征和廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
第三方面,本發(fā)明實(shí)施例提供了一種視頻鏡頭類別的檢測裝置,包括:檢測模塊、糾正模塊和確定模塊,其中,
所述檢測模塊,用于利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽;
所述糾正模塊,用于遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列;
所述確定模塊,用于將糾正后的類別標(biāo)簽序列確定為檢測結(jié)果。
可選的,所述糾正模塊,具體用于:
按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;
針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選的,所述糾正模塊,具體用于:
針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選的,所述糾正模塊,具體用于:
針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;
針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選的,所述糾正模塊,具體用于:
針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選的,所述糾正模塊,具體用于:
針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
第四方面,本發(fā)明實(shí)施例提供了一種視覺特征數(shù)據(jù)庫更新裝置,包括:檢測模塊、糾正模塊和添加模塊,其中,
所述檢測模塊,用于利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽;
所述糾正模塊,用于遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列;
所述添加模塊,用于根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫。
可選的,所述糾正模塊,具體用于:
按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;
針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選的,所述糾正模塊,具體用于:
針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選的,所述糾正模塊,具體用于:
針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;
針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選的,所述糾正模塊,具體用于:
針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選的,所述糾正模塊,具體用于:
針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
可選的,所述添加模塊,具體用于:
記錄所述糾正后的類別標(biāo)簽序列中被糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;
將被記錄的鏡頭包含的每一視頻幀,與所述視覺特征數(shù)據(jù)庫中的視覺特征進(jìn)行匹配;
若所述視覺特征數(shù)據(jù)庫中不存在與所述被記錄的鏡頭包含的任一視頻幀的的視覺特征相同的視覺特征,將所述被記錄的鏡頭的視覺特征和對應(yīng)的廣告標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
可選的,所述添加模塊,具體用于:
在所述糾正后的類別標(biāo)簽序列中被糾正的為連續(xù)的廣告鏡頭標(biāo)簽,且所述連續(xù)的廣告鏡頭標(biāo)簽對應(yīng)鏡頭的總時(shí)長為第五預(yù)設(shè)閾值的整數(shù)倍時(shí),記錄所述所述連續(xù)廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;
將被記錄的各個(gè)連續(xù)廣告鏡頭的視覺特征和對應(yīng)的廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
可選的,所述添加模塊,具體用于:
則抽取所述廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的至少一個(gè)代表幀;
針對每一代表幀,利用哈希算法,計(jì)算該代表幀的視覺特征;
將得到的視覺特征和廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
本發(fā)明實(shí)施例提供的一種視頻鏡頭類別的檢測方法及裝置,所述方法包括:利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽;遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列;將糾正后的類別標(biāo)簽序列確定為檢測結(jié)果。
應(yīng)用本發(fā)明實(shí)施例,在利用已建立的視覺特征數(shù)據(jù)對輸入的視頻流進(jìn)行廣告鏡頭檢測的基礎(chǔ)上,再利用不同鏡頭標(biāo)簽之間特征的區(qū)別,將被誤檢的鏡頭標(biāo)簽進(jìn)行糾正,相對于現(xiàn)有技術(shù)可以更加準(zhǔn)確地檢測出不同類別的鏡頭。
本發(fā)明實(shí)施例還提供了一種視覺特征數(shù)據(jù)庫更新方法及裝置,所述方法包括:利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽;遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列;根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫。
應(yīng)用本發(fā)明實(shí)施例,將被誤檢的鏡頭糾正為廣告鏡頭,再將被糾正為廣告的鏡頭標(biāo)簽對應(yīng)的視覺特征加入廣告鏡頭的視覺特征數(shù)據(jù)庫,相對于現(xiàn)有技術(shù)使廣告鏡頭的視覺特征數(shù)據(jù)庫中的數(shù)據(jù)更全。當(dāng)然,實(shí)施本發(fā)明的任一產(chǎn)品或方法必不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實(shí)施例提供的一種視頻鏡頭類別的檢測方法的流程示意圖;
圖2為本發(fā)明實(shí)施例提供的一種視覺特征數(shù)據(jù)庫更新方法的流程示意圖;
圖3為本發(fā)明實(shí)施例提供的一種視頻鏡頭類別的檢測裝置的結(jié)構(gòu)示意圖;
圖4為本發(fā)明實(shí)施例提供的一種視覺特征數(shù)據(jù)庫更新裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
為解決現(xiàn)有技術(shù)問題,本發(fā)明實(shí)施例提供了一種視頻鏡頭類別的檢測方法及裝置和一種視覺特征數(shù)據(jù)庫更新方法及裝置。
下面首先對一種視頻鏡頭類別的檢測方法進(jìn)行介紹。
圖1為本發(fā)明實(shí)施例提供的一種視頻鏡頭類別的檢測方法的流程示意圖,如圖1所示,該方法包括:
s101:利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽。
示例性的,利用鏡頭檢測算法,將輸入的視頻流分割成一系列的鏡頭,得到鏡頭序列。再利用存儲(chǔ)有視覺特征和與該視覺特征對應(yīng)的類別標(biāo)簽的已建立的視覺特征數(shù)據(jù)庫,對得到的鏡頭序列進(jìn)行檢測,得到鏡頭的類別標(biāo)簽序列。如果視覺特征數(shù)據(jù)庫中片頭鏡頭的類別標(biāo)簽為“0”、片尾鏡頭的類別標(biāo)簽為“1”、廣告鏡頭的類別標(biāo)簽為“2”,可以將不屬于上述視覺特征數(shù)據(jù)庫中類別的鏡頭確定為普通節(jié)目鏡頭,并將普通節(jié)目鏡頭的類別標(biāo)簽確定為“3”。這樣,可以得到用數(shù)字表示的類別標(biāo)簽序列。
假設(shè)得到的類別標(biāo)簽序列為:1,1,1,2,1,1,1,1,1,1,2,2,3,2,2,2,2,2,2,2,3,1,3,3,3,3,3,3,3,3,3,2,2,3,3,3,3,3,3,3,2,2,2,2,1,3,1,1,2,2,1,1,1,1,3,3,2,2,2,2。
可以理解的是,視頻中所謂的鏡頭為視頻流中相似的視頻幀的聚類。需要說明的是,獲取節(jié)目直播視頻中包含的鏡頭為現(xiàn)有技術(shù),常用的有兩種,一種是比較復(fù)雜的基于小波變換的算法,另一種是較為簡單的基于顏色直方圖的算法。且利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列為現(xiàn)有技術(shù),這里不再贅述。
通常情況下,類別標(biāo)簽也被稱為鏡頭標(biāo)簽。
s102:遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列。
可選地,在一種具體實(shí)現(xiàn)方式中,可以按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選地,在一種具體實(shí)現(xiàn)方式中,可以針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選地,在一種具體實(shí)現(xiàn)方式中,可以針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選地,在一種具體實(shí)現(xiàn)方式中,可以針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選地,在一種具體實(shí)現(xiàn)方式中,可以針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
在實(shí)際情況中,s102步驟可以具體的分為以下四種情形,下面分別舉例進(jìn)行說明。
例如:遍歷s101步驟中得到的類別標(biāo)簽序列,如果以10個(gè)鏡頭標(biāo)簽的長度為預(yù)設(shè)長度,將s101步驟中得到的類別標(biāo)簽序列切分成多個(gè)子序列,得到的子序列結(jié)果如下:
1,1,1,2,1,1,1,1,1,1,
2,2,3,2,2,2,2,2,2,2,
3,1,3,3,3,3,3,3,3,3,
3,2,2,3,3,3,3,3,3,3,
2,2,2,2,1,3,1,1,2,2,
1,1,1,1,3,3,2,2,2,2。
第一種情形,針對子序列兩端的鏡頭標(biāo)簽為“0”、“1”或者“2”,且子序列中僅含有一個(gè)與兩端的鏡頭標(biāo)簽不同的鏡頭標(biāo)簽,如“0”、“1”、“2”或者“3”的子序列,將與兩端的鏡頭標(biāo)簽不同的鏡頭標(biāo)簽“0”、“1”、“2”或者“3”糾正為與子序列兩端的鏡頭標(biāo)簽一致的鏡頭標(biāo)簽。以上述子序列之一“1,1,1,2,1,1,1,1,1,1”為例,遍歷該序列,將鏡頭標(biāo)簽“2”糾正為“1”,得到類別標(biāo)簽序列“1,1,1,1,1,1,1,1,1,1”;或者以上述子序列“2,2,3,2,2,2,2,2,2,2”為例,遍歷該序列,將類別標(biāo)簽“3”糾正為“2”,得到類別標(biāo)簽序列“2,2,2,2,2,2,2,2,2,2”。
第二種情形,針對子序列兩端的鏡頭標(biāo)簽為“3”,且子序列中僅含有一個(gè)鏡頭標(biāo)簽為“0”或者“1”,在鏡頭標(biāo)簽為“0”或者“1”的鏡頭的時(shí)長小于第一預(yù)設(shè)閾值10秒時(shí),將鏡頭標(biāo)簽“0”或者“1”糾正為鏡頭標(biāo)簽“3”。以上述子序列之“3,1,3,3,3,3,3,3,3,3”為例,遍歷該序列,在鏡頭標(biāo)簽為“1”的鏡頭總時(shí)長小于10秒的情況下,將鏡頭標(biāo)簽“1”糾正為“3”,得到的類別標(biāo)簽子序列“3,3,3,3,3,3,3,3,3”。
針對子序列兩端的鏡頭標(biāo)簽為“3”,且子序列中含有一個(gè)或者多個(gè)鏡頭標(biāo)簽為“2”的子序列,在鏡頭標(biāo)簽為“2”的鏡頭的時(shí)長小于第二預(yù)設(shè)閾值5秒的情況下,將鏡頭標(biāo)簽“2”糾正為鏡頭標(biāo)簽“3”。以上述子序列“3,2,2,3,3,3,3,3,3,3”為例,遍歷該序列,在鏡頭標(biāo)簽為“2,2”的鏡頭的總時(shí)長小于5秒的情況下,將鏡頭標(biāo)簽“2,2”糾正為“3,3”,得到新的子序列“3,3,3,3,3,3,3,3,3,3”。
第三種情形,針對子序列兩端的鏡頭標(biāo)簽為“2”,且子序列中含有多個(gè)鏡頭標(biāo)簽為“0”和/或“1”和/或“3”的子序列,在與鏡頭標(biāo)簽“2”不同的鏡頭的時(shí)長小于第三預(yù)設(shè)閾值20秒的情況下,將該子序列中含有的與鏡頭標(biāo)簽“2”不同的鏡頭標(biāo)簽糾正為鏡頭標(biāo)簽“2”。以上述子序列之一“2,2,2,2,1,3,1,1,2,2”為例,遍歷該序列,在鏡頭標(biāo)簽為“1,3,1,1”的鏡頭的總時(shí)長小于20秒的情況下,將鏡頭標(biāo)簽“1,3,1,1”糾正為“2,2,2,2”,得到新的子序列“2,2,2,2,2,2,2,2,2,2”。
第四種情形,針對子序列一端的為一個(gè)或者多個(gè)鏡頭標(biāo)簽“1”或者“2”,子序列中部含有2鏡頭標(biāo)簽為“3”的子序列,另一端為一個(gè)或者多個(gè)鏡頭標(biāo)簽為“2”或者“0”的子序列,在鏡頭標(biāo)簽為“3”的鏡頭的時(shí)長小于第四預(yù)設(shè)閾值15秒的情況下,將該子序列中含有的鏡頭標(biāo)簽“3”糾正為廣告鏡頭標(biāo)簽“2”。以上述子序列之一“1,1,1,1,3,3,2,2,2,2”為例,遍歷該序列,在鏡頭標(biāo)簽為“3,3”的鏡頭的總時(shí)長小于15秒的情況下,將鏡頭標(biāo)簽“3,3”糾正為“2,2”,得到的子序列為“1,1,1,1,2,2,2,2,2”。
需要說明的是,上述多個(gè)鏡頭可以是連續(xù)鏡頭,也可以是非連續(xù)鏡頭。另外,通常情況下利用公式(e-s)/fps確定出每一鏡頭的以秒為單位的時(shí)長,其中,e為該鏡頭的結(jié)束幀對應(yīng)的時(shí)刻,s為該鏡頭的開始幀對應(yīng)的時(shí)刻,fps為該鏡頭的幀率,且?guī)矢鶕?jù)輸入的視頻的格式確定的或者視頻中預(yù)先設(shè)定的。
上述的根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列的具體實(shí)現(xiàn)方式,僅僅作為示例性說明,并不應(yīng)構(gòu)成對本發(fā)明的限定。
s103:將糾正后的類別標(biāo)簽序列確定為檢測結(jié)果。
舉例來說,可以將s102步驟中得到的類別標(biāo)簽序列“2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,2,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,3,2,2,2,2,2,2,2,2,2,2,1,1,1,1,2,2,2,2,2”確定為檢測結(jié)果。
應(yīng)用本發(fā)明圖1所示實(shí)施例,在利用已建立的視覺特征數(shù)據(jù)對輸入的視頻流進(jìn)行廣告鏡頭檢測的基礎(chǔ)上,再利用不同鏡頭標(biāo)簽之間特征的區(qū)別,將被誤檢的鏡頭標(biāo)簽進(jìn)行糾正,相對于現(xiàn)有技術(shù)可以更加準(zhǔn)確地檢測出不同類別的鏡頭。
圖2為本發(fā)明實(shí)施例提供的一種視覺特征數(shù)據(jù)庫更新方法的流程示意圖,如圖2所示,該方法包括:
s201:利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽。
需要說明的是,本步驟與圖1所示的視頻鏡頭類別的檢測方法中的步驟s101相同,這里不再重復(fù)。
通常情況下,類別標(biāo)簽也被稱為鏡頭標(biāo)簽。
s202:遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列。
需要說明的是,本步驟與圖1所示的視頻鏡頭類別的檢測方法中的步驟s102相同,這里不再重復(fù)。
s203:根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫。
可選地,在一種具體實(shí)現(xiàn)方式中,可以記錄所述糾正后的類別標(biāo)簽序列中被糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;將被記錄的鏡頭包含的每一視頻幀,與所述視覺特征數(shù)據(jù)庫中的視覺特征進(jìn)行匹配;若所述視覺特征數(shù)據(jù)庫中不存在與所述被記錄的鏡頭包含的任一視頻幀的的視覺特征相同的視覺特征,將所述被記錄的鏡頭的視覺特征和對應(yīng)的廣告標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
可選地,在一種具體實(shí)現(xiàn)方式中,可以在所述糾正后的類別標(biāo)簽序列中被糾正的為連續(xù)的廣告鏡頭標(biāo)簽,且所述連續(xù)的廣告鏡頭標(biāo)簽對應(yīng)鏡頭的總時(shí)長為第五預(yù)設(shè)閾值的整數(shù)倍時(shí),記錄所述所述連續(xù)廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;將被記錄的各個(gè)連續(xù)廣告鏡頭的視覺特征和對應(yīng)的廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
可選地,在一種具體實(shí)現(xiàn)方式中,可以則抽取所述廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的至少一個(gè)代表幀;針對每一代表幀,利用哈希算法,計(jì)算該代表幀的視覺特征;將得到的視覺特征和廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
在實(shí)際應(yīng)用中,s203步驟可以分為以下兩種情形,下面分別舉例進(jìn)行說明。
第一種情形,該情形對應(yīng)s202步驟中的第一種情形和第二種情形。在s202步驟的第一種情形中,被糾正為“2”的鏡頭標(biāo)簽“3”對應(yīng)的鏡頭的每一幀與已建立的視覺特征數(shù)據(jù)庫中的視覺特征進(jìn)行匹配,如果在已建立的視覺特征數(shù)據(jù)庫中查找到了與該鏡頭的其中一幀或者多幀的視覺特征相同的視覺特征,一般不進(jìn)行進(jìn)一步的操作。
如果在已建立的視覺特征數(shù)據(jù)庫中不存在與該鏡頭的任一幀相同的視覺特征。本步驟中以被糾正為“2”的鏡頭標(biāo)簽為例進(jìn)行說明,提取關(guān)鍵幀的方法有多種,通常情況下,以(e-s)/(n+1)為間隔抽取n幀作為代表幀,其中,e為該鏡頭的結(jié)束幀對應(yīng)的時(shí)刻,s為該鏡頭的開始幀對應(yīng)的時(shí)刻,n為抽取的代表幀的數(shù)量。將代表幀由rgb空間轉(zhuǎn)化為灰度空間,利用哈希算法對轉(zhuǎn)化到灰度空間的代表幀進(jìn)行哈希編碼,得到的哈希編碼即為該鏡頭的視覺特征。然后,將該視覺特征和與該鏡頭的視覺特征對應(yīng)的鏡頭標(biāo)簽“2”加入到該已建立的視覺特征數(shù)據(jù)庫中。
第二種情形,該情形對應(yīng)s202步驟中的第三種情形和第四種情形。將被糾正為“2”的鏡頭標(biāo)簽“1,3,1,1”和鏡頭標(biāo)簽“3,3”對應(yīng)的鏡頭的視覺特征,與已建立的視覺特征數(shù)據(jù)庫中的視覺特征進(jìn)行匹配,如果在已建立的視覺特征數(shù)據(jù)庫中查找到了與該鏡頭的其中一幀或者多幀的視覺特征相同的視覺特征,一般不進(jìn)行進(jìn)一步的操作。
如果在已建立的視覺特征數(shù)據(jù)庫中不存在與該鏡頭的任一幀的視覺特征相同的視覺特征,則抽取上述鏡頭的關(guān)鍵幀,并將抽取的關(guān)鍵幀的視覺特征加入到該已建立的視覺特征數(shù)據(jù)庫中,從而更新已建立的視覺特征數(shù)據(jù)庫,用于對輸入的視頻流進(jìn)行下一次檢測。
需要說明的是,抽取代表幀的方法和確定代表幀的視覺特征的方法包括但不僅限于上述方法。
應(yīng)用本發(fā)明圖2所示實(shí)施例,將被誤檢的鏡頭糾正為廣告鏡頭,再將被糾正為廣告的鏡頭標(biāo)簽對應(yīng)的視覺特征加入廣告鏡頭的視覺特征數(shù)據(jù)庫,相對于現(xiàn)有技術(shù)使廣告鏡頭的視覺特征數(shù)據(jù)庫中的數(shù)據(jù)更全。
與圖1所示實(shí)施例相對應(yīng),本發(fā)明實(shí)施例還提供了一種視頻鏡頭類別的檢測裝置。
圖3為本發(fā)明實(shí)施例提供的一種視頻鏡頭類別的檢測裝置的結(jié)構(gòu)示意圖。如圖所示,該裝置包括:檢測模塊301、糾正模塊302和確定模塊303,其中,
檢測模塊301,用于利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽。
糾正模塊302,用于遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊302,具體用于:按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊302,具體用于:針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊302,具體用于:針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊302,具體用于:針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊302,具體用于:針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
確定模塊303,用于將糾正后的類別標(biāo)簽序列確定為檢測結(jié)果。
應(yīng)用本發(fā)明圖3所示實(shí)施例,在利用已建立的視覺特征數(shù)據(jù)對輸入的視頻流進(jìn)行廣告鏡頭檢測的基礎(chǔ)上,再利用不同鏡頭標(biāo)簽之間特征的區(qū)別,將被誤檢的鏡頭標(biāo)簽進(jìn)行糾正,相對于現(xiàn)有技術(shù)可以更加準(zhǔn)確地檢測出不同類別的鏡頭。
與圖2所示實(shí)施例相對應(yīng),本發(fā)明實(shí)施例還提供了一種視覺特征數(shù)據(jù)庫更新裝置。
圖4為本發(fā)明實(shí)施例提供的一種視覺特征數(shù)據(jù)庫更新裝置的結(jié)構(gòu)示意圖,如圖所示,該裝置包括:檢測模塊401、糾正模塊402和添加模塊403,其中,
檢測模塊401,用于利用已建立的視覺特征數(shù)據(jù)庫,對輸入的視頻流進(jìn)行檢測,獲得以鏡頭為單位的類別標(biāo)簽序列;其中所述類別標(biāo)簽包括:片頭、片尾、廣告和普通節(jié)目鏡頭標(biāo)簽;所述視覺特征數(shù)據(jù)庫中存儲(chǔ)有片頭、片尾和廣告類別的視覺特征及其對應(yīng)的類別標(biāo)簽。
糾正模塊402,用于遍歷所述類別標(biāo)簽序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述類別標(biāo)簽序列進(jìn)行糾正,獲得糾正后的類別標(biāo)簽序列。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊402,具體用于:按照預(yù)設(shè)長度將所述類別標(biāo)簽序列切分成多個(gè)子序列;針對每個(gè)子序列,從一端開始遍歷所述子序列,根據(jù)不同類別標(biāo)簽在類別標(biāo)簽序列中排列位置特征和/或不同類別鏡頭的長度特征,對所述子序列進(jìn)行糾正,獲得包含糾正后的各個(gè)子序列的糾正后的類別標(biāo)簽序列。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊402,具體用于:針對每個(gè)僅含有一個(gè)與子序列兩端的第一鏡頭標(biāo)簽不同的第二鏡頭標(biāo)簽的子序列,將所述第二鏡頭標(biāo)簽糾正為第一鏡頭標(biāo)簽,其中,所述第一鏡頭標(biāo)簽為片頭、片尾或廣告鏡頭標(biāo)簽中的一種。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊402,具體用于:針對每個(gè)僅含有一個(gè)與子序列兩端的普通節(jié)目標(biāo)簽不同的第三鏡頭標(biāo)簽的子序列,且所述第三鏡頭標(biāo)簽的時(shí)長小于第一預(yù)設(shè)閾值時(shí),將所述第三鏡頭標(biāo)簽糾正為普通節(jié)目鏡頭標(biāo)簽,其中所述第三鏡頭標(biāo)簽為片頭或者片尾鏡頭標(biāo)簽;針對每個(gè)含有至少一個(gè)廣告鏡頭標(biāo)簽的子序列,且所述子序列中包含的廣告鏡頭標(biāo)簽的總時(shí)長小于第二預(yù)設(shè)閾值的情況下,將所述廣告鏡頭標(biāo)簽糾正為普通節(jié)目標(biāo)簽,其中,所述廣告鏡頭標(biāo)簽位于所述子序列的兩端之間的中部。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊402,具體用于:針對每個(gè)含有至少二個(gè)與序列兩端廣告鏡頭標(biāo)簽不同的第四鏡頭標(biāo)簽的子序列,在所述第四鏡頭標(biāo)簽的總時(shí)長小于第三預(yù)設(shè)閾值的情況下,將所述第四鏡頭標(biāo)簽糾正為廣告鏡頭標(biāo)簽,其中,所述第三鏡頭標(biāo)簽為片頭、片尾和普通節(jié)目標(biāo)簽中至的一種或多種。
可選地,在一種具體實(shí)現(xiàn)方式中,糾正模塊402,具體用于:針對每個(gè)一端為片尾鏡頭標(biāo)簽或者廣告鏡頭標(biāo)簽,中部為第一預(yù)設(shè)數(shù)量個(gè)節(jié)目鏡頭標(biāo)簽,另一端為廣告鏡頭標(biāo)簽或者片頭鏡頭標(biāo)簽的子序列,在所述節(jié)目鏡頭標(biāo)簽總時(shí)長小于第四預(yù)設(shè)閾值的情況下,將所述鏡頭節(jié)目標(biāo)簽糾正為廣告鏡頭標(biāo)簽。
添加模塊403,用于根據(jù)糾正后的類別標(biāo)簽序列,將糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的視覺特征加入視覺特征數(shù)據(jù)庫。
添加模塊403,具體用于:記錄所述糾正后的類別標(biāo)簽序列中被糾正為廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;將被記錄的鏡頭包含的每一視頻幀,與所述視覺特征數(shù)據(jù)庫中的視覺特征進(jìn)行匹配;若所述視覺特征數(shù)據(jù)庫中不存在與所述被記錄的鏡頭包含的任一視頻幀的的視覺特征相同的視覺特征,將所述被記錄的鏡頭的視覺特征和對應(yīng)的廣告標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
添加模塊403,具體用于:在所述糾正后的類別標(biāo)簽序列中被糾正的為連續(xù)的廣告鏡頭標(biāo)簽,且所述連續(xù)的廣告鏡頭標(biāo)簽對應(yīng)鏡頭的總時(shí)長為第五預(yù)設(shè)閾值的整數(shù)倍時(shí),記錄所述所述連續(xù)廣告鏡頭標(biāo)簽對應(yīng)的鏡頭;將被記錄的各個(gè)連續(xù)廣告鏡頭的視覺特征和對應(yīng)的廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
添加模塊403,具體用于:則抽取所述廣告鏡頭標(biāo)簽對應(yīng)的鏡頭的至少一個(gè)代表幀;針對每一代表幀,利用哈希算法,計(jì)算該代表幀的視覺特征;將得到的視覺特征和廣告鏡頭標(biāo)簽加入到所述視覺特征數(shù)據(jù)庫中。
應(yīng)用本發(fā)明圖4所示實(shí)施例,將被誤檢的鏡頭糾正為廣告鏡頭,再將被糾正為廣告的鏡頭標(biāo)簽對應(yīng)的視覺特征加入廣告鏡頭的視覺特征數(shù)據(jù)庫,相對于現(xiàn)有技術(shù)使廣告鏡頭的視覺特征數(shù)據(jù)庫中的數(shù)據(jù)更全。
需要說明的是,在本文中,諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來,而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。
本說明書中的各個(gè)實(shí)施例均采用相關(guān)的方式描述,各個(gè)實(shí)施例之間相同相似的部分互相參見即可,每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處。尤其,對于系統(tǒng)實(shí)施例而言,由于其基本相似于方法實(shí)施例,所以描述的比較簡單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
以上所述僅為本發(fā)明的較佳實(shí)施例而已,并非用于限定本發(fā)明的保護(hù)范圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等,均包含在本發(fā)明的保護(hù)范圍內(nèi)。