亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

關(guān)鍵幀獲取方法及裝置與流程

文檔序號(hào):11708081閱讀:183來源:國知局
關(guān)鍵幀獲取方法及裝置與流程

本申請屬于視頻處理技術(shù)領(lǐng)域,具體地說,涉及一種關(guān)鍵幀獲取方法及裝置。



背景技術(shù):

關(guān)鍵幀是指視頻數(shù)據(jù)中能夠代表該視頻數(shù)據(jù)關(guān)鍵信息的一幀視頻幀。由于視頻數(shù)據(jù)大部分拍攝的是連續(xù)場景,相鄰視頻幀之間具有較大的相關(guān)性,導(dǎo)致視頻數(shù)據(jù)中可能存在很多冗余信息,因此在涉及視頻處理的不同應(yīng)用場景中,通常需要首先獲取視頻數(shù)據(jù)中的關(guān)鍵幀,以獲取視頻數(shù)據(jù)的關(guān)鍵信息。

現(xiàn)有技術(shù)中的一種關(guān)鍵幀的獲取方法,是在解碼視頻文件的同時(shí),獲取每一幀視頻的類型標(biāo)簽,類型標(biāo)簽為該視頻幀在解碼時(shí)是否需要依賴其他視頻幀,如果不需要依賴,則定義為關(guān)鍵幀。

但是,現(xiàn)有技術(shù)中的這種方式雖然可以有效提取關(guān)鍵幀,但是只能應(yīng)用于離線視頻數(shù)據(jù),通用性較差。



技術(shù)實(shí)現(xiàn)要素:

有鑒于此,本申請所要解決的技術(shù)問題是提供了關(guān)鍵幀獲取方法和裝置,用以解決現(xiàn)有技術(shù)關(guān)鍵幀獲取方式通用性較差,無法實(shí)現(xiàn)關(guān)鍵有效獲取的技術(shù)問題。

為了解決上述技術(shù)問題,本申請公開了一種關(guān)鍵幀獲取方法,所述方法包括:

針對(duì)任意一幀視頻幀以及與其相鄰的前一幀視頻幀,統(tǒng)計(jì)每一幀視頻幀 中每一種顏色的不同顏色值的顏色值分布數(shù)據(jù);

根據(jù)同一種顏色的不同顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度;

在所述相似度小于第一閾值時(shí),確定所述任意一幀視頻幀為候選幀;

計(jì)算所述候選幀的顏色豐富度,所述顏色豐富度表示所述候選幀的色彩分布情況;

獲取顏色豐富度大于第二閾值的候選幀為關(guān)鍵幀。

本申請公開了一種關(guān)鍵幀獲取裝置,所述裝置包括:

顏色特征獲取模塊,用于針對(duì)任意一幀視頻幀以及與其相鄰的前一幀視頻幀,統(tǒng)計(jì)每一幀視頻幀中的每一種顏色的不同顏色值的顏色值分布數(shù)據(jù);

相似度計(jì)算模塊,用于根據(jù)同一種顏色的不同顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度;

候選幀獲取模塊,用于在所述相似度小于第一閾值時(shí),確定所述任意一幀視頻幀為候選幀;

信息計(jì)算模塊,用于計(jì)算所述候選幀的顏色豐富度,所述顏色豐富度表示所述候選幀的信息量;

關(guān)鍵幀獲取模塊,用于獲取顏色豐富度大于第二閾值的候選幀為關(guān)鍵幀。

與現(xiàn)有技術(shù)相比,本申請可以獲得包括以下技術(shù)效果:

通過將任意一幀視頻幀與前一幀視頻幀進(jìn)行相似度判斷,確定任意一種視頻幀是否可以作為候選幀,對(duì)候選幀進(jìn)行顏色豐富度判斷,即可以候選幀是否可以為關(guān)鍵幀,本申請技術(shù)方案可以適用于不同視頻數(shù)據(jù)的關(guān)鍵幀獲取,提高了通用性,且通過顏色統(tǒng)計(jì)即可以實(shí)現(xiàn)相似度的判斷以及關(guān)鍵幀的判斷,復(fù)雜度低、效率高,實(shí)現(xiàn)了關(guān)鍵幀快速有效的獲取。

當(dāng)然,實(shí)施本申請的任一產(chǎn)品必不一定需要同時(shí)達(dá)到以上所述的所有技術(shù)效果。

附圖說明

此處所說明的附圖用來提供對(duì)本申請的進(jìn)一步理解,構(gòu)成本申請的一部分,本申請的示意性實(shí)施例及其說明用于解釋本申請,并不構(gòu)成對(duì)本申請的不當(dāng)限定。在附圖中:

圖1是本申請實(shí)施例的一種關(guān)鍵幀獲取方法一個(gè)實(shí)施例的流程圖;

圖2是本申請實(shí)施例的一種關(guān)鍵幀獲取方法又一個(gè)實(shí)施例的流程圖;

圖3是本申請實(shí)施例的一種關(guān)鍵幀獲取裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖;

圖4是本申請實(shí)施例的一種關(guān)鍵幀獲取裝置又一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。

具體實(shí)施方式

以下將配合附圖及實(shí)施例來詳細(xì)說明本申請的實(shí)施方式,藉此對(duì)本申請如何應(yīng)用技術(shù)手段來解決技術(shù)問題并達(dá)成技術(shù)功效的實(shí)現(xiàn)過程能充分理解并據(jù)以實(shí)施。

隨著網(wǎng)絡(luò)的發(fā)展,越來越多的視頻開始出現(xiàn)在網(wǎng)絡(luò)上,無論是電影、電視劇、娛樂節(jié)目,或者是用戶自己制作的小視頻,都在以前所未有的速度增長。視頻中包含大量信息,如視頻的拍攝場景,視頻中出現(xiàn)的明星、服飾等,都可以作為與電商相關(guān)的應(yīng)用開發(fā),如服飾自動(dòng)檢索推薦等。但是,由于視頻大部分拍攝的是連續(xù)場景,前后幀之間具有較大的相關(guān)性,因此,一段視頻中有很多冗余信息。而通過獲取視頻關(guān)鍵幀,可以有效的提取視頻中關(guān)鍵信息,如場景切換,畫面突變等。通過獲取視頻關(guān)鍵幀一方可以有效降低每一幀之間的冗余性,從而為后續(xù)處理提供高質(zhì)量的視頻幀。

現(xiàn)有的關(guān)鍵幀獲取方式是在解碼視頻文件的同時(shí)進(jìn)行提取,只適用于離線視頻,無法對(duì)視頻數(shù)據(jù)進(jìn)行關(guān)鍵幀的實(shí)時(shí)獲取,特征是對(duì)于網(wǎng)絡(luò)直播視頻數(shù)據(jù)等需要實(shí)時(shí)處理的視頻數(shù)據(jù),因此通用性較差,無法有效實(shí)現(xiàn)關(guān)鍵幀獲取。

為了解決這一技術(shù)問題,在本申請實(shí)施例中,針對(duì)任意一幀視頻幀,通過將其與其相鄰的前一幀視頻幀進(jìn)行比較,根據(jù)統(tǒng)計(jì)的顏色值分布數(shù)據(jù),計(jì) 算相鄰兩幀視頻幀的相似度,從而可以確定任意一幀視頻幀如果與其相鄰的前一幀視頻幀的相似度小于第一閾值,則即可以作為候選幀;對(duì)于候選幀,可以通過判斷其顏色豐富度,選擇顏色豐富度大于第二閾值的候選幀作為最終的關(guān)鍵幀,本申請實(shí)施例通過提取視頻幀的顏色特征,與前一幀視頻幀進(jìn)行比較,即可以實(shí)現(xiàn)關(guān)鍵幀的判斷,可以實(shí)現(xiàn)實(shí)時(shí)處理,因此不僅適用于離線視頻數(shù)據(jù),提高了通用性,使得可以實(shí)現(xiàn)關(guān)鍵的有效獲取。

且顏色值分布數(shù)據(jù)以及顏色豐富度均為視頻幀的全局特征,魯棒性高,統(tǒng)計(jì)時(shí)間短、統(tǒng)計(jì)方式簡單,可以降低關(guān)鍵幀提取的復(fù)雜度,使得能夠快速有效的實(shí)現(xiàn)關(guān)鍵幀的獲取。

下面結(jié)合附圖對(duì)本申請技術(shù)方案進(jìn)行詳細(xì)描述。

圖1為本申請?zhí)峁┑囊环N關(guān)鍵幀獲取方法一個(gè)實(shí)施例的流程圖,該方法可以包括以下幾個(gè)步驟:

101:針對(duì)任意一幀視頻幀以及與其相鄰的前一幀視頻幀,統(tǒng)計(jì)每一幀視頻幀中每一種顏色的不同顏色值的顏色值分布數(shù)據(jù)。

顏色值分布數(shù)據(jù)可以包括同一種顏色的不同顏色值的出現(xiàn)次數(shù)或者不同顏色值的出現(xiàn)頻率,用以表示視頻幀的顏色特征。

任一顏色值出現(xiàn)頻率具體是指任一顏色值出現(xiàn)次數(shù)與視頻幀總像素點(diǎn)數(shù)的比值,顏色值分布數(shù)據(jù)為不同顏色值出現(xiàn)頻率時(shí),該顏色值分布數(shù)據(jù)可以具體是指顏色直方圖。

其中,本申請實(shí)施例中,對(duì)于視頻幀為彩色圖像時(shí),由于不同色彩是由三原色疊加而成,都可以用三原色進(jìn)行表示,因此顏色顏色值分布數(shù)據(jù)包括每一種原色,即r(red,紅色)、g(green,綠色)或b(blue,藍(lán)色)對(duì)應(yīng)的顏色值分布數(shù)據(jù)。

對(duì)于視頻幀為灰度圖像,也即黑白圖像時(shí),其顏色值分布數(shù)據(jù)即為灰度值分布數(shù)據(jù)。

顏色值的取值范圍為0~255,也即統(tǒng)計(jì)的是每一種顏色的256個(gè)顏色值的分布數(shù)據(jù)。

102:根據(jù)同一種顏色的不同顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度。

對(duì)于相鄰兩幀視頻幀,針對(duì)同一種顏色在相鄰兩幀視頻幀的不同顏色值分布數(shù)據(jù),可以獲得該相鄰兩幀視頻幀的相似度。

相似度的計(jì)算可以有多種可能的實(shí)現(xiàn)方式,在下面實(shí)施例中會(huì)詳細(xì)進(jìn)行介紹。

103:在所述相似度小于第一閾值時(shí),確定所述任意一幀視頻幀為候選幀。

如果相似度小于第一閾值,表明該視頻幀與其相鄰的前一幀視頻幀相似度較小,則該視頻幀可能為關(guān)鍵幀,因此可以確定該視頻幀為關(guān)鍵幀的候選幀。

而如果相似度大于第一閾值,表明該視頻幀與其相鄰的前一幀視頻幀相似,則該視頻幀不會(huì)是關(guān)鍵幀,即舍棄該視頻幀。

104:計(jì)算所述候選幀的顏色豐富度,所述顏色豐富度表示所述候選幀的色彩分布情況。

105:獲取顏色豐富度大于第二閾值的候選幀為關(guān)鍵幀。

對(duì)于獲得的候選幀,通過計(jì)算其顏色豐富度,選擇顏色豐富或者亮度豐富的候選幀作為關(guān)鍵幀。

顏色豐富度可以用于表示候選幀的色彩分布情況,如果顏色豐富度大于第二閾值,表明候選幀色彩豐富,不會(huì)出現(xiàn)較大的單一顏色,包含信息量較多,因此即為關(guān)鍵幀。

本申請實(shí)施例中,在獲得每一個(gè)候選幀之后,即可以計(jì)算其顏色豐富度,如果其顏色豐富度大于第二閾值,則該候選幀即為關(guān)鍵幀。

當(dāng)然,作為又一個(gè)實(shí)施例,對(duì)于任意一個(gè)視頻幀均可以按照步驟101~步驟103的操作,來確定是否為候選幀。因此對(duì)一段視頻數(shù)據(jù)可以獲得多個(gè)候選幀,對(duì)該多個(gè)候選幀可以分別計(jì)算顏色豐富度,再選擇顏色豐富度大于第二閾值的候選幀作為關(guān)鍵幀。

顏色豐富度可以有多種可能實(shí)現(xiàn)方式,在下面實(shí)施例中會(huì)詳細(xì)進(jìn)行介 紹。

在本申請實(shí)施例中,對(duì)于任意一幀視頻幀,可以與其相鄰的前一幀視頻幀,通過顏色值分布數(shù)據(jù)進(jìn)行比較,以確定該任意一幀視頻幀是否可以作為關(guān)鍵幀的候選幀,從而再對(duì)候選幀進(jìn)行顏色豐富度的判斷,即可以確定候選幀是否可以作為關(guān)鍵幀,使得不僅適用于對(duì)離線視頻數(shù)據(jù)進(jìn)行關(guān)鍵幀的獲取,可以對(duì)任一視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理,提高了關(guān)鍵幀獲取的有效性和通用性。

且申請實(shí)施例中,利用顏色值分布數(shù)據(jù)的顏色特征進(jìn)行相鄰兩幀視頻幀的相似度判斷,僅對(duì)顏色值進(jìn)行統(tǒng)計(jì)即可,復(fù)雜度低,提取速度快,且該顏色值分布數(shù)據(jù)為視頻幀的全局特征,視頻圖像中主體的小幅度變化不會(huì)引起全局特征的變化,因此,魯棒性更高。

其中,在視頻幀包括多種顏色的顏色值分布數(shù)據(jù)時(shí),作為又一個(gè)實(shí)施例,根據(jù)同一種顏色分別的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度可以具體是:

根據(jù)同一種顏色的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀顏色值分布數(shù)據(jù)對(duì)應(yīng)同一種顏色的相似系數(shù);

將所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)不同種顏色的顏色值分布數(shù)據(jù)相似系數(shù)的平均值、最大值或最小值,作為所述所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度。

當(dāng)然還可以選擇不同種顏色值分布數(shù)據(jù)的相似系數(shù)的和值等,作為相似度,本申請并不對(duì)此進(jìn)行限定,只要依據(jù)不同顏色的顏色值分布數(shù)據(jù)的相交系數(shù)獲得的相似度,均應(yīng)在本申請的保護(hù)范圍內(nèi)。

在視頻幀為灰度圖像時(shí),視頻幀只有一種灰度對(duì)應(yīng)的顏色值分布數(shù)據(jù),也即灰度值分布數(shù)據(jù),因此相鄰兩幀視頻幀的對(duì)應(yīng)灰度的相似系數(shù),即作為相鄰兩幀視頻幀的相似度。

在顏色值分布數(shù)據(jù)統(tǒng)計(jì)的是每一個(gè)顏色值出現(xiàn)頻率時(shí),顏色值分布數(shù)據(jù) 即可以用顏色直方圖進(jìn)行表示。相似度可以根據(jù)顏色直方圖進(jìn)行計(jì)算,作為一種可能的實(shí)現(xiàn)方式,可以參見圖2所示實(shí)施例。

如圖2所示,為本申請?zhí)峁┑年P(guān)鍵幀獲取方法又一個(gè)實(shí)施例,該方法可以包括以下幾個(gè)步驟:

201:針對(duì)任意一幀視頻幀以及與其相鄰的前一幀視頻幀,統(tǒng)計(jì)每一幀視頻幀的每一種顏色的顏色直方圖。

顏色值分布數(shù)據(jù)具體可以是指顏色直方圖,用以表示不同顏色值出現(xiàn)頻率,可以通過統(tǒng)計(jì)同一種顏色中每一個(gè)顏色值出現(xiàn)次數(shù),將每一個(gè)顏色值的出現(xiàn)次數(shù)與視頻幀的像素點(diǎn)相除,也即進(jìn)行歸一化,即得到每一個(gè)顏色值出現(xiàn)頻率,進(jìn)而即可以得到顏色直方圖。

202:根據(jù)同一種顏色的不同顏色直方圖,計(jì)算顏色直方圖相交系數(shù)。

其中,計(jì)算顏色直方圖相交系數(shù)具體是將兩個(gè)顏色直方圖中每一個(gè)顏色值的顏色值出現(xiàn)頻率的最小值進(jìn)行疊加,將疊加的和值作為相交系數(shù)。

具體可以按照如下公式進(jìn)行相交系數(shù)計(jì)算公式獲得:

也即兩個(gè)顏色直方圖中每一個(gè)顏色值的顏色值出現(xiàn)頻率的最小值進(jìn)行疊加,將疊加的和值作為相交系數(shù)。

其中,h1和h2為同一種顏色的兩個(gè)顏色直方圖,dinter(h1,h2)表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。

203:選擇不同種顏色的顏色直方圖相交系數(shù)的平均值、最大值或最小值,作為所述所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度。

204:在所述相似度小于第一閾值時(shí),確定所述任意一幀視頻幀為候選幀。

確定出視頻幀為候選幀之后,可以通過比較候選幀的顏色豐富度來確定候選幀是否為關(guān)鍵幀。

一種可能的實(shí)現(xiàn)方式為,可以通過計(jì)算候選幀的圖像顏色熵作為候選幀 的顏色豐富度,因此,如圖2所示,該方法還可以包括:

205:根據(jù)所述候選幀的灰度圖像的灰度值分布數(shù)據(jù),計(jì)算所述候選幀的圖像顏色熵。

圖像顏色熵即作為所述候選幀的顏色豐富度。

圖像顏色熵是根據(jù)灰度圖像的灰度值分布數(shù)據(jù)計(jì)算得到,具體可以是根據(jù)候選幀的灰度圖像的灰度直方圖計(jì)算得到。

圖像顏色熵也是視頻幀的全局特征,因此魯棒性很高。

作為一種可能的實(shí)現(xiàn)方式,該圖像顏色熵具體可以通過如下圖像顏色熵計(jì)算公式獲得:

其中,p(xi)表示第i個(gè)灰度值的出現(xiàn)頻率,i=0、1、2……n-1,n=256。

通過圖像顏色熵即可以表示候選幀的顏色豐富度。

當(dāng)然,還可以將灰度圖中灰度值的和值或者平均值等作為圖像顏色熵。

206:將圖像顏色熵大于第二閾值的候選幀作為關(guān)鍵幀。

在實(shí)際應(yīng)用中,對(duì)于一段視頻數(shù)據(jù),是將第n幀視頻幀與第n-1幀視頻幀進(jìn)行相似度比較,n=2、3、4……n,n為該視頻數(shù)據(jù)的總幀數(shù)。

也即從第2幀開始,將每一幀視頻幀均與其前一幀視頻幀進(jìn)行相似度比較,如果第n幀視頻幀與第n-1幀視頻幀的相似度大于第一閾值,則第n幀視頻幀即作為候選幀,且其圖像顏色熵大于第二閾值,則該候選幀即為關(guān)鍵幀,如果第n幀視頻幀與第n-1幀視頻幀的相似度小于第一閾值,或者第n幀圖像的圖像顏色熵小于第二閾值,則舍棄該視頻幀。

在本實(shí)施例中,通過顏色直方圖以及圖像顏色熵,可以快速有效的獲取關(guān)鍵幀,使得能夠?qū)崟r(shí)提取視頻數(shù)據(jù)中的關(guān)鍵幀,不僅適用于離線視頻數(shù)據(jù),提高了通用性,顏色直方圖以及圖像顏色熵均為視頻幀的全部圖像,魯棒性更高,計(jì)算復(fù)雜度低,使得關(guān)鍵幀獲取速度更快。

且任意一幀視頻幀與和與其相鄰的前一幀視頻幀的相似度根據(jù)顏色直 方圖相交系數(shù)獲得,顏色直方圖相交系數(shù)的計(jì)算復(fù)雜度低,從而可以使得關(guān)鍵幀獲取更加快速有效。

其中,作為又一種可能的實(shí)現(xiàn)方式,顏色豐富度還可以用候選幀中不同顏色值的顏色值分布數(shù)據(jù)中最大顏色值出現(xiàn)頻率或最大顏色值出現(xiàn)次數(shù)進(jìn)行表示。

如果最大顏色值出現(xiàn)頻率大于第三閾值或最大顏色值出現(xiàn)次數(shù)大于第四閾值,即表示顏色豐富度小于第二閾值,此時(shí)圖像可以能存在較大的色塊、或者為全黑或全白等,顏色豐富度小,因此即將該候選幀舍棄,不能作為關(guān)鍵幀。

如果最大的顏色值出現(xiàn)頻率小于第三閾值或最大顏色值出現(xiàn)次數(shù)小于第四閾值,即表示顏色豐富度大于第二閾值,該候選幀即作為關(guān)鍵幀。

作為又一種可能的實(shí)現(xiàn)方式,還可以首先根據(jù)候選幀中最大顏色值出現(xiàn)次數(shù)或者最大顏色值出現(xiàn)頻率,判斷最大的顏色值出現(xiàn)頻率是否大于第三閾值或者最大顏色值出現(xiàn)次數(shù)是否大于第四閾值,以確定候選幀是否為全黑、全白或者存在較大色塊,如果是,則舍棄該候選幀,如果否,再計(jì)算候選幀的圖像顏色熵,在圖像顏色熵小于第二閾值時(shí),確定候選幀為關(guān)鍵幀,否則即舍棄該候選幀。

當(dāng)然,還可以計(jì)算候選幀的圖像顏色熵,在圖像顏色熵小于第二閾值時(shí),再判斷候選幀的最大的顏色值出現(xiàn)頻率是否大于第三閾值或者最大顏色值出現(xiàn)次數(shù)是否大于第四閾值,如果是,則確定候選幀為關(guān)鍵幀,否則即舍棄該候選幀。

其中,將顏色值分布數(shù)據(jù)表示為顏色直方圖,任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù),可以通過顏色直方圖相交系數(shù)計(jì)算得到,當(dāng)然還可以采用其他實(shí)現(xiàn)方式。

作為又一種可能的實(shí)現(xiàn)方式,可以采用同一種顏色的兩個(gè)顏色直方圖相關(guān)系數(shù)作為任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏 色的相似系數(shù)。

因此,所述根據(jù)同一種顏色的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)每一種顏色的相似系數(shù)包括:

根據(jù)同一種顏色的兩個(gè)顏色直方圖,按照如下相關(guān)系數(shù)計(jì)算公式,計(jì)算兩個(gè)顏色直方圖相關(guān)系數(shù),作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述相關(guān)系數(shù)計(jì)算公式為:

其中,

h1和h2為同一種顏色的兩個(gè)顏色直方圖,dcorrel(h1,h2)表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。h1(j)和h2(j)分別表示第j個(gè)顏色值出現(xiàn)頻率,j=0、1、2……n-1,n=256。

作為又一種可能的實(shí)現(xiàn)方式,可以采用兩個(gè)顏色直方圖的卡方系數(shù)作為任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù)。

因此,所述根據(jù)同一種顏色的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)每一種顏色的相似系數(shù)包括:

根據(jù)同一種顏色的兩個(gè)顏色直方圖,按照如下卡方系數(shù)計(jì)算公式,計(jì)算兩個(gè)顏色直方圖的卡方系數(shù),作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述卡方系數(shù)計(jì)算公式為:

h1和h2為同一種顏色的兩個(gè)顏色直方圖,dchi-square(h1,h2)為兩個(gè)顏色直方圖的卡方系數(shù),用于表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。

作為又一種可能的實(shí)現(xiàn)方式,可以采用兩個(gè)顏色直方圖的巴氏距離作為任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù)。

因此,所述根據(jù)同一種顏色的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)每一種顏色的相似系數(shù)包括:

根據(jù)同一種顏色的兩個(gè)顏色直方圖,按照如下巴氏距離計(jì)算公式,計(jì)算兩個(gè)顏色直方圖的巴氏距離,作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述巴氏距離計(jì)算公式為:

h1和h2為同一種顏色的兩個(gè)顏色直方圖,dbhattacharyya(h1,h2)為兩個(gè)顏色直方圖的巴氏距離,用于表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。

圖3為本申請實(shí)施例提供的一種關(guān)鍵幀獲取裝置一個(gè)實(shí)施例的結(jié)構(gòu)示意圖,該裝置可以包括:

顏色特征獲取模塊301,用于針對(duì)任意一幀視頻幀以及與其相鄰的前一幀視頻幀,分別統(tǒng)計(jì)每一幀視頻幀的每一種顏色的顏色值分布數(shù)據(jù)。

顏色值分布數(shù)據(jù)包括同一種顏色中不同顏色值的出現(xiàn)次數(shù)或者出現(xiàn)頻率,用以表示視頻幀的顏色特征。

任一顏色值出現(xiàn)頻率具體是指任一顏色值出現(xiàn)次數(shù)與視頻幀像素點(diǎn)數(shù)的比值,顏色值分布數(shù)據(jù)為不同顏色值出現(xiàn)頻率時(shí),該顏色值分布數(shù)據(jù)可以具體是指顏色直方圖。

其中,本申請實(shí)施例中,對(duì)于視頻幀為彩色圖像時(shí),由于不同色彩是由三原色疊加而成,都可以用三原色進(jìn)行表示,因此顏色顏色值分布數(shù)據(jù)包括每一種原色,即r(red,紅色)、g(green,綠色)或b(blue,藍(lán)色)對(duì)應(yīng)的顏色值分布數(shù)據(jù)。

對(duì)于視頻幀為灰度圖像,也即黑白圖像時(shí),其顏色值分布數(shù)據(jù)即為灰度值分布數(shù)據(jù)。

相似度計(jì)算模塊302,用于根據(jù)同一種顏色的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度。

候選幀獲取模塊303,用于在所述相似度小于第一閾值時(shí),確定所述任意一幀視頻幀為候選幀。

如果相似度小于第一閾值,表明該視頻幀與其相鄰的前一幀視頻幀相似度較小,則該視頻幀可能為關(guān)鍵幀,因此可以確定該視頻幀為關(guān)鍵幀的候選幀。

而如果相似度大于第一閾值,表明該視頻幀與其相鄰的前一幀視頻幀相似,則該視頻幀不會(huì)是關(guān)鍵幀,即舍棄該視頻幀。

信息計(jì)算模塊304,用于計(jì)算所述候選幀的顏色豐富度,所述顏色豐富度表示所述候選幀的色彩分布情況;

關(guān)鍵幀獲取模塊305,用于獲取顏色豐富度大于第二閾值的候選幀為關(guān)鍵幀。

在本申請實(shí)施例中,對(duì)于任意一幀視頻幀,可以與其相鄰的前一幀視頻幀,通過顏色值分布數(shù)據(jù)進(jìn)行比較,以確定該任意一幀視頻幀是否可以作為關(guān)鍵幀的候選幀,從而再對(duì)候選幀進(jìn)行顏色豐富度的判斷,即可以確定候選幀是否可以作為關(guān)鍵幀,使得不僅適用于對(duì)離線視頻數(shù)據(jù)進(jìn)行關(guān)鍵幀的獲取,可以對(duì)任一視頻數(shù)據(jù)進(jìn)行實(shí)時(shí)處理,提高了關(guān)鍵幀獲取的有效性和通用性。

且申請實(shí)施例中,利用顏色值分布數(shù)據(jù)的顏色特征進(jìn)行相鄰兩幀視頻幀的相似度判斷,僅對(duì)顏色值進(jìn)行統(tǒng)計(jì)即可,復(fù)雜度低,提取速度快,且該顏色值分布數(shù)據(jù)為視頻幀的全局特征,視頻圖像中主體的小幅度變化不會(huì)引起全局特征的變化,因此,魯棒性更高。

其中,所述視頻幀為彩色圖像時(shí),顏色值分布數(shù)據(jù);包括三種原色對(duì)應(yīng)的三個(gè)顏色值分布數(shù)據(jù);所述視頻幀為灰度圖像時(shí),顏色值分布數(shù)據(jù)包括一個(gè)灰度值分布數(shù)據(jù);

在視頻幀包括多種顏色的顏色值分布數(shù)據(jù)時(shí),作為又一個(gè)實(shí)施例,如圖4所示,與圖3所示實(shí)施例不同之處在于,所述相似度計(jì)算模塊302可以包括:

相似系數(shù)計(jì)算單元401,用于根據(jù)同一種顏色的顏色值分布數(shù)據(jù),計(jì)算所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù);

相似度計(jì)算單元402,用于將所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)不同種顏色的相似系數(shù)的平均值、最大值或最小值,作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀的相似度。

當(dāng)然還可以選擇不同種顏色值分布數(shù)據(jù)的相似系數(shù)的和值等,作為相似度,本申請并不對(duì)此進(jìn)行限定,只要依據(jù)不同顏色的顏色值分布數(shù)據(jù)的相交系數(shù)獲得的相似度,均應(yīng)在本申請的保護(hù)范圍內(nèi)。

在視頻幀為灰度圖像時(shí),視頻幀只有一種灰度對(duì)應(yīng)的顏色值分布數(shù)據(jù),也即灰度值分布數(shù)據(jù),因此相鄰兩幀視頻幀的對(duì)應(yīng)灰度的相似系數(shù),即作為相鄰兩幀視頻幀的相似度。

其中,確定出視頻幀為候選幀之后,可以通過比較候選幀的顏色豐富度來確定候選幀是否為關(guān)鍵幀。

一種可能的實(shí)現(xiàn)方式為,可以通過計(jì)算候選幀的圖像顏色熵作為候選幀的顏色豐富度,因此所述信息計(jì)算模塊304可以具體用于:

根據(jù)所述候選幀的灰度圖像的灰度值分布數(shù)據(jù),計(jì)算所述候選幀的圖像顏色熵,將所述圖像顏色熵作為所述候選幀的顏色豐富度。

圖像顏色熵是根據(jù)灰度圖像的灰度值分布數(shù)據(jù)計(jì)算得到,具體是根據(jù)灰度圖像的灰度直方圖計(jì)算得到。

圖像顏色熵也是視頻幀的全局特征,因此魯棒性很高。

該圖像顏色熵具體可以通過如下圖像顏色熵計(jì)算公式獲得:

其中,p(xi)表示第i個(gè)灰度值的出現(xiàn)頻率,i=0、1、2……n-1,n=256。

通過圖像顏色熵即可以表示候選幀的顏色豐富度。

其中,作為又一種可能的實(shí)現(xiàn)方式,顏色豐富度還可以根據(jù)視頻幀是否具有較大色塊進(jìn)行判斷,例如顏色值分布數(shù)據(jù)為顏色值出現(xiàn)次數(shù)時(shí),可以將不同種顏色中的最大顏色值出現(xiàn)次數(shù)作為顏色豐富度,如果最大顏色值出現(xiàn)次數(shù)出現(xiàn)次數(shù)大于第二閾值,則表明圖像中可能出現(xiàn)較大色塊、或者為全黑或全白,此時(shí)該候選幀即舍棄,不能作為關(guān)鍵幀。

作為又一種可能的實(shí)現(xiàn)方式,還可以首先判斷候選幀中的最大顏色值出現(xiàn)次數(shù)是否大于次數(shù)閾值,如果是,則舍棄該候選幀,如果否,再計(jì)算候選幀的圖像顏色熵,在圖像顏色熵小于第二閾值時(shí),確定候選幀為關(guān)鍵幀,否則即舍棄該候選幀。

在顏色值分布數(shù)據(jù)統(tǒng)計(jì)的是每一個(gè)顏色值出現(xiàn)頻率時(shí),顏色值分布數(shù)據(jù)即可以用顏色直方圖進(jìn)行表示。相似度可以根據(jù)顏色直方圖進(jìn)行計(jì)算,因此,作為一種可能的實(shí)現(xiàn)方式,所述相似系數(shù)計(jì)算單元可以具體用于:

根據(jù)同一種顏色的顏色直方圖,按照如下相交系數(shù)計(jì)算公式,計(jì)算顏色直方圖相交系數(shù),作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述相交系數(shù)計(jì)算公式為:

其中,h1和h2分別同一種顏色的兩個(gè)顏色直方圖,h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。

作為又一種可能的方式中,可以采用同一種顏色的兩個(gè)顏色直方圖相關(guān)系數(shù)作為任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù)。

因此,所述相似系數(shù)計(jì)算單元可以具體用于:

根據(jù)同一種顏色的兩個(gè)顏色直方圖,按照如下相關(guān)系數(shù)計(jì)算公式,計(jì)算兩個(gè)顏色直方圖相關(guān)系數(shù),作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述相關(guān)系數(shù)計(jì)算公式為:

其中,

h1和h2為同一種顏色的兩個(gè)顏色直方圖,dcorrel(h1,h2)表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256,h1(j)和h2(j)分別表示第j個(gè)顏色值出現(xiàn)頻率,j=0、1、2……n-1,n=256。

作為又一種可能的實(shí)現(xiàn)方式,可以采用兩個(gè)顏色直方圖的卡方系數(shù)作為任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù)。

因此,所述相似系數(shù)計(jì)算單元可以具體用于:

根據(jù)同一種顏色的兩個(gè)顏色直方圖,按照如下卡方系數(shù)計(jì)算公式,計(jì)算兩個(gè)顏色直方圖的卡方系數(shù),作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述卡方系數(shù)計(jì)算公式為:

h1和h2為同一種顏色的兩個(gè)顏色直方圖,dchi-square(h1,h2)為兩個(gè)顏色直方圖的卡方系數(shù),用于表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。

作為又一種可能的實(shí)現(xiàn)方式,可以采用兩個(gè)顏色直方圖的巴氏距離作為任意一幀視頻幀以及與其相鄰的前一幀視頻幀的對(duì)應(yīng)同一種顏色的相似系數(shù)。

因此,所述相似系數(shù)計(jì)算單元可以具體用于:

將顏色值分布數(shù)據(jù)表示為顏色直方圖;

根據(jù)同一種顏色的兩個(gè)顏色直方圖,按照如下巴氏距離計(jì)算公式,計(jì)算兩個(gè)顏色直方圖的巴氏距離,作為所述任意一幀視頻幀以及與其相鄰的前一幀視頻幀對(duì)應(yīng)每一種顏色的相似系數(shù);

所述巴氏距離計(jì)算公式為:

h1和h2為同一種顏色的兩個(gè)顏色直方圖,dbhattacharyya(h1,h2)為兩個(gè)顏色直方圖的巴氏距離,用于表示顏色值分布數(shù)據(jù)相交系數(shù),h1(i)和h2(i)分別表示第i個(gè)顏色值出現(xiàn)頻率,i=0、1、2……n-1,n=256。

通過本申請實(shí)施例的技術(shù)方案,對(duì)于一段視頻數(shù)據(jù),針對(duì)任意一幀視頻幀,可以將其與其相鄰的前一幀視頻幀進(jìn)行比較,通過統(tǒng)計(jì)顏色值分布數(shù)據(jù),計(jì)算相鄰兩幀視頻幀的相似度,以確定任意一幀視頻幀如果與其相鄰的前一 幀視頻幀的相似度小于第一閾值,則即可以作為候選幀繼續(xù)進(jìn)行判斷;對(duì)于候選幀,可以通過判斷其顏色豐富度,選擇顏色豐富度大于第二閾值的候選幀作為最終的關(guān)鍵幀,本申請實(shí)施例通過提取視頻幀的顏色特征,與前一幀視頻幀進(jìn)行比較,即可以實(shí)現(xiàn)關(guān)鍵幀的判斷,不僅適用于離線視頻數(shù)據(jù),還可以實(shí)現(xiàn)實(shí)時(shí)獲取關(guān)鍵幀,且顏色值分布數(shù)據(jù)以及顏色豐富度均為視頻幀的全局特征,魯棒性稿,統(tǒng)計(jì)時(shí)間短、統(tǒng)計(jì)方式簡單,可以降低關(guān)鍵幀提取的復(fù)雜度,使得能夠快速有效的提取關(guān)鍵幀。

在一個(gè)典型的配置中,計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(cpu)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲(chǔ)器,隨機(jī)存取存儲(chǔ)器(ram)和/或非易失性內(nèi)存等形式,如只讀存儲(chǔ)器(rom)或閃存(flashram)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲(chǔ)。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲(chǔ)介質(zhì)的例子包括,但不限于相變內(nèi)存(pram)、靜態(tài)隨機(jī)存取存儲(chǔ)器(sram)、動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器(dram)、其他類型的隨機(jī)存取存儲(chǔ)器(ram)、只讀存儲(chǔ)器(rom)、電可擦除可編程只讀存儲(chǔ)器(eeprom)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲(chǔ)器(cd-rom)、數(shù)字多功能光盤(dvd)或其他光學(xué)存儲(chǔ)、磁盒式磁帶,磁帶磁磁盤存儲(chǔ)或其他磁性存儲(chǔ)設(shè)備或任何其他非傳輸介質(zhì),可用于存儲(chǔ)可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定,計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitorymedia),如調(diào)制的數(shù)據(jù)信號(hào)和載波。

如在說明書及權(quán)利要求當(dāng)中使用了某些詞匯來指稱特定組件。本領(lǐng)域技術(shù)人員應(yīng)可理解,硬件制造商可能會(huì)用不同名詞來稱呼同一個(gè)組件。本說明書及權(quán)利要求并不以名稱的差異來作為區(qū)分組件的方式,而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)則。如在通篇說明書及權(quán)利要求當(dāng)中所提及的“包含”為一開放式用語,故應(yīng)解釋成“包含但不限定于”?!按笾隆笔侵冈诳山邮盏恼`差范圍內(nèi),本領(lǐng)域技術(shù)人員能夠在一定誤差范圍內(nèi)解決所述技術(shù)問題,基本達(dá)到所述技術(shù)效果。此外,“耦接”一詞在此包含任何直接及間接的電性 耦接手段。因此,若文中描述一第一裝置耦接于一第二裝置,則代表所述第一裝置可直接電性耦接于所述第二裝置,或通過其他裝置或耦接手段間接地電性耦接至所述第二裝置。說明書后續(xù)描述為實(shí)施本申請的較佳實(shí)施方式,然所述描述乃以說明本申請的一般原則為目的,并非用以限定本申請的范圍。本申請的保護(hù)范圍當(dāng)視所附權(quán)利要求所界定者為準(zhǔn)。

還需要說明的是,術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含,從而使得包括一系列要素的商品或者系統(tǒng)不僅包括那些要素,而且還包括沒有明確列出的其他要素,或者是還包括為這種商品或者系統(tǒng)所固有的要素。在沒有更多限制的情況下,由語句“包括一個(gè)……”限定的要素,并不排除在包括所述要素的商品或者系統(tǒng)中還存在另外的相同要素。

上述說明示出并描述了本申請的若干優(yōu)選實(shí)施例,但如前所述,應(yīng)當(dāng)理解本申請并非局限于本文所披露的形式,不應(yīng)看作是對(duì)其他實(shí)施例的排除,而可用于各種其他組合、修改和環(huán)境,并能夠在本文所述申請構(gòu)想范圍內(nèi),通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識(shí)進(jìn)行改動(dòng)。而本領(lǐng)域人員所進(jìn)行的改動(dòng)和變化不脫離本申請的精神和范圍,則都應(yīng)在本申請所附權(quán)利要求的保護(hù)范圍內(nèi)。

當(dāng)前第1頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1