專(zhuān)利名稱(chēng)：一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種視頻關(guān)鍵幀提取方法，尤其涉及一種能夠從不同類(lèi)型不同分辨率的視頻中提取出關(guān)鍵幀序列的基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法。屬于視頻關(guān)鍵幀提取領(lǐng)域。
背景技術(shù)：
隨著多媒體信息在娛樂(lè)、商業(yè)、生產(chǎn)、醫(yī)學(xué)、安全、國(guó)防、軍事等領(lǐng)域的大量應(yīng)用，傳統(tǒng)的基于關(guān)鍵詞描述的視頻檢索方案因其手工添加注釋工作量大、人工文字標(biāo)簽描述主觀性強(qiáng)、效率低下等諸多缺陷，已經(jīng)不能適應(yīng)海量視頻檢索的需求了，如何有效得存儲(chǔ)、組織、管理、瀏覽和檢索視頻信息成為一個(gè)關(guān)鍵問(wèn)題?；趦?nèi)容的視頻檢索為解決這個(gè)難題提供了一條可行途徑，視頻檢索和摘要技術(shù)是近年來(lái)的兩大熱點(diǎn)，而視頻關(guān)鍵幀的提取技術(shù)在視頻檢索研究中占據(jù)著核心地位。視頻關(guān)鍵幀是一段視頻中包含重要視頻內(nèi)容的一組離散的幀序列，視頻關(guān)鍵幀提取就是依據(jù)鏡頭內(nèi)容的復(fù)雜程度，從鏡頭中提取一個(gè)或多個(gè)關(guān)鍵幀，從而用少量的幀來(lái)代替鏡頭的內(nèi)容，它是視頻檢索和摘要的基本步驟。目前常用的視頻關(guān)鍵幀提取方法歸納起來(lái)主要有以下四類(lèi)基于鏡頭邊界法、基于運(yùn)動(dòng)分析法、基于視覺(jué)內(nèi)容法、基于聚類(lèi)分析法。鏡頭邊界法是最直接最簡(jiǎn)單的關(guān)鍵幀提取方法，一段視頻流被分割成若干鏡頭后，選取每個(gè)鏡頭的首幀、中間幀或者尾幀作為鏡頭的關(guān)鍵幀。這種方法設(shè)計(jì)簡(jiǎn)單，運(yùn)算量小，適合內(nèi)容簡(jiǎn)單或固定場(chǎng)景的鏡頭。但對(duì)于較為復(fù)雜的場(chǎng)景，這樣提取的鏡頭代表幀往往并非真正的關(guān)鍵幀，不能精確得代表鏡頭的信息。同時(shí)該方法受前期鏡頭分割工作的影響很大，分割效果不好，此方法選擇的關(guān)鍵幀更加雜亂。運(yùn)動(dòng)分析法可以根據(jù)鏡頭的結(jié)構(gòu)選擇相應(yīng)數(shù)目的關(guān)鍵幀，一般都是基于光流運(yùn)算的，通過(guò)光流分析來(lái)計(jì)算鏡頭中的運(yùn)動(dòng)量，在運(yùn)動(dòng)量取局部最小值處選取關(guān)鍵幀。但這種方法計(jì)算量較大，實(shí)時(shí)性較差，而且基于光流算法的局部最小值也不一定準(zhǔn)確。視覺(jué)內(nèi)容法基于每一幀的顏色、紋理等視覺(jué)信息的改變來(lái)提取關(guān)鍵幀，當(dāng)這些信息有顯著變化時(shí)，當(dāng)前幀即可作為關(guān)鍵幀。此方法可以根據(jù)鏡頭內(nèi)容的變化程度選擇相應(yīng)數(shù)目的關(guān)鍵幀，但選取的幀不一定能放映鏡頭的內(nèi)容，而且容易獲取過(guò)多的關(guān)鍵幀。聚類(lèi)分析法綜合考慮鏡頭內(nèi)和鏡頭間的相關(guān)性，通過(guò)聚類(lèi)那些在時(shí)間、內(nèi)容上相關(guān)度很高的幀圖像，將視頻序列劃分為不同的聚類(lèi)，然后選取其中最不相關(guān)的離散幀作為鏡頭關(guān)鍵幀。聚類(lèi)方法計(jì)算效率高，能有效獲取視頻鏡頭變化顯著的視覺(jué)內(nèi)容，但不能有效地保存原鏡頭內(nèi)圖像幀的圖像順序和動(dòng)態(tài)信息。

發(fā)明內(nèi)容
本發(fā)明的目的就在于為了解決上述問(wèn)題而提供的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，這種視頻關(guān)鍵幀提取方法能夠從大量的、不同類(lèi)型的、不同分辨率的視頻內(nèi)容中快速、準(zhǔn)確的提取出關(guān)鍵幀序列，同時(shí)有效避免冗余并可以控制關(guān)鍵幀的數(shù)量。為了達(dá)到上述目的，本發(fā)明采用了以下技術(shù)方案本發(fā)明所述一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法包括以下流程加載視頻數(shù)據(jù)流一對(duì)視頻流進(jìn)行單幀掃描一對(duì)得到的幀圖像進(jìn)行色彩量化，提取量化后的幀圖像的主色彩特征一計(jì)算相鄰幀間相似度，得到相鄰幀差一根據(jù)相鄰幀差進(jìn)行鏡頭邊界檢測(cè)—對(duì)分割的鏡頭進(jìn)行鏡頭分類(lèi)，提取每個(gè)鏡頭的代表幀一對(duì)代表幀序列進(jìn)行壓縮聚類(lèi)，得到關(guān)鍵巾貞序列。所述流程中，對(duì)幀圖像進(jìn)行色彩量化，提取幀圖像主色彩特征的方法為設(shè)Ci是顏色空間中的一個(gè)三維向量，可以是RGB、HSV等顏色空間)，Cinput = {Ci，i = 1,2,... ,N}表示單幀掃描后得到的幀圖像顏色的集合，其中N表示顏色的數(shù)目，Cratput = lc' j, j = 1，2，. . .，K} (K << N)表示色彩量化后得到的索引圖像的顏色集合，即為單幀圖像的主色彩特征。色彩量化是一個(gè)映射過(guò)程q Cinput — Coutput(式 I)本發(fā)明中采用基于八叉樹(shù)結(jié)構(gòu)的色彩量化算法，遵循距離最近準(zhǔn)則單幀掃描后得到的幀圖像中的任一顏色c將被映射到索引圖像顏色集合Cwtput中距離最近的顏色c'，即c' =q(c):||c-c' | = minj = l,2,k| |c-c' J|| (式 II)同時(shí)，在顏色集合Cinput中得到K個(gè)聚類(lèi)Sk，k = 1,2, ... ,KSk = {c ∈ Cinput | q (c) = C' k}(式 III)式III中，c',為K個(gè)聚類(lèi)的聚類(lèi)中心，它們組成索引圖像的顏色集合，即提取出的主色彩特征。本發(fā)明中對(duì)單幀圖像的色彩量化，提取主色彩特征主要分為以下3個(gè)步驟1)色彩八叉樹(shù)的建立。從根結(jié)點(diǎn)開(kāi)始，取R、G、B分量二進(jìn)制值的第7位，組合在一起形成一個(gè)3位的索引值，索引值范圍為0-7，分別對(duì)應(yīng)于8個(gè)子結(jié)點(diǎn)；尋找到下一層結(jié)點(diǎn)后，取下R、G、B值的下一位進(jìn)行組合，得到索引值；以此類(lèi)推，就可查找到每種顏色對(duì)應(yīng)的葉子結(jié)點(diǎn)，從而建立八叉樹(shù)，在每個(gè)結(jié)點(diǎn)上記錄所有經(jīng)過(guò)的結(jié)點(diǎn)的RGB值的總和以及RGB顏色個(gè)數(shù)。2)八叉樹(shù)的歸并。插入的過(guò)程中，如果葉子結(jié)點(diǎn)數(shù)超過(guò)了總顏色數(shù)(本發(fā)明中葉子結(jié)點(diǎn)總數(shù)設(shè)為K)，就需要?dú)w并一些葉子結(jié)點(diǎn)。本發(fā)明中從最底層葉結(jié)點(diǎn)開(kāi)始合并，按結(jié)點(diǎn)計(jì)數(shù)值小的優(yōu)先合并策略，將其子結(jié)點(diǎn)的所有RGB分量以及結(jié)點(diǎn)計(jì)數(shù)全部記錄到該結(jié)點(diǎn)中，并刪除其所有子結(jié)點(diǎn)，依此進(jìn)行，直到合并后的葉子數(shù)符合要求為止。此時(shí)，取出葉子結(jié)點(diǎn)中的RGB分量的平均值(分量總和、結(jié)點(diǎn)個(gè)數(shù))，得到的調(diào)色板顏色值。3)圖像色彩量化。重新掃描單幀圖像，由每個(gè)像素的顏色值查找到色彩八叉樹(shù)中的對(duì)應(yīng)的葉子結(jié)點(diǎn)，用葉子結(jié)點(diǎn)中記錄的調(diào)色板索引值表示該像素，從而提取出該單幀圖像的主色彩特征，并用主色彩特征重新表示圖像，得到色彩量化后的新圖像。所述流程中，計(jì)算相鄰幀間相似度，得到相鄰幀差的方法為采用基于聚類(lèi)顏色特征的相似度計(jì)算方法，具體步驟為(1)對(duì)任意兩幀圖像Ia和Ib通過(guò)基于八叉樹(shù)的顏色量化算法分別將圖像所有顏色相似的象素歸為一類(lèi)，假設(shè)圖像、和Ib分別得到ωΑ和ωΒ(ωΑ=ΝΑ，ωΒ=ΝΒ)種不同顏色的歸類(lèi)。(2)在RGB顏色空間中計(jì)算兩個(gè)象素Pi和Pj的顏色歐式距離(Iij為
權(quán)利要求
1.一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于包括以下流程力口載視頻數(shù)據(jù)流一對(duì)視頻流進(jìn)行單幀掃描一對(duì)得到的幀圖像進(jìn)行色彩量化，提取量化后的幀圖像的主色彩特征一計(jì)算相鄰幀間相似度，得到相鄰幀差一根據(jù)相鄰幀差進(jìn)行鏡頭邊界檢測(cè)一對(duì)分割的鏡頭進(jìn)行鏡頭分類(lèi)，提取每個(gè)鏡頭的代表幀一對(duì)代表幀序列進(jìn)行壓縮聚類(lèi)，得到關(guān)鍵巾貞序列。
2.根據(jù)權(quán)利要求1所述的所述的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于所述流程——對(duì)得到的幀圖像進(jìn)行色彩量化，提取量化后的幀圖像的主色彩特征的方法為 設(shè)Ci是顏色空間中的一個(gè)三維向量，可以是RGB、HSV等顏色空間)，Cinput = {Ci，i =1,2, ...,N}表示單幀掃描后得到的幀圖像顏色的集合，其中N表示顏色的數(shù)目，Cratput =lc' j, j = 1，2，...，K}(K<<N)表示色彩量化后得到的索引圖像的顏色集合，即為單幀圖像的主色彩特征。色彩量化是一個(gè)映射過(guò)程 Q : Cinput C0Utput 本發(fā)明中采用基于八叉樹(shù)結(jié)構(gòu)的色彩量化算法，遵循距離最近準(zhǔn)則單幀掃描后得到的幀圖像中的任一顏色c將被映射到索引圖像顏色集合Cwtput中距離最近的顏色c'，即 C1 = q(c) I \c-c' I I = minJ = 1,2,...,k| |c-c' J 同時(shí)，在顏色集合Cinput中得到K個(gè)聚類(lèi)Sk, k= 1,2,... ,K Sk = {c e Cinput I q (c) = c' J c',為K個(gè)聚類(lèi)的聚類(lèi)中心，它們組成索引圖像的顏色集合，即提取出的主色彩特征。
3.根據(jù)權(quán)利要求1所述的所述的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于所述流程——對(duì)得到的幀圖像進(jìn)行色彩量化，提取量化后的幀圖像的主色彩特征主要采用基于八叉樹(shù)結(jié)構(gòu)的色彩量化算法，分為以下3個(gè)步驟 (1)色彩八叉樹(shù)的建立。從根結(jié)點(diǎn)開(kāi)始，取R、G、B分量二進(jìn)制值的第7位，組合在一起形成一個(gè)3位的索引值，索引值范圍為0-7，分別對(duì)應(yīng)于8個(gè)子結(jié)點(diǎn)；尋找到下一層結(jié)點(diǎn)后，取下R、G、B值的下一位進(jìn)行組合，得到索引值；以此類(lèi)推，就可查找到每種顏色對(duì)應(yīng)的葉子結(jié)點(diǎn)，從而建立八叉樹(shù)，在每個(gè)結(jié)點(diǎn)上記錄所有經(jīng)過(guò)的結(jié)點(diǎn)的RGB值的總和以及RGB顏色個(gè)數(shù)。
(2)八叉樹(shù)的歸并。插入的過(guò)程中，如果葉子結(jié)點(diǎn)數(shù)超過(guò)了總顏色數(shù)(本發(fā)明中葉子結(jié)點(diǎn)總數(shù)設(shè)為K)，就需要?dú)w并一些葉子結(jié)點(diǎn)。本發(fā)明中從最底層葉結(jié)點(diǎn)開(kāi)始合并，按結(jié)點(diǎn)計(jì)數(shù)值小的優(yōu)先合并策略，將其子結(jié)點(diǎn)的所有RGB分量以及結(jié)點(diǎn)計(jì)數(shù)全部記錄到該結(jié)點(diǎn)中，并刪除其所有子結(jié)點(diǎn)，依此進(jìn)行，直到合并后的葉子數(shù)符合要求為止。此時(shí)，取出葉子結(jié)點(diǎn)中的RGB分量的平均值(分量總和、結(jié)點(diǎn)個(gè)數(shù))，得到的調(diào)色板顏色值。
(3)圖像色彩量化。重新掃描單幀圖像，由每個(gè)像素的顏色值查找到色彩八叉樹(shù)中的對(duì)應(yīng)的葉子結(jié)點(diǎn)，用葉子結(jié)點(diǎn)中記錄的調(diào)色板索引值表示該像素，從而提取出該單幀圖像的主色彩特征，并用主色彩特征重新表示圖像，得到色彩量化后的新圖像。
4.根據(jù)權(quán)利要求1所述的所述的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于所述流程——計(jì)算相鄰幀間相似度，得到相鄰幀差的方法為采用基于聚類(lèi)顏色特征的相似度計(jì)算方法，具體步驟如下 (I)對(duì)任意兩幀圖像Ia和Ib通過(guò)基于八叉樹(shù)的顏色量化算法分別將圖像所有顏色相似的象素歸為一類(lèi)，假設(shè)圖像、和Ib分別得到ωΑ和ωΒ(ωΑ = ΝΑ，ωΒ = Nb)種不同顏色的歸類(lèi)。
(2)在RGB顏色空間中計(jì)算兩個(gè)象素Pi和P」的顏色歐式距離du為
5.根據(jù)權(quán)利要求1所述的所述的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于所述流程一根據(jù)相鄰幀差進(jìn)行鏡頭邊界檢測(cè)的方法為 在本發(fā)明中先通過(guò)鏡頭邊界系數(shù)Csb初步確定鏡頭的邊界，再根據(jù)相鄰幀差diff對(duì)初步定位的鏡頭進(jìn)一步掃描，精確定位鏡頭的邊界，從而提高鏡頭邊界檢測(cè)的查全率和查準(zhǔn)率。
定義第i幀的鏡頭邊界相似系數(shù)(Csbs)為
6.根據(jù)權(quán)利要求1所述的所述的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于所述流程——對(duì)分割的鏡頭進(jìn)行鏡頭分類(lèi)，提取每個(gè)鏡頭的代表幀的方法為當(dāng)相鄰幀差diff發(fā)生突變時(shí)，默認(rèn)分割的鏡頭為普通鏡頭，提取該鏡頭最中間的一幀作為鏡頭的代表幀，只提取與該鏡頭起始幀距離最大即圖像內(nèi)容變化程度最高的幀作為該鏡頭的代表幀。
7.根據(jù)權(quán)利要求1所述的所述的一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，其特征在于所述流程一對(duì)代表幀序列進(jìn)行壓縮聚類(lèi)，得到關(guān)鍵幀序列的方法為 通過(guò)K-均值聚類(lèi)法將代表幀序列壓縮至要求的數(shù)量以達(dá)到一定的壓縮比，同時(shí)消除冗余選取現(xiàn)象。設(shè)要提取關(guān)鍵幀的鏡頭的代表幀集合為F = {f1；fn}，根據(jù)基于聚類(lèi)顏色特征的相似度計(jì)算方法定義代表幀集合F中代表幀和&間的距離(Kfi, fj)=diff (fi； fj),設(shè)簇類(lèi)中心為 M 個(gè)p1; p2, , ρΜ。
目標(biāo)函數(shù)定義為
8.根據(jù)權(quán)利要求4所述在計(jì)算相鄰幀間相似度，得到相鄰幀差的步驟(3)中，其特征在于RGB顏色空間中兩個(gè)象素Pi和P」的顏色相似度與其顏色歐式距離之間關(guān)系采用高斯函數(shù)進(jìn)行擬合 高斯函數(shù)擬合象素點(diǎn)顏色相似度函數(shù)曲線全文摘要
本發(fā)明公開(kāi)了一種基于色彩量化和聚類(lèi)的視頻關(guān)鍵幀提取方法，包括以下流程加載視頻數(shù)據(jù)流→對(duì)視頻流進(jìn)行單幀掃描→對(duì)得到的幀圖像進(jìn)行色彩量化，提取量化后的幀圖像的主色彩特征→計(jì)算相鄰幀間相似度，得到相鄰幀差→根據(jù)相鄰幀差進(jìn)行鏡頭邊界檢測(cè)→對(duì)分割的鏡頭進(jìn)行鏡頭分類(lèi)，提取每個(gè)鏡頭的代表幀→對(duì)代表幀序列進(jìn)行壓縮聚類(lèi)，得到關(guān)鍵幀序列。本發(fā)明先對(duì)單幀圖像進(jìn)行色彩量化提取圖像主色彩，采用基于聚類(lèi)顏色特征的相似度計(jì)算方法進(jìn)行幀差計(jì)算，從而實(shí)現(xiàn)鏡頭邊界檢測(cè)，最后對(duì)提取出的代表性幀序列按壓縮比進(jìn)行聚類(lèi)，整個(gè)過(guò)程對(duì)視頻格式、類(lèi)型依賴性低，具有良好的通用性和適應(yīng)性，計(jì)算簡(jiǎn)單、空間耗費(fèi)低，同時(shí)能有效避免關(guān)鍵幀選取冗余的現(xiàn)象并可以控制關(guān)鍵幀的數(shù)量、質(zhì)量，并實(shí)現(xiàn)對(duì)視頻壓縮比的控制。
文檔編號(hào)G06K9/62GK103065153SQ20121054458
公開(kāi)日2013年4月24日 申請(qǐng)日期2012年12月17日 優(yōu)先權(quán)日2012年12月17日
發(fā)明者吳亞?wèn)|, 王松, 韓永國(guó), 陳永輝 申請(qǐng)人:西南科技大學(xué)