專利名稱：基于多特征分析的cg動畫視頻檢測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及的是一種圖像處理技術(shù)領(lǐng)域的方法，具體是一種基于多特征分析的CG 動畫視頻檢測方法。
背景技術(shù)：
目前，計(jì)算機(jī)圖形技術(shù)不斷受到動畫產(chǎn)業(yè)的關(guān)注，CG動畫成為各大游戲公司、動畫 工作室的熱門開發(fā)領(lǐng)域。這一趨勢也造成了網(wǎng)絡(luò)上動畫視頻類型的多樣化，為了用戶檢索 的方便性，大量的動畫視頻庫需要人為地添加文字標(biāo)簽來定義動畫類型。這樣繁瑣重復(fù)性 的人力勞動消耗了大量人力，同時(shí)，對于動畫類型的分類由于沒有可靠的數(shù)據(jù)分析，有時(shí)人 為的判斷誤區(qū)也會造成素材的分類錯(cuò)誤。此檢測方法從動態(tài)效果制作方式和靜態(tài)圖像制作 方式兩方面分別檢測是否用到計(jì)算機(jī)技術(shù)，以此獲得一個(gè)CG動畫的過濾系統(tǒng)。以上的檢測 結(jié)果還可結(jié)合分類器對傳統(tǒng)與CG動畫進(jìn)行大批量分類處理，相比人為標(biāo)注文字標(biāo)簽，計(jì)算 機(jī)自主分析分類素材的效率更高，也更具準(zhǔn)確性。動畫產(chǎn)業(yè)在制作方式上基本分成兩大板塊傳統(tǒng)動畫與CG (計(jì)算機(jī)圖形學(xué))動畫。 其關(guān)鍵區(qū)別在于在制作過程中是否用到計(jì)算機(jī)技術(shù)。在動態(tài)效果制作方面，傳統(tǒng)動畫采 用逐幀繪制法，將連續(xù)動作拆分繪圖后連續(xù)播放，通過視覺延時(shí)造成動態(tài)效果；CG動畫運(yùn) 用了關(guān)鍵幀技術(shù)，其原理是將動作的關(guān)鍵變換點(diǎn)繪制后定義為關(guān)鍵幀圖像，之后通過電腦 計(jì)算得出各幀間應(yīng)有的形狀變換或位移變化軌跡，自動完成插幀、補(bǔ)幀以達(dá)到動態(tài)視覺效 果。在單幀圖像制作方面，傳統(tǒng)動畫將不同層的上色賽璐璐片疊加好后進(jìn)行拍攝，拍好的底 片再送至沖印公司沖洗，這樣的拍攝方式會造成一定的色彩流失，從而使色彩及畫質(zhì)都比 較粗糙；而CG動畫的制作均在電腦中完成，其上色方式對于單一顏色能達(dá)到涂色均勻的效 果，可對于漸變和陰影效果就顯得較為生硬。經(jīng)過對現(xiàn)有技術(shù)的檢索發(fā)現(xiàn)，中國專利文獻(xiàn)號CN1570972，
公開日2005_1_26，記 載了一種“基于圖像紋理特征的圖像檢索方法”，該技術(shù)涉及一種基于圖像紋理特征的圖 像檢索方法，將圖像數(shù)據(jù)看作是區(qū)域化變量，反映圖像像素的結(jié)構(gòu)性，和圖像數(shù)據(jù)的統(tǒng)計(jì)特 性。中國專利文獻(xiàn)號CN101604325，
公開日2009-12-16，該技術(shù)提出一個(gè)基于主場景鏡頭關(guān) 鍵幀的體育視頻分類方法。該方法只采用主場景進(jìn)行體育分類，而不是整個(gè)視頻的幀來代 表體育視頻來做分類，有效的降低了視頻分類的計(jì)算量。最后用SVM分類器對主場景鏡頭 關(guān)鍵幀進(jìn)行分類，具有很高的體育視頻分類準(zhǔn)確性。上述技術(shù)分別涉及了紋理提取和視頻 分類，但對于動畫領(lǐng)域的分類都未涉及到，且分類技術(shù)也只牽涉到單一的靜態(tài)描述子，對于 運(yùn)動和紋理描述子的共同運(yùn)用沒有涉及。進(jìn)一步檢索發(fā)現(xiàn)，2009年發(fā)表的論文《Action Recognition via Local Descriptors andHolistic Features》中有提及了關(guān)于局部描述子對運(yùn)動的動作進(jìn)行區(qū) 分，但此論文主要涉及辨別動作的運(yùn)動描述子而并未涉及有關(guān)動畫中區(qū)分逐幀制作和關(guān)鍵 幀制作的運(yùn)動描述子。目前對于此兩種動畫的分類和檢索大多采用傳統(tǒng)的基于文本的分類方式，即首先通過人工注釋等方法為視頻賦予文本信息，然后用傳統(tǒng)信息檢索技術(shù)進(jìn)行文件的檢索。但 這種數(shù)據(jù)庫的建立需要額外的空間及人力的標(biāo)注更新。對于龐大的動畫素材庫，這樣的分 類方式耗費(fèi)資源較大。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提供一種基于多特征分析的CG動畫視頻 檢測方法，通過對運(yùn)動和紋理描述子的提取，最終區(qū)分出動態(tài)圖象在制作過程中是否用到 了 CG動畫技術(shù)，即計(jì)算機(jī)圖形技術(shù)。本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明包括以下步驟第一步，通過提取動畫視頻流中相鄰幀間的RGB數(shù)值，計(jì)算得到整個(gè)動畫視頻流 的運(yùn)動強(qiáng)度，過濾掉動態(tài)制作方式屬于非CG技術(shù)的視頻流，具體步驟為1. 1)提取該動畫視頻流中第j幀和第j+Ι幀之間的R，G，B顏色差值，提取公式如 下Mj-Kf+(G1 -G;y+(B1 -B)2 jn其中j表示該視頻流的第j幀，η表示第j幀一共包含的像素，RpGpBi分別對應(yīng) 前一幀第i個(gè)像素的R、G、B分量，Ri*, GA Bi*分別對應(yīng)后一幀第i個(gè)像素的R，G，B分量。1.2)計(jì)算整個(gè)動畫視頻流的運(yùn)動強(qiáng)度Μ，Μ = |;Λ^/-1，其中t表示動畫視頻流
H /
的總幀數(shù)。1.3)根據(jù)所得的M值與閾值T1比較。由于關(guān)鍵幀技術(shù)在插幀數(shù)量上相比人為插 幀較多，因而相鄰幀的RGB變化量不大。通過實(shí)驗(yàn)和理論結(jié)合有以下定義當(dāng)M大于T1時(shí)，則該動畫視頻流在動態(tài)制作方式上沒有用到關(guān)鍵幀輔助，即不屬 于CG動畫；若M小于T1時(shí)，則該動畫視頻流用到了關(guān)鍵幀技術(shù)，但仍需進(jìn)行下一步紋理檢 測，鑒別單幀圖像制作是否也用到計(jì)算機(jī)圖形技術(shù)。所述的閾值為5.5彡T1彡6.5。所述的閾值是指通過樣本測試后，根據(jù)數(shù)據(jù)分布得到的閾值范圍。第二步，讀入上一步中檢測結(jié)果為使用關(guān)鍵幀技術(shù)的動畫視頻流，利用程序截取 關(guān)鍵幀圖片，并提取關(guān)鍵幀圖片的紋理特征得到特征向量，之后通過支持向量機(jī)進(jìn)行判斷 處理獲得特征向量的樣本類型，檢測是否運(yùn)用計(jì)算機(jī)圖形技術(shù)制作圖像，過濾掉非CG類圖 像制作的動畫視頻流，剩下的動畫視頻流即為CG動畫。所述的樣本類型是使用電腦軟件上色的CG動畫和依靠人為手繪的傳統(tǒng)動畫。所述的關(guān)鍵幀圖片是指利用FFmpeg函數(shù)提取動畫視頻流的關(guān)鍵幀圖片。所述的FFmpeg函數(shù)為開源免費(fèi)跨平臺的視頻和音頻流方案。其關(guān)鍵幀提取流程 是對接收到的視頻流數(shù)據(jù)進(jìn)行解碼。得到的信息中包含視頻流的三種分類I幀，P幀，B幀， 其中I幀也就是關(guān)鍵幀(即基礎(chǔ)幀)，P幀根據(jù)I幀確定，而B幀根據(jù)前兩者確定信息。所述的關(guān)鍵幀為該動畫視頻流的中間幀。所述的計(jì)算機(jī)圖形技術(shù)為使用計(jì)算機(jī)軟件為輔助工具生成電子圖像。所述的圖像紋理特征為局部二進(jìn)制特征(LBP)。
5
所述的提取關(guān)鍵幀圖片的紋理特征是指提取關(guān)鍵幀圖片中的任意像素f (χ，y)，
取該像素的灰度值g。為閾值，對其周圍3X3窗口內(nèi)的8個(gè)點(diǎn)gQ........g7的像素值進(jìn)行
二值化處理，得到一個(gè)八位的二進(jìn)制數(shù)，并對該八位的二進(jìn)制數(shù)按像素不同位置進(jìn)行加權(quán)
求和，得到每個(gè)像素的LBP值=坌啦-gc)2'，其中=H ^ =，0 < LBP (xc,
i=o.St(X) — U7X < U
y。)( 255，統(tǒng)計(jì)整個(gè)圖像所有像素的LBP值的直方圖，即統(tǒng)計(jì)每個(gè)LBP值出現(xiàn)的次數(shù)，這樣 就得到256維LBP特征向量，最后將每張關(guān)鍵幀圖片提取到的LBP特征向量拼合。所述的向量拼合是指將每張關(guān)鍵幀圖片的得到的256維的特征向量文檔合并成 一個(gè)文檔，然后輸出給文類器進(jìn)行后續(xù)分類。所述的通過支持向量機(jī)(SVM)進(jìn)行判斷處理的具體步驟為a.建立訓(xùn)練文件，此文件中包含樣本類型Cp C2。b.使用線性判別函數(shù)g(x) =wTX+w0。^g(χ) >0，則判定χ屬于Cl，當(dāng)g(χ) <0，則判定χ屬于C2，當(dāng)g(x) =0，則將 χ任意，分到某一類或者拒絕判定。其中Χ為測試文件。所述的訓(xùn)練文件是指從網(wǎng)上下載的已確定類型的CG動畫和傳統(tǒng)動畫，通過上述 的紋理特征提取過程獲得的256維向量。將CG動畫向量標(biāo)記為正樣本，傳統(tǒng)動畫向量標(biāo)記 為負(fù)樣本。完成上述步驟后，將以上向量文檔拼合為一個(gè)文件后成功建立訓(xùn)練文件。第三步，結(jié)合分類器可對上兩步中被過濾掉的非CG動畫的視頻流進(jìn)行檢測分析3. 1)對于第二步中，檢測結(jié)果顯示為屬于傳統(tǒng)動畫樣本類型的視頻定義為圖像制 作運(yùn)用傳統(tǒng)手繪技術(shù)。3. 2)對第一步中，排除為CG制作的動畫視頻流進(jìn)行紋理檢測，其檢測步驟與第二 步操作過程一致。若紋理檢測結(jié)果顯示該視頻的圖像制作屬于傳統(tǒng)動畫樣本類型，則定義 該動畫視頻在圖像制作上運(yùn)用了傳統(tǒng)手繪技術(shù)；若檢測結(jié)果顯示為CG動畫樣本類型，則定 義該動畫視頻在圖像制作上用到計(jì)算機(jī)圖形技術(shù)。第四步，通過界面工具顯示視頻制作方式的詳細(xì)信息，并給出該動畫視頻相應(yīng)的 所屬類型。所述的界面工具為C#或其他工具編譯的用戶操作界面，將以上對動畫視頻流的 檢測結(jié)果顯示在操作窗口內(nèi)，并由此檢測結(jié)果給出相應(yīng)的動畫所屬類型。所述的分類器為根據(jù)動態(tài)檢測和靜態(tài)檢測結(jié)果，根據(jù)編譯時(shí)設(shè)定的分類標(biāo)準(zhǔn)給出 動畫視頻流的類型。所述的類型有CG動畫、傳統(tǒng)動畫和中間過渡類動畫。所述的CG動畫是指在動態(tài)制作上用到了關(guān)鍵幀技術(shù)，此外每幀圖像是由電腦軟 件制作。所述的傳統(tǒng)動畫是指在動態(tài)制作上采用的逐幀繪制(即沒有用到關(guān)鍵幀技術(shù))， 此外每幀的圖像也是全由手繪完成。所述的中間過渡類動畫是指在動態(tài)制作上用到了關(guān)鍵幀技術(shù)，而每幀的圖像是 由手繪完成；或是在動態(tài)制作上用的是逐幀制作，而每幀的圖像是通過電腦軟件制作的。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是實(shí)現(xiàn)了計(jì)算機(jī)自主識別動畫類型，拋開了 以往通過視頻附帶的文字標(biāo)簽來識別類型的局限方式，達(dá)到自動過濾非CG動畫的系統(tǒng)效
6果。在結(jié)合分類器后，面對大批量素材分類時(shí)，能夠通過計(jì)算機(jī)自動讀入視頻并識別制作方 式。相比于人工逐步為視頻添加文字標(biāo)簽的重復(fù)勞動，計(jì)算機(jī)自助處理大批量素材的分類 無疑能為資料整理、素材庫規(guī)劃等領(lǐng)域節(jié)省大量勞動力。此外，依靠數(shù)據(jù)分析的準(zhǔn)確性，能 夠解決人眼判別的主觀誤差，如網(wǎng)絡(luò)視頻信息經(jīng)常會將以軟膠模型制作的定格動畫與3D 技術(shù)制作的動畫混淆，而以上兩類動畫分別屬于傳統(tǒng)動畫和CG動畫類型。此技術(shù)的引入大 大改善以上人為造成的分類誤區(qū)，提高素材分類的準(zhǔn)確性，同時(shí)可方便一些用戶了解到動 畫視頻的詳細(xì)制作信息，由于動畫相比于普通動漫，不僅牽涉到單幅圖片的制作，還涉及到連續(xù)畫面播放 的制作技術(shù)，光從靜態(tài)或動態(tài)單方面確定制作方式，并由此定義出動畫類型會降低分類的 精確度。本發(fā)明通過運(yùn)動和紋理兩方面特征提取，能夠?qū)赢嬙谥谱鞣绞缴辖o出更為細(xì)化 檢測結(jié)果，為分類器提供準(zhǔn)確性更高的數(shù)據(jù)信息，在此檢測技術(shù)的支持下分類準(zhǔn)確率不小 于 95%。


圖1是本發(fā)明提取紋理特征的流程圖。圖2是本發(fā)明提取運(yùn)動特征的流程圖。圖3是本發(fā)明設(shè)計(jì)的CG動畫過濾系統(tǒng)并結(jié)合分類器進(jìn)行素材分類的流程圖。
具體實(shí)施例方式下面對本發(fā)明的實(shí)施例作詳細(xì)說明，本實(shí)施例在以本發(fā)明技術(shù)方案為前提下進(jìn)行 實(shí)施，給出了詳細(xì)的實(shí)施方式和具體的操作過程，但本發(fā)明的保護(hù)范圍不限于下述的實(shí)施 例。本實(shí)施例包括以下步驟第一步，建立訓(xùn)練樣本，以便之后的SVM分類測試。具體步驟為1. 1)在網(wǎng)上下載動畫視頻素材，素材為已確定類型的CG動畫和傳統(tǒng)動畫。1. 2)提取動畫素材的關(guān)鍵幀圖片。1.3)提取圖片的LBP特征向量，并拼合為一個(gè)txt文件，此文件即為訓(xùn)練樣本。其 中，CG動畫作為正樣本，標(biāo)記1 ；傳統(tǒng)動畫作為負(fù)樣本，標(biāo)記為2。1. 4)訓(xùn)練樣本文件通過支持向量機(jī)(SVM)建立文件train, range, train, model。 此步驟的最終效果是將訓(xùn)練文件預(yù)先保存在臨時(shí)文件中，縮短了 SVM在之后測試中的運(yùn)行 時(shí)間。所述的train為之前的建立的訓(xùn)練樣本的文件名，后綴range，model都為SVM在 測試過程中產(chǎn)生的文件。第二步，提取待分類的動畫視頻流，并進(jìn)行分割，得到若干視頻片段。所述的分割處理具體步驟為截取動畫視頻流的中間關(guān)鍵部分，片頭及結(jié)尾處的 黑屏、字幕等段落去除。第三步，將截取的動畫視頻流段，提取運(yùn)動特征，過濾掉動態(tài)制作非CG技術(shù)的動 畫視頻。
7
所述的運(yùn)動特征提取的具體步驟為3. 1)讀入動畫視頻流，并對每幀提取RGB值。3. 2)根據(jù)所得的前一幀與后一幀的RGB值，進(jìn)行公式計(jì)算。提取公式如下
權(quán)利要求
一種基于多特征分析的CG動畫視頻檢測方法，其特征在于，包括以下步驟第一步，通過提取動畫視頻流中相鄰幀間的RGB數(shù)值，計(jì)算得到整個(gè)動畫視頻流的運(yùn)動強(qiáng)度，過濾掉動態(tài)制作方式屬于非CG技術(shù)的視頻流；第二步，讀入上一步中檢測結(jié)果為使用關(guān)鍵幀技術(shù)的動畫視頻流，利用程序截取關(guān)鍵幀圖片，并提取關(guān)鍵幀圖片的紋理特征得到特征向量，之后通過支持向量機(jī)進(jìn)行判斷處理獲得特征向量的樣本類型，檢測是否運(yùn)用計(jì)算機(jī)圖形技術(shù)制作圖像，過濾掉非CG類圖像制作的動畫視頻流，剩下的動畫視頻流即為CG動畫；第三步，結(jié)合分類器對上兩步中被過濾掉的非CG動畫的視頻流進(jìn)行檢測分析3.1)對于第二步中，檢測結(jié)果顯示為屬于傳統(tǒng)動畫樣本類型的視頻定義為圖像制作運(yùn)用傳統(tǒng)手繪技術(shù)；3.2)對第一步中，排除為CG制作的動畫視頻流進(jìn)行紋理檢測，其檢測步驟與第二步操作過程一致，當(dāng)紋理檢測結(jié)果顯示該視頻的圖像制作屬于傳統(tǒng)動畫樣本類型，則定義該動畫視頻在圖像制作上運(yùn)用了傳統(tǒng)手繪技術(shù)；當(dāng)檢測結(jié)果顯示為CG動畫樣本類型，則定義該動畫視頻在圖像制作上用到計(jì)算機(jī)圖形技術(shù)；第四步，通過界面工具顯示視頻制作方式的詳細(xì)信息，并給出該動畫視頻相應(yīng)的所屬類型。
2.根據(jù)權(quán)利要求1所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 第一步具體包括以下步驟1. 1)提取該動畫視頻流中第j幀和第j+Ι幀之間的R，G，B顏色差值，提取公式如下Mj =ΣΜ -K)2+^, -^f+iB, -B)2 卜其中j表示該視頻流的第j幀，η表示第j幀一共包含的像素，RpGpBi分別對應(yīng)前一 幀第i個(gè)像素的R、G、B分量，Ri*, GA Bi*分別對應(yīng)后一幀第i個(gè)像素的R，G，B分量；1.2)計(jì)算整個(gè)動畫視頻流的運(yùn)動強(qiáng)度Μ，Μ = |;Λ^/-1，其中t表示動畫視頻流的總H /幀數(shù)；1. 3)根據(jù)所得的M值與閾值T1比較當(dāng)M大于T1時(shí)，則該動畫視頻流在動態(tài)制作方式 上沒有用到關(guān)鍵幀輔助，即不屬于CG動畫；當(dāng)M小于T1時(shí)，則該動畫視頻流用到了關(guān)鍵幀 技術(shù)但仍需進(jìn)行下一步紋理檢測，鑒別單幀圖像制作是否也用到計(jì)算機(jī)圖形技術(shù)，其中閾 值為5. 5彡T1彡6. 5。
3.根據(jù)權(quán)利要求1所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 第二步中所述的關(guān)鍵幀為該動畫視頻流的中間幀；所述的圖像紋理特征為局部二進(jìn)制特 征。
4.根據(jù)權(quán)利要求1所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 提取關(guān)鍵幀圖片的紋理特征是指提取關(guān)鍵幀圖片中的任意像素f(x，y)，取該像素的灰度值g。為閾值，對其周圍3X3窗口內(nèi)的8個(gè)點(diǎn)gQ........g7的像素值進(jìn)行二值化處理，得到一個(gè)八位的二進(jìn)制數(shù)，并對該八位的二進(jìn)制數(shù)按像素不同位置進(jìn)行加權(quán)求和，得到每個(gè)像7S(X) = 1 χ > 0素的 LBP 值 1你汰,又)= YjSigl -gc)2'，其中=0x<o'°^LBP (Xc' Yc) ( 255，統(tǒng)計(jì)整個(gè)圖像所有像素的LBP值的直方圖，即統(tǒng)計(jì)每個(gè)LBP值出現(xiàn)的次數(shù)，這樣就得到256維LBP 特征向量，最后將每張關(guān)鍵幀圖片提取到的LBP特征向量拼合。
5.根據(jù)權(quán)利要求4所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 向量拼合是指將每張關(guān)鍵幀圖片的得到的256維的特征向量文檔合并成一個(gè)文檔，然后 輸出給文類器進(jìn)行后續(xù)分類。
6.根據(jù)權(quán)利要求1所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 通過支持向量機(jī)進(jìn)行判斷處理是指a.建立訓(xùn)練文件，此文件中包含樣本類型CpC2;b.使用線性判別函數(shù)g(x)= wTx+w0 g(x) >0，則判定乂屬于(1，當(dāng)800 <0，則 判定χ屬于C2，當(dāng)g(x) = 0，則將χ任意，分到某一類或者拒絕判定，其中χ為測試文件。
7.根據(jù)權(quán)利要求6所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 訓(xùn)練文件是指從網(wǎng)上下載的已確定類型的CG動畫和傳統(tǒng)動畫，通過上述的紋理特征提取 過程獲得的256維向量，將CG動畫向量標(biāo)記為正樣本，傳統(tǒng)動畫向量標(biāo)記為負(fù)樣本，并最終 將以上向量文檔拼合為一個(gè)文件后成功建立訓(xùn)練文件。
8.根據(jù)權(quán)利要求1所述的基于多特征分析的CG動畫視頻檢測方法，其特征是，所述的 分類器為根據(jù)動態(tài)檢測和靜態(tài)檢測結(jié)果，根據(jù)編譯時(shí)設(shè)定的分類標(biāo)準(zhǔn)給出動畫視頻流的類 型。
全文摘要
一種圖像處理技術(shù)領(lǐng)域的基于多特征分析的CG動畫視頻檢測方法，針對動畫制作方式，將動畫從靜態(tài)圖像和動態(tài)表現(xiàn)兩方面進(jìn)行特征提取，使動畫分類不再趨向于動漫的靜態(tài)分類方式；紋理特征基于多維向量，能更準(zhǔn)確地多方面判定動畫類型；兩種特征的綜合分析，更全面地考慮到了動畫在動靜兩態(tài)的制作方式，從而達(dá)到準(zhǔn)確的分類效果。本發(fā)明通過對運(yùn)動和紋理描述子的提取，最終區(qū)分出動態(tài)圖象在制作過程中是否用到了CG動畫技術(shù)，即計(jì)算機(jī)圖形技術(shù)。
文檔編號H04N7/26GK101977311SQ201010529008
公開日2011年2月16日 申請日期2010年11月3日 優(yōu)先權(quán)日2010年11月3日
發(fā)明者余佳敏, 孫錟鋒, 李榮杰, 蔣興浩, 趙妍 申請人:上海交通大學(xué)