專利名稱：一種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻領(lǐng)域，尤其涉及視頻動(dòng)態(tài)馬賽克處理領(lǐng)域。
背景技術(shù)：
手機(jī)視頻是通過手機(jī)上配置的攝像頭進(jìn)行拍攝而產(chǎn)生，由于手機(jī)的便攜性，大大提高了用戶使用的頻度，所以有很大的市場空間。然而，拍攝后的視頻往往都需要進(jìn)一步的編輯、剪接或處理后方可進(jìn)行合成回話。所以，用戶對手機(jī)視頻的再編輯有越來越多的要求。目前存在一些視頻中加入動(dòng)態(tài)馬賽克的技術(shù)，但大多針對計(jì)算機(jī)終端，在移動(dòng)設(shè)置終端，尤其是手機(jī)終端還沒有出現(xiàn)對視頻動(dòng)態(tài)馬賽克處理技術(shù)，包括了 單點(diǎn)局部馬賽克和多點(diǎn)局部馬賽克處理技術(shù)以及整體馬賽克處理技術(shù)。

發(fā)明內(nèi)容
本發(fā)明是針對現(xiàn)有技術(shù)所存在的缺憾而提出的解決方案，能實(shí)現(xiàn)對視頻畫面任意特征點(diǎn)做馬賽克效果。具有高效、智能、實(shí)時(shí)的特點(diǎn)。整個(gè)過程無需人為對視頻進(jìn)行二次干預(yù)。本發(fā)明基于人臉檢測技術(shù)、GPU圖像和視頻處理技術(shù)實(shí)現(xiàn)。具體而言，本發(fā)明提出了一種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法，主要包括以下步驟S101、通過訓(xùn)練圖集，創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫；S102、創(chuàng)建定時(shí)器，定時(shí)抓取視頻圖像幀數(shù)據(jù)；S103、對特征區(qū)域進(jìn)行監(jiān)測，并進(jìn)行圖像預(yù)處理；S104、將預(yù)處理的圖像和所述訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配，從而對特征區(qū)域進(jìn)行識別；S105、將識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換；S106、根據(jù)轉(zhuǎn)換后的幀數(shù)據(jù)生成視頻文件。根據(jù)本發(fā)明另一個(gè)方面，其中，在步驟SlOl中的所述創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫主要包括先載入訓(xùn)練圖片，并將訓(xùn)練圖片轉(zhuǎn)換為灰度圖片，建立預(yù)定迭代標(biāo)準(zhǔn)，并進(jìn)行PCA操作，并將操作后的訓(xùn)練圖片都保存在向量組成的數(shù)組中，然后將每一個(gè)操作后的訓(xùn)練圖片投影在PCA子空間上，并將結(jié)果保存在矩陣數(shù)組中，最后將訓(xùn)練結(jié)果保存在訓(xùn)練數(shù)據(jù)庫中。根據(jù)本發(fā)明另一個(gè)方面，其中，所述訓(xùn)練數(shù)據(jù)庫為XML文件。根據(jù)本發(fā)明另一個(gè)方面，其中，所述PCA操作進(jìn)一步包括將圖像向量經(jīng)過K-L變換后由高維向量轉(zhuǎn)換為低維向量，并形成低維線性向量空間，然后將所述訓(xùn)練圖片投影到該低維空間，用所得到的投影系數(shù)作為識別的特征向量。根據(jù)本發(fā)明另一個(gè)方面，其中，步驟S103中所述圖像預(yù)處理具體包括先用邊緣檢測器對視頻圖像進(jìn)行預(yù)處理，排除邊緣很少或者很多的區(qū)域，因?yàn)檫@樣的區(qū)域一般不含被檢測目標(biāo)。根據(jù)本發(fā)明另一個(gè)方面，其中，步驟S104中其中將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配進(jìn)一步包括在圖像中移動(dòng)搜索窗口，搜索窗口大小與訓(xùn)練圖片尺寸相同，檢測每一個(gè)位置來確定可能的目標(biāo)；加載訓(xùn)練集結(jié)果XML文件，將視頻圖像映射至PCA子空間，利用最近距離匹配方法，來判斷是否足夠靠特征區(qū)域空間，從而確定是否找到所述特征區(qū)域，并得到特征區(qū)域的位置和尺寸大小。根據(jù)本發(fā)明另一個(gè)方面，其中，步驟S105中識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換進(jìn)一步包括識別到特征區(qū)域，獲取特征區(qū)域的位置和尺寸，通過圖形處理器渲染把所述特征區(qū)域的像素放大或者疊加一塊大小相同的馬賽克圖層，從而實(shí)現(xiàn)了特征區(qū)域的馬賽克效果。此外，本發(fā)明還提出了一種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的裝置，主要包括視頻捕獲模塊用于獲取視頻信息；音頻捕獲模塊用于獲取音頻信息；數(shù)據(jù)顯示模塊用于對手機(jī)終端的視頻進(jìn)行預(yù)覽顯示；數(shù)據(jù)捕獲處理模塊用于從所述視頻捕獲模塊和音頻捕獲模塊分別獲取視頻或音頻信息，并對所述信息的特征區(qū)域進(jìn)行識別，獲取特征區(qū)域的位置和尺寸，通過圖形處理器渲染，對特征區(qū)域進(jìn)行馬賽克處理；視頻輸出模塊用于將數(shù)據(jù)捕獲處理模塊處理后的視頻信息和音頻捕獲模塊輸出的音頻信息進(jìn)行合并并輸出合并后的視頻文件；圖像輸出模塊用于輸出數(shù)據(jù)捕獲處理模塊處理后的圖片文件。根據(jù)本發(fā)明另一個(gè)方面，其中對特征區(qū)域進(jìn)行馬賽克處理具體為通過圖形處理器渲染把所述特征區(qū)域的像素放大或者疊加一塊大小相同的馬賽克圖層，從而實(shí)現(xiàn)了特征區(qū)域的馬賽克效果。根據(jù)本發(fā)明另一個(gè)方面，其中對所述信息的特征區(qū)域進(jìn)行識別具體為將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配，從而對特征區(qū)域進(jìn)行識別。根據(jù)本發(fā)明另一個(gè)方面，其中將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配具體為在圖像中移動(dòng)搜索窗口，搜索窗口大小與訓(xùn)練圖片尺寸相同，檢測每一個(gè)位置來確定可能的目標(biāo)；加載訓(xùn)練集結(jié)果XML文件，將視頻圖像映射至PCA子空間，利用最近距離匹配方法，來判斷是否足夠靠特征區(qū)域空間，從而確定是否找到所述特征區(qū)域，并得到特征區(qū)域的位置和尺寸大小。本發(fā)明通過使用了 GPU (圖形處理器)來處理每幀視頻圖像，能夠使得視頻在加入馬賽克后仍然流暢播放。有了本發(fā)明提出的技術(shù)方案，在處理視頻動(dòng)態(tài)多點(diǎn)特征馬賽克的處理，并能保持流暢度，成為可能。


下面結(jié)合附圖及具體實(shí)施例對本發(fā)明再作進(jìn)一步詳細(xì)的說明附圖1所示為本發(fā)明所提出的一種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法流程圖；附圖2所示為本發(fā)明所提出的一種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的裝置的方框圖。
具體實(shí)施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明通過構(gòu)建特征數(shù)據(jù)(例如人臉(正臉、側(cè)臉)，眼耳口鼻，上肢或者下肢等)識別系統(tǒng)，通過攝像頭對視頻數(shù)據(jù)進(jìn)行采集，利用訓(xùn)練好的Haar分類器，對采集的視頻圖像進(jìn)行匹配。通過GPU圖像和視頻處理技術(shù)，獲取每幀視頻圖像，對匹配特征部分進(jìn)行馬賽克渲染處理，最終組合成完整流暢的特效視頻。參見圖1，本發(fā)明的實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法主要包括以下步驟SlOl :通過訓(xùn)練圖集，創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫；S102 :創(chuàng)建定時(shí)器，定時(shí)抓取視頻圖像幀數(shù)據(jù)；S103 :對特征區(qū)域進(jìn)行監(jiān)測，并進(jìn)行圖像預(yù)處理；S104 :將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配，從而對特征區(qū)域識別；S105 :將識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換。S106 :根據(jù)轉(zhuǎn)換后的幀數(shù)據(jù)生成視頻文件。其中，在步驟SlOl中的所述創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫主要包括先載入訓(xùn)練圖片，并 將訓(xùn)練圖片轉(zhuǎn)換為灰度圖片，建立預(yù)定迭代標(biāo)準(zhǔn)，并進(jìn)行PCA操作，并將操作后的訓(xùn)練圖片都保存在向量組成的數(shù)組中，然后將每一個(gè)操作后的訓(xùn)練圖片投影在PCA子空間上，并將結(jié)果保存在矩陣數(shù)組中，最后將訓(xùn)練結(jié)果保存在訓(xùn)練數(shù)據(jù)庫中。其中，PCA操作進(jìn)一步包括將圖像向量經(jīng)過K-L變換后由高維向量轉(zhuǎn)換為低維向量，并形成低維線性向量空間，即特征子空間，然后將所述訓(xùn)練圖片投影到該低維空間，用所得到的投影系數(shù)作為識別的特征向量。識別所述訓(xùn)練圖片時(shí)，只需將待識別樣本的投影系數(shù)與數(shù)據(jù)庫中目標(biāo)樣本集的投影系數(shù)進(jìn)行比對，以確定與哪一類最近似。其中，S103中所述圖像預(yù)處理具體包括先用邊緣檢測器對視頻圖像進(jìn)行預(yù)處理，排除邊緣很少或者很多的區(qū)域，因?yàn)檫@樣的區(qū)域一般不含被檢測目標(biāo)。其中，步驟S104中其中將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配進(jìn)一步包括為了檢測視頻圖像的特征區(qū)域，可以在圖像中移動(dòng)搜索窗口，搜索窗口大小與訓(xùn)練圖片尺寸相同，檢測每一個(gè)位置來確定可能的目標(biāo)。加載訓(xùn)練集結(jié)果XML文件，將視頻圖像映射至PCA子空間，利用最近距離匹配方法，來判斷是否足夠靠近人臉空間，從而確定是否找到人臉。得到特征區(qū)域的位置和尺寸大小。其中，步驟S105中識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換進(jìn)一步包括識別到特征區(qū)域(例如人臉)，獲取特征區(qū)域的位置和尺寸，通過GPU(圖形處理器)渲染把所述特征區(qū)域的像素放大(或者疊加一塊大小相同的馬賽克圖層)，從而實(shí)現(xiàn)了特征區(qū)域的馬賽克效果。參加圖2，本發(fā)明提出實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的裝置20，主要包括視頻捕獲模塊201 :用于獲取視頻信息；首頻捕獲|吳塊202 :用于獲取首頻彳目息；數(shù)據(jù)顯示模塊203 :用于對手機(jī)前端的視頻進(jìn)行預(yù)覽顯示；數(shù)據(jù)捕獲處理模塊204 :用于從所述視頻捕獲模塊和音頻捕獲模塊獲取視頻或音頻信息，并對所述信息的對特征區(qū)域進(jìn)行識別，獲取特征區(qū)域的位置和尺寸，通過GPU渲染，對特征區(qū)域進(jìn)行馬賽克處理；視頻輸出模塊205 :用于將數(shù)據(jù)捕獲處理模塊處理后的視頻信息和音頻捕獲模塊輸出的音頻信息進(jìn)行合并并輸出合并后的視頻文件；
圖像輸出模塊206 :用于輸出數(shù)據(jù)捕獲處理模塊處理后的圖片文件。采用本發(fā)明的技術(shù)方案，可以在爆料題材視頻中，用手機(jī)拍攝一段爆料視頻，可以保護(hù)爆料者的鮮明特征，比如臉、特殊的軀體特征等，實(shí)時(shí)對特征部位進(jìn)行馬賽克處理，可以把爆料視頻在保護(hù)爆料者前提下發(fā)布出來。或者在搞笑視頻中，用手機(jī)拍攝一段搞笑的視頻，又不想暴露自己的容貌，可以將臉部打上馬賽克。從而實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法。在移動(dòng)設(shè)備上，對于視頻進(jìn)行每幀圖像馬賽克處理，效率一直是個(gè)大問題。目前更多的應(yīng)用是對單張圖片進(jìn)行局部特征檢測，而對于視頻的特征檢測，需要非常高效的方法，因此我們使用了 GPU (圖形處理器)來處理每幀視頻圖像，能夠使得視頻在加入馬賽克后仍然流暢播放。有了本發(fā)明提出的技術(shù)方案，在處理視頻動(dòng)態(tài)多點(diǎn)特征馬賽克的處理，并能保持流暢度，才成為可能。綜上所述，雖然本發(fā)明已以優(yōu)選實(shí)施例披露如上，然而其并非用以限定本發(fā)明。本發(fā)明所屬技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明的精神和范圍內(nèi)，可作各種變動(dòng)與修飾。因此，本發(fā)明的保護(hù)范圍當(dāng)視所附的權(quán)利要求所界定的范圍為準(zhǔn)。
權(quán)利要求
1.ー種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法，主要包括以下步驟 5101、通過訓(xùn)練圖集，創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫； 5102、創(chuàng)建定時(shí)器，定時(shí)抓取視頻圖像幀數(shù)據(jù)； 5103、對特征區(qū)域進(jìn)行監(jiān)測，并進(jìn)行圖像預(yù)處理； 5104、將預(yù)處理的圖像和所述訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配，從而對特征區(qū)域進(jìn)行識別； 5105、將識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換； 5106、根據(jù)轉(zhuǎn)換后的幀數(shù)據(jù)生成視頻文件。
2.如權(quán)利要求1所述的方法，其中，在步驟SlOl中的所述創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫主要包括先載入訓(xùn)練圖片，并將訓(xùn)練圖片轉(zhuǎn)換為灰度圖片，建立預(yù)定迭代標(biāo)準(zhǔn)，并進(jìn)行PCA操作，并將操作后的訓(xùn)練圖片都保存在向量組成的數(shù)組中，然后將每個(gè)操作后訓(xùn)練圖片投影在PCA子空間上，并將結(jié)果保存在矩陣數(shù)組中，最后將訓(xùn)練結(jié)果保存在訓(xùn)練數(shù)據(jù)庫中。
3.如權(quán)利要求2所述的方法，其中，所述訓(xùn)練數(shù)據(jù)庫為XML文件。
4.如權(quán)利要求2所述的方法，其中，所述PCA操作進(jìn)ー步包括將圖像向量經(jīng)過K-L變換后由高維向量轉(zhuǎn)換為低維向量，并形成低維線性向量空間，然后將所述訓(xùn)練圖片投影到該低維空間，用所得到的投影系數(shù)作為識別的特征向量。
5.如權(quán)利要求1所述的方法，其中，步驟S103中所述圖像預(yù)處理具體包括先用邊緣檢測器對視頻圖像進(jìn)行預(yù)處理，排除邊緣很少或者很多的區(qū)域。
6.如權(quán)利要求1所述的方法，其中，步驟S104中其中將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配進(jìn)ー步包括在圖像中移動(dòng)搜索窗ロ，搜索窗ロ大小與訓(xùn)練圖片尺寸相同，檢測每ー個(gè)位置來確定可能的目標(biāo)；加載訓(xùn)練集結(jié)果XML文件，將視頻圖像映射至PCA子空間，利用最近距離匹配方法，來判斷是否足夠靠特征區(qū)域空間，從而確定是否找到所述特征區(qū)域，并得到特征區(qū)域的位置和尺寸大小。
7.如權(quán)利要求1所述的方法，其中，步驟S105中識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換進(jìn)一步包括識別到特征區(qū)域，獲取特征區(qū)域的位置和尺寸，通過圖形處理器渲染把所述特征區(qū)域的像素放大或者疊加ー塊大小相同的馬賽克圖層，從而實(shí)現(xiàn)了特征區(qū)域的馬賽克效果。
8.ー種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的裝置，主要包括 視頻捕獲模塊用于獲取視頻信息； 音頻捕獲模塊用于獲取音頻信息； 數(shù)據(jù)顯示模塊用于對手機(jī)終端的視頻進(jìn)行預(yù)覽顯示； 數(shù)據(jù)捕獲處理模塊用于從所述視頻捕獲模塊和音頻捕獲模塊分別獲取視頻或音頻信息，并對所述信息的特征區(qū)域進(jìn)行識別，獲取特征區(qū)域的位置和尺寸，通過圖形處理器渲染，對特征區(qū)域進(jìn)行馬賽克處理； 視頻輸出模塊用于將數(shù)據(jù)捕獲處理模塊處理后的視頻信息和音頻捕獲模塊輸出的音頻信息進(jìn)行合并并輸出合并后的視頻文件； 圖像輸出模塊用于輸出數(shù)據(jù)捕獲處理模塊處理后的圖片文件。
9.如權(quán)利要求8所述的裝置，其中對特征區(qū)域進(jìn)行馬賽克處理具體為通過圖形處理器渲染把所述特征區(qū)域的像素放大或者疊加ー塊大小相同的馬賽克圖層，從而實(shí)現(xiàn)了特征區(qū)域的馬賽克效果。
10.如權(quán)利要求8所述的裝置，其中對所述信息的特征區(qū)域進(jìn)行識別具體為將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配，從而對特征區(qū)域進(jìn)行識別。
11.如權(quán)利要求10所述的裝置，其中將預(yù)處理的圖像和訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配具體為在圖像中移動(dòng)搜索窗ロ，搜索窗ロ大小與訓(xùn)練圖片尺寸相同，檢測每ー個(gè)位置來確定可能的目標(biāo)；加載訓(xùn)練集結(jié)果XML文件，將視頻圖像映射至PCA子空間，利用最近距離匹配方法，來判斷是否足夠靠特征區(qū)域空間，從而確定是否找到所述特征區(qū)域，并得到特征區(qū)域的位置和尺寸大小。
全文摘要
本發(fā)明公開了一種實(shí)現(xiàn)動(dòng)態(tài)視頻馬賽克的方法及裝置，主要包括以下步驟S101通過訓(xùn)練圖集，創(chuàng)建特征訓(xùn)練數(shù)據(jù)庫；S102創(chuàng)建定時(shí)器，定時(shí)抓取視頻圖像幀數(shù)據(jù)；S103對特征區(qū)域進(jìn)行監(jiān)測，并進(jìn)行圖像預(yù)處理；S104將預(yù)處理的圖像和所述訓(xùn)練數(shù)據(jù)庫中的圖像進(jìn)行匹配，從而對特征區(qū)域進(jìn)行識別；S105將識別到的特征區(qū)域進(jìn)行圖像轉(zhuǎn)換；S106根據(jù)轉(zhuǎn)換后的幀數(shù)據(jù)生成視頻文件。采用本發(fā)明的技術(shù)方案，通過使用了GPU(圖形處理器)來處理每幀視頻圖像，能夠使得視頻在加入馬賽克后仍然流暢播放。
文檔編號G06T1/00GK103049755SQ20121058671
公開日2013年4月17日 申請日期2012年12月28日 優(yōu)先權(quán)日2012年12月28日
發(fā)明者付崗, 姚健, 潘柏宇, 盧述奇 申請人:合一網(wǎng)絡(luò)技術(shù)(北京)有限公司