視頻處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本公開(kāi)涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種視頻處理方法及裝置。
【背景技術(shù)】
[0002]隨著智能終端的普及程度越來(lái)越高，娛樂(lè)文化產(chǎn)業(yè)的蓬勃發(fā)展，用戶可以隨時(shí)隨地利用智能終端欣賞到豐富多彩的視頻節(jié)目。
[0003]用戶觀看視頻節(jié)目的初衷往往是由于對(duì)某些娛樂(lè)明星、演員的個(gè)人喜好，從用戶感受的角度來(lái)說(shuō)，用戶一般會(huì)希望盡可能多的找到與自己喜好的明星有關(guān)的視頻節(jié)目。
[0004]然而目前的視頻節(jié)目，若視頻介紹中提供了演職員信息，則用戶可以知道視頻中是否包含自己喜愛(ài)的演員；若視頻介紹中沒(méi)有提供演職員信息，則用戶無(wú)法獲知視頻中是否存在自己喜愛(ài)的演員。此外，對(duì)于很多觀眾來(lái)說(shuō)，僅通過(guò)演職員信息中的演員名字很難將名字與演員的面孔對(duì)號(hào)入座。

【發(fā)明內(nèi)容】

[0005]本公開(kāi)提供一種視頻處理方法及裝置，通過(guò)對(duì)構(gòu)成視頻的各個(gè)幀圖像進(jìn)行人臉圖像的提取，并基于識(shí)別模型自動(dòng)對(duì)視頻中的人臉進(jìn)行識(shí)別，實(shí)現(xiàn)提示用戶視頻中所出現(xiàn)演員的?目息，該方法能夠有效提尚人臉識(shí)別效率。
[0006]為克服相關(guān)技術(shù)中存在的問(wèn)題，本公開(kāi)提供一種視頻處理方法及裝置，所述技術(shù)方案如下:
[0007]根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種視頻處理方法，包括:
[0008]獲取待處理的目標(biāo)視頻，所述目標(biāo)視頻中包含:檢測(cè)幀和跟蹤幀；
[0009]對(duì)所述檢測(cè)幀進(jìn)行人臉檢測(cè)，獲取所述檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)；所述檢測(cè)數(shù)據(jù)包含:區(qū)分不同人臉圖像的人臉標(biāo)識(shí)；
[0010]根據(jù)所述人臉標(biāo)識(shí)，對(duì)所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像；
[0011]從所述檢測(cè)幀和所述跟蹤幀中提取包含有所述人臉標(biāo)識(shí)的幀，得到待識(shí)別幀圖像；
[0012]基于預(yù)先得到的識(shí)別模型，對(duì)所述待識(shí)別幀圖像進(jìn)行人臉識(shí)別，得到每幀中人臉圖像的人臉識(shí)別結(jié)果；
[0013]對(duì)所述待識(shí)別幀圖像的所有人臉識(shí)別結(jié)果進(jìn)行篩選，得到所述目標(biāo)視頻中出現(xiàn)的人臉圖像的最終識(shí)別結(jié)果。
[0014]進(jìn)一步地，所述檢測(cè)幀為對(duì)所述目標(biāo)視頻進(jìn)行預(yù)設(shè)間隔劃分后，各個(gè)劃分點(diǎn)所對(duì)應(yīng)的幀；
[0015]所述跟蹤幀為所述目標(biāo)視頻中除去所述檢測(cè)幀外的視頻幀。
[0016]進(jìn)一步地，所述對(duì)所述檢測(cè)幀進(jìn)行人臉檢測(cè)，獲取所述檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)，包括:
[0017]按時(shí)間先后的順序，對(duì)所述目標(biāo)視頻中的當(dāng)前檢測(cè)幀進(jìn)行人臉檢測(cè)，獲取所述當(dāng)前檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)；所述檢測(cè)數(shù)據(jù)包含:當(dāng)前檢測(cè)幀對(duì)應(yīng)的人臉標(biāo)識(shí)；
[0018]所述方法還包括:將所述當(dāng)前檢測(cè)幀對(duì)應(yīng)的人臉標(biāo)識(shí)與已獲取的人臉標(biāo)識(shí)進(jìn)行比對(duì)，將新增加的人臉標(biāo)識(shí)進(jìn)行存儲(chǔ)，得到待跟蹤人臉標(biāo)識(shí)；
[0019]相應(yīng)的，所述根據(jù)所述人臉標(biāo)識(shí)，對(duì)所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像，包括:
[0020]根據(jù)已存儲(chǔ)的所述待跟蹤人臉標(biāo)識(shí)對(duì)所述當(dāng)前檢測(cè)幀與下一個(gè)檢測(cè)幀之間的所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述待跟蹤人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像；
[0021]更新所述下一個(gè)檢測(cè)幀為所述當(dāng)前檢測(cè)幀，返回執(zhí)行所述對(duì)所述目標(biāo)視頻中的當(dāng)前檢測(cè)幀進(jìn)行人臉檢測(cè)的步驟。
[0022]進(jìn)一步地，所述對(duì)所述檢測(cè)幀進(jìn)行人臉檢測(cè)，獲取所述檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)，包括:
[0023]對(duì)所述目標(biāo)視頻中的所有檢測(cè)幀進(jìn)行人臉檢測(cè)，獲取所述所有檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)；所述檢測(cè)數(shù)據(jù)包含:與所述所有檢測(cè)幀對(duì)應(yīng)的所有的人臉標(biāo)識(shí)；
[0024]相應(yīng)的，所述根據(jù)所述人臉標(biāo)識(shí)，對(duì)所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像，包括:
[0025]根據(jù)所述所有的人臉標(biāo)識(shí)，對(duì)所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述所有的人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像。
[0026]進(jìn)一步地，所述方法還包括:
[0027]采用預(yù)設(shè)數(shù)量人臉圖像的訓(xùn)練樣本對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述預(yù)先得到的識(shí)別模型。
[0028]進(jìn)一步地，所述采用預(yù)設(shè)數(shù)量人臉圖像的訓(xùn)練樣本對(duì)所述深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述預(yù)先得到的識(shí)別模型，包括:
[0029]對(duì)所述訓(xùn)練樣本進(jìn)行歸一化處理，得到標(biāo)準(zhǔn)尺寸的樣本數(shù)據(jù)；
[0030]對(duì)所述標(biāo)準(zhǔn)尺寸的樣本數(shù)據(jù)進(jìn)行計(jì)算，得到ZCA矩陣和均值矩陣；
[0031]基于所述ZCA矩陣和均值矩陣，對(duì)所述訓(xùn)練樣本進(jìn)行預(yù)處理，得到預(yù)處理后的輸入數(shù)據(jù)；所述預(yù)處理包括:ZCA白化處理；
[0032]將所述輸入數(shù)據(jù)輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到訓(xùn)練完畢的所述預(yù)先得到的識(shí)別模型。
[0033]進(jìn)一步地，所述基于預(yù)先得到的識(shí)別模型，對(duì)所述待識(shí)別幀圖像進(jìn)行人臉識(shí)別，得到每幀中人臉圖像的人臉識(shí)別結(jié)果，包括:
[0034]對(duì)所述待識(shí)別幀圖像進(jìn)行預(yù)處理，得到歸一化待識(shí)別人臉圖像；
[0035]將所述歸一化待識(shí)別人臉圖像輸入到所述預(yù)先得到的識(shí)別模型中，進(jìn)行特征提取，得到對(duì)應(yīng)于每個(gè)待識(shí)別幀圖像的待識(shí)別人臉的高維特征向量；
[0036]利用預(yù)存的參照人臉的線性判別式分析LDA投影矩陣對(duì)所述待識(shí)別人臉的高維特征向量進(jìn)行降維處理，得到待識(shí)別人臉的降維特征向量；
[0037]對(duì)所述待識(shí)別人臉的降維特征向量進(jìn)行余弦距離度量，將所述度量后的結(jié)果與預(yù)設(shè)閾值進(jìn)行比較；
[0038]若所述度量后的結(jié)果大于所述預(yù)設(shè)閾值，識(shí)別所述待識(shí)別幀圖像與人臉數(shù)據(jù)庫(kù)中預(yù)存的參照人臉特征相匹配；
[0039]若所述度量后的結(jié)果小于等于所述預(yù)設(shè)閾值，識(shí)別所述待識(shí)別幀圖像與人臉數(shù)據(jù)庫(kù)中預(yù)存的參照人臉特征不匹配。
[0040]進(jìn)一步地，所述人臉數(shù)據(jù)庫(kù)中預(yù)存有參照人臉的人臉特征數(shù)據(jù)，所述參照人臉的人臉特征數(shù)據(jù)包括:所述參照人臉的LDA投影矩陣；所述方法還包括:
[0041]對(duì)所述參照人臉的參照人臉圖像進(jìn)行預(yù)處理，得到歸一化參照人臉圖像；
[0042]將所述歸一化參照人臉圖像輸入到所述預(yù)先得到的識(shí)別模型中，進(jìn)行特征提取，得到對(duì)應(yīng)于每個(gè)所述參照人臉圖像的高維特征向量；
[0043]對(duì)所述參照人臉圖像的高維特征向量進(jìn)行LDA訓(xùn)練，得到參照人臉圖像的降維特征向量；
[0044]根據(jù)所述參照人臉圖像的降維特征向量，生成所述參照人臉的LDA投影矩陣。
[0045]進(jìn)一步地，所述對(duì)所述檢測(cè)幀進(jìn)行人臉檢測(cè)包括:
[0046]采用AdaBoost迭代算法對(duì)所述檢測(cè)幀進(jìn)行人臉檢測(cè)。
[0047]進(jìn)一步地，所述預(yù)設(shè)間隔為預(yù)設(shè)等間隔或預(yù)設(shè)不等間隔。
[0048]根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種視頻處理裝置，包括:
[0049]第一獲取模塊，用于獲取待處理的目標(biāo)視頻，所述目標(biāo)視頻中包含:檢測(cè)幀和跟蹤幀；
[0050]檢測(cè)模塊，用于對(duì)所述第一獲取模塊獲取到的所述檢測(cè)幀進(jìn)行人臉檢測(cè)；
[0051]第二獲取模塊，用于獲取所述檢測(cè)模塊檢測(cè)到的所述檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)；所述檢測(cè)數(shù)據(jù)包含:區(qū)分不同人臉圖像的人臉標(biāo)識(shí)；
[0052]跟蹤模塊，用于根據(jù)所述人臉標(biāo)識(shí)，對(duì)所述跟蹤幀進(jìn)行人臉跟蹤；
[0053]確定模塊，用于確定所述跟蹤模塊跟蹤的所述跟蹤幀中是否包含與所述人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像；
[0054]提取模塊，用于從所述檢測(cè)幀和所述跟蹤幀中提取包含有所述人臉標(biāo)識(shí)的幀，得到待識(shí)別幀圖像；
[0055]識(shí)別模塊，用于基于預(yù)先得到的識(shí)別模型，對(duì)所述待識(shí)別幀圖像進(jìn)行人臉識(shí)別，得到每幀中人臉圖像的人臉識(shí)別結(jié)果；
[0056]篩選模塊，用于對(duì)所述待識(shí)別幀圖像的所有人臉識(shí)別結(jié)果進(jìn)行篩選，得到所述目標(biāo)視頻中出現(xiàn)的人臉圖像的最終識(shí)別結(jié)果。
[0057]進(jìn)一步地，所述檢測(cè)幀為對(duì)所述目標(biāo)視頻進(jìn)行預(yù)設(shè)間隔劃分后，各個(gè)劃分點(diǎn)所對(duì)應(yīng)的幀；
[0058]所述跟蹤幀為所述目標(biāo)視頻中除去所述檢測(cè)幀外的視頻幀。
[0059]進(jìn)一步地，所述檢測(cè)模塊包括:第一檢測(cè)子模塊；
[0060]所述第一檢測(cè)子模塊，用于按時(shí)間先后的順序，對(duì)所述目標(biāo)視頻中的當(dāng)前檢測(cè)幀進(jìn)行人臉檢測(cè)；
[0061]所述第二獲取模塊包括:第一獲取子模塊；
[0062]所述第一獲取子模塊，用于獲取所述當(dāng)前檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)；所述檢測(cè)數(shù)據(jù)包含:當(dāng)前檢測(cè)幀對(duì)應(yīng)的人臉標(biāo)識(shí)；
[0063]所述裝置還包括:
[0064]存儲(chǔ)模塊，用于將所述當(dāng)前檢測(cè)幀對(duì)應(yīng)的人臉標(biāo)識(shí)與已獲取的人臉標(biāo)識(shí)進(jìn)行比對(duì)，將新增加的人臉標(biāo)識(shí)進(jìn)行存儲(chǔ)，得到待跟蹤人臉標(biāo)識(shí)；
[0065]相應(yīng)的，所述跟蹤模塊包括:第一跟蹤子模塊；
[0066]所述第一跟蹤子模塊，用于根據(jù)所述存儲(chǔ)模塊已存儲(chǔ)的所述待跟蹤人臉標(biāo)識(shí)對(duì)所述當(dāng)前檢測(cè)幀與下一個(gè)檢測(cè)幀之間的所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述待跟蹤人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像；
[0067]更新模塊，用于更新所述下一個(gè)檢測(cè)幀為所述當(dāng)前檢測(cè)幀，返回所述第一檢測(cè)子豐旲塊。
[0068]進(jìn)一步地，所述檢測(cè)模塊包括:第二檢測(cè)子模塊；
[0069]所述第二檢測(cè)子模塊，用于對(duì)所述目標(biāo)視頻中的所有檢測(cè)幀進(jìn)行人臉檢測(cè)；
[0070]所述第二獲取模塊包括:第二獲取子模塊；
[0071]所述第二獲取子模塊，用于獲取所述所有檢測(cè)幀中所包含的人臉圖像的檢測(cè)數(shù)據(jù)；所述檢測(cè)數(shù)據(jù)包含:與所述所有檢測(cè)幀對(duì)應(yīng)的所有的人臉標(biāo)識(shí)；
[0072]相應(yīng)的，所述跟蹤模塊包括:第二跟蹤子模塊；
[0073]所述第二跟蹤子模塊，用于根據(jù)所述所有的人臉標(biāo)識(shí)，對(duì)所述跟蹤幀進(jìn)行人臉跟蹤，確定所述跟蹤幀中是否包含與所述所有的人臉標(biāo)識(shí)對(duì)應(yīng)的人臉圖像。
[0074]進(jìn)一步地，所述裝置還包括:
[0075]訓(xùn)練模塊，用于采用預(yù)設(shè)數(shù)量人臉圖像的訓(xùn)練樣本對(duì)所述識(shí)別模塊采用的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到所述預(yù)先得到的識(shí)別模型。
[0076]進(jìn)一步地，所述訓(xùn)練模塊包括:
[0077]第一歸一化子模塊，用于對(duì)所述訓(xùn)練樣本進(jìn)行歸一化處理，得到標(biāo)準(zhǔn)尺寸的樣本數(shù)據(jù)；
[0078]計(jì)算子模塊，用于對(duì)所述標(biāo)準(zhǔn)尺寸的樣本數(shù)據(jù)進(jìn)行計(jì)算，得到ZCA矩陣和均值矩陣；
[0079]預(yù)處理子模塊，用于基于所述ZCA矩陣和均值矩陣，對(duì)所述訓(xùn)練樣本進(jìn)行預(yù)處理，得到預(yù)處理后的輸入數(shù)據(jù)；所述預(yù)處理包括:ZCA白化處理；
[0080]訓(xùn)練子模塊，用于將所述輸入數(shù)據(jù)輸入所述深度卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到訓(xùn)練完畢的所述預(yù)先得到的識(shí)別模型。
[0081]進(jìn)一步地，所述識(shí)別模塊包括:
[0082]第二歸一化子模塊，用于對(duì)所述待識(shí)別幀圖像進(jìn)行預(yù)處理，得到歸一化待識(shí)別人臉圖像；
[0083]特征提取