一種視頻中的自動(dòng)臉部輪廓修飾方法
【專利摘要】本發(fā)明公開了一種視頻中的自動(dòng)臉部輪廓修飾方法，包括以下步驟：1)檢測(cè)整個(gè)待處理視頻內(nèi)有人臉的幀，檢測(cè)出人臉的bounding box和特征點(diǎn)；2)根據(jù)bounding box和特征點(diǎn)位置將感興趣的人臉區(qū)域劃分成多個(gè)三角形，并計(jì)算出每個(gè)特征點(diǎn)的目標(biāo)特征點(diǎn)；3)對(duì)每個(gè)三角形，都有三個(gè)原特征點(diǎn)的坐標(biāo)和這三個(gè)原特征點(diǎn)在步驟2)中得到的目標(biāo)特征點(diǎn)，根據(jù)這六個(gè)特征點(diǎn)的坐標(biāo)計(jì)算出該三角形的仿射變換矩陣，依據(jù)仿射變換矩陣對(duì)三個(gè)原特征點(diǎn)組成的三角形內(nèi)的每一個(gè)點(diǎn)做仿射變換，產(chǎn)生出新的人臉圖像；4)用新的人臉圖像代替舊的人臉圖像，即生成了結(jié)果視頻。本發(fā)明可以處理視頻中的人臉，實(shí)現(xiàn)給視頻中人臉做瘦臉編輯的效果，即實(shí)現(xiàn)視頻內(nèi)容的非線性編輯。
【專利說明】
一種視頻中的自動(dòng)臉部輪廓修飾方法
技術(shù)領(lǐng)域：
[0001] 本發(fā)明屬于視頻、圖像處理技術(shù)領(lǐng)域，具體涉及一種視頻中的自動(dòng)臉部輪廓修飾 方法。
【背景技術(shù)】：
[0002] 隨著社交網(wǎng)絡(luò)和智能手機(jī)的普及，人們?cè)絹碓搅?xí)慣于用視頻記錄自己的生活，比 如吃飯、旅游或演唱會(huì)等。人們?cè)谏缃痪W(wǎng)絡(luò)發(fā)布照片時(shí)通常都會(huì)先對(duì)照片進(jìn)行美化處理，而 當(dāng)人們想對(duì)視頻進(jìn)行類似的處理的時(shí)候卻是不可能的?，F(xiàn)有的視頻編輯方法都是對(duì)視頻的 線性編輯，很難滿足大眾的要求，因而提出一種對(duì)視頻內(nèi)容的非線性編輯方法顯得十分必 要。

【發(fā)明內(nèi)容】
：
[0003] 本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供了一種視頻中的自動(dòng)臉部輪廓修飾 方法，其能夠確保用該方法處理后的視頻中的人臉能有美圖軟件那樣的瘦臉效果，從而滿 足大眾對(duì)視頻特別是自拍視頻的處理要求。
[0004] 為達(dá)到上述目的，本發(fā)明采用如下技術(shù)方案予以實(shí)現(xiàn)的：
[0005] -種視頻中的自動(dòng)臉部輪廓修飾方法，包括以下步驟：
[0006] 1)檢測(cè)整個(gè)待處理視頻內(nèi)有人臉的幀，檢測(cè)出人臉的bounding box和特征點(diǎn)；
[0007] 2)根據(jù)bounding box和特征點(diǎn)位置將感興趣的人臉區(qū)域劃分成多個(gè)三角形，并計(jì) 算出每個(gè)特征點(diǎn)的目標(biāo)特征點(diǎn)；
[0008] 3)對(duì)每個(gè)三角形，都有三個(gè)原特征點(diǎn)的坐標(biāo)和這三個(gè)原特征點(diǎn)在步驟2)中得到的 目標(biāo)特征點(diǎn)，根據(jù)這六個(gè)特征點(diǎn)的坐標(biāo)計(jì)算出該三角形的仿射變換矩陣，依據(jù)仿射變換矩 陣對(duì)三個(gè)原特征點(diǎn)組成的三角形內(nèi)的每一個(gè)點(diǎn)做仿射變換，產(chǎn)生出新的人臉圖像；
[0009] 4)用新的人臉圖像代替舊的人臉圖像，即生成了結(jié)果視頻。
[0010] 本發(fā)明進(jìn)一步的改進(jìn)在于，步驟1)中，人臉的特征點(diǎn)是指臉輪廓、眼睛、鼻子和嘴 唇上的特征點(diǎn)。
[0011] 本發(fā)明進(jìn)一步的改進(jìn)在于，步驟2)中，感興趣的人臉區(qū)域?yàn)槟樰喞車鷧^(qū)域。
[0012] 本發(fā)明進(jìn)一步的改進(jìn)在于，步驟3)中，用R矩陣表征旋轉(zhuǎn)和縮放，L矩陣來表征平 移，對(duì)一個(gè)三角形，有：
[0013] % r〇1 -%
[0014] L= /〇° Jm _
[0015]對(duì)三角形三個(gè)頂點(diǎn)（x，y)是仿射變換前的某頂點(diǎn)坐標(biāo)，（x'，y'）是仿射變換后的目 標(biāo)頂點(diǎn)的位置，有： .x'l 「％X+%V + /O0
[0016] = ( _JJ Lr10x + ruv + /01_
[0017] 通過這三個(gè)頂點(diǎn)計(jì)算出這R矩陣和L矩陣中6個(gè)表征仿射變換的量，根據(jù)這六個(gè)特 征點(diǎn)的坐標(biāo)計(jì)算出該三角形的仿射變換矩陣。
[0018] 本發(fā)明進(jìn)一步的改進(jìn)在于，步驟3)中，依據(jù)仿射變換矩陣對(duì)三角形內(nèi)的每一個(gè)點(diǎn) 做仿射變換前，首先對(duì)一個(gè)三角形ABC，利用s = CBXAB和w=(MAXMB)&(MBXMC)&(MCXMA) 判斷一個(gè)點(diǎn)M是否在三角形內(nèi)；
[0019] 當(dāng)s>0時(shí)，表示三角形ABC的順序是逆時(shí)針的，這時(shí)w>0表示點(diǎn)M在三角形內(nèi)；當(dāng)s〈0 時(shí)，表示三角形ABC的順序是順時(shí)針的，這時(shí)w〈0表示點(diǎn)M在三角形內(nèi)；
[0020] 即對(duì)任意的M點(diǎn)在三角形內(nèi)，對(duì)三角形ABC，有：
[0021 ] ((MAXMB)&(MB XMC)&(MCXMA)) (CB X AB) >0
[0022]根據(jù)上述公式找出三角形內(nèi)所有的點(diǎn)，對(duì)這些點(diǎn)按照仿射變換矩陣做仿射變換， 得到變換后的圖像，即為產(chǎn)生出新的人臉圖像。
[0023] 與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是:修改視頻幀中人臉的臉部輪廓區(qū)域通過 只將感興趣的臉部輪廓區(qū)域劃分成小三角形區(qū)域，然后對(duì)每一個(gè)三角形區(qū)域進(jìn)行仿射變換 得到新的臉部圖像以修飾視頻中的人臉。
[0024] 本發(fā)明視頻編輯是指對(duì)視頻的畫面的編輯，而不是簡(jiǎn)單的視頻幀的重新排列。
[0025] 其中，現(xiàn)有的視頻編輯方法，只是從一段視頻里剪輯出一小段或者將幾段視頻合 成一個(gè)視頻的視頻幀重新排列方法。本發(fā)明所說的編輯是指視頻畫面的編輯，效果良好，優(yōu) 點(diǎn)突出。進(jìn)一步地，傳統(tǒng)的視頻編輯方法無法滿足大眾對(duì)視頻編輯的要求，該發(fā)明采用了視 頻內(nèi)容編輯的方法，確保了視頻編輯的有效性。
【附圖說明】：
[0026] 圖1為本發(fā)明的說明不意圖。
[0027] 圖2為計(jì)算目標(biāo)特征點(diǎn)過程示意圖；其中，圖2(a)為臉部中心點(diǎn)和特征點(diǎn)移動(dòng)方向 示意圖，圖2(b)為特征點(diǎn)移動(dòng)距離4%*D中D的示意圖。
[0028] 圖3為計(jì)算放射矩陣過程示意圖；其中，圖3(a)為計(jì)算仿射變換前的三角形區(qū)域， 圖3(b)為計(jì)算仿射變換后的三角形區(qū)域。
[0029]圖4為判斷點(diǎn)是否在三角形內(nèi)的方法示意圖；其中，圖4(a)為當(dāng)三角形頂點(diǎn)順序?yàn)?逆時(shí)針時(shí)判斷點(diǎn)是否在三角形內(nèi)部的方法示意圖，圖4(b)為當(dāng)三角形頂點(diǎn)順序?yàn)轫槙r(shí)針時(shí) 判斷點(diǎn)是否在三角形內(nèi)部的方法示意圖。
[0030] 圖5為本發(fā)明的流程圖。
【具體實(shí)施方式】：
[0031] 下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。
[0032] 本發(fā)明一種視頻中的自動(dòng)臉部輪廓修飾方法，通過如下步驟實(shí)現(xiàn)：
[0033] 1.計(jì)算目標(biāo)特征點(diǎn)
[0034]參見附圖2,要得到瘦臉的效果，瘦臉后的標(biāo)記臉部輪廓的特征點(diǎn)位置必然要發(fā)生 變化。計(jì)算這些目標(biāo)特征點(diǎn)位置之前，先找到臉部中心點(diǎn)。臉部中心點(diǎn)一定在兩只眼睛中間 的點(diǎn)和嘴巴中間的點(diǎn)的連線上，這里我們選擇4個(gè)點(diǎn)作為備選，它們到嘴巴中間的距離和到 眼睛中心的距離比依次是10:0，8:2,6:4和x:y，其中最后一個(gè)點(diǎn)取在鼻尖的位置。實(shí)驗(yàn)顯 示，選擇第二個(gè)點(diǎn)作為中心點(diǎn)的結(jié)果最自然。
[0035]臉部輪廓的目標(biāo)特征點(diǎn)在臉部中心點(diǎn)與臉部輪廓點(diǎn)的連線上，只是把長(zhǎng)度縮減為 原來的96 %，得到的點(diǎn)就是目標(biāo)特征點(diǎn)的位置。
[0036] 2.計(jì)算仿射變換矩陣
[0037]參見附圖3,將臉部輪廓周圍感興趣的區(qū)域分為多個(gè)小三角形區(qū)域，針對(duì)每一個(gè)小 三角形區(qū)域計(jì)算仿射變換矩陣。仿射變換矩陣表示的是兩幅圖之間的聯(lián)系，通常用2*3的矩 陣來表示，是指一幅圖通過旋轉(zhuǎn)、縮放和平移得到第二幅圖。一個(gè)任意的仿射變換都能表示 為乘以一個(gè)矩陣接著再加上一個(gè)向量，這個(gè)矩陣可以通過每一個(gè)三角形區(qū)域三個(gè)頂點(diǎn)的特 征點(diǎn)和相應(yīng)的目標(biāo)特征點(diǎn)6個(gè)已知點(diǎn)求得。
[0038]用R矩陣表征旋轉(zhuǎn)和縮放，L矩陣來表征平移，對(duì)一個(gè)三角形，有：
[0039] R = r〇° 7〇1 _rio rn_ 7 ~
[0040] L= 00 Jqi _
[0041] 對(duì)三角形三個(gè)頂點(diǎn)(x，y)是仿射變換前的某頂點(diǎn)坐標(biāo)，（x'，y'）是仿射變換后的目 標(biāo)頂點(diǎn)的位置，有：
[0042] _y」Lri〇X + ril-V + /〇l_
[0043 ]通過這樣三對(duì)頂點(diǎn)可計(jì)算出這6個(gè)表征仿射變換的量。
[0044] 3.對(duì)每個(gè)三角形內(nèi)的所有點(diǎn)做仿射變換
[0045] 參見附圖 4,對(duì)一個(gè)三角形 ABC，利用 s = CBXAB 和 w=(MAXMB)&(MBXMC)&(MCX MA)判斷一個(gè)點(diǎn)M是否在三角形內(nèi)。
[0046]當(dāng)s>0時(shí)，表示三角形ABC的順序是逆時(shí)針的，這時(shí)w>0表示點(diǎn)M在三角形內(nèi)；當(dāng)s〈0 時(shí)，表示三角形ABC的順序是順時(shí)針的，這時(shí)w〈0表示點(diǎn)M在三角形內(nèi)。即對(duì)任意的M點(diǎn)在三角 形內(nèi)，對(duì)三角形ABC，有：
[0047] ((MAXMB)&(MB XMC)&(MCXMA)) (CB X AB) >0
[0048]綜上，可以找出三角形內(nèi)所有的點(diǎn)，對(duì)這些點(diǎn)按照2計(jì)算出的仿射變換矩陣做仿射 變換，即可得到變換后的圖像，就是瘦臉后的圖像，像這樣單幀圖像內(nèi)的實(shí)施過程如圖1所 示，再用瘦臉后的圖像替換掉原先的圖像，就得到了瘦臉編輯后的視頻，對(duì)整個(gè)視頻的具體 實(shí)施過程如圖5所示。
【主權(quán)項(xiàng)】
1. 一種視頻中的自動(dòng)臉部輪廓修飾方法，其特征在于，包括以下步驟： 1) 檢測(cè)整個(gè)待處理視頻內(nèi)有人臉的幀，檢測(cè)出人臉的bounding box和特征點(diǎn)； 2) 根據(jù)bounding box和特征點(diǎn)位置將感興趣的人臉區(qū)域劃分成多個(gè)三角形，并計(jì)算出 每個(gè)特征點(diǎn)的目標(biāo)特征點(diǎn)； 3) 對(duì)每個(gè)三角形，都有三個(gè)原特征點(diǎn)的坐標(biāo)和這三個(gè)原特征點(diǎn)在步驟2)中得到的目標(biāo) 特征點(diǎn)，根據(jù)這六個(gè)特征點(diǎn)的坐標(biāo)計(jì)算出該三角形的仿射變換矩陣，依據(jù)仿射變換矩陣對(duì) 三個(gè)原特征點(diǎn)組成的三角形內(nèi)的每一個(gè)點(diǎn)做仿射變換，產(chǎn)生出新的人臉圖像； 4) 用新的人臉圖像代替舊的人臉圖像，即生成了結(jié)果視頻。2. 根據(jù)權(quán)利要求1所述的一種視頻中的自動(dòng)臉部輪廓修飾方法，其特征在于，步驟1) 中，人臉的特征點(diǎn)是指臉輪廓、眼睛、鼻子和嘴唇上的特征點(diǎn)。3. 根據(jù)權(quán)利要求1所述的一種視頻中的自動(dòng)臉部輪廓修飾方法，其特征在于，步驟2) 中，感興趣的人臉區(qū)域?yàn)槟樰喞車鷧^(qū)域。4. 根據(jù)權(quán)利要求1所述的一種視頻中的自動(dòng)臉部輪廓修飾方法，其特征在于，步驟3) 中，用R矩陣表征旋轉(zhuǎn)和縮放，L矩陣夾衷征平務(wù)，對(duì)一個(gè)二角形，有：對(duì)三角形三個(gè)頂點(diǎn)（x，y)是仿射變換前的某頂點(diǎn)坐標(biāo)，（x'，y'）是仿射變換后的目標(biāo)頂 點(diǎn)的位置，有：通過這三個(gè)頂點(diǎn)計(jì)算出這R矩陣和L矩陣中6個(gè)表征仿射變換的量，根據(jù)這六個(gè)特征點(diǎn) 的坐標(biāo)計(jì)算出該三角形的仿射變換矩陣。5. 根據(jù)權(quán)利要求1所述的一種視頻中的自動(dòng)臉部輪廓修飾方法，其特征在于，步驟3) 中，依據(jù)仿射變換矩陣對(duì)三角形內(nèi)的每一個(gè)點(diǎn)做仿射變換前，首先對(duì)一個(gè)三角形ABC，利用s =〇8\48和￥=(獻(xiàn)\]\^)&(]\^\]\〇&(]\?：\獻(xiàn))判斷一個(gè)點(diǎn)]\1是否在三角形內(nèi)； 當(dāng)s>0時(shí)，表示三角形ABC的順序是逆時(shí)針的，這時(shí)w>0表示點(diǎn)M在三角形內(nèi)；當(dāng)s〈0時(shí)，表 示三角形ABC的順序是順時(shí)針的，這時(shí)w〈0表示點(diǎn)M在三角形內(nèi)； 即對(duì)任意的M點(diǎn)在三角形內(nèi)，對(duì)三角形ABC，有： ((MAXMB)&(MBXMC)&(MCXMA))(CBXAB)>0 根據(jù)上述公式找出三角形內(nèi)所有的點(diǎn)，對(duì)這些點(diǎn)按照仿射變換矩陣做仿射變換，得到 變換后的圖像，即為產(chǎn)生出新的人臉圖像。
【文檔編號(hào)】G06K9/00GK105894446SQ201610301351
【公開日】2016年8月24日
【申請(qǐng)日】2016年5月9日
【發(fā)明人】王進(jìn)軍, 袁望, 侯騏麒
【申請(qǐng)人】西安北升信息科技有限公司