專(zhuān)利名稱(chēng)：一種基于單個(gè)參考視頻的人臉視頻光影遷移生成方法
技術(shù)領(lǐng)域：
本發(fā)明涉及虛擬現(xiàn)實(shí)和計(jì)算視覺(jué)領(lǐng)域，具體的說(shuō)是一種基于單個(gè)參考視頻的人臉表情視頻光照遷移方法。
背景技術(shù)：
基于視頻素材的虛實(shí)融合技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的重要組成部分。由于構(gòu)成虛擬場(chǎng)景與場(chǎng)景對(duì)象可能來(lái)自不同的素材，場(chǎng)景對(duì)象和場(chǎng)景的光照效果可能會(huì)存在較大的差異，然而虛實(shí)融合場(chǎng)景需要場(chǎng)景與場(chǎng)景對(duì)象具有一致的光照效果。然而在場(chǎng)景對(duì)象采集過(guò)程中無(wú)法預(yù)知場(chǎng)景的光照條件進(jìn)而無(wú)法根據(jù)場(chǎng)景光照條件設(shè)置采集環(huán)境的光照條件。一種可行方案是在均勻光照條件下采集場(chǎng)景對(duì)象視頻，然后在場(chǎng)景虛實(shí)融合過(guò)程中將所需要的光照條件遷移到場(chǎng)景對(duì)象。視頻場(chǎng)景對(duì)象的光照遷移問(wèn)題，即如何將帶有場(chǎng)景光照條件的人臉視頻遷移到拍攝于均勻光照條件下的參考人臉表情視頻，是目前急需解決的問(wèn)題。目前，有一種人臉視頻光影遷移方法。2007年南加州大學(xué)的Peers等采用了一種基于關(guān)鍵幀的人臉視頻對(duì)象光照遷移方法，通過(guò)采集靜態(tài)參考人臉對(duì)象在不同光照條件下反射場(chǎng)。并利用同一對(duì)象在不同光照條件下的人臉圖像與在正面均勻光照條件下的人臉圖像之間比值，構(gòu)建相應(yīng)光照條件下關(guān)鍵幀的商圖。然后計(jì)算目標(biāo)幀圖像與前后關(guān)鍵幀圖像間的光流，接著利用光流變形前后關(guān)鍵幀商圖得到目標(biāo)幀，混合后得到目標(biāo)幀商圖，最后利用目標(biāo)幀商圖完成目標(biāo)幀圖像的光照遷移。該方法能夠生成逼真的光照遷移結(jié)果，但該方法需要昂貴和復(fù)雜的采集設(shè)備，對(duì)于普通用戶(hù)難以實(shí)現(xiàn)。有一些基于圖像的人臉圖像光照遷移方法。2009年休斯頓大學(xué)李青等提出了一種基于LTV (Logarithmic Total Variation)模型的人臉光照遷移技術(shù),能夠把參考人臉的光照遷移到目標(biāo)人臉上去。該方法無(wú)需知道人臉的幾何和光照信息。通過(guò)將人臉圖像分解為光照信息和光照信息無(wú)關(guān)的人臉特征兩個(gè)部分。并利用參考圖像的光照信息替換目標(biāo)圖像的光照信息實(shí)現(xiàn)光照遷移。首先利用幾何變形技術(shù)對(duì)參考人臉變形；然后將目標(biāo)人臉和變形后的參考人臉都分解成為依賴(lài)于光照的部分和不依賴(lài)于光照的部分；最后通過(guò)交換兩幅人臉圖像依賴(lài)于光照的部分，得到目標(biāo)對(duì)象光照遷移結(jié)果。該方法僅需要一幅參考圖像用于光照遷移，并能處理彩色圖像與灰度圖像的光照遷移。2010年清華大學(xué)的陳健生等提出了一種基于局部約束與全局優(yōu)化的人臉重光照方法。該方法通過(guò)局部線(xiàn)性調(diào)整保證光照信息的平滑性并通過(guò)相互重疊窗口來(lái)實(shí)現(xiàn)整個(gè)圖像全局優(yōu)化。2011年北京航空航天大學(xué)的陳小武等提出了一種基于邊緣保持測(cè)人臉光照遷移方法。首先自動(dòng)檢測(cè)或者手工標(biāo)記圖像對(duì)象的征點(diǎn)，并通過(guò)圖像變形方法將參考圖像對(duì)象對(duì)齊到目標(biāo)圖像對(duì)象并將圖像的明度與色度進(jìn)行分離，只對(duì)明度進(jìn)行處理，而保持色度的不變；然后利用加權(quán)最小二乘濾波器將圖像分解為大尺度層圖像 和細(xì)節(jié)層圖像；最后將濾波后的大尺度圖像與目標(biāo)對(duì)象的細(xì)節(jié)層混合得到光照遷移結(jié)果的明度圖像，再與目標(biāo)對(duì)象的顏色層混合得到光照遷移結(jié)果。以上基于圖像的方法都沒(méi)考慮到視頻間的平滑過(guò)渡關(guān)系以及參考幀與目標(biāo)幀的表情差異。

發(fā)明內(nèi)容
本發(fā)明設(shè)計(jì)開(kāi)發(fā)了 一種基于單個(gè)參考視頻的人臉視頻光影遷移生成方法。本發(fā)明利用單個(gè)的與目標(biāo)視頻時(shí)間長(zhǎng)度相同的參考視頻，將參考視頻的光照信息遷移到目標(biāo)視頻上。本發(fā)明提供的技術(shù)方案為:—種基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，包括:步驟1、選取與目標(biāo)視頻的時(shí)間長(zhǎng)度相同的參考視頻，在目標(biāo)視頻中每隔η幀選取一中貞為目標(biāo)關(guān)鍵巾貞，在參考視頻中每隔η巾貞選取一巾貞為參考關(guān)鍵巾貞，其中η為奇數(shù)；步驟2、選取和定位目標(biāo)關(guān)鍵幀的特征點(diǎn)和參考關(guān)鍵幀的特征點(diǎn)；步驟3、計(jì)算兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異，如果兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異大于參考關(guān)鍵幀規(guī)定域值，則將這兩個(gè)相鄰的參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀選為參考關(guān)鍵幀，并將與該中間參考非關(guān)鍵幀的時(shí)刻相同的目標(biāo)非關(guān)鍵幀選為目標(biāo)關(guān)鍵幀，計(jì)算兩個(gè)相鄰目標(biāo)關(guān)鍵巾貞的表情差異，如果這兩個(gè)相鄰的目標(biāo)關(guān)鍵巾貞的表情差異大于目標(biāo)關(guān)鍵幀規(guī)定域值，則將這兩個(gè)目標(biāo)關(guān)鍵幀之間的中間目標(biāo)非關(guān)鍵幀選為目標(biāo)關(guān)鍵幀，并將與該中間目標(biāo)非關(guān)鍵幀的時(shí)刻相同的參考非關(guān)鍵幀選為參考關(guān)鍵幀，若有新的目標(biāo)關(guān)鍵幀和參考關(guān)鍵幀產(chǎn)生，則選取和定位新的目標(biāo)關(guān)鍵幀的特征點(diǎn)和新的參考關(guān)鍵幀的特征點(diǎn)；步驟4、根據(jù)目標(biāo)關(guān)鍵巾貞的特征點(diǎn)和參考關(guān)鍵巾貞的特征點(diǎn)，對(duì)齊目標(biāo)關(guān)鍵巾貞與參考關(guān)鍵巾貞;步驟5、將參考關(guān)鍵幀的光照信息遷移到目標(biāo)關(guān)鍵上；步驟6、將相鄰兩個(gè)目標(biāo)關(guān)鍵幀上的光照信息傳播到這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的非目標(biāo)關(guān)鍵幀上。優(yōu)選的是，所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中，所述步驟2中的參考關(guān)鍵幀和目標(biāo)關(guān)鍵幀的特征點(diǎn)包括:人臉皮膚區(qū)域的特征點(diǎn)和人臉?lè)瞧つw區(qū)域邊界輪廓特征點(diǎn)。優(yōu)選的是，所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中，所述步驟3為利用相鄰兩個(gè)參考關(guān)鍵幀的陰影區(qū)域面積差異來(lái)定量計(jì)算這兩個(gè)相鄰參考關(guān)鍵幀的光照息差異；利用兩相鄰目標(biāo)關(guān)鍵幀的特征點(diǎn)之間的位置差異定量計(jì)算這兩個(gè)相鄰目標(biāo)關(guān)鍵幀上的表情差異。優(yōu)選的是，所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中，所述步驟3中所述的參考關(guān)鍵幀規(guī)定域值為小于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/8到大于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/12的任一值；所述的目標(biāo)關(guān)鍵幀規(guī)定域值為小于等于目標(biāo)關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/8到大于等于目標(biāo)關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/12的任一值。優(yōu)選的是，所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中，所述步驟5采用以下方式實(shí)現(xiàn):利用邊緣保持濾波器除去目標(biāo)關(guān)鍵幀的人臉皮膚區(qū)域的和與該目標(biāo)關(guān)鍵幀對(duì)齊的參考關(guān)鍵幀的人臉皮膚區(qū)域的與光照信息無(wú)關(guān)的信息，用濾波后的參考關(guān)鍵幀除以濾波后的與該參考關(guān)鍵巾貞對(duì)齊的目標(biāo)關(guān)鍵巾貞，得與該參考關(guān)鍵巾貞對(duì)齊的目標(biāo)關(guān)鍵巾貞的人臉的皮膚區(qū)域的光照信息；根據(jù)目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域邊界輪廓特征點(diǎn)對(duì)該目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域進(jìn)行三角剖分，根據(jù)三角剖分結(jié)果對(duì)該目標(biāo)關(guān)鍵幀的非皮膚區(qū)域進(jìn)行光照信息插值。優(yōu)選的是，所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中，所述步驟6采用以下方式實(shí)現(xiàn):計(jì)算兩個(gè)相鄰的目標(biāo)關(guān)鍵幀與這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的幀間對(duì)應(yīng)關(guān)系；利用這兩個(gè)相鄰目標(biāo)關(guān)鍵幀與這兩個(gè)目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的幀間對(duì)應(yīng)關(guān)系，將這兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光照信息對(duì)齊到這兩個(gè)目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀上；將對(duì)齊后的這兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光影信息線(xiàn)性組合，得到這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的光影信息。本發(fā)明針對(duì)目前的視頻場(chǎng)景對(duì)象的光照遷移技術(shù)存在的問(wèn)題，設(shè)計(jì)了一種基于單個(gè)參考視頻的人臉視頻光影 遷移生成方法，本發(fā)明使用單個(gè)參考視頻就能實(shí)現(xiàn)，降低了具體操作的技術(shù)難度也節(jié)省了成本；本發(fā)明中通過(guò)將參考視頻中的參考關(guān)鍵幀與目標(biāo)視頻中的目標(biāo)關(guān)鍵幀對(duì)齊，并通過(guò)多次計(jì)算將參考視頻的光照信息遷移到目標(biāo)視頻上，使得在參考視頻與目標(biāo)視頻表情差別比較大的情況下，依然能生成逼真的光照遷移效果，同時(shí)也避免了光影抖動(dòng)現(xiàn)象。


圖1為本發(fā)明所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法的總流程示意圖。圖2為本發(fā)明所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中的參考關(guān)鍵幀的光照信息遷移到目標(biāo)關(guān)鍵幀上的流程圖。圖3為本發(fā)明所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中的目標(biāo)關(guān)鍵幀非皮膚區(qū)域插入值示意圖。圖4為本發(fā)明所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法中的目標(biāo)關(guān)鍵幀的光照信息遷移流程圖。
具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說(shuō)明，以令本領(lǐng)域技術(shù)人員參照說(shuō)明書(shū)文字能夠據(jù)以實(shí)施。本發(fā)明使用的參考視頻中臉部的光影變化表情和姿勢(shì)不變。目標(biāo)視頻在近似均勻光照條件下拍攝，臉部表情豐富。參考視頻和目標(biāo)視頻的幀數(shù)相同，參考視頻幀與目標(biāo)視頻
中貞--對(duì)應(yīng)。如圖1、2和4所示，本發(fā)明包含以下6個(gè)基本步驟:
步驟1、選取與目標(biāo)視頻的時(shí)間長(zhǎng)度相同的參考視頻，在目標(biāo)視頻中每隔η幀選取一中貞為目標(biāo)關(guān)鍵巾貞，在參考視頻中每隔η巾貞選取一巾貞為參考關(guān)鍵巾貞，其中η為奇數(shù)；步驟2、選取和定位目標(biāo)關(guān)鍵幀的特征點(diǎn)和參考關(guān)鍵幀的特征點(diǎn)；步驟3、計(jì)算兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異，如果兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異大于參考關(guān)鍵幀規(guī)定域值，則將這兩個(gè)相鄰的參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀選為參考關(guān)鍵幀，并將與該中間參考非關(guān)鍵幀的時(shí)刻相同的目標(biāo)非關(guān)鍵幀選為目標(biāo)關(guān)鍵幀，計(jì)算兩個(gè)相鄰目標(biāo)關(guān)鍵巾貞的表情差異，如果這兩個(gè)相鄰的目標(biāo)關(guān)鍵巾貞的表情差異大于目標(biāo)關(guān)鍵幀規(guī)定域值，則將這兩個(gè)目標(biāo)關(guān)鍵幀之間的中間目標(biāo)非關(guān)鍵幀選為目標(biāo)關(guān)鍵幀，并將與該中間目標(biāo)非關(guān)鍵幀的時(shí)刻相同的參考非關(guān)鍵幀選為參考關(guān)鍵幀，若有新的目標(biāo)關(guān)鍵幀和參考關(guān)鍵幀產(chǎn)生，則選取和定位新的目標(biāo)關(guān)鍵幀的特征點(diǎn)和新的參考關(guān)鍵幀的特征點(diǎn)；步驟4、根據(jù)目標(biāo)關(guān)鍵巾貞的特征點(diǎn)和參考關(guān)鍵巾貞的特征點(diǎn)，對(duì)齊目標(biāo)關(guān)鍵巾貞與參考關(guān)鍵巾貞;步驟5、將參考關(guān)鍵幀的光照信息遷移到目標(biāo)關(guān)鍵上；步驟6、將相鄰兩個(gè)目標(biāo)關(guān)鍵幀上的光照信息傳播到這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的非目標(biāo)關(guān)鍵幀上。下面對(duì)以上六個(gè)基本步驟進(jìn)行詳細(xì)說(shuō)明:在參考視頻和目標(biāo)視頻中每隔9巾貞選取一個(gè)關(guān)鍵巾貞作為關(guān)鍵巾貞，參考視頻中的關(guān)鍵中貞記為參考關(guān)鍵巾貞，目標(biāo)視頻中的關(guān)鍵巾貞記為目標(biāo)關(guān)鍵中貞。對(duì)參考關(guān)鍵幀和目標(biāo)關(guān)鍵幀進(jìn)行特征點(diǎn)定位，本發(fā)明使用的特征點(diǎn)包括:人臉皮膚區(qū)域的特征點(diǎn)和人臉?lè)瞧つw區(qū)域輪廓特征點(diǎn)。人臉?lè)瞧つw區(qū)域具體指眉毛、眼睛、嘴以及頭發(fā)，人臉?lè)瞧つw區(qū)域邊界輪廓特征點(diǎn)具體包括臉部輪廓點(diǎn)、眉毛輪廓點(diǎn)、眼睛輪廓點(diǎn)和嘴的輪廓點(diǎn)。在參考視頻中選出參考關(guān)鍵幀后，本發(fā)明使用可變形輪廓模型(Active ShapeModel簡(jiǎn)稱(chēng)ASM)完成第一個(gè)參考關(guān)鍵幀上124個(gè)人臉特征點(diǎn)的定位，本發(fā)明同時(shí)提供了特征點(diǎn)位置的手動(dòng)調(diào)節(jié)功能，用戶(hù)可以按需手動(dòng)調(diào)整每個(gè)特征點(diǎn)的坐標(biāo)。由于參考視頻中人臉表情和姿勢(shì)基本不變，余下參考關(guān)鍵幀的特征點(diǎn)可以根據(jù)第一個(gè)參考關(guān)鍵幀的特征點(diǎn)進(jìn)行微小調(diào)整得來(lái)。在目標(biāo)視頻中選出目標(biāo)關(guān)鍵幀后，本發(fā)明使用可變形輪廓模型完成第一個(gè)目標(biāo)關(guān)鍵幀上124個(gè)人臉特征點(diǎn)的定位，用戶(hù)可以按需手動(dòng)調(diào)整每個(gè)特征點(diǎn)的坐標(biāo)。由于目標(biāo)視頻中人臉表情和姿勢(shì)變化較大，本發(fā)明使用光流計(jì)算第一個(gè)目標(biāo)關(guān)鍵幀和余下目標(biāo)關(guān)鍵幀間的像素位移關(guān)系并推算出余下目標(biāo)關(guān)鍵幀的特征點(diǎn)位置。在特征點(diǎn)定位的基礎(chǔ)上計(jì)算相鄰參考關(guān)鍵幀之間的光照信息差異以及相鄰目標(biāo)關(guān)鍵幀之間的表情差異。本發(fā)明使用了陰影區(qū)域面積差異來(lái)定量描述相鄰參考關(guān)鍵幀之間的光照信息差異，陰影面積區(qū)域差異越大表示光照信息差別越大。每一個(gè)參考關(guān)鍵幀的陰影面積按如下方式計(jì)算:A= I I {i I i e F & Ik (i)〈0.1max (Ik (i))} |其中，i是圖像坐標(biāo)、F表示臉部區(qū)域、Ik(i)表示該參考關(guān)鍵巾貞在坐標(biāo)i處的灰度值。如果兩個(gè)參考關(guān)鍵幀的陰影區(qū)域面積差大于參考關(guān)鍵幀中的人臉部區(qū)域面積值的1/10，則將這兩個(gè)參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀作為參考關(guān)鍵幀，并將于其時(shí)刻相同的目標(biāo)非關(guān)鍵巾貞作為目標(biāo)關(guān)鍵中貞。本發(fā)明使用目標(biāo)關(guān)鍵幀之間的特征點(diǎn)位置差異定量計(jì)算相鄰目標(biāo)關(guān)鍵幀之間人臉表情差異，幀間特征點(diǎn)位置差異越大表示表情差異越大。臉部表情變化時(shí)，嘴和眼睛的變化最大，本發(fā)明使用嘴和眼睛的特征點(diǎn)計(jì)算臉部表情差異，計(jì)算方式如下:Diffmjn=rnax(|d(pm(i), pn(i)))其中，pffl(i)和pji)是相鄰兩個(gè)目標(biāo)關(guān)鍵幀m和η上的特征點(diǎn)，i是嘴和眼睛特征點(diǎn)的索引。如果Diffm,n大于目標(biāo)關(guān)鍵幀中的人臉部區(qū)域?qū)挾戎档?/10。則將這兩個(gè)目標(biāo)關(guān)鍵幀之間的中間目標(biāo)非關(guān)鍵幀作為目標(biāo)關(guān)鍵幀，并將與該目標(biāo)非關(guān)鍵幀的時(shí)刻相同的參考非關(guān)鍵巾貞作為參考關(guān)鍵巾貞。若有新的目標(biāo)關(guān)鍵巾貞和參考關(guān)鍵巾貞廣生，則選取和定位新的目標(biāo)關(guān)鍵幀的特征點(diǎn)和新的參考關(guān)鍵幀的特征點(diǎn)。圖2是本發(fā)明在參考關(guān)鍵幀的光照信息遷移到目標(biāo)關(guān)鍵幀上的流程圖。首先根據(jù)參考關(guān)鍵幀的特征點(diǎn)與目標(biāo) 關(guān)鍵幀的特征點(diǎn)，將參考關(guān)鍵幀與目標(biāo)關(guān)鍵幀對(duì)齊，本發(fā)明使用MFFD (Mult1-level Free For Deformation)將參考關(guān)鍵幀對(duì)齊到目標(biāo)關(guān)鍵幀。在參考關(guān)鍵幀與目標(biāo)關(guān)鍵幀對(duì)齊的基礎(chǔ)上，本發(fā)明在不同區(qū)域采用不同策略提取參考關(guān)鍵幀的光照信息。在人臉皮膚區(qū)域，首先使用邊緣保持濾波器對(duì)參考關(guān)鍵幀和目標(biāo)關(guān)鍵幀進(jìn)行濾波，去掉與光照無(wú)關(guān)的信息，然后將濾波后的參考關(guān)鍵巾貞除以與該參考關(guān)鍵巾貞對(duì)齊的目標(biāo)關(guān)鍵巾貞，得到與該參考關(guān)鍵巾貞對(duì)齊的目標(biāo)關(guān)鍵巾貞的人臉皮膚區(qū)域的光照信息。在目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域(眉毛、眼睛、嘴和頭發(fā))，本發(fā)明利用目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域輪廓的光照信息插值目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域的光照信息。現(xiàn)結(jié)合圖3對(duì)目標(biāo)關(guān)鍵的人臉?lè)瞧つw區(qū)域光照信息插值進(jìn)行說(shuō)明。首先根據(jù)目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域邊界輪廓特的特征點(diǎn)，對(duì)目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域進(jìn)行三角剖分，單個(gè)目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域剖分結(jié)果如圖3(a)所示。在目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域三角剖分基礎(chǔ)之上，將目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域內(nèi)的像素點(diǎn)分為2類(lèi):位于三角網(wǎng)格線(xiàn)上的點(diǎn)的光照信息LJ.)和位于三角形內(nèi)部的點(diǎn)Lt(.)。本發(fā)明首先計(jì)算三角網(wǎng)格線(xiàn)上像素的光照信息。如果該像素點(diǎn)屬于目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域邊界輪廓的網(wǎng)格線(xiàn)Ω (如圖3(a)種的虛線(xiàn))，則該點(diǎn)的光照信息保持不變，如果該點(diǎn)像素點(diǎn)沒(méi)有位于目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域邊界輪廓的網(wǎng)格線(xiàn)上(如圖3(a)種的實(shí)線(xiàn))，則該像素點(diǎn)的光照信息由所在直線(xiàn)的兩個(gè)端點(diǎn)加權(quán)平均和代替。如圖3(b)所示，a, b，c是三角形的三個(gè)頂點(diǎn)，d和e是三角形邊上的兩個(gè)點(diǎn)，具體計(jì)算方式如所示:
^L,(d\if Cf)L,(d) = < d{d,b^L^^ + dia.d^Ljib) 過(guò)秘
d(a,b)， eSe其中d(.，.)表示兩個(gè)點(diǎn)的歐氏距離。三角網(wǎng)格線(xiàn)上的光照信息全部計(jì)算完畢后，本法明按如下方法計(jì)算三角形內(nèi)的一個(gè)像素點(diǎn)f的光照信息Lt(f):Lt (J)=-――-
d(a,e)
圖4是本發(fā)目標(biāo)關(guān)鍵幀的光照信息遷移流程圖。利用這兩個(gè)相鄰目標(biāo)關(guān)鍵幀與這兩個(gè)目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的幀間對(duì)應(yīng)關(guān)系，將這兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光照信息對(duì)齊到這兩個(gè)目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀上；將對(duì)齊后的這兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光影信息線(xiàn)性組合，得到這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的光影信息。具體計(jì)算過(guò)程如下:將兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光照信息達(dá)和社傳播到這兩個(gè)目標(biāo)關(guān)鍵幀之間的一個(gè)目標(biāo)非關(guān)鍵巾貞f上。m和η是兩個(gè)相鄰的目標(biāo)關(guān)鍵巾貞的序號(hào)，f是目標(biāo)非關(guān)鍵巾貞的序號(hào)，其中m〈f〈n。目標(biāo)關(guān)鍵幀傳播結(jié)果￡,按如下公式計(jì)算:Cf=Wl* Wmf (Lkm ) + W2*WnJ(Lkit)W1= (n-f) / (n-m)W2=I 一 W1其中，表不使用目標(biāo)關(guān)鍵巾貞m到目標(biāo)非關(guān)鍵巾貞f的光流來(lái)，將目標(biāo)關(guān)鍵巾貞m的光照信息Zt對(duì)齊到目標(biāo)非關(guān)鍵幀f。％,(玟)表示使用目標(biāo)關(guān)鍵幀η到目標(biāo)非關(guān)鍵幀f的光流來(lái)，將目標(biāo)關(guān)鍵幀η的光照信息^對(duì)齊到目標(biāo)非關(guān)鍵幀f。

盡管本發(fā)明的實(shí)施方案已公開(kāi)如上，但其并不僅僅限于說(shuō)明書(shū)和實(shí)施方式中所列運(yùn)用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對(duì)于熟悉本領(lǐng)域的人員而言，可容易地實(shí)現(xiàn)另外 的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的 細(xì)節(jié)和這里示出與描述的圖例。
權(quán)利要求
1.一種基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，其特征在于，包括: 步驟1、選取與目標(biāo)視頻的時(shí)間長(zhǎng)度相同的參考視頻，在目標(biāo)視頻中每隔η幀選取一幀為目標(biāo)關(guān)鍵巾貞，在參考視頻中每隔η巾貞選取一巾貞為參考關(guān)鍵巾貞，其中η為奇數(shù)； 步驟2、選取和定位目標(biāo)關(guān)鍵幀的特征點(diǎn)和參考關(guān)鍵幀的特征點(diǎn)； 步驟3、計(jì)算兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異，如果兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異大于參考關(guān)鍵幀規(guī)定域值，則將這兩個(gè)相鄰的參考關(guān)鍵幀之間的中間參考非關(guān)鍵幀選為參考關(guān)鍵幀，并將與該中間參考非關(guān)鍵幀的時(shí)刻相同的目標(biāo)非關(guān)鍵幀選為目標(biāo)關(guān)鍵幀； 計(jì)算兩個(gè)相鄰目標(biāo)關(guān)鍵幀的表情差異，如果這兩個(gè)相鄰的目標(biāo)關(guān)鍵幀的表情差異大于目標(biāo)關(guān)鍵幀規(guī)定域值，則將這兩個(gè)目標(biāo)關(guān)鍵幀之間的中間目標(biāo)非關(guān)鍵幀選為目標(biāo)關(guān)鍵幀，并將與該中間目標(biāo)非關(guān)鍵幀的時(shí)刻相同的參考非關(guān)鍵幀選為參考關(guān)鍵幀； 若有新的目標(biāo)關(guān)鍵幀和參考關(guān)鍵幀產(chǎn)生，則選取和定位新的目標(biāo)關(guān)鍵幀的特征點(diǎn)和新的參考關(guān)鍵幀的特征點(diǎn)； 步驟4、根據(jù)目標(biāo)關(guān)鍵巾貞的特征點(diǎn)和參考關(guān)鍵巾貞的特征點(diǎn)，對(duì)齊目標(biāo)關(guān)鍵巾貞與參考關(guān)鍵幀； 步驟5、將參考關(guān)鍵幀的光照信息遷移到目標(biāo)關(guān)鍵上； 步驟6、將相鄰兩個(gè)目標(biāo)關(guān)鍵幀上的光照信息傳播到這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的非目標(biāo)關(guān)鍵巾貞上。
2.如權(quán)利要求1所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟2中的參考關(guān)鍵幀和目標(biāo)關(guān)鍵幀的特征點(diǎn)包括:人臉皮膚區(qū)域的特征點(diǎn)和人臉?lè)瞧つw區(qū)域邊界輪廓特征點(diǎn)。
3.如權(quán)利要求1所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟3為利用相鄰兩個(gè)參考關(guān)鍵幀的陰影區(qū)域面積差異來(lái)定量計(jì)算這兩個(gè)相鄰參考關(guān)鍵幀的光照信息差異； 利用兩相鄰目標(biāo)關(guān)鍵幀的特征點(diǎn)之間的位置差異定量計(jì)算這兩個(gè)相鄰目標(biāo)關(guān)鍵幀上的表情差異。
4.如權(quán)利要求3所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟3中所述的參考關(guān)鍵幀規(guī)定域值為小于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/8到大于等于參考關(guān)鍵幀中人臉部區(qū)域面積值的1/12的任一值； 所述的目標(biāo)關(guān)鍵幀規(guī)定域值為小于等于目標(biāo)關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/8到大于等于目標(biāo)關(guān)鍵幀中人臉部區(qū)域?qū)挾戎档?/12的任一值。
5.如權(quán)利要求2所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟5采用以下方式實(shí)現(xiàn): 利用邊緣保持濾波器除去目標(biāo)關(guān)鍵幀的人臉皮膚區(qū)域的和與該目標(biāo)關(guān)鍵幀對(duì)齊的參考關(guān)鍵幀的人臉皮膚區(qū)域的與光照無(wú)關(guān)的信息，用濾波后的參考關(guān)鍵幀除以濾波后的與該參考關(guān)鍵巾貞對(duì)齊的目 標(biāo)關(guān)鍵巾貞，得與該參考關(guān)鍵巾貞對(duì)齊的目標(biāo)關(guān)鍵巾貞的人臉皮膚區(qū)域的光照信息； 根據(jù)目標(biāo)關(guān)鍵幀的人臉?lè)瞧つw區(qū)域邊界輪廓特征點(diǎn)對(duì)該目標(biāo)關(guān)鍵幀的人臉的非皮膚區(qū)域進(jìn)行三角剖分，根據(jù)三角剖分結(jié)果對(duì)該目標(biāo)關(guān)鍵幀的非皮膚區(qū)域進(jìn)行光照信息插值。
6.如權(quán)利要求1所述的基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，其特征在于，所述步驟6采用以下方式實(shí)現(xiàn): 計(jì)算兩個(gè)相鄰的目標(biāo)關(guān)鍵幀與這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的幀間對(duì)應(yīng)關(guān)系； 利用這兩個(gè)相鄰目標(biāo)關(guān)鍵幀與這兩個(gè)目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀的幀間對(duì)應(yīng)關(guān)系，將這兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光照信息對(duì)齊到這兩個(gè)目標(biāo)關(guān)鍵幀之間的目標(biāo)非關(guān)鍵幀上； 將對(duì)齊后的這兩個(gè)相鄰目標(biāo)關(guān)鍵幀的光影信息線(xiàn)性組合，得到這兩個(gè)相鄰目標(biāo)關(guān)鍵幀之間的目標(biāo)非 關(guān)鍵幀的光影信息。
全文摘要
本發(fā)明公開(kāi)了一種基于單個(gè)參考視頻的人臉視頻光影遷移生成方法，屬于虛擬現(xiàn)實(shí)和計(jì)算機(jī)視覺(jué)領(lǐng)域。給定一段近似均勻光照下的正面人臉視頻(目標(biāo)視頻)和一段變光照條件下的人臉視頻(參考視頻)，將參考視頻的臉部光影效果遷移至目標(biāo)視頻，生成與參考視頻光照效果相似、逼真的視頻。本發(fā)明包括目標(biāo)關(guān)鍵幀的光照信息遷移和目標(biāo)非關(guān)鍵幀光照信息傳播。其中目標(biāo)關(guān)鍵幀的光照效果遷移包括目標(biāo)關(guān)鍵幀與目標(biāo)參考關(guān)鍵幀對(duì)齊、邊緣保持平滑、皮膚區(qū)域光照信息提取、非皮膚區(qū)域光照信息插值。本發(fā)明可廣泛應(yīng)用推廣到影視后期制作、個(gè)人視頻編輯等應(yīng)用場(chǎng)景。
文檔編號(hào)G06T5/50GK103198464SQ20131012168
公開(kāi)日2013年7月10日 申請(qǐng)日期2013年4月9日 優(yōu)先權(quán)日2013年4月9日
發(fā)明者陳小武, 吳洪宇, 趙沁平, 楊夢(mèng)夏, 方志宏 申請(qǐng)人:北京航空航天大學(xué)