專利名稱：一種基于二次多項式光照模型的人臉光照對齊方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉光照對齊方法，尤其涉及一種基于二次多項式光照模型的人臉光照對齊方法。
背景技術(shù)：
人臉技術(shù)在公共安全系統(tǒng)、身份鑒別、虛擬游戲等方面均有廣泛應(yīng)用，但是光照問題卻是長期困擾該項技術(shù)實用化的主要原因之一。光照不均勻不僅影響視覺效果，而且嚴(yán)重影響人臉識別率。近二十年來，各種各樣的光照處理技術(shù)被提出來用于人臉技術(shù)，但是其中大多數(shù)尚達(dá)不到實用要求或者不能適應(yīng)多方面的應(yīng)用要求。
Terrence Chen等人于2006年提出基于LTV模型的光照處理算法，即在對數(shù)域用全變分模型提取人臉圖像的反射分量用于人臉識別。由于反射分量對光照變化不敏感，所以基于LTV模型的光照處理算法能取得很高的人臉識別結(jié)果。但是實際上，用LTV模型分解得到的光照分量中仍然含有大量對人臉識別有用的信息，這些成分在基于LTV模型的光照處理算法中并沒有用于人臉識別。另外該方法僅僅是提取光照不變量用于人臉識別，并沒有達(dá)到人臉可視效果上的真正改善，這也限制了該方法的應(yīng)用范圍。

發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種實用性強、應(yīng)用范圍廣、可明顯提高人臉識別率的基于二次多項式光照模型的人臉光照對齊方法。本方法對基于LTV模型的光照處理算法中丟棄的光照成分進(jìn)行了對齊矯正后利用，在獲得更高的人臉識別率同時達(dá)到視覺效果的改善。
本發(fā)明的目的通過下述技術(shù)方案實現(xiàn)一種基于二次多項式光照模型的人臉光照對齊方法，包括下述步驟
(1)建立光照模型。根據(jù)Yale B人臉庫的采集條件，將人臉光照條件劃分為64種，其中第1種為正面標(biāo)準(zhǔn)光照，對標(biāo)準(zhǔn)光照條件下的光照分量Lstandrad和任意一種光照條件下的光照分量Lobject，可以建立以下模型Lobject(x,y)=Ai(x,y)Lstandard2(x,y)+Bi(x,y),i=2Λ64Lstandard(x,y),i=1---(1)]]>(2)對所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化處理。即對每張圖像，先檢測若干個特征點的坐標(biāo)，通過旋轉(zhuǎn)使得每張人臉的兩只眼睛處于水平位置，再運用雙插值算法拉伸圖像，使得這些特征點位于圖像的固定位置，最后將圖像裁剪為同一大小；(3)訓(xùn)練系數(shù)矩陣Ai和Bi，i＝2Λ，64。用Yale B人臉庫中的正面人臉采用最小二乘法對模型①進(jìn)行訓(xùn)練，其中每張人臉圖像的光照分量L用LTV模型分解獲得(其分解過程見步驟(4))。第i種光照條件對應(yīng)的系數(shù)矩陣Ai和Bi求解模型如下minAi(x,y),Bi(x,y)Σj=1m|Lj′(x,y)-Ai(x,y)·L2j(x,y)-Bi(x,y)|2]]>s.ta2Ai(x,y)+Bi(x,y)≤L‾′(x,y)-b2Ai(x,y)-Bi(x,y)≤-L‾′(x,y)Ai(x,y)>c---(2)]]>其中m為訓(xùn)練樣本組數(shù)，L為標(biāo)準(zhǔn)光照條件下的人臉光照分量，L′為某特定光照條件下的人臉光照分量。a，b標(biāo)記標(biāo)準(zhǔn)光照條件下光照分量的范圍，即a≤L(x，y)≤b，c為一個大于0的數(shù)。另外L′(x，y)為訓(xùn)練樣本平均值，即L‾′(x,y)=1mΣi=1mLi′(x,y)---(3);]]>(4)對目標(biāo)人臉圖像進(jìn)行分解。對每張待進(jìn)行光照對齊的人臉圖像Iobject，根據(jù)光照—反射模型Iobject(x，y)＝Lobject(x，y)Robject(x，y)，用LTV模型對其進(jìn)行分解可以得到光照分量Lobject和反射分量Robject。分解過程如下f(x，y)＝logIobject(x，y)＝log Robject(x，y)+log Lobject(x，y) ④，求解以下TV模型u=argminu∫|▿u|+λ||f-u||L1dx---(5),]]>便可得到Lobject≈exp(u)，Robject≈exp(f-u) ⑥，實際上步驟(3)中也是用同樣的方法對所有訓(xùn)練樣本進(jìn)行分解。
(5)對目標(biāo)人臉圖像進(jìn)行光照類型估計。對步驟(4)中分解得到的光照分量Lobject，直接用主成分分析(principal component analysis，PCA)識別方法估計出Iobject的光照類型。即Iobject的光照條件與Yale B人臉庫中的64種光照條件中的第i種最接近時，便記其光照類型為i，若光照類型為i＝1，則不用進(jìn)行光照對齊。
(6)對目標(biāo)人臉圖像的光照分量Lobject進(jìn)行對齊矯正。根據(jù)步驟(5)中估計得到的光照類型i相應(yīng)選取步驟(3)中訓(xùn)練得到的系數(shù)矩陣Ai和Bi，用以下式子對Lobject進(jìn)行對齊矯正Laligned(x,y)=[Lobject(x,y)-Bi(x,y)Ai(x,y)]12,i=2,Λ,64Lobject,i=1---(7),]]>其中如果i＝1則不必再進(jìn)行調(diào)整。
(7)目標(biāo)人臉圖像重構(gòu)。用步驟(4)中分解得到的反射分量Robject和步驟(6)中光照對齊后得到的光照分量Laligned重構(gòu)最終圖像Ialigned(x，y)＝Laligned(x，y)Robject(x，y) ⑧。
本發(fā)明與現(xiàn)有技術(shù)相比具有如下優(yōu)點和有益效果1、本發(fā)明提出的省掉一次項的二次多項式模型能很好描述光照變化引起人臉圖像的光照分量變化，用以進(jìn)行光照對齊的結(jié)果真正達(dá)到了視覺效果的改善。
2、本發(fā)明方法對進(jìn)行光照對齊的人臉圖像不必進(jìn)行嚴(yán)格的形狀對齊，實際上，只需選取三個特征點進(jìn)行簡單的人臉形狀對齊便可達(dá)到很好的光照對齊效果。而且提出的模型形式簡單，非常容易實現(xiàn)。與基于LTV模型的光照處理算法相比，本發(fā)明方法有較大的改進(jìn)，對用LTV模型提取的光照不變量Robject，本發(fā)明在整個算法過程中并沒有對其進(jìn)行任何不必要的調(diào)整。
3、本發(fā)明利用到光照分量中對人臉識別有用的信息，在基于LTV模型的光照處理算法的基礎(chǔ)上再次提高識別率。最重要的是，利用到光照分量，本方法進(jìn)行光照對齊的結(jié)果真正達(dá)到了視覺效果的改善。


圖1為本發(fā)明方法的操作流程圖。
圖2為本發(fā)明的2D訓(xùn)練圖像以及目標(biāo)圖像形狀規(guī)一化狀態(tài)圖；左為原人臉圖；中為裁剪為112×92象素的人臉圖；右為裁剪為112×100象素的人臉圖。
圖3為本發(fā)明的LTV模型分解結(jié)果圖；左為原圖；中為光照分量圖；右為反射分量圖。
圖4為本發(fā)明的光照對齊結(jié)果圖；左為原光照分量圖；右為對齊后的光照分量圖。
圖5為本發(fā)明的光照對齊整體流程圖。
圖6為視覺效果恢復(fù)比較圖。第一行為原圖；第二行為基于LTV模型的光照處理算法的結(jié)果圖；最后一行為本發(fā)明的光照對齊結(jié)果圖。
具體實施例方式
下面結(jié)合實施例及附圖對本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實施方式不限于此。
實施例圖1示出了本發(fā)明的操作過程，由圖1可見，本基于二次多項式光照模型的人臉光照對齊方法，包括下述步驟(1)對所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化，即對每張圖像，先人工點取三個特征點(兩只眼睛的中心點和嘴巴的中心點)的坐標(biāo)，通過旋轉(zhuǎn)使得每張人臉的兩只眼睛處于水平位置，再運用雙插值算法拉伸圖像，使得這三個特征點位于圖像的固定位置，最后將圖像裁剪為同一大小(見圖2)。
(2)訓(xùn)練系數(shù)矩陣Ai和Bi，i＝2…，64。用Yale B圖庫中的正面人臉采用最小二乘法模型②進(jìn)行訓(xùn)練，其中每張圖像的光照分量L用LTV模型分解獲得(見圖3)。
(3)對目標(biāo)人臉圖像進(jìn)行分解。對每張待進(jìn)行光照對齊的人臉圖像Iobject，用LTV模型對其進(jìn)行分解可以得到光照分量Lobject和反射分量Robject(見圖3)。
(4)對目標(biāo)人臉圖像進(jìn)行光照類型估計。直接用(3)中分解得到的光照分量Lobject通過PCA識別方法估計出Iobject的光照類型ii。
(5)對目標(biāo)人臉圖像的光照成分Lobject進(jìn)行對齊矯正。根據(jù)(4)中估計得到的光照類型ii相應(yīng)選取(2)中訓(xùn)練得到的系數(shù)矩陣Ai和Bi，用式⑦對Lobject進(jìn)行對齊矯正(見圖4)，矯正結(jié)果為Laligned。
(6)目標(biāo)人臉圖像重構(gòu)。用(3)中分解得到的反射分量Robject和(5)中光照對齊后得到的光照分量Laligned按⑧式重構(gòu)最終圖像。
其中步驟(3)～步驟(6)顯示了本發(fā)明對具體某張人臉圖像的光照對齊整體流程(見圖5)。
圖6為本發(fā)明方法與其他幾種光照處理方法在視覺效果方面的比較。第一行為原圖，第二行為LTV模型的結(jié)果，最后一行為我們的方法處理結(jié)果。由圖6對比可知，用本發(fā)明提出的方法，恢復(fù)得到的圖像與標(biāo)準(zhǔn)圖像整體灰度比較接近，陰影部分已經(jīng)基本消除，同時能保留大量人臉細(xì)節(jié)信息，真正達(dá)到了視覺效果的恢復(fù)，能符合各種實際應(yīng)用要求。
本發(fā)明通過以下實驗對本發(fā)明的效果進(jìn)行說明人臉識別實驗分別在100×100和112×92象素大小的兩種圖庫(對齊后的Yale B人臉庫)上進(jìn)行，所用的識別方法為主成分分析(PCA)識別方法，用歐氏距離描述圖像的相似度。Yale B人臉庫的圖像根據(jù)光照類型可以分為5個子集，用第1個子集里面每個人若干張圖片進(jìn)行訓(xùn)練，對其余4個子集進(jìn)行識別，用各種光照處理方法處理后的圖像進(jìn)行人臉識別對應(yīng)識別率如下(其中線性光照模型即用線性關(guān)系來描述光照變化引起人臉圖像的變化，具體見“Xudong Xie，Kin-Man Lam，’Facerecognition under varying illumination based on 2D face shape model，’PatternRecognition 38(2005)221-230”，而LTV就是基于LTV模型的光照恢復(fù)算法，也就是用LTV模型分解得到反射分量進(jìn)行識別)表1人臉識別結(jié)果(％)，其中選取30個主成分，用第1個子集里面每個人7張圖片做訓(xùn)練樣本(100×100大小圖片)

表2人臉識別結(jié)果(％)，其中選取20個主成分，僅用第1個子集里面每個人3張圖片做訓(xùn)練樣本(100×100大小圖片)


表3人臉識別結(jié)果(％)，其中選取30個主成分，用第1個子集里面每個人7張圖片做訓(xùn)練樣本(112×92大小圖片)

表4人臉識別結(jié)果(％)，其中選取20個主成分，僅用第1個子集里面每個人3張圖片做訓(xùn)練樣本(112×92大小圖片)

從實驗結(jié)果可以看出，采用本發(fā)明進(jìn)行光照恢復(fù)，在YaleB各個光照類型子集中均能較大地提高識別率。從識別結(jié)果可以得出，LTV模型分解得到的光照分量L中的確還存在可用的人臉細(xì)節(jié)信息，本文提出的方法利用這些信息，能再次提高人臉識別率。然而，對光照分量，僅僅用線性模型進(jìn)行對齊矯正尚存在很大的誤差。從上面識別實驗可以看出，對光照變化比較大的圖像，如第四、五個子集，用線性模型進(jìn)行對齊，識別率并沒有得到非常顯著的提高。而本文選取二次多項式模型，從識別率可以看出確實二次多項式模型能較好地描述光照變化引起的人臉圖像變換。
所述實施例為本發(fā)明較佳的實施方式，但本發(fā)明的實施方式并不受所述實施例的限制，其他的任何未背離本發(fā)明的精神實質(zhì)與原理下所作的改變、修飾、替代、組合、簡化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于包括以下步驟(1)建立光照模型；(2)對所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化處理；(3)訓(xùn)練系數(shù)矩陣Ai和Bi，其中i＝2，Λ，64；(4)對目標(biāo)人臉圖像進(jìn)行分解；(5)對目標(biāo)人臉圖像進(jìn)行光照類型估計；(6)對目標(biāo)人臉圖像的光照分量進(jìn)行對齊矯正；(7)目標(biāo)人臉圖像重構(gòu)。
2.根據(jù)權(quán)利要求1所述的一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于所述步驟(1)中光照模型是Lobject(x,y)=Ai(x,y)Lstandard2(x,y)+Bi(x,y),i=2Λ64Lstandard(x,y),i=1,]]>其中i＝1時，Lstandrad為正面標(biāo)準(zhǔn)光照條件下的光照分量。
3.根據(jù)權(quán)利要求2所述的一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于所述步驟(3)是采用最小二乘法對光照模型中系數(shù)矩陣Ai和Bi進(jìn)行訓(xùn)練。
4.根據(jù)權(quán)利要求3所述的一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于所述步驟(4)具體是對每張待進(jìn)行光照對齊的目標(biāo)人臉圖像Iobject，根據(jù)光照-反射模型Iobject(x，y)＝Lobject(x，y)Robject(x，y)，用LTV模型對Iobject進(jìn)行分解，得到光照分量Lobject和反射分量Robject。
5.根據(jù)權(quán)利要求4所述的一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于，所述步驟(5)具體是對光照分量Lobject，直接用PCA識別方法估計出Iobject的光照類型。
6.根據(jù)權(quán)利要求5所述的一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于，所述步驟(6)具體是根據(jù)Iobject的光照類型相應(yīng)選取訓(xùn)練得到的系數(shù)矩陣Ai和Bi，用Laligned(x,y)=[Lobject(x,y)-Bi(x,y)Ai(x,y)]12Lobject,i=1,]]>i＝2，…，64對Lobject進(jìn)行對齊矯正，并得到矯正結(jié)果Laligned。
7.根據(jù)權(quán)利要求6所述的一種基于二次多項式光照模型的人臉光照對齊方法，其特征在于，所述步驟(7)具體是用分解得到的反射分量Robject和光照對齊后得到的光照分量Laligned重構(gòu)最終圖像Ialigned(x，y)＝Laligned(x，y)Robject(x，y)。
全文摘要
本發(fā)明公開了一種基于二次多項式光照模型的人臉光照對齊方法，包括以下步驟(1)建立光照模型；(2)對所有訓(xùn)練圖像以及目標(biāo)圖像均進(jìn)行形狀規(guī)一化；(3)訓(xùn)練系數(shù)矩陣A
文檔編號G06K9/00GK101046847SQ20071002781
公開日2007年10月3日 申請日期2007年4月29日 優(yōu)先權(quán)日2007年4月29日
發(fā)明者賴劍煌, 謝曉華, 鄭偉詩 申請人:中山大學(xué)