專利名稱：無光照人臉圖像重建方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像重建領(lǐng)域，尤其涉及一種具有較強的光照適應(yīng)性的無光照人臉圖 像重建方法和系統(tǒng)。
背景技術(shù)：
由于具有非接觸式、直觀友好等技術(shù)優(yōu)勢，基于生物特征的人臉識別技術(shù)在安防、 金融安全、考勤等領(lǐng)域得到了廣泛的應(yīng)用。人臉識別的過程大致為捕獲待識別原始人臉圖像，之后再進行人臉檢測并進行 人臉特征提取，將提取的人臉特征與參考圖像中的人臉特征進行比對，從而完成整個人臉 識別的過程。在二維圖像表示下，待識別原始人臉圖像表現(xiàn)為人臉光照模板圖像和人臉反 射率圖像的疊加。其中，人臉光照模板圖像是光照沿著人臉法向的投影，人臉反射率圖像為 人臉光照不變量圖像。在頻域中，人臉光照模板圖像可以近似為低頻分量，人臉反射率圖 像近似為高頻分量，所以，現(xiàn)有技術(shù)試圖從待識別原始人臉圖像中分離出人臉反射率圖像， 基于該人臉反射率圖像進行人臉識別?，F(xiàn)有技術(shù)之一是采用LTV (logarithmic total variation，簡稱log全變差)法對待識別原始人臉圖像進行濾波和去噪處理，獲得人臉光 照模板圖像，繼而在LOG域下對待識別原始人臉圖像進行差分，得到人臉反射率圖像。直接 基于該人臉反射率圖像完成人臉識別。但是，在進行差分時，消除了大量的人臉結(jié)構(gòu)特征和 紋理信息，使得人臉反射率圖像丟失了大量的圖像特征。所以，現(xiàn)有技術(shù)之一的技術(shù)方案難 以應(yīng)對惡劣的光照條件，對光照條件的適應(yīng)性較差。現(xiàn)有技術(shù)之二對上述現(xiàn)有技術(shù)之一進行了改進簡稱RLS法?，F(xiàn)有技術(shù)之二中，首 先采用LTV從待識別原始人臉圖像中差分出人臉光照模板圖像和人臉反射率圖像。然后分 別對人臉光照模板圖像和人臉反射率圖像進行濾波和校正，將人臉光照模板圖像轉(zhuǎn)化為正 常光照下的人臉模板圖像。在對正常光照下的人臉模板圖像和濾波、校正后的人臉反射率 圖像進行合成，從而獲得正常光照下的待識別原始人臉圖像。但是，差分過程中獲得的人臉 光照模板圖像的紋理信息較少，校正的準(zhǔn)確度較低，合成得到的正常光照下的待識別原始 人臉圖像出現(xiàn)不均勻的光斑或暗斑，降低了人臉識別的準(zhǔn)確率。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是提供一種無光照人臉圖像重建方法和系統(tǒng)，以避免 現(xiàn)有技術(shù)差分過程中紋理信息的缺少導(dǎo)致重建的圖像與待識別原始人臉圖像誤差較大，從 而提高了人臉識別的準(zhǔn)確率。為解決上述技術(shù)問題，本發(fā)明提供了一種無光照人臉圖像重建方法，該方法包括 步驟1、從待識別原始人臉圖像中獲取人臉反射率圖像；步驟2、根據(jù)不同光照條件下的人臉參考圖像建立光照子空間，并將待識別原始人臉圖 像和人臉反射率圖像分別投影到光照子空間得到原始光照參考圖像和無光照參考圖像；
步驟3、根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋理子空間、反射率紋 理子空間，將待識別原始人臉圖像投影到原始紋理子空間、人臉反射率圖像投影到反射率 紋理子空間，分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子空間中的基圖 像；
步驟4、根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的基圖像重建 無光照人臉圖像。為解決上述技術(shù)問題，本發(fā)明還提供了一種無光照人臉圖像重建系統(tǒng)，該系統(tǒng)包 括
反射率圖像獲取單元用于從待識別原始人臉圖像中獲取人臉反射率圖像； 光照子空間投影單元用于根據(jù)不同光照條件下的人臉參考圖像建立光照子空間以及 將待識別原始人臉圖像和人臉反射率圖像分別投影到光照子空間得到原始光照參考圖像 和無光照參考圖像；
紋理子空間投影單元用于根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋理 子空間、反射率紋理子空間，以及將待識別原始人臉圖像、人臉反射率圖像分別投影到原始 紋理子空間、反射率紋理子空間分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射率紋 理子空間中的基圖像；
圖像重建單元用于根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的 基圖像重建無光照人臉圖像。本發(fā)明中，分別將待識別人臉圖像和人臉反射率圖像投影到光照子空間得到對應(yīng) 的原始光照參考圖像和無光照參考圖像，并以此分別建立對應(yīng)的原始紋理子空間、反射率 紋理子空間，根據(jù)待識別原始人臉圖像、人臉反射率圖像投影到對應(yīng)的原始紋理子空間、反 射率紋理子空間計算出原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子空間中的基 圖像，根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的基圖像得到重建的 無光照人臉圖像，區(qū)別于現(xiàn)有技術(shù)中利用LTV方法重建得到人臉反射率圖像，以及利用RLS 方法對對正常光照下的人臉模板圖像和濾波、校正后的人臉反射率圖像進行合成得到重建 的待識別原始人臉圖像，避免了差分過程中紋理信息的缺少導(dǎo)致重建的圖像與待識別原始 人臉圖像誤差較大，從而提高了人臉識別的準(zhǔn)確率。而且，本發(fā)明的技術(shù)方案不依賴于高分 辨的待識別原始人臉圖像；不需要固定光照的人臉圖像訓(xùn)練集；不需要恢復(fù)人臉結(jié)構(gòu)；僅 從單張待識別原始人臉圖像可以得到重建的無光照人臉圖像，重建的無光照人臉圖像包含 有豐富的紋理信息和圖像特征。


圖1為本發(fā)明無光照人臉圖像重建方法實施例一的流程圖； 圖2為針對一個個體建立的光照子空間示意圖3為本發(fā)明某種光照下的原始紋理子空間和反射率紋理子空間示意圖； 圖4為本發(fā)明無光照人臉圖像重建方法實施例二的流程圖；圖5為本發(fā)明無光照人臉圖像重建方法實施例二中重建的無光照人臉圖像； 圖6為本發(fā)明在Yale B數(shù)據(jù)庫中無光照圖像重建誤差與現(xiàn)有方法的比較示意圖； 圖7為本發(fā)明在Yale B數(shù)據(jù)庫中重建的圖像效果與現(xiàn)有技術(shù)之二的比較示意圖； 圖8為基于本發(fā)明方法與現(xiàn)有技術(shù)其他方法的人臉識別率比較示意圖； 圖9為基于本發(fā)明方法與Nishino方法在CMU PIE數(shù)據(jù)庫中的人臉識別率比較示意
圖10為本發(fā)明無光照人臉圖像重建系統(tǒng)實施例的結(jié)構(gòu)示意圖。
具體實施例方式下面結(jié)合附圖和實施例，對本發(fā)明的技術(shù)方案做進一步的詳細(xì)描述。圖1為本發(fā)明無光照人臉圖像重建方法實施例一的流程圖。如圖1所示，本實施 例中的無光照人臉圖像重建方法包括
S101、對待識別原始人臉圖像進行亮度調(diào)節(jié)。在光照條件比較惡劣的環(huán)境中，由于待識別原始人臉圖像的某些區(qū)域呈現(xiàn)為亮斑 或者黑斑，容易給重建增加誤差，因此，在獲取人臉反射圖像之前對待識別原始人臉圖像進 行亮度調(diào)節(jié)?？梢圆捎脤?yīng)于待識別原始人臉圖像的圖像直方圖進行拉伸的方式進行亮 度調(diào)節(jié)。S102、從亮度調(diào)節(jié)后的待識別原始人臉圖像中獲取人臉反射率圖像。待識別原始人臉圖像可以為任意光照條件下捕獲的人臉圖像。本實施例中，步驟 S102可以具體包括
S112、對待識別原始人臉圖像進行平滑濾波獲得人臉光照模板圖像。如公式(1)所示，待識別原始人臉圖像可以表示為人臉光照模板圖像和人臉 反射率圖像乘積。由于人臉光照模板圖像L近似為圖像低頻信號，而人臉反射率圖像 々近似為圖像高頻信號，所以對待識別原始人臉圖像進行平滑濾波處理后即可獲得人臉光 照模板圖像L。I= P· L(1)
公式(1)中J表示待識別原始人臉圖像I表示為人臉光照模板圖像，P表示人臉反
射率圖像。S122、根據(jù)log全變差法以及人臉光照模板圖像對待識別原始人臉圖像進行差分 得到人臉反射率圖像。在LOG域下，如公式(2)所示，待識別原始人臉圖像為人臉光照模板圖像和人臉反 射率圖像的log值之和。在LOG域下對待識別原始人臉圖像進行LTV法，即可獲得人臉反 射率圖像。Iog(I) = Iog(P) + Iog(L)(2)
公式(2)中J表示待識別原始人臉圖像I表亍為人臉光照模板圖像η表亍人臉反 射率圖像。除了采用上述LTV法可以獲得人臉反射率圖像，也可以采用DCT變換方法獲得人臉反射率圖像。S103、根據(jù)不同光照條件下的人臉參考圖像建立光照子空間，并將待識別原始人 臉圖像和人臉反射率圖像分別投影到光照子空間得到原始光照參考圖像和無光照參考圖像。光照子空間由同一個體在不同的光照條件下的人臉參考圖像組成，這些人臉參考 圖像預(yù)先存儲在人臉參考圖像庫中。圖2為針對一個個體建立的光照子空間示意圖。如圖 2所示，該光照子空間由同一個體在不同的光照圖像下的18幅人臉參考圖像組成。如果有 η個個體，就會有η個對應(yīng)的待識別原始人臉圖像，因此就需要建立η組光照子空間。由于人臉光照模板圖像為光照沿著人臉法向的投影，因此，如公式(3)所示，人臉 光照模板圖像可以分解為光照與人臉法向的矢量積。因此，根據(jù)上述公式(1)和公式(3)， 將待識別原始人臉圖像分解為人臉反射率圖像、人臉法向和光照三者之間的矢量積，如公 式(4)所示。L = I ·η(3)
公式(3)中，I表示人臉光照模板圖像，I表示光照，η表示人臉法向。I = ρ·η ·1(4)
公式(4)中，J表示待識別原始人臉圖像，P表示人臉反射率圖像，I表示光照，fJ表示 人臉法向。由于人臉發(fā)射率圖像、人臉法向與光照均沒有關(guān)系，所以上述公式(4)中滬
為常數(shù)，該常數(shù)定義為光照不變量，用^表示，即2= P ■ 。因此，公式(4)進一步表示為 I=Sml。對于光照子空間組中的每個光照子空間，構(gòu)成該光照子空間所有人臉參考圖像 具有相同的光照不變量』。本實施例中，基于郎博平面的假設(shè)，投影得到原始光照參考圖像和無光照參考圖像。在郎博平面的假設(shè)下，由于任意的光照可以表示為光照子空間中的光照線性擬 合，如公式(5)所示。Lm = Σ^' mli(5)
I
公式(5)中，^ra表示擬合后的任意光照，％表示第 個光照投影系數(shù)元素，Ii表示光 照子空間中的第 個光照。因此,根據(jù)Ι = ·3··/以及公式(5)得到公式(6)。
I =^e =〉 · s ·1《=〉—3(6)
B1 -S^L
1 S1
公式(6)中，Bh表示光照子空間基圖像馬中的第，個基圖像元素，基圖像元素馬，是 光照子空間中互不相關(guān)的人臉參考圖像的像素點構(gòu)成的向量，光照子空間基圖像馬是這些向量性質(zhì)的基圖像元素構(gòu)成的矩陣。將待識別原始人臉圖像和人臉反射率圖像分別投影到光兩子芏間時，由于該光照 子空間中所有人臉參考圖像的光照不變量^相同，人臉光照模板圖像I不同，所以，待識別 原始人臉圖像和人臉反射率圖像與光照子空間中的任意人臉參考圖像Z間的差異僅在于 光照不同。此處，當(dāng)光照子空間中的某幅人臉參考圖像分別與待識別原始人臉圖像和人臉 反射率圖像差異最小時，兩者之間的光照一致。因此，可以通過最小化公式(7)中的能量函 數(shù)得到投影系數(shù)。Om = π η{α\E =\\ Iin-aBs\\}^am = (B17* B,)'1 * B,T *Iin(7)
公式(7)中，^表示原始光照參考圖像或無光照參考圖像在光照子空間中的投影系
數(shù)，α表示原始光照參考圖像或無光照參考圖像在光照子空間中的投影系數(shù)向量，馬表示
光照子空間中的基圖像，4表示待識別原始人臉圖像或人臉反射率圖像，ι表示待識別原 始人臉圖像或者人臉反射率圖像的能量函數(shù)。在根據(jù)公式(7)計算得到投影系數(shù)后，再結(jié)合公式(6)即可分別得到原始光照參 考圖像和無光照參考圖像，原始光照參考圖像的光照與待識別原始人臉圖像的光照一致， 無光照參考圖像的光照與人臉反射率圖像的光照一致。S104、根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋理子空間、反射率 紋理子空間，將待識別原始人臉圖像投影到原始紋理子空間、人臉反射率圖像投影到反射 率紋理子空間，分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子空間的基圖像。紋理子空間由步驟S103中投影得到的參考圖像構(gòu)成。具體地，原始紋理子空間由 原始光照參考圖像構(gòu)成，反射率紋理子空間由無光照參考圖像構(gòu)成。圖3為本發(fā)明某種光 照下的原始紋理子空間和反射率紋理子空間示意圖。如圖3所示，第一行為原始紋理子空 間，該原始紋理子空間由8幅原始光照參考圖像構(gòu)成；第二行為反射率紋理子空間，該反射 率紋理子空間同樣由8幅無光照參考圖像構(gòu)成。從反射率紋理子空間選取互不相關(guān)的無光照參考圖像作為反射率紋理子空間的 基圖像Bfi。從原始紋理子空間選取互不相關(guān)的原始光照參考圖像作為原始紋理子空間的
基圖像易。以待識別原始人臉圖像在原始紋理子空間中的投影為例，反射率圖像在反射率紋 理子空間中的投影與之相同。根據(jù)= minC I^w=H Iln - ·巧丨|)計算待識別原始人
臉圖像在原始紋理子空間基圖像的投影系數(shù) / , Sj表示原始紋理子空間的基圖像，如表
示原始紋理子空間基圖像的投影權(quán)重，Iw表示待識別原始人臉圖像的能量函數(shù)，Ia表示 待識別原始人臉圖像。上述步驟103、104中的待識別原始人臉圖像是指經(jīng)過亮度調(diào)節(jié)后的待識別原始 人臉圖像。S105、根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間的基圖像重建無光照人臉圖像。本實施例中，根據(jù)公式(8)，對原始紋理子空間基圖像的投影系數(shù)和反射率紋理子 空間的基圖像交叉運算,得到重建的無光照人臉圖像。In^1 = m bP(8)
公式(8)中，< 表示原始紋理子空間基圖像的投影系數(shù)，^ff表示反射率紋理子空間的 基圖像。圖4為本發(fā)明無光照人臉圖像重建方法實施例二的流程圖。如圖4所示，本實施 例中的無光照人臉圖像重建方法包括
5401、從待識別原始人臉圖像中獲取人臉反射率圖像；
5402、對待識別原始人臉圖像和人臉反射率圖像分別進行亮度調(diào)節(jié)；
本實施例與上述實施例一不同之處在于，從待識別原始人臉圖像中獲取人臉反射率圖 像之后，分別對待識別原始人臉圖像和人臉反射率圖像進行亮度調(diào)節(jié)，具體亮度調(diào)節(jié)的方 式可以類似于實施例一所述的利用對直方圖進行拉伸的方式。S403、根據(jù)不同光照條件下的人臉參考圖像建立光照子空間，并將亮度調(diào)節(jié)后的 待識別原始人臉圖像和人臉反射率圖像分別投影到光照子空間得到原始光照參考圖像和 無光照參考圖像。S404、根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋理子空間、反射率 紋理子空間，分別從原始紋理子空間和反射率紋理子空間中選取互不相關(guān)的原始光照參考 圖像、無光照參考圖像作為原始紋理子空間中的基圖像、反射率紋理子空間中的基圖像。從原始紋理子空間中選取互不相關(guān)的原始光照參考圖像作為原始紋理子空間中 的基圖像；從反射率紋理子空間中選取互不相關(guān)的無光照參考圖像作為反射率紋理子空間 中的基圖像。原始紋理子空間中的基圖像和反射率紋理子空間中的基圖像均是矩陣式基圖 像。這些矩陣式基圖像由若干個原始光照參考圖像或者無光照參考圖像對應(yīng)一個基圖像向 量構(gòu)成。S405、按照預(yù)定的規(guī)則對亮度調(diào)節(jié)后的待識別原始人臉圖像和人臉反射率圖像進 行分塊分別得到待識別原始人臉圖像塊和人臉反射率圖像塊。S406、按照預(yù)定的規(guī)則分別對原始紋理子空間和反射率紋理子空間的基圖像進行 分塊得到對應(yīng)的基圖像塊。即對原始紋理子空間的每一個基圖像進行分塊，對反射率紋理子空間的每一個基 圖像進行分塊。由于通常情況下，待識別原始人臉圖像塊、人臉反射率圖像、原始光照參考圖像和 無光照參考圖像等的圖像像素數(shù)目要遠遠大于原始紋理子空間中的原始光照參考圖像、反 射率紋理子空間中的無光照參考圖像的數(shù)目，所以，為了防止利用能量最小函數(shù)計算得到 的原始紋理圖像各塊的投影系數(shù)誤差過大，對待識別原始人臉圖像、人臉反射率圖像進行 分塊得到待識別原始人臉圖像塊和人臉反射率圖像塊，分別對原始紋理子空間和反射率紋 理子空間的基圖像進行分塊得到原始紋理子空間基圖像塊、反射率紋理子空間基圖像塊。 換言之，原始紋理子空間和反射率紋理子空間的中的每一幅基圖像均由若干個基圖像塊構(gòu) 成。
對待識別原始人臉圖像、人臉反射率圖像、原始紋理子空間和反射率紋理子空間 的基圖像進行分塊按照預(yù)定的規(guī)則進行。該預(yù)定的規(guī)則可以為使每一幅待識別原始人臉 圖像包含的圖像塊、人臉反射率圖像包含的圖像塊的數(shù)目分別與原始紋理子空間和反射率 紋理子空間的每一幅基圖像包含的基圖像塊數(shù)目相等。本實施例中，為了消除圖像塊之間的邊界效應(yīng)，采用重疊分塊。此處，以反射率紋 理子空間的基圖像分塊來說明如何進行重疊分塊。假如反射率紋理子空間的基圖像大小 為(高*寬)，基于預(yù)定的規(guī)則使反射率紋理子空間的每一幅基圖像包含的基圖像塊
的像素數(shù)目分別與反射率紋理子空間中的無光照參考圖像數(shù)目相當(dāng)，計算出重疊的步長 5
，所以，每一個基圖像塊大小為~ #W{(高*寬)，反射率紋理子空間的每一幅基圖像就包含
(h — /],) . (w —w,)
J* f a個基圖像塊。原始紋理子空間的基圖像、待識別原始人臉圖像、人臉
反射率圖像的分塊與此處描述的反射率紋理子空間的基圖像分塊方法類似。S407、根據(jù)待識別人臉圖像塊的能量函數(shù)最小計算原始紋理圖像各塊的投影系數(shù)。對于待識別原始人臉圖像塊來說，根據(jù)其在原始紋理子空間下對應(yīng)的原始紋理子 空間基圖像塊以及能量函數(shù)最小可以計算出該原始紋理圖像塊的投影系數(shù)，詳細(xì)計算方法 如公式(9)所示。C^p = min(ftf | EJ =|| IJ -Iif · 5/||)(9)
表示待識別人臉圖像在原始紋理子空間的基圖像中第塊基圖像塊投影系數(shù)，
i；/表示待識別人臉圖像中第P塊圖像塊，af表示原始紋理子空間的基圖像中第ρ塊基
圖像塊的投影權(quán)重，5/表示原始紋理子空間的基圖像中第τ塊基圖像塊，S/表示待識 別人臉圖像中第^塊圖像塊的能量函數(shù)。步驟408、根據(jù)原始紋理圖像各塊的投影系數(shù)和反射率紋理子空間的基圖像塊重 建無光照人臉圖像。將上述公式(9)遍歷每一幅原始紋理子空間的基圖像塊得到原始紋理圖像各塊的 投影系數(shù)，這些圖像塊的投影系數(shù)構(gòu)成投影系數(shù)向量"I^1,-2,...,與反射率紋理子空
間的基圖像塊構(gòu)成的基圖像向量{sy, s/,...，^^/}交叉合成得到重建無光照人臉圖像， 如公式( ο)所示。
I^n = G^m Bp = Yi^i B；(10)
公式(10)中表示重建的無光照人臉圖像，其中，表示由原始紋理圖像塊投影系數(shù)ffl^組成的原始紋理子空間基圖像的投影系數(shù)；Sjff表示由反射率紋理圖像的基圖
像塊^組成的反射率紋理子空間中的基圖像表示每一幅基圖像中包含的基圖像塊數(shù) 目。圖5為本發(fā)明無光照人臉圖像重建方法實施例二中重建的無光照人臉圖像。如圖 5所示，左邊第一幅為表出圖像分塊策略的待識別原始人臉圖像，從中可看出，在待人別人 臉圖像的左上角有三個圖像塊，右下角同樣有三個圖像塊。開始從左到右按列依次為不同 光照條件下的待識別原始人臉圖像、按照不同分塊重建的無光照人臉圖像，具體地，從左到 有右依次為待識別原始人臉圖像，塊大小為2*2、步長為1重建的無光照人臉圖像，塊大小 為8*8、步長為4重建的無光照人臉圖像，塊大小為32*32、步長為16重建的無光照人臉圖 像，塊大小為2*2、步長為2重建的無光照人臉圖像。從圖中可看出，塊大小為32*32、步長 為16重建的無光照人臉圖像效果較好，即待識別人臉圖像被分為32*32塊時，分塊數(shù)目越 多，分塊越細(xì)，重建的效果愈好。圖6為本發(fā)明在Yale B數(shù)據(jù)庫中無光照圖像重建誤差與現(xiàn)有方法的比較示意圖。 如圖6所示，從上到下依次為現(xiàn)有技術(shù)之一 LTV法的重建誤差、現(xiàn)有技術(shù)之二 RLS法的重建 誤差、本發(fā)明的重建誤差。從圖6中可看出，本發(fā)明的重建誤差最小，均小于現(xiàn)有技術(shù)之一 LTV法的重建誤差和現(xiàn)有技術(shù)之二 RLS法的重建誤差。圖7為本發(fā)明在Yale B數(shù)據(jù)庫中重建的圖像效果與現(xiàn)有技術(shù)之二的比較示意圖。 按行依次為待識別原始人臉圖像、亮度調(diào)整后的待識別原始人臉圖像、人臉反射率圖像、現(xiàn) 有技術(shù)之二重建的圖像以及本發(fā)明重建的圖像。從圖可看出，在圖像的視覺表現(xiàn)上，本發(fā)明 重建的無光照人臉圖像紋理特征比較豐富和真實。圖8為基于本發(fā)明方法與現(xiàn)有技術(shù)其他方法的人臉識別率比較示意圖。如圖8所 示，在Yale B數(shù)據(jù)庫中，光照被分為5個子集，試驗中，以其中一個子集為模板，其他四個子 集作為測試對象，其中每一組分別對應(yīng)利用待識別原始人臉圖像、亮度調(diào)整后的待識別原 始人臉圖像，人臉反射率圖像，現(xiàn)有技術(shù)之二重建圖像、本發(fā)明重建圖像的人臉識別率。從 圖7中可看出，利用本發(fā)明的重建圖像得到的人臉圖像識別率均是5種方法中最高的。圖9為基于本發(fā)明方法與Nishino方法在CMU PIE數(shù)據(jù)庫中的人臉識別率比較示 意圖。如圖9所示，f8-f 17表示不同的光照，每組數(shù)據(jù)的第一個表示利用Nishino方法得 到的人臉識別率，第二個數(shù)據(jù)表示用本發(fā)明方法的人臉識別率。從表中可看出，本發(fā)明的人 臉識別率總體上要優(yōu)于Nishino方法。圖10為本發(fā)明無光照人臉圖像重建系統(tǒng)實施例的結(jié)構(gòu)示意圖。如圖10所示，本 實施例中的無光照人臉圖像重建系統(tǒng)包括反射率圖像獲取單元901、光照子空間投影單元 902、紋理子空間投影單元903、圖像重建單元904。其中，反射率圖像獲取單元901用于從待 識別原始人臉圖像中獲取人臉反射率圖像。光照子空間投影單元902用于根據(jù)不同光照條 件下的人臉參考圖像建立光照子空間以及將待識別原始人臉圖像和人臉反射率圖像分別 投影到光照子空間得到原始光照參考圖像和無光照參考圖像。紋理子空間投影單元903用 于根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋理子空間、反射率紋理子空間， 以及將待識別原始人臉圖像投影到原始紋理子空間、人臉反射率圖像投影到反射率紋理子 空間分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子空間中的基圖像。圖像重建單元904用于根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的基圖 像重建無光照人臉圖像。 本發(fā)明的上述實施例中，分別將待識別人臉圖像和人臉反射率圖像投影到光照子 空間得到對應(yīng)的原始光照參考圖像和無光照參考圖像，并以此分別建立對應(yīng)的原始紋理子 空間、反射率紋理子空間，根據(jù)待識別原始人臉圖像、人臉反射率圖像投影到對應(yīng)的原始紋 理子空間、反射率紋理子空間計算出原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子 空間中的基圖像，根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的基圖像 得到重建的無光照人臉圖像，區(qū)別于現(xiàn)有技術(shù)中利用LTV方法重建得到人臉反射率圖像， 以及利用RLS方法對對正常光照下的人臉模板圖像和濾波、校正后的人臉反射率圖像進行 合成得到重建的待識別原始人臉圖像，避免了差分過程中紋理信息的缺少導(dǎo)致重建的圖像 與待識別原始人臉圖像誤差較大，從而提高了人臉識別的準(zhǔn)確率。而且，本發(fā)明的技術(shù)方案 不依賴于高分辨的待識別原始人臉圖像；不需要固定光照的人臉圖像訓(xùn)練集；不需要恢復(fù) 人臉結(jié)構(gòu)；僅從單張待識別原始人臉圖像可以得到重建的無光照人臉圖像，重建的無光照 人臉圖像包含有豐富的紋理信息和圖像特征。
權(quán)利要求
一種無光照人臉圖像重建方法，其特征在于，包括步驟1、從待識別原始人臉圖像中獲取人臉反射率圖像；步驟2、根據(jù)不同光照條件下的人臉參考圖像建立光照子空間，并將待識別原始人臉圖像和人臉反射率圖像分別投影到光照子空間得到原始光照參考圖像和無光照參考圖像；步驟3、根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋理子空間、反射率紋理子空間，將待識別原始人臉圖像投影到原始紋理子空間、人臉反射率圖像投影到反射率紋理子空間，分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子空間中的基圖像；步驟4、根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的基圖像重建無光照人臉圖像。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟1包括 對待識別原始人臉圖像進行平滑濾波獲得人臉光照模板圖像；根據(jù)log全變差法以及人臉光照模板圖像對待識別原始人臉圖像進行差分得到人臉 反射率圖像。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，步驟2包括從光照子空間選取互不 相關(guān)的人臉參考圖像作為基圖像，根據(jù)基圖像以及原始光照參考圖像和無光照參考圖像在 光照子空間中的投影系數(shù)得到原始光照參考圖像和無光照參考圖像。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟2包括根據(jù)光照子空間中的人臉參 考圖像分別與原始光照參考圖像、無光照參考圖像在光照上的差異，計算原始光照參考圖 像或無光照參考圖像在光照子空間中的投影系數(shù)。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，根據(jù)光照子空間中的人臉參考圖像分別 與原始光照參考圖像、無光照參考圖像在光照上的差異，計算原始光照參考圖像或無光照 參考圖像在光照子空間中的投影系數(shù)包括根據(jù)計算原始光照參考圖像或無光照參考圖像在光照子空間中的投影系數(shù) ,ω表示原始光照參考圖像或無光照參考圖像在光照子空間中的投影系數(shù)向量，馬表示光照子空間中的基圖像，4表示待識別原始人臉圖像或人臉反射率圖像，孖表示待識別原始人臉圖像的能量函數(shù)。
6.根據(jù)權(quán)利要求1或2或5所述的方法，其特征在于，步驟3包括根據(jù)計算待識別原 始人臉圖像在原始紋理子空間基圖像的投影系數(shù)，表示原始紋理子空間的基圖像，表示原始紋理子空間基圖像的投影權(quán)重，Ew表示待識別原始人臉圖像的能量函數(shù)，Ife表示待識別原始人臉圖像。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，步驟3還包括按照預(yù)定的規(guī)則對待識別 原始人臉圖像和人臉反射率圖像進行分塊，分別得到待識別原始人臉圖像塊和人臉反射率 圖像塊，以及對原始紋理子空間和反射率紋理子空間中的基圖像進行分塊得到基圖像塊。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，步驟3還包括根據(jù)Gfjp =I E/ =II Iinp-ef · B/ ||)計算待識別人臉圖像在原始紋理子空間的基圖像中第ρ塊基圖像塊投影系數(shù)fflf ,其中，IJ表示待識別人臉圖像中第 塊圖像塊，Gf 表示原始紋理子空間的基圖像中第塊基圖像塊的投影權(quán)重，S/表示原始紋理子空間的 基圖像中第塊基圖像塊，表示待識別人臉圖像中第塊圖像塊的能量函數(shù)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，步驟4包括根據(jù)=辦Θ^得到重 建的無光照人臉圖像Ι _,其中， 々表示由原始紋理子空間中圖像塊的投影系數(shù)ffl^組成的原始紋理子空間基圖像的投影系數(shù)；Sif表示由反射率紋理圖像的基圖像塊S-組成的反射率紋理子空間中的基圖像。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，步驟4之后包括根據(jù)重建的無光照人臉圖像中的重疊的圖像塊對重建的無光照人臉圖像進行加權(quán)校正。
11.根據(jù)權(quán)利要求1或10所述的方法，其特征在于，還包括對待識別原始人臉圖像進 行亮度調(diào)節(jié)；或者，對待識別原始人臉圖像和反射率人臉圖像進行亮度調(diào)節(jié)。
12.一種無光照人臉圖像重建系統(tǒng)，其特征在于，包括反射率圖像獲取單元，用于從待識別原始人臉圖像中獲取人臉反射率圖像； 光照子空間投影單元，用于根據(jù)不同光照條件下的人臉參考圖像建立光照子空間以及 將待識別原始人臉圖像和人臉反射率圖像分別投影到光照子空間得到原始光照參考圖像 和無光照參考圖像；紋理子空間投影單元，用于根據(jù)原始光照參考圖像、無光照參考圖像分別建立原始紋 理子空間、反射率紋理子空間，以及將待識別原始人臉圖像投影到原始紋理子空間、人臉反 射率圖像投影到反射率紋理子空間分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射 率紋理子空間中的基圖像；圖像重建單元，用于根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的 基圖像重建無光照人臉圖像。
全文摘要
本發(fā)明公開了一種無光照人臉圖像重建方法和系統(tǒng)，屬于圖像重建領(lǐng)域。方法包括從待識別原始人臉圖像中獲取人臉反射率圖像；根據(jù)不同光照條件下的人臉參考圖像建立光照子空間并將待識別原始人臉圖像和人臉反射率圖像分別投影到光照子空間得到對應(yīng)的參考圖像；根據(jù)對應(yīng)的參考圖像分別建立對應(yīng)的紋理子空間并將待識別原始人臉圖像、人臉反射率圖像分別投影到對應(yīng)的紋理子空間，分別獲得原始紋理子空間基圖像的投影系數(shù)以及反射率紋理子空間中的基圖像、根據(jù)原始紋理子空間基圖像的投影系數(shù)和反射率紋理子空間中的基圖像重建無光照人臉圖像。本發(fā)明主要用于無光照人臉圖像重建。
文檔編號G06T7/00GK101923721SQ201010267258
公開日2010年12月22日 申請日期2010年8月31日 優(yōu)先權(quán)日2010年8月31日
發(fā)明者劉昌平, 熊鵬飛, 黃磊 申請人:漢王科技股份有限公司