專利名稱：一種面向整體特征分析的人臉圖像可逆幾何歸一化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉圖像幾何歸一化方法，特別涉及一種人臉圖像處理領(lǐng)域的基于二次仿射變換的人臉圖像可逆幾何歸一化方法。
背景技術(shù)：
隨著計(jì)算機(jī)和多媒體技術(shù)的發(fā)展和社會(huì)的不斷進(jìn)步，安全監(jiān)控、可視通信、醫(yī)學(xué)影像、衛(wèi)星遙感、電子娛樂、計(jì)算機(jī)視覺等各種領(lǐng)域?qū)Ω哔|(zhì)量圖像和視頻提出了廣泛的需求，高質(zhì)量的圖像/視頻能夠提供更豐富的信息和更真實(shí)的視覺感受，是很多實(shí)際應(yīng)用的基礎(chǔ)?？臻g分辨率指圖像中存儲(chǔ)的信息量，是衡量圖像細(xì)節(jié)表現(xiàn)力的重要指標(biāo)。真實(shí)世界的連續(xù)場(chǎng)景本身具有豐富的信息，但是受到成像設(shè)備、成像環(huán)境、噪聲等各種因素的影響，由成像設(shè)備獲取的數(shù)字圖像通常是低分辨率圖像，難以滿足不斷提高的實(shí)際應(yīng)用要求。尤其是來(lái)自于各種手持設(shè)備、車載視頻采集設(shè)備、無(wú)線視頻傳感器網(wǎng)絡(luò)以及惡劣自然條件下的視頻監(jiān)控設(shè)備等的圖像/視頻，在分辨率上通常難以令人滿意。因此，圖像/視頻超分辨率(Super-Resolution, SR)技術(shù)已成為近年來(lái)圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)。人臉是圖像處理與分析中的重要對(duì)象，針對(duì)人臉圖像的超分辨率復(fù)原引起了廣泛的關(guān)注。針對(duì)人臉圖像，基于整體人臉特征分析的方法得到了很好的實(shí)驗(yàn)結(jié)果。這類方法將人臉圖像作為一個(gè)整體進(jìn)行特征分析。對(duì)成對(duì)的高分辨率人臉圖像和相應(yīng)的低分辨率人臉圖像構(gòu)成的樣本庫(kù)進(jìn)行PCA(Principle Component Analysis)或ICA(Idendity ComponentAnalysis)分析。通過(guò)PCA將人臉整體分解為不同的特征臉的線性組合。樣本庫(kù)表現(xiàn)為一組低分辨率特征臉和對(duì)應(yīng)的高分辨率特征臉進(jìn)行PCA分解后的本征臉集合。超分辨率復(fù)原即首先將低分辨率人臉分解為若干個(gè)低分辨率特征臉的線性組合，得到組合系數(shù)。然后將這組系數(shù)直接應(yīng)用到對(duì)應(yīng)的高分辨本征臉上，組合出新的高分辨率人臉。這類方法能夠得到分辨率較高的結(jié)果，但是重建結(jié)果的人臉效果好壞很大程度上依賴樣本庫(kù)中圖像是否很好的幾何歸一化?，F(xiàn)實(shí)中人臉大小不一、五官位置更是因人而異，因此面向整體特征的人臉圖像幾何歸一化就起到了關(guān)鍵作用，是決定超分辨復(fù)原后圖像結(jié)果的一項(xiàng)重要因素?，F(xiàn)有的方法通常通過(guò)對(duì)雙眼位置的歸一化實(shí)現(xiàn)的。即經(jīng)過(guò)對(duì)人臉圖像的全局旋轉(zhuǎn)、按比例縮放以及裁剪使得人眼的坐標(biāo)位置固定。這樣做仍會(huì)使沒有對(duì)齊的鼻子和嘴復(fù)原后產(chǎn)應(yīng)明顯膺像，問題并沒有得到根本的解決。同時(shí)，這些方法通常不考慮幾何歸一化對(duì)人臉個(gè)性化比例特征的改變。輸入圖像一經(jīng)修改就破壞了原始的人臉個(gè)性化比例特征。

發(fā)明內(nèi)容
本發(fā)明的目的在于，通過(guò)基于二次仿射變換的方法實(shí)現(xiàn)可逆的人臉圖像幾何歸一化，根據(jù)人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)的定義，分別采用全局仿射變換、局部仿射變換和圖像邊緣融合
三種方法。本發(fā)明是采用以下技術(shù)手段實(shí)現(xiàn)的
—種基于二次仿射變換的人臉幾何歸一化方法，由視頻采集設(shè)備將人臉圖像采集，將目標(biāo)圖像的光學(xué)信號(hào)轉(zhuǎn)化為數(shù)字圖像信號(hào)，存儲(chǔ)在采集設(shè)備存儲(chǔ)器中；計(jì)算機(jī)通過(guò)現(xiàn)有的USB、紅外接口讀入圖像，在處理器中進(jìn)行基于二次仿射變換的人臉幾何歸一化；所述的歸一化結(jié)果可以以數(shù)據(jù)庫(kù)的形式存放并直接存儲(chǔ)在本地硬盤，或通過(guò)網(wǎng)絡(luò)存儲(chǔ)設(shè)備或進(jìn)行網(wǎng)絡(luò)存儲(chǔ)；所述的歸一化方法主要包括人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)定義，全局仿射變換步驟，局部仿射變換步驟和圖像邊緣融合步驟。所述全局仿射變換步驟中，人臉圖像按照人臉的標(biāo)準(zhǔn)結(jié)構(gòu)定義(圖I)標(biāo)注后，進(jìn)行全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致；所述局部仿射變換步驟中，針對(duì)嘴區(qū)域進(jìn)行幾何位置歸一化。主要步驟為嘴區(qū)域 劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域；所述圖像邊緣融合步驟中，針對(duì)全局變換圖像與局部變換圖像進(jìn)行邊緣的融合，達(dá)到形成標(biāo)準(zhǔn)幾何歸一化人臉圖像；圖像歸一化方法包括下述步驟從數(shù)據(jù)庫(kù)中讀入采集后的人臉圖像；由6個(gè)特征點(diǎn)坐標(biāo)及其相對(duì)位置描述人臉圖像，選取P1 P6(其對(duì)應(yīng)坐標(biāo)為(X1,Y1) (X6，y6))，分別對(duì)應(yīng)左眼中心、右眼中心、鼻尖、左側(cè)嘴角，嘴中心和右側(cè)嘴角坐標(biāo)；計(jì)算特征點(diǎn)之間相對(duì)位置關(guān)系F = (d, r1； r2, r3)。其中，
_5] d = ^(X1 -X2)2 +(y, -y2f(I)=^Tl(2)
ar2 = y5 2(3).3=^ = ^(4)
aa即d為雙眼中心之間的歐式距離，Γι為雙眼連線到鼻尖的垂直距離與d的比值；r2為鼻尖到嘴中心點(diǎn)的距離與d的比值，r3為嘴中心點(diǎn)到嘴角距離與d的比值。人臉圖像的長(zhǎng)和寬定義為2d，眼睛中心距最近的圖像邊緣為O. 5d ；通過(guò)對(duì)人臉圖像樣本庫(kù)特征點(diǎn)標(biāo)注并求統(tǒng)計(jì)平均得到針對(duì)不同人種人臉圖像的標(biāo)準(zhǔn)結(jié)構(gòu)參數(shù)F ；對(duì)人臉標(biāo)準(zhǔn)結(jié)構(gòu)定義后的圖像進(jìn)行全局仿射變換，通過(guò)全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致；進(jìn)行局部仿射變換針對(duì)嘴區(qū)域進(jìn)行幾何位置歸一化。主要步驟為嘴區(qū)域劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域與原圖像的邊緣融合。嘴部局部圖像與全局圖像邊緣融合，完成人臉圖像幾何歸一化；幾何歸一化后的人臉圖像存入數(shù)據(jù)庫(kù)中，并在本地進(jìn)行存儲(chǔ)或通過(guò)網(wǎng)絡(luò)存儲(chǔ)設(shè)備進(jìn)行遠(yuǎn)程傳輸?shù)炔僮鳎荒鏆w一化過(guò)程與上述的幾何歸一化過(guò)程相反，先從局部逆仿射開始，再到全局逆仿射；
前述全局仿射變換步驟如下對(duì)于輸入的人臉圖像，進(jìn)行人工特征點(diǎn)(P1 P6)標(biāo)注，根據(jù)P1和P2坐標(biāo)計(jì)算全局圖像旋轉(zhuǎn)角度，如式(5)所示
,ry2 - 、a = arctg(-)
X2-X1 (5)其中，α為P1與P2連線與水平線的角度。對(duì)圖像進(jìn)行角度為θ = -α的旋轉(zhuǎn)。旋轉(zhuǎn)前后對(duì)應(yīng)的坐標(biāo)如式(6)所示rU(c^ !b:!|S；]
i L 111 rtf技# j(6)定義旋轉(zhuǎn)后圖像的左上角為新的坐標(biāo)系統(tǒng)原點(diǎn)，則坐標(biāo)原點(diǎn)相對(duì)于原圖像原點(diǎn)還進(jìn)行了平移，設(shè)原圖像的寬和高分別為W和H，則，進(jìn)行逆時(shí)針旋轉(zhuǎn)的圖像坐標(biāo)變換關(guān)系如式⑵所示
X = xcos^+ ysin^< ,
[y = -xcos^ + _ycos^ + fF sin^(7)其中(X，y)為原圖像坐標(biāo)，(X’，γ，)為旋轉(zhuǎn)后的圖像坐標(biāo)。類似地，順時(shí)針旋轉(zhuǎn)圖像與原圖像對(duì)應(yīng)的坐標(biāo)關(guān)系為
I .Y' = · ;cr - ν ；η# — λ
V = -^,cc Sr — ; '；Ci r(8)旋轉(zhuǎn)后的圖像雙眼特征點(diǎn)處于同一水平線。計(jì)算橫向和縱向縮放比例系數(shù)，并進(jìn)行裁剪，使得雙眼坐標(biāo)和鼻尖的縱坐標(biāo)與人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)一致。橫向和縱向縮放比例系數(shù)分別如式(9)、(10)所示Sh= U1 2-x' ^ /d (9)Sy = (y' 3~y/ i)/rid(10)其中，坐標(biāo)點(diǎn)X' pX' 2、y' 1和太3為旋轉(zhuǎn)后的特征點(diǎn)坐標(biāo)，!■1和(1為公式(2)定義的標(biāo)準(zhǔn)結(jié)構(gòu)參數(shù)，即d為雙眼中心之間的歐式距離，Γι為雙眼連線到鼻尖的垂直距離與d的比值。為了確保歸一化的可逆性，參數(shù)α和橫向與縱向縮放系數(shù)的比值S = Sh/Sv作為逆變換參數(shù)保存。前述局部仿射變換，針對(duì)嘴部區(qū)域幾何歸一化具體步驟如下采用矩形劃定嘴區(qū)域，矩形的長(zhǎng)和高分別如式(11)、(12)所示w = B1 (X6-X4)(11)h = a2 (y5-y3)(12)矩形的左上角頂點(diǎn)坐標(biāo)如式(13)所示(X。，y。)= (x5-w/2, (y5+y3)/2) (13)將矩形左下角和右下角三角區(qū)排除在嘴區(qū)之外。三角區(qū)的兩條直角邊分別為w/4和h/4。通過(guò)對(duì)CAS-PEAL-R1數(shù)據(jù)庫(kù)的測(cè)試，選取B1 = I. 7，a2 = I. I ;通過(guò)特征點(diǎn)P4 P6坐標(biāo)計(jì)算嘴區(qū)的局部旋轉(zhuǎn)角度如式(14)所示
權(quán)利要求
1.一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，由視頻采集設(shè)備將人臉圖像采集，將目標(biāo)圖像的光學(xué)信號(hào)轉(zhuǎn)化為數(shù)字圖像信號(hào)，存儲(chǔ)在采集設(shè)備存儲(chǔ)器中；計(jì)算機(jī)通過(guò)現(xiàn)有的USB、紅外接口讀入圖像，在處理器中進(jìn)行基于二次仿射變換的人臉幾何歸一化；所述的歸一化結(jié)果可以以數(shù)據(jù)庫(kù)的形式存放并直接存儲(chǔ)在本地硬盤，或通過(guò)網(wǎng)絡(luò)存儲(chǔ)設(shè)備或進(jìn)行網(wǎng)絡(luò)存儲(chǔ)；所述的歸一化方法主要包括人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)定義，全局仿射變換步驟，局部仿射變換步驟和圖像邊緣融合步驟； 所述全局仿射變換步驟中，人臉圖像按照人臉的標(biāo)準(zhǔn)結(jié)構(gòu)定義后進(jìn)行全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致； 所述局部仿射變換步驟中，針對(duì)嘴區(qū)域進(jìn)行幾何位置歸一化，主要步驟為嘴區(qū)域劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域； 所述圖像邊緣融合步驟中，針對(duì)全局變換圖像與局部變換圖像進(jìn)行邊緣的融合，達(dá)到形成標(biāo)準(zhǔn)幾何歸一化人臉圖像； 圖像歸一化算法包括下述步驟 從數(shù)據(jù)庫(kù)中讀入采集后的人臉圖像； 由6個(gè)特征點(diǎn)坐標(biāo)及其相對(duì)位置描述人臉圖像，選取P1 P6 (其對(duì)應(yīng)坐標(biāo)為(X1, yi) (x6, y6))，分別對(duì)應(yīng)左眼中心、右眼中心、鼻尖、左側(cè)嘴角，嘴中心和右側(cè)嘴角坐標(biāo)； 計(jì)算特征點(diǎn)之間相對(duì)位置關(guān)系F = (d, r1； r2, r3);其中， d = ^(xx-X2)2 +(^1 -y2f (I) (2)r2-y~^(3) a X5-X4 X6-X5“、 r3 = ~^~ = ~^~(4) aa 即d為雙眼中心之間的歐式距離，r:為雙眼連線到鼻尖的垂直距離與d的比值；r2為鼻尖到嘴中心點(diǎn)的距離與d的比值，r3為嘴中心點(diǎn)到嘴角距離與d的比值；人臉圖像的長(zhǎng)和寬定義為2d，眼睛中心距最近的圖像邊緣為0. 5d ； 通過(guò)對(duì)人臉圖像樣本庫(kù)特征點(diǎn)標(biāo)注并求統(tǒng)計(jì)平均得到針對(duì)不同人種人臉圖像的標(biāo)準(zhǔn)結(jié)構(gòu)參數(shù)F ； 對(duì)人臉標(biāo)準(zhǔn)結(jié)構(gòu)定義后的圖像進(jìn)行全局仿射變換，通過(guò)全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致； 進(jìn)行局部仿射變換針對(duì)嘴區(qū)域進(jìn)行幾何位置歸一化；主要步驟為嘴區(qū)域劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域與原圖像的邊緣融合； 嘴部局部圖像與全局圖像邊緣融合，完成人臉圖像幾何歸一化； 幾何歸一化后的人臉圖像存入數(shù)據(jù)庫(kù)中，并在本地進(jìn)行存儲(chǔ)或通過(guò)網(wǎng)絡(luò)存儲(chǔ)設(shè)備進(jìn)行遠(yuǎn)程傳輸?shù)炔僮?；逆歸一化過(guò)程與上述的幾何歸一化過(guò)程相反，先從局部逆仿射開始，再到全局逆仿射。
2.根據(jù)權(quán)利要求I所述的一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，其特征在于所述的全局仿射變換，具體步驟如下 2. I :對(duì)于輸入的人臉圖像，進(jìn)行人工特征點(diǎn)(P1 P6)標(biāo)注，根據(jù)P1和P2坐標(biāo)計(jì)算全局圖像旋轉(zhuǎn)角度，如式(5)所示
3.根據(jù)權(quán)利要求I所述的一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，其特征在于所述的局部仿射變換，針對(duì)嘴部區(qū)域幾何歸一化具體步驟如下 3.I :采用矩形劃定嘴區(qū)域，矩形的長(zhǎng)和高分別如式(11)、(12)所示 W = H1 (X6~X4)(H) h = a2 (y5-y3)(12) 矩形的左上角頂點(diǎn)坐標(biāo)如式(13)所示
4.根據(jù)權(quán)利要求I所述的一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，其特征在于所述的全局變換圖像與局部變換圖像進(jìn)行邊緣的融合，具體步驟如下 .4.I :建立標(biāo)記圖像Label ;標(biāo)記圖像大小為2dX 2d ; .4.2 :對(duì)圖像每個(gè)像素點(diǎn)以數(shù)值O 3標(biāo)記；圖像所有標(biāo)記值初始化為O ;劃定嘴區(qū)后，處于嘴區(qū)的相應(yīng)位置像素，標(biāo)記圖像取值為I ;經(jīng)過(guò)局部旋轉(zhuǎn)、縮放和平移后，新的嘴區(qū)覆蓋的區(qū)與相應(yīng)的標(biāo)記圖像標(biāo)記值為2 ;這樣標(biāo)記圖像的具體含義為取值O的位置為局部變換為涉及的像素區(qū)域；取值為I的區(qū)與為屬于原嘴區(qū)，且不被新嘴區(qū)所覆蓋的像素；取值為2的像素為新嘴區(qū)域且不與原嘴區(qū)域重合的位置；區(qū)值為3的像素位置為新嘴區(qū)與原嘴區(qū)重合的位置； 對(duì)于O區(qū)像素，直接采用全局圖像中的像素作為為最終的歸一化圖像像素； 對(duì)與2區(qū)像素，由于局部仿射變換后新嘴區(qū)覆蓋了原始像素點(diǎn)，因此將新嘴區(qū)的像素直接代替覆蓋的原圖像素點(diǎn)； . 3區(qū)為新的嘴區(qū)域與原圖像非嘴區(qū)與的重合部分，采用加權(quán)平均的方法得到融合結(jié)果，以避免圖像中出現(xiàn)明顯的邊緣贗像；權(quán)值定義如下以局部仿射變換后的P5(x5，Y5)為中心構(gòu)造二維高斯函數(shù)如式(16)所示 一制 (16) 其中i = x-x5, i = y-y5,均為局部圖像中的圖像坐標(biāo):wj、2' -::n . C,C;)),Or =hml(2,, -r. )，Wm = wXSm和hm = hXSm分別為局部仿射變換后嘴部圖像的寬和聞; 重疊區(qū)(i，j)的合成像素如式(17)所示
全文摘要
本發(fā)明公開了一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，采用基于二次仿射變換的方法，首先進(jìn)行全局仿射即對(duì)人臉圖像按照人臉的標(biāo)準(zhǔn)結(jié)構(gòu)定義進(jìn)行全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致。將圖像裁剪為2d×2d大小。然后通過(guò)局部仿射變換針對(duì)嘴區(qū)域進(jìn)行幾何位置歸一化。最后利用圖像邊緣融合達(dá)到最終形成標(biāo)準(zhǔn)幾何歸一化人臉圖像。逆歸一化過(guò)程即根據(jù)逆變換參數(shù)將標(biāo)準(zhǔn)結(jié)構(gòu)人臉圖像通過(guò)二次仿射逆變換恢復(fù)到幾何歸一化之前的幾何結(jié)構(gòu)特征，以便保持不同人臉特征點(diǎn)的個(gè)性化拓?fù)浣Y(jié)構(gòu)。經(jīng)過(guò)幾何歸一化的人臉圖像可用于基于整體特征的人臉分析，如用于人臉圖像的超分辨率重建，人臉識(shí)別等。
文檔編號(hào)G06K9/00GK102663361SQ20121009659
公開日2012年9月12日 申請(qǐng)日期2012年4月1日 優(yōu)先權(quán)日2012年4月1日
發(fā)明者卓力, 夏青, 李曉光, 李風(fēng)慧 申請(qǐng)人:北京工業(yè)大學(xué)