本發(fā)明涉及人臉圖像的處理方法，具體地說(shuō)是一種人臉圖像中自動(dòng)去除眼鏡的方法。

背景技術(shù)：

人臉識(shí)別技術(shù)由于其主動(dòng)、直接、簡(jiǎn)單、友好等特點(diǎn)，市場(chǎng)前景十分廣闊。近些年，雖然人臉識(shí)別技術(shù)取得了很大的進(jìn)展，但是仍然受到面部表情、姿態(tài)、位置、頭部尺寸的變化和遮擋物等因素的限制。作為最常見(jiàn)的遮擋物，眼鏡通常會(huì)給人臉的后續(xù)處理和識(shí)別過(guò)程帶來(lái)很大的影響。

至今，針對(duì)人臉圖像眼鏡去除方面的研究并不多。有研究人員建立了戴眼鏡的人臉圖像和它對(duì)應(yīng)的不戴眼鏡的人臉圖像的聯(lián)合概率分布模型，并通過(guò)這個(gè)模型來(lái)合成不戴眼鏡的人臉圖像，但是對(duì)于那些無(wú)框的眼鏡，精確定位所需要的15個(gè)特征點(diǎn)是非常難的。有研究人員將PCA技術(shù)用于人臉圖像的眼鏡摘除，雖然利用PCA重建的人臉圖像是無(wú)眼鏡的，但實(shí)際上眼鏡所帶來(lái)的重建誤差被分散到整幅人臉圖像，不利于識(shí)別。有研究人員用PCA迭代誤差補(bǔ)償算法重建眼鏡遮擋區(qū)域的圖像，但PCA提取的特征只呈現(xiàn)出人臉形狀而對(duì)人臉細(xì)節(jié)表現(xiàn)不夠。有研究人員提出PCA-ICA-W方法，該方法雖然可以取得較好的結(jié)果，但事先也需要對(duì)大量人臉樣本進(jìn)行訓(xùn)練重建才能得到無(wú)眼鏡人臉圖像，計(jì)算量大，效率不高。

眼鏡去除過(guò)程中使用訓(xùn)練集時(shí)，訓(xùn)練集中的人臉圖像要經(jīng)過(guò)人臉對(duì)齊等預(yù)處理。實(shí)時(shí)情況下很難有合適的不戴眼鏡的人臉圖像作為訓(xùn)練集；即便有合適的訓(xùn)練集，但事先需要對(duì)大量人臉樣本進(jìn)行訓(xùn)練重建。眼鏡去除過(guò)程中使用補(bǔ)償集時(shí)，補(bǔ)償集是亮度、紋理相近的其他人臉圖像。實(shí)時(shí)情況下很難找到這樣的人臉圖像作為補(bǔ)償集；即便存在補(bǔ)償集，用作補(bǔ)償集的人臉圖像與待去除眼鏡的人臉圖像不是同一個(gè)人，兩幅圖像的光照條件或皮膚紋理都存在一定的差異。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供了一種人臉圖像中自動(dòng)去除眼鏡的方法，在不需要訓(xùn)練集也不需要補(bǔ)償集的情況下，適時(shí)、快速自動(dòng)生成失真度低的去除眼鏡人臉圖像。

本發(fā)明是這樣實(shí)現(xiàn)的：

人臉圖像中自動(dòng)去除眼鏡的方法，包括如下步驟：

s1、進(jìn)行基于半閾值和最小方差濾波的閾值分割,判斷是否有眼鏡并獲得眼鏡的遮擋區(qū)域；

s2、由眼鏡遮擋區(qū)域得到初始補(bǔ)償域，對(duì)初始補(bǔ)償域進(jìn)行調(diào)整，根據(jù)最小距離原理得到最佳匹配補(bǔ)償域；

s3、用扇形線(xiàn)性插值的方法對(duì)眼鏡遮擋區(qū)域進(jìn)行補(bǔ)償，得到不戴眼鏡的人臉圖像。

所述的人臉圖像中自動(dòng)去除眼鏡的方法，s1步包括以下步驟：

s1a.根據(jù)人臉的先驗(yàn)知識(shí)建立人眼的橢圓模型，用該模型代替人眼區(qū)域；

s1b.采用半閾值分割得到包含眼鏡在內(nèi)的顯著區(qū)域；

s1c.使用最小方差濾波的圖像分割及連通域去除技術(shù)獲得顯著區(qū)域邊界即準(zhǔn)確的眼鏡遮擋區(qū)域邊界并以周長(zhǎng)面積比作為眼鏡有無(wú)的判斷標(biāo)準(zhǔn)；

所述的人臉圖像中自動(dòng)去除眼鏡的方法，s2步包括以下步驟：

s2a.按照獲得的眼鏡遮擋區(qū)域邊界輪廓，依次確定初始補(bǔ)償域；

s2b.依據(jù)最小距離原理確定最佳匹配補(bǔ)償域；

所述的人臉圖像中自動(dòng)去除眼鏡的方法，s3步包括以下步驟：

s3a.根據(jù)最佳匹配補(bǔ)償域?qū)ρ坨R遮擋區(qū)域內(nèi)的像素點(diǎn)進(jìn)行線(xiàn)性插值補(bǔ)償；

s3b.利用扇形線(xiàn)性插補(bǔ)償法對(duì)眼鏡遮擋區(qū)域進(jìn)行補(bǔ)償，最終得到不戴眼鏡的人臉圖像。

所述的人臉圖像中自動(dòng)去除眼鏡的方法，步驟s3a為：

線(xiàn)性插值補(bǔ)償方法如式(1)、(2)、(3)、(4)：

y＝round((1-a_k)×y_bk+a_k×y′_tk)k＝1,2......n (2)

其中，(x_bk,y_bk)為補(bǔ)償域上第k個(gè)補(bǔ)償點(diǎn)的位置，(x′_tk,y′_tk)也記為(x_tk′,y_tk′)為補(bǔ)償域上與(x_bk,y_bk)距離最小的補(bǔ)償點(diǎn)，為把眼鏡遮擋區(qū)域標(biāo)記為白色后的人臉圖像。x取x′_tk和x_bk之間的整數(shù)，round(*)表示四舍五入取整，圖像的大小為m×n；

若在此過(guò)程中出現(xiàn)x′_tk＝x_bk的情況，直接按式(3)、(4)進(jìn)行補(bǔ)償，y取y′_tk和y_bk之間的整數(shù)。若此過(guò)程中出現(xiàn)y′_tk＝y(tǒng)_bk的情況，直接根據(jù)式(5)、(6)進(jìn)行補(bǔ)償，x取x′_tk和x_bk之間的整數(shù)；

所述的人臉圖像中自動(dòng)去除眼鏡的方法，步驟s3b為：

在最小距離兩側(cè)的扇形區(qū)域進(jìn)行線(xiàn)性插值補(bǔ)償:即除了在最小距離T(x_bk,y_bk)和T₀(x_tk′,y_tk′)之間進(jìn)行線(xiàn)性插值外，再確定補(bǔ)償域中在TT₀補(bǔ)償路徑兩側(cè)距離T₀最近的4個(gè)補(bǔ)償點(diǎn)(x_t(k′+1),y_t(k′+1))記為T(mén)₁、(x_t(k′-1),y_t(k′-1))記為T(mén)₂、(x_t(k′+2),y_t(k′+2))記為T(mén)₃、(x_t(k′-2),y_t(k′-2))記為T(mén)₄，在T和T₀之間進(jìn)行優(yōu)先補(bǔ)償，在T和T₁、T和T₂之間進(jìn)行次優(yōu)先補(bǔ)償，在T和T₃、T和T₄之間進(jìn)行后補(bǔ)償，使得在TT₁、TT₂、TT₃、TT₄之間的線(xiàn)性插值補(bǔ)償與TT₀之間的補(bǔ)償共同構(gòu)成扇形補(bǔ)償區(qū)域。

本發(fā)明根據(jù)人臉的先驗(yàn)知識(shí)建立人眼的橢圓模型，用該模型代替人眼區(qū)域，由此可以減少和眼鏡的距離比較近的人眼對(duì)眼鏡遮擋區(qū)域檢測(cè)造成影響。采用半閾值分割得到包含眼鏡在內(nèi)的顯著區(qū)域，方便進(jìn)行后續(xù)的眼鏡遮擋區(qū)域檢測(cè)。使用最小方差濾波的圖像分割及連通域去除技術(shù)去除噪聲，從而獲得顯著區(qū)域邊界。最后，以周長(zhǎng)面積比作為眼鏡有無(wú)的判斷標(biāo)準(zhǔn)。本發(fā)明按照獲得的眼鏡遮擋區(qū)域邊界輪廓，依次確定初始補(bǔ)償域。由于眼鏡輪廓的不規(guī)則性和眼鏡遮擋區(qū)域的邊界周?chē)袼氐膹?fù)雜情況，需要對(duì)初始補(bǔ)償域進(jìn)行調(diào)整。又由于距離較近的皮膚區(qū)域的差異較小，補(bǔ)償域之間的距離越小補(bǔ)償效果越好。因此，依據(jù)最小距離原則尋找最佳匹配補(bǔ)償域，從而為線(xiàn)性插值補(bǔ)償做準(zhǔn)備。

本發(fā)明中，針對(duì)眼鏡輪廓的不規(guī)則性，考慮在直接進(jìn)行線(xiàn)性插值補(bǔ)償后存在較多的遺漏點(diǎn)，因此，除了在最小距離之間進(jìn)行線(xiàn)性插值外，在最小距離兩側(cè)的扇形區(qū)域也進(jìn)行了線(xiàn)性插值補(bǔ)償。本發(fā)明使用和兩個(gè)方向的扇形線(xiàn)性插值的方法對(duì)眼鏡遮擋區(qū)域內(nèi)的像素點(diǎn)進(jìn)行補(bǔ)償，達(dá)到去除補(bǔ)償遺漏點(diǎn)的效果。

附圖說(shuō)明

圖1是本發(fā)明的方法流程示意圖。

圖2是本發(fā)明的眼鏡遮擋區(qū)域檢測(cè)流程圖。

圖3(a)至圖3(e)是利用本發(fā)明的方法進(jìn)行眼鏡遮擋區(qū)域檢測(cè)的實(shí)際過(guò)程圖。

圖4是本發(fā)明的不同形狀的方差濾波模板。

圖5是本發(fā)明的半框眼鏡和“白”色眼鏡框的檢測(cè)結(jié)果。

圖6是本發(fā)明的眼鏡補(bǔ)償域分布圖。

圖7是本發(fā)明補(bǔ)償步驟的說(shuō)明圖。

圖8為本發(fā)明的眼鏡遮擋區(qū)域的補(bǔ)償過(guò)程圖。

圖9為本發(fā)明的戴眼鏡的人臉圖像及其對(duì)應(yīng)的去除眼鏡后的人臉圖像。

具體實(shí)施方式

本發(fā)明所提供的一種人臉圖像中自動(dòng)去除眼鏡的方法中，首先進(jìn)行基于半閾值和最小方差濾波的閾值分割判斷是否有眼鏡并獲得眼鏡的遮擋區(qū)域。然后由眼鏡遮擋區(qū)域得到初始補(bǔ)償域，根據(jù)最小距離原理搜索最佳匹配補(bǔ)償域。最后用扇形線(xiàn)性插值的方法對(duì)眼鏡遮擋區(qū)域進(jìn)行補(bǔ)償，得到不戴眼鏡的人臉圖像。

下面的具體實(shí)施過(guò)程采用以下計(jì)算機(jī)的軟硬件條件來(lái)實(shí)現(xiàn)，但并不限定于以下條件：戴爾筆記本，CPU為intel-Core i5-3210M、2.5GHz，顯卡為NVIDIA GeForce GT 630M，內(nèi)存4GB，操作系統(tǒng)為Window 7，軟件編程語(yǔ)言使用Matlab R2013b。

結(jié)合附圖對(duì)本發(fā)明作出說(shuō)明：

圖1中，步驟S1,通過(guò)基于半閾值和最小方差濾波的閾值分割判斷是否有眼鏡并獲得眼鏡的遮擋區(qū)域；步驟S2,由眼鏡遮擋區(qū)域得到初始補(bǔ)償域，對(duì)初始補(bǔ)償域進(jìn)行調(diào)整，根據(jù)最小距離原理搜索最佳匹配補(bǔ)償域；步驟S3,用扇形線(xiàn)性插值的方法對(duì)眼鏡遮擋區(qū)域進(jìn)行補(bǔ)償，得到不戴眼鏡的人臉圖像。

下面結(jié)合圖1至圖5說(shuō)明步驟S1的眼鏡的遮擋區(qū)域獲得方法：

檢測(cè)過(guò)程如下：

用橢圓模型進(jìn)行人眼建模，然后用該模型代替人眼區(qū)域。

對(duì)如圖3(a)所示的人臉圖像I(x,y)進(jìn)行瞳孔定位，得到瞳孔坐標(biāo)(x₁,y₁)和(x₂,y₂)，那么瞳孔間的距離為：d＝|x₁-x₂|，人臉圖像的大小為m×n。用橢圓區(qū)域構(gòu)建人眼模型，橢圓方程如式(1)。

其中d、2a、2b滿(mǎn)足d:2a:2b＝5:2:1。針對(duì)深色眼鏡，橢圓模型用全白代替，得到圖3(b)所示圖像I_a。針對(duì)“白”色眼鏡，橢圓模型則用全黑代替。

采用半閾值分割得到包含眼鏡在內(nèi)的顯著區(qū)域。圖3(b)所示圖像I_a用式(2)處理，得到結(jié)果圖像I_b如圖3(c)所示；如果是針對(duì)“白”色眼鏡，則將得到的圖像用式(3)處理。

其中Th₁為人臉圖像I(x,y)的灰度均值。因?yàn)榻?jīng)過(guò)預(yù)處理的圖像的人臉皮膚占圖像絕大部分區(qū)域，所以一般情況下人臉圖像的灰度均值是大于深色眼鏡框而小于“白”色眼鏡框的。

為了去除噪聲，使用最小方差濾波的圖像分割方法，獲得準(zhǔn)確的眼鏡遮擋區(qū)域邊界。計(jì)算圖4中(a)、(b)、(c)的所有模板的灰度方差值，其中實(shí)心圓點(diǎn)為各個(gè)模板的中心點(diǎn)。然后用方差最小值對(duì)應(yīng)的模板像素平均值代替該點(diǎn)的像素值。對(duì)圖像I_b中的每個(gè)像素點(diǎn)都進(jìn)行上述的處理，最終得到濾波后的圖像I_c。為了減少眼鏡周?chē)脑肼?，通過(guò)圖像I_b和濾波后的圖像I_c構(gòu)造二維直方圖，對(duì)圖像I_b進(jìn)行基于二維最大信息熵的圖像分割得到圖像I_d如圖3(d)所示。二維直方圖的最大熵法充分利用了圖像像素點(diǎn)的信息，而且考慮到了像素點(diǎn)與其鄰域的空間相關(guān)信息，可以很好的去除眼鏡外的其他干擾，并且適合低信噪比圖像。

圖像I_d雖然包括了眼鏡遮擋區(qū)域，但是還存在著多余的部分，如眉毛，嘴巴等，因此用連通域去除方法去除面積較小和不屬于眼鏡遮擋區(qū)域的干擾部分，檢測(cè)得到眼鏡遮擋區(qū)域圖像I_e如圖3(e)所示。

因?yàn)檠坨R形狀相對(duì)于眉毛等其他干擾部位是相對(duì)復(fù)雜的，所以用周長(zhǎng)面積比作為眼鏡有無(wú)的判斷標(biāo)準(zhǔn)，周長(zhǎng)面積比較大時(shí)存在眼鏡，周長(zhǎng)面積比較小時(shí)不存在眼鏡。

人臉圖像中的眼鏡鏡框顏色有深色和淺色之分，進(jìn)行深色眼鏡的檢測(cè)時(shí)以全白橢圓模型代替人眼(方式1)，進(jìn)行淺色眼鏡檢測(cè)時(shí)，以全黑橢圓模型代替人眼(方式2)。本發(fā)明的方法中，在對(duì)人臉圖像進(jìn)行處理時(shí)，依據(jù)如圖2所示的流程圖，首先進(jìn)行深色眼鏡的檢測(cè)(方式1)，如果檢測(cè)到存在深色眼鏡，即進(jìn)入步驟S2，如果未檢測(cè)到深色眼鏡，即進(jìn)行淺色眼鏡的檢測(cè)(方式2)。如果檢測(cè)到存在淺色眼鏡，即進(jìn)入步驟S2。如果未檢測(cè)到淺色眼鏡，則無(wú)需進(jìn)行去除眼鏡的圖像處理，直接結(jié)束。

將上述方法用于戴深色半框眼鏡及“白”色眼鏡的人臉圖像的處理，如圖5所示。

圖5(a)、圖5(b)分別為戴深色半框眼鏡的人臉圖像以及按上述方法處理后得到的深色半框眼鏡遮擋區(qū)域圖像。

圖5(c)、圖5(d)分別為戴“白”色眼鏡的人臉圖像以及按上述方法處理后得到的“白”色眼鏡遮擋區(qū)域圖像。

下面結(jié)合圖6說(shuō)明步驟S2的由眼鏡遮擋區(qū)域得到初始補(bǔ)償域，對(duì)初始補(bǔ)償域進(jìn)行調(diào)整，根據(jù)最小距離原理搜索最佳匹配補(bǔ)償域的具體方法：

由步驟S1檢測(cè)出來(lái)的眼鏡遮擋區(qū)域得到眼鏡的邊界。如圖6所示，將每一個(gè)邊界點(diǎn)沿縱向向遠(yuǎn)離眼鏡方向移動(dòng)一個(gè)像素距離得到初始補(bǔ)償域P。然后把圖像的初始補(bǔ)償域P分為P₁、P₂、P₃、P₄。P₁為上眼鏡框的上部分的初始補(bǔ)償域，P₂為上眼鏡框的下部分的初始補(bǔ)償域，P₃為下眼鏡框的上部分的初始補(bǔ)償域，P₄為下眼鏡框的下部分的初始補(bǔ)償域。補(bǔ)償域P₁、P₃統(tǒng)稱(chēng)為P_t，補(bǔ)償域P₂、P₄統(tǒng)稱(chēng)為P_b。在靠近眼鏡中間部分：P₁＝P₃＝P_t、P₂＝P₄＝P_b。這里補(bǔ)償域的形式為(x_i,y_i)，其中i＝1,2......n。

得到的初始補(bǔ)償域中的補(bǔ)償點(diǎn)如果離眼鏡太遠(yuǎn)就違背了最小距離補(bǔ)償?shù)脑瓌t，如果離眼鏡太近，會(huì)受到眼鏡邊界形狀及噪聲點(diǎn)的影響。采用3×3塊元素投票的方式對(duì)補(bǔ)償域中補(bǔ)償點(diǎn)進(jìn)行搜索調(diào)整。假設(shè)某補(bǔ)償點(diǎn)q，以q為中心點(diǎn)取3×3的鄰域，將塊內(nèi)點(diǎn)分別與中心點(diǎn)作差取絕對(duì)值得到差值塊D(x,y)，然后按式(4)進(jìn)行判斷。即鄰域差值小于Th₂為“1”表示“贊同投票”，反之“不投票”。然后判斷塊中的“1”的個(gè)數(shù)n即“唱票”。一般情況下，當(dāng)n＝8時(shí)，該像素可視為區(qū)域內(nèi)點(diǎn)，若n≥6且n≠8時(shí)該像素可視為合格補(bǔ)償點(diǎn)，其他屬于不合格補(bǔ)償點(diǎn)。對(duì)于合格補(bǔ)償點(diǎn)，y_i向靠近眼鏡方向逐個(gè)移動(dòng)補(bǔ)償點(diǎn)，判斷補(bǔ)償點(diǎn)合格與否，直到找到離鏡框最近的合格補(bǔ)償。對(duì)于不合格補(bǔ)償點(diǎn)，y_i向遠(yuǎn)離眼鏡方向逐個(gè)移動(dòng)補(bǔ)償點(diǎn)，判斷補(bǔ)償點(diǎn)合格與否，直到找到合格補(bǔ)償。得到最終的補(bǔ)償點(diǎn)后，用塊中“投票人”對(duì)應(yīng)的原像素值的均值代替補(bǔ)償點(diǎn)像素值。

其中D(x,y)表示塊內(nèi)點(diǎn)分別與中心點(diǎn)作差取絕對(duì)值后得到差值塊，E(x,y)表示塊D內(nèi)元素進(jìn)行閾值判斷后的塊。Th₂表示梯度閾值，因?yàn)橄噜彽钠つw像素的差值比較小，所以這里Th₂取10。

經(jīng)過(guò)補(bǔ)償域調(diào)整后，最終得到補(bǔ)償域得到補(bǔ)償域后在原圖像上對(duì)眼鏡遮擋區(qū)域進(jìn)行標(biāo)記，即把眼鏡遮擋區(qū)域標(biāo)記為白色，標(biāo)記后的圖像記為圖像

以上方法是針對(duì)y_i的補(bǔ)償域調(diào)整。但是對(duì)眼鏡補(bǔ)償域豎直或者接近豎直的區(qū)域的調(diào)整作用不大，對(duì)于這樣的補(bǔ)償域，我們針對(duì)x_i進(jìn)行相應(yīng)的調(diào)整。調(diào)整方法與y_i的調(diào)整方法類(lèi)似。

以補(bǔ)償域?yàn)槌霭l(fā)點(diǎn)，按式(5)在補(bǔ)償域中找出對(duì)應(yīng)的最小距離。

其中，d_k表示補(bǔ)償域上第k個(gè)補(bǔ)償點(diǎn)到的最小距離，(x_bk,y_bk)為補(bǔ)償域上第k個(gè)補(bǔ)償點(diǎn)的位置，(x_ti,y_ti)為補(bǔ)償域上第i個(gè)補(bǔ)償點(diǎn)的位置。

根據(jù)最小距離d_k得到距離補(bǔ)償域(x_bk,y_bk)最小距離的補(bǔ)償域(x_tk′,y_tk′)記為(x′_tk,y′_tk)，就得到了最佳補(bǔ)償匹配域。

下面結(jié)合圖7、圖8以及圖9說(shuō)明步驟S3中“用扇形線(xiàn)性插值的方法對(duì)眼鏡遮擋區(qū)域補(bǔ)償，圖8(a)為處理前的戴眼鏡的人臉圖像，圖8(b)、圖8(c)為處理后得到的去除眼鏡的人臉圖像，根據(jù)最佳匹配補(bǔ)償域?qū)ρ坨R遮擋區(qū)域進(jìn)行扇形線(xiàn)性插值補(bǔ)償，得到不戴眼鏡的人臉圖像”的方法：

補(bǔ)償方法如式(6)、(7)、(8)、(9)。

y＝round((1-a_k)×y_bk+a_k×y′_tk)k＝1,2......n (7)

其中，x取x′_tk和x_bk之間的整數(shù)，round(*)表示四舍五入取整。

若在此過(guò)程中出現(xiàn)x′_tk＝x_bk的情況，直接按式(8)、(9)進(jìn)行補(bǔ)償，y取y′_tk和y_bk之間的整數(shù)。若此過(guò)程中出現(xiàn)y′_tk＝y(tǒng)_bk的情況，直接根據(jù)式(10)、(11)進(jìn)行補(bǔ)償，x取x′_tk和x_bk之間的整數(shù)。

補(bǔ)償時(shí)，如圖7(a)中1所標(biāo)記的情況，兩次被補(bǔ)償路徑平行，被補(bǔ)償路徑不存在遺漏點(diǎn)。而由于眼鏡遮擋區(qū)域邊界不規(guī)則或補(bǔ)償域的調(diào)整，相鄰兩次被補(bǔ)償路徑會(huì)出現(xiàn)如圖7(a)中2、3所標(biāo)記的情況，兩次被補(bǔ)償路徑不平行，在這些情況下直接用最小距離方向的線(xiàn)性插值進(jìn)行補(bǔ)償必然會(huì)存在較多的遺漏點(diǎn)。為了減少或者消除這樣的遺漏點(diǎn)，在最小距離方向進(jìn)行線(xiàn)性插值補(bǔ)償?shù)幕A(chǔ)上加以改進(jìn)，提出了在最小距離兩側(cè)的扇形區(qū)域也進(jìn)行了線(xiàn)性插值補(bǔ)償。如圖7(b)所示，除了在最小距離T(x_bk,y_bk)和T₀(x_tk′,y_tk′)之間進(jìn)行線(xiàn)性插值外，再確定補(bǔ)償域中在TT₀補(bǔ)償路徑兩側(cè)距離T₀最近的4個(gè)補(bǔ)償點(diǎn)(x_t(k′+1),y_t(k′+1))記為T(mén)₁、(x_t(k′-1),y_t(k′-1))記為T(mén)₂、(x_t(k′+2),y_t(k′+2))記為T(mén)₃、(x_t(k′-2),y_t(k′-2))記為T(mén)₄，在TT₁、TT₂、TT₃、TT₄之間也進(jìn)行線(xiàn)性插值補(bǔ)償，使之與TT₀共同構(gòu)成扇形補(bǔ)償區(qū)域。

根據(jù)上述步驟以補(bǔ)償域?yàn)槌霭l(fā)點(diǎn)向進(jìn)行最小距離搜索的扇形線(xiàn)性插值補(bǔ)償。

對(duì)眼鏡遮擋區(qū)域進(jìn)行補(bǔ)償時(shí)，應(yīng)用上述步驟后，有些像素點(diǎn)會(huì)被多次補(bǔ)償，但是最小距離方向的補(bǔ)償效果最好，與最小距離方向偏離程度小的補(bǔ)償效果較偏離程度大的補(bǔ)償效果好。所以本發(fā)明在T和T₀之間進(jìn)行優(yōu)先補(bǔ)償，在T和T₁、T和T₂之間進(jìn)行次優(yōu)先補(bǔ)償，在T和T₃、T和T₄之間進(jìn)行后補(bǔ)償。但是，為了減少遺漏點(diǎn)，采用和兩個(gè)方向的補(bǔ)償，這樣個(gè)別點(diǎn)可能會(huì)出現(xiàn)兩次同級(jí)別補(bǔ)償，這時(shí)補(bǔ)償值取兩個(gè)補(bǔ)償值的均值。為了較好的視覺(jué)效果，采用3×3鄰域?qū)ρ坨R遮擋區(qū)域進(jìn)行濾波，得到的結(jié)果圖像如圖8(b)所示。

由于眼鏡鼻梁兩側(cè)的區(qū)域(如圖7(a)中的A區(qū)域)被補(bǔ)償?shù)拿娣e比較大，不容易被完全補(bǔ)償修復(fù)，所以圖8(b)中對(duì)應(yīng)的區(qū)域補(bǔ)償效果不好。若未出現(xiàn)這種情況，不作處理直接得到結(jié)果圖像；若出現(xiàn)這種情況，根據(jù)式(10)、(11)對(duì)鼻梁兩側(cè)的A區(qū)域分別進(jìn)行水平方向的線(xiàn)性插值補(bǔ)償，得到最終結(jié)果圖像如圖8(c)所示。采用本發(fā)明的方法對(duì)圖9中上面一行戴眼鏡的人臉圖像進(jìn)行處理后，得到如圖9中對(duì)應(yīng)的下面一行的眼鏡去除后的人臉圖像。