本發(fā)明涉及圖像數(shù)據(jù)處理
技術(shù)領(lǐng)域：
，特別是被網(wǎng)紋覆蓋的人臉圖片的修復(fù)方法。
背景技術(shù)：
：人臉識(shí)別技術(shù)日趨成熟，人臉識(shí)別應(yīng)用也越來越廣泛。目前基于人臉識(shí)別的應(yīng)用主要集中在人臉考勤機(jī)、人臉通關(guān)系統(tǒng)以及基于視頻的人臉識(shí)別與監(jiān)控等方面，屬于對(duì)動(dòng)態(tài)目標(biāo)作出檢測(cè)實(shí)現(xiàn)識(shí)別；對(duì)于照片中的人臉進(jìn)行識(shí)別屬于對(duì)靜態(tài)目標(biāo)作出檢測(cè)實(shí)現(xiàn)識(shí)別。由于證件照在轉(zhuǎn)換成數(shù)字信息存儲(chǔ)時(shí)難免會(huì)被加上噪聲，比如人臉上出現(xiàn)細(xì)網(wǎng)紋，這很影響使用。過去去除證件照上的網(wǎng)紋通常采用photoshop軟件，人工擦除網(wǎng)紋區(qū)域，然后手工修補(bǔ)，這樣工作效率很低，且人工成本很高。目前基于圖像修復(fù)技術(shù)主要可以分為兩大類：一類是基于擴(kuò)散方程的修復(fù)方法，另一類是基于樣本塊的修復(fù)方法。基于擴(kuò)散方程的修復(fù)方法是基于參數(shù)模型或者偏微分方程(徐黎明，吳亞娟，劉航江基于變分偏微分方程圖像修復(fù)技術(shù)研究[j].西華師范大學(xué)學(xué)報(bào)(自然科學(xué)版).2016.37(3)：343-348)，從圖像破損區(qū)域的邊緣向內(nèi)逐漸平滑過渡，將平滑優(yōu)先性傳播或分散到局部結(jié)構(gòu)中，該類修復(fù)方法主要用于解決小區(qū)域破損的修復(fù)。該方法主要包括偏微分方程算法，全變分模型和基于曲率驅(qū)動(dòng)擴(kuò)散方程模型等?；跇颖緣K的修復(fù)方法(常晨，何建農(nóng)一種改進(jìn)的criminisi圖像修復(fù)方法[j].福州大學(xué)學(xué)報(bào)(自然科學(xué)版).2017.45(01)：74-79)是通過在資源區(qū)搜索與目標(biāo)塊的最優(yōu)匹配塊，并將其直接復(fù)制到破損區(qū)域來實(shí)現(xiàn)圖像修復(fù)；由于該方法能夠保持紋理特征的一致性，因此適合解決大區(qū)域破損圖像的修復(fù)問題。然而，對(duì)于以上兩種主要的修復(fù)方法在進(jìn)行帶網(wǎng)紋人臉的圖像修復(fù)時(shí)，需要事先找到需要去除的網(wǎng)紋區(qū)域，手動(dòng)擦除網(wǎng)紋區(qū)域，再進(jìn)行修復(fù)，同時(shí)也不能完好地修復(fù)擦除后的網(wǎng)紋區(qū)域，尤其是人眼以及其周邊區(qū)域等人臉敏感信息區(qū)域，達(dá)不到接近原圖的修復(fù)效果。技術(shù)實(shí)現(xiàn)要素：針對(duì)現(xiàn)有技術(shù)中處理人臉被網(wǎng)紋覆蓋的圖片時(shí)存在的不足，本發(fā)明所要解決的技術(shù)問題是，提出一種被網(wǎng)紋覆蓋的人臉圖片的修復(fù)方法。該方法從靜態(tài)目標(biāo)入手，將基于擴(kuò)散方程的修復(fù)方法、基于樣本塊的修復(fù)方法和邊緣檢測(cè)算法進(jìn)行改進(jìn)和綜合，首先進(jìn)行邊緣檢測(cè)，定位人物輪廓，完成網(wǎng)紋的去除，其次制作掩膜，防止后期圖像處理造成其失真，然后通過“x型”結(jié)構(gòu)對(duì)去除掉的網(wǎng)紋區(qū)域進(jìn)行填補(bǔ)，最后做平滑處理，以達(dá)到圖像的最優(yōu)輸出。該方法是針對(duì)證件照上人臉出現(xiàn)的網(wǎng)紋噪聲提出的自動(dòng)去除網(wǎng)紋并且能快速修復(fù)圖像的方法，對(duì)證件照上人臉出現(xiàn)的網(wǎng)紋噪聲的去除和修復(fù)效果很好，極大的節(jié)省了人工去除并修復(fù)證件照上被網(wǎng)紋噪聲覆蓋的時(shí)間，同時(shí)提高了工作效率。本發(fā)明解決所述技術(shù)問題采用的技術(shù)方案是：被網(wǎng)紋覆蓋的人臉圖片的修復(fù)方法，其特征在于該方法通過先提取網(wǎng)紋邊緣，再進(jìn)行去除網(wǎng)紋、最后填補(bǔ)網(wǎng)紋并對(duì)整幅圖像進(jìn)行平滑處理，達(dá)到還原人臉的目的；具體步驟如下：步驟s1，圖片預(yù)處理：將需要處理的圖片進(jìn)行行獲取，獲得待處理圖片的圖片高度rol和圖片寬度row，以像素點(diǎn)為單位，得到待處理圖片的圖片大小為rol×row；再將待處理圖片進(jìn)行double格式轉(zhuǎn)換；將進(jìn)行double格式轉(zhuǎn)換后的圖片大小進(jìn)行處理，使圖片高度為220、88或118，對(duì)應(yīng)的圖片寬度為178、72或96；步驟s2，對(duì)圖片進(jìn)行歸類，建立坐標(biāo)系，定位初始區(qū)域：根據(jù)上述步驟s1預(yù)處理的圖片的大小分為三類，即圖片大小為220×178、88×72或118×96；判斷步驟s1預(yù)處理后的圖片屬于三類中的哪一類圖片大?。唤又鴮?duì)人眼范圍進(jìn)行定位，以處理后圖片的左上角頂點(diǎn)為原點(diǎn)，以橫向?yàn)閤軸，縱向?yàn)閥軸，x軸從左至右數(shù)值越來越大，y軸從上到下數(shù)值越來越大，建立xy坐標(biāo)系；設(shè)定以下相關(guān)參數(shù)：左眼x坐標(biāo)比例系數(shù)為a，右眼x坐標(biāo)比例系數(shù)為c，左右眼y坐標(biāo)比例系數(shù)均為d，定位半徑為r；根據(jù)步驟s1預(yù)處理的圖片的大小設(shè)定不同比例系數(shù)，當(dāng)圖片大小為220×178，則a＝0.387、c＝0.645、d＝0.41、r＝14；當(dāng)圖片大小為88×72，則a＝0.38、c＝0.65、d＝0.38、r＝4；當(dāng)圖片大小為118×96，則a＝0.365、c＝0.645、d＝0.375、r＝8.5；通過上述所設(shè)定參數(shù)定位出眼睛及周邊半徑為r的區(qū)域，即定位得到人眼的初始區(qū)域；步驟s3，利用邊緣檢測(cè)提取網(wǎng)紋邊緣，進(jìn)行去除網(wǎng)紋操作：采集步驟s1預(yù)處理后的圖片，對(duì)圖片進(jìn)行遍歷，獲取圖片的所有像素點(diǎn)的r,g,b通道像素值，利用所有像素點(diǎn)的r,g,b通道像素值進(jìn)行邊緣檢測(cè)求解每個(gè)像素點(diǎn)的梯度差，利用邊緣檢測(cè)得到人物輪廓區(qū)域；同時(shí)利用每個(gè)像素點(diǎn)的梯度差進(jìn)行網(wǎng)紋邊緣提取，獲取網(wǎng)紋邊緣區(qū)域，在獲取網(wǎng)紋邊緣后，采用白色像素點(diǎn)(255,255,255)對(duì)檢測(cè)到的網(wǎng)紋邊緣區(qū)域進(jìn)行賦值，完成去除網(wǎng)紋的操作，得到去除網(wǎng)紋后的空白區(qū)域；步驟s4，提取掩膜、填補(bǔ)網(wǎng)紋并平滑圖像：產(chǎn)生虹膜掩膜和人物輪廓邊緣掩膜，并進(jìn)行掩膜制作，平滑圖像，輸出圖片結(jié)果；具體步驟是：s41，在步驟s3得到的空白區(qū)域選取空白像素點(diǎn)(x0，y0)，再在空白像素點(diǎn)(x0，y0)周邊按照“x型”結(jié)構(gòu)選取20個(gè)鄰近像素點(diǎn)，對(duì)這20個(gè)鄰近像素點(diǎn)進(jìn)行r通道像素值大小比較并排序，然后選取r通道像素值位于前四的四個(gè)鄰近像素點(diǎn)，這四個(gè)鄰近像素點(diǎn)的r通道像素值由大到小分別記為rout1、rout2、rout3和rout4，對(duì)應(yīng)的g通道像素值分別記為gout1、gout2、gout3和gout4，b通道像素值分別記為bout1、bout2、bout3和bout4；s42，將步驟s41中得到的四個(gè)鄰近像素點(diǎn)與空白像素點(diǎn)(x0，y0)的r,g,b通道像素值(r0,g0,b0)分別按照公式(1)進(jìn)行梯度差計(jì)算，其中，i＝1、2、3、4，ti為梯度差；s43，設(shè)定人物輪廓閾值為155，將步驟s42得到的梯度差ti(t1，t2，t3，t4)進(jìn)行比較大小，然后排序，選出最大的梯度差數(shù)值與設(shè)定的人物輪廓閾值進(jìn)行比較，ti中最大的數(shù)值大于人物輪廓閾值155，即得到人物輪廓邊緣掩膜，通過人物輪廓邊緣掩膜對(duì)人物輪廓邊緣進(jìn)行掩膜制作；反之，則不進(jìn)行任何操作，進(jìn)入步驟s44；s44，利用步驟s2中所設(shè)定的相關(guān)參數(shù)，定位出人眼的初始區(qū)域范圍，選取該初始區(qū)域中3×3大小的子區(qū)域ir，該子區(qū)域的r通道的像素值分別記為ra01、ra02、……、ra09，具體結(jié)構(gòu)如下表所示，ra01ra02ra03ra04ra05ra06ra07ra08ra09在此初始區(qū)域內(nèi)進(jìn)行卷積運(yùn)算，卷積因子α為：利用gp＝α*ir，計(jì)算出gp，gp＝ra02+ra04+ra06+ra08，即gp表示ra02、ra04、ra06、ra08四個(gè)位置r通道像素值之和；設(shè)定虹膜閾值為530，將gp與虹膜閾值進(jìn)行比較，若gp<530，定位得到虹膜掩膜區(qū)域，則將虹膜掩膜區(qū)域進(jìn)行虹膜周邊掩膜制作；若gp>530，則不進(jìn)行任何操作，進(jìn)入步驟s45；s45，將經(jīng)步驟s44定位得到的虹膜掩膜區(qū)域進(jìn)行虹膜周邊掩膜制作操作，設(shè)定上限虹膜閾值為1.3，下限虹膜閾值為0.75，在虹膜掩膜區(qū)域選取虹膜像素點(diǎn)(x,y)，再在該虹膜像素點(diǎn)(x,y)上下位置選取鄰近的十個(gè)參照像素點(diǎn)，這十個(gè)參照像素點(diǎn)的r通道像素值分別為r101、r102、r103、r104、r105、r108、r109、r110、r111和r112，r101、r102、r103、r104和r105所在位置與r108、r109、r110、r111和r112所在位置相對(duì)虹膜像素點(diǎn)(x，y)呈上下對(duì)稱結(jié)構(gòu)，利用公式(6)的比例關(guān)系，求解得到gpr，gpr＝(r101+r102+r103+r104+r105)/(r108+r109+r110+r111+r112)(6)比較gpr與上限虹膜閾值和下限虹膜閾值的大小，若gpr小于下限虹膜閾值0.75或者gpr大于上限虹膜閾值1.3，則對(duì)虹膜像素點(diǎn)(x,y)進(jìn)行虹膜周邊掩膜制作；若0.75≤gpr≤1.3，則不進(jìn)行任何操作，進(jìn)入步驟s46；s46，在整幅圖片上選取3×3大小的子區(qū)域ir0，子區(qū)域ir0的結(jié)構(gòu)同步驟s44中的子區(qū)域ir，對(duì)子區(qū)域ir0進(jìn)行邊緣檢測(cè)，并進(jìn)行卷積運(yùn)算，橫向卷積因子gx為：縱向卷積因子gy為：利用公式(7)和(8)分別計(jì)算grx和gry，grx和gry分別對(duì)應(yīng)橫向邊緣檢測(cè)r通道值和縱向邊緣檢測(cè)r通道值；根據(jù)公式(9)計(jì)算得到邊緣填補(bǔ)梯度差gr，grx＝gx*ir0(7)gry＝gy*ir0(8)s47，設(shè)定邊緣填補(bǔ)閾值為60，將邊緣填補(bǔ)梯度差gr與設(shè)定的邊緣填補(bǔ)閾值60進(jìn)行比較，若gr<60，將按照步驟s41得到的位于前二的r通道像素值rout1、rout2，同時(shí)獲得相對(duì)應(yīng)的g通道的像素值gout1、gout2和b通道的像素值bout1、bout2，分別按照公式(10)-(12)對(duì)r，g，b通道進(jìn)行加和求平均，得到r通道上平均值rm，g通道上平均值gm，b通道上平均值bm，rm＝(rout1+rout2)/2(10)gm＝(gout1+gout2)/2(11)bm＝(bout1+bout2)/2(12)分別用rm，gm，bm填補(bǔ)檢測(cè)到的網(wǎng)紋邊緣處的r,g,b通道像素值；若gr≥60，則進(jìn)行步驟s48；s48，在整幅圖片的非網(wǎng)紋邊緣處選取平滑像素點(diǎn)(x1，y1)，再在該平滑像素點(diǎn)(x1，y1)周邊按照“x型”結(jié)構(gòu)選取20個(gè)鄰近像素點(diǎn)，同步驟s41，選取r通道像素值位于前四的四個(gè)鄰近像素點(diǎn)，分別用公式(13)-(15)計(jì)算這四個(gè)鄰近像素點(diǎn)各通道的均值，分別記為r1、g1、b1；除了之前的虹膜掩膜和人物輪廓邊緣掩膜提取區(qū)域，將r1、g1、b1代替該平滑像素點(diǎn)(x1，y1)的r,g,b通道像素值，實(shí)現(xiàn)對(duì)整張圖片的平滑處理，輸出圖片結(jié)果；r1＝(rout1+rout2+rout3+rout4)/4(13)g1＝(gout1+gout2+gout3+gout4)/4(14)b1＝(bout1+bout2+bout3+bout4)/4(15)。上述被網(wǎng)紋覆蓋的人臉圖片的修復(fù)方法，所述步驟s41中的“x型”結(jié)構(gòu)是指，以空白像素點(diǎn)為中心，在該空白像素點(diǎn)的四個(gè)頂角位置沿對(duì)角線方向分別選取四個(gè)鄰近像素點(diǎn)，再在空白像素點(diǎn)的上下左右位置上均隔一個(gè)像素點(diǎn)后選擇一個(gè)鄰近像素點(diǎn)，共20個(gè)鄰近像素點(diǎn)構(gòu)成“x型”結(jié)構(gòu)。上述被網(wǎng)紋覆蓋的人臉圖片的修復(fù)方法，所述步驟s45中的虹膜像素點(diǎn)(x,y)的參照像素點(diǎn)的選取方法是：以虹膜像素點(diǎn)(x,y)為中心，在該虹膜像素點(diǎn)(x,y)的四個(gè)頂角位置沿對(duì)角線方向分別選取兩個(gè)參照像素點(diǎn)，再在虹膜像素點(diǎn)的上下位置上均隔一個(gè)像素點(diǎn)后選擇一個(gè)參照像素點(diǎn)，共選取10個(gè)參照像素點(diǎn)。與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果如下：(1)本發(fā)明針對(duì)被網(wǎng)紋覆蓋的人臉圖片，如何直接輸入存在網(wǎng)紋的人臉圖片進(jìn)行人臉去網(wǎng)紋操作，以便有效地去除網(wǎng)紋還原為本來人臉圖像的問題，將基于擴(kuò)散方程的修復(fù)方法、基于樣本塊的修復(fù)方法和邊緣檢測(cè)算法進(jìn)行改進(jìn)和綜合，先提取網(wǎng)紋再進(jìn)行修復(fù)，首先進(jìn)行邊緣檢測(cè)，定位人物輪廓，完成網(wǎng)紋的去除，其次制作掩膜，防止后期圖像處理造成其失真，然后通過“x型”結(jié)構(gòu)對(duì)去除掉的網(wǎng)紋區(qū)域進(jìn)行填補(bǔ)，最后做平滑處理，以達(dá)到人臉圖像的最優(yōu)輸出。(2)本發(fā)明方法對(duì)于人臉上有網(wǎng)紋的圖片要先進(jìn)行去網(wǎng)紋再修復(fù)，采用邊緣檢測(cè)，可以精準(zhǔn)的檢測(cè)到網(wǎng)紋邊緣，這樣就可以有效去除網(wǎng)紋區(qū)域，同時(shí)為了避免邊緣檢測(cè)對(duì)人臉關(guān)鍵部位，包括人眼瞳孔、虹膜、鞏膜、鼻子輪廓以及上下唇輪廓等敏感信息區(qū)域進(jìn)行誤操作，本發(fā)明通過制作虹膜掩膜和人物邊緣輪廓掩膜，對(duì)人臉關(guān)鍵部位做了掩膜保護(hù)，可以單純的進(jìn)行去除網(wǎng)紋操作；填補(bǔ)采用“x型”結(jié)構(gòu)填補(bǔ)策略，相對(duì)于
背景技術(shù)：
中的兩種修復(fù)方法填補(bǔ)更快，而且更適用于人臉網(wǎng)紋的去除修復(fù)。從實(shí)驗(yàn)結(jié)果來看，“x型”填補(bǔ)修復(fù)取得了較好的修復(fù)效果(見下面實(shí)施例中對(duì)圖3(a)和圖3(b)與圖4(a)和圖4(b)的說明)。附圖說明圖1是本發(fā)明中步驟s41中“x型”結(jié)構(gòu)的示意圖；圖2是本發(fā)明中步驟s45中虹膜像素點(diǎn)(x,y)的參照像素點(diǎn)的選取方法示意圖；圖3(a)和圖3(b)分別為兩個(gè)輸入圖片的示例；圖4(a)和圖4(b)分別為圖3(a)和圖3(b)對(duì)應(yīng)的修復(fù)后的效果圖；具體實(shí)施方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合實(shí)例例及附圖對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。但所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而并不以此用來對(duì)本發(fā)明權(quán)利要求保護(hù)范圍的限定。本發(fā)明被網(wǎng)紋覆蓋的人臉圖片的修復(fù)方法，通過先提取網(wǎng)紋邊緣，再進(jìn)行去除網(wǎng)紋、最后填補(bǔ)網(wǎng)紋并對(duì)整幅圖像進(jìn)行平滑處理，達(dá)到還原人臉的目的；具體步驟如下：步驟s1，圖片預(yù)處理：將需要處理的圖片通過matlab軟件進(jìn)行行獲取，獲得待處理圖片的圖片高度rol和圖片寬度row，以像素點(diǎn)為單位，得到待處理圖片的圖片大小為rol×row；再將待處理圖片進(jìn)行double格式轉(zhuǎn)換；將進(jìn)行double格式轉(zhuǎn)換后的圖片大小進(jìn)行處理，使圖片高度為220、88或118，對(duì)應(yīng)的圖片寬度為178、72或96；步驟s2，對(duì)圖片進(jìn)行歸類，建立坐標(biāo)系，定位初始區(qū)域：根據(jù)上述步驟s1預(yù)處理的圖片的大小分為三類，即圖片大小為220×178、88×72或118×96；判斷步驟s1預(yù)處理后的圖片屬于三類中的哪一類圖片大?。唤又鴮?duì)人眼范圍進(jìn)行定位，以處理后圖片的左上角頂點(diǎn)為原點(diǎn)，以橫向?yàn)閤軸，縱向?yàn)閥軸，x軸從左至右數(shù)值越來越大，y軸從上到下數(shù)值越來越大，建立xy坐標(biāo)系；設(shè)定以下相關(guān)參數(shù)：左眼x坐標(biāo)比例系數(shù)為a，右眼x坐標(biāo)比例系數(shù)為c，左右眼y坐標(biāo)比例系數(shù)均為d，定位半徑為r；根據(jù)步驟s1處理后的圖片大小設(shè)定不同比例系數(shù)，當(dāng)圖片大小為220×178，則a＝0.387、c＝0.645、d＝0.41、r＝14；當(dāng)圖片大小為88×72，則a＝0.38、c＝0.65、d＝0.38、r＝4；當(dāng)圖片大小為118×96，則a＝0.365、c＝0.645、d＝0.375、r＝8.5；通過上述所設(shè)定參數(shù)定位出眼睛及周邊半徑為r的區(qū)域，即定位得到人眼的初始區(qū)域；由于輸入圖片大小不一樣，但是人眼所在的區(qū)域位置占整幅圖片的比例是相近的，經(jīng)過反復(fù)實(shí)驗(yàn)針對(duì)不同圖片的大小設(shè)定特定的比例關(guān)系能使后期的掩膜提取更加準(zhǔn)確，達(dá)到準(zhǔn)確去除人臉網(wǎng)紋的效果；步驟s3，利用邊緣檢測(cè)提取網(wǎng)紋邊緣，進(jìn)行去除網(wǎng)紋操作：采集步驟s1預(yù)處理后的圖片，對(duì)圖片進(jìn)行遍歷，獲取圖片的所有像素點(diǎn)的r,g,b通道像素值，利用所有像素點(diǎn)的r,g,b通道像素值進(jìn)行邊緣檢測(cè)(沈德海，候建，鄂旭基于改進(jìn)的sobel算子邊緣檢測(cè)算法[j].計(jì)算機(jī)技術(shù)與發(fā)展.2013.23(11)：22-25)求解每個(gè)像素點(diǎn)的梯度差，利用邊緣檢測(cè)得到人物輪廓區(qū)域；同時(shí)利用每個(gè)像素點(diǎn)的梯度差進(jìn)行網(wǎng)紋邊緣提取，獲取網(wǎng)紋邊緣區(qū)域，在獲取網(wǎng)紋邊緣后，采用白色像素點(diǎn)(255,255,255)對(duì)檢測(cè)到的網(wǎng)紋邊緣區(qū)域進(jìn)行賦值，完成去除網(wǎng)紋的操作，得到去除網(wǎng)紋后的空白區(qū)域；步驟s4，提取掩膜、填補(bǔ)網(wǎng)紋并平滑圖像：產(chǎn)生虹膜掩膜和人物輪廓邊緣掩膜，并進(jìn)行掩膜制作，再填補(bǔ)網(wǎng)紋，平滑圖像，輸出圖片結(jié)果；具體步驟是：s41，在步驟s3得到的空白區(qū)域選取空白像素點(diǎn)(x0，y0)，再在空白像素點(diǎn)(x0，y0)周邊按照“x型”結(jié)構(gòu)選取20個(gè)鄰近像素點(diǎn)，對(duì)這20個(gè)鄰近像素點(diǎn)進(jìn)行r通道像素值大小比較并排序，然后選取r通道像素值位于前四的四個(gè)鄰近像素點(diǎn)，這四個(gè)鄰近像素點(diǎn)的r通道像素值由大到小分別記為rout1、rout2、rout3和rout4，對(duì)應(yīng)的g通道像素值分別記為gout1、gout2、gout3和gout4，b通道像素值分別記為bout1、bout2、bout3和bout4；s42，將步驟s41中得到的四個(gè)鄰近像素點(diǎn)與空白像素點(diǎn)(x0，y0)的r,g,b通道像素值(r0,g0,b0)分別按照公式(1)進(jìn)行梯度差計(jì)算，其中，i＝1、2、3、4，ti為梯度差；s43，設(shè)定人物輪廓閾值為155，將步驟s42得到的梯度差ti(t1，t2，t3，t4)進(jìn)行比較大小，然后排序，選出最大的梯度差數(shù)值與設(shè)定的人物輪廓閾值進(jìn)行比較，ti中最大的數(shù)值大于人物輪廓閾值155，即得到人物輪廓邊緣掩膜，通過人物輪廓邊緣掩膜對(duì)人物輪廓邊緣進(jìn)行掩膜制作；反之，則不進(jìn)行任何操作，進(jìn)入步驟s44；s44，利用步驟s2中設(shè)定的相關(guān)參數(shù)，定位出人眼的初始區(qū)域范圍，以便于本步驟更準(zhǔn)確地提取虹膜掩膜區(qū)域，選取該初始區(qū)域中3×3大小的子區(qū)域ir，該子區(qū)域的r通道的像素值分別記為ra01、ra02、……、ra09，具體結(jié)構(gòu)如下表所示，ra01ra02ra03ra04ra05ra06ra07ra08ra09在此初始區(qū)域內(nèi)進(jìn)行卷積運(yùn)算，卷積因子α為：利用gp＝α*ir，計(jì)算出gp，gp＝ra02+ra04+ra06+ra08，即gp表示ra02、ra04、ra06、ra08四個(gè)位置r通道像素值之和；設(shè)定虹膜閾值為530，將gp與虹膜閾值進(jìn)行比較，若gp<530，定位得到虹膜掩膜區(qū)域，則將虹膜掩膜區(qū)域進(jìn)行虹膜周邊掩膜制作，也就是屏蔽操作，后面的填補(bǔ)工作不管如何操作都不會(huì)對(duì)已屏蔽的虹膜掩膜區(qū)域產(chǎn)生影響，直至最后整幅圖片進(jìn)行平滑處理之前；若gp>530，則不進(jìn)行任何操作，進(jìn)入步驟s45；s45，將經(jīng)步驟s44定位得到的虹膜掩膜區(qū)域進(jìn)行虹膜周邊掩膜制作操作，設(shè)定上限虹膜閾值為1.3，下限虹膜閾值為0.75，此上限虹膜閾值和下限虹膜閾值用來得出虹膜周邊的掩膜，在虹膜掩膜區(qū)域選取虹膜像素點(diǎn)(x,y)，再在該虹膜像素點(diǎn)(x,y)上下位置選取鄰近的十個(gè)參照像素點(diǎn)，這十個(gè)參照像素點(diǎn)的r通道像素值分別為r101、r102、r103、r104、r105、r108、r109、r110、r111和r112，r101、r102、r103、r104和r105所在位置與r108、r109、r110、r111和r112所在位置相對(duì)虹膜像素點(diǎn)(x，y)呈上下對(duì)稱結(jié)構(gòu)，利用公式(6)的比例關(guān)系，求解得到gpr，gpr＝(r101+r102+r103+r104+r105)/(r108+r109+r110+r111+r112)(6)比較gpr與上限虹膜閾值和下限虹膜閾值的大小，若gpr小于下限虹膜閾值0.75或者gpr大于上限虹膜閾值1.3，則對(duì)虹膜像素點(diǎn)(x,y)進(jìn)行虹膜周邊掩膜制作，避免后期因圖像填補(bǔ)造成的虹膜周邊像素值的改變導(dǎo)致失真；若0.75≤gpr≤1.3，則不進(jìn)行任何操作，進(jìn)入步驟s46；s46，在整幅圖片上選取3×3大小的子區(qū)域ir0，子區(qū)域ir0的結(jié)構(gòu)同步驟s44中的子區(qū)域ir，對(duì)子區(qū)域ir0進(jìn)行邊緣檢測(cè)，并進(jìn)行卷積運(yùn)算，橫向卷積因子gx為：縱向卷積因子gy為：利用公式(7)和(8)分別計(jì)算grx和gry，grx和gry分別對(duì)應(yīng)橫向邊緣檢測(cè)r通道值和縱向邊緣檢測(cè)r通道值；根據(jù)公式(9)計(jì)算得到邊緣填補(bǔ)梯度差gr，grx＝gx*ir0(7)gry＝gy*ir0(8)s47，設(shè)定邊緣填補(bǔ)閾值為60，將邊緣填補(bǔ)梯度差gr與設(shè)定的邊緣填補(bǔ)閾值60進(jìn)行比較，若gr<60，將按照步驟s41得到的位于前二的r通道像素值rout1、rout2，同時(shí)獲得相對(duì)應(yīng)的g通道的像素值gout1、gout2和b通道的像素值bout1、bout2，分別按照公式(10)-(12)對(duì)r，g，b通道進(jìn)行加和求平均，得到r通道上平均值rm，g通道上平均值gm，b通道上平均值bm，rm＝(rout1+rout2)/2(10)gm＝(gout1+gout2)/2(11)bm＝(bout1+bout2)/2(12)分別用rm，gm，bm填補(bǔ)檢測(cè)到的網(wǎng)紋邊緣處的r,g,b通道像素值；若gr≥60，則進(jìn)行步驟s48；s48，在整幅圖片的非網(wǎng)紋邊緣處選取平滑像素點(diǎn)(x1，y1)，再在該平滑像素點(diǎn)(x1，y1)周邊按照按照“x型”結(jié)構(gòu)選取20個(gè)鄰近像素點(diǎn)，同步驟s41，選取r通道像素值位于前四的四個(gè)鄰近像素點(diǎn)，分別用公式(13)-(15)計(jì)算這四個(gè)鄰近像素點(diǎn)各通道的均值，分別記為r1、g1、b1；除了之前的虹膜掩膜和人物輪廓邊緣掩膜提取區(qū)域，將r1、g1、b1代替該平滑像素點(diǎn)(x1，y1)的r,g,b通道像素值，實(shí)現(xiàn)對(duì)整張圖片的平滑處理，輸出圖片結(jié)果；r1＝(rout1+rout2+rout3+rout4)/4(13)g1＝(gout1+gout2+gout3+gout4)/4(14)b1＝(bout1+bout2+bout3+bout4)/4(15)。本發(fā)明方法為先輸入覆蓋有網(wǎng)紋的人臉待處理圖片，通過圖片的高度判斷輸入圖片大小。其次利用邊緣檢測(cè)進(jìn)行提取網(wǎng)紋，也就是去除網(wǎng)紋，然后進(jìn)行掩膜制作，目的是對(duì)人臉敏感區(qū)域(人眼瞳孔、虹膜，鞏膜，鼻子輪廓以及上下唇輪廓等敏感信息區(qū)域)進(jìn)行掩膜制作，不論以后怎么處理人臉，這些部分是不受影響的，最后是對(duì)去除的網(wǎng)紋區(qū)域進(jìn)行“x型”填補(bǔ)，將填補(bǔ)完的圖像進(jìn)行平滑處理就得到了最終的輸出照片結(jié)果。本發(fā)明中所述的掩膜是通過改變提取到的像素值，使提取到的像素值不在設(shè)定閾值范圍內(nèi)，保證不被相應(yīng)的算法處理，起到屏蔽作用。所述的待處理圖片是指帶有網(wǎng)紋的人臉證件照，證件照大小只針對(duì)這三種220×178，88×72，118×96高寬比起作用，其他證件照尺寸要轉(zhuǎn)換成這三種尺寸再進(jìn)行處理，且本申請(qǐng)的待處理圖片為彩色圖片。圖1所示實(shí)施例表明，本發(fā)明中步驟s41中所述的“x型”結(jié)構(gòu)是以空白像素點(diǎn)(x0,y0)為中心，在該空白像素點(diǎn)的四個(gè)頂角位置沿對(duì)角線方向分別選取四個(gè)鄰近像素點(diǎn)，再在空白像素點(diǎn)的上下左右位置上均隔一個(gè)像素點(diǎn)后選擇一個(gè)鄰近像素點(diǎn)，共20個(gè)鄰近像素點(diǎn)構(gòu)成“x型”結(jié)構(gòu)，圖1中的黑色方塊即為選取的20個(gè)鄰近像素點(diǎn)。步驟s48中平滑像素點(diǎn)(x1，y1)的鄰近像素點(diǎn)選取規(guī)則同空白像素點(diǎn)的鄰近像素點(diǎn)選取規(guī)則相同。圖2所示實(shí)施例表明，本發(fā)明中步驟s45中虹膜像素點(diǎn)(x,y)的參照像素點(diǎn)的選取方法是：圖2中，每個(gè)白色方塊均為一個(gè)像素點(diǎn)，以虹膜像素點(diǎn)(x,y)為中心，在該虹膜像素點(diǎn)(x,y)的四個(gè)頂角位置沿對(duì)角線方向分別選取兩個(gè)參照像素點(diǎn)(r101和r104、r103和r105、r110和r108、r112和r109)，再在虹膜像素點(diǎn)的上下位置上均隔一個(gè)像素點(diǎn)后選擇一個(gè)參照像素點(diǎn)(r102和r111)，共選取10個(gè)參照像素點(diǎn)，10個(gè)參照像素點(diǎn)相對(duì)虹膜像素點(diǎn)(x,y)構(gòu)成上下對(duì)稱的結(jié)構(gòu)。通過大量實(shí)驗(yàn)證明，本發(fā)明的人物輪廓邊緣掩膜制作，采用“x型”結(jié)構(gòu)取周邊20個(gè)鄰近像素點(diǎn)，該結(jié)構(gòu)上下對(duì)稱，左右對(duì)稱，優(yōu)點(diǎn)是20個(gè)鄰近像素點(diǎn)均不連續(xù)，也就是隔一個(gè)取一個(gè)，沿對(duì)角線延長(zhǎng)，并將這20個(gè)鄰近像素點(diǎn)進(jìn)行排序，選取r通道像素值位于前四的四個(gè)像素點(diǎn)，同時(shí)可以獲得這四個(gè)像素點(diǎn)相對(duì)應(yīng)的g，b通道像素值，利用公式(1)可以得出梯度差ti,i＝1、2、3、4，利用(x0,y0)均勻分布的鄰近像素點(diǎn)得出的梯度差可以更合理地提取人物輪廓，對(duì)于非人物輪廓做了更好的濾除，對(duì)制作人物輪廓掩膜起到至關(guān)重要的作用。虹膜掩膜制作中，利用公式(6)，采用上下對(duì)稱結(jié)構(gòu)是因?yàn)楹缒^(qū)域像素值普遍比虹膜周邊區(qū)域像素值要低，通過上面結(jié)構(gòu)為5個(gè)分散的參照像素點(diǎn)r通道像素值之和與下面結(jié)構(gòu)5個(gè)分散的參照像素點(diǎn)r通道像素值之和做比得出gpr，要求上面結(jié)構(gòu)與下面結(jié)構(gòu)對(duì)稱，這樣做更能準(zhǔn)確定位到虹膜區(qū)域，然后制作虹膜掩膜。填補(bǔ)網(wǎng)紋邊緣采用“x型”結(jié)構(gòu)，可以快速的從20個(gè)鄰近像素點(diǎn)選取出位于前二的r通道像素值rout1、rout2，同時(shí)獲得相對(duì)應(yīng)的g通道的像素值gout1、gout2和b通道的像素值bout1、bout2，利用公式(10)-(12)填補(bǔ)效果是最好的。最后對(duì)整幅圖片的非網(wǎng)紋邊緣處選取平滑像素點(diǎn)(x1，y1)，再在該平滑像素點(diǎn)(x1，y1)周邊按照按照“x型”結(jié)構(gòu)選取20個(gè)鄰近像素點(diǎn)，分別用公式(13)-(15)計(jì)算這四個(gè)鄰近像素點(diǎn)各通道的均值，分別記為r1、g1、b1；除了之前的虹膜掩膜和人物輪廓邊緣掩膜提取區(qū)域，將r1、g1、b1代替該平滑像素點(diǎn)(x1，y1)，實(shí)現(xiàn)對(duì)整張圖片的平滑處理。這種平滑處理針對(duì)人臉上的像素點(diǎn)失真度小，采用“x型”結(jié)構(gòu)能從(x1，y1)周邊20個(gè)鄰近像素點(diǎn)選出前四的像素點(diǎn)進(jìn)行平滑處理，以達(dá)到最優(yōu)修復(fù)效果。在圖像修復(fù)中，最難的就是尋找最優(yōu)匹配塊來修復(fù)待修復(fù)區(qū)域，本發(fā)明按照“x型”結(jié)構(gòu)，選取20個(gè)鄰近像素點(diǎn)，計(jì)算位于前二的r通道像素值的均值，即可快速得到最優(yōu)網(wǎng)紋邊緣填補(bǔ)匹配像素點(diǎn)，計(jì)算位于前四的r通道像素值的均值，用于最優(yōu)的平滑處理像素點(diǎn)，即可得到整幅圖片除了之前的虹膜掩膜和人物輪廓邊緣掩膜提取區(qū)域。相對(duì)單純的基于擴(kuò)散方程的修復(fù)方法、基于樣本塊的修復(fù)方法和邊緣檢測(cè)算法，本發(fā)明方法創(chuàng)造性的將三者結(jié)合，得到最優(yōu)匹配塊，既能處理邊緣信息又能保護(hù)好圖像的邊緣信息，同時(shí)可以達(dá)到平滑的修復(fù)效果，且能快速修復(fù)。實(shí)施例為了詳細(xì)說明本發(fā)明的具體實(shí)施方式及驗(yàn)證本發(fā)明的有效性，將本發(fā)明提出的方法應(yīng)用于被網(wǎng)紋覆蓋的多張人臉圖片中。此類圖片的人臉網(wǎng)紋較為稀疏且顏色較淺。在本實(shí)施例中，直接將圖片路徑輸入進(jìn)去，然后再命令窗口輸入inpainting,，即可看到原圖和最終去網(wǎng)紋后的效果圖。本實(shí)施例中待處理圖片為圖3(a)和圖3(b)，大小均為220×178，設(shè)定a＝0.387，c＝0.645，d＝0.41，r＝14；按照本發(fā)明方法進(jìn)行修復(fù)，得到圖4(a)和圖4(b)所述的修復(fù)效果。圖4(a)和圖4(b)展示了本發(fā)明方法的去除人臉網(wǎng)紋修復(fù)后的效果圖，其中填補(bǔ)網(wǎng)紋采用的是從待填補(bǔ)點(diǎn)周邊以“x型”結(jié)構(gòu)取點(diǎn)，然后在取得點(diǎn)中篩選，找到r通道數(shù)值最大點(diǎn)，同時(shí)也取其g,b通道數(shù)值，同理，在取得r通道數(shù)值次大點(diǎn)，取到r通道數(shù)值前兩個(gè)點(diǎn)的r通道均值，然后對(duì)相應(yīng)的g,b通道值進(jìn)行取平均操作，將得到的三個(gè)通道的平均值填補(bǔ)到需要填補(bǔ)的像素點(diǎn)上，這樣比全圖遍歷尋找相似紋理結(jié)構(gòu)的exemplar-based算法更快，填補(bǔ)效果更好；同樣也比diffusion-based修復(fù)方法更準(zhǔn)確，因?yàn)槭侵苯訌拇扪a(bǔ)點(diǎn)周邊取點(diǎn)，進(jìn)行取平均后填補(bǔ)，所以基本看不到填補(bǔ)的痕跡。和以上這兩種算法相比，本發(fā)明方法對(duì)被網(wǎng)紋覆蓋的人臉圖片有更好的修復(fù)效果，修復(fù)后的圖片與原圖相比有很小的失真，并且看不到修復(fù)的痕跡，可以有效提升人臉識(shí)別中識(shí)別的正確率。以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。本發(fā)明中所述的掩膜制作、邊緣檢測(cè)等方法均為現(xiàn)有技術(shù)。本發(fā)明未述及之處適用于現(xiàn)有技術(shù)。當(dāng)前第1頁12