本發(fā)明涉及圖像處理領(lǐng)域,具體涉及一種基于梯度顯著性感知的皺紋分割方法、裝置及可讀介質(zhì)。
背景技術(shù):
1、隨著科技的迅速發(fā)展以及人們對(duì)美的追求不斷提升,臉部皺紋分割技術(shù)在許多新的領(lǐng)域中得到了廣泛應(yīng)用。例如,在醫(yī)學(xué)診斷領(lǐng)域,分割臉部皺紋可以幫助醫(yī)生評(píng)估患者的皮膚健康狀況和衰老程度,從而制定個(gè)性化的治療方案。又例如,在照片美化領(lǐng)域,依據(jù)臉部皺紋的不同類型與程度,應(yīng)用相應(yīng)的美化效果,以提升照片的質(zhì)量與用戶的滿意度。此外,在人臉識(shí)別領(lǐng)域,臉部皺紋作為一種獨(dú)特的生物特征,被廣泛應(yīng)用于用戶身份驗(yàn)證,以提高識(shí)別的準(zhǔn)確性和安全性。在健康監(jiān)測(cè)領(lǐng)域,皺紋分割可以用來(lái)評(píng)估個(gè)體的生理和心理健康狀況。
2、目前市面上的皺紋分割技術(shù)普遍存在不足?,F(xiàn)有技術(shù)通常未對(duì)人臉的皺紋像素權(quán)重進(jìn)行合理的設(shè)置,皺紋像素權(quán)重過(guò)高導(dǎo)致模型在訓(xùn)練過(guò)程中過(guò)度關(guān)注皺紋的細(xì)節(jié),可能會(huì)將非常小或微不足道的特征誤認(rèn)為皺紋,從而導(dǎo)致過(guò)度分割。皺紋像素權(quán)重過(guò)低,模型在訓(xùn)練過(guò)程中可能更傾向于將皺紋錯(cuò)誤地分割為背景,從而導(dǎo)致較低的召回率,這意味著模型可能會(huì)漏掉一部分真實(shí)存在的皺紋?,F(xiàn)有技術(shù)通常也未對(duì)人臉圖像的復(fù)雜紋理區(qū)域進(jìn)行加權(quán)感知,導(dǎo)致復(fù)雜紋理區(qū)域分割不完整的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的在于針對(duì)上述提到的技術(shù)問(wèn)題提出一種基于梯度顯著性感知的皺紋分割方法、裝置及可讀介質(zhì)。
2、第一方面,本發(fā)明提供了一種基于梯度顯著性感知的皺紋分割方法,包括以下步驟:
3、獲取原始人臉圖像并進(jìn)行皺紋像素標(biāo)注,生成對(duì)應(yīng)的皺紋標(biāo)注掩碼圖,基于原始人臉圖像及其對(duì)應(yīng)的皺紋標(biāo)注掩碼圖構(gòu)建人臉皺紋數(shù)據(jù)集;
4、構(gòu)建基于改進(jìn)的unet深度骨干網(wǎng)絡(luò)的人臉皺紋分割網(wǎng)絡(luò),人臉皺紋分割網(wǎng)絡(luò)在傳統(tǒng)的unet深度骨干網(wǎng)絡(luò)的基礎(chǔ)上添加一個(gè)多尺度注意力門模塊;
5、將人臉皺紋數(shù)據(jù)集中的原始人臉圖像輸入到人臉皺紋分割網(wǎng)絡(luò),得到對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖,計(jì)算人臉皺紋數(shù)據(jù)集中的原始人臉圖像中的每個(gè)像素點(diǎn)的顯著性,根據(jù)原始人臉圖像中的每個(gè)像素點(diǎn)的顯著性計(jì)算得到原始人臉圖像中的每個(gè)像素點(diǎn)的權(quán)重,基于原始人臉圖像中的每個(gè)像素點(diǎn)的像素值及其權(quán)重和原始人臉圖像對(duì)應(yīng)的皺紋標(biāo)注掩碼圖中的相應(yīng)像素點(diǎn)的像素值構(gòu)建梯度顯著性加權(quán)損失函數(shù),基于梯度顯著性加權(quán)損失函數(shù)對(duì)人臉皺紋分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練,得到經(jīng)訓(xùn)練的人臉皺紋分割網(wǎng)絡(luò);
6、獲取待處理的人臉圖像并輸入到經(jīng)訓(xùn)練的人臉皺紋分割網(wǎng)絡(luò),得到待處理的人臉圖像對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖。
7、作為優(yōu)選,人臉皺紋分割網(wǎng)絡(luò)包括收縮路徑、擴(kuò)展路徑和多尺度注意力門模塊,收縮路徑包括第一卷積模塊、第二卷積模塊、第三卷積模塊和第四卷積模塊,擴(kuò)展路徑包括第五卷積模塊、第六卷積模塊和第七卷積模塊,第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊、第五卷積模塊、第六卷積模塊和第七卷積模塊均包括兩個(gè)卷積核大小為3×3的第一卷積層,每個(gè)卷積核大小為3×3的第一卷積層后面均連接一個(gè)第一relu激活函數(shù)層,第一卷積模塊和第二卷積模塊之間、第二卷積模塊和第三卷積模塊之間以及第三卷積模塊和第四卷積模塊之間均包括一個(gè)池化核2×2為最大池化層;對(duì)第四卷積模塊的輸出特征進(jìn)行上采樣并和第三卷積模塊的輸出特征輸入到多尺度注意力門模塊,第四卷積模塊的輸出特征經(jīng)過(guò)上采樣后的特征與多尺度注意力門模塊的輸出特征拼接后輸入第五卷積模塊,對(duì)第五卷積模塊的輸出特征進(jìn)行上采樣并與第二卷積模塊的輸出特征拼接后輸入第六卷積模塊,對(duì)第六卷積模塊的輸出特征進(jìn)行上采樣并與第一卷積模塊的輸出特征拼接后輸入第七卷積模塊,上采樣均使用卷積核的大小為2×2的反卷積層,第七卷積模塊的輸出特征經(jīng)過(guò)一個(gè)卷積核大小為1×1的第二卷積層,輸出皺紋分割預(yù)測(cè)圖。
8、作為優(yōu)選,多尺度注意力門模塊包括第三卷積層、第四卷積層、第二relu激活函數(shù)層、第五卷積層、第六卷積層、第七卷積層、第八卷積層和sigmoid激活函數(shù)層,第三卷積層、第四卷積層和第八卷積層的卷積核大小均為1×1,第五卷積層、第六卷積層和第七卷積層的卷積核大小分別為3×3、5×5和7×7,第三卷積模塊的輸出特征和第四卷積模塊的輸出特征經(jīng)過(guò)上采樣后的特征分別輸入第三卷積層和第四卷積層,第三卷積層的輸出特征和第四卷積層的輸出特征相加并經(jīng)過(guò)第二relu激活函數(shù)層,得到中間特征,中間特征分別經(jīng)過(guò)第五卷積層、第六卷積層和第七卷積層進(jìn)行多尺度卷積,第五卷積層的輸出特征、第六卷積層的輸出特征和第七卷積層的輸出特征求和并取平均,得到融合特征,融合特征依次經(jīng)過(guò)第八卷積層和sigmoid激活函數(shù)層,得到注意力特征,注意力特征與第三卷積模塊的輸出特征逐元素相乘,得到多尺度注意力門模塊的輸出特征。
9、作為優(yōu)選,將人臉皺紋數(shù)據(jù)集中的原始人臉圖像輸入到人臉皺紋分割網(wǎng)絡(luò),得到對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖,具體包括:
10、訓(xùn)練過(guò)程中,原始人臉圖像經(jīng)過(guò)人臉皺紋分割網(wǎng)絡(luò)生成對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖,如下式所示:
11、;
12、其中,表示人臉皺紋分割網(wǎng)絡(luò)對(duì)應(yīng)的函數(shù),表示人臉皺紋分割網(wǎng)絡(luò)中的網(wǎng)絡(luò)參數(shù),表示原始人臉圖像,表示原始人臉圖像對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖,原始人臉圖像及其對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖的寬度和高度均分別為w和h。
13、作為優(yōu)選,計(jì)算人臉皺紋數(shù)據(jù)集中的原始人臉圖像中的每個(gè)像素點(diǎn)的顯著性,根據(jù)原始人臉圖像中的每個(gè)像素點(diǎn)的顯著性計(jì)算得到原始人臉圖像中的每個(gè)像素點(diǎn)的權(quán)重,具體包括:
14、灰度化原始人臉圖像并進(jìn)行梯度檢測(cè),得到人臉梯度幅值圖,如下式所示:
15、;
16、;
17、其中,ig表示原始人臉圖像的灰度圖,原始人臉圖像的灰度圖的寬度和高度也分別為w和h,x、y分別表示水平方向和垂直方向的像素點(diǎn)索引,;ig(x,y)、ig(x+1,y)和ig(x,y+1)分別表示原始人臉圖像的灰度圖ig在(x,?y)、(x+1,y)和(x,y+1)位置的像素點(diǎn)的像素值,原始人臉圖像的灰度圖中每個(gè)像素點(diǎn)的像素值的取值范圍為[0,255],且ig(w+1,h)和ig(w,h+1)的像素值設(shè)置為255;?gw表示水平方向梯度圖,gw(x,y)表示水平方向梯度圖gw在(x,y)位置的像素點(diǎn)的像素值;gh表示垂直方向梯度圖,gh(x,y)表示水平方向梯度圖gh在(x,y)位置的像素點(diǎn)的像素值;表示求絕對(duì)值運(yùn)算;
18、計(jì)算原始人臉圖像的灰度圖中每個(gè)像素點(diǎn)的梯度幅值,得到梯度幅值圖g,如下式所示:
19、;
20、其中,g(x,y)為梯度幅值圖g在(x,y)位置處的像素點(diǎn)的梯度幅值;
21、計(jì)算以每個(gè)像素點(diǎn)為中心的大小為的局部窗口內(nèi)的梯度幅值總和并作為每個(gè)像素點(diǎn)對(duì)應(yīng)的顯著性,如下式所示:
22、;
23、其中,u和v為局部窗口內(nèi)的像素偏移量,k為局部窗口的高度和寬度,s(x,y)為原始人臉圖像在(x,y)位置處的像素點(diǎn)的顯著性;
24、對(duì)原始人臉圖像的每個(gè)像素點(diǎn)的顯著性進(jìn)行歸一化,得到原始人臉圖像中的每個(gè)像素點(diǎn)的權(quán)重,如下式所示:
25、;
26、其中,表示原始人臉圖像在(x,?y)位置處的像素點(diǎn)的權(quán)重,為溫度系數(shù),,exp表示自然數(shù)e為底的指數(shù)函數(shù)。
27、作為優(yōu)選,梯度顯著性加權(quán)損失函數(shù)的表達(dá)式如下式所示:
28、;
29、其中,表示梯度顯著性加權(quán)損失函數(shù),原始人臉圖像的高度和寬度分別為w和h,x、y分別表示水平方向和垂直方向的像素點(diǎn)索引,;表示原始人臉圖像在(x,?y)位置處的像素點(diǎn)的權(quán)重,m表示原始人臉圖像對(duì)應(yīng)的皺紋標(biāo)注掩碼圖,表示皺紋標(biāo)注掩碼圖在(x,y)位置處的像素點(diǎn)的像素值,表示原始人臉圖像對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖,表示皺紋分割預(yù)測(cè)圖在(x,y)位置處的像素點(diǎn)的像素值,表示底數(shù)為自然數(shù)e的對(duì)數(shù)函數(shù),表示sigmoid激活函數(shù)。
30、第二方面,本發(fā)明提供了一種基于梯度顯著性感知的皺紋分割裝置,包括:
31、數(shù)據(jù)標(biāo)注模塊,被配置為獲取原始人臉圖像并進(jìn)行皺紋像素標(biāo)注,生成對(duì)應(yīng)的皺紋標(biāo)注掩碼圖,基于原始人臉圖像及其對(duì)應(yīng)的皺紋標(biāo)注掩碼圖構(gòu)建人臉皺紋數(shù)據(jù)集;
32、模型構(gòu)建模塊,被配置為構(gòu)建基于改進(jìn)的unet深度骨干網(wǎng)絡(luò)的人臉皺紋分割網(wǎng)絡(luò),人臉皺紋分割網(wǎng)絡(luò)在傳統(tǒng)的unet深度骨干網(wǎng)絡(luò)的基礎(chǔ)上添加一個(gè)多尺度注意力門模塊;
33、模型訓(xùn)練模塊,被配置為將人臉皺紋數(shù)據(jù)集中的原始人臉圖像輸入到人臉皺紋分割網(wǎng)絡(luò),得到對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖,計(jì)算人臉皺紋數(shù)據(jù)集中的原始人臉圖像中的每個(gè)像素點(diǎn)的顯著性,根據(jù)原始人臉圖像中的每個(gè)像素點(diǎn)的顯著性計(jì)算得到原始人臉圖像中的每個(gè)像素點(diǎn)的權(quán)重,基于原始人臉圖像中的每個(gè)像素點(diǎn)的像素值及其權(quán)重和原始人臉圖像對(duì)應(yīng)的皺紋標(biāo)注掩碼圖中的相應(yīng)像素點(diǎn)的像素值構(gòu)建梯度顯著性加權(quán)損失函數(shù),基于梯度顯著性加權(quán)損失函數(shù)對(duì)人臉皺紋分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練,得到經(jīng)訓(xùn)練的人臉皺紋分割網(wǎng)絡(luò);
34、分割模塊,被配置為獲取待處理的人臉圖像并輸入到經(jīng)訓(xùn)練的人臉皺紋分割網(wǎng)絡(luò),得到待處理的人臉圖像對(duì)應(yīng)的皺紋分割預(yù)測(cè)圖。
35、第三方面,本發(fā)明提供了一種電子設(shè)備,包括一個(gè)或多個(gè)處理器;存儲(chǔ)裝置,用于存儲(chǔ)一個(gè)或多個(gè)程序,當(dāng)一個(gè)或多個(gè)程序被一個(gè)或多個(gè)處理器執(zhí)行,使得一個(gè)或多個(gè)處理器實(shí)現(xiàn)如第一方面中任一實(shí)現(xiàn)方式描述的方法。
36、第四方面,本發(fā)明提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面中任一實(shí)現(xiàn)方式描述的方法。
37、第五方面,本發(fā)明提供了一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序,計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面中任一實(shí)現(xiàn)方式描述的方法。
38、相比于現(xiàn)有技術(shù),本發(fā)明具有以下有益效果:
39、(1)本發(fā)明提出的基于梯度顯著性感知的皺紋分割方法基于unet深度骨干網(wǎng)絡(luò)構(gòu)建人臉皺紋分割網(wǎng)絡(luò),用于人臉皺紋特征學(xué)習(xí),實(shí)現(xiàn)人臉皺紋的完整和準(zhǔn)確分割。
40、(2)本發(fā)明提出的基于梯度顯著性感知的皺紋分割方法將多尺度注意力門模塊引入?unet深度骨干網(wǎng)絡(luò)的瓶頸層,可以在保持較低計(jì)算開銷的同時(shí),增強(qiáng)模型對(duì)不同尺度皺紋特征的敏感性,從而提升全局語(yǔ)義信息的表達(dá)和實(shí)現(xiàn)語(yǔ)義壓縮。通過(guò)調(diào)整不同區(qū)域的特征權(quán)重,網(wǎng)絡(luò)能夠更加關(guān)注關(guān)鍵的皺紋區(qū)域,尤其是在復(fù)雜的皮膚紋理和皺紋結(jié)構(gòu)中,有效提高皺紋分割的準(zhǔn)確性和魯棒性。
41、(3)本發(fā)明提出的基于梯度顯著性感知的皺紋分割方法通過(guò)構(gòu)建梯度顯著性加權(quán)損失函數(shù),計(jì)算原始人臉圖像中每個(gè)像素點(diǎn)的顯著性,基于顯著性計(jì)算每個(gè)像素點(diǎn)的權(quán)重,并用于加權(quán)相應(yīng)像素點(diǎn)的皺紋-背景二分類損失,使得人臉皺紋分割網(wǎng)絡(luò)對(duì)于高梯度顯著性的像素點(diǎn)給予更多關(guān)注,引導(dǎo)人臉皺紋分割網(wǎng)絡(luò)更關(guān)注皺紋像素分割,而非數(shù)量占優(yōu)的背景像素分割,提升皺紋分割的完整性,改善人臉皺紋分割效果,滿足不同應(yīng)用領(lǐng)域的需求,并提升用戶體驗(yàn)和應(yīng)用效果。