本發(fā)明涉及一種圖像去遮擋方法，尤其涉及一種基于深度學(xué)習(xí)的人臉圖像去遮擋方法。

背景技術(shù)：

隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，人臉識別在家庭娛樂，安防系統(tǒng)，視頻監(jiān)控等領(lǐng)域得到廣泛應(yīng)用。人臉識別的各個(gè)步驟都需要輸入人臉圖像滿足一定要求：人臉圖像無明顯噪聲，遮擋，人臉圖像清晰度，質(zhì)量較好。目前，人臉圖像去噪遮擋主要關(guān)注在去除干擾信息的同時(shí)，減少圖像細(xì)節(jié)的丟失。

基于傳統(tǒng)方法的圖像去遮擋和修復(fù)主要分為兩個(gè)方向：基于圖像紋理分析技術(shù)和基于局部插值的圖像修復(fù)方法。

基于傳統(tǒng)紋理分析技術(shù)的圖像去噪方法，其模型設(shè)計(jì)復(fù)雜，速度慢，效率低，容易帶來圖像細(xì)節(jié)模糊問題。而基于局部插值的圖像修復(fù)方法，未使用到圖像的全局信息，容易帶來圖像不平滑問題。對于缺少區(qū)域比較大的場景，效果較差，基于插值圖像的修復(fù)方法需要事先知道噪聲位置。

技術(shù)實(shí)現(xiàn)要素：

為了解決上述問題中的不足之處，本發(fā)明提供了一種基于深度學(xué)習(xí)的人臉圖像去遮擋方法。

為了解決以上技術(shù)問題，本發(fā)明采用的技術(shù)方案是：一種基于深度學(xué)習(xí)的人臉圖像去遮擋方法，包括以下步驟：

(1)自動對原始圖片添加特定樣式與分布的遮擋，模擬真實(shí)遮擋分布，制作訓(xùn)練數(shù)據(jù)集并對輸入數(shù)據(jù)進(jìn)行預(yù)處理；

具體的預(yù)處理步驟包括但不限于將輸入圖像進(jìn)行歸一化、尺度縮放、數(shù)據(jù)增廣；并且通過批處理操作將圖片像素值進(jìn)行歸一化，便于后續(xù)計(jì)算與網(wǎng)絡(luò)收斂；

(2)設(shè)計(jì)基于全卷積網(wǎng)絡(luò)的神經(jīng)子網(wǎng)絡(luò)N1學(xué)習(xí)遮擋的分布與深淺；

其中，網(wǎng)絡(luò)的前端部分較淺的神經(jīng)網(wǎng)絡(luò)的層通過對原始輸入圖片以級聯(lián)卷積的方式計(jì)算得到的特征圖，特征圖分布反應(yīng)了圖像的基礎(chǔ)信息，不同的卷積核提取出不同的特征圖，并將邊緣信息作為后續(xù)網(wǎng)絡(luò)的輸入；

(3)設(shè)計(jì)神經(jīng)子網(wǎng)絡(luò)N2對遮擋圖像進(jìn)行自動修復(fù)與平滑；

(3.1)深度神經(jīng)網(wǎng)絡(luò)N2采用與深度神經(jīng)網(wǎng)絡(luò)N1相同的前半部，實(shí)現(xiàn)參數(shù)共享，N2的核心思想是提取N1的末端的輸入特征圖，經(jīng)過N1階段的學(xué)習(xí)后，此時(shí)的特征圖已比較接近遮擋分布，將該特征圖和原始遮擋圖片疊加，將疊加值作為初始修復(fù)狀態(tài)；

(3.2)獲取初始修復(fù)狀態(tài)后，神經(jīng)子網(wǎng)絡(luò)N2的后半部采用不帶下采樣操作的卷積單元，包括但不局限于兩層或者多層的卷積層，多個(gè)卷積核以滑動窗口的形式在步驟(3.1)得到的初始疊加值上計(jì)算新的特征圖，輸出以無遮擋的真值圖像進(jìn)行約束；

(3.3)然后采用歐式損失進(jìn)行有監(jiān)督約束，訓(xùn)練采用的算法是BackPropagation反向回傳算法，通過回傳的損失層誤差來更新每一層的參數(shù)，使得網(wǎng)絡(luò)參得到更新，最終得到收斂；

(4)迭代訓(xùn)練子網(wǎng)絡(luò)N1，N2，進(jìn)行多任務(wù)學(xué)習(xí)；

(4.1)首先完成遮擋的檢測任務(wù)，任務(wù)的主要實(shí)施部分為網(wǎng)絡(luò)結(jié)構(gòu)N1，輸入數(shù)據(jù)是有遮擋的原始圖像，標(biāo)簽是已知的遮擋的分布圖，目標(biāo)是在N1結(jié)構(gòu)的末端在測試階段自動學(xué)習(xí)出遮擋的分布，使得神經(jīng)網(wǎng)絡(luò)N1收斂到良好狀態(tài)。

(4.2)然后完成圖像修復(fù)任務(wù)，任務(wù)的主要實(shí)施部分為網(wǎng)絡(luò)結(jié)構(gòu)N2，輸入數(shù)據(jù)是有遮擋的原始圖像，標(biāo)簽是未遮擋的真值圖像，目標(biāo)是在N2結(jié)構(gòu)的末端在測試階段自動學(xué)習(xí)出修復(fù)遮擋之后的圖像，并通過圖像級別像素值的回歸，進(jìn)一步減小學(xué)習(xí)率，促進(jìn)網(wǎng)絡(luò)收斂的步驟，使得網(wǎng)絡(luò)自動檢測出遮擋并輸出修復(fù)后的與原圖大小相同的圖像。

本發(fā)明的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)N1中，分為前后兩個(gè)部分，前部分基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)單元，包括但不限于卷積操作，非線性映射，下采樣池化；再選取小尺度的卷積核，將其分為五個(gè)卷積單元層，其中前兩個(gè)卷積單元采用最大值池化方法進(jìn)行下采樣，快速降低特征圖的大小，后三個(gè)卷積單元為串聯(lián)的卷積層，并且卷積核數(shù)目加倍，可增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力；后部分基于反卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)單元，包括但不限于反卷積操作，非線性映射；其中，反卷積核的參數(shù)為網(wǎng)絡(luò)優(yōu)化學(xué)習(xí)而得，并且采用串聯(lián)的小步長上采樣代替大步長采樣，對邊緣的預(yù)測結(jié)果更為有效。

上述步驟(2)中，深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)N1的末端輸出采用非線性映射將最有一層的輸出映射到[0,1]之間，采用歐式損失進(jìn)行有監(jiān)督約束，能夠同時(shí)預(yù)測遮擋的位置和深淺；訓(xùn)練采用的算法是BackPropagation反向回傳算法，通過回傳的損失層誤差來更新每一層的參數(shù)，使得網(wǎng)絡(luò)參得到更新，最終得到收斂。

本發(fā)明通過設(shè)計(jì)基于深度學(xué)習(xí)的人臉圖像去遮擋的端到端的算法框架，能夠檢測出特定形狀與分布的遮擋，并且通過網(wǎng)絡(luò)進(jìn)行像素級別的自動修復(fù)與平滑，完成未遮擋部分的圖像細(xì)節(jié)保持和遮擋部分的自動修復(fù)，使得后續(xù)的人臉識別正確率得到極大的提高，并且大大提高了網(wǎng)絡(luò)的優(yōu)化速度。

附圖說明

下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明。

圖1是本發(fā)明的算法實(shí)施流程圖。

具體實(shí)施方式

如圖1所示，本發(fā)明具體包括以下步驟：

(1)自動對原始圖片添加特定樣式與分布的遮擋，模擬真實(shí)遮擋分布，制作訓(xùn)練數(shù)據(jù)集并對輸入數(shù)據(jù)進(jìn)行預(yù)處理；

具體的預(yù)處理步驟包括但不限于將輸入圖像進(jìn)行歸一化(除以最大值因子)、尺度縮放(嘗試不同長寬的輸入)、數(shù)據(jù)增廣(增加遮擋的范圍和種類)；其目的在于對輸入圖片進(jìn)行種類擴(kuò)充，擴(kuò)大或縮小到相同的尺度，進(jìn)行批處理操作，并且將圖片像素值進(jìn)行歸一化，便于后續(xù)計(jì)算與網(wǎng)絡(luò)收斂；

(2)設(shè)計(jì)基于全卷積網(wǎng)絡(luò)的神經(jīng)子網(wǎng)絡(luò)N1學(xué)習(xí)遮擋的分布與深淺；

其中，網(wǎng)絡(luò)的前端部分較淺的神經(jīng)網(wǎng)絡(luò)的層通過對原始輸入圖片以級聯(lián)卷積的方式計(jì)算得到的特征圖，特征圖分布反應(yīng)了圖像的基礎(chǔ)信息，不同的卷積核提取出不同的特征圖(如顏色)，將邊緣信息作為后續(xù)網(wǎng)絡(luò)的輸入；

本發(fā)明在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)N1中，分為前后兩個(gè)部分，前部分基于卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)單元，包括但不限于卷積操作，非線性映射，下采樣池化；再選取小尺度的卷積核，將其分為五個(gè)卷積單元層，其中前兩個(gè)卷積單元采用最大值池化方法進(jìn)行下采樣，快速降低特征圖的大小，后三個(gè)卷積單元為串聯(lián)的卷積層，并且卷積核數(shù)目加倍，可增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

后部分基于反卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)單元，包括但不限于反卷積操作，非線性映射。其中，反卷積核的參數(shù)為網(wǎng)絡(luò)優(yōu)化學(xué)習(xí)而得，并且采用串聯(lián)的小步長上采樣代替大步長采樣，對邊緣的預(yù)測結(jié)果更為有效。網(wǎng)絡(luò)結(jié)構(gòu)本身不是保護(hù)范圍，是公開的學(xué)術(shù)成果，但凡是符合該網(wǎng)絡(luò)結(jié)構(gòu)框架，并且之間用于去除遮擋，或者網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)和參數(shù)與本發(fā)明相近，則屬于保護(hù)范圍。

其中，深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)N1的末端輸出采用非線性映射將最有一層的輸出映射到[0,1]之間，采用歐式損失進(jìn)行有監(jiān)督約束，能夠同時(shí)預(yù)測遮擋的位置和深淺。本發(fā)明訓(xùn)練采用的算法是BackPropagation反向回傳算法，通過回傳的損失層誤差來更新每一層的參數(shù)，使得網(wǎng)絡(luò)參得到更新，最終得到收斂。

(3)設(shè)計(jì)神經(jīng)子網(wǎng)絡(luò)N2對遮擋圖像進(jìn)行自動修復(fù)與平滑；

(3.1)深度神經(jīng)網(wǎng)絡(luò)N2采用與深度神經(jīng)網(wǎng)絡(luò)N1相同的前半部，因此實(shí)現(xiàn)參數(shù)共享，N2的核心思想是提取N1的末端的輸入特征圖，經(jīng)過N1階段的學(xué)習(xí)后，此時(shí)的特征圖已比較接近遮擋分布，將該特征圖和原始遮擋圖片疊加。一方面遮擋位置的特征圖的值偏大，與原始圖片遮擋位置偏深色剛好相反，疊加操作能夠?qū)崿F(xiàn)部分抵消；另一方面非遮擋位置的特征圖接近零，疊加后對非遮擋部分的圖像細(xì)節(jié)影響不大，保留了非遮擋部分的細(xì)節(jié)，將疊加值作為初始修復(fù)狀態(tài)。

(3.2)獲取初始修復(fù)狀態(tài)后，神經(jīng)子網(wǎng)絡(luò)N2的后半部采用不帶下采樣操作的卷積單元，包括但不局限于兩層或者多層的卷積層，多個(gè)卷積核以滑動窗口的形式在步驟(3.1)得到的初始疊加值上計(jì)算新的特征圖，輸出以無遮擋的真值圖像進(jìn)行約束。由于損失函數(shù)中比較大的項(xiàng)多是由遮擋部分與真值圖像的差異造成，當(dāng)網(wǎng)絡(luò)參數(shù)朝向損失函數(shù)降低的方向優(yōu)化，圖像的遮擋部分的像素值就與真值圖像不斷接近，實(shí)現(xiàn)自動修復(fù)過程，使得修復(fù)結(jié)果更加平滑和自然。

(3.3)然后采用歐式損失進(jìn)行有監(jiān)督約束，訓(xùn)練采用的算法是BackPropagation反向回傳算法，通過回傳的損失層誤差來更新每一層的參數(shù)，使得網(wǎng)絡(luò)參得到更新，最終得到收斂。

(4)迭代訓(xùn)練子網(wǎng)絡(luò)N1，N2，進(jìn)行多任務(wù)學(xué)習(xí)。本發(fā)明采用的優(yōu)化策略是先解決簡單的任務(wù)，在此基礎(chǔ)上輔助優(yōu)化復(fù)雜任務(wù)，并且結(jié)合了批歸一化和學(xué)習(xí)率自動衰減的優(yōu)化方法。

(4.1)首先完成遮擋的檢測任務(wù)，任務(wù)的主要實(shí)施部分為網(wǎng)絡(luò)結(jié)構(gòu)N1，輸入數(shù)據(jù)是有遮擋的原始圖像，標(biāo)簽是已知的遮擋的分布圖，目標(biāo)是在N1結(jié)構(gòu)的末端在測試階段自動學(xué)習(xí)出遮擋的分布，該任務(wù)的的難度接近于實(shí)現(xiàn)二值分類，相對簡單，使得神經(jīng)網(wǎng)絡(luò)N1收斂到良好狀態(tài)。

(4.2)然后完成圖像修復(fù)任務(wù)，任務(wù)的主要實(shí)施部分為網(wǎng)絡(luò)結(jié)構(gòu)N2，輸入數(shù)據(jù)是有遮擋的原始圖像，標(biāo)簽是未遮擋的真值圖像，目標(biāo)是在N2結(jié)構(gòu)的末端在測試階段自動學(xué)習(xí)出修復(fù)遮擋之后的圖像。該任務(wù)是難度是圖像級別像素值的回歸，需要進(jìn)一步減小學(xué)習(xí)率，促進(jìn)網(wǎng)絡(luò)收斂，使得網(wǎng)絡(luò)自動檢測出遮擋并輸出修復(fù)后的與原圖大小相同的圖像。

本發(fā)明解決了現(xiàn)有技術(shù)在未知遮擋位置的情況下，無法較好的同時(shí)實(shí)現(xiàn)去除遮擋和修復(fù)圖像的任務(wù)，提出了一種基于深度學(xué)習(xí)的系統(tǒng)，在檢測遮擋位置與深淺信息的同時(shí)，利用全局語義信息對圖像進(jìn)行自動修復(fù)的方法。其具有以下幾個(gè)關(guān)鍵點(diǎn)：

1)采用基于全卷積網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)算法框架，前端網(wǎng)絡(luò)包括卷積層，非線性映射，下采樣池化模塊實(shí)現(xiàn)特征圖尺度逐漸降低，后端網(wǎng)絡(luò)包括反卷積層，非線性映射模塊實(shí)現(xiàn)上采樣；技術(shù)效果是可以還原輸出特征圖到原始輸入圖像的尺寸，基于像素級別分析圖像信息，包括但不限于像素是否是遮擋位置，以及對圖像進(jìn)行像素級別的修復(fù)。

2)兩個(gè)串聯(lián)子網(wǎng)絡(luò)實(shí)行參數(shù)共享，第一個(gè)子網(wǎng)絡(luò)自動學(xué)習(xí)遮擋位置，第二個(gè)子網(wǎng)絡(luò)在第一個(gè)子網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行疊加，實(shí)現(xiàn)部分遮擋的抵消。第二個(gè)子網(wǎng)絡(luò)包括但不限于兩層或多層卷積層，自動實(shí)現(xiàn)圖像的修復(fù)和平滑。技術(shù)效果是利用了圖像的全局語義信息，兩個(gè)子網(wǎng)絡(luò)相互輔助，自動輸出遮擋和修復(fù)之后的圖像。

3)多任務(wù)學(xué)習(xí)，算法分為兩個(gè)任務(wù)，先完成第一個(gè)簡單的任務(wù)是預(yù)測遮擋的位置與深淺，采用歐式損失的有監(jiān)督約束，再在第一個(gè)任務(wù)基礎(chǔ)上完成第二個(gè)復(fù)雜的任務(wù)對圖像進(jìn)行像素級別的修補(bǔ)，采用歐式損失的有監(jiān)督約束,共同迭代訓(xùn)練。技術(shù)效果包括但不限于形成一個(gè)端到端的優(yōu)化系統(tǒng)，系統(tǒng)包括一個(gè)輸入，兩個(gè)輸出。并且可以由簡入難的進(jìn)行優(yōu)化。

上述實(shí)施方式并非是對本發(fā)明的限制，本發(fā)明也并不僅限于上述舉例，本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明的技術(shù)方案范圍內(nèi)所做出的變化、改型、添加或替換，也均屬于本發(fā)明的保護(hù)范圍。