本發(fā)明涉及人臉檢測方法領(lǐng)域，具體涉及一種候選框生成網(wǎng)絡(luò)的生成方法及基于該候選框生成網(wǎng)絡(luò)的人臉檢測方法。

背景技術(shù)：

人臉檢測是計(jì)算機(jī)視覺領(lǐng)域中研究最多的課題之一，不僅是因?yàn)樵谖矬w檢測中人臉檢測具有挑戰(zhàn)性，更由于有無數(shù)的應(yīng)用程序，需要運(yùn)用人臉檢測作為第一步。人臉檢測任務(wù)的目標(biāo)是對任意給定的一幅圖像或一組圖像序列，使用機(jī)器自動(dòng)判定該圖像或該序列中是否存在，且在存在人臉的情況下，找出其位置和大小。人臉檢測問題通常被抽象為一個(gè)二分類問題，即區(qū)分人臉與非人臉。

人臉圖像在其表現(xiàn)與形狀上呈現(xiàn)出巨大的差異，而在真實(shí)場景中，更由于光照、遮擋、角度、姿態(tài)等因素，增加了人臉檢測的難度。經(jīng)典的人臉檢測方法主要通過基于人臉和非人臉的圖像樣本學(xué)習(xí)分類器，然后在輸入的圖像上生成候選框，再使用訓(xùn)練好的數(shù)據(jù)學(xué)習(xí)分類器對每個(gè)候選窗口進(jìn)行分類。隨著深度神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展與運(yùn)用，各種結(jié)構(gòu)的網(wǎng)絡(luò)模型被用于人臉檢測，然而，模型復(fù)雜度低的分類器缺乏足夠的建模能力，模型復(fù)雜度高的分類器則具有高昂的計(jì)算開銷。實(shí)際的應(yīng)用程序中，由于視頻及圖像需要在有限計(jì)算資源下實(shí)時(shí)處理，目前很多方法難以同時(shí)在精度和速度上取得好的表現(xiàn)。

分析人臉檢測的流程，可發(fā)現(xiàn)大量候選框的計(jì)算分類是造成高昂計(jì)算開銷的一個(gè)原因?，F(xiàn)已有兩種人臉候選框的生成方法：一種是基于滑動(dòng)窗口的候選框生成技術(shù)，一種是基于區(qū)域的候選框生成技術(shù)，但這兩種常用的方法在實(shí)際應(yīng)用中都存在一定的問題。前者在面對多尺度的人臉檢測時(shí)會產(chǎn)生大約10⁶至10⁷個(gè)候選框，十分耗時(shí)；后者雖然只會產(chǎn)生幾千甚至幾百個(gè)候選框，但是基于這種方法產(chǎn)生的每一個(gè)候選框都需要放入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行計(jì)算，相當(dāng)于一張圖片需要進(jìn)行成百上千次前向計(jì)算，同樣十分耗時(shí)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決上述技術(shù)問題提供一種候選框生成網(wǎng)絡(luò)的生成方法及人臉檢測方法。

本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn)：

一種候選框生成網(wǎng)絡(luò)的生成方法，包括以下步驟，

a、將圖片輸入網(wǎng)絡(luò)，經(jīng)卷積加池化操作，得到一個(gè)特征圖；

b、將特征圖中的每一個(gè)點(diǎn)映射回原圖的感受野中，并以該點(diǎn)為基準(zhǔn)點(diǎn)，根據(jù)候選框面積和候選框面積縮放比例產(chǎn)生一定數(shù)量的候選框；

c、對候選框進(jìn)行正負(fù)樣本的劃分；

d、隨機(jī)采樣步驟c中產(chǎn)生的多個(gè)候選框來優(yōu)化損失函數(shù)。

作為優(yōu)選，步驟b中映射關(guān)系為：pi＝si*pi+1，式中，pi表示第i層layer的輸入的某個(gè)點(diǎn)，si表示第i層layer的步長。

作為優(yōu)選，步驟c具體的操作過程為：計(jì)算候選框與訓(xùn)練集中每個(gè)標(biāo)定目標(biāo)的重疊率，并根據(jù)重疊率進(jìn)行正負(fù)樣本的劃分：對訓(xùn)練集中每個(gè)標(biāo)定目標(biāo)，與其重疊區(qū)域最大的候選框記為正樣本；對于剩余的候選框，如果它與某個(gè)標(biāo)定目標(biāo)重疊率大于上限閾值，記為正樣本候選框；若與任意一個(gè)標(biāo)定目標(biāo)的重疊率都小于下限閾值，則記為負(fù)樣本候選框；針對上述剩余的候選框以及跨越原始圖像邊界的候選框，棄去不用；所述上限閾值大于下限閾值。

進(jìn)一步的，重疊率的計(jì)算方法為候選框與標(biāo)定目標(biāo)的交集比上候選框與標(biāo)定目標(biāo)的并集。

作為優(yōu)選，所述損失函數(shù)包括和

其中，li表示第i個(gè)樣本的分類損失；fj表示樣本i在類別j上的得分；yi表示樣本i的真實(shí)類別；ti是樣本i的預(yù)測的框的坐標(biāo)，是樣本i的groundtruth的坐標(biāo)。

一種人臉檢測方法，包括如下步驟：

獲取待檢測的圖片；

將待檢測圖片輸入訓(xùn)練后的人臉檢測網(wǎng)絡(luò)中，所述人臉檢測網(wǎng)絡(luò)包括上述的候選框生成網(wǎng)絡(luò)和人臉分類網(wǎng)絡(luò)；

候選框生成網(wǎng)絡(luò)在待檢測圖片上產(chǎn)生可能為人臉的區(qū)域proposals；

人臉分類網(wǎng)絡(luò)對可能為人臉的區(qū)域proposals進(jìn)行分類；

輸出分類為人臉的框及回歸的坐標(biāo)，并標(biāo)記。

作為優(yōu)選，所述人臉檢測網(wǎng)絡(luò)的訓(xùn)練方法為：

⑴、在人臉圖像數(shù)據(jù)集的圖片中標(biāo)注出人臉位置，制作訓(xùn)練集，其中，圖片的大小相等；

⑵、將訓(xùn)練集輸入到人臉檢測網(wǎng)絡(luò)，進(jìn)行模型訓(xùn)練，并調(diào)整參數(shù)達(dá)到收斂實(shí)現(xiàn)訓(xùn)練，其中訓(xùn)練時(shí)，每張圖片產(chǎn)生的proposals數(shù)量相同；若訓(xùn)練產(chǎn)生的proposals的數(shù)量大于設(shè)定值，則舍棄多余的proposals；若訓(xùn)練產(chǎn)生的proposals的數(shù)量小于設(shè)定值，不足部分通過生成負(fù)樣本作為proposals來補(bǔ)充。

本發(fā)明與現(xiàn)有技術(shù)相比，具有如下的優(yōu)點(diǎn)和有益效果：

1、采用本發(fā)明的方法的候選框生成網(wǎng)絡(luò)和人臉分類網(wǎng)絡(luò)對人臉進(jìn)行檢測，其將候選框的生成放到卷積神經(jīng)網(wǎng)絡(luò)中，這樣一次前向計(jì)算就可以得到候選框，同時(shí)卷積神經(jīng)網(wǎng)絡(luò)可以通過自己學(xué)習(xí)得到圖片特征，相對于手工特征更具有區(qū)分性，可以進(jìn)一步減少候選框的生成數(shù)量，從而有效的減少計(jì)算量。

2、本發(fā)明的采用并行的方法，在保證檢測精度的同時(shí)，可有效的提高速度。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下面結(jié)合實(shí)施例，對本發(fā)明作進(jìn)一步的詳細(xì)說明，本發(fā)明的示意性實(shí)施方式及其說明僅用于解釋本發(fā)明，并不作為對本發(fā)明的限定。

實(shí)施例1

一種候選框生成網(wǎng)絡(luò)的生成方法，包括以下步驟，

a、將任意大小的圖片輸入網(wǎng)絡(luò)，經(jīng)卷積加池化操作，得到一個(gè)特征圖featuremap，該特征圖后續(xù)用來作候選框的選??；

b、將步驟a中得到的特征圖用做pgn_data層的輸入，將特征圖中的每一個(gè)點(diǎn)映射回原圖的感受野中，并以該點(diǎn)為基準(zhǔn)點(diǎn)，根據(jù)候選框面積area和候選框面積縮放比例ratio產(chǎn)生一定數(shù)量的候選框；

c、對候選框進(jìn)行正負(fù)樣本的劃分；

d、隨機(jī)抽取步驟c中產(chǎn)生的多個(gè)候選框來優(yōu)化損失函數(shù)lossfunction。

步驟a、b的主要目的是產(chǎn)生featuremap以及將featuremap中的點(diǎn)還原到原始圖片中。步驟d中并未使用全部的候選框，若將所有候選框用于對lossfunction的優(yōu)化會導(dǎo)致負(fù)樣本過多，致使最終的模型對正樣本預(yù)測準(zhǔn)確率極低。

所述步驟d中中隨機(jī)抽取的候選框的個(gè)數(shù)為任意個(gè)，但是，為了便于gpu的計(jì)算，優(yōu)選設(shè)置為偶數(shù)個(gè)，譬如64、128、256、300。在實(shí)驗(yàn)研究中發(fā)現(xiàn)，當(dāng)且僅當(dāng)將候選框的個(gè)數(shù)設(shè)置為256個(gè)時(shí)，其不僅可達(dá)到一個(gè)較高的檢測精度且可達(dá)到較高的檢測速度，是檢測精度和檢測速度的最佳平衡點(diǎn)。如果候選框的數(shù)量過小，檢測精度會受到影響，而數(shù)量過大則會影響檢測速度。

候選框生成網(wǎng)絡(luò)即proposalgeneratenetwork，簡稱pgn。采用該方法訓(xùn)練的候選框生成網(wǎng)絡(luò)是一個(gè)全卷積神經(jīng)網(wǎng)絡(luò)，依次包括卷積層、relu層、局部響應(yīng)歸一化層、池化層等。

在pgn的訓(xùn)練過程中，特征圖featuremap為pgn_cls_score的輸出，為了得到它與原圖中坐標(biāo)點(diǎn)的映射關(guān)系，將每一個(gè)卷積層和池化層的padding都設(shè)置為坐標(biāo)映射公式可化簡為：

當(dāng)ki為奇數(shù)時(shí)：

所以坐標(biāo)映射公式化簡為：

pi＝si*pi+1

當(dāng)ki為偶數(shù)時(shí)：

所以坐標(biāo)公式化簡為：

pi＝si*pi+1-0.5，

由于pi為坐標(biāo)值，不可能取小數(shù)，因此不管ki為奇數(shù)還是偶數(shù)時(shí)公式都可化簡為：

pi＝si*pi+1。

上各式中，pi表示第i層layer的輸入的某個(gè)點(diǎn)，si表示第i層layer的步長，ki表示卷積核的大小kernelsize，paddingi表示第i層layer的填充大小。

此時(shí)，感受野中心點(diǎn)的坐標(biāo)只與每一層的步長相關(guān)，可有效地簡化計(jì)算量。

步驟c中正負(fù)樣本的劃分根據(jù)候選框與訓(xùn)練集中每個(gè)標(biāo)定目標(biāo)的重疊率來確定。上限閾值大于下限閾值。計(jì)算候選框與訓(xùn)練集中每個(gè)標(biāo)定目標(biāo)groudtruebox的重疊率，對訓(xùn)練集中每個(gè)標(biāo)定目標(biāo)，與其重疊區(qū)域最大的候選框記為正樣本，以保證每個(gè)groudtruebox至少可以對應(yīng)一個(gè)正樣本候選框；對于剩余的候選框，如果它與某個(gè)標(biāo)定目標(biāo)重疊率大于上限閾值，記為正樣本候選框，這意味這每個(gè)groundtruebox可以對應(yīng)多個(gè)正樣本候選框，但每個(gè)正樣本候選框只能對應(yīng)一個(gè)groundtruebox；若與任意一個(gè)標(biāo)定目標(biāo)的重疊率都小于下限閾值，則記為負(fù)樣本候選框；針對上述剩余的候選框以及跨越原始圖像邊界的候選框，棄去不用。

上限閾值與下限閾值的具體值可根據(jù)具體情況來設(shè)定。不同的人臉檢測算法在對正負(fù)樣本分類時(shí)可能采取不同的界限。優(yōu)選的，在此方法中，我們采用經(jīng)驗(yàn)值將上限閾值、下限閾值分別設(shè)置為0.7、0.3。采用上述閾值，對正負(fù)樣本有較好的區(qū)分能力，訓(xùn)練的模型在分類人臉非人臉時(shí)有較好的表現(xiàn)。

其中，重疊率intersectionoverunion即iou是目標(biāo)檢測評價(jià)體系中的一個(gè)參數(shù)，其的計(jì)算方法為候選框與標(biāo)定目標(biāo)的交集比上候選框與標(biāo)定目標(biāo)的并集，即：

重疊率iou即目標(biāo)檢測結(jié)果detectionresult與groundtruebox真實(shí)框的交集比上他們的并集。此處的候選框可以看作初步的檢測結(jié)果，所以此處的detectionresult等同于候選框。

步驟d中的損失函數(shù)采用fastrcnn中的多任務(wù)損失函數(shù)。候選框生成網(wǎng)絡(luò)包含兩類任務(wù)，一是輸出候選框的正負(fù)劃分結(jié)果，二是回歸候選框的位置信息，相應(yīng)的損失函數(shù)包括兩種函數(shù)，一種為用于輸出候選框正負(fù)劃分結(jié)果的分類損失，另一種為回歸損失。

第一類任務(wù)使用常用的softmax損失函數(shù)，第i個(gè)樣本的損失如下：其中，fj表示樣本i在類別j上的得分，yi表示樣本i的真實(shí)類別。

第二類任務(wù)使用smoothl1的損失函數(shù)，定義如下：其中，ti是預(yù)測的框的坐標(biāo)；是groundtruth的坐標(biāo)，即真實(shí)值的坐標(biāo)。

實(shí)施例2

基于實(shí)施例1生成的候選框生成網(wǎng)絡(luò)，本實(shí)施例公開一人臉檢測方法。

一種人臉檢測方法，包括如下步驟：

獲取待檢測的圖片；

將待檢測圖片輸入訓(xùn)練后的人臉檢測網(wǎng)絡(luò)中，所述人臉檢測網(wǎng)絡(luò)包括人臉分類網(wǎng)絡(luò)和實(shí)施例1生成的候選框生成網(wǎng)絡(luò)；

候選框生成網(wǎng)絡(luò)在待檢測圖片上產(chǎn)生可能為人臉的區(qū)域proposals；

人臉分類網(wǎng)絡(luò)對可能為人臉的區(qū)域proposals進(jìn)行分類；

輸出分類為人臉的框及回歸的坐標(biāo)，并標(biāo)記。

本發(fā)明技術(shù)方案在人臉檢測時(shí)既不像傳統(tǒng)人臉檢測算法一樣采用滑動(dòng)窗口的方式產(chǎn)生大量候選框，也不像一般采用基于區(qū)域的候選框生成技術(shù)的算法，將每個(gè)候選框均傳入深度神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算，消耗大量時(shí)間。本方案的方法將候選框的生成放到卷積神經(jīng)網(wǎng)絡(luò)中，這樣一次前向計(jì)算就可以得到候選框，同時(shí)卷積神經(jīng)網(wǎng)絡(luò)可以通過自己學(xué)習(xí)得到圖片特征，相對于手工特征如sift等更具有區(qū)分性，這樣可以進(jìn)一步減少候選框的生成數(shù)量，從而減少計(jì)算量。采用多任務(wù)的結(jié)構(gòu)進(jìn)行分類與回歸，可以利用額外的信息來提高當(dāng)前某個(gè)任務(wù)的學(xué)習(xí)性能，包括提高泛化準(zhǔn)確率、學(xué)習(xí)速度和模型的可理解性。

考慮真實(shí)的應(yīng)用場景，如攝像頭采集的監(jiān)控視頻中每秒有很多幀圖片，我們期望一次性將多張幀圖片傳給人臉檢測網(wǎng)絡(luò)得到結(jié)果，以充分地利用計(jì)算資源，提高檢測速度，而非傳統(tǒng)地將一張張圖片依次處理。為了實(shí)現(xiàn)其并發(fā)性，提高人臉檢測的速度，在上述步驟中進(jìn)行優(yōu)化。在訓(xùn)練時(shí)，為實(shí)現(xiàn)batch，即輸入一批適宜數(shù)量的圖片給網(wǎng)絡(luò)訓(xùn)練，需解決的一個(gè)問題是，如何知道生成的proposals對應(yīng)輸入中的哪張圖片。本方案采用如下方法：

人臉檢測網(wǎng)絡(luò)的訓(xùn)練方法為：

⑴、在人臉圖像數(shù)據(jù)集的圖片中標(biāo)注出人臉位置，制作訓(xùn)練集，其中，圖片的大小相等；

⑵、將訓(xùn)練集輸入到人臉檢測網(wǎng)絡(luò)，進(jìn)行模型訓(xùn)練，并調(diào)整參數(shù)達(dá)到收斂實(shí)現(xiàn)訓(xùn)練，其中訓(xùn)練時(shí)，每張圖片產(chǎn)生的proposals數(shù)量相同；若訓(xùn)練產(chǎn)生的proposals的數(shù)量大于設(shè)定值，則舍棄多余的proposals；若訓(xùn)練產(chǎn)生的proposals的數(shù)量小于設(shè)定值，不足部分通過生成負(fù)樣本作為proposals來補(bǔ)充。訓(xùn)練時(shí)圖片會不斷產(chǎn)生proposals，這里舍棄多余的proposals是指當(dāng)產(chǎn)生的proposals的數(shù)量達(dá)到設(shè)定值，超出的部分就直接舍棄。

其原理即1、訓(xùn)練集中圖片大小統(tǒng)一；2、每張圖片在訓(xùn)練中產(chǎn)生的proposals固定為同樣數(shù)量，即通過實(shí)驗(yàn)后設(shè)置一個(gè)恰當(dāng)值，讓所有圖片產(chǎn)生相同數(shù)量的proposals；3、若訓(xùn)練產(chǎn)生的proposals的數(shù)量大于設(shè)定值，則舍棄多余的proposals；若訓(xùn)練產(chǎn)生的proposals的數(shù)量小于設(shè)定值，不足部分通過生成負(fù)樣本作為proposals來補(bǔ)充。

本發(fā)明給出的訓(xùn)練方式可以很方便地訓(xùn)練出一個(gè)共享卷積的多任務(wù)網(wǎng)絡(luò)模型，而batch的解決方法可以實(shí)現(xiàn)一張或多張待檢測圖片同時(shí)輸入到人臉檢測模型進(jìn)行處理，從而充分利用計(jì)算資源，提高并發(fā)性。由于基于深度神經(jīng)網(wǎng)絡(luò)的計(jì)算可以全部通過gpu加速，此人臉檢測網(wǎng)絡(luò)又優(yōu)化了計(jì)算開銷，引入batch，因此本發(fā)明技術(shù)方案能在保證檢測精度的同時(shí)，有效地提高速度。

較淺的網(wǎng)絡(luò)在面對復(fù)雜背景下的人臉檢測能力是不足的，譬如在光照差、多人臉、小人臉等背景下，因此須引入一個(gè)層次結(jié)構(gòu)稍深的網(wǎng)絡(luò)用于最后的候選框分類。本實(shí)施例中的人臉分類網(wǎng)絡(luò)faceclassifynet即fcn包括卷積層、池化層、全連接層等，可參照vggnet思想。vggnet模型針對多分類問題，所以有16層深度的網(wǎng)絡(luò)結(jié)構(gòu)，但對于人臉檢測這種二分類問題來說，太深的網(wǎng)絡(luò)檢測所需時(shí)間消耗太大。faceclassifynet針對此問題，從網(wǎng)絡(luò)深度、卷積核大小及個(gè)數(shù)、歸一化層的使用上對vggnet做優(yōu)化。人臉分類網(wǎng)絡(luò)fcn將vggnet中的卷積層切割了7層，僅保留5層。網(wǎng)絡(luò)層次的減少意味前向計(jì)算所需時(shí)間的減少，但同時(shí)也意味著檢測精度上的下降。所以我們提升剩余5層卷積網(wǎng)絡(luò)中卷積核的大小個(gè)數(shù)，具體的將第一層和第二層的卷積核大小從3*3分別提升到7*7和5*5，而卷積核的數(shù)量則每一層翻倍，從而減小網(wǎng)絡(luò)層次的減少對網(wǎng)絡(luò)精度的影響。同時(shí)為使網(wǎng)絡(luò)更好地收斂可引入batchnormalization來應(yīng)對數(shù)據(jù)分布的改變。

如何把上述人臉分類網(wǎng)絡(luò)和候選框生成網(wǎng)絡(luò)放在一起，訓(xùn)練出一個(gè)共享卷積的多任務(wù)網(wǎng)絡(luò)模型，這里我們提出了兩種訓(xùn)練方式，一種是多步循環(huán)迭代的訓(xùn)練方式，一種是端到端的訓(xùn)練方式。

對于第一種方式，實(shí)際上就是一個(gè)不斷迭代的訓(xùn)練過程，既然分別訓(xùn)練faceclassifynetwork和proposalgeneratenetwork可能讓網(wǎng)絡(luò)朝不同的方向收斂，那么我們可以先獨(dú)立訓(xùn)練proposalgeneratenetwork，然后用proposalgeneratenetwork的網(wǎng)絡(luò)權(quán)重對faceclassifynetwork進(jìn)行初始化并且用之前proposalgeneratenetwork輸出的候選框作為此時(shí)faceclassifynetwork的輸入訓(xùn)練faceclassifynetwork。用faceclassifynetwork的網(wǎng)絡(luò)參數(shù)去初始化faceclassifynetwork。之后不斷迭代這個(gè)過程，即循環(huán)訓(xùn)練faceclassifynetwork和proposalgeneratenetwork。這里我們給出了4步循環(huán)迭代的訓(xùn)練方式，其具體流程如下：

第一步：使用訓(xùn)練數(shù)據(jù)集獨(dú)立訓(xùn)練一個(gè)proposalgeneratenetwork；

第二步：使用第一步proposalgeneratenetwork產(chǎn)生的候選框作為新的訓(xùn)練集，訓(xùn)練一個(gè)faceclassifynetwork網(wǎng)絡(luò)，至此，兩個(gè)網(wǎng)絡(luò)每一層的參數(shù)完全不共享；

第三步：使用第二步的faceclassifynetwork網(wǎng)絡(luò)參數(shù)初始化一個(gè)新的proposalgeneratenetwork網(wǎng)絡(luò)，但是把proposalgeneratenetwork、faceclassifynetwork共享的那些卷積層的學(xué)習(xí)率設(shè)置為0，也就是不更新，僅僅更新proposalgeneratenetwork特有的那些網(wǎng)絡(luò)層，重新訓(xùn)練，此時(shí)，兩個(gè)網(wǎng)絡(luò)已經(jīng)共享了所有公共的卷積層；

第四步：仍然固定共享的那些網(wǎng)絡(luò)層，把proposalgeneratenetwork特有的網(wǎng)絡(luò)層也加入進(jìn)來，形成一個(gè)unifiednetwork，繼續(xù)訓(xùn)練，微調(diào)faceclassifynetwork特有的網(wǎng)絡(luò)層，此時(shí)，該網(wǎng)絡(luò)已經(jīng)實(shí)現(xiàn)我們設(shè)想的目標(biāo)，即網(wǎng)絡(luò)內(nèi)部預(yù)測候選框并實(shí)現(xiàn)檢測的功能。

多步循環(huán)迭代訓(xùn)雖然可以使proposalgeneratenetwork和faceclassifynetwork共享卷積層的參數(shù)，但是將它們分開迭代訓(xùn)練也導(dǎo)致了它們訓(xùn)練時(shí)間上的額外開銷。對此，我們給出了第二種訓(xùn)練方式：端到端的訓(xùn)練。

本發(fā)明提出的人臉檢測模型中的兩種網(wǎng)絡(luò)，它們在前面幾層使用了相同的層次結(jié)構(gòu)，所以我們通過實(shí)現(xiàn)兩者的融合從而達(dá)到端到端地訓(xùn)練。

融合后的網(wǎng)絡(luò)共享了proposalgeneratenetwork和faceclassifynetwork從conv1到pgn_cls_score之間的網(wǎng)絡(luò)層，而在網(wǎng)絡(luò)中新增了proposallayer與proposaltargetlayer層，剩余的網(wǎng)絡(luò)層則各自屬于proposalgeneratenetwork和faceclassifynetwork。

本發(fā)明通過proposallayer將proposalgeneratenetwork產(chǎn)生的候選框從原圖中截出，作為faceclassifynetwork的直接輸入，從而很簡單地實(shí)現(xiàn)了兩個(gè)模型的融合。需注意，本發(fā)明提出的融合異常簡單，但主要基于以下兩點(diǎn)：第一，通過proposalgeneratenetwork將候選框的生成集成到了網(wǎng)絡(luò)中；第二，proposalgeneratenetwork與faceclassifynetwork采用相似的網(wǎng)絡(luò)層次設(shè)計(jì)。

以上所述的具體實(shí)施方式，對本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施方式而已，并不用于限定本發(fā)明的保護(hù)范圍，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。