本發(fā)明屬于計算機(jī)視覺和深度學(xué)習(xí)領(lǐng)域,尤其涉及一種針對遮擋條件下的人臉檢測方法及裝置。
背景技術(shù):
人臉檢測技術(shù)可應(yīng)用于相機(jī)自動對焦、人機(jī)交互、照片管理、城市安防監(jiān)控、智能駕駛等諸多領(lǐng)域。當(dāng)前,人臉檢測在開放環(huán)境條件下的實際應(yīng)用中,由于遮擋的普遍存在(如人群密集情況下),人臉檢測性能受到嚴(yán)重的挑戰(zhàn),因而遮擋條件下的人臉檢測性能問題有待解決。另外,研究蒙面遮擋條件下的人臉檢測具有重要的現(xiàn)實意義,例如:視頻監(jiān)控中用于發(fā)現(xiàn)可疑人員從而提供警告、通過檢測蒙面人臉的分布規(guī)律進(jìn)行天氣狀況預(yù)測等。傳統(tǒng)的人臉檢測方法在遮擋情況下遭遇嚴(yán)重的性能下降,原因在于檢測過程中,被遮擋部分的人臉線索已經(jīng)無效,從而造成在特征提取過程中不可避免地引入噪聲??傊?,不完整且不準(zhǔn)確的特征使蒙面遮擋的人臉檢測成為一個極具挑戰(zhàn)的問題。
近幾年來,在這一領(lǐng)域也研究了一些方法,現(xiàn)有技術(shù)是先檢測出人臉候選,然后再對人臉候選分類確認(rèn)。其中一種方法通過訓(xùn)練多個神經(jīng)網(wǎng)絡(luò)獲得人臉多個部件的響應(yīng)來檢測人臉候選,然后再訓(xùn)練一個新的神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉候選的分類確認(rèn)(參見:s.yang,p.luo,c.c.loy,andx.tang.fromfacialpartsresponsestofacedetection:adeeplearningapproach.in:ieeeiccv,2015)。另一種方法則通過選擇部分特征比較來計算損失從而確認(rèn)人臉候選(參見:m.opitz,g.waltner,g.poier,h.possegger,andh.bischo.gridloss:detectingoccludedfaces.ineccv,2016),該方法能夠較好地處理部分遮擋情況的人臉檢測問題。上述方法在一定程度上緩解了嚴(yán)重遮擋(如蒙面遮擋)情況下的人臉檢測問題,但仍未能獲得完全解決。當(dāng)人臉部件被遮擋,通過多個部件響應(yīng)來檢測人臉候選的人臉檢測方法,在遮擋區(qū)域的部件會引入噪聲或錯誤,從而可能導(dǎo)致人臉分類確認(rèn)錯誤;當(dāng)遮擋嚴(yán)重的時候,通過選擇部分特征比較計算損失確認(rèn)人臉候選的人臉檢測方法,計算得到的損失誤差較大,從而導(dǎo)致人臉檢測失敗。
技術(shù)實現(xiàn)要素:
為克服現(xiàn)有技術(shù)的不足,本發(fā)明提供了一種人臉檢測方法及裝置,該方法通過卷積神經(jīng)網(wǎng)絡(luò)檢測候選人臉和提取高維深度特征(即候選特征),然后通過局部線性嵌入進(jìn)行特征投影來消除蒙面遮擋帶來的特征不完全和不精確,再采用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)(即cnn-v)驗證候選人臉,從而獲得更加精確的人臉檢測性能。同時,本發(fā)明還提出了一種近似外部特征空間的構(gòu)造方法,通過從外部的數(shù)據(jù)庫中尋找最相似的參考人臉和差異最大的參考非人臉,進(jìn)行近似外部特征空間構(gòu)造,利用近似外部特征空間對候選特征進(jìn)行嵌入變換,從而修正候選特征。本發(fā)明通過以下技術(shù)方案來實現(xiàn)。
本發(fā)明的一種人臉檢測方法,其步驟包括:
1)對待檢測圖像進(jìn)行候選人臉檢測,得到候選人臉圖像;
2)對所述候選人臉圖像進(jìn)行候選特征提取,得到候選特征;
3)對所述候選特征進(jìn)行嵌入變換,得到傳統(tǒng)嵌入特征或近似嵌入特征,所述嵌入特征能夠恢復(fù)人臉線索并移除遮擋帶來的噪聲;
4)對所述傳統(tǒng)嵌入特征或近似嵌入特征,通過分類與回歸算法進(jìn)行驗證,得到檢測結(jié)果。
進(jìn)一步的,候選特征通過一個預(yù)先構(gòu)建好的外部特征空間進(jìn)行嵌入變換后,得到傳統(tǒng)嵌入特征或近似嵌入特征;外部特征空間為傳統(tǒng)外部特征空間或近似外部特征空間。
進(jìn)一步的,嵌入變換采用傳統(tǒng)的局部線性嵌入方法或快速近似局部線性嵌入方法實現(xiàn);傳統(tǒng)的局部線性嵌入方法利用傳統(tǒng)外部特征空間對帶噪聲的候選特征進(jìn)行嵌入變換,得到傳統(tǒng)嵌入特征;快速近似局部線性嵌入利用近似外部特征空間對帶噪聲的候選特征進(jìn)行嵌入變換,得到近似嵌入特征。
進(jìn)一步的,快速近似局部線性嵌入方法中近似外部特征空間的構(gòu)造方法,包括以下步驟:
a)對標(biāo)注好的參考人臉數(shù)據(jù)集進(jìn)行候選人臉檢測及候選特征提取,判斷候選特征屬于人臉特征還是非人臉特征,將這些候選特征分別存入?yún)⒖既四樚卣髯值浜蛥⒖挤侨四樚卣髯值洌?/p>
b)對標(biāo)注好的蒙面人臉數(shù)據(jù)集進(jìn)行候選人臉檢測及候選特征提取,判斷候選特征屬于蒙面人臉特征還是蒙面非人臉特征,將這些候選特征分別存入蒙面人臉特征字典和蒙面非人臉特征字典;
c)從上述參考人臉特征字典中選擇具有代表性的能夠代表上述蒙面人臉特征字典的參考人臉特征字典;
d)從上述參考非人臉特征字典中選擇具有代表性的能夠代表上述蒙面非人臉特征字典的參考非人臉特征字典;
e)合并上述具有代表性的參考人臉特征字典和具有代表性的參考非人臉特征字典,得到近似外部特征空間。
進(jìn)一步的,步驟a)中,通過計算該候選特征對應(yīng)的候選人臉位置與標(biāo)注好的人臉位置之間的重疊度來確定,其重疊度用交并比來度量,其中,交并比大于0.7則判斷候選特征為參考人臉的特征,交并比小于0.3則判斷候選特征為參考非人臉的特征。
進(jìn)一步的,步驟b)中,通過計算該候選特征對應(yīng)的候選人臉位置與標(biāo)注好的人臉位置之間的重疊度來確定,其重疊度用交并比來度量,其中,交并比大于0.6則判斷候選特征為蒙面人臉的特征,交并比小于0.4則判斷候選特征為蒙面非人臉的特征。
進(jìn)一步的,步驟c)中采用貪婪算法從參考人臉特征字典中選擇具有代表性的參考人臉特征字典;所述貪婪算法是指計算參考人臉特征字典中每個參考人臉特征的損失,得到按損失由小到大升序排列的參考人臉特征列表,取該列表最前面的參考人臉特征來代表蒙面人臉特征;其中所述損失是指每個參考人臉特征與蒙面人臉特征字典的最近鄰特征的距離和每個參考人臉特征與蒙面非人臉特征字典的最近鄰特征的距離之差。
進(jìn)一步的,步驟d)中采用貪婪算法從參考非人臉特征字典中選擇具有代表性的參考非人臉特征字典;所述貪婪算法是指計算參考非人臉特征字典中每個參考非人臉特征的損失,得到按損失由小到大升序排列的參考非人臉特征列表,取該列表最前面的參考非人臉特征來代表蒙面非人臉特征;其中所述損失是指每個參考非人臉特征與蒙面非人臉特征字典的最近鄰特征的距離和每個參考非人臉特征與蒙面人臉特征字典的最近鄰特征的距離之差。
本發(fā)明還涉及一種人臉檢測裝置,包括候選模塊、嵌入模塊和驗證模塊。候選模塊用于對待檢測圖像進(jìn)行候選人臉檢測并提取候選特征;嵌入模塊用于對候選特征進(jìn)行嵌入變換,得到傳統(tǒng)嵌入特征或近似嵌入特征,嵌入特征能夠恢復(fù)人臉線索并移除遮擋帶來的噪聲;驗證模塊用于對傳統(tǒng)嵌入特征或近似嵌入特征,通過分類與回歸算法進(jìn)行驗證,以得到最后的檢測結(jié)果。候選模塊得到多個候選特征,然后在嵌入模塊中通過一個預(yù)先構(gòu)建好的外部特征空間進(jìn)行嵌入變換后,得到傳統(tǒng)嵌入特征或近似嵌入特征;外部特征空間為傳統(tǒng)外部特征空間或近似外部特征空間;嵌入變換采用傳統(tǒng)的局部線性嵌入方法或快速近似局部線性嵌入方法實現(xiàn)。
本發(fā)明的有益效果在于:
針對遮擋條件下的人臉檢測問題,尤其是嚴(yán)重蒙面遮擋條件下的人臉檢測問題,本發(fā)明的檢測方法及裝置具有相對較好的性能;對無遮擋情況下的人臉,本發(fā)明的人臉檢測方法及裝置也具備良好的處理能力。
附圖說明
圖1為本發(fā)明一種人臉檢測方法的流程圖;
圖2為本發(fā)明裝置候選模塊流程示意圖;
圖3為本發(fā)明裝置嵌入模塊流程示意圖;
圖4為本發(fā)明裝置驗證模塊流程示意圖;
圖5為本發(fā)明的近似外部特征空間構(gòu)造流程示意圖。
具體實施方式
為使本發(fā)明的上述方案和有益效果更明顯易懂,下文通過實施例,并配合附圖作詳細(xì)說明如下。
本發(fā)明提供一種人臉檢測方法及裝置,該裝置包括候選模塊、嵌入模塊和驗證模塊;該方法的流程圖如圖1所示,其步驟包括:
1)接收圖像。所述圖像既可以是遮擋條件下的人臉圖像或者嚴(yán)重蒙面遮擋條件下的人臉圖像,也可以是無遮擋情況下的人臉圖像,也可以是不包含人臉的圖像。
2)通過候選模塊檢測出候選人臉并提取候選人臉的高維深度特征,即候選特征。
在候選模塊中,先進(jìn)行候選人臉檢測,接著判斷是否檢測到候選人臉,如果未檢測到候選人臉則結(jié)束;如果檢測到候選人臉則進(jìn)行候選特征提取,得到候選特征。
請參考圖2,所述候選模塊主要包含兩個卷積神經(jīng)網(wǎng)絡(luò):一個是小的卷積神經(jīng)網(wǎng)絡(luò)(稱為候選卷積神經(jīng)網(wǎng)絡(luò),簡稱cnn-p),該網(wǎng)絡(luò)用于實現(xiàn)候選人臉檢測;另外一個大的卷積神經(jīng)網(wǎng)絡(luò)(稱為特征卷積神經(jīng)網(wǎng)絡(luò),簡稱cnn-f),用于實現(xiàn)候選特征提取。首先,接收到的圖像通過候選卷積神經(jīng)網(wǎng)絡(luò),進(jìn)行候選人臉檢測,接著判斷是否檢測到候選人臉,如果未檢測到候選人臉,則結(jié)束;如果檢測到候選人臉,則先進(jìn)行候選人臉歸一化處理,再通過特征卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行候選特征提取,得到候選特征。
3)通過嵌入模塊進(jìn)行候選特征嵌入,得到嵌入變換后的特征,即傳統(tǒng)嵌入特征或近似嵌入特征(統(tǒng)稱為嵌入特征)。
由于蒙面遮擋會造成人臉線索缺失及特征噪聲,從而導(dǎo)致特征不完整和不精確。針對該問題,本發(fā)明技術(shù)方案中的嵌入模塊實現(xiàn)從候選特征中恢復(fù)人臉線索并移除噪聲。嵌入模塊處理的優(yōu)點是獲得的嵌入特征能夠很好地表征蒙面遮擋人臉,從而能夠提升檢測精度。
請參考圖3,在嵌入模塊中,候選特征通過一個預(yù)先構(gòu)建好的外部特征空間,進(jìn)行嵌入變換后,得到傳統(tǒng)嵌入特征或近似嵌入特征。所述嵌入變換主要采用lle(locallinearembedding)方法實現(xiàn)。lle是一種針對非線性數(shù)據(jù)的降維方法,處理后的低維數(shù)據(jù)能夠保持原有的拓?fù)潢P(guān)系,已經(jīng)廣泛應(yīng)用于圖像數(shù)據(jù)的分類與聚類、多維數(shù)據(jù)的可視化以及生物信息學(xué)等領(lǐng)域。本發(fā)明使用傳統(tǒng)的lle方法和快速近似lle方法實現(xiàn)嵌入變換。
4)通過驗證模塊,進(jìn)行傳統(tǒng)嵌入特征或近似嵌入特征驗證,判斷每個傳統(tǒng)嵌入特征或近似嵌入特征對應(yīng)的候選人臉是否屬于真正人臉,如果該傳統(tǒng)嵌入特征或近似嵌入特征對應(yīng)的候選人臉屬于真正人臉,則記錄人臉信息;如果該傳統(tǒng)嵌入特征或近似嵌入特征對應(yīng)的候選人臉不屬于真正人臉,則結(jié)束。
請參考圖4,驗證模塊由一個四層的全連接卷積神經(jīng)網(wǎng)絡(luò)(稱為驗證卷積神經(jīng)網(wǎng)絡(luò),簡稱cnn-v)組成,以用于進(jìn)行特征驗證,即判別該傳統(tǒng)嵌入特征或近似嵌入特征對應(yīng)的候選人臉是否屬于真正人臉并修正對應(yīng)的候選人臉位置與尺度。如果不屬于真正人臉,則忽略該傳統(tǒng)嵌入特征或近似嵌入特征對應(yīng)的候選人臉;如果屬于真正人臉,則將該傳統(tǒng)嵌入特征或近似嵌入特征對應(yīng)的修正后的候選人臉位置與尺度加入檢測結(jié)果中。
通過驗證模塊對傳統(tǒng)嵌入特征或近似嵌入特征進(jìn)行分類與回歸,從而判別出候選屬于真正的人臉或非人臉,并對人臉位置與尺度進(jìn)行修正,從而得到精度更高的人臉檢測性能。
因此,本發(fā)明提出的一種人臉檢測方法及裝置聯(lián)合了候選模塊的候選卷積神經(jīng)網(wǎng)絡(luò)cnn-p、候選模塊的特征卷積神經(jīng)網(wǎng)絡(luò)cnn-f、嵌入模塊和驗證模塊的驗證卷積神經(jīng)網(wǎng)絡(luò)cnn-v,來達(dá)到本發(fā)明的目的。
下面具體描述嵌入模塊的嵌入變換所采用的方法。
1、傳統(tǒng)的lle方法。
請參考圖3,通過傳統(tǒng)的lle方法,將蒙面遮擋的候選特征xi在預(yù)先構(gòu)造好的傳統(tǒng)外部特征空間中進(jìn)行投影變換,得到嵌入特征vi,該嵌入特征vi可以有效消除由于蒙面遮擋帶來的特征不完整和不精確問題,具有很好的抗遮擋能力。其中xi的下標(biāo)i用于標(biāo)記不同的候選特征;vi的下標(biāo)i用于標(biāo)記不同的嵌入特征。嵌入特征vi稱為傳統(tǒng)嵌入特征。
所述傳統(tǒng)外部特征空間由參考人臉特征和參考非人臉特征組成,其表示成特征字典的形式,即d=[d+,d-],這里d+是參考人臉特征字典,d-是參考非人臉特征字典,通常來說d+和d-規(guī)模都有上百萬。
所述參考人臉特征和參考非人臉特征,通過構(gòu)建參考候選特征集實現(xiàn)。具體地,對標(biāo)注好的大型無遮擋的參考人臉數(shù)據(jù)集sn,使用候選模塊進(jìn)行候選人臉檢測及候選特征提取。判斷候選特征屬于人臉特征還是非人臉特征,將這些候選特征分成參考人臉特征和參考非人臉特征,分別存入?yún)⒖既四樚卣髯值鋎+和參考非人臉特征字典d-。其中判斷候選特征屬于人臉特征還是非人臉特征,是通過計算該候選特征對應(yīng)的候選人臉位置與標(biāo)注好的人臉位置之間的重疊度來確定,其重疊度用交并比(intersection-over-union,iou)來度量。通常傳統(tǒng)方法中交并比大于0.5被判斷為人臉,小于0.5則被判斷為非人臉。與傳統(tǒng)方法相比,本發(fā)明中交并比大于0.7被判斷為參考人臉,交并比小于0.3被判斷為參考非人臉,使得到的參考人臉與參考非人臉具有更好的區(qū)分性,可以保證參考候選特征具有更好的辨識能力。
對于每一個帶噪聲的候選特征xi,都從d+和d-中選擇距離xi最鄰近的特征集構(gòu)成特征子字典di(di的下標(biāo)i用于標(biāo)記不同的候選特征對應(yīng)的特征子字典),然后利用lle算法進(jìn)行投影變換,獲得一個新的特征表達(dá)即傳統(tǒng)嵌入特征vi,該過程的求解公式如下:
2、快速近似lle方法。
本發(fā)明提出一種快速近似lle方法,對于每一個帶噪聲的候選特征xi,利用快速近似lle方法進(jìn)行投影變換,獲得一個近似嵌入特征
上述公式(2)中,
下面具體描述快速近似lle方法中近似外部特征空間的構(gòu)造。
所述近似外部特征空間的構(gòu)造方法是通過從外部的數(shù)據(jù)庫中尋找最相似的參考人臉或差異最大的參考非人臉,進(jìn)行近似外部特征空間構(gòu)造。
請參考圖5,該圖是近似外部特征空間
1)構(gòu)建參考人臉和參考非人臉特征字典:其與上述傳統(tǒng)的lle方法中相同,對標(biāo)注好的大型無遮擋的參考人臉數(shù)據(jù)集sn,使用候選模塊進(jìn)行候選人臉檢測及候選特征提取。根據(jù)候選特征屬于人臉特征還是非人臉特征,將這些候選特征分別存入?yún)⒖既四樚卣髯值鋎+和參考非人臉特征字典d-。判斷候選特征屬于人臉特征還是非人臉特征,是通過計算該候選特征對應(yīng)的候選人臉位置與標(biāo)注好的人臉位置之間的重疊度來確定,其重疊度用交并比iou來度量。通常傳統(tǒng)方法中交并比大于0.5被判斷為人臉,小于0.5則被判斷為非人臉。與傳統(tǒng)方法相比,本發(fā)明中交并比大于0.7被判斷為參考人臉,交并比小于0.3被判斷為參考非人臉,使得到的參考人臉與參考非人臉具有更好的區(qū)分性,可以保證參考候選特征具有更好的辨識能力。
2)構(gòu)建蒙面人臉和蒙面非人臉特征字典:類似上述步驟1),對標(biāo)注好的大型蒙面人臉數(shù)據(jù)集sm,使用候選模塊進(jìn)行候選人臉檢測及候選特征提取。根據(jù)候選特征屬于蒙面人臉特征還是蒙面非人臉特征,將這些候選特征分成蒙面人臉特征字典
3)選擇具有代表性的參考人臉特征字典
上述公式(3)屬于稀疏編碼處理,公式中α1和α2分別是利用
上述公式(4)中,ρ1和ρ2是兩個平衡系數(shù),用于平衡特征之間的距離,實際處理中通常取1以加速計算,每個參考人臉特征
4)選擇具有代表性的參考非人臉特征字典
上述公式(5)屬于稀疏編碼處理,公式中α1和α2分別是利用
上述公式(6)中,ρ1和ρ2是兩個平衡系數(shù),用于平衡特征之間的距離,實際處理中通常取1以加速計算,每個參考非人臉特征
5)合并字典,得到近似外部特征空間
上述步驟中,步驟1)和2)沒有嚴(yán)格先后順序,可以先后或并行進(jìn)行;步驟3)和4)沒有嚴(yán)格先后順序,可以先后或并行進(jìn)行。通過上述步驟,構(gòu)造出近似外部特征空間
通過比較近似外部特征空間對應(yīng)的具有代表性的參考人臉圖像和具有代表性的參考非人臉圖像的示例,可以發(fā)現(xiàn),選擇的具有代表性的參考人臉圖像包含不同外觀、佩戴、膚色、表情等,因此能夠很好地代表蒙面人臉并同時很好地區(qū)分蒙面非人臉;選擇的具有代表性的參考非人臉圖像則是紋理區(qū)域、不完整人臉、含較多背景的人臉,因此能夠很好地代表蒙面非人臉并同時很好地區(qū)分蒙面人臉。
以上實施僅用以說明本發(fā)明的技術(shù)方案而非對其進(jìn)行限制,本領(lǐng)域的普通技術(shù)人員可以對本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換,而不脫離本發(fā)明的精神和范圍,本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求書所述為準(zhǔn)。