本發(fā)明涉及圖像處理領域,尤其涉及一種人臉圖像質(zhì)量評估方法及裝置。
背景技術:
人臉識別是模式識別研究領域的重要課題,也是一個目前非?;钴S的研究方向。它在安全、商貿(mào)和經(jīng)濟領域都有廣闊的應用前景,例如刑偵破案、證件驗證、視頻監(jiān)控、媒體娛樂等諸多領域。
在人臉識別系統(tǒng)中,輸入的人臉圖像的質(zhì)量對于系統(tǒng)識別的精度有著較大的影響。圖像質(zhì)量既包括圖像本身的全局特性如對比度,分辨率等,也包括跟生物特征相關的屬性,比如人臉圖像中人臉的姿態(tài)等。低質(zhì)量的人臉圖像可能會導致系統(tǒng)識別錯誤。
因此,需要對人臉圖像的質(zhì)量進行評估。
技術實現(xiàn)要素:
本發(fā)明實施例提供了一種人臉圖像質(zhì)量評估方法及裝置,用以實現(xiàn)對人臉圖像的質(zhì)量進行評估。
本發(fā)明實施例提供的人臉圖像質(zhì)量評估方法包括:
獲取人臉圖像;
根據(jù)所述人臉圖像的時域信息,對所述人臉圖像的質(zhì)量進行初次評估;
若所述初次評估的結果符合預設條件,則根據(jù)所述人臉的頻域信息對所述人臉圖像的質(zhì)量進行再次評估。
可選地,所述對人臉圖像的質(zhì)量進行初次評估,包括以下一種或任意組合:
對所述人臉圖像中的人臉的姿態(tài)進行估計;
對所述人臉圖像中的人臉特征點邊緣寬度進行估計;
對所述人臉圖像中的人臉是否被遮擋進行估計。
可選地,所述對所述人臉圖像中的人臉的姿態(tài)進行估計,包括:分別計算所述人臉圖像中的人臉在YAW和/或PITCH方向上的角度;
判斷所述初次評估的結果是否符合預設條件時,若YAW方向上的角度大于等于預設YAW方向角度閾值,或PITCH方向上的角度大于等于預設PITCH方向角度閾值,則判定所述初次評估的結果不符合預設條件。
可選地,所述對所述人臉圖像中的人臉特征點邊緣寬度進行估計,包括:提取所述人臉圖像中的人臉特征點,所述人臉特征點為五官的邊緣特征點;
判斷所述初次評估的結果是否符合預設條件時,若滿足以下條件之一或任意組合,則判定所述初次評估的結果不符合預設條件:
人臉特征點的鄰域內(nèi)的局部方差小于等于預設方差閾值的個數(shù)大于預設數(shù)量閾值;
根據(jù)人臉特征點確定的特征區(qū)域的平均梯度小于等于預設梯度閾值;
人臉特征點的平均邊緣寬度大于等于預設邊緣寬度閾值。
可選地,所述對人臉圖像中的人臉是否被遮擋進行估計,包括:計算人臉是否被遮擋的置信度;
判斷所述初次評估的結果是否符合預設條件時,若計算得到的置信度不在預設范圍內(nèi),則判定所述初次評估的結果不符合預設條件。
可選地,所述根據(jù)所述人臉的頻域信息對所述人臉圖像的質(zhì)量進行再次評估之前,還包括:
對所述人臉圖像的像素值進行傅里葉變換;
使用加權矩陣對傅里葉變換后得到的像素值進行加權;
計算經(jīng)過加權后的像素值的累加和,得到所述人臉圖像的頻域信息。
可選地,所述根據(jù)所述人臉的頻域信息對所述人臉圖像的質(zhì)量進行再次評估,包括:
人臉圖像的頻域信息乘以第一系數(shù),得到質(zhì)量評估分量;所述第一系數(shù)根據(jù)人臉特征點平均邊緣寬度與根據(jù)所述人臉圖像對比度計算得到的閾值之間的大小關系確定;
質(zhì)量評估分量乘以第二系數(shù),得到人臉圖像的質(zhì)量評估值;所述第二系數(shù)根據(jù)人臉圖像中的人臉在YAW方向上的角度的取值范圍和/或在PITCH方向上的角度的取值范圍確定。
本發(fā)明實施例提供的人臉圖像質(zhì)量評估裝置包括:
獲取模塊,用于獲取人臉圖像;
第一評估模塊,用于根據(jù)所述人臉圖像的時域信息,對所述人臉圖像的質(zhì)量進行初次評估;
第二評估模塊,用于若所述估計模塊的估計結果符合預設條件,則根據(jù)所述人臉的頻域信息對所述人臉圖像的質(zhì)量進行再次評估。
可選地,所述第一評估模塊,具體用于執(zhí)行以下操作中的一種或任意組合:
對所述人臉圖像中的人臉的姿態(tài)進行估計;
對所述人臉圖像中的人臉特征點邊緣寬度進行估計;
對所述人臉圖像中的人臉是否被遮擋進行估計。
可選地,所述估計模塊,具體用于:
分別計算所述人臉圖像中的人臉在YAW和/或PITCH方向上的角度;
判斷所述初次評估的結果是否符合預設條件時,若YAW方向上的角度大于等于預設YAW方向角度閾值,或PITCH方向上的角度大于等于預設PITCH方向角度閾值,則判定所述初次評估的結果不符合預設條件。
可選地,所述第一評估模塊,具體用于:
提取所述人臉圖像中的人臉特征點,所述人臉特征點為五官的邊緣特征點;
判斷所述初次評估的結果是否符合預設條件時,若滿足以下條件之一或任意組合,則判定所述初次評估的結果不符合預設條件:
人臉特征點的鄰域內(nèi)的局部方差小于等于預設方差閾值的個數(shù)大于預設數(shù)量閾值;
根據(jù)人臉特征點確定的特征區(qū)域的平均梯度小于等于預設梯度閾值;
人臉特征點的平均邊緣寬度大于等于預設邊緣寬度閾值。
可選地,所述第一評估模塊,具體用于:
計算人臉是否被遮擋的置信度;
判斷所述初次評估的結果是否符合預設條件時,若計算得到的置信度不在預設范圍內(nèi),則判定所述初次評估的結果不符合預設條件。
可選地,所述評估模塊,在根據(jù)所述人臉的頻域信息對所述人臉圖像的質(zhì)量進行再次評估之前,還用于:
對所述人臉圖像的像素值進行傅里葉變換;
使用加權矩陣對傅里葉變換后得到的像素值進行加權;
計算經(jīng)過加權后的像素值的累加和,得到所述人臉圖像的頻域信息。
可選地,所述評估模塊,具體用于:
人臉圖像的頻域信息乘以第一系數(shù),得到質(zhì)量評估分量;所述第一系數(shù)根據(jù)人臉特征點平均邊緣寬度與根據(jù)所述人臉圖像對比度計算得到的閾值之間的大小關系確定;
質(zhì)量評估分量乘以第二系數(shù),得到人臉圖像的質(zhì)量評估值;所述第二系數(shù)根據(jù)人臉圖像中的人臉在YAW方向上的角度的取值范圍和/或在PITCH方向上的角度的取值范圍確定。
在本發(fā)明上述實施例中,對獲取到的人臉圖像,根據(jù)時域信息對圖像質(zhì)量進行初次評估,若初次評估結果符合預設條件,則根據(jù)該人臉圖像的頻域信息對該人臉圖像進行再次評估,即對符合基本要求的人臉圖像計算質(zhì)量評估值,為后續(xù)的圖像處理工作提供參考。
附圖說明
為了更清楚地說明本發(fā)明實施例中的技術方案,下面將對實施例描述中所需要使用的附圖作簡要介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實施例,對于本領域的普通技術人員來講,在不付出創(chuàng)造性勞動性的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明實施例提供的人臉圖像質(zhì)量評估方法的流程示意圖;
圖2為本發(fā)明實施例提供的三維人臉姿態(tài)示意圖;
圖3為本發(fā)明實施例提供的選取的人臉特征點示意圖;
圖4為本發(fā)明實施例提供的特征點的5*5鄰域示意圖;
圖5為本發(fā)明實施例提供的特征區(qū)域的示意圖;
圖6為本發(fā)明實施例提供的特點的八鄰域窗口示意圖;
圖7為本發(fā)明實施例提供的法線方向示意圖;
圖8為本發(fā)明實施例提供的人臉圖像的頻域信息示意圖;
圖9為本發(fā)明實施例提供的頻域信息加權矩陣示意圖;
圖10為本發(fā)明實施例提供的另一種頻域信息加權矩陣示意圖;
圖11為本發(fā)明實施例提供的一個具體實施例的流程示意圖;
圖12為本發(fā)明實施例提供的一種人臉圖像質(zhì)量評估裝置的結構示意圖。
具體實施方式
為了使本發(fā)明的目的、技術方案和優(yōu)點更加清楚,下面將結合附圖對本發(fā)明作進一步地詳細描述,顯然,所描述的實施例僅僅是本發(fā)明一部份實施例,而不是全部的實施例?;诒景l(fā)明中的實施例,本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例,都屬于本發(fā)明保護的范圍。
為了實現(xiàn)對人臉圖像的質(zhì)量進行評估,為后續(xù)圖像處理提供參考,本發(fā)明實施例提供了一種人臉圖像質(zhì)量評估的方法及裝置,以解決上述問題。
參見圖1,為本發(fā)明實施例提供的人臉圖像質(zhì)量評估方法的流程示意圖,如圖所述,該方法包括:
步驟101、獲取人臉圖像;
步驟102、根據(jù)人臉圖像的時域信息,對人臉圖像的質(zhì)量進行初次評估;
步驟103、若初次評估的結果符合預設條件,則根據(jù)人臉的頻域信息對人臉圖像的質(zhì)量進行再次評估。
具體地,在上述步驟102中,由于不同的應用場景對人臉圖像的質(zhì)量要求不同,可以根據(jù)具體的應用場景確定用于對人臉圖像進行初次評估的估計因子。例如,在身份驗證的應用場景中,對人臉圖像的質(zhì)量要求較高,可以對人臉姿態(tài)、人臉特征點邊緣寬度、人臉是否被遮擋進行估計;而對于用于娛樂人臉圖像,對于是否遮擋可能并不在意,因此可以不對是否被遮擋進行估計。
可選地,對人臉圖像進行初次評估可以包括以下一種或任意組合:
對人臉圖像中的人臉的姿態(tài)進行估計;
對人臉圖像中的人臉特征點邊緣寬度進行估計;
對人臉圖像中的人臉是否被遮擋進行估計。
優(yōu)選地,可以采用上述三種估計因子對人臉圖像進行層層過濾,例如,依次對人臉圖像中的人臉姿態(tài)、人臉特征點邊緣寬度、人臉是否被遮擋進行估計,若采用其中一種估計因子對人臉圖像的估計結果不符合預設條件,則直接將該人臉圖像的質(zhì)量判定為不合格,不再應用其他估計因子對該人臉圖像進行評估;若采用每種估計因子得到的估計結果均符合預設條件,則執(zhí)行下一步驟。
具體地,若對人臉圖像中的人臉的姿態(tài)進行估計,可以根據(jù)三維人臉姿態(tài)估計算法,計算人臉圖像中的人臉在YAW、PITCH、ROLL三個方向上的角度,分別記為Sa_yaw、Sa_pitch、Sa_roll。如圖2所示,YAW、PITCH、ROLL可以用以表示人臉的偏轉角、俯仰角、傾斜角。其中,人臉在ROLL方向上的傾斜角度,可以通過平面旋轉進行校正,對后續(xù)的處理工作不會帶來較大的影響,因此可以不予考慮;若對于人臉在YAW或PITCH方向上的角度過大,則會對后續(xù)的處理工作帶來較大難度。因此,若Sa_yaw小于預設YAW方向角度閾值,且Sa_pitch小于預設PITCH方向角度閾值,可以認為人臉在YAW和PITCH方向上的角度不會對對后續(xù)的處理工作帶來較大影響,可以保留;若Sa_yaw或Sa_pitch大于或等于預設閾值,則可以認為人臉在YAW和/或PITCH方向上的角度過大,不適宜后續(xù)的處理工作,可以判定該人臉圖像的初次評估結果不符合預設條件,即質(zhì)量評估結果為不合格。
具體地,若對人臉圖像中的人臉特征點邊緣寬度進行估計,可以先通過人臉特征點定位算法提取人臉圖像中的人臉特征點,并從中選取如圖3所示的14個人臉關鍵點:眉毛中心上邊緣(即圖中的特征點0和特征點5)、右眼的邊界點(兩個眼角和上、下邊緣點,即圖中的特征點1~4)、左眼的邊界點(兩個眼角和上、下邊緣點,即圖中的特征點6~9)、嘴部的邊界點(兩個嘴角和上、下邊緣點,即圖中的特征點10~13),選取的這14個人臉特征點均為五官的邊緣點。其中,特征點0、特征點2、特征點4、特征點5、特征點7、特征點9、特征點11、特征點13,用于計算垂直方向的邊緣寬度。為了使算法對于不同尺寸的人臉圖像具有通用性,可以將人臉圖像中的人臉區(qū)域的尺寸調(diào)整為統(tǒng)一尺寸,例如120*120(像素*像素,下同),相應地,在調(diào)整尺寸后的圖像中確定特征點的對應位置。
對于眼角點和嘴角點來說,不易對其進行邊緣估計。因此,可以采用對角點進行平移的方法解決上述問題。
以右眼為例,可以首先根據(jù)上邊緣點和下邊緣點(即特征點2和特征點4)判斷眼睛是否閉合:若上邊緣點和下邊緣點在垂直方向上的距離大于預設閾值,則認為眼睛睜開,將右眼的右眼角點和左眼角點(即特征點1和特征點3)沿水平方向,向右眼的中心位置平移3個像素,沿垂直方向向上平移1個像素;若上邊緣點2和下邊緣點4在垂直方向上的距離小于預設閾值,則認為眼睛閉合,將右眼的眼角點1和眼角點3沿水平方向,向右眼的中心位置平移1個像素,沿垂直方向向上平移1個像素。經(jīng)過上述平移后,相當于將特征點1和特征點3平移至右眼的上眼皮上,能夠方便對邊緣進行估計。
類似地,左眼和嘴部的角點,也可以根據(jù)上述平移方法進行平移,以方便對邊緣進行估計。
可選地,對人臉特征點邊緣寬度進行估計時,可以根據(jù)特征點位置的局部方差進行估計。
具體地,可以對提取到的每個特征點,獲取其鄰域,并對該區(qū)域內(nèi)的像素點的像素值進行方差統(tǒng)計。例如,可以對每個特征點按照如圖4所示方式獲取該特征點的5*5的鄰域,其中,點“◎”表示特征點。仍以上述選取14個人臉特征點為例,若其中不少于8個特征點的局部方差大于預設方差閾值,則可以認為該人臉圖像的初次評估結果符合預設條件;否則,認為該人臉圖像較為模糊,初次評估結果不符合預設條件,即質(zhì)量評估結果為不合格。
可選地,還可以根據(jù)人臉特征點確定特征區(qū)域,對每個特征區(qū)域計算平均梯度,若每個特征區(qū)域的平均梯度大于預設梯度閾值,則判定該人臉圖像的初次評估結果符合預設條件,否則,認為該人臉圖像較為模糊,初次評估結果不符合預設條件,即質(zhì)量評估結果為不合格。
仍以上述選取14個人臉特征點為例,可以根據(jù)將特征點劃分出右眼區(qū)域、左眼區(qū)域、嘴部區(qū)域,具體地,可以將特征點0~4的外接矩形作為右眼區(qū)域,將特征點5~9的外接矩形作為左眼區(qū)域,將特征點10~13的外接矩形作為嘴部區(qū)域,如圖5所示。
對一個區(qū)域計算平均梯度是,可以對該區(qū)域的中的每個像素點,獲取其八鄰域的窗口。具體地,如圖6所示的3*3的窗口即為點“◎”的八鄰域窗口,其中,四個角點位置(即點“※”)距離中心點的距離為中心點上、下、左、右的四個位置(即點“+”)距離中心點的距離為1。對3*3窗口中的每個像素點,用該像素點的像素值減去該3*3窗口的中心點的像素值,得到一個3*3的表示局部梯度的矩陣,然后利用加權矩陣對局部梯度矩陣進行加權。
其中,加權矩陣可以是根據(jù)距離中心點的距離得到的加權矩陣,例如,加權矩陣
對經(jīng)過加權后的梯度矩陣,可以對大于2的梯度值進行累加,其累加和記為S,將大于2的梯度值的個數(shù)記為N,將垂直方向上的最大梯度值記為MAXG。
然后,對下一個像素點按照上述方法計算加權后的梯度矩陣,直到該區(qū)域的全部像素點均按照上述方法計算加權后的梯度矩陣。需要說明的是,對每個像素點計算加權后的梯度矩陣時,大于2的梯度值累加和S、大于2的梯度值的個數(shù)N、以及垂直方向上的最大梯度值MAXG,并不清零,而是持續(xù)累加,或持續(xù)更新垂直方向上的最大梯度值MAXG,直到將該區(qū)域的全部像素點計算完畢。
在對一個區(qū)域的全部像素點經(jīng)過如上所述方法的計算后,根據(jù)公式(1)確定該區(qū)域的平均梯度:
其中,AVGnmg表示平均梯度,AVGgray表示該區(qū)域的平均灰度值。
類似地,其他區(qū)域也按照上述方法計算平均灰度值。
可選地,還可以對每個人臉特征點,分別計算邊緣寬度,根據(jù)每個人臉特征點的邊緣寬度計算平均邊緣寬度,若平均邊緣寬度小于預設邊緣寬度預設,則認為該人臉圖像的初次評估結果符合預設條件,否則,認為該人臉圖像較為模糊,初次評估結果不符合預設條件,即質(zhì)量評估結果為不合格。
具體地,在計算特征點的邊緣寬度時,可以根據(jù)該特征點所在區(qū)域的對比度進行計算:類似地,特征點所在區(qū)域可以如上述右眼區(qū)域、左眼區(qū)域、嘴部區(qū)域的劃分方法進行區(qū)域劃分,然后,分別對每個區(qū)域根據(jù)公式(2)~公式(4)計算對比度,
其中,F(xiàn)C表示對比度,avg表示該區(qū)域的平均灰度,h(i)表示該區(qū)域中灰度值為i的像素點的個數(shù)。
然后,根據(jù)計算出的對比度,可以根據(jù)公式(5)確定灰度差閾值,
TH=3+20×FC (5)
由于選取的人臉特征點為五官的邊緣點,因此可以對每個特征點,確定該特征點所在邊緣曲線,以該特征點為交點的法線的方向。如圖7所示,以該特征點為中心,沿法線方向分別向兩側平移,每次移動1個像素,若平移后的像素點的像素值與該特征點的像素值的差值大于灰度差閾值TH,則終止該側的平移,并確定向兩側平移的像素個數(shù),分別記為EW1和EW2,該特征點的邊緣寬度EW=EW1+EW2。
在計算出每個特征點的邊緣寬度后,可以獲取平均邊緣寬度Se,若平均邊緣寬度大于預設的邊緣寬度閾值,則判定該人臉圖像的質(zhì)量評估結果為不合格。
當然,上述對人臉特征點邊緣寬度進行估計的方法,也可以組合使用,對人臉圖像進行層層過濾。
可選地,若對人臉圖像中的人臉是否被遮擋進行估計,可以通過計算人臉圖像是否被遮擋的置信度,若置信度在預設范圍內(nèi),則認為該人臉圖像中的人臉未被遮擋;否則,認為該人臉圖像中的人臉被遮擋,初次評估結果不符合預設條件,即質(zhì)量評估結果為不合格。
具體地,可以預先對大量人臉被遮擋的圖像和大量人臉未被遮擋的圖像進行統(tǒng)計、分析,統(tǒng)計、分析的過程可以是根據(jù)局部二值模式(Local Binary Pattern,簡稱LBP)特征和基于置信度的支持向量機(Support Vector Machine,簡稱SVM)的方法的統(tǒng)計,可以根據(jù)人臉圖像的LBP特征和基于置信度的SVM分類方法實現(xiàn)的。
可選地,在上述步驟103之前,可以將人臉圖像的尺寸歸一化到64*64,以方便計算,然后對人臉圖像進行二維快速傅里葉變換,將人臉時域信息轉換為頻域信息來表征人臉圖像。在實際處理過程中,可以對時域信息進行一定的平移,使得頻域信息的高頻分量集中在中間位置,如圖8所示。為了強化高頻信息的同時在一定程度上保留低頻信息,可以使用如圖9所示的加權矩陣對如圖8所示的圖像進行加權,如圖所示,該加權矩陣的像素值由中心向四周遞增,但是,邊緣位置上的像素值可以設置為0,例如,該加權矩陣的具體數(shù)值可以如圖10所示。
對經(jīng)過傅里葉變換以及加權后的圖像,對每個像素點的像素值進行累加和,即可獲得頻域信息和Sf。
可選地,在上述步驟103中,可以將人臉圖像的頻域信息乘以第一系數(shù),得到質(zhì)量評估分量,其中,第一系數(shù)是根據(jù)人臉特征點平均邊緣寬度與根據(jù)人臉圖像對比度計算得到的閾值之間的大小關系確定的。例如,根據(jù)人臉圖像對比度計算得到的閾值,對人臉特征點平均邊緣寬度的取值范圍進行區(qū)域劃分,不同的區(qū)域對應不同的第一系數(shù),人臉特征點平均邊緣寬度取值較小的區(qū)域對應的第一系數(shù)較大,反之,人臉特征點平均邊緣寬度取值較大的區(qū)域對應的第一系數(shù)較小。
然后將質(zhì)量評估分量乘以第二系數(shù),得到人臉圖像的質(zhì)量評估值,其中第二系數(shù)是根據(jù)人臉圖像中的人臉在YAW方向上的角度的取值范圍和/或在PITCH方向上的角度的取值范圍確定的。例如,對Sa_yaw和Sa_pitch的取值范圍進行區(qū)域劃分,不同的區(qū)域對應不同的第二系數(shù),Sa_yaw和Sa_pitch取值較小的區(qū)域對應的第二系數(shù)較大,即最后得到的質(zhì)量評估值較大,Sa_yaw和Sa_pitch取值較大的區(qū)域對應的第二系數(shù)較小,即最后得到的質(zhì)量評估值較小。
舉例說明,在獲得人臉圖像的頻域信息和之后,可以根據(jù)公式(6)和公式(7)計算人臉圖像的質(zhì)量評估值。
其中,Q1表示人臉圖像的質(zhì)量評估分值,Q表示所述人臉圖像的質(zhì)量評估值,Sf表示頻域信息和,Se表示平均邊緣寬度,Te表示根據(jù)人臉圖像對比度計算得到的閾值,Sa_yaw表示人臉圖像中的人臉在YAW方向上的角度,Sa_pitch表示人臉圖像中的人臉在PITCH方向上的角度。
其中,Te的確定方法與上述灰度差閾值TH的確定方法類似,上述灰度差閾值TH是根據(jù)一個區(qū)域(即右眼區(qū)域、左眼區(qū)域或嘴部區(qū)域)中的像素值獲得的,而Te是根據(jù)整幅人臉圖像的像素值獲得的,此處不再贅述。
其中,公式(6)中,Se分別與0.2Te、0.8Te進行比較,系數(shù)0.2和0.8均為舉例,可以根據(jù)不同應用場景對人臉圖像質(zhì)量要求的不同更改相應的系數(shù),本發(fā)明對此不做限制。公式(6)中,Q1可以等于1.2Sf、Sf、0.8Sf,其中系數(shù)1.2、1、0.8均為舉例,可以根據(jù)不同應用場景對人臉圖像質(zhì)量要求的不同更改相應的系數(shù),本發(fā)明對此不做限制。公式(7)中,Sa_yaw的取值區(qū)域的劃分以5、15、20為邊界,邊界5、15、20均為舉例,可以根據(jù)不同應用場景對人臉圖像質(zhì)量要求的不同更改相應的系數(shù),本發(fā)明對此不做限制,同樣地,Sa_pitch的取值區(qū)域的劃分邊界5、20也僅為本發(fā)明的一個實施例,本發(fā)明對此不做限制。公式(7)中,Q可以等于1.2Q1、Q1、0.9Q1、0.8Q1,其中系數(shù)1.2、1、0.9、0.8均為舉例,可以根據(jù)不同應用場景對人臉圖像質(zhì)量要求的不同更改相應的系數(shù),本發(fā)明對此不做限制。
為了更清楚地理解本發(fā)明的上述實施例,下面以一個具體實施例,對本發(fā)明上述實施例的具體實現(xiàn)過程進行描述。該具體實施例的流程示意圖如圖11所示。
步驟1101、輸入人臉圖像;
步驟1102、使用人臉角度估計方法對人臉圖像進行估計;
步驟1103、判斷估計結果是否符合預設條件;符合,則轉入步驟1005,否則,轉入步驟1104;
步驟1104、判定人臉圖像的質(zhì)量不合格;
步驟1105、使用人臉特征點邊緣估計方法對人臉圖像進行估計;
步驟1106、判斷估計結果是否符合預設條件;符合,則轉入步驟1007,否則,轉入步驟1104;
步驟1107、使用遮擋估計方法對人臉圖像進行估計;
步驟1108、判斷估計結果是否符合預設條件;符合,則轉入步驟1009,否則,轉入步驟1104;
步驟1109、獲取人臉圖像的頻域信息和;
步驟1110、對人臉圖像的質(zhì)量進行評分。
在本發(fā)明上述實施例中,對獲取到的人臉圖像,根據(jù)時域信息對圖像質(zhì)量進行初次評估,若初次評估結果符合預設條件,則根據(jù)該人臉圖像的頻域信息對該人臉圖像進行再次評估,即對符合基本要求的人臉圖像計算質(zhì)量評估值,為后續(xù)的圖像處理工作提供參考。
基于相同的技術構思,本發(fā)明實施例還提供了一種人臉圖像質(zhì)量評估裝置,該裝置的結構示意圖如圖12所示,包括:
獲取模塊1201,用于獲取人臉圖像;
第一評估模塊1202,用于根據(jù)人臉圖像的時域信息,對人臉圖像的質(zhì)量進行初次評估;
第二評估模塊1203,用于若估計模塊的估計結果符合預設條件,則根據(jù)人臉的頻域信息對人臉圖像的質(zhì)量進行再次評估。
可選地,第一評估模塊1202,具體用于執(zhí)行以下操作中的一種或任意組合:
對人臉圖像中的人臉的姿態(tài)進行估計;
對人臉圖像中的人臉特征點邊緣寬度進行估計;
對人臉圖像中的人臉是否被遮擋進行估計。
可選地,第一評估模塊1202,具體用于:分別計算人臉圖像中的人臉在YAW和/或PITCH方向上的角度;
判斷所述初次評估的結果是否符合預設條件時,若YAW方向上的角度大于等于預設YAW方向角度閾值,或PITCH方向上的角度大于等于預設PITCH方向角度閾值,則判定初次評估的結果不符合預設條件。
可選地,第一評估模塊1202,具體用于:提取人臉圖像中的人臉特征點,人臉特征點為五官的邊緣特征點;
判斷所述初次評估的結果是否符合預設條件時,若滿足以下條件之一或任意組合,則判定初次評估的結果不符合預設條件:
人臉特征點的鄰域內(nèi)的局部方差小于等于預設方差閾值的個數(shù)大于預設數(shù)量閾值;
根據(jù)人臉特征點確定的特征區(qū)域的平均梯度小于等于預設梯度閾值;
人臉特征點的平均邊緣寬度大于等于預設邊緣寬度閾值。
可選地,第一評估模塊1202,具體用于:計算人臉是否被遮擋的置信度;
判斷所述初次評估的結果是否符合預設條件時,若計算得到的置信度不在預設范圍內(nèi),則判定初次評估的結果不符合預設條件。
可選地,第二評估模塊1203,在根據(jù)人臉的頻域信息對人臉圖像的質(zhì)量進行再次評估之前,還用于:
對人臉圖像的像素值進行傅里葉變換;
使用加權矩陣對傅里葉變換后得到的像素值進行加權;
計算經(jīng)過加權后的像素值的累加和,得到人臉圖像的頻域信息。
可選地,第二評估模塊1203,具體用于:
人臉圖像的頻域信息乘以第一系數(shù),得到質(zhì)量評估分量;第一系數(shù)根據(jù)人臉特征點平均邊緣寬度與根據(jù)人臉圖像對比度計算得到的閾值之間的大小關系確定;
質(zhì)量評估分量乘以第二系數(shù),得到人臉圖像的質(zhì)量評估值;第二系數(shù)根據(jù)人臉圖像中的人臉在YAW方向上的角度的取值范圍和/或在PITCH方向上的角度的取值范圍確定。
在本發(fā)明上述實施例中,對獲取到的人臉圖像,根據(jù)時域信息對圖像質(zhì)量進行初次評估,若初次評估結果符合預設條件,則根據(jù)該人臉圖像的頻域信息對該人臉圖像進行再次評估,即對符合基本要求的人臉圖像計算質(zhì)量評估值,為后續(xù)的圖像處理工作提供參考。
本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合??商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器,使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品,該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上,使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理,從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
盡管已描述了本發(fā)明的優(yōu)選實施例,但本領域內(nèi)的技術人員一旦得知了基本創(chuàng)造性概念,則可對這些實施例作出另外的變更和修改。所以,所附權利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
顯然,本領域的技術人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣,倘若本發(fā)明的這些修改和變型屬于本發(fā)明權利要求及其等同技術的范圍之內(nèi),則本發(fā)明也意圖包含這些改動和變型在內(nèi)。