文中進行了描述,在此不再寶 述。
[0100] 根據(jù)本發(fā)明另一方面,提供一種人臉圖像處理裝置。圖3示出了根據(jù)本發(fā)明一個實 施例的人臉圖像處理裝置300的示意性框圖。
[0101] 如圖3所示,根據(jù)本發(fā)明實施例的人臉圖像處理裝置300包括接收模塊310和第一 質(zhì)量評估模塊320。
[0102] 接收模塊310用于接收待檢測人臉圖像。接收模塊310可W由圖1所示的電子設(shè)備 中的處理器102運行存儲裝置104中存儲的程序指令來實現(xiàn)。
[0103] 第一質(zhì)量評估模塊320用于利用至少一種訓練好的深度卷積網(wǎng)絡(luò)評估待檢測人臉 圖像的質(zhì)量。第一質(zhì)量評估模塊320可W由圖1所示的電子設(shè)備中的處理器102運行存儲裝 置104中存儲的程序指令來實現(xiàn)。
[0104] 根據(jù)本發(fā)明實施例,第一質(zhì)量評估模塊320可w包括檢查子模塊,用于利用至少一 種訓練好的深度卷積網(wǎng)絡(luò)對待檢測人臉圖像執(zhí)行特定檢查操作,并且如果待檢測人臉圖像 通過特定檢查操作中的所有檢查,則確定待檢測人臉圖像的質(zhì)量合格,其中,檢查子模塊包 括W下檢查組件中的一項或多項:人臉姿態(tài)檢查組件、圖像模糊檢查組件和人臉遮擋檢查 組件,人臉姿態(tài)檢查組件包括:第一計算單元,用于利用關(guān)于人臉姿態(tài)的深度卷積網(wǎng)絡(luò)計算 待檢測人臉圖像的人臉角度;W及第一判斷單元,用于根據(jù)待檢測人臉圖像的人臉角度判 斷待檢測人臉圖像是否通過人臉姿態(tài)檢查;圖像模糊檢查組件包括:第二計算單元,用于利 用關(guān)于圖像模糊的深度卷積網(wǎng)絡(luò)計算待檢測人臉圖像的模糊程度;W及第二判斷單元,用 于根據(jù)待檢測人臉圖像的模糊程度判斷待檢測人臉圖像是否通過圖像模糊檢查;W及人臉 遮擋檢查組件包括:第Ξ計算單元,用于利用關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò)計算待檢測人 臉圖像中的一個或多個人臉關(guān)鍵部位的遮擋狀態(tài);W及第Ξ判斷單元,用于根據(jù)待檢測人 臉圖像中的一個或多個人臉關(guān)鍵部位的遮擋狀態(tài)判斷待檢測人臉圖像是否通過人臉遮擋 檢查。
[0105] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第一訓練模塊,用于 基于第一訓練人臉圖像集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),例如,卷積神經(jīng)網(wǎng)絡(luò),W得到 關(guān)于人臉姿態(tài)的深度卷積網(wǎng)絡(luò),其中,所述第一訓練人臉圖像集合中的每個訓練人臉圖像 的人臉角度是已標注好的。
[0106] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第二訓練模塊,用于 基于第二訓練人臉圖像集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),例如,卷積神經(jīng)網(wǎng)絡(luò),W得到 關(guān)于圖像模糊的深度卷積網(wǎng)絡(luò),其中,第二訓練人臉圖像集合中的每個訓練人臉圖像的模 糊程度是已標注好的。
[0107] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第一圖像獲得模塊, 用于獲得第一初始人臉圖像集合;W及卷積模塊,用于利用預定高斯核和預定運動模糊核 對第一初始人臉圖像集合中的每個初始人臉圖像進行卷積,W生成所述第二訓練人臉圖像 集合。
[0108] 根據(jù)本發(fā)明實施例,第Ξ計算單元可W包括:提取子單元,用于從待檢測人臉圖像 中提取包含一個或多個人臉關(guān)鍵部位的至少一個圖像塊;W及計算子單元,用于利用與一 個或多個人臉關(guān)鍵部位一一對應(yīng)的一個或多個關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò)計算所述至 少一個圖像塊中的每一個中的對應(yīng)的人臉關(guān)鍵部位的遮擋狀態(tài)。
[0109] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第Ξ訓練模塊,用于 分別基于與一個或多個人臉關(guān)鍵部位一一對應(yīng)的一個或多個訓練圖像塊集合通過深度學 習方法訓練神經(jīng)網(wǎng)絡(luò),例如,卷積神經(jīng)網(wǎng)絡(luò),W得到與所述一個或多個人臉關(guān)鍵部位一一對 應(yīng)的一個或多個關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò),其中,所述一個或多個訓練圖像塊集合中 的對應(yīng)人臉關(guān)鍵部位的遮擋狀態(tài)是已標注好的。
[0110] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第二圖像獲得模塊, 用于對于一個或多個人臉關(guān)鍵部位中的每一個,獲得第二初始人臉圖像集合和第Ξ初始人 臉圖像集合,其中,該人臉關(guān)鍵部位在第二初始人臉圖像集合中未被遮擋,并且該人臉關(guān)鍵 部位在第Ξ初始人臉圖像集合中被遮擋;W及樣本提取模塊,用于對于一個或多個人臉關(guān) 鍵部位中的每一個,從第二初始人臉圖像集合中提取包含該人臉關(guān)鍵部位的正樣本圖像塊 作為與該人臉關(guān)鍵部位對應(yīng)的訓練圖像塊集合中的正樣本,并且從第Ξ初始人臉圖像集合 中提取負樣本圖像塊作為與該人臉關(guān)鍵部位對應(yīng)的訓練圖像塊集合中的負樣本,其中,所 述負樣本圖像塊中的該人臉關(guān)鍵部位被遮擋。
[0111] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第二質(zhì)量評估模塊, 用于基于待檢測人臉圖像的光照情況評估待檢測人臉圖像的質(zhì)量;W及綜合質(zhì)量評估模 塊,用于根據(jù)第一質(zhì)量評估模塊的第一評估結(jié)果W及第二質(zhì)量評估模塊的第二評估結(jié)果綜 合評估待檢測人臉圖像的質(zhì)量。
[0112] 根據(jù)本發(fā)明實施例,第二質(zhì)量評估模塊可W包括:計算子模塊,用于利用灰度直方 圖特征計算待檢測人臉圖像的光照情況;W及判斷子模塊,用于根據(jù)待檢測人臉圖像的光 照情況判斷待檢測人臉圖像是否通過光照檢查,如果待檢測人臉圖像通過光照檢查,則確 定待檢測人臉圖像的質(zhì)量合格。
[0113] 根據(jù)本發(fā)明實施例,計算子模塊可W包括:直方圖獲得單元,用于分別針對待檢測 人臉圖像中的一個或多個人臉區(qū)域抽取灰度直方圖特征,W獲得一個或多個待檢測直方 圖;亮度計算單元,用于計算一個或多個待檢測直方圖中的每一個的特定百分比位置處的 亮度值,W獲得與一個或多個直方圖位置一一對應(yīng)的一個或多個待檢測亮度值,其中,一個 或多個直方圖位置分別具有各自的預定亮度值均值;W及光照確定單元,用于如果在一個 或多個待檢測亮度值中,存在預定數(shù)目的待檢測亮度值與對應(yīng)的預定亮度值均值之差超過 一個闊值,則確定待檢測人臉圖像未通過光照檢查。在一個實施例中,除預定亮度值均值W 夕h所述一個或多個直方圖位置還分別具有各自的預定亮度值方差,并且,所述闊值為與待 檢測亮度值對應(yīng)的預定亮度值方差的兩倍,即當存在預定數(shù)目的待檢測亮度值與對應(yīng)的預 定亮度值均值之差大于對應(yīng)的預定亮度值方差的兩倍,則確定待檢測人臉圖像未通過光照 檢查。
[0114] 根據(jù)本發(fā)明實施例,人臉圖像處理裝置300可W進一步包括:第Ξ圖像獲得模塊, 用于獲得第Ξ訓練人臉圖像集合;直方圖獲得模塊,用于對于第Ξ訓練人臉圖像集合中的 每一個訓練人臉圖像,分別針對該訓練人臉圖像中的一個或多個人臉區(qū)域抽取灰度直方圖 特征,W獲得與該訓練人臉圖像相關(guān)的一個或多個訓練直方圖;亮度計算模塊,用于對于第 Ξ訓練人臉圖像集合中的每一個訓練人臉圖像,計算一個或多個訓練直方圖中的每一個的 特定百分比位置處的亮度值,W獲得與該訓練人臉圖像相關(guān)的、與一個或多個直方圖位置 一一對應(yīng)的一個或多個訓練亮度值;W及均值計算模塊,用于對于一個或多個直方圖位置 中的每一個,計算與第Ξ訓練人臉圖像集合中的所有訓練人臉圖像相關(guān)的、與該直方圖位 置相對應(yīng)的所有訓練亮度值的均值,W獲得該直方圖位置的預定亮度值均值。在一個實施 例中,除了預定亮度值均值,所述均值計算模塊還計算與該直方圖位置相對應(yīng)的所有訓練 亮度值的方差,W獲得該直方圖位置的預定亮度值方差,用于計算闊值。在一個實施例中, 所述闊值可W是與待檢測亮度值對應(yīng)的預定亮度值方差的兩倍。
[0115] 根據(jù)本發(fā)明實施例,上述人臉區(qū)域包括人臉整體、左眼部位、右眼部位和嘴部中的 至少一個部位。
[0116] 根據(jù)本發(fā)明實施例,上述人臉關(guān)鍵部位包括左眼部位、右眼部位和嘴部中的至少 一個部位。
[0117] 根據(jù)本發(fā)明實施例,第一判斷單元包括姿態(tài)確定子單元,用于如果所述人臉角度 小于角度闊值,則確定所述待檢測人臉圖像通過人臉姿態(tài)檢查;和/或第二判斷單元包括高 斯模糊確定子單元和運動模糊確定子單元,分別用于判斷高斯模糊程度和運動模糊程度是 否小于對應(yīng)的模糊闊值,如果高斯模糊程度和運動模糊程度均小于對應(yīng)的模糊闊值,則確 定所述待檢測人臉圖像通過圖像模糊檢查;和/或第Ξ判斷單元包括遮擋確定子單元,用于 如果所述一個或多個人臉關(guān)鍵部位均未被遮擋,則確定所述人臉圖像通過人臉遮擋檢查。
[0118] 本領(lǐng)域普通技術(shù)人員可W意識到,結(jié)合本文中所公開的實施例描述的各示例的單 元及算法步驟,能夠W電子硬件、或者計算機軟件和電子硬件的結(jié)合來實現(xiàn)。運些功能究竟 W硬件還是軟件方式來執(zhí)行,取決于技術(shù)方案的特定應(yīng)用和設(shè)計約束條件。專業(yè)技術(shù)人員 可W對每個特定的應(yīng)用來使用不同方法來實現(xiàn)所描述的功能,但是運種實現(xiàn)不應(yīng)認為超出 本發(fā)明的范圍。
[0119] 圖4示出了根據(jù)本發(fā)明一個實施例的人臉圖像處理系統(tǒng)400的示意性框圖。人臉圖 像處理系統(tǒng)400包括圖像采集裝置410、存儲裝置420、W及處理器430。
[0120] 圖像采集裝置410用于采集待檢測人臉圖像。圖像采集裝置410是可選的,人臉圖 像處理系統(tǒng)400可W不包括圖像采集裝置410。
[0121] 所述存儲裝置420存儲用于實現(xiàn)根據(jù)本發(fā)明實施例的人臉圖像處理方法中的相應(yīng) 步驟的程序代碼。
[0122] 所述處理器430用于運行所述存儲裝置420中存儲的程序代碼,W執(zhí)行根據(jù)本發(fā)明 實施例的人臉圖像處理方法的相應(yīng)步驟,并且用于實現(xiàn)根據(jù)本發(fā)明實施例的人臉圖像處理 裝置中的接收模塊310和第一質(zhì)量評估模塊320。
[0123] 在一個實施例中,所述程序代碼在被所述處理器430運行時,使得所述人臉圖像處 理系統(tǒng)400執(zhí)行W下步驟:接收待檢測人臉圖像;W及利用至少一種訓練好的深度卷積網(wǎng)絡(luò) 評估待檢測人臉圖像的質(zhì)量。
[0124] 在一個實施例中,所述程序代碼在被所述處理器430運行時,使得所述人臉圖像處 理系統(tǒng)400所執(zhí)行的利用至少一種訓練好的深度卷積網(wǎng)絡(luò)評估待檢測人臉圖像的質(zhì)量包 括:利用所述至少一種訓練好的深度卷積網(wǎng)絡(luò)對待檢測人臉圖像執(zhí)行特定檢查操作,并且 如果待檢測人臉圖像通過特定檢查操作中的所有檢查,則確定待檢測人臉圖像的質(zhì)量合 格,其中,特定檢查操作包括W下檢查操作中的一項或多項:利用關(guān)于人臉姿態(tài)的深度卷積 網(wǎng)絡(luò)計算待檢測人臉圖像的人臉角度,并根據(jù)待檢測人臉圖像的人臉角度判斷待檢測人臉 圖像是否通過人臉姿態(tài)檢查;利用關(guān)于圖像模糊的深度卷積網(wǎng)絡(luò)計算待檢測人臉圖像的模 糊程度,并根據(jù)待檢測人臉圖像的模糊程度判斷待檢測人臉圖像是否通過圖像模糊檢查; W及利用關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò)計算待檢測人臉圖像中的一個或多個人臉關(guān)鍵部 位的遮擋狀態(tài),并根據(jù)待檢測人臉圖像中的一個或多個人臉關(guān)鍵部位的遮擋狀態(tài)判斷待檢 測人臉圖像是否通過人臉遮擋檢查。
[0125] 在一個實施例中,所述程序代碼在被所述處理器430運行時,還使得所述人臉圖像 處理系統(tǒng)400執(zhí)行:基于第一訓練人臉圖像集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),W得到關(guān) 于人臉姿態(tài)的深度卷積網(wǎng)絡(luò),其中,第一訓練人臉圖像集合中的每個訓練人臉圖像的人臉 角度是已標注好的。
[0126] 在一個實施例中,所述程序代碼在被所述處理器430運行時,還使得所述人臉圖像 處理系統(tǒng)400執(zhí)行:基于第二訓練人臉圖像集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),W得到關(guān) 于圖像模糊的深度卷積網(wǎng)絡(luò),其中,第二訓練人臉圖像集合中的每個訓練人臉圖像的模糊 程度是已標注好的。
[0127] 在一個實施例中,在所述程序代碼在被所述處理器430運行時,使得所述人臉圖像 處理系統(tǒng)400所執(zhí)行的基于第二訓練人臉圖像集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),W得 到關(guān)于圖像模糊的深度卷積網(wǎng)絡(luò)之前,所述程序代碼在被所述處理器430運行時還使得所 述人臉圖像處理系統(tǒng)400執(zhí)行:獲得第一初始人臉圖像集合;W及利用預定高斯核和預定運 動模糊核對第一初始人臉圖像集合中的每個初始人臉圖像進行卷積,W生成第二訓練人臉 圖像集合。
[0128] 在一個實施例中,所述程序代碼在被所述處理器430運行時,使得所述人臉圖像處 理系統(tǒng)400所執(zhí)行的利用關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò)計算待檢測人臉圖像中的一個或多 個人臉關(guān)鍵部位的遮擋狀態(tài)包括:從待檢測人臉圖像中提取包含一個或多個人臉關(guān)鍵部位 的至少一個圖像塊;W及利用與一個或多個人臉關(guān)鍵部位一一對應(yīng)的一個或多個關(guān)于人臉 遮擋的深度卷積網(wǎng)絡(luò)計算至少一個圖像塊中的每一個中的對應(yīng)的人臉關(guān)鍵部位的遮擋狀 態(tài)。
[0129] 在一個實施例中,所述程序代碼在被所述處理器430運行時,還使得所述人臉圖像 處理系統(tǒng)400執(zhí)行:分別基于與一個或多個人臉關(guān)鍵部位一一對應(yīng)的一個或多個訓練圖像 塊集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),W得到與所述一個或多個人臉關(guān)鍵部位一一對應(yīng) 的一個或多個關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò),其中,一個或多個訓練圖像塊集合中的對應(yīng) 人臉關(guān)鍵部位的遮擋狀態(tài)是已標注好的。
[0130] 在一個實施例中,在所述程序代碼在被所述處理器運行時,使得所述人臉圖像處 理系統(tǒng)400所執(zhí)行的分別基于與一個或多個人臉關(guān)鍵部位一一對應(yīng)的一個或多個訓練圖像 塊集合通過深度學習方法訓練神經(jīng)網(wǎng)絡(luò),W得到與所述一個或多個人臉關(guān)鍵部位一一對應(yīng) 的一個或多個關(guān)于人臉遮擋的深度卷積網(wǎng)絡(luò)之前,所述程序代碼在被所述處理器運行時還 使得所述人臉圖像處理系統(tǒng)400執(zhí)行:對于一個或多個人臉關(guān)鍵部位中的每一個,獲得第二 初始人臉圖像集合和第Ξ初始人臉圖像集合,其中,該人臉關(guān)鍵部位在第二初始人臉圖像 集合中未被遮擋,并且該人臉關(guān)鍵部位在第Ξ初始人臉圖像集合中被遮擋;從第二初始人 臉圖像集合中提取包含該人臉關(guān)鍵部位的正樣本圖像塊作為與該人臉關(guān)鍵部位對應(yīng)的訓 練圖像塊集合中的正樣本,并且從第Ξ初始人臉圖像集合中提取負樣本圖像塊作為與該人 臉關(guān)鍵部位對應(yīng)的訓練圖像塊集合中的負樣本,其中,所述負樣本圖像塊中的該人臉關(guān)鍵 部位被遮擋。
[0131] 在一個實施例中,所述程序代碼在被所述處理器430運行時,還使得所述人臉圖像 處理系統(tǒng)400進一步執(zhí)行:基于待檢測人臉圖像的光照情況評估待檢測人臉圖像的質(zhì)量;W 及根據(jù)利用至少一種訓練好的深度卷積網(wǎng)絡(luò)評估待檢測人臉圖像的質(zhì)量的第一評估結(jié)果 W及基于待檢測人臉圖像的光照情況評估待檢測人臉圖像的質(zhì)量的第二評估結(jié)果綜合評 估待檢測人臉圖像的質(zhì)量。
[0132] 在一個實施例中,在所述程序代碼在被所述處理器運行時,使得所述人臉圖像處 理系統(tǒng)400所執(zhí)行的基于所述待檢測人臉圖像的光照情況評估所述待檢測人臉圖像的質(zhì)量 包括:利用灰度直方圖特征計算待檢測人臉圖像的光照情況,并根據(jù)待檢測人臉圖像的光 照情況判斷待檢測人臉圖像是否通過光照檢查,如果待檢測人臉圖像通過