br>[0043] 圖6是本發(fā)明一種實(shí)施方式中的人臉圖像的匹配裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0044] 針對(duì)現(xiàn)有技術(shù)中存在的問題，本發(fā)明實(shí)施例中提出一種人臉圖像的匹配方法，該 方法可W應(yīng)用在包括管理服務(wù)器和前端設(shè)備的視頻監(jiān)控系統(tǒng)中，且該方法可W應(yīng)用在管理 服務(wù)器上。前端設(shè)備可W為模擬攝像機(jī)、網(wǎng)絡(luò)攝像機(jī)、編碼器、人臉抓拍相機(jī)等設(shè)備。目前， 已經(jīng)在車站閩機(jī)口、碼頭閩機(jī)口、商場(chǎng)入口、機(jī)場(chǎng)安檢卡口、出入境卡口、軌道交通閩機(jī)口等 出入關(guān)口，W及交通要道路段、路口等位置，部署了大量的前端設(shè)備，運(yùn)些前端設(shè)備可W采 集到人臉圖像，并將人臉圖像發(fā)送給管理服務(wù)器。管理服務(wù)器可W接收來自大量前端設(shè)備 的人臉圖像，并進(jìn)行后續(xù)的身份識(shí)別和驗(yàn)證過程。在上述應(yīng)用場(chǎng)景下，如圖1所示，該人臉圖 像的匹配方法具體可W包括W下步驟：
[0045] 步驟101，接收來自前端設(shè)備的人臉圖像序列，并在動(dòng)態(tài)人臉對(duì)比庫(kù)中存儲(chǔ)人臉圖 像序列;其中，該人臉圖像序列包括一個(gè)或者多個(gè)人臉圖像。
[0046] 在一種可行的實(shí)施方式中，管理服務(wù)器還可W接收來自該前端設(shè)備的該人臉圖像 序列對(duì)應(yīng)的輔助信息，并可W在動(dòng)態(tài)人臉對(duì)比庫(kù)中存儲(chǔ)該人臉圖像序列對(duì)應(yīng)的輔助信息。 其中，該輔助信息具體可W包括但不限于W下之一或者任意組合:視頻序列信息、人體序列 信息、第一位置信息、第一時(shí)間信息;該人體序列信息具體可W包括但不限于W下信息之一 或者任意組合:發(fā)型信息、帽子信息、眼鏡信息、衣服信息（如衣服的顏色和紋理）、圍巾信 息、拷包信息。
[0047] 在一種可行的實(shí)施方式中，管理服務(wù)器還可W接收來自該前端設(shè)備的該人臉圖像 序列對(duì)應(yīng)的第一位置信息和第一時(shí)間信息，并可W在動(dòng)態(tài)人臉對(duì)比庫(kù)中存儲(chǔ)第一位置信息 和第一時(shí)間信息。其中，第一位置信息可W為該前端設(shè)備的位置或者人臉圖像中人臉?biāo)?位置，后續(xù)W第一位置信息為該前端設(shè)備的位置為例進(jìn)行說明。第一時(shí)間信息可W為采集 到人臉圖像的時(shí)間。
[0048] 如表1所示，為一種包含上述所有信息的動(dòng)態(tài)人臉對(duì)比庫(kù)的示例，在實(shí)際應(yīng)用中， 動(dòng)態(tài)人臉對(duì)比庫(kù)中需要包含人臉圖像序列，對(duì)于其它內(nèi)容，動(dòng)態(tài)人臉對(duì)比庫(kù)可W只包含部 分內(nèi)容，也可W包含其它未出現(xiàn)在表1中的內(nèi)容。
[0049] 表 1 [(K)加]
[0051] 本發(fā)明實(shí)施例中，各前端設(shè)備負(fù)責(zé)收集表1所示的信息，并將表1所示的信息發(fā)送 給管理服務(wù)器，后續(xù)W-個(gè)前端設(shè)備的處理為例進(jìn)行說明。
[0052] 前端設(shè)備可W對(duì)進(jìn)入鏡頭的人臉進(jìn)行檢測(cè)、跟蹤、連續(xù)抓拍，與傳統(tǒng)的前端設(shè)備只 采集一張最優(yōu)人臉圖像不同的是，本發(fā)明實(shí)施例中，前端設(shè)備對(duì)進(jìn)入鏡頭的人臉，采集包含 該人臉的多個(gè)人臉圖像，得到一個(gè)包含多個(gè)人臉圖像的人臉圖像序列，并獲得該人臉對(duì)應(yīng) 的視頻序列信息、人體序列信息、第一位置信息、第一時(shí)間信息，并將上述信息發(fā)送給管理 服務(wù)器，由管理服務(wù)器在動(dòng)態(tài)人臉對(duì)比庫(kù)中記錄上述信息，如表1所示的動(dòng)態(tài)人臉對(duì)比庫(kù)。
[0053] 其中，前端設(shè)備首先檢測(cè)人臉，然后進(jìn)行人臉跟蹤，從而得到一個(gè)人臉對(duì)應(yīng)的多個(gè) 人臉圖像，運(yùn)多個(gè)人臉圖像可W為不同姿態(tài)、不同表情、不同光照條件下的人臉圖像，如圖 2A-2C所示，為前端設(shè)備采集到的3個(gè)人臉圖像，運(yùn)3個(gè)人臉圖像可W組成一個(gè)人臉圖像序 列。此外，每個(gè)前端設(shè)備可W采集到不同人臉的人臉圖像，不同前端設(shè)備也可W采集到同一 個(gè)人臉的人臉圖像。而且，由于不同前端設(shè)備的部署位置和角度不同，不同前端設(shè)備采集到 的同一個(gè)人臉的人臉圖像不同，且人臉圖像序列中的人臉圖像數(shù)量也可W不同。
[0054] 前端設(shè)備在檢測(cè)到人臉之后，在對(duì)該人臉進(jìn)行跟蹤的過程中，還可W采集該人臉 的視頻序列信息，該視頻序列信息即一段包含該人臉的視頻。
[0055] 前端設(shè)備在檢測(cè)到人臉之后，還可W對(duì)檢測(cè)到的人臉區(qū)域進(jìn)行放大處理，W從人 臉圖像中定位出人頭位置，從而提取出發(fā)型信息、帽子信息、眼鏡信息等。還可W對(duì)檢測(cè)到 的人臉區(qū)域進(jìn)行放大處理，W從人臉圖像中定位出人體軀干(如上身和下身)位置，從而提 取出衣服信息（如上下身衣服的顏色和紋理）、圍巾信息、拷包信息等。之后，將提取出的發(fā) 型信息、帽子信息、眼鏡信息、衣服信息、圍巾信息、拷包信息等作為人體序列信息。
[0056] 前端設(shè)備在獲得人臉圖像后，還可W確定第一位置信息和第一時(shí)間信息。
[0057] 如圖3所示，為前端設(shè)備采集人臉圖像序列、視頻序列信息、人體序列信息、第一位 置信息和第一時(shí)間信息等信息的一種示意圖。
[00曰引前端設(shè)備在采集到人臉圖像序列、視頻序列信息、人體序列信息、第一位置信息和 第一時(shí)間信息之后，可W將運(yùn)些信息發(fā)送給管理服務(wù)器，之后由管理服務(wù)器在動(dòng)態(tài)人臉對(duì) 比庫(kù)中維護(hù)運(yùn)些信息。進(jìn)一步的，基于來自大量的前端設(shè)備的人臉圖像序列、視頻序列信 息、人體序列信息、第一位置信息和第一時(shí)間信息等信息，管理服務(wù)器可W不斷的更新動(dòng)態(tài) 人臉對(duì)比庫(kù)，即動(dòng)態(tài)人臉對(duì)比庫(kù)是動(dòng)態(tài)變化的，而不是黑名單庫(kù)（如犯罪嫌疑人黑名單)或 者白名單庫(kù)(如身份證庫(kù)或者包含某一區(qū)域人員的白名單)等感興趣人員庫(kù)。
[0059] 步驟102,針對(duì)待檢測(cè)圖像，獲得該待檢測(cè)圖像對(duì)應(yīng)的第一人臉特征。
[0060] 本發(fā)明實(shí)施例中，該待檢測(cè)圖像可W為一個(gè)感興趣人員的圖像，例如，可W為黑名 單庫(kù)中的某個(gè)犯罪嫌疑人的圖像，也可W為白名單庫(kù)中的某個(gè)人員的圖像，還可W為某個(gè) 臨時(shí)感興趣的人員（如失蹤不久的老年人)的圖像。
[0061] 而與本發(fā)明實(shí)施例不同的是，在目前的人臉檢測(cè)技術(shù)中，待檢測(cè)圖像是前端設(shè)備 采集到的人臉圖像，而人臉對(duì)比庫(kù)中是黑名單庫(kù)或者白名單庫(kù)。
[0062] 步驟103,從動(dòng)態(tài)人臉對(duì)比庫(kù)中的每個(gè)人臉圖像對(duì)應(yīng)的第二人臉特征中，確定出與 第一人臉特征匹配的第二人臉特征，如確定出一個(gè)第二人臉特征。
[0063] 在一種可行方式中，從動(dòng)態(tài)人臉對(duì)比庫(kù)中的每個(gè)人臉圖像對(duì)應(yīng)的第二人臉特征 中，確定出與第一人臉特征匹配的第二人臉特征的過程，具體可W包括但不限于如下方式： 方式一、直接基于動(dòng)態(tài)人臉對(duì)比庫(kù)中的所有人臉圖像，從所有人臉圖像中的每個(gè)人臉圖像 對(duì)應(yīng)的第二人臉特征中，確定出與第一人臉特征匹配的第二人臉特征?；蛘?，方式二、按照 預(yù)設(shè)策略從動(dòng)態(tài)人臉對(duì)比庫(kù)中的所有人臉圖像中選擇出部分人臉圖像，基于動(dòng)態(tài)人臉對(duì)比 庫(kù)中的運(yùn)部分人臉圖像，從運(yùn)部分人臉圖像中的每個(gè)人臉圖像對(duì)應(yīng)的第二人臉特征中，確 定出與第一人臉特征匹配的第二人臉特征。
[0064] 針對(duì)方式二、該預(yù)設(shè)策略可W根據(jù)實(shí)際需要任意配置，如預(yù)設(shè)策略可W為用戶輸 入的檢索條件，如用戶輸入的第二時(shí)間信息和第二位置信息?；诖?，從動(dòng)態(tài)人臉對(duì)比庫(kù)中 的每個(gè)人臉圖像對(duì)應(yīng)的第二人臉特征中，確定出與第一人臉特征匹配的第二人臉特征的過 程，具體可W包括但不限于如下方式:獲得該待檢測(cè)圖像對(duì)應(yīng)的第二時(shí)間信息(如一個(gè)時(shí)間 區(qū)間）和第二位置信息（如一個(gè)或者多個(gè)位置信息），并利用動(dòng)態(tài)人臉對(duì)比庫(kù)中的每個(gè)人臉 圖像對(duì)應(yīng)的第一位置信息和第一時(shí)間信息，從動(dòng)態(tài)人臉對(duì)比庫(kù)中選取與第二時(shí)間信息和第 二位置信息對(duì)應(yīng)的人臉圖像，從當(dāng)前選取的人臉圖像對(duì)應(yīng)的第二人臉特征中，確定出與第 一人臉特征匹配的第二人臉特征。
[0065] 例如，在輸入待檢測(cè)圖像的同時(shí)，還可W輸入第二時(shí)間信息（如時(shí)間區(qū)間）和第二 位置信息（如前端設(shè)備的位置)等檢索條件。基于此，首先從動(dòng)態(tài)人臉對(duì)比庫(kù)中查詢到與該 第二位置信息匹配的第一位置信息，并從查詢到的第一位置信息對(duì)應(yīng)的所有人臉圖像中， 查詢到與該第二時(shí)間信息匹配的第一時(shí)間信息，并將查詢到的第一時(shí)間信息對(duì)應(yīng)的所有人 臉圖像，選取為與第二時(shí)間信息和第二位置信息對(duì)應(yīng)的人臉圖像。之后，從當(dāng)前選取的人臉 圖像對(duì)應(yīng)的第二人臉特征中，確定出與第一人臉特征匹配的第二人臉特征。
[0066] 在實(shí)際應(yīng)用中，可W采用子空間法提取第一人臉特征W及每個(gè)第二人臉特征，或 者，采用深度網(wǎng)絡(luò)提取第一人臉特征W及每個(gè)第二人臉特征。
[0067] 其中，該深度網(wǎng)絡(luò)具體可W包括但不限于深度卷積網(wǎng)絡(luò)，且該深度卷積網(wǎng)絡(luò)具體 可W為CNN(Convolutional 化ural Networks,卷積神經(jīng)網(wǎng)絡(luò)）。
[0068] 其中，在采用子空間法提取人臉特征時(shí)，可W針對(duì)待檢測(cè)圖像或者人臉圖像進(jìn)行 人臉特征的提取，并對(duì)當(dāng)前提取的人臉特征進(jìn)行子空間映射，得到待檢測(cè)圖像對(duì)應(yīng)的第一 人臉特征，或者人臉圖像對(duì)應(yīng)的第二人臉特征。
[0069] 其中，在采用深度網(wǎng)絡(luò)提取人臉特征時(shí)，可W使用深度網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)到待檢測(cè)圖 像對(duì)應(yīng)的第一人臉特征，或者人臉圖像對(duì)應(yīng)的第二人臉特征。
[0070] 其中，在采用子空間法提取人臉特征時(shí)，得到的人臉特征是特征向量。在采用深度 網(wǎng)絡(luò)提取人臉特征時(shí)，得到的人臉特征是訓(xùn)練到的網(wǎng)絡(luò)結(jié)構(gòu)。
[0071] 本發(fā)明實(shí)施例中，從動(dòng)態(tài)人臉對(duì)比庫(kù)中的每個(gè)人臉圖像(可W是動(dòng)態(tài)人臉對(duì)比庫(kù) 中的所有人臉圖像，或者，與第二時(shí)間信息和第二位置信息對(duì)應(yīng)的所有人臉圖像)對(duì)應(yīng)的第 二人臉特征中，確定出與第一人臉特征匹配的第二人臉特征的過程，具體可W包括但不限 于如下方式：當(dāng)采用子空間法提取第一人臉特征W及第二人臉特征時(shí)，則可W使用相似度 函數(shù)計(jì)算第一人臉特征與每個(gè)人臉圖像對(duì)