本申請涉及身份識別領(lǐng)域,且更具體地涉及一種對象身份管理方法、裝置、電子設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì)。
背景技術(shù):
近年來,由于計算機(jī)、互聯(lián)網(wǎng)、人工智能等技術(shù)的迅猛發(fā)展,具有人機(jī)交互功能的電子設(shè)備已經(jīng)越發(fā)普及。如何能夠快速、正確識別用戶的身份,從而實現(xiàn)區(qū)分對待,是電子設(shè)備與人進(jìn)行交互的前提和基礎(chǔ)。
傳統(tǒng)上,用戶身份的識別可以通過多種技術(shù)實現(xiàn),如輸入登錄密碼、刷權(quán)限卡等。這些技術(shù)雖然應(yīng)用廣泛,而且唯一性、保密性較好,但是對于服務(wù)于人的服務(wù)型電子設(shè)備而言,其并不是很好的解決方案。這是因為人們更希望這些電子設(shè)備能夠像人一樣進(jìn)行自然交流,而不是以通過輸入密碼、刷卡等繁瑣的方式獲取操控權(quán)。
為此,在人機(jī)交互領(lǐng)域中提出了基于特征識別的身份認(rèn)證手段,例如人臉識別、指紋認(rèn)證、虹膜比對等,其具備簡單、自然、無需特別攜帶或記憶的優(yōu)點。
技術(shù)實現(xiàn)要素:
然而,通過分析發(fā)現(xiàn),現(xiàn)有的特征識別技術(shù)仍存在著固有缺陷,即識別需要以顯式的注冊過程為前提。以基于圖像采集的人臉識別技術(shù)為例,在實現(xiàn)用戶識別之前,其需要用戶預(yù)先執(zhí)行注冊過程,其中需要被識別人多次提供正臉、側(cè)臉等進(jìn)行配合,完成特征采集以供后續(xù)識別使用。因此,傳統(tǒng)的特征識別技術(shù)使用起來非常不方便,靈活性較差,用戶體驗舒適度較低。
為了解決上述技術(shù)問題,提出了本申請。本申請的實施例提供了一種對象身份管理方法、裝置、電子設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì),其避免了傳統(tǒng)特征識別技術(shù)中的顯式注冊過程,而是采用模擬人類的認(rèn)知過程,無需用戶執(zhí)行繁瑣的配合操作,即可自動完成注冊。
根據(jù)本申請的一個方面,提供了一種對象身份管理方法,包括:接收采集器件所采集的樣本數(shù)據(jù)序列;從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取對象的身份特征;根據(jù)所述對象的身份特征來判斷在身份數(shù)據(jù)庫中是否存在所述對象的身份信息;以及響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息。
在本申請的一個實施例中,從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取對象的身份特征包括:在每一幀樣本數(shù)據(jù)中檢測身份特征區(qū)域;以及從所述身份特征區(qū)域中提取所述對象的身份特征。
在本申請的一個實施例中,根據(jù)所述對象的身份特征來判斷在身份數(shù)據(jù)庫中是否存在所述對象的身份信息包括:判斷在所述身份數(shù)據(jù)庫中是否存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征;以及響應(yīng)于在所述身份數(shù)據(jù)庫中存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征,確定在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,否則,確定在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息。
在本申請的一個實施例中,判斷在所述身份數(shù)據(jù)庫中是否存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征包括:將所述身份數(shù)據(jù)庫中的每一個基準(zhǔn)身份特征與所述對象的身份特征進(jìn)行比較,以確定與所述對象的身份特征具有最大相似性的基準(zhǔn)身份特征;判斷所述最大相似性是否大于或等于第一閾值;以及響應(yīng)于所述最大相似性大于或等于所述第一閾值,確定在所述身份數(shù)據(jù)庫中存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征,否則,確定在所述身份數(shù)據(jù)庫中不存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征。
在本申請的一個實施例中,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息包括:只要在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,就根據(jù)所述對象的身份特征來生成所述對象的基準(zhǔn)身份特征,向所述對象分配身份標(biāo)識符,并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
在本申請的一個實施例中,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息包括:在所述樣本數(shù)據(jù)序列中對所述對象進(jìn)行跟蹤;在跟蹤到所述對象的每一幀樣本數(shù)據(jù)中提取所述對象的身份特征;通過對所述對象的身份特征進(jìn)行聚類來生成所述對象的身份特征類;以及根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
在本申請的一個實施例中,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征包括:確定所述對象的身份特征類之中身份特征的個數(shù)和每一個身份特征與所述身份特征類的類中心之間的偏差程度;判斷所述樣本數(shù)據(jù)的個數(shù)是否大于或等于第二閾值并且所述偏差程度是否小于或等于第三閾值;以及響應(yīng)于所述樣本數(shù)據(jù)的個數(shù)大于或等于所述第二閾值并且所述偏差程度小于或等于所述第三閾值,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征。
在本申請的一個實施例中,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征包括:將所述類中心所表示的身份特征確定為所述對象的基準(zhǔn)身份特征。
在本申請的一個實施例中,所述對象身份管理方法還包括:響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,記錄與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息。
在本申請的一個實施例中,所述對象身份管理方法還包括:響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,根據(jù)所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的身份信息。
在本申請的一個實施例中,根據(jù)所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的身份信息包括:向所述對象的身份特征分配一權(quán)重;以及使用所述權(quán)重和所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的基準(zhǔn)身份特征。
在本申請的一個實施例中,所述對象身份管理方法還包括:響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,讀取與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息,使得所述電子設(shè)備根據(jù)所述操作設(shè)置信息來進(jìn)行操作。
根據(jù)本申請的另一方面,提供了一種對象身份管理裝置,包括:接收單元,用于接收采集器件所采集的樣本數(shù)據(jù)序列;提取單元,用于從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取對象的身份特征;判斷單元,用于根據(jù)所述對象的身份特征來判斷在身份數(shù)據(jù)庫中是否存在所述對象的身份信息;以及創(chuàng)建單元,用于響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息。
根據(jù)本申請的另一方面,提供了一種電子設(shè)備,包括:處理器;存儲器;以及存儲在所述存儲器中的計算機(jī)程序指令,所述計算機(jī)程序指令在被所述處理器運(yùn)行時執(zhí)行上述的對象身份管理方法。
在本申請的一個實施例中,所述電子設(shè)備還包括:采集器件,被配置為采集所述樣本數(shù)據(jù)序列。
根據(jù)本申請的另一方面,提供了一種計算機(jī)程序產(chǎn)品,包括計算機(jī)程序指令,所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行上述的對象身份管理方法。
根據(jù)本申請的另一方面,提供了一種計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序指令,所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行上述的對象身份管理方法。
與現(xiàn)有技術(shù)相比,采用根據(jù)本申請實施例的對象身份管理方法、裝置、電子設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì),無需對象經(jīng)歷顯式的注冊過程,通過采集對象的身份特征,自動地將同一個對象的身份特征記錄下來,根據(jù)一預(yù)定策略將此對象的身份特征注冊到身份數(shù)據(jù)庫中,同時分配一個對象ID,從而充分提升了身份管理過程中的工作效率。
附圖說明
通過結(jié)合附圖對本申請實施例進(jìn)行更詳細(xì)的描述,本申請的上述以及其他目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本申請實施例的進(jìn)一步理解,并且構(gòu)成說明書的一部分,與本申請實施例一起用于解釋本申請,并不構(gòu)成對本申請的限制。在附圖中,相同的參考標(biāo)號通常代表相同部件或步驟。
圖1圖示了根據(jù)本申請實施例的對象身份管理的應(yīng)用場景的示意圖。
圖2圖示了根據(jù)本申請第一實施例的對象身份管理方法的流程圖。
圖3圖示了根據(jù)本申請實施例的提取對象的身份特征步驟的流程圖。
圖4圖示了根據(jù)本申請實施例的創(chuàng)建對象身份信息步驟的流程圖。
圖5圖示了根據(jù)本申請另一實施例的創(chuàng)建對象身份信息步驟的流程圖。
圖6圖示了根據(jù)本申請第二實施例的對象身份管理方法的流程圖。
圖7圖示了根據(jù)本申請實施例的身份信息更新步驟的流程圖。
圖8圖示了根據(jù)本申請第三實施例的對象身份管理方法的流程圖。
圖9圖示了根據(jù)本申請實施例的對象身份管理裝置的框圖。
圖10圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。
具體實施方式
下面,將參考附圖詳細(xì)地描述根據(jù)本申請的示例實施例。顯然,所描述的實施例僅僅是本申請的一部分實施例,而不是本申請的全部實施例,應(yīng)理解,本申請不受這里描述的示例實施例的限制。
申請概述
如上所述,現(xiàn)有的特征識別技術(shù)都包括兩個過程,即注冊過程和識別過程。仍然以基于圖像采集的人臉識別技術(shù)為例,在注冊過程中,其需要用戶配合采集多張人臉圖像,從中提取人臉特征,并將此用戶的身份標(biāo)識符(ID)和人臉特征存儲在數(shù)據(jù)庫中。在接下來的識別過程中,其采集待識別用戶的圖像并提取人臉特征,與數(shù)據(jù)庫中預(yù)先存儲的人臉特征進(jìn)行匹配,如果匹配成功,則將與該匹配結(jié)果對應(yīng)的用戶ID作為識別結(jié)果返回,以便為用戶完成后續(xù)操作。
通過分析可以看出,現(xiàn)有的特征識別技術(shù)存在以下缺點:用戶必須執(zhí)行顯式的注冊過程,即用戶必須經(jīng)歷特征采集與用戶ID輸入的過程,在此期間往往需要用戶進(jìn)行多次配合,注冊流程復(fù)雜,交互體驗差。
針對該技術(shù)問題,本申請的基本構(gòu)思是提出一種新的對象身份管理方法、裝置、電子設(shè)備、計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì),其采集對象的身份特征,根據(jù)采集到的對象的身份特征在數(shù)據(jù)庫中查詢該對象是否已注冊,如果其并未注冊,則根據(jù)一預(yù)定策略自動地將對象的身份特征記錄下來并將該對象注冊到數(shù)據(jù)庫中。顯然,根據(jù)該基本構(gòu)思的對象身份管理方法無需進(jìn)行顯式的注冊過程即可完成對于對象身份的管理,大大簡化了管理對象身份的流程。
在介紹了本申請的基本原理之后,下面將參考附圖來具體介紹本申請的各種非限制性實施例。
應(yīng)用場景總覽
圖1圖示了根據(jù)本申請實施例的對象身份管理的應(yīng)用場景的示意圖。
如圖1所示,用于管理對象身份的應(yīng)用場景包括對象和身份管理裝置。
該對象可以是任何類型的對象,包括有生命的物體和無生命的物體。例如,有生命的物體可以包括人、動物和植物等;而無生命的物體可以包括機(jī)器人、汽車、水瓶等。
該身份管理裝置用于管理對象的身份。例如,該身份管理裝置可以用于接收采集器件所采集的樣本數(shù)據(jù)序列;從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取對象的身份特征;根據(jù)所述對象的身份特征來判斷在身份數(shù)據(jù)庫中是否存在所述對象的身份信息;并且響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息。
此外,該身份管理裝置還可以進(jìn)一步響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,執(zhí)行一個或多個功能。替換地,該身份管理裝置本身也可以不執(zhí)行任何功能,而是與一個或多個電子設(shè)備進(jìn)行通信,并且響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,向所述電子設(shè)備發(fā)送觸發(fā)信號,以觸發(fā)所述電子設(shè)備執(zhí)行一個或多個功能。
例如,該身份管理裝置可以應(yīng)用于門禁系統(tǒng),用于驗證人或動物的身份來開啟大門;或者應(yīng)用于灌溉系統(tǒng),用于驗證植物的品種來執(zhí)行澆水操作;或者應(yīng)用于維修系統(tǒng),用于驗證機(jī)器人的身份和汽車的型號來進(jìn)行維修;或者應(yīng)用于飲料分配系統(tǒng),用于驗證水瓶的容量和形狀來注入飲料等等。
需要注意的是,上述應(yīng)用場景僅是為了便于理解本申請的精神和原理而示出,本申請的實施例不限于此。相反,本申請的實施例可以應(yīng)用于可能適用的任何場景。例如,該對象可以是一個或多個,類似地,該身份管理裝置也可以為一個或多個。
示例性方法
下面結(jié)合圖1的應(yīng)用場景,參考圖2來描述根據(jù)本申請第一實施例的對象身份管理方法。
圖2圖示了根據(jù)本申請第一實施例的對象身份管理方法的流程圖。
如圖2所示,根據(jù)本申請第一實施例的對象身份管理方法可以包括:
在步驟S110中,接收采集器件所采集的樣本數(shù)據(jù)序列。
為了使得身份管理裝置能夠?qū)ο筮M(jìn)行身份管理,可以通過采集器件來采集樣本數(shù)據(jù)序列,以便從中提取對象的身份特征。
例如,該采集器件可以是用于捕捉圖像數(shù)據(jù)序列的圖像傳感器,其可以是攝像頭或攝像頭陣列。例如,圖像傳感器所采集到的圖像數(shù)據(jù)序列可以是連續(xù)圖像數(shù)據(jù)序列(即,視頻流)或離散圖像數(shù)據(jù)序列(即,在預(yù)定采樣時間點采樣到的圖像數(shù)據(jù)組)等。
又如,該采集器件也可以是用于捕捉音頻數(shù)據(jù)序列的音頻傳感器,其可以是麥克風(fēng)或麥克風(fēng)陣列。例如,音頻傳感器所采集到的音頻數(shù)據(jù)序列可以是連續(xù)音頻數(shù)據(jù)序列(即,音頻流)或離散音頻數(shù)據(jù)序列(即,在預(yù)定采樣時間段采樣到的音頻數(shù)據(jù)組)等。
需要說明的是,該采集器件不限于圖像傳感器和音頻傳感器,取決于不同的應(yīng)用場景,其可以是適于采集任何類型的樣本數(shù)據(jù)序列的任何傳感器。例如,在諸如醫(yī)療或體檢機(jī)構(gòu)的應(yīng)用場景下,該采集器件還可以是生物傳感器,例如,其可以是以下各項中的至少一個:用于檢測心率數(shù)據(jù)序列的心率傳感器、用于檢測脈搏數(shù)據(jù)序列的脈搏傳感器、用于檢測體溫數(shù)據(jù)序列的體溫傳感器、和用于檢測血壓數(shù)據(jù)序列的血壓傳感器等。
該采集器件可以直接集成在該身份管理裝置上;也可以與該身份管理裝置分立地、但能夠與之進(jìn)行通信地設(shè)置,以便向其發(fā)送所采集的樣本數(shù)據(jù)序列。
在步驟S120中,從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取對象的身份特征。
在從采集器件接收到所采集的樣本數(shù)據(jù)序列中的每一幀樣本數(shù)據(jù)之后,可以從所述每一幀樣本數(shù)據(jù)中提取對象的身份特征。例如,該對象的身份特征取決于不同的對象,可以包括不同的類型。例如,一般地,身份特征可以包括可視特征、可聽特征和可測量特征等。
人的可視特征例如包括臉部特征(例如,眉目鼻口等的位置)、指紋和/或掌紋特征(紋線的起點、終點、結(jié)合點和分叉點等的位置)、虹膜特征(像冠、水晶體、細(xì)絲、斑點、凹點、凸點、射線、皺紋和條紋等的位置)、體形特征(肢體和軀干的形狀)、骨骼特征(骨架關(guān)節(jié)點的位置)、動作姿態(tài)特征(站立、行走、下蹲、跳躍等動作的姿態(tài)),可聽特征例如包括聲紋特征(音高、音強(qiáng)、音長、音色等)、語言特征(口頭語),可測量特征例如包括生物特征(心率、脈搏、體溫、血壓等)。動物的身份特征基本上與人相似。植物的可視特征例如包括植物整體和/或局部的外形特征等,可測量特征例如包括植物的組織液特征等。無生命物體的可視特征例如包括物體整體和/或局部的外形特征等,可聽特征例如包括物體發(fā)出聲音的特征(例如,機(jī)器人的聲波特征)等,可測量特征例如包括因特網(wǎng)協(xié)議(IP)地址、設(shè)備標(biāo)識符等。
取決于身份識別的準(zhǔn)確度要求和身份特征本身用于識別對象身份能力的強(qiáng)弱程度等因素,在本方法中可以從每一幀樣本數(shù)據(jù)中提取對象的一種或多種身份特征來對對象的身份進(jìn)行識別和管理。
圖3圖示了根據(jù)本申請實施例的提取對象的身份特征步驟的流程圖。
如圖3所示,步驟S120可以包括:
在子步驟S121中,在每一幀樣本數(shù)據(jù)中檢測身份特征區(qū)域。
由于大部分的身份特征(例如,臉部特征、指紋特征、掌紋特征、虹膜特征等)往往僅僅存在于對象的某一部分區(qū)域中,而與其他區(qū)域無關(guān),所以為了減小后續(xù)操作的計算量、防止引入不必要的噪聲,可以在提取對象的身份特征之前,首先在每一幀樣本數(shù)據(jù)中確定僅僅包含該身份特征的身份特征區(qū)域。
這里,以人作為對象來舉例說明。例如,臉部特征僅僅關(guān)注人的臉部區(qū)域的特征,而圖像傳感器采集到的往往是一個固定成像范圍內(nèi)的全部圖像,其中可能包括人的全部或部分身體區(qū)域以及其他背景區(qū)域。這時,可以先從整幅圖像中檢測人的臉部區(qū)域,以便隨后從中提取其臉部特征。又如,聲紋特征僅僅關(guān)注人的聲音分量的特征,而音頻傳感器采集到的往往是一個場景內(nèi)的全部聲音,其中可能包括人的聲音分量和其他背景聲音。這時,可以先從整個音頻中檢測人的聲音分量,以便隨后從中提取其聲紋特征。
下面,為了便于描述,將以人作為對象、以臉部關(guān)鍵點作為身份特征為例進(jìn)行說明,但是,顯然本申請不限于此,對象可以是其他任何有生命或無生命物體,且身份特征可以是上面提及的或本領(lǐng)域目前或?qū)砉囊环N或多種其他特征來實現(xiàn)。
例如,可以通過任何的人臉檢測算法來確定在圖像傳感器所采集的圖像中是否包含人臉,并且在包含人臉的情況下,在圖像傳感器所采集的圖像中定位出人臉區(qū)域。例如,可以利用預(yù)先訓(xùn)練好的人臉檢測器來在圖像傳感器所采集的圖像中定位人臉區(qū)域。具體地,可以預(yù)先利用哈爾(Haar)算法、自適應(yīng)增強(qiáng)(AdaBoost)算法、卷積神經(jīng)網(wǎng)絡(luò)(CNN)、支持向量機(jī)(SVM)等人臉檢測算法在大量圖片的基礎(chǔ)上訓(xùn)練出人臉檢測器,對于輸入的單幀圖像,該預(yù)先訓(xùn)練好的人臉檢測器能夠快速地定位出人臉區(qū)域。此外,對于圖像傳感器連續(xù)采集的多幀圖像,在首幀圖像中定位出人臉區(qū)域之后,還可以基于當(dāng)前幀圖像的前一幀圖像中人臉區(qū)域的位置來實時地跟蹤在當(dāng)前幀圖像中人臉區(qū)域的位置。例如,人臉跟蹤可以基于先前幀的人臉移動的速度、方向以及人臉的模式,對當(dāng)前幀的局部范圍內(nèi)進(jìn)行人臉?biāo)阉?,以確定在先前幀中檢查到的人臉在當(dāng)前幀的位置。
在子步驟S122中,從所述身份特征區(qū)域中提取所述對象的身份特征。
在檢測到例如臉部區(qū)域的身份特征區(qū)域之后,可以通過分析每一幀的臉部圖像來獲得人臉的關(guān)鍵點位置作為臉部特征。如上所述,人臉關(guān)鍵點可以是臉部一些表征能力強(qiáng)的關(guān)鍵點,例如眼睛、眼角、眼睛中心、眉毛、鼻子、鼻尖、嘴巴、嘴角和臉部輪廓等。可以利用預(yù)先訓(xùn)練好的關(guān)鍵點定位器來在人臉區(qū)域中定位人臉關(guān)鍵點,確定關(guān)鍵點的位置和尺寸。例如,可以預(yù)先利用級聯(lián)回歸方法在大量人工標(biāo)注的人臉圖片的基礎(chǔ)上訓(xùn)練出關(guān)鍵點定位器。替換地,也可以采用傳統(tǒng)的人臉關(guān)鍵點定位方法,其基于參數(shù)形狀模型,根據(jù)關(guān)鍵點附近的表觀特征,學(xué)習(xí)出一個參數(shù)模型,在使用時迭代地優(yōu)化關(guān)鍵點的位置,最后得到關(guān)鍵點坐標(biāo)。此外,也可以采用主成分分析算法(PCA)、線性判別分析(LDA)、度量學(xué)習(xí)(metric learning)等算法,基于度量損失函數(shù)來提取臉部特征。
接下來,可以生成用于描述所述對象的每一個身份特征的描述子。所述描述子與所述身份特征為一一對應(yīng)的關(guān)系,每一個描述子用于描述每一個身份特征所包含的特征信息,即,局部特征信息。可以通過多種方式來生成身份特征的描述子。
在第一示例中,可以采用基于學(xué)習(xí)的方式,通過使用離線訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)來生成所述描述子。
具體地,可以對于每個身份特征,以所述身份特征為諸如中心的預(yù)定參考點而歸一化尺寸,從而得到特征區(qū)域圖像。然后,對離線訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)輸入所述特征區(qū)域圖像,以獲得所述描述子。所述離線訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)包括輸入層、卷積層(conv)、子采樣層(pooling)、全連接層、輸出層(分類器)。卷積層和子采樣層可以分別有若干個。全連接層相當(dāng)于多層感知機(jī)中的隱含層。并且,所述輸出層(或描述子生成器)可以采用多分類的邏輯斯特回歸(softmax)來表示。
在第二示例中,可以基于人臉區(qū)域圖像的梯度,根據(jù)所述身份特征直接生成人臉區(qū)域圖像的梯度作為描述子。
具體地,首先,可以對于每個身份特征,以所述身份特征為預(yù)定參考點而確定身份特征區(qū)域。例如,可以在每個身份特征附近,以所述身份特征為中心確定一預(yù)定形狀(例如,正方形)的身份特征區(qū)域。接下來,將所述身份特征區(qū)域劃分為多個(例如,4x4個)子區(qū)域,并計算每個子區(qū)域的梯度信息。然后,基于所述梯度信息,計算每個子區(qū)域的多維(例如,128維)梯度直方圖,并將落入所述多維梯度直方圖的每一維的點數(shù)連接成身份特征向量以得到所述身份特征的描述子。當(dāng)然,所連接的身份特征向量可進(jìn)一步經(jīng)過諸如歸一化的處理等而得到所述描述子。
應(yīng)了解本申請不受具體采用的人臉檢測方法、人臉關(guān)鍵點定位方法和描述子生成方法的限制,無論是現(xiàn)有的、還是將來開發(fā)的人臉檢測方法、人臉關(guān)鍵點定位方法和描述子生成方法,都可以應(yīng)用于根據(jù)本申請實施例的對象身份管理方法中,并且也應(yīng)包括在本申請的保護(hù)范圍內(nèi)。
下面,返回參考圖2來繼續(xù)描述根據(jù)本申請實施例的對象身份管理方法。
在步驟S130中,根據(jù)所述對象的身份特征來判斷在身份數(shù)據(jù)庫中是否存在所述對象的身份信息。
在提取到對象的身份特征之后,可以根據(jù)所述對象的身份特征來判斷所述對象是否為已注冊對象,在身份數(shù)據(jù)庫中保存有所述已注冊對象的身份信息,例如,身份信息可以包括身份標(biāo)識符及其基準(zhǔn)身份特征等。該身份數(shù)據(jù)庫可以存儲在身份管理裝置本地,也可以存儲于與身份管理裝置分立的且可以與身份管理裝置進(jìn)行通信的其他電子設(shè)備中。
例如,可以首先判斷在所述身份數(shù)據(jù)庫中是否存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征。然后,響應(yīng)于在所述身份數(shù)據(jù)庫中存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征,確定在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,否則,確定在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息。
關(guān)于身份特征是否匹配的判斷可以等價于身份特征之間相似性的判斷。例如,可以將所述身份數(shù)據(jù)庫中的每一個基準(zhǔn)身份特征與所述對象的身份特征進(jìn)行比較,以確定與所述對象的身份特征具有最大相似性的基準(zhǔn)身份特征。然后,可以判斷所述最大相似性是否大于或等于第一閾值。最后,響應(yīng)于所述最大相似性大于或等于所述第一閾值,確定在所述身份數(shù)據(jù)庫中存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征,否則,確定在所述身份數(shù)據(jù)庫中不存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征。
當(dāng)采用描述子來描述所述對象的每一個身份特征時,身份特征之間的相似性又可以采用描述子之間的距離來衡量。在此情況下,首先,計算待識別用戶的所有臉部特征點的描述子與在身份數(shù)據(jù)庫中存儲的每一個已注冊用戶的所有臉部特征點的描述子之間的歐式距離。然后,對計算所得到的各個歐氏距離進(jìn)行排序,取其中最小的歐式距離,并且判斷該最小的歐式距離是否小于或等于某個閾值thresh_distance。如果是,則可以確定所述待識別用戶的身份,例如,這時可以返回在身份數(shù)據(jù)庫中存儲的、其特征描述子與待識別用戶的特征描述子具有最小歐式距離的該已注冊用戶的身份信息。否則,則判斷出所述待識別的用戶為未注冊用戶。
需要說明的是,本申請不限于此。例如,除了采用歐式距離之外,還可以使用加權(quán)歐式距離、最大似然比等其他度量來判斷兩個身份特征之間的相似性。
響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,也就是說,一旦判斷出待識別用戶是存在于身份數(shù)據(jù)庫中的已注冊用戶,則本方法結(jié)束。
在步驟S140中,響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息。
一旦判斷出待識別用戶不是存在于身份數(shù)據(jù)庫中的已注冊用戶,可以根據(jù)一預(yù)定策略和所述對象的身份特征來對其進(jìn)行注冊。
在第一示例中,該預(yù)定策略可以是無條件地觸發(fā)注冊。例如,只要在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,就根據(jù)所述對象的身份特征來生成所述對象的基準(zhǔn)身份特征,向所述對象分配身份標(biāo)識符,并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
也就是說,一旦通過特征匹配發(fā)現(xiàn)待識別用戶是未注冊用戶,可以直接將在步驟120中提取到的所述用戶的臉部特征作為所述用戶的基準(zhǔn)身份特征。然后,可以為所述用戶分配一個在身份數(shù)據(jù)庫中未使用的身份標(biāo)識符(ID)。例如,該身份標(biāo)識符可以簡單地是一個數(shù)字,其代表用戶在身份數(shù)據(jù)庫中的順序碼,或者該身份標(biāo)識符也可以是一串字符(數(shù)字、字母等的組合),其可以表明用戶被注冊的時間、地點、以及是哪一個電子設(shè)備完成注冊過程等信息,以便在后續(xù)向該用戶提供更準(zhǔn)確的服務(wù)時使用。最后,可以在身份數(shù)據(jù)庫中為用戶分配一個存儲空間,以用于存儲該用戶的ID及其基準(zhǔn)身份特征并且建立兩者之間的關(guān)聯(lián)關(guān)系。
這種無條件觸發(fā)注冊的方式將只要出現(xiàn)在攝像頭成像范圍內(nèi)的用戶都注冊成為已注冊用戶,這可能會使得數(shù)據(jù)庫中存在許多無意義的數(shù)據(jù),例如,偶然經(jīng)過成像區(qū)域的路人也會被注冊成為已注冊用戶。而且,該方式還可能會導(dǎo)致出現(xiàn)以下情況,即當(dāng)用戶以不同姿態(tài)出現(xiàn)在攝像頭前時由于其當(dāng)前被捕捉到的臉部區(qū)域可能與先前被捕捉的臉部區(qū)域不同,所以同一個用戶可能會被識別為兩個不同的用戶,這顯然與實際情況不符。
為了解決上述問題,在第二示例中,該預(yù)定策略可以是有條件地觸發(fā)注冊。觸發(fā)注冊的條件可以與采集到樣本的個數(shù)、時間、頻率、地點、采集到的樣本數(shù)據(jù)的準(zhǔn)確度、是否收到注冊觸發(fā)信號等中的一個或多個相關(guān)。例如,該預(yù)定策略可以簡單地是只有在捕捉到用戶的足夠多的臉部圖像時才對該用戶進(jìn)行注冊?;蛘?,該預(yù)定策略也可以是只有在連續(xù)地捕捉到用戶足夠多的臉部圖像時才對該用戶進(jìn)行注冊?;蛘撸擃A(yù)定策略也可以是其他情況,例如只有在連續(xù)三天中的每天上午9點到10點分別捕捉到100張用戶的臉部圖像時才對該用戶進(jìn)行注冊?;蛘?,該預(yù)定策略也可以基于對象身份管理裝置從某個其他電子設(shè)備接收到注冊觸發(fā)信號(例如,該觸發(fā)信號例如可以在用戶使用該其他電子設(shè)備時發(fā)出)、且捕捉到同一個用戶足夠多的臉部圖像時才對該用戶進(jìn)行注冊。
下面,將在一個例子中對有條件觸發(fā)注冊的方式進(jìn)行具體描述。
圖4圖示了根據(jù)本申請實施例的創(chuàng)建對象身份信息步驟的流程圖。
如圖4所示,步驟S140可以包括:
在子步驟S141中,響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,在所述樣本數(shù)據(jù)序列中對所述對象進(jìn)行跟蹤。
例如,一旦在當(dāng)前幀中判斷出待識別用戶不是已注冊用戶,可以在隨后幀中使用跟蹤算法來跟蹤所述待識別用戶的臉部。如上所述,人臉跟蹤可以基于先前幀的人臉移動的速度、方向以及人臉的模式,對當(dāng)前幀的局部范圍內(nèi)進(jìn)行人臉?biāo)阉?,以確定在先前幀中檢查到的人臉在當(dāng)前幀的位置。
在子步驟S142中,在跟蹤到所述對象的每一幀樣本數(shù)據(jù)中提取所述對象的身份特征。
接下來,可以通過分析每一幀的臉部圖像來獲得人臉的關(guān)鍵點位置作為臉部特征,并且可以生成用于描述所述對象的每一個臉部特征的描述子。
在子步驟S143中,通過對所述對象的身份特征進(jìn)行聚類來生成所述對象的身份特征類。
將不同的人臉對應(yīng)到特定用戶ID上采用的是人臉跟蹤和特征聚類技術(shù),可以認(rèn)為在一個跟蹤序列中的人臉特征屬于同一個人,不同跟蹤序列中的人臉特征通過在線學(xué)習(xí)(Online Learning)的聚類技術(shù)將其聚合在一起。具體地,在跟蹤到該用戶的臉部區(qū)域的身份特征區(qū)域之后,通過分析每幀臉部圖像來獲得人臉的關(guān)鍵點位置作為人臉特征并對其進(jìn)行描述子表示。可以將針對該用戶所提取到的身份特征劃分為N(N為自然數(shù))類,用于分別表示不同姿態(tài)和光照下的人臉特征狀態(tài)。然后,可以將跟蹤到的圖像序列的前N個身份特征填入這N類中,并且將同一個人的后續(xù)跟蹤序列身份特征按最近距離(例如,描述子之間的歐式距離最小)原則加權(quán)聚類到N類中最近的一個類中。
在子步驟S144中,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
具體地,本子步驟S144可以包括:確定所述對象的身份特征類之中身份特征的個數(shù)和每一個身份特征與所述身份特征類的類中心之間的偏差程度;判斷所述樣本數(shù)據(jù)的個數(shù)是否大于或等于第二閾值并且所述偏差程度是否小于或等于第三閾值;以及響應(yīng)于所述樣本數(shù)據(jù)的個數(shù)大于或等于所述第二閾值并且所述偏差程度小于或等于所述第三閾值,生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征。其中,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征可以包括:將所述類中心所表示的身份特征確定為所述對象的基準(zhǔn)身份特征。
例如,根據(jù)聚類的結(jié)果,當(dāng)發(fā)現(xiàn)聚類的樣本個數(shù)超過閾值thresh_num并且類內(nèi)方差小于閾值thresh_var時,便啟動將該類中心所表示的人臉特征注冊到人臉數(shù)據(jù)庫中。
可以看出,無論是無條件觸發(fā)注冊的方式、還是上述的有條件觸發(fā)注冊的方式,它們都沒有關(guān)注該新注冊用戶是否有權(quán)限獲得注冊,這可能導(dǎo)致無關(guān)的或者有惡意的用戶在得到注冊之后獲得對于特定設(shè)備、特定功能的使用權(quán)限,這顯然是不希望的。
為了解決上述問題,該預(yù)定策略也可以是基于鑒權(quán)結(jié)果觸發(fā)注冊。觸發(fā)注冊的條件可以與預(yù)設(shè)的白名單或黑名單、所提取的輔助特征等中的一個或多個相關(guān)。例如,該預(yù)定策略可以簡單地是預(yù)先設(shè)置的一個白名單,其中存儲有希望被注冊成為已注冊用戶的圖像,只有在捕捉到的用戶圖像與該白名單中的至少一幅圖像在身份特征上匹配時,才對該用戶進(jìn)行注冊?;蛘?,該預(yù)定策略可以簡單地是預(yù)先設(shè)置的一個黑名單,其中存儲有不希望被注冊成為已注冊用戶的圖像,只有在捕捉到的用戶圖像與該黑名單中的所有圖像在身份特征上都不匹配時,才對該用戶進(jìn)行注冊?;蛘撸擃A(yù)定策略也可以是除了采集用戶的身份特征,還可以進(jìn)一步采集用戶的輔助特征,利用輔助特征來對用戶進(jìn)行鑒權(quán),只有在鑒權(quán)通過時,才對該用戶進(jìn)行注冊。
下面,將在另一例子中對基于鑒權(quán)的有條件觸發(fā)注冊的方式進(jìn)行具體描述。
圖5圖示了根據(jù)本申請另一實施例的創(chuàng)建對象身份信息步驟的流程圖。
如圖5所示,步驟S140可以包括:
在子步驟S145中,從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取所述對象的輔助特征。
該對象的輔助特征取決于不同的對象,也可以包括不同的類型。下面,以輔助特征是可視特征為例進(jìn)行說明。在對象是人的情況下,例如,可視的輔助特征可以是其所穿著的校服或員工服上的徽標(biāo)(logo)、其所佩戴的工牌的樣式、其手持的門票上的圖案等任何具有一定識別作用的物體??梢约俣ㄖ挥袔в羞@種輔助特征的人才是有注冊權(quán)限的人。當(dāng)然,本申請不限于此。該輔助特征也可以是可聽特征和可測量特征等中的一種或多種。
例如,本子步驟可以采用與步驟S120中相同的方式,與步驟S120同時地、響應(yīng)于在步驟S130中判斷出在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息、或在其他時間點執(zhí)行。
在子步驟S146中,判斷是否存在與所述對象的輔助特征相匹配的基準(zhǔn)輔助特征。
該輔助特征可以與身份特征一起存儲在身份數(shù)據(jù)庫中,也可以存儲在一個單獨的輔助數(shù)據(jù)庫中。
本子步驟S146可以采用與步驟S130中相同的方式(即,利用特征描述子之間的歐式距離),或采用其他方式執(zhí)行。
在子步驟S147中,響應(yīng)于存在與所述對象的輔助特征相匹配的基準(zhǔn)輔助特征,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
一旦判斷出所述對象的輔助特征是預(yù)設(shè)的基準(zhǔn)輔助特征,就可以根據(jù)所述對象的身份特征對該對象進(jìn)行注冊,或者也可以對該對象進(jìn)行跟蹤和特征聚類并基于跟蹤和聚類的結(jié)果來對該對象進(jìn)行注冊。
由此可見,采用根據(jù)本申請第一實施例的對象身份管理方法,無需對象經(jīng)歷顯式的注冊過程,通過采集對象的身份特征,自動地將同一個對象的身份特征記錄下來,根據(jù)一預(yù)定策略將此對象的身份特征注冊到身份數(shù)據(jù)庫中,同時分配一個對象ID,從而充分提升了身份管理過程中的工作效率。
在第一實施例中,在未識別出對象時,通過采集對象的身份特征來自動地對對象執(zhí)行注冊操作,而在已識別出對象時,不再進(jìn)行任何操作。然而,這樣做可能導(dǎo)致:受到采集次數(shù)的限制,在身份數(shù)據(jù)庫中存儲的關(guān)于該已注冊對象的身份特征可能是有限的。例如,也許在該身份數(shù)據(jù)庫中僅僅包括了用戶的左臉區(qū)域和右臉區(qū)域,而并未包括用戶處于抬頭和低頭等姿態(tài)下的臉部特征。這可能會導(dǎo)致后續(xù)無法得到正確的識別結(jié)果。也就是說,用戶一旦注冊完成,不能針對不同用戶進(jìn)行自適應(yīng)和再學(xué)習(xí),注冊信息即固定,不能自適應(yīng)地通過用戶的使用習(xí)慣來更新模型,適用的場合可能有限。
為了解決上述問題,在本申請的第二實施例中提出:可以在已識別出對象時,根據(jù)當(dāng)前提取到的身份特征對該對象進(jìn)行更新,以進(jìn)一步完善身份數(shù)據(jù)庫中的基準(zhǔn)身份特征。
下面仍然結(jié)合圖1的應(yīng)用場景,參考圖6來描述根據(jù)本申請第二實施例的對象身份管理方法。
圖6圖示了根據(jù)本申請第二實施例的對象身份管理方法的流程圖。
在圖6中,采用了相同的附圖標(biāo)記來指示與圖2相同的步驟。因此,圖6中的步驟S110-S140與圖2的步驟S110-S140相同,并可以參見上面結(jié)合圖2到圖5進(jìn)行的描述。圖6與圖2的不同之處在于增加了步驟S150。
在步驟S150中,響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,根據(jù)所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的身份信息。
一旦判斷出待識別用戶是存在于身份數(shù)據(jù)庫中的已注冊用戶,可以使用在步驟S120中提取到的對象的身份特征來對身份數(shù)據(jù)庫存儲中的該對象的基準(zhǔn)身份特征進(jìn)行更新。
該特征更新可以是替換更新,即,使用新提取到的身份特征來替換已存儲的基準(zhǔn)身份特征。然而,由于新提取到的身份特征同樣存在局限性,所以可能仍然存在一定問題?;蛘撸撎卣鞲驴梢允窃隽扛?,即,將新提取到的身份特征追加到身份數(shù)據(jù)庫中。這樣做可能會導(dǎo)致身份數(shù)據(jù)庫的存儲成本過大。替換地,可以考慮基于權(quán)重的特征更新,作為前述兩者的折衷方案。
圖7圖示了根據(jù)本申請實施例的身份信息更新步驟的流程圖。
如圖7所示,步驟S150可以包括:
在子步驟S151中,向所述對象的身份特征分配一權(quán)重。
該權(quán)重可以根據(jù)經(jīng)驗值來設(shè)置。在一個示例中,由于在數(shù)據(jù)庫中存儲的基準(zhǔn)特征往往是根據(jù)從多幀樣本數(shù)據(jù)跟蹤和聚類所得到的基準(zhǔn)身份特征,其具有更強(qiáng)的權(quán)威性,所以可以向這些已有身份特征分配一個較大值的權(quán)重,而向新識別到的身份特征分配一個較小值的權(quán)重。例如,向已有身份特征分配的權(quán)重可以是0.9,而向新識別身份特征分配的權(quán)重可以是0.1。當(dāng)然,權(quán)重的具體數(shù)字不限于此,可以根據(jù)經(jīng)驗或其他需求進(jìn)行設(shè)置。
在子步驟S152中,使用所述權(quán)重和所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的基準(zhǔn)身份特征。
例如,可以按照以下公式來執(zhí)行身份特征更新:
new_representation=alpha*old_representation+(1-alpha)*cur_representation其中,new_representation是更新后的身份特征,alpha是權(quán)重,old_representation是已有的身份特征,而cur_representation是新識別到的身份特征。
這樣,即使用戶臉部的小部分區(qū)域由于受傷或者衰老或其他原因而出現(xiàn)微小變化時,也可以使得身份數(shù)據(jù)庫能夠獲得及時更新,以保證身份識別算法的準(zhǔn)確性。
更進(jìn)一步的,為了獲得更好的更新效果,本步驟S150也可以包括:響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,在所述樣本數(shù)據(jù)序列中對所述對象進(jìn)行跟蹤;在跟蹤到所述對象的每一幀樣本數(shù)據(jù)中提取所述對象的身份特征;通過對所述對象的身份特征進(jìn)行聚類來生成所述對象的身份特征類;確定所述對象的身份特征類之中身份特征的個數(shù)和每一個身份特征與所述身份特征類的類中心之間的偏差程度;以及響應(yīng)于身份特征的個數(shù)和偏差程度滿足一定條件,使用權(quán)重和所述類中心所表示的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的基準(zhǔn)特征。由于跟蹤和聚類的步驟已經(jīng)在前一實施例中進(jìn)行描述,在此不再贅述。
由此可見,采用根據(jù)本申請第二實施例的對象身份管理方法,不但可以在對象沒有被注冊的情況下,自動將此對象的特征注冊到身份數(shù)據(jù)庫中,而且還可以在對象已經(jīng)被注冊的情況下,自動對此對象在身份數(shù)據(jù)庫中的身份特征進(jìn)行更新。
具體地,以人臉識別為例,采用根據(jù)本申請第二實施例的對象身份管理方法,避免了傳統(tǒng)人臉識別中的顯式注冊過程,而是模擬人的認(rèn)知過程,無需用戶配合,通過采集用戶在攝像頭前出現(xiàn)的人臉,自動地將同一人的人臉記錄下來,優(yōu)選地,當(dāng)系統(tǒng)判斷該人已經(jīng)足夠熟悉后,也就是采集到該人足夠多的人臉,便將此人的人臉特征注冊到人臉數(shù)據(jù)庫中,同時分配一個ID,完成注冊。此外,本申請的第二實施例還可以在人機(jī)交互過程中不斷更新人臉特征,使得識別效果隨使用時間變得越來越好。
在第二實施例中,在已識別出對象時,根據(jù)當(dāng)前提取到的身份特征來對該對象在身份數(shù)據(jù)庫中的基準(zhǔn)身份特征進(jìn)行更新。然而,在設(shè)備應(yīng)用場景,身份識別往往會與操作執(zhí)行密切關(guān)聯(lián)。第二實施例并沒有進(jìn)一步基于識別結(jié)果來觸發(fā)執(zhí)行任何應(yīng)用層面上的操作,這并沒有全面地滿足對象與機(jī)器交互(例如,人機(jī)交互)過程的整體需求。
為了解決上述問題,在本申請的第三實施例中提出:在已經(jīng)識別出對象是已注冊對象時,基于識別結(jié)果來獲取與該對象相關(guān)聯(lián)的操作設(shè)置信息,以使得所述電子設(shè)備根據(jù)所述操作設(shè)置信息來進(jìn)行操作。為了獲得該操作設(shè)置信息,在本實施例中還可以包括:在對對象執(zhí)行注冊操作時,記錄與該對象相關(guān)聯(lián)的關(guān)于一個或多個電子設(shè)備的操作設(shè)置信息。
下面仍然結(jié)合圖1的應(yīng)用場景,參考圖8來描述根據(jù)本申請第三實施例的對象身份管理方法。
圖8圖示了根據(jù)本申請第三實施例的對象身份管理方法的流程圖。
在圖8中,采用了相同的附圖標(biāo)記來指示與圖6相同的步驟。因此,圖8中的步驟S110-S140和S150與圖6的步驟S110-S150相同,并可以參見上面結(jié)合圖2到圖7進(jìn)行的描述。圖8與圖6的不同之處在于增加了步驟S145和步驟S155中的至少一個。
在步驟S145中,記錄與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息。
一旦判斷出待識別用戶不是存在于身份數(shù)據(jù)庫中的已注冊用戶,可以與新對象的身份信息注冊過程同時地或者在該身份信息注冊完之前或之后,進(jìn)一步記錄與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息。
在一個示例中,對象可以是電子設(shè)備的操作主體,相應(yīng)地,該操作設(shè)置信息可以是對象在操作電子設(shè)備時對于該電子設(shè)備的設(shè)置信息,其可以反映出對象對于電子設(shè)備的特定操作習(xí)慣。例如,在對象是用戶、電子設(shè)備是音響的情況下,該設(shè)置信息可以是用戶在音響上設(shè)置的該用戶喜歡的播放列表、音量大小、播放方式(單曲循環(huán)、連續(xù)播放、隨機(jī)播放等)、渲染音效等。
在另一示例中,對象也可以不是電子設(shè)備的操作主體,而是在電子設(shè)備進(jìn)行操作時出現(xiàn)在該電子設(shè)備附近的物體,相應(yīng)地,該操作設(shè)置信息可以是對象出現(xiàn)在電子設(shè)備附近時該電子設(shè)備被操作的設(shè)置信息,其可以反映出對象對于電子設(shè)備操作狀態(tài)的特定需求。例如,在對象是動物、電子設(shè)備是空調(diào)的情況下,該設(shè)置信息可以是由其他人(例如,飼養(yǎng)員)或物體(例如,智能溫控器)對空調(diào)設(shè)置的適于該動物生活的室內(nèi)溫度、濕度、噪聲等級等。
例如,該操作設(shè)置信息可以直接記錄在身份數(shù)據(jù)庫中,并且作為一個附加字段,與對象的身份信息(例如,身份標(biāo)識符和基準(zhǔn)身份特征)關(guān)聯(lián)地存儲在一起。替換地,該操作設(shè)置信息也可以記錄在其他數(shù)據(jù)庫中,并且通過該對象的身份標(biāo)識符進(jìn)行索引和存取。
在步驟S155中,讀取與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息,使得所述電子設(shè)備根據(jù)所述操作設(shè)置信息來進(jìn)行操作。
一旦判斷出待識別用戶是存在于身份數(shù)據(jù)庫中的已注冊用戶,可以與已注冊對象的身份信息更新過程同時地或者在該身份信息更新完之前或之后,進(jìn)一步讀取與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息。
例如,該操作設(shè)置信息可以是在步驟S145中預(yù)先生成的,或者也可以是用戶人為設(shè)置的、系統(tǒng)自動生成的、從其他設(shè)備讀取的、或通過其他方式獲得的,并且該操作設(shè)置信息還可以隨著對象身份信息的更新而不斷更新。
接下來,可以觸發(fā)該電子設(shè)備基于該操作設(shè)置信息來執(zhí)行一個或多個功能。例如,在對象身份管理裝置位于電子設(shè)備本地時,該裝置可以直接觸發(fā)電子設(shè)備進(jìn)行相關(guān)操作;而在對象身份管理裝置與電子設(shè)備是分立的時,該裝置可以首先將該操作設(shè)置信息發(fā)送給電子設(shè)備,然后觸發(fā)電子設(shè)備進(jìn)行相關(guān)操作。
例如,在對象是用戶、電子設(shè)備是音響的情況下,在識別出該用戶的身份之后,可以調(diào)取與該用戶相關(guān)聯(lián)的用于該音響的操作設(shè)置信息,并觸發(fā)音響以用戶常用的音量大小、渲染音效等來播放用戶喜歡的音頻文件。又如,在對象是動物、電子設(shè)備是空調(diào)的情況下,在識別出該動物的身份之后,可以調(diào)取與該動物相關(guān)聯(lián)的用于該空調(diào)的操作設(shè)置信息,并觸發(fā)空調(diào)向動物提供適宜其生活的溫度、濕度等,例如,為企鵝提供寒冷且潮濕的生活環(huán)境、為駱駝提供炎熱企鵝干燥的生活環(huán)境等。
需要說明的是,根據(jù)本申請各個實施例的對象身份管理方法可以應(yīng)用于身份管理裝置中,由身份管理裝置自主地執(zhí)行一個或多個功能,也可以應(yīng)用于與身份管理裝置分立的且可以與身份管理裝置進(jìn)行通信的其他電子設(shè)備中,以觸發(fā)該電子設(shè)備執(zhí)行一個或多個功能。
示例性裝置
下面,參考圖9來描述根據(jù)本申請實施例的對象身份管理裝置。
圖9圖示了根據(jù)本申請實施例的對象身份管理裝置的框圖。
如圖9所示,根據(jù)本申請實施例的對象身份管理裝置100可以包括:接收單元110,用于接收采集器件所采集的樣本數(shù)據(jù)序列;提取單元120,用于從所述樣本數(shù)據(jù)序列之中的每一幀樣本數(shù)據(jù)中提取對象的身份特征;判斷單元130,用于根據(jù)所述對象的身份特征來判斷在身份數(shù)據(jù)庫中是否存在所述對象的身份信息;以及創(chuàng)建單元140,用于響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,根據(jù)一預(yù)定策略和所述對象的身份特征來在所述身份數(shù)據(jù)庫中創(chuàng)建所述對象的身份信息。
在一個示例中,所述提取單元120包括:檢測模塊,用于在每一幀樣本數(shù)據(jù)中檢測身份特征區(qū)域;以及第一提取模塊,用于從所述身份特征區(qū)域中提取所述對象的身份特征。
在一個示例中,所述判斷單元130包括:判斷模塊,用于判斷在所述身份數(shù)據(jù)庫中是否存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征;以及確定模塊,用于響應(yīng)于在所述身份數(shù)據(jù)庫中存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征,確定在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,否則,確定在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息。
在一個示例中,所述判斷模塊將所述身份數(shù)據(jù)庫中的每一個基準(zhǔn)身份特征與所述對象的身份特征進(jìn)行比較,以確定與所述對象的身份特征具有最大相似性的基準(zhǔn)身份特征;判斷所述最大相似性是否大于或等于第一閾值;并且響應(yīng)于所述最大相似性大于或等于所述第一閾值,確定在所述身份數(shù)據(jù)庫中存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征,否則,確定在所述身份數(shù)據(jù)庫中不存在與所述對象的身份特征相匹配的基準(zhǔn)身份特征。
在一個示例中,所述創(chuàng)建單元140只要在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,就根據(jù)所述對象的身份特征來生成所述對象的基準(zhǔn)身份特征,向所述對象分配身份標(biāo)識符,并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
在一個示例中,所述創(chuàng)建單元140包括:跟蹤模塊,用于在所述樣本數(shù)據(jù)序列中對所述對象進(jìn)行跟蹤;第二提取模塊,用于在跟蹤到所述對象的每一幀樣本數(shù)據(jù)中提取所述對象的身份特征;生成模塊,用于通過對所述對象的身份特征進(jìn)行聚類來生成所述對象的身份特征類;以及創(chuàng)建模塊,用于根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征,作為所述對象的身份信息。
在一個示例中,所述創(chuàng)建模塊確定所述對象的身份特征類之中身份特征的個數(shù)和每一個身份特征與所述身份特征類的類中心之間的偏差程度;判斷所述樣本數(shù)據(jù)的個數(shù)是否大于或等于第二閾值并且所述偏差程度是否小于或等于第三閾值;并且響應(yīng)于所述樣本數(shù)據(jù)的個數(shù)大于或等于所述第二閾值并且所述偏差程度小于或等于所述第三閾值,根據(jù)所述對象的身份特征類來生成所述對象的基準(zhǔn)身份特征、向所述對象分配身份標(biāo)識符、并在所述身份數(shù)據(jù)庫中關(guān)聯(lián)地存儲所述對象的身份標(biāo)識符和所述對象的基準(zhǔn)身份特征。
在一個示例中,所述創(chuàng)建模塊將所述類中心所表示的身份特征確定為所述對象的基準(zhǔn)身份特征。
在一個示例中,所述對象身份管理裝置100還可以包括:記錄單元145,用于響應(yīng)于在所述身份數(shù)據(jù)庫中不存在所述對象的身份信息,記錄與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息。
在一個示例中,所述對象身份管理裝置100還可以包括:更新單元150,用于響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,根據(jù)所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的身份信息。
在一個示例中,所述更新模塊包括:分配模塊,用于向所述對象的身份特征分配一權(quán)重;以及更新模塊,用于使用所述權(quán)重和所述對象的身份特征來更新所述對象在所述身份數(shù)據(jù)庫中的基準(zhǔn)身份特征。
在一個示例中,所述對象身份管理裝置100還可以包括:讀取單元155,用于響應(yīng)于在所述身份數(shù)據(jù)庫中存在所述對象的身份信息,讀取與所述對象相關(guān)聯(lián)的關(guān)于一電子設(shè)備的操作設(shè)置信息,使得所述電子設(shè)備根據(jù)所述操作設(shè)置信息來進(jìn)行操作。
上述對象身份管理裝置100中的各個單元和模塊的具體功能和操作已經(jīng)在上面參考圖1到圖8描述的對象身份管理方法中詳細(xì)介紹,并因此,將省略其重復(fù)描述。
由此可見,采用根據(jù)本申請實施例的對象身份管理裝置,無需對象經(jīng)歷顯式的注冊過程,通過采集對象的身份特征,自動地將同一個對象的身份特征記錄下來,根據(jù)一預(yù)定策略將此對象的身份特征注冊到身份數(shù)據(jù)庫中,同時分配一個對象ID,從而使得身份管理裝置能夠像人一樣進(jìn)行自然交流,充分提升了身份管理過程中的工作效率。
需要說明的是,根據(jù)本申請實施例的對象身份管理裝置100可以作為一個軟件模塊和/或硬件模塊而集成到該電子設(shè)備中,換言之,該電子設(shè)備可以包括該對象身份管理裝置100。例如,該對象身份管理裝置100可以是該電子設(shè)備的操作系統(tǒng)中的一個軟件模塊,或者可以是針對于該電子設(shè)備所開發(fā)的一個應(yīng)用程序;當(dāng)然,該對象身份管理裝置100同樣可以是該電子設(shè)備的眾多硬件模塊之一。
替換地,在另一示例中,該對象身份管理裝置100與該電子設(shè)備也可以是分立的設(shè)備(例如,服務(wù)器),并且該對象身份管理裝置100可以通過有線和/或無線網(wǎng)絡(luò)連接到該電子設(shè)備,并且按照約定的數(shù)據(jù)格式來傳輸交互信息。
示例性電子設(shè)備
下面,參考圖10來描述根據(jù)本申請實施例的電子設(shè)備。該電子設(shè)備可以是計算機(jī)或服務(wù)器或其他設(shè)備。
圖10圖示了根據(jù)本申請實施例的電子設(shè)備的框圖。
如圖10所示,電子設(shè)備200包括一個或多個處理器210和存儲器220。
處理器210可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其他形式的處理單元,并且可以控制電子設(shè)備200中的其他組件以執(zhí)行期望的功能。
存儲器220可以包括一個或多個計算機(jī)程序產(chǎn)品,所述計算機(jī)程序產(chǎn)品可以包括各種形式的計算機(jī)可讀存儲介質(zhì),例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機(jī)存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計算機(jī)可讀存儲介質(zhì)上可以存儲一個或多個計算機(jī)程序指令,處理器210可以運(yùn)行所述程序指令,以實現(xiàn)上文所述的本申請的實施例的對象身份管理方法以及/或者其他期望的功能。在所述計算機(jī)可讀存儲介質(zhì)中還可以存儲各種應(yīng)用程序和各種數(shù)據(jù),例如樣本數(shù)據(jù)序列、對象的身份特征、身份數(shù)據(jù)庫、輔助數(shù)據(jù)庫、各種閾值和權(quán)重等。
在一個示例中,電子設(shè)備200還可以包括:輸入裝置230和輸出裝置240,這些組件通過總線系統(tǒng)250和/或其他形式的連接機(jī)構(gòu)(未示出)互連。應(yīng)當(dāng)注意,圖10所示的電子設(shè)備200的組件和結(jié)構(gòu)只是示例性的,而非限制性的,根據(jù)需要,電子設(shè)備200也可以具有其他組件和結(jié)構(gòu)。
例如,該輸入裝置230可以是采集器件。采集器件用于采集樣本數(shù)據(jù)序列,并且將所采集的樣本數(shù)據(jù)序列存儲在存儲器220中以供其他組件使用。當(dāng)然,也可以利用其他集成或分立的采集器件來采集該樣本數(shù)據(jù)序列,并且將它發(fā)送到電子設(shè)備200。
輸出裝置240可以向外部(例如,用戶)輸出各種信息,例如圖像信息、聲音信息、識別結(jié)果,并且可以包括顯示器、揚(yáng)聲器等中的一個或多個。
盡管未示出,電子設(shè)備200還可以包括通信裝置等,通信裝置可以通過網(wǎng)絡(luò)或其他技術(shù)與其他裝置(例如,個人計算機(jī)、服務(wù)器、移動臺、基站等)通信,所述網(wǎng)絡(luò)可以是因特網(wǎng)、無線局域網(wǎng)、移動通信網(wǎng)絡(luò)等,所述其他技術(shù)例如可以包括藍(lán)牙通信、紅外通信等。
示例性計算機(jī)程序產(chǎn)品和計算機(jī)可讀存儲介質(zhì)
除了上述方法和設(shè)備以外,本申請的實施例還可以是計算機(jī)程序產(chǎn)品,其包括計算機(jī)程序指令,所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的對象身份管理方法中的步驟。
所述計算機(jī)程序產(chǎn)品可以以一種或多種程序設(shè)計語言的任意組合來編寫用于執(zhí)行本申請實施例操作的程序代碼,所述程序設(shè)計語言包括面向?qū)ο蟮某绦蛟O(shè)計語言,諸如Java、C++等,還包括常規(guī)的過程式程序設(shè)計語言,諸如“C”語言或類似的程序設(shè)計語言。程序代碼可以完全地在用戶計算設(shè)備上執(zhí)行、部分地在用戶設(shè)備上執(zhí)行、作為一個獨立的軟件包執(zhí)行、部分在用戶計算設(shè)備上部分在遠(yuǎn)程計算設(shè)備上執(zhí)行、或者完全在遠(yuǎn)程計算設(shè)備或服務(wù)器上執(zhí)行。
此外,本申請的實施例還可以是計算機(jī)可讀存儲介質(zhì),其上存儲有計算機(jī)程序指令,所述計算機(jī)程序指令在被處理器運(yùn)行時使得所述處理器執(zhí)行本說明書上述“示例性方法”部分中描述的根據(jù)本申請各種實施例的對象身份管理方法中的步驟。
所述計算機(jī)可讀存儲介質(zhì)可以采用一個或多個可讀介質(zhì)的任意組合??勺x介質(zhì)可以是可讀信號介質(zhì)或者可讀存儲介質(zhì)??勺x存儲介質(zhì)例如可以包括但不限于電、磁、光、電磁、紅外線、或半導(dǎo)體的系統(tǒng)、裝置或器件,或者任意以上的組合。可讀存儲介質(zhì)的更具體的例子(非窮舉的列表)包括:具有一個或多個導(dǎo)線的電連接、便攜式盤、硬盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、可擦式可編程只讀存儲器(EPROM或閃存)、光纖、便攜式緊湊盤只讀存儲器(CD-ROM)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。
以上結(jié)合具體實施例描述了本申請的基本原理,但是,需要指出的是,在本申請中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制,不能認(rèn)為這些優(yōu)點、優(yōu)勢、效果等是本申請的各個實施例必須具備的。另外,上述公開的具體細(xì)節(jié)僅是為了示例的作用和便于理解的作用,而非限制,上述細(xì)節(jié)并不限制本申請為必須采用上述具體的細(xì)節(jié)來實現(xiàn)。
本申請中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進(jìn)行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認(rèn)識到的,可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯,指“包括但不限于”,且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”,且可與其互換使用,除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”,且可與其互換使用。
還需要指出的是,在本申請的裝置、設(shè)備和方法中,各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本申請的等效方案。
提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本申請。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的,并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本申請的范圍。因此,本申請不意圖被限制到在此示出的方面,而是按照與在此公開的原理和新穎的特征一致的最寬范圍。
為了例示和描述的目的已經(jīng)給出了以上描述。此外,此描述不意圖將本申請的實施例限制到在此公開的形式。盡管以上已經(jīng)討論了多個示例方面和實施例,但是本領(lǐng)域技術(shù)人員將認(rèn)識到其某些變型、修改、改變、添加和子組合。