本發(fā)明屬于智能識別技術(shù)領(lǐng)域，具體涉及一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)及方法。

背景技術(shù)：

現(xiàn)有生物特征識別系統(tǒng)已經(jīng)成熟，在識別結(jié)果上表現(xiàn)也較為滿意。但隨著現(xiàn)代社會對更為便利和安全的用戶身份認(rèn)證技術(shù)的緊迫需要，現(xiàn)有的生物特征識別產(chǎn)品尚存在一些不足，例如生物模態(tài)較為單一、圖像種類單一、人機交互性不足、設(shè)備移動性和擴展性不足等。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于解決上述的技術(shù)問題而提供一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)及方法，可以應(yīng)用于現(xiàn)有移動設(shè)備上，與移動設(shè)備協(xié)同工作或者單獨工作。

為實現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)，包括：

主動光源模塊，包含多個主動光源，用于根據(jù)中央控制模塊的指令打開相應(yīng)主動光源為圖像采集提供所需要的光；

圖像采集模塊，包含多個成像單元，用于根據(jù)所述中央控制模塊的指令控制相應(yīng)成像單元采集目標(biāo)對象的多模態(tài)生物特征圖像；

數(shù)據(jù)處理模塊，用于對圖像采集模塊采集的多模態(tài)生物特征圖像進(jìn)行穩(wěn)像、多源圖像融合處理，對形成的圖像質(zhì)量評價，然后將評價處理結(jié)果反饋至所述中央控制模塊；

所述中央控制模塊，與所述主動光源模塊、圖像采集模塊連接，用于控制所述圖像采集模塊通過傳輸模塊將待識別圖像傳送到所述數(shù)據(jù)處理模塊，接收所述數(shù)據(jù)處理模塊的評價反饋信息，當(dāng)所述數(shù)據(jù)處理模塊的評價反饋信 息為圖像不合格時，對光源參數(shù)、成像參數(shù)或移動平臺調(diào)節(jié)，或通過人機交互模塊與目標(biāo)對象交互，提示目標(biāo)對象作相應(yīng)動作配合圖像采集，然后重新采集目標(biāo)對象的多模態(tài)生物特征圖像，直至形成合格的待識別圖像；當(dāng)所述數(shù)據(jù)處理模塊的評價反饋信息為圖像合格時，控制將所述數(shù)據(jù)處理模塊處理形成的合格的待識別圖像通過所述傳輸模塊傳送至數(shù)據(jù)計算模塊識別；

所述數(shù)據(jù)計算模塊，用于自所述數(shù)據(jù)處理模塊接收合格的待識別圖像，對待識別圖像的多模態(tài)生物特征進(jìn)行特征提取、編碼、匹配及識別，將識別處理結(jié)果信息通過所述傳輸模塊反饋至所述中央控制模塊，由所述人機交互模塊輸出識別結(jié)果。

所述數(shù)據(jù)處理模塊和\或數(shù)據(jù)計算模塊設(shè)置于云端服務(wù)器或設(shè)置于本地，所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊設(shè)置于本地。

所述數(shù)據(jù)計算模塊包括設(shè)置在云端的帶計算功能的存儲服務(wù)器，或者遠(yuǎn)程的模板或特征數(shù)據(jù)庫。

所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)還包括有：

存儲模塊，用于對所述圖像采集模塊和數(shù)據(jù)處理模塊的數(shù)據(jù)進(jìn)行存儲，配合實現(xiàn)所述傳輸模塊與中央控制模塊的功能；

供電模塊，用于為所述主動光源模塊、圖像采集模塊、中央控制模塊、人機交互模塊以及傳輸模塊，或為設(shè)在本地的數(shù)據(jù)處理模塊、數(shù)據(jù)計算模塊提提供工作電壓。

所述存儲模塊包括本地的存儲芯片、SD/CF卡、SAN、云存儲服務(wù)器的一種或幾種。

所述人機交互模塊通過語音、圖像、視頻、信號燈、投影、三維顯示、激光顯示中一種或幾種方式實現(xiàn)與用戶的交流互動。

所述光源包含近紅外光源、可見光源、深度成像所需要的照明光、結(jié)構(gòu)光、脈沖光、半導(dǎo)體激光。

所述圖像采集模塊包括高分辨成像單元、深度成像單元、高動態(tài)成像單元、光場成像單元；所述高分辨成像單元包括可見光成像單元和近紅外成像單元；深度成像單元包括為激光掃描深度成像單元、結(jié)構(gòu)光深度成像單元、 TOF深度成像單元、光場深度成像單元。

所述圖像采集模塊通過感興趣區(qū)域硬件挖窗形式實現(xiàn)將圖像傳輸至所述數(shù)據(jù)處理模塊。

本發(fā)明的目的還在于提供一種用于移動平臺的多模態(tài)生物特征識別方法，采用所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)進(jìn)行多模態(tài)生物特征識別，包括以下步驟：

1)中央控制模塊控制主動光源模塊發(fā)射圖像采集所需要的光；

2)中央控制模塊控制圖像采集模塊采集目標(biāo)對象的多模態(tài)生物特征圖像；

3)中央控制模塊控制圖像采集模塊將采集的多模態(tài)生物特征圖像通過傳輸模塊傳送到數(shù)據(jù)處理模塊，由數(shù)據(jù)處理模塊進(jìn)行穩(wěn)像處理、多源圖像融合，對形成的圖像質(zhì)量評價，并將評價處理結(jié)果發(fā)送給所述中央控制模塊；

4)所述中央控制模塊根據(jù)步驟3)的質(zhì)量評價處理結(jié)果判斷圖像是否合格，是則通過傳輸模塊將多模態(tài)生物特征圖像發(fā)送給數(shù)據(jù)計算模塊；否則調(diào)整主動光源模塊或圖像采集模塊的參數(shù)或調(diào)節(jié)移動平臺，或通過人機交互模塊對目標(biāo)對象做出提示配合圖像采集，之后返回步驟1)開始新一輪圖像采集過程；

5)數(shù)據(jù)計算模塊接收自所述數(shù)據(jù)處理模塊傳送來的多模態(tài)生物特征圖像并識別，并將識別處理結(jié)果通過所述傳輸模塊反饋給所述中央控制模塊，所述中央控制模塊根據(jù)識別結(jié)果控制人機交互模塊進(jìn)行識別結(jié)果顯示。

本發(fā)明通過多種成像模式組合完成多種模態(tài)生物特征識別，可適應(yīng)更為嚴(yán)格的身份認(rèn)證需求，并且通過與移動平臺集成，更擴展了系統(tǒng)的應(yīng)用范圍，提高了系統(tǒng)應(yīng)用的便捷性。

附圖說明

圖1為本發(fā)明實施例提供的用于移動平臺的多模態(tài)生物特征識別系統(tǒng)原理示意圖；

圖2為本發(fā)明實施例提供的圖像成像單元的示意圖；

圖3為本發(fā)明實施例提供的一種用于移動平臺的多模態(tài)生物特征識別系 統(tǒng)的識別方法的流程圖。

具體實施方式

下面，結(jié)合實例對本發(fā)明的實質(zhì)性特點和優(yōu)勢作進(jìn)一步的說明，但本發(fā)明并不局限于所列的實施例。

參見圖1所示，一種用于移動平臺的多模態(tài)生物特征識別系統(tǒng)，包括：

主動光源模塊，包含多個主動光源，用于根據(jù)中央控制模塊的指令打開相應(yīng)主動光源為圖像采集提供所需要的光；

圖像采集模塊，包含多個成像單元，用于根據(jù)所述中央控制模塊的指令控制相應(yīng)成像單元采集目標(biāo)對象的多模態(tài)生物特征圖像；

數(shù)據(jù)處理模塊，用于對圖像采集模塊采集的多模態(tài)生物特征圖像進(jìn)行穩(wěn)像、多源圖像融合處理，對形成的圖像質(zhì)量評價，然后將評價處理結(jié)果反饋至所述中央控制模塊；

所述中央控制模塊，與所述主動光源模塊、圖像采集模塊連接，用于控制所述圖像采集模塊通過傳輸模塊將待識別圖像傳送到所述數(shù)據(jù)處理模塊，接收所述數(shù)據(jù)處理模塊的評價反饋信息，當(dāng)所述數(shù)據(jù)處理模塊的評價反饋信息為圖像不合格時，對光源參數(shù)、成像參數(shù)或移動平臺調(diào)節(jié)，或通過人機交互模塊與目標(biāo)對象交互，提示目標(biāo)對象作相應(yīng)動作配合圖像采集，然后重新采集目標(biāo)對象的多模態(tài)生物特征圖像，直至形成合格的待識別圖像；當(dāng)所述數(shù)據(jù)處理模塊的評價反饋信息為圖像合格時，控制將所述數(shù)據(jù)處理模塊處理形成的合格的待識別圖像通過所述傳輸模塊傳送至數(shù)據(jù)計算模塊識別；

所述數(shù)據(jù)計算模塊，用于自所述數(shù)據(jù)處理模塊接收合格的待識別圖像，對待識別圖像的多模態(tài)生物特征進(jìn)行特征提取、編碼、匹配及識別，將識別處理結(jié)果信息通過所述傳輸模塊反饋至所述中央控制模塊，由所述人機交互模塊輸出識別結(jié)果。

需要說明的是，本發(fā)明實施例中，所述數(shù)據(jù)處理模塊與數(shù)據(jù)計算模塊設(shè)置于云端服務(wù)器，所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊設(shè)置于本地。所述中央控制模塊控制圖像采集模塊采集圖像通過所述傳輸模塊，如網(wǎng)絡(luò)傳輸?shù)綌?shù)據(jù)處理模塊處理，數(shù)據(jù)處理模塊處理完成后， 如圖像合格則直接傳輸?shù)綌?shù)據(jù)計算模塊進(jìn)行識別處理，如果數(shù)據(jù)處理模塊處理完成后圖像不合格，不符合要求，則反饋至中央控制模塊，由中央控制模塊生成反饋控制信號傳輸?shù)街鲃庸庠茨K、圖像采集模塊，控制光源模塊調(diào)節(jié)光源參數(shù)或圖像采集模塊的圖像采集參數(shù)，或通過人機交互模塊與目標(biāo)對象，如用戶進(jìn)行人機交互，提示用戶調(diào)整所在位置等，配合圖像采集，或是控制對移動平臺進(jìn)行相應(yīng)調(diào)節(jié)，以實現(xiàn)最終采集到符合要求的圖像，以上幾種調(diào)節(jié)方式根據(jù)數(shù)據(jù)處理模塊的反饋結(jié)果的具體情況，決定采用一種或幾種方式來調(diào)節(jié)。

所述數(shù)據(jù)處理模塊在接收至圖像采集模塊發(fā)送來的圖像時，可以通過多種圖像處理方式對圖像進(jìn)行處理，如深度成像、三維成像、多源圖像融合、移動平臺下的穩(wěn)像方法，具體不同的圖像對象選擇適用不同的處理方式，以并對圖像質(zhì)量評價，并將處理結(jié)果傳輸給中央控制模塊，由所述中央控制模塊決定是否傳送到圖像計算模塊識別，或調(diào)節(jié)光源模塊、圖像采集模塊或移動平臺或?qū)δ繕?biāo)對象通過人機交互模塊提示后進(jìn)行圖像的重新采集再處理。

需要說明的是，本發(fā)明中，所述生物特征可以是人體虹膜、人臉、掌紋、指紋等多模態(tài)生物特征，在具體對這些生物特征進(jìn)行圖像采集時，可以是利用相應(yīng)的多個成像單元的一種或幾種組合來進(jìn)行多模態(tài)生物特征圖像的采集，并根據(jù)不同模態(tài)特征圖像的采集需要，控制相應(yīng)的主動光源模塊的主動光源提供相應(yīng)的圖像采集所需要的光或光照。

本發(fā)明實施例中，所述數(shù)據(jù)處理模塊與數(shù)據(jù)計算模塊可以是設(shè)置于云端服務(wù)器，數(shù)據(jù)處理模塊與數(shù)據(jù)計算模塊的處理過程在云端服務(wù)器進(jìn)行，所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊設(shè)置于本地，它們之間通過相應(yīng)的傳輸模塊實現(xiàn)數(shù)據(jù)或信號的傳輸。另外，本發(fā)明中，所述數(shù)據(jù)處理模塊與數(shù)據(jù)計算模塊也可以是與所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊一樣全部設(shè)置于本地，所有識別過程全部在本地完成，還可以是所述數(shù)據(jù)處理模塊與所述中央控制模塊、主動光源模塊、圖像采集模塊、人機交互模塊一樣全部設(shè)置于本地，只有所述數(shù)據(jù)計算模塊可以是云端服務(wù)器進(jìn)行識別處理，具體架構(gòu)不限。

所述傳輸模塊負(fù)責(zé)系統(tǒng)中各模塊單元間的數(shù)據(jù)傳輸以及與云端等遠(yuǎn)程 服務(wù)器進(jìn)行數(shù)據(jù)通信和網(wǎng)絡(luò)傳輸，實現(xiàn)系統(tǒng)內(nèi)各模塊間的數(shù)據(jù)或信號或指令的傳送，保證系統(tǒng)內(nèi)各模塊間通信暢通。

具體實現(xiàn)上，所述數(shù)據(jù)計算模塊包括設(shè)置在云端的帶計算功能的存儲服務(wù)器，或者遠(yuǎn)程的模板或特征數(shù)據(jù)庫。

進(jìn)一步的，本發(fā)明中，所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)還包括有：

存儲模塊，用于對所述圖像采集模塊和數(shù)據(jù)處理模塊的數(shù)據(jù)進(jìn)行存儲，配合實現(xiàn)所述傳輸模塊與中央控制模塊的功能；

供電模塊，用于為系統(tǒng)內(nèi)各模塊供電，包括為所述主動光源模塊、圖像采集模塊、中央控制模塊、人機交互模塊以及傳輸模塊，或設(shè)置于本地的數(shù)據(jù)處理模塊、數(shù)據(jù)計算模塊提供工作電壓。

具體的，所述存儲模塊可以是包括本地的存儲芯片、SD/CF卡、SAN、云存儲服務(wù)器的一種或幾種。

為了實現(xiàn)更加全面的人機交互，本發(fā)明中，所述人機交互模塊可以是通過語音、圖像、視頻、信號燈、投影、三維顯示、激光顯示中一種或幾種方式實現(xiàn)與用戶的交流互動，例如通過語音提示用戶調(diào)整姿態(tài)，通過圖像顯示識別結(jié)果提示用戶進(jìn)行動作等等。

為了實現(xiàn)對不同模態(tài)生物特征圖像的采集，本發(fā)明中所述光源可以是包含近紅外光源、可見光源、深度成像所需要的照明光、結(jié)構(gòu)光、脈沖光、半導(dǎo)體激光等多種分別適應(yīng)用于不同模態(tài)生物特征圖像的采集所要的光源，這樣以可以根據(jù)采集不同的模態(tài)生物特征圖像選擇相應(yīng)的光源進(jìn)行光照。

參見圖2所示，其中，所述圖像采集模塊可以包括高分辨成像單元、深度成像單元、高動態(tài)成像單元、光場成像單元；所述高分辨成像單元進(jìn)一步的可以包括可見光成像單元和近紅外成像單元；所述深度成像單元包括可以為激光掃描深度成像單元、結(jié)構(gòu)光深度成像單元、TOF深度成像單元、光場深度成像單元。

本發(fā)明通過圖像采集模塊包括多種成像單元，可以提供多種不同的成像方式，實現(xiàn)對不同模態(tài)生物特征均可進(jìn)行圖像的采集并識別處理，擴展了系統(tǒng)的使用范圍，提高了系統(tǒng)的廣泛適用性能。

進(jìn)一步的，為了實現(xiàn)圖像數(shù)據(jù)的高速傳輸，本發(fā)明中，所述圖像采集模塊可以選擇通過感興趣區(qū)域硬件挖窗形式實現(xiàn)將采集的圖像傳輸至所述數(shù)據(jù)處理模塊進(jìn)行處理，這樣大大提高了圖像傳輸速度，提高了傳輸效率。

需要說明的是，本發(fā)明系統(tǒng)中可用于手機、平板電腦、車載系統(tǒng)、運動裝備、穿戴設(shè)備、機器人等移動平臺中的任意一種。

本發(fā)明的目的還在于提供一種用于移動平臺的多模態(tài)生物特征識別方法，采用所述用于移動平臺的多模態(tài)生物特征識別系統(tǒng)進(jìn)行多模態(tài)生物特征識別，包括以下步驟：

1)中央控制模塊控制主動光源模塊發(fā)射圖像采集所需要的光；

2)中央控制模塊控制圖像采集模塊采集目標(biāo)對象的多模態(tài)生物特征圖像；

3)中央控制模塊控制圖像采集模塊將采集的多模態(tài)生物特征圖像通過傳輸模塊傳送到數(shù)據(jù)處理模塊，由數(shù)據(jù)處理模塊進(jìn)行穩(wěn)像處理、多源圖像融合，對形成的圖像質(zhì)量評價，并將評價處理結(jié)果發(fā)送給所述中央控制模塊；

4)所述中央控制模塊根據(jù)步驟3)的質(zhì)量評價處理結(jié)果判斷圖像是否合格，是則通過傳輸模塊將多模態(tài)生物特征圖像發(fā)送給數(shù)據(jù)計算模塊；否則調(diào)整主動光源模塊或圖像采集模塊的參數(shù)或調(diào)節(jié)移動平臺，或通過人機交互模塊對目標(biāo)對象做出提示配合圖像采集，之后返回步驟1)開始新一輪圖像采集過程；

5)數(shù)據(jù)計算模塊接收自所述數(shù)據(jù)處理模塊傳送來的多模態(tài)生物特征圖像并識別，并將識別處理結(jié)果通過所述傳輸模塊反饋給所述中央控制模塊，所述中央控制模塊根據(jù)識別結(jié)果控制人機交互模塊進(jìn)行識別結(jié)果顯示。

從以上分析，可以看出，本發(fā)明通過多種成像模式組合完成多種模態(tài)生物特征識別，可適應(yīng)更為嚴(yán)格的身份認(rèn)證需求，并且通過與移動平臺集成，更擴展了系統(tǒng)的應(yīng)用范圍，提高了系統(tǒng)應(yīng)用的便捷性。

以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。