專利名稱：一種基于指部生物特征的多模態(tài)身份認(rèn)證方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于指部生物特征的多模態(tài)身份認(rèn)證方法及裝置，屬于生物特征識(shí)別技術(shù)領(lǐng)域。
背景技術(shù)：
目前，基于人體生物特征的個(gè)人身份認(rèn)證技術(shù)已經(jīng)比較普及，如指紋識(shí)別、人臉識(shí)別和虹膜認(rèn)證等，但都存在特征穩(wěn)定性不足，信息容易被竊取和偽造的缺點(diǎn)，安全性差；例如指紋識(shí)別技術(shù)，存在4%左右的用戶無法正常登記和識(shí)別，并且指紋也非常容易被竊取和仿造；靜脈認(rèn)證技術(shù)是利用人體內(nèi)部的靜脈血管紋理信息作為個(gè)人身份特征，幾乎無法竊取和偽造，可以大大提高個(gè)人身份認(rèn)證的安全性；并且不容易受外部因素影響，具有更好的適應(yīng)性和穩(wěn)定性。靜脈認(rèn)證的基本原理是利用含氧血液相對(duì)肌肉組織對(duì)波長為700-1000nm的近紅外光譜有較強(qiáng)吸收作用，利用主動(dòng)近紅外光源照射手指并通過攝像裝置采集手指圖像即可采集到手指血管的脈絡(luò)紋理圖像，不同的光源設(shè)計(jì)和光路設(shè)計(jì)都會(huì)影響采集的靜脈脈絡(luò)紋理圖像質(zhì)量，從而影響認(rèn)證效果。靜脈特征雖然比指紋穩(wěn)定，不容易被竊取和偽造，但也存在以下缺點(diǎn)，如手指溫度過低會(huì)嚴(yán)重影響靜脈圖像質(zhì)量，手指晃動(dòng)或旋轉(zhuǎn)會(huì)采集到不同的圖像，從而會(huì)降低指靜脈認(rèn)證的安全性。指節(jié)紋認(rèn)證技術(shù)經(jīng)相關(guān)研究表明也具有一定的唯一性，只要是正常的手指都有較明顯的指節(jié)紋特征，沒有指紋識(shí)別部分用戶無法正常登記的問題，特征相比指紋更為明顯、 穩(wěn)定和不容易被竊取，主要的缺點(diǎn)是特征相對(duì)較少，目前還沒有進(jìn)行大規(guī)模的實(shí)踐檢驗(yàn)其唯一性。從實(shí)際應(yīng)用的安全性和適應(yīng)性來看，目前還沒有任何單項(xiàng)的生物特征認(rèn)證技術(shù)可以滿足需要，多模態(tài)身份認(rèn)證是未來的一個(gè)發(fā)展方向；實(shí)驗(yàn)證明，多模系統(tǒng)可以有效提高身份識(shí)別的安全性、適應(yīng)性和抗偽造能力，具有很廣闊的應(yīng)用前景。

發(fā)明內(nèi)容
1、目的本發(fā)明的目的是提供一種基于指部生物特征的多模態(tài)身份認(rèn)證方法及裝置，它選擇靜脈、指紋和指節(jié)紋作為身份認(rèn)證的生物特征，無需增加指紋識(shí)別用戶的操作步驟和使用習(xí)慣即可完成靜脈、指紋和指節(jié)紋生物特征的采集；本發(fā)明采用模塊化設(shè)計(jì)，可以實(shí)現(xiàn)指紋、指靜脈和指節(jié)紋三種生物特征的任意組合進(jìn)行身份認(rèn)證。2、技術(shù)方案1)本發(fā)明一種基于指部生物特征的多模態(tài)身份認(rèn)證裝置，它是由指靜脈圖像采集模塊100、指節(jié)紋圖像采集模塊200、指紋圖像采集模塊300、手指感應(yīng)開關(guān)400、嵌入式SOC 認(rèn)證模塊500、控制盒900、輸入輸出接口 800和電源模塊700組成；它們之間的位置連接關(guān)系、信號(hào)走向是上述所有的模塊、手指感應(yīng)開關(guān)及輸入輸出接口都安裝在控制盒上。指靜脈圖像采集模塊100、指節(jié)紋圖像采集模塊200和指紋圖像采集模塊300與嵌入式SOC認(rèn)證模塊500的圖像輸入接口連接，實(shí)現(xiàn)靜脈、指節(jié)紋和指紋生物特征的采集，手指感應(yīng)開關(guān) 400與嵌入式SOC認(rèn)證模塊500的GPIO接口連接，實(shí)現(xiàn)手指放置的檢測；電源模塊700與各模塊連接并為各模塊提供工作所需電源。具體的連接關(guān)系和信號(hào)走向見附圖1和附圖2。所述的指靜脈圖像采集模塊100，本模塊由近紅外LED光源裝置101和靜脈圖像采集裝置102組成，前者放置在控制盒900上端面板上，后者放置在控制盒900底部，他們與嵌入式SOC認(rèn)證模塊500連接，嵌入式SOC認(rèn)證模塊500采集靜脈圖像后分析圖像，如過亮或過暗都會(huì)自動(dòng)調(diào)整近紅外LED光源裝置101的亮度和靜脈圖像采集裝置102的曝光時(shí)間，實(shí)現(xiàn)高質(zhì)量的近紅外指靜脈脈絡(luò)圖像采集；該近紅外LED光源裝置101為850nm近紅外發(fā)光二極管，為了使手指受光均勻并充分利用光源，設(shè)置于手指側(cè)上方并距離手指背面大概4-8mm處依次平行排列，并與手指平面呈預(yù)定角度；為了適應(yīng)粗細(xì)大小不同的手指，近紅外二極管光源亮度可調(diào)，可通過PWM方式(脈寬調(diào)制)動(dòng)態(tài)開/關(guān)和亮度調(diào)節(jié)；為增強(qiáng)手指左右兩邊的受光均勻性，設(shè)置有近紅外光源反射裝置103，它放置在近紅外LED光源裝置 101的對(duì)面和控制盒上端，并與近紅外LED光源裝置101平行，具有反射近紅外光的作用，增強(qiáng)手指受光均勻性，該近紅外光源反射裝置103是鏡子或具有反射光線作用的材料制作； 該靜脈圖像采集裝置102是由鏡頭、濾光片和CMOS/CCD感光器件組成，其間關(guān)系是濾光片的位置在鏡頭與CMOS/CCD感光傳感器之間；該鏡頭采用普通的手機(jī)或USB攝像頭鏡頭；該濾光片采用普通的850nm帶通濾光片，只能透過波長為850nm的近紅外光；該CM0S/C⑶感光器件采用普通的CMOS或CCD傳感器；它放置于控制盒900底部中間位置，用于采集手指中間部位靜脈紋理圖像。所述指節(jié)紋圖像采集模塊200，由LED光源裝置201和指節(jié)紋圖像采集裝置202組成，它們都安裝在控制盒900的底部位置，其中指節(jié)紋圖像采集裝置202可與指靜脈圖像采集模塊100中的靜脈圖像采集裝置102相同復(fù)用，與嵌入式SOC認(rèn)證模塊500連接；該LED 光源裝置201由發(fā)光二極管組成，從控制盒900底部向上照射手指腹部，從而通過指節(jié)紋圖像采集裝置202采集指節(jié)紋圖像。所述指紋圖像采集模塊300，采用現(xiàn)有的指紋采集模塊，與嵌入式SOC認(rèn)證模塊 500連接；所述手指感應(yīng)開關(guān)400，由一個(gè)(需要采集指紋的時(shí)候)或兩個(gè)電容(不需要采集指紋的時(shí)候)觸摸感應(yīng)開關(guān)組成，是按需選購；它們分別放置于第三指節(jié)605和第一指節(jié) 601下方2-5MM處，與嵌入式SOC認(rèn)證模塊500連接，手指600正確放置后會(huì)給出高電平信號(hào)。所述嵌入式SOC認(rèn)證模塊500，包括中央處理器CPU，內(nèi)存RAM，存儲(chǔ)器FLASH等部件都集成在一顆芯片中，組成單芯片系統(tǒng)，F(xiàn)LASH用于存儲(chǔ)程序和用戶特征登記數(shù)據(jù)；本模塊作為系統(tǒng)的主控模塊，有并行(如圖1)和串行(如圖2)兩種工作模式；并行模式是指靜脈認(rèn)證、指紋認(rèn)證和指節(jié)紋認(rèn)證有各自獨(dú)立的嵌入式SOC認(rèn)證模塊500，系統(tǒng)可以并行采集和認(rèn)證靜脈、指紋和指節(jié)紋；串行模式是指靜脈、指紋、指節(jié)紋共用一個(gè)嵌入式SOC認(rèn)證模塊500，系統(tǒng)按順序?qū)崿F(xiàn)指節(jié)紋、指紋和指靜脈的采集和認(rèn)證。所述控制盒900是一個(gè)箱式盒體結(jié)構(gòu)，本發(fā)明的所有部件都安裝其上。其上部呈倒L形結(jié)構(gòu)，用于安裝近紅外發(fā)光二極管；其中部設(shè)置有類似手指形的凹槽，用于放置和檢測手指；其下部呈箱式狀用于安裝各模塊、零部件及線纜等。
所述輸入輸出接口 800有USB、UART、GPI0等常用輸入輸出接口。所述電源模塊700有5V、3. 3V、1. 8等電壓輸出，為各模塊提供工作所需電源，具體是利用USB的5V電源和LDO電源轉(zhuǎn)換芯片進(jìn)行轉(zhuǎn)換。其中，該近紅外發(fā)光二極管的數(shù)量為4-8個(gè)；其中，該發(fā)光二極管的數(shù)量為2-4個(gè)；其中，該近紅外發(fā)光二極管的發(fā)光角與手指平面呈1/2-1/3的預(yù)定角度。2)本發(fā)明一種基于指部生物特征的多模態(tài)身份認(rèn)證方法，該方法包括特征登記和特征比對(duì)過程。特征登記具體步驟如下步驟一，系統(tǒng)啟動(dòng)；步驟二，檢測手指第三指節(jié)605是否正確放置；步驟三，正確放置后開啟LED光源裝置201，采集指節(jié)紋圖像；步驟四，提取指節(jié)紋灰度信息，并進(jìn)行圖像增強(qiáng)、二值化和細(xì)化處理，提取第一指節(jié)紋602和第二指節(jié)紋604相對(duì)位置信息，作為指節(jié)紋特征信息；根據(jù)指節(jié)紋位置信息還可以實(shí)現(xiàn)手指位置的精確定位；如提取第一指節(jié)紋和第二指節(jié)紋失敗則提示用戶手指放置錯(cuò)誤，需要重新放置；步驟五，采集指紋圖像，分析指紋圖像質(zhì)量，提取指紋特征并根據(jù)指紋圖像質(zhì)量定義指紋特征的權(quán)重；步驟六，開啟近紅外LED光源裝置101，采集指靜脈圖像；步驟七，檢測指靜脈圖像，如圖像過暗或過亮則調(diào)整光源亮度和曝光時(shí)間后重新采集指靜脈圖像；步驟八，剪切指靜脈中心子塊，進(jìn)行圖像增強(qiáng)、濾波、歸一化、二值化和指靜脈特征提??；步驟九，保存指節(jié)紋、指紋和指靜脈特征信息；特征比對(duì)具體步驟如下步驟一，系統(tǒng)啟動(dòng)；步驟二，檢測手指第三指節(jié)605是否正確放置；步驟三，正確放置后開啟LED光源裝置201，采集指節(jié)紋圖像；步驟四，提取指節(jié)紋灰度信息，并進(jìn)行圖像增強(qiáng)、二值化和細(xì)化處理，提取第一指節(jié)紋602和第二指節(jié)紋604相對(duì)位置信息，根據(jù)指節(jié)紋位置信息實(shí)現(xiàn)手指位置的精確定位； 如提取第一指節(jié)紋和第二指節(jié)紋失敗則提示用戶手指放置錯(cuò)誤，需要重新放置，手指的精確定位可以有效提高指靜脈的比對(duì)速度和認(rèn)證精度；步驟五，根據(jù)指節(jié)紋各紋線的位置關(guān)系與登記用戶的指節(jié)紋特征進(jìn)行特征比對(duì)， 所有比對(duì)相似度大于設(shè)定閾值的用戶為用戶集合m；步驟六，采集指紋圖像，分析指紋圖像質(zhì)量，提取指紋特征并根據(jù)指紋圖像質(zhì)量定義指紋特征的權(quán)重，并在用戶集合m中進(jìn)行指紋特征比對(duì)，所有比對(duì)相似度大于設(shè)定閾值的用戶為用戶集合N2 ；步驟七，開啟近紅外LED光源裝置101，采集指靜脈圖像；步驟八，檢測指靜脈圖像，如圖像過暗或過亮則調(diào)整光源亮度和曝光時(shí)間后重新采集指靜脈圖像；
步驟九，剪切指靜脈中心子塊，進(jìn)行圖像增強(qiáng)、濾波、歸一化、二值化和指靜脈特征提取，并在用戶集合N2中進(jìn)行靜脈特征比對(duì)，如比對(duì)相似度大于設(shè)定閾值則比對(duì)成功，否則比對(duì)失??；它適合超大規(guī)模用戶容量識(shí)別，適用于所有用戶群體，具有很高的安全性。3、優(yōu)點(diǎn)及功效在本發(fā)明中，指靜脈認(rèn)證是本發(fā)明的核心，采用不同于現(xiàn)有指靜脈認(rèn)證裝置的光源系統(tǒng)和認(rèn)證方法，可以有效提高指靜脈圖像的采集質(zhì)量和認(rèn)證效果；在實(shí)現(xiàn)指靜脈認(rèn)證的同時(shí)可以有效融合指紋認(rèn)證和指節(jié)紋認(rèn)證技術(shù)，在以下技術(shù)指標(biāo)上有重大突破安全性，可以大幅降低誤識(shí)率；普適性，幾乎可以適應(yīng)所有人群；用戶體驗(yàn)，可以有效提高通過率；偽造難度，可以大幅提高特征被竊取和偽造的難度；識(shí)別用戶容量，可以大幅提高識(shí)別應(yīng)用的用戶容量和準(zhǔn)確度。


圖1為本發(fā)明并行工作模式的系統(tǒng)框圖；圖2為本發(fā)明串行工作模式的系統(tǒng)框圖；圖3為本發(fā)明近紅外LED光源裝置工作原理示意圖；圖4為本發(fā)明中手指各部位命名示意圖；圖5為本發(fā)明指靜脈認(rèn)證實(shí)施例的裝置結(jié)構(gòu)圖；圖6為本發(fā)明指靜脈認(rèn)證實(shí)施例的裝置截面圖；圖7為本發(fā)明指靜脈指節(jié)紋雙模態(tài)融合認(rèn)證實(shí)施例的裝置結(jié)構(gòu)圖；圖8為本發(fā)明指靜脈指節(jié)紋雙模態(tài)融合認(rèn)證實(shí)施例的裝置截面圖；圖9為本發(fā)明指靜脈指紋雙模態(tài)融合認(rèn)證實(shí)施例的裝置結(jié)構(gòu)圖；圖10為本發(fā)明指靜脈指紋雙模態(tài)融合認(rèn)證實(shí)施例的裝置截面11為本發(fā)明指靜脈指節(jié)紋指紋三模態(tài)融合認(rèn)證實(shí)施例的裝置結(jié)構(gòu)圖；圖12為本發(fā)明指靜脈指節(jié)紋指紋三模態(tài)融合認(rèn)證實(shí)施例的裝置截面13為本發(fā)明多模態(tài)融合身份認(rèn)證特征登記流程圖。圖14為本發(fā)明多模態(tài)融合身份認(rèn)證特征比對(duì)流程中具體標(biāo)號(hào)如下100、靜脈圖像采集模塊 200、指節(jié)紋圖像采集模塊300、指紋圖像采集模塊 400、手指感應(yīng)開關(guān)500、嵌入式SOC認(rèn)證模塊 600、手指700、電源模塊800、輸入輸出接口900、控制盒101、近紅外LED光源裝置 102、靜脈圖像采集裝置103、近紅外光源反射裝置201、LED光源裝置202、指節(jié)紋圖像采集裝置401、第三指節(jié)感應(yīng)開關(guān) 402、第一指節(jié)(指尖)感應(yīng)開關(guān)601、第一指節(jié)(指尖)602、第一指節(jié)紋
603、第二指節(jié)604、第二指節(jié)紋605、第三指節(jié)606、指紋采集區(qū)域607、指靜脈中心子塊SlOl-Sl 16，S201-S223 為流程序號(hào)α近紅外LED的發(fā)光聚焦角度；β近紅外LED的發(fā)光中心線與手指平面的夾角；
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下參照附圖并舉優(yōu)選實(shí)施例對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。圖1為本發(fā)明并行工作模式的系統(tǒng)框圖，指靜脈采集模塊100、指節(jié)紋采集模塊 200和指紋采集模塊300分別與獨(dú)立的嵌入式SOC認(rèn)證模塊500連接，其中與指靜脈采集模塊100連接的嵌入式SOC認(rèn)證模塊500為主模塊，提供對(duì)外的輸入輸出接口 800，手指感應(yīng)開關(guān)400也只與主模塊連接，其余嵌入式SOC認(rèn)證模塊500為從模塊，通過UART或其他接口由主模塊控制；并行工作模式的優(yōu)點(diǎn)是指靜脈認(rèn)證、指節(jié)紋認(rèn)證和指紋認(rèn)證可以同步進(jìn)行， 認(rèn)證快速，缺點(diǎn)是成本較高，系統(tǒng)較為復(fù)雜，且不利于設(shè)備小型化。上述所有的模塊、手指感應(yīng)開關(guān)400及輸入輸出接口 800都安裝在控制盒900上。具體的工作原理如下當(dāng)主模塊檢測到手指感應(yīng)開關(guān)400為高電平時(shí)，表示有手指插入，通過通信接口發(fā)送控制指令給從模塊，從模塊接收到控制指令后采集指節(jié)紋和指紋圖像，并獨(dú)立完成圖像處理和認(rèn)證過程，主模塊在發(fā)送完控制指令后立即采集指靜脈圖像，同步完成指靜脈圖像處理和認(rèn)證，并綜合指節(jié)紋和指紋的認(rèn)證結(jié)果給出最終認(rèn)證結(jié)果。圖2為本發(fā)明串行工作模式的系統(tǒng)框圖，指靜脈采集模塊100、指節(jié)紋采集模塊 200和指紋采集模塊300統(tǒng)一連接到嵌入式SOC認(rèn)證模塊500。指靜脈認(rèn)證、指節(jié)紋認(rèn)證和指紋認(rèn)證順序進(jìn)行，優(yōu)點(diǎn)是成本低，設(shè)備體積小，缺點(diǎn)是認(rèn)證速度較慢。上述所有的模塊、手指感應(yīng)開關(guān)400及輸入輸出接口 800都安裝在控制盒900上。圖3為本發(fā)明近紅外LED光源裝置101工作原理示意圖，采用的是單側(cè)發(fā)光照射， 另一側(cè)反射補(bǔ)光方式。近紅外LED光源裝置101主要由兩部分構(gòu)成，一部分是近紅外發(fā)光 LED,另一部分是反射立面，近紅外發(fā)光LED采用具有聚焦功能的近紅外LED，發(fā)光聚焦角度 α為30度到40度，近紅外LED的發(fā)光中心線與手指平面成一定角度β ^ α/2，對(duì)于正常大小的手指有80%的光量直接照射到手指，另有20%左右的光量通過反射立面照射到手指的另一邊，優(yōu)點(diǎn)是手指放置習(xí)慣自然，手指受光均勻，不會(huì)出現(xiàn)兩邊高亮和一邊亮一邊暗的情況從而影響圖像質(zhì)量，還能有效減小裝置尺寸。圖4為手指在本發(fā)明中各部位命名示意圖，每根手指共有五個(gè)部分第一指節(jié) 601 (指紋部分)，第一指節(jié)紋602 (第一指節(jié)和第二指節(jié)分界處)，第二指節(jié)603，第二指節(jié)紋604(第二指節(jié)和第三指節(jié)分界處)，第三指節(jié)605。其中指紋采集區(qū)域?yàn)?06，指靜脈中心子塊為607，指靜脈中心子塊607包括了第一指節(jié)紋和第二指節(jié)紋。見圖5和圖6指靜脈單模態(tài)認(rèn)證實(shí)施例適合小規(guī)模用戶容量識(shí)別圖5和圖6分別為本實(shí)施例指靜脈單模態(tài)認(rèn)證裝置結(jié)構(gòu)圖和截面圖，近紅外LED光源裝置101在手指的左側(cè)上方，第三指節(jié)感應(yīng)開關(guān)401和第一指節(jié)感應(yīng)開關(guān)402分別在第三指節(jié)(指根)605和第一指節(jié)(指尖)601的下方2-5mm處，手指感應(yīng)開關(guān)400用何傳感器并無特定限制，在本發(fā)明的所有實(shí)施例中均采用靜電電容式的觸摸傳感器，當(dāng)手指接近傳感器時(shí)電容會(huì)發(fā)生變化，當(dāng)電容變化達(dá)到一定閾值的時(shí)候傳感器會(huì)發(fā)出高電平信號(hào)， 進(jìn)而可以檢測是否有手指放置，只有同時(shí)檢測到第三指節(jié)感應(yīng)開關(guān)401和第一指節(jié)感應(yīng)開關(guān)402都為高電平信號(hào)時(shí)才認(rèn)為手指已經(jīng)放置。指靜脈圖像采集裝置102與嵌入式SOC認(rèn)證模塊500在同一塊電路板上，指靜脈圖像采集裝置102通過接收手指透射的近紅外光進(jìn)行成像。嵌入式SOC認(rèn)證模塊500與第三指節(jié)感應(yīng)開關(guān)401和第一指節(jié)感應(yīng)開關(guān)402連接， 同時(shí)與指靜脈圖像采集裝置102和近紅外LED光源裝置101連接，當(dāng)通過手指感應(yīng)開關(guān)400 檢測到手指放置后，嵌入式SOC認(rèn)證模塊500會(huì)打開近紅外LED光源裝置101并通過指靜脈圖像采集裝置102采集指靜脈圖像；對(duì)于不同粗細(xì)的手指，如果光源強(qiáng)度和CMOS傳感器的曝光時(shí)間一定則會(huì)出現(xiàn)指靜脈圖像過暗和過亮的情況，需要根據(jù)采集的指靜脈圖像灰度直方圖動(dòng)態(tài)調(diào)節(jié)光源強(qiáng)度和CMOS曝光時(shí)間，以適應(yīng)不同類型的手指，在本發(fā)明的所有實(shí)施例中均采用PWM(脈寬調(diào)制)的方式控制近紅外LED光源裝置的亮度，提高占空比則減小光源亮度，進(jìn)而圖像變暗，減小占空比則加大光源亮度，進(jìn)而圖像變亮；通過I2C直接設(shè)置CMOS 曝光寄存器調(diào)整曝光時(shí)間，曝光時(shí)間加大則圖像變亮，曝光時(shí)間減小則圖像變暗。如果圖像質(zhì)量滿足要求，則進(jìn)行手指邊緣檢測，定位靜脈中心子塊，圖像增強(qiáng)，濾波，歸一化，二值化和特征提取，并根據(jù)用戶指令進(jìn)行特征登記或特征比對(duì)等。如特征比對(duì)相似度大于設(shè)定閾值則靜脈認(rèn)證成功。見圖7和圖8指靜脈指節(jié)紋雙模態(tài)融合認(rèn)證實(shí)施例適合較大規(guī)模用戶容量識(shí)別和對(duì)安全要求較高的應(yīng)用；圖7和圖8分別為本實(shí)施例指靜脈指節(jié)紋雙模態(tài)融合認(rèn)證裝置結(jié)構(gòu)圖和截面圖， 總體結(jié)構(gòu)與指靜脈單模態(tài)認(rèn)證裝置實(shí)施例相同，不同之處在于在嵌入式SOC認(rèn)證模塊500 所在的電路板上增加了 LED光源裝置201，LED光源裝置201受嵌入式SOC認(rèn)證模塊500控制，照射指腹部位，指節(jié)紋圖像采集裝置202接收手指腹部反射的光進(jìn)行成像。本實(shí)施例中指節(jié)紋圖像采集裝置202與指靜脈圖像采集裝置102共用，為了避免光源互相干擾，需要對(duì)光源進(jìn)行實(shí)時(shí)控制。當(dāng)手指感應(yīng)開關(guān)400檢測到手指放置后，嵌入式SOC認(rèn)證裝置500會(huì)首先開啟LED 光源裝置201 (近紅外LED光源裝置101處于關(guān)閉狀態(tài))，采集指節(jié)紋圖像，并進(jìn)行灰度化， 邊緣檢測，歸一化，圖像增強(qiáng)，濾波，二值化，細(xì)化，特征提取等操作，提取第一指節(jié)紋602和第二指節(jié)紋604位置信息，如果指節(jié)紋特征不存在，則判斷為非法手指，給出提示信息；如果指節(jié)紋特征合法，依據(jù)指節(jié)紋的位置信息精確定位指靜脈中心子塊607，并同時(shí)與登記的指節(jié)紋特征進(jìn)行比對(duì)，所有比對(duì)相似度大于設(shè)定閾值的用戶為用戶集合W。然后再進(jìn)行指靜脈比對(duì)，根據(jù)指靜脈比對(duì)的相似度給出最終認(rèn)證結(jié)果。具體指靜脈認(rèn)證流程同指靜脈單模態(tài)認(rèn)證實(shí)施例，在此不再詳述。見圖9和圖10指靜脈指紋雙模態(tài)融合認(rèn)證實(shí)施例適合較大規(guī)模用戶容量識(shí)別， 指紋質(zhì)量不高的群體也可以使用，安全要求較高的應(yīng)用；圖9和圖10分別為本實(shí)施例指靜脈指紋雙模態(tài)融合認(rèn)證裝置結(jié)構(gòu)圖和截面圖，總體結(jié)構(gòu)與指靜脈單模態(tài)認(rèn)證裝置實(shí)施例相同，不同之處在于用指紋圖像采集模塊300替換第一指節(jié)感應(yīng)開關(guān)402，指紋圖像采集模塊300與嵌入式SOC認(rèn)證模塊500連接；指紋圖像采集模塊300為公知部件，在此不作詳細(xì)說明。當(dāng)?shù)谌腹?jié)感應(yīng)開關(guān)401檢測到手指放置后，嵌入式SOC認(rèn)證模塊500先采集指紋圖像，并對(duì)指紋圖像進(jìn)行質(zhì)量評(píng)價(jià)和提取指紋特征，根據(jù)登記的指紋特征進(jìn)行指紋比對(duì)得到用戶集合m，然后再進(jìn)行指靜脈比對(duì)，根據(jù)指靜脈比對(duì)的相似度給出最終認(rèn)證結(jié)果。具體指靜脈認(rèn)證流程同指靜脈單模態(tài)認(rèn)證實(shí)施例，在此不再詳述。見圖11和圖12指靜脈指節(jié)紋指紋三模態(tài)融合認(rèn)證實(shí)施例適合超大規(guī)模用戶容量識(shí)別，指紋質(zhì)量不高的群體也可以使用，安全要求很高的應(yīng)用；圖11和圖12分別為本實(shí)施例指靜脈指節(jié)紋指紋三模態(tài)融合認(rèn)證裝置結(jié)構(gòu)圖和截面圖，總體結(jié)構(gòu)與指靜脈指紋雙模態(tài)融合認(rèn)證實(shí)施例相同，不同之處在于在嵌入式SOC認(rèn)證模塊500所在的電路板上增加了 LED光源裝置201，LED光源裝置201受嵌入式SOC認(rèn)證模塊500控制，照射指腹部位，指節(jié)紋圖像采集裝置202接收手指腹部反射的光進(jìn)行成像。 本實(shí)施例中指節(jié)紋圖像采集裝置202與指靜脈圖像采集裝置102共用，為了避免光源互相干擾，需要對(duì)光源進(jìn)行實(shí)時(shí)控制。具體指節(jié)紋、指紋和指靜脈采集原理和認(rèn)證過程與指靜脈指節(jié)紋雙模態(tài)融合認(rèn)證實(shí)施例相同，在此不再詳述；下面以指靜脈指節(jié)紋指紋三模態(tài)融合認(rèn)證實(shí)施例特征登記和特征比對(duì)方法做更近一步的說明圖13為指節(jié)紋指紋指靜脈三模態(tài)融合認(rèn)證實(shí)施例的特征登記流程圖。S101，檢測手指是否正確放置，具體是檢測第三指節(jié)感應(yīng)開關(guān)401是否為高電平， 如果為高電平則認(rèn)為手指正確放置，如為低電平，則手指沒有正確放置；S102,只有檢測到手指正確放置后才繼續(xù)登記，否則一直檢測；S103,當(dāng)檢測到手指放置的時(shí)候，嵌入式SOC認(rèn)證模塊500開啟LED光源201照射手指腹部(近紅外LED光源101關(guān)閉狀態(tài))；S104,開啟LED光源裝置201后通過圖像采集裝置102或202采集指節(jié)紋圖像；S105，采集完指節(jié)紋圖像后關(guān)閉LED光源裝置201 ；S106，提取指節(jié)紋特征信息，在提取指節(jié)紋特征信息前還需要做圖像預(yù)處理、圖像增強(qiáng)、濾波、二值化和細(xì)化等必要圖像處理；S107，提取完指節(jié)紋特征后接著采集指紋圖像；S108，指紋圖像質(zhì)量評(píng)價(jià)，具體是根據(jù)采集的指紋圖像清晰度和完整度進(jìn)行指紋圖像質(zhì)量評(píng)價(jià)，并根據(jù)評(píng)價(jià)結(jié)果定義指紋特征的權(quán)重；S109，如指紋圖像質(zhì)量符合要求，則提取指紋特征；S110，完成指節(jié)紋和指紋特征提取后進(jìn)行指靜脈的采集和特征提取，在采集指靜脈圖像之前必須打開近紅外LED光源裝置101 ；S111，采集指靜脈圖像，通過指靜脈圖像采集裝置102采集指靜脈圖像；S112，評(píng)價(jià)指靜脈圖像質(zhì)量，對(duì)于過小或過粗大的手指采集的指靜脈圖像會(huì)過亮或過暗，需要針對(duì)不同類型的手指進(jìn)行調(diào)整，提高采集的指靜脈圖像質(zhì)量；Sl 13，判斷圖像質(zhì)量是否符合要求，如不符合要求需要重新采集，具體是根據(jù)指靜脈圖像的直方圖信息進(jìn)行評(píng)價(jià)，如主體灰度空間在要求范圍之內(nèi)則認(rèn)為圖像符合要求；S114，如果圖像不符合要求需要重新采集，則根據(jù)直方圖灰度空間信息調(diào)整光源亮度和CMOS曝光時(shí)間重新采集和評(píng)價(jià)；S115，如圖像質(zhì)量符合要求，則根據(jù)指節(jié)紋位置信息進(jìn)行定位并剪切指靜脈中心子塊607，經(jīng)過圖像增強(qiáng)，濾波，歸一化和二值化等圖像處理流程，最后提取指靜脈特征信息；S116，指節(jié)紋、指紋和指靜脈特征信息都提取完成后保存所有提取的特征信息，以備特征比對(duì)時(shí)使用。圖14為指節(jié)紋指紋指靜脈三模態(tài)融合認(rèn)證實(shí)施例的特征比對(duì)流程圖。S201，檢測手指是否正確放置，在認(rèn)證采集圖像之前需要檢測手指是否正確放置；S202，只有檢測到手指正確放置后才能開始認(rèn)證，否則一直檢測手指是否正確放置；S203，如果檢測到手指正確放置，則開啟LED光源201(近紅外LED光源101關(guān)閉狀態(tài))；S204，開啟LED光源201后通過圖像采集裝置102/202采集指節(jié)紋圖像；S205，采集完指節(jié)紋圖像后關(guān)閉LED光源201 ；S206，提取指節(jié)紋特征信息，在提取指節(jié)紋特征信息前還需要做圖像預(yù)處理、圖像增強(qiáng)、濾波、二值化和細(xì)化等必要圖像處理；S207，根據(jù)提取的指節(jié)紋特征與登記的指節(jié)紋特征根據(jù)設(shè)定的閾值進(jìn)行比對(duì)，得到所有高于設(shè)定閾值的用戶集合W；S208，采集指紋圖像；S209，指紋圖像質(zhì)量評(píng)價(jià)，具體是根據(jù)采集的指紋圖像清晰度和完整度進(jìn)行指紋圖像質(zhì)量評(píng)價(jià)，并根據(jù)評(píng)價(jià)結(jié)果定義指紋特征的權(quán)重；S210，如指紋圖像質(zhì)量符合要求則提取指紋特征信息；S211，在用戶集合m中進(jìn)行指紋特征比對(duì)得到用戶集合N2 ；S212，開啟近紅外LED光源101 ；S213，通過圖像采集裝置102采集指靜脈圖像；S214，評(píng)價(jià)指靜脈圖像質(zhì)量；S215，如圖像過亮或過暗需要重新采集；S216，根據(jù)圖像亮度信息調(diào)整光源亮度和CMOS曝光寄存器重新采集圖像；S217，根據(jù)指節(jié)紋位置信息定位并剪切指靜脈中心子塊607 ；S218，指靜脈圖像增強(qiáng)、濾波、歸一化和二值化等圖像處理操作；S219，提取指靜脈譜特征進(jìn)行比對(duì)；S220，在用戶集合N2中進(jìn)行指靜脈特征比對(duì)；S221，如果比對(duì)相似度大于設(shè)定閾值，則認(rèn)證成功，否則認(rèn)證失?。籗222，認(rèn)證成功；S223，認(rèn)證失?。灰陨蠈?shí)施例僅用以說明本發(fā)明而非限制本發(fā)明所描述的技術(shù)方案和實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本領(lǐng)域的普通技術(shù)人員還可以對(duì)本發(fā)明進(jìn)行修改或者同等替換；而一切不脫離本發(fā)明的精神和范圍的技術(shù)方案及其改進(jìn)，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
例如，在上述實(shí)施例中，指紋采集識(shí)別裝置換為電容傳感器指紋識(shí)別裝置，或改變指紋識(shí)別裝置安裝方式均可實(shí)現(xiàn)相同效果。
權(quán)利要求
1. 一種基于指部生物特征的多模態(tài)身份認(rèn)證裝置，其特征在于它是由指靜脈圖像采集模塊(100)、指節(jié)紋圖像采集模塊000)、指紋圖像采集模塊(300)、手指感應(yīng)開關(guān) 000)、嵌入式SOC認(rèn)證模塊(500)、控制盒(900)、輸入輸出接口(800)和電源模塊(700) 組成；上述所有的模塊、手指感應(yīng)開關(guān)及輸入輸出接口都安裝在控制盒上，指靜脈圖像采集模塊(100)、指節(jié)紋圖像采集模塊(200)和指紋圖像采集模塊(300)與嵌入式SOC認(rèn)證模塊(500)的圖像輸入接口連接，實(shí)現(xiàn)靜脈、指節(jié)紋和指紋生物特征的采集，手指感應(yīng)開關(guān)(400)與嵌入式SOC認(rèn)證模塊(500)的GPIO接口連接，實(shí)現(xiàn)手指放置的檢測；電源模塊 (700)與各模塊連接并為各模塊提供工作所需電源；所述的指靜脈圖像采集模塊(100)，由近紅外LED光源裝置(101)和靜脈圖像采集裝置(10 組成，前者放置在控制盒(900)上端面板上，后者放置在控制盒(900)底部，它們與嵌入式SOC認(rèn)證模塊(500)連接，嵌入式SOC認(rèn)證模塊(500)采集靜脈圖像后分析圖像， 若過亮或過暗都會(huì)自動(dòng)調(diào)整近紅外LED光源裝置(101)的亮度和靜脈圖像采集裝置(102) 的曝光時(shí)間，實(shí)現(xiàn)高質(zhì)量的近紅外指靜脈脈絡(luò)圖像采集；該近紅外LED光源裝置(101)為 850nm近紅外發(fā)光二極管，為了使手指受光均勻并充分利用光源，設(shè)置于手指側(cè)上方并距離手指背面大概4-8mm處依次平行排列，并與手指平面呈預(yù)定角度；為了適應(yīng)粗細(xì)大小不同的手指，近紅外二極管光源亮度可調(diào)，通過脈寬調(diào)制即PWM方式動(dòng)態(tài)開/關(guān)和亮度調(diào)節(jié)；為增強(qiáng)手指左右兩邊的受光均勻性，設(shè)置有近紅外光源反射裝置(10 ，它放置在近紅外LED 光源裝置(101)的對(duì)面和控制盒上端，并與近紅外LED光源裝置(101)平行，具有反射近紅外光的作用，增強(qiáng)手指受光均勻性，該近紅外光源反射裝置(103)是鏡子或具有反射光線作用的材料制作；該靜脈圖像采集裝置(10 是由鏡頭、濾光片和CM0S/C⑶感光器件組成， 濾光片的位置在鏡頭與CMOS/CCD感光傳感器之間；該鏡頭采用普通的手機(jī)或USB攝像頭鏡頭；該濾光片采用普通的850nm帶通濾光片，只能透過波長為850nm的近紅外光；該CMOS/ CXD感光器件采用普通的CMOS或CXD傳感器；它放置于控制盒(900)底部中間位置，用于采集手指中間部位靜脈紋理圖像；所述指節(jié)紋圖像采集模塊(200)，由LED光源裝置(201)和指節(jié)紋圖像采集裝置O02) 組成，它們都安裝在控制盒(900)的底部位置，其中指節(jié)紋圖像采集裝置(20 可與指靜脈圖像采集模塊(100)中的靜脈圖像采集裝置(10 相同復(fù)用，與嵌入式SOC認(rèn)證模塊(500) 連接；該LED光源裝置O01)由發(fā)光二極管組成，從控制盒(900)底部向上照射手指腹部， 從而通過指節(jié)紋圖像采集裝置(20 采集指節(jié)紋圖像；所述指紋圖像采集模塊(300)，采用現(xiàn)有的指紋采集模塊，與嵌入式SOC認(rèn)證模塊 (500)連接；所述手指感應(yīng)開關(guān)G00)，由一個(gè)即需要采集指紋的時(shí)候或兩個(gè)即不需要采集指紋的時(shí)候電容觸摸感應(yīng)開關(guān)組成，是按需選購；它們分別放置于第三指節(jié)(605)和第一指節(jié) (601)下方2-5MM處，與嵌入式SOC認(rèn)證模塊(500)連接，手指(600)正確放置后會(huì)給出高電平信號(hào)；所述嵌入式SOC認(rèn)證模塊(500)，包括中央處理器CPU，內(nèi)存RAM，存儲(chǔ)器FLASH部件都集成在一顆芯片中，組成單芯片系統(tǒng)，F(xiàn)LASH用于存儲(chǔ)程序和用戶特征登記數(shù)據(jù)；本模塊作為系統(tǒng)的主控模塊，有并行和串行兩種工作模式；并行模式是指靜脈認(rèn)證、指紋認(rèn)證和指節(jié)紋認(rèn)證有各自獨(dú)立的嵌入式SOC認(rèn)證模塊(500)，系統(tǒng)并行采集和認(rèn)證靜脈、指紋和指節(jié)紋；串行模式是指靜脈、指紋、指節(jié)紋共用一個(gè)嵌入式SOC認(rèn)證模塊(500)，系統(tǒng)按順序?qū)崿F(xiàn)指節(jié)紋、指紋和指靜脈的采集和認(rèn)證；所述控制盒(900)是一個(gè)箱式盒體結(jié)構(gòu)，裝置的所有部件都安裝其上；其上部呈倒L 形結(jié)構(gòu)，用于安裝近紅外發(fā)光二極管；其中部設(shè)置有類似手指形的凹槽，用于放置和檢測手指；其下部呈箱式狀用于安裝各模塊、零部件及線纜；所述輸入輸出接口(800)為USB、UART、GPI0常用輸入輸出接口 ； 所述電源模塊(700)為各模塊提供工作所需電源，有5V、3. 3V、1. 8電壓輸出，具體是利用USB的5V電源和LDO電源轉(zhuǎn)換芯片進(jìn)行轉(zhuǎn)換。
2. 一種基于指部生物特征的多模態(tài)身份認(rèn)證方法，其特征在于該方法包括特征登記和特征比對(duì)過程；特征登記的具體步驟如下 步驟一，系統(tǒng)啟動(dòng)；步驟二，檢測手指第三指節(jié)(605)是否正確放置； 步驟三，正確放置后開啟LED光源裝置001)，采集指節(jié)紋圖像； 步驟四，提取指節(jié)紋灰度信息，并進(jìn)行圖像增強(qiáng)、二值化和細(xì)化處理，提取第一指節(jié)紋 (602)和第二指節(jié)紋(604)相對(duì)位置信息，作為指節(jié)紋特征信息；根據(jù)指節(jié)紋位置信息實(shí)現(xiàn)手指位置的精確定位；若提取第一指節(jié)紋和第二指節(jié)紋失敗則提示用戶手指放置錯(cuò)誤，需要重新放置；步驟五，采集指紋圖像，分析指紋圖像質(zhì)量，提取指紋特征并根據(jù)指紋圖像質(zhì)量定義指紋特征的權(quán)重；步驟六，開啟近紅外LED光源裝置(101)，采集指靜脈圖像；步驟七，檢測指靜脈圖像，若圖像過暗或過亮則調(diào)整光源亮度和曝光時(shí)間后重新采集指靜脈圖像；步驟八，剪切指靜脈中心子塊，進(jìn)行圖像增強(qiáng)、濾波、歸一化、二值化和指靜脈特征提??；步驟九，保存指節(jié)紋、指紋和指靜脈特征信息； 特征比對(duì)的具體步驟如下 步驟一，系統(tǒng)啟動(dòng)；步驟二，檢測手指第三指節(jié)(605)是否正確放置； 步驟三，正確放置后開啟LED光源裝置001)，采集指節(jié)紋圖像； 步驟四，提取指節(jié)紋灰度信息，并進(jìn)行圖像增強(qiáng)、二值化和細(xì)化處理，提取第一指節(jié)紋 (602)和第二指節(jié)紋(604)相對(duì)位置信息，根據(jù)指節(jié)紋位置信息實(shí)現(xiàn)手指位置的精確定位； 若提取第一指節(jié)紋和第二指節(jié)紋失敗則提示用戶手指放置錯(cuò)誤，需要重新放置，手指的精確定位有效提高指靜脈的比對(duì)速度和認(rèn)證精度；步驟五，根據(jù)指節(jié)紋各紋線的位置關(guān)系與登記用戶的指節(jié)紋特征進(jìn)行特征比對(duì)，所有比對(duì)相似度大于設(shè)定閾值的用戶為用戶集合W；步驟六，采集指紋圖像，分析指紋圖像質(zhì)量，提取指紋特征并根據(jù)指紋圖像質(zhì)量定義指紋特征的權(quán)重，并在用戶集合W中進(jìn)行指紋特征比對(duì)，所有比對(duì)相似度大于設(shè)定閾值的用戶為用戶集合N2 ；步驟七，開啟近紅外LED光源裝置(101)，采集指靜脈圖像；步驟八，檢測指靜脈圖像，若圖像過暗或過亮則調(diào)整光源亮度和曝光時(shí)間后重新采集指靜脈圖像；步驟九，剪切指靜脈中心子塊，進(jìn)行圖像增強(qiáng)、濾波、歸一化、二值化和指靜脈特征提取，并在用戶集合N2中進(jìn)行靜脈特征比對(duì)，若比對(duì)相似度大于設(shè)定閾值則比對(duì)成功，否則比對(duì)失敗。
3.根據(jù)權(quán)利要求1所述的一種基于指部生物特征的多模態(tài)身份認(rèn)證裝置，其特征在于該近紅外發(fā)光二極管的數(shù)量為4-8個(gè)。
4.根據(jù)權(quán)利要求1所述的一種基于指部生物特征的多模態(tài)身份認(rèn)證裝置，其特征在于該發(fā)光二極管的數(shù)量為2-4個(gè)。
5.根據(jù)權(quán)利要求1所述的一種基于指部生物特征的多模態(tài)身份認(rèn)證裝置，其特征在于該近紅外發(fā)光二極管的發(fā)光角與手指平面呈1/2-1/3的預(yù)定角度。
全文摘要
一種基于指部生物特征的多模態(tài)身份認(rèn)證裝置，它是由指靜脈圖像采集模塊、指節(jié)紋圖像采集模塊、指紋圖像采集模塊、手指感應(yīng)開關(guān)、嵌入式SOC認(rèn)證模塊、控制盒、輸入輸出接口和電源模塊組成；上述的模塊、手指感應(yīng)開關(guān)及輸入輸出接口都安裝在控制盒上，指靜脈圖像采集模塊、指節(jié)紋圖像采集模塊和指紋圖像采集模塊與嵌入式SOC認(rèn)證模塊的圖像輸入接口連接，實(shí)現(xiàn)靜脈、指節(jié)紋和指紋生物特征的采集，手指感應(yīng)開關(guān)與嵌入式SOC認(rèn)證模塊的GPIO接口連接，實(shí)現(xiàn)手指放置的檢測；電源模塊與各模塊連接提供工作所需電源。一種基于指部生物特征的多模態(tài)身份認(rèn)證方法，它包括特征登記和特征比對(duì)，各有九大步驟。本發(fā)明有效的提高身份識(shí)別的安全性，具有廣闊的應(yīng)用前景。
文檔編號(hào)G06K9/00GK102542263SQ20121002516
公開日2012年7月4日 申請(qǐng)日期2012年2月6日 優(yōu)先權(quán)日2012年2月6日
發(fā)明者梁愛華 申請(qǐng)人:北京鑫光智信軟件技術(shù)有限公司