專利名稱：瞳孔檢測裝置和虹膜認證裝置的制作方法
技術領域：
本發(fā)明涉及可在個人認證等中使用的虹膜認證裝置，特別是涉及從包括眼睛的圖像(以下簡稱為“眼睛圖像”)中檢測瞳孔的位置的瞳孔檢測裝置。
背景技術：
過去以來提出了從眼睛圖像中檢測出瞳孔位置的各種各樣的方法，例如，已知的有將眼睛圖像的圖像數(shù)據(jù)(以下簡稱為“眼睛圖像數(shù)據(jù)”)2值化(黑白化)，來檢測低輝度區(qū)域中的圓形區(qū)域的方法，或者對于半徑為r而中心坐標為(x0，y0)的圓的弧計算圖像強度I(x，y)的環(huán)圓周積分，并計算隨著半徑r增加而與r有關的該量的部分的導函數(shù)的方法(例如參見特表平8-504979號公報)等。此外，對于消除睫毛或外來光反射的影響來提高檢測精度的方法也提出了一些方案(例如特開2002-119477號公報)。
為了使用這些方法精度良好地檢測瞳孔，需要高速地處理龐大的圖像數(shù)據(jù)，即使是使用處理能力高的大的CPU或大容量存儲器，在現(xiàn)有的狀況下也難以實時地處理眼睛圖像的圖像數(shù)據(jù)。此外，如果將CPU的處理量減少到能夠?qū)崟r地處理圖像數(shù)據(jù)的程度，則會出現(xiàn)檢測精度降低等的問題。

發(fā)明內(nèi)容
本發(fā)明提供能夠高速且精度良好地進行瞳孔位置的檢測的瞳孔檢測裝置和虹膜認證裝置。
本發(fā)明的瞳孔檢測裝置，具備從眼睛圖像中檢測成為瞳孔的候補的瞳孔候補的位置的瞳孔候補檢測部；保持多個瞳孔候補檢測部所檢測出的瞳孔候補的位置的瞳孔候補保持部；以及將被保持在瞳孔候補保持部的瞳孔候補之中的、在距離瞳孔候補的中心位置指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補選擇為瞳孔的瞳孔選擇部。


圖1是使用本發(fā)明的實施例1的瞳孔檢測裝置的虹膜認證裝置的電路框圖。
圖2A是表示包含瞳孔的圖像的一例的圖。
圖2B是表示對于積分圓的半徑的積分值的圖。
圖2C是表示用積分圓的半徑對積分值進行微分后的值的圖。
圖2D是表示在眼睛圖像上移動的積分圓的圖。
圖3A是表示積分圓位于虹膜區(qū)域時的眼睛圖像及此時的輝度的一例的圖。
圖3B是表示積分圓位于眼鏡框上時的眼睛圖像及此時的輝度的一例的圖。
圖4是同一實施例的瞳孔檢測裝置的電路框圖。
圖5是同一實施例的圖像數(shù)據(jù)提取部的電路圖。
圖6是同一實施例的瞳孔候補保持部和瞳孔選擇部的電路框圖。
圖7是用于說明同一實施例的瞳孔選擇部的動作的圖。
圖8是表示同一實施例的瞳孔檢測裝置的眼睛圖像的1幀的動作的流程圖。
圖9是本發(fā)明的另一實施例中的用于從瞳孔候補中選擇瞳孔的流程圖。
標記說明120 拍攝部130 照明部
140 認證處理部200 瞳孔檢測裝置220 圖像數(shù)據(jù)提取部230 環(huán)圓周積分部240 輝度差算出部250 變化圓檢測部260 指針部280 瞳孔候補保持部290 瞳孔選擇部具體實施方式
本發(fā)明的瞳孔檢測裝置，具備從眼睛圖像中檢測能夠成為瞳孔的候補的瞳孔候補的位置的瞳孔候補檢測部；保持多個瞳孔候補檢測部所檢測出的瞳孔候補的位置的瞳孔候補保持部；以及將被保持在瞳孔候補保持部的瞳孔候補之中的、在距離瞳孔候補的中心位置指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補選擇為瞳孔的瞳孔選擇部。利用這種結構，能夠提供出能夠精度良好且高速地進行瞳孔位置的檢測的瞳孔檢測裝置。
此外，本發(fā)明的瞳孔檢測裝置，具備將同心圓狀的多個圓分別作為積分圓設定在眼睛圖像上，并提取位于上述積分圓的圓周上的眼睛圖像的圖像數(shù)據(jù)的圖像數(shù)據(jù)提取部；將圖像數(shù)據(jù)提取部提取的圖像數(shù)據(jù)沿著積分圓中的每一者的圓周進行積分的環(huán)圓周積分部；從上述多個積分圓中檢測上述環(huán)圓周積分部的積分值相對于積分圓的半徑階躍狀地變化的積分圓的變化圓檢測部；將由變化圓檢測部檢測出的積分圓的中心坐標作為瞳孔候補的坐標位置進行保持的瞳孔候補保持部；以及選擇由瞳孔候補保持部所保持的瞳孔候補之中的、在距離瞳孔候補的中心坐標指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補的瞳孔選擇部。利用這種結構，能夠使用規(guī)模比較小的電路對于由拍攝部拍攝的圖像數(shù)據(jù)實時地進行瞳孔檢測。
此外，本發(fā)明的瞳孔檢測裝置的變化圓檢測部，將環(huán)圓周積分部的積分值相對于積分圓的半徑階躍狀地進行變化的變化大小作為評價值輸出；瞳孔候補保持部，將檢測輸入數(shù)據(jù)中的具有最大值的數(shù)據(jù)的最大值檢測器多個串聯(lián)地連接而構成，其通過向瞳孔候補保持部輸入評價值而按照評價值大的順序保持瞳孔候補。利用這種結構，能夠使用評價值按著大的順序排列瞳孔候補。
此外，本發(fā)明的瞳孔檢測裝置的最大值檢測器，也可以是如下的結構，具備保持輸入數(shù)據(jù)的寄存器、比較保持在寄存器內(nèi)的數(shù)據(jù)和輸入數(shù)據(jù)的比較器、以及選擇并輸出保持在寄存器內(nèi)的數(shù)據(jù)或輸入數(shù)據(jù)中的任何一者的選擇器；寄存器，根據(jù)比較器的輸出，當輸入數(shù)據(jù)比所保持的數(shù)據(jù)大時，保持上述輸入數(shù)據(jù)；選擇器，根據(jù)比較器的輸出，當輸入數(shù)據(jù)比寄存器所保持的數(shù)據(jù)大時，選擇寄存器所保持的數(shù)據(jù)，而當輸入數(shù)據(jù)比寄存器所保持的數(shù)據(jù)小時，則選擇輸入數(shù)據(jù)。利用這種結構，能夠用比較簡單的電路實現(xiàn)最大值檢測器。
此外，本發(fā)明的瞳孔檢測裝置的瞳孔選擇部，也可以是如下的結構，即、對于多個瞳孔候補，將相互距離接近的瞳孔候補作為1個組進行分組，從各自的組中選擇瞳孔候補的數(shù)量最多的組、或瞳孔候補的評價值的總和最高的組，并從該被選擇的組中決定瞳孔位置。利用這種結構，能夠使用比較簡單的算法實現(xiàn)瞳孔選擇部。
本發(fā)明的虹膜認證裝置，具備本發(fā)明的瞳孔檢測裝置。利用這種結構，能夠提供出裝載了能夠精度良好且高速地進行瞳孔位置的檢測的瞳孔檢測裝置的虹膜認證裝置。
下面，使用附圖對使用本發(fā)明的實施例的瞳孔檢測裝置的虹膜認證裝置進行說明。
(實施例1)圖1是使用本發(fā)明的實施例1的瞳孔檢測裝置200的虹膜認證裝置100的電路框圖。在圖1中，除了瞳孔檢測裝置200之外，還表示出用于構成虹膜認證裝置100所需要的拍攝部120、照明部130和認證處理部140。
實施例1的虹膜認證裝置100，具備拍攝使用者的眼睛圖像的拍攝部120；從眼睛圖像中檢測瞳孔位置及其半徑的瞳孔檢測裝置200；將從眼睛圖像得到的虹膜代碼與已經(jīng)登錄的虹膜代碼進行比較以進行個人認證的認證處理部140；照射適于取得眼睛圖像的光量的近紅外線而對使用者的眼睛及其周邊部分進行照明的照明部130。
拍攝部120，具有引導反射鏡121、可見光截止濾光器122、透鏡123、拍攝元件124和前處理部125。在實施例中，通過作為透鏡123使用固定焦點透鏡來實現(xiàn)光學系統(tǒng)的小型、輕量化和低成本化。引導反射鏡121，通過使用者映入自己的眼睛而將眼睛向正確的拍攝位置引導。
并且，使用者的眼睛通過透鏡123、可見光截止濾光器122由拍攝元件124進行拍攝。前處理部125，從拍攝元件124的輸出信號中取出圖像數(shù)據(jù)成分，在作為增益調(diào)整等圖像數(shù)據(jù)進行了需要的處理的基礎上，作為使用者的眼睛圖像數(shù)據(jù)輸出。
瞳孔檢測裝置200，具有瞳孔候補檢測部210、瞳孔候補保持部280、以及瞳孔選擇部290，其從眼睛圖像中檢測出瞳孔位置及其半徑并向認證處理部140輸出。
認證處理部140，根據(jù)瞳孔檢測裝置200所檢測出的瞳孔中心坐標和瞳孔半徑，從眼睛圖像數(shù)據(jù)中分出虹膜圖像。然后，通過將虹膜圖像變換成表示虹膜的模樣的固有的虹膜代碼，并將其與已經(jīng)登錄的虹膜代碼進行比較來執(zhí)行認證動作。
下面，對瞳孔檢測裝置200的瞳孔檢測方法進行說明。圖2A～2D是用于說明本發(fā)明的實施例1的瞳孔檢測裝置200的瞳孔檢測方法的圖。圖2A是表示包含瞳孔的圖像的一例的圖，圖2B是表示對于積分圓的半徑的積分值的圖，圖2C是表示用積分圓的半徑對積分值進行微分后的值的圖，圖2D是表示在眼睛圖像上移動的積分圓的圖。
如圖2A所示，包含瞳孔的圖像，存在表示瞳孔的圓盤狀的低輝度區(qū)域和在其外側表示虹膜的圓環(huán)狀的中輝度區(qū)域。因此，當以瞳孔中心的位置坐標(Xo，Yo)為中心沿著半徑R的積分圓C的圓周對圖像數(shù)據(jù)進行環(huán)圓周積分時，則如圖2B所示，積分值I在瞳孔半徑為Ro時階躍狀地進行變化。因此，通過求出用半徑R對積分值I進行微分后的值dI/dR超過閾值(以下記為“差閾值”)ΔIth時的積分圓的半徑，就能夠知道瞳孔半徑Ro。
根據(jù)以上的思考方法，瞳孔檢測裝置200檢測瞳孔的位置坐標(Xo，Yo)以及瞳孔半徑Ro。首先，如圖2D所示，在眼睛圖像上設定中心坐標相等而半徑不同的n個積分圓C1～Cn，對于各個積分圓Ci(i＝1～n)積分位于其圓周上的圖像數(shù)據(jù)。實際上是計算位于各個積分圓Ci的圓周上的像素的圖像數(shù)據(jù)的平均值，或者，從位于圓周上的像素中選擇一定數(shù)量(m個)的像素，加算其圖像數(shù)據(jù)。
在實施例1中，設同心圓狀的積分圓的數(shù)量n為20，從位于各個積分圓Ci的圓周上的像素中選擇m＝8個像素，將加算其圖像數(shù)據(jù)的環(huán)圓周積分的積分值設為I。這時，當積分圓C1～Cn的中心與瞳孔中心一致時，如上所述，由于對于各個積分圓Ci的積分值Ii階躍狀地進行變化，所以當求積分值Ii相對于半徑R的差值ΔIi時，當半徑R與瞳孔半徑Ro相等時，就表示大的極大值。
然而，當積分圓C1～Cn的中心與瞳孔中心不一致時，由于積分值Ii緩慢地變化，所以差值ΔIi不表示大的值。因此，通過求出差值ΔIi表示比差閾值ΔIth大的值的積分圓Ci，就能夠求出瞳孔的位置及其半徑。
然后，使積分圓C1～Cn向眼睛圖像上的各個位置移動，反復進行上述的動作。這樣，通過求出差值ΔIi表示大的值時的積分圓Ci的中心坐標(X，Y)及此時的半徑R，就能夠求出瞳孔的位置坐標(Xo，Yo)和瞳孔的半徑Ro。
然而，由于圖像的原因存在偶發(fā)性地差值ΔIi表示出大的值的可能性。特別是，雖然減小積分圓的數(shù)量n或在各個積分圓上選擇的像素的數(shù)量m而能夠減少計算量，從而能夠進行高速的瞳孔檢測，但相反，偶發(fā)性地差值ΔIi表示出大的值的可能性增高，而瞳孔檢測精降低。為此，通過在瞳孔檢測裝置200中設置輝度差算出部240，對于積分圓Ci中的每一者求出圓周上的輝度的最大值與最小值之差Bi，僅僅在該差Bi小于指定的閾值(以下記為“輝度差閾值”)Bth的情況下，將積分值Ii或其差值ΔIi作為有效，就防止了瞳孔檢測精度的降低。
圖3A和圖3B是用于說明輝度差算出部240的動作的圖。圖3A是表示積分圓位于虹膜區(qū)域時的眼睛圖像及此時的輝度的一例的圖，圖3B是表示積分圓位于眼鏡框上時的眼睛圖像及此時的輝度的一例的圖。
當積分圓C1～Cn的中心與瞳孔中心一致時，由于各個積分圓Ci位于瞳孔區(qū)域內(nèi)部、虹膜區(qū)域內(nèi)部等輝度比較均勻的區(qū)域，所以圓周上的圖像數(shù)據(jù)的輝度偏差小。在圖3A中表示位于作為圓環(huán)狀的中輝度區(qū)域的虹膜區(qū)域的積分圓。在該情況下，圓周上的輝度的最大值與最小值之差Bi小，成為小于等于輝度差閾值Bth。
但是，例如圖3B所示，當積分圓C1～Cn的中心位于黑的眼鏡框的一部分上時，由于圓周上的輝度在眼鏡框上低而在皮膚的部分上變高，所以輝度的最大值與最小值之差Bi就變大。這樣，通過求出各個積分圓Ci的圓周上的輝度的最大值與最小值之差Bi，并且僅僅在該差Bi比輝度差閾值Bth小的情況下，將積分值Ii或其差值ΔIi作為有效，就能夠防止將眼鏡框誤判定為瞳孔等的誤判定，從而能夠防止瞳孔檢測精度的降低。
另外，優(yōu)選地作為輝度差閾值Bth設定得比圓周上的輝度數(shù)據(jù)的所預料的偏差稍大。從經(jīng)驗方面來說，設定為比虹膜的平均輝度與瞳孔的平均輝度之差大，而比皮膚的平均輝度與瞳孔的平均輝度之差小即可。例如，在256灰度級的圖像信號的情況下，由于瞳孔的平均輝度為40灰度級左右，虹膜的平均輝度為100灰度級左右，而皮膚的平均輝度為200灰度級左右，所以作為輝度差閾值Bth設定在60～160之間即可。
此外，作為差閾值Bth，由于積分圓位于瞳孔上時的積分值I大致為40×8＝320，而積分圓位于虹膜上時的積分值I大致為100×8＝800，所以，作為差閾值ΔIth，設定為其差480的一半左右、即設定為240左右即可。
圖4是本發(fā)明的實施例1的瞳孔檢測裝置200的電路框圖。瞳孔檢測裝置200，具備瞳孔候補檢測部210、瞳孔候補保持部280和瞳孔選擇部290。
瞳孔候補檢測部210，具備將積分圓C1～Cn設定到眼睛圖像上并提取各個積分圓Ci的圓周上的圖像數(shù)據(jù)的圖像數(shù)據(jù)提取部220、對所提取的圖像數(shù)據(jù)以每個積分圓Ci的方式進行環(huán)圓周積分的環(huán)圓周積分部230、以每個積分圓的方式求出圖像數(shù)據(jù)的最大值與最小值之差Bi的輝度差算出部240、求出積分值Ii對于半徑Ri的差值ΔIi并輸出當差值的最大值ΔI大于差閾值ΔIth時的差值ΔIi和積分圓的半徑R的變化圓檢測部250、以及表示積分圓C1～Cn的中心坐標(X，Y)的指針部260。
瞳孔候補保持部280，在變化圓檢測部250輸出比差閾值ΔIth大的差值ΔIi時，將其看作檢測出瞳孔候補的結果，并存儲多個瞳孔候補的位置坐標(X，Y)和半徑R，瞳孔選擇部290，從多個瞳孔候補中選擇出1個瞳孔。
圖5是圖像數(shù)據(jù)提取部220的電路圖。同時，在圖5中還表示出與1個積分圓Ci對應的加法器230i和輝度差算出器240i。圖像數(shù)據(jù)提取部220由部分幀存儲器222及用于從其中引出(取出)圖像數(shù)據(jù)的引出線L構成。
部分幀存儲器222，是將先進先出(FIFO型)的行存儲器224多個串聯(lián)連接起來的存儲器。并且，利用引出線Li在圖像上從與積分圓Ci對應的m個像素中引出圖像數(shù)據(jù)。另外，為了便于看圖，雖然在圖5中僅表示出1個積分圓Ci和引出位于其圓周上的4個圖像數(shù)據(jù)的引出線Li，但在實施例1中，從20個積分圓C1～C20中引出了各自8個的數(shù)據(jù)的引出線。
并且，由于每次當向部分幀存儲器222內(nèi)每1個像素地輸入圖像數(shù)據(jù)后，被保持在部分幀存儲器222內(nèi)的圖像全體就每1個像素地進行移位，因此，從引出線Li引出的圖像數(shù)據(jù)也每1個像素地進行移位。即，當向部分幀存儲器222輸入1個像素的量的圖像數(shù)據(jù)后，在眼睛圖像上積分圓C1～Cn就向右移動1個像素的量，而當輸入1行的圖像數(shù)據(jù)后，在眼睛圖像上，積分圓C1～Cn就向下移動1行的量。
這樣，在向部分幀存儲器222輸入1幀的圖像數(shù)據(jù)的期間內(nèi)，在眼睛圖像上，積分圓C1～Cn就掃描眼睛圖像全體。這時的積分圓的中心坐標(X，Y)由X計數(shù)器262和Y計數(shù)器264的輸出表示。
環(huán)圓周積分部230具備相對于積分圓C1～Cn中的每一者獨立的加法器230i～230n，其加算位于各個積分圓Ci的圓周上的m個圖像數(shù)據(jù)，并將各自的加算結果作為積分值Ii向變化圓檢測部250輸出。
輝度差算出部240，具備相對于積分圓C1～Cn中的每一者獨立的輝度差算出器240i～240n，各個輝度差算出器240i都具備檢測位于積分圓Ci的圓周上的m個圖像數(shù)據(jù)的最大值的最大值檢測器241i、檢測最小值的最小值檢測器242i、計算最大值與最小值之差Bi的減法器243i、對差Bi及輝度差閾值Bth進行比較的比較器244i。并且，向變化圓檢測部250輸出n個比較結果。
變化圓檢測部250，具備減法器252i～252n-1、選擇器253、比較器254。減法器252i求對于各個積分圓Ci的積分值Ii相對于半徑R的差。即，求對于積分圓C1～Cn之中的半徑1個數(shù)不同的積分圓Ci與Ci-1的積分值Ii與Ii-1的差值ΔIi。但是，當對于積分圓Ci的圖像數(shù)據(jù)的最大值與最小值之差Bi大于輝度差閾值Bth時，則強制性地將差值ΔIi設定為0。
然后，選擇器253和比較器254，向瞳孔候補保持部280輸出差值ΔIi大于差閾值ΔIth的積分圓C的半徑R，并且作為評價值Jo還向瞳孔候補保持部280輸出該差值ΔI。這時，由于當對于積分圓Ci的圖像數(shù)據(jù)的最大值與最小值之差Bi大于輝度差閾值Bth時，減法器252i強制性地將差值ΔIi設定為0，所以在差Bi大于輝度差閾值Bth的情況下，就不會向瞳孔候補保持部280輸出半徑Ri。
如使用圖3說明的那樣，當積分圓C1～Cn的中心與瞳孔的中心一致時，像素數(shù)據(jù)的最大值與最小值之差Bi將成為小于等于某一限定的值。但是，當與瞳孔的中心不一致時，差Bi將增大。因此，通過去除差Bi比輝度差閾值ΔIth大時的信息，能夠減少誤檢測的可能性，從而能夠提高瞳孔檢測精度。
圖6是瞳孔候補保持部280與瞳孔選擇部290的電路框圖。瞳孔候補檢測部280是多個最大值檢測器2801～280k分別被串聯(lián)連接。最大值檢測器280i中的每一者都具備保持瞳孔候補的X坐標、Y坐標、半徑R和評價值J的最大值的寄存器282i、283i、284i和285i；對輸入的評價值Ji-1和保持在寄存器285i內(nèi)的評價值Ji進行比較的比較器281i；選擇輸入的X坐標、Y坐標、半徑R以及評價值J和所保持的X坐標、Y坐標、半徑R以及評價值J中的任何一者的選擇器286i、287i、288i和289i。
向開頭的最大值檢測器2801中輸入表示積分圓的坐標的X計數(shù)器262和Y計數(shù)器264的輸出Xo、Yo，并輸入變化圓檢測部250的輸出Ro。
然后，當從變化圓檢測部250輸出的評價值Jo比寄存器2851所保持的評價值J1大時，則通過選擇器2861～2891向第2個最大值檢測器2802輸出到此為止保持在寄存器2821～2851中的X坐標X1、Y坐標Y1、半徑R1和評價值J1，并且，將新輸入的X坐標Xo、Y坐標Yo、半徑Ro和評價值Jo保持在寄存器2821～2851內(nèi)。
當評價值Jo小于等于評價值J1時，則通過選擇器2861～2891向第2個最大值檢測器2802輸出新輸入的X坐標Xo、Y坐標Yo、半徑Ro和評價值Jo。
第2個最大值檢測器2802，當從第1個最大值檢測器2801輸出的評價值J1大于寄存器2852所保持的評價值J2時，則向第3個最大值檢測器2803輸出到此為止保持在寄存器2822～2852中的X坐標X2、Y坐標Y2、半徑R2和評價值J2，并且將新輸入的X坐標X1、Y坐標Y1、半徑R1和評價值J1保持在寄存器2822～2852內(nèi)。當評價值J1小于等于評價值J2時，則向第3個最大值檢測器2803輸出新輸入的X坐標X1、Y坐標Y1、半徑R1和評價值J1。
以下同樣，第i個最大值檢測器280i，當從上游側的最大值檢測器280i-1輸出的評價值Ji-1比到此為止所保持的評價值Ji大時，則向下游側的最大值檢測器280i+1輸出到此為止所保持的數(shù)據(jù)，并且保持上游側的數(shù)據(jù)。當評價值Ji-1小于等于評價值Ji時，則向下游側輸出上游側的數(shù)據(jù)。
其結果，在開頭的最大值檢測器2801內(nèi)保持對于評價值最大的瞳孔候補的X坐標X1、Y坐標Y1、半徑R1和評價值J1，在第2個最大值檢測器2802內(nèi)保持對于第2個評價值大的瞳孔候補的X坐標X2、Y坐標Y2、半徑R2和評價值J2，在第i個最大值檢測器280i內(nèi)保持對于第i個評價值大的瞳孔候補的X坐標Xi、Y坐標Yi、半徑Ri和評價值Ji。
瞳孔選擇部290，從被保持在瞳孔候補保持部280內(nèi)的多個瞳孔候補中選擇出1個在距離瞳孔候補的中心位置指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補，并將其位置坐標和半徑作為瞳孔的位置坐標和半徑向認證處理部140輸出。在本實施例中，將指定的距離設為1.5個像素。因此，瞳孔選擇部290，對于瞳孔候補中的每一者，計數(shù)在與瞳孔候補的位置坐標(Xi，Yi)相鄰的上下左右的4個像素和斜向方向的4個像素的共計8處的像素位置上包含的瞳孔候補的數(shù)量，并將此時包含最多的瞳孔候補的瞳孔候補選擇為真的瞳孔。
在存在多個包含最多的瞳孔候補的瞳孔候補的情況下，則將這些瞳孔候補之中的評價值Ji最大的瞳孔候補選擇為真的瞳孔。其結果，由瞳孔選擇部290選擇的瞳孔，成為在其周圍存在其它的瞳孔候補的瞳孔。雖然瞳孔選擇部290也可以使用進行以上的動作的專用電路構成，但在本實施例中，使用設置在認證處理部140內(nèi)的CPU(未圖示)進行上述的處理。
圖7是用于說明瞳孔選擇部290的動作的圖。瞳孔候補P1、P2是錯誤地將睫毛檢測為瞳孔的瞳孔候補，瞳孔候補P3～P11是檢測出真的瞳孔的瞳孔候補。這樣，通常被誤檢測出的瞳孔候補大部分不會密集，但卻有在真的瞳孔的周圍瞳孔候補密集的傾向。這種傾向依賴于瞳孔候補的檢測精度，檢測精度越好則密集的瞳孔候補的數(shù)量就越少。
但是，即使提高了精度，由于還會存在依賴于拍攝元件的1個像素左右的誤差，所以在與真的瞳孔的中心位置相鄰的像素位置上存在其它的瞳孔候補的中心的可能性高。因此，通過將在周圍存在其它的瞳孔候補的瞳孔候補選擇為真的瞳孔，能夠消除錯將睫毛等檢測為瞳孔等的誤檢測，從而能夠提高瞳孔的檢測精度。
在此，優(yōu)選地由瞳孔候補保持部280檢測的瞳孔候補的數(shù)量k、以及用于由瞳孔選擇部290計數(shù)在周圍存在的瞳孔候補的數(shù)量的像素位置的數(shù)量，由瞳孔候補的檢測精度、被誤檢測的瞳孔候補的數(shù)量的估計等來決定。在本實施例中，預計在真的瞳孔的位置的上下左右聚集了各1個的瞳孔候補的可能性，作為用于計數(shù)瞳孔候補的數(shù)量的像素位置的數(shù)量，設定了包括上下左右4個像素和斜向方向4個像素的共計8個像素的區(qū)域。此外，在真的瞳孔的位置上集中有9個(真的瞳孔1個，上下左右各1個，斜向方向各1個)瞳孔候補，并假定被誤檢測的瞳孔候補最多存在6個，從而將檢測的瞳孔候補的數(shù)量k設定為15。
這樣，通過從眼睛圖像中檢測出多個瞳孔候補，并從多個瞳孔候補中選擇在與瞳孔候補的中心位置相鄰的像素位置上存在其它的瞳孔候補的中心位置的瞳孔候補，能夠消除錯誤地將睫毛等檢測為瞳孔等的誤檢測，從而能夠提高瞳孔檢測精度。
接下來，對瞳孔檢測裝置200的動作進行說明。在以下的說明中，設眼睛圖像數(shù)據(jù)是順序掃描數(shù)據(jù)，設1幀由例如480行×640像素的數(shù)字數(shù)據(jù)構成。圖8是表示本發(fā)明的實施例1的瞳孔檢測裝置200的眼睛圖像1幀的動作的流程圖。
首先，瞳孔檢測裝置200取入1個像素的量的圖像數(shù)據(jù)(S51)。如果取入的圖像數(shù)據(jù)是1幀的開頭的數(shù)據(jù)(S52)，則使Y計數(shù)器264復位并且使瞳孔候補保持部280的各個寄存器282～285復位(S53)。如果取入的數(shù)據(jù)是1行的開頭的數(shù)據(jù)(S54)，則使X計數(shù)器262復位，并使Y計數(shù)器264加1(S55)。然后，使X計數(shù)器262加1(S56)。
接著，將取入的圖像數(shù)據(jù)取入到部分幀存儲器222內(nèi)。之后，在眼睛圖像上，從與n個積分圓C1～Cn對應的像素之中的各個積分圓Ci中每m個地引出n×m個圖像數(shù)據(jù)。然后，與各個積分圓Ci對應的加法器230i分別計算圖像數(shù)據(jù)的積分值Ii，輝度差算出器240i計算圖像數(shù)據(jù)的最大值與最小值之差Bi。變化圓檢測部250計算各自的積分值Ii的差值ΔIi。但此時，當差Bi比輝度差閾值Bth大時，則強制性地使差值ΔIi為0(S57)。
然后，比較器254對差值ΔIi和差閾值ΔIth進行比較(S58)，當差值ΔIi比差閾值ΔIth大時，瞳孔候補保持部280將此時的X計數(shù)器262、Y計數(shù)器264和積分圓的半徑Ro作為瞳孔候補保持，并且也將其差值ΔIi作為評價值Jo保持。這時，瞳孔候補保持部280，按照評價值大的順序重新排列瞳孔候補并保持最多k個瞳孔候補(S59)。接著，判定取入的數(shù)據(jù)是否是1幀的末尾的數(shù)據(jù)(S60)，如果不是末尾，則返回步驟S51。
當輸入的圖像數(shù)據(jù)為1幀的最后的像素的數(shù)據(jù)時，瞳孔選擇部290，針對各自的瞳孔候補，計算在與其中心坐標相鄰的像素位置上存在的其它的瞳孔候補的數(shù)量，并將該值最大的瞳孔候補的X坐標、Y坐標和半徑的值作為真的瞳孔的X坐標Xo、Y坐標Yo和瞳孔半徑Ro向虹膜認證處理部140輸出(S61)。
以上的從步驟51到步驟60的一連串的動作，向部分幀存儲器222每輸入1個像素的量的圖像數(shù)據(jù)地來執(zhí)行。例如，在幀頻為30Hz，眼睛圖像由640×480像素構成的情況下，在小于等于1/(30×640×480)秒的時間內(nèi)執(zhí)行上述的一連串的動作。并且，由于當向部分幀存儲器222輸入1個像素后積分圓就在圖像上移動1個像素的量，所以在輸入1幀的圖像的期間內(nèi)積分圓在圖像上進行1次掃描。這樣，能夠使用比較小規(guī)模的電路，對于由拍攝部120拍攝的圖像數(shù)據(jù)實時地進行瞳孔檢測。
另外，從多個瞳孔候補中選擇在距離中心位置指定的距離或指定的距離以內(nèi)的附近存在其它的瞳孔候補的中心位置的瞳孔候補的方法，并不限于上述的方法。例如，也可以采用這樣的結構，即、對于多個瞳孔候補，將相互距離接近的瞳孔候補作為1個組進行分組，并且將各自的組所包含的瞳孔候補的數(shù)量多的組、或者所含有的瞳孔候補的評價值高的組等作為線索，來選擇真的瞳孔。圖9是基于這樣的思考方法的用于從瞳孔候補中選擇瞳孔的流程圖。
首先，瞳孔選擇部290取入1個瞳孔候補。設取入的瞳孔候補的X坐標、Y坐標、半徑和評價值分別為Xi、Yi、Ri和Ji(S71)。接著，針對X坐標、Y坐標和半徑中的每一者，查找是否存在瞳孔候補的值Xi、Yi和Ri與組的平均值Xgj、Ygj和Rgj(j是0或正整數(shù))之差比指定的閾值Xth、Yth和Rth小的組。即，查找是否存在滿足|Xi-Xgj|＜Xth、|Yi-Ygj|＜Yth、|Ri-Rgj|＜Rth的組(S72)。
當存在時，在將在步驟S71取入的瞳孔候補追加到該組中(S73)，當不存在時，則創(chuàng)建僅包括在步驟S71取入的瞳孔候補的新的組(S74)。接著，對于在步驟S73追加了瞳孔候補的組或在步驟S74新創(chuàng)建的組，進行平均值Xgj、Ygj和Rgj的再計算(S75)。
當殘存尚未分組的瞳孔候補時，則返回步驟S71(S76)。當所有的瞳孔候補的分組結束后，對于各自的組求包含在該組內(nèi)的各個瞳孔候補的評價值的總和∑J(S77)。然后，將評價值的總和∑J為最大的組的X坐標、Y坐標和半徑的平均值Xgj、Ygj和Rgj作為瞳孔的X坐標、Y坐標和半徑向虹膜認證處理部140輸出(S78)。
按照以上的方法，雖然原理上由于瞳孔候補的順序而存在分組的結果發(fā)生變化等的不穩(wěn)定性，但由于被誤檢測出的瞳孔候補是孤立的，而包含真的瞳孔的瞳孔候補的集合是密集的，所以只要例如將Xth、Yth的值設定為所預計的瞳孔半徑的1/2左右，實際上不會發(fā)生問題。此外，按照該流程，數(shù)據(jù)處理比較簡單，從而適于高速動作。
此外，本實施例的變化圓檢測部250的選擇器253，具有選擇差值ΔIi的最大值和此時的積分圓C的半徑R的功能。然而，瞳孔候補保持部280原本就具有檢測最大值的功能。因此，作為選擇器253，也可以采用單純地以分時的方式將減法器2521～252n-1的輸出和積分圓的半徑輸出的結構。
另外，在本實施例中，雖然將同心圓狀的積分圓的數(shù)量設為20，將從1個積分圓引出的圖像數(shù)據(jù)的數(shù)量設為8個，但是，優(yōu)選地這些數(shù)量兼顧檢測精度、處理時間、電路規(guī)模等地進行決定。
按照本發(fā)明，能夠提供出能夠精度良好且高速地進行瞳孔位置的檢測的瞳孔檢測裝置和虹膜認證裝置。
工業(yè)上利用的可能性.
由于本發(fā)明能夠提供出能夠精度良好且高速地進行瞳孔位置檢測的瞳孔檢測裝置，所以作為個人認證等所使用的虹膜認證裝置是有用的。
權利要求
1.一種瞳孔檢測裝置，具備從眼睛圖像中檢測能夠成為瞳孔的候補的瞳孔候補的位置的瞳孔候補檢測部；保持多個上述瞳孔候補檢測部檢所測出的瞳孔候補的位置的瞳孔候補保持部；以及將被保持在上述瞳孔候補保持部的瞳孔候補之中的、在距離瞳孔候補的中心位置指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補選擇作為瞳孔的瞳孔選擇部。
2.一種瞳孔檢測裝置，具備將同心圓狀的多個圓分別作為積分圓設定在眼睛圖像上，并提取位于上述積分圓的圓周上的眼睛圖像的圖像數(shù)據(jù)的圖像數(shù)據(jù)提取部；將上述圖像數(shù)據(jù)提取部提取的圖像數(shù)據(jù)沿著積分圓中的每一者的圓周進行積分的環(huán)圓周積分部；從上述多個積分圓中檢測上述環(huán)圓周積分部的積分值相對于積分圓的半徑階躍狀地變化的積分圓的變化圓檢測部；將由上述變化圓檢測部檢測出的積分圓的中心坐標作為瞳孔候補的坐標位置進行保持的瞳孔候補保持部；以及選擇由上述瞳孔候補保持部所保持的瞳孔候補之中的、在距離瞳孔候補的中心坐標指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補的瞳孔選擇部。
3.根據(jù)權利要求2所述的瞳孔檢測裝置，其中，上述變化圓檢測部，將上述環(huán)圓周積分部的積分值相對于積分圓的半徑階躍狀地進行變化的變化大小作為評價值輸出；上述瞳孔候補保持部，是將檢測輸入數(shù)據(jù)中的具有最大值的數(shù)據(jù)的最大值檢測器多個串聯(lián)地連接而構成的，其通過向上述瞳孔候補保持部輸入上述評價值而按照評價值大的順序保持瞳孔候補。
4.根據(jù)權利要求3所述的瞳孔檢測裝置，其中，上述最大值檢測器具備保持輸入數(shù)據(jù)的寄存器、比較保持在上述寄存器內(nèi)的數(shù)據(jù)和上述輸入數(shù)據(jù)的比較器、以及選擇并輸出保持在上述寄存器內(nèi)的數(shù)據(jù)或上述輸入數(shù)據(jù)中的任何一者的選擇器；上述寄存器，根據(jù)上述比較器的輸出，當上述輸入數(shù)據(jù)比所保持的數(shù)據(jù)大時，保持上述輸入數(shù)據(jù)；上述選擇器，根據(jù)上述比較器的輸出，當上述輸入數(shù)據(jù)比上述寄存器所保持的數(shù)據(jù)大時，選擇上述寄存器所保持的數(shù)據(jù)，而當上述輸入數(shù)據(jù)比上述寄存器所保持的數(shù)據(jù)小時，則選擇上述輸入數(shù)據(jù)。
5.根據(jù)權利要求2所述的瞳孔檢測裝置，其中，上述瞳孔選擇部，對于多個瞳孔候補，將相互距離接近的瞳孔候補作為1個組進行分組，從各自的組中選擇瞳孔候補的數(shù)量最多的組、或瞳孔候補的評價值的總和最高的組，并從該被選擇的組中決定瞳孔位置。
6.一種虹膜認證裝置，具備權利要求1～權利要求5中的任意一項所述的瞳孔檢測裝置。
全文摘要
具備從眼睛圖像中檢測能夠成為瞳孔的候補的瞳孔候補的位置的瞳孔候補檢測部(210)；保持檢測出的多個瞳孔候補的位置的瞳孔候補保持部(280)；以及選擇多個瞳孔候補之中的、在距離瞳孔候補的中心位置指定的距離或指定的距離以內(nèi)的區(qū)域存在其它的瞳孔候補的中心位置的瞳孔候補的瞳孔選擇部(290)。
文檔編號A61B3/10GK1805702SQ20058000054
公開日2006年7月19日 申請日期2005年5月18日 優(yōu)先權日2004年7月14日
發(fā)明者杉田守男, 若森正浩, 藤松健 申請人:松下電器產(chǎn)業(yè)株式會社