認(rèn)證裝置、認(rèn)證方法以及程序的制作方法
【專利摘要】本公開涉及認(rèn)證裝置、認(rèn)證方法以及程序,其中,對(duì)場(chǎng)景的可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程,并且通過(guò)比較相同場(chǎng)景的可見光圖像與紅外光圖像驗(yàn)證臉部認(rèn)證程序的認(rèn)證判定的正確性??赏ㄟ^(guò)比較可見光圖像中的眼部區(qū)域的亮度和/或大小與紅外光圖像中的眼部區(qū)域的亮度和/或大小執(zhí)行驗(yàn)證。
【專利說(shuō)明】認(rèn)證裝置、認(rèn)證方法以及程序
【背景技術(shù)】
[0001]本公開涉及一種認(rèn)證裝置、認(rèn)證方法以及程序,特別是涉及一種能夠通過(guò)臉部認(rèn)證增強(qiáng)安全性的認(rèn)證裝置、認(rèn)證方法以及程序。
[0002]從以往來(lái)看,通過(guò)借助于可見光拍攝圖像以及借助于紅外光拍攝圖像,識(shí)別出待拍攝的物像。
[0003]例如,在汽車導(dǎo)航裝置中的手勢(shì)識(shí)別中,提出這樣一種技術(shù),除了通過(guò)使用可見光相機(jī)識(shí)別外,用紅外線相機(jī)獲得紅外光的反射強(qiáng)度并確定與待識(shí)別物的距離,從而提高手勢(shì)識(shí)別的精確度(例如,見日本專利申請(qǐng)公開第2009-104297號(hào))。
[0004]此外,在用車載攝像頭識(shí)別交通標(biāo)志等的技術(shù)中,提出這樣一種技術(shù),從通過(guò)可見光相機(jī)獲取的可見光圖像中提取信息,并從通過(guò)發(fā)射紅外光由紅外線相機(jī)獲取的紅外光圖像中提取信息,從而改進(jìn)識(shí)別準(zhǔn)確度(例如,見日本專利申請(qǐng)公開第2009-201064號(hào))。
[0005]此外,提出這樣一種技術(shù),通過(guò)使用設(shè)置有光接收單元的固態(tài)圖像獲取裝置,其中交替地為水平方向上的每個(gè)像素線設(shè)置可見光接收單元和非可見光接收單元,當(dāng)識(shí)別出圖像拍攝目標(biāo)要拍攝圖像時(shí),發(fā)射非可見光,結(jié)果突出了圖像拍攝目標(biāo)對(duì)象,并且因此提高了路上白線等的識(shí)別準(zhǔn)確度(例如,見日本專利申請(qǐng)公開第2007-124676號(hào))。
[0006]此外,已提出這樣一種技術(shù),獲取可見光圖像和紅外光圖像,從而高精度地檢測(cè)甚至是帶著眼鏡的人的瞳孔的位置(例如,見日本專利申請(qǐng)公開第2001-340300號(hào))。
[0007]此外,已經(jīng)提出這樣一種技術(shù),使用可見光源的可見光相機(jī)和使用紅外光源的紅外光相機(jī)用于拍攝血管樣式的圖像,并將圖像拍攝結(jié)果彼此進(jìn)行對(duì)比,從而提高了生物統(tǒng)計(jì)學(xué)認(rèn)證的精確度(例如,見日本專利申請(qǐng)公開第2006-148478號(hào))。
【發(fā)明內(nèi)容】
[0008]然而,還沒提出通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像提高臉部認(rèn)證的精確度的技術(shù)。
[0009]鑒于上述情況,希望可以通過(guò)臉部認(rèn)證進(jìn)一步增強(qiáng)安全性。
[0010]根據(jù)本公開主題的第一示例性說(shuō)明例,電子裝置可包括:包括至少一個(gè)圖像獲取單元的成像部分。成像部分可被配置為對(duì)場(chǎng)景進(jìn)行成像并生成場(chǎng)景的可見光圖像和場(chǎng)景的紅外光圖像。電子裝置還可包括配置為對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序的臉部認(rèn)證單元。電子裝置也可包括驗(yàn)證單元,可被配置為通過(guò)比較可見光圖像和紅外光圖像檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0011]根據(jù)本公開主題的第二示例性說(shuō)明例,移動(dòng)終端裝置可包括第一示例性實(shí)施方式的電子裝置。
[0012]根據(jù)本公開主題的第三示例性說(shuō)明例,計(jì)算機(jī)系統(tǒng)裝置可包括第一示例性實(shí)施方式的電子裝置。
[0013]根據(jù)本公開主題的第四示例性說(shuō)明例,安全系統(tǒng)裝置可包括第一示例性實(shí)施方式的電子裝置。[0014]根據(jù)本公開主題的第五示例性說(shuō)明例,認(rèn)證方法可包括對(duì)場(chǎng)景進(jìn)行成像并生成場(chǎng)景的可見光圖像和場(chǎng)景的紅外光圖像,對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序,并通過(guò)比較對(duì)應(yīng)于可見光圖像的眼部區(qū)域的亮度數(shù)據(jù)和對(duì)應(yīng)于紅外光圖像的眼部區(qū)域的亮度數(shù)據(jù)檢驗(yàn)所述臉部認(rèn)證程序的結(jié)果。
[0015]根據(jù)本公開主題的第六示例性說(shuō)明例,非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)可具有存儲(chǔ)于其上的程序代碼,通過(guò)處理器可執(zhí)行程序代碼來(lái)執(zhí)行操作,操作包括對(duì)場(chǎng)景進(jìn)行成像并生成場(chǎng)景的可見光圖像和場(chǎng)景的紅外光圖像,對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序,并通過(guò)比較對(duì)應(yīng)于可見光圖像的眼部區(qū)域的亮度數(shù)據(jù)與對(duì)應(yīng)于紅外光圖像的眼部區(qū)域的亮度數(shù)據(jù)來(lái)檢驗(yàn)所述臉部認(rèn)證程序的結(jié)果。
[0016]根據(jù)本公開主題的第七示例性說(shuō)明例,電子裝置可包括可配置為對(duì)場(chǎng)景的可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序的臉部認(rèn)證單元,以及可配置為通過(guò)比較同一場(chǎng)景的可見光圖像與紅外光圖像檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定的驗(yàn)證單元。
[0017]根據(jù)本公開的實(shí)施方式,可以通過(guò)臉部認(rèn)證增強(qiáng)安全性。
[0018]如附圖所示,借助于以下【具體實(shí)施方式】的最佳模式的實(shí)施方式,本公開的這些以及其他的目標(biāo)、特征與優(yōu)點(diǎn)將變的更加清晰可見。
【專利附圖】
【附圖說(shuō)明】
[0019]圖1是示出根據(jù)本公開的認(rèn)證結(jié)果判定裝置的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0020]圖2A和圖2B是說(shuō)明RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間的不同的示圖;
[0021]圖3A和圖3B是說(shuō)明RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間的不同的示圖;
[0022]圖4是用于說(shuō)明認(rèn)證結(jié)果判定過(guò)程的流程圖;
[0023]圖5是示出作為本公開實(shí)施方式的移動(dòng)終端的硬件結(jié)構(gòu)的實(shí)例的方框圖;
[0024]圖6是用于說(shuō)明RGB像素和IR像素的輸出的實(shí)例的示圖;
[0025]圖7是示出根據(jù)本公開的第一實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0026]圖8是用于說(shuō)明圖7的移動(dòng)終端的認(rèn)證過(guò)程的流程圖;
[0027]圖9是用于說(shuō)明RGB像素的眼部區(qū)域與IR像素的眼部區(qū)域之間的比較的實(shí)例的示圖;
[0028]圖10A和圖10B是用于說(shuō)明RGB像素的眼部區(qū)域與IR像素的眼部區(qū)域之間的比較的實(shí)例的示圖;
[0029]圖11A和圖11B是用于說(shuō)明RGB像素的眼部區(qū)域與IR像素的眼部區(qū)域之間的比較的實(shí)例的示圖;
[0030]圖12是示出根據(jù)本公開的第二實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0031]圖13是用于說(shuō)明通過(guò)圖12的移動(dòng)終端的認(rèn)證過(guò)程的流程圖;
[0032]圖14是示出根據(jù)本公開的第三實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0033]圖15是用于說(shuō)明通過(guò)圖14的移動(dòng)終端的認(rèn)證過(guò)程的流程圖;[0034]圖16是示出根據(jù)本公開的第四實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0035]圖17是用于說(shuō)明通過(guò)圖16的移動(dòng)終端的認(rèn)證過(guò)程的流程圖;
[0036]圖18是示出根據(jù)本公開的第五實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0037]圖19是用于說(shuō)明通過(guò)圖18的移動(dòng)終端的認(rèn)證過(guò)程的流程圖;
[0038]圖20是示出根據(jù)本公開的第六實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;
[0039]圖21是用于說(shuō)明通過(guò)圖20的移動(dòng)終端的認(rèn)證過(guò)程的流程圖;
[0040]圖22是示出根據(jù)本公開的第七實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的方框圖;以及
[0041]圖23是示出計(jì)算機(jī)的硬件結(jié)構(gòu)的實(shí)例的方框圖。
【具體實(shí)施方式】
[0042]在下文中,將參考附圖描述本公開的實(shí)施方式。應(yīng)注意將按以下順序給出說(shuō)明。
[0043]1.本公開的概要
[0044]2.第一實(shí)施方式
[0045]3.第二實(shí)施方式
[0046]4.第三實(shí)施方式
[0047]5.第四實(shí)施方式
[0048]6.第五實(shí)施方式
[0049]7.第六實(shí)施方式
[0050]8.第七實(shí)施方式
[0051]〈1.本公開的概要〉
[0052](認(rèn)證結(jié)果判定裝置的功能結(jié)構(gòu)的實(shí)例)
[0053]圖1是示出作為應(yīng)用本公開的認(rèn)證裝置的認(rèn)證結(jié)果判定裝置的功能結(jié)構(gòu)的實(shí)例。
[0054]在圖1中示出的認(rèn)證結(jié)果判定裝置被包括于認(rèn)證人的臉部認(rèn)證裝置中或者連接至臉部認(rèn)證裝置以判定臉部認(rèn)證裝置的認(rèn)證結(jié)果正確與否。
[0055]認(rèn)證結(jié)果判定裝置1包括比較單元2和判定單元3。
[0056]比較單元2將通過(guò)拍攝經(jīng)受臉部認(rèn)證裝置的臉部認(rèn)證的人而得到的可見光圖像(在下文中,稱為RGB圖像)與紅外光圖像(在下文中,稱為IR圖像)進(jìn)行比較。具體地,比較單元2將在其中將被預(yù)設(shè)紅外光源的紅外光照射的人作為主體的RGB圖像中人的眼睛部分(在下文中,稱為眼部區(qū)域)與以該人作為主體的IR圖像中人的眼部區(qū)域進(jìn)行比較,并將比較結(jié)果提供至判定單元3。可見光圖像是主要由可見光生成的圖像,而紅外光圖像是主要由紅外光生成的圖像?!翱梢姽狻敝傅氖遣ㄩL(zhǎng)在大約380nm至750nm的范圍內(nèi)的光?!凹t外光”指的是波長(zhǎng)在大約700nm至2500nm范圍內(nèi)的光。在本公開中,可使用優(yōu)選地是從780nm至940nm的紅外光,更優(yōu)選地從850nm到940nm的紅外光。
[0057]在RGB圖像中的人和在IR圖像中的人必然是同一個(gè)人。
[0058]根據(jù)比較單元2的比較結(jié)果,判定單元3判定對(duì)上述人通過(guò)臉部認(rèn)證裝置執(zhí)行的臉部認(rèn)證的認(rèn)證結(jié)果正確與否。具體地,判定單元3根據(jù)RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間的差值判定臉部認(rèn)證的認(rèn)證結(jié)果是否正確。
[0059]此時(shí),參考圖2和圖3,將描述RGB圖像和IR圖像中的眼部區(qū)域之間的差值。
[0060]圖2A和2B分別示出在實(shí)際的人是成像主體的情況下RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域。圖3A和3B分別示出了在人的肖像是成像主體的情況下(例如在人的圖片是成像主體時(shí)等)RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域。
[0061]如圖2所示,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域在拍攝實(shí)際的人的圖像的情況下看到的是不同的。具體地,在拍攝實(shí)際人的圖像的情況下在RGB圖像中的眼部區(qū)域中,瞳孔和虹膜之間的對(duì)照差(在虹膜的顏色為暗的情況下)不大。然而,在拍攝實(shí)際人的圖像的情況下在IR圖像的眼部區(qū)域中,清晰地顯示虹膜,瞳孔和虹膜之間的對(duì)照差較大。此外,在拍攝實(shí)際人的圖像的情況下在IR圖像的眼部區(qū)域中,觀察到浦肯野(Purkije)圖像,浦肯野圖像是通過(guò)在角膜上反射用于發(fā)射紅外光的紅外光源生成的圖像。
[0062]另一方面,如圖3所示,在圖像等是成像主體的情況下觀察到RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域是相似的。此外,在拍攝圖片等中的人的圖像的情況下在IR圖像的眼部區(qū)域中,觀察不到浦肯野圖像。
[0063]就是說(shuō),比較單元2的比較的結(jié)果是,在RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間存在差值的情況下,在RGB圖像和IR圖像中的主體是實(shí)際的人,在RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間的沒有差值的情況下,RGB圖像和IR圖像的主體不是實(shí)際的人而是圖片等中顯示的人。
[0064]因而,在顯示認(rèn)證0K的認(rèn)證結(jié)果是由臉部認(rèn)證裝置提供的時(shí)候,如果比較單元2的比較結(jié)果顯示RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間存在差值,由臉部認(rèn)證裝置對(duì)實(shí)際人的臉部執(zhí)行認(rèn)證。因此判定單元3判定認(rèn)證結(jié)果是正確的并且將認(rèn)證結(jié)果輸出至顯示裝置(未示出)等。此外,在顯示認(rèn)證0K的認(rèn)證結(jié)果是由臉部認(rèn)證裝置提供的情況下,如果比較單元2的比較結(jié)果顯示RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間不存在差值,則臉部認(rèn)證裝置對(duì)圖片等中的臉部執(zhí)行認(rèn)證。因而,判定單元3判定認(rèn)證結(jié)果是不正確的并且輸出認(rèn)證結(jié)果是不正確的事實(shí)。
[0065]應(yīng)注意在顯示認(rèn)證N/A (不接受)的認(rèn)證結(jié)果是由臉部認(rèn)證裝置提供的情況下,判定單元3不改變地輸出認(rèn)證結(jié)果。
[0066](關(guān)于認(rèn)證結(jié)果判定方法)
[0067]此時(shí),參考圖4中的流程圖,將描述通過(guò)認(rèn)證結(jié)果判定裝置1的認(rèn)證結(jié)果判定方法。
[0068]在步驟S1中,比較單元2將其中用紅外光照射的人顯示為主體的RGB圖像中人的眼部區(qū)域與其中同一人顯示為主體的IR圖像中人的眼部區(qū)域進(jìn)行比較并且將比較結(jié)果提供至判定單元3。
[0069]在步驟S2中,根據(jù)比較單元2的比較結(jié)果,也就是RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域之間的差值,如上所述參考圖2和圖3,判定單元3判定臉部認(rèn)證的認(rèn)證結(jié)果正確與否并輸出判定結(jié)果。如上所述,在判定認(rèn)證結(jié)果為正確的情況下,輸出認(rèn)證結(jié)果,以及在判定認(rèn)證結(jié)果是不正確的情況下,輸出認(rèn)證結(jié)果是不正確的事實(shí)。
[0070]通過(guò)如上所述的方法,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域彼此進(jìn)行比較,并且根據(jù)比較結(jié)果判定臉部認(rèn)證的認(rèn)證結(jié)果正確與否。因而,通過(guò)使用可見光拍攝圖像以及使用紅外光拍攝圖像可以增加臉部認(rèn)證的精確度,因此可以通過(guò)臉部認(rèn)證增強(qiáng)安全性。
[0071]在下文中,將描述本公開的實(shí)施方式。
[0072]<2.第一實(shí)施方式>
[0073](移動(dòng)終端的硬件結(jié)構(gòu)的實(shí)例)
[0074]圖5是示出作為應(yīng)用本公開的認(rèn)證裝置的移動(dòng)終端的硬件結(jié)構(gòu)的實(shí)例的方框圖。
[0075]例如,圖5中示出的移動(dòng)終端11是具有圖像獲取功能的移動(dòng)式電話并將人的圖像作為主體,從而執(zhí)行人的臉部認(rèn)證以解開安全鎖。
[0076]圖5中示出的移動(dòng)終端11包括透鏡21、特定濾光器22、圖像傳感器23、⑶S/AGC(相關(guān)聯(lián)的雙重采樣/自動(dòng)增益控制)電路24、A/D (模擬/數(shù)字)轉(zhuǎn)換電路25、DSP (數(shù)字信號(hào)處理器)26、CPU (中央處理器)27、時(shí)序生成器28、顯示器29、以及EEPR0M (電可擦可編程只讀存儲(chǔ)器)30組成的。
[0077]透鏡21形成為單眼單聚焦透鏡,并且透鏡從主體收集光并且通過(guò)特定濾光器22使光得到校正以進(jìn)入圖像傳感器23。圖像傳感器23是由(XD (電荷耦合器件)、CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)傳感器等形成的,并且圖像傳感器通過(guò)特定濾光器22從透鏡21接收在其上入射的光,執(zhí)行光的光電轉(zhuǎn)換以獲得圖像信號(hào)(模擬信號(hào))為電信號(hào),并將信號(hào)提供至 CDS/AGC 電路 24。
[0078]特定濾光器22具有透射帶(transmission band)在近紅外光的波長(zhǎng)范圍內(nèi)的光譜特性。在圖像傳感器23 (圖中左側(cè))的前表面上,配置濾色陣列23a (圖6)。濾色陣列23a是由分配給圖像傳感器23的各個(gè)像素的顏色濾光器組成。
[0079]圖6示出了濾色陣列23a的布置(在圖中通過(guò)黑化表示)的實(shí)例,其中,一半G像素(出自由R、G、B和G組成的相鄰2x2 (=4)像素中的一個(gè)G像素)是由在拜耳式的IR (紅夕卜)透射濾光器形成。
[0080]就是說(shuō),如圖6所示,通過(guò)圖像傳感器23,生成由通過(guò)對(duì)從其中提取R、Gb (或者Gr)和B像素(RGB像素)的輸出執(zhí)行去馬賽克而獲得的R圖像、G圖像、B圖像形成的可見光圖像(RGB圖像),并生成通過(guò)對(duì)其中提取Gr (或者Gb)像素(IR像素)的輸出執(zhí)行去馬賽克得到的紅外光圖像(IR圖像)。
[0081]再參考圖5,⑶S/AGS電路24除去圖像傳感器23中生成的Ι/f噪聲并且,根據(jù)CPU27的控制,調(diào)整增益使得圖像傳感器23提供的圖像信號(hào)的級(jí)別變得恒定以將調(diào)整后的增益輸出至A/D轉(zhuǎn)換電路25。此外,⑶S/AGS電路24也基于CPU27的控制執(zhí)行電子快門方法來(lái)電改變圖像傳感器23中電荷(charge)的累積時(shí)間段。
[0082]A/D轉(zhuǎn)換電路25將作為從CDS/AGS電路24中輸出的模擬信號(hào)的圖像信號(hào)轉(zhuǎn)換為作為數(shù)字信號(hào)的圖像數(shù)據(jù)并且將圖像數(shù)據(jù)提供至DSP26。通過(guò)A/D轉(zhuǎn)換電路25獲得的圖像數(shù)據(jù)的實(shí)例包括如上所述的RGB圖像的圖像數(shù)據(jù)以及如上所述的IR圖像的圖像數(shù)據(jù)。
[0083]DSP26對(duì)來(lái)自A/D轉(zhuǎn)換電路25的圖像數(shù)據(jù)(RGB圖像和IR圖像的圖像數(shù)據(jù))執(zhí)行預(yù)設(shè)圖像處理并且將圖像處理的結(jié)果提供至顯示器29或者EEPPR0M30。
[0084]CPU27控制移動(dòng)終端11中的單元。
[0085]基于CPU27的控制,時(shí)序生成器28生成各種時(shí)序信號(hào)并將信號(hào)提供至圖像傳感器23、⑶S/AGS電路24以及A/D轉(zhuǎn)換電路25。
[0086]基于CPU27的控制,顯示器29顯示預(yù)設(shè)圖像或者根據(jù)DSP26的圖像處理結(jié)果執(zhí)行顯示。此外,顯示器29具有接觸面板功能并且執(zhí)行顯示對(duì)移動(dòng)終端11執(zhí)行操作輸入的操作屏。
[0087]EEPR0M30是所謂的非易失性存儲(chǔ)器。如果停止供電,EEPR0M30存儲(chǔ)并保留各種裝置參數(shù),存儲(chǔ)DSP26等的圖像處理結(jié)果而不丟失信息。
[0088](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)
[0089]隨后,參考圖7,將描述移動(dòng)終端11功能結(jié)構(gòu)的實(shí)例。
[0090]圖7示出的移動(dòng)終端11是由圖像獲取單元51、IR光發(fā)射單元52、臉部檢測(cè)單元53、眼部區(qū)域檢測(cè)單元54、臉部認(rèn)證單元55、比較單元56、浦肯野圖像檢測(cè)單元57以及判定單元58。
[0091]圖像獲取單元51設(shè)置有透鏡21、特定濾光器22、以及參考圖2描述的圖像傳感器23并且進(jìn)一步設(shè)置有⑶S/AGC電路24和A/D轉(zhuǎn)換電路25。就是說(shuō),圖像獲取單元51拍攝主體的圖像并同時(shí)輸出RGB圖像和IR圖像。此外,圖像獲取單元51執(zhí)行增益調(diào)節(jié)和電子快門過(guò)程。
[0092]時(shí)序生成器28的時(shí)序信號(hào)使IR光發(fā)射單元52與圖像獲取單元51同步以在圖像獲取單元51拍攝主體的圖像時(shí)發(fā)出紅外光,從而用紅外光照射主體。應(yīng)注意IR光發(fā)射單元52可持續(xù)地發(fā)出紅外光而不用與圖像獲取單元51同步。
[0093]臉部檢測(cè)單元53檢測(cè)圖像獲取單元51的RGB圖像的臉部,基于臉部檢測(cè)區(qū)域(檢測(cè)到臉部的區(qū)域)的位置和大小提取臉部圖像,并且將臉部區(qū)域提供至眼部區(qū)域檢測(cè)單元54和臉部認(rèn)證單元55。例如,臉部檢測(cè)單元53提前獲悉多個(gè)臉部的臉部圖像,從而檢測(cè)作為RGB圖像的主體的人的臉部。
[0094]眼部區(qū)域檢測(cè)單元54提取臉部檢測(cè)單元53的臉部圖像中的眼部區(qū)域并將顯示RGB圖像中眼部區(qū)域的位置的信息(坐標(biāo)信息)提供至比較單元56和浦肯野圖像檢測(cè)單元57。例如,眼部區(qū)域檢測(cè)單元54提前獲悉多個(gè)眼部的圖像,從而檢測(cè)眼部區(qū)域。
[0095]臉部認(rèn)證單元55通過(guò)使用臉部檢測(cè)單元53的臉部圖像對(duì)于RGB圖像中的人執(zhí)行臉部認(rèn)證并且將認(rèn)證結(jié)果提供至比較單元56和判定單元58。例如,臉部認(rèn)證單元55執(zhí)行臉部檢測(cè)單元53的臉部圖像與提前注冊(cè)的移動(dòng)終端11的擁有者的臉部圖像的匹配,從而執(zhí)行臉部認(rèn)證。
[0096]在顯示認(rèn)證0K的認(rèn)證結(jié)果是由臉部認(rèn)證單元55提供的情況下,比較單元56使用眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息來(lái)比較RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域并且將比較結(jié)果提供至判定單元58。
[0097]浦肯野圖像檢測(cè)單元57使用眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息來(lái)檢測(cè)圖像獲取單元51的IR圖像的眼部區(qū)域中的浦肯野圖像并且將檢測(cè)結(jié)果提供至判定單元58。
[0098]判定單元58使用比較單元56的比較結(jié)果和浦肯野圖像檢測(cè)單元57的檢測(cè)結(jié)果來(lái)判定臉部認(rèn)證單元55的認(rèn)證結(jié)果是否正確并將判定結(jié)果輸出至顯示器29。
[0099](關(guān)于認(rèn)證過(guò)程)
[0100]接下來(lái),參考圖8的流程圖,將描述移動(dòng)終端11的認(rèn)證過(guò)程。
[0101]例如在步驟S11中當(dāng)操作者輸入操作開始認(rèn)證過(guò)程時(shí),圖像獲取單元51拍攝操作者的圖像作為主體。此時(shí),在當(dāng)圖像獲取單元51拍攝圖像時(shí),IR光發(fā)射單元52發(fā)射光。結(jié)果,得到的主體是RGB圖像和用紅外光照射操作者的IR圖像。RGB圖像提供至臉部檢測(cè)單元53和比較單元56,并且IR圖像提供至比較單元56和浦肯野圖像檢測(cè)單元57。
[0102]在步驟12中,臉部檢測(cè)單元53檢測(cè)來(lái)自圖像獲取單元51的RGB圖像中的臉部,并基于臉部檢測(cè)區(qū)域的位置和大小提取臉部圖像,并將臉部圖像提供至臉部區(qū)域檢測(cè)單元54和臉部認(rèn)證單元55。
[0103]在步驟S13中,眼部區(qū)域檢測(cè)單元54檢測(cè)臉部檢測(cè)單元53的臉部圖像中的眼部區(qū)域并將顯示RGB圖像的眼部區(qū)域的位置的坐標(biāo)信息提供至比較單元56和浦肯野圖像檢測(cè)單元57??蔀樽笱酆陀已刍蛘哐劬χ衅渲幸粋€(gè)執(zhí)行眼部區(qū)域的檢測(cè)。
[0104]在步驟S14中,臉部認(rèn)證單元55使用臉部檢測(cè)單元53的臉部圖像來(lái)對(duì)于通過(guò)圖像獲取單元51獲得的RGB圖像中的操作者執(zhí)行臉部認(rèn)證。
[0105]應(yīng)注意可同時(shí)執(zhí)行步驟S13和S14中的過(guò)程。
[0106]在步驟S15中,在臉部認(rèn)證的認(rèn)證結(jié)果顯示認(rèn)證0K的情況下,臉部認(rèn)證單元55將認(rèn)證結(jié)果提供至比較單元56和判定單元58,過(guò)程進(jìn)入至步驟S16。
[0107]在步驟S16中,在獲得臉部認(rèn)證單元55的認(rèn)證結(jié)果時(shí),比較單元56使用眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息來(lái)比較RGB圖像的眼部區(qū)域和IR圖像中的眼部區(qū)域并將比較結(jié)果提供至判定單元58。應(yīng)注意眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息顯示RGB圖像中的眼部區(qū)域的位置。通過(guò)圖像獲取單元51獲得的RGB圖像是在與IR圖像相同視場(chǎng)角相同的時(shí)間拍攝的,因此眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息也指定IR圖像中的眼部區(qū)域的位置。
[0108]就是說(shuō),比較單元56比較RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域,這是由眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息指定的。
[0109]具體地,例如,如圖9所示,比較單元45獲得通過(guò)利用預(yù)定門限值對(duì)RGB圖像中的眼部區(qū)域的亮度信息執(zhí)行二值化獲得的二值化的眼部區(qū)域圖像71與通過(guò)利用預(yù)定門限值對(duì)IR圖像的眼部區(qū)域的亮度信息執(zhí)行二值化獲得的二值化的眼部區(qū)域圖像72之間的差值,從而獲得差分圖像73。
[0110]在拍攝實(shí)際人物的圖像的情況下RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域的瞳孔和虹膜具有不同的亮度,因此差分圖像73是在虹膜部分具有值的圖像。
[0111]另一方面,在拍攝圖片等中的人物的圖像的情況下,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域的瞳孔和虹膜具有相同的亮度,因此差分圖像73是整體沒有值的圖像。
[0112]應(yīng)注意虹膜的亮度(顏色)存在個(gè)體差異,因此可為各個(gè)國(guó)家、區(qū)域等設(shè)置用于二值化方法的閾值。
[0113]此外,如圖10所示,比較單元56可獲得RGB圖像的眼部區(qū)域中的黑色區(qū)域的輪廓線和IR圖像的眼部區(qū)域中的黑色區(qū)域的輪廓線的差值。
[0114]此時(shí)在拍攝實(shí)際人物的圖像的情況下,在RGB圖像的眼部區(qū)域中,瞳孔和虹膜部分是黑色區(qū)域,而在拍攝實(shí)際人物的圖像的情況下,在IR圖像的眼部區(qū)域中,只有瞳孔是黑色區(qū)域。因此,在拍攝實(shí)際人物的圖像的情況下,RGB圖像的眼部區(qū)域中的黑色區(qū)域的輪廓線的直徑(圖10A)與IR圖像的眼部區(qū)域中的黑色區(qū)域的輪廓線的直徑(圖10B)之間存
在差值。
[0115]另一方面,在拍攝圖片等中的人物的圖像的情況下,在RGB圖像的眼部區(qū)域中,瞳孔和虹膜部分是黑色區(qū)域,并且也是在相同情況下的IR圖像中的眼部區(qū)域中,瞳孔和虹膜部分是黑色區(qū)域。因此,在拍攝圖片等中的人物的圖像的情況下,RGB圖像的眼部區(qū)域中的黑色區(qū)域的輪廓線的直徑和IR圖像的眼部區(qū)域中的黑色區(qū)域的輪廓線的直徑之間不存在差值。
[0116]應(yīng)注意RGB圖像和IR圖像的眼部區(qū)域中的黑色區(qū)域可通過(guò)如上所述的二值化方
法獲得。
[0117]此外,如圖11所示,比較單元56可獲得RGB圖像的眼部區(qū)域的亮度分布和IR圖像的眼部區(qū)域的亮度分布之間的差值。
[0118]在拍攝實(shí)際人物的圖像中的RGB圖像的眼部區(qū)域中,瞳孔和虹膜部分有深色,因此亮度分布的低亮度側(cè)變得更大。在拍攝實(shí)際人物的圖像中的IR圖像的眼部區(qū)域中,虹膜部分有亮色,因此亮度分布的高亮度側(cè)變得更大。因此,在拍攝實(shí)際人物的圖像的情況下,RGB圖像中的眼部區(qū)域的亮度柱狀圖(圖11A)和IR圖像中眼部區(qū)域的亮度柱狀圖(圖11B)之間存在不同。
[0119]另一方面,在拍攝圖片等中人物的圖像的情況下,在RGB圖像的眼部區(qū)域中,瞳孔和虹膜部分具有深色,因此亮度分布的低亮度側(cè)變得更大,也是在相同情況下的IR圖像中的眼部區(qū)域中,瞳孔和虹膜部分具有深色,因此亮度分布中的低亮度側(cè)變得更大。因此,在拍攝圖片等中的人物的圖像的情況下,RGB圖像中眼部區(qū)域的亮度柱狀圖和IR圖像中眼部區(qū)域的亮度柱狀圖之間不存在不同。
[0120]如此,比較單元56可將RGB圖像中的眼部區(qū)域與IR圖像中的眼部區(qū)域進(jìn)行比較并獲得其間的差值。獲得差值的方法不限于如上所述方法。
[0121]再次參考圖8的流程圖,在步驟S17中,浦肯野圖像檢測(cè)單元57基于圖像獲取單元51的IR圖像中的眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息檢測(cè)指定的眼部區(qū)域中的浦肯野圖像并且將檢測(cè)結(jié)果提供至判定單元58。具體地,如果圖像獲取單元51的IR圖像是在拍攝實(shí)際人物的圖像的情況下的IR圖像,從眼部區(qū)域檢測(cè)浦肯野圖像。如果圖像獲取單元51的IR圖像是在拍攝圖片等中的人物的圖像的情況下的IR圖像,從眼部區(qū)域中檢測(cè)不到浦肯野圖像。
[0122]在步驟S18中,基于比較單元56的比較結(jié)果以及浦肯野圖像檢測(cè)單元57的檢測(cè)結(jié)果,判定單元58判定臉部認(rèn)證單元55的認(rèn)證結(jié)果是否正確,并且過(guò)程進(jìn)行至步驟S19。
[0123]就是說(shuō),當(dāng)比較單元56的比較結(jié)果顯示RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域之間存在差值時(shí),以及在當(dāng)浦肯野圖像檢測(cè)單元57的檢測(cè)結(jié)果顯示從IR圖像的眼部區(qū)域檢測(cè)到浦肯野圖像時(shí),經(jīng)受臉部認(rèn)證的人是實(shí)際人物,因此判定單元58判定認(rèn)證結(jié)果(認(rèn)證0K)是正確的。
[0124]此外,當(dāng)比較單元56的比較結(jié)果顯示RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域之間不存在差值時(shí),或者當(dāng)浦肯野圖像檢測(cè)單元57的檢測(cè)結(jié)果顯示從IR圖像中的眼部區(qū)域未檢測(cè)到浦肯野圖像時(shí),經(jīng)受臉部認(rèn)證的人是圖片等中顯示的人,因此判定單元58判定認(rèn)證結(jié)果(認(rèn)證0K)是不正確的。
[0125]順便,在步驟S15中,在臉部認(rèn)證的認(rèn)證結(jié)果顯示認(rèn)證N/A的情況下,臉部認(rèn)證單元55將認(rèn)證結(jié)果提供至判定單元58,并將過(guò)程進(jìn)行至步驟S19。
[0126]在步驟S19中,判定單元58將認(rèn)證結(jié)果輸出至顯示器29。[0127]具體地,在步驟S18中判定認(rèn)證結(jié)果(認(rèn)證0K)是正確的情況下,判定單元58將確認(rèn)證定0K的事實(shí)輸出至顯示器29。這時(shí),為移動(dòng)終端11解開安全鎖。
[0128]另一方面,在步驟S18中判定的認(rèn)證結(jié)果(認(rèn)證0K)是不正確的情況下,判定單元58將認(rèn)證失敗的事實(shí)輸出至顯示器29。在這種情況下,無(wú)法解開移動(dòng)終端11的安全鎖。
[0129]此外,在步驟S15中臉部認(rèn)證的結(jié)果顯示的認(rèn)證N/A的情況下,判定單元58將判定認(rèn)證N/A的事實(shí)輸出至顯示器29。當(dāng)然,在這種情況下,無(wú)法解開移動(dòng)終端11的安全鎖。
[0130]通過(guò)上述方法,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域彼此進(jìn)行比較,并且根據(jù)比較結(jié)果判定臉部認(rèn)證的認(rèn)證結(jié)果正確與否。
[0131]例如,在現(xiàn)有技術(shù)的認(rèn)證過(guò)程中,擔(dān)心移動(dòng)終端擁有者的臉部的圖片用于通過(guò)欺騙成功通過(guò)臉部認(rèn)證,解開安全鎖。相反,在本公開中,RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域彼此進(jìn)行比較,結(jié)果是即便通過(guò)使用面部圖片欺騙了臉部認(rèn)證成功,判定認(rèn)證結(jié)果也是不正確的。因而,根據(jù)本公開,通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像,可以提高臉部認(rèn)證的精確度并通過(guò)臉部認(rèn)證增強(qiáng)安全性。
[0132]此外,在如上所述的方法中,通過(guò)一個(gè)圖像獲取單元同時(shí)在相同的視場(chǎng)角拍攝RGB圖像和IR圖像,因此沒必要如調(diào)整光軸或者同步圖像獲取時(shí)間,減少過(guò)程的工作量。
[0133]在上文的說(shuō)明中,從臉部圖像檢測(cè)眼部區(qū)域,但是只要可高精度地檢測(cè)眼部區(qū)域,就可從整個(gè)RGB圖像中檢測(cè)眼部區(qū)域。
[0134]〈3.第二實(shí)施方式〉
[0135](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)
[0136]圖12是示出根據(jù)本公開第二實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的示圖。
[0137]應(yīng)注意在圖12中示出的移動(dòng)終端111中,用相同的名稱和附圖標(biāo)記表示與圖7中顯示的移動(dòng)終端11的結(jié)構(gòu)具有相同功能的結(jié)構(gòu),并且將會(huì)視情況省略對(duì)其的說(shuō)明。
[0138]圖12中示出的移動(dòng)終端111與圖7中示出的移動(dòng)終端11不同,因?yàn)樘峁┭鄄繀^(qū)域檢測(cè)單元151而不是眼部區(qū)域檢測(cè)單元54。
[0139]眼部區(qū)域檢測(cè)單元151檢測(cè)圖像獲取單元51中RGB圖像的眼部區(qū)域并將顯示RGB圖像中眼部區(qū)域的位置的坐標(biāo)信息提供至比較單元56和浦肯野圖像檢測(cè)單元57。眼部區(qū)域檢測(cè)單元151提前獲悉多個(gè)眼部,從而檢測(cè)眼部區(qū)域。
[0140](關(guān)于認(rèn)證過(guò)程)
[0141]隨后,參考圖13中顯示的流程圖,將描述圖12中示出的通過(guò)移動(dòng)終端111的認(rèn)證過(guò)程。
[0142]應(yīng)注意圖13中示出的流程圖的步驟S111、步驟S112、步驟S114到步驟S119的過(guò)程與圖8中示出的流程圖的步驟S11、步驟S12、步驟S14到步驟S19的過(guò)程基本上相同,因此將省掉對(duì)其的說(shuō)明。
[0143]就是說(shuō),在步驟S113中,眼部區(qū)域檢測(cè)單元151檢測(cè)通過(guò)圖像獲取單元51獲得的RGB圖像中的眼部區(qū)域并將顯示RGB圖像中眼部區(qū)域的位置的坐標(biāo)信息提供至比較單元56和浦肯野圖像檢測(cè)單元57??蔀樽笱酆陀已刍蛘哐劬χ衅渲幸粋€(gè)執(zhí)行眼部區(qū)域的檢測(cè)。
[0144]通過(guò)上述過(guò)程,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域彼此進(jìn)行比較,并且基于比較結(jié)果判定臉部認(rèn)證的認(rèn)證結(jié)果是否正確,因此通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像可以增加臉部認(rèn)證的精確度并進(jìn)一步增強(qiáng)臉部認(rèn)證的安全性。[0145]在上文的說(shuō)明中,從整個(gè)RGB圖像檢測(cè)到眼部區(qū)域,但是也可從整個(gè)IR圖像中檢測(cè)眼部區(qū)域。
[0146]〈4.第三實(shí)施方式〉
[0147](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)
[0148]圖14是示出根據(jù)本公開第三實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的示圖。
[0149]應(yīng)注意在圖14中不出的移動(dòng)終端211中,用相冋的名稱和附圖標(biāo)記表不與圖7中示出的移動(dòng)終端11的結(jié)構(gòu)具有相同功能的結(jié)構(gòu),并且將會(huì)視情況省略對(duì)其的說(shuō)明。
[0150]圖14中示出的移動(dòng)終端211不同于圖7中示出的移動(dòng)終端11,因?yàn)樘峁┭鄄繀^(qū)域檢測(cè)單元251而不是眼部區(qū)域檢測(cè)單元54。
[0151]眼部區(qū)域檢測(cè)單元251檢測(cè)圖像獲取單元51中的IR圖像的眼部區(qū)域并將顯示IR圖像中眼部區(qū)域的位置的坐標(biāo)信息提供至比較單元56和浦肯野圖像檢測(cè)單元57。眼部區(qū)域檢測(cè)單元251提前獲悉多個(gè)眼部,從而檢測(cè)眼部區(qū)域。
[0152](關(guān)于認(rèn)證過(guò)程)
[0153]隨后,參考圖15中示出的流程圖,將描述圖14中示出的通過(guò)移動(dòng)終端211的認(rèn)證過(guò)程。
[0154]應(yīng)注意圖15中示出的流程圖的步驟S211、S212、S214到S219的過(guò)程與圖8中示出的流程圖的步驟Sll、S12、S14到S19的過(guò)程基本上相同,因此將省略對(duì)其的說(shuō)明。
[0155]就是說(shuō),在步驟S213,眼部區(qū)域檢測(cè)單元251檢測(cè)圖像獲取單元51獲得的IR圖像中的眼部區(qū)域并將顯示IR圖像中的眼部區(qū)域的位置的坐標(biāo)信息提供至比較單元56和浦肯野圖像檢測(cè)單元57。可為左眼和右眼或者眼睛中其中一個(gè)執(zhí)行眼部區(qū)域的檢測(cè)。
[0156]通過(guò)上述過(guò)程,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域彼此進(jìn)行比較,并且判定臉部認(rèn)證的認(rèn)證結(jié)果是否正確,因此通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像可以增加臉部認(rèn)證的精確度并進(jìn)一步通過(guò)臉部認(rèn)證增強(qiáng)安全性。
[0157]應(yīng)注意,在圖14中示出的移動(dòng)終端211中可設(shè)置檢測(cè)圖像獲取單元51的IR圖像中的臉部、提取臉部圖像、并將臉部圖像提供至眼部區(qū)域檢測(cè)單元251的臉部檢測(cè)單元。有這樣的結(jié)構(gòu),可以減少眼部區(qū)域檢測(cè)單元251的眼部檢測(cè)的工作量。
[0158]在上文說(shuō)明中,一個(gè)圖像獲取單元拍攝RGB圖像和IR圖像,但是兩個(gè)圖像獲取單元可分別拍攝RGB圖像和IR圖像。
[0159]〈5.第四實(shí)施方式〉
[0160](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)
[0161]圖16是根據(jù)本公開第四實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的示圖。
[0162]應(yīng)注意在圖16中不出的移動(dòng)終端311中,用相冋的名稱和附圖標(biāo)記表不與圖7中顯示的移動(dòng)終端11的結(jié)構(gòu)具有相同功能的結(jié)構(gòu),并且將會(huì)視情況省略對(duì)其的說(shuō)明。
[0163]圖16中示出的移動(dòng)終端311與圖7中示出的移動(dòng)終端11不同,因?yàn)樘峁﹫D像獲取單元351和352而不是圖像獲取單元51,新提供眼部區(qū)域檢測(cè)單元251,并且提供比較單元353而不是比較單元56。
[0164]眼部區(qū)域檢測(cè)單元251與圖14中顯示的設(shè)置于移動(dòng)終端211的眼部區(qū)域檢測(cè)單元相同,因此將省略對(duì)其的說(shuō)明。
[0165]圖像獲取單元351設(shè)置有透鏡361、IR紅外截止濾光器362、圖像傳感器363、CDS/AGC電路(未示出)以及A/D轉(zhuǎn)換電路(未示出)。就是說(shuō),圖像獲取單元351拍攝主體的圖像并輸出所得的RGB圖像。
[0166]圖像獲取單元352設(shè)置有透鏡371、可見光截止濾光器372、圖像傳感器373、⑶S/AGC電路(未示出)、以及A/D轉(zhuǎn)換電路(未示出)。就是說(shuō),圖像獲取單元352拍攝主體的圖像并輸出所得的IR圖像。
[0167]應(yīng)注意通過(guò)時(shí)序生成器28的時(shí)序信號(hào)彼此同步操作圖像獲取單元351和352以及IR光發(fā)射單元52。
[0168]在示出認(rèn)證0K的認(rèn)證結(jié)果是由臉部認(rèn)證單元55提供的情況下,比較單元353使用眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息與眼部區(qū)域檢測(cè)單元251的坐標(biāo)信息來(lái)比較RGB圖像的眼部區(qū)域和IR圖像中的眼部區(qū)域并將比較結(jié)果提供至判定單元58。
[0169](關(guān)于認(rèn)證過(guò)程)
[0170]隨后,參考圖17示出的流程圖,將描述圖16中示出的通過(guò)移動(dòng)終端311的認(rèn)證過(guò)程。
[0171]應(yīng)注意圖17示出的流程圖的步驟S314到S316、和S318到S320的過(guò)程與圖8中示出的流程圖的步驟S13到S15、和S17到S19的過(guò)程基本上相同,因此省略對(duì)其的說(shuō)明。
[0172]就是說(shuō),在步驟S311中,圖像獲取單元351和352將操作者的圖像作為主體拍攝。此時(shí),在圖像獲取單元351和352拍攝圖像時(shí),IR光發(fā)射單元52發(fā)射光。因此,獲取用紅外光照射的操作者作為主體的RGB圖像和IR圖像。RGB圖像提供給臉部檢測(cè)單元53和比較單元353,并且IR圖像提供給浦肯野圖像檢測(cè)單元57、眼部區(qū)域檢測(cè)單元251和比較單元 353。
[0173]在步驟S312中,眼部區(qū)域檢測(cè)單元251檢測(cè)圖像獲取單元352獲取的IR圖像中的眼部區(qū)域并將顯示IR圖像中的眼部區(qū)域的位置的坐標(biāo)信息提供至浦肯野圖像檢測(cè)單元57和比較單元353。
[0174]然后,在步驟S313至S316的過(guò)程之后,在步驟S317中,比較單元353使用眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息與眼部區(qū)域檢測(cè)單元251的坐標(biāo)信息來(lái)比較RGB圖像的眼部區(qū)域和IR圖像中的眼部區(qū)域并將比較結(jié)果提供至判定單元58。應(yīng)注意,眼部區(qū)域檢測(cè)單元54的坐標(biāo)信息顯示RGB圖像里的眼部區(qū)域的位置,以及眼部區(qū)域檢測(cè)單元251的坐標(biāo)信息顯示IR圖像里的眼部區(qū)域的位置。在不同的視場(chǎng)角拍攝RGB圖像和IR圖像,因此RGB圖像里的眼部區(qū)域的位置和IR圖像里的眼部區(qū)域的位置通過(guò)不同的視場(chǎng)角調(diào)整后的位置而被規(guī)定。
[0175]應(yīng)注意對(duì)于通過(guò)彼此比較RGB圖像里的眼部區(qū)域和IR圖像里的眼部區(qū)域獲取差值的方法,使用例如參考圖9至圖11描述的方法。
[0176]通過(guò)上述方法,RGB圖像中的眼部區(qū)域和IR圖像中的眼部區(qū)域彼此進(jìn)行比較,并且根據(jù)比較結(jié)果判定臉部認(rèn)證的認(rèn)證結(jié)果正確與否。因此,通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像可以提高臉部認(rèn)證的精確度并進(jìn)一步增強(qiáng)通過(guò)臉部認(rèn)證的安全性。
[0177]在上文說(shuō)明中,從整個(gè)IR圖像中檢測(cè)IR圖像里的眼部區(qū)域,但是從IR圖像中可提取臉部圖像以檢測(cè)臉部圖像的IR圖像里的眼部區(qū)域。
[0178]〈6.第五實(shí)施方式〉
[0179](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)[0180]圖18是示出根據(jù)本公開第五實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的示圖。
[0181]應(yīng)注意在圖18中不出的移動(dòng)終端411中,用相冋的名稱和附圖標(biāo)記表不與圖16中顯示的移動(dòng)終端311的結(jié)構(gòu)具有相同功能的結(jié)構(gòu),并且將會(huì)視情況省略對(duì)其的說(shuō)明。
[0182]圖18中示出的移動(dòng)終端411與圖16中示出的移動(dòng)終端311不同,因?yàn)樾绿峁┝四槻繖z測(cè)單元451,并且提供了眼部區(qū)域檢測(cè)單元452而不是眼部區(qū)域檢測(cè)單元251。
[0183]臉部檢測(cè)單元451檢測(cè)來(lái)自圖像獲取單元352的IR圖像的臉部,基于檢測(cè)臉部的臉部檢測(cè)區(qū)域的位置和大小提取臉部圖像,并且將臉部圖像提供至眼部區(qū)域檢測(cè)單元452。應(yīng)注意在這種情況下,為了將通過(guò)臉部檢測(cè)單元53提取的臉部圖像與通過(guò)臉部檢測(cè)單元451提取的臉部圖像區(qū)分開,通過(guò)臉部檢測(cè)單元53提取的臉部圖像和通過(guò)臉部檢測(cè)單元451提取的臉部圖像分別稱為RGB臉部圖像和IR臉部圖像。
[0184]眼部區(qū)域檢測(cè)單元452檢測(cè)臉部檢測(cè)單元451的IR臉部圖像的眼部區(qū)域并將顯示眼部區(qū)域的位置的坐標(biāo)信息提供至浦肯野圖像檢測(cè)單元57和比較單元353。
[0185](關(guān)于認(rèn)證過(guò)程)
[0186]隨后,參考圖19中示出的流程圖,將描述圖18中示出的通過(guò)移動(dòng)終端411的認(rèn)證過(guò)程。
[0187]應(yīng)注意圖19中示出的流程圖的步驟S411、和S414至S421的過(guò)程與圖17中示出的流程圖的步驟S311、和S313至S320的過(guò)程基本上相同,因此省略對(duì)其的說(shuō)明。
[0188]就是說(shuō),在步驟S412中,臉部檢測(cè)單元451檢測(cè)圖像獲取單元352的IR圖像的臉部,根據(jù)臉部檢測(cè)區(qū)域的位置和大小提取IR臉部圖像,并將IR臉部圖像提供至眼部區(qū)域檢測(cè)單元452。
[0189]在步驟S413中,眼部區(qū)域檢測(cè)單元452檢測(cè)臉部檢測(cè)單元451的IR臉部圖像的眼部區(qū)域并將顯示IR圖像里的眼部區(qū)域的位置的坐標(biāo)信息提供至浦肯野圖像檢測(cè)單元57和比較單元353。
[0190]通過(guò)上述過(guò)程,RGB圖像里的眼部區(qū)域和IR圖像里的眼部區(qū)域彼此進(jìn)行對(duì)比,并且根據(jù)比較結(jié)果判定臉部認(rèn)證的認(rèn)證結(jié)果是否正確,因此通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像可以提高臉部認(rèn)證的精確度并進(jìn)一步通過(guò)臉部認(rèn)證增強(qiáng)安全性。
[0191]此外,可從IR臉部圖像中檢測(cè)IR圖像里的眼部區(qū)域,因此可以在比較單元353中提聞檢測(cè)眼部區(qū)域的精確度并提聞?wù){(diào)整視場(chǎng)角的精確度。
[0192]在上文說(shuō)明中,兩個(gè)圖像獲取單元分別拍攝RGB圖像和IR圖像。然而,通過(guò)在一個(gè)圖像獲取單元中使用IR截止濾光器和可見光截止濾光器并切換截止濾光器,也可以拍攝RGB圖像和IR圖像。
[0193]〈7.第六實(shí)施方式〉
[0194](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)
[0195]圖20是根據(jù)本公開第六實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的示圖。
[0196]應(yīng)注意在圖20中不出的移動(dòng)終端511中,用相冋的名稱和附圖標(biāo)記表不與圖16中示出的移動(dòng)終端311的結(jié)構(gòu)具有相同功能的結(jié)構(gòu),并且將會(huì)視情況省略對(duì)其的說(shuō)明。
[0197]圖20中示出的移動(dòng)終端511與圖16中示出的移動(dòng)終端311不同,因?yàn)樘峁﹫D像獲取單元551而不是圖像獲取單元351和352。
[0198]圖像獲取單元551設(shè)置有透鏡561、濾光器切換單元562、以及圖像傳感器563。濾光器切換單兀562使得布置于透鏡561和圖像傳感器563之間的光學(xué)濾光器在IR截止濾光器562a與可見光截止濾光器562b之間切換。通過(guò)這樣的結(jié)構(gòu),圖像獲取單元551拍攝主體的圖像并輸出所得的RGB圖像和IR圖像。在這種結(jié)構(gòu)中,在不同的時(shí)間相同的視場(chǎng)角拍攝并獲取RGB圖像和IR圖像。
[0199]應(yīng)注意IR光發(fā)射單元52在圖像獲取單元551拍攝IR圖像時(shí)可發(fā)出紅外光。
[0200](關(guān)于認(rèn)證過(guò)程)
[0201]隨后,參考圖21中示出的流程圖,將描述圖20中示出的通過(guò)移動(dòng)終端511的認(rèn)證過(guò)程。
[0202]應(yīng)注意圖21中示出的流程圖的步驟S515至S522的過(guò)程與圖17中示出的流程圖的步驟S313至S320的過(guò)程基本上相同,因此將省略對(duì)其的說(shuō)明。
[0203]步驟S511中,圖像獲取單元551拍攝操作者作為主體的圖像。這時(shí),濾光器切換單兀562使得可見光截止濾光器562b布置于透鏡561和圖像傳感器563之間。此外,在圖像獲取單元551拍攝圖像時(shí),IR光發(fā)射單元52發(fā)射光。因此,得到用紅外光照射操作者作為主體的IR圖像,IR圖像提供至浦肯野圖像檢測(cè)單元57、眼部區(qū)域檢測(cè)單元251、以及比較單元353。
[0204]在步驟S512中,眼部區(qū)域檢測(cè)單元251檢測(cè)圖像獲取單元551獲得的IR圖像中的眼部區(qū)域并將顯示IR圖像中的眼部區(qū)域的位置的坐標(biāo)信息提供至浦肯野圖像檢測(cè)單元57和比較單元353。
[0205]在步驟S513中,濾光器切換單元562將布置于透鏡561和圖像傳感器563之間的光學(xué)濾光器從可見光截止濾光器562b切換到IR截止濾光器562a。
[0206]在步驟S514中,圖像獲取單元551拍攝操作者作為主體的圖像。這時(shí),IR截止濾光器562a布置于透鏡561和圖像傳感器563之間,因此獲取操作者作為主體的RGB圖像,并且RGB圖像提供至臉部檢測(cè)單元53和比較單元353。
[0207]通過(guò)上述過(guò)程,RGB圖像的眼部區(qū)域和IR圖像的眼部區(qū)域彼此進(jìn)行比較,并且根據(jù)比較結(jié)果判定臉部認(rèn)證的認(rèn)證結(jié)果是否正確,因此通過(guò)使用可見光拍攝的圖像和使用紅外光拍攝的圖像可以提高臉部認(rèn)證的精確度并進(jìn)一步提高通過(guò)臉部認(rèn)證的安全性。
[0208]應(yīng)注意在參考圖21中示出的流程圖所描述的認(rèn)證過(guò)程中,獲取IR圖像,然后獲取RGB圖像,但是獲取圖像順序可倒序執(zhí)行。
[0209]此外,在圖20中示出的移動(dòng)終端511中可設(shè)置檢測(cè)圖像獲取單元511的IR圖像中的臉部、提取臉部圖像、并將臉部圖像提供至眼部區(qū)域檢測(cè)單元251的臉部檢測(cè)單元。有這樣的結(jié)構(gòu),可以減少眼部區(qū)域檢測(cè)單元251檢測(cè)的工作量。
[0210]〈8.第七實(shí)施方式〉
[0211](移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例)
[0212]圖22是示出根據(jù)本公開第七實(shí)施方式的移動(dòng)終端的功能結(jié)構(gòu)的實(shí)例的示圖。
[0213]應(yīng)注意在圖22中示出的移動(dòng)終端611中,用相同的名稱和附圖標(biāo)記表示與圖7中顯示的移動(dòng)終端11的結(jié)構(gòu)具有相同功能的結(jié)構(gòu),并且將會(huì)視情況省略對(duì)其的說(shuō)明。
[0214]圖22中示出的移動(dòng)終端611與圖7中示出的移動(dòng)終端11不同,因?yàn)樘峁┝丝梢姽庠?51。
[0215]可見光源651—直發(fā)射光并用可見光照射主體。應(yīng)注意在圖像獲取單元51 (與通過(guò)時(shí)序生成器28的時(shí)序信號(hào)的圖像獲取單元51同步)拍攝圖像時(shí)可見光源651可發(fā)光并用可見光照射主體。
[0216]帶有這樣的結(jié)構(gòu),即便在暗處執(zhí)行認(rèn)證過(guò)程,也可以執(zhí)行臉部認(rèn)證而不降低準(zhǔn)確度。
[0217]應(yīng)注意可見光源651可添加至根據(jù)第二至第六實(shí)施方式的結(jié)構(gòu)。
[0218]此外,在上文中,給出了本技術(shù)應(yīng)用于通過(guò)臉部認(rèn)證解開安全鎖的移動(dòng)終端實(shí)例。然而,本技術(shù)可應(yīng)用于通過(guò)拍攝人物作為主體的圖像執(zhí)行臉部認(rèn)證的任何裝置。例如,本技術(shù)可應(yīng)用于通過(guò)臉部認(rèn)證允許登錄到網(wǎng)絡(luò)的個(gè)人計(jì)算機(jī)、允許進(jìn)入設(shè)備的入口管理系統(tǒng)、識(shí)別護(hù)照的出入境管制系統(tǒng)等。
[0219]如上所述的一系列過(guò)程可通過(guò)硬件或者軟件執(zhí)行。在通過(guò)軟件執(zhí)行一系列過(guò)程的情況下,形成軟件的程序被安裝到集成專用硬件的計(jì)算機(jī)、或通過(guò)安裝來(lái)自程序記錄介質(zhì)的不同的程序來(lái)執(zhí)行不同的操作的通用計(jì)算機(jī)等中。
[0220]圖23是示出根據(jù)程序執(zhí)行如上所述的一系列過(guò)程的計(jì)算機(jī)的硬件結(jié)構(gòu)的實(shí)例的方框圖。
[0221]在計(jì)算機(jī)中,CPU (中央處理單元)901、R0M (只讀存儲(chǔ)器)902以及RAM (隨機(jī)存取存儲(chǔ)器)903通過(guò)總線904彼此連接。
[0222]此外,輸入和輸出接口 905連接至總線904。輸入裝置906 (諸如鍵盤、鼠標(biāo)、以及麥克風(fēng))、輸出裝置907 (諸如顯示器和揚(yáng)聲器)、存儲(chǔ)器908 (諸如硬盤和非易失性存儲(chǔ)器)、通信裝置909 (諸如網(wǎng)絡(luò)接口)、以及驅(qū)動(dòng)可移除介質(zhì)911 (諸如磁盤、光盤、磁光盤)的驅(qū)動(dòng)910、以及半導(dǎo)體存儲(chǔ)器連接至輸入和輸出接口 905。
[0223]例如,在具有如上所述的結(jié)構(gòu)的計(jì)算機(jī)中,CPU901將存儲(chǔ)器908中存儲(chǔ)的程序通過(guò)輸入和輸出接口 905和總線904加載于RAM903并執(zhí)行程序,從而執(zhí)行如上所述的一系列程序。
[0224]通過(guò)計(jì)算機(jī)(CPU901)執(zhí)行的程序被記錄在作為由磁盤(包括軟磁盤)、光盤(⑶-ROM (只讀光盤)、DVD (數(shù)字視頻光盤)等)、磁光盤、或者半導(dǎo)體存儲(chǔ)器組成的封裝件介質(zhì)的可移除介質(zhì)911中,或者通過(guò)有線或無(wú)線傳輸介質(zhì)(諸如局域網(wǎng)、因特網(wǎng)、和數(shù)字衛(wèi)星廣播)提供。
[0225]可移除介質(zhì)911安裝在驅(qū)動(dòng)910上,從而程序可通過(guò)輸入和輸出接口 905安裝在存儲(chǔ)器908。此外,通信裝置909通過(guò)有線或者無(wú)線傳輸介質(zhì)接收程序并可安裝于存儲(chǔ)器908。此外,程序可提前安裝于R0M902或者存儲(chǔ)器908中。
[0226]應(yīng)注意由計(jì)算機(jī)執(zhí)行的程序例如可依時(shí)間次序并按說(shuō)明書中說(shuō)明的順序執(zhí)行或者同時(shí)執(zhí)行或者在調(diào)用程序時(shí)執(zhí)行。
[0227]此外,本公開不限于上述實(shí)施方式,并且在不脫離本公開要旨的情況下可以進(jìn)行各種變形。
[0228]例如,本技術(shù)可具有云計(jì)算結(jié)構(gòu),其中一個(gè)功能被共享并通過(guò)網(wǎng)絡(luò)由多個(gè)裝置處理。
[0229]此外,在上述流程圖中描述的步驟可通過(guò)一個(gè)裝置執(zhí)行,或可被通過(guò)多個(gè)裝置共享并執(zhí)行。
[0230]在一個(gè)步驟包括多個(gè)過(guò)程的情況下,一個(gè)步驟中的多個(gè)過(guò)程可通過(guò)一個(gè)裝置執(zhí)行或者通過(guò)多個(gè)裝置共享并執(zhí)行。
[0231]應(yīng)注意本公開可采用至少以下的配置。
[0232](配置1)
[0233]一種電子裝置,包括:
[0234]成像部分,包括至少一個(gè)圖像獲取單元,成像部分被配置為對(duì)場(chǎng)景進(jìn)行成像并且生成場(chǎng)景的可見光圖像以及場(chǎng)景的紅外光圖像;
[0235]臉部認(rèn)證單元,被配置為對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程;
[0236]驗(yàn)證單元,被配置為通過(guò)比較可見光圖像和紅外光圖像檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0237](配置2)
[0238]根據(jù)配置1的電子裝置,
[0239]其中,驗(yàn)證單元被配置為通過(guò)將與可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與紅外光圖像中的眼部區(qū)域的對(duì)應(yīng)亮度數(shù)據(jù)進(jìn)行比較來(lái)檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0240](配置3)
[0241]根據(jù)配置2的電子裝置,
[0242]其中,驗(yàn)證單元被配置為當(dāng)與可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)之間的差值小時(shí)表示臉部認(rèn)證單元的認(rèn)證判定是不可信的。
[0243](配置4)
[0244]根據(jù)配置3的電子裝置,
[0245]其中,與可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)和與紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)包括二值化數(shù)據(jù)。
[0246](配置5)
[0247]根據(jù)配置2至4中任一項(xiàng)的電子裝置,其中,驗(yàn)證單元被配置為當(dāng)紅外光圖像中的虹膜區(qū)域的大小與可見光圖像中的虹膜區(qū)域的大小不同時(shí)表示臉部認(rèn)證單元的認(rèn)證判定是不可信的。
[0248](配置6)
[0249]根據(jù)配置2到5中任一項(xiàng)的電子裝置,其中,驗(yàn)證單元被配置為當(dāng)與可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)的分布同與紅外光圖像中眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)的分布不同時(shí)表示臉部認(rèn)證單元的認(rèn)證判定是不可信的。
[0250](配置7)
[0251]根據(jù)配置3到6任一項(xiàng)的電子裝置,
[0252]其中,驗(yàn)證單元被配置為檢測(cè)紅外光圖像中眼部區(qū)域中的浦肯野圖像并當(dāng)在紅外光圖像的眼部區(qū)域中未檢測(cè)到浦肯野圖像時(shí)指示臉部認(rèn)證單元的認(rèn)證判定是不可信的。
[0253](配置8)
[0254]根據(jù)配置2到7中任一項(xiàng)的電子裝置,
[0255]其中,至少一個(gè)圖像獲取單元包括具有生成可見光圖像的可見光檢測(cè)像素以及生成紅外光圖像的紅外光檢測(cè)像素的圖像傳感器,該圖像傳感器被配置為可見光圖像和紅外光圖像具有相同的視場(chǎng)角并同時(shí)拍攝。[0256](配置9)
[0257]根據(jù)配置8的電子裝置,進(jìn)一步包括:
[0258]臉部檢測(cè)單元,被配置為檢測(cè)可見光圖像中的臉部并由其產(chǎn)生臉部圖像;以及
[0259]眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索臉部檢測(cè)單元生成的臉部圖像,來(lái)檢測(cè)可見光圖像中的眼部區(qū)域并且將可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至驗(yàn)證單元,
[0260]其中,驗(yàn)證單元被配置為根據(jù)眼部區(qū)域檢測(cè)單元輸出的坐標(biāo)判定紅外光圖像中的眼部區(qū)域,并且
[0261]其中,臉部認(rèn)證單元被配置為根據(jù)臉部檢測(cè)單元生成的臉部圖像執(zhí)行臉部認(rèn)證過(guò)程。
[0262](配置10)
[0263]根據(jù)配置8或者9的電子設(shè)備,
[0264]眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)可見光圖像中的眼部區(qū)域并將可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至驗(yàn)證單元,
[0265]其中,驗(yàn)證單元被配置為根據(jù)眼部區(qū)域檢測(cè)單元輸出的坐標(biāo)判定紅外光圖像中的眼部區(qū)域。
[0266](配置11)
[0267]根據(jù)配置8到10任一項(xiàng)的電子設(shè)備,
[0268]進(jìn)一步包括眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)紅外光圖像中的眼部區(qū)域并將紅外光圖像中的眼部區(qū)域的坐標(biāo)輸出至驗(yàn)證單元,
[0269]其中,驗(yàn)證單元被配置為根據(jù)眼部區(qū)域檢測(cè)單元輸出的坐標(biāo)判定可見光圖像中的眼部區(qū)域。
[0270](配置12)
[0271]根據(jù)配置2到11任一項(xiàng)的電子裝置,
[0272]其中,至少一個(gè)圖像獲取單元包括具有生成可見光圖像的第一圖像傳感器的第一圖像獲取單元以及具有生成紅外光圖像的第二圖像傳感器的第二圖像獲取單元,第一圖像傳感器和第二圖像傳感器被配置為同時(shí)拍攝可見光圖像和紅外光圖像。
[0273](配置13)
[0274]根據(jù)配置12的電子裝置,進(jìn)一步包括:
[0275]臉部檢測(cè)單元,被配置為檢測(cè)可見光圖像中的臉部并從其中生成臉部圖像;
[0276]第一眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索臉部檢測(cè)單元生成的臉部圖像來(lái)檢測(cè)可見光圖像中的眼部區(qū)域并將可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至驗(yàn)證單元;以及
[0277]第二眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)紅外光圖像中的眼部區(qū)域,
[0278]其中,臉部認(rèn)證單元被配置為根據(jù)臉部檢測(cè)單元生成的臉部圖像執(zhí)行臉部認(rèn)證過(guò)程。
[0279](配置14)
[0280]根據(jù)配置12或者13的電子裝置,進(jìn)一步包括:
[0281]第一臉部檢測(cè)單元,被配置為檢測(cè)可見光圖像中的臉部并由其產(chǎn)生第一臉部圖像;
[0282]第一眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索第一臉部檢測(cè)單元生成的第一臉部圖像來(lái)檢測(cè)可見光圖像中的眼部區(qū)域并將可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至驗(yàn)證單元;
[0283]第二臉部檢測(cè)單元,被配置為檢測(cè)紅外光圖像中的臉部并由其產(chǎn)生第二臉部圖像;以及
[0284]第二眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索第二臉部檢測(cè)單元生成的第二臉部圖像來(lái)檢測(cè)紅外光圖像中的眼部區(qū)域并且將紅外光圖像中的眼部區(qū)域的坐標(biāo)輸出至驗(yàn)證單元,
[0285]其中,臉部認(rèn)證單元被配置為根據(jù)第一臉部檢測(cè)單元生成的第一臉部圖像執(zhí)行臉部認(rèn)證過(guò)程。
[0286](配置15)
[0287]根據(jù)配置2到14中任一項(xiàng)的電子裝置,
[0288]其中,至少一個(gè)圖像獲取單元包括圖像傳感器和濾光單元,濾光單元被配置為改變對(duì)圖像傳感器的濾光以使圖像傳感器在第一時(shí)序生成可見光圖像并在第二時(shí)序生成紅外光圖像,可見光圖像和紅外光圖像具有相同的視場(chǎng)角。
[0289](配置16)
[0290]一種移動(dòng)終端裝置,包括配置1到15任一項(xiàng)的電子裝置。
[0291](配置17)
[0292]一種移動(dòng)終端裝置包括:
[0293]成像部分,包括至少一個(gè)圖像獲取單元,成像部分被配置為對(duì)場(chǎng)景進(jìn)行成像并且產(chǎn)生場(chǎng)景的可見光圖像以及場(chǎng)景的紅外光圖像;
[0294]臉部認(rèn)證單元,被配置為對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序;
[0295]驗(yàn)證單元,被配置為通過(guò)比較可見光圖像和紅外光圖像檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0296](配置18)
[0297]一種計(jì)算機(jī)系統(tǒng)裝置,包括配置1到15中任一項(xiàng)的電子裝置。
[0298](配置19)
[0299]一種計(jì)算機(jī)系統(tǒng)裝置包括:
[0300]成像部分,包括至少一個(gè)圖像獲取單元,成像部分被配置為對(duì)場(chǎng)景進(jìn)行成像并且產(chǎn)生場(chǎng)景的可見光圖像以及場(chǎng)景的紅外光圖像;
[0301]臉部認(rèn)證單元,被配置為對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序;
[0302]驗(yàn)證單元,被配置為通過(guò)比較可見光圖像和紅外光圖像檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0303](配置20)
[0304]一種安全系統(tǒng)裝置包括配置1到15中任一項(xiàng)的電子裝置。
[0305](配置21)
[0306]一種安全系統(tǒng)裝置包括:
[0307]成像部分,包括至少一個(gè)圖像獲取單元,成像部分被配置為對(duì)場(chǎng)景進(jìn)行成像并且產(chǎn)生場(chǎng)景的可見光圖像以及場(chǎng)景的紅外光圖像;
[0308]臉部認(rèn)證單元,被配置為對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證程序;[0309]驗(yàn)證單元,被配置為通過(guò)比較可見光圖像和紅外光圖像檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0310](配置22)
[0311]一種認(rèn)證方法包括:
[0312]對(duì)場(chǎng)景進(jìn)行成像并生成場(chǎng)景的可見光圖像以及場(chǎng)景的紅外光圖像;
[0313]對(duì)可見光圖像中檢測(cè)的臉部執(zhí)行臉部認(rèn)證過(guò)程;以及
[0314]通過(guò)比較與可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)檢驗(yàn)?zāi)槻空J(rèn)證過(guò)程的結(jié)果。
[0315](配置23)
[0316]一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì),其上存儲(chǔ)有程序代碼,程序代碼是可由處理器執(zhí)行來(lái)進(jìn)行以下操作,包括:
[0317]對(duì)場(chǎng)景進(jìn)行成像并生成場(chǎng)景的可見光圖像以及場(chǎng)景的紅外光圖像;
[0318]對(duì)可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程;以及
[0319]通過(guò)將與可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與紅外光圖像的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)進(jìn)行比較,來(lái)檢驗(yàn)?zāi)槻空J(rèn)證過(guò)程的結(jié)果。
[0320](配置24)
[0321]一種電子裝置,包括:
[0322]臉部認(rèn)證單元,被配置為對(duì)在場(chǎng)景的可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程;以及
[0323]驗(yàn)證單元,被配置為通過(guò)將可見光圖像與相同場(chǎng)景的紅外光圖像進(jìn)行比較檢驗(yàn)?zāi)槻空J(rèn)證單元的認(rèn)證判定。
[0324]( 1) 一種認(rèn)證裝置,包括:
[0325]比較單元,被配置為比較將人用作主體的可見光圖像中該人的眼部區(qū)域與將該人用作主體的紅外光圖像中的該人的眼部區(qū)域,該人被用紅外光照射,以及
[0326]判定單元,被配置為根據(jù)通過(guò)比較單元獲取的比較結(jié)果判定執(zhí)行該人的臉部認(rèn)證的認(rèn)證結(jié)果是否正確。
[0327](2)根據(jù)項(xiàng)(1)的認(rèn)證裝置,其中
[0328]在可見光圖像的眼部區(qū)域與紅外光圖像的眼部區(qū)域之間引起差值時(shí),判定單元判定認(rèn)證結(jié)果是正確的。
[0329](3)根據(jù)項(xiàng)(1)或(2)的認(rèn)證裝置,進(jìn)一步包括
[0330]臉部認(rèn)證單元,被配置為在可見光圖像中執(zhí)行該人的臉部認(rèn)證,其中,
[0331]判定單元,根據(jù)通過(guò)比較單元獲取的比較結(jié)果判定通過(guò)臉部認(rèn)證單元獲取的認(rèn)證結(jié)果是否正確。
[0332](4)根據(jù)項(xiàng)(3)的認(rèn)證裝置,進(jìn)一步包括
[0333]圖像獲取單元,被配置為輸出對(duì)應(yīng)于從透鏡入射的光中的可見光的可見光圖像以及對(duì)應(yīng)于同時(shí)從透鏡入射的光中的紅外光的紅外光圖像。
[0334](5)根據(jù)項(xiàng)(3)或(4)的認(rèn)證裝置,進(jìn)一步包括
[0335]眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)可見光圖像和紅外光圖像中之一中的眼部區(qū)域,其中[0336]比較單元使用顯示眼部區(qū)域檢測(cè)單元檢測(cè)的眼部區(qū)域的坐標(biāo)信息來(lái)比較可見光圖像的眼部區(qū)域和紅外光圖像的眼部區(qū)域。
[0337](6)根據(jù)項(xiàng)(5)的認(rèn)證裝置,進(jìn)一步包括
[0338]臉部檢測(cè)單元,被配置為檢測(cè)在可見光圖像中的人的臉部,其中
[0339]臉部認(rèn)證單元使用通過(guò)臉部檢測(cè)單元檢測(cè)到的臉部的臉部圖像以執(zhí)行人的臉部認(rèn)證,以及
[0340]眼部區(qū)域檢測(cè)單元檢測(cè)通過(guò)臉部檢測(cè)單元檢測(cè)的臉部的臉部圖像中的眼部區(qū)域。
[0341](7)根據(jù)項(xiàng)(3)的認(rèn)證裝置,進(jìn)一步包括:
[0342]第一圖像獲取單元,被配置為輸出對(duì)應(yīng)于從透鏡入射的光中的可見光圖像;以及
[0343]第二圖像獲取單元,被配置為輸出對(duì)應(yīng)于從透鏡入射的光中的紅外光的紅外光圖像。
[0344](8)根據(jù)項(xiàng)(3)或者(7)的認(rèn)證裝置,進(jìn)一步包括:
[0345]第一眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)可見光圖像的眼部區(qū)域;以及
[0346]第二眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)紅外光圖像中的眼部區(qū)域,其中,
[0347]比較單元使用第一坐標(biāo)信息和第二坐標(biāo)信息比較可見光圖像的眼部區(qū)域和紅外光圖像的眼部區(qū)域,第一坐標(biāo)信息顯示通過(guò)第一眼部區(qū)域檢測(cè)單元檢測(cè)的可見光圖像的眼部區(qū)域,第二坐標(biāo)信息顯示通過(guò)第二眼部區(qū)域檢測(cè)單元檢測(cè)的紅外光圖像的眼部區(qū)域。
[0348](9)根據(jù)項(xiàng)(8)的認(rèn)證裝置,進(jìn)一步包括:
[0349]第一臉部檢測(cè)單元,被配置為檢測(cè)在可見光圖像中的人的臉部,以及
[0350]第二臉部檢測(cè)單元,被配置為檢測(cè)在紅外光圖像中的人的臉部,其中,
[0351]臉部認(rèn)證單元使用通過(guò)第一臉部檢測(cè)單元檢測(cè)到的臉部的臉部圖像執(zhí)行人的臉部認(rèn)證,以及
[0352]第一眼部區(qū)域檢測(cè)單元檢測(cè)通過(guò)第一臉部檢測(cè)單元檢測(cè)到的臉部的臉部圖像中的眼部區(qū)域,以及
[0353]第二眼部區(qū)域檢測(cè)單元檢測(cè)通過(guò)第二臉部檢測(cè)單元檢測(cè)的臉部的臉部圖像中的眼部區(qū)域。
[0354](10)根據(jù)項(xiàng)(3)的認(rèn)證裝置,進(jìn)一步包括
[0355]圖像獲取單元,被配置為切換并使用阻擋可見光的第一濾光器與阻擋紅外光的第二濾光器以輸出對(duì)應(yīng)于從透鏡入射的光中的可見光的可見光圖像與對(duì)應(yīng)于從透鏡入射的光中的紅外光的紅外光圖像。
[0356](11)根據(jù)(3)至(10)的任何一項(xiàng)的認(rèn)證裝置,其中
[0357]比較單元對(duì)可見光圖像的眼部區(qū)域與紅外光圖像的眼部區(qū)域執(zhí)行二值化以獲得
兩者差值。
[0358](12)根據(jù)(3)至(10)的任何一項(xiàng)的認(rèn)證裝置,其中
[0359]比較單元獲得可見光圖像的眼部區(qū)域中的亮度分布與紅外光圖像的眼部區(qū)域中的亮度分布之間的差值。
[0360](13)根據(jù)項(xiàng)(3)到(10)的任何一項(xiàng)的認(rèn)證裝置,其中
[0361]比較單元獲取可見光圖像中眼部區(qū)域里的黑色區(qū)域的輪廓線以及紅外光圖像的眼部區(qū)域里的黑色區(qū)域的輪廓線。[0362](14)根據(jù)項(xiàng)(3)到(13)任一項(xiàng)的認(rèn)證裝置,進(jìn)一步包括
[0363]浦肯野圖像檢測(cè)單元,被配置為檢測(cè)紅外光圖像的眼部區(qū)域中的浦肯野圖像,其中
[0364]判定單元使用通過(guò)比較單元獲取的比較結(jié)果以及通過(guò)浦肯野圖像檢測(cè)單元獲取的檢測(cè)結(jié)果來(lái)判定執(zhí)行人的臉部認(rèn)證的認(rèn)證結(jié)果是否正確。
[0365](15)根據(jù)項(xiàng)(3)至(14)任一項(xiàng)的認(rèn)證裝置,進(jìn)一步包括
[0366]紅外光發(fā)射單元,被配置為發(fā)出照射人的紅外光。
[0367]根據(jù)(16)項(xiàng)(3)到(15)的任一項(xiàng)的認(rèn)證裝置,進(jìn)一步包括
[0368]可見光源,被配置為對(duì)人發(fā)出可見光。
[0369](17) 一種認(rèn)證方法,包括
[0370]用紅外光照射人,比較將該人用作主體的可見光圖像中該人的眼部區(qū)域與將該人用作主體的紅外光圖像中的該人的眼部區(qū)域,以及
[0371]根據(jù)通過(guò)比較獲取的比較結(jié)果判定執(zhí)行人的臉部認(rèn)證的認(rèn)證結(jié)果是否正確。
[0372](18) 一種使計(jì)算機(jī)執(zhí)行方法的程序的步驟,包括
[0373]用紅外光照射人,比較將該人用作主體的可見光圖像中該人的眼部區(qū)域與將該人用作主體的紅外光圖像中的該人的眼部區(qū)域,,以及
[0374]根據(jù)通過(guò)比較獲取的比較結(jié)果判定執(zhí)行該人的臉部認(rèn)證的認(rèn)證結(jié)果是否正確。
[0375]本公開包括于2012年10月9日在日本專利局提交的日本在先專利申請(qǐng)JP2012-223794公開的主題,其全部?jī)?nèi)容通過(guò)引用結(jié)合于此。
[0376]本領(lǐng)域中的技術(shù)人員應(yīng)理解,只要處于所附權(quán)利要求或者其等價(jià)物范圍內(nèi),根據(jù)設(shè)計(jì)需求及其他的因素,可進(jìn)行多種修改、組合、子組合和變更。
【權(quán)利要求】
1.一種電子裝置,包括:成像部分,包括至少一個(gè)圖像獲取單元,所述成像部分被配置為對(duì)場(chǎng)景進(jìn)行成像并且生成所述場(chǎng)景的可見光圖像以及所述場(chǎng)景的紅外光圖像;臉部認(rèn)證單元,被配置為對(duì)所述可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程;驗(yàn)證單元,被配置為通過(guò)比較所述可見光圖像和所述紅外光圖像檢驗(yàn)所述臉部認(rèn)證單元的認(rèn)證判定。
2.根據(jù)權(quán)利要求1所述的電子裝置,其中,所述驗(yàn)證單元被配置為通過(guò)將與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與所述紅外光圖像中的眼部區(qū)域的對(duì)應(yīng)亮度數(shù)據(jù)進(jìn)行比較來(lái)檢驗(yàn)所述臉部認(rèn)證單元的認(rèn)證判定。
3.根據(jù)權(quán)利要求2所述的電子裝置,其中,所述驗(yàn)證單元被配置為當(dāng)與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與所述紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)之間的差值小時(shí)表示所述臉部認(rèn)證單元的認(rèn)證判定是不可信的。
4.根據(jù)權(quán)利要求3所述的電子裝置,其中,與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)和與所述紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)包括二值化數(shù)據(jù)。
5.根據(jù)權(quán)利要求2·所述的電子裝置,其中,所述驗(yàn)證單元被配置為當(dāng)所述紅外光圖像中的虹膜區(qū)域的大小與所述可見光圖像中的虹膜區(qū)域的大小不同時(shí)表示所述臉部認(rèn)證單元的認(rèn)證判定是不可信的。
6.根據(jù)權(quán)利要求2所述的電子裝置,其中,所述驗(yàn)證單元被配置為當(dāng)與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)的分布同與所述紅外光圖像中眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)的分布不同時(shí)表示所述臉部認(rèn)證單元的認(rèn)證判定是不可信的。
7.根據(jù)權(quán)利要求3所述的電子裝置,其中,所述驗(yàn)證單元被配置為檢測(cè)所述紅外光圖像中眼部區(qū)域中的浦肯野圖像,并當(dāng)在所述紅外光圖像的眼部區(qū)域中未檢測(cè)到浦肯野圖像時(shí)指示所述臉部認(rèn)證單元的認(rèn)證判定是不可信的。
8.根據(jù)權(quán)利要求2所述的電子裝置,其中,所述至少一個(gè)圖像獲取單元包括具有生成所述可見光圖像的可見光檢測(cè)像素以及生成所述紅外光圖像的紅外光檢測(cè)像素的圖像傳感器,該圖像傳感器被配置為使得所述可見光圖像和所述紅外光圖像具有相同的視場(chǎng)角并同時(shí)被拍攝。
9.根據(jù)權(quán)利要求8所述的電子裝置,還包括:臉部檢測(cè)單元,被配置為檢測(cè)所述可見光圖像中的臉部并由其產(chǎn)生臉部圖像;以及眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索所述臉部檢測(cè)單元生成的臉部圖像,來(lái)檢測(cè)所述可見光圖像中的眼部區(qū)域,并且將所述可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至所述驗(yàn)證單元,其中,所述驗(yàn)證單元被配置為根據(jù)所述眼部區(qū)域檢測(cè)單元輸出的坐標(biāo)判定所述紅外光圖像中的眼部區(qū)域,并且其中,所述臉部認(rèn)證單元被配置為根據(jù)所述臉部檢測(cè)單元生成的臉部圖像執(zhí)行臉部認(rèn)證過(guò)程。
10.根據(jù)權(quán)利要求8所述的電子設(shè)備,還包括:眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)所述可見光圖像中的眼部區(qū)域并將所述可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至所述驗(yàn)證單元,其中,所述驗(yàn)證單元被配置為根據(jù)所述眼部區(qū)域檢測(cè)單元輸出的坐標(biāo)判定所述紅外光圖像中的眼部區(qū)域。
11.根據(jù)權(quán)利要求8所述的電子設(shè)備,還包括:眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)所述紅外光圖像中的眼部區(qū)域并將所述紅外光圖像中的眼部區(qū)域的坐標(biāo)輸出至所述驗(yàn)證單元,其中,所述驗(yàn)證單元被配置為根據(jù)所述眼部區(qū)域檢測(cè)單元輸出的坐標(biāo)判定所述可見光圖像中的眼部區(qū)域。
12.根據(jù)權(quán)利要求2所述的電子裝置,其中,至少一個(gè)圖像獲取單元包括具有生成所述可見光圖像的第一圖像傳感器的第一圖像獲取單元以及具有生成所述紅外光圖像的第二圖像傳感器的第二圖像獲取單元,所述第一圖像傳感器和第二圖像傳感器被配置為同時(shí)拍攝所述可見光圖像和所述紅外光圖像。
13.根據(jù)權(quán)利要求12所述的電子裝置,還包括:臉部檢測(cè)單元,被配置為檢測(cè)所述可見光圖像中的臉部并由其生成臉部圖像;第一眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索所述臉部檢測(cè)單元生成的臉部圖像來(lái)檢測(cè)所述可見光圖像中的眼部區(qū)域,并將所述可見光圖像中的眼部區(qū)域的坐標(biāo)輸出至所述驗(yàn)證單元;以及第二眼部區(qū)域檢測(cè)單元,被配置為檢測(cè)所述紅外光圖像中的眼部區(qū)域,其中,所述臉部認(rèn)證單元被配置為根據(jù)所述臉部檢測(cè)單元生成的臉部圖像執(zhí)行臉部認(rèn)證過(guò)程。
14.根據(jù)權(quán)利要求12所述的電子裝置,還包括:第一臉部檢測(cè)單元,被配置為檢測(cè)所述可見光圖像中的臉部并由其產(chǎn)生第一臉部圖像;第一眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索所述第一臉部檢測(cè)單元生成的所述第一臉部圖像來(lái)檢測(cè)所述可見光圖像中的所述眼部區(qū)域,并將所述可見光圖像中的所述眼部區(qū)域的坐標(biāo)輸出至所述驗(yàn)證單元;第二臉部檢測(cè)單元,被配置為檢測(cè)所述紅外光圖像中的臉部并由其產(chǎn)生第二臉部圖像;以及第二眼部區(qū)域檢測(cè)單元,被配置為通過(guò)搜索所述第二臉部檢測(cè)單元生成的所述第二臉部圖像來(lái)檢測(cè)所述紅外光圖像中的所述眼部區(qū)域,并將所述紅外光圖像中的所述眼部區(qū)域的坐標(biāo)輸出至所述驗(yàn)證單元,其中,所述臉部認(rèn)證單元被配置為根據(jù)所述第一臉部檢測(cè)單元生成的第一臉部圖像執(zhí)行所述臉部認(rèn)證過(guò)程。
15.根據(jù)權(quán)利要求2所述的電子裝置,其中,所述至少一個(gè)圖像獲取單元包括圖像傳感器和濾光單元,所述濾光單元被配置為改變對(duì)所述圖像傳感器的濾光以使所述圖像傳感器在第一時(shí)序生成所述可見光圖像并在第二時(shí)序生成所述紅外光圖像,所述可見光圖像和所述紅外光圖像具有相同的視場(chǎng)角。
16.一種移動(dòng)終端裝置,包括根據(jù)權(quán)利要求1所述的電子裝置。
17.一種計(jì)算機(jī)系統(tǒng)裝置,包括根據(jù)權(quán)利要求1所述的電子裝置。
18.一種安全系統(tǒng)裝置,包括根據(jù)權(quán)利要求1所述的電子裝置。
19.一種認(rèn)證方法,包括:對(duì)場(chǎng)景進(jìn)行成像并生成所述場(chǎng)景的可見光圖像以及所述場(chǎng)景的紅外光圖像;對(duì)所述可見光圖像中檢測(cè)的臉部執(zhí)行臉部認(rèn)證過(guò)程;以及通過(guò)比較與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與所述紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)來(lái)檢驗(yàn)所述臉部認(rèn)證過(guò)程的結(jié)果。
20.根據(jù)權(quán)利要求19所述的認(rèn)證方法,其中,當(dāng)與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與所述紅外光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)之間的差值小時(shí),指示所述臉部認(rèn)證過(guò)程結(jié)果是不可信的。
21.根據(jù)權(quán)利要求19所述的認(rèn)證方法,其中,當(dāng)所述紅外光圖像中 的虹膜區(qū)域的大小與所述可見光圖像中的虹膜區(qū)域的大小不同時(shí)指示所述臉部認(rèn)證過(guò)程結(jié)果是不可信的。
22.—種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì),其上存儲(chǔ)有程序代碼,所述程序代碼可由處理器執(zhí)行來(lái)進(jìn)行以下操作,包括:對(duì)場(chǎng)景進(jìn)行成像并生成所述場(chǎng)景的可見光圖像以及所述場(chǎng)景的紅外光圖像;對(duì)所述可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程;以及通過(guò)將與所述可見光圖像中的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)同與所述紅外光圖像的眼部區(qū)域?qū)?yīng)的亮度數(shù)據(jù)進(jìn)行比較,來(lái)檢驗(yàn)所述臉部認(rèn)證過(guò)程的結(jié)果。
23.一種電子裝置,包括:臉部認(rèn)證單元,被配置為對(duì)在場(chǎng)景的可見光圖像中檢測(cè)到的臉部執(zhí)行臉部認(rèn)證過(guò)程;以及驗(yàn)證單元,被配置為通過(guò)將所述可見光圖像與相同場(chǎng)景的紅外光圖像進(jìn)行比較來(lái)檢驗(yàn)所述臉部認(rèn)證單元的認(rèn)證判定。
【文檔編號(hào)】G06F21/32GK103714279SQ201310455933
【公開日】2014年4月9日 申請(qǐng)日期:2013年9月29日 優(yōu)先權(quán)日:2012年10月9日
【發(fā)明者】茂木英昭 申請(qǐng)人:索尼公司