專利名稱：成像裝置和成像方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像裝置和成像方法。
背景技術(shù)：
近來，如數(shù)字相機(jī)和攝像機(jī)的成像裝置使用面部識別技術(shù)，該面部識別技術(shù)用于 通過從由對被攝體成像獲得的圖像數(shù)據(jù)提取人的面部的特征，識別人的面部是否包括在被 攝體中。在面部識別技術(shù)中，使用可見光圖像的方法是高度可靠的，但是可見光圖像在實(shí)際 的人像和印刷在如海報和圖片的印刷材料上的人像之間沒有產(chǎn)生任何區(qū)別。因此，因?yàn)榛?于可見光圖像不能將印刷畫像從實(shí)際的人像中區(qū)分開來，所以可能錯誤地識別面部。
圖14是示出普通成像裝置的配置的一部分的框圖。在圖14中，為了說明方便，從 普通成像裝置提取面部位置標(biāo)識單元12和主要包括鏡頭18、固態(tài)成像設(shè)備2和紅外光截除 濾光器(cut filter) 22的成像單元20。如圖14所示，面部位置標(biāo)識單元12直接接收來自 成像單元20的可見光圖像，接收已經(jīng)由圖像處理單元(未示出)處理的可見光圖像，或接 收經(jīng)歷各種處理的存儲在存儲器(未示出)中的可見光圖像。 眾所周知，如人類的活體發(fā)射紅外光。關(guān)于活體檢測，存在使用能夠檢測紅外光的 紅外相機(jī)的技術(shù)。日本專利申請公開(JP-A)No. H5-297152和No. 2005-197914公開了一種 用于通過識別被攝體中的人的面部，將實(shí)際的人像與海報等上繪制的畫像區(qū)分、從而識別 實(shí)際的人(活體)像的技術(shù)。

發(fā)明內(nèi)容
然而，JP-A No.H5-297152的技術(shù)需要輻射溫度計和用于將輻射溫度計朝向溫度 檢測的方向的控制裝置。因此，難以制造較小的活體識別裝置和較小的具有活體識別裝置 的成像裝置，并且難以降低成本。 在使用紅外相機(jī)的技術(shù)中，獲得的圖像數(shù)據(jù)根據(jù)溫度表示為亮度數(shù)據(jù)。因此，由于 獲得的圖像數(shù)據(jù)不提供允許個體的面部模式的檢測(面部圖像識別)的充足的信息量，所 以存在可靠度低的問題。換句話說，利用用于基于紅外光圖像檢測面部模式的技術(shù)，由于頻 繁發(fā)生的錯誤確定，經(jīng)常不能檢測面部，并且即使當(dāng)面部包括在被攝體中時，在檢測面部時 也經(jīng)常出現(xiàn)失敗。當(dāng)減弱確定標(biāo)準(zhǔn)以避免檢測失敗時，需要對許多像素區(qū)域執(zhí)行面部圖像 識別，因此關(guān)于省時方面沒有提供優(yōu)勢。 當(dāng)成像設(shè)備如同JP-A No. 2005-197914中使用的成像設(shè)備那樣包括紅外光接收像 素時，成像設(shè)備具有較小數(shù)量的可見光接收像素。因此，存在與普通成像設(shè)備相比圖像的質(zhì) 量劣化的問題，普通成像設(shè)備的所有像素是可見光接收像素。 此外，JP-A No. 2005-197914公開了一種使用光譜儀(棱鏡)來將從被攝體發(fā)射 的光分離為可見光和紅外光的技術(shù)，所述可見光和紅外光分別由可見光成像設(shè)備和紅外光 成像設(shè)備接收。然而，當(dāng)使用光學(xué)棱鏡、二向棱鏡等時，因?yàn)橛捎诖_保光徑的需要難以使得 裝置更小，所以存在裝置的尺寸變大的問題。此外，當(dāng)使用棱鏡時，成像裝置中使用的成像
4鏡頭需要與棱鏡兼容。此外，因?yàn)樵诮Y(jié)合等中需要高精度，所以二向棱鏡的制造需要高技術(shù)
水平。因此，存在制造成本非常昂貴的問題。另一方面，當(dāng)嘗試以低成本制造光學(xué)系統(tǒng)時，
每個光學(xué)組件的質(zhì)量降低，并且出現(xiàn)圖像質(zhì)量由于低精度而劣化的問題。 有鑒于上述和其他問題做出了本發(fā)明。本發(fā)明提供了一種新穎的和改進(jìn)的成像裝
置以及一種新穎的和改進(jìn)的成像方法，其能夠?qū)崿F(xiàn)高度可靠的活體面部識別系統(tǒng)，可使得
該活體面部識別系統(tǒng)容易地制造得更小而不劣化圖像的質(zhì)量。 根據(jù)本發(fā)明實(shí)施例，提供了一種成像裝置，包括成像單元，包括第一光電轉(zhuǎn)換設(shè) 備和第二光電轉(zhuǎn)換設(shè)備，其中所述第一光電轉(zhuǎn)換設(shè)備通過光電轉(zhuǎn)換從被攝體發(fā)送的可見光 分量來生成第一圖像數(shù)據(jù)，并且其中所述第二光電轉(zhuǎn)換設(shè)備通過光電轉(zhuǎn)換從被攝體發(fā)送的 紅外光分量來生成第二圖像數(shù)據(jù)；濾光器，安排在從被攝體延伸的光軸上，并且安排在第二 光電轉(zhuǎn)換設(shè)備的被攝體側(cè)，其中所述濾光器移除可見光分量，但允許紅外光分量通過；被攝 體圖像位置標(biāo)識單元，用于標(biāo)識第一圖像數(shù)據(jù)中的預(yù)定被攝體圖像以及預(yù)定被攝體圖像在 屏幕內(nèi)的位置；紅外光強(qiáng)度檢測單元，用于檢測第二圖像數(shù)據(jù)中從被攝體發(fā)送的紅外光的 強(qiáng)度；以及活體檢測單元，用于基于預(yù)定被攝體圖像在屏幕內(nèi)的位置以及該位置處的紅外 光強(qiáng)度，檢測活體。 所述活體檢測單元可根據(jù)預(yù)定被攝體圖像在屏幕內(nèi)的位置指定第二圖像數(shù)據(jù)中
的活體檢測區(qū)域，并且可基于活體檢測區(qū)域內(nèi)的檢測的紅外光強(qiáng)度，檢測活體。 所述活體檢測單元可基于同時獲得的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)檢測活體。 所述濾光器可以是可安排在從被攝體延伸的光軸上、并且可從光軸位移的可移動部件。 根據(jù)本發(fā)明另一實(shí)施例，提供了一種成像裝置，包括成像單元，包括一個成像設(shè) 備，其中所述成像設(shè)備通過在第一模式下光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一 圖像數(shù)據(jù)，并且通過在第二模式下光電轉(zhuǎn)換從被攝體發(fā)送的紅外光分量來生成第二圖像數(shù) 據(jù)；濾光器，用于移除可見光分量但允許紅外光分量通過，其中所述濾光器通過移動而切 換，使得在第一模式下，所述濾光器從自被攝體延伸的光軸上位移到成像設(shè)備，并且在第二 模式下，所述濾光器安排在光軸上，并且安排在成像設(shè)備的被攝體側(cè)；被攝體圖像位置標(biāo)識 單元，用于標(biāo)識第一圖像數(shù)據(jù)中的預(yù)定被攝體圖像以及預(yù)定被攝體圖像在屏幕內(nèi)的位置； 紅外光強(qiáng)度檢測單元，用于檢測第二圖像數(shù)據(jù)中從被攝體發(fā)送的紅外光的強(qiáng)度；以及活體 檢測單元，用于基于預(yù)定被攝體圖像在屏幕內(nèi)的位置以及該位置處的紅外光強(qiáng)度，檢測活 體。 所述成像單元可時分生成第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，并且所述活體檢測單元
可基于在不同時間獲得的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)檢測活體。 所述預(yù)定被攝體圖像可以是人的面部或人的一部分或全部。 根據(jù)本發(fā)明另一實(shí)施例，提供了一種成像裝置，包括成像單元，用于通過光電轉(zhuǎn) 換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)，并且通過光電轉(zhuǎn)換從被攝體發(fā)送的紅 外光分量來生成第二圖像數(shù)據(jù)；被攝體圖像位置標(biāo)識單元，用于標(biāo)識第一圖像數(shù)據(jù)中的預(yù) 定被攝體圖像以及預(yù)定被攝體圖像在屏幕內(nèi)的位置；紅外光強(qiáng)度檢測單元，用于檢測第二 圖像數(shù)據(jù)中從被攝體發(fā)送的紅外光的強(qiáng)度；以及活體檢測單元，用于基于預(yù)定被攝體圖像 在屏幕內(nèi)的位置以及該位置處的紅外光強(qiáng)度，檢測活體。
根據(jù)本發(fā)明另一實(shí)施例，提供了 一種成像方法，包括下述步驟通過使得第一光電 轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)；使得濾光器移除可見 光分量并允許紅外光分量通過；通過使得第二光電轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從被攝體發(fā)送的紅外 光分量來生成第二圖像數(shù)據(jù)；標(biāo)識第一圖像數(shù)據(jù)中的預(yù)定被攝體圖像以及預(yù)定被攝體圖像 在屏幕內(nèi)的位置；檢測第二圖像數(shù)據(jù)中從被攝體發(fā)送的紅外光的強(qiáng)度；以及基于同時獲得 的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，從預(yù)定被攝體圖像在屏幕內(nèi)的位置以及該位置處的紅外 光強(qiáng)度檢測活體。 根據(jù)本發(fā)明另一實(shí)施例，提供了 一種成像方法，包括下述步驟通過使得一個光電 轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)；安排濾光器在從被攝 體延伸到一個光電轉(zhuǎn)換設(shè)備的光軸上，并且安排在所述一個光電轉(zhuǎn)換設(shè)備的被攝體側(cè)，使 得所述濾光器移除可見光分量但允許紅外光分量通過；通過使得所述一個光電轉(zhuǎn)換設(shè)備光 電轉(zhuǎn)換從被攝體發(fā)送的紅外光分量來生成第二圖像數(shù)據(jù)；標(biāo)識第一圖像數(shù)據(jù)中的預(yù)定被攝 體圖像以及預(yù)定被攝體圖像在屏幕內(nèi)的位置；檢測第二圖像數(shù)據(jù)中從被攝體發(fā)送的紅外光 的強(qiáng)度；以及基于在不同時間獲得的第一圖像數(shù)據(jù)和第二圖像數(shù)據(jù)，從預(yù)定被攝體圖像在 屏幕內(nèi)的位置以及該位置處的紅外光強(qiáng)度檢測活體。 本發(fā)明實(shí)施例實(shí)現(xiàn)了高度可靠的活體面部識別系統(tǒng)，可使得該活體面部識別系統(tǒng) 制造得更小，而不劣化圖像質(zhì)量。


圖1是示出根據(jù)本發(fā)明第一實(shí)施例的成像裝置的框圖； 圖2是示出根據(jù)實(shí)施例的成像裝置的配置的一部分的框圖； 圖3是示出根據(jù)實(shí)施例的成像裝置的操作的流程圖； 圖4A-4C是示意性示出通過根據(jù)實(shí)施例的成像裝置獲得的圖像的說明圖； 圖5A-5C是簡要示出可見光圖像和紅外光圖像之間的分辨率差別或傳感器的尺
寸的差別的說明圖； 圖6A和6B是示出根據(jù)本發(fā)明第二實(shí)施例的成像裝置的配置的一部分的框圖； 圖7是示出根據(jù)實(shí)施例的成像裝置的操作的流程圖； 圖8是示出根據(jù)實(shí)施例的成像裝置的修改的操作的流程圖； 圖9A和9B是示出根據(jù)本發(fā)明第三實(shí)施例的成像裝置的配置的一部分的框圖； 圖10A和10B是示出根據(jù)實(shí)施例的成像裝置的修改的配置的一部分的框圖； 圖11是示出根據(jù)本發(fā)明第四實(shí)施例的數(shù)字單鏡頭反射型相機(jī)的截面圖； 圖12是示出根據(jù)本發(fā)明第五實(shí)施例的數(shù)字單鏡頭反射型相機(jī)的截面圖； 圖13A和13B是示出根據(jù)實(shí)施例的數(shù)字單鏡頭反射型相機(jī)的一部分的框圖；以及 圖14是示出普通成像裝置的配置的一部分的框圖。
具體實(shí)施例方式
以下，將參照附圖詳細(xì)描述本發(fā)明的優(yōu)選實(shí)施例。注意，在本說明書和附圖中，具 有基本相同功能和結(jié)構(gòu)的結(jié)構(gòu)元件用相同的參考標(biāo)號表示，并且省略這些結(jié)構(gòu)元件的重復(fù) 說明。將按照以下列出的順序描述各實(shí)施例。
1.第一實(shí)施例
2.第二實(shí)施例
3.第三實(shí)施例
4.第四實(shí)施例
5.第五實(shí)施例
〈1.第一實(shí)施例>[OO42][第一實(shí)施例的配置] 首先，將描述根據(jù)本發(fā)明第一實(shí)施例的成像裝置100。 根據(jù)本實(shí)施例的成像裝置100是例如包括可交換或不可交換的成像鏡頭118和119的數(shù)字照相機(jī)。此外，成像裝置100可應(yīng)用到具有成像功能的裝置，如攝像機(jī)、可攜式攝像機(jī)、便攜式電話和PDA(個人數(shù)字助理)。此外，根據(jù)本實(shí)施例的成像裝置IOO還可應(yīng)用到用于處理通過用于視頻電話的小型相機(jī)獲得的圖像信號或連接到個人計算機(jī)等的游戲軟件的處理裝置和記錄裝置。 下面說明的成像裝置100的每個處理功能可通過硬件或軟件實(shí)現(xiàn)。本說明書中描述的圖像處理是對通過成像裝置100的信號處理而處理的輸入數(shù)據(jù)(原始數(shù)據(jù))的R、G和B執(zhí)行的。在本實(shí)施例的下面的描述中，采用拜耳(Bayer)格式的原始數(shù)據(jù)。
首先，將說明根據(jù)本實(shí)施例的成像裝置100的配置。圖1是示出根據(jù)本實(shí)施例的成像裝置IOO的框圖。 成像裝置100包括成像單元120和121、檢測器單元104、圖像處理單元105、壓縮
/轉(zhuǎn)換處理單元106、記錄單元108、顯示單元110、面部識別單元112、 CPU 114、存儲器116等。 成像單元120和121分別包括成像鏡頭118和119、固態(tài)成像設(shè)備102(第一光電轉(zhuǎn)換器設(shè)備)、固態(tài)成像設(shè)備103(第二光電轉(zhuǎn)換器設(shè)備)等。成像鏡頭118和119是收集從被攝體入射的光、以便在固態(tài)成像設(shè)備102和103上形成被攝體圖像的一組鏡頭。成像鏡頭118和119通常包括多個鏡頭。 固態(tài)成像設(shè)備102和103通過光電轉(zhuǎn)換，將經(jīng)由光學(xué)系統(tǒng)(例如，包括成像鏡頭118和119、紅外光截除濾光器122和光學(xué)低通濾波器)從被攝體發(fā)射的入射光轉(zhuǎn)換為電信號。固態(tài)成像設(shè)備102和103例如使用CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)成像設(shè)備。CMOS成像設(shè)備包括以二維形式排列的光電二極管、行/列選擇MOS晶體管、信號線等，并且包括垂直掃描電路、水平掃描電路、噪聲減少電路、定時發(fā)生電路等。應(yīng)當(dāng)注意，CCD(電荷耦合器件)可以用作固態(tài)成像設(shè)備102和103。 固態(tài)成像設(shè)備102和103以例如60fps (場/秒)的幀速率讀取信號。固態(tài)成像設(shè)備102和103嵌入有CDS (相關(guān)雙采樣)和A/D轉(zhuǎn)換器，并且圖像數(shù)據(jù)從固態(tài)成像設(shè)備102和103輸出。 固態(tài)成像設(shè)備102和103通常使用例如CCD (電荷耦合器件)設(shè)備和CMOS (互補(bǔ)金屬氧化物半導(dǎo)體)設(shè)備。 固態(tài)成像設(shè)備102和103包括多個光接收單元(像素)。固態(tài)成像設(shè)備102和103的每個光接收單元(像素)通常覆蓋有選擇性地透過對應(yīng)于R、G和B的任一的波長的像素濾光器。拜耳格式通常用作RGB濾光器的格式。在一些情況下，濾光器不是RGB濾光器，而
7可以是YCyMgG補(bǔ)充(complimentary)濾光器。由通過濾光器的像素獲得的可見光被光電轉(zhuǎn)換為RGB信號，并且RGB信號輸出為圖像信號。 盡管像素濾光器是選擇性的，但是像素濾光器的特性如此寬，使得像素濾光器透過具有除選擇的波長以外的、選擇的波長附近的波長的許多光。因此，具體地，接近紅外區(qū)域的R像素光電轉(zhuǎn)換不能被人眼感知的紅外光，因此極大影響可見光圖像。為了降低該影響，通常除了固態(tài)成像設(shè)備的像素濾光器外，還在成像鏡頭118和固態(tài)成像設(shè)備102之間或在成像鏡頭119和固態(tài)成像設(shè)備103之間安排紅外光截除濾光器。 檢測器單元104從通過固態(tài)成像設(shè)備102和103獲得的圖像計算用于各種控制(例如，AF、AE和AWB)所需的信息。檢測器單元104不僅檢測通過固態(tài)成像設(shè)備102和103獲得的圖像數(shù)據(jù)，而且在一些情況下，可以檢測通過其他部件輸出的圖像數(shù)據(jù)。
圖像處理單元105對通過成像單元120和121獲得的圖像數(shù)據(jù)執(zhí)行相機(jī)信號處理，如同步處理、白平衡校正、光圈校正、伽瑪校正和YC生成。 壓縮/轉(zhuǎn)換處理單元106執(zhí)行顯示跳過和尺寸調(diào)整，以便將從圖像處理單元105接收的圖像信號轉(zhuǎn)換為與顯示單元110的顯示器一致的顯示尺寸和幀速率的圖像信號。當(dāng)圖像信號輸出到顯示單元110時，執(zhí)行顯示跳過。顯示跳過意味著跳過根據(jù)通過顯示裝置的顯示標(biāo)準(zhǔn)定義的每單位時間的場數(shù)(例如，30fps)的場，示出當(dāng)成像裝置100處于快速成像模式時的圖像。 此外，壓縮/轉(zhuǎn)換處理單元106根據(jù)如JPEG(聯(lián)合圖像專家組)標(biāo)準(zhǔn)的靜態(tài)圖像編碼方法，對從圖像處理單元105接收的圖像數(shù)據(jù)執(zhí)行壓縮和編碼處理。此外，壓縮/轉(zhuǎn)換處理單元106對從記錄單元108接收的靜態(tài)圖像的編碼數(shù)據(jù)執(zhí)行提取和解碼處理。此外，壓縮/轉(zhuǎn)換處理單元106根據(jù)如MPEG(運(yùn)動圖像專家組)標(biāo)準(zhǔn)的運(yùn)動畫面編碼標(biāo)準(zhǔn)，對從圖像處理單元105接收的圖像數(shù)據(jù)執(zhí)行壓縮和編碼處理。此外，壓縮/轉(zhuǎn)換處理單元106對從記錄單元108接收的運(yùn)動畫面的編碼數(shù)據(jù)執(zhí)行提取和解碼處理，并且將數(shù)據(jù)輸出到顯示單元110。 記錄單元108是例如如閃存和硬盤驅(qū)動器的記錄介質(zhì)。顯示單元110通過顯示控制單元(未示出)控制。顯示控制單元從由壓縮/轉(zhuǎn)換處理單元106接收的圖像信號生成要在顯示單元110上顯示的圖像信號，并且將圖像信號發(fā)送到顯示單元110以便顯示圖像。顯示單元110例如用LCD(液晶顯示器)制成，以便顯示在成像期間的相機(jī)直通(camera-through)圖像以及記錄單元108上記錄的數(shù)據(jù)的圖像。 CPU(中央處理單元)114通過執(zhí)行存儲器116中存儲的程序，對成像裝置100的每個構(gòu)成元件執(zhí)行集中控制。 存儲器116通過存儲器控制單元(未示出)控制。存儲器控制單元控制從存儲器116讀取圖像數(shù)據(jù)以及將圖像數(shù)據(jù)寫入存儲器116。存儲器116是例如SDRAM(同步動態(tài)隨機(jī)存取存儲器)。 面部識別單元112包括下面將描述的面部位置標(biāo)識單元132和活體識別單元134。面部位置標(biāo)識單元132是被攝體位置標(biāo)識單元的示例。活體識別單元134是使用紅外強(qiáng)度檢測的紅外強(qiáng)度檢測單元和活體檢測單元的示例。 應(yīng)當(dāng)注意，為了方便安排了上述功能塊的每個的安排，并且要理解，其位置不限于此。
在成像后，成像單元120將可見光圖像數(shù)據(jù)發(fā)送到面部位置標(biāo)識單元132?？梢姽鈭D像數(shù)據(jù)可以是三原色RGB的圖像，但也可以是從其轉(zhuǎn)換的YC圖像。 基于通?？捎玫哪Ｊ阶R別技術(shù)執(zhí)行面部的檢測。換句話說，用于檢測面部的處理
包括下述步驟裁剪圖像數(shù)據(jù)的一部分，并將該部分與數(shù)據(jù)庫等中之前準(zhǔn)備的參考模式比
較以執(zhí)行匹配，從而檢測是否存在面部模式。應(yīng)當(dāng)注意，通過用各種濾波器濾波圖像提取圖
像的特征、并且將特征記入數(shù)據(jù)庫中來得到參考模式。例如，通過基于亮度邊緣對面部、眼、
鼻、嘴、耳等的輪廓模式化來得到參考模式，并且參考模式包括人的膚色等。 當(dāng)作為上述檢測的結(jié)果識別面部模式的存在時，標(biāo)識圖像中的面部模式的位置，
并且成像裝置100的面部位置標(biāo)識單元132確定對應(yīng)的面部圖像區(qū)域。通常，面部圖像區(qū)
域?yàn)榫匦涡螤?，但是可以是如橢圓形的其他形狀。[第一實(shí)施例的操作] 接下來，將描述根據(jù)本實(shí)施例的成像裝置100的操作。 在根據(jù)本實(shí)施例的成像裝置100中，從被攝體發(fā)出的光穿過成像鏡頭118和119，并且在固態(tài)成像設(shè)備102和103的成像平面上形成被攝體圖像，并且固態(tài)成像設(shè)備102和103將被攝體圖像光電轉(zhuǎn)換為每個像素的圖像數(shù)據(jù)。 圖像處理單元105基于來自CPU 114的指令，對通過固態(tài)成像設(shè)備102和103獲得的圖像數(shù)據(jù)執(zhí)行各種圖像處理，如AE和AWB的各種校正、噪聲降低、將圖像形成(develop)為YC數(shù)據(jù)，轉(zhuǎn)換分辨率等。 一旦面部識別單元112通過面部識別找到面部的區(qū)域，面部識別單元112就可使用面部的區(qū)域用于AE、AWB等的校正處理?？蓤?zhí)行AF控制以聚焦面部區(qū)域。 壓縮/轉(zhuǎn)換處理單元106將形成的圖像轉(zhuǎn)換為如MPEG和JPEG的壓縮格式。記錄單元108將轉(zhuǎn)換的數(shù)據(jù)記錄到如非易失性存儲器、HDD和磁光盤的介質(zhì)。同時，顯示單元110可在成像裝置100上安排的液晶面板上顯示圖像，或可將圖像轉(zhuǎn)換為從外部端子輸出的視頻信號，使得圖像顯示在家庭電視機(jī)上。
[第一實(shí)施例的詳細(xì)配置] 接下來，將描述根據(jù)本發(fā)明第一實(shí)施例的成像裝置100的詳細(xì)配置。圖2是示出根據(jù)本發(fā)明第一實(shí)施例的成像裝置100的配置的一部分的框圖。 根據(jù)本實(shí)施例的成像裝置IOO包括成像單元A 120，其具有配備有紅外光截除濾光器122的固態(tài)成像設(shè)備102 ;以及成像單元B 121，其具有配備有可見光截除濾光器123的固態(tài)成像設(shè)備103。紅外光截除濾光器122安排在成像鏡頭118和固態(tài)成像設(shè)備102之間。可見光截除濾光器123安排在成像鏡頭119和固態(tài)成像設(shè)備103之間。
成像裝置100同時生成通過成像單元A 120拍攝的可見光圖像數(shù)據(jù)(第一圖像數(shù)據(jù))和通過成像單元B 121拍攝的紅外光圖像數(shù)據(jù)(第二圖像數(shù)據(jù))。面部位置標(biāo)識單元132基于可見光圖像數(shù)據(jù)，標(biāo)識屏幕內(nèi)對應(yīng)于人的面部圖像的數(shù)據(jù)區(qū)域?；铙w識別單元134檢測面部圖像區(qū)域中紅外光輸出像素的比率，其在紅外光圖像數(shù)據(jù)中指定以對應(yīng)于標(biāo)識的數(shù)據(jù)區(qū)域。活體識別單元134可基于同時獲得的可見光圖像數(shù)據(jù)和紅外光圖像數(shù)據(jù)檢測活體。 在本實(shí)施例中，可見光輸入側(cè)和紅外光輸入側(cè)的固態(tài)成像設(shè)備102和103可具有相同數(shù)量或不同數(shù)量的像素。當(dāng)固態(tài)成像設(shè)備102和103具有不同數(shù)量的像素時，固態(tài)成像設(shè)備102和103中具有較多像素的一個通常配置為用于可見光圖像，并且固態(tài)成像設(shè)備102和103中具有較少像素的一個通常配置為用于紅外光圖像。 根據(jù)本實(shí)施例的成像裝置100不僅具有圖14所示的普通示例的配置，而且具有另一成像單元，即，成像單元B 121。成像單元B 121具有可見光截除濾光器123以替代成像單元A 120的紅外光截除濾光器122，以便光電轉(zhuǎn)換輸出的紅外光。 通過固態(tài)成像設(shè)備103接收的紅外光光電轉(zhuǎn)換為具有根據(jù)紅外光量的信號電平的信號，并且輸出該信號。紅外光的量與信號電平的幅度相關(guān)聯(lián)。具體地，具有接近紅外光的波長的R像素的光電轉(zhuǎn)換產(chǎn)生顯著的結(jié)果。在可見光圖像側(cè)的成像單元A 120中，面部位置標(biāo)識單元132執(zhí)行面部位置標(biāo)識，以標(biāo)識圖像內(nèi)的面部的位置(面部區(qū)域)。標(biāo)識的面部圖像區(qū)域的數(shù)量可以不是一個。成像單元B 121將紅外光圖像數(shù)據(jù)發(fā)送到活體識別單元134，并且面部位置標(biāo)識單元132將面部區(qū)域信息發(fā)送到活體識別單元134。因?yàn)镽像素對紅外光最易響應(yīng)，所以成像單元B 121可僅將R像素的數(shù)據(jù)作為紅外光圖像發(fā)送，使得可以節(jié)省數(shù)據(jù)量(電力)。 成像單元A 120和成像單元B 121可使用不同坐標(biāo)系統(tǒng)，因?yàn)槔缢麄兪遣煌姆直媛省Ｒ虼?，可能需要轉(zhuǎn)換面部區(qū)域信息的坐標(biāo)。坐標(biāo)通過例如成像單元A 120或成像單元B 121或通過CPU 114(控制單元)中的電路轉(zhuǎn)換。轉(zhuǎn)換的坐標(biāo)發(fā)送到活體識別單元134。 通過計算其中發(fā)現(xiàn)紅外光輸出的像素的數(shù)量相對于紅外光圖像的面部區(qū)域中的像素的數(shù)量的比率，確定圖像是否是活體的像。當(dāng)比率大于預(yù)定閾值(例如，50%)時，圖像最終被確定為人的面部。存在用于確定紅外光輸出的閾值的若干方法。例如，因?yàn)樾盘栯娖礁鶕?jù)曝光時間而增加，所以閾值可通過對每個曝光時間準(zhǔn)備統(tǒng)計數(shù)據(jù)而計算。然后，對于每個曝光時間的閾值存儲在數(shù)據(jù)庫中，并且當(dāng)比率大于閾值時，確定存在紅外光輸出。在上述說明中，用兩個值確定是否存在紅外光輸出，但是可準(zhǔn)備多個閾值，使得可用多個值(如三個值)(存在紅外光、未知(存在和不存在紅外光之間的邊界區(qū)域)和不存在紅外光)進(jìn)行確定。 在本實(shí)施例中，最初執(zhí)行用可見光圖像的高精度的面部識別，使得可以降低錯誤確定和識別失敗。然后，通過發(fā)出紅外光最后確定圖像是否表示活體，使得可以可靠地識別面部區(qū)域中的圖像是否不僅表示活體而且表示人。 以下將參照圖3和圖4描述如上所述通過根據(jù)本實(shí)施例的成像裝置100執(zhí)行的操作。圖3是示出根據(jù)本實(shí)施例的成像裝置100的操作的流程圖。圖4是示意性示出通過根據(jù)本實(shí)施例的成像裝置100獲得的圖像的說明圖。 首先，成像單元A 120和成像單元B 121拍攝被攝體，以在一個鏡頭中獲得可見光圖像數(shù)據(jù)和紅外光圖像數(shù)據(jù)(步驟SIOI)。圖4A簡要示出可見光圖像數(shù)據(jù)180的示例。為了說明，假設(shè)在單個鏡頭中拍攝活體50和印刷在海報70上的人像。此時，用可見光圖像通過面部識別估計面部區(qū)域(步驟S102)。 圖4B示出面部區(qū)域估計為矩形區(qū)域的情況。在可見光范圍中，可見光圖像數(shù)據(jù)180在活體50和海報70上印刷的面部之間不產(chǎn)生任何差別。因此，圖像被確定為包括兩張臉。圖4C示出紅外光圖像190。在圖4C中，其中紅外光輸出等于或大于閾值的像素以黑色表示，而其中紅外光輸出小于閾值的像素以白色表示?？梢愿鶕?jù)拍攝環(huán)境響應(yīng)于通過
10CPU給出的指令改變閾值。接下來，在需要時，例如，當(dāng)固態(tài)成像設(shè)備102和固態(tài)成像設(shè)備103是不同分辨率時，基于可見光圖像估計的面部區(qū)域可轉(zhuǎn)換為紅外光圖像190的坐標(biāo)系統(tǒng)(步驟S103)。圖4(C)示出在紅外光圖像190的坐標(biāo)系統(tǒng)中的估計的面部區(qū)域。
接下來，在紅外光圖像190的面部區(qū)域中，計數(shù)其中發(fā)現(xiàn)紅外光輸出并且大于閾值的像素的數(shù)量(步驟S104)。然后，將其中發(fā)現(xiàn)紅外光輸出的像素的數(shù)量與面部區(qū)域的像素的總數(shù)比較，并且計算其間的比率。關(guān)于其中發(fā)現(xiàn)紅外光輸出的像素的數(shù)量相對于面部區(qū)域的像素的總數(shù)是否大于預(yù)定比率(例如，50% )進(jìn)行確定。當(dāng)其中發(fā)現(xiàn)紅外光輸出的像素的數(shù)量大于預(yù)定比率(例如，50%)時，面部區(qū)域被確定為活體的面部(步驟S106)。另一方面，當(dāng)其中發(fā)現(xiàn)紅外光輸出的像素的數(shù)量不大于預(yù)定比率(50%)時，面部區(qū)域被確定為非活體的面部(步驟S107)。在海報70上印刷的面部中沒有發(fā)現(xiàn)任何紅外光輸出，并且其中發(fā)現(xiàn)紅外光輸出的像素的數(shù)量不大于預(yù)定比率(50%)。因此，海報70上印刷的面部被確定為非活體的面部?？筛鶕?jù)拍攝環(huán)境響應(yīng)于由CPU 114給出的指令改變預(yù)定比率。
即使當(dāng)可見光圖像180和紅外光圖像190在像素的數(shù)量或場角上不同時，也可通過基于可見光圖像180的面部區(qū)域中的坐標(biāo)計算坐標(biāo)來容易地得知所述紅外光圖像190的面部區(qū)域的坐標(biāo)。此外，因?yàn)榛诩t外光圖像190的面部區(qū)域中的紅外光輸出的比率進(jìn)行確定，所以固態(tài)成像設(shè)備102和固態(tài)成像設(shè)備103在傳感器的尺寸或場角上是否不同是不重要的。 例如，將參照圖5描述固態(tài)成像設(shè)備102和固態(tài)成像設(shè)備103在傳感器的尺寸或場角上不同的情況。圖5是簡要示出可見光圖像和紅外光圖像之間的分辨率差別或傳感器的尺寸差別的說明圖。 圖5A示出以4000X3000的矩陣安排的12M像素的可見光圖像的示例。圖5B示出以2000X1500的矩陣安排的3M像素的紅外光圖像的示例。因?yàn)閳D5A和圖5B的示例具有相同場角，所以盡管圖5A和圖5B的示例在分辨率上不同，也可通過基于可見光圖像的面部區(qū)域中的坐標(biāo)計算紅外光圖像的面部區(qū)域的坐標(biāo)來容易地得知所述紅外光圖像的面部區(qū)域的坐標(biāo)。 圖5C示出以2000X 1500的矩陣安排的3M像素的可見光圖像的示例。紅外光圖像對應(yīng)于可見光圖像的一部分。因?yàn)榧t外光圖像的裁剪的起始位置固定并已知，所以盡管圖5B和圖5C的示例在場角上不同，也可通過基于可見光圖像的面部區(qū)域中的坐標(biāo)計算紅外光圖像的面部區(qū)域的坐標(biāo)來容易地得知所述紅外光圖像的面部區(qū)域的坐標(biāo)。
〈2.第二實(shí)施例> 接下來，將描述根據(jù)本發(fā)明第二實(shí)施例的成像裝置200。圖6是示出根據(jù)本實(shí)施例的成像裝置200的配置的一部分的框圖。圖6A示出拍攝前的操作狀態(tài)。圖6B示出拍攝后的操作狀態(tài)。 在上述第一實(shí)施例中，多個傳感器(固態(tài)成像設(shè)備102和103)之前分別固定到用于紅外光圖像的單元和用于可見光圖像的單元。在根據(jù)本實(shí)施例的拍攝裝置200中，用于紅外光圖像的成像單元B 221不必專門用于紅外光。 根據(jù)本實(shí)施例的成像裝置200 (如數(shù)字單鏡頭反射型相機(jī))具有兩個成像單元120和221，其分別包括用于查看被攝體的固態(tài)成像設(shè)備103(小尺寸傳感器)和用于記錄的固態(tài)成像設(shè)備102(大尺寸傳感器)。在顯示固態(tài)成像設(shè)備103(小尺寸傳感器)的圖像的同時判斷拍攝條件。 一旦觸發(fā)快門，固態(tài)成像設(shè)備102(大尺寸傳感器)就用于拍攝要保存的圖像。在此情況下，兩個成像單元120和221分別具有用于可見光圖像和用于獲得可見光圖像的紅外光截除濾光器122和223。 在根據(jù)本實(shí)施例的成像裝置200中，(安排在固態(tài)成像設(shè)備103(小尺寸傳感器上的)、處于與用于記錄的成像單元A 120不同側(cè)的)成像單元B 221的濾光器部分配置為可在紅外光截除濾光器223和可見光截除濾光器224之間切換。濾光器部分是可布置在從被攝體延伸的光軸上并可從光軸位移的可移動組件。例如，每個濾光器平行地移動、旋轉(zhuǎn)地移動等。 接下來，將參照圖7描述根據(jù)本實(shí)施例的成像裝置200的操作。圖7是示出根據(jù)本實(shí)施例的成像裝置200的操作的流程圖。 在正常操作下，成像單元B 221使用紅外光截除濾光器223來輸出如圖6A所示的可見光圖像(步驟S201)。當(dāng)判斷拍攝條件并按下快門按鈕時(步驟S202)，成像單元B221的濾光器部分切換到如圖6B所示的可見光截除濾光器224 (步驟S203)。成像單元B221與成像單元A 120獲得可見光圖像同時地獲得紅外光圖像。 根據(jù)本實(shí)施例的成像裝置200與根據(jù)第一實(shí)施例的成像裝置100是相同的，除了成像單元B 221的濾光器部分配置為可切換的。因此，在選擇可見光截除濾光器224使得成像裝置200進(jìn)入紅外光圖像獲取模式后，根據(jù)本實(shí)施例的成像裝置200與圖2所示的根據(jù)第一實(shí)施例的成像裝置100相同，并且執(zhí)行與圖3的流程圖中的步驟S101到S107相同的步驟。[第二實(shí)施例的修改] 接下來，將參照圖8描述本實(shí)施例的修改。圖8是示出根據(jù)本實(shí)施例的成像裝置200的修改的操作的流程圖。 在根據(jù)本實(shí)施例的成像裝置200的操作的上述說明中，在按下快門按鈕之后成像單元B 221切換到紅外光圖像獲取側(cè)。然而，可能存在這樣的情況即使在按下快門按鈕之后，由于某些原因，也可能期望在可見光圖像獲取側(cè)使用成像單元B 221。為了在可見光圖像獲取側(cè)使用成像單元B 221，可以在按下快門按鈕之前獲得拍攝條件時獲得紅外光圖像。
在下面的說明中，假設(shè)在觸發(fā)快門之前，以60fps從成像單元B 221獲得圖像。此時，每隔一圖像(每隔一幀)切換濾光器部分，使得交替地獲得可見光圖像和紅外光圖像。獲得的可見光圖像和獲得的紅外光圖像暫時存儲在存儲器中(步驟S301到S304)?？梢姽鈭D像可以以30fps顯示在如液晶面板的顯示單元110上。 當(dāng)觸發(fā)快門時(步驟S306)，成像單元B 221也切換為適于可見光圖像(步驟S307)。然后，成像單元A 120和成像單元B 221都獲得可見光圖像(步驟S308)，并執(zhí)行成像處理。此時，緊接在觸發(fā)快門之前的紅外光圖像存儲在存儲器中。存儲在存儲器中的紅外光圖像用作要與上述圖7的步驟S203中的拍攝同時獲得的紅外光圖像的替代。在獲得紅外光圖像之后，根據(jù)本實(shí)施例的成像裝置200的修改執(zhí)行與圖3的流程圖中的步驟S101到S 107相同的步驟。 在該修改中，用于顯示的可見光圖像的速率為30fps。如果速率過低并且導(dǎo)致問題，則成像單元B 221可降低紅外光圖像的輸出的數(shù)量相對于圖像的輸出的數(shù)量的比率，以便增加用于顯示的可見光圖像的幀速率。
12
上述第一實(shí)施例和上述第二實(shí)施例采用基于用于記錄在觸發(fā)快門后獲得的(可見光圖像)圖像來檢測面部的方法。但是可能存在期望在判斷拍攝條件之前(即，在觸發(fā)快門之前)檢測面部的情況。在此情況下，如圖8的流程圖所示，成像單元B 221可交替獲得存儲在存儲器中的可見光圖像和紅外光圖像(步驟S301到S304)，使得可基于兩類圖像(見圖3的流程圖中的步驟S101到S107)執(zhí)行活體面部識別處理。 如上所述，在根據(jù)本實(shí)施例的成像裝置200中，成像鏡頭119和固態(tài)成像設(shè)備103之間布置的濾光器部分配置為能夠在紅外光截除濾光器223和可見光截除濾光器224之間切換。因此，根據(jù)本實(shí)施例的成像裝置200除了能夠?qū)崿F(xiàn)普通記錄和顯示功能外，還能夠?qū)崿F(xiàn)活體面部識別功能。將本實(shí)施例的功能添加到普通裝置是容易的，這是因?yàn)椴恍枰薷钠胀ㄑb置的配置。此外，普通裝置的功能將不會喪失。因此，可以容易地引入并且以低成本實(shí)現(xiàn)活體面部識別功能。
〈3.第三實(shí)施例> 接下來，將描述根據(jù)本發(fā)明第三實(shí)施例的成像裝置300。圖9是示出根據(jù)本實(shí)施例的成像裝置300的配置的一部分的框圖。圖9A示出在拍攝之前的操作狀態(tài)。圖9B示出在拍攝之后的操作狀態(tài)。根據(jù)本實(shí)施例的成像裝置300僅包括具有固態(tài)成像設(shè)備102的一個成像單元320。 如圖9A和圖9B所示，成像裝置300具有可切換的紅外光截除濾光器322和可見光截除濾光器324。單個成像單元320通過拍攝多次生成可見光圖像數(shù)據(jù)(第一圖像數(shù)據(jù))和紅外光圖像數(shù)據(jù)(第二圖像數(shù)據(jù))。此外，成像裝置300具有用于存儲拍攝的圖像的存儲器316。根據(jù)本實(shí)施例的面部位置標(biāo)識單元132基于存儲器316中存儲的可見光圖像數(shù)據(jù)，標(biāo)識對應(yīng)于人的面部圖像的數(shù)據(jù)區(qū)域?；铙w識別單元134檢測在紅外光圖像數(shù)據(jù)中指定的面部圖像數(shù)據(jù)內(nèi)輸出紅外光的像素的比率，以便對應(yīng)于標(biāo)識的數(shù)據(jù)區(qū)域。
接下來，將描述根據(jù)本實(shí)施例的成像裝置300的操作。 如圖9A所示，成像單元320的濾光器部分首先切換到紅外光截除濾光器322 —側(cè)。當(dāng)按下快門按鈕時，執(zhí)行正常拍攝處理，并且可見光圖像數(shù)據(jù)存儲在存儲器316中。
接下來，如圖9B所示，濾光器部分切換到可見光截除濾光器324 —側(cè)，并且獲得紅外光圖像數(shù)據(jù)。通過與紅外光圖像的拍攝同時地將來自存儲器316的可見光圖像發(fā)送到活體識別單元134，可以同時同步地提供兩類圖像。這樣，通過連續(xù)拍攝可見光圖像和紅外光圖像可獲得兩類圖像。在短時間間隔拍攝的兩類數(shù)據(jù)是相同條件的圖像(同時獲得的圖像)的假設(shè)下使用該兩類數(shù)據(jù)。成像單元320時分地生成可見光圖像(第一圖像數(shù)據(jù))和紅外光圖像(第二圖像數(shù)據(jù))。然后，活體識別單元134基于不同時間獲得的可見光圖像和紅外光圖像檢測活體。關(guān)于根據(jù)第三實(shí)施例的成像裝置300的說明與關(guān)于包括兩個成像單元的、根據(jù)第一和第二實(shí)施例的成像裝置的說明相同，除了圖像不是同時獲得的。
在上述第三實(shí)施例中，存儲器316上的可見光圖像配置為與紅外光圖像的拍攝同時地從存儲器發(fā)送到面部位置標(biāo)識單元132。替代地，可在拍攝紅外光圖像之前(即，緊接在獲得可見光圖像之后)從存儲器發(fā)送數(shù)據(jù)并且可開始面部位置的標(biāo)識處理。因?yàn)閳?zhí)行面部位置的標(biāo)識處理花費(fèi)一些時間，所以可在紅外光圖像的拍攝處理之前開始標(biāo)識處理，使得可在紅外光圖像的曝光時段期間以及在圖像處理(如圖像的傳送)期間執(zhí)行面部位置的檢測處理。結(jié)果，可縮短總處理時間。在一些情況下，可在獲得紅外光圖像之前結(jié)束面部位置的標(biāo)識處理。 在上述第三實(shí)施例中，假設(shè)以相同場角和相同分辨率對可見光圖像和紅外光圖像 成像，但是固態(tài)成像設(shè)備102(傳感器)的成像模式可切換為以不同分辨率對紅外光圖像和 可見光圖像成像。 因?yàn)榧僭O(shè)在已經(jīng)形成可見光圖像之后記錄所述可見光圖像，所以可見光圖像通常 在最大分辨率模式下拍攝。相反，紅外光圖像僅用于確定面部位置是否是活體。因此，紅外 光圖像不必與可見光圖像具有相同分辨率。因此，當(dāng)獲得紅外光圖像時，可以通過在選擇相 同場角但較低分辨率的傳感器成像模式之后拍攝來縮短紅外光圖像的讀取時間，只要可以 確定紅外光是否在面部圖像區(qū)域中存在。 圖5A示出以4000X3000的矩陣安排的12M像素的可見光圖像的示例。圖5B示
出以2000X 1500的矩陣安排的3M像素的紅外光圖像的示例。紅外光圖像僅具有可見光圖
像的像素的四分之一，因此，紅外光圖像的讀取僅花費(fèi)可見光圖像的讀取的四分之一的時
間。紅外光圖像的較短讀取時間帶來在連續(xù)拍攝的速度等方面的有利效果。因?yàn)閳鼋鞘窍?br> 同的，所以盡管分辨率不同，也可通過基于可見光圖像的面部區(qū)域中的坐標(biāo)計算紅外光圖
像的面部區(qū)域中的坐標(biāo)來容易地得知所述紅外光圖像的面部區(qū)域中的坐標(biāo)。 在上述第三實(shí)施例中，假設(shè)以相同場角對可見光圖像和紅外光圖像成像。當(dāng)在拍
攝紅外光圖像之前已經(jīng)標(biāo)識面部位置時，場角可以不同，并且可在傳感器的裁剪時讀取包
括面部位置的一部分的區(qū)域。結(jié)果，可以以較短時間讀取紅外光圖像，同時維持與可見光圖
像相同的分辨率。 圖5C示出以2000X1500的矩陣安排的3M像素的可見光圖像的示例。紅外光圖 像對應(yīng)于可見光圖像的一部分。紅外光圖像僅具有可見光圖像的像素的四分之一，因此，紅 外光圖像的讀取僅花費(fèi)可見光圖像的讀取的四分之一的時間。因?yàn)榧t外光圖像的裁剪的起 始位置是固定并已知的，所以盡管紅外光圖像和可見光圖像場角不同，也可通過基于可見 光圖像的面部區(qū)域中的坐標(biāo)計算紅外光圖像的面部區(qū)域中的坐標(biāo)來容易地得知所述紅外 光圖像的面部區(qū)域中的坐標(biāo)。 此外，上述示例可以一起使用，使得通過采用不僅低分辨率而且裁剪來縮短紅外 光圖像的讀取時間。即使在此情況下，也可通過基于可見光圖像的面部區(qū)域中的坐標(biāo)計算 紅外光圖像的面部區(qū)域中的坐標(biāo)來容易地得知所述紅外光圖像的面部區(qū)域中的坐標(biāo)。
[第三實(shí)施例的修改] 接下來，將描述根據(jù)本發(fā)明第三實(shí)施例的成像裝置300的修改。
圖IOA和圖10B示出與圖9A和圖9B的情況相反、在首先拍攝紅外光圖像的情況 下的說明操作。圖10是示出根據(jù)本實(shí)施例的成像裝置300的修改的配置的一部分的框圖。 如圖10A所示，首先將成像單元320的濾光器部分切換到可見光截除濾光器324 —側(cè)，并且 紅外光圖像數(shù)據(jù)存儲在存儲器316中。隨后，如圖10B所示，成像單元320的濾光器部分切 換到紅外光截除濾光器322 —側(cè)，并且獲得可見光圖像數(shù)據(jù)。通過與可見光圖像的拍攝同 時地將紅外光圖像從存儲器316發(fā)送到活體識別單元324，可同時同步地提供兩類圖像。
關(guān)于根據(jù)第三實(shí)施例的成像裝置300的修改的說明與關(guān)于根據(jù)第三實(shí)施例的成 像裝置300的說明相同，除了圖像獲取的順序。圖像獲取的順序沒有關(guān)系，只要獲得兩類圖 像，即，紅外光圖像和可見光圖像。
在上述第三實(shí)施例中，紅外光圖像自身存儲在存儲器316中。替代地，作為關(guān)于紅 外光輸出是否存在的確定的結(jié)果而獲得的如二進(jìn)制數(shù)據(jù)的處理數(shù)據(jù)可存儲為紅外光圖像 自身的替代。例如，當(dāng)存儲器316存儲表示每個像素中是否存在紅外光的二進(jìn)制數(shù)據(jù)時，減 少數(shù)據(jù)量，并且工作存儲器需要較小尺寸。較小的工作存儲器帶來成像裝置300的處理步 驟的有利效果。例如，如果假設(shè)像素數(shù)據(jù)通過每像素8比特來表示，則認(rèn)為通過每像素1比 特來表示處理數(shù)據(jù)。因此，如果處理數(shù)據(jù)采用為紅外光圖像自身的替代，則工作存儲器需要 原始尺寸的八分之一大的尺寸。
〈4.第四實(shí)施例> 接下來，將描述根據(jù)本發(fā)明第四實(shí)施例的數(shù)字單鏡頭反射型相機(jī)400。 圖11是示出根據(jù)本實(shí)施例的數(shù)字單鏡頭反射型相機(jī)400的截面圖。為了說明，省
略了如光圈和快門的一些組件部分。 在拍攝(快門)的時刻之前，在光學(xué)取景器127和電子取景器(例如，液晶面板 110)中之前選擇的一個上顯示圖像。 當(dāng)選擇光學(xué)取景器127時，通過成像鏡頭118入射的圖像通過在中間位置安排的 反射鏡124向上反射以便可向上和向下移動。反射光進(jìn)一步被五邊形單元中的鏡126(或 棱鏡(未示出))、可移動鏡125等反射若干次，并且透射到光學(xué)取景器127。
當(dāng)選擇電子取景器時，安排在最后級的可移動鏡125的角度改變，使得圖像到達(dá) 固態(tài)成像設(shè)備103。濾光器423(紅外截除濾光器)安排在固態(tài)成像設(shè)備103之前。濾光 器423可在紅外截除濾光器和可見光截除濾光器之間切換，并且可通過在觸發(fā)快門之前時 分切換濾光器423，僅用固態(tài)成像設(shè)備103來獲得紅外光圖像和可見光圖像。結(jié)果，可實(shí)現(xiàn) 根據(jù)本實(shí)施例的上述活體面部識別功能。 通過固態(tài)成像設(shè)備103光電轉(zhuǎn)換的可見光圖像經(jīng)歷圖像處理并顯示在數(shù)字單鏡 頭反射型相機(jī)400的背面上的顯示面板110上。當(dāng)按壓快門按鈕時，安排在中間部分的反 射鏡124向上移動，以從拍攝光徑折回。然后，從成像鏡頭118輸入的圖像直接穿過濾光器 122(紅外截除濾光器)并到達(dá)固態(tài)成像設(shè)備102。如上所述的數(shù)字單鏡頭反射型相機(jī)400 不配置為允許固態(tài)成像設(shè)備102和固態(tài)成像設(shè)備103兩者同時對圖像成像。
〈5.第五實(shí)施例> 接下來，將描述根據(jù)本發(fā)明第五實(shí)施例的數(shù)字單鏡頭反射型相機(jī)500。
圖12是示出根據(jù)本實(shí)施例的數(shù)字單鏡頭反射型相機(jī)500的截面圖。在圖12所示 的示例中，安排在圖11的中間部分的反射鏡124被半鏡144替代。在圖12所示的示例中， 盡管光量減小，但是固態(tài)成像設(shè)備102和固態(tài)成像設(shè)備103兩者可以同時到達(dá)圖像。
圖13A和圖13B是示出根據(jù)本實(shí)施例的數(shù)字單鏡頭反射型相機(jī)500的一部分的框 圖。成像裝置400包括一個成像鏡頭118、兩個成像單元(即，成像單元A 520和成像單元 B 521)以及半鏡144。 在該實(shí)施例中，安排在圖12所示的固態(tài)成像設(shè)備103之前的濾光器部分配置為可 在紅外光截除濾光器523和可見光截除濾光器524之間切換。在該實(shí)施例中，僅存在一個 鏡頭，而如圖6A和圖6B所示固態(tài)成像設(shè)備102和103以及成像鏡頭118和119分別成對。 因此，本實(shí)施例與圖6A和圖6B所示的實(shí)施例的不同在于，通過半鏡144來將圖像分離為兩 個系統(tǒng)。本實(shí)施例與圖6A和圖6B所示的實(shí)施例的相同在于，存在兩個成像單元(即，成像單元A 520和成像單元B 521)。此外，因?yàn)楸緦?shí)施例的具體操作相同，所以省略其說明。
〈6.每個實(shí)施例的效果〉 如上所述，能夠執(zhí)行活體面部識別的成像裝置100、200、300、400和500不需要昂 貴和笨重的光譜儀(如棱鏡)，并且不需要具有專用于紅外光的專用固態(tài)成像設(shè)備，其劣化 圖像質(zhì)量。此外，成像裝置100、200、300、400和500可以用普通數(shù)字相機(jī)中使用的不昂貴 的小的成像單元制造。 此外，首先用可見光圖像標(biāo)識面部位置，使得在減少錯誤確定的概率的同時，可以 以高度可靠的方式分別識別活體的面部和非活體的面部。 關(guān)于通過面部識別功能獲得的圖像內(nèi)的面部區(qū)域的信息用于根據(jù)面部區(qū)域執(zhí)行 的作為拍攝之前的準(zhǔn)備的各種相機(jī)控制，即，AF(自動聚焦)和AE(自動曝光)，并且還用于 形成處理期間的白平衡校正。此外，面部框可根據(jù)檢測的面部區(qū)域顯示在顯示單元上，并且 可以以面部框移動以服從被攝體的運(yùn)動的方式顯示該面部框。 根據(jù)本實(shí)施例，關(guān)于活體的面部區(qū)域的數(shù)據(jù)用于優(yōu)化AF，使得AF很好地適于主要 被攝體。此外，可使用關(guān)于不僅活體而且非活體的面部區(qū)域的數(shù)據(jù)，以便增加白平衡中的數(shù) 據(jù)的參數(shù)，并且可以區(qū)分活體的面部區(qū)域和非活體的面部區(qū)域，使得通過利用區(qū)分的優(yōu)點(diǎn) 和不區(qū)分的優(yōu)點(diǎn)按需要使用適當(dāng)?shù)臄?shù)據(jù)。結(jié)果，可實(shí)現(xiàn)更合適的各種處理。
與JP-ANo. H5-297152的技術(shù)相反，根據(jù)本實(shí)施例的成像裝置不需要輻射溫度計 和溫度檢測方向控制裝置。因此，根據(jù)本實(shí)施例的成像裝置可以制造得更小，并且可以以低 成本制造。在過去，在通過使用紅外光圖像數(shù)據(jù)首次估計面部區(qū)域時經(jīng)常得到錯誤確定。在 本實(shí)施例中，首先用高精度的可見光圖像執(zhí)行面部識別。此外，在本實(shí)施例中，紅外光圖像 不用于面部識別，因此幾乎不得到錯誤確定。 因?yàn)橛每梢姽鈭D像的面部識別實(shí)現(xiàn)高精度，所以當(dāng)面部識別僅基于可見光圖像時 印刷在紙張上的面部可能被錯誤地識別為面部。使用紅外光圖像的活體檢測可將活體的面 部與非活體的面部區(qū)分，因此實(shí)現(xiàn)高可靠度的面部圖像識別。 根據(jù)本實(shí)施例的成像裝置具有至少兩個或更多成像系統(tǒng)，S卩，通過紅外光截除濾
光器接收可見光的可見光成像系統(tǒng)、和通過可見光截除濾光器接收紅外光的紅外光成像系
統(tǒng)。因此，由于生成的紅外光圖像，可見光圖像一側(cè)的圖像質(zhì)量不劣化。 另一方面，當(dāng)以與JP-A No. 2005-197914的技術(shù)相似的方式通過一個光譜儀分離
光時，為了確保光徑，裝置變得非常大，此外，不劣化圖像質(zhì)量的光譜儀是昂貴的。相反，在
本實(shí)施例中，不需要光譜儀，圖像質(zhì)量不劣化，并且裝置小，并且可以以低成本制造。 根據(jù)本實(shí)施例的成像裝置可以通過將普通成像裝置的多個可見光成像系統(tǒng)之一
的紅外截除濾光器改變?yōu)榭稍诩t外光截除濾光器和可見光截除濾光器之間切換的濾光器
部分來實(shí)現(xiàn)。因此，根據(jù)本實(shí)施例的成像裝置可以以低成本容易地制造，而不劣化普通成像
裝置的功能。 此外，根據(jù)本實(shí)施例的成像裝置可通過時分切換多個光譜儀濾光器，僅用一個普 通的成像設(shè)備制造。因此，根據(jù)本實(shí)施例的成像裝置可以以低成本制造得較小。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，依賴于設(shè)計需求和其他因素可以出現(xiàn)各種修改、組合、 子組合和更改，只要它們在權(quán)利要求或其等同物的范圍內(nèi)。 在上述實(shí)施例中，成像裝置的面部位置標(biāo)識單元基于可見光圖像數(shù)據(jù)，找到面部圖像，以標(biāo)識對應(yīng)于屏幕內(nèi)的人的面部圖像的數(shù)據(jù)區(qū)域，但是本發(fā)明不限于此。例如，基于 可見光圖像數(shù)據(jù)，被攝體圖像位置標(biāo)識單元不僅可找到人的面部，而且可找到人的一部分 或全部，以標(biāo)識屏幕內(nèi)對應(yīng)于人的面部圖像的數(shù)據(jù)區(qū)域。用于檢測人像的處理包括下述步 驟裁剪圖像數(shù)據(jù)的一部分、將該部分與之前在數(shù)據(jù)庫等中準(zhǔn)備的參考模式比較以執(zhí)行匹 配，因此檢測是否存在人的模式。 本申請包含涉及于2008年12月5日向日本專利局提交的日本優(yōu)先權(quán)專利申請JP 2008-311626中公開的主題，在此通過引用并入其全部內(nèi)容。
權(quán)利要求
一種成像裝置，包括成像單元，包括第一光電轉(zhuǎn)換設(shè)備和第二光電轉(zhuǎn)換設(shè)備，其中所述第一光電轉(zhuǎn)換設(shè)備通過光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)，并且其中所述第二光電轉(zhuǎn)換設(shè)備通過光電轉(zhuǎn)換從所述被攝體發(fā)送的紅外光分量來生成第二圖像數(shù)據(jù)；濾光器，安排在從所述被攝體延伸的光軸上，并且安排在所述第二光電轉(zhuǎn)換設(shè)備的被攝體側(cè)，其中所述濾光器移除所述可見光分量，但允許所述紅外光分量通過；被攝體圖像位置標(biāo)識單元，用于在所述第一圖像數(shù)據(jù)中標(biāo)識預(yù)定被攝體圖像以及所述預(yù)定被攝體圖像在屏幕內(nèi)的位置；紅外光強(qiáng)度檢測單元，用于檢測所述第二圖像數(shù)據(jù)中從所述被攝體發(fā)送的紅外光強(qiáng)度；以及活體檢測單元，用于基于所述預(yù)定被攝體圖像在屏幕內(nèi)的位置以及所述位置處的紅外光強(qiáng)度，檢測活體。
2. 如權(quán)利要求1所述的成像裝置，其中所述活體檢測單元根據(jù)所述預(yù)定被攝體圖像在屏幕內(nèi)的位置指定所述第二圖像 數(shù)據(jù)中的活體檢測區(qū)域，并且基于所述活體檢測區(qū)域內(nèi)的檢測的紅外光強(qiáng)度，檢測所述活 體。
3. 如權(quán)利要求1所述的成像裝置，其中所述活體檢測單元基于同時獲得的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)檢測 所述活體。
4. 如權(quán)利要求1所述的成像裝置，其中所述濾光器是能夠安排在從所述被攝體延伸的光軸上、并且能夠從所述光軸位移 的可移動部件。
5. —種成像裝置，包括成像單元，包括一個成像設(shè)備，其中所述成像設(shè)備通過在第一模式下光電轉(zhuǎn)換從被攝 體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)，并且通過在第二模式下光電轉(zhuǎn)換從所述被攝體 發(fā)送的紅外光分量來生成第二圖像數(shù)據(jù)；濾光器，用于移除所述可見光分量但允許所述紅外光分量通過，其中所述濾光器通過 移動而切換，使得在所述第一模式下，所述濾光器從自所述被攝體延伸的光軸位移到所述 成像設(shè)備，并且在所述第二模式下，所述濾光器安排在所述光軸上，并且安排在所述成像設(shè) 備的被攝體側(cè)；被攝體圖像位置標(biāo)識單元，用于在所述第一圖像數(shù)據(jù)中標(biāo)識預(yù)定被攝體圖像以及所述 預(yù)定被攝體圖像在屏幕內(nèi)的位置；紅外光強(qiáng)度檢測單元，用于檢測所述第二圖像數(shù)據(jù)中從所述被攝體發(fā)送的紅外光強(qiáng) 度；以及活體檢測單元，用于基于所述預(yù)定被攝體圖像在屏幕內(nèi)的位置以及所述位置處的紅外 光強(qiáng)度，檢測活體。
6. 如權(quán)利要求5所述的成像裝置，其中所述成像單元時分生成所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)， 并且所述活體檢測單元基于在不同時間獲得的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)檢測所述活體。
7. 如權(quán)利要求1所述的成像裝置，其中所述預(yù)定被攝體圖像是人的面部或人的一部分或全部。
8. —種成像裝置，包括成像單元，用于通過光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)，并且 通過光電轉(zhuǎn)換從所述被攝體發(fā)送的紅外光分量來生成第二圖像數(shù)據(jù)；被攝體圖像位置標(biāo)識單元，用于在所述第一圖像數(shù)據(jù)中標(biāo)識預(yù)定被攝體圖像以及所述 預(yù)定被攝體圖像在屏幕內(nèi)的位置；紅外光強(qiáng)度檢測單元，用于檢測所述第二圖像數(shù)據(jù)中從所述被攝體發(fā)送的紅外光強(qiáng) 度；以及活體檢測單元，用于基于所述預(yù)定被攝體圖像在屏幕內(nèi)的位置以及所述位置處的紅外 光強(qiáng)度，檢測所述活體。
9. 一種成像方法，包括下述步驟通過使得第一光電轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)；使得濾光器移除所述可見光分量并允許紅外光分量通過；通過使得第二光電轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從所述被攝體發(fā)送的紅外光分量來生成第二圖 像數(shù)據(jù)；在第一圖像數(shù)據(jù)中標(biāo)識預(yù)定被攝體圖像以及所述預(yù)定被攝體圖像在屏幕內(nèi)的位置； 檢測所述第二圖像數(shù)據(jù)中從所述被攝體發(fā)送的紅外光強(qiáng)度；以及基于同時獲得的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)，從所述預(yù)定被攝體圖像在屏 幕內(nèi)的位置以及所述位置處的紅外光強(qiáng)度檢測活體。
10. —種成像方法，包括下述步驟通過使得一個光電轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)；安排濾光器在從所述被攝體延伸到所述一個光電轉(zhuǎn)換設(shè)備的光軸上，并且安排在所述 一個光電轉(zhuǎn)換設(shè)備的被攝體側(cè)，使得所述濾光器移除所述可見光分量但允許紅外光分量通 過；通過使得所述一個光電轉(zhuǎn)換設(shè)備光電轉(zhuǎn)換從所述被攝體發(fā)送的所述紅外光分量來生 成第二圖像數(shù)據(jù)；在所述第一圖像數(shù)據(jù)中標(biāo)識預(yù)定被攝體圖像以及所述預(yù)定被攝體圖像在屏幕內(nèi)的位置；檢測所述第二圖像數(shù)據(jù)中從所述被攝體發(fā)送的紅外光強(qiáng)度；以及基于在不同時間獲得的所述第一圖像數(shù)據(jù)和所述第二圖像數(shù)據(jù)，從所述預(yù)定被攝體圖 像在屏幕內(nèi)的位置以及所述位置處的紅外光強(qiáng)度檢測活體。
全文摘要
提供了一種成像裝置，包括成像單元，包括第一光電轉(zhuǎn)換設(shè)備和第二光電轉(zhuǎn)換設(shè)備，其中所述第一光電轉(zhuǎn)換設(shè)備通過光電轉(zhuǎn)換從被攝體發(fā)送的可見光分量來生成第一圖像數(shù)據(jù)，并且其中所述第二光電轉(zhuǎn)換設(shè)備通過光電轉(zhuǎn)換從被攝體發(fā)送的紅外光分量來生成第二圖像數(shù)據(jù)；濾光器，移除可見光分量，但允許紅外光分量透過；被攝體圖像位置標(biāo)識單元，用于在第一圖像數(shù)據(jù)中標(biāo)識預(yù)定被攝體圖像以及預(yù)定被攝體圖像的位置；紅外光強(qiáng)度檢測單元，用于檢測第二圖像數(shù)據(jù)中發(fā)送的紅外光的強(qiáng)度；以及活體檢測單元，用于基于預(yù)定被攝體圖像的位置紅外光強(qiáng)度，檢測活體。
文檔編號H04N5/225GK101753812SQ20091022577
公開日2010年6月23日 申請日期2009年12月7日 優(yōu)先權(quán)日2008年12月5日
發(fā)明者五味圭三 申請人:索尼株式會社