專利名稱：成像裝置、成像方法和計算機程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及成像裝置、成像方法和計算機程序。具體而言，本發(fā)明涉 及這樣一種成像裝置，其從作為對象的人的臉部圖像中檢測預(yù)定的特征， 通過根據(jù)臉部特征的位置對臉部的位置、角度和臉部的大小進(jìn)行正規(guī)化來 獲取正規(guī)化臉部圖像，在從正規(guī)化臉部圖像中檢測到特定表情時捕捉對象 的臉部的圖像，從而以很高的自動拍攝準(zhǔn)確水平在對象的臉部變化到預(yù)定 表情時執(zhí)行拍攝操作。更具體而言，本發(fā)明涉及這樣一種成像裝置，其在 所捕捉到的對象圖像中包含的預(yù)定圖像滿足預(yù)定條件時自動執(zhí)行拍攝操 作，其中如果在捕捉到的圖像中檢測到不滿足預(yù)定條件的特定圖像，則成 像裝置通過通知對象拍攝操作是響應(yīng)于得到滿足的預(yù)定條件而執(zhí)行的，來 提示對象滿足預(yù)定條件。
背景技術(shù)：
諸如數(shù)字靜態(tài)相機、數(shù)字?jǐn)z像機等等之類的捕捉靜態(tài)圖像的成像裝置
目前被廣泛使用。例如，日本未經(jīng)實審專利申請公布No. 2005-56387公開 了一種成像裝置，如果在捕捉到的對象圖像中檢測到微笑的臉部圖像，則 該成像裝置自動拍攝對象。

發(fā)明內(nèi)容
此類成像裝置并不會以100%的準(zhǔn)確水平來檢測臉部，并且臉部檢測 結(jié)果經(jīng)常包含差錯。如果捕捉到的圖像中包含的非臉部圖像被檢測為臉部 圖像，則不僅會基于檢測到的臉部圖像而不正確地執(zhí)行微笑臉部判定，而 且有可能觸發(fā)無規(guī)律的拍攝操作。
此類成像裝置在從捕捉到的圖像檢測到微笑的臉部圖像前不會進(jìn)行拍 攝。在經(jīng)過沒有拍攝操作被觸發(fā)的很長一段等待時間后，作為對象的人可
能會開始認(rèn)為成像裝置有可能出現(xiàn)了設(shè)備故障。這種情形導(dǎo)致對象無法安 心，從而使得對象難以微笑。
因此，希望提高在作為對象的人的臉部變化到特定表情時執(zhí)行的自動 拍攝操作的準(zhǔn)確水平。還希望在未得到滿足的預(yù)定條件阻止了自動拍攝操 作開始的情況下提示對象滿足預(yù)定條件。
根據(jù)本發(fā)明的一個實施例， 一種用于處理圖像的圖像處理裝置，包 括臉部檢測器，用于基于從成像單元提供來的捕捉到的圖像的圖像信 息，來檢測捕捉到的圖像中包含的臉部的圖像；臉部特征檢測器，用于基 于由臉部檢測器檢測到的臉部圖像的圖像信息，來檢測臉部圖像中包含的 臉部特征；正規(guī)化器，用于基于由臉部特征檢測器檢測到的臉部特征的檢 測位置來對由臉部檢測器檢測到的臉部圖像進(jìn)行正規(guī)化，并且生成正規(guī)化 臉部圖像；以及臉部表情檢測器，用于基于由正規(guī)化器生成的正規(guī)化臉部 圖像的圖像信息，來檢測臉部圖像中包含的臉部表情。
根據(jù)本發(fā)明的實施例，臉部特征檢測器檢測由臉部檢測器檢測到的臉 部圖像中包含的預(yù)定臉部特征，例如眼睛、鼻子等等。正規(guī)化器基于由臉 部特征檢測器檢測到的臉部特征的檢測位置，就臉部的位置、臉部的角度 和臉部的大小中的至少一個來對臉部檢測器檢測到的臉部圖像進(jìn)行正規(guī) 化，并且生成正規(guī)化臉部圖像。
由正規(guī)化器生成的正規(guī)化臉部圖像中的像素數(shù)目小于臉部圖像在正規(guī) 化操作之前的像素數(shù)目。更具體而言，臉部圖像需要相對較大的像素數(shù)目 (更高的分辨率)，以便臉部特征的位置可被以更高的準(zhǔn)確水平檢測到。 如果表示了臉部的一般特征，那么允許檢測特定表情的正規(guī)化臉部圖像就 是可接受的，因此不需要較大的像素數(shù)目。通過將正規(guī)化臉部圖像的像素 數(shù)目設(shè)置為小于臉部圖像的像素數(shù)目，節(jié)約了存儲器容量，并且高速地執(zhí) 行了關(guān)于臉部表情是否是特定表情的判定過程。
臉部表情檢測器基于正規(guī)化臉部圖像的圖像信息來檢測特定表情。特 定表情可以是微笑臉部、哭泣臉部等等。當(dāng)特定表情被檢測到時，拍攝控 制器發(fā)出指令以執(zhí)行拍攝操作。這樣，在作為對象的人變到特定表情時， 拍攝操作被自動執(zhí)行。
根據(jù)本發(fā)明的實施例，特定表情是利用正規(guī)化臉部圖像的圖像信息來 檢測的，在正規(guī)化臉部圖像中，臉部的位置、角度和大小等等根據(jù)臉部特 征的檢測位置被正規(guī)化。從而，與利用未正規(guī)化的臉部圖像的圖像信息來 檢測特定表情的成像裝置相比，該成像裝置提供了更高的特定表情檢測準(zhǔn) 確度。本發(fā)明實施例的成像裝置從而提高了在對象的臉部表情變化到特定 表情時觸發(fā)的自動拍攝操作的準(zhǔn)確水平。
該圖像處理裝置還可包括正規(guī)化判定單元，用于基于由正規(guī)化器生成 的正規(guī)化臉部圖像的圖像信息，來判定臉部圖像的正規(guī)化操作是否已成功 完成。如果正規(guī)化判定單元判定臉部圖像的正規(guī)化操作已成功完成，并且 如果臉部表情檢測器已檢測到特定表情，則拍攝控制器可指示成像單元執(zhí) 行拍攝操作。
臉部檢測器可能檢測到處于非正臉位置的臉部圖像。臉部特征檢測器 可能將臉部的非特征部分檢測為臉部特征。在這種情況下，正規(guī)化臉部圖 像是非臉部圖像、非正臉圖像和傾斜臉部圖像之一。響應(yīng)于這種圖像，臉 部表情檢測器可能提供不正確的檢測結(jié)果。在這種情況下，正規(guī)化判定單 元判定正規(guī)化操作失敗，從而避免了拍攝差錯。
圖像處理裝置還可包括通知器，用于在臉部表情檢測器未檢測到特定 表情的一段時間之后，或者在臉部表情檢測器未檢測到特定表情并且正規(guī) 化判定單元判定臉部圖像的正規(guī)化操作己成功完成的一段時間之后，通知 對象拍攝操作是在對象的臉部變化到特定臉部表情時執(zhí)行的。通知器可 以將拍攝操作未被觸發(fā)的原因通知給作為用戶的對象，然后提示對象將臉 部表情變到特定表情。
本發(fā)明涉及在在捕捉到的對象圖像中檢測到特定圖像并且該特定圖像 的狀態(tài)滿足預(yù)定條件的情況下自動拍攝對象的成像處理裝置。該成像處理 裝置包括通知器，該通知器在檢測到的特定圖像未能滿足預(yù)定條件的狀態(tài) 之后通知對象拍攝操作是在預(yù)定條件得到滿足時被觸發(fā)的。
根據(jù)本發(fā)明的實施例，特定圖像被包含在捕捉到的圖像中。如果該特 定圖像的狀態(tài)滿足預(yù)定條件，則自動拍攝操作被觸發(fā)。例如，如果包含在 捕捉到的圖像中的臉部圖像變?yōu)槲⑿δ槻炕蚩奁槻?，則自動拍攝操作被
觸發(fā)。如果該特定圖像的狀態(tài)未能滿足預(yù)定條件，那么通知器通知對象 如果預(yù)定條件得到滿足，則自動拍攝操作會被觸發(fā)。例如，利用發(fā)光或音 頻輸出來通知對象。
如果該特定圖像的狀態(tài)滿足預(yù)定條件，則拍攝操作被觸發(fā)。通知讓對 象知道自動拍攝操作仍未被觸發(fā)的原因，并且提示對象滿足預(yù)定條件。
根據(jù)本發(fā)明的實施例，從臉部圖像中檢測特定的臉部特征，根據(jù)臉部 特征的檢測位置對臉部的位置、角度和大小進(jìn)行正規(guī)化以獲得正規(guī)化臉部 圖像，并且在從正規(guī)化臉部圖像中檢測到特定臉部表情時執(zhí)行拍攝操作。 從而提高了在對象的臉部變化到特定表情時觸發(fā)的自動拍攝操作的準(zhǔn)確 度。
根據(jù)本發(fā)明的實施例，成像處理裝置在捕捉到的對象圖像中包含的特 定圖像滿足特定條件時執(zhí)行自動拍攝操作。即使檢測到的特定圖像的狀態(tài) 未能滿足預(yù)定的條件，成像裝置也會通知對象只要預(yù)定條件得到滿足自動 拍攝操作就會被執(zhí)行，并且提示對象滿足預(yù)定條件。


圖1是示出根據(jù)本發(fā)明一個實施例的數(shù)字靜態(tài)相機的結(jié)構(gòu)的框圖； 圖2是根據(jù)本發(fā)明一個實施例的數(shù)字靜態(tài)相機的外部透視圖； 圖3是示出相機控制器的結(jié)構(gòu)的框圖4是示出在微笑臉部快門模式中快門按鈕被按下的情況下序列控制
器的控制序列的流程圖5A-5C示出了臉部檢測器對臉部圖像的檢測操作；
圖6示出了為了檢測臉部圖像而設(shè)置在捕捉到的圖像上的檢測框；
圖7A和7B示出了用于臉部檢測的臉部字典以及在使用臉部字典的情
況下對臉部得分的測量；
圖8示出了臉部字典中的每組參數(shù)的位置信息與檢測框之間的關(guān)系； 圖9示出了用于臉部圖像檢測的捕捉到的圖像，及其收縮后的圖像； 圖IO是示出臉部檢測器的臉部圖像檢測過程的流程圖； 圖11是示出臉部屬性檢測器的臉部屬性檢測過程的流程圖12A和12B圖示出了臉部屬性檢測器的過程的流程；
圖13示出了設(shè)置在臉部圖像中用于檢測左眼的左眼檢測區(qū)域，以及
在左眼檢測區(qū)域內(nèi)移動的檢測框；
圖14是示出臉部屬性檢測器的左眼檢測過程的流程圖15A和15B示出了用于檢測左眼的左眼檢測字典，以及利用左眼檢
測字典對左眼得分的測量；
圖16示出了左眼檢測字典中的每組參數(shù)的位置信息與檢測框之間的
關(guān)系；
圖17是示出在使用字典的情況下的得分測量過程的流程圖18A和18B示出了正規(guī)化判定字典和在使用正規(guī)化判定字典的情況
下對正規(guī)化得分的測量；
圖19示出了正規(guī)化判定字典中的每組參數(shù)的位置信息與正規(guī)化臉部
圖像之間的關(guān)系；
圖20A和20B示出了微笑臉部和在使用微笑臉部字典的情況下對微笑 得分的測量；
圖21示出了拍攝條件的判定示例； 圖22示出了拍攝條件的判定示例；以及
圖23A和23B示出了在基于發(fā)光二極管(LED)的發(fā)光的通知中的發(fā) 光樣式。
具體實施例方式
下面參考附圖描述本發(fā)明的實施例。圖1示出了根據(jù)本發(fā)明一個實施 例的數(shù)字靜態(tài)相機100的結(jié)構(gòu)。
數(shù)字靜態(tài)相機100包括成像鏡頭101、成像單元102、相機控制器 103、系統(tǒng)控制器104、外部接口 105、記錄和再現(xiàn)單元106、顯示屏 107、操作輸入單元108、發(fā)光二極管(LED) 109、揚聲器110和存儲單 元111。
成像單元102包括具有電子快門功能的成像元件(未示出)，以及通 過處理來自成像元件的輸出信號來獲取響應(yīng)于捕捉到的圖像的圖像信息 (圖像數(shù)據(jù))的信號處理器(未示出)。成像鏡頭101將對象的光學(xué)圖像
聚焦在成像元件的成像平面上。成像元件捕捉對象的圖像，并且信號處理
器對捕捉到的信號進(jìn)行信號處理。成像單元102從而獲得響應(yīng)于捕捉到的 圖像的圖像信息。相機控制器103響應(yīng)于經(jīng)由存儲單元111從成像單元 102提供來的圖像信息來確定快門速度和曝光，并且對成像單元102進(jìn)行 控制。
系統(tǒng)控制器104總地控制數(shù)字靜態(tài)相機100。系統(tǒng)控制器104響應(yīng)于 用戶操作輸入對操作輸入單元108進(jìn)行操作，在顯示屏107上顯示適當(dāng)?shù)?內(nèi)容，將圖像信息存儲到記錄和再現(xiàn)單元106上，并且經(jīng)由外部接口 105 與外部計算機和網(wǎng)絡(luò)通信。系統(tǒng)控制器104還依據(jù)用戶操作輸入的類型 (例如按下快門按鈕)對相機控制器103進(jìn)行控制。在拍攝操作期間，系 統(tǒng)控制器104將成像單元102捕捉到的圖像顯示到顯示屏107上。在通知 操作期間，系統(tǒng)控制器104控制LED 109的發(fā)光或揚聲器110的音頻輸 出。
外部接口 105充當(dāng)用于經(jīng)由通用串行總線(USB)與外部計算機連接 或者與網(wǎng)絡(luò)連接的接口。記錄和再現(xiàn)單元106具有主要包括可去除地裝載 于其內(nèi)的閃存的記錄介質(zhì)，將圖像信息記錄在記錄介質(zhì)上，或從記錄介質(zhì) 讀取圖像信息。顯示屏107例如包括液晶面板。顯示屏107在其上顯示捕 捉到的圖像、由記錄和再現(xiàn)單元106從記錄介質(zhì)讀取的圖像以及要顯示給 用戶的各種信息。
操作輸入單元108是包括快門按鈕在內(nèi)的暴露在數(shù)字靜態(tài)相機100的 外殼之外的按鍵設(shè)備，并且接收用戶操作輸入。存儲單元111充當(dāng)主存儲 單元，用于臨時存儲從成像單元102輸出的響應(yīng)于捕捉到的圖像的圖像信 息。存儲單元111包括動態(tài)隨機訪問存儲器(DRAM)。圖像信息是經(jīng)由 存儲單元111在元件之間被交換的。
圖2是數(shù)字靜態(tài)相機100的外部視圖。布置在數(shù)字靜態(tài)相機100的外 殼115的前部的除了成像鏡頭101外還有LED 109和揚聲器110?？扉T按 鈕116被布置在外殼115的頂部。顯示屏107 (未示出)和除快門按鈕 116之外的操作輸入單元108 (未示出)被布置在外殼115的后部。 下面詳細(xì)描述相機控制器103。圖3示出了相機控制器103。相機控 制器103包括臉部檢測器121、臉部屬性檢測器122、相機參數(shù)控制器123 和序列控制器124。
響應(yīng)于來自序列控制器124的觸發(fā)，臉部檢測器121從輸出自成像單 元102并存儲在存儲單元111上的當(dāng)前的捕捉到的圖像的圖像信息中檢測 臉部圖像。在檢測到臉部圖像后，臉部檢測器121將與臉部圖像相對應(yīng)的 圖像信息存儲到存儲單元111上，并且還將臉部檢測信息提供給序列控制 器124。稍后將詳細(xì)描述臉部檢測器121的檢測過程。
響應(yīng)于來自序列控制器124的觸發(fā)，臉部屬性檢測器122從由臉部檢 測器121檢測到的、被存儲在存儲單元111上的臉部圖像的圖像信息中檢 測作為臉部特征的眼睛，并且根據(jù)檢測到的眼睛的位置對臉部圖像執(zhí)行正 規(guī)化過程。臉部屬性檢測器122從而得出正規(guī)化的臉部圖像。臉部屬性檢 測器122將在眼睛檢測過程中獲得的眼睛得分提供給序列控制器124，并 且將響應(yīng)于在正規(guī)化過程中獲得正規(guī)化臉部圖像的圖像信息提供給存儲單 元111。
臉部屬性檢測器122基于存儲在存儲單元111上的正規(guī)化臉部圖像的 圖像信息來測量用于判定正規(guī)化過程是否已成功完成的正規(guī)化得分，并將 正規(guī)化得分提供給序列控制器124。另外，臉部屬性檢測器122基于存儲 在存儲單元111上的正規(guī)化臉部圖像的圖像信息來測量用于檢測微笑臉部 的微笑臉部得分，并將微笑臉部得分提供給序列控制器124。稍后將詳細(xì) 描述臉部屬性檢測器122的檢測過程。
響應(yīng)于來自序列控制器124的觸發(fā)，相機參數(shù)控制器123評估輸出自 成像單元102并存儲在存儲單元111上的當(dāng)前的捕捉到的圖像的圖像信 息，確定諸如快門速度、曝光、白平衡等等之類的相機參數(shù)，并且根據(jù)相 機參數(shù)來控制成像單元102。
序列控制器124響應(yīng)于來自系統(tǒng)控制器104的拍攝待命指令而啟動， 向成像單元102發(fā)送啟動指令，并且將成像單元102維持在準(zhǔn)備好拍攝的 拍攝待命狀態(tài)。在拍攝待命狀態(tài)期間，由成像單元102獲取的捕捉到的對 象圖像的圖像信息被提供給存儲單元111。存儲在存儲單元111上的圖像
信息在每個場周期(1/60秒)中被連續(xù)更新。序列控制器124控制相機參 數(shù)控制器123根據(jù)存儲在存儲單元111上的圖像信息計算相機參數(shù)。序列 控制器124控制臉部檢測器121從存儲在存儲單元111上的圖像信息中檢 測臉部圖像。
在接收到來自臉部檢測器121的臉部檢測信息后，序列控制器124控 制臉部屬性檢測器122執(zhí)行臉部屬性檢測(包括對眼睛的檢測、正規(guī)化過 程、對正規(guī)化得分的測量，以及對微笑臉部得分的測量)。在對左眼和右 眼的檢測、正規(guī)化過程和對微笑臉部的檢測都成功完成時，序列控制器 124指示諸如系統(tǒng)控制器104之類的預(yù)定元件開始拍攝。
用戶可以通過操作圖1的數(shù)字靜態(tài)相機100中的操作輸入單元108來 設(shè)置微笑臉部快門模式。當(dāng)用戶在數(shù)字靜態(tài)相機100被設(shè)置在微笑臉部快 門模式中的情況下按下快門按鈕116時，數(shù)字靜態(tài)相機100在捕捉到的對 象圖像中包含微笑臉部的圖像的條件下自動執(zhí)行拍攝操作。
圖4的流程圖示出了當(dāng)在微笑臉部快門模式中快門按鈕116被按下時 序列控制器124的控制序列。
在步驟ST1中，序列控制器124響應(yīng)于來自系統(tǒng)控制器104的拍攝待 命指令而開始控制過程，并且前進(jìn)到步驟ST2。在步驟ST2中，序列控制 器124向成像單元102發(fā)送啟動指令。在接收到啟動指令后，成像單元 102轉(zhuǎn)移到準(zhǔn)備好開始拍攝的拍攝待命狀態(tài)。在拍攝待命狀態(tài)期間，成像 單元102重復(fù)地捕捉對象的圖像。從成像單元102輸出的捕捉到的對象圖
像的圖像信息被提供給存儲單元111。存儲在存儲單元111上的圖像信息 在每個場周期中被連續(xù)更新。
在步驟ST3中，序列控制器124請求相機參數(shù)控制器123更新相機參 數(shù)中。在接收到請求后，相機參數(shù)控制器123對輸出自成像單元102并存 儲在存儲單元111上的當(dāng)前的捕捉到的圖像的圖像信息進(jìn)行評估，確定諸 如快門速度、曝光、白平衡等等之類的相機參數(shù)，并且更新成像單元102 的相機參數(shù)。
在步驟ST4中，序列控制器124請求臉部檢測器121檢測臉部圖像。 臉部檢測器121從輸出自成像單元102并存儲在存儲單元111上的當(dāng)前的
捕捉到的圖像的圖像信息中檢測臉部圖像。例如，如果存儲單元111上的
捕捉到的圖像IM-0是圖5A所示的那個，則臉部檢測器121檢測到包圍在 圖5B的虛線框中的、包含在捕捉到的圖像IM-0中的臉部圖像IM-1。
在檢測到臉部圖像后，臉部檢測器121根據(jù)預(yù)定的大小對臉部圖像進(jìn) 行正規(guī)化，以便臉部圖像在臉部屬性檢測器122中被處理，在此實施例中 所述預(yù)定大小例如是80個像素的水平大小乘以80個像素的垂直大小，如 圖5C所示。與正規(guī)化臉部圖像IM-2相對應(yīng)的圖像信息被存儲到存儲單元 111上。在檢測到臉部圖像后，臉部檢測器121還向序列控制器124發(fā)送 臉部檢測信息(臉部得分、位置信息、大小信息，等等)。
下面描述臉部檢測器121的臉部圖像檢測過程。
在臉部圖像檢測過程中，如圖6所示，在捕捉到的圖像IM-0上設(shè)置 了具有預(yù)定大小的檢測框FR-fa，例如S個像素的水平大小和S個像素的 垂直大小。在此實施例中，S為80個像素或更大。如箭頭所示，在對捕捉 到的圖像IM-O的掃描中檢測框FR-fe移動，并且其位置連續(xù)移動。禾U用臉 部字典來測量每個位置處檢測框FR-fa內(nèi)的圖像的臉部得分SCORE—fa。 基于臉部得分SCORE—fa，臉部檢測器121判定圖像是否是臉部圖像。
如圖7B所示，臉部字典包含t4組參數(shù)，每組包含pix—fal(i)、 pix—fa2(i)、 6 —fa(i)和a—fa(i)。在這里，pix—fal(i)和pix—fa2(i)表示檢測框 FR-fa所包圍的圖像中的兩個位置，如圖8所示。為了簡單，圖8只示出 了三對。0—fa(i)表示pix—fal(i)處的亮度值和pix—fa2(i)處的亮度值之間的差 別的閾值。另外，a—fa(i)表示依據(jù)閾值0—fa(i)與pix—fal(i)處的亮度值和 pk—fa2(i)處的亮度值之間的差別的比較結(jié)果而添加或減去的權(quán)重。雖然在 這里沒有詳細(xì)描述，但pix一fal(i)、 pix—fa2(i)、 (fa(i)和o;一fa(i)的值是利用 諸如AdaBoost之類的機器學(xué)習(xí)算法來獲取的。
為了測量臉部得分SCORE_fa，判定臉部字典中的每組pix—fal(i)、 pix_fa2(i)、 0一fa(i)禾口 a—fa(i)是否滿足式(1)，如圖7A所示。如果判定每 組滿足式(1)，則計算式(2)。如果判定每組不滿足式(1)，則計算 式(3)。在式(1)中，pix—fal(i)表示該位置處的亮度值，pix一fa2(i)表示 該位置處的亮度值。
pix一fal(i) - pix一fa2(i) < 9—fa① SCORE一fa = SCORE一fa + a—fa(i) SCORE—fa = SCORE—fa - a一fa(i)
(1)
(2)
(3)
關(guān)于被檢測框FR-fa圍繞的圖像是否是臉部圖像的判定是基于這樣描 述的臉部得分SCORE—fa來執(zhí)行的。在對臉部得分SCORE—fa的測量中， 如果式(1)得到滿足則h(i)=l，而如果式(1)未得到滿足則h(i)=-l。測 量到的臉部得分SCORE—fa由式(4)寫出
如果臉部得分SCORE一fa大于零，則判定檢測框FR-fa所圍繞的圖像 是臉部圖像。如果臉部得分SCORE—fa不大于零，則判定檢測框FR-fa所 圍繞的圖像不是臉部圖像。判定標(biāo)準(zhǔn)是零。或者，可將判定標(biāo)準(zhǔn)設(shè)置為不 為零的調(diào)節(jié)后的值。
捕捉到的圖像中包含的臉部圖像可具有各種大小。如圖6所示，具有 預(yù)定大小的檢測框FR-fa被設(shè)置在捕捉到的圖像IM-O上以檢測臉部圖像。 利用此布置，只有與檢測框FR-fa的大小相匹配的臉部圖像才會被從捕捉 到的圖像IM-O中包含的臉部圖像中檢測出。為了允許捕捉到的圖像IM-O 中包含的各種臉部圖像被檢測到，臉部圖像檢測過程不僅可在捕捉到的圖 像IM-O上執(zhí)行，而且可在分別從捕捉到的圖像IM-O收縮而來的圖像IM-0a、 IM-0b上執(zhí)行，如圖9所示。
圖IO是示出臉部檢測器121的臉部圖像檢測過程的流程圖。
在步驟ST21中，臉部檢測器121開始臉部圖像檢測過程，然后前進(jìn) 到步驟ST22。在步驟ST22中，臉部檢測器121將捕捉到的圖像IM-O的 收縮比例設(shè)置為S一NO 1。在步驟ST23中，臉部檢測器121從存儲單元 111讀取捕捉到的圖像IM-O的圖像信息，并且執(zhí)行由收縮比例S—NO所設(shè) 置的比例收縮，以便生成用于臉部圖像檢測的收縮后圖像。如果 S—NO=l，則收縮比例是l。用于臉部圖像檢測的收縮后圖像與捕捉到的圖 像IM-O相同。隨著收縮比例S—NO增大，收縮率變小。在較小的收縮率 下檢測到的臉部圖像是捕捉到的圖像IM-O上的較大的臉部圖像。臉部檢 測信息中包含的大小信息和位置信息是捕捉到的圖像IM-O的信息。
SCORE一fa =!>(/)or—fa(i) (4)
在步驟ST24中，臉部檢測器121將檢測框FR-fa設(shè)置在步驟ST23中 收縮的圖像的左上角。在步驟ST25中，臉部檢測器121利用先前論述的 臉部字典來測量臉部得分SCORE—fa。
在步驟ST26中，臉部檢測器121基于在步驟ST25中測量的臉部得分 SCORE_fa來判定檢測框FR-fa所圍繞的圖像是否是臉部圖像。在此情況 下，如果臉部得分SCORE—fa>0，則臉部檢測器121判定圖像是臉部圖 像。如果臉部得分SCORE—fa > 0不成立，則臉部檢測器121判定圖像不 是臉部圖像。
如果判定圖像是臉部圖像，則臉部檢測器121前進(jìn)到步驟ST27。在步 驟ST27中，臉部檢測器121將檢測框FR-fa所圍繞的圖像存儲到存儲單元 111上以作為臉部圖像，并且將臉部圖像的臉部檢測信息(臉部得分、位 置信息、大小信息等等)發(fā)送到序列控制器124。如前所述，臉部檢測器 121將檢測到的S像素乘以S像素的臉部圖像正規(guī)化到80像素乘以80像 素的大小以便在臉部屬性檢測器122中對檢測到的臉部圖像進(jìn)行處理，然 后將正規(guī)化臉部圖像存儲在存儲單元111上。在步驟ST27之后，臉部檢 測器121前進(jìn)到步驟ST28。如果在步驟ST26中判定圖像不是臉部圖像， 則臉部檢測器121直接前進(jìn)到步驟ST28。
在步驟ST28中，臉部檢測器121判定檢測框FR-fa是否達(dá)到最終位 置。如果檢測框FR-fa尚未達(dá)到最終位置，臉部檢測器121則在步驟ST29 中將檢測框FR-fa移動到下一位置。處理返回到步驟ST25，以重復(fù)與上述 相同的過程。在給定垂直位置處的檢測框FR-fa每次在水平方向上被移動 一個像素。當(dāng)檢測框FR-fa在水平方向上的移動完成時，檢測框FR-fa隨 后被移動一個像素以到達(dá)新的垂直位置。
如果在步驟ST28中判定檢測框FR-fa已到達(dá)最終位置，則臉部檢測 器121在步驟ST30中判定收縮比例S一NO是否是最終收縮比例 S—NOmax。如果S—NO S—NOmax，臉部檢測器121則在步驟ST31中將收 縮比例S—NO設(shè)置到下一比例，然后返回到步驟ST23，以重復(fù)與上述相同 的過程。
在步驟ST30中S NOS一NOmax意味著已在所有收縮比例S—NO下執(zhí) 行了臉部圖像檢測過程。臉部檢測器121隨后在步驟ST32中完成臉部圖 像檢測過程。
返回圖4，序列控制器124在步驟ST4之后前進(jìn)到步驟ST5。在步驟 ST5中，序列控制器124判定是否檢測到了臉部圖像。如果在步驟ST5中 判定沒有檢測到臉部圖像，則序列控制器124返回到步驟ST3，以重復(fù)與 上述相同的過程。另一方面，如果在步驟ST5中判定已確定了臉部圖像， 則序列控制器124前進(jìn)到步驟ST6。在步驟ST6中，序列控制器124請求 臉部屬性檢測器122檢測每個檢測到的臉部圖像的臉部屬性。
圖11是示出臉部屬性檢測器122的臉部屬性檢測過程的流程圖。
在步驟ST41中，臉部屬性檢測器122開始臉部屬性檢測過程。臉部 屬性檢測器122在步驟ST42中檢測左眼，并在步驟ST43中檢測右眼。在 眼睛檢測過程中，臉部屬性檢測器122基于被正規(guī)化到80像素乘以80像 素的大小并被存儲在存儲單元111上的臉部圖像IM-2的圖像信息，禾廿用 眼睛檢測字典將眼睛作為臉部特征來檢測，如圖12A所示。
現(xiàn)在描述左眼檢測過程。臉部屬性檢測器122在圖13的臉部圖像IM-2上設(shè)置左眼檢測區(qū)域AR-Ley。左眼檢測區(qū)域AR-Ley的左上坐標(biāo)是 (LEFT—LEFT, LEFT-TOP )，右下坐標(biāo)是 (LEFT—RIGHT, LEFT—BOTTOM)。
為了檢測左眼，臉部屬性檢測器122在臉部圖像IM-2上設(shè)置檢測框 FR-ey。根據(jù)本實施例，檢測框FR-ey具有預(yù)定的大小，即24個像素的水 平尺寸和24個像素的垂直尺寸。左眼檢測區(qū)域AR-Ley表示檢測框FR-ey 的中心被允許在其中移動的區(qū)域。
如圖13中的帶箭頭的線所表示的，檢測框FR-ey被移動，并且其位 置在左眼檢測區(qū)域AR-Ley內(nèi)連續(xù)移動。臉部屬性檢測器122利用左眼檢 測字典來測量每個位置處檢測框FR-ey所圍繞的圖像上的左眼得分 SCORE一Ley。臉部屬性檢測器122輸出左眼得分SCORE一Ley的最大值以 及關(guān)于獲得左眼得分SCORE—Ley的最大值的檢測框FR-ey的位置的位置 樣自
圖14是示出左眼檢測過程的流程圖。臉部屬性檢測器122在步驟
ST51中開始左眼檢測過程，然后前進(jìn)到步驟ST52。在步驟ST52中，臉 部屬性檢測器122從存儲單元111讀取將被用在左眼檢測過程中的左眼檢 測區(qū)域AR-Ley的圖像信息。
在步驟ST53中，臉部屬性檢測器122將LEFT—SCORE設(shè)置到較大的 負(fù)數(shù)，例如在本實施例中是-10000。在步驟ST54和ST55中，臉部屬性檢 測器122將檢測框FR-ey的中心位置(x, y， z)設(shè)置在左眼檢測區(qū)域AR-Ley的左上角，即y=LEFT—TOP并且x=LEFT—LEFT。
在步驟ST56中，臉部屬性檢測器122利用左眼檢測字典來測量檢測 框FR-ey所圍繞的圖像的左眼得分SCORE—Ley。在步驟ST57中，臉部屬 性檢測器122判定左眼得分SCORE—Ley是否大于LEFT一SCORE。如果 SCORE—Ley > LEFT—SCORE,臉部屬性檢測器122則前進(jìn)到步驟ST58。 在步驟ST58中，臉部屬性檢測器122設(shè)置LEFT—SCORE = SCORE—Ley 以及POS-(x，y)。
臉部屬性檢測器122在步驟ST58之后前進(jìn)到步驟ST59。如果在步驟 ST57中判定SCORE一Ley > LEFT—SCORE的關(guān)系不成立，臉部屬性檢測器 122則直接前進(jìn)到步驟ST59。在步驟ST59中，臉部屬性檢測器122使x 遞增。在步驟ST60中，臉部屬性檢測器122判定x是否大于 LEFT—RIGHT。對于x大于LEFT—RIGHT的判定意味著檢測框FR-ey的中 心位置(x, y)已經(jīng)向右移動并到達(dá)了左眼檢測區(qū)域AR-Ley的右端。如果 x > LEFT—RIGHT的關(guān)系不成立，臉部屬性檢測器122則返回到步驟 ST56，以重復(fù)與上述相同的過程。如果x > LEFT—RIGHT的關(guān)系成立，臉 部屬性檢測器122則在步驟ST61中使y遞增。
在步驟ST62中，臉部屬性檢測器122判定y是否大于 LEFT_BOTTOM。對于y大于LEFT—BOTTOM的判定意味著檢測框FR-ey 已經(jīng)向下移動并到達(dá)了左眼檢測區(qū)域AR-Ley的底端。如果y> LEFT—BOTTOM的關(guān)系不成立，臉部屬性檢測器122則返回到步驟 ST55，以重復(fù)與上述相同的過程。
步驟ST62中對于y大于LEFT—BOTTOM的判定意味著檢測框FR-ey 在左眼檢測區(qū)域AR-Ley內(nèi)的移動已經(jīng)完成。臉部屬性檢測器122前進(jìn)到
步驟ST63。在步驟ST63中，臉部屬性檢測器122輸出左眼得分 SCORE_Ley的最大值LEFT_SCORE，以及獲得左眼得分SCORE—Ley的 最大值LEFT—SCORE處的位置信息POS。在步驟ST63之后的步驟ST64 中，臉部屬性檢測器122完成左眼檢測過程。
下面描述步驟ST56中對左眼得分SCORE—Ley的測量過程。 如圖15B所示，左眼檢測字典包含tl組(數(shù)百組)，每組包含 pix一eyl(i)、 pix—ey2(i)、 0—ey(i)禾口 a—ey(i)。如圖16所示，pix一eyl(i)禾口 pix—ey2(i)表示檢測框FR-ey所包圍的圖像中的兩個位置。為了簡單，圖16 只示出了三組。6 —ey(i)表示pix—eyl(i)處的亮度值和pix—ey2(i)處的亮度值 之間的差別的閾值。另外，a一ey(i)表示依據(jù)閾值0—ey(i)與pix—eyl(i)處的 亮度值和pix—ey2(i)處的亮度值之間的差別的比較結(jié)果而添加或減去的權(quán) 重。雖然在這里沒有詳細(xì)描述，但pix—eyl(i)、 pix一ey2(i)、 0—ey(i)和a—ey(i) 的值是利用諸如AdaBoost之類的機器學(xué)習(xí)算法來獲取的。
為了測量左眼得分SCORE—Ley,判定臉部字典中的每組pix_eyl(i)、 pix—ey2(i)、 0一ey(i)和a—ey(i)是否滿足式(5)，如圖15A所示。如果判定 每組滿足式(5)，則計算式(6)。如果判定每組不滿足式(5)，則計 算式(7)。在式(5)中，pix—eyl(i)表示該位置處的亮度值，pix一ey2(i)表 示該位置處的亮度值。
pix—eyl(i) - pix—ey2(i) < 9—ey(i) ... (5)
SCORE—Ley = SCORE—Ley + a—ey(i) ... (6)
SCORE—Ley = SCORE—Ley - a—ey(i) ... (7)
圖17是示出左眼得分SCORE一Ley的測量過程的流程圖。臉部屬性檢 測器122在步驟ST71中開始得分測量過程，然后前進(jìn)到步驟ST72。在步 驟ST72中，臉部屬性檢測器122將左眼得分SCORE—Ley設(shè)置到零。在步 驟ST73中，臉部屬性檢測器122將i設(shè)置到1 。
臉部屬性檢測器122在步驟ST74中選擇pix—eyl(i)和pix—ey2(i)的亮 度值，并在步驟ST75中從pix一eyl(i)處的亮度中減去pix—ey2(i)處的亮 度。在步驟ST76中，臉部屬性檢測器122判定pix—eyl(i)和pix—ey2(i)之 間的差別是否小于0—ey(i)(如式(5)所表示)。
如果pix—eyl(i) - pix一ey2(i) < 0—ey(i)的關(guān)系成立，臉部屬性檢測器122 則在步驟ST77中向左眼得分SCOREJ^ey添加權(quán)重a一ey(i)(如式(6)所 表示)。如果pix—eyl(i) - pix—ey2(i) < 0—ey(i)的關(guān)系不成立，臉部屬性檢 測器122則在步驟ST78中從左眼得分SCORE—Ley中減去權(quán)重ce—ey(i) (如式(7)所表示)。
臉部屬性檢測器122在步驟ST77之后或在步驟ST78之后前進(jìn)到步驟 ST79。在步驟ST79中，臉部屬性檢測器122使i遞增。在步驟ST80中， 臉部屬性檢測器122判定i是否大于tl 。步驟ST80中對于i大于tl的判定 意味著左眼檢測字典中的tl組的處理已經(jīng)完成。如果i 〉 tl的關(guān)系不成 立，則處理返回到步驟ST74，以重復(fù)與上述相同的過程。如果i〉tl的關(guān) 系成立，則臉部屬性檢測器122在步驟ST81中完成得分測量過程。
右眼檢測過程(在這里不詳細(xì)描述)也以與上述左眼檢測過程類似的 方式執(zhí)行。右眼得分SCORE—Rey的最大值LEFT—SCORE和提供右眼得分 SCORE—Rey的最大值LEFT—SCORE的檢測框FR一ey的位置信息POS就 這樣被輸出。
返回圖11，臉部屬性檢測器122在步驟ST43之后前進(jìn)到步驟ST44。 在步驟ST44中，臉部屬性檢測器122執(zhí)行正規(guī)化過程(仿射變換)，以 便左眼和右眼的位置具有預(yù)定的坐標(biāo)。如圖12B所示，臉部屬性檢測器 122這樣生成如圖12B所示的具有預(yù)定大小的正規(guī)化臉部圖像IM-3，即在 此實施例中具有48像素的水平尺寸和48像素的垂直尺寸。在執(zhí)行正規(guī)化 過程以便左眼和右眼具有預(yù)定的坐標(biāo)之后，在正規(guī)化臉部圖像IM-3中臉 部的位置、角度和大小都被正規(guī)化。
如果在步驟ST42中的左眼檢測過程中輸出的左眼得分SCOREJLey的 最大值LEFT—SCORE大于零，臉部屬性檢測器122則判定左眼已被成功 檢領(lǐng)U，并從而判定POS表示左眼的位置。類似地，如果在步驟ST43中的 右眼檢測過程中輸出的右眼得分SCORE—Rey的最大值LEFT—SCORE大于 零，臉部屬性檢測器122則判定右眼已被成功檢測，并從而判定POS表示 右眼的位置。
如果左眼和右眼已被成功檢測，臉部屬性檢測器122則利用左眼和右
眼的位置執(zhí)行仿射變換。根據(jù)本實施例，即使對左眼和右眼的檢測尚未成 功完成，臉部屬性檢測器122也在在預(yù)定位置處檢測到左眼和右眼的假定 下執(zhí)行仿射變換。
基于左眼和右眼正規(guī)化的正規(guī)化臉部圖像IM-3的像素數(shù)目(48像素 乘以48像素)被設(shè)置為小于上述的正規(guī)化臉部圖像IM-2的像素數(shù)目(80 像素乘以80像素)。這樣設(shè)置是出于以下原因。正規(guī)化臉部圖像IM-2需 要具有預(yù)定數(shù)目或更多的像素(預(yù)定的分辨率)以便準(zhǔn)確的檢測眼睛。另 一方面，正規(guī)化臉部圖像IM-3被用于檢測擴展在整個臉部上的一般特征 (正規(guī)化判定得分和微笑得分)，因而較小數(shù)目的像素仍能令人滿意地工 作。通過減少正規(guī)化臉部圖像IM-3中的像素的數(shù)目，可以節(jié)約存儲器容 量。就以高速執(zhí)行了特征檢測。
在步驟ST45中，臉部屬性檢測器122利用正規(guī)化判定字典來測量正 規(guī)化得分SCORE—no，如圖12B所示。參考正規(guī)化得分SCORE—no來判定 正規(guī)化過程是否已成功完成。正規(guī)化失敗的正規(guī)化臉部圖像IM-3的示例 包括從非臉部圖像得到的正規(guī)化臉部圖像IM-3、是正臉但卻傾斜的正規(guī)化 臉部圖像IM-3以及轉(zhuǎn)過臉去的正規(guī)化臉部圖像IM-3。未被正確正規(guī)化的 正規(guī)化臉部圖像IM-3導(dǎo)致稍后將描述的微笑得分SCORE_sm的測量值不 適當(dāng)或未知。
下面描述正規(guī)化得分SCORE_no的測量過程。
如圖18B所示，正規(guī)化判定字典包含t2組(數(shù)百組)，每組包含 pix—nol(i)、 pix—no2(i)、 0—no(i)和a—no(i)。如圖19所示，pix—nol(i)禾口 pix—no2(i)表示正規(guī)化臉部圖像IM-3中的兩個位置。為了簡單，圖19只示 出了三組。0一no(i)表示pix—nol(i)處的亮度值和pix—no2(i)處的亮度值之間 的差別的閾值。另外，OLno(i)表示依據(jù)閾值0—no(i)與pix—nol(i)處的亮度 值和pk一no2(i)處的亮度值之間的差別的比較結(jié)果而添加或減去的權(quán)重。 雖然在這里沒有詳細(xì)描述，但pix—nol(i)、 pix_no2(i)、 0—no(i)和QLno(i)的 值是利用諸如AdaBoost之類的機器學(xué)習(xí)算法來獲取的。
為了測量正規(guī)化得分SCORE—no ，判定臉部字典中的每組 pix—nol(i)、 pix—no2(i)、 0—no(i)和a—no(i)是否滿足式(8)，如圖15A所 示。如果判定每組滿足式(8)，則計算式(9)。如果判定每組不滿足式 (8)，則計算式(10)。在式(8)中，pix—nol(i)表示該位置處的亮度 值，pix一no2(i)表示該位置處的亮度值。
在這里不會詳細(xì)描述的正規(guī)化得分SCORE—no的測量過程與左眼得分 SCORE—Ley的測量過程(參見圖17)基本上相同。
在步驟ST46中，臉部屬性檢測器122利用微笑臉部字典來測量微笑 得分SCORE—sm，如圖12B所示。參考微笑得分SCORE—sm來判定正規(guī) 化臉部圖像IM-3的狀態(tài)是否是微笑臉部。
下面描述微笑得分SCORE一sm的測量過程。
如圖20B所示，正規(guī)化判定字典包含t3組(數(shù)百組)，每組包含 pix—sml(i) 、 pix—sm2(i) 、 0—sm(i)禾口 a—sm(i)。 在這里，pix—sml(i)禾口 pix—sm2(i)表示正規(guī)化臉部圖像IM-3中的兩個位置。在這里，0—sm(i)表示 pix—sml(i)處的亮度值和pix—sm2(i)處的亮度值之間的差別的閾值。另外， a—sm(i)表示依據(jù)閾值0—sm(i)與pix一sml(i)處的亮度值和pix一sm2(i)處的亮 度值之間的差別的比較結(jié)果而添加或減去的權(quán)重。雖然在這里沒有詳細(xì)描 述，但pix—sml(i)、 pix—sm2(i)、 6>—sm(i)和a—sm(i)的值是利用諸如 AdaBoost之類的機器學(xué)習(xí)算法來獲取的。
為了測量微笑得分SCORE一sm，判定臉部字典中的每組pix—sml(i)、 pix—sm2(i)、 0—sm(i)和a一sm(i)是否滿足式(11)，如圖20A所示。如果判 定每組滿足式(11)，則計算式(12)。如果判定每組不滿足式(11)， 則計算式(13)。在式(11)中，pix一sml(i)表示該位置處的亮度值， pix一sm2(i)表示該位置處的亮度值。
pix—sml(i)-pix—sm2(i)<0_sm(i) ... (11)
SCORE—sm=SCORE—sm + a—sm(i) ... (12)
SCORE—sm=SCORE—sm誦a—sm(i) ... (13)
在這里不會詳細(xì)描述的微笑得分SCORE_sm的測量過程與左眼得分
SCORE_Ley的測量過程(參見圖17)基本上相同。
在步驟ST47中，臉部屬性檢測器122向序列控制器124輸出屬性信 息(左眼得分SCORE—Ley的最大值、右眼得分SCORE—Rey的最大值、 正規(guī)化得分SCORE一no以及微笑得分SCORE_sm)。在步驟ST48中，臉 部屬性檢測器122結(jié)束臉部屬性檢測過程。
返回圖4，序列控制器124從步驟ST6前進(jìn)到步驟ST7。在步驟ST7 中，序列控制器124判定拍攝條件是否得到滿足。序列控制器124基于屬 性信息(左眼得分SCORE_Ley的最大值、右眼得分SCORE—Rey的最大 值、正規(guī)化得分SCORE—no以及微笑得分SCORE—sm)來執(zhí)行此判定。
如果左眼和右眼已被成功地檢測到，臉部圖像已被成功地正規(guī)化，并 且微笑臉部己被成功檢測到，則序列控制器124判定拍攝條件得到了滿 足。如果左眼得分SCORE—Ley的最大值大于零，則序列控制器124判定 對左眼的檢測成功。如果右眼得分SCORE—Rey的最大值大于零，則序列 控制器124判定對右眼的檢測成功。如果正規(guī)化得分SCORE-no大于零， 則序列控制器124判定對臉部圖像的正規(guī)化成功。另外，如果微笑得分 SCORE—sm大于零，則序列控制器124判定對微笑臉部的檢測成功。
圖21的狀態(tài)A指示出對左眼的檢測失敗、對右眼的檢測失敗、對臉 部圖像的正規(guī)化失敗或成功，并且微笑臉部被檢測到或未被檢測到。狀態(tài) A因此未能滿足拍攝條件。由于在此狀態(tài)中對左眼和右眼的檢測失敗，因 此臉部檢測器121所檢測到的臉部圖像可能實際并不是臉部圖像，或者臉 部檢測器121所檢測到的臉部圖像可能不是正臉。圖21的狀態(tài)B指示出 對左眼的檢測成功，對右眼的檢測失敗，對臉部圖像的正規(guī)化成功，并且 微笑臉部被檢測到。拍攝條件未得到滿足。由于在此狀態(tài)中有一只眼睛未 被檢測到，因此臉部檢測器121所檢測到的臉部圖像可能正轉(zhuǎn)過臉去。
圖21的狀態(tài)C指示出對左眼的檢測成功、對右眼的檢測成功、對臉 部圖像的正規(guī)化成功，并且微笑臉部被檢測到。拍攝條件因此得到滿足。 在此狀態(tài)中，臉部檢測器121所檢測到的臉部圖像被認(rèn)為是處于正臉位置 的微笑臉部。圖21的狀態(tài)D指示出對左眼的檢測成功，對右眼的檢測成 功，對臉部圖像的正規(guī)化失敗，并且微笑臉部被檢測到。拍攝條件未得到
滿足。雖然左眼和右眼已被成功檢測到，但對臉部圖像的正規(guī)化失敗。臉 部檢測器121所檢測到的臉部圖像可能實際并不是臉部圖像，或者臉部屬
性檢測器122可能將眉毛檢測成了眼睛。
如上所述，臉部檢測器121從捕捉到的圖像IM-0中檢測多個臉部圖 像，臉部屬性檢測器122隨后從這多個臉部圖像中檢測臉部屬性。在這種 情況下，序列控制器124在步驟ST7的關(guān)于拍攝條件是否得到滿足的判定 中執(zhí)行以下過程(1) - (3)之一。
(1)如果所有臉部圖像都滿足拍攝條件，則拍攝條件被判定為得到 滿足。(2)如果捕捉到的圖像中的最大臉部圖像滿足拍攝條件，則拍攝 條件被認(rèn)為得到了滿足。可能存在多個最大臉部圖像。在這種情況下，如 果所有臉部圖像都滿足拍攝條件，或者如果位于最靠近捕捉到的圖像的中 心的位置處的臉部圖像滿足拍攝條件，則拍攝條件被認(rèn)為得到了滿足。
(3)如果最靠近捕捉到的圖像的中心的臉部圖像被認(rèn)為滿足了拍攝條 件，則拍攝條件被判定為得到滿足，而不考慮每個臉部圖像的大小。
如果在步驟ST7中判定拍攝條件得到了滿足，序列控制器124則前進(jìn) 到步驟ST8。在步驟ST8中，序列控制器124指示相關(guān)元件(例如系統(tǒng)控 制器104)拍攝對象。從成像單元102輸出的響應(yīng)于捕捉到的圖像的圖像 信息被經(jīng)由存儲單元111提供到記錄和再現(xiàn)單元106，并被記錄到諸如存 儲卡(未示出)之類的記錄介質(zhì)上。成像單元102根據(jù)需要使用閃光燈。 序列控制器124從步驟ST8前進(jìn)到步驟ST9，以完成該系列控制步驟。
如果在步驟ST7中判定拍攝條件未得到滿足，序列控制器124則前進(jìn) 到步驟STIO。在步驟ST10中，序列控制器124判定通知條件是否得到了 滿足。如果通知條件得到了滿足，則通知對象如果微笑臉部的條件得到 滿足，則拍攝操作會被執(zhí)行。如果對左眼和右眼的檢測成功，并且對臉部 圖像的正規(guī)化成功，但沒有檢測到微笑臉部，序列控制器124則判定通知 條件得到了滿足。
圖22的狀態(tài)A指示出對左眼的檢測失敗，對右眼的檢測失敗，對臉 部圖像的正規(guī)化失敗或成功，并且微笑臉部被檢測到或未被檢測到。狀態(tài) A因此未能滿足通知條件。圖22的狀態(tài)B指示出對左眼的檢測成功，對
右眼的檢測失敗，對臉部圖像的正規(guī)化成功，并且微笑臉部被檢測到。通
知條件未得到滿足。圖22的狀態(tài)C指示出對左眼的檢測成功、對右眼的 檢測成功、對臉部圖像的正規(guī)化成功，但微笑臉部未被檢測到。通知條件 得到了滿足，因為如果微笑臉部被檢測到就滿足了拍攝條件。圖22的狀 態(tài)D指示出對左眼的檢測成功，對右眼的檢測成功，對臉部圖像的正規(guī)化 失敗，并且微笑臉部被檢測到。通知條件未得到滿足。
如果在步驟ST10中判定通知條件得到了滿足，序列控制器124則前 進(jìn)到步驟STll。在步驟ST11中，序列控制器124向系統(tǒng)控制器104發(fā)送 通知指令。響應(yīng)于來自序列控制器124的通知指令，系統(tǒng)控制器104執(zhí)行 通知過程。通知過程可通過LED 109的發(fā)光、揚聲器IIO的音頻輸出或者 兩者來執(zhí)行。
圖23A和23B示出了成像單元102的發(fā)光樣式。圖23A示出了周期 性發(fā)光樣式，圖23B示出了連續(xù)發(fā)光樣式。如果通知過程是揚聲器IIO的 音頻輸出，則諸如"說cheese"或"笑一笑"之類的提示對象微笑的音頻 消息被輸出。
序列控制器124從步驟ST11返回到步驟ST3，以重復(fù)與上述相同的 過程。如果在步驟ST10中判定通知條件未得到滿足，序列控制器124則 立即返回到步驟ST3。
如上所述，圖1的數(shù)字靜態(tài)相機100根據(jù)檢測到的左眼和右眼的位置 來對臉部的位置、角度和大小進(jìn)行正規(guī)化，并利用正規(guī)化臉部圖像IM-3 的圖像信息來檢測微笑臉部。與利用未正規(guī)化的臉部圖像的圖像信息來檢 測微笑臉部的裝置相比，對微笑臉部的檢測準(zhǔn)確度得到了提高，并且用于 在某人微笑時自動拍攝他或她的自動拍攝操作的準(zhǔn)確度得到了提高。
圖1的數(shù)字靜態(tài)相機100利用正規(guī)化臉部圖像IM-3的圖像信息來判 定正規(guī)化過程是否已成功完成。如果正規(guī)化已成功完成，并且微笑臉部被 檢測到，數(shù)字靜態(tài)相機100則拍攝對象。臉部檢測器121所檢測到的臉部 圖像可能實際不是臉部圖像，臉部檢測器121所檢測到的臉部圖像可能不 是處于正臉位置的臉部圖像，或者眉毛可能被臉部屬性檢測器122檢測為 眼睛并被錯誤地正規(guī)化。在這種情況下，即使檢測到微笑臉部，也判定正
規(guī)化失敗。因此避免了無規(guī)律的拍攝操作。
在圖1的數(shù)字靜態(tài)相機100中，根據(jù)檢測到的左眼和右眼的位置被正
規(guī)化并被用于微笑臉部檢測的臉部圖像IM-3中的像素數(shù)目(48像素乘以 48像素)小于用于眼睛檢測的正規(guī)化臉部圖像IM-2的像素數(shù)目(80像素 乘以80像素)。節(jié)約了用于微笑臉部檢測的存儲器的量，從而實現(xiàn)了高 速處理。正規(guī)化臉部圖像IM-2需要具有預(yù)定數(shù)目或更多的像素(預(yù)定分 辨率)以便準(zhǔn)確地檢測眼睛的位置。另一方面，正規(guī)化臉部圖像IM-3被 用于檢測跨整個臉部的一般特征(正規(guī)化判定得分和微笑得分)，較小數(shù) 目的像素仍能令人滿意地工作。
對微笑臉部的檢測可能使得圖1的數(shù)字靜態(tài)相機100執(zhí)行拍攝操作。 在這種情況下，只要微笑臉部的條件得到滿足，就可以通知對象數(shù)字靜態(tài) 相機100準(zhǔn)備好執(zhí)行拍攝操作。此通知是通過使LED 109發(fā)光或使揚聲器 110輸出音頻輸出來執(zhí)行的。從而提示對象微笑。從而順利地執(zhí)行了自動 拍攝操作。
根據(jù)上述實施例，從捕捉到的圖像中檢測的特定圖像是臉部圖像。本 發(fā)明可應(yīng)用到從捕捉的圖像檢測非臉部圖像并且在非臉部圖像滿足預(yù)定條 件的情況下自動執(zhí)行拍攝操作的成像裝置。
根據(jù)上述實施例，從臉部圖像中檢測的特定表情是微笑臉部?；蛘?， 特定表情可以包括哭泣的臉部和憤怒的臉部。
根據(jù)上述實施例，從臉部圖像中檢測的臉部特征是眼睛。臉部特征不 限于眼睛，例如包括鼻子和耳朵。
根據(jù)上述實施例，對正規(guī)化臉部圖像IM-2執(zhí)行正規(guī)化過程(仿射變 換)，以便檢測到的左眼和右眼的位置是預(yù)定的坐標(biāo)。從而得到了使臉部 的位置、角度和大小都被正規(guī)化的正規(guī)化臉部圖像IM-3。如果獲得使臉部 的位置、角度和大小中的至少一個被正規(guī)化的正規(guī)化圖像，就足夠了。
根據(jù)上述實施例，即使左眼和右眼尚未被成功檢測到，序列控制器 124也在步驟ST44中在左眼和右眼位于預(yù)定位置的假定下執(zhí)行正規(guī)化過程 (仿射變換)，然后執(zhí)行圖11的圖像屬性檢測過程中的步驟ST45和步驟 ST46中的過程步驟。如果未檢測到左眼和右眼，則可以跳過步驟ST44至ST46,因為步驟ST44至ST46變得沒有意義了 。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計要求和其他因素，可以進(jìn)行 各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物 的范圍之內(nèi)。
本發(fā)明包含與2007年8月14日向日本專利局提交的日本專利申請JP 2007-211199相關(guān)的主題，這里通過引用將該申請的全部內(nèi)容并入。
權(quán)利要求
1.一種用于處理圖像的圖像處理裝置，包括臉部檢測器，用于基于從成像單元提供來的捕捉到的圖像的圖像信息，來檢測所述捕捉到的圖像中包含的對象的臉部圖像；臉部特征檢測器，用于基于由所述臉部檢測器檢測到的臉部圖像的圖像信息，來檢測所述臉部圖像中包含的臉部特征；正規(guī)化器，用于基于由所述臉部特征檢測器檢測到的臉部特征的檢測位置來對由所述臉部檢測器檢測到的臉部圖像進(jìn)行正規(guī)化，并且生成正規(guī)化臉部圖像；以及臉部表情檢測器，用于基于由所述正規(guī)化器生成的正規(guī)化臉部圖像的圖像信息，來檢測所述臉部圖像中包含的臉部表情。
2. 如權(quán)利要求1所述的圖像處理裝置，還包括拍攝控制器，用于響應(yīng) 于由所述臉部表情檢測器檢測到的臉部表情，來指示所述成像單元執(zhí)行拍 攝操作。
3. 如權(quán)利要求2所述的圖像處理裝置，還包括正規(guī)化判定單元，用于 基于由所述正規(guī)化器生成的正規(guī)化臉部圖像的圖像信息，來判定所述臉部 圖像的正規(guī)化操作是否已成功完成，其中，如果所述正規(guī)化判定單元判定所述臉部圖像的正規(guī)化操作已成 功完成，則所述拍攝控制器指示所述成像單元執(zhí)行所述拍攝操作。
4. 如權(quán)利要求1所述的圖像處理裝置，其中所述正規(guī)化器就所述臉部 的位置、所述臉部的角度和所述臉部的大小中的至少一個來對所述臉部圖 像進(jìn)行正規(guī)化。
5. 如權(quán)利要求1所述的圖像處理裝置，其中要被所述臉部特征檢測器 檢測的臉部特征是所述對象的眼睛。
6. 如權(quán)利要求1所述的圖像處理裝置，其中由所述正規(guī)化器生成的正 規(guī)化臉部圖像中的像素數(shù)目小于所述臉部圖像在正規(guī)化操作之前的像素數(shù) 目。
7. 如權(quán)利要求1所述的圖像處理裝置，其中要被所述臉部表情檢測器檢測的臉部表情是微笑臉部。
8. 如權(quán)利要求1所述的圖像處理裝置，還包括通知器，用于在所述臉 部表情檢測器未檢測到所述臉部表情的情況下，通知所述對象拍攝操作 是在所述對象的臉部變化到所述臉部表情時執(zhí)行的。
9. 如權(quán)利要求1所述的圖像處理裝置，還包括所述成像單元，用于捕 捉所述對象的圖像和獲取捕捉到的所述對象的圖像的圖像信息。
10. —種用于處理圖像的圖像處理方法，包括以下步驟 基于從成像單元提供來的捕捉到的圖像的圖像信息，來檢測捕捉到的圖像中包含的對象的臉部的圖像，基于檢測到的臉部圖像的圖像信息，來檢測所述臉部圖像中包含的臉 部特征；基于檢測到的臉部特征的檢測位置來對檢測到的臉部圖像進(jìn)行正規(guī) 化，并且生成正規(guī)化臉部圖像；以及基于所生成的正規(guī)化臉部圖像的圖像信息，來檢測所述臉部圖像中包 含的臉部表情。
全文摘要
本發(fā)明提供了成像裝置、成像方法和計算機程序。一種用于處理圖像的圖像處理裝置，包括臉部檢測器，用于基于從成像單元提供來的捕捉到的圖像的圖像信息，來檢測捕捉到的圖像中包含的對象的臉部的圖像；臉部特征檢測器，用于基于由臉部檢測器檢測到的臉部圖像的圖像信息，來檢測臉部圖像中包含的臉部特征；正規(guī)化器，用于基于由臉部特征檢測器檢測到的臉部特征的檢測位置來對由臉部檢測器檢測到的臉部圖像進(jìn)行正規(guī)化，并且生成正規(guī)化臉部圖像；以及臉部表情檢測器，用于基于由正規(guī)化器生成的正規(guī)化臉部圖像的圖像信息，來檢測臉部圖像中包含的臉部表情。
文檔編號H04N5/232GK101369307SQ20081014628
公開日2009年2月18日 申請日期2008年8月14日 優(yōu)先權(quán)日2007年8月14日
發(fā)明者小川要 申請人:索尼株式會社