專利名稱:圖像存儲(chǔ)設(shè)備、成像設(shè)備、圖像存儲(chǔ)方法及程序的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖4象存儲(chǔ)設(shè)備。更具體地,本發(fā)明涉及其上記錄有 目標(biāo)圖像的圖像存儲(chǔ)設(shè)備、用于對(duì)目標(biāo)進(jìn)行成像的成像設(shè)備、用于 圖像存儲(chǔ)設(shè)備或成像設(shè)備的處理方法以及用于使計(jì)算機(jī)執(zhí)行該處 理方法的禾呈序。
背景技術(shù):
近年來(lái),隨著面部識(shí)別4支術(shù)和面部表情識(shí)別4支術(shù)的發(fā)展,已經(jīng) 可以識(shí)別目標(biāo)是人臉還是一種人臉的面部表情。這里,面部識(shí)別是 指確定目標(biāo)的圖像數(shù)據(jù)是否與包括眼睛、鼻子、嘴巴等的面部圖像 數(shù)據(jù)相匹配。面部表情識(shí)別是指分析與表示諸如笑臉、哭臉、或怒 臉的面部表情的圖像數(shù)據(jù)相匹配的程度。面部識(shí)別和面部表情識(shí)別 通過(guò)計(jì)算才幾預(yù)先邗i定處理,并且還^皮用在成像設(shè)備中。
例如,通過(guò)在日本未審查專利乂>開(kāi)申請(qǐng)第2001-51338號(hào)中4皮露 的^f象才幾(圖l),當(dāng)在預(yù)定方向上,見(jiàn)看面部時(shí),可以識(shí)別目標(biāo)的面部 方向,并記錄目標(biāo)的圖傳4t據(jù)。
發(fā)明內(nèi)容
然而,根據(jù)相關(guān)技術(shù),從目標(biāo)的圖像數(shù)據(jù)與特定面部表情的圖 像數(shù)據(jù)相匹配的時(shí)間點(diǎn)處開(kāi)始圖像記錄。因此,面部表情的匹配定 時(shí)與記錄的結(jié)束定時(shí)不同。即,成像定時(shí)被延遲,使得沒(méi)有記錄用 戶所期望的面部表情。因此,大概很難記錄諸如大笑的瞬時(shí)面部表 情的圖像。
期望可以估計(jì)時(shí)變圖像數(shù)據(jù)的改變并記錄用戶想要的圖像。
根據(jù)本發(fā)明的實(shí)施例,提供了一種圖像存儲(chǔ)設(shè)備,包括面部 表情相關(guān)性估計(jì)裝置,用于估計(jì)表示面部圖像中的面部表情和預(yù)定 參考面部表情之間的相關(guān)程度的面部表情相關(guān)性,該面部圖像包括 在時(shí)變圖像數(shù)據(jù)中;面部表情估計(jì)裝置,用于通過(guò)基于面部表情相 關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)面部圖像中的面部表情和預(yù)定參考面 部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制 裝置,用于4丸行控制,使得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行4企測(cè) 開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)。因此,在圖像存儲(chǔ)設(shè)備中,基于面 部圖l象的面部表情相關(guān)性的轉(zhuǎn)變估計(jì)預(yù)定期間內(nèi)面部表情的改變, 并基于估計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保存預(yù)定期間內(nèi)的圖像數(shù)據(jù)。
在圖像存儲(chǔ)設(shè)備中,當(dāng)面部表情相關(guān)性超過(guò)預(yù)定程度時(shí),面部 表情估計(jì)裝置可檢測(cè)到面部圖像中的面部表情和預(yù)定參考面部表 情具有預(yù)定的相關(guān)關(guān)系。在這種情況下,基于面部表情相關(guān)性關(guān)于 預(yù)定程度的轉(zhuǎn)變來(lái)估計(jì)面部表情。
可選地,在圖像存儲(chǔ)設(shè)備中,當(dāng)面部表情相關(guān)性的改變梯度超 過(guò)預(yù)定值并且面部表情相關(guān)性超過(guò)預(yù)定程度時(shí),面部表情估計(jì)裝置 可檢測(cè)到面部圖像中的面部表情和預(yù)定參考面部表情具有預(yù)定的
相關(guān)關(guān)系。在這種情況下,基于面部表情相關(guān)性關(guān)于預(yù)定程度和改 變梯度的轉(zhuǎn)變來(lái)估計(jì)面部表情。
在圖像存儲(chǔ)設(shè)備中,圖像存儲(chǔ)控制裝置可使從進(jìn)行;f企測(cè)開(kāi)始的 預(yù)定期間內(nèi)的圖像數(shù)據(jù)存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)裝置中。因此,基于面 部表情估計(jì)將預(yù)定期間內(nèi)的圖像數(shù)據(jù)存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)裝置中。
此外,在圖像存儲(chǔ)設(shè)備中,圖像存儲(chǔ)控制裝置可使圖像數(shù)據(jù)存 儲(chǔ)裝置執(zhí)行更新,使得存儲(chǔ)新的圖像數(shù)據(jù),并在從進(jìn)行檢測(cè)開(kāi)始經(jīng) 過(guò)預(yù)定期間之后使圖像數(shù)據(jù)存儲(chǔ)裝置停止更新。在這種情況下,控 制圖像數(shù)據(jù)的存儲(chǔ),使得在順序存儲(chǔ)新的圖像數(shù)據(jù)并廢除最先前的 圖像數(shù)據(jù)的處理中,更新圖像數(shù)據(jù)存儲(chǔ)裝置中的圖像數(shù)據(jù),并在預(yù) 定期間后4f止更新。
此外,在圖像存儲(chǔ)設(shè)備中,圖像存儲(chǔ)控制裝置可執(zhí)行控制,使 得/人進(jìn)行沖全測(cè)開(kāi)始在預(yù)定期間內(nèi)的多個(gè)圖像數(shù)據(jù)被保留在圖傳_數(shù) 據(jù)存儲(chǔ)裝置中。在這種情況下,基于面部表情估計(jì),在圖像數(shù)據(jù)存 儲(chǔ)裝置中保留預(yù)定期間內(nèi)的多個(gè)圖像數(shù)據(jù)。
圖像存儲(chǔ)設(shè)備可進(jìn)一步包括用于將圖像數(shù)據(jù)存儲(chǔ)為運(yùn)動(dòng)圖片 數(shù)據(jù)的運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置,并且圖像存儲(chǔ)控制裝置可使從進(jìn)行 才會(huì)測(cè)開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)從運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置保存 到圖像數(shù)據(jù)存儲(chǔ)裝置。在這種情況下,雖然將圖像數(shù)據(jù)存儲(chǔ)為運(yùn)動(dòng) 圖片數(shù)據(jù),但基于面部表情估計(jì),將預(yù)定期間內(nèi)的運(yùn)動(dòng)圖片數(shù)據(jù)從 運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置保存到圖像數(shù)據(jù)存儲(chǔ)裝置。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例,提供了 一種圖像存儲(chǔ)設(shè)備,包括 面部圖像檢測(cè)裝置,用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的面部圖像; 面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示4企測(cè)的面部圖l象中的面部 表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性;面部 表情估計(jì)裝置,用于通過(guò)基于面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái) 檢測(cè)期望面部圖像中的面部表情和預(yù)定參考面部表情在預(yù)定期間
內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控
制,4吏得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行檢測(cè)開(kāi)始的預(yù)定期間內(nèi) 的圖像數(shù)據(jù)。因此,在圖像存儲(chǔ)設(shè)備中,基于所檢測(cè)的面部圖像的
面部表情相關(guān)性的轉(zhuǎn)變估計(jì)預(yù)定期間內(nèi)面部表情的改變,并基于估 計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保存預(yù)定期間內(nèi)的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例,提供了一種圖像存儲(chǔ)設(shè)備,包括 面部圖像檢測(cè)裝置,用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的多個(gè)面部圖 像;面部準(zhǔn)確度評(píng)估裝置,用于評(píng)估所檢測(cè)的多個(gè)面部圖像的面部
準(zhǔn)確度;面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示預(yù)定參考面部表
情和在多個(gè)面部圖Y象的面部準(zhǔn)確度中具有最高面部準(zhǔn)確度的面部
圖像中的面部表情之間的相關(guān)程度的面部表情相關(guān)性;面部表情估 計(jì)裝置,用于通過(guò)基于面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)^f全測(cè)期 望預(yù)定參考面部表情和具有最高面部準(zhǔn)確度的面部圖^象中的面部 表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制裝 置,用于執(zhí)行控制,使得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行檢測(cè)開(kāi) 始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)。因此,在圖像存儲(chǔ)設(shè)備中,基于具有 最高面部準(zhǔn)確度的面部圖像的面部表情相關(guān)性的轉(zhuǎn)變來(lái)估計(jì)預(yù)定 期間內(nèi)面部表情的改變,并基于估計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保留預(yù) 定期間內(nèi)的圖4象數(shù)據(jù)。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例,提供了 一種圖像存儲(chǔ)設(shè)備,包括 面部圖像檢測(cè)裝置,用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的多個(gè)面部勾 像;選擇接收裝置,用于接收所檢測(cè)的多個(gè)面部圖像中將被用于估 計(jì)的面部圖像的選擇;面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示所 選才奪的面部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程 度的面部表情相關(guān)性;面部表情估計(jì)裝置,用于通過(guò)基于面部表情
相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)期望所選擇的面部圖像中的面部表 情和預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以 及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制,使得在圖像數(shù)據(jù)存儲(chǔ)裝置中 保留從進(jìn)行檢測(cè)開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)。因此,在圖像存儲(chǔ) 設(shè)備中,基于所選擇的面部圖像的面部表情相關(guān)的轉(zhuǎn)變來(lái)估計(jì)預(yù)定 期間中面部表情的改變,并基于估計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保留預(yù) 定期間內(nèi)的圖像數(shù)據(jù)。
才艮據(jù)本發(fā)明的另一個(gè)實(shí)施例,4是供了一種成像設(shè)備,包括成 像裝置,用于對(duì)時(shí)變目標(biāo)進(jìn)行成像并輸出相應(yīng)的圖像數(shù)據(jù);面部表 情相關(guān)性估計(jì)裝置,用于估計(jì)表示包括在圖像數(shù)據(jù)中的面部圖像的
面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性;
面部表情估計(jì)裝置,用于通過(guò)基于面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估 計(jì),沖全測(cè)面部圖^f象中的面部表情和預(yù)定參考面部表情在預(yù)定期間內(nèi)
具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制, 使得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行檢測(cè)開(kāi)始在預(yù)定期間內(nèi)的 圖像數(shù)據(jù)。因此,在圖像存儲(chǔ)設(shè)備中,基于所拍攝的面部圖像的面 部表情相關(guān)性的轉(zhuǎn)變來(lái)估計(jì)預(yù)定期間內(nèi)面部表情的改變,并基于估 計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保留預(yù)定期間內(nèi)的圖像數(shù)據(jù)。
沖艮據(jù)本發(fā)明的這些實(shí)施例,可以有利地估計(jì)時(shí)變圖像數(shù)據(jù)中的 改變并記錄用戶想要的圖4象。
圖1是示出根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的功能結(jié)構(gòu)實(shí)例的示
圖2是示出實(shí)施例中面部檢測(cè)器的功能結(jié)構(gòu)實(shí)例的示圖; 圖3是示出實(shí)施例中面部表情檢測(cè)器的功能結(jié)構(gòu)實(shí)例的示圖4是示出該實(shí)施例中顯示的屏幕實(shí)例的示圖5是示出該實(shí)施例中顯示的屏幕的另一實(shí)例的示圖6是示出該實(shí)施例中顯示的屏幕的又一實(shí)例的示圖7是示出該實(shí)施例中面部表情相關(guān)性的轉(zhuǎn)變實(shí)例的示圖8是示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線 實(shí)例的曲線圖9是示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線 的另一實(shí)例的曲線圖10是示出根據(jù)實(shí)施例修改的圖像存儲(chǔ)設(shè)備的實(shí)例的示圖11是示出通過(guò)根據(jù)實(shí)施例的成像設(shè)備的計(jì)算機(jī)執(zhí)行的處理 (主程序)的實(shí)例的流程圖12是示出該實(shí)施例中面部檢測(cè)過(guò)程的流程圖13是示出該實(shí)施例中目標(biāo)選^奪過(guò)程的流程圖14是示出該實(shí)施例中面部表情檢測(cè)和評(píng)估過(guò)程的流程圖15是示出該實(shí)施例中成4象處理過(guò)程的流程圖16是示出該實(shí)施例中規(guī)則成像過(guò)程的流程圖17是示出該實(shí)施例中成像和保存過(guò)程的流程圖;以及
圖18是示出通過(guò)根據(jù)實(shí)施例修改的圖像存儲(chǔ)設(shè)備的計(jì)算機(jī)執(zhí) 行的處理(主程序)的實(shí)例的流程圖。
具體實(shí)施例方式
接下來(lái),將參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明實(shí)施例的成像設(shè)備100的功能結(jié)構(gòu)實(shí)例 的示圖。成^f象i殳備100包4舌成^f象單元110、信號(hào)處理器120、總線 130、圖像存儲(chǔ)單元140、控制器150、數(shù)據(jù)存儲(chǔ)器160、用戶界面 170、圖^^壓縮擴(kuò)展器180、圖像保存單元190、面部4全測(cè)器200、 面部準(zhǔn)確度評(píng)估器290、面部表情檢測(cè)器300、以及面部表情估計(jì) 器390。
成像單元110拍攝目標(biāo)圖像并輸出相應(yīng)的圖像數(shù)據(jù)。成像單元 110包4舌光學(xué)系統(tǒng)111和成4象元件112。光學(xué)系統(tǒng)111包4舌卞者如聚焦 透鏡和變焦透鏡的透鏡組,使得由目標(biāo)反射的光線穿過(guò)透鏡組。已 經(jīng)穿過(guò)透4竟組的入射光到達(dá)成^象元件112。入射光在成^f象元件112 上形成圖像,并且成像元件112將圖像轉(zhuǎn)換成電信號(hào)。將電信號(hào)輸 出至信號(hào)處理器120。
信號(hào)處理器120對(duì)從成像元件112輸出的電信號(hào)才丸行各種類型 的信號(hào)處理,并將得到的圖傳_數(shù)據(jù)纟是供給成像設(shè)備100的各個(gè)部件。 例如,在信號(hào)處理器120中才丸行的信號(hào)處理包括降噪、水平4交正、 模數(shù)(A/D)轉(zhuǎn)換、以及顏色校正。更具體地,將圖像數(shù)據(jù)提供給 圖像存儲(chǔ)單元140、面部檢測(cè)器200、用戶界面170、以及圖像壓縮 擴(kuò)展器180。根據(jù)從控制器150提供的控制信號(hào)控制在信號(hào)處理器 120中扭Z亍的處理。
總線130是用于圖像數(shù)據(jù)傳輸?shù)墓蚕韨鬏斅窂?。總線130將信 號(hào)處理器120、圖1象存儲(chǔ)單元140、圖4象壓縮擴(kuò)展器180、面部才企測(cè) 器200、以及面部表情檢測(cè)器300互相連接。
圖像存儲(chǔ)單元140存儲(chǔ)被成像設(shè)備100處理的圖像數(shù)據(jù)。可經(jīng) 由總線130 ,人信號(hào)處理器120、圖^f象壓縮擴(kuò)展器180、面部才全測(cè)器 200、面部表情檢測(cè)器300、以及用戶界面170訪問(wèn)存儲(chǔ)在圖像存儲(chǔ) 單元140中的圖傳4t據(jù)。
圖像壓縮擴(kuò)展器180對(duì)從成像設(shè)備100的部件提供的圖像數(shù)據(jù) 進(jìn)行壓縮并將壓縮圖j象數(shù)據(jù)l是供給圖像保存單元190,以及擴(kuò)展從 圖像保存單元190提供的圖像數(shù)據(jù)并將擴(kuò)展圖像數(shù)據(jù)提供給成像設(shè) 備100的部件。例如,圖像壓縮擴(kuò)展器180的壓縮可以是JPEG (聯(lián) 合圖^象專家組)壓縮。
圖像保存單元190保存從圖像壓縮擴(kuò)展器180提供的壓縮圖像 數(shù)據(jù)??赏ㄟ^(guò)圖像壓縮擴(kuò)展器180擴(kuò)展保存在圖像保存單元190中 的壓縮圖像數(shù)據(jù)。
面部檢測(cè)器200根據(jù)圖像數(shù)據(jù)檢測(cè)面部圖像。面部檢測(cè)器200 乂人信號(hào)處理器120、圖^f象存卩諸單元140、或圖像壓縮擴(kuò)展器180 4妻 收將從中檢測(cè)面部圖像的圖像數(shù)據(jù)。在檢測(cè)面部圖像的過(guò)程中,面 部檢測(cè)器200基于包括在圖像數(shù)據(jù)中的面部圖像的估計(jì)元素(例如, 大小、坐標(biāo)值、匹配程度、正面度、及垂直度)的組合通過(guò)綜合觀 點(diǎn)來(lái)估計(jì)面部準(zhǔn)確度。通過(guò)從控制器15(M是供的系H將估計(jì)元素加 權(quán)。通過(guò)面部檢測(cè)器200所估計(jì)的面部準(zhǔn)確度被提供至控制器150。
面部準(zhǔn)確度評(píng)估器2卯評(píng)估通過(guò)面部4全測(cè)器200計(jì)算的面部準(zhǔn) 確度。通過(guò)面部準(zhǔn)確度的評(píng)估,確定例如哪個(gè)面部圖像具有最高面
部準(zhǔn)確度。面部準(zhǔn)確度評(píng)估器2卯從控制器150接收將被評(píng)估的面
部準(zhǔn)確度,并將面部準(zhǔn)確度的評(píng)估結(jié)果提供給控制器150。
用戶界面170用作成^f象設(shè)備100的用戶的界面。用戶界面170 包括顯示器171和選4奪接收單元172。
顯示器171顯示與/人信號(hào)處理器120或圖^f象壓縮擴(kuò)展器180才是 供的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像。此外,根據(jù)面部準(zhǔn)確度評(píng)估器290的 評(píng)估結(jié)果,顯示器171以疊加在面部圖〗象上的方式顯示表示面部圖 爿像位置的框。例如,當(dāng)存在多個(gè)面部圖像時(shí),顯示器171顯示具有 最高面部準(zhǔn)確度的面部圖l象的框,使得該框在碎見(jiàn)覺(jué)上^^皮加亮,同時(shí) 正常顯示其它框。
選擇4妻收單元172 乂人顯示在顯示器171上的面部圖^f象4妄"欠表示 面部圖l象的用戶選沖奪的指示l俞入。例如,當(dāng)多個(gè)圖4象#皮顯示在顯示 器171上時(shí),用戶可通過(guò)移動(dòng)疊加框來(lái)選4奪任意一個(gè)面部圖〗象。將 選擇結(jié)果提供給控制器150。
面部表情才企測(cè)器300基于從圖像存儲(chǔ)單元140提供的圖像數(shù)據(jù) (面部圖像已被檢測(cè)的圖像數(shù)據(jù))來(lái)檢測(cè)面部表情。通過(guò)從控制器 150提供的面部表情類型指定信息來(lái)指定將被檢測(cè)的面部表情的類 型。下面的描述處理將"笑"指定為面部表情類型指定信息的實(shí)例。 面部表情檢測(cè)器300將面部圖像與"笑,,的參考數(shù)據(jù)(參考面部表 情)進(jìn)行比較,以估計(jì)表示與參考面部表情的相關(guān)程度的面部表情 相關(guān)性。即,面部表情相關(guān)性隨著面部圖像變得與參考面部表情更 加相似而增大。將通過(guò)面部表情4全測(cè)器300估計(jì)的面部表情相關(guān)性 提供給控制器150。
面部表情估計(jì)器390基于通過(guò)面部表情4全測(cè)器300估計(jì)的面部 表情相關(guān)性來(lái)估計(jì)面部表情的時(shí)間變化?;诿娌勘砬橄嚓P(guān)性的轉(zhuǎn)
變,面部表情估計(jì)器390估計(jì)圖像數(shù)據(jù)中面部圖像的面部表情和參 考面部表情是否達(dá)到在預(yù)定期間內(nèi)具有特定相關(guān)程度。例如,面部
表情估計(jì)器390將面部表情相關(guān)性與參考面部表情閾值進(jìn)行比較, 如果面部表情相關(guān)性超過(guò)參考面部表情閾值,則確定圖像數(shù)據(jù)中面 部圖^f象的面部表情在預(yù)定期間內(nèi)變得接近于參考面部表情。
可選地,如果時(shí)間變化前后的面部表情相關(guān)性之間的差超過(guò)參 考面部表情差并且面部表情相關(guān)性超過(guò)參考面部表情閾4直,則面部 表情估計(jì)器390可確定圖像數(shù)據(jù)中面部圖像的面部表情在預(yù)定期間 內(nèi)接近于參考面部表情。
面部表情估計(jì)器390從控制器150接收用于面部表情估計(jì)的面 部表情相關(guān)性、參考面部表情閾值、以及參考面部表情差,并將上 述面部表情估計(jì)的結(jié)果提供給控制器150。
控制器150控制通過(guò)成像i殳備100中的成像單元110、信號(hào)處 理器120、圖像壓縮擴(kuò)展器180、面部檢測(cè)器200、面部表情檢測(cè)器 300、面部準(zhǔn)確度評(píng)估器290、以及面部表情估計(jì)器390執(zhí)行的處理。 為了這種控制,焦距值和光圏值、數(shù)據(jù)輸出目的地、壓縮/擴(kuò)展率、 用于計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)(面部檢測(cè)參數(shù))、面部表情類型 指定信息(面部表情檢測(cè)參數(shù))、將被評(píng)估的圖像數(shù)據(jù)、以及將被 估計(jì)的面部圖傳3皮分別用作將在成像i殳備100中的成〗象單元110、 信號(hào)處理器120、圖像壓縮擴(kuò)展器180、面部檢測(cè)器200、面部表情 ^r測(cè)器300、面部準(zhǔn)確度評(píng)估器290、以及面部表情估計(jì)器390中 被處理的參數(shù)或數(shù)據(jù)。因此,控制器150將這些參數(shù)提供給上述部 件。
首先,控制器150控制成像單元110的成i象。更具體地,控制 器150控制光學(xué)系統(tǒng)111的光圏和焦距。此外,控制器150控制由
信號(hào)處理器120執(zhí)行的信號(hào)處理,并指示圖像信號(hào)的輸出目的地。
此外,控制器150控制面部檢測(cè)器200的檢測(cè)和面部表情檢測(cè) 器300的檢測(cè)。為了這些檢測(cè),用于計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)和 面部表情類型指定信息被用作檢測(cè)參數(shù)。因此,控制器150將用于 計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)提供給面部檢測(cè)器200,并將面部表情 類型指定信息提供給面部表情檢測(cè)器300。此外,控制器150指示 面部4企測(cè)器200和面部表情4企測(cè)器300的檢測(cè)的開(kāi)始和停止??刂?器150從面部檢測(cè)器200和面部表情檢測(cè)器300接收表示檢測(cè)結(jié)果 的數(shù)據(jù)。對(duì)于檢測(cè)結(jié)果數(shù)據(jù),控制器150將來(lái)自面部檢測(cè)器200的 面部4全測(cè)結(jié)果數(shù)據(jù)(面部準(zhǔn)確度)提供給面部準(zhǔn)確度評(píng)估器290, 并將來(lái)自面部表情4企測(cè)器300的面部表情檢測(cè)結(jié)果^t據(jù)(面部表情 相關(guān)性)提供給面部表情估計(jì)器390。
此外,控制器150控制通過(guò)圖像壓縮擴(kuò)展器180執(zhí)行的保存在 圖像保存單元l卯中的圖像數(shù)據(jù)的壓縮和擴(kuò)展。
數(shù)據(jù)存儲(chǔ)器160保持用在成像i殳備100中的各種類型的凄t據(jù)。 保持在數(shù)據(jù)存儲(chǔ)器160中的數(shù)據(jù)可被大致分類為檢測(cè)結(jié)果數(shù)據(jù)和設(shè) 置參數(shù)。檢測(cè)結(jié)杲數(shù)據(jù)包括面部準(zhǔn)確度161和面部表情相關(guān)性162。 設(shè)置參數(shù)包括面部檢測(cè)模式163、參考差l64、參考閾值l65、連拍 (rapid-fire shooting )間P鬲166、及最大數(shù)167。
面部準(zhǔn)確度161是用于保持包括在圖像數(shù)據(jù)中的面部圖像的面 部準(zhǔn)確度的區(qū);或。通過(guò)面部4企測(cè)器200計(jì)算面部準(zhǔn)確度的值。
面部表情相關(guān)性162是用于保持與包括在圖像數(shù)據(jù)中的各個(gè)面 部圖像相關(guān)的面部表情相關(guān)性的區(qū)域。通過(guò)利用面部表情4企測(cè)器 300估計(jì)與參考面部表情的相關(guān)程度來(lái)獲得面部表情相關(guān)性的值。面部檢測(cè)模式163是用于保持表示是否將執(zhí)行面部檢測(cè)的面部
才企測(cè);漠式標(biāo)記的區(qū)域。當(dāng)面部檢測(cè)模式標(biāo)記表示將執(zhí)行面部才企測(cè) 時(shí),#4居圖像數(shù)據(jù);險(xiǎn)測(cè)面部圖像。
參考差164是用于保持由用戶設(shè)置的用作參考的差的區(qū)域。將 參考差與面部表情相關(guān)性的時(shí)間變化前后的面部表情相關(guān)性之間 的差進(jìn)行比較。參考差,皮稱作通過(guò)面部表情估計(jì)器390 4丸行的處理。
參考閾值165是用于保持由用戶設(shè)置的用作基準(zhǔn)的閾值的區(qū) 域。將閾值與面部表情相關(guān)性進(jìn)行比較,并被用在通過(guò)面部表情估 計(jì)器3卯執(zhí)行的處理中,以檢測(cè)與參考數(shù)據(jù)的相關(guān)性是否很高。
連拍間隔166是用于保持在連拍模式下拍攝定時(shí)與下一個(gè)拍攝 定時(shí)之間的時(shí)間間隔i殳置的區(qū)域。
最大數(shù)167是用于保持由用戶設(shè)置的作為在連拍模式中拍攝的 最大圖片^:的值的區(qū)域。
圖2是示出該實(shí)施例中的面部檢測(cè)器200的功能結(jié)構(gòu)實(shí)例的示 圖。面部檢測(cè)器200包括圖像信號(hào)輸入單元210、圖像放大/縮小單 元220、圖像存儲(chǔ)器230、參考數(shù)據(jù)存儲(chǔ)器240、估計(jì)器250、圖像 信號(hào)輸出單元260、控制器270、以及^^測(cè)結(jié)果輸出單元280。
圖像信號(hào)輸入單元210接收由成像設(shè)備100的部件提供(輸入) 的圖像數(shù)據(jù),并將圖像數(shù)據(jù)提供給圖像放大/縮小單元220。更具體 地,圖〗象信號(hào)輸入單元210 ,人信號(hào)處理器120、圖^象壓縮擴(kuò)展器180、 以及圖像存儲(chǔ)單元140接收?qǐng)D像數(shù)據(jù)。
圖像放大/縮小單元220放大或縮小與從圖像信號(hào)輸入單元210 提供的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像。圖像放大/縮小單元220執(zhí)行放大或
縮小,使得包括在圖像數(shù)據(jù)中的各種大小的面部圖像被放大或縮'J、
至預(yù)定大小。圖像放大/縮小單元220從控制器270接收用于放大或 縮小的放大率或縮小率的值。將已經(jīng)經(jīng)受圖像放大/縮小單元220的 放大或縮小的圖像數(shù)據(jù)提供給圖像存儲(chǔ)器230 。
圖像存儲(chǔ)器230臨時(shí)保持從圖像放大/縮小單元220提供的圖像 數(shù)據(jù)。圖像存儲(chǔ)器230從控制器270接收?qǐng)D像數(shù)據(jù)將被保持在圖像 存儲(chǔ)器230中的地址。將保持在圖像存儲(chǔ)器230中的圖像數(shù)據(jù)提供 給估計(jì)器250和圖像信號(hào)輸入單元260。
參考數(shù)據(jù)存儲(chǔ)器240預(yù)先保持面部參考數(shù)據(jù),并將面部參考數(shù) 據(jù)提供給估計(jì)器250。面部參考數(shù)據(jù)用于估計(jì)器250執(zhí)行的面部準(zhǔn) 確度的估計(jì)。面部參考數(shù)據(jù)的面部大小被固定,使得當(dāng)估計(jì)面部準(zhǔn) 確度時(shí),從將與面部參考數(shù)據(jù)進(jìn)行比較的圖像數(shù)據(jù)中提取出與面部 參考數(shù)據(jù)的面部大小相對(duì)應(yīng)的圖像數(shù)據(jù)。
估計(jì)器250基于從圖像存儲(chǔ)器230提供的圖像數(shù)據(jù)估計(jì)面部準(zhǔn) 確度。為了面部準(zhǔn)確度的估計(jì),4吏用面部參考數(shù)據(jù)和用于計(jì)算面部 準(zhǔn)確度的加權(quán)系數(shù)。因此,估計(jì)器250分別從參考數(shù)據(jù)存儲(chǔ)器240 和控制器270接收面部參考數(shù)據(jù)和加權(quán)系數(shù)。估計(jì)器250從提供至 其的圖像數(shù)據(jù)中提取出預(yù)定大小的圖像數(shù)據(jù),使得圖像數(shù)據(jù)的面部 大小與面部參考lt據(jù)的面部大d、一致。
現(xiàn)在,將描述面部準(zhǔn)確度的估計(jì)。通過(guò)使用估計(jì)元素組合的綜 合只見(jiàn)點(diǎn)來(lái)估計(jì)面部準(zhǔn)確度。例如,估計(jì)元素包4舌大小、坐標(biāo)值、匹 配程度、正面度、以及垂直度。大小元素表示圖像數(shù)據(jù)的整個(gè)區(qū)域 中面部區(qū)域的大小。隨著大小的相對(duì)增加,面部準(zhǔn)確度相對(duì)增大。 坐標(biāo)值元素表示圖像數(shù)據(jù)的整個(gè)區(qū)域中面部的坐標(biāo)值。隨著由坐標(biāo) 值表示的位置更加接近中心,面部準(zhǔn)確度相對(duì)增大。匹配程度元素 表示關(guān)于面部參考數(shù)據(jù)確定的面部相似性。隨著匹配程度的相對(duì)增
加,面部準(zhǔn)確度相3于增大。正面度元素表示關(guān)于面部參考ft據(jù)確定 的面部正面度。隨著面部的方向更加向前,正面度相對(duì)增大,并且 面部準(zhǔn)確度也相應(yīng)地相對(duì)增大。垂直度元素表示關(guān)于面部參考凄t據(jù) 確定的面部的垂直度。隨著傾斜更接近于零,垂直度相對(duì)增大,并 且面部準(zhǔn)確度也相應(yīng)地相對(duì)增大。通過(guò)將這些元素乘以加權(quán)系數(shù)并
將結(jié)果相力口,可如期地^U亍面部才企測(cè)
面部準(zhǔn)確度
=(面禾口4又重)x (面部區(qū)i或大小^直)
+ (坐標(biāo)4又重)x (面部區(qū)^5戈的坐標(biāo)^f直)
+ (匹酉己一又f ) x (匹酉己禾呈K直)
+ (正面度—又重)x (正面度的^f直) +(垂直度權(quán)重)x (垂直度的值)
由控制器270提供用于各個(gè)估計(jì)元素的加權(quán)系數(shù)。將通過(guò)估計(jì) 器250計(jì)算的面部準(zhǔn)確度4是供給4全測(cè)結(jié)果輸出單元280。
圖像信號(hào)輸出單元260接收從圖像存儲(chǔ)器230提供的圖像數(shù) 據(jù),并將圖像數(shù)據(jù)提供(輸出)給圖像存儲(chǔ)單元140。類似于估計(jì) 器250,當(dāng)提供圖像數(shù)據(jù)時(shí),圖像信號(hào)輸出單元260提取出預(yù)定大 小的圖像數(shù)據(jù)。
控制器270控制由面部檢測(cè)器200中的圖像放大/縮小單元 220、圖像存儲(chǔ)器230、以及估計(jì)器250執(zhí)行的處理。為了這種控制, 在圖像放大/縮小單元220、圖^f象存儲(chǔ)器230、以及估計(jì)器250中分 別使用放大/縮小率、存儲(chǔ)地址、以及用于計(jì)算面部準(zhǔn)確度的加權(quán)系
數(shù)。因此,控制器270將這些參數(shù)提供給上述部件??刂破?70從 成像設(shè)備100的控制器150接收用于計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)。
才全測(cè)結(jié)果輸出單元280 4妻收從估計(jì)器250纟是供的面部準(zhǔn)確度, 并將面部準(zhǔn)確度提供(輸出)至成像設(shè)備100的控制器150。面部 準(zhǔn)確度凈皮保持在面部準(zhǔn)確度161中。
圖3是示出該實(shí)施例中的面部表情檢測(cè)器300的功能結(jié)構(gòu)實(shí)例 的示圖。面部表情檢測(cè)器300包括圖像信號(hào)輸入單元310、圖像放 大/縮小單元320、圖^象存儲(chǔ)器330、參考數(shù)據(jù)存儲(chǔ)器340、估計(jì)器 350、圖像信號(hào)輸出單元360、控制器370、及檢測(cè)結(jié)果輸出單元380。
圖像信號(hào)輸入單元310接收由成像設(shè)備100的部件提供(輸入) 的圖像數(shù)據(jù),并將圖像數(shù)據(jù)提供給圖像放大/縮小單元320。更具體 地,圖像信號(hào)輸入單元310從信號(hào)處理器120、圖像壓縮擴(kuò)展器180、 以及圖4象存儲(chǔ)單元140接收?qǐng)D像數(shù)據(jù)。
圖像放大/縮小單元320放大或縮小與從圖像信號(hào)輸入單元310 提供的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像。圖像放大/縮小單元320執(zhí)行放大或 縮小, -使得包括在圖像數(shù)據(jù)中的各種大小的面部圖像被方欠大或縮小 至預(yù)定大小。圖像放大/縮小單元320從控制器370接收用于放大或 縮小的放大率或縮小率的值。將已經(jīng)經(jīng)受圖像放大/縮小單元320的 放大或縮小的圖像數(shù)據(jù)提供給圖像存儲(chǔ)器330 。
圖像存儲(chǔ)器330臨時(shí)保持從圖像放大/縮小單元320提供的圖像 數(shù)據(jù)。圖4象存儲(chǔ)器330從控制器370接收?qǐng)D像數(shù)據(jù)將一皮保持在圖傳-存儲(chǔ)器330中的地址。將保持在圖像存儲(chǔ)器330中的圖像數(shù)據(jù)提供 》會(huì)估計(jì)器350和圖4象信號(hào)輸出單元360。
參考數(shù)據(jù)存儲(chǔ)器340預(yù)先保持面部表情參考數(shù)據(jù)(參考面部表 情),并將面部表情參考數(shù)據(jù)提供給估計(jì)器350。面部表情參考數(shù)據(jù)
被用于估計(jì)器350的面部表情相關(guān)性的估計(jì)。為每種面部表情類型
提供參考面部表情數(shù)據(jù)。面部表情參考數(shù)據(jù)的面部大小被固定,使 得當(dāng)估計(jì)面部表情相關(guān)性時(shí),從將與面部表情參考數(shù)據(jù)進(jìn)行比較的 圖像數(shù)據(jù)中提取出與面部表情參考數(shù)據(jù)的面部大小相對(duì)應(yīng)的圖像 數(shù)據(jù)。
估計(jì)器350基于從圖像存儲(chǔ)器330提供的圖像數(shù)據(jù)估計(jì)面部表 情相關(guān)性。為了面部表情相關(guān)性的估計(jì),使用面部表情參考數(shù)據(jù)和 面部表情類型指定信息。因此,估計(jì)器350分別從參考凄t據(jù)存儲(chǔ)器 340和控制器370接收這些參數(shù)。估計(jì)器350從-提供至其的圖<象數(shù) 據(jù)中4是耳又出預(yù)定大小的圖像數(shù)據(jù),使得圖像數(shù)據(jù)的面部大小與面部 表情參考數(shù)據(jù)的面部大d、一致。
現(xiàn)在,將描述面部表情相關(guān)性的估計(jì)。在面部表情相關(guān)性的估 計(jì)中,根據(jù)由面部表情類型指定信息指定的面部表情類型(例如, "笑"),將圖像數(shù)據(jù)中的面部圖像與面部表情參考數(shù)據(jù)(例如, "笑,,參考數(shù)據(jù))進(jìn)行比較,以估計(jì)與參考面部表情的相關(guān)程度作 為面部表情相關(guān)性。即,隨著面部圖像變得與面部表情參考數(shù)據(jù)更 加相似,面部表情相關(guān)性增大。從控制器370提供用于估計(jì)面部表 情相關(guān)性的面部表情類型指定信息。將通過(guò)估計(jì)器350估計(jì)的面部 表情相關(guān)性提供給檢測(cè)結(jié)果輸出單元380。
圖像信號(hào)輸出單元360接收從圖像存儲(chǔ)器330提供的圖像數(shù) 據(jù),并將圖像數(shù)據(jù)提供(輸出)至圖像存儲(chǔ)單元140。類似于估計(jì) 器350,當(dāng)提供圖像數(shù)據(jù)時(shí),圖像信號(hào)輸出單元360提取出預(yù)定大
小的圖像數(shù)據(jù)。 控制器370控制由面部表情檢測(cè)器300中的圖像放大/縮小單元
320、圖〗象存儲(chǔ)器330、以及估計(jì)器350 4丸行的處理。為了這個(gè)控制, 在圖像放大/縮小單元320、圖像存儲(chǔ)器330、以及估計(jì)器350中分 別使用放大/縮小率、存儲(chǔ)地址、以及面部表情類型指定信息。因此, 控制器370將這些參數(shù)提供至上述部件??刂破?70從成像設(shè)備100 的控制器150中接收面部表情類型指定信息。
檢測(cè)結(jié)果輸出單元380接收從估計(jì)器350提供的面部表情相關(guān) 性,并將面部表情相關(guān)性提供(輸出)至成像設(shè)備100的控制器150。 面部表情相關(guān)性被保持在面部表情相關(guān)性162中。
圖4是示出在該實(shí)施例中顯示的屏幕實(shí)例的示圖。通過(guò)成傳J殳 備100的用戶界面170中的顯示器171為用戶l是供屏幕。參照?qǐng)D4, 才艮據(jù)面部準(zhǔn)確度評(píng)估器290的評(píng)估結(jié)果,框被疊加在三個(gè)人物的面 部圖像上。更具體地,具有面部準(zhǔn)確度的最高評(píng)估的面部圖像的框 #見(jiàn)覺(jué)上#皮加亮,而正常顯示其它4醫(yī)。通過(guò)基于估計(jì)元素(例如,大 小、坐標(biāo)值、匹配程度、正面度、及垂直度)的組合的綜合觀點(diǎn)來(lái) 估計(jì)面部準(zhǔn)確度,4吏-得面部準(zhǔn)確度可#皮各個(gè)元素的纟又重所影響。然 而,可根據(jù)通過(guò)選擇接收單元172的用戶選擇改變哪個(gè)框被加亮。 屏幕包4舌左側(cè)人物401、正常^匡402、中間人物403、力口亮才匡404、 右側(cè)人物405 、以及正常沖匡406。
左側(cè)人物401《立于顯示區(qū)的左部,并且其臉部朝向側(cè)向。正常 框402被疊加在左側(cè)人物401的面部圖像上。正常框402表示左側(cè) 人物401的面部圖4象不是三個(gè)人物中具有面部準(zhǔn)確度的最高評(píng)估的
面部圖《象。
中間人物403位于顯示區(qū)的中間部分,并且其臉部朝向前方。 加亮框404 一皮疊加在中間人物403的面部圖<象上。加亮沖匡404表示 中間人物403的面部圖像是三個(gè)人物中具有面部準(zhǔn)確度的最高評(píng)估
的面部圖像。
右側(cè)人物405位于顯示區(qū)的右部,并且其臉部?jī)A斜。正常4匡406 被疊加在右側(cè)人物405的面部圖像上。正???06表示右側(cè)人物405 的面部圖像不是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估的面部圖像。
圖5是示出在該實(shí)施例中顯示的屏幕的另一個(gè)實(shí)例的示圖。通 過(guò)成^f象i殳備100的用戶界面170中的顯示器171為用戶4是供屏幕。 參照?qǐng)D5,類似于圖4所示的屏幕,根據(jù)面部準(zhǔn)確度評(píng)估器2卯的 評(píng)估結(jié)果,框被疊加在三個(gè)人物的面部圖像上。更具體地,具有面 部準(zhǔn)確度的最高評(píng)估的面部圖像的框視覺(jué)上被加亮,而正常顯示其 它框。然而,才艮據(jù)通過(guò)選拷4姿收單元172的用戶選4奪,可將加亮才匡 移動(dòng)至正??虻奈恢?。屏幕包括左側(cè)人物411、加亮框412、中間 人物413、正常沖匡414、右側(cè)人物415、以及正常才匡416。
在圖5中,顯示出元素加權(quán)的效果。更具體地,在面部準(zhǔn)確度 的估計(jì)中,盡管面部準(zhǔn)確度隨著由面部圖像的坐標(biāo)值表示的位置變 得更接近于中心而相對(duì)增大,但是可通過(guò)將很小的值設(shè)置為坐標(biāo)值 的加權(quán)系數(shù)來(lái)增大其它面部的面部準(zhǔn)確度。
左側(cè)人物411 #_于顯示區(qū)的左部,并且其臉部朝向前方。力口亮 才匡412萍皮疊力口在左側(cè)人物411的面部圖l象上。力a亮一匡412表示左傷、J 人物411的面部圖像是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估的面部 圖像。
中間人物413位于顯示區(qū)的中間部分,并且其臉部朝向側(cè)向。 正???14被疊加在中間人物413的面部圖像上。正???"表示 中間人物413的面部圖像不是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估 的面部圖4象。
右側(cè)人物415位于顯示區(qū)的右部,并且其臉部?jī)A斜。正???16
沭皮疊加在右側(cè)人物415的面部圖像上。正常框416表示右側(cè)人物415 的面部圖像不是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估的面部圖像。
圖6是示出在該實(shí)施例中顯示的屏幕的又一實(shí)例的示圖。通過(guò) 成像設(shè)備100的用戶界面170中的顯示器171為用戶提供屏幕。參 照?qǐng)D6,類似于圖4和5所示的屏幕,才艮據(jù)面部準(zhǔn)確度評(píng)估器290 的^H古結(jié)果,4匡纟皮疊加在大量人物的面部圖<象上。更具體i也,具有 面部準(zhǔn)確度的最高評(píng)估的面部圖像的框視覺(jué)上被加亮,而正常顯示 其它框。然而,根據(jù)通過(guò)選擇接收單元172的用戶選擇,可將加亮 框移動(dòng)至正??虻奈恢?。屏幕包括特定人物421和加亮框422。
在圖6中,顯示出加亮框的移動(dòng)效果。更具體地,盡管面部準(zhǔn) 確度隨著由面部圖像的坐標(biāo)值表示的位置變得更接近于中心而相
等),但是下面的描述"特定人物421的面部圖像在顯示區(qū)的人物 中具有面部準(zhǔn)確度的最高評(píng)估,,表示已被疊加在中間人物的面部圖 像上的加亮框422已經(jīng)根據(jù)用戶的選沖奪被移動(dòng)至特定人物421的面 部圖像。
特定人物421位于顯示區(qū)的下部。力。亮才匡422尋皮疊加在特定人 物421上。加亮框422表示特定人物421的面部圖像在顯示區(qū)的人 物中具有面部準(zhǔn)確度的最高評(píng)估。
圖7是示出該實(shí)施例中面部表情相關(guān)性轉(zhuǎn)變430的實(shí)例的示 圖。面部表情相關(guān)性轉(zhuǎn)變430示出在面部表情類型指定信息指定 "笑,,的情況下面部表情和面部表情相關(guān)性的改變的三個(gè)階段。面 部表形相關(guān)性轉(zhuǎn)變包括(a)嚴(yán)肅面部、(b)微笑面部、以及(c) 笑面部。
嚴(yán)肅面部(a)表示面部表情將^皮確定的面部。嚴(yán)肅面部(a) 的數(shù)據(jù)與"笑"的面部表情參考數(shù)據(jù)不同,使得面部表情相關(guān)性較 低。
微笑面部(b)表示面部表情將被確定的面部。微笑面部(b) 的數(shù)據(jù)更接近于"笑"的面部表情參考數(shù)據(jù),使得面部表情相關(guān)性 較高。
笑面部(c)表示面部表情將被確定的面部。笑面部(c)的數(shù)
據(jù)與"笑"的面部表情參考數(shù)據(jù)匹配,使得面部表情相關(guān)性顯示出 最大值。
圖8是示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線 實(shí)例的曲線圖。在面部表情相關(guān)性的時(shí)間變化的該實(shí)例中,示出了 連拍指示的定時(shí)和連拍的時(shí)間間隔。水平軸表示時(shí)間T,其中,由 tl ~ t5定義的時(shí)間間隔恒定。垂直軸表示面部表情相關(guān)性,其#1表 示為評(píng)估值E。此外,在垂直軸上,示出了評(píng)估閾值Eth和評(píng)估差A(yù) E。評(píng)估閾值Eth,皮用作估計(jì)面部表情的參考值。評(píng)估值el、 e4、和 e5對(duì)應(yīng)于圖7中的嚴(yán)肅面部(a)、微笑面部(b )、以及笑面部(c )。
現(xiàn)在,將基于這條曲線描述從面部表情的估計(jì)至圖像存儲(chǔ)的流 程。在時(shí)間tl-t5處分別由白點(diǎn)表示的評(píng)估值el-e5 4皮用作用于 估計(jì)面部表情的數(shù)據(jù)。時(shí)間tl處的評(píng)估值el改變至?xí)r間t2處的評(píng) 估值e2,然后改變至?xí)r間t3處的評(píng)估值e3。在這個(gè)改變期間,枱r 測(cè)出超過(guò)評(píng)估闊值Eth的評(píng)估值,并且以檢測(cè)作為觸發(fā),在時(shí)間t3 處發(fā)布連拍指示。連拍指示命令圖像的連續(xù)存儲(chǔ)。根據(jù)連拍指示, 存儲(chǔ)表示時(shí)間t4和時(shí)間t5附近的面部表情的圖l象。由黑點(diǎn)表示圖 像被存儲(chǔ)的定時(shí)。在該實(shí)例中,可被存儲(chǔ)的最大圖像數(shù)的設(shè)置為三 個(gè)。在成像設(shè)備100的圖像存儲(chǔ)單元140中存儲(chǔ)圖像。
可選地,可通過(guò)4企測(cè)時(shí)間tl處的評(píng)估值el和時(shí)間t2處的評(píng)估 值e2之間的差超過(guò)評(píng)估差A(yù)E并且時(shí)間t3處的評(píng)估值e3超過(guò)評(píng)估 閾值Eth的情況來(lái)觸發(fā)用于連拍的指示。在這種情況下,可將評(píng)估 閾值Eth選擇為相對(duì)小的值。
圖9示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線的 另一個(gè)實(shí)例的曲線圖。在該實(shí)例中,示出了用于4亭止更新的指示的 定時(shí)和連拍的時(shí)間間隔。曲線圖中的符號(hào)和軸名與圖8相同。
類似于參照?qǐng)D8所描述的情況來(lái)4丸4亍才艮據(jù)該曲線圖的面部表情 的估計(jì),但是存儲(chǔ)圖像的方法不同。參照?qǐng)D9,從時(shí)間tl之前的定 時(shí)開(kāi)始規(guī)則地存儲(chǔ)圖像,并且當(dāng)存儲(chǔ)圖像的數(shù)量已經(jīng)達(dá)到成像設(shè)備 100的圖像存儲(chǔ)單元140的最大存儲(chǔ)容量時(shí),執(zhí)行控制,使得從最 先存儲(chǔ)的圖像開(kāi)始順序廢除圖像并保留最近的圖像。該控制被稱作 圖4象更新。參照?qǐng)D9,作為圖8所示連拍指示的對(duì)應(yīng),在時(shí)間t3處 發(fā)布停止圖像更新的指示,使得根據(jù)停止指示保持表示時(shí)間t3之后 面部表情的圖像。由黑點(diǎn)表示圖像被存儲(chǔ)的定時(shí)。在該實(shí)例中,圖 像存儲(chǔ)單元140的最大存儲(chǔ)容量對(duì)應(yīng)于三段圖像數(shù)據(jù)。
圖10是示出作為該實(shí)施例的修改實(shí)例的圖像存儲(chǔ)設(shè)備600的 示圖。圖像存儲(chǔ)設(shè)備600包括像機(jī)單元610、存儲(chǔ)單元620、處理 單元630、 4空制器640、以及用戶界面650。
像才幾單元610拍4聶目標(biāo)圖4象并生成相應(yīng)的運(yùn)動(dòng)圖片數(shù)據(jù)。像才幾 單元610包括變焦透鏡611、光闌612、圖像傳感器613、以及A/D 轉(zhuǎn)換器614。變焦透鏡611是用于拍攝目標(biāo)圖像的透鏡組。變焦透 鏡611根據(jù)從控制器640提供的控制信號(hào),通過(guò)改變透鏡之間的距 離來(lái)連續(xù)改變其焦點(diǎn)深度(focal depth )。從目標(biāo)反射的光通過(guò)透鏡 組。類似于變焦透鏡611,光闌612根據(jù)從控制器640提供的控制 信號(hào)調(diào)節(jié)通過(guò)變焦透4竟611的光量。圖^f象傳感器613 4吏已經(jīng)通過(guò)變焦透鏡611和光闌612的入射光在其上形成圖像,并輸出目標(biāo)圖像 作為運(yùn)動(dòng)圖片數(shù)據(jù)。A/D轉(zhuǎn)換器614將由圖像傳感器613 ^是供的運(yùn) 動(dòng)圖片數(shù)據(jù)從模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。將通過(guò)像機(jī)單元610生成 的運(yùn)動(dòng)圖片數(shù)據(jù)提供給存儲(chǔ)單元620。
存儲(chǔ)單元620接收從像機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù),并才艮 據(jù)從控制器640提供的控制信號(hào)臨時(shí)存儲(chǔ)運(yùn)動(dòng)圖片數(shù)據(jù)。存儲(chǔ)單元 620包括接點(diǎn)621、存儲(chǔ)器622、以及切換接點(diǎn)623。通過(guò)控制器640 控制4妾點(diǎn)621和切換接點(diǎn)623的打開(kāi)和閉合,使得通過(guò)切換接點(diǎn)623 將由像機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)提供給處理單元630。此外, 當(dāng)閉合4妄點(diǎn)621時(shí),由4象才幾單元610沖是供的運(yùn)動(dòng)圖片凄史據(jù)一皮臨時(shí)存 儲(chǔ)在存儲(chǔ)器622中,隨后被提供給處理單元630。
接點(diǎn)621是根據(jù)從控制器640提供的控制信號(hào)而打開(kāi)或閉合的 電接點(diǎn)。當(dāng)接點(diǎn)621閉合時(shí),運(yùn)動(dòng)圖片數(shù)據(jù)被提供給存儲(chǔ)器622。 切換接點(diǎn)623是根據(jù)從控制器640提供的控制信號(hào)而被切換的電接 點(diǎn)。通過(guò)切換接點(diǎn)623的切換,從存儲(chǔ)器622提供的運(yùn)動(dòng)圖片數(shù)據(jù) 或從A/D轉(zhuǎn)換器614提供的運(yùn)動(dòng)圖片數(shù)據(jù)都被提供給處理單元630。
根據(jù)從控制器640提供的用于運(yùn)動(dòng)圖片記錄或靜止圖片記錄的 控制信號(hào),處理單元630對(duì)從存儲(chǔ)單元620提供的運(yùn)動(dòng)圖片婆t據(jù)才丸 行用于運(yùn)動(dòng)圖片記錄的圖像處理或用于靜止圖片記錄的圖像處理, 并相應(yīng)地將得到的圖像數(shù)據(jù)記錄為運(yùn)動(dòng)圖片或靜止圖片。不同時(shí)執(zhí) 行用于運(yùn)動(dòng)圖片記錄的圖像處理和用于靜止圖片記錄的圖像處理, 而是只扭J亍其中的一種。現(xiàn)在,將描述在處理單元630中/人用于運(yùn) 動(dòng)圖片記錄的圖像處理向用于靜止圖片記錄的圖像處理的切換實(shí) 例。
當(dāng)響應(yīng)于開(kāi)始運(yùn)動(dòng)圖片記錄的用戶指示開(kāi)始了運(yùn)動(dòng)圖片的記 錄時(shí),將AM象才幾單元610輸出的運(yùn)動(dòng)圖片凄t據(jù)從切換接點(diǎn)623 l是供
至處理單元630,而不通過(guò)存儲(chǔ)單元620的存儲(chǔ)器622。隨后,處 理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行用于運(yùn)動(dòng)圖片記錄的圖像處理。在 用于運(yùn)動(dòng)圖片記錄的圖像處理的同時(shí),處理單元630執(zhí)行面部檢測(cè) 和面部表情沖企測(cè)以估計(jì)面部表情。如果通過(guò)估計(jì)確定面部表十青變4尋 更接近于參考面部表情,則處理單元630將表示估計(jì)結(jié)果的信息提 供給控制器640。因此,控制器640控制存儲(chǔ)單元620,使得接點(diǎn) 621閉合。因此,從像機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)被臨時(shí)存儲(chǔ) 在存儲(chǔ)器622中。
此夕卜,當(dāng)響應(yīng)于用于停止運(yùn)動(dòng)圖片記錄的用戶指示停止了運(yùn)動(dòng) 圖片的記錄時(shí),將從面部表情的估計(jì)至運(yùn)動(dòng)圖片記錄結(jié)束期間內(nèi)存 儲(chǔ)在存儲(chǔ)器622中的運(yùn)動(dòng)圖片數(shù)據(jù)提供給處理單元630。處理單元 630對(duì)/人存4諸單元620的存4渚器622才是供的運(yùn)動(dòng)圖片凄t據(jù)寺丸4亍用于 靜止圖片記錄的圖像處理,并將得到的數(shù)據(jù)記錄為靜止圖片。通過(guò) 控制器640彼此獨(dú)立地控制接點(diǎn)621和切換接點(diǎn)623的打開(kāi)或閉合。 例如,基于開(kāi)始運(yùn)動(dòng)圖片記錄后的面部表情的估計(jì)來(lái)閉合接點(diǎn)621, 并將其在運(yùn)動(dòng)圖片記錄結(jié)束后打開(kāi)。才艮據(jù)在開(kāi)始運(yùn)動(dòng)圖片記錄時(shí)以 及在停止運(yùn)動(dòng)圖片記錄期間存儲(chǔ)器622中運(yùn)動(dòng)圖片凄1據(jù)的存在和不 存在來(lái)切換:切^^妄點(diǎn)623。
處理單元630包括像機(jī)信號(hào)處理電路635、運(yùn)動(dòng)圖片記錄單元 631、以及靜止圖片記錄單元632。像機(jī)信號(hào)處理電路635包括面部 檢測(cè)器200、面部準(zhǔn)確度評(píng)估器290、面部表情檢測(cè)器300、以及面 部表情估計(jì)器390。
像才幾信號(hào)處理單元635對(duì)從存儲(chǔ)單元620才是供的運(yùn)動(dòng)圖片數(shù)據(jù) 才丸行伽馬4交正、自動(dòng)增益控制(AGC)等,并且還4丸行預(yù)定的運(yùn)動(dòng) 圖片編碼(例如,MPEG (運(yùn)動(dòng)圖片專家組)編碼)。因此,例如, 運(yùn)動(dòng)圖片凄1據(jù)^皮編碼成與^:字一見(jiàn)頻(DV)標(biāo)準(zhǔn)兼容的才各式。這就 是用于運(yùn)動(dòng)圖片記錄的圖像處理,并且將經(jīng)過(guò)編碼的運(yùn)動(dòng)圖片數(shù)據(jù)
提供給運(yùn)動(dòng)圖片記錄單元631??蛇x地,代替上述處理,像才幾信號(hào) 處理電路635對(duì)從存儲(chǔ)單元620提供的運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行伽馬校 正、自動(dòng)增益控制等,并且還執(zhí)行預(yù)定的靜止圖片編碼。此外,像 機(jī)信號(hào)處理電路635執(zhí)行壓縮,使得例如運(yùn)動(dòng)圖片數(shù)據(jù)被編碼成與 JPEG (聯(lián)合圖片專家組)標(biāo)準(zhǔn)兼容的格式。這就是用于靜止圖片記 錄的圖像處理,并且將經(jīng)過(guò)編碼的靜止圖片數(shù)據(jù)4是供給靜止圖片記 錄單元632。
運(yùn)動(dòng)圖片記錄單元631是專用于編碼運(yùn)動(dòng)圖片數(shù)據(jù)的存儲(chǔ)介 質(zhì)。靜止圖片記錄單元632是專用于編碼靜止圖片數(shù)據(jù)的存儲(chǔ)介質(zhì)。 例如,這些介質(zhì)為存儲(chǔ)磁帶、數(shù)字通用盤(pán)(DVDs)、或硬盤(pán)。
用戶界面650為圖像存儲(chǔ)設(shè)備600的用戶才是供界面。用戶界面 650將來(lái)自用戶的指示提供給控制器640,并為用戶展示與從處理 單元630提供的運(yùn)動(dòng)圖片數(shù)據(jù)相對(duì)應(yīng)的圖像。用戶界面650包括靜 止圖片記錄按鈕651、運(yùn)動(dòng)圖片記錄開(kāi)始/停jM^鈕6S2、效果選擇 按鈕653、變焦開(kāi)關(guān)654、圖像質(zhì)量i殳置按鈕655、以及液晶面才反 656。
當(dāng)用戶發(fā)布用于記錄靜止圖片的指示時(shí),操作靜止圖片記錄按 鈕651。例如,在記錄運(yùn)動(dòng)圖片期間按下靜止圖片記錄按鈕651時(shí), 在處理單元630中用于運(yùn)動(dòng)圖片記錄的處理的同時(shí),將所拍4聶的圖 像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)單元620的存儲(chǔ)器622中。當(dāng)用于運(yùn)動(dòng)圖片 記錄的處理停止時(shí),對(duì)臨時(shí)存儲(chǔ)在存儲(chǔ)器622中的圖<象數(shù)據(jù)#1行靜 止圖片i己錄的處理。
當(dāng)用戶發(fā)布用于開(kāi)始或停止用于運(yùn)動(dòng)圖片記錄的圖像處理的 指示時(shí),操作運(yùn)動(dòng)圖片記錄開(kāi)始/停止按鈕652。當(dāng)首先按下運(yùn)動(dòng)圖 片記錄開(kāi)始/停止按鈕652時(shí),開(kāi)始用于運(yùn)動(dòng)圖片記錄的處理,并且
當(dāng)下一次按下運(yùn)動(dòng)圖片記錄開(kāi)始/停止4妄4丑652時(shí),停止運(yùn)動(dòng)圖片記錄。
當(dāng)用戶發(fā)布改變效果的請(qǐng)求時(shí),操作效果選擇按鈕653被。這 里,效果是指諸如"油畫(huà)感覺(jué)"或"舊照片感覺(jué)"的圖像顯示效果。
當(dāng)用戶發(fā)布用于改變焦點(diǎn)深度的指示時(shí),才喿作變焦開(kāi)關(guān)654。 用戶可通過(guò)4要下變焦開(kāi)關(guān)654如所期望i也改變變焦透4竟611的焦點(diǎn)深度。
當(dāng)用戶發(fā)布用于設(shè)置圖像質(zhì)量等級(jí)的請(qǐng)求時(shí),操作圖像質(zhì)量設(shè) 置按4丑655。例如,用戶了通過(guò)按下圖像質(zhì)量設(shè)置按4丑655在高質(zhì) 量、中質(zhì)量、以及低質(zhì)量中設(shè)置所期望的圖像質(zhì)量。
液晶面板656是液晶顯示器的顯示部。液晶面一反656為用戶展 示所顯示的圖像。例如,在記錄運(yùn)動(dòng)圖片期間,液晶面板656顯示 正在^皮記錄的運(yùn)動(dòng)圖片。
控制器640控制存儲(chǔ)單元620和處理單元630中的處理??刂?器640包括;徵型計(jì)算才幾641、透4竟驅(qū)動(dòng)器642、以及陀螺傳感器643。 樣吏型計(jì)算4幾641是包括中央處理單元和存4諸單元的小凄t據(jù)處理i殳 備。微型計(jì)算機(jī)641自動(dòng)執(zhí)行數(shù)據(jù)的輸入、計(jì)算、處理、以及輸出。 透鏡驅(qū)動(dòng)器642是控制變焦透鏡611和光闌612的軟件。陀螺傳感 器643測(cè)量成像期間的抖動(dòng)。
控制器640控制像機(jī)單元610的成像。更具體地,控制器640 改變變焦透鏡611的焦點(diǎn)深度,以改變?nèi)暗浇胺秶鷥?nèi)的成像區(qū), 并調(diào)節(jié)光闌612,以限制成像期間的入射光量。此外,控制器640 控制存儲(chǔ)單元620的存儲(chǔ)。更具體地,控制器640通過(guò)打開(kāi)或閉合
接點(diǎn)621和切換接點(diǎn)623來(lái)控制是否將從像機(jī)單元610才是供的運(yùn)動(dòng) 圖片數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器622中。
此外,控制器640控制處理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)的處理。 更具體地,控制器640將定義用于運(yùn)動(dòng)圖片記錄或靜止圖片記錄的 圖^象處理的參數(shù)提供給處理單元630。隨后,控制器640才艮據(jù)面部 表情估計(jì)器390的面部表情估計(jì)結(jié)果控制存儲(chǔ)單元620。因此,閉 合接點(diǎn)621 ,使得從l象機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)^皮存儲(chǔ)在存 <諸器622中。
此外,控制器640根據(jù)用戶界面650的操作接收指示,并根據(jù) 這些指示控制俜4幾單元610、存儲(chǔ)單元620、以及處理單元630。例 如,當(dāng),喿作變焦開(kāi)關(guān)654時(shí),控制器640控制像才幾單元610, <吏得 焦點(diǎn)深度被改變。當(dāng)操作靜止圖片記錄按鈕651時(shí),控制器640控 制存儲(chǔ)單元620,使得運(yùn)動(dòng)圖片數(shù)據(jù)被臨時(shí)存儲(chǔ),并將用于靜止圖 片記錄的圖像處理參tU是供給處理單元630。
控制器640基于來(lái)自陀螺傳感器643的輸入檢測(cè)成像期間的像 才幾4牛動(dòng)量。例如,傳4幾抖動(dòng)量用于計(jì)算適當(dāng)才交正已經(jīng)由于^象才幾4牛動(dòng) 而偏移的目標(biāo)位置的一交正量。
圖11是示出通過(guò)該實(shí)施例中的成像設(shè)備100的計(jì)算機(jī)執(zhí)行的 處理(主程序)的實(shí)例的流程圖。首先,檢查當(dāng)前的操作模式是否 是面部檢測(cè)模式(步驟S901)。如果當(dāng)前的操作模式為面部檢測(cè)模 式,則執(zhí)行面部檢測(cè)(步驟S910)。如果當(dāng)前的操作模式不是面部 ^r測(cè)才莫式,則退出處理。在完成面部^r測(cè)(步驟S910)后,4全查面 部是否已經(jīng)被^企測(cè)(步驟S902 )。如果面部已經(jīng)祐」險(xiǎn)測(cè),則沖丸4亍目 標(biāo)選擇(步驟S920)和面部表情評(píng)估(步驟S930)。隨后,退出處 理。如果確定沒(méi)有才全測(cè)到面部(步驟S902),則立刻退出處理。
圖12是示出該實(shí)施例中的面部檢測(cè)(步驟S910)過(guò)程的流程 圖。這是由成像i殳備100執(zhí)行的處理(主程序)中所才丸行的子程序。
首先,從圖像存儲(chǔ)單元140獲取用作面部檢測(cè)目標(biāo)的圖像數(shù)據(jù) (步驟S911)。隨后,執(zhí)行放大或縮小,使得將圖像數(shù)據(jù)中各種大 小的面部圖像放大或縮小至預(yù)定大小(步驟S912)。隨后,提取預(yù) 定大小的圖像數(shù)據(jù),使得圖像數(shù)據(jù)的面部大小與面部參考數(shù)據(jù)的面 部大小相匹配(步-驟S913)。
然后,/人面部4企測(cè)器200的參考數(shù)據(jù)存儲(chǔ)器240獲耳又面部參考 數(shù)據(jù)(步驟S914)?;谏鲜雒娌繀⒖紨?shù)據(jù)和圖像數(shù)據(jù)估計(jì)面部準(zhǔn) 確度,并將估計(jì)結(jié)果纟是供給數(shù)據(jù)存儲(chǔ)器160的面部準(zhǔn)確度161 (步 驟S915 )。
圖13是示出在該實(shí)施例中執(zhí)行的目標(biāo)選擇(步驟S920)過(guò)程 的流程圖。這是在由成像設(shè)備100執(zhí)行的處理(主程序)中所執(zhí)行 的子程序。
首先,基于,人H據(jù)存儲(chǔ)器160的面部準(zhǔn)確度161獲取的面部準(zhǔn) 確度的估計(jì)結(jié)果,對(duì)每,殳圖像數(shù)據(jù)沖丸行面部準(zhǔn)確度的評(píng)估(步驟 S921),并將評(píng)估結(jié)果提供給控制器150。這里,評(píng)估是指面部準(zhǔn)確 度的評(píng)估,例如,表示哪個(gè)面部圖像具有最高面部準(zhǔn)確度。根據(jù)評(píng) 估結(jié)果,將評(píng)估結(jié)果疊加在顯示在顯示器171的圖像數(shù)據(jù)的面部圖 4象上(步驟S922)。例如,當(dāng)存在多個(gè)面部圖l象時(shí),具有面部準(zhǔn)確 度的最高評(píng)估的面部圖像框視覺(jué)上被加亮,而正常顯示其它框。此 外,用戶可4艮l居用戶判斷通過(guò)移動(dòng)疊加才醫(yī)來(lái)選4和f壬意一個(gè)面部。
更具體地,檢查用于移動(dòng)框的指示是否已被發(fā)布至選擇接收單 元172 (步驟S923 )。當(dāng)已經(jīng)發(fā)布用于移動(dòng)框的指示時(shí),選擇由指 示指定的面部(步驟S924)。另一方面,當(dāng)用于移動(dòng)框的指示沒(méi)有
被發(fā)布至選擇接收單元172時(shí),根據(jù)評(píng)估結(jié)果選擇特定面部(步驟
S925)。例如,特定面部是具有最高面部準(zhǔn)確度的面部,即,具有 視覺(jué)加亮疊加框的面部圖像(步驟S922 )。
圖14是示該實(shí)施例中面部表情檢測(cè)和評(píng)估(步驟S930)過(guò)程 的流程圖。這是由成像設(shè)備100執(zhí)行的處理(主程序)中所4丸行的 子程序。
首先,從圖像存儲(chǔ)單元140獲耳又用作面部表情才企測(cè)目標(biāo)的圖像 數(shù)據(jù)(步驟S931)。隨后,執(zhí)行放大或縮小,使得圖像數(shù)據(jù)中各種 大小的面部圖像被放大或縮小至預(yù)定大小(步驟S932)。然后,提 取預(yù)定大小的圖像數(shù)據(jù),使得圖像數(shù)據(jù)的面部大小與面部表情參考 數(shù)據(jù)的面部大小相匹酉己(步驟S933)。
隨后,從面部表情檢測(cè)器300的參考數(shù)據(jù)存儲(chǔ)器340獲取面部 表情的參考數(shù)據(jù)(參考面部表情)(步驟S934 )?;谏鲜鰠⒖济娌?表情和圖像數(shù)據(jù)估計(jì)用于指定面部表情類型(例如,"笑")的面部 表情相關(guān)性,并將估計(jì)結(jié)果(面部表情相關(guān)性)提供給數(shù)據(jù)存儲(chǔ)器 160的面部表情相關(guān)性162 (步驟S935 )。
然后,計(jì)算在圖Y象婆t據(jù)時(shí)間改變前后的面部表情相關(guān)性的差 (步驟S936)。隨后,參考數(shù)據(jù)存儲(chǔ)器160的參考差164中的參考
差(步驟S937),并檢查面部表情相關(guān)性的差和參考差之間的關(guān)系 (步驟S938)。如果面部表情相關(guān)性的差超過(guò)參考差,則參照參考
閾值(步驟S939)。另一方面,如果面部表情相關(guān)性的差沒(méi)有超過(guò)
參考差,則程序立刻返回主程序。
在參考數(shù)據(jù)存儲(chǔ)器160的參考閾值165中的參考閾值(步驟 S939)之后,檢查面部表情相關(guān)性和參考閾值之間的關(guān)系(步驟 S941 )。如果面部表情相關(guān)性超過(guò)參考閾值,則成像處理(步驟S950 )
-坡進(jìn)一步稱作子程序。另一方面,如果面部表情相關(guān)性沒(méi)有超過(guò)參 考閾^直,則程序立刻返回主禾呈序。
圖15是示出該實(shí)施例中的成像處理(步驟S950)過(guò)程的流程 圖。這是由成像i殳備100寺丸行的處理(主程序)中所執(zhí)行的子程序。
首先,復(fù)位計(jì)算所拍攝圖片數(shù)的圖片計(jì)數(shù)器(步驟S951)。隨 后,參照數(shù)據(jù)存儲(chǔ)器160的連拍間隔166,并等待成像定時(shí)直至連 拍間隔過(guò)去(步驟S952 )。在連拍間隔過(guò)去之后,發(fā)布用于成像控 制的指示(步驟S953)。這里,成像控制是指通過(guò)信號(hào)處理器120 將從成像單元110輸出的圖像數(shù)據(jù)存儲(chǔ)圖像存儲(chǔ)單元140中。在成 像控制后,對(duì)所拍^t聶的圖片數(shù)進(jìn)行計(jì)數(shù)(步驟S954 )。
然后,參照數(shù)據(jù)存儲(chǔ)器160的最大數(shù)167,并檢查所拍攝的圖 片數(shù)和最大數(shù)之間的關(guān)系(步驟S955 )。如果所拍攝的圖片數(shù)超過(guò) 最大數(shù),則將根據(jù)上述成像控制指示(步驟S953 )存儲(chǔ)在圖像存儲(chǔ) 單元140中的圖像數(shù)據(jù)提供給圖像壓縮擴(kuò)展器180,圖像數(shù)據(jù)在其 中被壓縮(步驟S956)。
作為所拍攝的圖片數(shù)和最大數(shù)之間關(guān)系的檢查結(jié)果,如果所拍 攝的圖片數(shù)沒(méi)有超過(guò)最大數(shù)(步驟S955),則程序立刻返回到上述 等待成像定時(shí)的狀態(tài)(步驟S952)。
在圖^象凄t據(jù)壓縮(步驟S956 )后,壓縮圖像凄t據(jù)^U是供并保存 在圖4象^f呆存單元190中(步-驟S957)。
圖16是示出該實(shí)施例中的常規(guī)成像(步驟S960)過(guò)程的流程 圖。這是單獨(dú)于由成像設(shè)備IOO執(zhí)行的處理(主程序)所執(zhí)行的循 環(huán)。
首先,參考^t據(jù)存儲(chǔ)器160的連拍間隔166,并等^寺成〗象定時(shí) 直至連拍間隔過(guò)去(步驟S961 )。在連拍間隔過(guò)去之后,發(fā)布用于 成像控制的指示(步驟S962)。用于成像控制的指示類似于圖15 中用于成像控制的指示(步驟S953)。如上所述,更新通過(guò)常規(guī)成 像(步驟S960 )而存儲(chǔ)在圖像存儲(chǔ)單元140中的圖像凄t據(jù)。更具體 地,當(dāng)圖像數(shù)據(jù)的總數(shù)已達(dá)到圖像存儲(chǔ)單元140的最大存儲(chǔ)容量時(shí), 從最先存儲(chǔ)的圖像中順序刪除圖像,并保留最近的圖像。圖17是 示出該實(shí)施例中成像和保存過(guò)程的流程圖。這是由成像設(shè)備100執(zhí) 4亍的處理(主程序)中的圖15所示成1象處理(步艱《S950)的部分 修改。用作處理目標(biāo)的圖像數(shù)據(jù)是通過(guò)圖16所示的常規(guī)成像(步 驟S960 )而存儲(chǔ)在圖像存儲(chǔ)單元140中的圖像數(shù)據(jù)。
首先,發(fā)布用于停止成傳^殳備100的圖^f象存4諸單元140中的圖 像更新的指示(步驟S971 )。因此,用戶想要的圖像數(shù)據(jù)被保留在 圖像存儲(chǔ)單元140中。隨后,將保留在圖像存儲(chǔ)單元140中的圖像 數(shù)據(jù)提供給圖像壓縮擴(kuò)展器180,圖像數(shù)據(jù)在其中被壓縮(步驟 S972)。將壓縮圖像lt據(jù)才是供并保存在圖像保存單元l卯中(步驟 S973 )。
圖18是示出4艮據(jù)實(shí)施例的修改由圖像存儲(chǔ)設(shè)備600的計(jì)算枳j 所才;M亍的處理(主禾呈序)實(shí)例的流程圖。
首先,控制圖像存儲(chǔ)設(shè)備600的像機(jī)單元610 (步驟S981 ), 4吏得例如改變變焦透4竟611的焦點(diǎn)深度,并且4吏得限制進(jìn)入光闌612 的光量。隨后,檢查對(duì)用戶界面650的運(yùn)動(dòng)圖片記錄開(kāi)始/停止按鈕 652的用戶指示(步驟S982)。如果沒(méi)有檢測(cè)到指示,則用戶沒(méi)有 指示開(kāi)始或停止。另一方面,如果一全測(cè)到指示,則用戶指示開(kāi)始或 停止。如果沒(méi)有4企測(cè)到指示,則估計(jì)面部表情(步驟S983)。面部 表情估計(jì)確定運(yùn)動(dòng)圖片數(shù)據(jù)中的面部表情是否在預(yù)定期間內(nèi)變得 類似于參考面部表情。
如果在面部表情估計(jì)(步驟S983 )中確定面部表情變得類似于 參考面部表情,則檢查運(yùn)動(dòng)圖片記錄操作是否被執(zhí)行(步驟S984 )。 如果確定沒(méi)有執(zhí)行運(yùn)動(dòng)圖片記錄操作,則將運(yùn)動(dòng)圖片數(shù)據(jù)記錄為靜 止圖片(步驟S985 )。更具體地,將通過(guò)^f象才幾單元610生成的運(yùn)動(dòng) 圖片凄t據(jù)提供全合處理單元630,而沒(méi)有^皮存儲(chǔ)在存儲(chǔ)單元620的存 儲(chǔ)器622中。隨后,處理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行用于靜止圖 片記錄的圖像處理,并將得到的數(shù)據(jù)記錄為靜止圖片(步驟S985)。 另一方面,如果確定執(zhí)行了運(yùn)動(dòng)圖片記錄操作(步驟S984),則執(zhí) 行運(yùn)動(dòng)圖片數(shù)據(jù)的存儲(chǔ)(步驟S986)。更具體地,將通過(guò)傳4幾單元 610生成的運(yùn)動(dòng)圖片^:據(jù)臨時(shí)存4渚在存儲(chǔ)器622中。
如果在面部表情估計(jì)(步驟S983 )中確定面部表情沒(méi)有變得接 近于參考面部表情,則立刻對(duì)像才幾單元610 #14于控制(步-驟S981 )。
如果確定用戶已經(jīng)對(duì)運(yùn)動(dòng)圖片記錄開(kāi)始Af亭止4妄4丑652發(fā)布了 用于開(kāi)始或停止的指示(步驟S982 ),則檢查運(yùn)動(dòng)圖片記錄操作是 否被執(zhí)行(步驟S987 )。如果確定沒(méi)有執(zhí)行運(yùn)動(dòng)圖片記錄操作,則 開(kāi)始運(yùn)動(dòng)圖片數(shù)據(jù)的運(yùn)動(dòng)圖片記錄(步驟S988)。更具體地,將通 過(guò)像機(jī)單元610生成的運(yùn)動(dòng)圖片數(shù)據(jù)提供給處理單元630,而沒(méi)有 存儲(chǔ)在存儲(chǔ)單元620的存〗諸器622中。然后,處理單元630對(duì)運(yùn)動(dòng) 圖片數(shù)據(jù)執(zhí)行用于運(yùn)動(dòng)圖片記錄的圖像處理,并開(kāi)始將得到的數(shù)據(jù) 記錄為運(yùn)動(dòng)圖片。另 一方面,如果確定執(zhí)行了運(yùn)動(dòng)圖片記錄操作(步 驟S987),則處理單元630停止運(yùn)動(dòng)圖片記錄(步驟S989)。隨后, 暫停運(yùn)動(dòng)圖片記錄。
當(dāng)暫停運(yùn)動(dòng)圖片記錄時(shí),4全查是否已將由4象才幾單元610生成的 運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器622中(步驟S991)。如果已經(jīng)完成運(yùn) 動(dòng)圖片凄t據(jù)的存儲(chǔ),則處理單元630 4果存并i己錄靜止圖片(步驟 S992)。更具體地,將存儲(chǔ)在存儲(chǔ)器622中的運(yùn)動(dòng)圖片數(shù)據(jù)提供給
處理單元630。隨后,處理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行用于靜止 圖片記錄的圖像處理,并將所得到的數(shù)據(jù)記錄為靜止圖片。
如上所述,根據(jù)實(shí)施例,成像設(shè)備100可估計(jì)圖像數(shù)據(jù)中的面
部表情和參考面部表情是否在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系。因 此,可以基于估計(jì)存儲(chǔ)包括與參考面部表情最接近的面部表情的圖 像數(shù)據(jù)。
即,可以估計(jì)圖傳4t據(jù)的時(shí)間變化,并記錄用戶想要的圖4象。
盡管在檢測(cè)圖像數(shù)據(jù)的面部表情改變的實(shí)例的上下文中描述 了實(shí)施例,^f旦是不限于面部表情,例如,可才全測(cè)人體4侖廓的改變。
如上所述,根據(jù)實(shí)施例,對(duì)于圖像數(shù)據(jù)中的面部表情,面部表
情才企測(cè)器300估計(jì)面部表情相關(guān)性,面部表情估計(jì)器390估計(jì)面部 表情相關(guān)性和參考面部表情是否在預(yù)定期間內(nèi)達(dá)到具有預(yù)定相關(guān) 關(guān)系,并基于估計(jì)在圖像存儲(chǔ)單元140中存儲(chǔ)預(yù)定期間內(nèi)的圖像數(shù) 據(jù)。因此,用戶可記錄想要的圖像數(shù)據(jù)。
上述實(shí)施例僅為實(shí)現(xiàn)本發(fā)明的實(shí)例,并且實(shí)施例的部件對(duì)應(yīng)于 如下所述的權(quán)利要求中的元件。然而,在不背離本發(fā)明精神的情況 下,可以、沒(méi)有限制;也構(gòu)想各種4奮改。
例如,權(quán)利要求中的面部表情相關(guān)性估計(jì)裝置對(duì)應(yīng)于面部表情 檢測(cè)器300。例如,權(quán)利要求中的面部表情估計(jì)裝置對(duì)應(yīng)于面部表 情估計(jì)器390。例如,權(quán)利要求中的圖像數(shù)據(jù)存儲(chǔ)裝置對(duì)應(yīng)于圖像 存儲(chǔ)單元140。例如,權(quán)利要求中的圖像存儲(chǔ)控制裝置對(duì)應(yīng)于控制 器150。
例如,片又利要求中的運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置對(duì)應(yīng)于存儲(chǔ)器622。例如,權(quán)利要求中的面部圖像檢測(cè)裝置對(duì)應(yīng)于面部檢測(cè)器200。
例如,;f又利要求中的面部準(zhǔn)確度評(píng)估裝置對(duì)應(yīng)于面部準(zhǔn)確度評(píng) 估器290。
例如,權(quán)利要求中的選^^接收裝置對(duì)應(yīng)于選4和接收單元172。
例如,權(quán)利要求中的成像裝置對(duì)應(yīng)于成像單元110。
例如,權(quán)利要求中估計(jì)面部表情相關(guān)性對(duì)應(yīng)于步驟S935。例如, 權(quán)利要求中估計(jì)面部表情對(duì)應(yīng)于步驟S938或步驟S938和S941。 例如,權(quán)利要求中控制圖像存儲(chǔ)對(duì)應(yīng)于步驟S935或步驟S962和 S971。
上述實(shí)施例中的處理過(guò)程可^皮認(rèn)為是包括一系列過(guò)程的方法、 使計(jì)算機(jī)執(zhí)行一 系列過(guò)程的程序、或在其上記錄有程序的記錄介質(zhì)。
權(quán)利要求
1.一種圖像存儲(chǔ)設(shè)備,包括面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性,所述面部圖像包括在時(shí)變圖像數(shù)據(jù)中;面部表情估計(jì)裝置,用于通過(guò)基于所述面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制,使得從進(jìn)行所述檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù)存儲(chǔ)裝置中。
2. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備,其中,當(dāng)所述面部表情相關(guān)性超過(guò)預(yù)定程度時(shí),所述面 部表情估計(jì)裝置檢測(cè)出所述面部圖像中的所述面部表情和所 述預(yù)定參考面部表情具有所述預(yù)定相關(guān)關(guān)系。
3. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備,其中,當(dāng)所述面部表情相關(guān)性的改變梯度超過(guò)預(yù)定值并 且所述面部表情相關(guān)性超過(guò)預(yù)定程度時(shí),所述面部表情估計(jì)裝 置檢測(cè)出所述面部圖像中的所述面部表情和所述預(yù)定參考面 部表情具有所述預(yù)定相關(guān)關(guān)系。
4. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備,其中,所述圖像存儲(chǔ)控制裝置使從進(jìn)行所述檢測(cè)開(kāi)始的 所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)存儲(chǔ)在所述圖像數(shù)據(jù)存儲(chǔ)裝 置中。
5. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備,其中,所述圖像存儲(chǔ)控制裝置使所述圖像數(shù)據(jù)存儲(chǔ)裝置 執(zhí)行更新,從而存儲(chǔ)新的圖像數(shù)據(jù),并在從進(jìn)行所述檢測(cè)開(kāi)始 經(jīng)過(guò)所述預(yù)定期間之后,使所述圖像^據(jù)存〗渚裝置停止更新。
6. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備,其中,所述圖像存儲(chǔ)控制裝置執(zhí)行控制,使得從進(jìn)行所 述檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的多個(gè)所述圖像數(shù)據(jù)被保留在 所述圖像數(shù)據(jù)存儲(chǔ)裝置中。
7. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備,進(jìn)一步包括運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置,用于將所述圖像數(shù)據(jù)存儲(chǔ)為運(yùn) 動(dòng)圖片數(shù)據(jù),其中,所述圖像存儲(chǔ)控制裝置使從進(jìn)行所述^r測(cè)開(kāi)始的 所述預(yù)定期間內(nèi)的所述圖像凄t據(jù)從所述運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝 置保存至所述圖像數(shù)據(jù)存儲(chǔ)裝置。
8. —種圖像存儲(chǔ)設(shè)備,包括面部圖像檢測(cè)裝置,用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的 面部圖4象;面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示所4企測(cè)的面部 圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面 部表情相關(guān)性;面部表情估計(jì)裝置,用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所述面部圖像中的所述面部表情和所 述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況; 以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制,使得從進(jìn)行所述檢 測(cè)開(kāi)始的所述預(yù)定期間中的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù) 存儲(chǔ)裝置中。
9. 一種圖像存儲(chǔ)設(shè)備,包括面部圖像檢測(cè)裝置,用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的 多個(gè)面部圖^f象;面部準(zhǔn)確度評(píng)估裝置,用于評(píng)估所4企測(cè)的多個(gè)面部圖 <象 的面吾卩準(zhǔn)確度;面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示預(yù)定參考面部 表情和在所述多個(gè)面部圖^象的所述面部準(zhǔn)確度中具有最高面 部準(zhǔn)確度的面部圖 <象中的面部表情之間的相關(guān)程度的面部表 情相關(guān)性;面部表情估計(jì)裝置,用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)4于估計(jì),來(lái)4企測(cè)所述預(yù)定參考面部表情和具有所述最 高面部準(zhǔn)確度的所述面部圖4象中的所述面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制,使得從進(jìn)行所述檢 測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù) 存儲(chǔ)裝置中。
10. —種圖4象存儲(chǔ)設(shè)備,包括面部圖像檢測(cè)裝置,用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的 多個(gè)面部圖《象;選擇接收裝置,用于接收對(duì)所檢測(cè)的多個(gè)面部圖像中將 :帔用于估計(jì)的面部圖 <象的選4奪;面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示所選擇的面部 圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性;面部表情估計(jì)裝置,用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所選擇的面部圖像中的所述面部表情 和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的 情況;以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制,使得從進(jìn)行檢測(cè)開(kāi) 始的所述預(yù)定期間中的所述圖像^據(jù)一皮保留在圖i象凄t據(jù)存儲(chǔ) 裝置中。一種成像設(shè)備,包括成像裝置,用于對(duì)時(shí)變目標(biāo)進(jìn)行成像并輸出相應(yīng)的圖像 數(shù)據(jù);面部表情相關(guān)性估計(jì)裝置,用于估計(jì)表示包括在所述圖 像數(shù)據(jù)中的面部圖像中的面部表情和預(yù)定參考面部表情之間 的相關(guān)程度的面部表情相關(guān)性;面部表情估計(jì)裝置,用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)4亍估計(jì),來(lái)沖全測(cè)所述面部圖"f象中的所述面部表情和所 述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況; 以及圖像存儲(chǔ)控制裝置,用于執(zhí)行控制,使得從進(jìn)行所述檢 測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)一皮保留在圖傳H據(jù) 存儲(chǔ)裝置中。
11. —種圖像存4諸方法,包括以下步驟估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之 間的相關(guān)程度的面部表情相關(guān)性,所述面部圖像包括在時(shí)變圖 像數(shù)據(jù)中;通過(guò)基于所述面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)4金測(cè) 所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在 予頁(yè)定期間內(nèi)具有子頁(yè)定相關(guān)關(guān)系的情況;以及執(zhí)行控制,使得從所述一企測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所 述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù)存儲(chǔ)裝置中。
12. —種用于4吏計(jì)算枳4丸行以下步驟的程序估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之 間的相關(guān)程度的面部表情相關(guān)性,所述面部圖像包括在時(shí)變圖 像數(shù)據(jù)中;通過(guò)基于所述面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè) 所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在 預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及執(zhí)行控制,使得從進(jìn)行所述檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi) 的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù)存儲(chǔ)裝置中。
13. 一種圖像存儲(chǔ)設(shè)備,包括面部表情相關(guān)性估計(jì)器,被配置為估計(jì)表示面部圖像中 的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情 相關(guān)性,所述面部圖^f象包4舌在時(shí)變圖^f象凄t提中;面部表情估計(jì)器,;陂配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)4企測(cè)所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制器,被配置為執(zhí)行控制,使得從進(jìn)行所述 才全測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖傳H據(jù)^皮4呆留在圖傳-凄t 據(jù)存儲(chǔ)單元中。
14. —種圖像存儲(chǔ)i殳備,包括面部圖像檢測(cè)器,被配置為檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中 的面部圖j象;面部表情相關(guān)性估計(jì)器,被配置為估計(jì)表示所檢測(cè)的面 部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的 面部表情相關(guān)性;面部表情估計(jì)器,被配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所述面部圖像中的所述面部表情和 所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情 況;以及圖像存儲(chǔ)控制器,被配置為執(zhí)行控制,使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存儲(chǔ)單元中。
15. —種圖像存儲(chǔ)"i殳備,包括面部圖像檢測(cè)器,被配置為檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中 的多個(gè)面部圖4象;面部準(zhǔn)確度評(píng)估器,— 皮配置為評(píng)估所4企測(cè)的多個(gè)面部圖 <象的面部準(zhǔn)確度;面部表情相關(guān)性估計(jì)器,被配置為估計(jì)表示預(yù)定參考面 部表情和在所述多個(gè)面部圖^象的所述面部準(zhǔn)確度中具有最高面部準(zhǔn)確度的面部圖 <象中的面部表情之間的相關(guān)考呈度的面部表情相關(guān)性;面部表情估計(jì)器,纟皮配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所述預(yù)定參考面部表情和具有所述 最高面部準(zhǔn)確度的所述面部圖^f象中的所述面部表情在預(yù)定期 間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制器,被配置為執(zhí)行控制,使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存儲(chǔ)單元中。
16. —種圖像存儲(chǔ)設(shè)備,包括面部圖像檢測(cè)器,被配置為檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中 的多個(gè)面部圖^象;選擇接收單元,被配置為接收對(duì)所檢測(cè)的多個(gè)面部圖像 中將被用于估計(jì)的面部圖像的選擇;面部表情相關(guān)性估計(jì)器,被配置為估計(jì)表示所選才奪的面 部圖 <象中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的 面部表情相關(guān)性;面部表情估計(jì)器,被配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所選擇的面部圖像中的所述面部表 情和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系 的f青況;以及圖像存儲(chǔ)控制器,被配置為執(zhí)行控制,使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存儲(chǔ)單元中。
17.—種成l"象i殳備,包4舌成4象單元,,皮配置為對(duì)時(shí)變目標(biāo)進(jìn)行成像并輸出相應(yīng)的 圖像數(shù)據(jù);面部表情相關(guān)性估計(jì)器,被配置為估計(jì)表示包括在所述 圖像數(shù)據(jù)中的面部圖像中的面部表情和預(yù)定參考面部表情之 間的相關(guān)程度的面部表情相關(guān)性;面部表情估計(jì)器,被配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì),來(lái)檢測(cè)所述面部圖像中的所述面部表情和 所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情 況;以及圖像存儲(chǔ)控制器,被配置為執(zhí)行控制,使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存^諸單元中。
全文摘要
一種圖像存儲(chǔ)設(shè)備包括面部表情相關(guān)性估計(jì)器,用于估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性,面部圖像包括在時(shí)變化圖像數(shù)據(jù)中;面部表情估計(jì)器,用于基于面部表情相關(guān)性的轉(zhuǎn)變,通過(guò)估計(jì)來(lái)檢測(cè)面部圖像中的面部表情和預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況;以及圖像存儲(chǔ)控制器,用于執(zhí)行控制,使得從檢測(cè)開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)被保持在圖像數(shù)據(jù)存儲(chǔ)單元中。
文檔編號(hào)H04N5/76GK101175187SQ20071016569
公開(kāi)日2008年5月7日 申請(qǐng)日期2007年10月31日 優(yōu)先權(quán)日2006年10月31日
發(fā)明者辻村貴 申請(qǐng)人:索尼株式會(huì)社