專利名稱：攝影裝置、圖像處理裝置、圖像處理方法以及使計算機執(zhí)行該方法的程序的制作方法
技術(shù)領域：
本發(fā)明涉及攝像裝置，特別是涉及在包含臉的圖像中顯示該臉的 位置的攝影裝置、圖像處理裝置、其中的圖像處理方法以及使計算機 執(zhí)行該方法的程序。
背景技術(shù)：
目前，數(shù)碼照相機、數(shù)碼攝像機等攝像裝置以及具備兩者的功能 的移動圖像及靜止圖像相機等攝像裝置得到快速的普及，并且正在推 進這些攝像裝置的高性能化。
作為攝像裝置所具備的功能中的代表性功能，包括檢測人物的臉 的臉檢測功能。該臉檢測功能是從攝影圖像中檢測出人物的臉區(qū)域的 功能。由于可以從攝影圖像中檢測出人物的臉區(qū)域，因此考慮在攝像
裝置的自動聚焦(AF)、自動曝光控制(AE)、自動白平衡等各種 應用和圖像附帶數(shù)據(jù)中應用臉檢測功能。
例如，有人提出以下的圖像處理方法從圖像中抽出膚色區(qū)域， 基于該膚色區(qū)域檢測出人物的嘴、眼等特征點的位置，并基于膚色區(qū) 域和特征點的位置來判定膚色區(qū)域是否為臉區(qū)域(例如參照專利文獻 1)。
專利文獻1特開2004-5384號公才艮(圖1)

發(fā)明內(nèi)容
發(fā)明所要解決的技術(shù)問題
根據(jù)上述現(xiàn)有技術(shù)，可以從攝影圖像中檢測出人物的臉區(qū)域。而 且，使用臉識別技術(shù)，可以針對所檢測出的臉區(qū)域，抽出臉的面積的 大小、臉的位置、臉相似性的值等各種值。另外，還可以判定笑臉、 臉的表情、眨眼的有無等臉的一部分的狀態(tài)等。
這樣，使用臉識別技術(shù)，可以抽出與攝影圖像中包含的臉有關(guān)的 各種信息。因此，例如如果在攝像裝置中用戶可以利用臉識別技術(shù)容 易地識別與從攝影圖像中檢測出的臉有關(guān)的各種信息，則可以更容易 地使用攝像裝置，從而可以迅速地進行攝影等。
因此，本發(fā)明的目的在于，使用戶可以與從圖像中檢測出的臉一 起容易地識別與該臉有關(guān)的各種信息。另外，本發(fā)明的目的還在于， 利用臉識別技術(shù)提供一種便利的用戶接口 。
解決技術(shù)問題的技術(shù)方案
本發(fā)明為了解決上述問題而作出，其第一方面是一種攝像裝置、 其圖像處理方法以及使計算機執(zhí)行該方法的程序，該攝像裝置的特征
在于，具有攝像單元，拍攝被攝體的圖像；圖像輸入單元，輸入由 上述攝像單元拍攝的圖像；臉檢測單元，從由上述圖像輸入單元輸入 的圖像中檢測出臉；臉位置標記生成單元，生成表示由上述臉檢測單 元檢測出的臉在上述圖像輸入單元輸入的圖像中的位置的臉位置標 記；重疊單元，將由上述圖像輸入單元輸入的圖像與由上述臉位置標 記生成單元生成的臉位置標記重疊；以及顯示單元，顯示由上述重疊 單元重疊后的圖像。由此產(chǎn)生的作用是可以在輸入所拍攝的圖像后， 從輸入的圖像中檢測出臉，生成表示所檢測出的臉在所輸入的圖像中 的位置的臉位置標記，重疊所輸入的圖像和所生成的臉位置標記，顯 示重疊后的圖像。
另外，在該第一方面中，還具有設定單元，設定是否由上述臉 位置標記生成單元生成臉位置標記。由此產(chǎn)生的作用是可以設定是 否生成臉位置標記，選擇臉位置標記的顯示的有無。
另外，在該第一方面中，上述臉位置標記具有矩形形狀、橢圓形 狀、和作為僅由矩形的四個角形成的形狀的四角點形狀當中的任意一 種形狀。由此產(chǎn)生的作用是可以顯示具有矩形形狀、橢圓形狀和作 為僅由矩形的四個角形成的形狀的四角點形狀當中的任意一種形狀的
臉位置標記。
另外，在該第一方面中，上述臉位置標記生成單元生成與由上述 臉檢測單元檢測出的臉有關(guān)的臉位置標記，使得該臉位置標記在由上
述圖像輸入單元輸入的圖像中配置在該臉的周圍。由此產(chǎn)生的作用是 可以顯示臉位置標記，使得該臉位置標記在所輸入的圖像中配置在臉 的周圍。
另外，在該第一方面中，上述臉位置標記生成單元生成與由上述 臉檢測單元檢測出的臉有關(guān)的臉位置標記，使得該臉位置標記在由上 述圖像輸入單元輸入的圖像中配置成包圍該臉。由此產(chǎn)生的作用是 可以顯示臉位置標記，使得該臉位置標記在所輸入的圖像中包圍臉。
另外，在該第一方面中，在上述臉檢測單元從由上述圖像輸入單 元輸入的圖像中檢測出多張臉的情況下，上述臉位置標記生成單元生 成上述臉位置標記，使得上述臉位置標記的顏色、上述臉位置標記的 線的種類、上述臉位置標記的線的粗細、上述臉位置標記的透過度、 上述臉位置標記的閃爍狀態(tài)、上述臉位置標記的框架的內(nèi)側(cè)的亮度或 顏色當中的至少一者在上述檢測出的每張臉中不同。由此產(chǎn)生的作用 是在從輸入的圖像中檢測出多張臉的情況下，可以顯示臉位置標記， 使得臉位置標記的顏色、線的種類、線的粗細、透過度、閃爍狀態(tài)、 其框架內(nèi)側(cè)的亮度或顏色當中的至少一者在檢測出的每張臉中不同。
另外，在該第一方面中，上述顯示單元在由上述重疊單元重疊后 的圖像中變更上述臉位置標記的框架的內(nèi)側(cè)或外側(cè)的任意一者的亮度 或顏色來進行顯示。由此產(chǎn)生的作用是在重疊后的圖像中變更臉位 置標記的框架的內(nèi)側(cè)或外側(cè)的任意一者的亮度或顏色來顯示。
另夕卜，在該第一方面中，上述臉檢測單元檢測出與從上述圖像輸 入單元輸入的圖像中檢測出的臉有關(guān)的各種信息；上述臉位置標記生 成單元根據(jù)與上述臉檢測單元檢測出的臉有關(guān)的各種信息，生成與該 臉有關(guān)的臉位置標記。由此產(chǎn)生的作用是可以檢測出與從所輸入的 圖像中檢測出的臉有關(guān)的各種信息，根據(jù)與檢測出的臉有關(guān)的各種信 息，生成與該臉有關(guān)的臉位置標記。在該情況下，上述與臉有關(guān)的各 種信息是臉區(qū)域的面積、臉區(qū)域的坐標、臉相似性的值、臉正面朝向 的程度、臉傾斜的程度、表情在笑的程度、表情嚴肅的程度、閉眼的
程度中的任意一種信息或組合了這些信息的信息。由此產(chǎn)生的作用是 可以根據(jù)臉區(qū)域的面積、臉區(qū)域的坐標、臉相似性的值、臉正面朝向 的程度、臉傾斜的程度、表情在笑的程度、表情嚴肅的程度、閉眼的 程度中的任意一種信息或組合了這些信息的信息，來生成與該臉有關(guān) 的臉位置標記。
另外，在該第一方面中，上述臉位置標記生成單元根據(jù)與由上述 臉檢測單元檢測出的臉有關(guān)的各種信息，變更與該臉有關(guān)的臉位置標 記的透過率。由此產(chǎn)生的作用是可以根據(jù)與檢測出的臉有關(guān)的各種 信息，依次變更與該臉有關(guān)的臉位置標記的透過率來進行顯示。
另外，在該第一方面中，還具有相機控制值檢測單元，根據(jù)與 由上述臉檢測單元檢測出的臉有關(guān)的各種信息，針對該臉檢測出聚焦 的程度或鏡頭光圏對準的程度，其中，上述臉位置標記生成單元根據(jù) 上述相機控制值檢測單元檢測出的針對該臉的聚焦程度或鏡頭光圏對 準程度，生成與該臉有關(guān)的臉位置標記。由此產(chǎn)生的作用是可以根 據(jù)與檢測出的臉有關(guān)的各種信息，針對該臉檢測出聚焦的程度或鏡頭 光圏對準的程度，根據(jù)針對該臉的聚焦程度或鏡頭光圏對準程度，生 成與該臉有關(guān)的臉位置標記來顯示。
另外，在該第一方面中，還具有主要人物推定單元，在上述臉 檢測單元從上述圖像輸入單元輸入的圖像中檢測出多張臉的情況下， 根據(jù)上述與臉有關(guān)的各種信息，從上述檢測出的多張臉中推定最主要 的人物，其中，上述臉位置標記生成單元以使與上述主要人物推定單 元推定的主要人物的臉有關(guān)的臉位置標記和與其他人物的臉有關(guān)的臉 位置標記不同的形式，來生成各個臉位置標記。由此產(chǎn)生的作用是 在從所輸入的圖像中檢測出多張臉的情況下，根據(jù)與這些臉有關(guān)的各 種信息，從檢測出的多張臉中推定最主要的人物，以使與所推定的主 要人物的臉有關(guān)的臉位置標記和與其他人物的臉有關(guān)的臉位置標記不 同的形式，生成各個臉位置標記來顯示。
另外，在該第一方面中，還具有特定人物存儲單元，存儲與特 定人物的臉有關(guān)的特定人物信息；和特定人物判定單元，判定由上述
人物的臉一致:其中，當::特定人物判定單元判定由上述臉檢測單
元檢測出的臉與存儲在上述特定人物存儲單元中的特定人物的臉一致 時，上述臉位置標記生成單元以使與該臉有關(guān)的臉位置標記和與其他 人物的臉有關(guān)的臉位置標記不同的形式，來生成各個臉位置標記。由 此產(chǎn)生的作用是判定檢測出的臉是否與特定人物的臉一致，在判定 為一致時，以使與該臉有關(guān)的臉位置標記和與其他人物的臉有關(guān)的臉 位置標記不同的形式，生成各個臉位置標記來顯示。
另夕卜，在該第一方面中，當由上述臉檢測單元檢測出的臉朝向上 下左右的某個方向時，上述臉位置標記生成單元根據(jù)該方向和角度生 成在與該臉有關(guān)的臉位置標記附近顯示的臉朝向標記；上述重疊單元 將由上述圖像輸入單元輸入的圖像與由上述臉位置標記生成單元生成 的臉位置標記和臉朝向標記重疊。由此產(chǎn)生的作用是當檢測出的臉 朝向上下左右的某個方向時，根據(jù)該方向和角度生成在與該臉有關(guān)的 臉位置標記附近顯示的臉朝向標記，將所輸入的圖像與所生成的臉位 置標記和臉朝向標記重疊進行顯示。
另外，在該第一方面中，當由上述臉檢測單元檢測出的臉向轉(zhuǎn)動 方向傾斜時，上述臉位置標記生成單元根據(jù)該傾斜生成在與該臉有關(guān) 的臉位置標記附近顯示的臉傾斜標記；上述重疊單元將由上述圖像輸 入單元輸入的圖像與由上述臉位置標記生成單元生成的臉位置標記和 臉傾斜標記重疊。由此產(chǎn)生的作用是當檢測出的臉向轉(zhuǎn)動方向傾斜 時，根據(jù)該傾斜生成在與該臉有關(guān)的臉位置標記附近顯示的臉傾斜標 記，將所輸入的圖像與所生成的臉位置標記和臉傾斜標記重疊進行顯 示.另外，轉(zhuǎn)動方向是指以臉的前后方向為軸來旋轉(zhuǎn)臉的旋轉(zhuǎn)方向。
另外，在該第一方面中，上述臉位置標記生成單元生成作為顯示 由上述臉檢測單元檢測出的臉的上下左右的某一個的臉位置標記的特 定位置顯示標記；上述重疊單元將由上述圖像輸入單元輸入的圖像與
由上述臉位置標記生成單元生成的特定位置顯示標記重疊。由此產(chǎn)生
的作用是可以生成顯示檢測出的臉的上下左右的某一個的特定位置 顯示標記，將所輸入的圖像與所生成的特定位置顯示標記重疊來進行 顯示。
另外，在該第一方面中，上述臉位置標記生成單元生成在上述臉 位置標記上或者其附近顯示的、顯示由上述臉檢測單元檢測出的臉的 上下左右的某一個的特定位置顯示標記；上述重疊單元將由上述圖像 輸入單元輸入的圖像與由上述臉位置標記生成單元生成的臉位置標記 和特定位置顯示標記重疊。由此產(chǎn)生的作用是可以生成顯示檢測出 的臉的上下左右的某一個的特定位置顯示標記，將所輸入的圖像與所 生成的臉位置標記和特定位置顯示標記重疊，在臉位置標記上或其附 近顯示特定位置顯示標記。
另外，在該第一方面中，還具有攝影狀態(tài)檢測單元，根據(jù)由上 述臉位置標記生成單元生成的特定位置顯示標記，檢測出處于縱長視 角的攝影狀態(tài)，其中，在由上述攝影狀態(tài)檢測單元檢測出處于縱長視 角的攝影狀態(tài)時，上述顯示單元將該情況與由上述臉位置標記生成單 元生成的特定位置顯示標記一起顯示在由上述重疊單元重疊后的圖像 上。由此產(chǎn)生的作用是可以根據(jù)所生成的特定位置顯示標記，檢測 出處于縱長視角的攝影狀態(tài)，將處于縱長視角的攝影狀態(tài)的情況與特 定位置顯示標記一起顯示在重疊后的圖像上。
另外，在該第一方面中，還具有輸出單元，在由上述攝影狀態(tài) 檢測單元檢測出處于縱長視角的攝影狀態(tài)時，將表示該情況的圖像附 帶信息與由上述重疊單元重疊后的圖像一起輸出到存儲介質(zhì)中。由此 產(chǎn)生的作用是可以將表示處于縱長視角的攝影狀態(tài)的圖像附屬信息 與重疊后的圖像一起輸出到存儲介質(zhì)中。
另外，在該第一方面中，還具有選擇單元，在與上述臉檢測單 元檢測出的多張臉對應的臉位置標記與該多張臉一起顯示在上述顯示 單元上時，從上述顯示的多張臉中選擇希望人物的臉，其中，上述臉 位置標記生成單元以使與上述選擇單元選擇的人物的臉有關(guān)的臉位置
標記和與其他人物的臉有關(guān)的臉位置標記不同的形式，來生成各個臉
位置標記。由此產(chǎn)生的作用是可以在將與多張臉對應的臉位置標記 與該多張臉一起顯示時，從所顯示的多張臉中選擇希望人物的臉，以
位置標記不同的形式，來生成臉位置標記并進行顯示。
另外，本發(fā)明的第二方面是一種圖像處理裝置、其圖像處理方法 以及使計算機執(zhí)行該方法的程序，該圖像處理裝置的特征在于，具有 圖像輸入單元，輸入圖像；臉檢測單元，從由上述圖像輸入單元輸入 的圖像中檢測出臉；臉位置標記生成單元，生成表示由上述臉檢測單 元檢測出的臉在上述圖像輸入單元輸入的圖像中的位置的臉位置標 記；重疊單元，將由上述圖像輸入單元輸入的圖像與由上述臉位置標 記生成單元生成的臉位置標記重疊；以及輸出單元，輸出由上述重疊 單元重疊后的圖像。由此產(chǎn)生的作用是從輸入的圖像中檢測出臉， 生成表示所檢測出的臉在所輸入的圖像中的位置的臉位置標記，重疊 所輸入的圖像和所生成的臉位置標記，輸出重疊后的圖像。 發(fā)明效果
根據(jù)本發(fā)明，可以實現(xiàn)的有利效果是，用戶可以與從圖像中檢測 出的臉一起容易地識別與該臉有關(guān)的各種信息。


圖1是表示本發(fā)明實施方式的攝像裝置100的功能結(jié)構(gòu)例的框圖。
圖2是表示臉檢測部200的功能結(jié)構(gòu)例的框圖。 圖3是表示表情檢測部600的功能結(jié)構(gòu)例的框圖。 圖4是表示與攝像裝置100的臉位置標記重疊有關(guān)的功能結(jié)構(gòu)例 的框圖。
圖5是表示在顯示在顯示部161上的攝影圖像上重疊臉位置標記 時的重疊方法的一例的圖。
圖6是表示顯示在顯示部161上的圖像的顯示例的圖。圖7是表示顯示在顯示部161上的圖像的顯示例的圖。
圖8是表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉501至503的情況下的顯示例的圖。
圖9是表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉501至503的情況下的顯示例的圖。
圖IO是表示在顯示部161上顯示附加了矩形的臉位置標記后的 人臉504的情況下的顯示例的圖。
圖11是表示在顯示部161上顯示附加了矩形的臉位置標記后的 人臉505至507的情況下的顯示例的圖，
圖12是表示在顯示部161上顯示附加了矩形的臉位置標記后的 人臉508至510的情況下的顯示例的圖。
圖13是表示在顯示部161上顯示附加了矩形的臉位置標記后的 人臉511至513的情況下的顯示例的圖。
圖14是表示在顯示部161上顯示附加了矩形的臉位置標記后的 人臉514至518的情況下的顯示例的圖。
圖15是表示在顯示部161上顯示附加了矩形的臉位置標記后的 人臉519至521的情況下的顯示例的圖。
圖16是表示攝像裝置100進行的臉位置標記顯示處理的處理過 程的流程圖。
圖17是表示攝像裝置100進行的臉位置標記的透過率等的選擇 處理的處理過程的流程圖。
圖18是表示作為攝像裝置100的一個變形例的圖像處理裝置101 的功能結(jié)構(gòu)例的框圖。
符號說明
100攝像裝置
101圖像處理裝置
110控制部
120攝像部
121光學系統(tǒng)122攝像元件 130信號處理部 140圖像存儲部 150圖像壓縮解壓部 160用戶接口 161顯示部 162選擇接受部 170輸入輸出端子 180存儲介質(zhì) 190總線 200臉檢測部 210控制部 220圖像輸入部 230圖像放大縮小部 240圖4象保持部 250基準數(shù)據(jù)保持部 260判定部 270檢測結(jié)果輸出部 280圖像輸出部 600表情檢測部 610控制部 620圖像輸入部 630圖像放大縮小部 640圖像保持部 650基準數(shù)據(jù)保持部 660判定部 670檢測結(jié)果輸出部 680圖像輸出部 700保持部710振動傳感器 810圖像輸入部 820臉位置標記生成部 830重疊部 840圖像輸出部
具體實施例方式
以下參照附圖詳細地說明本發(fā)明的實施方式。
圖1是表示本發(fā)明實施方式的攝像裝置100的功能結(jié)構(gòu)例的框 圖。作為攝像裝置100,可以舉出數(shù)字照相機、數(shù)字攝像機等攝像裝 置或者附屬于便攜電話、個人計算機等終端裝置的相機等攝像裝置作 為例子。
攝像裝置100具備控制部110、攝像部120、信號處理部130、圖 像存儲部140、圖像壓縮解壓部150、用戶接口 160、輸入輸出端子170、 存儲介質(zhì)180、總線190、臉檢測部200、表情檢測部600、保持部700、 振動傳感器710。各塊間的圖像信號的收發(fā)通過直接的交換或者經(jīng)由 圖像存儲部140或總線190的交換來進行。
控制部110是根據(jù)存儲在存儲器(未圖示)中的各種控制程序來 控制攝像裝置100的各部分的控制部。
攝像部120具有光學系統(tǒng)121和攝像元件122，對來自被攝體的 入射光進行光電變換，變換成電信號，并將光電變換后的電信號輸出 到信號處理部130。光學系統(tǒng)121具有聚焦鏡頭和變焦鏡頭等的鏡頭 組，將經(jīng)由這些鏡頭組輸入的來自被攝體的入射光輸出到攝像元件 122。攝像元件122對從光學系統(tǒng)121輸出的入射光進行光電變換，并 將光電變換后的電信號輸出到信號處理部130。
信號處理部130對從攝像元件122輸出的電信號實施各種信號處 理，并將實施了信號處理后的圖像數(shù)據(jù)輸出到圖像存儲部140、圖像 壓縮解壓部150、用戶接口 160和臉檢測部200。作為信號處理部130 中的信號處理，包括降噪處理、電平校正處理、A/D轉(zhuǎn)換處理和色彩校正處理等信號處理。另外，信號處理部130根據(jù)控制部IIO的指示， 對從各部分輸入的圖像執(zhí)行各種圖像處理。
圖像存儲部140存儲在攝像裝置100中成為處理對象的圖像數(shù)據(jù)。
行壓縮或解壓。例如，由圖像壓縮解壓部150實施了壓縮處理后的圖 像數(shù)據(jù)被輸出到存儲介質(zhì)180并記錄在存儲介質(zhì)180中。另外，由圖 像壓縮解壓部150實施了解壓處理后的圖像數(shù)據(jù)被輸出到圖像存儲部 140、顯示部161、臉檢測部200。作為壓縮形式，例如可以采用JEPG (Joint Photographic Experts Group,聯(lián)合圖像專家組)形式。
用戶接口 160具有顯示部161和選擇接受部162，提供針對使用 攝像裝置100的用戶的接口。
顯示部161是顯示與信號處理部130或圖像壓縮解壓部150輸出 的圖像數(shù)據(jù)相對應的圖像的顯示部。顯示部161例如顯示作為攝像裝 置100要拍攝的被攝體的圖像的攝影圖像。
選擇接受部162將用戶輸入的選擇信息變換成電信號，并將變換 后的電信號輸出到控制部110。例如，在臉檢測部200從顯示在顯示 部161上的攝影圖像中檢測出臉的情況下，攝像裝置100在該臉上附 加臉位置標記，向用戶通知攝影圖像中包含臉。這樣，在圖像中包含 臉的情況下，可以設定成在該臉上附加臉位置標記(ON設定)，也 可以設定成不在該臉上附加臉位置標記(OFF設定)。在選擇接受部 162中進行該ON、 OFF設定。另外，在顯示在顯示部161上的圖像 中包含多張臉的情況下，在選擇接受部162中進行選擇用戶所希望的 人物的臉的情況下的選擇操作。
另外，用戶接口 160例如可以如圖15 (b)所示，使顯示部161 與選擇接受部162 —體構(gòu)成為觸摸屏，也可以如圖15 (c)所示，將 顯示部161作為液晶顯示器(LCD)，將選擇接受部162作為十字鍵 162a等硬鍵，分別構(gòu)成兩者。到外部存儲介質(zhì)等外部裝置、并將從外部存儲介質(zhì)輸入的圖像數(shù)據(jù)輸
出到圖像壓縮解壓部150的輸入輸出端子。
存儲介質(zhì)180是存儲圖像壓縮解壓部150輸出的圖像數(shù)據(jù)、并將 所存儲的圖像數(shù)據(jù)輸出到圖像壓縮解壓部150的圖像存儲介質(zhì)。作為 圖像存儲介質(zhì)，包括磁盤、光盤、半導體存儲介質(zhì)、磁帶等圖像存儲 介質(zhì)。另外，圖像存儲介質(zhì)是可以外部拆卸的存儲介質(zhì)和內(nèi)置存儲介 質(zhì)中的至少一者。
總線190是用于傳輸圖像數(shù)據(jù)的共用總線。
臉檢測部200檢測與輸入的圖像數(shù)據(jù)相對應的圖像中包含的人 臉。將參照圖2說明臉檢測部200的詳細情況。
表情檢測部600檢測由臉檢測部200檢測出的臉的各種表情等。 將參照圖3說明表情檢測部600的詳細情況。
保持部700是存儲各種信息的易失性/非易失性存儲介質(zhì)。
振動傳感器710檢測攝像裝置100的加速度、運動、傾斜等，并 將檢測出的各種信息輸出到控制部110。振動檢測器710例如可以利 用陀螺儀傳感器來實現(xiàn)。
圖2是表示臉檢測部200的功能結(jié)構(gòu)例的框圖。
臉檢測部200具有控制部210、圖像輸入部220、圖像放大縮小 部230、圖像保持部240、基準數(shù)據(jù)保持部250、判定部260、檢測結(jié) 果輸出部270和圖4象輸出部280。
控制部210按照來自控制部110的指示控制臉檢測部200的各部分。
圖像輸入部220在從信號處理部130、圖像存儲部140、圖像壓 縮解壓部150中的任何一個輸入了圖像數(shù)據(jù)時，將輸入的圖像數(shù)據(jù)輸 出到圖像放大縮小部230。
圖像放大縮小部230針對與圖像輸入部220輸出的圖像數(shù)據(jù)相對 應的圖像，對適合于臉的檢測的圖像執(zhí)行放大或縮小處理。圖像的放 大率或縮小率根據(jù)來自控制部110的指示來決定。
圖像保持部240保持圖像放大縮小部230進行了放大或縮小處理
后的圖像。
基準數(shù)據(jù)保持部250保持在臉檢測中使用的臉的基準數(shù)據(jù)，并將 所保持的臉的基準數(shù)據(jù)輸出到判定部260。這里作為基準的臉數(shù)據(jù)例 如是臉圖像本身、作為人臉的特征數(shù)據(jù)庫、與特定人物的臉有關(guān)的特 征數(shù)據(jù)庫等。 一般地，與臉圖像本身相比，特征數(shù)據(jù)可以用較小的存 儲容量保持更多的臉數(shù)據(jù)庫。
判定部260判定與圖像保持部240中保持的圖像數(shù)據(jù)對應的圖像 中是否包含臉，并將判定結(jié)果輸出到檢測結(jié)果輸出部270。具體地， 判定部260以一定的窗口尺寸部分地取出與圖像保持部240中保持的 圖像數(shù)據(jù)對應的圖像，根據(jù)所取出的圖像與保持在基準數(shù)據(jù)保持部 250中的臉數(shù)據(jù)的相關(guān)性的高低，來判定所取出的圖像是否為臉圖像。 重復執(zhí)行這些判定，判定與圖像保持部240中保持的圖像數(shù)據(jù)對應的 圖像中是否包含臉。
另外，判定部260根據(jù)與基準數(shù)據(jù)保持部250中保持的臉數(shù)據(jù)的 相關(guān)性的高低，抽出與對應于圖像保持部240中保持的圖像數(shù)據(jù)的圖 像中包含的臉有關(guān)的各種數(shù)據(jù)，并將所抽出的各種數(shù)據(jù)作為臉檢測結(jié) 果，輸出到檢測結(jié)果輸出部270。
結(jié)果后,'將所接收:判定結(jié)果和臉檢測結(jié)果輸出到控制部uo。'''
圖像輸出部280將保持在圖像保持部240中的圖像輸出到圖像存 儲部140。
這里說明臉檢測部200輸出的臉檢測結(jié)果的值。 作為臉檢測部200輸出的臉檢測結(jié)果的值，包括以下所示的(1) 至(6)等與臉區(qū)域有關(guān)的評價值。
(1) 臉的面積的大小(離相機的距離)
(2) 臉的位置(離圖像中心的距離)
(3) 臉相似性的值
(4) 臉朝向旁邊的程度(正面方向、上下左右任意一個方向)
(5) 臉的傾斜程度(歪頭)(6)臉的上下左右
可以將這些當中的任意一個值單獨用于臉位置標記的生成，并且 可以對它們進行加權(quán)處理，用于臉位置標記的生成。另外，作為(1) 至(6)以外的臉檢測結(jié)果的值，包括以下所示的(7)至(9)等與臉 的表情或臉的一部分的狀態(tài)等有關(guān)的評價值。 (7 )笑臉的程度
(8) 嚴肅的臉的程度
(9) 閉眼(眨眼)的程度 這些也可以用于臉位置標記的生成。
圖3 (a)是表示表情檢測部600的功能結(jié)構(gòu)例的框圖。 表情檢測部600具有控制部610、圖像輸入部620、圖像放大縮
小部630、圖像保持部640、基準數(shù)據(jù)保持部650、判定部660、檢測
結(jié)果輸出部670和圖像輸出部680。
控制部610按照來自控制部110的指示來控制表情檢測部600的
各部分。
在從圖像存儲部140輸入了與臉檢測部200檢測出的臉對應的圖 像數(shù)據(jù)時，圖像輸入部620向圖像放大縮小部630輸出所輸入的圖像 數(shù)據(jù)。
針對與圖像輸入部620輸出的圖像數(shù)據(jù)對應的圖像，圖像放大縮 小部630對適合于表情等各種信息的檢測的圖像執(zhí)行放大或縮小處 理。圖像的放大率或縮小率根據(jù)來自控制部110的指示來決定。
圖像保持部640保持圖像放大縮小部630進行了放大或縮小處理 后的圖像。
基準數(shù)據(jù)保持部650保持在表情檢測等中使用的臉的各部分等的 基準數(shù)據(jù)，并將所保持的基準數(shù)據(jù)輸出到判定部660。這里作為基準 的基準數(shù)據(jù)例如是眼或嘴等的圖像本身、作為人臉的特征數(shù)據(jù)庫、與 特定人物的臉有關(guān)的特征數(shù)據(jù)庫等，如圖3(b)所示，包括用于抽出 臉圖像中的右眼和左眼的右眼數(shù)據(jù)庫左眼數(shù)據(jù)庫651、用于判定笑臉 的笑臉數(shù)據(jù)庫652、用于判定眨眼臉的眨眼臉數(shù)據(jù)庫653、用于將由用
戶指定的人物作為特定人物抽出的特定人物數(shù)據(jù)庫654等。 一般地， 與圖像本身相比，特征數(shù)據(jù)可以用較小的存儲容量保持更多的各種數(shù) 據(jù)庫。
判定部660判定與圖像保持部640中保持的圖像數(shù)據(jù)對應的臉圖 像中的表情等，并將表情檢測結(jié)果輸出到檢測結(jié)果輸出部670。具體 地，判定部660以一定的窗口尺寸部分地取出與圖像保持部640中保 持的圖像數(shù)據(jù)對應的臉圖像，根據(jù)所取出的圖像與保持在基準數(shù)據(jù)保 持部650中的各種數(shù)據(jù)的相關(guān)性的高低，來抽出與所取出的圖像相關(guān) 的各種數(shù)據(jù)。重復執(zhí)行這些抽出處理，根據(jù)所抽出的各種數(shù)據(jù)來判定 與圖像保持部640中保持的圖像數(shù)據(jù)對應的臉圖像的表情等。
另外，判定部660根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值，判 定與圖像保持部640中保持的圖像數(shù)據(jù)對應的臉圖像的表情等，并將
輸出部670。
檢測結(jié)果輸出部670接收到判定部660輸出的表情檢測結(jié)果后， 將所接收到的表情檢測結(jié)果輸出到控制部110。
圖像輸出部680將保持在圖像保持部640中的圖像輸出到圖像存 儲部140。
以下說明根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值來判定被認為 是最主要的人物的情況。
例如，在攝影圖像中存在多張臉的情況下，可以對臉檢測部200 檢測出的各張臉的各種評價值進行綜合，判定被認為是最主要的人物， 通過使附加在該人物上的臉位置標記的顏色或粗細與附加在其他人物 上的臉位置標記不同，來向用戶告知該人物。
作為判定被認為是最主要的人物的判定方法，例如包括以下方 法使用以下的(式1)求出綜合評價值EO，將評價值EO最大的臉 判定為多張臉中最主要人物的臉。E01至E05表示各個臉評價值的加 權(quán)系數(shù)。
E0-E01x臉區(qū)域的面積
十E02x臉區(qū)域的坐標
+ E03x臉相似性的值
+ E04x正面朝向的程度
+ E05x臉傾斜小的程度......(式1)
接著說明根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值來求臉的焦點 '光圉的評價值E1的情況。
作為求臉的焦點'光圏的評價值E1的方法，例如包括使用以下(式 2)來求出的方法。E10或E11表示各個臉評價值的加權(quán)系數(shù)。 El -ElOx焦點評價值
+ ￡1^光圍評價值......(式2)
接著說明根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值來求臉表情的 評價值E2的情況。參照圖17來說明求臉表情的評價值E2的動作。 作為求臉表情的評價值E2的方法，例如包括使用以下(式3) 來求出的方法。E20或E21表示各個臉評價值的加權(quán)系數(shù)。 E2-E20x笑臉(或嚴肅的臉)的程度
十E21x眨眼回避程度……(式3) 接著說明根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值來求表情'眨 眼程度的情況。
首先說明計算表情程度的方法。
在最好使用對人物進行攝影時的攝影模式、即肖像模式等來對人 物進行攝影的情況下，不漏掉作為被攝體的人物嫣然一笑變成笑臉的 瞬間而按下快門(或作為動態(tài)圖像來錄制)是很重要的。目前，作為 被攝體的人物是否充分地變成笑臉是由攝影者來判斷的。
在本發(fā)明的實施方式中，通過使該笑臉的程度數(shù)值化，可以由攝 像裝置100來判斷被攝體人物是笑臉。
為了識別人的臉，與綜合了大量臉數(shù)據(jù)的數(shù)據(jù)庫進行模板匹配的 方法是已知的(例如參照特開2003 — 271933、特開2004 - 30629等)。 因此，例如對于笑臉，根據(jù)大量笑臉的樣本圖像來構(gòu)筑笑臉數(shù)據(jù)庫， 對該數(shù)據(jù)庫與取出輸入圖像的一部分而形成的圖像進行模板匹配處
理，由此可以判定"是笑臉"/"不是笑臉"。另外，由此可以進行笑臉程 度的數(shù)值化。
作為笑臉程度的計算式，例如包括以下(式4)的計算式。 笑臉程度Esmile
=Ws0x (眼變細的程度)
+ Wslx (嘴的左右端橫向擴展的程度)
+ Ws2x (上下唇間看到牙齒的程度)
+ Ws3x (嘴的左右端上升的程度)
+ Ws4x (笑紋靠近嘴的左右角的程度)
+ Ws5x (面頰向前突出(對光變白)的程度)
+ Wsii......
(Wsn:各要素的加權(quán)系數(shù))……(式4) 另外，在證件照拍攝等中，嚴肅的臉會變成按快門的時機。這種 情況下，與笑臉同樣，根據(jù)大量嚴肅的臉的樣本圖像來構(gòu)筑嚴肅臉數(shù) 據(jù)庫，通過進行模板匹配處理，將嚴肅程度數(shù)值化。
在嚴肅臉的情況下的計算式中，對于眼崢開的程度、嘴的橫向?qū)?度窄的程度等，可以利用大致相反的狀態(tài)來定義上述(式4)中的各 要素。
接著說明計算眨眼程度的方法。
在進行人物攝影的情況下，最好基本上避免眨眼。因此，眨眼期 間(即從開始閉目艮起到完全閉眼、完全崢開眼為止的時間)被認為不 適合作為按快門的時機。特別是，在拍攝多人的集體照片的情況下， 在所有人物都不眨眼而完全崢開眼的時刻進行拍攝是很困難的。但是， 對此，目前也是由攝影者來判斷。
在本發(fā)明的實施方式中，可以由攝像裝置100來識別被攝體人物 是否正在眨眼，并且可以將該眨眼的程度數(shù)值化。對于眨眼，也可以 根據(jù)大量眨眼臉的樣本圖像來構(gòu)筑眨眼臉數(shù)據(jù)庫，并對該數(shù)據(jù)庫與取 出輸入圖像的一部分而形成的圖像進行模板匹配處理，由此來判定"是 眨眼臉，，/"不是眨眼臉"。另外，可以進行眨眼程度的數(shù)值化。
接著說明檢測特定人物的方法。
所謂特定人物是指由攝像裝置100的用戶指定的人物。與該人物 的臉區(qū)域有關(guān)的各種數(shù)據(jù)作為特定人物數(shù)據(jù)庫654被保持在攝像裝置 100內(nèi)。作為各種數(shù)據(jù)，例如包括臉的輪廓、臉的構(gòu)成部分(眼、鼻、 眉、嘴、耳、頭發(fā)、胡須、眼鏡等)的形狀、特征、位置等。另外， 也可以從外部向攝像裝置100提供特定人物的數(shù)據(jù)。將與該特定人物
據(jù)進行比較，計算其相關(guān)值r判定是否為同一人物，如果是同一人物，
則判定該人物為特定人物。對于這樣的基于臉圖像的特定人物識別， 記栽在特公平6 - 7388等中的技術(shù)是已知的。
圖4是表示本發(fā)明實施方式的攝像裝置100的與臉位置標記重疊 有關(guān)的功能結(jié)構(gòu)例的框圖。
攝像裝置100具有圖像輸入部810、臉檢測部200、表情檢測部 600、臉位置標記生成部820、重疊部830、圖像輸出部840和選擇接 受部162。
圖像輸入部810輸入圖像，并將所輸入的圖像輸出到臉檢測部 200、臉位置標記生成部820和重疊部830。
臉檢測部200與圖l和圖2中所示的臉檢測部200相同，用于從 圖像輸入部810輸出的圖像中檢測出臉，并將檢測結(jié)果等輸出到表情 檢測部600和臉位置標記生成部820。
臉位置標記生成部820生成表示臉檢測部200檢測出的臉在圖像 輸入部810輸出的圖像中的位置的臉位置標記，并將所生成的臉位置 標記輸出到重疊部830。對于臉位置標記，才艮據(jù)臉檢測部200輸出的 檢測結(jié)果和表情檢測部600輸出的表情檢測結(jié)果等，生成臉檢測部200 檢測出的各張臉的臉位置標記。對于臉位置標記生成部820生成的臉 位置標記，將利用圖5至圖15詳細說明。另外，臉位置標記生成部 820在從選擇接受部162輸出了與臉位置標記有關(guān)的ON設定時，生 成臉位置標記，而在從選擇接受部162輸出了與臉位置標記有關(guān)的 OFF設定時，不生成臉位置標記。重疊部830將圖像輸入部810輸出的圖像與臉位置標記生成部 820生成的臉位置標記進行重疊，并將重疊后的圖像輸出到圖像輸出 部840。對于重疊方法，將使用圖5進行說明。
圖像輸出部840輸出由重疊部830重疊后的重疊圖像。圖像輸出 部840例如對應于顯示重疊圖像的顯示部161。另外，例如對應于將 與重疊圖像對應的圖像數(shù)據(jù)輸出到顯示重疊圖像的其它外部裝置的輸 入輸出端子170。另外，可以將與重疊圖像對應的圖像數(shù)據(jù)輸出到存 儲介質(zhì)180等圖像存儲介質(zhì)，并將重疊圖像存儲在該外部裝置中。
選擇接受部162與圖l所示的選擇接受部162相同，將涉及與用 戶輸入的臉位置標記有關(guān)的ON設定或OFF設定的選擇信息輸出到臉 位置標記生成部820。
圖5是表示在顯示在顯示部161上的攝影圖像上重疊臉位置標記 時的重疊方法的一例的圖。
圖5 (a)是表示作為顯示在顯示部161上的攝影圖像的圖像301 的圖。顯示在顯示部161上的圖像301在圖像存儲部140中的規(guī)定地 址中被依次更新。另外，圖像301中包含人臉501至503。
圖5 (b)是表示重疊在圖像301上的、由圖形和記號等構(gòu)成的 臉位置標記411至413的圖。這些臉位置標記411至413在圖像存儲 部140中被描繪在與圖5 (a)所示的圖像301不同的地址中。這些臉 位置標記411至413被描繪在與包含在圖像301中的人臉501至503 對應的位置上。
圖5 (c)是表示圖5 (a)所示的圖像301與圖5 (b)所示的臉 位置標記411至413重疊后的圖像、即重疊圖像303的圖。重疊圖像 303以設定的合成比將攝影圖像與臉位置標記重疊。通過使該合成比 可以在0 ~ 100 %的范圍內(nèi)任何設定，可以改變臉位置標記的透過率。 由此可以在重疊圖像中以使攝影圖像以規(guī)定的透過率透過的方式來顯 示臉位置4示i己。
接著參照附圖來說明顯示在顯示部161上的顯示例。
圖6和圖7表示顯示在顯示部161上的圖像的顯示例，表示臉位
置標記的形狀的顯示例。
圖6(a)是表示在臉位置標記的顯示被設定為OFF時顯示部161 的顯示例(圖像304)的圖。這樣，在選擇接受部162中選擇了臉位 置標記顯示為OFF的情況下，在顯示部161上不顯示臉位置標記。
圖6(b) 、 7(a) 、 7(b)是表示在臉位置標記的顯示被設定 為ON時顯示部161的顯示例的圖。這樣，在選擇接受部162中選擇 了臉位置標記顯示為ON的情況下，當顯示在顯示部161上的圖像中 包含臉時，在顯示部161上顯示臉位置標記。
圖6( b )表示在顯示部161上顯示矩形的臉位置標記421至423、 使其包圍人臉501至503的至少一部分的情況下的顯示例(圖像305 )。 矩形的臉位置標記是可以最簡單地顯示的形狀，其形狀可以是正方形， 也可以是長方形。例如，如圖6(b)所示，如果以臉的上下左右方向 與臉位置標記的矩形的各邊垂直的方式顯示臉位置標記，則可以容易 地判斷顯示在顯示部161上的臉是否在轉(zhuǎn)動。具體地說，象臉502那 樣以臉的前后方向為軸轉(zhuǎn)動臉(以下稱為"臉傾斜")的情況下，象臉 位置標記422那樣，與該臉的傾斜相一致，以臉位置標記的矩形中心 為轉(zhuǎn)動中心，使該矩形轉(zhuǎn)動。另外例如象臉503那樣以臉的上下方向 為軸轉(zhuǎn)動臉(以下稱為"臉朝向旁邊")的情況下，象臉位置標記423 那樣，與該臉的正面方向相一致，使臉位置標記的矩形轉(zhuǎn)動。
圖7(a)表示在顯示部161上顯示圓形的臉位置標記424至426、 使其包圍人臉501至503的情況下的顯示例(圖像306)。在本發(fā)明 實施方式所示的各圖中，為了簡化臉的形狀，使臉的形狀為圓形。但 是，人臉的輪廓常常為縱長的橢圓形。因此，可以與人臉的輪廓相一 致，來形成橢圓形的臉位置標記。這樣，通過使橢圓形的臉位置標記 與人臉的輪廓相一致，可以使用戶從視覺上容易地區(qū)分人臉。例如， 在使臉位置標記為橢圓形的情況下，與圖6 (b)所示的矩形的情況相 同，與該臉的轉(zhuǎn)動等相一致地使臉位置標記的橢圓形轉(zhuǎn)動。
圖7 ( b )表示在顯示部161上顯示四角點的臉位置標記427至 429、使其包圍人臉501至503的情況下的顯示例(圖像307)。四角 點的臉位置標記如圖7(b)所示，是僅顯示矩形的四個角的部分、不 顯示矩形各邊的中央部分的臉位置標記。這樣，通過僅顯示矩形的四 個角的部分，可以使顯示部161上顯示的圖像307中的臉顯示標記的 顯示區(qū)域較小。因此可以容易地看到顯示部161上顯示的攝影圖像。 另外，在使臉位置標記為四角點的情況下，與圖6(b)所示的矩形的 情況相同，與該臉的轉(zhuǎn)動等相一致地使四角點的臉位置標記轉(zhuǎn)動。
圖8和圖9表示在顯示部161上顯示附加了矩形的臉位置標記后 的人臉501至503的情況下的顯示例，表示臉位置標記的顯示變化例。
圖8(a)表示分別用不同的顏色顯示臉位置標記431至433的顯 示例(圖像308)。例如，在顯示部161上顯示多種顏色的情況下，
標記，使附加在該人物以外的人物的臉上的臉位置標記為藍色的臉位 置標記，使附加在傾斜的臉或朝向旁邊的臉上的臉位置標記為紅色的 臉位置標記。這樣，通過根據(jù)顯示部161上顯示的人物或其臉來變更 臉位置標記的顏色，可以使用戶容易地識別各張臉的狀態(tài)等。具體地 說，在設顯示部161上顯示的人物中最主要人物的臉為臉501的情況 下，向臉501附加黃色的臉位置標記431。另外，向傾斜的臉502附 加紅色的臉位置標記432，向朝向旁邊的臉503附加紅色的臉位置標 記433。在圖8 (a)中省略了各種顏色的顯示。
圖8 (b)表示使臉位置標記434至436分別為實線或虛線，或 者變更實線或虛線的粗細來區(qū)分臉501至503的顯示例(圖像309)。 例如，在顯示部161上顯示多張臉的情況下，如果是臉不傾斜也不朝 向旁邊的狀態(tài)，則使附加在該臉上的臉位置標記為粗實線的臉位置標 記，使附加在傾斜的臉上的臉位置標記為虛線的臉位置標記，使附加 在朝向旁邊的臉上的臉位置標記為實線的臉位置標記。這樣，通過根 據(jù)顯示部161上顯示的人物或其臉來變更臉位置標記的線的粗細等， 可以使用戶容易地識別各張臉的狀態(tài)等。具體地說，在顯示部161上 顯示的人物中，向臉不傾斜也不朝向旁邊的人物的臉501附加粗實線 的臉位置標記434，向臉傾斜的人物的臉502附加虛線的臉位置標記
435,向臉朝向旁邊的人物的臉503附加實線的臉位置標記436。另夕卜， 使臉501的實線與臉503的實線相比較粗。另外，也可以將實線或虛 線等線的種類進一步設置多種，根據(jù)臉的性質(zhì)或狀態(tài)來使用這些種類。 圖8 ( c )表示通過變更臉位置標記437至439各自的透過度來區(qū) 分臉501至503的顯示例(圖像310 )。例如，在顯示部161上顯示 多張臉的情況下，在多張臉中臉相似性的值高的臉的情況下，降低附 加在該臉上的臉位置標記的透過率，進行較濃的臉位置標記顯示，在 多張臉中臉相似性的值低的臉的情況下，提高附加在該臉上的臉位置 標記的透過率，進行較淺的臉位置標記顯示。這樣，通過根據(jù)顯示部 161上顯示的人物或其臉來變更臉位置標記的透過率，可以使用戶容 易地識別各張臉的狀態(tài)等。具體地說，在設顯示部161上顯示的人物 中臉相似性的值低的人物的臉為臉501、臉相似性的值高的人物的臉 為臉502和503的情況下，向臉501附加透過率高的臉位置標記437， 向臉502和503附加透過率低的臉位置標記438和439。由于附加在 臉501上的臉位置標記437的透過率高，因此用戶難以識別臉位置標 記437。因此，可以使臉位置標記437的線加粗來顯示，以便用戶容 易識別。
圖9(a)表示使臉位置標記440至442中的至少一個閃爍顯示的 顯示例(圖像311)。例如，在顯示部161上顯示多張臉的情況下， 使附加在被判定為最主要的人物的臉上的臉位置標記閃爍顯示，使附 加在該人物以外的人物的臉上的臉位置標記為通常顯示。另外，在顯 示部161上顯示多張臉的情況下，在焦點或光圏變化后，使附加在焦 點或光圏達到最合適的值的人物的臉上的臉位置標記閃爍顯示規(guī)定時 間，使附加在該人物以外的人物的臉上的臉位置標記為通常顯示。這 樣，通過根據(jù)顯示部161上顯示的人物或其臉等來變更臉位置標記的 顯示狀態(tài)，可以使用戶容易地識別各張臉的狀態(tài)等。具體地說，在設 顯示部161上顯示的人物中最主要人物的臉為臉501、其他人物的臉 為臉502和503的情況下，使附加在臉501上的臉位置標記440閃爍 顯示，使附加在臉502和503上的臉位置標記441和442為通常顯示。
圖9 (b)和(c)表示在臉位置標記443至448的內(nèi)側(cè)(臉區(qū)域) 和外側(cè)變更圖像的亮度或顏色來進行顯示的顯示例(圖像312和313 )。 例如，在顯示部161上顯示臉的情況下，對于臉位置標記的框架內(nèi)側(cè) 的圖像，不變更亮度等，而對于臉位置標記的框架外側(cè)的圖像，降低 顏色的色度、使其為單一顏色、或者使其為無彩色(灰色)。這樣， 通過變更顯示部161上顯示的臉位置標記的內(nèi)側(cè)和外側(cè)的圖像的顯示 狀態(tài)，可以使用戶更容易地辨別臉區(qū)域。具體地說，如圖9(b)所示， 對于顯示部161上顯示的臉位置標記443至445的框架內(nèi)側(cè)的圖像不 變更，而對于臉位置標記443至445的框架外側(cè)的圖像，使其為無彩 色(灰色)。另外，如圖9 (c)所示，對于顯示部161上顯示的臉位 置標記446至448的框架內(nèi)側(cè)的圖像，附加容易識別臉區(qū)域的顏色， 而對于臉位置標記446至448的框架外側(cè)的圖像，不變更。在這些情 況下，也可以僅向被判斷為最主要的人物的臉附加臉位置標記的框架 線，而對于其他人物的臉不附加框架線。
圖IO表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉504的情況下的顯示例，表示臉位置標記的顯示變化例。
通過根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值當中、與各個臉區(qū) 域有關(guān)的評價值，使臉位置標記為不同的顯示，可以容易地向用戶通 知臉的變化和攝影條件的變化等。例如，參照圖IO說明根據(jù)笑臉的程 度來變更臉位置標記的透過度的顯示例(圖像314和315)。
例如，在顯示部161上顯示臉的情況下，在該臉正在笑的程度高 的情況下，降低附加在該臉上的臉位置標記的透過率，進行較濃的臉 位置標記顯示。另一方面，在該臉正在笑的程度低、笑容少的情況下， 提高附加在該臉上的臉位置標記的透過率，進行較淺的臉位置標記顯 示。這樣根據(jù)臉笑的程度的變化來改變透過率。這種情況下，最好以 不被用戶識別的細致的步幅來改變臉位置標記的透過率。這樣，通過 根據(jù)顯示部161上顯示的人物的笑臉的程度來變更臉位置標記的透過 率，可以使用戶容易地識別該笑臉。具體地說，如圖10(a)所示， 對于顯示部161上顯示的人物的臉504,在正在笑的程度低、笑容少 的情況下，向臉504附加透過率高的臉位置標記450。另一方面，如 圖10(b)所示，在臉504正在笑的程度高的情況下，向臉504附加 透過率低的臉位置標記451。
另外，與根據(jù)笑臉的程度來變更臉位置標記的透過度的顯示例相 同，對于判斷為被攝體人物充分變成笑臉的情況以及判斷為多個人物 都沒有眨眼而都崢著眼的情況等，也可以通過使臉位置標記閃爍等， 向用戶告知按快門時機，催促進行攝影。
圖11表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉505至507的情況下的顯示例(圖像316和317),表示對應于焦 點或光圍狀態(tài)的臉位置標記的顯示變化例。
通過根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值當中、與各個臉區(qū) 域有關(guān)的評價值，使臉位置標記為不同的顯示，可以容易地向用戶通 知攝影條件等。例如，參照圖ll說明根據(jù)焦點或鏡頭光圏對準的程度 來變更臉位置標記的顯示的顯示例。
作為檢測聚焦程度的方法，包括以下方法在臉區(qū)域內(nèi)設置AF 檢波框，在框的內(nèi)側(cè)求出高頻分量，高頻分量的積分值越大，就越可 能視為已聚焦。因此，可以得到聚焦程度作為高精度的評價值。另夕卜， 作為鏡頭光圏對準程度的檢測方法，包括以下方法預先設定適當?shù)?鏡頭光圏值和此時的臉圖像亮度值，越接近該值，就越可能視為鏡頭 光圏對準。
另外，作為向用戶告知現(xiàn)在聚焦在圖像的哪個部分上的方法，考 慮幾個例子。例如，在聚焦部分上重疊顏色。另外，以根據(jù)聚焦程度 來切換顏色等的方式改變顯示。另外，顯示圖像整體或AF框內(nèi)的頻 率分布曲線，并且顯示一邊聚焦高頻分量一邊增加的情況來向用戶通 知。事先顯示AF用的多個框，改變聚焦的框的顯示顏色。或者以使 其閃爍的方式來改變顯示。
但是，這些例子是用于僅向用戶告知聚焦部分的顯示。而在本發(fā) 明的實施方式中，臉檢測部200從圖像中檢測出人臉，針對該臉的臉 區(qū)域求出聚焦的程度，據(jù)此來進行臉位置標記的顯示。這樣，不是將
圖像整體作為AF檢波對象，而是僅對作為圖像識別結(jié)果得到的臉區(qū) 域設置AF檢波框，將聚焦程度作為臉位置標記進行顯示，由此向用 戶告知。用戶在得知被識別為臉的區(qū)域的同時，也得知在各個臉區(qū)域 聚焦到什么程度。因此，在多個人物中存在用戶特別認為是主要的人 物的情況下，可以容易地理解適當?shù)腁F是否針對該人物的臉區(qū)域發(fā) 揮作用。
例如，在離攝像裝置100的距離不同的多張臉顯示在顯示部161 上的情況下，使聚焦程度最高的臉和其它臉的臉位置標記的顏色或粗 細不同地進行顯示，或者根據(jù)聚焦的程度變更臉位置標記的透過度來 進行顯示。另外，同樣地，在針對顯示部161上顯示的多個人物的對 光方式不同的情況下，使鏡頭光團最對準的臉和其它臉的臉位置標記 的顏色或粗細不同地進行顯示，或者根據(jù)光圏對準的程度變更臉位置 標記的透過度來進行顯示。這樣，通過根據(jù)顯示部161上顯示的人物 的臉的聚焦程度等來變更臉位置標記的顯示，可以使用戶容易地判斷 對該臉是否聚焦等攝影狀態(tài)。
具體地說，如圖ll(a)所示，設顯示部161上顯示的人物當中 聚焦程度最高的人物的臉為臉506、比臉506近的人物的臉為臉505、 比臉506遠的人物的臉為507的情況下，用粗的黃色顯示附加在臉506 上的臉位置標記453，用細的紅色顯示附加在臉505和507上的臉位 置標i己452和454。
另外，如圖ll(b)所示，在顯示部161上顯示的多個人物的對 光方式不同的情況下，在設光圏對準程度最高(適當?shù)溺R頭光圍值) 的人物的臉為臉505、光團對準程度低且顏色暗的臉為臉506、光團對 準程度低且顏色亮的臉為臉507的情況下，用粗的黃色顯示附加在臉 505上的臉位置標記455，用細的紅色顯示附加在臉506和507上的臉 位置標記456和457。
圖12表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉508至510的情況下的顯示例(圖像318)，表示對應于特定人物 的有無的臉位置標記的顯示變化例。
通過根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值當中、與各個臉區(qū) 域有關(guān)的評價值，使臉位置標記為不同的顯示，可以容易地向用戶通 知特定人物。
例如，在顯示部161上顯示有多張臉的情況下，在多張臉中存在 被識別為特定人物的臉的情況下，優(yōu)先于與臉有關(guān)的其它評價值，執(zhí) 行用于明確區(qū)分被識別為特定人物的臉和其它臉的臉位置標記顯示。 例如使附加在特定人物上的臉位置標記閃爍顯示。這樣，在顯示部161 上顯示的人物中存在特定人物的情況下，通過變更臉位置標記的顯示， 可以使用戶容易地識別該臉為特定人物的臉。
具體地說，如圖12所示，在使顯示部161上顯示的人物當中的 特定人物的臉為臉508、未知人物的臉為臉509和510的情況下，使 附加在臉508上的臉位置標記458加粗顯示并且閃爍顯示，使附加在 臉509和臉510上的臉位置標記459和460變細顯示。
圖13表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉511至513的情況下的顯示例(圖像319 )，表示對應于臉的朝向 或臉的傾斜的臉位置標記的顯示變化例。
通過根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值當中、與各個臉區(qū) 域有關(guān)的評價值，與臉位置標記一起顯示臉朝向標記或臉傾斜標記， 可以容易地向用戶通知臉的朝向或臉的傾斜。
例如，在顯示部161上顯示有多張臉的情況下，在多張臉中存在 不是正面而是朝向上下左右方向中的任意方向的臉的情況下，向該臉 附加臉位置標記，并且在臉位置標記的內(nèi)側(cè)或其附近顯示對應于臉的 朝向的方向箭頭等臉朝向標記。另外，也可以根據(jù)該臉從正面朝向偏 離什么程度的角度來變更箭頭的長度、顏色、濃度等，從而切換臉朝 向標記的顯示，來向用戶進行通知。這樣，在顯示部161上顯示的人 物中存在不朝向正面的臉的情況下，通過顯示臉位置標記并同時顯示 臉朝向標記，可以使用戶容易地識別該臉是沒有朝向正面的臉。
另外，在顯示部161上顯示有多張臉的情況下，在多張臉中存在 使臉傾斜的人物的情況下，向該臉附加臉位置標記，并且在臉位置標
記的內(nèi)側(cè)或其附近顯示表示臉的中心線或臉的水平線等的臉傾斜標
記。具體地說，如圖13所示，在顯示部161上顯示的人物當中，在臉 轉(zhuǎn)動的人物的臉511上與臉位置標記461 —起顯示臉朝向標記601。 并且，在臉傾斜的人物的臉513上與臉位置標記463 —起顯示由臉的 中心線602和臉的水平線603構(gòu)成的臉傾斜標記。另外，在朝向正面 的人物的臉512上顯示通常的臉位置標記462。
圖14表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉514至518的情況下的顯示例(圖像320至322 )，表示對應于臉 的上下左右方向的臉位置標記的顯示變化例。
通過根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值當中、與各個臉區(qū) 域有關(guān)的評價值，在臉位置標記上變更表示臉的上下左右中的至少一 個的邊的顯示，可以容易地向用戶通知臉的朝向或臉的傾斜。
例如，在顯示部161上顯示臉的情況下，向該臉附加臉位置標記， 并且將臉位置標記中的臉的上下方向的上側(cè)的邊顯示為表示是臉的上 側(cè)。例如，用紅色加粗顯示臉位置標記中的臉的上下方向的上側(cè)的邊， 對于其它邊以通常的粗細用黃色顯示。這樣，在顯示部161上顯示的 圖像中存在人物的臉的情況下，通過在該臉上顯示臉位置標記，并且 以特定的方式顯示臉的上下方向的上側(cè)的邊，可以使用戶容易地識別 該臉的上側(cè)。
具體地說，如圖14 (a)所示，對于顯示部161上顯示的人物的 臉514至516，分別附加臉位置標記464至466，用紅色加粗顯示相當 于臉位置標記464至466中的各張臉的上下方向的上側(cè)的邊464a至 466a，對于其它邊則以通常的粗細進行黃色顯示。顏色的顯示在此省 略。
另外，如圖14 (b)和(c)所示，對于顯示部161上顯示的人物 的臉517和518,分別附加臉位置標記467至470，用紅色加粗顯示相 當于臉位置標記467至470中的各張臉的上下方向的上側(cè)的邊467a 至470a,對于其它邊則以通常的粗細進行黃色顯示。顏色的顯示在此 省略。這樣，在靜止畫攝影中，如圖14 (b)和(c)所示，雖然用縱 長的視角拍攝的機會多，但通過用特定的方式顯示相當于臉位置標記 中的各張臉的上下方向的上側(cè)的邊，可以容易地判別臉的上下左右，
從而攝像裝置IOO可以自動地識別是用縱長的視角進行的拍攝。
另外，圖14 (b)表示使攝像裝置100的左右兩端的一端朝下進 行拍攝的情況下的攝影圖像321，圖14(c)表示使攝像裝置100的另 一端朝下進行拍攝的情況下的攝影圖像322。在攝影圖像321和322 上顯示作為表示攝像裝置100的上側(cè)的顯示的相機顯示350，由此可 以使用戶容易地識別攝像裝置100所判斷的縱長的視角的上下左右方 向?？梢詫⑴c該縱長視角有關(guān)的信息作為所拍攝的攝影圖像的附屬信 息與攝影圖像一起記錄在存儲介質(zhì)中。另外，在該情況下，當顯示部 161上顯示的攝影圖像的上側(cè)與存儲在存儲介質(zhì)中的縱長的各圖像中 的上側(cè)不一致時，可以將該情況顯示在顯示部161上。這樣可以使存 儲在存儲介質(zhì)中的攝影圖像的縱長圖像的上下方向一致，因此在顯示 部161上觀看存儲在存儲介質(zhì)中的各圖像時，縱長圖像的上下方向一 致，從而可以容易地觀看。
另外，在矩形的臉位置標記的情況下，只要可以顯示相當于臉的 上側(cè)、下側(cè)、左側(cè)、右側(cè)的各邊中的任意一個(例如臉的上側(cè)的邊)， 就可以容易地識別其它方向。因此，考慮到顯示的簡化或用戶的易見 性等，例如用不同的顏色僅顯示臉的上側(cè)的邊，或者用虛線等顯示。 另外，也可以通過將相當于臉的上側(cè)、下側(cè)、左側(cè)、右側(cè)的各邊進行 分色顯示等，來容易地識別各邊。對于臉的上下左右，也可以根據(jù)振 動傳感器710檢測出的各種信息來求出。
另外，在本發(fā)明實施方式中，在顯示臉位置標記中的臉的上下左 右方向中的任意一個的情況下，將相當于該任意一個方向的臉位置標 記的邊顯示為不同于其它邊，但也可以在臉位置標記之外生成顯示該 臉位置標記中的臉的上下左右方向中的任意一個的標記、即特定位置 顯示標記，在該臉位置標記上或其附近顯示特定位置顯示標記。
圖15表示在顯示部161上顯示附加了矩形的臉位置標記后的人 臉519至521的情況下的顯示例(圖像323至325 )，表示主要人物
的臉中的臉位置標記的顯示變化例。
通過根據(jù)臉檢測部200輸出的臉檢測結(jié)果的值當中、與各個臉區(qū) 域有關(guān)的評價值，使附在被認為最主要的人物的臉上的臉位置標記的 顯示與附在其他人物的臉上的臉位置標記的顯示不同，可以容易地向 用戶通知主要人物的臉。
例如，在顯示部161上顯示有多張臉的情況下，在多張臉中存在 被判定是最主要人物的臉的臉的情況下，用紅色加粗顯示附在該臉上 的臉位置標記，以通常的粗細用黃色顯示附在其他人物的臉上的臉位 置標記。另外，在被判定是最主要人物的人物與用戶意圖的人物不同 的情況下，可以在用戶接口 160的選擇接受部162中選擇用戶意圖的 人物的臉。進而將用戶選擇的臉作為主要人物繼續(xù)跟蹤，直到不再檢 測出其臉區(qū)域，并且附在該臉上的臉位置標記也保持與其他人物相區(qū) 別的顯示狀態(tài)。這樣，在顯示部161上顯示的圖像中存在最主要人物 的臉的情況下，通過使附在該臉上的臉位置標記的顯示與其它的臉位 置標記不同，可以使用戶容易地識別該臉。另外，在繼續(xù)跟蹤圖像中 包含的多個人物的臉的情況下，CPU的負荷大，但通過僅繼續(xù)跟蹤主 要人物的臉，可以減輕CPU的負荷。
具體地說，如圖15 (a)所示，對于顯示部161上顯示的人物的 臉519至521，設由攝像裝置100判定為最主要人物的人物的臉為臉 520。這種情況下，向各張臉上附加臉位置標記471至473，用紅色加 粗顯示附加在被判定為最主要人物的人物的臉520上的臉位置標記 472，對于其它的臉位置標記471和473,以通常的粗細進行黃色顯示。 顏色的顯示在此省略。
這里，對于顯示部161上顯示的人物的臉519至521,設由攝像 裝置100判定為最主要人物的人物的臉為臉520,并將用戶接口 160 作成觸摸屏。這種情況下，在被攝像裝置100判定為最主要的人物與 用戶意圖的人物不同的情況下，如圖15(b)所示，通過在用戶接口 160上用手指800按下用戶意圖的人物的臉部分，可以從顯示部161 上顯示的人物的臉519至521中進行選擇。例如，設由用戶選擇的人
物的臉為臉521。這種情況下，向各張臉上附加臉位置標記471至473， 用紅色加粗顯示附加在由用戶選擇的人物的臉521上的臉位置標記 473，對于其它的臉位置標記471和472,以通常的粗細進行黃色顯示。 顏色的顯示在此省略。
另外，對于顯示部161上顯示的人物的臉519至521，設由攝像 裝置100判定為最主要人物的人物的臉為臉520，并將用戶接口 160 的選擇接受部162作成上下左右方向的十字鍵162a。這種情況下，在 被判定為最主要的人物與用戶意圖的人物不同的情況下，如圖15 (c) 所示，可以使用十字鍵162a通過手指801的按下從顯示部161上顯示 的人物的臉519至521中選擇用戶意圖的人物。這種情況下，設由用 戶選擇的人物的臉為臉521。這種情況下，向各張臉上附加臉位置標 記471至473,用紅色加粗顯示附加在所選擇的人物的臉521上的臉 位置標記473,對于其它的臉位置標記471和472，以通常的粗細進行 黃色顯示。顏色的顯示在此省略。
這里說明將用戶接口 160中的雙向操作性應用于自動聚焦(AF (Auto Focus))的情況。
在用戶利用用戶接口160中的雙向操作性選擇了主要人物的情況 下，例如作為攝像裝置100的控制軟件的動作，利用臉檢測部200檢 測出的臉區(qū)域的水平'垂直坐標和臉區(qū)域尺寸，將自動聚焦的檢波框 (AF檢波框)設置在所選擇的主要人物的臉、身體、手腳上。然后， 即使存在被攝體距離不同的多個人物，也僅在該主要人物上設置AF 檢波框，驅(qū)動聚焦鏡頭，使得正好聚焦于該主要人物上。由此，可以 不受其他人物或背景的影響，針對主要人物實現(xiàn)最佳的自動聚焦動作。
接著說明將用戶接口 160中的雙向操作性應用于自動光圏控制 (自動曝光控制)(AE ( Auto Exposure ))的情況。
可以將用戶接口 160中的雙向操作性應用于自動光圏控制。例如， 在同一圖像內(nèi)存在多個人物的臉的情況下，由于照明或?qū)夥绞?、?張臉的顏色'亮度等的不同，各張臉的最佳光圏值不同。在這樣的情況 下，通過由用戶選擇一個臉區(qū)域，對該臉區(qū)域重新設定AE檢波框，
并改變光圏，以使該臉達到最佳的亮度。由此，可以避免由于來自其
他人物的影響使得AE偏離或出錯，從而可以防止AE被背景(天空、 壁、通過物體、樹等)影響而使主要人物的臉區(qū)域變黑或變白的光團。
接著說明將用戶接口 160中的雙向操作性應用于自動白平衡控制 (AWB ( Auto White Balance ))的情況。
可以將用戶接口 160中的雙向操作性應用于自動白平衡控制。在 同一圖像內(nèi)存在多個人物的臉的情況下，由于光源的種類(太陽光' 白熾燈'熒光燈)、其色溫、光量的不同，最佳的白平衡不同。在這樣 的情況下，通過由用戶選擇一個臉區(qū)域，對該臉區(qū)域重新設定AWB 檢波框，并改變針對白平衡的各色的增益值，以使該臉達到最佳的膚 色。由此，可以避免由于來自其他人物的影響使得AWB偏離或出錯， 從而可以防止AWB被背景(天空、壁、通過物體、樹等)影響而使 主要人物的臉區(qū)域的膚色變綠或變紅的顏色平衡。
而且，關(guān)于臉的膚色，在感覺較好的膚色的色澤'彩度的范圍已 知的情況下，也可以實現(xiàn)將主要人物的膚色引入更好的顏色空間的白 平衡。這種情況下，利用比實際皮膚更美的色調(diào)來拍攝被選擇為主要 人物的人，從而自動地得到高品質(zhì)的圖像作為人物肖像。
接著說明將用戶接口 160中的雙向操作性應用于AF、 AE、 AWB 的跟蹤功能的情況。
在數(shù)字照相機的監(jiān)視模式和動畫攝影模式下，人物可以不靜止而 是在圖像內(nèi)移動。因此，在用戶選擇了主要人物的情況下，對該人物 的臉的AF控制隨著時間繼續(xù)執(zhí)行，在主要人物上聚焦一次后， 一邊 跟蹤該人物一邊進行AF動作， 一直持續(xù)到該人物從圖像內(nèi)消失。
與AF同樣，對于AE、 AWB，在監(jiān)視模式和動畫攝影模式下， 也可以一邊跟蹤用戶選擇的主要人物一邊進行AE、 AWB動作。
對于向該跟蹤功能的應用而言，在AF、 AE、 AWB中，特別適 于對要求最高速的跟蹤性能的AF的應用，通過應用主要人物選擇， 將多個人物中特定的一個人的臉作為目標，可以實現(xiàn)沒有錯誤、不會 迷失的高速跟蹤AF。
在圖9至圖15中僅示出矩形的臉位置標記，但對于矩形以外的
其它形狀的臉位置標記也可以同樣適用。
以下參照

本發(fā)明實施方式中的攝像裝置100的動作。 圖16是表示攝像裝置100進行的臉位置標記顯示處理的處理過
程的流程圖。
在本發(fā)明的實施方式中，說明在攝像裝置100中在攝像部120拍 攝的圖像上重疊臉位置標記的情況下的顯示例。在這些各個處理中， 步驟S910至步驟S921、步驟S929表示與臉檢測有關(guān)的動作，步驟 S922至步驟S928、步驟S930表示利用了臉檢測結(jié)果的臉位置標記的 顯示動作。
一開始，在攝像裝置100中輸入由攝像部120拍攝的圖像，即攝 影圖像(步驟S910 )。從攝像部120輸入了攝影圖像后，臉檢測部200 從輸入的圖像中檢測出臉，并且計算出所檢測的各臉的評價值(步驟 S911)。接著，判斷臉位置標記的顯示是否被設定為ON(步驟S912)， 如果臉位置標記的顯示被設定為OFF (步驟S912 )，則不必顯示臉位 置標記，因此前進到步驟S910。
如果臉位置標記的顯示被設定為ON (步驟S912 ),則判斷臉檢 測部200是否從攝像圖像中檢測出臉(步驟S913 )。如果臉檢測部200 沒有從攝影圖像中檢測出臉(步驟S913)，則不必顯示臉位置標記， 因此前進到步驟S910。如果臉檢測部200從攝影圖像中檢測出臉(步 驟S913)，則表情檢測部600取出所檢測出的臉中的一張臉(步驟 S914)。
接著，表情檢測部600針對所取出的臉，利用上述(式l)求出 評價值E0 (步驟S915)，利用上述(式2)求出臉的焦點'光圏的評 價值E1(步驟S916)，利用上述(式3)求出臉表情的評價值E2(步 驟S917)。
接著，判斷所取出的臉是否與存儲在特定人物數(shù)據(jù)庫中的特定人 物的臉一致(步驟S918 )。所取出的臉與特定人物的臉一致的情況下， 保存"l"作為所取出的臉的特定人物判定標記(步驟S919)。另一方面，所取出的臉與特定人物的臉不一致的情況下，保存"o，，作為所取出
的臉的特定人物判定標記(步驟S920)。
接著，判斷是否取出了所有由臉檢測部200檢測出的臉(步驟 S921)。如果沒有取出所有由臉檢測部200檢測出的臉(步驟S921), 則前進到步驟S914，重復進行針對剩余的臉的各處理(步驟S914至 S920)。
如果取出了所有由臉檢測部200檢測出的臉(步驟S921),則 判斷由臉檢測部200檢測出的各臉中是否存在保存了"l，，作為特定人 物判定標記的臉(步驟S922)。在由臉檢測部200檢測出的各臉中存 在保存了"l"作為特定人物判定標記的臉的情況下(步驟S922)，使 該臉作為最主要人物的臉，選擇針對該臉的臉位置標記的顏色和粗細 等(步驟S923 )。另一方面，在由臉檢測部200檢測出的各臉中不存 在保存了"l"作為特定人物判定標記的臉的情況下(步驟S922 )，根 據(jù)由臉檢測部200檢測出的各臉的評價值E0來推定最主要人物的臉， 選擇針對該臉的臉位置標記的顏色和粗細等(步驟S924)。
接著，根據(jù)由臉檢測部200檢測出的各臉的正面朝向的程度，選 擇臉朝向標記的顯示狀態(tài)(步驟S925)。然后，根據(jù)由臉檢測部200 檢測出的各臉的傾斜程度，選擇臉傾斜標記的顯示狀態(tài)(步驟S926 )。
接著，根據(jù)由臉檢測部200檢測出的各臉的評價值El，選擇臉 位置標記的閃爍狀態(tài)等(步驟S927)。然后，根據(jù)由臉檢測部200檢 測出的各臉的評價值E2，選擇臉位置標記的透過率等(步驟S928)。 通過這些處理，生成臉位置標記、臉朝向標記或臉傾斜標記。
接著，將所生成的臉位置標記、臉朝向標記以及臉傾斜標記描繪 在圖像存儲部140中(步驟S929)。然后，將攝像部120拍攝的、顯 示在顯示部161上的攝影圖像與描繪在圖像存儲部140中的臉位置標 記、臉朝向標記以及臉傾斜標記重疊，并將重疊后的重疊圖像顯示在 顯示部161上(步驟S930)。
接著，判斷在顯示在顯示部161上的臉位置標記(人物的臉)當 中是否存在在選擇接受部162中選擇的臉位置標記(人物的臉)(步
驟S931)。存在在選擇接受部162中選擇的臉位置標記的情況下(步 驟S931)，在變更了在選擇接受部162中選擇的臉位置標記以及其它 臉位置標記等的顯示狀態(tài)等后(步驟S932)，前進到步驟S929,重 復進行重疊顯示的各處理(步驟S929至S930 )。
在顯示在顯示部161上的臉位置標記當中不存在在選擇接受部 162中選擇的臉位置標記的情況下(步驟S931)，前進到步驟S910， 重復進行臉位置標記顯示的各處理(步驟S910至S930)。
圖17是表示攝像裝置100進行的臉位置標記的透過率等的選擇 處理的處理過程的流程圖。該動作如圖IO所示，表示根據(jù)顯示在顯示 部161上的臉的笑臉程度的變化等，依次改變所顯示的臉位置標記的 透過率的動作，是以圖16的步驟S917為中心更詳細地展開的動作。
在臉檢測部200從所輸入的圖像中檢測出臉的情況下，取出所檢 測出的臉中的一張臉(步驟S941)。然后，利用右眼數(shù)據(jù)庫左眼數(shù)據(jù) 庫651，從所取出的臉中取出兩眼(步驟S942)。然后使所取出的眼 的位置對齊，將所取出的臉變換成適合判定的尺寸(步驟S943 )。然 后利用笑臉數(shù)據(jù)庫652，對所取出的臉進行笑臉的判定，求出笑臉的 程度(步驟S944 )。
接著，利用眨眼臉數(shù)據(jù)庫653，對所取出的臉進行眨眼臉的判定 (步驟S945)。然后，求出眨眼程度的倒數(shù)作為眨眼回避程度。然后， 與各臉對應地存儲以上求出的笑臉程度和眨眼回避程度(步驟S946 )。
接著，根據(jù)以上求出的笑臉程度和眨眼回避程度，利用上述(式 3)求出臉表情的評價值E2 (步驟S947)。然后判斷是否取出了所有 由臉檢測部200檢測出的臉(步驟S948 ),如果沒有取出所有由臉檢 測部200檢測出的臉，則前進到步驟S941，重復進行求出臉表情的評 價值E2的各處理(步驟S941至S948 )。
如果取出了所有由臉檢測部200檢測出的臉(步驟S948),則 根據(jù)由臉檢測部200檢測出的各臉的評價值E2，選擇臉位置標記的透 過率等(步驟S949 )。
以下參照附圖詳細說明本發(fā)明實施方式的一個變形例。
圖18是表示作為上述攝像裝置100的一個變形例的圖像處理裝 置101的功能結(jié)構(gòu)例的框圖。作為圖像處理裝置101，可以舉出個人 計算機、錄像機等圖像記錄再生裝置作為例子。
圖像處理裝置101具備控制部110、信號處理部130、圖像存儲 部140、圖像壓縮解壓部150、用戶接口 160、輸入輸出端子170、存 儲介質(zhì)180、總線190、臉檢測部200、表情檢測部600、保持部700。 在圖像處理裝置101中，從攝像裝置100除去了攝像部120和振動傳 感器710以外的結(jié)構(gòu)與上述攝像裝置100的結(jié)構(gòu)大致相同，因此對同 一部件附以相同符號并省略說明。
在圖像處理裝置101的再生時，從存儲介質(zhì)180向圖像壓縮解壓 部150輸入圖像信息和圖像附帶信息。然后，在圖像信號被壓縮的情 況下，由圖像壓縮解壓部150實施圖像解壓處理，并將實施了圖像解 壓處理后的圖像輸出到臉檢測部200。然后，在臉檢測部200從圖像 中檢測出臉的情況下，如上所述，在顯示部161上顯示附加了臉位置 標記后的臉。在從外部輸入了圖像信號的情況下，從外部裝置經(jīng)由輸 入輸出端子170向圖像壓縮解壓部150輸入圖像信息和圖像附帶信息。
另外，由臉檢測部200檢測出的臉檢測結(jié)果被追加到*被更新為 經(jīng)由控制部IIO作為圖像附帶信息輸入的圖像信號中，與圖像信號一 起再次記錄在存儲介質(zhì)180中。在從外部輸入了圖像信號的情況下， 經(jīng)由輸入輸出端子170將圖像信息和圖像附帶信息輸出到外部裝置并 記錄。
如上所示，在本發(fā)明的實施方式中，可以將基于與臉檢測部200 檢測出的各種臉有關(guān)的評價值的各種信息，正確且在視覺上易見地作 為臉位置標記顯示。由此，可以立即且容易地得知該各種信息的內(nèi)容。 另外，在顯示部161上顯示有多張臉的情況下，除了由攝像裝置IOO 和圖像處理裝置101進行主要人物的判定外，還可以通過用戶的選擇 操作從多張臉中選擇所希望的臉。由此，通過將兩者組合，裝置與用 戶可以實現(xiàn)雙向、智能的被攝體識別。
另外，通過將作為臉檢測部200的臉檢測處理的結(jié)果得到的各臉的評價值作為臉位置標記重疊在顯示圖像上，用戶可以與臉位置一起 容易地得知該臉的評價值等。
而且，在不拍攝人物等不需要臉位置標記的情況下，可以設定臉
位置標記顯示的ON、 OFF,因此可以選擇不顯示臉位置標記。由此， 可以避免所顯示的圖像不必要地變得繁雜，并且可以節(jié)約臉檢測處理 和與臉檢測處理的顯示有關(guān)的耗電。
另外，由于顯示由矩形、橢圓、矩形的四角點等.圖形或記號等構(gòu) 成的標記來作為臉位置標記，因此，可以在保持顯示圖像的質(zhì)量的同 時提高用戶使用的方便性。
而且，由于可以根據(jù)臉檢測部200輸出的多種臉評價值來變更臉 位置標記的顏色、實線和虛線、線的粗細、透過度、閃爍狀態(tài)、臉位 置標記的內(nèi)側(cè)和外側(cè)的亮度及顏色等，因此用戶可以容易地理解各個 臉評價值。
另外，可以根據(jù)作為被攝體的人物的表情來依次改變臉位置標 記。由此，例如在笑臉的程度高或者多個人物都沒有眨眼時，利用臉 位置標記迅速地通知用戶是按快門時機，因此用戶可以在較好的時刻 拍攝合適的場景。
而且，攝像裝置100可以從臉位置標記的顯示狀態(tài)容易地得知焦 點或鏡頭光圏的適當程度。
另外，在檢測出預先登記的已知人物(特定人物)的情況下，對 于特定人物的臉顯示與其他人物的臉相區(qū)別的臉位置標記，由此用戶 可以從多個人物中容易地得知特定人物的位置。
而且，可以與臉位置標記一起追加顯示臉朝向標記，由此用戶可 以一眼就得知各張臉以什么樣的角度朝向哪個方向.
另外，可以與臉位置標記一起追加顯示臉傾斜標記，由此用戶可 以一眼就得知各張臉以什么樣的角度向哪個方向傾斜。
而且，在矩形的臉位置標記中，通過以顏色或粗細等區(qū)別顯示各 張臉的上邊(或下邊、右邊、左邊等)，可以容易地向用戶告知臉的 轉(zhuǎn)動或攝影時相機的轉(zhuǎn)動。另外，利用臉的上下左右方向來判別為縱
長的視角，并將該情況顯示在屏幕上，由此用戶可以容易地確認與攝
像裝置100的視角有關(guān)的識別。
另外，在圖像中存在多張臉的情況下，用戶一眼就可以知道最主
要人物的臉和由攝像裝置100或圖像處理裝置101判定的臉。而且，
在圖像上存在多張臉的情況下，通過由用戶從該多張臉中進行選擇操 作，可以自由地指示主要人物。另外，對于該人物可以并入焦點或鏡 頭光團控制。而且，作為特定人物，即使不是預先登記在裝置中的人 物，也可以通過來自用戶的選擇指示，作為主要人物進行處理。
本發(fā)明的實施方式示出了用于實現(xiàn)本發(fā)明的一例，雖然如下所示 與權(quán)利要求書中的發(fā)明特定事項分別具有對應關(guān)系，但不限于此，在 不脫離本發(fā)明的要義的范圍內(nèi)，可以實施各種變形。
即，在權(quán)利要求1至20中，攝像裝置對應于攝像裝置100。 在權(quán)利要求1中，攝像單元例如對應于攝像部120。 在權(quán)利要求1或權(quán)利要求21中，圖像輸入單元例如對應于圖像 輸入部810。
在權(quán)利要求1、權(quán)利要求8或權(quán)利要求21中，臉檢測單元例如對 應于臉檢測部200。
在權(quán)利要求1、權(quán)利要求4至6、權(quán)利要求8、權(quán)利要求10至17、 權(quán)利要求20、權(quán)利要求21中，臉位置標記生成單元例如對應于臉位 置標記生成部820。
在權(quán)利要求l、權(quán)利要求14至17、權(quán)利要求21中，重疊單元例 如對應于重疊部830。
在權(quán)利要求1、權(quán)利要求7或權(quán)利要求18中，顯示單元例如對應 于顯示部161。
在權(quán)利要求2中，設定單元例如對應于選擇接受部162。 在權(quán)利要求11中，相機控制值檢測單元例如對應于控制部110, 在權(quán)利要求12中，主要人物推定單元例如對應于表情檢測部
600,
在權(quán)利要求13中，特定人物存儲單元例如對應于特定人物數(shù)據(jù)
庫654。另外，特定人物判定單元例如對應于表情檢測部600。
在權(quán)利要求18中，攝影狀態(tài)檢測單元例如對應于表情檢測部
600。
在權(quán)利要求19中，輸出單元例如對應于輸入輸出端子170。 在權(quán)利要求20中，選擇單元例如對應于選擇接受部162。 在權(quán)利要求21中，輸出單元例如對應于圖像輸出部840。另夕卜，
圖像處理i裝置例如對應于圖像處理裝置101。
在權(quán)利要求22至23中，圖像輸入步驟例如對應于步驟S910。
臉檢測步驟例如對應于步驟S911。臉位置標記生成步驟例如對應于步
驟S929。重疊步驟例如對應于步驟S930。輸出步驟例如對應于步驟
S930。
在本發(fā)明實施方式中說明的處理過程可以歸納為具有這一 系列 步驟的方法，也可以歸納為使計算機執(zhí)行這一系列步驟的程序以及存 儲該程序的記錄介質(zhì)。
權(quán)利要求
1.一種攝像裝置，其特征在于，具有攝像單元，拍攝被攝體的圖像；圖像輸入單元，輸入由上述攝像單元拍攝的圖像；臉檢測單元，從由上述圖像輸入單元輸入的圖像中檢測出臉；臉位置標記生成單元，生成表示由上述臉檢測單元檢測出的臉在上述圖像輸入單元輸入的圖像中的位置的臉位置標記；重疊單元，將由上述圖像輸入單元輸入的圖像與由上述臉位置標記生成單元生成的臉位置標記重疊；以及顯示單元，顯示由上述重疊單元重疊后的圖像。
2. 如權(quán)利要求l所述的攝像裝置，其特征在于，還具有 設定單元，設定是否由上述臉位置標記生成單元生成臉位置標記。
3. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述臉位置標記具有矩形形狀、橢圓形狀、和作為僅由矩形的四個角形成的形狀的四角點形狀當中的任意一種形狀。
4. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述臉位置標記生成單元生成與由上述臉檢測單元檢測出的臉有關(guān)的臉位置標記，使得該臉位置標記在由上述圖像輸入單元輸入的 圖像中配置在該臉的周圍。
5. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述臉位置標記生成單元生成與由上述臉檢測單元檢測出的臉有關(guān)的臉位置標記，使得該臉位置標記在由上述圖像輸入單元輸入的 圖^^中配置成包圍該臉。
6. 如權(quán)利要求l所述的攝像裝置，其特征在于，在上述臉檢測單元從由上述圖像輸入單元輸入的圖像中檢測出 多張臉的情況下，上述臉位置標記生成單元生成上述臉位置標記，使 得上述臉位置標記的顏色、上述臉位置標記的線的種類、上述臉位置標記的線的粗細、上述臉位置標記的透過度、上述臉位置摔記的閃爍 狀態(tài)、上述臉位置標記的框架的內(nèi)側(cè)的亮度或顏色當中的至少一者在 上述檢測出的每張臉中不同。
7. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述顯示單元在由上述重疊單元重疊后的圖像中變更上述臉位置標記的框架的內(nèi)側(cè)或外側(cè)的任意一者的亮度或顏色來進行顯示。
8. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述臉檢測單元檢測出與從上述圖像輸入單元輸入的圖像中檢測出的臉有關(guān)的各種信息；上述臉位置標記生成單元根據(jù)與上述臉檢測單元檢測出的臉有 關(guān)的各種信息，生成與該臉有關(guān)的臉位置標記。
9. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述與臉有關(guān)的各種信息是臉區(qū)域的面積、臉區(qū)域的坐標、臉相似性的值、臉正面朝向的程度、臉傾斜的程度、表情在笑的程度、表 情嚴肅的程度、閉眼的程度中的任意一種信息或組合了這些信息的信 息。
10. 如權(quán)利要求9所述的攝像裝置，其特征在于， 上述臉位置標記生成單元根據(jù)與由上述臉檢測單元檢測出的臉有關(guān)的各種信息，變更與該臉有關(guān)的臉位置標記的透過率。
11. 如權(quán)利要求8所述的攝像裝置，其特征在于，還具有 相機控制值檢測單元，根據(jù)與由上述臉檢測單元檢測出的臉有關(guān)的各種信息，針對該臉檢測出聚焦的程度或鏡頭光圏對準的程度，其中，上述臉位置標記生成單元根據(jù)上述相機控制值檢測單元檢 測出的針對該臉的聚焦程度或鏡頭光圏對準程度，生成與該臉有關(guān)的 臉位置標記。
12. 如權(quán)利要求8所述的攝像裝置，其特征在于，還具有 主要人物推定單元，在上述臉檢測單元從上述圖像輸入單元輸入的圖像中檢測出多張臉的情況下，根據(jù)上述與臉有關(guān)的各種信息，從 上述檢測出的多張臉中推定最主要的人物， 其中，上述臉位置標記生成單元以使與上述主要人物推定單元推 定的主要人物的臉有關(guān)的臉位置標記和與其他人物的臉有關(guān)的臉位置 標記不同的形式，來生成各個臉位置標記。
13. 如權(quán)利要求l所述的攝像裝置，其特征在于，還具有 特定人物存儲單元，存儲與特定人物的臉有關(guān)的特定人物信息；和特定人物判定單元，判定由上述臉檢測單元檢測出的臉是否與存 儲在上述特定人物存儲單元中的特定人物的臉一致，其中，當上述特定人物判定單元判定由上述臉檢測單元檢測出的 臉與存儲在上述特定人物存儲單元中的特定人物的臉一致時，上述臉 位置標記生成單元以使與該臉有關(guān)的臉位置標記和與其他人物的臉有 關(guān)的臉位置標記不同的形式，來生成各個臉位置標記。
14. 如權(quán)利要求l所述的攝像裝置，其特征在于， 當由上迷臉檢測單元檢測出的臉朝向上下左右的某個方向時，上述臉位置標記生成單元根據(jù)該方向和角度生成在與該臉有關(guān)的臉位置 標記附近顯示的臉朝向標記；上述重疊單元將由上述圖像輸入單元輸入的圖像與由上述臉位 置標記生成單元生成的臉位置標記和臉朝向標記重疊。
15. 如權(quán)利要求l所述的攝像裝置，其特征在于， 當由上述臉檢測單元檢測出的臉向轉(zhuǎn)動方向傾斜時，上述臉位置標記生成單元根據(jù)該傾斜生成在與該臉有關(guān)的臉位置標記附近顯示的 臉傾斜標記；上述重疊單元將由上述圖像輸入單元輸入的圖像與由上述臉位 置標記生成單元生成的臉位置標記和臉傾斜標記重疊。
16. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述臉位置標記生成單元生成作為顯示由上述臉檢測單元檢測出的臉的上下左右的某一個的臉位置標記的特定位置顯示標記；上述重疊單元將由上述圖像輸入單元輸入的圖像與由上述臉位 置標記生成單元生成的特定位置顯示標記重疊。
17. 如權(quán)利要求l所述的攝像裝置，其特征在于， 上述臉位置標記生成單元生成在上述臉位置標記上或者其附近顯示的、顯示由上述臉檢測單元檢測出的臉的上下左右的某一個的特 定位置顯示標記；上述重疊單元將由上述圖像輸入單元輸入的圖像與由上述臉位 置標記生成單元生成的臉位置標記和特定位置顯示標記重疊。
18. 如權(quán)利要求17所述的攝像裝置，其特征在于，還具有 攝影狀態(tài)檢測單元，根據(jù)由上述臉位置標記生成單元生成的特定位置顯示標記，檢測出處于縱長視角的攝影狀態(tài)，其中，在由上述攝影狀態(tài)檢測單元檢測出處于縱長視角的攝影狀 態(tài)時，上述顯示單元將該情況與由上述臉位置標記生成單元生成的特 定位置顯示標記一起顯示在由上述重疊單元重疊后的圖像上。
19. 如權(quán)利要求18所述的攝像裝置，其特征在于，還具有輸出單元，在由上述攝影狀態(tài)檢測單元檢測出處于縱長視角的攝 影狀態(tài)時，將表示該情況的圖像附帶信息與由上述重疊單元重疊后的 圖像一起輸出到存儲介質(zhì)中。
20. 如權(quán)利要求l所述的攝像裝置，其特征在于，還具有 選擇單元，在與上述臉檢測單元檢測出的多張臉對應的臉位置標記與該多張臉一起顯示在上述顯示單元上時，從上述顯示的多張臉中 選擇希望人物的臉，其中，上述臉位置標記生成單元以使與上述選擇單元選擇的人物 的臉有關(guān)的臉位置標記和與其他人物的臉有關(guān)的臉位置標記不同的形 式，來生成各個臉位置標記。
21. —種圖像處理裝置，其特征在于，具有 圖像輸入單元，輸入圖像；臉檢測單元，從由上述圖像輸入單元輸入的圖像中檢測出臉； 臉位置標記生成單元，生成表示由上述臉檢測單元檢測出的臉在 上述圖像輸入單元輸入的圖像中的位置的臉位置標記；重疊單元，將由上述圖像輸入單元輸入的圖像與由上述臉位置標 記生成單元生成的臉位置標記重疊；以及輸出單元，輸出由上述重疊單元重疊后的圖像。
22. —種圖像處理方法，其特征在于，具有 圖像輸入步驟，輸入圖像；臉檢測步驟，從在上述圖像輸入步驟中輸入的圖像中檢測出臉；臉位置標記生成步驟，生成表示在上述臉檢測步驟中檢測出的臉 在上述圖像輸入步驟中輸入的圖像中的位置的臉位置標記；重疊步驟，將在上述圖像輸入步驟中輸入的圖像與在上述臉位置 標記生成步驟中生成的臉位置標記重疊；以及輸出步驟，輸出在上述重疊步驟中重疊的圖像。
23. —種程序，其特征在于，使計算機執(zhí)行 圖像輸入步驟，輸入圖像；臉檢測步驟，從在上述圖像輸入步驟中輸入的圖像中檢測出臉；臉位置標記生成步驟，生成表示在上述臉檢測步驟中檢測出的臉 在上述圖像輸入步驟中輸入的圖像中的位置的臉位置標記；重疊步驟，將在上述圖像輸入步驟中輸入的圖像與在上述臉位置 標記生成步驟中生成的臉位置標記重疊；以及輸出步驟，輸出在上述重疊步驟中重疊的圖像。
全文摘要
本發(fā)明提供一種攝影裝置、圖像處理裝置、圖像處理方法，用于利用臉識別技術(shù)提供便利的用戶接口。攝像裝置(100)具有圖像輸入部(810)，輸入由攝像部(120)拍攝的被攝體圖像；臉檢測部(200)，從該圖像中檢測出臉；臉位置標記生成部(820)，生成表示檢測出的臉在所輸入的圖像中的位置的臉位置標記；重疊部(830)，將所輸入的圖像與所生成的臉位置標記重疊；以及圖像輸出部(840)，輸出重疊后的圖像。臉位置標記具有矩形形狀、橢圓形狀和作為僅由矩形的四角形成的形狀的四角點形狀當中的任意一種形狀。生成臉位置標記，使得該臉位置標記在所輸入的圖像中配置在臉的周圍。另外，生成臉位置標記，使得該臉位置標記在所輸入的圖像中配置成包圍該臉。
文檔編號H04N5/225GK101188677SQ20071018865
公開日2008年5月28日 申請日期2007年11月21日 優(yōu)先權(quán)日2006年11月21日
發(fā)明者岡田深雪 申請人:索尼株式會社