專利名稱：面部圖像注冊裝置、面部圖像注冊方法、面部圖像注冊程序、以及記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及將用于面部認證處理的面部圖像注冊到詞典的面部圖像注冊 裝置、面部圖像注冊方法、面部圖像注冊程序、以及記錄^^某體。
背景技術(shù)：
也許是反映了安全意識的提高，近年來，面部認證系統(tǒng)的利用被迅速地 擴大。與以往的利用了密碼的認證系統(tǒng)相比，面部認證系統(tǒng)具有將認證所需 的信息(本人的面部的特征)被他人盜竊的可能性極低，且只要本人在就能 夠準確地進行認證等的便利，所以預(yù)計今后會進一 步普及。但現(xiàn)在，面部認證系統(tǒng)存在各種未解決的問題。其中之一在于，認證精 度還不是很高。還沒有達到只要照到面部圖像就能夠認證的水平，例如現(xiàn)實 地發(fā)生只是背景的亮度改變，就不能認證為本人的問題。因此，以往，提出了以提高面部認證處理的精度為目的的各種技術(shù)。例如在專利文獻l中，公開了一種圖像檢索方法，其特征在于，從影像 中檢測被拍攝到面部的幀，從所述幀提取面部圖像，根據(jù)所提取的所有面部 圖像將同 一登場人物的面部進行分組，按登場人物提取其代表面部圖像。根據(jù)上述的方法，從影像中進行特定化為面部的檢測，進而，進行所檢 測的面部的識別，從而能夠區(qū)別顯示在影像中登場的人物的面部。在專利文獻2中，公開了一種人物認證裝置，其特征在于，包括將用 于進行人物認證的圖像數(shù)據(jù)以幀為單位輸入的部件、從所述圖像數(shù)據(jù)中檢測 面部區(qū)域的部件、從所述面部區(qū)域檢測特征量的部件、通過將所述特征量與 基準值進行比較從而判定該特征量是否有效的部件、將判定為有效的特征量 分為多個幀來存儲的部件、通過對所述多個幀量的特征量施加運算從而取得 認證用特征量的部件、通過將所述認證用特征量與預(yù)先存儲的面部特征量進 行比較/人而進行該人物的認證的部件。根據(jù)所述裝置，可通過頭的姿勢、表情的影響來消除認證精度的降低， 進而能夠提高用于進行有效幀判定的特征量的計算測量精度。
在專利文獻3中，公開了一種認證系統(tǒng)，其特征在于，包括面部認證用數(shù)據(jù)庫，對在相互不同的多個環(huán)境下拍攝認證本人的面部所得到的多個面部信息附加與所述環(huán)境對應(yīng)的模式名稱后進行注冊；認證本人特定表，將注 冊到該面部認證用數(shù)據(jù)庫中的模式名稱與用該模式名稱拍攝的認證本人相關(guān) 聯(lián)；攝像機，拍攝認證對象人的面部，從而得到面部信息；認證處理部件， 將用該攝像機所拍攝的面部信息與注冊在所述面部認證用數(shù)據(jù)庫中的多個面 部信息進行核對，從而確定相似度最高的面部信息；以及認證本人特定部件， 根據(jù)通過該認證處理部件所確定的面部信息的模式名稱，通過所述認證本人 特定表，確定與該模式名稱對應(yīng)的認證本人。根據(jù)所述系統(tǒng)，通過預(yù)先準備多個在不同的環(huán)境下的面部信息，從而在 任何環(huán)境下都能夠正確地進行認證。在專利文獻4中，公開了一種面部圖像數(shù)據(jù)庫新注冊裝置，對人物的面 部圖像數(shù)據(jù)庫和面部特征數(shù)據(jù)庫中注冊新人物，其特征在于，所述面部圖像 數(shù)據(jù)庫新注冊裝置包括估計部件，用于估計在輸入圖像中的人物的面部區(qū) 域中的多個特征點的位置、以及所述人物的面部的方向；選4奪部件，根據(jù)通 過所述估計部件所估計的面部的方向信息或者從外部輸入的面部的方向信 息，從所述輸入圖像中選擇所述人物的面部表示規(guī)定的方向的幀；用戶界面 部件，接受用戶命令而顯示通過所述選擇部件所選^^的幀和其相關(guān)信息；以 及計算部件，在通過所述選^奪部件所選擇的所述幀中，通過在由所述估計部 件所估計的所述多個特征點的附近測量所述人物的面部的特征量，從而計算 所述輸入圖像中的所述人物的數(shù)據(jù)庫成分。根據(jù)所述裝置，能夠使新人物的數(shù)據(jù)庫注冊作業(yè)自動化。專利文獻l:日本公開專利公報[特開2001-167110號公報(
公開日2001 年6月22日)]專利文獻2:日本公開專利公報[特開平6-259534號公報(
公開日1994 年9月16日)]專利文獻3:日本公開專利公報[特開2005-115481號公報(
公開日:2005 年4月28日)]專利文獻4:日本公開專利公報[特開2002-133423號公報(
公開日2002 年5月10日)]
發(fā)明內(nèi)容在使用面部圖像的認證裝置中，為了提高認證性能，需要注冊在各種條 件下拍攝的面部圖像。但是，在從多個靜態(tài)圖像中用手動方式選擇適合注冊 的圖像并進行注冊的作業(yè)較復(fù)雜，有時較困難。在專利文獻l的技術(shù)中，只是將同一登場人物的面部進行分組，對于將 分組的面部注冊到詞典的方面沒有下任何功夫。在專利文獻2的技術(shù)中，只是將用于判定有效幀的特征量的測量精度提 高，對于將測量的特征量注冊到字典的方面沒有下任何功夫。在專利文獻3的技術(shù)中，需要用戶預(yù)先準備在不同的環(huán)境下的面部信息，從而產(chǎn)生對用戶產(chǎn)生多余的麻煩的問題。在專利文獻4的技術(shù)中，只是估計在人力素材的各個幀中的特征點的位 置，對用戶委托最終的判斷。因此，產(chǎn)生對用戶產(chǎn)生多余的麻煩的問題。如上所述，即使挪用以往的技術(shù)，也存在無法全部包括認證裝置所需的 面部圖像的可能性較高。而且，在用戶的手動操作中需要很大的功夫。本發(fā)明是為了解決上述的課題而完成的，其目的在于，提供一種面部圖 像注冊裝置、面部圖像注冊方法、面部圖像注冊程序、以及記錄媒體，其能 夠?qū)⒏鞣N面部圖像注冊到詞典中，而無需麻煩用戶。(面部圖像注冊裝置的主要結(jié)構(gòu))為了解決上述的課題，在本發(fā)明的面部圖像注冊裝置中，從被輸入的活動圖像中，提取表示人物的面部的面部圖像并注冊到詞典 中，其特征在于，所述面部圖像注冊裝置包括代表面部圖像提取部件，從所述活動圖像中，提取與預(yù)先決定的代表條 件 一 致的至少 一 個面部圖像作為代表面部圖像；注冊用面部圖像提取部件，從所述活動圖像中，提取在對于所述代表面 部圖像所表示的人物的其他面部圖像中、與預(yù)先決定的注冊條件一致的至少 一個其他面部圖像作為注冊用面部圖像；以及面部圖像注冊部件，將所述注冊用面部圖像與所述代表面部圖像相關(guān)聯(lián) 地注冊到所述詞典。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，代表面部圖像提取部件從活動圖像中提取與預(yù)先決定 的代表條件一致的至少一個面部圖像作為代表面部圖像。這里所指的"面部
圖像，，是表示人物的面部的靜止畫面。"代表條件"是指，在拍攝到活動圖 像的各種面部圖像中最適合面部認證的面部圖像應(yīng)滿足的條件。例如，朝向 正面的面部滿足代表條件。因此，代表面部圖像提取部件從活動圖像中提取 例如對于朝向正面的面部的圖像即正面面部圖像作為代表面部圖像。一般，活動圖像是拍攝了人物或事物的移動的圖像。因此，代表面部圖 像提取部件能夠沒有問題地從活動圖像中提取正面面部等的代表面部圖像。在提取了代表面部圖像時，注冊用面部圖像提取部件從活動圖像中，提 取在對于代表面部圖像所表示的人物的其他面部圖像中、與預(yù)先決定的注冊 條件一致的至少一個其他面部圖像作為注冊用面部圖像。這里所指的"注冊 條件"是，適用于在圖像識別中所適用的面部圖像的條件。例如朝上的面部、 長胡子的面部、開口的面部等，適于各種狀態(tài)的面部的條件對應(yīng)于注冊條件。因此，在代表面部圖像提取部件例如提取了朝向正面的面部作為代表面 部圖像時，面部圖像注冊裝置從相同的活動圖像中提取對于該正面面部圖像 所表示的人物的、朝上的面部、長胡子的面部、開口的面部等，與各種注冊 條件一致的注冊用面部圖像。面部圖像注冊部件將代表面部圖像和注冊用面部圖像^t是取部件相關(guān)聯(lián)地 注冊到詞典中。因此，例如將朝向正面的面部的圖像與長胡子的面部的圖像 等的各種不同的面部圖像相關(guān)聯(lián)地注冊。這里所指的注冊并不限定于注冊圖 像其本身。例如也可以計算用于表示圖像的特征的特征量，代替圖像而注冊 到詞典中。通過以上的處理，在用于注冊面部圖像的詞典中，面部圖像注冊裝置能 夠注冊對于相同的人物的各種面部圖像。因此，起到能夠更可靠地增加注冊 到詞典中的面部圖像的種類的效果。此外，由于從活動圖像中提取面部圖像， 所以與將注冊所需的面部圖像通過手動操作來分配，或者將拍攝條件變化為 各種各樣，從而預(yù)先準備注冊用的面部圖像的方法相比，能夠更加減少面部圖像的注冊處理所需的功夫。即，能夠?qū)⒏鞣N的面部圖像注冊到詞典中，而 不會麻煩用戶。(面部圖像注冊方法) 為了解決上述的課題，在本發(fā)明的面部圖像注冊方法中，從被輸入的活 動圖像中，提取表示人物的面部的面部圖像并注冊到詞典中，其特征在于，所述面部圖像注冊方法包括
代表面部圖像提取步驟，從所述活動圖像中，提取與預(yù)先決定的代表條件一致的至少一個面部圖像作為代表面部圖像；注冊用面部圖像提取步驟，從所述活動圖像中，提取在對于所述代表面 部圖像所表示的人物的其他面部圖像中、與預(yù)先決定的注冊條件一致的至少一個其他面部圖像作為注冊用面部圖像；以及面部圖像注冊步驟，將所述注冊用面部圖像與所述代表面部圖像相關(guān)聯(lián) 地注冊到所述詞典。根據(jù)所述結(jié)構(gòu)，本方法能夠起到與所述的面部圖像注冊裝置同樣的作用 效果。(注冊特征量)此外，優(yōu)選地，在本發(fā)明的面部圖像注冊裝置中， 所述面部圖像注冊部件將對所述注冊用面部圖像的特征進行數(shù)值化的特 征量注冊到所述詞典中。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，面部圖像注冊部件將對注冊用面部圖像的特征進行數(shù) 值化的特征量注冊到所述詞典中。例如，通過分別確定面部的各個器官的位 置，并計算各個位置的配置狀態(tài)等，從而計算面部圖像的特征量。通常，這樣計算的特征量比圖像其本身的數(shù)據(jù)量小得多。因此，面部圖 像注冊裝置能夠起到如下效果與將面部圖像其本身注冊到詞典中的情況相 比，能夠進一步減小詞典的數(shù)據(jù)大小。(對與注冊條件一致的所有注冊用面部圖像進行注冊)此外，在本發(fā)明的面部圖像注冊裝置中，在預(yù)先決定了相互不同的多個注冊條件時，所述面部圖像注冊部件對該 注冊條件的每個提取與該注冊條件一致的至少一個所述注冊用面部圖像，所述面部圖像注冊部件將對每個所述注冊條件所提取的所述注冊用面部 圖像與所述代表面部圖像相互全部相關(guān)聯(lián)地注冊到所述詞典中。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，在預(yù)先決定了相互不同的多個注冊條件時，代表面部 圖像注冊部件對該注冊條件的每個提取與該注冊條件一致的至少一個所述注 冊用面部圖像。例如，若10個注冊條件被預(yù)先決定，則對10個注冊條件的 所有注冊條件，從活動圖像中提取適當?shù)淖杂妹娌繄D像。
由此，面部圖像注冊部件將對每個注冊條件所提取的所述注冊用面部圖 像的全部與代表面部圖像相關(guān)聯(lián)地注冊到詞典中。即，將與多個注冊條件分 別單獨地一致的多個面部圖像網(wǎng)羅地注冊到詞典中。根據(jù)以上的處理，面部圖像注冊裝置起到能夠進一步提高詞典的充實度 的效果。(將與注冊條件一致的所有的注冊用面部圖像各注冊一個) 此外，優(yōu)選地，在本發(fā)明的面部圖像注冊裝置中，在預(yù)先決定了相互不同的多個注冊條件時，所述面部圖像注冊部件對該 注冊條件的每個提取與該注冊條件一致的一個所述注冊用面部圖像，所述面部圖像注冊部件將對每個所述注冊條件所提取的一個所述注冊用 面部圖像與所述代表面部圖像相互全部相關(guān)聯(lián)地注冊到所述詞典中。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，在預(yù)先決定了相互不同的多個注冊條件時，代表面部 圖像注冊部件對該注冊條件的每個提取與該注冊條件一致的一個所述注冊用 面部圖像，例如，若10個注冊條件被預(yù)先決定，則對10個注冊條件的所有 注冊條件，從活動圖像中各提取一個適當?shù)淖杂妹娌繄D像。由此，面部圖像注冊部件將對每個注冊條件所提取的所述注冊用面部圖 像的全部與代表面部圖像相關(guān)聯(lián)地注冊到詞典中。即，將網(wǎng)羅了多個注冊條 件的全部的多個面部圖像注冊到詞典中。根據(jù)以上的處理，面部圖像注冊裝置起到能夠進一 步提高詞典的充實度 的效果。此外，注冊到詞典中的面部圖像對每個注冊條件被限定為一個。因 此，與對每個注冊條件注冊多個面部圖像的情況相比，起到能夠進一步減小 詞典的數(shù)據(jù)大小的效果。(注冊所有人物的面部圖像)此外，優(yōu)選地，在本發(fā)明的面部圖像注冊裝置中，在通過所述代表面部圖像提取部件而提取了多個不同的所述代表面部圖 像時，所述注冊用面部圖像提取部件對該代表面部圖像的每個提取所述注冊 用面部圖像。(作用和效果)在活動圖像中不限于只被拍攝一個人物。也可以被拍攝很多人物。因此， 根據(jù)上述的結(jié)構(gòu)，在通過代表面部圖像提取部件而提取了多個不同的代表面 部圖像時，注冊用面部圖像提取部件對被提取的代表面部圖像的每個提取注冊用面部圖像。多個不同的代表面部圖像是指，各個面部圖像表示分別不同的人物的面部的多個面部圖像。此時，注冊用面部圖像對每個不同的人物提取注冊用面部圖像。因此，在活動圖像中拍攝到多個人物的情況下，面部圖像注冊部件對每個人物，將代表面部圖像和該注冊用面部圖像相關(guān)聯(lián)地注冊到詞典中。作為其結(jié)果，在詞典中存儲對于多個不同的人物的面部圖像。根據(jù)以上的處理，面部圖像注冊裝置起到能夠進一 步提高詞典的充實度的效果。(從場景中提取面部圖像) 此外，優(yōu)選地，在本發(fā)明的面部圖像注冊裝置中， 還包括場景提取部件，從所述活動圖像中提取場景， 所述代表面部圖像提取部件從所述場景中提取所述代表面部圖像， 所述注冊用面部圖像提取部件從所述場景中提取所述注冊用面部圖像。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，場景提取部件從活動圖像中提取場景。這里所指的場 景是，在活動圖像中，將特定的面部連續(xù)地繼續(xù)存在的多個幀集中為一個的 部分活動圖像。例如，場景提取部件使用面部跟蹤技術(shù)，從活動圖像提取進 入具有特定的面部的幀，從其到在一定張數(shù)的幀中繼續(xù)存在并最后從其他幀 消失為止的期間作為 一 個場景。在通過場景提取部件而提取了場景時，代表面部圖像提取部件從場景中 提取代表面部圖像。因此，能夠?qū)⒒顒訄D像的一部分作為面部圖像提取的處 理對象。此外，注冊用面部圖像提取部件從相同的場景提取注冊用面部圖像。 由此，能夠?qū)⒒顒訄D像的 一部分作為面部圖像提取的處理對象。根據(jù)以上的處理，面部圖像注冊裝置能夠在整體中的一部分中留下作為 提取面部圖像的處理對象的活動圖像。由此，起到能夠進一步縮短面部圖像 的注冊處理所需的時間的效果。 (處理多個場景) 此外，優(yōu)選地，在本發(fā)明的面部圖像注冊裝置中， 所述場景提取部件從所述活動圖像中提取多個不同的所述場景， 所述注冊用面部圖像提取部件無法從某一場景提取所述注冊用面部圖像 時，從與所述某一場景不同的其他的場景提取所述注冊用面部圖像。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，場景提取部件從活動圖像中提取多個不同的場景。此 時，例如劃分沒有照到人物的面部的場面，從而從活動圖像中提取被劃分的 多個部分活動畫面作為分別不同的場景。不限于在一個場景中包含與注冊條件一致的所有種類的面部圖像。因此， 注冊用面部圖像提取部件無法從多個不同的場景中的某一場景提取注冊用面 部圖像時，從多個不同的場景中與上述場景不同的其他場景提取注冊用面部 圖像。由此，起到能夠進一步可靠地增加注冊到詞典中的面部圖像的種類的 效果o(置換為可靠性更高的面部圖像) 此外，優(yōu)選地，在本發(fā)明的面部圖像注冊裝置中，在與某一注冊條件一致的注冊用面部圖像已注冊到所述詞典的情況下， 所述注冊用面部圖像提取部件新提取與該注冊條件一致的其他的注冊用面部 圖像，在所述其他的注冊用面部圖像的識別可靠度高于所述已注冊的注冊用面 部圖像的識別可靠度時，所述面部圖像注冊部件將該已注冊的面部圖像置換 為該其他的注冊用面部圖像。 (作用和效果)根據(jù)上述的結(jié)構(gòu)，在與某一注冊條件一致的注冊用面部圖像已注冊到詞 典的情況下，注冊用面部圖像提取部件新提取與該注冊條件一致的其他的注 冊用面部圖像。而且，在其他的注冊用面部圖像的識別可靠度高于所述已注冊的注冊用 面部圖像的識別可靠度時，面部圖像注冊部件將該已注冊的面部圖像置換為 其他的注冊用面部圖像。由此，能夠進一步提高已注冊到詞典中的面部圖像 的識別可靠度。因此，面部圖像注冊裝置起到能夠進一步提高注冊到詞典的面部圖像的 識別精度的效果。(面部圖像注冊程序以及記錄媒體) 另外，所述面部圖像注冊裝置也可以通過計算機實現(xiàn)。此時，通過使計 算機作為所述各個部件起作用，從而在計算機中實現(xiàn)所述面部圖像注冊裝置
的面部圖^f象注冊程序、以及記錄了該面部圖^象注冊程序的計算才幾可讀取的記 錄媒體也屬于本發(fā)明的范疇。通過以下所示的記載，本發(fā)明的其他的目的、特征、以及優(yōu)點會變得非 常清楚。此外，通過參照了附圖的以下的說明，本發(fā)明的優(yōu)點會變得清楚。


圖1是表示本發(fā)明的一實施方式的面部圖像注冊系統(tǒng)的主要部分結(jié)構(gòu)的 方框圖。圖2是表示面部圖像注冊裝置從活動圖像中提取面部圖像并注冊到面部 圖像詞典時的處理的流程的流程圖。圖3 (a)是表示在詞典生成裝置提取面部圖像時所處理的活動圖像的一 個例子的圖。圖3 (b)是表示通過場景提取部件所提取的場景的一個例子的圖。 圖3 (c)是表示各自包含各種面部圖像、且構(gòu)成一個場景的多個幀的例 子的圖。圖4是表示請求用戶選擇代表面部圖像的顯示畫面的 一個例子的圖。 圖5是表示拾取條件列表50的一個例子的圖。圖6是表示注冊用面部圖像提取單元從場景中提取與拾取條件一致的面 部圖像的處理的流程的流程圖。圖7是表示面部圖像注冊單元將通過注冊用面部圖像提取單元所提取的 注冊用面部圖像注冊到面部圖像詞典時的處理的流程的流程圖。圖8是表示注冊用面部圖像提取單元提取與拾取條件一致的面部圖像時 的處理的流程的流程圖。圖9是表示注冊用面部圖像提取單元更新拾取條件列表時的處理的流程 的流程圖。圖10是表示面部圖像注冊裝置提取對于多個人物的面部圖像，并將其注 冊到面部圖像詞典時的處理的流程的流程圖。圖11是表示存儲在面部圖像詞典中的詞典數(shù)據(jù)的一個例子的圖。 標號說明1面部圖像注冊裝置 2輸入裝置　3顯示裝置10活動畫面輸入單元11場景提取單元(影像場景提取部件)12代表面部圖像提取單元(代表面部圖像提取部件)13注冊用面部圖像提取單元(注冊用面部圖像提取部件)14面部圖像注冊單元(面部圖像注冊部件)15面部圖像詞典(詞典)16輸入處理單元17顯示處理單元20面部圖4象注冊系統(tǒng)40畫面41正面面部圖j象42消息才匡50拾取條件列表具體實施方式
以下參照圖1~圖11，說明本發(fā)明的一個實施方式。 (面部圖^f象注冊系統(tǒng)20)首先，參照圖1，以下說明面部圖像注冊系統(tǒng)20的結(jié)構(gòu)。圖l是表示本 發(fā)明的 一 實施方式的面部圖像注冊系統(tǒng)20的主要部分結(jié)構(gòu)的方框圖。如該圖 所示，面部圖像注冊系統(tǒng)20由面部圖像注冊裝置1、輸入裝置2、顯示裝置 3以及活動畫面拍攝裝置4構(gòu)成。 (面部圖像注冊裝置l)面部圖像注冊裝置1是將面部認證所需的面部圖像注冊到詞典中的裝 置。結(jié)構(gòu)和概要等的細節(jié)在后面敘述。 (輸入裝置2 )輸入裝置2是用戶為了將信息輸入到面部圖像注冊裝置1,或?qū)︼@示在 顯示裝置3的信息進行選擇的裝置。例如作為鼠標或鍵盤來實現(xiàn)。 (顯示裝置3)顯示裝置3是顯示信息并提示給用戶的裝置。例如作為液晶顯示裝置或 等離子顯示裝置來實現(xiàn)?！?活動畫面拍攝裝置4) 活動畫面拍攝裝置4是將外界的人物或事物拍攝為活動畫面的裝置。例 如作為攝像機來實現(xiàn)。(面部圖像注冊裝置1) 參照圖1,以下說明本實施方式的面部圖像注冊裝置1。如圖1所示，面部圖像注冊裝置1包括活動畫面輸入單元10、場景提取單元11 (場景提取 部件)、代表面部圖像提取單元12 (代表面部圖像提取部件)、注冊用面部圖 像提取單元13 (注冊用面部圖像提取部件)、面部圖像注冊單元14 (面部圖 像注冊部件)、面部圖像詞典15 (詞典)、輸入處理單元16以及顯示處理單 元17。(面部圖像注冊裝置1的概要)首先，說明面部圖像注冊裝置1的概要。面部圖像注冊裝置1從活動圖 像中提取適于詞典注冊的面部圖像，并將其注冊。即，場景的區(qū)分、面部圖 像的分組不是目的。以詞典的性能提高和性能提高步驟的筒化為目的。具體地說，面部圖像注冊裝置1從被輸入的活動圖像中提取適于面部的 認證處理的面部圖像，并自動地注冊到面部圖像詞典15中。此時，例如選擇 性地注冊由用戶所指定的人物的面部圖像。從活動圖像提取面部圖像是關(guān)鍵。即，在活動圖像中，被拍攝到數(shù)個與各種的條件一致的面部圖像的可能 性非常高。因此，面部圖像注冊裝置能夠從活動圖像中分別提取對于相同的 人物的不同的面部圖像。由此，能夠在面部圖像詞典15中注冊各種面部圖像， 所以能夠減少注冊到面部圖像詞典15中的面部圖像的偏差。此外，能夠簡單 且高精度地作成面部圖像詞典15。如上所述，若使用通過面部圖像注冊裝置1所生成的面部圖像詞典15， 則認證裝置能夠大幅度地提高人物的面部認證的性能。 (面部圖像的注冊處理)參照圖2,以下說明面部圖像注冊裝置1將從活動圖像中提取的面部圖 像注冊到面部圖像詞典15時的處理。圖2是表示面部圖像注冊裝置1從活動 圖像中提取面部圖像并注冊到面部圖像詞典15時的處理的流程的流程圖。 (活動圖像的輸入)在圖2所示的處理之前，用戶預(yù)先使用活動畫面拍攝裝置4拍攝活動圖 像。由此，活動畫面拍攝裝置4將活動圖像輸入到面部圖像注冊裝置1 (步
驟S20)。在面部圖像注冊裝置l中，由活動畫面輸入單元10接受被輸入的 活動圖像。輸入處理單元16將所接受的活動圖像輸出到場景提取單元11。在本發(fā)明中，輸入到面部圖像注冊裝置1的活動圖像并不限于由活動畫 面拍攝裝置4所拍攝的圖像。例如，可以是在市面上銷售的有償?shù)挠跋褴浖?或者也可以是轉(zhuǎn)播的電視劇或體育節(jié)目等能夠無償?shù)玫降幕顒訄D像。即，輸 入到面部圖像注冊裝置1的活動圖像只要是拍攝到人物的面部的圖像即可。 (活動圖像的例子)面部圖像注冊裝置1從活動圖像中提取面部圖像。因此，首先，參照圖 3 (a)，以下說明面部圖像注冊裝置1作為處理對象的活動圖像的一個例子。 圖3 (a)是表示在詞典生成裝置1提取面部圖像時所處理的活動圖像的一個 例子的圖。如該圖所示，活動圖像30由多個連續(xù)的幀31構(gòu)成。各個幀相當于在影 像中的所謂的"畫面(3T)"。即，各個幀31都是一個靜止畫面。 (場景的提取)在面部圖像注冊裝置中，場景提取單元11從被輸入的活動圖像中，提取 至少一個場景(步驟S21)。這里所指的"場景"是，構(gòu)成活動圖像的一部分 幀連續(xù)地連著的部分活動圖像。場景提取單元11只要將在同一人物的面部進 入幀之后到走出為止的期間作為一個場景提取即可。即， 一個場景只要是某 一人物的面部映入最初的幀到消失為止即可。場景提取單元11只要使用公知的任意方法，從活動圖像中提取場景即 可。例如能夠利用所謂的面部跟蹤技術(shù)，即對連續(xù)性地每次少許變化的面部 進行檢測并跟蹤。此外，也可以檢測背景的變化、在映入了與預(yù)先決定的特 定條件一致的背景的幀出現(xiàn)的部位，區(qū)分活動圖像。此時，成為提取被區(qū)分 的前后的幀組作為各自不同的場景。 (場景的一個例子)參照圖3 (b)，以下說明通過場景提取單元11而從活動圖像中提取的場 景的一個例子。圖3 (b)是表示通過場景提取單元11所提取的場景的一個 例子的圖。在該圖所示的例子中，場景提取單元11從一個活動圖像中提取三個場 景，即場景32、場景33、以及場景34。場景32取從幀32a到幀32b的連續(xù) 的多個幀連著的結(jié)構(gòu)。在這些幀中，都是同一人物的面部被連續(xù)地拍攝。 場景33由幀33a以及幀33b的兩個幀構(gòu)成。由于在幀33a的之前幀以及 幀33b的之后幀中沒有拍攝到面部，所以場景提取單元11提取在活動圖像中 由幀33a以及33b的兩個所構(gòu)成的部位作為一個場景33。場景34取三個幀即從幀34a到34c連續(xù)連著的結(jié)構(gòu)。在這些幀中，都是 同一人物的面部圖像被連續(xù)地拍攝。因此，場景提取單元11提取在活動圖像 中由幀34a以及34c的三個所構(gòu)成的部位作為一個場景34。 (幀的一個例子)參照圖3 (c)，以下說明構(gòu)成場景的幀。圖3 (c)是表示各自包含各種 面部圖像、構(gòu)成一個場景32的多個幀的例子的圖。如該圖所示，場景32由多個幀構(gòu)成。在各個幀中，被拍攝到至少一個人 物的面部。之外，在場景32中，還包含也同時拍攝了其他人物的面部的幀。 另外，不限于必需所有的幀拍攝多個人物的面部圖像。但是，在各個幀中， 拍攝到朝向正面的面部、橫向的面部、長胡子的面部、開口的面部等，具有 各自不同的特征的面部。 (正面面部的提取)場景提取單元11將在步驟S21中提取的場景輸出到代表面部圖像提取單 元12。代表面部圖像提取單元12從被輸入的場景中，檢索各種面部圖像(步 驟S22 )。此時，代表面部圖像提取單元12特地提取與預(yù)先決定的代表條件一致的 面部圖像。這里所指的"代表條件"是指，在拍攝到活動圖像中的各種面部 圖像中，最適合面部認證的面部圖像應(yīng)滿足的條件。在面部圖像注冊裝置1 中，代表條件預(yù)先存儲在未圖示的存儲器中。在本實施方式中，朝向正面的 面部的面部圖像所滿足的條件就是代表條件。因此，代表面部圖像提取單元 12從被輸入的場景中，提取朝向正面的面部(步驟S23)。另外，代表條件并不限定于朝向正面的面部的面部圖像所滿足的條件。 此外，只要是適于面部認證的面部圖像應(yīng)滿足的條件，可以是任何條件。此外，代表面部圖像提取單元12也可以從場景中盡可能全部提取與代表 條件一致的面部圖像。因此，也可以相互區(qū)分地提取將對于同一人物的朝向 正面的面部作為分別不同的代表面部圖像。另外，在面部圖像注冊裝置l中，用戶也可以適當?shù)卦O(shè)定代表條件。此 時，代表面部圖像提取單元12從場景中提取與由用戶所設(shè)定的代表條件一致
的面部圖像作為代表面部圖像。 (人物的選擇)在本實施方式中，代表面部圖像提取單元12從被輸入的場景中，與對應(yīng) 的人物的重復(fù)無關(guān)地全部提取盡可能數(shù)的代表面部圖像。然后，將提取的所有代表面部圖像輸出到顯示處理單元17。若代表面部圖像提取單元12結(jié)束從場景中提取代表面部圖像，則面部圖 像注冊裝置1選擇一個被提取的代表面部圖像(步驟S24)。在本實施方式 的面部圖像注冊裝置1使用戶選擇一個想要注冊到面部圖像詞典15中的人物 的代表面部圖像。具體地說，顯示處理單元17使顯示裝置3顯示被輸入的所有的代表面部 圖像。用戶通過顯示裝置3確認代表面部圖像的顯示。接著，用戶使用輸入 裝置2，選擇所顯示的代表面部圖像中的任一個。輸入處理單元16接受該選 擇。輸入處理單元16將對于用戶所選擇的代表面部圖像的信息輸出到注冊用 面部圖像提取單元13。由此，注冊用面部圖像提取單元13選擇用戶所選擇 的代表面部圖像作為處理的對象。圖4是表示請求用戶選擇代表面部圖像的顯示畫面的一個例子的圖。顯 示處理單元17使顯示裝置3顯示如圖4所示的畫面40。畫面40包括用于顯 示包含正面面部圖像41的多個正面面部圖像的區(qū)域、以及消息框42。在消 息框42中，顯示用于促使用戶選擇面部圖像的消息。在圖4的例子中，顯示 "請選擇想要注冊的人物的面部圖像"的消息。如上所述，代表面部圖像提取單元12也可以對同一人物提取多個不同的 正面面部圖像作為代表面部圖像。此時，顯示處理單元17使顯示裝置3同時顯示對于相同的人物的多個不同的正面面部圖像。 (選擇的人物的注冊)注冊用面部圖像提取單元13將由用戶所選擇的正面面部圖像注冊到面 部圖像詞典15 (步驟S25)。此時，也可以將用于識別所選擇的正面面部圖 像的固有的識別符注冊到面部圖像詞典15中。或者，也可以注冊所選擇的正 面面部圖像其本身?；蛘?，也可以注冊可通過后述的方法所計算的、面部圖 像的特征量。無論哪一種方法，都在面部圖像詞典15中新設(shè)定用于注冊表示 所選擇的人物面部的面部圖像的存儲區(qū)域。 (對于注冊人物的面部圖像檢索)
注冊用面部圖像提取單元13對由用戶選擇的正面面部圖像所表示的人 物，從各種被輸入的場景中檢索同一人物的面部圖像(步驟S26)。此時， 與條件的差異無關(guān)，全部檢索能夠判定為與所提取的正面面部相同的人物的 面部的面部圖4象。判定方法可以是/>知的方法。在本實施方式中，注冊用面部圖像提取單元13預(yù)先統(tǒng)一地檢索能夠判定為面部圖像的圖像。(條件判定以及提取)在步驟S26中檢索到各種面部圖像之后，注冊用面部圖像提取單元13 判定所檢索的面部圖像是否與預(yù)先決定的拾取條件(注冊條件)一致。然后， 提取被判定為滿足的面部圖像作為注冊到面部圖像詞典15中的面部圖像(步 驟S27)。此時，使用在未圖示的存儲器中預(yù)先存儲的拾取條件列表。"拾 取條件列表"是指，將適于注冊到面部圖像詞典15的面部圖像應(yīng)滿足的各種 拾取條件集中為 一個的列表。 (拾取條件列表50)參照圖5，以下說明注冊用面部圖像提取單元13所使用的拾取條件列表 50。圖5是表示拾取條件列表50的一個例子的圖。如該圖所示，在拾取條件列表50中，分別定義了主條件、副條件A、副 條件B、副條件C。主條件是大致分類了面部圖像的特征的條件。在拾取條 件列表50中，定義了面部的方向、亮度、表情、以及附帶物作為拾取條件的 主條件。將主條件進一步細致地定義的就是副條件A。例如，在"面部的方向" 中定義了 "上"、"下"、"左"、"右"作為副條件A,在"亮度，，中定 義了 "閃光"、"背景比"作為副條件A，在"表情，，中定義了 "目艮睛，，、"口'，作為副條件A,且在"附帶物，，中定義了 "目艮鏡，，、"胡子，，作為副 條件A。將副條件A進一步細致地定義的就是副條件B。例如，在"上"中定義 了 "0 30度"作為副條件B,在"閃光"中定義了 "有"、"無，，作為副條 件B,在"背景比，，中定義了 "亮"、"暗"作為副條件B,在"眼睛"中 定義了 "開"、"閉"作為副條件B。將副條件B進一步細致地定義的就是副條件C。例如，在"0 30度" 中定義了 "每5度"。如上所述，根據(jù)拾取條件，所設(shè)定的副條件的等級不同。但是，作為提
取面部圖像的條件是沒有變化。即，只是對可判定為與特定的條件一致的面 部圖像的條件的細致程度存在差異。注冊用面部圖像提取單元13將在拾取條件列表50中定義的主要條件與屬于該主條件的副條件適當?shù)亟M合而生成各種拾取條件。例如，對"面部地方向，'而言，處理"朝向上5度的面部"作為一個拾取條件。對于在步驟S27中所示的處理的細節(jié)，在后面敘述。另外，通過執(zhí)行該 處理，注冊用面部圖像提取單元13提取與在拾取條件列表50中定義的至少 一個拾取條件一致的面部圖像作為至少一個注冊用面部圖像。 (面部圖像的注冊)注冊用面部圖像提取單元13將從場景中提取的注冊用面部圖像輸出到 面部圖像注冊單元14。面部圖像注冊單元14將被輸入的注冊用面部圖像注 冊到面部圖像詞典15 (步驟S28)。其細節(jié)在后面敘述。 (最終判定處理)在步驟S28中將注冊用面部圖像注冊到面部圖像詞典15之后，注冊用面 部圖像提取單元13判定是否從場景中結(jié)束提取面部圖像(步驟S29)。此時， 注冊用面部圖像提取單元13在滿足以下的任一條件時，判定為結(jié)束面部圖像 的提取條件A:將與在拾取條件列表50中定義的各個拾取條件一致的面部圖像 全部注冊到面部圖#>詞典15中條件C:處理了在一個活動圖像內(nèi)的全部場景條件B:處理了一定數(shù)的場景條件D:處理了全部被輸入的多個活動圖像條件E:處理了一定數(shù)的活動圖像條件F:開始提取處理之后經(jīng)過了 一定時間。在判定為從上述的條件A到F的任一個都不滿足時("否，，)，圖2所 示的處理返回到步驟S27。此時，注冊用面部圖像提取單元13從場景中新選 擇一個在檢索的面部圖像中沒有判定是否與拾取條件一致的面部圖像。然后， 判定是否與上述的拾取條件一致。這樣，注冊用面部圖像提取單元13對每個面部圖像重復(fù)判定從場景中檢 索的面部圖像是否與作為注冊用面部圖像的拾取條件一致，直到在步驟S29 所示的最終判定處理中得到"真"的結(jié)果為止。 (條件判定以及提取處理的細節(jié))參照圖6,以下說明在步驟S27中所示的條件判定以及提取處理的細節(jié)。 圖6是表示注冊用面部圖像提取單元13從場景中提取與拾取條件一致的面部 圖像的處理的流程的流程圖。本實施方式的注冊用面部圖像提取單元13使用例如公開在特開2005 -49854號公報中公開的技術(shù)，從場景中提取與拾取條件一致的面部圖像。因 此，事先不需要與各個拾取條件對應(yīng)的面部圖像(template)。即，只要被提 供作為拾取條件所定義的條件，則能夠?qū)γ總€人物自動地提取與其一致的面 部圖像。(選擇未注冊的條件)首先，注冊用面部圖像提取單元13選擇一個未注冊的"l合取條件(步驟 S60)。這里所指的"未注冊的拾取條件，，是，在對于選擇的代表面部圖像所 表示的人物的面部圖像中、沒有注冊在面部圖像詞典15中的面部圖像所滿足 的條件。例如，與面部的方向的拾取條件一致的面部圖像沒有注冊在面部圖 像詞典15時，從拾取條件列表50中選擇對于面部的方向的拾取條件。注冊用面部圖像提取單元13執(zhí)行與所選擇的條件對應(yīng)的處理。在圖6 的例子中，跳(jump)到用于處理所選擇的條件的方框。另外，在本實施方式中，對每個拾取條件而在拾取條件列表50中設(shè)定用 于表示將與拾取條件一致的面部圖像注冊到面部圖像詞典15中的標志 (flag )。因此，注冊用面部圖像提取單元13選擇在拾取條件列表50中定義 的拾取條件中標志所沒有設(shè)定的條件作為未注冊的拾取條件。 (面部的方向的計算以及判定)以下，假設(shè)在面部圖像詞典15中未注冊與"面部的方向"的條件一致的 注冊用面部圖像。此時，注冊用面部圖像提取單元13計算處理對象的面部圖 像所表示的面部的方向。例如，計算朝向上40度的方向或數(shù)值。此時，注冊用面部圖像提取單元13例如基于-連結(jié)眼睛和嘴的三角形的形狀 從外眼角到面部的輪廓為止的距離、左右方向 等，計算面部的方向。由于這些計算方法已經(jīng)是確定的方法，所以省略詳細 的說明。注冊用面部圖像提取單元13判定計算的面部的方向是否滿足所選擇的 拾取條件(步驟S62)。在判定為滿足時("是")，注冊用面部圖像提取 單元13更新拾取條件(步驟S69)。更新的細節(jié)在后面敘述。 (亮度的計算以及判定)在步驟S62中，在判定為從面部圖像計算的面部的方向與對于面部的方 向的拾取條件不一致時("否")，注冊用面部圖像提取單元13接著計算面 部圖像的亮度(步驟S63)。此時，注冊用面部圖像提取單元13例如基于 圖像文件的光圈信息 閃光的4言息-背景的亮度與顏色的亮度之差.面部圖像的輪廓內(nèi)像素的亮度等級平均值 等，選擇面部圖像的亮度。由于這些計算方法已經(jīng)是確定的方法，所以省略 ^洋細的i兌明。注冊用面部圖像提取單元13判定計算的亮度是否滿足所選擇的拾取條 件(步驟S64)。在判定為滿足時("是")，注冊用面部圖像提取單元13 更新拾取條件(步驟S69)。更新的細節(jié)在后面敘述。 (表情的計算以及判定)在步驟S64中，在判定為從面部圖像計算的亮度與對于亮度的拾取條件 不一致時("否，，)，注冊用面部圖像提取單元13接著計算面部圖像的表情 (步驟S65 )。此時，注冊用面部圖像提取單元13例如基于 離眼睛的中心的邊緣(edge)量 從眼睛的中心向上下左右方向的邊緣量.瞳孔與白眼球之間的邊界.眼睛的縱向和橫向的比率 等，選擇面部圖像的表情。由于這些計算方法已經(jīng)是確定的方法，所以省略 詳細的"i兌明。注冊用面部圖像提取單元13判定計算的表情是否滿足對于表情的拾取 條件(步驟S68)。在判定為滿足時("是")，注冊用面部圖像提取單元 13更新拾取條件(步驟S69)。更新的細節(jié)在后面敘述。 (附帶物的計算以及判定)
在步驟S66中，在判定為從面部圖像計算的表情與對于表情的拾取條件 不一致時("否，，)，注冊用面部圖像提取單元13接著計算面部圖像有無附 帶物(步驟S67 )。此時，注冊用面部圖像提取單元13例如基于-與代表面部圖像之間的差異.眼睛周圍的顏色和膚色之間的差異-嘴周圍的顏色(黑色) 等，計算面部圖像有無附帶物。由于這些計算方法已經(jīng)是確定的方法，所以 省略詳細的"i兌明。注冊用面部圖像提取單元13判定計算的附帶物是否滿足對于附帶物的 拾取條件(步驟S68)。在判定為滿足時("是，，)，注冊用面部圖像提取 單元13更新拾取條件(步驟S69)。更新的細節(jié)在后面敘述。 (更新拾取條件列表50)無論是面部的方向、亮度、表情、附帶物的哪一種，在判定為從面部圖 像計算的條件滿足所選擇的拾取條件時("是")，注冊用面部圖像提取單 元13更新拾取條件列表50 (步驟S69 )。具體地說，在拾取條件列表50中 建立用于表示對于所選擇的拾取條件將一致的面部圖像注冊到面部圖像詞典 15的標志。此時，注冊用面部圖像提取單元13在處理下一個面部圖像時， 不會再次選擇本次注冊的條件。 (總結(jié))如上所述，在面部圖像注冊裝置l中，通過用戶選擇想要注冊到面部圖 像詞典15中的人物，從而能夠自動地生成最適合其人物的面部認證的面部圖 像詞典15。即，從活動圖像(場景)中自動地提取各種不同的面部圖像，注 冊到面部圖像詞典15。因此，能夠比以往技術(shù)還減少面部圖像的注冊處理所 需的功夫。另外，在面部圖像注冊裝置l中，也可以交給用戶選擇注冊到面部圖像 詞典15中的注冊用面部圖像。此時，面部圖像注冊裝置l使顯示裝置3—覽 顯示所檢索的各種面部圖像。由此，將通過用于所選擇的面部圖像注冊到面 部圖像詞典15中。此時，由于在注冊的面部圖像的選別中添加了用戶的判定， 從而能夠進一步提高面部圖像詞典15的精度。 (任意地選擇) 在以上的例子中，注冊用面部圖像提取單元13在每提取與拾取條件一致的面部圖像時，更新拾取條件列表50。但是，注冊用面部圖像提取單元13也可以首先將與拾取條件 一致的面部圖像全部集中存儲在存儲器中。此時，注冊用面部圖像提取單元13在結(jié)束提取面部圖像時，任意地選擇一個要注冊 到面部圖像詞典15中的面部圖像即可?；蛘?，也可以使用戶選擇要注冊的面部圖像。(對面部圖像詞典15的注冊處理的細節(jié))參照圖7,以下說明在步驟S28中面部圖像注冊單元14所執(zhí)行的對面部 圖像詞典15的面部圖像的注冊處理。圖7是表示面部圖像注冊單元14將通 過注冊用面部圖像提取單元13所提取的注冊用面部圖像注冊到面部圖像詞 典15時的處理的流程的流程圖。 (器官位置的檢測)如該圖所示，面部圖像注冊單元14首先對由面部圖像所表示的面部，提 取各種器官的位置(步驟S70)。具體地說，檢測眼睛的中心、外眼角、內(nèi) 眼角、嘴、嘴的兩端、眉毛的兩端等。由于器官的檢測方法為公知的技術(shù)， 所以省略詳細的說明。面部圖像注冊單元14所檢測的器官并不限定于此，只 要是面部的器官即可。所檢測的數(shù)量也沒有特別限定。在面部圖像注冊裝置 l中，預(yù)先在未圖示的存儲器中決定對哪個器官檢測多少次。 (特征量的計算)在檢測到面部圖像的器官位置之后，面部圖像注冊單元14使用所檢測的 各個器官位置的信息，計算面部圖像的特征量(步驟S71)。由此，對面部 圖像的特征進行數(shù)值化。由于數(shù)值化的方法已經(jīng)確定，所以在這里不特別詳 細i兌明。(特征量的注冊)接著，面部圖像注冊單元14在面部圖像詞典15中，將所計算的特征量 與已經(jīng)注冊的代表面部圖像相關(guān)聯(lián)地存儲(步驟S72)。通過以上的處理，面部圖像注冊單元14與將面部圖像其本身注冊到面部 圖像詞典15中的情況相比，將更少量的數(shù)據(jù)注冊到面部圖像詞典15中。因 此，能夠進一步減小所生成的面部圖像詞典15的數(shù)據(jù)大小。 (條件判定以及提取處理)在以上說明的例子中，面部圖像注冊裝置1提取沒有注冊在面部圖像詞
典15中的與拾取條件一致的面部圖像，并注冊到面部圖像詞典15中。但面 部圖像注冊裝置1也可以提取與拾取條件一致的面部圖像，而與是否已注冊無關(guān)。此時，注冊用面部圖像提取單元13判定在面部圖像詞典15中注冊的面部圖像和新提取的注冊用面部圖像中哪個適于面部認證。若判定為新提取 的面部圖像更適于面部認證時，用新提取的面部圖像來置換已有的面部圖像。參照圖8，以下說明以上的處理。圖8是表示注冊用面部圖像提取單元 13提取與拾取條件 一 致的面部圖像時的處理的流程的流程圖。在處理之前，注冊用面部圖像提取單元13選擇一個作為處理對象的面部 圖像。接著，面部圖像注冊單元14對于所選擇的面部圖像計算面部的方向(步 驟S80)。由于在上述說明了面部的方向的計算處理，所以省略說明。注冊 用面部圖像提取單元13判定所計算的面部的方向是否與在拾取條件列表50 中定義的、對于面部的方向的拾取條件的至少一個一致(步驟S81)。在步驟S81中，在判定為所計算的面部的方向與拾取條件一致時("是")， 注冊用面部圖像提取單元13更新拾取條件列表50。對于該處理的細節(jié)，在 后面敘述。在步驟S81中，在判定為所計算的面部的方向與拾取條件不一致時 ("否，，)，注冊用面部圖像提取單元13接著計算對于所選擇的面部圖像的 亮度(步驟S82)。由于在上述說明了亮度的計算處理，所以省略說明。注 冊用面部圖像提取單元13判定所計算的亮度是否與在拾取條件列表50中定 義的、對于亮度的拾取條件的至少一個一致(步驟S83)。在步驟S83中，在判定為所計算的亮度與拾取條件一致時("是")， 注冊用面部圖像提取單元13更新拾取條件列表50。對于該處理的細節(jié)，在 后面敘述。在步驟S83中，在判定為所計算的面部的方向與拾取條件不一致時 ("否")，注冊用面部圖像提取單元13接著計算對于所選擇的面部圖像的 表情(步驟S82)。由于在上述說明了表情的計算處理，所以省略說明。注 冊用面部圖像提取單元13判定所計算的表情是否與在拾取條件列表50中定 義的、對于表情的拾取條件的至少一個一致(步驟S85)。在步驟S83中，在判定為所計算的亮度與拾取條件一致時("是")， 注冊用面部圖像提取單元13更新拾取條件列表50。對于該處理的細節(jié)，在 后面敘述。
在步驟S85中，在判定為所計算的表情與拾取條件不一致時("否")， 注冊用面部圖像提取單元13接著計算對于所選擇的面部圖像的附帶物(步驟S86)。由于在上述說明了附帶物的計算處理，所以省略說明。注冊用面部圖 像提取單元13判定所計算的附帶物是否與在拾取條件列表50中定義的、對 于附帶物的拾取條件的至少一個一致(步驟S87)。 (拾取條件列表的更新)與哪一個拾取條件一致無關(guān)，注冊用面部圖像提取單元13在面部圖像與 拾取條件一致時，更新拾取條件列表50 (步驟S88)。 (拾取條件列表更新的細節(jié))參照圖9，以下說明在步驟S88中注冊用面部圖像提取單元13執(zhí)行的拾 取條件列表50的更新處理。圖9是表示注冊用面部圖像提取單元13更新拾 取條件列表時的處理的流程的流程圖。首先，注冊用面部圖像提取單元13判定被判定為與所選擇的面部圖像一 致的拾取條件是否已注冊在拾取條件列表50中(步驟S90)。具體地說，判 定在拾取條件列表50中是否設(shè)定了對于其拾取條件的標志。 (識別可靠度的比較)在步驟S90中的判定結(jié)果為"偽"時("否")，更新拾取條件列表50。 具體地說，對判定為與面部圖像一致的拾取條件設(shè)定標志。另一方面，在步驟S90中的判定結(jié)果為"真"時("是")，已對其拾 取條件設(shè)定了標志。即，與其拾取條件一致的面部圖像已經(jīng)注冊在面部圖像 詞典15中。因此，注冊用面部圖像提取單元13比較對于已經(jīng)注冊的面部圖 像的識別可靠度和對于新提取的面部圖像的識別可靠度。由此，判定存儲的 識別可靠度、新計算的識別可靠度是否大于已存儲的識別可靠度(步驟S91 )。這里所指的"識別可靠度"是，對滿足拾取條件的情況進行數(shù)值化的值。 例如，若是面部的方向，則5度、8度這樣，注冊用面部圖像提取單元13將 計算的數(shù)值與拾取條件相關(guān)聯(lián)地存儲到拾取條件列表50中?；蛘撸部梢耘c 注冊用面部圖像相關(guān)聯(lián)地注冊到面部圖像詞典15中。在步驟S卯中的判定結(jié)果為"真"時("是")，注冊用面部圖像提取 單元13更新拾取條件列表50。由于表示與拾取條件一致的面部圖像注冊到 面部圖像詞典15中的情況的標志，已經(jīng)在拾取條件列表50中設(shè)定，所以就 維持原樣。另一方面，將到此為止存儲的識別可靠度置換為對于新提取的面 部圖像的識別可靠度。之后，面部圖像注冊單元14將已注冊到面部圖像詞典15的面部圖像置換為由注冊用面部圖像提取單元13而新提取的面部圖像。通過以上的處理，能夠?qū)γ娌繄D像詞典15注冊識別精度更高的面部圖 像。因此，能夠進一步提高面部圖像注冊裝置1所生成的面部圖像詞典15的 認證精度。(注冊對于多個人物的面部圖像)在以上說明的例子中，面部圖像注冊裝置1從多個代表面部圖像中提取 對于用戶所選擇的一個人物的注冊用面部圖像，注冊到面部圖像詞典15中。 但是，在從一個活動圖像、或者一個場景提取了適于注冊的面部圖像時，面 部圖像注冊裝置1也可以分別提取對于多個人物的注冊用面部圖像，繼續(xù)注 冊到面部圖像詞典15中。圖IO是表示面部圖像注冊裝置l提取對于多個人物的面部圖像，注冊到 面部圖像詞典15時的處理的流程的流程圖。在圖10中所示的步驟S100到S109的處理在本質(zhì)上分別與步驟S20到 S29的處理相同。因此，省略詳細的il明。另外，在步驟S104中，顯示處理 單元17在未圖示的存儲器中設(shè)定用于表示用戶所選擇的人物為已選擇的情 況的標志。在步驟S109中，在判定為結(jié)束了對于某一人物的注冊用面部圖像的提取 時("是")，注冊用面部圖像提取單元13判定在對用戶提示的代表面部圖 像的人物中是否存在對于未注冊到面部圖像詞典15中、即還不作為處理對象 的面部圖像的人物(步驟S110)。具體地說，判定是否存在未設(shè)定標志的面部圖像。在步驟S110中的判定結(jié)果為"真"時("是，，)，圖IO的處理返回到 步驟S104,面部圖像注冊裝置1使用戶選擇在顯示裝置3中顯示的代表面部 圖像中未注冊的圖像。此時，也可以例如將已選擇的面部圖像進行灰色標度 (gray scale)顯示等，從而明示已選擇的情況。用戶選擇一個未選擇的代表面部圖像。由此，注冊用面部圖像提取單元 13從場景中提取對于新選擇的代表面部圖像所表示的人物的注冊用面部圖 像。然后，面部圖像注冊單元14將由注冊用面部圖像提取單元13所選擇的 注冊用面部圖像注冊到面部圖像詞典15中。面部圖像注冊裝置1重復(fù)以上的處理，直到已經(jīng)沒有可選4奪的代表面部 圖像，或者由用戶明確地進行了結(jié)束注冊的指示。 (作用和效果)在活動圖像中，并不限定于只被拍攝一個人物。經(jīng)常會拍攝到很多人物。因此，注冊用面部圖像提取單元13在通過代表面部圖像提取單元12提取了多個不同的代表面部圖像時，對每個代表面部圖像提取注冊用面部圖像。多 個不同的代表面部圖像是指，各個面部圖像為表示分別不同的人物的面部的多個面部圖像。此時，注冊用面部圖像提取單元13對每個不同的人物提取注 冊用面部圖像。因此，面部圖像注冊單元14在活動圖像中拍攝到多個人物的情況下，對 每個人物將代表面部圖像和該注冊用面部圖像相關(guān)聯(lián)地注冊到面部圖像詞典 15中。因此，在面部圖像詞典15中，存儲對于多個不同的人物的面部圖像。通過以上的處理，面部圖像注冊裝置1能夠進一步提高面部圖像詞典15 的充實度。(詞典數(shù)據(jù)的一個例子)參照圖11，以下說明面部圖像注冊裝置1所生成的存儲到面部圖像詞典 15中的詞典數(shù)據(jù)的一個例子。圖11是表示在面部圖像詞典15中存儲的詞典 數(shù)據(jù)的一個例子的圖。如該圖所示，面部圖像注冊裝置1所生成的詞典數(shù)據(jù)中包含首標數(shù)據(jù)H、特征量數(shù)據(jù)dl、特征量數(shù)據(jù)d2.......特征量數(shù)據(jù)dn。首標數(shù)據(jù)H由面部圖像詞典15的版本信息或在面部圖像詞典15中注冊的人物的人數(shù)等，與詞典數(shù)據(jù)整體有關(guān)的各種定義數(shù)據(jù)而構(gòu)成。各個特征量數(shù)據(jù)di (i=l、 2........ n)是用于表示通過代表面部圖像提取單元12而從活動圖像中提取的代表面部 圖像所表示的每個人物的特征量的數(shù)據(jù)。在每個人物的特征量數(shù)據(jù)中，特征 量對每個注冊用面部圖像成為一體化而沒有分開。 (面部圖像詞典15的利用)如上所述，面部圖像注冊裝置1不是比較與特定的拾取條件一致的模版 圖像和活動圖像內(nèi)的面部圖像，從而提取一致的面部圖像。代替地，提取與 注冊的各個拾取條件一致的面部圖像，將從所提取的面部圖像計算的特征量 合成為一個，從而生成面部圖像詞典15。因此，可生成能夠比已注冊條件更 廣泛地應(yīng)對的面部圖 <象詞典15 。各種認證裝置使用如上那樣面部圖像注冊裝置1所生成的面部圖像詞典15。例如，認證裝置從被提供的多個靜止畫面提取被攝入特定的人物的照片。 或者，也可以在本人認證時使用面部圖像詞典15,從而提高認證精度?；蛘?也可以從輸入的活動畫面中，選出特定的人物登場的場面。不論哪一情況，都能夠使用與以往相比精度更高的面部圖像詞典15，從而能夠與以往相比精度更高地4丸行面部圖像的認證。另外，本發(fā)明并不限定于上述的實施方式，在權(quán)利要求所示的范圍內(nèi)可 進行各種變更。即，對于將在權(quán)利要求所示的范圍內(nèi)適當?shù)刈兏募夹g(shù)手段 組合而得的實施方式，也屬于本發(fā)明的技術(shù)范圍。(其他場景的連續(xù)檢索)例如，沒有限定在一個場景中包含與拾取條件一致的所有種類的面部圖 像。因此，若在一個場景中沒有所需的注冊用面部圖像，則注冊用面部圖像提取單元13還可以將其他場景作為檢索對象。此時，場景提取單元11從活動圖像中，提取多個不同的場景。此時，例 如對沒有攝入人物的面部的場面進行劃分。在無法從多個不同的場景中的某一場景提取注冊用面部圖像時，注冊用面部圖像提取單元13從在多個不同的 場景中與其場景不同的其他場景提取注冊用面部圖像。由此，能夠更可靠地 增加注冊到面部圖像詞典15中的面部圖像的種類。 (面部圖像的大小)代表面部圖像提取單元12在從場景中提取代表面部圖像時，還可以對每 個人物提取相互相同大小的面部圖像。這樣，能夠穩(wěn)定注冊到面部圖像詞典 15中的代表面部圖像的認證精度。同樣地，注冊用面部圖像提取單元13也可以在從場景中提取注冊時，對 每個拾取條件，提取相互相同大小的面部圖像。這樣，能夠穩(wěn)定注冊到面部 圖像詞典15中的注冊用面部圖像的認證精度。 (代表面部圖像的自動選擇)面部圖像注冊裝置1也可以不用使用戶選擇，而是自動地選擇代表面部 圖像提取單元12所提取的代表面部圖像。此時，注冊用面部圖像提取單元 13從被提取的代表面部圖像中選擇任一個，并從場景中提取對于該被選擇的 代表面部圖像所表示的人物的注冊用面部圖像。根據(jù)該方法，能夠完全自動 地生成面部圖像詞典15，而不會麻煩用戶。 (面部圖像注冊程序以及記錄媒體) 最后，面部圖像注冊裝置1中包含的各個模塊由硬件邏輯構(gòu)成即可?；蛘?，也可以如下那樣，使用CPU ( Central processing Unit)由軟件實現(xiàn)。即，面部圖像注冊裝置l包括執(zhí)行用于實現(xiàn)各個功能的控制程序的命 令的CPU、存儲了該控制程序的ROM (Read Only Memory)、將上述控制 程序展開為可執(zhí)行的形式的RAM ( Random Access Memory )、以及存儲上述 控制程序以及各種數(shù)據(jù)的存儲器等的存儲裝置(記錄媒體)。根據(jù)這個結(jié)構(gòu)，也通過規(guī)定的記錄媒體來達到本發(fā)明的目的。只要該記 錄媒體將實現(xiàn)上述功能的軟件即面部圖像注冊裝置i的控制程序的程序代碼(執(zhí)行格式程序、中間代碼程序、源程序)以計算機可讀取地記錄即可。對 面部圖像注冊裝置1提供該記錄媒體。由此，作為計算機的面部圖像注冊裝 置1 (或者CPU或MPU)對在所提供的記錄媒體中存儲的程序代碼進行讀出 并執(zhí)行即可。將程序代碼提供給面部圖像注冊裝置1的記錄媒體并不限定于特定的結(jié) 構(gòu)或者種類。即，該記錄媒體可使用^l帶或卡帶等的帶類、包括軟盤(注冊 商標)/硬盤等的磁盤或CD-ROM/MO/MD/DVD/CD-R等的光盤的盤類、IC 卡(包括存儲器卡)/光卡等的卡類、或者掩模ROM/EPROM/EEPROM/閃速 ROM等的半導(dǎo)體存儲器類等。此外，與通信網(wǎng)絡(luò)可連接地構(gòu)成面部圖像注冊裝置1也能實現(xiàn)本發(fā)明的 目的。此時，經(jīng)由通信網(wǎng)絡(luò)將上述程序代碼提供給面部圖像注冊裝置1。作 為該通信網(wǎng)絡(luò)，只要能夠?qū)γ娌繄D像注冊裝置l提供程序代碼的網(wǎng)絡(luò)即可， 沒有限定于特定的種類或方式。例如可利用因特網(wǎng)、內(nèi)部網(wǎng)、特別網(wǎng)(extra net) LAN、 ISDN、 VAN、 CATV通信網(wǎng)、虛擬專用網(wǎng)(virtual private network)、 電話線路網(wǎng)、移動通信網(wǎng)、衛(wèi)星通信網(wǎng)等。此外，構(gòu)成該通信網(wǎng)絡(luò)的傳輸媒體也是，可傳輸程序代碼的任意的媒體 即可，沒有限定于特定的結(jié)構(gòu)或種類。例如可利用IEEE1394、 USB ( Universal Serial Bus )、電力線傳輸、電纜TV線路、電話線、ADSL ( Asymmetric Digital Subscriber Line )線路等有線，也可以利用IrDA或遙控等的紅外線、Bluetooth (注冊商標)、802.11無線、HDR、便攜電話網(wǎng)、衛(wèi)星線路、地面波數(shù)字網(wǎng) 等的無線。另外，本發(fā)明也可以通過所述程序代碼以電子化傳輸所具體化的、 埋入載波的計算機數(shù)據(jù)信號的方式實現(xiàn)。如上所述，由于本發(fā)明的面部圖像注冊裝置包括面部圖像注冊部件，其
將從活動圖像中提取的注冊用面部圖像與從活動圖像中提取的代表面部圖像 相關(guān)聯(lián)地注冊到詞典中，因此，起到能夠?qū)⒏鞣N面部圖像注冊到詞典中，而 不會麻煩用戶的效果。在發(fā)明的詳細的說明項中進行的具體的實施方式或者實施例，終歸是明 確本發(fā)明的技術(shù)內(nèi)容，不能僅限定于這樣的具體例子來狹義地進行解釋，在 本發(fā)明的精神和以下記載的權(quán)利要求的范圍內(nèi)，可進行各種變更來實施。產(chǎn)業(yè)上的可利用性本發(fā)明可廣泛地利用為面部圖像注冊裝置，所述面部圖像注冊裝置生成 認證人物的面部圖像的各種認證裝置所利用的面部圖像詞典。
權(quán)利要求
1. 一種面部圖像注冊裝置，從被輸入的活動圖像中，提取表示人物的面部的面部圖像并注冊到詞典中，其特征在于，所述面部圖像注冊裝置包括代表面部圖像提取部件，從所述活動圖像中，提取與預(yù)先決定的代表條件一致的至少一個面部圖像作為代表面部圖像；注冊用面部圖像提取部件，從所述活動圖像中，提取在對于所述代表面部圖像所表示的人物的其他面部圖像中、與預(yù)先決定的注冊條件一致的至少一個其他面部圖像作為注冊用面部圖像；以及面部圖像注冊部件，將所述注冊用面部圖像與所述代表面部圖像相關(guān)聯(lián)地注冊到所述詞典。
2. 如權(quán)利要求1所述的面部圖像注冊裝置，其特征在于， 所述面部圖像注冊部件將對所述注冊用面部圖像的特征進行數(shù)值化的特征量注冊到所述詞典中。
3. 如權(quán)利要求1所述的面部圖像注冊裝置，其特征在于， 在預(yù)先決定了相互不同的多個注冊條件時，所述面部圖像注冊部件對該注冊條件的每個提取與該注冊條件一致的至少一個所述注冊用面部圖像，所述面部圖像注冊部件將對每個所述注冊條件所提取的所述注冊用面部 圖像與所述代表面部圖像相互全部相關(guān)聯(lián)地注冊到所述詞典中。
4. 如權(quán)利要求3所述的面部圖像注冊裝置，其特征在于， 在預(yù)先決定了相互不同的多個注冊條件時，所述面部圖像注冊部件對該注冊條件的每個^是取與該注冊條件一致的一個所述注冊用面部圖像，所述面部圖像注冊部件將對每個所述注冊條件所提取的一個所迷注冊用 面部圖像與所述代表面部圖像相互全部相關(guān)聯(lián)地注冊到所述詞典中。
5. 如權(quán)利要求1所述的面部圖像注冊裝置，其特征在于， 在通過所述代表面部圖像提取部件而提取了多個不同的所述代表面部圖像時，所述注冊用面部圖像提取部件對該代表面部圖像的每個提取所述注冊 用面部圖像。
6. 如權(quán)利要求1所述的面部圖像注冊裝置，其特征在于， 還包括場景提取部件，從所述活動圖像中提取場景， 所述代表面部圖像提取部件從所述場景中提取所述代表面部圖像， 所述注冊用面部圖像提取部件從所述場景中提取所述注冊用面部圖像。
7. 如權(quán)利要求6所述的面部圖像注冊裝置，其特征在于，所述場景提取部件從所述活動圖像中提取多個不同的所述場景， 所述注冊用面部圖像提取部件無法從某一場景提取所述注冊用面部圖像 時，從與所述某一場景不同的其他的場景提取所述注冊用面部圖像。
8. 如權(quán)利要求1所述的面部圖像注冊裝置，其特征在于，在與某一注冊條件一致的注冊用面部圖像已注冊到所述詞典的情況下， 所述注冊用面部圖像提取部件新提取與該注冊條件一致的其他的注冊用面部 圖像，在所述其他的注冊用面部圖像的識別可靠度高于所述已注冊的注冊用面 部圖像的識別可靠度時，所述面部圖像注冊部件將該已注冊的面部圖像置換 為該其他的注冊用面部圖像。
9. 一種面部圖像注冊方法，從被輸入的活動圖像中，提取表示人物的面 部的面部圖像并注冊到詞典中，其特征在于，所述面部圖像注冊方法包括代表面部圖像提取步驟，從所述活動圖像中，提取與預(yù)先決定的代表條 件 一 致的至少 一 個面部圖像作為代表面部圖像；注冊用面部圖像提取步驟，從所述活動圖像中，提取在對于所述代表面 部圖像所表示的人物的其他面部圖像中、與預(yù)先決定的注冊條件一致的至少 一個其他面部圖像作為注冊用面部圖像；以及面部圖像注冊步驟，將所述注冊用面部圖像與所述代表面部圖像相關(guān)聯(lián) 地注冊到所述詞典。
10. —種面部圖像注冊程序，使如權(quán)利要求1至8的任一項所述的面部 圖像注冊裝置動作，并且使計算機作為所述各個部件起作用。
11. 一種計算機可讀取的記錄媒體，記錄了如權(quán)利要求IO所述的面部圖 像注冊程序。
全文摘要
場景提取單元(11)從被輸入的活動圖像中，提取至少一個人的面部圖像被連續(xù)地拍攝的場景。代表面部圖像提取單元(12)從被提取的場景中，提取朝向正面的面部的圖像。注冊用面部圖像提取單元(13)從場景中，提取在對于被提取的正面面部圖像所表示的人物的其他面部圖像中、與拾取條件一致的各種注冊用面部圖像。面部圖像注冊單元(14)將被提取的代表面部圖像和被提取的注冊用面部圖像相關(guān)聯(lián)地注冊到面部圖像詞典(15)中。由此，將可利用于認證處理的各種面部圖像注冊到詞典中，而無需麻煩用戶。
文檔編號G06T1/00GK101401126SQ20078000906
公開日2009年4月1日 申請日期2007年3月14日 優(yōu)先權(quán)日2006年3月15日
發(fā)明者井上智裕, 千賀正敬, 垣內(nèi)崇 申請人:歐姆龍株式會社