專利名稱：圖像信息處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從輸入的圖像中檢測(cè)面部圖像區(qū)域并執(zhí)行規(guī)定的圖像處理 動(dòng)作的圖像信息處理方法及裝置。
背景技術(shù)：
以往開發(fā)了一種方法，目的在于能夠自動(dòng)地檢測(cè)影像中的人物是否為 具有特定的意圖的人物(可疑人物)。該方法從與上述人物的視線方向有關(guān) 的信息中，通過提取多個(gè)表示行動(dòng)意圖的信息來(lái)進(jìn)行上述檢測(cè)，從與提取 的視線方向相關(guān)的信息中提取注視特征量(向特定方向的總注視時(shí)間、視 線遷移次數(shù)、平均注視時(shí)間、瞥視次數(shù)或視線離散值、視線的平均移動(dòng)量、 與一般的視線模式的距離)，從而判別上述人物是否為可疑人物(例如，參 照專利文獻(xiàn)l)。
另外，以往還開發(fā)了一種方法，目的在于能夠從拍攝的面部的圖像中 高精度地檢測(cè)視線方向。該方法為了檢測(cè)瞳孔的中心位置而從圖像中檢測(cè)
虹膜的形狀，作為其中一個(gè)例子，舉出了通過橢圓哈夫(Hough)變換求 出虹膜的橢圓輪廓。 一般的，為了計(jì)測(cè)瞳孔的中心位置，需要檢測(cè)虹膜的 輪廓，并根據(jù)該虹膜的中心位置來(lái)推測(cè)瞳孔的中心，所以上述方法是適用 的(例如，參照專利文獻(xiàn)2)。
(專利文獻(xiàn)1)日本特開2007-6427號(hào)公報(bào) (專利文獻(xiàn)2)日本特許第3797253號(hào)公報(bào)
但是，在專利文獻(xiàn)1公開的技術(shù)中，通過計(jì)測(cè)眼球的中心位置和瞳孔 的中心位置所成的角度，從而計(jì)測(cè)該人物的視線方向，但對(duì)于上述瞳孔的 中心位置的檢測(cè)方法，沒有公開具體的技術(shù)方法。
另外，在專利文獻(xiàn)2公開的技術(shù)中，需要檢測(cè)虹膜的輪廓，但實(shí)際的 虹膜被眼瞼遮住了輪廓的一部分，所以虹膜的整體形狀(輪廓的形狀)沒 有出現(xiàn)在圖像上。因此，從上述圖像上檢測(cè)虹膜的輪廓的整體形狀是困難的。
例如，在進(jìn)行上述橢圓哈夫變換等圖像處理、從人物的圖像中檢測(cè)其 虹膜的輪廓時(shí)，由于虹膜的輪廓的整體沒有出現(xiàn)圖像上，所以會(huì)發(fā)生僅檢 測(cè)出在圖像上出現(xiàn)的虹膜的輪廓部分這樣的不佳情況、或誤檢測(cè)出鞏膜部 分的周邊部分這樣的不佳情況。作為其結(jié)果，存在以下問題g卩，對(duì)依賴 于虹膜的輪廓檢測(cè)的瞳孔的中心位置進(jìn)行檢測(cè)的精度也降低，在上述圖像 中的人物的視線方向的計(jì)測(cè)上發(fā)生較大誤差。

發(fā)明內(nèi)容
因此，本發(fā)明的目的在于能夠從拍攝的人物的圖像中正確地計(jì)測(cè)該 人物的虹膜的中心位置，而且，還能夠?qū)崿F(xiàn)高精度的視線方向計(jì)測(cè)。
按照本發(fā)明的第一觀點(diǎn)的圖像信息處理裝置，具備面部圖像區(qū)域檢 測(cè)部，從輸入的圖像中檢測(cè)面部圖像區(qū)域；眼瞼區(qū)域輪廓檢測(cè)部，從上述 面部圖像區(qū)域檢測(cè)部所檢測(cè)出的面部圖像區(qū)域中，檢測(cè)眼瞼區(qū)域的輪廓； 以及虹膜區(qū)域檢測(cè)部，根據(jù)上述眼瞼區(qū)域輪廓檢測(cè)部所檢測(cè)出的上述眼瞼 區(qū)域的輪廓，從上述面部圖像區(qū)域中檢測(cè)虹膜區(qū)域的形狀；根據(jù)上述虹膜 區(qū)域檢測(cè)部所檢測(cè)出的虹膜區(qū)域的形狀，推測(cè)上述虹膜區(qū)域的瞳孔的位置。
在本發(fā)明的第一觀點(diǎn)涉及的優(yōu)選的實(shí)施方式中，上述眼瞼區(qū)域輪廓檢 測(cè)部根據(jù)由上述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的上述面部圖像區(qū)域的尺寸 生成眼瞼輪廓模型，使用生成的該眼瞼輪廓模型檢測(cè)上述面部圖像區(qū)域中 的眼瞼區(qū)域的輪廓點(diǎn)并決定該眼瞼區(qū)域的位置，從而檢測(cè)眼瞼區(qū)域的輪廓。
在與上述不同的實(shí)施方式中，上述眼瞼區(qū)域輪廓檢測(cè)部通過使上述眼 瞼輪廓模型與上述面部圖像區(qū)域重合，從而將上述面部圖像區(qū)域中被評(píng)價(jià) 為最類似于眼瞼區(qū)域的部位判斷為上述眼瞼區(qū)域的位置。
另外，在與上述不同的實(shí)施方式中，對(duì)于上述眼瞼輪廓模型中的各個(gè) 輪廓點(diǎn)的位置的每一個(gè)，提取其特征量并計(jì)算作為輪廓點(diǎn)的相似度，并且 求出所計(jì)算的相似度的總合，從而進(jìn)行上述評(píng)價(jià)。
另外，在與上述不同的實(shí)施方式中，基于上述眼瞼區(qū)域輪廓檢測(cè)部的 上述眼瞼區(qū)域的位置決定包括下述處理，該處理用于分別在規(guī)定的范圍內(nèi) 探索用于劃定上述眼瞼區(qū)域的輪廓的各輪廓點(diǎn)的最佳位置，并將在以前的探索中決定的上述各輪廓點(diǎn)的位置更新為能夠被判斷為更加合適的位置。
另外，在與上述不同的實(shí)施方式中，還具備面部方向計(jì)測(cè)部，從上 述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的面部圖像區(qū)域中，計(jì)測(cè)表示被拍攝上述 面部圖像的人物的面部所朝向的方向的值。
另外，在與上述不同的實(shí)施方式中，上述眼瞼區(qū)域輪廓檢測(cè)部根據(jù)由 上述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的上述面部圖像區(qū)域的尺寸、以及由上 述面部方向計(jì)測(cè)部所計(jì)測(cè)的表示上述面部所朝向的方向的值，生成眼瞼輪 廓模型，使用生成的該眼瞼輪廓模型檢測(cè)上述面部圖像區(qū)域中的眼瞼區(qū)域 的輪廓點(diǎn)并決定該眼瞼區(qū)域的位置，從而檢測(cè)眼瞼區(qū)域的輪廓。
另外，在與上述不同的實(shí)施方式中，上述虹膜區(qū)域檢測(cè)部根據(jù)由上述 面部方向計(jì)測(cè)部所計(jì)測(cè)的表示上述面部所朝向的方向的值、以及規(guī)定的眼 瞼輪廓模型，推測(cè)上述面部圖像區(qū)域中的眼球區(qū)域的形狀，根據(jù)推測(cè)的該 眼球區(qū)域的形狀，探索虹膜區(qū)域的位置，并決定虹膜區(qū)域的中心位置和該 虹膜區(qū)域的形狀。
進(jìn)而，在與上述不同的實(shí)施方式中，在推測(cè)上述眼球區(qū)域的形狀的處 理中，至少使用眼球區(qū)域的中心、眼球區(qū)域的半徑以及虹膜區(qū)域的半徑的 各數(shù)據(jù)。
根據(jù)本發(fā)明的第二觀點(diǎn)的圖像信息處理方法，具備第一步驟，從輸 入的圖像中檢測(cè)面部圖像區(qū)域；第二步驟，從上述第一步驟中檢測(cè)出的面 部圖像區(qū)域中，檢測(cè)眼瞼區(qū)域的輪廓；第三步驟，根據(jù)上述第二步驟中檢 測(cè)出的上述眼瞼區(qū)域的輪廓，從上述面部圖像區(qū)域中檢測(cè)虹膜區(qū)域的形狀； 以及第四步驟，根據(jù)上述第三步驟中檢測(cè)出的虹膜區(qū)域的形狀，推測(cè)上述 虹膜區(qū)域的瞳孔的位置。
根據(jù)本發(fā)明，能夠從拍攝的人物的圖像中正確地計(jì)測(cè)該人物的虹膜的 中心位置，而且，還能夠?qū)崿F(xiàn)高精度的視線方向計(jì)測(cè)。


圖1是表示本發(fā)明的第一實(shí)施方式所涉及的圖像信息處理系統(tǒng)的整體 結(jié)構(gòu)的功能框圖。
圖2是表示圖1所記載的CPU (視線方向運(yùn)算部)的內(nèi)部結(jié)構(gòu)的功能框圖。
圖3是表示圖2所記載的眼瞼輪廓檢測(cè)部進(jìn)行眼瞼區(qū)域的輪廓檢測(cè)時(shí) 使用的眼瞼輪廓模型的一個(gè)例子的示意圖。
圖4是表示在由圖1所記載的攝像裝置所拍攝的實(shí)際的眼部的圖像區(qū) 域上重合圖3所記載的眼瞼輪廓模型的狀態(tài)的說明圖。
圖S是表示由圖2所記載的眼瞼輪廓檢測(cè)部進(jìn)行的眼瞼區(qū)域的輪廓檢 測(cè)的處理動(dòng)作的一個(gè)例子的流程圖。
圖6是表示由圖2所記載的虹膜檢測(cè)部所進(jìn)行的虹膜區(qū)域檢測(cè)的處理 動(dòng)作的方式的一個(gè)例子的示意圖。
圖7是表示本發(fā)明的第二實(shí)施方式所涉及的、進(jìn)行眼瞼輪廓模型的各 輪廓點(diǎn)的位置探索時(shí)的、根據(jù)面部圖像中的面部方向而變更各輪廓點(diǎn)的探 索范圍的方法的一個(gè)例子的示意圖。
圖8是表示由本發(fā)明的第二實(shí)施方式涉及的眼瞼輪廓檢測(cè)部進(jìn)行的眼 瞼輪廓檢測(cè)的處理動(dòng)作的一個(gè)例子的流程圖。
圖9是表示本發(fā)明的第三實(shí)施方式所涉及的CPU (視線方向運(yùn)算部) 在推測(cè)輸入的面部圖像中的眼球區(qū)域的形狀時(shí)使用的眼球模型的一個(gè)例子 的示意圖。
圖10是表示本發(fā)明的第三實(shí)施方式所涉及的虹膜區(qū)域檢測(cè)的處理動(dòng) 作的方式的一個(gè)例子的示意圖。
圖11是表示由本發(fā)明的第三實(shí)施方式所涉及的虹膜檢測(cè)部所進(jìn)行的 虹膜區(qū)域檢測(cè)的處理動(dòng)作的一個(gè)例子的流程圖。
符號(hào)說明
1圖像輸入部
3圖像存儲(chǔ)器
5視線方向運(yùn)算部(CPU)
7RAM
9 ROM
11計(jì)測(cè)結(jié)果記錄部 13輸出接口 (輸出I/F) 15總線
719虹膜形狀檢測(cè)單元 21面部檢測(cè)部 23眼瞼輪廓檢測(cè)部 25虹膜檢測(cè)部 27面部方向計(jì)測(cè)部 29視線方向計(jì)算部 100攝像裝置 200視線方向計(jì)測(cè)裝置 300輸出裝置
具體實(shí)施例方式
以下，通過附圖詳細(xì)說明本發(fā)明的實(shí)施方式。
圖1是表示本發(fā)明的第一實(shí)施方式所涉及的圖像信息處理系統(tǒng)的整體 結(jié)構(gòu)的功能框圖。
上述圖像信息處理系統(tǒng)如圖1所示，具備攝像裝置100、視線方向計(jì) 測(cè)裝置200和輸出裝置300。視線方向計(jì)測(cè)裝置200具備圖像輸入部1、 圖像存儲(chǔ)器3、視線方向運(yùn)算部(CPU) 5、 RAM7、 ROM9、計(jì)測(cè)結(jié)果記 錄部ll和輸出接口 (輸出I/F) 13，上述各部(1-13)作為通過總線15 相互連接的結(jié)構(gòu)。
在圖1中，在攝像裝置100中，例如使用數(shù)字視頻攝像機(jī)那樣的、1 臺(tái)或多臺(tái)能夠拍攝可動(dòng)物體的設(shè)備。攝像裝置100將拍攝的可動(dòng)物體(例 如，人物的面部圖像)輸出至圖像輸入部l。
圖像輸入部1在CPU5的控制下，輸入從上述攝像裝置100輸出的圖 像信息，并且將該輸入的圖像信息通過總線15輸出至圖像存儲(chǔ)器3。
圖像存儲(chǔ)器3在CPUS的控制下，將從圖像輸入部1通過總線15輸 出的上述圖像信息存放至規(guī)定的存儲(chǔ)區(qū)域。圖像存儲(chǔ)器3另外根據(jù)來(lái)自 CPU5的信息讀取請(qǐng)求，將存放的圖像信息通過總線15輸出至CPU5。
在RAM7中，例如提供在CPU5對(duì)于上述圖像信息執(zhí)行規(guī)定的運(yùn)算處 理動(dòng)作時(shí)的、CPU5展開上述圖像信息所需要的存儲(chǔ)區(qū)域。
在ROM9中，內(nèi)設(shè)了由CPU5控制并管理構(gòu)成視線方向計(jì)測(cè)裝置200的各部的動(dòng)作所需要的控制程序，并且存儲(chǔ)非易失性固定數(shù)據(jù)。ROM9另 外根據(jù)來(lái)自CPUS的數(shù)據(jù)讀取請(qǐng)求，將存儲(chǔ)的上述非易失性固定數(shù)據(jù)通過 總線15輸出至CPU5。
計(jì)測(cè)結(jié)果記錄部11記錄由CPU5對(duì)上述圖像數(shù)據(jù)進(jìn)行規(guī)定的運(yùn)算處理 動(dòng)作而得到的各種數(shù)據(jù)，例如，與上述圖像數(shù)據(jù)中包括的人物的視線方向 相關(guān)的計(jì)測(cè)數(shù)據(jù)。計(jì)測(cè)結(jié)果記錄部11根據(jù)來(lái)自CPU5的數(shù)據(jù)讀取請(qǐng)求，將 記錄的上述計(jì)測(cè)數(shù)據(jù)通過總線15及輸出I/F13輸出至輸出裝置300。關(guān)于 由CPU5進(jìn)行的上述運(yùn)算處理動(dòng)作的詳情、以及在計(jì)測(cè)結(jié)果記錄部11中記 錄的計(jì)測(cè)數(shù)據(jù)的詳情，留待后述。
輸出I/F13在CPU5的控制下，與輸出裝置300連接，將從計(jì)測(cè)結(jié)果 記錄部11通過總線15輸出的上述計(jì)測(cè)數(shù)據(jù)輸出至輸出裝置300。
在輸出裝置300中，例如使用顯示器(監(jiān)視器)、打印機(jī)以及PC (指 個(gè)人計(jì)算機(jī)，下同)等。在輸出裝置300為監(jiān)視器的情況下，作為可視圖 像信息，顯示輸出由攝像裝置100拍攝的圖像信息。另外，在輸出裝置300 為打印機(jī)的情況下，輸出從計(jì)測(cè)結(jié)果存儲(chǔ)部11通過輸出I/F13輸出的上述 計(jì)測(cè)數(shù)據(jù)相關(guān)的硬拷貝(hardcopy)。進(jìn)而，在輸出裝置300為PC的情 況下，以用戶可以視覺辨認(rèn)的方式輸出上述計(jì)測(cè)數(shù)據(jù)。
圖2是表示圖1所記載的CPU (視線方向運(yùn)算部)5的內(nèi)部結(jié)構(gòu)的功 能框圖。
CPU5如圖2所示，具備由虹膜形狀檢測(cè)單元19、面部方向計(jì)測(cè)部27 以及視線方向計(jì)算部29的各功能模塊所分別表示的各項(xiàng)功能。即，虹膜形 狀檢測(cè)單元19構(gòu)成為從通過總線15輸入的圖像信息中，檢測(cè)人物的面 部圖像，并高精度地檢測(cè)該人物的虹膜區(qū)域的形狀，虹膜形狀檢測(cè)單元19 具備由面部檢測(cè)部21、眼瞼輪廓檢測(cè)部23以及虹膜檢測(cè)部25的各功能 模塊所分別表示的各項(xiàng)功能。
面部檢測(cè)部21通過對(duì)輸入的圖像信息進(jìn)行規(guī)定的圖像處理，從而檢測(cè) 該輸入圖像信息中包括的人物的面部圖像。在上述輸入圖像信息中存在多 個(gè)面部圖像的情況下，面部撿測(cè)部21以上述面部圖像的個(gè)數(shù)量，執(zhí)行檢測(cè) 動(dòng)作。由面部檢測(cè)部21檢測(cè)出的上述人物的面部圖像信息被分別輸出至眼 瞼輪廓檢測(cè)部23以及面部方向計(jì)測(cè)部27。眼瞼輪廓檢測(cè)部23從由面部檢測(cè)部21輸出的面部圖像的區(qū)域中，進(jìn) 行規(guī)定的圖像處理，從而檢測(cè)左右雙眼的眼瞼區(qū)域的輪廓。該檢測(cè)結(jié)果從 眼瞼輪廓檢測(cè)部23輸出至虹膜檢測(cè)部25。另外，存在多個(gè)由面部檢測(cè)部 21檢測(cè)出的面部圖像的情況下，眼瞼輪廓檢測(cè)部23中的上述處理動(dòng)作對(duì) 于上述各個(gè)面部圖像的每個(gè)都執(zhí)行。
面部方向計(jì)測(cè)部27輸入從面部檢測(cè)部21輸出的上述面部圖像信息， 并進(jìn)行該面部圖像的面部方向(面部的朝向)的計(jì)測(cè)處理。通過該計(jì)測(cè)處 理所得到的數(shù)據(jù)從面部方向計(jì)測(cè)部27輸出至視線方向計(jì)算部29。
虹膜檢測(cè)部25利用從眼瞼輪廓檢測(cè)部23輸出的眼瞼區(qū)域的輪廓信 息，執(zhí)行規(guī)定的處理動(dòng)作，從而僅根據(jù)與該眼瞼區(qū)域的內(nèi)側(cè)部分(由該眼 瞼區(qū)域覆蓋的圖像區(qū)域的部分)即虹膜區(qū)域和鞏膜區(qū)域相關(guān)的信息，檢測(cè) 該虹膜區(qū)域的形狀。另外，存在多個(gè)由面部檢測(cè)部21檢測(cè)出的面部圖像的 情況下，虹膜檢測(cè)部25中的上述處理動(dòng)作對(duì)于上述各個(gè)面部圖像的每個(gè)都 執(zhí)行。由虹膜檢測(cè)部25得到的虹膜區(qū)域的形狀數(shù)據(jù)從虹膜檢測(cè)部25輸出 至視線方向計(jì)算部29。
視線方向計(jì)算部29根據(jù)從虹膜檢測(cè)部25輸出的上述虹膜區(qū)域的形狀 數(shù)據(jù)和從面部方向計(jì)測(cè)部27輸出的面部方向的計(jì)測(cè)數(shù)據(jù)，進(jìn)行規(guī)定的運(yùn)算 處理，從而計(jì)算上述人物的面部圖像中的視線方向。根據(jù)上述結(jié)構(gòu)，根據(jù) 在虹膜形狀檢測(cè)單元19中得到的高精度的虹膜區(qū)域的形狀的信息，能夠計(jì) 測(cè)具有該虹膜區(qū)域的人物的面部圖像的視線方向。另外，根據(jù)檢測(cè)出的眼 瞼區(qū)域的輪廓信息，能夠推測(cè)虹膜區(qū)域的部分和鞏膜區(qū)域的部分，所以能 夠高精度地推測(cè)虹膜區(qū)域的形狀。
圖3是表示圖2所記載的眼瞼輪廓檢測(cè)部23進(jìn)行上述眼瞼區(qū)域的輪 廓檢測(cè)時(shí)使用的眼瞼輪廓模型31的一個(gè)例子的示意圖。
如圖3所示,眼瞼輪廓模型31由輸入的面部圖像中用于劃定眼瞼區(qū)域 的輪廓的多個(gè)點(diǎn)(33-47、以下標(biāo)記為"輪廓點(diǎn)"或"邊緣點(diǎn)")(在圖3 所示的例子中，為8個(gè)輪廓點(diǎn))構(gòu)成。上述眼瞼輪廓模型31除了上述各輪 廓點(diǎn)(33-47)，還具有連接相互位置關(guān)聯(lián)較強(qiáng)的輪廓點(diǎn)之間的多個(gè)線段 (49-61)。
線段49表示輪廓點(diǎn)35與輪廓點(diǎn)47的關(guān)聯(lián)，線段51表示輪廓點(diǎn)35與輪廓點(diǎn)45的關(guān)聯(lián)，線段53表示輪廓點(diǎn)37與輪廓點(diǎn)47的關(guān)聯(lián)。另外， 線段55表示輪廓點(diǎn)37與輪廓點(diǎn)45的關(guān)聯(lián)，線段57表示輪廓點(diǎn)37與輪 廓點(diǎn)43的關(guān)聯(lián)，線段59表示輪廓點(diǎn)39與輪廓點(diǎn)45的關(guān)聯(lián)。進(jìn)而，線段 61表示輪廓點(diǎn)39與輪廓點(diǎn)43的關(guān)聯(lián)。
圖4是表示在由圖1所記載的攝像裝置100所拍攝的實(shí)際的眼部的圖 像區(qū)域上重合圖3所記載的眼瞼輪廓模型31的狀態(tài)的說明圖。
在圖4中，附加了灰色的區(qū)域63表示虹膜區(qū)域，作為除了該區(qū)域63 以外的區(qū)i或、由上述眼瞼輪廓模型31劃定的內(nèi)周側(cè)的白色區(qū)域65、 67表 示鞏膜區(qū)域。而且，在圖4中，對(duì)于與圖3表示的對(duì)象相同的對(duì)象，附加 相同的符號(hào)并省略其詳細(xì)說明。通過將圖3所示的眼瞼輪廓模型31適用于 如圖4所示的實(shí)際的眼部的圖像區(qū)域，從而可以在不對(duì)眼瞼區(qū)域的形狀進(jìn) 行較大損害的基礎(chǔ)上，從實(shí)際的眼部的圖像區(qū)域中高精度地檢測(cè)出眼瞼區(qū) 域的輪廓點(diǎn)的形狀。
圖5是表示由圖2所記載的眼瞼輪廓檢測(cè)部23進(jìn)行的眼瞼區(qū)域的輪 廓檢測(cè)的處理動(dòng)作的一個(gè)例子的流程圖。
在圖5中，首先，眼瞼輪廓檢測(cè)部23輸入在面部檢測(cè)部21中得到的 面部圖像的尺寸所涉及的信息(步驟S71)。接著，根據(jù)在步驟S71中輸入 的上述面部圖像的尺寸所涉及的信息，推測(cè)眼瞼區(qū)域的輪廓的尺寸，根據(jù) 該推測(cè)結(jié)果，生成如圖3所示的最佳的眼瞼輪廓模型31。而且，作為該眼 瞼輪廓模型31，分別生成了右眼用的眼瞼輪廓模型和左眼用的眼瞼輪廓模 型。另外，通過分別將生成的左眼用的眼瞼輪廓模型重合至左眼的區(qū)域， 并同樣將生成的右眼用的眼瞼輪廓模型重合至右眼的區(qū)域，從而檢測(cè)出左 右眼各自的區(qū)域中眼瞼區(qū)域的輪廓點(diǎn)(步驟S72)。
接著，執(zhí)行左右眼各自的圖像中的、用于決定眼瞼區(qū)域的位置的處理 動(dòng)作。在該處理動(dòng)作中，如上所述，將眼瞼輪廓模型31重合至上述輸入面 部圖像中的眼部的區(qū)域的周邊區(qū)域并進(jìn)行眼瞼區(qū)域的所謂類似度的評(píng)價(jià)， 將該評(píng)價(jià)最高的部位、即該眼部的區(qū)域的周邊區(qū)域中被判斷為最類似于眼 瞼區(qū)域的部位決定為眼瞼區(qū)域。該評(píng)價(jià)例如通過在上述眼瞼輪廓模型31中 的各個(gè)輪廓點(diǎn)的位置的每一個(gè)提取其特征量來(lái)計(jì)算作為輪廓點(diǎn)的相似度、 并且求出所計(jì)算的相似度的總和來(lái)迸行。作為上述各個(gè)輪廓點(diǎn)的位置的每
ii一個(gè)的特征量，例如使用邊緣的值、加博(Gabor)濾波器的值、基于模 板匹配的類似度等(步驟S73)。
接著，執(zhí)行用于探索上述眼瞼輪廓模型31中的各個(gè)輪廓點(diǎn)的最佳位置 的處理。眼瞼區(qū)域的輪廓的形狀根據(jù)各個(gè)人物而不同，另外，即使是同一 人物，也根據(jù)表情變化而不同，所以需要對(duì)各個(gè)輪廓點(diǎn)的每一個(gè)探索正確 的位置。在該處理動(dòng)作中，對(duì)于各個(gè)輪廓點(diǎn)，通過僅在指定的范圍內(nèi)進(jìn)行 最佳位置的探索，從而進(jìn)行各個(gè)輪廓點(diǎn)的位置的更新(步驟S74)。
如果上述步驟S74中的處理動(dòng)作完成，那么確認(rèn)是否再次進(jìn)行步驟S74 中的處理動(dòng)作、即上述各個(gè)輪廓點(diǎn)的位置的更新(步驟S75)。如果該確認(rèn) 的結(jié)果是判斷為應(yīng)該再次進(jìn)行更新(步驟S75中為"是")，則返回步驟S74。 另一方面，如果該確認(rèn)的結(jié)果是判斷為無(wú)需再次進(jìn)行更新(步驟S75中為 "否")，則將步驟S74中更新的上述各個(gè)輪廓點(diǎn)的位置決定為最終的位置。 即，步驟S74中更新的上述各個(gè)輪廓點(diǎn)的位置成為上述眼部的區(qū)域中的、 構(gòu)成眼瞼區(qū)域的輪廓所需的各個(gè)輪廓點(diǎn)的位置的檢測(cè)結(jié)果(步驟S76)。
另外，在步驟S75中，所謂判斷為不應(yīng)該再次進(jìn)行更新的情況(步驟 S75中為"否")，是指在步驟S74中上述輪廓點(diǎn)的位置連1個(gè)都沒有更新 的情況、或步驟S74中的處理次數(shù)超過了規(guī)定次數(shù)的情況中的某一個(gè)。
通過上述處理流程，能夠?qū)τ捎趶妮斎氲拿娌繄D像中替換作為拍攝對(duì) 象的人物、或者即使為同一人物也發(fā)生表情變化而引起的形狀大為變化的 眼瞼區(qū)域的輪廓進(jìn)行檢測(cè)。即，通過劃分為步驟S73所示的求出眼部的區(qū) 域中的眼瞼區(qū)域的位置的處理操作、以及步驟S74所示的進(jìn)行眼瞼區(qū)域中 的各個(gè)輪廓點(diǎn)的位置的更新的處理操作，從而能夠在眼部的區(qū)域中高精度 地檢測(cè)出眼瞼區(qū)域的輪廓。另外，在步驟S74和步驟S75中，對(duì)于劃定眼 瞼區(qū)域的全部的輪廓點(diǎn)的位置，反復(fù)一點(diǎn)一點(diǎn)地更新處理，從而能夠在對(duì) 于應(yīng)該作為眼瞼輪廓而取得的形狀不進(jìn)行較大損害的基礎(chǔ)上，決定上述各 個(gè)輪廓點(diǎn)的位置。
圖6是表示由圖2所記載的虹膜檢測(cè)部25所進(jìn)行的虹膜區(qū)域檢測(cè)的 處理動(dòng)作的方式的一個(gè)例子的示意圖。
在圖6中，圖6(a)表示對(duì)于輸入至視線方向運(yùn)算部5的面部圖像(的 眼部的區(qū)域)、設(shè)定眼瞼輪廓檢測(cè)部23所得到眼瞼輪廓模型31的各輪廓點(diǎn)(33至47)的狀態(tài)。上述面部圖像中的眼部的區(qū)域81是根據(jù)上述各輪 廓點(diǎn)(33至47)的位置所涉及的信息、僅切割出眼部的區(qū)域的周邊區(qū)域 的圖像。圖6 (b)也與圖6 (a)中同樣地表示眼部的區(qū)域81，根據(jù)上述 眼瞼輪廓模型31的各輪廓點(diǎn)(33至47)的位置所涉及的信息、僅切割出 眼部的區(qū)域的周邊區(qū)域而得到。
在圖6 (b)中，由虛線表示的曲線83是根據(jù)上述眼瞼輪廓模型31 的各輪廓點(diǎn)(33至41)(的位置所涉及的信息)求出的用于劃定眼球區(qū)域 自身的輪廓的輪廓線，而且也作為眼球區(qū)域與該眼球區(qū)域的周邊區(qū)域(即 眼瞼區(qū)域)的邊界線。在圖6 (b)中，上述邊界線和上述輪廓線一起由曲 線83表示，但也可以將上述邊界線設(shè)定于上述輪廓線的內(nèi)側(cè)、即上述曲線 83的內(nèi)側(cè)。像這樣，通過將上述邊界線設(shè)定于上述曲線83的內(nèi)側(cè)，從而 能夠消除由于照明的關(guān)系所產(chǎn)生的影子對(duì)鞏膜區(qū)域部分的影響等，由此可 以高精度地推測(cè)虹膜區(qū)域的形狀。
另外，只對(duì)于僅檢測(cè)出了虹膜區(qū)域以及鞏膜區(qū)域的上述眼部的區(qū)域81， 進(jìn)行邊緣圖像處理。由此，能夠得到不顯現(xiàn)上述眼部的區(qū)域81外的噪聲、 另外對(duì)于眼瞼區(qū)域的輪廓線部分不顯現(xiàn)邊緣、而僅顯現(xiàn)虹膜區(qū)域與鞏膜區(qū) 域的邊界部分邊緣的邊緣圖像。對(duì)于上述邊緣圖像進(jìn)行橢圓哈夫變換，從 而可以根據(jù)虹膜區(qū)域與鞏膜區(qū)域的邊界部分正確地推測(cè)虹膜區(qū)域的形狀。
根據(jù)圖6 (a)及圖6 (b)分別表示的眼部的區(qū)域81，通過虹膜檢測(cè) 部25，例如，檢測(cè)出如圖6 (c)所示的虹膜區(qū)域。即，通過虹膜檢測(cè)部 25，根據(jù)上述眼部的區(qū)域81檢測(cè)出表示虹膜區(qū)域的圓形形狀的輪廓(線) 85，而且取得這時(shí)的該虹膜區(qū)域的中心位置(即瞳孔的部分)87。
在從上述眼部的區(qū)域81中沒有去除眼瞼輪廓模型31的輪廓線的情況 下，由此，例如由圖6 (d)所示的虹膜區(qū)域作為虹膜檢測(cè)部25的誤檢測(cè) 動(dòng)作的結(jié)果，從虹膜檢測(cè)部25輸出。即，眼瞼輪廓模型31的輪廓線殘留 在上述眼部的區(qū)域81中，因此如圖6 (d)所示，反應(yīng)到眼瞼區(qū)域與鞏膜 區(qū)域的邊界部分，虹膜檢測(cè)部25可能發(fā)生誤檢測(cè)鞏膜區(qū)域的情況。另外， 在圖6 (d)中，如符號(hào)89所示，虹膜檢測(cè)部25可能發(fā)生誤檢測(cè)出忽略 了眼瞼(區(qū)域)的內(nèi)側(cè)隱藏的虹膜區(qū)域的大致圓形形狀的圖像區(qū)域，但在 本實(shí)施方式所涉及的視線方向運(yùn)算部5中，通過從構(gòu)成眼瞼輪廓模型31的輪廓線的各輪廓點(diǎn)(33至47)中完全去除虹膜區(qū)域、以及鞏膜區(qū)域以外 的圖像區(qū)域，從而可以防止上述那樣的虹膜檢測(cè)部25所進(jìn)行的虹膜區(qū)域的 誤檢測(cè)動(dòng)作。
另夕卜，在(圖2所示的)面部方向計(jì)測(cè)部27中，例如通過利用上述專
利文獻(xiàn)1所公開的計(jì)測(cè)方法，能夠在不進(jìn)行事先的校正處理的基礎(chǔ)上，高
精度地計(jì)測(cè)被輸入的面部圖像中的面部方向。另外，在(圖2所示的)視
線方向計(jì)算部29中，通過上述專利文獻(xiàn)1所公開的計(jì)測(cè)方法，通過在上述
眼部的區(qū)域81中推測(cè)眼球區(qū)域的中心位置和眼球區(qū)域的半徑，也求出瞳孔
的中心位置相對(duì)于眼球區(qū)域的中心位置的偏差，并根據(jù)該求出的瞳孔的中
心位置的偏差來(lái)計(jì)算面部圖像的視線方向。
以下，對(duì)于面部圖像的視線方向的計(jì)算方法，更加具體地進(jìn)行說明。
在此，若設(shè)視線方向的計(jì)算對(duì)象即眼球區(qū)域的半徑為r，該眼球區(qū)域的
中心位置為O，該眼球區(qū)域中的瞳孔的中心位置為I，則通過下述(l)式，
計(jì)算面部圖像的視線方向。 (式l)
乂 ^— 6h:
L = sm ~-
， r
/3 . -l & 一 Qv "卿=sm ^-=^
在(1)式中，》eye表示視線方向的水平方向的成分，0eye表示視 線方向的垂直方向的成分。另外，Ix表示瞳孔的中心位置I的X坐標(biāo)，Iy 表示瞳孔的中心位置I的Y坐標(biāo)，Ox表示眼球區(qū)域的中心位置0的x坐 標(biāo)，Oy表示眼球區(qū)域的中心位置O的y坐標(biāo)。在此，瞳孔的中心位置I 可以根據(jù)虹膜區(qū)域的中心位置C和瞳孔的中心位置0推測(cè)。
通過采用上述計(jì)算方法，在虹膜區(qū)域的一部分隱藏在眼瞼區(qū)域的輪廓 內(nèi)的情況下，或在眼部的區(qū)域周邊出現(xiàn)由眼鏡或照明所引起的陰影的情況 下，也能夠去除其影響而正確地檢測(cè)虹膜區(qū)域的形狀，所以能夠正確地計(jì) 測(cè)面部圖像的視線方向。
圖7是表示本發(fā)明的第二實(shí)施方式所涉及的、進(jìn)行眼瞼輪廓模型31的 各輪廓點(diǎn)(33至47)的位置探索時(shí)的、根據(jù)面部圖像中的面部方向而變更各輪廓點(diǎn)(33至47)的探索范圍的方法的一個(gè)例子的示意圖。
圖7所記載的面部圖像表示面部朝向右方向(作為圖像朝向左側(cè))的 情況的該面部圖像的右眼區(qū)域的形狀。圖7中由分別圍著各輪廓點(diǎn)(33至 47)虛線所示的圓形區(qū)域(91至105)表示該各輪廓點(diǎn)(33至47)的探 索范圍。在圖7所示的例子中，上述各輪廓點(diǎn)(33至47)的探索范圍不 一定要一致。根據(jù)面部的朝向(方向)對(duì)各個(gè)輪廓點(diǎn)(33至47)的每一個(gè) 設(shè)定不同的探索范圍。即，對(duì)于位于面部朝向的方向的輪廓點(diǎn)，將檢索范 圍設(shè)定得較窄，而對(duì)于位于面部朝向的方向的相反側(cè)的輪廓點(diǎn)，將檢索范 圍設(shè)定得較廣。
對(duì)于各輪廓點(diǎn)(33至47)的檢索范圍，像上述那樣進(jìn)行設(shè)定的理由在 于位于面部朝向的方向的輪廓點(diǎn)相對(duì)于面部的中心所成的角度較大，所 以由于面部的旋轉(zhuǎn)而產(chǎn)生的輪廓點(diǎn)的位置的變化變小，因此將檢索范圍設(shè) 定得較窄。與此相反，對(duì)于位于面部朝向的方向的相反側(cè)的輪廓點(diǎn)，其位 置由于面部朝向的方向的變化而變化較大，所以需要將探索范圍設(shè)定得較 廣。
圖8是表示由本發(fā)明的第二實(shí)施方式涉及的眼瞼輪廓檢測(cè)部(在圖2 中由符號(hào)23表示)進(jìn)行的眼瞼輪廓檢測(cè)的處理動(dòng)作的一個(gè)例子的流程圖。
在本實(shí)施方式中，上述眼瞼輪廓檢測(cè)部(23)構(gòu)成為從(與該眼瞼 輪廓檢測(cè)部23 —起在圖2中表示的)面部方向計(jì)測(cè)部(27)中，取得表 示所輸入的面部圖像中的面部所朝向的方向的值。因此，在圖8所記載的 流程圖中，上述眼瞼輪廓檢測(cè)部(23)在執(zhí)行用于眼瞼輪廓檢測(cè)的一系列 處理操作時(shí)，首先，輸入從面部檢測(cè)部21輸出的面部圖像的尺寸信息、以 及表示該面部圖像中的面部所朝向的方向的值(步驟Slll)。
上述輪廓檢測(cè)部(23)接著根據(jù)在步驟Slll中輸入的上述面部圖像的 尺寸所涉及的信息、以及表示上述面部所朝向的方向的值，制作眼瞼輪廓 模型。即，對(duì)標(biāo)準(zhǔn)的眼瞼輪廓模型(31)迸行旋轉(zhuǎn)處理，制作與輸入的面 部圖像中的眼瞼區(qū)域的輪廓形狀近似的眼瞼輪廓模型，以使其適合在步驟 Slll中輸入的上述面部圖像的尺寸所涉及的信息、以及表示上述面部所朝 向的方向的值中的表示上述面部所朝向的方向的值(步驟S112)。
在步驟S112中，如果制作了上述那樣的眼瞼輪廓模型，則利用該制作的眼瞼輪廓模型，執(zhí)行與圖5所示的相同的處理動(dòng)作(步驟S113至步驟 S116)。即，步驟S113所示的處理動(dòng)作與圖5中步驟S73所示的處理動(dòng)作 相同，步驟SI 14所示的處理動(dòng)作與圖5中步驟S74所示的處理動(dòng)作相同， 步驟S115所示的處理動(dòng)作與圖5中步驟S75所示的處理動(dòng)作相同，步驟S116 所示的處理動(dòng)作與圖5中步驟S76所示的處理動(dòng)作相同。因此，省略步驟 SU3至步驟S116相關(guān)的詳細(xì)說明。
另夕卜，圖7所示的面部圖像中的面部方向所對(duì)應(yīng)的各輪廓點(diǎn)(33至47) 的變更方式與步驟S114所示的處理動(dòng)作相關(guān)。
通過上述處理流程，由于輸入的面部圖像中的面部所朝向的方向變化， 從而即使在眼瞼區(qū)域的輪廓形狀變化較大時(shí)，也能夠通過將模仿變化的狀 態(tài)的面部圖像的眼瞼輪廓模型重合至該變化的狀態(tài)的面部圖像從而進(jìn)行檢 測(cè)處理，所以可以高精度地進(jìn)行用于劃定該面部圖像中的眼瞼區(qū)域的輪廓 的各輪廓點(diǎn)的檢測(cè)。另外，能夠大幅削減圖8中步驟S114所示的處理動(dòng)作 和步驟S115中的處理動(dòng)作(即，由再次更新構(gòu)成眼瞼輪廓模型的各輪廓點(diǎn) 的位置所產(chǎn)生的重復(fù)運(yùn)算數(shù))，由此，可以高速地探索各輪廓點(diǎn)的位置。
另外，通過上述方法來(lái)決定各輪廓點(diǎn)的位置的探索范圍，從而推測(cè)作 為輸入的面部圖像中眼瞼區(qū)域的輪廓所預(yù)想的移動(dòng)范圍，并且在該推測(cè)的 范圍內(nèi)限制探索范圍，由此可以更加高精度地檢測(cè)眼瞼區(qū)域的輪廓點(diǎn)。進(jìn) 而，由于進(jìn)行探索處理的次數(shù)減少，所以還可以削減上述探索處理所需的 時(shí)間。
圖9是表示本發(fā)明的第三實(shí)施方式所涉及的、(圖1記載的)CPU (視 線方向運(yùn)算部)(5)在推測(cè)輸入的面部圖像中的眼球區(qū)域的形狀時(shí)使用的 眼球模型的一個(gè)例子的示意圖。
在本實(shí)施方式中，通過使用如圖9所示的眼球模型121，推測(cè)上述拍 攝的面部圖像中的眼球區(qū)域的中心位置0和該眼球區(qū)域的半徑r。在上述 眼球模型121中，在由眼瞼輪廓檢測(cè)部23求出的上述面部圖像中的眼瞼 區(qū)域的輪廓之中，如果分別將外眼角的位置表示為E。內(nèi)眼角的位置表示 為E^則外眼角的位置&可以定義為相對(duì)于(該眼球模型121中的)眼 球的中心位置O，存在于以Y軸為中心e度、以X軸為中心Y度的位置。 同樣，內(nèi)眼角的位置E?？梢远x為相對(duì)于(該眼球模型121中的)眼球的中心位置O,存在于以Y軸為中心a度、以X軸為中心Y度的位置。在 此，如果將外眼角的位置^的X坐標(biāo)設(shè)為E^、將內(nèi)眼角的位置E2的X坐 標(biāo)設(shè)為E&、將輸入的面部圖像中面部所朝向的方向設(shè)為》f^、 efaee，則通 過下述(2)式，計(jì)算上述拍攝的面部圖像中的眼球區(qū)域的眾徑1>。^ (式2)
— HJ
"cos(y + e )(sin(卯-^ + flce) — sin("-卯+ 咖))
接著，根據(jù)由(2)式所求出的上述拍攝的面部圖像中的眼球區(qū)域的半 徑r，通過下述(3)式計(jì)算表示該眼球區(qū)域的中心位置O的坐標(biāo)(Ox， 0Y)。 (式3)
《= -r sin( " - 90 + 咖)cos( r + ce)
- r峙+ e)(sin(- - 90 + + sin(" - 90 + ))} / 2
在上述方式中，通過定義上述眼球模型121，根據(jù)輸入的面部圖像中面 部所朝向的方向和上述面部圖像中的眼瞼區(qū)域的輪廓形狀，可以推測(cè)出上 述拍攝的面部圖像中的眼球區(qū)域的半徑r和該眼球區(qū)域的中心位置0。
圖10是表示本發(fā)明的第三實(shí)施方式所涉及的虹膜區(qū)域檢測(cè)的處理動(dòng) 作的方式的一個(gè)例子的示意圖。
在圖10中，如圖10 (a)所示的眼球推測(cè)模型123根據(jù)通過規(guī)定的 運(yùn)算處理求出的、由(圖2記載的)視線方向運(yùn)算部(5)所輸入的面部圖 像中的眼球區(qū)域的中心以及半徑來(lái)定義，表示例如從斜向橫方向觀察上述 眼球推測(cè)模型(123)的狀態(tài)。圖10 (a)所示的眼球推測(cè)模型123中的 虹膜區(qū)域129的半徑根據(jù)上述眼球推測(cè)模型123的半徑等決定。圖10(a) 所示的眼球推測(cè)模型123中，虹膜區(qū)域的中心位置125存在于離開該眼球 推測(cè)模型123的中心位置、即上述眼球的中心位置127由箭頭(矢量)131 表示的距離量的位置。另夕卜，區(qū)域129是根據(jù)虹膜區(qū)域的中心位置125和
17(由上述方式?jīng)Q定的)虹膜區(qū)域的半徑而得到的虹膜區(qū)域。
圖10 (b)表示以上述眼球的中心位置127 (g卩，該眼球推測(cè)模型123 的中心位置)為基礎(chǔ)使圖10 (a)所示的虹膜區(qū)域的中心位置125旋轉(zhuǎn)移 動(dòng)時(shí)的、該虹膜區(qū)域的各自的中心位置12^至1254與分別對(duì)應(yīng)于各自的 中心位置125i至1254各自的推測(cè)虹膜區(qū)域12^至1294的關(guān)系。在此， 改變虹膜區(qū)域的中心位置，等價(jià)于被拍攝了上述面部圖像的人物改變視線 方向。
由于眼球的旋轉(zhuǎn)，虹膜區(qū)域的中心位置存在于由符號(hào)1251表示的位置 時(shí)，對(duì)應(yīng)于該中心位置1251的推測(cè)虹膜區(qū)域?yàn)閰^(qū)域12^，同樣的，由于 眼球的旋轉(zhuǎn)，虹膜區(qū)域的中心位置存在于由符號(hào)1252表示的位置時(shí)，對(duì)應(yīng) 于該中心位置1252的推測(cè)虹膜區(qū)域?yàn)閰^(qū)域1292。另外，由于眼球的旋轉(zhuǎn)， 虹膜區(qū)域的中心位置存在于由符號(hào)1253表示的位置時(shí)，對(duì)應(yīng)于該中心位置 1253的推測(cè)虹膜區(qū)域?yàn)閰^(qū)域1293，同樣的，由于眼球的旋轉(zhuǎn)，虹膜區(qū)域的 中心位置存在于由符號(hào)1254表示的位置時(shí)，對(duì)應(yīng)于該中心位置1254的推 測(cè)虹膜區(qū)域?yàn)閰^(qū)域1294。另外，區(qū)域133與圖10 (a)中的虹膜區(qū)域129 為同一區(qū)域。
通過比較對(duì)照上述各自的推測(cè)虹膜區(qū)域12^至1294和向(圖2記載 的)視線方向運(yùn)算部(5)輸入的面部圖像，從而從上述任意推測(cè)虹膜區(qū)域
(12^至129J之中求出最佳的推測(cè)虹膜區(qū)域(12^至12^的某一個(gè))。 在上述比較對(duì)照的處理中，對(duì)于某個(gè)推測(cè)虹膜區(qū)域(12^至12^的某個(gè)) 的位置是正確的虹膜區(qū)域的位置的評(píng)價(jià)例如通過這樣進(jìn)行，即，在將圖10
(a)或圖10 (b)所示的3維的眼球模型投影至作為2維平面的圖像平面 上時(shí)，檢驗(yàn)邊緣點(diǎn)(已述的輪廓點(diǎn))重合了多少、或虹膜區(qū)域和鞏膜區(qū)域 是否正確等。
然后，根據(jù)上述評(píng)價(jià)的結(jié)果，將上述眼球推測(cè)模型123中上述各推測(cè) 虹膜區(qū)域(12^至1294)之中相似度最高的位置決定為上述眼球推測(cè)模型 中的虹膜區(qū)域的位置。
如上所述，改變虹膜區(qū)域的中心位置，等價(jià)于被拍攝了上述面部圖像 的人物改變視線方向。因此，根據(jù)在上述虹膜檢測(cè)部(25)(圖2所示)中 取得的、以眼球推測(cè)模型123中的眼球中心為基礎(chǔ)的由(眼球的)旋轉(zhuǎn)所引起的虹膜區(qū)域的中心位置的變化，就這樣求得被拍攝了上述面部圖像的 人物的視線方向，也是沒有問題的。
圖11是表示由本發(fā)明的第三實(shí)施方式所涉及的(圖2所示的)虹膜檢 測(cè)部(25)所進(jìn)行的虹膜區(qū)域檢測(cè)的處理動(dòng)作的一個(gè)例子的流程圖。
在本實(shí)施方式中，上述虹膜檢測(cè)部(25)構(gòu)成為首先分別由(圖2 所示的)面部方向計(jì)測(cè)部(27)取得表示輸入的面部圖像中面部所朝向的 方向的值，另外由(圖2所示的)眼瞼輪廓檢測(cè)部(23)取得眼瞼輪廓模 型。因此，在圖11記載的流程圖中，上述虹膜檢測(cè)部(25)在執(zhí)行用于 虹膜區(qū)域檢測(cè)的一系列的處理操作時(shí)，首先，輸入從眼瞼輪廓檢測(cè)部(23) 輸出的眼瞼輪廓模型，并且從上述面部方向計(jì)測(cè)部(27)輸入表示上述面 部圖像中面部所朝向的方向的值(步驟S141)。
上述虹膜檢測(cè)部(25)接著根據(jù)步驟S141中輸入的上述眼瞼輪廓模 型(所涉及的信息)以及上述表示面部所朝向的方向的值，執(zhí)行推測(cè)上述 輸入的面部圖像中眼球區(qū)域的形狀的處理動(dòng)作。在此執(zhí)行的眼球區(qū)域的形 狀的推測(cè)，例如使用眼球區(qū)域的中心、眼球區(qū)域的半徑、虹膜區(qū)域的半徑 等各項(xiàng)目(步驟S142)。接著，根據(jù)步驟S142求出的表示眼球區(qū)域的形 狀的值(即，眼球區(qū)域的半徑、以及虹膜區(qū)域的半徑等)，探索上述面部圖 像中的虹膜區(qū)域的位置(步驟S143)。然后，執(zhí)行決定在步驟S143中得 到的虹膜區(qū)域的中心位置和該虹膜區(qū)域的形狀的處理動(dòng)作(步驟S144)。
根據(jù)上述處理流程，通過根據(jù)輸入的面部圖像中面部所朝向的方向， 推測(cè)該面部圖像中的眼球區(qū)域的形狀，從而能夠假定之后可能產(chǎn)生的虹膜 區(qū)域的形狀的變化，探索上述面部圖像中的虹膜區(qū)域的位置，所以可以高 精度地檢測(cè)出該虹膜區(qū)域中的中心位置。另外，由于無(wú)需擴(kuò)大上述面部圖 像中的虹膜區(qū)域的探索范圍即可，所以可以謀求虹膜區(qū)域的檢測(cè)速度的高 速化。
另外，通過執(zhí)行上述處理動(dòng)作，可以在由眼球區(qū)域的形狀自身限制出 的范圍內(nèi)，高精度地進(jìn)行虹膜區(qū)域的推測(cè)。另外，在利用上述三維模型(眼 球推測(cè)模型123)的處理中，不僅可以將虹膜區(qū)域與鞏膜區(qū)域的邊界部分、 而且可以將虹膜區(qū)域內(nèi)以及鞏膜區(qū)域內(nèi)所包括的全部的點(diǎn)用于上述的評(píng) 價(jià)，所以即使在眼部的(圖像)區(qū)域的解析度低時(shí)，也可以高精度地計(jì)測(cè)虹膜區(qū)域。另外，在基于橢圓哈夫變換等的方法中，為了僅利用邊緣點(diǎn)(輪廓點(diǎn))進(jìn)行上述評(píng)價(jià)，在眼部的(圖像)區(qū)域的解析度小時(shí)，能夠在上述評(píng)價(jià)中利用的(邊緣)點(diǎn)(輪廓點(diǎn))的個(gè)數(shù)變少，因此存在邊緣(輪廓)上容易產(chǎn)生噪聲、虹膜區(qū)域等的計(jì)測(cè)精度下降的問題，但通過利用上述實(shí)施方式涉及的方法，可以解決上述問題。
以上說明了本發(fā)明的優(yōu)選的實(shí)施方式，但這些是用于本發(fā)明的說明的例子，并不旨在將本發(fā)明的范圍僅僅限定于這些實(shí)施方式。本發(fā)明也可以通過其他各種方式進(jìn)行實(shí)施。
20
權(quán)利要求
1、一種圖像信息處理裝置，具備面部圖像區(qū)域檢測(cè)部，從輸入的圖像中檢測(cè)面部圖像區(qū)域；眼瞼區(qū)域輪廓檢測(cè)部，從上述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的面部圖像區(qū)域中，檢測(cè)眼瞼區(qū)域的輪廓；以及虹膜區(qū)域檢測(cè)部，根據(jù)上述眼瞼區(qū)域輪廓檢測(cè)部所檢測(cè)出的上述眼瞼區(qū)域的輪廓，從上述面部圖像區(qū)域中檢測(cè)虹膜區(qū)域的形狀；根據(jù)上述虹膜區(qū)域檢測(cè)部所檢測(cè)出的虹膜區(qū)域的形狀，推測(cè)上述虹膜區(qū)域的瞳孔的位置。
2、 如權(quán)利要求l所述的圖像信息處理裝置，其中，上述眼瞼區(qū)域輪廓檢測(cè)部根據(jù)由上述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的 上述面部圖像區(qū)域的尺寸生成眼瞼輪廓模型，使用生成的該眼瞼輪廓模型 檢測(cè)上述面部圖像區(qū)域中的眼瞼區(qū)域的輪廓點(diǎn)并決定該眼瞼區(qū)域的位置， 從而檢測(cè)眼瞼區(qū)域的輪廓。
3、 如權(quán)利要求2所述的圖像信息處理裝置，其中，上述眼瞼區(qū)域輪廓檢測(cè)部通過使上述眼瞼輪廓模型與上述面部圖像區(qū) 域重合，從而將上述面部圖像區(qū)域中被評(píng)價(jià)為最類似于眼瞼區(qū)域的部位判 斷為上述眼瞼區(qū)域的位置。
4、 如權(quán)利要求3所述的圖像信息處理裝置，其中，對(duì)于上述眼瞼輪廓模型中的各個(gè)輪廓點(diǎn)的位置的每一個(gè)，提取其特征 量并計(jì)算作為輪廓點(diǎn)的相似度，并且求出所計(jì)算的相似度的總合，從而進(jìn) 行上述評(píng)價(jià)。
5、 如權(quán)利要求3所述的圖像信息處理裝置，其中，基于上述眼瞼區(qū)域輪廓檢測(cè)部的上述眼瞼區(qū)域的位置決定包括下述處 理，該處理用于分別在規(guī)定的范圍內(nèi)探索用于劃定上述眼瞼區(qū)域的輪廓的 各輪廓點(diǎn)的最佳位置，并將在以前的探索中決定的上述各輪廓點(diǎn)的位置更 新為能夠被判斷為更加合適的位置。
6、 如權(quán)利要求l所述的圖像信息處理裝置，其中，還具備 面部方向計(jì)測(cè)部，從上述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的面部圖像區(qū)域中，計(jì)測(cè)表示被拍攝上述面部圖像的人物的面部所朝向的方向的值。
7、 如權(quán)利要求6所述的圖像信息處理裝置，其中， 上述眼瞼區(qū)域輪廓檢測(cè)部根據(jù)由上述面部圖像區(qū)域檢測(cè)部所檢測(cè)出的上述面部圖像區(qū)域的尺寸、以及由上述面部方向計(jì)測(cè)部所計(jì)測(cè)的表示上述 面部所朝向的方向的值，生成眼瞼輪廓模型，使用生成的該眼瞼輪廓模型 檢測(cè)上述面部圖像區(qū)域中的眼瞼區(qū)域的輪廓點(diǎn)并決定該眼瞼區(qū)域的位置， 從而檢測(cè)眼瞼區(qū)域的輪廓。
8、 如權(quán)利要求1或6所述的圖像信息處理裝置，其中， 上述虹膜區(qū)域檢測(cè)部根據(jù)由上述面部方向計(jì)測(cè)部所計(jì)測(cè)的表示上述面部所朝向的方向的值、以及規(guī)定的眼瞼輪廓模型，推測(cè)上述面部圖像區(qū)域 中的眼球區(qū)域的形狀，根據(jù)推測(cè)的該眼球區(qū)域的形狀，探索虹膜區(qū)域的位 置，并決定虹膜區(qū)域的中心位置和該虹膜區(qū)域的形狀。
9、 如權(quán)利要求8所述的圖像信息處理裝置，其中， 在推測(cè)上述眼球區(qū)域的形狀的處理中，至少使用眼球區(qū)域的中心、眼球區(qū)域的半徑以及虹膜區(qū)域的半徑的各數(shù)據(jù)。
10、 一種圖像信息處理方法，具備 第一步驟，從輸入的圖像中檢測(cè)面部圖像區(qū)域；第二步驟，從上述第一步驟中檢測(cè)出的面部圖像區(qū)域中，檢測(cè)眼瞼區(qū) 域的輪廓；第三步驟，根據(jù)上述第二步驟中檢測(cè)出的上述眼瞼區(qū)域的輪廓，從上述面部圖像區(qū)域中檢測(cè)虹膜區(qū)域的形狀；以及第四步驟，根據(jù)上述第三步驟中檢測(cè)出的虹膜區(qū)域的形狀，推測(cè)上述 虹膜區(qū)域的瞳孔的位置。
全文摘要
本發(fā)明提供一種圖像信息處理方法及裝置，能夠從拍攝的人物的圖像中正確地計(jì)測(cè)該人物的虹膜的中心位置，而且，還能夠?qū)崿F(xiàn)高精度的視線方向計(jì)測(cè)。視線方向計(jì)算部(29)根據(jù)從虹膜檢測(cè)部(25)輸出的虹膜的形狀數(shù)據(jù)和從面部方向計(jì)測(cè)部(27)輸出的面部方向的計(jì)測(cè)數(shù)據(jù)，進(jìn)行規(guī)定的運(yùn)算處理，從而計(jì)算輸入的人物的面部圖像中的視線方向。根據(jù)在虹膜形狀檢測(cè)單元(19)中得到的高精度的虹膜形狀的信息，能夠計(jì)測(cè)人物的面部圖像的視線方向。根據(jù)檢測(cè)出的眼瞼的輪廓信息，能夠推測(cè)虹膜和鞏膜的區(qū)域部分，所以能夠高精度地推測(cè)虹膜的形狀。
文檔編號(hào)G06T7/00GK101639939SQ200910203898
公開日2010年2月3日 申請(qǐng)日期2009年5月22日 優(yōu)先權(quán)日2008年7月29日
發(fā)明者下川寬之, 佐山千春, 吉永智明, 日高英之, 渡邊浩司, 長(zhǎng)屋茂喜 申請(qǐng)人:株式會(huì)社日立制作所;日本煙草產(chǎn)業(yè)株式會(huì)社