專利名稱：眼瞼檢測裝置、眼瞼檢測方法及其程序的制作方法
眼瞼檢測裝置、眼瞼檢測方法及其程序技術(shù)區(qū)域本發(fā)明涉及一種檢測例如駕駛車輛等移動(dòng)體的駕駛員等的眼睛的眼 瞼檢測裝置、眼瞼檢測方法及其程序。
背景技術(shù)：
現(xiàn)在，已知有從包含人的面部的圖像中檢測人的面部和眼睛的位置的 技術(shù)。例如，專利文獻(xiàn)l中公開了以下技術(shù)，即從面部圖像中提取與上眼 瞼對(duì)應(yīng)的邊緣線和與下眼瞼對(duì)應(yīng)的邊緣線，生成其樣板，將所生成的樣板 與候選眼睛進(jìn)行匹配，從而能夠連續(xù)正確地檢測眼睛。但是，在專利文獻(xiàn)l的技術(shù)中，當(dāng)與樣板進(jìn)行匹配時(shí)，進(jìn)行相關(guān)值運(yùn)算，需要處理時(shí)間。因此，難以利用處理速度較慢的車載用CPU進(jìn)行運(yùn)算。還有，如果采用專用的運(yùn)算器，則會(huì)增加成本。[專利文獻(xiàn)1]日本專利特開2000-137792號(hào)公報(bào) 發(fā)明內(nèi)容本發(fā)明考慮到上述問題，其目的在于提供一種能夠利用較少的運(yùn)算檢 測眼瞼(眼睛)的眼瞼檢測裝置、眼瞼檢測方法及其程序。為實(shí)現(xiàn)上述目的，與本發(fā)明的第1觀點(diǎn)有關(guān)的眼瞼檢測裝置的特征在于，包括面部圖像存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)對(duì)象者的面部的圖像；候選眼瞼提取機(jī)構(gòu)，其對(duì)存儲(chǔ)在上述面部圖像存儲(chǔ)機(jī)構(gòu)中的圖像進(jìn)行 處理，提取由與上眼瞼對(duì)應(yīng)的線和與下眼瞼對(duì)應(yīng)的線構(gòu)成的候選組合的線 對(duì)；參數(shù)計(jì)算機(jī)構(gòu)，其計(jì)算表示上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的與 上述候選眼瞼提取機(jī)構(gòu)所提取的線對(duì)相對(duì)應(yīng)的部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數(shù)；和眼瞼檢測機(jī)構(gòu)，其基于上述參數(shù)計(jì)算機(jī)構(gòu)算出的參數(shù)，檢測對(duì)象者的 眼瞼的位置。例如，上述參數(shù)計(jì)算機(jī)構(gòu)也可以計(jì)算表示上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ) 的圖像的規(guī)定部分中包含眼睛頭部和眼睛尾部的至少一方的可能性的參 數(shù)，該規(guī)定部分包含上述候選眼瞼提取機(jī)構(gòu)所提取的候選下眼瞼的線的兩l山頓。例如，上述參數(shù)計(jì)算機(jī)構(gòu)也可以計(jì)算上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖 像的規(guī)定部分的多個(gè)像素的濃度的平均值，該規(guī)定部分包含上述候選眼瞼提取機(jī)構(gòu)所提取的候選下眼瞼的線的兩端；基于所計(jì)算的多個(gè)像素的濃度的平均值，計(jì)算表示在上述面部圖像存 儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像的規(guī)定部分中包含眼睛頭部和眼睛尾部的至少一方的 可能性的參數(shù)，該規(guī)定部分包含上述候選眼瞼提取機(jī)構(gòu)所提取的候選下眼 瞼的線的兩端。例如，可以還具有圖案存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)表示在面積等于包含上述線 的兩端的規(guī)定部分的區(qū)域中、與皮膚部分對(duì)應(yīng)的皮膚區(qū)域和與眼睛部分對(duì) 應(yīng)的眼睛區(qū)域的圖案，上述參數(shù)計(jì)算機(jī)構(gòu)計(jì)算上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的、與上 述圖案存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示的皮膚區(qū)域?qū)?yīng)的部分的多個(gè)像素的 濃度的平均值、和上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的、與上述圖案存 儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示的眼睛區(qū)域?qū)?yīng)的部分的多個(gè)像素的濃度的平 均值之間的差分，上述眼瞼檢測機(jī)構(gòu)基于上述差分，檢測眼瞼。例如，可以還具有圖案存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)表示面積小于包含上述線的 兩端的規(guī)定部分的區(qū)域中、與皮膚部分對(duì)應(yīng)的皮膚區(qū)域和與眼睛部分對(duì)應(yīng) 的眼睛區(qū)域的圖案，上述參數(shù)計(jì)算機(jī)構(gòu)具有差分計(jì)算機(jī)構(gòu)，其將包含上述線的兩端的規(guī)定 部分中的一部分與上述圖案存儲(chǔ)機(jī)構(gòu)所存儲(chǔ)的圖案進(jìn)行對(duì)應(yīng)，計(jì)算上述面 部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的與上述圖案存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示 的皮膚區(qū)域?qū)?yīng)的部分的多個(gè)像素的濃度的平均值、和上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的與上述圖案存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示的眼睛區(qū)域?qū)?yīng)的部分的多個(gè)像素的濃度的平均值之間的差分，使上述差分計(jì)算機(jī)構(gòu)對(duì)包含上述線的兩端的規(guī)定部分進(jìn)行掃描，將計(jì)算出的多個(gè)差分中的最大值作為最大差分值，上述眼瞼檢測機(jī)構(gòu)基于上述最大差分值，檢測眼瞼。 與本發(fā)明的第2觀點(diǎn)有關(guān)的眼瞼檢測方法的特征在于， 對(duì)面部圖像進(jìn)行處理，提取由眼睛的上眼瞼和下眼瞼構(gòu)成的候選組合的線對(duì)，計(jì)算表示所提取的由上眼瞼和下眼瞼構(gòu)成的候選組合的線對(duì)包含眼 睛頭部和眼睛尾部中的至少一方的可能性的參數(shù)， 基于所計(jì)算出的參數(shù)，檢測對(duì)象者的眼瞼。與本發(fā)明的第3觀點(diǎn)有關(guān)的程序的特征在于使計(jì)算機(jī)作為如下機(jī)構(gòu) 發(fā)揮功能，艮口面部圖像存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)對(duì)象者的面部的圖像；候選眼瞼提取機(jī)構(gòu)，其對(duì)存儲(chǔ)在上述面部圖像存儲(chǔ)機(jī)構(gòu)中的圖像進(jìn)行 處理，提取由與上眼瞼對(duì)應(yīng)的線和與下眼瞼對(duì)應(yīng)的線構(gòu)成的候選組合的線對(duì)；參數(shù)計(jì)算機(jī)構(gòu)，其計(jì)算表示上述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的與 上述候選眼瞼提取機(jī)構(gòu)所提取的線對(duì)相對(duì)應(yīng)的部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數(shù)；和眼瞼檢測機(jī)構(gòu)，其基于上述參數(shù)計(jì)算機(jī)構(gòu)算出的參數(shù)，檢測對(duì)象者的 眼瞼的位置。利用本發(fā)明，可以提供一種能夠利用較少的運(yùn)算檢測眼瞼的眼瞼檢測 裝置、眼瞼檢測方法及其程序。


圖1是表示與本發(fā)明的第1實(shí)施方式有關(guān)的眼瞼檢測裝置的結(jié)構(gòu)的框圖。圖2是表示圖1所示的計(jì)算機(jī)的結(jié)構(gòu)的框圖。圖3是說明存放在ROM或RAM中的各種數(shù)據(jù)的圖。圖4是說明存放在ROM或RAM中的各種數(shù)據(jù)的圖。 圖5是說明與本發(fā)明的第1實(shí)施方式有關(guān)的處理的概要的圖。 圖6是說明與本發(fā)明的第1實(shí)施方式有關(guān)的處理的概要的圖。 圖7是說明與本發(fā)明的第1實(shí)施方式有關(guān)的眼瞼檢測處理的流程圖。 圖8是說明第1實(shí)施方式的眼瞼檢測處理中的前處理的流程圖。 圖9是說明第1實(shí)施方式的眼瞼檢測處理中的面部位置檢測處理的流 程圖。圖10是說明面部位置檢測處理中的面部左右端檢測處理的流程圖。 圖11是說明面部位置檢測處理中的面部上下端檢測處理的流程圖。 圖12是說明第1實(shí)施方式的眼瞼檢測處理中的候選眼瞼提取處理的 流程圖。圖13是說明第1實(shí)施方式的眼瞼檢測處理中的眼瞼判斷處理的流程圖。圖14是說明第2實(shí)施方式的眼瞼檢測處理的概要的圖。圖15是說明第2實(shí)施方式的眼瞼檢測處理中的眼瞼判斷處理的流程圖。圖中IO—攝像機(jī)，12—照明光源，14一計(jì)算機(jī)，16—顯示裝置，21 一A/D變換器，22—圖像存儲(chǔ)器(面部圖像存儲(chǔ)機(jī)構(gòu))，23—ROM (圖案 存儲(chǔ)機(jī)構(gòu))，24 — CPU (候選眼瞼提取機(jī)構(gòu)、參數(shù)計(jì)算機(jī)構(gòu)、眼瞼檢測機(jī) 構(gòu))，25—RAM， 26—顯示控制裝置，28 —設(shè)定存儲(chǔ)器，29 —操作裝置， 50—眼瞼檢測裝置。
具體實(shí)施方式
以下，說明與本發(fā)明的第1實(shí)施方式有關(guān)的眼瞼檢測裝置50。如圖1所示，第1實(shí)施方式有關(guān)的眼瞼檢測裝置50由拍攝駕駛員的面部、生成面部圖像的攝像機(jī)10;對(duì)駕駛員的面部進(jìn)行照明的照明光源 12;檢測駕駛員的眼瞼的計(jì)算機(jī)14;和與計(jì)算機(jī)14連接的顯示裝置16 構(gòu)成。攝像機(jī)10例如由CCD攝像機(jī)構(gòu)成，按照一定周期(例如1/30秒)獲 取并輸出駕駛員的面部的灰度圖像。從攝像機(jī)10依次輸出的面部圖像除了駕駛員的面部(的圖像)外，還包含其背景(的圖像)等。顯示裝置16由LCD (Liquid Crystal Display)或CRT (Cathode Ray Tube)等構(gòu)成，顯示由攝像機(jī)10拍攝的面部圖像生成的2值化圖像。計(jì)算機(jī)14是對(duì)利用攝像機(jī)10獲取的面部運(yùn)動(dòng)圖像進(jìn)行處理，檢測其 眼瞼的位置的裝置。如圖2所示，計(jì)算機(jī)14由A/D變換器21、圖像存儲(chǔ) 器22、 ROM (Read Only Memory) 23、 CPU (Central Processing Unit) 24、 RAM (Random Access Memory) 25、顯示控制裝置26、光源控制裝 置27、設(shè)定存儲(chǔ)器28、和操作裝置29構(gòu)成。A/D (模擬/數(shù)字)變換器21將攝像機(jī)10拍攝的模擬圖像信號(hào)變換為 數(shù)字信號(hào)。圖像存儲(chǔ)器22中存儲(chǔ)由攝像機(jī)10生成、利用A/D變換器21進(jìn)行數(shù) 字化處理后的圖像數(shù)據(jù)。ROM23中存儲(chǔ)用于控制CPU的動(dòng)作的程序。還有，ROM23中存儲(chǔ) 用于執(zhí)行后述的圖像處理的各種固定數(shù)據(jù)。CPU24對(duì)計(jì)算機(jī)14整體進(jìn)行控制。還有，CPU24通過運(yùn)行存放在 ROM23中的程序，從而對(duì)攝像機(jī)10獲取的一系列面部圖像進(jìn)行處理，檢 測出眼瞼。RAM25用作CPU24的工作區(qū)域。顯示控制裝置26在CPU24的控制下，將視頻數(shù)據(jù)轉(zhuǎn)換為顯示裝置16 可以輸出的數(shù)據(jù)形式，輸出到顯示裝置16。光源控制裝置27控制照明光源12的開燈、關(guān)燈。設(shè)定存儲(chǔ)器28中預(yù)先存儲(chǔ)圖4所示的各種參數(shù)。當(dāng)CPU24從存放在 RAM25中的面部圖像中檢測眼瞼時(shí)，使用各種參數(shù)。詳細(xì)情況后面敘述。操作裝置29接受來自用戶的操作信息，將對(duì)應(yīng)操作的操作信號(hào)輸出 妾廿CPU24。接著，參照?qǐng)D3，說明存放在ROM23中的固定數(shù)據(jù)的例子。首先， ROM23中存放有圖3 (a)所示的縱向邊緣檢測用佐貝爾濾波器的算符。 縱向邊緣檢測用佐貝爾濾波器是強(qiáng)調(diào)圖3 (c)所示的橫方向的濃淡差的算 符。還有，ROM23中存放有圖3 (b)所示的橫向邊緣檢測用佐貝爾濾波器的算符。橫向邊緣檢測用佐貝爾濾波器是強(qiáng)調(diào)圖3 (d)所示的橫方向的 濃淡差的算符。ROM23中存放有圖3 (e)所示的左端用眼睛尾部，眼睛頭部圖案。 左端用眼睛尾部，眼睛頭部圖案根據(jù)實(shí)際的眼睛尾部，眼睛頭部的圖像生 成，由表示眼睛尾部，眼睛頭部周邊的皮膚的部分和表示眼睛的部分構(gòu)成。 在圖中，白色方格的部分為表示皮膚的部分，黑色方格的部分為表示眼睛 的部分。左端用眼睛尾部，眼睛頭部圖案用于判斷實(shí)際的邊緣線的左端附 近的圖像與眼睛尾部或者眼睛頭部的相似程度。ROM23中存放有圖3 (f)所示的右端用眼睛尾部，眼睛頭部圖案。 右端用眼睛尾部，眼睛頭部圖案根據(jù)實(shí)際的眼睛尾部*眼睛頭部的圖像生 成，由表示眼睛尾部，眼睛頭部周邊的皮膚的部分和表示眼睛的部分構(gòu)成。 在圖中，白色方格的部分為表示皮膚的部分(以下稱為皮膚部分)。黑色 方格的部分為表示眼睛的部分(以下稱為眼睛部分)。右端用眼睛尾部* 眼睛頭部圖案用于判斷實(shí)際的邊緣線的右端附近的圖像與眼睛尾部或者 眼睛頭部的相似程度。參照?qǐng)D4，說明存放在設(shè)定存儲(chǔ)器28中的各種參數(shù)的例子。首先，眼瞼檢測用橫向佐貝爾閾值為根據(jù)從面部圖像中提取面部的眼 瞼區(qū)域時(shí)利用橫向邊緣線檢測用佐貝爾濾波器處理過的各像素的濃度值 的絕對(duì)值，判斷是否為橫向邊緣線的閾值。眼瞼區(qū)域設(shè)定參數(shù)a、 b為計(jì)算從所檢測出的面部位置推定存在眼瞼 的眼瞼區(qū)域的參數(shù)。閾值Lth、 Cxth、 Dth為用于提取作為候選眼瞼的邊緣線對(duì)的閾值。下面，說明具有上述結(jié)構(gòu)的與第1實(shí)施方式有關(guān)的眼瞼檢測裝置50 的動(dòng)作。首先，參照?qǐng)D3-6，說明眼瞼檢測裝置50檢測面部圖像中的眼瞼的動(dòng) 作的概要。攝像機(jī)10按照規(guī)定周期(例如，1/30秒周期)拍攝圖5 (a)所示的 對(duì)象者的面部圖像，并輸出面部圖像。所輸出的面部圖像依次存放在圖像 存儲(chǔ)器22中。接著，CPU24依次讀出存放在圖像存儲(chǔ)器22中的面部圖像，進(jìn)行如下處理。首先，CPU24利用縱向邊緣檢測用佐貝爾濾波器(圖3 (a))，對(duì) 讀出的面部圖像進(jìn)行處理，基于該面部圖像的各像素的濃度值，檢測面部 的左右端。還有，CPU24利用橫向邊緣檢測用佐貝爾濾波器(圖3 (b))， 對(duì)讀出的面部圖像進(jìn)行處理，基于該面部圖像的各像素的濃度值，檢測面 部的上下端。例如，對(duì)于圖5 (a)所示的面部圖像，面部的左右端為x—、 j，上下 端為y-m、 n。從面部的左右端和上下端，可以檢測面部位置。CPU24基于存放在設(shè)定存儲(chǔ)器28中的參數(shù)和所檢測出的面部位置， 提取圖5 (b)所示的推定為包含眼瞼的眼瞼區(qū)域。利用圖5 (a)所示的 圖，進(jìn)行具體說明。當(dāng)面部的左右端為x-i、 j、上下端為y-m、 n時(shí)，利 用圖4所示的存放在設(shè)定存儲(chǔ)器28中的眼瞼區(qū)域設(shè)定參數(shù)a、 b，可以將 眼瞼區(qū)域表示為i《x《j且v《y《w (但是，v=m+b，w=n-a)。CPU24利用橫向邊緣檢測用佐貝爾濾波器(圖3 (b))，進(jìn)行提取 眼瞼區(qū)域的圖像中的橫向邊緣線的處理。這里，CPU24將利用橫向邊緣檢 測用佐貝爾濾波器處理過的各像素的微分值的絕對(duì)值在眼瞼檢測用橫向 佐貝爾閾值(圖4)以上的像素判斷為橫向邊緣線。其結(jié)果如圖5 (c)所示，在y軸方向從亮像素變?yōu)榘迪袼氐倪吘壘€表 示為負(fù)邊緣，在y軸方向從暗像素變?yōu)榱料袼氐倪吘壘€表示為正邊緣。另 外，圖上負(fù)邊緣用實(shí)線表示，正邊緣用虛線表示。接著，CPU24從所求得的負(fù)邊緣線和正邊緣線中，提取滿足如下3個(gè) 公式的負(fù)邊緣和正邊緣的組合(邊緣線對(duì))，作為候選上眼瞼和候選下眼 瞼。Lp—Lm<Lth ......(1)這里，Lp是表示正邊緣的長度的值，Lm是表示負(fù)邊緣的長度的值， Lth是閾值。如圖4所示，閾值Lth存放在設(shè)定存儲(chǔ)器28中。滿足公式(1) 的負(fù)邊緣和正邊緣的長度用閾值Lth的范圍近似表示。Cxp — Cxm < Cxth ......(2)這里，Cxp是正邊緣的重心的x坐標(biāo)，Cxm是負(fù)邊緣的重心的x坐標(biāo)， Cxth是閾值。如圖4所示，閾值Cxth存放在設(shè)定存儲(chǔ)器28中。滿足公式(2)的負(fù)邊緣和正邊緣的重心的X坐標(biāo)用閾值Cxth的范圍近似表示。Dg < Dth ......(3)這里，Dg是負(fù)邊緣的重心與正邊緣的重心之間的距離，Dth是閾值。 如圖4所示，閾值Dth存放在設(shè)定存儲(chǔ)器28中。滿足公式(3)的負(fù)邊緣 和正邊緣的重心間距離用閾值Dth的范圍近似表示。CPU24在利用上述3個(gè)公式提取的負(fù)邊緣和正邊緣的組合中，將負(fù)邊 緣作為候選上眼瞼，正邊緣作為候選下眼瞼。艮口，滿足公式(1) - (3)的負(fù)邊緣和正邊緣的組合為在某種程度上長 度相等、位置靠近、重心的x坐標(biāo)一致的負(fù)邊緣和正邊緣的組合。圖5表示根據(jù)公式(1) - (3)的負(fù)邊緣和正邊緣的組合的一個(gè)例子。 作為負(fù)邊緣和正邊緣的組合的候選1-7是對(duì)象者的候選眼瞼(邊緣線對(duì))。接著，CPU24針對(duì)各候選眼瞼(邊緣線對(duì))，在其左右端設(shè)定眼睛尾 部，眼睛頭部區(qū)域。眼睛尾部》眼睛頭部區(qū)域是眼睛尾部或眼睛頭部存在 的可能性高的區(qū)域。本實(shí)施例中，將以候選眼瞼(邊緣線對(duì))的候選下眼 瞼(正邊緣)的左右兩端為中心的橫5X縱5 (像素)的區(qū)域。例如，如 圖6 (a) 、 (b)所示，候選眼瞼2中，在其候選下眼瞼(正邊緣)的左 右端設(shè)定眼睛尾部'眼睛頭部區(qū)域100、 200。CPU24對(duì)于以所設(shè)定的各候選眼瞼的正邊緣的左端為中心的眼睛尾 部*眼睛頭部區(qū)域，利用左端眼睛尾部*眼睛頭部圖案(圖3 (e))，計(jì) 算左端眼睛尾部*眼睛頭部評(píng)價(jià)值。還有，CPU24對(duì)于以所設(shè)定的各候選 眼瞼的正邊緣的右端為中心的眼睛尾部*眼睛頭部區(qū)域，利用右端眼睛尾 部，眼睛頭部圖案(圖3 (f))，計(jì)算右端眼睛尾部，眼睛頭部評(píng)價(jià)值。具體來說，如圖6 (c)所示，CPU24在相當(dāng)于進(jìn)行佐貝爾濾波處理 之前的原始圖像的眼睛尾部'眼睛頭部區(qū)域內(nèi)配置眼睛尾部*眼睛頭部圖 案。接著，CPU24計(jì)算相當(dāng)于圖案的皮膚部分的原始圖像的濃度的平均值 與相當(dāng)于圖案的眼睛部分的原始圖像的濃度的平均值。CPU24將從所計(jì)算 出的相當(dāng)于皮膚部分的原始圖像的濃度的平均值中減去相當(dāng)于眼睛部分 的原始圖像的濃度的平均值后的值作為眼睛尾部，眼睛頭部評(píng)價(jià)值。 CPU24針對(duì)各候選眼瞼(邊緣線對(duì))的左右端，分別計(jì)算眼睛尾部*眼睛 頭部評(píng)價(jià)值。CPU24將所計(jì)算出的左端眼睛尾部，眼睛頭部評(píng)價(jià)值與右端眼睛尾部 眼睛頭部評(píng)價(jià)值的和最大和第二大的2個(gè)評(píng)價(jià)值判斷為左右眼瞼。下面參照?qǐng)D7-13，詳細(xì)說明眼瞼檢測裝置50檢測面部圖像中的眼瞼 的動(dòng)作。參照?qǐng)D7所示的流程圖，說明與本發(fā)明的第1實(shí)施方式有關(guān)的眼瞼檢 測裝置50進(jìn)行的眼瞼檢測處理。計(jì)算機(jī)14內(nèi)的CPU24周期性地(例如，每隔1/30秒)開始圖7的眼 瞼檢測處理。首先，接通眼瞼檢測裝置50的電源后，CPU24進(jìn)行后述的前處理， 獲取駕駛員的面部圖像，提取縱向邊緣線，并提取橫向邊緣線(步驟SIOO)。接著，CPU24進(jìn)行后述的面部位置檢測處理，利用在上述前處理中提 取的縱向邊緣線檢測面部的左右端，利用橫向邊緣線檢測面部的上下端， 檢測面部圖像的面部位置(步驟S200)。CPU24進(jìn)行后述的候選眼瞼提取處理，利用在上述眼瞼位置檢測處理 中檢測的面部位置，從面部圖像中提取眼瞼區(qū)域，提取橫向邊緣線。從所 提取的橫向邊緣線中，提取作為候選上下眼瞼的邊緣線的對(duì)(邊緣線對(duì)) (步驟S300)。CPU24進(jìn)行后述的眼瞼判斷處理，對(duì)各候選眼瞼的左右端設(shè)定眼睛尾 部*眼睛頭部區(qū)域，計(jì)算所設(shè)定的區(qū)域的眼睛尾部眼睛頭部評(píng)價(jià)值，基于 所計(jì)算的眼睛尾部眼睛頭部評(píng)價(jià)值，判斷左右眼瞼(步驟S400)，然后結(jié) 束處理。這樣，可以周期性地重復(fù)利用眼瞼檢測處理獲取面部圖像、從該圖像 中檢測眼瞼。接著，說明在眼瞼檢測處理的步驟S100進(jìn)行的前處理。簡單說明如 下。在前處理中，眼瞼檢測裝置50拍攝駕駛員的面部圖像，利用佐貝爾 濾波器，進(jìn)行邊緣檢測。下面，參照?qǐng)D8，詳細(xì)說明前處理(S100)。首先，CPU24進(jìn)行圖像獲取處理，即經(jīng)由A/D變換器21，獲取攝像 機(jī)10拍攝的對(duì)象者的面部圖像，并將其存放到圖像存儲(chǔ)器22中(步驟 S110)。接著，CPU24進(jìn)行坐標(biāo)變換處理，對(duì)存放在圖像存儲(chǔ)器22中的各面部圖像的像素進(jìn)行間隔提取處理，從而使其能夠進(jìn)行后述的佐貝爾濾波處理(步驟S120)。 ' CPU24利用存放在ROM23中的縱向邊緣線檢測用算符(圖3 (a))，對(duì)坐標(biāo)變換后的面部圖像進(jìn)行處理，生成強(qiáng)調(diào)面部圖像內(nèi)的縱向邊緣的圖像。而且，CPU24利用存放在ROM23中的橫向邊緣線檢測用算符(圖3 (b))，對(duì)坐標(biāo)變換后的面部圖像進(jìn)行處理，生成強(qiáng)調(diào)面部圖像內(nèi)的橫向邊緣的圖像(步驟S130)。這樣，利用前處理，可以生成強(qiáng)調(diào)了所拍攝的面部圖像的縱向邊緣的圖像和強(qiáng)調(diào)了橫向邊緣的圖像。這里，說明在眼瞼檢測處理的步驟S200中進(jìn)行的面部位置檢測處理。簡單說明如下。在面部位置檢測處理中，眼瞼檢測裝置50利用前處理中生成的強(qiáng)調(diào)了縱向邊緣的圖像和強(qiáng)調(diào)了橫向邊緣的圖像，檢測面部圖像中的面部位置。下面，參照?qǐng)D9，詳細(xì)說明面部位置檢測處理(S200)。首先，CPU24進(jìn)行后述的面部左右端檢測處理，利用前處理中生成的強(qiáng)調(diào)了縱向邊緣的圖像，檢測面部圖像中的面部的左右端的位置(步驟S210)。接著，CPU24進(jìn)行后述的面部上下端檢測處理，利用前處理中生成的 強(qiáng)調(diào)了橫向邊緣的圖像，檢測面部圖像中的面部的上下端的位置(步驟 S220)，結(jié)束面部位置檢測處理。這樣，利用面部位置檢測處理，可以通過檢測面部的左右端和上下端， 從而檢測面部圖像中的面部位置。這里，說明在面部位置檢測處理的步驟S210進(jìn)行的面部左右端檢測 處理。簡單說明如下。在面部左右端檢測處理中，眼瞼檢測裝置50利用 前處理中生成的強(qiáng)調(diào)了縱向邊緣的圖像，檢測面部圖像中的面部的左右端 的位置。下面，參照?qǐng)D10，詳細(xì)說明面部左右端檢測處理(S210)。 首先，CPU24進(jìn)行面部左右端檢測用直方圖生成處理，即將利用縱向 邊緣檢測用佐貝爾濾波器進(jìn)行佐貝爾濾波處理后的各像素的值在縱方向進(jìn)行投影，生成直方圖(步驟S211)。具體來說，將各坐標(biāo)的像素值分割 成幾個(gè)階段，對(duì)于每個(gè)X值，確定取最多的各坐標(biāo)的像素值的階段。將每 個(gè)X值的上述階段的平均值的圖形作為上述直方圖。CPU24在步驟S211生成的直方圖中，提取取峰值的點(diǎn)(以下稱為峰 值點(diǎn))(步驟S212)。CPU24從步驟S212提取的峰值點(diǎn)中，提取其直方圖的值在閾值以上 的點(diǎn)，作為面部的左右端的候選值(步驟S213)。CPU24對(duì)于步驟S213的處理結(jié)果，判斷作為面部的左右端的候選值 是否提取了2個(gè)直方圖值在閾值以上的峰值點(diǎn)(步驟S214)。如果判斷為提取了 2個(gè)直方圖值在閾值以上的峰值點(diǎn)(步驟S214: 是)，CPU24則進(jìn)入步驟S216的處理，將所提取的2個(gè)峰值點(diǎn)的位置確 定為面部的左右端(步驟S216)。如果判斷為沒有提取2個(gè)直方圖值在閾值以上的峰值點(diǎn)(步驟S214: 否)，CPU24則從峰值點(diǎn)中提取兩點(diǎn)距離作為人的面部寬度具有適當(dāng)?shù)拈g 隔的2個(gè)峰值點(diǎn)的組合(步驟S215)。CPU24將所提取的2個(gè)峰值點(diǎn)的位置確定為面部的左右端(步驟 S216)。這樣，利用面部左右端檢測處理，可以檢測面部圖像中的面部的左右丄山順。這里，說明在面部位置檢測處理的步驟S220進(jìn)行的面部上下端檢測 處理。簡單說明如下。在面部上下端檢測處理中，眼瞼檢測裝置50利用 在前處理中生成的強(qiáng)調(diào)了橫向邊緣的圖像，檢測面部圖像的面部的上下端 的位置。下面，參照?qǐng)Dll，詳細(xì)說明面部上下端檢測處理(S220)。 首先，CPU24進(jìn)行面部上下端檢測用直方圖生成處理，即將利用橫向 邊緣檢測用佐貝爾濾波器進(jìn)行佐貝爾濾波處理后的各像素的值在橫方向 進(jìn)行投影，生成直方圖(步驟S221)。具體來說，將各坐標(biāo)的像素值分割 成幾個(gè)階段，對(duì)于每個(gè)y值，確定取最多的各坐標(biāo)的像素值的階段。將每 個(gè)y值的上述階段的平均值的圖形作為上述直方圖。CPU24在步驟S221生成的直方圖中，提取取峰值的點(diǎn)(以下稱為峰值點(diǎn))(步驟S222)。
CPU24基于在步驟S222中提取的峰值點(diǎn)的直方圖的值，將各點(diǎn)與眼 瞼 眉 口確定對(duì)應(yīng)關(guān)系(步驟S223)。
CPU24在步驟S223中基于與眼瞼*眉 口確定對(duì)應(yīng)關(guān)系的各峰值點(diǎn)， 計(jì)算面部圖像中的面部的上下端位置(步驟S224)。例如，將離開所檢測 的眉的上方3個(gè)像素的位置作為面部的上端，將離開所檢測的口的下方3 個(gè)像素的位置作為面部的下端(口與顎之間)。
這樣，利用面部上下端檢測處理，可以計(jì)算面部圖像中的面部的上下 端位置。
這里，說明在眼瞼檢測處理的步驟S300進(jìn)行的候選眼瞼提取處理。 簡單說明如下。在候選眼瞼提取處理中，眼瞼檢測裝置50提取基于利用 面部位置檢測處理所檢測的面部位置而推定為存在眼瞼的特定區(qū)域。然 后，眼瞼檢測裝置50從所提取的區(qū)域中，利用橫向邊緣檢測用佐貝爾濾 波器，檢測正邊緣和負(fù)邊緣，提取滿足上述公式(1) - (3)的邊緣線對(duì)， 將其作為候選眼瞼。
以下，參照?qǐng)D12，詳細(xì)說明候選眼瞼提取處理(步驟S300)。
首先，CPU24基于在面部位置檢測處理所檢測的面部的左右端和上下 端的位置和眼瞼區(qū)域設(shè)定參數(shù)，從存放在圖像存儲(chǔ)器22中的各面部圖像 中提取推定存在眼瞼的區(qū)域的圖像(步驟S310)。
CPU24從存放在ROM23中的橫向邊緣線檢測用算符(圖3 (b))， 對(duì)在步驟S310中提取出的區(qū)域的圖像進(jìn)行處理，將該圖像的各像素的微 分值的絕對(duì)值在眼瞼檢測用橫向佐貝爾閾值以上的像素判斷為橫向邊緣 線，并進(jìn)行提取(步驟S320)。
CPU24計(jì)算步驟S320中提取出的橫向邊緣線中的正邊緣的長度Lp、 負(fù)邊緣的長度Lm、正邊緣的重心的x坐標(biāo)Cxp、負(fù)邊緣的重心的x坐標(biāo) Cxm、負(fù)邊緣的重心與正邊緣的重心之間的距離Dg (步驟S330)。
CPU24利用在步驟S330中計(jì)算出的各參數(shù)，將滿足上述公式(1)-(3)的負(fù)邊緣和正邊緣的組合作為候選眼瞼進(jìn)行提取(步驟S340)。
這樣，利用候選眼瞼提取處理，可以在推定為存在眼瞼的區(qū)域內(nèi)，提 取作為候選眼瞼的負(fù)邊緣和正邊緣的組合。這里，說明在眼瞼檢測處理的步驟S400進(jìn)行的眼瞼判斷處理。簡單
來說，眼瞼檢測裝置50針對(duì)在候選眼瞼提取處理中提取出的各候選眼瞼
的左右端，設(shè)定眼睛尾部'眼睛頭部區(qū)域，計(jì)算所設(shè)定的區(qū)域的眼睛尾部 眼睛頭部評(píng)價(jià)值，將計(jì)算的左右端的眼睛尾部，眼睛頭部評(píng)價(jià)值的和為 最大的候選眼瞼和第二大的候選眼瞼判斷為左右眼瞼。
以下，參照?qǐng)D13，詳細(xì)說明眼瞼判斷處理(S400)。
首先，CPU24從候選眼瞼提取處理所提取出的候選眼瞼中，選擇沒有 計(jì)算眼睛尾部'眼睛頭部評(píng)價(jià)值的任意的候選眼瞼(步驟S410)。
接著，CPU24從所選擇的候選眼瞼的正邊緣的左右端中，選擇沒有計(jì) 算眼睛尾部，眼睛頭部評(píng)價(jià)值的端(步驟S420)。
CPU24以所選擇的候選眼瞼的正邊緣所選擇的端為中心，設(shè)定眼睛尾 部*眼睛頭部區(qū)域(步驟S430)。
CPU24在相當(dāng)于進(jìn)行佐貝爾濾波處理之前的原始圖像的眼睛尾部*眼 睛頭部區(qū)域內(nèi)配置與所選擇的端相對(duì)應(yīng)的眼睛尾部*眼睛頭部圖案。接著， CPU24計(jì)算相當(dāng)于圖案的皮膚部分的原始圖像的濃度的平均值與相當(dāng)于 圖案的眼睛部分的原始圖像的濃度的平均值。CPU24將從所計(jì)算的相當(dāng)于 皮膚部分的原始圖像的濃度的平均值中減去相當(dāng)于眼睛部分的原始圖像 的濃度的平均值后的值作為眼睛尾部，眼睛頭部評(píng)價(jià)值(步驟S440)。
CPU24判斷是否對(duì)所選擇的候選眼瞼的左右兩端計(jì)算了眼睛尾部*眼 睛頭部評(píng)價(jià)值(步驟S450)。
如果判斷為對(duì)所選擇的候選眼瞼的左右兩端沒有計(jì)算眼睛尾部，眼睛 頭部評(píng)價(jià)值(步驟S450:否)，CPU24回到步驟S420的處理。
如果判斷為對(duì)所選擇的候選眼瞼的左右兩端計(jì)算了眼睛尾部，眼睛頭 部評(píng)價(jià)值(步驟S450:是)，則CPU24判斷是否對(duì)所有的候選眼瞼計(jì)算 了眼睛尾部*眼睛頭部評(píng)價(jià)值(步驟S460)。
如果判斷為沒有對(duì)所有的候選眼瞼計(jì)算眼睛尾部，眼睛頭部評(píng)價(jià)值 (步驟S460:否)，CPU24則回到步驟S410的處理。
如果判斷為對(duì)所有的候選眼瞼計(jì)算了眼睛尾部，眼睛頭部評(píng)價(jià)值(步 驟S460:是)，則CPU24對(duì)各候選眼瞼計(jì)算左端的眼睛尾部'眼睛頭部 評(píng)價(jià)值與右端的眼睛尾部，眼睛頭部評(píng)價(jià)值之和。CPU24將所算出的左端的眼睛尾部，眼睛頭部評(píng)價(jià)值與右端的眼睛尾部，眼睛頭部評(píng)價(jià)值之和的 值最大的候選眼瞼和第二大的候選眼瞼判斷為左右眼瞼(步驟S470)。
這樣，利用眼瞼判斷處理，可以計(jì)算評(píng)價(jià)各候選眼瞼的左右端與眼睛 尾部和眼睛頭部的相似程度的評(píng)價(jià)值，基于該評(píng)價(jià)值，判斷左右眼瞼。
如上所述，第1實(shí)施方式的眼瞼檢測裝置50從在不同的時(shí)刻拍攝的 多個(gè)面部圖像中檢測面部位置。然后，眼瞼檢測裝置50基于該面部位置， 提取推定眼瞼的存在的區(qū)域，從該區(qū)域中提取作為候選眼瞼的邊緣線對(duì)。 眼瞼檢測裝置50從所提取的候選眼瞼(邊緣線對(duì))中，將包含眼睛尾部 和眼睛頭部的可能性高的那個(gè)判斷為眼瞼。因此，眼瞼檢測裝置50能夠 正確地短時(shí)間地檢測眼瞼。
(第2實(shí)施方式)
在第1實(shí)施方式中，眼瞼檢測裝置50在從候選眼瞼中判別眼瞼時(shí)， 針對(duì)各候選眼瞼，設(shè)定面積等于眼睛尾部*眼睛頭部圖案的眼睛尾部'眼 睛頭部區(qū)域，將該眼睛尾部*眼睛頭部區(qū)域與眼睛尾部'眼睛頭部圖案進(jìn) 行對(duì)應(yīng)，計(jì)算眼睛尾部"眼睛頭部評(píng)價(jià)值。但是，在第2實(shí)施方式中，眼 瞼檢測裝置50也可以首先在從候選眼瞼中判別眼瞼時(shí)，針對(duì)各候選眼瞼， 設(shè)定圖14 (c) 、 (d)所示的面積大于眼睛尾部*眼睛頭部圖案的眼睛尾 部*眼睛頭部區(qū)域。接著，如圖14 (d)所示，眼瞼檢測裝置50利用眼睛 尾部，眼睛頭部圖案，掃描眼睛尾部，眼睛頭部區(qū)域，計(jì)算所掃描部分的 眼睛尾部，眼睛頭部暫定評(píng)價(jià)值，將取最大值的眼睛尾部'眼睛頭部暫定 評(píng)價(jià)值作為眼睛尾部*眼睛頭部評(píng)價(jià)值。但是，第2實(shí)施方式的眼睛尾部 眼睛頭部區(qū)域?yàn)橐院蜻x眼瞼的正邊緣的左右兩端為中心的橫21X縱11 "像素"的區(qū)域。
另外，與第2實(shí)施方式有關(guān)的眼瞼檢測裝置的結(jié)構(gòu)和與第1實(shí)施方式 有關(guān)的眼瞼檢測裝置的結(jié)構(gòu)一樣。還有，第2實(shí)施方式中的眼瞼判斷處理 以外的處理與第1實(shí)施方式一樣。
下面，參照?qǐng)D15，詳細(xì)說明與第2實(shí)施方式有關(guān)的眼瞼判斷處理 (S400)。
首先，CPU24從在候選眼瞼提取處理所提取的候選眼瞼中，選擇沒有計(jì)算眼睛尾部，眼睛頭部評(píng)價(jià)值的任意的候選眼瞼(步驟S510)。
接著，CPU24從所選擇的候選眼瞼的正邊緣的左右端中，選擇沒有計(jì) 算眼睛尾部*眼睛頭部評(píng)價(jià)值的端(步驟S520)。
CPU24以所選擇的候選眼瞼的正邊緣所選擇的端為中心，設(shè)定眼睛尾 部*眼睛頭部區(qū)域(步驟S530)。
CPU24在設(shè)定的眼睛尾部'眼睛頭部區(qū)域中選擇任意點(diǎn)(x， y)(步 驟S540)。
CPU24將進(jìn)行佐貝爾濾波處理之前的原始圖像的眼睛尾部*眼睛頭部 區(qū)域內(nèi)的任意點(diǎn)(x， y)作為基點(diǎn)，配置所選擇的端的眼睛尾部，眼睛頭 部圖案。接著，CPU24計(jì)算相當(dāng)于圖案的皮膚部分的原始圖像的濃度的平 均值與相當(dāng)于圖案的眼睛部分的原始圖像的濃度的平均值。CPU24將從所 計(jì)算的相當(dāng)于皮膚部分的原始圖像的濃度的平均值中減去相當(dāng)于眼睛部 分的原始圖像的濃度的平均值后的值作為眼睛尾部，眼睛頭部暫定評(píng)價(jià)值 cr (x， y)(步驟S550)。
CPU24判斷在眼睛尾部*眼睛頭部區(qū)域的全部區(qū)域是否計(jì)算了眼睛尾 部*眼睛頭部暫定評(píng)價(jià)值(步驟S560)。
如果判斷為在眼睛尾部*眼睛頭部區(qū)域的全部區(qū)域沒有計(jì)算眼睛尾部 眼睛頭部暫定評(píng)價(jià)值(步驟S560:否)，CPU24則回到步驟S540的處 理。
如果判斷為在眼睛尾部，眼睛頭部區(qū)域的全部區(qū)域計(jì)算了眼睛尾部， 眼睛頭部暫定評(píng)價(jià)值(步驟S560:是)，CPU24則將計(jì)算的眼睛尾部' 眼睛頭部評(píng)價(jià)值中具有最大值的評(píng)價(jià)值作為所選擇的候選眼瞼的所選擇 的端的眼睛尾部，眼睛頭部評(píng)價(jià)值(步驟S570)。
CPU24判斷對(duì)所選擇的候選眼瞼的左右兩端是否計(jì)算了眼睛尾部，眼 睛頭部評(píng)價(jià)值(步驟S580)。
如果判斷為對(duì)所選擇的候選眼瞼的左右兩端沒有計(jì)算眼睛尾部，眼睛 頭部評(píng)價(jià)值(步驟S580:否)，CPU24則回到步驟S520的處理。
如果判斷為對(duì)所選擇的候選眼瞼的左右兩端計(jì)算了眼睛尾部*眼睛頭 部評(píng)價(jià)值(步驟S580:是)，CPU24則判斷是否對(duì)所有的候選眼瞼計(jì)算 了眼睛尾部*眼睛頭部評(píng)價(jià)值(步驟S590)。如果判斷為沒有對(duì)所有的候選眼瞼計(jì)算眼睛尾部，眼睛頭部評(píng)價(jià)值(步驟S590:否),CPU24則回到步驟S510的處理。如果判斷為對(duì)所有的候選眼瞼計(jì)算了眼睛尾部，眼睛頭部評(píng)價(jià)值(步驟S590:是)，則CPU24針對(duì)各候選眼瞼，計(jì)算其左端的眼睛尾部'眼 睛頭部評(píng)價(jià)值與其右端的眼睛尾部，眼睛頭部評(píng)價(jià)值的和。CPU24將計(jì)算 出的左端的眼睛尾部，眼睛頭部評(píng)價(jià)值與右端的眼睛尾部，眼睛頭部評(píng)價(jià) 值的和的值最大的候選眼瞼和第二大的候選眼瞼判斷為左右眼瞼(步驟 S600)。這樣，利用第2實(shí)施方式的眼瞼判斷處理，從各候選眼瞼的左右端附 近的區(qū)域中提取與眼睛尾部和眼睛頭部的相似部分，計(jì)算該提取部分的評(píng) 價(jià)值，從而可以基于該評(píng)價(jià)值，判斷左右眼瞼。如上所述，第1實(shí)施方式的眼瞼檢測裝置50從在不同的時(shí)刻拍攝的 多個(gè)面部圖像中檢測面部位置。然后，眼瞼檢測裝置50基于該面部位置， 提取推定為眼瞼存在的區(qū)域，從該區(qū)域中提取作為候選眼瞼的邊緣線對(duì)。 眼瞼檢測裝置50針對(duì)所提取的候選眼瞼(邊緣線對(duì))的左右端，設(shè)定面 積大于眼睛尾部，眼睛頭部圖案的眼睛尾部*眼睛頭部區(qū)域。接著，眼瞼 檢測裝置50利用眼睛尾部*眼睛頭部圖案掃描該眼睛尾部，眼睛頭部區(qū) 域的全部區(qū)域，計(jì)算所掃描部分的眼睛尾部，眼睛頭部暫定評(píng)價(jià)值，將取 最大值的眼睛尾部，眼睛頭部暫定評(píng)價(jià)值作為眼睛尾部，眼睛頭部評(píng)價(jià)值， 基于眼睛尾部，眼睛頭部評(píng)價(jià)值，判斷左右眼瞼。因此，眼瞼檢測裝置50 可以從各候選眼瞼中提取與眼睛尾部*眼睛頭部最為相似的部分，因而能 夠正確地短時(shí)間地檢測眼瞼。另外，該發(fā)明并不局限于上述實(shí)施方式，可以進(jìn)行各種變形和應(yīng)用。在第1實(shí)施方式和第2實(shí)施方式中，計(jì)算機(jī)14對(duì)于攝像機(jī)10拍攝的 對(duì)象者的面部的運(yùn)動(dòng)圖像進(jìn)行眼瞼檢測處理。但是，在應(yīng)用例中，也可以 將從攝像機(jī)10以外的外部裝置獲取的對(duì)象者的面部的運(yùn)動(dòng)圖像存放在圖 像存儲(chǔ)器22中，然后對(duì)該運(yùn)動(dòng)圖像進(jìn)行眼瞼檢測處理。還有，也可以對(duì) 多個(gè)面部的圖像進(jìn)行眼瞼檢測處理。還有，在第1實(shí)施方式和第2實(shí)施方式中，在面部位置檢測處理(S200) 時(shí)，對(duì)面部圖像進(jìn)行佐貝爾濾波處理，然后從基于該像素值的直方圖中檢測面部位置。但是，在應(yīng)用例中，也可以象日本專利特開2004-310396號(hào) 公報(bào)所公開的那樣，對(duì)構(gòu)成攝影圖像的各像素進(jìn)行時(shí)間微分，然后將該時(shí) 間微分值在縱方向進(jìn)行投影，生成直方圖，將邊緣提取圖像的直方圖與時(shí) 間微分圖像的直方圖進(jìn)行合計(jì)，將合計(jì)后的直方圖的峰值最大的那個(gè)判斷 為面部的兩端，從而檢測面部位置。還有，在面部位置檢測處理(S200)時(shí)，也可以利用樣板匹配法，將 面部圖像與預(yù)先登記的某個(gè)樣板進(jìn)行匹配，從而檢測面部位置。還有，在上述實(shí)施方式中，將包含眼睛尾部和眼睛頭部的可能性高的 那個(gè)判斷為眼瞼，但也可以將包含眼睛尾部和眼睛頭部中的某一個(gè)的可能 性高的那個(gè)判斷為眼瞼。還有，在上述實(shí)施方式中，為了在面部圖像上提取相當(dāng)于下眼瞼的線， 采用了利用佐貝爾濾波器提取橫向邊緣線的方法，但也可以采用其它方 法。例如，也可以采用MAX-MIN濾波器來檢測邊緣。還有，在上述實(shí)施方式中，以候選下眼瞼(正邊緣)的左右端為中心， 設(shè)定了眼睛尾部*眼睛頭部區(qū)域，但也可以左右端之外的正邊緣上的點(diǎn)為 中心，設(shè)定眼睛尾部*眼睛頭部區(qū)域。例如，也可以設(shè)定為正邊緣的端附 近占區(qū)域的2/3左右，空白部分占1/3。另外，與本發(fā)明有關(guān)的眼瞼檢測裝置可以不依賴專用的系統(tǒng)，而采用通常的計(jì)算機(jī)系統(tǒng)來實(shí)現(xiàn)。例如，也可以構(gòu)成為將具有能夠輸入面部圖 像的計(jì)算機(jī)中運(yùn)行的程序存放在計(jì)算機(jī)系統(tǒng)能夠讀取的記錄介質(zhì)(閃速存 儲(chǔ)器、CD-ROM、 DVD-ROM等)中進(jìn)行發(fā)行，通過將該程序安裝到計(jì)算 機(jī)系統(tǒng)中，從而實(shí)現(xiàn)進(jìn)行上述處理的眼瞼檢測裝置。還有，也可以將該程 序存放在因特網(wǎng)等通信網(wǎng)絡(luò)上的服務(wù)器裝置具有的存儲(chǔ)裝置，通常的計(jì)算 機(jī)通過下載等來實(shí)現(xiàn)眼瞼檢測裝置。還有，在OS (Operating System)與應(yīng)用程序分擔(dān)、或者OS與應(yīng)用 程序協(xié)同實(shí)現(xiàn)上述功能時(shí)，也可以只將應(yīng)用程序部分存放在記錄介質(zhì)或存 儲(chǔ)裝置中。還有，也可以在載波中疊加計(jì)算機(jī)程序，經(jīng)由通信網(wǎng)絡(luò)進(jìn)行分發(fā)。例 如，也可以在通信網(wǎng)絡(luò)上的服務(wù)器上發(fā)布上述程序，經(jīng)由網(wǎng)絡(luò)，分發(fā)上述 程序。然后，啟動(dòng)該計(jì)算機(jī)程序，在OS控制下，與其他應(yīng)用程序一樣運(yùn)行，從而進(jìn)行上述處理。
權(quán)利要求
1.一種眼瞼檢測裝置，包括面部圖像存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)對(duì)象者的面部的圖像；候選眼瞼提取機(jī)構(gòu)，其對(duì)存儲(chǔ)在所述面部圖像存儲(chǔ)機(jī)構(gòu)中的圖像進(jìn)行處理，提取由與上眼瞼對(duì)應(yīng)的線和與下眼瞼對(duì)應(yīng)的線構(gòu)成的候選組合的線對(duì)；參數(shù)計(jì)算機(jī)構(gòu)，其計(jì)算表示所述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的與所述候選眼瞼提取機(jī)構(gòu)所提取的線對(duì)相對(duì)應(yīng)的部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數(shù)；和眼瞼檢測機(jī)構(gòu)，其基于所述參數(shù)計(jì)算機(jī)構(gòu)算出的參數(shù)，檢測對(duì)象者的眼瞼的位置。
2. 根據(jù)權(quán)利要求1所述的眼瞼檢測裝置，其特征在于， 所述參數(shù)計(jì)算機(jī)構(gòu)計(jì)算表示所述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的、包含所述候選眼瞼提取機(jī)構(gòu)所提取的作為候選下眼瞼的線的兩端的規(guī)定 部分中包含眼睛頭部和眼睛尾部中的至少一方的可能性的參數(shù)。
3. 根據(jù)權(quán)利要求2所述的眼瞼檢測裝置，其特征在于， 所述參數(shù)計(jì)算機(jī)構(gòu)計(jì)算所述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的包含所述候選眼瞼提取機(jī)構(gòu)所提取的作為候選下眼瞼的線的兩端的規(guī)定部分 的多個(gè)像素的濃度的平均值，基于所計(jì)算的多個(gè)像素的濃度的平均值，計(jì)算表示所述面部圖像存儲(chǔ) 機(jī)構(gòu)存儲(chǔ)的圖像的包含所述候選眼瞼提取機(jī)構(gòu)所提取的作為候選下眼瞼 的線的兩端的規(guī)定部分中包含眼睛頭部和眼睛尾部中的至少一方的可能 性的參數(shù)。
4. 根據(jù)權(quán)利要求3所述的眼瞼檢測裝置，其特征在于， 還具有圖案存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)表示在面積等于包含所述線的兩端的規(guī)定部分的區(qū)域中、與皮膚部分對(duì)應(yīng)的皮膚區(qū)域和與眼睛部分對(duì)應(yīng)的眼睛區(qū) 域的圖案，所述參數(shù)計(jì)算機(jī)構(gòu)計(jì)算所述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的、與所述圖案存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示的皮膚區(qū)域?qū)?yīng)的部分的多個(gè)像素的 濃度的平均值、和所述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的、與所述圖案存 儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示的眼睛區(qū)域?qū)?yīng)的部分的多個(gè)像素的濃度的平 均值之間的差分，所述眼瞼檢測機(jī)構(gòu)基于所述差分來檢測眼瞼。
5. 根據(jù)權(quán)利要求3所述的眼瞼檢測裝置，其特征在于， 還具有圖案存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)表示在面積小于包含所述線的兩端的規(guī)定部分的區(qū)域中、與皮膚部分對(duì)應(yīng)的皮膚區(qū)域和與眼睛部分對(duì)應(yīng)的眼睛區(qū) 域的圖案，所述參數(shù)計(jì)算機(jī)構(gòu)具有差分計(jì)算機(jī)構(gòu)，其將包含所述線的兩端的規(guī)定 部分中的一部分與所述圖案存儲(chǔ)機(jī)構(gòu)所存儲(chǔ)的圖案進(jìn)行對(duì)應(yīng)，計(jì)算所述面 部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的、與所述圖案存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示 的皮膚區(qū)域?qū)?yīng)的部分的多個(gè)像素的濃度的平均值、和所述面部圖像存儲(chǔ) 機(jī)構(gòu)存儲(chǔ)的圖像中的、與所述圖案存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖案所表示的眼睛區(qū)域 對(duì)應(yīng)的部分的多個(gè)像素的濃度的平均值之間的差分，使所述差分計(jì)算機(jī)構(gòu)對(duì)包含所述線的兩端的規(guī)定部分進(jìn)行掃描，將計(jì) 算出的多個(gè)差分中的最大值作為最大差分值，所述眼瞼檢測機(jī)構(gòu)基于所述最大差分值，檢測眼瞼。
6. 根據(jù)權(quán)利要求1 5中任一項(xiàng)所述的眼瞼檢測裝置，其特征在于， 所述眼瞼檢測機(jī)構(gòu)檢測對(duì)象者的左右眼瞼。
7. 根據(jù)權(quán)利要求6所述的眼瞼檢測裝置，其特征在于， 所述眼瞼檢測機(jī)構(gòu)檢測的左右眼瞼是所述參數(shù)計(jì)算機(jī)構(gòu)計(jì)算出的參數(shù)最大的眼瞼和參數(shù)第二大的眼瞼。
8. —種眼瞼檢測方法，對(duì)面部圖像進(jìn)行處理，提取由眼睛的上眼瞼和下眼瞼構(gòu)成的候選組合 的線對(duì)，計(jì)算表示所提取的由上眼瞼和下眼瞼構(gòu)成的候選組合的線對(duì)包含眼 睛頭部和眼睛尾部中的至少一方的可能性的參數(shù)，基于所計(jì)算出的參數(shù)，檢測對(duì)象者的眼瞼的位置。
9. 一種程序，使計(jì)算機(jī)作為如下機(jī)構(gòu)發(fā)揮功能，艮口面部圖像存儲(chǔ)機(jī)構(gòu)，其存儲(chǔ)對(duì)象者的面部的圖像；候選眼瞼提取機(jī)構(gòu)，其對(duì)存儲(chǔ)在所述面部圖像存儲(chǔ)機(jī)構(gòu)中的圖像進(jìn)行 處理，提取由與上眼瞼對(duì)應(yīng)的線和與下眼瞼對(duì)應(yīng)的線構(gòu)成的候選組合的線對(duì)；參數(shù)計(jì)算機(jī)構(gòu)，其計(jì)算表示所述面部圖像存儲(chǔ)機(jī)構(gòu)存儲(chǔ)的圖像中的與 所述候選眼瞼提取機(jī)構(gòu)所提取的線對(duì)相對(duì)應(yīng)的部分中包含眼睛頭部和眼 睛尾部中的至少一方的可能性的參數(shù)；禾口眼瞼檢測機(jī)構(gòu)，其基于所述參數(shù)計(jì)算機(jī)構(gòu)算出的參數(shù)，檢測對(duì)象者的 眼瞼的位置。
全文摘要
本發(fā)明提供一種可以在短時(shí)間正確檢測眼瞼的眼瞼檢測裝置。攝像機(jī)(10)拍攝對(duì)象者的面部，計(jì)算機(jī)(14)的CPU(24)獲取該運(yùn)動(dòng)圖像，并將其存放在圖像存儲(chǔ)器(22)中。CPU(24)從存放在圖像存儲(chǔ)器(22)中的運(yùn)動(dòng)圖像的規(guī)定區(qū)域，提取作為對(duì)象者的上眼瞼和下眼瞼的候選組合的邊緣線對(duì)。CPU(24)計(jì)算表示邊緣線對(duì)的左右兩端的部分包含眼睛尾部和眼睛頭部中的至少一方的可能性的評(píng)價(jià)值。CPU(24)基于計(jì)算出的評(píng)價(jià)值檢測對(duì)象者的眼瞼的位置。
文檔編號(hào)G06K9/00GK101266647SQ20081008338
公開日2008年9月17日 申請(qǐng)日期2008年3月13日 優(yōu)先權(quán)日2007年3月15日
發(fā)明者中西悟, 大上健一, 小島真一, 平槙崇, 蜷川勇二, 足立淳, 鈴木智晴, 高橋健太郎, 魚住重康 申請(qǐng)人:愛信精機(jī)株式會(huì)社;豐田自動(dòng)車株式會(huì)社