專利名稱：困倦判定裝置及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及困倦判定裝置及程序，特別涉及判定車輛駕駛員的困倦狀態(tài)的困倦判 定裝置及程序。
背景技術(shù)：
以前，如下睜閉眼監(jiān)視裝置為人們所知利用拍攝單元來檢測眼睛開度，從開度在 規(guī)定時間內(nèi)的隨時間變化的數(shù)據(jù)中提取眼睛開度的多個極小值，將多個極小值分離為睜眼 候補(bǔ)組和閉眼候補(bǔ)組，并將第一數(shù)值以下的開度或第二數(shù)值以上的開度設(shè)定為閉眼閾值， 其中，上述第一數(shù)值是指，睜眼候補(bǔ)內(nèi)的最小開度減去該睜眼候補(bǔ)組的標(biāo)準(zhǔn)偏差所得到的 值，上述第二數(shù)值是指，將睜眼候補(bǔ)內(nèi)的最小開度與閉眼候補(bǔ)組的標(biāo)準(zhǔn)偏差相加所得到的 值(專利文獻(xiàn)1)。根據(jù)該睜閉眼監(jiān)視裝置，能夠正確地設(shè)定閉眼閾值的值。專利文獻(xiàn)1 日本特開2004-41485號公報

發(fā)明內(nèi)容
發(fā)明所要解決的問題但是，在上述的專利文獻(xiàn)1所記載的技術(shù)中，存在如下問題根據(jù)想要提取的眨眼 特征量的種類，存在設(shè)定的正確的閉眼閾值與適合于提取眨眼特征量的閾值不同的情況。 例如，在想要提取閉眼的持續(xù)時間作為眨眼特征量時，若未設(shè)定成比本來的閉眼閾值高的 眼睛開度，則當(dāng)由于噪聲等所檢測出的開度在閉眼閾值的周邊波動時，存在提取到錯誤的 眨眼特征量的問題。本發(fā)明是為了解決上述問題點(diǎn)而做出的，其目的在于提供一種困倦判定裝置及程 序，該困倦判定裝置及程序利用適合于眨眼特征量種類的閾值來提取眨眼特征量，從而能 夠高精度地判定困倦狀態(tài)。用于解決問題的手段為了實(shí)現(xiàn)上述的目的，本發(fā)明涉及的困倦判定裝置具有拍攝單元，其對包括判定 對象人員的眼睛的區(qū)域進(jìn)行拍攝；開度檢測單元，其基于所述拍攝單元拍攝得到的圖像來 檢測眼睛的開度；特征量提取單元，其基于所述開度檢測單元檢測到的眼睛的開度來提取 多種眨眼特征量，所述多種眨眼特征量選自以下各種眨眼特征量中第一眨眼特征量，其與 頻發(fā)性眨眼相關(guān)，是利用小于與所述眼睛的開度相關(guān)的標(biāo)準(zhǔn)閾值的閾值來求得的，第二眨 眼特征量，其與眨眼次數(shù)相關(guān)，是利用所述標(biāo)準(zhǔn)閾值來求得的，而且不同于與所述頻發(fā)性眨 眼相關(guān)的眨眼特征量，第三眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用大 于所述標(biāo)準(zhǔn)閾值的閾值和與所述規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求得的，第 四眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值的閾值 和與所述規(guī)定時間內(nèi)的睜眼狀態(tài)的部分長度相對應(yīng)的值來求得的，第五眨眼特征量，其與 規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值的閾值和與所述規(guī)定時間內(nèi) 的閉眼狀態(tài)的總長度相對應(yīng)的值來求得的，第六眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值的閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的部分長度 相對應(yīng)的值來求得的；困倦狀態(tài)判定單元，其基于所述特征量提取單元所提取的多種眨眼 特征量，判定所述判定對象人員的困倦狀態(tài)。本發(fā)明涉及的程序，使計算機(jī)發(fā)揮開度檢測單元、特征量提取單元及困倦狀態(tài)判 定單元的功能，所述開度檢測單元，基于拍攝單元拍攝得到的圖像來檢測眼睛的開度，其 中，所述拍攝單元用于對包括判定對象人員的眼睛的區(qū)域進(jìn)行拍攝；所述特征量提取單元， 基于所述開度檢測單元檢測到的眼睛的開度來提取多種眨眼特征量，所述多種眨眼特征量 選自以下各種眨眼特征量中第一眨眼特征量，其與頻發(fā)性眨眼相關(guān)，是利用小于與所述眼 睛的開度相關(guān)的標(biāo)準(zhǔn)閾值的閾值來求得的，第二眨眼特征量，其與眨眼次數(shù)相關(guān)，是利用所 述標(biāo)準(zhǔn)閾值來求得的，而且不同于與所述頻發(fā)性眨眼相關(guān)的眨眼特征量，第三眨眼特征量， 其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值的閾值和與所述規(guī)定時 間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求得的，第四眨眼特征量，其與規(guī)定時間內(nèi)的睜眼 狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值的閾值和與所述規(guī)定時間中的睜眼狀態(tài)的部分 長度相對應(yīng)的值來求得的，第五眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利 用小于所述標(biāo)準(zhǔn)閾值的閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求得 的，第六眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值的 閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的部分長度相對應(yīng)的值來求得的；所述困倦狀態(tài)判定 單元，基于所述特征量提取單元所提取的多種眨眼特征量，判定所述判定對象人員的困倦 狀態(tài)。根據(jù)本發(fā)明，利用拍攝單元對包括判定對象人員的眼睛的區(qū)域進(jìn)行拍攝，開度檢 測單元基于拍攝單元拍攝得到的圖像來檢測眼睛的開度。然后，特征量提取單元基于開度檢測單元檢測到的眼睛的開度來提取多種眨眼特 征量，該多種眨眼特征量選自以下各種眨眼特征量中第一眨眼特征量，其與頻發(fā)性眨眼相 關(guān)，是利用小于與眼睛的開度相關(guān)的標(biāo)準(zhǔn)閾值的閾值來求得的；第二眨眼特征量，其與眨眼 次數(shù)相關(guān)，是利用標(biāo)準(zhǔn)閾值來求得的，而且不同于與頻發(fā)性眨眼相關(guān)的眨眼特征量；第三眨 眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用大于標(biāo)準(zhǔn)閾值的閾值和與規(guī)定 時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求得的；第四眨眼特征量，其與規(guī)定時間內(nèi)的睜 眼狀態(tài)的長度相關(guān)，是利用小于標(biāo)準(zhǔn)閾值的閾值和與規(guī)定時間內(nèi)的睜眼狀態(tài)的部分長度相 對應(yīng)的值來求得的；第五眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用小于 標(biāo)準(zhǔn)閾值的閾值和與規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求得的；及第六眨眼特 征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用大于標(biāo)準(zhǔn)閾值的閾值和與規(guī)定時間 內(nèi)的閉眼狀態(tài)的部分長度相對應(yīng)的值來求得的。然后，困倦狀態(tài)判定單元基于特征量提取單元所提取的多種眨眼特征量，判定出 判定對象人員的困倦狀態(tài)。這樣，利用與眼睛的開度相關(guān)的標(biāo)準(zhǔn)閾值、較小的閾值或較大的閾值來提取多種 眨眼特征量，由此能夠利用適合于眨眼特征量種類的閾值來提取眨眼特征量，能夠高精度 地判定困倦狀態(tài)。本發(fā)明涉及的困倦判定裝置還可以包括閾值計算單元，該閾值計算單元基于開度 檢測單元檢測到的眼睛的開度，計算標(biāo)準(zhǔn)閾值、大于標(biāo)準(zhǔn)閾值的閾值及小于標(biāo)準(zhǔn)閾值的閾
5
另外，上述的閾值計算單元能夠基于眼睛的開度的分布，計算標(biāo)準(zhǔn)閾值、大于標(biāo)準(zhǔn) 閾值的閾值及小于標(biāo)準(zhǔn)閾值的閾值，其中，上述眼睛的開度的分布是根據(jù)開度檢測單元檢 測到的眼睛的開度來得到的。另外，上述的閾值計算單元能夠提取眼睛的開度的分布中的 兩個極大值中的眼睛的開度大的極大值和眼睛的開度小的極大值以及存在于兩個極大值 之間的極小值，并基于極小值來計算標(biāo)準(zhǔn)閾值，基于極小值和眼睛的開度小的極大值來計 算大于標(biāo)準(zhǔn)閾值的閾值，基于極小值和眼睛的開度大的極大值來計算小于標(biāo)準(zhǔn)閾值的閾 值。發(fā)明的效果如以上說明，本發(fā)明的困倦判定裝置及程序利用與眼睛的開度相關(guān)的標(biāo)準(zhǔn)閾值、 較小的閾值或較大的閾值來提取多種眨眼特征量，由此能夠獲得以下效果能夠利用適合 于眨眼特征量種類的閾值來提取眨眼特征量，從而能夠高精度地判定困倦狀態(tài)。


圖1是表示本發(fā)明的第一實(shí)施方式涉及的困倦判定裝置的結(jié)構(gòu)的示意圖。圖2是表示眼睛開度的波形和閉眼閾值的圖表。圖3是表示眼睛開度的頻度分布及眼睛開度的時序數(shù)據(jù)的圖表。圖4是表示眼睛開度的頻度分布的圖表。圖5是表示本發(fā)明的第一實(shí)施方式涉及的困倦判定裝置的計算機(jī)中的閾值計算 處理過程的內(nèi)容的流程圖。圖6是表示本發(fā)明的第一實(shí)施方式涉及的困倦判定裝置的計算機(jī)中的困倦判定 處理過程的內(nèi)容的流程圖。
具體實(shí)施例方式以下，參照附圖詳細(xì)地說明本發(fā)明的實(shí)施方式。另外，以將本發(fā)明應(yīng)用于裝載于車 輛上的困倦判定裝置中的情況為例進(jìn)行說明。如圖1所示，第一實(shí)施方式涉及的困倦判定裝置10具有拍攝裝置12，其例如設(shè) 置于作為判定對象人員的駕駛員的斜前方，從斜上方拍攝該駕駛員的臉部；計算機(jī)20，其 基于拍攝裝置12拍攝得到的臉部圖像來判定困倦狀態(tài)，并且將判定結(jié)果顯示在顯示裝置 40上。計算機(jī)20具有CPU、RAM (隨機(jī)存取存儲器)及ROM (只讀存儲器)，該ROM中存儲 有用于執(zhí)行后述的閾值計算處理過程及困倦判定處理過程的程序，該計算機(jī)20的功能結(jié) 構(gòu)如下所示。計算機(jī)20具有眼睛區(qū)域提取部22，其從臉部圖像中提取表示駕駛員的眼 睛的眼睛區(qū)域；眼睛開度檢測部對，其檢測出表示眼睛睜開的程度的眼睛開度；閾值計算 部沈，其根據(jù)檢測到的眼睛開度的時序數(shù)據(jù)計算出大小不同的多種閉眼閾值；閾值存儲部 觀，其存儲計算出的多種閉眼閾值；特征量提取部30，其根據(jù)檢測到的眼睛開度的時序數(shù) 據(jù)，利用所存儲的多種閉眼閾值，提取多種眨眼特征量；閾值判定部32，其對所提取的每個 眨眼特征量進(jìn)行閾值判定；困倦判定部34，其基于對多種眨眼特征量中的每種眨眼特征量 的閾值判定結(jié)果來判定困倦狀態(tài)；及顯示控制部36，其在判定為瞌睡狀態(tài)時，將警報信息顯示在顯示裝置40上。眼睛開度檢測部M基于第一距離相對于第二距離的比例來檢測眼睛開度，其中， 上述第一距離是指，根據(jù)眼睛區(qū)域的圖像檢測出的上眼瞼與下眼瞼之間的距離，上述第二 距離是指，預(yù)先規(guī)定的完全睜開時的上眼瞼與下眼瞼之間的距離。將眼睛完全睜開時的眼 睛開度設(shè)為100%，將閉眼時的眼睛開度設(shè)為0%，眼睛開度檢測部M檢測出這樣的情況下 的眼睛開度。在如以半睜眼忍受困倦那樣的情況下，檢測出眼睛開度例如為約50%。另外， 也可以檢測出上眼瞼與下眼瞼之間的距離作為眼睛開度。這里，說明本實(shí)施方式的原理。由于被拍攝人員的移動、探測點(diǎn)偏離及離散化等原 因，通過圖像分析等得到的眼睛開度中會混入噪聲成分。有時會將該噪聲判斷為眨眼現(xiàn)象， 噪聲成分成為不能從眼睛開度中正確地提取對困倦狀態(tài)的判定有用的眨眼特征量的主要 原因。例如，在現(xiàn)有的眨眼特征量的提取方法中，利用規(guī)定的閉眼閾值來判斷閉眼狀態(tài) 或睜眼狀態(tài)，從而提取多種眨眼特征量，所以如圖2所示，利用閉眼閾值提取到的持續(xù)睜眼 時間往往大大受到閉眼狀態(tài)時的噪聲影響。另一方面，通過設(shè)定特定提取閾值，能夠提取 與根據(jù)理想的眼睛開度的波形獲得的眨眼特征量相近的眨眼特征量，其結(jié)果，能夠高精度 地進(jìn)行困倦狀態(tài)的判定，其中，上述特定提取閾值是指，噪聲對想要提取的眨眼特征量(例 如，持續(xù)閉眼時間的分布)的影響最小的提取閾值(例如，大于通常的閉眼閾值的閾值)。因此，在本實(shí)施方式中，利用閾值計算部沈，如以下說明那樣分別計算出標(biāo)準(zhǔn)閉眼 閾值，值比標(biāo)準(zhǔn)閉眼閾值大的閉眼閾值(接近睜眼狀態(tài)的閉眼閾值)及值比標(biāo)準(zhǔn)閉眼閾值 小的閉眼閾值(接近閉眼狀態(tài)的閉眼閾值)作為提取閾值。首先，根據(jù)如圖3所示的檢測得到的規(guī)定期間的眼睛開度的時序數(shù)據(jù)，生成眼睛 開度的頻度分布。在上述圖3中，示出了共用表示眼睛開度的縱軸的圖表。如圖3所示的 眼睛開度的時序數(shù)據(jù)那樣，無論在睜眼狀態(tài)和閉眼狀態(tài)中的哪個狀態(tài)持續(xù)時，眼睛開度的 波形均會產(chǎn)生噪聲，該噪聲的振幅比眨眼所引起的變化小。為了盡可能降低這些噪聲對眨 眼特征量的影響，計算大小不同的多種提取閾值。如用圖3的頻度分布來分解圖示那樣，眼睛開度的頻度分為睜眼狀態(tài)和閉眼狀 態(tài)。這里，如圖4所示，將頻度分布的兩個極大值中的眼睛開度大的極大值作為睜眼狀態(tài)的 頻率曲線(histogram)的峰值a，將眼睛開度小的極大值作為閉眼狀態(tài)的頻率曲線的峰值 c，將存在于峰值a和峰值c之間的極小值作為b。然后，按照以下的式⑴至式(3)，計算值較大的閉眼閾值thA、標(biāo)準(zhǔn)閉眼閾值thB 及值較小的閉眼閾值thC。thA = b+(b-c) *Xa (1)thB = b(2)thC = b+ (a-b) *Xb (3)其中，XaJb為規(guī)定的常數(shù)。另外，也可以根據(jù)以下的式⑷至式(6)，計算值較大的閉眼閾值thA、標(biāo)準(zhǔn)閉眼閾 值thB及值較小的閉眼閾值thC。thA = b+Xa(4)thB = b(5)
thC = b-Xb(6)其中，XaJb為正的常數(shù)。根據(jù)上述式⑴或上述式⑷計算出的值較大的閉眼閾值thA，是用于不受閉眼狀 態(tài)下的噪聲的影響而最大限度地提取閉眼狀態(tài)的范圍的閾值，或者是用于避免由于閉眼狀 態(tài)下的噪聲而錯誤地提取睜眼狀態(tài)的閾值。另外，根據(jù)上述式C3)或上述式(6)計算出的 值較小的閉眼閾值thC，是用于不受睜眼狀態(tài)下的噪聲的影響而最大限度地提取睜眼狀態(tài) 的范圍的閾值，或者是用于避免由于睜眼狀態(tài)下的噪聲而錯誤地提取閉眼狀態(tài)的閾值。特征量提取部30如以下說明那樣地利用多種閉眼閾值提取多種眨眼特征量。首先，在利用與規(guī)定時間內(nèi)的閉眼狀態(tài)的部分長度相對應(yīng)的值來求出與規(guī)定時間 內(nèi)的閉眼狀態(tài)的長度相關(guān)的眨眼特征量并提取該眨眼特征量時，為了不受閉眼狀態(tài)下的噪 聲的影響而最大限度地提取閉眼狀態(tài)的范圍從而高精度地求得與規(guī)定時間內(nèi)的閉眼狀態(tài) 的部分長度相對應(yīng)的值，利用值較大的閉眼閾值thA作為提取閾值。由此，從眼睛開度的時 序數(shù)據(jù)中提取小于閉眼閾值thA的閉眼狀態(tài)，高精度地求得與規(guī)定時間內(nèi)的閉眼狀態(tài)的部 分長度相對應(yīng)的值，從而提取眨眼特征量。例如，持續(xù)閉眼時間的分布是利用在規(guī)定的提取時間框內(nèi)的閉眼狀態(tài)中的閉眼狀 態(tài)持續(xù)時間而求得的值，如上述圖3所示，若利用標(biāo)準(zhǔn)閉眼閾值thB或值較小的閉眼閾值 thC作為提取閾值，則即使處于閉眼持續(xù)狀態(tài)，也會因噪聲的影響而超過提取閾值，不能高 精度地提取持續(xù)閉眼時間。因此，在提取持續(xù)閉眼時間的分布作為眨眼特征量時，如上述圖 3所示，特征量提取部30利用值較大的閉眼閾值thA，從眼睛開度的時序數(shù)據(jù)中提取小于閉 眼閾值thA的閉眼狀態(tài)，由此最大限度地提取閉眼狀態(tài)的范圍，高精度地計測閉眼狀態(tài)的 持續(xù)時間，從而提取持續(xù)閉眼時間的分布。另外，特征量提取部30在提取與眨眼次數(shù)相關(guān)的眨眼特征量時，為了減小噪聲對 睜眼狀態(tài)和閉眼狀態(tài)這兩者的影響地提取出眨眼，利用標(biāo)準(zhǔn)閉眼閾值thB作為提取閾值， 從眼睛開度的時序數(shù)據(jù)中提取超過閉眼閾值thB的次數(shù)，由此高精度地提取眨眼次數(shù)，從 而提取眨眼特征量，其中，上述眨眼是指，從睜眼狀態(tài)及閉眼狀態(tài)中的一種狀態(tài)變化為另一 種狀態(tài)的現(xiàn)象。例如，在眨眼次數(shù)是在規(guī)定的提取時間框內(nèi)發(fā)生的閉眼閾值的上下進(jìn)行往復(fù)的次 數(shù)時，特征量提取部30利用標(biāo)準(zhǔn)閉眼閾值thB，從眼睛開度的時序數(shù)據(jù)中高精度地提取超 過閉眼閾值thB的眼睛開度的變化，計測在閉眼閾值的上下進(jìn)行往復(fù)的次數(shù)，從而提取眨 眼次數(shù)。另外，在利用與規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求出與規(guī)定時間內(nèi) 的閉眼狀態(tài)的長度相關(guān)的眨眼特征量并提取該眨眼特征量時，難以受到閉眼狀態(tài)下的噪聲 的影響。另外，若利用接近睜眼狀態(tài)的閉眼閾值thA，則在實(shí)際上未完全閉眼的狀態(tài)下也會 超過閉眼閾值thA，將錯誤地判斷為閉眼狀態(tài)。因此，為了能夠更正確地提取閉眼狀態(tài)，特征 量提取部30利用值較小的閉眼閾值thC作為提取閾值，從眼睛開度的時序數(shù)據(jù)中提取小于 閉眼閾值thC的閉眼狀態(tài)，由此高精度地提取閉眼狀態(tài)，并且利用與規(guī)定時間內(nèi)的閉眼狀 態(tài)的總長度(時間)相對應(yīng)的值來提取眨眼特征量。例如，由于閉眼率是規(guī)定的提取時間框內(nèi)的閉眼狀態(tài)時間的比例，而且該閉眼率 取決于提取時間框內(nèi)的閉眼狀態(tài)的時間累計值，因此該閉眼率難以受到閉眼狀態(tài)下的噪聲的影響。因此，在提取閉眼率作為眨眼特征量時，特征量提取部30利用值較小的閉眼閾值 thC，從眼睛開度的時序數(shù)據(jù)中提取小于閉眼閾值thC的閉眼狀態(tài)，由此高精度地提取閉眼 狀態(tài)，不會因睜眼狀態(tài)下的噪聲而錯誤地提取閉眼狀態(tài)，并計算閉眼狀態(tài)的時間累計值，從 而提取閉眼率。另外，在本實(shí)施方式中，以提取持續(xù)閉眼時間的分布、眨眼次數(shù)及閉眼率作為多種 眨眼特征量的情況為例進(jìn)行說明。閾值判定部32對所提取的多種眨眼特征量中的每種眨眼特征量進(jìn)行閾值判定， 判定是否為與瞌睡狀態(tài)相當(dāng)?shù)恼Ｑ厶卣髁?。例如，判定所提取的持續(xù)閉眼時間是否為與持 續(xù)閉眼時間相關(guān)的閾值thDur以上，判定所提取的眨眼次數(shù)是否為與眨眼次數(shù)相關(guān)的閾值 thCNT以上。另外，判定所提取的閉眼率是否為與閉眼率相關(guān)的閾值thas以上。通過對所提取的多種眨眼特征量中的每個眨眼特征量的閾值判定，在判定為全部 種類的眨眼特征量均為與瞌睡狀態(tài)相當(dāng)?shù)恼Ｑ厶卣髁繒r，困倦判定部34判定為作為判定 對象人員的駕駛員處于瞌睡狀態(tài)。接著，說明第一實(shí)施方式涉及的困倦判定裝置10的作用。首先，利用拍攝裝置12 對駕駛員的臉部進(jìn)行連續(xù)拍攝，并且在計算機(jī)20中執(zhí)行圖5所示的閾值計算處理過程。在步驟100中，從拍攝裝置12取得臉部圖像，在步驟102中，從所取得的臉部圖像 中提取眼睛區(qū)域。然后，在步驟104中，基于所提取的眼睛區(qū)域的圖像，計算眼睛開度，并記錄在存 儲器(圖示省略)中。在接下來的步驟106中，判定從處理開始起是否已經(jīng)過了規(guī)定時間， 在未經(jīng)過規(guī)定時間時，返回步驟100，在已經(jīng)過規(guī)定時間時，轉(zhuǎn)移到步驟108。通過上述步驟100至步驟106，在存儲器中記錄規(guī)定期間內(nèi)檢測到的眼睛開度的 時序數(shù)據(jù)。在步驟108中，根據(jù)存儲器所記錄的眼睛開度的時序數(shù)據(jù)，計算眼睛開度的頻度 分布，在步驟110中，利用根據(jù)眼睛開度的頻度分布得到的極大值和極小值，按照上述式 (1)至式(3)，分別計算標(biāo)準(zhǔn)閉眼閾值、值較大的閉眼閾值及值較小的閉眼閾值中，其中，上 述眼睛開度的頻度分布是在上述步驟108中計算出來的。然后，在步驟112中，將在上述步驟110中計算出的多種閉眼閾值存儲在閾值存儲 部觀中，并結(jié)束閾值計算處理過程。一旦通過上述的閾值計算處理過程來計算出多種閉眼閾值，就利用拍攝裝置12 對駕駛員的臉部進(jìn)行連續(xù)拍攝，并且在計算機(jī)20中反復(fù)執(zhí)行圖6所示的困倦判定處理過程。在步驟120中，從拍攝裝置12取得臉部圖像，在步驟122中，從所取得的臉部圖像 中提取眼睛區(qū)域。然后，在步驟1 中，基于所提取的眼睛區(qū)域的圖像，計算眼睛開度，并記 錄在存儲器(圖示省略)中。在接下來的步驟126中，判定從處理開始起是否已經(jīng)過規(guī)定 時間，在未經(jīng)過規(guī)定時間時，返回到步驟120，在已經(jīng)過規(guī)定時間時，轉(zhuǎn)移到步驟128。通過上述步驟120至步驟126，在存儲器中記錄規(guī)定期間內(nèi)檢測到的眼睛開度的 時序數(shù)據(jù)。在步驟128中，讀入在閾值存儲部28中存儲的多種閉眼閾值，在步驟130中，利用 在上述步驟128中取得的多種閉眼閾值，基于存儲器所記錄的眼睛開度的時序數(shù)據(jù)，提取
9多種眨眼特征量中的每一種眨眼特征量。在上述步驟130中，基于眼睛開度的時序數(shù)據(jù)，利 用值較大的閉眼閾值，提取小于閉眼閾值的閉眼狀態(tài)持續(xù)的范圍，從而提取持續(xù)閉眼時間。 另外，利用標(biāo)準(zhǔn)閉眼閾值來提取超過閉眼閾值的變化，從而提取眨眼次數(shù)。另外，基于眼睛 開度的時序數(shù)據(jù)，利用值較小的閉眼閾值，提取小于閉眼閾值的閉眼狀態(tài)的范圍，從而提取 閉眼率。在接下來的步驟132中，對在上述步驟130中所提取的多種眨眼特征量中的每種 眨眼特征量進(jìn)行閾值判定，在步驟134中，判定在上述步驟132的閾值判定中是否判定為全 部的眨眼特征量均為對應(yīng)的閾值以上。當(dāng)在上述步驟132的閾值判定中判定為至少一種眨 眼特征量小于對應(yīng)的閾值時，困倦判定處理過程結(jié)束。另一方面，當(dāng)在上述步驟132的閾值 判定中判定為全部的眨眼特征量均為對應(yīng)的閾值以上時，判定為全部的眨眼特征量均為與 瞌睡狀態(tài)相當(dāng)?shù)恼Ｑ厶卣髁?，并判定為駕駛員處于瞌睡狀態(tài)。然后，在步驟136中，在顯示 裝置40上顯示警報信息，提醒駕駛員注意困倦，并結(jié)束困倦判定處理過程。如以上說明，根據(jù)第一實(shí)施方式涉及的困倦判定裝置，利用與眼睛開度相關(guān)的標(biāo) 準(zhǔn)閉眼閾值來提取眨眼次數(shù)，利用值較小的閉眼閾值來提取閉眼率，利用值較大的閉眼閾 值來提取持續(xù)睜眼時間。由此，能夠利用適合于眨眼特征量的種類的閉眼閾值來高精度地 提取多種眨眼特征量，能夠高精度地判定困倦狀態(tài)。另外，即使由于被拍攝人員移動、探測點(diǎn)偏離及離散化等原因，在檢測到的眼睛開 度的時序數(shù)據(jù)中混入了噪聲成分時，也根據(jù)要提取的眨眼特征量的種類來區(qū)分提取閾值。 由此，能夠減小眼睛開度的不穩(wěn)定或噪聲對想要提取的眨眼特征量的影響，因此能夠高精 度地進(jìn)行瞌睡判定。接著，說明第二實(shí)施方式。另外，第二實(shí)施方式涉及的困倦判定裝置的結(jié)構(gòu)與第一 實(shí)施方式涉及的困倦判定裝置的結(jié)構(gòu)相同，因此標(biāo)注同一附圖標(biāo)記并省略說明。在第二實(shí)施方式中，提取最大睜眼時間、頻發(fā)性眨眼及睜眼時間的分散值作為多 種眨眼特征量，這一點(diǎn)與第一實(shí)施方式不同。第二實(shí)施方式涉及的困倦判定裝置的特征量提取部30如以下說明那樣，利用多 種閉眼閾值來提取多種眨眼特征量。首先，在利用與規(guī)定時間內(nèi)的睜眼狀態(tài)的部分長度相對應(yīng)的值來求出與規(guī)定時間 內(nèi)的睜眼狀態(tài)的長度相關(guān)的眨眼特征量并提取該眨眼特征量時，為了不受睜眼狀態(tài)下的噪 聲的影響而最大限度地提取睜眼狀態(tài)的范圍從而高精度地求得與睜眼狀態(tài)的部分長度相 對應(yīng)的值，特征量提取部30利用值較小的閉眼閾值thC作為提取閾值。由此，從眼睛開度 的時序數(shù)據(jù)中提取閉眼閾值thC以上的睜眼狀態(tài)，高精度地求得與規(guī)定時間內(nèi)的睜眼狀態(tài) 的部分長度相對應(yīng)的值，從而提取眨眼特征量。另外，在提取頻發(fā)性眨眼時，為了對眼睛未完全睜開的眨眼也進(jìn)行計數(shù)，特征量提 取部30利用值較小的閉眼閾值thC作為提取閾值，從眼睛開度的時序數(shù)據(jù)中提取超過閉眼 閾值thC的次數(shù)，從而高精度地提取規(guī)定時間內(nèi)的以眨眼之間間隔反復(fù)眨眼的次數(shù)，并提 取頻發(fā)性眨眼，其中，上述頻發(fā)性眨眼是表示規(guī)定時間內(nèi)的以眨眼之間間隔反復(fù)眨眼的次 數(shù)的眨眼特征量。另外，在利用與規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求出與規(guī)定時間內(nèi) 的睜眼狀態(tài)的長度相關(guān)的眨眼特征量并提取該眨眼特征量時，難以受到睜眼狀態(tài)下的噪聲的影響。另外，若利用與閉眼狀態(tài)接近的提取閾值thC，則在實(shí)際上未完全睜眼的狀態(tài)下也 會超過閉眼閾值thC，將會錯誤地判斷為睜眼狀態(tài)。因此，為了更正確地求得睜眼狀態(tài)，特征 量提取部30利用值較大的閉眼閾值thA作為提取閾值，從眼睛開度的時序數(shù)據(jù)中高精度地 提取閉眼閾值以上的睜眼狀態(tài)，并利用與規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度(時間)相對應(yīng) 的值來提取眨眼特征量。閾值判定部32對所提取的多種眨眼特征量中的每種眨眼特征量進(jìn)行閾值判定， 判定是否為與瞌睡狀態(tài)相當(dāng)?shù)恼Ｑ厶卣髁?。例如，判定所提取的最大睜眼時間是否為與最 大睜眼時間相關(guān)的閾值以下，判定所提取的頻發(fā)性眨眼是否為與頻發(fā)性眨眼相關(guān)的閾值以 上。另外，判定所提取的睜眼時間的分散值是否為與睜眼時間的分散值相關(guān)的閾值以上。另外，第二實(shí)施方式涉及的困倦判定裝置的其他結(jié)構(gòu)及處理與第一實(shí)施方式相 同，因此省略說明。這樣，利用值較小的閉眼閾值來提取頻發(fā)性眨眼，利用值較大的閉眼閾值來提取 睜眼時間的分散值，利用值較小的閉眼閾值來提取最大睜眼時間。由此，能夠利用適合于 眨眼特征量的種類的閉眼閾值來高精度地提取多種眨眼特征量，能夠高精度地判定困倦狀 態(tài)。另外，在上述的第一實(shí)施方式中，以提取持續(xù)睜眼時間、眨眼次數(shù)及閉眼率作為多 種眨眼特征量的情況為例進(jìn)行了說明，在上述的第二實(shí)施方式中，以提取頻發(fā)性眨眼、睜眼 時間的分散值及最大睜眼時間作為多種眨眼特征量的情況為例進(jìn)行了說明，但并不限定于 此。也可以提取選自以下各種眨眼特征量的任意的組合作為多種眨眼特征量第一眨眼特 征量，其與頻發(fā)性眨眼相關(guān)；第二眨眼特征量，其與眨眼次數(shù)相關(guān)；第三眨眼特征量，其與 規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，而且是利用與規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng) 的值來求得的；第四眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，而且是利用與規(guī) 定時間內(nèi)的睜眼狀態(tài)的部分長度相對應(yīng)的值來求得的；第五眨眼特征量，其與規(guī)定時間內(nèi) 的閉眼狀態(tài)的長度相關(guān)，而且是利用與規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求得 的；及第六眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，而且是利用與規(guī)定時間內(nèi) 的閉眼狀態(tài)的部分長度相對應(yīng)的值來求得的?？梢蕴崛∵x自上述眨眼特征量的兩種眨眼特 征量，也可以提取選自上述眨眼特征量的三種眨眼特征量，也可以提取選自上述眨眼特征 量的四種眨眼特征量，也可以提取選自上述眨眼特征量的五種眨眼特征量。另外，也可以提 取上述的全部種類的眨眼特征量。在提取與頻發(fā)性眨眼相關(guān)的眨眼特征量時，如上述第二 實(shí)施方式中的說明那樣，只要利用值較小的閉眼閾值來提取眨眼即可。另外，在提取與眨眼 次數(shù)相關(guān)的眨眼特征量時，如上述第一實(shí)施方式中的說明那樣，只要利用標(biāo)準(zhǔn)閉眼閾值來 對眨眼次數(shù)進(jìn)行計數(shù)即可。另外，在提取上述第四眨眼特征量即與規(guī)定時間內(nèi)的睜眼狀態(tài) 的長度相關(guān)而且利用與規(guī)定時間內(nèi)的睜眼狀態(tài)的部分長度相對應(yīng)的值而求得的眨眼特征 量時，如上述第二實(shí)施方式中的說明那樣，只要利用值較小的閉眼閾值來提取睜眼狀態(tài)即 可。另外，在提取上述第三眨眼特征量即與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)而且利用與 規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求得的眨眼特征量時，如上述第二實(shí)施方式 中的說明那樣，只要利用值較大的閉眼閾值來提取睜眼狀態(tài)即可。另外，在提取上述第六眨 眼特征量即與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)而且利用與規(guī)定時間內(nèi)的閉眼狀態(tài)的部 分長度相對應(yīng)的值來求得的眨眼特征量時，如上述第一實(shí)施方式中的說明那樣，只要利用值較大的閉眼閾值來提取閉眼狀態(tài)即可。另外，在提取上述第五眨眼特征量即與規(guī)定時間 內(nèi)的閉眼狀態(tài)的長度相關(guān)而且利用與規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求得 的眨眼特征量時，如上述第一實(shí)施方式中的說明那樣，只要利用值較小的閉眼閾值來提取 閉眼狀態(tài)即可。另外，在上述的第一實(shí)施方式和第二實(shí)施方式中，以在通過閾值判定而判定為所 提取的全部種類的眨眼特征量均為與瞌睡狀態(tài)相當(dāng)?shù)闹禃r判定為駕駛員處于瞌睡狀態(tài)的 情況為例進(jìn)行了說明，但并不限定于此。例如，也可以在通過閾值判定來判定為所提取的全 部種類的眨眼特征量中的半數(shù)以上種類的眨眼特征量為與瞌睡狀態(tài)相當(dāng)?shù)闹禃r，判定為駕 駛員處于瞌睡狀態(tài)。或者也可以在判定為至少一種眨眼特征量為與瞌睡狀態(tài)相當(dāng)?shù)闹禃r， 判定為駕駛員處于瞌睡狀態(tài)。另外，以分為閾值計算處理過程和困倦判定處理過程來執(zhí)行的情況為例進(jìn)行了說 明，但并不限定于此。也可以在記錄眼睛開度的時序數(shù)據(jù)之后，判定是否已計算出多種閉眼 閾值，若還未計算出多種閉眼閾值，則基于所記錄的眼睛開度的時序數(shù)據(jù)，進(jìn)行計算多種閉 眼閾值的處理。之后，可以基于所記錄的眼睛開度的時序數(shù)據(jù)來進(jìn)行困倦判定。另外，也可以利用多種閉眼閾值，從用數(shù)字濾波器等減少了噪聲之后的眼睛開度 的時序數(shù)據(jù)中提取多種眨眼特征量，并進(jìn)行困倦判定。另外，以利用眼睛開度的頻度分布來計算值較大的閉眼閾值、值較小的閉眼閾值 的情況為例進(jìn)行了說明，但并不限定于此。例如，可以根據(jù)眼睛開度的時序數(shù)據(jù)計算睜眼狀 態(tài)下的噪聲的峰值，并計算比計算出的睜眼狀態(tài)時的噪聲的峰值小的值作為值較小的閉眼 閾值。另外，也可以根據(jù)眼睛開度的時序數(shù)據(jù)，計算閉眼狀態(tài)時的噪聲的峰值，并計算比計 算出的閉眼狀態(tài)時的噪聲的峰值大的值作為值較大的閉眼閾值。由此，能夠求得用于不受 睜眼狀態(tài)下的噪聲的影響而提取睜眼狀態(tài)的閉眼閾值、用于不受閉眼狀態(tài)下的噪聲的影響 而提取閉眼狀態(tài)的閉眼閾值。另外，也能夠?qū)⒈景l(fā)明涉及的程序存儲在CDROM等記錄介質(zhì)中來提供。附圖標(biāo)記的說明10:困倦判定裝置；12 拍攝裝置；20 計算機(jī)；22 眼睛區(qū)域提取部；24 眼睛開度檢測部；26:閾值計算部；28:閾值存儲部；30 特征量提取部；32:閾值判定部；34:困倦判定部。
權(quán)利要求
1.一種困倦判定裝置，其特征在于，具有拍攝單元，其對包括判定對象人員的眼睛的區(qū)域進(jìn)行拍攝； 開度檢測單元，其基于所述拍攝單元拍攝得到的圖像來檢測眼睛的開度； 特征量提取單元，其基于所述開度檢測單元檢測到的眼睛的開度來提取多種眨眼特征 量，所述多種眨眼特征量選自以下各種眨眼特征量中第一眨眼特征量，其與頻發(fā)性眨眼相關(guān)，是利用小于與所述眼睛的開度相關(guān)的標(biāo)準(zhǔn)閾 值的閾值來求得的，第二眨眼特征量，其與眨眼次數(shù)相關(guān)，是利用所述標(biāo)準(zhǔn)閾值來求得的，而且不同于與所 述頻發(fā)性眨眼相關(guān)的眨眼特征量，第三眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求得的，第四眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的睜眼狀態(tài)的部分長度相對應(yīng)的值來求得的，第五眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求得的，第六眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的部分長度相對應(yīng)的值來求得的；困倦狀態(tài)判定單元，其基于所述特征量提取單元所提取的多種眨眼特征量，判定所述 判定對象人員的困倦狀態(tài)。
2.根據(jù)權(quán)利要求1記載的困倦判定裝置，其特征在于，還包括閾值計算單元，該閾值計 算單元基于所述開度檢測單元檢測到的眼睛的開度，計算所述標(biāo)準(zhǔn)閾值、大于所述標(biāo)準(zhǔn)閾 值的閾值及小于所述標(biāo)準(zhǔn)閾值的閾值。
3.根據(jù)權(quán)利要求2記載的困倦判定裝置，其特征在于，所述閾值計算單元基于眼睛的 開度的分布，計算所述標(biāo)準(zhǔn)閾值、大于所述標(biāo)準(zhǔn)閾值的閾值及小于所述標(biāo)準(zhǔn)閾值的閾值，其 中，所述眼睛的開度的分布是根據(jù)所述開度檢測單元檢測到的眼睛的開度來得到的。
4.根據(jù)權(quán)利要求3記載的困倦判定裝置，其特征在于，所述閾值計算單元提取在所述 眼睛的開度的分布中的兩個極大值中的所述眼睛的開度大的極大值和所述眼睛的開度小 的極大值以及存在于所述兩個極大值之間的極小值，并基于所述極小值來計算所述標(biāo)準(zhǔn)閾 值，基于所述極小值和所述眼睛的開度小的極大值來計算大于所述標(biāo)準(zhǔn)閾值的閾值，基于 所述極小值和所述眼睛的開度大的極大值來計算小于所述標(biāo)準(zhǔn)閾值的閾值。
5.一種程序，其特征在于，使計算機(jī)發(fā)揮開度檢測單元、特征量提取單元及困倦狀態(tài)判 定單元的功能，所述開度檢測單元，基于拍攝單元拍攝得到的圖像來檢測眼睛的開度，其中，所述拍攝 單元用于對包括判定對象人員的眼睛的區(qū)域進(jìn)行拍攝；所述特征量提取單元，基于所述開度檢測單元檢測到的眼睛的開度來提取多種眨眼特 征量，所述多種眨眼特征量選自以下各種眨眼特征量中第一眨眼特征量，其與頻發(fā)性眨眼相關(guān)，是利用小于與所述眼睛的開度相關(guān)的標(biāo)準(zhǔn)閾 值的閾值來求得的，第二眨眼特征量，其與眨眼次數(shù)相關(guān)，是利用所述標(biāo)準(zhǔn)閾值來求得的，而且不同于與所述頻發(fā)性眨眼相關(guān)的眨眼特征量，第三眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的睜眼狀態(tài)的總長度相對應(yīng)的值來求得的，第四眨眼特征量，其與規(guī)定時間內(nèi)的睜眼狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間中的睜眼狀態(tài)的部分長度相對應(yīng)的值來求得的，第五眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用小于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的總長度相對應(yīng)的值來求得的，第六眨眼特征量，其與規(guī)定時間內(nèi)的閉眼狀態(tài)的長度相關(guān)，是利用大于所述標(biāo)準(zhǔn)閾值 的閾值和與所述規(guī)定時間內(nèi)的閉眼狀態(tài)的部分長度相對應(yīng)的值來求得的；所述困倦狀態(tài)判定單元，基于所述特征量提取單元所提取的多種眨眼特征量，判定所 述判定對象人員的困倦狀態(tài)。
全文摘要
拍攝裝置(12)對包括駕駛員的眼睛的區(qū)域進(jìn)行拍攝，眼睛開度檢測部(24)檢測眼睛開度。然后，特征量提取部(30)利用閾值存儲部(28)所存儲的標(biāo)準(zhǔn)閉眼閾值、值較大的閉眼閾值及值較小的閉眼閾值，從檢測到的眼睛開度的時序數(shù)據(jù)中提取多種眨眼特征量。閾值判定部(32)對多種眨眼特征量進(jìn)行閾值判定，困倦判定部(34)基于對多種眨眼特征量的閾值判定的結(jié)果來判定駕駛員的困倦狀態(tài)。這樣，利用適合于眨眼特征量種類的閾值來提取眨眼特征量，從而能夠高精度地判定困倦狀態(tài)。
文檔編號B60K28/06GK102149326SQ200980135508
公開日2011年8月10日 申請日期2009年9月15日 優(yōu)先權(quán)日2008年9月16日
發(fā)明者依田拓, 大見拓寬, 寺島立太, 津田太司 申請人:株式會社電裝, 愛信精機(jī)株式會社