專利名稱：基于視頻圖像的疲勞狀態(tài)檢測方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)，特別涉及一種基于視頻圖像的疲勞狀態(tài)檢測方法及其相關(guān)裝置。
背景技術(shù)：
疲勞是人體正常的生理反應(yīng)，只要休息調(diào)節(jié)適當(dāng)，本身并沒有嚴(yán)重危害性，但人體在疲勞時，客觀上會在同等條件下，失去完成原來所從事的正?；顒踊蚬ぷ鞯哪芰?。因此，對于某些崗位的人員來說，疲勞可以說是隱形殺手，每年因疲勞導(dǎo)致的安全事故層出不窮，給國家和人民生命財產(chǎn)安全造成巨大威脅。例如，在公路或鐵路交通領(lǐng)域，疲勞駕駛是引發(fā)交通事故的主要原因。又如，在安防領(lǐng)域，疲勞使安防人員注意力下降，從而，埋下各類安全隱患。因此，加強(qiáng)實時疲勞檢測，保證用戶出現(xiàn)疲勞狀態(tài)時能夠及時進(jìn)行提示及告警，成為一項非常現(xiàn)實而急迫的實際應(yīng)用需求。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種基于視頻圖像的疲勞狀態(tài)檢測方法及裝置，能更好地實現(xiàn)用戶疲勞狀態(tài)檢測。根據(jù)本發(fā)明的一個方面，提供了一種視頻圖像的疲勞狀態(tài)檢測方法，包括對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像；通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像；通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)；在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。優(yōu)選地，所述人臉檢測的步驟包括利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為用戶的臉部圖像。優(yōu)選地，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。優(yōu)選地，所述得到眼睛圖像的步驟包括利用角點檢測原理，獲得左眼角和右眼角的位置，并根據(jù)所述左眼角和右眼角的位置，計算眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)；
利用所述高度、寬度、眼睛中心位置的垂直坐標(biāo)，定位眼睛位置，并在所述臉部圖像中提取所述眼睛位置的圖像，得到眼睛圖像。優(yōu)選地，所述確定所述用戶的眼睛狀態(tài)的步驟包括對所述眼睛圖像的灰度分布進(jìn)行統(tǒng)計，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進(jìn)行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，并根據(jù)比較結(jié)果，確定所述眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。優(yōu)選地，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進(jìn)行統(tǒng)計，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖。優(yōu)選地，所述確定所述用戶的眼睛狀態(tài)的步驟還包括對所述眼睛圖像的眼睛閉合度進(jìn)行分析，將得到的分析結(jié)果與預(yù)設(shè)眼睛閉合度閾值進(jìn)行比較，并根據(jù)比較結(jié)果，確定所述眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。優(yōu)選地,所述確定是否疲勞的步驟包括在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對眼睛圖像的閉眼狀態(tài)進(jìn)行統(tǒng)計；當(dāng)所得到的閉眼狀態(tài)統(tǒng)計結(jié)果大于預(yù)設(shè)閉眼狀態(tài)閾值時，或者當(dāng)預(yù)設(shè)連續(xù)閉眼狀態(tài)統(tǒng)計時間內(nèi)連續(xù)檢測到閉眼狀態(tài)時，確定用戶處于疲勞狀態(tài)。優(yōu)選地，還包括當(dāng)確定用戶處于疲勞狀態(tài)時，發(fā)出用戶疲勞提醒及報警信息。根據(jù)本發(fā)明的另一方面，提供了一種基于視頻圖像的疲勞狀態(tài)檢測裝置，包括人臉檢測單元，用于對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像；眼睛狀態(tài)分析單元，用于通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像，并通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)；疲勞狀態(tài)分析單元，用于在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。與現(xiàn)有技術(shù)相比較，本發(fā)明的有益效果在于本發(fā)明通過對用戶的視頻圖像進(jìn)行人臉檢測、眼睛位置定位、眼睛狀態(tài)識別、疲勞狀態(tài)分析等處理，實現(xiàn)了用戶疲勞狀態(tài)的自動識別。


圖1是本發(fā)明實施例提供的基于視頻圖像的疲勞狀態(tài)檢測方法原理框圖；圖2是本發(fā)明實施例提供的基于視頻圖像的疲勞狀態(tài)檢測裝置的結(jié)構(gòu)框圖；圖3是圖2中眼睛狀態(tài)分析單元的結(jié)構(gòu)框圖；圖4是本發(fā)明實施例提供的一維簡單特征的類型圖；圖5是本發(fā)明實施例提供的改進(jìn)的AdaBoost算法的框架圖；圖6是本發(fā)明實施例提供的“三庭五眼”原則的基本原理圖7是本發(fā)明實施例提供的一個典型的用戶疲勞狀態(tài)監(jiān)控場景；圖8是本發(fā)明實施例提供的用戶疲勞狀態(tài)分析結(jié)果示意圖。
具體實施例方式以下結(jié)合附圖對本發(fā)明的優(yōu)選實施例進(jìn)行詳細(xì)說明，應(yīng)當(dāng)理解，以下所說明的優(yōu)選實施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明公開了一種基于視頻圖像的疲勞狀態(tài)檢測方法及裝置，利用人臉檢測原理(例如AdaBoost人臉檢測算法)，對實時采集的視頻圖像進(jìn)行人臉檢測；通過對檢測到的臉部圖像進(jìn)行分析獲得眼睛圖像；通過灰度直方圖匹配或眼睛閉合程度等對眼睛圖像進(jìn)行分類，判斷用戶眼睛狀態(tài)；通過對眼睛狀態(tài)進(jìn)行統(tǒng)計判斷，獲得用戶疲勞狀態(tài)，并進(jìn)行相應(yīng)的現(xiàn)場提醒。圖1是本發(fā)明實施例提供的基于視頻圖像的疲勞狀態(tài)檢測方法原理框圖，如圖1所示,步驟包括步驟101、對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像。在所述步驟101中，所述的人臉檢測步驟包括利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述監(jiān)控視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為用戶的臉部圖像。其中，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。步驟102、通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像。在所述步驟102中，所述得到眼睛圖像的步驟包括利用角點檢測原理，獲得左眼角和右眼角的位置，并根據(jù)所述左眼角和右眼角的位置，計算眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)，并在所述臉部圖像中提取所述眼睛位置的圖像，得到眼睛圖像。步驟103、通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。在所述步驟103中，所述確定所述用戶的眼睛狀態(tài)的步驟包括對所述眼睛圖像的灰度分布進(jìn)行統(tǒng)計，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進(jìn)行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，并根據(jù)比較結(jié)果，確定所述眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。其中，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進(jìn)行統(tǒng)計，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖?；蛘?，對所述眼睛圖像的眼睛閉合度進(jìn)行分析，將得到的分析結(jié)果與預(yù)設(shè)眼睛閉合度閾值進(jìn)行比較，并根據(jù)比較結(jié)果，確定所述眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。步驟104、在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。在所述步驟104中，所述確定是否疲勞的步驟包括在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對眼睛圖像的閉眼狀態(tài)進(jìn)行統(tǒng)計；當(dāng)所得到的閉眼狀態(tài)統(tǒng)計結(jié)果大于預(yù)設(shè)閉眼狀態(tài)閾值時，或者當(dāng)預(yù)設(shè)連續(xù)閉眼狀態(tài)統(tǒng)計時間內(nèi)連續(xù)檢測到閉眼狀態(tài)時，確定用戶處于疲勞狀態(tài)。進(jìn)一步地，當(dāng)確定用戶處于疲勞狀態(tài)時，發(fā)出用戶疲勞提醒及報警信息。圖2是本發(fā)明實施例提供的基于視頻圖像的疲勞狀態(tài)檢測裝置的結(jié)構(gòu)框圖，如圖2所示,包括視頻采集單元，用于實時采集用戶的視頻圖像。人臉檢測單元，用于對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像。眼睛狀態(tài)分析單元，用于通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像，并通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。疲勞狀態(tài)分析單元，用于在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。告警單元，用于在確定用戶疲勞時，發(fā)出用戶疲勞提醒及報警信息。圖3顯示了圖2中的眼睛狀態(tài)分析單元的結(jié)構(gòu)框圖，所述眼睛狀態(tài)分析單元通過對臉部圖像進(jìn)行處理，得到眼睛圖像，并識別出相應(yīng)的眼睛狀態(tài)。如圖3所示，其包括眼睛初步定位子單元，用于在臉部圖像上初步定位眼睛位置。眼睛精確定位子單元，用于利用角點檢測原理，在臉部圖像上確定眼睛的左眼角和右眼角位置，并根據(jù)所述左眼角和右眼角位置，計算眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)，從而精確定位眼睛位置，并從臉部圖像中提取眼睛位置的圖像，得到眼睛圖像。眼睛狀態(tài)識別子單元，用于通過對眼睛圖像進(jìn)行灰度直方圖匹配或?qū)ρ劬﹂]合度進(jìn)行分析，確定眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。下面結(jié)合附圖4至圖6對本發(fā)明進(jìn)行詳細(xì)說明一、對實時采集的監(jiān)控視頻圖像進(jìn)行人臉檢測，獲得用戶的臉部圖像。本發(fā)明利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述監(jiān)控視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為用戶臉部圖像。其中，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。以AdaBoost人臉檢測原理為例,所述AdaBoost人臉檢測原理是一種基于積分圖、級聯(lián)檢測器和AdaBoost算法的人臉檢測原理，其基本思想是將大量的分類能力一般的弱分類器通過一定方法疊加起來，構(gòu)成一個強(qiáng)分類器。AdaBoost人臉檢測原理用于人臉檢測時，從人臉圖像中抽取大量的不同尺度和位置的一維簡單特征構(gòu)成弱分類器。這些簡單特征構(gòu)成的分類器都有一定的人臉和非人臉區(qū)分性，最終的分類系統(tǒng)使用數(shù)千個這樣的一維簡單特征分類器組合起來達(dá)到很好的分類效果，如圖4所示，給出了這些一維簡單特征的類型。所述AdaBoost算法描述如下已知有η個訓(xùn)練樣本(X1, J2),.., (xn, yn)的訓(xùn)練集，其中
權(quán)利要求
1.基于視頻圖像的疲勞狀態(tài)檢測方法，其特征在于，包括對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像；通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像；通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)； 在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述人臉檢測的步驟包括利用由級聯(lián)在一起的判別人臉特征的多個強(qiáng)分類器和配置給每個強(qiáng)分類器的輔助判決模塊，依次對所述視頻圖像中屬于人臉部分的待檢測圖像進(jìn)行人臉真假判決；若最后一級強(qiáng)分類器的人臉真假判決結(jié)果為真，或者最后一級強(qiáng)分類器的輔助判決模塊的人臉真假判決結(jié)果為真，則將該待檢測圖像確定為用戶的臉部圖像。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，某個所述輔助判決模塊在其強(qiáng)分類器的人臉真假判決結(jié)果為假時，對所述待檢測圖像進(jìn)行人臉真假輔助判決，并在人臉真假輔助判決結(jié)果為真時，將待檢測圖像送至下一級強(qiáng)分類器進(jìn)行人臉真假判決。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述得到眼睛圖像的步驟包括利用角點檢測原理，獲得左眼角和右眼角的位置，并根據(jù)所述左眼角和右眼角的位置，計算眼睛的高度、寬度、眼睛中心位置的垂直坐標(biāo)；利用所述高度、寬度、眼睛中心位置的垂直坐標(biāo)，定位眼睛位置，并在所述臉部圖像中提取所述眼睛位置的圖像，得到眼睛圖像。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述用戶的眼睛狀態(tài)的步驟包括對所述眼睛圖像的灰度分布進(jìn)行統(tǒng)計，得到眼睛圖像歸一化直方圖；將所述眼睛圖像歸一化直方圖分別與睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖進(jìn)行相似性處理，得到眼睛圖像相對睜眼圖像集的睜眼相似度和眼睛圖像相對閉眼圖像集的閉眼相似度；比較所述睜眼相似度和所述閉眼相似度，并根據(jù)比較結(jié)果，確定所述眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，通過對所述睜眼圖像集和所述閉眼圖像集的灰度分布分別進(jìn)行統(tǒng)計，得到睜眼圖像集歸一化直方圖、閉眼圖像集歸一化直方圖。
7.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述用戶的眼睛狀態(tài)的步驟還包括對所述眼睛圖像的眼睛閉合度進(jìn)行分析，將得到的分析結(jié)果與預(yù)設(shè)眼睛閉合度閾值進(jìn)行比較，并根據(jù)比較結(jié)果，確定所述眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)。
8.根據(jù)權(quán)利要求5或7所述的方法，其特征在于，所述確定是否疲勞的步驟包括在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對眼睛圖像的閉眼狀態(tài)進(jìn)行統(tǒng)計；當(dāng)所得到的閉眼狀態(tài)統(tǒng)計結(jié)果大于預(yù)設(shè)閉眼狀態(tài)閾值時，或者當(dāng)預(yù)設(shè)連續(xù)閉眼狀態(tài)統(tǒng)計時間內(nèi)連續(xù)檢測到閉眼狀態(tài)時，確定用戶處于疲勞狀態(tài)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，還包括當(dāng)確定用戶處于疲勞狀態(tài)時，發(fā)出用戶疲勞提醒及報警信息。
10.基于視頻圖像的疲勞狀態(tài)檢測裝置，其特征在于，包括 人臉檢測單元，用于對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像； 眼睛狀態(tài)分析單元，用于通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像，并通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)； 疲勞狀態(tài)分析單元，用于在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。
全文摘要
本發(fā)明公開了一種基于視頻圖像的疲勞狀態(tài)檢測方法及裝置，方法包括對實時采集的用戶的視頻圖像進(jìn)行人臉檢測，獲取所述用戶的臉部圖像；通過對所獲取的臉部圖像進(jìn)行分析，對用戶的眼睛位置進(jìn)行定位，得到眼睛圖像；通過對所述眼睛圖像進(jìn)行分析，確定所述用戶的眼睛狀態(tài)是睜眼狀態(tài)或閉眼狀態(tài)；在預(yù)設(shè)眼睛狀態(tài)統(tǒng)計時間內(nèi)，對所述用戶的眼睛狀態(tài)進(jìn)行統(tǒng)計，并根據(jù)統(tǒng)計結(jié)果，確定用戶是否疲勞。本發(fā)明能夠完成用戶狀態(tài)的自動識別，并在檢測出用戶處于疲勞狀態(tài)后，進(jìn)行語音提醒或告警。
文檔編號G06K9/00GK103049740SQ20121054017
公開日2013年4月17日 申請日期2012年12月13日 優(yōu)先權(quán)日2012年12月13日
發(fā)明者杜鹢, 李秋華 申請人:杜鹢, 李秋華