基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)，該方法包括如下步驟：利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位；判斷各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)；根據(jù)各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率；將獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率與眨眼頻率閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果，通過本發(fā)明，可提高網(wǎng)絡(luò)學(xué)習(xí)者疲勞檢測(cè)的準(zhǔn)確度和速度，使得利用網(wǎng)絡(luò)進(jìn)行教學(xué)的教師能夠及時(shí)了解網(wǎng)絡(luò)學(xué)習(xí)者的精神狀態(tài)。
【專利說明】基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻圖像處理技術(shù)，特別是涉及一種基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前面向網(wǎng)絡(luò)教育的學(xué)習(xí)者疲勞檢測(cè)技術(shù)與方法研究比較少。上海交通大學(xué)的劉瑾奕做了面向智能教室的基于圖像處理和模糊邏輯的學(xué)習(xí)者睡意檢測(cè)技術(shù)研究。他分析了智能教室中的瞌睡場(chǎng)景，以及檢測(cè)技術(shù)方案的實(shí)際需求，采用數(shù)字圖像處理與模糊邏輯結(jié)合作為最終研究和實(shí)現(xiàn)的方式，并基于MATLAB平臺(tái)上進(jìn)行模擬測(cè)試。此系統(tǒng)具有如下優(yōu)點(diǎn)=WUSB攝像頭獲取圖像，實(shí)現(xiàn)睡意狀態(tài)檢測(cè)；能對(duì)測(cè)試場(chǎng)所的光照、背景，以及對(duì)被測(cè)試者的姿勢(shì)、是否帶有眼鏡等都有良好的適應(yīng)性。但是他僅僅能將眼睛的睜開狀態(tài)認(rèn)定為清醒，將眼睛的閉合狀態(tài)認(rèn)定為瞌睡，顯然是不夠準(zhǔn)確。

【發(fā)明內(nèi)容】

[0003]為克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明之目的在于提供一種基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)，其可以提高網(wǎng)絡(luò)學(xué)習(xí)者疲勞檢測(cè)的準(zhǔn)確度和速度，使得利用網(wǎng)絡(luò)進(jìn)行教學(xué)的教師能夠及時(shí)了解網(wǎng)絡(luò)學(xué)習(xí)者的精神狀態(tài)，特別是學(xué)習(xí)者是否疲勞或精神分散，便于網(wǎng)絡(luò)教學(xué)的進(jìn)行。
[0004]為達(dá)上述及其它目的，本發(fā)明提出一種基于綜合視頻特征分析的疲勞檢測(cè)方法，包括如下步驟:
[0005]步驟一，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位；
[0006]步驟二，判斷各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)；
[0007]步驟三，根據(jù)各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率；
[0008]步驟四，將獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率與眨眼頻率閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。
[0009]進(jìn)一步地，于步驟二中，通過求得上下眼瞼的距離大小來判斷眼睛處于開或合的狀態(tài)。
[0010]進(jìn)一步地，于步驟二中，當(dāng)眼睛完全睜開時(shí)，上下眼瞼距離最大，記為氏_。當(dāng)上下眼瞼距離小于Ηε_(tái)/5時(shí)，為閉合狀態(tài)，其他情況為睜開狀態(tài)。
[0011]進(jìn)一步地，于步驟四中，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率小于該眨眼頻率閾值時(shí)，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率大于該眨眼頻率閾值，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
[0012]為達(dá)到上述目的，本發(fā)明還提供一種基于綜合視頻特征分析的疲勞檢測(cè)方法，包括如下步驟:[0013]步驟一，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行嘴巴定位；
[0014]步驟二，判斷各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴的開合狀態(tài)；
[0015]步驟三，根據(jù)各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間；
[0016]步驟四，將獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間與打哈欠持續(xù)時(shí)間閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。
[0017]進(jìn)一步地，于步驟二中，通過求得上下嘴唇的距離大小來判斷嘴巴的張開程度。
[0018]進(jìn)一步地，于步驟二中，當(dāng)嘴巴完全張開時(shí)，上下嘴唇距離最大，記為H_ax，當(dāng)上下嘴唇距離等于Hmmax時(shí)，為打哈欠狀態(tài)，其他情況為正常狀態(tài)。
[0019]進(jìn)一步地，于步驟四中，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間大于該打哈欠持續(xù)時(shí)間閾值時(shí)，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間小于該打哈欠持續(xù)時(shí)間閾值時(shí)，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
[0020]為達(dá)到上述目的，本發(fā)明還提供一種基于綜合視頻特征分析的疲勞檢測(cè)系統(tǒng)，至少包括:
[0021]圖像幀獲取及定位模塊，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位及嘴巴定位；
[0022]狀態(tài)判斷模塊，根據(jù)各圖像幀的定位結(jié)果判斷該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)；
[0023]參數(shù)計(jì)算模塊，根據(jù)該狀態(tài)判斷模塊的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)的判斷結(jié)果計(jì)算該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間；
[0024]疲勞檢測(cè)模塊，將獲得的網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間與眨眼頻率閾值及打哈欠持續(xù)時(shí)間閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。
[0025]進(jìn)一步地，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率小于該眨眼頻率閾值或嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間大于該打哈欠持續(xù)時(shí)間閾值時(shí)，則該疲勞檢測(cè)模塊判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)；當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率大于該眨眼頻率閾值或嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間小于該打哈欠持續(xù)時(shí)間閾值時(shí)，則該疲勞檢測(cè)模塊判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
[0026]與現(xiàn)有技術(shù)相比，本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)通過判斷眼睛開合狀態(tài)及嘴巴開合狀態(tài)進(jìn)而計(jì)算出眨眼頻率和嘴巴打哈欠狀態(tài)持續(xù)時(shí)間，并將其作為網(wǎng)絡(luò)學(xué)習(xí)的疲勞檢測(cè)參數(shù)，提高了網(wǎng)絡(luò)學(xué)習(xí)者疲勞檢測(cè)的準(zhǔn)確度和速度，使得利用網(wǎng)絡(luò)進(jìn)行教學(xué)的教師能夠及時(shí)了解網(wǎng)絡(luò)學(xué)習(xí)者的精神狀態(tài)，特別是學(xué)習(xí)者是否疲勞或精神分散，可以提聞網(wǎng)絡(luò)教學(xué)的效率。
【專利附圖】

【附圖說明】
[0027]圖1為本發(fā)明中網(wǎng)絡(luò)學(xué)習(xí)者眼睛睜開狀態(tài)示意圖；
[0028]圖2為本發(fā)明中網(wǎng)絡(luò)學(xué)習(xí)者嘴巴張開狀態(tài)示意圖
[0029]圖3為本發(fā)明嘴巴打哈欠狀態(tài)檢測(cè)結(jié)果示意圖；[0030]圖4為本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)方法的步驟流程圖；
[0031]圖5為本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)系統(tǒng)的系統(tǒng)架構(gòu)圖。
【具體實(shí)施方式】
[0032]以下通過特定的具體實(shí)例并結(jié)合【專利附圖】

【附圖說明】本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭示的內(nèi)容輕易地了解本發(fā)明的其它優(yōu)點(diǎn)與功效。本發(fā)明亦可通過其它不同的具體實(shí)例加以施行或應(yīng)用，本說明書中的各項(xiàng)細(xì)節(jié)亦可基于不同觀點(diǎn)與應(yīng)用，在不背離本發(fā)明的精神下進(jìn)行各種修飾與變更。
[0033]通過眼睛閉合或嘴巴張大就判定網(wǎng)絡(luò)學(xué)習(xí)者是否疲勞，不是很準(zhǔn)確。然而，如果嘴巴持續(xù)很久大張開，就可以確定學(xué)習(xí)者處于疲勞狀態(tài)了。因此，本發(fā)明采用另一參數(shù)一嘴巴打哈欠狀態(tài)持續(xù)時(shí)間及眨眼頻率來判斷網(wǎng)絡(luò)學(xué)習(xí)疲勞。本發(fā)明通過偵測(cè)眼睛開合狀態(tài)、嘴巴開合狀態(tài)并計(jì)算眨眼頻率、嘴巴打哈欠狀態(tài)持續(xù)時(shí)間作為判斷網(wǎng)絡(luò)學(xué)習(xí)疲勞的參數(shù)。
[0034](I)眼睛開合狀態(tài)判斷
[0035]網(wǎng)絡(luò)學(xué)習(xí)者疲勞時(shí)，眼睛不一定完全閉合了。通過觀察發(fā)現(xiàn)，很多學(xué)習(xí)者疲勞時(shí)眼睛往往睜得很小。因此，根據(jù)實(shí)際情況，借鑒PERCLOS (Percent Eyelid Closure，眼睛閉合時(shí)間占特定時(shí)間的百分率)法則，定義眼睛閉合程度小于80%為睜開狀態(tài)，否則為閉合狀態(tài)。圖1為眼睛睜開狀態(tài)示意圖，由圖可知，t3-t2時(shí)間段內(nèi)眼睛均為閉合狀態(tài)。
[0036]很多方法可以判斷眼睛睜開和閉合的狀態(tài)。很多研究者利用瞳孔面積、眼瞼曲率等來判斷眼睛的開閉狀態(tài)，在睜眼時(shí)有瞳孔面積大、上眼瞼曲率大，而在閉眼時(shí)瞳孔被遮蔽、上眼瞼曲率變小等等。本發(fā)明通過上下眼瞼的距離大小來判斷眼睛處于開或合的狀態(tài)。用眼睛上下眼瞼距離來表示眼睛的睜開程度。當(dāng)眼睛完全睜開時(shí)，上下眼瞼距離最大，記為Hemax0上下眼瞼距離小于Η.χ/5時(shí)，為閉合狀態(tài)，其他情況為睜開狀態(tài)。在完成精確定位眼睛后，可以求得上下眼瞼的距離。從而判斷眼睛的睜開與閉合狀態(tài)。
[0037](2)嘴巴張開狀態(tài)判斷
[0038]在人的基本生理行為中，打哈欠與正常講話時(shí)嘴外型的變化有很大的不同，人在正常的情況下嘴巴基本不會(huì)張大得很厲害。人打哈欠的表情非常的不一樣，張開的程度就非常大。因此，定義嘴巴張開最大時(shí)為打哈欠狀態(tài)，其它為正常狀態(tài)。圖2為嘴巴張開狀態(tài)示意圖。由圖2知，t2-ti時(shí)間段內(nèi)嘴巴均處于打哈欠狀態(tài)。
[0039]很多方法可以判斷嘴巴張開和閉合的狀態(tài)。在本發(fā)明較佳實(shí)施例中，采用上下嘴唇的距離大小來表示嘴巴的張開程度。當(dāng)嘴巴完全張開時(shí)，上下嘴唇距離最大，記為民_。上下嘴唇距離等于Hmmax時(shí)，為打哈欠狀態(tài)，其他情況為正常狀態(tài)。在完成精確定位嘴巴后，可以求得上下嘴唇的距離。從而判斷嘴巴的打哈欠狀態(tài)。圖3即為打哈欠狀態(tài)檢測(cè)結(jié)果示意圖。
[0040](3)疲勞狀態(tài)檢測(cè)
[0041]根據(jù)經(jīng)驗(yàn)，檢測(cè)的圖像幀的眼睛狀態(tài)為閉合狀態(tài)，并不能說明學(xué)習(xí)者處于疲勞狀態(tài)，因?yàn)楫?dāng)學(xué)習(xí)者眨眼時(shí)，采樣的圖像極有可能為眼睛閉合狀態(tài)的圖像。因此，僅僅利用一幀圖像中眼睛處于閉合狀態(tài)，來判斷學(xué)習(xí)者處于疲勞狀態(tài)是不準(zhǔn)確的。本發(fā)明通過采用CCD攝像頭捕捉人眼，運(yùn)用每分鐘眨眼次數(shù)和瞳孔的面積變化來判斷疲勞。在網(wǎng)絡(luò)學(xué)習(xí)中，眨眼頻率越高，網(wǎng)絡(luò)學(xué)習(xí)者疲勞度越低，眨眼頻率越低，疲勞程度越高。因此，通過觀察、分析疲勞狀態(tài)眼睛特點(diǎn)以及借鑒駕駛員疲勞檢測(cè)方法，本發(fā)明采用眨眼頻率f作為檢測(cè)網(wǎng)絡(luò)學(xué)習(xí)疲勞的一個(gè)參數(shù)。
[0042]嘴巴持續(xù)很久大張開(即打哈欠持續(xù)時(shí)間很長(zhǎng))，也可以確定學(xué)習(xí)者處于疲勞狀態(tài)了。因此，本發(fā)明采用另一參數(shù)一打哈欠持續(xù)時(shí)間Th來判斷網(wǎng)絡(luò)學(xué)習(xí)疲勞。
[0043]圖4為本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)方法的步驟流程圖。如圖4所示，本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)方法，包括如下步驟:
[0044]步驟401，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位及嘴巴定位，在本發(fā)明較佳實(shí)施例中，攝像裝置為CCD攝像頭。
[0045]步驟402，判斷該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)。在本發(fā)明較佳實(shí)施例中，通過上下眼瞼的距離大小來判斷眼睛處于開或合的狀態(tài)。用眼睛上下眼瞼距離來表示眼睛的睜開程度。當(dāng)眼睛完全睜開時(shí)，上下眼瞼距離最大，記為氏_。上下眼瞼距離小于Η.χ/5時(shí)，為閉合狀態(tài)，其他情況為睜開狀態(tài)，在完成精確定位眼睛后，可以求得上下眼瞼的距離，從而判斷眼睛的睜開與閉合狀態(tài)；采用上下嘴唇的距離大小來表示嘴巴的張開程度。當(dāng)嘴巴完全張開時(shí)，上下嘴唇距離最大，記為1_。上下嘴唇距離等于Hmmax時(shí)，為打哈欠狀態(tài)，其他情況為正常狀態(tài)。在完成精確定位嘴巴后，可以求得上下嘴唇的距離，從而判斷嘴巴的打哈欠狀態(tài)。
[0046]步驟403，根據(jù)眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th。
[0047]步驟404，將獲得的網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th與眨眼頻率閾值及打哈欠持續(xù)時(shí)間閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。在本發(fā)明較佳實(shí)施例中，當(dāng)獲得的網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f小于眨眼頻率閾值時(shí)，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率大于眨眼頻率閾值，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)；或者當(dāng)獲得的網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th大于打哈欠持續(xù)時(shí)間閾值時(shí)，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)獲得的網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th小于打哈欠持續(xù)時(shí)間閾值時(shí)，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
[0048]在本發(fā)明較佳實(shí)施例中，通過在線教育網(wǎng)站的實(shí)地試驗(yàn)，對(duì)30名年齡為18-28歲的網(wǎng)絡(luò)學(xué)習(xí)者進(jìn)行測(cè)試，持續(xù)記錄網(wǎng)絡(luò)學(xué)習(xí)者疲勞時(shí)打哈欠持續(xù)時(shí)間Thstd,以及清醒時(shí)的正常眨眼頻率fg，經(jīng)統(tǒng)計(jì)平均得出:網(wǎng)絡(luò)學(xué)習(xí)者疲勞時(shí)打哈欠持續(xù)時(shí)間Thstd = 5?10s，清醒時(shí)的正常眨眼頻率fg = 5?12次/分鐘。在實(shí)驗(yàn)中還發(fā)現(xiàn)，學(xué)習(xí)者疲勞可能不停地打哈欠，也可能雙眼閉合打瞌睡，但是很少出現(xiàn)既打瞌睡又打哈欠的情況。
[0049]因此，根據(jù)實(shí)際情況可以將網(wǎng)絡(luò)學(xué)習(xí)者疲勞時(shí)的眨眼頻率閾值取為4次/分鐘，打哈欠持續(xù)時(shí)間閾值取為12s。當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f < 4次/分鐘，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)；當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f > 4次/分鐘，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者的打哈欠持續(xù)時(shí)間Th > 12s時(shí)，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)；當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者的打哈欠持續(xù)時(shí)間Th < 12s時(shí)，則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。即當(dāng)滿足f<4次/分鐘，或者Th > 12s其中一個(gè)條件時(shí)，即可判定網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)。
[0050]圖5為本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)系統(tǒng)的系統(tǒng)架構(gòu)圖。如圖5所示，本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)系統(tǒng)，至少包括:圖像幀獲取及定位模塊501、狀態(tài)判斷模塊502、參數(shù)計(jì)算模塊503以及疲勞檢測(cè)模塊504。[0051]其中圖像幀獲取及定位模塊501，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位及嘴巴定位，在本發(fā)明較佳實(shí)施例中，攝像裝置為CCD攝像頭；狀態(tài)判斷模塊502根據(jù)各圖像幀的定位結(jié)果判斷該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)。在本發(fā)明較佳實(shí)施例中，狀態(tài)判斷模塊502通過上下眼瞼的距離大小來判斷眼睛處于開或合的狀態(tài)，用眼睛上下眼瞼距離來表示眼睛的睜開程度，當(dāng)眼睛完全睜開時(shí)，上下眼瞼距離最大，記為&_。上下眼瞼距離小于氏_/5時(shí)，為閉合狀態(tài)，其他情況為睜開狀態(tài)，在完成精確定位眼睛后，可以求得上下眼瞼的距離，從而判斷眼睛的睜開與閉合狀態(tài)，狀態(tài)判斷模塊502采用上下嘴唇的距離大小來表示嘴巴的張開程度。當(dāng)嘴巴完全張開時(shí)，上下嘴唇距離最大，記為H_x。上下嘴唇距離等于Hnmax時(shí)，為打哈欠狀態(tài)，其他情況為正常狀態(tài)。在完成精確定位嘴巴后，可以求得上下嘴唇的距離，從而判斷嘴巴的打哈欠狀態(tài)；參數(shù)計(jì)算模塊503根據(jù)狀態(tài)判斷模塊502的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th ;疲勞檢測(cè)模塊504，將獲得的網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th與眨眼頻率閾值及打哈欠持續(xù)時(shí)間閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。在本發(fā)明較佳實(shí)施例中，當(dāng)獲得的網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率f小于眨眼頻率閾值時(shí)，則疲勞檢測(cè)模塊504判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率大于眨眼頻率閾值，則疲勞檢測(cè)模塊504判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)；或者當(dāng)獲得的網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th大于打哈欠持續(xù)時(shí)間閾值時(shí)，疲勞檢測(cè)模塊504則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)獲得的網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間Th小于打哈欠持續(xù)時(shí)間閾值時(shí)，疲勞檢測(cè)模塊504則判斷出網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
[0052]綜上所述，本發(fā)明一種基于綜合視頻特征分析的疲勞檢測(cè)方法及系統(tǒng)通過判斷眼睛開合狀態(tài)及嘴巴開合狀態(tài)進(jìn)而計(jì)算出眨眼頻率和嘴巴打哈欠狀態(tài)持續(xù)時(shí)間，并將其作為網(wǎng)絡(luò)學(xué)習(xí)的疲勞檢測(cè)參數(shù)，提高了網(wǎng)絡(luò)學(xué)習(xí)者疲勞檢測(cè)的準(zhǔn)確度和速度，使得利用網(wǎng)絡(luò)進(jìn)行教學(xué)的教師能夠及時(shí)了解網(wǎng)絡(luò)學(xué)習(xí)者的精神狀態(tài)，特別是學(xué)習(xí)者是否疲勞或精神分散，可以提聞網(wǎng)絡(luò)教學(xué)的效率。
[0053]上述實(shí)施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何本領(lǐng)域技術(shù)人員均可在不違背本發(fā)明的精神及范疇下，對(duì)上述實(shí)施例進(jìn)行修飾與改變。因此，本發(fā)明的權(quán)利保護(hù)范圍，應(yīng)如權(quán)利要求書所列。
【權(quán)利要求】
1.一種基于綜合視頻特征分析的疲勞檢測(cè)方法，包括如下步驟: 步驟一，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位； 步驟二，判斷各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)； 步驟三，根據(jù)各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率； 步驟四，將獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率與眨眼頻率閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。
2.如權(quán)利要求1所述的一種基于綜合視頻特征分析的疲勞檢測(cè)方法，其特征在于:于步驟二中，通過求得上下眼瞼的距離大小來判斷眼睛處于開或合的狀態(tài)。
3.如權(quán)利要求2所述的一種基于綜合視頻特征分析的疲勞檢測(cè)方法，其特征在于:于步驟二中，當(dāng)眼睛完全睜開時(shí)，上下眼瞼距離最大，記為H_x。當(dāng)上下眼瞼距離小于Hemax/5時(shí)，為閉合狀態(tài)，其他情況為睜開狀態(tài)。
4.如權(quán)利要求3所述的一種基于綜合視頻特征分析的疲勞檢測(cè)方法，其特征在于:于步驟四中，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率小于該眨眼頻率閾值時(shí)，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率大于該眨眼頻率閾值，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
5.一種基于綜合視頻 特征分析的疲勞檢測(cè)方法，包括如下步驟: 步驟一，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行嘴巴定位； 步驟二，判斷各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴的開合狀態(tài)； 步驟三，根據(jù)各圖像幀中該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴的開合狀態(tài)的判斷結(jié)果計(jì)算網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間； 步驟四，將獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間與打哈欠持續(xù)時(shí)間閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。
6.如權(quán)利要求5所述的一種基于綜合視頻特征分析的疲勞檢測(cè)方法，其特征在于:于步驟二中，通過求得上下嘴唇的距離大小來判斷嘴巴的張開程度。
7.如權(quán)利要求6所述的一種基于綜合視頻特征分析的疲勞檢測(cè)方法，其特征在于:于步驟二中，當(dāng)嘴巴完全張開時(shí)，上下嘴唇距離最大，記為H_ax，當(dāng)上下嘴唇距離等于Hmmax時(shí)，為打哈欠狀態(tài)，其他情況為正常狀態(tài)。
8.如權(quán)利要求7所述的一種基于綜合視頻特征分析的疲勞檢測(cè)方法，其特征在于:于步驟四中，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間大于該打哈欠持續(xù)時(shí)間閾值時(shí)，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)，當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間小于該打哈欠持續(xù)時(shí)間閾值時(shí)，則判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
9.一種基于綜合視頻特征分析的疲勞檢測(cè)系統(tǒng)，至少包括: 圖像幀獲取及定位模塊，利用攝像裝置獲取網(wǎng)絡(luò)學(xué)習(xí)者的圖像幀序列，并對(duì)各圖像幀進(jìn)行眼睛定位及嘴巴定位； 狀態(tài)判斷模塊，根據(jù)各圖像幀的定位結(jié)果判斷該網(wǎng)絡(luò)學(xué)習(xí)者的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)； 參數(shù)計(jì)算模塊，根據(jù)該狀態(tài)判斷模塊的眼睛的開合狀態(tài)及嘴巴的開合狀態(tài)的判斷結(jié)果計(jì)算該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間；疲勞檢測(cè)模塊，將獲得的網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率、嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間與眨眼頻率閾值及打哈欠持續(xù)時(shí)間閾值進(jìn)行比較，獲得疲勞檢測(cè)結(jié)果。
10.如權(quán)利要求9所述的一種基于綜合視頻特征分析的疲勞檢測(cè)系統(tǒng)，其特征在于:當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率小于該眨眼頻率閾值或嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間大于該打哈欠持續(xù)時(shí)間閾值時(shí)，則該疲勞檢測(cè)模塊判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于疲勞狀態(tài)；當(dāng)獲得的該網(wǎng)絡(luò)學(xué)習(xí)者的眨眼頻率大于該眨眼頻率閾值或嘴巴處于打哈欠狀態(tài)持續(xù)時(shí)間小于該打哈欠持續(xù)時(shí)間閾值時(shí)，則該疲勞檢測(cè)模塊判斷該網(wǎng)絡(luò)學(xué)習(xí)者處于清醒狀態(tài)。
【文檔編號(hào)】G06K9/00GK103617421SQ201310694771
【公開日】2014年3月5日 申請(qǐng)日期:2013年12月17日 優(yōu)先權(quán)日:2013年12月17日
【發(fā)明者】楊志和 申請(qǐng)人:上海電機(jī)學(xué)院