本發(fā)明以一種按照獨立權利要求的所屬類型的裝置或方法為出發(fā)點。本發(fā)明的主題也是一種計算機程序。
背景技術:
車輛的駕駛員的疲勞度可以間接地從他的駕駛表現進行評估。
為此,作為替代方案,WO 2014031042 A1描述了一種眼睛睜開信號與預定義的模型化的信號的配合,以便識別眨眼事件并且由此推測出關于駕駛員的注意力的結論。
技術實現要素:
在此背景下,利用這里所介紹的解決方案,介紹了一種用于提供眼睛睜開距離用的參考水平的方法,此外還介紹了一種使用這種方法的裝置,以及最后介紹了根據獨立權利要求的相應的計算機程序。通過在從屬權利要求所列舉的措施能夠實現對在獨立權利要求的給出的裝置的有利的改型方案和改進方案。
為了評價駕駛員的睡意,對眼睛睜開距離的參考值的必需的,因為在眼睛睜開的階段中,眼睛睜開距離例如由于光線比例而變化。為了獲得可用的參考值,眼睛閉合的階段可以從參考值的計算中排除。在考慮這種階段的情況下參考值會具有過低的數值。
介紹了一種用于提供眼睛睜開距離用的參考水平的方法,其中眼睛睜開距離代表當前檢測到的、眼睛的眼瞼之間的間距,其中所述方法具有以下求取的步驟:其中,參考水平在使用眼睛睜開距離大于極限值時的、眼睛睜開距離的數值的情況下來求取參考水平。
參考水平可以系指一平均的數值,該平均的數值在可定義的時間窗口內由存在波動(schwankungsbehaftet)的數值進行平均而得。眼睛睜開距離小于極限值的、眼睛睜開距離的數值可以忽略。
所述方法可以例如以軟件或硬件的形式或以由軟件和硬件的混合形式例如在控制器中執(zhí)行。
參考水平還可以在使用支持值(Stützwerten)的情況下來求取。支持值可以替代比極限值小的眼睛睜開距離的數值。比極限值小的眼睛睜開距離的數值可以被舍棄。支持值可以將由于眼睛睜開距離的舍棄的數值而造成的、在眼睛睜開距離的數值的時間序列中的空缺予以填補,通過所述支持值可以進行對參考水平的簡化的計算。
所述方法可以具有調整或改變的步驟,其中在使用參考水平的情況下、以及作為替代方案或增補方案在使用眼睛睜開距離的數值的滑動平均值(gleitenden Mittelwerts)的情況下對極限值進行補充或者說更新(nachfürhen)和/或改變。該調整可以作為一般的改變來進行。在此,補充可以系指依據之前的、用于眼睛睜開距離或參考水平的數值來變化極限值。對眼睛睜開距離或參考水平的時間上先前的數值的提高在此尤其可能造成極限值的提高。例如所述極限值可以是參考水平的按百分比的數值。由此,所述極限值在參考水平之下圍繞固定的百分比,從該極限值起便不再考慮眼睛睜開距離的數值。與參考水平相比,滑動平均值可以經過更短的時間間隔來確定。該時間間隔可能長于預期的眨眼持續(xù)時間。
在所述調整或改變的步驟中,替代小于極限值的眼睛睜開距離的數值的支持值還可以被補充或改變。在此,補充可以系指依據之前的、用于眼睛睜開距離或參考水平的數值來改變支持值。對眼睛睜開距離或參考水平的時間上先前的數值的提高在此尤其可能造成支持值的提高。同樣可以在使用參考水平的情況下、以及作為替代方案或增補方案在使用眼睛睜開距離的數值的滑動平均值的情況下對支持值進行補充。
還可以在使用速度極限值的情況下求取參考水平。當眼瞼速度小于速度極限值時,在此能夠使用眼睛睜開距離的數值。因此,速度極限值涉及眼瞼速度。在眨眼時,眼瞼運動得非??臁T诳紤]眼瞼速度的情況下,可以在未超出極限值之前識別出眨眼。
參考水平可以作為參考曲線來求取。在此可以在眼睛睜開距離的數值大于極限值的區(qū)域或時間段內使用眼睛睜開距離的時間的曲線。所述參考水平可以被連續(xù)地求取。所以總是有一當前的參考水平供使用。
眼睛睜開距離的數值可以進行平滑處理(gl?tten)。例如這些值可以被平均。同樣地,這些值可以被加權。由此能夠實現簡化的求取。
在此所介紹的解決方案還獲得了一種裝置,該裝置被構造用于在相應的設備中執(zhí)行、操控或者說實現在此所介紹的方法的變型方案的步驟。也可以通過形式為裝置的本發(fā)明的實施變型來快速并有效地解決以本發(fā)明為基礎的任務。
裝置在當前可以系指電器具,所述電器具處理傳感器信號并且依據此來發(fā)出控制信號和/或數據信號。該裝置可以具有接口,所述接口能夠按照硬件和/或按照軟件地構造。在按照硬件的構造中,接口可以例如是包含所述裝置的最為不同的功能的、所謂的系統ASIC的一部分。但是,也能夠實現的是:所述接口是特有的、集成的電路或者至少部分由分立的(diskret)結構元件組成。在按照軟件的構造中,接口可以是軟件模塊,例如在微控制器上除其他的軟件模塊之外而存在所述軟件模塊。
具有程序代碼的計算機程序產品或計算機程序也是有利的-所述程序代碼可以被存儲在機器能夠讀取的載體或存儲介質上,例如被存儲在半導體存儲器、硬盤存儲器或光存儲器上,以及被使用用于執(zhí)行、實現和/或操控按照在前所描述的實施方式中的任一項所述的方法的步驟-尤其當上述程序產品或程序在計算機或裝置上實施時。
附圖說明
本發(fā)明的實施例在附圖中示出并且在接下來的描述中進行更詳細地闡釋。附圖中:
圖1示出了按照一個實施例的、用于提供眼睛睜開距離用的參考水平的裝置的框圖;
圖2示出了按照一個實施例的、眼睛睜開距離的和參考水平的曲線的圖示;
圖3示出了按照一個實施例的、用于監(jiān)視車輛的駕駛員的疲勞度的總系統的結構的圖示;以及
圖4示出了按照一個實施例的、用于提供眼睛睜開距離用的參考水平的方法的流程圖。
在對本發(fā)明的這些有益的實施例的接下來的描述中,針對在不同的圖中所示出的并且起類似作用的元件使用相同的或類似的附圖標記,其中放棄了對這些元件的重復的描述。
具體實施方式
圖1示出了按照一個實施例的、用于提供眼睛睜開距離104用的參考水平102的裝置100的框圖。眼睛睜開距離104在此通過檢測系統106而對車輛的駕駛員的一只或兩只眼睛108進行檢測,并且在眼睛睜開距離信號110中描繪下來(abbilden)。眼睛睜開距離104代表當前的、在眼睛108的眼瞼之間的間距。眼睛睜開距離信號110被裝置100讀入到該裝置100的入口處。在裝置100中,眼睛睜開距離信號110在預處理設備112中被預處理。預處理設備112也可以被稱作為過濾器112。在此,將眼睛睜開距離104的數值與極限值114進行比較。將代表小于極限值114的數值的信號分量116予以剔除或者說忽略。將代表大于極限值114的數值的信號分量118傳遞給求取設備120。在該求取設備120中,由眼睛睜開距離104大于極限值114時的、眼睛睜開距離104的數值來求取參考水平102。該參考水平102被提供給裝置100的出口。
在一個實施例中,在使用支持值122的情況下來求取參考水平102。該支持值122被使用用于補足通過對信號分量116的剔除而產生的眼睛睜開信號110中的空缺。通過支持值122可以連貫地求取參考水平102。
支持值122依賴于參考水平102。支持值設備124將參考水平102讀入并且使用該參考水平102用于提供支持值122。
在一個未示出的實施例中,支持值設備124直接讀入眼睛睜開距離信號110或位于極限值114之上的信號分量118,以便產生支持值122。
極限值114同樣依賴于參考水平102。極限值設備126讀入參考水平102并且使用該參考水平102用于提供極限值114。
在一個未示出的實施例中,極限值設備126直接讀入眼睛睜開距離信號110或位于極限值114之上的信號分量118,以便產生極限值114。
介紹了一種用于穩(wěn)固地識別目前的眼睛睜開度(EON)102的系統100。
基于攝像機106的數據可以識別眼睛108的目前的睜開度104。對此使用相應的圖片處理算法。在此,相應地為兩只眼睛108探測眼睛睜開水平102。
由兩只眼睛108的眼睛睜開度104可以計算出共同的眼睛睜開水平102。對目前的眼睛睜開水平102的計算可以在使用Savitzky-Golay過濾器的情況下進行。
在此所介紹的解決方案能夠實現在先前所預先過濾的眼睛睜開數據118的基礎上對眨眼特征(Blinzelfeatures)的識別質量的改善。在此計算目前的眼睛睜開水平102。該眼睛睜開水平102可以被稱作為EON 102或者說眼睛打開水平(eye opening niveau 102)102。在使用眼睛睜開水平102的情況下,可以利用極限值114簡單地且穩(wěn)固地探測出相對于眼睛睜開水平102來定義的眨眼事件。一定的眨眼事件的特征,如例如眨眼幅度可以被簡單地計算出來。PERCLOS數值,其涉及眼睛睜開水平102的90%作為最大睜開度,可以被穩(wěn)固地計算出來。對眼睛睜開水平102的計算可以劃入用于識別睡意和/或秒睡(Sekundenschlaf)的總-系統中。
眼睛睜開水平102說明了在睜開狀態(tài)下眼瞼的目前的間距104為多大。在眼睛睜開水平102的、在此所介紹的計算中,可能的眨眼事件不一起匯入到計算出的數值102中。由此,眼睛睜開水平102并不受眨眼頻率和眨眼持續(xù)時間的影響。否則,眨眼事件的頻率和持續(xù)時間越高,由此而造成的眼睛睜開水平則將會越低。
因此,對眼睛睜開水平102的計算劃分為多個步驟。首先利用暫時過低的眼睛睜開度104,如例如眨眼事件或者眼前一亮(Tachoblicke),來進行對區(qū)域116的穩(wěn)固和簡單的識別。這些區(qū)域116可以以多種方式加以辨認。
在一個實施例中實行對眼睛睜開數據110的強過濾。所有的、在眼睛睜開度104比經過濾過的眼睛睜開度更低時的區(qū)域116被除外。它們例如可以用替代值122來補足。
所述替代值122可以例如由最后的150秒的眼睛睜開度104的90%構成。
在一個實施例中,使用滑動的中值(Median)114,以便有效地排除眨眼事件。在此,中值過濾器(Medianfilter)具有至少雙倍的最大地有待排除的眨眼持續(xù)時間的窗口長度。為了將直至最大為一秒的持續(xù)時間的眨眼事件有效地排除,可以使用例如兩秒的窗口大小。
所有的、眼睛睜開度明顯低于被進行平滑處理的中值114時的區(qū)域116,例如具有多于10%的偏差,則被考慮排除在外。
眨眼事件的突出之處在于:眼瞼的絕對速度超過某一值,如例如0.03米/秒。在一個實施例中,將這個區(qū)域116排除,直至眼瞼速度重新穩(wěn)定。在此等待直至針對預先確定的時間的速度小于極限值時。
其次, 可以進行對用于之前被排除的區(qū)域116的替代值的計算。
在一個實施例中,這個替代值由最后的150秒的眼睛睜開度104的90%構成。
在一個實施例中,在無效的區(qū)域116中使用最后的有效值。這個操作可以被稱作為抽樣(Sample)&保持(Hold)。
當無效的區(qū)域116利用經平滑處理的中值114來計算時,也可以直接使用經平滑處理的中值114作為替代值。
第三,在使用用于之前被排除的區(qū)域116的替代值122的情況下,進行對目前的眼睛睜開水平102的計算。
最終的眼睛睜開水平可以利用對信號的進一步過濾來求取。為此,在一個實施例中使用Savitzky-Golay過濾器。另一種可能性在于:使用另一種滑動的中值過濾器。
圖2示出了按照一個實施例的、眼睛睜開距離和參考水平102的曲線200圖示。曲線200被繪制在在橫坐標上提供了以秒[s]為單位的時間以及在縱坐標上提供了以毫米[m×10-3]為單位的間距的線圖中。該曲線200對應例如眼睛睜開距離信號的部分,例如在圖1中那樣。參考水平102通過一種根據在此所介紹的解決方案所述的方法被求取到。眼睛睜開距離的數值200多數以十毫米的幅度波動。在眨眼202期間,眼睛睜開距離短時間內下降趨近于零。通過在此所介紹的解決方案,眼睛睜開距離的數值116在眨眼202期間不被考慮用于計算參考水平102。
為此,將曲線200的數值與極限值114進行比較,所述極限值比目前的參考水平102低幾毫米的水平。在極限值114之下識別眨眼202并且數值116不被使用用于計算參考水平102。
為了可以使用不間斷的曲線用于計算參考水平102,將曲線200的那些段用支持值122進行補足。在此,所述支持值122對應于極限值114。因此參考水平102不由于眨眼202而下降。
圖3示出了按照一個實施例的、用于監(jiān)視車輛的駕駛員的疲勞度的總系統300的結構的圖示。在此所介紹的、對參考水平的提供302是在此所示出的系統300的組成部分。
總系統300具有三個主要組成部分304、306、308。第一主要組成部分304被稱作為睡意分類部。第二主要組成部分306被稱作為秒睡識別部。第三主要組成部分308包括被睡意分類部304和秒睡識別部306共同使用的模塊310。對參考水平的提供302是第三主要組成部分308的一部分。模塊310可以被稱作為眼睛閉合預處理部(Augenschlussvorverarbeitung)310。所述眼睛閉合預處理部310包括對眼睛閉合右邊和左邊的檢測、對眼睛閉合的過濾、對眼睛閉合的速度檢測、眼睛閉合的acc、對參考水平的提供302以及確認。
眼睛閉合預處理部310給出目前的眼睛閉合、眼睛閉合速度和參考水平。
在睡意分類部304中,在眨眼事件探測部312中使用這些值,并且將眨眼事件傳遞給眨眼標記計算部314。
眨眼標記計算部314給出眨眼標記到個人的眨眼標記識別部316上以及到用于睡意分類的模塊318上。該模塊從眨眼標記識別部316中讀入個人的眨眼行為,并給出睡意水平。
在秒睡識別部306中,使用在個人的眼睛閉合識別部320中的數值、眼睛閉合識別部322的數值和用于秒睡識別的模塊324的數值。
個人的眼睛閉合識別部320給出個人的睜眼水平和個人的閉眼水平。所述個人的睜眼水平和所述個人的閉眼水平被眼睛閉合識別部322使用,以便提供用于模塊324的二進制的眼睛睜開值。該模塊324給出秒睡事件。
在駕駛時的睡意和秒睡會導致危險的情況或事故。因此如果駕駛員超過某一睡意極限值時,可以給出警報。例如可以漸顯出咖啡杯。這個警報也可以被駕駛員忽略。
為了從眼睛睜開信號中識別眨眼事件,可以使用用于“正常的”眨眼事件的、所謂的參考振幅。在此,“正常的”眨眼事件可以通過閉合階段和高臺階段(Plateauphase)的持續(xù)時間加以辨認。對用于這個“正常的”眨眼事件的振幅進行累積。這個振幅的85%可以被作為參考振幅使用。
借助于這個參考振幅,可以將眨眼事件從具有振幅小于參考振幅的70%的、其它的目光運動事件以及具有振幅大于參考振幅的150%的、有意的閉合運動中區(qū)分出來。
最大和最小的眼睛睜開值可以被穩(wěn)固地校準。在此,將所有的、眼瞼的速度為零的區(qū)域進行累積。從所有這些被累積的數值中,分別將10%和90%作為個人的和目前的最大值或最小值加以考慮。這并不僅僅依賴于駕駛員的生理情況,而且也依賴于情境情況,如例如目前的照明情況。
用于提高眼睛睜開信號的識別質量的預處理步驟可以在眼睛閉合預處理(ECP,Eye Closure Preprocessing 閉目預處理)的框架中執(zhí)行。在此可以集成秒睡檢測。眼睛睜開水平也可以發(fā)生在眼睛閉合預處理的框架中。眼睛睜開水平可以緊接著在眨眼事件識別(BED、Blink Event Detection 眨眼事件探測)和眨眼標志計算(BEC、Blink Feature Calculation 眨眼特征計算)的框架中使用。
圖4示出了按照一個實施例的、用于提供眼睛睜開距離用的參考水平的方法400的流程圖。所述方法400具有求取的步驟402。該方法400可以例如在使用如其在圖1中所示出的那樣的裝置的情況下來實施。在求取的步驟402中,在使用眼睛睜開距離大于極限值時的、眼睛睜開距離的數值的情況下來求取參考水平。區(qū)分的步驟404發(fā)生在求取的步驟402之前。在區(qū)分的步驟404中,將眼睛睜開距離的數值區(qū)分為極限值之上的數值和極限值之下的數值。
在一個實施例中,在求取的步驟402后跟著的是調整的步驟406。在調整的步驟406中,在使用參考水平的情況下改變極限值。
如果一個實施例包括第一特征和第二特征之間“和/或”的連接詞,那么這一點以下述方式解讀:該實施例按照一種實施方式不僅具有第一特征而且具有第二特征,以及按照另一種實施方式要么僅具有第一特征要么僅具有第二特征。