本發(fā)明通常涉及用于光學以及電容地監(jiān)控車輛駕駛員的系統(tǒng)和方法以確定至少一個特性、條件、性質(zhì)和/或駕駛員狀態(tài),例如,是否車輛駕駛員或者操作員睡著或者以其他方式不能夠操作車輛。
背景技術(shù):
存在若干不同的車載狀況,這些車載狀況合在一起并且稱為駕駛員分心或者疏忽問題。這些狀況包括的情形為:車輛駕駛員完全清醒但是吃東西、化妝、發(fā)短信以及講電話;駕駛員身體疲勞的情形,可能或者不可能瞌睡;醫(yī)療條件的情形,駕駛員經(jīng)受的醫(yī)療條件諸如中風或者心臟?。获{駛員在酒精或者藥物影響下的情形;以及駕駛員剛剛瞌睡的情形。本發(fā)明的至少一個實施例主要關(guān)注檢測昏昏欲睡或者瞌睡的駕駛員,但是分心駕駛員的多個其他起因還影響本發(fā)明的實施例聚焦的參數(shù),因而還將被解決,并且以其整體包含在本發(fā)明的范圍內(nèi)。本發(fā)明的至少一個實施例的主要焦點是使用光學方式測量駕駛員的心率以及呼吸率,并且通過分析這些率,預(yù)測駕駛員是否失去他/她安全地操作車輛的能力。駕駛員粗心是比駕駛瞌睡和疲勞更大的問題。當可能時,還分析腦波以進一步改善基于心跳的預(yù)測。
多個專利以及技術(shù)論文解決了用于檢測昏昏欲睡駕駛員的系統(tǒng),但是,盡管潛在地用于這種系統(tǒng),研究人員已經(jīng)在很大程度上成功開發(fā)了一種可行的方式來識別瞌睡或者粗心。在專利以及非專利文獻中已經(jīng)描述了許多系統(tǒng),這些系統(tǒng)嘗試使用光學方法,諸如攝影機來檢測眨眼睛、頭部移動、打哈欠等,作為昏昏欲睡駕駛員的跡象。最成功的研究已經(jīng)導致PERCLOS方法的進展,由此,眼睛閉合的時間百分比用來測量睡意。不幸地是,這些系統(tǒng)中沒有一個能夠揭露預(yù)測成功率,允許及時對駕駛員采取行動,以到達他/她離開車輛及時行駛的道路的位置。研究已經(jīng)表明,僅ECG以及EEG測量具有在駕駛員不能夠操作車輛以使車輛離開道路之前在充足時間內(nèi)預(yù)測駕駛員睡著的能力。當使用光學技術(shù)時,本發(fā)明的至少一個實施例中提供了光學地測量心率和呼吸率的方法,利用對這些率的適當分析,能夠?qū)崿F(xiàn)高精度預(yù)測駕駛員的睡意狀態(tài)。當增加腦波分析時,進一步改善了該準確度。
常見的可獲取的設(shè)備,脈搏血氧計,使用光來確定患者的脈搏率以及血中的含氧量。這是這樣一種設(shè)備,其通常夾緊至手指、耳垂或者身體的其他部分,即物理地互動以及接觸患者的身體。脈搏血氧計通常被認為是一種醫(yī)療設(shè)備,其間接監(jiān)控患者的血中的氧飽和度(與直接通過血樣本測量氧飽和度相反)并且改變皮膚中的血容量,產(chǎn)生血管容積圖。下文將公開的是,這還能夠以不引起車輛駕駛員注意的方式完成。正如美國專利7,277,741報到的,脈搏血氧測定法的優(yōu)勢是,在活的人體組織中,血紅素對波長為500和1100nm光是一種強吸收體。使用在該波長范圍被血紅素吸收的光,通過組織的動脈血液的脈搏易于測量。動脈脈搏波形的圖形作為時間的函數(shù)被稱為光體積描記儀。體積描記儀波形的振幅變化作為用于測量其的光的波長的函數(shù),被通過動脈的血脈搏的吸收性質(zhì)確定。通過結(jié)合多個不同波長范圍(其中,氧基-血紅素和無氧基-血紅素具有不同的吸收系數(shù),例如,兩種這種波長)的體積描記儀測量,能夠估計動脈血的氧飽和度。在商用脈搏血氧計中采用的典型波長為660nm和890nm。
但是,對心跳的光學測量不像使用脈搏血氧計獲取的那樣精確。包含附接多個傳感器至人的皮膚上的ECG提供了更好的測量;但是,這對于駕駛員應(yīng)用是不切實際的。但是,已經(jīng)發(fā)現(xiàn),使用電容感測設(shè)備(諸如公開于美國專利8,694,084的)的中間技術(shù)提供了幾乎像正常ECG一樣精確的心跳測量,但是不需要皮膚附接。可達到的準確度成比例于設(shè)備與皮膚的距離,因而,當該距離超過幾厘米時,優(yōu)選光學方法。最終,已經(jīng)發(fā)現(xiàn),正如美國專利8,391,967報到的,當定位成靠近人的皮膚時,能夠通過這種基于傳感器的電容獲取包含心跳信息以及腦波信息的信號,類似于ECG和EEG兩者,提供適當?shù)姆治黾夹g(shù),用以分離兩個信號。在美國專利7,885,700中,使用兩個傳感器的技術(shù)允許移除“噪聲”,結(jié)果得到更清晰的心跳信號。“噪聲”包含腦波數(shù)據(jù)。
技術(shù)實現(xiàn)要素:
根據(jù)本發(fā)明的一種用于光學地監(jiān)控車輛駕駛員的方法包括:使用至少一個圖像獲取設(shè)備獲取駕駛員的圖像;使用至少一個傳感器獲取來自駕駛員的腦波;使用處理器分析圖像以得出在乘客的臉上至少一個血管、毛細管以及靜脈中血流量的測量;以及使用相同處理器或者額外處理器分析一段時間內(nèi)的血流量和獲取腦波以確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力。失去繼續(xù)控制車輛的能力,這出現(xiàn)在例如在初始已經(jīng)清醒或者以其他方式能夠控制車輛之后,駕駛員變得昏昏欲睡、睡著或者以其他方式不能夠控制車輛。
作為確定出駕駛員失去繼續(xù)控制車輛的能力的結(jié)果,可以自動采取行動以實現(xiàn)車輛的操作的改變,例如,制動器控制、節(jié)流閥控制、轉(zhuǎn)向控制或者這些的組合。額外地或者可替換地,駕駛員的行為可能需要指示重新獲取控制車輛的移動的能力。額外地或者可替換地,駕駛員可以被通知他們已經(jīng)失去繼續(xù)控制車輛的能力的確定,需要對該通知生成響應(yīng),該響應(yīng)可以被監(jiān)控,然后基于對駕駛員對通知的響應(yīng)的監(jiān)控來控制車載操作。
分析圖像可以使得需要確定駕駛員的心跳,在該情形下,分析一段時間內(nèi)臉的屬性以確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力使得需要分析駕駛員的心跳的變化性。
分析圖像可以額外地或者可替換地使得需要確定血氧、乘員的臉顏色或者運動,在該情形下,分析一段時間內(nèi)的臉以確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力使得需要分析駕駛員的臉顏色或者運動的變化性。
可以選擇電磁輻射的頻率以確保駕駛員的血的反射。例如,頻率可以在500nm至大約600nm之間,或更具體地,大約540nm至大約580nm之間。照明還可以被調(diào)制。
可以從駕駛員穿戴的安全帶上的至少一個以及可能兩個或多個電容傳感器獲取來自駕駛員的腦波。
根據(jù)本發(fā)明的用于光學地監(jiān)控車輛駕駛員的系統(tǒng)包括:至少一個照射設(shè)備,其利用電磁輻射來照射駕駛員的一部分;至少一個圖像獲取設(shè)備,其獲取被照射的駕駛員的圖像;以及處理器,其聯(lián)接至圖像獲取設(shè)備并且分析圖像以得出血流量、氧氣、乘員的臉的顏色或者運動,然后分析一段時間內(nèi)的臉以確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力。
本發(fā)明的至少一個實施例進一步關(guān)注當安全帶被穿戴并且定位成靠近駕駛員的胸部時,并行使用安裝在安全帶上的一對電容傳感器以提供更好的心跳信息。由于這不是經(jīng)常的情形,因此,例如當駕駛員穿戴厚的冬天外套時,使用該技術(shù)以提供改進的心跳測量,加上接近EEG以允許更精確的分析,因而能夠較早預(yù)測駕駛員損害。
附圖說明
以下附圖是使用此處公開的本發(fā)明的至少一個教導開發(fā)或修改的系統(tǒng)的示意性實施例,并不意味著限制權(quán)利要求包含的本發(fā)明的范圍。
圖1是圖示出根據(jù)本發(fā)明的乘員感測單元和車輛安全系統(tǒng)之間的關(guān)系的框圖。
圖2是示出根據(jù)本發(fā)明駕駛員健康以及疲勞監(jiān)控例程的操作的流程圖。
圖3是示出根據(jù)本發(fā)明警告以及反饋系統(tǒng)例程的操作的流程圖。
圖4A是根據(jù)本發(fā)明的光學監(jiān)控系統(tǒng)的視圖,光學監(jiān)控系統(tǒng)從成像器監(jiān)控駕駛員的臉的一部分,成像器安裝得靠近擋風玻璃的頂部,可選的安裝位置是在后視鏡上。
圖4B是根據(jù)本發(fā)明的光學監(jiān)控系統(tǒng)的另一實施例,光學監(jiān)控系統(tǒng)從安裝在儀表板中的成像器監(jiān)控駕駛員的臉的一部分,儀表板面向使得其反射擋風玻璃的一部分。
圖5圖示了安裝在定位得靠近駕駛員胸部的安全帶上的一對電容傳感器。
具體實施方式
雖然下文的許多例子涉及特定車輛、汽車,但是本發(fā)明并不限于任何特定車輛,因而本發(fā)明適用于所有相關(guān)車輛,包括車輛的所有艙,例如,包括汽車、卡車、農(nóng)場拖拉機、施工機械、火車、飛機以及輪船的乘客火車艙。
在說明書以及權(quán)利要求書中使用的“或”以及“和”應(yīng)該被閱讀為連詞以及反義連詞,它們看起來是必要的以使文章是包含性的而不是排他性的,這些詞語也不應(yīng)該被解釋為對文章的范圍的限制。
需要不斷認識到的是,當駕駛員分心時,需要在這種分心導致的事故之前重新獲取他的注意力。
通過監(jiān)控他或她的心跳和/或呼吸率能夠檢測醉酒駕駛員。指示醉酒的駕駛員行為能夠利用圖案識別軟件光學地檢測,和/或通過相對于地圖數(shù)據(jù)庫以及精確車輛定位系統(tǒng)監(jiān)控駕駛員的駕駛行為或者光學地使用監(jiān)控道路上的車輛位置的照相機來檢測。在這兩者情形下,通過計算機或者其他處理單元所施加或者實施的圖案識別軟件能夠被訓練以認出非正常行為。這種圖案識別軟件典型地實施在處理器可獲取的非瞬時性計算機可讀介質(zhì)上,處理器聯(lián)接至提供關(guān)于駕駛員或者操作員信息的任何系統(tǒng)。圖案識別軟件還可以呈存儲在非瞬時性介質(zhì)上的計算機程序的形式,并且可以在銷售給消費者之前安裝在車輛上。軟件和計算機程序可以經(jīng)由有線鏈路或者無線鏈路更新,例如,經(jīng)由因特網(wǎng)或者另一通信網(wǎng)絡(luò)。
檢測昏昏欲睡或者健康受損的駕駛員是不同的問題,通常需要不同的硬件和軟件。當眼睛可以看得見時,監(jiān)控駕駛員的眼睛是一個途徑。但是,通過他的眼睛運動或缺乏眼睛運動難以診斷具有心臟病的駕駛員,不能及時采取治療行動。而且,帶著太陽鏡或者甚至普通眼睛或者具有遮蔽的帽子或者口罩的駕駛員會對眼睛跟蹤軟件程序產(chǎn)生很大困難,于是駕駛員在事件發(fā)生時無法看著照相機。
檢測昏昏欲睡或者具有心臟病、中風或者其他健康相關(guān)事件之一的駕駛員的各種方案公開于美國專利以及轉(zhuǎn)讓給本發(fā)明的受讓者或者其相關(guān)公司的公開的申請中,包括:在公告時轉(zhuǎn)讓給自動技術(shù)國際公司(Automotive Technologies International,Inc.)的5829782、5845000、20070025597、6116639、7887089、7769513、6513833、7660437、7009502、6950022、7788008、7676062、7738678、6793242、7596242以及在公告時轉(zhuǎn)讓給自動車輛服務(wù)公司(Automotive Vehicular Services,Inc)的20080195261、7629899、7983802和7295925。在這些專利和申請中,公開的方法涉及光學、雷達以及與例如地圖相關(guān)的駕駛行為。在公開的專利和申請中未全部討論的以及此處將討論的一種方法是測量由于心跳、呼吸率、血壓和溫度導致的駕駛員臉上的一塊皮膚或者整個臉的外表的變化。額外方法還使用來自安裝在安全帶上的電容傳感器或者一對這種傳感器的數(shù)據(jù),以當可能時獲取更精確的測量駕駛員的心跳以及測量他的/她的腦波(見圖5討論的)。
通過監(jiān)控駕駛員心率和/或呼吸率,能夠確定出駕駛員是否昏昏欲睡以及處于睡著的風險和/或是否他或者她正在經(jīng)歷將妨礙他或她操作車輛的能力的健康事件。利用精確心跳測量以及腦波測量能夠顯著改進該確定。
MIT媒體實驗室正開發(fā)的并且已經(jīng)考慮用于患者監(jiān)控的臉部監(jiān)控方法使用臉部圖像以確定臉血管中的血流量,然后能夠得出精確脈搏讀數(shù)。呼吸率和血壓讀數(shù)還能夠從臉部圖像確定。盡管這些技術(shù)處于實驗階段,但是它們并入車輛用于駕駛員健康監(jiān)控目的還未被其他人考慮,并且對于此處公開的發(fā)明來說被認為是獨特的。利用該系統(tǒng),僅存在一臺能夠利用綠色查看駕駛員的臉的照相機,并且在一些情況下利用IR照明。綠色或者IR照明都未公開于MIT研究中,但是討論了臉自然反色的綠色頻率或者寬譜照明。因而,單個照相機能夠確定眼鏡跟蹤、閉合狀態(tài)、眨眼率以及脈搏和呼吸測量、以及血壓和血氧。
正如以上討論的,當可能時,通過使用安裝在靠近駕駛員胸部的安全帶上的一個或者更好的兩個電容傳感器,能夠獲取心臟率以及額外腦波測量的更精確測量。
所有駕駛員監(jiān)控系統(tǒng)都是不精確的,因而經(jīng)受錯誤警報,因此,在采取任何行為以控制任何車輛系統(tǒng)之前,理想地,診斷應(yīng)該通過駕駛員反饋被驗證。該反饋能夠呈許多形式,諸如在擋風玻璃上或者在駕駛員的視野中采用顯示要求駕駛員響應(yīng)的詢問的抬頭顯示器,諸如口頭說,或者通過按壓喇叭或者其他開關(guān)或者按鈕,或者做手勢,例如。其他反饋系統(tǒng)包括要求駕駛員進行響應(yīng)的口頭警報或者語言陳述;或者需要駕駛員注意的任何其他視覺或者聽覺警報或者消息;以及指示感測的事件是錯誤警報的后續(xù)行為。未接收到適當?shù)捻憫?yīng)時,駕駛員監(jiān)控系統(tǒng)能夠多次重復請求,其中,具體數(shù)量可以取決于狀況的緊急性,或者由狀況的緊急性確定(即,更迫切狀況可以比不太迫切狀況需要更多請求)。在一個例子中,駕駛員監(jiān)控系統(tǒng)能夠詢問駕駛員“你好嗎?”,如果駕駛員用比如“我很好”響應(yīng),那么系統(tǒng)能夠重新設(shè)定。如果駕駛員不能夠?qū)唵蔚恼Z言請求響應(yīng)出簡單的語言響應(yīng),那么請求能夠被改變?yōu)楦鼜碗s的請求,諸如“你好嗎,按下喇叭按鈕或者舉起你的手”。如果駕駛員不能夠適當?shù)仨憫?yīng)該更復雜的請求,那么車輛系統(tǒng)能夠取決于對車輛來說什么是最適當?shù)墓烙媮聿扇∫环N或多種行為。
尤其監(jiān)控對應(yīng)于人體心跳(大約30Hz至大約200Hz)和呼吸率(大約0.05至大約2Hz)的特定頻率范圍的變化,將其作為睡意的指示。此外,如果安全帶上安裝的電容傳感器足夠靠近駕駛員的胸部,那么通過電容傳感器捕獲的腦波能夠確定德爾塔(達3Hz)、塞他(4Hz至8H z)、阿爾法(8Hz至12Hz)、倍他(12Hz至大約30Hz)以及伽馬(約26Hz至300Hz)腦波的存在以及其相對量值。正如美國專利8,391,967描述的,這些波能夠提供對駕駛員的注意狀態(tài)的良好的指示。
乘員總移動或者甚至他或她的極端移動還能夠被監(jiān)控,甚至無需知道所檢測的準確運動,該信息能夠用以合作、確認和/或核驗對呼吸、心跳以及腦波信號的分析。乘客能夠陳述駕駛員是否具有心臟病或者睡著。因此,光學或者其他監(jiān)控系統(tǒng)也能夠進行這種陳述。
因而,根據(jù)本發(fā)明的駕駛員監(jiān)控系統(tǒng)包括實施在存儲介質(zhì)上的算法,其能夠被處理器訪問以部分地基于內(nèi)存單元中可保存且也被處理器所訪問的請求歷史來選擇請求,即請求選擇算法??梢圆扇〉男袨槟軌虬ǎ褐鸩綔p慢車輛以及閃爍緊急燈、捏喇叭,例如在脈沖報警模式,如果可獲取的話使用車道監(jiān)控照相機或者使用具有精確地圖數(shù)據(jù)庫的GPS或者等同物(如果可獲取)進行控制轉(zhuǎn)向以維持車輛在其車道上以及避免碰撞,通知遠程站點,允許遠程站點評估狀況并且對車輛進行局部控制等。例如,通過實施在處理器能訪問的存儲介質(zhì)上的行為選擇算法來確定一個或多個行為,行為選擇算法能夠計入各種因素,包括狀況的嚴重性。
如果系統(tǒng)命令駕駛員要制動或者放緩車輛運動,并且不存在駕駛員這樣做的跡象,那么系統(tǒng)可以使用該信息并且連同其他信息推斷出駕駛員喪失能力,并且可推定車輛的局部控制或者總控制或者采取其他行為(此處描述的類型),并且通知駕駛員:光學監(jiān)控系統(tǒng)檢測到他或者她可能不再能夠操作車輛并且要求反饋。給駕駛員的消息能夠是任何形式,諸如顯示、聲音、光或者能夠得到駕駛員注意的任何其他系統(tǒng)。如圖4B所示,健康監(jiān)控系統(tǒng)電子控制單元210還能夠從光學乘員信息提供傳感器接收信息,該傳感器可以使用照明并且獲得圖像以能夠確定關(guān)于乘員的信息。
在優(yōu)選實施方式中,記錄的或者合成的聲音能夠使用揚聲器-麥克風206向駕駛員說出消息,并且要求他或者她執(zhí)行一些任務(wù),諸如通過說一個詞語或者通過按下喇叭或者按鈕或者執(zhí)行手勢(諸如抬起他的/她的手或者指向)而進行響應(yīng)。電子控制單元210能夠包括適當?shù)拿铍娐废到y(tǒng)(硬件/軟件)以能夠使揚聲器-麥克風206生成聲音消息,例如,消息記錄在揚聲器-麥克風206或者電子控制單元210處的存儲介質(zhì)中。
消息和駕駛員行為之間的時間延遲能夠是駕駛員的條件的良好跡象。該時間延遲被處理器計算,例如,健康監(jiān)控系統(tǒng)電子控制單元210設(shè)置有時間,在該時間消息經(jīng)由揚聲器-麥克風206或者其他設(shè)備被傳送至駕駛員,在該時間駕駛員向那里提供了要求的響應(yīng)。
在一些裝置中,當他/她啟動車輛時期望測試以及記下駕駛員的反應(yīng)。如上所述,健康監(jiān)控系統(tǒng)能夠為來自駕駛員的一個響應(yīng)詢問一次或多次以確定駕駛員的警告響應(yīng)時間以及訓練駕駛員關(guān)于預(yù)期會發(fā)生什么,使得他/她在稍后的時間不驚訝。在一些情況下,該初始測試能夠確定出駕駛員不適合駕駛車輛并且(經(jīng)由本領(lǐng)域的技術(shù)人員公知的任何車輛操作抑制系統(tǒng))防止他/她駕駛車輛。如果駕駛員是車輛的所有者,那么他/她應(yīng)該熟悉該系統(tǒng)的操作,如果他/她與先前時間的響應(yīng)不同,那么車輛操作能夠再次被抑制。
圖示于圖1的框圖圖示出乘員感測單元120以及車輛安全系統(tǒng)130之間的一個可行關(guān)系。光學以及電容監(jiān)控系統(tǒng)121連接至診斷和數(shù)據(jù)記錄模塊123,診斷和數(shù)據(jù)記錄模塊123核驗系統(tǒng)121是具有操作性的并且記錄任何錯誤代碼。如果識別了一組個人偏好并且關(guān)聯(lián)于車輛的正常駕駛員,那么光學以及電容監(jiān)控系統(tǒng)121還能夠記錄特定駕駛員的特定特性。記錄錯誤代碼以及識別的駕駛員的特定特性可以以本領(lǐng)域的技術(shù)人員公知的方式執(zhí)行,利用存儲在處理器可訪問的存儲介質(zhì)中的記錄數(shù)據(jù)。
以這種方式,光學以及電容監(jiān)控系統(tǒng)121將獲知駕駛員1的正常心率和呼吸率以及正常警告腦波圖案是什么,一旦通過訪問先前輸入存儲介質(zhì)的記錄數(shù)據(jù)而識別駕駛員,那么當它們發(fā)生時能夠更好地識別異常。例如,這種駕駛員可具有心跳暫停的歷史,而且必須公知的是,這不應(yīng)該是健康監(jiān)控系統(tǒng)關(guān)注的內(nèi)容,除非心跳暫停率增加,這能夠歸因于潛在醫(yī)療問題、酒精或者藥物濫用。在駕駛員的腦波中能夠檢測到類似引起的異常。例如,這種系統(tǒng)還可以用作生物計量測量以連同正常腦波、心率以及呼吸率一起識別駕駛員。
光學以及電容監(jiān)控系統(tǒng)121還能夠向乘客乘員識別以及定位系統(tǒng)122、常規(guī)使用光學傳感器以及駕駛員健康以及疲勞監(jiān)控系統(tǒng)124(見圖1)提供數(shù)據(jù)。乘員識別以及定位系統(tǒng)122連接于車輛空氣氣囊系統(tǒng)131并且控制車輛空氣氣囊系統(tǒng)131,這種控制是可變的并且包括引起氣囊系統(tǒng)131中的一個或多個氣囊的膨脹或者展開,氣囊系統(tǒng)131將被抑制用于面向后方的兒童座椅,例如。
駕駛員健康以及疲勞監(jiān)控系統(tǒng)124類似地連接至車輛警告以及核驗系統(tǒng)132,其測試駕駛員以觀察是否他或者她能夠操作車輛,如果不能,則由車輛控制系統(tǒng)133接管對車輛的控制。
圖2示出了示例性、非限制流程圖,示出駕駛員健康以及疲勞監(jiān)控例程的操作,用于此處描述的任何實施例。例程大致圖示在140,當調(diào)用時啟動,以在141獲得光學圖像和腦波數(shù)據(jù),獲得足夠圖像以允許確定駕駛員的心率、呼吸率、顏色以及運動,以及獲得足夠腦波以確定相關(guān)頻率數(shù)據(jù)。能夠使用顏色以輔助確定心率以及作為駕駛員健康的指示器。一旦獲得足夠圖像和腦波數(shù)據(jù),控制進行至這樣的模塊:在142獲得呼吸、在143獲得心跳、在144獲得運動以及顏色,在160從心波160分離腦波,以及在145建立或者記錄正常呼吸、在146建立或記錄正常心跳、在147建立或者記錄正常運動頻率以及顏色,以及在161建立或者記錄正常腦波,這些被稱為建立的呼吸率、心率、顏色以及典型乘員運動以及腦波。
用于每個這些功能的時間周期將通常顯著不同。小于一分鐘通常足以建立代表性腦波、顏色以及心率,若干分鐘通常足以建立代表性呼吸率,可能需要較長時間來建立特定駕駛員在操作車輛的同時如何典型地移動。正常運動的建立是這四個中最不重要的,這是由于當心跳、腦波、顏色或者呼吸率已經(jīng)檢測到異常時,正常運動的建立將主要變得重要。如果當存在顯著心跳事件時駕駛員已經(jīng)停止他的正常運動,那么這可以確認出駕駛員可能存在問題,而不是光學以及電容監(jiān)控系統(tǒng)121(可替換地考慮為健康監(jiān)控系統(tǒng))發(fā)生故障。此后,分別在148、149、150以及162獲得呼吸、心跳、運動以及腦波。
步驟151、152、153和163確定出所測量出的心跳、顏色、呼吸、運動以及腦波率中的任何一個是否是正常的,如果沒有,即如果一個是異常的,那么在步驟154,將警告以及反饋系統(tǒng)起動或激活。如果在步驟155駕駛員錯過由警告以及反饋系統(tǒng)生成的反饋測試,那么在步驟156,起動或激活控制車輛的例程。例如,在步驟156起動的車輛控制例程可以涉及:發(fā)送信號至用于嘗試與駕駛員通信以及然后實施車輛控制的遠程站點或者設(shè)備,假設(shè)車輛上存在足夠裝備以允許遠程操作員觀察駕駛條件、交通等,因而允許遠程操作員減速車輛并且引導車輛停到路肩。因為在大多數(shù)情形下這是不可能的,所以車輛上必須有足夠裝置以允許該例程進行閃爍緊急燈、捏喇叭和/或使車輛安全停止。此時,例程能夠可選地聯(lián)系合適的專家,使得一些人能夠被派遣至車輛。
當需要時一旦被所實施的軟件程序所命令,車輛控制例程156還可以通過車輛上的裝備部分地或者整體地執(zhí)行??刂茊卧饎榆囕v控制所需的裝備包括但并不限于這樣的設(shè)備,其聯(lián)接至轉(zhuǎn)向輪或者轉(zhuǎn)向系統(tǒng)、制動器或者制動系統(tǒng)、油門系統(tǒng)、變速器和/或發(fā)動機。這些設(shè)備可以通過軟件控制以降低車輛速度至停止并且指揮車輛到達安全區(qū)域,例如道路的側(cè)面或者路肩。因此車輛控制例程156可以對應(yīng)于或者包含聯(lián)接至車載部件的處理器以及控制裝備,車載部件實現(xiàn)車輛的操作,例如制動器、轉(zhuǎn)向輪以及油門,以及可能的伺服電動機或者致動器。鑒于此處公開的內(nèi)容,汽車領(lǐng)域的這些技術(shù)人員將易于理解實現(xiàn)車載控制的該結(jié)構(gòu)的操作方式。
雖然流程圖中未圖示,但是車輛乘員的心跳和腦波的存在以及特性能夠是有價值的信息,該信息能夠并且應(yīng)該通過通信單元傳遞至EMS人員,作為自動碰撞通知消息的一部分,如果該信息是可獲取的。因此,EMS人員將獲知乘員是否活著以及關(guān)于他們健康狀態(tài)的一些指示。這可以通過使用車輛(未示出)上的通信系統(tǒng)或者通信系統(tǒng)來實現(xiàn),車輛聯(lián)接至車輛安全系統(tǒng)130或者其一部分,并且獲取以及傳遞關(guān)于車輛乘員的信息。傳遞可以伴隨著車輛的定位,使用車輛上的或者遠離車輛的定位確定系統(tǒng)獲取,并且可以使用任何公知通信協(xié)議(包括使用因特網(wǎng))來實現(xiàn)。
圖3示出了示例性、非限制流程,圖示出用于此處描述的任何實施例的示例性、非限制性的警告以及反饋系統(tǒng)例程的操作。在180大致圖示了該例程。在例程180的第一步驟,在181,初始化警告設(shè)定計數(shù)器。第二步驟182是生成以及發(fā)送呈某些形式的消息以得到駕駛員的注意。該消息能夠為若干形式中的任何形式,例如聽覺的、視覺的、觸覺的,諸如能夠滿足要求的警告蜂鳴器或者閃光燈,但是這會混淆不熟悉系統(tǒng)的駕駛員。如果車輛裝備有將得到警覺的駕駛員注意的抬頭顯示器或者其他顯示器,那么消息能夠顯示在一個或多個這種顯示器上。優(yōu)選的消息使得合成的或者記錄的聲音向駕駛員發(fā)布消息。上述警告的組合仍然能夠更好。消息能夠命令駕駛員采取一些慎重行為,這些行為將不干涉他操作車輛的能力,但是將指示他已經(jīng)接收消息并且以及時方式作出響應(yīng)。
當足夠數(shù)據(jù)可獲取時能夠使用另一顯示器,其是光學或者其他視覺顯示器,其示出了或者以其他方式圖示出計算的駕駛員的清醒狀態(tài)。駕駛員能夠監(jiān)控該顯示器并且得到一個指示,該指示是關(guān)于系統(tǒng)是否認為他/她睡著或者以其他方式經(jīng)歷他/她操作車輛的能力的減小??吹剿?她逐漸變得昏昏欲睡的駕駛員能夠理想地計劃何時停車及休息或者喝杯咖啡。如果駕駛員確認系統(tǒng)是錯誤的,那么他/她還能夠提供反饋至系統(tǒng),系統(tǒng)能夠考慮該反饋以改善系統(tǒng)準確度。一個候選設(shè)備是來自麻州劍橋的環(huán)境設(shè)備公司(Ambient Devices)的環(huán)境球體(Ambient Orb),該球體被編程以基于狀態(tài)檢測系統(tǒng)的輸出而改變顏色。
在步驟182將消息發(fā)送至駕駛員之后,在183計數(shù)器遞增,在184系統(tǒng)等待響應(yīng)。如果響應(yīng)不是預(yù)期的響應(yīng),或者如果響應(yīng)是遲延的(所確定的遲延是相對于預(yù)定時間閾值,例如預(yù)定時間閾值可以是消息或者當前狀況的函數(shù)),那么在步驟185響應(yīng)被評定為不可接受。如果響應(yīng)被評定為可接受,那么在步驟188控制返回健康監(jiān)控例程。在不可接受的駕駛員響應(yīng)之后,在步驟186核查計數(shù)器的計數(shù),如果計數(shù)器超過一些預(yù)定限值,諸如三個,那么在步驟187起動車輛控制例程。如果計數(shù)器低于其限值,那么控制進行至步驟182,給予駕駛員響應(yīng)消息的另一機會。如圖3所示,例程返回步驟182以發(fā)送消息至駕駛員。但是,如果消息是連續(xù)消息,諸如在顯示器上的一個消息,那么例程能夠被編程以返回至遞增計數(shù)的步驟183(見圖3中的虛線)。
由于狀況能夠是威脅生命的,因此重要的是向駕駛員僅提供有限量時間來對消息進行反應(yīng)(在184的接收駕駛員響應(yīng)步驟)。在昏昏欲睡駕駛員的情形下,系統(tǒng)還能夠提供一些建議,尤其在多次檢測的異常之后,建議為駕駛員或許應(yīng)該進行休息。如果駕駛員不采納建議,以及存在駕駛員將實際上睡著的可能性,那么專家能夠被通知。這種通知可以是額外的或者可替換的以起動車輛控制例程187,見圖3的步驟189。該通知可以由通信系統(tǒng)或者傳遞系統(tǒng)(未示出在圖3中)提供,通信系統(tǒng)或者傳遞系統(tǒng)聯(lián)接至光學以及電容監(jiān)控系統(tǒng)121并且生成以及發(fā)送關(guān)于駕駛員未對所發(fā)送的消息在預(yù)定時間量提供響應(yīng)的適當消息。
已經(jīng)提議另一反饋系統(tǒng)以對要求駕駛員響應(yīng)的車輛操作提供一些改變,然后測量響應(yīng)時間。一個這種觀點是利用脈沖或者利用逐漸漂移車輛至道路一側(cè)而干擾轉(zhuǎn)向輪,然后測量時間有多快,即使駕駛員進行了響應(yīng)也如此。
圖2和圖3示出了可以被圖1中的乘員感測單元120以及警告以及車輛安全系統(tǒng)130的一個或多個處理器或其部件實施的算法。因此處理器的內(nèi)部結(jié)構(gòu)是實施在可讀計算機介質(zhì)中的一個或多個計算機程序,當被處理器執(zhí)行時,可讀計算機介質(zhì)執(zhí)行圖2和圖3圖示的流程圖中陳述的行為。用于處理器的指令將是根據(jù)圖2和圖3示出的算法所編譯的計算機代碼。
圖4A是光學監(jiān)控系統(tǒng)的視圖,光學監(jiān)控系統(tǒng)根據(jù)安裝在天花板204上或者天花板204附近的照相機和照明系統(tǒng)200來監(jiān)控駕駛員的臉。例如,一個優(yōu)選定位是在后視鏡202上或者鄰近后視鏡202(示意地圖示的),這是因為該位置通常能夠很好的看到駕駛員的臉并且不被遮陽板阻礙。光學監(jiān)控系統(tǒng)包括照相機(代表至少一個圖像獲取系統(tǒng))和照明源(代表至少一個照射設(shè)備),它們共同由照相機和照明系統(tǒng)200代表,其能夠是綠色或者電磁譜中的不可見部分,尤其,電磁譜中的紅外線(IR)部分。光學監(jiān)控系統(tǒng)還包括處理器或者處理單元,其聯(lián)接至照相機以及可選地照明源(處理器可以安置在參考圖4B描述的電子控制單元210中或者是電子控制單元210的一部分)。該處理器構(gòu)造為分析圖像以從圖像獲取信息或者數(shù)據(jù),具體地從圖像血管、毛細管和/或靜脈或者通常被成像的乘員(駕駛員)的臉中代表性皮膚區(qū)塊來獲取信息或數(shù)據(jù)。處理器還構(gòu)造為確定駕駛員的臉的正常顏色,然后分析當前顏色相對于正常顏色(例如,對比)以判斷駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力。
雖然在該描述的實施例中,駕駛員的臉被照射,在照射期間獲取其圖像,這部分地是由于臉是駕駛員最可能暴露的部分(即,未被阻擋照射的材料所覆蓋)的結(jié)果。不過,駕駛員的其他部分也可以被照射并且獲取其圖像。這些部分將優(yōu)選是駕駛員的暴露部分,從此處可以獲取從皮膚以及血管、毛細管和/或靜脈以及皮膚以及血的顏色的反射。
尤其,血將反射譜中的IR部分,因而允許獲取駕駛員的臉的血管、毛細管以及靜脈中血的更清晰的圖像,并且可見于由照相機和照明系統(tǒng)200的照相機所獲取的圖像中。然后血流的脈動能夠用以測量駕駛員的心率。尤其,通過處理器能夠分析心跳變化性,這是由于這允許確定駕駛員的睡意和/或其他屬性,或者更通常來講,確定駕駛員失去繼續(xù)控制車輛的能力(以下討論的)。
該技術(shù)的另一用途是使用駕駛員的臉中的血管、毛細管以及靜脈的圖案作為駕駛員的生物標識符。處理器將執(zhí)行該分析以識別駕駛員,然后基于關(guān)于生物識別的駕駛員的預(yù)設(shè)信息來控制車輛的啟動、調(diào)節(jié)就座條件、調(diào)節(jié)環(huán)境條件等。
如果照相機對較長波IR敏感,或者如果使用單獨的成像器,駕駛員的臉或者其部分的溫度還能夠通過溫度測量設(shè)備或者算法測量,并且相比于由溫度傳感器測量的環(huán)境溫度,以確定駕駛員的溫度是否正?;蛘咧甘踞t(yī)療問題。駕駛員的臉顏色以及總體運動還能夠被處理器跟蹤,例如使用跟蹤算法或者在處理器可訪問的軟件的控制或者命令下,以確定駕駛員的呼吸率。使用例如由處理器操作的圖案識別技術(shù),能夠在圖像中確定臉的位置。最終,由處理器所確定的在跳動或者它們絕對尺寸期間血毛細管、血管或者靜脈的尺寸改變程度能夠提供對駕駛員血壓的測量。
除了近紅外照明及遠紅外照明,已經(jīng)發(fā)現(xiàn)脈搏率最好從光譜的綠色部分中確定。因為血特定地能吸收500nm至600nm范圍的頻率,所以照明能夠包含該范圍中的頻率。因為綠色光能夠使駕駛員和車輛乘員分心,所以必須注意練習如何使用綠色光。一旦通過實施在通過處理器實施的計算機可讀介質(zhì)上的適當分析軟件已經(jīng)確定出駕駛員的臉位置,能夠選擇前額、臉頰、頸部或者其他方便位置上的區(qū)塊作為要照射的點。然后,經(jīng)由通過處理器控制照明源或者更通??刂茊卧?,能夠調(diào)節(jié)照射的量以及頻率,使得其幾乎沒有不高于,典型地不高于目前環(huán)境光水平的1%至10%。最終,其能夠仔細地聚焦,使得其不溢出以及照射駕駛員的眼睛。還應(yīng)該仔細選擇照明源的定位,使得反射不引起其他車輛乘客的注意。多個照明源可以還提供并且獨立使用或者組合使用以確保選擇地點能夠始終被照射。
綠色光還能夠經(jīng)由調(diào)制設(shè)備或者技術(shù)被調(diào)制,使得其能夠與環(huán)境光反射分離。這可能需要用于綠色光的接收設(shè)備是光電二極管或者等同結(jié)構(gòu),以允許調(diào)制被感測以及與環(huán)境光分離。
若干研究已經(jīng)發(fā)現(xiàn),由于綠色頻率,特定地540nm和580nm的綠色頻率最容易被吸收,反射的光的變化性最大,因而血流量率的變化性最易于被識別以及從該頻率范圍的光中被測量。
一旦照相機、處理器以及處理軟件已經(jīng)選擇一個點來監(jiān)控駕駛員的臉,那么在一段時間內(nèi)跟蹤該點是有益的。用于實現(xiàn)該跟蹤的技術(shù)討論于博爾戈貝洛●布麗奇特的"MIT開發(fā)的基于webcam的健康監(jiān)控鏡",MIT新聞辦公室,2010年10月5日,以及MIT關(guān)于該主題的其他公開物US20140276090,它們都可以使用在本發(fā)明中。
照相機和照明系統(tǒng)200還能夠用以跟蹤駕駛員的眼睛和眼瞼運動,正如在用于確定駕駛員警告的現(xiàn)有技術(shù)的眼睛跟蹤系統(tǒng)中討論的。正如以上提到的,這種系統(tǒng)能夠用以增強此處討論的監(jiān)控系統(tǒng),但是,當依靠單獨一個時,會產(chǎn)生與太陽鏡以及甚至普通眼鏡關(guān)聯(lián)的問題,這些鏡會頻繁擋住IR。
圖4B圖示了用于監(jiān)控駕駛員的臉的可選布置。在該實施方式中,照相機206安裝于儀表板的頂表面下方,在這種位置以通過擋風玻璃的表面208的反射以類似于抬頭顯示器的方式查看駕駛員的臉。該實施方式具有的優(yōu)勢為,較大照相機能夠使用較大分辨率,并且能夠包含聚焦硬件以及甚至在電子控制單元210的控制下的定向硬件以獲取更好地查看駕駛員的臉以及更精確地投影人造照明,尤其以上討論的綠色或其他顏色光的片段(patch)。在處理器以及適當?shù)目刂扑惴ɑ蛘咴陔娮涌刂茊卧?10中的程序的控制下,該片段投影將隨著駕駛員頭部的移動而移動。在這兩者情形下,可選方法是利用綠色或其他顏色光來照射駕駛員的臉的顯著部分,但是為了這樣做,以稍微高于環(huán)境光水平,并且仔細地使用以從環(huán)境反射中將其分離出。以其他方式,圖4B中的操作類似于圖4A的操作。如上所述,相同的電子控制單元210能夠用以分析駕駛員以用于疲勞信號,并且初始化警告,諸如要求駕駛員的反饋響應(yīng)的光214,諸如按下按鈕212、說出一個詞語、指向等。
在許多情形下,期望從接收器移動照明源,這能夠更容易觀察到血流量的改變。
存在許多額外監(jiān)控方法,這些方法能夠產(chǎn)生關(guān)于車輛駕駛員的健康以及狀態(tài)的重要信息。現(xiàn)在將提到這些方法中的一些,但是許多其他方法出現(xiàn)在關(guān)于患者監(jiān)控的醫(yī)療文獻中。
對于用于監(jiān)控心率及其變化特別有用的技術(shù)公開于參考文獻27和28US20140276090,其中普通照相機的使用協(xié)同適當算法以允許清晰測量駕駛員的心率。額外參考文獻29US20140267090公開了使用熱成像確定酒醉駕駛員。公開于這些參考文獻的所有技術(shù)都包含在本發(fā)明中用于使用駕駛員監(jiān)控。
期望的是,當可獲取時,分析程序?qū)⒖紤]其他信息,諸如溫度、血壓和血氧水平。這將取決于所使用的傳感器的特定系列,例如如果光學傳感器是僅使用的傳感器,這種信息將不可獲取。還能夠包括的其他信息包括車道偏離、轉(zhuǎn)向輪運動、車輛速度以及加速、當日時間、頭部和身體運動、眼睛的狀態(tài)和眨眼率、注視方向和持續(xù)時間、以及乘員和車輛的任何其他測量的屬性,以及車輛如何被駕駛。和/或環(huán)境。
取決于可獲取的信息,分析中能夠包括的其他因素包括:
1.通過移除頻率低于大約0.67Hz(40bmp)且高于大約1.67Hz(100bmp)的信號來輔助脈沖恢復。
2.在睡眠期間心率減小大約5-40%。
3.在睡眠期間血壓減小至駕駛員清醒時其值的大約77-80%。
4.總譜功率以及其各分量的絕對值在睡眠的不同階段HF(ms2)1148±1148(失眠)2277±2878(階段2,非REM)1777±2789(階段4,非REM)2073±3158(REM睡眠)
5.在入睡過程中LF/HF比降低。
6.在睡眠期間“HRV”非常大。也即,睡著的人的一個心跳間隔可以是大約0.9秒,下一個心跳間隔是大約1.3秒,而清醒的人是大約0.7至大約0.8秒。(心率隨著時間變化,心率變化性公知為首字母縮寫HRV。HRV是連續(xù)心跳之間的間隔的振蕩的測量)
7.典型地,睡眠和清醒階段期間心臟診斷中的差異反應(yīng)在心跳間隔的平均偏差(睡著時更高)和標準偏差(睡著時更低)中。
重要的是記住,EEG結(jié)果證明,精確地在數(shù)量上估計駕駛性能是可行的。因而,最佳系統(tǒng)將測量EEG,這在現(xiàn)在不是經(jīng)濟可行的,但是在未來可能是經(jīng)濟可行的。尤其,普萊思EPIC傳感器系列示出了提供該能力的期望。
以上提到的其他因素包括血氧、乘員的臉的顏色或者運動。
圖5圖示了電容傳感器310的布置,其用于獲取腦波,安裝在乘員302穿戴的安全帶304上。這些傳感器310的構(gòu)造描述于以上提到的專利并且通過參考并入此處。對于本發(fā)明的一些實施例來說,傳感器310布置、安裝在安全帶304上或者集成至安全帶304中,使得當安全帶304被穿戴時,傳感器310將位于安全帶304的在乘員302前面的部分上,并且理想地靠近乘員心臟或者在乘員心臟的前面。通過使不同尺寸的乘員坐在座椅中,該定位可以在預(yù)制造階段被確定,然后將安全帶304放在座椅上,然后在安全帶30 4上標記他們的心臟所在的位置。然后標記的位置能夠被認為用于放置傳感器310,視野盡可能多的覆蓋很多不同尺寸的乘員。不同的安全帶304可以具有不同位置的傳感器310。
乘員302可以是車輛駕駛員,在該情形下,根據(jù)上述技術(shù)可以使用從傳感器310的數(shù)據(jù)或者信號得出的關(guān)于駕駛員的數(shù)據(jù)。代替電容傳感器310,可以使用能夠獲取相同數(shù)據(jù)或者信號的其他傳感器或者一個或多個傳感器的傳感器布置,將其他布置或者安裝在安全帶304上或者集成至安全帶304中。
其他反應(yīng)部件可以聯(lián)接至處理器并且執(zhí)行感知測試,包括需要對提示進行口頭響應(yīng)、視覺響應(yīng)或者手勢響應(yīng),例如。因而,反應(yīng)部件可以是這樣的,其要求來自駕駛員的反饋,即語音檢測。換句話說,如果駕駛員已經(jīng)在看著道路,那么他能夠口頭地告訴系統(tǒng)他是清醒的以及集中注意的。
處理器使用的另一因素是駕駛員不向前看道路時的時間量。如果時間量超過例如2秒,那么處理器將在確定其不專心時使用該因素。又一因素是頭部方位,這可以通過分析駕駛員的圖像來確定。大多數(shù)時間駕駛員向前看,因此在大多數(shù)時間駕駛員的頭部的位置可以認為是正常位置,該位置的變化持續(xù)一延長時間段可以指示駕駛員的不專心。
雖然上文公開的技術(shù)的主要應(yīng)用是用于防止由于駕駛員睡意引起的事故,但是其他應(yīng)用可是應(yīng)用該技術(shù)至飛機飛行員以及火車指揮者(或者更通常是車載操作員)以及汽車和飛機的其他乘客(或者更通常是車載乘員)以檢測應(yīng)該接收立即注意的醫(yī)療條件,諸如正如以下將討論的心臟病、癲癇以及中風。因而,正如此處使用的,駕駛員應(yīng)該被認為包括操作員或者車輛、車輛的指揮者、車輛的駕駛者等。
本發(fā)明能夠以多種方式實施,包括潛在地作為一個處理;裝置;系統(tǒng);實施為計算機可讀存儲介質(zhì)上的計算機程序產(chǎn)品;和/或處理器,諸如構(gòu)造為實施存儲在聯(lián)接至處理器的內(nèi)存中的指令和/或由聯(lián)接至處理器的內(nèi)存提供的指令的處理器。在該說明書中,這些實施方式,或者本發(fā)明可以采用的任何其他形式可以稱為技術(shù)。總之,在本發(fā)明的范圍內(nèi)公開的處理的步驟的順序可以更改。
雖然上文圖示了以及描述了若干優(yōu)選實施例,但是存在可能的組合,這些組合使用其他幾何構(gòu)造、傳感器、材料以及用于執(zhí)行相同功能的部件的不同尺寸。至少此處公開的發(fā)明中的一個并不限于上述實施例,而是應(yīng)該通過以下權(quán)利要求確定。除了上述這些應(yīng)用還存在多個額外應(yīng)用。但是,在考慮本說明書和公開其優(yōu)選實施例的附圖之后,本發(fā)明的許多改變、修改、變化以及其他用途以及應(yīng)用對本領(lǐng)域的技術(shù)人員將變得顯而易見。不背離本發(fā)明的精神和范圍的所有這種改變、修改、變化以及其他用途以及應(yīng)用將被視為被僅由以下權(quán)利要求限制的本發(fā)明覆蓋。
權(quán)利要求書(按照條約第19條的修改)
1.一種用于監(jiān)控車輛中的駕駛員的方法,包括:
使用至少一個圖像獲取設(shè)備獲取駕駛員的圖像;
使用至少一個傳感器獲取來自駕駛員的腦波;
使用處理器分析所述圖像以得出在乘員臉上至少一個血管、毛細管以及靜脈中血流量的測量;以及
使用相同的所述處理器或者額外處理器分析一段時間內(nèi)血流量和所獲取的腦波以基于一段時間內(nèi)血流量和所獲取的腦波來確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力,失去繼續(xù)控制車輛的能力出現(xiàn)在初始已經(jīng)清醒或者以其他方式能夠控制車輛之后駕駛員變得昏昏欲睡、睡著或者以其他方式不能夠控制車輛時。
2.根據(jù)權(quán)利要求1所述的方法,進一步包括一旦確定出駕駛員已經(jīng)失去繼續(xù)控制車輛的能力,就采取行動以實現(xiàn)所述車輛的操作的改變。
3.根據(jù)權(quán)利要求1所述的方法,進一步包括在已經(jīng)確定出駕駛員已經(jīng)失去繼續(xù)控制車輛的能力之后,需要由駕駛員行動以指示重新獲取控制車輛的移動的能力。
4.根據(jù)權(quán)利要求1所述的方法,進一步包括:
通知駕駛員其已經(jīng)失去繼續(xù)控制車輛的能力的確定;
需要駕駛員對所述通知產(chǎn)生響應(yīng);
監(jiān)控駕駛員對所述通知的響應(yīng);然后
基于監(jiān)控駕駛員對所述通知的響應(yīng)來控制車載操作。
5.根據(jù)權(quán)利要求1所述的方法,進一步包括使用相同的所述處理器或者額外處理器分析所獲取的圖像以得出駕駛員的臉顏色的測量,分析一段時間內(nèi)血流量和所獲取的腦波的步驟包括分析一段時間內(nèi)駕駛員的臉顏色結(jié)合分析一段時間內(nèi)的血流量以及所獲取的腦波以基于一段時間內(nèi)駕駛員的臉顏色、一段時間內(nèi)血流量和所獲取的腦波來確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力,所述步驟包括分析駕駛員的臉顏色的變化。
6.根據(jù)權(quán)利要求5所述的方法,其中,使用處理器分析所述圖像以得出駕駛員的臉顏色的測量的步驟包括確定駕駛員的臉的正常顏色,分析一段時間內(nèi)駕駛員的臉顏色以確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力的步驟包括比較駕駛員的臉的當前顏色與駕駛員的臉的正常顏色。
7.根據(jù)權(quán)利要求1所述的方法,進一步包括使用圖案識別以從通過所述至少一個成像設(shè)備獲取的圖像中確定駕駛員的臉的位置。
8.根據(jù)權(quán)利要求1所述的方法,其中,使用至少一個圖像獲取設(shè)備獲取駕駛員的圖像的所述步驟包括獲取至少一個初始圖像,
進一步包括分析所述至少一個初始圖像以確定駕駛員的臉的位置以及選擇用于紅外照明的駕駛員的臉的一部分;然后
使用至少一個照射設(shè)備用電磁輻射僅照射駕駛員的臉的選定部分。
9.根據(jù)權(quán)利要求1所述的方法,進一步包括分析所述圖像以檢測在乘員臉上至少一個血管、毛細管以及靜脈中的血液中酒精或者藥物的存在。
10.根據(jù)權(quán)利要求1所述的方法,進一步包括在使用至少一個圖像獲取設(shè)備獲取被照射的駕駛員的圖像之前,使用至少一個照射設(shè)備用電磁輻射來照射駕駛員的一部分,使得所述圖像是駕駛員的被照射部分的圖像。
11.根據(jù)權(quán)利要求10所述的方法,其中,所述至少一個照射設(shè)備和所述至少一個成像設(shè)備安置在共享單元中。
12.根據(jù)權(quán)利要求10所述的方法,其中,使用至少一個照射設(shè)備用電磁輻射來照射駕駛員的所述步驟包括利用范圍從大約500nm至大約600nm的紅外照明來照射駕駛員。
13.根據(jù)權(quán)利要求10所述的方法,其中,所述至少一個照射設(shè)備、所述至少一個成像設(shè)備和所述處理器共同定位,進一步包括將對一段時間內(nèi)的血流量和獲取的腦波的分析傳遞至遠程位置,所述遠程位置與所述至少一個照射設(shè)備、所述至少一個成像設(shè)備和所述處理器共同定位的位置分離且隔開。
14.根據(jù)權(quán)利要求10所述的方法,其中,所述至少一個照射設(shè)備和所述至少一個成像設(shè)備布置在共享框架上。
15.根據(jù)權(quán)利要求10所述的方法,進一步包括通過如下步驟來確定使用所述至少一個照射設(shè)備利用電磁輻射要照射的駕駛員的所述一部分:
使用所述至少一個照射設(shè)備利用電磁輻射來照射人;
使用所述至少一個圖像獲取設(shè)備獲取被照射的人的初始圖像;
使用所述處理器分析所述初始圖像以確定人的臉的位置;然后
基于確定的臉位置來選擇被照射的人的一部分,選定部分小于獲取所述初始圖像所照射的人的部分。
16.根據(jù)權(quán)利要求15所述的方法,進一步包括監(jiān)控所選擇的用于照射的駕駛員的臉的部分的移動。
17.根據(jù)權(quán)利要求1所述的方法,其中,使用至少一個傳感器獲取來自駕駛員的腦波的所述步驟包括從駕駛員穿戴的安全帶上的至少一個電容傳感器獲取腦波數(shù)據(jù)。
18.一種用于監(jiān)控車輛中的駕駛員的系統(tǒng),包括:
光學感測單元,其包括:
至少一個圖像獲取設(shè)備,其獲取駕駛員的圖像;
至少一個傳感器,其獲取關(guān)于駕駛員的腦波數(shù)據(jù);以及
處理器,其聯(lián)接至所述至少一個圖像獲取設(shè)備以及所述至少一個傳感器,分析所獲取的圖像以及所獲取的腦波數(shù)據(jù)以得出在所述乘員的臉上至少一個血管、毛細管以及靜脈中血流量的測量,然后分析一段時間內(nèi)的血流量和所獲取的腦波以基于一段時間內(nèi)的血流量和所獲取的腦波來確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力,失去繼續(xù)控制車輛的能力出現(xiàn)在初始已經(jīng)清醒或者以其他方式能夠控制車輛之后駕駛員變得昏昏欲睡、睡著或者以其他方式不能夠控制車輛時;以及
車輛安全系統(tǒng),其聯(lián)接至所述乘員感測單元并且包括:
警告以及核驗系統(tǒng),其構(gòu)造為在已經(jīng)確定出其已經(jīng)失去繼續(xù)控制車輛的能力之后,測試駕駛員以觀察駕駛員是否能夠操作所述車輛;以及
車輛控制系統(tǒng),當所述警告以及核驗系統(tǒng)確定出駕駛員不能夠操作所述車輛時其控制車輛。
19.根據(jù)權(quán)利要求18所述的系統(tǒng),進一步包括安全帶,其構(gòu)造為被駕駛員穿戴;所述至少一個傳感器布置于所述安全帶的當駕駛員穿戴所述安全帶時適于位于駕駛員前面的一部分上。
20.根據(jù)權(quán)利要求18所述的系統(tǒng),其中,所述處理器進一步構(gòu)造為分析所獲取的圖像以得出駕駛員的臉顏色的測量,然后分析一段時間內(nèi)駕駛員的臉顏色結(jié)合分析一段時間內(nèi)的血流量以及獲取的腦波以基于一段時間內(nèi)駕駛員的臉顏色、一段時間內(nèi)血流量和所獲取的腦波來確定駕駛員是否已經(jīng)失去繼續(xù)控制車輛的能力,失去繼續(xù)控制車輛的能力出現(xiàn)在初始已經(jīng)清醒或者以其他方式能夠控制車輛之后駕駛員變得昏昏欲睡、睡著或者以其他方式不能夠控制車輛時。