本發(fā)明總體上涉及一種操作者疲勞監(jiān)測系統(tǒng)，并且更特別地涉及一種用于監(jiān)測如列車機(jī)車等機(jī)器的操作者的疲勞的系統(tǒng)。

背景技術(shù)：

疲勞是運(yùn)輸業(yè)中公知的問題。操作者在對機(jī)器進(jìn)行較長時(shí)間的控制之后將會感到疲倦。某些機(jī)器需要操作者反復(fù)地移動，這可讓人感到疲憊，而其他機(jī)器只需要操作者進(jìn)行很少的移動，這可帶來困意。在任何一種情況下，操作者都可能失去一部分集中注意力的能力，并且操作者的注意力都可能會變得遲鈍。這可能會導(dǎo)致錯誤的機(jī)器控制、延遲的機(jī)器控制或者機(jī)器控制的缺失。這些結(jié)果中的任何結(jié)果都可能帶來生產(chǎn)效率、收益率和安全性方面的損失。

一種用于幫助操作者保持警覺的示例性系統(tǒng)通常稱為警惕性控制裝置。警惕性控制裝置包括連接至計(jì)時(shí)器的燈具和發(fā)聲器。操作者需要以受計(jì)時(shí)器控制的最小頻率來提供某些類型的輸入。如果沒有在特定時(shí)段內(nèi)接收到輸入，則以閃爍燈或發(fā)聲警報(bào)器的形式發(fā)出警告。如果操作者仍然沒有提供任何輸入，則警惕性控制裝置自動地實(shí)施形式為機(jī)器減速或者機(jī)器制動器的激活的懲罰。這種系統(tǒng)在麻省理工學(xué)院人車實(shí)驗(yàn)室于2006年11月20日發(fā)表的標(biāo)題為“機(jī)車駕駛室內(nèi)報(bào)警器技術(shù)評估”的出版物(“報(bào)警器出版物”)中進(jìn)行了描述。

除了描述常規(guī)的基于活動的報(bào)警器之外，報(bào)警器出版物還描述了在沒有操作者輸入的情況下自動地檢測操作者疲勞的新型報(bào)警器。特別地，自動報(bào)警器依賴于操作者的視頻圖像，并且使用計(jì)算機(jī)機(jī)器視覺算法來識別視頻圖像中的具體特點(diǎn)(例如，頭部姿勢、視線方向以及眼瞼位置)?；谶@些特征，自動報(bào)警器隨后產(chǎn)生以上所述的警告和/或懲罰。

盡管常規(guī)報(bào)警器和自動報(bào)警器在使操作者保持警惕和警覺方面都可以提供一些益處，但是它們也都存在有缺點(diǎn)。例如，已經(jīng)確定了常規(guī)報(bào)警器促使作出避免警醒式警告被激活的先發(fā)行為。此外，已經(jīng)發(fā)現(xiàn)的是，隨著時(shí)間的推移，列車操作者可變得習(xí)慣于向報(bào)警器提供輸入，這變成了一種不需要集中注意力且甚至在睡覺時(shí)就能完成的反射性活動。另外，自動報(bào)警器有時(shí)會誤讀操作者的臉部，尤其是在光照條件不足時(shí)、在操作者佩戴了眼鏡時(shí)或者在其他類似條件期間。

本發(fā)明旨在克服以上所述的一個(gè)或多個(gè)缺點(diǎn)和/或現(xiàn)有技術(shù)的其他問題。

技術(shù)實(shí)現(xiàn)要素：

在一個(gè)方面，本發(fā)明涉及用于機(jī)器的疲勞監(jiān)測系統(tǒng)。疲勞監(jiān)測系統(tǒng)可以包括配置為產(chǎn)生表示機(jī)器操作者所執(zhí)行的活動的第一信號的輸入裝置、配置為產(chǎn)生表示機(jī)器操作者的識別特征的第二信號的掃描裝置、以及警告裝置。疲勞監(jiān)測系統(tǒng)還可以包括與輸入裝置、掃描裝置和警告裝置通信的控制器?？刂破骺梢耘渲脼榇_定第一信號的產(chǎn)生之間的時(shí)間，以將識別特征與閾值特征進(jìn)行比較并且基于時(shí)間或比較選擇性地激活警告裝置。

在另一個(gè)方面，本發(fā)明涉及另一種用于機(jī)器的疲勞監(jiān)測系統(tǒng)。該疲勞監(jiān)測系統(tǒng)可以包括配置為產(chǎn)生表示機(jī)器操作者所執(zhí)行的活動的第一信號的輸入裝置、配置為產(chǎn)生表示機(jī)器操作者的識別特征的第二信號的掃描裝置、警告裝置、以及與輸入裝置、掃描裝置和警告裝置通信的控制器。控制器可以配置為確定第一信號的產(chǎn)生之間的時(shí)間，以當(dāng)?shù)谝恍盘柕漠a(chǎn)生之間的時(shí)間超過第一閾值時(shí)間時(shí)選擇性地實(shí)施第一水平響應(yīng)，并且當(dāng)?shù)谝恍盘柕漠a(chǎn)生之間的時(shí)間超過大于第一閾值時(shí)間的第二閾值時(shí)間時(shí)選擇性地實(shí)施第二水平響應(yīng)。控制器還可以配置為將識別特征與閾值特征進(jìn)行比較并且基于比較選擇性地實(shí)施第二水平響應(yīng)。

在又一個(gè)方面，本發(fā)明涉及一種監(jiān)測機(jī)器操作者的疲勞的方法。該方法可以包括接收表示機(jī)器操作者所執(zhí)行的活動的第一信號，并且掃描機(jī)器操作者的面部特征。該方法還可以包括確定輸入的接收之間的時(shí)間，并且將特征與閾值特征進(jìn)行比較。該方法還進(jìn)一步包括基于時(shí)間或比較選擇性地激活警告裝置。

附圖說明

圖1為示例性公開機(jī)車的等距圖；

圖2為可以形成圖1的機(jī)車的一部分的示例性公開駕駛室的等距圖；

圖3為可以與圖1和圖2的機(jī)車和駕駛室相結(jié)合使用的示例性公開疲勞監(jiān)測系統(tǒng)的示意圖；以及

圖4為描繪了可以由圖3的疲勞監(jiān)測系統(tǒng)執(zhí)行的示例性公開方法的流程圖。

具體實(shí)施方式

圖1圖示了示例性移動機(jī)器10。在所公開的示例中，機(jī)器10為機(jī)車。然而可以設(shè)想的是，如果需要，機(jī)器10可以體現(xiàn)為另一種類型的機(jī)器。例如，機(jī)器10可以體現(xiàn)為公路用或非公路用拖運(yùn)卡車、施工機(jī)器或行業(yè)車輛。可選地，機(jī)器10能夠是固定機(jī)器，例如需要操作者持續(xù)關(guān)注的發(fā)電機(jī)組、泵或鉆機(jī)。其他類型的機(jī)器也是可以的。

作為機(jī)車，機(jī)器10可以包括通過多個(gè)載重卡車14(圖1中僅示出了一個(gè)載重卡車14)支撐在相對端處的車身12。每一個(gè)載重卡車14可以配置為經(jīng)由多個(gè)車輪16接合軌道15(僅在圖2中示出)，并且支撐車身12的車架18。一個(gè)或多個(gè)制動裝置20可以與特定載重卡車14的一個(gè)或所有車輪16相關(guān)聯(lián)，并且任意數(shù)量的發(fā)動機(jī)(未示出)可以安裝至車身12內(nèi)的車架18上并且驅(qū)動連接來推動車輪16。可以借助由車架18支撐的操作者駕駛室22來提供對車輪制動和發(fā)動機(jī)燃料加注的控制(以及其他機(jī)車控制)。

圖2中示出了示例性駕駛室22的內(nèi)部。如本附圖中可以看出的，駕駛室22可以容納多個(gè)輸入裝置24。輸入裝置24可以由操作者用來控制機(jī)器10，并且可以體現(xiàn)為本領(lǐng)域已知的任何類型的裝置。例如，輸入裝置24可以尤其包括配置為控制機(jī)器10的燃料加注的節(jié)流閥和配置為控制機(jī)器10的制動的制動桿。輸入裝置24可以是桿、踏板、車輪、旋鈕、推拉式裝置、觸摸屏顯示器等。

在所公開的實(shí)施例中，機(jī)器操作者的移動和其他活動可以追蹤到駕駛室22的內(nèi)部。這些移動和/或活動可以包括使用輸入裝置24。例如，除了產(chǎn)生用于控制機(jī)器操作的控制信號之外，疲勞監(jiān)測系統(tǒng)26(“系統(tǒng)”-如圖3所示)還可以監(jiān)測并使用輸入裝置24所產(chǎn)生的一個(gè)或多個(gè)信號，以作為確定操作者是否疲勞的方式。特別地，基于輸入裝置使用的頻率，系統(tǒng)26可能能夠確定操作者是否警覺(例如，當(dāng)頻繁地接收到輸入時(shí))、是否略微感到疲勞(例如，當(dāng)輸入頻率降低時(shí))、是否明顯感到疲勞(例如，當(dāng)零星地接收到輸入時(shí))或者甚至是否睡著了(例如，當(dāng)沒有接收到輸入時(shí))。在一些實(shí)施例中，專用輸入裝置24可以用于此目的。也就是說，可以將特定的輸入裝置24提供來僅用于證明操作者警覺性的目的。為了展示出期望水平的警覺性，機(jī)器操作者必須以最小頻率來操縱此專用輸入裝置24。

除了將輸入裝置24的頻率用作為確定機(jī)器操作者的疲勞水平的方式之外，系統(tǒng)26還可以將監(jiān)測硬件用于這種相同的目的。例如，系統(tǒng)26可以單獨(dú)地或者與一個(gè)或多個(gè)光源30一起包括掃描儀28。在所公開的示例中，掃描儀28為IR掃描儀(例如，攝像頭)，并且光源30產(chǎn)生僅掃描儀28可見的以便由掃描儀28在低光照條件期間使用的IR光。如果需要，也可以可選地將其它類型的掃描儀和/或光源用于此目的。掃描儀28和光源30可以位于駕駛室22內(nèi)，例如位于中央控制面板內(nèi)面向機(jī)器操作者。

如圖3所示，系統(tǒng)26可以包括與輸入裝置24、掃描儀28和光源30通信的控制器32。控制器32可以配置為接收這些部件所產(chǎn)生的信號、基于信號確定操作者疲勞水平以及選擇性地激活一個(gè)或多個(gè)警告裝置34和/或懲罰裝置36。在所公開的示例中，示出了兩個(gè)警告裝置34，其中包括音頻警告裝置和視覺警告裝置。可以設(shè)想的是，任意數(shù)量和/或類型的警告裝置34可以被使用并位于機(jī)器10上的任何地方(例如，駕駛室22內(nèi))。懲罰裝置36可以是當(dāng)確定操作者經(jīng)過閾值量之后變得疲勞時(shí)(例如，當(dāng)操作者無響應(yīng)時(shí))由控制器32用來自動地調(diào)節(jié)機(jī)器10的操作的裝置。在所公開的示例中，懲罰裝置36是用來自動地激活與車輪16相關(guān)聯(lián)的制動裝置20的致動器。在一些實(shí)施例中，這個(gè)相同的致動器(或者另一個(gè)致動器)可以用于同時(shí)地(或分開地)減少機(jī)器10的發(fā)動機(jī)的燃料加注。

控制器32可以體現(xiàn)為包括用于響應(yīng)于所接收的信號來控制機(jī)器10的(例如，系統(tǒng)26的)操作的裝置的單個(gè)微處理器或多個(gè)微處理器。許多市場上可買到的微處理器都可以配置為執(zhí)行控制器32的功能。應(yīng)該理解，控制器32能夠容易地體現(xiàn)為能夠控制多種機(jī)器功能的通用機(jī)器微處理器?？刂破?2可以包括存儲器、輔助儲存裝置、處理器、計(jì)時(shí)器以及用來運(yùn)行應(yīng)用程序的任何其他部件。各種其他電路可以與控制器32相關(guān)聯(lián)，例如，電源電路、信號調(diào)節(jié)電路、電磁驅(qū)動器電路以及其它類型的電路。

圖4圖示了控制器32執(zhí)行的示例性方法。圖4將在下面的部分中進(jìn)行詳細(xì)論述，從而進(jìn)一步解釋所公開的概念。

工業(yè)實(shí)用性

本發(fā)明的疲勞監(jiān)測系統(tǒng)可以適用于操作者警覺性比較重要的任何機(jī)器。所公開的疲勞監(jiān)測系統(tǒng)可以通過監(jiān)測操作者的活動水平并且還通過監(jiān)測操作者的特征(例如，面部特征)來幫助使操作者保持警覺。當(dāng)疲勞監(jiān)測系統(tǒng)確定操作者疲勞時(shí)，可以判斷出疲勞水平，并且可以采取多種不同的行動來警示操作者和/或超越操作者控制的權(quán)限并確保安全的機(jī)器操作?，F(xiàn)將詳細(xì)地描述疲勞監(jiān)測系統(tǒng)26的操作。

在機(jī)器10的操作期間，系統(tǒng)26可以用于確定操作者的疲勞水平并對其作出響應(yīng)?？刂破?2可以通過啟動內(nèi)部計(jì)時(shí)器并發(fā)起操作者的掃描來發(fā)起此過程(步驟400)?？梢酝ㄟ^激活掃描儀28并且(在某些情況下)還激活光源30來發(fā)起掃描。基于掃描儀28所生成的圖像和/或視頻，控制器32隨后可以確定操作者是否疲勞(步驟405)。特別地，控制器32可以將操作者的掃描圖像與存儲器中存儲的一個(gè)或多個(gè)圖像進(jìn)行比較。例如，控制器32可以從掃描圖像中確定出實(shí)際的頭部姿勢，并且將實(shí)際的頭部姿勢與對應(yīng)于不同的操作者疲勞水平的一個(gè)或多個(gè)頭部姿勢進(jìn)行比較。在另一個(gè)示例中，控制器32可以從掃描圖像中計(jì)算出眼部位置或眨眼頻率，并且將眼部位置和/或眨眼頻率與閾值位置或頻率進(jìn)行比較?？梢粤硗獾鼗蛘呖蛇x地在掃描圖像中捕獲其他操作者特征，并將其與存儲器中存儲的對應(yīng)于不同的操作者疲勞水平的信息進(jìn)行比較。

之后，基于這些比較，控制器32可以確定操作者疲勞水平是否與需要控制器32進(jìn)行動作的特定水平相對應(yīng)。例如，控制器32可以確定操作者的疲勞水平是處于水平1、水平2還是水平3(步驟410)。在所公開的實(shí)施例中，水平1疲勞可以對應(yīng)于略微感到疲勞的操作者，其中響應(yīng)時(shí)間和/或判斷力可能多少受到損害。水平2疲勞可以對應(yīng)于明顯感到疲勞的操作者，其中響應(yīng)時(shí)間和/或判斷力明顯受到損害。水平3疲勞可以對應(yīng)于無響應(yīng)的操作者(例如，已經(jīng)睡著的操作者)?？梢栽O(shè)想的是，如果需要，系統(tǒng)26可以利用任意數(shù)量的疲勞水平和/或疲勞水平可以具有不同的含義。

當(dāng)控制器32基于操作者的掃描而確定出操作者的疲勞水平為水平1時(shí)，控制器32可以激活水平1輸出下的警告裝置34并且還將對應(yīng)的故障狀況記入日志(步驟415)。在所公開的實(shí)施例中，水平1警告可以包括僅視覺警告裝置34被激活，目的在于警示操作者并消除操作者的疲勞。

當(dāng)控制器32基于操作者的掃描而確定出操作者的疲勞水平為水平2時(shí)，控制器32可以激活水平2輸出下的警告裝置34并且還將對應(yīng)的故障狀況記入日志(步驟420)。在所公開的實(shí)施例中，水平2警告可以包括僅音頻警告裝置34被激活或者視覺和音頻警告裝置34都被激活，目的在于在較大程度上警示操作者并消除操作者的疲勞。

當(dāng)控制器32基于操作者的掃描而確定出操作者的疲勞水平為水平3時(shí)，控制器32可以激活懲罰裝置36并且還將對應(yīng)的故障狀況記入日志(步驟425)。在一些應(yīng)用中，控制器32可以另外將故障狀況傳送(例如，經(jīng)由無線通信)至其他個(gè)人機(jī)載機(jī)器10和/或另一個(gè)位置(例如，傳送至中央服務(wù)設(shè)施)。在所公開的實(shí)施例中，懲罰裝置36的激活可能導(dǎo)致發(fā)動機(jī)燃料加注的減少、制動裝置20的激活或者這兩者，目的在于超越操作者的權(quán)限并使機(jī)器10減速或停下來。

即使操作者的掃描沒有展示出操作者出現(xiàn)了疲勞，但是，操作者仍然能夠處于疲勞狀態(tài)，并且這種疲勞僅僅通過掃描是無法檢測到的。因此，如果在步驟405中確定操作者沒有疲勞，則控制器32可以檢查操作者的活動水平以確定自從經(jīng)由裝置24從操作者接收到輸入之后是否經(jīng)過了第一時(shí)間閾值(步驟430)。如果沒有經(jīng)過第一時(shí)間閾值，則控制器32可以確定是否已經(jīng)從操作者接收到了任何輸入(步驟435)。當(dāng)從操作者接收到了輸入，計(jì)時(shí)器可以進(jìn)行重置，并且控制可以返回至步驟400?？刂瓶梢砸圆襟E405、430和435進(jìn)行循環(huán)，直到接收到了輸入或者直到已經(jīng)經(jīng)過了第一時(shí)間閾值。在所公開的實(shí)施例中，第一時(shí)間閾值可以是大約45秒，但是其他時(shí)間閾值也是可以利用的。

如果在沒有來自操作者的額外輸入的情況下經(jīng)過了第一時(shí)間閾值，則控制器32可以激活水平1警告并且將對應(yīng)的故障狀況記入日志(步驟415)。控制器32隨后可以繼續(xù)監(jiān)測操作者輸入以確定之后是否接收到了輸入(步驟440)，并且還繼續(xù)提供水平1下的警告。與以上所述的步驟435一樣，一旦接收到了輸入，控制可以進(jìn)行至步驟400，并且計(jì)時(shí)器可以進(jìn)行重置。然而，如果確定在沒有操作者輸入的情況下已經(jīng)經(jīng)過了大于第一時(shí)間閾值的第二時(shí)間閾值(步驟445)，則控制器32可以激活水平2下的警告裝置34并且將對應(yīng)的故障狀況記入日志(步驟420)。

再一次地，控制器32可以在水平2下的警告裝置34被激活之后監(jiān)測操作者輸入，以確定之后是否接收到了輸入(步驟450)、繼續(xù)追蹤時(shí)間以及繼續(xù)激活警告裝置34。與以上所述的步驟435和440一樣，一旦接收到了輸入，控制可以進(jìn)行至步驟400，并且計(jì)時(shí)器可以進(jìn)行重置。然而，如果控制器32確定在沒有操作者輸入的情況下已經(jīng)經(jīng)過了大于第一時(shí)間閾值的第三時(shí)間閾值(步驟455)，則控制器32可以激活懲罰裝置36、將故障狀況記入日志和/或?qū)⒃撊罩緜魉徒o其他人員或非機(jī)載服務(wù)實(shí)施(步驟425)。

在未示出的可選實(shí)施例中，控制器32可以配置為基于操作者的掃描圖像僅僅檢測疲勞事件的存在(即沒有對事件進(jìn)行量化)。并且基于事件的存在，立刻發(fā)起水平2和/或3警告和/或激活懲罰裝置36。其他控制策略也是可以的。

可以設(shè)想的是，如果需要，系統(tǒng)26可以是基于疲勞的系統(tǒng)與現(xiàn)有報(bào)警器系統(tǒng)的組合。例如，現(xiàn)有報(bào)警器系統(tǒng)可以只基于從操作者接收到的輸入的頻率來產(chǎn)生作用，直到系統(tǒng)26視覺上檢測到了操作者的一些最小水平的疲勞。在本實(shí)施例中，系統(tǒng)26可以僅在檢測到了最小疲勞水平之后才對常規(guī)報(bào)警器系統(tǒng)產(chǎn)生影響。并且當(dāng)檢測到了最小疲勞水平時(shí)，系統(tǒng)26可以立刻發(fā)起最大水平的音頻和/或視覺警告。這能夠有助于將操作者從裝有常規(guī)報(bào)警器系統(tǒng)的列車機(jī)車上觀察到的正常疲勞周期中擺脫出來。還可以設(shè)想的是，基于疲勞檢測實(shí)施的音頻和/或視覺警告能夠與現(xiàn)有報(bào)警器系統(tǒng)通常實(shí)施的警告有所不同(例如，不同的音量、聲音等)。

可以進(jìn)一步設(shè)想的是，所公開的系統(tǒng)26能夠與列車機(jī)車事件記錄器(未示出)相關(guān)聯(lián)。例如，每次發(fā)出警告時(shí)和/或當(dāng)激活了懲罰裝置36時(shí)，能夠?qū)?yīng)的故障記錄在事件記錄器中。如果需要，這種信息隨后可以從機(jī)車上選擇性地卸載到遠(yuǎn)程監(jiān)測系統(tǒng)。

由于系統(tǒng)26可以依賴于監(jiān)測到的操作者活動以及操作者的掃描圖像，因此，系統(tǒng)可以更加易于檢測并正確地識別疲勞事件。這種得到改善的能力可以有助于確?？焖俚貙?shí)施針對這種事件的響應(yīng)。

對于本領(lǐng)域的技術(shù)人員而言將顯而易見的是，可以在不脫離本發(fā)明的范圍的前提下，對本發(fā)明的疲勞監(jiān)測系統(tǒng)作出各種修改和變型。通過考慮本文中公開的疲勞監(jiān)測系統(tǒng)的說明書和實(shí)踐，其它實(shí)施例對于本領(lǐng)域的技術(shù)人員而言將是顯而易見的。說明書和示例僅僅旨在視為是示例性的，本發(fā)明的真實(shí)范圍由以下的權(quán)利要求書及其等價(jià)內(nèi)容指出。