神經(jīng)認知駕駛員狀態(tài)處理的制作方法
【專利摘要】一種駕駛員狀態(tài)模塊，用于與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接，所述駕駛員狀態(tài)模塊包括：（i）幀存儲器，用于使用相關(guān)文本存儲行為表征；（ii）評估系統(tǒng)，用于基于目標(biāo)和獎勵來排序幀；（iii）工作存儲器，包括前景子存儲器和背景子存儲器，工作存儲器用于保持幀和將幀分類為前景和背景幀；以及（iv）識別處理器，用于識別與前景子存儲器中的評估系統(tǒng)排序最高的幀有關(guān)的顯著特征。
【專利說明】神經(jīng)認知駕駛員狀態(tài)處理
【背景技術(shù)】
[0001]車輛碰撞通常至少部分地歸因于駕駛員行為、視覺和聽覺敏銳性、決策能力以及反應(yīng)速度?；谟兔绹鲎矓?shù)據(jù)的1985報告發(fā)現(xiàn)，駕駛員錯誤、醉酒和其它人為因素總體上或部分地造成大約93%的碰撞。
[0002]總體上，更好地理解什么人為原因造成事故可有助于開發(fā)輔助駕駛員避免碰撞的系統(tǒng)。

【發(fā)明內(nèi)容】

[0003]根據(jù)本發(fā)明的示例，提供一種駕駛員狀態(tài)模塊，用于與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接，所述駕駛員狀態(tài)模塊包括:(i)幀存儲器，用于使用相關(guān)文本存儲行為表征；(ii)評估系統(tǒng)，用于基于目標(biāo)和獎勵來排序幀；(iii)工作存儲器，包括前景子存儲器、背景子存儲器以及用于將幀分類到前景子存儲器或背景子存儲器中的控制器；以及
(iv)識別處理器，用于識別與前景子存儲器或背景子存儲器中的評估系統(tǒng)排序最高的幀有關(guān)的顯著特征。
[0004]所述駕駛員狀態(tài)模塊可配置用于建模駕駛員的注意力焦點和專注度且用于預(yù)測駕駛員的即將動作。
[0005]根據(jù)一些示例，與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接可以經(jīng)由傳感器。
[0006]在一些示例中，駕駛員狀態(tài)模塊可安裝在車輛中。
[0007]根據(jù)示例，一種用于在車輛周圍環(huán)境中輔助車輛駕駛員的駕駛員輔助系統(tǒng)，可包括:(i)駕駛員狀態(tài)模塊；(ii)車輛狀態(tài)模塊，用于在周圍環(huán)境中描述車輛狀態(tài)；(iii)不匹配檢測模塊，用于將駕駛員狀態(tài)模塊和車輛狀態(tài)模塊進行比較且用于評估駕駛員狀態(tài)模塊和車輛狀態(tài)模塊之間是否存在不匹配；(iv)駕駛員關(guān)聯(lián)接口模塊，用于確定在車輛狀態(tài)模塊檢測不匹配時的所需動作；以及(ν)傳感器預(yù)處理模塊，用于融合來自于車輛上的多個傳感器的數(shù)據(jù)且用于以適合于每個模塊的格式輸出所融合數(shù)據(jù)。
[0008]在一些示例中，所述駕駛員狀態(tài)模塊可包括:(i)幀存儲器，用于使用相關(guān)文本存儲行為表征；(ii )評估系統(tǒng)，用于基于目標(biāo)和獎勵來排序幀；(iii )工作存儲器，包括前景子存儲器、背景子存儲器以及用于將幀分類到前景子存儲器或背景子存儲器中的控制器；以及(iv)識別處理器，用于識別與前景子存儲器或背景子存儲器中的評估系統(tǒng)排序最高的幀有關(guān)的顯著特征。
[0009]根據(jù)一些示例，所述駕駛員輔助系統(tǒng)可配置用于各個應(yīng)用，包括如下中的至少一個:(i)在駕駛員注意力分散時在短時間段內(nèi)控制車輛；(ii)車輛的半自主控制；(iii)接收來自于駕駛員行為的反饋，用于通過經(jīng)驗自學(xué)習(xí)；(iv)學(xué)習(xí)具體駕駛員的駕駛特性，以優(yōu)化具體駕駛員的響應(yīng)；(ν)建模駕駛員的注意力焦點和專注度以及(vi)預(yù)測駕駛員的即將動作。
[0010]在一些示例中，所述多個傳感器可包括至少一個車輛傳感器，用于感測車輛有關(guān)參數(shù)。所述車輛傳感器可選自如下組:感測車輛速度、發(fā)動機溫度、燃料液位、發(fā)動機轉(zhuǎn)數(shù)(例如，rpm)的傳感器；注意是否配置風(fēng)檔刮水器的傳感器；注意是否配置燈的傳感器；注意是否配置危險系統(tǒng)的傳感器；注意方向盤位置的傳感器；等等。
[0011]在一些示例中，所述多個傳感器可包括至少一個駕駛員傳感器，用于感測駕駛員有關(guān)參數(shù)。所述駕駛員傳感器可選自如下組:感測駕駛員專注度的傳感器；從昏昏欲睡提供駕駛員警覺性反饋的照相機；從閉眼提供駕駛員警覺性反饋的照相機；從凝視方向跟蹤駕駛員注意力的眼睛跟蹤器；安裝在方向盤上的壓力傳感器；監(jiān)測排汗的皮膚電反應(yīng)傳感器以及腦電圖傳感器。
[0012]在一些示例中，所述多個傳感器可包括至少一個周圍傳感器，用于感測與車輛周圍環(huán)境有關(guān)的變量。所述周圍傳感器可選自如下組:前視照相機；車道跟隨傳感器；在所有方向配置以確定附近目標(biāo)距離的距離傳感器，例如，雷達、LIDAR (光檢測和測距)、聲納、IR傳感器；總體位置傳感器；GPS ;環(huán)境溫度傳感器和環(huán)境光線傳感器。
[0013]根據(jù)一些示例，駕駛員輔助系統(tǒng)可以配置成在選自以下組的至少一個應(yīng)用中使用:半自主控制、事故預(yù)防、報警、培訓(xùn)、駕駛員模擬和車輛設(shè)計優(yōu)化。
[0014]在一些示例中，所述駕駛員輔助系統(tǒng)可以整合到車輛中或者改型到車輛中。
[0015]根據(jù)一些示例，可以提供一種計算機軟件產(chǎn)品，包括能由處理器讀取的介質(zhì)，所述介質(zhì)上存儲有:(i)用于使用相關(guān)文本將行為表征在存儲器中作為幀存儲的第一組指令；
(ii)用于基于目標(biāo)和獎勵來排序幀的第二組指令；(iii)用于保持幀和將幀分類為前景幀和背景幀的第三組指令；以及(iv)用于識別與具有最高排序的前景幀有關(guān)的顯著特征的第四組指令。
[0016]根據(jù)一些示例，可以提供一種計算機軟件產(chǎn)品，包括能由處理器讀取的介質(zhì)，所述介質(zhì)上存儲有用于在車輛周圍環(huán)境中輔助車輛駕駛員的一組指令，包括:(a)在裝載到主存儲器中且由處理器執(zhí)行時建模駕駛員的注意力焦點和專注度以預(yù)測駕駛員的即將動作的第一組指令；(b)在裝載到主存儲器中且由處理器執(zhí)行時在周圍環(huán)境中描述車輛狀態(tài)的第二組指令；(C)在裝載到主存儲器中且由處理器執(zhí)行時將從第一和第二組指令獲得的結(jié)果進行比較以評估是否存在不匹配從而需要進一步動作的第三組指令；(d)在裝載到主存儲器中且由處理器執(zhí)行時確定在運行第三組指令檢測不匹配時的所需動作的第四組指令；以及(e)在裝載到主存儲器中且由處理器執(zhí)行時融合來自于車輛上的多個傳感器的數(shù)據(jù)且以適合于第一、第二、第三和第四組指令中的每一組的格式輸出所融合數(shù)據(jù)的第五組指令。
[0017]示例涉及與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接的方法，包括(i)使用相關(guān)文本將駕駛員行為表征在幀存儲器中作為幀存儲；(ii)基于目標(biāo)和獎勵來排序幀；
(iii)包括保持幀和將幀分類到前景子存儲器或背景子存儲器中的工作存儲器；以及(iv)識別與具有最高排序的幀有關(guān)的顯著特征。
[0018]示例涉及處理來自于車輛上的多個傳感器的傳感器輸入的方法，所述多個傳感器與駕駛員、車輛和周圍環(huán)境有關(guān)，所述方法包括:(i)融合來自于所述多個傳感器的數(shù)據(jù)且將所融合數(shù)據(jù)以合適格式輸出；(ii)建模駕駛員的注意力焦點和專注度以預(yù)測駕駛員的即將動作；(iii)在周圍環(huán)境中描述車輛狀態(tài)；(iv)將從所預(yù)測即將動作和車輛狀態(tài)獲得的結(jié)果進行比較以確定不匹配；(ν)評估是否存在不匹配從而需要進一步動作；以及(vi)確定在檢測不匹配時的所需動作。[0019]方案1.一種駕駛員狀態(tài)模塊，用于與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接，所述駕駛員狀態(tài)模塊包括:
(i)幀存儲器，用于使用相關(guān)文本存儲行為表征；
(?)評估系統(tǒng)，用于基于目標(biāo)和獎勵來排序幀；
(iii)工作存儲器，包括:
前景子存儲器、背景子存儲器以及用于將幀分類到前景子存儲器或背景子存儲器中的控制器；以及
(iv)識別處理器，用于識別與前景子存儲器或背景子存儲器中的評估系統(tǒng)排序最高的幀有關(guān)的顯著特征。
[0020]方案2.根據(jù)方案I所述的駕駛員狀態(tài)模塊，配置用于建模駕駛員的注意力焦點和專注度且用于預(yù)測駕駛員的即將動作。
[0021]方案3.根據(jù)方案I所述的駕駛員狀態(tài)模塊，其中，所述與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接經(jīng)由傳感器。
[0022]方案4.一種車輛,包括根據(jù)方案I所述的駕駛員狀態(tài)模塊。
[0023]方案5.—種用于在車輛周圍環(huán)境中輔助車輛駕駛員的駕駛員輔助系統(tǒng)，所述駕駛員輔助系統(tǒng)包括:
(i)根據(jù)方案I所述的駕駛員狀態(tài)模塊；
(ii)車輛狀態(tài)模塊，用 于在周圍環(huán)境中描述車輛狀態(tài)；
(iii)不匹配檢測模塊，用于將駕駛員狀態(tài)模塊和車輛狀態(tài)模塊進行比較且用于評估駕駛員狀態(tài)模塊和車輛狀態(tài)模塊之間是否存在不匹配；
(iv)駕駛員關(guān)聯(lián)接口模塊，用于確定在車輛狀態(tài)模塊檢測不匹配時的所需動作；以及 (ν)傳感器預(yù)處理模塊，用于融合來自于車輛上的多個傳感器的數(shù)據(jù)且用于以適合于
每個模塊的格式輸出所融合數(shù)據(jù)。
[0024]方案6.根據(jù)方案5所述的駕駛員輔助系統(tǒng)，其中，所述駕駛員狀態(tài)模塊包括:
(i)幀存儲器，用于使用相關(guān)文本存儲行為表征；
(?)評估系統(tǒng)，用于基于目標(biāo)和獎勵來排序幀；
(iii)工作存儲器，包括:
前景子存儲器、背景子存儲器以及用于將幀分類到前景子存儲器或背景子存儲器中的控制器；以及
(iv)識別處理器，用于識別與前景子存儲器或背景子存儲器中的評估系統(tǒng)排序最高的幀有關(guān)的顯著特征。
[0025]方案7.根據(jù)方案6所述的駕駛員輔助系統(tǒng)，配置用于包括如下中的至少一個的應(yīng)用:
(i)在駕駛員注意力分散時在短時間段內(nèi)控制車輛；
(ii)車輛的半自主控制；
(iii)接收來自于駕駛員行為的反饋，用于通過經(jīng)驗自學(xué)習(xí)；
(iv)學(xué)習(xí)具體駕駛員的駕駛特性，以優(yōu)化具體駕駛員的響應(yīng)；
(ν)建模駕駛員的注意力焦點和專注度；以及
(vi)預(yù)測駕駛員的即將動作。[0026]方案8.根據(jù)方案5所述的駕駛員輔助系統(tǒng)，其中，所述多個傳感器包括至少一個車輛傳感器，用于感測車輛有關(guān)參數(shù)。
[0027]方案9.根據(jù)方案8所述的駕駛員輔助系統(tǒng)，其中，所述至少一個車輛傳感器選自如下組:速度表、發(fā)動機溫度表、燃料表、rev數(shù)、注意是否配置風(fēng)檔刮水器的傳感器、注意是否配置燈的傳感器、注意是否配置危險系統(tǒng)的傳感器、以及注意方向盤位置的傳感器。
[0028]方案10.根據(jù)方案5所述的駕駛員輔助系統(tǒng)，其中，所述多個傳感器包括至少一個駕駛員傳感器，用于感測駕駛員有關(guān)參數(shù)。
[0029]方案11.根據(jù)方案10所述的駕駛員輔助系統(tǒng)，其中，所述至少一個駕駛員傳感器選自如下組:感測駕駛員專注度的傳感器；從昏昏欲睡提供駕駛員警覺性反饋的照相機；從閉眼提供駕駛員警覺性反饋的照相機；從凝視方向跟蹤駕駛員注意力的眼睛跟蹤器；安裝在方向盤上的壓力傳感器；監(jiān)測排汗的皮膚電反應(yīng)傳感器以及腦電圖傳感器。
[0030]方案12.根據(jù)方案5所述的駕駛員輔助系統(tǒng)，其中，所述多個傳感器包括至少一個周圍傳感器，用于感測與車輛周圍環(huán)境有關(guān)的變量。
[0031]方案13.根據(jù)方案12所述的駕駛員輔助系統(tǒng)，其中，所述至少一個周圍傳感器選自如下組:前視照相機；車道跟隨傳感器；在所有方向配置以確定附近目標(biāo)距離的距離傳感器；雷達；聲納、IR傳感器；總體位置傳感器；GPS ;環(huán)境溫度傳感器和環(huán)境光線傳感器。
[0032]方案14.根據(jù)方案5所述的駕駛員輔助系統(tǒng)，配置成在選自以下組的至少一個應(yīng)用中使用:半自主控制、事故預(yù)防、報警、培訓(xùn)、駕駛員模擬和車輛設(shè)計優(yōu)化。
[0033]方案15.—種車輛，包括根據(jù)方案5所述的駕駛員輔助系統(tǒng)。
[0034]方案16.—種計算機軟件產(chǎn)品，包括能由處理器讀取的介質(zhì)，所述介質(zhì)上存儲有:
(i)用于使用相關(guān)文本將行為表征在存儲器中作為幀存儲的第一組指令；
(ii)用于基于目標(biāo)和獎勵來排序幀的第二組指令；
(iii)用于保持幀和將幀分類為前景幀和背景幀的第三組指令；以及
(iv)用于識別與具有最高排序的前景幀有關(guān)的顯著特征的第四組指令。
[0035]方案17.—種計算機軟件產(chǎn)品，包括能由處理器讀取的介質(zhì)，所述介質(zhì)上存儲有用于在車輛周圍環(huán)境中輔助車輛駕駛員的一組指令，包括:
(a)在裝載到主存儲器中且由處理器執(zhí)行時建模駕駛員的注意力焦點和專注度以預(yù)測駕駛員的即將動作的第一組指令；
(b)在裝載到主存儲器中且由處理器執(zhí)行時在周圍環(huán)境中描述車輛狀態(tài)的第二組指
令；
(c)在裝載到主存儲器中且由處理器執(zhí)行時將從第一和第二組指令獲得的結(jié)果進行比較以評估是否存在不匹配從而需要進一步動作的第三組指令；
(d)在裝載到主存儲器中且由處理器執(zhí)行時確定在運行第三組指令檢測不匹配時的所需動作的第四組指令；以及
(e)在裝載到主存儲器中且由處理器執(zhí)行時融合來自于車輛上的多個傳感器的數(shù)據(jù)且以適合于第一、第二、第三和第四組指令中的每一組的格式輸出所融合數(shù)據(jù)的第五組指令。
[0036]方案18.—種與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接的方法，包括:
(i)使用相關(guān)文本將駕駛員行為表征在幀存儲器中作為幀存儲；(i i )基于目標(biāo)和獎勵來排序幀；
(iii)保持幀和將幀分類為工作存儲器中的前景和背景幀；以及
(iv)識別與具有最高排序的幀有關(guān)的顯著特征。
[0037]方案19.一種處理來自于車輛上的多個傳感器的傳感器輸入的方法，所述多個傳感器與駕駛員、車輛和周圍環(huán)境有關(guān)，所述方法包括:
(i)融合來自于所述多個傳感器的數(shù)據(jù)且將所融合數(shù)據(jù)以合適格式輸出；
(?)建模駕駛員的注意力焦點和專注度以預(yù)測駕駛員的即將動作；
(iii)在周圍環(huán)境中描述車輛狀態(tài)；
(iv)將從所預(yù)測即將動作和車輛狀態(tài)獲得的結(jié)果進行比較以確定不匹配；
(ν)評估是否存在不匹配從而需要進一步動作；以及
(vi)確定在檢測不匹配時 的所需動作。
【專利附圖】

【附圖說明】
[0038]在說明書的結(jié)束部分特別指出并且明確地要求保護被作為本發(fā)明的主題內(nèi)容。示例在以下詳細說明中描述且在附圖中圖示，在附圖中:
圖1是汽車、駕駛員和周圍環(huán)境的示意圖；
圖2是用于與車輛和駕駛員直接相接的駕駛員輔助系統(tǒng)的一個示例的核心模塊的構(gòu)思框圖；
圖3是示出了根據(jù)本發(fā)明示例的圖2的駕駛員狀態(tài)處理模塊的構(gòu)思部分的構(gòu)思框圖；圖4是人腦控制和處理的神經(jīng)認知結(jié)構(gòu)和功能的生物模型，用作圖3的模塊的靈感和構(gòu)思判斷；和
圖5是根據(jù)本發(fā)明示例的處理傳感器輸入的方法的構(gòu)思框圖和流程圖。
[0039]在認為合適時，附圖標(biāo)記可以在附圖中重復(fù)以表示對應(yīng)或類似的元件。
【具體實施方式】
[0040]在以下詳細說明中，闡述各個具體細節(jié)，以便提供對本發(fā)明示例的透徹理解。然而，本領(lǐng)域技術(shù)人員將理解的是，本發(fā)明示例能夠在不具有這些具體細節(jié)的情況下被實踐。在其他情況下，公知的方法、過程、部件和電路沒有詳細描述，從而使得本發(fā)明易懂。
[0041]除非另有具體聲明，否則如從下述討論中顯而易見地應(yīng)當(dāng)理解，貫穿該說明書，利用了諸如“處理”、“計算”、“存儲”、“確定”等等的術(shù)語的討論是指計算機或計算系統(tǒng)或類似的電子計算裝置的動作和/或過程，其將表示為計算系統(tǒng)的寄存器和/或存儲器內(nèi)的物理(例如電子)量的數(shù)據(jù)操縱和/或轉(zhuǎn)換成類似地表示為計算系統(tǒng)的存儲器、寄存器或其他這種信息存儲、傳輸或顯示裝置內(nèi)的物理量的其他數(shù)據(jù)。
[0042]當(dāng)危險道路或交通條件在眩光時不清楚時或者在條件對于駕駛員太復(fù)雜而不能在可用時間和距離內(nèi)感知和反應(yīng)時，可能發(fā)生事故。
[0043]在道路上控制車輛通過注意力分散(例如移動電話和乘員)和由于更大密度的其它道路使用者(包括交通和行人兩者)而復(fù)雜。
[0044]存在碰撞率的人口統(tǒng)計差異。例如，雖然年輕人往往具有良好反應(yīng)時間，但是不相稱的更多年輕男性駕駛員涉及事故，研究者觀察到，許多人展現(xiàn)可能將他們置于比其它道路使用者更危險狀況的冒險行為和態(tài)度。具有較慢反應(yīng)的年長駕駛員可能預(yù)期涉及更多事故，但是情況不是如此，因為他們往往駕駛更少且明顯更謹(jǐn)慎。雖然僅僅占人群的10%，但是令人驚奇的是，左手駕駛員涉及車輛碰撞的大約45%。
[0045]然而，看起來危險的許多位置具有很少或沒有事故。相反，看起來不危險的道路可能具有高碰撞頻率。這部分是因為如果駕駛員認為位置危險，他們更小心。
[0046]有時，汽車設(shè)計的改進并未導(dǎo)致性能的顯著改進。改進制動系統(tǒng)可導(dǎo)致更激進駕駛，強制安全帶法律并未伴隨總體死亡率的明顯下降。
[0047]本文使用的術(shù)語“車輛”包括具有機載駕駛員的所有運輸模式，包括飛機、火車和輪船，但是特定地為各種汽車、貨車和載貨汽車。
[0048]本文使用的詞“汽車”與機動車同義。
[0049]根據(jù)示例，提供一種用于車輛的改進人機接口。在一些示例中，允許半自主車輛控制。更具體地，下文描述了用于建模車輛駕駛員行為的駕駛員狀態(tài)模塊。駕駛員狀態(tài)模塊建模駕駛員注意力焦點和專注度且預(yù)測其即將動作。駕駛員狀態(tài)模塊可以并入駕駛員輔助系統(tǒng)中，其接收與駕駛員、車輛和周圍有關(guān)的傳感器輸入且預(yù)測駕駛員狀態(tài)。示例可以通過保持安全操作(例如，保持車輛在車道內(nèi)，距其它汽車的安全距離，避免障礙物等)而在延長時間段內(nèi)控制車輛。該能力意味著駕駛員當(dāng)前不控制車輛。其它示例可以用于培訓(xùn)、駕駛員模擬和汽車設(shè)計應(yīng)用。
[0050]雖然對神經(jīng)科學(xué)有點新，但是在心理學(xué)中，思維過程有時根據(jù)一個人腦子的前面或后面考慮。因而，通過示例的方式，車輛駕駛員可完全在思考一些其它事情，例如先前與配偶或同事進行的討論。駕駛員意識到道路和環(huán)境，但是其注意力在其他地方。如果一些東西在車輛前面經(jīng)過，例如兒童，駕駛員的注意力將切換到兒童。兒童被分配最高優(yōu)先級且由前景存儲器考慮，爭論向后推到背景存儲器。一旦兒童安全經(jīng)過，其專注度從突出地位減少，且稍后從駕駛員存儲器中忘記，從而釋放駕駛員注意力以再次考慮爭論。
[0051]根據(jù)一些示例，與駕駛員、車輛和環(huán)境有關(guān)的變化、參數(shù)和變量可以檢測和排序，以建模駕駛員響應(yīng)。在安裝到車輛中時，駕駛員狀態(tài)模塊和駕駛員輔助系統(tǒng)可以提醒駕駛員或者可以超控駕駛員控制，例如通過在需要時自動制動。在模擬器中可以使用的其它示例可以起到其它目的。例如，模擬器示例可以用于輔助選擇用于具體駕駛員的合適車輛。
[0052]參考圖1，示出了在環(huán)境60中的車輛40的駕駛員20。
[0053]車輛40總體上配置有至少一個優(yōu)選多個駕駛員傳感器30，用于感測與駕駛員20有關(guān)的變量和參數(shù)，例如駕駛員總體專注度。駕駛員傳感器30可包括從昏昏欲睡或閉眼提供駕駛員警覺性反饋的照相機。例如，駕駛員傳感器30可包括在他看的方向跟蹤駕駛員注意力的眼睛跟蹤器。
[0054]駕駛員傳感器30可包括安裝在方向盤上的壓力傳感器以及監(jiān)測排汗的皮膚電反應(yīng)傳感器，從而提供駕駛員緊張水平的指示。駕駛員傳感器30可包括其它神經(jīng)相關(guān)傳感器。例如，作為選擇用于駕駛員的合適車輛的輔助或者用于車輛設(shè)計目的，例如在模擬器應(yīng)用中，駕駛員傳感器30可包括腦電圖(EEG)傳感器，從而允許測量沿頭皮的電活性以用于測量由腦神經(jīng)內(nèi)的離子電流引起的電壓波動。
[0055]駕駛員傳感器30可包括在方向盤上的接觸應(yīng)變傳感器，用于感測駕駛員20的緊張。[0056]車輛40配置有至少一個車輛傳感器50，優(yōu)選地車輛傳感器陣列，用于感測車輛40的狀態(tài)，尤其包括:速度表、發(fā)動機溫度表、燃料表、rev數(shù)等等。
[0057]所述車輛傳感器50還可以包括注意是否配置風(fēng)檔刮水器、燈和其它危險系統(tǒng)以及注意方向盤位置的傳感器。將理解的是，這種傳感器不僅提供與車輛40有關(guān)的信息，而且還提供與駕駛員20和環(huán)境60有關(guān)的信息。
[0058]車輛40通常還配置有周圍傳感器70，用于感測車輛40的緊鄰環(huán)境60或周圍。這種周圍傳感器70可提供與外部有關(guān)的數(shù)據(jù)，例如，道路狀態(tài)和附近目標(biāo)(包括其它車輛和行人)，且可以包括前視照相機、車道跟隨傳感器、在所有方向配置以確定附近目標(biāo)距離的距離傳感器。
[0059]周圍傳感器70可包括用于感測附近目標(biāo)的傳感器，使用各種支持技術(shù)工作，例如雷達、LIDAR、聲納、前視照相機和IR傳感器。周圍傳感器70還可以包括總體定位傳感器，例如，GPS,以及用于感測與環(huán)境有關(guān)的參數(shù)的其它類型傳感器，包括環(huán)境溫度傳感器和環(huán)境光線傳感器等等。
[0060]可以提供與駕駛員保持在車道中的能力或檢測車輛40偏向有關(guān)的傳感器。這些傳感器可以提供與駕駛員20的警覺性水平和/或車輛40狀況有關(guān)的信息。駕駛動作包括響應(yīng)于環(huán)境60控制車輛40，加速度和減速度、絕對速度、偏向和側(cè)滑均是對駕駛員20、車輛40和環(huán)境60的狀態(tài)容易確定的響應(yīng)。因而，將理解的是，雖然僅僅通過示例方式提供的上述傳感器分類為駕駛員傳感器30、車輛傳感器50和周圍傳感器70，但是該分類一定程序上是任意的，同一傳感器可提供與駕駛員20、車輛40和周圍環(huán)境60中的兩個或更多有關(guān)的信息。此外，一些傳感器可以與控制車輛操作的自動巡航控制ACC、車道偏離系統(tǒng)和半自主系統(tǒng)有關(guān)。
[0061]其它傳感器可以感測可能與使用移動電話和其它內(nèi)部注意力分散有關(guān)的輸入。
[0062]參考圖2，示出了根據(jù)示例的駕駛員輔助系統(tǒng)100。駕駛員輔助系統(tǒng)100包括五個模塊:(i)駕駛員狀態(tài)模塊120，建模駕駛員20的注意力焦點和專注度且用于預(yù)測駕駛員的即將動作；(ii)車輛狀態(tài)模塊140，用于在環(huán)境中描述車輛40的狀態(tài)；(iii)不匹配檢測模塊160，將駕駛員狀態(tài)模塊120和車輛狀態(tài)模塊140進行比較以評估是否存在需要提醒駕駛員20的一些事情；(iv)駕駛員關(guān)聯(lián)接口模塊180,確定在車輛狀態(tài)模塊160檢測不匹配時的所需動作；以及(ν)傳感器預(yù)處理模塊200，融合來自于車輛40上的多個傳感器(總體上包括駕駛員傳感器30、車輛傳感器50和周圍傳感器70)的數(shù)據(jù)且將其以適合于每個模塊的格式輸出。所述模塊在拿到一起時構(gòu)成半自主駕駛員輔助系統(tǒng)100，在安裝在主車輛40中時能夠在駕駛員20注意力分散時短時間內(nèi)半自主地控制車輛40。此外，自主駕駛員輔助系統(tǒng)100能夠基于與駕駛員20的行為有關(guān)的反饋學(xué)習(xí)且針對具體駕駛員20定制。
[0063]傳感器預(yù)處理模塊200可以接收三組傳感器的輸入:
Ca)駕駛員傳感器30，提供與駕駛員20有關(guān)的信息
(b)涉及車輛40的車輛傳感器50
(c)周圍傳感器70，提供與車輛40的周圍環(huán)境60有關(guān)的細節(jié)，例如道路狀態(tài)和附近目標(biāo)。
[0064]這種傳感器的示例在上文給出。
[0065]參考圖3，駕駛員狀態(tài)模塊120包括如下部件和子系統(tǒng):(i)幀存儲器122，可以使用相關(guān)文本存儲行為表征；(ii)評估系統(tǒng)124，可以基于目標(biāo)和獎勵來排序幀；(iii)工作存儲器126，包括用于保持幀和將幀分類到前景子存儲器128和背景子存儲器130中的控制器129 ;以及(iv)識別預(yù)處理器132，可識別與前景子存儲器128中的排序最高的幀有關(guān)的顯著特征。
[0066]駕駛員狀態(tài)模塊120可以使用環(huán)境接口 134與環(huán)境60相接，環(huán)境接口 134可接收與環(huán)境60有關(guān)的輸入，且可以將駕駛員20的行為可能性和反應(yīng)時間作為輸出136提供。
[0067]圖3的駕駛員狀態(tài)模塊120適合于包括作為例如如圖2所示的更大駕駛員輔助系統(tǒng)的一部分。
[0068]總體上，駕駛員狀態(tài)模塊120使用腦區(qū)域的結(jié)構(gòu)和功能建模的涉及行為的注意力和執(zhí)行控制的神經(jīng)認知方法。為了利于理解根據(jù)一個示例的駕駛員狀態(tài)模塊120的行為和功能，參考圖4，示出了生物模型。
[0069]現(xiàn)在參考圖4，駕駛員狀態(tài)模塊120的示例的生物靈感是人腦執(zhí)行控制(圖3，144)和注意力網(wǎng)絡(luò)(圖3，123)的神經(jīng)認知結(jié)構(gòu)和功能的詳細模型，使之為新駕駛情況下人為偏倚(human bias)和注意力分散的良好預(yù)測器。因而，將理解的是，圖4基本上是圖3的駕駛員狀態(tài)模塊120的關(guān)鍵部分的概要，且駕駛員狀態(tài)模塊120可以認為是圖4的理論模型的物理示例。
[0070]因而，圖4是駕駛員20的認知模型，使用輸出駕駛員行為的神經(jīng)認知模型來提供駕駛員狀態(tài)分析(即，當(dāng)前前景和背景行為的可能性，從而引導(dǎo)駕駛員當(dāng)前和近來動作)。
[0071]根據(jù)示例，圖2和3的駕駛員狀態(tài)模塊和駕駛員輔助系統(tǒng)可以使用在圖4的認知模型上建模的類似構(gòu)思系統(tǒng)。因而，將理解的是，圖2和3所示的系統(tǒng)可以實施響應(yīng)于來自于駕駛員狀態(tài)模塊120的輸出而半自主駕駛車輛40的方法，由于腦區(qū)域的結(jié)構(gòu)和功能的涉及行為的注意力和執(zhí)行控制的空前詳細模型而不同于先前方法。
[0072]駕駛員20，如其它人那樣，接收與其環(huán)境60 (即，其環(huán)境或周圍)有關(guān)的視覺、聽覺和觸覺傳感器輸入。
[0073]圖4所示的認知模型示出了如何接收包括視覺B、聽覺C和觸覺D輸入的傳感器輸入A。傳感器輸入A可以由識別器E識別，包括從上至下偏差濾波器(top town biasfilter) F 和從下至上顯著濾波器(bottom up saliency filter) G。
[0074]輸入可以由分類器H和定位器I分類，分類器H通常使用腦的腹面部分來確定“什么”，定位器I使用腦的背面部分來確定“哪里”，通常使用頂葉來整合來自于不同模態(tài)的傳感器信息，具體地確定空間知覺和導(dǎo)航。這允許頂葉皮質(zhì)區(qū)域?qū)⒁曈X感知的目標(biāo)映射到身體坐標(biāo)位置。定位器I因而將感知數(shù)據(jù)融合為位置或環(huán)境的圖片，即，駕駛員周圍(圖1，60)。
[0075]來自于分類器H和定位器I兩者的輸出可以饋入到長期存儲器J中，可以然后將數(shù)據(jù)提供給比較器K，用于將現(xiàn)實與駕駛員20的計劃進行比較。定位器I還可以在缺失一些東西時直接將提醒提供給比較器K。
[0076]比較器K與行為選擇器L 一起可以構(gòu)成評估器M且可以提供行為輸出N。行為選擇器L通常選擇行為并將行為分類為存儲在頂葉皮質(zhì)工作存儲器中的前景行為O和背景行為P。來自于頂葉皮質(zhì)工作存儲器的前景行為O反饋到從上至下偏差濾波器，用于從上至下偏差。[0077]感知數(shù)據(jù)的顯著性可以與其相對于背景突出的狀態(tài)或質(zhì)量。顯著性檢測可以認為是可利于學(xué)習(xí)和通過允許組織將其有限感知和認知資源集中于可用傳感器數(shù)據(jù)(包括視覺B、聽覺C和觸覺D傳感器數(shù)據(jù))的最相關(guān)子組上而幸存的關(guān)鍵注意機構(gòu)。
[0078]在腦中，如圖4所建模的，工作存儲器L可以認為包括前景工作存儲器O和背景工作存儲器P。工作存儲器L通過前扣帶皮層動態(tài)地更新且通過基底神經(jīng)節(jié)門控，從而將最高級別行為保持在前景工作存儲器中。在模型中，基于前額皮質(zhì)的最新神經(jīng)認知理論，前景工作存儲器O存儲特別接近注意力資源的行為。背景工作存儲器P存儲與軍事注意力可能有關(guān)的具有有限能力的較低實用性行為。
[0079]在注意力配置由顯著性激勵驅(qū)動時，認為是從下至上的，無存儲器的和反應(yīng)性的。
[0080]然而，注意力還可以由從上至下的，依賴于存儲器的或預(yù)期機構(gòu)引導(dǎo)，例如在橫穿街道之前向前看移動目標(biāo)或向側(cè)面看時。將理解的是，人(總體來說)和駕駛員20 (具體地)不能同時注意多于一個或若干事物，從而他們面臨連續(xù)地整合和排序不同從下至上和從上至下影響的挑戰(zhàn)。
[0081 ] 返回圖2，在一些示例中，駕駛員狀態(tài)模塊120可以學(xué)習(xí)以基于來自于駕駛員20行為的反饋(通過傳感器預(yù)處理模塊200提供)經(jīng)由執(zhí)行控制144來調(diào)整對駕駛員20的響應(yīng)，且包括實用性計算機464，用于學(xué)習(xí)如何將實用性分配給情況環(huán)境和行為之間的關(guān)聯(lián)性；用于針對具體駕駛員20定制。
[0082]參考圖5，闡述與圖3的模塊相對應(yīng)的集成構(gòu)思框圖的流程圖500。集成構(gòu)思框圖的流程圖500示出了在哪里可以發(fā)生每個過程。本發(fā)明的過程總體上可以作為閉環(huán)操作，連續(xù)地感測和評估情況，即駕駛員20、車輛40和環(huán)境60的狀況，且具有至車輛40或駕駛員20的輸出，用于優(yōu)化與環(huán)境60交互。
[0083]定期地或者連續(xù)地，構(gòu)成環(huán)境接口 134的駕駛員傳感器30、車輛傳感器50和周圍傳感器70將輸入提供給識別預(yù)處理模塊420，其可以濾波來自于各個傳感器30，50，70的輸出，且可以將與駕駛員狀態(tài)和車輛狀態(tài)有關(guān)的輸出提供給圖2所示的相應(yīng)駕駛員和車輛狀態(tài)模塊。濾波可能是非常復(fù)雜的。一些濾波可以由從上至下偏差濾波器422執(zhí)行，其服從目標(biāo)導(dǎo)向的從上至下偏差模型。其它濾波可以通過從下至上顯著濾波器424執(zhí)行，其從環(huán)境接口 410的傳感器輸入識別顯著特征。識別預(yù)處理模塊420還可以產(chǎn)生注意力提醒426，其可以發(fā)送給評估器460的提醒操控器462，可操控這些提醒。
[0084]來自于識別預(yù)處理模塊420的輸出可以發(fā)送給幀存儲器430，幀存儲器430更新幀觸發(fā)432且可以報告相關(guān)幀434。這可以鏈接到工作存儲器450，其可以包括用于鏈接到有效幀的鏈接器452和用于提取感知優(yōu)先級的感知優(yōu)先級提取器454，其可以反饋到上至下偏差濾波器422。鏈接器452還可以將信號提供給評估系統(tǒng)460的排序器465,可以排序來自于傳感器30，50，70的傳感器輸入且提醒462，可以用作門控系統(tǒng)。評估系統(tǒng)460可評估駕駛員20的可能行為和反應(yīng)時間，且可以輸出該信息470。
[0085]因而，總的來說，來自于環(huán)境接口 410的傳感器30，50，70的原始數(shù)據(jù)根據(jù)分配的重要性在識別預(yù)處理器420中濾波，導(dǎo)致感知信息分類為前景或背景有關(guān)，且然后按照重要性排序。因而，通過示例的方式，檢測STOP標(biāo)志分配給比檢測廣告牌更高的重要性。在一些示例中，樹結(jié)構(gòu)可以用于映射傳感器輸入之間的等級關(guān)系。
[0086]一些示例的特征在于它們可以自學(xué)習(xí)且可以知道駕駛員反應(yīng)且可以在發(fā)生之前預(yù)測問題。
[0087]圖5所示的過程是一個實施方式。將理解的是，其它實施方式可以使用不同系列的操作。
[0088]評估器460的輸出470可以是駕駛員20的提醒或車輛40的半自主控制，例如自動制動，或甚至是周圍環(huán)境60的提醒，例如前燈自動閃光或車輛喇叭發(fā)出聲音，例如以提醒其它駕駛員和行人。
[0089]在一些示例中，駕駛員輔助系統(tǒng)100 (總體地)和駕駛員狀態(tài)模塊120 (具體地)可以用專用或通用處理器實施。幀存儲器430、包括前景子存儲器128和背景子存儲器130的工作存儲器450 (126)可以使用各種存儲器技術(shù)實施，例如易失性存儲器。學(xué)習(xí)駕駛員特性可以優(yōu)選存儲在更永久性存儲器中。存儲器可以使用計算機可讀或處理器可讀非臨時性存儲介質(zhì)、任何類型的盤(包括軟盤、光盤、CD-ROM、磁光盤)、只讀存儲器(ROM)、隨機存取存儲器(RAM)、電可編程只讀存儲器(EPROM)、電可擦除及可編程只讀存儲器(EEPR0M)、磁卡或光卡、閃存或者適于存儲電子指令的任何其他類型的介質(zhì)實施。
[0090]示例能夠包括用于執(zhí)行本文所述操作的設(shè)備。這種設(shè)備可以是為了期望目的而專門構(gòu)造的，或者可以包括計算機或處理器，所述計算機或處理器通過存儲在計算機中的計算機程序來選擇性地啟用或重新配置。這種計算機程序能夠被存儲在以下各項中:計算機可讀或處理器可讀的非臨時存儲介質(zhì)、任何類型的盤(包括軟盤、光盤、⑶-ROM、磁光盤)、只讀存儲器(ROM)、隨機存取存儲器(RAM)、電可編程只讀存儲器(EPROM)、電可擦除及可編程只讀存儲器(EEPR0M)、磁卡或光卡、或者適于存儲電子指令的任何其他類型的介質(zhì)。將理解的是，各種編程語言都能夠被用于實施如本文所述的本發(fā)明的教導(dǎo)。本發(fā)明的示例能夠包括例如非臨時計算機或處理器可讀的非臨時存儲介質(zhì)之類的物品，例如編碼有、包括有或存儲有指令(例如計算機可執(zhí)行指令，這些指令在由處理器或控制器執(zhí)行時使得處理器或控制器執(zhí)行本文所公開的方法)的存儲器、磁盤驅(qū)動器或USB閃存。這些指令可以使處理器或控制器執(zhí)行實施本文所公開的方法的過程。
[0091]本文公開不同示例。某些示例的特征能夠與其他示例的特征結(jié)合；因而，某些示例可以是多個示例的特征的組合。對本發(fā)明的示例的前述說明僅僅出于描述和說明的目的而提出。該說明并不旨在是窮盡的或者將本發(fā)明局限于所公開的準(zhǔn)確形式。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解的是，鑒于上述教導(dǎo)，許多修改、變形、替換、變化和等同物都是可能的。因此，要理解的是，所附權(quán)利要求旨在覆蓋了落入本發(fā)明實質(zhì)精神內(nèi)的所有這種變形和變化。
【權(quán)利要求】
1.一種駕駛員狀態(tài)模塊，用于與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接，所述駕駛員狀態(tài)模塊包括: (i)幀存儲器，用于使用相關(guān)文本存儲行為表征； (ii)評估系統(tǒng)，用于基于目標(biāo)和獎勵來排序幀； (iii)工作存儲器，包括: 前景子存儲器、背景子存儲器以及用于將幀分類到前景子存儲器或背景子存儲器中的控制器；以及 (iv)識別處理器，用于識別與前景子存儲器或背景子存儲器中的評估系統(tǒng)排序最高的幀有關(guān)的顯著特征。
2.根據(jù)權(quán)利要求1所述的駕駛員狀態(tài)模塊，配置用于建模駕駛員的注意力焦點和專注度且用于預(yù)測駕駛員的即將動作。
3.根據(jù)權(quán)利要求1所述的駕駛員狀態(tài)模塊，其中，所述與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接經(jīng)由傳感器。
4.一種車輛，包括根據(jù)權(quán)利要求1所述的駕駛員狀態(tài)模塊。
5.一種用于在車輛周圍環(huán)境中輔助車輛駕駛員的駕駛員輔助系統(tǒng)，所述駕駛員輔助系統(tǒng)包括: (i)根據(jù)權(quán)利要求1所述的駕駛員狀態(tài)模塊； (?)車輛狀態(tài)模塊，用于在周圍環(huán)境中描述車輛狀態(tài)； (iii)不匹配檢測模塊，用于將駕駛員狀態(tài)模塊和車輛狀態(tài)模塊進行比較且用于評估駕駛員狀態(tài)模塊和車輛狀態(tài)模塊之間是否存在不匹配； (iv)駕駛員關(guān)聯(lián)接口模塊，用于確定在車輛狀態(tài)模塊檢測不匹配時的所需動作；以及 (ν)傳感器預(yù)處理模塊，用于融合來自于車輛上的多個傳感器的數(shù)據(jù)且用于以適合于每個模塊的格式輸出所融合數(shù)據(jù)。
6.一種車輛，包括根據(jù)權(quán)利要求5所述的駕駛員輔助系統(tǒng)。
7.一種計算機軟件產(chǎn)品，包括能由處理器讀取的介質(zhì)，所述介質(zhì)上存儲有: (i)用于使用相關(guān)文本將行為表征在存儲器中作為幀存儲的第一組指令； (ii)用于基于目標(biāo)和獎勵來排序幀的第二組指令； (iii)用于保持幀和將幀分類為前景幀和背景幀的第三組指令；以及 (iv)用于識別與具有最高排序的前景幀有關(guān)的顯著特征的第四組指令。
8.一種計算機軟件產(chǎn)品，包括能由處理器讀取的介質(zhì)，所述介質(zhì)上存儲有用于在車輛周圍環(huán)境中輔助車輛駕駛員的一組指令，包括: (a)在裝載到主存儲器中且由處理器執(zhí)行時建模駕駛員的注意力焦點和專注度以預(yù)測駕駛員的即將動作的第一組指令； (b)在裝載到主存儲器中且由處理器執(zhí)行時在周圍環(huán)境中描述車輛狀態(tài)的第二組指令； (c)在裝載到主存儲器中且由處理器執(zhí)行時將從第一和第二組指令獲得的結(jié)果進行比較以評估是否存在不匹配從而需要進一步動作的第三組指令； (d)在裝載到主存儲器中且由處理器執(zhí)行時確定在運行第三組指令檢測不匹配時的所需動作的第四組指令；以及(e)在裝載到主存儲器中且由處理器執(zhí)行時融合來自于車輛上的多個傳感器的數(shù)據(jù)且以適合于第一、第二、第三和第四組指令中的每一組的格式輸出所融合數(shù)據(jù)的第五組指令。
9.一種與車輛、與車輛的周圍環(huán)境以及與車輛駕駛員相接的方法，包括: (i)使用相關(guān)文本將駕駛員行為表征在幀存儲器中作為幀存儲； (i i )基于目標(biāo)和獎勵來排序幀； (iii)保持幀和將幀分類為工作存儲器中的前景和背景幀；以及 (iv)識別與具有最高排序的幀有關(guān)的顯著特征。
10.一種處理來自于車輛上的多個傳感器的傳感器輸入的方法，所述多個傳感器與駕駛員、車輛和周圍環(huán)境有關(guān)，所述方法包括: (i)融合來自于所述多個傳感器的數(shù)據(jù)且將所融合數(shù)據(jù)以合適格式輸出； (?)建模駕駛員的注意力焦點和專注度以預(yù)測駕駛員的即將動作； (iii)在周圍環(huán)境中描述車輛狀態(tài)； (iv)將從所預(yù)測即將動作和車輛狀態(tài)獲得的結(jié)果進行比較以確定不匹配； (ν)評估是否存在不匹配從而需要進一步動作；以及 (vi)確定在檢測不匹配時 的所需動作。
【文檔編號】B60W30/08GK103448719SQ201310211552
【公開日】2013年12月18日 申請日期:2013年5月31日 優(yōu)先權(quán)日:2012年6月1日
【發(fā)明者】M.D.霍華德, R.B.巴塔查亞, M.J.戴利 申請人:通用汽車環(huán)球科技運作有限責(zé)任公司