亚洲成年人黄色一级片,日本香港三级亚洲三级,黄色成人小视频,国产青草视频,国产一区二区久久精品,91在线免费公开视频,成年轻人网站色直接看

一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法及系統(tǒng)與流程

文檔序號:40402970發(fā)布日期:2024-12-20 12:26閱讀:5來源:國知局
一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法及系統(tǒng)與流程

本發(fā)明涉及車輛,特別是涉及一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛。


背景技術(shù):

1、目前,現(xiàn)有的駕駛員狀態(tài)監(jiān)測主要通過單一的傳感器或設(shè)備,如攝像頭、心率傳感器等,獲取駕駛員的生理或行為信息,然后通過特定的算法進行分析,判斷駕駛員的狀態(tài)。

2、例如,一些技術(shù)通過分析駕駛員的面部表情、眼球運動等視覺信息,來判斷駕駛員是否疲勞或分心;還有一些技術(shù)通過監(jiān)測駕駛員的心率、血壓等生理信息,來評估駕駛員的健康狀況。但現(xiàn)有的駕駛員狀態(tài)監(jiān)測技術(shù)通常只依賴于單一的傳感器或設(shè)備,獲取的信息有限,可能會導(dǎo)致狀態(tài)檢測的準確性和可靠性不足。同時,在處理多源數(shù)據(jù)時,往往無法有效地融合和利用不同模態(tài)的信息,這可能會丟失一些重要的信息,影響駕駛狀態(tài)檢測的結(jié)果。最后,現(xiàn)有的技術(shù)在發(fā)現(xiàn)駕駛狀態(tài)異常后,往往無法及時采取有效的干預(yù)措施,以確保駕駛安全。

3、因此,本申請?zhí)峁┮环N基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法以解決上述技術(shù)問題。


技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛,用以解決現(xiàn)有技術(shù)中狀態(tài)檢測信息較單一,多源數(shù)據(jù)易丟失,導(dǎo)致狀態(tài)檢測準確性不足的技術(shù)問題。

2、為了解決上述技術(shù)問題,本發(fā)明提供了一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,包括:

3、信號采集步驟,包括實時采集駕駛員的多模態(tài)信號,其中,所述多模態(tài)信號包括視頻信號、音頻信號、心電信號以及車輛狀態(tài)信號;

4、特征提取步驟,包括對所述多模態(tài)信號進行預(yù)處理,并進行關(guān)鍵特征提取,得到多模態(tài)特征,其中,所述多模態(tài)特征包括駕駛員以及駕駛行為特征;

5、特征融合步驟,包括將所述多模態(tài)特征進行融合,得到融合特征,其中,所述融合特征用于描述駕駛員狀態(tài);

6、狀態(tài)評估步驟,包括將所述融合特征輸入到預(yù)設(shè)的模型中,以劃分駕駛員的異常狀態(tài),當所述異常狀態(tài)超過預(yù)設(shè)條件時,對所述駕駛員進行相應(yīng)提醒。

7、在其中一些具體實施例中,信號采集步驟,包括實時采集駕駛員的多模態(tài)信號,其中,所述多模態(tài)信號包括視頻信號、音頻信號、心電信號以及車輛狀態(tài)信號,進一步包括:

8、所述視頻信號采集,包括實時捕捉駕駛員的面部和動作信號;

9、所述音頻信號采集,包括實時捕捉駕駛員的語音指令以及交談內(nèi)容;

10、所述心電信號采集,包括實時監(jiān)測駕駛員的心電信號;

11、所述車輛狀態(tài)信號采集,包括實時讀取車速、油門踏板、剎車踏板以及方向盤轉(zhuǎn)角信號。

12、在其中一些具體實施例中,特征提取步驟,包括對所述多模態(tài)信號進行預(yù)處理,并進行關(guān)鍵特征提取,得到多模態(tài)特征,其中,所述多模態(tài)特征包括駕駛員以及駕駛行為特征,進一步包括:

13、對所述視頻信號進行預(yù)處理以及關(guān)鍵特征提取,包括提取面部正視圖,基于所述面部正視圖,進行直方圖均衡化、分辨率縮放以及人臉特征點檢測,并計算頭部姿態(tài)以及眼部和嘴部的活動特征;

14、對所述心電信號進行預(yù)處理以及關(guān)鍵特征提取,包括降噪處理以及心率變異性計算,獲取心臟活動的特征參數(shù);

15、對所述車輛狀態(tài)信號進行預(yù)處理以及關(guān)鍵特征提取,包括計算所述駕駛行為的特征參數(shù),并分析駕駛習(xí)慣。

16、在其中一些具體實施例中,特征融合步驟,包括將所述多模態(tài)特征進行融合,得到融合特征,其中,所述融合特征用于描述駕駛員狀態(tài),進一步包括:

17、將所述多模態(tài)特征依次拼接為多維向量;

18、基于pearson相關(guān)系數(shù)法以及主成分分析法對所述多維向量進行降維處理,得到所述融合特征。

19、在其中一些具體實施例中,狀態(tài)評估步驟,包括將所述融合特征輸入到預(yù)設(shè)的模型中,以劃分駕駛員的異常狀態(tài),當所述異常狀態(tài)超過預(yù)設(shè)條件時,對所述駕駛員進行相應(yīng)提醒,進一步包括:

20、將所述融合特征輸入到預(yù)先訓(xùn)練好的lstm模型中進行狀態(tài)評估,并劃分所述異常狀態(tài),其中,所述異常狀態(tài)包括疲勞狀態(tài)、分心狀態(tài)以及憤怒狀態(tài);

21、當駕駛員的所述異常狀態(tài)超過所述預(yù)設(shè)條件時,以視覺、觸覺、嗅覺或聽覺中的至少一種方式對駕駛員進行提醒。

22、在其中一些具體實施例中,還包括配置與模型訓(xùn)練步驟:

23、配置所述多模態(tài)信號的實時采集、預(yù)處理、特征提取以及狀態(tài)評估任務(wù);

24、基于標注好的駕駛員狀態(tài)數(shù)據(jù)以及車輛狀態(tài)數(shù)據(jù)對所述lstm模型進行訓(xùn)練,通過交叉驗證法評估所述lstm模型的泛化能力和準確性;

25、將訓(xùn)練好的所述lstm模型進行部署,以用于實時狀態(tài)評估。

26、基于同一構(gòu)思,本發(fā)明還提供一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估系統(tǒng),包括:

27、信號采集模塊,配置為包括實時采集駕駛員的多模態(tài)信號,其中,所述多模態(tài)信號包括視頻信號、音頻信號、心電信號以及車輛狀態(tài)信號;

28、特征提取模塊,配置為包括對所述多模態(tài)信號進行預(yù)處理,并進行關(guān)鍵特征提取,得到多模態(tài)特征,其中,所述多模態(tài)特征包括駕駛員以及駕駛行為特征;

29、特征融合模塊,配置為包括將所述多模態(tài)特征進行融合,得到融合特征,其中,所述融合特征用于描述駕駛員狀態(tài);

30、狀態(tài)評估模塊,配置為包括將所述融合特征輸入到預(yù)設(shè)的模型中,以劃分駕駛員的異常狀態(tài),當所述異常狀態(tài)超過預(yù)設(shè)條件時,對所述駕駛員進行相應(yīng)提醒。

31、基于同一構(gòu)思,本發(fā)明還提供一種電子設(shè)備,包括:處理器、通信接口、存儲器和通信總線,其中,處理器,通信接口,存儲器通過通信總線完成相互間的通信;所述存儲器中存儲有計算機程序,當所述計算機程序被所述處理器執(zhí)行時,使得所述處理器執(zhí)行基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法的步驟。

32、基于同一構(gòu)思,本發(fā)明還提供一種計算機可讀存儲介質(zhì),其存儲有可由電子設(shè)備執(zhí)行的計算機程序,當所述計算機程序在所述電子設(shè)備上運行時,使得所述電子設(shè)備執(zhí)行基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法的步驟。

33、基于同一構(gòu)思,本發(fā)明還提供一種車輛,所述車輛設(shè)置有如上所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估系統(tǒng)。

34、與現(xiàn)有技術(shù)相比,其有益效果在于:

35、本發(fā)明公開了一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛,可多維度的檢測駕駛員狀態(tài),提升狀態(tài)評估的準確性,并可相應(yīng)進行提醒,保障駕駛安全。



技術(shù)特征:

1.一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,其特征在于,包括:

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,其特征在于,信號采集步驟,包括實時采集駕駛員的多模態(tài)信號,其中,所述多模態(tài)信號包括視頻信號、音頻信號、心電信號以及車輛狀態(tài)信號,進一步包括:

3.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,其特征在于,特征提取步驟,包括對所述多模態(tài)信號進行預(yù)處理,并進行關(guān)鍵特征提取,得到多模態(tài)特征,其中,所述多模態(tài)特征包括駕駛員以及駕駛行為特征,進一步包括:

4.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,其特征在于,特征融合步驟,包括將所述多模態(tài)特征進行融合,得到融合特征,其中,所述融合特征用于描述駕駛員狀態(tài),進一步包括:

5.根據(jù)權(quán)利要求1所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,其特征在于,狀態(tài)評估步驟,包括將所述融合特征輸入到預(yù)設(shè)的模型中,以劃分駕駛員的異常狀態(tài),當所述異常狀態(tài)超過預(yù)設(shè)條件時,對所述駕駛員進行相應(yīng)提醒,進一步包括:

6.根據(jù)權(quán)利要求5所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法,其特征在于,還包括配置與模型訓(xùn)練步驟:

7.一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估系統(tǒng),其特征在于,包括:

8.一種電子設(shè)備,其特征在于,包括:處理器、通信接口、存儲器和通信總線,其中,處理器,通信接口,存儲器通過通信總線完成相互間的通信;所述存儲器中存儲有計算機程序,當所述計算機程序被所述處理器執(zhí)行時,使得所述處理器執(zhí)行權(quán)利要求1至6中任一項所述方法的步驟。

9.一種計算機可讀存儲介質(zhì),其特征在于,其存儲有可由電子設(shè)備執(zhí)行的計算機程序,當所述計算機程序在所述電子設(shè)備上運行時,使得所述電子設(shè)備執(zhí)行權(quán)利要求1至6中任一項所述方法的步驟。

10.一種車輛,其特征在于,所述車輛設(shè)置有如權(quán)利要求7所述的基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估系統(tǒng)。


技術(shù)總結(jié)
本發(fā)明涉及車輛技術(shù)領(lǐng)域,公開了一種基于多模態(tài)信號監(jiān)測的駕駛員狀態(tài)評估方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛,包括實時采集駕駛員的多模態(tài)信號,其中,所述多模態(tài)信號包括視頻信號、音頻信號、心電信號以及車輛狀態(tài)信號;對所述多模態(tài)信號進行預(yù)處理,并進行關(guān)鍵特征提取,得到多模態(tài)特征,其中,所述多模態(tài)特征包括駕駛員以及駕駛行為特征;將所述多模態(tài)特征進行融合,得到融合特征,其中,所述融合特征用于描述駕駛員狀態(tài);將所述融合特征輸入到預(yù)設(shè)的模型中,以劃分駕駛員的異常狀態(tài),當所述異常狀態(tài)超過預(yù)設(shè)條件時,對所述駕駛員進行相應(yīng)提醒。本發(fā)明可多維度的檢測駕駛員狀態(tài),提升狀態(tài)評估的準確性,并可相應(yīng)進行提醒,保障駕駛安全。

技術(shù)研發(fā)人員:吳秋杰
受保護的技術(shù)使用者:中國第一汽車股份有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/19
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1