本技術(shù)涉及人機(jī)交互意圖識(shí)別，尤其涉及一種面向復(fù)雜任務(wù)情境的多層級人機(jī)交互意圖識(shí)別方法。

背景技術(shù)：

1、隨著機(jī)器智能的發(fā)展，人-機(jī)器交互逐漸發(fā)展為人-智能系統(tǒng)的交互(duric?z,gray?w?d,heishman?r,et?al.integrating?perceptual?and?cognitive?modeling?foradaptive?and?intelligent?human-computer?interaction[j].proceedings?of?theieee,2002,90(7):1272-1289.)，而此種交互要建立在雙方相互理解和信任的基礎(chǔ)上，因此，實(shí)現(xiàn)智能系統(tǒng)對人的意圖識(shí)別是智能人機(jī)交互的關(guān)鍵基礎(chǔ)。意圖識(shí)別是通過系統(tǒng)內(nèi)部傳感器感知用戶行為、系統(tǒng)和環(huán)境的上下文信息，從而推理人的意圖或預(yù)測其下一步行動(dòng)的技術(shù)。目前，意圖識(shí)別技術(shù)已經(jīng)被廣泛研究并應(yīng)用于普適計(jì)算、人機(jī)協(xié)作、智能駕駛和以操作員為中心的復(fù)雜系統(tǒng)等眾多人機(jī)交互情境。

2、現(xiàn)實(shí)中很多真實(shí)作業(yè)場景都涉及復(fù)雜任務(wù)情境，在復(fù)雜任務(wù)過程中人、系統(tǒng)和環(huán)境之間存在密切的信息交互和相互影響。而人的狀態(tài)、系統(tǒng)狀態(tài)和環(huán)境狀態(tài)的變化，即上下文信息會(huì)引起人的當(dāng)前任務(wù)意圖的轉(zhuǎn)變。當(dāng)前已有的針對復(fù)雜任務(wù)場景開展意圖識(shí)別研究往往都是從單一尺度上進(jìn)行復(fù)雜任務(wù)的意圖識(shí)別，致使其可用性受限。通過觀測人在某時(shí)間段內(nèi)的交互動(dòng)作序列能夠識(shí)別人的簡單交互意圖，無法表征出該意圖背后所反映的復(fù)雜任務(wù)意圖；通過人的手、眼等交互行為所推斷出的復(fù)雜任務(wù)意圖缺乏解釋性，具有較大的意圖誤判風(fēng)險(xiǎn)。

3、事實(shí)上，在復(fù)雜任務(wù)情境的人機(jī)交互系統(tǒng)中，人的意圖表現(xiàn)出多層級結(jié)構(gòu)和上下文強(qiáng)相關(guān)的特點(diǎn)，上下文特征包括環(huán)境態(tài)勢上下文和任務(wù)上下文。環(huán)境態(tài)勢上下文表示和任務(wù)情境密切相關(guān)的機(jī)器系統(tǒng)數(shù)據(jù)、環(huán)境數(shù)據(jù)、態(tài)勢數(shù)據(jù)，是造成人的意圖轉(zhuǎn)移的外部因素。任務(wù)上下文表示人所執(zhí)行的任務(wù)進(jìn)程，和任務(wù)程序及人的能力、偏好有關(guān)?？梢哉J(rèn)為是人的意圖轉(zhuǎn)移的內(nèi)在因素，為推理人的意圖提供先驗(yàn)規(guī)律。對復(fù)雜任務(wù)的多層級意圖識(shí)別來說，行為特征和上下文特征缺一不可，均可以提供意圖識(shí)別所必要的信息。

4、現(xiàn)有技術(shù)中，適用于復(fù)雜任務(wù)的任務(wù)分析方法包括層次任務(wù)分析(hierarchicaltask?analysis,hta)、目標(biāo)為導(dǎo)向的任務(wù)分析(goal-directed?task?analysis,gdta)、認(rèn)知任務(wù)分析(cognitive?task?analysis,cta)以及層次目標(biāo)分析(hierarchical?goalanalysis,hga)等。hta(stanton?n?a.hierarchical?task?analysis:developments,applications,and?extensions[j].applied?ergonomics,2006,37(1):55-79.)通過層次結(jié)構(gòu)圖的方式將復(fù)雜任務(wù)分解為越來越小的子任務(wù)，故適用于廣泛任務(wù)的任務(wù)層級梳理。gdta(nasser-dine?a,a,lapalme?j.does?explicit?categorization?taxonomyfacilitate?performing?goal-directed?task?analysis？[j].ieee?transactions?onhuman-machine?systems,2021,51(3):177-187.)基于endsley的三水平態(tài)勢感知理論，旨在從目標(biāo)任務(wù)出發(fā)將目標(biāo)分解為子目標(biāo)，再各自梳理子目標(biāo)下的態(tài)勢感知變量，該方法側(cè)重于梳理人在執(zhí)行復(fù)雜任務(wù)過程中的態(tài)勢感知需求。cta(lercel?d,andrews?dh.cognitive?task?analysis?of?unmanned?aircraft?system?pilots[j].theinternational?journal?of?aerospace?psychology,2021,31(4):319-342.)強(qiáng)調(diào)從人的認(rèn)知層面出發(fā)，將認(rèn)知任務(wù)拆解為低級任務(wù)單元并分析各低級任務(wù)單元的認(rèn)知需求。相較于hta，基于感知控制理論的hga(kobierski?b.hierarchical?goal?analysis?andpeformance?modelling?for?the?control?of?multiple?uavs/ucavs?from?an?airborneplatform[r].drdc?technical?report?cr?2004-063(drdc?toronto),2004.)強(qiáng)調(diào)對任務(wù)目標(biāo)的層級結(jié)構(gòu)梳理，而非拆解任務(wù)本身，并且hga可在未分配操作員的前提下分解任務(wù)目標(biāo)，因此即便操作員角色變化，整體任務(wù)目標(biāo)層級結(jié)構(gòu)也不需要修改。除上述自上而下的任務(wù)分析方法外，有研究通過操作序列圖(operational?sequence?diagrams,osds)從自下而上的角度開展任務(wù)分析，梳理操作者在整個(gè)復(fù)雜任務(wù)過程的操作序列。

5、多層級意圖識(shí)別的輸入特征主要來源于人的相關(guān)行為特征和任務(wù)環(huán)境相關(guān)的上下文特征兩方面。在行為特征方面，現(xiàn)有研究主要聚焦于人的多模態(tài)行為特征提取。目前已有諸多研究者通過采集眼部信息(lukander?k,toivanen?m,k.inferringintent?and?action?from?gaze?in?naturalistic?behavior:a?review[j].international?journal?of?mobile?human?computer?interaction(ijmhci),2017,9(4):41-57.)、手部交互動(dòng)作(wei?d,chen?l,zhao?l,et?al.a?vision-based?measure?ofenvironmental?effects?on?inferring?human?intention?during?human?robotinteraction[j].ieee?sensors?journal,2021,22(5):4246-4256.)等人類行為信息推理意圖。除了手眼行為，一些研究者通過腦電(electroencephalography,eeg)(wenbo?huangf?a,changyuan?wang?s?b,hongbo?jia?t?c.ergonomics?analysis?based?on?intentioninference[j].journal?of?intelligent&fuzzy?systems,2021,41(1):1281-1296.)、肌電(electromyography,emg)(feleke?a?g,bi?l,fei?w.emg-based?3d?hand?motorintention?prediction?for?information?transfer?from?human?to?robot[j].sensors,2021,21(4):1316.)、心率(wang?h,pan?t,si?h,et?al.research?on?influencing?factorselection?of?pilot’s?intention[j].international?journal?of?aerospaceengineering,2020,2020(1):4294538.)等人的生理參數(shù)來輔助意圖識(shí)別。在任務(wù)環(huán)境上下文特征方面，現(xiàn)有研究主要聚焦于環(huán)境態(tài)勢上下文和任務(wù)上下文。環(huán)境態(tài)勢上下文表示和任務(wù)情境密切相關(guān)的環(huán)境數(shù)據(jù)、態(tài)勢數(shù)據(jù)，是造成操作員意圖轉(zhuǎn)移的外部因素。有研究者(xia?j,chen?m,fang?w.air?combat?intention?recognition?with?incompleteinformation?based?on?decision?tree?and?gru?network[j].entropy,2023,25(4):671.)將機(jī)器系統(tǒng)數(shù)據(jù)作為態(tài)勢上下文的一種。例如在識(shí)別飛行員意圖的過程中，將飛機(jī)高度、速度、俯仰角、航向等機(jī)器系統(tǒng)信息也作為一項(xiàng)重要態(tài)勢上下文特征納入識(shí)別模型。任務(wù)上下文表示操作員所執(zhí)行的任務(wù)進(jìn)程，和任務(wù)程序及人的能力、偏好有關(guān)?？梢哉J(rèn)為是人的意圖轉(zhuǎn)移的內(nèi)在因素，為推理人的意圖提供先驗(yàn)規(guī)律?？傮w而言，對復(fù)雜任務(wù)的多層級意圖識(shí)別來說，行為特征和上下文特征缺一不可，均可以提供意圖識(shí)別所必要信息。

6、根據(jù)模型的可解釋性，現(xiàn)有意圖識(shí)別算法可以分為基于專家知識(shí)、基于深度學(xué)習(xí)、基于機(jī)器學(xué)習(xí)、基于概率理論四種?；趯＜抑R(shí)的意圖識(shí)別方法通常采用專家定義的規(guī)則和模板庫，通過最大相似度、d-s證據(jù)理論等方法推理特征信息與意圖模板的匹配程度來判斷意圖(tang?z,li?s,dou?y.research?on?pilot’s?intention?reasoning?methodbased?on?d–s?evidence?theory[c]//man–machine–environment?system?engineering:proceedings?of?the?17th?international?conference?on?mmese?17.springersingapore,2018:23-31.)。此類方法具備完全的可解釋性，但需要顯式組織、抽象和描述領(lǐng)域?qū)＜业慕?jīng)驗(yàn)知識(shí)，獲取和表示知識(shí)的難度較大，且缺乏隨環(huán)境變化的靈活性。基于深度學(xué)習(xí)的意圖識(shí)別方法純粹依靠特征數(shù)據(jù)驅(qū)動(dòng)，旨在訓(xùn)練具備意圖分類能力的神經(jīng)網(wǎng)絡(luò)。由于人的意圖和上下文時(shí)序相關(guān)，因此一般通過具備時(shí)序處理能力的循環(huán)神經(jīng)網(wǎng)絡(luò)方法(recurrent?neural?network,rnn)被研究者們廣泛利用，具體包括：長短時(shí)記憶網(wǎng)絡(luò)(longshort-term?memory,lstm)、門控循環(huán)單元(gated?recurrent?unit,gru)、雙向長短時(shí)記憶網(wǎng)絡(luò)(bi-directional?long?short-term?memory,bi-lstm)。伴隨通用計(jì)算能力的提升，深度學(xué)習(xí)方法往往能實(shí)現(xiàn)較高的意圖識(shí)別準(zhǔn)確率，但容易造成過擬合，且難以有效融入領(lǐng)域?qū)＜抑R(shí)，缺乏可解釋性。基于機(jī)器學(xué)習(xí)的意圖識(shí)別方法是另一類純粹依靠特征數(shù)據(jù)驅(qū)動(dòng)的方法，旨在使用典型機(jī)器學(xué)習(xí)分類器來完成意圖分類，常用分類器包括支持向量機(jī)(support?vector?machine,svm)、隨機(jī)森林(random?forest,rf)。此類方法相較于深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型更為簡單，消耗計(jì)算資源更小，但往往難以處理時(shí)序數(shù)據(jù)和大規(guī)模數(shù)據(jù)集，且同樣不具備可解釋性?；诟怕世碚摰囊鈭D識(shí)別方法利用貝葉斯理論開展不確定性意圖推理，例如：隱馬爾可夫模型(hidden?markov?model,hmm)、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)(dynamicbayesian?network,dbn)等。此類方法屬于借助有向無環(huán)圖(directed?acyclic?graph,dag)描述變量因果關(guān)系的概率圖模型，往往可以通過專家建模的方式定義模型的網(wǎng)絡(luò)結(jié)構(gòu)，并通過數(shù)據(jù)驅(qū)動(dòng)的方式計(jì)算網(wǎng)絡(luò)參數(shù)，從而實(shí)現(xiàn)融入專家知識(shí)和數(shù)據(jù)驅(qū)動(dòng)的意圖識(shí)別。

7、如何對在復(fù)雜任務(wù)情境下的多層級人機(jī)交互意圖進(jìn)行準(zhǔn)確識(shí)別有待解決。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種面向復(fù)雜任務(wù)情境的多層級人機(jī)交互意圖識(shí)別方法，其技術(shù)目的是對復(fù)雜任務(wù)情境下的多層級人機(jī)交互意圖進(jìn)行準(zhǔn)確識(shí)別。

2、本技術(shù)的上述技術(shù)目的是通過以下技術(shù)方案得以實(shí)現(xiàn)的：

3、一種面向復(fù)雜任務(wù)情境的多層級人機(jī)交互意圖識(shí)別方法，包括：

4、步驟s1：對復(fù)雜任務(wù)進(jìn)行任務(wù)目標(biāo)分析，對多層級意圖的特征類別進(jìn)行提??；

5、步驟s2：在仿真任務(wù)環(huán)境下進(jìn)行實(shí)驗(yàn)，并根據(jù)特征類別對人的行為和上下文態(tài)勢信息的多層級意圖特征數(shù)據(jù)集進(jìn)行采集；

6、步驟s3：通過多層級意圖特征數(shù)據(jù)集對意圖識(shí)別模型進(jìn)行訓(xùn)練和測試，并通過訓(xùn)練完成的意圖識(shí)別模型從底層特征數(shù)據(jù)逐層向上識(shí)別由低層級到高層級的意圖，實(shí)現(xiàn)多層級人機(jī)交互意圖識(shí)別。

7、進(jìn)一步地，所述步驟s1包括：

8、通過層級目標(biāo)分析對復(fù)雜任務(wù)的目標(biāo)進(jìn)行逐層分解，將層級任務(wù)目標(biāo)與多層級的人的意圖相對應(yīng)，得到層級目標(biāo)分析結(jié)果；通過操作序列圖對人在復(fù)雜任務(wù)過程中的操作序列進(jìn)行梳理，然后根據(jù)操作序列對多層級意圖相關(guān)的底層特征進(jìn)行梳理，得到操作序列圖分析結(jié)果；

9、根據(jù)層級目標(biāo)分析結(jié)果對高層級任務(wù)意圖和低層級任務(wù)交互意圖進(jìn)行提取；

10、根據(jù)層級目標(biāo)分析結(jié)果和操作序列圖分析結(jié)果對高層級任務(wù)意圖和低層級任務(wù)交互意圖的相關(guān)特征進(jìn)行提取，得到特征類別；其中，高層級任務(wù)意圖和低層級任務(wù)交互意圖的相關(guān)特征包括行為特征和上下文特征，所述行為特征包括行為數(shù)據(jù)，所述行為數(shù)據(jù)包括手部行為數(shù)據(jù)、眼部行為數(shù)據(jù)和人體生理數(shù)據(jù)；所述上下文特征包括系統(tǒng)數(shù)據(jù)和態(tài)勢數(shù)據(jù)，所述系統(tǒng)數(shù)據(jù)包括本機(jī)系統(tǒng)數(shù)據(jù)、本機(jī)運(yùn)動(dòng)數(shù)據(jù)和本機(jī)告警數(shù)據(jù)，所述態(tài)勢數(shù)據(jù)包括地理態(tài)勢數(shù)據(jù)、時(shí)空態(tài)勢數(shù)據(jù)和環(huán)境態(tài)勢數(shù)據(jù)。

11、進(jìn)一步地，所述步驟s2包括：

12、根據(jù)三維引擎對復(fù)雜任務(wù)場景進(jìn)行搭建；

13、根據(jù)特征類別對搭建的復(fù)雜任務(wù)場景下的多層級意圖特征數(shù)據(jù)進(jìn)行提取，得到多層級意圖特征數(shù)據(jù)集。

14、進(jìn)一步地，所述步驟s3包括：

15、步驟s31：對所述多層級意圖特征數(shù)據(jù)集進(jìn)行第一預(yù)處理，得到第一預(yù)處理后數(shù)據(jù)，并將第一預(yù)處理后數(shù)據(jù)劃分為第一訓(xùn)練集和第一測試集；通過第一訓(xùn)練集對低層級交互意圖識(shí)別模型進(jìn)行訓(xùn)練，并通過第一測試集對訓(xùn)練后的低層級交互意圖識(shí)別模型進(jìn)行測試，直至得到最終低層級交互意圖識(shí)別模型；

16、步驟s32：對所述多層級意圖特征數(shù)據(jù)集進(jìn)行第二預(yù)處理，得到第二預(yù)處理后數(shù)據(jù)，并將第二預(yù)處理后數(shù)據(jù)劃分為第二訓(xùn)練集和第二測試集；通過第二訓(xùn)練集對高層級任務(wù)意圖識(shí)別模型進(jìn)行訓(xùn)練，并通過第二測試集對訓(xùn)練后的高層級任務(wù)意圖識(shí)別模型進(jìn)行測試，直至得到最終高層級任務(wù)意圖識(shí)別模型；

17、步驟s33：將最終低層級交互意圖識(shí)別模型的識(shí)別結(jié)果輸入至最終高層級任務(wù)意圖識(shí)別模型進(jìn)行進(jìn)一步意圖識(shí)別，實(shí)現(xiàn)多層級人機(jī)交互意圖識(shí)別。

18、進(jìn)一步地，所述步驟s31中，對所述多層級意圖特征數(shù)據(jù)集進(jìn)行第一預(yù)處理，得到第一預(yù)處理后數(shù)據(jù)，包括：

19、對所述多層級意圖特征數(shù)據(jù)集中的離散數(shù)據(jù)采用one-hot編碼，將離散數(shù)據(jù)中的分類變量轉(zhuǎn)換為二進(jìn)制變量，得到第一特征數(shù)據(jù)；

20、對所述多層級意圖特征數(shù)據(jù)集中的連續(xù)數(shù)據(jù)采用歸一化處理，對連續(xù)數(shù)據(jù)的量綱進(jìn)行統(tǒng)一，得到第二特征數(shù)據(jù)；

21、采用時(shí)間滑動(dòng)窗口將第一特征數(shù)據(jù)和第二特征數(shù)據(jù)劃分為固定大小的連續(xù)子序列，得到第一預(yù)處理后數(shù)據(jù)。

22、進(jìn)一步地，所述步驟s32中，對所述多層級意圖特征數(shù)據(jù)集進(jìn)行第二預(yù)處理，得到第二預(yù)處理后數(shù)據(jù)，包括：

23、對所述多層級意圖特征數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行離散處理并劃分時(shí)間窗口，得到第二預(yù)處理后數(shù)據(jù)。

24、進(jìn)一步地，所述低層級交互意圖識(shí)別模型包括1d-cnn模塊和bi-lstm模塊，所述高層級任務(wù)意圖識(shí)別模型包括動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。

25、本技術(shù)的有益效果在于：

26、(1)本技術(shù)提出的面向復(fù)雜任務(wù)情境的多層級人機(jī)交互意圖識(shí)別方法，提出了一種適用于復(fù)雜任務(wù)情境的多層級意圖識(shí)別框架，將任務(wù)分析方法和機(jī)器學(xué)習(xí)方法相結(jié)合，既具備對于人的行為和上下文信息的敏感性，又具備可解釋性。其輸入數(shù)據(jù)為容易捕獲的人和機(jī)器傳感器能夠采集的態(tài)勢數(shù)據(jù)，具有不干擾人工作進(jìn)程的優(yōu)勢和可操作性。通過同時(shí)融合人的行為、環(huán)境和任務(wù)上下文特征，從而從底層數(shù)據(jù)逐層向上識(shí)別人的多層級意圖，實(shí)現(xiàn)了系統(tǒng)對人的真實(shí)意圖更全面的理解，有效解決現(xiàn)有方法從單一層級、僅根據(jù)人的行為特征開展意圖識(shí)別等方面的局限性。

27、(2)該方法可保證更多類別的多層級意圖識(shí)別準(zhǔn)確率，同時(shí)實(shí)現(xiàn)多層級意圖的可解釋性建模。在基于直升機(jī)-無人機(jī)山火勘探任務(wù)的示例場景中，本技術(shù)所述方法針對16類交互意圖實(shí)現(xiàn)93.96％的交互意圖識(shí)別準(zhǔn)確率，針對5類任務(wù)意圖實(shí)現(xiàn)97.12％的任務(wù)意圖識(shí)別準(zhǔn)確率，保證了意圖識(shí)別的精度要求。另外，本技術(shù)所述方法中的“上下文-意圖-行為”動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)完成了多層級意圖的可解釋性建模，符合認(rèn)知心理學(xué)理論中的意圖產(chǎn)生機(jī)理，即：人在執(zhí)行復(fù)雜任務(wù)過程中通過感知任務(wù)態(tài)勢上下文，經(jīng)過大腦認(rèn)知加工而產(chǎn)生意圖，意圖又驅(qū)動(dòng)人在執(zhí)行一系列操作動(dòng)作并最終驅(qū)動(dòng)直升機(jī)狀態(tài)變化。

28、(3)該申請所述方法的多層級意圖識(shí)別框架具備通用性。在復(fù)雜任務(wù)情境分析、底層特征數(shù)據(jù)采集和多層級意圖識(shí)別的基礎(chǔ)框架之上，任務(wù)分析方法、意圖識(shí)別所采用具體算法模型具備可替代性，在現(xiàn)實(shí)應(yīng)用過程中可結(jié)合各層級意圖的特點(diǎn)針對性選擇相應(yīng)方法，以實(shí)現(xiàn)最佳的識(shí)別效果。