技術(shù)特征：

1.一種基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機操作員狀態(tài)評估方法，其特征在于，包括以下步驟：

步驟一：傳感器測量

利用溫度傳感器檢測操作員的體溫，用于監(jiān)測操作員不同情緒變化下的體溫分布情況；利用心率傳感器檢測操作員的心率，用于監(jiān)測操作員不同狀態(tài)如興奮、疲勞狀態(tài)下的心率變化；利用人體動作、姿態(tài)檢測的深度圖像傳感器檢測操作員的姿態(tài)行為，用于監(jiān)測操作員不同行為狀態(tài)下的姿態(tài)變化；利用面部表情的可見光圖像傳感器檢測操作員的面部表情，根據(jù)面部表情的變化檢測操作員的心情狀態(tài)；利用眼動儀傳感器檢測人的眼睛關(guān)注度，以及根據(jù)眼睛的閉合情況檢測眼睛疲勞狀態(tài)；利用人腦意念傳感器檢測操作員是否注意力集中；

步驟二、利用上述傳感器獲取的操作員狀態(tài)信息，構(gòu)建多維特征空間樣本庫；根據(jù)不同操作員的樣本，設(shè)計相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器，建立與上述傳感器特征與語義之間的映射關(guān)系；

步驟三：構(gòu)建語義組合構(gòu)建的樹形結(jié)構(gòu)，給出操作員的狀態(tài)評估，估計操作員當(dāng)前是否適合該任務(wù)，以及對無人機任務(wù)控制站任務(wù)可做出相應(yīng)的調(diào)整。

2.根據(jù)權(quán)利要求1所述的基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機操作員狀態(tài)評估方法，其特征在于，步驟二包括以下步驟：

1)首先構(gòu)建多維的特征空間樣本庫

人腦意念和眼動跟蹤可以輸出操作員的關(guān)注度，體溫和面部表情可以輸出操作員的心情，姿態(tài)可以判斷操作員的肢體行為，心率、眼動跟蹤以及姿態(tài)可以輸出操作員的疲勞度；

基于上述狀態(tài)信息確定操作員狀態(tài)特征輸入矢量X(人腦意念x₁，眼動跟蹤x₂，體溫x₃，面部表情x₄，姿態(tài)x₅，心率x₆)，

同時，確定操作員狀態(tài)特征目標(biāo)矢量T(關(guān)注度T₁，心情T₂，肢體行為T₃，疲勞度T₄)；

2)設(shè)計相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器

①確定輸入矢量X，目標(biāo)矢量T，并由此確定各矢量的維數(shù)，r為輸入矢量P的維數(shù)，r＝6；s為目標(biāo)矢量T的維數(shù)，s＝4；確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元節(jié)點數(shù)目q＝4⁴；

其數(shù)學(xué)模型可表示為

$Y=f\left(\underset{i=1}{\overset{n}{\Σ}}\right({\mathrm{\ω}}_i,\mathrm{...}{x}_i)-\mathrm{\θ})$

Y為神經(jīng)元輸出，f為神經(jīng)元非線性激勵函數(shù)，X＝(x₁,x₂,...,x₆)為神經(jīng)元輸入，W＝(ω₁,ω₂,...,ω₆)為權(quán)矢量，其中包含多個權(quán)值，θ為神經(jīng)元激活閾值；

②參數(shù)初始化，賦給權(quán)矢量W在(-1,1)的隨機非零初始值，給出最大訓(xùn)練循環(huán)次數(shù)；

③網(wǎng)絡(luò)表達式：根據(jù)輸入矢量X以及跟新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量Y；

④檢查：檢查輸出矢量Y與目標(biāo)矢量T是否相同，如果是，或已達最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入⑤；

⑤學(xué)習(xí)，根據(jù)下式所示，感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量W，并返回③；

W＝W+EP^T

θ＝θ+E

此處E為誤差矢量，E＝T-Y；

3)最后建立與上述傳感器特征與語義之間的映射關(guān)系：

首先對狀態(tài)模型進行語義量化；

選擇很多對形容詞用于建立操作員狀態(tài)模型形容詞集，形容詞集如表1所示：

表1

1、悲傷的–快樂的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的

針對表1中的各個形容詞隊，如“疲勞的–平靜的”，將其分為四個等級進行評價，其評價可以是重度疲勞，輕微疲勞，良好，非常良好，分別對應(yīng)的邊界條件為t₄₃，t₄₂，t₄₁，當(dāng)疲勞度T₄大于操作員設(shè)定的閾值時T₄＞t₄₃，操作員重度疲勞，當(dāng)T₄小于操作員設(shè)定的閾值時T₄＜t₄₁，操作員狀態(tài)非常良好；同樣的，將其他各形容詞隊分別將其分為四個等級進行評價；

然后建立狀態(tài)空間；

首先獲得各測試用戶對某一狀態(tài)m的第n對形容詞的評價量化值，再對某一狀態(tài)m的第n對形容詞量化值求平均，獲得一維矩陣Y_m＝[y_m1,y_m2,...,y_mn]，并按照公式進行標(biāo)準(zhǔn)化，得到矩陣X_m；

$x_{mn}=\frac{y_{mn}-{\stackrel{\‾}{y}}_n}{s_n}$

式中

設(shè)E為公共因子矩陣，Z為載荷矩陣，其中

$\begin{array}{cc}Z=\left(\begin{array}{ccc}{z}_{11}& ...& z_{1k}\\ & ...& \\ z_{N1}& ...& z_{Nk}\end{array}\right)& E=\left(\begin{array}{ccc}{e}_{11}& ...& e_{1k}\\ & ...& \\ e_{M1}& ...& e_{Mk}\end{array}\right)\end{array}$

式中，公共因子矩陣E的第m行e_m＝(e_m1,e_m2,...,e_mn)對每一操作用狀態(tài)m在狀態(tài)空間的坐標(biāo)，載荷矩陣Z的第n行Z_n＝(Z_n1,Z_n2,...,Z_nk)對應(yīng)形容詞n在K維空間的坐標(biāo)；

再設(shè)U為獨特因子，D作為獨特因子的權(quán)值，為對獲得的矩陣X按公式做因子分析：

X＝EZ'+UD

通過以上步驟，將原先的N維操作員的狀態(tài)空間降至K維，形成K維的正交狀態(tài)空間，建立形容詞與操作員向量的映射。

3.根據(jù)權(quán)利要求2所述的基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機操作員狀態(tài)評估方法，其特征在于，步驟三包括以下步驟：

構(gòu)建語義組合構(gòu)建的樹形結(jié)構(gòu)，從葉子節(jié)點開始，按照樹所表示的節(jié)點層次關(guān)系，從底層葉子節(jié)點開始逐層向上進行有序的組合，最終得到整個句子的語義表示；然后根據(jù)上述的語義量化，操作員關(guān)注度T₁，心情T₂，肢體行為T₃，疲勞度T₄，采用D-S證據(jù)決策，操作員的狀態(tài)評估為Q：

$Q=\frac{{\mathrm{\λ}}_1*T_1+{\mathrm{\λ}}_2*T_2+{\mathrm{\λ}}_3*T_3+{\mathrm{\λ}}_4*T_4}{1-{\mathrm{\λ}}_1*T_1+{\mathrm{\λ}}_2*T_2+{\mathrm{\λ}}_3*T_3+{\mathrm{\λ}}_4*T_4}$

λ_i為各種狀態(tài)的權(quán)值系數(shù)，其中λ₁*T₁+λ₂*T₂+λ₃*T₃+λ₄*T＜1；

最后給出操作員的狀態(tài)評估，估計操作員當(dāng)前是否適合該任務(wù)，以及對控制站任務(wù)可做出相應(yīng)的調(diào)整：當(dāng)Q大于操作員設(shè)定的閾值時Q＞Q₁時，操作員不適合該任務(wù)，控制站自動處理該任務(wù)，并且提醒操作員該休息下；當(dāng)Q₀＜Q＜Q₁時，操作員只適合部分該任務(wù)，控制站自動處理該任務(wù)，然后提示操作員確認該任務(wù)；當(dāng)Q＜Q₀時，操作員適合該任務(wù)，控制站把該任務(wù)全權(quán)交給操作員。