本發(fā)明涉及無人機(jī)系統(tǒng)
技術(shù)領(lǐng)域：
，具體涉及一種基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機(jī)操作員狀態(tài)評估方法。
背景技術(shù)：
：隨著無人機(jī)自動化程度的提高，操作員對無人機(jī)的控制由低級的基于行為的控制轉(zhuǎn)變?yōu)楦呒壍幕谥R的控制，這種基于知識的控制就是監(jiān)督控制。在監(jiān)督控制中，飛行控制是由系統(tǒng)自動完成的，操作員主要是負(fù)責(zé)高層的任務(wù)管理和載荷管理。傳統(tǒng)指揮控制一架無人機(jī)經(jīng)常需要多個操作員，監(jiān)督控制則使得單個操作員控制多架無人機(jī)成為可能，一方面平臺自動化程度的提高為這種轉(zhuǎn)變提供了技術(shù)支持，另一方面網(wǎng)絡(luò)中心戰(zhàn)要求平臺間的交互為這種轉(zhuǎn)變提供了動力。在執(zhí)行任務(wù)過程中地面站操作員仍然擁有操縱飛機(jī)的最終決定權(quán)，無人機(jī)系統(tǒng)仍屬于人在回路的系統(tǒng)，其作戰(zhàn)使用離不開人的指揮控制，大量的顯示信息及控制需求使地面站操作員的工作負(fù)荷和操作難度增大容易導(dǎo)致誤判和誤操作。公開號為101868284A的專利文獻(xiàn)提出一種用于基于傳感器測量來提供交互性的方法及系統(tǒng)，是一種用于客人的傳感器測量來向體驗場所的客人提供交互性的系統(tǒng)。公開號為105082150A的專利文獻(xiàn)，公開了一種基于用戶情緒及意圖識別的機(jī)器人人機(jī)交互方法，利用生物信號、面部表情以及利用語音交互實(shí)現(xiàn)人機(jī)交互，主要用于老人和小孩等使用者。公開號為105292476A的專利文獻(xiàn)公開了一種無人機(jī)的控制方法及系統(tǒng)，利用腦電波判斷無人機(jī)操作員大腦是否清醒。因此，從多傳感器測量角度，研究無人機(jī)操作人員工作狀態(tài)，為更好的監(jiān)督控制多無人機(jī)系統(tǒng)提供依據(jù)。技術(shù)實(shí)現(xiàn)要素：本發(fā)明提出了一種基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機(jī)操作員狀態(tài)評估方法。多傳感器主要包括測量操作員姿態(tài)、面部表情、眼動跟蹤、體溫，心率的傳感器，以及人腦意念的傳感器。利用這些傳感器獲取操作員狀態(tài)信息，構(gòu)建多維特征空間樣本庫。根據(jù)不同操作員的樣本，用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和學(xué)習(xí)，建立與上述傳感器特征與語義之間的映射關(guān)系，從而估計出操作員的決策等級。該方法適用于具有不同熟練程度的各種層次的無人機(jī)操作員，可以更加直觀的掌握操作員的實(shí)時狀態(tài)，估計操作員當(dāng)前是否適合該任務(wù)，以及對任務(wù)可做出相應(yīng)的調(diào)整。一種基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機(jī)操作員狀態(tài)評估方法，包括以下步驟：步驟一：傳感器測量利用溫度傳感器檢測操作員的體溫，用于監(jiān)測操作員不同情緒變化下的體溫分布情況。利用心率傳感器檢測操作員的心率，用于監(jiān)測操作員不同狀態(tài)如興奮、疲勞狀態(tài)下的心率變化。利用人體動作、姿態(tài)檢測的深度圖像傳感器檢測操作員的姿態(tài)行為，用于監(jiān)測操作員不同行為狀態(tài)下的姿態(tài)變化。利用面部表情的可見光圖像傳感器檢測操作員的面部表情，根據(jù)面部表情的變化檢測操作員的心情狀態(tài)。利用眼動儀傳感器檢測人的眼睛關(guān)注度，以及根據(jù)眼睛的閉合情況檢測眼睛疲勞狀態(tài)。利用人腦意念傳感器檢測操作員是否注意力集中。步驟二、利用上述傳感器獲取的操作員狀態(tài)信息，構(gòu)建多維特征空間樣本庫；根據(jù)不同操作員的樣本，設(shè)計相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器，建立與上述傳感器特征與語義之間的映射關(guān)系。1)首先構(gòu)建多維的特征空間樣本庫人腦意念和眼動跟蹤可以輸出操作員的關(guān)注度，體溫和面部表情可以輸出操作員的心情，姿態(tài)可以判斷操作員的肢體行為，心率、眼動跟蹤以及姿態(tài)可以輸出操作員的疲勞度?；谏鲜鰻顟B(tài)信息確定操作員狀態(tài)特征輸入矢量X(人腦意念x1，眼動跟蹤x2，體溫x3，面部表情x4，姿態(tài)x5，心率x6)。同時，確定操作員狀態(tài)特征目標(biāo)矢量T(關(guān)注度T1，心情T2，肢體行為T3，疲勞度T4)。2)設(shè)計相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器①確定輸入矢量X，目標(biāo)矢量T，并由此確定各矢量的維數(shù)，r為輸入矢量P的維數(shù)，r＝6；s為目標(biāo)矢量T的維數(shù)，s＝4；確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元節(jié)點(diǎn)數(shù)目q＝44。其數(shù)學(xué)模型可表示為Y為神經(jīng)元輸出，f為神經(jīng)元非線性激勵函數(shù)，X＝(x1,x2,...,x6)為神經(jīng)元輸入，W＝(ω1,ω2,...,ω6)為權(quán)矢量，其中包含多個權(quán)值，θ為神經(jīng)元激活閾值。②參數(shù)初始化，賦給權(quán)矢量W在(-1,1)的隨機(jī)非零初始值，給出最大訓(xùn)練循環(huán)次數(shù)。③網(wǎng)絡(luò)表達(dá)式：根據(jù)輸入矢量X以及跟新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量Y。④檢查：檢查輸出矢量Y與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入⑤。⑤學(xué)習(xí)，根據(jù)下式所示，感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量W，并返回③。W＝W+EPTθ＝θ+E此處E為誤差矢量，E＝T-Y。3)最后建立與上述傳感器特征與語義之間的映射關(guān)系：首先對狀態(tài)模型進(jìn)行語義量化；選擇很多對形容詞用于建立操作員狀態(tài)模型形容詞集，形容詞集如表1所示：表11、悲傷的–快樂的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的針對表1中的各個形容詞隊，如“疲勞的–平靜的”，將其分為四個等級進(jìn)行評價，其評價可以是重度疲勞，輕微疲勞，良好，非常良好，分別對應(yīng)的邊界條件為t43，t42，t41，當(dāng)疲勞度T4大于操作員設(shè)定的閾值時T4＞t43，操作員重度疲勞，當(dāng)T4小于操作員設(shè)定的閾值時T4＜t41，操作員狀態(tài)非常良好；同樣的，將其他各形容詞隊分別將其分為四個等級進(jìn)行評價。然后建立狀態(tài)空間；首先獲得各測試用戶對某一狀態(tài)m的第n對形容詞的評價量化值，再對某一狀態(tài)m的第n對形容詞量化值求平均，獲得一維矩陣Ym＝[ym1,ym2,...,ymn]，并按照公式進(jìn)行標(biāo)準(zhǔn)化，得到矩陣Xm；式中設(shè)E為公共因子矩陣，Z為載荷矩陣，其中式中，公共因子矩陣E的第m行em＝(em1,em2,...,emn)對每一操作用狀態(tài)m在狀態(tài)空間的坐標(biāo)，載荷矩陣Z的第n行Zn＝(Zn1,Zn2,...,Znk)對應(yīng)形容詞n在K維空間的坐標(biāo)。再設(shè)U為獨(dú)特因子，D作為獨(dú)特因子的權(quán)值，為對獲得的矩陣X按公式做因子分析：X＝EZ'+UD通過以上步驟，將原先的N維操作員的狀態(tài)空間降至K維，形成K維的正交狀態(tài)空間，建立形容詞與操作員向量的映射。步驟三：構(gòu)建語義組合構(gòu)建的樹形結(jié)構(gòu)，給出操作員的狀態(tài)評估，估計操作員當(dāng)前是否適合該任務(wù)，以及對無人機(jī)任務(wù)控制站任務(wù)可做出相應(yīng)的調(diào)整。構(gòu)建語義組合構(gòu)建的樹形結(jié)構(gòu)，從葉子節(jié)點(diǎn)開始，按照樹所表示的節(jié)點(diǎn)層次關(guān)系，從底層葉子節(jié)點(diǎn)開始逐層向上進(jìn)行有序的組合，最終得到整個句子的語義表示。然后根據(jù)上述的語義量化，操作員關(guān)注度T1，心情T2，肢體行為T3，疲勞度T4，采用D-S證據(jù)決策，操作員的狀態(tài)評估為Q：λi為各種狀態(tài)的權(quán)值系數(shù)，其中λ1*T1+λ2*T2+λ3*T3+λ4*T＜1；最后給出操作員的狀態(tài)評估，估計操作員當(dāng)前是否適合該任務(wù)，以及對控制站任務(wù)可做出相應(yīng)的調(diào)整。當(dāng)Q大于操作員設(shè)定的閾值時Q＞Q1時，操作員不適合該任務(wù)，控制站自動處理該任務(wù)，并且提醒操作員該休息下；當(dāng)Q0＜Q＜Q1時，操作員只適合部分該任務(wù)，控制站自動處理該任務(wù)，然后提示操作員確認(rèn)該任務(wù)；當(dāng)Q＜Q0時，操作員適合該任務(wù)，控制站把該任務(wù)全權(quán)交給操作員。本發(fā)明提出了一種基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機(jī)操作員狀態(tài)評估方法，建立與上述傳感器特征與語義之間的映射關(guān)系，從而估計出操作員的決策等級。該方法便于更加直觀地掌握操作員的實(shí)時狀態(tài)，估計操作員當(dāng)前是否適合該任務(wù)，以及對任務(wù)可做出相應(yīng)的調(diào)整。由于采用了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，可建立不同操作員的特征空間，因此，適用于具有不同熟練程度的各種層次的無人機(jī)操作員。附圖說明圖1為本發(fā)明的流程圖，圖2為各個傳感器輸出操作員的各種狀態(tài)，圖3為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，圖4句子組合關(guān)系樹狀層次圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步說明。本發(fā)明旨在提供一種基于多傳感器測量與神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的無人機(jī)操作員狀態(tài)評估方法，建立與上述傳感器特征與語義之間的映射關(guān)系，從而估計出操作員的決策等級。該方法便于更加直觀地掌握操作員的實(shí)時狀態(tài)，估計操作員當(dāng)前是否適合該任務(wù)，以及對任務(wù)可做出相應(yīng)的調(diào)整。由于采用了神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法，可建立不同操作員的特征空間，因此，適用于具有不同熟練程度的各種層次的無人機(jī)操作員。下面結(jié)合附圖，說明本方法的具體實(shí)施方式。如圖1所示為本發(fā)明的流程圖。無人機(jī)操作員狀態(tài)特征提取主要通過多種傳感器檢測無人機(jī)操作員的各種狀態(tài)信號。傳感器包括用于操作員體溫檢測的溫度傳感器，用于監(jiān)測操作員心率的心率傳感器，用于操作員人體動作、姿態(tài)檢測的深度圖像傳感器，用于檢測操作員面部表情的可見光圖像傳感器，用于操作員眼睛關(guān)注度和眼睛疲勞檢測的眼動儀傳感器，以及用于操作員人腦意念檢測的人腦意念傳感器。操作員的體溫檢測可以檢測不同情緒變化下的體溫；心率傳感器檢測人的心率變換，如在興奮、疲勞狀態(tài)下人的心率不同；人體動作、姿態(tài)檢測傳感器檢測姿態(tài)行為，處于不同狀態(tài)的人，表現(xiàn)的姿態(tài)上也有可能不一樣；面部表情的傳感器可以檢測操作員心情狀態(tài)，比如開心，憤怒等；眼睛關(guān)注度傳感器檢測人的關(guān)注度，也可以檢測疲勞狀態(tài)；人腦意念傳感器主要檢測操作員是否注意力集中。通過上述多種傳感器獲得這些特征量化后，根據(jù)不同操作員的樣本，在基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方法上進(jìn)行訓(xùn)練，建立與上述傳感器特征與語義之間的映射關(guān)系，該映射關(guān)系主要是利用訓(xùn)練中的數(shù)據(jù)庫、知識庫、規(guī)則庫轉(zhuǎn)化的數(shù)值符號和語義概念合成，利用這些特征量化值作為特征輸入，通過語義輸出操作員各種狀態(tài)，估計該狀態(tài)下的操作員適合該任務(wù)的等級。最后無人機(jī)任務(wù)控制站系統(tǒng)以語義的方式反饋回操作員，使得操作員更加直觀的掌握實(shí)時的狀態(tài)信息。1)首先構(gòu)建多維的特征空間樣本庫圖2為各個傳感器輸出操作員的各種狀態(tài)，其中根據(jù)人腦意念和眼動跟蹤可以輸出操作員的關(guān)注度，體溫和面部表情可以輸出操作員的心情，姿態(tài)可以判斷操作員的肢體行為，心率、眼動跟蹤以及姿態(tài)可以輸出操作員的疲勞度。然后根據(jù)這些狀態(tài)輸出操作員的狀態(tài)負(fù)載等級，最后根據(jù)負(fù)載等級無人機(jī)任務(wù)控制站提示因該給予操作員的任務(wù)等級。因此，基于上述狀態(tài)信息確定操作員狀態(tài)特征輸入矢量X(人腦意念x1，眼動跟蹤x2，體溫x3，面部表情x4，姿態(tài)x5，心率x6)，操作員狀態(tài)特征目標(biāo)矢量T(關(guān)注度T1，心情T2，肢體行為T3，疲勞度T4)。語義網(wǎng)是如何把特征向量構(gòu)建神經(jīng)網(wǎng)絡(luò)的語義基礎(chǔ)，如圖3所示為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖，語義網(wǎng)是基于有向圖描述事物、概念、屬性、動作、狀態(tài)及其之間的關(guān)聯(lián)關(guān)系的知識表示模式。在上文中獲得的目標(biāo)圖像特征，用語義網(wǎng)理論加以描述，分析目標(biāo)圖像特征信息與其內(nèi)容之間的內(nèi)在關(guān)聯(lián)關(guān)系。建立目標(biāo)圖像知識表示模式，為神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)圖像語義提供支持。神經(jīng)網(wǎng)絡(luò)信息存儲分布在連接權(quán)值上，使網(wǎng)絡(luò)局部輸入信息的不準(zhǔn)確并不會影響網(wǎng)絡(luò)輸出的正確性，具有較高的容錯性和魯棒性。每個神經(jīng)元根據(jù)接收輸入信息獨(dú)立運(yùn)算，輸入下層處理，具有并行處理信息能力。神經(jīng)網(wǎng)絡(luò)將信息處理和信息存儲分離，反映了網(wǎng)絡(luò)對信息的記憶聯(lián)想能力。2)設(shè)計相應(yīng)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)感知器①確定輸入矢量X，目標(biāo)矢量T，并由此確定各矢量的維數(shù)，r為輸入矢量P的維數(shù)，r＝6；s為目標(biāo)矢量T的維數(shù)，s＝4；確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元節(jié)點(diǎn)數(shù)目q＝44。其數(shù)學(xué)模型可表示為Y為神經(jīng)元輸出，f為神經(jīng)元非線性激勵函數(shù)，X＝(x1,x2,...,x6)為神經(jīng)元輸入，W＝(ω1,ω2,...,ω6)為權(quán)矢量，其中包含多個權(quán)值，θ為神經(jīng)元激活閾值。②參數(shù)初始化，賦給權(quán)矢量W在(-1,1)的隨機(jī)非零初始值，給出最大訓(xùn)練循環(huán)次數(shù)。③網(wǎng)絡(luò)表達(dá)式：根據(jù)輸入矢量X以及跟新權(quán)矢量W，計算網(wǎng)絡(luò)輸出矢量Y。④檢查：檢查輸出矢量Y與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入⑤。⑤學(xué)習(xí)，根據(jù)下式所示，感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量W，并返回③。W＝W+EPTθ＝θ+E此處E為誤差矢量，E＝T-Y。3)最后建立與上述傳感器特征與語義之間的映射關(guān)系.操作員各種狀態(tài)模型建立。操作員各種狀態(tài)模型的建立主要包括兩步，一是對狀態(tài)模型進(jìn)行語義量化，二是建立狀態(tài)空間。選擇很多對形容詞用于建立操作員狀態(tài)模型形容詞集，形容詞對如表1所示：表1形容詞集1、悲傷的–快樂的5、輕松的–壓抑的2、疲勞的–平靜的6、注意力集中的–分散的3、焦慮的–中性的7、低頭的–抬頭的4、緊張的–放松的8、清晰的–模糊的針對表1中的各個形容詞隊，如“疲勞的–平靜的”，將其分為四個等級進(jìn)行評價，其評價可以是重度疲勞，輕微疲勞，良好，非常良好，分別對應(yīng)的邊界條件為t43，t42，t41，當(dāng)疲勞度T4大于操作員設(shè)定的閾值時T4＞t43，操作員重度疲勞，當(dāng)T4小于操作員設(shè)定的閾值時T4＜t41，操作員狀態(tài)非常良好。同樣的，將其他各形容詞隊分別將其分為多個等級進(jìn)行評價。如將關(guān)注度T1分為高度集中、集中、關(guān)注度低、沒關(guān)注四個等級，分別對應(yīng)的邊界條件為t13，t12，t11，當(dāng)關(guān)注度T1大于操作員設(shè)定的閾值時T1＞t13，操作員沒關(guān)注，當(dāng)T1小于操作員設(shè)定的閾值時T1＜t11，操作員高度集中。同理可將心情T2分為中性、厭惡、憤怒三個等級，將肢體行為T3分為直視、低頭、換動三個等級。然后建立狀態(tài)空間：首先獲得各測試用戶對某一狀態(tài)m的第n對形容詞的評價量化值，再對某一狀態(tài)m的第n對形容詞量化值求平均，獲得一維矩陣Ym＝[ym1,ym2,...,ymn]，并按照公式進(jìn)行標(biāo)準(zhǔn)化，得到矩陣Xm；式中設(shè)E為公共因子矩陣，Z為載荷矩陣，其中式中，公共因子矩陣E的第m行em＝(em1,em2,...,emn)對每一操作用狀態(tài)m在狀態(tài)空間的坐標(biāo)，載荷矩陣Z的第n行Zn＝(Zn1,Zn2,...,Znk)對應(yīng)形容詞n在K維空間的坐標(biāo)；再設(shè)U為獨(dú)特因子，D作為獨(dú)特因子的權(quán)值，為對獲得的矩陣X按公式做因子分析：X＝EZ'+UD通過以上步驟，將原先的N維操作員的狀態(tài)空間降至K維，形成K維的正交狀態(tài)空間，建立形容詞與操作員向量的映射。語義組合構(gòu)建，由于語義組合構(gòu)建需要使用到文本不同成分之間的語義表達(dá)的組合關(guān)系，故需要把上述工具分析得到的結(jié)果按照分析器定義的依存關(guān)系次序進(jìn)行變換，就可以得到整個句子的組合關(guān)系樹狀層級圖，如圖4所示。按照圖4所示的樹狀結(jié)構(gòu)，從葉子節(jié)點(diǎn)開始，按照樹所表示的節(jié)點(diǎn)層次關(guān)系，從底層葉子節(jié)點(diǎn)開始逐層向上進(jìn)行有序的組合，最終得到整個句子的語義表示。文中對上圖樹中兩個子節(jié)點(diǎn)進(jìn)行組合。然后根據(jù)語義組合構(gòu)建的樹形結(jié)構(gòu)，利用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的結(jié)果填充不同類型的語義詞，最后給出操作員的狀態(tài)評估，估計操作員當(dāng)前是否適合該任務(wù)，以及對任務(wù)可做出相應(yīng)的調(diào)整。采用D-S證據(jù)決策，操作員的狀態(tài)評估為Q。λi為各種狀態(tài)的權(quán)值系數(shù)，其中λ1*T1+λ2*T2+λ3*T3+λ4*T＜1。最后給出操作員的狀態(tài)評估，估計操作員當(dāng)前是否適合該任務(wù)，以及對控制站任務(wù)可做出相應(yīng)的調(diào)整。當(dāng)Q大于操作員設(shè)定的閾值時Q＞Q1時，操作員不適合該任務(wù)，控制站自動處理該任務(wù)，并且提醒操作員該休息下。當(dāng)Q0＜Q＜Q1時，操作員只適合部分該任務(wù)，控制站自動處理該任務(wù)，然后提示操作員確認(rèn)該任務(wù)。當(dāng)Q＜Q0時，操作員適合該任務(wù)，控制站把該任務(wù)全權(quán)交給操作員。對不同時刻下無人機(jī)操作員的狀態(tài)進(jìn)行檢測，檢測疲勞、心情、表情、關(guān)注度以及行為，建立特征矩陣X，然后根據(jù)語義組合已經(jīng)構(gòu)建的語義網(wǎng)絡(luò)采用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法，構(gòu)建語義學(xué)習(xí)的結(jié)果。當(dāng)操作員操作時間越長時，操作員的狀態(tài)會變的不好，最后根據(jù)所有操作員的狀態(tài)利用D-S證據(jù)決策對數(shù)據(jù)的融合估計操作員是否適合該任務(wù)或者操作。該語義學(xué)習(xí)的結(jié)果如表2所示?？梢钥闯?，操作員連續(xù)工作的時間越長，精神狀態(tài)越差，當(dāng)操作員連續(xù)工作1小時左右，操作員就不太適合該任務(wù)的操作，或者需要更換其他的任務(wù)，或者休息。表2神經(jīng)網(wǎng)絡(luò)語義學(xué)習(xí)不同時刻的無人機(jī)操作員狀態(tài)當(dāng)前第1頁1 2 3