本技術(shù)涉及軍事訓(xùn)練領(lǐng)域，特別涉及一種實(shí)彈射擊訓(xùn)練效果評估方法。

背景技術(shù)：

1、目前，實(shí)彈射擊訓(xùn)練效果評估主要采用人工觀察、射擊成績統(tǒng)計等方法，存在評估維度單一、主觀性強(qiáng)等問題。傳統(tǒng)的評估方法主要關(guān)注射擊成績，如射擊命中率、射擊時間等，忽略了射擊過程中的姿勢穩(wěn)定性、瞄準(zhǔn)軌跡等重要因素，導(dǎo)致評估結(jié)果片面化，無法全面反映訓(xùn)練者的射擊能力和存在的問題。

2、國內(nèi)外已有研究嘗試將機(jī)器學(xué)習(xí)和計算機(jī)視覺技術(shù)應(yīng)用于射擊訓(xùn)練效果評估。一些研究利用傳統(tǒng)的圖像處理算法和淺層神經(jīng)網(wǎng)絡(luò)對射擊姿勢進(jìn)行分析，但忽略了時間維度的信息，無法有效捕捉姿勢的動態(tài)變化特征。也有研究采用人工標(biāo)注的方式提取視線瞄準(zhǔn)軌跡，但效率低下且主觀性強(qiáng)。

技術(shù)實(shí)現(xiàn)思路

1、針對現(xiàn)有技術(shù)中存在的實(shí)彈射擊訓(xùn)練效果評估中維度單一的問題，本技術(shù)提供了一種實(shí)彈射擊訓(xùn)練效果評估方法，利用預(yù)訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)提取射擊姿勢的時空特征，通過基于注意力機(jī)制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)建立射擊姿勢穩(wěn)定性評估模型，輸出射擊姿勢穩(wěn)定性數(shù)據(jù)。同時，采用基于注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)分析射擊動作圖像，獲取訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的瞄準(zhǔn)軌跡和駐留時間數(shù)據(jù)等，生成全面客觀的射擊訓(xùn)練效果評估報告。

2、本技術(shù)的目的通過以下技術(shù)方案實(shí)現(xiàn)。

3、本技術(shù)提供一種實(shí)彈射擊訓(xùn)練效果評估方法，包括：構(gòu)建實(shí)彈射擊訓(xùn)練評估系統(tǒng)，系統(tǒng)包括靶機(jī)、射擊裝置和數(shù)據(jù)處理裝置；其中，射擊裝置上安裝攝像裝置；在訓(xùn)練過程中，采集射擊次數(shù)、射擊時間和中彈次數(shù)；通過攝像裝置獲取訓(xùn)練者射擊動作圖像；利用預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對射擊動作圖像進(jìn)行特征提取，得到描述訓(xùn)練者持槍姿勢的特征向量序列；根據(jù)特征向量序列，通過基于注意力機(jī)制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)bilstm-attention建立射擊姿勢穩(wěn)定性評估模型，得到射擊姿勢穩(wěn)定性數(shù)據(jù)；利用基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型對采集的射擊動作圖像進(jìn)行分析，得到訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的移動軌跡和駐留時間，生成瞄準(zhǔn)軌跡和瞄準(zhǔn)時間數(shù)據(jù)；根據(jù)射擊次數(shù)、射擊時間、中彈次數(shù)、射擊姿勢穩(wěn)定性、瞄準(zhǔn)軌跡和瞄準(zhǔn)時間，生成射擊訓(xùn)練效果評估報告。

4、進(jìn)一步的，得到描述訓(xùn)練者持槍姿勢的特征向量序列，包括：將采集的連續(xù)多幀射擊動作圖像構(gòu)建為三維張量；其中，第一維和第二維表示射擊動作圖像的空間維度，第三維表示射擊動作圖像的時間維度；利用預(yù)訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)3d-cnn對三維張量進(jìn)行時空特征提取，得到射擊動作的時空特征圖；其中，三維卷積神經(jīng)網(wǎng)絡(luò)包含多個三維卷積層和三維池化層；將時空特征圖展平為一維特征向量，作為全連接層的輸入；利用全連接層采用leaky?relu激活函數(shù)對一維特征向量進(jìn)行非線性變換，得到描述訓(xùn)練者持槍姿勢的特征向量序列。

5、進(jìn)一步的，利用預(yù)訓(xùn)練的三維卷積神經(jīng)網(wǎng)絡(luò)3d-cnn對三維張量進(jìn)行時空特征提取，包括：將三維張量輸入至三維卷積層中，利用三維卷積層中的可分離卷積核在時間和空間維度上滑動，提取射擊動作圖像的局部時空特征；其中，可分離卷積核包含注意力模塊、深度卷積核和逐點(diǎn)卷積核；將提取的局部時空特征輸入三維池化層中，對局部時空特征在時間和空間維度上進(jìn)行下采樣操作；其中，在時間維度上采用最大池化，提取射擊動作的時序特征；在空間維度上采用平均池化，提取射擊動作的區(qū)域特征；通過三維卷積神經(jīng)網(wǎng)絡(luò)的多個三維卷積層和三維池化層的交替操作和層級結(jié)構(gòu)，?逐層提取和融合射擊動作的時空特征，得到射擊動作時空特征圖。

6、進(jìn)一步的，提取射擊動作圖像的局部時空特征，包括：利用注意力模塊學(xué)習(xí)射擊動作在時間維度和空間維度上的依賴關(guān)系，生成時間維度和空間維度上的注意力權(quán)重圖；利用深度卷積核在時間維度上滑動，并根據(jù)時間維度上的注意力權(quán)重圖，對不同時間步的特征圖賦予不同的權(quán)重，提取射擊動作的時序特征；利用逐點(diǎn)卷積核在空間維度上滑動，并根據(jù)空間維度上的注意力權(quán)重圖，對不同空間位置的特征圖賦予不同的權(quán)重，提取射擊動作的區(qū)域特征；將深度卷積核和逐點(diǎn)卷積核的輸出特征圖進(jìn)行組合，得到射擊動作局部時空特征。

7、進(jìn)一步的，得到射擊姿勢穩(wěn)定性數(shù)據(jù)，包括：將得到的特征向量序列同時輸入至雙向長短期記憶神經(jīng)網(wǎng)絡(luò)bilstm的前向lstm和后向lstm的輸入層，按照時間順序獲取射擊姿勢的前向和后向時序依賴關(guān)系；在bilstm的每一個時間步，利用注意力機(jī)制計算當(dāng)前時間步與其他時間步之間的關(guān)聯(lián)權(quán)重，通過加權(quán)求和得到當(dāng)前時間步的注意力特征向量；通過迭代優(yōu)化算法聯(lián)合訓(xùn)練bilstm和注意力機(jī)制的權(quán)重參數(shù)，構(gòu)建射擊姿勢穩(wěn)定性評估模型bilstm-attention；將特征向量序列數(shù)據(jù)按照時間順序輸入至訓(xùn)練后的bilstm-attention模型中：bilstm-attention模型通過雙向神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和注意力機(jī)制提取射擊姿勢的時序特征；bilstm-attention模型在每一個時間步輸出對應(yīng)的射擊姿勢穩(wěn)定性評估分?jǐn)?shù)；根據(jù)bilstm-attention模型在不同時間步輸出的射擊姿勢穩(wěn)定性評估分?jǐn)?shù)和對應(yīng)的注意力權(quán)重，生成射擊姿勢穩(wěn)定性評估報告。

8、進(jìn)一步的，構(gòu)建射擊姿勢穩(wěn)定性評估模型bilstm-attention，包括：初始化bilstm和注意力機(jī)制的權(quán)重參數(shù)；采用交叉驗證方法將特征向量序列數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集；其中，訓(xùn)練集用于模型訓(xùn)練，驗證集用于模型性能評估，測試集用于評估模型的泛化性能；使用訓(xùn)練集訓(xùn)練bilstm-attention，通過前向傳播計算每一個時間步的隱藏狀態(tài)、注意力權(quán)重和射擊姿勢穩(wěn)定性評估分?jǐn)?shù)；采用交叉熵?fù)p失函數(shù)計算bilstm-attention模型在訓(xùn)練集上的損失值；通過反向傳播算法計算損失函數(shù)對bilstm和注意力機(jī)制的權(quán)重參數(shù)的梯度；更新bilstm和注意力機(jī)制的權(quán)重參數(shù)。

9、進(jìn)一步的，交叉熵?fù)p失函數(shù)表達(dá)式如下：，其中，各參數(shù)定義如下：n表示訓(xùn)練樣本數(shù)量，表示參與訓(xùn)練的射擊姿勢穩(wěn)定性數(shù)據(jù)的總數(shù)。t表示時間步數(shù)，表示bilstm-attention模型處理射擊姿勢穩(wěn)定性數(shù)據(jù)的序列長度。表示第i個訓(xùn)練樣本在第t個時間步的真實(shí)穩(wěn)定性標(biāo)簽，取值為0或1，表示該時間步的射擊姿勢是否穩(wěn)定。表示bilstm-attention模型在第t個時間步對第i個訓(xùn)練樣本的穩(wěn)定性評估分?jǐn)?shù)，取值范圍為[0，1]，表示模型預(yù)測該時間步射擊姿勢為穩(wěn)定的概率。表示時間步t的正樣本權(quán)重系數(shù)，用于平衡不同時間步正樣本的貢獻(xiàn)，可以根據(jù)先驗知識設(shè)置，也可以作為可學(xué)習(xí)參數(shù)進(jìn)行優(yōu)化。：focal?loss的超參數(shù)，用于調(diào)節(jié)難分樣本的權(quán)重。當(dāng)時，退化為標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)；當(dāng)時，增大了難分樣本的權(quán)重，使模型更關(guān)注那些預(yù)測錯誤的樣本。：負(fù)樣本權(quán)重系數(shù)，用于平衡正負(fù)樣本的貢獻(xiàn)。當(dāng)數(shù)據(jù)集中正負(fù)樣本比例失衡時，通過設(shè)置合適的，可以緩解類別不平衡問題。改進(jìn)后的損失函數(shù)在原有focal?loss的基礎(chǔ)上，引入了正負(fù)樣本權(quán)重系數(shù)和，對正負(fù)樣本的損失項進(jìn)行加權(quán)。對于正樣本，權(quán)重系數(shù)為；對于負(fù)樣本，權(quán)重系數(shù)為和。通過合理設(shè)置和，可以靈活地平衡不同時間步和不同類別的樣本貢獻(xiàn)，有效緩解類別不平衡和時間步重要性不均衡的問題。同時，改進(jìn)后的損失函數(shù)在難分樣本權(quán)重調(diào)節(jié)項的基礎(chǔ)上，針對負(fù)樣本引入了項，對預(yù)測正確的負(fù)樣本進(jìn)行抑制，進(jìn)一步提高模型對難分負(fù)樣本的關(guān)注度。

10、進(jìn)一步的，更新bilstm和注意力機(jī)制的權(quán)重參數(shù)，通過如下表達(dá)式：，，，，；其中，各參數(shù)定義如下：：當(dāng)前時刻t的梯度，通過對損失函數(shù)l關(guān)于上一時刻參數(shù)求導(dǎo)得到。：梯度的一階矩（即梯度的指數(shù)加權(quán)移動平均值），用于估計梯度的均值。通過指數(shù)加權(quán)平均的方式更新，平滑了梯度的震蕩，提高了優(yōu)化的穩(wěn)定性。：一階矩的衰減率，用于控制梯度移動平均值的更新速度，取值范圍為[0，1）。值越大，更新速度越慢，歷史梯度的影響越大；值越小，更新速度越快，當(dāng)前梯度的影響越大。：梯度絕對值的最大值的指數(shù)加權(quán)移動平均，用于自適應(yīng)調(diào)整每個參數(shù)的學(xué)習(xí)率。通過與上一時刻和當(dāng)前梯度絕對值取最大值的方式更新，能夠自適應(yīng)地調(diào)節(jié)學(xué)習(xí)率，加速收斂。：最大值移動平均的衰減率，用于控制的更新速度，取值范圍為[0，1）。值越大，更新速度越慢，歷史最大值的影響越大；值越小，更新速度越快，當(dāng)前梯度絕對值的影響越大。：校正后的梯度一階矩，用于修正由于初始化為0而導(dǎo)致的偏差。隨著時間步t的增加，會逐漸衰減到0，會逐漸接近的真實(shí)值。：當(dāng)前時刻t的自適應(yīng)學(xué)習(xí)率，直接使用的值，無需進(jìn)行偏差校正。：當(dāng)前時刻t更新后的模型參數(shù)，根據(jù)校正后的梯度一階矩和自適應(yīng)學(xué)習(xí)率進(jìn)行更新。：初始學(xué)習(xí)率，控制每次參數(shù)更新的步長。需要根據(jù)具體任務(wù)和數(shù)據(jù)集進(jìn)行調(diào)節(jié)，通常取值范圍為。使用梯度絕對值的最大值的指數(shù)加權(quán)移動平均來自適應(yīng)調(diào)整每個參數(shù)的學(xué)習(xí)率。僅需要計算梯度的一階矩和最大值移動平均，計算效率較高，適用于大規(guī)模數(shù)據(jù)集和復(fù)雜模型的優(yōu)化。

11、進(jìn)一步的，生成瞄準(zhǔn)軌跡和瞄準(zhǔn)時間數(shù)據(jù)，包括：將采集的射擊動作圖像輸入至基于注意力機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)模型中；其中，循環(huán)神經(jīng)網(wǎng)絡(luò)模型包含編碼器和解碼器；編碼器采用雙向長短期記憶神經(jīng)網(wǎng)絡(luò)bilstm結(jié)構(gòu)，解碼器采用注意力機(jī)制和長短期記憶神經(jīng)網(wǎng)絡(luò)lstm結(jié)構(gòu)；編碼器接收射擊動作圖像，通過bilstm提取射擊動作圖像的時序特征，得到編碼特征序列；其中，bilstm在每一個時間步，利用雙向lstm單元分別提取射擊動作圖像的前向和后向時序依賴關(guān)系，并將前向和后向的隱藏狀態(tài)拼接，作為當(dāng)前時間步的編碼特征；解碼器接收編碼特征序列和上一時間步的隱藏狀態(tài)，通過注意力機(jī)制計算當(dāng)前時間步與編碼特征序列中每一個時間步的注意力權(quán)重，得到當(dāng)前時間步的注意力特征向量；解碼器將注意力特征向量和上一時間步的隱藏狀態(tài)輸入lstm單元中，通過門控機(jī)制更新隱藏狀態(tài)，并生成當(dāng)前時間步的瞄準(zhǔn)位置坐標(biāo)；循環(huán)執(zhí)行直至解碼器生成完整的瞄準(zhǔn)軌跡坐標(biāo)序列，得到訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的移動軌跡；根據(jù)瞄準(zhǔn)軌跡坐標(biāo)序列，計算訓(xùn)練者視線在每個瞄準(zhǔn)位置的駐留時間，生成瞄準(zhǔn)時間數(shù)據(jù)。

12、進(jìn)一步的，生成瞄準(zhǔn)時間數(shù)據(jù)，包括：對于瞄準(zhǔn)軌跡坐標(biāo)序列中的每一個坐標(biāo)點(diǎn)，選取其前后多個坐標(biāo)點(diǎn)，根據(jù)坐標(biāo)點(diǎn)之間的時間間隔計算權(quán)重，對選取的坐標(biāo)點(diǎn)進(jìn)行加權(quán)平均，得到當(dāng)前坐標(biāo)點(diǎn)的平滑坐標(biāo)值；遍歷瞄準(zhǔn)軌跡坐標(biāo)序列中的每一個坐標(biāo)點(diǎn)，更新其坐標(biāo)值為平滑后的坐標(biāo)值，得到平滑處理后的瞄準(zhǔn)軌跡坐標(biāo)序列；根據(jù)平滑處理后的瞄準(zhǔn)軌跡坐標(biāo)序列，計算相鄰兩個瞄準(zhǔn)位置之間的歐氏距離，當(dāng)歐氏距離小于閾值時，將相鄰的瞄準(zhǔn)位置歸為同一個瞄準(zhǔn)區(qū)域；統(tǒng)計每個瞄準(zhǔn)區(qū)域內(nèi)的瞄準(zhǔn)位置數(shù)量，將瞄準(zhǔn)位置數(shù)量乘以單位時間步長，得到訓(xùn)練者視線在每個瞄準(zhǔn)區(qū)域的駐留時間；將瞄準(zhǔn)區(qū)域的中心坐標(biāo)作為對應(yīng)區(qū)域的代表坐標(biāo)，生成包含瞄準(zhǔn)區(qū)域代表坐標(biāo)和對應(yīng)駐留時間的瞄準(zhǔn)時間數(shù)據(jù)。

13、相比于現(xiàn)有技術(shù)，本技術(shù)的優(yōu)點(diǎn)在于：

14、引入三維卷積神經(jīng)網(wǎng)絡(luò)提取射擊姿勢時空特征，克服了傳統(tǒng)二維圖像分析方法忽略時間維度信息的局限性。通過在時間和空間維度上同時提取特征，能夠全面刻畫射擊姿勢在連續(xù)時間段內(nèi)的變化規(guī)律，為射擊姿勢穩(wěn)定性評估提供更加豐富和有效的特征表示。

15、采用基于注意力機(jī)制的雙向長短期記憶神經(jīng)網(wǎng)絡(luò)構(gòu)建射擊姿勢穩(wěn)定性評估模型，利用注意力機(jī)制自適應(yīng)地關(guān)注射擊姿勢序列中的關(guān)鍵時刻和區(qū)域，有效提取對穩(wěn)定性評估具有顯著影響的姿勢特征。同時，雙向lstm能夠充分挖掘姿勢序列的前向和后向時序依賴關(guān)系，增強(qiáng)模型對姿勢動態(tài)變化的刻畫能力，使得穩(wěn)定性評估更加準(zhǔn)確可靠。

16、在姿勢穩(wěn)定性評估模型的訓(xùn)練過程中，引入改進(jìn)的focal?loss函數(shù)，通過設(shè)置樣本權(quán)重系數(shù)和難分樣本調(diào)節(jié)因子，有效緩解數(shù)據(jù)集類別不平衡問題，提高模型對穩(wěn)定性較差姿勢樣本的關(guān)注度，從而強(qiáng)化模型的分類性能和泛化能力。

17、利用基于注意力機(jī)制的編碼器-解碼器結(jié)構(gòu)對射擊動作圖像序列進(jìn)行分析，自動學(xué)習(xí)提取訓(xùn)練者視線在準(zhǔn)星和靶標(biāo)之間的瞄準(zhǔn)軌跡，相比人工標(biāo)注方法，提高了瞄準(zhǔn)軌跡提取的效率和客觀性。注意力機(jī)制的引入，使得模型能夠自適應(yīng)地關(guān)注對瞄準(zhǔn)至關(guān)重要的圖像區(qū)域，提高了瞄準(zhǔn)軌跡和駐留時間分析的精度。

18、通過平滑處理瞄準(zhǔn)軌跡坐標(biāo)序列，剔除微小的眼球抖動和噪聲干擾，并自動歸類瞄準(zhǔn)區(qū)域，實(shí)現(xiàn)對訓(xùn)練者視線駐留時間的精細(xì)化分析。量化的駐留時間指標(biāo)，為評估訓(xùn)練者的瞄準(zhǔn)能力和專注程度提供了客觀依據(jù)，豐富了射擊訓(xùn)練效果評估的維度。

19、綜合射擊次數(shù)、時間、命中率、射擊姿勢穩(wěn)定性、瞄準(zhǔn)軌跡和駐留時間等多維度指標(biāo)，形成全面、客觀、細(xì)粒度的射擊訓(xùn)練效果評估報告。多角度的評估結(jié)果能夠揭示訓(xùn)練者在射擊過程中的優(yōu)勢與不足。