本發(fā)明涉及戰(zhàn)場仿真訓(xùn)練技術(shù)領(lǐng)域，特別是指一種基于計算機(jī)生成兵力的作戰(zhàn)仿真系統(tǒng)及仿真方法。

背景技術(shù)：

隨著信息技術(shù)的迅速發(fā)展和計算機(jī)軟硬件水平的不斷提高，作戰(zhàn)仿真的理論方法及各類應(yīng)用己日趨成熟，但如何模擬軍隊行為的問題一直沒有得到很好的解決。作戰(zhàn)仿真環(huán)境中由計算機(jī)程序?qū)崿F(xiàn)的人或?qū)嶓w被稱為計算機(jī)生成兵力(Computer Generated Forces，CGF)，由于人是決定戰(zhàn)爭勝負(fù)的關(guān)鍵因素，但現(xiàn)有技術(shù)中缺乏對人類行為的準(zhǔn)確描述，必然導(dǎo)致仿真結(jié)果不可信。

技術(shù)實現(xiàn)要素：

本發(fā)明提出一種基于計算機(jī)生成兵力的作戰(zhàn)仿真系統(tǒng)及仿真方法，解決了現(xiàn)有技術(shù)中缺乏對人類行為的準(zhǔn)確描述導(dǎo)致仿真結(jié)果不可信的問題。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種基于計算機(jī)生成兵力的作戰(zhàn)仿真系統(tǒng)，包括：數(shù)據(jù)輸入模塊，用于輸入不同場景的路徑規(guī)劃、戰(zhàn)術(shù)策略和隊組協(xié)同關(guān)系，以及輸入規(guī)劃算法、和操作人員的信息；規(guī)劃算法包括：不同場景路徑規(guī)劃和戰(zhàn)術(shù)策略的算法；數(shù)據(jù)分析模塊，通過對輸入的路徑、戰(zhàn)術(shù)策略進(jìn)行分析，實現(xiàn)路徑規(guī)劃識別建模、戰(zhàn)術(shù)策略識別建模、作戰(zhàn)方案識別建模，把各種輸入數(shù)據(jù)進(jìn)行模型形式化表示和數(shù)據(jù)分析；輸出評價模塊，對分析后的數(shù)據(jù)進(jìn)行輸出和評價，并對輸出的數(shù)據(jù)進(jìn)行學(xué)習(xí)推理，通過分析收益與代價，推理出模擬的決策規(guī)劃是否合理。

本發(fā)明還涉及一種基于計算機(jī)生成兵力的作戰(zhàn)仿真方法，包括以下步驟：

S1、在系統(tǒng)初始化時，輸入不同場景的路徑規(guī)劃、戰(zhàn)術(shù)策略和人物地形協(xié)同關(guān)系，以及輸入規(guī)劃算法和操作人員的信息；

S2、初始化數(shù)據(jù)輸入后，進(jìn)入實驗數(shù)據(jù)分析和系統(tǒng)建模階段，根據(jù)步驟S1中輸入的數(shù)據(jù)，分別進(jìn)行路徑規(guī)劃識別建模，戰(zhàn)術(shù)策略識別建模，作戰(zhàn)方案識別建模，將所有的數(shù)據(jù)都用模型化表示出來；

S3、數(shù)據(jù)建模后，輸出數(shù)據(jù)以及對模型進(jìn)行評價，進(jìn)行收益與代價計算，推理出收益與代價的比例是否合理，并且輸出結(jié)果。

本發(fā)明的有益效果為：

本發(fā)明中基于計算機(jī)生成兵力的作戰(zhàn)仿真系統(tǒng)及仿真方法，通過對人類行為的足夠建模，CGF能不需要人的交互而自動地對仿真戰(zhàn)場環(huán)境中的事件和狀態(tài)做出反應(yīng)；通過本系統(tǒng)的仿真推演和模型評價，可以模擬出真實戰(zhàn)爭中可能的結(jié)果。

具體實施方式

下面將結(jié)合對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

實施例中的基于計算機(jī)生成兵力的作戰(zhàn)仿真系統(tǒng)，包括：

數(shù)據(jù)輸入模塊，用于輸入不同場景的路徑規(guī)劃、戰(zhàn)術(shù)策略和隊組協(xié)同關(guān)系，以及輸入規(guī)劃算法、和操作人員的信息；

數(shù)據(jù)分析模塊，通過對輸入的路徑、戰(zhàn)術(shù)策略進(jìn)行分析，實現(xiàn)路徑規(guī)劃識別建模、戰(zhàn)術(shù)策略識別建模、作戰(zhàn)方案識別建模，把各種輸入數(shù)據(jù)進(jìn)行模型形式化表示和數(shù)據(jù)分析；

輸出評價模塊，對分析后的數(shù)據(jù)進(jìn)行輸出和評價，并對輸出的數(shù)據(jù)進(jìn)行學(xué)習(xí)推理，通過分析收益與代價，推理出模擬的決策規(guī)劃是否合理。

實施例中規(guī)劃算法是不同場景路徑規(guī)劃、戰(zhàn)術(shù)策略的算法，根據(jù)規(guī)劃算法可以生成仿真對抗所需要的實驗數(shù)據(jù)。

實施例中所述數(shù)據(jù)分析模塊包括：

任務(wù)空間分析模塊，通過對路徑規(guī)劃、戰(zhàn)術(shù)策略、協(xié)同關(guān)系的分析，得出對應(yīng)的領(lǐng)域知識與任務(wù)空間，并對任務(wù)空間進(jìn)行分析；根據(jù)對任務(wù)空間的分析結(jié)果，對路徑規(guī)劃、戰(zhàn)術(shù)策略、作戰(zhàn)方案進(jìn)行模型形式化表示；所述任務(wù)空間包括：路徑規(guī)劃、戰(zhàn)術(shù)策略和隊組協(xié)同關(guān)系；

意圖識別模塊，采用三類理論方法對意圖識別進(jìn)行建模：基于有向圖的統(tǒng)計關(guān)系學(xué)習(xí)方法LHMM；基于無向圖的統(tǒng)計關(guān)系學(xué)習(xí)方法MLN；基于決策/規(guī)劃理論的方法；基于這三類方法解決含有協(xié)同關(guān)系、觀察數(shù)據(jù)不完整、意圖可變、訓(xùn)練數(shù)據(jù)不足等復(fù)雜條件下的CGF意圖識別建模，為其他模塊提供在作戰(zhàn)仿真中需要用到意圖識別產(chǎn)生的數(shù)據(jù)；

領(lǐng)域知識表示模塊，首先分析任務(wù)空間，從任務(wù)空間中提取領(lǐng)域知識，然后根據(jù)選擇的識別模型，將其進(jìn)行形式化表示；所述領(lǐng)域知識包括：可能存在的作戰(zhàn)意圖、為達(dá)到意圖可能采取的行動、行動前鍵和約束關(guān)系、行為對實體和環(huán)境狀態(tài)的影響、需要設(shè)定的參數(shù)。

任務(wù)空間分析模塊：分析識別對象的任務(wù)空間是進(jìn)行作戰(zhàn)仿真對抗推演的前提和基礎(chǔ)，包括三類任務(wù)空間：

路徑規(guī)劃：描述智能體運動中的關(guān)鍵路徑點、目標(biāo)點，給出智能體的路徑規(guī)劃方案或一定狀態(tài)下的路徑選擇方案。需要識別的意圖為運動目標(biāo)以及到達(dá)目標(biāo)可能選擇的路徑。

戰(zhàn)術(shù)策略：描述智能體可能采取的戰(zhàn)術(shù)策略以及為達(dá)成戰(zhàn)術(shù)策略而采取的行為、行為間的約束關(guān)系，與路徑規(guī)劃中的位置信息不同，戰(zhàn)術(shù)策略一般用軍語等抽象詞匯描述。其中涉及的戰(zhàn)術(shù)策略包括但不限于：進(jìn)攻、防御、佯攻等，動作包括隊形展開、壓制、破障、沖鋒等。

隊組協(xié)同關(guān)系：描述隊組的位置關(guān)系或協(xié)同模式等。具體形式包括但不限于：隊形關(guān)系(如三角隊形、線性隊形等)，戰(zhàn)術(shù)協(xié)同關(guān)系(如步炮協(xié)同、步坦協(xié)同、空地協(xié)同等)。

意圖識別模塊：該模塊是作戰(zhàn)仿真系統(tǒng)的核心，建模方法的選擇必須滿足應(yīng)用背景的需求。本模塊實現(xiàn)所采用的方法包括但不限于：

基于邏輯隱馬爾可夫模型(Logical hidden Markov model，LHMM)的意圖識別：LHMM是一種將隱馬爾可夫模型(Hidden Markov model，HMM)和一階謂詞相結(jié)合的統(tǒng)計關(guān)系學(xué)習(xí)方法，與一般的HMM相比，LHMM增加了匹配與實例化過程，這不但提高了計算效率，還使其能夠處理非結(jié)構(gòu)化的數(shù)據(jù)。由于LHMM中具有觀察過程建模，可通過對其進(jìn)一步拓展，較好地解決含有協(xié)同關(guān)系、位置信息不完整和意圖可變化的路徑規(guī)劃識別問題。

基于馬爾可夫邏輯網(wǎng)(Markov logic networks，MLN)的意圖識別：MLN是一種將馬爾可夫網(wǎng)和一階邏輯相結(jié)合的統(tǒng)計關(guān)系學(xué)習(xí)方法，作為一種判別模型，MLN克服了HMM等有向圖模型的獨立性假設(shè)，其適用范圍更廣。

基于決策/規(guī)劃理論的意圖識別：HMM類和MLN的參數(shù)訓(xùn)練都屬于有監(jiān)督學(xué)習(xí)。在作戰(zhàn)仿真中，由于用戶行為和作戰(zhàn)場景的變化很大，訓(xùn)練樣本和測試樣本經(jīng)常不能滿足同分布假設(shè)。為此，本發(fā)明使用決策/規(guī)劃模型計算不同意圖的效用值，再依據(jù)效用最大化原則進(jìn)行意圖識別，從而降低意圖識別對訓(xùn)練數(shù)據(jù)的依賴。為解決仿真對抗中無法收集對手歷史數(shù)據(jù)的問題，本發(fā)明對智能體完成意圖的收益和執(zhí)行代價、意圖更改代價及隨機(jī)因子分別建模：首先，利用當(dāng)前的狀態(tài)空間和決策模型/規(guī)劃器計算完成意圖的收益與執(zhí)行代價；隨后，對識別對象決策的隨機(jī)性建模，依據(jù)識別對象的偏好生成隨機(jī)因子并將其作用于意圖收益。在線識別過程中，還需要記錄上一時刻的意圖，并對意圖更改的代價進(jìn)行建模。最后綜合以上要素，判斷識別對象的當(dāng)前意圖。將各種意圖的收益代價比進(jìn)行歸一化后，可作為可能意圖的信度值。

意圖識別建模與其應(yīng)用背景高度相關(guān)，本發(fā)明以XX指揮訓(xùn)練模擬系統(tǒng)中的山地攻防作戰(zhàn)作為CGF意圖識別的背景。其中，紅方與藍(lán)方分別執(zhí)行進(jìn)攻與防守任務(wù)，藍(lán)方CGF對紅方兵力進(jìn)行持續(xù)觀察并識別紅方作戰(zhàn)意圖。藍(lán)方關(guān)注的紅方意圖包括兩種，一是運動目標(biāo)與運動路徑，二是進(jìn)攻的戰(zhàn)術(shù)策略。此外，紅方執(zhí)行任務(wù)過程中存在的戰(zhàn)術(shù)協(xié)同關(guān)系(進(jìn)攻隊形、任務(wù)協(xié)同等)也是需要識別的內(nèi)容。依據(jù)上述基本任務(wù)分別設(shè)計紅藍(lán)雙方的作戰(zhàn)想定，并開展攻防對抗。在仿真過程中記錄可用的觀察數(shù)據(jù)，數(shù)據(jù)類別主要有位置信息、實體屬性、時間。數(shù)據(jù)生成方式有兩種：一種是由人工操作的兵力生成，另一種是由CGF自動生成，在系統(tǒng)采用多種自動規(guī)劃算法的情況下，CGF生成的數(shù)據(jù)還可進(jìn)一步區(qū)分。以路徑規(guī)劃為例，在起點和目標(biāo)點相同的情況下，采用A*算法、人工勢場法，基于Voronoi圖的算法產(chǎn)生不同的運動軌跡和運動規(guī)律。本發(fā)明在仿真系統(tǒng)中實現(xiàn)兩種以上多智能體規(guī)劃算法。

領(lǐng)域知識表示模塊：根據(jù)軍事需求，本模塊將提取其中的相關(guān)知識。具體內(nèi)容包括：明確假設(shè)空間，即可能存在的意圖；為完成意圖智能體可能采取的規(guī)劃，如行為及其劃分、行為間的約束關(guān)系、行為對狀態(tài)空間(環(huán)境和智能體)可能產(chǎn)生的影響等；根據(jù)選擇的識別模型，對領(lǐng)域知識進(jìn)行形式化表示。

本發(fā)明將把山地攻防作戰(zhàn)中的軍事問題與改進(jìn)的意圖識別模型相結(jié)合：首先分析任務(wù)空間，從任務(wù)空間中提取領(lǐng)域知識，再對其進(jìn)行形式化表示。紅方進(jìn)攻的任務(wù)空間包括：路徑規(guī)劃，如機(jī)動過程中的路徑點，機(jī)動方案(可能經(jīng)過的陣地、道路)，最終的進(jìn)攻目標(biāo)；戰(zhàn)術(shù)策略，如集中兵力強(qiáng)攻，或正面佯攻、側(cè)面迂回等；戰(zhàn)術(shù)協(xié)同關(guān)系，如步坦協(xié)同、步炮協(xié)同、空地協(xié)同等?；诜治龊蟮娜蝿?wù)空間提取領(lǐng)域知識：可能存在的作戰(zhàn)意圖；為達(dá)到意圖可能采取的行動，行動前鍵和約束關(guān)系；行為對實體和環(huán)境狀態(tài)的影響；需要設(shè)定的參數(shù)等。提取領(lǐng)域知識后，將其進(jìn)行形式化表示從而被識別模型中的學(xué)習(xí)和推理算法使用。

實施例中所述輸出評價模塊包括：

MLN模塊，對山地攻防作戰(zhàn)中的戰(zhàn)術(shù)策略進(jìn)行識別，進(jìn)行模型分析；引入高階邏輯，加入連續(xù)函數(shù)，提高計算準(zhǔn)確率和識別準(zhǔn)確率；分析在山地攻防圖中可能存在的問題，并對模型的模擬結(jié)果進(jìn)行評價和反饋；

LHMM模塊，能夠處理非結(jié)構(gòu)化數(shù)據(jù)，進(jìn)行仿真系統(tǒng)的模擬；構(gòu)建新的動態(tài)貝葉斯網(wǎng)(Dynamic Bayesian networks,DBN)結(jié)構(gòu)和視力表，并在其識別框架中引入行為終止變量；隱狀態(tài)持續(xù)時間建模，利用對數(shù)正態(tài)分布、指數(shù)族分布、Coxian分布描述持續(xù)時間，更好的模擬出仿真模型在實戰(zhàn)中的效果并且進(jìn)行反饋。

改進(jìn)LHMM模塊：盡管LHMM能較好地處理非結(jié)構(gòu)化數(shù)據(jù)，但當(dāng)馬爾可夫假設(shè)不能滿足時，其性能會出現(xiàn)嚴(yán)重退化。作戰(zhàn)意圖的實現(xiàn)通常是執(zhí)行計劃的結(jié)果，而不是簡單地依據(jù)當(dāng)前狀態(tài)進(jìn)行決策。因此，就需要減弱LHMM對馬爾可夫假設(shè)的依賴。此外，原來基于forward-backward算法的精確推理計算復(fù)雜度較高，不適用于戰(zhàn)場的在線意圖識別。首先，結(jié)構(gòu)層次化。參考一種典型的層次化馬爾可夫決策模型——抽象HMM，為LHMM構(gòu)建新的DBN結(jié)構(gòu)和實例表，并在其識別框架中引入行為終止變量；其次，隱狀態(tài)持續(xù)時間建模，擬利用對數(shù)正太分布、指數(shù)族分布、Coxian分布等描述持續(xù)時間。除依據(jù)已有數(shù)據(jù)檢驗?zāi)姆N分布更加適用于描述意圖外，還著重考慮環(huán)境和智能體自身狀態(tài)對意圖變化的影響；構(gòu)建基于層次化結(jié)構(gòu)的參數(shù)學(xué)習(xí)算法；最后，使用邏輯蒙特卡洛方法(粒子濾波)。

MLN模塊：MLN同時保留了邏輯和概率方法的優(yōu)點。本發(fā)明中使用MLN以增強(qiáng)對客觀世界的表示能力，并提高模型學(xué)習(xí)、推理算法的精度和計算效率。針對MLN在山地攻防意圖識別中可能存在的問題，對模型算法進(jìn)行改進(jìn)。MLN模塊的核心是對其結(jié)構(gòu)和定義的改造，如引入高階邏輯(二階邏輯)和加入連續(xù)函數(shù)等，同時，根據(jù)上述改變，構(gòu)建相應(yīng)的學(xué)習(xí)和推理算法模塊。

本發(fā)明還涉及基于計算機(jī)生成兵力的作戰(zhàn)仿真方法，包括以下步驟：

S1、在系統(tǒng)初始化時，輸入不同場景的路徑規(guī)劃、戰(zhàn)術(shù)策略和人物地形協(xié)同關(guān)系，以及輸入規(guī)劃算法和操作人員的信息；

S2、初始化數(shù)據(jù)輸入后，進(jìn)入實驗數(shù)據(jù)分析和系統(tǒng)建模階段，根據(jù)步驟S1中輸入的數(shù)據(jù)，分別進(jìn)行路徑規(guī)劃識別建模，戰(zhàn)術(shù)策略識別建模，作戰(zhàn)方案識別建模，將所有的數(shù)據(jù)都用模型化表示出來；

S3、數(shù)據(jù)建模后，輸出數(shù)據(jù)以及對模型進(jìn)行評價，進(jìn)行收益與代價計算，推理出收益與代價的比例是否合理，并且輸出結(jié)果。

實施例中步驟S2中，

所述路徑規(guī)劃識別建模：通過對輸入的路徑規(guī)劃信息進(jìn)行建模，輸出數(shù)據(jù)后，在最后的輸出評價模塊中用來學(xué)習(xí)，推理；

所述戰(zhàn)術(shù)策略識別建模：通過設(shè)定軟硬規(guī)則，輸出基于決策/規(guī)劃理論的意圖識別，進(jìn)行收益與代價的計算，模型比較后，判斷模型是否合理；

所述作戰(zhàn)方案識別建模：用模型形式化表示作戰(zhàn)方案后，通過學(xué)習(xí)，構(gòu)造對應(yīng)的作戰(zhàn)模型。

實施例中步驟S2包括：

基于LHMM的路徑規(guī)劃識別建模：首先需要明確路徑規(guī)劃過程中的常量符號、變量符號、謂詞符號和函數(shù)符號，再根據(jù)路徑規(guī)劃構(gòu)造層次化的因果圖；LHMM需要計算出各個節(jié)點間的轉(zhuǎn)移概率，再通過判斷當(dāng)前時刻的節(jié)點及其父節(jié)點來實現(xiàn)路徑規(guī)劃識別；

基于MLN的戰(zhàn)術(shù)策略識別建模：首先明確可能使用到常量符號、變量符號、謂詞符號和函數(shù)符號，再將戰(zhàn)術(shù)規(guī)則和作戰(zhàn)規(guī)律用一階謂詞表示成命題形式，依據(jù)專家經(jīng)驗判斷軟硬規(guī)則，即分析出恒為真的命題和可能為假的命題，通過求解MLN最大可能性問題，就可得到當(dāng)前時刻可能性最大的意圖，還可通過計算邊緣概率和條件概率得到意圖為真時的概率；

基于決策/規(guī)劃理論的作戰(zhàn)方案識別建模：采用層次化任務(wù)網(wǎng)規(guī)劃器SHOP2來描述作戰(zhàn)方案，其知識描述由任務(wù)、執(zhí)行器、方法和公理組成；其中，任務(wù)包括原子任務(wù)和復(fù)合任務(wù)，復(fù)合任務(wù)是可進(jìn)一步劃分的任務(wù)，而原子任務(wù)為可直接由執(zhí)行器執(zhí)行的任務(wù)，沒有父節(jié)點的復(fù)合任務(wù)即為意圖，建模過程中，將作戰(zhàn)方案逐步分解直至原子任務(wù)，再給出任務(wù)執(zhí)行的約束關(guān)系，最終形成HTN結(jié)構(gòu)圖。

基于LHMM的路徑規(guī)劃識別建模：路徑規(guī)劃是紅方進(jìn)行進(jìn)攻作戰(zhàn)的關(guān)鍵環(huán)節(jié)，規(guī)劃內(nèi)容一般有機(jī)動過程中的路徑點，機(jī)動方案(可能經(jīng)過的陣地、道路)和最終的機(jī)動目標(biāo)。為了使用LHMM進(jìn)行路徑規(guī)劃識別，首先需要路徑規(guī)劃過程中的常量符號、變量符號(對象)、謂詞符號(關(guān)系)和函數(shù)符號(函數(shù))，再根據(jù)路徑規(guī)劃構(gòu)造層次化的因果圖。一般情況下，CGF的進(jìn)攻目標(biāo)決定了其機(jī)動方案，而機(jī)動方案決定了其經(jīng)過的路徑點序列。值得注意的是，這種決定性僅具有統(tǒng)計意義，CGF的決策行為經(jīng)常是不確定性的，LHMM需要計算出各個節(jié)點間的轉(zhuǎn)移概率，再通過判斷當(dāng)前時刻的節(jié)點及其父節(jié)點來實現(xiàn)路徑規(guī)劃識別。

基于MLN的戰(zhàn)術(shù)策略識別建模：首先使用軍語對分隊山地攻防戰(zhàn)術(shù)規(guī)則進(jìn)行描述，明確可能使用到常量符號、變量符號(對象)、謂詞符號(關(guān)系)和函數(shù)符號(函數(shù))，在將戰(zhàn)術(shù)規(guī)則和作戰(zhàn)規(guī)律用一階謂詞表示成命題形式，依據(jù)專家經(jīng)驗判斷軟硬規(guī)則，即分析出恒為真的命題(硬規(guī)則，權(quán)重為無窮大)和可能為假的命題(軟規(guī)則，將權(quán)重設(shè)為變量)，并表示為其一階邏輯知識庫和無向圖。MLN無向圖本質(zhì)上是一個馬爾可夫網(wǎng)，需要識別的意圖即為無向圖中的隱謂詞。通過求解MLN最大可能性問題，就可得到當(dāng)前時刻可能性最大的意圖，還可通過計算邊緣概率和條件概率得到意圖為真時的概率。

基于決策/規(guī)劃理論的作戰(zhàn)方案識別建模：用決策/規(guī)劃理論對作戰(zhàn)方案進(jìn)行建模的核心是選取規(guī)劃器或決策模型，SHOP2是一種領(lǐng)域無關(guān)的HTN任務(wù)規(guī)劃器，其知識描述由任務(wù)(Task)、執(zhí)行器(Operator)、方法(Method)和公理組成(Axiom)。其中，任務(wù)可包括原子任務(wù)和復(fù)合任務(wù)，復(fù)合任務(wù)是可進(jìn)一步劃分的任務(wù)，而原子任務(wù)為可直接由執(zhí)行器執(zhí)行的任務(wù)。沒有父節(jié)點的復(fù)合任務(wù)即為意圖。建模過程中，將作戰(zhàn)方案逐步分解直至原子任務(wù)，再給出任務(wù)執(zhí)行的約束關(guān)系，最終形成HTN結(jié)構(gòu)圖。

獲取模型參數(shù)，基于改進(jìn)的識別模型和提取的領(lǐng)域知識進(jìn)行仿真實驗，分別比較統(tǒng)計關(guān)系學(xué)習(xí)方法(LHMM和MLN)和基于決策方法在解決路徑規(guī)劃識別和策略識別問題時的效果，通過模型評價進(jìn)一步當(dāng)前方法的不足和明確未來的研究方向，評價指標(biāo)包括precision、recall和F-Measure，三個指標(biāo)的定義如下：

其中，N為可能的意圖數(shù)目，TP為測試集中真實意圖為第i個意圖且識別結(jié)果為第i個意圖的次數(shù)，TI為測試集中識別結(jié)果為第i個意圖的次數(shù)，TT為測試集中真是意圖為第i個意圖的次數(shù)。為此precision和recall分別從識別結(jié)果和測試集兩個角度衡量了識別模型的性能，F(xiàn)-Measure是對precision和recall兩個指標(biāo)的綜合。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。