本發(fā)明涉及一種可信度評估方法，特別是涉及一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估方法及系統(tǒng)。

背景技術(shù)：

仿真系統(tǒng)的可信度是指相對于特定的仿真應(yīng)用目的，其過程、現(xiàn)象和結(jié)果正確反映真實系統(tǒng)的程度。具有較高的可信度是仿真系統(tǒng)能夠應(yīng)用于真實系統(tǒng)模擬和分析的前提。由于復(fù)雜系統(tǒng)本身所具有的特點，其仿真系統(tǒng)的可信度評估通常涉及到多學(xué)科、多層次仿真模型，多個仿真試驗過程，以及多領(lǐng)域的評估專家，是一個系統(tǒng)的評估過程?？尚哦仍u估結(jié)果容易受到評估工作中多種影響因素的作用，主要影響因素包括：評估對象和評估主體。評估對象，即復(fù)雜仿真系統(tǒng)，由于其本身具有的組成復(fù)雜、內(nèi)部關(guān)聯(lián)復(fù)雜等特點，往往導(dǎo)致系統(tǒng)整體表現(xiàn)出復(fù)雜的行為特性，為可信度的準(zhǔn)確度量和評估帶來了不確定性。評估主體反映用于度量評估對象的方法和證據(jù)，由于評估主體對評估指標(biāo)及評估指標(biāo)權(quán)重分配存在偏好選擇，作為評估證據(jù)的“數(shù)據(jù)”通常來自于仿真試驗、真實試驗和專家經(jīng)驗等多個來源而存在可信性問題。這些往往會導(dǎo)致難以得到一致的評估結(jié)果。傳統(tǒng)的仿真可信度評估過程包括定義評估目標(biāo)、分析系統(tǒng)要素、建立評估指標(biāo)體系、建立評估結(jié)構(gòu)和評估準(zhǔn)則、專家進(jìn)行評估，得到評估結(jié)果，這個評估過程通常是單向、單次的。評估主體往往難以從宏觀的角度發(fā)現(xiàn)影響評估結(jié)果可信度的因素，以及它們的作用程度。即使進(jìn)行多次評估，也可能只是得到不同的評估結(jié)果，缺乏一種將評估結(jié)果導(dǎo)向穩(wěn)定一致的評估過程和綜合利用不同評估數(shù)據(jù)源中可用信息的評估方法。針對傳統(tǒng)復(fù)雜仿真系統(tǒng)可信度評估過程的單向、單次特點，同時為了有效解決傳統(tǒng)復(fù)雜仿真系統(tǒng)可信度評估中，由于評估主體的主觀偏好及多源評估數(shù)據(jù)的異構(gòu)性造成的評估結(jié)果不確定性。

因此，需要提供一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估方法及系統(tǒng)，構(gòu)建復(fù)雜仿真系統(tǒng)可信度的魯棒評估過程模型和面向多源評估信息融合的可信度綜合評估方法，通過建立分析結(jié)果的反饋優(yōu)化機制，形成反復(fù)迭代的評估過 程，實現(xiàn)在迭代過程中不斷加入融合了多源異構(gòu)評估信息的評估知識，修正評估過程中的不確定因素的影響，得到穩(wěn)定收斂的評估結(jié)論。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提供一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估方法及系統(tǒng)，解決傳統(tǒng)復(fù)雜仿真系統(tǒng)可信度評估過程的單向、單次特點，以及由于不確定性因素導(dǎo)致的評估結(jié)果不穩(wěn)定的問題。

為解決上述技術(shù)問題，本發(fā)明采用下述技術(shù)方案：

一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估方法，所述該方法包括

建立可圖形化、層次化的可信度評估指標(biāo)體系界面，將復(fù)雜仿真系統(tǒng)可信度評估的指標(biāo)分解為各個仿真元素模型的可信度評估指標(biāo)，并計算各指標(biāo)權(quán)重；

將每次仿真試驗中采集到的數(shù)據(jù)和可信度評估結(jié)果以數(shù)據(jù)集的形式進(jìn)行組織和管理；

將多個評估數(shù)據(jù)源的信息進(jìn)行融合，自下向上逐層綜合得到仿真系統(tǒng)的可信度評估結(jié)果；

建立可信度評估結(jié)果的一致性分析和反饋修正的迭代過程。

優(yōu)選地，所述該方法進(jìn)一步包括

選擇性的顯示某一次評估之后各個層次上的各個評估指標(biāo)的可信度評估結(jié)果及仿真系統(tǒng)的可信度，或多次評估結(jié)果平均后的各層次上各指標(biāo)的可信度及仿真系統(tǒng)的可信度。

優(yōu)選地，所述建立可圖形化、層次化的可信度評估指標(biāo)體系及計算各指標(biāo)權(quán)重進(jìn)一步包括

將仿真系統(tǒng)可信度評估指標(biāo)分解為組成仿真系統(tǒng)的各個分系統(tǒng)的可信度評估指標(biāo)；

將每一個分系統(tǒng)的可信度評估指標(biāo)分解為更向下一級的子系統(tǒng)的可信度評估指標(biāo)，直到分解到最小的仿真元素模型的可信度評估指標(biāo)為止；

對每一個仿真元素模型按照建模需求、概念模型、數(shù)學(xué)模型、仿真模型及仿真結(jié)果幾個方面進(jìn)行評估指標(biāo)分解，得到每一個仿真元素模型的可信度評估指標(biāo)；

綜合各個元素模型的評估指標(biāo)構(gòu)成指標(biāo)體系，然后對評估指標(biāo)的重要性進(jìn)行兩兩比較建立評判矩陣，通過特征值計算得到評估指標(biāo)權(quán)重。

優(yōu)選地，所述仿真試驗中采集到的數(shù)據(jù)以及不同可信度評估任務(wù)的評估結(jié)果數(shù)據(jù)依據(jù)數(shù)據(jù)集進(jìn)行組織管理；

數(shù)據(jù)集的描述信息進(jìn)一步包括數(shù)據(jù)集名稱、仿真試驗任務(wù)或評估任務(wù)名稱、數(shù)據(jù)名稱、創(chuàng)建時間、保存路徑、數(shù)據(jù)集中的文件夾數(shù)量及數(shù)據(jù)文件數(shù)量。

優(yōu)選地，所述方法對多個評估數(shù)據(jù)源的定性、定量的評估信息進(jìn)行融合；

所述評估數(shù)據(jù)源進(jìn)一步包括仿真試驗數(shù)據(jù)、真實系統(tǒng)試驗數(shù)據(jù)和專家經(jīng)驗知識；

所述多個評估數(shù)據(jù)源針對某個評估指標(biāo)的融合方法公式為：

式中：p∈{1,2,…,p}，為評估數(shù)據(jù)源；

為評估指標(biāo)smn相對于評估目的可以接受(yes)的概率；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的知識度；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的信任程度；

所述知識度，對于定量指標(biāo)，用于表示仿真數(shù)據(jù)與試驗數(shù)據(jù)間的偏離程度；對于定性指標(biāo)，用于表示評估專家在該領(lǐng)域的知識深度；

所述信任度，對于定量指標(biāo)，用于表示仿真試驗數(shù)據(jù)的可信度校驗結(jié)果；對于定性指標(biāo)，用于表示評估專家對評估對象給定的信任程度。

一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估系統(tǒng)，該系統(tǒng)包括可信度評估指標(biāo)體系模塊、評估數(shù)據(jù)管理模塊、可信度綜合評估模塊和評估結(jié)果分析顯示模塊；

所述可信度評估指標(biāo)體系模塊，用于建立可圖形化、層次化的可信度評估指標(biāo)體系界面，將復(fù)雜仿真系統(tǒng)可信度評估的指標(biāo)分解為各個仿真元素模型的可信度評估指標(biāo)，并計算各指標(biāo)權(quán)重；

所述評估數(shù)據(jù)管理模塊，用于將每次仿真試驗中采集到的數(shù)據(jù)和可信度評估結(jié)果以數(shù)據(jù)集的形式進(jìn)行組織和管理；

所述可信度綜合評估模塊，用于將多個評估數(shù)據(jù)源的信息進(jìn)行融合，自下向上逐層綜合得到仿真系統(tǒng)的可信度評估結(jié)果；

所述評估結(jié)果分析顯示模塊，用于選擇性的顯示某一次評估之后各個層 次上的各個評估指標(biāo)的可信度評估結(jié)果及仿真系統(tǒng)的可信度，或多次評估結(jié)果平均后的各層次上各指標(biāo)的可信度及仿真系統(tǒng)的可信度。

優(yōu)選地，所述可信度評估指標(biāo)體系模塊中建立評估指標(biāo)層次關(guān)系進(jìn)一步包括

將仿真系統(tǒng)可信度評估指標(biāo)分解為組成仿真系統(tǒng)的各個分系統(tǒng)的可信度評估指標(biāo)；

將每一個分系統(tǒng)的可信度評估指標(biāo)分解為更向下一級的子系統(tǒng)的可信度評估指標(biāo)，直到分解到最小的仿真元素模型的可信度評估指標(biāo)為止；

對每一個仿真元素模型按照建模需求、概念模型、數(shù)學(xué)模型、仿真模型及仿真結(jié)果幾個方面進(jìn)行評估指標(biāo)分解，得到每一個仿真元素模型的可信度評估指標(biāo)；

綜合各個元素模型的評估指標(biāo)構(gòu)成指標(biāo)體系，然后對評估指標(biāo)的重要性進(jìn)行兩兩比較建立評判矩陣，通過特征值計算得到評估指標(biāo)權(quán)重。

優(yōu)選地，所述仿真試驗中采集到的數(shù)據(jù)以及不同可信度評估任務(wù)的評估結(jié)果數(shù)據(jù)依據(jù)數(shù)據(jù)集進(jìn)行組織管理；

數(shù)據(jù)集的描述信息進(jìn)一步包括數(shù)據(jù)集名稱、仿真試驗任務(wù)或評估任務(wù)名稱、數(shù)據(jù)名稱、創(chuàng)建時間、保存路徑、數(shù)據(jù)集中的文件夾數(shù)量級數(shù)據(jù)文件數(shù)量。

優(yōu)選地，所述系統(tǒng)對多個數(shù)據(jù)源的定性、定量的評估信息進(jìn)行融合；

所述評估數(shù)據(jù)管理模塊中

多個評估數(shù)據(jù)源進(jìn)一步包括仿真試驗數(shù)據(jù)、真實試驗數(shù)據(jù)和專家經(jīng)驗知識；

所述多個評估數(shù)據(jù)源針對某個評估指標(biāo)的融合方法公式為：

式中：p∈{1,2,…,p}，為評估數(shù)據(jù)源；

為評估指標(biāo)smn相對于評估目的可以接受(yes)的概率；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的知識度；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的信任程度；

所述知識度，對于定量指標(biāo)，用于表示仿真數(shù)據(jù)與試驗數(shù)據(jù)間的偏離程 度；對于定性指標(biāo)，用于表示評估專家在該領(lǐng)域的知識深度；

所述信任度，對于定量指標(biāo)，用于表示仿真試驗數(shù)據(jù)的可信度校驗結(jié)果；對于定性指標(biāo)，用于表示評估專家對評估對象給定的信任程度。

本發(fā)明的有益效果如下：

本發(fā)明所述技術(shù)方案有以下優(yōu)點：

1、實現(xiàn)了具有反饋優(yōu)化機制的復(fù)雜仿真系統(tǒng)可信度的魯棒評估，通過基于多組仿真數(shù)據(jù)的可信度校驗、多數(shù)據(jù)源融合評估、評估結(jié)果一致性分析及反饋，形成反復(fù)迭代的評估過程，在迭代過程中不斷融入來自專家經(jīng)驗知識、試驗數(shù)據(jù)和仿真數(shù)據(jù)等多評估數(shù)據(jù)源的評估信息，修正評估過程中的不確定性因素的影響，使專家的評估意見趨向客觀，使評估結(jié)果趨向穩(wěn)定、合理和一致；

2、融合多源異構(gòu)評估信息的可信度綜合評估方法，對來自于試驗數(shù)據(jù)、仿真數(shù)據(jù)及專家經(jīng)驗知識的多種評估信息進(jìn)行統(tǒng)一描述，利用多級綜合評估模型實現(xiàn)對多評估源信息的有效利用；

3、適用于評估指標(biāo)體系中具有定性、定量評估指標(biāo)，并且評估數(shù)據(jù)來源具有多樣化特點的復(fù)雜仿真系統(tǒng)的可信度評估，適用于提高國防科技領(lǐng)域復(fù)雜裝備以及民用產(chǎn)業(yè)復(fù)雜產(chǎn)品等研制仿真的可信度評估水平，預(yù)計此項技術(shù)成果有良好的產(chǎn)業(yè)化前景。

附圖說明

下面結(jié)合附圖對本發(fā)明的具體實施方式作進(jìn)一步詳細(xì)的說明。

圖1是本發(fā)明實施例中一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估方法流程圖；

圖2是本發(fā)明實施例中一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估系統(tǒng)示意圖。

具體實施方式

為了更清楚地說明本發(fā)明，下面結(jié)合優(yōu)選實施例和附圖對本發(fā)明做進(jìn)一步的說明。附圖中相似的部件以相同的附圖標(biāo)記進(jìn)行表示。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，下面所具體描述的內(nèi)容是說明性的而非限制性的，不應(yīng)以此限制本發(fā)明的保護(hù)范圍。

本發(fā)明提供了一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估方法，如圖1所示，所述該方法包括：

建立可圖形化、層次化的可信度評估指標(biāo)體系界面，將復(fù)雜仿真系統(tǒng)可 信度評估的指標(biāo)分解為各個仿真元素模型的可信度評估指標(biāo)，并計算各指標(biāo)權(quán)重；

將每次仿真試驗中采集到的數(shù)據(jù)和可信度評估結(jié)果以數(shù)據(jù)集的形式進(jìn)行組織和管理；

將多個評估數(shù)據(jù)源的信息進(jìn)行融合，自下向上逐層綜合得到仿真系統(tǒng)的可信度評估結(jié)果；

建立可信度評估結(jié)果的一致性分析和反饋修正的迭代過程。

本發(fā)明方法實現(xiàn)了具有反饋優(yōu)化機制的復(fù)雜仿真系統(tǒng)可信度的魯棒評估，通過基于多組仿真數(shù)據(jù)的可信度校驗、多數(shù)據(jù)源融合評估、評估結(jié)果一致性分析及反饋，形成反復(fù)迭代的評估過程，在迭代過程中不斷融入來自專家經(jīng)驗知識、試驗數(shù)據(jù)和仿真數(shù)據(jù)等多評估數(shù)據(jù)源的評估信息，修正評估過程中的不確定性因素的影響，使專家的評估意見趨向客觀，使評估結(jié)果趨向穩(wěn)定、合理和一致；

并且，本發(fā)明方法融合多源異構(gòu)評估信息的可信度綜合評估方法，對來自于試驗數(shù)據(jù)、仿真數(shù)據(jù)及專家經(jīng)驗知識的多種評估信息進(jìn)行統(tǒng)一描述，利用多級綜合評估模型實現(xiàn)對多評估源信息的有效利用；

此外，本發(fā)明方法適用于評估指標(biāo)體系中具有定性、定量評估指標(biāo)，并且評估數(shù)據(jù)來源具有多樣化特點的復(fù)雜仿真系統(tǒng)的可信度評估，適用于提高國防科技領(lǐng)域復(fù)雜裝備以及民用產(chǎn)業(yè)復(fù)雜產(chǎn)品等研制仿真的可信度評估水平，預(yù)計此項技術(shù)成果有良好的產(chǎn)業(yè)化前景。

優(yōu)選地，所述該方法進(jìn)一步包括

選擇性的顯示某一次評估之后各個層次上的各個評估指標(biāo)的可信度評估結(jié)果及仿真系統(tǒng)的可信度，或多次評估結(jié)果平均后的各層次上各指標(biāo)的可信度及仿真系統(tǒng)的可信度。

優(yōu)選地，所述建立可圖形化、層次化的可信度評估指標(biāo)體系及計算各指標(biāo)權(quán)重進(jìn)一步包括

將仿真系統(tǒng)可信度評估指標(biāo)分解為組成仿真系統(tǒng)的各個分系統(tǒng)的可信度評估指標(biāo)；

將每一個分系統(tǒng)的可信度評估指標(biāo)分解為更向下一級的子系統(tǒng)的可信度評估指標(biāo)，直到分解到最小的仿真元素模型的可信度評估指標(biāo)為止；

對每一個仿真元素模型按照建模需求、概念模型、數(shù)學(xué)模型、仿真模型及仿真結(jié)果幾個方面進(jìn)行評估指標(biāo)分解，得到每一個仿真元素模型的可信度 評估指標(biāo)；

綜合各個元素模型的評估指標(biāo)構(gòu)成指標(biāo)體系，然后對評估指標(biāo)的重要性進(jìn)行兩兩比較建立評判矩陣，通過特征值計算得到評估指標(biāo)權(quán)重。

優(yōu)選地，所述仿真試驗中采集到的數(shù)據(jù)以及不同可信度評估任務(wù)的評估結(jié)果數(shù)據(jù)依據(jù)數(shù)據(jù)集進(jìn)行組織管理；

數(shù)據(jù)集的描述信息進(jìn)一步包括數(shù)據(jù)集名稱、仿真試驗任務(wù)或評估任務(wù)名稱、數(shù)據(jù)名稱、創(chuàng)建時間、保存路徑、數(shù)據(jù)集中的文件夾數(shù)量及數(shù)據(jù)文件數(shù)量。

優(yōu)選地，所述方法對多個評估數(shù)據(jù)源的定性、定量的評估信息進(jìn)行融合；

所述評估數(shù)據(jù)源進(jìn)一步包括仿真試驗數(shù)據(jù)、真實系統(tǒng)試驗數(shù)據(jù)和專家經(jīng)驗知識；

所述多個評估數(shù)據(jù)源針對某個評估指標(biāo)的融合方法公式為：

式中：p∈{1,2,…,p}，為評估數(shù)據(jù)源；

為評估指標(biāo)smn相對于評估目的可以接受(yes)的概率；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的知識度；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的信任程度；

所述知識度，對于定量指標(biāo)，用于表示仿真數(shù)據(jù)與試驗數(shù)據(jù)間的偏離程度；對于定性指標(biāo)，用于表示評估專家在該領(lǐng)域的知識深度；

所述信任度，對于定量指標(biāo)，用于表示仿真試驗數(shù)據(jù)的可信度校驗結(jié)果；對于定性指標(biāo)，用于表示評估專家對評估對象給定的信任程度。

本發(fā)明還公開了一種復(fù)雜仿真系統(tǒng)可信度的魯棒評估系統(tǒng)，如圖2所示，該系統(tǒng)包括：構(gòu)建復(fù)雜系統(tǒng)的可信度評估指標(biāo)體系模塊1、評估數(shù)據(jù)管理模塊2、可信度綜合評估模塊3和評估結(jié)果分析顯示模塊4。

可信度評估指標(biāo)體系模塊1，建立復(fù)雜仿真系統(tǒng)的圖形化、層次化的可信度評估指標(biāo)體系界面，并為每個指標(biāo)計算分配權(quán)重，可信度評估指標(biāo)體系以層次化的組織結(jié)構(gòu)圖顯示，每個圖標(biāo)代表一個評估指標(biāo)，圖標(biāo)上顯示每個評估指標(biāo)的名稱和權(quán)重。

評估數(shù)據(jù)管理模塊2，對每次仿真試驗中采集到的仿真試驗數(shù)據(jù)、真實系 統(tǒng)試驗數(shù)據(jù)和評估結(jié)果數(shù)據(jù)以數(shù)據(jù)集的形式并進(jìn)行組織管理。

可信度綜合評估模塊3，將來自于仿真試驗數(shù)據(jù)、真實系統(tǒng)試驗數(shù)據(jù)和專家經(jīng)驗知識的多個評估數(shù)據(jù)源的信息進(jìn)行融合，自下向上逐層綜合得到仿真系統(tǒng)的可信度評估結(jié)果。

評估結(jié)果分析顯示模塊4，顯示單次評估活動中各個層次上的各評估指標(biāo)的可信度評估結(jié)果及整個仿真系統(tǒng)的可信度，或多次評估結(jié)果(綜合分析后/平均后)的各層次的各項評估指標(biāo)的可信度評估結(jié)果以及整個仿真系統(tǒng)的可信度。

可信度評估指標(biāo)體系模塊1，構(gòu)建復(fù)雜仿真系統(tǒng)的可信度評估指標(biāo)體系。

由于復(fù)雜仿真系統(tǒng)的可信度評估通常包括數(shù)量眾多的因素，一般采用層次化方法劃分互相聯(lián)系的有序?qū)哟?，建立層次化指?biāo)體系，指標(biāo)體系應(yīng)當(dāng)能反映仿真系統(tǒng)的主要方面，所以可信度評估指標(biāo)體系模塊1，在構(gòu)建過程主要步驟包括：(1)將復(fù)雜仿真系統(tǒng)可信度評估指標(biāo)分解為組成仿真系統(tǒng)的各個分系統(tǒng)的可信度評估指標(biāo)；(2)將每一個分系統(tǒng)的可信度評估指標(biāo)分解為更向下一級的子系統(tǒng)的可信度評估指標(biāo)，直到分解到最小的仿真元素模型的可信度評估指標(biāo)為止；(3)對每一個仿真元素模型按照建模需求、概念模型、數(shù)學(xué)模型、仿真模型及仿真結(jié)果幾個方面進(jìn)行評估指標(biāo)分解，得到每一個仿真元素模型的可信度評估指標(biāo)。綜合各元素模型的評估指標(biāo)構(gòu)成指標(biāo)體系，然后由專家對評估指標(biāo)的重要性進(jìn)行兩兩比較建立評判矩陣，通過特征值計算得到評估指標(biāo)權(quán)重。

可信度評估指標(biāo)體系模塊1，可提供圖形化界面，用戶在界面上新建評估指標(biāo)體系根結(jié)點，并逐層擴(kuò)展添加下層評估指標(biāo)，從而建立整個評估指標(biāo)體系，每個評估指標(biāo)以圖標(biāo)顯示，圖標(biāo)的描述信息中添加評估指標(biāo)的名稱。

在建立評估指標(biāo)體系后，可信度評估指標(biāo)體系模塊1為用戶提供同一層次評估指標(biāo)重要性的兩兩對比界面，由用戶添加對比結(jié)果，并生成每個層次評估指標(biāo)的重要性評判矩陣，通過特征值計算得到每個評估指標(biāo)的權(quán)重，并顯示在每個圖標(biāo)的描述信息中。

評估數(shù)據(jù)管理模塊2，構(gòu)建數(shù)據(jù)集。

復(fù)雜仿真系統(tǒng)運行產(chǎn)生的仿真結(jié)果數(shù)據(jù)的合理性能夠反映仿真系統(tǒng)可信性，仿真試驗較少受到經(jīng)費和場地等條件限制，可以多次運行獲得多組仿真結(jié)果數(shù)據(jù)，根據(jù)可信度評估指標(biāo)體系中的底層基礎(chǔ)指標(biāo)采集仿真數(shù)據(jù)。真實系統(tǒng)試驗數(shù)據(jù)可以從外部存儲導(dǎo)入復(fù)雜仿真系統(tǒng)可信度的魯棒評估系統(tǒng)。

以數(shù)據(jù)集的形式對仿真試驗數(shù)據(jù)、真實系統(tǒng)試驗數(shù)據(jù)和評估結(jié)果數(shù)據(jù)進(jìn)行組織管理，數(shù)據(jù)集的描述信息包括數(shù)據(jù)集的名稱、仿真試驗任務(wù)或評估任務(wù)名稱、數(shù)據(jù)名稱、創(chuàng)建時間、保存路徑、數(shù)據(jù)集中的文件夾數(shù)量及數(shù)據(jù)文件數(shù)量。選定某個文件夾后，可以進(jìn)一步選擇該文件夾中包含的數(shù)據(jù)文件，用戶利用評估數(shù)據(jù)管理模塊2預(yù)先選定仿真試驗數(shù)據(jù)集、真實系統(tǒng)試驗數(shù)據(jù)集或評估結(jié)果數(shù)據(jù)集，在進(jìn)行可信度綜合評估或評估結(jié)果分析顯示時加載相應(yīng)的數(shù)據(jù)文件。

可信度綜合評估模塊3，用于進(jìn)行多數(shù)據(jù)源融合評估。

復(fù)雜仿真系統(tǒng)可信度的魯棒評估需要多種評估數(shù)據(jù)源的支持，既包括定量的仿真數(shù)據(jù)和試驗數(shù)據(jù)，也包括定性的專家經(jīng)驗知識。為了對定性和定量的評估信息進(jìn)行統(tǒng)一描述，利用知識度和信度的二維表示形式描述各評估數(shù)據(jù)源中包含的可信度信息。

針對定性評估指標(biāo)，由專家進(jìn)行評判和權(quán)衡，以打分的形式，直接輸入專家知識深度和對評估對象可信程度的評估結(jié)果，作為知識度及信任程度數(shù)據(jù)；對于定量評估指標(biāo)，根據(jù)選定的仿真試驗和真實系統(tǒng)試驗數(shù)據(jù)集，計算仿真數(shù)據(jù)與試驗數(shù)據(jù)間的偏離程度作為知識度，將仿真試驗數(shù)據(jù)和真實系統(tǒng)試驗數(shù)據(jù)進(jìn)行對比分析計算可信度校驗結(jié)果，如果數(shù)據(jù)集中包含多組數(shù)據(jù)，利用d-s證據(jù)理論的方法對計算結(jié)果進(jìn)行聚集，實現(xiàn)基于多組數(shù)據(jù)的可信度評估信息的融合。

基于統(tǒng)一描述形式，獲得各個評估數(shù)據(jù)源針對某個評估指標(biāo)的評估結(jié)果，采用擴(kuò)展bayes方法融合多個評估數(shù)據(jù)源的信息，即多個評估數(shù)據(jù)源針對某個評估指標(biāo)的融合方法公式為：

式中：p∈{1,2,…,p}，為評估數(shù)據(jù)源；

為評估指標(biāo)smn相對于評估目的可以接受(yes)的概率；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的知識度；

為第p個評估數(shù)據(jù)源反映出的對于評估指標(biāo)smn的信任程度；

所述知識度，對于定量指標(biāo)，用于表示仿真數(shù)據(jù)與試驗數(shù)據(jù)間的偏離程度；對于定性指標(biāo)，用于表示評估專家在該領(lǐng)域的知識深度；

所述信任度，對于定量指標(biāo)，用于表示仿真試驗數(shù)據(jù)的可信度校驗結(jié)果；對于定性指標(biāo)，用于表示評估專家對評估對象給定的信任程度。

對底層基礎(chǔ)指標(biāo)的可信度進(jìn)行綜合，可以推算到上層的復(fù)合指標(biāo)的可信度，最終自下向上得到整個仿真系統(tǒng)的綜合可信度評估結(jié)果。

評估結(jié)果分析顯示模塊4，用于對評估結(jié)果一致性分析及反饋。

在本實施例中，由于存在專家個人經(jīng)驗偏好及仿真試驗的不確定性，容易導(dǎo)致基于仿真數(shù)據(jù)的可信度評估結(jié)果、專家可信度評判結(jié)果及評估指標(biāo)權(quán)重分配出現(xiàn)不一致，需要消除評估結(jié)果的不一致。采用計算多組評估結(jié)果的期望值和方差的方法，如果多組仿真數(shù)據(jù)的可信度評估結(jié)果出現(xiàn)較大偏差，則對評估結(jié)果偏離期望值較大的仿真數(shù)據(jù)進(jìn)行檢查，判斷仿真試驗是否有效；如果在某個評估指標(biāo)上，不同專家的評判結(jié)果出現(xiàn)較大偏差，或者在某個評估指標(biāo)的權(quán)重分配上出現(xiàn)較大偏差時，通過組織專家研討消除個人評估偏好的影響。

針對單次評估，評估結(jié)果分析顯示模塊4獲得可信度綜合評估模塊3的計算結(jié)果，并按評估指標(biāo)體系的層次化結(jié)構(gòu)顯示各個層次的各評估指標(biāo)的可信度評估結(jié)果以及整個仿真系統(tǒng)的可信度。針對多次評估，評估結(jié)果分析顯示模塊4加載多次評估結(jié)果數(shù)據(jù)集后進(jìn)行一致性分析，將綜合分析后的結(jié)果顯示在層次化評估指標(biāo)體系結(jié)構(gòu)中。

綜上所述，本發(fā)明所述技術(shù)方案，實現(xiàn)了具有反饋優(yōu)化機制的復(fù)雜仿真系統(tǒng)可信度的魯棒評估，通過基于多組仿真數(shù)據(jù)的可信度校驗、多數(shù)據(jù)源融合評估、評估結(jié)果一致性分析及反饋，形成反復(fù)迭代的評估過程，在迭代過程中不斷融入來自仿真試驗數(shù)據(jù)、真實系統(tǒng)試驗數(shù)據(jù)和專家經(jīng)驗知識等多評估數(shù)據(jù)源的評估信息，修正評估過程中的不確定性因素的影響，使專家的評估意見趨向客觀，使評估結(jié)果趨向穩(wěn)定、合理和一致；融合多源異構(gòu)評估信息的可信度綜合評估方法，對來自于試驗數(shù)據(jù)、仿真數(shù)據(jù)及專家經(jīng)驗知識的多種評估信息進(jìn)行統(tǒng)一描述，利用多級綜合評估模型實現(xiàn)對多評估源信息的有效利用；適用于評估指標(biāo)體系中具有定性、定量評估指標(biāo)，并且評估數(shù)據(jù)來源具有多樣化特點的復(fù)雜仿真系統(tǒng)的可信度評估，適用于提高國防科技領(lǐng)域復(fù)雜裝備以及民用產(chǎn)業(yè)復(fù)雜產(chǎn)品等研制仿真的可信度評估水平，預(yù)計此項技術(shù)成果有良好的產(chǎn)業(yè)化前景。

顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定，對于所屬領(lǐng)域的普通技術(shù)人員來說，在 上述說明的基礎(chǔ)上還可以做出其它不同形式的變化或變動，這里無法對所有的實施方式予以窮舉，凡是屬于本發(fā)明的技術(shù)方案所引伸出的顯而易見的變化或變動仍處于本發(fā)明的保護(hù)范圍之列。