本發(fā)明涉及數(shù)據(jù)管理，尤其涉及一種氣密性檢測(cè)儀用的氣密性數(shù)據(jù)管理方法及系統(tǒng)。

背景技術(shù)：

1、隨著工業(yè)自動(dòng)化和智能制造的發(fā)展，氣密性檢測(cè)作為產(chǎn)品質(zhì)量控制的關(guān)鍵環(huán)節(jié)，其數(shù)據(jù)量呈現(xiàn)爆炸性增長(zhǎng)，由于檢測(cè)的設(shè)備多樣性和時(shí)間跨度，氣密性數(shù)據(jù)管理面臨諸多挑戰(zhàn)；重復(fù)檢測(cè)相同或相似產(chǎn)品可能導(dǎo)致大量冗余數(shù)據(jù)的產(chǎn)生，這不僅增加了存儲(chǔ)負(fù)擔(dān)，也降低了數(shù)據(jù)處理的效率。

2、在傳統(tǒng)的數(shù)據(jù)處理流程中，如果采用的數(shù)據(jù)清洗方法過(guò)于簡(jiǎn)化，可能會(huì)錯(cuò)誤地將重要數(shù)據(jù)識(shí)別為冗余或錯(cuò)誤數(shù)據(jù)并將其刪除，從而導(dǎo)致有價(jià)值的信息丟失；或清除了屬于不同設(shè)備間的相似數(shù)據(jù)，造成數(shù)據(jù)缺失。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提供一種氣密性檢測(cè)儀用的氣密性數(shù)據(jù)管理方法及系統(tǒng)，對(duì)氣密性數(shù)據(jù)進(jìn)行有效管理，提高氣密性數(shù)據(jù)管理的效率和準(zhǔn)確性。

2、一種氣密性檢測(cè)儀用的氣密性數(shù)據(jù)管理方法，包括：

3、s1.獲取目標(biāo)氣密性數(shù)據(jù)集，對(duì)目標(biāo)氣密性數(shù)據(jù)集執(zhí)行分塊處理，得到多個(gè)目標(biāo)氣密性數(shù)據(jù)塊sn，n=1，2，…，n，n為目標(biāo)氣密性數(shù)據(jù)塊的數(shù)量；對(duì)每一個(gè)目標(biāo)氣密性數(shù)據(jù)塊sn進(jìn)行特征提取，得到目標(biāo)氣密性數(shù)據(jù)塊特征tn；

4、s2.基于所有目標(biāo)氣密性數(shù)據(jù)塊特征tn和氣密性數(shù)據(jù)塊重要度評(píng)估模型進(jìn)行重要度標(biāo)簽劃分，得到目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；根據(jù)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進(jìn)行數(shù)據(jù)冗余檢測(cè)，得到目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn；基于目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn和目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn對(duì)目標(biāo)氣密性數(shù)據(jù)塊sn進(jìn)行數(shù)據(jù)分類，得到目標(biāo)氣密性冗余數(shù)據(jù)塊集、目標(biāo)氣密性非冗余數(shù)據(jù)塊集和目標(biāo)氣密性特殊數(shù)據(jù)塊集；

5、s3.針對(duì)目標(biāo)氣密性冗余數(shù)據(jù)塊集中的目標(biāo)氣密性數(shù)據(jù)塊進(jìn)行相似度分類，得到高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集和低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；根據(jù)氣密性數(shù)據(jù)壓縮策略執(zhí)行壓縮操作，完成對(duì)目標(biāo)氣密性數(shù)據(jù)集的數(shù)據(jù)管理，氣密性數(shù)據(jù)壓縮策略中包含有針對(duì)不同的數(shù)據(jù)塊集執(zhí)行對(duì)應(yīng)的數(shù)據(jù)壓縮操作。

6、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s1的具體步驟，包括：

7、s11.獲取目標(biāo)氣密性數(shù)據(jù)集；根據(jù)類別分塊標(biāo)準(zhǔn)對(duì)目標(biāo)氣密性數(shù)據(jù)集進(jìn)行第一次劃分，得到第一目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果；根據(jù)時(shí)間序列滑動(dòng)窗口分塊法對(duì)第一目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果進(jìn)行第二次劃分，得到第二目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果；根據(jù)k均值聚類算法對(duì)第二目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果進(jìn)行第三次劃分，得到多個(gè)目標(biāo)氣密性數(shù)據(jù)塊sn；

8、s12.對(duì)每一個(gè)目標(biāo)氣密性數(shù)據(jù)塊sn進(jìn)行特征提取，得到目標(biāo)氣密性數(shù)據(jù)塊特征tn。

9、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s2中的氣密性數(shù)據(jù)塊重要度評(píng)估模型包括有數(shù)據(jù)預(yù)處理層、特征匹配層和結(jié)構(gòu)輸出層；

10、數(shù)據(jù)預(yù)處理層用于對(duì)目標(biāo)氣密性數(shù)據(jù)塊特征tn進(jìn)行預(yù)處理，得到預(yù)處理目標(biāo)氣密性數(shù)據(jù)塊特征un；

11、特征匹配層用于對(duì)預(yù)處理目標(biāo)氣密性數(shù)據(jù)塊特征un進(jìn)行重要度匹配，得到目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；

12、結(jié)果輸出層用于輸出目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；

13、訓(xùn)練氣密性數(shù)據(jù)塊重要度評(píng)估模型中特征匹配層的具體步驟為：

14、收集若干組氣密性數(shù)據(jù)塊訓(xùn)練樣本，每組氣密性數(shù)據(jù)塊訓(xùn)練樣本中包含有一個(gè)預(yù)處理氣密性數(shù)據(jù)塊特征和對(duì)應(yīng)的重要度標(biāo)簽；將若干組氣密性數(shù)據(jù)塊訓(xùn)練樣本組合，得到氣密性數(shù)據(jù)塊訓(xùn)練集；

15、利用氣密性數(shù)據(jù)塊訓(xùn)練集對(duì)特征匹配層以重要度標(biāo)簽為目標(biāo)進(jìn)行訓(xùn)練，得到初始特征匹配層；對(duì)初始特征匹配層進(jìn)行評(píng)估，得到初始特征匹配層模型評(píng)估結(jié)果；若初始特征匹配層模型評(píng)估結(jié)果為通過(guò)，則將初始特征匹配層作為氣密性數(shù)據(jù)塊重要度評(píng)估模型中的特征匹配層；否則，利用氣密性數(shù)據(jù)塊訓(xùn)練集繼續(xù)進(jìn)行模型訓(xùn)練。

16、作為本發(fā)明的一種優(yōu)選技術(shù)方案，根據(jù)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進(jìn)行數(shù)據(jù)冗余檢測(cè)的具體步驟，包括：

17、針對(duì)目標(biāo)氣密性數(shù)據(jù)塊特征tn計(jì)算近似特征子集熵，得到目標(biāo)氣密性數(shù)據(jù)塊子集熵hn；對(duì)所有目標(biāo)氣密性數(shù)據(jù)塊子集熵hn計(jì)算均值，得到目標(biāo)氣密性數(shù)據(jù)塊子集熵均值jn；根據(jù)目標(biāo)氣密性數(shù)據(jù)塊子集熵均值jn計(jì)算信息增益，得到目標(biāo)氣密性數(shù)據(jù)塊子集熵均值信息增益值jn’；

18、對(duì)目標(biāo)氣密性數(shù)據(jù)塊sn計(jì)算在目標(biāo)氣密性數(shù)據(jù)集中的熵值，得到目標(biāo)氣密性數(shù)據(jù)塊熵值dn；根據(jù)目標(biāo)氣密性數(shù)據(jù)塊熵值dn計(jì)算信息增益，得到目標(biāo)氣密性數(shù)據(jù)塊信息增益值yn；

19、針對(duì)目標(biāo)氣密性數(shù)據(jù)塊sn利用公式計(jì)算對(duì)應(yīng)信息增益率，得到目標(biāo)氣密性數(shù)據(jù)塊信息增益率數(shù)值pn，γ為平衡度系數(shù)；

20、若目標(biāo)氣密性數(shù)據(jù)塊信息增益率數(shù)值pn大于等于目標(biāo)氣密性數(shù)據(jù)塊信息增益閾值，標(biāo)注目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn為1；若目標(biāo)氣密性數(shù)據(jù)塊信息增益率數(shù)值pn小于信息增益閾值，標(biāo)注目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn為0；

21、遍歷所有目標(biāo)氣密性數(shù)據(jù)塊sn和對(duì)應(yīng)的目標(biāo)氣密性數(shù)據(jù)塊特征tn，對(duì)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進(jìn)行數(shù)據(jù)冗余檢測(cè)。

22、作為本發(fā)明的一種優(yōu)選技術(shù)方案，基于目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn和目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn對(duì)目標(biāo)氣密性數(shù)據(jù)塊sn進(jìn)行數(shù)據(jù)分類的具體步驟，包括：

23、針對(duì)目標(biāo)氣密性數(shù)據(jù)塊sn，利用公式gn=rn*bn*f，計(jì)算目標(biāo)氣密性數(shù)據(jù)塊評(píng)價(jià)函數(shù)值gn，f為權(quán)重系數(shù)；

24、若目標(biāo)氣密性數(shù)據(jù)塊評(píng)價(jià)函數(shù)值gn處于第一冗余范圍內(nèi)，則將目標(biāo)氣密性數(shù)據(jù)塊sn劃分為目標(biāo)氣密性非冗余數(shù)據(jù)塊集；

25、若目標(biāo)氣密性數(shù)據(jù)塊評(píng)價(jià)函數(shù)值gn處于第二冗余范圍內(nèi)，則將目標(biāo)氣密性數(shù)據(jù)塊sn劃分為目標(biāo)氣密性冗余數(shù)據(jù)塊集；

26、若目標(biāo)氣密性數(shù)據(jù)塊評(píng)價(jià)函數(shù)值gn處于第三冗余范圍內(nèi)，則將目標(biāo)氣密性數(shù)據(jù)塊sn劃分為目標(biāo)氣密性特殊數(shù)據(jù)塊集。

27、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s3中針對(duì)目標(biāo)氣密性冗余數(shù)據(jù)塊集中的目標(biāo)氣密性數(shù)據(jù)塊進(jìn)行相似度分類的具體步驟，包括：

28、規(guī)定目標(biāo)氣密性冗余數(shù)據(jù)塊集中含有i個(gè)數(shù)據(jù)塊，表示為目標(biāo)氣密性數(shù)據(jù)塊si，i=1，2，…，i；

29、針對(duì)目標(biāo)氣密性數(shù)據(jù)塊si，將目標(biāo)氣密性數(shù)據(jù)塊si和目標(biāo)氣密性冗余數(shù)據(jù)塊集中其余目標(biāo)氣密性數(shù)據(jù)塊進(jìn)行相似度比較，記錄與目標(biāo)氣密性數(shù)據(jù)塊si相似度最大對(duì)應(yīng)的目標(biāo)氣密性數(shù)據(jù)塊相似度值vi，將目標(biāo)氣密性數(shù)據(jù)塊相似度值vi和相似度閾值進(jìn)行比較，若目標(biāo)氣密性數(shù)據(jù)塊相似度值vi大于相似度閾值，則將目標(biāo)氣密性數(shù)據(jù)塊si劃分為高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；否則，將目標(biāo)氣密性數(shù)據(jù)塊si劃分為低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；

30、遍歷所有目標(biāo)氣密性數(shù)據(jù)塊si，直到將目標(biāo)氣密性冗余數(shù)據(jù)塊集劃分為高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集和低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集。

31、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s3中根據(jù)氣密性數(shù)據(jù)壓縮策略執(zhí)行壓縮操作的具體步驟，包括：

32、針對(duì)高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集執(zhí)行去重增量壓縮操作，針對(duì)低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集執(zhí)行增量壓縮操作，針對(duì)目標(biāo)氣密性數(shù)據(jù)非冗余數(shù)據(jù)塊集執(zhí)行通用壓縮操作，針對(duì)目標(biāo)氣密性特殊數(shù)據(jù)塊集進(jìn)行直接存儲(chǔ)操作，完成對(duì)目標(biāo)氣密性數(shù)據(jù)集的數(shù)據(jù)管理。

33、一種氣密性檢測(cè)儀用的氣密性數(shù)據(jù)管理系統(tǒng)，包括：

34、氣密性數(shù)據(jù)分塊模塊，用于獲取目標(biāo)氣密性數(shù)據(jù)集，對(duì)目標(biāo)氣密性數(shù)據(jù)集執(zhí)行分塊處理，得到多個(gè)目標(biāo)氣密性數(shù)據(jù)塊sn，n=1，2，…，n，n為目標(biāo)氣密性數(shù)據(jù)塊的數(shù)量；對(duì)每一個(gè)目標(biāo)氣密性數(shù)據(jù)塊sn進(jìn)行特征提取，得到目標(biāo)氣密性數(shù)據(jù)塊特征tn；

35、氣密性數(shù)據(jù)冗余檢測(cè)模塊，用于部署氣密性數(shù)據(jù)塊重要度評(píng)估模型，基于所有目標(biāo)氣密性數(shù)據(jù)塊特征tn和氣密性數(shù)據(jù)塊重要度評(píng)估模型進(jìn)行重要度標(biāo)簽劃分，得到目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；根據(jù)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進(jìn)行數(shù)據(jù)冗余檢測(cè)，得到目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn；基于目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn和目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn對(duì)目標(biāo)氣密性數(shù)據(jù)塊sn進(jìn)行數(shù)據(jù)分類，得到目標(biāo)氣密性冗余數(shù)據(jù)塊集、目標(biāo)氣密性非冗余數(shù)據(jù)塊集和目標(biāo)氣密性特殊數(shù)據(jù)塊集；

36、氣密性數(shù)據(jù)壓縮管理模塊，用于針對(duì)目標(biāo)氣密性冗余數(shù)據(jù)塊集中的目標(biāo)氣密性數(shù)據(jù)塊進(jìn)行相似度分類，得到高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集和低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；根據(jù)氣密性數(shù)據(jù)壓縮策略執(zhí)行壓縮操作，完成對(duì)目標(biāo)氣密性數(shù)據(jù)集的數(shù)據(jù)管理，氣密性數(shù)據(jù)壓縮策略中包含有針對(duì)不同的數(shù)據(jù)塊集執(zhí)行對(duì)應(yīng)的數(shù)據(jù)壓縮操作。

37、本發(fā)明具有以下優(yōu)點(diǎn)：

38、1、本發(fā)明通過(guò)對(duì)目標(biāo)氣密性數(shù)據(jù)集執(zhí)行分塊處理，提高了數(shù)據(jù)處理和分析的效率；通過(guò)為每個(gè)數(shù)據(jù)塊提供了關(guān)鍵信息的摘要，有助于快速識(shí)別數(shù)據(jù)的基通過(guò)識(shí)別并標(biāo)記出冗余數(shù)據(jù)，為數(shù)據(jù)去重和壓縮提供了依據(jù)本屬性和關(guān)鍵特征；通過(guò)對(duì)數(shù)據(jù)塊進(jìn)行重要度標(biāo)簽劃分，確保了關(guān)鍵數(shù)據(jù)得到保留和優(yōu)先處理，有助于根據(jù)數(shù)據(jù)塊的不同特點(diǎn)，應(yīng)用定制化的壓縮策略，提升了數(shù)據(jù)壓縮的針對(duì)性和效果。

39、2、本發(fā)明通過(guò)實(shí)施氣密性數(shù)據(jù)冗余檢測(cè)流程，能夠精確量化數(shù)據(jù)的不確定性和復(fù)雜性，有效評(píng)估和區(qū)分?jǐn)?shù)據(jù)塊的冗余度，有助于優(yōu)化數(shù)據(jù)存儲(chǔ)效率，節(jié)省存儲(chǔ)空間，且顯著提升了數(shù)據(jù)處理速度，確保了數(shù)據(jù)集的精簡(jiǎn)和高質(zhì)量，增強(qiáng)了數(shù)據(jù)的安全性，減少了泄露風(fēng)險(xiǎn)，并通過(guò)自動(dòng)化方法提高了數(shù)據(jù)處理的一致性和準(zhǔn)確性。