一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明公開一種動態(tài)數(shù)據(jù)分級方法，屬于計算機存儲技術(shù)領(lǐng)域，具體地說是一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法。
【背景技術(shù)】
[0002]隨著大數(shù)據(jù)、云存儲時代的到來，云數(shù)據(jù)中心得到了飛速發(fā)展，使得高性能、低成本的智能數(shù)據(jù)管理成為研宄熱點。由于復(fù)雜的應(yīng)用環(huán)境導(dǎo)致數(shù)據(jù)具有時效性和空間性、數(shù)據(jù)訪問和處理復(fù)雜性、存儲訪問需求多樣性等特征，所以需要對各種動態(tài)數(shù)據(jù)進行分級、分層處理，以實現(xiàn)應(yīng)用需求和存儲資源之間的合理映射，提高存儲設(shè)備的性價比。例如，通過數(shù)據(jù)分級模型將數(shù)據(jù)分為熱點數(shù)據(jù)與冷數(shù)據(jù)，將熱點數(shù)據(jù)放置到性能更加優(yōu)異的存儲設(shè)備上，提升訪問性能，將不被經(jīng)常訪問的冷數(shù)據(jù)放置到低速設(shè)備上，降低存儲成本。
[0003]動態(tài)數(shù)據(jù)分級本質(zhì)上屬于分類問題，多采用有監(jiān)督分類方法，即根據(jù)預(yù)訓(xùn)練的分級模型對數(shù)據(jù)進行分類。所以，動態(tài)數(shù)據(jù)分級模型是數(shù)據(jù)分級/分層存儲的關(guān)鍵要素?，F(xiàn)有數(shù)據(jù)分級模型的類別判斷規(guī)則多為各特征的線性組合，但動態(tài)數(shù)據(jù)的各訪問特征相互關(guān)聯(lián)，并不兩兩獨立，簡單的線性關(guān)系不能對這些相互關(guān)系進行準確描述，因而影響數(shù)據(jù)的存儲和使用。針對此問題，本發(fā)明提出了一種基于模糊積分特征融合的智能動態(tài)數(shù)據(jù)分級方法，以提高數(shù)據(jù)分級的準確性，充分考慮了數(shù)據(jù)特征間彼此關(guān)聯(lián)的特性，利用模糊積分進行特征融合，建立更為合理的數(shù)據(jù)分級模型，適用于各種動態(tài)數(shù)據(jù)管理的存儲層次決策，提高數(shù)據(jù)分級的處理速度，提升存儲效率。

【發(fā)明內(nèi)容】

[0004]本發(fā)明針對動態(tài)數(shù)據(jù)的各訪問特征相互關(guān)聯(lián)，并不兩兩獨立，簡單的線性關(guān)系不能對這些相互關(guān)系進行準確描述，因而影響數(shù)據(jù)的存儲和使用的問題，提供一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，實現(xiàn)了利用模糊積分進行特征融合，建立更為合理的數(shù)據(jù)分級模型，適用于各種動態(tài)數(shù)據(jù)管理的存儲層次決策，提高數(shù)據(jù)分級的處理速度，提升存儲效率。
[0005]本發(fā)明提出的具體方案是:
一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，具體步驟為:
①對訓(xùn)練集數(shù)據(jù)進行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合，根據(jù)數(shù)據(jù)應(yīng)用和存儲特性提取數(shù)據(jù)特征；
②數(shù)據(jù)特征融合:計算各數(shù)據(jù)特征組合的模糊測度，利用模糊積分對各特征進行融合，得到特征融合計算模型和新的數(shù)據(jù)特征向量；
③對融合后的數(shù)據(jù)特征進行約簡:對得到的新數(shù)據(jù)特征向量進行特征約簡，選取最優(yōu)特征子集；
④數(shù)據(jù)分級模型生成:根據(jù)選取的最優(yōu)特征子集進行分類訓(xùn)練，生成數(shù)據(jù)分類模型；根據(jù)得到的特征融合計算模型和最優(yōu)特征子集分類模型得出待分級數(shù)據(jù)的最優(yōu)融合特征向量;
⑤數(shù)據(jù)存儲層次映射:根據(jù)數(shù)據(jù)分類模型與得到的待分級數(shù)據(jù)的融合特征向量，判斷數(shù)據(jù)類別，建立待分類數(shù)據(jù)與存儲層次間的映射。
[0006]所述的數(shù)據(jù)特征提取利用人工或機器進行，用映射或變換的方法將原始特征降維，變換為與原始特征相比數(shù)量較少的新特征，形成初始數(shù)據(jù)特征集合。
[0007]所述的數(shù)據(jù)特征融合，具體融合過程為:計算待融合特征集的模糊測度:采用人工指定的方法挑選出可能存在相互關(guān)系的特征構(gòu)成待融合特征集，降低計算維度；計算各特征組合的模糊積分:根據(jù)得到的模糊測度，使用模糊積分Choquet積分或Sugeno積分計算模糊積分；確定新的數(shù)據(jù)特征向量:根據(jù)指定閾值舍棄模糊積分值過低的特征組合，將剩余的特征組合與預(yù)留的彼此獨立的單體特征一起組合為新的特征向量。
[0008]所述的對融合后的數(shù)據(jù)特征進行約簡的方法可采用主成分分析PCA法、獨立成分分析ICA法、線性決策分析LDA法、局部特征分析LFA法。
[0009]本發(fā)明的有益之處是:本發(fā)明提出了一種基于模糊積分特征融合的智能動態(tài)數(shù)據(jù)分級方法，以提高數(shù)據(jù)分級的準確性，充分考慮了數(shù)據(jù)特征間彼此關(guān)聯(lián)的特性，利用模糊積分進行特征融合，建立更為合理的數(shù)據(jù)分級模型，適用于各種動態(tài)數(shù)據(jù)管理的存儲層次決策，提高數(shù)據(jù)分級的處理速度，提升存儲效率。
【附圖說明】
[0010]圖1本發(fā)明的流程示意圖。
【具體實施方式】
[0011]對本發(fā)明做進一步說明。
[0012]模糊測度是一個單調(diào)且歸一化的集合函數(shù)，它將概率測度中的可加性替換為條件更弱的單調(diào)性，可以看作是概率測度的擴展。而模糊積分正是定義在模糊測度基礎(chǔ)上的一種非線性函數(shù)，具有融合多元信息的能力，常用的模糊積分有Choquet積分和Sugeno積分。
[0013]一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，具體步驟為:
①對訓(xùn)練集數(shù)據(jù)進行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合，根據(jù)數(shù)據(jù)應(yīng)用和存儲特性提取數(shù)據(jù)特征；數(shù)據(jù)訪問和存儲特征多可由專家根據(jù)相關(guān)經(jīng)驗進行人工提取。為提高數(shù)據(jù)特征的可用性與準確性，可采用多位專家共同提取的方式。另一方面，深度網(wǎng)絡(luò)的出現(xiàn)使得自動提取數(shù)據(jù)特征成為可能。因此，該階段也可采用深度網(wǎng)絡(luò)或其他機器學(xué)習(xí)方法對數(shù)據(jù)特征進行自動提取，以提高數(shù)據(jù)分級的自動化程度，甚至準確性。由于后續(xù)處理中會對提取到的數(shù)據(jù)特征作進一步分析和處理，所以，該階段提取的特征可以略為詳盡。
[0014]②數(shù)據(jù)特征融合:計算各數(shù)據(jù)特征組合的模糊測度，利用模糊積分對各特征進行融合，得到特征融合計算模型和新的數(shù)據(jù)特征向量；所述的數(shù)據(jù)特征融合，具體融合過程為:計算待融合特征集的模糊測度:采用人工指定的方法挑選出可能存在相互關(guān)系的特征構(gòu)成待融合特征集，降低計算維度；計算各特征組合的模糊積分:根據(jù)得到的模糊測度，使用模糊積分Choquet積分或Sugeno積分計算模糊積分；確定新的數(shù)據(jù)特征向量:根據(jù)指定閾值舍棄模糊積分值過低的特征組合，將剩余的特征組合與預(yù)留的彼此獨立的單體特征一起組合為新的特征向量。
[0015]③對融合后的數(shù)據(jù)特征進行約簡:對得到的新數(shù)據(jù)特征向量進行特征約簡，選取最優(yōu)特征子集；特征約簡方法可采用主成分分析PCA法、獨立成分分析ICA法、線性決策分析LDA法、局部特征分析LFA法。也可采用粗糙集等機器學(xué)習(xí)方法。由于Choquet積分本身就具有粗糙性，所以基于Choquet積分融合得到的新特征向量主要是對獨立特征的約簡。
[0016]④數(shù)據(jù)分類模型生成:根據(jù)選取的最優(yōu)特征子集進行分類訓(xùn)練，生成數(shù)據(jù)分類模型；根據(jù)得到的特征融合計算模型和最優(yōu)特征子集分類模型得出待分級數(shù)據(jù)的最優(yōu)融合特征向量；基于最優(yōu)特征子集對訓(xùn)練集進行分類訓(xùn)練，生成數(shù)據(jù)分級模型。分類訓(xùn)練模型可以是任意分類模型，包括有監(jiān)督分類，如決策樹、神經(jīng)網(wǎng)絡(luò)等，也可以是無監(jiān)督分類，如聚類等。
[0017]⑤數(shù)據(jù)存儲層次映射:根據(jù)數(shù)據(jù)分類模型與得到的待分級數(shù)據(jù)的融合特征向量，判斷數(shù)據(jù)類別，建立待分類數(shù)據(jù)與存儲層次間的映射。
【主權(quán)項】
1.一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，其特征是具體步驟為: ①對訓(xùn)練集數(shù)據(jù)進行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合，根據(jù)數(shù)據(jù)應(yīng)用和存儲特性提取數(shù)據(jù)特征； ②數(shù)據(jù)特征融合:計算各數(shù)據(jù)特征組合的模糊測度，利用模糊積分對各特征進行融合，得到特征融合計算模型和新的數(shù)據(jù)特征向量； ③對融合后的數(shù)據(jù)特征進行約簡:對得到的新數(shù)據(jù)特征向量進行特征約簡，選取最優(yōu)特征子集； ④數(shù)據(jù)分級模型生成:根據(jù)選取的最優(yōu)特征子集進行分類訓(xùn)練，生成數(shù)據(jù)分類模型；根據(jù)得到的特征融合計算模型和最優(yōu)特征子集分類模型得出待分級數(shù)據(jù)的最優(yōu)融合特征向量; ⑤數(shù)據(jù)存儲層次映射:根據(jù)數(shù)據(jù)分類模型與得到的待分級數(shù)據(jù)的融合特征向量，判斷數(shù)據(jù)類別，建立待分類數(shù)據(jù)與存儲層次間的映射。
2.根據(jù)權(quán)利要求1所述的一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，其特征是所述的數(shù)據(jù)特征提取利用人工或機器進行，用映射或變換的方法將原始特征降維，變換為與原始特征相比數(shù)量較少的新特征，形成初始數(shù)據(jù)特征集合。
3.根據(jù)權(quán)利要求1或2所述的一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，其特征是所述的數(shù)據(jù)特征融合，具體融合過程為:計算待融合特征集的模糊測度:采用人工指定的方法挑選出可能存在相互關(guān)系的特征構(gòu)成待融合特征集，降低計算維度；計算各特征組合的模糊積分:根據(jù)得到的模糊測度，使用模糊積分Choquet積分或Sugeno積分計算模糊積分；確定新的數(shù)據(jù)特征向量:根據(jù)指定閾值舍棄模糊積分值過低的特征組合，將剩余的特征組合與預(yù)留的彼此獨立的單體特征一起組合為新的特征向量。
4.根據(jù)權(quán)利要求3所述的一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，其特征是所述的對融合后的數(shù)據(jù)特征進行約簡的方法可采用主成分分析PCA法、獨立成分分析ICA法、線性決策分析LDA法、局部特征分析LFA法。
【專利摘要】本發(fā)明公開一種基于模糊積分特征融合的動態(tài)數(shù)據(jù)分級方法，屬于計算機存儲技術(shù)領(lǐng)域，步驟為：①對訓(xùn)練集數(shù)據(jù)進行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合，根據(jù)數(shù)據(jù)應(yīng)用和存儲特性提取數(shù)據(jù)特征；②數(shù)據(jù)特征融合；③對融合后的數(shù)據(jù)特征進行約簡；④數(shù)據(jù)分級模型生成；⑤數(shù)據(jù)存儲層次映射；本發(fā)明提高數(shù)據(jù)分級的準確性，充分考慮了數(shù)據(jù)特征間彼此關(guān)聯(lián)的特性，利用模糊積分進行特征融合，建立更為合理的數(shù)據(jù)分級模型，適用于各種動態(tài)數(shù)據(jù)管理的存儲層次決策，提高數(shù)據(jù)分級的處理速度，提升存儲效率。
【IPC分類】G06F17-30
【公開號】CN104636492
【申請?zhí)枴緾N201510095450
【發(fā)明人】趙雅倩, 陳繼承
【申請人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年5月20日
【申請日】2015年3月4日