本發(fā)明屬于數(shù)據(jù)處理領(lǐng)域,尤其涉及一種故障數(shù)據(jù)信息處理方法及裝置。
背景技術(shù):
隨著信息時(shí)代的持續(xù)發(fā)展,公司面對的業(yè)務(wù)越來越復(fù)雜,運(yùn)維工作人員的工作壓力越來越大。特別地,系統(tǒng)發(fā)生故障時(shí),故障的定位和排除就非常困難。如果定位和排除故障耗費(fèi)的時(shí)間較長,將會(huì)影響公司正常的業(yè)務(wù)運(yùn)轉(zhuǎn),給公司帶來較大的損失。因此,需要一套故障自動(dòng)化診斷和處理的解決方案,幫助運(yùn)維人員快速的定位和排除故障,減少公司損失。
故障診斷和處理解決方案必然依托于故障診斷和處理數(shù)據(jù)倉庫,只有大量的歷史故障案例作為訓(xùn)練數(shù)據(jù),才能建立計(jì)算機(jī)自動(dòng)化、智能化的故障診斷和處理平臺。但是,故障數(shù)據(jù)信息具有數(shù)量大、種類繁多的特點(diǎn),因此如何對故障數(shù)據(jù)信息進(jìn)行高效的存取和自動(dòng)分類成為亟待解決的技術(shù)問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明提供一種故障數(shù)據(jù)信息處理方法及裝置,以解決上述問題。
本發(fā)明實(shí)施例提供一種故障數(shù)據(jù)信息處理方法,上述方法包括以下步驟:將分類后的故障數(shù)據(jù)信息存入對應(yīng)的關(guān)系表,為所述故障數(shù)據(jù)信息建立一級索引并且為每個(gè)關(guān)系表建立二級索引;故障發(fā)生時(shí),通過索引信息進(jìn)行查詢,確定對應(yīng)的故障類型。
本發(fā)明實(shí)施例提供了一種故障數(shù)據(jù)信息處理裝置,包括索引建立模塊、故障類型確定模塊;其中,所述索引建立模塊與所述故障類型確定模塊相連;
所述索引建立模塊,用于將分類后的故障數(shù)據(jù)信息存入對應(yīng)的關(guān)系表,為所述故障數(shù)據(jù)信息建立一級索引并且為每個(gè)關(guān)系表建立二級索引;
所述故障類型確定模塊,用于通過從所述索引建立模塊中獲取的索引信息進(jìn)行查詢,進(jìn)而確定對應(yīng)的故障類型。
通過以下方案:將分類后的故障數(shù)據(jù)信息存入對應(yīng)的關(guān)系表,為所述故障數(shù)據(jù)信息建立一級索引并且為每個(gè)關(guān)系表建立二級索引;故障發(fā)生時(shí),通過索引信息進(jìn)行查詢,確定對應(yīng)的故障類型;既實(shí)現(xiàn)了通過多級索引達(dá)到故障數(shù)據(jù)信息高效存取的目的,又解決了故障數(shù)據(jù)信息分類困難的技術(shù)問題,從而實(shí)現(xiàn)了針對故障數(shù)據(jù)信息進(jìn)行高效的存取和自動(dòng)分類,減少人為故障排查和處理花費(fèi)的時(shí)間,降低公司的損失。
通過以下方案:通過標(biāo)注的故障數(shù)據(jù)信息,獲取分類模型并通過所述分類模型,對故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類,解決了故障數(shù)據(jù)信息分類困難的技術(shù)問題。
通過以下方案:采用隨機(jī)算法從故障數(shù)據(jù)信息中選擇對應(yīng)的故障數(shù)據(jù)信息進(jìn)行人工標(biāo)注,并將人工標(biāo)注的故障數(shù)據(jù)信息作為訓(xùn)練樣本數(shù)據(jù)集;采用機(jī)器學(xué)習(xí)分類算法對所述訓(xùn)練樣本數(shù)據(jù)集進(jìn)行處理,獲得分類模型并通過所述分類模型對剩余的故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類,解決了故障數(shù)據(jù)信息分類困難的技術(shù)問題,減少人為故障排查和處理花費(fèi)的時(shí)間。
附圖說明
此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解,構(gòu)成本申請的一部分,本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明,并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
圖1所示為本發(fā)明實(shí)施例1的故障數(shù)據(jù)信息處理方法流程圖;
圖2所示為本發(fā)明實(shí)施例2的故障數(shù)據(jù)信息處理裝置結(jié)構(gòu)圖;
圖3所示為本發(fā)明實(shí)施例3的故障數(shù)據(jù)信息處理裝置結(jié)構(gòu)圖;
圖4所示為本發(fā)明實(shí)施例4的故障數(shù)據(jù)信息處理裝置結(jié)構(gòu)圖。
具體實(shí)施方式
下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是,在不沖突的情況下,本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。
圖1所示為本發(fā)明實(shí)施例1的故障數(shù)據(jù)信息處理方法流程圖,包括以下步驟:
步驟101:通過標(biāo)注的故障數(shù)據(jù)信息,獲取分類模型并通過所述分類模型,對故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類;
進(jìn)一步地,對故障數(shù)據(jù)信息進(jìn)行標(biāo)注的方式包括:人工標(biāo)注、計(jì)算機(jī)自動(dòng)分類標(biāo)注。
進(jìn)一步地,采用隨機(jī)算法從故障數(shù)據(jù)信息中選擇對應(yīng)的故障數(shù)據(jù)信息進(jìn)行人工標(biāo)注,并將人工標(biāo)注的故障數(shù)據(jù)信息作為訓(xùn)練樣本數(shù)據(jù)集;
采用機(jī)器學(xué)習(xí)分類算法對所述訓(xùn)練樣本數(shù)據(jù)集進(jìn)行處理,獲得分類模型并通過所述分類模型對剩余的故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類。
進(jìn)一步地,將分類后的故障數(shù)據(jù)信息存入故障倉庫中。
進(jìn)一步地,所述故障數(shù)據(jù)信息包括硬件故障和軟件故障,其中軟件故障包括業(yè)務(wù)邏輯異常、依賴模塊異常、系統(tǒng)底層異常,硬件故障包括網(wǎng)絡(luò)故障、存儲故障、cpu故障。
步驟102:將分類后的故障數(shù)據(jù)信息存入對應(yīng)的關(guān)系表,為所述故障數(shù)據(jù)信息建立一級索引并且為每個(gè)關(guān)系表建立二級索引;
步驟103:故障發(fā)生時(shí),通過索引信息進(jìn)行查詢,確定對應(yīng)的故障類型。
具體而言,當(dāng)系統(tǒng)出現(xiàn)故障時(shí),一方面需要通過分析歷史故障數(shù)據(jù)信息來確定其類型;另一方面需要將新出現(xiàn)的故障數(shù)據(jù)信息更新到故障倉庫中。
由于故障數(shù)據(jù)信息可能有十萬甚至百萬條,因此,需要進(jìn)行高效的存取。
本實(shí)施例利用索引思想,將不同的故障數(shù)據(jù)信息存入不同的關(guān)系表中,為故障數(shù)據(jù)信息建立一級索引,然后為每個(gè)關(guān)系表在建立二級索引,從而快速、高效的對故障數(shù)據(jù)信息進(jìn)行查詢和更新。
本發(fā)明主要內(nèi)容包括以下幾點(diǎn):
1)系統(tǒng)故障診斷和處理數(shù)據(jù)倉庫數(shù)據(jù)來源;
2)系統(tǒng)故障診斷和處理數(shù)據(jù)倉庫中數(shù)據(jù)的分類;
3)系統(tǒng)故障診斷和處理數(shù)據(jù)倉庫的數(shù)據(jù)存儲。
數(shù)據(jù)來源主要包括:公司內(nèi)部歷史故障數(shù)據(jù)信息、網(wǎng)絡(luò)爬取數(shù)據(jù);將獲取的公司內(nèi)部歷史故障數(shù)據(jù)信息、網(wǎng)絡(luò)爬取數(shù)據(jù)存儲至臨時(shí)故障數(shù)據(jù)信息倉庫。
判斷臨時(shí)故障數(shù)據(jù)信息倉庫中的故障數(shù)據(jù)信息是否被抽取到,若被抽取到,則進(jìn)行人工標(biāo)注,否則還存放至臨時(shí)故障數(shù)據(jù)信息倉庫中。
將人工標(biāo)注后的故障數(shù)據(jù)信息作為訓(xùn)練樣本數(shù)據(jù)集,進(jìn)行半監(jiān)督機(jī)器學(xué)習(xí)分類算法模型訓(xùn)練,完成故障數(shù)據(jù)信息分類(采用機(jī)器學(xué)習(xí)分類算法對所述訓(xùn)練樣本數(shù)據(jù)集進(jìn)行處理,獲得分類模型并通過所述分類模型對剩余的故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類);將分類后的故障數(shù)據(jù)信息存入故障倉庫中。
圖2所示為本發(fā)明實(shí)施例2的故障數(shù)據(jù)信息處理裝置結(jié)構(gòu)圖,包括索引建立模塊、故障類型確定模塊;其中,所述索引建立模塊與所述故障類型確定模塊相連;
所述索引建立模塊,用于將分類后的故障數(shù)據(jù)信息存入對應(yīng)的關(guān)系表,為所述故障數(shù)據(jù)信息建立一級索引并且為每個(gè)關(guān)系表建立二級索引;
所述故障類型確定模塊,用于通過從所述索引建立模塊中獲取的索引信息進(jìn)行查詢,進(jìn)而確定對應(yīng)的故障類型。
圖3所示為本發(fā)明實(shí)施例3的故障數(shù)據(jù)信息處理裝置結(jié)構(gòu)圖,在圖2的基礎(chǔ)上增加了分類模塊,其中,所述分類模塊與所述索引建立模塊相連;
所述分類模塊,用于通過標(biāo)注的故障數(shù)據(jù)信息,獲取分類模型并通過所述分類模型,對故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類。
進(jìn)一步地,將分類后的故障數(shù)據(jù)信息存入故障倉庫中。
進(jìn)一步地,對故障數(shù)據(jù)信息進(jìn)行標(biāo)注的方式包括:人工標(biāo)注、計(jì)算機(jī)自動(dòng)分類標(biāo)注。
進(jìn)一步地,所述分類模塊,還用于采用隨機(jī)算法從故障數(shù)據(jù)信息中選擇對應(yīng)的故障數(shù)據(jù)信息進(jìn)行人工標(biāo)注,并將人工標(biāo)注的故障數(shù)據(jù)信息作為訓(xùn)練樣本數(shù)據(jù)集;還用于采用機(jī)器學(xué)習(xí)分類算法對所述訓(xùn)練樣本數(shù)據(jù)集進(jìn)行處理,獲得分類模型并通過所述分類模型對剩余的故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類。
圖4所示為本發(fā)明實(shí)施例4的故障數(shù)據(jù)信息處理裝置結(jié)構(gòu)圖,在圖3的基礎(chǔ)上增加了存儲模塊,其中,所述存儲模塊與所述分類模塊相連;
所述存儲模塊,用于存儲分類后的故障數(shù)據(jù)信息。
通過以下方案:將分類后的故障數(shù)據(jù)信息存入對應(yīng)的關(guān)系表,為所述故障數(shù)據(jù)信息建立一級索引并且為每個(gè)關(guān)系表建立二級索引;故障發(fā)生時(shí),通過索引信息進(jìn)行查詢,確定對應(yīng)的故障類型;既實(shí)現(xiàn)了通過多級索引達(dá)到故障數(shù)據(jù)信息高效存取的目的,又解決了故障數(shù)據(jù)信息分類困難的技術(shù)問題,從而實(shí)現(xiàn)了針對故障數(shù)據(jù)信息進(jìn)行高效的存取和自動(dòng)分類,減少人為故障排查和處理花費(fèi)的時(shí)間,降低公司的損失。
通過以下方案:通過標(biāo)注的故障數(shù)據(jù)信息,獲取分類模型并通過所述分類模型,對故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類,解決了故障數(shù)據(jù)信息分類困難的技術(shù)問題。
通過以下方案:采用隨機(jī)算法從故障數(shù)據(jù)信息中選擇對應(yīng)的故障數(shù)據(jù)信息進(jìn)行人工標(biāo)注,并將人工標(biāo)注的故障數(shù)據(jù)信息作為訓(xùn)練樣本數(shù)據(jù)集;采用機(jī)器學(xué)習(xí)分類算法對所述訓(xùn)練樣本數(shù)據(jù)集進(jìn)行處理,獲得分類模型并通過所述分類模型對剩余的故障數(shù)據(jù)信息進(jìn)行自動(dòng)分類,解決了故障數(shù)據(jù)信息分類困難的技術(shù)問題,減少人為故障排查和處理花費(fèi)的時(shí)間。
以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,對于本領(lǐng)域的技術(shù)人員來說,本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。