一種網(wǎng)絡(luò)采集異常警告自動化處理的方法
【專利摘要】本發(fā)明提供一種網(wǎng)絡(luò)采集異常警告自動化處理的方法，基于互聯(lián)網(wǎng)分布式采集發(fā)生異常時，記錄異常并對異常進(jìn)行自動化處理，這種處理方式可以有效的處理互聯(lián)網(wǎng)采集時發(fā)生的異常，并且節(jié)省了人工監(jiān)控的時間和人工異常處理的時間，不但節(jié)省了時間，而且也減少的了人工成本。用戶不需要定義復(fù)雜的配置，只需要定義采集系統(tǒng)的異常標(biāo)準(zhǔn)和異常處理方式。除此之外，用戶還可以根據(jù)異常記錄，查詢每個服務(wù)器的異常情況，根據(jù)查詢結(jié)果對服務(wù)器進(jìn)行適當(dāng)調(diào)整，提高服務(wù)器的利用率。
【專利說明】一種網(wǎng)絡(luò)采集異常警告自動化處理的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)采集，分布式，web通信，異常處理【技術(shù)領(lǐng)域】，具體地說是一種網(wǎng)絡(luò)采集異常警告自動化處理的方法。

【背景技術(shù)】
[0002]在對互聯(lián)網(wǎng)進(jìn)行信息采集時，可能會面臨的問題:
1.網(wǎng)絡(luò)異常，包括網(wǎng)絡(luò)不穩(wěn)定，網(wǎng)絡(luò)延遲高等等；
2.定義的采集標(biāo)準(zhǔn)與目標(biāo)網(wǎng)站有出入，導(dǎo)致采集程序發(fā)生異常；
3.采集程序不穩(wěn)定導(dǎo)致異常；
4.目標(biāo)網(wǎng)站本身的結(jié)構(gòu)異常；
5.各個采集程序之間通信異常。
[0003]一旦發(fā)生上述的問題，都有可能導(dǎo)致信息采集過程的中止或者數(shù)據(jù)格式的異常，對于這些問題，需要一種可以及時監(jiān)控并且管理采集的技術(shù)，在采集過程正常進(jìn)行時，可以搜集采集過程的各項(xiàng)參數(shù)，比如CPU使用率，內(nèi)存使用率等；在采集完成時，可以報(bào)告本次采集的情況；而一旦采集過程出現(xiàn)了上述問題中的一種，那么需要記錄這個異常情況，并且自動采取適當(dāng)?shù)奶幚矸绞?，使采集過程轉(zhuǎn)為正常。本技術(shù)正是定向于解決這類問題的。


【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種網(wǎng)絡(luò)采集異常警告自動化處理的方法。
[0005]本發(fā)明的目的是按以下方式實(shí)現(xiàn)的，包括異常處理平臺搭建和異常警告自動化處理，其中異常處理平臺搭建步驟如下:
1)根據(jù)目前主流的分布式系統(tǒng)，給用戶提供不同的通信接口；
2)搭建分布式監(jiān)控處理系統(tǒng)，調(diào)通采集系統(tǒng)與監(jiān)控系統(tǒng)，監(jiān)控系統(tǒng)和處理系統(tǒng)，以及處理系統(tǒng)和主服務(wù)器之間的借口，各部分通信流暢；
3)將異常記錄做接口，方便用戶查詢跟服務(wù)器運(yùn)行情況；
異常警告自動化處理步驟如下:
1)根據(jù)需求定義異常標(biāo)準(zhǔn)，各種異常的標(biāo)識符和異常處理方式；
2)根據(jù)定義的異常標(biāo)準(zhǔn)，設(shè)計(jì)監(jiān)控程序和異常處理程序；
3)監(jiān)控程序負(fù)責(zé)任務(wù)的監(jiān)控工作，一旦發(fā)現(xiàn)發(fā)生異常，發(fā)送異常標(biāo)示符給異常處理服務(wù)器；
4)異常處理服務(wù)器接收到異常標(biāo)示符后，根據(jù)設(shè)計(jì)的異常處理程序，進(jìn)行適當(dāng)處理，將異常信息備案，并發(fā)送給主服務(wù)器；
5)主服務(wù)器根據(jù)異常處理服務(wù)器反饋的信息，采取適當(dāng)措施，停止對應(yīng)異常服務(wù)器的任務(wù)，然后根據(jù)異常的嚴(yán)重程序，或者自動重啟任務(wù)，或者自動發(fā)送郵件給相關(guān)人員，由相關(guān)人員進(jìn)行處理。
[0006]本發(fā)明的優(yōu)異效果:這種處理方式可以有效的處理互聯(lián)網(wǎng)采集時發(fā)生的異常，并且節(jié)省了人工監(jiān)控的時間和人工異常處理的時間，不但節(jié)省了時間，而且也減少的了人工成本。用戶不需要定義復(fù)雜的配置，只需要定義采集系統(tǒng)的異常標(biāo)準(zhǔn)和異常處理方式。除此之外，用戶還可以根據(jù)異常記錄，查詢每個服務(wù)器的異常情況，根據(jù)查詢結(jié)果對服務(wù)器進(jìn)行適當(dāng)調(diào)整，提高服務(wù)器的利用率。

【專利附圖】

【附圖說明】
[0007]圖1是本發(fā)明的流程結(jié)構(gòu)圖。

【具體實(shí)施方式】
[0008]參照說明書附圖對本發(fā)明的作以下詳細(xì)地說明。
[0009]本發(fā)明的目的是基于互聯(lián)網(wǎng)分布式采集發(fā)生異常時，記錄異常并對異常進(jìn)行自動化處理的技術(shù)。這種處理方式可以有效的處理互聯(lián)網(wǎng)采集時發(fā)生的異常，并且節(jié)省了人工監(jiān)控的時間和人工異常處理的時間，不但節(jié)省了時間，而且也減少的了人工成本。用戶不需要定義復(fù)雜的配置，只需要定義采集系統(tǒng)的異常標(biāo)準(zhǔn)和異常處理方式。除此之外，用戶還可以根據(jù)異常記錄，查詢每個服務(wù)器的異常情況，根據(jù)查詢結(jié)果對服務(wù)器進(jìn)行適當(dāng)調(diào)整，提高服務(wù)器的利用率。
[0010]由于各個用戶使用的分布式采集系統(tǒng)在結(jié)構(gòu)上存在差異，對異常的自動化處理造成了一些困難。因此我們給用戶提供了幾種不同的接口，方便客戶根據(jù)其采集系統(tǒng)，搭建本異常處理平臺。分以下三步搭建該平臺:
第一步，根據(jù)目前主流的分布式系統(tǒng)，給用戶提供不同的通信接口 ；
第二步，搭建分布式監(jiān)控處理系統(tǒng)，調(diào)通采集系統(tǒng)與監(jiān)控系統(tǒng)，監(jiān)控系統(tǒng)和處理系統(tǒng)，以及處理系統(tǒng)和主服務(wù)器之間的借口，各部分通信流暢；
第三步，將異常記錄做接口，方便用戶查詢跟服務(wù)器運(yùn)行情況。
[0011]除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種網(wǎng)絡(luò)采集異常警告自動化處理的方法，其特征在于包括異常處理平臺搭建和異常警告自動化處理，其中異常處理平臺搭建步驟如下: 1)根據(jù)目前主流的分布式系統(tǒng)，給用戶提供不同的通信接口； 2)搭建分布式監(jiān)控處理系統(tǒng)，調(diào)通采集系統(tǒng)與監(jiān)控系統(tǒng)，監(jiān)控系統(tǒng)和處理系統(tǒng)，以及處理系統(tǒng)和主服務(wù)器之間的借口，各部分通信流暢； 3)將異常記錄做接口，方便用戶查詢跟服務(wù)器運(yùn)行情況； 異常警告自動化處理步驟如下: 1)根據(jù)需求定義異常標(biāo)準(zhǔn)，各種異常的標(biāo)識符和異常處理方式； 2)根據(jù)定義的異常標(biāo)準(zhǔn)，設(shè)計(jì)監(jiān)控程序和異常處理程序； 3)監(jiān)控程序負(fù)責(zé)任務(wù)的監(jiān)控工作，一旦發(fā)現(xiàn)發(fā)生異常，發(fā)送異常標(biāo)示符給異常處理服務(wù)器； 4)異常處理服務(wù)器接收到異常標(biāo)示符后，根據(jù)設(shè)計(jì)的異常處理程序，進(jìn)行適當(dāng)處理，將異常信息備案，并發(fā)送給主服務(wù)器； 5)主服務(wù)器根據(jù)異常處理服務(wù)器反饋的信息，采取適當(dāng)措施，停止對應(yīng)異常服務(wù)器的任務(wù)，然后根據(jù)異常的嚴(yán)重程序，或者自動重啟任務(wù)，或者自動發(fā)送郵件給相關(guān)人員，由相關(guān)人員進(jìn)行處理。
【文檔編號】H04L12/24GK104202216SQ201410459981
【公開日】2014年12月10日 申請日期:2014年9月11日 優(yōu)先權(quán)日:2014年9月11日
【發(fā)明者】徐宏偉, 崔樂樂, 尤孝吉 申請人:浪潮軟件集團(tuán)有限公司