一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)領(lǐng)域，具體地說是一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的普及與發(fā)展，以及上網(wǎng)人數(shù)的不斷增加，每分鐘都有數(shù)以百萬計(jì)的數(shù)據(jù)產(chǎn)生，與自然資源不同的是，該類數(shù)據(jù)資源沒有匱乏，只有增長。伴隨著數(shù)據(jù)量的不斷增大，當(dāng)今社會(huì)進(jìn)入了大數(shù)據(jù)時(shí)代。獲取互聯(lián)網(wǎng)數(shù)據(jù)的主要途徑是通過網(wǎng)絡(luò)爬蟲技術(shù)進(jìn)行數(shù)據(jù)采集。由于互聯(lián)網(wǎng)數(shù)據(jù)量大，種類繁多，結(jié)構(gòu)復(fù)雜，造成采集過程往往需要經(jīng)歷較長的時(shí)間。在數(shù)據(jù)的采集過程中，采集前期由于系統(tǒng)資源充足、網(wǎng)絡(luò)環(huán)境通暢、內(nèi)存占有量較低等因素，采集速度快，效率高；伴隨著采集過程的不斷進(jìn)行，系統(tǒng)資源、內(nèi)存不斷的被占用，網(wǎng)絡(luò)環(huán)境也越來越差，采集速度逐漸減慢，效率變低，有時(shí)還會(huì)因?yàn)橘Y源不足，內(nèi)存不夠等因素停止采集。而造成采集停止的這些問題，我們通常無法進(jìn)行提前預(yù)測，而且問題出現(xiàn)后無法及時(shí)發(fā)現(xiàn)，造成大量時(shí)間的浪費(fèi)與資源浪費(fèi)，影響工作的下一步進(jìn)行。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的技術(shù)任務(wù)是提供一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法。
[0004]本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，該方法步驟如下:
O建立自回歸模型并建立新的采集任務(wù)；
2)利用自回歸模型進(jìn)行采集過程中的預(yù)警工作；在采集過程中，不斷獲取各個(gè)時(shí)間段內(nèi)的運(yùn)行數(shù)據(jù)，利用得到的自回歸模型對(duì)數(shù)據(jù)對(duì)應(yīng)的最終結(jié)果進(jìn)行預(yù)測，若得到的值為1，則向采集負(fù)責(zé)人發(fā)送預(yù)警信息，方便采集負(fù)責(zé)人查看采集任務(wù)并采取相應(yīng)的對(duì)應(yīng)措施；
3)將每次采集任務(wù)中各個(gè)時(shí)間段內(nèi)的運(yùn)行參數(shù)作為新的訓(xùn)練樣例增加到訓(xùn)練集合中，采用驗(yàn)證方法對(duì)自回歸模型進(jìn)行新一輪的訓(xùn)練，得到更優(yōu)的模型。
[0005]所述的自回歸模型的建立步驟如下:
1)在數(shù)據(jù)采集過程中，每隔10分鐘獲取一次運(yùn)行環(huán)境參數(shù)；
2)將獲取到的環(huán)境參數(shù)進(jìn)行轉(zhuǎn)換預(yù)處理，得到模型的訓(xùn)練樣例；
3)根據(jù)訓(xùn)練樣例進(jìn)行分類器測學(xué)習(xí)，最終建立自回歸模型，對(duì)于未知的樣例，根據(jù)模型可預(yù)測其可能的結(jié)果；
4)采用驗(yàn)證方法多次訓(xùn)練使得模型的性能穩(wěn)定，并得到最優(yōu)自回歸模型。
[0006]所述的驗(yàn)證方法為十折交叉驗(yàn)證方法。
[0007]本發(fā)明的一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法和現(xiàn)有技術(shù)相比，能夠利用預(yù)測目標(biāo)的歷史時(shí)間數(shù)列在不同時(shí)期取值之間存在的依存關(guān)系，建立起回歸方程進(jìn)行預(yù)測。利用自回歸預(yù)測法，建立自回歸模型，將能夠?qū)Σ杉^程中可能出現(xiàn)的問題進(jìn)行預(yù)測，有效的避免了時(shí)間和資源的浪費(fèi)，保證了工作的正常進(jìn)行。
【附圖說明】
[0008]附圖1為一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法的流程圖。
【具體實(shí)施方式】
[0009]實(shí)施例1:
建立自回歸模型:
1)在數(shù)據(jù)采集過程中，每隔10分鐘獲取一次運(yùn)行環(huán)境參數(shù)；
2)將獲取到的環(huán)境參數(shù)進(jìn)行轉(zhuǎn)換預(yù)處理，得到模型的訓(xùn)練樣例；
3)根據(jù)訓(xùn)練樣例進(jìn)行分類器測學(xué)習(xí)，最終建立自回歸模型，對(duì)于未知的樣例，根據(jù)模型可預(yù)測其可能的結(jié)果；
4)采用驗(yàn)證方法多次訓(xùn)練使得模型的性能穩(wěn)定，并得到最優(yōu)自回歸模型。
[0010]采用自回歸模型進(jìn)行預(yù)測數(shù)據(jù)分析報(bào)警:
利用自回歸模型進(jìn)行采集過程中的預(yù)警工作；在采集過程中，不斷獲取各個(gè)時(shí)間段內(nèi)的運(yùn)行數(shù)據(jù)，利用得到的自回歸模型對(duì)數(shù)據(jù)對(duì)應(yīng)的最終結(jié)果進(jìn)行預(yù)測，若得到的值為1，則向采集負(fù)責(zé)人發(fā)送預(yù)警信息，方便采集負(fù)責(zé)人查看采集任務(wù)并采取相應(yīng)的對(duì)應(yīng)措施；
將每次采集任務(wù)中各個(gè)時(shí)間段內(nèi)的運(yùn)行參數(shù)作為新的訓(xùn)練樣例增加到訓(xùn)練集合中，采用驗(yàn)證方法對(duì)自回歸模型進(jìn)行新一輪的訓(xùn)練，得到更優(yōu)的模型。
[0011]實(shí)施例2:
建立自回歸模型:
1)在數(shù)據(jù)采集過程中，每隔10分鐘獲取一次運(yùn)行環(huán)境參數(shù)；
2)將獲取到的環(huán)境參數(shù)進(jìn)行轉(zhuǎn)換預(yù)處理，得到模型的訓(xùn)練樣例；
3)根據(jù)訓(xùn)練樣例進(jìn)行分類器測學(xué)習(xí)，最終建立自回歸模型，對(duì)于未知的樣例，根據(jù)模型可預(yù)測其可能的結(jié)果；
4)采用十折交叉驗(yàn)證方法多次訓(xùn)練使得模型的性能穩(wěn)定，并得到最優(yōu)自回歸模型。
[0012]采用自回歸模型進(jìn)行預(yù)測數(shù)據(jù)分析報(bào)警:
利用自回歸模型進(jìn)行采集過程中的預(yù)警工作；在采集過程中，不斷獲取各個(gè)時(shí)間段內(nèi)的運(yùn)行數(shù)據(jù)，利用得到的自回歸模型對(duì)數(shù)據(jù)對(duì)應(yīng)的最終結(jié)果進(jìn)行預(yù)測，若得到的值為1，則向采集負(fù)責(zé)人發(fā)送預(yù)警信息，方便采集負(fù)責(zé)人查看采集任務(wù)并采取相應(yīng)的對(duì)應(yīng)措施；
將每次采集任務(wù)中各個(gè)時(shí)間段內(nèi)的運(yùn)行參數(shù)作為新的訓(xùn)練樣例增加到訓(xùn)練集合中，采用十折交叉驗(yàn)證方法對(duì)自回歸模型進(jìn)行新一輪的訓(xùn)練，得到更優(yōu)的模型。
[0013]十折交叉驗(yàn)證方法:英文名叫做10-fold cross-validat1n,用來測試算法準(zhǔn)確性。是常用的測試方法。將數(shù)據(jù)集分成十分，輪流將其中9份作為訓(xùn)練數(shù)據(jù)，I份作為測試數(shù)據(jù)，進(jìn)行試驗(yàn)。每次試驗(yàn)都會(huì)得出相應(yīng)的正確率(或差錯(cuò)率)。10次的結(jié)果的正確率(或差錯(cuò)率)的平均值作為對(duì)算法精度的估計(jì)，一般還需要進(jìn)行多次10折交叉驗(yàn)證(例如10次10折交叉驗(yàn)證)，再求其均值，作為對(duì)算法準(zhǔn)確性的估計(jì)。
[0014]通過上面【具體實(shí)施方式】，所述技術(shù)領(lǐng)域的技術(shù)人員可容易的實(shí)現(xiàn)本發(fā)明。但是應(yīng)當(dāng)理解，本發(fā)明并不限于上述的幾種【具體實(shí)施方式】。在公開的實(shí)施方式的基礎(chǔ)上，所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征，從而實(shí)現(xiàn)不同的技術(shù)方案。
【主權(quán)項(xiàng)】
1.一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法，其特征在于，該方法步驟如下: 1)建立自回歸模型并建立新的采集任務(wù)； 2)利用自回歸模型進(jìn)行采集過程中的預(yù)警工作；在采集過程中，不斷獲取各個(gè)時(shí)間段內(nèi)的運(yùn)行數(shù)據(jù)，利用得到的自回歸模型對(duì)數(shù)據(jù)對(duì)應(yīng)的最終結(jié)果進(jìn)行預(yù)測，若得到的值為1，則向采集負(fù)責(zé)人發(fā)送預(yù)警信息，方便采集負(fù)責(zé)人查看采集任務(wù)并采取相應(yīng)的對(duì)應(yīng)措施； 3)將每次采集任務(wù)中各個(gè)時(shí)間段內(nèi)的運(yùn)行參數(shù)作為新的訓(xùn)練樣例增加到訓(xùn)練集合中，采用驗(yàn)證方法對(duì)自回歸模型進(jìn)行新一輪的訓(xùn)練，得到更優(yōu)的模型。
2.根據(jù)權(quán)利要求1所述的一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法，其特征在于，所述的自回歸模型的建立步驟如下: 1)在數(shù)據(jù)采集過程中，每隔10分鐘獲取一次運(yùn)行環(huán)境參數(shù)； 2)將獲取到的環(huán)境參數(shù)進(jìn)行轉(zhuǎn)換預(yù)處理，得到模型的訓(xùn)練樣例； 3)根據(jù)訓(xùn)練樣例進(jìn)行分類器測學(xué)習(xí)，最終建立自回歸模型，對(duì)于未知的樣例，根據(jù)模型可預(yù)測其可能的結(jié)果； 4)采用驗(yàn)證方法多次訓(xùn)練使得模型的性能穩(wěn)定，并得到最優(yōu)自回歸模型。
3.根據(jù)權(quán)利要求1或2所述的一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法，其特征在于，所述的驗(yàn)證方法為十折交叉驗(yàn)證方法。
【專利摘要】本發(fā)明公開了一種基于自回歸預(yù)測的數(shù)據(jù)分析報(bào)警方法，該方法步驟如下：1）建立自回歸模型并建立新的采集任務(wù)；2）利用自回歸模型進(jìn)行采集過程中的預(yù)警工作；在采集過程中，不斷獲取各個(gè)時(shí)間段內(nèi)的運(yùn)行數(shù)據(jù)，利用得到的自回歸模型對(duì)數(shù)據(jù)對(duì)應(yīng)的最終結(jié)果進(jìn)行預(yù)測，若得到的值為1，則向采集負(fù)責(zé)人發(fā)送預(yù)警信息，方便負(fù)責(zé)人采取相應(yīng)的對(duì)應(yīng)措施；3）將每次采集任務(wù)中各個(gè)時(shí)間段內(nèi)的運(yùn)行參數(shù)作為新的訓(xùn)練樣例增加到訓(xùn)練集合中，采用驗(yàn)證方法對(duì)自回歸模型進(jìn)行新一輪的訓(xùn)練，得到更優(yōu)的模型。本發(fā)明利用自回歸預(yù)測法，建立自回歸模型，將能夠?qū)Σ杉^程中可能出現(xiàn)的問題進(jìn)行預(yù)測，有效的避免了時(shí)間和資源的浪費(fèi)，保證了工作的正常進(jìn)行。
【IPC分類】G06Q10-04
【公開號(hào)】CN104573864
【申請?zhí)枴緾N201510008344
【發(fā)明人】邱繼釗, 于治樓, 范瑩
【申請人】浪潮軟件集團(tuán)有限公司
【公開日】2015年4月29日
【申請日】2015年1月8日