一種數(shù)據(jù)采集方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)采集方法和系統(tǒng)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，以及網(wǎng)絡(luò)應(yīng)用需求的不斷豐富，數(shù)據(jù)采集的應(yīng)用越來越多，也越來越重要，比如數(shù)據(jù)處理中心的網(wǎng)元巡檢等應(yīng)用，都涉及到對(duì)各網(wǎng)元上相應(yīng)數(shù)據(jù)采集操作。因此，數(shù)據(jù)采集的效率及準(zhǔn)確性至關(guān)重要。
[0003]現(xiàn)有技術(shù)中，數(shù)據(jù)采集的主要解決方案是，在各網(wǎng)元端配置一采集探針，當(dāng)需要執(zhí)行數(shù)據(jù)采集任務(wù)時(shí)，數(shù)據(jù)處理中心對(duì)采集任務(wù)進(jìn)行分解，通過采集探針從待采集網(wǎng)元上采集所需要的數(shù)據(jù)。
[0004]但是，現(xiàn)有的數(shù)據(jù)采集技術(shù)中，由于采集探針及數(shù)據(jù)處理中心對(duì)于后臺(tái)是無感知的，若某數(shù)據(jù)處理中心或采集探針由于網(wǎng)絡(luò)等原因，無法連接到網(wǎng)絡(luò)，即處于非存活狀態(tài)，無法正常連接的狀態(tài)，則會(huì)導(dǎo)致數(shù)據(jù)采集失敗或發(fā)生錯(cuò)誤等問題，影響數(shù)據(jù)采集的準(zhǔn)確性。另外，若某段時(shí)間針對(duì)某一網(wǎng)元的數(shù)據(jù)采集任務(wù)過多，則會(huì)導(dǎo)致其對(duì)應(yīng)的采集探針壓力過大，不但影響數(shù)據(jù)采集的效率，也容易由于采集探針壓力過大導(dǎo)致崩潰等現(xiàn)象，最終導(dǎo)致數(shù)據(jù)采集失敗或出錯(cuò)。鑒于此，迫切需要一種更加準(zhǔn)確且能夠耐受巨大的數(shù)據(jù)采集壓力的數(shù)據(jù)采集解決方案，以適用日益迫切的數(shù)據(jù)采集需求。

【發(fā)明內(nèi)容】

[0005]鑒于上述問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)采集方法及系統(tǒng)，以解決現(xiàn)有數(shù)據(jù)采集方案中不準(zhǔn)確及無法承受巨大數(shù)據(jù)采集壓力的問題。
[0006]本發(fā)明實(shí)施例采用了如下技術(shù)方案:
[0007]本發(fā)明一個(gè)實(shí)施例提供了一種數(shù)據(jù)采集方法，所述方法包括:
[0008]為各網(wǎng)元設(shè)置采集探針池，采集探針池中的各采集探針各自啟動(dòng)第一監(jiān)聽服務(wù)，周期性監(jiān)聽與數(shù)據(jù)處理中心的連接狀態(tài)，且在數(shù)據(jù)處理中心啟動(dòng)第二監(jiān)聽服務(wù)，周期性監(jiān)聽與各采集探針的連接狀態(tài)；
[0009]當(dāng)需進(jìn)行數(shù)據(jù)采集任務(wù)時(shí)，根據(jù)監(jiān)聽結(jié)果獲取處于存活狀態(tài)的數(shù)據(jù)處理中心，及待采集網(wǎng)元對(duì)應(yīng)采集探針池中處于存活狀態(tài)的采集探針，利用處于存活狀態(tài)的數(shù)據(jù)處理中心及采集探針進(jìn)行數(shù)據(jù)采集任務(wù)。
[0010]根據(jù)監(jiān)聽結(jié)果獲取待采集網(wǎng)元對(duì)應(yīng)采集池中處于存活狀態(tài)的采集探針為多個(gè)，所述方法還包括:
[0011]評(píng)估多個(gè)處于存活狀態(tài)的采集探針的負(fù)載狀況，根據(jù)負(fù)載均衡方式確定優(yōu)選采集探針；
[0012]所述利用處于存活狀態(tài)的數(shù)據(jù)處理中心及采集探針進(jìn)行數(shù)據(jù)采集任務(wù)具體為:
[0013]利用處于存活狀態(tài)的數(shù)據(jù)處理中心及所述優(yōu)選采集探針進(jìn)行數(shù)據(jù)采集任務(wù)。
[0014]所述評(píng)估多個(gè)處于存活狀態(tài)的采集探針的負(fù)載狀況，根據(jù)負(fù)載均衡方式確定優(yōu)選采集探針包括:
[0015]針對(duì)各采集探針，計(jì)算當(dāng)前CPU使用率、當(dāng)前內(nèi)存使用率及分配內(nèi)存空間的加權(quán)之和，得到各采集探針的負(fù)載狀況的評(píng)分值；
[0016]將評(píng)分值最高的采集探針作為優(yōu)選采集探針。
[0017]所述方法還包括:
[0018]當(dāng)一次數(shù)據(jù)采集操作結(jié)束后，保留本次數(shù)據(jù)采集的采集連接；所述采集連接為用于執(zhí)行本次數(shù)據(jù)采集操作建立的數(shù)據(jù)處理中心、采集探針及本次數(shù)據(jù)采集網(wǎng)元之間的網(wǎng)絡(luò)連接關(guān)系；
[0019]若新的數(shù)據(jù)采集操作與之前的數(shù)據(jù)采集操作屬于同一采集任務(wù)，則在保留的采集連接中判斷之前的數(shù)據(jù)采集的采集連接是否在有效期限內(nèi)，若在有效期限內(nèi)，則直接采用之前的數(shù)據(jù)采集的采集連接進(jìn)行該新的數(shù)據(jù)采集操作，若不在有效期限，則執(zhí)行所述根據(jù)監(jiān)聽結(jié)果獲取處于存活狀態(tài)的數(shù)據(jù)處理中心，及待采集網(wǎng)元對(duì)應(yīng)采集探針池中處于存活狀態(tài)的采集探針，利用處于存活狀態(tài)的數(shù)據(jù)處理中心及采集探針進(jìn)行數(shù)據(jù)采集任務(wù)。
[0020]所述為各網(wǎng)元設(shè)置采集探針池包括:
[0021]根據(jù)網(wǎng)元的采集需求情況，確定各網(wǎng)元所需配置的采集探針數(shù)量；
[0022]為各網(wǎng)元配置包括確定的采集探針數(shù)量的采集探針池。
[0023]所述方法還包括:根據(jù)網(wǎng)元的采集需求變更，對(duì)應(yīng)變更網(wǎng)元的采集探針數(shù)量；
[0024]當(dāng)采集探針池中的采集探針新增或重新啟動(dòng)時(shí)，新增或重新啟動(dòng)的采集探針啟動(dòng)一第一監(jiān)聽服務(wù)，向數(shù)據(jù)處理中心發(fā)送連接請(qǐng)求，所述數(shù)據(jù)處理中心接到連接請(qǐng)求后，啟動(dòng)與該采集探針的第二監(jiān)聽服務(wù)，周期性監(jiān)聽與該采集探針的連接狀態(tài)；
[0025]當(dāng)采集探針池中的采集探針減少時(shí)，數(shù)據(jù)處理中心對(duì)該減少的采集探針監(jiān)聽不到時(shí)，則關(guān)閉對(duì)該減少的采集探針的第二監(jiān)聽服務(wù)。
[0026]另外，本發(fā)明實(shí)施例還提供了一種數(shù)據(jù)采集系統(tǒng)，所述系統(tǒng)包括:
[0027]設(shè)置及監(jiān)聽模塊，用于為各網(wǎng)元設(shè)置采集探針池，采集探針池中的各采集探針各自啟動(dòng)第一監(jiān)聽服務(wù)，周期性監(jiān)聽與數(shù)據(jù)處理中心的連接狀態(tài)，且在數(shù)據(jù)處理中心啟動(dòng)第二監(jiān)聽服務(wù)，周期性監(jiān)聽與各采集探針的連接狀態(tài)；
[0028]數(shù)據(jù)采集模塊，用于當(dāng)需進(jìn)行數(shù)據(jù)采集任務(wù)時(shí)，根據(jù)監(jiān)聽結(jié)果獲取處于存活狀態(tài)的數(shù)據(jù)處理中心，及待采集網(wǎng)元對(duì)應(yīng)采集探針池中處于存活狀態(tài)的采集探針，利用處于存活狀態(tài)的數(shù)據(jù)處理中心及采集探針進(jìn)行數(shù)據(jù)采集任務(wù)。
[0029]所述數(shù)據(jù)采集模塊還包括:
[0030]負(fù)載評(píng)估單元，用于根據(jù)監(jiān)聽結(jié)果獲取待采集網(wǎng)元對(duì)應(yīng)采集池中處于存活狀態(tài)的采集探針為多個(gè)時(shí)，評(píng)估多個(gè)處于存活狀態(tài)的采集探針的負(fù)載狀況，根據(jù)負(fù)載均衡方式確定優(yōu)選采集探針；
[0031]所述負(fù)載評(píng)估單元包括:
[0032]評(píng)分子單元，用于針對(duì)各采集探針，計(jì)算當(dāng)前CPU使用率、當(dāng)前內(nèi)存使用率及分配內(nèi)存空間的加權(quán)之和，得到各采集探針的負(fù)載狀況的評(píng)分值；
[0033]確定子單元，用于將評(píng)分值最高的采集探針作為優(yōu)選采集探針。
[0034]所述數(shù)據(jù)采集模塊還包括:
[0035]連接保存單元，用于當(dāng)一次數(shù)據(jù)采集操作結(jié)束后，保留本次數(shù)據(jù)采集的采集連接；所述采集連接為用于執(zhí)行本次數(shù)據(jù)采集操作建立的數(shù)據(jù)處理中心、采集探針及本次數(shù)據(jù)采集網(wǎng)元之間的網(wǎng)絡(luò)連接關(guān)系；
[0036]判斷單元，用于若新的數(shù)據(jù)采集操作與所述連接保存單元保存的之前數(shù)據(jù)采集操作屬于同一采集任務(wù)，則在保留的采集連接中判斷之前的數(shù)據(jù)采集的采集連接是否在有效期限內(nèi)，若在有效期限內(nèi)，則直接采用之前的數(shù)據(jù)采集的采集連接進(jìn)行該新的數(shù)據(jù)采集操作，若不在有效期限，則執(zhí)行所述根據(jù)監(jiān)聽結(jié)果獲取處于存活狀態(tài)的數(shù)據(jù)處理中心，及待采集網(wǎng)元對(duì)應(yīng)采集探針池中處于存活狀態(tài)的采集探針，利用處于存活狀態(tài)的數(shù)據(jù)處理中心及采集探針進(jìn)行數(shù)據(jù)采集任務(wù)。
[0037]所述設(shè)置及監(jiān)聽模塊包括:
[0038]采集探針池確定單元，用于根據(jù)網(wǎng)元的采集需求情況，確定各網(wǎng)元所需配置的采集探針數(shù)量；
[0039]采集探針池設(shè)置單元，用于為各網(wǎng)元配置包括確定的采集探針數(shù)量的采集探針池；
[0040]監(jiān)聽單元，用于采集探針池中的各采集探針各自啟動(dòng)第一監(jiān)聽服務(wù)，周期性監(jiān)聽與數(shù)據(jù)處理中心的連接狀態(tài)，且在數(shù)據(jù)處理中心啟動(dòng)第二監(jiān)聽服務(wù)，周期性監(jiān)聽與各采集探針的連接狀態(tài)；
[0041]所述設(shè)置及監(jiān)聽模塊還包括:
[0042]變更單元，用于根據(jù)網(wǎng)元的采集需求變更，對(duì)應(yīng)變更網(wǎng)元的采集探針數(shù)量；
[0043]添加單元，用于當(dāng)采集探針池中的采集探針新增或重新啟動(dòng)時(shí)，新增或重新啟動(dòng)的采集探針啟動(dòng)一第一監(jiān)聽服務(wù)，向數(shù)據(jù)處理中心發(fā)送連接請(qǐng)求，所述數(shù)據(jù)處理中心接到連接請(qǐng)求后，啟動(dòng)與該采集探針的第二監(jiān)聽服務(wù)，周期性監(jiān)聽與該采集探針的連接狀態(tài)；
[0044]刪除單元，用于當(dāng)采集探針池中的采集探針減少時(shí)，數(shù)據(jù)處理中心對(duì)該減少的采集探針監(jiān)聽不到時(shí)，則關(guān)閉對(duì)該減少的采集探針的第二監(jiān)聽服務(wù)。
[0045]本發(fā)明實(shí)施例提供的一種數(shù)據(jù)采集方法和系統(tǒng)，為各網(wǎng)元設(shè)置采集探針池，采集探針池中的各采集探針各自啟動(dòng)第一監(jiān)聽服務(wù)，周期性監(jiān)聽與數(shù)據(jù)處理中心的連接