一種無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集裝置及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及光接入網(wǎng)絡(luò)技術(shù)領(lǐng)域，具體來(lái)見(jiàn)是一種無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集裝置及其方法。
【背景技術(shù)】
[0002]近年來(lái)，隨著信息化的高速發(fā)展，網(wǎng)絡(luò)已經(jīng)成為了人們生活中重要部分，人們對(duì)通信業(yè)務(wù)的需求越來(lái)越高，除了打電話、看電視外，還希望能有高速上網(wǎng)、家庭購(gòu)物、家庭銀行、遠(yuǎn)程教學(xué)、VOD(Video On Demand，視頻點(diǎn)播)以及HDTV(High Definit1n Televis1n，高清晰度電視)等高級(jí)業(yè)務(wù)的體驗(yàn)。以EPON(Ethernet Passive Optical Network，以太網(wǎng)無(wú)源光網(wǎng)絡(luò))和 GPON(Gigabit-Capable Passive Optical Network，吉比特?zé)o源光網(wǎng)絡(luò))為代表光纖接入技術(shù)，具有傳輸容量大，傳輸距離遠(yuǎn)，高帶寬，可擴(kuò)展性強(qiáng)，運(yùn)營(yíng)維護(hù)簡(jiǎn)單的特點(diǎn)，因此被許多運(yùn)營(yíng)商作為主流接入技術(shù)用以滿足用戶需求。然而，隨著接入網(wǎng)用戶規(guī)模的不斷擴(kuò)大，網(wǎng)絡(luò)的運(yùn)維管理也變得越來(lái)越復(fù)雜。網(wǎng)絡(luò)在迅猛發(fā)展同時(shí)所產(chǎn)出的數(shù)據(jù)越來(lái)越大，如何對(duì)這些大批量的數(shù)據(jù)進(jìn)行采集和存儲(chǔ)，從而進(jìn)一步進(jìn)行用戶業(yè)務(wù)的分析也變得更重要。
[0003]目前，獲得流量數(shù)據(jù)是采用以下方法實(shí)現(xiàn):通過(guò)性能采集功能，對(duì)指定的局端或遠(yuǎn)端設(shè)備進(jìn)行數(shù)據(jù)采集并對(duì)采集數(shù)據(jù)進(jìn)行分析。此方法需要通過(guò)性能分類開(kāi)關(guān)指定需要進(jìn)行數(shù)據(jù)采集的對(duì)象，采集對(duì)象的個(gè)數(shù)受設(shè)備存儲(chǔ)、大量采集數(shù)據(jù)的傳輸?shù)葪l件的限制，無(wú)法做到對(duì)全網(wǎng)流量的采集，只能對(duì)有限數(shù)量的指定設(shè)備進(jìn)行采集；另外，由于只能對(duì)有限對(duì)象進(jìn)行數(shù)據(jù)采集，因此在設(shè)備出故障需要回溯數(shù)據(jù)時(shí)，往往因?yàn)闆](méi)有對(duì)其預(yù)先進(jìn)行數(shù)據(jù)采集而導(dǎo)致無(wú)法得到需要的數(shù)據(jù)。

【發(fā)明內(nèi)容】

[0004]針對(duì)現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集裝置及其方法，本發(fā)明支持大數(shù)據(jù)量的傳輸，有效降低板卡間傳輸壓力，可采集全網(wǎng)的數(shù)據(jù)流量。
[0005]為達(dá)到以上目的，本發(fā)明采取的技術(shù)方案是:一種無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集裝置，包括參數(shù)配置單元，配置數(shù)據(jù)采集的參數(shù)；定時(shí)器單元，根據(jù)采集間隔，周期性地發(fā)出定時(shí)消息，啟動(dòng)定時(shí)數(shù)據(jù)采集功能；數(shù)據(jù)存儲(chǔ)單元，對(duì)接收的數(shù)據(jù)進(jìn)行合包和解壓縮，經(jīng)過(guò)解析后存儲(chǔ)數(shù)據(jù)；所述數(shù)據(jù)存儲(chǔ)單元中設(shè)有數(shù)據(jù)存儲(chǔ)空間，用于緩存待上傳的數(shù)據(jù)；數(shù)據(jù)采集單元，采集各采集間隔內(nèi)的數(shù)據(jù)，針對(duì)數(shù)據(jù)進(jìn)行壓縮和分包，主動(dòng)上報(bào)給數(shù)據(jù)存儲(chǔ)單元；數(shù)據(jù)上傳單元，將數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的數(shù)據(jù)進(jìn)行組包，然后通過(guò)FTP協(xié)議上傳到外設(shè)的數(shù)據(jù)服務(wù)器中。
[0006]在上述技術(shù)方案的基礎(chǔ)上，所述配置數(shù)據(jù)采集的參數(shù)包括根據(jù)不同的流量參數(shù)設(shè)置不同的采集間隔，配置數(shù)據(jù)上傳到數(shù)據(jù)服務(wù)器需要的FTP地址、用戶名及密碼。
[0007]本發(fā)明還提供一種基于上述裝置的無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法，包括以下步驟:步驟S1.通過(guò)參數(shù)配置單元配置數(shù)據(jù)采集的參數(shù)；步驟S2.定時(shí)器單元根據(jù)采集間隔，周期性地向數(shù)據(jù)采集單元發(fā)出定時(shí)消息；步驟S3.數(shù)據(jù)采集單元收到定時(shí)消息后，采集該采集間隔內(nèi)的數(shù)據(jù)，針對(duì)數(shù)據(jù)進(jìn)行壓縮和分包，主動(dòng)上報(bào)給數(shù)據(jù)存儲(chǔ)單元；步驟S4.數(shù)據(jù)存儲(chǔ)單元對(duì)接收到的數(shù)據(jù)進(jìn)行合包和解壓縮，經(jīng)過(guò)解析后存儲(chǔ)數(shù)據(jù)；步驟S5.數(shù)據(jù)上傳單元收到外部定時(shí)發(fā)送的上傳命令后，將數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的數(shù)據(jù)進(jìn)行組包，然后通過(guò)FTP協(xié)議上傳到外設(shè)的數(shù)據(jù)服務(wù)器中。
[0008]在上述技術(shù)方案的基礎(chǔ)上，步驟SI具體包括以下步驟:步驟S101.配置數(shù)據(jù)上傳單元需要上傳的FTP服務(wù)器相關(guān)信息，包括IP地址、用戶名、密碼；步驟S102.配置數(shù)據(jù)采集單元，設(shè)置采集間隔及性能類型，支持根據(jù)性能類型的不同，配置不同的采集間隔；至少開(kāi)啟一種性能類型的采集；步驟S103.配置成功后，啟動(dòng)定時(shí)器單元，周期性的采集數(shù)據(jù)，同時(shí)數(shù)據(jù)上傳單元接收外部定時(shí)發(fā)送的上傳命令。
[0009]在上述技術(shù)方案的基礎(chǔ)上，步驟S102中，所述采集間隔包括流量采集間隔、測(cè)距值采集間隔和光模塊參數(shù)信息采集間隔。
[0010]在上述技術(shù)方案的基礎(chǔ)上，所述流量采集間隔和光模塊參數(shù)信息采集間隔設(shè)定為15分鐘，測(cè)距值采集間隔設(shè)定為24小時(shí)。
[0011]在上述技術(shù)方案的基礎(chǔ)上，步驟S3具體包括以下步驟:步驟S301.數(shù)據(jù)采集單元按順序采集一個(gè)對(duì)象端口的性能項(xiàng)寄存器數(shù)值；步驟S302.判斷該性能項(xiàng)是否為累加計(jì)數(shù)性能類型，并且已經(jīng)反轉(zhuǎn)，若是，且已反轉(zhuǎn)，跳轉(zhuǎn)至步驟S303 ;否則，跳轉(zhuǎn)至步驟S304;步驟S303.與前一次記錄的數(shù)據(jù)對(duì)比，進(jìn)行防反轉(zhuǎn)處理；步驟S304.按主從通信協(xié)議進(jìn)行組包；步驟S305.判斷是否已經(jīng)完成本輪數(shù)據(jù)采集，若是，則跳轉(zhuǎn)至步驟S306 ;若否，跳轉(zhuǎn)至步驟S301 ;步驟S306.判斷組包后的數(shù)據(jù)包大小是否已經(jīng)達(dá)到最大允許，若是，則跳轉(zhuǎn)至步驟S307 ;若否，跳轉(zhuǎn)至步驟S301 ;步驟S307.將數(shù)據(jù)包進(jìn)行壓縮和分包，然后通過(guò)TCP/IP協(xié)議向數(shù)據(jù)存儲(chǔ)單元發(fā)包；步驟S308.判斷是否已經(jīng)完成本輪數(shù)據(jù)采集，若是，則結(jié)束本輪數(shù)據(jù)采集；若否，跳轉(zhuǎn)至步驟S301。
[0012]在上述技術(shù)方案的基礎(chǔ)上，步驟S3中，數(shù)據(jù)進(jìn)行壓縮和分包包括以下步驟:步驟S311.檢驗(yàn)數(shù)據(jù)包長(zhǎng)度；步驟S312.判斷數(shù)據(jù)包長(zhǎng)度是否超過(guò)單個(gè)非壓縮包最大長(zhǎng)度，若是，跳轉(zhuǎn)至步驟S313 ;若否，跳轉(zhuǎn)至步驟S316 ;步驟S313.壓縮數(shù)據(jù)；步驟S314.判斷壓縮數(shù)據(jù)后數(shù)據(jù)包長(zhǎng)度是否超過(guò)單個(gè)發(fā)包最大長(zhǎng)度，若是，跳轉(zhuǎn)至步驟S315 ;若否，跳轉(zhuǎn)至步驟S316 ;步驟S315.分包處理；步驟S316.發(fā)包處理；步驟S317.判斷本次數(shù)據(jù)是否發(fā)送完成，若是，則結(jié)束本次數(shù)據(jù)發(fā)送；若否，跳轉(zhuǎn)至步驟S316。
[0013]在上述技術(shù)方案的基礎(chǔ)上，步驟S5具體包括以下步驟:步驟S501.數(shù)據(jù)上傳單元收到外部定時(shí)發(fā)送的上傳命令后，解析相關(guān)信息，確定需要上傳文件的對(duì)象和相關(guān)內(nèi)容；步驟S502.查看數(shù)據(jù)存儲(chǔ)空間是否被占用，若是，則退出；若否，跳轉(zhuǎn)至步驟S503 ;步驟S503.鎖定數(shù)據(jù)存儲(chǔ)空間，從數(shù)據(jù)存儲(chǔ)單元中讀取需要的數(shù)據(jù)，并以文件的形式緩存到數(shù)據(jù)存儲(chǔ)空間中；步驟S504.判斷所讀取的全部數(shù)據(jù)是否大于系統(tǒng)設(shè)定的最大文件大小，若是，跳轉(zhuǎn)至步驟S505 ;若否，跳轉(zhuǎn)至步驟S507 ;步驟S505.對(duì)全部數(shù)據(jù)進(jìn)行分批次處理，在每一批次數(shù)據(jù)達(dá)到系統(tǒng)設(shè)定的最大文件大小時(shí)，記錄當(dāng)前獲取的具體對(duì)象的地址，將該批次獲取的數(shù)據(jù)通過(guò)FTP協(xié)議上傳；步驟S506.上傳成功后再次從當(dāng)前記錄的地址開(kāi)始繼續(xù)處理下一批次數(shù)據(jù)，直到數(shù)據(jù)獲取完成，將數(shù)據(jù)通過(guò)FTP協(xié)議上傳，上傳完畢后退出；步驟S507.將緩存的數(shù)據(jù)通過(guò)FTP協(xié)議上傳，上傳完畢后退出。
[0014]在上述技術(shù)方案的基礎(chǔ)上，步驟S503中，從配置存儲(chǔ)單元讀取的數(shù)據(jù)為原始數(shù)據(jù)，對(duì)該原始數(shù)據(jù)進(jìn)行篩選、計(jì)算后，以文件的形式緩存到數(shù)據(jù)存儲(chǔ)空間中。
[0015]本發(fā)明的有益效果在于:
[0016]1、本發(fā)明支持大數(shù)據(jù)量的傳輸，對(duì)于大數(shù)據(jù)量，采用壓縮分包的形式，有效降低板卡間傳輸壓力，可采集全網(wǎng)的數(shù)據(jù)流量。
[0017]2、本發(fā)明采用分布式管理方法，不是將數(shù)據(jù)存儲(chǔ)于單一位置，而是通過(guò)上傳的方式將數(shù)據(jù)存儲(chǔ)到服務(wù)器上，且文件過(guò)大時(shí)可以進(jìn)行分批上傳，用FTP(File TransferProtoco，文件傳輸協(xié)議)協(xié)議代替了 SNMP(Simple Network Management Protocol，簡(jiǎn)單網(wǎng)絡(luò)管理協(xié)議)協(xié)議，因此數(shù)據(jù)傳輸更可靠。
[0018]3、本發(fā)明針對(duì)采集到的原始數(shù)據(jù)，可根據(jù)獲取流量進(jìn)一步加工成速率，帶寬利用率等性能信息。
[0019]4、本發(fā)明僅需后臺(tái)常駐任務(wù)進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)上傳，避免在網(wǎng)管和設(shè)備上開(kāi)啟多個(gè)任務(wù)采集數(shù)據(jù)，節(jié)省了資源。
[0020]5、本發(fā)明的數(shù)據(jù)存儲(chǔ)單元僅存儲(chǔ)一段時(shí)間內(nèi)的數(shù)據(jù)流量，數(shù)據(jù)上傳后，存儲(chǔ)空間可再次利用，節(jié)省了空間。
[0021]6、本發(fā)明可根據(jù)不同的流量參數(shù)設(shè)置不同的采集間隔，靈活性強(qiáng)。
[0022]7、本發(fā)明能夠在不添加新的任務(wù)情況下擴(kuò)展全網(wǎng)流量數(shù)據(jù)、光模塊參數(shù)信息、ONU (Optical Network Unit，光網(wǎng)絡(luò)單元)測(cè)距值等，可擴(kuò)展性強(qiáng)。
【附圖說(shuō)明】
[0023]圖1為本發(fā)明實(shí)施例中無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集裝置的示意圖；
[0024]圖2為本發(fā)明實(shí)施例中無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法的流程圖；
[0025]圖3為本發(fā)明實(shí)施例中無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法中配置數(shù)據(jù)采集參數(shù)的流程圖；
[0026]圖4為本發(fā)明實(shí)施例中無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法中數(shù)據(jù)采集單元的處理流程圖；
[0027]圖5為本發(fā)明實(shí)施例中無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法中數(shù)據(jù)進(jìn)行壓縮和分包的流程圖；
[0028]圖6為本發(fā)明實(shí)施例中無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法中數(shù)據(jù)上傳單元的處理流程圖。
【具體實(shí)施方式】
[0029]以下結(jié)合附圖及實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。
[0030]參見(jiàn)圖1所示，一種無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集裝置，包括參數(shù)配置單元，配置數(shù)據(jù)采集的參數(shù)，所述配置數(shù)據(jù)采集的參數(shù)包括根據(jù)不同的流量參數(shù)設(shè)置不同的采集間隔，配置數(shù)據(jù)上傳到數(shù)據(jù)服務(wù)器需要的FTP地址、用戶名及密碼。定時(shí)器單元，根據(jù)采集間隔，周期性地發(fā)出定時(shí)消息，啟動(dòng)定時(shí)數(shù)據(jù)采集功能；數(shù)據(jù)存儲(chǔ)單元，數(shù)據(jù)存儲(chǔ)單元對(duì)接收的數(shù)據(jù)進(jìn)行合包和解壓縮，經(jīng)過(guò)解析后存儲(chǔ)數(shù)據(jù)；所述數(shù)據(jù)存儲(chǔ)單元中設(shè)有數(shù)據(jù)存儲(chǔ)空間，用于緩存待上傳的數(shù)據(jù)；數(shù)據(jù)采集單元，采集各采集間隔內(nèi)的數(shù)據(jù)，針對(duì)大批量數(shù)據(jù)進(jìn)行壓縮和分包，主動(dòng)上報(bào)給數(shù)據(jù)存儲(chǔ)單元；數(shù)據(jù)上傳單元，將數(shù)據(jù)存儲(chǔ)單元中的數(shù)據(jù)進(jìn)行組包，然后通過(guò)FTP協(xié)議上傳到外設(shè)的數(shù)據(jù)服務(wù)器中。
[0031]參見(jiàn)圖2所示，基于上述裝置的無(wú)源光網(wǎng)絡(luò)流量全網(wǎng)采集方法，包括以下步驟:
[0032]步驟S1.通過(guò)參數(shù)配置單元配置數(shù)據(jù)采集參數(shù)。
[0033]步驟S2.定時(shí)器單元根據(jù)采集間隔，周期性地向數(shù)據(jù)采集單元發(fā)出定時(shí)消息。
[0034]步驟S3.數(shù)據(jù)采集單元收到定時(shí)消息后，采集該采集間隔內(nèi)的數(shù)據(jù)，針對(duì)大批量數(shù)據(jù)進(jìn)行壓縮和分包，主動(dòng)上報(bào)給數(shù)據(jù)存儲(chǔ)單元。
[0035]步驟S4.數(shù)據(jù)存儲(chǔ)單元對(duì)接收到的數(shù)據(jù)進(jìn)行合包和解壓縮，經(jīng)過(guò)解析后存儲(chǔ)數(shù)據(jù)。
[0036]步驟S5.數(shù)據(jù)上傳單元收到外部定時(shí)發(fā)送的上傳命令后，將數(shù)據(jù)存儲(chǔ)單元中的存儲(chǔ)數(shù)據(jù)進(jìn)行組包，然后通過(guò)FTP協(xié)議上傳到外設(shè)的數(shù)據(jù)服務(wù)器中。所述外部定時(shí)發(fā)送的上傳命令既能夠由外設(shè)的數(shù)據(jù)服務(wù)器發(fā)送，也能夠由單獨(dú)設(shè)置的管理服務(wù)器發(fā)送；且數(shù)據(jù)服務(wù)器或者管理服務(wù)器中設(shè)置有定時(shí)器，數(shù)據(jù)服務(wù)器或者管理服務(wù)器通過(guò)該定時(shí)器定