Isp間互聯(lián)口超過閾值流量監(jiān)控系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種ISP間互聯(lián)口流量監(jiān)控系統(tǒng)和方法，該系統(tǒng)包括：分流設(shè)備，將鏡像數(shù)據(jù)流分成多份發(fā)送給數(shù)據(jù)采集服務(wù)器組中相應(yīng)的數(shù)據(jù)采集服務(wù)器；數(shù)據(jù)采集服務(wù)器組，用于數(shù)據(jù)采集并將生成的采集數(shù)據(jù)文件發(fā)送至通訊交換機(jī)；采集數(shù)據(jù)存儲(chǔ)服務(wù)器，對(duì)采集數(shù)據(jù)文件進(jìn)行匯總和存儲(chǔ)，并將合并采集數(shù)據(jù)文件發(fā)送給數(shù)據(jù)處理服務(wù)器；數(shù)據(jù)處理服務(wù)器，對(duì)合并采集數(shù)據(jù)文件進(jìn)行處理和/或管理并發(fā)送給通訊交換機(jī)和數(shù)據(jù)存儲(chǔ)服務(wù)器；數(shù)據(jù)存儲(chǔ)服務(wù)器，存儲(chǔ)數(shù)據(jù)處理服務(wù)器處理和/或管理后得到的采集數(shù)據(jù)；web服務(wù)器，向用戶展示流量監(jiān)控信息；通訊交換機(jī)，提供各服務(wù)器間及和外部網(wǎng)絡(luò)的通信通道。本發(fā)明可以進(jìn)行長(zhǎng)期流量監(jiān)控，并可實(shí)現(xiàn)多種流量管理功能。
【專利說明】ISP間互聯(lián)口超過閾值流量監(jiān)控系統(tǒng)及方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及網(wǎng)絡(luò)流量監(jiān)控及流量管理【技術(shù)領(lǐng)域】，更具體地，涉及一種大型ISP間互聯(lián)口超過閾值流量監(jiān)控系統(tǒng)及方法。
【背景技術(shù)】
[0002]近年來，peer-to-peer (P2P)應(yīng)用發(fā)展非常迅速，以P2P為基礎(chǔ)的文件共享、即時(shí)通訊和網(wǎng)絡(luò)視頻直播等應(yīng)用越來越多，其流量占據(jù)了超過一半的網(wǎng)絡(luò)流量，并且目前還在持續(xù)的增長(zhǎng)。P2P流量對(duì)于企業(yè)網(wǎng)絡(luò)以及運(yùn)營(yíng)商來說都有著重要的影響，巨大的流量可能會(huì)導(dǎo)致網(wǎng)絡(luò)擁堵概率增加，此外也可能給企業(yè)網(wǎng)絡(luò)帶來安全相關(guān)的問題，尤其是運(yùn)營(yíng)商之間的互聯(lián)口，因?yàn)閹捰邢蓿?dāng)P2P流占據(jù)大量帶寬時(shí)，勢(shì)必造成互聯(lián)口網(wǎng)絡(luò)擁堵，用戶跨網(wǎng)訪問資源會(huì)變得異常緩慢。為了管理P2P流量，優(yōu)化網(wǎng)絡(luò)性能，首先需要對(duì)P2P流量進(jìn)行長(zhǎng)期的監(jiān)控。

【發(fā)明內(nèi)容】

[0003]為此，本發(fā)明提出了一種大型ISP間互聯(lián)口超過閾值流量監(jiān)控系統(tǒng)及方法。
[0004]根據(jù)本發(fā)明的一方面，提出了一種ISP間互聯(lián)口流量監(jiān)控系統(tǒng)，該系統(tǒng)包括:分流設(shè)備，數(shù)據(jù)采集服務(wù)器組，采集數(shù)據(jù)存儲(chǔ)服務(wù)器，數(shù)據(jù)處理服務(wù)器，數(shù)據(jù)存儲(chǔ)服務(wù)器，web服務(wù)器和通訊交換機(jī)，其中:
[0005]所述分流設(shè)備用于將從外部網(wǎng)絡(luò)所接收到的鏡像數(shù)據(jù)流根據(jù)所述數(shù)據(jù)采集服務(wù)器組中不同數(shù)據(jù)采集服務(wù)器的實(shí)際性能分成多份，并發(fā)送給所述數(shù)據(jù)采集服務(wù)器組中相應(yīng)的數(shù)據(jù)采集服務(wù)器；
[0006]所述數(shù)據(jù)采集服務(wù)器組包括多個(gè)數(shù)據(jù)采集服務(wù)器，所述數(shù)據(jù)采集服務(wù)器用于進(jìn)行數(shù)據(jù)采集，并將生成的采集數(shù)據(jù)文件發(fā)送至所述通訊交換機(jī)上；
[0007]所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器用于對(duì)同一時(shí)間不同數(shù)據(jù)采集服務(wù)器產(chǎn)生的采集數(shù)據(jù)文件根據(jù)采集時(shí)間進(jìn)行匯總和存儲(chǔ)，并將匯總后得到的合并采集數(shù)據(jù)文件發(fā)送給所述數(shù)據(jù)處理服務(wù)器；
[0008]所述數(shù)據(jù)處理服務(wù)器用于對(duì)所述合并采集數(shù)據(jù)文件進(jìn)行處理和/或管理，并將經(jīng)處理和/或管理后得到的采集數(shù)據(jù)發(fā)送給所述通訊交換機(jī)和所述數(shù)據(jù)存儲(chǔ)服務(wù)器；
[0009]所述數(shù)據(jù)存儲(chǔ)服務(wù)器和web服務(wù)器為數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)設(shè)備，所述數(shù)據(jù)存儲(chǔ)服務(wù)器用于存儲(chǔ)所述數(shù)據(jù)處理服務(wù)器處理和/或管理后得到的采集數(shù)據(jù)，所述web服務(wù)器用于向用戶展示流量監(jiān)控信息；
[0010]所述通訊交換機(jī)用于提供系統(tǒng)內(nèi)各服務(wù)器間及和外部網(wǎng)絡(luò)的通信通道。
[0011]根據(jù)本發(fā)明的另一方面，提出了一種ISP間互聯(lián)口流量監(jiān)控方法，該方法包括以下步驟:
[0012]步驟SI，分流設(shè)備將從外部網(wǎng)絡(luò)所接收到的鏡像數(shù)據(jù)流根據(jù)多個(gè)數(shù)據(jù)采集服務(wù)器的實(shí)際性能分成多份，并分配給相應(yīng)的數(shù)據(jù)采集服務(wù)器；[0013]步驟S2，所述數(shù)據(jù)采集服務(wù)器對(duì)于接收到的鏡像數(shù)據(jù)流按照一定的采集頻率進(jìn)行數(shù)據(jù)采集，并生成采集數(shù)據(jù)文件發(fā)送給采集數(shù)據(jù)存儲(chǔ)服務(wù)器；
[0014]步驟S3，所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器將來自不同數(shù)據(jù)采集服務(wù)器的采集數(shù)據(jù)文件，以采集時(shí)間為順序進(jìn)行合并產(chǎn)生合并采集數(shù)據(jù)文件S2file ；
[0015]步驟S4，數(shù)據(jù)處理服務(wù)器對(duì)所述合并采集數(shù)據(jù)文件進(jìn)行過濾處理，然后將過濾后的數(shù)據(jù)寫入過濾數(shù)據(jù)文件中；
[0016]步驟S5，所述數(shù)據(jù)處理服務(wù)器對(duì)于所述過濾數(shù)據(jù)文件進(jìn)行處理，即通過排序和篩選操作，獲取每對(duì)ip地址的當(dāng)日流量最大值即流量日峰值，根據(jù)ip地址訪問方向區(qū)分正反向記錄，并將所述流量日峰值寫入峰值文件中；
[0017]步驟S6，數(shù)據(jù)處理服務(wù)器獲取各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)流量，即所述數(shù)據(jù)處理服務(wù)器根據(jù)白名單信息，在所述合并采集數(shù)據(jù)文件中查找所述白名單中的每條記錄在各個(gè)時(shí)間點(diǎn)的數(shù)據(jù)詳細(xì)信息，并將獲得的數(shù)據(jù)寫入采集頻率點(diǎn)數(shù)據(jù)文件；
[0018]步驟S7，數(shù)據(jù)存儲(chǔ)服務(wù)器將所述峰值文件和采集頻率點(diǎn)數(shù)據(jù)文件中的數(shù)據(jù)存入其數(shù)據(jù)庫。
[0019]本發(fā)明可以統(tǒng)計(jì)監(jiān)控長(zhǎng)期(比如十年內(nèi))每對(duì)ip流量的變化，并可以實(shí)現(xiàn)閾值智能
變化、白名單自動(dòng)管理等多種流量管理功能。
【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明提出的大型ISP間互聯(lián)口超過閾值流量監(jiān)控系統(tǒng)的結(jié)構(gòu)示意圖；
[0021]圖2為本發(fā)明提出的大型ISP間互聯(lián)口超過閾值流量監(jiān)控方法的流程圖。
【具體實(shí)施方式】
[0022]為了清楚詳細(xì)的闡述本發(fā)明的實(shí)現(xiàn)過程，下面給出了一些本發(fā)明的具體實(shí)施例。參照附圖對(duì)本發(fā)明的實(shí)例進(jìn)行詳細(xì)說明，在描述過程中省略了對(duì)于本發(fā)明來說是不必要的細(xì)節(jié)和功能以防止對(duì)本發(fā)明的理解造成混淆。
[0023]圖1是本發(fā)明提出的大型ISP間互聯(lián)口超過閾值流量監(jiān)控系統(tǒng)的結(jié)構(gòu)示意圖，如圖1所示，所述系統(tǒng)包括:分流設(shè)備，數(shù)據(jù)采集服務(wù)器組，采集數(shù)據(jù)存儲(chǔ)服務(wù)器，數(shù)據(jù)處理服務(wù)器，數(shù)據(jù)存儲(chǔ)服務(wù)器，Web服務(wù)器和通訊交換機(jī)，其中:
[0024]所述分流設(shè)備用于將從外部網(wǎng)絡(luò)所接收到的鏡像數(shù)據(jù)流根據(jù)所述數(shù)據(jù)采集服務(wù)器組中不同數(shù)據(jù)采集服務(wù)器的實(shí)際性能分成多份，并發(fā)送給所述數(shù)據(jù)采集服務(wù)器組中相應(yīng)的數(shù)據(jù)采集服務(wù)器；
[0025]在本發(fā)明一實(shí)施例中，所述分流設(shè)備根據(jù)所述鏡像數(shù)據(jù)流的源ip地址和目的ip地址，并按照一預(yù)定的分配原則進(jìn)行數(shù)據(jù)分配，所述分配原則比如是數(shù)據(jù)采集服務(wù)器能夠正常接收分流數(shù)據(jù)，且能夠處理所有接收的數(shù)據(jù)，并可根據(jù)某一數(shù)據(jù)采集服務(wù)器是否會(huì)出現(xiàn)丟包來判斷該數(shù)據(jù)采集服務(wù)器是否具備上述能力。
[0026]所述數(shù)據(jù)采集服務(wù)器組包括多個(gè)數(shù)據(jù)采集服務(wù)器，所述數(shù)據(jù)采集服務(wù)器用于進(jìn)行數(shù)據(jù)采集，并將生成的采集數(shù)據(jù)文件發(fā)送至所述通訊交換機(jī)上；其中，每個(gè)數(shù)據(jù)采集服務(wù)器都具有至少兩個(gè)網(wǎng)卡，如ethO和ethl，其中一個(gè)網(wǎng)卡比如ethl為所述數(shù)據(jù)采集服務(wù)器的分流數(shù)據(jù)輸入端口，用于與所述分流設(shè)備連接，以接收單份鏡像數(shù)據(jù)流，并按照一定的采集頻率進(jìn)行數(shù)據(jù)采集，生成采集數(shù)據(jù)文件；另一個(gè)網(wǎng)卡比如ethO為所述數(shù)據(jù)采集服務(wù)器的通訊端口，用于與所述通訊交換機(jī)連接，將生成的采集數(shù)據(jù)文件發(fā)送至所述通訊交換機(jī)上；
[0027]其中，所述數(shù)據(jù)采集具體為采集ip數(shù)據(jù)報(bào)文，并解析其包含的ip地址，端口號(hào)，協(xié)議類型和/或流量大小等信息，采集得到的數(shù)據(jù)以ip地址對(duì)為關(guān)鍵字，且有方向性，比如ipl到ip2的記錄為上行數(shù)據(jù)，ip2到ipl為下行數(shù)據(jù)；數(shù)據(jù)采集頻率為產(chǎn)生采集數(shù)據(jù)文件的時(shí)間間隔，可根據(jù)實(shí)際情況進(jìn)行配置，比如若設(shè)定采集頻率為五分鐘，則數(shù)據(jù)采集服務(wù)器每五分鐘就會(huì)產(chǎn)生一個(gè)采集數(shù)據(jù)文件，該文件的文件名以此次采集的開始時(shí)間命名。
[0028]所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器為采集數(shù)據(jù)臨時(shí)存儲(chǔ)服務(wù)器，其用于對(duì)同一時(shí)間不同數(shù)據(jù)采集服務(wù)器產(chǎn)生的采集數(shù)據(jù)文件根據(jù)采集時(shí)間進(jìn)行匯總和存儲(chǔ)，并將匯總后得到的合并采集數(shù)據(jù)文件發(fā)送給所述數(shù)據(jù)處理服務(wù)器，其中，所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器中采集數(shù)據(jù)的存儲(chǔ)時(shí)間可根據(jù)需要進(jìn)行配置，通常默認(rèn)設(shè)為一周的時(shí)間；
[0029]所述數(shù)據(jù)處理服務(wù)器用于對(duì)所述合并采集數(shù)據(jù)文件進(jìn)行處理和/或管理，所述處理和/或管理具體包括數(shù)據(jù)流量過濾，閾值智能調(diào)控，白名單自動(dòng)管理和/或各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)和峰值數(shù)據(jù)獲取等，所述數(shù)據(jù)處理服務(wù)器只有一個(gè)網(wǎng)卡，所述網(wǎng)卡與所述通訊交換機(jī)連接，用于將經(jīng)處理和/或管理后得到的采集數(shù)據(jù)發(fā)送給所述通訊交換機(jī)和所述數(shù)據(jù)存儲(chǔ)服務(wù)器。
[0030]其中，所述數(shù)據(jù)流量過濾具體為對(duì)采集得到的數(shù)據(jù)進(jìn)行一次匯聚和過濾處理:首先，根據(jù)時(shí)間把數(shù)據(jù)采集服務(wù)器組采集得到的數(shù)據(jù)匯聚到一起，在本發(fā)明一實(shí)施例中，以ip地址對(duì)為關(guān)鍵字，根據(jù)方向進(jìn)行數(shù)據(jù)匯聚；然后，對(duì)于匯聚后的數(shù)據(jù)進(jìn)行過濾，在本發(fā)明一實(shí)施例中，依據(jù)兩個(gè)策略進(jìn)行數(shù)據(jù)過濾:白名單記錄和任何一個(gè)方向的數(shù)據(jù)流量超過閾值，以過濾掉不在白名單中或流量低的數(shù)據(jù)，滿足以上兩個(gè)條件中一個(gè)的數(shù)據(jù)以原格式進(jìn)行轉(zhuǎn)存，且數(shù)據(jù)方向與白名單中的數(shù)據(jù)方向保持一致，此處所述數(shù)據(jù)方向與上文提及的數(shù)據(jù)方向性的意義相同。其中，所述白名單存儲(chǔ)有不需要過濾的ip地址表；所述閾值根據(jù)所述數(shù)據(jù)存儲(chǔ)服務(wù)器和Web服務(wù)器的實(shí)際存儲(chǔ)空間和存儲(chǔ)時(shí)間進(jìn)行設(shè)定，或者系統(tǒng)自動(dòng)設(shè)定。
[0031]所述閾值智能調(diào)控具體為根據(jù)近期數(shù)據(jù)流量的變化對(duì)于所述數(shù)據(jù)流量過濾所使用的閾值進(jìn)行智能調(diào)節(jié)。每增加一條數(shù)據(jù)記錄，需要存儲(chǔ)的數(shù)據(jù)就會(huì)增加，在保存長(zhǎng)期數(shù)據(jù)的情況下，每增加一條數(shù)據(jù)記錄所帶來的數(shù)據(jù)存儲(chǔ)也是海量的，因此在存儲(chǔ)空間有限的情況下，需要設(shè)置一個(gè)閾值來控制每段時(shí)間新增加數(shù)據(jù)記錄的數(shù)量。所述閾值的設(shè)定支持人工和自動(dòng)兩種，在人工調(diào)控模式下，系統(tǒng)會(huì)根據(jù)人工設(shè)定的閾值進(jìn)行運(yùn)行，在自動(dòng)調(diào)控模式下，系統(tǒng)會(huì)根據(jù)實(shí)際流量的情況進(jìn)行自動(dòng)設(shè)定。
[0032]所述白名單自動(dòng)管理具體為自動(dòng)添加和/或刪除所述白名單中的內(nèi)容，其中，添加具體為，在數(shù)據(jù)流量過濾的過程中，當(dāng)有新的ip地址對(duì)的流量超過閾值的時(shí)候，把此條數(shù)據(jù)記錄當(dāng)作新的數(shù)據(jù)記錄加入白名單；刪除具體為，在記錄相關(guān)數(shù)據(jù)流量最后一次超過閾值的時(shí)間到當(dāng)前的時(shí)間之間的差值超過系統(tǒng)設(shè)定的存儲(chǔ)時(shí)間時(shí)，自動(dòng)刪除該白名單。
[0033]所述各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)和峰值數(shù)據(jù)獲取具體為獲取通過所述數(shù)據(jù)流量過濾的、在各個(gè)采集時(shí)間點(diǎn)的數(shù)據(jù)以及當(dāng)天的峰值，其中各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)的獲取具體為，系統(tǒng)根據(jù)所述白名單的記錄，通過所述數(shù)據(jù)流量過濾的數(shù)據(jù)中進(jìn)行檢索，查找與所述記錄相匹配的數(shù)據(jù)的相關(guān)信息，并且檢索結(jié)果與白名單記錄的數(shù)據(jù)方向保持一致；峰值數(shù)據(jù)的獲取具體為，系統(tǒng)根據(jù)數(shù)據(jù)流量過濾后的結(jié)果，通過排序和匯聚，查找出各數(shù)據(jù)采集服務(wù)器的當(dāng)天數(shù)據(jù)記錄中的最大值。
[0034]所述數(shù)據(jù)存儲(chǔ)服務(wù)器和web服務(wù)器為數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)設(shè)備，所述數(shù)據(jù)存儲(chǔ)服務(wù)器用于存儲(chǔ)所述數(shù)據(jù)處理服務(wù)器處理和/或管理后得到的采集數(shù)據(jù)，所述web服務(wù)器用于向用戶展示流量監(jiān)控信息，具體有ip地址，流量方向，流量大小，流量波動(dòng)圖等。所述數(shù)據(jù)存儲(chǔ)服務(wù)器和web服務(wù)器根據(jù)ip地址對(duì)進(jìn)行關(guān)聯(lián)處理，即根據(jù)ip地址對(duì)對(duì)不同時(shí)間段，不同方向的數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理，并繪制波動(dòng)圖。所述數(shù)據(jù)存儲(chǔ)服務(wù)器中數(shù)據(jù)存儲(chǔ)的時(shí)間很長(zhǎng)，通常默認(rèn)設(shè)為十年的時(shí)間，所以需要較大的存儲(chǔ)空間。
[0035]所述通訊交換機(jī)用于提供系統(tǒng)內(nèi)各服務(wù)器間及和外部網(wǎng)絡(luò)的通信通道，在本發(fā)明一實(shí)施例中，所述通訊交換機(jī)為通訊千兆交換機(jī)。
[0036]在本發(fā)明一實(shí)施例中，所述數(shù)據(jù)采集服務(wù)器、采集數(shù)據(jù)存儲(chǔ)服務(wù)器、數(shù)據(jù)處理服務(wù)器、數(shù)據(jù)存儲(chǔ)服務(wù)器、web服務(wù)器與所述通訊交換機(jī)之間的通訊線路為IG通訊線路。
[0037]圖2為本發(fā)明提出的大型ISP間互聯(lián)口超過閾值流量監(jiān)控方法的流程圖，所述方法主要包括數(shù)據(jù)流量采集，采集數(shù)據(jù)匯聚，數(shù)據(jù)預(yù)處理，流量日峰值獲取，采集頻率點(diǎn)數(shù)據(jù)流量獲取和數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)這幾個(gè)部分，如圖2所示，所述方法包括以下步驟:
[0038]步驟SI，分流設(shè)備將從外部網(wǎng)絡(luò)所接收到的鏡像數(shù)據(jù)流根據(jù)多個(gè)數(shù)據(jù)采集服務(wù)器的實(shí)際性能分成多份，并分配給相應(yīng)的數(shù)據(jù)采集服務(wù)器；
[0039]步驟S2，所述數(shù)據(jù)采集服務(wù)器對(duì)于接收到的鏡像數(shù)據(jù)流按照一定的采集頻率進(jìn)行數(shù)據(jù)采集，并生成采集數(shù)據(jù)文件發(fā)送給采集數(shù)據(jù)存儲(chǔ)服務(wù)器；
[0040]其中，所述采集數(shù)據(jù)具體為采集ip數(shù)據(jù)報(bào)文，并解析其包含的ip地址，端口號(hào)，協(xié)議類型和流量大小等信息；所述采集頻率為產(chǎn)生采集數(shù)據(jù)文件的時(shí)間間隔，比如若設(shè)定采集頻率為五分鐘，則數(shù)據(jù)采集服務(wù)器每五分鐘就會(huì)產(chǎn)生一個(gè)采集數(shù)據(jù)文件，該文件的文件名以此次采集的開始時(shí)間命名，同一時(shí)間不同數(shù)據(jù)采集服務(wù)器產(chǎn)生的數(shù)據(jù)文件直接存儲(chǔ)在采集數(shù)據(jù)存儲(chǔ)服務(wù)器上；
[0041]步驟S3，所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器將來自不同數(shù)據(jù)采集服務(wù)器的采集數(shù)據(jù)文件，以采集時(shí)間為順序進(jìn)行合并產(chǎn)生合并采集數(shù)據(jù)文件S2file ；
[0042]步驟S4，數(shù)據(jù)處理服務(wù)器對(duì)所述合并采集數(shù)據(jù)文件S2file進(jìn)行過濾處理，然后將過濾后的數(shù)據(jù)寫入過濾數(shù)據(jù)文件S3file中；
[0043]所述過濾處理具體為對(duì)數(shù)據(jù)進(jìn)行一次匯聚和過濾處理:首先，根據(jù)時(shí)間把數(shù)據(jù)采集服務(wù)器組采集得到的數(shù)據(jù)匯聚到一起，在本發(fā)明一實(shí)施例中，以ip地址對(duì)為關(guān)鍵字，根據(jù)方向進(jìn)行數(shù)據(jù)匯聚；然后，對(duì)于匯聚后的數(shù)據(jù)進(jìn)行過濾，在本發(fā)明一實(shí)施例中，依據(jù)兩個(gè)策略進(jìn)行數(shù)據(jù)過濾:白名單記錄和任何一個(gè)方向的數(shù)據(jù)流量超過閾值，以過濾掉不在白名單中或流量低的數(shù)據(jù)，滿足以上兩個(gè)條件中一個(gè)的數(shù)據(jù)以原格式進(jìn)行轉(zhuǎn)存，且數(shù)據(jù)方向與白名單中的數(shù)據(jù)方向保持一致，此處所述數(shù)據(jù)方向與上文提及的數(shù)據(jù)方向性的意義相同。其中，所述白名單存儲(chǔ)有不需要過濾的ip地址表；所述閾值根據(jù)所述數(shù)據(jù)存儲(chǔ)服務(wù)器和web服務(wù)器的實(shí)際存儲(chǔ)空間和存儲(chǔ)時(shí)間進(jìn)行設(shè)定，或者系統(tǒng)自動(dòng)設(shè)定；
[0044]步驟S5，所述數(shù)據(jù)處理服務(wù)器對(duì)于所述過濾數(shù)據(jù)文件S3file進(jìn)行處理，即通過排序和篩選操作，獲取每對(duì)ip地址的當(dāng)日流量最大值即流量日峰值，根據(jù)ip地址訪問方向區(qū)分正反向記錄，并將所述流量日峰值寫入峰值文件S4file中；所述正反向是ip地址對(duì)的訪問方向，比如ipl訪問ip2的記錄為正向，則ip2訪問ipl為反向；[0045]步驟S6，數(shù)據(jù)處理服務(wù)器獲取各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)流量，即所述數(shù)據(jù)處理服務(wù)器根據(jù)白名單信息，在所述合并采集數(shù)據(jù)文件S2file中查找所述白名單中的每條記錄在各個(gè)時(shí)間點(diǎn)的數(shù)據(jù)詳細(xì)信息，并將獲得的數(shù)據(jù)寫入采集頻率點(diǎn)數(shù)據(jù)文件S5file ；
[0046]步驟S7，數(shù)據(jù)存儲(chǔ)服務(wù)器將所述峰值文件S4file和采集頻率點(diǎn)數(shù)據(jù)文件S5file中的數(shù)據(jù)存入其數(shù)據(jù)庫，所述數(shù)據(jù)以ip地址對(duì)進(jìn)行關(guān)聯(lián)，所述關(guān)聯(lián)是指將每對(duì)ip地址不同時(shí)間的數(shù)據(jù)關(guān)聯(lián)在一起。
[0047]在所述數(shù)據(jù)存儲(chǔ)服務(wù)器中，所述數(shù)據(jù)將會(huì)被長(zhǎng)期保存，比如至少十年。
[0048]以上各步驟中，各設(shè)備間的數(shù)據(jù)交互都是通過通訊交換機(jī)進(jìn)行通信的，同時(shí)，各設(shè)備與外部網(wǎng)絡(luò)也是通過通訊交換機(jī)進(jìn)行通信的。
[0049]以上所述的具體實(shí)施例，對(duì)本發(fā)明的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說明，所應(yīng)理解的是，以上所述僅為本發(fā)明的具體實(shí)施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種ISP間互聯(lián)口流量監(jiān)控系統(tǒng)，其特征在于，該系統(tǒng)包括:分流設(shè)備，數(shù)據(jù)采集服務(wù)器組，采集數(shù)據(jù)存儲(chǔ)服務(wù)器，數(shù)據(jù)處理服務(wù)器，數(shù)據(jù)存儲(chǔ)服務(wù)器，Web服務(wù)器和通訊交換機(jī)，其中: 所述分流設(shè)備用于將從外部網(wǎng)絡(luò)所接收到的鏡像數(shù)據(jù)流根據(jù)所述數(shù)據(jù)采集服務(wù)器組中不同數(shù)據(jù)采集服務(wù)器的實(shí)際性能分成多份，并發(fā)送給所述數(shù)據(jù)采集服務(wù)器組中相應(yīng)的數(shù)據(jù)采集服務(wù)器； 所述數(shù)據(jù)采集服務(wù)器組包括多個(gè)數(shù)據(jù)采集服務(wù)器，所述數(shù)據(jù)采集服務(wù)器用于進(jìn)行數(shù)據(jù)采集，并將生成的采集數(shù)據(jù)文件發(fā)送至所述通訊交換機(jī)上； 所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器用于對(duì)同一時(shí)間不同數(shù)據(jù)采集服務(wù)器產(chǎn)生的采集數(shù)據(jù)文件根據(jù)采集時(shí)間進(jìn)行匯總和存儲(chǔ)，并將匯總后得到的合并采集數(shù)據(jù)文件發(fā)送給所述數(shù)據(jù)處理服務(wù)器； 所述數(shù)據(jù)處理服務(wù)器用于對(duì)所述合并采集數(shù)據(jù)文件進(jìn)行處理和/或管理，并將經(jīng)處理和/或管理后得到的采集數(shù)據(jù)發(fā)送給所述通訊交換機(jī)和所述數(shù)據(jù)存儲(chǔ)服務(wù)器； 所述數(shù)據(jù)存儲(chǔ)服務(wù)器和web服務(wù)器為數(shù)據(jù)關(guān)聯(lián)存儲(chǔ)設(shè)備，所述數(shù)據(jù)存儲(chǔ)服務(wù)器用于存儲(chǔ)所述數(shù)據(jù)處理服務(wù)器處理和/或管理后得到的采集數(shù)據(jù)，所述web服務(wù)器用于向用戶展示流量監(jiān)控信息； 所述通訊交換機(jī)用于提供系統(tǒng)內(nèi)各服務(wù)器間及和外部網(wǎng)絡(luò)的通信通道。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述分流設(shè)備根據(jù)所述鏡像數(shù)據(jù)流的源ip地址和目的ip地址，并按照一預(yù)定的分配原則進(jìn)行數(shù)據(jù)分配。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述分配原則為數(shù)據(jù)采集服務(wù)器能夠正常接收分流數(shù)據(jù)，且能夠處理·所有接收的數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，每個(gè)數(shù)據(jù)采集服務(wù)器都具有至少兩個(gè)網(wǎng)卡，其中一個(gè)網(wǎng)卡為所述數(shù)據(jù)采集服務(wù)器的分流數(shù)據(jù)輸入端口，用于與所述分流設(shè)備連接，以接收單份鏡像數(shù)據(jù)流，并按照一定的采集頻率進(jìn)行數(shù)據(jù)采集，生成采集數(shù)據(jù)文件；另一個(gè)網(wǎng)卡為所述數(shù)據(jù)采集服務(wù)器的通訊端口，用于與所述通訊交換機(jī)連接，將生成的采集數(shù)據(jù)文件發(fā)送至所述通訊交換機(jī)上。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)采集為采集ip數(shù)據(jù)報(bào)文，并解析其包含的ip地址，端口號(hào)，協(xié)議類型和/或流量大小，采集得到的數(shù)據(jù)以ip地址對(duì)為關(guān)鍵字，且有方向性。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述處理和/或管理包括數(shù)據(jù)流量過濾，閾值智能調(diào)控，白名單自動(dòng)管理和/或各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)和峰值數(shù)據(jù)獲取。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)存儲(chǔ)服務(wù)器和web服務(wù)器根據(jù)ip地址對(duì)進(jìn)行關(guān)聯(lián)處理，即根據(jù)ip地址對(duì)對(duì)不同時(shí)間段，不同方向的數(shù)據(jù)進(jìn)行關(guān)聯(lián)處理，并繪制波動(dòng)圖。
8.—種ISP間互聯(lián)口流量監(jiān)控方法，其特征在于，該方法包括以下步驟: 步驟SI，分流設(shè)備將從外部網(wǎng)絡(luò)所接收到的鏡像數(shù)據(jù)流根據(jù)多個(gè)數(shù)據(jù)采集服務(wù)器的實(shí)際性能分成多份，并分配給相應(yīng)的數(shù)據(jù)采集服務(wù)器； 步驟S2，所述數(shù)據(jù)采集服務(wù)器對(duì)于接收到的鏡像數(shù)據(jù)流按照一定的采集頻率進(jìn)行數(shù)據(jù)采集，并生成采集數(shù)據(jù)文件發(fā)送給采集數(shù)據(jù)存儲(chǔ)服務(wù)器；步驟S3，所述采集數(shù)據(jù)存儲(chǔ)服務(wù)器將來自不同數(shù)據(jù)采集服務(wù)器的采集數(shù)據(jù)文件，以采集時(shí)間為順序進(jìn)行合并產(chǎn)生合并采集數(shù)據(jù)文件S2file ； 步驟S4，數(shù)據(jù)處理服務(wù)器對(duì)所述合并采集數(shù)據(jù)文件進(jìn)行過濾處理，然后將過濾后的數(shù)據(jù)寫入過濾數(shù)據(jù)文件中； 步驟S5，所述數(shù)據(jù)處理服務(wù)器對(duì)于所述過濾數(shù)據(jù)文件進(jìn)行處理，即通過排序和篩選操作，獲取每對(duì)ip地址的當(dāng)日流量最大值即流量日峰值，根據(jù)ip地址訪問方向區(qū)分正反向記錄，并將所述流量日峰值寫入峰值文件中； 步驟S6，數(shù)據(jù)處理服務(wù)器獲取各數(shù)據(jù)采集服務(wù)器數(shù)據(jù)流量，即所述數(shù)據(jù)處理服務(wù)器根據(jù)白名單信息，在所述合并采集數(shù)據(jù)文件中查找所述白名單中的每條記錄在各個(gè)時(shí)間點(diǎn)的數(shù)據(jù)詳細(xì)信息，并將獲得的數(shù)據(jù)寫入采集頻率點(diǎn)數(shù)據(jù)文件； 步驟S7，數(shù)據(jù)存儲(chǔ)服務(wù)器將所述峰值文件和采集頻率點(diǎn)數(shù)據(jù)文件中的數(shù)據(jù)存入其數(shù)據(jù)庫。
【文檔編號(hào)】H04L12/26GK103595577SQ201310533364
【公開日】2014年2月19日 申請(qǐng)日期:2013年10月31日 優(yōu)先權(quán)日:2013年10月31日
【發(fā)明者】黃友俊, 李星, 吳建平, 徐濤, 郝健 申請(qǐng)人:賽爾網(wǎng)絡(luò)有限公司