本發(fā)明涉及互聯(lián)網(wǎng)技術領域，尤其是涉及一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)。

背景技術：

隨著社會的發(fā)展，互聯(lián)網(wǎng)用戶快速增長帶動了互聯(lián)網(wǎng)經(jīng)濟的蓬勃發(fā)展，移動互聯(lián)網(wǎng)、電子商務、網(wǎng)絡視頻、品牌網(wǎng)絡廣告、網(wǎng)上招聘、網(wǎng)絡游戲等在極短的時間得到快速發(fā)展并積累了眾多用戶，成為了人們生活中不可或缺的一部分。

在現(xiàn)有cdn技術中，需要實時監(jiān)控cdn業(yè)務的各項基礎數(shù)據(jù)，包括帶寬、狀態(tài)碼、請求數(shù)、下載速度、分省份運營商詳情等，這樣才能及時分析影響cdn服務質(zhì)量的原因，包括各機房的網(wǎng)絡服務質(zhì)量、cdn配置異常、上線程序bug等因素，并因此作為cdn運維及調(diào)度的依據(jù)。在這個過程中，建設一套監(jiān)控分析系統(tǒng)對上述數(shù)據(jù)進行采集和分析是解決上述問題的關鍵。目前傳統(tǒng)的監(jiān)控方式是采用簡單閥值的方法，其方式是通過預先設置相關的閥值，并通過是否觸發(fā)閥值來判斷是否網(wǎng)絡服務的質(zhì)量是否出現(xiàn)異常；同時根據(jù)業(yè)務的變化對閥值進行適當?shù)恼{(diào)整。傳統(tǒng)的方法在實際過程中存在著一些弊端，主要包括如下幾個方面：

1.閥值的設置主要依靠歷史數(shù)據(jù)和經(jīng)驗進行判斷。

(1)歷史數(shù)據(jù)可作為設置閥值的參考，但在實際環(huán)境中，業(yè)務是經(jīng)常變化的，存在很多不確定性，因此如何及時、準確地挖掘歷史數(shù)據(jù)是設置閥值的關鍵因素。而傳統(tǒng)方法采用人工的方式進行挖掘和分析，在時效性和準確性上將受到很大的影響。

(2)此外運維人員因工作經(jīng)歷、技術能力、教育背景等問題，其經(jīng)驗也不盡相同，因此根據(jù)經(jīng)驗進行閥值的設置受個人主觀因素的影響非常大。

2.工作量巨大。由于cdn業(yè)務眾多(包括頁面加速、下載加速、點播加速、直播加速等業(yè)務)，因此在設置閥值時會遇到需要設置的閥值多，設置業(yè)務量大等問題。

3.靈活度不夠。業(yè)務是隨時變化的，對于網(wǎng)絡質(zhì)量的要求也是隨之發(fā)生變化，因此需要運維人員根據(jù)業(yè)務的需要不斷地進行閥值的調(diào)整，而且調(diào)整的過程完全是人工的。因此傳統(tǒng)的模式在靈活度上存在著很大的缺陷。

滯后性。運維人員接收到報警之后需要進行各類關聯(lián)分析，包括是否是機房問題、源站問題、或者是骨干網(wǎng)問題等。整個分析過程耗時較長，如果未設置合理的收斂規(guī)則，甚至會出現(xiàn)報警轟炸的情況，就有可能影響到幾乎所有業(yè)務的正常運行。

技術實現(xiàn)要素：

本發(fā)明的目的在于提供一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)，以解決上述背景技術中提出的問題和缺陷,形成一個從挖掘規(guī)則閥值到數(shù)據(jù)分析、再到生成結(jié)論標記、最終將結(jié)論標記用于規(guī)則閥值池中的處理閉環(huán)。

為實現(xiàn)上述目的，本發(fā)明提供如下技術方案：

一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)，設有一套策略機、一個聚合分析模塊，形成一個從挖掘規(guī)則閥值到數(shù)據(jù)分析、再到生成結(jié)論標記、最終將結(jié)論標記用于規(guī)則閥值池中的處理閉環(huán)，其監(jiān)控分析步驟如下：

q1:由人工通過數(shù)據(jù)挖掘模塊從歷史業(yè)務數(shù)據(jù)中挖掘出各類規(guī)則閾值，進行人工標記，挖掘出來的規(guī)則閥值都被輸入到策略機；

q2:所有經(jīng)過cdn的實時業(yè)務數(shù)據(jù)都由數(shù)據(jù)輸入模塊輸入到策略機，策略機根據(jù)規(guī)則閥值對數(shù)據(jù)進行處理，判斷業(yè)務數(shù)據(jù)是否滿足規(guī)則閥值，處理完成以后由策略機輸出帶有標簽的數(shù)據(jù)；

q3:帶有標簽的實時數(shù)據(jù)從策略機輸出以后，進入到聚合分析模塊，聚合分析模塊根據(jù)業(yè)務通常的邏輯關系，對帶有標簽的業(yè)務數(shù)據(jù)再次進行分析；

q4：由人工根據(jù)業(yè)務的變化，對閾值進行相應的調(diào)整；

q5：聚合分析模塊對本輪分析結(jié)果進行匯總，并得出最終的結(jié)論標記，結(jié)論標記將會再返回到步驟1中，作為閾值的一部分再輸入到策略機中，最終用于后續(xù)規(guī)則閾值的深挖掘，并由此形成一個正向反饋的循環(huán)。

作為上述技術方案的優(yōu)選，q1步驟中的規(guī)則閥值挖掘的周期根據(jù)需要自行定義，通常設置為一天挖掘一次。

作為上述技術方案的優(yōu)選，q2步驟中輸出的每個標簽具有特定的含義，標明業(yè)務數(shù)據(jù)是否滿足規(guī)則閥值或標明帶寬是突增還是突降。

作為上述技術方案的進一步說明，q3步驟中的聚合分析模塊對帶有標簽的業(yè)務數(shù)據(jù)再次進行分析，具體為，

當帶寬數(shù)、請求數(shù)處于平穩(wěn)狀態(tài)，則意味著業(yè)務量相對平穩(wěn)；

當發(fā)生帶寬上漲、請求數(shù)增加的情況，則意味著業(yè)務量的增加；

當同區(qū)域多業(yè)務異常狀態(tài)碼突然激增，則意味著發(fā)生了區(qū)域性的網(wǎng)絡問題。

本發(fā)明的優(yōu)點：

本發(fā)明實施例提供的一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)，規(guī)則閥值的設置建立在歷史數(shù)據(jù)的基礎之上，并在實際的業(yè)務處理環(huán)節(jié)中不斷循環(huán)優(yōu)化，形成了一種自學習機制，因此本發(fā)明的閥值設置較傳統(tǒng)的模式更科學，更精準；整個處理流程有系統(tǒng)的兩大模塊自動完成，完全免除了人工處理的工作量，因此能大大節(jié)省人力開支；系統(tǒng)根據(jù)一定的周期挖掘規(guī)則閥值，而且這個挖掘的周期可以根據(jù)業(yè)務的需要自行定義，可以說是緊隨業(yè)務的變化，因此本發(fā)明對于規(guī)則的調(diào)整具有很強的靈活性和時效性。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術中的技術方案，下面將對實施例或現(xiàn)有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例的一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)的結(jié)構(gòu)示意圖。

圖2為本發(fā)明實施例的一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)的流程步驟示意圖。

圖3為本發(fā)明實施例的一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)的出現(xiàn)異常時的流程步驟示意圖。

具體實施方式

為使本發(fā)明實施例的目的、技術方案和優(yōu)點更加清楚，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。

本發(fā)明實施例中，對于網(wǎng)絡域名一般會進行分級，根據(jù)域名的95帶寬和有量5分點個數(shù)(均屬于cdn的計費方法)排序,按照比例(20％,50％,10％,20％)來定級。無量域名默認為最低級.除去最低級別的域名后，其余的均納入本發(fā)明實施例監(jiān)控分析的范圍，而不在監(jiān)控域名之內(nèi)的域名數(shù)據(jù)會在預處理階段被過濾掉。

如圖1-2所示，本發(fā)明實施例提供的一種自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)，其監(jiān)控分析步驟如下：

q1:由人工通過數(shù)據(jù)挖掘模塊從歷史業(yè)務數(shù)據(jù)中挖掘出各類規(guī)則閾值，進行人工標記，挖掘出來的規(guī)則閥值都被輸入到策略機；規(guī)則閥值挖掘的周期根據(jù)需要自行定義，通常設置為一天挖掘一次。

q2:所有經(jīng)過cdn的實時業(yè)務數(shù)據(jù)都由數(shù)據(jù)輸入模塊輸入到策略機，策略機根據(jù)規(guī)則閥值對數(shù)據(jù)進行處理，判斷業(yè)務數(shù)據(jù)是否滿足規(guī)則閥值，處理完成以后由策略機輸出帶有標簽的數(shù)據(jù)；輸出的每個標簽具有特定的含義，標明業(yè)務數(shù)據(jù)是否滿足規(guī)則閥值或標明帶寬是突增還是突降。

q3:帶有標簽的實時數(shù)據(jù)從策略機輸出以后，進入到聚合分析模塊，聚合分析模塊根據(jù)業(yè)務通常的邏輯關系，對帶有標簽的業(yè)務數(shù)據(jù)再次進行分析；本步驟中所述邏輯關系通常涉及到業(yè)務的特點，比如帶寬數(shù)、請求數(shù)、以及異常代碼的變化可以反映出業(yè)務情況的變化，具體指標包括帶寬數(shù)、請求數(shù)、異常代碼數(shù)。

q4：由人工根據(jù)業(yè)務的變化，對閾值進行相應的人工調(diào)整；

q5：聚合分析模塊對本輪分析結(jié)果進行匯總，并得出最終的結(jié)論標記，結(jié)論標記將會再返回到步驟1中作為閾值的一部分，最終用于后續(xù)規(guī)則閾值的再次深挖掘，再輸入到策略機中，并由此形成一個正向反饋的循環(huán)，這樣做的好處是形成一種自學習機制，從而提高監(jiān)控的準確性。

實施例

在圖3中，我們展示了本發(fā)明實施例中的自適應的cdn業(yè)務分析監(jiān)控系統(tǒng)的出現(xiàn)異常時的步驟流程，即同區(qū)域多業(yè)務異常狀態(tài)碼突然激增、發(fā)生了區(qū)域性的網(wǎng)絡問題，根據(jù)在該狀況下得到的數(shù)據(jù)進行處理，例如，帶寬數(shù)的異常變化主要包括帶寬數(shù)的突增和突降，

(1)如果在帶寬突降的情況下：

如果請求數(shù)突降，則需要考慮應用最大落差策略。

如果請求數(shù)突增，則意味著網(wǎng)絡出現(xiàn)異常；

(2)如果在帶寬突增的情況下，則需要監(jiān)控帶寬的最大值。

如果狀態(tài)碼超出閾值，則需要考慮應用最小請求數(shù)策略，并將策略輸入到狀態(tài)機中，同時將這種情況標明為異常。

這個狀況下的處理方法，我們選擇維度指帶寬、請求數(shù)、狀態(tài)碼進行監(jiān)控分析，

首先，系統(tǒng)針對域名帶寬波形圖計算方差,波動較大的域名只監(jiān)控帶寬最大值(圖3中max_bd)；未納入監(jiān)控項的相關數(shù)據(jù)會被策略機過濾掉；

其次，對目前帶寬/請求數(shù)/狀態(tài)碼閾值進行設置：

帶寬/請求數(shù)單獨計算相鄰兩個點的增減幅度排序,取95值,再乘以35％；狀態(tài)碼目前自動設置分為兩類規(guī)則:5xx,0和4xx,手動的話可任意組合和設置,計算每個點的規(guī)則比例排序,取98值,再乘以20％；

在圖3中，我們設置了3個策略：max_bd(最大值策略)、bd_drop(最大落差策略)、lowest_hcode(最小請求數(shù)策略)，這三個策略即q3步驟中的邏輯關系，max_bd(最大值策略)體現(xiàn)帶寬的最大變化值；bd_drop(最大落差策略)體現(xiàn)的是帶寬突降關系；

lowest_hcode(最小請求數(shù)策略)用于狀態(tài)碼比例判斷。數(shù)據(jù)采集模塊采用業(yè)務數(shù)據(jù)，其中包括帶寬數(shù)、請求數(shù)、狀態(tài)碼數(shù)等信息；預處理模塊對上述3個策略進行預處理分析，對數(shù)據(jù)進行分類整理；策略機對預處理后的數(shù)據(jù)進行分析處理，提煉出閾值，形成相應的監(jiān)控策略。

他們分別為：

1.max_bd(最大值策略):

每個域名變化不同,有些是突增,有些是緩慢增長到一個非預期的數(shù)值(巨人域名,比如并未達到監(jiān)控閾值),兩種均需要監(jiān)控,最大值策略用于后一類.

max_bd取值為帶寬峰值乘以一定系數(shù),系數(shù)目前為

(0.1,1000),

(1,100),//代表帶寬在[0.1,1)范圍內(nèi)時,閾值設置為峰值100倍.

(10,20),

(100,3),

(1000,1.5),//代表帶寬在[100,1000)范圍內(nèi)時,閾值設置為峰值1.5倍.

(10000,1.2),

(100000,1.1),

(200000,1.05),

(1000000,1),

2.bd_drop(最大落差策略):

主要用于突降判斷,有些域名在某時間段內(nèi)帶寬落差很大,帶寬降低比例達到閾值之后如果落差也超過此值才算突降；

3.lowest_hcode(最小請求數(shù)策略):

用于狀態(tài)碼比例判斷,有些域名在某段時間請求數(shù)較少,無效/請求比例凸顯。

作為上述技術方案的優(yōu)選，我們還可以增設報警策略,對同區(qū)域多業(yè)務異常狀態(tài)碼進行監(jiān)控，一旦發(fā)現(xiàn)就報出來,連續(xù)兩次(可設置),后每隔半小時(可配置)報一次；對帶寬突增數(shù)進行監(jiān)控:一旦發(fā)現(xiàn)報出來,如果上一個點也突增,則本次不報。

以上所述僅為本發(fā)明的較佳實施方式作了詳細說明，但是本發(fā)明并不限于上述實施方式，保護范圍并不局限于此，任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內(nèi)，可輕易想到的變化或替換，都應涵蓋在本發(fā)明的保護范圍之內(nèi)，本發(fā)明實施例還可以在不脫離本專利宗旨的前提下做出各種變化。因此，本發(fā)明的保護范圍應該以權(quán)利要求的保護范圍為準。