專利名稱：一種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法和網(wǎng)絡(luò)節(jié)點的制作方法
技術(shù)領(lǐng)域：
本發(fā)明實施例涉及云計算技木，特別涉及ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法和網(wǎng)絡(luò)節(jié)點。
背景技術(shù)：
隨著云計算的蓬勃發(fā)展，網(wǎng)絡(luò)架構(gòu)的規(guī)模也越來越大，因此，在大規(guī)模網(wǎng)絡(luò)中，對于各個網(wǎng)絡(luò)節(jié)點的各種信息數(shù)據(jù)的統(tǒng)計面臨著巨大的挑戰(zhàn)。在傳統(tǒng)的方法中，對于全網(wǎng)的全局資源占用率等統(tǒng)計指標(biāo)往往都是通過后分析得到?，F(xiàn)有技術(shù)中采用后分析方法對大規(guī)模的資源指標(biāo)進(jìn)行統(tǒng)計一般采取集中管理模式，劃分?jǐn)?shù)據(jù)倉庫(即，管理節(jié)點)和資源節(jié)點，其中，資源節(jié)點負(fù)責(zé)各自資源占用率的采集和傳送，管理節(jié)點負(fù)責(zé)全網(wǎng)全局資源相關(guān)數(shù)據(jù)的收集和存儲；后分析系統(tǒng)是和管理節(jié)點連 接的、專門的數(shù)據(jù)挖掘分析系統(tǒng)，對管理節(jié)點收集和存儲的全網(wǎng)全局資源相關(guān)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘分析，輸出最終的分析結(jié)果，傳遞給決策系統(tǒng)作為決策依據(jù)。但是，基于這種架構(gòu)的后分析方法耗時很長，往往需要幾小時甚至數(shù)天才能得到最終的分析結(jié)果。而在諸如資源調(diào)度等需要實時得到統(tǒng)計數(shù)據(jù)的場景下，得到的數(shù)據(jù)越實時，效果才越好。因此，這種后分析方法在資源調(diào)度等場景下，就顯得沒有意義了，并且可能還是不可用的。這就亟需ー種方法，來解決大規(guī)模網(wǎng)絡(luò)中，對全局資源占用率等統(tǒng)計指標(biāo)數(shù)據(jù)能盡快獲取，最好是能實時獲取。

發(fā)明內(nèi)容
本發(fā)明實施例提供ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法和網(wǎng)絡(luò)節(jié)點，用以解決大規(guī)模網(wǎng)絡(luò)中對于全局資源占用率等統(tǒng)計指標(biāo)數(shù)據(jù)無法實時獲取的問題。有鑒于此，本發(fā)明實施例提供了ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法，包括管理端任意選取網(wǎng)絡(luò)中的ー個節(jié)點作為起始節(jié)點，向所述起始節(jié)點發(fā)送網(wǎng)絡(luò)資源占用率統(tǒng)計請求和所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍，請求所述起始節(jié)點對網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計；所述起始節(jié)點根據(jù)接收到的所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍，將所述網(wǎng)絡(luò)中的其他節(jié)點分為N組，從每ー組中任意選取ー個節(jié)點作為分起始節(jié)點，向姆ー個分起始節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍；所述每ー個分起始節(jié)點根據(jù)接收到的所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍，判斷該組中其他節(jié)點的數(shù)目是否大于N，如果該組中其他節(jié)點的數(shù)目小于或者等于N，則不再對該組繼續(xù)進(jìn)行分組，該組中的其他節(jié)點為最終節(jié)點，向所述最終節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求；如果該組中其他節(jié)點的數(shù)目大于N，則將該組中的其他節(jié)點繼續(xù)分為N組,從姆ー組中任意選取ー個節(jié)點作為下ー層分起始節(jié)點，向姆一個下ー層分起始節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍；重復(fù)上述判斷步驟，直至所有分組中除分起始節(jié)點外的其他節(jié)點的數(shù)目小于或者等于N ；每ー個最終節(jié)點根據(jù)收到的網(wǎng)絡(luò)資源占用率統(tǒng)計請求，對該最終節(jié)點的網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計，并將統(tǒng)計結(jié)果上報給該最終節(jié)點所屬的分起始節(jié)點；每ー個分起始節(jié)點收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，結(jié)合該分起始節(jié)點的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果，再次進(jìn)行計算統(tǒng)計，并將統(tǒng)計結(jié)果上報給該分起始節(jié)點所屬的上ー層分起始節(jié)點，直至逐層上報給所述起始節(jié)點，由所述起始節(jié)點計算得出最終的網(wǎng)絡(luò)資源占用率；所述起始節(jié)點將計算得出的最終網(wǎng)絡(luò)資源占用率上報給所述管理端。
本發(fā)明實施例還提供了ー種網(wǎng)絡(luò)節(jié)點，包括接收單元，用于接收網(wǎng)絡(luò)資源占用率統(tǒng)計請求和本節(jié)點所屬集合中其他節(jié)點的節(jié)點范圍，其中，所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求中包括發(fā)起請求的源IP地址和接收請求的目的IP地址、統(tǒng)計的起始時間和結(jié)束時間以及請求統(tǒng)計的資源度量名稱，所述節(jié)點范圍包括由節(jié)點標(biāo)識組成的集合或者由節(jié)點的IP地址組成的集合；判斷分組單元，用于根據(jù)所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和本節(jié)點所屬集合中其他節(jié)點的節(jié)點范圍，判斷該集合中其他節(jié)點的數(shù)目是否大于N，如果該集合中其他節(jié)點的數(shù)目小于或者等于N，則不再對該集合繼續(xù)進(jìn)行分組，向該集合中的其他節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求；如果該集合中其他節(jié)點的數(shù)目大于N，則將該集合中的其他節(jié)點繼續(xù)分為N組，從每ー組中任意選取ー個節(jié)點，向所述節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍；資源占用率統(tǒng)計單元，用于對本節(jié)點的網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計上報，以及當(dāng)收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，按照如下計算公式再次進(jìn)行計算統(tǒng)計，得到本節(jié)點對網(wǎng)絡(luò)資源占用率的統(tǒng)計結(jié)果，并上報該統(tǒng)計結(jié)果(本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)パ1+所轄節(jié)點數(shù))。由上述技術(shù)方案可知，本發(fā)明實施例提供的大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法通過對全網(wǎng)的節(jié)點按照N叉樹結(jié)構(gòu)進(jìn)行組織，并對節(jié)點的信息統(tǒng)計采用遞歸的方式，使得無需修改統(tǒng)計算法和其他業(yè)務(wù)邏輯，即可對大規(guī)模網(wǎng)絡(luò)節(jié)點監(jiān)控數(shù)據(jù)進(jìn)行實時統(tǒng)計，極大提高了整個網(wǎng)絡(luò)的全局資源占用率等指標(biāo)的統(tǒng)計速度，從而達(dá)到及時響應(yīng)諸如資源調(diào)度等應(yīng)用場景的要求，同時，也大大降低了大規(guī)模網(wǎng)絡(luò)節(jié)點的維護(hù)成本。


為了更清楚地說明本發(fā)明實施例的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的ー些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。圖I為本發(fā)明實施例應(yīng)用的大規(guī)模云計算網(wǎng)絡(luò)示意圖；圖2為依據(jù)本發(fā)明實施例對全網(wǎng)的資源節(jié)點按照樹狀層次結(jié)構(gòu)進(jìn)行組織的示意圖3為依據(jù)本發(fā)明實施例對全網(wǎng)節(jié)點進(jìn)行遞歸分組的流程示意圖；圖4為本發(fā)明實施例提供的ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法的流程示意圖；圖5為本發(fā)明實施例提供的ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法的消息交互示意圖；圖6為本發(fā)明實施例提供的一種網(wǎng)絡(luò)節(jié)點的結(jié)構(gòu)示意圖。
具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明一部分實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。本發(fā)明實施例應(yīng)用的系統(tǒng)環(huán)境如圖I所示。圖I是ー個大規(guī)模云計算網(wǎng)絡(luò)的示意圖。在圖I中，管理層面需要統(tǒng)計整個網(wǎng)絡(luò)的資源占用率情況時，從網(wǎng)絡(luò)中任意選取ー個節(jié)點作為統(tǒng)計操作的切入點，并由此計算節(jié)點向管理層面匯報整個網(wǎng)絡(luò)的資源占用率情況的統(tǒng)計結(jié)果，管理層以此結(jié)果來決定是否需要對網(wǎng)絡(luò)進(jìn)行擴(kuò)容或者減容的操作。其中，圖I中的計算節(jié)點也可稱之為資源節(jié)點或者網(wǎng)絡(luò)節(jié)點，本發(fā)明實施例對此不做限定?；趫DI所示的系統(tǒng)環(huán)境，本發(fā)明實施例的方法邏輯如下I、如圖2所示，將全網(wǎng)的資源節(jié)點(即計算節(jié)點)按照樹狀層次結(jié)構(gòu)進(jìn)行組織，但是每層的地位等同，對節(jié)點的信息統(tǒng)計采用遞歸的方式，這樣可以做到，網(wǎng)絡(luò)規(guī)模越來越大，但只需要増加層級數(shù)量，而無需修改統(tǒng)計算法和其他業(yè)務(wù)邏輯；并且每個資源節(jié)點即計算節(jié)點，有兩個組件組成，一個組件的任務(wù)是完成同其他節(jié)點之間的信息同步，另外ー個組件的任務(wù)是完成節(jié)點間資源占用率等指標(biāo)的遞歸統(tǒng)計上報。2、為了簡化樹狀層級資源的維護(hù)，所有資源節(jié)點被組成為ー個去中心化的計算節(jié)點信息同步的集體(如圖I所示)，其中，信息同步算法包括但不限于Gossip等方法。每個計算節(jié)點都保持有所有計算節(jié)點信息，這些信息包括但不限于節(jié)點的心跳、節(jié)點的狀態(tài)(失效檢查/live/dead)、節(jié)點當(dāng)前負(fù)載。3、管理端可以從任意一個網(wǎng)絡(luò)資源節(jié)點(去中心化計算節(jié)點)發(fā)起對全網(wǎng)資源占用率等統(tǒng)計指標(biāo)的統(tǒng)計請求，那么這個被選中的起始節(jié)點將對其他所有節(jié)點進(jìn)行分組，分組方法包括但不限于ニ叉樹等分組方法；起始節(jié)點首先將把其他節(jié)點分為η組，從每組中挑選ー個分發(fā)點，將統(tǒng)計請求分發(fā)給這些分發(fā)點。分發(fā)點再遞歸的將自己所轄計算節(jié)點繼續(xù)分為η組分發(fā)，直到不夠再細(xì)分為止，整個網(wǎng)絡(luò)節(jié)點分組劃分邏輯如圖3所示。4、分發(fā)的同時，接收到請求的計算節(jié)點就開始執(zhí)行自身資源占用率等指標(biāo)的統(tǒng)計計算，并等待其轄屬計算節(jié)點的計算結(jié)果，等所有轄屬計算節(jié)點的統(tǒng)計結(jié)果都匯報完成之后，該計算節(jié)點按照如下公式再做一次匯總統(tǒng)計(本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)/(1+所轄節(jié)點數(shù))；然后將統(tǒng)計匯總結(jié)果上報到上ー層的分發(fā)節(jié)點，依此類推，全網(wǎng)的資源占用率等統(tǒng)計指標(biāo)的統(tǒng)計最終結(jié)果將匯總到管理端最初請求的節(jié)點，從而完成了整個網(wǎng)絡(luò)的資源統(tǒng)計操作。實施例一圖4為本發(fā)明實施例提供的ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法的流程示意圖，如圖4所示，本實施例的大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法可以包括以下步驟
S100、管理端任意選取網(wǎng)絡(luò)中的ー個節(jié)點作為起始節(jié)點，向所述起始節(jié)點發(fā)送網(wǎng)絡(luò)資源占用率統(tǒng)計請求和所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍，請求所述起始節(jié)點對網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計；具體地，所述網(wǎng)絡(luò)為去中心化的節(jié)點信息同步的網(wǎng)絡(luò)，該網(wǎng)絡(luò)中的每個節(jié)點都保持有所有節(jié)點的信息。所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求中包括發(fā)起請求的源IP地址(如管理端的IP地址)和接收請求的目的IP地址(如管理端隨機(jī)選取作為起始節(jié)點的節(jié)點IP地址)、統(tǒng)計的起始時間和結(jié)束時間以及請求統(tǒng)計的資源度量名稱。其中，所述的資源度量，即衡量資源使用情況的指標(biāo)，如CPU利用率、內(nèi)存使用率、網(wǎng)絡(luò)流出量等。所述節(jié)點范圍，包括由節(jié)點標(biāo)識組成的集合或者由節(jié)點的IP地址組成的集合。需要說明的是，所述節(jié)點范圍既可以攜帶在網(wǎng)絡(luò)資源占用率統(tǒng)計請求中下發(fā)，也可以單獨下發(fā)，本發(fā)明實施例對此不做限定。S110、所述起始節(jié)點根據(jù)接收到的所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍，將所述網(wǎng)絡(luò)中的其他節(jié)點分為N組，從每ー組中任意選取ー個節(jié)點作為分起始節(jié)點，向每ー個分起始節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍；需要說明的是，所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍就是該網(wǎng)絡(luò)中除了起始節(jié)點外，由所有其他節(jié)點的節(jié)點標(biāo)識或者IP地址構(gòu)成的集合；而分組中其他節(jié)點的節(jié)點范圍就是該組中除了分起始節(jié)點外，由所有其他節(jié)點的節(jié)點標(biāo)識或者IP地址構(gòu)成的集合。另外，將所述網(wǎng)絡(luò)中的其他節(jié)點分為N組，既可以等分，也可以不等分，優(yōu)選N等于2，但是在實際應(yīng)用中，可根據(jù)具體情況選擇，本發(fā)明實施例對此不做限定。例如，全網(wǎng)有99個節(jié)點(標(biāo)識為1-99)，除起始節(jié)點(例如選為I)夕卜，還有98個節(jié)點(2-99)，如果N為2，那么就可以劃分為2組，再從每組中選ー個分起始節(jié)點(如分別選2和51)，那么第一組的范圍就是(3-50)，第二組的范圍就是(52-99);但是如果N為10，那么可以劃分為10組，再從每組中選ー個分起始節(jié)點(如分別選2、12、22、32、42、52、62、72、82、92)，那么第一組的范圍就為3-11、第二組的范圍為13-21、第三組至第十組的范圍分別為 23-31、33-41、43-51、53-61、63-71、73-81 和 93-99。S120、所述每ー個分起始節(jié)點根據(jù)接收到的所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍，判斷該組中其他節(jié)點的數(shù)目是否大于N，如果該組中其他節(jié)點的數(shù)目小于或者等于N，則不再對該組繼續(xù)進(jìn)行分組，該組中的其他節(jié)點為最終節(jié)點，向所述最終節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求；如果該組中其他節(jié)點的數(shù)目大于N，則將該組中的其他節(jié)點繼續(xù)分為N組,從姆ー組中任意選取ー個節(jié)點作為下ー層分起始節(jié)點，向每ー個下一層分起始節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍；例如，假設(shè)全網(wǎng)有99個節(jié)點，N為10，那么就是10組，應(yīng)該是9組10個節(jié)點組成，ー組8個節(jié)點，因為要選擇ー個根節(jié)點(即，起始節(jié)點)。另外，10組中，每組中還有ー個子根節(jié)點(即，分起始節(jié)點)，其中9個子根節(jié)點各自轄屬9個節(jié)點，I個子根節(jié)點轄屬7個節(jié) 點。根節(jié)點給10個子根節(jié)點下發(fā)統(tǒng)計請求吋，附帯每個子根節(jié)點所轄屬節(jié)點的范圍，當(dāng)子根節(jié)點發(fā)現(xiàn)自己轄屬節(jié)點數(shù)無法再劃分統(tǒng)計組吋，就直接給轄屬節(jié)點下發(fā)統(tǒng)計請求，該統(tǒng)計請求中不再附帯轄屬節(jié)點的范圍，每個節(jié)點收到統(tǒng)計請求后，如果發(fā)現(xiàn)請求中沒有轄屬節(jié)點范圍，那么就知道自己為葉子節(jié)點(即，最終節(jié)點)了，直接上報自己的資源占用率統(tǒng)計情況。S130、重復(fù)上述判斷步驟，直至所有分組中除分起始節(jié)點外的其他節(jié)點的數(shù)目小于或者等于N;S140、每ー個最終節(jié)點根據(jù)收到的網(wǎng)絡(luò)資源占用率統(tǒng)計請求，對該最終節(jié)點的網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計，并將統(tǒng)計結(jié)果上報給該最終節(jié)點所屬的分起始節(jié)點；S150、每ー個分起始節(jié)點收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，結(jié)合該分起始節(jié)點的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果，再次進(jìn)行計算統(tǒng)計，并將統(tǒng)計結(jié)果上報給該分 起始節(jié)點所屬的上ー層分起始節(jié)點，直至逐層上報給所述起始節(jié)點，由所述起始節(jié)點計算得出最終的網(wǎng)絡(luò)資源占用率；具體地，該步驟采用遞歸的方式統(tǒng)計上報，直至所有的統(tǒng)計結(jié)果匯總到起始節(jié)點為止。其中，所述起始節(jié)點和分起始節(jié)點都是按照以下公式進(jìn)行計算的(本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)パ1+所轄節(jié)點數(shù))S160、所述起始節(jié)點將計算得出的最終網(wǎng)絡(luò)資源占用率上報給所述管理端。本發(fā)明實施例提供的大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法通過對全網(wǎng)的節(jié)點按照N叉樹結(jié)構(gòu)進(jìn)行組織，并對節(jié)點的信息統(tǒng)計采用遞歸的方式，使得無需修改統(tǒng)計算法和其他業(yè)務(wù)邏輯，即可對大規(guī)模網(wǎng)絡(luò)節(jié)點監(jiān)控數(shù)據(jù)進(jìn)行實時統(tǒng)計，極大提高了整個網(wǎng)絡(luò)的全局資源占用率等指標(biāo)的統(tǒng)計速度，從而達(dá)到及時響應(yīng)諸如資源調(diào)度等應(yīng)用場景的要求，同時，也大大降低了大規(guī)模網(wǎng)絡(luò)節(jié)點的維護(hù)成本。實施例ニ圖5為本發(fā)明實施例提供的ー種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法的消息交互示意圖。其中，管理端是全網(wǎng)的管理層面；起始節(jié)點，是管理層面任意挑選的全網(wǎng)絡(luò)中的ー個計算節(jié)點；轄屬節(jié)點是起始節(jié)點對全網(wǎng)所有節(jié)點進(jìn)行分組，劃分為N組后，從每組中隨意挑選的ー個計算節(jié)點(即實施例一中的分起始節(jié)點)；轄屬η層節(jié)點，是轄屬節(jié)點對組內(nèi)節(jié)點進(jìn)行η次類似起始節(jié)點的分組的節(jié)點(相當(dāng)于實施例一中第η層的分起始節(jié)點)；而最終節(jié)點，則是無法再進(jìn)行分組后的節(jié)點。如圖5所示，本實施例的大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法可以包括以下步驟201、管理端向起始節(jié)點發(fā)送全網(wǎng)資源占用率統(tǒng)計請求；該步驟中，該全網(wǎng)資源占用率統(tǒng)計請求消息中源IP地址是管理端的IP地址，目的IP地址為從當(dāng)前網(wǎng)絡(luò)中隨機(jī)選出的計算節(jié)點的IP地址，統(tǒng)計請求的消息中，還包含統(tǒng)計的起始時間和統(tǒng)計結(jié)束時間，以及請求統(tǒng)計的資源度量名稱，如CPU利用率、內(nèi)存使用率、網(wǎng)
絡(luò)流出量等。202、起始節(jié)點向轄屬節(jié)點發(fā)送轄屬資源占用率統(tǒng)計請求以及轄屬節(jié)點范圍；該步驟中，該轄屬資源占用率統(tǒng)計請求消息中的源IP地址為起始節(jié)點的IP地址，而目的IP地址為將全網(wǎng)除起始節(jié)點之外的節(jié)點劃分N組后，從每組中隨機(jī)挑選出的ー個計算節(jié)點的IP地址；該節(jié)點將作為下一層的分起始節(jié)點，而該組中的其他計算節(jié)點將作為該計算節(jié)點的轄屬節(jié)點；其中的統(tǒng)計請求部分同201中的請求相同，不過還需要附帯有每個分起始節(jié)點所轄屬節(jié)點的范圍。203、轄屬節(jié)點向轄屬η層節(jié)點發(fā)送轄屬資源占用率統(tǒng)計請求以及轄屬節(jié)點范圍；
該步驟中，轄屬節(jié)點所發(fā)起的轄屬資源占用率統(tǒng)計請求以及轄屬節(jié)點范圍的消息的源IP地址為每個分起始節(jié)點的IP地址，而目的IP地址則是將分起始節(jié)點所轄屬的節(jié)點再次劃分為N組，從每組中隨機(jī)挑選出ー個計算節(jié)點的IP地址；該節(jié)點將作為下一層的分起始節(jié)點，而該組中其他計算節(jié)點將作為該計算節(jié)點的轄屬節(jié)點；其中的統(tǒng)計請求部分同201中的請求相同，不過還需要附帯有每個分起始節(jié)點所轄屬節(jié)點的范圍。204、轄屬η層節(jié)點向最終節(jié)點發(fā)送轄屬資源占用率統(tǒng)計請求；該步驟中，轄屬η層節(jié)點所發(fā)起的轄屬資源占用率統(tǒng)計請求同203類似，不過不需要附帯有每個轄屬η層節(jié)點所轄屬節(jié)點的范圍。205、最終節(jié)點向轄屬η層節(jié)點返回資源占用率統(tǒng)計請求響應(yīng)；該步驟中，最終節(jié)點所發(fā)的資源占用率統(tǒng)計請求響應(yīng)中的源IP地址為最終節(jié)點 的IP地址，而目的IP地址為自己上一層分起始節(jié)點的IP地址，統(tǒng)計請求響應(yīng)中包括本地資源的度量名稱，如CPU利用率、內(nèi)存使用率、網(wǎng)絡(luò)流出量等，以及這些度量名稱所對應(yīng)的具體數(shù)值。206、轄屬η層節(jié)點將收到的各個節(jié)點資源占用率總和加上自身資源占用率，除以轄屬總節(jié)點數(shù)加1，得到該層轄屬節(jié)點平均的資源占用率統(tǒng)計結(jié)果；207、轄屬η層節(jié)點向轄屬節(jié)點上報該層轄屬資源占用率統(tǒng)計結(jié)果；該步驟中，轄屬η層節(jié)點發(fā)送的該層轄屬節(jié)點平均的資源占用率統(tǒng)計結(jié)果響應(yīng)中的源IP地址就是該層分起始節(jié)點的IP地址，目的IP為上ー層分起始節(jié)點的IP地址(即，來自統(tǒng)計請求中的源地址)；轄屬節(jié)點平均的資源占用率統(tǒng)計結(jié)果中包括資源的度量名稱，如CPU利用率、內(nèi)存使用率、網(wǎng)絡(luò)流出量等，以及這些度量名稱所對應(yīng)的具體統(tǒng)計平均值。208、轄屬節(jié)點將收到的各層節(jié)點資源占用率總和加上自身資源占用率，除以轄屬總節(jié)點數(shù)加1，得到該層轄屬節(jié)點平均的資源占用率統(tǒng)計結(jié)果；209、轄屬節(jié)點向起始節(jié)點上報該層轄屬資源占用率統(tǒng)計結(jié)果；該步驟中，轄屬節(jié)點發(fā)送的該層轄屬節(jié)點平均的資源占用率統(tǒng)計結(jié)果同207相似。210、起始節(jié)點將各層節(jié)點資源占用率總和加上自身資源占用率，除以轄屬總節(jié)點數(shù)加1，得到全網(wǎng)平均的資源占用率統(tǒng)計結(jié)果；211、起始節(jié)點向管理端上報全網(wǎng)平均的資源占用率統(tǒng)計結(jié)果。該步驟中，起始節(jié)點發(fā)起的全網(wǎng)資源占用率統(tǒng)計請求響應(yīng)中的源IP地址就是起始節(jié)點的IP地址，目的IP地址則是管理端的IP地址，全網(wǎng)平均的資源占用率統(tǒng)計結(jié)果包括資源的度量名稱，如CPU利用率、內(nèi)存使用率、網(wǎng)絡(luò)流出量等，以及這些度量名稱所對應(yīng)的具體統(tǒng)計平均值。根據(jù)本實施例提供的大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法，通過對全網(wǎng)的節(jié)點按照N叉樹結(jié)構(gòu)進(jìn)行組織，并對節(jié)點的信息統(tǒng)計采用遞歸的方式，使得無需修改統(tǒng)計算法和其他業(yè)務(wù)邏輯，即可對大規(guī)模網(wǎng)絡(luò)節(jié)點監(jiān)控數(shù)據(jù)進(jìn)行實時統(tǒng)計，極大提高了整個網(wǎng)絡(luò)的全局資源占用率等指標(biāo)的統(tǒng)計速度，從而達(dá)到及時響應(yīng)諸如資源調(diào)度等應(yīng)用場景的要求，同時，也大大降低了大規(guī)模網(wǎng)絡(luò)節(jié)點的維護(hù)成本。實施例三
本發(fā)明實施例還提供了ー種應(yīng)用于上述方法實施例中的網(wǎng)絡(luò)節(jié)點設(shè)備。圖6為本發(fā)明實施例提供的ー種網(wǎng)絡(luò)節(jié)點的結(jié)構(gòu)示意圖，如圖6所示，本發(fā)明實施例提供的網(wǎng)絡(luò)節(jié)點30可以包括接收單元31、判斷分組單元32和資源占用率統(tǒng)計單元33。其中，接收單元31用于接收網(wǎng)絡(luò)資源占用率統(tǒng)計請求和本節(jié)點所屬集合中其他節(jié)點的節(jié)點范圍，其中，所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求中包括發(fā)起請求的源IP地址和接收請求的目的IP地址、統(tǒng)計的起始時間和結(jié)束時間以及請求統(tǒng)計的資源度量名稱，所述節(jié)點范圍包括由節(jié)點標(biāo)識組成的集合或者由節(jié)點的IP地址組成的集合；判斷分組單元32用于根據(jù)所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和本節(jié)點所屬集合中其他節(jié)點的節(jié)點范圍，判斷該集合中其他節(jié)點的數(shù)目是否大于N，如果該集合中其他節(jié)點的數(shù)目小于或者等于N，則不再對該集合繼續(xù)進(jìn)行分組，向該集合中的其他節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求；如果該集合中其他節(jié)點的數(shù)目大于N，則將該集合中的其他節(jié)點繼續(xù)分為N組，從每ー組中任意選取ー個節(jié)點，向所述節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍；資源占用率統(tǒng)計単元33，用于對本節(jié)點的網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計上報，以及當(dāng)收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，按照如下計算公式再次進(jìn)行計算統(tǒng)計，得到本節(jié)點對網(wǎng)絡(luò)資源占用率的統(tǒng)計結(jié)果，井上報該統(tǒng)計結(jié)果(本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)/(1+所轄節(jié)點數(shù))。
進(jìn)ー步，本發(fā)明實施例提供的網(wǎng)絡(luò)節(jié)點還可以包括節(jié)點信息同步單元34，用于全網(wǎng)節(jié)點信息的同步，使本節(jié)點保持有網(wǎng)絡(luò)中所有節(jié)點的信息。根據(jù)本發(fā)明實施例提供的網(wǎng)絡(luò)節(jié)點，通過對全網(wǎng)的節(jié)點按照N叉樹結(jié)構(gòu)進(jìn)行組織，并對節(jié)點的信息統(tǒng)計采用遞歸的方式，使得無需修改統(tǒng)計算法和其他業(yè)務(wù)邏輯，即可對大規(guī)模網(wǎng)絡(luò)節(jié)點監(jiān)控數(shù)據(jù)進(jìn)行實時統(tǒng)計，極大提高了整個網(wǎng)絡(luò)的全局資源占用率等指標(biāo)的統(tǒng)計速度，從而達(dá)到及時響應(yīng)諸如資源調(diào)度等應(yīng)用場景的要求，同時，也大大降低了大規(guī)模網(wǎng)絡(luò)節(jié)點的維護(hù)成本。需要說明的是實施例三中的接收單元31、判斷分組單元32、資源占用率統(tǒng)計單元33和節(jié)點信息同步單元34均為硬件。本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述方法實施例的全部或部分步驟可以通過程序指令相關(guān)的硬件來完成，前述的程序可以存儲于ー計算機(jī)可讀取存儲介質(zhì)中，該程序在執(zhí)行時，執(zhí)行包括上述方法實施例的步驟；而前述的存儲介質(zhì)包括R0M、RAM、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。最后應(yīng)說明的是以上實施例僅用以說明本發(fā)明的技術(shù)方案，而非對其限制；盡管參照前述實施例對本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實施例技術(shù)方案的精神和范圍。
權(quán)利要求
1.一種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法，其特征在于，包括 管理端任意選取網(wǎng)絡(luò)中的一個節(jié)點作為起始節(jié)點，向所述起始節(jié)點發(fā)送網(wǎng)絡(luò)資源占用率統(tǒng)計請求和所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍，請求所述起始節(jié)點對網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計； 所述起始節(jié)點根據(jù)接收到的所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和所述網(wǎng)絡(luò)中其他節(jié)點的節(jié)點范圍，將所述網(wǎng)絡(luò)中的其他節(jié)點分為N組，從每一組中任意選取一個節(jié)點作為分起始節(jié)點，向每一個分起始節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍； 所述每一個分起始節(jié)點根據(jù)接收到的所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和 該組中其他節(jié)點的節(jié)點范圍，判斷該組中其他節(jié)點的數(shù)目是否大于N，如果該組中其他節(jié)點的數(shù)目小于或者等于N，則不再對該組繼續(xù)進(jìn)行分組，該組中的其他節(jié)點為最終節(jié)點，向所述最終節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求；如果該組中其他節(jié)點的數(shù)目大于N，則將該組中的其他節(jié)點繼續(xù)分為N組,從每一組中任意選取一個節(jié)點作為下一層分起始節(jié)點，向每一個下一層分起始節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍； 重復(fù)上述判斷步驟，直至所有分組中除分起始節(jié)點外的其他節(jié)點的數(shù)目小于或者等于N； 每一個最終節(jié)點根據(jù)收到的網(wǎng)絡(luò)資源占用率統(tǒng)計請求，對該最終節(jié)點的網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計，并將統(tǒng)計結(jié)果上報給該最終節(jié)點所屬的分起始節(jié)點； 每一個分起始節(jié)點收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，結(jié)合該分起始節(jié)點的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果，再次進(jìn)行計算統(tǒng)計，并將統(tǒng)計結(jié)果上報給該分起始節(jié)點所屬的上一層分起始節(jié)點，直至逐層上報給所述起始節(jié)點，由所述起始節(jié)點計算得出最終的網(wǎng)絡(luò)資源占用率； 所述起始節(jié)點將計算得出的最終網(wǎng)絡(luò)資源占用率上報給所述管理端。
2.根據(jù)權(quán)利要求I所述的方法，其特征在于，所述網(wǎng)絡(luò)為去中心化的節(jié)點信息同步的網(wǎng)絡(luò)，該網(wǎng)絡(luò)中的每個節(jié)點都保持有所有節(jié)點的信息。
3.根據(jù)權(quán)利要求I或2所述的方法，其特征在于，所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求中包括發(fā)起請求的源IP地址和接收請求的目的IP地址、統(tǒng)計的起始時間和結(jié)束時間以及請求統(tǒng)計的資源度量名稱。
4.根據(jù)權(quán)利要求I或2或3所述的方法,其特征在于,所述節(jié)點范圍,包括由節(jié)點標(biāo)識組成的集合或者由節(jié)點的IP地址組成的集合。
5.根據(jù)權(quán)利要求I至4任一權(quán)利要求所述的方法，其特征在于，所述每一層的分起始節(jié)點收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，結(jié)合該分起始節(jié)點的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果，再次進(jìn)行計算統(tǒng)計，包括 所述每一層的分起始節(jié)點在下發(fā)所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求時，同時采集和計算本節(jié)點的網(wǎng)絡(luò)資源占用率； 當(dāng)收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，按照如下計算公式再次進(jìn)行計算統(tǒng)計，得到該分起始節(jié)點對網(wǎng)絡(luò)資源占用率的統(tǒng)計結(jié)果 (本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)/(1+所轄節(jié)點數(shù))。
6.根據(jù)權(quán)利要求I至5任一權(quán)利要求所述的方法，其特征在于，所述由起始節(jié)點計算得出最終的網(wǎng)絡(luò)資源占用率，包括 所述起始節(jié)點在下發(fā)所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求時，同時采集和計算本節(jié)點的網(wǎng)絡(luò)資源占用率； 當(dāng)收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，按照如下計算公式進(jìn)行計算，得到最終的網(wǎng)絡(luò)資源占用率 (本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)/(1+所轄節(jié)點數(shù))。
7.—種網(wǎng)絡(luò)節(jié)點，其特征在于，包括 接收單元，用于接收網(wǎng)絡(luò)資源占用率統(tǒng)計請求和本節(jié)點所屬集合中其他節(jié)點的節(jié)點范圍，其中，所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求中包括發(fā)起請求的源IP地址和接收請求的目的IP 地址、統(tǒng)計的起始時間和結(jié)束時間以及請求統(tǒng)計的資源度量名稱，所述節(jié)點范圍包括由節(jié)點標(biāo)識組成的集合或者由節(jié)點的IP地址組成的集合； 判斷分組單元，用于根據(jù)所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和本節(jié)點所屬集合中其他節(jié)點的節(jié)點范圍，判斷該集合中其他節(jié)點的數(shù)目是否大于N，如果該集合中其他節(jié)點的數(shù)目小于或者等于N，則不再對該集合繼續(xù)進(jìn)行分組，向該集合中的其他節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求；如果該集合中其他節(jié)點的數(shù)目大于N，則將該集合中的其他節(jié)點繼續(xù)分為N組，從每一組中任意選取一個節(jié)點，向所述節(jié)點分別發(fā)送所述網(wǎng)絡(luò)資源占用率統(tǒng)計請求和該組中其他節(jié)點的節(jié)點范圍； 資源占用率統(tǒng)計單元，用于對本節(jié)點的網(wǎng)絡(luò)資源占用率進(jìn)行統(tǒng)計上報，以及當(dāng)收到所轄節(jié)點上報的網(wǎng)絡(luò)資源占用率統(tǒng)計結(jié)果后，按照如下計算公式再次進(jìn)行計算統(tǒng)計，得到本節(jié)點對網(wǎng)絡(luò)資源占用率的統(tǒng)計結(jié)果，并上報該統(tǒng)計結(jié)果(本節(jié)點資源占用率+所轄節(jié)點資源占用率之和)/ (1+所轄節(jié)點數(shù))。
8.根據(jù)權(quán)利要求7所述的網(wǎng)絡(luò)節(jié)點，其特征在于，所述網(wǎng)絡(luò)節(jié)點還包括 節(jié)點信息同步單元，用于全網(wǎng)節(jié)點信息的同步，使本節(jié)點保持有網(wǎng)絡(luò)中所有節(jié)點的信肩、O
全文摘要
本發(fā)明涉及一種大規(guī)模網(wǎng)絡(luò)的數(shù)據(jù)采集方法和網(wǎng)絡(luò)節(jié)點。該方法通過對全網(wǎng)的節(jié)點按照N叉樹結(jié)構(gòu)進(jìn)行組織，并對節(jié)點的信息統(tǒng)計采用遞歸的方式，使得無需修改統(tǒng)計算法和其他業(yè)務(wù)邏輯，即可對大規(guī)模網(wǎng)絡(luò)節(jié)點監(jiān)控數(shù)據(jù)進(jìn)行實時統(tǒng)計，極大提高了整個網(wǎng)絡(luò)的全局資源占用率等指標(biāo)的統(tǒng)計速度，從而達(dá)到及時響應(yīng)諸如資源調(diào)度等應(yīng)用場景的要求，同時，也大大降低了大規(guī)模網(wǎng)絡(luò)節(jié)點的維護(hù)成本。
文檔編號H04L29/08GK102652425SQ201180004193
公開日2012年8月29日 申請日期2011年12月30日 優(yōu)先權(quán)日2011年12月30日
發(fā)明者胡斐然, 趙偉 申請人:華為技術(shù)有限公司