專利名稱：：流量可控的集群部署配置系統(tǒng)與方法
技術(shù)領(lǐng)域：
：本發(fā)明屬于計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域，具體涉及一種流量可控的集群部署配置系統(tǒng)與方法。
背景技術(shù)：
：大型互聯(lián)網(wǎng)公司，政府機(jī)構(gòu)，超級(jí)計(jì)算中心因自身業(yè)務(wù)需要，擁有大量服務(wù)器節(jié)點(diǎn)，構(gòu)成了眾多龐大的集群。隨著自身業(yè)務(wù)的不斷發(fā)展，服務(wù)器集群規(guī)模仍在不斷擴(kuò)大。在集群的擴(kuò)大和運(yùn)維期間，服務(wù)器節(jié)點(diǎn)上的操作系統(tǒng)安裝，應(yīng)用程序部署，配置文件分發(fā)是十分頻繁的。而這些頻繁的配置、維護(hù)、部署操作帶來(lái)了大量集群間的文件傳輸操作，這些操作往往會(huì)占用很大部分網(wǎng)絡(luò)帶寬，甚至影響到集群自身的業(yè)務(wù)功能?；谝陨蠁?wèn)題，急需要構(gòu)建一種流量可控的集群部署配置框架，使得集群中服務(wù)器節(jié)點(diǎn)的系統(tǒng)部署，程序分發(fā)等操作對(duì)網(wǎng)絡(luò)的壓力控制在任意范圍以內(nèi)，從而不對(duì)集群網(wǎng)絡(luò)的正常使用造成影響?，F(xiàn)有的集群部署及集群配置工具和系統(tǒng)均將重心放在配置維護(hù)的自動(dòng)化上，而對(duì)網(wǎng)絡(luò)的壓力考慮較少，因此主要存在以下幾個(gè)問(wèn)題流量控制被忽視。集群運(yùn)維中的數(shù)據(jù)傳輸一直是占用網(wǎng)絡(luò)的重要部分，如果集群正在使用或正在提供網(wǎng)絡(luò)服務(wù)，這些運(yùn)維過(guò)程中的網(wǎng)絡(luò)占用往往會(huì)對(duì)應(yīng)用造成不小的影響，所以大多數(shù)集群部署配置操作需要暫停集群內(nèi)的應(yīng)用。因此需要解決運(yùn)行期的集群部署配置對(duì)網(wǎng)絡(luò)帶寬占用的控制問(wèn)題。流量控制方案不靈活。集群運(yùn)維期間的數(shù)據(jù)內(nèi)容差異很大，主要來(lái)自集群服務(wù)器操作系統(tǒng)部署過(guò)程中的鏡像、集群軟件安裝中的軟件包、集群配置中的文件等等。而且傳輸方式差異較大。因此缺少一種靈活的流量控制方案，能夠針對(duì)數(shù)據(jù)傳輸?shù)膬?nèi)容、數(shù)據(jù)傳輸?shù)姆绞竭M(jìn)行靈活的配置。
發(fā)明內(nèi)容為克服上述缺陷，本發(fā)明提供了一種流量可控的集群部署配置系統(tǒng)與方法，在集群的部署及配置過(guò)程中引入流量控制機(jī)制，提高網(wǎng)絡(luò)資源利用率；而且，將多種數(shù)據(jù)傳輸及對(duì)應(yīng)限速方式進(jìn)行整合，提供統(tǒng)一配置入口，方便靈活選擇及配置。為實(shí)現(xiàn)上述目的，本發(fā)明提供一種流量可控的集群部署配置系統(tǒng)，包括管理服務(wù)器和分別接收其文件的各個(gè)客戶服務(wù)器，其改進(jìn)之處在于，所述管理服務(wù)器包括限速配置單元和與其通信的數(shù)據(jù)傳輸單元。本發(fā)明提供的優(yōu)選技術(shù)方案中，所述限速配置單元，包括依次設(shè)置的傳輸方式選擇模塊和限速配置模塊。本發(fā)明提供的第二優(yōu)選技術(shù)方案中，所述傳輸方式選擇模塊，根據(jù)向各個(gè)客戶服務(wù)器傳輸文件的異同，選擇bt方式或者rsync方式對(duì)文件進(jìn)行傳輸；其中，當(dāng)管理服務(wù)器向各個(gè)客戶服務(wù)器傳輸相同文件時(shí)，米用bt方式傳輸；當(dāng)管理服務(wù)器向各個(gè)服務(wù)器傳輸不同文件時(shí)，采用rsync方式傳輸。本發(fā)明提供的第三優(yōu)選技術(shù)方案中，所述限速配置模塊，根據(jù)限速配置策略對(duì)傳輸?shù)臄?shù)據(jù)進(jìn)行限速。本發(fā)明提供的第四優(yōu)選技術(shù)方案中，限速配置策略包括(I).限制數(shù)據(jù)發(fā)送端最大發(fā)送速率；(2).限制數(shù)據(jù)接收端最大接收速率。本發(fā)明提供的第五優(yōu)選技術(shù)方案中，所述數(shù)據(jù)傳輸單元，根據(jù)所述限速配置單元配置好的傳輸方式以及限速策略對(duì)數(shù)據(jù)進(jìn)行限速傳輸。本發(fā)明提供的第六優(yōu)選技術(shù)方案中，所述數(shù)據(jù)傳輸單元采用bt傳輸，提供兩種限速模式模式I:創(chuàng)建限定速率的數(shù)據(jù)種子；根據(jù)限制速率，動(dòng)態(tài)生成傳輸文件的限速種子，其中創(chuàng)建種子時(shí)通過(guò)maxuploadrate參數(shù)實(shí)現(xiàn)對(duì)傳輸?shù)乃俾氏拗?；模?:通過(guò)客戶服務(wù)器的防火墻配置實(shí)現(xiàn)速率的控制，通過(guò)增加iptableslimit和burst參數(shù)配合完成。本發(fā)明提供的第七優(yōu)選技術(shù)方案中，所述數(shù)據(jù)傳輸單元采用rsync傳輸，通過(guò)對(duì)bwlimit的參數(shù)配置,進(jìn)行流量控制。本發(fā)明提供的第八優(yōu)選技術(shù)方案中，提供一種流量可控的集群部署配置方法，其改進(jìn)之處在于，所述方法包括如下步驟(a).選擇文件傳輸方式；(b).選擇是否進(jìn)行傳輸限速，如果選擇限速，進(jìn)入步驟C，否則進(jìn)入步驟e；(c).根據(jù)傳輸方式選擇限速方式；(d).配置限速值和目標(biāo)速率；(e).鏡像或配置文件傳輸；(f).完成鏡像或配置文件的傳輸，開(kāi)始具體的部署或配置。本發(fā)明提供的第九優(yōu)選技術(shù)方案中，在所述步驟a中，傳輸方式包括bt傳輸方式和rsync傳輸方式。本發(fā)明提供的第十優(yōu)選技術(shù)方案中，在所述步驟c中，根據(jù)傳輸方式選擇限速方式，如果是bt方式,則可選擇防火墻限速和種子限速,如果是rsync方式傳輸,則通過(guò)rsync自身限速方式。與現(xiàn)有技術(shù)比，本發(fā)明提供的一種流量可控的集群部署配置系統(tǒng)與方法，構(gòu)建一種流量可控的集群部署配置系統(tǒng)，使得集群中服務(wù)器節(jié)點(diǎn)的系統(tǒng)部署，程序分發(fā)等操作對(duì)網(wǎng)絡(luò)的壓力控制在任意范圍以內(nèi)，從而不對(duì)集群網(wǎng)絡(luò)的正常使用造成影響；在集群部署及配置過(guò)程中加入數(shù)據(jù)傳輸速率控制，這樣能很好的控制部署配置過(guò)程中占用的網(wǎng)絡(luò)資源，避免影響到正在運(yùn)行的應(yīng)用及網(wǎng)絡(luò)環(huán)境；而且，靈活的傳輸方式及速率限制方案，能夠滿足大多數(shù)集群配置及部署過(guò)程遇到的數(shù)據(jù)傳輸流量控制，便于運(yùn)維人員更靈活便捷的根據(jù)實(shí)際需求進(jìn)行特定的傳輸控制；再者，在集群的部署及配置過(guò)程中引入流量控制機(jī)制，提高網(wǎng)絡(luò)資源利用率，本系統(tǒng)和方法將多種數(shù)據(jù)傳輸及對(duì)應(yīng)限速方式進(jìn)行整合，提供統(tǒng)一配置入口，方便靈活選擇及配置。圖I為流量可控的集群部署配置系統(tǒng)的結(jié)構(gòu)示意圖。圖2為流量可控的集群部署配置方法的結(jié)構(gòu)示意圖。具體實(shí)施例方式如圖I所示，一種流量可控的集群部署配置系統(tǒng)，包括管理服務(wù)器和分別接收其文件的各個(gè)客戶服務(wù)器，所述管理服務(wù)器包括限速配置單元和與其通信的數(shù)據(jù)傳輸單元。所述限速配置單元，包括依次設(shè)置的傳輸方式選擇模塊和限速配置模塊。所述傳輸方式選擇模塊,根據(jù)向各個(gè)客戶服務(wù)器傳輸文件的異同,選擇bt方式或者rsync方式對(duì)文件進(jìn)行傳輸；其中，當(dāng)管理服務(wù)器向各個(gè)客戶服務(wù)器傳輸相同文件時(shí)，米用bt方式傳輸；當(dāng)管理服務(wù)器向各個(gè)服務(wù)器傳輸不同文件時(shí)，米用rsync方式傳輸。所述限速配置模塊，根據(jù)限速配置策略對(duì)傳輸?shù)臄?shù)據(jù)進(jìn)行限速。限速配置策略包括⑴.限制數(shù)據(jù)發(fā)送端最大發(fā)送速率；(2).限制數(shù)據(jù)接收端最大接收速率。所述數(shù)據(jù)傳輸單元，根據(jù)所述限速配置單元配置好的傳輸方式以及限速策略對(duì)數(shù)據(jù)進(jìn)行限速傳輸。所述數(shù)據(jù)傳輸單元采用bt傳輸，提供兩種限速模式模式I:創(chuàng)建限定速率的數(shù)據(jù)種子；根據(jù)限制速率，動(dòng)態(tài)生成傳輸文件的限速種子，其中創(chuàng)建種子時(shí)通過(guò)maxuploadrate參數(shù)實(shí)現(xiàn)對(duì)傳輸?shù)乃俾氏拗疲荒Ｊ?:通過(guò)客戶服務(wù)器的防火墻配置實(shí)現(xiàn)速率的控制，通過(guò)增加iptableslimit和burst參數(shù)配合完成。所述數(shù)據(jù)傳輸單元采用rsync傳輸,通過(guò)對(duì)bwlimit的參數(shù)配置,進(jìn)行流量控制。如圖2所示，一種流量可控的集群部署配置方法，所述方法包括如下步驟(a).選擇文件傳輸方式；(b).選擇是否進(jìn)行傳輸限速，如果選擇限速，進(jìn)入步驟C，否則進(jìn)入步驟e；(c).根據(jù)傳輸方式選擇限速方式；(d).配置限速值和目標(biāo)速率；(e).鏡像或配置文件傳輸；(f).完成鏡像或配置文件的傳輸，開(kāi)始具體的部署或配置。在所述步驟a中,傳輸方式包括bt傳輸方式和rsync傳輸方式。在所述步驟c中，根據(jù)傳輸方式選擇限速方式，如果是bt方式，則可選擇防火墻限速和種子限速，如果是rsync方式傳輸,則通過(guò)rsync自身限速方式。下面通過(guò)實(shí)施例對(duì)流量可控的集群部署配置系統(tǒng)與方法作進(jìn)一步描述。限速配置單元提供較靈活的限速配置功能，運(yùn)維人員在向目標(biāo)節(jié)點(diǎn)傳輸系統(tǒng)鏡像或配置文件時(shí)，可以選擇任意傳輸方式，并對(duì)制定的傳輸方式根據(jù)節(jié)點(diǎn)進(jìn)行限速配置。傳輸方式本系統(tǒng)中提供但不限于以下兩種傳輸方式BT傳輸,rsync傳輸。傳輸方式選擇遵循以下規(guī)則規(guī)則I:向多臺(tái)服務(wù)器傳輸相同數(shù)據(jù)，采用bt方式，提高傳輸效率。規(guī)則2:向多臺(tái)服務(wù)器傳輸不同數(shù)據(jù)，采用rsync方式。限速配置運(yùn)維管理員可以選擇幾種限速策略策略I:限制數(shù)據(jù)發(fā)送端最大發(fā)送速率。策略2:限制數(shù)據(jù)接收端最大接收速率。數(shù)據(jù)傳輸單元運(yùn)維人員配置好傳輸方式以及限速策略后，管理服務(wù)器會(huì)解析限速配置，并根據(jù)傳輸方式的不同采用不同的限速方式進(jìn)行限速傳采用bt傳輸，提供兩種限速模式。模式I:創(chuàng)建限定速率的數(shù)據(jù)種子。根據(jù)運(yùn)維人員期望的限制速率，動(dòng)態(tài)生成傳輸文件的限速種子，其中創(chuàng)建種子時(shí)通過(guò)一max_upload_rate參數(shù)實(shí)現(xiàn)對(duì)傳輸?shù)乃俾氏拗?。模?:通過(guò)目標(biāo)服務(wù)器的防火墻配置實(shí)現(xiàn)速率的控制。通過(guò)增加iptableslimit、burst參數(shù)配合完成。采用rsync傳輸,可直接通過(guò)rsync工具的-bwlimit參數(shù)配置,達(dá)到流量控制的目的。流量可控的集群部署配置方法如圖2，說(shuō)明如下a.運(yùn)維管理員在部署系統(tǒng)或集群批量配置時(shí)，首先選擇文件傳輸方式，提供了bt傳輸方式和rsync傳輸方式。b.確定傳輸方式后，需要選擇是否進(jìn)行傳輸限速，如果選擇限速，進(jìn)入下一步，否則進(jìn)入e。c.根據(jù)傳輸方式選擇限速方式，如果是bt方式，則可選擇防火墻限速和種子限速，如果是rsync方式傳輸,則直接通過(guò)rsync自身限速方式即可。d.配置限速值，根據(jù)實(shí)際需要，配置目標(biāo)速率。e.開(kāi)始鏡像或配置文件傳輸，系統(tǒng)會(huì)自動(dòng)根據(jù)所選的傳輸方式及速率限制配置控制傳輸?shù)乃俾?。f.完成鏡像或配置文件的傳輸，開(kāi)始具體的部署或配置。需要聲明的是，本
發(fā)明內(nèi)容及具體實(shí)施方式意在證明本發(fā)明所提供技術(shù)方案的實(shí)際應(yīng)用，不應(yīng)解釋為對(duì)本發(fā)明保護(hù)范圍的限定。本領(lǐng)域技術(shù)人員在本發(fā)明的精神和原理啟發(fā)下，可作各種修改、等同替換、或改進(jìn)。但這些變更或修改均在申請(qǐng)待批的保護(hù)范圍內(nèi)。權(quán)利要求1.一種流量可控的集群部署配置系統(tǒng)，包括管理服務(wù)器和分別接收其文件的各個(gè)客戶服務(wù)器，其特征在于，所述管理服務(wù)器包括限速配置單元和與其通信的數(shù)據(jù)傳輸單元。2.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述限速配置單元，包括依次設(shè)置的傳輸方式選擇模塊和限速配置模塊。3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述傳輸方式選擇模塊，根據(jù)向各個(gè)客戶服務(wù)器傳輸文件的異同，選擇bt方式或者rsync方式對(duì)文件進(jìn)行傳輸；其中，當(dāng)管理服務(wù)器向各個(gè)客戶服務(wù)器傳輸相同文件時(shí)，米用bt方式傳輸；當(dāng)管理服務(wù)器向各個(gè)服務(wù)器傳輸不同文件時(shí)，采用rsync方式傳輸。4.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述限速配置模塊，根據(jù)限速配置策略對(duì)傳輸?shù)臄?shù)據(jù)進(jìn)行限速。5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其特征在于，限速配置策略包括(I).限制數(shù)據(jù)發(fā)送端最大發(fā)送速率；(2).限制數(shù)據(jù)接收端最大接收速率。6.根據(jù)權(quán)利要求I所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)傳輸單元，根據(jù)所述限速配置單元配置好的傳輸方式以及限速策略對(duì)數(shù)據(jù)進(jìn)行限速傳輸。7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)傳輸單元采用bt傳輸，提供兩種限速模式模式I:創(chuàng)建限定速率的數(shù)據(jù)種子；根據(jù)限制速率，動(dòng)態(tài)生成傳輸文件的限速種子，其中創(chuàng)建種子時(shí)通過(guò)maxuploadrate參數(shù)實(shí)現(xiàn)對(duì)傳輸?shù)乃俾氏拗?；模?:通過(guò)客戶服務(wù)器的防火墻配置實(shí)現(xiàn)速率的控制，通過(guò)增加iptableslimit和burst參數(shù)配合完成。8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述數(shù)據(jù)傳輸單元采用rsync傳輸，通過(guò)對(duì)bwlimit的參數(shù)配置,進(jìn)行流量控制。9.一種流量可控的集群部署配置方法，其特征在于，所述方法包括如下步驟(a).選擇文件傳輸方式；(b).選擇是否進(jìn)行傳輸限速，如果選擇限速，進(jìn)入步驟C，否則進(jìn)入步驟e;(c).根據(jù)傳輸方式選擇限速方式；(d).配置限速值和目標(biāo)速率；(e).鏡像或配置文件傳輸；(f).完成鏡像或配置文件的傳輸，開(kāi)始具體的部署或配置。10.根據(jù)權(quán)利要求9所述的方法，其特征在于，在所述步驟a中，傳輸方式包括bt傳輸方式和rsync傳輸方式。11.根據(jù)權(quán)利要求9所述的方法，其特征在于，在所述步驟c中，根據(jù)傳輸方式選擇限速方式，如果是bt方式，則可選擇防火墻限速和種子限速，如果是rsync方式傳輸，則通過(guò)rsync自身限速方式。全文摘要本發(fā)明提供了一種流量可控的集群部署配置系統(tǒng)和方法，系統(tǒng)包括管理服務(wù)器和分別接收其文件的各個(gè)客戶服務(wù)器，所述管理服務(wù)器包括限速配置單元和與其通信的數(shù)據(jù)傳輸單元；方法包括如下步驟(a).選擇文件傳輸方式；(b).選擇是否進(jìn)行傳輸限速，如果選擇限速，進(jìn)入步驟c，否則進(jìn)入步驟e；(c).根據(jù)傳輸方式選擇限速方式；(d).配置限速值和目標(biāo)速率；(e).鏡像或配置文件傳輸；(f).完成鏡像或配置文件的傳輸，開(kāi)始具體的部署或配置。本發(fā)明提供的流量可控的集群部署配置系統(tǒng)和方法，在集群的部署及配置過(guò)程中引入流量控制機(jī)制，提高網(wǎng)絡(luò)資源利用率；而且，將多種數(shù)據(jù)傳輸及對(duì)應(yīng)限速方式進(jìn)行整合，提供統(tǒng)一配置入口，方便靈活選擇及配置。文檔編號(hào)H04L12/801GK102882799SQ20121033799公開(kāi)日2013年1月16日申請(qǐng)日期2012年9月13日優(yōu)先權(quán)日2012年9月13日發(fā)明者李帥,王明,龔文申請(qǐng)人:曙光信息產(chǎn)業(yè)(北京)有限公司