面向云平臺大數據處理的虛擬網絡構建方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種面向云平臺大數據處理的虛擬網絡構建方法及系統(tǒng)，涉及云計算【技術領域】，所述包括以下步驟：S1：在作業(yè)過程中保證所有虛擬機的總耗時最少的情況下，計算通信代理的最優(yōu)總數koptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和S2：根據所述通信代理的最優(yōu)總數koptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和從云平臺上的服務器中確定通信代理的位置；S3：將所述云平臺上的服務器中未設置通信代理的虛擬機分配至所述通信代理，以實現(xiàn)所述未設置通信代理的虛擬機與所述通信代理之間的映射關系。本發(fā)明通過各步驟之間的配合，降低了作業(yè)執(zhí)行的總時間。
【專利說明】面向云平臺大數據處理的虛擬網絡構建方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及云計算【技術領域】，特別涉及一種面向云平臺大數據處理的虛擬網絡構建方法及系統(tǒng)。
【背景技術】
[0002]隨著云計算技術的廣泛應用，越來越多的大數據處理服務被遷移部署到云計算平臺當中，而云計算平臺的特性會對傳統(tǒng)的MapReduce分布式數據處理方法的性能帶來很多新的挑戰(zhàn)。目前對云計算平臺上MapReduce的性能優(yōu)化主要都集中在應用層面，如優(yōu)化大數據作業(yè)調度方法等。而缺乏對云平臺底層體系結構的研究。將MapReduce并行數據處理應用遷移到云平臺之中，并行計算架構中master和slave節(jié)點之間的數據通信體現(xiàn)在云平臺中虛擬機(VM)之間的通信，因此云平臺的架構會進一步對大數據處理的性能產生影響:合理的VM分配方案以及虛擬網絡構建方案，會優(yōu)化大數據處理過程中VM之間的通信開銷以及VM處理數據塊的計算開銷，提升大數據處理的整體性能。
[0003]OpenStack是一個開源的云管理平臺項目，由于其多方面的優(yōu)勢，在推出的短短3年多時間里就得到了眾多工業(yè)界和學術界同行的認可。迄今為止，OpenStack已經發(fā)布了 8個版本。在其Folsom版中推出了 Quantum組件,提出了“Network as a Service”的概念,該組件可提供基于云平臺的虛擬網絡拓撲構建的基本功能。它允許一個租戶在虛擬機之間構建虛擬網絡，但在一個云平臺中只能單一節(jié)點部署通信代理。在隨后的OpenStack Grizzly版中，為了改善虛擬網絡的性能和可靠性，可以允許租戶在多主機上部署代理節(jié)點。總的來說，目前的Quantum組件只實現(xiàn)了虛擬網絡的通信功能，但并沒有進一步關注虛擬網絡通信性能的提升，具體來說，沒有提供有效的通信代理部署分配方法。

【發(fā)明內容】

[0004](一 )要解決的技術問題
[0005]本發(fā)明要解決的技術問題是:如何降低作業(yè)執(zhí)行的總時間。
[0006]( 二 )技術方案
[0007]為解決上述技術問題，本發(fā)明提供了一種面向云平臺大數據處理的虛擬網絡構建方法，所述包括以下步驟:
[0008]S1:在作業(yè)過程中保證所有虛擬機的總耗時最少的情況下，計算通信代理的最優(yōu)總數I^ptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和AC—；
[0009]S2:根據所述通信代理的最優(yōu)總數k_imal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和N,-，從云平臺上的服務器中確定通信代理的位置；
[0010]S3:將所述云平臺上的服務器中未設置通信代理的虛擬機分配至所述通信代理，以實現(xiàn)所述未設置通信代理的虛擬機與所述通信代理之間的映射關系。
[0011]其中，步驟SI中通過下式計算通信代理的最優(yōu)總數及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和，
【權利要求】
1.一種面向云平臺大數據處理的虛擬網絡構建方法，其特征在于，所述包括以下步驟: S1:在作業(yè)過程中保證所有虛擬機的總耗時最少的情況下，計算通信代理的最優(yōu)總數koptifflal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和; S2:根據所述通信代理的最優(yōu)總數k_imal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和WTiwi，從云平臺上的服務器中確定通信代理的位置； S3:將所述云平臺上的服務器中未設置通信代理的虛擬機分配至所述通信代理，以實現(xiàn)所述未設置通信代理的虛擬機與所述通信代理之間的映射關系。
2.如權利要求1所述的方法，其特征在于，步驟SI中通過下式計算通信代理的最優(yōu)總數及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和，
3.如權利要求2所述的方法，其特征在于，所述通信代理的最優(yōu)總數I^ptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和的表達式如下，
4.如權利要求1所述的方法，其特征在于，步驟S2包括: S201:通過背包算法在m個服務器中選出I^ptimal個，使得所選出的k_imal個服務器上可用虛擬機之和最接近于ArTwai ； S202:將所選出的I^ptimal個服務器作為通信代理。
5.如權利要求1所述的方法，其特征在于，步驟S3包括: S301:將所述云平臺上的服務器中未設置通信代理的虛擬機的性能進行降序排列，以獲得虛擬機序列； S302:將所述虛擬機序列中性能最高的虛擬機作為當前虛擬機，并尋找出負載最輕的通信代理； S303:將所述當前虛擬機分配給所述負載最輕的通信代理；S304:判斷所述虛擬機是否已經全部分配完，若是，則結束流程，否則將所述當前虛擬機從所述虛擬機序列中移除，并返回步驟S302。
6.一種面向云平臺大數據處理的虛擬網絡構建系統(tǒng)，其特征在于，所述系統(tǒng)包括: 參數計算模塊，用于在作業(yè)過程中保證所有虛擬機的總耗時最少的情況下，計算通信代理的最優(yōu)總數I^ptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和； 位置確定模塊，用于根據所述通信代理的最優(yōu)總數I^ptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和iVT"11，從云平臺上的服務器中確定通信代理的位置； 虛擬機分配模塊，用于將所述云平臺上的服務器中未設置通信代理的虛擬機分配至所述通信代理，以實現(xiàn)所述未設置通信代理的虛擬機與所述通信代理之間的映射關系。
7.如權利要求6所述的系統(tǒng)，其特征在于，所述參數計算模塊中通過下式計算通信代理的最優(yōu)總數及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和，
8.如權利要求7所述的系統(tǒng)，其特征在于，所述通信代理的最優(yōu)總數I^ptimal及設于所述通信代理的服務器上的虛擬機最優(yōu)數量之和Nfmnl的表達式如下，
9.如權利要求6所述的系統(tǒng)，其特征在于，所述位置確定模塊包括: 服務器選出子模塊，用于通過背包算法在m個服務器中選出I^ptimal個，使得所選出的koptifflal個服務器上可用虛擬機之和最接近于N0Jmmal; 代理設置子模塊，用于將所選出的k_imal個服務器作為通信代理。
10.如權利要求6所述的系統(tǒng)，其特征在于，所述虛擬機分配模塊包括: 排序子模塊，用于將所述云平臺上的服務器中未設置通信代理的虛擬機的性能進行降序排列，以獲得虛擬機序列； 尋找子模塊，用于將所述虛擬機序列中性能最高的虛擬機作為當前虛擬機，并尋找出負載最輕的通信代理；分配子模塊，用于將所述當前虛擬機分配給所述負載最輕的通信代理； 移除子模塊，用于判斷所述虛擬機是否已經全部分配完，否則將所述當前虛擬機從所述虛擬機序列 中移除。
【文檔編號】H04L29/08GK104009904SQ201410222239
【公開日】2014年8月27日 申請日期:2014年5月23日 優(yōu)先權日:2014年5月23日
【發(fā)明者】楊家海, 徐聰, 俞薈, 王燁, 馮瑞軍, 殷康 申請人:清華大學, 中國移動通信集團公司