一種基于超融合存儲的資源遷移調度方法
【專利摘要】本發(fā)明涉及一種基于超融合存儲的資源遷移調度方法，包括以下步驟：1)在每個虛擬化平臺上創(chuàng)建一個虛擬機作為控制虛擬機；2)在各個控制虛擬機上安裝分布式文件系統(tǒng)，并由各個控制虛擬機組建分布式集群；3)整個分布式文件系統(tǒng)構成的存儲資源掛載給虛擬化平臺進行使用；4)控制虛擬機的監(jiān)控模塊實時采集虛擬化平臺的計算負載信息和分布式文件系統(tǒng)的存儲負載信息；5)控制虛擬機根據(jù)計算負載信息和存儲負載信息進行虛擬機的計算資源和存儲資源遷移。與現(xiàn)有技術相比，本發(fā)明綜合考慮整個集群系統(tǒng)的計算資源和存儲資源，從而達到資源的充分利用和系統(tǒng)性能的提升。
【專利說明】一種基于超融合存儲的資源遷移調度方法

【技術領域】
[0001]本發(fā)明涉及一種計算機存儲【技術領域】，尤其是涉及一種基于超融合存儲的資源迀移調度方法。

【背景技術】
[0002]虛擬化技術作為構建云計算環(huán)境的技術基石之一，其部署規(guī)模和使用范圍都在迅速增長，而在傳統(tǒng)的虛擬化解決方案為虛擬化平臺使用的傳統(tǒng)存儲資源通過外部FC/IP網絡獲取的SAN或NAS的存儲資源，這種方案能夠基本解決系統(tǒng)的高可用，但由于將計算資源(虛擬化平臺)和存儲資源(傳統(tǒng)的網絡存儲)分離使得1路徑過長，數(shù)據(jù)訪問延時較大，且分開的系統(tǒng)也造成在成本的浪費和系統(tǒng)管理的復雜度增加。考慮到傳統(tǒng)解決方案的不足，將計算資源和存儲資源整合到一個物理機器，通過分布式文件系統(tǒng)提供存儲資源的高可用的超融合存儲方案正逐步走向成熟，成為虛擬化存儲的新寵。
[0003]在超融合存儲的基本體系結構中，由于可以充分考慮計算資源和存儲資源兩種資源相對傳統(tǒng)的虛擬化平臺只是單方面的考慮計算資源的迀移調度，可以提供更加高效準確的迀移調度方法。


【發(fā)明內容】

[0004]本發(fā)明的目的就是為了克服上述現(xiàn)有技術存在的缺陷而提供一種基于超融合存儲的資源迀移調度方法，綜合考慮整個集群系統(tǒng)的計算資源和存儲資源，從而達到資源的充分利用和系統(tǒng)性能的提升。
[0005]本發(fā)明的目的可以通過以下技術方案來實現(xiàn):
[0006]一種基于超融合存儲的資源迀移調度方法，其特征在于，包括以下步驟:
[0007]I)在每個虛擬化平臺上創(chuàng)建一個虛擬機作為控制虛擬機；
[0008]2)在各個控制虛擬機上安裝分布式文件系統(tǒng)，并由各個控制虛擬機組建分布式集群；
[0009]3)整個分布式文件系統(tǒng)構成的存儲資源掛載給虛擬化平臺進行使用；
[0010]4)控制虛擬機的監(jiān)控模塊實時采集虛擬化平臺的計算負載信息和分布式文件系統(tǒng)的存儲負載信息；
[0011]5)控制虛擬機根據(jù)計算負載信息和存儲負載信息進行虛擬機的計算資源和存儲資源迀移。
[0012]所述的各個控制虛擬機組建的分布式文件系統(tǒng)使用NFS協(xié)議向虛擬化平臺提供存儲資源，并在NFS協(xié)議層實現(xiàn)高可用性HA。
[0013]所述的分布式文件系統(tǒng)提供統(tǒng)一的命名空間并使用多副本冗余存儲，使得存儲資源具有高可用性，并各虛擬化平臺對應的存儲資源的具體物理位置透明。
[0014]所述的多副本為兩副本或三副本。
[0015]所述的采集虛擬化平臺的計算負載信息具體為:
[0016]所述的控制虛擬機采集各虛擬化平臺上的各個運行虛擬機的CPU、內存和網絡的計算負荷信息，從而獲得整個虛擬化平臺的CPU、內存和網絡的計算負載信息。
[0017]所述的采集存儲負載信息具體為:
[0018]所述的控制虛擬機獲取分布式文件系統(tǒng)的1負載信息，并獲取各個使用其存儲資源的各個虛擬機的位置信息。
[0019]整個虛擬化集群的性能除了考慮計算代價和1\0代價之外。還應該包括數(shù)據(jù)在網絡上的傳輸代價。即總代價=計算代價+1\0代價+通信代價。因此整個集群在計算資源和1\0資源基本均衡的情況下，主要考慮計算資源盡可能本地化，從而降低系統(tǒng)的通信代價，使得系統(tǒng)性能獲得提升。因此控制虛擬機根據(jù)計算負載信息和存儲負載信息進行虛擬機的計算資源和存儲資源迀移具體為:
[0020]I)計算資源調度根據(jù)集群中每個運行的應用虛擬機所使用CPU和內存情況，使用回溯算法將其均勻分布運行到各個虛擬化管理平臺上；
[0021]2)控制虛擬機根據(jù)當前收集的各個控制虛擬機的1PS和帶寬情況，判斷存儲的負載情況和均衡程度是否均在虛擬機迀移的閥值內，若為是進行步驟3，否則觸發(fā)虛擬化平臺的重新分配，返回步驟I);
[0022]3)將應用虛擬機的計算位置和存儲位置放置到同一臺虛擬化平臺上，使其無需經過物理網絡，實現(xiàn)數(shù)據(jù)的本地化，完成無網絡的NFS最優(yōu)通信代價；
[0023]4)資源調度器將根據(jù)策略定時掃描系統(tǒng)，檢測是否需要進行資源的迀移。
[0024]當集群中的某個物理節(jié)點故障時，資源調度器的HA功能對運行在故障節(jié)點上的應用虛擬機進行調度迀移，在其計算資源進行穩(wěn)態(tài)后，其故障節(jié)點對應的存儲資源副本根據(jù)其對應虛擬機的分配，來迀移存儲資源副本，以實現(xiàn)迀移后虛擬機與迀移后存儲資源副本的位置最近。
[0025]物理節(jié)點故障包括節(jié)點宕機或節(jié)點失聯(lián)。
[0026]與現(xiàn)有技術相比，本發(fā)明具有以下優(yōu)點:
[0027]I)基于超融合存儲，實現(xiàn)計算資源和存儲資源的統(tǒng)一。
[0028]2)從存儲資源和計算資源兩個方面的著手，能夠實現(xiàn)更加精確的調度，實現(xiàn)資源的充分利用和系統(tǒng)的整體性能提升。
[0029]3)對故障節(jié)點的快速感知，并對故障的相關虛擬機進行快速迀移，使得整個系統(tǒng)具有尚可用性。

【專利附圖】

【附圖說明】
[0030]圖1是超融合存儲整體示意圖；
[0031]圖2是超融合存儲的數(shù)據(jù)訪問示意圖；
[0032]圖3是虛擬機在線迀移的處理示意圖；
[0033]圖4是虛擬化宕機后計算資源遷移不意圖；
[0034]圖5是虛擬化宕機后存儲資源迀移調整示意圖。

【具體實施方式】
[0035]下面結合附圖和具體實施例對本發(fā)明進行詳細說明。
[0036]實施例
[0037]本發(fā)明設計出基于超融合存儲的虛資源迀移調度方法，本發(fā)明的技術問題通過以下關鍵技術予以解決:
[0038](I)存儲系統(tǒng)實現(xiàn)一個分布式文件體統(tǒng)，將集群中的服務器的存儲資源匯聚成一個統(tǒng)一的存儲資源池。
[0039](2)分布式文件系統(tǒng)提供統(tǒng)一的名稱空間，并提供高可用的NFS，虛擬化平臺通過NFS協(xié)議訪問存儲資源。
[0040](3)每個虛擬化平臺分別通過不同的IP地址掛載到與其對應的存儲資源上。
[0041](4)超融合存儲系統(tǒng)的管理節(jié)點連接到集群中的各個虛擬化平臺采集其相關數(shù)據(jù)作為計算資源迀移調度參考數(shù)據(jù)。
[0042](5)超融合存儲系統(tǒng)的管理節(jié)點采集分布式系統(tǒng)各個節(jié)點的1相關數(shù)據(jù)，并獲取其訪問其節(jié)點的對應虛擬機的相對位置，作為存儲資源迀移調度的參考數(shù)據(jù)。
[0043](6)管理節(jié)點的監(jiān)控模塊根據(jù)采集的計算資源和存儲資源的性能數(shù)據(jù)綜合分析，獲得相關的調度策略，并向虛擬化平臺發(fā)送相應的迀移命令。
[0044](7)當集群中的服務器出現(xiàn)故障時，管理節(jié)點能夠快速感知，迅速作出相應的調度策略，使系統(tǒng)實現(xiàn)高可用。
[0045]下面將結合本發(fā)明實施例中的附圖，對本發(fā)明的技術方案進行清楚、完整地描述。此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0046]如圖1所示，超融合存儲的虛擬化解決方案主要由虛擬化平臺上的虛擬機組成的計算資源池和有ECFS分布式文件系統(tǒng)組成的存儲資源池兩部分組成。在虛擬化平臺上有一個特殊的虛擬機CVM(控制虛擬機)由他作為ECFS的宿主系統(tǒng)，各個虛擬機實際為訪問CVM構建的ECFS文件系統(tǒng)，在簡單介紹了超融合存儲的解決方案后，我們重點來解釋超融合存儲的數(shù)據(jù)訪問和資源的迀移調度。
[0047](I)如圖2所示由4臺物理機組成的虛擬化集群的系統(tǒng)中，各個虛擬機的存儲資源為2副本的冗余存儲，以實現(xiàn)系統(tǒng)的高可用，而各個虛擬化平臺通過NFS協(xié)議訪問系統(tǒng)的存儲資源。我們以虛擬機E數(shù)據(jù)寫入為例，當虛擬機E中有數(shù)據(jù)寫入時，先通過本地的網絡即storage 1\0將數(shù)據(jù)寫入，然后分布式系統(tǒng)再將數(shù)據(jù)通過共有網絡即network 1\0寫入到對應的副本位置，確保數(shù)據(jù)的高可用。當數(shù)據(jù)讀取時則可真正實現(xiàn)無網絡的訪問到數(shù)據(jù)E，這樣就能實現(xiàn)無網絡的NFS使得系統(tǒng)的性能獲得極大提高，這也是時后面提到的存儲資源迀移的重要原則一一盡量實現(xiàn)無網絡的NFS訪問。
[0048](2)在虛擬化平臺的集群中，根據(jù)平臺的CPU，內存等情況將各個虛擬機熱迀移到集群中的各個分布式平臺，在商用的方案中如VMware的HA，如圖3所示，在超融合存儲的方案中由于在資源的使用中采用統(tǒng)一命令空間，所以計算資源的迀移對存儲資源透明，如在圖3中的應用虛擬機D有虛擬化平臺的HA引發(fā)虛擬機的迀移，應用虛擬機被迀移到另一個虛擬化平臺，發(fā)生迀移后依然可以訪問到原來的存儲資源，存儲資源不用發(fā)生迀移，但這是系統(tǒng)的監(jiān)控模塊采集相關計算資源的相對位置，根據(jù)系統(tǒng)的傳輸代價，可以引發(fā)存儲資源的迀移。
[0049](3)如圖4所示，當集群中的機器出現(xiàn)宕機時，圖中第二臺機器宕機，其上的計算資源DEF和存儲資源ABCDEF全部不可用，在存儲資源池中由于采用2副本技術，在其他機器上仍然有可用的對應的存儲資源，計算資源的HA就可以將對應的應用虛擬主機迀移到其他的節(jié)點上這樣實現(xiàn)整個虛擬化集群的高可用。
[0050](4)在進行計算資源的迀移后，將會出現(xiàn)大量的跨網絡的NFS訪問，這個不利于超融合存儲的系統(tǒng)性能，所以超融合存儲的監(jiān)控系統(tǒng)將對計算資源的相對位置進行分析，獲取一個最佳的迀移方案，將系統(tǒng)還原為計算資源與存儲資源就近的系統(tǒng)，迀移后如圖5所不O
[0051]綜上所述，本發(fā)明通過基于超融合存儲的虛擬機迀移調度，在虛擬化平臺中，優(yōu)化了 1處理機制，使得虛擬化平臺整體性能得到提高。
【權利要求】
1.一種基于超融合存儲的資源迀移調度方法，其特征在于，包括以下步驟: 1)在每個虛擬化平臺上創(chuàng)建一個虛擬機作為控制虛擬機； 2)在各個控制虛擬機上安裝分布式文件系統(tǒng)，并由各個控制虛擬機組建分布式集群； 3)整個分布式文件系統(tǒng)構成的存儲資源掛載給虛擬化平臺進行使用； 4)控制虛擬機的監(jiān)控模塊實時采集虛擬化平臺的計算負載信息和分布式文件系統(tǒng)的存儲負載信息； 5)控制虛擬機根據(jù)計算負載信息和存儲負載信息進行虛擬機的計算資源和存儲資源迀移。
2.根據(jù)權利要求1所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，所述的各個控制虛擬機組建的分布式文件系統(tǒng)使用NFS協(xié)議向虛擬化平臺提供存儲資源，并在NFS協(xié)議層實現(xiàn)高可用性HA。
3.根據(jù)權利要求1所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，所述的分布式文件系統(tǒng)提供統(tǒng)一的命名空間并使用多副本冗余存儲，使得存儲資源具有高可用性，并各虛擬化平臺對應的存儲資源的具體物理位置透明。
4.根據(jù)權利要求3所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，所述的多副本為兩副本或三副本。
5.根據(jù)權利要求1所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，所述的采集虛擬化平臺的計算負載信息具體為: 所述的控制虛擬機采集各虛擬化平臺上的各個運行虛擬機的CPU、內存和網絡的計算負荷信息，從而獲得整個虛擬化平臺的CPU、內存和網絡的計算負載信息。
6.根據(jù)權利要求1所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，所述的采集存儲負載信息具體為: 所述的控制虛擬機獲取分布式文件系統(tǒng)的1負載信息，并獲取各個使用其存儲資源的各個虛擬機的位置信息。
7.根據(jù)權利要求5或6所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，控制虛擬機根據(jù)計算負載信息和存儲負載信息進行虛擬機的計算資源和存儲資源迀移具體為: 1)計算資源調度根據(jù)集群中每個運行的應用虛擬機所使用CPU和內存情況，使用回溯算法將其均勻分布運行到各個虛擬化管理平臺上； 2)控制虛擬機根據(jù)當前收集的各個控制虛擬機的1PS和帶寬情況，判斷存儲的負載情況和均衡程度是否均在虛擬機迀移的閥值內，若為是進行步驟3，否則觸發(fā)虛擬化平臺的重新分配，返回步驟I); 3)將應用虛擬機的計算位置和存儲位置放置到同一臺虛擬化平臺上，實現(xiàn)數(shù)據(jù)的本地化，完成無網絡的NFS最優(yōu)通信代價； 4)資源調度器將根據(jù)策略定時掃描系統(tǒng)，檢測是否需要進行資源的迀移。
8.根據(jù)權利要求7所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，當集群中的某個物理節(jié)點故障時，資源調度器的HA功能對運行在故障節(jié)點上的應用虛擬機進行調度迀移，在其計算資源進行穩(wěn)態(tài)后，其故障節(jié)點對應的存儲資源副本根據(jù)其對應虛擬機的分配，來迀移存儲資源副本，以實現(xiàn)迀移后虛擬機與迀移后存儲資源副本的位置最 近。
9.根據(jù)權利要求8所述的一種基于超融合存儲的資源迀移調度方法，其特征在于，物理節(jié)點故障包括節(jié)點宕機或節(jié)點失聯(lián)。
【文檔編號】H04L29/08GK104506589SQ201410756495
【公開日】2015年4月8日 申請日期:2014年12月10日 優(yōu)先權日:2014年12月10日
【發(fā)明者】雍帥 申請人:上海愛數(shù)軟件有限公司