本發(fā)明屬于計算機(jī)虛擬化領(lǐng)域，更具體地，涉及一種基于帶寬感知的虛擬機(jī)遷移壓縮方法及系統(tǒng)。

背景技術(shù)：

近年來，隨著云計算以及虛擬化技術(shù)的發(fā)展，虛擬機(jī)正在越來越廣泛地被部署于數(shù)據(jù)中心以及集群環(huán)境中。由于虛擬機(jī)可以對計算機(jī)資源進(jìn)行抽象模擬，可以在已有的計算機(jī)硬件資源基礎(chǔ)上，模擬出虛擬硬件資源，因此它具有模擬不同平臺、提高計算機(jī)資源利用率、便于管理、應(yīng)用隔離等眾多優(yōu)點(diǎn)。

虛擬機(jī)遷移，是指在保證虛擬機(jī)中服務(wù)正常運(yùn)行的同時，虛擬機(jī)在不同的物理主機(jī)之間進(jìn)行遷移。為了保證遷移過程中虛擬機(jī)服務(wù)的可用性，遷移過程僅有非常短暫的停機(jī)時間。由于停機(jī)切換的時間非常短暫，用戶感覺不到服務(wù)的中斷，因而遷移過程對用戶是透明的。虛擬機(jī)遷移適用于數(shù)據(jù)中心的負(fù)載均衡、節(jié)能以及系統(tǒng)維護(hù)等諸多場景，因此是虛擬化技術(shù)的一個非常重要的特性。

虛擬機(jī)遷移通常是在本地局域網(wǎng)內(nèi)進(jìn)行的，這種環(huán)境中虛擬機(jī)是采用共享存儲的方式訪問外存，因此只需要遷移虛擬機(jī)的內(nèi)存數(shù)據(jù)以及虛擬cpu等設(shè)備狀態(tài)即可，并且虛擬機(jī)內(nèi)存占了所需遷移數(shù)據(jù)的絕大部分。預(yù)拷貝方式是被各個虛擬化平臺廣泛采用的最主要的遷移算法。預(yù)拷貝的遷移過程是首先拷貝完整的虛擬機(jī)內(nèi)存鏡像到目標(biāo)主機(jī)。在此過程中，由于虛擬機(jī)仍在運(yùn)行，其一部分內(nèi)存頁會被修改，這些被修改過的內(nèi)存臟頁需要在下一輪迭代中再次傳輸?shù)侥繕?biāo)主機(jī)。此后每一輪迭代過程中產(chǎn)生的臟頁都需要在下一輪重新傳輸，從而保證內(nèi)存狀態(tài)的一致性。經(jīng)過多輪迭代，最終剩余的臟頁數(shù)量比較少，達(dá)到預(yù)設(shè)的閾值時，就可以進(jìn)行停機(jī)拷貝，結(jié)束迭代拷貝的過程。

現(xiàn)有的預(yù)拷貝遷移方式雖然可以實現(xiàn)較短的停機(jī)時間，但是存在以下問題：由于內(nèi)存數(shù)據(jù)需要多輪的迭代傳輸，其網(wǎng)絡(luò)傳輸數(shù)據(jù)量較大，遷移時間也較長；此外，如果虛擬機(jī)中運(yùn)行的負(fù)載是寫內(nèi)存密集型的，那么虛擬機(jī)內(nèi)存被寫臟的速度可能會過快，這時預(yù)拷貝的遷移方式便無法正常收斂進(jìn)入停機(jī)拷貝階段，也就無法正常地完成遷移過程。這些問題大大影響了虛擬機(jī)遷移的性能，導(dǎo)致在數(shù)據(jù)中心中使用虛擬機(jī)遷移技術(shù)時不能達(dá)到預(yù)期的效果。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種基于帶寬感知的虛擬機(jī)遷移壓縮方法及系統(tǒng)，其目的在于先檢測多種壓縮方法分別用于多種典型負(fù)載的壓縮率和壓縮速度，建立壓縮索策略表，再以預(yù)定的頻率感知帶寬，計算當(dāng)前帶寬下各個壓縮方法所對應(yīng)的遷移速度，利用最大遷移速度所對應(yīng)的壓縮方法進(jìn)行壓縮遷移，由此解決常規(guī)壓縮遷移技術(shù)問題。

為實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種基于帶寬感知的虛擬機(jī)遷移壓縮方法，該方法以預(yù)設(shè)的頻率檢測網(wǎng)絡(luò)帶寬，利用帶寬和壓縮策略表中的每對壓縮率和壓縮速度計算遷移速度，選擇最大遷移速度所對應(yīng)的壓縮方法對虛擬機(jī)當(dāng)前內(nèi)存數(shù)據(jù)進(jìn)行壓縮遷移。

進(jìn)一步地，本發(fā)明方法具體包含以下步驟：

(1)監(jiān)測網(wǎng)絡(luò)帶寬，獲得虛擬機(jī)遷移可以利用的實時網(wǎng)絡(luò)帶寬st；

(2)利用壓縮策略表中各種壓縮方法所對應(yīng)的壓縮率ρi和壓縮速度sci計算遷移速度smgti，

smgti＝min(sci,st×ρi)，

得到多個遷移速度，對比得出最大的遷移速度；

(3)找出得到最大遷移速度的壓縮率和壓縮速度，用其在壓縮策略表中對應(yīng)的壓縮方法對虛擬機(jī)當(dāng)前內(nèi)存數(shù)據(jù)進(jìn)行壓縮遷移。

進(jìn)一步地，所述壓縮策略表預(yù)先采用以下方法得到：

在數(shù)據(jù)中心運(yùn)行環(huán)境下選取多個典型負(fù)載依次運(yùn)行于虛擬機(jī)中，并分別用多種壓縮方法進(jìn)行內(nèi)存數(shù)據(jù)的壓縮檢測，每種壓縮方法得到一對壓縮率和壓縮速度，所有壓縮方法和其對應(yīng)的壓縮率和壓縮速度組成壓縮策略表。

進(jìn)一步地，所述獲得壓縮策略表的方法具體包括以下子步驟：

(31)選取一種數(shù)據(jù)中心中的典型負(fù)載，運(yùn)行于虛擬機(jī)中；

(32)選取一種壓縮方法進(jìn)行壓縮遷移，并在每一輪壓縮后將所有的內(nèi)存頁都設(shè)置為臟頁，并更換另一種壓縮方法進(jìn)行壓縮遷移，m種壓縮方式共迭代m輪；記錄每輪壓縮所需壓縮總時間和壓縮后數(shù)據(jù)大??；

(33)更換另一種典型負(fù)載，返回步驟(31)，直到n種數(shù)據(jù)中心中的典型負(fù)載壓縮完成；

(34)計算第i種壓縮方法對于第j種負(fù)載的壓縮率ρij，

ρij＝壓縮前數(shù)據(jù)大小/壓縮后數(shù)據(jù)大小，

計算第i種壓縮方法對于第j種負(fù)載的壓縮速度scij，

scij＝壓縮前數(shù)據(jù)大小/壓縮總時間；

其中，1≤i≤m；1≤j≤n；

(35)計算第i種壓縮方法對于n種負(fù)載的平均壓縮率ρi，

ρi＝(ρi1+ρi2+…+ρin)/n，

計算第i種壓縮方法對于n種負(fù)載的平均壓縮速度sci，

sci＝(sci1+sci2+…+scin)/n

一共得到m種壓縮方法所對應(yīng)的m對平均壓縮率ρi和平均壓縮速度sci，壓縮方法和所對應(yīng)的平均壓縮率及平均壓縮速度共同構(gòu)成壓縮策略表。

進(jìn)一步地，本發(fā)明方法還包括一個合并步驟：

合并步驟：進(jìn)行內(nèi)存數(shù)據(jù)壓縮前先將多個內(nèi)存頁合并為一個數(shù)據(jù)包，再對數(shù)據(jù)包進(jìn)行整體壓縮。

按照本發(fā)明的另一方面，提供了一種基于帶寬感知的虛擬機(jī)遷移壓縮系統(tǒng)，該系統(tǒng)用于以預(yù)設(shè)的頻率檢測網(wǎng)絡(luò)帶寬，利用帶寬和壓縮策略表中的每對壓縮率和壓縮速度計算遷移速度，選擇最大遷移速度所對應(yīng)的壓縮方法對虛擬機(jī)當(dāng)前內(nèi)存數(shù)據(jù)進(jìn)行壓縮遷移。

進(jìn)一步地，本發(fā)明系統(tǒng)具體包含以下部分：

帶寬檢測模塊，用于監(jiān)測網(wǎng)絡(luò)帶寬，獲得虛擬機(jī)遷移可以利用的實時網(wǎng)絡(luò)帶寬st；

遷移速度計算模塊，用于利用壓縮策略表中各種壓縮方法所對應(yīng)的壓縮率ρi和壓縮速度sci計算遷移速度smgti，

smgti＝min(sci,st×ρi)，

得到多個遷移速度，對比得出最大的遷移速度；

壓縮遷移模塊，用于找出得到最大遷移速度的壓縮率和壓縮速度，用其在壓縮策略表中對應(yīng)的壓縮方法對虛擬機(jī)當(dāng)前內(nèi)存數(shù)據(jù)進(jìn)行壓縮遷移。

進(jìn)一步地，所述壓縮策略表預(yù)先采用以下模塊得到：

壓縮策略表模塊，用于在數(shù)據(jù)中心運(yùn)行環(huán)境下選取多個典型負(fù)載依次運(yùn)行于虛擬機(jī)中，并分別用多種壓縮方法進(jìn)行內(nèi)存數(shù)據(jù)的壓縮檢測，每種壓縮方法得到一對壓縮率和壓縮速度，所有壓縮方法和其對應(yīng)的壓縮率和壓縮速度組成壓縮策略表。

進(jìn)一步地，所述壓縮策略表模塊具體包括以下部分：

負(fù)載運(yùn)行單元，用于選取一種數(shù)據(jù)中心中的典型負(fù)載，運(yùn)行于虛擬機(jī)中；

迭代壓縮單元，用于選取一種壓縮方法進(jìn)行壓縮遷移，并在每一輪壓縮后將所有的內(nèi)存頁都設(shè)置為臟頁，并更換另一種壓縮方法進(jìn)行壓縮遷移，m種壓縮方式共迭代m輪；記錄每輪壓縮所需壓縮總時間和壓縮后數(shù)據(jù)大??；

更換負(fù)載單元，用于更換另一種典型負(fù)載，返回負(fù)載運(yùn)行單元，直到n種數(shù)據(jù)中心中的典型負(fù)載壓縮完成；

計算單元，用于計算第i種壓縮方法對于第j種負(fù)載的壓縮率ρij，

ρij＝壓縮前數(shù)據(jù)大小/壓縮后數(shù)據(jù)大小，

計算第i種壓縮方法對于第j種負(fù)載的壓縮速度scij，

scij＝壓縮前數(shù)據(jù)大小/壓縮總時間；

其中，1≤i≤m；1≤j≤n；

策略表構(gòu)建單元，用于計算第i種壓縮方法對于n種負(fù)載的平均壓縮率ρi，

ρi＝(ρi1+ρi2+…+ρin)/n，

計算第i種壓縮方法對于n種負(fù)載的平均壓縮速度sci，

sci＝(sci1+sci2+…+scin)/n

一共得到m種壓縮方法所對應(yīng)的m對平均壓縮率ρi和平均壓縮速度sci，壓縮方法和所對應(yīng)的平均壓縮率及平均壓縮速度共同構(gòu)成壓縮策略表。

進(jìn)一步地，本發(fā)明系統(tǒng)還包括合并模塊：

合并模塊，用于在內(nèi)存數(shù)據(jù)壓縮前先將多個內(nèi)存頁合并為一個數(shù)據(jù)包，再對數(shù)據(jù)包進(jìn)行整體壓縮。

總體而言，通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有以下技術(shù)特征及有益效果：

(1)本發(fā)明根據(jù)遷移實時帶寬動態(tài)調(diào)整壓縮方法，同使用單一固定的壓縮方法相比，可以獲得更短的遷移時間，當(dāng)網(wǎng)絡(luò)帶寬較高時，本發(fā)明會選擇快速而壓縮率較低的壓縮方法；反之，當(dāng)帶寬較低時，會選擇慢速而壓縮率較高的壓縮方法，這樣的動態(tài)調(diào)整過程可以使遷移系統(tǒng)獲得更大的吞吐率，從而獲得更短的遷移時間；

(2)由于不同負(fù)載運(yùn)行于虛擬機(jī)中時，虛擬機(jī)內(nèi)存中的數(shù)據(jù)內(nèi)容差異很大，因此同一種壓縮方法在壓縮不同負(fù)載的內(nèi)存時，所得到的壓縮率和壓縮速度有一定差異，本發(fā)明通過若干典型負(fù)載而獲得平均壓縮率和壓縮速度，從而組成壓縮策略表的方法，避免了對不同負(fù)載采用不同的壓縮策略表，這使得本發(fā)明的具體實施更為可行和簡便；

(3)本發(fā)明將多個虛擬機(jī)內(nèi)存頁打包進(jìn)行壓縮的方法，挖掘了壓縮算法的壓縮窗口遠(yuǎn)大于單個內(nèi)存頁的特點(diǎn)，壓縮算法是在壓縮窗口的范圍內(nèi)尋找冗余數(shù)據(jù)從而進(jìn)行壓縮，因此本發(fā)明提出的更大的壓縮粒度可以進(jìn)一步提升內(nèi)存數(shù)據(jù)的壓縮率，從而減少數(shù)據(jù)傳輸量，節(jié)省網(wǎng)絡(luò)資源。

附圖說明

圖1是本發(fā)明方法的流程示意圖；

圖2是本發(fā)明方法實施例的系統(tǒng)結(jié)構(gòu)圖；

圖3是lz4壓縮算法的壓縮率和壓縮速度的變化曲線示意圖；

圖4a是采用本發(fā)明方法和現(xiàn)有預(yù)拷貝遷移的遷移時間對比示意圖；

圖4b是采用本發(fā)明方法和現(xiàn)有預(yù)拷貝遷移的遷移數(shù)據(jù)量對比示意圖。

具體實施方式

為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。

如圖1所示，本發(fā)明方法以預(yù)設(shè)的頻率檢測網(wǎng)絡(luò)帶寬，利用帶寬和壓縮策略表中的每對壓縮率和壓縮速度計算遷移速度，選擇最大遷移速度所對應(yīng)的壓縮方法對虛擬機(jī)當(dāng)前內(nèi)存數(shù)據(jù)進(jìn)行壓縮遷移；在遷出端，壓縮前先將多個內(nèi)存頁合并為一個數(shù)據(jù)包，再對數(shù)據(jù)包進(jìn)行整體壓縮；在遷入端，將接收到的網(wǎng)絡(luò)數(shù)據(jù)包解壓，從而獲得虛擬機(jī)的內(nèi)存頁。

具體分為以下子步驟：

(1)監(jiān)測網(wǎng)絡(luò)帶寬，獲得虛擬機(jī)遷移可以利用的實時網(wǎng)絡(luò)帶寬st；

(2)利用壓縮策略表中各種壓縮方法所對應(yīng)的壓縮率ρi和壓縮速度sci計算遷移速度smgti，

smgti＝min(sci,st×ρi)，

得到多個遷移速度，對比得出最大的遷移速度；

(3)找出得到最大遷移速度的壓縮率和壓縮速度，用其在壓縮策略表中對應(yīng)的壓縮方法對虛擬機(jī)當(dāng)前內(nèi)存數(shù)據(jù)進(jìn)行壓縮遷移；

在遷出端，設(shè)置一個緩沖區(qū)，將要傳輸?shù)奶摂M機(jī)內(nèi)存頁首先拷貝到該緩沖區(qū)中，當(dāng)緩沖區(qū)滿后，將整個緩沖區(qū)進(jìn)行一次壓縮，將壓縮后的數(shù)據(jù)包傳輸?shù)竭w入端；

在遷入端，設(shè)置一個和遷出端中同樣大小的緩沖區(qū)，將接收到的數(shù)據(jù)包解壓后得到的內(nèi)存頁放入該緩沖區(qū)，然后再把每一個內(nèi)存頁放置到對應(yīng)的虛擬機(jī)地址空間中；

這樣選擇出來的壓縮方法是當(dāng)前階段使得遷移速度最大的一個；根據(jù)網(wǎng)絡(luò)帶寬動態(tài)調(diào)整壓縮方法使得在整個遷移過程的各個階段都使用現(xiàn)階段吞吐率最大的壓縮方法，從而顯著縮短了遷移時間。

以上內(nèi)容中所述壓縮策略表預(yù)先采用以下方法得到：在數(shù)據(jù)中心運(yùn)行環(huán)境下選取多個典型負(fù)載依次運(yùn)行于虛擬機(jī)中，并分別用多種壓縮方法進(jìn)行內(nèi)存數(shù)據(jù)的壓縮檢測，每種壓縮方法得到一對壓縮率和壓縮速度，所有壓縮方法和其對應(yīng)的壓縮率和壓縮速度組成壓縮策略表

具體分為以下步驟：

(31)選取一種數(shù)據(jù)中心中的典型負(fù)載，運(yùn)行于虛擬機(jī)中；

(32)選取一種壓縮方法進(jìn)行壓縮遷移，在壓縮前，設(shè)置一個緩沖區(qū)，將要傳輸?shù)奶摂M機(jī)內(nèi)存頁首先拷貝到該緩沖區(qū)中，當(dāng)緩沖區(qū)滿后，將整個緩沖區(qū)進(jìn)行一次壓縮，并在每一輪壓縮后將所有的內(nèi)存頁都設(shè)置為臟頁，并更換另一種壓縮方法進(jìn)行壓縮遷移，m種壓縮方式共迭代m輪；記錄每輪壓縮所需壓縮總時間和壓縮后數(shù)據(jù)大小；

這樣對預(yù)拷貝遷移的修改可以使虛擬機(jī)地址空間中所有的內(nèi)存頁進(jìn)行多輪傳輸，而在每一輪傳輸時選用一種壓縮方法來測得壓縮率和壓縮速度，從而只需進(jìn)行一次遷移操作就可以測得所有壓縮方法對某一負(fù)載的壓縮率和壓縮速度，這簡化了獲得壓縮策略表的過程；

具體到實施例中，采用lz4算法，選取了16個不同的lz4加速值，分別是1,3,5,7……31，這樣構(gòu)成了16種壓縮方法，因為相鄰兩個lz4加速值(比如1和2)產(chǎn)生的壓縮率和壓縮速度差異較小，因此本實施例選擇采用以2為步數(shù)來選擇加速值；

(33)更換另一種典型負(fù)載，返回步驟(31)，直到n種數(shù)據(jù)中心中的典型負(fù)載壓縮完成；

(34)計算第i種壓縮方法對于第j種負(fù)載的壓縮率ρij，

ρij＝壓縮前數(shù)據(jù)大小/壓縮后數(shù)據(jù)大小，

計算第i種壓縮方法對于第j種負(fù)載的壓縮速度scij，

scij＝壓縮前數(shù)據(jù)大小/壓縮總時間；

其中，1≤i≤m；1≤j≤n；

(35)計算第i種壓縮方法對于n種負(fù)載的平均壓縮率ρi，

ρi＝(ρi1+ρi2+…+ρin)/n，

計算第i種壓縮方法對于n種負(fù)載的平均壓縮速度sci，

sci＝(sci1+sci2+…+scin)/n

一共得到m種壓縮方法所對應(yīng)的m對平均壓縮率ρi和平均壓縮速度sci，壓縮方法和所對應(yīng)的平均壓縮率及平均壓縮速度共同構(gòu)成壓縮策略表。

如圖2所示，在本實施例中，本發(fā)明實施例是在kvm/qemu開源虛擬化平臺上進(jìn)行實現(xiàn)的，在遷出端，帶寬監(jiān)測模塊以1秒1次的頻率獲得當(dāng)前遷移網(wǎng)絡(luò)帶寬，提交給帶寬感知壓縮模塊；壓縮模塊得到網(wǎng)絡(luò)帶寬后，利用壓縮策略表來動態(tài)調(diào)整壓縮方法；同時，在遷出端，設(shè)置一個緩沖區(qū)，將要傳輸?shù)奶摂M機(jī)內(nèi)存頁首先拷貝到該緩沖區(qū)中，當(dāng)緩沖區(qū)滿后，對緩沖區(qū)中的數(shù)據(jù)進(jìn)行打包壓縮；將壓縮后的數(shù)據(jù)包傳輸?shù)竭w入端；遷入端將打包壓縮的數(shù)據(jù)接收入緩沖區(qū)后，解壓模塊對其進(jìn)行解壓，將得到的內(nèi)存頁提交到對應(yīng)的虛擬機(jī)地址空間中。

本發(fā)明提出的根據(jù)遷移實時帶寬動態(tài)調(diào)整壓縮方法可以大大提升遷移系統(tǒng)的吞吐率，從而顯著縮短遷移時間。不同的壓縮算法壓縮率和壓縮速度各不相同，一般而言，壓縮率高的壓縮算法壓縮速度較低，反之亦然；此外許多壓縮算法提供參數(shù)供用戶選擇，從而在壓縮率和壓縮速度之間做調(diào)整。以本發(fā)明具體實施時采用的lz4壓縮算法為例，該算法提供一個加速值參數(shù)，圖3是采用不同加速值時，lz4對虛擬機(jī)內(nèi)存的壓縮效果的變化。隨著加速值的變大，壓縮速度不斷提升，并以壓縮率的不斷降低為代價。

由此可見，在某一帶寬下，在遷移中使用壓縮率和壓縮速度不同的壓縮方法，在本實施例中，即是使用加速值不同的lz4算法，其系統(tǒng)遷移的速度是不同的。本發(fā)明提出的方法能夠找出某一帶寬下可以給遷移系統(tǒng)帶來最大遷移速度的壓縮方法，并隨著帶寬的變化，動態(tài)選擇最優(yōu)的壓縮方法，從而獲得最短的遷移時間。

本發(fā)明通過若干典型負(fù)載而獲得平均壓縮率和壓縮速度，從而組成壓縮策略表的方法，避免了對不同負(fù)載采用不同的壓縮策略表，使得本發(fā)明的具體實施更為簡便可行。當(dāng)虛擬機(jī)中運(yùn)行不同負(fù)載時，其內(nèi)存中的數(shù)據(jù)內(nèi)容是不同的，因此用某一加速值的lz4壓縮不同負(fù)載的內(nèi)存時，所得到的壓縮率和壓縮速度有一定差異，從而所帶來的系統(tǒng)的遷移速度也不相同。然而，我們的實驗表明，不同的負(fù)載會在相同或鄰近的加速值處取得最大的系統(tǒng)遷移速度。因此，本發(fā)明提出選取若干典型負(fù)載，測出它們在不同壓縮方法下的壓縮率和壓縮速度后，對這些數(shù)據(jù)取平均值，得到平均壓縮速度和壓縮率，組成壓縮策略表，計算得出某一帶寬下的最優(yōu)壓縮方法。實驗表明，如此得出的壓縮策略表在一定誤差范圍內(nèi)適用于所有負(fù)載。這使得本發(fā)明在實施時只需存儲一組壓縮策略表即可，簡化了系統(tǒng)實現(xiàn)，提升了本發(fā)明的可行性。

如圖4a所示，采用本發(fā)明方法和現(xiàn)有預(yù)拷貝遷移的遷移時間對比，本發(fā)明方法完成遷移用時更少；

和圖4b所示，采用本發(fā)明方法和現(xiàn)有預(yù)拷貝遷移的遷移數(shù)據(jù)量對比，本發(fā)明方法完成遷移傳輸數(shù)據(jù)量更小。

以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。