基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法。
【背景技術(shù)】
[0002]在不同的磁盤(pán)陣列中，基于異或校驗(yàn)運(yùn)算的冗余磁盤(pán)陣列(本文簡(jiǎn)稱(chēng)“校驗(yàn)陣列”，XOR-based RAID)由于其能夠同時(shí)提供高可靠和高性能的存儲(chǔ)服務(wù)，已成為大型數(shù)據(jù)中心主流存儲(chǔ)設(shè)備。近幾年來(lái)，校驗(yàn)陣列的可擴(kuò)展性研宄備受關(guān)注，主要是由于以下原因:
[0003]I)為了滿(mǎn)足更大存儲(chǔ)空間，更高吞吐的需求。直接在使用的磁盤(pán)陣列中加入磁盤(pán)是一個(gè)性?xún)r(jià)比高的方案。
[0004]2)為了滿(mǎn)足節(jié)能的需求。通過(guò)移除磁盤(pán)陣列中使用率低的磁盤(pán)，以達(dá)到減少能耗的目的。
[0005]3)為了應(yīng)對(duì)越來(lái)越多在線(xiàn)應(yīng)用的需求。通常，RAID被廣泛應(yīng)用于各種在線(xiàn)服務(wù)，如云計(jì)算。高可擴(kuò)展性不僅能夠應(yīng)對(duì)在線(xiàn)應(yīng)用所面臨的用戶(hù)數(shù)據(jù)爆發(fā)的問(wèn)題，同時(shí)也避免了機(jī)器故障所產(chǎn)生的巨大維修時(shí)間開(kāi)銷(xiāo)。
[0006]4)數(shù)據(jù)中心的需要。RAID架構(gòu)廣泛應(yīng)用于集群和大型存儲(chǔ)系統(tǒng)，在這些系統(tǒng)中，可擴(kuò)展性至關(guān)重要。
[0007]在不同的RAID結(jié)構(gòu)中，校驗(yàn)陣列(主要是RAID-4、RAID-5和RAID-6)是最為重要的一種形式，并被廣泛應(yīng)用于大型數(shù)據(jù)中心。目前主流的可擴(kuò)展方法包括輪轉(zhuǎn)(Round-Robin, RR)、半輪轉(zhuǎn) Sem1-RR、ALV 和 MDM 等。
[0008]但是，當(dāng)前主流的可擴(kuò)展方法有兩個(gè)問(wèn)題。一個(gè)問(wèn)題是可擴(kuò)展過(guò)程中的高I/O開(kāi)銷(xiāo)。在傳統(tǒng)的可擴(kuò)展方法一一輪轉(zhuǎn)方法中，幾乎所有的數(shù)據(jù)都迀移，從而導(dǎo)致所有的校驗(yàn)都要重新計(jì)算和修改，大量的元數(shù)據(jù)需要更新。半輪轉(zhuǎn)具有數(shù)據(jù)分布不平衡的問(wèn)題，這將會(huì)極大降低校驗(yàn)陣列的性能。ALV通過(guò)聚集迀移I/O的方法降低I/O數(shù)，但它不能減少訪(fǎng)問(wèn)的數(shù)據(jù)塊的總數(shù)。雖然MDM可以減少數(shù)據(jù)的活動(dòng)和數(shù)量的校驗(yàn)修改，但它也會(huì)導(dǎo)致其存儲(chǔ)效率和擴(kuò)展后的性能較低。此外，MDM改變了原有陣列的奇偶校驗(yàn)布局，這使得數(shù)據(jù)映射更復(fù)雜，處理讀取和寫(xiě)入請(qǐng)求更加困難。
[0009]第二個(gè)問(wèn)題是是否支持雙向可擴(kuò)展(添加磁盤(pán)和刪除磁盤(pán))。除輪轉(zhuǎn)方法外，其他主流方法都只支持正向可擴(kuò)展(增加磁盤(pán))。

【發(fā)明內(nèi)容】

[0010]本發(fā)明的目的在于提供一種基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法，能夠加速校驗(yàn)陣列的可擴(kuò)展過(guò)程。
[0011]為解決上述問(wèn)題，本發(fā)明提供一種基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法，包括:
[0012]步驟SI，擴(kuò)容或縮容前識(shí)別磁盤(pán)陣列，檢查磁盤(pán)陣列中每個(gè)磁盤(pán)的空閑空間并獲得相關(guān)參數(shù)m和n，其中，η為擴(kuò)容或縮容前的磁盤(pán)數(shù)量，m為擴(kuò)容后添加的磁盤(pán)數(shù)據(jù)或縮容后減少的磁盤(pán)數(shù)量；
[0013]步驟S2，計(jì)算磁盤(pán)陣列中保留、重映射以及重構(gòu)的OUS/NUS數(shù)量，其中，OUS為擴(kuò)展前用過(guò)的條帶，NUS為為擴(kuò)展后用過(guò)的條帶；
[0014]步驟S3，并發(fā)地處理保留、重新映射和重構(gòu)的0US/NUS ；
[0015]步驟S4，修改所有的校驗(yàn)塊。
[0016]進(jìn)一步的，在上述方法中，所述處理保留的0US/NUS包括:
[0017]將所有的數(shù)據(jù)塊和校驗(yàn)塊保留在同一個(gè)磁盤(pán)上，如果有數(shù)據(jù)塊被移入或移除相應(yīng)的校驗(yàn)塊，對(duì)該校驗(yàn)塊進(jìn)行修改。
[0018]進(jìn)一步的，在上述方法中，將所有的數(shù)據(jù)塊和校驗(yàn)塊保留在同一個(gè)磁盤(pán)上，如果有數(shù)據(jù)塊被移入或移除相應(yīng)的校驗(yàn)塊，對(duì)該校驗(yàn)塊進(jìn)行修改中，包括:
[0019]更新OUS/NUS的條帶編號(hào)。
[0020]進(jìn)一步的，在上述方法中，所述處理重新映射OUS/NUS包括:
[0021]通過(guò)重新映射新的條帶，所有數(shù)據(jù)塊被保留在同一磁盤(pán)上。
[0022]進(jìn)一步的，在上述方法中，通過(guò)重新映射新的條帶，所有數(shù)據(jù)塊被保留在同一磁盤(pán)上中，包括:
[0023]重新映射所有的數(shù)據(jù)塊并分配新的條帶編號(hào)。
[0024]進(jìn)一步的，在上述方法中，所述處理重構(gòu)的OUS/NUS包括:
[0025]將所有的數(shù)據(jù)塊被迀移到另一個(gè)磁盤(pán)上，在每個(gè)重構(gòu)的OUS/NUS中，數(shù)據(jù)塊被迀移到新磁盤(pán)上以擴(kuò)展或移除磁盤(pán)。
[0026]進(jìn)一步的，在上述方法中，所述將所有的數(shù)據(jù)塊被迀移到另一個(gè)磁盤(pán)上，在每個(gè)重構(gòu)的OUS/NUS中，數(shù)據(jù)塊被迀移到新磁盤(pán)上以擴(kuò)展或移除磁盤(pán)，包括:
[0027]迀移所有的數(shù)據(jù)塊并分配新的條帶編號(hào)。
[0028]與現(xiàn)有技術(shù)相比，本發(fā)明主要有如下三個(gè)優(yōu)點(diǎn):
[0029]I)支持磁盤(pán)陣列的雙向擴(kuò)展(增加或減少磁盤(pán))，在增加新磁盤(pán)時(shí)，本發(fā)明可以保證擴(kuò)展后的陣列性能和存儲(chǔ)效率得到提升；
[0030]2)將擴(kuò)展過(guò)程中所產(chǎn)生的開(kāi)銷(xiāo)降至最低，包括數(shù)據(jù)迀移、奇偶校驗(yàn)塊修改和元數(shù)據(jù)操作的開(kāi)銷(xiāo)，本發(fā)明不僅最大限度地減少數(shù)據(jù)迀移量和校驗(yàn)修改量，以全局的視角修改和計(jì)算所有的校驗(yàn)鏈，而不是對(duì)任何單一的數(shù)據(jù)/校驗(yàn)進(jìn)行操作，同時(shí)也降低了可擴(kuò)展開(kāi)銷(xiāo)和修改元數(shù)據(jù)的數(shù)量；
[0031]3)本發(fā)明保留了原來(lái)校驗(yàn)陣列的數(shù)據(jù)和奇偶校驗(yàn)布局，使得系統(tǒng)擁有更好的可擴(kuò)展后的性能。陣列具有更高的靈活性和可用性，能夠?yàn)閷?shí)時(shí)應(yīng)用提供更好的服務(wù)，結(jié)果表明，本發(fā)明的擴(kuò)展方法可以加速校驗(yàn)陣列的可擴(kuò)展過(guò)程。
【附圖說(shuō)明】
[0032]圖1是本發(fā)明一實(shí)施例的基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法的RAID5增加磁盤(pán)示意圖；
[0033]圖2是本發(fā)明一實(shí)施例的基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法的RAID5減少磁盤(pán)示意圖。
【具體實(shí)施方式】
[0034]為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
[0035]本發(fā)明提供一種基于糾刪碼的分布式存儲(chǔ)系統(tǒng)的擴(kuò)容和縮容方法，包括:
[0036]步驟SI，為識(shí)別的步驟:擴(kuò)容(擴(kuò)大磁盤(pán)陣列容量)或縮容(縮小磁盤(pán)陣列容量)前識(shí)別磁盤(pán)陣列，檢查磁盤(pán)陣列中每個(gè)磁盤(pán)的空閑空間(包括新磁盤(pán))并獲得相關(guān)參數(shù)m和n，其中，η為擴(kuò)容或縮容前的磁盤(pán)數(shù)量，m為擴(kuò)容后添加的磁盤(pán)數(shù)據(jù)或縮容后減少的磁盤(pán)數(shù)量；
[0037]步驟S2，為條帶重構(gòu)的步驟:計(jì)算磁盤(pán)陣列中保留、重映射以及重構(gòu)的OUS/NUS數(shù)量，其中，OUS (Old Used Stripe)為擴(kuò)展前用過(guò)的條帶，NUS (New Used Stripe)為擴(kuò)展后用過(guò)的條帶；具體的，根據(jù)擴(kuò)展前后校驗(yàn)鏈的不同，一些具有短校驗(yàn)鏈的條帶被保留在原來(lái)的磁盤(pán)上，而其它數(shù)據(jù)會(huì)被刪除并迀移，基于不同的功能，擁有較短校驗(yàn)鏈的條帶將被分成3類(lèi):
[0038]保留的0US/NUS，如圖1中左邊