專利名稱：一種確定數(shù)據(jù)遷移對象的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于互聯(lián)網(wǎng)通信領(lǐng)域，尤其涉及一種確定數(shù)據(jù)遷移對象的方法和裝置。
背景技術(shù)：
隨著數(shù)據(jù)的爆炸性增長，存儲海量數(shù)據(jù)的集群應(yīng)運而生。因為集群中存儲的數(shù)據(jù)量很大，有的已達(dá)PB級，同一時刻可能會有大量的數(shù)據(jù)訪問。因此，數(shù)據(jù)的存放位置是否合理，直接影響到數(shù)據(jù)的訪問延遲。數(shù)據(jù)遷移，指的是數(shù)據(jù)在不同存儲介質(zhì)之間的移動過程。通常情況下，數(shù)據(jù)遷移發(fā)生的次數(shù)都比較少，目的也多與系統(tǒng)升級或數(shù)據(jù)備份有關(guān)。但是在分級存儲系統(tǒng)中的數(shù)據(jù)遷移，發(fā)生的次數(shù)比較多，其目的是為了調(diào)整數(shù)據(jù)的位置，使得系統(tǒng)中所有數(shù)據(jù)的訪問性能達(dá)到最優(yōu)。分級存儲系統(tǒng)中通常會按照存儲介質(zhì)的性能將其分層，存儲層次越高，配置越高，訪問性能越好。要完成數(shù)據(jù)遷移，第一步要選擇遷移的對象，第二步是選擇遷移的源與目標(biāo)，最后一步才是真正的數(shù)據(jù)移動。這是一個先制定計劃然后執(zhí)行的過程，其中前兩步就是制定計劃的過程，直接關(guān)乎到整個數(shù)據(jù)遷移的效果。選擇遷移對象的依據(jù)是一個數(shù)值，這個數(shù)值是對數(shù)據(jù)訪問“熱度”的直接反映，數(shù)值越高，熱度越高。而數(shù)據(jù)遷移的目標(biāo)就是，把“熱度”高的數(shù)據(jù)保留在較高的存儲層次上，“熱度”低的數(shù)據(jù)保留在較低的存儲層次上。遷移是需要耗費資源的，包括硬件資源與網(wǎng)絡(luò)資源，這種消耗會對系統(tǒng)帶來一定的負(fù)面影響，因此遷移的數(shù)據(jù)量應(yīng)越少越好。為此，很多遷移策略就設(shè)定了閾值，即只有數(shù)據(jù)的熱度值超過了閾值，才會遷移，不超過閾值，不會遷移，這樣設(shè)置，確實使得數(shù)據(jù)遷移量減少了很多，但是閾值的設(shè)置比較難。因為系統(tǒng)中的負(fù)載可能發(fā)生著較大的變化，使得數(shù)據(jù)的熱度也發(fā)生著很大的變化，如果閾值不作相應(yīng)的改變，就難以適應(yīng)，因此需要有動態(tài)的閾值。不同的閾值的設(shè)置方法不一致，有的閾值只是個相對值，例如較低存儲級上的數(shù)據(jù)熱度值只要高于其上一存儲層次上60%的數(shù)據(jù)的熱度值，該數(shù)據(jù)就可以上遷，這種閾值確實是一種動態(tài)的閾值，但是如果在較高存儲級上的數(shù)據(jù)都是高熱度的，但是其剩余空間還有很多，下面的數(shù)據(jù)不可以遷入。沒有充分利用優(yōu)質(zhì)的存儲資源。因此，篩選遷移對象的時候，必須考慮到存儲級的剩余空間，這樣才能保證存儲資源的合理利用。另外，也有些遷移策略在篩選遷移對象的時候，使用的是“規(guī)則集”，即只要遷移對象滿足了規(guī)則，就進行遷移，這種“規(guī)則集”需要很專業(yè)的人士來設(shè)定，而且針對單一的應(yīng)用場景，難以適應(yīng)動態(tài)變化的負(fù)載。

發(fā)明內(nèi)容
本發(fā)明實施例提供一種確定數(shù)據(jù)遷移對象的方法和裝置，旨在解決當(dāng)前確定數(shù)據(jù)遷移對象的方法沒有充分利用優(yōu)質(zhì)的存儲資源，使得在剩余空間還有很多時，下面的數(shù)據(jù)不能遷入。同時還存在難以適應(yīng)動態(tài)變化的負(fù)載的問題。為此，本發(fā)明實施例提供了如下技術(shù)方案
一種確定數(shù)據(jù)遷移對象的裝置，包括局部篩選對象選取模塊，用于選取各存儲層次上所有的已估值數(shù)據(jù)，作為局部篩選的對象；局部篩選模塊，與局部篩選對象選取模塊相連接，其每個存儲層次都存在已設(shè)置好的閾值，用于將所述已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果；全局篩選模塊，與局部篩選模塊相連接，用于將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，過濾掉不需要遷移的數(shù)據(jù)對象，獲得所述數(shù)據(jù)遷移的對象；更新模塊，用于所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。本發(fā)明實施例還提供了一種確定數(shù)據(jù)遷移對象的方法，包括以下步驟A :每個存儲層次都存在已設(shè)置好的閾值，將已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果；B :將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，獲得所述數(shù)據(jù)遷移對象；C :所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。與現(xiàn)有技術(shù)相比，本發(fā)明的實施例具有如下優(yōu)點本發(fā)明利用局部篩選和全局篩選相結(jié)合，首先在各存儲層次上自行篩選，再對通過局部篩選的結(jié)果進行進一步篩選，結(jié)合各級存儲的剩余空間，確定數(shù)據(jù)遷移的對象，從而能夠使得遷移的對象盡可能少且能夠適應(yīng)系統(tǒng)負(fù)載的動態(tài)變化，還可以充分利用優(yōu)質(zhì)的存儲資源。


圖1是本發(fā)明實施例提供的確定數(shù)據(jù)遷移對象的方法流程圖；圖2是本發(fā)明實施例提供的確定數(shù)據(jù)遷移對象的裝置的結(jié)構(gòu)圖。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的僅是本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。圖1是本發(fā)明實施例提供的確定數(shù)據(jù)遷移對象的方法流程圖，為了便于說明，僅不出了與本發(fā)明實施例相關(guān)的部分。如圖1所示，該方法包括以下步驟步驟101，每個存儲層次都存在已設(shè)置好的閾值，將已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果?？梢岳斫獾氖牵M行局部篩選時，選取各存儲層次上所有的已估值數(shù)據(jù)，作為局部篩選的對象。具體的，分級存儲系統(tǒng)中存在已估值數(shù)據(jù)，每個已估值數(shù)據(jù)都有熱度值與之相對應(yīng)，所述熱度值可比較大小。
本實施例中，所述分級存儲系統(tǒng)分為至少三個層次，從上到下依次是第一層，第二層，第三層，相當(dāng)于一個金字塔的結(jié)構(gòu)，且任何兩個層次之間都可以進行數(shù)據(jù)遷移，即每個存儲層次都可以往其他存儲層次遷移數(shù)據(jù)。其中，第一層往第二層或第三層遷移，叫做下遷；第三層往第二層或第一層遷移，叫做上遷。可以理解的是，三個層次的分級存儲系統(tǒng)總共有6個數(shù)據(jù)遷移的方向。具體的，所述閾值是個非負(fù)實數(shù)，可比較大小。所述閾值包括上限閾值和下限閾值，優(yōu)選的，首次將上限閾值設(shè)定為0，下限閾值設(shè)定為正無窮大。具體的，將熱度值大于上限閾值或小于下限閾值的所述已估值數(shù)據(jù)，作為局部篩選的結(jié)果。即將熱度值小于上限閾值或大于下限閾值的數(shù)據(jù)篩掉。步驟102，將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，過濾掉不需要遷移的數(shù)據(jù)對象，獲得所述數(shù)據(jù)遷移對象。具體的，將所述局部篩選獲得的結(jié)果，按照其熱度值的大小從大到小排列，與存儲層次相匹配，然后往存儲層次上嘗試存放。具體的，若所述存儲層次上可以容納所述數(shù)據(jù)，則存放成功；具體的，若不能容納所述數(shù)據(jù)，則所述數(shù)據(jù)向下一級存儲層次進行嘗試存放，直到所述數(shù)據(jù)均存放成功。本實施例中，所述嘗試存放是在不考慮數(shù)據(jù)原有存儲位置的情況下，只根據(jù)其熱度值和各級存儲層次的剩余空間，確定其因有的存放位置。如果原有存儲位置與因有的存放層次一致，則所述數(shù)據(jù)不需要遷移；如果原有存儲位置與因有的存放層次不一致，則因有的存放位置為遷移目標(biāo)。剩余空間是指所述存儲層次最佳使用空間及實際使用空間之間的差值。一級存儲的最佳使用空間與其全部使用空間的比值小于1，通常為80%，其余存儲層次的使用空間與其全部使用空間的比值可根據(jù)實際情況進行調(diào)整。步驟103，所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。優(yōu)選的，所述數(shù)據(jù)遷移結(jié)束后，將所述上限閾值更新為本存儲層次中上遷的數(shù)據(jù)中的最小熱度值，下限閾值更新為本存儲級中下遷的數(shù)據(jù)中的最大熱度值。優(yōu)選的，若沒有上遷或下遷發(fā)生，則維持該存儲層次的閾值不變?；谙嗤臉?gòu)思，本發(fā)明實施例還提供一種確定數(shù)據(jù)遷移對象的裝置，如圖2所示，該裝置包括局部篩選對象選取模塊201，用于選取各存儲層次上所有的已估值數(shù)據(jù)，作為局部篩選的對象。具體的，系統(tǒng)中存在已估值的數(shù)據(jù)，每個已估值數(shù)據(jù)都有熱度值與之相對應(yīng)，所述熱度值可比較大小。局部篩選模塊202，與局部篩選對象選取模塊201相連接，其每個存儲層次都存在已設(shè)置好的閾值，用于將所述已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果?？梢岳斫獾氖牵M行局部篩選時，選取各存儲層次上所有的已估值數(shù)據(jù)，作為局部篩選的對象。具體的，系統(tǒng)中存在已估值數(shù)據(jù)，每個已估值數(shù)據(jù)都有熱度值與之相對應(yīng)，所述熱度值可比較大小。具體的，閾值是個非負(fù)實數(shù)，可比較大小。所述閾值包括上限閾值和下限閾值，優(yōu)選的，首次將上限閾值設(shè)定為0，下限閾值設(shè)定為正無窮大。具體的，將熱度值大于上限閾值或小于下限閾值的所述已估值數(shù)據(jù)，作為局部篩選的結(jié)果。即將熱度值小于上限閾值或大于下限閾值的數(shù)據(jù)篩掉。全局篩選模塊203，與所述局部篩選模塊202相連接，用于將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，過濾掉不需要遷移的數(shù)據(jù)對象，獲得所述數(shù)據(jù)遷移的對象。具體的，將所述局部篩選獲得的結(jié)果，按照其熱度值的大小從大到小排列，與存儲層次相匹配，然后往存儲層次上嘗試存放。具體的，若所述存儲層次上可以容納所述數(shù)據(jù)，則存放成功；具體的，若不能容納所述數(shù)據(jù)，則所述數(shù)據(jù)向下一級存儲層次進行嘗試存放，直到所述數(shù)據(jù)均存放成功。本實施例中，所述嘗試存放是在不考慮數(shù)據(jù)原有存儲位置的情況下，只根據(jù)其熱度值和各級存儲層次的剩余空間，確定其因有的存放位置。如果原有存儲位置與因有的存放層次一致，則所述數(shù)據(jù)不需要遷移；如果原有存儲位置與因有的存放層次不一致，則因有的存放位置為遷移目標(biāo)。剩余空間是指所述存儲層次最佳使用空間及實際使用空間之間的差值。一級存儲的最佳使用空間與其全部使用空間的比值小于1，通常為80%，其余存儲層次的使用空間與其全部使用空間的比值可根據(jù)實際情況進行調(diào)整。更新模塊204，用于所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。優(yōu)選的，所述數(shù)據(jù)遷移結(jié)束后，將所述上限閾值更新為本存儲層次中上遷的數(shù)據(jù)中的最小熱度值，下限閾值更新為本存儲級中下遷的數(shù)據(jù)中的最大熱度值。優(yōu)選的，若沒有上遷或下遷發(fā)生，則維持該存儲層次的閾值不變。本發(fā)明實施例利用局部篩選和全局篩選相結(jié)合，首先在各存儲層次上自行篩選，再對通過局部篩選的結(jié)果進行進一步篩選，結(jié)合各級存儲的剩余空間，確定數(shù)據(jù)遷移的對象，從而能夠使得遷移的對象盡可能少且能夠適應(yīng)系統(tǒng)負(fù)載的動態(tài)變化，還可以充分利用優(yōu)質(zhì)的存儲資源。本領(lǐng)域技術(shù)人員可以理解實施例中的裝置中的模塊可以按照實施例描述進行分布于實施例的裝置中，也可以進行相應(yīng)變化位于不同于本實施例的一個或多個裝置中。上述實施例的模塊可以合并為一個模塊，也可以進一步拆分成多個子模塊。通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當(dāng)然也可以通過硬件，但很多情況下前者是更佳的實施方式?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺終端設(shè)備(可以是手機，個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述的方法。以上所述僅是本發(fā)明的優(yōu)選實施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應(yīng)視本發(fā)明的保護范圍。
權(quán)利要求
1.一種確定數(shù)據(jù)遷移對象的方法，其特征在于，包括以下步驟: A:每個存儲層次都存在已設(shè)置好的閾值，將已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果； B:將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，獲得所述數(shù)據(jù)遷移對象； C:所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。
2.如權(quán)利要求1所述的確定數(shù)據(jù)遷移對象的方法，其特征在于，所述步驟A包括: Al:所述閾值包括上限閾值和下限閾值，首次將上限閾值設(shè)定為O，下限閾值設(shè)定為正無窮大，所述閾值為可以比較大小的非負(fù)實數(shù)； A2:將熱度值大于上限閾值或小于下限閾值的所述已估值數(shù)據(jù)，作為所述局部篩選的結(jié)果。
3.如權(quán)利要求1或2所述的確定數(shù)據(jù)遷移對象的方法，其特征在于，所述步驟B包括: B1:將所述局部篩選獲得的數(shù)據(jù)，按照其熱度值從大到小排列，然后往存儲層次上嘗試存放； B2:若所述存儲層次上可以容納所述數(shù)據(jù)，則存放成功； B3:若不能容納所述數(shù)據(jù)，則所述數(shù)據(jù)向下一級存儲層次進行嘗試存放，直到所述數(shù)據(jù)均存放成功。
4.如權(quán)利要求3所述的確定數(shù)據(jù)遷移對象的方法，其特征在于，所述嘗試存放是在不考慮數(shù)據(jù)原有存儲位置的情況下，只根據(jù)其熱度值和各級存儲層次的剩余空間，確定其因有的存放位置。如果原有存儲位置與因有的存放層次一致，則所述數(shù)據(jù)不需要遷移；如果原有存儲位置與因有的存放層次不一致，則因有的存放位置為遷移目標(biāo)。
5.如權(quán)利要求4所述的確定數(shù)據(jù)遷移對象的方法，其特征在于，所述剩余空間是所述存儲層次最佳使用空間及實際使用空間之間的差值。
6.如權(quán)利要求5所述的確定數(shù)據(jù)遷移對象的方法，其特征在于，一級存儲的最佳使用空間與其全部使用空間的比值小于I。
7.如權(quán)利要求1所述的確定數(shù)據(jù)遷移對象的方法，其特征在于，所述步驟C包括: Cl:所述數(shù)據(jù)遷移結(jié)束后，將所述上限閾值更新為本存儲層次中上遷的數(shù)據(jù)中的最小熱度值，下限閾值更新為本存儲級中下遷的數(shù)據(jù)中的最大熱度值； C2:若沒有上遷或下遷發(fā)生，則維持該存儲層次的閾值不變。
8.一種確定數(shù)據(jù)遷移對象的裝置，其特征在于，包括: 局部篩選對象選取模塊，用于選取各存儲層次上所有的已估值數(shù)據(jù)，作為局部篩選的對象； 局部篩選模塊，與局部篩選對象選取模塊相連接，其每個存儲層次都存在已設(shè)置好的閾值，用于將所述已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果; 全局篩選模塊，與局部篩選模塊相連接，用于將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，過濾掉不需要遷移的數(shù)據(jù)對象，獲得所述數(shù)據(jù)遷移的對象； 更新模塊，用于所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。
全文摘要
本發(fā)明適用于互聯(lián)網(wǎng)通信領(lǐng)域，提供了一種確定數(shù)據(jù)遷移對象的方法，其包括每個存儲層次都存在已設(shè)置好的閾值，將已估值數(shù)據(jù)的熱度值與所述閾值比較，進行局部篩選得到局部篩選的結(jié)果；將所述局部篩選的結(jié)果，結(jié)合各存儲層次的剩余空間再次進行篩選，獲得所述數(shù)據(jù)遷移對象；所述數(shù)據(jù)遷移結(jié)束后，根據(jù)遷移結(jié)果更新所述閾值。本發(fā)明利用局部篩選和全局篩選相結(jié)合，首先在各存儲層次上自行篩選，再對通過局部篩選的數(shù)據(jù)對象進行進一步篩選，結(jié)合各級存儲的剩余空間，確定數(shù)據(jù)遷移的對象，從而能夠使得遷移的對象盡可能少且能夠適應(yīng)系統(tǒng)負(fù)載的動態(tài)變化，還可以充分利用優(yōu)質(zhì)的存儲資源。
文檔編號G06F17/30GK103077127SQ20121059018
公開日2013年5月1日 申請日期2012年12月29日 優(yōu)先權(quán)日2012年12月29日
發(fā)明者張森林, 馮圣中 申請人:深圳先進技術(shù)研究院