本申請(qǐng)屬于信息,尤其涉及一種數(shù)據(jù)遷移調(diào)度方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品。
背景技術(shù):
1、現(xiàn)有的技術(shù)方案中,文件數(shù)據(jù)的遷移策略配置依賴靜態(tài)的配置策略,由運(yùn)維人員或者運(yùn)營人員根據(jù)經(jīng)驗(yàn)制定文件溫冷的規(guī)則,確定文件遷移的策略,存儲(chǔ)設(shè)備按照既定的策略完成數(shù)據(jù)遷移的動(dòng)作,遷移策略執(zhí)行一次或者周期執(zhí)行。
2、現(xiàn)有的方案和靜態(tài)調(diào)度算法在傳統(tǒng)的信息技術(shù)管理場(chǎng)景下是可行的,因?yàn)槊總€(gè)企業(yè)對(duì)于自己的業(yè)務(wù)熟悉,運(yùn)維人員可以根據(jù)業(yè)務(wù)特點(diǎn)制定遷移策略和選擇最優(yōu)的靜態(tài)遷移算法。現(xiàn)有的靜態(tài)調(diào)度算法往往考慮的是調(diào)度時(shí)間、系統(tǒng)吞吐量和作業(yè)類型等,而且隨著數(shù)據(jù)量的增大,運(yùn)維人員難以有足夠的經(jīng)驗(yàn)了解所有租戶的業(yè)務(wù)數(shù)據(jù)。因此,現(xiàn)有的遷移調(diào)度算法可能會(huì)出現(xiàn)難以有效地判斷數(shù)據(jù)的溫冷,并將數(shù)據(jù)遷移至更為合適的存儲(chǔ)設(shè)備中的技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)遷移調(diào)度方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)和程序產(chǎn)品,能夠解決如何更準(zhǔn)確地判斷數(shù)據(jù)的溫冷,并將數(shù)據(jù)遷移至更為合適的存儲(chǔ)設(shè)備中的技術(shù)問題。
2、第一方面,本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)遷移調(diào)度方法,方法包括:
3、獲取存儲(chǔ)在溫存儲(chǔ)設(shè)備上的目標(biāo)數(shù)據(jù)的元數(shù)據(jù)信息、數(shù)據(jù)應(yīng)用權(quán)重、溫存儲(chǔ)設(shè)備的設(shè)備信息以及設(shè)備信息權(quán)重;數(shù)據(jù)應(yīng)用權(quán)重用于指示用戶訪問數(shù)據(jù)的訪問行為的特征表達(dá);設(shè)備信息權(quán)重用于指示溫存儲(chǔ)設(shè)備的硬件環(huán)境對(duì)數(shù)據(jù)遷移決策的影響程度;
4、對(duì)元數(shù)據(jù)信息進(jìn)行分析處理,得到數(shù)據(jù)應(yīng)用得分;
5、對(duì)設(shè)備信息進(jìn)行分析處理,得到設(shè)備信息得分;
6、對(duì)數(shù)據(jù)應(yīng)用權(quán)重、設(shè)備信息權(quán)重、數(shù)據(jù)應(yīng)用得分和設(shè)備信息得分進(jìn)行加權(quán)求和,得到總得分;
7、在總得分滿足預(yù)設(shè)分值條件的情況下,將目標(biāo)數(shù)據(jù)從溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備。
8、在一個(gè)可以實(shí)現(xiàn)的實(shí)施方式中,該方法還包括:元數(shù)據(jù)信息包括:訪問頻率和數(shù)據(jù)類型;
9、對(duì)元數(shù)據(jù)信息進(jìn)行分析處理,得到數(shù)據(jù)應(yīng)用得分,包括:
10、根據(jù)訪問頻率和數(shù)據(jù)類型,分別確定訪問頻率得分和數(shù)據(jù)類型得分;
11、根據(jù)訪問頻率得分和數(shù)據(jù)類型得分,確定數(shù)據(jù)應(yīng)用得分。
12、在一個(gè)可以實(shí)現(xiàn)的實(shí)施方式中,該方法還包括:設(shè)備信息包括已占用設(shè)備容量和設(shè)備負(fù)載壓力;對(duì)設(shè)備信息進(jìn)行分析處理,得到設(shè)備信息得分,包括:
13、根據(jù)已占用設(shè)備容量和設(shè)備負(fù)載壓力,分別確定容量分?jǐn)?shù)和負(fù)載壓力分?jǐn)?shù);
14、根據(jù)容量分?jǐn)?shù)和負(fù)載壓力分?jǐn)?shù),確定設(shè)備信息得分。
15、在一個(gè)可以實(shí)現(xiàn)的實(shí)施方式中,該方法還包括:將目標(biāo)數(shù)據(jù)從溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備之后,方法還包括:
16、標(biāo)注目標(biāo)數(shù)據(jù)的溫冷期限,溫冷期限為判定目標(biāo)數(shù)據(jù)在遷移到冷存儲(chǔ)設(shè)備之后不會(huì)被使用的時(shí)間期限;
17、在溫冷期限內(nèi)接收到對(duì)目標(biāo)數(shù)據(jù)的召回請(qǐng)求的情況下,更新數(shù)據(jù)應(yīng)用權(quán)重,以減少對(duì)數(shù)據(jù)應(yīng)用權(quán)重的負(fù)向激勵(lì)。
18、在一個(gè)可以實(shí)現(xiàn)的實(shí)施方式中,該方法還包括:在更新數(shù)據(jù)應(yīng)用權(quán)重之前,方法還包括:
19、確定召回請(qǐng)求為非期望召回請(qǐng)求。
20、在一個(gè)可以實(shí)現(xiàn)的實(shí)施方式中,該方法還包括:更新數(shù)據(jù)應(yīng)用權(quán)重,包括:
21、通過應(yīng)用權(quán)重調(diào)節(jié)器更新數(shù)據(jù)應(yīng)用權(quán)重,以減少對(duì)數(shù)據(jù)應(yīng)用權(quán)重的負(fù)向激勵(lì)。
22、在一個(gè)可以實(shí)現(xiàn)的實(shí)施方式中,該方法還包括:將目標(biāo)數(shù)據(jù)從溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備,包括:
23、根據(jù)元數(shù)據(jù)信息、設(shè)備信息,確定數(shù)據(jù)遷移的遷移時(shí)間以及遷移速率;
24、在遷移時(shí)間,根據(jù)遷移速率將目標(biāo)數(shù)據(jù)從溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備。
25、第二方面,本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)遷移調(diào)度裝置,裝置包括:數(shù)據(jù)監(jiān)測(cè)模塊,用于獲取存儲(chǔ)在溫存儲(chǔ)設(shè)備上的目標(biāo)數(shù)據(jù)的元數(shù)據(jù)信息;
26、設(shè)備監(jiān)測(cè)模塊,用于獲取溫存儲(chǔ)設(shè)備的設(shè)備信息;
27、遷移策略模塊,用于記載數(shù)據(jù)應(yīng)用權(quán)重和設(shè)備信息權(quán)重,且用于對(duì)元數(shù)據(jù)信息進(jìn)行分析處理,得到數(shù)據(jù)應(yīng)用得分;以及對(duì)設(shè)備信息進(jìn)行分析處理,得到設(shè)備信息得分;和對(duì)數(shù)據(jù)應(yīng)用權(quán)重、設(shè)備信息權(quán)重、數(shù)據(jù)應(yīng)用得分和設(shè)備信息得分進(jìn)行加權(quán)求和,得到總得分;
28、其中,數(shù)據(jù)應(yīng)用權(quán)重用于指示用戶訪問數(shù)據(jù)的訪問行為的特征表達(dá);設(shè)備信息權(quán)重用于指示溫存儲(chǔ)設(shè)備的硬件環(huán)境對(duì)數(shù)據(jù)遷移決策的影響程度;
29、數(shù)據(jù)調(diào)度模塊,用于在總得分滿足預(yù)設(shè)分值條件的情況下,將目標(biāo)數(shù)據(jù)從溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備。
30、第三方面,本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)遷移調(diào)度設(shè)備,設(shè)備包括:處理器,以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器;處理器讀取并執(zhí)行計(jì)算機(jī)程序指令,以實(shí)現(xiàn)如上任意一方面實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法。
31、第四方面,本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)存儲(chǔ)介質(zhì),計(jì)算機(jī)存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令,計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上任意一方面實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法。
32、第五方面,本申請(qǐng)實(shí)施例提供了一種計(jì)算機(jī)程序產(chǎn)品。計(jì)算機(jī)程序產(chǎn)品中的指令由電子設(shè)備的處理器執(zhí)行時(shí),使得電子設(shè)備執(zhí)行如上任意一方面實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法。
33、本申請(qǐng)實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法同時(shí)考慮了目標(biāo)數(shù)據(jù)本身的特點(diǎn),也考慮到了存儲(chǔ)設(shè)備的運(yùn)行狀態(tài),實(shí)現(xiàn)了多因素綜合考量,來判斷數(shù)據(jù)溫冷的技術(shù)手段,從而增加了數(shù)據(jù)溫冷判斷的準(zhǔn)確性,已實(shí)現(xiàn)更合理的數(shù)據(jù)遷移策略;并且數(shù)據(jù)應(yīng)用權(quán)重的本身特點(diǎn)決定了該數(shù)據(jù)遷移調(diào)度方法還具有自優(yōu)化、自適應(yīng)的特點(diǎn);從而本申請(qǐng)實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法不但考慮到了目標(biāo)數(shù)據(jù)的特性,還考慮到了目標(biāo)數(shù)據(jù)的用戶調(diào)用行為隨時(shí)間的變化,從而做出自我優(yōu)化,提供更合理的數(shù)據(jù)遷移策略;在綜合考慮數(shù)據(jù)應(yīng)用權(quán)重、設(shè)備信息權(quán)重、數(shù)據(jù)應(yīng)用得分和設(shè)備信息得分后,通過將總得分與預(yù)設(shè)的分值條件進(jìn)行比較,從而判斷出數(shù)據(jù)的溫冷,并為冷數(shù)據(jù)遷離溫存儲(chǔ)設(shè)備提供了可靠的判斷依據(jù);本申請(qǐng)實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法在例如云場(chǎng)景中,可有效將溫存儲(chǔ)設(shè)備中的冷數(shù)據(jù)轉(zhuǎn)移至其他存儲(chǔ)設(shè)備中,并將溫?cái)?shù)據(jù)保留在溫存儲(chǔ)設(shè)備中,以便于用戶端從溫存儲(chǔ)設(shè)備調(diào)用溫?cái)?shù)據(jù);進(jìn)而,本申請(qǐng)實(shí)施例提供的數(shù)據(jù)遷移調(diào)度方法可將數(shù)據(jù)遷移至更為適合的存儲(chǔ)設(shè)備中,并可實(shí)現(xiàn)降低數(shù)據(jù)的存儲(chǔ)成本的技術(shù)效果。
1.一種數(shù)據(jù)遷移調(diào)度方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)遷移調(diào)度方法,其特征在于,所述元數(shù)據(jù)信息包括:訪問頻率和數(shù)據(jù)類型,
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)遷移調(diào)度方法,其特征在于,設(shè)備信息包括已占用設(shè)備容量和設(shè)備負(fù)載壓力;所述對(duì)所述設(shè)備信息進(jìn)行分析處理,得到設(shè)備信息得分,包括:
4.根據(jù)權(quán)利要求1-3任意一項(xiàng)所述的數(shù)據(jù)遷移調(diào)度方法,其特征在于,將所述目標(biāo)數(shù)據(jù)從所述溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備之后,所述方法還包括:
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)遷移調(diào)度方法,其特征在于,在更新所述數(shù)據(jù)應(yīng)用權(quán)重之前,所述方法還包括:
6.根據(jù)權(quán)利要求4所述的數(shù)據(jù)遷移調(diào)度方法,其特征在于,所述更新所述數(shù)據(jù)應(yīng)用權(quán)重,包括:
7.根據(jù)權(quán)利要求1-3任意一項(xiàng)所述的數(shù)據(jù)遷移調(diào)度方法,其特征在于,將所述目標(biāo)數(shù)據(jù)從所述溫存儲(chǔ)設(shè)備遷移到冷存儲(chǔ)設(shè)備,包括:
8.一種數(shù)據(jù)遷移調(diào)度裝置,其特征在于,所述裝置包括:
9.一種數(shù)據(jù)遷移調(diào)度設(shè)備,其特征在于,所述設(shè)備包括:處理器,以及存儲(chǔ)有計(jì)算機(jī)程序指令的存儲(chǔ)器;所述處理器讀取并執(zhí)行所述計(jì)算機(jī)程序指令,以實(shí)現(xiàn)如權(quán)利要求1-7任意一項(xiàng)所述的數(shù)據(jù)遷移調(diào)度方法。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序指令,所述計(jì)算機(jī)程序指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任意一項(xiàng)所述的數(shù)據(jù)遷移調(diào)度方法。
11.一種計(jì)算機(jī)程序產(chǎn)品,其特征在于,所述計(jì)算機(jī)程序產(chǎn)品中的指令由電子設(shè)備的處理器執(zhí)行時(shí),使得所述電子設(shè)備執(zhí)行如權(quán)利要求1-7任意一項(xiàng)所述的數(shù)據(jù)遷移調(diào)度方法。