本發(fā)明涉及資源分配，尤其涉及一種基于大數(shù)據(jù)的云計(jì)算資源調(diào)度方法及系統(tǒng)。

背景技術(shù)：

1、資源分配技術(shù)領(lǐng)域涉及計(jì)算資源、網(wǎng)絡(luò)帶寬、存儲(chǔ)容量等關(guān)鍵資源的優(yōu)化管理和分配策略。從而確保系統(tǒng)的高效運(yùn)行，適應(yīng)不同應(yīng)用和服務(wù)的需求。包括從數(shù)據(jù)中心管理到云計(jì)算平臺(tái)、多租戶環(huán)境及其它大規(guī)模分布式系統(tǒng)的資源調(diào)度。有效的資源分配策略能夠提高資源的利用率，減少能耗，優(yōu)化成本，并改善用戶體驗(yàn)。

2、其中，云計(jì)算資源調(diào)度方法通常用于關(guān)注如何在云環(huán)境中高效地分配和管理計(jì)算資源。方法通過(guò)動(dòng)態(tài)調(diào)度算法優(yōu)化資源的分配，以支持不同應(yīng)用程序的性能需求和成本效率。用途包括確保應(yīng)用性能的穩(wěn)定性，最大化硬件和軟件資源的利用率，以及在需求變化時(shí)自動(dòng)調(diào)整資源分配。這種調(diào)度技術(shù)特別適用于需處理大量數(shù)據(jù)和高并發(fā)請(qǐng)求的云服務(wù)，例如大數(shù)據(jù)分析、在線事務(wù)處理和互聯(lián)網(wǎng)應(yīng)用。

3、盡管現(xiàn)有技術(shù)在資源分配和管理方面已取得一定進(jìn)展，但在云環(huán)境的快速變化和高并發(fā)請(qǐng)求面前，往往顯示出其局限性。其在處理大量數(shù)據(jù)和高并發(fā)請(qǐng)求時(shí)，難以充分適應(yīng)資源需求的動(dòng)態(tài)變化，導(dǎo)致資源分配不夠及時(shí)或過(guò)度集中，從而影響系統(tǒng)性能和用戶體驗(yàn)。此外，現(xiàn)有技術(shù)在資源調(diào)度時(shí)缺乏對(duì)資源使用模式的深入分析，導(dǎo)致資源配置不能最優(yōu)化，使得資源有時(shí)處于閑置狀態(tài)，造成能源和成本的不必要浪費(fèi)。例如，在數(shù)據(jù)中心，不精確的資源調(diào)度可能導(dǎo)致過(guò)度冷卻和電力消耗，進(jìn)一步引發(fā)運(yùn)營(yíng)成本的上升和環(huán)境負(fù)擔(dān)的加重。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提出的一種基于大數(shù)據(jù)的云計(jì)算資源調(diào)度方法及系統(tǒng)。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：一種基于大數(shù)據(jù)的云計(jì)算資源調(diào)度方法，包括以下步驟，

3、s1：從多類(lèi)云計(jì)算環(huán)境中收集資源使用數(shù)據(jù)，通過(guò)記錄每種資源的訪問(wèn)頻率和使用時(shí)長(zhǎng)，得到資源消耗動(dòng)態(tài)數(shù)據(jù)；

4、s2：利用所述資源消耗動(dòng)態(tài)數(shù)據(jù)，繪制資源節(jié)點(diǎn)圖，通過(guò)分析節(jié)點(diǎn)間的數(shù)據(jù)傳輸記錄和相互作用強(qiáng)度，建立起節(jié)點(diǎn)之間的關(guān)系權(quán)重，得到資源依賴(lài)矩陣；

5、s3：基于所述資源依賴(lài)矩陣，分析資源節(jié)點(diǎn)間的交互強(qiáng)度權(quán)重，識(shí)別關(guān)鍵資源路徑，得到關(guān)鍵資源分析結(jié)果；

6、s4：基于所述關(guān)鍵資源分析結(jié)果，重新分配分布或負(fù)載異常節(jié)點(diǎn)的資源，調(diào)整其連接到其余節(jié)點(diǎn)的權(quán)重，得到優(yōu)化后的資源配置；

7、s5：根據(jù)所述優(yōu)化后的資源配置，判斷每種資源請(qǐng)求的緊迫性和資源處理能力，將資源分配任務(wù)按窗口進(jìn)行調(diào)度，每個(gè)窗口根據(jù)資源需求的優(yōu)先級(jí)進(jìn)行資源分配，得到時(shí)間窗資源分配結(jié)果；

8、s6：基于所述時(shí)間窗資源分配結(jié)果，持續(xù)監(jiān)控資源消耗和請(qǐng)求數(shù)據(jù)，根據(jù)實(shí)時(shí)信息動(dòng)態(tài)調(diào)整時(shí)間窗內(nèi)的資源分配，得到動(dòng)態(tài)調(diào)整資源計(jì)劃。

9、本發(fā)明改進(jìn)有，所述資源消耗動(dòng)態(tài)數(shù)據(jù)包括計(jì)算資源的平均負(fù)載、存儲(chǔ)資源的剩余容量比率、網(wǎng)絡(luò)資源的峰值流量，所述資源依賴(lài)矩陣包括資源間的依賴(lài)度、資源節(jié)點(diǎn)的連通性指數(shù)、資源交換的頻繁程度，所述關(guān)鍵資源分析結(jié)果包括流量密集的資源節(jié)點(diǎn)、連接集中的網(wǎng)絡(luò)區(qū)域、響應(yīng)時(shí)間超出標(biāo)準(zhǔn)閾值的節(jié)點(diǎn)，所述優(yōu)化后的資源配置包括調(diào)整的資源分配比例、節(jié)點(diǎn)間通信效率和數(shù)據(jù)傳輸路徑，所述時(shí)間窗資源分配結(jié)果包括時(shí)間窗的資源使用率、資源請(qǐng)求的滿足程度、資源調(diào)配的時(shí)效性，所述動(dòng)態(tài)調(diào)整資源計(jì)劃包括實(shí)時(shí)更新的資源配置和調(diào)整后的優(yōu)先級(jí)隊(duì)列。

10、本發(fā)明改進(jìn)有，從云計(jì)算環(huán)境中收集資源使用數(shù)據(jù)，通過(guò)記錄每種資源的訪問(wèn)頻率和使用時(shí)長(zhǎng)，得到資源消耗動(dòng)態(tài)數(shù)據(jù)的具體步驟如下：

11、s101：從多類(lèi)云計(jì)算環(huán)境中收集資源使用數(shù)據(jù)，包括計(jì)算能力、存儲(chǔ)空間和網(wǎng)絡(luò)帶寬的使用記錄，得到資源數(shù)據(jù)集；

12、s102：基于所述資源數(shù)據(jù)集，分析網(wǎng)絡(luò)帶寬的上傳和下載流量數(shù)據(jù)，記錄每種資源的訪問(wèn)頻率和使用時(shí)長(zhǎng)，得到資源使用頻率記錄；

13、s103：基于所述資源使用頻率記錄，通過(guò)聚類(lèi)分析每種資源類(lèi)型的使用峰值和低谷，構(gòu)建資源消耗趨勢(shì)的模型，獲取資源消耗動(dòng)態(tài)數(shù)據(jù)。

14、本發(fā)明改進(jìn)有，利用所述資源消耗動(dòng)態(tài)數(shù)據(jù)，繪制資源節(jié)點(diǎn)圖，通過(guò)分析節(jié)點(diǎn)間的數(shù)據(jù)傳輸記錄和相互作用強(qiáng)度，建立起節(jié)點(diǎn)之間的關(guān)系權(quán)重，得到資源依賴(lài)矩陣的具體步驟如下：

15、s201：基于所述資源消耗動(dòng)態(tài)數(shù)據(jù)，標(biāo)記每個(gè)資源的位置和基本狀態(tài)，通過(guò)記錄節(jié)點(diǎn)間的數(shù)據(jù)傳輸事件，形成資源節(jié)點(diǎn)交互記錄；

16、s202：基于所述資源節(jié)點(diǎn)交互記錄，通過(guò)拉普拉斯矩陣對(duì)每對(duì)節(jié)點(diǎn)間的數(shù)據(jù)交換頻次和體積進(jìn)行統(tǒng)計(jì)，并量化節(jié)點(diǎn)間的關(guān)系強(qiáng)度指標(biāo)，生成節(jié)點(diǎn)關(guān)系權(quán)重；

17、s203：基于所述節(jié)點(diǎn)關(guān)系權(quán)重，根據(jù)節(jié)點(diǎn)間的響應(yīng)時(shí)間和資源請(qǐng)求量，調(diào)整節(jié)點(diǎn)之間的權(quán)重值，得到資源依賴(lài)矩陣。

18、本發(fā)明改進(jìn)有，所述拉普拉斯矩陣按照公式：

19、

20、對(duì)每對(duì)節(jié)點(diǎn)間的數(shù)據(jù)交換頻次和體積進(jìn)行統(tǒng)計(jì)，得到節(jié)點(diǎn)關(guān)系權(quán)重；

21、其中，l為拉普拉斯矩陣，表示節(jié)點(diǎn)之間的關(guān)系權(quán)重，β為系數(shù)，用于調(diào)節(jié)項(xiàng)的影響力，d為節(jié)點(diǎn)間的數(shù)據(jù)交換頻次矩陣，p為節(jié)點(diǎn)間數(shù)據(jù)交換的體積矩陣，∥a∥為矩陣a的范數(shù)，表示節(jié)點(diǎn)的總交換量，α為系數(shù)，用于調(diào)節(jié)(a⊙c)項(xiàng)的影響力，a為直接交換信息矩陣，c為連接性矩陣，每個(gè)元素cij表示節(jié)點(diǎn)i與節(jié)點(diǎn)j之間的連接強(qiáng)度或質(zhì)量，⊙為哈達(dá)瑪積，表示矩陣a和c對(duì)應(yīng)元素的逐項(xiàng)乘積。

22、本發(fā)明改進(jìn)有，基于所述資源依賴(lài)矩陣，分析資源節(jié)點(diǎn)間的交互強(qiáng)度權(quán)重，識(shí)別關(guān)鍵資源路徑，得到關(guān)鍵資源分析結(jié)果的具體步驟如下：

23、s301：基于所述資源依賴(lài)矩陣，提取節(jié)點(diǎn)對(duì)的交互數(shù)據(jù)，記錄每次數(shù)據(jù)交換的頻次和體積，生成交互強(qiáng)度記錄表；

24、s302：基于所述交互強(qiáng)度記錄表，通過(guò)頻次和強(qiáng)度數(shù)據(jù)篩選，選定超過(guò)設(shè)定閾值的節(jié)點(diǎn)為關(guān)鍵節(jié)點(diǎn)，并進(jìn)行標(biāo)記，生成關(guān)鍵節(jié)點(diǎn)列表；

25、s303：基于所述關(guān)鍵節(jié)點(diǎn)列表，構(gòu)建網(wǎng)絡(luò)圖，連接關(guān)鍵節(jié)點(diǎn)并映射數(shù)據(jù)流路徑，得到關(guān)鍵資源分析結(jié)果。

26、本發(fā)明改進(jìn)有，基于所述關(guān)鍵資源分析結(jié)果，重新分配分布或負(fù)載異常節(jié)點(diǎn)的資源，調(diào)整其連接到其余節(jié)點(diǎn)的權(quán)重，得到優(yōu)化后的資源配置的具體步驟如下：

27、s401：基于所述關(guān)鍵資源分析結(jié)果，判斷異常負(fù)載節(jié)點(diǎn)的資源使用情況，根據(jù)節(jié)點(diǎn)性能參數(shù)重新計(jì)算資源分配比例，生成負(fù)載調(diào)整計(jì)劃；

28、s402：采用所述負(fù)載調(diào)整計(jì)劃，選擇路徑進(jìn)行資源重新分配，通過(guò)調(diào)整路徑優(yōu)化數(shù)據(jù)傳輸效率，并記錄資源流向調(diào)整情況，生成資源再配置記錄；

29、s403：利用所述資源再配置記錄，更新節(jié)點(diǎn)間的權(quán)重，重定義節(jié)點(diǎn)間數(shù)據(jù)傳輸路徑，得到優(yōu)化后的資源配置。

30、本發(fā)明改進(jìn)有，根據(jù)所述優(yōu)化后的資源配置，判斷每種資源請(qǐng)求的緊迫性和資源處理能力，將資源分配任務(wù)按窗口進(jìn)行調(diào)度，每個(gè)窗口根據(jù)資源需求的優(yōu)先級(jí)進(jìn)行資源分配，得到時(shí)間窗資源分配結(jié)果的具體步驟如下：

31、s501：根據(jù)所述優(yōu)化后的資源配置，判斷每種資源請(qǐng)求的緊迫性和資源處理能力，收集和整理每種資源的需求數(shù)據(jù)，并進(jìn)行分類(lèi)，生成資源優(yōu)先級(jí)列表；

32、s502：通過(guò)所述資源優(yōu)先級(jí)列表，為每個(gè)時(shí)間窗口制定資源分配計(jì)劃，調(diào)整每類(lèi)資源按需分配的比例和順序，生成分配策略表；

33、s503：根據(jù)所述分配策略表，在每個(gè)時(shí)間窗口中執(zhí)行資源分配，實(shí)時(shí)記錄資源分配的執(zhí)行情況和效果，得到時(shí)間窗資源分配結(jié)果。

34、本發(fā)明改進(jìn)有，基于所述時(shí)間窗資源分配結(jié)果，持續(xù)監(jiān)控資源消耗和請(qǐng)求數(shù)據(jù)，根據(jù)實(shí)時(shí)信息動(dòng)態(tài)調(diào)整時(shí)間窗內(nèi)的資源分配，得到動(dòng)態(tài)調(diào)整資源計(jì)劃的具體步驟如下：

35、s601：基于所述時(shí)間窗資源分配結(jié)果，設(shè)置監(jiān)控點(diǎn)追蹤每類(lèi)資源的消耗速度和請(qǐng)求頻率，生成資源消耗監(jiān)控記錄；

36、s602：利用所述資源消耗監(jiān)控記錄，分析每類(lèi)資源的使用趨勢(shì)和需求變化，識(shí)別需要優(yōu)化的資源分配區(qū)域，生成資源調(diào)整需求信息；

37、s603：依據(jù)所述資源調(diào)整需求信息，更新和調(diào)整時(shí)間窗內(nèi)資源的分配策略，得到動(dòng)態(tài)調(diào)整資源計(jì)劃。

38、一種基于大數(shù)據(jù)的云計(jì)算資源調(diào)度系統(tǒng)，所述系統(tǒng)包括：

39、數(shù)據(jù)收集模塊基于多類(lèi)云計(jì)算環(huán)境，收集計(jì)算能力、存儲(chǔ)空間和網(wǎng)絡(luò)帶寬的使用記錄，生成資源使用數(shù)據(jù)集；

40、資源依賴(lài)分析模塊基于所述資源使用數(shù)據(jù)集，繪制資源節(jié)點(diǎn)圖，記錄節(jié)點(diǎn)間的數(shù)據(jù)傳輸事件，對(duì)節(jié)點(diǎn)間的交互強(qiáng)度進(jìn)行量化處理，生成資源依賴(lài)矩陣；

41、關(guān)鍵資源識(shí)別模塊基于所述資源依賴(lài)矩陣，通過(guò)分析交互數(shù)據(jù)，識(shí)別交互強(qiáng)度超過(guò)設(shè)定閾值的節(jié)點(diǎn)，標(biāo)記為關(guān)鍵節(jié)點(diǎn)，并構(gòu)建關(guān)鍵資源路徑網(wǎng)絡(luò)圖，生成關(guān)鍵資源分析結(jié)果；

42、資源調(diào)度模塊基于所述關(guān)鍵資源分析結(jié)果，對(duì)資源需求的優(yōu)先級(jí)進(jìn)行排序，按需制定資源分配計(jì)劃，并在每個(gè)時(shí)間窗口內(nèi)執(zhí)行計(jì)劃，生成時(shí)間窗資源分配結(jié)果；

43、動(dòng)態(tài)調(diào)整模塊基于所述時(shí)間窗資源分配結(jié)果，設(shè)置實(shí)時(shí)監(jiān)控點(diǎn)追蹤資源消耗和請(qǐng)求數(shù)據(jù)，根據(jù)資源使用趨勢(shì)動(dòng)態(tài)調(diào)整資源分配策略，生成動(dòng)態(tài)調(diào)整資源計(jì)劃。

44、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)和積極效果在于：

45、本發(fā)明中，通過(guò)繪制資源節(jié)點(diǎn)圖和分析節(jié)點(diǎn)間數(shù)據(jù)傳輸記錄，建立資源依賴(lài)矩陣的方法，增強(qiáng)了對(duì)云環(huán)境中資源流動(dòng)性的洞察力。依靠資源節(jié)點(diǎn)間的交互強(qiáng)度權(quán)重分析，能有效識(shí)別關(guān)鍵資源路徑，有助于精確判斷資源分布中的瓶頸和高效區(qū)域。通過(guò)重新配置負(fù)載異常節(jié)點(diǎn)以及優(yōu)化資源分配的方式，提升了資源利用效率和系統(tǒng)響應(yīng)速度。此外，將資源分配任務(wù)按窗口調(diào)度，并根據(jù)實(shí)時(shí)信息動(dòng)態(tài)調(diào)整資源分配，使得資源管理更加靈活，能夠適應(yīng)需求的快速變化，減少了資源浪費(fèi)。