本發(fā)明涉及分布式計(jì)算，特別是涉及一種面向大數(shù)據(jù)計(jì)算場景的基于serverless架構(gòu)的分布式計(jì)算平臺。

背景技術(shù)：

1、在當(dāng)今大數(shù)據(jù)時代，企業(yè)級數(shù)據(jù)處理任務(wù)呈現(xiàn)出巨大的資源需求波動和算力隔離挑戰(zhàn)。傳統(tǒng)的數(shù)據(jù)處理平臺主要依賴于靜態(tài)的資源分配和集中式的任務(wù)調(diào)度機(jī)制，難以適應(yīng)數(shù)據(jù)量的快速增長和復(fù)雜多變的業(yè)務(wù)需求。高效、靈活的分布式計(jì)算平臺在大數(shù)據(jù)處理領(lǐng)域具有重要的應(yīng)用價值。

2、目前，主要采用基于hadoop、spark等大數(shù)據(jù)框架搭建的分布式集群來處理海量數(shù)據(jù)。這些框架通過將計(jì)算任務(wù)分發(fā)到多個節(jié)點(diǎn)并行執(zhí)行，在一定程度上提高了數(shù)據(jù)處理效率。然而，傳統(tǒng)的大數(shù)據(jù)處理平臺通常采用靜態(tài)的資源分配策略，即為每個任務(wù)預(yù)先分配固定的計(jì)算資源。這種方式難以應(yīng)對動態(tài)變化的負(fù)載需求，容易導(dǎo)致資源的浪費(fèi)或任務(wù)的阻塞，限制了系統(tǒng)的彈性和服務(wù)質(zhì)量。

3、此外，現(xiàn)有的分布式計(jì)算平臺大多缺乏有效的多租戶資源隔離機(jī)制。在共享集群環(huán)境中，不同用戶或應(yīng)用的任務(wù)之間容易產(chǎn)生資源的相互干擾和搶占，影響關(guān)鍵任務(wù)的性能表現(xiàn)。同時，用戶需要手動管理底層計(jì)算資源，增加了應(yīng)用開發(fā)和運(yùn)維的復(fù)雜度。這些問題制約了大數(shù)據(jù)處理平臺的靈活性、可靠性和易用性。

4、為了克服上述困難，業(yè)界嘗試引入serverless計(jì)算的理念，將任務(wù)運(yùn)行環(huán)境無服務(wù)器化，實(shí)現(xiàn)計(jì)算資源的按需供給和自動伸縮。aws?lambda、google?cloud?functions等serverless平臺在事件驅(qū)動、函數(shù)計(jì)算等場景下取得了一定進(jìn)展。但是，這些通用的serverless平臺在支持復(fù)雜的大數(shù)據(jù)計(jì)算任務(wù)時仍然面臨諸多挑戰(zhàn)，例如資源利用率低、冷啟動延遲高等問題。如何在serverless架構(gòu)的基礎(chǔ)上，進(jìn)一步優(yōu)化資源管理和任務(wù)調(diào)度策略，成為大數(shù)據(jù)計(jì)算領(lǐng)域的一個研究熱點(diǎn)。

5、綜上所述，傳統(tǒng)的大數(shù)據(jù)處理平臺在資源利用效率、多租戶隔離性、應(yīng)用開發(fā)運(yùn)維效率等方面仍存在不足。為了應(yīng)對日益增長的數(shù)據(jù)處理需求和業(yè)務(wù)挑戰(zhàn)，亟需開發(fā)一種靈活高效的分布式計(jì)算平臺。理想的平臺應(yīng)能夠提供動態(tài)彈性的資源供給能力，智能優(yōu)化的資源分配與調(diào)度機(jī)制，以及高度隔離的多租戶運(yùn)行環(huán)境。這將有助于顯著提升系統(tǒng)的整體性能，降低應(yīng)用交付成本，促進(jìn)大數(shù)據(jù)處理技術(shù)的創(chuàng)新發(fā)展。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是解決現(xiàn)有大數(shù)據(jù)處理平臺在資源利用效率、多租戶隔離性、應(yīng)用開發(fā)運(yùn)維效率等方面的不足。通過引入serverless架構(gòu)和創(chuàng)新的資源管理機(jī)制，實(shí)現(xiàn)一種高度彈性、隔離、易用的分布式計(jì)算平臺，以滿足日益增長的數(shù)據(jù)處理需求。此外，本發(fā)明還旨在降低用戶的使用門檻和應(yīng)用交付成本，促進(jìn)大數(shù)據(jù)處理技術(shù)的普及應(yīng)用。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種面向大數(shù)據(jù)計(jì)算場景的基于serverless架構(gòu)的分布式計(jì)算平臺。其核心特征在于，該平臺包括由多計(jì)算節(jié)點(diǎn)組成的彈性資源池，結(jié)合雙重?cái)U(kuò)縮容機(jī)制和智能資源分析調(diào)度模塊，可根據(jù)負(fù)載需求自動調(diào)整計(jì)算資源的供給。同時，平臺采用serverless任務(wù)運(yùn)行模型，用戶無需關(guān)注底層資源的管理，降低了應(yīng)用開發(fā)部署的復(fù)雜度。在多租戶場景下，平臺通過統(tǒng)一的資源管理和隔離機(jī)制，保障了關(guān)鍵任務(wù)的性能穩(wěn)定性。

3、具體地，彈性計(jì)算資源池由多個計(jì)算節(jié)點(diǎn)構(gòu)成，每個節(jié)點(diǎn)被虛擬化為多個輕量級的計(jì)算單元，如容器，以支持細(xì)粒度的資源分配和調(diào)度。雙重?cái)U(kuò)縮容機(jī)制一方面通過對整個資源池的水平伸縮來應(yīng)對劇烈的負(fù)載波動，另一方面對單個計(jì)算單元進(jìn)行垂直伸縮，以滿足已啟動任務(wù)的動態(tài)資源需求。

4、進(jìn)一步地，智能資源分析與調(diào)度模塊基于機(jī)器學(xué)習(xí)算法，包括但不限于決策樹、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等，通過持續(xù)分析不同任務(wù)的資源消耗模式，對其未來的資源需求進(jìn)行預(yù)測，并據(jù)此提前調(diào)整資源的分配策略。這種預(yù)測性調(diào)度方式可以在保證任務(wù)sla的同時，最大化資源利用率，避免過度配置帶來的浪費(fèi)。

5、優(yōu)選地，平臺采用serverless任務(wù)運(yùn)行模型，用戶只需要提交任務(wù)代碼和配置，而無需關(guān)心底層計(jì)算資源的供給和管理。系統(tǒng)根據(jù)任務(wù)的實(shí)時負(fù)載自動選擇最優(yōu)的計(jì)算資源組合，并采用按需計(jì)費(fèi)的方式，減輕了用戶的運(yùn)維負(fù)擔(dān)和使用成本。

6、在一些實(shí)施例中，平臺還包括一個調(diào)度策略配置模塊。通過該模塊，管理員可以根據(jù)業(yè)務(wù)需求，靈活設(shè)置資源分配策略和任務(wù)優(yōu)先級規(guī)則，以便在特定場景下對系統(tǒng)的調(diào)度行為進(jìn)行干預(yù)和優(yōu)化。

7、在一個實(shí)施例中，平臺還引入了細(xì)粒度的多租戶資源隔離機(jī)制。通過在不同租戶之間設(shè)置嚴(yán)格的資源配額和訪問控制，保證了關(guān)鍵任務(wù)不受其他任務(wù)的干擾，提供了可預(yù)期的性能保障。

8、在某些實(shí)施例中，平臺還提供了可視化的監(jiān)控和管理界面。管理員可以實(shí)時查看系統(tǒng)的運(yùn)行狀態(tài)，如節(jié)點(diǎn)負(fù)載、任務(wù)分布等關(guān)鍵指標(biāo)。平臺還內(nèi)置了基于機(jī)器學(xué)習(xí)的異常檢測和根因分析功能，協(xié)助管理員快速發(fā)現(xiàn)和定位潛在問題。

9、另外，本發(fā)明還可以與主流的大數(shù)據(jù)處理框架和工具無縫集成，用戶可以將現(xiàn)有的spark、flink等任務(wù)平滑遷移到serverless環(huán)境中運(yùn)行，而無需修改代碼，兼顧了易用性和擴(kuò)展性。

10、在一個優(yōu)選實(shí)施方式中，平臺采用了松耦合的微服務(wù)架構(gòu)，不同功能組件之間通過標(biāo)準(zhǔn)api接口通信，易于擴(kuò)展和定制。平臺還支持多云、混合云等部署模式，用戶可以根據(jù)安全、成本等需求靈活選擇。

11、在另一個優(yōu)選實(shí)施方式中，平臺還集成了數(shù)據(jù)隱私保護(hù)和安全審計(jì)等功能，確保敏感數(shù)據(jù)在處理過程中的合規(guī)性，滿足企業(yè)級用戶的嚴(yán)苛要求。

12、通過采用上述方案，本發(fā)明具有以下有益效果：

13、（1）提供了高度彈性的資源供給能力，可應(yīng)對動態(tài)變化的數(shù)據(jù)處理負(fù)載，提升資源利用率和任務(wù)響應(yīng)速度；

14、（2）實(shí)現(xiàn)了細(xì)粒度、全方位的多租戶資源隔離，保障了關(guān)鍵任務(wù)的性能穩(wěn)定性和數(shù)據(jù)安全性；

15、（3）簡化了大數(shù)據(jù)應(yīng)用的開發(fā)部署流程，降低了用戶的使用門檻，加速產(chǎn)品迭代和業(yè)務(wù)創(chuàng)新；

16、（4）優(yōu)化了計(jì)算資源的分配與調(diào)度策略，在滿足任務(wù)sla的同時最小化成本投入，為企業(yè)節(jié)省開支；

17、（5）集成了智能化的監(jiān)控、分析、調(diào)優(yōu)等輔助功能，大幅提升了系統(tǒng)的運(yùn)維管理效率。

18、綜上所述，本發(fā)明開創(chuàng)了一種靈活高效、安全可靠、簡單易用的分布式計(jì)算新模式，有力推動了serverless與大數(shù)據(jù)技術(shù)的融合創(chuàng)新，為企業(yè)級用戶提供了全新的數(shù)據(jù)處理解決方案，具有廣闊的應(yīng)用前景和重大的商業(yè)價值。

技術(shù)特征：

1.一種面向大數(shù)據(jù)計(jì)算場景的基于serverless架構(gòu)的分布式計(jì)算平臺，其特征在于，包括：

2.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述彈性計(jì)算資源池支持根據(jù)總體負(fù)載需求實(shí)現(xiàn)動態(tài)水平伸縮，以提供充足的計(jì)算資源供給。

3.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述計(jì)算節(jié)點(diǎn)劃分的輕量級計(jì)算單元為容器，以支持細(xì)粒度資源調(diào)度。

4.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述雙重?cái)U(kuò)縮容機(jī)制首先通過計(jì)算資源池的水平伸縮應(yīng)對負(fù)載大波動，其次通過對單個計(jì)算單元的垂直伸縮實(shí)現(xiàn)已啟動任務(wù)的實(shí)時資源調(diào)整。

5.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述智能資源分析與調(diào)度模塊采用機(jī)器學(xué)習(xí)算法，通過對歷史數(shù)據(jù)和實(shí)時監(jiān)測數(shù)據(jù)的訓(xùn)練學(xué)習(xí)，建立資源消耗預(yù)測模型，并據(jù)此提前調(diào)整熱點(diǎn)任務(wù)資源配置。

6.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述serverless任務(wù)運(yùn)行模型將任務(wù)代碼與底層資源解耦，提供自動資源供給與按需計(jì)費(fèi)，免除用戶運(yùn)維負(fù)擔(dān)。

7.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述多租戶資源隔離機(jī)制對不同租戶的資源使用進(jìn)行嚴(yán)格隔離，并為關(guān)鍵任務(wù)提供性能保障。

8.如權(quán)利要求1所述的分布式計(jì)算平臺，其特征在于，所述可視化監(jiān)控平臺通過圖表等方式直觀展示資源池狀態(tài)、任務(wù)分布等核心運(yùn)行指標(biāo)，并基于大數(shù)據(jù)分析提供智能診斷優(yōu)化方案。

9.如權(quán)利要求1-8任一項(xiàng)所述的分布式計(jì)算平臺，其特征在于，所述平臺進(jìn)一步包括調(diào)度策略配置模塊，管理員可通過策略配置靈活干預(yù)資源分配與任務(wù)優(yōu)先級等調(diào)度行為。

10.如權(quán)利要求1-8任一項(xiàng)所述的分布式計(jì)算平臺，其特征在于，所述機(jī)器學(xué)習(xí)算法包括但不限于決策樹、支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)等。

技術(shù)總結(jié)
本發(fā)明提供了一種面向大數(shù)據(jù)場景的基于Serverless架構(gòu)的分布式計(jì)算平臺。該平臺包括由多節(jié)點(diǎn)組成的彈性計(jì)算資源池，結(jié)合雙重?cái)U(kuò)縮容機(jī)制和智能資源分析調(diào)度，可按需供給算力資源。平臺采用Serverless任務(wù)運(yùn)行模型，簡化大數(shù)據(jù)應(yīng)用部署，并通過統(tǒng)一資源管理實(shí)現(xiàn)多租戶場景下的性能隔離。此外，可視化監(jiān)控平臺輔以智能分析，為運(yùn)維管理提供決策支持。與傳統(tǒng)靜態(tài)資源調(diào)度相比，本發(fā)明可顯著提升資源利用率，降低運(yùn)維復(fù)雜度，并在多租戶環(huán)境中提供有力的資源隔離與公平性保障，有效支撐大數(shù)據(jù)時代分布式計(jì)算的技術(shù)創(chuàng)新與應(yīng)用拓展。

技術(shù)研發(fā)人員：劉宇
受保護(hù)的技術(shù)使用者：劉宇
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17