本申請涉及數(shù)據(jù)領(lǐng)域，尤其涉及一種融合系統(tǒng)的數(shù)據(jù)處理方法、裝置、設(shè)備和系統(tǒng)。

背景技術(shù)：

1、存儲和計算是分布式應(yīng)用(如：大數(shù)據(jù)、數(shù)據(jù)庫)的兩大關(guān)鍵系統(tǒng)，決定著系統(tǒng)整體的性能與能耗。通常，計算和存儲部署在同一節(jié)點，系統(tǒng)性能較高，但存算比例確定，計算和存儲不能分別靈活擴展。隨后，存算分離架構(gòu)應(yīng)運而生，存儲集群和計算集群通過網(wǎng)絡(luò)連接，實現(xiàn)了計算和存儲分別按需靈活擴展。但是，數(shù)據(jù)從計算側(cè)到存儲側(cè)需要經(jīng)過協(xié)議和格式等多種轉(zhuǎn)化操作，導(dǎo)致數(shù)據(jù)處理時長較長以及系統(tǒng)能耗較高，系統(tǒng)性能成為了瓶頸。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝巳诤舷到y(tǒng)的數(shù)據(jù)處理方法、裝置、設(shè)備和系統(tǒng)，由此縮短數(shù)據(jù)處理時長，提升數(shù)據(jù)傳輸速度，降低系統(tǒng)能耗。

2、第一方面，提供了一種融合系統(tǒng)的數(shù)據(jù)處理方法。該融合系統(tǒng)包括計算節(jié)點和存儲節(jié)點。計算節(jié)點通過網(wǎng)絡(luò)與存儲節(jié)點連接構(gòu)建了存算分離架構(gòu)。計算節(jié)點的存儲介質(zhì)和存儲節(jié)點的存儲介質(zhì)經(jīng)過統(tǒng)一編址構(gòu)成全局內(nèi)存池，即計算節(jié)點和存儲節(jié)點共享的全局內(nèi)存。對系統(tǒng)進行讀寫操作時，獲取到處理請求數(shù)據(jù)，根據(jù)內(nèi)存操作指令對全局內(nèi)存池進行處理請求數(shù)據(jù)的內(nèi)存操作。

3、如此，由于內(nèi)存操作指令是一種利用內(nèi)存接口對內(nèi)存進行內(nèi)存操作的技術(shù)，根據(jù)內(nèi)存操作指令對計算節(jié)點和存儲節(jié)點共享的全局內(nèi)存進行處理請求數(shù)據(jù)的內(nèi)存操作，避免了數(shù)據(jù)從計算側(cè)到存儲側(cè)需要經(jīng)過協(xié)議和格式等多種轉(zhuǎn)化操作，有效地簡化了在計算節(jié)點和存儲節(jié)點之間的數(shù)據(jù)搬移過程。從而，基于具有全局內(nèi)存池的存算分離架構(gòu)既確保計算和存儲分別按需靈活擴展，又能夠快速地對系統(tǒng)進行讀寫操作，縮短了端到端的數(shù)據(jù)處理時長，提升了數(shù)據(jù)傳輸速度，降低了系統(tǒng)能耗，改善了系統(tǒng)性能瓶頸。

4、其中，內(nèi)存操作指令包括內(nèi)存分配、內(nèi)存設(shè)置、內(nèi)存復(fù)制、內(nèi)存移動、內(nèi)存釋放和內(nèi)存比較中至少一種。本申請實施例對全局內(nèi)存池的存儲介質(zhì)的類型不予限定。全局內(nèi)存池的存儲介質(zhì)包括內(nèi)存、硬盤、內(nèi)存服務(wù)器和存儲級內(nèi)存(storage-class-memory，scm)。如此，在分布式處理系統(tǒng)中引入包含多種存儲介質(zhì)的全局內(nèi)存池，使得存儲數(shù)據(jù)的存儲介質(zhì)具有更多的可能性，選擇匹配的存儲介質(zhì)存儲數(shù)據(jù)，實現(xiàn)能夠快速地對系統(tǒng)進行讀寫操作，提升了數(shù)據(jù)傳輸速度，縮短了端到端的數(shù)據(jù)處理時長。

5、在一種可能的實現(xiàn)方式中，根據(jù)內(nèi)存操作指令對全局內(nèi)存池進行處理請求數(shù)據(jù)的內(nèi)存操作，包括：從全局內(nèi)存池讀取待處理數(shù)據(jù)；根據(jù)處理請求數(shù)據(jù)使用內(nèi)存操作指令對待處理數(shù)據(jù)進行處理得到處理后數(shù)據(jù)，將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的存儲空間。所述第一地址指示的存儲空間包括計算節(jié)點的存儲介質(zhì)提供的存儲空間和存儲節(jié)點的存儲介質(zhì)提供的存儲空間中一個。

6、計算節(jié)點可以根據(jù)存儲策略確定第一地址指示的存儲空間。比如，計算節(jié)點根據(jù)應(yīng)用的訪問特性確定第一地址指示的存儲空間。

7、示例一，根據(jù)用戶需求和存儲介質(zhì)特征確定將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的存儲空間。存儲介質(zhì)特征包括寫時延、讀時延、總存儲容量、可用存儲容量、存取速度、中央處理器cpu消耗、能耗比和可靠性中至少一個。從而，基于用戶需求和系統(tǒng)的存儲介質(zhì)特征對系統(tǒng)進行讀寫操作，既增強了用戶對系統(tǒng)控制權(quán)限，提升了用戶的系統(tǒng)體驗又擴展了系統(tǒng)適用的應(yīng)用場景。

8、示例二，根據(jù)用戶需求和存儲介質(zhì)特征確定將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的存儲空間，包括：根據(jù)用戶需求和存儲介質(zhì)特征確定將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的計算節(jié)點的存儲空間。從而將處理后數(shù)據(jù)存儲到全局內(nèi)存池中計算側(cè)的本地內(nèi)存，以便進行本地內(nèi)存訪問，有效地縮短了數(shù)據(jù)處理時長，提升了數(shù)據(jù)傳輸速度。

9、示例三，根據(jù)用戶需求和存儲介質(zhì)特征確定將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的存儲空間，包括：根據(jù)用戶需求和存儲介質(zhì)特征確定將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的存儲節(jié)點的存儲空間。從而，將處理后數(shù)據(jù)存儲到全局內(nèi)存池中存儲側(cè)的內(nèi)存，提升了數(shù)據(jù)的可靠性以及持久化。

10、在另一種可能的實現(xiàn)方式中，將處理后數(shù)據(jù)寫入全局內(nèi)存池中第一地址指示的存儲空間之后，方法還包括：根據(jù)第一地址從全局內(nèi)存池讀取處理后數(shù)據(jù)。

11、例如，將全局內(nèi)存池存儲的數(shù)據(jù)下盤時，根據(jù)第一地址從全局內(nèi)存池讀取處理后數(shù)據(jù)，包括：需要將處理后數(shù)據(jù)進行持久化時，計算節(jié)點根據(jù)第一地址從全局內(nèi)存池讀取處理后數(shù)據(jù)，將處理后數(shù)據(jù)寫入存儲節(jié)點。

12、又如，融合系統(tǒng)中計算節(jié)點使用處理后數(shù)據(jù)時，計算節(jié)點根據(jù)第一地址從全局內(nèi)存池讀取處理后數(shù)據(jù)。

13、在另一種可能的實現(xiàn)方式中，方法還包括：當(dāng)根據(jù)第一地址從全局內(nèi)存池讀取處理后數(shù)據(jù)時，根據(jù)內(nèi)存操作指令對全局內(nèi)存池進行另一處理請求數(shù)據(jù)的內(nèi)存操作。

14、從而，從應(yīng)用的角度而言提升了數(shù)據(jù)處理的效率和數(shù)據(jù)傳輸速度，從硬件設(shè)備的角度而言提升了系統(tǒng)資源的利用率。

15、在另一種可能的實現(xiàn)方式中，方法還包括：根據(jù)內(nèi)存操作指令從存儲節(jié)點預(yù)取數(shù)據(jù)，存儲到全局內(nèi)存池。從而，以便于計算節(jié)點能夠快速地獲取到數(shù)據(jù)，縮短了數(shù)據(jù)處理時長。

16、在另一種可能的實現(xiàn)方式中，方法還包括：根據(jù)數(shù)據(jù)冷熱特性，基于內(nèi)存操作指令在全局內(nèi)存池與存儲節(jié)點之間進行數(shù)據(jù)的內(nèi)存操作。冷數(shù)據(jù)是指訪問頻次較低的數(shù)據(jù)。將冷數(shù)據(jù)從全局內(nèi)存池搬移到存儲節(jié)點，釋放全局內(nèi)存池的存儲空間，提升全局內(nèi)存池的存儲空間的利用率。熱數(shù)據(jù)是指訪問頻次較高的數(shù)據(jù)。將熱數(shù)據(jù)從存儲節(jié)點搬移到全局內(nèi)存池，使計算節(jié)點盡快地獲取到所需的數(shù)據(jù)，縮短了數(shù)據(jù)處理時長，減少頻繁讀寫數(shù)據(jù)所占用的計算資源。

17、第二方面，提供了一種融合系統(tǒng)的數(shù)據(jù)處理裝置，所述裝置包括用于執(zhí)行第一方面或第一方面任一種可能設(shè)計中的融合系統(tǒng)的數(shù)據(jù)處理方法的各個模塊。

18、第三方面，提供一種計算設(shè)備，該計算設(shè)備包括至少一個處理器和存儲器，存儲器用于存儲一組計算機指令；當(dāng)處理器作為第一方面或第一方面任一種可能實現(xiàn)方式中的計算節(jié)點執(zhí)行所述一組計算機指令時，執(zhí)行第一方面或第一方面任一種可能實現(xiàn)方式中的融合系統(tǒng)的數(shù)據(jù)處理方法的操作步驟。

19、第四方面，提供一種計算機可讀存儲介質(zhì)，包括：計算機軟件指令；當(dāng)計算機軟件指令在計算設(shè)備中運行時，使得計算設(shè)備執(zhí)行如第一方面或第一方面任意一種可能的實現(xiàn)方式中所述方法的操作步驟。

20、第五方面，提供一種計算機程序產(chǎn)品，當(dāng)計算機程序產(chǎn)品在計算機上運行時，使得計算設(shè)備執(zhí)行如第一方面或第一方面任意一種可能的實現(xiàn)方式中所述方法的操作步驟。

21、本申請在上述各方面提供的實現(xiàn)方式的基礎(chǔ)上，還可以進行進一步組合以提供更多實現(xiàn)方式。

技術(shù)特征：

1.一種融合系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，所述融合系統(tǒng)包括計算節(jié)點和存儲節(jié)點，所述計算節(jié)點通過網(wǎng)絡(luò)與所述存儲節(jié)點連接，所述計算節(jié)點的存儲介質(zhì)和所述存儲節(jié)點的存儲介質(zhì)經(jīng)過統(tǒng)一編址構(gòu)成全局內(nèi)存池；所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，內(nèi)存操作指令包括內(nèi)存分配、內(nèi)存設(shè)置、內(nèi)存復(fù)制、內(nèi)存移動、內(nèi)存釋放和內(nèi)存比較中至少一種。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述全局內(nèi)存池的存儲介質(zhì)包括內(nèi)存、內(nèi)存服務(wù)器和存儲級內(nèi)存scm。

4.根據(jù)權(quán)利要求1-3中任一項所述的方法，其特征在于，根據(jù)內(nèi)存操作指令對所述全局內(nèi)存池進行所述處理請求數(shù)據(jù)的內(nèi)存操作，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述處理后數(shù)據(jù)寫入所述全局內(nèi)存池中第一地址指示的存儲空間，包括：

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述第一地址指示的存儲空間包括所述計算節(jié)點的存儲介質(zhì)提供的存儲空間和所述存儲節(jié)點的存儲介質(zhì)提供的存儲空間中一個。

7.根據(jù)權(quán)利要求4-6中任一項所述的方法，其特征在于，將所述處理后數(shù)據(jù)寫入所述全局內(nèi)存池中第一地址指示的存儲空間之后，所述方法還包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，根據(jù)所述第一地址從所述全局內(nèi)存池讀取所述處理后數(shù)據(jù)，包括：

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

11.一種融合系統(tǒng)的數(shù)據(jù)處理裝置，其特征在于，所述融合系統(tǒng)包括計算節(jié)點和存儲節(jié)點，所述計算節(jié)點通過網(wǎng)絡(luò)與所述存儲節(jié)點連接，所述計算節(jié)點的存儲介質(zhì)和所述存儲節(jié)點的存儲介質(zhì)經(jīng)過統(tǒng)一編址構(gòu)成全局內(nèi)存池；所述裝置包括：

12.根據(jù)權(quán)利要求11所述的裝置，其特征在于，內(nèi)存操作指令包括內(nèi)存分配、內(nèi)存設(shè)置、內(nèi)存復(fù)制、內(nèi)存移動、內(nèi)存釋放和內(nèi)存比較中至少一種。

13.根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述全局內(nèi)存池的存儲介質(zhì)包括內(nèi)存、內(nèi)存服務(wù)器和存儲級內(nèi)存scm。

14.根據(jù)權(quán)利要求11-13中任一項所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊根據(jù)內(nèi)存操作指令對所述全局內(nèi)存池進行所述處理請求數(shù)據(jù)的內(nèi)存操作時，具體用于：

15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊將所述處理后數(shù)據(jù)寫入所述全局內(nèi)存池中第一地址指示的存儲空間時，具體用于：

16.根據(jù)權(quán)利要求14或15所述的裝置，其特征在于，所述第一地址指示的存儲空間包括所述計算節(jié)點的存儲介質(zhì)提供的存儲空間和所述存儲節(jié)點的存儲介質(zhì)提供的存儲空間中一個。

17.根據(jù)權(quán)利要求14-16中任一項所述的裝置，其特征在于，

18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述數(shù)據(jù)處理模塊根據(jù)所述第一地址從所述全局內(nèi)存池讀取所述處理后數(shù)據(jù)時，具體用于：

19.根據(jù)權(quán)利要求11所述的裝置，其特征在于，

20.根據(jù)權(quán)利要求11所述的裝置，其特征在于，

21.一種計算設(shè)備，其特征在于，所述計算設(shè)備包括存儲器和至少一個處理器，所述存儲器用于存儲一組計算機指令；當(dāng)所述處理器執(zhí)行所述一組計算機指令時，執(zhí)行上述權(quán)利要求1-10中任一項所述的方法的操作步驟。

22.一種系統(tǒng)，其特征在于，所述系統(tǒng)包括存儲節(jié)點和計算節(jié)點，所述計算節(jié)點通過網(wǎng)絡(luò)與所述存儲節(jié)點連接，所述計算節(jié)點的存儲介質(zhì)和所述存儲節(jié)點的存儲介質(zhì)經(jīng)過統(tǒng)一編址構(gòu)成全局內(nèi)存池，所述計算節(jié)點用于執(zhí)行上述權(quán)利要求1-10中任一項所述的方法的操作步驟。

技術(shù)總結(jié)
公開了融合系統(tǒng)的數(shù)據(jù)處理方法、裝置、設(shè)備和系統(tǒng)，涉及數(shù)據(jù)領(lǐng)域。該融合系統(tǒng)包括計算節(jié)點和存儲節(jié)點。計算節(jié)點通過網(wǎng)絡(luò)與存儲節(jié)點連接構(gòu)建了存算分離架構(gòu)。計算節(jié)點的存儲介質(zhì)和存儲節(jié)點的存儲介質(zhì)經(jīng)過統(tǒng)一編址構(gòu)成全局內(nèi)存池，即計算節(jié)點和存儲節(jié)點共享的全局存儲介質(zhì)。對系統(tǒng)進行讀寫操作時，獲取到處理請求數(shù)據(jù)，根據(jù)內(nèi)存操作指令對全局內(nèi)存池進行處理請求數(shù)據(jù)的內(nèi)存操作。從而，基于具有全局內(nèi)存池的存算分離架構(gòu)既確保計算和存儲分別按需靈活擴展，又能夠快速地對系統(tǒng)進行讀寫操作，縮短了端到端的數(shù)據(jù)處理時長，提升了數(shù)據(jù)傳輸速度，降低了系統(tǒng)能耗，改善了系統(tǒng)性能瓶頸。

技術(shù)研發(fā)人員：孫宏偉,李光成,劉華偉,游俊,崔文林
受保護的技術(shù)使用者：華為技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19