本發(fā)明涉及數(shù)據(jù)存儲(chǔ)，具體涉及一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法。

背景技術(shù)：

1、在銀行和其他金融機(jī)構(gòu)中，目前主要采用的數(shù)據(jù)存儲(chǔ)方式為集中式存儲(chǔ)。然而，這種方式存在諸多弊端，包括單點(diǎn)故障風(fēng)險(xiǎn)、擴(kuò)展性差、性能瓶頸、成本高昂以及對(duì)機(jī)房環(huán)境的高要求等。以下是對(duì)這些弊端的逐一分析：

2、1.單點(diǎn)故障風(fēng)險(xiǎn)：

3、集中式存儲(chǔ)將所有數(shù)據(jù)集中在單一位置，一旦發(fā)生故障，整個(gè)系統(tǒng)可能不可用。并且通常只有一個(gè)數(shù)據(jù)副本，無(wú)法實(shí)現(xiàn)多副本冗余，容錯(cuò)能力低。

4、2.擴(kuò)展性差

5、集中式存儲(chǔ)難以適應(yīng)大規(guī)模存儲(chǔ)需求，擴(kuò)展困難，同時(shí)添加存儲(chǔ)資源或進(jìn)行技術(shù)升級(jí)時(shí)，需要停機(jī)或大幅度調(diào)整現(xiàn)有系統(tǒng)，影響業(yè)務(wù)連續(xù)性。

6、3.性能瓶頸

7、由于是共享網(wǎng)絡(luò)帶寬，當(dāng)多個(gè)用戶或應(yīng)用同時(shí)訪問(wèn)時(shí)，性能顯著下降；而且集中式存儲(chǔ)系統(tǒng)的輸入輸出操作次數(shù)(iops)受限，難以處理高并發(fā)任務(wù)。

8、4.成本高昂

9、集中式存儲(chǔ)設(shè)備通常采用昂貴的專用硬件，維護(hù)費(fèi)用較高，并且對(duì)機(jī)房環(huán)境要求高，如空間大、承重和空調(diào)設(shè)施要求嚴(yán)格，增加了運(yùn)營(yíng)成本。

10、5.對(duì)機(jī)房環(huán)境要求高

11、集中式存儲(chǔ)要求機(jī)房具備足夠的空間、承重能力和高效的空調(diào)系統(tǒng)。并且大型集中存儲(chǔ)設(shè)備的能耗較高，增加了運(yùn)營(yíng)成本并可能對(duì)環(huán)境造成不利影響。

12、6.數(shù)據(jù)共享性差

13、某些集中式存儲(chǔ)方式(如san存儲(chǔ))無(wú)法有效支持多用戶文件共享，影響協(xié)作效率，使得不同部門(mén)或分公司之間的數(shù)據(jù)共享和協(xié)作受限，降低了數(shù)據(jù)的利用率和價(jià)值。

14、7.恢復(fù)與備份復(fù)雜

15、集中式存儲(chǔ)的備份過(guò)程復(fù)雜且容易出錯(cuò)，對(duì)管理員的技能要求較高，而且在出現(xiàn)重大故障或?yàn)?zāi)難時(shí)，集中式存儲(chǔ)的恢復(fù)能力較差，可能導(dǎo)致重要數(shù)據(jù)丟失。

16、8.管理和維護(hù)難度大

17、集中式存儲(chǔ)的管理涉及復(fù)雜的配置和監(jiān)控，增加了管理難度。由于所有數(shù)據(jù)集中存放，任何一次維護(hù)都可能需要暫停服務(wù)，影響用戶體驗(yàn)。

18、綜上所述，集中式存儲(chǔ)在銀行等需要高度可靠性和可擴(kuò)展性的領(lǐng)域中，其弊端顯得尤為突出。這些弊端不僅增加了運(yùn)營(yíng)成本，還可能在關(guān)鍵時(shí)刻影響業(yè)務(wù)的連續(xù)性和數(shù)據(jù)的安全性。因此，在考慮數(shù)據(jù)存儲(chǔ)方案時(shí)，需要權(quán)衡集中式存儲(chǔ)的優(yōu)缺點(diǎn)，并根據(jù)具體業(yè)務(wù)需求做出最佳選擇。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)存在的不足，提供一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，包括：

3、搭建分布式存儲(chǔ)集群，所述分布式存儲(chǔ)集群中的各個(gè)節(jié)點(diǎn)基于rdma適配器連接形成rdma網(wǎng)絡(luò)，以使數(shù)據(jù)直接在各個(gè)節(jié)點(diǎn)的內(nèi)存之間直接傳輸，無(wú)需經(jīng)過(guò)操作系統(tǒng)的內(nèi)核介入；

4、基于raft算法管理分布式存儲(chǔ)集群中的日志復(fù)制，以保證各個(gè)節(jié)點(diǎn)之間的數(shù)據(jù)一致性，具體如下：

5、初始狀態(tài)下，所有節(jié)點(diǎn)在啟動(dòng)時(shí)都是跟隨者，每個(gè)跟隨者均設(shè)置一個(gè)隨機(jī)的選舉超時(shí)，在選舉超時(shí)后跟隨者會(huì)轉(zhuǎn)變?yōu)楹蜻x者，然后候選者增加任期號(hào)并發(fā)送請(qǐng)求投票消息，獲得第一設(shè)定閾值以上票數(shù)的候選者變?yōu)轭I(lǐng)導(dǎo)者；

6、所述領(lǐng)導(dǎo)者用以接收客戶端的請(qǐng)求，并將所述請(qǐng)求作為日志條目追加到自己的日志中，然后同步至其它跟隨者，以使所有節(jié)點(diǎn)的日志一致。

7、進(jìn)一步的，所述rdma網(wǎng)絡(luò)采用雙邊模式傳輸數(shù)據(jù)。

8、進(jìn)一步的，在同步過(guò)程中，若跟隨者在選舉超時(shí)內(nèi)沒(méi)有收到領(lǐng)導(dǎo)者的心跳或日志復(fù)制請(qǐng)求，則轉(zhuǎn)變?yōu)楹蜻x者參與選舉，在選舉過(guò)程中，候選者增加當(dāng)前任期號(hào)，然后向其他節(jié)點(diǎn)發(fā)送請(qǐng)求投票消息，獲得第一設(shè)定閾值以上票數(shù)的候選者變?yōu)樾乱蝗蔚念I(lǐng)導(dǎo)者。

9、進(jìn)一步的，所述領(lǐng)導(dǎo)者在將自己的日志同步到其它跟隨者時(shí)，復(fù)制新的日志條目和前一個(gè)日志條目的索引至其它跟隨者，跟隨者檢查前一個(gè)日志條目是否匹配，若匹配，則追加新日志條目，然后發(fā)送確認(rèn)信息至領(lǐng)導(dǎo)者，當(dāng)領(lǐng)導(dǎo)者收到第二設(shè)定閾值以上的跟隨者發(fā)送的確認(rèn)消息時(shí)，標(biāo)記該日志條目為已提交。

10、進(jìn)一步的，還包括：通過(guò)快照機(jī)制定期壓縮日志，以減少存儲(chǔ)和網(wǎng)絡(luò)傳輸?shù)拈_(kāi)銷(xiāo)。

11、進(jìn)一步的，所述第一設(shè)定閾值和第二設(shè)定閾值均為50％。

12、有益效果：本發(fā)明將共識(shí)算法與rdma網(wǎng)絡(luò)技術(shù)相結(jié)合，不僅能夠解決集中式存儲(chǔ)面臨的單點(diǎn)故障、擴(kuò)展性差、數(shù)據(jù)隱私和安全保護(hù)壓力大等問(wèn)題，還能大幅提升數(shù)據(jù)存儲(chǔ)的效率和性能；這種組合方案使得分布式存儲(chǔ)系統(tǒng)更加適應(yīng)銀行等領(lǐng)域?qū)?shù)據(jù)安全性、可靠性和高性能的嚴(yán)格要求，為金融行業(yè)的數(shù)字化轉(zhuǎn)型提供了強(qiáng)有力的支撐；在數(shù)據(jù)同步時(shí)cpu占用率從100％降至5％，網(wǎng)絡(luò)延遲從ms級(jí)降至10us級(jí)。

技術(shù)特征：

1.一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，其特征在于，所述rdma網(wǎng)絡(luò)采用雙邊模式傳輸數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，其特征在于，在同步過(guò)程中，若跟隨者在選舉超時(shí)內(nèi)沒(méi)有收到領(lǐng)導(dǎo)者的心跳或日志復(fù)制請(qǐng)求，則轉(zhuǎn)變?yōu)楹蜻x者參與選舉，在選舉過(guò)程中，候選者增加當(dāng)前任期號(hào)，然后向其他節(jié)點(diǎn)發(fā)送請(qǐng)求投票消息，獲得第一設(shè)定閾值以上票數(shù)的候選者變?yōu)樾乱蝗蔚念I(lǐng)導(dǎo)者。

4.根據(jù)權(quán)利要求1所述的一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，其特征在于，所述領(lǐng)導(dǎo)者在將自己的日志同步到其它跟隨者時(shí)，復(fù)制新的日志條目和前一個(gè)日志條目的索引至其它跟隨者，跟隨者檢查前一個(gè)日志條目是否匹配，若匹配，則追加新日志條目，然后發(fā)送確認(rèn)信息至領(lǐng)導(dǎo)者，當(dāng)領(lǐng)導(dǎo)者收到第二設(shè)定閾值以上的跟隨者發(fā)送的確認(rèn)消息時(shí)，標(biāo)記該日志條目為已提交。

5.根據(jù)權(quán)利要求1所述的一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，其特征在于，還包括：通過(guò)快照機(jī)制定期壓縮日志，以減少存儲(chǔ)和網(wǎng)絡(luò)傳輸?shù)拈_(kāi)銷(xiāo)。

6.根據(jù)權(quán)利要求4所述的一種基于raft算法和rdma網(wǎng)絡(luò)的分布式存儲(chǔ)方法，其特征在于，所述第一設(shè)定閾值和第二設(shè)定閾值均為50％。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于Raft算法和RDMA網(wǎng)絡(luò)的分布式存儲(chǔ)方法。該方法包括搭建分布式存儲(chǔ)集群，分布式存儲(chǔ)集群中的各個(gè)節(jié)點(diǎn)基于RDMA適配器連接形成RDMA網(wǎng)絡(luò)，以使數(shù)據(jù)直接在各個(gè)節(jié)點(diǎn)的內(nèi)存之間直接傳輸；初始狀態(tài)下，所有節(jié)點(diǎn)在啟動(dòng)時(shí)都是跟隨者，每個(gè)跟隨者均設(shè)置一個(gè)隨機(jī)的選舉超時(shí)，在選舉超時(shí)后跟隨者會(huì)轉(zhuǎn)變?yōu)楹蜻x者，然后候選者增加任期號(hào)并發(fā)送請(qǐng)求投票消息，獲得第一設(shè)定閾值以上票數(shù)的候選者變?yōu)轭I(lǐng)導(dǎo)者；領(lǐng)導(dǎo)者用以接收客戶端的請(qǐng)求，并將所述請(qǐng)求作為日志條目追加到自己的日志中，然后同步至其它跟隨者，以使所有節(jié)點(diǎn)的日志一致。本發(fā)明可使數(shù)據(jù)同步時(shí)CPU占用率從100％降至5％，網(wǎng)絡(luò)延遲從ms級(jí)降至10us級(jí)。

技術(shù)研發(fā)人員：王進(jìn),李屆悅
受保護(hù)的技術(shù)使用者：江蘇蘇商銀行股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19