本發(fā)明涉及數(shù)據(jù)存儲(chǔ)，尤其涉及一種海量數(shù)據(jù)表單存儲(chǔ)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、現(xiàn)有的關(guān)系型數(shù)據(jù)庫，例如mysql數(shù)據(jù)庫，在進(jìn)行數(shù)據(jù)存儲(chǔ)時(shí)，會(huì)對(duì)數(shù)據(jù)進(jìn)行分庫分表的拆分存儲(chǔ)，但是在面對(duì)基礎(chǔ)數(shù)據(jù)量大且增長速度快的數(shù)據(jù)，現(xiàn)有的關(guān)系型數(shù)據(jù)庫仍存在很多局限性。

2、關(guān)系型數(shù)據(jù)庫不適合海量數(shù)據(jù)表單結(jié)構(gòu)頻繁變動(dòng)的場(chǎng)景，物理分庫分表無法動(dòng)態(tài)支持?jǐn)?shù)據(jù)長期的海量增長，不利于節(jié)點(diǎn)端數(shù)據(jù)接入，需要手動(dòng)介入調(diào)整，且維護(hù)較為困難。

3、因此，如何降低海量數(shù)據(jù)表單存儲(chǔ)的復(fù)雜性，降低維護(hù)成本，成為了亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，有必要提供一種海量數(shù)據(jù)表單存儲(chǔ)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，用以解決當(dāng)前海量數(shù)據(jù)表單存儲(chǔ)方案的復(fù)雜性和維護(hù)成本較高的問題。

2、為了解決上述問題，本發(fā)明提供一種海量數(shù)據(jù)表單存儲(chǔ)方法，包括：

3、將數(shù)據(jù)表單中更新時(shí)間與當(dāng)前時(shí)間最接近的預(yù)設(shè)數(shù)量條數(shù)據(jù)確定為熱存儲(chǔ)數(shù)據(jù)，并將所述數(shù)據(jù)表單中除熱存儲(chǔ)數(shù)據(jù)以外的其他數(shù)據(jù)確定為冷存儲(chǔ)數(shù)據(jù)；

4、基于非關(guān)系型數(shù)據(jù)庫對(duì)所述熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片并存儲(chǔ)，并基于云存儲(chǔ)服務(wù)對(duì)所述冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)。

5、在一種可能的實(shí)現(xiàn)方式中，所述基于非關(guān)系型數(shù)據(jù)庫對(duì)所述熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片并存儲(chǔ)，包括：

6、基于非關(guān)系型數(shù)據(jù)庫對(duì)所述熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片；

7、將讀寫操作路由至對(duì)應(yīng)的分片中，并基于配置服務(wù)存儲(chǔ)多個(gè)分片的元數(shù)據(jù)；

8、將所述熱存儲(chǔ)數(shù)據(jù)存儲(chǔ)至多個(gè)分片中。

9、在一種可能的實(shí)現(xiàn)方式中，所述非關(guān)系型數(shù)據(jù)庫包括mongodb數(shù)據(jù)庫。

10、在一種可能的實(shí)現(xiàn)方式中，所述基于云存儲(chǔ)服務(wù)對(duì)所述冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)，包括：

11、基于云存儲(chǔ)服務(wù)中的日志服務(wù)對(duì)所述冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)。

12、在一種可能的實(shí)現(xiàn)方式中，所述方法還包括：

13、基于接收的數(shù)據(jù)表單查詢請(qǐng)求信息，確定所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型；

14、在所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型為熱存儲(chǔ)數(shù)據(jù)的情況下，提供實(shí)時(shí)查詢服務(wù)；

15、在所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型為冷存儲(chǔ)數(shù)據(jù)的情況下，提供非實(shí)時(shí)查詢服務(wù)。

16、在一種可能的實(shí)現(xiàn)方式中，所述在所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型為熱存儲(chǔ)數(shù)據(jù)的情況下，提供實(shí)時(shí)查詢服務(wù)，包括：

17、基于所述數(shù)據(jù)表單查詢請(qǐng)求信息在多個(gè)分片的元數(shù)據(jù)中確定目標(biāo)分片；

18、從目標(biāo)分片中獲取所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)。

19、在一種可能的實(shí)現(xiàn)方式中，所述在所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型為冷存儲(chǔ)數(shù)據(jù)的情況下，提供非實(shí)時(shí)查詢服務(wù)，包括：

20、將所述數(shù)據(jù)表單查詢請(qǐng)求信息發(fā)送至云存儲(chǔ)服務(wù)；

21、接收云存儲(chǔ)服務(wù)發(fā)送的目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)包括所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)。

22、本發(fā)明還提供了一種海量數(shù)據(jù)表單存儲(chǔ)裝置，包括：

23、確定模塊，用于將數(shù)據(jù)表單中更新時(shí)間與當(dāng)前時(shí)間最接近的預(yù)設(shè)數(shù)量條數(shù)據(jù)確定為熱存儲(chǔ)數(shù)據(jù)，并將所述數(shù)據(jù)表單中除熱存儲(chǔ)數(shù)據(jù)以外的其他數(shù)據(jù)確定為冷存儲(chǔ)數(shù)據(jù)；

24、存儲(chǔ)模塊，用于基于非關(guān)系型數(shù)據(jù)庫對(duì)所述熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片并存儲(chǔ)，并基于云存儲(chǔ)服務(wù)對(duì)所述冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)。

25、本發(fā)明還提供了一種電子設(shè)備，包括存儲(chǔ)器和處理器，及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序時(shí)，實(shí)現(xiàn)如上所述的海量數(shù)據(jù)表單存儲(chǔ)方法。

26、本發(fā)明還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的海量數(shù)據(jù)表單存儲(chǔ)方法。

27、本發(fā)明的有益效果是：本發(fā)明提供的海量數(shù)據(jù)表單存儲(chǔ)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，通過將數(shù)據(jù)表單中的數(shù)據(jù)進(jìn)行冷熱分離，減輕實(shí)時(shí)數(shù)據(jù)存儲(chǔ)的壓力，以降低數(shù)據(jù)存儲(chǔ)的復(fù)雜性，并通過非關(guān)系型數(shù)據(jù)庫對(duì)熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片并存儲(chǔ)，以及通過云存儲(chǔ)服務(wù)對(duì)冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)，進(jìn)一步降低了數(shù)據(jù)存儲(chǔ)的復(fù)雜性，且通過自動(dòng)分片以及云存儲(chǔ)服務(wù)降低了數(shù)據(jù)維護(hù)的困難程度，本發(fā)明在實(shí)現(xiàn)海量數(shù)據(jù)表單存儲(chǔ)的同時(shí)，降低了存儲(chǔ)方案的復(fù)雜性，并降低了維護(hù)成本。

技術(shù)特征：

1.一種海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，所述基于非關(guān)系型數(shù)據(jù)庫對(duì)所述熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片并存儲(chǔ)，包括：

3.根據(jù)權(quán)利要求2所述的海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，所述非關(guān)系型數(shù)據(jù)庫包括mongodb數(shù)據(jù)庫。

4.根據(jù)權(quán)利要求1所述的海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，所述基于云存儲(chǔ)服務(wù)對(duì)所述冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)，包括：

5.根據(jù)權(quán)利要求2所述的海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，所述方法還包括：

6.根據(jù)權(quán)利要求5所述的海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，所述在所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型為熱存儲(chǔ)數(shù)據(jù)的情況下，提供實(shí)時(shí)查詢服務(wù)，包括：

7.根據(jù)權(quán)利要求5所述的海量數(shù)據(jù)表單存儲(chǔ)方法，其特征在于，所述在所述數(shù)據(jù)表單查詢請(qǐng)求信息請(qǐng)求的數(shù)據(jù)類型為冷存儲(chǔ)數(shù)據(jù)的情況下，提供非實(shí)時(shí)查詢服務(wù)，包括：

8.一種海量數(shù)據(jù)表單存儲(chǔ)裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器，及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，處理器執(zhí)行程序時(shí)，實(shí)現(xiàn)根據(jù)權(quán)利要求1至7任一項(xiàng)所述的海量數(shù)據(jù)表單存儲(chǔ)方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的海量數(shù)據(jù)表單存儲(chǔ)方法。

技術(shù)總結(jié)
本發(fā)明涉及一種海量數(shù)據(jù)表單存儲(chǔ)方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，屬于數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，其中，該海量數(shù)據(jù)表單存儲(chǔ)方法包括：將數(shù)據(jù)表單中更新時(shí)間與當(dāng)前時(shí)間最接近的預(yù)設(shè)數(shù)量條數(shù)據(jù)確定為熱存儲(chǔ)數(shù)據(jù)，并將所述數(shù)據(jù)表單中除熱存儲(chǔ)數(shù)據(jù)以外的其他數(shù)據(jù)確定為冷存儲(chǔ)數(shù)據(jù)；基于非關(guān)系型數(shù)據(jù)庫對(duì)所述熱存儲(chǔ)數(shù)據(jù)進(jìn)行自動(dòng)分片并存儲(chǔ)，并基于云存儲(chǔ)服務(wù)對(duì)所述冷存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)。本發(fā)明在實(shí)現(xiàn)海量數(shù)據(jù)表單存儲(chǔ)的同時(shí)，降低了存儲(chǔ)方案的復(fù)雜性，并降低了維護(hù)成本。

技術(shù)研發(fā)人員：柳雄,鄧露,郭杜,張成康
受保護(hù)的技術(shù)使用者：武漢精臣智慧標(biāo)識(shí)科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19