本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域及數(shù)字金融領(lǐng)域，尤其涉及一種基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法、裝置、設(shè)備及介質(zhì)。
背景技術(shù)：
：：1、隨著數(shù)字金融行業(yè)與信息科技技術(shù)的快速發(fā)展，數(shù)據(jù)庫系統(tǒng)已成為存儲(chǔ)和管理大量數(shù)據(jù)的關(guān)鍵工具。在眾多數(shù)據(jù)庫系統(tǒng)中，基于lsm(log-structured?merge-tree，基于磁盤的數(shù)據(jù)結(jié)構(gòu))樹的數(shù)據(jù)庫因其高效的寫入性能而得到廣泛應(yīng)用。lsm樹通過將數(shù)據(jù)分層存儲(chǔ)在不同的介質(zhì)上，實(shí)現(xiàn)了高吞吐量的寫入操作。2、在lsm樹模型中，數(shù)據(jù)首先寫入到內(nèi)存中的memtable(緩存表)結(jié)構(gòu)中。當(dāng)memtable達(dá)到一定大小后，它會(huì)刷新到磁盤上形成一個(gè)sst(sorted?string?table，不可變數(shù)據(jù)存儲(chǔ))。sst文件是不可變的，并隨著時(shí)間的推移，會(huì)生成多個(gè)sst文件。為了優(yōu)化存儲(chǔ)空間和查詢性能，系統(tǒng)會(huì)定期執(zhí)行compaction操作，將多個(gè)小的sst文件合并成更大的文件，同時(shí)刪除過期或重復(fù)的數(shù)據(jù)。3、然而，現(xiàn)有技術(shù)存在一些不足之處。尤其是在分級(jí)存儲(chǔ)系統(tǒng)中，雖然前幾級(jí)(如l0,l1)使用高速介質(zhì)(如nvme)以提高寫入性能，但最后一級(jí)(如l2)可能使用低速介質(zhì)(如hdd)，導(dǎo)致數(shù)據(jù)讀取性能下降。此外，由于lsm數(shù)據(jù)庫沒有對(duì)數(shù)據(jù)進(jìn)行冷熱劃分，即使數(shù)據(jù)頻繁被讀取，也可能因compaction(壓縮合并)服務(wù)將其從l0層不斷向上層移動(dòng)，直至被存儲(chǔ)在低速介質(zhì)上，影響讀取性能，通過提升熱數(shù)據(jù)存儲(chǔ)效率，進(jìn)而提高熱數(shù)據(jù)讀取效率。因此，如何提高lsm數(shù)據(jù)庫中熱數(shù)據(jù)的存儲(chǔ)效率成為了目前亟待解決的技術(shù)問題。技術(shù)實(shí)現(xiàn)思路1、本申請(qǐng)?zhí)峁┝艘环N基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法、裝置、設(shè)備及介質(zhì)，以提高lsm數(shù)據(jù)庫中熱數(shù)據(jù)的存儲(chǔ)效率。2、第一方面，本申請(qǐng)?zhí)峁┝艘环N基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，所述方法包括：3、基于lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲(chǔ)sst容量，確定熱度值閾值；4、將所述lsm分級(jí)數(shù)據(jù)庫中的所述熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將所述熱數(shù)據(jù)寫入高速介質(zhì)。5、第二方面，本申請(qǐng)還提供了一種基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)裝置，所述裝置包括：6、熱度值閾值確定模塊，用于基于lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲(chǔ)sst容量，確定熱度值閾值；7、熱數(shù)據(jù)存儲(chǔ)模塊，用于將所述lsm分級(jí)數(shù)據(jù)庫中的所述熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將所述熱數(shù)據(jù)寫入高速介質(zhì)。8、第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器；所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；所述處理器，用于執(zhí)行所述計(jì)算機(jī)程序并在執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法。9、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)使所述處理器實(shí)現(xiàn)如上述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法。10、本申請(qǐng)公開了一種基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法、裝置、設(shè)備及介質(zhì)，所述基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法包括基于lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲(chǔ)sst容量，確定熱度值閾值；將所述lsm分級(jí)數(shù)據(jù)庫中的所述熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將所述熱數(shù)據(jù)寫入高速介質(zhì)。通過上述方式，本申請(qǐng)通過智能識(shí)別并區(qū)分熱數(shù)據(jù)和冷數(shù)據(jù)，使得存儲(chǔ)資源得到更合理的分配，熱數(shù)據(jù)存儲(chǔ)在成本較高但訪問速度更快的高速介質(zhì)上，減少了數(shù)據(jù)檢索所需的時(shí)間，從而顯著提升了數(shù)據(jù)庫的查詢響應(yīng)速度，隨著應(yīng)用需求的變化，數(shù)據(jù)的熱度可能會(huì)發(fā)生變化，該方法允許系統(tǒng)根據(jù)實(shí)時(shí)的訪問模式動(dòng)態(tài)調(diào)整數(shù)據(jù)的存儲(chǔ)策略，以適應(yīng)不斷變化的需求，提高了lsm數(shù)據(jù)庫中熱數(shù)據(jù)的存儲(chǔ)效率。技術(shù)特征：1.一種基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，包括：2.根據(jù)權(quán)利要求1所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述基于lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲(chǔ)sst容量，確定熱度值閾值之前，包括：3.根據(jù)權(quán)利要求2所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述基于所述讀取頻率，確定所述lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值，包括：4.根據(jù)權(quán)利要求3所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述響應(yīng)于數(shù)據(jù)查詢指令，在所述數(shù)據(jù)熱度表中查詢待選數(shù)據(jù)的熱度值之后，包括：5.根據(jù)權(quán)利要求2所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述基于lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲(chǔ)sst容量，確定熱度值閾值，包括：6.根據(jù)權(quán)利要求5所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述基于所述第一數(shù)據(jù)組、所述第二數(shù)據(jù)組和所述sst容量，確定所述熱度值閾值，包括：7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述基于lsm分級(jí)數(shù)據(jù)庫中各數(shù)據(jù)的熱度值和不可變數(shù)據(jù)存儲(chǔ)sst容量，確定熱度值閾值之后，包括：8.一種基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)裝置，其特征在于，包括：9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器和處理器；10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)使所述處理器實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的基于lsm分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法。技術(shù)總結(jié)本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域及數(shù)字金融領(lǐng)域，公開了一種基于LSM分級(jí)存儲(chǔ)的熱數(shù)據(jù)存儲(chǔ)方法、裝置、設(shè)備及介質(zhì)，所述方法包括基于各數(shù)據(jù)的熱度值和SST容量，確定熱度值閾值；將熱度值大于或等于所述熱度值閾值的數(shù)據(jù)確定為熱數(shù)據(jù)，并將熱數(shù)據(jù)寫入高速介質(zhì)。通過上述方式，本申請(qǐng)通過智能識(shí)別并區(qū)分熱數(shù)據(jù)和冷數(shù)據(jù)，使得存儲(chǔ)資源得到更合理的分配，熱數(shù)據(jù)存儲(chǔ)在成本較高但訪問速度更快的高速介質(zhì)上，減少了數(shù)據(jù)檢索所需的時(shí)間，從而顯著提升了數(shù)據(jù)庫的查詢響應(yīng)速度，隨著應(yīng)用需求的變化，數(shù)據(jù)的熱度可能會(huì)發(fā)生變化，該方法允許系統(tǒng)根據(jù)實(shí)時(shí)的訪問模式動(dòng)態(tài)調(diào)整數(shù)據(jù)的存儲(chǔ)策略，以適應(yīng)不斷變化的需求，提高了LSM數(shù)據(jù)庫中熱數(shù)據(jù)的存儲(chǔ)效率。技術(shù)研發(fā)人員：宋小兵受保護(hù)的技術(shù)使用者：平安科技（深圳）有限公司技術(shù)研發(fā)日：技術(shù)公布日：2024/12/19