本公開的各實施例涉及大數(shù)據(jù)分析，尤其涉及一種用于為sql查詢語句添加過濾條件的技術(shù)。
背景技術(shù)：
：：1、apache?spark?3引入了自動查詢執(zhí)行（aqe，adaptive?query?execution）特性，這是為了優(yōu)化查詢計劃并提高查詢性能。aqe可以動態(tài)調(diào)整查詢執(zhí)行計劃，然而，盡管aqe在很多場景下可以顯著提高性能，但在某些特定的場景中，它可能不能有效地進行分區(qū)裁剪，從而導(dǎo)致spark?3在運行這些類型的sql（structured?query?language，結(jié)構(gòu)化查詢語言）時，計算空間消耗極大，性能極低。技術(shù)實現(xiàn)思路1、本公開的各實施例的目的是提供一種為sql查詢語句添加過濾條件的方法、設(shè)備、計算機程序產(chǎn)品和計算機程序存儲介質(zhì)。2、根據(jù)本公開的一個方面，提供了一種為sql查詢語句添加過濾條件的方法，其中，該方法包括以下步驟：3、當(dāng)連接分區(qū)表和維表的sql查詢語句未包括過濾條件，改寫所述sql查詢語句，以在其中添加所述過濾條件；4、其中，所述過濾條件為所述分區(qū)表的分區(qū)字段值大于所述維表中對應(yīng)連接字段的最小值；5、其中，所述分區(qū)表和所述維表的連接基于所述分區(qū)表的分區(qū)字段和所述維表中的對應(yīng)連接字段，所述連接字段為所述維表中與所述分區(qū)字段相同的字段。6、在一些實施例中，該方法還包括執(zhí)行改寫后的所述sql查詢語句，啟用動態(tài)分區(qū)裁剪。7、在一些實施例中，該方法還包括解析所述sql查詢語句；當(dāng)發(fā)現(xiàn)所述sql查詢語句中未包括過濾條件，跳轉(zhuǎn)至所述改寫所述sql查詢語句的步驟。8、在一些實施例中，所述分區(qū)表和所述維表基于join連接操作在連接條件on進行連接，以及過濾條件where如下：9、；10、其中，11、bigtable為所述分區(qū)表的表名；12、smalltable為所述維表的表名；13、pt_id為所述分區(qū)表的分區(qū)字段和所述維表的對應(yīng)連接字段。14、在一些實施例中，根據(jù)所述分區(qū)表和所述維表的元數(shù)據(jù)信息制造過濾器來在所述sql查詢中加入所述過濾條件。15、根據(jù)本公開的一個方面，還提供了一種為sql查詢語句添加過濾條件的設(shè)備，其中，該設(shè)備包括存儲器和處理器，所述存儲器中存儲有計算機程序指令，當(dāng)所述計算機程序指令被所述處理器執(zhí)行時，該設(shè)備被配置來執(zhí)行以下操作：16、當(dāng)連接分區(qū)表和維表的sql查詢語句未包括過濾條件，改寫所述sql查詢語句，以在其中添加所述過濾條件；17、其中，所述過濾條件為所述分區(qū)表的分區(qū)字段值大于所述維表中對應(yīng)連接字段的最小值；18、其中，所述分區(qū)表和所述維表的連接基于所述分區(qū)表的分區(qū)字段和所述維表中的對應(yīng)連接字段，所述連接字段為所述維表中與所述分區(qū)字段相同的字段。19、根據(jù)本公開的一個方面，還提供了一種計算機程序產(chǎn)品，包括計算機程序指令，其中，當(dāng)所述計算機程序指令被計算機設(shè)備執(zhí)行時，該計算機設(shè)備被配置來執(zhí)行一種為sql查詢語句添加過濾條件的方法，其中，該方法包括以下步驟：20、當(dāng)連接分區(qū)表和維表的sql查詢語句未包括過濾條件，改寫所述sql查詢語句，以在其中添加所述過濾條件；21、其中，所述過濾條件為所述分區(qū)表的分區(qū)字段值大于所述維表中對應(yīng)連接字段的最小值；22、其中，所述分區(qū)表和所述維表的連接基于所述分區(qū)表的分區(qū)字段和所述維表中的對應(yīng)連接字段，所述連接字段為所述維表中與所述分區(qū)字段相同的字段。23、根據(jù)本公開的一個方面，還提供了一種計算機程序存儲介質(zhì)，其中存儲有計算機可執(zhí)行指令，當(dāng)所述計算機可執(zhí)行指令被計算機設(shè)備執(zhí)行時，該計算機設(shè)備被配置來執(zhí)行一種為sql查詢語句添加過濾條件的方法，其中，該方法包括以下步驟：24、當(dāng)連接分區(qū)表和維表的sql查詢語句未包括過濾條件，改寫所述sql查詢語句，以在其中添加所述過濾條件；25、其中，所述過濾條件為所述分區(qū)表的分區(qū)字段值大于所述維表中對應(yīng)連接字段的最小值；26、其中，所述分區(qū)表和所述維表的連接基于所述分區(qū)表的分區(qū)字段和所述維表中的對應(yīng)連接字段，所述連接字段為所述維表中與所述分區(qū)字段相同的字段。27、本公開的各實施例提供了一種為sql查詢語句添加過濾條件的方法和設(shè)備，特別適用于處理分區(qū)大表與維表連接的場景，尤其是在初始sql查詢語句中未包含過濾條件時，通過自動在sql查詢語句中添加過濾條件，極大地提升了查詢執(zhí)行的效率。并且，當(dāng)sql查詢語句中添加過濾條件之后，spark?3能夠自動啟用動態(tài)分區(qū)裁剪功能，優(yōu)化查詢執(zhí)行計劃，從而在無需用戶手動修改sql語句的情況下，大幅度提升執(zhí)行效率。這種自動優(yōu)化能力在處理涉及大量數(shù)據(jù)的復(fù)雜sql查詢時尤為重要。28、并且，本公開的各實施例顯著減少了計算資源的消耗。對于涉及十億級數(shù)據(jù)量的大表的sql查詢，通過裁剪掉與查詢條件無關(guān)的分區(qū)，本公開的各實施例有效地減少了不必要的數(shù)據(jù)掃描，從而極大地縮短了查詢的執(zhí)行時間以及減少了i/o操作和內(nèi)存消耗。這不僅提高了整體查詢性能，還降低了資源占用。29、在特定場景下，優(yōu)化后的查詢將執(zhí)行時間從原先的43分鐘減少到42秒，性能提升超過60倍。這種大幅度的性能優(yōu)化對于大數(shù)據(jù)環(huán)境下的實時查詢和分析具有重要意義，能夠顯著提高系統(tǒng)的響應(yīng)速度。技術(shù)特征：1.一種為sql查詢語句添加過濾條件的方法，其中，該方法包括以下步驟：2.根據(jù)權(quán)利要求1所述的方法，其中，該方法還包括以下步驟：3.根據(jù)權(quán)利要求1所述的方法，其中，該方法還包括以下步驟：4.根據(jù)權(quán)利要求1所述的方法，其中，所述分區(qū)表和所述維表基于join連接操作在連接條件on進行連接，以及過濾條件where如下：5.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)所述分區(qū)表和所述維表的元數(shù)據(jù)信息制造過濾器來在所述sql查詢中加入所述過濾條件。6.一種為sql查詢語句添加過濾條件的設(shè)備，其中，該設(shè)備包括存儲器和處理器，所述存儲器中存儲有計算機程序指令，當(dāng)所述程序指令被所述處理器執(zhí)行時，該設(shè)備被配置來執(zhí)行以下操作：7.一種計算機程序產(chǎn)品，包括計算機程序指令，其中，當(dāng)所述計算機程序指令被計算機設(shè)備執(zhí)行時，該計算機設(shè)備被配置來執(zhí)行如權(quán)利要求1至5中任一項所述的方法。8.一種計算機程序存儲介質(zhì)，其中存儲有計算機可執(zhí)行指令，當(dāng)所述計算機可執(zhí)行指令被計算機設(shè)備執(zhí)行時，該計算機設(shè)備被配置來執(zhí)行如權(quán)利要求1至5中任一項所述的方法。技術(shù)總結(jié)本公開的各實施例的目的是提供一種為SQL查詢語句添加過濾條件的方法、設(shè)備、計算機程序產(chǎn)品和計算機程序存儲介質(zhì)。其中，當(dāng)連接分區(qū)表和維表的SQL查詢語句未包括過濾條件，改寫所述SQL查詢語句，以在其中添加所述過濾條件；其中，所述過濾條件為所述分區(qū)表的分區(qū)字段值大于所述維表中對應(yīng)連接字段的最小值。本公開的各實施例提供了一種為SQL查詢語句添加過濾條件的方法和設(shè)備，特別適用于處理分區(qū)大表與維表連接的場景，尤其是在初始SQL查詢語句中未包含過濾條件時，通過自動在SQL查詢語句中添加過濾條件，極大地提升了查詢執(zhí)行的效率。技術(shù)研發(fā)人員：葉壹力,楊競霜受保護的技術(shù)使用者：嘉實遠(yuǎn)見科技（北京）有限公司技術(shù)研發(fā)日：技術(shù)公布日：2024/12/19