本說明書涉及質(zhì)量檢查，尤其涉及一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法、設備及介質(zhì)。

背景技術：

1、在大數(shù)據(jù)時代，數(shù)據(jù)的準確性和可靠性對于決策制定、業(yè)務運營以及市場分析至關重要。然而，由于數(shù)據(jù)來源的多樣性、數(shù)據(jù)格式的復雜性以及數(shù)據(jù)處理過程中的各種因素，數(shù)據(jù)質(zhì)量問題屢見不鮮。傳統(tǒng)的數(shù)據(jù)質(zhì)量檢查方法往往依賴于人工審核，這種方式不僅效率低下，而且容易出錯，難以滿足大規(guī)模數(shù)據(jù)處理的需求。

2、此外，不同數(shù)據(jù)源類型(如關系型數(shù)據(jù)庫、nosql數(shù)據(jù)庫、csv文件、excel表格等)具有不同的數(shù)據(jù)結構和特點，需要針對性地設計數(shù)據(jù)質(zhì)量規(guī)則。然而，在現(xiàn)有的數(shù)據(jù)質(zhì)量檢查工具中，往往缺乏對不同數(shù)據(jù)源類型的靈活支持，導致無法有效地應用預置的數(shù)據(jù)質(zhì)量規(guī)則，從而影響了數(shù)據(jù)質(zhì)量檢查的準確性和全面性。

3、因此，現(xiàn)有數(shù)據(jù)質(zhì)量檢查方法難以高效地整合多種數(shù)據(jù)源類型的數(shù)據(jù)，未考慮不同數(shù)據(jù)源類型的特點，導致數(shù)據(jù)質(zhì)量檢查過程繁瑣、耗時。

技術實現(xiàn)思路

1、本說明書一個或多個實施例提供了一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法、設備及介質(zhì)，用于解決如下技術問題：因此，現(xiàn)有數(shù)據(jù)質(zhì)量檢查方法難以高效地整合多種數(shù)據(jù)源類型的數(shù)據(jù)，未考慮不同數(shù)據(jù)源類型的特點，導致數(shù)據(jù)質(zhì)量檢查過程繁瑣、耗時。

2、本說明書一個或多個實施例采用下述技術方案：

3、本說明書一個或多個實施例提供一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，所述方法包括：獲取多個目標檢查數(shù)據(jù)和用戶預先設置的質(zhì)量檢查需求信息，并確定每個所述目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息，其中，所述歸屬數(shù)據(jù)源信息包括歸屬數(shù)據(jù)源對應的數(shù)據(jù)源類型，所述質(zhì)量檢查需求信息包括至少一個數(shù)據(jù)源類型對應的預置數(shù)據(jù)質(zhì)量規(guī)則；對所述多個目標檢查數(shù)據(jù)進行整合，以生成目標檢查數(shù)據(jù)集，基于所述質(zhì)量檢查需求信息和每個所述目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息，確定所述目標檢查數(shù)據(jù)集對應的數(shù)據(jù)質(zhì)量規(guī)則集合；通過所述數(shù)據(jù)質(zhì)量規(guī)則集合，對所述目標檢查數(shù)據(jù)集進行數(shù)據(jù)質(zhì)量檢測，確定質(zhì)量檢測結果集，其中，所述質(zhì)量檢測結果集包括多個問題數(shù)據(jù)和每個所述問題數(shù)據(jù)對應的質(zhì)量問題類型；根據(jù)每個所述目標檢查數(shù)據(jù)對應的數(shù)據(jù)源類型，對所述質(zhì)量檢測結果集進行分析，以生成數(shù)據(jù)質(zhì)量檢查展示信息。

4、本說明書一個或多個實施例提供一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查設備，包括：

5、至少一個處理器；以及，

6、與所述至少一個處理器通信連接的存儲器；其中，

7、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述方法。

8、本說明書一個或多個實施例提供的一種非易失性計算機存儲介質(zhì)，存儲有計算機可執(zhí)行指令，所述計算機可執(zhí)行指令設置為：執(zhí)行上述方法。

9、本說明書實施例采用的上述至少一個技術方案能夠達到以下有益效果：通過上述技術方案，通過獲取用戶預先設置的質(zhì)量檢查需求信息，包括針對特定數(shù)據(jù)源類型的預置數(shù)據(jù)質(zhì)量規(guī)則，使得檢查過程更加精準地聚焦于用戶關心的數(shù)據(jù)質(zhì)量問題，避免了傳統(tǒng)質(zhì)量檢查中可能存在的盲目性問題，提高了檢查的針對性和有效性；能夠自動識別每個目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息，包括數(shù)據(jù)源類型，這種自動識別功能減少了人工干預，加快了數(shù)據(jù)整合的速度；基于用戶預先設置的質(zhì)量檢查需求信息和每個目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息，精準匹配并應用相應的數(shù)據(jù)質(zhì)量規(guī)則集合，精準匹配確保了檢查過程的針對性和有效性，充分考慮了不同數(shù)據(jù)源類型的特點，為每種數(shù)據(jù)源類型確定了相應的數(shù)據(jù)質(zhì)量規(guī)則，使得檢查過程更加符合實際需求，提高了檢查的準確性和可靠性。此外，不僅關注單個數(shù)據(jù)點的質(zhì)量，還通過整合多個目標檢查數(shù)據(jù)形成目標檢查數(shù)據(jù)集，并基于全面的數(shù)據(jù)質(zhì)量規(guī)則集合進行檢測，全面性和系統(tǒng)性的檢查方式有助于發(fā)現(xiàn)潛在的數(shù)據(jù)質(zhì)量問題，確保數(shù)據(jù)的整體質(zhì)量；最終生成的數(shù)據(jù)質(zhì)量檢查展示信息以圖表、報告等形式呈現(xiàn)，使得檢查結果更加直觀易懂，可以通過這些展示信息快速了解數(shù)據(jù)質(zhì)量狀況，識別問題類型和分布，為后續(xù)的數(shù)據(jù)處理和決策提供支持。

技術特征：

1.一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，對所述多個目標檢查數(shù)據(jù)進行整合，以生成目標檢查數(shù)據(jù)集，具體包括：

3.根據(jù)權利要求1所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，基于所述質(zhì)量檢查需求信息和每個所述目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息，確定所述目標檢查數(shù)據(jù)集對應的數(shù)據(jù)質(zhì)量規(guī)則集合，具體包括：

4.根據(jù)權利要求3所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，根據(jù)每個指定數(shù)據(jù)源類型對應的預置數(shù)據(jù)質(zhì)量規(guī)則，對所述其他數(shù)據(jù)源類型的質(zhì)量規(guī)則進行預測，生成每個所述其他數(shù)據(jù)源類型對應的預測數(shù)據(jù)質(zhì)量規(guī)則，具體包括：

5.根據(jù)權利要求3所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，通過所述預測數(shù)據(jù)質(zhì)量規(guī)則和所述預置數(shù)據(jù)質(zhì)量規(guī)則，確定所述目標檢查數(shù)據(jù)集對應的數(shù)據(jù)質(zhì)量規(guī)則集合，具體包括：

6.根據(jù)權利要求1所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，通過所述數(shù)據(jù)質(zhì)量規(guī)則集合，對所述目標檢查數(shù)據(jù)集進行數(shù)據(jù)質(zhì)量檢測，確定質(zhì)量檢測結果集，具體包括：

7.根據(jù)權利要求1所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，根據(jù)每個所述目標檢查數(shù)據(jù)對應的數(shù)據(jù)源類型，對所述質(zhì)量檢測結果集進行分析，以生成數(shù)據(jù)質(zhì)量檢查展示信息，具體包括：

8.根據(jù)權利要求7所述的一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法，其特征在于，基于所述數(shù)據(jù)質(zhì)量檢查報告，生成所述數(shù)據(jù)質(zhì)量檢查展示信息，具體包括：

9.一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查設備，其特征在于，所述設備包括：

10.一種非易失性計算機存儲介質(zhì)，存儲有計算機可執(zhí)行指令，其特征在于，所述計算機可執(zhí)行指令設置為：執(zhí)行如權利要求1-8任一所述的方法。

技術總結
本說明書實施例公開了一種基于數(shù)據(jù)源的數(shù)據(jù)質(zhì)量檢查方法、設備及介質(zhì)，涉及質(zhì)量檢查技術領域，方法包括：獲取多個目標檢查數(shù)據(jù)和用戶預先設置的質(zhì)量檢查需求信息，并確定每個目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息；對多個目標檢查數(shù)據(jù)進行整合，以生成目標檢查數(shù)據(jù)集，基于質(zhì)量檢查需求信息和每個目標檢查數(shù)據(jù)對應的歸屬數(shù)據(jù)源信息，確定目標檢查數(shù)據(jù)集對應的數(shù)據(jù)質(zhì)量規(guī)則集合；通過數(shù)據(jù)質(zhì)量規(guī)則集合，對目標檢查數(shù)據(jù)集進行數(shù)據(jù)質(zhì)量檢測，確定質(zhì)量檢測結果集，質(zhì)量檢測結果集包括多個問題數(shù)據(jù)和每個問題數(shù)據(jù)對應的質(zhì)量問題類型；根據(jù)每個目標檢查數(shù)據(jù)對應的數(shù)據(jù)源類型，對質(zhì)量檢測結果集進行分析，以生成數(shù)據(jù)質(zhì)量檢查展示信息。

技術研發(fā)人員：錢玉鑫,薛兵,張延群,單震
受保護的技術使用者：浪潮卓數(shù)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展有限公司
技術研發(fā)日：
技術公布日：2024/12/19