本發(fā)明涉及數(shù)據(jù)治理，特別涉及一種基于目錄檢測規(guī)則生成質(zhì)量報告的方法。

背景技術(shù)：

1、隨著數(shù)字化轉(zhuǎn)型的深入，信息化建設(shè)的步伐不斷加快，共享交換平臺成為管理部門數(shù)據(jù)互聯(lián)互通的關(guān)鍵基礎(chǔ)設(shè)施。這一變革不僅提高了各部門間的協(xié)同效率，還促進了數(shù)據(jù)的開放和共享，為公眾提供了更加透明、高效的服務(wù)。然而，數(shù)據(jù)目錄作為數(shù)據(jù)資源的索引和入口，其質(zhì)量直接影響到數(shù)據(jù)的利用效率和價值。

2、當(dāng)前，數(shù)據(jù)目錄管理面臨諸多挑戰(zhàn)。數(shù)據(jù)不準確的問題普遍存在，這可能導(dǎo)致決策者基于錯誤信息做出決策，從而影響政策的準確性和有效性。此外，數(shù)據(jù)的不完整也是一個嚴重問題，它可能導(dǎo)致重要信息的遺漏，使得數(shù)據(jù)分析的結(jié)果產(chǎn)生偏差。同時，數(shù)據(jù)不規(guī)范的問題也不容忽視，不同部門、不同系統(tǒng)間的數(shù)據(jù)標準和格式差異，增加了數(shù)據(jù)整合的難度，降低了數(shù)據(jù)的可用性。

3、更為嚴重的是，敏感信息泄露的風(fēng)險始終存在。在數(shù)據(jù)共享的過程中，如果缺乏有效的安全措施，敏感信息可能被未經(jīng)授權(quán)的人員獲取，這不僅侵犯了個人隱私，還可能對國家安全構(gòu)成威脅。因此，建立一種高效、自動化的數(shù)據(jù)質(zhì)量檢測手段顯得尤為重要。

4、基于上述情況，本發(fā)明提出了一種基于目錄檢測規(guī)則生成質(zhì)量報告的方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明為了彌補現(xiàn)有技術(shù)的缺陷，提供了一種簡單高效的基于目錄檢測規(guī)則生成質(zhì)量報告的方法。

2、本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

3、一種基于目錄檢測規(guī)則生成質(zhì)量報告的方法，包括以下步驟：

4、步驟s1、配置自動檢測規(guī)則；

5、通過配置界面自定義添加、修改或刪除檢測規(guī)則，包括對目錄名稱、數(shù)據(jù)項名稱、描述和信息項進行敏感詞檢測的規(guī)則，對目錄與數(shù)據(jù)項的規(guī)范性、唯一性、完整性和保密性進行檢測；

6、步驟s2、設(shè)置定時任務(wù)，自動檢測目錄質(zhì)量；

7、根據(jù)需求自定義預(yù)設(shè)時間間隔，通過定時任務(wù)自動觸發(fā)檢測任務(wù)，對數(shù)據(jù)目錄進行全面檢測；

8、步驟s3、生成質(zhì)量檢測報告；

9、通過web界面展示和導(dǎo)出檢測報告，按目錄維度展示詳細檢測結(jié)果，并以部門視角匯總目錄質(zhì)量狀況；

10、用戶通過web界面查看檢測結(jié)果，并根據(jù)需要自定義導(dǎo)出格式，將報告導(dǎo)出，方便后續(xù)分析和處理。

11、所述步驟s1中，對目錄與數(shù)據(jù)項進行規(guī)范性檢測包括檢測一個目錄是否有且僅有一個數(shù)據(jù)項，以及目錄名稱與數(shù)據(jù)項是否重復(fù)，以避免目錄結(jié)構(gòu)與命名混亂；

12、唯一性檢測為檢查目錄和數(shù)據(jù)項是否存在重復(fù)，以確保每個目錄和數(shù)據(jù)項都是唯一的，避免數(shù)據(jù)的冗余和混淆；

13、完整性檢測為確認核心元數(shù)據(jù)是否全部填寫，核心元數(shù)據(jù)包括但不限于數(shù)據(jù)來源與更新周期，以確保數(shù)據(jù)的完整性和準確性；

14、保密性檢測包括敏感信息檢測、資源掛接與數(shù)據(jù)安全定級三個子項，全面評估目錄的安全合規(guī)性，以保護敏感信息的安全，防止未經(jīng)授權(quán)的訪問和泄露。

15、所述步驟s2中，實現(xiàn)步驟如下：

16、s2.1、通過線程池構(gòu)建檢測任務(wù)，并對檢測任務(wù)進行分配、調(diào)度和并行處理；

17、s2.2、根據(jù)檢測范圍類型構(gòu)建數(shù)據(jù)檢測執(zhí)行器，來執(zhí)行檢測任務(wù)；

18、s2.3、數(shù)據(jù)檢測執(zhí)行器基于檢測任務(wù)獲取檢測規(guī)則，執(zhí)行具體的檢測操作，并獲取檢測結(jié)果；

19、s2.4、基于具體規(guī)則實現(xiàn)檢測任務(wù)和檢測規(guī)則，遍歷檢測受檢對象，收集產(chǎn)生的檢測結(jié)果，并進行分類、匯總與記錄。

20、所述步驟s2.1中，實現(xiàn)步驟如下：

21、s2.1.1、首先查詢狀態(tài)為開啟(status＝1)的數(shù)據(jù)檢測任務(wù)，通過構(gòu)建查詢條件從數(shù)據(jù)庫中獲取待處理的任務(wù)列表；

22、如果未獲取到待檢測的任務(wù)，則記錄相應(yīng)的日志信息；否則，初始化任務(wù)列表，并準備執(zhí)行數(shù)據(jù)檢測任務(wù)；

23、s2.1.2、利用多線程技術(shù)對任務(wù)列表中的每個任務(wù)進行并行處理；

24、具體地，為每個任務(wù)創(chuàng)建一個新的線程，并在該線程中執(zhí)行數(shù)據(jù)檢測任務(wù)；

25、s2.1.3、為每個任務(wù)創(chuàng)建一個datadetectjob對象，并根據(jù)任務(wù)信息設(shè)置任務(wù)屬性，包括但不限于任務(wù)id、任務(wù)名稱、任務(wù)運行類型、檢測范圍類型及檢測范圍對象；

26、s2.1.4、將構(gòu)建好的datadetectjob對象提交給線程池執(zhí)行，線程池根據(jù)任務(wù)的優(yōu)先級和現(xiàn)有資源，對任務(wù)進行分配和調(diào)度；

27、s2.1.5、在執(zhí)行任務(wù)的同時，更新數(shù)據(jù)庫中對應(yīng)任務(wù)的狀態(tài)為運行中(status＝2)，以便其他系統(tǒng)或用戶通過查詢數(shù)據(jù)庫了解任務(wù)的當(dāng)前狀態(tài)。

28、所述步驟s2.2中，實現(xiàn)步驟如下：

29、s2.2.1、接收數(shù)據(jù)檢測任務(wù)，并初始化任務(wù)參數(shù)，包括但不限于任務(wù)id、任務(wù)名稱和運行類型、檢測范圍類型及檢測范圍對象；在任務(wù)開始執(zhí)行前，記錄任務(wù)開始執(zhí)行的日志，日志信息包括任務(wù)id、任務(wù)名稱與開始時間，并將日志信息插入到任務(wù)運行日志表中；

30、s2.2.2、根據(jù)任務(wù)參數(shù)中的檢測范圍類型(detectscopetype)和檢測范圍對象(detectscopeobject)確定檢測的具體范圍；檢測范圍類型包括特定資源、全部資源、指定部門下的資源與目錄；

31、根據(jù)不同的檢測范圍類型，選擇相應(yīng)的數(shù)據(jù)檢測執(zhí)行器(如catalogdetectexecutor)來執(zhí)行檢測任務(wù)；

32、s2.2.3、數(shù)據(jù)檢測執(zhí)行器根據(jù)選擇的檢測范圍和數(shù)據(jù)檢測參數(shù)執(zhí)行檢測任務(wù)；

33、數(shù)據(jù)檢測執(zhí)行器記錄檢測過程中的詳細信息，包括但不限于檢測次數(shù)與檢測到的問題數(shù)，并將記錄的信息返回給系統(tǒng)；

34、s2.2.4、根據(jù)數(shù)據(jù)檢測執(zhí)行器返回的結(jié)果更新任務(wù)參數(shù)，包括檢測次數(shù)與問題行數(shù)；記錄任務(wù)執(zhí)行完成的日志，包括結(jié)束時間與執(zhí)行結(jié)果，并將日志信息插入到任務(wù)運行日志表中。

35、所述步驟s2.3中，實現(xiàn)步驟如下：

36、s2.3.1、根據(jù)檢測范圍類型，從檢測范圍解析工廠detectscopeparserfactory中獲取相應(yīng)的解析器iparsedetectscope；解析器iparsedetectscope解析檢測范圍對象，生成待檢測的對象列表list<detectobject>；

37、s2.3.2、根據(jù)檢測范圍類型和檢測范圍對象，從目錄質(zhì)量規(guī)則服務(wù)catalogqualityruleservice中獲取適用的檢測規(guī)則列表list<map<string,object>>；

38、對于每個待檢測對象，調(diào)用dodetect(執(zhí)行檢測)方法將待檢測對象和檢測規(guī)則列表作為參數(shù)，執(zhí)行具體的檢測操作，并獲取檢測結(jié)果列表list<map<string,object>>；

39、s2.3.3、遍歷檢測結(jié)果列表list<map<string,object>>，將存在問題的檢測對象添加到問題目錄集合set<object>中，調(diào)用目錄質(zhì)量任務(wù)結(jié)果服務(wù)catalogqualitytaskresultservice的batchaddcatalogqualitytaskresultzd(批量添加目錄質(zhì)量任務(wù)結(jié)果)方法，批量保存檢測結(jié)果；

40、s2.3.4、在任務(wù)執(zhí)行過程中，通過作業(yè)日志記錄器xxljoblogger記錄日志信息，包括任務(wù)開始執(zhí)行、待檢測對象、適用規(guī)則與檢測結(jié)果。

41、所述步驟s2.4中，實現(xiàn)步驟如下：

42、s2.4.1、檢測執(zhí)行模塊接收待檢測的數(shù)據(jù)對象列表和檢測規(guī)則列表，遍歷檢測規(guī)則列表，為每個數(shù)據(jù)對象應(yīng)用相應(yīng)的檢測規(guī)則；

43、s2.4.2、規(guī)則加載與解析模塊根據(jù)檢測規(guī)則配置，通過java反射技術(shù)獲取具體的檢測規(guī)則實現(xiàn)對象，將其轉(zhuǎn)化為系統(tǒng)能夠識別的規(guī)則實體；

44、s2.4.3、結(jié)果處理與記錄模塊收集檢測執(zhí)行模塊產(chǎn)生的檢測結(jié)果，對檢測結(jié)果進行分類與匯總，并將檢測結(jié)果記錄到數(shù)據(jù)庫或日志中，以便后續(xù)分析和處理。

45、一種基于目錄檢測規(guī)則生成質(zhì)量報告的系統(tǒng)，包括：

46、檢測規(guī)則配置模塊，用戶根據(jù)需求定制檢測規(guī)則；通過配置界面自定義添加、修改或刪除檢測規(guī)則，包括對目錄名稱、數(shù)據(jù)項名稱、描述和信息項進行敏感詞檢測的規(guī)則，對目錄與數(shù)據(jù)項的規(guī)范性、唯一性、完整性和保密性進行檢測；

47、定時任務(wù)模塊，負責(zé)根據(jù)需求自定義預(yù)設(shè)時間間隔，通過定時任務(wù)自動觸發(fā)檢測任務(wù)，對數(shù)據(jù)目錄進行全面檢測；

48、檢測執(zhí)行模塊，負責(zé)接收待檢測的數(shù)據(jù)對象列表和檢測規(guī)則列表，遍歷檢測規(guī)則列表，為每個數(shù)據(jù)對象應(yīng)用相應(yīng)的檢測規(guī)則；

49、規(guī)則加載與解析模塊，負責(zé)根據(jù)檢測規(guī)則配置，通過java反射技術(shù)獲取具體的檢測規(guī)則實現(xiàn)對象，將其轉(zhuǎn)化為系統(tǒng)能夠識別的規(guī)則實體；

50、結(jié)果處理與記錄模塊，負責(zé)收集檢測執(zhí)行模塊產(chǎn)生的檢測結(jié)果，對檢測結(jié)果進行分類與匯總，并將檢測結(jié)果記錄到數(shù)據(jù)庫或日志中，以便后續(xù)分析和處理；

51、質(zhì)量檢測報告模塊，負責(zé)生成質(zhì)量檢測報告，并通過web界面展示和導(dǎo)出檢測報告，按目錄維度展示詳細檢測結(jié)果，并以部門視角匯總目錄質(zhì)量狀況；用戶通過web界面查看檢測結(jié)果，并根據(jù)需要自定義導(dǎo)出格式，將報告導(dǎo)出，方便后續(xù)分析和處理。

52、一種基于目錄檢測規(guī)則生成質(zhì)量報告的設(shè)備，其特征在于：包括存儲器和處理器；所述存儲器用于存儲計算機程序，所述處理器用于執(zhí)行所述計算機程序時實現(xiàn)上述的方法步驟。

53、一種可讀存儲介質(zhì)，其特征在于：所述可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的方法步驟。

54、本發(fā)明的有益效果是：該基于目錄檢測規(guī)則生成質(zhì)量報告的方法，能夠幫助管理部門更有效地管理和利用數(shù)據(jù)資源，不僅提升了數(shù)據(jù)管理的效率，還為管理部門決策提供了更加精確的數(shù)據(jù)支持，從而促進了管理決策的科學(xué)性和有效性。