本發(fā)明涉及數(shù)據(jù)處理，具體為一種輕量化實時數(shù)據(jù)系統(tǒng)。

背景技術(shù)：

1、當前在智慧文旅管理軟件領(lǐng)域，分為全域旅游管理平臺和景區(qū)管理平臺兩大類型，核心都是數(shù)據(jù)的接入、處理和展現(xiàn)，全域旅游管理平臺重點需要接入轄區(qū)內(nèi)景區(qū)、文博場館等文旅單位的運行數(shù)據(jù)，同時以填報等方式接入各種文旅行業(yè)基礎(chǔ)數(shù)據(jù)，對外接入交通運輸、統(tǒng)計、市場監(jiān)管等部門數(shù)據(jù)，以及外部互聯(lián)網(wǎng)、運營商、金融支付等數(shù)據(jù)，景區(qū)管理平臺主要需要接入景區(qū)內(nèi)已建的各種票務、安防、停車、客流、環(huán)境監(jiān)測等智能化系統(tǒng)數(shù)據(jù)，以及外部互聯(lián)網(wǎng)、運營商等數(shù)據(jù)，按照傳統(tǒng)的開發(fā)模式，平臺后端開發(fā)以數(shù)據(jù)庫為核心，每種數(shù)據(jù)建立相應的數(shù)據(jù)表，首先需要根據(jù)對接系統(tǒng)的api開發(fā)接入采集程序，實現(xiàn)數(shù)據(jù)入庫，然后對數(shù)據(jù)進行計算處理，再以web服務的方式輸出api，供前端程序調(diào)用，尤其是采用java規(guī)范分層開發(fā)，每種數(shù)據(jù)都需要編寫dao、dto、service、implement、controller等一系列代碼，重復勞動多，工作量大，耦合性高，易于出錯。

2、根據(jù)中國公開號為“cn115204678a”公開的一種基于景區(qū)旅游平臺的旅游評價分析系統(tǒng)，該基于景區(qū)旅游平臺的旅游評價分析系統(tǒng)包括景區(qū)項目客流量監(jiān)測模塊，景區(qū)項目客流量分析與引導模塊，景區(qū)項目熱度分析模塊，景區(qū)項目安全分析模塊，景區(qū)綜合評估顯示模塊，景區(qū)安全預警終端和數(shù)據(jù)庫；本發(fā)明通過獲取目標景區(qū)在各游玩項目中各游客對應的游戲行為安全指數(shù)、各游玩項目的維修保養(yǎng)評估系數(shù)和使用年限評估系數(shù)，綜合分析得到目標景區(qū)內(nèi)各游玩項目對應的設備安全指數(shù)，通過多個維度對目標景區(qū)各游玩項目的設備安全進行分析，提高了對于設備安全檢測結(jié)果的代表性和參考性，避免了景區(qū)的事故發(fā)生，進而為后續(xù)目標景區(qū)各游玩項目的維修保養(yǎng)提供了數(shù)據(jù)支撐。

3、上述專利文件及現(xiàn)有技術(shù)在使用時存在以下技術(shù)問題：

4、問題一，在全域旅游管理平臺和景區(qū)管理平臺的建設中，現(xiàn)有的數(shù)據(jù)管理系統(tǒng)往往是針對特定項目進行定制化開發(fā)，不同項目之間的數(shù)據(jù)接入、處理和展現(xiàn)方式差異較大，導致大量重復性的代碼編寫工作，這不僅浪費了開發(fā)資源，還使得系統(tǒng)的維護和升級變得困難，系統(tǒng)在處理數(shù)據(jù)時集成化不高，針對不同場景適配性不足；

5、問題二，由于景區(qū)規(guī)模和區(qū)域的區(qū)別，在數(shù)據(jù)來源廣泛且復雜，不同數(shù)據(jù)源的數(shù)據(jù)質(zhì)量參差不齊，且針對數(shù)據(jù)采集時無法結(jié)合數(shù)據(jù)源的特點進行采集，導致數(shù)據(jù)采集不及時，出現(xiàn)后續(xù)分析不全面的問題；

6、問題三，在對數(shù)據(jù)進行處理中缺乏有效的質(zhì)量控制機制，單一的針對數(shù)據(jù)的準確性的處理，無法滿足需求，導致數(shù)據(jù)評估單一，缺乏對數(shù)據(jù)質(zhì)量的全面評估和異常檢測機制。

技術(shù)實現(xiàn)思路

1、解決的技術(shù)問題：

2、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種輕量化實時數(shù)據(jù)系統(tǒng)，解決了以下問題：

3、1、針對系統(tǒng)處理數(shù)據(jù)時步驟繁瑣，操作難度大，集成化程度不足，無法對多場景的數(shù)據(jù)處理進行適配的問題；

4、2、針對數(shù)據(jù)采集的質(zhì)量缺乏全面評估和異常檢測機制針對數(shù)據(jù)采集時無法結(jié)合數(shù)據(jù)源的特點進行采集的問題；

5、3、針對數(shù)據(jù)評估單一，缺乏對數(shù)據(jù)質(zhì)量的全面評估和異常檢測機制。

6、技術(shù)方案：

7、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：一種輕量化實時數(shù)據(jù)系統(tǒng)，所述系統(tǒng)包括系統(tǒng)管理模塊、數(shù)據(jù)治理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)服務模塊和數(shù)據(jù)資產(chǎn)模塊，其中：

8、所述數(shù)據(jù)治理模塊，用于配置數(shù)據(jù)治理基礎(chǔ)操作，包括數(shù)據(jù)建模、數(shù)據(jù)查詢以及數(shù)據(jù)清洗，根據(jù)業(yè)務需求和數(shù)據(jù)來源，確定數(shù)據(jù)的實體、屬性和關(guān)系，建立數(shù)據(jù)模型，在數(shù)據(jù)采集和存儲過程中，按照數(shù)據(jù)模型進行組織和管理，用戶通過輸入查詢條件，系統(tǒng)根據(jù)數(shù)據(jù)模型和索引，快速檢索出符合條件的數(shù)據(jù)，用數(shù)據(jù)清洗算法對采集到的數(shù)據(jù)進行處理，運用機器學習算法，對數(shù)據(jù)進行訓練和學習，建立數(shù)據(jù)質(zhì)量評估模型和異常檢測模型，在數(shù)據(jù)處理過程中，實時監(jiān)測數(shù)據(jù)質(zhì)量，發(fā)現(xiàn)異常情況及時報警；

9、所述數(shù)據(jù)采集模塊，負責從各種數(shù)據(jù)源獲取數(shù)據(jù)，并對采集過程進行管理，包括數(shù)據(jù)源管理、模版管理、自動采集和人工采集，對各種數(shù)據(jù)源進行注冊和管理，確定數(shù)據(jù)的采集方式和頻率，根據(jù)不同的數(shù)據(jù)源和數(shù)據(jù)類型，設計對應的數(shù)據(jù)采集模版，用戶在采集數(shù)據(jù)時，選擇對應的模版，減少配置工作量，運用智能調(diào)度算法，根據(jù)數(shù)據(jù)源的特點和采集需求，設定任務的執(zhí)行時間和順序，且運用數(shù)據(jù)抓取技術(shù)，從數(shù)據(jù)源中快速抓取數(shù)據(jù)，并進行初步的處理和驗證，在自動采集無法滿足需求的情況下，用戶通過手動輸入或?qū)霐?shù)據(jù)的方式進行采集；

10、所述數(shù)據(jù)服務模塊，提供數(shù)據(jù)服務相關(guān)的功能，包括api管理、運維監(jiān)控和數(shù)據(jù)統(tǒng)計，設計和開發(fā)數(shù)據(jù)服務的api，對外提供數(shù)據(jù)訪問接口，在api調(diào)用過程中，進行身份驗證和權(quán)限控制，運用實時監(jiān)控算法，對服務器性能、網(wǎng)絡流量、數(shù)據(jù)訪問量等進行實時監(jiān)測，當發(fā)現(xiàn)異常情況時，及時報警并采取相應的措施進行處理，對數(shù)據(jù)服務的使用情況進行統(tǒng)計分析，生成統(tǒng)計報表，通過分析統(tǒng)計數(shù)據(jù)，了解用戶需求和行為，為優(yōu)化服務提供依據(jù)，運用實時監(jiān)控算法和數(shù)據(jù)分析技術(shù)保障服務質(zhì)量和數(shù)據(jù)準確性；

11、所述數(shù)據(jù)資產(chǎn)模塊，對數(shù)據(jù)資產(chǎn)進行管理，包括資產(chǎn)目錄的創(chuàng)建與維護、待分配資產(chǎn)的處理以及資產(chǎn)的統(tǒng)計匯總，根據(jù)數(shù)據(jù)資產(chǎn)的特點和分類標準，創(chuàng)建數(shù)據(jù)資產(chǎn)目錄，在資產(chǎn)目錄中，對數(shù)據(jù)資產(chǎn)進行分類和描述，并定期對資產(chǎn)目錄進行維護和更新，對尚未分配的資產(chǎn)進行登記和審核，確定資產(chǎn)的價值和用途，根據(jù)資產(chǎn)的特點和需求，進行分配和管理，運用數(shù)據(jù)資產(chǎn)評估算法和資產(chǎn)分類技術(shù)，對數(shù)據(jù)資產(chǎn)進行統(tǒng)計匯總，生成資產(chǎn)統(tǒng)計報表，包括資產(chǎn)數(shù)量、價值、使用情況等，為資產(chǎn)的管理和決策提供依據(jù)；

12、所述系統(tǒng)管理模塊，對系統(tǒng)的全局信息進行配置和管理，包括組織結(jié)構(gòu)、用戶信息、角色權(quán)限以及應用配置，根據(jù)用戶的角色和職責，為其分配相應的權(quán)限，在用戶登錄系統(tǒng)時，驗證其權(quán)限，確保其只能訪問和操作被授權(quán)的功能和數(shù)據(jù)，根據(jù)系統(tǒng)的使用情況和業(yè)務需求，不斷優(yōu)化組織結(jié)構(gòu)，確保系統(tǒng)的正常運行和各部分之間的協(xié)同工作。

13、優(yōu)選的，所述數(shù)據(jù)治理模塊中的運用機器學習算法建立數(shù)據(jù)質(zhì)量評估模型，用于評估數(shù)據(jù)的準確性、完整性、一致性，設置數(shù)據(jù)集中有個數(shù)據(jù)樣本，每個樣本有個特征，用表示數(shù)據(jù)集，其中表示第個樣本的特征向量，定義質(zhì)量評估函數(shù)：

14、；

15、其中：

16、表示整個數(shù)據(jù)集的質(zhì)量評估結(jié)果，通過每個樣本的質(zhì)量得分求和得到；

17、表示單個樣本的質(zhì)量得分，通過對準確性、完整性和一致性中的一種或幾種指標綜合計算得出，準確性指標的計算如下；

18、準確性指標通過計算樣本與真實值之間的誤差來衡量，則準確性指標用均方誤差來表示：

19、；

20、其中：

21、表示第個樣本的真實值；

22、表示第個樣本的預測值，即通過模型預測得到的結(jié)果，即通過建立的預測模型對樣本進行預測得到的結(jié)果，預測模型可以根據(jù)具體的業(yè)務需求和數(shù)據(jù)特點選擇，通過模型對樣本的各個特征進行分析和預測，得到預測值，隨著模型的訓練和優(yōu)化，預測值會不斷接近真實值，從而提高數(shù)據(jù)的準確性；

23、表示均方誤差，用于衡量預測值與真實值之間的差異程度，分子部分表示預測值與真實值之差的平方，對所有樣本求和后再除以樣本總數(shù)，得到平均的誤差平方值；

24、當越小時，準確性越高，質(zhì)量得分相應提高，完整性通過統(tǒng)計樣本中缺失值的比例來衡量，一致性通過比較不同樣本之間相同特征的取值是否一致來衡量。

25、優(yōu)選的，所述數(shù)據(jù)治理模塊中建立異常檢測模型，用于檢測數(shù)據(jù)中的異常值，設置數(shù)據(jù)集中有個數(shù)據(jù)樣本，用表示數(shù)據(jù)集，每個樣本有個特征，采用基于距離的異常檢測方法，計算每個樣本與其他樣本之間的歐氏距離：

26、；

27、其中，表示數(shù)據(jù)集中第個樣本和第個樣本之間的歐式距離，表示第個樣本的第個特征值，表示第個樣本的第個特征值；

28、定義異常得分函數(shù)表示樣本與其他樣本的總距離，公式為：

29、；

30、設定一個閾值，當，認為樣本是異常值，當，認為樣本為正常值。

31、優(yōu)選的，所述數(shù)據(jù)采集模塊中的智能調(diào)度算法根據(jù)數(shù)據(jù)源的特點和采集需求，安排采集任務的執(zhí)行時間和順序，設數(shù)據(jù)源集合為，每個數(shù)據(jù)源都有不同的采集頻率需求和數(shù)據(jù)量大?。?/p>

32、定義任務優(yōu)先級函數(shù)：

33、；

34、其中：

35、和是權(quán)重系數(shù)，根據(jù)實際情況調(diào)整，

36、表示第個數(shù)據(jù)源的采集頻率需求；

37、表示第個數(shù)據(jù)源的數(shù)據(jù)量大小，用字節(jié)數(shù)、記錄條數(shù)衡量；

38、表示第個數(shù)據(jù)源的任務優(yōu)先級；

39、表示第個數(shù)據(jù)源的采集頻率的倒數(shù)，采集頻率越高，這個值越小，對任務優(yōu)先級的貢獻就越大；

40、表示第個數(shù)據(jù)源的數(shù)據(jù)量占所有數(shù)據(jù)源數(shù)據(jù)量總和的比例，數(shù)據(jù)量越大，這個比例越高，對任務優(yōu)先級的貢獻就越大；

41、采集頻率越高，數(shù)據(jù)量越大的數(shù)據(jù)源任務優(yōu)先級越高。

42、優(yōu)選的，所述數(shù)據(jù)服務模塊中的實時監(jiān)控算法用于對服務器性能、網(wǎng)絡流量、數(shù)據(jù)訪問量等進行實時監(jiān)測，及時發(fā)現(xiàn)異常情況，設置設服務器性能指標集合為，為服務器內(nèi)部各個性能指標，包括cpu利用率、內(nèi)存利用率，網(wǎng)絡流量用表示，數(shù)據(jù)訪問量用表示；

43、定義異常檢測函數(shù)：

44、；

45、其中，表示對指標的異常檢測函數(shù)，對于cpu利用率，設定一個正常范圍，當時，認為cpu利用率異常，此時，當時，認為cpu利用率正常，此時，表示對網(wǎng)絡流量的異常檢測參數(shù)，網(wǎng)絡流量用單位時間內(nèi)傳輸?shù)臄?shù)據(jù)量來表示，如字節(jié)/秒，設定一個正常范圍，當網(wǎng)絡流量不在這個范圍內(nèi)時，認為網(wǎng)絡流量異常，此時e(f)=0，當網(wǎng)絡流量f在這個范圍內(nèi)時，認為網(wǎng)絡流量正常，此時e(f)=1，表示對數(shù)據(jù)訪問量的異常檢測函數(shù)，數(shù)據(jù)訪問量用單位時間內(nèi)的數(shù)據(jù)訪問次數(shù)來表示，設定一個正常范圍，當數(shù)據(jù)訪問量不在這個范圍內(nèi)時，認為數(shù)據(jù)訪問量異常，此時e(a)=0；當數(shù)據(jù)訪問量在這個范圍內(nèi)時，認為數(shù)據(jù)訪問量正常，此時e(a)=1。

46、優(yōu)選的，所述數(shù)據(jù)資產(chǎn)模塊中通過數(shù)據(jù)資產(chǎn)評估算法對數(shù)據(jù)資產(chǎn)進行評估，確定資產(chǎn)的價值，設數(shù)據(jù)資產(chǎn)集合為，每個數(shù)據(jù)資產(chǎn)有多個評估指標，包括數(shù)據(jù)準確性、完整性、時效性等；

47、定義資產(chǎn)價值函數(shù)：

48、；

49、其中:

50、表示第個數(shù)據(jù)資產(chǎn)的價值得分；

51、是第個評估指標的權(quán)重系數(shù)，用于調(diào)整不同評估指標在資產(chǎn)價值計算中的重要程度；

52、是數(shù)據(jù)資產(chǎn)在第個評估指標上的得分，通過對數(shù)據(jù)準確性、完整性、時效性的評估指標計算得到；

53、對于數(shù)據(jù)準確性指標，根據(jù)數(shù)據(jù)與真實值之間的誤差來計算得分，設真實值為，預測值為，準確性得分公式如下

54、；

55、其中，表示所有數(shù)據(jù)資產(chǎn)在準確性指標上的最大均方誤差，；

56、對于完整性指標，通過統(tǒng)計數(shù)據(jù)資產(chǎn)中缺失值的比例來計算得分，設數(shù)據(jù)資產(chǎn)的總記錄數(shù)為，其中缺失值的記錄數(shù)為，則完整性得分可以定義為：

57、；

58、對于時效性指標，根據(jù)數(shù)據(jù)的更新時間與當前時間的差值來計算得分，設數(shù)據(jù)的更新時間為，當前時間為，設定一個時效性閾值，當時，認為數(shù)據(jù)時效性好，得分較高；當時，認為數(shù)據(jù)時效性差，得分較低。

59、優(yōu)選的，所述數(shù)據(jù)資產(chǎn)模塊中的資產(chǎn)分類技術(shù)對數(shù)據(jù)資產(chǎn)進行分類，進行管理和使用，采用聚類算法對數(shù)據(jù)資產(chǎn)進行分類，設數(shù)據(jù)資產(chǎn)集合為，每個數(shù)據(jù)資產(chǎn)用一個特征向量表示，，采用k-means算法，目標是將數(shù)據(jù)資產(chǎn)劃分為個聚類，使得每個數(shù)據(jù)資產(chǎn)到其所屬聚類中心的距離之和最小,定義目標函數(shù)公式如下：

60、；

61、其中:

62、表示表示聚類的目標函數(shù)，用于衡量聚類的質(zhì)量，目標是最小化這個函數(shù)值；

63、表示數(shù)據(jù)資產(chǎn)是否屬于聚類，如果屬于則；否則,；

64、是聚類的中心,是一個由數(shù)據(jù)資產(chǎn)特征向量組成的向量；

65、表示第個數(shù)據(jù)資產(chǎn)與第個聚類中心的歐氏距離的平方,用于衡量數(shù)據(jù)資產(chǎn)與聚類中心的距離。

66、優(yōu)選的，所述數(shù)據(jù)資產(chǎn)模塊中在創(chuàng)建數(shù)據(jù)資產(chǎn)目錄時，采用分類編碼等技術(shù)，對數(shù)據(jù)資產(chǎn)進行分類和編碼，建立資產(chǎn)目錄更新機制，定期對資產(chǎn)目錄進行更新和維護。

67、優(yōu)選的，所述數(shù)據(jù)采集模塊中在手動輸入或?qū)霐?shù)據(jù)的方式中，提供數(shù)據(jù)校驗和驗證功能，確保人工采集的數(shù)據(jù)符合數(shù)據(jù)質(zhì)量要求，建立數(shù)據(jù)審核機制，對人工采集的數(shù)據(jù)進行審核和審批，確保數(shù)據(jù)的準確性和可靠性。

68、有益效果：

69、本發(fā)明提供了一種輕量化實時數(shù)據(jù)系統(tǒng)。具備以下有益效果：

70、1、本發(fā)明采用系統(tǒng)管理模塊、數(shù)據(jù)治理模塊、數(shù)據(jù)采集模塊、數(shù)據(jù)服務模塊和數(shù)據(jù)資產(chǎn)模塊組成整個系統(tǒng)結(jié)構(gòu)，使系統(tǒng)利用機器學習算法建立的數(shù)據(jù)質(zhì)量評估模型確保了數(shù)據(jù)的準確性、完整性和一致性，異常檢測模型能及時發(fā)現(xiàn)異常值，提升數(shù)據(jù)質(zhì)量，利用數(shù)據(jù)采集模塊高效管理數(shù)據(jù)源，減少配置工作量，智能調(diào)度采集任務，且在自動采集無法滿足需求時可手動采集并確保數(shù)據(jù)質(zhì)量，利用數(shù)據(jù)服務模塊提供安全可靠的數(shù)據(jù)訪問，實時保障服務質(zhì)量，還能通過統(tǒng)計分析為優(yōu)化服務提供依據(jù)，利用數(shù)據(jù)資產(chǎn)模塊有效管理數(shù)據(jù)資產(chǎn)，合理分配資源，提供決策依據(jù)并定期更新維護，系統(tǒng)管理模塊確保系統(tǒng)安全，優(yōu)化組織結(jié)構(gòu)以保障系統(tǒng)正常運行和協(xié)同工作，整個系統(tǒng)采用輕量化設計，集成通用的數(shù)據(jù)采集、計算處理、數(shù)據(jù)管理和數(shù)據(jù)服務功能，減少重復性的相關(guān)代碼編寫，實現(xiàn)靈活配置、快速部署，創(chuàng)新業(yè)務應用建設模式，輕量化處理使得數(shù)據(jù)系統(tǒng)能夠適應不同規(guī)模和類型的全域旅游管理平臺和景區(qū)管理平臺，無論是小型景區(qū)還是大型旅游區(qū)域，都可以根據(jù)實際需求進行靈活配置和部署。

71、2、本發(fā)明采用系統(tǒng)數(shù)據(jù)采集模塊中采用數(shù)據(jù)源管理技術(shù)，通過對各種數(shù)據(jù)源進行注冊和管理并確定采集方式和頻率的方法，實現(xiàn)了對不同類型數(shù)據(jù)源的有效掌控的效果，運用智能調(diào)度算法，根據(jù)數(shù)據(jù)源的特點和采集需求安排采集任務的執(zhí)行時間和順序，確保采集頻率高、數(shù)據(jù)量大的數(shù)據(jù)源任務優(yōu)先級更高，提高了數(shù)據(jù)采集的及時性和全面性，實現(xiàn)了高效準確地從各種數(shù)據(jù)源獲取數(shù)據(jù)的效果，采用了輕量級的算法和技術(shù)，成本低，數(shù)據(jù)處理的速度更快，系統(tǒng)能夠更迅速地響應各種請求，無論是數(shù)據(jù)采集、治理還是服務模塊，都能在較短的時間內(nèi)完成任務，減少用戶等待時間。

72、3、本發(fā)明采用系統(tǒng)數(shù)據(jù)治理模塊中采用數(shù)據(jù)建模技術(shù)，通過確定數(shù)據(jù)實體、屬性和關(guān)系并建立數(shù)據(jù)模型的方法，實現(xiàn)了在數(shù)據(jù)采集和存儲過程中有條理地組織和管理數(shù)據(jù)的效果，運用機器學習算法建立數(shù)據(jù)質(zhì)量評估模型，通過對數(shù)據(jù)的準確性、完整性、一致性進行評估的方法，實現(xiàn)了全面掌握數(shù)據(jù)質(zhì)量狀況的效果，及時發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題，為進一步的數(shù)據(jù)處理和分析提供可靠依據(jù)，建立異常檢測模型，采用基于距離的異常檢測方法，通過實時監(jiān)測數(shù)據(jù)質(zhì)量并在發(fā)現(xiàn)異常情況時及時報警的方法，實現(xiàn)了快速識別數(shù)據(jù)中的異常值的效果，有助于及時采取措施，避免異常數(shù)據(jù)對后續(xù)分析和決策造成不良影響。

73、