本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，特別是涉及一種基于netcore的日志采集分析組件。

背景技術(shù)：

1、程序中記錄日志一般有兩個(gè)目的，故障定位和顯示程序運(yùn)行狀態(tài)。首先故障定位中的應(yīng)用不僅限于技術(shù)故障的快速發(fā)現(xiàn)和解決，還包括安全威脅的檢測(cè)、性能優(yōu)化的提升以及合規(guī)性要求的滿足，是現(xiàn)代信息系統(tǒng)不可或缺的一部分。其次顯示程序運(yùn)行狀態(tài)主要是通過(guò)過(guò)濾，刷選，排序，查看明細(xì)等方式，能夠幫助了解系統(tǒng)的健康狀況，及時(shí)發(fā)現(xiàn)潛在的問題，確保系統(tǒng)的穩(wěn)定運(yùn)行。綜上所述，審計(jì)日志不僅是系統(tǒng)或應(yīng)用程序運(yùn)行狀態(tài)的記錄，也是進(jìn)行系統(tǒng)調(diào)試、性能優(yōu)化和安全審計(jì)的重要依據(jù)。通過(guò)合理配置和使用審計(jì)日志功能，可以大大提高系統(tǒng)的可維護(hù)性和安全性。

2、日志等級(jí)包括：

3、trace-最常見的記錄信息，一般用于普通輸出。

4、debug-同樣是記錄信息，不過(guò)出現(xiàn)的頻率要比trace少一些，一般用來(lái)調(diào)試程序。

5、info-信息類型的消息。

6、warn-警告信息，一般用于比較重要的場(chǎng)合。

7、error-錯(cuò)誤信息。

8、fatal-致命異常信息。一般來(lái)講，發(fā)生致命異常之后程序?qū)o(wú)法繼續(xù)執(zhí)行。

9、系統(tǒng)運(yùn)行日志幾乎是每個(gè)系統(tǒng)必不可少的一個(gè)模塊，通常情況會(huì)將日志寫到文本或數(shù)據(jù)庫(kù)中，但通過(guò)記事本和sql查看日志查看效果可能比較簡(jiǎn)陋，不太容易查看。隨著移動(dòng)和云平臺(tái)越來(lái)越流行，ipass業(yè)務(wù)平臺(tái)上有很多很復(fù)雜的組件，每個(gè)組件之間有各自的日志輸出。隨著系統(tǒng)和業(yè)務(wù)的高速發(fā)展，各個(gè)系統(tǒng)每天產(chǎn)生大量的日志，在現(xiàn)有技術(shù)中，存在以下問題：(1)系統(tǒng)有潛在異常，但被淹沒在海量日志中；(2)新版本上線，系統(tǒng)行為有變化，卻無(wú)法感知。

10、每個(gè)系統(tǒng)都有日志，當(dāng)系統(tǒng)出現(xiàn)問題時(shí)，需要通過(guò)日志解決問題。問題包括：審計(jì)日記流于形式、審計(jì)日記與審計(jì)實(shí)施方案脫節(jié)、審計(jì)分工不明確、審計(jì)日記內(nèi)容不詳、審計(jì)人員執(zhí)行審計(jì)日記的要求與規(guī)定存在差距以及查詢不方便等。

11、目前技術(shù)解決方案是商業(yè)化統(tǒng)一日志管理平臺(tái)；商業(yè)化日志統(tǒng)一管理平臺(tái)包括實(shí)時(shí)日志采集、統(tǒng)一管理和分析、提高運(yùn)維效率、以及提供安全審計(jì)功能。數(shù)據(jù)采集方面普遍存在的缺陷主要包括數(shù)據(jù)來(lái)源不確定性、數(shù)據(jù)格式不統(tǒng)一、數(shù)據(jù)量太大、數(shù)據(jù)質(zhì)量不高、采集效率低下、采集成本高昂、隱私保護(hù)和安全性等問題。信息太多太雜不能良好歸類，同時(shí)記錄信息的日志，往往格式多樣難以統(tǒng)一規(guī)范，給日志數(shù)據(jù)整合和分析帶來(lái)了極大的困難。

12、隨著net?core開發(fā)平臺(tái)的日漸興起和發(fā)展，相應(yīng)的開源產(chǎn)品也相對(duì)活躍起來(lái)。好的日志記錄方式可以提供足夠多依據(jù)用于對(duì)問題進(jìn)行定位，如何更高效地獲得有用的日志數(shù)據(jù)，并及時(shí)地根據(jù)日志數(shù)據(jù)確定系統(tǒng)存在的潛在異常，是亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是提供一種基于netcore的日志采集分析組件，能夠更高效地獲取目標(biāo)日志數(shù)據(jù)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：

3、一種基于netcore的日志采集分析組件，被預(yù)先配置為與使用主體相關(guān)聯(lián)，所述日志采集分析組件包括：日志采集子組件、日志上傳子組件和日志分析子組件；

4、所述日志采集組件，用于根據(jù)所述使用主體的需求，針對(duì)設(shè)置的采集對(duì)象，采集所述采集對(duì)象的日志數(shù)據(jù)，并對(duì)所述日志數(shù)據(jù)進(jìn)行預(yù)處理操作；所述預(yù)處理操作包括脫敏、過(guò)濾和分類；

5、所述日志上傳子組件，用于將所述采集對(duì)象的預(yù)處理后的所述日志數(shù)據(jù)上傳至數(shù)據(jù)存儲(chǔ)模塊；

6、所述日志分析子組件，用于根據(jù)用戶輸入的查詢條件，從所述數(shù)據(jù)存儲(chǔ)模塊中提取滿足條件的目標(biāo)日志數(shù)據(jù)，并根據(jù)用戶輸入的分析方法對(duì)所述目標(biāo)日志數(shù)據(jù)進(jìn)行處理，得到日志分析結(jié)果，以及對(duì)所述目標(biāo)日志數(shù)據(jù)和所述日志分析結(jié)果進(jìn)行顯示。

7、可選地，應(yīng)用面向切面編程技術(shù)采集所述采集對(duì)象的日志數(shù)據(jù)。

8、可選地，對(duì)所述日志數(shù)據(jù)進(jìn)行預(yù)處理操作，具體包括：

9、通過(guò)屬性特征規(guī)則對(duì)所述日志數(shù)據(jù)進(jìn)行脫敏處理，得到脫敏后的日志數(shù)據(jù)；

10、通過(guò)添加特性設(shè)置，對(duì)脫敏后的日志數(shù)據(jù)進(jìn)行過(guò)濾，得到過(guò)濾后的日志數(shù)據(jù)；

11、通過(guò)讀取組名稱，對(duì)過(guò)濾后的日志數(shù)據(jù)進(jìn)行分類。

12、可選地，所述日志采集分析組件通過(guò)nuget包直接安裝。

13、可選地，所述日志分析子組件還用于接收用戶輸入的日志數(shù)據(jù)輸出格式，并將所述日志數(shù)據(jù)輸出格式傳輸至所述日志采集組件；所述日志采集組件根據(jù)所述日志數(shù)據(jù)輸出格式將預(yù)處理后的日志數(shù)據(jù)的數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換。

14、可選地，所述日志上傳子組件還用來(lái)判斷預(yù)處理后的所述日志數(shù)據(jù)是否成功上傳至數(shù)據(jù)存儲(chǔ)模塊，當(dāng)預(yù)處理后的所述日志數(shù)據(jù)未成功上傳至數(shù)據(jù)存儲(chǔ)模塊時(shí)，判斷上傳失敗的次數(shù)，當(dāng)上傳失敗的次數(shù)大于預(yù)設(shè)次數(shù)時(shí)，停止上傳，并將未成功上傳至數(shù)據(jù)存儲(chǔ)模塊的預(yù)處理后的所述日志數(shù)據(jù)進(jìn)行文本日志存檔。

15、可選地，所述日志采集子組件和所述日志上傳子組件采用異步模式工作。

16、可選地，所述日志分析子組件還設(shè)置有用戶訪問鑒權(quán)機(jī)制。

17、可選地，所述日志采集分析組件還包括自動(dòng)結(jié)轉(zhuǎn)子組件；所述自動(dòng)結(jié)轉(zhuǎn)子組件用于根據(jù)用戶輸入的清理?xiàng)l件或者結(jié)轉(zhuǎn)條件，對(duì)滿足所述清理?xiàng)l件的日志數(shù)據(jù)進(jìn)行清理，或者對(duì)滿足所述結(jié)轉(zhuǎn)條件的日志數(shù)據(jù)進(jìn)行結(jié)轉(zhuǎn)。

18、可選地，所述日志分析子組件能夠顯示慢查詢?nèi)罩玖斜怼?/p>

19、根據(jù)本發(fā)明提供的具體實(shí)施例，本發(fā)明公開了以下技術(shù)效果：

20、本發(fā)明公開了一種基于netcore的日志采集分析組件，該日志采集分析組件被預(yù)先配置為與使用主體相關(guān)聯(lián)，包括日志采集子組件、日志上傳子組件和日志分析子組件；其中，日志采集組件根據(jù)使用主體的需求，針對(duì)設(shè)置的采集對(duì)象，采集采集對(duì)象的日志數(shù)據(jù)，并對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理操作；預(yù)處理操作包括脫敏、過(guò)濾和分類；通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行脫敏，保證了數(shù)據(jù)安全，通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行過(guò)濾，刪除了一些日志采集的設(shè)置，幫助用戶有效地管理和控制審計(jì)日志的輸出，確保只收集和處理重要的系統(tǒng)活動(dòng)記錄，從而提高日志管理的效率和準(zhǔn)確性，通過(guò)對(duì)日志數(shù)據(jù)進(jìn)行分類，幫助更好地管理和分析日志數(shù)據(jù)。分組設(shè)置的基本框架，確保了日志的采集過(guò)程中的分類和存儲(chǔ)。其中，日志上傳子組件將采集對(duì)象的預(yù)處理后的日志數(shù)據(jù)上傳至數(shù)據(jù)存儲(chǔ)模塊，日志分析子組件根據(jù)用戶輸入的查詢條件，從數(shù)據(jù)存儲(chǔ)模塊中提取滿足條件的目標(biāo)日志數(shù)據(jù)，并根據(jù)用戶輸入的分析方法對(duì)目標(biāo)日志數(shù)據(jù)進(jìn)行處理，得到日志分析結(jié)果，以及對(duì)目標(biāo)日志數(shù)據(jù)和日志分析結(jié)果進(jìn)行顯示。本發(fā)明通過(guò)在數(shù)據(jù)采集和存儲(chǔ)過(guò)程中對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，提高了日志數(shù)據(jù)的準(zhǔn)確性、安全性以及日志管理的效率，在用戶根據(jù)日志數(shù)據(jù)進(jìn)行分析時(shí)，能夠更高效的獲得有用的日志數(shù)據(jù)，并及時(shí)地根據(jù)日志數(shù)據(jù)確定系統(tǒng)存在的潛在異常。

1.一種基于netcore的日志采集分析組件，其特征在于，被預(yù)先配置為與使用主體相關(guān)聯(lián)，所述日志采集分析組件包括：日志采集子組件、日志上傳子組件和日志分析子組件；

2.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，應(yīng)用面向切面編程技術(shù)采集所述采集對(duì)象的日志數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，對(duì)所述日志數(shù)據(jù)進(jìn)行預(yù)處理操作，具體包括：

4.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志采集分析組件通過(guò)nuget包直接安裝。

5.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志分析子組件還用于接收用戶輸入的日志數(shù)據(jù)輸出格式，并將所述日志數(shù)據(jù)輸出格式傳輸至所述日志采集組件；所述日志采集組件根據(jù)所述日志數(shù)據(jù)輸出格式將預(yù)處理后的日志數(shù)據(jù)的數(shù)據(jù)格式進(jìn)行轉(zhuǎn)換。

6.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志上傳子組件還用來(lái)判斷預(yù)處理后的所述日志數(shù)據(jù)是否成功上傳至數(shù)據(jù)存儲(chǔ)模塊，當(dāng)預(yù)處理后的所述日志數(shù)據(jù)未成功上傳至數(shù)據(jù)存儲(chǔ)模塊時(shí)，判斷上傳失敗的次數(shù)，當(dāng)上傳失敗的次數(shù)大于預(yù)設(shè)次數(shù)時(shí)，停止上傳，并將未成功上傳至數(shù)據(jù)存儲(chǔ)模塊的預(yù)處理后的所述日志數(shù)據(jù)進(jìn)行文本日志存檔。

7.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志采集子組件和所述日志上傳子組件采用異步模式工作。

8.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志分析子組件還設(shè)置有用戶訪問鑒權(quán)機(jī)制。

9.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志采集分析組件還包括自動(dòng)結(jié)轉(zhuǎn)子組件；所述自動(dòng)結(jié)轉(zhuǎn)子組件用于根據(jù)用戶輸入的清理?xiàng)l件或者結(jié)轉(zhuǎn)條件，對(duì)滿足所述清理?xiàng)l件的日志數(shù)據(jù)進(jìn)行清理，或者對(duì)滿足所述結(jié)轉(zhuǎn)條件的日志數(shù)據(jù)進(jìn)行結(jié)轉(zhuǎn)。

10.根據(jù)權(quán)利要求1所述的基于netcore的日志采集分析組件，其特征在于，所述日志分析子組件能夠顯示慢查詢?nèi)罩玖斜怼?/p>
技術(shù)總結(jié)
本發(fā)明公開一種基于NETCORE的日志采集分析組件，涉及大數(shù)據(jù)領(lǐng)域。該組件被預(yù)先配置為與使用主體相關(guān)聯(lián)，包括：日志采集組件，用于根據(jù)使用主體的需求，針對(duì)設(shè)置的采集對(duì)象，采集采集對(duì)象的日志數(shù)據(jù)，并對(duì)日志數(shù)據(jù)進(jìn)行預(yù)處理操作；預(yù)處理操作包括脫敏、過(guò)濾和分類；日志上傳子組件，用于將采集對(duì)象的預(yù)處理后的日志數(shù)據(jù)上傳至數(shù)據(jù)存儲(chǔ)模塊；日志分析子組件，用于根據(jù)用戶輸入的查詢條件，從數(shù)據(jù)存儲(chǔ)模塊中提取滿足條件的目標(biāo)日志數(shù)據(jù)，并根據(jù)用戶輸入的分析方法對(duì)目標(biāo)日志數(shù)據(jù)進(jìn)行處理，得到日志分析結(jié)果，以及對(duì)目標(biāo)日志數(shù)據(jù)和日志分析結(jié)果進(jìn)行顯示。本發(fā)明能夠更高效地獲取目標(biāo)日志數(shù)據(jù)。

技術(shù)研發(fā)人員：桑禮榮,李長(zhǎng)江,甘玲玲
受保護(hù)的技術(shù)使用者：浙江華瑞信息資訊股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26