一種分布式日志的采集和檢索方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算機(jī)信息技術(shù)領(lǐng)域，涉及一種分布式日志的采集和檢索方法。
【背景技術(shù)】
[0002]云計(jì)算環(huán)境中部署了大量的物理設(shè)備、業(yè)務(wù)系統(tǒng)，同時(shí)，也部署了運(yùn)維，安全管理等的平臺(tái)監(jiān)控、管理系統(tǒng)，日志信息成為平臺(tái)監(jiān)控、管理的重要手段，海量的、來自不同設(shè)備、系統(tǒng)的日志信息需要被多個(gè)系統(tǒng)使用，同時(shí)平臺(tái)中一旦設(shè)備出現(xiàn)問題，日志信息就成為排查故障，預(yù)防故障的重要手段。
[0003]由于云計(jì)算數(shù)據(jù)中心內(nèi)物理設(shè)備、業(yè)務(wù)系統(tǒng)的數(shù)據(jù)很多，不同設(shè)備、系統(tǒng)使用不同協(xié)議產(chǎn)生自身的日志信息，傳統(tǒng)數(shù)據(jù)處理方式針對(duì)大量的日志數(shù)據(jù)采集、處理、檢索力不從心，同時(shí)，日志信息本身固有的非結(jié)構(gòu)化數(shù)據(jù)特性也提高了日志信息采集、處理、檢索的難度。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目的是提供一種分布式日志的采集和檢索方法，解決了傳統(tǒng)數(shù)據(jù)處理方式難以對(duì)大量的日志數(shù)據(jù)進(jìn)行采集、處理和檢索的問題。
[0005]本發(fā)明的技術(shù)方案是，一種分布式日志的采集和檢索方法，具體按照以下步驟實(shí)施:
[0006]步驟1、日志采集:
[0007]日志采集網(wǎng)絡(luò)采集日志信息，通過通用接口將不同來源的日志信息存儲(chǔ)在存儲(chǔ)系統(tǒng)中，通過通用接口將不同類型及不同來源的日志信息保存成為統(tǒng)一字符編碼的日志文件。
[0008]步驟2、日志處理:
[0009]日志搜索系統(tǒng)對(duì)保存到存儲(chǔ)系統(tǒng)中的日志文件進(jìn)行切分，對(duì)切分后的日志信息進(jìn)行索引操作，根據(jù)日志內(nèi)的關(guān)鍵屬性，日志搜索系統(tǒng)從非結(jié)構(gòu)化日志數(shù)據(jù)中提取數(shù)據(jù)，并重新組織成為日志信息索引，日志信息索引的結(jié)構(gòu)包括“日志索引” “日志索引段” “日志索引文檔” “日志索引域”和“日志索引項(xiàng)”五個(gè)不同的層次；
[0010]步驟3、日志檢索:
[0011]將經(jīng)步驟2形成的日志信息索引進(jìn)行日志檢索，完成對(duì)分布式日志的采集和檢索。
[0012]本發(fā)明的特點(diǎn)還在于，
[0013]步驟1中，通用接口包括日志生成接口、日志編排接口和日志傳輸接口。
[0014]關(guān)鍵屬性包括日志產(chǎn)生時(shí)間、日志類型、日志關(guān)鍵字、日志內(nèi)容和日志級(jí)別；非結(jié)構(gòu)化日志數(shù)據(jù)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖片數(shù)據(jù)、圖像數(shù)據(jù)、文檔數(shù)據(jù)和文本數(shù)據(jù)。
[0015]日志信息索引包含一個(gè)“日志索引文檔”序列，一個(gè)“日志索引文檔”是一個(gè)“日志索引域”序列，一個(gè)“日志索引域”是一個(gè)“日志索引項(xiàng)”的命名序列。
[0016]步驟2中，日志搜索系統(tǒng)還對(duì)日志信息索引進(jìn)行緩存處理。
[0017]步驟3中，日志檢索的方法包括搜索日志索引和集群檢索。
[0018]搜索日志索引，是利用步驟2的日志信息索引，得到每個(gè)查詢關(guān)鍵字的文檔鏈表，對(duì)文檔鏈表進(jìn)行文檔公共內(nèi)容過濾、文檔差異內(nèi)容過濾、文檔內(nèi)容合并處理，得到結(jié)果文檔。
[0019]集群檢索，是使用分片模式切分?jǐn)?shù)據(jù)，將數(shù)據(jù)分布在整個(gè)集群中，每個(gè)分片為一個(gè)完整的索引，然后合并索引來聚合所有的分片搜索查詢。
[0020]本發(fā)明的有益效果是，一種分布式日志的采集和檢索方法，通過將不同來源的日志信息存儲(chǔ)在存儲(chǔ)系統(tǒng)中，并進(jìn)行索引處理，使日志成為一個(gè)系統(tǒng)的結(jié)構(gòu)，能夠使不同類型的日志信息形成一個(gè)能夠采集不同協(xié)議的日志采集網(wǎng)絡(luò)，從而實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心分布式、高性能、實(shí)時(shí)、可擴(kuò)展日志搜索系統(tǒng)的目的。
【具體實(shí)施方式】
[0021]下面結(jié)合【具體實(shí)施方式】對(duì)本發(fā)明進(jìn)行詳細(xì)說明。
[0022]本發(fā)明的技術(shù)方案是，一種分布式日志的采集和檢索方法，具體按照以下步驟實(shí)施:
[0023]步驟1、日志采集:
[0024]日志采集網(wǎng)絡(luò)采集日志信息，通過日志生成接口、日志編排接口和日志傳輸接口等通用接口將不同來源的日志信息存儲(chǔ)在存儲(chǔ)系統(tǒng)中，通過通用接口將不同類型及不同來源的日志信息保存成為統(tǒng)一字符編碼的日志文件。
[0025]步驟2、日志處理:
[0026]日志搜索系統(tǒng)對(duì)保存到存儲(chǔ)系統(tǒng)中的日志文件進(jìn)行切分，對(duì)切分后的日志信息進(jìn)行索引操作，根據(jù)日志內(nèi)的關(guān)鍵屬性，日志搜索系統(tǒng)從非結(jié)構(gòu)化日志數(shù)據(jù)中提取數(shù)據(jù)，并重新組織成為日志信息索引。其中，關(guān)鍵屬性包括日志產(chǎn)生時(shí)間、日志類型、日志關(guān)鍵字、日志內(nèi)容、日志級(jí)別等信息；非結(jié)構(gòu)化日志數(shù)據(jù)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖片數(shù)據(jù)、圖像數(shù)據(jù)、文檔數(shù)據(jù)和文本數(shù)據(jù)；日志信息索引的結(jié)構(gòu)包括“日志索引” “日志索引段” “日志索引文檔” “日志索引域”和“日志索引項(xiàng)”五個(gè)不同的層次；日志信息索引包含一個(gè)“日志索引文檔”序列，一個(gè)“日志索引文檔”是一個(gè)“日志索引域”序列，一個(gè)“日志索引域”是一個(gè)“日志索引項(xiàng)”的命名序列；日志搜索系統(tǒng)還對(duì)日志信息索引進(jìn)行緩存處理。
[0027]步驟3、日志檢索:
[0028]將經(jīng)步驟2形成的日志信息索引進(jìn)行日志檢索，完成對(duì)分布式日志的采集和檢索。日志檢索包括搜索日志索引和集群檢索，其中，搜索日志索引，是利用步驟2的日志信息索引，得到每個(gè)查詢關(guān)鍵字的文檔鏈表，對(duì)文檔鏈表進(jìn)行文檔公共內(nèi)容過濾、文檔差異內(nèi)容過濾、文檔內(nèi)容合并處理，得到結(jié)果文檔。集群檢索，是使用分片模式切分?jǐn)?shù)據(jù)，將數(shù)據(jù)分布在整個(gè)集群中，每個(gè)分片為一個(gè)完整的索引，然后合并索引來聚合所有的分片搜索查詢。
【主權(quán)項(xiàng)】
1.一種分布式日志的采集和檢索方法，其特征在于，具體按照以下步驟實(shí)施: 步驟1、日志采集: 日志采集網(wǎng)絡(luò)采集日志信息，通過通用接口將不同來源的日志信息存儲(chǔ)在存儲(chǔ)系統(tǒng)中，通過通用接口將不同類型及不同來源的日志信息保存成為統(tǒng)一字符編碼的日志文件； 步驟2、日志處理: 日志搜索系統(tǒng)將經(jīng)步驟2保存到存儲(chǔ)系統(tǒng)中的日志文件進(jìn)行切分，對(duì)切分后的日志信息進(jìn)行索引操作，根據(jù)日志內(nèi)的關(guān)鍵屬性，日志搜索系統(tǒng)從非結(jié)構(gòu)化日志數(shù)據(jù)中提取數(shù)據(jù)，并重新組織成為日志信息索引，日志信息索引的結(jié)構(gòu)包括“日志索引” “日志索引段” “日志索引文檔” “日志索引域”和“日志索引項(xiàng)”五個(gè)不同的層次； 步驟3、日志檢索: 將經(jīng)步驟2形成的日志信息索引進(jìn)行日志檢索，完成對(duì)分布式日志的采集和檢索。2.根據(jù)權(quán)利要求1所述的一種分布式日志的采集和檢索方法，其特征在于，所述步驟1中，通用接口包括日志生成接口、日志編排接口和日志傳輸接口。3.根據(jù)權(quán)利要求1所述的一種分布式日志的采集和檢索方法，其特征在于，所述步驟2中，關(guān)鍵屬性包括日志產(chǎn)生時(shí)間、日志類型、日志關(guān)鍵字、日志內(nèi)容和日志級(jí)別；非結(jié)構(gòu)化日志數(shù)據(jù)包括視頻數(shù)據(jù)、音頻數(shù)據(jù)、圖片數(shù)據(jù)、圖像數(shù)據(jù)、文檔數(shù)據(jù)和文本數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的一種分布式日志的采集和檢索方法，其特征在于，所述日志信息索引包含一個(gè)“日志索引文檔”序列，一個(gè)“日志索引文檔”是一個(gè)“日志索引域”序列，一個(gè)“日志索引域”是一個(gè)“日志索引項(xiàng)”的命名序列。5.根據(jù)權(quán)利要求1所述的一種分布式日志的采集和檢索方法，其特征在于，步驟2中，日志搜索系統(tǒng)還對(duì)日志信息索引進(jìn)行緩存處理。6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的一種分布式日志的采集和檢索方法，其特征在于，所述步驟3中，日志檢索的方法包括搜索日志索引和集群檢索。7.根據(jù)權(quán)利要求6所述的一種分布式日志的采集和檢索方法，其特征在于，所述搜索日志索引，是利用步驟2的日志信息索引，得到每個(gè)查詢關(guān)鍵字的文檔鏈表，對(duì)文檔鏈表進(jìn)行文檔公共內(nèi)容過濾、文檔差異內(nèi)容過濾、文檔內(nèi)容合并處理，得到結(jié)果文檔。8.根據(jù)權(quán)利要求6所述的一種分布式日志的采集和檢索方法，其特征在于，所述集群檢索，是使用分片模式切分?jǐn)?shù)據(jù)，將數(shù)據(jù)分布在整個(gè)集群中，每個(gè)分片為一個(gè)完整的索引，然后合并索引來聚合所有的分片搜索查詢。
【專利摘要】本發(fā)明公開了一種分布式日志的采集和檢索方法，包括以下步驟：日志采集網(wǎng)絡(luò)采集日志信息，通過通用接口將不同來源的日志信息存儲(chǔ)在存儲(chǔ)系統(tǒng)中，通過通用接口將不同類型及不同來源的日志信息保存成為統(tǒng)一字符編碼的日志文件；日志搜索系統(tǒng)對(duì)保存到存儲(chǔ)系統(tǒng)中的日志文件進(jìn)行切分，對(duì)切分后的日志信息進(jìn)行索引操作，根據(jù)日志內(nèi)的關(guān)鍵屬性，日志搜索系統(tǒng)從非結(jié)構(gòu)化日志數(shù)據(jù)中提取數(shù)據(jù)，并重新組織成為日志信息索引；將形成的日志信息索引進(jìn)行日志檢索。本發(fā)明使日志成為一個(gè)系統(tǒng)的結(jié)構(gòu)，能夠使不同類型的日志信息形成一個(gè)能夠采集不同協(xié)議的日志采集網(wǎng)絡(luò)，從而實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心分布式、高性能、實(shí)時(shí)、可擴(kuò)展日志搜索系統(tǒng)的目的。
【IPC分類】G06F17/30
【公開號(hào)】CN105260399
【申請(qǐng)?zhí)枴緾N201510593536
【發(fā)明人】楊劍, 張磊
【申請(qǐng)人】西安未來國(guó)際信息股份有限公司
【公開日】2016年1月20日
【申請(qǐng)日】2015年9月17日