一種日志處理方法及裝置的制造方法
【專利摘要】本發(fā)明提供一種日志處理方法及裝置。所述日志處理方法，包括：獲取日志文件；對日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定第一預(yù)設(shè)審計(jì)信息與日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述關(guān)聯(lián)關(guān)系形成日志文件的日志索引文件；對日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定第二預(yù)設(shè)審計(jì)信息與日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述關(guān)聯(lián)關(guān)系形成日志索引文件的關(guān)聯(lián)匹配關(guān)系；根據(jù)日志索引文件的關(guān)聯(lián)匹配關(guān)系，對日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。上述方案，通過對采集的日志建立關(guān)聯(lián)匹配關(guān)系，改變了日志必須集中存儲(chǔ)才能集中審計(jì)的現(xiàn)狀，簡化了審計(jì)工作中日志信息格式化與日志信息篩選的步驟，節(jié)省了審計(jì)時(shí)間，提高了日志處理效率。
【專利說明】
一種日志處理方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及日志處理及信息安全技術(shù)領(lǐng)域，特別涉及一種日志處理方法及裝置。
【背景技術(shù)】
[0002]日志主要包括系統(tǒng)日志、設(shè)備日志、應(yīng)用日志、用戶訪問行為、系統(tǒng)運(yùn)行狀態(tài)等各類信息，目前在對各類日志分析處理均采用“金字塔審計(jì)模型”(如圖1所示)通過原始日志信息采集、審計(jì)信息標(biāo)準(zhǔn)化、審計(jì)信息篩選、審計(jì)分析四個(gè)步驟對日志進(jìn)行處理。各步驟的詳細(xì)內(nèi)容如下:
[0003]I)原始日志信息采集步驟通過各種采集技術(shù)從被管資源收集相關(guān)日志并進(jìn)行集中管理；
[0004]2)審計(jì)信息標(biāo)準(zhǔn)化步驟以原始審計(jì)信息為基礎(chǔ)，按照標(biāo)準(zhǔn)格式對用戶、事件與資產(chǎn)信息進(jìn)行補(bǔ)全，產(chǎn)生以審計(jì)主體、審計(jì)客體、審計(jì)動(dòng)作為標(biāo)準(zhǔn)格式的信息，以滿足信息篩選的要求；
[0005]3)審計(jì)信息篩選步驟在標(biāo)準(zhǔn)化信息基礎(chǔ)上，通過對關(guān)鍵操作、關(guān)鍵資源進(jìn)行匹配和特定業(yè)務(wù)場景識(shí)別，從而形成待審計(jì)信息。篩選過程重點(diǎn)關(guān)注審計(jì)動(dòng)作和審計(jì)客體，例如敏感庫表查詢、關(guān)鍵業(yè)務(wù)辦理等；
[0006]4)審計(jì)分析步驟對篩選后的待審計(jì)信息結(jié)合審計(jì)策略進(jìn)行分析，從中發(fā)現(xiàn)異常和違規(guī)行為。
[0007]隨著云計(jì)算大規(guī)模應(yīng)用，日志種類和數(shù)量也隨之劇增，面對海量日志，僅依靠現(xiàn)有技術(shù)方案中的集中采集、格式化、統(tǒng)一存儲(chǔ)、統(tǒng)一分析等手段，無法保障日志處理的效率，其主要不足為:
[0008]所有的日志均需要在采集后進(jìn)行集中存儲(chǔ)，這種模式面對海量的日志數(shù)據(jù)，需要大量的管理資源，消耗較長的管理時(shí)間，進(jìn)而消耗較多的日志處理時(shí)間，降低了日志的處理效率。

【發(fā)明內(nèi)容】

[0009]本發(fā)明要解決的技術(shù)問題是提供一種日志處理方法及裝置，用以解決現(xiàn)有的所有的日志均需要在采集后進(jìn)行格式化處理并進(jìn)行集中存儲(chǔ)，然后再進(jìn)行審計(jì)分析，此種方式的日志處理方法造成日志處理速率慢、效率低下的問題。
[0010]為了解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種日志處理方法，包括:
[0011]獲取日志文件；
[0012]對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件；
[0013]對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系；
[0014]根據(jù)所述日志索引文件的關(guān)聯(lián)匹配關(guān)系，對所述日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。
[0015]進(jìn)一步地，所述獲取日志文件的步驟包括:
[0016]采用監(jiān)視系統(tǒng)運(yùn)行過程的方式，采集系統(tǒng)運(yùn)行過程中形成的日志文件；
[0017]其中，監(jiān)視內(nèi)容包括:文件夾或文件內(nèi)容、網(wǎng)絡(luò)內(nèi)容、網(wǎng)絡(luò)應(yīng)用協(xié)議、腳本輸出、數(shù)據(jù)庫輸出。
[0018]進(jìn)一步地，在所述獲取日志文件的步驟后，還包括:
[0019]對所述日志文件進(jìn)行存儲(chǔ)。
[0020]進(jìn)一步地，所述第一預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的敏感數(shù)據(jù)信息，所述對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件的步驟包括:
[0021]對所述日志文件按照所述敏感數(shù)據(jù)信息進(jìn)行索引，確定所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件；
[0022]將所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件作為所述日志文件的日志索引文件。
[0023]進(jìn)一步地，所述第二預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的至少一個(gè)關(guān)鍵信息，所述對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系的步驟包括:
[0024]對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系；
[0025]根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0026]進(jìn)一步地，所述關(guān)鍵信息包括:人員賬號(hào)信息、設(shè)備實(shí)體信息和時(shí)間信息，所述對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系的步驟包括:
[0027]對所述日志索引文件按照所述人員賬號(hào)信息進(jìn)行檢索，確定所述人員賬號(hào)信息與所述日志索引文件之間的第二關(guān)聯(lián)關(guān)系，所述人員賬號(hào)信息包括:應(yīng)用資源賬號(hào)和系統(tǒng)資源賬號(hào)；
[0028]對所述日志索引文件按照所述設(shè)備實(shí)體信息進(jìn)行檢索，確定所述設(shè)備實(shí)體信息與所述日志索引文件之間的第三關(guān)聯(lián)關(guān)系，所述設(shè)備實(shí)體信息包括:IP地址、主機(jī)名稱、數(shù)據(jù)庫名稱、應(yīng)用資源的功能編碼；
[0029]對所述日志索引文件按照時(shí)間信息進(jìn)行檢索，確定所述時(shí)間信息與所述日志索引文件之間的第四關(guān)聯(lián)關(guān)系，所述時(shí)間信息包括至少一個(gè)使用時(shí)間段信息。
[0030]進(jìn)一步地，所述根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系的步驟包括:
[0031]對所述第二關(guān)聯(lián)關(guān)系、所述第三關(guān)聯(lián)關(guān)系和所述第四關(guān)聯(lián)關(guān)系進(jìn)行關(guān)聯(lián)匹配，形成所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系；
[0032]將所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系作為所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0033]本發(fā)明實(shí)施例提供一種日志處理裝置，包括:
[0034]第一獲取模塊，用于獲取日志文件；
[0035]索引建立模塊，用于對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件；
[0036]匹配關(guān)系建立模塊，用于對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系；
[0037]第二獲取模塊，用于根據(jù)所述日志索引文件的關(guān)聯(lián)匹配關(guān)系對所述日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。
[0038]進(jìn)一步地，所述日志處理裝置，還包括:
[0039]存儲(chǔ)模塊，用于對所述日志文件進(jìn)行存儲(chǔ)。
[0040]進(jìn)一步地，在所述第二預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的至少一個(gè)關(guān)鍵信息時(shí)，所述匹配關(guān)系建立模塊，包括:
[0041]第一關(guān)聯(lián)關(guān)系建立單元，用于對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系；
[0042]第二關(guān)聯(lián)關(guān)系建立單元，用于根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0043]本發(fā)明的有益效果是:
[0044]上述方案，通過對采集的日志建立關(guān)聯(lián)匹配關(guān)系，改變了當(dāng)前日志必須集中存儲(chǔ)才能集中審計(jì)的現(xiàn)狀，并簡化了審計(jì)工作中必要的日志信息格式化與日志信息篩選的步驟，節(jié)省了審計(jì)時(shí)間，提高了日志處理效率。
【附圖說明】
[0045]圖1表示現(xiàn)有技術(shù)中對各類日志分析處理的流程示意圖；
[0046]圖2表示本發(fā)明實(shí)施例的所述日志處理方法的總體流程圖；
[0047]圖3表示本發(fā)明實(shí)施例的業(yè)務(wù)模型示意圖；
[0048]圖4表示本發(fā)明獲取日志文件的途徑示意圖；
[0049]圖5表示本發(fā)明實(shí)施例的所述日志處理裝置的模塊示意圖。
【具體實(shí)施方式】
[0050]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)描述。
[0051]本發(fā)明針對現(xiàn)有的日志均需在采集后進(jìn)行格式化處理并進(jìn)行集中存儲(chǔ)，然后再進(jìn)行審計(jì)分析，此種方式的日志處理方法造成日志處理速率慢、效率低下的問題，如圖2所示，本發(fā)明實(shí)施例提供一種日志處理方法，包括:
[0052]步驟10，獲取日志文件；
[0053]步驟20，對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件；
[0054]步驟30，對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系；
[0055]步驟40，根據(jù)所述日志索引文件的關(guān)聯(lián)匹配關(guān)系，對所述日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。
[0056]本發(fā)明上述實(shí)施例，通過對采集的日志建立關(guān)聯(lián)匹配關(guān)系，簡化了審計(jì)工作中必要的日志信息格式化與日志信息篩選的步驟，節(jié)省了審計(jì)時(shí)間，提高了日志處理效率。
[0057]應(yīng)當(dāng)說明的是，本發(fā)明中主要以業(yè)務(wù)支撐系統(tǒng)中的日志為例進(jìn)行說明，為了保障業(yè)務(wù)支撐系統(tǒng)安全穩(wěn)定運(yùn)營，須對業(yè)務(wù)支撐系統(tǒng)中訪問敏感數(shù)據(jù)、執(zhí)行關(guān)鍵操作及其結(jié)果進(jìn)行真實(shí)、全面的記錄，并對業(yè)務(wù)操作行為記錄、系統(tǒng)操作行為記錄進(jìn)行集中存儲(chǔ)和統(tǒng)一分析，實(shí)現(xiàn)基礎(chǔ)審計(jì)與專題審計(jì)，提供可用于責(zé)任追蹤的相關(guān)證據(jù)及審計(jì)管理作為業(yè)務(wù)支撐系統(tǒng)的安全手段。
[0058]業(yè)務(wù)支撐網(wǎng)中存在著大量的系統(tǒng)日志、設(shè)備日志、應(yīng)用日志、用戶訪問行為、系統(tǒng)運(yùn)行狀態(tài)等各類信息，這些日志信息以不同格式分散在業(yè)務(wù)支撐網(wǎng)內(nèi)的各個(gè)系統(tǒng)中。
[0059]可選地，本發(fā)明實(shí)施例的所述步驟10具體為:
[0060]采用監(jiān)視業(yè)務(wù)支撐系統(tǒng)運(yùn)行過程的方式，采集業(yè)務(wù)支撐系統(tǒng)運(yùn)行過程中形成的日志文件；
[0061]其中，監(jiān)視內(nèi)容至少包括:文件夾或文件內(nèi)容、網(wǎng)絡(luò)內(nèi)容、網(wǎng)絡(luò)應(yīng)用協(xié)議、腳本輸出、數(shù)據(jù)庫輸出。
[0062]在采集到上述日志文件后，本發(fā)明另一實(shí)施例中，所述日志處理方法還包括:對所述日志文件進(jìn)行存儲(chǔ)。
[0063]應(yīng)當(dāng)說明的是，本發(fā)明中日志文件的存儲(chǔ)，不對采集來的日志做任何處理操作，采集來的日志文件是什么類型就以該類型進(jìn)行保存，采集來的日志文件是什么格式的就以該格式進(jìn)行保存；同時(shí)本發(fā)明中的存儲(chǔ)處理不僅支持存儲(chǔ)在統(tǒng)一的磁盤陣列中，也同時(shí)支持分散存儲(chǔ)在不同主機(jī)的硬盤中，并支持對日志信息的多線程讀取控制。
[0064]在存儲(chǔ)完所述日志文件后，便是對所述日志文件建立索引的步驟，本發(fā)明以預(yù)設(shè)的敏感數(shù)據(jù)信息為索引項(xiàng)，建立所述日志文件的索引，因此，本發(fā)明又一實(shí)施例中，所述步驟20具體為:
[0065]對不同格式、不同類型的所述日志文件按照敏感數(shù)據(jù)信息進(jìn)行索引，確定所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件；
[0066]將所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件作為所述日志文件的日志索引文件。
[0067]應(yīng)當(dāng)說明的是，所述敏感數(shù)據(jù)信息可以為預(yù)設(shè)的對信息的修改操作、信息的查詢操作等，可以依據(jù)審計(jì)的不同要求，建立索引記錄，所述日志索引文件中包含的便是日志文件的索引記錄，所述索引記錄為一級(jí)索引記錄(所述索引記錄由至少一個(gè)索引關(guān)鍵詞對應(yīng)的日志文件索引信息構(gòu)成)，所述步驟20，只是依據(jù)預(yù)設(shè)的敏感數(shù)據(jù)信息將采集到的所述日志文件進(jìn)行分類，便于后續(xù)的查找，針對不同格式、不同類型的日志文件建立文件索引記錄，通過該操作可以提高后續(xù)日志信息查詢或檢索的處理效率。
[0068]在得到一級(jí)索引記錄后，便是對索引記錄中的每一部分日志文件進(jìn)行再處理，本發(fā)明中依據(jù)預(yù)設(shè)的至少一個(gè)關(guān)鍵信息對所述索引記錄進(jìn)行再處理，因此，本發(fā)明又一實(shí)施例中，所述步驟30包括:
[0069]步驟31，對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系；
[0070]步驟32，根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0071]應(yīng)當(dāng)說明的是，在建立一級(jí)索引記錄中的日志文件的關(guān)聯(lián)匹配關(guān)系(即二級(jí)索引目錄)之前，先要篩選出與建立關(guān)聯(lián)匹配關(guān)系必須的索引條目對應(yīng)的日志文件，本發(fā)明中，主要實(shí)現(xiàn)的是日志索引文件與人員賬號(hào)信息、設(shè)備實(shí)體信息與時(shí)間信息的關(guān)聯(lián)匹配關(guān)系，因此，本發(fā)明又一實(shí)施例中，所述步驟31具體包括:
[0072]步驟311，對所述日志索引文件按照所述人員賬號(hào)信息進(jìn)行檢索，確定所述人員賬號(hào)信息與所述日志索引文件之間的第二關(guān)聯(lián)關(guān)系；
[0073]所述步驟311，先使用從帳號(hào)，包括:CRM(Customer Relat1nship Management)即客戶關(guān)系管理)、BASS(是移動(dòng)通信的一個(gè)平臺(tái)系統(tǒng)，是市場運(yùn)營監(jiān)控平臺(tái)、電子稽核、量化考核及市場經(jīng)營健康度的縮寫)、B0MC(中國移動(dòng)業(yè)務(wù)支撐網(wǎng)運(yùn)營管理系統(tǒng))等應(yīng)用資源帳號(hào)和主機(jī)、數(shù)據(jù)庫、網(wǎng)絡(luò)設(shè)備等系統(tǒng)資源的帳號(hào))作為關(guān)鍵字，對所采集的不同類型、不同格式的日志信息進(jìn)行全文檢索，在完成檢索操作輸出結(jié)果后，利用4A(即認(rèn)證Authenticat1n、賬號(hào)Account、授權(quán)Authorizat1n、審計(jì)Audit，中文名稱為統(tǒng)一安全管理平臺(tái)解決方案)系統(tǒng)中的主從帳號(hào)對應(yīng)關(guān)系來實(shí)現(xiàn)基于人員方面的日志關(guān)聯(lián)分析，把所采集的操作日志對應(yīng)到相關(guān)的操作人員；
[0074]步驟312，對所述日志索引文件按照所述設(shè)備實(shí)體信息進(jìn)行檢索，確定所述設(shè)備實(shí)體信息與所述日志索引文件之間的第三關(guān)聯(lián)關(guān)系；
[0075]所述步驟312，使用IP地址、主機(jī)名稱、數(shù)據(jù)庫名稱、應(yīng)用資源的功能編碼等作為關(guān)鍵字，對所采集的不同類型、不同格式的日志信息進(jìn)行全文檢索，來實(shí)現(xiàn)基于實(shí)體方面的日志關(guān)聯(lián)分析；
[0076]步驟313，對所述日志索引文件按照時(shí)間信息進(jìn)行檢索，確定所述時(shí)間信息與所述日志索引文件之間的第四關(guān)聯(lián)關(guān)系；
[0077]所述步驟313，使用時(shí)間段作為關(guān)鍵字，對新采集的不同類型、不同格式的日志進(jìn)行檢索，來實(shí)現(xiàn)基于時(shí)間段方面的日志關(guān)聯(lián)分析；
[0078]在分別得到日志文件分別與操作人員、實(shí)體、操作時(shí)間的對應(yīng)關(guān)系后，便是對依據(jù)所述對應(yīng)關(guān)系，形成二級(jí)索引目錄的步驟，因此，本發(fā)明實(shí)施例的所述步驟32具體為:
[0079]對所述第二關(guān)聯(lián)關(guān)系、所述第三關(guān)聯(lián)關(guān)系和所述第四關(guān)聯(lián)關(guān)系進(jìn)行關(guān)聯(lián)匹配，形成所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系；
[0080]將所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系作為所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0081 ] 應(yīng)當(dāng)說明的是，針對步驟311、步驟312和步驟313的檢索結(jié)果，利用多關(guān)鍵字檢索或重復(fù)檢索的方法，來實(shí)現(xiàn)人員、實(shí)體、操作時(shí)間之間的關(guān)聯(lián)匹配，通過該步驟實(shí)現(xiàn)同人員在一定時(shí)間內(nèi)對同一資源的操作日志進(jìn)行歸并處理，從而提升后續(xù)日志分析的效率，并在系統(tǒng)中建立高級(jí)文件二次索引模型，針對該模型輸出的格式為:
[0082]{_time:”2014-11_10T12:12:10”，source: ”UDP:514”，sourcetype:”syslog”，ho
st: ”1.1.1.1”, _raw:，，xxxxxxx”......}，其中，_time:，，2014-11_10T12:12:10”表不為操作時(shí)間，source: ”UDP:514”為實(shí)體，即日志所屬于的業(yè)務(wù)系統(tǒng)，sourcetype: ” syslog”為系統(tǒng)日志類型，host:” 1.1.1.1”為主機(jī)IP，_raw: ”xxxxxxx”為原始日志對應(yīng)的索引字段內(nèi)容；應(yīng)當(dāng)說明的是，所述輸出格式并不局限于上面所述的格式，所述輸出格式可以在實(shí)際應(yīng)用中根據(jù)需求進(jìn)行制定。
[0083]應(yīng)當(dāng)說明的是，經(jīng)過上述過程后，便可依據(jù)日志文件的關(guān)聯(lián)匹配關(guān)系進(jìn)行所述日志文件的審計(jì)分析，在進(jìn)行日志審計(jì)時(shí)，可以根據(jù)要查找的信息快速的定位到日志文件，找到與所述日志文件相關(guān)的信息，得到最后的日志文件的處理結(jié)果，應(yīng)當(dāng)說明的是，所述步驟40可以依據(jù)慣用技術(shù)手段實(shí)現(xiàn)，在此不再進(jìn)行贅述。本發(fā)明上述方案，提高了日志處理效率，節(jié)省了網(wǎng)絡(luò)維護(hù)的時(shí)間，提高了管理人員的工作效率。
[0084]綜上所述，本發(fā)明所述日志處理方法的日志預(yù)處理階段主要分為日志采集、存儲(chǔ)及建立索引、人員賬號(hào)檢索分析、實(shí)體檢索分析、時(shí)間檢索分析、關(guān)聯(lián)歸并六大關(guān)鍵步驟，本發(fā)明的主要業(yè)務(wù)模型如圖3所示:
[0085]第一步:對業(yè)務(wù)支撐系統(tǒng)中的各類日志信息進(jìn)行采集，本發(fā)明采用監(jiān)視的方式進(jìn)行日志信息采集，所支持的監(jiān)視手段如圖4所示，包括文件夾或文件內(nèi)容監(jiān)視、網(wǎng)絡(luò)內(nèi)容(TCP/UDP)監(jiān)視、網(wǎng)絡(luò)應(yīng)用協(xié)議監(jiān)視、腳本輸出監(jiān)視、數(shù)據(jù)庫輸出監(jiān)視等；
[0086]第二步:把采集來的不同格式、不同類型的日志文件進(jìn)行存儲(chǔ)處理；
[0087]第三步:完成日志文件存儲(chǔ)處理后，系統(tǒng)針對不同格式、不同類型的日志文件建立原始日志索引；
[0088]第四步:進(jìn)行人員帳號(hào)檢索分析，先使用從帳號(hào)作為關(guān)鍵字，對所采集的不同類型、不同格式的日志信息進(jìn)行全文檢索，在完成檢索操作輸出結(jié)果后，利用4A系統(tǒng)中的主從帳號(hào)對應(yīng)關(guān)系來實(shí)現(xiàn)基于人員方面的日志關(guān)聯(lián)分析，把所采集的操作日志對應(yīng)到相關(guān)的操作人員；
[0089]第五步:進(jìn)行實(shí)體檢索分析，使用IP地址、主機(jī)名稱、數(shù)據(jù)庫名稱、應(yīng)用資源的功能編碼等作為關(guān)鍵字，對所采集的不同類型、不同格式的日志信息進(jìn)行全文檢索，來實(shí)現(xiàn)基于實(shí)體方面的日志關(guān)聯(lián)分析；
[0090]第六步:進(jìn)行時(shí)間檢索分析，使用時(shí)間作為關(guān)鍵字，對不同類型、不同格式的日志進(jìn)行檢索，來實(shí)現(xiàn)基于時(shí)間方面的日志關(guān)聯(lián)分析；
[0091]第七步:針對上述關(guān)聯(lián)分析結(jié)果，進(jìn)行關(guān)聯(lián)歸并，利用多關(guān)鍵字檢索或重復(fù)檢索的方法，來實(shí)現(xiàn)人員、實(shí)體、操作時(shí)間之間的關(guān)聯(lián)匹配；
[0092]在第七步完成后，便在原始日志索引的基礎(chǔ)上，建立了二次索引；
[0093]第八步:對完成關(guān)聯(lián)匹配后的日志信息，進(jìn)行傳統(tǒng)的審計(jì)分析來完成業(yè)務(wù)支撐系統(tǒng)的審計(jì)工作，通過二次索引到原始日志索引再到具體的日志文件的方式來進(jìn)行具體的日常審計(jì)工作。
[0094]例如，在追蹤到某個(gè)記錄信息發(fā)生了變化，根據(jù)所述變化查找到相關(guān)的日志文件，根據(jù)所述日志文件對應(yīng)的關(guān)聯(lián)關(guān)系，就很快得查找到何人何時(shí)對該信息進(jìn)行了修改。
[0095]應(yīng)當(dāng)說明的是，本發(fā)明采用人員檢索、實(shí)體檢索、時(shí)間檢索交叉關(guān)聯(lián)的方法來解決目前云資源環(huán)境下各系統(tǒng)中不同類型、不同格式的日志進(jìn)行關(guān)聯(lián)分析和匹配，達(dá)到節(jié)約投資，簡化審計(jì)工作中必要的日志信息格式化與日志信息篩選步驟，達(dá)到提升審計(jì)工作效率的目的；本發(fā)明優(yōu)化了目前審計(jì)日志存儲(chǔ)方式，提供了審計(jì)日志多格式、分散存儲(chǔ)的落地方法，有效的解決了云計(jì)算環(huán)境下海量的不同格式日志無法快速統(tǒng)一審計(jì)的難題。
[0096]如圖5所示，本發(fā)明實(shí)施例還提供一種日志處理裝置，包括:
[0097]第一獲取模塊100，用于獲取日志文件；
[0098]索引建立模塊200，用于對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件；
[0099]匹配關(guān)系建立模塊300，用于對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系；
[0100]第二獲取模塊400，用于根據(jù)所述日志索引文件的關(guān)聯(lián)匹配關(guān)系對所述日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。
[0101]可選地，所述日志處理裝置，還包括:
[0102]存儲(chǔ)模塊，用于對所述日志文件進(jìn)行存儲(chǔ)。
[0103]可選地，在所述第一預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的敏感數(shù)據(jù)信息時(shí)，所述索引建立模塊200具體為:
[0104]對所述日志文件按照所述敏感數(shù)據(jù)信息進(jìn)行索引，確定所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件；
[0105]將所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件作為所述日志文件的日志索引文件。
[0106]具體地，在所述第二預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的至少一個(gè)關(guān)鍵信息時(shí)，所述匹配關(guān)系建立模塊300，包括:
[0107]第一關(guān)聯(lián)關(guān)系建立單元，用于對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系；
[0108]第二關(guān)聯(lián)關(guān)系建立單元，用于根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0109]可選地，所述第一關(guān)聯(lián)關(guān)系建立單元具體實(shí)現(xiàn):
[0110]對所述日志索引文件按照所述人員賬號(hào)信息進(jìn)行檢索，確定所述人員賬號(hào)信息與所述日志索引文件之間的第二關(guān)聯(lián)關(guān)系，所述人員賬號(hào)信息包括:應(yīng)用資源賬號(hào)和系統(tǒng)資源賬號(hào)；
[0111]對所述日志索引文件按照所述設(shè)備實(shí)體信息進(jìn)行檢索，確定所述設(shè)備實(shí)體信息與所述日志索引文件之間的第三關(guān)聯(lián)關(guān)系，所述設(shè)備實(shí)體信息包括:IP地址、主機(jī)名稱、數(shù)據(jù)庫名稱、應(yīng)用資源的功能編碼；
[0112]對所述日志索引文件按照時(shí)間信息進(jìn)行檢索，確定所述時(shí)間信息與所述日志索引文件之間的第四關(guān)聯(lián)關(guān)系，所述時(shí)間信息包括至少一個(gè)使用時(shí)間段信息。
[0113]所述第二關(guān)聯(lián)關(guān)系建立單元具體實(shí)現(xiàn):
[0114]對所述第二關(guān)聯(lián)關(guān)系、所述第三關(guān)聯(lián)關(guān)系和所述第四關(guān)聯(lián)關(guān)系進(jìn)行關(guān)聯(lián)匹配，形成所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系；
[0115]將所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系作為所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
[0116]需要說明的是，該裝置實(shí)施例是與上述方法相對應(yīng)的裝置，上述方法的所有實(shí)現(xiàn)方式均適用于該裝置實(shí)施例中，也能達(dá)到與上述方法相同的技術(shù)效果。
[0117]以上所述的是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出對于本技術(shù)領(lǐng)域的普通人員來說，在不脫離本發(fā)明所述的原理前提下還可以作出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也在本發(fā)明的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種日志處理方法，其特征在于，包括: 獲取日志文件； 對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件； 對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系； 根據(jù)所述日志索引文件的關(guān)聯(lián)匹配關(guān)系，對所述日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。2.根據(jù)權(quán)利要求1所述的日志處理方法，其特征在于，所述獲取日志文件的步驟包括: 采用監(jiān)視系統(tǒng)運(yùn)行過程的方式，采集系統(tǒng)運(yùn)行過程中形成的日志文件； 其中，監(jiān)視內(nèi)容包括:文件夾或文件內(nèi)容、網(wǎng)絡(luò)內(nèi)容、網(wǎng)絡(luò)應(yīng)用協(xié)議、腳本輸出、數(shù)據(jù)庫輸出。3.根據(jù)權(quán)利要求1所述的日志處理方法，其特征在于，在所述獲取日志文件的步驟后，還包括: 對所述日志文件進(jìn)行存儲(chǔ)。4.根據(jù)權(quán)利要求3所述的日志處理方法，其特征在于，所述第一預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的敏感數(shù)據(jù)信息，所述對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件的步驟包括: 對所述日志文件按照所述敏感數(shù)據(jù)信息進(jìn)行索引，確定所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述敏感數(shù)據(jù)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件； 將所述日志文件針對所述敏感數(shù)據(jù)信息的索引文件作為所述日志文件的日志索引文件。5.根據(jù)權(quán)利要求1所述的日志處理方法，其特征在于，所述第二預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的至少一個(gè)關(guān)鍵信息，所述對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系的步驟包括: 對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系； 根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。6.根據(jù)權(quán)利要求5所述的日志處理方法，其特征在于，所述關(guān)鍵信息包括:人員賬號(hào)信息、設(shè)備實(shí)體信息和時(shí)間信息，所述對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系的步驟包括: 對所述日志索引文件按照所述人員賬號(hào)信息進(jìn)行檢索，確定所述人員賬號(hào)信息與所述日志索引文件之間的第二關(guān)聯(lián)關(guān)系，所述人員賬號(hào)信息包括:應(yīng)用資源賬號(hào)和系統(tǒng)資源賬號(hào); 對所述日志索引文件按照所述設(shè)備實(shí)體信息進(jìn)行檢索，確定所述設(shè)備實(shí)體信息與所述日志索引文件之間的第三關(guān)聯(lián)關(guān)系，所述設(shè)備實(shí)體信息包括:IP地址、主機(jī)名稱、數(shù)據(jù)庫名稱、應(yīng)用資源的功能編碼； 對所述日志索引文件按照時(shí)間信息進(jìn)行檢索，確定所述時(shí)間信息與所述日志索引文件之間的第四關(guān)聯(lián)關(guān)系，所述時(shí)間信息包括至少一個(gè)使用時(shí)間段信息。7.根據(jù)權(quán)利要求6所述的日志處理方法，其特征在于，所述根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系的步驟包括: 對所述第二關(guān)聯(lián)關(guān)系、所述第三關(guān)聯(lián)關(guān)系和所述第四關(guān)聯(lián)關(guān)系進(jìn)行關(guān)聯(lián)匹配，形成所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系; 將所述日志索引文件與所述人員賬號(hào)信息、所述設(shè)備實(shí)體信息和所述時(shí)間信息之間的關(guān)聯(lián)匹配關(guān)系作為所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。8.一種日志處理裝置，其特征在于，包括: 第一獲取模塊，用于獲取日志文件； 索引建立模塊，用于對所述日志文件按照第一預(yù)設(shè)審計(jì)信息進(jìn)行索引，確定所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第一預(yù)設(shè)審計(jì)信息與所述日志文件之間的關(guān)聯(lián)關(guān)系形成所述日志文件的日志索引文件； 匹配關(guān)系建立模塊，用于對所述日志索引文件按照第二預(yù)設(shè)審計(jì)信息進(jìn)行檢索，確定所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系，根據(jù)所述第二預(yù)設(shè)審計(jì)信息與所述日志索引文件之間的關(guān)聯(lián)關(guān)系形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系； 第二獲取模塊，用于根據(jù)所述日志索引文件的關(guān)聯(lián)匹配關(guān)系對所述日志文件進(jìn)行審計(jì)分析處理，獲取日志處理結(jié)果。9.根據(jù)權(quán)利要求8所述的日志處理裝置，其特征在于，還包括: 存儲(chǔ)模塊，用于對所述日志文件進(jìn)行存儲(chǔ)。10.根據(jù)權(quán)利要求8所述的日志處理裝置，其特征在于，在所述第二預(yù)設(shè)審計(jì)信息為預(yù)設(shè)的至少一個(gè)關(guān)鍵信息時(shí)，所述匹配關(guān)系建立模塊，包括: 第一關(guān)聯(lián)關(guān)系建立單元，用于對所述日志索引文件分別按照每個(gè)關(guān)鍵信息進(jìn)行檢索，確定每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系； 第二關(guān)聯(lián)關(guān)系建立單元，用于根據(jù)每個(gè)關(guān)鍵信息與所述日志索引文件之間的第一關(guān)聯(lián)關(guān)系，形成所述日志索引文件的關(guān)聯(lián)匹配關(guān)系。
【文檔編號(hào)】G06F17/30GK105824837SQ201510007050
【公開日】2016年8月3日
【申請日】2015年1月6日
【發(fā)明人】劉亮, 陳輝, 周世超, 林素標(biāo)
【申請人】中國移動(dòng)通信集團(tuán)廣東有限公司