本申請涉及計算機技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

一般地，一個WEB應用往往是由多個用于完成不同任務的功能模塊組成，各功能模塊可能通過不同的應用程序編程接口(Application Programming Interface，API)從服務器調(diào)用不同的數(shù)據(jù)進行運行，以實現(xiàn)該WEB應用的不同功能。目前，往往可以統(tǒng)計WEB應用在運行時通過API調(diào)用的數(shù)據(jù)，根據(jù)統(tǒng)計結(jié)果，以確定該WEB應用的運行狀況。

而WEB應用在運行時通過API調(diào)用的數(shù)據(jù)往往是記錄在日志中的，由于WEB應用中不同功能模塊在進行數(shù)據(jù)調(diào)用時，所使用的API往往是不同的，因而在運行時，針對WEB應用中各個功能模塊所記錄的日志的格式往往也是不同的。為了可以對從不同格式的日志中獲得的調(diào)用數(shù)據(jù)進行統(tǒng)計，往往需要針對不同格式的日志分別編寫不同的統(tǒng)計腳本。

例如，可能會通過分別對日志A中記錄的數(shù)據(jù)以及日志B中記錄的數(shù)據(jù)分別進行統(tǒng)計，以根據(jù)統(tǒng)計結(jié)果確定某WEB應用的工作狀況，且對日志A中數(shù)據(jù)以及日志B中數(shù)據(jù)的統(tǒng)計方式均為求平均值，其中，日志A中需要進行統(tǒng)計的數(shù)據(jù)保存在日志A的第一字段，而日志B中需要進行統(tǒng)計的數(shù)據(jù)保存在日志B的第二字段，由于日志A與日志B的格式并不相同，因而在進行統(tǒng)計時，需要針對日志A以及日志B分別編寫不同的統(tǒng)計腳本。

可見，由于對數(shù)據(jù)進行統(tǒng)計時，統(tǒng)計腳本的通用性較差，因而針對不同格式的日志均需要編寫不同的統(tǒng)計腳本，不利于對數(shù)據(jù)的統(tǒng)計，同時這些統(tǒng)計腳本將占用大量的存儲空間。

技術(shù)實現(xiàn)要素：

本申請實施例提供一種數(shù)據(jù)處理方法及裝置，用以解決現(xiàn)有技術(shù)由于需要編寫不同的處理腳本來處理不同格式日志中的數(shù)據(jù)，而造成數(shù)據(jù)處理的不便問題。

本申請實施例采用下述技術(shù)方案：

一種數(shù)據(jù)處理方法，包括：

獲取針對應用中各功能模塊記錄的日志；

根據(jù)預先設置的配置信息，將獲取到的各日志轉(zhuǎn)換為統(tǒng)一格式的日志；

從轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)，并將提取出的待處理數(shù)據(jù)寫入哈希表；

按照預設周期從所述哈希表中獲取本周期內(nèi)寫入所述哈希表中的數(shù)據(jù)；

根據(jù)預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與獲取到的數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的數(shù)據(jù)。

一種數(shù)據(jù)處理方法，其特征在于，包括：

日志獲取單元，用于獲取針對應用中各功能模塊記錄的日志；

格式轉(zhuǎn)換單元，用于根據(jù)預先設置的配置信息，將獲取到的各日志轉(zhuǎn)換為統(tǒng)一格式的日志；

日志處理單元，用于從所述格式轉(zhuǎn)換單元轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)，并將提取出的待處理數(shù)據(jù)寫入哈希表；

數(shù)據(jù)獲取單元，用于按照預設周期從所述哈希表中獲取本周期內(nèi)寫入所述哈希表中的數(shù)據(jù)；

數(shù)據(jù)處理單元，用于根據(jù)預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與獲取到的數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的數(shù)據(jù)。

本申請實施例采用的上述至少一個技術(shù)方案能夠達到以下有益效果：

由于可以根據(jù)預先設置的配置信息，對獲取到的針對應用中各功能模塊記錄的日志進行格式轉(zhuǎn)換，將獲取的各日志轉(zhuǎn)換為統(tǒng)一格式的日志，并從轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)寫入哈希表，在進行數(shù)據(jù)處理時，可以按照預設周期從哈希表中獲取本周期內(nèi)寫入所述哈希表中的數(shù)據(jù)，并按照預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與獲取到的數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的數(shù)據(jù)，在這種情況下，待處理數(shù)據(jù)是從統(tǒng)一格式的日志中提取出的，因而不管待處理數(shù)據(jù)是從什么日志中提取到的，只要待處理數(shù)據(jù)的處理類型標識相同，則均可以使用相同的處理腳本進行處理，從而不需要針對不同格式的日志編寫不同的處理腳本，便于對數(shù)據(jù)的處理，同時由于減少了處理腳本的數(shù)量，從而減少了存儲空間的使用率。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構(gòu)成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當限定。在附圖中：

圖1為本申請實施例提供的一種數(shù)據(jù)處理方法的具體實現(xiàn)流程示意圖；

圖2為本申請實施例提供的一種格式的日志的結(jié)構(gòu)示意圖；

圖3為本申請實施例提供的另一種格式的日志的結(jié)構(gòu)示意圖；

圖4為本申請實施例提供的一種統(tǒng)一格式的日志的結(jié)構(gòu)示意圖；

圖5為本申請實施例提供的另一種統(tǒng)一格式的日志的結(jié)構(gòu)示意圖；

圖6為本申請實施例提供的一種待處理數(shù)據(jù)中包括的子數(shù)據(jù)的結(jié)構(gòu)示意圖；

圖7為本申請實施例提供的一種數(shù)據(jù)處理方法的具體實現(xiàn)流程示意圖；

圖8為本申請實施例提供的一種數(shù)據(jù)處理裝置的具體結(jié)構(gòu)示意圖。

具體實施方式

為使本申請的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本申請具體實施例及相應的附圖對本申請技術(shù)方案進行清楚、完整地描述。顯然，所描述的實施例僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├绢I(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。

以下結(jié)合附圖，詳細說明本申請各實施例提供的技術(shù)方案。

本申請實施例提供的數(shù)據(jù)處理方法的執(zhí)行主體可以是服務器，例如，WEB應用的服務器、微博網(wǎng)站的服務器以及社交平臺的服務器，等等。所述的執(zhí)行主體并不構(gòu)成對本申請的限定，為了便于描述，本申請實施例均以執(zhí)行主體是WEB應用的服務器為例進行說明。

本申請實施例提供了一種數(shù)據(jù)處理方法，用以解決現(xiàn)有技術(shù)由于需要編寫不同的處理腳本來處理不同格式日志中的數(shù)據(jù)，而造成數(shù)據(jù)處理的不便問題。該方法的具體實現(xiàn)流程示意圖如圖1所示，可以包括下述步驟：

步驟11，獲取針對應用中各功能模塊記錄的日志；

以WEB應用為例，一個WEB應用可能包括多個用于實現(xiàn)不同服務的功能模塊，這些不同的功能模塊可能通過不同的API從服務器調(diào)用不同的數(shù)據(jù)進行運行，以實現(xiàn)該WEB應用的不同功能。在WEB應用運行時，各功能模塊的數(shù)據(jù)調(diào)用情況均可以被記錄在日志中。

需要說明的是，可以按照預設的時間周期，定期獲取在該時間周期內(nèi)針對各功能模塊記錄的日志；或者每當WEB應用服務器記錄了一條針對功能模塊的日志時，便可以對該條日志進行獲取。為了可以保證對日志中數(shù)據(jù)處理的實時性，本申請實施例中一般每當WEB應用服務器記錄了一條日志時，便對該條日志進行獲取。

還需要說明的是，針對各功能模塊記錄的日志，可以記錄在同一份日志中；或者，可以針對各功能模塊分別記錄的不同的日志。

步驟12，根據(jù)預先設置的配置信息，將獲取到的各日志轉(zhuǎn)換為統(tǒng)一格式的日志；

其中，所述預先設置的配置信息，可以包括預先設置的JSON(JavaScript Object Notation，JavaScript對象符號)格式的配置信息。

所述預先設置的配置信息即為用戶所期望生成日志的標準格式規(guī)范，則根據(jù)所述預先設置的配置信息，可以將獲取到的各日志按照配置信息中的日志的標準格式規(guī)范進行格式轉(zhuǎn)換，以達到將獲取到的各日志轉(zhuǎn)換為統(tǒng)一格式的日志的目的。

所述統(tǒng)一格式的日志可以包括：用于表示所述統(tǒng)一格式的日志版本的字段、用于表示日志記錄時間的字段、用于表示所述各功能模塊所調(diào)用的應用程序編程接口API信息的字段、用于表示日志文本描述信息的字段、用于表示待處理數(shù)據(jù)的字段。

其中，所述用于表示待處理數(shù)據(jù)的字段由至少一個子數(shù)據(jù)字段組成，所述子數(shù)據(jù)字段包括處理類型標識以及待處理數(shù)據(jù)。

例如，假設通過執(zhí)行步驟11，獲取到的了日志A以及日志B這兩條日志，其中，日志A的格式如圖2所示，日志B的格式如圖3所示，這兩條日志均由六個字段的數(shù)據(jù)組成，其中，DATA表示日志中記錄的數(shù)據(jù)，REQUEST TIME表示請求調(diào)用的時間，URL表示請求調(diào)用API的訪問地址，SOURCEID表示請求調(diào)用API所部署服務器的ID，MASTEREID表示請求調(diào)用API的ID，TEXTLOG表示文本描述日志，除了日志中記錄的數(shù)據(jù)DATA外，該日志中記錄的其他信息，均可以稱為該日志的屬性信息。日志A與日志B中所記錄的字段類型均相同，但是日志A與日志B中各字段的排列方式不同，則通過執(zhí)行步驟12，根據(jù)預先設置的配置信息，可以將日志A的格式轉(zhuǎn)換為如圖4所示，而將日志B的格式轉(zhuǎn)換為如圖5所示，以使得格式轉(zhuǎn)換后，日志A與日志B中各字段的排列方式相同，成為統(tǒng)一格式的日志。

需要說明的是，除了上述轉(zhuǎn)換方式外，還可以將預先設置的配置信息保存在WEB應用的各功能模塊上，以使得在記錄針對各功能模塊的日志時，即可根據(jù)保存在功能模塊上的配置信息，將日志記錄為統(tǒng)一格式的日志，則在這種情況下，通過執(zhí)行步驟11獲取到的日志即為統(tǒng)一格式的日志，從而不需要在進行格式轉(zhuǎn)換。

還需要說明的是，為了可以按照獲取日志的先后順序，對轉(zhuǎn)換后的日志進行后續(xù)處理，在一種實施方式中，可以根據(jù)日志獲取的先后順序，將轉(zhuǎn)換后的日志添加到消息隊列中。

步驟13，從轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)，并將提取出的待處理數(shù)據(jù)寫入哈希表；

由于通過執(zhí)行步驟12，將所述轉(zhuǎn)換后的日志添加到了消息隊列中，因而，在從轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)時，需要依次從所述消息隊列中獲取轉(zhuǎn)換后的日志，并從獲取到的轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)。

由于轉(zhuǎn)換后的日志均為統(tǒng)一的格式，因而轉(zhuǎn)換后的日志中待處理的數(shù)據(jù)所保存的字段也為固定的，如圖4或圖5所示，在這兩條日志中，待處理的數(shù)據(jù)均保存在日志的最后一個字段。因而可以從格式轉(zhuǎn)換后的日志的固定位置提取待處理數(shù)據(jù)，從而在一定程度上提高了待處理數(shù)據(jù)的提取效率。

需要說明的是，獲取到的待處理數(shù)據(jù)所在的日志中，除了包含待處理數(shù)據(jù)外，還包含有屬性信息，為了可以查找到不同日志中所包含的待處理數(shù)據(jù)，在一種實施方式中，可以根據(jù)所述待處理數(shù)據(jù)所在的日志中包含的屬性信息，確定所述待處理數(shù)據(jù)對應鍵，將所述待處理數(shù)據(jù)作為所述鍵對應的值，將所述鍵和所述值寫入哈希表。

一般地，日志中包含的待處理數(shù)據(jù)可能是由多個子數(shù)據(jù)組成的，例如如圖6所示，格式轉(zhuǎn)換后的日志中包含的待處理數(shù)據(jù)DATA由6部分子數(shù)據(jù)組成，其中，ITEM0～ITEM5均為所述待處理數(shù)據(jù)DATA的子數(shù)據(jù)，在這種情況下，將所述待處理數(shù)據(jù)DATA寫入哈希表，具體可以包括：將所述待處理數(shù)據(jù)所在日志中包含的屬性信息確定為所述待處理數(shù)據(jù)對應的鍵，將所述待處理數(shù)據(jù)中包含的子數(shù)據(jù)分別作為所述鍵對應的值，將所述鍵和所述值寫入哈希表，則此時，通過所述鍵，可以從哈希表中查找到組成所述待處理數(shù)據(jù)DATA的全部子數(shù)據(jù)。

步驟14，按照預設周期從哈希表中獲取本周期內(nèi)寫入所述哈希表中的數(shù)據(jù)；

通過執(zhí)行步驟13，從格式轉(zhuǎn)換后的日志中提取到的待處理數(shù)據(jù)均被寫入了哈希表，為了避免從哈希表中重復獲取某一數(shù)據(jù)，而造成對某一數(shù)據(jù)的重復處理，從而對處理結(jié)果造成一定的影響，在一種實施方式中，可以預先設置一個時間周期，并按照設置的時間周期，從哈希表中獲取本周期內(nèi)寫入的待處理數(shù)據(jù)。

具體地，步驟14的實現(xiàn)方式可以包括：按照預設周期，獲取本周期內(nèi)寫入哈希表中的鍵，根據(jù)獲取到的鍵，在所述哈希表中查找與獲取到的鍵對應的值，作為獲取到的待處理數(shù)據(jù)。

為了盡可能的達到對日志中包含的數(shù)據(jù)進行實時的處理，在一種實施方式中，可以將從哈希表中獲取待處理數(shù)據(jù)的周期與步驟11中獲取日志的周期設置一致，且獲取日志的周期與WEB應用記錄日志的周期保持一致，從而可以保證在WEB應用每次記錄日志后，便可以獲取該些日志，并在每次獲取日志時，從哈希表中獲取待處理數(shù)據(jù)進行處理，從而在一定程度上可以保證從哈希表中獲取待處理數(shù)據(jù)的實時性，以達到實時處理待處理數(shù)據(jù)的效果。

步驟15，根據(jù)預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與獲取到的數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的數(shù)據(jù)。

其中，所述處理類型，可以是指對待處理數(shù)據(jù)進行處理時所使用的處理方法，不同的處理方法可以通過與處理方法對應的處理腳本來實現(xiàn)，即所述處理類型與處理腳本存在對應關(guān)系。

所述處理類型標識用于表示處理類型，所述處理類型標識可以是根據(jù)用戶對數(shù)據(jù)的處理需要，通過執(zhí)行步驟12，在根據(jù)預先設置的配置信息對日志進行格式轉(zhuǎn)換時，設置在所述日志所包含的待處理數(shù)據(jù)上的，此時，用戶可以根據(jù)對數(shù)據(jù)的處理需要，在預設的配置信息中保存處理類型標識，以使得在格式轉(zhuǎn)換時，可以將配置信息中保存的處理類型標識設置在待處理數(shù)據(jù)上。

或者也可以將保存有處理類型標識的配置信息預先設置在WEB應用的各個功能模塊上，以使得在記錄針對各功能模塊的日志時，即可根據(jù)預先設置的配置信息，將日志記錄為統(tǒng)一格式的日志，在這種情況下，生成的日志所包含的待處理數(shù)據(jù)中即保存有處理類型標識。

當待處理數(shù)據(jù)是由多個子數(shù)據(jù)組成時，每個子數(shù)據(jù)中均包含有處理類型標識，則可以采用與子數(shù)據(jù)中包含的處理類型標識對應的處理腳本，分別對待處理數(shù)據(jù)中包含的子數(shù)據(jù)進行處理。

為了便于用戶獲知對數(shù)據(jù)的處理結(jié)果，在一種實施方式中，在利用處理腳本對待處理數(shù)據(jù)進行處理后，可以將得到的處理結(jié)果保存到數(shù)據(jù)庫中，并對處理結(jié)果進行展示。

同時為了可以較為對處理結(jié)果進行較為直觀的展示，在一種實施方式中，可以根據(jù)得到的處理結(jié)果，生成用于表示所述處理結(jié)果的圖表，并對生成的圖表進行展示。

需要說明的是，上述數(shù)據(jù)處理方法包括的各步驟可以分別通過以下單元來實現(xiàn)，其中，步驟11可以通過日志獲取單元來實現(xiàn)，步驟12可以通過格式轉(zhuǎn)換單元來實現(xiàn)，步驟13可以通過日志處理單元來實現(xiàn)，步驟14可以通過數(shù)據(jù)獲取單元來實現(xiàn)，步驟15可以通過數(shù)據(jù)處理單元來實現(xiàn)，在實際使用中，上述各單元在實現(xiàn)所述數(shù)據(jù)處理方法時的具體流程示意圖如圖7所述，主要包括下述步驟：

步驟21，日志獲取單元獲取針對應用中各功能模塊記錄的日志，并向格式轉(zhuǎn)換單元發(fā)送獲取到的日志；

步驟22，格式轉(zhuǎn)換單元接收日志獲取單元發(fā)送的日志，并根據(jù)預先設置的配置信息，將獲取到的各日志轉(zhuǎn)換為統(tǒng)一格式的日志；

步驟23，格式轉(zhuǎn)換單元向日志處理單元發(fā)送所述統(tǒng)一格式的日志；

步驟24，日志處理單元接收所述格式轉(zhuǎn)換單元發(fā)送的統(tǒng)一格式的日志，從接收到的所述格式轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)，并將提取出的待處理數(shù)據(jù)寫入哈希表；

步驟25，日志處理單元按照預設周期，向所述數(shù)據(jù)獲取單元發(fā)送本周期內(nèi)寫入哈希表中的鍵；

步驟26，數(shù)據(jù)獲取單元接收日志處理單元發(fā)送的鍵，根據(jù)接收到的鍵在所述哈希表中查找與接收到的鍵對應的值，作為獲取到的待處理數(shù)據(jù)；

步驟27，數(shù)據(jù)獲取單元將待處理數(shù)據(jù)發(fā)送至數(shù)據(jù)處理單元；

步驟28，數(shù)據(jù)處理單元根據(jù)預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與接收到的待處理數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的待處理數(shù)據(jù)。

需要說明的是，上述各單元可以為同一裝置中的不同單元；或者上述各單元也可以為不同裝置中的單元；比如，日志獲取單元、格式轉(zhuǎn)換單元、日志處理單元、數(shù)據(jù)獲取單元以及數(shù)據(jù)處理單元可以均為裝置1中包括的單元；還比如，日志獲取單元和格式轉(zhuǎn)換單元可以為裝置1中包括的單元，日志處理單元可以為裝置2中包括的單元，數(shù)據(jù)獲取單元和數(shù)據(jù)處理單元可以為裝置3中包括的單元，等等。

本申請實施例還提供了一種數(shù)據(jù)處理裝置，用以解決現(xiàn)有技術(shù)由于需要編寫不同的處理腳本來處理不同格式日志中的數(shù)據(jù)，而造成數(shù)據(jù)處理的不便問題。該裝置的具體結(jié)構(gòu)示意圖如圖8所示，包括：日志獲取單元21，格式轉(zhuǎn)換單元22、日志處理單元23、數(shù)據(jù)獲取單元24以及數(shù)據(jù)處理單元25。

本申請實施例中提供的數(shù)據(jù)處理方法的各步驟均可以通過上述數(shù)據(jù)處理裝置中的各單元來實現(xiàn)，其中，日志獲取單元21，用于獲取針對應用中各功能模塊記錄的日志；

格式轉(zhuǎn)換單元22，用于根據(jù)預先設置的配置信息，將日志獲取單元獲取到的各日志轉(zhuǎn)換為統(tǒng)一格式的日志；

日志處理單元23，用于從所述格式轉(zhuǎn)換單元22轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)，并將提取出的待處理數(shù)據(jù)寫入哈希表；

數(shù)據(jù)獲取單元24，用于按照預設周期從所述哈希表中獲取本周期內(nèi)寫入所述哈希表中的數(shù)據(jù)；

數(shù)據(jù)處理單元25，用于根據(jù)預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與數(shù)據(jù)獲取單元24獲取到的數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的數(shù)據(jù)。

在一種實施方式中，所述預先設置的配置信息為JSON格式的配置信息；所述統(tǒng)一格式的日志包括：用于表示所述統(tǒng)一格式的日志版本的字段、用于表示日志記錄時間的字段、用于表示所述各功能模塊所調(diào)用的應用程序編程接口API信息的字段、用于表示日志文本描述信息的字段、用于表示待處理數(shù)據(jù)的字段；其中，所述用于表示待處理數(shù)據(jù)的字段由至少一個子數(shù)據(jù)字段組成，所述子數(shù)據(jù)字段包括處理類型標識以及待處理數(shù)據(jù)。

在一種實施方式中，所述格式轉(zhuǎn)換單元22還用于，在所述日志處理單元23從轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)之前，將所述轉(zhuǎn)換后的日志添加到消息隊列中；所述日志處理單元23具體用于，依次從所述消息隊列中獲取所述轉(zhuǎn)換后的日志，從獲取到的轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)。

在一種實施方式中，所述日志處理單元23具體用于，根據(jù)所述待處理數(shù)據(jù)所在的日志中包含的信息，確定所述待處理數(shù)據(jù)對應鍵，將所述待處理數(shù)據(jù)作為所述鍵對應的值，將所述鍵和所述值寫入哈希表。

在一種實施方式中，所述日志處理單元23還用于，按照預設周期，向所述數(shù)據(jù)獲取單元24發(fā)送本周期內(nèi)寫入哈希表中的鍵；所述數(shù)據(jù)獲取單元24具體用于，接收所述日志處理單元23發(fā)送的鍵，根據(jù)接收到的鍵在所述哈希表中查找與接收到的鍵對應的值，作為獲取到的待處理數(shù)據(jù)。

在一種實施方式中，所述日志可以是針對WEB應用中各功能模塊記錄的日志。

采用本申請?zhí)峁┑臄?shù)據(jù)處理方法，由于可以根據(jù)預先設置的配置信息，對獲取到的針對應用中各功能模塊記錄的日志進行格式轉(zhuǎn)換，將獲取的各日志轉(zhuǎn)換為統(tǒng)一格式的日志，并從轉(zhuǎn)換后的日志中提取待處理數(shù)據(jù)寫入哈希表，在進行數(shù)據(jù)處理時，可以按照預設周期從哈希表中獲取本周期內(nèi)寫入所述哈希表中的數(shù)據(jù)，并按照預先設定的各處理類型標識與預存的各處理腳本的對應關(guān)系，采用與獲取到的數(shù)據(jù)中包含的處理類型標識對應的處理腳本，處理獲取到的數(shù)據(jù)，在這種情況下，待處理數(shù)據(jù)是從統(tǒng)一格式的日志中提取出的，因而不管待處理數(shù)據(jù)是從什么日志中提取到的，只要待處理數(shù)據(jù)的處理類型標識相同，則均可以使用相同的處理腳本進行處理，從而不需要針對不同格式的日志編寫不同的處理腳本，便于對數(shù)據(jù)的處理，同時由于減少了處理腳本的數(shù)量，從而減少了存儲空間的使用率。

本領(lǐng)域內(nèi)的技術(shù)人員應明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合。可提供這些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數(shù)據(jù)處理設備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設備上，使得在計算機或其他可編程設備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

在一個典型的配置中，計算設備包括一個或多個處理器(CPU)、輸入/輸出接口、網(wǎng)絡接口和內(nèi)存。

內(nèi)存可能包括計算機可讀介質(zhì)中的非永久性存儲器，隨機存取存儲器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲器(ROM)或閃存(flash RAM)。內(nèi)存是計算機可讀介質(zhì)的示例。

計算機可讀介質(zhì)包括永久性和非永久性、可移動和非可移動媒體可以由任何方法或技術(shù)來實現(xiàn)信息存儲。信息可以是計算機可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計算機的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機存取存儲器(SRAM)、動態(tài)隨機存取存儲器(DRAM)、其他類型的隨機存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學存儲、磁盒式磁帶，磁帶磁磁盤存儲或其他磁性存儲設備或任何其他非傳輸介質(zhì)，可用于存儲可以被計算設備訪問的信息。按照本文中的界定，計算機可讀介質(zhì)不包括暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號和載波。

還需要說明的是，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、商品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、商品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、商品或者設備中還存在另外的相同要素。

本領(lǐng)域技術(shù)人員應明白，本申請的實施例可提供為方法、系統(tǒng)或計算機程序產(chǎn)品。因此，本申請可采用完全硬件實施例、完全軟件實施例或結(jié)合軟件和硬件方面的實施例的形式。而且，本申請可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學存儲器等)上實施的計算機程序產(chǎn)品的形式。

以上所述僅為本申請的實施例而已，并不用于限制本申請。對于本領(lǐng)域技術(shù)人員來說，本申請可以有各種更改和變化。凡在本申請的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應包含在本申請的權(quán)利要求范圍之內(nèi)。