本發(fā)明涉及通信技術(shù)領(lǐng)域，尤其涉及一種日志數(shù)據(jù)篩選方法及裝置。

背景技術(shù)：

目前，隨著app(應(yīng)用程序，Application)數(shù)量的增長(zhǎng)，app的用戶越來(lái)越多，基于此，對(duì)用戶的篩選也越來(lái)越重要。目前，一般在每次篩選用戶時(shí)，均使用與產(chǎn)品經(jīng)理事先約定的條件來(lái)開(kāi)發(fā)程序，以進(jìn)行用戶的篩選。由于該方式是產(chǎn)品經(jīng)理根據(jù)自身需求來(lái)進(jìn)行用戶篩選，這樣則導(dǎo)致產(chǎn)品經(jīng)理的篩選需求發(fā)生變化時(shí)，均需要調(diào)整篩選，從而需要專門開(kāi)發(fā)一套程序來(lái)滿足產(chǎn)品經(jīng)理的篩選需求，這種方式顯然需要程序開(kāi)發(fā)人員進(jìn)行大量重復(fù)性勞動(dòng)，效率較低。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在解決現(xiàn)有技術(shù)中對(duì)用戶的篩選效率較低的問(wèn)題，提出了一種日志數(shù)據(jù)篩選方法及裝置。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種日志數(shù)據(jù)篩選方法，包括：接收篩選參數(shù)以及篩選規(guī)則的選擇指令；接收日志數(shù)據(jù)；使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選。

可選的，上述方法還包括：在接收篩選參數(shù)之前，顯示預(yù)設(shè)的篩選規(guī)則和/或顯示預(yù)設(shè)的篩選規(guī)則的標(biāo)識(shí)。

可選的，使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選，包括：如果選擇指令表明當(dāng)前有一個(gè)篩選規(guī)則被選擇，則根據(jù)該被選擇的篩選規(guī)則以及與該篩選規(guī)則對(duì)應(yīng)的篩選參數(shù)對(duì)日志數(shù)據(jù)進(jìn)行篩選；如果選擇指令表明當(dāng)前至少有兩個(gè)篩選規(guī)則被選擇，則將至少兩個(gè)篩選規(guī)則以及與至少兩個(gè)篩選規(guī)則分別對(duì)應(yīng)的篩選參數(shù)進(jìn)行組合，得到組合篩選條件；使用組合篩選條件對(duì)日志數(shù)據(jù)進(jìn)行篩選。

可選的，上述方法還包括：在使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選之前，根據(jù)選擇指令從數(shù)據(jù)庫(kù)中獲取預(yù)先存儲(chǔ)的篩選規(guī)則。

可選的，上述預(yù)設(shè)的篩選規(guī)則包括：篩選存在與邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在或邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在非邏輯關(guān)系的日志數(shù)據(jù)的邏輯運(yùn)算；

篩選出連續(xù)預(yù)設(shè)時(shí)間段內(nèi)均出現(xiàn)預(yù)設(shè)信息的日志數(shù)據(jù)的計(jì)算方法；按照數(shù)值大小關(guān)系篩選日志數(shù)據(jù)的計(jì)算方法；篩選出包含預(yù)設(shè)字符串的日志數(shù)據(jù)的計(jì)算方法；篩選出指定時(shí)間段內(nèi)的日志數(shù)據(jù)的計(jì)算方法。

根據(jù)本發(fā)明的第二個(gè)方面，提供了一種日志數(shù)據(jù)篩選裝置，包括：第一接收模塊，用于接收篩選參數(shù)以及篩選規(guī)則的選擇指令；第二接收模塊，用于接收日志數(shù)據(jù)；篩選模塊，用于使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選。

可選的，上述裝置還包括：顯示模塊，用于在接收篩選參數(shù)之前，顯示預(yù)設(shè)的篩選規(guī)則和/或顯示預(yù)設(shè)的篩選規(guī)則的標(biāo)識(shí)。

可選的，上述篩選模塊包括：第一篩選單元，用于如果選擇指令表明當(dāng)前有一個(gè)篩選規(guī)則被選擇，則根據(jù)該被選擇的篩選規(guī)則以及與該篩選規(guī)則對(duì)應(yīng)的篩選參數(shù)對(duì)日志數(shù)據(jù)進(jìn)行篩選；組合單元，用于如果選擇指令表明當(dāng)前至少有兩個(gè)篩選規(guī)則被選擇，則將至少兩個(gè)篩選規(guī)則以及與至少兩個(gè)篩選規(guī)則分別對(duì)應(yīng)的篩選參數(shù)進(jìn)行組合，得到組合篩選條件；第二篩選單元，用于使用組合篩選條件對(duì)日志數(shù)據(jù)進(jìn)行篩選。

可選的，上述裝置還包括：獲取模塊，用于在使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選之前，根據(jù)選擇指令從數(shù)據(jù)庫(kù)中獲取預(yù)先存儲(chǔ)的篩選規(guī)則。

可選的，上述預(yù)設(shè)的篩選規(guī)則包括：篩選存在與邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在或邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在非邏輯關(guān)系的日志數(shù)據(jù)的邏輯運(yùn)算；篩選出連續(xù)預(yù)設(shè)時(shí)間段內(nèi)均出現(xiàn)預(yù)設(shè)信息的日志數(shù)據(jù)的計(jì)算方法；按照數(shù)值大小關(guān)系篩選日志數(shù)據(jù)的計(jì)算方法；篩選出包含預(yù)設(shè)字符串的日志數(shù)據(jù)的計(jì)算方法；篩選出指定時(shí)間段內(nèi)的日志數(shù)據(jù)的計(jì)算方法。

根據(jù)本發(fā)明實(shí)施例提供的日志數(shù)據(jù)的篩選方法，可以通過(guò)配置平臺(tái)提供多種不同的篩選方案，通過(guò)讀取配置信息來(lái)使用多種不同的篩選規(guī)則來(lái)篩選日志數(shù)據(jù)，無(wú)需根據(jù)不同的篩選需求專門開(kāi)發(fā)篩選應(yīng)用程序，提高了日志數(shù)據(jù)篩選的效率。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明第一實(shí)施例提供的日志數(shù)據(jù)篩選方法的流程圖；

圖2是本發(fā)明第一實(shí)施例中涉及的數(shù)據(jù)結(jié)構(gòu)示意圖；

圖3是本發(fā)明第二實(shí)施例中涉及到的系統(tǒng)的架構(gòu)示意圖；

圖4是本發(fā)明第二實(shí)施例中涉及的日志數(shù)據(jù)篩選方法的流程圖；

圖5是本發(fā)明第三實(shí)施例中提供的日志數(shù)據(jù)篩選裝置的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)的前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

第一實(shí)施例

本實(shí)施例提供了一種日志數(shù)據(jù)篩選方法，圖1是該方法的流程圖，如圖1所示，該方法包括如下處理：

步驟101：接收篩選參數(shù)以及篩選規(guī)則的選擇指令；

在該步驟101中，選擇指令具體可以是用戶發(fā)出的，用于選擇指定的篩選規(guī)則，篩選參數(shù)可以是用戶通過(guò)輸入設(shè)備輸入的，該參數(shù)可以是具體的數(shù)值、文本信息或字符串，其中，篩選規(guī)則具體可以包括以下幾種：

篩選存在與邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在或邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在非邏輯關(guān)系的日志數(shù)據(jù)的邏輯運(yùn)算，該處所涉及的邏輯運(yùn)算為與、或、非邏輯運(yùn)算，例如，指定篩選某個(gè)日志數(shù)據(jù)只能是abc或者bca不能是aaa。

篩選出連續(xù)預(yù)設(shè)時(shí)間段內(nèi)均出現(xiàn)預(yù)設(shè)信息的日志數(shù)據(jù)的計(jì)算方法，提供連續(xù)出現(xiàn)的驗(yàn)證方法，例如，指定連續(xù)五個(gè)日期都出現(xiàn)abc的日志數(shù)據(jù)。

按照數(shù)值大小關(guān)系篩選日志數(shù)據(jù)的計(jì)算方法，即比較大小的篩選方法，例如，篩選大于或小于某一數(shù)值的數(shù)據(jù)。

篩選出包含預(yù)設(shè)字符串的日志數(shù)據(jù)的計(jì)算方法，即匹配指定的字符串，例如，篩選含有某一指定字符串的日志數(shù)據(jù)。

篩選出指定時(shí)間段內(nèi)的日志數(shù)據(jù)的計(jì)算方法，即，提供根據(jù)時(shí)間段篩選的方法，例如：輸入?yún)^(qū)分日、月、季度以及年的數(shù)據(jù)。

本發(fā)明實(shí)施例中所涉及的篩選規(guī)則可以是預(yù)先設(shè)置的，該篩選規(guī)則可以保存于數(shù)據(jù)庫(kù)中。在執(zhí)行篩選任務(wù)時(shí)，可以預(yù)先將預(yù)設(shè)的篩選規(guī)則以一定的方式被用戶獲知，以便用戶根據(jù)篩選需求選擇合適的篩選規(guī)則，基于此，在上述步驟101之前，本實(shí)施例提供的方法還可以包括：顯示預(yù)設(shè)的篩選規(guī)則和/或顯示預(yù)設(shè)篩選規(guī)則的標(biāo)識(shí)，故，在使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選之前，需要根據(jù)選擇指令從數(shù)據(jù)庫(kù)中獲取預(yù)先存儲(chǔ)的篩選規(guī)則。

步驟102：接收日志數(shù)據(jù)；

如圖2所示，在本實(shí)施例中，可以維護(hù)一個(gè)任務(wù)表、篩選參數(shù)表以及方法映射表，在開(kāi)始一個(gè)篩選任務(wù)之前，可以在任務(wù)表中記錄任務(wù)名稱，以及本次篩選任務(wù)的日志輸入路徑；篩選參數(shù)表中記錄本次篩選任務(wù)的篩選條件，該篩選條件包括：篩選參數(shù)、篩選規(guī)則的ID(身份標(biāo)識(shí))、篩選任務(wù)的ID以及參數(shù)的序號(hào)；方法映射表中記錄預(yù)設(shè)篩選規(guī)則與調(diào)用篩選規(guī)則之間的映射關(guān)系。

步驟103：使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選。

具體的，使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選，包括：如果選擇指令表明當(dāng)前有一個(gè)篩選規(guī)則被選擇，則根據(jù)該被選擇的篩選規(guī)則以及與該篩選規(guī)則對(duì)應(yīng)的參數(shù)對(duì)日志數(shù)據(jù)進(jìn)行篩選；如果選擇指令表明當(dāng)前至少有兩個(gè)篩選規(guī)則被選擇，則將至少兩個(gè)篩選規(guī)則以及與至少兩個(gè)篩選規(guī)則分別對(duì)應(yīng)的篩選參數(shù)進(jìn)行組合，得到組合篩選條件；使用組合篩選條件對(duì)日志數(shù)據(jù)進(jìn)行篩選。

根據(jù)本發(fā)明實(shí)施例提供的日志數(shù)據(jù)的篩選方法，可以通過(guò)配置平臺(tái)提供多種不同的篩選方案，通過(guò)讀取配置信息來(lái)使用多種不同的篩選規(guī)則來(lái)篩選日志數(shù)據(jù)，無(wú)需根據(jù)不同的篩選需求專門開(kāi)發(fā)篩選應(yīng)用程序，提高了日志數(shù)據(jù)篩選的效率。

第二實(shí)施例

本實(shí)施例以使用離線統(tǒng)計(jì)分析平臺(tái)hadoop為例，對(duì)使用上述第一實(shí)施例中所提供的日志數(shù)據(jù)篩選方法對(duì)日志數(shù)據(jù)進(jìn)行篩選的流程進(jìn)行說(shuō)明。

首先，結(jié)合附圖3對(duì)本實(shí)施例中所涉及到的系統(tǒng)的架構(gòu)進(jìn)行簡(jiǎn)要說(shuō)明：

其中，數(shù)據(jù)層包括應(yīng)用程序(APP)以及日志服務(wù)器，傳輸層包括日志聚合系統(tǒng)以及分布式文件系統(tǒng)，計(jì)算層包括hadoop以及hbase，本實(shí)施例中所涉及到的篩選流程即在計(jì)算層中實(shí)現(xiàn)。

如圖4所示，本實(shí)施例涉及的日志數(shù)據(jù)篩選流程包括：

步驟401：初始化篩選規(guī)則：在篩選計(jì)算開(kāi)始時(shí)，先到數(shù)據(jù)庫(kù)中讀取預(yù)先存儲(chǔ)的篩選規(guī)則；

步驟402：輸入日志數(shù)據(jù)；

步驟403：篩選器使用讀取到的篩選規(guī)則以及用戶輸入的篩選參數(shù)對(duì)輸入的日志數(shù)據(jù)進(jìn)行篩選；

步驟404：輸出篩選出的符合條件的日志數(shù)據(jù)。

第三實(shí)施例

本實(shí)施例提供了一種日志數(shù)據(jù)篩選裝置，如圖5所示，該裝置50包括如下組成部分：

第一接收模塊51，用于接收篩選參數(shù)以及篩選規(guī)則的選擇指令；

第二接收模塊52，用于接收日志數(shù)據(jù)；

篩選模塊53，用于使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選。

進(jìn)一步的，上述裝置50還可以包括：顯示模塊，用于在接收篩選參數(shù)之前，顯示預(yù)設(shè)的篩選規(guī)則和/或顯示預(yù)設(shè)篩選規(guī)則的標(biāo)識(shí)。

其中，上述篩選模塊53具體包括：

第一篩選單元，用于如果選擇指令表明當(dāng)前有一個(gè)篩選規(guī)則被選擇，則根據(jù)該被選擇的篩選規(guī)則以及與該篩選規(guī)則對(duì)應(yīng)的參數(shù)對(duì)日志數(shù)據(jù)進(jìn)行篩選；

組合單元，用于如果選擇指令表明當(dāng)前至少有兩個(gè)篩選規(guī)則被選擇，則將至少兩個(gè)篩選規(guī)則以及與至少兩個(gè)篩選規(guī)則分別對(duì)應(yīng)的篩選參數(shù)進(jìn)行組合，得到組合篩選條件；

第二篩選單元，用于使用組合篩選條件對(duì)日志數(shù)據(jù)進(jìn)行篩選。

進(jìn)一步的，上述裝置50還可以包括：獲取模塊，用于在使用與選擇指令對(duì)應(yīng)的篩選規(guī)則根據(jù)篩選參數(shù)對(duì)接收到的日志數(shù)據(jù)進(jìn)行篩選之前，根據(jù)選擇指令從數(shù)據(jù)庫(kù)中獲取預(yù)先存儲(chǔ)的篩選規(guī)則。

其中，本實(shí)施例中所涉及到的預(yù)設(shè)篩選規(guī)則具體可以包括：篩選存在與邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在或邏輯關(guān)系的日志數(shù)據(jù)和/或篩選存在非邏輯關(guān)系的日志數(shù)據(jù)的邏輯運(yùn)算；篩選出連續(xù)預(yù)設(shè)時(shí)間段內(nèi)均出現(xiàn)預(yù)設(shè)信息的日志數(shù)據(jù)的計(jì)算方法；按照數(shù)值大小關(guān)系篩選日志數(shù)據(jù)的計(jì)算方法；篩選出包含預(yù)設(shè)字符串的日志數(shù)據(jù)的計(jì)算方法；篩選出指定時(shí)間段內(nèi)的日志數(shù)據(jù)的計(jì)算方法。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以所述權(quán)利要求的保護(hù)范圍為準(zhǔn)。