本發(fā)明涉及數(shù)據(jù)安全分析領(lǐng)域，尤其涉及一種大數(shù)據(jù)查詢方法及系統(tǒng)。

背景技術(shù)：

隨著網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，當(dāng)今各類IT資源飛速膨脹，網(wǎng)絡(luò)設(shè)備層出不窮，隨之產(chǎn)生了大量的網(wǎng)絡(luò)數(shù)據(jù)信息。如何在大量數(shù)據(jù)中快速準(zhǔn)確的找到目標(biāo)數(shù)據(jù)，大數(shù)據(jù)查詢方法的尤為必要。

目前，一般采用多條件組合累加模式對(duì)大數(shù)據(jù)進(jìn)行查詢，對(duì)目標(biāo)數(shù)據(jù)進(jìn)行查詢時(shí)同時(shí)輸入多個(gè)查找條件，每次初始查詢都需要與完整的大數(shù)據(jù)進(jìn)行比對(duì)。

發(fā)明人經(jīng)過研究發(fā)現(xiàn)，現(xiàn)有的數(shù)據(jù)查詢方法是對(duì)完整的大數(shù)據(jù)進(jìn)行查詢處理，數(shù)據(jù)量過大，導(dǎo)致查詢的速度隨著過濾條件的增加而減慢，無法做到快速準(zhǔn)確定位目標(biāo)數(shù)據(jù)。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種大數(shù)據(jù)查詢方法及系統(tǒng)，用以解決現(xiàn)有技術(shù)中對(duì)完整的大數(shù)據(jù)進(jìn)行查詢處理，因數(shù)據(jù)量過大，無法做到快速準(zhǔn)確定位目標(biāo)數(shù)據(jù)的問題，具體方案如下：

一種大數(shù)據(jù)查詢方法，包括：

當(dāng)接收到用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；

當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；

依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；

依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。

上述的方法，優(yōu)選的，所述當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類包括：

將所述維度數(shù)組與已存儲(chǔ)的各個(gè)歷史維度數(shù)組進(jìn)行逐一比較；判斷是否存在目標(biāo)歷史維度數(shù)組，所述目標(biāo)歷史維度數(shù)組中的各個(gè)查詢維度均包含在當(dāng)前所述維度數(shù)組中；

當(dāng)不存在時(shí)，依據(jù)所述各個(gè)查詢維度的維度屬性，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類。

上述的方法，優(yōu)選的，還包括：

當(dāng)存在時(shí)，判斷所述目標(biāo)歷史維度數(shù)組中的查詢維度的數(shù)量是否與所述當(dāng)前維度數(shù)組中的查詢維度的數(shù)量相同；

當(dāng)相同時(shí)，直接調(diào)用所述目標(biāo)歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù)，將所述歷史查詢結(jié)果作為目標(biāo)查詢數(shù)據(jù)。

上述的方法，優(yōu)選的，還包括：

當(dāng)不相同時(shí)，按預(yù)設(shè)的劃分規(guī)則，將所述歷史查詢數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；

依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)數(shù)據(jù)塊進(jìn)行查詢。

上述的方法，優(yōu)選的，所述依據(jù)各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊包括：

確定各個(gè)維度分類的優(yōu)先級(jí)；

依據(jù)優(yōu)先級(jí)最高的維度分類，將所述目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊。

上述的方法，優(yōu)選的，所述維度分類，包括：

時(shí)間類、過濾條件類或統(tǒng)計(jì)類。

一種大數(shù)據(jù)查詢系統(tǒng)，包括：

解析模塊，當(dāng)接收到用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；

獲取模塊，當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；

劃分模塊，依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；

查詢模塊，依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。

上述的系統(tǒng)，優(yōu)選的，所述獲取模塊包括：

比較單元，將所述維度數(shù)組與已存儲(chǔ)的各個(gè)歷史維度數(shù)組進(jìn)行逐一比較；

判斷單元，判斷是否存在目標(biāo)歷史維度數(shù)組，所述目標(biāo)歷史維度數(shù)組中的各個(gè)查詢維度均包含在當(dāng)前所述維度數(shù)組中。

上述的系統(tǒng)，優(yōu)選的，述判斷單元包括：

第一判斷子單元，依據(jù)所述各個(gè)查詢維度的維度屬性，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類。判斷所述目標(biāo)歷史維度數(shù)組中的查詢維度的數(shù)量是否與所述當(dāng)前維度數(shù)組中的查詢維度的數(shù)量相同；

第二判斷子單元，判斷是否調(diào)用目標(biāo)歷史維度數(shù)組，若所述目標(biāo)歷史維度數(shù)組中的查詢維度的數(shù)量與所述當(dāng)前維度數(shù)組中的查詢維度的數(shù)量相同，直接調(diào)用所述目標(biāo)歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù)，將所述歷史查詢結(jié)果作為目標(biāo)查詢數(shù)據(jù)；若不相同，按預(yù)設(shè)的劃分規(guī)則，將所述歷史查詢數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊，依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)數(shù)據(jù)塊進(jìn)行查詢。

上述的系統(tǒng)，優(yōu)選的，所述劃分模塊包括：

確定單元，確定各個(gè)維度分類的優(yōu)先級(jí)；

分塊單元，依據(jù)優(yōu)先級(jí)最高的維度分類，將所述目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊。

與現(xiàn)有技術(shù)相比，本發(fā)明包括以下優(yōu)點(diǎn)：

本發(fā)明提供了一種大數(shù)據(jù)查詢方法，當(dāng)接收到用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。避免了現(xiàn)有技術(shù)中對(duì)大數(shù)據(jù)整體進(jìn)行查詢，做到快速準(zhǔn)確定位目標(biāo)數(shù)據(jù)。

當(dāng)然，實(shí)施本發(fā)明的任一產(chǎn)品并不一定需要同時(shí)達(dá)到以上所述的所有優(yōu)點(diǎn)。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢方法流程圖；

圖2為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖；

圖3為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖；

圖4為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖；

圖5為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢方法又一方法流程圖；

圖6為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢系統(tǒng)結(jié)構(gòu)框圖；

圖7為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢系統(tǒng)又一結(jié)構(gòu)框圖；

圖8為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢系統(tǒng)又一結(jié)構(gòu)框圖。

圖9為本申請(qǐng)實(shí)施例公開的一種大數(shù)據(jù)查詢系統(tǒng)又一結(jié)構(gòu)框圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。

本發(fā)明提供了一種大數(shù)據(jù)查詢方法，該方法可以應(yīng)用于所有涉及大數(shù)據(jù)查詢分析的領(lǐng)域中，所述方法的流程圖如圖1所示，包括步驟：

S101、當(dāng)接收到用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；

本發(fā)明實(shí)施例中，用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求是以數(shù)組的形式進(jìn)行發(fā)送的，當(dāng)收到查詢請(qǐng)求后，首先解析查詢請(qǐng)求數(shù)組的維度，所述查詢請(qǐng)求數(shù)組還少包含一個(gè)查詢維度。

S102、當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；

本發(fā)明實(shí)施例中，當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類，所述維度分類可以為時(shí)間類、過濾類或統(tǒng)計(jì)類。

S103、依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；

本發(fā)明實(shí)施例中，依據(jù)各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，對(duì)目標(biāo)大數(shù)據(jù)進(jìn)行分塊，具體的劃分原則：確定各個(gè)維度分類的優(yōu)先級(jí)；依據(jù)優(yōu)先級(jí)最高的維度進(jìn)行分類，將所述目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊。

S104、依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。

本發(fā)明實(shí)施例中，依據(jù)各個(gè)查詢維度對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行查詢，并將查詢結(jié)果依據(jù)查詢維度進(jìn)行匯總，最終獲得目標(biāo)數(shù)據(jù)，并傳遞到所述Web頁面進(jìn)行顯示，所述Web頁面可以對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，視圖分析，響應(yīng)處理，地圖映射，依據(jù)具體情況選擇其中的一種或者幾種對(duì)目標(biāo)數(shù)據(jù)進(jìn)行顯示。

本發(fā)明提供了一種大數(shù)據(jù)查詢方法，當(dāng)接收到用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；依據(jù)所述各個(gè)查詢維度，分別對(duì)所述數(shù)據(jù)塊依次進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù),避免了現(xiàn)有技術(shù)中對(duì)大數(shù)據(jù)整體進(jìn)行查詢，做到快速準(zhǔn)確定位目標(biāo)數(shù)據(jù)。

上述實(shí)施例中所述的Web頁面是指一種可以實(shí)現(xiàn)與后臺(tái)大數(shù)據(jù)交互的頁面，所述Web頁面包括：

時(shí)間條件選擇框：通過輸入時(shí)間段或者某一確定時(shí)間的方式對(duì)所述大數(shù)據(jù)進(jìn)行時(shí)間條件的查詢，時(shí)間段的具體輸入方式為分別輸入開始時(shí)間和結(jié)束時(shí)間，兩者之間即為所述時(shí)間段，該條件可以累加反復(fù)使用。

類型選擇框：選擇具體的查詢類型，對(duì)所述大數(shù)據(jù)進(jìn)行查詢，所述查詢類型包括：

屬性值選項(xiàng)，所述屬性可根據(jù)需要進(jìn)行自定義配置,在對(duì)應(yīng)的屬性下選擇填寫與屬性相對(duì)應(yīng)的值，在大數(shù)據(jù)中數(shù)據(jù)類型、設(shè)備類型、協(xié)議、等級(jí)等存在規(guī)范或業(yè)界公認(rèn)的屬性值時(shí)，將生成值可選列表，無需進(jìn)行手工填寫，僅需要選擇對(duì)應(yīng)的值即可，該條件可以累加反復(fù)使用。

引用過濾器選項(xiàng)，所述過濾器可以對(duì)大數(shù)據(jù)中的多種屬性進(jìn)行對(duì)應(yīng)關(guān)系配置，過濾器可引用資產(chǎn)設(shè)備中的相關(guān)屬性與大數(shù)據(jù)進(jìn)行對(duì)應(yīng)，過濾器可引用自定義資源中的常用屬性配置，以過濾器方式呈現(xiàn)出更為復(fù)雜的處理邏輯，以便在復(fù)雜的攻擊中進(jìn)行追根溯源，該條件可以累加反復(fù)使用。

黑白名單選項(xiàng)，黑白名單支持大數(shù)據(jù)動(dòng)態(tài)生成的數(shù)據(jù)屬性及對(duì)應(yīng)值；此黑白名單是以權(quán)威威脅情報(bào)機(jī)構(gòu)提供，例如：天際友盟，微步等；將采集到的威脅情報(bào)作為過濾條件應(yīng)用到查詢分析的，以達(dá)到最快速的定位常見威脅，通過定位到的威脅信息，可以關(guān)聯(lián)并鉆取相關(guān)大數(shù)據(jù)，達(dá)到實(shí)時(shí)交互的目的，該條件可以累加反復(fù)使用。

條件類型選擇框：所述條件類型是與類型選擇框相對(duì)應(yīng)的，根據(jù)所選查詢類型，確定所述條件。

所述Web頁面還包括：

統(tǒng)計(jì)條件顯示模塊，更為直觀的查看到某些大數(shù)據(jù)的分布及趨勢(shì)，可以根據(jù)不同的圖樣進(jìn)行更為便捷的統(tǒng)計(jì)分析，在不同類型的統(tǒng)計(jì)圖上也可進(jìn)行響應(yīng)的點(diǎn)擊鉆取，以達(dá)到無限實(shí)時(shí)的對(duì)大數(shù)據(jù)進(jìn)行查詢分析。

視圖分析模塊，大數(shù)據(jù)按照拓?fù)浞治鲞M(jìn)行視圖展示；大數(shù)據(jù)按照多維分析進(jìn)行折線圖布局實(shí)現(xiàn)日志多層次不定向視圖展示；大數(shù)據(jù)按照視網(wǎng)膜分析進(jìn)行圓形布局實(shí)現(xiàn)日志地址類資源關(guān)聯(lián)視圖展示；以便更為直觀的確定某些異常日志，由異常日志為基礎(chǔ)可進(jìn)行深入的查詢分析。

響應(yīng)處理模塊，生成各類告警以及黑白名單，在大數(shù)據(jù)查詢的Web頁面中，當(dāng)發(fā)現(xiàn)異常類數(shù)據(jù)時(shí)，點(diǎn)擊大數(shù)據(jù)響應(yīng)處理模塊，可根據(jù)需要生成告警以及黑白名單，已達(dá)到發(fā)現(xiàn)即處理的目的。

映射關(guān)系模塊，若存在涉及到經(jīng)緯度信息的大數(shù)據(jù)，將所述大數(shù)據(jù)中的IP地址按照經(jīng)緯度的方式展示到世界地圖中，以達(dá)到確定攻擊的路線。

配置完成后，還需要將需要查詢分析的大數(shù)據(jù)與所述Web頁面相關(guān)聯(lián)，具體操作為：將需要接入的設(shè)備通過syslog方式轉(zhuǎn)發(fā)到本系統(tǒng)或通過配置采集任務(wù)將數(shù)據(jù)庫、應(yīng)用、郵件服務(wù)器、主機(jī)、其他文本類文件主動(dòng)采集到本系統(tǒng)中，各類設(shè)備大數(shù)據(jù)接入并保存入庫，等待所述Web頁面發(fā)送查詢請(qǐng)求。

本發(fā)明實(shí)施利中所有實(shí)施例都是基于上述Web頁面的各個(gè)模塊相互作用完成的。

本發(fā)明實(shí)施例中，當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類的過程如圖2所示，包括步驟：

S201、將所述維度數(shù)組與已存儲(chǔ)的各個(gè)歷史維度數(shù)組進(jìn)行逐一比較；判斷是否存在目標(biāo)歷史維度數(shù)組，所述目標(biāo)歷史維度數(shù)組中的各個(gè)查詢維度均包含在當(dāng)前所述維度數(shù)組中；

本發(fā)明實(shí)施例中，當(dāng)收到用戶經(jīng)由Web頁面發(fā)送來的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的數(shù)組維度，并將所述維度數(shù)組與已經(jīng)存儲(chǔ)的歷史維度數(shù)組進(jìn)行比較，判斷是否存在目標(biāo)歷史數(shù)組中。

S202、當(dāng)不存在時(shí)，依據(jù)所述各個(gè)查詢維度的維度屬性，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類。

本發(fā)明實(shí)施例中，當(dāng)所述維度數(shù)組不存在于目標(biāo)歷史數(shù)組中時(shí)，進(jìn)一步說，當(dāng)前所述維度數(shù)組與所述目標(biāo)歷史維度數(shù)組中的各個(gè)查詢維度均不存在包含關(guān)系認(rèn)為所述維度數(shù)組中的查詢請(qǐng)求為初次查詢，具體來說，當(dāng)前所述維度數(shù)組相對(duì)于目標(biāo)歷史數(shù)組為一種新的組合方式，在所述歷史維度數(shù)組中沒有出現(xiàn)過完全相同，或者部分相同的組合，既然為初次查詢，需要獲取所述維度數(shù)組中所有查詢條件的維度分類。

以具體的實(shí)例為例進(jìn)一步說明，在所述Web頁面中輸入查詢條件，若所述查詢條件分別為A1，A2，A3，A4，當(dāng)接收到查詢請(qǐng)求時(shí)，解析由這四個(gè)查詢條件組成的維度數(shù)組，將由這四個(gè)查詢條件組成的維度數(shù)組歷史維度數(shù)組進(jìn)行比較發(fā)現(xiàn),歷史查詢維度數(shù)組中沒有與所述維度數(shù)組相同或者存在包含關(guān)系的查詢請(qǐng)求，則認(rèn)定當(dāng)前所述查詢數(shù)組為初次查詢，需要獲取所述維度數(shù)組中所有查詢條件的維度分類。

本發(fā)明實(shí)施例僅以某一具體情況為例對(duì)該實(shí)施例中所能出現(xiàn)的可能情況進(jìn)行具體分析，其它的多于或者少于的如上所述查詢條件的查詢請(qǐng)求，均可依據(jù)如上實(shí)施例的操作流程進(jìn)行操作，不影響上述查詢條件的判斷原則。

本發(fā)明實(shí)施例中，當(dāng)所述維度數(shù)組滿足不滿足第一預(yù)設(shè)條件時(shí)，具體確定方法如圖3所示，包括步驟：

S301、判斷所述目標(biāo)歷史維度數(shù)組中的查詢維度的數(shù)量是否于所述當(dāng)前維度數(shù)組中查詢維度的數(shù)量相同；

本發(fā)明實(shí)施例中，所述當(dāng)前維度數(shù)組與所述歷史維度數(shù)組中的各個(gè)查詢條件依次進(jìn)行比對(duì)，判斷兩者是否相同。

S302、當(dāng)相同時(shí)，直接調(diào)用所述目標(biāo)歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù)，將所述歷史查詢結(jié)果作為目標(biāo)查詢數(shù)據(jù)。

本發(fā)明實(shí)施例中，查詢維度數(shù)量相同具體指兩方面：查詢維度相同；查詢條件相同，兩者同時(shí)滿足時(shí)，才認(rèn)為是同一查詢條件，直接調(diào)用所述目標(biāo)歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù)，將所述歷史查詢結(jié)果作為目標(biāo)查詢數(shù)據(jù)。

本發(fā)明實(shí)施例中，當(dāng)所述維度數(shù)組滿足不滿足第一預(yù)設(shè)條件時(shí)，具體確定方法還可以參考圖4，包括步驟：

S401、當(dāng)不相同時(shí)，按預(yù)設(shè)的劃分規(guī)則，將所述歷史查詢數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；

S402、依據(jù)各個(gè)查詢維度，對(duì)每個(gè)數(shù)據(jù)塊進(jìn)行查詢。

本發(fā)明實(shí)施例中，包括：若所述歷史維度數(shù)組包含于當(dāng)前所述維度數(shù)組，即所述歷史維度數(shù)組為當(dāng)前所述度數(shù)組中一種或者幾種的組合，僅以歷史條件為查詢條件A1和A2的組合，當(dāng)前查詢條件為查詢條件A1，A2，A3和A4的組合為例，進(jìn)行具體說明，其他查詢條件組合與該組合類似，當(dāng)前查詢維度數(shù)組由查詢條件A1，A2，A3和A4組成，當(dāng)接收到查詢請(qǐng)求時(shí)，首先解析所述維度數(shù)組，若在歷史查詢結(jié)果中存在查詢條件A1和A2組成的歷史查詢條件，本發(fā)明實(shí)施例則不再需要對(duì)原有大數(shù)據(jù)進(jìn)行查詢，只需要調(diào)用歷史查詢數(shù)據(jù)，在歷史數(shù)據(jù)查詢結(jié)果的基礎(chǔ)上，繼續(xù)添加查詢條件A3和A4，直接依據(jù)查詢條件A3和A4，在歷史查詢結(jié)果中進(jìn)一步篩選，依次進(jìn)行查詢。

本發(fā)明實(shí)施例中，還包括：若當(dāng)前的查詢條件中有一條或者幾條是不再需要的查詢條件，不需要重新輸入查詢條件，只需要在原有查詢條件的基礎(chǔ)上將不需要的查詢條件直接刪除，所述目標(biāo)數(shù)據(jù)隨著查詢條件的減少，實(shí)時(shí)更改。

本發(fā)明實(shí)施例僅以某一具體情況為例對(duì)該實(shí)施例中所能出現(xiàn)的可能情況進(jìn)行具體分析，其他的多于或者少于的如上所述查詢條件的查詢請(qǐng)求，均可依據(jù)如上實(shí)施例進(jìn)行操作，不影響上述查詢條件的判斷原則。

本發(fā)明實(shí)施例中，依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊，具體劃分規(guī)則參考圖5，包括步驟：

S501、確定各個(gè)維度分類的優(yōu)先級(jí)；

本發(fā)明實(shí)施例中，當(dāng)查詢請(qǐng)求為一個(gè)時(shí)，該查詢請(qǐng)求即為最高優(yōu)先級(jí)；

若查詢請(qǐng)求為多個(gè)時(shí)，通常選擇時(shí)間條件為優(yōu)先級(jí)最高的條件對(duì)目標(biāo)大數(shù)據(jù)進(jìn)行分段，確保每段時(shí)間處理的日志數(shù)量最低，提升處理速。若多個(gè)查詢請(qǐng)求中不包括時(shí)間查詢條件，或者所述時(shí)間查詢條件中時(shí)間為一固定值或者過短，沒有分段的必要，可以根據(jù)實(shí)際的情況選擇合適的查詢維度進(jìn)行優(yōu)先級(jí)的確定。

S502、依據(jù)優(yōu)先級(jí)最高的維度分類，將所述目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊。

劃分是可以依據(jù)一個(gè)也可以依據(jù)多個(gè)查詢維度分類進(jìn)行分段，具體的分段原則進(jìn)行舉例說明：若系統(tǒng)想查找某一固定時(shí)間有多少臺(tái)移動(dòng)終端設(shè)備訪問過某一電商網(wǎng)站購物并進(jìn)行支付，此例中查詢條件有四個(gè)分別為時(shí)間信息查詢條件、網(wǎng)址信息查詢條件、終端設(shè)備信息查詢條件、支付信息查詢條件，因?yàn)闀r(shí)間信息為一個(gè)具體的固定值，采用對(duì)時(shí)間進(jìn)行分段意義不大，本發(fā)明實(shí)施例選擇終端設(shè)備信息查詢條件進(jìn)行大數(shù)據(jù)分段，分段后可以按設(shè)備的類型對(duì)所有設(shè)備依次分段，每段數(shù)據(jù)都代表一種設(shè)備類型，依次對(duì)每段數(shù)據(jù)進(jìn)行如上所述查找條件的篩查，并對(duì)查找結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。上述實(shí)施例有也可采用其它查詢條件作為分段的維度，本發(fā)明實(shí)施例僅以終端設(shè)備信息查詢條件為例，在實(shí)際的大數(shù)據(jù)分塊過程中，需要依據(jù)具體的情況具體分析，具體的分段維度也不僅僅局限于一種，也可以采用多種查詢維度組合的方式，所有的執(zhí)行原則均以快速準(zhǔn)確查找到目標(biāo)數(shù)據(jù)為依據(jù)。

本發(fā)明實(shí)施例中，詳細(xì)闡述了具體的大數(shù)據(jù)分段原則，僅以一個(gè)個(gè)例舉例說明，通常情況下默認(rèn)依據(jù)時(shí)間對(duì)大數(shù)據(jù)進(jìn)行分塊，在不存在時(shí)間這個(gè)查詢條件或者時(shí)間條件不適合作為分段維度時(shí)，可以選擇其他查詢維度中的一種或者幾種的組合對(duì)大數(shù)據(jù)進(jìn)行分段，在實(shí)際大數(shù)據(jù)查詢過程中，依據(jù)所述維度分類，根據(jù)具體的實(shí)際情況對(duì)大數(shù)據(jù)進(jìn)行分段，不僅僅局限于上述所述分段情況，只要能保證快速準(zhǔn)確定位目標(biāo)數(shù)據(jù)，都認(rèn)為是合理劃分原則。

與圖1所述的一種大數(shù)據(jù)查詢方法相對(duì)應(yīng)的，本發(fā)明實(shí)施例還提供了一種大數(shù)據(jù)查詢系統(tǒng)，其結(jié)構(gòu)示意圖如圖6所示，包括：

解析模塊601，獲取模塊602，劃分模塊603，查詢模塊604。

其中：

所述解析模塊601，當(dāng)接收到用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求時(shí)，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；

所述獲取模塊602，當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；

所述劃分模塊603，依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；

所述查詢模塊604，依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。

本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)查詢系統(tǒng)，解析模塊需要對(duì)用戶經(jīng)由Web頁面發(fā)送的查詢請(qǐng)求進(jìn)行解析，解析所述查詢請(qǐng)求中的維度數(shù)組，所述維度數(shù)組中包含至少一個(gè)查詢維度；獲取模塊需要當(dāng)所述維度數(shù)組滿足第一預(yù)設(shè)條件時(shí)，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類；劃分模塊需要依據(jù)所述各個(gè)維度分類，按預(yù)設(shè)的劃分規(guī)則，將目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊；查詢模塊需要依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)所述數(shù)據(jù)塊進(jìn)行數(shù)據(jù)查詢，并將各個(gè)查詢結(jié)果進(jìn)行匯總，獲得目標(biāo)查詢數(shù)據(jù)。避免了現(xiàn)有技術(shù)中對(duì)大數(shù)據(jù)整體進(jìn)行查詢，做到快速準(zhǔn)確定位目標(biāo)數(shù)據(jù)。

需要說明的是，所述大數(shù)據(jù)查詢系統(tǒng)，是一個(gè)完整的系統(tǒng)，可以單獨(dú)使用也可以與其它系統(tǒng)配合使用。

在圖6的基礎(chǔ)上，參考圖7，圖7示出了本發(fā)明實(shí)施例提供的系統(tǒng)的又一結(jié)構(gòu)圖，所述獲取模塊601，包括：

比較單元605和判斷單元606。

其中：

所述比較單元605，將所述維度數(shù)組與已存儲(chǔ)的各個(gè)歷史維度數(shù)組進(jìn)行逐一比較；

所述判斷單元606，判斷是否存在目標(biāo)歷史維度數(shù)組，所述目標(biāo)歷史維度數(shù)組中的各個(gè)查詢維度均包含在當(dāng)前所述維度數(shù)組中。

在圖7的基礎(chǔ)上，參考圖8，圖8示出了本發(fā)明實(shí)施例提供的系統(tǒng)的又一結(jié)構(gòu)圖，所述判斷單元606，包括：

第一判斷子單元707和第二判斷子單元708。

其中：

所述第一判斷子單元，依據(jù)所述各個(gè)查詢維度的維度屬性，獲取所述維度數(shù)組中各個(gè)查詢維度的維度分類。判斷所述目標(biāo)歷史維度數(shù)組中的查詢維度的數(shù)量是否與所述當(dāng)前維度數(shù)組中的查詢維度的數(shù)量相同；

所述第二判斷子單元，判斷是否調(diào)用目標(biāo)歷史維度數(shù)組，若所述目標(biāo)歷史維度數(shù)組中的查詢維度的數(shù)量與所述當(dāng)前維度數(shù)組中的查詢維度的數(shù)量相同，直接調(diào)用所述目標(biāo)歷史維度數(shù)組所查詢的歷史查詢數(shù)據(jù)，將所述歷史查詢結(jié)果作為目標(biāo)查詢數(shù)據(jù)；若不相同，按預(yù)設(shè)的劃分規(guī)則，將所述歷史查詢數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊，依據(jù)所述各個(gè)查詢維度，分別對(duì)每一個(gè)數(shù)據(jù)塊進(jìn)行查詢

在圖8的基礎(chǔ)上，參考圖9，圖9示出了本發(fā)明實(shí)施例提供的系統(tǒng)的又一結(jié)構(gòu)圖，所述劃分模塊703，包括：

確定單元709和分塊單元710。

其中：

所述確定單元709，確定各個(gè)維度分類的優(yōu)先級(jí)；

所述分塊單元710，依據(jù)優(yōu)先級(jí)最高的維度分類，將所述目標(biāo)大數(shù)據(jù)劃分為多個(gè)數(shù)據(jù)塊。

需要說明的是，本說明書中的各個(gè)實(shí)施例均采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似的部分互相參見即可。對(duì)于裝置類實(shí)施例而言，由于其與方法實(shí)施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。

最后，還需要說明的是，在本申請(qǐng)中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個(gè)實(shí)體或者操作與另一個(gè)實(shí)體或操作區(qū)分開來，而不一定要求或者暗示這些實(shí)體或操作之間存在任何這種實(shí)際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個(gè)……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

對(duì)所公開的實(shí)施例的上述說明，使本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對(duì)這些實(shí)施例的多種修改對(duì)本領(lǐng)域技術(shù)人員來說將是顯而易見的，本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下，在其它實(shí)施例中實(shí)現(xiàn)。因此，本發(fā)明將不會(huì)被限制于本文所示的這些實(shí)施例，而是要符合與本文所公開的原理和新穎特點(diǎn)相一致的最寬的范圍。

以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。