數(shù)據(jù)分析方法和裝置制造方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種數(shù)據(jù)分析方法和裝置，所述方法包括：接收應(yīng)用程序推送的數(shù)據(jù)；根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。所述裝置包括：數(shù)據(jù)接收模塊，用于接收應(yīng)用程序推送的數(shù)據(jù)；統(tǒng)計(jì)模塊，用于根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。采用本發(fā)明技術(shù)方案，能夠快速、及時(shí)地獲得統(tǒng)計(jì)結(jié)果，滿(mǎn)足實(shí)時(shí)性要求比較高的在線(xiàn)互聯(lián)網(wǎng)應(yīng)用。
【專(zhuān)利說(shuō)明】數(shù)據(jù)分析方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計(jì)算機(jī)【技術(shù)領(lǐng)域】，特別是涉及一種數(shù)據(jù)分析方法和裝置

【背景技術(shù)】
[0002]數(shù)據(jù)分析是指用適當(dāng)?shù)慕y(tǒng)計(jì)方法對(duì)大量數(shù)據(jù)進(jìn)行分類(lèi)、匯總，以求能夠最大化地 開(kāi)發(fā)數(shù)據(jù)資料的功能。數(shù)據(jù)分析廣泛應(yīng)用于計(jì)算機(jī)系統(tǒng)中，例如在游戲運(yùn)營(yíng)領(lǐng) 過(guò) 戲數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，能夠掌握整個(gè)游戲玩家的狀態(tài)信息，如登錄、在線(xiàn)!和流失情況等 從而根據(jù)玩家的狀態(tài)信息，能夠?qū)τ螒虻囊?guī)劃和管理提供參考意見(jiàn)。 Μ 3 、'
[0003]現(xiàn)有的數(shù)據(jù)分析方法是先將需要分析的大量數(shù)據(jù)全部存儲(chǔ)到數(shù)據(jù)庫(kù)，然后再根據(jù) 統(tǒng)計(jì)需求對(duì)已存儲(chǔ)的數(shù)據(jù)采用統(tǒng)計(jì)方法獲得統(tǒng)計(jì)結(jié)果。因此現(xiàn)有的數(shù)據(jù)分析士能 獲得統(tǒng)計(jì)結(jié)果，不適用于提供在線(xiàn)服務(wù)的互聯(lián)網(wǎng)應(yīng)用。


【發(fā)明內(nèi)容】

[0004]基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種數(shù)據(jù)分析方法和裝置，能夠快速及 時(shí)地獲得統(tǒng)計(jì)結(jié)果，滿(mǎn)足實(shí)時(shí)性要求比較高的在線(xiàn)互聯(lián)網(wǎng)應(yīng)用。 '
[0005] -種數(shù)據(jù)分析方法，所述方法包括：
[0006] 接收應(yīng)用程序推送的數(shù)據(jù)；
[0007]根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。
[0008] -種數(shù)據(jù)分析裝置，包括：
[0009]數(shù)據(jù)接收模塊，用于接收應(yīng)用程序推送的數(shù)據(jù)；
[0010]統(tǒng)計(jì)模塊，用于根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。 上述數(shù)據(jù)分析方法和裝置，接收應(yīng)用程序推送的數(shù)據(jù)，并根據(jù)預(yù)設(shè)的統(tǒng)計(jì)<目標(biāo)°，對(duì) =據(jù)米用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果，相比與現(xiàn)有技術(shù)先存儲(chǔ)再統(tǒng)計(jì)的技術(shù)方案，由于采用流 ^計(jì)算來(lái)進(jìn)行統(tǒng)計(jì)，能夠快速、及時(shí)地獲得統(tǒng)計(jì)結(jié)果，滿(mǎn)足實(shí)時(shí)性要求較高的在線(xiàn)互聯(lián)網(wǎng)應(yīng) 用。

【專(zhuān)利附圖】

【附圖說(shuō)明】 _2]目1為-個(gè)實(shí)施例中的數(shù)據(jù)分析方法的流程示意圖； _3]目2為另-個(gè)實(shí)施例中的數(shù)據(jù)分析方法的流程示意圖；
[0014]圖3為一個(gè)實(shí)施例中的數(shù)據(jù)分析方法的應(yīng)用場(chǎng)景圖； ^015]目4為又-個(gè)實(shí)施例中的數(shù)據(jù)分析方法的流程示意圖； 〇〇16]圖5為-個(gè)實(shí)施例中的數(shù)據(jù)分析裝置的結(jié)構(gòu)棚； 0017] 圖6為一個(gè)實(shí)施例中的數(shù)據(jù)分析裝置的結(jié)構(gòu)框圖和應(yīng)用場(chǎng)景圖； 0018] 圖7為另實(shí)施例中的數(shù)據(jù)分析裝置的結(jié)構(gòu)框圖和應(yīng)用場(chǎng)景圖；
[0019]圖8為-個(gè)實(shí)施例中的實(shí)時(shí)統(tǒng)計(jì)觀的結(jié)構(gòu)框圖。

【具體實(shí)施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì) 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0021] 參見(jiàn)圖1，在一個(gè)實(shí)施例中，提供了一種數(shù)據(jù)分析方法，本方法可以但不限于應(yīng)用 于游戲數(shù)據(jù)分析，也可以應(yīng)用于其它計(jì)算機(jī)智能分析領(lǐng)域。本方法包括：
[0022] 步驟102,接收應(yīng)用程序推送的數(shù)據(jù)。
[0023]本實(shí)施例中，所要分析的數(shù)據(jù)由應(yīng)用程序推送。應(yīng)用程序可以是游戲運(yùn)行相關(guān)程 序或其它軟件程序。為便于本方法進(jìn)行數(shù)據(jù)分析處理，可以預(yù)先對(duì)應(yīng)用程序推送的數(shù)據(jù)定 義好數(shù)據(jù)格式。接收應(yīng)用程序推送的數(shù)據(jù)后，可以將數(shù)據(jù)進(jìn)行緩存或存儲(chǔ)到數(shù)據(jù)庫(kù)中。
[0024] 步驟104,根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。
[0025] 本實(shí)施例中，提取已經(jīng)緩存或存儲(chǔ)在數(shù)據(jù)庫(kù)中的數(shù)據(jù)，根據(jù)數(shù)據(jù)預(yù)先定義的數(shù)據(jù) 格式進(jìn)行分析，按照預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn)行分類(lèi)和匯總，采用流式計(jì)算方式以累加的形式得 到最終的統(tǒng)計(jì)結(jié)果。其中預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，以游戲數(shù)據(jù)分析舉例來(lái)說(shuō)，可以包括日活躍用 戶(hù)、活躍用戶(hù)IP(IP，Internet Protocol，網(wǎng)絡(luò)協(xié)議)地區(qū)分布、活躍用戶(hù)游戲等級(jí)分布等統(tǒng) 計(jì)目標(biāo)。采用流式計(jì)算方式可以是接收應(yīng)用程序推送的數(shù)據(jù)并同時(shí)進(jìn)行累加統(tǒng)計(jì)的方式， 也可以預(yù)先將需要分析的數(shù)據(jù)分成多個(gè)部分，每次接收其中的一個(gè)部分并根據(jù)統(tǒng)計(jì)目標(biāo)進(jìn) 行統(tǒng)計(jì)得到一個(gè)中間結(jié)果，最后將中間結(jié)果進(jìn)行累加得到統(tǒng)計(jì)結(jié)果。本實(shí)施例得到的最終 的統(tǒng)計(jì)結(jié)果，可以后續(xù)提供給其它分析軟件進(jìn)行應(yīng)用，也可以固化更新到數(shù)據(jù)庫(kù)中，以供查 詢(xún)或調(diào)用。
[0026]本實(shí)施例中，接收應(yīng)用程序推送的數(shù)據(jù)，并根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)采用流式 計(jì)算獲得統(tǒng)計(jì)結(jié)果，相比與現(xiàn)有技術(shù)先存儲(chǔ)再統(tǒng)計(jì)的技術(shù)方案，由于采用流式計(jì)算來(lái)進(jìn)行 統(tǒng)計(jì)，能夠快速、及時(shí)地獲得統(tǒng)計(jì)結(jié)果，滿(mǎn)足實(shí)時(shí)性要求較高的在線(xiàn)互聯(lián)網(wǎng)應(yīng)用。
[0027] 參見(jiàn)圖2,在另一個(gè)實(shí)施例中，一種數(shù)據(jù)分析方法，其流程包括：
[0028]步驟202,實(shí)時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，并把數(shù)據(jù)緩存在Redis先進(jìn)先出隊(duì)列 中。
[0029]實(shí)時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，其中的數(shù)據(jù)已預(yù)先定義了數(shù)據(jù)格式。例如在本實(shí) 施例中，以游戲數(shù)據(jù)分析為例，數(shù)據(jù)的格式為JS0N數(shù)據(jù)格式（JSON，Java Script Object Notation，Java腳本目標(biāo)格式，一種輕量級(jí)的數(shù)據(jù)交換格式)，其包含的字段如表1所示：
[0030] 表 1
[0031] lmode |整形 |游戲數(shù)據(jù)類(lèi)型，如登錄數(shù)據(jù)、注冊(cè)數(shù)據(jù)、流水?dāng)?shù)據(jù)等 ~H 數(shù)據(jù)所有者 ltime 整形 數(shù)據(jù)產(chǎn)生時(shí)間、時(shí)間戳 luip 字符串 數(shù)據(jù)所有者的IP地址 Idata數(shù)組 詳細(xì)游戲數(shù)據(jù)內(nèi)容，根據(jù)游戲數(shù)據(jù)類(lèi)型來(lái)定
[0032] 例如，以一條數(shù)據(jù)舉例說(shuō)明，該數(shù)據(jù)為：
[0033] {"lm〇de"：l，"uid"：l，"ltime" ：1368784546，"luip，，:"192. 168. 100. 146，，，"ldata "：{"level" ：1〇，"money"：3000，"uplogin" ：1368764546, "login" ：1368784546}}。 [0034] 則"lraode"：l字段表示該數(shù)據(jù)的游戲數(shù)據(jù)類(lèi)型為1，對(duì)應(yīng)于登錄數(shù)據(jù)。"uid"：l 字段表示游戲數(shù)據(jù)所有者的用戶(hù)ID (ID，Identity，身份標(biāo)識(shí)）為1。"ltime" ：1368784546 字段表示該數(shù)據(jù)產(chǎn)生的時(shí)間戳為1368784546。"luip" ： "192. 168. 100. 146"字段代表數(shù) 據(jù)所有者的IP地址為192. 168. 100. 146。ldata字段根據(jù)不同的游戲數(shù)據(jù)類(lèi)型有不同的 定義，例如在登錄數(shù)據(jù)類(lèi)型中定義了登錄等級(jí)、登錄游戲幣、上次登錄時(shí)間戳以及本次登錄 時(shí)間戳，因此本例中，"ldata"： {"level"：10, "money":3000, "uplogin"： 1368764546, "log in" ： 1368784546}字段，代表了登錄等級(jí)為10級(jí)、登錄游戲幣為3000、上次登錄時(shí)間戳為 136876454 6,以及本次登錄時(shí)間戳為1368784546。
[0035] 本實(shí)施例中，通過(guò)接口函數(shù)接收J(rèn)S0N格式的數(shù)據(jù)，該接口函數(shù)的參數(shù)為JS0N數(shù)據(jù) 格式中的各字段(如lmode字段、uid字段等)，接收到各字段后，再將各字段組裝為JS0N數(shù) 據(jù)格式。
[0036] 接收到應(yīng)用程序推送的數(shù)據(jù)后，將數(shù)據(jù)緩存在Redis先進(jìn)先出隊(duì)列中。其中 Redis是一個(gè)高性能的key-value存儲(chǔ)系統(tǒng)，它支持的value類(lèi)型相對(duì)更多，包括字符串 (string)、列表（list)、集合（set)、有序集合（zset)和哈希（hashs)。這些數(shù)據(jù)類(lèi)型都支持 pUSh/p〇P、add/rem〇Ve及取交集并集和差集及更豐富的操作，并且這些操作都是原子性的。 Redis的數(shù)據(jù)都是緩存在內(nèi)存中，效率很高。
[0037] 數(shù)據(jù)存儲(chǔ)到Redis先進(jìn)先出隊(duì)列中，可以通過(guò)接口函數(shù)將數(shù)據(jù)提出，以供后續(xù)的 統(tǒng)計(jì)分析。
[0038] 步驟204,從Redis先進(jìn)先出隊(duì)列中提取數(shù)據(jù)。
[0039]步驟2〇6,對(duì)提取的數(shù)據(jù)進(jìn)行合法性驗(yàn)證，判斷數(shù)據(jù)是否合法，若合法，執(zhí)行步驟 208,否則丟棄該數(shù)據(jù)，返回步驟204,重新提取數(shù)據(jù)。
[0040]根據(jù)數(shù)據(jù)預(yù)先定義的數(shù)據(jù)格式對(duì)提取的數(shù)據(jù)進(jìn)行合法性驗(yàn)證。例如，應(yīng)用本方 法進(jìn)行游戲數(shù)據(jù)分析時(shí)，數(shù)據(jù)采用表1的數(shù)據(jù)格式時(shí)，合法性驗(yàn)證可以包括對(duì)lmode、uid、 ltime、luip、ldata字段的數(shù)據(jù)類(lèi)型進(jìn)行驗(yàn)證，例如判斷l(xiāng)m〇de字段是不是整形，當(dāng)游戲數(shù) 據(jù)類(lèi)型為登錄數(shù)據(jù)時(shí)，判斷l(xiāng)data中的等級(jí)（level)是不是整形等。當(dāng)提取的數(shù)據(jù)通過(guò)合 法性驗(yàn)證，執(zhí)行步驟208,否則丟棄該數(shù)據(jù)，重新提取數(shù)據(jù)，并記錄錯(cuò)誤日志。
[0041]步驟208,根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)進(jìn)行去重。
[0042]在本實(shí)施中，如果數(shù)據(jù)合法，根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)判斷數(shù)據(jù)是否需要去重，若需要 去重，調(diào)用Redis接口進(jìn)行去重。
[0043]以數(shù)據(jù)采用表1中的數(shù)據(jù)格式為例，例如統(tǒng)計(jì)目標(biāo)包括游戲的日活躍用戶(hù)量，而 該統(tǒng)計(jì)目標(biāo)預(yù)先設(shè)置為需要進(jìn)行去重，則根據(jù)數(shù)據(jù)的uid字段和ltime字段生成Redis的 key，調(diào)用SETNX (SETNX，Redis提供的應(yīng)用程序接口，用于將key值設(shè)為value，在內(nèi)存中 檢索key，當(dāng)key不存在時(shí)返回值為true)判斷該數(shù)據(jù)是否存在過(guò)Redis緩存隊(duì)列中，若沒(méi) 有存在過(guò)則是有效的數(shù)據(jù)，需要進(jìn)行相關(guān)統(tǒng)計(jì)目標(biāo)的累加統(tǒng)計(jì)，否則對(duì)該數(shù)據(jù)不做統(tǒng)計(jì)。 [00 44]步驟210,調(diào)用Redis累加函數(shù)對(duì)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn)行累加計(jì)數(shù)，得到統(tǒng)計(jì)結(jié)果。 [0045]本實(shí)施例中，根據(jù)數(shù)據(jù)的數(shù)據(jù)格式和預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)進(jìn)行分類(lèi)匯總，采用 Redis累加函數(shù)進(jìn)行累加計(jì)數(shù)得到最終的統(tǒng)計(jì)結(jié)果。
[0046] 以數(shù)據(jù)采用表1的數(shù)據(jù)格式為例，預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)包括日活躍用戶(hù)量和日活躍IP 地區(qū)分布。設(shè)數(shù)據(jù)為：
[0047] {"1πκ^θ"：1，"ι?(?"：1，"1?;?π?Θ，，：1368784546，"1ι?ρ":"192. 168. 100. 146"，"ldata "：{ "level" ： 10，"money" ：3000, "uplogin" ：1368764546, "login" ：1368784546}}。
[0048] 則統(tǒng)計(jì)時(shí)，根據(jù)uid字段、登錄時(shí)段(對(duì)應(yīng)于該統(tǒng)計(jì)日的時(shí)間戳范圍)生成Redis的 緩存key，對(duì)提取的數(shù)據(jù)進(jìn)行監(jiān)控，調(diào)用Redis累加函數(shù)對(duì)日活躍用戶(hù)量進(jìn)行累加計(jì)數(shù)；相 應(yīng)的，根據(jù)luip字段和登錄時(shí)段(對(duì)應(yīng)于該統(tǒng)計(jì)日的時(shí)間戳范圍）生成Redis的緩存key， 對(duì)提取的數(shù)據(jù)進(jìn)行監(jiān)控，調(diào)用Redis累加函數(shù)對(duì)日活躍IP地址進(jìn)行累加計(jì)數(shù)。
[0049] 本實(shí)施例得到的統(tǒng)計(jì)結(jié)果，可以緩存在Redis緩存中，以供后續(xù)提供給用戶(hù)端查 詢(xún)、或提供給應(yīng)用程序應(yīng)用或固化在數(shù)據(jù)庫(kù)中。
[0050] 步驟212,提取統(tǒng)計(jì)結(jié)果，并更新到統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)中。
[0051] 在本實(shí)施中，定時(shí)調(diào)用接口函數(shù)，按照預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)依次提取出統(tǒng)計(jì)結(jié)果，并把 結(jié)果更新到統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)中。
[0052]參見(jiàn)圖3,提供了一種數(shù)據(jù)分析方法的應(yīng)用場(chǎng)景。由應(yīng)用程序3〇2向隊(duì)列系統(tǒng)304 推送數(shù)據(jù)。應(yīng)用程序3〇2推送的數(shù)據(jù)已預(yù)先定義好數(shù)據(jù)了格式，例如jS0N數(shù)據(jù)格式。隊(duì)列 系統(tǒng)304可以但不限于是采用包含HFO (FIFO, First Input and First Output，先進(jìn)先 出)存儲(chǔ)芯片的硬件系統(tǒng)。隊(duì)列系統(tǒng)3〇4接收推送的數(shù)據(jù)并進(jìn)行格式化，例如為 JS0N格式， 并添加到Redis隊(duì)列服務(wù)器310的先進(jìn)先出隊(duì)列中，并按照先進(jìn)先出的次序?qū)?shù)據(jù)提出給 統(tǒng)計(jì)系統(tǒng)306。統(tǒng)計(jì)運(yùn)算系統(tǒng)3〇 6可以但不限于是采用具有統(tǒng)計(jì)計(jì)算功能的芯片來(lái)實(shí)現(xiàn)，統(tǒng) 計(jì)運(yùn)算系統(tǒng)306對(duì)提取的數(shù)據(jù)進(jìn)行合法性驗(yàn)證，再經(jīng)過(guò)去重處理，按照預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn) 行累加得到統(tǒng)計(jì)結(jié)果，并把統(tǒng)計(jì)結(jié)果緩存在Redis緩存服務(wù)器 312中。統(tǒng)計(jì)運(yùn)算系統(tǒng)3〇6 還提供了查詢(xún)功能。存儲(chǔ)系統(tǒng)3〇8提取統(tǒng)計(jì)結(jié)果存入統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù) 314中，存儲(chǔ)系統(tǒng)3〇8 也提供了查詢(xún)功能。
[0053]參見(jiàn)圖4,在又一個(gè)實(shí)施例中，提供了一種數(shù)據(jù)分析方法，其流程包括：
[0054]步驟402,定時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，并把數(shù)據(jù)更新到推送數(shù)據(jù)數(shù)據(jù)庫(kù)中。 [0055]本實(shí)施例中，定時(shí)(例如可以設(shè)置為每隔一小時(shí)）接收應(yīng)用程序推送的數(shù)據(jù)，把數(shù) 據(jù)存儲(chǔ)到推送數(shù)據(jù)數(shù)據(jù)庫(kù)中，該推送數(shù)據(jù)數(shù)據(jù)庫(kù)可以是分布式數(shù)據(jù)庫(kù)或關(guān)系型數(shù)據(jù)庫(kù)'。 [00 56]步驟404,每次推送數(shù)據(jù)數(shù)據(jù)庫(kù)更新后，根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，調(diào)用推送數(shù)據(jù)數(shù)據(jù) 庫(kù)統(tǒng)計(jì)函數(shù)對(duì)存儲(chǔ)在推送數(shù)據(jù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到臨時(shí)統(tǒng)計(jì)結(jié)果并將每次得 到的臨時(shí)統(tǒng)計(jì)結(jié)果進(jìn)行累加得到統(tǒng)計(jì)結(jié)果。 < '
[0057]數(shù)據(jù)存儲(chǔ)到推送數(shù)據(jù)數(shù)據(jù)庫(kù)之后，根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，調(diào)用推送數(shù)據(jù)數(shù)據(jù)庫(kù)統(tǒng) 計(jì)函數(shù)丨如-COUNT函數(shù)(計(jì)數(shù)函數(shù))、SUM函數(shù)(求和函數(shù))等對(duì)當(dāng)前存儲(chǔ)在推送數(shù)據(jù)數(shù)據(jù)庫(kù)中 的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到臨時(shí)統(tǒng)計(jì)結(jié)果。之后，清除推送數(shù)據(jù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)并再次接收應(yīng) 矛王序推送的數(shù)據(jù)，進(jìn)行統(tǒng)計(jì)，將每次得到的臨時(shí)統(tǒng)計(jì)結(jié)果進(jìn)行累加得到最線(xiàn)的統(tǒng)計(jì)結(jié)果 [00 58]步驟406,將最終的統(tǒng)計(jì)結(jié)果保存至統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)中 a < < 。
[0_在本實(shí)顧巾，敏推纖撤娜后，調(diào)馳___統(tǒng)計(jì)函數(shù)進(jìn)行 射關(guān)，并機(jī)時(shí)射關(guān)進(jìn)彳7勸_的最麵紐結(jié)果更新纖計(jì)
[0060] 參見(jiàn)圖5,在一個(gè)實(shí)施例中，提供了一種數(shù)據(jù)分析裝置，包括：
[0061] 數(shù)據(jù)接收模塊502,用于接收應(yīng)用程序推送的數(shù)據(jù)。
[0062]統(tǒng)計(jì)模塊5〇4,用于根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。 [0063]參見(jiàn)圖6,在一個(gè)實(shí)施例中，一種數(shù)據(jù)分析裝置，其中，數(shù)據(jù)接收模塊502包括實(shí)時(shí) 接收模塊6〇 2,統(tǒng)計(jì)模塊5〇4包括實(shí)時(shí)統(tǒng)計(jì)模塊604。
[0064] 實(shí)時(shí)接收模塊6〇2,用于實(shí)時(shí)接收應(yīng)用程序600推送的數(shù)據(jù)，并把數(shù)據(jù)緩存在 Redis先進(jìn)先出隊(duì)列608中。
[0065] 參見(jiàn)圖8,在本實(shí)施例中，實(shí)時(shí)統(tǒng)計(jì)模塊6〇4包括：數(shù)據(jù)提取單元6042,用于從 Redis先進(jìn)先出隊(duì)列608中提取數(shù)據(jù)。驗(yàn)證單元6〇44,用于對(duì)提取的數(shù)據(jù)進(jìn)行合法性驗(yàn) 證。去重單元6046,用于根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)進(jìn)行去重。累加單元6048,用于調(diào) 用Redis累加函數(shù)對(duì)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn)行累加計(jì)數(shù)，得到統(tǒng)計(jì)結(jié)果，并把統(tǒng)計(jì)結(jié)果緩存在 Redis緩存610中。
[0066] 在本實(shí)施例中，該數(shù)據(jù)分析裝置還包括統(tǒng)計(jì)結(jié)果提取模塊506,統(tǒng)計(jì)結(jié)果提取模塊 506包括第一提取模塊606,用于提取實(shí)時(shí)統(tǒng)計(jì)模塊604進(jìn)行統(tǒng)計(jì)得到的統(tǒng)計(jì)結(jié)果，并更新 到第一統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)612中。
[0067]參見(jiàn)圖7,在一個(gè)實(shí)施例中，一種數(shù)據(jù)分析裝置，其中數(shù)據(jù)接收模塊502包括實(shí)時(shí) 接收模塊6〇2和定時(shí)接收模塊7〇2,統(tǒng)計(jì)模塊 5〇4包括實(shí)時(shí)統(tǒng)計(jì)模塊604和定時(shí)統(tǒng)計(jì)模塊 704。統(tǒng)計(jì)結(jié)果提取模塊5〇6包括第一提取模塊606和第二提取模塊706。
[0068]實(shí)時(shí)接收模塊6〇2,用于實(shí)時(shí)接收應(yīng)用程序700推送的數(shù)據(jù)，并把數(shù)據(jù)緩存在 Redis先進(jìn)先出隊(duì)列608中。
[0069]參見(jiàn)圖8,在本實(shí)施例中，實(shí)時(shí)統(tǒng)計(jì)模塊604包括：數(shù)據(jù)提取單元6042,用于從 Redis先進(jìn)先出隊(duì)列608中提取數(shù)據(jù)。驗(yàn)證單元6044,用于對(duì)提取的數(shù)據(jù)進(jìn)行合法性驗(yàn) 證。去重單元6046,用于根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)數(shù)據(jù)進(jìn)行去重。累加單元 6〇48,用于調(diào) 用Redis累加函數(shù)對(duì)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn)行累加計(jì)數(shù)，得到統(tǒng)計(jì)結(jié)果，并把統(tǒng)計(jì)結(jié)果緩存在 Redis緩存610中。
[0070]第一提取模塊6〇6,用于提取實(shí)時(shí)統(tǒng)計(jì)模塊6〇4進(jìn)行統(tǒng)計(jì)得到的統(tǒng)計(jì)結(jié)果，并更新 到第一統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)612中。
[0071]本實(shí)施中，定時(shí)接收模塊7〇2,用于定時(shí)接收應(yīng)用程序700推送的數(shù)據(jù)，并把數(shù)據(jù) 更新到推送數(shù)據(jù)數(shù)據(jù)庫(kù)708中。
[0072]定時(shí)統(tǒng)計(jì)模塊704,用于每次推送數(shù)據(jù)數(shù)據(jù)庫(kù)708更新后，根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)， 調(diào)用推送數(shù)據(jù)數(shù)據(jù)庫(kù)統(tǒng)計(jì)函數(shù)對(duì)存儲(chǔ)在推送數(shù)據(jù)數(shù)據(jù)庫(kù)708中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到臨時(shí) 統(tǒng)計(jì)結(jié)果，并將每次得到的臨時(shí)統(tǒng)計(jì)結(jié)果進(jìn)行累加得到統(tǒng)計(jì)結(jié)果。
[0073]第二提取模塊7〇6,用于提取定時(shí)統(tǒng)計(jì)模塊704進(jìn)行統(tǒng)計(jì)得到的臨時(shí)統(tǒng)計(jì)結(jié)果和 最終的統(tǒng)計(jì)結(jié)果，并更新到第二統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)712中。
[0074]以上所述實(shí)施例僅表達(dá)了本發(fā)明的幾種實(shí)施方式，其描述較為具體和詳細(xì)，但并 不能因此而理^為對(duì)本發(fā)明專(zhuān)利范圍的限制。應(yīng)當(dāng)指出的是，對(duì)于本領(lǐng)域的普通技術(shù)人員 來(lái)說(shuō)，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)，這些都屬于本發(fā)明的保 護(hù)范圍。因此，本發(fā)明專(zhuān)利的保護(hù)范圍應(yīng)以所附權(quán)利要求為準(zhǔn)。
【權(quán)利要求】
1. 一種數(shù)據(jù)分析方法，所述方法包括： 接收應(yīng)用程序推送的數(shù)據(jù)； 根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收應(yīng)用程序推送的數(shù)據(jù)包括： 實(shí)時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，并把所述數(shù)據(jù)緩存在Redis先進(jìn)先出隊(duì)列中； 所述根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果包括： 從所述Redis先進(jìn)先出隊(duì)列中提取數(shù)據(jù)，并對(duì)所述數(shù)據(jù)進(jìn)行合法性驗(yàn)證，若未通過(guò)驗(yàn) 證，則重新提取數(shù)據(jù)，若通過(guò)驗(yàn)證，則調(diào)用Redis累加函數(shù)對(duì)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn)行累加計(jì) 數(shù)，得到所述統(tǒng)計(jì)結(jié)果。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述調(diào)用Redis累加函數(shù)對(duì)預(yù)設(shè)的統(tǒng)計(jì) 目標(biāo)進(jìn)行累加計(jì)數(shù)前，還包括： 根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)進(jìn)行去重。
4. 根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述接收應(yīng)用程序推送的數(shù)據(jù) 還包括： 定時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，并把所述數(shù)據(jù)更新到推送數(shù)據(jù)數(shù)據(jù)庫(kù)中； 所述根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果還包括： 每次所述推送數(shù)據(jù)數(shù)據(jù)庫(kù)更新后，根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，調(diào)用推送數(shù)據(jù)數(shù)據(jù)庫(kù)統(tǒng)計(jì)函 數(shù)對(duì)存儲(chǔ)在推送數(shù)據(jù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到臨時(shí)統(tǒng)計(jì)結(jié)果，并將每次得到的臨時(shí) 統(tǒng)計(jì)結(jié)果進(jìn)行累加得到所述統(tǒng)計(jì)結(jié)果。
5. 根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù) 采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果的步驟之后，還包括： 提取所述統(tǒng)計(jì)結(jié)果，并更新到統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)中。
6. -種數(shù)據(jù)分析裝置，其特征在于，包括： 數(shù)據(jù)接收模塊，用于接收應(yīng)用程序推送的數(shù)據(jù)； 統(tǒng)計(jì)模塊，用于根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)采用流式計(jì)算獲得統(tǒng)計(jì)結(jié)果。
7. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述數(shù)據(jù)接收模塊包括實(shí)時(shí)接收模塊，用 于實(shí)時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，并把所述數(shù)據(jù)緩存在Redis先進(jìn)先出隊(duì)列中； 所述統(tǒng)計(jì)模塊包括實(shí)時(shí)統(tǒng)計(jì)模塊，所述實(shí)時(shí)統(tǒng)計(jì)模塊包括數(shù)據(jù)提取單元，用于從所述 Redis先進(jìn)先出隊(duì)列中提取數(shù)據(jù)；驗(yàn)證單元，用于對(duì)所述數(shù)據(jù)進(jìn)行合法性驗(yàn)證；累加單元， 用于調(diào)用Redis累加函數(shù)對(duì)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)進(jìn)行累加計(jì)數(shù)，得到所述統(tǒng)計(jì)結(jié)果。
8. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述實(shí)時(shí)統(tǒng)計(jì)模塊還包括去重單元，用于 根據(jù)預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，對(duì)所述數(shù)據(jù)進(jìn)行去重。
9. 根據(jù)權(quán)利要求6至8任一項(xiàng)所述的裝置，其特征在于，所述數(shù)據(jù)接收模塊進(jìn)一步包括 定時(shí)接收模塊，用于定時(shí)接收應(yīng)用程序推送的數(shù)據(jù)，并把所述數(shù)據(jù)更新到推送數(shù)據(jù)數(shù)據(jù)庫(kù) 中； 所述統(tǒng)計(jì)模塊進(jìn)一步包括定時(shí)統(tǒng)計(jì)模塊，用于每次所述推送數(shù)據(jù)數(shù)據(jù)庫(kù)更新后，根據(jù) 預(yù)設(shè)的統(tǒng)計(jì)目標(biāo)，調(diào)用數(shù)據(jù)庫(kù)統(tǒng)計(jì)函數(shù)對(duì)存儲(chǔ)在推送數(shù)據(jù)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)，得到 臨時(shí)統(tǒng)計(jì)結(jié)果，并將每次得到的臨時(shí)統(tǒng)計(jì)結(jié)果進(jìn)行累加得到所述統(tǒng)計(jì)結(jié)果。
10. 根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括統(tǒng)計(jì)結(jié)果提取模塊，用 于提取所述統(tǒng)計(jì)結(jié)果，并更新到統(tǒng)計(jì)結(jié)果數(shù)據(jù)庫(kù)中。
【文檔編號(hào)】G06F17/30GK104252458SQ201310256819
【公開(kāi)日】2014年12月31日 申請(qǐng)日期:2013年6月25日 優(yōu)先權(quán)日:2013年6月25日
【發(fā)明者】張奎 申請(qǐng)人:博雅網(wǎng)絡(luò)游戲開(kāi)發(fā)（深圳）有限公司