本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)，尤其涉及一種大數(shù)據(jù)下molap統(tǒng)計分析的方法。

背景技術(shù)：

wlan在運營過程中產(chǎn)生大量數(shù)據(jù)，用戶登錄信息、用戶上網(wǎng)日志等，這些數(shù)據(jù)規(guī)模大、數(shù)據(jù)類型單一，如何利用這些數(shù)據(jù)對其進行總體統(tǒng)計、用戶發(fā)展統(tǒng)計、網(wǎng)絡(luò)發(fā)展統(tǒng)計、廣告統(tǒng)計以及業(yè)務(wù)量統(tǒng)計，以便為wlan運營公司的決策層和高級管理人員的分析決策提供數(shù)據(jù)依據(jù)，是需要思考的問題，長期以來，受技術(shù)發(fā)展以及計算能力的限制，運營過程中的大量數(shù)據(jù)沒有被發(fā)掘利用后產(chǎn)生應(yīng)有的價值，可以針對這些數(shù)據(jù)，進行深入挖掘，使其產(chǎn)生價值。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在提供一種大數(shù)據(jù)下molap統(tǒng)計分析的方法。

為實現(xiàn)上述技術(shù)目的，本發(fā)明采用以下技術(shù)方案，一種大數(shù)據(jù)下molap統(tǒng)計分析的方法，包括以下步驟：

步驟s1、無線管理系統(tǒng)平臺收集用戶登錄信息，其中包括用戶上線時間即用戶登錄wsmp時間，用戶下線時間即用戶登出wsmp時間，ap（無線接入設(shè)備側(cè)）的mac即用戶登錄的apmac地址，用戶mac即用戶移動設(shè)備的mac地址，用戶手機號即用戶移動設(shè)備的手機號，注冊時間即用戶首次登錄wsmp時間；

步驟s2、無線管理系統(tǒng)平臺收集門店信息，包括門店名稱、門店地理位置和門店的編碼信息，上述門店指的是wlan運營商部署在全國各地的門店；

步驟s3、無線管理系統(tǒng)平臺收集用戶點擊事件，包括portal展現(xiàn)時間即單用戶展現(xiàn)portal的點擊時間和廣告時間即單用戶點擊廣告的時間，portal指的是登錄頁面；

步驟s4、上網(wǎng)日志系統(tǒng)收集上網(wǎng)訪問信息，包括用戶訪問url時間、用戶訪問url地址、用戶mac地址、ap的mac地址、在線時長duration即用戶在線上網(wǎng)時長和在線流量traffic即用戶在線上網(wǎng)流量；

步驟s5、上述數(shù)據(jù)收集完成后進行總體統(tǒng)計，總體統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，查詢條件為月份/日期/項目名稱，總體統(tǒng)計分為：1.總體（wlan運營商部署省份數(shù)、城市數(shù)、門店數(shù)、ap總數(shù)、新增門店數(shù)、新增ap數(shù)）；2.省份（各省份部署城市、每城市對應(yīng)的門店、門店中的ap個數(shù)、新增門店、新增ap數(shù)）；

步驟s6、上述數(shù)據(jù)收集完成后進行用戶發(fā)展統(tǒng)計，用戶發(fā)展統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，查詢條件為月份/日期/項目名稱，用戶發(fā)展統(tǒng)計分為：1.按日期查詢，表頭“門店名稱/統(tǒng)計時間/總注冊用戶數(shù)/每日新增用戶數(shù)/上線用戶數(shù)/在線峰值用戶數(shù)/峰值時間/時長/流量/區(qū)域/品牌/門店編碼”；2.按月查詢，表頭“省份名稱/每月上線用戶數(shù)/每月新增用戶數(shù)/日均上線用戶數(shù)/每月時長/每月流量數(shù)”；

步驟s7、上述數(shù)據(jù)收集完成后進行廣告統(tǒng)計，廣告統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，廣告統(tǒng)計按日期或按月查詢，總體/按省份/按門店，表頭“門店名稱、省份、城市、廣告類型、廣告點擊數(shù)、廣告展示數(shù)、門店編碼”；

步驟s8、上述數(shù)據(jù)收集完成后進行業(yè)務(wù)量統(tǒng)計，業(yè)務(wù)量統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，按日期或按月查詢，業(yè)務(wù)量統(tǒng)計分為：1.總體綜合業(yè)務(wù)表（全國上網(wǎng)時長/上網(wǎng)用戶數(shù)/登錄次數(shù)/在線流量/日均上網(wǎng)時長/日均上網(wǎng)人數(shù)/日均登錄次數(shù)/日均流量/在線峰值用戶數(shù)/在線峰值時間/在線峰值流量/流量峰值時刻）；2.每日每次上網(wǎng)時長明細表（用戶手機號碼/省份/上線時間/下線時間/在線時長/在線流量）；3.每日每用戶上網(wǎng)時長明細表（用戶手機號碼/省份/在線時長/在線流量/上線次數(shù)）；

步驟s9、數(shù)據(jù)源表導(dǎo)入，將上述統(tǒng)計完成的關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)源表（包括總體統(tǒng)計、用戶發(fā)展統(tǒng)計、廣告統(tǒng)計和業(yè)務(wù)量統(tǒng)計），使用sqoop工具定時增量導(dǎo)入到分布式文件系統(tǒng)hdfs上；

步驟s10、使用編寫的mapreduce程序，給對應(yīng)的數(shù)據(jù)源表添加相應(yīng)的維度列（包括時間維度、門店維度等），然后再將生成的hdfs文件導(dǎo)入到非關(guān)系型的hive表中；

步驟s11、將hive表加載到apachekylin中，根據(jù)元數(shù)據(jù)的定義，構(gòu)建引擎從hive表中抽取數(shù)據(jù)，并構(gòu)建cube，構(gòu)建后的cube保存在hbase存儲引擎中；

步驟s12、通過kylin提供的標準sql接口，后臺通過sql語句快速查詢得到統(tǒng)計結(jié)果，最后在web頁面中展示出來；

步驟s13、為了實現(xiàn)數(shù)據(jù)統(tǒng)計分析的每日自動更新，使用oozie工作流引擎服務(wù)器，每天自動定時執(zhí)行以上的s9、s10、s11步驟，最后實現(xiàn)kylincube的定時增量構(gòu)建。

進一步地，采用hadoopmapreduce作為非實時海量數(shù)據(jù)計算架構(gòu)，構(gòu)建批量的海量分布式計算集群，非實時批處理平臺對海量數(shù)據(jù)按時間進行清理、統(tǒng)計、計算等操作，使用sqoop將關(guān)系型數(shù)據(jù)庫表導(dǎo)入到hdfs上，使用mapreduce給對應(yīng)的表添加相應(yīng)的維度列，再將該表導(dǎo)入到hive表中，最后觸發(fā)apachekylin構(gòu)建對應(yīng)的cube，整個過程通過ooize對其進行時間串聯(lián)調(diào)用。

進一步地，采用apachekylin對于存儲數(shù)據(jù)進行molap立方體建模，通過apachekylin的預(yù)計算，把統(tǒng)計分析的數(shù)據(jù)預(yù)先計算至立方體中，計算的結(jié)果存儲至apachehbase中，從而構(gòu)建出數(shù)據(jù)立方體，對立方體進行上鉆、下取后得到olap分析的統(tǒng)計結(jié)果后通過頁面進行展示，apachekylin是一個開源的分布式分析引擎，其核心思想就是利用存儲空間來換取查詢時的響應(yīng)時間，提供hadoop之上的sql查詢接口及多維分析（olap）能力以支持超大規(guī)模數(shù)據(jù)，它能在亞秒內(nèi)查詢巨大的hive表。。

本發(fā)明的通過對用戶的歷史上網(wǎng)數(shù)據(jù)、登錄數(shù)據(jù)、廣告投放等數(shù)據(jù)的分析，能夠統(tǒng)計出walan運營平臺的用戶、網(wǎng)絡(luò)、廣告以及業(yè)務(wù)量的發(fā)展運營情況以及趨勢，從而能夠根據(jù)對歷史數(shù)據(jù)的統(tǒng)計結(jié)果，對運營平臺的后期營銷給出合理的預(yù)測，并對此給平臺決策層做出相應(yīng)的決策提供基礎(chǔ)，能夠根據(jù)用戶的上網(wǎng)信息以及登錄信息等歷史數(shù)據(jù)，統(tǒng)計分析出整個wlan平臺的運營情況，同時本發(fā)明能夠提供亞秒級的結(jié)果查詢服務(wù)，給wlan運營平臺的高級管理人員的營銷計劃提供數(shù)據(jù)基礎(chǔ)，本發(fā)明還可以應(yīng)用在用戶上網(wǎng)數(shù)據(jù)收集后的分析，通過該設(shè)計，可以為公司管理層的合理正確決策提供數(shù)據(jù)支撐。

附圖說明

圖1為本發(fā)明的流程圖。

具體實施方式

下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。

在本發(fā)明的描述中，除非另有規(guī)定和限定，需要說明的是，術(shù)語“安裝”、“相連”、“連接”應(yīng)做廣義理解，例如，可以是機械連接或電連接，也可以是兩個元件內(nèi)部的連通，可以是直接相連，也可以通過中間媒介間接相連。對于本領(lǐng)域的普通技術(shù)人員而言，可以根據(jù)具體情況理解上述術(shù)語的具體含義。

下面參照圖1描述根據(jù)本發(fā)明實施例的一種大數(shù)據(jù)下molap統(tǒng)計分析的方法，包括以下步驟：

步驟s1、無線管理系統(tǒng)平臺收集用戶登錄信息，其中包括用戶上線時間即用戶登錄wsmp時間，用戶下線時間即用戶登出wsmp時間，ap（無線接入設(shè)備側(cè)）的mac即用戶登錄的apmac地址，用戶mac即用戶移動設(shè)備的mac地址，用戶手機號即用戶移動設(shè)備的手機號，注冊時間即用戶首次登錄wsmp時間；

步驟s2、無線管理系統(tǒng)平臺收集門店信息，包括門店名稱、門店地理位置和門店的編碼信息，上述門店指的是wlan運營商部署在全國各地的門店；

步驟s3、無線管理系統(tǒng)平臺收集用戶點擊事件，包括portal展現(xiàn)時間即單用戶展現(xiàn)portal的點擊時間和廣告時間即單用戶點擊廣告的時間，portal指的是登錄頁面；

步驟s4、上網(wǎng)日志系統(tǒng)收集上網(wǎng)訪問信息，包括用戶訪問url時間、用戶訪問url地址、用戶mac地址、ap的mac地址、在線時長duration即用戶在線上網(wǎng)時長和在線流量traffic即用戶在線上網(wǎng)流量；

步驟s5、上述數(shù)據(jù)收集完成后進行總體統(tǒng)計，總體統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，查詢條件為月份/日期/項目名稱，總體統(tǒng)計分為：1.總體（wlan運營商部署省份數(shù)、城市數(shù)、門店數(shù)、ap總數(shù)、新增門店數(shù)、新增ap數(shù)）；2.省份（各省份部署城市、每城市對應(yīng)的門店、門店中的ap個數(shù)、新增門店、新增ap數(shù)）；

步驟s6、上述數(shù)據(jù)收集完成后進行用戶發(fā)展統(tǒng)計，用戶發(fā)展統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，查詢條件為月份/日期/項目名稱，用戶發(fā)展統(tǒng)計分為：1.按日期查詢，表頭“門店名稱/統(tǒng)計時間/總注冊用戶數(shù)/每日新增用戶數(shù)/上線用戶數(shù)/在線峰值用戶數(shù)/峰值時間/時長/流量/區(qū)域/品牌/門店編碼”；2.按月查詢，表頭“省份名稱/每月上線用戶數(shù)/每月新增用戶數(shù)/日均上線用戶數(shù)/每月時長/每月流量數(shù)”；

步驟s7、上述數(shù)據(jù)收集完成后進行廣告統(tǒng)計，廣告統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，廣告統(tǒng)計按日期或按月查詢，總體/按省份/按門店，表頭“門店名稱、省份、城市、廣告類型、廣告點擊數(shù)、廣告展示數(shù)、門店編碼”；

步驟s8、上述數(shù)據(jù)收集完成后進行業(yè)務(wù)量統(tǒng)計，業(yè)務(wù)量統(tǒng)計支持excel導(dǎo)出，提供報表統(tǒng)計，按日期或按月查詢，業(yè)務(wù)量統(tǒng)計分為：1.總體綜合業(yè)務(wù)表（全國上網(wǎng)時長/上網(wǎng)用戶數(shù)/登錄次數(shù)/在線流量/日均上網(wǎng)時長/日均上網(wǎng)人數(shù)/日均登錄次數(shù)/日均流量/在線峰值用戶數(shù)/在線峰值時間/在線峰值流量/流量峰值時刻）；2.每日每次上網(wǎng)時長明細表（用戶手機號碼/省份/上線時間/下線時間/在線時長/在線流量）；3.每日每用戶上網(wǎng)時長明細表（用戶手機號碼/省份/在線時長/在線流量/上線次數(shù)）；

步驟s9、數(shù)據(jù)源表導(dǎo)入，將上述統(tǒng)計完成的關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)源表（包括總體統(tǒng)計、用戶發(fā)展統(tǒng)計、廣告統(tǒng)計和業(yè)務(wù)量統(tǒng)計），使用sqoop工具定時增量導(dǎo)入到分布式文件系統(tǒng)hdfs上；

步驟s10、使用編寫的mapreduce程序，給對應(yīng)的數(shù)據(jù)源表添加相應(yīng)的維度列（包括時間維度、門店維度等），然后再將生成的hdfs文件導(dǎo)入到非關(guān)系型的hive表中；

步驟s11、將hive表加載到apachekylin中，根據(jù)元數(shù)據(jù)的定義，構(gòu)建引擎從hive表中抽取數(shù)據(jù)，并構(gòu)建cube，構(gòu)建后的cube保存在hbase存儲引擎中；

步驟s12、通過kylin提供的標準sql接口，后臺通過sql語句快速查詢得到統(tǒng)計結(jié)果，最后在web頁面中展示出來；

步驟s13、為了實現(xiàn)數(shù)據(jù)統(tǒng)計分析的每日自動更新，使用oozie工作流引擎服務(wù)器，每天自動定時執(zhí)行以上的s9、s10、s11步驟，最后實現(xiàn)kylincube的定時增量構(gòu)建。

進一步地，采用hadoopmapreduce作為非實時海量數(shù)據(jù)計算架構(gòu)，構(gòu)建批量的海量分布式計算集群，非實時批處理平臺對海量數(shù)據(jù)按時間進行清理、統(tǒng)計、計算等操作，使用sqoop將關(guān)系型數(shù)據(jù)庫表導(dǎo)入到hdfs上，使用mapreduce給對應(yīng)的表添加相應(yīng)的維度列，再將該表導(dǎo)入到hive表中，最后觸發(fā)apachekylin構(gòu)建對應(yīng)的cube，整個過程通過ooize對其進行時間串聯(lián)調(diào)用。

進一步地，采用apachekylin對于存儲數(shù)據(jù)進行molap立方體建模，通過apachekylin的預(yù)計算，把統(tǒng)計分析的數(shù)據(jù)預(yù)先計算至立方體中，計算的結(jié)果存儲至apachehbase中，從而構(gòu)建出數(shù)據(jù)立方體，對立方體進行上鉆、下取后得到olap分析的統(tǒng)計結(jié)果后通過頁面進行展示，apachekylin是一個開源的分布式分析引擎，其核心思想就是利用存儲空間來換取查詢時的響應(yīng)時間，提供hadoop之上的sql查詢接口及多維分析（olap）能力以支持超大規(guī)模數(shù)據(jù)，它能在亞秒內(nèi)查詢巨大的hive表。。

本發(fā)明的通過對用戶的歷史上網(wǎng)數(shù)據(jù)、登錄數(shù)據(jù)、廣告投放等數(shù)據(jù)的分析，能夠統(tǒng)計出walan運營平臺的用戶、網(wǎng)絡(luò)、廣告以及業(yè)務(wù)量的發(fā)展運營情況以及趨勢，從而能夠根據(jù)對歷史數(shù)據(jù)的統(tǒng)計結(jié)果，對運營平臺的后期營銷給出合理的預(yù)測，并對此給平臺決策層做出相應(yīng)的決策提供基礎(chǔ)，能夠根據(jù)用戶的上網(wǎng)信息以及登錄信息等歷史數(shù)據(jù)，統(tǒng)計分析出整個wlan平臺的運營情況，同時本發(fā)明能夠提供亞秒級的結(jié)果查詢服務(wù)，給wlan運營平臺的高級管理人員的營銷計劃提供數(shù)據(jù)基礎(chǔ)，本發(fā)明還可以應(yīng)用在用戶上網(wǎng)數(shù)據(jù)收集后的分析，通過該設(shè)計，可以為公司管理層的合理正確決策提供數(shù)據(jù)支撐。

在本說明書的描述中，參考術(shù)語“一個實施例”、“示例”、或“一些示例”等的描述意指結(jié)合該實施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特點包含于本發(fā)明的至少一個實施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不一定指的是相同的實施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點可以在任何的一個或多個實施例或示例中以合適的方式結(jié)合。

盡管已經(jīng)示出和描述了本發(fā)明的實施例，本領(lǐng)域的普通技術(shù)人員可以理解：在不脫離本發(fā)明的原理和宗旨的情況下可以對這些實施例進行多種變化、修改、替換和變型，本發(fā)明的范圍由權(quán)利要求及其等同物限定。