基于storm 的實時數(shù)據(jù)計算平臺的制作方法
【專利摘要】本發(fā)明公開了基于storm 的實時數(shù)據(jù)計算平臺，包括：數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流；數(shù)據(jù)分類模塊，其與數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲；數(shù)據(jù)計算控制模塊，其與數(shù)據(jù)分類存儲模塊連接，對數(shù)據(jù)進行計算控制。本發(fā)明的有益效果是本發(fā)明支持對數(shù)據(jù)的提取、過濾、截斷、切分、格式化，可對龐大的連續(xù)的數(shù)據(jù)流進行提取、過濾、分析操作，實時性高、有效性高，在數(shù)據(jù)接入的過程中通過本發(fā)明就已經(jīng)被處理成方便使用、處理、存儲的數(shù)據(jù)。本發(fā)明可計算復(fù)雜度高、維度多的數(shù)據(jù)，低成本、高效率、安全性高。
【專利說明】
基于storm的實時數(shù)據(jù)計算平臺
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及一種基于storm的實時數(shù)據(jù)計算平臺。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的高速發(fā)展，大數(shù)據(jù)時代來臨，為了更好的數(shù)據(jù)挖掘和更好的用戶體驗，對大數(shù)據(jù)管理的實時性要求提高。傳統(tǒng)的批量計算模型已無法滿足這些要求，網(wǎng)絡(luò)數(shù)據(jù)格式多種多樣，不方便存儲及操作。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是提供一種基于storm的實時數(shù)據(jù)計算平臺，本發(fā)明一種基于流式計算的大數(shù)據(jù)預(yù)處理方法，解決數(shù)據(jù)處理實時性較差，數(shù)據(jù)格式不統(tǒng)一的問題，以便能更好更全面的對數(shù)據(jù)進行處理和存儲。
[0004]本發(fā)明提供的技術(shù)方案為:
基于storm的實時數(shù)據(jù)計算平臺，包括:
數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流；
數(shù)據(jù)分類模塊，其與所述數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲；
數(shù)據(jù)計算控制模塊，其與所述數(shù)據(jù)分類存儲模塊連接，所述數(shù)據(jù)計算控制模塊包括數(shù)據(jù)篩選單元，數(shù)據(jù)比對過濾單元，數(shù)據(jù)計算單元和數(shù)據(jù)計算結(jié)果分發(fā)單元，所述數(shù)據(jù)篩選單元根據(jù)預(yù)設(shè)篩選條件對存儲的子數(shù)據(jù)流進行篩選，所述數(shù)據(jù)比對過濾單元將篩選過的子數(shù)據(jù)流和所需的數(shù)據(jù)流進行比對過濾，所述數(shù)據(jù)計算單元根據(jù)預(yù)設(shè)的計算表達式進行計算通過所述數(shù)據(jù)計算結(jié)構(gòu)分發(fā)單元將計算結(jié)果分發(fā)輸出。
[0005]優(yōu)選的是，所述的基于storm的實時數(shù)據(jù)計算平臺，還包括數(shù)據(jù)處理記錄模塊，其對數(shù)據(jù)處理數(shù)目及過程進行記錄。
[0006]優(yōu)選的是，所述的基于storm的實時數(shù)據(jù)計算平臺，還包括數(shù)據(jù)丟失配置模塊，其對丟失的數(shù)據(jù)進行配置處理并生成記錄。
[0007]優(yōu)選的是，在所述的基于storm的實時數(shù)據(jù)計算平臺中，所述數(shù)據(jù)計算結(jié)果分發(fā)單元為KAFKA信息分發(fā)單元。
[0008]優(yōu)選的是，在所述的基于storm的實時數(shù)據(jù)計算平臺中，所述數(shù)據(jù)計算控制模塊還包括緩存單元和數(shù)據(jù)清除單元，所述緩存單元對數(shù)據(jù)進行分區(qū)緩存，所述數(shù)據(jù)清除單元根據(jù)預(yù)設(shè)清零條件對所述緩存單元緩存的數(shù)據(jù)進行清除。
[0009]本發(fā)明的有益效果是本發(fā)明支持對數(shù)據(jù)的提取、過濾、截斷、切分、格式化，可對龐大的連續(xù)的數(shù)據(jù)流進行提取、過濾、分析操作，實時性高、有效性高，在數(shù)據(jù)接入的過程中通過本發(fā)明就已經(jīng)被處理成方便使用、處理、存儲的數(shù)據(jù)。本發(fā)明可計算復(fù)雜度高、維度多的數(shù)據(jù)，低成本、高效率、安全性高。
【附圖說明】
[0010]圖1為本發(fā)明工作流程示意圖。
【具體實施方式】
[0011]下面結(jié)合附圖對本發(fā)明做進一步的詳細說明，以令本領(lǐng)域技術(shù)人員參照說明書文字能夠據(jù)以實施。
[0012]基于storm的實時數(shù)據(jù)計算平臺，包括:數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流;數(shù)據(jù)分類模塊，其與數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲;數(shù)據(jù)計算控制模塊，其與數(shù)據(jù)分類存儲模塊連接，數(shù)據(jù)計算控制模塊包括數(shù)據(jù)篩選單元，數(shù)據(jù)比對過濾單元，數(shù)據(jù)計算單元和數(shù)據(jù)計算結(jié)果分發(fā)單元，數(shù)據(jù)篩選單元根據(jù)預(yù)設(shè)篩選條件對存儲的子數(shù)據(jù)流進行篩選，數(shù)據(jù)比對過濾單元將篩選過的子數(shù)據(jù)流和所需的數(shù)據(jù)流進行比對過濾，數(shù)據(jù)計算單元根據(jù)預(yù)設(shè)的計算表達式進行計算通過數(shù)據(jù)計算結(jié)構(gòu)分發(fā)單元將計算結(jié)果分發(fā)輸出；數(shù)據(jù)處理記錄模塊，其對數(shù)據(jù)處理數(shù)目及過程進行記錄;數(shù)據(jù)丟失配置模塊，其對丟失的數(shù)據(jù)進行配置處理并生成記錄。其中，數(shù)據(jù)計算結(jié)果分發(fā)單元為KAFKA信息分發(fā)單元，數(shù)據(jù)計算控制模塊還包括緩存單元和數(shù)據(jù)清除單元，緩存單元對數(shù)據(jù)進行分區(qū)緩存，數(shù)據(jù)清除單元根據(jù)預(yù)設(shè)清零條件對緩存單元緩存的數(shù)據(jù)進行清除。
[0013]采用本發(fā)明的預(yù)處理方法支持提取、過濾、截斷、切分、格式化，可對龐大的連續(xù)的數(shù)據(jù)流進行提取、過濾、分析操作，實時性高、有效性高，在數(shù)據(jù)接入的過程中通過本發(fā)明就已經(jīng)被處理成方便使用、處理、存儲的數(shù)據(jù)。本平臺可擴展性強，在多個線程、進程、服務(wù)器之間并行進行，支持靈活的水平擴展;本平臺可以保證每條進入本平臺的消息都能被完全處理;如果在消息處理中出現(xiàn)了一些異常，本平臺會重新安排這個出錯的處理單元，故本平臺具有較高的容錯性。
[0014]盡管本發(fā)明的實施方案已公開如上，但其并不僅僅限于說明書和實施方式中所列運用，它完全可以被適用于各種適合本發(fā)明的領(lǐng)域，對于熟悉本領(lǐng)域的人員而言，可容易地實現(xiàn)另外的修改，因此在不背離權(quán)利要求及等同范圍所限定的一般概念下，本發(fā)明并不限于特定的細節(jié)和這里示出與描述的圖例。
【主權(quán)項】
1.基于storm的實時數(shù)據(jù)計算平臺，其特征在于，包括: 數(shù)據(jù)采集模塊，其采集網(wǎng)絡(luò)數(shù)據(jù)，并將網(wǎng)絡(luò)數(shù)據(jù)處理成預(yù)設(shè)固定格式的數(shù)據(jù)流； 數(shù)據(jù)分類模塊，其與所述數(shù)據(jù)采集模塊連接，將數(shù)據(jù)流根據(jù)預(yù)設(shè)的分組條件分成子數(shù)據(jù)流并存儲； 數(shù)據(jù)計算控制模塊，其與所述數(shù)據(jù)分類存儲模塊連接，所述數(shù)據(jù)計算控制模塊包括數(shù)據(jù)篩選單元，數(shù)據(jù)比對過濾單元，數(shù)據(jù)計算單元和數(shù)據(jù)計算結(jié)果分發(fā)單元，所述數(shù)據(jù)篩選單元根據(jù)預(yù)設(shè)篩選條件對存儲的子數(shù)據(jù)流進行篩選，所述數(shù)據(jù)比對過濾單元將篩選過的子數(shù)據(jù)流和所需的數(shù)據(jù)流進行比對過濾，所述數(shù)據(jù)計算單元根據(jù)預(yù)設(shè)的計算表達式進行計算通過所述數(shù)據(jù)計算結(jié)構(gòu)分發(fā)單元將計算結(jié)果分發(fā)輸出。2.如權(quán)利要求1所述的基于storm的實時數(shù)據(jù)計算平臺，其特征在于，還包括數(shù)據(jù)處理記錄模塊，其對數(shù)據(jù)處理數(shù)目及過程進行記錄。3.如權(quán)利要求1所述的基于storm的實時數(shù)據(jù)計算平臺，其特征在于，還包括數(shù)據(jù)丟失配置模塊，其對丟失的數(shù)據(jù)進行配置處理并生成記錄。4.如權(quán)利要求1所述的基于storm的實時數(shù)據(jù)計算平臺，其特征在于，所述數(shù)據(jù)計算結(jié)果分發(fā)單元為KAFKA信息分發(fā)單元。5.如權(quán)利要求1所述的基于storm的實時數(shù)據(jù)計算平臺，其特征在于，所述數(shù)據(jù)計算控制模塊還包括緩存單元和數(shù)據(jù)清除單元，所述緩存單元對數(shù)據(jù)進行分區(qū)緩存，所述數(shù)據(jù)清除單元根據(jù)預(yù)設(shè)清零條件對所述緩存單元緩存的數(shù)據(jù)進行清除。
【文檔編號】G06F17/30GK105956135SQ201610310521
【公開日】2016年9月21日
【申請日】2016年5月12日
【發(fā)明人】楊昆, 閻星娥, 嚴榮明, 張 林, 石旦, 顏婷婷
【申請人】南京唯實科技有限公司